RU2627019C2 - Methods for determining weapon aiming point on focal point situation image in shooting simulators and device for their implementation - Google Patents
Methods for determining weapon aiming point on focal point situation image in shooting simulators and device for their implementation Download PDFInfo
- Publication number
- RU2627019C2 RU2627019C2 RU2015153435A RU2015153435A RU2627019C2 RU 2627019 C2 RU2627019 C2 RU 2627019C2 RU 2015153435 A RU2015153435 A RU 2015153435A RU 2015153435 A RU2015153435 A RU 2015153435A RU 2627019 C2 RU2627019 C2 RU 2627019C2
- Authority
- RU
- Russia
- Prior art keywords
- coordinate
- signal
- coordinates
- markers
- image
- Prior art date
Links
Images
Classifications
-
- F—MECHANICAL ENGINEERING; LIGHTING; HEATING; WEAPONS; BLASTING
- F41—WEAPONS
- F41G—WEAPON SIGHTS; AIMING
- F41G3/00—Aiming or laying means
- F41G3/26—Teaching or practice apparatus for gun-aiming or gun-laying
- F41G3/2616—Teaching or practice apparatus for gun-aiming or gun-laying using a light emitting device
- F41G3/2622—Teaching or practice apparatus for gun-aiming or gun-laying using a light emitting device for simulating the firing of a gun or the trajectory of a projectile
- F41G3/2627—Cooperating with a motion picture projector
- F41G3/2633—Cooperating with a motion picture projector using a TV type screen, e.g. a CRT, displaying a simulated target
Abstract
Description
Группа изобретений относится к области учебно-тренировочных средств и может быть использована для обучения и тренировок в стрельбе из спортивного, охотничьего и боевого оружия без использования боеприпасов, а также в симуляторах игровых систем типа пейнтбол и других.The group of inventions relates to the field of educational and training tools and can be used for training and training in shooting from sports, hunting and combat weapons without the use of ammunition, as well as in simulators of game systems such as paintball and others.
Способы и устройства определения координат точки наведения оружия являются ключевыми при построении учебно-тренировочных и игровых систем с имитацией стрельбы, поскольку модели таких систем, в целом, отличаются от способов и устройств определения точки наведения только моделями ввода заранее известных дальностей до цели и баллистики выстрела.Methods and devices for determining the coordinates of a weapon’s pointing point are key in the construction of training and game systems with firing simulations, since the models of such systems, in general, differ from the methods and devices for determining a pointing point only with models for entering predetermined ranges to the target and ballistics of the shot.
В группе изобретений способы определения точки наведения оружия на изображении фоноцелевой обстановки в стрелковых тренажерах характеризуются единым уровнем техники и общими аналогами.In the group of inventions, the methods for determining the point of pointing a weapon on the image of the phono-target environment in shooting simulators are characterized by the same level of technology and common analogues.
Известен способ определения точки наведения оружия на изображении фоноцелевой обстановки, реализованный во многих лазерных системах, в частности в тренажере MSET-5000 корпорации LasershotInc, США, штат Техас, представленном в Интернет-ресурсе www.lasershot.com. Способ заключается в формировании вычислительными средствами двумерного сигнала фоноцелевой обстановки, преобразовании полученного сигнала в изображение фоноцелевой обстановки на плоском экране, кадрировании и юстировке этого изображения, подсветке лазерами, сопряженными с осями соответствующих стволов нескольких имитаторов оружия, меток наведения оружия на экране, фильтрации изображений меток наведения, преобразовании стационарной видеокамерой полученного после фильтрации изображения в двумерный регистрируемый сигнал, определение текущих координат изображений меток наведения в регистрируемом сигнале и определение координат точек наведения оружия по полученным координатам.A known method for determining the point of guidance of the weapon in the image of the phono-target environment, implemented in many laser systems, in particular in the MSET-5000 simulator Corporation LasershotInc, USA, Texas, presented on the Internet resource www.lasershot.com. The method consists in generating a two-dimensional signal of the target-oriented environment by computing means, converting the received signal into an image of the target-target situation on a flat screen, cropping and adjusting this image, laser illumination coupled to the axes of the respective trunks of several weapon simulators, weapon guidance marks on the screen, image filtering of guidance marks converting a stationary video camera obtained after filtering the image into a two-dimensional registered signal, determine ix current image coordinate pointing marks in the recorded signal, and determining the coordinates of points pointing arms on the received coordinates.
Недостатком этого способа является большая методическая погрешность определения координат, складывающаяся из множества систематических ошибок взаимного сопряжения оси имитатора оружия, лазера, расположения стрелка по трем координатам, координатных полей формируемых и регистрируемых сигналов и изображений. Другими недостатками способа являются ограниченность по числу одновременно обучающихся стрелков, по допустимым углам возвышения и свала оружия, а также сложность обеспечения временной стабильности характеристик реализаций способа. Недостатки обусловлены преимущественно механическими методами сопряжения семи систем координат, ограниченностью процедур идентификации меток по стрелкам, проективными преобразованиями геометрии изображений на экране, не учитываемыми в способе.The disadvantage of this method is the large methodological error in determining the coordinates, consisting of many systematic errors in the interfacing of the axis of the weapon simulator, laser, the location of the arrow in three coordinates, the coordinate fields of the generated and recorded signals and images. Other disadvantages of the method are the limited number of simultaneously trained shooters, the permissible elevation and dump angles, as well as the difficulty of ensuring the temporary stability of the characteristics of the method implementations. The disadvantages are caused mainly by mechanical methods of pairing seven coordinate systems, the limited procedures for identifying labels by arrows, projective transformations of the geometry of the images on the screen, not taken into account in the method.
Известен способ определения точки наведения оружия на изображении фоноцелевой обстановки по авторскому свидетельству РФ №1136582, МПК F41G 3/26, "Способ контроля положения точки прицеливания при обучении стрельбе и устройство для его осуществления (его варианты)", опубликованном 10.10.1995. Способ включает формирование изображения фоноцелевой обстановки в заданном секторе пространства, облучение области попадания потоком электромагнитного излучения, изменяющегося по области и модулированного во времени в каждой точке области, прием электромагнитного излучения имитатором стрелкового оружия, определение характеристик интенсивности, периода и времени изменения принятого электромагнитного излучения, определение положения точки прицеливания имитатора стрелкового оружия по полученным и заданным характеристикам принятого излучения.There is a method of determining the point of pointing a weapon in the image of the target-oriented environment according to the author’s certificate of the Russian Federation No. 1136582, IPC F41G 3/26, "A method for controlling the position of the aiming point in firing training and a device for its implementation (its variants)", published on 10/10/1995. The method includes forming an image of the phono-target environment in a given sector of space, irradiating the area of impact of a stream of electromagnetic radiation that varies in region and modulated in time at each point of the region, receiving electromagnetic radiation by a small arms simulator, determining characteristics of the intensity, period and time of change of the received electromagnetic radiation, determining the position of the aiming point of the simulator of small arms according to the received and specified characteristics adopted of radiation.
Недостатками данного способа являются низкая пространственная разрешающая способность по директориям как облучающего потока электромагнитного излучения, так и принимаемого электромагнитного излучения, что при реализации способа приводит к низкой точности и аномальным погрешностям определения точки наведения оружия, накладыванию существенных ограничений на масштабы, размещение и количество изображений целей на фоноцелевой обстановке. Другим недостатком способа является аномальные ошибки прицеливания при углах свала оружия, отличных от нуля. Недостатки определяются ограничениями по физической реализуемости динамических полей тонкой структуры и соответствующих дистанционных измерителей параметров, отсутствием в способе процедур определения и учета углов свала оружия.The disadvantages of this method are the low spatial resolution in the directories of both the irradiating flux of electromagnetic radiation and the received electromagnetic radiation, which, when implementing the method, leads to low accuracy and anomalous errors in determining the point of pointing the weapon, imposing significant restrictions on the scale, placement and number of target images per background target setting. Another disadvantage of this method is the abnormal aiming errors at weapon dump angles other than zero. The disadvantages are determined by the restrictions on the physical realizability of the dynamic fields of the fine structure and the corresponding remote meters of parameters, the lack of procedures for determining and accounting for the angle of the weapon dump in the method.
Известен способ определения точки наведения оружия на изображении фоноцелевой обстановки, реализованный во многих оптико-электронных системах, в частности в оптико-электронном стрелковом тренажере коллективного боя по патенту РФ №2211433, МПК F41G, F41J, опубликованном 27.08.2003. Способ заключается в формировании вычислительными средствами двумерного сигнала фоноцелевой обстановки, преобразовании полученного сигнала в секционированное изображение на плоском экране, кадрировании и юстировке секций этого изображения с линейными датчиками координат, установленными стационарно перед экраном, подсветке в момент выстрела лучом лазера, сопряженным с осью ствола имитатора оружия, метки наведения оружия на соответствующей секции экрана, оптическом преобразовании изображения такой метки в изображения горизонтальной и вертикальной полос и преобразовании изображений этих полос линейными датчиками координат в сигналы, соответствующие координатам точки наведения оружия.A known method for determining the point of guidance of the weapon on the image of the phono-target environment, implemented in many optoelectronic systems, in particular in the optoelectronic shooting simulator of collective combat according to the patent of the Russian Federation No. 2211433, IPC F41G, F41J, published on 08.27.2003. The method consists in generating a two-dimensional signal of a phono-target environment by computing means, converting the received signal into a sectioned image on a flat screen, cropping and adjusting sections of this image with linear coordinate sensors installed stationary in front of the screen, illuminating a laser beam conjugated to the axis of the weapon simulator at the moment of firing , gun pointing marks on the corresponding section of the screen, optical conversion of the image of such a mark into horizontal images vertical and vertical stripes and the conversion of images of these stripes by linear coordinate sensors into signals corresponding to the coordinates of the weapon pointing point.
Недостатками данного способа являются невозможность одновременной работы по всему экрану несколькими имитаторами оружия, большая методическая погрешность определения координат, обусловленная систематическими погрешностями взаимного сопряжения пространственных положений имитаторов оружия, лазерных излучателей, оптических преобразователей изображений, датчиков вертикальных и горизонтальных координат. Недостатками способа также являются аномальные ошибки прицеливания при углах свала оружия, отличных от нуля, обусловленные отсутствием в способе необходимых процедур, и погрешности определения координат вследствие проективных преобразований изображений целей, возникающих при углах их наблюдения, отличных от 90 градусов.The disadvantages of this method are the impossibility of simultaneously operating across the entire screen with several weapon simulators, a large methodological error in determining coordinates, due to systematic errors in the mutual conjugation of the spatial positions of weapon simulators, laser emitters, optical image converters, vertical and horizontal coordinate sensors. The disadvantages of the method are abnormal aiming errors at weapon dump angles other than zero, due to the lack of necessary procedures in the method, and errors in determining coordinates due to projective transformations of target images arising from observation angles other than 90 degrees.
Известен способ определения точки наведения оружия на изображении фоноцелевой обстановки по международной заявке "Система и способ обеспечения улучшенного сопровождения меток наведения оружия в тренажерах" № PCT/US 2005/025089 от 15.07.2005, МПК F41G, опубликованной 23.02.2006 № WO 2006/019974 А2. Способ включает формирование вычислительными средствами непрерывной последовательности кадров двумерного сигнала фоноцелевой обстановки, покадровое преобразование видеопроектором полученного сигнала в изображение фоноцелевой обстановки на плоском экране, подсветку в моменты выстрелов лучами лазеров, сопряженными с осями стволов нескольких имитаторов оружия, меток наведения оружия на экране, преобразование одной или несколькими стационарными видеокамерами изображения с экрана в двумерный регистрируемый сигнал, выделение в нем вычислительными средствами сигналов меток наведения, определение координат их центроид и отслеживание во времени траекторий и координат меток наведения с предсказанием и фильтрацией по принадлежности к имитаторам оружия.A known method for determining the point of guidance of weapons on the image of the phono-target environment according to the international application "System and method for providing improved tracking of guidance marks of weapons in simulators" No. PCT / US 2005/025089 of 07.15.2005, IPC F41G, published 02.23.2006 No. WO 2006/019974 A2. The method includes generating, by means of computing, a continuous sequence of frames of a two-dimensional signal of the phono-target situation, frame-by-frame conversion by the video projector of the received signal into the image of the phono-target situation on a flat screen, illumination at the moments of shots by laser beams coupled to the axes of the trunks of several weapon simulators, weapon guidance marks on the screen, conversion of one or several stationary video cameras screen images into a two-dimensional recorded signal, the selection in it By means of calculating the signals of guidance marks, determining the coordinates of their centroids and tracking over time the trajectories and coordinates of guidance marks with prediction and filtering by belonging to weapon simulators.
Недостатками данного способа является большая совокупная погрешность определения координат точек наведения оружия, обусловленная систематическими погрешностями взаимного сопряжения пространственных положений имитаторов оружия, лазерных излучателей, видеопроектора, видеокамеры, отсутствие встроенных процедур учета и компенсации этих погрешностей, а также сложность обеспечения временной стабильности характеристик реализаций способа. Другими недостатками способа являются аномальные ошибки прицеливания при углах свала и возвышения оружия, отличных от нуля, методическая сложность разделения сигналов меток наведения с ростом числа одновременно обучаемых стрелков.The disadvantages of this method is the large cumulative error in determining the coordinates of the weapon guidance points, due to systematic errors in the mutual conjugation of the spatial positions of weapon simulators, laser emitters, video projectors, video cameras, the lack of built-in procedures for recording and compensating for these errors, and the difficulty in ensuring the temporal stability of the characteristics of the method implementations. Other disadvantages of the method are abnormal aiming errors at non-zero weapon dump and elevation angles, the methodological complexity of separating guidance mark signals with an increase in the number of simultaneously trained shooters.
Наиболее близким по технической сущности и существенным признакам является способ определения точки наведения оружия на изображении фоноцелевой обстановки, реализованный в тренажере для подготовке стрелков по патенту на полезную модель №32873, МПК F41G 3/26, опубликованном 27.09.2003. Способ включает формирование вычислительными средствами в режиме настройки последовательности кадров двумерного тестового сигнала, содержащего сигналы тестовых маркеров с задаваемыми координатами, покадровое преобразование видеопроектором тестового сигнала в тестовое изображение на плоском экране, наложение на тестовое изображение изображений координатных маркеров, преобразование посредством видеокамеры изображения с экрана и его окрестностей в двумерный регистрируемый тестовый сигнал, центральный элемент которого сопряжен с осью ствола имитатора оружия, подстройку координатных полей тестового изображения и регистрируемого тестового сигнала, определение и запоминание координат координатных маркеров относительно поля сигнала тестового изображения в качестве эталонных, формирование вычислительными средствами в рабочем режиме непрерывной последовательности кадров двумерного сигнала фоноцелевой обстановки в координатном поле тестового сигнала, покадровое преобразование полученного сигнала в изображение фоноцелевой обстановки на плоском экране, наложение на полученное изображение изображений тех же координатных маркеров, преобразование изображения с экрана и его окрестностей в двумерный регистрируемый сигнал, определение текущих координат изображений координатных маркеров в регистрируемом сигнале и определение координат точки наведения оружия в сигнале изображения фоноцелевой обстановки.The closest in technical essence and essential features is the method for determining the point of pointing a weapon on the image of the phono-target environment, implemented in the simulator for training shooters according to the utility model patent No. 32873, IPC F41G 3/26, published on September 27, 2003. The method includes generating, by means of a configuration mode, the frame sequence of a two-dimensional test signal containing test marker signals with specified coordinates, frame-by-frame conversion of a test signal by a projector into a test image on a flat screen, superimposition of coordinate markers on a test image, conversion of a screen image and its using a video camera neighborhoods into a two-dimensional recorded test signal, the central element of which is paired with the axis of the barrel of the weapon simulator, adjusting the coordinate fields of the test image and the recorded test signal, determining and storing the coordinates of the coordinate markers relative to the signal field of the test image as reference, the formation by computer tools in the operating mode of a continuous sequence of frames of a two-dimensional signal of the phono-target situation in the coordinate field of the test signal, frame-by-frame converting the received signal into an image of the phono-target environment on a flat screen, superimposed the resulting image of the same image fiducial markers transform images from the screen and its surroundings in a two-dimensional detection signal, determining the current coordinates of the image coordinate markers in the recorded signal and determining weapon aiming point coordinates in the image signal target environment.
Недостатком этого способа является большая методическая погрешность определения координат, складывающаяся из множества систематических ошибок взаимного сопряжения оси имитатора оружия, расположения стрелка по трем координатам, координатных полей формируемых и регистрируемых сигналов и изображений. Другими недостатками способа являются ограниченность по числу одновременно обучающихся стрелков, по допустимым углам возвышения и свала оружия, а также сложность обеспечения временной стабильности характеристик реализаций способа. Недостатки обусловлены преимущественно механическими методами сопряжения семи систем координат, отсутствием процедур идентификации меток по обучаемым стрелкам, проективными преобразованиями геометрии изображений, не учитываемыми в способе.The disadvantage of this method is the large methodological error in determining the coordinates, consisting of many systematic errors in the interfacing of the axis of the weapon simulator, the location of the arrow in three coordinates, the coordinate fields of the generated and recorded signals and images. Other disadvantages of the method are the limited number of simultaneously trained shooters, the permissible elevation and dump angles, as well as the difficulty of ensuring the temporary stability of the characteristics of the method implementations. The disadvantages are caused mainly by mechanical methods of conjugation of seven coordinate systems, the lack of identification procedures for marks on the trained arrows, projective transformations of the image geometry, not taken into account in the method.
Целью первого изобретения группы является достижение технического результата, заключающегося в повышении точности определения точки наведения оружия, расширении зоны допустимого размещения стрелков перед экраном, обеспечение обучения группы стрелков в реальных условиях единой фоноцелевой обстановки и расширение диапазонов допустимых углов возвышения и свала имитируемого оружия. Технический результат при осуществлении способа достигается в целом за счет сокращения с семи до четырех числа систем координат, подлежащих сопряжению, введению действий по определению и учету проективных искажений координатных плоскостей, по обеспечению независимой обработки выстрелов нескольких стрелков, достижения инвариантности обработки изображений в расширенных диапазонах углов возвышения и свала имитируемого оружия.The aim of the group’s first invention is to achieve a technical result, which consists in increasing the accuracy of determining the point of pointing the weapon, expanding the zone of permissible placement of shooters in front of the screen, providing training for the group of shooters in real conditions of a single phono-target environment and expanding the ranges of permissible elevation and dump angles of simulated weapons. The technical result when implementing the method is achieved as a whole by reducing from seven to four the number of coordinate systems to be conjugated, introducing actions to determine and take into account projective distortions of coordinate planes, to ensure independent processing of shots of several shooters, to achieve image processing invariance in extended ranges of elevation angles and the dump of simulated weapons.
Для достижения указанного технического результата в способе определения точки наведения оружия на изображении фоноцелевой обстановки в стрелковых тренажерах, включающем формирование вычислительными средствами в режиме настройки последовательности кадров двумерного тестового сигнала, содержащего сигналы тестовых маркеров с задаваемыми координатами, покадровое преобразование видеопроектором тестового сигнала в тестовое изображение на плоском экране, наложение на тестовое изображение изображений координатных маркеров, преобразование посредством видеокамеры изображения с экрана и его окрестностей в двумерный регистрируемый тестовый сигнал, центральный элемент которого сопряжен с осью ствола имитатора оружия, подстройку координатных полей тестового изображения и регистрируемого тестового сигнала, определение и запоминание координат координатных маркеров относительно поля сигнала тестового изображения в качестве эталонных, формирование в рабочем режиме вычислительными средствами непрерывной последовательности кадров двумерного сигнала фоноцелевой обстановки в координатном поле тестового сигнала, покадровое преобразование полученного сигнала в изображение фоноцелевой обстановки на плоском экране, наложение на полученное изображение изображений тех же координатных маркеров, преобразование изображения с экрана и его окрестностей в двумерный регистрируемый сигнал, определение текущих координат изображений координатных маркеров в регистрируемом сигнале и определение координат точки наведения оружия на изображении фоноцелевой обстановки дополнительно вводят в элементы всех сигналов и изображений компоненты, описывающие цветовые оттенки этих элементов в базовых цветах, выбирают количество координатных маркеров не менее четырех, определяют характеристики формы, размера, цвета и относительного расположения сигналов изображений координатных маркеров и запоминают их в качестве эталонных характеристик. После преобразования изображений фоноцелевой обстановки и координатных маркеров с экрана и его окрестностей в регистрируемый сигнал, дополнительно выделяют в нем сигналы изображений координатных маркеров и, помимо текущих координат, определяют их текущие характеристики. Далее по эталонным и текущим характеристикам идентифицируют размещение координатных маркеров в регистрируемом сигнале, по текущим и эталонным координатам не менее четырех идентифицированных маркеров рассчитывают элементы матрицы А проективных преобразований сформированного и регистрируемого изображений фоноцелевой обстановки, а координаты точки прицеливания в сигнале изображения фоноцелевой обстановки определяют умножением вектора координат центрального элемента регистрируемого сигнала на обращенную матрицу А. Преобразование изображений с экрана и его окрестностей в регистрируемые сигналы, а также все последующие действия с этими сигналами и зависящие от них, выполняют аналогично для каждого используемого имитатора оружия с сопряженной с ним отдельной видеокамерой, получая несколько, в общем различных, матриц проективных преобразований и точек наведения, соответствующих отдельным имитаторам оружия.To achieve the specified technical result in the method for determining the point of pointing a weapon on the image of the phono-target situation in shooting simulators, which includes generating by means of a computer a mode for setting the sequence of frames of a two-dimensional test signal containing signals of test markers with specified coordinates, frame-by-frame conversion by a projector of a test signal into a test image on a flat screen, overlaying on the test image images of coordinate markers, transform inputting the image from the screen and its environs by means of a video camera into a two-dimensional recorded test signal, the central element of which is interfaced with the axis of the barrel of the weapon simulator, adjusting the coordinate fields of the test image and the recorded test signal, determining and storing the coordinates of the coordinate markers relative to the signal field of the test image as reference, formation in the operating mode by computing means of a continuous sequence of frames of a two-dimensional signal of a phono-target adjustments in the coordinate field of the test signal, frame-by-frame conversion of the received signal into an image of the background target environment on a flat screen, superimposition of the images of the same coordinate markers on the received image, conversion of the image from the screen and its surroundings into a two-dimensional recorded signal, determination of the current image coordinates of coordinate markers in the recorded signal and determining the coordinates of the weapon guidance point in the image of the phono-target environment is additionally introduced into the elements of all the signal s and image components, describing the color tones of these elements in the basic colors, the number of fiducial markers selected at least four, define the characteristics of shape, size, color coordinate, and relative position of markers image signals and storing them as reference characteristics. After converting the images of the background target environment and coordinate markers from the screen and its environs into a registered signal, the signals of coordinate marker images are additionally isolated in it and, in addition to the current coordinates, their current characteristics are determined. Next, the location of coordinate markers in the recorded signal is identified by the reference and current characteristics, the elements of the matrix A of the projective transformations of the generated and recorded images of the background target environment are calculated from the current and reference coordinates of at least four identified markers, and the coordinates of the aiming point in the image signal of the background target environment are determined by multiplying the coordinate vector the central element of the recorded signal to the inverse matrix A. Conversions images from the screen and its environs into the recorded signals, as well as all subsequent actions with these signals and depending on them, perform similarly for each used weapon simulator with a separate video camera coupled with it, receiving several, generally different, projective transform matrices and guidance points corresponding to individual weapon simulators.
Количество и размещение изображений координатных маркеров в области экрана и размеры координатного поля регистрируемого и регистрируемого тестового сигналов выбирают так, чтобы в заданных диапазонах углов возвышения, упреждения и свала имитатора оружия и для любых координат целей в сигнале фоноцелевой обстановки обеспечить попадание в регистрируемые сигналы сигналов не менее четырех координатных маркеров, координаты которых позволяют образовать в координатном поле не менее одного четырехугольника.The number and placement of images of coordinate markers in the screen area and the size of the coordinate field of the recorded and registered test signals are chosen so that, in the specified ranges of elevation angles, lead and collapse of the weapon simulator, and for any target coordinates in the signal of the phono-target environment, ensure that no less than signals enter the recorded signals four coordinate markers, the coordinates of which make it possible to form at least one quadrangle in the coordinate field.
Характеристики формы, размера, цвета и относительного расположения координатных маркеров выбирают так, чтобы их компоненты, сочетания и производные параметры обеспечили выделение и идентификацию сигналов координатных маркеров в регистрируемом и регистрируемом тестовом сигналах.The characteristics of the shape, size, color and relative location of the coordinate markers are chosen so that their components, combinations and derivative parameters ensure the isolation and identification of the signals of the coordinate markers in the recorded and registered test signals.
Однако охарактеризованный и раскрытый выше способ также имеет недостатки, заключающиеся в низкой долговременной стабильности точностных характеристик, обеспечиваемых способом, сложности и трудоемкости процедур минимизации систематических ошибок взаимного сопряжения систем координат имитаторов оружия, координатных полей формируемых и регистрируемых сигналов и изображений в режиме настройки. Недостатки обусловлены преимущественно механическими методами сопряжения четырех систем координат, случайными механическими воздействиями на координатные системы, возникающими при эксплуатации реализаций способа, необходимостью частого повторения сложных процедур режима настройки для поддержания требуемой точности определения точек наведения оружия нескольких стрелков.However, the method described and disclosed above also has drawbacks in the low long-term stability of the accuracy characteristics provided by the method, the complexity and the complexity of the procedures for minimizing systematic errors in the interfacing of coordinate systems of weapon simulators, coordinate fields of generated and recorded signals and images in the setup mode. The disadvantages are caused mainly by mechanical methods of conjugation of four coordinate systems, random mechanical influences on coordinate systems arising from the operation of the method implementations, the need to frequently repeat complex setup mode procedures to maintain the required accuracy of determining the points of guidance of the weapon of several shooters.
Целью второго изобретения группы является достижение технического результата, заключающегося в повышении временной стабильности результатов определения точки наведения оружия и автоматизации действий по сопряжению систем координат. Причем первое изобретение группы используется во втором, а вместе они образуют единый изобретательский замысел. Технический результат при осуществлении второго способа достигается за счет введения совокупности действий, обеспечивающих оперативный учет суммарных погрешностей сопряжения координатных полей формируемых и регистрируемых сигналов и изображений.The purpose of the second invention of the group is to achieve a technical result, which consists in increasing the temporal stability of the results of determining the point of guidance of weapons and automation of actions for interfacing coordinate systems. Moreover, the first invention of the group is used in the second, and together they form a single inventive concept. The technical result in the implementation of the second method is achieved by introducing a set of actions that provide operational accounting of the total errors of the pairing of the coordinate fields of the generated and recorded signals and images.
Для достижения данного технического результата в способе определения точки наведения оружия на изображении фоноцелевой обстановки в стрелковых тренажерах, включающем в режиме настройки формирование вычислительными средствами последовательности кадров двумерного тестового сигнала с цветовыми компонентами, содержащего сигналы тестовых маркеров с задаваемыми координатами, покадровое преобразование видеопроектором тестового сигнала в тестовое цветное изображение на плоском экране, наложение на тестовое изображение не менее четырех цветных изображений координатных маркеров, преобразование посредством видеокамеры изображения с экрана и его окрестностей в двумерный регистрируемый тестовый сигнал с цветовыми компонентами, центральный элемент которого сопряжен с осью ствола имитатора оружия, подстройку координатных полей тестового изображения и регистрируемого тестового сигнала, определение координат и характеристик формы, размера, цвета и относительного расположения сигналов изображений координатных маркеров относительно поля сигнала тестового изображения и запоминание их в качестве эталонных координат и характеристик, в рабочем режиме формирование вычислительными средствами непрерывной последовательности кадров двумерного сигнала фоноцелевой обстановки с цветовыми компонентами в координатном поле тестового сигнала, покадровое преобразование полученного сигнала в цветное изображение фоноцелевой обстановки на плоском экране, наложение на полученное изображение изображений тех же координатных маркеров, преобразование изображения с экрана и его окрестностей в двумерный регистрируемый сигнал с цветовыми компонентами, выделение в регистрируемом сигнале сигналов изображений координатных маркеров и определение их текущих координат и характеристик, идентификацию размещения координатных маркеров в регистрируемом сигнале по их эталонным и текущим характеристикам, расчет элементов матрицы А проективных преобразований сформированного и регистрируемого изображений фоноцелевой обстановки по текущим и эталонным координатам не менее четырех идентифицированных маркеров, определение координаты точки наведения оружия в сигнале изображения фоноцелевой обстановки умножением вектора координат центрального элемента регистрируемого сигнала на обращенную матрицу А и аналогичное выполнение преобразований изображений с экрана и его окрестностей в регистрируемые сигналы, а также всех последующих действий с этими сигналами и зависящих от этих сигналов, для каждого используемого имитатора оружия с сопряженной с ним отдельной видеокамерой дополнительно выбирают формируемый двумерный тестовый сигнал в виде однотонного поля, выбирают количество встраиваемых в этот сигнал тестовых маркеров с задаваемыми координатами не менее четырех, задают характеристики формы, размера, цвета и относительного расположения тестовых маркеров, задают координаты и характеристики координатных маркеров, отличающиеся от координат и характеристик тестовых маркеров. После наложения на тестовое изображение с тестовыми маркерами изображений координатных маркеров ориентируют любой из имитаторов оружия и сопряженное с ними координатное поле регистрируемого тестового сигнала так, чтобы обеспечить попадание в этот регистрируемый тестовый сигнал изображений всех тестовых и координатных маркеров. После преобразования изображения с экрана и его окрестностей в двумерный регистрируемый тестовый сигнал выделяют в нем сигналы тестовых и координатных маркеров, определяют наблюдаемые координаты и характеристики этих маркеров, идентифицируют размещение тестовых маркеров в регистрируемом тестовом сигнале по их наблюдаемым и задаваемым характеристикам. Затем рассчитывают элементы матрицы F проективных преобразований сформированного и регистрируемого тестовых изображений по задаваемым и наблюдаемым координатам сигналов не менее четырех идентифицированных тестовых маркеров, определяют координаты каждого координатного маркера относительно поля сигнала тестового изображения умножением вектора наблюдаемых координат соответствующего координатного маркера на обращенную матрицу F и запоминают их в качестве эталонных координат координатных маркеров, корректируют характеристики относительного расположения сигналов изображений координатных маркеров по соответствующим эталонным координатам и вместе с заданными характеристиками формы, размера, цвета запоминают их в качестве эталонных характеристик координатных маркеров.To achieve this technical result, in the method for determining the point of pointing a weapon on the image of the phono-target situation in shooting simulators, which includes, in the setup mode, the formation of a sequence of frames of a two-dimensional test signal with color components by computer, containing the signals of test markers with specified coordinates, frame-by-frame conversion by a video projector of a test signal into a test color image on a flat screen, overlay on a test image of at least four x color images of coordinate markers, conversion of a screen image and its surroundings by means of a video camera into a two-dimensional recorded test signal with color components, the central element of which is interfaced with the axis of the weapon simulator barrel, adjustment of the coordinate fields of the test image and the recorded test signal, determination of coordinates and shape characteristics, the size, color and relative position of the image signals of the coordinate markers relative to the signal field of the test image and storing them as reference coordinates and characteristics, in the operating mode, the formation of a continuous sequence of frames of a two-dimensional phono-target environment signal with color components in the coordinate field of the test signal by computing means, frame-by-frame conversion of the received signal into a color image of the phono-target environment on a flat screen, overlaying the images on the resulting image the same coordinate markers, converting the image from the screen and its surroundings into a two-dimensional register the signal with color components, the allocation in the recorded signal of the image signals of coordinate markers and the determination of their current coordinates and characteristics, the identification of the location of the coordinate markers in the recorded signal by their reference and current characteristics, the calculation of the elements of the matrix A of projective transformations of the generated and recorded images of the phono-target environment according to the current and reference coordinates of at least four identified markers, determining the coordinates of the weapon pointing point in the image signal of the phono-target environment by multiplying the coordinate vector of the central element of the detected signal by the inverse matrix A and similarly converting the images from the screen and its environs into the recorded signals, as well as all subsequent actions with these signals and depending on these signals, for each weapon simulator used with a separate video camera coupled with it additionally selects the generated two-dimensional test signal in the form of a single-color field, selects the built-in number s in this test signal with marker definable coordinates of at least four, define the characteristics of shape, size, color and relative location of the test marker coordinates are coordinate markers and characteristics that differ from the coordinates of markers and test characteristics. After superimposing on the test image with test markers, the images of the coordinate markers orient any of the weapon simulators and the coordinate field of the recorded test signal associated with them so as to ensure that images of all test and coordinate markers get into this recorded test signal. After converting the image from the screen and its environs into a two-dimensional recorded test signal, the signals of test and coordinate markers are extracted in it, the observed coordinates and characteristics of these markers are determined, the placement of test markers in the recorded test signal is identified by their observed and specified characteristics. Then, the elements of the matrix F of projective transformations of the generated and recorded test images are calculated by the given and observed coordinates of the signals of at least four identified test markers, the coordinates of each coordinate marker relative to the signal field of the test image are determined by multiplying the vector of the observed coordinates of the corresponding coordinate marker by the inverse matrix F and store them in as reference coordinates of coordinate markers, adjust the characteristics of the relative location of the image signals of the coordinate markers according to the corresponding reference coordinates and together with the specified characteristics of the shape, size, color, remember them as the reference characteristics of the coordinate markers.
Все рассмотренные аналоги, а также охарактеризованные и раскрытые выше способы, имеют существенный методологический недостаток, обусловленный самими принципами решения задачи определения точки наведения оружия. В этих способах прицеливание осуществляют непосредственно по изображению на экране, а координаты точки наведения определяют опосредованно, по сигналам датчиков, меткам, маркерам в сопрягаемых с реальным изображениям системах и их координатных полях. Искажение изображения или даже его исчезновение никак не сказывается на работоспособности способов и их реализаций. Искажения, вносимые при преобразованиях сигналов в изображения и изображений в сигналы (видеопроектора и видеокамеры с объективами), могут достигать нескольких линейных размеров целей, отображаемых на экране.All of the considered analogues, as well as the methods described and disclosed above, have a significant methodological drawback, due to the very principles of solving the problem of determining the point of pointing a weapon. In these methods, the aiming is carried out directly from the image on the screen, and the coordinates of the pointing point are determined indirectly by the signals of the sensors, marks, markers in systems interfaced with real images and their coordinate fields. The distortion of the image or even its disappearance does not affect the performance of the methods and their implementations. The distortions introduced when converting signals to images and images to signals (video projectors and video cameras with lenses) can reach several linear sizes of targets displayed on the screen.
Целью третьего изобретения группы является достижение технического результата, заключающегося в повышении точности определения точки наведения оружия на изображении фоноцелевой обстановки. При этом второе изобретение группы используется в третьем и вместе с первым они образуют единый изобретательский замысел. Технический результат при осуществлении третьего способа достигается за счет введения совокупности действий, обеспечивающих определение точных значений координат точки наведения оружия по результатам обработки непосредственно сигналов изображений.The aim of the third invention of the group is to achieve a technical result, which consists in increasing the accuracy of determining the point of pointing the weapon in the image of the phono-target environment. Moreover, the second invention of the group is used in the third and together with the first they form a single inventive concept. The technical result in the implementation of the third method is achieved by introducing a set of actions that determine the exact values of the coordinates of the point of guidance of the weapon according to the results of processing directly the image signals.
Для достижения данного технического результата в способе определения точки наведения оружия на изображении фоноцелевой обстановки в стрелковых тренажерах, включающем в режиме настройки формирование вычислительными средствами последовательности кадров двумерного тестового сигнала с цветовыми компонентами в виде однотонного поля, содержащего сигналы не менее четырех тестовых маркеров с задаваемыми координатами и характеристиками формы, размера, цвета и относительного расположения, покадровое преобразование видеопроектором тестового сигнала в тестовое цветное изображение на плоском экране, наложение на тестовое изображение не менее четырех цветных изображений координатных маркеров с задаваемыми координатами и характеристиками, отличающимися от координат и характеристик тестовых маркеров, ориентацию любого из используемых имитаторов оружия и сопряженной с ним отдельной видеокамеры, обеспечивающую попадание в ее координатное поле изображений всех тестовых и координатных маркеров, преобразование посредством видеокамер используемых имитаторов оружия изображения с экрана и его окрестностей в двумерные регистрируемые тестовые сигналы с цветовыми компонентами, центральные элементы которых сопряжены с осями стволов соответствующих имитаторов оружия, подстройку координатных полей тестового изображения и регистрируемых тестовых сигналов, выделение в регистрируемом тестовом сигнале с выбранного и ориентированного имитатора оружия сигналов тестовых и координатных маркеров, определение в этом сигнале наблюдаемых координат и характеристик тестовых и координатных маркеров, идентификацию размещения тестовых маркеров в этом регистрируемом тестовом сигнале по их наблюдаемым и задаваемым характеристикам, расчет элементов матрицы F проективных преобразований сформированного и регистрируемого тестовых изображений по задаваемым и наблюдаемым координатам сигналов не менее четырех идентифицированных тестовых маркеров, определение координат каждого координатного маркера относительно поля сигнала тестового изображения умножением вектора наблюдаемых координат соответствующего координатного маркера на обращенную матрицу F и запоминание их в качестве эталонных координат координатных маркеров, корректировку характеристики относительного расположения сигналов изображений координатных маркеров по соответствующим эталонным координатам и запоминание их вместе с заданными характеристиками формы, размера и цвета в качестве эталонных характеристик координатных маркеров, в рабочем режиме формирование вычислительными средствами непрерывной последовательности кадров двумерного сигнала фоноцелевой обстановки с цветовыми компонентами в координатном поле тестового сигнала, покадровое преобразование полученного сигнала в цветное изображение фоноцелевой обстановки на плоском экране, наложение на полученное изображение изображений тех же координатных маркеров, преобразование посредством видеокамер используемых имитаторов оружия изображения с экрана и его окрестностей в соответствующие двумерные регистрируемые сигналы с цветовыми компонентами, выделение в каждом регистрируемом сигнале сигналов изображений координатных маркеров и определение их текущих координат и характеристик, идентификацию положения координатных маркеров в каждом регистрируемом сигнале по их эталонным и текущим характеристикам, расчет элементов матриц А проективных преобразований сформированного и каждого регистрируемого изображений фоноцелевой обстановки по текущим и эталонным координатам не менее четырех идентифицированных маркеров и определение координат точек наведения оружия в сигнале изображения фоноцелевой обстановки умножением вектора координат центрального элемента для каждого регистрируемого сигнала на соответствующую обращенную матрицу А, после определения координат точек наведения оружия и для каждого регистрируемого сигнала дополнительно преобразуют область двумерного регистрируемого сигнала в окрестности его центрального элемента в приведенный сигнал в координатном поле сигнала фоноцелевой обстановки, определяют координаты подобласти наибольшего подобия приведенному сигналу в окрестности найденной точки наведения оружия в сигнале фоноцелевой обстановки, а координаты центрального элемента найденной подобласти используют в качестве точных координат точки наведения оружия в сигнале изображения фоноцелевой обстановки.To achieve this technical result, in the method for determining the point of pointing a weapon on the image of the phono-target situation in shooting simulators, which includes, in the tuning mode, the formation of a sequence of frames of a two-dimensional test signal with color components in the form of a monophonic field containing signals of at least four test markers with preset coordinates and characteristics of shape, size, color and relative positioning, frame-by-frame conversion by video projector of dough signal into the test color image on a flat screen, overlaying on the test image with at least four color images of coordinate markers with specified coordinates and characteristics that differ from the coordinates and characteristics of the test markers, the orientation of any of the used weapon simulators and a separate video camera paired with it, ensuring hit in its coordinate field the images of all test and coordinate markers, the conversion by means of video cameras of the used weapon simulators moving from the screen and its environs into two-dimensional recorded test signals with color components, the central elements of which are interfaced with the axes of the trunks of the respective weapon simulators, adjusting the coordinate fields of the test image and the recorded test signals, extracting test and test signals from the selected and oriented weapon simulator coordinate markers, determination of the observed coordinates and characteristics of test and coordinate markers in this signal, identification of placing test markers in this recorded test signal according to their observed and specified characteristics, calculating the matrix elements F of the projective transformations of the generated and recorded test images by specified and observed signal coordinates of at least four identified test markers, determining the coordinates of each coordinate marker relative to the field of the test image signal by multiplication vectors of observed coordinates of the corresponding coordinate marker on the inverse matrix F storing them as reference coordinates of coordinate markers, adjusting the characteristics of the relative location of the image signals of coordinate markers according to the corresponding reference coordinates, and storing them together with the specified characteristics of shape, size and color as reference characteristics of coordinate markers, in the operating mode, by computing means, creating a continuous sequence of two-dimensional frames signal of the background target environment with color components in the coordinate field the output signal, frame-by-frame conversion of the received signal into a color image of the phono-target environment on a flat screen, superimposition of the images of the same coordinate markers on the resulting image, conversion of the image of the screen and its surroundings using video cameras into the corresponding two-dimensional recorded signals with color components, highlighting in each the recorded signal of the image signals of coordinate markers and the determination of their current coordinates and characteristics, ident the identification of the position of the coordinate markers in each recorded signal according to their reference and current characteristics, the calculation of the elements of the matrix A of the projective transformations of the generated and each recorded image of the phono-target environment using the current and reference coordinates of at least four identified markers and the determination of the coordinates of the weapon guidance points in the image signal of the phono-target environment by multiplication the coordinate vector of the central element for each registered signal to the corresponding inverse matrix A, after determining the coordinates of the weapon guidance points and for each recorded signal, additionally transform the region of the two-dimensional recorded signal in the vicinity of its central element into a reduced signal in the coordinate field of the signal of the phono-target environment, determine the coordinates of the subdomain of the greatest similarity to the given signal in the vicinity of the found weapon pointing point in signal of the background target environment, and the coordinates of the central element of the found subdomain are used as exact coordinates INAT weapon aiming point in the image signal target environment.
Векторы координат элементов приведенного сигнала получают умножением вектора координат каждого соответствующего элемента регистрируемого сигнала на обращенную матрицу А, а значения каждой цветовой компоненты каждого элемента приведенного сигнала в узлах координатного поля сигнала фоноцелевой обстановки получают интерполяцией значений соответствующих компонентов близлежащих элементов регистрируемого сигнала.The coordinate vectors of the elements of the reduced signal are obtained by multiplying the coordinate vector of each corresponding element of the recorded signal by the inverse matrix A, and the values of each color component of each element of the reduced signal in the nodes of the coordinate field of the signal of the phono-target environment are obtained by interpolating the values of the corresponding components of the neighboring elements of the recorded signal.
Размеры преобразуемой области регистрируемого сигнала задают такими, чтобы обеспечить более широкие диапазоны допустимых погрешностей преобразований сигналов и искажений координатных полей изображений для устойчивого определения подобласти наибольшего подобия в сигнале фоноцелевой обстановки, а размеры области поиска подобласти наибольшего подобия по каждой оси координат ограничивают для обеспечения однозначности определения такой подобласти.The dimensions of the converted region of the recorded signal are set so as to provide wider ranges of permissible errors of signal transformations and distortions of the image coordinate fields for stable determination of the subregion of the greatest similarity in the signal of the target environment, and the size of the search region of the subregion of the greatest similarity on each coordinate axis is limited to ensure that such subregions.
Охарактеризованный и раскрытый выше способ также не свободен от недостатков. В отдельных случаях его применения возможно возникновение ситуаций, когда из-за больших углов возвышения и упреждения имитатора оружия в точке его наведения отсутствует изображение фоноцелевой обстановки. В других частных случаях изображение фоноцелевой обстановки в точках наведения оружия может включать протяженные изотропные области наряду с малоразмерными изображениями целей. Вследствие таких ситуаций могут возникать аномальные ошибки определения точных координат, для исключения которых необходимо накладывать дополнительные условия на характеристики формируемых изображений и применение способа.The method described and disclosed above is also not free from disadvantages. In some cases of its use, situations may arise when due to the large elevation angles and lead of the weapon simulator at the point of its guidance there is no image of the phono-target situation. In other particular cases, the image of the phono-target environment at the weapon guidance points may include extended isotropic regions along with small-sized images of targets. As a result of such situations, anomalous errors in determining the exact coordinates can occur, to eliminate which it is necessary to impose additional conditions on the characteristics of the generated images and the application of the method.
Целью четвертого изобретения группы является достижение технического результата, заключающегося в расширении условий применения способа. При этом вместе четыре изобретения группы объединяет единый изобретательский замысел. Технический результат при осуществлении четвертого способа достигается за счет введения совокупности действий с сигналами и изображениями, обеспечивающих определение точных значений координат точки наведения оружия в расширенных диапазонах углов возвышения и упреждения имитаторов оружия, а также характеристик формируемых сигналов и изображений.The aim of the fourth invention of the group is to achieve a technical result, which consists in expanding the conditions of application of the method. At the same time, the four inventions of the group are united by a single inventive concept. The technical result in the implementation of the fourth method is achieved by introducing a set of actions with signals and images, providing the exact values of the coordinates of the point of guidance of the weapon in the extended ranges of elevation angles and lead simulators of weapons, as well as the characteristics of the generated signals and images.
Для достижения данного технического результата в способе определения точки наведения оружия на изображении фоноцелевой обстановки в стрелковых тренажерах, включающем в режиме настройки формирование вычислительными средствами последовательности кадров двумерного тестового сигнала с цветовыми компонентами в виде однотонного поля, содержащего сигналы не менее четырех тестовых маркеров с задаваемыми координатами, характеристиками формы, размера, цвета и относительного расположения, покадровое преобразование видеопроектором тестового сигнала в тестовое цветное изображение на плоском экране, наложение на тестовое изображение не менее четырех цветных изображений координатных маркеров с задаваемыми координатами и характеристиками, отличающимися от координат и характеристик тестовых маркеров, ориентацию любого из используемых имитаторов оружия и сопряженной с ним отдельной видеокамеры, обеспечивающую попадание в ее координатное поле изображений всех тестовых и координатных маркеров, преобразование посредством видеокамер используемых имитаторов оружия изображения с экрана и его окрестностей в двумерные регистрируемые тестовые сигналы с цветовыми компонентами, центральные элементы которых сопряжены с осями стволов соответствующих имитаторов оружия, подстройку координатных полей тестового изображения и регистрируемых тестовых сигналов, выделение в регистрируемом тестовом сигнале с выбранного и ориентированного имитатора оружия сигналов тестовых и координатных маркеров, определение в этом сигнале наблюдаемых координат и характеристик тестовых и координатных маркеров, идентификацию размещения тестовых маркеров в этом регистрируемом тестовом сигнале по их наблюдаемым и задаваемым характеристикам, расчет элементов матрицы F проективных преобразований сформированного и регистрируемого тестовых изображений по задаваемым и наблюдаемым координатам сигналов не менее четырех идентифицированных тестовых маркеров, определение координат каждого координатного маркера относительно поля сигнала тестового изображения умножением вектора наблюдаемых координат соответствующего координатного маркера на обращенную матрицу F и запоминание их в качестве эталонных координат координатных маркеров, корректировку характеристики относительного расположения сигналов изображений координатных маркеров по соответствующим эталонным координатам и запоминание их вместе с заданными характеристиками формы, размера и цвета в качестве эталонных характеристик координатных маркеров, в рабочем режиме формирование вычислительными средствами непрерывной последовательности кадров двумерного сигнала фоноцелевой обстановки с цветовыми компонентами в координатном поле тестового сигнала, покадровое преобразование полученного сигнала в цветное изображение фоноцелевой обстановки на плоском экране, наложение на полученное изображение изображений тех же координатных маркеров, преобразование посредством видеокамер используемых имитаторов оружия изображения с экрана и его окрестностей в соответствующие двумерные регистрируемые сигналы с цветовыми компонентами, выделение в каждом регистрируемом сигнале сигналов изображений координатных маркеров и определение их текущих координат и характеристик, идентификацию положения координатных маркеров в каждом регистрируемом сигнале по их эталонным и текущим характеристикам, расчет элементов матриц А проективных преобразований сформированного и каждого регистрируемого изображений фоноцелевой обстановки по текущим и эталонным координатам не менее четырех идентифицированных маркеров, определение координат точек наведения оружия в сигнале изображения фоноцелевой обстановки умножением вектора координат центрального элемента для каждого регистрируемого сигнала на соответствующую обращенную матрицу А, преобразование области каждого двумерного регистрируемого сигнала в окрестности его центрального элемента в соответствующий приведенный сигнал в координатном поле сигнала фоноцелевой обстановки и определение координат подобласти наибольшего подобия приведенному сигналу в окрестности найденной точки наведения соответствующего оружия в сигнале фоноцелевой обстановки, в каждом кадре после формирования двумерного сигнала фоноцелевой обстановки дополнительно задают показатели и критерии подобия сигналов изображений, проводят поиск и определяют координаты нескольких опорных точек с наилучшими показателями подобия подобластей сигнала фоноцелевой обстановки в окружающих областях этого же сигнала. Далее для каждого имитатора оружия при определении подобласти наибольшего подобия приведенному сигналу в окрестностях найденной точки наведения оружия, определяют также показатели подобия этой подобласти. Для найденных опорных точек умножением векторов их координат на матрицы А рассчитывают векторы координат этих опорных точек в регистрируемом сигнале, отбирают из числа опорных точек те точки, рассчитанные векторы координат которых попадают в координатное поле регистрируемого сигнала. Затем аналогичным образом выполняют преобразования областей регистрируемого сигнала в окрестностях отобранных опорных точек в приведенные сигналы, определяют координаты и показатели подобия подобластей наибольшего подобия приведенным сигналам в окрестностях отобранных опорных точек в сигнале фоноцелевой обстановки, определяют лучшую опорную подобласть наибольшего подобия по показателям подобия и минимальной разности координат этой подобласти и координат найденной точки наведения оружия. Если подобласть наибольшего подобия в окрестностях найденной точки наведения оружия имеет более высокие показатели подобия и ее координаты принадлежат координатному полю сигнала фоноцелевой обстановки, то координаты центрального элемента этой подобласти используют в качестве точных координат точки наведения оружия в сигнале изображения фоноцелевой обстановки. При невыполнении этих условий в качестве точных координат точки наведения оружия в сигнале изображения фоноцелевой обстановки используют координаты центрального элемента подобласти наибольшего подобия лучшей опорной точки, откорректированные на разность координат этой опорной точки и координат найденной точки наведения оружия.To achieve this technical result, in the method for determining the point of pointing a weapon on the image of the phono-target situation in shooting simulators, which includes, in the tuning mode, the formation of a sequence of frames of a two-dimensional test signal with color components in the form of a monophonic field containing signals of at least four test markers with specified coordinates characteristics of shape, size, color and relative positioning, frame-by-frame video projector conversion of tests signal into the test color image on a flat screen, overlaying on the test image with at least four color images of coordinate markers with specified coordinates and characteristics different from the coordinates and characteristics of the test markers, the orientation of any of the used weapon simulators and a separate video camera paired with it in its coordinate field the images of all test and coordinate markers, the conversion by means of video cameras of the used weapon simulators from the screen and its environs into two-dimensional recorded test signals with color components, the central elements of which are interfaced with the axes of the trunks of the respective weapon simulators, adjustment of the coordinate fields of the test image and the recorded test signals, isolation of the test and test signals in the recorded test signal from the selected and oriented weapon simulator coordinate markers, determination of the observed coordinates and characteristics of test and coordinate markers in this signal, identification of times the distribution of test markers in this recorded test signal according to their observed and specified characteristics, calculation of matrix elements F of projective transformations of the generated and recorded test images according to specified and observed signal coordinates of at least four identified test markers, determining the coordinates of each coordinate marker relative to the field of the test image signal by multiplication the vector of the observed coordinates of the corresponding coordinate marker on the inverse matrix F and storing them as reference coordinates of coordinate markers, adjusting the characteristics of the relative location of the image signals of coordinate markers according to the corresponding reference coordinates, and storing them together with the specified characteristics of shape, size and color as reference characteristics of coordinate markers, in the operating mode, by computing means, creating a continuous sequence of two-dimensional frames signal of the background target environment with color components in the coordinate field a new signal, frame-by-frame conversion of the received signal into a color image of the phono-target environment on a flat screen, superimposition of the images of the same coordinate markers on the received image, conversion of the image of the screen and its surroundings using video cameras to the corresponding two-dimensional recorded signals with color components, highlighting in each the recorded signal of the image signals of coordinate markers and the determination of their current coordinates and characteristics, ident the position of the coordinate markers in each recorded signal according to their reference and current characteristics, the calculation of the matrix elements A of the projective transformations of the generated and each recorded phonon target image from the current and reference coordinates of at least four identified markers, the determination of the coordinates of weapon pointing points in the image signal of the background target situation by multiplication the coordinate vector of the central element for each registered signal to the corresponding inverted matrix A, converting the region of each two-dimensional recorded signal in the vicinity of its central element to the corresponding reduced signal in the coordinate field of the phono target signal and determining the coordinates of the subregion of the greatest similarity to the given signal in the vicinity of the found pointing point of the corresponding weapon in the phono target signal, in each frame after the formation two-dimensional signal of the phono-target environment additionally set indicators and similarity criteria for image signals, conduct a search and determine the coordinates of several reference points with the best similarity indices of the subregions of the signal of the phono-target situation in the surrounding areas of the same signal. Further, for each weapon simulator, when determining the subdomain of the greatest similarity to a given signal in the vicinity of the found weapon pointing point, the similarity indices of this subregion are also determined. For the found reference points, by multiplying the vectors of their coordinates by matrices A, the coordinate vectors of these reference points in the recorded signal are calculated, and those points whose calculated coordinate vectors fall into the coordinate field of the recorded signal are selected from the number of reference points. Then, in a similar way, transform the regions of the recorded signal in the vicinity of the selected reference points to the reduced signals, determine the coordinates and similarity indicators of the subdomains of the greatest similarity to the signals in the vicinity of the selected reference points in the signal of the phono-target environment, determine the best reference subregion of the greatest similarity according to the similarity and the minimum difference this subregion and the coordinates of the found weapon pointing point. If the subregion of the greatest similarity in the vicinity of the found weapon pointing point has higher similarity indicators and its coordinates belong to the coordinate field of the phono target signal, then the coordinates of the central element of this subregion are used as the exact coordinates of the weapon pointing point in the image signal of the phono target environment. If these conditions are not met, the coordinates of the central element of the subregion of the greatest similarity to the best reference point, adjusted for the difference in the coordinates of this reference point and the coordinates of the found point of pointing the weapon, are used as the exact coordinates of the weapon guidance point in the image signal of the phono-target environment.
Известно устройство определения точки наведения оружия на изображении фоноцелевой обстановки, реализованное в тренажере MSET-5000 корпорации LasershotInc, США, штат Техас, представленном в Интернет-ресурсе www.lasershot.com. Устройство содержит компьютер со встроенным блоком беспроводного интерфейса, монитор и видеопроигрыватель, соединенные с компьютером, видеокамеру и видеопроектор, подключенные соответственно к видеовходу и видеовыходу компьютера, оптический фильтр, установленный на видеокамере, проекционный экран и N имитаторов оружия с установленными на них лазерами и подключенными к ним блоками питания и интерфейса. Сигнал фоноцелевой обстановки формируется компьютером с помощью специального программного обеспечения и видеопроигрывателя и преобразуется видеопроектором и изображение на экране. Лазеры имитаторов оружия ультрафиолетового или инфракрасного диапазонов в моменты выстрелов формируют метки на экране. Изображения меток через оптический фильтр, отсекающий изображение фоноцелевой обстановки, поступают на стационарную видеокамеру и преобразуются в соответствующий видеосигнал, который обрабатывается в компьютере вместе с сигналами выстрелов, поступающих в компьютер по беспроводному интерфейсу с каждого имитатора оружия. По результатам обработки определяются координаты точек наведения оружия на изображении фоноцелевой обстановки в моменты имитированных выстрелов.A device is known for determining the point of pointing a weapon in an image of a phono-target environment, implemented in the MSET-5000 simulator of LasershotInc Corporation, USA, Texas, presented on the Internet resource www.lasershot.com. The device comprises a computer with a built-in wireless interface unit, a monitor and a video player connected to the computer, a video camera and a video projector connected respectively to the video input and video output of the computer, an optical filter mounted on the video camera, a projection screen and N weapon simulators with lasers installed on them and connected to him power supplies and interface. The signal of the phono-target environment is generated by a computer using special software and a video player and is converted by a video projector and a screen image. Ultraviolet or infrared weapon simulator lasers form marks on the screen at the moment of shots. Images of tags through an optical filter that cuts off the image of the phono-target environment are fed to a stationary video camera and converted into the corresponding video signal, which is processed in the computer along with the signals of the shots that enter the computer via a wireless interface from each weapon simulator. Based on the processing results, the coordinates of the weapon guidance points on the image of the background target situation at the moments of simulated shots are determined.
Недостатками этого устройства является низкая точность определения координат, ограниченность по числу N одновременно обучающихся стрелков, по допустимым углам возвышения и свала оружия. Недостатки обусловлены невозможностью выполнения точной и долговременной юстировки имитатора оружия, лазера, видеопроектора, расположения стрелка по трем координатам, изображения на экране и поля зрения видеокамеры, невозможностью учета углов свала оружия и проективных искажений геометрии наблюдаемого изображения.The disadvantages of this device are the low accuracy of determining the coordinates, the limited number of N simultaneously trained shooters, the allowable angles of elevation and dump weapons. The disadvantages are due to the inability to perform accurate and long-term adjustment of the weapon simulator, laser, video projector, the location of the shooter in three coordinates, the image on the screen and the field of view of the video camera, the inability to take into account the angle of the gunshot and projective distortions in the geometry of the observed image.
Известно устройство определения точки наведения оружия на изображении фоноцелевой обстановки по авторскому свидетельству РФ №1136582, МПК F41G 3/26, "Способ контроля положения точки прицеливания при обучении стрельбе и устройство для его осуществления (его варианты)", опубликованном 10.10.1995. Устройство включает установленные перед экраном блок имитации визуальной фоноцелевой обстановки со светофильтром и блок облучения области попадания кодирующим излучением со светофильтром, имитатор оружия с блоком измерения яркости в удаленной точке с пороговым элементом, блок вычисления координат точки попадания, коммутатор, два блока памяти, модулятор интенсивности облучения области попадания. Вход коммутатора подключен к выходу блока измерения яркости, выходы коммутатора соединены с управляющими входами первого и второго блоков памяти. Информационные входы каждого из блоков памяти подключены к выходам модулятора интенсивности облучения точек области попадания, а выходы блоков памяти соединены со входами блока вычисления координат точки попадания. При этом полосы пропускания светофильтров блока имитации визуальной фоноцелевой обстановки и блока облучения области попадания кодирующим излучением отличны одна от другой, модулятор интенсивности облучения точек области попадания выполнен в виде диска с непрозрачными участками и радиальными рисками и включает также оптронные пары, счетчик импульсов, установочный и счетный входы которого соединены с оптронными парами, а выход подключен к информационным входам блоков памяти.A device is known for determining the point of pointing a weapon in the image of the phono-target situation according to the author’s certificate of the Russian Federation No. 1136582,
Недостатками устройства являются низкая точность определения точки прицеливания, ограниченность допустимых изображений фоноцелевой обстановки, неработоспособность на динамических изображениях, аномальные ошибки прицеливания при отличных от нуля углах свала и возвышения оружия. Недостатки определяются ограничениями по физической реализуемости динамических полей тонкой структуры и блока измерения яркости в удаленной точке с высокой пространственной разрешающей способностью, а также отсутствием блоков и компонентов, позволяющих устройству работать с несколькими обучаемыми, по динамической фоноцелевой обстановке.The disadvantages of the device are the low accuracy of determining the aiming point, the limited acceptable images of the phono-target environment, inoperability on dynamic images, anomalous aiming errors at non-zero angle of dump and elevation of the weapon. The disadvantages are determined by the restrictions on the physical realizability of the dynamic fields of the fine structure and the unit for measuring brightness at a remote point with high spatial resolution, as well as the lack of blocks and components that allow the device to work with several students, according to the dynamic phono-target environment.
Известно устройство определения точки наведения оружия на изображении фоноцелевой обстановки, реализованное в оптико-электронном стрелковом тренажере коллективного боя по патенту РФ №2211433, МПК F41G, F41J, опубликованном 27.08.2003. Устройство включает секционированный экран, проекторы по числу секций экрана, учебное оружие по числу стрелков с электрическими контактами, связанными со спусковыми крючками соответствующего оружия, оптико-электронные датчики вертикальных и горизонтальных координат по числу секций экрана, электронные блоки по числу оптико-электронных датчиков и компьютер с устройством отображения информации. Лазеры с радиаторами установлены стационарно и соединены световодами с объективами на соответствующем учебном оружии. Каждый из оптико-электронных датчиков содержит цилиндрический объектив, линейку фотоприемников и электронный блок, вход которого подключен к выходу линейки фотоприемников, а выход соединен с компьютером.A device is known for determining the point of pointing a weapon in the image of a phono-target situation, implemented in an optical-electronic shooting simulator of a collective battle according to the RF patent No. 2211433, IPC F41G, F41J, published on 08.27.2003. The device includes a partitioned screen, projectors according to the number of screen sections, training weapons according to the number of shooters with electrical contacts associated with the triggers of the corresponding weapons, vertical and horizontal optical-electronic sensors according to the number of screen sections, electronic blocks according to the number of optical-electronic sensors and a computer with a display device. Lasers with radiators are mounted permanently and are connected by optical fibers with lenses on the appropriate training weapons. Each of the optoelectronic sensors contains a cylindrical lens, a line of photodetectors, and an electronic unit, the input of which is connected to the output of the line of photodetectors, and the output is connected to a computer.
Недостатками данного устройства являются невозможность произвольной работы стрелков по всему экрану, низкая точность определения координат. Недостатки обусловлены погрешностями сопряжения пространственных положений имитаторов оружия, лазерных излучателей, оптических преобразователей изображений, датчиков вертикальных и горизонтальных координат, существенным влиянием на ошибки определения координат углов свала и возвышения учебного оружия, проективных преобразований изображений целей при их наблюдении с разных ракурсов.The disadvantages of this device are the impossibility of arbitrary operation of shooters around the screen, low accuracy of determining coordinates. The disadvantages are caused by errors in the spatial position matching of weapon simulators, laser emitters, optical image converters, vertical and horizontal coordinate sensors, a significant influence on the errors in determining the coordinates of the dump angle and elevation of training weapons, projective image transformations of targets when they are observed from different angles.
Известно устройство определения точки наведения оружия на изображении фоноцелевой обстановки по международной заявке "Система и способ обеспечения улучшенного сопровождения меток наведения оружия в тренажерах" № PCT/US 2005/025089 от 15.07.2005, МПК F41G, опубликованной 23.02.2006 № WO 2006/019974 А2. Устройство включает видеопроектор, экран, видеокамеру в качестве устройства захвата последовательности видеокадров, компьютер слежения, компьютер отображения, как минимум один имитатор оружия с установленными на нем лазером и блоком интерфейса. Блоки интерфейсов, видеокамера и видеопроектор соединены соответствующими линиями обмена данными с компьютером слежения. Компьютер отображения отдельными линиями обмена данными соединен с компьютером слежения и видеопроектором. Могут использоваться лазеры видимого или невидимого оптического диапазона, с которым должен быть согласован диапазон чувствительности видеокамеры. Оптические метки прицеливания на экране от разных имитаторов оружия идентифицируются путем обнаружения новых меток, отслеживания и предсказания их положений в последовательностях смежных кадров вводимого в компьютер слежения изображения.A device is known for determining the point of pointing a weapon in the image of the background target situation according to the international application "System and method for providing improved tracking of weapon guidance marks in simulators" No. PCT / US 2005/025089 of July 15, 2005, IPC F41G, published February 23, 2006 No. WO 2006/019974 A2. The device includes a video projector, a screen, a video camera as a device for capturing a sequence of video frames, a tracking computer, a display computer, at least one weapon simulator with a laser and an interface unit installed on it. Interface blocks, a video camera and a video projector are connected by corresponding data exchange lines to a tracking computer. A display computer is connected to a tracking computer and a video projector by separate data exchange lines. Lasers of the visible or invisible optical range can be used, with which the sensitivity range of the camcorder must be matched. Optical aiming marks on the screen from different weapon simulators are identified by detecting new marks, tracking and predicting their positions in sequences of adjacent frames of the image tracking input into the computer.
Недостатком устройства является низкая точность определения координат точек наведения оружия. Недостаток обусловлен погрешностями взаимного сопряжения пространственных положений имитаторов оружия, лазерных излучателей, видеопроектора и видеокамеры, существенным влиянием углов свала и возвышения оружия, а также ракурса наблюдения изображения.The disadvantage of this device is the low accuracy of determining the coordinates of the weapon guidance points. The disadvantage is due to errors in the interfacing of the spatial positions of weapon simulators, laser emitters, a video projector and a video camera, a significant effect of the dump and elevation angles of the weapon, as well as the image observation angle.
Наиболее близким по технической сущности и существенным признакам является устройство определения точки наведения оружия на изображении фоноцелевой обстановки, использованное в тренажере для подготовки стрелков по патенту на полезную модель №32873, МПК F41G 3/26, опубликованном 27.09.2003. Устройство включает экран, вычислительную систему, подключенный к ее первому видеовыходу монитор, устройства управления, подключенные к выходу управления вычислительной системы, видеопроектор с системой регулирования, подключенный ко второму видеовыходу вычислительной системы, имитатор оружия и закрепленную на нем видеокамеру с системой регулирования и интерфейсом, выход которой соединен со входом видеоинтерфейса вычислительной системы. За полупрозрачным экраном устанавливают пару излучателей видимого диапазона волн и пару излучателей невидимого диапазона волн, по которым осуществляют подстройку координатных полей видеопроектора, экрана и видеокамеры в режиме настройки, а в рабочем режиме определяют координаты точки наведения оружия относительно координат изображений пары излучателей.The closest in technical essence and essential features is the device for determining the point of pointing the weapon on the image of the phono-target environment, used in the simulator to train shooters according to the utility model patent No. 32873,
Недостатками данного устройства являются низкая точность определения координат, ограниченность по числу одновременно обучаемых стрелков и низкие эксплуатационные характеристики устройства. Недостатки обусловлены методическими погрешностями сопряжения пространственных положений входящих устройств, использованием преимущественно механических регулировок сопряжения, проективными преобразованиями геометрии изображений, отсутствием подсистем автоматического учета и компенсации методологических погрешностей и, в целом, недостатками способа определения координат, реализуемого устройством.The disadvantages of this device are the low accuracy of determining the coordinates, the limited number of simultaneously trained shooters and the low operational characteristics of the device. The disadvantages are due to methodological errors in pairing the spatial positions of input devices, the use of predominantly mechanical adjustments to the pairing, projective transformations of the image geometry, the absence of subsystems for automatic accounting and compensation of methodological errors, and, in general, the shortcomings in the method for determining coordinates implemented by the device.
Целью пятого изобретения группы является достижение технического результата, заключающегося в повышении точности определения координат точки наведения оружия, расширении числа одновременно обучаемых стрелков и повышении эксплуатационных характеристик устройства. При этом пятое изобретение группы тесно связано с первыми четырьмя и вместе они образуют единый изобретательский замысел. Технический результат при осуществлении изобретения достигается за счет введения в известное устройство дополнительных блоков, связей и особенностей их конструктивного и аппаратно-программного исполнения.The aim of the fifth invention of the group is to achieve a technical result, which consists in increasing the accuracy of determining the coordinates of the point of guidance of the weapon, expanding the number of simultaneously trained shooters and improving the operational characteristics of the device. Moreover, the fifth invention of the group is closely related to the first four and together they form a single inventive concept. The technical result in the implementation of the invention is achieved by introducing into the known device additional blocks, connections and features of their structural and hardware-software execution.
Для достижения данного технического результата в устройстве определения точки наведения оружия на изображении фоноцелевой обстановки в стрелковых тренажерах, включающем экран, вычислительную систему, подключенный к ее первому видеовыходу монитор, устройства управления, подключенные ко входу управления вычислительной системы, видеопроектор с системой регулирования, подключенный ко второму видеовыходу вычислительной системы, имитатор оружия и закрепленную на нем видеокамеру с системами регулирования и интерфейса, выход которой соединен со входом видеоинтерфейса вычислительной системы, дополнительно введены имитаторы оружия по количеству одновременно обучаемых стрелков, такое же количество видеокамер с системами регулирования и интерфейсов, закрепленные на соответствующих имитаторах оружия, набор координатных маркеров и регулятор, вход которого подключен к выходу управления вычислительной системы, выход регулятора подключен к излучающим элементам координатных маркеров, а выходы дополнительных видеокамер соединены с соответствующими входами видеоинтерфейса вычислительной системы.To achieve this technical result, in the device for determining the point of pointing the weapon on the image of the phono-target situation in shooting simulators, including a screen, a computer system, a monitor connected to its first video output, control devices connected to the control input of the computer system, a video projector with a control system connected to the second video output of the computing system, a weapon simulator and a video camera mounted on it with control and interface systems, the output of which is inen with the input of the video interface of the computing system, additionally simulated weapons in the number of simultaneously trained shooters, the same number of cameras with control systems and interfaces mounted on the respective simulators of weapons, a set of coordinate markers and a regulator, the input of which is connected to the control output of the computing system, the output of the controller connected to the radiating elements of the coordinate markers, and the outputs of additional cameras are connected to the corresponding inputs of the video interface but a computing system.
Вычислительная система, монитор, видеопроектор и видеокамеры выполнены таким образом, что они формируют, отображают и регистрируют цветные сигналы и изображения в единой цветовой системе координат, координатные маркеры расположены в одной плоскости с экраном, вблизи внешних границ проецируемых на него изображений, количество координатных маркеров в наборе и их размещение выбраны так, чтобы в заданных диапазонах углов возвышения, упреждения и свала имитаторов оружия и для любых положений изображений целей на экране обеспечить попадание в поле зрения любой видеокамеры не менее четырех координатных маркеров, изображения которых позволяют образовать не менее одного четырехугольника.The computing system, monitor, video projector and video cameras are designed in such a way that they form, display and register color signals and images in a single color coordinate system, coordinate markers are located in the same plane as the screen, near the outer borders of the images projected onto it, the number of coordinate markers in set and their placement are selected so that in the given ranges of elevation angles, lead and collapse of weapon simulators and for any positions of target images on the screen to ensure hits e in the field of view of any video camera, at least four coordinate markers, the images of which allow to form at least one quadrangle.
Каждый координатный маркер из набора выполнен в виде монохромного излучателя видимых или невидимых световых волн с регулируемой интенсивностью и установлен так, что его диаграмма направленности охватывает места размещения стрелков с имитаторами оружия перед экраном. Диапазон световой чувствительности видеокамер выбран так, что он охватывает длины волн излучателей координатных маркеров, а форма, размеры, цвет и асимметричность расположения координатных маркеров выбраны так, что обеспечивают их идентификацию в наборе при наблюдении не менее четырех таких маркеров.Each coordinate marker from the set is made in the form of a monochrome emitter of visible or invisible light waves with adjustable intensity and set so that its radiation pattern covers the locations of shooters with weapon simulators in front of the screen. The range of light sensitivity of the cameras is selected so that it covers the wavelengths of the emitters of the coordinate markers, and the shape, size, color and asymmetry of the location of the coordinate markers are selected so that they are identified in the set when observing at least four such markers.
Заявляемые технические решения обладают совокупностью существенных признаков, не известных из уровня техники подобного назначения, что позволяет сделать вывод о соответствии критерию "новизна" для изобретения.The claimed technical solutions have a combination of essential features not known from the prior art for this purpose, which allows us to conclude that the criterion of "novelty" for the invention.
Предлагаемые технические решения, по мнению заявителя и авторов, соответствуют критерию "изобретательский уровень", т.к. для специалистов он явным образом не следует из уровня техники, т.е. не известен из доступных источников научной, технической и патентной информации на дату подачи заявки.The proposed technical solutions, according to the applicant and the authors, meet the criterion of "inventive step", because for specialists, it does not explicitly follow from the prior art, i.e. not known from available sources of scientific, technical and patent information at the filing date.
Сущность заявляемых технических решений поясняется с помощью чертежей, где показаны:The essence of the claimed technical solutions is illustrated using the drawings, which show:
- на фиг. 1 - пример тестового изображения с наложенными координатными полями;- in FIG. 1 is an example of a test image with superimposed coordinate fields;
- на фиг. 2 - диапазон спектральной чувствительности видеокамер;- in FIG. 2 - range of spectral sensitivity of video cameras;
- на фиг. 3 - пример размещения координатных маркеров в области экрана;- in FIG. 3 - an example of the placement of coordinate markers in the screen area;
- на фиг. 4 - регистрируемое изображение при наведении оружия с углами возвышения, свала и ракурса;- in FIG. 4 - the recorded image when hovering weapons with elevation angles, dump and foreshortening;
-на фиг. 5 - пример изображений тестовых маркеров на экране;FIG. 5 is an example of images of test markers on the screen;
- на фиг. 6 - расположение преобразуемой области регистрируемого изображения (сигнала) в режиме работы;- in FIG. 6 - location of the converted region of the recorded image (signal) in operation mode;
- на фиг. 7 - взаимное положение обрабатываемых областей сигнала изображения фоноцелевой обстановки;- in FIG. 7 - the relative position of the processed areas of the image signal of the phono-target environment;
- на фиг. 8 - пример наложения координатных полей приведенного сигнала и сигнала фоноцелевой обстановки;- in FIG. 8 is an example of the superposition of the coordinate fields of the reduced signal and the signal of the phono-target environment;
- на фиг. 9 - определение значений приведенного сигнала интерполяционным кубическим сплайном;- in FIG. 9 - determination of the values of the reduced signal by the interpolation cubic spline;
- на фиг. 10 - пример регистрируемого изображения в реализации способа;- in FIG. 10 is an example of a recorded image in the implementation of the method;
- на фиг. 11 - сечение двумерной взаимно корреляционной функции;- in FIG. 11 is a cross section of a two-dimensional cross-correlation function;
- на фиг. 12 - области обработки сигнала изображения фоноцелевой обстановки;- in FIG. 12 - areas of signal processing of the image of the phono-target environment;
- на фиг. 13 - схема устройства для реализации способов.- in FIG. 13 is a diagram of an apparatus for implementing methods.
На фигурах обозначены координатное поле тестового изображения 1, изображение тестовых маркеров 2, область (поле) 3 размещения координатных маркеров, изображения координатных маркеров 4, координатное поле регистрируемого изображения 5, проекция системы координат 6 имитатора оружия, расстояние линейного возвышения 7 корректной точки наведения оружия относительно точки прицеливания, изображение 8 цели, изображение (сигнал) фоноцелевой обстановки 9 в координатном поле хОу, преобразуемая область регистрируемого изображения (сигнала) 10, область 11 приведенного сигнала в координатном поле сигнала фоноцелевой обстановки, область 12 поиска наибольшего подобия приведенному сигналу, границы 13 областей поиска опорных точек, подобласть 14 сигнала фоноцелевой обстановки в области поиска опорной точки, найденные и отобранные опорные точки 15, найденная по координатным маркерам точка 16 наведения оружия, координатная разность 17 для корректировки точных координат наведения оружия, экран 18, вычислительная система 19, монитор 20, устройство 21 управления, видеопроектор 22, имитаторы 23 оружия, видеокамеры 24, набор 25 координатных маркеров, регулятор 26.The figures indicate the coordinate field of the
Начальной операцией первого способа в группе изобретений является формирование вычислительными средствами последовательности кадров двумерного тестового сигнала Bt(x,y), х∈[0, X-1], у∈[0, Y-1] в режиме настройки, например, в виде равно яркостного поля, содержащего сигналы тестовых маркеров с задаваемыми координатами. Все действия с сигналами и изображениями в группе изобретений осуществляются тем или иным способом для каждого кадра, в связи с чем обозначения кадров в описании опущены. Каждый элемент тестового сигнала и тестовых маркеров включает компоненты Btr(x,у), Btg(x,у), Btb(x,у) соответственно красного, зеленого и синего цветов в выбранном цветовом базисе RGB. Сигналы тестовых маркеров формируют, например, в виде моноцветных линий координатной сетки с задаваемыми интервалами и прямоугольниками по краям координатного поля.The initial operation of the first method in the group of inventions is the formation by means of a sequence of frames of a two-dimensional test signal B t (x, y), x∈ [0, X-1], y∈ [0, Y-1] in tuning mode, for example, in the form is equal to the brightness field containing the signals of the test markers with the given coordinates. All actions with signals and images in the group of inventions are carried out in one way or another for each frame, and therefore the designations of frames in the description are omitted. Each element of the test signal and test markers includes the components B tr (x, y), B tg (x, y), B tb (x, y) of the red, green, and blue colors, respectively, in the selected RGB color basis. The signals of the test markers are formed, for example, in the form of monochromatic lines of the coordinate grid with specified intervals and rectangles along the edges of the coordinate field.
Тестовый сигнал видеопроектором 22 преобразуют в тестовое цветное изображение Et(x,y) 1 на плоском экране 18, включающем изображение тестовых маркеров 2. Сопряженная с Bt(x,y) и Et(x,y) система координат обозначена на фиг. 1 как хОу. В плоскости экрана 18 и области 3, непосредственно прилегающей к координатному полю тестового изображения 1, на это изображение накладывают изображения не менее четырех координатных маркеров Emk(xmk,ymk) 4. Эти изображения могут формироваться, например, с помощью световых излучателей. Далее изображение с экрана 18 и его окрестностей в области 5, соответствующей координатному полю хрОрур регистрируемого тестового изображения Etp(xp,yp), преобразуют в регистрируемые тестовые сигналы Btp(xp,yp), xp∈[0, Хр-1],yp∈[0, Yp-1] c соответствующими цветовыми компонентами с помощью видеокамер 24. Затем осуществляют подстройку координатных полей тестового изображения 1 и регистрируемого тестового сигнала с помощью регулировок пространственных положений реализующих способ устройств, подстройки их параметров, использования вспомогательных приспособлений. При этом совмещают ось Оио системы координат 6 ствола имитатора оружия и ось Op системы координат регистрируемого изображения 5, вписывают изображение 1 в площадь экрана 18, симметрируют системы координат изображений Emk(xmk,ymk) и Etp(xp,yp). Поскольку регистрируемых сигналов может быть несколько, по числу используемых имитаторов 23 оружия, то аналогично проводят подстройку их полей координат, совмещение осей Oио, Op и симметрирование Etp(xp,yp). Тестовый сигнал и изображение, их координатные поля, экран и координатные маркеры едины для всех регистрируемых изображений и не требуют повторной подстройки.The test signal is converted by the
Заключительными операциями первого способа в режиме настройки являются определение координат и характеристик формы, размера, цвета и относительного расположения сигналов изображений координатных маркеров относительно поля сигнала тестового изображения и запоминание их в качестве эталонных. В качестве координат координатных маркеров (xmk,ymk) фиг. 1 выбирают, например, координаты центральных элементов их изображений. Их определяют в системе координат хОу измерениями и интерполяцией по тестовым маркерам 2 в виде координатной сетки с известными координатами. Цвета координатных маркеров задают выбором длин волн излучателей в пределах спектрального диапазона чувствительности видеокамер фиг. 2, осуществляющих преобразование регистрируемого изображения в регистрируемые сигналы. В качестве характеристики цветов используют, например, векторы нормированных относительных яркостей голубой и зеленой компонент:The final operations of the first method in the setup mode are to determine the coordinates and characteristics of the shape, size, color and relative location of the image signals of the coordinate markers relative to the signal field of the test image and storing them as reference. As the coordinates of the coordinate markers (x mk , y mk ) of FIG. 1, for example, the coordinates of the central elements of their images are selected. They are determined in the xOy coordinate system by measurements and interpolation by
где Т - знак транспонирования. Так для k-ого излучателя (маркера) с длиной волны 625 нанометров согласно фиг. 2 вектор характеристик его цвета составит Emk=(0,042, 0,142)Т. Характеристики цвета координатных маркеров в режиме настройки могут быть уточнены по измеренным значениям их цветовых компонентов в регистрируемом сигнале Bpm(xpk,ypk). В качестве характеристики формы координатных маркеров используют, например, характеристику компактности cmk их изображений как геометрических фигур, равную отношению квадрата периметра фигуры hmk к ее площади smk:where T is the sign of transposition. So for the k-th emitter (marker) with a wavelength of 625 nanometers according to FIG. 2 the vector of characteristics of its color will be E mk = (0,042, 0,142) T. The color characteristics of the coordinate markers in the setup mode can be refined from the measured values of their color components in the recorded signal B pm (x pk , y pk ). As a characteristic of the shape of the coordinate markers, for example, the compactness characteristic c mk of their images as geometric figures is used, which is equal to the ratio of the square of the perimeter of the figure h mk to its area s mk :
Такая характеристика инвариантна к сдвигам, масштабам и вращениям изображений координатных маркеров и составляет 4π=12,57 для круга, 16 для фигуры квадрат. Компактность и ее составляющие выражают в количестве элементов регистрируемого сигнала (пикселях), принадлежащих изображениям координатных маркеров, и определяют их из анализа областей регистрируемого сигнала известными методами и алгоритмами. В качестве характеристик размещения K координатных маркеров используют, например, (K-1)-мерные векторы расстояний в правой декартовой системе координат хОу между текущим маркером и каждым последующим при их последовательном обходе (против часовой стрелки), нормированные по модулю наименьшего расстояния для каждого текущего координатного маркера:This characteristic is invariant to shifts, scales, and rotations of coordinate marker images and is 4π = 12.57 for a circle, 16 for a square figure. Compactness and its components are expressed in the number of elements of the recorded signal (pixels) belonging to the images of the coordinate markers, and they are determined from the analysis of the areas of the recorded signal by known methods and algorithms. As characteristics of the location of K coordinate markers, for example, (K-1) -dimensional distance vectors in the right Cartesian coordinate system xOy between the current marker and each subsequent one during their successive round-trip (counterclockwise), normalized by the smallest distance for each current coordinate marker:
где - нормированный модуль расстояния от изображения (сигнала) координатного маркера k до изображения (сигнала) координатного маркера (k+i);Where - the normalized module of the distance from the image (signal) of the coordinate marker k to the image (signal) of the coordinate marker (k + i);
- угол между вектором расстояния и осью абсцисс. - the angle between the distance vector and the abscissa axis.
Таким образом, изображению (регистрируемому сигналу) каждого координатного маркера ставится в соответствие и запоминается в качестве эталонного вектор характеристик координатных маркеров или вектор признаков, компонентами которого являются векторы характеристик цвета, формы и размещения:Thus, the image (registered signal) of each coordinate marker is mapped and stored as a reference vector of characteristics of coordinate markers or a vector of signs, the components of which are the color, shape and placement characteristics vectors:
Вектор характеристик Пmk един для всех регистрируемых сигналов и имеет достаточное число степеней свободы для выбора переменных компонентов и обеспечения задачи идентификации координатных маркеров в требуемых диапазонах изменений углов возвышения, упреждения и свала имитаторов оружия, ракурсов и расстояний наблюдения изображений обучаемыми стрелками. В примере на фиг. 3 используют 12 координатных маркеров одинакового размера и цвета, но с асимметричным размещением, что позволяет идентифицировать маркеры по четырем и более соседним при углах поворота изображений от 0 до 360 градусов, ракурсах наблюдения плюс минус 60 градусов и изменениях масштаба в 3 раза. Применительно к размерам координатного поля тестового изображения X×Y маркеры от начала координат в левом нижнем углу поля имеют следующие координаты:The vector of characteristics П mk is single for all recorded signals and has a sufficient number of degrees of freedom for choosing variable components and providing the task of identifying coordinate markers in the required ranges of changes in elevation angles, lead and collapse of weapon simulators, angles and observation distances of images by trained arrows. In the example of FIG. 3
- нижний ряд по X: , , ;- bottom row in X: , , ;
- верхний ряд по X: , , ;- top row in X: , , ;
- левый ряд по Y: , , ;- left row in Y: , , ;
- правый ряд по Y: , , - right row in Y: , ,
В реализациях способа могут быть использованы и другие сочетания характеристик координатных маркеров, например разные цвета при симметричном размещении и меньшем количестве маркеров, некомпланарное размещение рядов маркеров, прямоугольные формы маркеров, составные маркеры из нескольких пространственно разделенных маркеров и другие.In the implementations of the method, other combinations of characteristics of coordinate markers can be used, for example, different colors with symmetrical placement and fewer markers, non-coplanar arrangement of rows of markers, rectangular shapes of markers, composite markers from several spatially separated markers, and others.
Чтобы обеспечить попадание в координатные поля регистрируемых сигналов 5 фиг. 1 изображений не менее четырех координатных маркеров 4, координаты которых позволяют образовать не менее одного четырехугольника в условиях изменения углов возвышения, упреждения и свала используемых имитаторов оружия в заданных диапазонах при прицеливании в любую точку координатного поля тестового изображения и изображения фоноцелевой обстановки, а также соответствующих им сигналов, размеры координатного поля 5 для каждой видеокамеры соответствующего имитатора оружия выбирают заведомо больше размеров координатного поля 1. Линейное превышение размеров по горизонтали может достигать 20% от X для реалистичных сценариев стрельб в зависимости от скоростей движения, дальностей, типов имитируемого оружия и целей. Линейное превышение размеров по вертикали в зависимости от дальностей, типов имитируемого оружия и целей может составлять от 20% до 100%от Y. Таким образом, выбранные размеры полей 5 наряду с ранее выбранными количеством и размещением координатных маркеров обеспечат и идентификацию маркеров в заданном диапазоне углов свала оружия. Вследствие выбора больших размеров, по сути, полей зрения видеокамер 24 их разрешающую способность по вертикали выбирают, как правило, в 2 раза выше четкости формируемых изображений.In order to ensure that the recorded
В режиме работы первой операцией первого способа в группе изобретений является формирование вычислительными средствами последовательности кадров двумерного сигнала фоноцелевой обстановки в том же координатном поле тестового сигнала В(x,y), x ∈[0, Х-1], у ∈[0, Y-1]. Этот сигнал включает цветовые компоненты в том же базисе. Сигнал В(х,у) видеопроектором 22 преобразуют в цветное изображение фоноцелевой обстановки E(x,y) в том же координатном поле xOy1 фиг. 1. На это изображение накладывают изображения тех же координатных маркеров Emk(xmk,ymk) 4, векторы характеристик которых Пmk были запомнены в качестве эталонных в режиме настройки. Затем изображение с экрана 18 и его окрестностей в области 5, соответствующей координатному полю xpOpyp регистрируемого изображения Ep(xp,yp), преобразуют в двумерные регистрируемые сигналы фоноцелевой обстановки Bp(xp,yp), xp∈[0, Хр-1], yp∈[0, Yp-1] с соответствующими цветовыми компонентами с помощью видеокамер 24 каждого имитатора 23 оружия.In the operating mode, the first operation of the first method in the group of inventions is the formation by computational means of a sequence of frames of a two-dimensional signal of the phono-target situation in the same coordinate field of the test signal B (x, y), x ∈ [0, X-1], y ∈ [0, Y -one]. This signal includes color components in the same basis. The signal B (x, y) is converted by the
Далее, в каждом из этих сигналов выделяют сигналы изображений координатных маркеров 4, определяют их координаты, характеристики и идентифицируют маркеры по их эталонным и текущим характеристикам.Further, in each of these signals, the image signals of the coordinate
Выделение сигналов изображений координатных маркеров 4 в регистрируемых сигналах фоноцелевой обстановки производят для каждого i-го элемента Bpi(xpi,ypi) по совпадению вектора его цветовых компонент (bib/r,big/r)T, в общем случае с точностью , запомненным в качестве эталонных векторам нормированных относительных яркостей голубой и зеленой компонент Emk. Для рассматриваемого примера с одинаковыми цветами всех k координатных маркеров условия будут следующими:The selection of the image signals of the coordinate
Точность соответствия, или допуски, εbg задают алгоритмически в конкретных реализациях способа, в абсолютных или процентных величинах, одинаковыми или различными для цветовых составляющих. Компактные множества выделенных элементов изображений координатных маркеров в каждом регистрируемом изображении объединяют в сигналах их изображений оператором связности каждого k-ого множества:The accuracy of the correspondence, or tolerances, ε bg is set algorithmically in specific implementations of the method, in absolute or percentage values, the same or different for the color components. Compact sets of selected image elements of coordinate markers in each recorded image are combined in the signals of their images by the connectivity operator of each kth set:
Операторы связности хорошо известны и описаны, например, в Грузман И.С., Киричук B.C., Косых В.П., Перетягин Г.И., Спектор А.А. Цифровая обработка изображений в информационных системах: Учебное пособие. - Новосибирск: Изд-во НГТУ, 2002. - 352 с. Для каждого и всех выделенных в каждом регистрируемом сигнале Bpmk рассчитывают характеристики компактности cmk по выражению (2) и характеристики размещения dmk по выражению (3), формируя тем самым в соответствии с (4) векторы характеристик координатных маркеров Пpmk для каждого выделенного сигнала маркера в соответствующем регистрируемом сигнале. В качестве координат (xpmk,ypmk) этих маркеров в выражении (6) принимают координаты геометрического, медианного центра или центра тяжести элементов выделенных множеств Bpi(xpi,ypi)=bpi, определения и выражения для расчетов которых известны и описаны, например, в Т. Павлидис. Алгоритмы машинной графики и обработки изображений. - М.: Радио и связь, 1986. - 400 с. Идентификацию сигналов выделенных координатных маркеров в регистрируемых сигналах Bpmk их изображениям на фоноцелевой обстановке Em, то естьThe connection operators are well known and described, for example, in Gruzman I.S., Kirichuk V.S., Kosykh V.P., Peretyagin G.I., Spektor A.A. Digital image processing in information systems: a manual. - Novosibirsk: Publishing House of NSTU, 2002. - 352 p. For each and all selected in each recorded signal B pmk , the compactness characteristics c mk are calculated using expression (2) and the placement characteristics d mk are calculated using expression (3), thereby forming, in accordance with (4), the characteristic marker vectors П pmk for each selected marker signal in the corresponding recorded signal. The coordinates (x pmk , y pmk ) of these markers in expression (6) are the coordinates of the geometric, median center or center of gravity of the elements of the selected sets B pi (x pi , y pi ) = b pi , the definitions and expressions for which are known and described, for example, in T. Pavlidis. Computer graphics and image processing algorithms. - M .: Radio and communications, 1986. - 400 p. The identification of the signals of the selected coordinate markers in the recorded signals B pmk to their images in the background target environment E m , i.e.
где - знак геометрической эквивалентности (координат),Where - sign of geometric equivalence (coordinates),
Δ - вектор точности соответствия, или допусков, включающий подвектор εbg,Δ is the vector of accuracy of compliance, or tolerances, including a subvector ε bg ,
выполняют сопоставлением запомненных эталонных Пmk и полученных Пpmk характеристик координатных маркеров по известным методикам идентификации и распознавания геометрических образов, с учетом априорной информации о геометрии линий размещения маркеров при их обходе в выбранном направлении. В простейшем случае, методика заключается в итеративном переборе возможных размещений векторов признаков из K координатных маркеров по Kp выделенных в регистрируемом сигнале маркеров с учетом геометрических условий. В примере регистрируемого изображения на фиг. 4 с одного из имитаторов оружия, а следовательно, и в соответствующем ему регистрируемом сигнале, показаны Kp=6 координатных маркеров, попавших в поле координат регистрируемого сигнала (изображения) xpOpyp и идентифицируемых с маркерами в левом верхнем углу координатного поля изображения фоноцелевой обстановки хОу, показанными также на фиг. 3. Это изображение соответствует ориентации точки прицеливания в левом верхнем углу поля 1, с углом возвышения имитатора 23 оружия соответствующем линейному расстоянию 7 от изображения 8 цели до корректной точки наведения имитатора 23 оружия Op, углами ракурса наведения минус 45 градусов в плоскости zOx фиг.1 (ось z перпендикулярна плоскости xOy), минус 10 градусов в плоскости zOy и углом свала имитатора 23 оружия 45 градусов в плоскости xOy. Фиг. 4 также демонстрирует проективные искажения исходных характеристик изображений координатных маркеров 4, которые учитывают в реализациях способа корректным выбором допусков Δ.they are performed by comparing the memorized reference P mk and the obtained P pmk characteristics of coordinate markers using known methods for identifying and recognizing geometric patterns, taking into account a priori information about the geometry of the marker placement lines when they are traversed in a selected direction. In the simplest case, the technique consists in iteratively sorting the possible locations of feature vectors from K coordinate markers according to K p markers selected in the recorded signal taking into account geometric conditions. In the example of the recorded image in FIG. 4 with one of the simulators arms, and hence in the corresponding recorded signal showing K p = 6, fiducial markers, caught in the coordinate field of the detected signal (image) x p O p y p and identifiable markers in the left upper corner coordinate field images of the phono-target environment xOy, also shown in FIG. 3. This image corresponds to the orientation of the aiming point in the upper left corner of the
Далее, полученные обработкой каждого регистрируемого сигнала координаты (xpmk,ypmk) координатных маркеров и соответствующие им эталонные координаты (xmk,ymk) используют для расчета в однородных координатах (в расширенном координатном пространстве) матрицы А проективных преобразований сформированного и регистрируемого изображений фоноцелевой обстановки. Проективные преобразования сигналов изображений известны и широко применяются в компьютерной графике различного назначения, при производстве кинофильмов и телевизионных программ, в видеотрансляциях и репортажах. Методы и алгоритмы расчета элементов матрицы А также известны, например метод парных точек, Никулин Е.А. Компьютерная геометрия и алгоритмы машинной графики. - СПб.: БХВ-Петербург, 2003. - 560 с.:Further, the coordinates (x pmk , y pmk ) of the coordinate markers obtained by processing each recorded signal and the corresponding reference coordinates (x mk , y mk ) are used to calculate the matrix A of the projective transformations of the generated and recorded phono-target images in homogeneous coordinates (in the expanded coordinate space) the setting. Projective transformations of image signals are known and widely used in computer graphics for various purposes, in the production of films and television programs, in video broadcasts and reports. Methods and algorithms for calculating the elements of matrix A are also known, for example, the method of pair points, Nikulin EA Computer geometry and computer graphics algorithms. - SPb .: BHV-Petersburg, 2003 .-- 560 p.:
где - обратная матрица вектора группы векторов эталонных координат координатных маркеров;Where - the inverse matrix of the vector of the group of vectors of reference coordinates of coordinate markers;
Xpm - матрица вектора группы векторов регистрируемых координат координатных маркеров;X pm is the matrix of the vector of the group of vectors of registered coordinates of coordinate markers;
H - плоскость проективного проецирования в расширенном координатном пространстве. Раскрытие выражения (8) дает k систем уравнений вида:H is the projective projection plane in the extended coordinate space. The disclosure of expression (8) gives k systems of equations of the form:
Система упрощается, если учесть, что элементы zm1=0в (9) ввиду размещения всех координатных маркеров в одной, нулевой плоскости фиг. 1, а элементы третьего столбца матрицы А равны нулю при проецировании на нулевую z-плоскость регистрируемого изображения. Тогда получим k систем упрощенных уравнений с десятью неизвестными, всего двенадцать уравнений при использовании координат четырех координатных маркеров, k=4. Особенности условий переопределенности систем уравнений при k≥4 и компланарности пар координатных точек разрешают упрощением системы (приравнивание Н=1) или расчетом среднеквадратических оценок элементов матрицы А из уравнения (Д. Роджерс, Дж. Адамс. Математические основы машинной графики: Пер. с англ. / Пер. Ю.П. Кулябичев, В.Г. Ивахненко; ред. Ю.И. Топчиев. - М.: Машиностроение, 1980. - 240 с.):The system is simplified when we consider that the elements z m1 = 0 in (9) due to the placement of all coordinate markers in one, zero plane of FIG. 1, and the elements of the third column of matrix A are equal to zero when projecting onto the zero z-plane of the recorded image. Then we get k systems of simplified equations with ten unknowns, a total of twelve equations using the coordinates of four coordinate markers, k = 4. Features of the overdetermination of systems of equations for k≥4 and the coplanarity of pairs of coordinate points are allowed by simplifying the system (equating H = 1) or by calculating the root-mean-square estimates of the elements of the matrix A from the equation (D. Rogers, J. Adams. Mathematical foundations of computer graphics: Transl. From English / Per. Yu.P. Kulyabichev, V.G. Ivakhnenko; ed. Yu.I. Topchiev. - M.: Mechanical Engineering, 1980. - 240 p.):
Для расчетов элементов проективных преобразований могут быть использованы другие известные методы и комбинации методов, например, Д.О. Чехлов, С.В. Абламейко. Нормализация изображений относительно перспективного преобразования на основе геометрических параметров. - Информатика, 2004, №3, с. 67-76.Other known methods and combinations of methods, for example, D.O. Chekhlov, S.V. Ablameiko. Normalization of images with respect to perspective transformations based on geometric parameters. - Informatics, 2004, No. 3, p. 67-76.
Заключительной операцией первого изобретения группы является определение координаты точки наведения оружия в сигнале изображения фоноцелевой обстановки умножением вектора координат центрального элемента регистрируемого сигнала в расширенном координатном пространстве на обращенную матрицу А с учетом совпадения начала координат регистрируемого сигнала и изображения с его центральным элементом:The final operation of the group’s first invention is the determination of the coordinates of the weapon guidance point in the image signal of the phono-target environment by multiplying the coordinate vector of the central element of the recorded signal in the expanded coordinate space by the inverse matrix A, taking into account the coincidence of the origin of the registered signal and the image with its central element:
В результате расчетов по выражению (9) для каждого имитатора 23 оружия и соответствующих ему регистрируемого сигнала и рассчитанной матрицы проективных преобразований получают независимые от других координаты точки наведения данного оружия в едином сигнале изображения фоноцелевой обстановки. Введение в известный ближайший аналог способа совокупности действий по определению и учету перспективных искажений координат позволило повысить точность определения точки наведения оружия непосредственно, а также вследствие появившейся и реализованной возможности сократить с семи до четырех, фиг. 1, число сопрягаемых систем координат в сравнении с прототипом. Этим же обеспечен технический эффект расширения зоны допустимого размещения стрелков перед экраном, что в свою очередь, совместно с введенными операциями регистрации и обработки нескольких сигналов изображений единой фоноцелевой обстановки, позволило увеличить число одновременно обучаемых стрелков. Технический эффект расширения допустимых диапазонов углов возвышения и свала имитируемого оружия достигнут за счет совокупности действий по расширению количества используемых опорных маркеров, их параметрической селекции, в том числе по цветовым характеристикам. Эти действия в числе других также обеспечивают операции по определению и учету перспективных искажений, что говорит о тесных взаимосвязях новых действий, о неразрывном единстве и целостности изобретательского замысла.As a result of calculations by expression (9), for each
Начальной операцией второго способа в группе изобретений является формирование вычислительными средствами последовательности кадров двумерного тестового сигнала Bt(x,y), x∈[0, X-1], у∈[0, Y-1] в режиме настройки в виде однотонного поля, содержащего сигналы не менее четырех тестовых маркеров с задаваемыми координатами, характеристиками формы, размера, цвета и относительного расположения. Все действия с сигналами и изображениями в этом, как и в других изобретениях группы, осуществляются для каждого кадра, в связи с чем обозначения кадров в описании также опущены. Каждый элемент тестового сигнала и тестовых маркеров включает компоненты Btr(x,y), Btg(x,y), Btb(x,y) соответственно красного, зеленого и синего цветов в выбранном цветовом базисе RGB. Сигналы тестовых маркеров формируют, например, в виде четырех областей квадратной формы с нулевым сигналом, то есть черного цвета, и координатами (xml, yml), как показано на фиг. 5. Тестовый сигнал преобразуют видеопроектором 22 в тестовое цветное изображение Et(x,y) 1 на плоском экране 18, включающем изображение тестовых маркеров 2. Как и при осуществлении первого изобретения группы, на это изображение накладывают изображения не менее четырех координатных маркеров Emk(xmk,ymk) 4 с координатами и характеристиками, отличающимися от координат и характеристик тестовых маркеров, фиг. 5. Далее, изображение с экрана 18 и его окрестностей в области 5, соответствующей координатному полю xpOpyp регистрируемого тестового изображения Etp(xp,yp) преобразуют с помощью видеокамер 24 в двумерные регистрируемые тестовые сигналы Btp(xp,yp), xp∈[0, Хр-1], yp∈[0, Yp-1] с цветовыми компонентами, центральные элементы которых сопряжены с осями стволов соответствующих имитаторов 23 оружия. Затем осуществляют подстройку координатных полей тестового изображения и регистрируемого тестового сигнала таким же образом, как и при осуществлении первого изобретения группы. Подстройку выполняют для всех регистрируемых тестовых сигналов по числу используемых имитаторов 23 оружия. После этого выбирают любой из имитаторов оружия и ориентируют сопряженное с ними координатное поле регистрируемого тестового сигнала Btp(xp,yp) так, чтобы обеспечить попадание в этот сигнал изображений всех тестовых и координатных маркеров как это показано в примере на фиг. 5. В этом регистрируемом тестовом сигнале выделяют сигналы всех l тестовых и k координатных маркеров по заданным характеристикам маркеров (1, 2) и выражениям (5, 6) вышеописанными процедурами. По выделенным сигналам маркеров определяют их наблюдаемые координаты (xнmk,yнmk) и (хнml,унml), а также уточняют характеристики Пнmk и Пнml соответственно координатных и тестовых маркеров по выражениям (1-4), после чего идентифицируют размещение тестовых маркеров в регистрируемом тестовом сигнале по их наблюдаемым и задаваемым характеристикам в соответствии с выражением (7). Следующей операцией способа является расчет элементов матрицы F проективных преобразований сформированного и регистрируемого тестовых изображений по задаваемым и наблюдаемым координатам сигналов не менее четырех идентифицированных тестовых маркеров. Расчет и методика его выполнения аналогичны расчету элементов матрицы А и выполняются в соответствии с выражениями (8, 9). Полученные результаты расчетов используют для определения координат каждого координатного маркера относительно поля сигнала тестового изображения путем умножения вектора наблюдаемых координат соответствующего координатного маркера на обращенную матрицу F. Полученные координаты запоминают в качестве эталонных координат координатных маркеров (xmk,ymk), корректируют по ним характеристики относительного расположения сигналов изображений координатных маркеров dmk и вместе с заданными характеристиками формы, размера и цвета Emk и cmk запоминают их в качестве эталонных характеристик координатных маркеров Пmk, выражение (4). На этом действия с сигналами и изображениями способа в режиме настройки завершаются, а полученные и запомненные эталонные координаты и характеристики координатных маркеров используют в дальнейшем в режиме работы для определения точек наведения всех имитаторов 23 оружия.The initial operation of the second method in the group of inventions is the formation by computing means of a sequence of frames of a two-dimensional test signal B t (x, y), x∈ [0, X-1], y∈ [0, Y-1] in the setup mode in the form of a single-color field containing signals of at least four test markers with specified coordinates, shape, size, color and relative position characteristics. All actions with signals and images in this, as in other inventions of the group, are carried out for each frame, and therefore the designations of frames in the description are also omitted. Each element of the test signal and test markers includes the components B tr (x, y), B tg (x, y), B tb (x, y) of red, green, and blue colors, respectively, in the selected RGB color basis. The signals of the test markers are formed, for example, in the form of four areas of a square shape with a zero signal, that is, black, and coordinates (x ml , y ml ), as shown in FIG. 5. The test signal is converted by the
В режиме работы содержание и последовательность выполнения операций второго способа не отличаются от операций, осуществляемых в первом способе группы изобретений и подробно охарактеризованных выше. Совокупность операций составляют формирование вычислительными средствами последовательности кадров двумерного сигнала фоноцелевой обстановки с цветовыми компонентами В(x,у) в том же координатном поле тестового сигнала xOy 1 фиг. 1, его преобразование видеопроектором 22 в цветное изображение фоноцелевой обстановки Е(х,y), наложение на это изображение изображения тех же координатных маркеров Emk(xmk,ymk) 4, преобразование изображения Ep(xp,ур) с экрана 18 и его окрестностей в области 5 фиг. 1 в двумерные регистрируемые сигналы фоноцелевой обстановки Bp(xp,ур) с соответствующими цветовыми компонентами с помощью видеокамер 24 каждого имитатора 23 оружия. За этими операциями следуют выделение в каждом из сигналов Bp(xp,ур) сигналов изображений координатных маркеров Bpmk(xpmk,ypmk), определение их координат и характеристик, идентификацию маркеров по их эталонным и текущим характеристикам в соответствии, например, с выражениями (5, 6, 7) с использованием (1-4), расчет элементов матриц А проективных преобразований для сформированного и каждого регистрируемого изображения фоноцелевой обстановки по выражениям (8, 9) и определение координаты точки наведения оружия в сигнале изображения фоноцелевой обстановки для каждого имитатора оружия по выражению (10). В результате выполнения действий с сигналами и изображениями в рабочем режиме получают независимые координаты точек наведения каждого имитатора оружия в едином сигнале изображения фоноцелевой обстановки.In the operating mode, the content and sequence of operations of the second method do not differ from the operations carried out in the first method of the group of inventions and described in detail above. The totality of operations is the formation by computing means of a sequence of frames of a two-dimensional signal of the phono-target environment with color components B (x, y) in the same coordinate field of the
Введение в способ определения точки наведения оружия на изображении фоноцелевой обстановки в стрелковых тренажерах согласно первому изобретению группы совокупности действий по автоматизации процедур точного определения координат координатных маркеров вместе с использованием точных значений координат специальных тестовых маркеров, задаваемых программно с дискретом в один элемент (пиксель), позволило простыми действиями, оперативно учитывать смещения координатных полей изображений на экране 18 при учете различных положений обучаемых стрелков и значительно снизить требования к точности первоначального размещения координатных маркеров. В свою очередь, это позволило сколь угодно часто повторять автоматизированные операции уточнения взаимного положения координатных полей и маркеров, обеспечивая тем самым повышение временной стабильности результатов определения точки наведения оружия как целевого технического результата использования изобретения.The introduction to the method of determining the point of pointing a weapon on the image of the phono-target situation in shooting simulators according to the first invention of a group of actions to automate the procedures for accurately determining the coordinates of coordinate markers using exact coordinates of special test markers programmatically set with a discrete of one element (pixel) allowed by simple actions, quickly take into account the displacement of the coordinate fields of the images on the
Начальной операцией третьего способа определения точки наведения оружия на изображении фоноцелевой обстановки в стрелковых тренажерах в группе изобретений является формирование вычислительными средствами в режиме настройки последовательности кадров двумерного тестового сигнала Bt(x,y) в виде однотонного поля, содержащего сигналы не менее четырех тестовых маркеров с задаваемыми координатами, характеристиками формы, размера, цвета и относительного расположения, фиг. 5. Это, а также все последующие действия с сигналами и изображениями в режиме настройки, выполняют идентично действиям по осуществлению второго изобретения группы, описанным выше. Эти действия, в частности, включают преобразование видеопроектором 22 тестового сигнала в тестовое цветное изображение Et(x,y) 1 с тестовыми маркерами 2, наложение на это изображение изображений не менее четырех координатных маркеров Emk(xmk,ymk) 4, фиг. 5, преобразование с помощью видеокамер 24 изображения с экрана 18 и его окрестностей в области 5 в двумерные регистрируемые тестовые сигналы Btp(xp,yp) с цветовыми компонентами, подстройку координатных полей тестового изображения и регистрируемого тестового сигнала для всех регистрируемых тестовых сигналов по числу используемых имитаторов 23 оружия, выбор имитатора 23 оружия и ориентация сопряженного с ними координатного поля регистрируемого тестового сигнала Btp(xp,yp), фиг.5, выделение в этом в регистрируемом тестовом сигнале сигналов всех l тестовых и k координатных маркеров, определение наблюдаемых координат (хнmk,yнmk), (xнml,yнml) и уточнение характеристик Пнmk и Пнml соответственно координатных и тестовых маркеров, идентификацию размещения тестовых маркеров в регистрируемом тестовом сигнале, расчет элементов матрицы F проективных преобразований сформированного и регистрируемого тестовых изображений, определение координат каждого координатного маркера относительно поля сигнала тестового изображения (xmk,ymk) и запоминание их в качестве эталонных, корректировку характеристик Пmk сигналов изображений координатных маркеров и запоминание их в качестве эталонных.The initial operation of the third method for determining the point of pointing a weapon on the image of the phono-target situation in shooting simulators in the group of inventions is the formation by computing means in the mode of setting the sequence of frames of a two-dimensional test signal B t (x, y) in the form of a single-color field containing signals of at least four test markers given coordinates, shape, size, color and relative position characteristics, FIG. 5. This, as well as all subsequent actions with signals and images in the setup mode, perform identically to the actions for the implementation of the second invention of the group described above. These actions, in particular, include the conversion of the test signal by the video projector 22 into a test color image E t (x, y) 1 with test markers 2, overlapping images of at least four coordinate markers E mk (x mk , y mk ) 4, FIG. 5, the conversion by video cameras 24 of the image from the screen 18 and its environs in region 5 into two-dimensional recorded test signals B tp (x p , y p ) with color components, adjustment of the coordinate fields of the test image and the recorded test signal for all recorded test signals by the number of weapon simulators 23 used, the choice of weapon simulator 23 and the orientation of the coordinate field of the recorded test signal B tp (x p , y p ) associated with them, Fig. 5, highlighting in this recorded test signal all signals l test and k coordinate markers, determining the observed coordinates (x нmk , y нmk ), (x нml , y нml ) and refinement of the characteristics П нmk and П нml respectively of coordinate and test markers, identification of the location of test markers in the recorded test signal, calculation of elements matrix F projective transformations generated and recorded test images, the determination of the coordinates of each marker relative to the coordinate field test pattern signal (x mk, y mk) and storing them as reference, adjusting the Features acteristics P mk fiducial markers image signals and storing them as reference.
В режиме работы содержание и последовательность выполнения основных операций третьего способа из группы изобретений также не отличаются от операций по осуществлению второго способа группы изобретений. Совокупность действий с сигналами и изображениями составляют формирование вычислительными средствами последовательности кадров двумерного сигнала фоноцелевой обстановки с цветовыми компонентами В(х,y) в координатном поле xOy 1, фиг. 1, его преобразование видеопроектором 22 в изображение фоноцелевой обстановки Е(х,y), наложение на это изображение изображений тех же координатных маркеров Emk(xmk,ymk) 4, преобразование изображения Ep(xp,ур) с экрана 18 и его окрестностей в области 5 фиг. 1 в двумерные регистрируемые сигналы фоноцелевой обстановки Bp(хр,yp) с помощью видеокамер 24 каждого имитатора 23 оружия, выделение в каждом из этих сигналов сигналов изображений координатных маркеров Bpmk(xpmk,ypmk), определение их координат и характеристик, идентификацию координатных маркеров, расчет элементов матриц А проективных преобразований и определение координаты точки наведения оружия в сигнале изображения фоноцелевой обстановки для каждого имитатора 23 оружия.In the operating mode, the content and sequence of the main operations of the third method from the group of inventions also do not differ from the operations for implementing the second method of the group of inventions. The set of actions with signals and images constitutes the formation by computational means of a sequence of frames of a two-dimensional signal of a phono-target environment with color components B (x, y) in the coordinate
В результате выполнения описанных действий с сигналами и изображениями в режиме настройки и в рабочем режиме получают независимые для каждого имитатора 23 оружия координаты точек наведения в едином сигнале изображения фоноцелевой обстановки.As a result of the performance of the described actions with signals and images in the setup mode and in the operating mode, coordinates of the guidance points independent for each
Последующей операцией способа в режиме работы является преобразование области двумерного регистрируемого сигнала в окрестности его центрального элемента в приведенный сигнал в координатном поле сигнала фоноцелевой обстановки. Приводить регистрируемый сигнал Bp(xp,ур) в координатном поле xpOpyp 5 фиг. 6 к координатному полю xOy сигнала фоноцелевой обстановки B(x,у) для их сопоставления необходимо вследствие проективных преобразований изображения фоноцелевой обстановки 9 при его наблюдении обучаемым стрелком. Преобразуемая область 10 регистрируемого сигнала (изображения) включает сигнал (изображение) 8 цели и может быть, например, прямоугольной формы. Ее размеры задают так, чтобы обеспечить более широкие диапазоны допустимых погрешностей преобразований сигналов и искажений координатных полей изображений для устойчивого определения подобласти наибольшего подобия в сигнале фоноцелевой обстановки. При уменьшении размеров области возрастает вероятность аномального отождествления сигналов, а при увеличении возрастает вероятность потери малоразмерных целей. Экспериментальная отработка параметров алгоритмов показывает, что при формате изображений фоноцелевой обстановки 1920×1080 элементов размеры квадратной области со стороной от 48 до 80 элементов обеспечивают инвариантность способа к реальным погрешностям и искажениям на 95% практически используемых динамических сцен. Вектор координат каждого элемента приведенного сигнала получают умножением вектора координат каждого соответствующего i-го элемента регистрируемого сигнала на обращенную матрицу А. Для группы векторов области выражение для расчета будет подобно выражению (10), а значения цветовых компонент приведенного сигнала для каждого i-го элемента преобразуемой области сохранятся:The subsequent operation of the method in the operating mode is the conversion of the region of the two-dimensional recorded signal in the vicinity of its central element into a reduced signal in the coordinate field of the signal of the background target environment. Bring the recorded signal B p (x p , у р ) in the coordinate field x p O p y p 5 Fig. 6 to the coordinate field xOy of the signal of the phono-target environment B (x, y) for their comparison is necessary due to projective transformations of the image of the phono-
где i - нумерованный элемент сигнала, принадлежащий преобразуемой области регистрируемого сигнала. В результате преобразования (11) проективные искажения сигналов компенсируются, но область приведенного сигнала в координатном поле сигнала фоноцелевой обстановки приобретет форму 11 фиг. 7. При этом, в общем случае, масштабы и положение координатных полей xOy и xpOpyp не совпадают, фиг. 8. Требуется приведение значений сигнала к координатной сетке сигнала фоноцелевой обстановки, выполняемое хорошо известными методами интерполяции, например по книге Грузман И.С., Киричук B.C., Косых В.П., Перетягин Г.И., Спектор А.А. Цифровая обработка изображений в информационных системах: Учебное пособие. - Новосибирск: Изд-во НГТУ, 2002. - 352 с. При использовании, например, сепарабельной одномерной интерполяционной функции в виде кубического сплайна фиг. 9where i is the numbered signal element belonging to the transformed region of the recorded signal. As a result of transformation (11), the projective distortions of the signals are compensated, but the region of the reduced signal in the coordinate field of the signal of the phono-target environment will take the
где q∈[-1,-0,5] - коэффициент формы,where q∈ [-1, -0,5] is the shape coefficient,
значения каждой цветовой компоненты каждого элемента приведенного сигнала в точках (x,у) координатного поля сигнала фоноцелевой обстановки получают по значениям сигналов близлежащих элементов регистрируемого сигнала в соответствии с выражением:the values of each color component of each element of the given signal at points (x, y) of the coordinate field of the signal of the phono-target environment are obtained from the values of the signals of nearby elements of the recorded signal in accordance with the expression:
На фиг. 9 вертикальными столбцами показаны также четыре отсчета регистрируемого сигнала, два из которых с аргументами u=0,5, u=-1,5 войдут в сумму в выражении (12) с весами, равными ординатам интерполяционной функции в этих точках. Затем в окрестности найденной по координатным маркерам точки наведения оружия в сигнале фоноцелевой обстановки по выражению (10) выделяют область 12 сигнала Be(x,у) фиг. 7. Эта область должна включать сформированный, исходный сигнал изображения цели, вычисленные координаты которой могут отличаться от истинных вследствие аппаратных нелинейностей и погрешностей расчетов. Размеры этой области должны превосходить возможные величины погрешностей, но вместе с тем и быть ограниченными для однозначности сопоставления двумерных сигналов. Координаты центрального элемента (xO,yO) подобласти наибольшего подобия приведенному сигналу ВП(x,у) в сигнале Be(x,у) определяют, например, известными корреляционно-экстремальными методами: Е.В. Гошин, А.П. Котов, В.А. Фурсов. Двухэтапное формирование пространственного преобразования для совмещения изображений. - Компьютерная оптика, 2014, том 38, №4, с. 886-891. Алгоритм вычислений основан на поиске экстремума взаимной корреляционной функции двумерных сигналов изображений K{ВП,Ве} и описывается выражением:In FIG. 9 vertical columns also show four counts of the recorded signal, two of which with arguments u = 0.5, u = -1.5 will be included in the sum in expression (12) with weights equal to the ordinates of the interpolation function at these points. Then, in the vicinity of the coordinate of the found point markers weapon guidance target environment in the signal from the expression (10) is isolated
где I×J - размеры области приведенного сигнала.where I × J are the dimensions of the region of the reduced signal.
В качестве сигналов в выражении (13) могут использоваться как яркостные, представляющие собой сумму сигналов цветовых компонент, так и отдельные сигналы Br(i,j), Bg(i,j), Bb(i,j) красной, зеленой и синей компонент, а также предварительно обработанные сигналы для улучшения свойств корреляционной функции. В этом случае алгоритм реализации способа может дополняться процедурами выбора компонент, их корреляционных функций, селекции или усреднения таких функций, выбора или усреднения покомпонентных аргументов экстремумов функций и другими. Размеры 12 области поиска наибольшего подобия сигналов фиг. 7 при использовании алгоритмов вида (13) задают, как правило, в пределах от полутора до двух радиусов корреляции сигнала области (11). Для рассматриваемого примера оптимизированные задаваемые размеры составляли от 64 до 96 элементов, что подтверждено на 95% типовых сценах. Найденные по выражению (13) координаты используют в качестве точных координат точки наведения оружия в сигнале изображения фоноцелевой обстановки.As signals in expression (13), both luminance, representing the sum of the signals of color components, and individual signals B r (i, j), B g (i, j), B b (i, j) red, green, can be used and the blue component, as well as pre-processed signals to improve the properties of the correlation function. In this case, the algorithm for implementing the method can be supplemented by procedures for selecting components, their correlation functions, selecting or averaging such functions, selecting or averaging componentwise arguments of the extrema of functions, and others. The
Для подтверждения осуществления и оценки технического эффекта реализации способа проведена серия экспериментов, в которых формат формируемых изображений составлял 1920×1080 элементов при частоте кадров 60 Гц, формат регистрируемого изображения - 3840×2748 элементов ×60 Гц, число градаций яркости/цветности сигналов изображений - от 16 до 256, количество координатных маркеров - 14, длина волны излучателей маркеров - 625 нм, размеры преобразуемых областей регистрируемого сигнала от 32 до 128 элементов по каждой из координат в различных сочетаниях, размеры областей поиска наибольшего подобия сигналов - от 64 до 150 элементов в различных сочетаниях, количество вариантов формируемых изображений фоноцелевой обстановки - 6, количество вариантов имитируемых условий погоды и времени суток - 5, количество типов целей на каждом изображении - 5, минимальные размеры целей - 12×9 элементов, количество имитаторов оружия с видеокамерой - 1. Фиг. 10 демонстрирует пример обрабатываемого изображения в одном из экспериментов. Результаты экспериментальных исследований показали следующее. Для координат, определяемых по координатным маркерам: максимальная погрешность составила 11 элементов, допустимый диапазон изменений углов свала имитатора оружия - от 0 до 360 градусов, допустимый диапазон углов наблюдения (ракурса) целей - от 0 до 50 градусов, диапазон изменений масштаба изображений фоноцелевой обстановки - 250%. Для точных координат точки наведения оружия, определяемых по сигналам изображений, математическое ожидание погрешности определения координат - плюс минус один элемент, среднеквадратическое отклонение погрешности - 1,6 элемента для вероятности 0,95 (максимальная погрешность 5 элементов), допустимая нелинейность изображения по растру - не менее 4% без оптимизации параметров алгоритма и до 9% с оптимизацией. При этом допустимые диапазоны изменения условий наблюдения изображений остались неизменными. Дополнительно проведены эксперименты по оценке устойчивости алгоритмов реализации способа к влиянию погрешностей компенсации проективных преобразований и аппаратных нелинейностей изображений фоноцелевой обстановки. Получено, что остаточные погрешности и нелинейности могут составлять по масштабам - не менее плюс-минус 10%, по углам ракурса - не менее плюс-минус 20%, по углам свала оружия - не менее плюс-минус 5%, что в основном обусловлено свойствами робастности корреляционно-экстремального метода сопоставления изображений и подтверждает достаточный инженерный запас точности выбора параметров при аппаратно-программной реализации способа.To confirm the implementation and evaluate the technical effect of the implementation of the method, a series of experiments was carried out in which the format of the generated images was 1920 × 1080 elements at a frame frequency of 60 Hz, the format of the recorded image was 3840 × 2748 elements × 60 Hz, and the number of gradations of brightness / color of image signals ranged from 16 to 256, the number of coordinate markers - 14, the wavelength of the emitters of the markers - 625 nm, the sizes of the converted regions of the recorded signal from 32 to 128 elements for each of the coordinates in various combinations, the sizes are areas of search for the greatest similarity of signals - from 64 to 150 elements in various combinations, the number of variants of generated images of the phono-target environment - 6, the number of variants of simulated weather conditions and time of day - 5, the number of types of targets in each image - 5, the minimum size of targets - 12 × 9 elements, the number of weapon simulators with a video camera - 1. FIG. 10 shows an example of a processed image in one of the experiments. The results of experimental studies showed the following. For the coordinates determined by coordinate markers: the maximum error was 11 elements, the allowable range of changes in the angle of the weapon simulator’s pile was from 0 to 360 degrees, the allowable range of observation angles (angle) of the targets was from 0 to 50 degrees, the range of changes in the scale of images of the phono-target environment is 250% For the exact coordinates of the weapon guidance point determined by the image signals, the mathematical expectation of the error in determining the coordinates is plus or minus one element, the standard deviation of the error is 1.6 elements for a probability of 0.95 (maximum error of 5 elements), the admissible non-linearity of the image along the raster is not less than 4% without optimization of algorithm parameters and up to 9% with optimization. In this case, the permissible ranges for changing the conditions for observing images remained unchanged. Additionally, experiments were conducted to assess the stability of the implementation algorithms of the method to the influence of compensation errors of projective transformations and hardware non-linearities of the images of the background target environment. It was found that the residual errors and non-linearities can be on a scale of at least plus or minus 10%, in the angles of the angle — at least plus or minus 20%, in the corners of the weapon dump — at least plus or minus 5%, which is mainly due to the properties robustness of the correlation-extreme method of image matching and confirms a sufficient engineering margin of accuracy in the selection of parameters in the hardware-software implementation of the method.
Введенная в третий способ группы изобретений совокупность действий по определению точных значений координат точки наведения оружия непосредственно по изображению фоноцелевой обстановки позволила дополнительно снизить результирующие координатные погрешности. Полученный технический эффект также включает снижение требований к параметрам алгоритмов и характеристикам устройств при реализации способа и эксплуатации тренажерных систем, построенных на его основе.The set of actions introduced into the third method of the group of inventions to determine the exact values of the coordinates of the weapon guidance point directly from the image of the phono-target situation made it possible to further reduce the resulting coordinate errors. The obtained technical effect also includes a decrease in the requirements for the parameters of the algorithms and the characteristics of the devices when implementing the method and operation of training systems based on it.
В четвертом способе определения точки наведения оружия на изображении фоноцелевой обстановки в стрелковых тренажерах согласно четвертому изобретению группы сохраняется существо и последовательность основных действий с сигналами и изображениями, осуществляемыми в третьем изобретении группы и подробно описанными выше. Эти операции в режиме настройки включают формирование вычислительными средствами последовательности кадров двумерного тестового сигнала, включающего сигналы не менее четырех тестовых маркеров с задаваемыми координатами, характеристиками формы, размера, цвета и относительного расположения, фиг. 5, преобразование видеопроектором 22 тестового сигнала в тестовое цветное изображение 1 с тестовыми маркерами 2, наложение на это изображение изображений не менее четырех координатных маркеров 4, фиг. 5, преобразование с помощью видеокамер 24 изображения с экрана 18 и его окрестностей в области 5 в двумерные регистрируемые тестовые сигналы с цветовыми компонентами, подстройку координатных полей тестового изображения и регистрируемого тестового сигнала для всех регистрируемых тестовых сигналов по числу используемых имитаторов 23 оружия, выбор имитатора 23 оружия и ориентация сопряженного с ними координатного поля регистрируемого тестового сигнала, как показано на фиг. 5, выделение в этом в регистрируемом тестовом сигнале сигналов всех l тестовых и k координатных маркеров, определение наблюдаемых координат (xнmk,yнmk), (хнml,yнml) и уточнение характеристик Пнmk и Пнml соответственно координатных и тестовых маркеров, идентификацию размещения тестовых маркеров в регистрируемом тестовом сигнале, расчет элементов матрицы F проективных преобразований сформированного и регистрируемого тестовых изображений, определение координат каждого координатного маркера относительно поля сигнала тестового изображения (xmk,ymk) и запоминание их в качестве эталонных, корректировку характеристик Пmk сигналов изображений координатных маркеров и запоминание их в качестве эталонных. В режиме работы операции включают формирование вычислительными средствами последовательности кадров двумерного сигнала фоноцелевой обстановки с цветовыми компонентами B(x,у) в координатном поле xOy 1, фиг. 1, его преобразование видеопроектором в цветное изображение фоноцелевой обстановки E(x,у), наложение на это изображение изображения тех же координатных маркеров 4, преобразование изображения Ep(xp,ур) с экрана 18 и его окрестностей в области 5 фиг. 1 в двумерные регистрируемые сигналы фоноцелевой обстановки Bp(xp,ур) с помощью видеокамер 24 каждого имитатора 23 оружия, выделение в каждом из этих сигналов сигналов изображений координатных маркеров Bpmk(xpmk,ypmk), определение их координат и характеристик, идентификацию координатных маркеров, расчет элементов матриц А проективных преобразований, определение координаты точки наведения оружия в сигнале изображения фоноцелевой обстановки для каждого имитатора 23 оружия, преобразование области 10 двумерного регистрируемого сигнала Bp(хр,ур) в окрестности его центрального элемента фиг. 6 в приведенный сигнал ВП(x,у) в координатном поле сигнала фоноцелевой обстановки xOy умножением вектора координат каждого i-го элемента регистрируемого сигнала на обращенную матрицу А и интерполяцией значений каждой цветовой компоненты каждого элемента приведенного сигнала в области 11 фиг. 7 по соответствующим сигналам близлежащих элементов регистрируемого сигнала фиг. 8 и 9, определение координат центрального элемента (xO,yO) подобласти наибольшего подобия приведенному сигналу в области 12 фиг. 7 сигнала фоноцелевой обстановки и использование этих координат в качестве точных координат точки наведения оружия в сигнале изображения фоноцелевой обстановки.In the fourth method for determining the point of pointing a weapon on the image of the phono-target environment in shooting simulators according to the fourth invention of the group, the essence and sequence of basic actions with signals and images carried out in the third invention of the group and described in detail above are preserved. These operations in the tuning mode include the formation by computing means of a sequence of frames of a two-dimensional test signal, including the signals of at least four test markers with preset coordinates, shape, size, color, and relative position characteristics, FIG. 5, the video projector 22 converts the test signal into a test color image 1 with test markers 2, overlaying at least four coordinate markers 4 on this image, FIG. 5, the conversion using video cameras 24 of the image from the screen 18 and its environs in region 5 into two-dimensional recorded test signals with color components, adjustment of the coordinate fields of the test image and the recorded test signal for all recorded test signals according to the number of used weapon simulators 23, the choice of simulator 23 weapons and the orientation of the associated coordinate field of the recorded test signal, as shown in FIG. 5, highlighting in this recorded test signal the signals of all l test and k coordinate markers, determining the observed coordinates (x нmk , y нmk ), (х нml , y нml ) and clarifying the characteristics of П нmk and П нml, respectively, coordinate and test markers, identification of the location of test markers in the recorded test signal, calculation of matrix elements F of projective transformations of the generated and recorded test images, determination of the coordinates of each coordinate marker relative to the signal field of the test image (x mk , y mk ) and storing them as a reference, adjusting the characteristics P mk of the image signals of the coordinate markers and storing them as a reference. In the operation mode, the operations include forming, by computing means, a sequence of frames of a two-dimensional signal of the phono-target environment with color components B (x, y) in the coordinate field xOy 1, FIG. 1, it is converted by a video projector into a color image of the background target environment E (x, y), the image of the same coordinate markers 4 is superimposed on this image, the image is converted by E p (x p , y p ) from the screen 18 and its environs in region 5 of FIG. 1 into two-dimensional recorded signals of the phono-target environment B p (x p , у p ) using video cameras 24 of each weapon simulator 23, extracting image signals of coordinate markers B pmk (x pmk , y pmk ) in each of these signals, determining their coordinates and characteristics , identification of fiducial markers, the calculation of elements of the matrices a projective transformation, determination of coordinates weapon aiming point in the image signal for each target environment simulator 23 arms, converting a two-dimensional area 10 of the recorded signal B p (x p, p) in the vicinity of its central element of FIG. 6 to the reduced signal B P (x, y) in the coordinate field of the background signal xOy by multiplying the coordinate vector of each i-th element of the recorded signal by the inverse matrix A and interpolating the values of each color component of each element of the reduced signal in region 11 of FIG. 7 according to the corresponding signals of nearby elements of the recorded signal of FIG. 8 and 9, determining the coordinates of the central element (x O , y O ) of the subdomain of the greatest similarity to the given signal in region 12 of FIG. 7 of the signal of the phono-target environment and the use of these coordinates as the exact coordinates of the weapon pointing point in the image signal of the phono-target environment.
В рабочем режиме параллельно с описанными действиями задают показатель и критерии подобия сигналов изображений. При использовании корреляционных функций для установления подобий сигналов изображений, выражение (13), в качестве показателей применяют, например, значения функций в точках экстремумов Kmax(x,у), фиг. 11, значения функций в точках, отстоящих от экстремумов на небольшую величину в несколько элементов δ - max{Kmax(x±δ,y±δ)}, и значения функций в точках наибольших локальных экстремумов Kl.max(xi,yj), отстоящих от главного экстремума более чем на величину , фиг. 11, и другие показатели. Для таких показателей критерии подобия задают в виде:In the operating mode, in parallel with the described actions, an indicator and similarity criteria for image signals are set. When using correlation functions to establish similarities of image signals, expression (13), as indicators, for example, use the values of functions at the points of extrema K max (x, y), FIG. 11, the values of the functions at the points spaced from the extrema by a small amount of several elements δ - max {K max (x ± δ, y ± δ)}, and the values of the functions at the points of the largest local extrema K l.max (x i , y j ), separated from the main extremum by more than an amount FIG. 11, and other indicators. For such indicators, similarity criteria are set in the form:
где Kth - пороговое значение экстремума корреляционной функции;where K th is the threshold value of the extremum of the correlation function;
Δ - показатель формы глобального экстремума;Δ is an indicator of the shape of the global extremum;
- показатель интенсивности локальных экстремумов. - an indicator of the intensity of local extremes.
Для рассматриваемых условий и сильно зашумленных сигналов изображений пороговое значение задавалось равным 0,9, координатные смещения от глобального максимума , что при форматах приведенных (искомых) сигналов 32×32 и 64×64 элементов составили соответственно ±2 и ±4 элемента. Показатели и критерии задаются алгоритмически и, как правило, не изменяются для используемого ряда изображений фоноцелевой обстановки. Далее, область сигнала изображения фоноцелевой обстановки 9 фиг. 12 разбивают на области 13 поиска опорных точек, в каждой такой области выделяют центральную подобласть 14, рассчитывают по соотношению в скобках правой части выражения (13) значения, по сути, автокорреляционной функции, определяют показатели подобия, применяют критерии (14) и ранжируют области по наилучшим показателям подобия центральных подобластей по критерию:For the conditions under consideration and strongly noisy image signals, the threshold value was set equal to 0.9, the coordinate offsets from the global maximum that with the formats of the reduced (desired) signals 32 × 32 and 64 × 64 elements amounted to ± 2 and ± 4 elements, respectively. Indicators and criteria are set algorithmically and, as a rule, are not changed for the used series of images of the phono-target environment. Further, the region of the image signal of the
При этом координаты подобластей, отвечающих критериям (14), будут совпадать с координатами центральных элементов областей поиска и являться координатами найденных опорных точек 15 фиг. 12 в сигнале изображения фоноцелевой обстановки. Найденные опорные точки являются едиными для регистрируемых сигналов всех используемых имитаторов оружия, и их определение должно завершиться до преобразования областей 10 двумерных регистрируемых сигналов Bp(xp,ур) в окрестностях их центральных элементов фиг. 6 в приведенные сигналы ВП(x,у). Возможно также использование найденных в предыдущем кадре опорных точек в операциях с сигналами текущего кадра без существенных ограничений на динамику имитируемых сцен.The coordinates of the subdomains that meet the criteria (14) will coincide with the coordinates of the central elements of the search areas and will be the coordinates of the found
Затем для каждого имитатора 23 оружия и найденных опорных точек умножением векторов их координат на соответствующую матрицу А рассчитывают векторы координат этих опорных точек в соответствующем регистрируемом сигнале, отбирают те опорные точки, рассчитанные векторы координат которых попадают в координатное поле регистрируемого сигнала. Регистрируемый сигнал в окрестностях его центрального элемента и отобранных опорных точек преобразуют в соответствующие им области приведенных сигналов 11 фиг. 12 согласно выражений (10, 11, 12), определяют координаты и показатели подобия подобластей наибольшего подобия полученных приведенных сигналов сигналам областей фоноцелевой обстановки по выражениям (13) и (14), определяют лучшую опорную подобласть наибольшего подобия по показателям подобия согласно выражения (15) и минимальной разности координат этой подобласти и координат найденной по координатным маркерам точки наведения оружия. Завершающие действия способа включают проверку принадлежности координат точки наведения оружия 16 фиг. 12 координатному полю сигнала фоноцелевой обстановки 9, сравнение показателей подобия (15) приведенного сигнала в области найденной точки наведения и приведенного сигнала в области лучшей опорной точки. В качестве точных координат точки наведения оружия в сигнале изображения фоноцелевой обстановки используют либо координаты центрального элемента подобласти наибольшего подобия в окрестностях найденной точки наведения оружия, если эта подобласть имеет более высокие показатели подобия и ее координаты принадлежат координатному полю сигнала фоноцелевой обстановки 9 фиг. 12, либо координаты центрального элемента подобласти наибольшего подобия лучшей опорной точки, откорректированные на разность координат этой опорной точки и координат найденной точки наведения оружия, в других случаях. Пример на фиг. 12 показывает, что найденная точка наведения оружия 16 лежит вне координатного поля сигнала фоноцелевой обстановки 9, в силу чего в качестве точных координат точки наведения оружия в сигнале изображения фоноцелевой обстановки должен использоваться вектор координат центрального элемента подобласти наибольшего подобия 11 лучшей опорной точки 15 (на фиг. 12 показана как ближайшая к точке 16) после его сложения с вектором 17. Фиг. 12 также показывает, что координаты центрального элемента подобласти наибольшего подобия не всегда совпадают с координатами центрального элемента области поиска из-за погрешностей расчетов и аппаратных нелинейностей устройств, реализующих способ. В результате осуществления операций способа получают независимые друг от друга точные координаты наведения для каждого используемого имитатора 23 оружия, которые меньше зависят от характеристик сигналов изображений фоноцелевой обстановки и положений точек наведения оружия.Then, for each
Технический результат при осуществлении четвертого изобретения группы, заключающийся в расширении условий применения способа, выражается в сокращении аномальных ошибок определения координат наведения оружия в условиях расширенных диапазонов углов возвышения и упреждения имитаторов оружия, а также гладкости и низкой детальности формируемых изображений фоноцелевой обстановки. Результат достигается за счет введения и использования в способе показателей и критериев подобия двумерных сигналов, формирования дополнительных опорных точек, сопряженных с точками наведения оружия, и реализованной возможности выбора лучшего из нескольких решений.The technical result in the implementation of the fourth invention of the group, which consists in expanding the conditions of application of the method, is expressed in the reduction of anomalous errors in determining the coordinates of pointing the weapon in the conditions of extended ranges of elevation angles and lead simulators of weapons, as well as the smoothness and low detail of the generated images of the phono-target environment. The result is achieved through the introduction and use in the method of indicators and similarity criteria for two-dimensional signals, the formation of additional reference points associated with points of guidance of the weapon, and the realized opportunity to choose the best of several solutions.
В пятом изобретении группы устройство определения точки наведения оружия на изображении фоноцелевой обстановки в стрелковых тренажерах, структурная схема которого показана на фиг. 13, содержит экран 18, вычислительную систему 19, монитор 20, подключенный к первому видеовыходу вычислительной системы 19, ко входу управления которой подключены устройства 21 управления, видеопроектор 22 с системой регулирования, подключенный ко второму видеовыходу вычислительной системы 19, имитаторы 23 оружия по числу одновременно обучаемых стрелков, закрепленные на имитаторах 23 оружия видеокамеры 24 с системами регулирования и интерфейса, набор 25 координатных маркеров и регулятор 26, вход которого подключен к выходу управления вычислительной системы 19, а выход - к излучающим элементам координатных маркеров. Выходы видеокамер 24 подключены ко входам видеоинтерфейса вычислительной системы проводными или беспроводными линиями передачи данных. В последнем случае видеокамеры 24 должны включать встроенные источники питания. Устройства 21 управления представляют собой, например, клавиатуру и манипулятор "мышь". В качестве регулятора 26 может быть использован управляемый источник питания излучающих элементов координатных маркеров. Вычислительную систему 19 строят на базе одного или нескольких персональных компьютеров либо серверов высокой суммарной производительности вычислений. Имитаторы 23 оружия выполнены в виде полномасштабной копии реальных образцов оружия с элементами крепления видеокамер 24. При этом электрические контакты спусковых крючков имитаторов 23 подсоединяют к цепям "снимок" систем интерфейсов соответствующих видеокамер 24.In the fifth invention of the group, a device for determining a point of pointing a weapon in the image of a phono-target situation in shooting simulators, a structural diagram of which is shown in FIG. 13, comprises a
Вычислительная система 19, монитор 20, видеопроектор 22 и видеокамеры 24 выбраны и предварительно настроены для, соответственно, формирования, отображения и регистрации цветных сигналов и изображений в единой цветовой системе координат, например RGB. Набор 25 координатных маркеров расположен в одной плоскости с экраном 18, вблизи внешних границ проецируемых на него изображений. Каждый координатный маркер из набора выполнен в виде монохромного излучателя видимых или невидимых световых волн с регулируемой интенсивностью и установлен так, что его диаграмма направленности охватывает места размещения стрелков с имитаторами 23 оружия перед экраном 18. При этом диапазон световой чувствительности видеокамер 24, фиг. 2, выбран так, что он охватывает длины волн излучателей координатных маркеров.
Поскольку рассматриваемое устройство входит в описываемую группу изобретений, осуществляет способы определения точки наведения оружия на изображении фоноцелевой обстановки в стрелковых тренажерах, тесно связано со способами и образует единый изобретательский смысл, то характеристики выбираемых для использования в устройстве элементов предварительно рассчитывают и определяют при разработке образцов устройства по параметрам и условиям реализации способов из группы изобретений.Since the device in question is included in the described group of inventions, it implements methods for determining the point of pointing a weapon on the image of the phono-target situation in shooting simulators, is closely connected with the methods and forms a single inventive meaning, then the characteristics of the elements selected for use in the device are preliminarily calculated and determined when developing device samples using parameters and conditions for the implementation of the methods of the group of inventions.
Количество координатных маркеров в наборе 25 и их распределение вокруг экрана 18 выбирают так, чтобы в заданных диапазонах углов возвышения, упреждения и свала имитаторов 23 оружия и для любых положений изображений целей на экране обеспечить попадание в поле зрения любой видеокамеры 24 не менее четырех координатных маркеров, изображения которых позволяют образовать не менее одного четырехугольника. Примеры таких условий наблюдения демонстрируют фиг. 4 и 6, на которых в координатное поле 5 регистрируемого видеокамерой 24 изображения (сигнала) попадают, соответственно, шесть и одиннадцать координатных маркеров 4. Дополнительно для этих условий, форму, размеры, цвета и асимметричность расположения координатных маркеров выбирают так, чтобы обеспечить их идентификацию в наборе 25. Выбираемое количество координатных маркеров в наборе 25 зависит от требований по возможным углам свала оружия (углам поворота регистрируемых изображений) при прицеливании по наихудшим положениям целей по углам экрана 18 и всегда может быть обеспечено корректным выбором фокусного расстояния объективов видеокамер 24. Характеристики асимметрии размещения координатных маркеров, формы, размера и цвета, описываемые выражениями (3), (2) и (1), образуют единый для всех регистрируемых сигналов изображений вектор Пm с компонентами Пmk (4), который имеет достаточное число степеней свободы для обеспечения идентификации координатных маркеров в требуемых диапазонах изменений углов возвышения, упреждения и свала имитаторов оружия, ракурсов и расстояний наблюдения изображений обучаемыми стрелками. Выбором сочетаний характеристик (1-3) координатных маркеров можно всегда обеспечить их идентификацию в наборе 25. Например, выбор двенадцати маркеров 4 в составе набора, с асимметрией размещения по фиг. 3, круглой формы и с одинаковыми цветами обеспечивает идентификацию изображений (сигналов) четырех и более соседних маркеров при углах поворота изображений от 0 до 360 градусов, ракурсах наблюдения плюс-минус 60 градусов и изменениях масштаба в 3 раза. При этом размеры координатного поля регистрируемых изображений (сигналов) 5 фиг. 6, определяемых фокусным расстоянием объективов видеокамер 24 фиг. 13, должны быть выбраны больше размеров изображения фоноцелевой обстановки 9 фиг. 6 (или экрана 18 фиг. 13) до 20% по горизонтали и до 100% по вертикали для реалистичных сценариев стрельб, скоростей движения, дальностей и типов имитируемых целей. Разрешающая способность видеокамер 24 при таких условиях должна быть выбрана, как правило, в 2 раза выше четкости формируемых изображений.The number of coordinate markers in the
В наборе 25 координатных маркеров фиг. 13 могут применяться, например, светодиодные сборки DLA/61D компании Kingbright с длиной волны излучения 625 нм, шириной диаграммы направленности 120 градусов и током потребления 180 мА. В качестве регулятора 26 - управляемый источник тока на 3 А с компьютерным интерфейсом дистанционного управления, например в стандарте RS-232 или RS422/485. Видеокамеры 24, используемые в устройстве, могут быть типов UI-5490SE-C-HQ компании IDSGmbH с максимальным разрешением 3840×2748 пикселей, интерфейсами GigE и 6WI/O, диапазоном спектральной чувствительности до 900 нм. Видеопроектор 22 фиг. 13 - XG-P10XE компании Sharp с разрешением 1024×768 пикселей и проекционным экраном 18 размерами 285×210 см. Вычислительная система 19 может быть сконфигурирована на основе типовых архитектур, известных и доступных компонентов. Например, в виде одного гибридного сервера NVIDEA TESLA HPC-8080 компании Forsite с платформой центрального процессора до четырех Intel XeonE5-2699v3 по восемнадцать ядер в каждом, оперативной памятью до 1,5 терабайт, скоростными SSD дисками долговременной памяти до 2,4 терабайт и SAS накопителями до 6,0 терабайт. Сервер комплектуют графическими ускорителями NVIDEA TESLA K80M (Kepler) с архитектурой параллельных вычислений CUDA и производительностью до 8,7 терафлопс в количестве до 8 единиц и платами видеозахвата DeckLinc 4K Extreme 12G на два видеопотока форматом 4096×2160 р60 в количестве до 8 единиц. Оцениваемая производительность такой вычислительной системы в несколько раз превосходит потребную для обработки в реальном времени суммарного потока данных в 360 гигабит в секунду в устройстве с шестнадцатью имитаторами оружия по алгоритмам реализуемых способов определения точек наведения оружия.In the set of 25 coordinate markers of FIG. 13, for example, Kingbright DLA / 61D LED arrays with an emission wavelength of 625 nm, a beam pattern of 120 degrees and a current consumption of 180 mA can be used. As a regulator 26 - a controlled 3 A current source with a computer remote control interface, for example, in the RS-232 or RS422 / 485 standard.
Устройство работает следующим образом.The device operates as follows.
После размещения в месте установки и включения устройство определения точки наведения оружия на изображении фоноцелевой обстановки в стрелковых тренажерах фиг. 13 переходит в режим настройки. Вычислительная система 19 формирует последовательность кадров тестового сигнала с цветовыми компонентами, содержащего сигналы тестовых маркеров с заданными программно координатами. Видеопроектор 22 преобразует каждый кадр этого сигнала в тестовое изображение на плоском экране 18, которое вместе с включенными излучателями набора 25 координатных маркеров имеет вид, пример которого показан на фиг. 1. Видеокамеры 24 имитаторов 23 оружия преобразуют изображения с экрана 18 и его окрестностей, поле координат 5 фиг. 1, в двумерные регистрируемые тестовые сигналы, центральный элемент каждого из которых совпадает с осью системы координат xpOpyp и сопряжен с осью ствола соответствующего имитатора 23 оружия. Затем производят подстройку координатных полей тестового изображения и регистрируемого тестового сигнала совмещением оси координатной системы 6 фиг. 1 прицела каждого имитатора 23 оружия фиг. 13 с осью системы координат xpOpyp соответствующего регистрируемого сигнала электронными регулировками камеры 24 и регулировкой ее механического крепления к имитатору 23, подстройкой положения тестового изображения 1, координатного поля xOy и относительного расположения поля 3 координатных маркеров фиг. 1 электрическими регулировками видеопроектора 22 и регулировками механического крепления видеопроектора 22, экрана 18 и набора 25 координатных маркеров фиг. 13.After placement at the installation site and switching on, the device for determining the point of pointing the weapon on the image of the phono-target situation in the shooting simulators of FIG. 13 enters setup mode. The
Для исключения аппаратных искажений цветности координатных маркеров 25 фиг. 13 вследствие ограничений динамического диапазона освещенностей в видеокамерах 24 регулятором 26 производят подстройку питающего тока излучателей. Для этого поле зрения любой видеокамеры 24 ориентируют в пространстве так, чтобы наблюдать изображения координатных маркеров на мониторе 20. С вычислительной системы 19 программно либо устройствами 21 управления задают максимальный ток и пошагово снижают его до появления заданного оттенка изображений координатных маркеров, в рассматриваемом примере - красного (из-за насыщения в усилителях видеокамер изначально цвет маркеров будет белым). Окончательно устанавливают силу тока регулятора 26 такой, чтобы размах красной компоненты сигнала изображения маркеров составлял от 50 до 80% максимального, а компоненты векторов нормированных относительных яркостей голубой и зеленой компонент (1) был близок к расчетным значениям Emk=(0,042, 0,142)Т.To eliminate hardware color distortion of the coordinate
Затем по изображению тестового сигнала на экране 18 фиг. 1 измерениями и интерполяцией по тестовым маркерам 2 с точно заданными программно координатами в системе xOy определяют точные координаты координатных маркеров 4, устройством 21 управления фиг. 13 вводят их в вычислительную систему 19 и запоминают в качестве эталонных.Then, from the image of the test signal on the
Описанная работа устройства в режиме настройки соответствует осуществлению им первого способа определения точки наведения оружия на изображении фоноцелевой обстановки в соответствии с первым изобретением группы. При осуществлении устройством второго, третьего и четвертого способов его работа в режиме настройки заключается в следующем.The described operation of the device in the setting mode corresponds to its implementation of the first method for determining the point of pointing the weapon in the image of the phono-target environment in accordance with the first invention of the group. When the device implements the second, third and fourth methods, its operation in the setup mode is as follows.
Вычислительная система 19 формирует последовательность кадров тестового сигнала с цветовыми компонентами в виде однотонного поля со встроенными сигналами не менее четырех тестовых маркеров с программно заданными координатами, характеристиками формы, размера и цвета. Видеопроектор 22 преобразует каждый кадр этого сигнала в тестовое изображение на плоском экране 18, которое вместе с аналогично установленными координатными маркерами с отличающимися от тестовых маркеров 2 изображениями имеет вид, пример которого показан на фиг. 5. Видеокамеры 24 имитаторов 23 оружия аналогично преобразуют изображения с экрана 18 и его окрестностей, поле координат 5 фиг. 5, в двумерные регистрируемые тестовые сигналы Btp(xp,yp). Аналогичным образом производят подстройку координатных полей тестового изображения и регистрируемого тестового сигнала для всех имитаторов 23 оружия и видеокамер 24 фиг. 13, подстройку питающего тока излучателей координатных маркеров регулятором 26. Далее ориентируют любой из имитаторов 23 оружия и сопряженное с ними координатное поле регистрируемого тестового сигнала 5 фиг. 5 так, чтобы обеспечить попадание в этот регистрируемый тестовый сигнал изображений всех тестовых маркеров 2 и координатных маркеров 4. Этот сигнал с выбранной видеокамеры 24 фиг. 13 поступает в вычислительную систему 19, записывается в ее буферную память и контролируется по монитору 20. В вычислительной системе 19 в этом регистрируемом тестовом сигнале выделяют сигналы всех l тестовых и k координатных маркеров по заданным характеристикам маркеров (1, 2) и выражениям (5, 6), определяют их наблюдаемые координаты (xнmk,yнmk) и (xнml,yнml), уточняют характеристики Пнmk и Пнml соответственно координатных и тестовых маркеров по выражениям (1-4) и идентифицируют размещение тестовых маркеров в регистрируемом тестовом сигнале по их наблюдаемым и задаваемым характеристикам в соответствии с выражением (7). По задаваемым и наблюдаемым координатам сигналов не менее четырех идентифицированных тестовых маркеров вычислительная система 19 рассчитывает элементы матрицы F проективных преобразований сформированного и регистрируемого тестовых изображений в соответствии с выражениями (8, 9) аналогично расчету элементов матрицы А. Умножением вектора наблюдаемых координат каждого координатного маркера на обращенную матрицу F получают их координаты в поле xOy сигнала тестового изображения фиг. 5, запоминают в качестве эталонных координат координатных маркеров (xmk,ymk), корректируют по ним характеристики относительного расположения сигналов изображений координатных маркеров dmk и вместе с заданными характеристиками формы, размера и цвета Emk и cmk запоминают их в качестве эталонных характеристик координатных маркеров Пmk, выражение (4).
Устройство определения точки наведения оружия на изображении фоноцелевой обстановки в стрелковых тренажерах в режиме работы при осуществлении способов по первому и второму изобретениям группы работает следующим образом.A device for determining the point of pointing a weapon on the image of the phono-target environment in shooting simulators in the operating mode when implementing the methods of the first and second inventions of the group works as follows.
Вычислительная система 19 фиг. 13 формирует непрерывную последовательность кадров двумерного сигнала фоноцелевой обстановки с цветовыми компонентами B(х,y) в координатном поле тестового сигнала xOy. Видеопроектор 22 преобразует этот сигнал в цветное изображение E(х,y) на экране 18, которое вместе с изображениями тех же координатных маркеров Emk(xmk,ymk) преобразуют в соответствующие регистрируемые сигналы фоноцелевой обстановки Bp(xp,ур) видеокамерами 24. Примеры преобразуемого изображения приведены на фиг. 6 и 10. Затем в каждом из этих сигналов выделяют сигналы изображений координатных маркеров Bpmk(xpmk,ypmk), определяют их координаты и характеристики, идентифицируют маркеры по их эталонным и текущим характеристикам в соответствии с выражениями (5, 6, 7) с использованием (1-4), рассчитывают элементы матриц А проективных преобразований для сформированного и каждого регистрируемого изображения фоноцелевой обстановки по выражениям (8, 9) и определяют координаты точки наведения оружия в сигнале изображения фоноцелевой обстановки для каждого имитатора 23 оружия по выражению (10). Эти координаты с требуемыми, запрограммированными кадровыми интервалами отображаются на мониторе 20 и могут подсвечиваться специальными метками на изображении фоноцелевой обстановки на мониторе 20 и экране 18 фиг. 13. При имитации выстрелов по сигналам электрических контактов спусковых крючков имитаторов 23 оружия отображение координат точек наведения оружия "замораживают" на заданный программно интервал, а точки наведения на изображениях подсвечиваются отличительными метками. При этом отдельной подпрограммой вычислительных средств может предусматриваться обработка и запоминание получаемых в каждом кадре координат до имитации выстрелов для каждого имитатора 23 оружия.The
При осуществлении третьего способа определения точки наведения оружия на изображении фоноцелевой обстановки в стрелковых тренажерах устройство в режиме работы определяет координаты аналогично. Для определения точных значений координат точек наведения область 10 фиг. 6 каждого двумерного регистрируемого сигнала, поступающего с соответствующей видеокамеры 24, преобразуют в вычислительной системе 19 в соответствующий приведенный сигнал ВП(x,y) области 11 фиг. 7 координатного поля xOy сигнала фоноцелевой обстановки 9 по выражениям (10, 11, 12). В окрестности каждой такой области выделяют область 12 сигнала Ве(x,у), в которой по выражению (13) находят координаты центрального элемента (xO,yO) соответствующей подобласти наибольшего подобия приведенному сигналу ВП(х,y) в сигнале Ве(х,y). Найденные координаты используют в качестве точных координат точек наведения каждого используемого имитатора оружия в сигнале изображения фоноцелевой обстановки, запоминают и обрабатывают в вычислительной системе, подсвечивают и отображают на экране 18 и мониторе 20 фиг. 13.In the implementation of the third method of determining the point of guidance of the weapon in the image of the background target situation in shooting simulators, the device determines the coordinates in the operating mode in the same way. To determine the exact coordinates of the guidance points,
При осуществлении четвертого изобретения группы элементы устройства в режиме работы выполняют основные действия по формированию, отображению, регистрации, преобразованию и обработке сигналов аналогично описанным. А именно: вычислительная система 19 формирует последовательность кадров двумерного сигнала фоноцелевой обстановки с цветовыми компонентами В(х,y) в координатном поле xOy 1, фиг. 1, видеопроектор 22 преобразует этот сигнал в цветное изображение фоноцелевой обстановки Е(х,y), видеокамеры 24 имитаторов 23 оружия преобразуют это изображение и изображения координатных маркеров в двумерные регистрируемые сигналы фоноцелевой обстановки Bp(xp,ур) и через системы интерфейсов видеокамер 24 передают полученные сигналы на соответствующие входы вычислительной системы. Модули видеозахвата вычислительной системы 19 покадрово вводят регистрируемые сигналы в оперативную память модулей центрального и графических процессоров, в которых производится их дальнейшая обработка. В каждом из введенных регистрируемых сигналов выделяют сигналы изображений координатных маркеров Bpmk(xpmk,ypmk), определяют их координаты и характеристики, идентифицируют их положения в наборе, рассчитывают элементы матриц А проективных преобразований, определяют координаты точек наведения каждого имитатора 23 оружия, преобразуют области 10 сигналов Bp(xp,ур) в соответствующие приведенные сигналы ВП(x,y) в координатном поле сигнала фоноцелевой обстановки xOy, определяют координаты (xO,yO) центральных элементов подобластей наибольшего подобия приведенным сигналам в областях 12 фиг. 7 сигнала фоноцелевой обстановки и используют эти координаты в качестве точных координат точек наведения каждого имитатора 23 оружия в сигнале изображения фоноцелевой обстановки.In the implementation of the fourth invention of the group, the elements of the device in the operating mode perform the basic actions of generating, displaying, registering, converting and processing signals in the same way as described. Namely: the
Параллельно с описанными действиями в оперативную память вычислительной системы 19 загружают подготовленные на этапе разработки устройства показатели и критерии подобия сигналов изображений в соответствии с выражением (14). Вычислительной системой 19 область сигнала изображения фоноцелевой обстановки 9 фиг. 12 разбивают на области 13 поиска опорных точек, в каждой такой области выделяют центральную подобласть 14, рассчитывают по соотношению в скобках правой части выражения (13) значения автокорреляционной функции, по ним рассчитывают показатели подобия, применяют критерии (14), ранжируют области по наилучшим показателям подобия центральных подобластей по выражению (15), координаты центральных элементов которых принимают за координаты найденных опорных точек 15 фиг. 12 в сигнале изображения фоноцелевой обстановки. Как правило, в операциях с сигналами текущего кадра используют опорные точки, найденные в предыдущем кадре.In parallel with the described actions, the indicators and similarity criteria for image signals similar to expression (14) prepared at the device development stage are loaded into the RAM of the
Затем для каждого имитатора 23 оружия и найденных опорных точек пересчитывают векторы координат этих опорных точек из поля xOy в системы координат xpOpyp умножением их векторов координат на соответствующую каждому регистрируемому сигнала матрицу А, отбирают те опорные точки, пересчитанные векторы координат которых попадают в координатное поле регистрируемого сигнала, регистрируемый сигнал в окрестностях его центрального элемента и отобранных опорных точек преобразуют в соответствующие им области 11 приведенных сигналов фиг. 12 согласно выражений (10, 11, 12), определяют координаты и показатели подобия подобластей наибольшего подобия полученных приведенных сигналов сигналам областей фоноцелевой обстановки по выражениям (13) и (14), определяют лучшую опорную подобласть наибольшего подобия по показателям подобия согласно выражения (15) и минимальной разности координат этой подобласти и координат найденной по координатным маркерам точки наведения оружия. После этого проверяют принадлежность координат точки 16 наведения оружия фиг. 12 координатному полю сигнала фоноцелевой обстановки 9, сравнивают показатели подобия (15) приведенного сигнала в области найденной точки наведения и приведенного сигнала в области лучшей опорной точки и используют в качестве точных координат точки наведения оружия в сигнале изображения фоноцелевой обстановки либо координаты центрального элемента подобласти наибольшего подобия в окрестностях найденной точки наведения оружия, если эта подобласть имеет более высокие показатели подобия и ее координаты принадлежат координатному полю сигнала фоноцелевой обстановки 9 фиг. 12, либо координаты центрального элемента подобласти наибольшего подобия лучшей опорной точки, откорректированные на разность координат этой опорной точки и координат найденной точки наведения оружия, в других случаях. Найденные для каждого используемого имитатора 23 оружия координаты используют в качестве точных координат точек наведения в сигнале изображения фоноцелевой обстановки, запоминают и обрабатывают в вычислительной системе 19, подсвечивают и отображают на экране 18 и мониторе 20 фиг. 13.Then, for each simulator of 23 weapons and reference points found, the coordinate vectors of these reference points are recalculated from the xOy field to the coordinate systems x p O p y p by multiplying their coordinate vectors by the matrix A corresponding to each recorded signal, those reference points are selected whose converted coordinate vectors fall into the coordinate field of the recorded signal, the recorded signal in the vicinity of its central element and selected reference points is converted into the
Таким образом, работа устройства определения точки наведения оружия на изображении фоноцелевой обстановки в стрелковых тренажерах по пятому изобретению группы в режимах настройки и работы обеспечивает осуществление способов по первым четырем изобретениям группы и получение независимых координат точек наведения всех имитаторов 23 оружия.Thus, the operation of the device for determining the point of pointing the weapon on the image of the phono-target environment in shooting simulators according to the fifth invention of the group in the setting and operating modes provides the implementation of the methods of the first four inventions of the group and obtaining independent coordinates of the pointing points of all
Достигаемый при осуществлении пятого изобретения группы технический результат в сравнении с наиболее близким аналогом заключается в обеспечении возможности увеличения числа одновременно обучаемых стрелков, повышении точности, независимости и временной стабильности определения координат точек наведения их оружия, повышении эксплуатационных характеристик устройства в части упрощения требований к размещению устройства, настроечным процедурам, снижения ограничений на сценарии индивидуальной и групповой работы подготавливаемых стрелков.The technical result achieved during the fifth invention of the group in comparison with the closest analogue is to provide the possibility of increasing the number of simultaneously trained shooters, increasing the accuracy, independence and temporal stability of determining the coordinates of their weapon pointing points, increasing the operational characteristics of the device in terms of simplifying the requirements for the placement of the device, training procedures, reducing restrictions on individual and group work scenarios prepared by Christmas trees.
Заявляемые способы и устройство могут быть осуществлены и применены при создании качественно новых тренажерных систем для подготовки и поддержания навыков личного состава силовых ведомств и спортсменов, освоения ими новых видов оружия, тренировки охотников, а также при создании симуляторов для игровых систем индустрии развлечений. Такие возможности подтверждены изготовлением экспериментального образца стрелкового тренажера, параметры и результаты испытаний которого приведены выше в описании осуществления изобретений. Выполненные работы положены в основу технико-экономического обоснования и аванпроекта опытно-конструкторской работы по созданию нового тренажера серии 9Ф700, что в совокупности с изложенными возможностями, по мнению заявителя и авторов, может служить доказательством соответствия изобретений критерию "промышленная применимость".The inventive methods and device can be implemented and applied when creating qualitatively new training systems for training and maintaining the skills of personnel of law enforcement agencies and athletes, mastering new types of weapons, training hunters, as well as creating simulators for game systems in the entertainment industry. Such capabilities are confirmed by the manufacture of an experimental model of a shooting simulator, the parameters and test results of which are given above in the description of the invention. The performed works form the basis of the feasibility study and the preliminary design development work to create a new 9F700 series simulator, which together with the stated capabilities, according to the applicant and the authors, can serve as evidence of the conformity of the inventions with the criterion of "industrial applicability".
Claims (11)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2015153435A RU2627019C2 (en) | 2015-12-11 | 2015-12-11 | Methods for determining weapon aiming point on focal point situation image in shooting simulators and device for their implementation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2015153435A RU2627019C2 (en) | 2015-12-11 | 2015-12-11 | Methods for determining weapon aiming point on focal point situation image in shooting simulators and device for their implementation |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2015153435A RU2015153435A (en) | 2017-06-16 |
RU2627019C2 true RU2627019C2 (en) | 2017-08-02 |
Family
ID=59068229
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2015153435A RU2627019C2 (en) | 2015-12-11 | 2015-12-11 | Methods for determining weapon aiming point on focal point situation image in shooting simulators and device for their implementation |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2627019C2 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2743334C1 (en) * | 2020-07-06 | 2021-02-17 | Роман Юрьевич Коротаев | Sports motor skills development system |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20230049613A1 (en) * | 2020-02-03 | 2023-02-16 | BAE Systems Hägglunds Aktiebolag | Embedded target tracking training |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4521196A (en) * | 1981-06-12 | 1985-06-04 | Giravions Dorand | Method and apparatus for formation of a fictitious target in a training unit for aiming at targets |
SU1136582A1 (en) * | 1981-09-15 | 1995-10-10 | Б.Ф. Шайдулов | Method and device for checking position of sighting point in shooting training |
RU2168145C2 (en) * | 1999-08-02 | 2001-05-27 | Институт прикладной механики Уральского отделения РАН | Shooting trainer with optoelectronic detector |
US6966775B1 (en) * | 2000-06-09 | 2005-11-22 | Beamhit, Llc | Firearm laser training system and method facilitating firearm training with various targets and visual feedback of simulated projectile impact locations |
-
2015
- 2015-12-11 RU RU2015153435A patent/RU2627019C2/en active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4521196A (en) * | 1981-06-12 | 1985-06-04 | Giravions Dorand | Method and apparatus for formation of a fictitious target in a training unit for aiming at targets |
SU1136582A1 (en) * | 1981-09-15 | 1995-10-10 | Б.Ф. Шайдулов | Method and device for checking position of sighting point in shooting training |
RU2168145C2 (en) * | 1999-08-02 | 2001-05-27 | Институт прикладной механики Уральского отделения РАН | Shooting trainer with optoelectronic detector |
US6966775B1 (en) * | 2000-06-09 | 2005-11-22 | Beamhit, Llc | Firearm laser training system and method facilitating firearm training with various targets and visual feedback of simulated projectile impact locations |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2743334C1 (en) * | 2020-07-06 | 2021-02-17 | Роман Юрьевич Коротаев | Sports motor skills development system |
Also Published As
Publication number | Publication date |
---|---|
RU2015153435A (en) | 2017-06-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101222447B1 (en) | Enhancement of aimpoint in simulated training systems | |
US10323905B2 (en) | Laser shooting training system and method | |
US20160298930A1 (en) | Target practice system | |
CN103890656A (en) | Invisible or low perceptibility of image alignment in dual projection systems | |
CN106664776A (en) | Stadium lighting aiming system and method | |
CN110836616B (en) | Image correction detection method for accurately positioning laser simulated shooting impact point | |
RU2627019C2 (en) | Methods for determining weapon aiming point on focal point situation image in shooting simulators and device for their implementation | |
CN106546230B (en) | Positioning point arrangement method and device, and method and equipment for measuring three-dimensional coordinates of positioning points | |
CN108958256A (en) | A kind of vision navigation method of mobile robot based on SSD object detection model | |
CN111563470B (en) | Preloading monitoring system based on image stitching | |
CN103017606A (en) | Method for determining aiming line of stimulation shooting training | |
KR20180002405A (en) | Method, system and non-transitory computer-readable recording medium for compensating brightness of ball images | |
CN105335959A (en) | Quick focusing method and device for imaging apparatus | |
EP2779102A1 (en) | Method of generating an animated video sequence | |
CN107301672A (en) | A kind of indoor scene becomes more meticulous model building device and modeling method | |
TW201537137A (en) | Twin image guiding-tracking shooting system and method | |
WO2017107564A1 (en) | Board image acquisition method and system | |
Wang et al. | Estimation of extrinsic parameters for dynamic binocular stereo vision using unknown-sized rectangle images | |
WO2021037326A1 (en) | System and process for optical detection and measurement of arrow positions | |
CN117237199B (en) | Method for generating simulation GMTI radar image based on unmanned aerial vehicle aerial photography | |
US20230326075A1 (en) | Methods and systems for camera calibration based on apparent movement of image content at a scene | |
CN110991383B (en) | Multi-camera combined perimeter region personnel positioning method | |
US20230079864A1 (en) | Apparatus and methodology for aiming point and aiming device 6dof detection using image registration | |
Infantono et al. | Area target calibration in weapon scoring system using computer vision to support Unmanned Combat Aerial Vehicle | |
CN111351436B (en) | Method for verifying precision of structural plane displacement vision measurement system |