RU2816087C1

RU2816087C1 - Autonomous optical local positioning and navigation system

Info

Publication number: RU2816087C1
Application number: RU2023120460A
Authority: RU
Inventors: Александр Витальевич Парий; Валерий Александрович Парий; Николай Владимирович Непряхин
Original assignee: Александр Витальевич Парий
Filing date: 2023-08-03
Publication date: 2024-03-26

Abstract

FIELD: navigation.

SUBSTANCE: invention relates to autonomous navigation, namely to autonomous optical local positioning and navigation system. Autonomous optical local positioning and navigation system comprises a first positioning branch by address and information indicators, when information on street or advertising signs is extracted from the obtained video image, by means of technical vision, the inscriptions are decoded, coordinates or location of the object are recognized and estimated from the database, second branch of positioning by landscape image without pre-processing, third branch of positioning by contour frames, in which recognition is carried out by imprint of contour points and lines selected from the source image and fourth branch of navigation by optical odometry, final positioning solution is obtained by combining the obtained available solutions of the corresponding branches, after which there is a combination with the navigation solution, if any.

EFFECT: broader functional capabilities of an autonomous positioning and navigation system.

7 cl, 2 dwg

Description

ОБЛАСТЬ ТЕХНИКИTECHNICAL FIELD

Заявленное изобретение относится к области автономной навигации, а именно к автономной оптической системе локального позиционирования и навигации. The claimed invention relates to the field of autonomous navigation, namely to an autonomous optical system for local positioning and navigation.

ПРЕДШЕСТВУЮЩИЙ УРОВЕНЬ ТЕХНИКИBACKGROUND ART

В качестве патентных аналогов заявленного изобретения могут быть рассмотрены, например, устройство захвата изображения (см. RU2463663, опубл. 10.10.2012) (1), который содержит: блок формирования изображения, который захватывает цифровое изображение; блок связи, который получает множество элементов дополнительной информации от заранее заданного картографического сервера, который хранит множество элементов дополнительной информации, каждый из которых соответствует объекту, содержащемуся в цифровом изображении, захваченном блоком; блок извлечения информации отображения, который выбирает дополнительную информацию, которая должна быть отображена, среди множества элементов дополнительной информации, полученных блоком связи; и блок обработки отображения с наложением и блок отображения, которые отображают только дополнительную информацию, выбранную блоком среди множества элементов дополнительной информации, с наложением на цифровое изображение, захваченное блоком.As patent analogs of the claimed invention, for example, an image capturing device (see RU2463663, published on October 10, 2012) (1), which contains: an image forming unit that captures a digital image, can be considered; a communication unit that receives a plurality of additional information items from a predetermined map server that stores a plurality of additional information items, each of which corresponds to an object contained in a digital image captured by the unit; a display information extracting unit that selects additional information to be displayed from among the plurality of additional information elements obtained by the communication unit; and an overlay display processing unit and a display unit that display only the additional information selected by the unit among the plurality of additional information elements overlaid on the digital image captured by the unit.

Предложенное в качестве аналога устройство (1) не является системой позиционирования и навигации, а представляет собой элемент геоинформационной системы для отображения и поиска информации с возможностью видеозахвата и сопоставления изображений.The device (1) proposed as an analogue is not a positioning and navigation system, but is an element of a geographic information system for displaying and searching for information with the ability to capture video and compare images.

Наиболее близким аналогом, по мнению заявителя, является способ автономной навигации беспилотных летательных аппаратов (см. RU2767477 , опубл. 17.03.2022) (2), который заключается в том, что эталонные и рабочие изображения получают с помощью оптико-электронных систем в инфракрасном диапазоне. Эталонные изображения подготавливают на основе тепловой модели местности путем решения прямой задачи радиационного теплопереноса с учетом плотности потока падающего солнечного излучения, температуры воздуха и высоты полета для заданных участков местности траектории полета и соответствующих периодов астрономического времени. Рабочие изображения регистрируют в процессе съемки в надир с помощью оптико-электронных систем в инфракрасном диапазоне. Полученные эталонные и рабочие инфракрасные изображения подвергают пороговой обработке, в результате которой формируют эталонные и рабочие матрицы опорных точек (контуров) объектов. Осуществляют расчет и находят максимум двумерной матрицы взаимокорреляционной функции, и оценивают географическое положение максимума взаимокорреляционной функции по эталонной матрице опорных точек (контуров). Используют данную оценку положения максимума взаимокорреляционной функции для автономной навигации беспилотных летательных аппаратов по данным измеренных значений курса, крена, тангажа и высоты беспилотного летательного аппарата. Технический результат - повышение точности определения навигационных параметров беспилотного летательного аппарата в условиях некорректной работы приемника глобальных систем спутниковой навигации.The closest analogue, according to the applicant, is the method of autonomous navigation of unmanned aerial vehicles (see RU2767477, published on March 17, 2022) (2), which consists in the fact that reference and working images are obtained using optical-electronic systems in the infrared range . Reference images are prepared on the basis of a thermal model of the terrain by solving the direct problem of radiative heat transfer, taking into account the flux density of incident solar radiation, air temperature and flight altitude for given terrain sections of the flight path and the corresponding periods of astronomical time. Working images are recorded during nadir shooting using optical-electronic systems in the infrared range. The resulting reference and working infrared images are subjected to threshold processing, as a result of which reference and working matrices of reference points (contours) of objects are formed. The calculation is carried out and the maximum of the two-dimensional matrix of the intercorrelation function is found, and the geographic position of the maximum of the intercorrelation function is estimated using the reference matrix of reference points (contours). This estimate of the position of the maximum of the intercorrelation function is used for autonomous navigation of unmanned aerial vehicles based on the measured values of the course, roll, pitch and altitude of the unmanned aerial vehicle. The technical result is to increase the accuracy of determining the navigation parameters of an unmanned aerial vehicle in conditions of incorrect operation of the receiver of global satellite navigation systems.

Наиболее близкий аналог (2) описывает автономную оптическую навигационную систему беспилотного летательного аппарата с использованием оптико-электронных систем в инфракрасном диапазоне. При этом съемка производится по подстилающей поверхности (камера направлена в надир) в инфракрасном диапазоне. The closest analogue (2) describes an autonomous optical navigation system of an unmanned aerial vehicle using optical-electronic systems in the infrared range. In this case, the shooting is carried out along the underlying surface (the camera is aimed at nadir) in the infrared range.

Отличие предлагаемой системы состоит в этой части в том, что исходные измерения производятся в оптическом диапазоне, обладающем меньшей контрастностью и большим количеством контурных точек и цветовых переходов, чем инфракрасная (тепловая съемка). Камера оптического диапазона строится вокруг светочувствительной матрицы соответствующего диапазона, которая отличается от инфракрасной камеры и формирует иной информационный поток. В итоге съемка камер разных диапазонов одного и того же ландшафта формируют различные картины, требующие разных эталонных карт и разной обработки. The difference between the proposed system in this part is that the initial measurements are made in the optical range, which has lower contrast and a larger number of contour points and color transitions than infrared (thermal photography). An optical range camera is built around a photosensitive matrix of the appropriate range, which differs from an infrared camera and generates a different information flow. As a result, shooting with cameras of different ranges of the same landscape produces different pictures that require different reference maps and different processing.

Следующее отличие – направление визирования камеры. В системе патента (2) направление визирования в надир, то есть строго вниз на подстилающую поверхность. В предлагаемой Системе обзор камеры всенаправленный – при движении по поверхности Земли круговой горизонтальный, к которому при движении в воздухе добавляется визирование с отрицательным тангажом и сканированием с широкой апертурой. Это позволяет использовать трехмерные карты и обрабатывать информационные указатели улиц методами технического зрения и распознавания текста нейронными сетями или корреляционными алгоритмами, что не предполагается в патенте (2). Видеозахват информационных указателей тепловыми или инфра-красными камерами невозможен в отличии от оптическим систем сканирования.The next difference is the camera's viewing direction. In the patent system (2), the direction of sight is at nadir, that is, strictly down to the underlying surface. In the proposed System, the camera view is omnidirectional - when moving on the surface of the Earth, it is circular horizontal, to which when moving in the air is added sighting with a negative pitch and scanning with a wide aperture. This allows the use of three-dimensional maps and processing of street signs using computer vision and text recognition methods using neural networks or correlation algorithms, which is not intended in the patent (2). Video capture of information signs with thermal or infrared cameras is impossible, unlike optical scanning systems.

Следующее отличие – картографическая основа систем. Система патента (2) использует двумерные тепловые проекции портрета подстилающей поверхности в виде дискретных пороговых контуров по уровням теплового следа. В предлагаемой Системе должны использоваться трехмерные карты оптической съемок панорам улиц, ландшафтов и иных объектов с контурными линиями и точками. В состав карт может быть включена база локальных информационных указателей типа дорожных, уличных или рекламных вывесок.The next difference is the cartographic basis of the systems. The patent system (2) uses two-dimensional thermal projections of a portrait of the underlying surface in the form of discrete threshold contours along the levels of the thermal trace. The proposed System should use three-dimensional maps of optical surveys of panoramas of streets, landscapes and other objects with contour lines and points. The maps may include a database of local information signs such as road, street or advertising signs.

Следующее отличие - методы позиционирования. Система патента (2) решает навигационную задачу в локальной декартовой системе координат. В предлагаемой системе привязка к локальной системе является промежуточным шагом, а финальное решение производится с привязкой к уличным адресам.The next difference is the positioning methods. The patent system (2) solves the navigation problem in a local Cartesian coordinate system. In the proposed system, binding to the local system is an intermediate step, and the final solution is made with reference to street addresses.

КРАТКОЕ ИЗЛОЖЕНИЕ ИЗОБРЕТЕНИЯSUMMARY OF THE INVENTION

Техническим результатом заявленного изобретения является повышение универсальности автономной оптической системы локального позиционирования и навигации.The technical result of the claimed invention is to increase the versatility of an autonomous optical system for local positioning and navigation.

Заявленный технический результат достигается посредством автономной оптической системы локального позиционирования и навигации, алгоритмы которой реализуются отдельными ветвями позиционирования и навигации. По первой ветви позиционирование осуществляется по адресным и информационным указателям, когда из полученного видеоизображения выделяется информация об уличных или рекламных указателях, средствами технического зрения надписи декодируются, распознаются и по базе данных оцениваются координаты или местоположение объекта. По второй ветви позиционирования целевая задача решается по снимку ландшафта без предварительной обработки. По третьей ветви позиционирования задача решается по контурным кадрам, в которой распознавание производится по отпечатку контурных точек и линий, выделенных из исходного изображения. В четвертую ветвь внесена задача навигации методом оптической одометрии, финальное решение позиционирования получается объединением полученных доступных решений соответствующих веток, после чего происходит объединение с навигационным решением при его наличии.The declared technical result is achieved through an autonomous optical system for local positioning and navigation, the algorithms of which are implemented by separate branches of positioning and navigation. In the first branch, positioning is carried out using address and information signs, when information about street or advertising signs is extracted from the received video image, the inscriptions are decoded using technical vision tools, recognized and the coordinates or location of the object are estimated from the database. According to the second branch of positioning, the target problem is solved using a landscape image without pre-processing. According to the third branch of positioning, the problem is solved using contour frames, in which recognition is carried out based on the imprint of contour points and lines extracted from the original image. The fourth branch includes the task of navigation using the optical odometry method, the final positioning solution is obtained by combining the obtained available solutions of the corresponding branches, after which it is combined with the navigation solution, if available.

В предпочтительном варианте выполнения система содержит видеокамеру, которая формирует цифровой видеопоток, который по высокоскоростному каналу поступает в модуль первичной обработки потока, модуль первичной обработки принимает информационный поток от видеокамеры и декодирует дискретные кадры видеоизображения, которые передаются на обработку в несколько модулей: модуль сопоставления видеокадров, модуль поиска информационных указателей, модуль первичной фильтрации контрастных контуров и блок интерфейсов внешних навигационных датчиков.In the preferred embodiment, the system contains a video camera that generates a digital video stream, which is supplied via a high-speed channel to the primary stream processing module. The primary processing module receives the information stream from the video camera and decodes discrete video frames, which are transmitted for processing to several modules: video frame matching module, a module for searching information signs, a module for primary filtering of contrasting contours and a block of interfaces for external navigation sensors.

В предпочтительном варианте выполнения система содержит модуль поиска информационных указателей, который предназначен для поиска информационных и рекламных табличек, указателей адресов и прочих идентификаторов, позволяющих локализовать область нахождения объекта или определить его точное местонахождение.In the preferred embodiment, the system contains a search module for information signs, which is designed to search for information and advertising signs, address signs and other identifiers that allow you to localize the area where an object is located or determine its exact location.

В предпочтительном варианте выполнения система содержит модуль адресной фильтрации, который предназначен для распознавания текстовых информационных и рекламных табличек, адресной информации методами корреляционного анализа или нейросетевыми технологиями, после чего происходит сопоставление с адресной информацией информационно-адресной базы данных.In the preferred embodiment, the system contains an address filtering module, which is designed to recognize text information and advertising signs, address information using correlation analysis methods or neural network technologies, after which it is compared with the address information of the information-address database.

В предпочтительном варианте выполнения система содержит модуль сопоставления видеокадров, который предназначен для позиционирования путем аналитического сравнения видеокадров с камеры системы и соответствующих кадров с базы локальных изображений, входными параметрами модуля являются кадры съемки видеокамеры и эталонные изображения базы данных. In the preferred embodiment, the system contains a video frame matching module, which is designed for positioning by analytically comparing video frames from the system camera and corresponding frames from the local image database; the input parameters of the module are video camera frames and reference images of the database.

В предпочтительном варианте исполнения система содержит модуль первичной фильтрации контрастных контуров, который предназначен для подготовки изображения к обработке. In the preferred embodiment, the system contains a module for primary filtering of contrast contours, which is designed to prepare the image for processing.

В предпочтительном варианте выполнения система содержит модуль сопоставления контурных кадров – математический аппарат позиционирования, связанный с оценкой местоположения объекта путем сопоставления рисунка контурных линий видеоизображения, полученного от модуля первичной фильтрации контрастных контуров, с изображением из базы данных, на выходе этого модуля получается расчетное местоположение на основе оценки статистических гипотез совпадения контуров эталонного снимка и наблюдаемого.In the preferred embodiment, the system contains a module for matching contour frames - a mathematical positioning apparatus associated with estimating the location of an object by comparing the pattern of contour lines of a video image received from the module for primary filtering of contrast contours with an image from the database; the output of this module is a calculated location based on assessment of statistical hypotheses for the coincidence of the contours of the reference image and the observed one.

В предпочтительном варианте выполнения система содержит модуль оптической одометрии, посредством которого производится реализация навигационного решения с оценкой координат и скорости по смещению наблюдаемого контурного изображения с элементами корреляционного анализа, на вход модуля поступает изображение, прошедшее первичную фильтрацию контрастных контуров, что существенно сокращает нагрузку на вычислительные мощности и размер используемой памяти. In the preferred embodiment, the system contains an optical odometry module, through which a navigation solution is implemented with the assessment of coordinates and speed based on the displacement of the observed contour image with elements of correlation analysis; the module input receives an image that has undergone primary filtering of contrast contours, which significantly reduces the load on computing power and the size of memory used.

В предпочтительном варианте выполнения система содержит модуль локализации препятствий предназначен для обнаружения и оконтуривания препятствий на пути следования объекта, препятствующих выполнения планового маршрута, на вход модуля подаются контурные изображения с камеры, из которых методами корреляционного анализа или искусственного интеллекта выявляют целостные препятствия и локализуют их местонахождения.In the preferred embodiment, the system contains an obstacle localization module designed to detect and delineate obstacles along the path of an object that impede the execution of the planned route; contour images from the camera are supplied to the input of the module, from which integral obstacles are identified using methods of correlation analysis or artificial intelligence and their locations are localized.

В предпочтительном варианте выполнения система содержит модуль интеграции мгновенных и одометрических решений, который предназначен для получения оптимальной взвешенной оценки автономной оптической системы, как решения задачи линейной оптимизации, на вход подаются статистически взвешенные оценки местоположения объекта одометрического решения и коррелированного решения мгновенных решений. In the preferred embodiment, the system contains a module for integrating instantaneous and odometric solutions, which is designed to obtain an optimal weighted estimate of an autonomous optical system as a solution to a linear optimization problem; statistically weighted estimates of the object location of the odometric solution and a correlated solution of instantaneous solutions are input.

В предпочтительном варианте выполнения система содержит модуль финальной навигационной обработки предназначен для статистической совместной обработки итогового решения оптической системы и измерений внешних навигационных датчиков при условии их доступности и модуль локализации и оптимального поиска изображений в базах данных, который предназначен для оптимизации поиска эталонных изображений в базах данных, при этом информационно-адресная база данных содержит индексированную информацию о локальных адресах и текстовых надписях с привязкой к географической основе, база локальных изображений содержит индексированные снимки панорам улиц, застройки, памятников и прочих визуальных ориентиров с привязкой к географической основе, эта информация предназначена для работы модуля сопоставления, база локальных электронных контуров содержит контурные линии и точки с трехмерной привязкой в географической системе координат, которые воспроизводят контрастные переходы фотографических изображений местности и предназначена для хранений эталонных контуров, используемых модулем сопоставления контурных кадров.In the preferred embodiment, the system contains a final navigation processing module designed for statistical joint processing of the final solution of the optical system and measurements of external navigation sensors, subject to their availability, and a localization and optimal image search module in databases, which is designed to optimize the search for reference images in databases, at the same time, the information-address database contains indexed information about local addresses and text inscriptions with reference to a geographic basis, the local image database contains indexed images of panoramas of streets, buildings, monuments and other visual landmarks with reference to a geographic basis, this information is intended for the operation of the module matching, the database of local electronic contours contains contour lines and points with three-dimensional reference in a geographic coordinate system, which reproduce contrasting transitions of photographic images of the area and is intended for storing reference contours used by the contour frame matching module.

В предпочтительном варианте выполнения система содержит модуль корреляции мгновенных решений, который предназначен для получения интегрированного решения всех модулей позиционирования.In a preferred embodiment, the system contains an instant decision correlation module, which is designed to obtain an integrated solution of all positioning modules.

В предпочтительном варианте выполнения система система может быть интегрирована с автопилотом роботизированных наземных транспортных средств, с навигационно-пилотажным комплексом беспилотных и пилотируемых летательных аппаратов самолетной или вертолетной (коптерной) схемы, с открытой навигационной системой.In a preferred embodiment, the system can be integrated with the autopilot of robotic ground vehicles, with the navigation and flight control system of unmanned and manned aircraft of an airplane or helicopter (copter) design, with an open navigation system.

КРАТКОЕ ОПИСАНИЕ РИСУНКОВBRIEF DESCRIPTION OF DRAWINGS

Сущность изобретения поясняется рисунками, на которых:The essence of the invention is illustrated by drawings in which:

рис.1 – изображен рабочий цикл автономной оптической системы локального позиционирования и навигации в режиме навигации;Fig. 1 – shows the working cycle of an autonomous optical system for local positioning and navigation in navigation mode;

рис.2 – изображена схема логики алгоритма автономной оптической системы локального позиционирования и навигации в режиме навигации.Fig. 2 – shows a diagram of the logic of the algorithm of the autonomous optical system for local positioning and navigation in navigation mode.

На рис.1: А - съемка и захват изображения, Б - получение измерений сопряженных датчиков (при наличии), В - обработка оптической и измерительной информации Системой, Г- выдача геолокационной информации пользователю.In Fig. 1: A - shooting and capturing an image, B - receiving measurements from associated sensors (if available), C - processing optical and measurement information by the System, D - issuing geolocation information to the user.

1 Камера;1 Camera;

2 Модуль первичной обработки потока;2 Primary flow processing module;

3 Модуль поиска информационных указателей;3 Information signs search module;

4 Модуль сопоставления видеокадров;4 Video frame matching module;

5 Модуль первичной фильтрации контрастных контуров;5 Module for primary filtering of contrast contours;

6 Блок интерфейсов внешних навигационных датчиков (ИНС; ГНСС приемник; магнетометр и др);6 Interface block for external navigation sensors (INS; GNSS receiver; magnetometer, etc.);

7 Модуль адресной фильтрации;7 Address filtering module;

8 Модуль сопоставления контурных кадров;8 Contour frame matching module;

9 Модуль оптической одометрии;9 Optical odometry module;

10 Модуль локализации препятствий;10 Obstacle localization module;

11 Модуль корреляции мгновенных решений;11 Instant decision correlation module;

12 Модуль интеграции мгновенных и одометрических решений;12 Module for integrating instantaneous and odometric solutions;

13 Модуль финальной навигационной обработки;13 Final navigation processing module;

14 Модуль локализации и оптимального поиска изображений в базах данных;14 Module for localization and optimal search of images in databases;

15 Информационно-адресная база данных;15 Information and address database;

16 База локальных изображений;16 Local image database;

17 База локальных электронных контуров;17 Database of local electronic circuits;

18 Человеко-машинный интерфейс: Ввод-вывод; Отображение навигационной информации; Прокладывание маршрута; Управление режимами.18 Human-machine interface: Input-output; Display of navigation information; Route planning; Mode management.

Эти рисунки не охватывают и, кроме того, не ограничивают весь объем вариантов реализации данного технического решения, а представляют собой только иллюстративный материал частного случая его реализации.These drawings do not cover and, moreover, do not limit the entire scope of implementation options for this technical solution, but represent only illustrative material of a particular case of its implementation.

ВАРИАНТ ОСУЩЕСТВЛЕНИЯ ИЗОБРЕТЕНИЯOPTION FOR IMPLEMENTATION OF THE INVENTION

Далее будет описан вариант выполнения автономной оптической системы локального позиционирования и навигации, который не ограничивает все варианты осуществления заявленного изобретения.Next, an embodiment of an autonomous optical system for local positioning and navigation will be described, which does not limit all embodiments of the claimed invention.

Под автономностью системы позиционирования понимается способность системы определять местоположение, ориентацию в пространстве и скорость движения объекта, а так же дальнейшее направление движение и маршрут относительно заданной картографической основы без использования внешних источников измерений или информационной поддержки в период навигационных определений. The autonomy of a positioning system is understood as the ability of the system to determine the location, orientation in space and speed of movement of an object, as well as the further direction of movement and route relative to a given cartographic base without the use of external measurement sources or information support during the period of navigation determinations.

В современных навигационных устройствах массового бытового и промышленного транспортного применения внешними источниками навигационных измерений являются специализированные радиодальномерные (в отдельных случаях угломерные) системы внешних операторов: спутниковой навигации (GPS/ГЛОНАСС и др.), сетей мобильной связи или локальных беспроводных сетей в режиме триангуляции, импульсно-фазовые радионавигационные системы и другие инфраструктурные объекты, обеспечивающие навигационные сервисы в локальной зоне или глобального характера. In modern navigation devices for mass household and industrial transport applications, external sources of navigation measurements are specialized radio rangefinder (in some cases goniometer) systems of external operators: satellite navigation (GPS/GLONASS, etc.), mobile communication networks or local wireless networks in triangulation mode, pulse -phase radio navigation systems and other infrastructure facilities that provide navigation services in a local area or of a global nature.

Внешними системами информационной поддержки являются геолокационные сервисы с использованием сети интернет или иных систем информационной поддержки, выдающие расчетные данные позиционирования по запросу пользователя в режиме реального или квазиреального времени. Автономная система навигации и позиционирования подразумевает решение целевой задачи без обращения к системам, перечисленным выше, а так же любым перспективным разработкам навигационных сервисов внешних поставщиков на период применения по целевому назначению.External information support systems are geolocation services using the Internet or other information support systems that provide calculated positioning data upon user request in real or quasi-real time. An autonomous navigation and positioning system implies solving the target problem without resorting to the systems listed above, as well as any promising developments of navigation services from external suppliers for the period of use for the intended purpose.

Под локальным позиционированием понимается способность Системы производить навигационные решения относительно заданной геодезической или картографической основы в заданной локальной зоне, ограниченной способностью Системы хранить и обрабатывать загруженные географические данные. Ограничение зоны связано с максимальным объемом носителя базы географических данных, скоростью обработки и доступностью данных для предварительной загрузки в автономный вычислитель.Local positioning refers to the ability of the System to make navigation decisions regarding a given geodetic or cartographic basis in a given local area, limited by the ability of the System to store and process downloaded geographic data. The zone limitation is related to the maximum storage capacity of the geographic database, processing speed and availability of data for pre-loading into the autonomous computer.

Таким образом, все операции определения геолокации объекта осуществляются автономно техническими средствами системы без использования сигналов внешних систем в основном режиме. Основным методом геолокации автономной системы является расчет геолокационных данных по видеоизображению от видеокамеры в режиме реального времени путем сличения видимого изображения с каталогом предварительно загруженных географических данных в локальную базу данных вычислительного устройства системы. Система может быть построена на базе вычислительного устройства смартфона, планшета, промышленного или персонального компьютера, или встроенного вычислителя транспортного средства, а так же устройств специального назначения – видеорегистраторов, одометров и навигаторов. В зависимости от типа вычислителя задача позиционирования решается техническим зрением методом корреляционной обработки или нейросетевым решением. Видеокамера может быть как совмещенная (встроенная) с вычислительным устройством, так и внешней с подключением высокоскоростного интерфейса.Thus, all operations of determining the geolocation of an object are carried out autonomously by the technical means of the system without using signals from external systems in the main mode. The main method of geolocation of an autonomous system is the calculation of geolocation data from a video image from a video camera in real time by comparing the visible image with a catalog of pre-loaded geographic data into the local database of the system's computing device. The system can be built on the basis of a computing device of a smartphone, tablet, industrial or personal computer, or a built-in computer of a vehicle, as well as special-purpose devices - video recorders, odometers and navigators. Depending on the type of computer, the positioning problem is solved by technical vision using the method of correlation processing or a neural network solution. The video camera can be either combined (built-in) with a computing device, or external with a high-speed interface connected.

Общий принцип и порядок функционирования автономной оптической системы локального позиционирования и навигацииGeneral principle and operating procedure of an autonomous optical system for local positioning and navigation

1. Подготовка системы к работе. На этом этапе производится проверка функционирования устройств и загрузка базы географических данных в вычислитель системы. База данных представляет собой упорядоченный набор геометрических элементов с картографической или геодезической привязкой, описывающих контурные линии, точки ландшафта, и визуальные ориентиры, достаточные для обеспечения однозначного позиционирования в локальной зоне с избыточностью, гарантирующей устойчивость решения.1. Preparing the system for operation. At this stage, the functioning of the devices is checked and the geographic database is loaded into the system computer. The database is an ordered set of geometric elements with cartographic or geodetic reference that describe contour lines, landscape points, and visual landmarks sufficient to provide unambiguous positioning in a local area with redundancy that guarantees the stability of the solution.

2. Режим мгновенной геолокации. Мгновенная геолокация используется при включении устройства или запуске Системы для получения одномоментного решения и производится или полным перебором образов базы географических данных и сличение с наблюдаемым видеоизображением, или вводом данных от внешнего источника пользователем или смежной системы навигации. При начальной привязке возможно мгновенное решение целевой задачи – вычисление координат и ориентации объекта.2. Instant geolocation mode. Instant geolocation is used when turning on the device or starting the System to obtain a one-time solution and is performed either by a complete search of images of the geographic database and comparison with the observed video image, or by data input from an external source by the user or an adjacent navigation system. With the initial binding, an instant solution to the target problem is possible - calculating the coordinates and orientation of the object.

3. Режим навигационного счисления. Навигационное счислением производится комбинированием цифровой одометрии (по сдвигу видеоизображения) с уточнением геолокации корреляционными или нейросетевыми методами сопоставления видеоизображений. Переход в режим навигации производится из режима мгновенной геолокации. При работе с одометрическими методами навигации существенно сокращается нагрузка на вычислитель и возможен расчет скоростных параметров навигации объекта.3. Dead reckoning mode. Navigation dead reckoning is performed by combining digital odometry (by video image shift) with geolocation refinement using correlation or neural network methods for comparing video images. The transition to navigation mode is made from instant geolocation mode. When working with odometric navigation methods, the load on the computer is significantly reduced and it is possible to calculate the speed parameters of object navigation.

4. Сглаживание решения. Этот шаг является опционным при комплексировании оптического канала измерений с инерциальными или магнитометрическими датчиками Системы при их наличии. Применение инерциальных и магнитометрических датчиков позволяет ускорить работу технического зрения и добиться более высокой точности навигации.4. Smoothing the solution. This step is optional when integrating the optical measurement channel with inertial or magnetometric sensors of the System, if available. The use of inertial and magnetometric sensors makes it possible to speed up technical vision and achieve higher navigation accuracy.

5. Дополнительные функции системы. К дополнительным функциям относятся прокладывание и перерасчет маршрута, локация препятствий и обнаружение опасностей на пути объекта, оповещение об обнаруженных препятствиях с использованием голосовых подсказок или визуальной и текстовой индикации. 5. Additional system functions. Additional functions include plotting and recalculating a route, locating obstacles and detecting dangers in the path of an object, notifying about detected obstacles using voice prompts or visual and text indications.

На рисунке 1 показан рабочий цикл Системы в режиме навигацииFigure 1 shows the work cycle of the System in navigation mode

Рис.1. Рабочий цикл Системы в режиме навигации.Fig.1. Operating cycle of the System in navigation mode.

Алгоритм функционирования системыSystem operation algorithm

Алгоритм функционирования Системы имплементирует шаги рабочего цикла. Основные его шаги описаны в предыдущем параграфе и составляют, стандартные шаги:The System operation algorithm implements the steps of the work cycle. Its main steps are described in the previous paragraph and constitute standard steps:

• получение измерений;• obtaining measurements;

• обработка;• treatment;

• отображение результата.• display of the result.

Таким образом, в состав системы должны входить соответствующие устройства измерений, обработки и отображения. Источником измерений является цифровая видеокамера оптического диапазона с цифровым детерминированным интерфейсом. Обработка производится вычислительными средствами в автономном режиме, используя функциональное программное обеспечение Системы. Отображение результата производится на экране устройства обработки или сопряженного дисплея с использованием цифровой карты ГИС.Therefore, the system must include appropriate measurement, processing and display devices. The measurement source is a digital optical video camera with a digital deterministic interface. Processing is carried out by computing means in an offline mode, using the functional software of the System. The result is displayed on the screen of a processing device or an associated display using a digital GIS map.

Общая логика навигации и позиционирования системы выглядит следующим образом: видеоизображение после предварительной обработки поступает на три расчетные ветки позиционирования и одну ветку навигации. При этом в зависимости от возможности аппаратной платформы и целевого назначения, а так же наличия исходных баз данных некоторые ветви алгоритма могут быть отключены или не задействованы в решении целевой задачи.The general logic of navigation and positioning of the system is as follows: the video image, after pre-processing, is sent to three calculated positioning branches and one navigation branch. Moreover, depending on the capabilities of the hardware platform and the intended purpose, as well as the availability of source databases, some branches of the algorithm may be disabled or not involved in solving the target problem.

Первая ветвь – позиционирование по адресным и информационным указателям, когда из полученного видеоизображения выделяется информация об уличных или рекламных указателях, средствами технического зрения надписи декодируются, распознаются и по базе данных оцениваются координаты или местоположение объекта. В этом режиме позиционирование производится по однократному снимку окружающей обстановки или последовательно от точки к точке.The first branch is positioning using address and information signs, when information about street or advertising signs is extracted from the received video image, the inscriptions are decoded using technical vision tools, recognized and the coordinates or location of the object are estimated from the database. In this mode, positioning is performed using a single image of the surrounding environment or sequentially from point to point.

Вторая ветвь – позиционирование по снимку ландшафта без предварительной обработки. Значимыми ориентирами являются панорамы улиц, промышленных объектов, природные ландшафты, памятники, объекты архитектуры и другие, обладающие уникальностью изображения. Такие снимки обрабатываются алгоритмами технического зрения, в частности нейросетей, путем распознавания и сравнения с соответствующей базой данных.The second branch is positioning based on a landscape image without pre-processing. Significant landmarks are panoramas of streets, industrial facilities, natural landscapes, monuments, architectural objects and others that have a unique image. Such images are processed by technical vision algorithms, in particular neural networks, by recognition and comparison with the corresponding database.

Третья ветвь – позиционирование контурным кадрам, по своему смыслу похожа на вторую ветвь, только распознавание производится не по исходному снимку, а по отпечатку контурных точек и линий, выделенных из исходного изображения. Исходное изображение преобразуется в набор геометрических примитивов, который сравнивается корреляционными или нейросетевыми методами машинного зрения с аналогичными снимками соответствующей базы данных. Отличие данного метода от метода, реализованного по необработанным снимкам – состоит в том, что это метод более производительный, требует меньшего размера исходной базы данных и обеспечивает более высокую точность позиционирования.The third branch - positioning to contour frames, is similar in meaning to the second branch, only recognition is made not from the original image, but from the imprint of contour points and lines extracted from the original image. The source image is converted into a set of geometric primitives, which is compared using correlation or neural network methods of computer vision with similar images of the corresponding database. The difference between this method and the method implemented using raw images is that this method is more productive, requires a smaller source database and provides higher positioning accuracy.

Четвертая ветвь – навигация методом оптической одометрии. Этот метод представляет собой рекуррентный алгоритм навигации по смещению наблюдаемых точек. Он не требует базы данных изображений, но нуждается в начальной привязке местоположения, которая может быть взята из решения позиционирования или от внешнего источника данных.The fourth branch is navigation using the optical odometry method. This method is a recurrent navigation algorithm based on the displacement of observed points. It does not require an image database, but does require an initial location reference, which can be taken from a positioning solution or from an external data source.

Финальное решение позиционирования получается объединением полученных доступных решений соответствующих веток, после чего происходит объединение с навигационным решением при его наличии. На основе полученного решения прокладывается и уточняется маршрут с учетом обнаруженных препятствий. После чего выдается на отображение интерфейса пользователя или речевое оповещение. При использовании системы в качестве персонального ассистента для людей с ограниченными возможностями, в частности плохим зрением, инструкции персонального ассистента, интегрированного с системой выдаются с пошаговой частотой и синтезируются с учетом ограниченных возможностей пользователя.The final positioning solution is obtained by combining the obtained available solutions of the corresponding branches, after which they are combined with the navigation solution, if available. Based on the solution obtained, the route is laid out and refined, taking into account the detected obstacles. After which the user interface or voice notification is displayed. When using the system as a personal assistant for people with disabilities, in particular low vision, instructions from the personal assistant integrated with the system are issued at a step-by-step frequency and are synthesized taking into account the user's limited capabilities.

Основным источником оперативной измерительной информации является видеокамера (1) из состава оборудования, как показано на рис.2. Видеокамера (1) формирует цифровой видеопоток, который по высокоскоростному каналу поступает в модуль первичной обработки потока (2). В зависимости от режима работы камеры в потоке поступают или одиночные кадры видеоизображения или полноценный последовательный динамичный видеопоток с автоматической последовательной сменой кадров. The main source of operational measurement information is the video camera (1) included in the equipment, as shown in Fig. 2. The video camera (1) generates a digital video stream, which enters the primary stream processing module (2) via a high-speed channel. Depending on the operating mode of the camera, either single frames of video images or a full sequential dynamic video stream with automatic sequential frame change are received in the stream.

Модуль первичной обработки (2) принимает информационный поток от видеокамеры и декодирует дискретные кадры видеоизображения. Эти кадры передаются на обработку в несколько модулей: модуль сопоставления видеокадров (4), модуль поиска информационных указателей (3) и модуль первичной фильтрации контрастных контуров (5). В зависимости от режима работы, задействованы могут быть не все перечисленные выше модули.The primary processing module (2) receives the information flow from the video camera and decodes discrete frames of the video image. These frames are transferred for processing to several modules: a video frame matching module (4), a search module for information signs (3) and a module for primary filtering of contrast contours (5). Depending on the operating mode, not all of the modules listed above may be used.

Навигация и позиционирование осуществляется несколькими основными режимами:Navigation and positioning is carried out in several main modes:

• режим одномоментного позиционирования. В этом режиме определение местоположения объекта производится по одномоментному снимку окружающего ландшафта. Одномоментное решение получается модулем корреляции мгновенных решений (11);• instantaneous positioning mode. In this mode, the location of an object is determined using a single snapshot of the surrounding landscape. The instantaneous solution is obtained by the instantaneous solutions correlation module (11);

• режим последовательного позиционирования. В этом режиме последовательно решается задача одномоментного позиционирования по запросу пользователя или по заданному расписанию;• sequential positioning mode. In this mode, the task of simultaneous positioning is sequentially solved at the user’s request or according to a given schedule;

• режим навигационного счисления. В этом режиме основным вычислительным модулем является модуль оптической одометрии (9). Это режим возможен только при непрерывной видеосъемке. Для одометрического счисления требуется начальное навигационное приближение, которое получается или от режима одномоментного позиционирования или от внешнего навигационного датчика.• dead reckoning mode. In this mode, the main computing module is the optical odometry module (9). This mode is only possible during continuous video recording. Oedometric dead reckoning requires an initial navigation approximation, which is obtained either from the instantaneous positioning mode or from an external navigation sensor.

Модуль поиска информационных указателей (3) предназначен для поиска информационных и рекламных табличек, указателей адресов и прочих идентификаторов, позволяющих локализовать область нахождения объекта или определить его точное местонахождение. Этот модуль может быть задействован только при наличии информационно-адресной базы данных и присутствует только если в системе реализуется режим навигации по информационным указателям. Этот модуль не производит непосредственно считывание адресной информации, а только локализует на изображении ее возможное размещение. Обнаруженные адресные информационные указатели поступают в модуль адресной фильтрации (7).The information sign search module (3) is designed to search for information and advertising signs, address signs and other identifiers that allow you to localize the area where an object is located or determine its exact location. This module can only be used if there is an information-address database and is present only if the system implements the navigation mode using information signs. This module does not directly read address information, but only localizes its possible location in the image. The detected address information indicators are sent to the address filtering module (7).

Модуль адресной фильтрации (7) предназначен для распознавания текстовых информационных и рекламных табличек, адресной информации методами корреляционного анализа или нейросетевыми технологиями, после чего происходит сопоставление с адресной информацией информационно-адресной базы данных.The address filtering module (7) is designed to recognize text information and advertising signs, address information using correlation analysis methods or neural network technologies, after which it is compared with the address information of the information-address database.

Модуль сопоставления видеокадров (8) предназначен для решения задачи позиционирования путем аналитического сравнения видеокадров с камеры системы и соответствующих кадров с базы локальных изображений. Сопоставление производится методами технического зрения, нейросетевыми технологиями. Результатом сравнения является статистическая оценка гипотез совпадения изображений, и при положительном принятии производится геометрический расчет местоположения объекта. Входными параметрами модуля являются кадры съемки видеокамеры и эталонные изображения базы данных. The video frame matching module (8) is designed to solve the positioning problem by analytically comparing video frames from the system camera and corresponding frames from the local image database. The comparison is made using technical vision methods and neural network technologies. The result of the comparison is a statistical assessment of the image matching hypotheses, and if accepted positively, a geometric calculation of the object's location is made. The input parameters of the module are video camera frames and reference images from the database.

Модуль первичной фильтрации (5) контрастных контуров предназначен для подготовки изображения к обработке. Любой снимок содержит контрастные контурные линии, и точки которые образуют уникальную комбинацию рисунка снятого кадра. Первичной фильтрацией устраняется избыточность обрабатываемой информацией и сокращается объем размещаемых данных, что обеспечивает значительный прирост быстродействия и увеличивает емкость базы данных. The primary filtering module (5) of contrast contours is designed to prepare the image for processing. Any photograph contains contrasting contour lines and dots that form a unique combination of the picture of the captured frame. Primary filtering eliminates the redundancy of processed information and reduces the volume of hosted data, which provides a significant increase in performance and increases the capacity of the database.

Модуль сопоставления контурных кадров (8) – математический аппарат позиционирования, связанный с оценкой местоположения объекта путем сопоставления рисунка контурных линий видеоизображения, полученного от модуля первичной фильтрации (5) контрастных контуров, с изображением из базы данных. Алгоритм реализован или на корреляционных методах или нейросетевым решением в зависимости от возможностей аппаратной и системной базы. На выходе этого модуля получается расчетное местоположение на основе оценки статистических гипотез совпадения контуров эталонного снимка и наблюдаемого.Contour frame matching module (8) is a mathematical positioning apparatus associated with estimating the location of an object by comparing the pattern of contour lines of a video image received from the primary filtering module (5) of contrasting contours with an image from the database. The algorithm is implemented either using correlation methods or a neural network solution, depending on the capabilities of the hardware and system base. The output of this module is the calculated location based on the assessment of statistical hypotheses for the coincidence of the contours of the reference image and the observed one.

Модуль оптической одометрии (9) – реализация навигационного решения с оценкой координат и скорости по смещению наблюдаемого контурного изображения с элементами корреляционного анализа. На вход модуля поступает изображение, прошедшее первичную фильтрацию контрастных контуров, что существенно сокращает нагрузку на вычислительные мощности и размер используемой памяти. Оптическая одометрия работает в рекуррентном цикле, требующем начальное приближение и непрерывное поступление входящих контурных изображений. В случае приостановки цикла алгоритм требует при очередном запуске реинициализации начального приближения. Начальным приближением может являться решение от модуля позиционирования или от внешнего источника, включая ручной ввод координат и углов ориентации.Optical odometry module (9) – implementation of a navigation solution with estimation of coordinates and speed based on the displacement of the observed contour image with elements of correlation analysis. The module input receives an image that has undergone primary filtering of contrast contours, which significantly reduces the load on computing power and the size of memory used. Optical odometry operates in a recurrent loop requiring an initial approximation and a continuous supply of incoming contour images. If the loop is paused, the algorithm requires reinitialization of the initial approximation at the next start. The initial approximation can be a solution from a positioning module or from an external source, including manual input of coordinates and orientation angles.

Модуль локализации препятствий (10) предназначен для обнаружения и оконтуривания препятствий на пути следования объекта, препятствующих выполнения планового маршрута. На вход модуля подаются контурные изображения с камеры, из которых методами корреляционного анализа или искусственного интеллекта выявляют целостные препятствия и локализуют их местонахождения. Далее при контроле выполнения маршрута происходит перерасчет в обход препятствия.The obstacle localization module (10) is designed to detect and delineate obstacles along the path of an object that impede the execution of the planned route. Contour images from the camera are supplied to the input of the module, from which integral obstacles are identified using methods of correlation analysis or artificial intelligence and their locations are localized. Then, when monitoring the route, a recalculation occurs to bypass the obstacle.

Модуль корреляции мгновенных решений (11) предназначен для получения интегрированного решения всех модулей позиционирования. В зависимости от конфигурации Системы, состав модулей позиционирования может быть различным, и если их больше одного, то требуется объединение этих решений в одно комбинированное. Комбинирование решение производится простейшим оптимальным фильтром.The instantaneous decision correlation module (11) is designed to obtain an integrated solution of all positioning modules. Depending on the System configuration, the composition of positioning modules may be different, and if there is more than one, then these solutions must be combined into one combined solution. Combining the solution is carried out by the simplest optimal filter.

Блок интерфейсов внешних навигационных датчиков (6). Система не является замкнутой алгоритмической и аппаратной структурой и допускает масштабирование, добавляя подключения с внешними навигационными датчиками, не являющимися структурными элементами системы. Эти интерфейсы обеспечивают информационный обмен, позволяющий улучшить обусловленность задачи за счет повышения избыточности данных, которые могут использоваться как для повышения точности и надежности интегрированного решения, так и для начальных приближений и статистического контроля целостности измерений и решений.Interface block for external navigation sensors (6). The system is not a closed algorithmic and hardware structure and can be scaled by adding connections with external navigation sensors that are not structural elements of the system. These interfaces provide information exchange that improves the conditionality of the problem by increasing data redundancy, which can be used both to improve the accuracy and reliability of the integrated solution, and for initial approximations and statistical control of the integrity of measurements and solutions.

Модуль интеграции мгновенных и одометрических решений (12) предназначен для получения оптимальной взвешенной оценки автономной оптической системы, как решения задачи линейной оптимизации. На вход подаются статистически взвешенные оценки местоположения объекта одометрического решения и коррелированного решения мгновенных решений. Это позволяет повысить точность и надежность навигационного решения, снижая вероятность выбросов и вырождения решений.The module for integrating instantaneous and odometric solutions (12) is designed to obtain an optimal weighted assessment of an autonomous optical system as a solution to a linear optimization problem. Statistically weighted estimates of the location of the object of the odometric solution and the correlated solution of instantaneous solutions are supplied as input. This allows you to increase the accuracy and reliability of the navigation solution, reducing the likelihood of outliers and degeneracy of solutions.

Модуль финальной навигационной обработки (13) предназначен для статистической совместной обработки итогового решения оптической системы и измерений внешних навигационных датчиков при условии их доступности. Такая обработка позволят уточнить и сгладить решение, исключить выбросы решений, повысить устойчивость решения относительно немоделируемых непрогнозируемых искажений и плохой обусловленности начальных условий.The final navigation processing module (13) is designed for statistical joint processing of the final solution of the optical system and measurements of external navigation sensors, subject to their availability. Such processing will make it possible to refine and smooth the solution, eliminate outliers of solutions, and increase the stability of the solution with respect to unmodeled, unpredictable distortions and poorly conditioned initial conditions.

Модуль локализации и оптимального поиска изображений (14) в базах данных предназначен для оптимизации поиска эталонных изображений в базах данных. Учитывая нагруженность алгоритмов оптической обработки изображений, полный перебор эталонной информации с последующей обработкой, приведет к большим задержкам цикла обработки. Этот модуль осуществляет поиск по прогнозу местоположения, расширяя область поиска в базе данных до обнаружения эталонного изображения. The module for localization and optimal search of images (14) in databases is designed to optimize the search for reference images in databases. Considering the workload of optical image processing algorithms, a complete search of reference information with subsequent processing will lead to large delays in the processing cycle. This module searches the location prediction, expanding the database search to find a reference image.

Информационно-адресная база данных (15) содержит индексированную информацию о локальных адресах и текстовых надписях с привязкой к географической основе. По этим надписям Система может осуществлять грубое позиционирование по уличным указателям и рекламным надписям. Эта база данных предназначена для работы модуля адресной фильтрации.The information-address database (15) contains indexed information about local addresses and text labels with reference to a geographic basis. Using these inscriptions, the System can carry out rough positioning based on street signs and advertising inscriptions. This database is intended for the address filtering module.

База локальных изображений (16) содержит индексированные снимки панорам улиц, застройки, памятников и прочих визуальных ориентиров с привязкой к географической основе. Эта информация предназначена для работы модуля сопоставления видеокадров.The local image database (16) contains indexed images of panoramas of streets, buildings, monuments and other visual landmarks with reference to a geographic basis. This information is intended for the operation of the video frame matching module.

База локальных электронных контуров (17) содержит контурные линии и точки с трехмерной привязкой в географической системе координат, которые воспроизводят контрастные переходы фотографических изображений местности. Эта база предназначена для хранений эталонных контуров, используемых модулем сопоставления контурных кадров.The database of local electronic contours (17) contains contour lines and points with three-dimensional reference in a geographic coordinate system that reproduce contrasting transitions in photographic images of the area. This database is intended for storing reference contours used by the contour frame matching module.

Человеко-машинный интерфейс (18) являет собой графическую оболочку для управления режимами, подготовки Системы к работе и отображения и оповещения пользователя о текущей навигационной обстановке. К управлению режимами относится выбор методов позиционирования и сопряженных устройств, прокладка маршрута, управление работой отображения и голосового ассистента. Подготовка системы к работе сводится к загрузке картографической информации, проверке целостности данных и готовности изделия к работе в целом. Оповещение пользователя о текущей навигационной обстановке производится как в графическом режиме с отображением картографической основы, проложенного маршрута, так и с использованием голосового ассистента, сообщающего текущее местоположение пользователя и оповещающего о направлении движении по маршруту и возможных препятствиях или особых ситуациях на пути.The human-machine interface (18) is a graphical shell for controlling modes, preparing the System for operation and displaying and notifying the user about the current navigation situation. Mode management includes the choice of positioning methods and paired devices, routing, control of the display and voice assistant. Preparing the system for operation comes down to loading cartographic information, checking the integrity of the data and the readiness of the product for operation as a whole. The user is notified about the current navigation situation both in graphical mode with the display of the cartographic basis, the laid route, and using a voice assistant that reports the user’s current location and notifies about the direction of movement along the route and possible obstacles or special situations along the way.

ПРОМЫШЛЕННОЕ ПРИМЕНЕНИЕINDUSTRIAL APPLICATION

Область применения данной автономной оптической системы локального позиционирования и навигации, – персональная и транспортная навигация при передвижении в условиях городской застройки, урбанизированных районах и ландшафтных зонах с визуальными ориентирами. Отдельным приложением является персональный электронный ассистент для людей с ограниченными возможностями, в том числе плохим зрением, когда система не только обеспечивает локацию объекта, но и предупреждения о препятствиях на пути. Система может быть интегрирована как с автопилотом роботизированных наземных транспортных средств и, в перспективе, навигационно-пилотажным комплексом беспилотных и пилотируемых летательных аппаратов самолетной или вертолетной (коптерной) схемы, так и с открытой навигационной системой, образуя обеспечивая дополнительный поток навигационной и ситуационной информации.The scope of application of this autonomous optical system for local positioning and navigation is personal and transport navigation when moving in urban areas, urbanized areas and landscape areas with visual landmarks. A separate application is a personal electronic assistant for people with disabilities, including poor vision, when the system not only provides object location, but also warnings about obstacles along the way. The system can be integrated both with the autopilot of robotic ground vehicles and, in the future, with the navigation and flight control complex of unmanned and manned aircraft of an airplane or helicopter (copter) design, as well as with an open navigation system, forming an additional flow of navigation and situational information.

Claims

1. Autonomous optical system for local positioning and navigation, containing a video camera that generates a digital video stream, which via a high-speed channel enters the primary stream processing module, decoding discrete video frames and transmitting video images for processing to the video frame matching module, the primary filtering module for contrast contours and the interface block external navigation sensors, wherein the system contains an optical odometry module connected to a module for primary filtering of contrast contours, an obstacle localization module connected to a video camera, a final navigation processing module, and designed to integrate with the autopilot of robotic ground vehicles, with the navigation and flight control system of unmanned aerial vehicles and manned aircraft of an airplane or helicopter design, with an open navigation system, as well as with the possibility of implementing the first branch of positioning using address and information signs, the second branch of positioning using a landscape image without pre-processing, the third branch of positioning using contour frames, the fourth branch of navigation using the optical method odometry, as well as combining the obtained available solutions of the corresponding positioning branches with the navigation solution.

2. Autonomous optical system according to claim 1, characterized in that it contains a search module for information signs, connected to a primary flow processing module and designed to search for information and advertising signs, address signs, allowing you to localize the area where an object is located or determine its exact location.

3. Autonomous optical system according to any of claims 1, 2, characterized in that it contains an address filtering module connected to a search module for information signs and designed for recognition of text information and advertising signs, address information using correlation analysis methods or neural network technologies, and comparison with address information from the information and address database.

4. Autonomous optical system according to any one of claims 1, 2, characterized in that it contains a contour frame matching module connected to a primary filtering module for contrast contours and providing an assessment of the location of the object by comparing the pattern of contour lines of the video image received from the primary filtering module for contrast contours , with an image from the database.

5. Autonomous optical system according to any one of claims 1, 2, characterized in that it contains an integration module for instantaneous and odometric decisions, connected to an optical odometry module and designed to obtain an optimal weighted estimate of the autonomous optical system, the input of which is provided with statistically weighted location estimates object.

6. Autonomous optical system according to any of claims 1, 2, characterized in that it contains a module for localization and optimal image search, connected to an information-address database, which includes indexed information about local addresses and text labels with reference to a geographic basis, with a database of local images, including indexed photographs of panoramas of streets, buildings, monuments with reference to a geographical basis, with a database of local electronic contours, including contour lines and points with three-dimensional reference in a geographic coordinate system that reproduce contrasting transitions of photographic images of the area, and intended for storing reference contours for the contour frame matching module.

7. Autonomous optical system according to any of the previous paragraphs, characterized in that it contains an instantaneous decision correlation module connected to an integration module for instantaneous and odometric decisions and designed to obtain an integrated solution of all positioning modules.