WO2022245245A1 - Способ позиционирования наземного транспортного средства - Google Patents

Способ позиционирования наземного транспортного средства Download PDF

Info

Publication number
WO2022245245A1
WO2022245245A1 PCT/RU2021/000488 RU2021000488W WO2022245245A1 WO 2022245245 A1 WO2022245245 A1 WO 2022245245A1 RU 2021000488 W RU2021000488 W RU 2021000488W WO 2022245245 A1 WO2022245245 A1 WO 2022245245A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
hypothesis
particle
map
probability
Prior art date
Application number
PCT/RU2021/000488
Other languages
English (en)
French (fr)
Inventor
Владислав Игоревич КИБАЛОВ
Анатолий Евгеньевич КАБАКОВ
Олег Сергеевич ШИПИТЬКО
Original Assignee
Общество с ограниченной ответственностью "ЭвоКарго"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "ЭвоКарго" filed Critical Общество с ограниченной ответственностью "ЭвоКарго"
Priority to EP21940962.0A priority Critical patent/EP4343720A1/en
Publication of WO2022245245A1 publication Critical patent/WO2022245245A1/ru

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/28—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network with correlation of data from several navigational instruments
    • G01C21/30—Map- or contour-matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image

Definitions

  • the invention relates to the field of navigation, namely, methods for autonomous positioning of ground vehicles (TC), including automated mobile systems.
  • TC ground vehicles
  • a method for estimating the position/orientation of a moving object is known (patent JP5867176), in which a three-dimensional map with objects of the environment in which the vehicle is moving is loaded into the memory of the on-board computer, images from cameras installed on the vehicle are received on the on-board computer in the process of movement, they are processed the obtained images with the selection of environmental objects, evaluate the movement and orientation in space of the vehicle in time on the basis of information received from onboard sensors (for example, odometry, GPS receiver), a set of particles-hypotheses about the spatial position of the vehicle is initialized and each of the particles is moved in accordance with the readings of onboard sensors, the probability of each particle is estimated in accordance with a probabilistic model based on comparison of an a priori three-dimensional map with camera images with selected environmental objects.
  • onboard sensors for example, odometry, GPS receiver
  • a known method for determining the position of a vehicle, which includes the steps of loading and storing a data set of environmental objects into the on-board computer of the vehicle, while the vehicle is moving, data on environmental objects are obtained from the cameras, the presence of the observed object in the environmental data set is determined using artificial neural network (ANN), estimate the movement and orientation in space of the vehicle in time based on information received from on-board sensors (odometry, inertial navigation system, GNSS), determine the location and orientation of the vehicle using a particle filter algorithm, the implementation of which initializes a set of particles - hypotheses about the position of the vehicle in the initial position and move each particle in accordance with the readings of the onboard sensors, estimate the probability of each hypothesis particle from the initialized set using a probabilistic model, taking into account the results of detecting the observed object a landmark in the environmental feature dataset.
  • ANN artificial neural network
  • GNSS inertial navigation system
  • the common disadvantages for the presented methods of positioning autonomous vehicles is that the probability estimation models implemented in them for each hypothesis particle do not evaluate the reliability of information about the position of the vehicle in space, which the hypothesis particles contain, based on the selected linear objects. from camera images, taking into account the restricted area for the vehicle, are characterized by the initialization of a large number of particles-hypotheses about the position of the vehicle, which leads to an increase in the error in the localization of the vehicle, reduces the reliability and stability of the positioning systems within which the method is implemented, impose more stringent requirements on computational power of positioning systems.
  • the task to be solved by the claimed invention is to create a method for positioning autonomous ground vehicles (TS) using the particle filter method based on the formation of a plurality of particles - hypotheses containing probabilistic information about the position of the vehicle, with the possibility of their subsequent movements in accordance with information about the distance traveled and the angular position of the vehicle, determined on the basis of indications received from onboard sensors, and an assessment of the current position of the vehicle based on determining the probability of each particle - the hypothesis about the position of the vehicle in space based on the comparison of a priori given map with linear objects with the current results of the identification of environmental objects, while evaluating the reliability of information about the position of the vehicle in space stored in each hypothesis particle.
  • TS autonomous ground vehicles
  • the technical result of the claimed invention is to increase the accuracy of determining the position of a ground vehicle in space while ensuring the speed and reliability of the implementation of the proposed method for positioning the vehicle.
  • the technical result of the claimed invention is achieved by implementing a method for positioning a ground vehicle, in which a map is formed in the form of images with linear objects located in the plane of the road along which the vehicle (V) is moving, the specified map is loaded into the memory of the onboard computer of the vehicle, in the process of movement
  • the on-board computer receives images from the cameras placed on the vehicle, processes the received images with selection of environmental objects, evaluates the movements and orientation in space of the vehicle in time based on information received from on-board sensors, evaluates the current position of the vehicle in space using the implementation of the particle filter algorithm based on the formation of a set of particles-hypotheses about the position of the vehicle with the possibility of their subsequent movements, compare the selected environmental objects in the images from the cameras with the map loaded into the onboard computer and taking into account the position of each hypothesis particle, the probability of each hypothesis particle is estimated, after which they are resampled.
  • a feature of the proposed method is that a map with linear objects is formed with the selection of obstruction areas for the vehicle, and when implementing the particle filter algorithm, a set of particles-hypotheses about the position of the vehicle in the initial position before the start of movement are formed, sequential values of the vehicle coordinates are obtained from onboard sensors and the angle of rotation of the vehicle around the vertical axis with a difference in time, determine the relative coordinates of the location of the vehicle and the angle of rotation of the vehicle around the vertical axis as the difference between successive values of the readings coming from the onboard sensors on based on these indications, the distance traveled by the vehicle and the angular position are determined taking into account the kinematic model of the vehicle movement using additive Gaussian noise, based on the data obtained, information about the position of the vehicle is generated by moving each hypothesis particle in accordance with the measurements of onboard sensors, then the reliability of information about the position of the vehicle is evaluated taking into account the map and images received from the cameras, and evaluate the current position of the vehicle, determining how each particle-hypo
  • x (X t ,y t> Q t ) T ⁇ hypothesis about the position of the vehicle in space at time t, including the two-dimensional coordinates of the vehicle x t , y t and the angle of rotation around the vertical axis 9 t ; t - map data with linear objects located in the plane of the road and a marked zone of obstruction of the vehicle;
  • W gt is a function for estimating the error in identifying environmental objects from camera images, taking into account the probability of a false identification error;
  • w om t ⁇ function for estimating the probability of the vehicle being in an impassable zone, taking the value 1 if the position is passable and 0 otherwise;
  • N is the number of particles-hypotheses about the position of the vehicle, while the resulting estimate of the position of the vehicle is determined as the arithmetic average of all hypotheses after the resampling of the particles-hypotheses.
  • Resampling is understood as a stochastic process in which the hypothesis particles are transferred to a new sample, with a probability equal to the estimate of the probability of the hypothesis.
  • encoders placed on the wheels of the vehicle, an inertial navigation system and a GNSS receiver act as on-board sensors.
  • a map with linear objects is loaded into the on-board computer in vector format, and then converted to raster format before starting work.
  • Fig.1. a diagram of the autonomous vehicle positioning system is presented, on the basis of which the proposed method is implemented, where 1 - optical cameras, 2 - linear object identification module, 3 - localization module, 4 - digital map, 5 - module for assessing the distance traveled, 6 - encoders placed on wheels of the vehicle, 7 - inertial navigation system, 8 - on-board computer, 9 - GNSS.
  • the method is carried out as follows (figure 1).
  • the ground vehicle positioning method is designed to accurately position in space (on a plane) an autonomous ground vehicle moving, preferably inside enclosed spaces such as warehouses, industrial sites, etc. etc.
  • the method can be applied to locate wheeled and tracked robots, as well as other autonomous ground vehicles.
  • a digital map (4) is formed in the form of a multi-channel image with linear objects located in the plane of the road along which the vehicle (V) moves.
  • Linear objects applied to a digital map can be represented as road markings, road edges and other linear stationary objects in the road plane.
  • the digital map contains areas that characterize the zones of obstruction for the vehicle, which allows, when implementing the particle filter method, not to consider unlikely hypotheses about the position of the vehicle, thereby reducing their number and, consequently, the requirements for computing resources.
  • the specified digital map (4) is loaded into the memory of the onboard computer of the vehicle (8) in vector format, and then, before starting work, it is converted into a raster format by storing the specified map in the onboard computer of the vehicle (8) in the form of a bitmap multichannel image.
  • This method of storage makes it easy to edit and modify the map, obtain a raster map of arbitrary accuracy (scale), and add new a priori information about linear objects in the form of additional layers.
  • the on-board computer (8) receives images from optical cameras (1) placed on the vehicle, while the processing of the received images is carried out by the software module for identifying linear objects (2), designed to isolate (identify) environmental objects.
  • the movements and orientation in space of the vehicle in time during the movement are estimated based on the information obtained from the onboard sensors, presented in the form of encoders (6) placed on the wheels of the vehicle, the inertial navigation system (7) and the GNSS receiver (9).
  • GNSS GNSS serves only as a means support for vehicle localization.
  • this set of sensors cannot provide accurate positioning without additional correction, since the measurements of both types of sensors are subject to accumulation of errors during active operation, which is why the relative coordinates of the location of the vehicle and the angle of rotation of the vehicle around the vertical axis are determined as the difference between successive values indications of the indicated on-board sensors.
  • the current position of the vehicle in space, performed in the localization module (3), is estimated using a particle filter algorithm based on the formation of a set of hypotheses about the position of the vehicle in the initial position before the movement of the vehicle with the possibility of their subsequent movements in accordance with information about the distance traveled and the angular position of the vehicle (5), determined on the basis of readings obtained from onboard sensors (wheel encoders, inertial navigation system, GNSS) (6, 7, 9), and subsequent estimation of the probability of each hypothesis particle by comparing an a priori given digital map with linear objects (4 ) stored in the onboard computer of the vehicle (8), with identified environmental objects in the images (2) received from the optical cameras (1).
  • GNSS inertial navigation system
  • each hypothesis particle from the generated set contains probabilistic information about the position of the vehicle in space, which is data on the two-dimensional coordinates of the vehicle in the coordinate system associated with the digital map and the angle of rotation around the vertical axis (yaw angle) at the current moment time.
  • Information about the location of the vehicle and its angular position of each particle-hypothesis from the generated set is changed during the movement of the vehicle in accordance with the readings received from the onboard motion sensors (6, 7, 9).
  • the wheel encoders (6) From the wheel encoders (6) they receive indications about the number of revolutions of the wheels of the vehicle, according to the readings of which the coordinates of the position of the vehicle are determined by integration, from the inertial navigation system (7) they receive indications about the orientation of the vehicle (angles of roll, pitch and yaw), from the GNSS receiver (9 ) receive data on the coordinates of the location and speed of the vehicle.
  • Additive zero-mean Gaussian noise is applied to the position and orientation of each hypothesis particle to account for the noise of onboard sensor measurements.
  • the reliability of the probabilistic information about the position of the vehicle presented in each hypothesis particle from the generated set is evaluated, taking into account the map (4) loaded into the onboard computer (8) and the images received from the optical cameras (1).
  • the specified reliability assessment is performed taking into account the error in identifying environmental objects from images obtained from optical cameras, false errors of the indicated identification and estimation of the probability of the vehicle being in the zone restricted for its movement.
  • W gt is a function for estimating the error in identifying environmental objects from camera images, taking into account the probability of a false identification error;
  • w om t ⁇ function for estimating the probability of finding a vehicle in an impassable zone, taking the value 1 if the position is passable and 0 otherwise;
  • N the number of particles-hypotheses about the position of the vehicle.
  • the probability of each particle-hypothesis about the position of the vehicle is proportional to the intersection of linear objects plotted on a digital map and linear objects of the environment, recognized from images of optical cameras and converted to the coordinate system of a digital map, taking into account the current position of the particle.
  • the assessment of the reliability of information about the location of the vehicle (two-dimensional coordinates) and the angle of rotation of the vehicle around the vertical axis (yaw angle) at the current time is performed for each hypothesis particle that stores this information, taking into account the error in identifying environmental objects from images received from optical cameras , a false error of the indicated identification and an assessment of the probability of the vehicle being in a restricted area for its movement.
  • the identification error model is directly encoded into the digital map at the preliminary step of its preparation. It is assumed that the error has a Gaussian distribution with zero mathematical expectation over two-dimensional coordinates, for taking into account which a Gaussian blur is applied to a digital map of linear objects.
  • the root-mean-square deviation s in this case expresses the value of the expected error and must be experimentally determined for different algorithms for identifying environmental objects.
  • Estimation of a false error in the identification of linear objects is carried out to take into account possible situations when identification is performed in an image area that does not contain an image of a linear object in the environment.
  • the error probability of false positives is described by a uniform distribution.
  • the estimation of the error in identifying environmental objects from images received from cameras is performed based on the sum of the probabilistic error in identifying environmental objects distributed according to the normal law and a probabilistic error of false identification distributed according to a uniform law, while the coordinates from the coordinate system of the digital map are converted into the intensity value of the pixel corresponding to the given coordinates on the digital map.
  • the areas of vehicle obstruction plotted on a digital map provide the ability to highlight unreliable information about the position of the vehicle in space (two-dimensional coordinates of the vehicle and the angle of rotation of the vehicle around the vertical axis), which makes it possible to ignore unlikely hypotheses about the position of the vehicle.
  • a function is introduced to estimate the probability of the vehicle being in an impassable zone, which takes the value 1 if the location is passable for the vehicle for movement and 0 otherwise.
  • resampling is performed at the current stage - a stochastic process in which the hypothesis particles are transferred to a new sample, with a probability equal to the estimate of the hypothesis probability, while the total number of particles remains unchanged, only the probabilities of particles are not evaluated - hypotheses that fall into the zone of obstruction of the TS.
  • This process can be carried out by any known method from the prior art, for example, Resampling wheel (method "Sifting wheel”),
  • the proposed invention is a universal method for positioning autonomous ground vehicles, providing high accuracy in determining the location and angular position in the space of the vehicle with an increased processing speed of indications obtained from heterogeneous sources of navigation information, while achieving a stable and reliable implementation of the method on the vehicle without hard requirements for computing resources of the positioning system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Automation & Control Theory (AREA)
  • Geometry (AREA)
  • Navigation (AREA)

Abstract

Изобретение относится к области вычислительной техники для автономного позиционирования наземных транспортных средств. Задача изобретения направлена на повышение точности определения положения наземного транспортного средства в пространстве при обеспечении быстродействия и надежности реализации предлагаемого способа для позиционирования ТС. Способ включает в себя следующие этапы, на которых: формируют карту в виде изображений с линейными объектами, расположенными в плоскости дороги; загружают указанную карту в память бортового вычислителя ТС; в процессе движения ТС на бортовой вычислитель получают изображения от камер; обрабатывают полученные изображения с выделением объектов окружающей среды; оценивают перемещения и ориентацию в пространстве ТС; оценивают текущее положение транспортного средства в пространстве; сопоставляют выделенные объекты окружающей среды на изображениях от камер с загруженной в бортовой вычислитель картой с учетом положения каждой частицы-гипотезы; оценивают вероятность каждой частицы-гипотезы, после чего проводят их ресемплинг.

Description

Способ позиционирования наземного транспортного средства
Изобретение относится к области навигации, а именно способам автономного позиционирования наземных транспортных средств (ТС), в том числе автоматизированных мобильных систем.
В связи с тем, что количество автономных транспортных средств и робототехнических систем растет, задача позиционирования таких систем приобретает большую значимость. Точная оценка собственного положения в пространстве необходима для точного управления движением, планирования маршрута и обеспечения безопасности при эксплуатации автономных транспортных средств, предотвращая возможность возникновения столкновений.
Из данной области техники известны следующие технические решения.
Известен способ (патент RU 2621480), при котором загружают карту с объектами окружающей среды, в которой движется транспортное средство, в блок памяти транспортного средства, в процессе движения на бортовой вычислитель поступают изображения от камер, установленных на транспортном средстве, обрабатывают полученные изображения с выделением объектов окружающей среды (края), инициализируют множество частиц, которые являются предполагаемыми положениями и ориентациями движущегося тела с возможностью их последующих перемещений и преобразуют информацию о б объекте окружающей среды из данных карты для каждой частицы в виртуальное изображение, захватываемое из предполагаемого положения и ориентации, сравнивают изображение объекта и виртуальное изображение для каждой частицы, присваивают более высокое значение оценки, если имеется большее количество перекрывающихся краев между изображениями, а также присваивает более высокое значение оценки, если имеется большее количество краев, которые не являются перекрывающимися краями и для которых расстояние от края до края, которое представляет собой расстояние между краем в изображении края и краем в виртуальном изображении, меньше или равно заданному значению, оценивают положение движущегося тела на основе значения вероятности для каждой частицы.
Известен способ оценки положения/ориентации движущегося объекта (патент JP5867176), при котором в память бортового вычислителя загружают трехмерную карту с объектами окружающей среды, в которой движется транспортное средство, в процессе движения на бортовой вычислитель поступают изображения от камер, установленных на транспортном средстве, обрабатывают полученные изображения с выделением объектов окружающей среды, оценивают перемещения и ориентацию в пространстве ТС во времени на основе информации, полученной от бортовых датчиков (например, одометрия, GPS приемник), инициализируют множество частиц-гипотез о пространственном положении транспортном средстве и перемещают каждую из частиц в соответствии с показаниями бортовых датчиков, оценивают вероятность каждой частицы в соответствии с вероятностной моделью на основе сопоставления априорной трехмерной карты с изображениями камер с выделенными объектами окружающей среды.
Известен способ (WO2019092418) определения положения транспортного средства, включающий этапы загрузки и хранения набора данных объектов окружающей среды в бортовой вычислитель ТС, в процессе движения ТС с камер получают данные о объектах окружающей среды, определяют присутствие наблюдаемого объекта в наборе данных окружающей среды с применением искусственной нейроновой сети (ИНС), оценивают перемещения и ориентацию в пространстве ТС во времени на основе информации, полученной от бортовых датчиков (одометрия, инерциальная навигационная система, GNSS), определяют местоположение и ориентацию ТС с применением алгоритма фильтра частиц, при реализации которого инициализируют множество частиц-гипотез о положении транспортного средства в начальном положении и перемещают каждую частицу в соответствии с показаниями бортовых датчиков, оценивают вероятность каждой частицы- гипотезы из инициализированного множества с применением вероятностной модели с учетом результатов обнаружения наблюдаемого объекта-ориентира в наборе данных объектов окружающей среды.
Общими недостатками для представленных способов позиционирования автономных ТС, известных из уровня техники, является то, что реализованные в них модели оценки вероятности для каждой частицы-гипотезы не оценивают достоверность информации о положении ТС в пространстве, которую содержат частицы-гипотезы, на основе выделенных линейных объектов с изображений камер с учетом зоны ограниченного доступа для ТС, отличаются инициализацией большого количества частиц-гипотез о положении ТС, что ведет к увеличению ошибки локализации ТС, снижает надежность и стабильность работы систем позиционирования в рамках, которой реализуется способ, предъявляют более жесткие требования к вычислительным мощностям систем позиционирования.
Способ, раскрытый в источнике WO2019092418, по технической сущности является наиболее близким к заявляемому изобретению и может выступать в качестве прототипа.
Задачей, на решение которой направлено заявленное изобретение, является создание способа позиционирования автономных наземных транспортных средств (ТС) с применением метода фильтра частиц, основанного на формировании множества частиц- гипотез, содержащих вероятностную информацию о положении ТС, с возможностью их последующих перемещений в соответствии с информацией о пройденном пути и угловом положении ТС, определяемой на основе показаний, полученных от бортовых датчиков, и оценке текущего положения ТС на основе определения вероятности каждой частицы- гипотезы о положении ТС в пространстве на основе сопоставления априорно заданной карты с линейными объектами с текущими результатами идентификации объектов окружающей среды, оценивая при этом достоверность информации о положении ТС в пространстве, хранящейся в каждой частице-гипотезе.
Технический результат заявленного изобретения заключается в повышении точности определения положения наземного транспортного средства в пространстве при обеспечении быстродействия и надежности реализации предлагаемого способа для позиционирования ТС.
Технический результат заявленного изобретения достигается при реализации способа позиционирования наземного транспортного средства, при котором формируют карту в виде изображений с линейными объектами, расположенными в плоскости дороги, по которой движется транспортное средство (ТС), загружают указанную карту в память бортового вычислителя ТС, в процессе движения ТС на бортовой вычислитель поступают изображения от камер, размещаемых на ТС, обрабатывают полученные изображения с выделением объектов окружающей среды, оценивают перемещения и ориентацию в пространстве ТС во времени на основе информации, полученной от бортовых датчиков, оценивают текущее положение транспортного средства в пространстве с помощью реализации алгоритма фильтра частиц, основанного на формировании множества частиц- гипотез о положении транспортного средства с возможностью их последующих перемещений, сопоставляют выделенные объекты окружающей среды на изображениях от камер с загруженной в бортовой вычислитель картой с учетом положения каждой частицы- гипотезы, оценивают вероятность каждой частицы-гипотезы, после чего проводят их ресемплинг.
Особенностью предлагаемого способа является то, что карту с линейными объектами формируют с выделением областей непроходимости для ТС, а также при реализации алгоритма фильтра частиц формируют множество частиц-гипотез о положении ТС в начальном положении перед началом движения, от бортовых датчиков получают последовательные значения показаний координат ТС и угла поворота ТС вокруг вертикальной оси с разницей во времени, определяют относительные координаты местоположения ТС и угол поворота ТС вокруг вертикальной оси как разницу между последовательными значениями показаний, поступающих с бортовых датчиков, на основании данных показаний определяют пройденное расстояние ТС и угловое положение с учетом кинематической модели движения ТС с применением аддитивного Гауссового шума, на основании полученных данных формируют информацию о положении ТС перемещением каждой частицы-гипотезы в соответствии с измерениями бортовых датчиков, затем оценивают достоверность информации о положении ТС с учетом карты и изображений, полученных от камер, и оценивают текущее положение ТС, определяя насколько каждая частица-гипотеза о положении ТС соотносится с показаниями от бортовых датчиков в данный момент времени на основе определения вероятности каждой частицы-гипотезы по формуле:
Figure imgf000006_0001
где xt,rn) - вероятность каждой частицы-гипотезы о положении ТС в пространстве в момент времени t; zf = (z0, ... , zt ) -измерения бортовых датчиков в момент времени t; х = (Xt,yt> Q t)T~ гипотеза о положении ТС в пространстве в момент времени t, включающая двумерные координаты ТС xt, yt и угол поворота вокруг вертикальной оси 9t; т - данные карты с линейными объектами, расположенными в плоскости дороги и выделенной зоной непроходимости ТС;
Wgt -функция для оценки ошибки идентификации объектов окружающей среды с изображений камер с учетом вероятности ложной ошибки идентификации; womt~ функция для оценки вероятности нахождения ТС в непроходимой зоне, принимающая значение 1 , если положение проходимо и 0 — в противном случае; w” - оценка вероятности частицы-гипотезы из сформированного множества в момент времени t; h=1, ..., N - порядковый индекс частицы-гипотезы;
N - количество частиц-гипотез о положении ТС, при этом результирующую оценку положения ТС определяют как среднее арифметическое по всем гипотезам после проведения ресемплинга частиц-гипотез.
Под ресемплингом понимают стохастический процесс, при котором частицы- гипотезы переходят в новую выборку, с вероятностью равной оценке вероятности гипотезы.
В предпочтительном варианте осуществления заявленного способа, в качестве бортовых датчиков выступают энкодеры, размещаемые на колесах ТС, инерциальная навигационная система и GNSS приемник. В другом предпочтительном варианте осуществления заявленного способа, карту с линейными объектами загружают в бортовой вычислитель в векторном формате, а затем перед началом работы переводят в растровый формат.
Оценка достоверности информации о местоположении ТС (двумерные координаты) и угле поворота ТС вокруг вертикальной оси (угол рыскания) в текущий момент времени, выполняемой для каждой частицы-гипотезы, хранящей данную информацию, с учетом карты и изображений, получаемых от оптических камер при осуществлении их сопоставления с последующей оценкой текущего положения ТС на основе определения вероятности каждой частицы-гипотезы о положении ТС в пространстве из сформированного множества улучшает качество позиционирования автономного ТС в части повышения точности определения местоположения и углового положения ТС при достижении стабильности и надежности реализации предлагаемого способа в составе системы позиционирования на ТС.
К тому же предоставляется возможность анализа чувствительности осуществления предлагаемого способа в части влияния на ошибку локализации ТС таких факторов как, применяемые алгоритмы идентификации объектов окружающей среды с изображений камер, условия обстановки окружающей среды, маневры, выполняемые ТС.
На фиг.1. представлена схема системы позиционирования автономного ТС, на основе которой реализуется предлагаемый способ, где 1 - оптические камеры, 2 - модуль идентификации линейных объектов, 3 - модуль локализации, 4 - цифровая карта, 5 - модуль оценки пройденного пути, 6 - энкодеры, размещенные на колесах ТС, 7 - инерциальная навигационная система, 8 - бортовой вычислитель, 9 - GNSS.
Способ осуществляется следующим образом (фиг.1).
Способ позиционирования наземного транспортного средства предназначен для точного положения в пространстве (на плоскости) автономного наземного транспортного средства, выполняющего движение, предпочтительно, внутри закрытых помещений, таких как, склады, промышленные площадки, и. т. д.
Способ может быть применен для локализации колесных и гусеничных роботов, а также других автономных наземных транспортных средств.
На первом этапе реализации способа формируют цифровую карту (4) в виде многоканального изображения с линейными объектами, расположенными в плоскости дороги, по которой движется транспортное средство (ТС).
Линейные объекты, наносимые на цифровую карту, могут быть представлены в виде дорожной разметки, краев дороги и других линейных стационарных объектов в плоскости дороги. Кроме того, цифровая карта содержит области, характеризующие зоны непроходимости для ТС, что позволяет при реализации метода фильтра частиц не рассматривать маловероятные гипотезы о положении ТС, тем самым уменьшая их количество и, следовательно, требования к вычислительным ресурсам.
Указанную цифровую карту (4) загружают в память бортового вычислителя ТС (8) в векторном формате, а затем перед началом работы преобразуют в растровый формат, осуществляя хранение указанной карты в бортовом вычислителе ТС (8) в виде растрового многоканального изображения. Такой способ хранения позволяет легко редактировать и модифицировать карту, получать растровую карту произвольной точности (масштаба), а также добавлять новую априорную информацию о линейных объектах в виде дополнительных слоев.
В процессе движения ТС на бортовой вычислитель (8) поступают изображения от оптических камер (1), размещаемых на ТС, при этом обработка полученных изображений осуществляется программным модулем идентификации линейных объектов (2), предназначенного для выделения (идентификации) объектов окружающей среды.
Перемещения и ориентацию в пространстве ТС во времени в процессе движения оценивают на основе информации, полученной от бортовых датчиков, представленных в виде энко деров (6), размещаемых на колесах ТС, инерциальной навигационной системы (7) и GNSS приемника (9).
Принимаются во внимания условия эксплуатации ТС, так в случае пропадания сигнала от GNSS или его ошибки, которое возможно, например, в тоннелях, лесах, гаражах, закрытых помещениях, данный тип источника навигационной информации не принимается во внимание и, следовательно, GNSS служит только средством поддержки для локализации ТС.
Важно отметить, что данный набор датчиков не может обеспечить точное позиционирование без дополнительной коррекции, так как измерения обоих видов датчиков подвержены накоплению ошибок за время активной работы, по причине чего определяют относительные координаты местоположения ТС и угла поворота ТС вокруг вертикальной оси как разницу между последовательными значениями показаний указанных бортовых датчиков.
Текущее положение транспортного средства в пространстве, выполняемое в модуле локализации (3), оценивают с помощью применения алгоритма фильтра частиц, основанного на формировании множества частиц-гипотез о положении транспортного средства в начальном положении перед движением ТС с возможностью их последующих перемещений в соответствии с информацией о пройденном пути и угловом положении ТС (5), определяемой на основе показаний, полученных от бортовых датчиков (колесные энкодеры, инерциальная навигационная система, GNSS) (6, 7, 9), и последующей оценки вероятности каждой частицы-гипотезы посредством сопоставления априорно заданной цифровой карты с линейными объектами (4), хранящейся в бортовом вычислителе ТС (8), с идентифицированными объектами окружающей среды на изображениях (2), полученных от оптических камер (1).
В применении к задаче позиционирования ТС каждая частица-гипотеза из сформированного множества содержит вероятностную информацию о положении ТС в пространстве, представляющую собой данные о двумерных координатах ТС в системе координат, связанной с цифровой картой и угле поворота вокруг вертикальной оси (угол рыскания) в текущий момент времени.
Информацию о местоположении ТС и его угловом положении каждой частицы- гипотезы из сформированного множества изменяют в процессе движения ТС в соответствии с показаниями, получаемыми от бортовых датчиков движения (6, 7, 9).
От колесных энкодеров (6) получают показания о количестве оборотов колес ТС, по показаниям которых путем интегрирования определяют координаты положения ТС, от инерциальной навигационной системы (7) получают показания о ориентации ТС (углы крена, тангажа и рыскания), от GNSS приемника (9) получают данные о координатах местоположения и скорости ТС.
При этом, от указанных бортовых датчиков получают последовательные значения показаний двумерных координат ТС и угла поворота ТС вокруг вертикальной оси с разницей во времени, определяют относительные координаты местоположения ТС и угла поворота ТС вокруг вертикальной оси как разницу между последовательными значениями показаний указанных бортовых датчиков, на основании полученной информации определяют пройденный путь ТС и изменение угла поворота во времени с применением кинематической модели движения ТС, реализованной в модуле оценки пройденного пути (5).
Аддитивный Гауссов шум с нулевым средним значением применяется к позиции и ориентации каждой частицы-гипотезы для учета шума измерений бортовых датчиков.
Затем, оценивают достоверность вероятностной информации о положении ТС, представленной в каждой частице-гипотезе из сформированного множества, с учетом карты (4), загруженной в бортовой вычислитель (8), и изображений, полученных от оптических камер (1). Указанная оценка достоверности выполняется с учетом ошибки идентификации объектов окружающей среды с изображений, полученных от оптических камер, ложной ошибки указанной идентификации и оценки вероятности нахождения ТС в ограниченной для его передвижения зоны.
Вероятность каждой частицы-гипотезы из сформированного множества оценивают следующим образом:
Figure imgf000010_0001
где p(zf \ xt,rri) - вероятность каждой частицы-гипотезы о положении ТС в пространстве в момент времени t; zt = (z0, ... , zt ) -измерения бортовых датчиков в момент времени t; х1
Figure imgf000010_0002
положении ТС в пространстве в момент времени t, включающая двумерные координаты ТС xt, yt и угол поворота вокруг вертикальной оси 0t; m - данные карты с линейными объектами, расположенными в плоскости дороги и выделенной зоной непроходимости ТС;
Wgt -функция для оценки ошибки идентификации объектов окружающей среды с изображений камер с учетом вероятности ложной ошибки идентификации; womt~ функция для оценки вероятности нахождения ТС в непроходимой зоне, принимающая значение 1, если положение проходимо и 0 - в противном случае; w” - оценка вероятности частицы-гипотезы из сформированного множества в момент времени t; h=1, ..., N - порядковый индекс частицы-гипотезы;
N - количество частиц-гипотез о положении ТС.
Вероятность каждой частицы-гипотезы о положении ТС пропорциональна пересечению линейных объектов, нанесенных на цифровую карту и линейных объектов окружающей среды, распознанных с изображений оптических камер и преобразованных к системе координат цифровой карты с учетом текущего положения частицы.
Оценка достоверности информации о местоположении ТС (двумерные координаты) и угле поворота ТС вокруг вертикальной оси (угол рыскания) в текущий момент времени выполняется для каждой частицы-гипотезы, хранящей данную информацию, с учетом ошибки идентификации объектов окружающей среды с изображений, полученных от оптических камер, ложной ошибки указанной идентификации и оценки вероятности нахождения ТС в ограниченной для его передвижения.
Модель ошибки идентификации напрямую закодирована в цифровую карту на предварительном шаге ее подготовки. Предполагается, что ошибка имеет Гауссово распределение с нулевым математическим ожиданием по двумерным координатам, для учета которой к цифровой карте линейных объектов применяется Гауссово размытие. Среднеквадратичное отклонение s при этом выражает величину ожидаемой ошибки и должно быть экспериментально определено для разных алгоритмов идентификации объектов окружающей среды.
Оценка ложной ошибки идентификации линейных объектов осуществляется для учета возможной ситуаций, когда выполняется идентификация в области изображения, не содержащей образа линейного объекта окружающей среды. Вероятность ошибки ложных срабатываний описывается равномерным распределением.
Таким образом, для определения вероятности частицы-гипотезы о положении ТС в пространстве оценка ошибки идентификации объектов окружающей среды с изображений, получаемых от камер, с учетом совершения ложной идентификации указанных объектов выполняется на основе суммы вероятностной ошибки идентификации объектов окружающей среды, распределенной по нормальному закону и вероятностной ошибки ложной идентификации, распределенной по равномерному закону, при этом координаты из системы координат цифровой карты преобразуют в значение интенсивности пикселя, соответствующего данным координатам на цифровой карте.
Кроме того, нанесенные на цифровую карту участки непроходимости ТС, обеспечивают возможность выделять недостоверную информацию о положении ТС в пространстве (двумерные координаты ТС и угол поворота ТС вокруг вертикальной оси), что позволяет не принимать во внимание маловероятные гипотезы о положении ТС.
С данной целью вводят функцию для оценки вероятности нахождения ТС в непроходимой зоне, которая принимает значение 1, если для ТС местоположение проходимо для движения и 0 - в противном случае.
При этом, в случае выявленной недостоверной информации о положении ТС в пространстве оценка вероятности для данной частицы-гипотезы не проводится.
После оценки вероятности каждой частицы-гипотезы из сформированного множества на текущем этапе производят ресемплинг - стохастический процесс, при котором частицы-гипотезы переходят в новую выборку, с вероятностью равной оценке вероятности гипотезы, при этом общее число частиц остается неизменным, не оцениваются только вероятности частиц-гипотез, попадающих в зону непроходимости ТС.
Данный процесс может осуществлять любым известным способом из уровня техники, например, Resampling wheel (метод «Колесо отсева»),
Результирующую оценку положения ТС определяют как среднее арифметическое по всем гипотезам после проведения ресемплинга частиц-гипотез. Таким образом, предлагаемое изобретение представляет собой универсальных способ позиционирования автономных наземных транспортных средств, обеспечивающего высокую точность определения местоположения и углового положения в пространстве ТС с повышенной скоростью обработки показаний, получаемых от разнородных источников навигационной информации, при достижении стабильной и надежной реализации способа на ТС без жестких требований к вычислительным ресурсам системы позиционирования.

Claims

Формула изобретения
1. Способ позиционирования наземного транспортного средства, при котором формируют карту в виде изображений с линейными объектами, расположенными в плоскости дороги, по которой движется транспортное средство (ТС), загружают указанную карту в память бортового вычислителя ТС, в процессе движения ТС на бортовой вычислитель поступают изображения от камер, размещаемых на ТС, обрабатывают полученные изображения с выделением объектов окружающей среды, оценивают перемещения и ориентацию в пространстве ТС во времени на основе информации, полученной от бортовых датчиков, оценивают текущее положение транспортного средства в пространстве с помощью реализации алгоритма фильтра частиц, основанного на формировании множества частиц-гипотез о положении транспортного средства с возможностью их последующих перемещений, сопоставляют выделенные объекты окружающей среды на изображениях от камер с загруженной в бортовой вычислитель картой с учетом положения каждой частицы-гипотезы, оценивают вероятность каждой частицы-гипотезы, после чего проводят их ресемплинг, отличающийся тем что карту с линейными объектами формируют с выделением областей непроходимости для ТС, а также при реализации алгоритма фильтра частиц формируют множество частиц-гипотез о положении ТС в начальном положении перед началом движения, от бортовых датчиков получают последовательные значения показаний координат ТС и угла поворота ТС вокруг вертикальной оси с разницей во времени, определяют относительные координаты местоположения ТС и угол поворота ТС вокруг вертикальной оси как разницу между последовательными значениями показаний, поступающих с бортовых датчиков, на основании данных показаний определяют пройденное расстояние ТС и угловое положение с учетом кинематической модели движения ТС с применением аддитивного Гауссового шума, на основании полученных данных формируют информацию о положении ТС перемещением каждой частицы-гипотезы в соответствии с измерениями бортовых датчиков, затем оценивают достоверность информации о положении ТС с учетом карты и изображений, полученных от камер, и оценивают текущее положение ТС, определяя насколько каждая частица-гипотеза о положении ТС соотносится с показаниями от бортовых датчиков в данный момент времени на основе определения вероятности каждой частицы-гипотезы по формуле:
Figure imgf000013_0001
где р(дс I х1,т) - вероятность каждой частицы-гипотезы о положении ТС в пространстве в момент времени t; гг = (z0, ... , zt ) -измерения бортовых датчиков в момент времени t;
= (лгс, yt, ^t)r— гипотеза о положении ТС в пространстве в момент времени t, включающая двумерные координаты ТС xt, yt и угол поворота вокруг вертикальной оси Gt; т - данные карты с линейными объектами, расположенными в плоскости дороги и выделенной зоной непроходимости ТС; и/" -функция для оценки ошибки идентификации объектов окружающей среды с изображений камер с учетом вероятности ложной ошибки идентификации; womt ~ функция для оценки вероятности нахождения ТС в непроходимой зоне, принимающая значение 1 , если положение проходимо и 0 - в противном случае; w" - оценка вероятности частицы-гипотезы из сформированного множества в момент времени t; h=T, ..., N - порядковый индекс частицы-гипотезы;
N - количество частиц-гипотез о положении ТС, при этом результирующую оценку положения ТС определяют как среднее арифметическое по всем гипотезам после проведения ресемплинга частиц-гипотез.
2. Способ позиционирования наземного транспортного средства по п.1, отличающийся тем, что в качестве бортовых датчиков выступают энкодеры, размещаемые на колесах ТС, инерциальная навигационная система и GNSS приемник.
3. Способ позиционирования наземного транспортного средства по п.1, отличающийся тем, что карту с линейными объектами загружают в бортовой вычислитель в векторном формате, а затем перед началом работы переводят в растровый формат.
PCT/RU2021/000488 2021-05-18 2021-11-08 Способ позиционирования наземного транспортного средства WO2022245245A1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP21940962.0A EP4343720A1 (en) 2021-05-18 2021-11-08 Method of determining the position of a land vehicle

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2021114066A RU2769918C1 (ru) 2021-05-18 2021-05-18 Способ позиционирования наземного транспортного средства
RU2021114066 2021-05-18

Publications (1)

Publication Number Publication Date
WO2022245245A1 true WO2022245245A1 (ru) 2022-11-24

Family

ID=81076008

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2021/000488 WO2022245245A1 (ru) 2021-05-18 2021-11-08 Способ позиционирования наземного транспортного средства

Country Status (3)

Country Link
EP (1) EP4343720A1 (ru)
RU (1) RU2769918C1 (ru)
WO (1) WO2022245245A1 (ru)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013186551A (ja) * 2012-03-06 2013-09-19 Nissan Motor Co Ltd 移動物体位置姿勢推定装置及び方法
EP2662828A1 (en) * 2012-05-11 2013-11-13 Autoliv Development AB A vision system and method for a motor vehicle
RU2621480C1 (ru) 2013-11-13 2017-06-06 Ниссан Мотор Ко., Лтд. Устройство оценки положения движущегося тела и способ оценки положения движущегося тела
WO2019092418A1 (en) 2017-11-10 2019-05-16 Horiba Mira Limited Method of computer vision based localisation and navigation and system for performing the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013186551A (ja) * 2012-03-06 2013-09-19 Nissan Motor Co Ltd 移動物体位置姿勢推定装置及び方法
JP5867176B2 (ja) 2012-03-06 2016-02-24 日産自動車株式会社 移動物体位置姿勢推定装置及び方法
EP2662828A1 (en) * 2012-05-11 2013-11-13 Autoliv Development AB A vision system and method for a motor vehicle
RU2621480C1 (ru) 2013-11-13 2017-06-06 Ниссан Мотор Ко., Лтд. Устройство оценки положения движущегося тела и способ оценки положения движущегося тела
WO2019092418A1 (en) 2017-11-10 2019-05-16 Horiba Mira Limited Method of computer vision based localisation and navigation and system for performing the same

Also Published As

Publication number Publication date
EP4343720A1 (en) 2024-03-27
RU2769918C1 (ru) 2022-04-08

Similar Documents

Publication Publication Date Title
US11915099B2 (en) Information processing method, information processing apparatus, and recording medium for selecting sensing data serving as learning data
EP3637371B1 (en) Map data correcting method and device
US10788830B2 (en) Systems and methods for determining a vehicle position
US11527084B2 (en) Method and system for generating a bird's eye view bounding box associated with an object
TWI827649B (zh) 用於ｖｓｌａｍ比例估計的設備、系統和方法
US20200103920A1 (en) Stationary camera localization
EP3905213B1 (en) Positioning apparatus and moving body
EP4102327A1 (en) Position recognition method and position recognition system for vehicle
JP2022027593A (ja) 可移動機器の測位方法、装置及び可移動機器
CN113316706A (zh) 路标位置估计设备和方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质
US20240092485A1 (en) Method and algorithm for flight, movement, autonomy, in gps, communication, degraded, denied, obstructed non optimal environment
CN112240767A (zh) 车辆定位识别
CN114111774A (zh) 车辆的定位方法、系统、设备及计算机可读存储介质
CN114371484A (zh) 车辆定位方法、装置、计算机设备和存储介质
CN114694111A (zh) 车辆定位
CN113375679A (zh) 一种车道级定位方法、装置、系统和相关设备
RU2769918C1 (ru) Способ позиционирования наземного транспортного средства
US20200125111A1 (en) Moving body control apparatus
Yap et al. Landmark-based automated guided vehicle localization algorithm for warehouse application
US11827203B2 (en) Multi-degree-of-freedom pose for vehicle navigation
JP7179687B2 (ja) 障害物検知装置
WO2023017624A1 (en) Drive device, vehicle, and method for automated driving and/or assisted driving
US20230154313A1 (en) Sensor localization
US11532098B2 (en) Determining multi-degree-of-freedom pose to navigate a vehicle
US20230136871A1 (en) Camera calibration

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21940962

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2021940962

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021940962

Country of ref document: EP

Effective date: 20231218