RU2662913C2 - Способ локализации робота в плоскости локализации - Google Patents
Способ локализации робота в плоскости локализации Download PDFInfo
- Publication number
- RU2662913C2 RU2662913C2 RU2016143549A RU2016143549A RU2662913C2 RU 2662913 C2 RU2662913 C2 RU 2662913C2 RU 2016143549 A RU2016143549 A RU 2016143549A RU 2016143549 A RU2016143549 A RU 2016143549A RU 2662913 C2 RU2662913 C2 RU 2662913C2
- Authority
- RU
- Russia
- Prior art keywords
- robot
- orientation
- estimate
- glob
- determining
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 36
- 230000004807 localization Effects 0.000 title claims abstract description 31
- 238000009826 distribution Methods 0.000 claims abstract description 24
- 238000005516 engineering process Methods 0.000 claims abstract description 16
- 238000007476 Maximum Likelihood Methods 0.000 claims abstract description 4
- 230000033001 locomotion Effects 0.000 claims description 5
- 238000011156 evaluation Methods 0.000 abstract description 7
- 230000000694 effects Effects 0.000 abstract description 2
- 241000288105 Grus Species 0.000 abstract 1
- 239000000126 substance Substances 0.000 abstract 1
- 230000008569 process Effects 0.000 description 7
- 210000003414 extremity Anatomy 0.000 description 5
- 210000003128 head Anatomy 0.000 description 5
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000013507 mapping Methods 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000013459 approach Methods 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 210000005069 ears Anatomy 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 230000005355 Hall effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000007429 general method Methods 0.000 description 1
- GELKBWJHTRAYNV-UHFFFAOYSA-K lithium iron phosphate Chemical compound [Li+].[Fe+2].[O-]P([O-])([O-])=O GELKBWJHTRAYNV-UHFFFAOYSA-K 0.000 description 1
- 210000003141 lower extremity Anatomy 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000013707 sensory perception of sound Effects 0.000 description 1
- 239000002689 soil Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0272—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means comprising means for registering the travel distance, e.g. revolutions of wheels
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
- G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
- G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
- G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
- G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
Landscapes
- Engineering & Computer Science (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Manipulator (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Image Analysis (AREA)
- Navigation (AREA)
- Numerical Control (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Изобретение касается способа локализации человекоподобного робота в плоскости локализации, связанной с двумерным ориентиром с двумя осями x и y. Способ включает следующие этапы: определение (200) посредством одометрии оценки координат x1 и y1 робота, а также оценки его ориентации Ө1; определение (202) оценки Ө2 ориентации робота посредством использования виртуального компаса; определение (204) оценки Ө3 ориентации робота посредством корреляции частей опорной панорамы с частями панорамы запроса; определение (206) оценки x4, y4 положения робота посредством использования итерационной технологии ближайших точек; определение средних квадратичных отклонений σ_x1, σ_x2, σ_Ө1, σ_Ө2, σ_Ө3, σ_x4, σ_y4 упомянутых выше оценок; определение (220) распределений G(x1), G(y1), G(Ө1), G(Ө2), G(Ө3), G(x4) и G(y4) вероятностей каждой доступной оценки с использованием упомянутых средних квадратичных отклонений; определение (221) трех глобальных распределений GLOB(x), GLOB(y) и GLOB(Ө) и определение глобальной оценки xg, yg координат робота в плоскости локализации, а также глобальной оценки Өg его ориентации посредством применения максимального правдоподобия к глобальным распределениям. 3 н. и 4 з.п. ф-лы, 5 ил.
Description
Настоящее изобретение относится к способу для локализации робота в плоскости локализации и применимо, в частности, но не исключительно, к технологиям навигации и робототехнике.
Навигация и локализация является критической проблемой робототехники, так как это является существенным аспектом для взаимодействия между человеком и роботом. В населенной людьми среде, такой как квартира, эти вызовы даже более высоки из-за дополнительной сложности.
Человекоподобные роботы, из-за их аспекта и возможностей, особенно приспособлены к человеческим средам. Однако, они представляют специфические ограничения: ходьба делает их продвижение более медленным, менее предсказуемым, чем у колесных роботов, например.
Они способны компенсировать некоторые из их ограничений посредством выполнения действий, которые являются более трудными для стандартного робота, например, поворот головы для того, чтобы посмотреть вокруг, перешагивание через препятствие и т.д.
Уже существует несколько подходов для снабжения робота навигационной системой. Во французской заявке на патент № 1353295, был предложен способ измерения и коррекции отклонения робота в терминах угла направления движения. Это позволяет роботу ходить по прямой линии или выполнять повороты с гораздо более высокой точностью, чем точность ходьбы с незамкнутым контуром. Целью здесь является снабжение решения абсолютной локализации по меньшей мере качественной или частично метрической информацией.
Самым ценным датчиком робота является монокулярная цветная камера. Прямое выполнение метрической визуальной одновременной локализации и отображения на карте (Simultaneous Localization And Mapping - SLAM) не является хорошей идеей: одометрия не является достаточно надежной, и очень трудно точно отслеживать ключевые точки из-за размытости перемещения во время ходьбы, ограниченного поля обзора камеры и высоты робота. Это означает, что топологическое, качественное представление является более приспособленным, если мы не хотим компенсировать эти недостатки значительными гипотезами о среде, такими как предварительно построенная трехмерная карта.
Настоящее изобретение касается способа локализации робота в плоскости локализации, связанной с двумерным ориентиром с двумя осями x и y, содержащего следующие этапы:
- определение посредством одометрии оценки координат x1 и y1 робота в плоскости локализации, а также оценки его ориентации Ө1 относительно опорного направления;
- определение оценки Ө2 ориентации робота посредством использования виртуального компаса, который идентифицирует по меньшей мере две пары точек, представляющих интерес, причем первые точки каждой пары идентифицируются в опорной панораме, а вторые точки каждой пары идентифицируются в панораме запроса, причем этот этап инициализируется посредством Ө1;
- определение оценки Ө3 ориентации робота посредством корреляции частей опорной панорамы с частями панорамы запроса и посредством идентификации того, когда эта корреляция максимизируется, причем этот этап инициализируется одной из предыдущих оценок ориентации;
- определение оценки x4, y4 положения робота в плоскости локализации посредством использования итерационной технологии ближайших точек, причем этот этап инициализируется посредством x1 и y1;
- определение средних квадратичных отклонений σ_x1, σ_x2, σ_Ө1, σ_Ө2, σ_Ө3, σ_x4, σ_y4 упомянутых выше оценок;
- определение распределений G(x1), G(y1), G(Ө1), G(Ө2), G(Ө3), G(x4) и G(y4) вероятностей каждой доступной оценки с использованием упомянутых средних квадратичных отклонений;
- определение трех глобальных распределений GLOB(x), GLOB(y) и GLOB(Ө), соответственно, для координат вдоль оси х и y и для ориентации Ө робота посредством комбинирования упомянутых гауссовских распределений вероятностей, и определение глобальной оценки xg, yg координат робота в плоскости локализации, а также глобальной оценки Өg его ориентации посредством применения способа максимального правдоподобия к глобальным распределениям.
В качестве примера, оценки, обеспеченные одним этапом, используются последующим этапом, только если они считаются надежными.
В качестве примера, оценка считается надежной, когда ее среднее квадратичное отклонение является меньшим, чем предварительно заданный порог.
В качестве примера, распределения G(x1), G(y1), G(Ө1), G(Ө2), G(Ө3), G(x4) и G(y4) вероятностей являются гауссовскими распределениями вероятностей.
В качестве примера, глобальные распределения вероятностей выводятся следующим образом:
GLOB(x)=G(x1) × G(x4)
GLOB(y)=G(y1) × G(y4)
GLOB(Ө)=G(Ө1) × G(Ө2) × G(Ө3)
В качестве примера, значение Ө3 оценивается на основе совмещения образцов изображений, которое выполняется на двух пирамидах изображений, причем первая пирамида изображений генерируется из единственного опорного изображения посредством уменьшения его масштаба с использованием нескольких этапов масштабирования, причем вторая пирамида изображений генерируется из единственного изображения запроса посредством уменьшения его масштаба с использованием нескольких этапов масштабирования.
Настоящее изобретение также касается человекоподобного робота, содержащего по меньшей мере:
- по меньшей мере одно средство извлечения изображения;
- способности обработки, выполненные с возможностью реализации способа по одному из предыдущих пунктов.
В качестве примера, человекоподобный робот содержит двумерную RGB-камеру для построения панорамы запроса, содержащей по меньшей мере одно опорное изображение.
В качестве примера, человекоподобный робот содержит трехмерный датчик, который используется для вычисления облаков точек для реализации итерационной технологии ближайших точек.
Настоящее изобретение также касается компьютерного программного продукта, хранимого на машиночитаемом запоминающем носителе, содержащем кодовое средство для обеспечения реализации компьютером способа, описанного выше.
Лучшее понимание вариантов осуществления настоящего изобретения может быть получено из нижеследующего подробного описания в сочетании со следующими чертежами, в которых:
- Фиг. 1 дает пример опорной панорамы, которая может быть использована в качестве входных данных способа согласно настоящему изобретению;
- Фиг. 2 является иллюстрацией способа для локализации робота;
- Фиг. 3 показывает пример двух образцов, принадлежащих, соответственно, опорному изображению и изображению запроса;
- Фиг. 4 дает пример двух пирамид изображений;
- Фиг. 5 отображает физическую архитектуру человекоподобного робота в некотором количестве вариантов осуществления настоящего изобретения.
Фиг. 1 дает пример опорной панорамы, которая может использоваться в качестве входных данных способа согласно настоящему изобретению.
Как уже упоминалось, настоящее изобретение касается способа для локализации мобильного элемента, например, робота. Он локализует робота относительно по меньшей мере опорной панорамы 100, которая составлена из множества RGB (Red-Green-Blue - красный-зеленый-синий) изображений и/или трехмерных изображений.
Робот 104 расположен в горизонтальной плоскости благодаря двухосевому ориентиру 101, 102. Начало О координат этого ориентира соответствует центру опорной панорамы. Кроме того, ориентация Ө робота может быть оценена относительно опорного направления 103.
По меньшей мере панорама запроса также используется для процесса локализации и может быть составлена из меньшего множества изображений. Панорама запроса составлена по меньшей мере из одного изображения, захваченного во время процесса локализации.
Фиг. 2 является иллюстрацией способа согласно настоящему изобретению. Способ использует множество элементарных технологий локализации, соответствующих этапам 200, 202, 204, 206.
Ключевой аспект настоящего изобретения состоит в том, что использование этих технологий локализации организовано иерархически. Это означает, что менее сложная и менее надежная технология 200 локализации применяется первой. Последующие этапы 202, 204, 206 локализации являются тогда более сложными и надежными этапами.
Эта иерархическая организация позволяет уменьшить общую вычислительную сложность, а также ложную положительную скорость. С этой целью, оцениваемая информация о локализации, обеспечиваемая каждым этапом, используется для подачи к следующим этапам и используется в качестве предварительной гипотезы.
Оцениваемые данные локализации, обеспечиваемые каждым этапом, затем комбинируются с использованием общего способа, основанного на вероятностных представлениях.
Более точно, первый этап 200 оценки реализует локализацию, основанную на одометрии. Эта технология основана на датчиках положения робота, которые интегрируют перемещения робота для оценки его положения. Когда используется одна эта технология, она может быть подвержена большому отклонению оценки. Это обусловлено, главным образом, тем, что датчики одометрии не учитывают по умолчанию такие условия, как скользкие почвы или столкновения.
Результатами этой оценки 200 являются:
- x1: оценка координаты x локализации;
- y1: оценка координаты y локализации;
- Ө1: оценка угла Ө.
Когда эти промежуточные результаты становятся доступными, оценивают 201 их неопределенность. Для этой цели могут использоваться средние квадратичные отклонения σ_x1, σ_y1, σ_Ө1 оценок x1, y1 и Ө1. В предпочтительном варианте осуществления, оценка считается надежной, когда ее среднее квадратичное отклонение является меньшим, чем предварительно заданный порог.
В качестве примера, если отклонение (оцененное экспериментально) равно пяти процентам, и робот прошел один метр вдоль оси x, то среднее квадратичное отклонение вдоль оси x σ_x1 будет равно пяти сантиметрам. Если предварительно заданный порог равен шести сантиметрам, то оценка x1 считается надежной.
В одном варианте осуществления, x1, y1 и Ө1 передают для использования этапами 202, 204, 206, только если они считаются надежными.
Этап 202 реализует виртуальный компас, который обеспечивает оценку Ө2 ориентации робота. С этой целью, используют двумерную RGB-камеру, встроенную в робота.
Эта технология описана во французской заявке на патент № 1353295. С этой целью, одно или несколько изображений сравнивают с множеством опорных изображений (т.е. с опорной панорамой) для вычисления ориентации тета робота. Эта технология позволяет оценить угловое отклонение относительно опорного направления, так сказать, угол тета. С этой целью используют опорное изображение, соответствующее опорному направлению. Затем загружают текущее изображение, которое соответствует текущей ориентации робота.
Множество точек, представляющих интерес, затем идентифицируют в этих двух изображениях. Затем идентифицируют по меньшей мере две пары точек, представляющих интерес. Такую пару получают посредством поиска первой точки, представляющей интерес, идентифицированной в текущем изображении, и посредством поиска второй точки, представляющей интерес, в соответствующем ему опорном изображении. Наконец, угловое отклонение Ө2 между текущим направлением перемещающегося элемента и опорным направлением оценивают с использованием по меньшей мере двух пар точек.
Предпочтительно, если этап 202 применяют с предварительными гипотезами, которые были сгенерированы этапом 200, то этап 202 может быть использован с уменьшенным диапазоном поиска в опорном изображении, что снижает сложность оценки. Другим преимуществом является то, что затем можно быстрее найти корректное совмещение.
Кроме того, риск ложных совмещений между точками, представляющими интерес, является более низким. Поиск выполняют, начиная с упомянутых гипотез.
Неопределенность, которая вводится оценкой этапа 202, может быть выведена 203 из процента надежных совмещений. С этой целью, качество оценки, обеспеченной этапом 202, считается достаточным, когда число идентифицированных пар точек, представляющих интерес, превышает предварительно заданное значение порога. Если это имеет место, то качество оценки считается достаточным, и Ө2 будет использоваться в качестве предварительной гипотезы для применения этапа 204.
Альтернативно, среднее квадратичное отклонение σ_Ө2 Ө2 может быть использовано для проверки 203 надежности этой оценки. Как уже объяснялось, оценка может считаться надежной, когда ее среднее квадратичное отклонение является меньшим, чем предварительно заданный порог.
В одном варианте осуществления, Ө2 передают для использования этапом 204, 206, только если она считается надежной.
На этапе 204, значение Ө3 оценивают на основе совмещения образцов изображений, которое выполняют на двух пирамидах изображений. Совмещение образцов основано на тех же самых равенствах, что и равенства, описанные в статье Matsumoto, Y.; Inaba, M.; Inoue, H., озаглавленной "Visual navigation using view-sequenced route representation", Международная конференция по робототехнике и автоматизации IEEE, т. 1, с. 83,88, 22-28 апреля 1996 г. Однако эта конкретная статья работает над сравнением последовательностей изображений со сравнимыми масштабами, тогда как нижеследующее описание не делает предположения об относительных масштабах изображений и расстоянии между ними.
Для совмещения двух изображений, первые образцы 301 создают из опорного изображения 300, которое принадлежит опорной панораме. Затем вычисляют кросс-корреляцию между упомянутыми первыми образцами и вторыми образцами 303 в изображении 302 запроса. Максимальное значение соответствует наилучшей корреляции между изображением запроса и опорным изображением. Фиг. 3 показывает пример двух образцов 301, 303, принадлежащих, соответственно, опорному изображению 300 и изображению 302 запроса. В этом примере, образцы 300, 302 были совмещены, так как соответствующее им значение корреляции является максимальным значением, которое было получено посредством процесса корреляции.
В одном варианте осуществления, упомянутое выше сравнение между опорным изображением и изображением запроса выполняют на пирамиде масштабированных изображений. Это улучшает устойчивость этапа 204 при изменениях масштаба.
Фиг. 4 дает пример двух пирамид изображений. Первая пирамида 401 изображений сгенерирована из единственного опорного изображения 420 посредством уменьшения его масштаба с использованием нескольких этапов масштабирования, и каждое из изображений 420-428 сравнивают с исходным изображением 410 запроса. Если изображение 410 запроса фактически уменьшено по масштабу по сравнению с исходным изображением запроса, то будет наблюдаться высокий максимум корреляции в соответствующем этапе в пирамиде.
Симметрично, изображение 410 запроса уменьшают по масштабу 410-418 для получения второй пирамиды 400 изображений. Каждое изображение 410-418 затем сравнивают с опорным изображением 420. Если изображение 410 запроса увеличено по масштабу по сравнению с опорным изображением 420, то тогда будет наблюдаться максимум корреляции, соответствующий одному из уменьшенных по масштабу изображений 421-428.
Выбирают пару изображений, для которых значение корреляции максимизировано.
Выходными данными этапа 204 являются относительная ориентация Ө3 изображения запроса относительно опорного изображения и коэффициент наилучшего масштаба между ними.
Этап 204 использует часть опорной панорамы 100 в качестве образца. Если предварительная гипотеза обеспечена этапом 200 и/или этапом 202, то тогда размер образца ограничен вокруг гипотезы, в противном случае образец берут в качестве всей панорамы. Это снижает время вычисления, которое пропорционально площади образца, и риск корреляции с подобной, но все же некорректной зоной.
Неопределенность оценок, обеспеченных применением этапа 204, определяют 205 с использованием значения наилучшей корреляции. Значение корреляции может быть ограничено между -1 и 1. Если это значение максимальной корреляции является меньшим или равным предварительно заданному значению Ct, то оценка, обеспеченная применением этапа 204 не считается надежной. Если значение максимальной корреляции является большим, чем это предварительно заданное значение Ct, то оценка, обеспеченная применением этапа 204, считается надежной.
Альтернативно, среднее квадратичное отклонение σ_Ө3 Ө3 может быть использовано для проверки 205 надежности этой оценки. Как уже объяснялось, оценка может считаться надежной, когда ее среднее квадратичное отклонение является меньшим, чем предварительно заданный порог.
Затем, этап 206 выполняет оценку координат x4, y4 робота посредством использования итерационного способа ближайших точек (Iterative Closest Points - ICP). Этот способ описан, например, в статье Qi-Zhi Zhang и Ya-Li Zhou, озаглавленной "A hierarchical iterative closest point algorithm for simultaneous localization and mapping of mobile robot", 10-й мировой конгресс по интеллектуальному управлению и автоматизации (World Congress on Intelligent Control and Automation - WCICA), с. 3652, 3656, 6-8 июля 2012 года.
С этой целью трехмерный датчик вычисляет облака точек. Затем, для упрощения процесса извлекают линии из трехмерных облаков точек. Эти линии будут называться далее «сканированиями» и соответствуют горизонтальному сечению трехмерного облака точек.
Текущее положение робота оценивают посредством использования итерационного способа ближайших точек. ICP-способ является классическим подходом, который широко используется в робототехнике. Он состоит в перемещении сканирования запроса от начальной точки для его совмещения с опорным сканированием.
Неопределенность может быть выведена из Champfer расстояния опорного сканирования от конечного перемещенного сканирования запроса (которое зависит от расстояния от каждой точки сканирования запроса до ближайшей точки опорного сканирования).
Средние квадратичные отклонения σ_x4, σ_y4 x4, y4 могут быть использованы для проверки 207 надежности этой оценки. Как уже объяснялось, оценка может считаться надежной, когда ее среднее квадратичное отклонение является более меньшим, чем предварительно заданный порог.
Устойчивость и время сходимости ICP сильно зависит от начальной точки. Если этот алгоритм имеет надежные предварительные гипотезы, то он будет сходиться быстро и надежно. Если нет, то он может давать ложные совмещения. Если нет доступных гипотез, то элемент пытается построить гипотезу посредством совмещения распознаваемых форм из опорного сканирования в запросе, для получения первого приближения. Это приближение затем используется в качестве гипотезы. Способ согласно настоящему изобретению реализует ICP-этап 206 в качестве своего последнего этапа оценки. Другими словами, оценки 200, 202 и 204, которые выполняются раньше, имеют эффект обеспечения надежной гипотезы на входе этапа 206 и, следовательно, сильно снижают его вычислительные требования.
Этапы 200, 202, 204 и 206, взятые независимо, имеют свои собственные недостатки и слабости. Некоторые требуют предыдущую гипотезу для улучшения их скорости сходимости, или склонны к ложным положительным величинам. Большинство из них обеспечивает только частичную информацию. В качестве примера, этап 202 обеспечивает только оценку Ө2 ориентации робота.
В этом изобретении, этапы оценок упорядочены в предварительно заданном порядке. Этот предварительно заданный порядок спроектирован таким образом, что оценка одного этапа будет выгодной для этапов оценок, которые применяются впоследствии. Затем, частичные оценки, которые обеспечены упомянутыми выше этапами, комбинируют для генерации глобальной оценки.
Для каждого этапа в иерархии, оценки обеспечивают в качестве предварительной гипотезы для следующего этапа. Например, x1, y1 и Ө1, оцениваемые этапом 200, обеспечивают в качестве предварительной гипотезы для этапов 202, 204 и 206.
Посредством применения этапов 200, 202, 204 и 206 один за другим от наиболее простого и устойчивого этапа 200 до наиболее сложного и склонного к ошибкам этапа 206, улучшается глобальное время вычисления, а также устойчивость оценки.
Способ, которым упорядочены этапы 200, 202, 204 и 206, является существенным аспектом настоящего изобретения. Фактически, эта иерархия, а именно, то, как упорядочены этапы, была выбрана для минимизации времени вычисления и улучшения скорости достижения успеха каждого этапа. Однако, в одном варианте осуществления, оценки не передают 230, 231, 232, если они не считаются надежными.
Одометрия 200 является наименее сложным процессом и обеспечивает надежные выходные данные до тех пор, пока робота не толкнули или не переместили слишком сильно. Компас 202 является более медленным, но обеспечивает довольно быстрое и надежное вычисление ориентации робота и имеет выгоду от наличия начальной точки, обеспеченной одометрией 200. Этап 204 корреляции является трудным в отношении вычисления и склонности к ошибкам, если поиск выполняется в неверном направлении. Однако, эта технология имеет гораздо более высокую скорость достижения успеха, когда она использует гипотезы об ориентации, и является более точной, чем компас 202, если является успешной. Наконец, ICP 206 обеспечивает надежную оценку x-y, если сходимость имеет успех, что имеет место, если он имеет предварительные гипотезы, в частности, в ориентации.
Этапы 200, 202, 204, 206 дают свои выходные данные в форме оценок. Эти оценки могут быть преобразованы в распределения вероятностей, которые затем комбинируют для получения глобальных распределений вероятностей.
С этой целью, средние квадратичные отклонения σ_x1, σ_y1, σ_Ө1, σ_Ө2, σ_Ө3, σ_x4 и σ_y4 используют для генерации распределений G(x1), G(y1), G(Ө1), G(Ө2), G(Ө3), G(x4) и G(y4) вероятностей.
Эти распределения вероятностей могут быть сгенерированы 220 с использованием следующего принципа: G(x1) является гауссовским распределением, среднее квадратичное отклонение которого равно σ_x1. G(y1), G(Ө1), G(Ө2), G(Ө3), G(x4) и G(y4) могут быть сгенерированы с использованием того же самого принципа.
Затем, генерируют глобальные распределения вероятностей. С этой целью, предполагается, что все этапы 200, 202, 204, 206 являются независимыми. Это является верным на практике, поскольку надежные выходные данные берутся только в качестве предварительных гипотез, тогда как конечный результат может быть совершенно другим. Кроме того, x, y и Ө могут также считаться независимыми. С использованием этих гипотез, три глобальных распределения GLOB(x), GLOB(y) и GLOB(Ө) могут быть вычислены 221 следующим образом:
GLOB(x)=G(x1) × G(x4)
GLOB(y)=G(y1) × G(y4)
GLOB(Ө)=G(Ө1) × G(Ө2) × G(Ө3)
Максимальное правдоподобие этого распределения соответствует конечной оценке 209 положения. Кроме того, также можно вывести степень достоверности посредством просмотра функции совокупного распределения глобального распределения.
Фиг. 5 отображает физическую архитектуру человекоподобного робота в некотором количестве вариантов осуществления настоящего изобретения.
Робот может быть квалифицирован как человекоподобный робот тогда, когда он имеет некоторые атрибуты человеческой внешности: голову, туловище, две руки, две кисти, и т.д. Человекоподобный робот может быть, однако, более или менее сложным. Его конечности могут иметь большее или меньшее количество сочленений. Он может контролировать свой собственный баланс статически или динамически и может перемещаться на двух конечностях, возможно, в трех изменениях, или просто перекатываться на основании. Он может принимать сигналы из среды («слышать», «видеть», «касаться», «воспринимать», и т.д.) и реагировать согласно более или менее сложным вариантам поведения, а также взаимодействовать с другими роботами или людьми, либо с помощью речи, либо с помощью жестов.
Конкретный робот 500 на чертеже используется только в качестве примера человекоподобного робота, в котором может быть реализовано настоящее изобретение. Нижняя конечность робота на чертеже не является функциональной для ходьбы, но может перемещаться в любом направлении на его основании 540, которое катится по поверхности, на которой оно лежит. Настоящее изобретение может быть легко реализовано в роботе, который подходит для ходьбы. В качестве примера, этот робот имеет высоту 510, которая может составлять около 120 см, глубину 520 около 65 см и ширину 530 около 40 см. В одном конкретном варианте осуществления робот настоящего изобретения имеет планшет 550, при помощи которого он может передавать сообщения (звуковые сообщения, видео, веб-страницы) в его среду, или принимать вводы данных от пользователей через тактильный интерфейс планшета. В дополнение к процессору планшета, робот изобретения также использует процессор своей собственной системной платы, которой может быть, например, процессором ATOM™ Z530, производимым Intel™. Этот робот может также предпочтительно включать в себя процессор, который предназначен для обработки потоков данных между системной платой и, в частности, платами, несущими магнитные поворотные кодеры (Magnetic Rotary Encoder - MRE) и датчики, которые управляют двигателями сочленений в конечности и шарами, которые робот использует в качестве колес, в конкретном варианте осуществления настоящего изобретения. Двигатели могут быть разных типов, в зависимости от величины максимального крутящего момента, который необходим для определенного сочленения. Например, могут быть использованы щеточные двигатели постоянного тока без сердечника, производимые e-minebea™ (SE24P2CTCA, например), или бесщеточные двигатели постоянного тока, производимые Maxon™ (EC45_70W, например). MRE предпочтительно относятся к типу, использующему эффект Холла, с точностью 12 или 14 битов.
В вариантах осуществления настоящего изобретения, робот, показанный на фиг. 1, также содержит различные виды датчиков. Некоторые из них используются для контроля положения и перемещений робота. Это имеет место в случае, например, инерциального блока, расположенного в туловище робота, содержащего трехосный гирометр и трехосный акселерометр. Робот может также включать в себя две двумерные цветные RGB-камеры на лбу робота (верхнюю и нижнюю), относящиеся к типу система-на-кристалле (System On Chip - SOC), такие как камеры, производимые Shenzen V-Vision Technology Ltd™ (OV5640), с разрешением 5 мегапикселов при 5 кадрах в секунду и полем зрения (field of view - FOV), составляющим около 57° по горизонтали и 44° по вертикали. Один трехмерный датчик может также находиться позади глаз робота, например, датчик ASUS XTION™ SOC с разрешением 0.3 мегапиксела при 20 кадрах в секунду, приблизительно, с таким же FOV, что и у двумерных камер. Робот настоящего изобретения может быть также снабжен генераторами лазерных линий, например, тремя в голове и тремя в основании, для обеспечения возможности восприятия его относительного положения по отношению к объектам /существам в его среде. Робот настоящего изобретения может также включать в себя микрофоны для обеспечения возможности восприятия звуков в его среде. В одном варианте осуществления, четыре микрофона с чувствительностью 300 мВ/Па +/-3 дБ при 1 кГц и полосой частот от 300 Гц до 12 кГц (по уровню -10 дБ относительно 1кГц) могут быть имплантированы на голове робота. Робот настоящего изобретения может также включать в себя два ультразвуковых датчика, возможно, расположенных на передней части и на задней части его основания, для измерения расстояния до объектов/ людей в его среде. Робот может также включать в себя тактильные датчики, на его голове и на его кистях, для обеспечения возможности взаимодействия с людьми. Он может также включать в себя демпфер на своем основании для восприятия препятствий, которые он встречает на своем пути. Он может также включать в себя демпферы на своем основании для восприятия препятствий, которые он встречает на своем пути.
Для передачи его эмоций и установления связи с людьми в его среде, робот настоящего изобретения может также включать в себя:
- светодиоды, например, в его глазах, ушах и на его плечах;
- громкоговорители, например, два, расположенные в его ушах.
Робот настоящего изобретения может устанавливать связь с базовой станцией или другими роботами через соединение Ethernet RJ45 или WiFi 802.11.
Робот настоящего изобретения может иметь электропитание от литий-железо-фосфатной аккумуляторной батареи с энергий 400 Вт-час. Робот может осуществлять доступ к зарядной станции, соответствующей типу аккумуляторной батареи, которую он включает в себя.
Положением/ перемещениями роботов можно управлять посредством их двигателей, с использованием алгоритмов, которые активируют цепи, находящиеся в каждой конечности, и рабочие органы, находящие на конце каждой конечности, с учетом измерений датчиков.
Устройство, способы и конфигурации, описанные выше и на чертежах, предназначены только для обеспечения легкости описания и не означают ограничений в использовании для устройства или способов конкретным устройством или процессом. Настоящее изобретение было описано для человекоподобного робота, но специалистам в данной области техники следует понимать, что оно может быть применимо к любому мобильному элементу, такому как автомобиль.
Claims (20)
1. Способ локализации человекоподобного робота в плоскости локализации, связанной с двумерным ориентиром с двумя осями x и y, включающий следующие этапы:
- определение (200) посредством одометрии оценки координат x1 и y1 робота в плоскости локализации, а также оценки его ориентации Ө1 относительно опорного направления;
- определение (202) оценки Ө2 ориентации робота посредством использования виртуального компаса, который идентифицирует по меньшей мере две пары точек, представляющих интерес, причем первые точки каждой пары идентифицированы в опорной панораме, а вторая точка каждой пары идентифицирована в панораме запроса, причем этот этап инициализируется посредством Ө1;
- определение (204) оценки Ө3 ориентации робота посредством корреляции частей опорной панорамы с частями панорамы запроса и посредством идентификации того, когда эта корреляция максимизирована, причем этот этап инициализируется одной из предыдущих оценок ориентации;
- определение (206) оценки x4, y4 положения робота в плоскости локализации посредством использования итерационной технологии ближайших точек, причем этот этап инициализируется посредством x1 и y1, причем итерационные технологии ближайших точек используют трехмерное облако точек в качестве входных данных и предварительные гипотезы в ориентации;
- определение средних квадратичных отклонений σ_x1, σ_y1, σ_Ө1, σ_Ө2, σ_Ө3, σ_x4, σ_y4 упомянутых выше оценок;
- определение (220) гауссовских распределений G(x1), G(y1), G(Ө1), G(Ө2), G(Ө3), G(x4) и G(y4) вероятностей каждой доступной оценки с использованием упомянутых средних квадратичных отклонений;
- определение (221) трех глобальных распределений GLOB(x), GLOB(y) и GLOB(Ө), соответственно, для координат вдоль оси х и y и для ориентации Ө робота посредством комбинирования упомянутых гауссовских распределений вероятностей, и определение глобальной оценки xg, yg координат робота в плоскости локализации, а также глобальной оценки Өg его ориентации посредством применения способа максимального правдоподобия к глобальным распределениям.
2. Способ по п. 1, в котором оценки, обеспеченные одним этапом, используются последующим этапом, только если они считаются надежными (201, 203, 205, 207), при этом оценка считается надежной, когда ее среднее квадратичное отклонение является меньшим, чем предварительно заданный порог.
3. Способ по одному из предшествующих пунктов, в котором глобальные распределения вероятностей выводятся следующим образом:
GLOB(x)=G(x1) * G(x4)
GLOB(y)=G(y1) * G(y4)
GLOB(Ө)=G(Ө1) * G(Ө2) * G(Ө3)
4. Способ по п. 1 или 2, в котором значение Ө3 оценивают (204) на основе совмещения шаблонов изображений, которое выполняют на двух пирамидах изображений, причем первая пирамида (401) изображений генерируется из единственного опорного изображения (420) посредством уменьшения его масштаба с использованием нескольких этапов масштабирования, причем вторая пирамида (400) изображений генерируется из единственного изображения (410) запроса посредством уменьшения его масштаба с использованием нескольких этапов масштабирования.
5. Человекоподобный робот (510), имеющий подвижное основание, содержащий по меньшей мере:
- датчики, контролирующие положение и перемещения робота;
- двумерную RGB-камеру для построения панорамы запроса, содержащей по меньшей мере одно опорное изображение;
- процессор, выполненный с возможностью реализации способа для локализации упомянутого робота по одному из предшествующих пунктов на основе упомянутой панорамы запроса.
6. Человекоподобный робот по п. 5, в котором трехмерный датчик использован для вычисления облаков точек для реализации итерационной технологии (206) ближайших точек.
7. Машиночитаемый запоминающий носитель, содержащий кодовое средство для обеспечения реализации компьютером способа по любому из пп.1-4 для локализации человекоподобного робота в плоскости локализации, связанной с двумерным ориентиром с двумя осями x и y.
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP14305543.2A EP2933604B1 (en) | 2014-04-14 | 2014-04-14 | A method for localizing a robot in a localization plane |
| EP14305543.2 | 2014-04-14 | ||
| PCT/EP2015/058011 WO2015158682A1 (en) | 2014-04-14 | 2015-04-14 | A method for localizing a robot in a localization plane |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| RU2016143549A RU2016143549A (ru) | 2018-05-14 |
| RU2016143549A3 RU2016143549A3 (ru) | 2018-05-14 |
| RU2662913C2 true RU2662913C2 (ru) | 2018-07-31 |
Family
ID=51178823
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2016143549A RU2662913C2 (ru) | 2014-04-14 | 2015-04-14 | Способ локализации робота в плоскости локализации |
Country Status (14)
| Country | Link |
|---|---|
| US (1) | US10197399B2 (ru) |
| EP (1) | EP2933604B1 (ru) |
| JP (1) | JP6374984B2 (ru) |
| KR (1) | KR101901042B1 (ru) |
| CN (1) | CN106574836A (ru) |
| AU (1) | AU2015248967B2 (ru) |
| CA (1) | CA2945860C (ru) |
| DK (1) | DK2933604T3 (ru) |
| ES (1) | ES2617307T3 (ru) |
| MX (1) | MX2016013023A (ru) |
| NZ (1) | NZ725015A (ru) |
| RU (1) | RU2662913C2 (ru) |
| SG (1) | SG11201608198PA (ru) |
| WO (1) | WO2015158682A1 (ru) |
Families Citing this family (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2675363T3 (es) | 2014-06-05 | 2018-07-10 | Softbank Robotics Europe | Procedimiento de construcción de un mapa de probabilidad entre la ausencia y la presencia de obstáculos para un robot autónomo |
| JP6850721B2 (ja) * | 2015-04-21 | 2021-03-31 | 芝浦メカトロニクス株式会社 | 錠剤印刷装置及び錠剤印刷方法 |
| FR3051383B1 (fr) * | 2016-05-23 | 2020-02-14 | Softbank Robotics Europe | Robot mobile maitre motorise |
| US10427305B2 (en) * | 2016-07-21 | 2019-10-01 | Autodesk, Inc. | Robotic camera control via motion capture |
| CN109141437B (zh) * | 2018-09-30 | 2021-11-26 | 中国科学院合肥物质科学研究院 | 一种机器人全局重定位方法 |
| US11747825B2 (en) | 2018-10-12 | 2023-09-05 | Boston Dynamics, Inc. | Autonomous map traversal with waypoint matching |
| CN109916431B (zh) * | 2019-04-12 | 2021-01-29 | 成都天富若博特科技有限责任公司 | 一种针对四轮移动机器人的车轮编码器标定算法 |
| KR20220078563A (ko) | 2019-08-06 | 2022-06-10 | 보스턴 다이나믹스, 인크. | 중간 웨이포인트 생성기 |
| US11577395B2 (en) | 2020-02-17 | 2023-02-14 | Toyota Research Institute, Inc. | Systems for determining location using robots with deformable sensors |
| CN112004183B (zh) * | 2020-07-08 | 2022-05-31 | 武汉科技大学 | 一种基于卷积神经网络融合IMU和WiFi信息的机器人自主定位方法 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004059900A2 (en) * | 2002-12-17 | 2004-07-15 | Evolution Robotics, Inc. | Systems and methods for visual simultaneous localization and mapping |
| US20090024251A1 (en) * | 2007-07-18 | 2009-01-22 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating pose of mobile robot using particle filter |
Family Cites Families (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR1353295A (fr) | 1962-04-04 | 1964-02-21 | Parnall & Sons Ltd | Appareil fournisseur pour machines à trier des documents |
| JPH0953939A (ja) * | 1995-08-18 | 1997-02-25 | Fujitsu Ltd | 自走車の自己位置測定装置および自己位置測定方法 |
| EP1510896B1 (en) * | 2002-05-31 | 2016-03-09 | Fujitsu Limited | Remotely-operated robot, and robot self position identifying method |
| US7689321B2 (en) * | 2004-02-13 | 2010-03-30 | Evolution Robotics, Inc. | Robust sensor fusion for mapping and localization in a simultaneous localization and mapping (SLAM) system |
| US8073528B2 (en) * | 2007-09-30 | 2011-12-06 | Intuitive Surgical Operations, Inc. | Tool tracking systems, methods and computer products for image guided surgery |
| JP2008084135A (ja) * | 2006-09-28 | 2008-04-10 | Toshiba Corp | 移動制御方法、移動ロボットおよび移動制御プログラム |
| JP2009187204A (ja) * | 2008-02-05 | 2009-08-20 | Toyota Motor Corp | 画像処理装置 |
| CN101630162B (zh) * | 2008-07-16 | 2011-06-08 | 中国科学院自动化研究所 | 多移动机器人局部跟随控制方法 |
| JP5141644B2 (ja) * | 2009-06-23 | 2013-02-13 | トヨタ自動車株式会社 | 自律移動体、自己位置推定装置、およびプログラム |
| US9599461B2 (en) * | 2010-11-16 | 2017-03-21 | Ectoscan Systems, Llc | Surface data acquisition, storage, and assessment system |
| CN102359784B (zh) * | 2011-08-01 | 2013-07-24 | 东北大学 | 一种室内移动机器人自主导航避障系统及方法 |
| US10027952B2 (en) * | 2011-08-04 | 2018-07-17 | Trx Systems, Inc. | Mapping and tracking system with features in three-dimensional space |
| US8908913B2 (en) * | 2011-12-19 | 2014-12-09 | Mitsubishi Electric Research Laboratories, Inc. | Voting-based pose estimation for 3D sensors |
| US9420265B2 (en) * | 2012-06-29 | 2016-08-16 | Mitsubishi Electric Research Laboratories, Inc. | Tracking poses of 3D camera using points and planes |
| FR3004570B1 (fr) | 2013-04-11 | 2016-09-02 | Aldebaran Robotics | Procede d'estimation de la deviation angulaire d'un element mobile relativement a une direction de reference |
-
2014
- 2014-04-14 DK DK14305543.2T patent/DK2933604T3/en active
- 2014-04-14 ES ES14305543.2T patent/ES2617307T3/es active Active
- 2014-04-14 EP EP14305543.2A patent/EP2933604B1/en not_active Not-in-force
-
2015
- 2015-04-14 NZ NZ725015A patent/NZ725015A/en not_active IP Right Cessation
- 2015-04-14 KR KR1020167028740A patent/KR101901042B1/ko active IP Right Grant
- 2015-04-14 AU AU2015248967A patent/AU2015248967B2/en not_active Ceased
- 2015-04-14 CA CA2945860A patent/CA2945860C/en not_active Expired - Fee Related
- 2015-04-14 WO PCT/EP2015/058011 patent/WO2015158682A1/en active Application Filing
- 2015-04-14 SG SG11201608198PA patent/SG11201608198PA/en unknown
- 2015-04-14 JP JP2016562518A patent/JP6374984B2/ja not_active Expired - Fee Related
- 2015-04-14 US US15/128,901 patent/US10197399B2/en not_active Expired - Fee Related
- 2015-04-14 CN CN201580019722.4A patent/CN106574836A/zh active Pending
- 2015-04-14 MX MX2016013023A patent/MX2016013023A/es unknown
- 2015-04-14 RU RU2016143549A patent/RU2662913C2/ru not_active IP Right Cessation
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004059900A2 (en) * | 2002-12-17 | 2004-07-15 | Evolution Robotics, Inc. | Systems and methods for visual simultaneous localization and mapping |
| US20090024251A1 (en) * | 2007-07-18 | 2009-01-22 | Samsung Electronics Co., Ltd. | Method and apparatus for estimating pose of mobile robot using particle filter |
Non-Patent Citations (1)
| Title |
|---|
| Emilie Wirbel ET AL, "Humanoid robot navigation: getting localization information from vision", Journal of Intelligent Systems, 28.03.2014, 23 (2), pp.113-132. * |
Also Published As
| Publication number | Publication date |
|---|---|
| NZ725015A (en) | 2017-11-24 |
| MX2016013023A (es) | 2017-05-30 |
| EP2933604A1 (en) | 2015-10-21 |
| US20170131102A1 (en) | 2017-05-11 |
| RU2016143549A (ru) | 2018-05-14 |
| US10197399B2 (en) | 2019-02-05 |
| ES2617307T3 (es) | 2017-06-16 |
| WO2015158682A1 (en) | 2015-10-22 |
| DK2933604T3 (en) | 2017-03-13 |
| AU2015248967B2 (en) | 2018-03-29 |
| CN106574836A (zh) | 2017-04-19 |
| RU2016143549A3 (ru) | 2018-05-14 |
| KR20170023782A (ko) | 2017-03-06 |
| CA2945860C (en) | 2018-01-23 |
| JP6374984B2 (ja) | 2018-08-15 |
| AU2015248967A1 (en) | 2016-10-27 |
| KR101901042B1 (ko) | 2018-09-20 |
| EP2933604B1 (en) | 2016-11-30 |
| CA2945860A1 (en) | 2015-10-22 |
| JP2017514124A (ja) | 2017-06-01 |
| SG11201608198PA (en) | 2016-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2662913C2 (ru) | Способ локализации робота в плоскости локализации | |
| Bai et al. | Virtual-blind-road following-based wearable navigation device for blind people | |
| Luo et al. | Enriched indoor map construction based on multisensor fusion approach for intelligent service robot | |
| Davison et al. | 3D simultaneous localisation and map-building using active vision for a robot moving on undulating terrain | |
| Rambach et al. | Learning to fuse: A deep learning approach to visual-inertial camera pose estimation | |
| Wang et al. | Accurate and real-time 3-D tracking for the following robots by fusing vision and ultrasonar information | |
| Treuillet et al. | Outdoor/indoor vision-based localization for blind pedestrian navigation assistance | |
| Yang et al. | Tightly-coupled aided inertial navigation with point and plane features | |
| Voigt et al. | Robust embedded egomotion estimation | |
| Zhou et al. | Lidar/UWB fusion based SLAM with anti-degeneration capability | |
| JP6919882B2 (ja) | 人推定システムおよび推定プログラム | |
| Tamjidi et al. | 6-DOF pose estimation of a portable navigation aid for the visually impaired | |
| Zhang et al. | A visual positioning system for indoor blind navigation | |
| CN113984068A (zh) | 定位方法、定位装置和计算机可读存储介质 | |
| Glas et al. | SNAPCAT-3D: Calibrating networks of 3D range sensors for pedestrian tracking | |
| Dam et al. | Person following mobile robot using pedestrian dead-reckoning with inertial data of smartphones | |
| Kobzili et al. | Multi-rate robust scale estimation of monocular SLAM | |
| Qian et al. | An improved ORB-SLAM2 in dynamic scene with instance segmentation | |
| Zhang et al. | A depth-enhanced visual inertial odometry for a robotic navigation aid for blind people | |
| Uygur et al. | A Framework for Bearing-Only Sparse Semantic Self-Localization for Visually Impaired People | |
| Yssa | Geometry model for marker-based localisation | |
| Kundu et al. | Canescanner: Obstacle detection for people with visual disabilities | |
| Browning et al. | Visual navigation in a cluttered world | |
| Grosso | Vision and inertial data fusion for collaborative robotics | |
| Campo et al. | Multimodal Data Fusion using Time-of-Flight for Simultaneous Localization and Mapping |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20200415 |