KR20220064883A - Apparatus and method for localization of robot having robustness to dynamic environments - Google Patents
Apparatus and method for localization of robot having robustness to dynamic environments Download PDFInfo
- Publication number
- KR20220064883A KR20220064883A KR1020210073734A KR20210073734A KR20220064883A KR 20220064883 A KR20220064883 A KR 20220064883A KR 1020210073734 A KR1020210073734 A KR 1020210073734A KR 20210073734 A KR20210073734 A KR 20210073734A KR 20220064883 A KR20220064883 A KR 20220064883A
- Authority
- KR
- South Korea
- Prior art keywords
- map
- characteristic
- robot
- robust
- feature
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 29
- 230000004807 localization Effects 0.000 title abstract description 7
- 238000010276 construction Methods 0.000 claims abstract description 21
- 230000008859 change Effects 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 14
- 230000001939 inductive effect Effects 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 abstract description 6
- 230000003068 static effect Effects 0.000 abstract description 6
- 238000013507 mapping Methods 0.000 abstract description 5
- 230000007774 longterm Effects 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 4
- 238000012937 correction Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001151 other effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1602—Programme controls characterised by the control system, structure, architecture
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/08—Programme-controlled manipulators characterised by modular constructions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
- B25J9/1664—Programme controls characterised by programming, planning systems for manipulators characterised by motion, path, trajectory planning
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1674—Programme controls characterised by safety, monitoring, diagnostic
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
- B25J9/1697—Vision controlled systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
- G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/60—Editing figures and text; Combining figures or text
Landscapes
- Engineering & Computer Science (AREA)
- Robotics (AREA)
- Mechanical Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Aviation & Aerospace Engineering (AREA)
- Remote Sensing (AREA)
- Theoretical Computer Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Processing Or Creating Images (AREA)
Abstract
Description
본 발명은 동적 환경에 강인한 로봇 위치 추정 장치 및 방법에 관한 것으로서, 더욱 상세하게는 SLAM(Simultaneous Localization And Mapping) 기술을 이용하여 로봇의 위치를 추정하는, 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for estimating a position of a robot robust to a dynamic environment, and more particularly, to an apparatus and method for estimating a position of a robot using SLAM (Simultaneous Localization And Mapping) technology.
도 1은 종래의 로봇 위치 추정 과정을 설명하기 위한 도면이다.1 is a view for explaining a conventional robot position estimation process.
도 1을 참조하면, 종래 대부분의 로봇 위치 추정 시스템들은 지도 구축(Map building)을 먼저 수행하고, 얻어진 지도를 기반으로 로봇의 위치 추정을 수행하는 시스템으로 구성되어 있다. 지도 구축을 수행한 뒤 정확도를 높이기 위해 사용자가 추가적인 수작업으로 지도를 수정하고 보완한다. 그 후 잘 정비된 지도를 사용해서 로봇의 위치 추정을 수행한다. 즉, 지도 구축과 위치 추정을 분리하여 지도 자체의 정확도를 높임으로써 위치 추정의 정확도를 높이는 방식이다.Referring to FIG. 1 , most conventional robot position estimation systems are composed of a system that performs map building first, and then performs robot position estimation based on the obtained map. After the map is built, the user manually modifies and supplements the map to increase accuracy. Then, using the well-organized map, the robot's localization is performed. That is, it is a method to increase the accuracy of the location estimation by separating the map construction and the location estimation to increase the accuracy of the map itself.
소규모의 공간에서 공간 내 환경 변화가 적을 때는 이러한 방식으로도 적절한 결과를 보장할 수 있지만, 공장과 같이 거대한 규모의 환경 내에서 수시로 각종 물체들이 변화하는 상황에서는 그 결과를 보장할 수 없다. 이는 동적 물체를 지도 구축에 추가할 지를 결정하기 위해선 동적 물체인지 판단해야 하는 어려움뿐만 아니라 정적 물체와 구분해서 지도 구축을 수행하는 어려움이 있기 때문이다. 또한, 거대한 환경 속에서 아무리 지도 구축을 잘 수행한다 하더라도 그 지도의 정확도 한계로 인해 로봇 위치 추정의 정확도는 부족할 수 밖에 없다.In a small space, when there is little change in the environment in the space, this method can guarantee an appropriate result, but in a situation where various objects change frequently in a large-scale environment such as a factory, the result cannot be guaranteed. This is because, in order to determine whether a dynamic object is to be added to the map construction, there is a difficulty in determining whether a dynamic object is a dynamic object as well as a difficulty in performing map construction by distinguishing it from a static object. In addition, no matter how well map construction is performed in a huge environment, the accuracy of robot position estimation is inevitably insufficient due to the accuracy limit of the map.
본 발명이 이루고자 하는 목적은, SLAM(Simultaneous Localization And Mapping) 기술을 이용하여 로봇의 위치를 추정하는 동작과 지도를 업데이트하는 동작을 함께 수행하는, 동적 환경에 강인한 로봇 위치 추정 장치 및 방법을 제공하는 데 있다.An object of the present invention is to provide an apparatus and method for estimating a robot position robust to a dynamic environment, which simultaneously performs an operation of estimating the position of a robot and an operation of updating a map using SLAM (Simultaneous Localization And Mapping) technology. there is
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.Other objects not specified in the present invention may be additionally considered within the scope that can be easily inferred from the following detailed description and effects thereof.
상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 동적 환경에 강인한 로봇 위치 추정 장치는, 지도를 구축하는 지도 구축부; 로봇에 탑재된 센서를 통해 획득된 센서 데이터에서 제1 특징을 획득하고, 상기 지도 구축부를 통해 구축된 상기 지도를 기반으로 상기 센서 데이터에서 획득된 상기 제1 특징을 이용하여 상기 로봇의 위치를 추정하는 위치 추정부; 및 상기 위치 추정부를 통해 획득된 상기 제1 특징을 상기 위치 추정부를 통해 추정된 상기 로봇의 위치를 이용하여 상기 로봇의 이동으로 인한 오차를 보정하고, 상기 지도 구축부를 통해 구축된 상기 지도를 기반으로 보정된 상기 제1 특징을 이용하여 상기 지도를 업데이트하는 지도 업데이트부;를 포함한다.In accordance with a preferred embodiment of the present invention for achieving the above object, there is provided an apparatus for estimating a position of a robot robust to a dynamic environment, comprising: a map construction unit for constructing a map; A first characteristic is obtained from sensor data obtained through a sensor mounted on the robot, and the position of the robot is estimated using the first characteristic obtained from the sensor data based on the map constructed through the map construction unit. a position estimating unit; and correcting an error due to movement of the robot using the position of the robot estimated through the position estimating unit for the first characteristic obtained through the position estimator, and based on the map constructed through the map construction unit and a map update unit that updates the map by using the corrected first characteristic.
여기서, 상기 지도 업데이트부는, 보정된 상기 제1 특징을 이용하여 상기 지도를 업데이트하고, 업데이트된 상기 지도를 기반으로 위치 그래프 최적화(pose graph optimization)를 수행하여 업데이트된 상기 지도에 대응되는 위치 그래프(pose graph)를 획득할 수 있다.Here, the map update unit updates the map using the corrected first characteristic, and performs pose graph optimization based on the updated map to perform pose graph optimization corresponding to the updated map ( pose graph) can be obtained.
여기서, 상기 지도 업데이트부는, 보정된 상기 제1 특징에 대응되는 상기 지도의 제2 특징과 연관된 키 프레임(key frame)을 상기 지도에서 획득하고, 획득된 상기 키 프레임을 상기 제1 특징을 이용하여 업데이트하여, 상기 지도를 업데이트할 수 있다.Here, the map update unit obtains, from the map, a key frame associated with a second characteristic of the map corresponding to the corrected first characteristic, and uses the obtained key frame to use the first characteristic. By updating, the map can be updated.
여기서, 상기 지도 업데이트부는, 획득된 상기 키 프레임 중에서 상기 제1 특징으로 인해 미리 설정된 기준치 이상으로 변경되는 키 프레임을 상기 지도에서 삭제하고, 획득된 상기 키 프레임 중에서 상기 제1 특징으로 인해 상기 기준치 미만으로 변경되는 키 프레임을 상기 제1 특징을 이용하여 업데이트할 수 있다.Here, the map update unit deletes, from the map, a key frame that is changed by more than a preset reference value due to the first characteristic from among the obtained key frames, and is less than the reference value due to the first characteristic among the obtained key frames. The key frame that is changed to . may be updated using the first feature.
여기서, 상기 지도 업데이트부는, 상기 지도에서 키 프레임이 삭제되는 경우, 상기 제1 특징으로 이루어지는 새로운 키 프레임을 상기 지도에 추가할 수 있다.Here, when a key frame is deleted from the map, the map update unit may add a new key frame including the first feature to the map.
여기서, 상기 지도 업데이트부는, 상기 제1 특징과 상기 제2 특징을 대비하여 상기 제1 특징이 상기 제2 특징과 상이하면, 상기 제1 특징과 상기 제2 특징을 대비하여 상기 제1 특징을 상기 지도에 추가할 지 여부를 판단하고, 상기 제1 특징이 상기 지도에 추가되는 경우 상기 제2 특징과 연관된 키 프레임을 상기 지도에서 획득할 수 있다.Here, when the first characteristic is different from the second characteristic in comparison with the first characteristic and the second characteristic, the map update unit compares the first characteristic with the second characteristic and sets the first characteristic as the second characteristic. It may be determined whether to add to the map, and when the first characteristic is added to the map, a key frame associated with the second characteristic may be acquired from the map.
여기서, 상기 지도 업데이트부는, 포인트 밀도(point denstity)의 변화량 및 특징의 모양 중 적어도 하나를 기반으로 상기 제1 특징이 상기 제2 특징과 상이한 지 여부를 판단할 수 있다.Here, the map updater may determine whether the first characteristic is different from the second characteristic based on at least one of a change amount of point density and a shape of the characteristic.
여기서, 상기 지도 업데이트부는, 특징으로 인한 지도의 변화 유발 정도를 기반으로 상기 제1 특징과 상기 제2 특징을 대비하여 상기 제1 특징을 상기 지도에 추가할 지 여부를 판단할 수 있다.Here, the map update unit may determine whether to add the first feature to the map in comparison with the first feature and the second feature, based on a degree of inducing change in the map due to the feature.
상기의 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 동적 환경에 강인한 로봇 위치 추정 방법은, 로봇에 탑재된 센서를 통해 획득된 센서 데이터에서 제1 특징을 획득하고, 구축된 지도를 기반으로 상기 센서 데이터에서 획득된 상기 제1 특징을 이용하여 상기 로봇의 위치를 추정하는 단계; 및 획득된 상기 제1 특징을 추정된 상기 로봇의 위치를 이용하여 상기 로봇의 이동으로 인한 오차를 보정하고, 상기 지도를 기반으로 보정된 상기 제1 특징을 이용하여 상기 지도를 업데이트하는 단계;를 포함한다.A robot position estimation method robust to a dynamic environment according to a preferred embodiment of the present invention for achieving the above object acquires the first characteristic from sensor data obtained through a sensor mounted on the robot, and based on the constructed map estimating the position of the robot using the first characteristic obtained from the sensor data; and correcting an error due to movement of the robot using the obtained position of the robot estimated for the first characteristic, and updating the map using the corrected first characteristic based on the map; include
여기서, 상기 지도 업데이트 단계는, 보정된 상기 제1 특징을 이용하여 상기 지도를 업데이트하고, 업데이트된 상기 지도를 기반으로 위치 그래프 최적화(pose graph optimization)를 수행하여 업데이트된 상기 지도에 대응되는 위치 그래프(pose graph)를 획득하는 것으로 이루어질 수 있다.Here, in the map update step, the map is updated using the corrected first characteristic, and a position graph optimization is performed based on the updated map to perform a position graph corresponding to the updated map. (Pose graph) can be obtained.
여기서, 상기 지도 업데이트 단계는, 보정된 상기 제1 특징에 대응되는 상기 지도의 제2 특징과 연관된 키 프레임(key frame)을 상기 지도에서 획득하고, 획득된 상기 키 프레임을 상기 제1 특징을 이용하여 업데이트하여, 상기 지도를 업데이트하는 것으로 이루어질 수 있다.In this case, the map updating step includes acquiring a key frame associated with a second characteristic of the map corresponding to the corrected first characteristic from the map, and using the obtained key frame with the first characteristic and updating the map to update the map.
여기서, 상기 지도 업데이트부는, 획득된 상기 키 프레임 중에서 상기 제1 특징으로 인해 미리 설정된 기준치 이상으로 변경되는 키 프레임을 상기 지도에서 삭제하고, 획득된 상기 키 프레임 중에서 상기 제1 특징으로 인해 상기 기준치 미만으로 변경되는 키 프레임을 상기 제1 특징을 이용하여 업데이트하는 것으로 이루어질 수 있다.Here, the map update unit deletes, from the map, a key frame that is changed by more than a preset reference value due to the first characteristic from among the obtained key frames, and is less than the reference value due to the first characteristic among the obtained key frames. It may be accomplished by updating the key frame that is changed to .
상기의 기술적 과제를 달성하기 위한 본 발명의 바람직한 실시예에 따른 컴퓨터 프로그램은 컴퓨터로 읽을 수 있는 기록 매체에 저장되어 상기한 동적 환경에 강인한 로봇 위치 추정 방법 중 어느 하나를 컴퓨터에서 실행시킨다.A computer program according to a preferred embodiment of the present invention for achieving the above technical problem is stored in a computer-readable recording medium, and any one of the robot position estimation methods robust to the dynamic environment is executed on the computer.
본 발명의 바람직한 실시예에 따른 동적 환경에 강인한 로봇 위치 추정 장치 및 방법에 의하면, SLAM(Simultaneous Localization And Mapping) 기술을 이용하여 로봇의 위치를 추정하는 동작과 지도를 업데이트하는 동작을 함께 수행함으로써, 장기간(long-term) 동적 물체로 인한 지도의 변경 사항이나 정적 물체의 변경 또한 지도에 반영할 수 있기 때문에, 동적 환경에서도 지도 구축을 원할히 수행할 수 있고, 이로 인해 보다 향상된 로봇 위치 추정 성능을 보장할 수 있다.According to the apparatus and method for estimating a robot position robust to a dynamic environment according to a preferred embodiment of the present invention, the operation of estimating the position of the robot using the SLAM (Simultaneous Localization And Mapping) technology and the operation of updating the map are performed together, Because changes to the map due to long-term dynamic objects or changes to static objects can also be reflected on the map, map construction can be performed smoothly even in a dynamic environment, thereby ensuring improved robot positioning performance can do.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.Effects of the present invention are not limited to the above-mentioned effects, and other effects not mentioned will be clearly understood by those skilled in the art from the following description.
도 1은 종래의 로봇 위치 추정 과정을 설명하기 위한 도면이다.
도 2는 본 발명의 바람직한 실시예에 따른 동적 환경에 강인한 로봇 위치 추정 장치를 설명하기 위한 블록도이다.
도 3은 본 발명의 바람직한 실시예에 따른 로봇 위치 추정 및 지도 업데이트 과정을 설명하기 위한 도면이다.
도 4는 본 발명의 바람직한 실시예에 따른 지도 업데이트 이전의 지도 일례를 나타내는 도면이다.
도 5는 본 발명의 바람직한 실시예에 따른 지도 업데이트 이후의 지도 일례를 나타내는 도면이다.
도 6은 본 발명의 바람직한 실시예에 따른 동적 환경에 강인한 로봇 위치 추정 방법을 설명하기 위한 흐름도이다.
도 7은 도 6에 도시한 지도 업데이트 단계(S130)의 세부 단계를 설명하기 위한 흐름도이다.
도 8은 도 7에 도시한 지도 업데이트 단계(S131)의 세부 단계를 설명하기 위한 흐름도이다.
도 9는 도 8에 도시한 지도 업데이트 단계(S131d)의 세부 단계를 설명하기 위한 흐름도이다.1 is a view for explaining a conventional robot position estimation process.
2 is a block diagram for explaining a robot position estimation apparatus robust to a dynamic environment according to a preferred embodiment of the present invention.
3 is a view for explaining a robot position estimation and map update process according to a preferred embodiment of the present invention.
4 is a diagram illustrating an example of a map before map update according to a preferred embodiment of the present invention.
5 is a diagram illustrating an example of a map after map update according to a preferred embodiment of the present invention.
6 is a flowchart illustrating a method for estimating a robot position robust to a dynamic environment according to a preferred embodiment of the present invention.
FIG. 7 is a flowchart for explaining the detailed steps of the map update step S130 shown in FIG. 6 .
FIG. 8 is a flowchart for explaining the detailed steps of the map update step S131 shown in FIG. 7 .
9 is a flowchart for explaining the detailed steps of the map update step S131d shown in FIG. 8 .
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명한다. 본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 게시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 게시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. Advantages and features of the present invention, and a method for achieving them will become apparent with reference to the embodiments described below in detail in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments published below, but may be implemented in various different forms, and only these embodiments make the publication of the present invention complete, and common knowledge in the art to which the present invention pertains It is provided to fully inform those who have the scope of the invention, and the present invention is only defined by the scope of the claims. Like reference numerals refer to like elements throughout.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.Unless otherwise defined, all terms (including technical and scientific terms) used herein may be used with the meaning commonly understood by those of ordinary skill in the art to which the present invention belongs. In addition, terms defined in a commonly used dictionary are not to be interpreted ideally or excessively unless clearly defined in particular.
본 명세서에서 "제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.In the present specification, terms such as “first” and “second” are for distinguishing one component from other components, and the scope of rights should not be limited by these terms. For example, a first component may be termed a second component, and similarly, a second component may also be termed a first component.
본 명세서에서 각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.In the present specification, identification symbols (eg, a, b, c, etc.) in each step are used for convenience of description, and identification symbols do not describe the order of each step, and each step is clearly Unless a specific order is specified, the order may differ from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
본 명세서에서, "가진다", "가질 수 있다", "포함한다" 또는 "포함할 수 있다"등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.In this specification, expressions such as “have”, “may have”, “include” or “may include” indicate the existence of a corresponding feature (eg, a numerical value, function, operation, or component such as a part). and does not exclude the presence of additional features.
또한, 본 명세서에 기재된 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터 구조들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다.In addition, the term '~ unit' as used herein means software or a hardware component such as a field-programmable gate array (FPGA) or ASIC, and '~ unit' performs certain roles. However, '-part' is not limited to software or hardware. '~' may be configured to reside on an addressable storage medium or may be configured to refresh one or more processors. Accordingly, as an example, '~' indicates components such as software components, object-oriented software components, class components, and task components, and processes, functions, properties, and procedures. , subroutines, segments of program code, drivers, firmware, microcode, circuitry, data structures and variables. The functions provided in the components and '~ units' may be combined into a smaller number of components and '~ units' or further separated into additional components and '~ units'.
이하에서 첨부한 도면을 참조하여 본 발명에 따른 동적 환경에 강인한 로봇 위치 추정 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.Hereinafter, a preferred embodiment of an apparatus and method for estimating a position of a robot robust to a dynamic environment according to the present invention will be described in detail with reference to the accompanying drawings.
먼저, 도 2를 참조하여 본 발명의 바람직한 실시예에 따른 동적 환경에 강인한 로봇 위치 추정 장치에 대하여 설명한다.First, an apparatus for estimating a robot position robust to a dynamic environment according to a preferred embodiment of the present invention will be described with reference to FIG. 2 .
도 2는 본 발명의 바람직한 실시예에 따른 동적 환경에 강인한 로봇 위치 추정 장치를 설명하기 위한 블록도이다.2 is a block diagram for explaining a robot position estimation apparatus robust to a dynamic environment according to a preferred embodiment of the present invention.
도 2를 참조하면, 본 발명의 바람직한 실시예에 따른 동적 환경에 강인한 로봇 위치 추정 장치(이하 '로봇 위치 추정 장치'라 한다)(100)는 SLAM(Simultaneous Localization And Mapping) 기술을 이용하여 로봇의 위치를 추정하는 동작과 지도를 업데이트하는 동작을 함께 수행한다.Referring to FIG. 2 , a robot position estimating device (hereinafter referred to as a 'robot position estimating device') 100 robust to a dynamic environment according to a preferred embodiment of the
즉, 종래의 시스템은 도 1에 도시된 바와 같이 지도를 이용하여 로봇 위치 추정만을 수행하고, 센서 데이터로 얻어진 현재 특징을 이용하여 지도를 업데이트하고 있지 않다. 이는 위치 추정을 위해 이용한 특징은 위치 추정 전의 정보를 바탕으로 얻어진 것이므로, 지도를 업데이트할 경우 오차로 인해 기존 지도에 오히려 오차가 추가되는 상황이 발생되기 때문이다.That is, the conventional system only performs robot position estimation using the map as shown in FIG. 1 , and does not update the map using the current features obtained from sensor data. This is because the features used for location estimation are obtained based on the information before location estimation, so when the map is updated, an error is rather added to the existing map due to an error.
따라서, 본 발명은 종래의 시스템과 달리 지도를 업데이트하는 동작을 추가하여 지도를 실시간으로 보정한다. 이때, 지도를 업데이트하기 전에 동적 물체를 제거한 이후에 지도를 업데이트하게 된다.Accordingly, the present invention corrects the map in real time by adding an operation for updating the map, unlike the conventional system. In this case, the map is updated after removing the dynamic object before updating the map.
이에 따라, 본 발명은 주변 환경의 동적 변화가 심하고 위치 추정을 해야 할 환경의 크기가 큰 상황에서 로봇의 위치 추정을 강인하게 수행할 수 있다.Accordingly, the present invention can robustly perform the position estimation of the robot in a situation in which the dynamic change of the surrounding environment is severe and the size of the environment in which the position estimation is to be performed is large.
이를 위해, 로봇 위치 추정 장치(100)는 지도 구축부(110), 위치 추정부(130) 및 지도 업데이트부(150)를 포함할 수 있다.To this end, the robot
지도 구축부(110)는 SLAM 기술을 기반으로 지도를 구축한다.The
위치 추정부(130)는 로봇에 탑재된 센서를 통해 획득된 센서 데이터에서 제1 특징을 획득하고, 지도 구축부(110)를 통해 구축된 지도를 기반으로 센서 데이터에서 획득된 제1 특징을 이용하여 로봇의 위치를 추정한다.The
지도 업데이트부(150)는 위치 추정부(130)를 통해 획득된 제1 특징을 위치 추정부(130)를 통해 추정된 로봇의 위치를 이용하여 로봇의 이동으로 인한 오차를 보정하고, 지도 구축부(110)를 통해 구축된 지도를 기반으로 보정된 제1 특징을 이용하여 지도를 업데이트한다.The map update unit 150 corrects an error due to the movement of the robot using the position of the robot estimated through the
예컨대, 위치 추정부(130)를 통해 획득된 제1 특징은 보정 전 로봇의 위치를 기반으로 획득된 것이므로, 지도 업데이트부(150)는 위치 추정부(130)를 통해 보정된 로봇의 위치와 보정 전 로봇의 위치의 차이를 기반으로 제1 특징을 보정할 수 있다.For example, since the first characteristic obtained through the
즉, 지도 업데이트부(150)는 보정된 제1 특징을 이용하여 지도를 업데이트할 수 있다.That is, the map update unit 150 may update the map using the corrected first characteristic.
보다 자세히 설명하면, 지도 업데이트부(150)는 보정된 제1 특징에 대응되는 지도의 제2 특징과 연관된 키 프레임(key frame)을 지도에서 획득할 수 있다.In more detail, the map updater 150 may acquire a key frame associated with the second characteristic of the map corresponding to the corrected first characteristic from the map.
예컨대, 지도의 제2 특징은 보정 전 로봇의 위치와 함께 지도에 포함되어 있다. 따라서, 현재 보정된 로봇의 위치를 통해 보정된 제1 특징과 관련 있는 제2 특징을 지도에서 획득할 수 있다. 제1 특징은 현재 보정된 로봇의 위치를 기반으로 얻어진 것이고, 제2 특징은 보정 전 로봇의 위치를 기반으로 얻어지는 특징이므로, 제2 특징은 제1 특징과 연관되었다고 판단할 수 있다.For example, a second feature of the map is included in the map along with the position of the robot before calibration. Accordingly, the second characteristic related to the first corrected characteristic may be obtained from the map through the currently corrected position of the robot. Since the first characteristic is obtained based on the position of the currently corrected robot and the second characteristic is obtained based on the position of the robot before correction, it may be determined that the second characteristic is related to the first characteristic.
여기서, 지도 업데이트부(150)는 제1 특징과 제2 특징을 대비하여 제1 특징이 제2 특징과 상이하면, 제1 특징과 제2 특징을 대비하여 제1 특징을 지도에 추가할 지 여부를 판단하고, 제1 특징이 지도에 추가되는 경우 제2 특징과 연관된 키 프레임을 지도에서 획득할 수 있다.Here, the map update unit 150 compares the first characteristic and the second characteristic, and when the first characteristic is different from the second characteristic, whether to add the first characteristic to the map in comparison with the first characteristic and the second characteristic , and when the first feature is added to the map, a key frame associated with the second feature may be acquired from the map.
이때, 지도 업데이트부(150)는 포인트 밀도(point denstity)의 변화량 및 특징의 모양 중 적어도 하나를 기반으로 제1 특징이 제2 특징과 상이한 지 여부를 판단할 수 있다.In this case, the map updater 150 may determine whether the first feature is different from the second feature based on at least one of a change amount of point density and a shape of the feature.
즉, 지도 업데이트부(150)는 아래의 과정을 통해 제1 특징과 제2 특징이 상이한 지 여부를 판단할 수 있다.That is, the map update unit 150 may determine whether the first characteristic and the second characteristic are different through the following process.
1. 현재의 로봇 위치를 통해 제2 특징과 연관된 제1 특징을 선별함1. Selecting a first feature associated with a second feature through the current robot position
2. 연관된 제1 특징과 제2 특징의 3차원 정규 분포(normal distribution), 밀도(density), 공분산(covariance) 등을 비교함2. Comparing the three-dimensional normal distribution, density, covariance, etc. of the first and second related features
3. 과정 2에서의 차이가 미리 설정된 임계치(threshold)보다 크면 서로 상이하다고 판단함3. If the difference in process 2 is greater than a preset threshold, it is determined that they are different from each other
예컨대, 제1 특징과 제2 특징을 비교한 결과, 포인트 밀도의 변화량이 임계치(threshold)보다 크거나 특징의 모양이 달라진 경우, 지도 업데이트부(150)는 제1 특징을 제2 특징과 상이한 특징으로 판단할 수 있다.For example, as a result of comparing the first feature with the second feature, if the change amount of the point density is greater than a threshold or the shape of the feature is changed, the map updater 150 sets the first feature as a feature different from the second feature. can be judged as
아울러, 지도 업데이트부(150)는 특징으로 인한 지도의 변화 유발 정도를 기반으로 제1 특징과 제2 특징을 대비하여 제1 특징을 지도에 추가할 지 여부를 판단할 수 있다.In addition, the map update unit 150 may determine whether to add the first feature to the map in comparison with the first feature and the second feature based on the degree of inducing change in the map due to the feature.
여기서, 지도의 변화 유발 정도는 모든 제1 특징과 제2 특징 중에서 서로 상이한 제1 특징과 제2 특징의 비율을 말한다. 연관된 제1 특징과 제2 특징이 서로 상이하다면, 지도의 변화가 유발되었다고 판단할 수 있다.Here, the degree of inducing change in the map refers to the ratio of the first and second features that are different from each other among all the first and second features. If the related first characteristic and the second characteristic are different from each other, it may be determined that the map change is induced.
예컨대, 제1 특징으로 인한 지도의 변화 유발 정도가 제2 특징으로 인한 지도의 변화 유발 정도보다 크면, 지도 업데이트부(150)는 제1 특징을 지도에 추가하는 것으로 판단할 수 있다.For example, if the degree of inducing change in the map due to the first characteristic is greater than the degree of inducing change in the map due to the second characteristic, the map updater 150 may determine that the first characteristic is added to the map.
즉, 제2 특징에 없던 제1 특징이라면, 지도 업데이트부(150)는 제1 특징을 바로 지도에 추가할 수 있다. 지도 업데이트부(150)는 제2 특징과 연관된 제1 특징 중에서 지도의 변화 유발 정도가 미리 설정된 기준값 이상인 제1 특징을 해당 제2 특징 부분에 추가(해당하는 부분의 제2 특징을 제1 특징으로 대체)할 수 있다. 지도 업데이트부(150)는 제2 특징과 연관된 제1 특징 중에서 지도의 변화 유발 정도가 미리 설정된 기준값보다 낮은 제1 특징을 해당 제2 특징 부분과 혼합할 수 있다. 여기서, 혼합은 제1 특징의 데이터를 제2 특징의 데이터와 합치는 것으로, 단순히 데이터를 더하는 것이 아니라 3차원 정규 분포(normal distribution), 밀도(density), 공분산(covariance) 등을 다시 계산하는 것을 말한다.That is, if the first feature is not present in the second feature, the map update unit 150 may directly add the first feature to the map. The map update unit 150 adds a first feature in which the degree of inducing change in the map is equal to or greater than a preset reference value among the first features related to the second feature to the corresponding second feature part (the second feature of the corresponding part is set as the first feature) can be replaced). The map update unit 150 may mix a first feature, in which the degree of inducing map change is lower than a preset reference value, among the first features related to the second feature, with the corresponding second feature part. Here, the mixing refers to combining the data of the first characteristic with the data of the second characteristic, and recalculating the three-dimensional normal distribution, density, covariance, etc., rather than simply adding the data. say
또한, 지도 업데이트부(150)는 획득된 키 프레임을 제1 특징을 이용하여 업데이트하여, 지도를 업데이트할 수 있다.Also, the map update unit 150 may update the map by updating the obtained key frame using the first characteristic.
여기서, 지도 업데이트부(150)는 획득된 키 프레임 중에서 제1 특징으로 인해 미리 설정된 기준치 이상으로 변경되는 키 프레임을 지도에서 삭제하고, 획득된 키 프레임 중에서 제1 특징으로 인해 기준치 미만으로 변경되는 키 프레임을 제1 특징을 이용하여 업데이트할 수 있다. 이때, 지도에서 키 프레임이 삭제되는 경우, 지도 업데이트부(150)는 제1 특징으로 이루어지는 새로운 키 프레임을 지도에 추가할 수 있다.Here, the map update unit 150 deletes, from the map, a key frame that is changed to more than a preset reference value due to the first characteristic from among the acquired key frames, and a key that is changed to less than the reference value due to the first characteristic among the acquired key frames. The frame may be updated using the first characteristic. In this case, when a key frame is deleted from the map, the map update unit 150 may add a new key frame having the first characteristic to the map.
예컨대, 키 프레임은 로봇의 위치, 관련 특징들의 정보 등을 포함한다. 키 프레임에 포함된 제2 특징 중 새로 획득된 제1 특징으로 인해 삭제하여야 하는 제2 특징이 많은 경우(제2 특징의 개수가 임계값 이상인 경우), 해당 키 프레임은 삭제한다. 삭제된 키 프레임에는 제1 특징으로 구성된 새로운 키 프레임을 추가하게 된다. 그렇지 않은 경우, 제1 특징을 사용하여 제2 특징이 업데이트되었으므로 키 프레임도 업데이트 하면 된다.For example, the key frame includes information about the position of the robot, related characteristics, and the like. When there are many second features to be deleted due to the newly acquired first feature among the second features included in the key frame (when the number of second features is greater than or equal to the threshold value), the corresponding key frame is deleted. A new key frame composed of the first characteristic is added to the deleted key frame. Otherwise, since the second feature has been updated using the first feature, we just need to update the keyframe as well.
그리고, 지도 업데이트부(150)는 업데이트된 지도를 기반으로 위치 그래프 최적화(pose graph optimization)를 수행하여 업데이트된 지도에 대응되는 위치 그래프(pose graph)를 획득할 수 있다.In addition, the map update unit 150 may obtain a position graph corresponding to the updated map by performing pose graph optimization based on the updated map.
이와 같이, 본 발명은 정적 물체에서 얻어지는 제1 특징을 추정된 로봇의 위치를 통해 업데이트하여 로봇 이동으로 인한 오차를 보정하고, 보정된 제1 특징을 기존의 지도와 매칭하여 기존 지도와 같은 정보일 경우에는 보완하고, 기존 지도에 없던 정보인 경우에는 추가하게 된다. 이때, 키 프레임을 추가하는 상황에서는 단순히 추가하는 것이 아니라, 기존 키 프레임과의 관계인 위치 그래프 최적화(pose graph optimization)를 수행하여 지도 업데이트를 수행한다.As described above, the present invention corrects an error due to robot movement by updating the first characteristic obtained from a static object through the estimated robot position, and matching the corrected first characteristic with the existing map to obtain the same information as the existing map. In this case, it is supplemented, and in the case of information not in the existing map, it is added. At this time, in a situation where a key frame is added, the map update is performed by performing pose graph optimization, which is a relationship with an existing key frame, rather than simply adding it.
이에 따라, 지도는 로봇 위치를 추정하는 동안 고정되어 사용만 하는 것이 아니라, 로봇 위치를 추정하는 동안에도 지속적으로 보완되게 된다. 또한, 위치 그래프 최적화(pose graph optimization)도 함께 수행되므로, 단순히 기존 지도의 정보를 보완하는 것을 넘어 최적의 지도를 유지할 수 있게 된다.Accordingly, the map is not only fixed and used while estimating the robot position, but is continuously supplemented while estimating the robot position. In addition, since pose graph optimization is also performed, it is possible to maintain an optimal map beyond simply supplementing the information of the existing map.
따라서, 본 발명은 종래의 시스템이 가진 동적 환경에서 위치 추정의 정확도가 낮아지는 한계를 넘는 강인한 로봇 위치 추정을 보장할 수 있다.Accordingly, the present invention can ensure robust robot position estimation that exceeds the limit in which the accuracy of position estimation is lowered in a dynamic environment of the conventional system.
그러면, 도 3 내지 도 5를 참조하여 본 발명의 바람직한 실시예에 따른 로봇 위치 추정 및 지도 업데이트 동작에 대하여 설명한다.Then, the robot position estimation and map update operation according to a preferred embodiment of the present invention will be described with reference to FIGS. 3 to 5 .
도 3은 본 발명의 바람직한 실시예에 따른 로봇 위치 추정 및 지도 업데이트 과정을 설명하기 위한 도면이고, 도 4는 본 발명의 바람직한 실시예에 따른 지도 업데이트 이전의 지도 일례를 나타내는 도면이며, 도 5는 본 발명의 바람직한 실시예에 따른 지도 업데이트 이후의 지도 일례를 나타내는 도면이다.3 is a view for explaining a robot position estimation and map update process according to a preferred embodiment of the present invention, FIG. 4 is a view showing an example of a map before map update according to a preferred embodiment of the present invention, FIG. 5 is It is a diagram illustrating an example of a map after map update according to a preferred embodiment of the present invention.
도 3을 참조하면, 위치 추정부(130)는 로봇에 탑재된 센서를 통해 획득된 센서 데이터에서 제1 특징을 획득하고, 제1 특징을 지도에 매칭하여 로봇의 위치를 추정할 수 있다.Referring to FIG. 3 , the
그리고, 위치 추정부(130)는 센서 데이터에서 획득된 제1 특징과 추정된 로봇의 위치를 지도 업데이트부(150)에 제공할 수 있다.In addition, the
그러면, 지도 업데이트부(150)는 추정된 로봇의 위치를 이용하여 제1 특징을 보정하고, 보정된 제1 특징을 이용하여 지도를 업데이트하며, 업데이트된 지도를 기반으로 위치 그래프 최적화(pose graph optimization)를 수행하여, 지도 구축부(110)의 지도를 업데이트하게 된다.Then, the map update unit 150 corrects the first characteristic using the estimated position of the robot, updates the map using the corrected first characteristic, and optimizes the position graph based on the updated map. ) to update the map of the
지도 업데이트 동작에 대하여 자세히 설명하면, 지도 업데이트부(150)는 보정된 제1 특징에 대응되는 지도의 제2 특징을 획득하고, 제1 특징과 제2 특징이 서로 상이한지 확인할 수 있다.The map update operation will be described in detail. The map update unit 150 may obtain a second characteristic of the map corresponding to the corrected first characteristic, and check whether the first characteristic and the second characteristic are different from each other.
제1 특징이 제2 특징과 상이하면, 지도 업데이트부(150)는 제1 특징을 지도에 추가할 지 여부를 확인할 수 있다.If the first characteristic is different from the second characteristic, the map update unit 150 may determine whether to add the first characteristic to the map.
제1 특징이 지도에 추가되는 경우, 지도 업데이트부(150)는 제2 특징과 연관된 키 프레임을 지도에서 획득할 수 있다.When the first feature is added to the map, the map updater 150 may obtain a key frame associated with the second feature from the map.
그런 다음, 획득된 키 프레임이 제1 특징으로 인해 미리 설정된 기준치 이상으로 변경되는 키 프레임이면, 지도 업데이트부(150)는 해당 키 프레임을 지도에서 삭제하고, 제1 특징으로 이루어지는 새로운 키 프레임을 지도에 추가할 수 있다. 이에 반면, 획득된 키 프레임이 제1 특징으로 인해 미리 설정된 기준치 미만으로 변경되는 키 프레임이면, 지도 업데이트부(150)는 해당 키 프레임을 제1 특징을 이용하여 업데이트할 수 있다.Then, if the acquired key frame is a key frame that is changed to a value greater than or equal to a preset reference value due to the first characteristic, the map update unit 150 deletes the corresponding key frame from the map and maps a new key frame including the first characteristic. can be added to On the other hand, if the obtained key frame is a key frame that is changed to less than a preset reference value due to the first characteristic, the map update unit 150 may update the corresponding key frame using the first characteristic.
이에 따라, 본 발명에 따른 로봇 위치 추정 장치(100)는 지도를 기반으로 로봇의 위치를 추정함과 동시에, 도 4에 도시된 바와 같은 지도를 도 5에 도시된 바와 같은 지도로 업데이트를 할 수 있다.Accordingly, the robot
이와 같이, 본 발명에 따른 지도 업데이트의 핵심은 키 프레임의 추가와 삭제에 있다. 키 프레임을 추가만 하게 될 경우, 증가되는 키 프레임으로 인한 위치 그래프(pose graph)의 복잡도 증가로 인해 최적화의 복잡도 또한 증가되고, 이로 인해 최적화 계산량이 증가되어 최적화 실패 또한 많아지게 된다. 따라서, 단순히 키 프레임을 추가하는 것이 아니라, 추가하기 전에 로봇 주변에 가장 오래된 키 프레임이 있는지 확인한 후, 이를 삭제한 뒤 새로운 키 프레임을 다시 추가하여야 한다.As such, the core of the map update according to the present invention is the addition and deletion of key frames. When only adding key frames, the complexity of optimization also increases due to the increase in the complexity of the pose graph due to the increase in key frames, which increases the amount of optimization calculation and thus increases the number of optimization failures. Therefore, rather than simply adding a key frame, before adding, it is necessary to check if there is the oldest key frame around the robot, delete it, and then add a new key frame again.
즉, 오래된 키 프레임과 새로운 키 프레임의 일대일 교체라고 볼 수 있다. 키 프레임을 삭제하는 것은 키 프레임에 소속된 특징들 또한 같이 삭제하는 것이므로, 오래된 지도 정보를 삭제하는다는 것을 의미한다. 키 프레임을 추가하는 것은 키 프레임에 소속된 특징들 또한 같이 추가하는 것이므로, 새로운 지도 정보를 추가한다는 것을 의미한다. 따라서, 오래된 지도 정보는 삭제하고, 새로운 지도 정보를 추가할 수 있게 된다. 물론, 키 프레임이 변경됨으로 인해 위치 그래프(pose graph)의 최적화는 다시 수행하여야 하며, 이로 인해 전체 지도를 보완하게 된다.In other words, it can be viewed as a one-to-one replacement of old keyframes with new keyframes. Deleting a key frame means deleting old map information because features belonging to the key frame are also deleted. Adding a key frame means adding new map information because features belonging to the key frame are also added. Accordingly, old map information can be deleted and new map information can be added. Of course, since the key frame is changed, the optimization of the pose graph must be performed again, which complements the entire map.
이와 같은, 강인한 지도 구축은 초기 지도 구축 과정에서 얻어진 지도에 추가하지 못한 장기간(long-term) 동적 물체로 인한 지도의 변경 사항이나 정적 물체의 변경 또한 지도에 반영할 수 있기 때문에, 동적 환경에서도 지도 구축을 원할히 수행할 수 있고, 이로 인해 보다 향상된 로봇 위치 추정 성능을 보장할 수 있다.Such robust map construction can also reflect changes in the map due to long-term dynamic objects or changes in static objects that were not added to the map obtained in the initial map construction process. The construction can be performed smoothly, which can ensure better robot positioning performance.
여기서, 장기간(long-term) 동적 물체는 단순히 움직이는 물체가 아니라 움직여서 특정 위치에 일정 시간 이상 동안 고정되어 한동안 정적 지도 정보가 될 수 있는 물체를 의미한다.Here, the long-term dynamic object is not simply a moving object, but an object that moves and is fixed at a specific location for a certain period of time or more and can become static map information for a while.
그러면, 도 6 내지 도 9를 참조하여 본 발명의 바람직한 실시예에 따른 동적 환경에 강인한 로봇 위치 추정 방법에 대하여 설명한다.Then, a robot position estimation method robust to a dynamic environment according to a preferred embodiment of the present invention will be described with reference to FIGS. 6 to 9 .
도 6은 본 발명의 바람직한 실시예에 따른 동적 환경에 강인한 로봇 위치 추정 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating a method for estimating a robot position robust to a dynamic environment according to a preferred embodiment of the present invention.
도 6을 참조하면, 로봇 위치 추정 장치(100)는 로봇에 탑재된 센서를 통해 획득된 센서 데이터에서 제1 특징을 획득하고, 구축된 지도를 기반으로 센서 데이터에서 획득된 제1 특징을 이용하여 로봇의 위치를 추정한다(S110).Referring to FIG. 6 , the robot
그런 다음, 로봇 위치 추정 장치(100)는 획득된 제1 특징을 추정된 로봇의 위치를 이용하여 로봇의 이동으로 인한 오차를 보정하고, 지도를 기반으로 보정된 제1 특징을 이용하여 지도를 업데이트한다(S130).Then, the robot
도 7은 도 6에 도시한 지도 업데이트 단계(S130)의 세부 단계를 설명하기 위한 흐름도이다.7 is a flowchart for explaining the detailed steps of the map update step ( S130 ) shown in FIG. 6 .
도 7을 참조하면, 로봇 위치 추정 장치(100)는 보정된 제1 특징을 이용하여 지도를 업데이트할 수 있다(S131).Referring to FIG. 7 , the robot
그런 다음, 로봇 위치 추정 장치(100)는 업데이트된 지도를 기반으로 위치 그래프 최적화(pose graph optimization)를 수행하여 업데이트된 지도에 대응되는 위치 그래프(pose graph)를 획득할 수 있다(S133).Then, the robot
도 8은 도 7에 도시한 지도 업데이트 단계(S131)의 세부 단계를 설명하기 위한 흐름도이다.FIG. 8 is a flowchart for explaining detailed steps of the map update step S131 shown in FIG. 7 .
도 8을 참조하면, 로봇 위치 추정 장치(100)는 제1 특징에 대응되는 지도의 제2 특징을 획득할 수 있다(S131a).Referring to FIG. 8 , the robot
그런 다음, 로봇 위치 추정 장치(100)는 제1 특징과 제2 특징이 상이하면, 제1 특징과 제2 특징을 대비하여 제1 특징을 지도에 추가할 지 여부를 판단할 수 있다(S131b). 이때, 로봇 위치 추정 장치(100)는 포인트 밀도(point denstity)의 변화량 및 특징의 모양 중 적어도 하나를 기반으로 제1 특징이 제2 특징과 상이한 지 여부를 판단할 수 있다. 아울러, 로봇 위치 추정 장치(100)는 특징으로 인한 지도의 변화 유발 정도를 기반으로 제1 특징과 제2 특징을 대비하여 제1 특징을 지도에 추가할 지 여부를 판단할 수 있다.Then, when the first characteristic and the second characteristic are different, the robot
제1 특징이 추가되는 경우, 로봇 위치 추정 장치(100)는 제2 특징과 연관된 키 프레임을 지도에서 획득할 수 있다(S131c).When the first feature is added, the robot
그런 다음, 로봇 위치 추정 장치(100)는 획득된 키 프레임을 제1 특징을 이용하여 업데이트하여, 지도를 업데이트할 수 있다(S131d).Then, the robot
도 9는 도 8에 도시한 지도 업데이트 단계(S131d)의 세부 단계를 설명하기 위한 흐름도이다.9 is a flowchart for explaining the detailed steps of the map update step S131d shown in FIG. 8 .
도 9를 참조하면, 획득된 키 프레임이 제1 특징으로 인해 미리 설정된 기준치 이상으로 변경되는 키 프레임이면(S131d-1-Y), 로봇 위치 추정 장치(100)는 해당 키 프레임을 지도에서 삭제할 수 있다(S131d-2).Referring to FIG. 9 , if the obtained key frame is a key frame that is changed to more than a preset reference value due to the first characteristic (S131d-1-Y), the robot
그런 다음, 로봇 위치 추정 장치(100)는 제1 특징으로 이루어지는 새로운 키 프레임을 지도에 추가할 수 있다(S131d-3).Then, the robot
이에 반면, 획득된 키 프레임이 제1 특징으로 인해 미리 설정된 기준치 이상으로 변경되는 키 프레임이 아니면(S131d-1-N), 로봇 위치 추정 장치(100)는 해당 키 프레임을 제1 특징을 이용하여 업데이트할 수 있다(S131d-4).On the other hand, if the obtained key frame is not a key frame that is changed by more than a preset reference value due to the first characteristic (S131d-1-N), the robot
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록 매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록 매체로서는 자기기록매체, 광 기록매체 등이 포함될 수 있다.Even though all the components constituting the embodiment of the present invention described above are described as being combined or operated in combination, the present invention is not necessarily limited to this embodiment. That is, within the scope of the object of the present invention, all the components may operate by selectively combining one or more. In addition, all of the components may be implemented as one independent hardware, but a part or all of each component is selectively combined to perform some or all of the functions of the combined hardware in one or a plurality of hardware program modules It may be implemented as a computer program having In addition, such a computer program is stored in a computer readable media such as a USB memory, a CD disk, a flash memory, etc., read and executed by a computer, thereby implementing an embodiment of the present invention. The recording medium of the computer program may include a magnetic recording medium, an optical recording medium, and the like.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and various modifications, changes, and substitutions are possible within the range that does not depart from the essential characteristics of the present invention by those of ordinary skill in the art to which the present invention pertains. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are for explaining, not limiting, the technical spirit of the present invention, and the scope of the technical spirit of the present invention is not limited by these embodiments and the accompanying drawings . The protection scope of the present invention should be construed by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present invention.
100 : 로봇 위치 추정 장치,
110 : 지도 구축부,
130 : 위치 추정부,
150 : 지도 업데이트부100: robot position estimation device;
110: map construction unit,
130: location estimation unit;
150: map update unit
Claims (13)
로봇에 탑재된 센서를 통해 획득된 센서 데이터에서 제1 특징을 획득하고, 상기 지도 구축부를 통해 구축된 상기 지도를 기반으로 상기 센서 데이터에서 획득된 상기 제1 특징을 이용하여 상기 로봇의 위치를 추정하는 위치 추정부; 및
상기 위치 추정부를 통해 획득된 상기 제1 특징을 상기 위치 추정부를 통해 추정된 상기 로봇의 위치를 이용하여 상기 로봇의 이동으로 인한 오차를 보정하고, 상기 지도 구축부를 통해 구축된 상기 지도를 기반으로 보정된 상기 제1 특징을 이용하여 상기 지도를 업데이트하는 지도 업데이트부;
를 포함하는 동적 환경에 강인한 로봇 위치 추정 장치.a map construction unit that builds a map;
A first characteristic is obtained from sensor data obtained through a sensor mounted on the robot, and the position of the robot is estimated using the first characteristic obtained from the sensor data based on the map constructed through the map construction unit. a position estimating unit; and
The first characteristic obtained through the position estimator is corrected based on the map constructed through the map construction unit, and an error due to the movement of the robot is corrected using the position of the robot estimated through the position estimator. a map update unit that updates the map by using the first characteristic;
A robot position estimation device that is robust to a dynamic environment comprising a.
상기 지도 업데이트부는,
보정된 상기 제1 특징을 이용하여 상기 지도를 업데이트하고, 업데이트된 상기 지도를 기반으로 위치 그래프 최적화(pose graph optimization)를 수행하여 업데이트된 상기 지도에 대응되는 위치 그래프(pose graph)를 획득하는,
동적 환경에 강인한 로봇 위치 추정 장치.In claim 1,
The map update unit,
To obtain a position graph (pose graph) corresponding to the updated map by updating the map using the corrected first feature, and performing a position graph optimization (pose graph optimization) based on the updated map,
Robot positioning device that is robust to dynamic environments.
상기 지도 업데이트부는,
보정된 상기 제1 특징에 대응되는 상기 지도의 제2 특징과 연관된 키 프레임(key frame)을 상기 지도에서 획득하고, 획득된 상기 키 프레임을 상기 제1 특징을 이용하여 업데이트하여, 상기 지도를 업데이트하는,
동적 환경에 강인한 로봇 위치 추정 장치.In claim 2,
The map update unit,
A key frame associated with a second characteristic of the map corresponding to the corrected first characteristic is acquired from the map, and the obtained key frame is updated using the first characteristic to update the map doing,
Robot positioning device that is robust to dynamic environments.
상기 지도 업데이트부는,
획득된 상기 키 프레임 중에서 상기 제1 특징으로 인해 미리 설정된 기준치 이상으로 변경되는 키 프레임을 상기 지도에서 삭제하고, 획득된 상기 키 프레임 중에서 상기 제1 특징으로 인해 상기 기준치 미만으로 변경되는 키 프레임을 상기 제1 특징을 이용하여 업데이트하는,
동적 환경에 강인한 로봇 위치 추정 장치.In claim 3,
The map update unit,
From the obtained key frames, a key frame that is changed by more than a preset reference value due to the first characteristic is deleted from the map, and a key frame that is changed to less than the reference value due to the first characteristic from among the obtained key frames is said updating using the first feature,
Robot positioning device that is robust to dynamic environments.
상기 지도 업데이트부는,
상기 지도에서 키 프레임이 삭제되는 경우, 상기 제1 특징으로 이루어지는 새로운 키 프레임을 상기 지도에 추가하는,
동적 환경에 강인한 로봇 위치 추정 장치.In claim 4,
The map update unit,
adding a new key frame comprising the first feature to the map when a key frame is deleted from the map;
Robot positioning device that is robust to dynamic environments.
상기 지도 업데이트부는,
상기 제1 특징과 상기 제2 특징을 대비하여 상기 제1 특징이 상기 제2 특징과 상이하면, 상기 제1 특징과 상기 제2 특징을 대비하여 상기 제1 특징을 상기 지도에 추가할 지 여부를 판단하고, 상기 제1 특징이 상기 지도에 추가되는 경우 상기 제2 특징과 연관된 키 프레임을 상기 지도에서 획득하는,
동적 환경에 강인한 로봇 위치 추정 장치.In claim 3,
The map update unit,
If the first characteristic is different from the second characteristic in comparison with the first characteristic and the second characteristic, it is determined whether to add the first characteristic to the map in comparison with the first characteristic and the second characteristic determining, when the first characteristic is added to the map, obtaining a keyframe associated with the second characteristic from the map;
Robot positioning device that is robust to dynamic environments.
상기 지도 업데이트부는,
포인트 밀도(point denstity)의 변화량 및 특징의 모양 중 적어도 하나를 기반으로 상기 제1 특징이 상기 제2 특징과 상이한 지 여부를 판단하는,
동적 환경에 강인한 로봇 위치 추정 장치.In claim 6,
The map update unit,
determining whether the first characteristic is different from the second characteristic based on at least one of a change amount of point density and a shape of the characteristic,
Robot positioning device that is robust to dynamic environments.
상기 지도 업데이트부는,
특징으로 인한 지도의 변화 유발 정도를 기반으로 상기 제1 특징과 상기 제2 특징을 대비하여 상기 제1 특징을 상기 지도에 추가할 지 여부를 판단하는,
동적 환경에 강인한 로봇 위치 추정 장치.In claim 6,
The map update unit,
determining whether to add the first feature to the map in comparison with the first feature and the second feature based on the degree of inducing change in the map due to the feature,
Robot positioning device that is robust to dynamic environments.
획득된 상기 제1 특징을 추정된 상기 로봇의 위치를 이용하여 상기 로봇의 이동으로 인한 오차를 보정하고, 상기 지도를 기반으로 보정된 상기 제1 특징을 이용하여 상기 지도를 업데이트하는 단계;
를 포함하는 동적 환경에 강인한 로봇 위치 추정 방법.acquiring a first characteristic from sensor data acquired through a sensor mounted on the robot, and estimating a position of the robot using the first characteristic acquired from the sensor data based on a built map; and
correcting an error due to movement of the robot using the obtained first characteristic and the estimated position of the robot, and updating the map using the corrected first characteristic based on the map;
A method for estimating robot position that is robust to a dynamic environment, including
상기 지도 업데이트 단계는,
보정된 상기 제1 특징을 이용하여 상기 지도를 업데이트하고, 업데이트된 상기 지도를 기반으로 위치 그래프 최적화(pose graph optimization)를 수행하여 업데이트된 상기 지도에 대응되는 위치 그래프(pose graph)를 획득하는 것으로 이루어지는,
동적 환경에 강인한 로봇 위치 추정 방법.In claim 9,
The map update step is
By updating the map using the corrected first feature, and performing pose graph optimization based on the updated map, a position graph corresponding to the updated map is obtained. made,
Robust robot position estimation method in dynamic environment.
상기 지도 업데이트 단계는,
보정된 상기 제1 특징에 대응되는 상기 지도의 제2 특징과 연관된 키 프레임(key frame)을 상기 지도에서 획득하고, 획득된 상기 키 프레임을 상기 제1 특징을 이용하여 업데이트하여, 상기 지도를 업데이트하는 것으로 이루어지는,
동적 환경에 강인한 로봇 위치 추정 방법.In claim 10,
The map update step is
A key frame associated with a second characteristic of the map corresponding to the corrected first characteristic is acquired from the map, and the obtained key frame is updated using the first characteristic to update the map made by doing
Robust robot position estimation method in dynamic environment.
상기 지도 업데이트부는,
획득된 상기 키 프레임 중에서 상기 제1 특징으로 인해 미리 설정된 기준치 이상으로 변경되는 키 프레임을 상기 지도에서 삭제하고, 획득된 상기 키 프레임 중에서 상기 제1 특징으로 인해 상기 기준치 미만으로 변경되는 키 프레임을 상기 제1 특징을 이용하여 업데이트하는 것으로 이루어지는,
동적 환경에 강인한 로봇 위치 추정 방법.In claim 11,
The map update unit,
From the obtained key frames, a key frame that is changed by more than a preset reference value due to the first characteristic is deleted from the map, and a key frame that is changed to less than the reference value due to the first characteristic from among the obtained key frames is said which consists of updating using the first feature,
Robust robot position estimation method in dynamic environment.
A computer program stored in a computer-readable recording medium in order to execute the method for estimating the robot position robust to the dynamic environment according to any one of claims 9 to 12 in a computer.
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| EP21892362.1A EP4245474A1 (en) | 2020-11-12 | 2021-11-12 | Robot system |
| PCT/KR2021/016525 WO2022103195A1 (en) | 2020-11-12 | 2021-11-12 | Robot system |
| US18/316,160 US20240078774A1 (en) | 2020-11-12 | 2023-05-11 | Apparartus and method for editing 3d slam data |
| US18/316,167 US20240077881A1 (en) | 2020-11-12 | 2023-05-11 | Apparatus for detecting and removing dynamic obstacle for robot and operating method thereof |
| US18/316,145 US20240085188A1 (en) | 2020-11-12 | 2023-05-11 | Apparatus and method for localizing robot having robustness to dynamic environments |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200151000 | 2020-11-12 | ||
| KR20200151000 | 2020-11-12 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220064883A true KR20220064883A (en) | 2022-05-19 |
| KR102556355B1 KR102556355B1 (en) | 2023-07-17 |
Family
ID=81801079
Family Applications (3)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210073734A KR102556355B1 (en) | 2020-11-12 | 2021-06-07 | Apparatus and method for localization of robot having robustness to dynamic environments |
| KR1020210073735A KR20220064884A (en) | 2020-11-12 | 2021-06-07 | Apparatus and method for editing 3D SLAM data |
| KR1020210153743A KR102651025B1 (en) | 2020-11-12 | 2021-11-10 | Apparatus and for detecting and removing dynamic obstacle of robot and operating method thereof |
Family Applications After (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210073735A KR20220064884A (en) | 2020-11-12 | 2021-06-07 | Apparatus and method for editing 3D SLAM data |
| KR1020210153743A KR102651025B1 (en) | 2020-11-12 | 2021-11-10 | Apparatus and for detecting and removing dynamic obstacle of robot and operating method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (3) | KR102556355B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN115979248A (en) * | 2023-03-17 | 2023-04-18 | 上海仙工智能科技有限公司 | Map updating method and system based on positioning pose as constraint and storage medium |
| WO2024066980A1 (en) * | 2022-09-26 | 2024-04-04 | 华为云计算技术有限公司 | Relocalization method and apparatus |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102517351B1 (en) | 2022-08-19 | 2023-04-03 | 주식회사 트위니 | Transport robot capable of discriminating temporary obstacle and temporary obstacle removal method |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120043096A (en) * | 2009-08-31 | 2012-05-03 | 니토 로보틱스 인코퍼레이티드 | Method and apparatus for simultaneous localization and mapping of mobile robot environment |
| KR20180113060A (en) * | 2017-04-05 | 2018-10-15 | 충북대학교 산학협력단 | Keyframe extraction method for graph-slam and apparatus using thereof |
| KR20200111587A (en) * | 2019-03-19 | 2020-09-29 | 한국전자통신연구원 | Method for managing a feature map and apparatus for the same |
| KR20200119394A (en) * | 2019-03-27 | 2020-10-20 | 엘지전자 주식회사 | Moving robot and control method thereof |
| KR20200143217A (en) * | 2019-06-14 | 2020-12-23 | 엘지전자 주식회사 | How to update a map in Fusion Slam and a robot that implements it |
-
2021
- 2021-06-07 KR KR1020210073734A patent/KR102556355B1/en active IP Right Grant
- 2021-06-07 KR KR1020210073735A patent/KR20220064884A/en not_active Application Discontinuation
- 2021-11-10 KR KR1020210153743A patent/KR102651025B1/en active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120043096A (en) * | 2009-08-31 | 2012-05-03 | 니토 로보틱스 인코퍼레이티드 | Method and apparatus for simultaneous localization and mapping of mobile robot environment |
| KR20180113060A (en) * | 2017-04-05 | 2018-10-15 | 충북대학교 산학협력단 | Keyframe extraction method for graph-slam and apparatus using thereof |
| KR20200111587A (en) * | 2019-03-19 | 2020-09-29 | 한국전자통신연구원 | Method for managing a feature map and apparatus for the same |
| KR20200119394A (en) * | 2019-03-27 | 2020-10-20 | 엘지전자 주식회사 | Moving robot and control method thereof |
| KR20200143217A (en) * | 2019-06-14 | 2020-12-23 | 엘지전자 주식회사 | How to update a map in Fusion Slam and a robot that implements it |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024066980A1 (en) * | 2022-09-26 | 2024-04-04 | 华为云计算技术有限公司 | Relocalization method and apparatus |
| CN115979248A (en) * | 2023-03-17 | 2023-04-18 | 上海仙工智能科技有限公司 | Map updating method and system based on positioning pose as constraint and storage medium |
| CN115979248B (en) * | 2023-03-17 | 2023-08-18 | 上海仙工智能科技有限公司 | Map updating method and system based on positioning pose as constraint and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220064913A (en) | 2022-05-19 |
| KR102556355B1 (en) | 2023-07-17 |
| KR102651025B1 (en) | 2024-03-25 |
| KR20220064884A (en) | 2022-05-19 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20220064883A (en) | Apparatus and method for localization of robot having robustness to dynamic environments | |
| KR102652742B1 (en) | Method and device for identifying updated road, electronic equipment and computer storage medium | |
| Chen et al. | Recovering the missing components in a large noisy low-rank matrix: Application to SFM | |
| JP7252188B2 (en) | Image processing system, image processing method and program | |
| CN111462207A (en) | RGB-D simultaneous positioning and map creation method integrating direct method and feature method | |
| CN109584302B (en) | Camera pose optimization method, camera pose optimization device, electronic equipment and computer readable medium | |
| US10636165B2 (en) | Information processing apparatus, method and non-transitory computer-readable storage medium | |
| CN110751674A (en) | Multi-target tracking method and corresponding video analysis system | |
| US20180322364A1 (en) | Information processing apparatus, image processing method, and computer-readable recording medium recording image processing program | |
| US11416705B2 (en) | Model learning device, method for learned model generation, program, learned model, monitoring device, and monitoring method | |
| US20200387553A1 (en) | Digitization of technical documentation driven by machine learning | |
| US10296798B2 (en) | System and method of selecting a keyframe for iterative closest point | |
| US20210374440A1 (en) | On-road obstacle detection device, on-road obstacle detection method, and recording medium | |
| US20240085188A1 (en) | Apparatus and method for localizing robot having robustness to dynamic environments | |
| US9910878B2 (en) | Methods for processing within-distance queries | |
| US20190228314A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| CN116753969A (en) | Laser inertia SLAM method under high dynamic environment | |
| JP7174298B2 (en) | Difference detection device, difference detection method and program | |
| CN114332168A (en) | Pedestrian tracking method, pedestrian tracking system, electronic device and storage medium | |
| JP6570905B2 (en) | Graph display device, graph display program, and computer-readable storage medium storing graph display program | |
| KR101935969B1 (en) | Method and apparatus for detection of failure of object tracking and retracking based on histogram | |
| KR101508842B1 (en) | Systme and method for providign evolutionary adaptive eye tracking for low-cost human computer interaction application | |
| KR20230029120A (en) | Method and apparatus for estimating location of a moving object and generating map using fusion of point feature and surfel feature | |
| CN114236552B (en) | Repositioning method and repositioning system based on laser radar | |
| WO2020066755A1 (en) | Learning model generation device, ground object change determination device, learning model generation method, ground object change determination method, and computer-readable recording medium |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |