KR101941852B1 - 그래프 slam을 위한 키프레임 추출방법 및 이를 이용한 slam 장치 - Google Patents

그래프 slam을 위한 키프레임 추출방법 및 이를 이용한 slam 장치 Download PDF

Info

Publication number
KR101941852B1
KR101941852B1 KR1020170044262A KR20170044262A KR101941852B1 KR 101941852 B1 KR101941852 B1 KR 101941852B1 KR 1020170044262 A KR1020170044262 A KR 1020170044262A KR 20170044262 A KR20170044262 A KR 20170044262A KR 101941852 B1 KR101941852 B1 KR 101941852B1
Authority
KR
South Korea
Prior art keywords
frame
key frame
feature
matching
key
Prior art date
Application number
KR1020170044262A
Other languages
English (en)
Other versions
KR20180113060A (ko
Inventor
김곤우
양은성
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020170044262A priority Critical patent/KR101941852B1/ko
Publication of KR20180113060A publication Critical patent/KR20180113060A/ko
Application granted granted Critical
Publication of KR101941852B1 publication Critical patent/KR101941852B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0257—Control of position or course in two dimensions specially adapted to land vehicles using a radar
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274—Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/13—Edge detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/56—Particle system, point based geometry or rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 그래프 SLAM에 관한 것으로서, 복수의 프레임 정보를 누적하여 키프레임을 생성함으로써, 키프레임에 포함되어 있는 정보의 량이 풍부하여 루프 클로져 검출을 가능케 한다. 루프 클로져가 갖는 자세변화 정보를 바탕으로 그래프를 최적화할 수 있으므로, 보다 정확한 그래프 SLAM을 달성할 수 있다.

Description

그래프 SLAM을 위한 키프레임 추출방법 및 이를 이용한 SLAM 장치 {KEYFRAME EXTRACTION METHOD FOR GRAPH-SLAM AND APPARATUS USING THEREOF}
본 발명은 로봇의 동시적 위치인식 및 지도작성 (SLAM) 에 관한 것으로서, 더 구체적으로는 그래프 SLAM을 위한 키프레임 추출방법에 관한 것이다.
로봇이 실생활 공간에서 동작을 하기 위해서, 로봇은 특정 센서를 통해 로봇이 동작하는 주변환경에 관한 정보를 탐지하고 이를 기반으로 자신의 위치를 인식하는 것이 필요하다. 이러한 기술을 SLAM (Simultaneous Localization And Mapping) 이라고 한다.
최근에 증강현실이나 자동차의 자율주행에 관한 연구가 활발하게 진행됨에 따라, SLAM 문제의 중요성은 더욱 대두되고 있다. 특히, 자율주행 자동차가 효율적으로 주행하기 위해서는 센서로부터 취득한 정보를 통하여 주행중인 자동차 주변에 관한 정밀한 환경지도가 필수적이며, 이러한 지도작성에는 자동차의 정밀한 위치인식이 수반되어야 한다.
한편, 정밀한 위치인식을 위해서는 고정밀 GPS와 같은 고가 장비를 사용하여야 하지만, 이와 같은 고가 GPS 장비도 도심과 같이 음영지역이 빈발하는 환경에서는 무용지물이 될 수 있다.
따라서, 최근에는 GPS와 같은 고가의 위치인식 센서를 사용하기 보다는 저가 센서를 상호 보완적으로 사용함으로써 위치오차를 보정해가며 동시에 정밀한 지도작성을 할 수 있는 SLAM 기술에 대한 연구가 활발하게 이루어지고 있다. 거리센서나 비전센서를 예로 들 수 있다.
비전 센서의 경우, 단안 카메라, 양안 카메라, 및 전방위 카메라 등이 사용된다. 이들 비전 센서는 거리 센서에 비하여 보다 풍부한 정보를 획득할 수 있다는 장점이 있으나, 양안 카메라를 제외하고는 거리 정보를 특정할 수 없다는 단점이 있다.
비전 센서는 초기화를 통해 상대거리를 특정하여 스케일 팩터로 사용함으로써, 상술한 단점을 극복할 수 있지만, 카메라가 이동함에 따라 오차가 누적되어 스케일 값이 변하는 스케일 드리프트라는 별도의 문제를 야기한다.
거리센서로는 3D LiDAR나 2D LiDAR가 사용되며, 일반적으로 비전 센서에 비하여 정보량이 적다는 단점이 있으나, 최근에는 3D LiDAR의 가격이 하락함에 따라, 획득가능한 정보량이 상대적으로 많은 3D LiDAR가 많이 사용되고 있는 추세이다.
일반적으로, 3D LiDAR를 사용한 SLAM의 경우에는 로봇의 전체 궤적을 이용하여 지도를 최적화하는 Full SLAM 알고리즘보다는 로봇의 현 위치와 직전 위치간의 연관관계만을 이용하여 현재 위치를 추정하고 이를 기반으로 지도를 작성하는 On-line SLAM 알고리즘이 사용하며 이러한 방법을 사용한 3D LiDAR 기반의 지도작성 방법들을 TAM(Tracking And Mapping) 이라고 한다.
3D LiDAR를 사용한 TAM 방법의 경우 LiDAR의 긴 측정거리 덕분에 실내 환경이나, 구분이 용이한 실외 환경에서는 만족스러운 성능을 보이지만, 정보량이 충분하지 못한 환경이나 자동차와 같이 빠른 속도로 이동하는 플랫폼에서는 오차 누적으로 인하여 SLAM을 진행하면 할 수록 위치오차가 증가하는 문제가 있다. 더욱이, 3D LiDAR 를 사용한 TAM 방법으로는 SLAM분야의 중요한 이슈중 하나인 루프 클로져 검출이 용이하지 않기 때문에 누적오차를 적절히 보정할 수 없다는 문제가 있다.
본 발명은 3D LiDAR 를 사용하면서도 기존의 TAM 방법이 갖는 전술한 문제점을 해결하기 위하여, 개선된 그래프 SLAM방법을 제안한다. 그래프 SLAM 방법은 노드로 정의되는 플랫폼의 위치들간의 상관관계를 얻고 이를 최적화하는 방법으로서, 최적화를 위해서는 각 노드간의 충분한 상관관계 정보가 필요하다. 이러한 정보가 충분한 노드를 검출하기 위해서는 센서로부터 획득된 정보가 충분히 많은 센서 프레임에서 노드를 구성할 필요가 있고 이러한 충분한 정보를 가지고 있는 센서 정보를 키프레임이라고 한다.
한편, 3D LiDAR 거리 센서가 각 노드에서 획득하는 점구름 정보는 z축에 대한 정보가 연속적이지 않기 때문에, 하나의 프레임에 포함된 점구름 정보를 키프레임으로 사용하여 그래프 SLAM을 구현하기에는 정보량이 부족하다.
따라서, 본발명은 3D LiDAR을 센서로서 사용하면서 효율적인 그래프 SLAM을 구현하기 위하여, 복수의 프레임에 포함된 점구름 정보를 누적하여 키프레임을 추출하는 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 복수의 프레임에 포함된 점구름 정보를 누적하여 키프레임을 추출하는 방법을 사용하여 그래프 SLAM을 구현하는 방법 및 장치를 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따르는 그래프 SLAM을 위한 키프레임 추출방법은 하나 이상의 센서로부터 제1프레임을 입력받아 특징부를 검출하고 검출된 특징부를 키프레임으로 설정하는 단계, 하나 이상의 센서로부터 제2프레임을 입력받아 특징부를 검출하고 검출된 특징부를 키프레임과 매칭하는 단계 및 매칭된 제2프레임의 특징부를 키프레임에 누적하여 키프레임을 갱신하는 단계를 포함하며, 제2프레임에 후속하여 입력되는 프레임들에 대하여 매칭하는 단계 및 키프레임을 갱신하는 단계를 반복하여 실행할 수 있다.
본 발명의 일 실시예에 따르는 그래프 SLAM을 위한 키프레임 추출방법에서 매칭하는 단계는 키프레임 또는 갱신된 키프레임과 제2프레임 또는 후속하여 입력되는 프레임간의 자세변화를 계산하고, 자세변화에 기초하여 특징부를 매칭할 수 있다.
본 발명의 일 실시예에 따르는 그래프 SLAM을 위한 키프레임 추출방법에서, 하나 이상의 센서는 SLAM 장치에 탑재되어 있으며, 매칭하는 단계 및 키프레임을 갱신하는 단계를 반복하는 회수는, 누적되는 프레임의 개수, SLAM 장치의 누적 이동거리, 및 누적되는 특징부의 개수 중 적어도 하나에 따라 결정될 수 있다.
본 발명의 일 실시예에 따르는 그래프 SLAM을 위한 키프레임 추출방법에서, 매칭하는 단계 및 키프레임을 갱신하는 단계는, 누적되는 프레임의 개수가 제1소정값보다 크고, SLAM 장치의 누적 이동거리가 제2소정값보다 크고, 누적되는 특징부의 개수가 제3소정값보다 큰 경우, 매칭하는 단계 및 키프레임을 갱신하는 단계를 반복하여 실행하는 것을 종료하고 키프레임을 결정할 수 있다.
본 발명의 일 실시예에 따르는 그래프 SLAM을 위한 키프레임 추출방법에서는 특징부로서 프레임의 에지 포인트와 플래너 포인트의 두 가지 특징들을 사용한다.
본 발명의 다른 일 실시예에 따르는 그래프 SLAM방법은 전술한 키프레임 추출방법을 사용하여 각각이 그래프상의 각 노드에 해당하는 복수의 키프레임을 결정하는 단계, 복수의 키프레임들간의 유사도 매칭을 통하여 루프 클로져를 검출하는 단계, 및 루프 클로져가 검출되면, 검출된 루프 클로져를 이용하여 그래프를 최적화하는 단계를 포함할 수 있다.
본 발명의 다른 일 실시예에 따르는 그래프 SLAM방법에서 루프 클로져를 검출하는 단계는, 복수의 키프레임들간 ICP (Iterative Closet Point) 매칭 유사도가 소정값 이상인 키프레임들을 검출하여 루프 클로져로서 결정할 수 있다.
본 발명의 다른 일 실시예에 따르는 그래프 SLAM방법에서, 그래프를 최적화하는 단계는, 루프 클로져로서 결정된 키프레임들간의 자세변화에 기초하여 그래프를 최적화할 수 있다.
본 발명의 다른 일 실시예에 따르는 그래프 SLAM을 위한 키프레임 추출장치는, 하나 이상의 센서로부터 복수의 프레임을 입력받아 프레임단위로 특징부를 검출하는 특징부 검출 유닛, 특징부 검출 유닛에 의하여 검출된 특징부와 키프레임을 매칭하는 매칭 유닛 및 매칭된 특징부를 키프레임에 누적하여 키프레임을 갱신하는 키프레임 추출 유닛을 포함하며, 키프레임 추출 유닛은 제1프레임의 특징부를 키프레임으로 설정하고, 제1프레임에 후속하는 프레임들의 특징부가 매칭 유닛에 의하여 매칭되면 매칭된 특징부들을 키프레임에 누적하여 키프레임을 갱신하는 것을 반복하여 실행함으로써 키프레임을 추출할 수 있다.
본 발명의 다른 일 실시예에 따르는 그래프 SLAM을 위한 키프레임 추출장치에서, 매칭 유닛은 키프레임과 제1프레임에 후속하는 프레임들간의 자세변화를 계산하고, 자세변화에 기초하여 각 프레임의 특징부를 키프레임과 매칭할 수 있다.
본 발명의 다른 일 실시예에 따르는 그래프 SLAM을 위한 키프레임 추출장치에서, 하나 이상의 센서는 SLAM 장치에 탑재되어 있으며, 키프레임 추출 유닛은, 누적되는 프레임의 개수, SLAM 장치의 누적 이동거리, 및 누적되는 특징부의 개수가 정해 놓은 각각의 소정값보다 작은 동안 키프레임을 갱신하는 것을 반복적으로 실행할 수 있다.
본 발명의 다른 일 실시예에 따르는 그래프 SLAM을 위한 키프레임 추출장치에서, 키프레임 추출 유닛은, 누적되는 프레임의 개수가 제1소정값보다 크고, SLAM 장치의 누적 이동거리가 제2소정값보다 크고, 누적되는 특징부의 개수가 제3소정값보다 큰 경우, 키프레임을 갱신하는 것을 종료하고 키프레임을 결정할 수 있다.
본 발명의 다른 일 실시예에 따르는 그래프 SLAM을 위한 키프레임 추출장치에서, 특징부로서 프레임의 에지 포인트와 플래너 포인트의 두 가지 특징들을 사용한다. 본 발명의 다른 일 실시예에 따르는 그래프 SLAM장치는, 각각이 그래프상의 각 노드에 해당하는 복수의 키프레임을 결정하는 키프레임 추출유닛, 복수의 키프레임들간의 유사도 매칭을 통하여 루프 클로져를 검출하는 루프 클로져 검출 유닛, 및 루프 클로져가 검출되면, 검출된 루프 클로져를 이용하여 그래프를 최적화하는 그래프 최적화 유닛을 포함할 수 있다.
본 발명의 다른 일 실시예에 따르는 그래프 SLAM장치에서, 루프 클로져 검출 유닛은, 복수의 키프레임들간 ICP (Iterative Closet Point) 매칭 유사도가 소정값 이상인 키프레임들을 루프 클로져로서 결정할 수 있다.
본 발명의 다른 일 실시예에 따르는 그래프 SLAM장치에서, 그래프 최적화 유닛은 루프 클로져로서 결정된 키프레임들간의 자세변화에 기초하여 그래프를 최적화할 수 있다.
본 발명의 다른 일 실시예에 따르는 그래프 SLAM을 위한 키프레임 추출장치 또는 이를 사용한 그래프 SLAM장치는 하나 이상의 프로세서에 의하여 구현될 수 있다.
상술한 바와 같이, 본 발명에서 제안한 다양한 실시예에 따라 본발명은 3D LiDAR을 센서로서 사용하면서 효율적인 그래프 SLAM을 구현하기 위하여, 복수의 프레임에 포함된 점구름 정보를 누적하여 키프레임을 추출하는 방법과 이를 사용하여 그래프 SLAM을 구현하는 방법 및 장치를 제공한다.
도 1은 SLAM을 설명하기 위한 블럭도이다.
도 2는 16계층 3D LiDAR 센서를 통해 획득한 점구름 정보의 일 예를 도시한다.
도 3은 본 발명의 일 실시예에 따른 키프레임 추출방법을 설명하기 위한 흐름도이다.
도 4는 3D LiDAR로부터 입력된 점구름 정보로부터 추출된 특징부의 일 예를 도시한다.
도 5는 본 발명의 일 실시예에 따라 복수의 프레임 정보를 누적하여 생성한 키프레임의 일 예를 도시한다.
도 6은 본 발명에 따른 키프레임 추출절차를 사용한 그래프 SLAM 방법의 일 예를 설명하기 위한 흐름도이다.
도 7은 본 발명에 따른 그래프 SLAM에서의 그래프 구성 개념도이다.
도 8은 본 발명의 일 실시예에 따른 그래프 SLAM에서 생성한 그래프의 일 예를 도시한다.
도 9는 본 발명의 일 실시예에 따른 그래프 SLAM을 위한 키프레임 추출장치를 도시한 블럭도이다.
도 10은 본 발명의 일 실시예에 따른 그래프 SLAM 장치를 도시한 블럭도이다.
도 11은 본 발명의 일 실시예에 따른 키프레임 추출장치 또는 그래프 SLAM장치를 마이크로 프로세서로 구현한 예를 도시한 블럭도이다.
본 명세서에서 개시된 실시예의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 개시에서 제안하고자 하는 실시예는 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 당해 기술분야에서 통상의 지식을 가진 자에게 실시예들의 범주를 완전하게 알려주기 위해 제공되는 것일 뿐이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 개시된 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 개시된 실시예들의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 관련 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 상세한 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 명세서의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서의 단수의 표현은 문맥상 명백하게 단수인 것으로 특정하지 않는 한, 복수의 표현을 포함한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에서 사용되는 "부"라는 용어는 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, "부"는 어떤 역할들을 수행한다. 그렇지만 "부"는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. "부"는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 "부"는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 "부"들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 "부"들로 결합되거나 추가적인 구성요소들과 "부"들로 더 분리될 수 있다.
아래에서는 첨부한 도면을 참고하여 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략한다.
도 1은 이동하는 물체가 자신의 위치를 인식하며 지도를 작성 (SLAM) 하는 상황을 단순화하여 도시한다. 이동하는 물체, 예컨대 자동차는 도 1에 도시된 궤적을 따라 주행하면서 3D LiDAR 센서로 주변환경 (A, B, C)을 인식한다. 자동차가 P1위치에 있을 때에는 주변환경 (A, B)을 인식하고, P2위치에 있을 때에는 주변환경 (B, C)를 인식한다. 또한, 자동차는 자동차가 P1과 P2사이를 이동한 주행거리를 주행거리측정 (Odometry) 을 통해 인식할 수 있다. 자동차는 이들 정보를 조합하여 자동차의 현재 위치를 인식하며 또한 주변환경을 지도로 작성한다.
그러나, 전술한 정보들, 즉 주행거리측정값과 주변환경정보측정값에는 오차가 있을 수 있다. 더욱이, 측정이 진행될 수록 측정값의 오차는 누적될 수 있다. 따라서, 이를 토대로 작성된 지도나 자동차가 인식하는 위치는 적절히 최적화 또는 보정될 필요가 있다.
도 2는 16계층 3D LiDAR 센서를 통해 획득한 점구름 정보의 일 예를 도시한다. 3D LiDAR의 경우 센서 어레이가 몇 계층으로 이루어져 있는가에 따라 차이가 있으나, 일반적으로 16개 정도의 저계층 센서는 z축 정보량이 충분하지 않기 때문에 하나의 프레임 데이터를 그래프 SLAM을 위한 키프레임으로 사용하기에는 적합하지 않다. 즉, x축이나 y축의 경우와는 달리, z축의 경우에는 거리가 멀어짐에 따라 각 계층간의 거리가 멀어지게 되고 이로 인해 탐지되는 정보량이 부족하게 된다. 따라서, 본 발명에서는 하나의 프레임만으로 키프레임을 생성하는 것이 아니고, 복수의 프레임을 누적하여 키프레임을 생성 또는 추출하는 방법을 제안한다.
도 3은 키프레임 추출방법을 설명하기 위한 흐름도이다. 흐름도에서 사용되는 용어는 다음과 같이 정의된다. Kn은 키프레임값이며, FRn은 키프레임에 누적되는 프레임 개수이며, Dn은 플랫폼 (센서가 탑재되어 있는 이동체) 의 누적 이동거리, FEn는 하나의 프레임에서 검출된 특징부의 개수이며, thfr는 키프레임에 누적되는 프레임 개수 문턱값이며, thdist는 플랫폼의 누적 이동거리 문턱값이며, thfe는 키프레임에 누적되는 특징부의 개수의 문턱값이다.
n번째 키프레임 추출 알고리즘이 시작되면 단계 100에서 Kn, FRn, Dn, 및 FEn이 초기화된다. 그 후 단계 110에서 플랫폼 (예컨대 자동차)에 탑재된 센서 (예컨데 3D LiDAR)에 의하여 관측된 프레임이 입력된다. 이때 입력되는 정보는 도 2에 도시된 바와 같은 점구름 정보형태일 수 있다.
단계 120에서 입력된 프레임의 특징부를 검출한다. 본 발명에서는 센서로부터 입력되는 프레임의 점구름 정보 전체를 그대로 키프레임에 누적하기 보다는 프레임의 점구름 정보로부터 특징부를 검출하고, 특징부만을 키프레임에 누적한다.
원본 점구름 정보대신에 사용되는 특징부는 플레너 포인트와 에지 포인트 등이 있다. 플레너 포인트는 3D LiDAR의 한 계층에서 입력받은 점들 중 연속적으로 이어져 평면으로 인식될 수 있는 점들이며, 에지 포인트는 플레너 포인트의 마지막 점 또는 두드러지게 변하는 특이점으로 정의된다.
도 4는 3D LiDAR로부터 입력된 점구름 정보로부터 추출된 특징부의 일 예를 도시한다. 여기서 플레너 포인트는 빨간색으로 표시되어 있으며, 에지 포인트는 파란색으로 표시되어 있다.
단계 130에서 키프레임과 특징부를 매칭한다. 플랫폼에 탑재된 3D LiDAR 센서는 플랫폼이 이동함에 따라 함께 움직이므로 3D LiDAR 센서가 탐지하는 프레임 정보 또는 그 프레임 정보로부터 얻어진 특징부를 그대로 키프레임에 누적할 수는 없으며, 각 프레임이 얻어진 시점에서의 플랫폼의 자세정보와 키프레임의 자세정보를 매칭시킨 후 누적하여야 한다. 따라서, 입력된 프레임과 키프레임간의 자세변화를 계산하여 이를 기초로 키프레임과 특징부를 매칭시킨다.
단계 140에서 특징부를 키프레임에 누적한다. 도 5는 특징부를 누적한 키프레임의 일 예를 도시한다. 본 발명은 복수의 프레임 정보를 누적한 키프레임을 사용함으로써 3D LiDAR 센서의 정보부족 문제를 해결할 뿐만 아니라, 프레임 정보를 그대로 사용하지 않고 프레임의 특징부만을 사용하여 키프레임에 누적한다. 따라서, 저용량의 메모리에서도 구현이 가능하며, 자세정보를 추출하는데 요구되는 계산량도 줄일 수 있다.
단계 150에서 키프레임에 누적된 프레임의 개수 (FRn), 플랫폼의 누적 이동거리 (Dn), 및 키프레임에 누적된 특징부의 개수 (FEn)가 갱신된다.
단계 160에서 키프레임에 누적된 프레임의 개수 (FRn), 플랫폼의 누적 이동거리 (Dn), 및 키프레임에 누적된 특징부의 개수 (FEn)가 각각의 문턱값과 비교된다. 단계 110부터 단계150은 누적된 프레임 개수가 해당 문턱값보다 크고, 플랫폼의 누적 이동거리가 해당 문턱값보다 크며, 누적된 특징부의 개수가 해당 문턱값보다 커질 때까지 반복되며, 이들 3가지 조건이 만족되면 키프레임의 누적 프로세스를 종료하고, 키프레임을 출력 (단계 170) 하는 것으로서 키프레임 추출 절차를 종료한다.
상술한 바와 같은 키프레임 추출 절차는 그래프 SLAM 프로세스의 각 노드에 대하여 반복적으로 수행된다. 즉, 각 노드마다 키프레임이 추출되며, 추출된 키프레임을 사용하여 SLAM 프로세스를 수행한다.
도 6은 본 발명에 따른 키프레임 추출절차를 사용한 그래프 SLAM 방법의 일 예를 설명하기 위한 흐름도이며, 도 7은 본 발명에 따른 그래프 SLAM에서의 그래프 구성 개념도이다. 이하에서는 도 6 및 도 7을 참조하여 본 발명의 일 실시예에 따른 그래프 SLAM을 설명한다.
단계 200에서 각 노드별로 키프레임을 추출하고 저장한다. 키프레임을 추출하는 방법은 전술한 바와 같이 복수의 프레임에서 검출한 특징부를 누적하여 추출할 수 있다. 도 7을 참조하면, 각 노드들에서의 키프레임 (x0, x1, x2, x3, x4, x5)들을 순차적으로 추출하여 이웃하는 노드들을 이어서 그래프를 생성하는 과정을 확인할 수 있다.
단계 210에서 현재 노드의 키프레임과 종래 노드의 키프레임을 비교한다. 비교대상이 되는 키프레임들간의 유사도 매칭을 통하여 루프 클로져를 검출한다. 구체적으로 유사도 점수가 소정의 문턱값 이상이라면, 비교 대상인 2개의 키프레임 (또는 키프레임의 점구름 정보)이 충분히 유사하다는 것을 의미한다. 유사도 점수는 점구름 정보의 개수에 비례하여 증가하므로, 유사도 매칭시 사용되는 소정의 문턱값은 키프레임에 포함되는 특징부 개수에 따라 유동적으로 정해질 수 있다.
만약, 루프 클로져가 검출된다면, 즉 유사도 매칭을 통하여 유사하다고 판단되는 2개의 노드 또는 키프레임이 검출된다면, 검출된 2 개의 노드 또는 키프레임을 루프 클로져로서 묶고 2개의 키프레임간의 자세변화를 찾아내어 정보행렬에 추가한다.
이 과정을 도 7을 참조하여 설명하면, 키프레임 x4를 추출한 후, 저장되어 있는 종래의 키프레임들 (x0, x1, x2, x3) 과 유사도를 비교하여, 유사하다고 인정되는 키프레임 x2와 x4를 루프 클로져로서 묶고 (도 7상의 점선) 이들간의 자세변화를 찾아내어 정보행렬에 추가한다. 이 과정은 키프레임 x5를 추출한 후에도 반복되며, 결과적으로 키프레임 x1과 x5를 루프 클로져로서 묶고 (도 7상의 점선) 이들간의 자세변화를 찾아내어 정보행렬에 추가한다.
단계 230에서, 검출된 루프 클로져의 자세변화 정보를 바탕으로 그래프를 최적화하며, 단계 240에서 최적화된 그래프를 토대로 그래프 SLAM을 수행하고 절차를 종료한다.
도 8은 본 발명의 일 실시예에 따른 그래프 SLAM에서 그래프를 구성한 일 예를 도시한다. 각 노드들은 녹색으로 표시되며, 이웃하는 노드들은 붉은 색선으로 연결되어 있으며, 루프 클로져는 푸른색선으로 연결되어 있다.
도 9는 본 발명의 일 실시예에 따른 그래프 SLAM을 위한 키프레임 추출장치를 도시한 블럭도이다.
키프레임 추출장치는 특징부 검출 유닛 (320), 매칭 유닛 (330), 키프레임 추출 유닛 (340)을 포함한다. 특징부 검출 유닛 (320) 은 센서로부터 프레임 정보를 입력받고 입력받은 프레임의 플레인 포인트 및 에지 포인트 등의 특징부를 검출한다. 매칭 유닛 (330) 은 검출된 특징부와 키프레임간의 자세정보를 바탕으로 특징부를 키프레임에 매칭시킨다. 키프레임 추출 유닛 (340) 은 매칭된 특징부를 키프레임에 누적함으로써 키프레임을 생성한다. 얼마나 많은 개수의 프레임 정보를 키프레임에 누적할 것인지는 앞서 설명한 바와 같으므로 추가설명은 생략한다.
도 10은 본 발명의 일 실시예에 따른 그래프 SLAM 장치를 도시한 블럭도이다.
본 발명의 일 실시예에 따른 그래프 SLAM 장치는 키프레임 추출장치 (410), 루프 클로져 검출 유닛 (420), 및 그래프 최적화 유닛 (430) 을 포함한다. 키프레임 추출장치 (410) 는 각 노드에 해당하는 키프레임을 추출하여 메모리 (440)에 저장한다. 키프레임 추출장치 (410)은 키프레임을 추출함에 있어서, 복수의 프레임 정보를 누적하여 키프레임을 생성함으로써, 키프레임에 포함된 정보를 풍부하게 한다.
루프 클로져 검출 유닛 (420) 은 키프레임 추출 장치 (410) 가 추출하여 메모리 (440) 에 저장해둔 과거 노드의 키프레임들과 현재 노드의 키프레임을 비교하여 유사도 정도가 소정의 문턱값보다 큰 키프레임이 있는지를 검색한다. 유사도가 소정의 문턱값보다 높은 키프레임이 검출된다면, 이들을 루프 클로져로서 묶고 이들간의 자세변화를 찾아내어 메모리에 저장한다.
그래프 최적화 유닛 (430) 은 검출된 루프 클로져의 자세변화 정보를 바탕으로 그래프를 최적화하며, 최적화된 그래프를 토대로 그래프 SLAM을 수행한다.
도 11은 본 발명의 일 실시예에 따른 키프레임 추출장치 또는 그래프 SLAM장치를 마이크로 프로세서로 구현한 예를 도시한 블럭도이다.
본 발명의 일 실시예에 따른 키프레임 추출장치는 센서 (510) 로부터 프레임 정보를 입력받고, 마이크로 프로세서 (520) 가 복수의 프레임 정보로부터 특징부를 검출하고, 검출된 특징부를 키프레임에 누적하여 키프레임을 생성한다.
한편, 본 발명의 일 실시예에 따른 그래프 SLAM 장치는 센서로부터 프레임 정보를 입력받고, 마이크로 프로세서 (520) 가 복수의 프레임 정보로부터 특징부를 검출하고, 검출된 특징부를 키프레임에 누적하여 키프레임을 생성한다.
또한, 마이크로 프로세서 (520) 는 메모리 (440) 에 저장해둔 과거 노드의 키프레임들과 현재 노드의 키프레임을 비교하여 유사도 정도가 소정의 문턱값보다 큰 키프레임이 있는지를 검색한다. 유사도가 소정의 문턱값보다 높은 키프레임이 검출된다면, 이들을 루프 클로져로서 묶고 이들간의 자세변화를 찾아내어 메모리에 저장한다.
마이크로 프로세서 (520) 는 검출된 루프 클로져의 자세변화 정보를 바탕으로 그래프를 최적화하며, 최적화된 그래프를 토대로 그래프 SLAM을 수행한다.
310, 410, 510 센서
320 특징부 검출 유닛
330 매칭 유닛
340 키프레임 추출 유닛
410 키프레임 추출 장치
420 루프 클로져 검출 유닛
430 그래프 최적화 유닛
440, 530 메모리
520 마이크로 프로세서

Claims (26)

  1. 하나 이상의 센서로부터 포인트 클라우드 정보를 포함하고 있는 어느 하나의 프레임(이하 "제1프레임"이라 함)을 입력받고, 입력된 프레임의 포인트 클라우드 정보로부터 특징부를 검출하고, 검출된 특징부를 키프레임으로 설정하는 단계;
    상기 하나 이상의 센서로부터 포인트 클라우드 정보를 포함하고 있는 다른 하나의 프레임(이하 "제2프레임"이라 함)을 입력받고, 입력된 프레임의 포인트 클라우드 정보로부터 특징부를 검출하고, 검출된 특징부를 상기 키프레임과 매칭하는 단계; 및
    매칭된 상기 제2프레임의 특징부를 상기 키프레임에 누적하여 상기 키프레임을 갱신하는 단계를 포함하며,
    상기 제2프레임에 후속하여, 상기 하나 이상의 센서 중 어느 하나의 센서로부터 입력되는 다른 프레임 각각에 대하여 상기 매칭하는 단계 및 상기 키프레임을 갱신하는 단계를 반복하여 실행하며,
    상기 매칭하는 단계는 상기 키프레임 또는 상기 갱신된 키프레임과 상기 제2프레임 또는 상기 후속하여 입력되는 프레임간의 자세변화를 계산하고, 상기 자세 변화에 기초하여 특징부를 매칭하고,
    상기 하나 이상의 센서는 SLAM 장치에 탑재되어 있으며,
    상기 매칭하는 단계 및 상기 키프레임을 갱신하는 단계를 반복하는 회수는, 누적되는 프레임의 개수, 상기 SLAM 장치의 누적 이동거리, 및 누적되는 특징부의 개수 중 적어도 하나에 따라 결정되고,
    상기 매칭하는 단계 및 상기 키프레임을 갱신하는 단계는, 누적되는 프레임의 개수가 제1소정값보다 크고, 상기 SLAM 장치의 누적 이동거리가 제2소정값보다 크고, 누적되는 특징부의 개수가 제3소정값보다 큰 경우, 상기 매칭하는 단계 및 상기 키프레임을 갱신하는 단계를 반복하여 실행하는 것을 종료하고, 그 때의 키프레임을 결정하여 추출하며,
    상기 하나 이상의 센서는 3D LiDAR인 것을 특징으로 하는 그래프 SLAM을 위한 키프레임 추출방법.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서, 상기 특징부는 프레임의 에지 포인트와 플래너 포인트 중 적어도 하나인 것을 특징으로 하는 그래프 SLAM을 위한 키프레임 추출방법.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 삭제
  10. 하나 이상의 센서로부터 복수의 프레임을 입력받아 프레임단위로 특징부를 검출하는 특징부 검출 유닛;
    상기 특징부 검출 유닛에 의하여 검출된 특징부와 키프레임을 매칭하는 매칭 유닛; 및
    매칭된 특징부를 키프레임에 누적하여 키프레임을 갱신하는 키프레임 추출 유닛을 포함하며,
    상기 키프레임 추출 유닛은 포인트 클라우드 정보를 포함하고 있는 어느 하나의 프레임(이하 "제1프레임"이라 함)을 입력받고, 입력된 프레임의 포인트 클라우드 정보로부터 특징부를 검출하고, 검출된 특징부를 키프레임으로 설정하고, 포인트 클라우드 정보를 포함하고 있는 다른 하나의 프레임(이하 "제2프레임"이라 함)을 입력받고, 입력된 프레임의 포인트 클라우드 정보로부터 특징부를 검출하고, 검출된 특징부를 상기 키프레임과 매칭하고, 매칭된 상기 제2프레임의 특징부를 상기 키프레임에 누적하여 상기 키프레임을 갱신하며,
    상기 키프레임 추출 유닛은 상기 제2프레임에 후속하여, 상기 하나 이상의 센서 중 어느 하나의 센서로부터 입력되는 다른 프레임 각각에 대하여 상기 매칭 과정 및 상기 키프레임을 갱신하는 과정을 반복하여 실행하며,
    상기 매칭 유닛은 상기 키프레임 또는 상기 갱신된 키프레임과 상기 제2프레임 또는 상기 후속하여 입력되는 프레임간의 자세변화를 계산하고, 상기 자세 변화에 기초하여 특징부를 매칭하고,
    상기 하나 이상의 센서는 SLAM 장치에 탑재되어 있으며,
    상기 키프레임 추출 유닛은 누적되는 프레임의 개수, 상기 SLAM 장치의 누적 이동거리, 및 누적되는 특징부의 개수 중 적어도 하나에 따라 결정되고,
    상기 키프레임 추출 유닛은, 누적되는 프레임의 개수가 제1소정값보다 크고, 상기 SLAM 장치의 누적 이동거리가 제2소정값보다 크고, 누적되는 특징부의 개수가 제3소정값보다 큰 경우, 상기 키프레임을 갱신하는 것을 종료하고, 그 때의 키프레임을 결정하여 추출하며,
    상기 하나 이상의 센서는 3D LiDAR인 것을 특징으로 하는 그래프 SLAM을 위한 키프레임 추출장치.
  11. 삭제
  12. 삭제
  13. 삭제
  14. 제 10 항에 있어서, 상기 특징부는 프레임의 에지 포인트와 플래너 포인트 중 적어도 하나인 것을 특징으로 하는 그래프 SLAM을 위한 키프레임 추출장치.
  15. 삭제
  16. 삭제
  17. 삭제
  18. 삭제
  19. 하나 이상의 마이크로프로세서를 포함하며, 상기 마이크로프로세서는,
    하나 이상의 센서로부터 포인트 클라우드 정보를 포함하고 있는 어느 하나의 프레임(이하 "제1프레임"이라 함)을 입력받고, 입력된 프레임의 포인트 클라우드 정보로부터 특징부를 검출하고, 검출된 특징부를 키프레임으로 설정하는 단계;
    상기 하나 이상의 센서로부터 포인트 클라우드 정보를 포함하고 있는 다른 하나의 프레임(이하 "제2프레임"이라 함)을 입력받고, 입력된 프레임의 포인트 클라우드 정보로부터 특징부를 검출하고, 검출된 특징부를 상기 키프레임과 매칭하는 단계; 및
    매칭된 상기 제2프레임의 특징부를 상기 키프레임에 누적하여 상기 키프레임을 갱신하는 단계를 포함하며,
    상기 프로세서는 상기 제2프레임에 후속하여, 상기 하나 이상의 센서 중 어느 하나의 센서로부터 입력되는 다른 프레임 각각에 대하여 상기 매칭하는 단계 및 상기 키프레임을 갱신하는 단계를 반복하여 실행하며,
    상기 매칭하는 단계는 상기 키프레임 또는 상기 갱신된 키프레임과 상기 제2프레임 또는 상기 후속하여 입력되는 프레임간의 자세변화를 계산하고, 상기 자세 변화에 기초하여 특징부를 매칭하고,
    상기 하나 이상의 센서는 SLAM 장치에 탑재되어 있으며,
    상기 매칭하는 단계 및 상기 키프레임을 갱신하는 단계를 반복하는 회수는, 누적되는 프레임의 개수, 상기 SLAM 장치의 누적 이동거리, 및 누적되는 특징부의 개수 중 적어도 하나에 따라 결정되고,
    상기 매칭하는 단계 및 상기 키프레임을 갱신하는 단계는, 누적되는 프레임의 개수가 제1소정값보다 크고, 상기 SLAM 장치의 누적 이동거리가 제2소정값보다 크고, 누적되는 특징부의 개수가 제3소정값보다 큰 경우, 상기 매칭하는 단계 및 상기 키프레임을 갱신하는 단계를 반복하여 실행하는 것을 종료하고, 그 때의 키프레임을 결정하여 추출하는 것을 특징으로 하는 그래프 SLAM을 위한 키프레임 추출장치.
  20. 삭제
  21. 삭제
  22. 삭제
  23. 제 19 항에 있어서, 상기 특징부는 프레임의 에지 포인트와 플래너 포인트 중 적어도 하나인 것을 특징으로 하는 그래프 SLAM을 위한 키프레임 추출장치.
  24. 삭제
  25. 삭제
  26. 삭제
KR1020170044262A 2017-04-05 2017-04-05 그래프 slam을 위한 키프레임 추출방법 및 이를 이용한 slam 장치 KR101941852B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170044262A KR101941852B1 (ko) 2017-04-05 2017-04-05 그래프 slam을 위한 키프레임 추출방법 및 이를 이용한 slam 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170044262A KR101941852B1 (ko) 2017-04-05 2017-04-05 그래프 slam을 위한 키프레임 추출방법 및 이를 이용한 slam 장치

Publications (2)

Publication Number Publication Date
KR20180113060A KR20180113060A (ko) 2018-10-15
KR101941852B1 true KR101941852B1 (ko) 2019-01-24

Family

ID=63866015

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170044262A KR101941852B1 (ko) 2017-04-05 2017-04-05 그래프 slam을 위한 키프레임 추출방법 및 이를 이용한 slam 장치

Country Status (1)

Country Link
KR (1) KR101941852B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110070577B (zh) * 2019-04-30 2023-04-28 电子科技大学 基于特征点分布的视觉slam关键帧与特征点选取方法
CN110095752B (zh) * 2019-05-07 2021-08-10 百度在线网络技术（北京）有限公司 定位方法、装置、设备和介质
CN112634395B (zh) * 2019-09-24 2023-08-25 杭州海康威视数字技术股份有限公司 一种基于slam的地图构建方法及装置
CN112198878B (zh) * 2020-09-30 2021-09-28 深圳市银星智能科技股份有限公司 一种即时地图构建方法、装置、机器人及存储介质
KR102556355B1 (ko) * 2020-11-12 2023-07-17 주식회사 유진로봇 동적 환경에 강인한 로봇 위치 추정 장치 및 방법
CN112614187B (zh) * 2020-12-31 2024-03-26 深圳市优必选科技股份有限公司 回环检测方法、装置、终端设备和可读存储介质
CN116758161A (zh) * 2023-06-26 2023-09-15 北京道仪数慧科技有限公司 移动端空间数据生成方法及空间感知移动端

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140009737A (ko) * 2012-07-12 2014-01-23 한국과학기술원 하이브리드 맵 기반 로봇의 위치인식방법
KR20140103046A (ko) * 2013-02-15 2014-08-25 삼성전자주식회사 객체 추적 방법 및 이를 지원하는 전자 장치
US20140323148A1 (en) * 2013-04-30 2014-10-30 Qualcomm Incorporated Wide area localization from slam maps
US9390344B2 (en) * 2014-01-09 2016-07-12 Qualcomm Incorporated Sensor-based camera motion detection for unconstrained slam
KR101766823B1 (ko) * 2015-09-25 2017-08-11 서울대학교산학협력단 불규칙한 조도 변화에 강건한 영상 기반 주행거리 측정 시스템 및 방법

Also Published As

Publication number Publication date
KR20180113060A (ko) 2018-10-15

Similar Documents

Publication Publication Date Title
KR101941852B1 (ko) 그래프 slam을 위한 키프레임 추출방법 및 이를 이용한 slam 장치
CN109887053B (zh) 一种slam地图拼接方法及系统
KR102483649B1 (ko) 차량 위치 결정 방법 및 차량 위치 결정 장치
Asvadi et al. 3D object tracking using RGB and LIDAR data
JP6760114B2 (ja) 情報処理装置、データ管理装置、データ管理システム、方法、及びプログラム
Poddar et al. Evolution of visual odometry techniques
JP6427908B2 (ja) 地図情報生成システム、方法およびプログラム
US8401783B2 (en) Method of building map of mobile platform in dynamic environment
CN106780631B (zh) 一种基于深度学习的机器人闭环检测方法
Parra et al. Robust visual odometry for vehicle localization in urban environments
WO2016210227A1 (en) Aligning 3d point clouds using loop closures
CN107735797B (zh) 用于确定第一坐标系与第二坐标系之间的运动的方法
US20110205338A1 (en) Apparatus for estimating position of mobile robot and method thereof
JP4702569B2 (ja) 車両用画像処理装置
US10402978B1 (en) Method for detecting pseudo-3D bounding box based on CNN capable of converting modes according to poses of objects using instance segmentation and device using the same
KR102569437B1 (ko) 3차원 영상정보 기반 객체 추적 장치 및 방법
US20230071794A1 (en) Method and system for building lane-level map by using 3D point cloud map
KR20190045220A (ko) 자기 위치 추정 방법 및 자기 위치 추정 장치
US20220398856A1 (en) Method for reconstruction of a feature in an environmental scene of a road
KR102268980B1 (ko) Gps 음영지역에서 드론의 자율 주행을 위한 위치 추정 장치
GB2578721A (en) Method and system for processing image data utilizing deep neural network
Chiu et al. Precise vision-aided aerial navigation
Wong et al. Single camera vehicle localization using SURF scale and dynamic time warping
Wong et al. Vision-based vehicle localization using a visual street map with embedded SURF scale
JP7337617B2 (ja) 推定装置、推定方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right