KR102135560B1 - 카메라와 라이다를 이용한 융합 센서 및 이동체 - Google Patents
카메라와 라이다를 이용한 융합 센서 및 이동체 Download PDFInfo
- Publication number
- KR102135560B1 KR102135560B1 KR1020180080377A KR20180080377A KR102135560B1 KR 102135560 B1 KR102135560 B1 KR 102135560B1 KR 1020180080377 A KR1020180080377 A KR 1020180080377A KR 20180080377 A KR20180080377 A KR 20180080377A KR 102135560 B1 KR102135560 B1 KR 102135560B1
- Authority
- KR
- South Korea
- Prior art keywords
- coordinate information
- information
- data
- sensor
- map
- Prior art date
Links
- 239000002131 composite material Substances 0.000 claims abstract description 46
- 238000013507 mapping Methods 0.000 claims abstract description 10
- 230000004927 fusion Effects 0.000 claims description 39
- 238000000034 method Methods 0.000 claims description 24
- 238000012545 processing Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 7
- 238000005457 optimization Methods 0.000 claims description 4
- 238000013506 data mapping Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 19
- 230000003287 optical effect Effects 0.000 description 10
- 238000005259 measurement Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 239000011159 matrix material Substances 0.000 description 5
- 238000004140 cleaning Methods 0.000 description 4
- 230000004807 localization Effects 0.000 description 4
- 230000000630 rising effect Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 239000003550 marker Substances 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003334 potential effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 238000002366 time-of-flight method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G06T5/001—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Theoretical Computer Science (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
- Traffic Control Systems (AREA)
Abstract
본 실시예들은 라이다 센서를 통해 획득한 장애물에 관한 거리 정보를 이미지 센서를 통해 획득한 장애물에 관한 영상 정보에 매핑하여 복합 데이터를 생성하고, 픽셀의 인텐시티 정보를 기반으로 복합 데이터의 거리 정보를 추정함으로써, 정확한 복합 데이터를 생성할 수 있는 융합 센서 및 이동체를 제공한다.
Description
본 발명이 속하는 기술 분야는 카메라에 의해 획득한 정보와 라이다에 의해 획득한 정보를 통합하여 처리하는 센서 모듈에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근 로봇 기술의 발전에 따라 스스로 경로를 설정하고 이동하는 이동 로봇이 활용되고 있다. 이동 로봇이 공간에서 효과적으로 위치를 판단하며 이동하기 위해서는 이동하고 있는 공간에 대한 지도를 생성하면서 공간 상의 자신의 위치를 인식하는 것이 요구된다.
이동 로봇은 자이로스코프와 구동 모터에 구비된 엔코더를 이용하여 추측 항법(Dead Reckoning)으로 주행하며, 상부에 설치된 라이다 센서를 이용하여 거리 정보를 분석하거나 카메라를 이용하여 영상을 분석하여 지도를 생성한다.
이동 로봇은 라이다 센서를 통하여 획득한 주변 환경에 관한 포인트 클라우드 정보를 활용하여 자이로스코프와 엔코더로부터의 주행 정보에 의해 누적되는 오차를 보정한다. 비행시간(Time Of Flight) 기반의 라이다는 광 신호를 쏘고 반사되어 오는 시간을 측정하고, 광의 속도를 이용하여 반사체의 거리를 측정한다. 이동 로봇은 카메라로부터 획득된 주변 환경에 관한 영상 정보를 획득하기도 한다.
라이다 센서로부터 획득한 데이터의 유형과 카메라로부터 획득한 데이터의 유형이 달라서, 각각의 데이터를 융합하기 곤란한 문제가 있다.
로봇이나 차량 등의 이동체가 미지의 환경에서 이동하기 위해서는 주변환경에 관한 정보가 없으므로, 센서정보를 이용하여 환경에 관한 지도를 작성하고, 작성된 지도로부터 이동체의 현재 위치를 추정해야 한다. 이러한 위치를 인식하고 주변 환경 지도를 작성하는 방법을 동시 위치 추정 및 지도 작성(Simultaneous Localization and Mapping, SLAM)이라고 한다. SLAM에 관한 방법으로는 필터 기반의 SLAM, 그래프 기반의 SLAM 등 다양한 방법이 있다.
그래프 기반의 SLAM은 로봇의 위치와 움직임을 그래프의 노드 및 엣지로 표현한다. 노드는 특정 시점에서의 로봇 또는 인공표식의 위치이다. 엣지는 두 노드 간의 관계이며, 두 노드 간의 공간 상의 구속 조건(Constraint)을 의미한다. 측정된 엣지는 오차를 포함한다. 따라서, 로봇의 주행거리가 길어지거나 노드의 개수가 증가할수록, 위치를 추정하는 과정에서 오차가 누적되는 문제가 있다.
본 발명의 실시예들은 라이다 센서를 통해 획득한 장애물에 관한 거리 정보를 이미지 센서를 통해 획득한 장애물에 관한 영상 정보에 매핑하여 복합 데이터를 생성하고, 픽셀의 인텐시티를 기반으로 복합 데이터의 거리 정보를 보간함으로써, 라이다 센서와 이미지 센서를 융합하는 데 발명의 주된 목적이 있다.
본 발명의 실시예들은 스캔 정보를 이용하여 노드에 관한 키 프레임을 생성하고 연속하는 노드 간의 오도메트리 엣지 산출하고 키 프레임을 갱신하여 지역 지도를 추정하고, 갱신한 키 프레임의 집합에 대하여 연속하지 않는 노드 간의 루프 클로저 엣지를 검출하고 오도메트리 엣지 및 루프 클로저 엣지를 기반으로 노드의 위치를 보정하여 전역 지도를 추정함으로써, 일정 조건하에서 일정 시간 내에 넓은 영역을 커버하는 지도를 제공하는 데 발명의 다른 목적이 있다.
본 발명의 명시되지 않은 또 다른 목적들은 하기의 상세한 설명 및 그 효과로부터 용이하게 추론할 수 있는 범위 내에서 추가적으로 고려될 수 있다.
본 실시예의 일 측면에 의하면, 대상체에 관한 제1 데이터를 획득하는 제1 센서, 상기 대상체에 관한 제2 데이터를 획득하는 제2 센서, 상기 제1 데이터 및 상기 제2 데이터를 매핑한 복합 데이터를 생성하는 처리부를 포함하는 융합 센서를 제공한다.
본 실시예의 다른 측면에 의하면, 이동체에 있어서, 제1 센서를 통하여 대상체에 관한 제1 데이터를 획득하고, 제2 센서를 통하여 상기 대상체에 관한 제2 데이터를 획득하고, 상기 제1 데이터 및 상기 제2 데이터를 매핑한 복합 데이터를 생성하는 융합 센서, 상기 제1 데이터 또는 상기 복합 데이터를 분석하여 주변 환경에 관한 지도를 생성하는 지도 생성기, 및 상기 지도를 기반으로 상기 이동체를 이동하도록 구현된 이동 장치를 포함하는 이동체를 제공한다.
상기 제1 데이터는 2차원으로 표현된 제1 좌표 정보 및 상기 제1 좌표 정보에 관련된 인텐시티 정보를 포함하고, 상기 제2 데이터는 2차원으로 표현된 제2 좌표 정보와 상기 제2 좌표 정보에 관련된 깊이 정보를 포함하고, 상기 복합 데이터는 3차원으로 표현된 공간 좌표 정보와 상기 인텐시티 정보를 포함할 수 있다.
상기 처리부는 상기 제1 센서가 설치된 위치에서 바라본 제1 공간 영역 및 상기 제2 센서가 설치된 위치에서 바라본 제2 공간 영역이 중첩된 공간 영역에 대하여 상기 제1 좌표 정보와 상기 제2 좌표 정보를 비교하여 상호 대응하는 좌표 정보를 매핑할 수 있다.
상기 처리부는 (i) 상기 제1 좌표 정보 중에서 상기 제2 좌표 정보에 대응하는 공통 좌표 정보에 해당하는 깊이 정보 및 (ii) 상기 공통 좌표 정보에 해당하는 인텐시티 정보를 기반으로 상기 복합 데이터를 생성할 수 있다.
상기 처리부는 (i) 상기 공통 좌표 정보에 해당하는 깊이 정보 및 (ii) 상기 공통 좌표 정보에 해당하는 인텐시티 정보를 이용하여, 상기 제1 좌표 정보 중에서 상기 제2 좌표 정보에 대응하지 않는 비공통 좌표 정보에 관련된 제1 예측 깊이 정보를 추정할 수 있다.
상기 처리부는 (i) 상기 비공통 좌표 정보의 인텐시티 정보와 (ii) 상기 비공통 좌표 정보로부터 기설정된 범위 내에 존재하는 공통 좌표 정보의 인텐시티 정보 간에 유사도를 판단하여, 상기 제1 예측 깊이 정보를 추정할 수 있다.
상기 처리부는 (i) 상기 비공통 좌표 정보의 인텐시티 정보, (ii) 상기 공통 좌표 정보의 인텐시티 정보, 및 (iii) 상기 제1 예측 깊이 정보를 이용하여 상기 비공통 좌표 정보에 관련된 제2 예측 깊이 정보를 추정할 수 있다.
상기 처리부는 상기 비공통 좌표 정보에 관련된 제1 예측 깊이 정보를 기반으로 상기 복합 데이터를 업데이트할 수 있다.
상기 융합 센서는 기설정된 거리보다 가까이 위치하는 대상체에 관하여 상기 제1 센서 및 상기 제2 센서를 모두 동작시켜 복합 데이터를 생성하고, 상기 융합 센서는 기설정된 거리보다 멀리 위치하는 대상체에 관하여 상기 제1 센서 또는 상기 제2 센서를 선택적으로 동작시켜 데이터를 획득할 수 있다.
상기 지도 생성기는, 상기 제1 데이터, 상기 제2 데이터, 또는 상기 복합 데이터를 분석하여 노드에 관한 키 프레임을 생성하고, 연속하는 노드 간의 오도메트리 엣지를 산출하고 상기 키 프레임을 갱신하여 지역 지도를 추정하며, 상기 갱신한 키 프레임의 집합에 대하여 연속하지 않는 노드 간의 루프 클로저 엣지를 검출하고, 상기 오도메트리 엣지 및 상기 루프 클로저 엣지를 기반으로 상기 노드의 위치를 보정하여 전역 지도를 생성할 수 있다.
상기 지도 생성기는, 상기 제1 데이터, 상기 제2 데이터, 또는 상기 복합 데이터를 회전 또는 이동하여 스캔 매칭하거나 상기 이동체의 오도메트리 정보를 측정하여 상기 오도메트리 엣지를 산출하며, 상기 스캔 매칭을 통하여 상기 노드의 추정값을 기반으로 예측된 오도메트리 엣지 및 측정된 오도메트리 엣지 간의 오차를 보정할 수 있다.
상기 지도 생성기는, 상기 이동체의 이동 거리에 관하여 기설정된 조건을 만족하면 상기 키 프레임을 필터링할 수 있다.
상기 지도 생성기는 상기 이동 로봇의 이동 거리 또는 주변환경의 변화에 관하여 기설정된 조건을 만족하면, 상기 갱신한 키 프레임의 집합에 대하여 상기 전역 지도를 추정할 수 있다.
상기 지도 생성기는 특정된 키 프레임을 기준으로 불확실성 전파(Uncertainty Propagation)를 이용하여 각각의 키 프레임의 오차를 보정할 수 있다.
상기 지도 생성기는 마할라노비스 거리(Mahalanobis Distance)를 이용하여 기 설정된 거리 내에 위치하는 키 프레임에 관한 제1 후보군을 추출할 수 있다.
상기 지도 생성기는 상기 제1 후보군의 키 프레임 및 기 설정된 시간 구간에서 획득한 키 프레임를 비교하여 기 설정된 확률 범위에 매칭하는 키 프레임에 관한 제2 후보군을 추출할 수 있다.
상기 지도 생성기는 일관성 확인 알고리즘을 이용하여 상기 제2 후보군으로부터 기 설정된 일관성 범위에 매칭하는 키 프레임에 관한 제3 후보군을 추출할 수 있다.
상기 지도 생성기는 그래프 최적화 기법으로 오도메트리 엣지의 오차 및 상기 루프 클로저 엣지의 오차를 보정할 수 있다.
이상에서 설명한 바와 같이 본 발명의 실시예들에 의하면, 라이다 센서를 통해 획득한 장애물에 관한 거리 정보를 이미지 센서를 통해 획득한 장애물에 관한 영상 정보에 매핑하여 복합 데이터를 생성하고, 픽셀의 인텐시티를 기반으로 복합 데이터의 거리 정보를 보간함으로써, 라이다 센서의 데이터와 이미지 센서의 데이터를 융합할 수 있는 효과가 있다.
여기에서 명시적으로 언급되지 않은 효과라 하더라도, 본 발명의 기술적 특징에 의해 기대되는 이하의 명세서에서 기재된 효과 및 그 잠정적인 효과는 본 발명의 명세서에 기재된 것과 같이 취급된다.
도 1은 본 발명의 일 실시예에 따른 이동체를 예시한 블록도이다.
도 2는 본 발명의 다른 실시예에 따른 융합 센서를 예시한 블록도이다.
도 3은 라이다 센서의 시야각을 예시한 도면이다.
도 4는 카메라의 시야각과 라이다 센서의 시야각이 오버랩되는 영역을 예시한 도면이다.
도 5은 본 발명의 다른 실시예에 따른 융합 센서가 처리하는 복합 데이터를 예시한 도면이다.
도 6는 본 발명의 다른 실시예에 따른 융합 센서가 생성한 영상 정보, 깊이 정보, 및 예측 깊이 정보를 예시한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 복수의 카메라를 갖는 융합 센서를 예시한 도면이다.
도 8은 동시간 위치 인식 및 지도 작성(Simultaneous Localization And Mapping, SLAM) 방법이 처리하는 정보를 그래프 모델로 나타낸 것이다.
도 9는 본 발명의 다른 실시예에 따른 이동체의 지도 생성기를 예시한 도면이다.
도 10은 본 발명의 다른 실시예에 따른 이동체의 지도 생성기가 스캔 매칭하는 데이터를 예시한 도면이다.
도 11은 본 발명의 다른 실시예에 따른 이동체의 지도 생성기가 필터링한 데이터를 예시한 도면이다.
도 12는 본 발명의 다른 실시예에 따른 이동체의 지도 생성기가 전역 지도를 추정하는 동작을 예시한 흐름도이다.
도 13 내지 도 17은 본 발명의 다른 실시예에 따른 이동체의 지도 생성기가 전역 지도를 추정하는 과정에서 처리하는 데이터를 예시한 도면이다.
도 18은 본 발명의 다른 실시예에 따른 이동체의 지도 생성 방법이 예시한 흐름도이다.
도 2는 본 발명의 다른 실시예에 따른 융합 센서를 예시한 블록도이다.
도 3은 라이다 센서의 시야각을 예시한 도면이다.
도 4는 카메라의 시야각과 라이다 센서의 시야각이 오버랩되는 영역을 예시한 도면이다.
도 5은 본 발명의 다른 실시예에 따른 융합 센서가 처리하는 복합 데이터를 예시한 도면이다.
도 6는 본 발명의 다른 실시예에 따른 융합 센서가 생성한 영상 정보, 깊이 정보, 및 예측 깊이 정보를 예시한 도면이다.
도 7은 본 발명의 다른 실시예에 따른 복수의 카메라를 갖는 융합 센서를 예시한 도면이다.
도 8은 동시간 위치 인식 및 지도 작성(Simultaneous Localization And Mapping, SLAM) 방법이 처리하는 정보를 그래프 모델로 나타낸 것이다.
도 9는 본 발명의 다른 실시예에 따른 이동체의 지도 생성기를 예시한 도면이다.
도 10은 본 발명의 다른 실시예에 따른 이동체의 지도 생성기가 스캔 매칭하는 데이터를 예시한 도면이다.
도 11은 본 발명의 다른 실시예에 따른 이동체의 지도 생성기가 필터링한 데이터를 예시한 도면이다.
도 12는 본 발명의 다른 실시예에 따른 이동체의 지도 생성기가 전역 지도를 추정하는 동작을 예시한 흐름도이다.
도 13 내지 도 17은 본 발명의 다른 실시예에 따른 이동체의 지도 생성기가 전역 지도를 추정하는 과정에서 처리하는 데이터를 예시한 도면이다.
도 18은 본 발명의 다른 실시예에 따른 이동체의 지도 생성 방법이 예시한 흐름도이다.
이하, 본 발명을 설명함에 있어서 관련된 공지기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하고, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다.
본 실시예에 따른 라이다와 카메라가 융합된 융합 센서는 드론 등의 비행체, 자동차 등의 이동체, 소형 가전 등에 거리 측정이 필요한 제품에 적용이 가능하다.
도 1은 이동체를 예시한 블록도이다. 도 1에 도시한 바와 같이, 이동체(1)는 융합 센서(10), 지도 생성기(20), 및 이동 장치(30)를 포함한다. 이동체(1)는 도 1에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다. 예컨대, 이동체는 청소부를 추가로 포함할 수 있다.
이동체(1)는 미리 정의된 방식에 따라 특정 위치에서 다른 위치로 이동 가능하도록 설계된 장치를 의미하며, 바퀴, 레일, 보행용 다리 등과 같은 이동 수단을 이용하여, 특정 위치에서 다른 위치로 이동할 수 있다. 이동체(1)는 센서 등을 이용하여 외부의 정보를 수집한 후 수집된 정보에 따라서 이동할 수도 있고, 사용자에 의해 별도의 조작 수단을 이용하여 이동할 수 있다.
이동체(1)의 일례로는 로봇 청소기, 장난감 자동차, 산업용 또는 군사용 목적 등으로 이용 가능한 이동 로봇 등이 있을 수 있으며, 이동체(1)는 바퀴를 이용하여 주행하거나, 하나 이상의 다리를 이용하여 보행하거나, 이들의 조합 등으로 구현될 수 있다.
로봇 청소기는 청소 공간을 주행하면서 바닥에 쌓인 먼지 등의 이물질을 흡입함으로써 청소 공간을 자동으로 청소하는 장치이다. 일반적인 청소기가 사용자에 의한 외력으로 이동하는 것과 달리, 로봇 청소기는 외부의 정보 또는 미리 정의된 이동 패턴을 이용하여 이동하면서 청소 공간을 청소한다.
로봇 청소기는 미리 정의된 패턴을 이용하여 자동적으로 이동하거나, 또는 감지 센서에 의해 외부의 장애물을 감지한 후, 감지된 바에 따라 이동할 수도 있고, 사용자에 의해 조작되는 원격 제어 장치로부터 전달되는 신호에 따라 이동 가능하다.
이동 장치(30)는 대상체까지의 거리를 기반으로 주행 경로를 산출하거나 장애물을 검출하여 이동체를 이동시킨다. 이동 장치에 연결된 엔코더(Encoder) 또는 IMU(Inertial Measurement Unit)로부터 회전수, 기울기, 회전량 등의 오도메트리 정보를 획득할 수 있다. IMU는 가속도 센서 및 자이로 센서로 구현될 수 있다.
이동체(1)의 위치는 3차원 벡터로 표현될 수 있다. 3차원 벡터는 기준 좌표계의 원점으로부터의 X좌표와 Y좌표, 로봇 좌표계의 X축과 기준 좌표계의 X축이 이루는 각도로 표현될 수 있다.
도 2는 융합 센서를 예시한 블록도이다. 도 2에 도시한 바와 같이, 융합 센서(10)는 제1 센서(110), 제2 센서(120), 및 처리부(130)를 포함한다. 융합 센서(10)는 도 2에서 예시적으로 도시한 다양한 구성요소들 중에서 일부 구성요소를 생략하거나 다른 구성요소를 추가로 포함할 수 있다.
제1 센서(110)는 대상체에 관한 제1 데이터를 획득한다. 제1 센서(110)는 장애물에 관한 영상 정보를 획득하는 이미지 센서일 수 있다. 제1 데이터는 2차원으로 표현된 제1 좌표 정보 및 제1 좌표 정보에 관련된 인텐시티 정보를 포함한다. 인텐시티 정보는 픽셀에 관하여 설정된 비트 값에 따라 일정한 범위를 갖는다.
카메라는 렌즈를 통해 들어오는 빛을 전기적인 영상 신호로 바꿔 주는 이미지 센서를 포함한다. 이미지 센서는 CCD(Charged Coupled Device)와 CMOS(Complementary Metal-Oxide-Semiconductor) 등으로 구현될 수 있다.
제2 센서(120)는 대상체에 관한 제2 데이터를 획득한다. 제2 센서(120)는 장애물에 관한 거리 정보를 획득하는 라이다 센서일 수 있다. 상기 제2 데이터는 2차원으로 표현된 제2 좌표 정보와 상기 제2 좌표 정보에 관련된 깊이 정보를 포함한다.
라이다 센서는 레이저 신호를 쏘고 반사되어 돌아오는 시간을 측정하고, 빛의 속도를 이용하여 반사체의 거리를 측정하는 장치이다. 레이저 신호는 포토 다이오드를 통하여 전기적인 신호로 변경된다. 레이저 신호는 기 설정된 파장 대역을 가질 수 있다. 예컨대, 라이다는 적외선 영역의 파장을 이용할 수 있다.
라이다 센서는 타임 오브 플라이트(Time of Flight, TOF) 방식으로 동작할 수 있다. 타임 오브 플라이트 방식은 레이저가 펄스 또는 구형파 신호를 방출하여 측정 범위 내에 있는 물체들로부터의 반사 펄스 또는 구형파 신호들이 수신기에 도착하는 시간을 측정함으로써, 측정 대상과 센서 사이의 거리를 측정한다.
라이다 센서는 광 송수신기 및 거리 측정기를 포함한다.
광 송수신기는 레이저 신호를 송신하고 반사된 신호를 수신한다. 광 송수신기는 시작 제어 신호에 의해 대상체로 광을 출사하고 대상체에 반사된 광을 수신하여 전기 신호로 변환한다. 광 송수신기는 기 설정된 검출 시간 동안 전기 신호를 출력한다.
광 송수신기는 신호 변환부를 포함할 수 있다. 광 송수신기의 광 다이오드에 신호 변환부가 연결되고, 신호 변환부에 트랜스 임피던스 증폭기가 연결될 수 있다.
광원은 기 설정된 샘플링 주기에 기반하여 대상체로 광을 출사한다. 샘플링 주기는 거리 측정 장치의 제어부에 의해 설정될 수 있다. 샘플링 주기는 시작 제어 신호에 따라 광 송수신기가 광을 출사하고 반사된 광을 수신하고 광을 전기 신호로 변환하기까지의 시간이다. 광 송수신기는 다음 샘플링 주기에서 이러한 동작들을 반복하여 수행할 수 있다.
광 다이오드는 대상체에 반사된 광을 수신하여 전기 신호로 변환한다.
거리 측정기는 전기 신호를 변환하여 정확한 시점을 측정하고 정지 제어 신호를 출력하는 하나 이상의 신호 판별기를 포함할 수 있다.
거리 측정기는 신호 판별기를 이용하여 최대 신호 크기를 갖는 신호 지점을 기 설정된 크기를 갖도록 전기 신호를 변환하고, 변환된 전기 신호의 크기를 조절하고, 기 설정된 크기를 갖는 시점을 검출한다. 신호 판별기는 전기 신호를 변환하여 정지 제어 신호를 생성한다.
신호 판별기는 광 다이오드 또는 트랜스 임피던스 증폭기로부터 전기 신호를 수신한다. 수신한 전기 신호, 즉, 입력 신호는 반사된 광에 의해 상승하고 하강하는 형태를 갖는다. 신호 판별기는 입력 신호에 대해 목적하는 시점을 정확하게 측정하여 전기 신호를 출력한다.
거리 측정기는 두 시간의 차이를 디지털 값으로 변환하는 하나 이상의 시간 디지털 변환기를 포함할 수 있다. 시간 디지털 변환기의 입력 신호는 동일 신호원의 펄스 형태가 될 수도 있고, 다른 신호원의 에지가 될 수도 있다. 예컨대, 거리 측정 장치는 시작 제어 신호의 상승 에지 또는 하강 에지, 정지 제어 신호의 상승 에지 또는 하강 에지를 기준으로 시간차를 산출할 수 있다.
거리 측정기는 정지 제어 신호의 상승 에지 또는 하강 에지를 기준으로 펄스 폭을 산출하고, 펄스 폭 대 워크에러의 함수에 적용한 팩터 값을 보정 전의 비행시간에 가산한다. 거리 측정 장치는 반사 신호의 펄스 폭을 이용하여 비행시간을 보정함으로써, 정확한 비행시간을 산출할 수 있다.
처리부(130)는 제1 센서(110)로부터 제1 데이터를 수신하고, 제2 센서(120)로부터 제2 데이터를 수신한다. 처리부(130)는 제1 데이터와 제2 데이터를 매핑한 복합 데이터를 생성한다. 복합 데이터는 3차원으로 표현된 공간 좌표 정보와 인텐시티 정보를 포함한다.
도 3은 라이다 센서의 시야각을 예시한 도면이다.
라이다 센서는 특정 평면 또는 특정 차원에서 전방향 시야각으로 스캔할 수 있다. 라이다 센서는 특정 방향와 특정 각도 범위 내에서 시야각을 갖고 스캔하기도 한다. 도 1의 왼쪽에 도시된 라이다 센서는 전방향으로 스캔하고, 도 1의 중앙과 오른쪽에 도시된 라이다 센서는 수직 방향으로 스위핑한다. 특정 제품은 +/-45도 또는 0~90도 사이에서 스위핑하기도 한다.
도 4는 카메라의 시야각과 라이다 센서의 시야각이 오버랩되는 영역을 예시한 도면이다.
라이다 센서와 카메라를 융합하려면, 카메라의 시야각과 라이다 센서의 시야각이 최대한 오버랩되도록 라이다 센서와 카메라를 설치해야 한다. 도 4와 같이 라이다의 상단에 카메라를 위치시킬 수 있다. 광각 카메라는 일반 카메라보다 시야각(예컨대, 190도)이 크기 때문에, 라이다 센서의 시야각과 오버랩되는 영역이 커지게 된다.
라이다 센서로부터 획득한 데이터의 유형과 카메라로부터 획득한 데이터의 유형이 달라서, 데이터를 매핑할 필요가 있다.
융합 센서(10)는 라이다 센서를 통해 획득한 장애물에 관한 거리 정보를 이미지 센서를 통해 획득한 장애물에 관한 영상 정보에 매핑하여 복합 데이터를 생성한다. 영상 정보는 픽셀의 인텐시티를 포함한다.
처리부(130)는 제1 센서(110)가 설치된 위치에서 바라본 제1 공간 영역 및 제2 센서(120)가 설치된 위치에서 바라본 제2 공간 영역이 중첩된 공간 영역에 대하여, 제1 센서(110)로부터 획득한 제1 좌표 정보와 제2 센서(120)로부터 획득한 제2 좌표 정보를 비교하여 상호 대응하는 좌표 정보를 매핑한다.
라이다의 거리 정보로부터 카메라의 영상 정보로 변환할 때, 영상 영역에 라이다를 통해 획득한 장애물에 관한 정보를 수학식 1과 같이 매핑할 수 있다.
여기서 m은 픽셀 매핑된 좌표(공통 좌표 정보)이고, X는 라이다를 통해 획득한 장애물에 관한 정보(제2 데이터)이고, R과 t는 변환 속성이고, K는 라이다에 부착된 카메라를 통해 획득한 영상 매트릭스(제1 좌표 정보)이다. 변환 속성은 크기 변환, 위치 변환, 모양 변환, 회전에 관한 변환 매트릭스일 수 있다. 회전 매트릭스 및 병진 매트릭스일 수 있다.
처리부(130)는 (i) 제1 좌표 정보 중에서 제2 좌표 정보에 대응하는 공통 좌표 정보에 해당하는 깊이 정보 및 (ii) 공통 좌표 정보에 해당하는 인텐시티 정보를 기반으로 복합 데이터를 생성한다.
복합 데이터(Xf)는 수학식 2와 같은 포맷을 갖는다.
여기서 x, y, z는 라이다의 프레임에서 장애물에 관한 3차원 공간 좌표를 나타내고, I는 인텐시티를 나타낸다. 3차원 공간 좌표는 2차원 좌표와 거리 정보를 포함한다.
라이다에서 장애물의 밀도를 최대화하더라도, 일부 영상 영역에서는 깊이 정보가 충분하지 않을 수 있다. 융합 센서는 픽셀의 인텐시티를 기반으로 복합 데이터의 거리 정보를 보간 또는 확장한다. 융합 센서(10)는 보간 기법을 이용하여 복합 데이터의 거리 정보를 조밀화할 수 있다.
도 5은 융합 센서가 처리하는 복합 데이터를 예시한 도면이다. 융합 센서는 예측 깊이 정보를 생성한다. 인접한 장애물은 유사한 깊이 정보를 갖고, 이웃 픽셀은 유사한 인텐시티 정보를 갖고, 유사한 인텐시티 정보를 갖는 픽셀은 유사한 깊이 정보를 갖는다는 가정을 기반으로 영상 영역에 매핑된 거리 정보를 보간한다.
처리부(130)는 (i) 공통 좌표 정보에 해당하는 깊이 정보(d) 및 (ii) 공통 좌표 정보에 해당하는 인텐시티 정보를 이용하여, 제1 좌표 정보 중에서 제2 좌표 정보에 대응하지 않는 비공통 좌표 정보에 관련된 제1 예측 깊이 정보(p1)를 추정할 수 있다.
처리부(130)는 (i) 비공통 좌표 정보의 인텐시티 정보와 (ii) 비공통 좌표 정보로부터 기설정된 범위 내에 존재하는 공통 좌표 정보의 인텐시티 정보를 비교하여 이웃하는 인텐시티 정보 간에 유사도를 판단한다. 처리부(130)는 유사도 판단 결과에 따라 제1 예측 깊이 정보(p1)를 추정할 수 있다. 처리부(130)는 비공통 좌표 정보에 관련된 제1 예측 깊이 정보를 기반으로 복합 데이터를 업데이트할 수 있다.
처리부(130)는 (i) 기설정된 범위 내에 존재하는 비공통 좌표 정보의 인텐시티 정보, (ii) 기설정된 범위 내에 존재하는 공통 좌표 정보의 인텐시티 정보, 및 (iii) 기설정된 범위 내에 존재하는 제1 예측 깊이 정보(p1)를 이용하여 비공통 좌표 정보에 관련된 제2 예측 깊이 정보(p2)를 추정할 수 있다. 처리부(130)는 비공통 좌표 정보에 관련된 제2 예측 깊이 정보(p2)를 기반으로 복합 데이터를 업데이트할 수 있다.
도 6은 융합 센서의 라이다 센서가 획득한 데이터와 이미지 센서가 획득한 데이터를 예시한 도면이다. 융합 센서는 픽셀의 인텐시티 정보가 표현된 이미지(601)와 거리 정보를 결합한 후 매핑되지 않은 거리 정보를 보간할 필요가 있다. 융합 센서는 인텐시티 정보를 기반으로 매핑되지 않은 거리 정보를 보간한다. 도 6에서 매핑된 거리 정보만을 이용하여 매핑되지 않은 거리 정보를 보간한 이미지(602, 603)와 인텐시티 정보를 기반으로 매핑되지 않은 거리 정보를 보간한 이미지(604)를 참조하면, 인텐시티 정보를 이용하여 보간된 거리 정보로 인하여 복합 데이터에 포함된 거리 정보의 정확도가 향상됨을 파악할 수 있다.
도 5는 복수의 카메라를 갖는 융합 센서를 예시한 도면이다.
이동체가 먼 거리를 측정할 경우에, 레이저의 파워와 환경에 따라 거리 측정이 제한될 수 있다. 융합 센서는 기설정된 거리보다 가까이 위치하는 대상체에 관하여 제1 센서 및 상기 제2 센서를 모두 동작시켜 복합 데이터를 생성할 수 있다.
라이다의 거리 제한을 극복하기 위하여 이동체는 카메라만을 이용하여 측정을 수행할 수 있다. 융합 센서는 기설정된 거리보다 멀리 위치하는 대상체에 관하여 상기 제1 센서 또는 상기 제2 센서를 선택적으로 동작시켜 데이터를 획득할 수 있다.
융합 센서는 두 개의 광각 카메라를 이용하여 직접적인 거리를 측정할 수 있다. 융합 센서는 단일 렌즈 카메라를 적용할 수도 있다. 오도메트리 정보에 노이즈를 포함하기 쉬운 환경에서는 단일 렌즈 카메라보다는 스테레오 카메라를 적용하는 것이 바람직하다.
도 8 내지 도 18은 본 발명의 실시예들에 따른 이동체가 위치를 인식하고 지도를 생성하는 동작을 설명하기 위한 도면이다.
로봇이나 차량 등의 이동체가 미지의 환경에서 이동하기 위해서는 주변환경에 관한 정보가 없으므로, 센서정보를 이용하여 환경에 관한 지도를 작성하고, 작성된 지도로부터 이동체의 현재 위치를 추정해야 한다. 이러한 위치를 인식하고 주변 환경 지도를 작성하는 방법을 동시 위치 추정 및 지도 작성(Simultaneous Localization and Mapping, SLAM)이라고 한다.
도 8은 동시간 위치 인식 및 지도 작성(Simultaneous Localization And Mapping, SLAM) 방법이 처리하는 정보를 그래프 모델로 나타낸 것이다. 도 8을 참조하면, x는 로봇의 위치, u는 오도메트리 정보, z는 관측값, m은 추정 맵을 나타낸다. SLAM에 관한 방법으로는 필터 기반의 SLAM, 그래프 기반의 SLAM 등 다양한 방법이 있다.
그래프 기반의 SLAM은 로봇의 위치와 움직임을 그래프의 노드 및 엣지로 표현한다. 노드는 특정 시점에서의 로봇 또는 인공표식의 위치이다. 엣지는 두 노드 간의 관계이며, 두 노드 간의 공간 상의 구속 조건(Constraint)을 의미한다. 측정된 엣지는 오차를 포함한다. 따라서, 로봇의 주행거리가 길어지거나 노드의 개수가 증가할수록, 위치를 추정하는 과정에서 오차가 누적되는 문제가 있다.
도 9는 지도 생성기를 예시한 도면이다. 도 9에 도시한 바와 같이 지도 생성기(20)는 지역 지도 추정부(210) 및 전역 지도 추정부(220)를 포함한다. 지역 지도 추정부(210) 및 전역 지도 추정부(220)는 동일 또는 상이한 프로세서로 구현될 수 있다.
지도 생성기(20)는 스캐닝을 수행한 위치(Pose)를 노드로 표현하고 노드 간의 상대 위치(Relative Pose)를 산출한다. 지도 생성기(20)는 노드 간의 상대 위치에 따라 각각의 노드의 위치를 최적화하여 지도를 갱신한다. 지도 생성기(20)는 구속 조건들을 최대한 만족하는 노드값 또는 구속 조건들을 최소한 벗어나는 노드값을 찾고, 노드들의 위치에서의 오차들을 보정하는 과정을 수행하여 노드의 위치를 최적화한다. 즉, 노드들은 구속 조건을 기반으로 최적의 노드값으로 수렴한다.
지도 생성기(20)는 현재 위치를 추정할 때 가까운 지역에서 얻어진 센서 데이터를 이용하여 현재 위치를 추정한다. 스캐닝 주기와 키 프레임 생성 주기는 구현되는 설계에 따라 적합한 수치로 설정되며, 필요에 따라 상이하게 설정될 수 있다.
융합 센서(10)는 이동 로봇이 위치하는 공간의 스캔 정보를 획득한다. 융합 센서(10)는 라이다 센서를 이용하여 전방향(Omnidirectional) 또는 일부 영역의 거리 정보를 획득할 수 있다. 지도 생성기(20)는 거리 정보와 함께 이동 로봇의 오도메트리 정보를 추가로 획득할 수 있다. 지도 생성기는 이동 로봇의 이동 장치에 연결된 엔코더(Encoder) 또는 IMU(Inertial Measurement Unit)로부터 회전수, 기울기, 회전량 등의 오도메트리 정보를 획득할 수 있다. IMU는 가속도 센서 및 자이로 센서로 구현될 수 있다.
이동 로봇의 위치는 3차원 벡터로 표현될 수 있다. 3차원 벡터는 기준 좌표계의 원점으로부터의 X좌표와 Y좌표, 로봇 좌표계의 X축과 기준 좌표계의 X축이 이루는 각도로 표현될 수 있다.
지역 지도 추정부(210)는 스캔 정보를 이용하여 노드에 관한 키 프레임을 생성하고, 연속하는 노드 간의 오도메트리 엣지를 산출한다. 노드 간의 관측값은 불확실성(Uncertainty)을 갖는다. 오도메트리 엣지의 불확실성은 공분산 행렬로 표현될 수 있다.
지역 지도 추정부(210)는 스캐닝 주기마다 획득한 복수의 스캔 정보 중에서 키 프레임을 저장한다. 스캔 정보는 점군(Point Cloud) 또는 복합 데이터로 표현될 수 있다. 키 프레임은 거리 정보 및 시간 정보를 포함한다. 지역 지도 추정부(210)는 등록된 키 프레임이 없으면 현재 입력된 거리 정보를 이용하여 키 프레임을 생성하고, 이후 키 프레임을 갱신하여 지역 지도를 추정한다. 지역 지도 추정부(210)는 복수의 스캔 정보를 합친 지역 지도를 기반으로 스캔 매칭을 수행하여 정확도를 향상시킬 수 있다.
지역 지도 추정부(210)는 스캔 정보를 회전 또는 이동하여 스캔 매칭하거나 이동 로봇의 오도메트리 정보를 측정하여 오도메트리 엣지를 산출한다. 지역 지도 추정부(210)는 스캔 매칭을 통하여 노드의 추정값을 기반으로 예측된 오도메트리 엣지 및 측정된 오도메트리 엣지 간의 오차를 보정한다.
전역 지도 추정부(220)는 갱신한 키 프레임의 집합에 대하여 연속하지 않는 노드 간의 루프 클로저 엣지를 검출한다. 이동 로봇이 방문한 지역을 다시 방문하면, 노드들의 오차를 보다 정확하게 보정할 수 있다. 시간적으로 연속한 노드 간의 오도메트리 엣지와 달리 루프 클로저 엣지는 시간적으로 연속하지 않는 노드 간에 공간적 관계를 형성한다. 다만, 모든 엣지 간에 루프 클로저 엣지를 생성하는 것은 비효율적이므로 구속 조건을 고려하여 적절한 루프 클로저 엣지를 검출할 필요가 있다.
전역 지도 추정부(220)는 오도메트리 엣지 및 루프 클로저 엣지를 기반으로 노드의 위치를 보정하여 전역 지도를 추정한다. 전역 지도 추정부(220)는 지역 지도를 결합하여 전역 지도를 확장하고 갱신한다.
인터페이스는 다른 장치와 정보를 송수신하는 통신 경로이다. 다른 장치는 인터페이스를 통해 지도 생성기(20)에 접속하여 파라미터를 설정할 수 있다. 지도 생성기(20)는 인터페이스를 통해 측정 위치 및 지도를 다른 장치로 전송할 수 있다.
이하에서는 도 10을 참조하여, 지도 생성기가 스캔 매칭하는 동작을 설명하기로 한다. 도 10은 지도 생성기가 스캔 매칭하는 데이터를 예시한 도면이다.
p는 시간 및 위치 변화에 따른 노드의 위치(Pose)이고, e는 노드 간의 공간적 관계이다. 지도 생성기가 획득한 스캔 정보는 고정 구조물로부터의 거리 정보를 포함한다.
로봇의 이동 전과 후의 스캔 정보를 비교하면 오도메터리 오차가 누적되어 공통적인 부분이 겹치지 않게 된다. 스캔 정보를 회전 또는 이동하고 관측값의 확률을 산출하는 스캔 매칭을 통하여 오도메터리 오차를 보정함으로써 로봇의 정확한 위치를 추정할 수 있다.
이하에서는 도 11을 참조하여, 지도 생성기가 필터링하는 동작을 설명하기로 한다. 도 11은 지도 생성기가 필터링한 데이터를 예시한 도면이다.
특정 시간 또는 특정 위치에서 획득한 스캔 정보는 고정 구조물과 달리 이동 장애물과 같은 노이즈를 포함할 수 있고, 이동 로봇이 이동하며 점진적으로 갱신하는 지역 지도는 실제 구조물과 다른 구조물로 변경될 수 있다. 즉, 이동 장애물로 인하여, 동일한 위치에서 상이한 시간 주기로 획득한 스캔 정보를 스캔 매칭하면, 추정한 지도에서 오차가 발생한다.
지역 지도 추정부는 기 설정된 시간 구간에서 획득한 복수의 스캔 정보로부터 확률적 기법으로 이동 장애물과 고정 장애물을 판별하고, 새롭게 획득한 스캔 정보를 비교하여 키 프레임에서 이동 장애물을 제거하여 지역 지도를 갱신한다. 최근 N 개의 스캔 정보를 이용하여 노이즈를 제거하여 지역 지도를 갱신한다. 노이즈는 기 설정된 이동 거리를 이동하거나 기 설정된 회전 각도로 회전하여 변형된 점군 데이터 또는 복합 데이터일 수 있다.
지역 지도 추정부는 계산 부하를 줄이고 의미있는 정보를 획득하기 위해 이동 로봇의 이동 거리에 관한 제1 조건을 만족하면 키 프레임을 필터링할 수 있다. 제1 조건은 이동 거리를 기반으로 설정된다. 예컨대, 지역 지도 추정부는 기준 지점으로부터 특정 거리 이상으로 이동하면 필터링을 수행하여 이동 장애물에 관한 노이즈를 제거한다.
이하에서는 지도 생성기가 전역 지도를 추정하는 동작을 설명하기로 한다. 도 12는 지도 생성기가 전역 지도를 추정하는 동작을 예시한 흐름도이고, 도 13 내지 도 17은 지도 생성기가 처리하는 데이터를 예시한 도면이다.
전역 지도 추정부는 이동 로봇의 이동 거리 또는 주변환경의 변화에 관한 제2 조건을 만족하면 갱신한 키 프레임의 집합에 대하여 전역 지도를 추정한다. 제2 조건은 이동 거리 또는 주변환경의 변화를 기반으로 설정된다. 예컨대, 제2 조건은 특정 거리 이상 주행하거나 특정 거리 범위를 벗어나거나 주변 구조물의 매칭율이 일정 범위를 벗어나는 것으로 설정될 수 있다.
최근 N 개의 스캔 정보는 모두 필터링된 데이터이며, 고정 구조물에 관한 데이터를 갖는다. 전역 지도 추정부는 필터링된 키 프레임들을 저장한다.
단계 S310에서 전역 지도 추정부는 특정된 키 프레임을 기준으로 불확실성 전파(Uncertainty Propagation)를 이용하여 각각의 키 프레임의 오차를 보정한다. 키 프레임에 관한 변수는 불확실성을 가지고 함수관계에 있는 다른 변수 결합에 전달된다.
마할라노비스 거리(Mahalanobis Distance)를 이용하여 기 설정된 거리 내에 위치하는 키 프레임에 관한 제1 후보군을 추출한다. 마할라노비스 거리는 평균과의 거리가 표준편차의 몇 배인지를 나타내는 값으로, 어떤 값이 발생하기 어려운 값인지 또는 얼마나 이상한 값인지를 수치화한다. 도 13에서는 최근에 삽입된 키 프레임에 관한 노드(pn)을 기준으로 추출한 제1 후보군의 노드들(pk-1, pk, pk+1, pm-1, pm, pm+1)이 도시되어 있다.
단계 S320에서 전역 지도 추정부는 제1 후보군의 키 프레임 및 기 설정된 시간 구간에서 획득한 키 프레임를 비교하여 기 설정된 확률 범위에 매칭하는 키 프레임에 관한 제2 후보군을 추출한다. 도 14에서는 최근 N 개의 키 프레임에 관한 노드들(pn, pn -1, pn - 2)을 기준으로 추출한 제2 후보군의 노드들(pk, pm-1, pm, pm+1)이 도시되어 있다.
단계 S330에서 전역 지도 추정부는 일관성 확인 알고리즘을 이용하여 상기 제2 후보군으로부터 기 설정된 일관성 범위에 매칭하는 키 프레임에 관한 제3 후보군을 추출한다. 전역 지도 추정부는 오매칭된 후보를 재검사한다. 예컨대, 일관성 확인 알고리즘으로는 최대 클리크(Maximum Clique) 또는 싱글 클러스터 그래프 파티션(Single Cluster Graph Partitioning) 기법 등이 적용될 수 있다. 도 15에서는 추출한 제3 후보군의 노드들(pm-1, pm, pm+1)이 도시되어 있다.
단계 S340에서 전역 지도 추정부는 제3 후보군에 속하는 키 프레임을 대상으로 연속하지 않는 노드 간의 루프 클로저 엣지를 검출한다. 전역 지도 추정부는 최근 노드와 의미있는 노드 간에 공간적 관계를 형성한다. 도 16에서는 연속하지 않는 노드(pn, pm) 간의 루프 클로저 엣지(en, m)이 도시되어 있다.
단계 S350에서 전역 지도 추정부는 그래프 최적화 기법으로 오도메트리 엣지의 오차 및 상기 루프 클로저 엣지의 오차를 보정한다. 전역 지도 추정부는 구속 조건들을 최대한 만족하는 노드값 또는 구속 조건들을 최소한 벗어나는 노드값을 찾고, 노드들의 위치에서의 오차들을 보정하는 과정을 수행하여 노드의 위치를 최적화한다. 즉, 노드들은 구속 조건을 기반으로 최적의 노드값으로 수렴한다. 예컨대, 복수의 오도메트리 에지들과 복수의 루프 클로저 에지들에 의한 에러 벡터에 대한 가중 제곱 합의 최소값을 산출하는 방식으로 오차를 보정할 수 있다. 도 17에서는 오차를 보정하는 노드들과 엣지들이 도시되어 있다.
전역 지도 추정부는 복수의 지역 지도를 합친 전역 지도를 출력할 수 있다.
도 18은 본 발명의 다른 실시예에 따른 이동체의 지도 작성 방법을 예시한 흐름도이다. 이동체의 지도 작성 방법은 이동체(이동 로봇)의 지도 생성기에 의하여 수행될 수 있다.
단계 S410에서 지도 생성기는 이동 로봇이 위치하는 공간의 스캔 정보를 획득한다. 스캔 정보를 획득하는 단계(S2510)는 라이다 센서를 이용하여 전방향 또는 일부 영역의 거리 정보를 획득할 수 있다. 스캔 정보를 획득하는 단계(S410)는 거리 정보와 함께 이동 로봇의 오도메트리 정보를 추가로 획득할 수 있다.
단계 S420에서 지도 생성기는 스캔 정보를 이용하여 노드에 관한 키 프레임을 생성하고, 연속하는 노드 간의 오도메트리 엣지를 산출하고 상기 키 프레임을 갱신하여 지역 지도를 추정한다.
지역 지도를 추정하는 단계(S420)는 상기 스캔 정보를 회전 또는 이동하여 스캔 매칭하거나 상기 이동 로봇의 오도메트리 정보를 측정하여 상기 오도메트리 엣지를 산출한다. 지역 지도를 추정하는 단계(S420)는 스캔 매칭을 통하여 노드의 추정값을 기반으로 예측된 오도메트리 엣지 및 측정된 오도메트리 엣지 간의 오차를 보정한다.
지역 지도를 추정하는 단계(S420)는 이동 로봇의 이동 거리에 관한 제1 조건을 만족하면 키 프레임을 필터링한다. 지역 지도를 추정하는 단계(S420)는 기 설정된 시간 구간에서 획득한 복수의 스캔 정보로부터 확률적 기법으로 이동 장애물과 고정 장애물을 판별하고, 새롭게 획득한 스캔 정보를 비교하여 키 프레임에서 이동 장애물을 제거하여 지역 지도를 갱신한다.
단계 S430에서 지도 생성기는 갱신한 키 프레임의 집합에 대하여 연속하지 않는 노드 간의 루프 클로저 엣지를 검출하고, 오도메트리 엣지 및 루프 클로저 엣지를 기반으로 노드의 위치를 보정하여 전역 지도를 추정한다.
전역 지도를 추정하는 단계(S430)는 이동 로봇의 이동 거리 또는 주변환경의 변화에 관한 제2 조건을 만족하면 갱신한 키 프레임의 집합에 대하여 전역 지도를 추정한다.
전역 지도를 추정하는 단계(S430)는 특정된 키 프레임을 기준으로 불확실성 전파를 이용하여 각각의 키 프레임의 오차를 보정하고, 마할라노비스 거리를 이용하여 기 설정된 거리 내에 위치하는 키 프레임에 관한 제1 후보군을 추출한다.
전역 지도를 추정하는 단계(S430)는 제1 후보군의 키 프레임 및 기 설정된 시간 구간에서 획득한 키 프레임를 비교하여 기 설정된 확률 범위에 매칭하는 키 프레임에 관한 제2 후보군을 추출한다.
전역 지도를 추정하는 단계(S430)는 일관성 확인 알고리즘을 이용하여 제2 후보군으로부터 기 설정된 일관성 범위에 매칭하는 키 프레임에 관한 제3 후보군을 추출한다. 지도 생성기는 제1 후보군 내지 제3 후보군에 속하는 노드 중 적어도 하나에 대하여 루프 클로저 엣지를 생성한다.
전역 지도를 추정하는 단계(S430)는 그래프 최적화 기법으로 오도메트리 엣지의 오차 및 루프 클로저 엣지의 오차를 보정한다.
융합 센서 및 이동체에 포함된 복수의 구성요소들은 상호 결합되어 적어도 하나의 모듈로 구현될 수 있다. 구성요소들은 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작한다. 이러한 구성요소들은 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
융합 센서 및 이동체는 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합에 의해 로직회로 내에서 구현될 수 있고, 범용 또는 특정 목적 컴퓨터를 이용하여 구현될 수도 있다. 장치는 고정배선형(Hardwired) 기기, 필드 프로그램 가능한 게이트 어레이(Field Programmable Gate Array, FPGA), 주문형 반도체(Application Specific Integrated Circuit, ASIC) 등을 이용하여 구현될 수 있다. 또한, 장치는 하나 이상의 프로세서 및 컨트롤러를 포함한 시스템온칩(System on Chip, SoC)으로 구현될 수 있다.
융합 센서 및 이동체는 하드웨어적 요소가 마련된 컴퓨팅 디바이스에 소프트웨어, 하드웨어, 또는 이들의 조합하는 형태로 탑재될 수 있다. 컴퓨팅 디바이스는 각종 기기 또는 유무선 통신망과 통신을 수행하기 위한 통신 모뎀 등의 통신장치, 프로그램을 실행하기 위한 데이터를 저장하는 메모리, 프로그램을 실행하여 연산 및 명령하기 위한 마이크로프로세서 등을 전부 또는 일부 포함한 다양한 장치를 의미할 수 있다.
본 실시예들에 따른 동작은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능한 매체에 기록될 수 있다. 컴퓨터 판독 가능한 매체는 실행을 위해 프로세서에 명령어를 제공하는 데 참여한 임의의 매체를 나타낸다. 컴퓨터 판독 가능한 매체는 프로그램 명령, 데이터 파일, 데이터 구조 또는 이들의 조합을 포함할 수 있다. 예를 들면, 자기 매체, 광기록 매체, 메모리 등이 있을 수 있다. 컴퓨터 프로그램은 네트워크로 연결된 컴퓨터 시스템 상에 분산되어 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수도 있다. 본 실시예를 구현하기 위한 기능적인(Functional) 프로그램, 코드, 및 코드 세그먼트들은 본 실시예가 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있을 것이다.
본 실시예들은 본 실시예의 기술 사상을 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
Claims (15)
- 대상체에 관한 이미지 데이터를 획득하는 이미지 센서;
이미지를 획득하는 카메라를 사용하지 않고, 상기 대상체에 관한 포인트 클라우드 데이터를 획득하는 라이다 센서;
상기 이미지 데이터 및 상기 포인트 클라우드 데이터를 매핑한 복합 데이터를 생성하는 처리부를 포함하며,
상기 이미지 데이터는 2차원으로 표현된 제1 좌표 정보 및 상기 제1 좌표 정보에 관련된 인텐시티 정보를 포함하고,
상기 포인트 클라우드 데이터는 2차원으로 표현된 제2 좌표 정보와 상기 제2 좌표 정보에 관련된 깊이 정보를 포함하고,
상기 복합 데이터는 3차원으로 표현된 공간 좌표 정보와 상기 인텐시티 정보를 포함하며,
상기 처리부는 상기 이미지 센서가 설치된 위치에서 바라본 제1 공간 영역 및 상기 라이다 센서가 설치된 위치에서 바라본 제2 공간 영역이 중첩된 공간 영역에 대하여 상기 이미지 데이터의 제1 좌표 정보와 상기 포인트 클라우드 데이터의 제2 좌표 정보를 비교하여 상호 대응하는 좌표 정보를 매핑하여 상기 복합 데이터를 생성하고,
상기 복합 데이터는 (i) 상기 이미지 데이터의 제1 좌표 정보 중에서 상기 포인트 클라우드 데이터의 제2 좌표 정보에 대응하는 공통 좌표 정보 및 (ii) 상기 이미지 데이터의 제1 좌표 정보 중에서 상기 포인트 클라우드 데이터의 제2 좌표 정보에 대응하지 않는 비공통 좌표 정보를 포함하고,
상기 처리부는 (i) 상기 복합 데이터의 공통 좌표 정보에 해당하는 깊이 정보 및 (ii) 상기 복합 데이터의 공통 좌표 정보에 해당하는 인텐시티 정보를 이용하여, 상기 복합 데이터의 비공통 좌표 정보에 관련된 제1 예측 깊이 정보를 추정하고,
상기 처리부는 상기 복합 데이터의 비공통 좌표 정보에 관련된 제1 예측 깊이 정보를 기반으로 상기 복합 데이터를 업데이트하는 것을 특징으로 하는 융합 센서. - 삭제
- 삭제
- 삭제
- 삭제
- 제1항에 있어서,
상기 처리부는 (i) 상기 비공통 좌표 정보의 인텐시티 정보와 (ii) 상기 비공통 좌표 정보로부터 기설정된 범위 내에 존재하는 공통 좌표 정보의 인텐시티 정보 간에 유사도를 판단하여, 상기 제1 예측 깊이 정보를 추정하는 것을 특징으로 하는 융합 센서 - 제6항에 있어서,
상기 처리부는 (i) 상기 비공통 좌표 정보의 인텐시티 정보, (ii) 상기 공통 좌표 정보의 인텐시티 정보, 및 (iii) 상기 제1 예측 깊이 정보를 이용하여 상기 비공통 좌표 정보에 관련된 제2 예측 깊이 정보를 추정하는 것을 특징으로 하는 융합 센서. - 삭제
- 이동체에 있어서,
이미지 센서를 통하여 대상체에 관한 이미지 데이터를 획득하고, 라이다 센서를 통하여 상기 대상체에 관한 포인트 클라우드 데이터를 획득하고, 상기 이미지 데이터 및 상기 포인트 클라우드 데이터를 매핑한 복합 데이터를 생성하는 융합 센서;
상기 이미지 데이터, 상기 포인트 클라우드 데이터, 또는 상기 복합 데이터를 분석하여 주변 환경에 관한 지도를 생성하는 지도 생성기; 및
상기 지도를 기반으로 상기 이동체를 이동하도록 구현된 이동 장치를 포함하며,
상기 이미지 데이터는 2차원으로 표현된 제1 좌표 정보 및 상기 제1 좌표 정보에 관련된 인텐시티 정보를 포함하고,
상기 포인트 클라우드 데이터는 2차원으로 표현된 제2 좌표 정보와 상기 제2 좌표 정보에 관련된 깊이 정보를 포함하고,
상기 복합 데이터는 3차원으로 표현된 공간 좌표 정보와 상기 인텐시티 정보를 포함하며,
상기 융합 센서는 상기 이미지 센서가 설치된 위치에서 바라본 제1 공간 영역 및 상기 라이다 센서가 설치된 위치에서 바라본 제2 공간 영역이 중첩된 공간 영역에 대하여 상기 이미지 데이터의 제1 좌표 정보와 상기 포인트 클라우드 데이터의 제2 좌표 정보를 비교하여 상호 대응하는 좌표 정보를 매핑하여 상기 복합 데이터를 생성하고,
상기 복합 데이터는 (i) 상기 이미지 데이터의 제1 좌표 정보 중에서 상기 포인트 클라우드 데이터의 제2 좌표 정보에 대응하는 공통 좌표 정보 및 (ii) 상기 이미지 데이터의 제1 좌표 정보 중에서 상기 포인트 클라우드 데이터의 제2 좌표 정보에 대응하지 않는 비공통 좌표 정보를 포함하고,
상기 융합 센서는 (i) 상기 복합 데이터의 공통 좌표 정보에 해당하는 깊이 정보 및 (ii) 상기 복합 데이터의 공통 좌표 정보에 해당하는 인텐시티 정보를 이용하여, 상기 복합 데이터의 비공통 좌표 정보에 관련된 제1 예측 깊이 정보를 추정하고,
상기 융합 센서는 상기 복합 데이터의 비공통 좌표 정보에 관련된 제1 예측 깊이 정보를 기반으로 상기 복합 데이터를 업데이트하는 것을 특징으로 하는 이동체. - 삭제
- 삭제
- 제9항에 있어서,
상기 융합 센서는 기설정된 거리보다 가까이 위치하는 대상체에 관하여 상기 이미지 센서 및 상기 라이다 센서를 모두 동작시켜 복합 데이터를 생성하고,
상기 융합 센서는 기설정된 거리보다 멀리 위치하는 대상체에 관하여 상기 이미지 센서 또는 상기 라이다 센서를 선택적으로 동작시켜 데이터를 획득하는 것을 특징으로 하는 이동체. - 제9항에 있어서,
상기 지도 생성기는,
상기 이미지 데이터, 상기 포인트 클라우드 데이터, 또는 상기 복합 데이터를 분석하여 노드에 관한 키 프레임을 생성하고, 연속하는 노드 간의 오도메트리 엣지를 산출하고 상기 키 프레임을 갱신하여 지역 지도를 추정하며, 상기 갱신한 키 프레임의 집합에 대하여 연속하지 않는 노드 간의 루프 클로저 엣지를 검출하고, 상기 오도메트리 엣지 및 상기 루프 클로저 엣지를 기반으로 상기 노드의 위치를 보정하여 전역 지도를 생성하는 것을 특징으로 하는 이동체. - 제13항에 있어서,
상기 지도 생성기는,
상기 이미지 데이터, 상기 포인트 클라우드 데이터, 또는 상기 복합 데이터를 회전 또는 이동하여 스캔 매칭하거나 상기 이동체의 오도메트리 정보를 측정하여 상기 오도메트리 엣지를 산출하며,
상기 스캔 매칭을 통하여 상기 노드의 추정값을 기반으로 예측된 오도메트리 엣지 및 측정된 오도메트리 엣지 간의 오차를 보정하며,
상기 이동체의 이동 거리에 관하여 기설정된 조건을 만족하면 상기 키 프레임을 필터링하는 것을 특징으로 하는 이동체. - 제13항에 있어서,
상기 지도 생성기는 상기 이동체의 이동 거리 또는 주변환경의 변화에 관하여 기설정된 조건을 만족하면, 상기 갱신한 키 프레임의 집합에 대하여 상기 전역 지도를 추정하고,
상기 지도 생성기는 특정된 키 프레임을 기준으로 불확실성 전파(Uncertainty Propagation)를 이용하여 각각의 키 프레임의 오차를 보정하고,
상기 지도 생성기는 마할라노비스 거리(Mahalanobis Distance)를 이용하여 기 설정된 거리 내에 위치하는 키 프레임에 관한 제1 후보군을 추출하고,
상기 지도 생성기는 상기 제1 후보군의 키 프레임 및 기 설정된 시간 구간에서 획득한 키 프레임를 비교하여 기 설정된 확률 범위에 매칭하는 키 프레임에 관한 제2 후보군을 추출하고,
상기 지도 생성기는 일관성 확인 알고리즘을 이용하여 상기 제2 후보군으로부터 기 설정된 일관성 범위에 매칭하는 키 프레임에 관한 제3 후보군을 추출하고,
상기 지도 생성기는 그래프 최적화 기법으로 오도메트리 엣지의 오차 및 상기 루프 클로저 엣지의 오차를 보정하는 것을 특징으로 하는 이동체.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/KR2018/007847 WO2019039733A1 (ko) | 2017-08-21 | 2018-07-11 | 카메라와 라이다를 이용한 융합 센서 및 이동체 |
| EP18189682.0A EP3447532A3 (en) | 2017-08-21 | 2018-08-20 | Hybrid sensor with camera and lidar, and moving object |
| US16/136,222 US11579298B2 (en) | 2017-09-20 | 2018-09-19 | Hybrid sensor and compact Lidar sensor |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR20180055953 | 2018-05-16 | ||
| KR1020180055953 | 2018-05-16 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190131402A KR20190131402A (ko) | 2019-11-26 |
| KR102135560B1 true KR102135560B1 (ko) | 2020-07-20 |
Family
ID=68731589
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020180080377A KR102135560B1 (ko) | 2017-08-21 | 2018-07-11 | 카메라와 라이다를 이용한 융합 센서 및 이동체 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102135560B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102400007B1 (ko) * | 2021-12-17 | 2022-05-19 | 주식회사 굿링크 | 라이다 센서를 포함하는 감시 카메라 시스템 |
| KR20230063556A (ko) | 2021-11-02 | 2023-05-09 | 연세대학교 산학협력단 | 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템 및 모델링 형성 방법 |
| KR20230085627A (ko) | 2021-12-07 | 2023-06-14 | 한국전자기술연구원 | 3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치 및 방법 |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102307877B1 (ko) * | 2019-11-27 | 2021-10-06 | 한국생산기술연구원 | 라이다부 및 영상촬영부를 이용한 로봇청소기 및 이의 슬램맵 생성방법 |
| KR102259401B1 (ko) * | 2019-11-28 | 2021-06-01 | (주)테슬라시스템 | 드론 동영상에 증강현실 부가정보를 합성하는 방법 |
| KR102255978B1 (ko) * | 2019-12-02 | 2021-05-25 | 한국건설기술연구원 | 3d 센서를 활용한 객체 인식 기반 고해상도 철도 터널 내부 정밀 지도 생성 장치 및 방법 |
| KR102259247B1 (ko) * | 2019-12-06 | 2021-06-01 | 한국로봇융합연구원 | 공분산 행렬 기반의 다중 위치인식 결과 융합을 통한 강화 위치인식 방법과 시스템 |
| KR102162439B1 (ko) * | 2019-12-17 | 2020-10-06 | 에스케이텔레콤 주식회사 | 자율이동지원장치 및 자율이동지원장치의 동작 방법 |
| CN113252022A (zh) * | 2020-02-11 | 2021-08-13 | 北京图森智途科技有限公司 | 一种地图数据处理方法及装置 |
| CN112041634A (zh) * | 2020-08-07 | 2020-12-04 | 苏州珊口智能科技有限公司 | 移动机器人的定位方法、构建地图的方法及移动机器人 |
| CN114114317B (zh) * | 2020-08-28 | 2023-11-17 | 上海禾赛科技有限公司 | 激光雷达、数据处理方法及数据处理模块、介质 |
| CN112304307A (zh) * | 2020-09-15 | 2021-02-02 | 浙江大华技术股份有限公司 | 一种基于多传感器融合的定位方法、装置和存储介质 |
| CN112346047A (zh) * | 2020-11-10 | 2021-02-09 | 许昌学院 | 微型嵌入式的毫米波雷达视觉融合系统及产品检测方法 |
| KR102311718B1 (ko) * | 2020-11-16 | 2021-10-13 | (주)에바 | 자율주행 차량의 제어를 위한 마커 정보 저장 및 관리 방법, 서버 및 컴퓨터프로그램 |
| KR20220066690A (ko) * | 2020-11-16 | 2022-05-24 | 삼성전자주식회사 | 로봇 및 그 제어 방법 |
| CN113295175A (zh) * | 2021-04-30 | 2021-08-24 | 广州小鹏自动驾驶科技有限公司 | 一种地图数据修正的方法和装置 |
| CN113552585B (zh) * | 2021-07-14 | 2023-10-31 | 浙江大学 | 一种基于卫星地图与激光雷达信息的移动机器人定位方法 |
| WO2023095936A1 (ko) * | 2021-11-24 | 2023-06-01 | 심용수 | 가상공간의 객체생성 방법 및 그 장치 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101415297B1 (ko) * | 2008-04-16 | 2014-07-07 | 삼성전자주식회사 | 로봇 지도 생성 방법 및 로봇 지도 이용 방법 및 로봇지도를 가지는 로봇 |
| KR101976241B1 (ko) * | 2016-01-22 | 2019-08-28 | 경희대학교 산학협력단 | 다중로봇의 자기위치인식에 기반한 지도작성 시스템 및 그 방법 |
-
2018
- 2018-07-11 KR KR1020180080377A patent/KR102135560B1/ko active IP Right Grant
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20230063556A (ko) | 2021-11-02 | 2023-05-09 | 연세대학교 산학협력단 | 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템 및 모델링 형성 방법 |
| KR102654087B1 (ko) | 2021-11-02 | 2024-04-02 | 연세대학교 산학협력단 | 이동체를 이용한 점군 데이터 수집 및 딥러닝 기반 3차원 모델링 형성 시스템 및 모델링 형성 방법 |
| KR20230085627A (ko) | 2021-12-07 | 2023-06-14 | 한국전자기술연구원 | 3차원 공간 스캔용 ToF-스테레오 센서의 융합 장치 및 방법 |
| KR102400007B1 (ko) * | 2021-12-17 | 2022-05-19 | 주식회사 굿링크 | 라이다 센서를 포함하는 감시 카메라 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190131402A (ko) | 2019-11-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102135560B1 (ko) | 카메라와 라이다를 이용한 융합 센서 및 이동체 | |
| EP3447532A2 (en) | Hybrid sensor with camera and lidar, and moving object | |
| KR102172602B1 (ko) | 라이다를 이용한 위치 인식 및 지도 작성에 관한 방법 및 장치 | |
| US11579298B2 (en) | Hybrid sensor and compact Lidar sensor | |
| KR101725060B1 (ko) | 그래디언트 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| KR101776621B1 (ko) | 에지 기반 재조정을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| KR101784183B1 (ko) | ADoG 기반 특징점을 이용한 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| US8588471B2 (en) | Method and device of mapping and localization method using the same | |
| US20150356357A1 (en) | A method of detecting structural parts of a scene | |
| JP6589926B2 (ja) | 物体検出装置 | |
| JP6030405B2 (ja) | 平面検出装置およびそれを備えた自律移動装置 | |
| JP2009193240A (ja) | 移動ロボット及び環境地図の生成方法 | |
| KR20150144731A (ko) | 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법 | |
| US8428343B2 (en) | VOXEL map generator and method thereof | |
| KR101319525B1 (ko) | 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 시스템 | |
| CN115479598A (zh) | 基于多传感器融合的定位与建图方法及紧耦合系统 | |
| CN111198378A (zh) | 基于边界的自主探索方法和装置 | |
| KR101965739B1 (ko) | 이동 로봇 및 이의 제어 방법 | |
| Lee et al. | LiDAR odometry survey: recent advancements and remaining challenges | |
| KR102232629B1 (ko) | 통신 품질 정보에 기초하여 맵을 생성하는 서버 및 방법 그리고 맵에 따라 주행하는 이동 로봇 | |
| KR20130135652A (ko) | 이동 로봇 및 이의 제어 방법 | |
| KR101502071B1 (ko) | 랜드마크 기반 비전항법시스템을 위한 카메라 데이터 생성기와 그것을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체 | |
| AU2021273605B2 (en) | Multi-agent map generation | |
| Azevedo et al. | Real-time road surface mapping using stereo matching, v-disparity and machine learning | |
| CHOUCHANI et al. | ENHANCE RAILWAY DIGITAL MAP FOR SLAM: FEASIBILITY STUDY |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |