KR100835906B1 - 로봇 전역 위치 추정 방법 및 로봇 전역 위치 추정 장치 - Google Patents
로봇 전역 위치 추정 방법 및 로봇 전역 위치 추정 장치 Download PDFInfo
- Publication number
- KR100835906B1 KR100835906B1 KR1020070042827A KR20070042827A KR100835906B1 KR 100835906 B1 KR100835906 B1 KR 100835906B1 KR 1020070042827 A KR1020070042827 A KR 1020070042827A KR 20070042827 A KR20070042827 A KR 20070042827A KR 100835906 B1 KR100835906 B1 KR 100835906B1
- Authority
- KR
- South Korea
- Prior art keywords
- information
- robot
- distance
- probability
- candidate position
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 52
- 238000012545 processing Methods 0.000 claims abstract description 83
- 238000004364 calculation method Methods 0.000 claims abstract description 55
- 238000006073 displacement reaction Methods 0.000 claims abstract description 15
- 238000003860 storage Methods 0.000 claims description 21
- 238000004891 communication Methods 0.000 claims description 7
- 238000012952 Resampling Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 2
- 238000001514 detection method Methods 0.000 abstract description 9
- 238000004148 unit process Methods 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 15
- 238000005259 measurement Methods 0.000 description 9
- 239000000284 extract Substances 0.000 description 5
- 238000009826 distribution Methods 0.000 description 4
- 238000010606 normalization Methods 0.000 description 3
- 238000005192 partition Methods 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J9/00—Programme-controlled manipulators
- B25J9/16—Programme controls
- B25J9/1694—Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
- B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
- B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
- B25J19/02—Sensing devices
- B25J19/021—Optical sensing devices
- B25J19/023—Optical sensing devices including video camera means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0242—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using non-visible light signals, e.g. IR or UV signals
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Mechanical Engineering (AREA)
- Electromagnetism (AREA)
- Aviation & Aerospace Engineering (AREA)
- Radar, Positioning & Navigation (AREA)
- Robotics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Multimedia (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
Abstract
본 발명은, 복수 개의 로봇 후보 위치를 샘플링하고, 상기 로봇 후보 위치에 대한 로봇 후보 위치 예측 확률을 초기화하는 초기화 단계; 거리 센서, 비전 센서 및 엔코더를 포함하는 감지부가 거리 정보, 영상 정보 및 엔코더 정보를 구비하는 감지 정보를 감지 측정하는 감지 단계; 영상 처리부가 상기 감지 정보 및 저장부에 사전 저장된 대상 물체 정보에 기초하여, 상기 영상 정보를 영상 처리하는 영상 처리 단계; 상기 엔코더 정보로부터 상기 로봇 후보 위치에 대한 각각의 로봇 후보 위치 예측 확률을 연산하는 예측 확률 연산 단계; 상기 영상 처리 단계 종료 및 대상 물체 인식 여부에 따라, 상기 감지 정보에 기초하여 상기 로봇 후보 위치에 대한 각각의 로봇 후보 위치 센서 확률을 연산하는 센서 확률 연산 단계; 상기 로봇 후보 위치 예측 확률 및 상기 로봇 후보 위치 센서 확률로부터 로봇 후보 위치 추정 확률을 연산하는 추정 확률 연산 단계; 상기 로봇 후보 위치 추정 확률로부터 상기 로봇 후보 위치의 수렴 여부를 판단하는 로봇 후보 위치 수렴 판단 단계; 상기 로봇 후보 위치의 수렴 여부에 따라 상기 로봇 후보 위치로부터 로봇 추정 위치를 연산하여 출력하는 출력 단계;를 포함하는 로봇 전역 위치 추정 방법 및 이를 구현하기 위한 로봇 전역 위치 추정 장치를 제공한다.
Description
도 1은 본 발명의 일실시예에 따른 로봇 전역 위치 추정 장치를 구비하는 로봇의 개략적인 사시도이다.
도 2는 본 발명의 일실시예에 따른 로봇 전역 위치 추정 장치의 개략적인 블록 선도이다.
도 3은 본 발명의 일실시예에 따른 로봇 전역 위치 추정 방법의 개략적인 흐름도이다.
도 4는 본 발명의 일실시예에 따른 로봇 전역 위치 추정 방법의 영상 처리 단계에 대한 개략적인 흐름도이다.
도 5는 본 발명의 일실시예에 따른 로봇 전역 위치 추정 방법의 예측 확률 연산 단계에 대한 개략적인 흐름도이다.
도 6은 본 발명의 일실시예에 따른 로봇 전역 위치 추정 방법의 센서 확률 연산 단계에 대한 개략적인 흐름도이다.
도 7은 본 발명의 로봇 후보 위치 수렴 판단 단계에 대한 개략적인 흐름도이다.
도 8은 본 발명의 로봇 전역 위치 추정을 위하여 사전 저장되는 격자 지도 정보를 도시하는 선도.
도 9 내지 도 11은 선형 보간법을 통한 비전 센서 거리 정보 갱신 방법을 도시하는 개략적인 개념도이다.
도 12는 엔코더를 통한 이동 정보를 취득하는 방법을 도시하는 개략적인 개념도이다.
도 13a는 영상 처리에 소요되는 시간으로 인한 거리정보의 손실을 나타내는 개략적인 개념도이다.
도 13b 내지 도 13d는 영상 처리 단계 동안 이동되는 로봇과 대상 물체 간의 위치 및 배향 관계를 나타내기 위한 개략적인 상태도이다.
도 14a 내지 도 14c는 엔코더 정보를 이용한 로봇과 대상 물체 간의 위치 및 배향 관계 갱신하는 방법을 나타내기 위한 개략적인 상태도이다.
도 15a는 비전 센서를 통하여 얻어지는 비전 센서 거리 정보를 도시하기 위한 개략적인 상태도이다.
도 15b는 비전 센서를 통하여 인식된 물체에 대하여 연산부를 통하여 연산되는 각각의 로봇 후보 위치에 대한 비전 예측 거리 정보를 도시하기 위한 개략적인 상태도이다.
도 15c는 거리 센서를 통하여 얻어지는 거리 센서 측정 거리를 도시하기 위한 개략적인 상태도이다.
도 15d는 연산부를 통하여 연산되는 각각의 로봇 후보 위치에 대한 거리 센 서 예측 거리를 도시하기 위한 개략적인 상태도이다.
도 16a 내지 도 16d는 본 발명에 따른 로봇 후보 위치의 수렴 여부를 판단하기 위한 확률도를 나타내는 확률 선도이다.
*도면의 주요부분에 대한 부호의 설명*
10...로봇 전역 추정 장치 100...감지부
110...거리 센서 120...비전 센서
130...엔코더 200...영상 처리부
210...영상 제어부 220...영상 연산부
230...영상 저장부 300...제어부
400...저장부 500...연산부
본 발명은 로봇 위치 추정 방법 및 이를 구현하기 위한 로봇 위치 추정 장치에 관한 것으로, 더욱 상세하게는 비전 센서와 거리 센서로부터의 정보를 융합하여 추정 확률이 향상된 로봇 위치 추정 방법 및 이를 구현하는 로봇 위치 추정 장치에 관한 것이다.
로봇은 실용 방안의 지속적인 연구로 인하여 산업용으로서 뿐만 아니라 청소 로봇과 같은 일상 생활용으로서도 사용되며 실생활에서도 차지하는 비중이 점점 커지고 있다. 이와 같은 로봇이 자율 주행을 하기 위해서 로봇의 위치를 파악하는 로봇 위치 추정이 필수적으로 요구된다. 로봇 위치 추정은 환경에 대한 정보와 센서로 측정한 정보를 이용하여 로봇의 위치를 추정하는 기술로써, 자율 이동 로봇의 주행을 위한 핵심 기술이다. 위치 추정은 지역 위치 추정과 전역 위치 추정으로 분류할 수 있는데, 지역 위치 추정은 로봇의 초기 위치를 알고 있다는 가정하에 로봇이 이동하는 도안의 상대적인 위치 변화를 측정하고 이를 누적시켜 로봇의 위치를 추정하는 방식이다. 반면, 전역 위치 추정은 로봇의 초기 위치를 모르는 상황에서 로봇이 위치할 수 있는 전체 영역을 대상으로 로봇의 위치를 추정하는 방식으로, 지역 위치 추정보다 훨씬 복잡하고 수행하기 어렵다. 또한, 위치 추정 시 중요한 점 중의 다른 하나는 로봇의 위치 추정 결과에 대한 판단인데, 로봇이 위치 추정에 실패했을 때, 이를 판단하고 복구하는 능력은 신뢰성 있는 자율 주행을 위하여 필요하다.
종래의 전역 위치 추정은 거리 센서로부터의 거리 정보에 기반하여 이루어진다. 거리 센서에 기반한 위치 추정은 사람과 같이 위치가 변화되는 동적 장애물이나 책상 다리와 같이 감지하기 어려운 물체가 환경에 많을수록 오차가 커진다. 예를 들어, 복도와 같이 비슷한 장소가 반복되는 환경에서 로봇의 위치를 제대로 추정하기 어렵다.
이에 비하여 비전 센서는 거리 센서에 비하여 획득할 수 있는 정보량이 많고 가격대비 성능이 우수하기 때문에 비전 센서를 이용하는 연구가 많이 진행되고 있다. 그러나 영상 정보에 기반한 위치 추정은 정보 추출에 많은 시간이 소요되어 속도가 느려 갱신 주기가 증가됨으로써 보다 정확한 위치 추정을 이루기 어렵다는 문제점이 있다.
따라서, 본 발명은 전술한 문제점들을 해결하기 위한 것으로, 보다 정확한 위치 추정을 위한 로봇 전역 위치 추정 방법 및 이를 구현하는 추정 장치를 제공함을 목적으로 한다.
전술한 목적을 달성하기 위한 본 발명은, 복수 개의 로봇 후보 위치를 샘플링하고, 상기 로봇 후보 위치에 대한 로봇 후보 위치 예측 확률을 초기화하는 초기화 단계; 거리 센서, 비전 센서 및 엔코더를 포함하는 감지부가 거리 정보, 영상 정보 및 엔코더 정보를 구비하는 감지 정보를 감지 측정하는 감지 단계; 영상 처리부가 상기 감지 정보 및 저장부에 사전 저장된 대상 물체 정보에 기초하여, 상기 영상 정보를 영상 처리하는 영상 처리 단계; 상기 엔코더 정보로부터 상기 로봇 후보 위치에 대한 각각의 로봇 후보 위치 예측 확률을 연산하는 예측 확률 연산 단계; 상기 영상 처리 단계 종료 및 대상 물체 인식 여부에 따라, 상기 감지 정보에 기초하여 상기 로봇 후보 위치에 대한 각각의 로봇 후보 위치 센서 확률을 연산하는 센서 확률 연산 단계; 상기 로봇 후보 위치 예측 확률 및 상기 로봇 후보 위치 센서 확률로부터 로봇 후보 위치 추정 확률을 연산하는 추정 확률 연산 단계; 상기 로봇 후보 위치 추정 확률로부터 상기 로봇 후보 위치의 수렴 여부를 판단하는 로봇 후보 위치 수렴 판단 단계; 상기 로봇 후보 위치의 수렴 여부에 따라 상기 로봇 후보 위치로부터 로봇 추정 위치를 연산하여 출력하는 출력 단계;를 포함하는 로봇 전역 위치 추정 방법을 제공한다.
상기 로봇 전역 위치 추정 방법에 있어서, 상기 영상 처리 단계는: 상기 비전 센서로부터의 영상 정보로부터 영상 특징 정보를 추출하는 특징 추출 단계와, 영상 연산부가 저장부에 사전 설정된 대상 물체에 대한 대상 특징 정보와 상기 영상 특징 정보를 비교 정합시키는 비교 정합 단계와, 상기 비교 정합 단계가 종료되는 경우 비교 정합 결과 정보를 출력하고 영상 처리 종료 플랙을 출력하는 영상 처리 종료 단계를 포함할 수도 있다. 또한, 상기 예측 확률 연산 단계는 로봇 후보 위치 갱신 단계를 구비하고, 상기 로봇 후보 위치 갱신 단계는, 상기 감지부의 엔코더 정보 신호에 기초하여 상기 로봇 후보 위치의 변위를 연산하는 후보 위치 변위 연산 단계와, 상기 로봇 후보 위치 변위에 기초하여 로봇 후보 위치를 갱신하는 후보 위치 갱신 단계를 포함할 수도 있다.
또한, 상기 영상 처리 단계는, 상기 비교 정합된 대상 특징 정보가 있는 경우, 상기 비교 정합된 대상 특징 정보에 대한 대상 물체와의 비전 센서 거리 정보가 더 연산되는 단계를 더 포함하고, 상기 센서 확률 연산 단계는: 상기 영상 처리 단계가 종료되었는지를 판단하는 영상 처리 종료 판단 단계와, 상기 영상 처리 단계가 종료된 것으로 판단되는 경우, 상기 비교 정합 결과 정보로부터 비교 정합된 대상 물체 위치 정보의 산출 여부를 판단하는 대상 물체 인식 판단 단계와, 상기 대상 물체 위치 정보가 산출된 것으로 판단되는 경우, 엔코더 정보 신호와 상기 대상 물체 위치 정보에 기초하여 상기 대상 물체와의 비전 센서 거리 정보를 갱신하고, 상기 각각의 로봇 후보 위치에 대한 비전 예측 거리 정보를 연산하는 비전 센 서 거리 산출 단계와, 상기 비전 센서 거리 정보와 상기 비전 예측 거리 정보에 기초하여 로봇 후보 위치 비전 센서 확률을 연산하는 비전 센서 확률 연산 단계와, 상기 각각의 로봇 후보 위치에 대한 거리 예측 거리 정보를 연산하는 거리 센서 거리 산출 단계와, 상기 거리 센서로부터의 거리 센서 거리 정보와 상기 거리 예측 거리 정보에 기초하여 로봇 후보 위치 거리 센서 확률을 연산하는 거리 센서 확률 연산 단계와, 상기 로봇 후보 위치 비전 센서 확률과 상기 로봇 후보 위치 거리 센서 확률로부터 로봇 후보 위치 센서 확률을 산출하는 로봇 후보 위치 센서 확률 산출 단계를 포함할 수도 있다.
경우에 따라, 상기 센서 확률 연산 단계는: 상기 영상 처리 단계가 종료되었는지를 판단하는 영상 처리 종료 판단 단계와, 상기 영상 처리 단계가 종료된 것으로 판단되는 경우, 상기 비교 정합 결과 정보로부터 비교 정합된 대상 물체 위치 정보의 산출 여부를 판단하는 대상 물체 인식 판단 단계와, 상기 대상 물체 위치 정보가 산출되지 않은 것으로 판단되는 경우, 상기 각각의 로봇 후보 위치에 대한 거리 예측 거리 정보를 연산하는 거리 센서 거리 산출 단계와, 상기 거리 센서로부터의 거리 센서 거리 정보와 상기 거리 예측 거리 정보에 기초하여 로봇 후보 위치 거리 센서 확률을 연산하는 거리 센서 확률 연산 단계와, 상기 로봇 후보 위치 거리 센서 확률로부터 로봇 후보 위치 센서 확률을 산출하는 로봇 후보 위치 센서 확률 산출 단계를 포함할 수도 있고,
또한, 상기 센서 확률 연산 단계는: 상기 영상 처리 단계가 종료되었는지를 판단하는 영상 처리 종료 판단 단계와, 상기 영상 처리 단계가 종료되지 않은 것으 로 판단되는 경우, 상기 엔코더 신호 정보를 누적시키는 엔코더 정보 누적 단계와, 상기 각각의 로봇 후보 위치에 대한 거리 예측 거리 정보를 연산하는 거리 센서 거리 산출 단계와, 상기 거리 센서로부터의 거리 센서 거리 정보와 상기 거리 예측 거리 정보에 기초하여 로봇 후보 위치 거리 센서 확률을 연산하는 거리 센서 확률 연산 단계와, 상기 로봇 후보 위치 거리 센서 확률로부터 로봇 후보 위치 센서 확률을 산출하는 로봇 후보 위치 센서 확률 산출 단계를 포함할 수도 있다.
상기 로봇 전역 위치 추정 방법에 있어서, 상기 로봇 후보 위치 수렴 판단 단계는: 상기 각각의 로봇 후보 위치로부터 사전 설정된 개수의 수렴 판단 샘플을 추출하는 단계와, 복수 개의 사전 설정된 수렴 범위 중, 상기 각각의 수렴 판단 샘플의 로봇 후보 위치 추정 확률에 대하여 해당되는 수렴 범위를 산출하는 단계와, 상기 각각의 수렴 범위에 해당하는 수렴 판단 샘플 개수와 사전 설정된 상기 수렴 범위에 대한 사전 설정 개수를 비교하여 수렴 여부를 판단하는 단계를 포함할 수도 있고, 상기 로봇 후보 위치 수렴 판단 단계에서 수렴되지 않은 것으로 판단되는 경우, 상기 로봇 후보 위치로부터 새로운 로봇 후보 위치를 재샘플링하고 상기 감지 단계로 복귀될 수도 있다.
본 발명의 다른 일면에 따르면, 영상 정보를 취득하는 비전 센서, 거리 정보를 감지하는 거리 센서 및 엔코더 정보를 취득하는 엔코더를 포함하는 감지부; 상기 감지부로부터의 감지 정보에 기초하여 상기 영상 정보를 영상 처리하는 영상 처리부; 상기 감지부 및 상기 영상 처리부와 전기적 소통을 이루며 로봇 추정 위치를 출력하는 제어부; 상기 제어부와 전기적 소통을 이루며 영상 처리된 영상 정보와 상기 감지 정보로부터 로봇 후보 위치 예측 확률과 로봇 후보 위치 센서 확률을 연산하여 로봇 후보 위치 추정 확률을 산출하는 연산부;를 포함하는 로봇 전역 위치 추정 장치가 제공된다.
이하에서는 본 발명에 따른 로봇 전역 위치 추정 방법 및 이를 구현하기 위한 로봇 전역 위치 추정 장치에 대하여 도면을 참조하여 설명하기로 한다.
도 1에는 본 발명의 일실시예에 따른 로봇 전역 위치 추정 장치가 장착되는 로봇이 도시되고, 도 2에는 본 발명의 일실시예에 따른 로봇 전역 추정 장치의 블록 선도도 도시된다. 로봇(1)의 하부에는 로봇(1)의 구동을 위한 로봇 구동기(미도시)로부터 구동력을 전달받아 이동력을 제공하는 이동 휠(2)을 포함하는 이동 수단이 구비되는데, 로봇(1)의 구동기를 통하여 생성된 구동력에 의하여 로봇(1)은 사전 설정된 이동 공간 또는 하나 이상의 대상 물체가 배치되고 사전 설정된 이동 공간을 주행할 수 있다.
로봇(1)에는 로봇 전역 추정 장치(10)가 구비되고, 로봇 전역 추정 장치(10)는 감지부(100)와, 영상 처리부(200)와, 제어부(300)와, 저장부(400) 및 연산부(500)를 포함하는데, 로봇 전역 추정 장치(10)는 사전 설정된 이동 공간 내 로봇(1)의 위치를 추정한다. 감지부(100), 영상 처리부(200), 저장부(400) 및 연산부(500)는 제어부(300)와 전기적 소통을 이루어 각각은 제어부(300)의 제어 신호에 따라 제어된다.
감지부(100)는 거리 센서(110)와 비전 센서(120) 및 엔코더(130)를 포함하는 데, 거리 센서(110)는 로봇(1)과 대상 물체(미도시) 및/또는 이동 공간을 구획하는 벽 사이의 거리를 측정하는 센서로 사용된다. 본 발명에서 거리 센서(110)는 IR 스캐너와 같은 적외선 센서로 구현되었으나 본 발명이 이에 국한되는 것은 아니다. 비전 센서(120)는 단안 카메라가 사용될 수도 있고 스테레오 타입의 쌍안 카메라가 사용될 수도 있다. 엔코더(130)는 구동기(미도시)로부터 구동력을 전달받아 로봇(1)을 이동시키는 이동휠(미도시)에 장착된다. 즉, 엔코더(130)는 서로 평행하게 배치되는 좌우측 이동휠에 각각 장착되고, 좌우측 이동휠의 회전각을 측정하여 이동휠의 회전 속도를 측정할 수도 있고, 좌우측 이동휠의 회전각과 각각의 이동휠의 반경으로부터 좌우측 이동휠의 이동 거리 차이로부터 로봇(1)의 회전각도 측정할 수 있다.
영상 처리부(200)는 영상 제어부(210)와 영상 연산부(220) 및 영상 저장부(230)를 포함하는데, 영상 처리부(200)는 감지부(100)로부터의 감지 정보, 예를 들어 비전 센서(120)로부터의 영상 정보 및 엔코더(130)로부터의 엔코더 정보에 기초하여 영상 정보를 영상 처리한다. 즉, 영상 제어부(210)는 영상 연산부(220) 및 영상 저장부(230)와 전기적 소통을 이루고 영상 연산부(220) 및 영상 저장부(230)에 제어 신호를 인가하여 영상 처리 과정을 제어한다. 영상 연산부(220)는 영상 제어부(210)의 제어 신호에 의하여 감지부(100)로부터의 감지 정보, 예를 들어 비전 센서(120)로부터의 영상 정보로부터 영상 특징 정보를 추출하고, 하기되는 저장부(400)에 사전 설정 저장된 대상 물체(미도시)에 대한 대상 특징 정보와 영상 특징 정보를 비교 정합하는 연산 과정을 수행한다. 영상 제어부(210)는 비교 정합된 연산 과정에 의하여 비교 정합된 대상 특징 정보가 있는 경우, 영상 연산부(220)는 비교 정합된 대상 특징 정보에 해당하는 대상 물체에 대한 비전 거리 센서 정보를 연산하고, 연산된 비전 거리 센서 정보는 영상 제어부(210)를 거쳐 영상 저장부(230)에 저장된다.
제어부(300)는 감지부(100), 영상 처리부(200), 저장부(400) 및 연산부(500)와 전기적 소통을 이루는데, 제어부(300)의 제어 신호에 따라 연산부(500)는 로봇(1)의 로봇 후보 위치 예측 확률, 로봇 후보 위치 센서 확률 및 로봇 후보 위치 추정 확률을 연산한다. 저장부(400)에는 사전 설정된 값이 저장되는데, 예를 들어 로봇(1)이 주행하는 이동 공간에 대한 격자 지도 정보와 이동 공간 내에 하나 이상의 대상 물체가 존재하는 경우 대상 물체에 대한 대상 특징 정보가 저장된다. 도 8에는 저장부(400)에 저장되는 로봇(1)이 주행하는 이동 공간에 대한 격자 지도가 도시되는데, 이동 공간 상에 배치되는 대상 물체의 위치 정보도 격자 지도 상에 표시된다. 또한, 저장부(400)는 연산부(500)에서 연산된 값들을 임시적으로 저장하는 버퍼 메모리로서의 역할도 수행한다.
이하에서는 로봇 전역 위치 추정 장치(10)를 통한 로봇 전역 위치 추정 방법에 대하여 도면을 참조하여 설명한다. 도 3 내지 도 7에는 본 발명의 일실시예에 따른 로봇 전역 위치 추정 방법 내지 로봇 전역 위치 추정 방법의 부분에 대한 세분화된 흐름도가 도시된다.
도 3에 도시된 바와 같이, 본 발명의 일실시예에 따른 로봇 전역 위치 추정 방법은 초기화 단계(S100), 감지 단계(S200), 영상 처리 단계(S300), 예측 확률 연산 단계(S400), 센서 확률 연산 단계(S500), 추정 확률 연산 단계(S600) 및 로봇 후보 위치 수렴 판단 단계(S700)를 포함한다.
먼저, 복수 개의 로봇 후보 위치가 샘플링되고, 로봇 후보 위치에 대한 로봇 후보 위치 예측 확률이 초기화된다(S100). 즉, 로봇 전역 위치 추정 방법이 개시되는 경우, 제어부(300)는 초기화 신호를 출력하여 사전 설정된 개수(N)의 로봇 후보 위치(xt)를 랜덤하게 추출하고, 랜덤하게 추출된 각각의 로봇 후보 위치(xt)에 대한 로봇 후보 위치 확률(bel(xt))를 초기화하는데, 모든 로봇 후보 위치(xt)에 대한 로봇 후보 위치 확률(bel(xt))을 모두 합하는 경우 1의 값을 가지므로 초기화된 로봇 후보 위치 확률(bel(xt))은 1/N의 값을 가지도록 형성하는 것이 바람직하다.
그런 후, 감지부(100)가 감지 정보를 감지하여 측정한다(S200). 감지부(100)가 감지 측정하는 감지 정보는 거리 센서 정보, 비전 센서 정보 및 엔코더 정보를 포함한다. IR 센서로 구현되는 거리 센서(210)에 의하여 측정되는 거리 센서 정보는 예를 들어 180도의 스캔 범위를 소정의 해상도에 해당하는 각도로 스캔되어 얻어지고, 비전 센서 정보는 카메라와 같은 촬상 장치를 통하여 얻어지는 광학 정보가 전기적 신호로 변환된 영상 정보로 구현된다. 엔코더 정보는 엔코더(230)로부터 얻어지는데, 엔코더 정보는 로봇(1)이 구동기(미도시)로부터 생성되는 구동력에 의하여 이동휠(미도시)이 회동하는 경우 측정되는 이동휠의 회전각 및/또는 회전속도로 구현된다.
그런 후, 영상 처리부(200)는 입력된 영상 정보를 영상 처리한다(S300). 영상 처리부(200)는 감지부(100) 및 저장부(400)와 직접 연결되거나 또는 제어부(300)를 통하여 연결되는데, 영상 처리부(200)는 감지부(100)로부터의 감지 정보와 저장부(400)로부터의 대상 물체 정보를 사용하여 이에 기초하여 영상 정보를 영상 처리한다. 영상 처리 과정은 다양한 방법을 통하여 이루어질 수 있는데, 본 발명의 일실시예에 따른 영상 처리 과정은 대상 물체의 크기 변화 및 회전 변화에 강인한 특징점 추출 및 특징 벡터 추출이 가능한 SIFT(Scale Invariant Feature Transform)으로 구현되는 것으로 설명한다. 하지만, 이는 본 발명의 일예일뿐 본 발명에 따른 영상 처리 방법이 이에 국한되는 것은 아니다.
저장부(400)에는 격자 지도의 이동 공간으로 표현되는 공간 상에 사전 설정되어 배치되는 대상 물체에 대한 특징점과 같은 대상 특징 정보가 사전 저장되어 있다. 대상 특징 정보는 제어부(300)의 제어 신호에 의하여 영상 처리부(200)로 전달된다. 또한, 감지부(100)의 비전 센서(120) 및 거리 센서(110)로부터 감지 측정된 거리 센서 정보 및 영상 정보를 포함하는 감지 정보도 영상 처리부(200)로 전달된다. 영상 연상부(220)는 전달된 대상 특징 정보와 감지 정보에 기초하여 영상 제어부(210)의 제어 신호에 따라 영상 처리 단계를 실행한다.
영상 처리 단계(S300)는 특징 추출 단계(S310)와 비교 정합 단계(S320)를 포함한다. 먼저, 영상 연산부(220)는 영상 제어부(210)의 제어 신호에 따라 비전 센서(120)의 영상 정보로부터 영상 특징 정보를 추출한다(S310). 영상 특징 정보 추출 방법은 다양한 방법이 선택될 수 있으나, 본 발명에서 영상 특징 정보는 영상 정보에서의 모서리, 꼭지점과 같은 특징점 및 배향을 나타내는 특징 배향 벡터를 추출하는 SIFT 방법으로 이루어진다. 이와 같은 방식으로 추출된 영상 특징 정보는 저장부(400)로부터 전달된 대상 물체에 대한 대상 특징 정보와 정합(matching)시키는 비교 정합 단계가 영상 연산부(220)에 의하여 실행된다(S320). 비교 정합 단계가 실행된 후, 정합된 대상 물체가 있는지와 정합된 대상 물체가 있는 경우 대상 물체가 어떤 것인지를 포함하는 비교 정합 결과 정보가 출력되고 영상 처리 종료 플랙이 출력되는 영상 처리 종료 단계가 실행된다(S340).
경우에 따라, 비교 정합 결과 정합된 대상 물체가 있는 경우, 비교 정합된 대상 물체와의 거리 정보가 갱신되는 비전 센서 거리 정보 갱신 단계가 더 실행된다(S350). 비전 센서(120)의 영상 정보가 단안 카메라로 사용되는 경우, 대상 물체와의 거리를 측정하지 못하고 거리 센서(110)가 사전 설정된 수평 가시 범위에 대하여 일정한 해상도, 예를 들어 1.8도와 같은 각 해상도(θrsl, angular resolution)를 구비하여 대상 물체가 각 해상도 사이의 범위에 배치되는 경우 거리 센서를 통하여 대상 물체와의 정확한 거리 측정이 어려우므로, 거리 센서를 통하여 측정된 실제 거리에 비전 센서를 통한 영상 정보에 기초한 비전 센서 거리 보정이 필요하다.
도 9 내지 도 11에는 선형 보간법을 통한 비전 센서 거리 정보 갱신 방법이 도시되어 있다. 먼저 비전 센서를 통한 영상 정보를 나타내는 도 10에 도시된 바와 같이 로봇 좌표계(xr-yr)에서 로봇이 향하는 방향으로부터 인식된 대상 물체의 중심점까지의 대상 물체 각도(θobj)를 산출한다.
여기서, uc는 인식된 대상 물체의 중심점의 영상 내의 u좌표를, wimg는 영상의 수평 방향 픽셀수, θfov는 카메라의 수평방향 가시각(비전 센서의 수평방향 가시각 범위)을 나타낸다.
그런 후, 도 9 및 도 11에 도시된 바와 같이 대상 물체의 중심점에 대한 각을 포함하는 각 해상도에 대한 거리 센서로부터의 거리 정보에 기초하여 비전 센서 거리 정보(dobj)를 산출한다. 즉, 도 9에 도시된 바와 같이 거리 센서(110)를 통한 좌표(x-y)에서의 스캔 범위(예를 들어 -109도 내지 +109도)에서 각 해상도(θrsl, 예를 들어 1.8도)로 거리 측정이 되는 경우,
여기서, θi는 일정한 각 해상도를 갖는 거리 센서에 대한 i 번째 측정점에서의 각도를, θi+ 1는 i+1번째 측정점에서의 각도를, d1,d2,d3는 각각 i+1번째 측정점까지, i번째 측정점까지 그리고 i+1번째 측정점과 i번째 측정점 사이의 거리를 나타낸다. 따라서, 로봇(1)과 인식된 대상 물체 간의 보다 정확한 거리(dobj)가 비전 센서 거리 정보로서 산출될 수 있다.
한편, 제어부(300)의 제어 신호에 의하여 연산부(500)는 예측 확률 연산 단계(S400)를 실행한다. 영상 처리부(300)에 의한 영상 처리 단계(S300)는 상당한 시간을 소요하기 때문에, 제어부(300)는 영상 처리부(200)에 영상 처리 단계(S300)의 실행을 위한 제어 신호를 출력한 후, 연산부(500)로 하여금 예측 확률을 연산토록 하는 예측 확률 연산 단계(S400)를 실행하는 제어 신호를 출력한다. 예측 확률 연산 단계(S400)는 로봇 후보 위치 갱신 단계(S410)와 로봇 후보 위치 예측 확률 연산 단계(S420)를 포함하는데, 로봇 후보 위치 갱신 단계(S410)는 후보 위치 변위 연산 단계(S411)와 후보 위치 갱신 단계(S413)를 구비한다. 즉, 연산부(500)는 제어부(300)의 제어 신호에 의하여 감지부(100) 엔코더(130)의 엔코더 정보 신호에 기초하여 로봇 후보 위치의 변위를 연산하고(S411), 그런 후 연산부(500)는 연산된 로봇 후보 위치 변위에 기초하여 로봇 후보 위치(xt)를 갱신한다. 예를 들어, 로봇(1)의 바디에 평행하게 배치되는 이동휠에 각각 엔코더(130)가 장착되고 로봇(1) 의 구동기(미도시)에 의하여 생성되는 구동력에 의하여 로봇(1)이 이동하는 경우 각각의 좌우 이동휠에는 각각의 회전각(αl,αr)이 측정되고, 측정된 회전각과 이동휠의 반경(rw)으로부터 좌우 이동휠 각각의 이동 거리(rwαl,rwαr)가 산출되고, 이로부터 도 12에 도시된 바와 같이 로봇(1)의 회전각 변위(Δθr)를 연산한다.
여기서, B는 좌우 이동휠 사이의 간격을 나타내는데, 회전각 변위(Δθr)와 좌우 이동휠 각각의 이동 거리(rwαl,rwαr)로부터 격자 지도로 표현되는 이동 공간 내에서의 이동 정보(ut)인 이동 변위(Δx,Δy,Δθr)만큼 각각의 로봇 후보 위치를 변위시킴으로써 로봇 후보 위치를 갱신한다.
그런 후, 구동기(미도시)로부터의 구동력에 의하여 이동 공간 내에서 각각의 로봇 후보 위치(xt)에 대한 로봇 후보 위치 예측 확률이 연산된다(S420). 즉, 베이시안 갱신 공식(Bayesian update formula)에 따라 시간 t에서의 이동 변위(ut(Δx,Δy,Δθr))에 대한 로봇 후보 위치의 예측 확률(bel-(xt))이 연산된다.
그런 후, 감지부(100)로부터 전달되는 감지 정보로부터 로봇 후보 위치(xt) 에 대한 각각의 로봇 후보 위치 센서 확률(p(zt|xt))이 연산된다(S500). 센서 확률 연산 단계(S500)는 영상 처리 종료 판단 단계(S510)와, 대상 물체 인식 판단 단계(S520)와, 비전 센서 거리 산출 단계(S530)와, 비전 센서 확률 연산 단계(S540)와, 거리 센서 거리 산출 단계(S550) 및 로봇 후보 위치 센서 확률 산출 단계(S580)을 포함한다. 먼저, 센서 확률 연산이 시작되는 경우(S501), 제어부(300)는 영상 처리부(200)에서의 영상 처리 단계(S300)가 종료되었는가를 판단한다(S510). 즉, 영상 처리 단계(S300)가 종료되는 경우, 상기한 바와 같이 영상 처리 종료 단계(S340)에서 영상 처리 종료 플랙이 산출되는데, 제어부(300)는 영상 처리부(300)로부터 영상 처리 종료 플랙이 출력되었는가를 판단한다.
영상 처리 단계(S300)가 종료된 것으로 판단되는 경우, 제어부(300)는 대상 물체가 인식되었는지를 판단하는 대상 물체 인식 판단 단계(S520)를 실행한다. 즉, 영상 처리부(200)로부터 출력된 비교 정합 결과 정보에 기초하여 비교 정합된 대상 물체가 있는가를 판단한다. 제어부(300)가 비교 정합 결과 정보로부터 비교 정합된 대상 물체가 존재한다고 판단하는 경우, 제어부(300)의 제어 신호에 의하여 연산부(500)는 엔코더 정보 신호와 대상 물체 위치 정보에 기초하여 대상 물체와의 비전 센서 거리 정보를 갱신하고 각각의 로봇 후보 위치에 대한 비전 예측 거리 정보를 연산하는 비전 센서 거리 산출 단계를 실행한다(S530). 도 13a에 도시된 바와 같이 영상 처리 단계(S300)에서 감지 단계(S200)에서 취득된 비전 센서를 통한 영상 정보에 기초하여 영상 정보 처리 단계가 실행되는데, 영상 처리 단계(S300)의 처리 시간은 단계의 실행 시간에 비하여 몇 배가 소요된다. 즉, IR 센서와 같은 거리 센서는 정보 갱신 주기가 빠른 반면, 비전 센서는 대상 물체 인식을 위하여 상대적으로 긴 수행 시간 때문에 정보 갱신 주기가 느린 문제점이 있는데, 비전 센서에서 대상 물체 인식이 완료된 시점에서 얻는 정보 대상 물체 인식을 위한 영상 처리 단계가 시작되는 시점 또는 시작되기 전에 얻어진 영상 정보이기 때문에, 영상 처리 단계의 수행 시간이 길어질수록 사용할 수 있는 거리 센서로부터의 정보가 누락되어 로봇 후보 위치에 대한 확률 갱신 주기도 느려져, 로봇의 고속 주행시 로봇 후보 위치 및 확률을 통하여 추정된 위치가 로봇에 뒤쳐지는 현상이 발생하는 것을 방지하기 위하여 영상 처리 단계가 종료된 시점의 거리 정보에 기초하여 비전 센서 거리 정보가 갱신된다(도 13a 내지 도 13d). 즉, 도 14a 내지 도 14c에는 처리된 영상 정보를 통하여 비교 정합 결과 인식된 대상 물체에 대한 비전 센서 거리 정보가 갱신되는 과정에 대한 일예가 도시된다. 상기 S350 단계에서 연산된 비전 센서 거리 정보는 영상 처리 단계 시작 시 얻어진 영상 정보 및 거리 센서 정보에 기초한 것이다. 따라서, 영상 처리 단계 시작과 종료 중 발생한 로봇(1)의 이동 정보(ut)를 사용하여 비전 센서 거리 정보를 영상 처리 단계 종료 시점에서의 유효한 정보로 갱신하는데, 대상 물체를 중심으로 반지름 dobj를 갖는 원주상 위에 상대 각도 θobj로 변환한다. 대상 물체로부터 반지름 dobj로 이격된 로봇 후보 위치를 동일한 엔코더 정보를 사용하여 이동시킨 후 대상 물체 까지의 상대 거리와 각도를 측정하면 모두 동일한 측정값을 갖는다. 따라서, 측정된 반지름 dobj 및 상대 각 도 θobj를 만족하는 임의의 점을 선택하여 엔코더 정보로 이동시키면, 대상 물체와의 
를 산출할 수 있다. 산출된 
를 새로운 dobj, θobj로 설정함으로써, 비전 센서 거리 정보를 갱신할 수 있고, 연산 시간이 상당히 소요되는 영상 처리 단계 종료 시점에서 유효한 의미를 갖는 비전 센서 거리 정보를 얻을 수 있다(도 15a 참조, 여기서 화살표는 로봇의 위치를 나타내고 화살표의 꼭지점은 로봇의 배향을 나타냄).
그런 후, 연산부(500)는 각각의 로봇 후보 위치(xt)에 대한 비전 예측 거리 정보(dpre,θpre)를 연산한다(도 15b 참조, 여기서 화살표는 로봇 후보 위치를 나타내고 화살표의 꼭지점은 로봇의 배향을 나타냄). 즉, 영상 처리 단계(S300)에서 비교 정합되어 인식된 대상 물체에 대한 위치 정보와 각각의 로봇 후보 위치와의 상대 거리(dpre) 및 상대 각도(θpre)를 연산함으로써 비전 예측 거리 정보를 산출한다.
비전 센서 거리 정보가 갱신되고 비전 예측 거리 정보가 산출된 후, 각각의 로봇 후보 위치에 대한 비전 센서 확률을 연산한다(S540). 비전 센서 확률은 비전 센서 거리 정보와 비전 예측 거리 정보와 아래의 식들을 통하여 산출될 수 있다.
여기서, i는 로봇 후보 위치에 대한 인덱스를 나타내고, zt는 시간 t에서의 센서 정보를 나타내고, xt는 시간 t에서의 로봇 후보 위치를, pd는 거리 정보(비전 센서 거리 정보)에 대한 예측 확률을, pθ는 각도 정보에 대한 예측 확률을 그리고 pv는 거리 정보와 각도 정보를 포함한 비전 센서 확률을 나타낸다. pd와 pθ는 각각 평균이 dobj, θobj이고 분산이 각각 
인 정규 분포를 갖는다. 
는 각각 비전 센서의 거리와 각도에 대한 정규화 상수이고, dpre ,i와 θpre ,i은 i번째 로봇 후보 위치에 대한 예측 상대 거리 및 예측 상대 각도를 나타낸다.
비전 센서 확률(pv)이 산출된 후, 제어부(300)는 연산부(500)로 하여금 거리 센서 거리를 산출하는 거리 센서 거리 산출 단계를 실행시키는 제어 신호를 출력한다(S560). 거리 센서 거리 산출 단계(S560)는 거리 센서를 통하여 얻어지는 거리 센서 측정 거리를 얻고 연산부를 통하여 각각의 로봇 후보 위치에 대한 거리 센서 예측 거리를 연산한다. 도 15c에는 거리 센서를 통하여 얻어지는 거리 센서 측정 거리가 개략적으로 도시되고, 도 15d에는 연산부를 통하여 연산되는 각각의 로봇 후보 위치에 대한 거리 센서 예측 거리를 나타낸다. 거리 센서 예측 거리의 연산은, 각각의 로봇 후보 위치의 격자 지도 상의 위치 정보 및 배향 정보와 더불어 격자 지도의 데이터를 사용하여 각각의 로봇 후보 위치와 격자 지도 격벽 간의 거리 센서 예측 거리가 연산된다(S560). 그런 후, 연산부(500)는 제어부(300)의 제어 신호에 따라 거리 센서 측정 거리와 거리 센서 예측 거리에 기초하여 거리 센서 확률을 연산한다(S570).
한편, 비전 센서 확률 연산 단계(S540)와 거리 센서 확률 연산 단계(S560) 사이에는 감지부를 초기화시키고 영상 처리를 시작하라는 제어 신호를 영상 처리부(200)로 출력하는 감지부 초기화 및 영상 처리 시작 신호 출력 단계(S550)가 더 실행될 수 있다.
로봇 후보 위치에 대한 거리 센서 확률과 비전 센서 확률이 연산된 후, 거리 센서 확률과 비전 센서 확률로부터 로봇 후보 위치 센서 확률(
)이 다음과 같이 연산된다(S580).
센서 확률 연산 단계(S500)가 종료되는 경우, 연산부(500)는 제어부(300)의 제어 신호에 따라 로봇 후보 위치 예측 확률과 로봇 후보 위치 센서 확률로부터 로봇 후보 위치 추정 확률(bel(xt))을 연산한다(S600).
여기서 ηt는 로봇 후보 위치 예측 확률과 로봇 후보 위치 센서 확률의 연산에 따라 정규화를 위한 정규화 상수(normalization constant)를 나타낸다.
로봇 후보 위치 추정 확률이 연산된 후, 제어부는 로봇 후보 위치가 사전 설정된 수렴 범위에 수렴되었는가를 판단하는 로봇 후보 위치 수렴 판단 단계를 실행한다(S700). 즉, 비전 센서를 통한 대상 물체 인식이 이루어진 경우, 다음 식을 사용하여 거리 및 각도에 대한 각각의 확률 분포를 산출하고(도 16a 및 도 16b)(S 710), 이들 확률 분포의 최대값으로 나눔으로써 각각을 정규화시킨다(도 16c 및 도 16d)(S720).
여기서, Δd는 인식된 대상 물체와 로봇 후보 간의 거리 간격을. Δθ는 대상 물체와 로봇의 배향 간의 각도 간격을 나타낸다. 그런 후, 상기 확률 분포로부터 각각의 로봇 후보 위치의 거리 정보와 각도 정보를 포함하는 비전 센서 정보에 대한 해당 확률도를 산출하고, 산출된 확률도가 사전 설정된 수렴 판단 범위 내에 속하는가를 비교 연산하고(S730), 비교 연산 결과에 따라 수렴 여부를 판단한다(S740). 사전 설정된 수렴 판단 범위는 설계 사양에 따라 다양한 값을 가지는데, 본 발명의 일예로 구현된 실시예의 경우 확률도가 0 내지 0.3인 경우 추정 실패 상태를, 0.3 내지 0.7인 경우 추정 위험 상태를, 그리고 0.7 내지 1.0인 경우 추정 성공 상태를 나타내도록 설정되었다.
예를 들어, 도 16a 내지 도 16d에 도시된 바와 같이 감지부의 비전 센서를 통하여 얻어진 거리 정보와 각도 정보가 각각 2.3m 및 10도인 경우 정규화된 확률은 각각 0.75와 0.13의 값을 가지는데, 거리 정보에 대한 정규화된 확률은 추정 성공 상태 범위 내에 존재하지만 각도 정보에 대한 정규화된 확률은 추정 실패 상태를 나타낸다.
이와 같은 로봇 후보 위치의 비전 센서 정보에 대한 각각의 해당 상태가 연 속적으로 3회 이상이 추정 실패 상태로 나타나거나 또는 10회 이상 연속적으로 추정 위험 상태로 형성되는 경우 로봇 후보 위치는 수렴되지 않은 것으로 판단하고, 그렇지 않은 경우 로봇 후보 위치는 수렴된 것으로 판단하고 수렴 판단 단계를 종료한다.
로봇 후보 위치가 수렴된 것으로 판단되는 경우, 최종적으로 수렴된 로봇 후보 위치(xtfinal=(xfinal, yfinal, θfinal))를 산출하고 출력한다(S800).
로봇 후보 위치가 수렴되지 않은 것으로 판단되는 경우, 제어부(300)는 로봇 후보 위치를 재선정하는 재샘플링 단계를 실행한다(S 750). 재샘플링 단계는 기존의 로봇 후보 위치에 대한 각각의 로봇 후보 위치 추정 확률을 누적하는 누적 확률로부터 추출한다. 따라서, 해당 로봇 후보 위치 추정 확률이 높은 로봇 후보 위치는 재샘플링 단계에서 추출될 가능성이 높아진다.
재샘플링 단계가 실행된 후, 제어 흐름은 감지 단계(S200)로 복귀되어 일련의 감지 단계, 영상 처리 단계, 예측 확률 연산 단계, 센서 확률 연산 단계, 추정 확률 연산 단계, 로봇 후보 위치의 수렴 판단 단계를 반복 실행한다.
한편, 단계 S520에서 대상 물체가 인식되지 않은 것으로 판단되는 경우, 제어부는 감지부(100)를 초기화시키고 영상 처리부(200)로 하여금 영상 처리 단계를 재실행하도록 제어 신호를 출력한다(S550a). 그런 후, 제어부(300)는 거리 센서(110)로부터의 감지 측정된 정보에 기초하여 연산부(500)로 하여금 거리 센서 예측 거리를 연산하는 거리 센서 거리 연산 단계를 실행시키는 제어 신호를 출력하여 연산부(500)가 거리 센서 예측 거리를 연산하고(S560a), 연산부(500)는 제어부(300)의 제어 신호에 따라 각각의 로봇 후보 위치와 격자 지도 격벽 간의 거리 센서 예측 거리와 거리 센서 측정 거리로부터 거리 센서 확률을 연산한다(S570a).
제어부(300)는 연산부(500)로 하여금 거리 센서 거리를 연산하는 거리 센서 거리 연산 단계를 실행시키는 제어 신호를 출력한다(S560a). 도 15c에는 거리 센서를 통하여 얻어지는 거리 센서 측정 거리가 개략적으로 도시되고, 도 15d에는 연산부를 통하여 연산되는 각각의 로봇 후보 위치에 대한 거리 센서 예측 거리를 나타낸다. 거리 센서 예측 거리의 연산은, 각각의 로봇 후보 위치의 격자 지도 상의 위치 정보 및 배향 정보와 더불어 격자 지도의 데이터를 사용하여 각각의 로봇 후보 위치와 격자 지도 격벽 간의 거리 센서 예측 거리가 연산된다(S560a). 그런 후, 연산부(500)는 제어부(300)의 제어 신호에 따라 거리 센서 측정 거리와 거리 센서 예측 거리에 기초하여 거리 센서 확률(pir)을 연산한다(S570a). 그런 후, 거리 센서 확률(pir)을 로봇 후보 위치 센서 확률 (pv)로 갱신한다(S580a). 이러한 일련의 과정은 상기한 단계 S560 내지 단계 S580과 거의 동일한 과정으로 수행된다.
또 한편, 상기 단계 S510에서 영상 처리 단계(S300)가 종료되지 않은 것으로 판단되는 경우, 제어부(300)는 감지부(100)의 엔코더(110)로부터의 엔코더 정보를 누적하는 엔코더 정보 누적 단계(S590)를 실행하고, 그런 후 상기한 단계 S560a 내지 단계 S580a를 실행한다.
상기한 바와 같이 영상 처리 단계가 종료되지 않거나 또는 대상 물체가 인식되지 않은 경우, 로봇 후보 위치 수렴 판단 단계는 거리 센서 정보를 사용하여 MCL(Monte Carlo Localization)을 사용하여 수렴 여부를 판단한다.
상기 실시예들은 본 발명을 설명하기 위한 것으로 본 발명이 이에 국한되는 것은 아니다. 즉, 감지부의 감지 정보로부터 영상 정보를 처리하고 이로부터 로봇 후보 위치에 대한 예측 확률과 센서 확률을 산출하여 로봇 후보 위치 추정 확률을 도출하고 반복적인 연산을 통하여 로봇 후보 위치의 수렴 여부를 판단하는 로봇 전역 위치 추정 방법 및 이를 위한 장치를 제공하는 범위에서 다양한 변형이 가능하다.
상기한 바와 같은 구성을 갖는 본 발명에 따른 로봇 전역 위치 추정 방법 및 이를 위한 장치는 다음과 같은 효과를 갖는다.
첫째, 본 발명에 따른 로봇 전역 위치 추정 방법은 영상 정보를 통하여 대상 물체가 인식되는 경우 거리 센서 확률 및 비전 센서 확률을 융합하여 센서 확률을 산출하고 이로부터 로봇 후보 위치 추정 확률을 연산하여 로봇 후보 위치의 수렴 여부를 판단함으로써, 보다 정확한 로봇 위치 추정을 가능하게 한다.
둘째, 본 발명에 따른 로봇 전역 위치 추정 방법은, 거리 센서로부터의 거리 정보와 비전 센서로부터의 영상 정보로부터 얻어지는 거리 센서 확률과 비전 센서 확률을 융합하여 센서 확률을 산출하고 이로부터 로봇 후보 위치 확률을 구하여 로봇 후보 위치의 수렴 여부를 판단하는 방법을 취함으로써, 영상 정보로부터 비전 센서 거리 정보를 산출함에 있어 엔코더를 통하여 영상 처리 과정 동안 발생하는 로봇의 위치 변위를 반영함으로써, 영상 처리 소요 시간으로 인한 위치 추정 오류가 발생하는 것을 방지할 수 있다.
셋째, 본 발명에 따른 로봇 전역 위치 추정 장치는, 로봇 전역 위치 추정 방법을 통하여 고가의 거리 센서 및 비전 센서를 필수적으로 요하지 않고 거리 센서와 비전 센서로부터의 정보 융합을 통하여 위치 추정 성능을 향상시킬 수 있음으로서, 추정 장치의 제조 원가를 현저하게 감소시킬 수도 있다.
본 발명은 도면에 도시된 일실시예들을 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허 청구 범위의 기술적 사상에 의해 정해져야 할 것이다.
Claims (9)
- 복수 개의 로봇 후보 위치를 샘플링하고, 상기 로봇 후보 위치에 대한 로봇 후보 위치 예측 확률을 초기화하는 초기화 단계;거리 센서, 비전 센서 및 엔코더를 포함하는 감지부가 거리 정보, 영상 정보 및 엔코더 정보를 구비하는 감지 정보를 감지 측정하는 감지 단계;영상 처리부가 상기 감지 정보 및 저장부에 사전 저장된 대상 물체 정보에 기초하여, 상기 영상 정보를 영상 처리하는 영상 처리 단계;상기 엔코더 정보로부터 상기 로봇 후보 위치에 대한 각각의 로봇 후보 위치 예측 확률을 연산하는 예측 확률 연산 단계;상기 영상 처리 단계 종료 및 대상 물체 인식 여부에 따라, 상기 감지 정보에 기초하여 상기 로봇 후보 위치에 대한 각각의 로봇 후보 위치 센서 확률을 연산하는 센서 확률 연산 단계;상기 로봇 후보 위치 예측 확률 및 상기 로봇 후보 위치 센서 확률로부터 로봇 후보 위치 추정 확률을 연산하는 추정 확률 연산 단계;상기 로봇 후보 위치 추정 확률로부터 상기 로봇 후보 위치의 수렴 여부를 판단하는 로봇 후보 위치 수렴 판단 단계;상기 로봇 후보 위치의 수렴 여부에 따라 상기 로봇 후보 위치로부터 로봇 추정 위치를 연산하여 출력하는 출력 단계;를 포함하는 로봇 전역 위치 추정 방법.
- 제 1항에 있어서,상기 영상 처리 단계는:상기 비전 센서로부터의 영상 정보로부터 영상 특징 정보를 추출하는 특징 추출 단계와,영상 연산부가 저장부에 사전 설정된 대상 물체에 대한 대상 특징 정보와 상기 영상 특징 정보를 비교 정합시키는 비교 정합 단계와,상기 비교 정합 단계가 종료되는 경우 비교 정합 결과 정보를 출력하고 영상 처리 종료 플랙을 출력하는 영상 처리 종료 단계를 포함하는 것을 특징으로 하는 로봇 전역 위치 추정 방법.
- 제 2항에 있어서,상기 예측 확률 연산 단계는 로봇 후보 위치 갱신 단계를 구비하고,상기 로봇 후보 위치 갱신 단계는, 상기 감지부의 엔코더 정보 신호에 기초하여 상기 로봇 후보 위치의 변위를 연산하는 후보 위치 변위 연산 단계와, 상기 로봇 후보 위치 변위에 기초하여 로봇 후보 위치를 갱신하는 후보 위치 갱신 단계를 포함하는 것을 특징으로 하는 로봇 전역 위치 추정 방법.
- 제 3항에 있어서,상기 영상 처리 단계는, 상기 비교 정합된 대상 특징 정보가 있는 경우, 상기 비교 정합된 대상 특징 정보에 대한 대상 물체와의 비전 센서 거리 정보가 더 연산되는 단계를 더 포함하고,상기 센서 확률 연산 단계는:상기 영상 처리 단계가 종료되었는지를 판단하는 영상 처리 종료 판단 단계와,상기 영상 처리 단계가 종료된 것으로 판단되는 경우, 상기 비교 정합 결과 정보로부터 비교 정합된 대상 물체 위치 정보의 산출 여부를 판단하는 대상 물체 인식 판단 단계와,상기 대상 물체 위치 정보가 산출된 것으로 판단되는 경우, 엔코더 정보 신호와 상기 대상 물체 위치 정보에 기초하여 상기 대상 물체와의 비전 센서 거리 정보를 갱신하고, 상기 각각의 로봇 후보 위치에 대한 비전 예측 거리 정보를 연산하는 비전 센서 거리 산출 단계와,상기 비전 센서 거리 정보와 상기 비전 예측 거리 정보에 기초하여 로봇 후보 위치 비전 센서 확률을 연산하는 비전 센서 확률 연산 단계와,상기 각각의 로봇 후보 위치에 대한 거리 예측 거리 정보를 연산하는 거리 센서 거리 산출 단계와,상기 거리 센서로부터의 거리 센서 거리 정보와 상기 거리 예측 거리 정보에 기초하여 로봇 후보 위치 거리 센서 확률을 연산하는 거리 센서 확률 연산 단계와,상기 로봇 후보 위치 비전 센서 확률과 상기 로봇 후보 위치 거리 센서 확률로부터 로봇 후보 위치 센서 확률을 산출하는 로봇 후보 위치 센서 확률 산출 단계를 포함하는 것을 특징으로 하는 로봇 전역 위치 추정 방법.
- 제 3항에 있어서,상기 센서 확률 연산 단계는:상기 영상 처리 단계가 종료되었는지를 판단하는 영상 처리 종료 판단 단계와,상기 영상 처리 단계가 종료된 것으로 판단되는 경우, 상기 비교 정합 결과 정보로부터 비교 정합된 대상 물체 위치 정보의 산출 여부를 판단하는 대상 물체 인식 판단 단계와,상기 대상 물체 위치 정보가 산출되지 않은 것으로 판단되는 경우, 상기 각각의 로봇 후보 위치에 대한 거리 예측 거리 정보를 연산하는 거리 센서 거리 산출 단계와,상기 거리 센서로부터의 거리 센서 거리 정보와 상기 거리 예측 거리 정보에 기초하여 로봇 후보 위치 거리 센서 확률을 연산하는 거리 센서 확률 연산 단계와,상기 로봇 후보 위치 거리 센서 확률로부터 로봇 후보 위치 센서 확률을 산출하는 로봇 후보 위치 센서 확률 산출 단계를 포함하는 것을 특징으로 하는 로봇 전역 위치 추정 방법.
- 제 3항에 있어서,상기 센서 확률 연산 단계는:상기 영상 처리 단계가 종료되었는지를 판단하는 영상 처리 종료 판단 단계 와,상기 영상 처리 단계가 종료되지 않은 것으로 판단되는 경우, 상기 엔코더 신호 정보를 누적시키는 엔코더 정보 누적 단계와,상기 각각의 로봇 후보 위치에 대한 거리 예측 거리 정보를 연산하는 거리 센서 거리 산출 단계와,상기 거리 센서로부터의 거리 센서 거리 정보와 상기 거리 예측 거리 정보에 기초하여 로봇 후보 위치 거리 센서 확률을 연산하는 거리 센서 확률 연산 단계와,상기 로봇 후보 위치 거리 센서 확률로부터 로봇 후보 위치 센서 확률을 산출하는 로봇 후보 위치 센서 확률 산출 단계를 포함하는 것을 특징으로 하는 로봇 전역 위치 추정 방법.
- 제 1항에 있어서,상기 로봇 후보 위치 수렴 판단 단계는:상기 각각의 로봇 후보 위치로부터 사전 설정된 개수의 수렴 판단 샘플을 추출하는 단계와,복수 개의 사전 설정된 수렴 범위 중, 상기 각각의 수렴 판단 샘플의 로봇 후보 위치 추정 확률에 대하여 해당되는 수렴 범위를 산출하는 단계와,상기 각각의 수렴 범위에 해당하는 수렴 판단 샘플 개수와 사전 설정된 상기 수렴 범위에 대한 사전 설정 개수를 비교하여 수렴 여부를 판단하는 단계를 포함하는 것을 특징으로 하는 로봇 전역 위치 추정 방법.
- 제 7항에 있어서,상기 로봇 후보 위치 수렴 판단 단계에서 수렴되지 않은 것으로 판단되는 경우, 상기 로봇 후보 위치로부터 새로운 로봇 후보 위치를 재샘플링하고 상기 감지 단계로 복귀되는 것을 특징으로 하는 로봇 전역 위치 추정 방법.
- 영상 정보를 취득하는 비전 센서, 거리 정보를 감지하는 거리 센서 및 엔코더 정보를 취득하는 엔코더를 포함하는 감지부;상기 감지부로부터의 감지 정보에 기초하여 상기 영상 정보를 영상 처리하는 영상 처리부;상기 감지부 및 상기 영상 처리부와 전기적 소통을 이루며 로봇 추정 위치를 출력하는 제어부;상기 제어부와 전기적 소통을 이루며 영상 처리된 영상 정보와 상기 감지 정보로부터 로봇 후보 위치 예측 확률과 로봇 후보 위치 센서 확률을 연산하여 로봇 후보 위치 추정 확률을 산출하는 연산부;를 포함하는 로봇 전역 위치 추정 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070042827A KR100835906B1 (ko) | 2007-05-03 | 2007-05-03 | 로봇 전역 위치 추정 방법 및 로봇 전역 위치 추정 장치 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020070042827A KR100835906B1 (ko) | 2007-05-03 | 2007-05-03 | 로봇 전역 위치 추정 방법 및 로봇 전역 위치 추정 장치 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR100835906B1 true KR100835906B1 (ko) | 2008-06-09 |
Family
ID=39770335
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020070042827A KR100835906B1 (ko) | 2007-05-03 | 2007-05-03 | 로봇 전역 위치 추정 방법 및 로봇 전역 위치 추정 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100835906B1 (ko) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101036028B1 (ko) | 2009-07-08 | 2011-05-19 | 고려대학교 산학협력단 | 고속 회전 불변 특징 정합 방법, 이를 구비하는 천장 영상 기반 이동 로봇 장치 및 이의 위치 인식 방법 |
| KR101072876B1 (ko) * | 2009-03-18 | 2011-10-17 | 연세대학교 산학협력단 | 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치 |
| WO2013032192A2 (ko) * | 2011-08-27 | 2013-03-07 | 고려대학교 산학협력단 | 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0392712A (ja) * | 1989-09-05 | 1991-04-17 | Fanuc Ltd | 画像処理装置と測距センサによる物体の３次元位置認識方法 |
| JPH10109290A (ja) | 1996-09-30 | 1998-04-28 | Sony Corp | 位置検出装置及び方法並びにロボツト装置 |
| JP2007078476A (ja) | 2005-09-13 | 2007-03-29 | Toshiba Corp | 物体位置検出装置、地図作成装置、自律移動装置、物体位置検出方法および物体位置検出プログラム |
| KR20070054557A (ko) * | 2005-11-23 | 2007-05-29 | 삼성전자주식회사 | 이동 로봇의 자기 위치 인식 방법 및 장치 |
-
2007
- 2007-05-03 KR KR1020070042827A patent/KR100835906B1/ko not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0392712A (ja) * | 1989-09-05 | 1991-04-17 | Fanuc Ltd | 画像処理装置と測距センサによる物体の３次元位置認識方法 |
| JPH10109290A (ja) | 1996-09-30 | 1998-04-28 | Sony Corp | 位置検出装置及び方法並びにロボツト装置 |
| JP2007078476A (ja) | 2005-09-13 | 2007-03-29 | Toshiba Corp | 物体位置検出装置、地図作成装置、自律移動装置、物体位置検出方法および物体位置検出プログラム |
| KR20070054557A (ko) * | 2005-11-23 | 2007-05-29 | 삼성전자주식회사 | 이동 로봇의 자기 위치 인식 방법 및 장치 |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101072876B1 (ko) * | 2009-03-18 | 2011-10-17 | 연세대학교 산학협력단 | 이동 로봇에서 자신의 위치를 추정하기 위한 방법 및 장치 |
| KR101036028B1 (ko) | 2009-07-08 | 2011-05-19 | 고려대학교 산학협력단 | 고속 회전 불변 특징 정합 방법, 이를 구비하는 천장 영상 기반 이동 로봇 장치 및 이의 위치 인식 방법 |
| WO2013032192A2 (ko) * | 2011-08-27 | 2013-03-07 | 고려대학교 산학협력단 | 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법 |
| WO2013032192A3 (ko) * | 2011-08-27 | 2013-05-02 | 고려대학교 산학협력단 | 천장 임의 형상 특성 활용 이동 로봇 위치 인식 방법 |
| US9402151B2 (en) | 2011-08-27 | 2016-07-26 | Korea University Research And Business Foundation | Method for recognizing position of mobile robot by using features of arbitrary shapes on ceiling |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5671281B2 (ja) | 位置姿勢計測装置、位置姿勢計測装置の制御方法及びプログラム | |
| JP5987823B2 (ja) | 画像センサおよび運動または位置センサから生じたデータを融合するための方法およびシステム | |
| KR101538775B1 (ko) | 전방 영상을 이용한 위치 인식 장치 및 방법 | |
| JP5380789B2 (ja) | 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム | |
| JP5444952B2 (ja) | センサフュージョンによる地図の自動生成、およびそのように自動生成された地図を用いて移動体の移動をするための、装置、方法、ならびにプログラム | |
| US20150356357A1 (en) | A method of detecting structural parts of a scene | |
| JP7131994B2 (ja) | 自己位置推定装置、自己位置推定方法、自己位置推定プログラム、学習装置、学習方法及び学習プログラム | |
| US20160364619A1 (en) | Vehicle-Surroundings Recognition Device | |
| KR100866380B1 (ko) | 물체인식을 바탕으로 한 로봇의 자기위치 추정 방법 | |
| JP5276931B2 (ja) | 移動体および移動体の位置推定誤り状態からの復帰方法 | |
| JP2014523572A (ja) | 地図データの生成 | |
| CN112444246B (zh) | 高精度的数字孪生场景中的激光融合定位方法 | |
| KR102075844B1 (ko) | 다종 센서 기반의 위치인식 결과들을 혼합한 위치 측위 시스템 및 방법 | |
| JP5976089B2 (ja) | 位置姿勢計測装置、位置姿勢計測方法、およびプログラム | |
| KR100835906B1 (ko) | 로봇 전역 위치 추정 방법 및 로봇 전역 위치 추정 장치 | |
| JP4935769B2 (ja) | 平面領域推定装置及びプログラム | |
| Zingaretti et al. | Vision and sonar sensor fusion for mobile robot localization in aliased environments | |
| KR20090113746A (ko) | 물체의 공간적 의미정보를 이용한 로봇의 자기위치 추정 방법 | |
| US20030182076A1 (en) | Gravity-reference vision system | |
| Vaida et al. | Automatic extrinsic calibration of LIDAR and monocular camera images | |
| Blanco et al. | Localization by voronoi diagrams correlation | |
| KR102206314B1 (ko) | 처리 장치 및 처리 방법 | |
| KR20220052784A (ko) | 깊이 영상 기반 실시간 바닥 검출방법 | |
| Yim et al. | Mobile robot localization using fusion of object recognition and range information | |
| JP2018014064A (ja) | 室内用自走式ロボットの位置測定システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130405 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20140304 Year of fee payment: 7 |
|
| FPAY | Annual fee payment |
Payment date: 20170328 Year of fee payment: 10 |
|
| LAPS | Lapse due to unpaid annual fee |