KR101901586B1 - 로봇 위치 추정 장치 및 그 방법 - Google Patents

로봇 위치 추정 장치 및 그 방법 Download PDF

Info

Publication number
KR101901586B1
KR101901586B1 KR1020110140767A KR20110140767A KR101901586B1 KR 101901586 B1 KR101901586 B1 KR 101901586B1 KR 1020110140767 A KR1020110140767 A KR 1020110140767A KR 20110140767 A KR20110140767 A KR 20110140767A KR 101901586 B1 KR101901586 B1 KR 101901586B1
Authority
KR
South Korea
Prior art keywords
image
feature points
feature point
additional feature
robot
Prior art date
Application number
KR1020110140767A
Other languages
English (en)
Other versions
KR20130073097A (ko
Inventor
곽노산
노경식
안성환
윤석준
형승용
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020110140767A priority Critical patent/KR101901586B1/ko
Priority to US13/723,540 priority patent/US8903161B2/en
Priority to CN201210560789.7A priority patent/CN103252778B/zh
Publication of KR20130073097A publication Critical patent/KR20130073097A/ko
Application granted granted Critical
Publication of KR101901586B1 publication Critical patent/KR101901586B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20164—Salient point detection; Corner detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
    • Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y10S901/00—Robots
    • Y10S901/46—Sensing device
    • Y10S901/47—Optical

Abstract

본 발명은RGB 영상 및 깊이 정보를 포함하는 적외선영상을 획득하고, RGB 영상과 적외선 영상을 매칭하여 특징점 추출에 기준이 되는 기준영상과기준영상과 비교되는 대상영상을 순차적으로 생성하는 영상 획득부기준영상 및 대상영상으로부터 각각 2차원의 기준특징점을 추출하고,기준영상과 대상영상간의 기준특징점을 정합하고, 2차원의 정합된 기준특징점으부터 적어도 하나 이상의 3차원의 추가특징점을 추출하는 영상처리부추가특징점으로부터 로봇의 위치를 추정하고, 이를 최적화하는 위치추정부를 포함하는 로봇 위치 추정 장치를 포함한다.
본 발명은 기준특징점 외에 추가특징점을 추출하고, 추출된 추가특징점을 로봇 위치 계산에 사용함으로써, 로봇의 위치 인식의 안정성을 높일 수 있다.
또한, 추가특징점 추출 및 처리에 걸리는 시간은 실시간 위치 인식에 허용되는 범위내이기 때문에, 로봇의 위치를 실시간으로 추정할 수 있다.

Description

로봇 위치 추정 장치 및 그 방법{Apparatus for estimating the robot pose and method thereof}
본 발명은 기준특징점 외에 추가특징점을 제공하여 로봇의 위치를 계산하는 로봇 위치 추정 장치 및 그 방법에 관한 것이다.
로봇의 위치를 인식하기 위해 다양한 센서들이 사용되었다. 실내에서는 초음파 센서, 적외선 센서, 무선 신호, 카메라 등을 사용하여 연구가 진행 되었다. 실외에서는 레이저, GPS, 카메라 등이 사용되었다.
여러 센서 중에서 비용 및 효율을 고려하여 카메라를 이용한 연구가 많이 진행되었는데, 사람의 양안을 모사하여 만든 스테레오 카메라와 한 개의 카메라만을 이용한 방법들이 주류를 이루고 있다.
카메라를 사용하게 되면 비용 측면을 크게 낮출 수 있지만, 특정점을 정합하는 부분과 특징점의 3차원 위치를 계산하는데 어려움이 따른다.
따라서, 기존의 연구는 특징점 정합을 강인하게 만드는 방법에 초점이 맞추어져 있었다. 영상을 다양한 방향과 거리에서 보더라도 특징점을인식하여야 로봇의 위치를 계산할 수 있기 때문에, 특징점 정합은 매우 중요하다.
충분한 개수의 특징점 정합이 이루어지면, 로봇 위치는 수식에 의해 계산할 수 있다. 하지만, 실내환경에서 벽면과 같은 곳은 특징점 자체가 매우 부족하여 정합된 특징점의 개수가 적게 되고, 로봇의 위치 계산이 어렵게 된다.
가령 수식적으로 계산이 된다고 해도, 소수의 특징점 정합에 기반한 위치 계산은 쉽게 잘못된 결과를 줄 수 있는 문제점이 있다.
즉, 실내환경에서 로봇의 위치를 추정할 때, 가장 큰 문제는 특징점 개수와 특징점 정합이다.
본 발명의 일 측면에 따르면, 로봇의 위치를 추정하는데 있어서, 기준특징점 뿐만 아니라 기준특징점 주변의추가특징점을 추출하는 로봇 위치 추정 장치 및 그 방법을 제공한다.
본 발명의 일 측면에 따른 로봇 위치 추정 장치는 RGB 영상 및 깊이 정보를 포함하는 적외선영상을 획득하고, 상기 RGB 영상과 적외선 영상을 매칭하여 특징점 추출에 기준이 되는 기준영상과상기 기준영상과 비교되는 대상영상을 순차적으로 생성하는 영상 획득부상기 기준영상 및 상기 대상영상으로부터 각각 2차원의 기준특징점을 추출하고, 상기 기준영상과 상기 대상영상간의 기준특징점을 정합하고, 상기 2차원의 정합된 기준특징점으부터 적어도 하나 이상의 3차원의 추가특징점을 추출하는 영상처리부상기 추가특징점으로부터 로봇의 위치를 추정하고, 이를 최적화하는 위치추정부를 포함한다.
추가특징점은정합된 기준특징점에 이웃하여 위치하고, 깊이 정보를 갖는 좌표정보인 것을 포함한다.
추가특징점은 각 정합된 기준특징점 마다 4개의 추가특징점 또는 8개의 추가특징점을 추출하는 것을 포함한다.
영상처리부는기준특징점 추출 알고리즘을 이용하여 기준영상 또는 대상영상으로부터 기준특징점을 추출하는 기준특징점추출부기준영상의 기준특징점과 대상영상의 기준특징점을 서로 정합하여 기준영상의 기준특징점과 대상영상의 기준특징점이 동일한 특징점인지 여부를 판단하는 특징점정합부영상획득부로부터 전달받은 3차원 영상에서 정합된 기준특징점에 이웃하여 위치하는 적어도 하나이상의 추가특징점을 추출하는 추가특징점추출부를 포함한다.
추가특징점추출부는추가특징점 추출여부를 판단하거나 추출되는 추가특징점의 개수를 선택하는 판단부를 포함한다.
판단부는 정합된 기준특징점의 개수와 제1 기준값을 비교하여 추가특징점 추출여부를 판단한다.
판단부는 정합된 기준특징점의 개수와 제2 기준값을 비교하여 추출되는 추가특징점의 개수를 선택한다.
위치추정부는 3차원 공간상의 로봇의 위치 변이량을 구하기 위해 수학식
Figure 112011102615562-pat00001
을 이용하는 것을 포함한다.
본 발명의 또 다른 측면에 따른 로봇 위치 추정 방법은 RGB 영상 및 깊이 정보를 포함하는 적외선영상을 획득하고, 상기 RGB 영상과 적외선 영상을 매칭하여 특징점 추출에 기준이 되는 기준영상과상기 기준영상과 비교되는 대상영상을 순차적으로생성하여 영상을 획득하고상기 기준영상 및 상기 대상영상으로부터 각각 2차원의 기준특징점을 추출하고, 상기 기준영상과 상기 대상영상간의 기준특징점을 정합하고, 상기 2차원의 정합된 기준특징점으부터 적어도 하나 이상의 3차원의 추가특징점을 추출하여 영상을 처리하고상기 추가특징점으로부터 로봇의 위치를 추정하고, 이를 최적화하는 것을 포함한다.
추가특징점은정합된 기준특징점에 이웃하여 위치하고, 깊이 정보를 갖는 좌표정보인 것을 포함한다.
추가특징점은 각 정합된 기준특징점 마다 4개의 추가특징점 또는 8개의 추가특징점을 추출하는 것을 포함한다.
영상을 처리하는 것은 기준특징점 추출 알고리즘을 이용하여 기준영상 또는 대상영상으로부터기준특징점을 추출하고기준영상의 기준특징점과 대상영상의 기준특징점을 서로 정합하여 기준영상의 기준특징점과 대상영상의 기준특징점이 동일한 특징점인지 여부를 판단하고영상획득부로부터 전달받은 3차원 영상에서 정합된 기준특징점에 이웃하여 위치하는 적어도 하나이상의 추가특징점을 추출하는 것을 포함한다.
추가특징점을 추출하는 것은 추가특징점 추출여부를 판단하거나 추출되는 추가특징점의 개수를 선택하는 판단과정을 포함한다.
판단과정은 정합된 기준특징점의 개수와 제1 기준값을 비교하여 추가특징점 추출여부를 판단하는 것을 포함한다.
판단과정은 정합된 기준특징점의 개수와 제2 기준값을 비교하여 추출되는 추가특징점의 개수를 선택하는 것을 포함한다.
로봇의 위치를 추정하는 것은 3차원 공간상의 로봇의 위치 변이량을 구하기 위해 수학식
Figure 112011102615562-pat00002
을 이용하는 것을 포함한다.
개시된 본 발명은 기준특징점 외에 추가특징점을 추출하고, 추출된 추가특징점을 로봇 위치 계산에 사용함으로써, 로봇의 위치 인식의 안정성을 높일 수 있다.
또한, 추가특징점 추출 및 처리에 걸리는 시간은 실시간 위치 인식에 허용되는 범위내이기 때문에, 로봇의 위치를 실시간으로 추정할 수 있다.
도 1는 본 발명의 일실시예에의한로봇 위치 추정 장치의 위치 추정 방법의 예시를 나타낸 도면이다.
도 2는 본 발명의 일실시예에의한로봇 위치 추정 장치의 제어 블록도이다.
도 3은 본 발명의 일실시예에 의한 로봇 위치 추정 장치의 영상처리부의 세부 블록도이다.
도 4a는 본 발명의 일실시예에 의한 로봇 위치 추정 장치의 센서로부터 획득한 기준영상 또는 대상영상의 예시이고, 도 4b는 본 발명의 일실시예에 의한 따른 로봇 위치 추정 장치의 센서로부터 획득한 적외선 영상의 예시이다.
도 5는 본 발명의 일실시예에 의한 로봇 위치 추정 장치의 로봇 위치 인식과 관련된 제어 흐름도이다.
도 6은 본 발명의 일실시예에 의한 로봇 위치 추정 장치의 추가특징점 추출과 관련된 제어 흐름도이다.
도 7a는 본 발명의 일실시예에 의한 로봇 위치 추정 장치의 복도 환경에서 비슷한 위치에서 획득한 두 영상에서의 특징점매칭을 나타낸 것의 예시이다. 도 7b는 본 발명의 일실시예에 의한 로봇 위치 추정 장치의 추가특징점(4-neighbors 경우) 추출 및 정합 방법을 나타낸 것의 예시이다.
도 8a는 본 발명의 일실시예에의한 로봇 위치 추정 장치의 기준특징점 주변에서 추가특징점(4-neighbors 경우) 추출 개념도의 예시이고, 도 8b는 본 발명의 일실시예에의한 로봇 위치 추정 장치의 기준특징점 주변에서 추가특징점(8-neighbors 경우) 추출 개념도의 예시이다.
도 9는 본 발명의 일실시예에 의한 로봇 위치 추정 장치의 위치 인식의 기존 방법과 제안 방법간의 성능비교를 나타낸 것이다.
이하에서는 첨부도면을 참조하여 본 발명에 대해 상세히 설명한다.
도 1는 본 발명의 일실시예에의한로봇 위치 추정 장치의 위치 추정 방법의 예시를 나타낸 도면이다.
도 1을 참조하면, 본 발명에 따른 로봇 위치 추정 장치는 로봇 주변의 다수의 특징점을 인식하여 로봇의 위치를 추정할 수 있다.
도 2는 본 발명의 일실시예에의한로봇 위치 추정 장치의 제어 블록도이고, 도 3은 본 발명의 일실시예에 의한 로봇 위치 추정 장치의 영상처리부의 세부 블록도이며, 도 4a는 본 발명의 일실시예에 의한 로봇 위치 추정 장치의 센서로부터 획득한 기준영상 또는 대상영상의 예시이고, 도 4b는 본 발명의 일실시예에 의한 따른 로봇 위치 추정 장치의 센서로부터 획득한 적외선 영상의 예시이다.
로봇위치추정장치(100)는 영상획득부(110), 영상처리부(120), 위치추정부(130), 제어부(140) 및 저장부(150)를 포함할 수 있다.
영상획득부(110)는 기준영상을 획득하고, 순차적으로 대상영상을 획득할 수 있다.
여기서 기준영상이란 특징점 추출에 기준이 되는 영상이고, 대상영상이란 특징점 추출함에 있어서 기준영상과 비교되는 영상을 의미한다.
영상획득부(110)는 카메라센서(미도시),적외선 센서(미도시) 및 신호처리부(미도시)를 포함할 수 있다.
카메라 센서는 RGB 영상을 획득할 수 있고, 적외선 센서는 깊이 정보를 포함하는 적외선 영상을 획득할 수 있다. 그리고, 신호처리부는 카메라 센서로부터 얻은 RGB영상과 적외선 영상을 매칭하여 깊이 정보가 포함된 3차원의 기준영상 및 대상영상을 생성할 수 있다.
영상획득부(110)는 로봇의 주변에 위치하는 다양한 물체(예를 들어, 장애물이나 벽)의 3차원 정보를 실시간으로 획득하는 3차원 비전 센서(예를 들어, TOF 카메라, 구조광 카메라)일 수 있다.
예를 들어, 본 발명에서 바람직한 3차원 비전 센서는 RGB-D 카메라이며, RGB-D 카메라는 컬러영상을 받기 위한 부분과 거리영상을 얻기 위한 부분으로 구성될 수 있다. 컬러영상을 받기 위한 부분은 일반적인 컬러 CMOS 이미징 센서로 구성될 수 있다. RGB-D 카메라는 거리정보를 얻기 위하여 적외선 구조광(structurelight)을 사용할 수 있다. 이를 위하여 RGB-D 카메라는 적외선을 출력하는 적외선 프로젝터(infrared projector)와 적외선을 탐지하는 흑백 CMOS 이미징 센서로 구성될 수 있다.
이러한 영상획득부(110)는 지능 로봇 이외의 게임기, 휴대폰, 스마트폰 등의 IT기기에 구비될 수 있다.
도 3에 도시한 바와 같이 영상 처리부(120)는 기준특징점추출부(121), 특징점정합부(122), 추가특징점추출부(123)를 포함할 수 있다.
기준특징점추출부(121)는 기준특징점 추출 알고리즘을 이용하여 기준영상 또는 대상영상으로부터 2차원의 기준특징점을 추출할 수 있다. 여기서 기준특징점은 기준영상 또는 대상영상내에서의 좌표를 의미한다.
그리고, 기준특징점추출부(121)에서 사용하는 기준특징점추출 알고리즘으로는 SURF(Speed Up Robust Features) 알고리즘, Harris의 코너추출방법, SIFT(Scale Invariant FeatureTransform) 알고리즘 등이 사용될 수 있다.
다만, 본 발명에서는 기준특징점 추출 알고리즘으로 SURF 알고리즘을 사용함이 바람직하며, 기준특징점을 기술하기 위한 기술자(descriptor)는 SURF descriptor를 사용한다.
왜냐하면, SURF 알고리즘은 처리속도가 빠르기 때문에 빠른 시간 내에 특징점을 추출할 수 있고, 이로부터 실시간으로 로봇의 위치 추정이 가능하기 때문이다.
이하에서는 기준특징점을 추출하는 방법에 대하여 좀 더 설명하기로 한다.
기준특징점추출부(121)는 기준영상 또는 대상영상으로부터 적분영상을 생성하고, 직사각형 영역에 대해서 모든 화소에 대해 밝기값의 합을 계산한다.
그리고, 기준특징점추출부(121)는 적분영상으로부터 정확하게 위치를 찾은 기준특징점 벡터를 구한다.
그리고 나서, 기준특징점추출부(121)는 기준영상 또는 대상영상의 적분영상과 기준특징점 벡터를 이용하여 기술자 벡터를 구한다.
영상처리부(120)는 기준영상과 대상영상간의 기준특징점을 정합한다.
특징점정합부(122)는 기준영상의 기준특징점과 대상영상의 기준특징점을 서로 비교하여 기준영상의 기준특징점과 대상영상의 기준특징점이 동일한 특징점인지 여부를 판단할 수 있다.
예를 들어, 특징점정합부(122)는 기준영상의 임의의 기술자 벡터와 대상영상의 다수의 기술자 벡터들을 비교하여, 기술자 벡터들 사이의 거리를 계산하고 기술자 벨터 중에서 최소 거리를 가지는 정합 쌍을 구할 수 있다.
이때, 올바르게 정합된 기준특징점을 정합된 기준특징점(inlier)라고 한다.
추가특징점추출부(123)는 영상획득부(110)로부터 전달받은 3차원 영상에서 2차원의 정합된 기준특징점에 이웃하여 위치하는 적어도 하나이상의 3차원의 추가특징점을 추출하는 역할을 할 수 있다.
즉, 3차원 영상에서의 픽셀들은 깊이 정보를 가지기 때문에, 추가특징점추출부(123)는 정합된 기준특징점에 이웃하여 위치하는 적어도 하나 이상의 추가특징점을 추출할 수 있다.
예를 들어, 추가특징점추출부(123)는 정합된 기준특징점에 이웃하여 위치하는 4개의 추가 특징점을 추출하거나, 8개의 추가특징점을 추출할 수 있다.
이러한 추가특징점추출부(123)는 추가특징점 추출여부를 판단하거나 추출되는 추가특징점의 개수를 선택하는 판단부(미도시)를 포함할 수 있다.
예를 들어, 판단부(미도시)는 정합된 기준특징점의 개수와 제1 기준값을 비교하여 추가특징점 추출여부를 판단하거나 정합된 기준특징점의 개수와 제2 기준값을 비교하여 추출되는 추가특징점의 개수를 선택할 수 있다. 제1 기준값은
Figure 112011102615562-pat00003
로 표현할 수 있고, 제2 기준값은
Figure 112011102615562-pat00004
로 표현할 수 있다.
도 4a를 보면, 벽면이나 천장과 같은 곳은 특징점 자체가 매우 부족하여 추출 가능한기준특징점의 개수가 적기 때문에, 로봇의 위치 계산이 어렵게 된다.
반면에, 도 4b의 적외선 영상을 보면, 도 4a에서는 보이지 않은 무수한 점들을 관찰할 수 있다.
이러한 점들은 각각 깊이 정보를 포함하고 있으며,추가특징점으로 추출될 수 있다.
그리고, 기준영상의 추가특징점과 대상영상의 추가특징점은 상호간의 거리가 짧기 때문에 서로 정합된 것으로 볼 수 있다.
즉, 본 발명에서는 기준특징점 뿐만 아니라 추가특징점을 더욱 추출함에 따라 보다 많은 특징점을 이용하여 로봇의 위치를 추정하므로 로봇 위치 추정장치(100)의 성능을 향상 시킬 수 있다.
다시 도 2를 참조하여 설명하기로 한다.
위치추정부(130)는 기준특징점 및 적어도 하나 이상의 추가특징점을 이용하여 로봇의 위치를 추정할 수 있다.
이때, 로봇의 위치 계산을 위해서 여러 알고리즘이 이용될 수 있으며, 본 발명의 위치 추정부(130)는 로봇의 위치 추정방법의 일실시예로서, RANSAC(RANdom Sample Consensus) 방법을 이용하여 계산을 수행할 수 있다.
여기서, 로봇의 위치 계산이라 함은 기준영상 촬영시 로봇의 위치에서 대상영상 촬영시 로봇의 위치까지 어떤 변이량을 갖는지를 계산하는 것을 의미할 수 있다.
이때 3차원 공간상의 로봇의 위치변이량은 수학식 1을 통해 구할 수 있다,
수학식 1
Figure 112011102615562-pat00005
수학식 1에서 R은 카메라 센서의 3차원 회전행렬을 의미하며,Xi는 기준영상의 특징점 집합을 의미하며, Yi는 대상영상의 특징점 집합을 의미하며, d는 병진행렬을 의미한다. 수학식 1에서 수식을 최소화 하는 R 및 d 값을 구한다.
위치 추정부(130)는 로봇의 위치 변이량을 이용하여 로봇의 위치를 추정할 수 있는데, 이때 로봇 위치를 계산하는 방법으로는 여러 가지 수치 계산 방법이 이용될 수 있다.
본 발명에서는 계산속도를 고려하여 수치적 계산 방법인 Singular Value Decomposition(SVD)을 사용할 수 있다.
위치 추정부(130)는 최적화부(미도시)를 더 포함할 수 있는데, 이때,최적화부는수학식 1에서의 R 및 d값을 이용하여 로봇의 위치를 최적화할 수 있다.
예를 들어, 최적화부는 일반적으로 많이 사용되는 Sparse Bundle Adjustment (SBA)를이용하여 로봇의 위치를 최적화할 수 있는데, 이에 한정되지 아니하고, 다른 알고리즘을 이용하여 최적화할 수 있다.
제어부(140)는 로봇 위치 추정 장치(100)의 전반적인 제어를 수행할 수 있다.
예를 들어, 제어부(140)는 영상획득부(110)로부터 새로운 입력영상(새로운 대상영상)을 얻으면, 기준영상을 갱신할 수 있다.
이때, 새로운 입력영상은 새로운 대상영상이 되고, 종래의 대상영상은 갱신되는 새로운 기준 영상이 된다.
저장부(150)는 로봇의 위치 인식을 위해 필요한 기준영상의 기준특징점, 대상영상의 기준특징점, 정합된 기준특징점을저장할 수 있다.
그리고, 저장부(150)는 기준영상의 추가특징점및 대상영상의 추가특징점을 저장한다.
도 5는 본 발명의 일실시예에 의한 로봇 위치 추정 장치의 로봇 위치 인식과 관련된 제어 흐름도이다. 도 2 및 도 3을 참조하여 설명한다.
영상획득부(110)는 기준영상을 입력 받을 수 있고, 순차적으로 대상영상을 입력 받을 수 있다.(205, 210)
여기서 기준영상이란 특징점 추출에 기준이 되는 영상이고, 대상영상이란 특징점 추출함에 있어서 기준영상과 비교되는 영상을 의미한다.
영상획득부(110)는 카메라 센서(미도시), 적외선 센서(미도시) 및 신호처리부(미도시)를 포함할 수 있다.
카메라 센서는 RGB 영상을 획득할 수 있고, 적외선 센서는 깊이 정보를 포함하는 적외선 영상을 획득할 수 있다. 그리고, 신호처리부는 카메라 센서로부터 얻은 RGB 영상과 적외선 영상을 매칭하여 깊이 정보가 포함된 3차원의 기준영상 및 대상영상을 생성할 수 있다.
영상획득부(110)는 로봇의 주변에 위치하는 다양한 물체(예를 들어, 장애물이나 벽)의 3차원 정보를 실시간으로 획득하는 3차원 비전 센서(예를 들어, TOF 카메라, 구조광 카메라)일 수 있다.
예를 들어, 본 발명에서 바람직한 3차원 비전 센서는 RGB-D 카메라이며, RGB-D 카메라는 컬러영상을 받기 위한 부분과 거리영상을 얻기 위한 부분으로 구성될 수 있다. 컬러영상을 받기 위한 부분은 일반적인 컬러 CMOS 이미징 센서로 구성될 수 있다. RGB-D 카메라는 거리정보를 얻기 위하여 적외선 구조광(structure light)을 사용할 수 있다. 이를 위하여 RGB-D 카메라는 적외선을 출력하는 적외선 프로젝터(infrared projector)와 적외선을 탐지하는 흑백 CMOS 이미징 센서로 구성될 수 있다.
이러한 영상획득부(110)는 지능 로봇 이외의 게임기, 휴대폰, 스마트폰 등의 IT기기에 구비될 수 있다.
영상처리부(120)는 기준영상과 대상영상의 기준특징점을 추출한다(220)
기준특징점추출부(121)는 기준특징점 추출 알고리즘을 이용하여 기준영상 또는 대상영상으로부터 2차원의 기준특징점을 추출할 수 있다. 여기서 기준특징점은 기준영상 또는 대상영상내에서의 좌표를 의미한다.
그리고, 기준특징점추출부(121)에서 사용하는 기준특징점추출 알고리즘으로는 SURF(Speed Up Robust Features) 알고리즘, Harris의 코너추출방법, SIFT(Scale Invariant FeatureTransform) 알고리즘 등이 사용될 수 있다.
다만, 본 발명에서는 기준특징점 추출 알고리즘으로 SURF 알고리즘을 사용함이 바람직하며, 기준특징점을 기술하기 위한 기술자(descriptor)는 SURF descriptor를 사용한다.
왜냐하면, SURF 알고리즘은 처리속도가 빠르기 때문에 빠른 시간 내에 특징점을 추출할 수 있고, 이로부터 실시간으로 로봇의 위치 추정이 가능하기 때문이다.
이하에서는 기준특징점을 추출하는 방법에 대하여 좀 더 설명하기로 한다.
기준특징점추출부(121)는 기준영상 또는 대상영상으로부터 적분영상을 생성하고, 직사각형 영역에 대해서 모든 화소에 대해 밝기값의 합을 계산한다.
그리고, 기준특징점추출부(121)는 적분영상으로부터 정확하게 위치를 찾은 기준특징점 벡터를 구한다.
그리고 나서, 기준특징점추출부(121)는 기준영상 또는 대상영상의 적분영상과 기준특징점 벡터를 이용하여 기술자 벡터를 구한다.
영상처리부(120)는 기준영상과 대상영상간의 기준특징점을 정합한다.(230)
특징점정합부(122)는 기준영상의 기준특징점과 대상영상의 기준특징점을 서로 비교하여 기준영상의 기준특징점과 대상영상의 기준특징점이 동일한 특징점인지 여부를 판단할 수 있다.
예를 들어, 특징점정합부(122)는 기준영상의 임의의 기술자 벡터와 대상영상의 다수의 기술자 벡터들을 비교하여, 기술자 벡터들 사이의 거리를 계산하고 기술자 벨터 중에서 최소 거리를 가지는 정합 쌍을 구할 수 있다.
이때, 올바르게 정합된 기준특징점을정합된 기준특징점(inlier)라고 한다.
영상처리부(120)는 정합된 기준특징점 주변에서 추가특징점을 추출한다(240)
추가특징점추출부(123)는 영상획득부(110)로부터 전달받은 3차원 영상에서 2차원의 정합된 기준특징점에 이웃하여 위치하는 적어도 하나이상의 3차원의 추가특징점을 추출하는 역할을 할 수 있다.
즉, 3차원 영상에서의 픽셀들은 깊이 정보를 가지기 때문에, 추가특징점추출부(123)는 정합된 기준특징점에 이웃하여 위치하는 적어도 하나 이상의 추가특징점을 추출할 수 있다.
예를 들어, 추가특징점추출부(123)는 정합된 기준특징점에 이웃하여 위치하는 4개의 추가 특징점을 추출하거나, 8개의 추가특징점을 추출할 수 있다.
이러한 추가특징점추출부(123)는 추가특징점 추출여부를 판단하거나 추출되는 추가특징점의 개수를 선택하는 판단부(미도시)를 포함할 수 있다.
예를 들어, 판단부(미도시)는 정합된 기준특징점의 개수와 제1 기준값을 비교하여 추가특징점 추출여부를 판단하거나 정합된 기준특징점의 개수와 제2 기준값을 비교하여 추출되는 추가특징점의 개수를 선택할 수 있다. 제1 기준값은
Figure 112011102615562-pat00006
로 표현할 수 있고, 제2 기준값은
Figure 112011102615562-pat00007
로 표현할 수 있다.
도 4a를 보면, 벽면이나 천장과 같은 곳은 특징점 자체가 매우 부족하여 추출 가능한 기준특징점의 개수가 적기 때문에, 로봇의 위치 계산이 어렵게 된다.
반면에, 도 4b의 적외선 영상을 보면, 도 4a에서는 보이지 않은 무수한 점들을 관찰할 수 있다.
이러한 점들은 각각 깊이 정보를 포함하고 있으며, 추가특징점으로 추출될 수 있다.
그리고, 기준영상의 추가특징점과 대상영상의 추가특징점은 상호간의 거리가 짧기 때문에 서로 정합된 것으로 볼 수 있다.
즉, 본 발명에서는 기준특징점 뿐만 아니라 추가특징점을 더욱 추출함에 따라 보다 많은 특징점을 이용하여 로봇의 위치를 추정하므로 로봇 위치 추정장치(100)의 성능을 향상 시킬 수 있다.
추가특징점 추출과 관련해서는 이하 도 6 내지 도 8b 에서 자세히 설명한다.
위치추정부(130)는 로봇의 위치를 추정한다.(250)
위치 추정부(130)는 기준특징점 및 적어도 하나 이상의 추가특징점을 이용하여 로봇의 위치를 추정할 수 있다.
이때, 로봇의 위치 계산을 위해서 여러 알고리즘이 이용될 수 있으며, 본 발명의 위치 추정부(130)는 로봇의 위치 추정방법의 일실시예로서, RANSAC(RANdom Sample Consensus) 방법을 이용하여 계산을 수행할 수 있다.
여기서, 로봇의 위치 계산이라 함은 기준영상 촬영시 로봇의 위치에서 대상영상 촬영시 로봇의 위치까지 어떤 변이량을 갖는지를 계산하는 것을 의미할 수 있다.
이때 3차원 공간상의 로봇의 위치 변이량은 수학식 1을 통해 구할 수 있다,
수학식 1
Figure 112011102615562-pat00008
수학식 1에서 R은 카메라 센서의 3차원 회전행렬을 의미하며, Xi는 기준영상의 특징점 집합을 의미하며, Yi는 대상영상의 특징점 집합을 의미하며, d는 병진행렬을 의미한다. 수학식 1에서 수식을 최소화 하는 R 및 d 값을 구한다.
위치 추정부(130)는 로봇의 위치 변이량을 이용하여 로봇의 위치를 추정할 수 있는데, 이때 로봇 위치를 계산하는 방법으로는 여러 가지 수치 계산 방법이 이용될 수 있다.
본 발명에서는 계산속도를 고려하여 수치적 계산 방법인 Singular Value Decomposition(SVD)을 사용할 수 있다.
위치추정부(130)는 로봇의 위치를 최적화 한다.(260)
위치 추정부(130)는 최적화부(미도시)를 더 포함할 수 있는데, 이때, 최적화부는 수학식 1에서의 R 및 d값을 이용하여 로봇의 위치를 최적화할 수 있다.
예를 들어, 최적화부는 일반적으로 많이 사용되는 Sparse Bundle Adjustment (SBA)를 이용하여 로봇의 위치를 최적화할 수 있는데, 이에 한정되지 아니하고, 다른 알고리즘을 이용하여 최적화할 수 있다.
제어부(140)는 영상획득부로부터 새로운 입력영상(새로운 대상영상)을 얻으면, 기준영상을갱신하고, 210 내지 280을 반복한다.(270, 280)
이때, 새로운 입력영상은 새로운 대상영상이 되고, 종래의 대상영상은 갱신되는 새로운 기준 영상이 된다.
도 6은 본 발명의 일실시예에 의한 로봇 위치 추정 장치의 추가특징점 추출과 관련된 제어 흐름도이다.
도 6에서 NIF는 정합된 기준특징점의 개수를 의미한다.
Figure 112011102615562-pat00009
는추가특징점이 필요한 최대의 정합된기준특징점 개수(예를들면 50개)를 의미할 수 있다. 즉,
Figure 112011102615562-pat00010
는 추가특징점 추출여부를 결정하는 기준이 될 수 있다.
MIN_NIF는n2-neighbors 추가특징점이 필요한 정합된 기준특징점 개수(예를들면 10개)를 의미할 수 있다.즉, MIN_NIF는 추출되는 추가특징점의 개수를 선택하는 기준이 될 수 있다.
도 6에서, 추가특징점추출부(123)는 정합된 기준특징점의 개수가 MAX_NIF(예를들면 50개)보다 작은지 비교한다.(241)
만일 정합된 기준특징점의 개수가 MAX_NIF (예를들면 50개) 이상이면,추가특징점을 추출할 필요가 없다. 왜냐하면, 이미 위치 인식에 필요한 충분한 정합된 기준특징점을 확보하고 있기 때문에, 위치 추정부가 로봇의 위치를 계산하는데 있어서 충분한 성능을 보장할 수 있다.
반면에, 정합된 기준특징점의 개수가 MAX_NIF미만이면, 추가특징점추출부(123)는 NIF가 MIN_NIF 보다 작은지를 비교한다.(242)
만일, NIF 가 MIN_NIF(예를들면 10개) 이상이면, 추가특징점추출부(123)는 n1-neighbors로 추가특징점을 추출한다.(243)
N1는 n2보다 작은 자연수 값이다. 위치 추정부(130)는 정합된 기준특징점×n1 개의 특징점이 생기므로, 이를 바탕으로 안정되게 로봇의 위치를 추정할 수 있다.
반면에, NIF가 MIN_NIF(예를들면 10개)미만 이면, 추가특징점추출부(123)는 n2-neighbors로 추가특징점을 추출한다.(244)
위치 추정부(130)는 정합된 기준특징점 만으로는 안정된 로봇의 위치를 측정할 수 없기 때문에, 위치 추정부(130)가 안정되게 로봇의 위치를 추정할 수 있도록 하기 위해, 추가특징점을 제공할 필요가 있다.
추가특징점추출부(123)에 의하여 n2-neighbors로 추가특징점을 추출할 경우에는 정합된 기준특징점
Figure 112011102615562-pat00011
n2 개의 정합된 특징점이 생기므로, 위치 추정부(130)는 이를 바탕으로 안정되게 로봇의 위치를 추정할 수 있다.
예를 들어, 도 6에서, 추가특징점추출부(123)는 n1은 4의 값을 가질 수 있고, n2는8의 값을 가질 수 있으며, 다른 값을 포함할 수 있다. 이 경우, n1 및 n2 값은 자연수이고, n2 값이 n1값보다 크다.
도 7a는 본 발명의 일실시예에 의한 로봇 위치 추정 장치의 복도 환경에서 비슷한 위치에서 획득한 두 영상에서의 특징점매칭을 나타낸 것의 예시이다. 도 7b는 본 발명의 일실시예에 의한 로봇 위치 추정 장치의 추가특징점(4-neighbors 경우) 추출 및 정합 방법을 나타낸 것의 예시이다.
도 7a를 보면, 기준영상의 제1기준특징점(A), 제2기준특징점(B), 제3기준특징점(C) 및 제4기준특징점(D)이 나타나 있다. 또한 대상영상의 제1기준특징점(A'), 제2기준특징점(B'), 제3기준특징점(C') 및 제4기준특징점(D')이 나타나 있다.
기준영상의 제1기준특징점(A)은 대상영상의 제1기준특징점(A')과 정합될 수 있다. 이하, 기준영상의 제2 내지 제4기준특징점(B 내지 D)는 각각 대상영상의 제2 내지 제4기준특징점(B' 내지 D')과 정합될 수 있다.
도 7b를 보면, 각각 기준영상의 제2기준특징점(B)과 대상영상의 제2기준특징점(B') 주변에 추가특징점을 추출한 것을 나타내고 있다.
기준영상의 제2기준특징점(B)의 좌표(b0)를 기준으로 상부, 우측, 하부, 및 좌측에서 각각 제1추가특징점(b1), 제2추가특징점(b2), 제3추가특징점(b3), 제4추가특징점(b4)을추출할 수 있다.
대상영상의 제2기준특징점(B')의 좌표(b0')를 기준으로 상부, 우측, 하부, 및 좌측에서 각각 제1추가특징점(b1'), 제2추가특징점(b2'), 제3추가특징점(b3'), 제4추가특징점(b4')을추출할 수 있다.
각 기준영상의 추가특징점(b1 내지 b4)과 대상영상의 추가특징점(b1' 내지 b4')은 추가특징점 간의 거리차이가 적으므로 정합된 것으로 볼 수 있다. 즉, 기준영상의 제1추가특징점(b1)과 대상영상의 제1추가특징점(b1')간에 정합을 가정할 수 있고, 이하 기준영상의 제2 내지 제4추가특징점(b2 내지 b4)는 각각 대상영상의 제2 내지 제4추가특징점(b2' 내지 b4')과 정합을 가정할 수 있다.
도 8a는 본 발명의 일실시예에 의한 로봇 위치 추정 장치의 기준특징점 주변에서 추가특징점(4-neighbors 경우) 추출 개념도의 예시이다.
추가특징점추출부(123)는 기준특징점(b0)의 주변에서 기준특징점(b0)을 중심으로하여 상부, 우측, 하부 및 좌측에서 각각 추가특징점 b1, b2, b3 및 b4를 추출할 수 있다. 추출된 각 추가특징점(b1 내지 b4)은 모두 깊이 정보를 가지고 있다.
도 8b는 본 발명의 일실시예에 의한 로봇 위치 추정 장치의 기준특징점 주변에서 추가특징점(8-neighbors 경우) 추출 개념도의 예시이다.
추가특징점추출부(123)는 기준특징점(b0)의 주변에서 기준특징점(b0)을 중심으로하여 상부, 우측, 하부 및 좌측에서 각각 추가특징점 b1, b2, b3 및 b4를 추출할 수 있다. 또한, 추가특징점추출부(123)는 각 기준특징점을중심으로하여 우측 상부, 우측 하부, 좌측 하부 및 좌측 상부에서 각각 추가특징점 b5, b6, b7 및 b8을 추출할 수 있다.
추출된 각 추가특징점(b1 내지 b8)은 모두 깊이 정보를 가질 수 있다.
도 8a 또는 도8b에서, n개의 추가특징점(n-neighbors)을 사용하면 증가되는 추가특징점의 개수는 n×(정합된 기준특징점의 개수) 이다.
또한, 추가특징점추출부(123)는 기준특징점을 중심으로 하여 임의의 위치에서 추가특징점을 추출할 수 있다.
도 9는 본 발명의 일실시예에 의한 로봇 위치 추정 장치의 위치 인식의 기존 방법과 제안 방법간의 성능비교를 나타낸 것이다.
도 9를 보면, 기존의 방법으로 로봇의 위치를 추정한 경우에, 특징점의 수는 20개이며, 그 중 inlier는 14개이며, 병진 오차 값은 (0.26, -0.58, 1.06)이다.
도 9를 보면, 제안된 방법으로 로봇의 위치를 추정한 경우에, 특징점의 수는 180개이며, 그 중 inlier는 128개이며, 병진 오차 값은 (-0.03, 0, -0.07)이다.
즉, 기존의 방법과 제안된 방법의 로봇의 위치 인식 성능을 비교하면, 제안된 방법이 기존의 방법에 비하여 특징점 및 inlier의 개수가 많으며, 오차가 작은 것을 볼 수 있다.
따라서, 제안된 방법을 통하여 특징점 정보가 부족한 실내환경에서 보다 안정적으로 실시간 로봇의 위치 인식이 가능하다.
100 :로봇 위치 추정 장치 110 : 영상 획득부
120 :영상 처리부 130 : 위치 추정부
140 :제어부 150 : 저장부
A 내지 D : 기준영상에서 기준특징점
A' 내지 D' : 대상영상에서 기준특징점
b1 내지 b4 : 기준영상에서 추가특징점
b1' 내지 b4' : 대상영상에서 추가특징점

Claims (16)

  1. RGB 영상 및 깊이 정보를 포함하는 적외선 영상을 획득하고, 상기 RGB 영상과 상기 적외선 영상을 매칭하여 특징점 추출의 기준이 되는 기준 영상과 상기 기준 영상과 비교되는 대상 영상을 순차적으로 생성하는 영상 획득부;
    상기 기준 영상 및 상기 대상 영상으로부터 각각 2차원의 기준 특징점을 추출하고, 상기 기준 영상과 상기 대상 영상 간의 기준 특징점을 정합하고, 상기 2차원의 정합된 기준 특징점으로부터 적어도 하나 이상의 3차원의 추가 특징점을 추출하는 영상 처리부; 및
    상기 추가 특징점으로부터 로봇의 위치를 추정하고, 이를 최적화하는 위치 추정부를 포함하는 로봇 위치 추정 장치.
  2. 제1항에 있어서,
    상기 추가 특징점은 상기 정합된 기준 특징점에 이웃하여 위치하고, 깊이 정보를 갖는 좌표 정보인 로봇 위치 추정 장치.
  3. 제1항에 있어서,
    상기 추가 특징점은 상기 각 정합된 기준 특징점마다 4개의 추가 특징점 또는 8개의 추가 특징점을 추출하는 로봇 위치 추정 장치.
  4. 제1항에 있어서,
    상기 영상 처리부는:
    기준 특징점 추출 알고리즘을 이용하여 상기 기준 영상 또는 상기 대상 영상으로부터 상기 기준 특징점을 추출하는 기준 특징점 추출부;
    상기 기준 영상의 기준 특징점과 상기 대상 영상의 기준 특징점을 서로 정합하여 상기 기준 영상의 기준 특징점과 상기 대상 영상의 기준 특징점이 동일한 특징점인지 여부를 판단하는 특징점 정합부; 및
    상기 영상 획득부로부터 전달받은 3차원 영상에서 정합된 기준 특징점에 이웃하여 위치하는 적어도 하나 이상의 추가 특징점을 추출하는 추가 특징점 추출부를 포함하는 로봇 위치 추정 장치.
  5. 제4항에 있어서,
    상기 추가 특징점 추출부는 추가 특징점 추출 여부를 판단하거나 추출되는 추가 특징점의 개수를 선택하는 판단부를 포함하는 로봇 위치 추정 장치.
  6. 제5항에 있어서,
    상기 판단부는 상기 정합된 기준 특징점의 개수와 제 1 기준값을 비교하여 추가 특징점 추출 여부를 판단하는 로봇 위치 추정 장치.
  7. 제5항에 있어서,
    상기 판단부는 상기 정합된 기준 특징점의 개수와 제 2 기준값을 비교하여 추출되는 추가 특징점의 개수를 선택하는 로봇 위치 추정 장치.
  8. 제1항에 있어서,
    상기 위치 추정부는 3차원 공간 상의 로봇의 위치 변이량을 구하기 위해 수학식
    Figure 112018035103027-pat00012
    을 이용하는 로봇 위치 추정 장치.
  9. RGB 영상 및 깊이 정보를 포함하는 적외선 영상을 획득하고, 상기 RGB 영상과 상기 적외선 영상을 매칭하여 특징점 추출의 기준이 되는 기준 영상과 상기 기준 영상과 비교되는 대상 영상을 순차적으로 생성하여 영상을 획득하고;
    상기 기준 영상 및 상기 대상 영상으로부터 각각 2차원의 기준 특징점을 추출하고, 상기 기준 영상과 상기 대상 영상 간의 기준 특징점을 정합하고, 상기 2차원의 정합된 기준 특징점으로부터 적어도 하나 이상의 3차원의 추가 특징점을 추출하여 영상을 처리하고;
    상기 추가 특징점으로부터 로봇의 위치를 추정하고, 이를 최적화하는 것을 포함하는 로봇 위치 추정 방법.
  10. 제9항에 있어서,
    상기 추가 특징점은 상기 정합된 기준 특징점에 이웃하여 위치하고, 깊이 정보를 갖는 좌표 정보인 로봇 위치 추정 방법.
  11. 제9항에 있어서,
    상기 추가 특징점은 상기 각 정합된 기준 특징점마다 4개의 추가 특징점 또는 8개의 추가 특징점을 추출하는 로봇 위치 추정 방법.
  12. 제9항에 있어서,
    상기 영상을 처리하는 것은:
    기준 특징점 추출 알고리즘을 이용하여 상기 기준 영상 또는 상기 대상 영상으로부터 상기 기준 특징점을 추출하고;
    상기 기준 영상의 기준 특징점과 상기 대상 영상의 기준 특징점을 서로 정합하여 상기 기준 영상의 기준 특징점과 상기 대상 영상의 기준 특징점이 동일한 특징점인지 여부를 판단하고;
    영상 획득부로부터 전달받은 3차원 영상에서 정합된 기준 특징점에 이웃하여 위치하는 적어도 하나 이상의 추가 특징점을 추출하는 것을 포함하는 로봇 위치 추정 방법.
  13. 제12항에 있어서,
    상기 추가 특징점을 추출하는 것은 추가 특징점 추출 여부를 판단하거나 추출되는 추가 특징점의 개수를 선택하는 판단 과정을 포함하는 로봇 위치 추정 방법.
  14. 제13항에 있어서,
    상기 판단 과정은 상기 정합된 기준 특징점의 개수와 제 1 기준값을 비교하여 추가 특징점 추출 여부를 판단하는 로봇 위치 추정 방법.
  15. 제13항에 있어서,
    상기 판단 과정은 상기 정합된 기준 특징점의 개수와 제 2 기준값을 비교하여 추출되는 추가 특징점의 개수를 선택하는 로봇 위치 추정 방법.
  16. 제9항에 있어서,
    상기 로봇의 위치를 추정하는 것은 3차원 공간 상의 로봇의 위치 변이량을 구하기 위해 수학식
    Figure 112018035103027-pat00013
    을 이용하는 로봇 위치 추정 방법.
KR1020110140767A 2011-12-23 2011-12-23 로봇 위치 추정 장치 및 그 방법 KR101901586B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110140767A KR101901586B1 (ko) 2011-12-23 2011-12-23 로봇 위치 추정 장치 및 그 방법
US13/723,540 US8903161B2 (en) 2011-12-23 2012-12-21 Apparatus for estimating robot position and method thereof
CN201210560789.7A CN103252778B (zh) 2011-12-23 2012-12-21 用于估计机器人位置的设备及其方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110140767A KR101901586B1 (ko) 2011-12-23 2011-12-23 로봇 위치 추정 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20130073097A KR20130073097A (ko) 2013-07-03
KR101901586B1 true KR101901586B1 (ko) 2018-10-01

Family

ID=48654608

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110140767A KR101901586B1 (ko) 2011-12-23 2011-12-23 로봇 위치 추정 장치 및 그 방법

Country Status (3)

Country Link
US (1) US8903161B2 (ko)
KR (1) KR101901586B1 (ko)
CN (1) CN103252778B (ko)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8918209B2 (en) * 2010-05-20 2014-12-23 Irobot Corporation Mobile human interface robot
EP2701093B1 (en) * 2012-08-20 2016-06-22 Honda Research Institute Europe GmbH Sensing system and method for detecting moving objects
CN104424637B (zh) * 2013-09-02 2017-06-27 联想(北京)有限公司 信息处理的方法及智能设备
CN104422441B (zh) * 2013-09-02 2017-12-26 联想(北京)有限公司 一种电子设备及定位方法
US9613298B2 (en) 2014-06-02 2017-04-04 Microsoft Technology Licensing, Llc Tracking using sensor data
CN105635718A (zh) * 2014-10-27 2016-06-01 聚晶半导体股份有限公司 影像撷取装置
DK3123260T3 (da) * 2014-12-31 2021-06-14 Sz Dji Technology Co Ltd Selektiv behandling af sensordata
US9984519B2 (en) * 2015-04-10 2018-05-29 Google Llc Method and system for optical user recognition
CN105844264B (zh) * 2015-05-19 2019-03-22 北京林业大学 一种基于受力的油用牡丹果实图像的识别方法
US9818232B2 (en) * 2015-08-26 2017-11-14 Adobe Systems Incorporated Color-based depth smoothing of scanned 3D model to enhance geometry in 3D printing
DE102015122998B3 (de) * 2015-12-30 2017-01-05 Haddadin Beteiligungs UG (haftungsbeschränkt) Roboter und Verfahren zum Betreiben eines Roboters
US20170323149A1 (en) * 2016-05-05 2017-11-09 International Business Machines Corporation Rotation invariant object detection
GB201610949D0 (en) * 2016-06-22 2016-08-03 Q-Bot Ltd Autonomous surveying of underfloor voids
CN106127180A (zh) * 2016-06-30 2016-11-16 广东电网有限责任公司电力科学研究院 一种机器人辅助定位方法及装置
KR101962855B1 (ko) * 2016-12-30 2019-03-27 부산대학교 산학협력단 중복 그리드 기법을 이용한 실내 지도 생성 장치 및 방법
CN107362987A (zh) * 2017-06-07 2017-11-21 武汉科技大学 一种基于视觉的机器人分拣方法及系统
CN107749070B (zh) * 2017-10-13 2020-06-02 京东方科技集团股份有限公司 深度信息的获取方法和获取装置、手势识别设备
CN107843251B (zh) * 2017-10-18 2020-01-31 广东宝乐机器人股份有限公司 移动机器人的位姿估计方法
JP7353747B2 (ja) * 2018-01-12 2023-10-02 キヤノン株式会社 情報処理装置、システム、方法、およびプログラム
CN108638062B (zh) * 2018-05-09 2021-08-13 科沃斯商用机器人有限公司 机器人定位方法、装置、定位设备及存储介质
CN110303468A (zh) * 2019-05-24 2019-10-08 广东电网有限责任公司 一种双体机器人就地操作高压断路器分合闸方法及系统
CN110428464B (zh) * 2019-06-24 2022-01-04 浙江大学 基于深度学习的多类别乱序工件机器人抓取位姿估计方法
CN114029951B (zh) * 2021-11-10 2022-05-10 盐城工学院 基于深度相机的机器人自主识别智能抓取方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10114932B4 (de) * 2001-03-26 2005-09-15 Daimlerchrysler Ag Dreidimensionale Umfelderfassung
KR100966875B1 (ko) * 2006-09-26 2010-06-29 삼성전자주식회사 전방위 영상을 이용한 로봇의 위치 결정방법
KR101327791B1 (ko) * 2007-09-11 2013-11-20 삼성전자주식회사 영상 매칭 장치 및 방법
KR101420684B1 (ko) * 2008-02-13 2014-07-21 삼성전자주식회사 컬러 영상과 깊이 영상을 매칭하는 방법 및 장치
KR101671488B1 (ko) 2009-12-18 2016-11-01 에스케이텔레콤 주식회사 문맥상 사라진 특징점의 복원을 통한 물체 인식 방법
KR20110097140A (ko) 2010-02-24 2011-08-31 삼성전자주식회사 이동 로봇의 위치 추정 장치 및 방법
CN101839721B (zh) * 2010-03-12 2012-03-28 西安电子科技大学 自主交会对接中的视觉导航方法
JP5057183B2 (ja) * 2010-03-31 2012-10-24 アイシン・エィ・ダブリュ株式会社 風景マッチング用参照データ生成システム及び位置測位システム
KR101697184B1 (ko) * 2010-04-20 2017-01-17 삼성전자주식회사 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
KR20120011653A (ko) * 2010-07-29 2012-02-08 삼성전자주식회사 영상 처리 장치 및 방법
KR101680762B1 (ko) * 2010-10-29 2016-11-29 삼성전자주식회사 3ｄ 카메라용 빔스플리터 및 상기 빔스플리터를 채용한 3차원 영상 획득 장치
KR101665386B1 (ko) * 2010-11-15 2016-10-12 한화테크윈 주식회사 로봇 위치 추정 장치 및 방법
US8553934B2 (en) * 2010-12-08 2013-10-08 Microsoft Corporation Orienting the position of a sensor
CN102255392B (zh) * 2011-07-30 2013-07-03 山东电力研究院 一种基于移动机器人的全自动变电站倒闸操作顺序控制方法
KR101863626B1 (ko) * 2011-11-02 2018-07-06 삼성전자주식회사 영상 처리 장치 및 방법
US9364372B2 (en) * 2011-11-29 2016-06-14 Honeywell International Inc. Safety glasses verification

Also Published As

Publication number Publication date
KR20130073097A (ko) 2013-07-03
US8903161B2 (en) 2014-12-02
CN103252778B (zh) 2016-06-08
CN103252778A (zh) 2013-08-21
US20130163853A1 (en) 2013-06-27

Similar Documents

Publication Publication Date Title
KR101901586B1 (ko) 로봇 위치 추정 장치 및 그 방법
JP6430064B2 (ja) データを位置合わせする方法及びシステム
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
JP6295645B2 (ja) 物体検出方法及び物体検出装置
WO2017041731A1 (en) Markerless multi-user multi-object augmented reality on mobile devices
KR100855657B1 (ko) 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
US8928736B2 (en) Three-dimensional modeling apparatus, three-dimensional modeling method and computer-readable recording medium storing three-dimensional modeling program
US9679384B2 (en) Method of detecting and describing features from an intensity image
KR20190073244A (ko) Icp 기술에 기초하는 이미지 프로세싱 방법
CN109579825B (zh) 基于双目视觉和卷积神经网络的机器人定位系统及方法
US20100172571A1 (en) Robot and control method thereof
JP6328351B2 (ja) ３ｄシーンを３ｄモデルとして再構成する方法
KR20100119559A (ko) 2ｄ 이미지 데이터를 스테레오스코픽 이미지 데이터로 변환하기 위한 방법 및 시스템
US10607350B2 (en) Method of detecting and describing features from an intensity image
KR101510312B1 (ko) 복수의 카메라들을 이용한 3d 얼굴 모델링 장치, 시스템 및 방법
CN110243390B (zh) 位姿的确定方法、装置及里程计
JP2017117386A (ja) 自己運動推定システム、自己運動推定システムの制御方法及びプログラム
JP2018128897A (ja) 対象物の姿勢等を検出する検出方法、検出プログラム
KR101478709B1 (ko) Rgb-d 영상 특징점 추출 및 특징 기술자 생성 방법 및 장치
CN107330930B (zh) 三维图像深度信息提取方法
CN113052907B (zh) 一种动态环境移动机器人的定位方法
CN108062741B (zh) 双目图像处理方法、成像装置和电子设备
Abdelhamid et al. Extracting depth information using a correlation matching algorithm
Le et al. Geometry-Based 3D Object Fitting and Localizing in Grasping Aid for Visually Impaired
He et al. Automatic orientation estimation of multiple images with respect to laser data

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant