KR101460313B1 - 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법 - Google Patents

시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법 Download PDF

Info

Publication number
KR101460313B1
KR101460313B1 KR1020130059036A KR20130059036A KR101460313B1 KR 101460313 B1 KR101460313 B1 KR 101460313B1 KR 1020130059036 A KR1020130059036 A KR 1020130059036A KR 20130059036 A KR20130059036 A KR 20130059036A KR 101460313 B1 KR101460313 B1 KR 101460313B1
Authority
KR
South Korea
Prior art keywords
information
image
robot
word
estimating
Prior art date
Application number
KR1020130059036A
Other languages
English (en)
Inventor
홍현기
이인표
Original Assignee
중앙대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 중앙대학교 산학협력단 filed Critical 중앙대학교 산학협력단
Priority to KR1020130059036A priority Critical patent/KR101460313B1/ko
Application granted granted Critical
Publication of KR101460313B1 publication Critical patent/KR101460313B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B25J13/088—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices with position, velocity or acceleration sensors
    • B25J13/089—Determining the position of the robot with reference to its environment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence

Abstract

시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치가 개시된다. 이미지 입력부는 3차원 깊이 정보를 포함하는 깊이 이미지(depth image)와 컬러 정보를 포함하는 RGB 컬러 이미지(color image)가 입력된다. 특징부 추출부는 입력된 깊이 이미지로부터 3차원적인 기하학적 정보를 추출하고, 컬러 이미지로부터 2차원 컬러 정보를 추출한다. 계산부는 RGB 컬러 이미지로부터 외관 거리를 계산하고, 깊이 이미지로부터 기하학적 거리를 계산하고, 그리고, 평면 법선 벡터를 계산한다. 리파인부는 평면상에 존재하는 특징부를 리파인(refine)한다. 워드 매칭부는 사전에 저장된 시각 워드 데이터베이스부를 이용하여 특징부와 워드를 매칭한다. 위치 추정부는 워드 매칭한 정보를 토대로 로봇의 현 위치를 추정한다. 본 발명에 따르면, 3차원 깊이 정보(3D depth data)를 이용하여 로봇의 위치를 추정함에 있어 위상 지도에서 인덱스 워드를 생성할 수 있다. 이를 통해, 시각 특징과 기하 정보를 이용하여 로봇의 위치를 정확하게 파악할 수 있다.

Description

시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법{Apparatus and method for robot localization using visual feature and geometric constraints}
본 발명은 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법에 관한 것으로, 더욱 상세하게는, 3차원 깊이 정보(3D depth data)를 이용하여 로봇의 위치를 추정하는 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법에 관한 것이다.
로봇이란 사람의 모습을 한 인형 내부에 기계 장치를 조립해 넣고, 손발과 그 밖의 부분을 본래의 사람과 마찬가지로 동작하도록 만든 자동 인형을 말한다. 그러나 최근에는 사람의 모습 여부를 떠나서 자율적으로 어떠한 임무를 수행하는 자동 장치를 통칭하게 되었다.
특히 이동 로봇의 경우, 극한 환경 또는 위험 지역에서 사람을 대신하여 작업을 수행할 수 있기 때문에 많은 각광을 받고 있다. 또한, 청소 로봇과 같이 자율적으로 집안을 돌아다니면서 가사 업무를 도와주는 가정용 이동 로봇도 다수 보급되었다.
이동 로봇이 자율적으로 이동하면서 임무를 수행하기 위해서는 자기 위치 인식 기술이 필수적이며, 대표적인 위치 인식 기술로는 SLAM(Simultaneous Localization And Mapping) 기법이 있다. SLAM은 로봇이 주변 환경 정보를 검출하고 얻어진 정보를 가공하여 임무 수행 공간에 대응되는 지도를 작성함과 동시에 자신의 절대 위치를 추정하는 방법을 말한다. 즉, 이동 로봇이 미지의 영역을 주행하면서 주변 환경을 인지하고 그 환경에 대한 로봇의 상대적인 위치를 동시에 추정하는 것이다. 기존 위치 인식과 달리, SLAM 기법은 자기 위치나 주변 환경에 대하여 아무런 사전 정보가 없는 경우에 유용하다.
한국특허공개공보 제10-2008-0028185호(전방위 영상을 이용한 로봇의 위치 결정 방법)에는 전방위 카메라를 이용하여 카메라 주변의 360도 영상을 획득하고, 획득된 360도 영상의 수평면선에 대한 1차원 원형 영상과 미리 저장된 지도상의 각 노드의 수평면 사이의 상관계수를 고속 푸리에 변환(FFT) 기법을 이용하여 상관계수를 계산하여 로봇의 현 위치가 어느 노드 부근인지 인식할 수 있는 방법을 개시하고 있다. 한국특허공개공보 제10-2012-0033414호(자기 위치 인식을 수행하는 로봇 및 그의 운용 방법)에는 로봇의 자기 위치 인식을 오류없이 수행할 수 있도록 지원하는 운용 방법을 개시하고 있다.
본 발명이 이루고자 하는 기술적 과제는, 3차원 깊이 정보(3D depth data)를 이용하여 로봇의 위치를 추정함에 있어 위상 지도에서 인덱스 워드를 생성하는 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는, 3차원 깊이 정보(3D depth data)를 이용하여 로봇의 위치를 추정함에 있어 위상 지도에서 인덱스 워드를 생성하는 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한 본 발명에 따른 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치는, 3차원 깊이 정보를 포함하는 깊이 이미지(depth image)와 컬러 정보를 포함하는 RGB 컬러 이미지(color image)가 입력되는 이미지 입력부; 상기 입력된 깊이 이미지로부터 3차원적인 기하학적 정보를 추출하고, 상기 컬러 이미지로부터 2차원 컬러 정보를 추출하는 특징부 추출부; 상기 RGB 컬러 이미지로부터 외관 거리를 계산하고, 상기 깊이 이미지로부터 기하학적 거리를 계산하고, 그리고, 평면 법선 벡터를 계산하는 계산부; 상기 평면상에 존재하는 특징부를 리파인(refine)하는 리파인부; 사전에 저장된 시각 워드 데이터베이스부를 이용하여 상기 특징부와 워드를 매칭하는 워드 매칭부; 및 상기 워드 매칭한 정보를 토대로 로봇의 현 위치를 추정하는 위치 추정부;를 구비한다.
상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 방법은, (a) 3차원 깊이 정보를 포함하는 깊이 이미지(depth image)와 컬러 정보를 포함하는 RGB 컬러 이미지(color image)가 입력되는 이미지 입력 단계; (b) 상기 입력된 깊이 이미지로부터 3차원적인 기하학적 정보를 추출하고, 상기 컬러 이미지로부터 2차원 컬러 정보를 추출하는 특징부 추출 단계; (c) 상기 RGB 컬러 이미지로부터 외관 거리를 계산하고, 상기 깊이 이미지로부터 기하학적 거리를 계산하고, 그리고, 평면 법선 벡터를 계산하는 계산 단계; (d) 상기 평면상에 존재하는 특징부를 리파인(refine)하는 리파인 단계; (e) 사전에 저장된 시각 워드 데이터베이스부를 이용하여 상기 특징부와 워드를 매칭하는 워드 매칭 단계; 및 (f) 상기 워드 매칭한 정보를 토대로 로봇의 현 위치를 추정하는 위치 추정 단계;를 갖는다.
상기의 다른 기술적 과제를 달성하기 위한 본 발명에 따른 컴퓨터로 읽을 수 있는 매체는 상기한 방법 중 어느 하나를 컴퓨터에서 실행시키기 위한 프로그램을 기록한다.
본 발명에 따른 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법에 의하면, 3차원 깊이 정보(3D depth data)를 이용하여 로봇의 위치를 추정함에 있어 위상 지도에서 인덱스 워드를 생성할 수 있다. 이를 통해, 시각 특징과 기하 정보를 이용하여 로봇의 위치를 정확하게 파악할 수 있다.
도 1은 본 발명에 따른 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치의 구성을 도시한 블록도,
도 2는 본 발명에 따른 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 방법을 도시한 흐름도,
도 3은 실내, 실외 환경에서 로봇 상에 탑재된 카메라에 의해 획득된 모델 이미지를 도시한 도면(좌측 상단부터 1~20),
도 4는 스테레오 시스템에 의한 디스패리티 맵(disparity map)을 도시한 도면,
도 5는 2개의 구조적 평면 간 키 포인트와 기하학적 관계를 인코딩(encoding)하는 방법을 도시한 도면,
도 6은 모델 이미지와 요청 이미지의 키 포인트와 구조적 평면상 매칭된 후보군을 도시한 도면,
도 7은 입력된 요청 이미지의 파저티브(positive) 이미지 및 네거티브 이미지(negative) 이미지, 그리고, 모바일 로봇 상에 탑재된 스테레오 시스템을 도시한 도면,
도 8은 본 발명의 일실시예에 따른 각 씬(scene 6, 10, 11)별 키 포인트와 탐지된 특징부, 디스패리티 맵 및 확인된 키 포인트를 도시한 도면, 그리고,
도 9는 본 발명에 따른 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 방법의 수행 능력을 비교한 그래프이다.
이하에서 첨부의 도면들을 참조하여 본 발명에 따른 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법(이하에서는, '로봇의 위치 추정 장치 및 방법'이라 함)의 바람직한 실시예에 대해 상세하게 설명한다.
본 발명에 따른 로봇의 위치 추정 장치 및 방법은 입력된 영상에서 추출한 3차원 기하학적인 정보와 2차원 컬러 정보를 토대로 로봇의 위치를 추정하는 알고리즘이다. 본 발명은 로봇 주행 환경에서 스테레오 카메라(stereo camera) 또는 키넥트 센서(kinect sensor)를 통해 획득된 3차원 정보를 이용한다.
도 1은 본 발명에 따른 로봇의 위치 추정 장치(100)의 구성을 도시한 블록도이고, 도 2는 본 발명에 따른 로봇의 위치 추정 방법을 도시한 흐름도이다.
도 1 내지 도 2를 참조하면, 본 발명에 따른 로봇의 위치 추정 장치(100)는 이미지 입력부(200), 특징 추출부(300), 계산부(400), 리파인부(500), 워드 매칭부(600) 및 위치 추정부(700)를 포함한다.
이미지 입력부(200)는 3차원 깊이 정보를 포함하는 깊이 이미지(depth image)와 컬러 정보를 포함하는 RGB 컬러 이미지(color image)가 입력된다. 특징 추출부(300)는 깊이 이미지로부터 3차원 기하학적 정보를 추출하고, 컬러 이미지로부터 2차원 컬러 정보를 추출한다. 이때, 본 발명은 RANSAC(RANdom Sample Consensus) 알고리즘을 이용하여 3차원 정보로부터 구조적 평면(structural plane)과 구조적 평면의 표면 법선 정보(surface normal information)를 추출한다. 이를 통해 특징점을 얻을 수 있고, RGB 컬러 히스토그램을 토대로 특징점의 외관 정보(appearance information)를 설명할 수 있다.
구조적 평면상 외관 및 기하학적 특징 모두 모델 이미지의 인덱스 워드로 표시되고, 이는 요청 이미지과 비교되고, 이를 통해 요청 이미지와 가장 유사한 이미지를 고를 수 있다. 게다가, 본 발명의 성능을 향상시키기 위해 세미 로컬 제약(semi-local constraints)은 매칭 과정에서 조사된다. 이러한 과정에서 아웃라이어(outlier)와 미스 매칭(mismatching)을 처리하기 위해 추출된 특징부와 매칭 후보군의 상대적 순서 관계를 비교한다. 도 3은 실내, 실외 환경에서 로봇 상에 탑재된 키넥트 또는 스테레오 카메라에 의해 획득된 모델 이미지를 도시하고 있다.
3차원 정보로부터 RANSAC 알고리즘을 적용함으로써, 많은 3차원 정보가 분포되어 있는 메인 평면(main plane)을 차례로 얻을 수 있다. 또한, PCA(Principal Component Analysis) 알고리즘을 이용하여 메인 평면의 3차원 정보로부터 최소 고유값(smallest eigenvalue)의 고유벡터(eigenvector)를 나타내는 표면 방향(surface orientation)을 계산할 수 있다. 백페이스 컬링(backface culling)은 카메라의 뷰포인트(view point)에 따라 구조적 평면의 시각 표면 법선(visual surface normail)을 결정한다. 그리고 나서, 평면상의 특징점들을 3차원 키 포인트로 그룹 짓고, 3차원 키 포인트의 디스크립터(descriptor)는 모델 이미지의 인덱스 워드를 생성하고 요청 이미지를 보팅(voting)하는데 사용될 수 있도록 저장한다.
계산부(400)는 RGB 컬러 이미지로부터 외관 거리를 계산하고, 깊이 이미지로부터 기하학적 거리를 계산하고, 그리고, 복수의 평면을 상호 비교함으로서 평면 법선 벡터를 계산한다. 이때, 리파인부(500)에 의해 추가적으로 평면상에 존재하는 특징부를 리파인(refine)하는 과정을 거칠 수 있다. 그리고 나서, 워드 매칭부(600)에 의해 사전에 저장된 시각 워드 데이터베이스부를 이용하여 특징부와 워드를 매칭하여, 위치 추정부(700)에 의해 로봇의 현 위치를 추정하게 된다.
구체적으로, 본 발명에 따른 로봇의 위치 추정 방법은 특징부 사이의 유사한 외관 그리고 3차원 거리를 측정하며, 이는 추가적인 추정(assumption)없이 이미지상의 물체(object)를 클러스터(cluster)할 수 있다. 아래 수학식 1에서,
Figure 112013046074111-pat00001
은 특징부의 기하학적인 정보를 나타내는데 정규화된 거리를 의미한다. 또한,
Figure 112013046074111-pat00002
는 3차원 공간에서 이웃하는 특징부 지점을 나타내며, 그리고,
Figure 112013046074111-pat00003
는 카메라 위치(position)를 나타낸다.
Figure 112013046074111-pat00004
Figure 112013046074111-pat00005
각 특징부의 외관은 특징부 위치 주변의 15x15픽셀 이미지 패치 상에 각 채널 당 16 빈(bins)을 가지고 1차원 RGB 히스토그램을 이용하여 특징화 한다. 상기 수학식 2는 특징부
Figure 112013046074111-pat00006
사이의 유사도(
Figure 112013046074111-pat00007
)를 나타낸다. 그리고 컬러 히스토그램 거리(
Figure 112013046074111-pat00008
)를 계산할 수 있다.
Figure 112013046074111-pat00009
와
Figure 112013046074111-pat00010
은 각 거리 함수의 동일한 확률 범위를 세팅하는데 사용되는 스켈링 파라미터(scaling parameter)이다.
Figure 112013046074111-pat00011
는 기하학적 용어의 상대적 중요도(relative weight)를 나타낸다. 도 4는 스테레오 시스템에 의한 디스패리티 맵(disparity map)을 나타내는데, 이는 특징부를 탐지하고 레드(red) 컬러와 그린(green) 컬러를 가진 2개의 평면을 분할한다.
인덱스 워드(index word)는 로봇이 위치하는 장소를 제안하는데 유용하다. 기존 방법은 주로 이미지 특징부에 의존했기 때문에 그 수행 능력은 잘못 매칭된 특징부에 의해 영향을 많이 받았다. 대조적으로, 본 발명에 따른 방법은 시각 특징부와 기하학적 정보(즉, 좌우상하 방향 내의 키 포인트의 세미 로컬 제약(semi-local constraints)와 상대적 일관성)를 결정한다.
본 발명에 따른 로봇의 위치 추정 방법에서 제안하는 기본 아이디어는 각 단어가 선택된 횟수를 합하는 것이다. 자주 선택된 씬(scene)은 가장 매칭이 잘 될 수 있다. 따라서 본 발명에 따른 로봇의 위치 추정 방법은 키 포인트의 특징부와 기하학적 정보를 나타내는 모델 이미지를 베이스(base)로 삼는다. 다시 말해서, 학습 단계(learning stage)에서 모델 이미지의 키 포인트와 기하학적 정보를 얻을 수 있고, 이는 로봇의 위치 추정을 위한 요청 이미지의 키 포인트와 기하학적 정보와 비교된다. 도 5는 2개의 구조적 평면 간 키 포인트와 기하학적 관계를 인코딩(encoding)하는 방법을 도시하고 있다. 그린 및 레드 컬러를 가진 키 포인트를 가진 2개 평면의 표면 법선 벡터는 각각 θ1과 θ2 사이의 각도를 가진다. 구조적 평면 간 사이 각도는 2개의 표면 법선 벡터의 내적을 이용하여 계산된다.
아래 수학식 3을 이용하여
Figure 112013046074111-pat00012
사이의 컬러 히스토그램 내에서 특징부의 유사성(
Figure 112013046074111-pat00013
)을 계산할 수 있다.
Figure 112013046074111-pat00014
여기서,
Figure 112013046074111-pat00015
는 각각
Figure 112013046074111-pat00016
의 히스토그램과 평균 히스토그램의
Figure 112013046074111-pat00017
번째 빈(bin)을 나타낸다. 최소 거리 값(
Figure 112013046074111-pat00018
)은 입력된 특징부(
Figure 112013046074111-pat00019
)는 모델 이미지의 시각 워드(
Figure 112013046074111-pat00020
)와 유사하다는 것을 의미한다. 따라서 잘못된 매칭을 해결하기 위해, 실험적으로 0.4에 해당하는 스레쉬홀드 값(threshold value)을 설정한다. BRISK(Binary Robust Invariant Scalable Keypoints) 디스크립터(descriptor)는 컬러 히스토그램 대신 사용하면 이진 해밍 거리(binary hamming distance)를 이용하여 요청 이미지의 키 포인트로 요청 이미지의 특징부를 매칭할 때 효과적으로 결정할 수 있다.
Figure 112013046074111-pat00021
외관과 기하학적 거리의 측정을 최소화하는 워드(
Figure 112013046074111-pat00022
)는 상기 수학식 4를 이용하여 계산할 수 있다. 먼저,
Figure 112013046074111-pat00023
은 제안하는 과정의 전체 수를 의미하고,
Figure 112013046074111-pat00024
는 수학식 3에서 시각 유사성 테스트에서 통과된 특징부의 수를 의미한다. 그리고 구조적 평면 중에 사이 각도의 절대적 차이를 이용하여 요청 이미지와 모델 이미지 간 기하학적 유사성을 결정한다. 여기서,
Figure 112013046074111-pat00025
는 각각 모델 이미지와 요청 이미지의 사이 각을 의미한다.
Figure 112013046074111-pat00026
은 요청 이미지에서 사이 각의 수를 나타낸다. 이웃하는 평면 간 차이 각(difference angle)은 0~180도의 범위를 가지며, 이는 상술한 차이 각이 보이는 표면(visible surface)의 법선으로 간주되기 때문이다. 예를 들어, 2개의 평면이 서로 마주보고 있을 때, 차이 각은 180도가 된다. 구조적 기하학적 용어(structural geometric term)는 정규화를 위해 180개로 분할된다.
Figure 112013046074111-pat00027
라는 2개의 용어는 상대적 기여도(relative contribution)를 제어한다. 실험 결과로부터 외관 특징부와 기하학적 정보가 동등하게 고려될 때 더 좋은 수행 결과가 얻어짐을 알 수 있다. 따라서 2가지 용어의 가중치는 각각 0.5로 설정될 수 있다.
이미지 내의 평면의 수가 1 일 때, 상기 수학식 4에서
Figure 112013046074111-pat00028
을 의미하며, 본 발명에 따른 로봇의 위치 추정 방법은 사이 각 대신 구조적 평면상 키 포인트의 상대적 순서를 결정하게 된다. 게다가, 다양한 수행 과정은 잘못 매칭 되는 특징부의 영향을 감소시키게 된다. 더욱 상세하게는, 모델 이미지의 입력된 특징부와 키 포인트를 매칭 할 때, 잘못 매칭된 쌍은 대부분의 케이스에서 발생하게 된다. 따라서 미스 매칭(mismatching) 문제를 해결하기 위해 도 6에서 시각 특징부 사이에 LRUD(Left-to-Right and Up-to-Down)의 상대적 순서를 결정한다. 또한, 3차원 센서는 땅 위를 주행하는 모바일 로봇 상에 탑재되므로, 롤(roll)이라 불리는 앞뒤 축(front-to-back axis)에 대한 회전이 부존재 한다.
도 6에 도시된 바와 같이, 본 발명에 따른 로봇의 위치 추정 방법은 요청 이미지 내 이웃하는 특징점들 사이의 이미지 좌표 차이가 방향 순서(directional order)를 만족하는지 여부를 확인해야 한다. 이미지 좌표 차이를 만족하도록 설정되는 키 포인트는 연결 리스트로 저장된다. 예를 들어, 탐지된 지점(
Figure 112013046074111-pat00029
)은
Figure 112013046074111-pat00030
의 좌하(左下) 면에 위치한다. 상대적 위치 순서(relative position order)를 만족하는 매칭된 후보 키 포인트들을 검사함으로서,
Figure 112013046074111-pat00031
는 도 6의 (d)에서 찾을 수 있다. 다음으로,
Figure 112013046074111-pat00032
사이와 동일한 관계를 가지는 2가지 후보군은
Figure 112013046074111-pat00033
이다. 첫 번째 세트는 새로운 연결관계를 의미하며, 두 번째 세트는 이전 연결관계와 링크된 연결관계를 의미한다. 각각의 후보 세트는 각 단계에서 생성되지만, 연속되는 세트 중 지속적으로 기하학적 관계를 만족시키기는 어렵다.
이때, 도 6의 (d)는 연결관계를 나타낸다. 스카이 블루 박스는 모델 이미지의 구조적 평면과 매칭됨을 나타내는 최장길이를 가지는 연결관계를 나타낸다. 매칭된 후보들 중에 올바른 관련성이 없다면, 리스트는 잘못 연결된 것을 의미한다. 이 케이스에서
Figure 112013046074111-pat00034
과 같은 포인트의 다른 결합 쌍(combination pair)을 확인할 수 있다. 이러한 고려는 최장 길이를 가진 연결 리스트가 2개 이상이고, 미스 매칭된 지점이 많은 경우 유용하다.
마지막으로, 모델 이미지 내에서 중심 위치의 메인 키 포인트부터 다른 포인트까지의 거리를 합하는 계산을 수행한다. 모델 이미지의 거리 합과 요청 이미지의 거리 합을 비교한 후, 최소 거리를 가진 연결관계를 결과로 결정한다. 요청 이미지와 모델 이미지 간 특징부의 기하학적 영속성을 평가하는 본 발명에 따른 로봇의 위치 추정 방법은 미스 매칭된 특징부가 많음에도 불구하고 이미지 회복 단계에서 인덱스 언어를 생성하고 시각 언어를 매칭하는데 적용 가능하다.
본 발명에 따른 로봇의 위치 추정 장치 및 방법의 성능을 테스트하기 위한 테스트 환경은 다음과 같이 설정하였다. 계산 장비는 Nvidia GTX680 그래픽 카드를 가진 IntelCore(TM) i7-3700 3.4GHz, 8GB RAM 을 포함한다. 스테레오 이미지는 15 fps(frame per second) 속도로 Point Grey Inc.의 Bumblebee 3와 30 fps의 속도로 각 씬을 3차원 깊이를 탐지하는 키넥트 센서에 의해 촬영되었다. 스테레오 매칭은 GPGPU 아키텍쳐 상에서 12~15 fps의 속도로 수행되었고, 병렬 스레드(parallel thread) 내에서 처리되었다. 로봇 주행 환경의 20개의 씬(scene)은 로봇이 현 위치를 학습하고 매칭하며, 본 발명에 따른 수행 능력을 비교하기 위해 타겟 씬(target scene)으로 동일한 외관 특징부를 가진 379 파저티브 이미지(positive image)와 209 네거티브 이미지(negative image)를 도 7의 (a) 및 (b)에 도시된 바와 같이 사용하였다.
도 8은 좌측부터 구조적 평면상의 키 포인트, 입력 이미지 내에서 탐지된 특징부, 디스패리티 맵, 그리고 확인된 키 포인트를 도시하고 있다. 대부분의 경우, 60~70 개의 키 포인트가 학습 과정에서 검출되며, 그것들 중 3~5 포인트는 도 7에 도시된 바와 같이 최종적으로 제안된 접근 방법에서 남게 된다.
도 9를 참조하면, 입력된 씬(도 3 참조)에서 본 발명에 따른 로봇의 위치 추정 방법과 기존 방법을 비교하여 결과 그래프가 도시되어 있다. 본 발명에 따른 로봇의 위치 추정 방법은 컬러 히스토그램 또는 BRISK를 이용하여 모델 이미지 내의 키 포인트를 생성한다. BRISK 디스크립터를 이용하는 것은 컬러 히스토그램을 사용하는 것보다 입력 이미지의 대부분의 경우에서 더 좋은 수행 결과를 얻을 수 있다. 그러나 BRISK를 이용하는 방법은 도 3의 씬 5와 11과 같은 규칙적이고 반복적인 외관 패턴과 같은 이미지 특징에 의해 많은 영향을 받는다. 게다가, 몇 개의 키 포인트는 작은 질감의 특징이 있는 표면을 가진 씬 5에서 구조적 평면을 추출한다. 대조적으로, 컬러 히스토그램을 사용하는 방법은 컬러의 분포가 다른 모델 이미지와 유사하기 때문에 씬 19를 식별하기 어렵다.
기존 방법과 본 발명에 따른 방법(컬러 히스토그램 및 BRISK)을 이용한 평균 인식률은 각각 41.52%, 61.73%, 그리고 74.94% 이다. 따라서 제안하는 수행 능력은 특징부의 공간적 분포를 고려하면 더욱 향상된다는 것을 알 수 있다.
표 1은 컬러 히스토그램과 BRISK를 사용한 본 발명에 따른 로봇의 위치 추정 방법의 계산 시간을 나타내고 있다.
Learning step Voting step
Methods Time(msec.) Methods Time(msec.)
Corner
detection		 GoodFeatureToTrack 6.818 Feature
matching		 RGB histogram 6.379
AGAST(in BRISK) 1.629
3D point cloud generation 0.055 BRISK
 4.558
Plane segmentation(RANSAC) 4.062
PCA 0.129 Visual word matching 11.634
Feature clustering 8.884
Descriptor
generation		 RGB histogram 559.213 RLDU verification
 10.313
BRISK 1.536
시각 단어와 기하학적 단어를 생성하는 학습 단계(learning stage)에서 상기 2가지 방법은 각각 579.16 msec와 7.41 msec가 소요되었다. 보다 자세하게, BRISK를 이용한 접근 방법은 구석 탐지(corner detection), 특징부 클러스터링(feature clustering), 그리고 디스크립션 생성(description generation)을 제외하고 동일한 처리 과정을 가진다. 계산 결과는 키 포인트의 컬러 히스토그램을 생성하는 데 대부분의 계산 시간을 소모한다는 것을 보여준다. 모델 이미지와 함께 요청 이미지를 매칭하기 위한 수행 단계(voting stage)에서 각각 16.69 msec와 14.87 msec가 소요되었다. BRISK 디스크립터의 경우, 계산의 효율성을 위해 이진 해밍 거리(binary hamming distance)를 사용하였다. 오직 외관 정보만을 이용한 기존 방법은 11.63 msec가 소요되었다. 그러나 요청 이미지와 키 포인트 간 기하학적 영속성을 평가하는 것은 잘못 미스 매칭된 특징부가 많더라도 정확한 매칭이 수행되도록 한다
본 발명에 따른 로봇의 위치 추정 장치 및 방법은 로봇 위치 추정 문제에 있어 위상 지도에 대해 인덱스 워드를 생성하는 유용한 알고리즘이다. 오직 외관 특징(appearance features)만을 이용한 기존 방법은 잘못 미스 매칭된 것에 의해 많은 영향을 받았다. 그러나 본 발명은 구조적 평면을 3차원 깊이 정보를 이용하여 주행 환경을 분할하여 모델 이미지 내의 시각 특징부와 특징부의 표면 법선 벡터를 얻을 수 있고, 이를 입력 이미지의 시각 특징부와 특징부의 표면 법선 벡터를 비교한다. 제안된 수행 능력을 향상시키기 위해 기하학적 정보를 이용하여 확인하는 과정을 거치며, 이때, 기하학적 정보란 구조적 평면 사이의 각도와 키 포인트의 LRUD 영속성 검증을 의미한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 유무선 통신망으로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
100 : 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치
200 : 이미지 입력부
300 : 특징 추출부
400 : 계산부
500 : 리파인부
600 : 워드 매칭부
700 : 위치 추정부

Claims (9)

  1. 3차원 깊이 정보를 포함하는 깊이 이미지(depth image)와 컬러 정보를 포함하는 RGB 컬러 이미지(color image)가 입력되는 이미지 입력부;
    상기 입력된 깊이 이미지로부터 RANSAC(RAndom SAmple Consensus) 알고리즘을 이용하여 3차원적인 기하학적 정보인 구조적 평면(structural plane) 및 상기 구조적 평면의 표면 법선 정보(surface normal information)를 추출하여 특징점을 추출하고, 상기 컬러 이미지로부터 2차원 컬러 정보를 추출하는 특징부 추출부;
    상기 RGB 컬러 이미지로부터 외관 거리를 계산하고, 상기 깊이 이미지로부터 기하학적 거리를 계산하고, 그리고, 복수의 상기 평면을 상호 비교함으로써 평면 법선 벡터를 계산하는 계산부;
    상기 평면상에 존재하는 특징부를 리파인(refine)하는 리파인부;
    사전에 저장된 시각 워드 데이터베이스부를 이용하여 상기 특징부와 워드를 매칭하되, 상기 사전에 저장된 시각 워드 데이터베이스부와 비교하기 전에 상기 특징점을 인덱스 워드(index word)로 표시하는 워드 매칭부; 및
    상기 워드 매칭한 정보를 토대로 로봇의 현 위치를 추정하는 위치 추정부;를 포함하는 것을 특징으로 하는 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치.
  2. 삭제
  3. 삭제
  4. 제 1항에 있어서,
    상기 이미지 입력부는 스테레오 카메라 또는 키넥트 카메라 중 어느 하나에 의해 촬영된 이미지를 입력받는 것을 특징으로 하는 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치.
  5. 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치에 의해 수행되는 로봇의 위치 추정 방법에 있어서,
    (a) 3차원 깊이 정보를 포함하는 깊이 이미지(depth image)와 컬러 정보를 포함하는 RGB 컬러 이미지(color image)가 입력되는 이미지 입력 단계;
    (b) 상기 입력된 깊이 이미지로부터 RANSAC(RAndom SAmple Consensus) 알고리즘을 이용하여 3차원적인 기하학적 정보인 구조적 평면(structural plane) 및 상기 구조적 평면의 표면 법선 정보(surface normal information)를 추출하여 특징점을 추출하고, 상기 컬러 이미지로부터 2차원 컬러 정보를 추출하는 특징부 추출 단계;
    (c) 상기 RGB 컬러 이미지로부터 외관 거리를 계산하고, 상기 깊이 이미지로부터 기하학적 거리를 계산하고, 그리고, 복수의 상기 평면을 상호 비교함으로써 평면 법선 벡터를 계산하는 계산 단계;
    (d) 상기 평면상에 존재하는 특징부를 리파인(refine)하는 리파인 단계;
    (e) 사전에 저장된 시각 워드 데이터베이스부를 이용하여 상기 특징부와 워드를 매칭하되, 상기 사전에 저장된 시각 워드 데이터베이스부와 비교하기 전에 상기 특징점을 인덱스 워드(index word)로 표시하는, 워드 매칭 단계; 및
    (f) 상기 워드 매칭한 정보를 토대로 로봇의 현 위치를 추정하는 위치 추정 단계;를 포함하는 것을 특징으로 하는 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 방법.
  6. 삭제
  7. 삭제
  8. 제 5항에 있어서,
    상기 (a) 단계는 스테레오 카메라 또는 키넥트 카메라 중 어느 하나에 의해 촬영된 이미지를 입력받는 것을 특징으로 하는 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 방법.
  9. 제 5항 또는 제 8항에 기재된 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020130059036A 2013-05-24 2013-05-24 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법 KR101460313B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130059036A KR101460313B1 (ko) 2013-05-24 2013-05-24 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130059036A KR101460313B1 (ko) 2013-05-24 2013-05-24 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101460313B1 true KR101460313B1 (ko) 2014-11-14

Family

ID=52290171

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130059036A KR101460313B1 (ko) 2013-05-24 2013-05-24 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101460313B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107533763A (zh) * 2015-05-14 2018-01-02 索尼公司 图像处理装置、图像处理方法及程序
WO2018074904A1 (ko) * 2016-10-20 2018-04-26 엘지전자 주식회사 이동 로봇 및 이동 로봇의 제어방법
CN108280856A (zh) * 2018-02-09 2018-07-13 哈尔滨工业大学 基于混合信息输入网络模型的未知物体抓取位姿估计方法
KR101923581B1 (ko) * 2017-04-12 2018-11-30 한국과학기술원 수중 로봇을 이용한 선체 수중검사를 위한 스테레오 비전 기반 법선 벡터 추출 장치 및 그 방법
KR20200084615A (ko) 2019-01-03 2020-07-13 부산대학교 산학협력단 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법
CN112883443A (zh) * 2021-01-12 2021-06-01 南京维拓科技股份有限公司 一种基于几何的零部件模型相似度的判断方法
WO2022059937A1 (ko) * 2020-09-21 2022-03-24 삼성전자 주식회사 로봇 및 그의 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100656859B1 (ko) * 2005-12-23 2006-12-13 학교법인 포항공과대학교 초음파 센서와 비젼 센서를 기반으로 하는 이동로봇의 동시위치인식 및 지도형성 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100656859B1 (ko) * 2005-12-23 2006-12-13 학교법인 포항공과대학교 초음파 센서와 비젼 센서를 기반으로 하는 이동로봇의 동시위치인식 및 지도형성 방법

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107533763A (zh) * 2015-05-14 2018-01-02 索尼公司 图像处理装置、图像处理方法及程序
CN107533763B (zh) * 2015-05-14 2021-09-28 索尼公司 图像处理装置、图像处理方法及程序
WO2018074904A1 (ko) * 2016-10-20 2018-04-26 엘지전자 주식회사 이동 로봇 및 이동 로봇의 제어방법
US11175676B2 (en) 2016-10-20 2021-11-16 Lg Electronics Inc. Mobile robot and method of controlling the same
KR101923581B1 (ko) * 2017-04-12 2018-11-30 한국과학기술원 수중 로봇을 이용한 선체 수중검사를 위한 스테레오 비전 기반 법선 벡터 추출 장치 및 그 방법
CN108280856A (zh) * 2018-02-09 2018-07-13 哈尔滨工业大学 基于混合信息输入网络模型的未知物体抓取位姿估计方法
CN108280856B (zh) * 2018-02-09 2021-05-07 哈尔滨工业大学 基于混合信息输入网络模型的未知物体抓取位姿估计方法
KR20200084615A (ko) 2019-01-03 2020-07-13 부산대학교 산학협력단 모바일 로봇의 초기 위치 추정을 위한 장치 및 방법
WO2022059937A1 (ko) * 2020-09-21 2022-03-24 삼성전자 주식회사 로봇 및 그의 제어 방법
CN112883443A (zh) * 2021-01-12 2021-06-01 南京维拓科技股份有限公司 一种基于几何的零部件模型相似度的判断方法

Similar Documents

Publication Publication Date Title
US11727661B2 (en) Method and system for determining at least one property related to at least part of a real environment
KR101460313B1 (ko) 시각 특징과 기하 정보를 이용한 로봇의 위치 추정 장치 및 방법
JP6430064B2 (ja) データを位置合わせする方法及びシステム
Rodríguez et al. People detection and stereoscopic analysis using MAS
US9165211B2 (en) Image processing apparatus and method
CN107292907B (zh) 一种对跟随目标进行定位的方法以及跟随设备
KR101380628B1 (ko) 복수의 카메라를 사용한 객체 추적 방법 및 장치
JP2012083855A (ja) 物体認識装置及び物体認識方法
CN109035329A (zh) 基于深度特征的相机姿态估计优化方法
CN110570474B (zh) 一种深度相机的位姿估计方法及系统
CN113850865A (zh) 一种基于双目视觉的人体姿态定位方法、系统和存储介质
Bogoslavskyi et al. Analyzing the quality of matched 3D point clouds of objects
Arsic et al. Applying multi layer homography for multi camera person tracking
CN109993107B (zh) 一种基于非迭代k均值算法的移动机器人障碍物视觉检测方法
Jiang et al. Triangulate geometric constraint combined with visual-flow fusion network for accurate 6DoF pose estimation
Palazzolo et al. Change detection in 3d models based on camera images
CN116229189B (zh) 基于荧光内窥镜的图像处理方法、装置、设备及存储介质
Park et al. Depth image correction for intel realsense depth camera
Lin et al. Vision-based mobile robot localization and mapping using the PLOT features
Wang et al. Object recognition from omnidirectional visual sensing for mobile robot applications
Kim et al. Vision-based navigation with efficient scene recognition
Mittal et al. Small object discovery and recognition using actively guided robot
Lee et al. Autonomous salient feature detection through salient cues in an HSV color space for visual indoor simultaneous localization and mapping
CN112084985A (zh) 一种基于cssd的电力检修行人多目标跟踪算法
JP2007257489A (ja) 画像処理装置および画像処理方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171011

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181122

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20191001

Year of fee payment: 6