KR20080029080A - 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법 - Google Patents

단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법 Download PDF

Info

Publication number
KR20080029080A
KR20080029080A KR1020060094607A KR20060094607A KR20080029080A KR 20080029080 A KR20080029080 A KR 20080029080A KR 1020060094607 A KR1020060094607 A KR 1020060094607A KR 20060094607 A KR20060094607 A KR 20060094607A KR 20080029080 A KR20080029080 A KR 20080029080A
Authority
KR
South Korea
Prior art keywords
mobile robot
zoom
camera
image
feature points
Prior art date
Application number
KR1020060094607A
Other languages
English (en)
Other versions
KR100855657B1 (ko
Inventor
유제군
이응혁
신동범
심현민
장문석
권오상
심재홍
정대섭
길세기
Original Assignee
부천산업진흥재단
이응혁
한국산업기술대학교산학협력단
유제군
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 부천산업진흥재단, 이응혁, 한국산업기술대학교산학협력단, 유제군 filed Critical 부천산업진흥재단
Priority to KR1020060094607A priority Critical patent/KR100855657B1/ko
Publication of KR20080029080A publication Critical patent/KR20080029080A/ko
Application granted granted Critical
Publication of KR100855657B1 publication Critical patent/KR100855657B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/021—Optical sensing devices
    • B25J19/023—Optical sensing devices including video camera means

Abstract

본 발명은 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템 및 방법에 관한 것으로서, 이동로봇의 위치 이동에 따라 단안 줌 카메라를 통해 획득되는 줌아웃(원본) 영상 및 줌인 영상을 획득하여, 각각의 영상에 대하여 스케일 불변 특징점을 검출하고 특징점들 간의 매칭을 수행하며, 상기 매칭된 특징점들을 3차원으로 재구성함으로써 이동로봇의 상대위치를 추정하여 특징점 지도(Feature Map)를 구축하고 추후 로봇이 자기 위치를 추정하는 기술이다.
이동로봇, 자기위치 추정, 특징점, 지도작성, 맵 데이터베이스

Description

단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템 및 방법{SYSTEM FOR ESTIMATING SELF-POSITION OF THE MOBILE ROBOT USING MONOCULAR ZOOM-CAMARA AND METHOD THEREFOR}
도 1은 본 발명의 실시예에 따른 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템의 전체 구성도.
도 2는 본 발명의 실시예에 따른 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 방법의 흐름을 나타낸 흐름도.
도 3은 본 발명의 실시예에 따른 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 방법의 줌인/줌아웃 영상에서 각 특짐점들의 매칭을 나타낸 영상 예시도.
도 4는 본 발명의 실시예에 따른 이동로봇의 자기위치 추정 방법에서 맵구축과정의 상세단계를 나타낸 흐름도.
도 5는 발명의 실시예에 따른 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템에 사용된 카메라 모델의 예시도.
도 6은 본 발명의 실시예에 따른 이동로봇의 자기위치 추정 방법에서 절대위치검출과정의 상세단계를 나타낸 흐름도.
본 발명은 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 장치 및 방법에 관한 것으로서, 로봇의 이동에 따라 단안 줌 카메라를 통해 획득되는 줌아웃(원본) 영상과 줌인 영상을 이용하여, 각각의 영상에 대하여 스케일 불변 특징점을 검출하고 특징점들 간의 매칭을 수행하며, 상기 매칭된 특징점들을 3차원으로 재구성함으로써 로봇의 상대위치를 추정하여 특징점 지도(Feature Map)를 구축하고 추후 로봇이 자기 위치를 추정하는 기술이다.
본 발명과 관련한 종래 기술로는 로봇에 부착된 스테레오 카메라를 이용하여 로봇의 두 장의 정면영상에 대하여 특징점을 추출하거나 거리정보를 획득하는 방법이 제안되었는데, 스테레오 카메라의 파라미터 설정 문제 등에 의하여 거리정보의 오차가 누적되어 로봇 시스템에 적용시 자기위치 추정에 오차의 범위가 늘어나는 문제점이 있으며, 상기 스테레오 카메라의 경우, 영상의 동기화를 맞추거나 영상 획득을 위하여 고가의 영상획득 장치가 부가적으로 필요한 문제점이 있고, 두 개의 카메라 렌즈 중심점을 맞추기 위한 설정도 까다로운 문제점이 있다.
또한, 최근에는 단안 카메라를 이용하여, 로봇의 이동에 따른 거리차에 의한 두 개의 영상으로 특징점의 매칭을 통해 상대위치를 추정하는 방법도 제안되었으나, 이 경우는 두 개의 영상을 획득하기 위해 로봇이 이동하면서 중첩된 다른 영상을 획득해야 하기 때문에 획득 시간이 지연되며, 이에 따라 로봇 움직임에 따른 자세의 뒤틀림이나 지형의 불균형에 의해 영상 획득시 많은 오차요인이 발생하게 되 는 문제점이 있다.
상술한 문제점을 해결하기 위해 창안된 본 발명의 목적은, 로봇의 이동에 따라 단안 줌 카메라를 통해 획득되는 줌아웃(원본) 영상과 줌인 영상을 이용하여, 각각의 영상에 대하여 스케일 불변 특징점을 검출하고 특징점들 간의 매칭을 수행하고, 상기 매칭된 특징점들의 실세계좌표점을 도출하여 3차원으로 재구성함으로써 이동로봇과 상기 특징점 사이의 실제 거리를 구할 수 있는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 장치 및 방법을 제공하는 데 있다.
본 발명의 다른 목적은, 단안 줌 카메라를 통해 획득되는 줌아웃(원본) 영상과 줌인 영상에 대한 특정배율을 도출함으로써, 상기 두 영상 획득 시 이동로봇의 움직임에 따라 발생할 수 있는 오차요인에 영향을 받지 않게 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 장치 및 방법을 제공하는 데 있다.
본 발명의 또다른 목적은, 단안 줌 카메라를 통해 획득되는 줌아웃(원본) 영상과 줌인 영상에 대한 특징점들을 이용하여 특징점 지도(Feature Map)를 구축하고, 상기 특징점들에 대한 회전 및 이동 파라미터를 이용하여 로봇이 자기 절대위치를 추정하게 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 장치 및 방법을 제공하는 데 있다.
본 발명에 따른 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 장치의 구성은,이동로봇 작업환경에 대한 영상 정보를 획득하는 카메라장치와, 카메라장치 를 통해 획득된 영상 정보를 이용하여 특징점들을 검출하며 특징점들 간의 거리 정보를 이용하여 상기 이동로봇의 위치를 도출하는 주처리장치, 및 시리얼통신장치 를 포함한다.
첨부한 도 1을 참조하여 상술한 구성요소를 상세하게 설명하면 다음과 같다.
상기 카메라장치(또는 단안 줌 카메라,100)는, 상기 이동로봇의 작업영역에 대한 영상들을 획득하는 기능을 수행하고, 상기 시리얼통신장치(200)는, 상기 카메라장치(100)와 주처리장치(300) 간의 정보 전송 통로로서의 기능을 수행하며, 본 발명의 다른 실시예로, 상기 시리얼통신장치는 USB 인터페이스장치를 사용할 수 있다.
상기 주처리장치(300)는, 상기 카메라장치로부터 초기에 수신하는 영상들을 참조영상으로 저장하고, 상기 참조영상의 특징점, 매칭점 및 상기 이동로봇의 상대위치와 자세 정보를 도출하여 맵 데이터베이스를 구축하고, 상기 이동로봇 주행 중 상기 카메라장치로부터 수신하는 영상을 상기 구축된 맵 데이터베이스 내의 참조 영상과 비교하여 상기 주행 중인 이동로봇의 상대위치, 절대위치 및 자세 정보를 도출하는 기능을 수행한다.
부연하여, 주처리장치(300)는 이동로봇 주행에 따른 위치 및 자세를 도출하기 위한 초기 셋팅 작업으로 맵 데이터베이스를 구축하는데, 이동로봇을 주행시키면서 상기 카메라장치를 통해 획득되는 줌아웃/줌인 영상들을 참조영상 데이터로 저장하고, 각 영상들의 특징점과 상기 특징점의 상대좌표 데이터 및 각 영상들이 획득된 시점의 이동로봇 자세 정보를 저장하여 이동로봇의 작업영역에 대한 맵 데 이터베이스를 구축한다.
상술한 기능을 수행하기 위한 주처리장치(300)는, 카메라장치(100)로부터 줌아웃/줌인 영상을 수신하는 영상수신부(302)와, 상기 수신된 영상들로부터 카메라장치의 줌인 특정배율을 검출하는 특정배율검출부(304)와, 카메라장치로부터 수신한 줌아웃/줌인 영상을 이용하여 카메라의 보정을 위한 내부 파라미터를 산출하는 내부파라미터산출부(306)와, 가우시안 차분 연산자를 이용하여 상기 줌아웃/줌인 영상의 스케일 불변 특징점들을 검출하여 특징점집합 Fi과 Fi +1을 생성하는 특징점검출부(308)와, 특징점에 대하여 실세계 좌표계와 카메라 좌표계의 회전 및 이동변환을 나타내는 외부 파라미터를 산출하는 외부파라미터산출부(310)와, 상기 산출된 외부 파라미터와 내부 파라미터를 이용하여 생성되는 4개의 선형연립방정식으로부터 상기 특징점의 투영좌표와 실세계좌표를 도출하고, 상기 도출된 실세계좌표를 이용하여 상기 특징점의 상대좌표를 계산하는 특징점상대좌표검출부(312)와, 상기 산출된 상대좌표를 이용하여 검출된 물체와 이동로봇과의 거리를 산출하는 거리산출부(314)와, 상기 구성들로부터 출력되는 데이터들과 상기 이동로봇의 위치 및 자세에 대한 데이터를 저장하는 맵 데이터베이스(316)와, 상기 맵 데이터베이스에 저장된 데이터들을 이용하여 상기 이동로봇의 절대 위치를 도출하는 절대위치도출부(318), 및 상기 이동로봇과 카메라장치 및 상기 각 구성들을 제어하는 제어부(320)를 포함한다.
여기서, 제어부(320)의 기능을 더욱 상세하게 설명하면, 영상수신부(302)로 수신되는 이동로봇 작업영역에 대한 초기 줌아웃/줌인 영상을 특정배율검출부(304)로 전달하여 특정배율을 검출하고, 특징점검출부(308)로 전달하여 상기 각 영상에서 스케일 불변 특징점들을 검출하고, 상기 두 영상에서 매칭되는 특징점에 대하여 상기 특징점상대좌표검출부(312)를 이용하여 이동로봇의 위치를 기준으로 한 상대좌표를 검출하며, 상기 검출된 특징점들 및 특징점들의 상대좌표 데이터와, 상기 이동로봇의 작업영역 내에서 상기 초기 줌아웃/줌인 영상이 획득된 위치 및 영상 획득시의 자세에 대한 데이터를 상기 맵 데이터베이스(316)에 저장하는 기능을 포함하여 주처리장치(300)의 각 구성을 제어하는 기능을 수행한다.
상술한 구성요소로 이루어지는 본 발명에 따른 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 방법은, 첨부한 도 2에 나타낸 바와 같이, 주처리장치가 상기 이동로봇 작업공간에 대한 줌아웃/줌인 영상들을 획득하고, 상기 각 영상의 특징점들을 검출 및 상기 검출된 각 특징점에 대하여 상기 이동로봇 위치를 기준으로 한 상대좌표를 검출하여 맵 데이터베이스를 구축하는 맵구축과정(A)과, 주처리장치가 상기 이동로봇 주행 중 획득되는 영상의 특징점을 검출하여 상기 맵 데이터베이스 내의 특징점들과 매칭되는 특징점에 대하여 회전 및 이동 파라미터를 산출하고, 상기 회전 및 이동 파라미터를 이용한 로봇의 절대위치를 검출하는 절대위치검출과정(B)으로 이루어진다.
도 3은 본 발명의 일실시예에 따른 줌아웃/줌인 영상의 특징점 매칭을 나타내는 실사도로서, 도 3a는 줌아웃(원본) 영상, 도 3b는 상기 줌아웃 영상의 특징점, 도 3c는 줌인 영상, 도 3d는 상기 줌인 영상의 특징점과 상기 도 3b의 줌아웃 영상 특징점의 매칭을 나타낸 것이다.
맵구축과정(A)을 도 4를 참조하여 단계별로 설명하면 다음과 같다(제 S2 단계 내지 제 S14 단계).
주처리장치가, 카메라장치를 이용하여 초기 줌아웃/줌인 영상을 획득하고 카메라장치의 줌인 특정배율을 검출한다(S2).
제 S2 단계를 상세하게 설명하면, 주처리장치가 카메라장치를 이용하여 이동로봇의 위치A에서 초기 줌아웃상태의 영상을 획득하고, 이동로봇을 특정 이동거리만큼 이동시켜 위치B에서 줌아웃상태의 영상을 획득한 후, 이동로봇을 다시 위치A로 이동시켜 상기 위치B에서 획득한 영상과 동일한 영상인 영상을 획득하고, 영상획득시의 줌인 배율을 특정배율 값으로 결정한다. 상기 특정배율에 의하여 이동로봇이 주행 중에 일정한 거리차를 갖는 두 영상을 계속 획득할 수 있게 된다. 부연하면, 제S2 단계에서 획득된 영상들은 맵 데이터베이스에 참조영상으로 저장되는 것은 아니며, 상기 제 2단계의 영상을 이용하여 일정한 거리를 갖게 하기 위한 특정 배율을 도출하기 위한 것이다.
주처리장치가, 카메라장치를 이용하여 획득한 초기 줌아웃/줌인 영상을 이용하여 카메라의 보정을 위한 내부 파라미터를 산출한다(S4).
제 S4 단계를 상세하게 설명하면, 주처리장치가 초기 줌아웃상태의 카메라장치와 특정배율로 줌인 된 카메라장치에 대하여 각각 보정을 수행하는데, 여기서, 카메라장치의 보정 과정은 컴퓨터 영상의 점과 실세계 점의 상관관계를 결정하는 과정으로, 정확한 보정이 이루어져야 컴퓨터 영상좌표로부터 정확한 3차원 상의 실 제 위치를 구할 수 있으며, 또한 역으로 3차원 상의 실제 위치로부터 2차원의 컴퓨터 영상좌표를 정확히 추정할 수 있게 된다.
주처리장치가, 카메라장치의 보정과정 수행을 위하여 우선, 카메라장치의 렌즈가 이상적인 형태라는 가정 하에 카메라 모델을 도 5에 나타낸 바와 같이 설정한다.
도 5는 핀홀 카메라 모델에서 물체의 실세계 좌표와 렌즈에 의한 영상좌표(3차원에서 2차원으로 투영된 좌표를 말함)의 변환과정을 나타낸 것으로, 도면에 표시된 점들을 설명하면 다음과 같다.
- M(X, Y, Z) : 3차원 실세계 좌표상 물체 위치
- m(u, v) : 영상 좌표상의 물체 위치
- C : 카메라 좌표계의 광학적 중심
- (x, y) : p중심을 가진 영상 좌표계
- C와 p사이의 거리 : 초점 거리 f
도 5의 m과 M을 벡터로 표시하면,
Figure 112006070759626-PAT00001
이며, 각 벡터에 스케일벡터를 추가하여 표시하면,
Figure 112006070759626-PAT00002
이 된다. 실세계 좌표의 M을 영상좌표의 m으로 투영한 관계를 식으로 나타내면 다음의 [수학식1]과 같다.
[수학식1]
Figure 112006070759626-PAT00003
R, t : ‘외부 파라미터‘, 실세계 좌표계와 카메라 좌표계 사이의 회전 및 변환을 의미
A : 카메라의 ‘내부 파라미터 행렬’
u0, v0 : ‘주점(principal point)‘, 주평면(principal plane)이 광축에 교차하는 점
α, β : 영상 좌표계상의 스케일 값들을 의미
c : 영상축(image axis)간의 뒤틀림 값을 의미
주처리장치가 [수학식1]로부터 내부 파라미터 행렬 A를 산출하는 과정을 설명하면 다음과 같다.
[수학식1]에서
Figure 112006070759626-PAT00004
의 스케일 값 T를 단위항인 1로 하고, Z를 0으로 가정하며, 회전행렬 R의 i번째 열벡터를 ri로 설정하여, [수학식1]로부터 다음의 [수학식2]를 도출한다.
[수학식2]
Figure 112006070759626-PAT00005
[수학식2]를 [수학식1]과 같은 형태로 정리하면 다음의 [수학식3]과 같이 되 고,
[수학식3]
Figure 112006070759626-PAT00006
H의 i번째 열벡터를 hi라고 하면, [수학식3]은 다음의 [수학식4]가 된다.
[수학식4]
Figure 112006070759626-PAT00007
[수학식4]에서 λ는 임의의 스칼라 값이며, r1과 r2는 직교성을 만족하므로 다음의 [수학식5], [수학식6]을 만족한다.
[수학식5]
Figure 112006070759626-PAT00008
[수학식6]
Figure 112006070759626-PAT00009
여기서,
Figure 112006070759626-PAT00010
이라 하면, B는 다음의 [수학식7]과 같다.
[수학식7]
Figure 112006070759626-PAT00011
[수학식7]에서 B는 대칭이므로 다음의 [수학식8]과 같이 b로 정의할 수 있다.
[수학식8]
Figure 112006070759626-PAT00012
H의 i번째 열벡터를
Figure 112006070759626-PAT00013
라 하면, 다음과 같은 [수학식9], [수학식10]가 도출되며,
[수학식9]
Figure 112006070759626-PAT00014
[수학식10]
Figure 112006070759626-PAT00015
[수학식9], [수학식10]은 다음의 [수학식11]로 정리된다.
[수학식11]
Figure 112006070759626-PAT00016
카메라 보정을 위해 n개의 영상이 사용되므로, [수학식11]은 다음의 [수학식12]가 된다.
[수학식12]
Figure 112006070759626-PAT00017
본 발명의 실시예로, [수학식12]의 V는 2n×6 행렬이며, b값이 추정되면 내부 파라미터 행렬 A를 구할 수 있다.
주처리장치가 행렬 B에 대하여
Figure 112006070759626-PAT00018
를 만족할 때까지 추정하며, B값을 정한 후에는 상기 [수학식7]을 이용하여 다음의 [수학식13]의 내부 파라미터 (u0, v0), (α, β), c를 산출한다.
[수학식13]
Figure 112006070759626-PAT00019
[수학식13]에서 산출된 값들은 최적의 해가 제공되지 않으므로, 주처리장치 가 최대우도(maximum likelihood) 추정법을 이용하여 값들을 정교화한다. 여기서, m개의 점이 있는 n개의 영상에서 최대우도 추정은 다음의 [수학식14]를 최소화함으로써 도출하는 것이다.
[수학식14]
Figure 112006070759626-PAT00020
[수학식14]에서
Figure 112006070759626-PAT00021
는 영상 i에 대한 점 Mj의 사영(projection)이다.
제 S4 단계에서 내부 파라미터를 산출 후, 주처리장치가 가우시안 차분 방법을 이용하여 초기 줌아웃/줌인 영상의 스케일 불변 특징점들을 검출함으로써 특징점집합 Fi과 Fi +1을 생성한다(S6).
제 S6 단계를 상세하게 설명하면 다음과 같다.
본 발명은 부동한 거리 및 시점에서 특징점(랜드마크)을 검출하기 때문에 스케일 공간(scale space)에서 불변하는 특징을 갖도록 하기 위하여 가우시안 필터를 사용하였으며, 한 영상의 스케일 스페이스
Figure 112006070759626-PAT00022
는 다음의 [수학식15]와 같이 입력 영상
Figure 112006070759626-PAT00023
와 가우시안 함수
Figure 112006070759626-PAT00024
의 컨볼루션으로 표시된다.
[수학식15]
Figure 112006070759626-PAT00025
여기서, 가우시안 차분 방법은 영상과 컨볼루션된 가우시안 함수들의 차분에서의 극점들을 이용하여 특징점들의 안정적인 위치를 효율적으로 검출하는 방법으로, 다음의 [수학식16]을 이용하여 검출한다.
[수학식16]
Figure 112006070759626-PAT00026
상수 k는 일반적으로 21/2의 승수를 사용하며,
Figure 112006070759626-PAT00027
는 [수학식17]로 정의된다.
[수학식17]
Figure 112006070759626-PAT00028
본 발명에서, 주처리장치가 상기 생성된 가우시안 차분 영상으로부터 국부적인 극대, 극소점의 위치를 스케일 불변 특징점들의 후보로 선택하는데, 국부적인 극대, 극소점은 모든 레벨의 가우시안 차분 영상의 각 화소를 주변 8개 화소, 인접한 상위, 하위 레벨에서 대응하는 9개 화소, 총 26개 화소와 비교하여 판단한다.
주처리장치가, 가우시안 차분 영상에서 찾아진 후보점들(candidate points)의 조명에 대한 안정도 보정을 위해 각 특징점 위치에서 반경이 9픽셀인 국부 영상의 영상(Lx ,y)에 대하여, 다음의 [수학식18] 및 [수학식19]를 이용하여 크기(m)와 방위(θ)를 산출한다.
[수학식18]
Figure 112006070759626-PAT00029
[수학식19]
Figure 112006070759626-PAT00030
주처리장치가, 스케일 불변 특징점 검출 방법에 의해 검출된 특징점의 주변 영역에 대하여, [수학식19]에 따른 방위각 산출 방법으로 특징점의 기준 방위를 산출하고, 주변 영역 픽셀들의 방위에서 상기 산출된 기준 방위를 감산하여 새로운 방위를 산출하여, 산출된 새로운 방위를 영상의 회전 변환에 불변인 기준 방위(canonical orientation) 값으로 설정한다. 회전 변화에 불변인 기준 방위를 8개의 각도로 양자화하여 방위히스토그램을 만들어 특징점에 대한 특징벡터를 생성하며, 본 발명의 실시예로, 4×4 영역에 대해 8개의 각도로 양자화된 히스토그램을 사용하였으므로 각각의 특징점은 4×4×8=128차원의 특징 벡터를 생성하고, 스케일 불변 특징점의 기술자는 생성된 128개의 특징벡터와 원 영상에서의 좌표, 스케일 및 기준방위로 구성한다.
주처리장치가, 상기 제 S6 단계에서 산출한 내부 파라미터를 [수학식1]에 적용하여 상기 특징점의 회전 및 변환에 대한 외부 파라미터를 산출하고, 산출된 외부 파라미터와 내부 파라미터를 이용하여 생성되는 4개의 선형연립방정식으로부터 실세계의 투영좌표를 도출한다(S8).
제 S8 단계를 상세하게 설명하면 다음과 같다.
주처리장치가 실세계 좌표의 M을 영상좌표의 m으로 투영한 관계에 대한 상기 [수학식1]에 상기 과정에서 산출한 내부 파라미터를 적용하여 외부 파라미터를 산출한다. 본 발명에서 계산과 설치의 편리성을 위하여 한대의 카메라를 사용하였으므로 R과 t는 상수 값을 가지게 되며, 본 발명의 실시예에 따른 외부 파라미터는 다음의 [수학식20]으로 정의한다. [수학식20]에서 ‘d’는 특정배율만큼 줌인을 하였을 때의 거리상수이며, R과 t는 카메라의 외부파라미터로서 실세계 좌표계와 카메라 좌표계 사이의 회전 및 이동변환을 나타낸다.
[수학식20]
Figure 112006070759626-PAT00031
주처리장치가, 상기 과정에서 생성된 특징점집합 Fi, Fi +1의 특징점간의 매칭을 통하여 실세계의 동일한 점 M에 대한 외부 파라미터가 다른 두 개의 영상좌표
Figure 112006070759626-PAT00032
과
Figure 112006070759626-PAT00033
을 생성하고, 생성된 두 영상좌표를 [수학식20]에 대입하여 [수학식21]과 같은 4개의 1차 선형연립방정식을 도출한다.
[수학식21]
Figure 112006070759626-PAT00034
(A1 : 카메라 보정에 의해 산출된 카메라의 줌아웃 상태의 내부 파라미터)
(A2 : 카메라 보정에 의해 산출된 카메라의 줌인 상태의 내부 파라미터)
주처리장치가, 특이값 분해 연산 방법(SVD)을 이용하여 [수학식21]로부터 4개의 미지수인 실세계의 투영좌표(X,Y,Z,T)를 도출하고, 카메라 중심을 원점으로 하는 실세계 좌표M(U, V, W)를 U=X/T, V=Y/T, W=W/T의 관계식에 의해 도출한다. 본 발명의 실시예로, 'T=1'이다.
주처리장치가, 투영좌표
Figure 112006070759626-PAT00035
,
Figure 112006070759626-PAT00036
및 실세계좌표
Figure 112006070759626-PAT00037
의 관계를 나타내는 [수학식21]을 이용하여 상기 검출된 특징점들과 카메라사이의 실제거리 d를 도출한다(S10).
제 S10 단계를 상세하게 설명하면, [수학식21]의 연립방정식에서 미지항은
Figure 112006070759626-PAT00038
항뿐이므로 [수학식21]의 연립방정식을 풀면
Figure 112006070759626-PAT00039
항의 (X, Y, Z) 값, 즉 실세계좌표점이 검출되며, 이 점은 로봇을 기준으로 한 특징점들의 상대좌표점을 나타낸다. 상기 검출된 특징점의 실세계좌표점은 카메라의 중심점을 원점으로 하는 좌표계이므로, 카메라 원점을 이동로봇의 중심으로 가정하면, 이동로봇의 중심에서 특징점까지의 실제 거리(d)는
Figure 112006070759626-PAT00040
로 산출된다. 여기서, xi, yi, zi는 i번째 특징점의 실세계 좌표(3D좌표)를 나타낸다.
상술한 바와 같은 방법으로, 특징점의 실세계좌표점을 도출하면, 이동로봇과 특징점의 실제 거리를 구하게 되는 것이다.
주처리장치가, 이동로봇의 작업공간을 주행하면서 획득되는 줌아웃/줌인 영 상에 대하여, 제 S4 단계 내지 제 S10 단계에서 출력되는 데이터들을 저장하여 맵 데이터베이스를 구축한다(S12).
여기서, 맵 데이터베이스를 위한 데이터로는 참조영상(Reference Image : 이동로봇의 작업공간에 대한 맵 데이터베이스 구축을 위해 획득한 줌아웃/줌인 영상), 특징점(특징점에 대한 기술자, 상대좌표 정보포함) 및 영상이 획득된 시점의 이동로봇의 자세(이동로봇의 x, y좌표값 및 방위) 정보이다.
상술한 바와 같은 제 S2 단계 내지 제 S12 단계를 수행하여 맵구축과정을 마친후, 주처리장치의 절대위치검출과정(B)을 도 6을 참조하여 단계별로 설명하면 다음과 같다(제 S14 단계 내지 제 S24 단계).
주처리장치가, 상기 이동로봇의 주행 중 카메라장치를 이용하여 줌아웃/줌인 영상을 획득하고, 획득된 줌아웃/줌인 영상으로부터 스케일 불변 특징점들을 검출한다(S14, S16).
주처리장치가, 상기 줌아웃/줌인 영상에서 서로 매칭되는 특징점 중 상기 맵 데이터베이스의 특징점들과 매칭되는 특징점을 검출한다(S18).
주처리장치가, 상기 제 S18 단계에서 검출된 특징점들에 대하여, 상기 이동로봇의 위치를 기준으로 한 상대좌표(Ni)를 검출하고(S20), 검출된 상대좌표와 상기 맵 데이터베이스의 해당 특징점들의 상대좌표(Mk)를 비교하여, 제 S20 단계에서 검출된 상대좌표의 회전 및 이동 파라미터를 산출한다(S22).
주처리장치가, 상기 제 S22 단계에서 산출된 회전 및 이동 파라미터와 맵 데 이터베이스에 저장된 로봇의 자세정보를 이용하여, 상기 이동로봇의 절대위치를 검출한다(S24).
부연하여, 참조영상(상기 맵구축과정에서 입력된 영상을 말함, 제 S2 단계 설명참조)에서 특징점의 상대위치를
Figure 112006070759626-PAT00041
라 하고, 이동로봇 주행중 획득되는 영상에서 상기 참조영상과 매칭된 특징점의 상대위치를
Figure 112006070759626-PAT00042
라고 할 때, 두 특징점은 다음의 [수학식22]를 만족한다.
[수학식22]
Figure 112006070759626-PAT00043
주처리장치에서 [수학식22]의 tx, tz, θ를 산출하면, 각각 맵 데이터베이스에서의 이동로봇의 상대위치에 대응하는 주행 중의 이동로봇 상대위치와 자세가 검출되며, 참조영상과 입력영상이 매칭된 시점에서 맵 데이터베이스에 저장되는 로봇의 자세(Pk) 정보에 상기 산출된 tx, tz, θ를 적용하면 이동로봇의 절대 위치가 검출된다. 즉, 주행중에 입력되는 영상에서의 특징점들과 맵 데이터베이스에 저장된 참조영상에서의 특징점들로부터, 상기 주행중의 영상이 입력된 위치에서 2개 이상의 매칭점이 도출되면 이동로봇의 위치 및 자세 검출이 가능하다.
본 발명은, 로봇의 이동에 따라 단안 줌 카메라를 통해 획득되는 줌아웃(원본) 영상과 줌인 영상을 이용하여, 각각의 영상에 대하여 스케일 불변 특징점을 검 출하고 특징점들 간의 매칭을 수행하고, 상기 매칭된 특징점들의 실세계좌표점을 도출하여 3차원으로 재구성함으로써 이동로봇과 상기 특징점 사이의 실제 거리를 구할 수 있어, 상기 특징점으로부터의 이동로봇 상대위치를 정확하게 측정할 수 있는 효과가 있다.
본 발명은, 단안 줌 카메라를 통해 획득되는 줌아웃(원본) 영상과 줌인 영상에 대한 특정배율을 도출함으로써, 상기 특정배율을 이용하여 상기 두 영상 획득 과정을 용이하게 하고, 상기 두 영상 획득 시 이동로봇의 움직임에 따라 발생할 수 있는 오차요인에 영향을 받지 않는 효과가 있다.
본 발명은, 단안 줌 카메라를 통해 획득되는 줌아웃(원본) 영상과 줌인 영상으로부터 검출한 특징점들을 이용하여 맵 데이터베이스(또는 특징점 지도)를 구축하고, 상기 특징점들에 대한 회전 및 이동 파라미터를 산출하여 거리정보 오차를 줄일 수 있으며, 상기 산출된 파라미터와 맵 데이터베이스의 데이터를 이용하여 로봇의 자기 절대위치를 추정할 수 있는 효과가 있다.
상기한 바와 같이 본 발명에 따른 바람직한 특정 실시 예를 설명하였지만, 본 발명은 상기한 실시 예에 한정되지 않으며 당해 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 다양하게 변형되는 실시 예들은 이하에 청구하는 본 발명의 특허 청구범위 안에 속한다고 해야 할 것이다.

Claims (8)

  1. 이동로봇의 자기위치 추정 시스템에 있어서,
    상기 이동로봇의 작업영역에 대한 영상들을 획득하는 카메라장치;
    상기 카메라장치로부터 초기에 수신하는 영상들을 참조영상으로 저장하고, 상기 참조영상의 특징점, 매칭점 및 상기 이동로봇의 상대위치와 자세 정보를 도출하여 맵 데이터베이스를 구축하고, 상기 이동로봇 주행 중 상기 카메라장치로부터 수신하는 영상을 상기 구축된 맵 데이터베이스 내의 참조 영상과 비교하여 상기 주행 중인 이동로봇의 상대위치, 절대위치 및 자세 정보를 도출하는 주처리장치; 및
    상기 카메라장치와 주처리장치 간의 정보 전송 통로인 시리얼통신장치;를 포함하는 것을 특징으로 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템.
  2. 제 1 항에 있어서, 상기 주처리장치는,
    상기 이동로봇을 주행시키면서 상기 카메라장치를 통해 획득되는 줌아웃/줌인 영상들을 참조영상 데이터로 저장하고, 상기 각 영상들의 특징점과 상기 특징점의 상대좌표 데이터 및 상기 각 영상들이 획득된 시점의 이동로봇 자세 정보를 저장하여 상기 이동로봇의 작업영역 맵 데이터베이스를 구축하는 것을 특징으로 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템.
  3. 제 1 항에 있어서, 상기 주처리장치는,
    상기 카메라장치로부터 줌아웃/줌인 영상을 수신하는 영상수신부;
    상기 수신된 영상들로부터 카메라장치의 줌인 특정배율을 검출하는 특정배율검출부;
    상기 카메라장치로부터 수신한 줌아웃/줌인 영상을 이용하여 카메라의 보정을 위한 내부 파라미터를 산출하는 내부파라미터산출부;
    가우시안 차분 연산자를 이용하여 상기 줌아웃/줌인 영상의 스케일 불변 특징점들을 검출하여 특징점집합 Fi과 Fi +1을 생성하는 특징점검출부;
    상기 특징점에 대하여 실세계 좌표계와 카메라 좌표계의 회전 및 이동변환을 나타내는 외부 파라미터를 산출하는 외부파라미터산출부;
    상기 산출된 외부 파라미터와 내부 파라미터를 이용하여 생성되는 4개의 선형연립방정식으로부터 상기 특징점의 투영좌표와 실세계좌표를 도출하고, 상기 도출된 실세계좌표를 이용하여 상기 특징점의 상대좌표를 계산하는 특징점상대좌표검출부;
    상기 산출된 상대좌표를 이용하여 검출된 물체와 이동로봇과의 거리를 산출하는 거리산출부;
    상기 구성들로부터 출력되는 데이터들과 상기 이동로봇의 위치 및 자세에 대한 데이터를 저장하는 맵 데이터베이스;
    상기 맵 데이터베이스에 저장된 데이터들을 이용하여 상기 이동로봇의 절대 위치를 도출하는 절대위치도출부; 및
    상기 이동로봇과 카메라장치 및 상기 각 구성들을 제어하는 제어부;를 포함하는 것을 특징으로 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템.
  4. 제 3 항에 있어서, 상기 제어부는,
    상기 영상수신부로 수신되는 상기 이동로봇 작업영역에 대한 초기 줌아웃/줌인 영상을 상기 특징점검출부로 전달하여 상기 각 영상에서 스케일 불변 특징점들을 검출하고, 상기 두 영상에서 매칭되는 특징점에 대하여 상기 특징점상대좌표검출부를 이용하여 이동로봇의 위치를 기준으로 한 상대좌표를 검출하며, 상기 검출된 특징점들 및 특징점들의 상대좌표 데이터와, 상기 이동로봇의 작업영역 내에서 상기 초기 줌아웃/줌인 영상이 획득된 위치 및 영상 획득시의 자세에 대한 데이터를 상기 맵 데이터베이스에 저장하는 것을 특징으로 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템.
  5. 제 3 항에 있어서, 상기 제어부는,
    상기 이동로봇의 주행에 따라 입력되는 영상 특징점들의 상대좌표 데이터에 대하여, 상기 외부파라미터산출부를 이용하여 상기 맵 데이터베이스에 저장된 특징점들의 상대좌표 데이터를 기준으로 회전 및 이동 변환된 외부 파라미터를 추출하고, 상기 절대위치도출부를 이용하여 상기 추출된 외부 파라미터를 상기 맵 데이터 베이스에 저장된 데이터에 대응시켜 상기 이동로봇의 절대위치를 도출하는 것을 특징으로 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템.
  6. 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템의 제어방법에 있어서,
    주처리장치가, 상기 이동로봇 작업공간에 대한 줌아웃/줌인 영상들을 획득하고, 상기 각 영상의 특징점들을 검출 및 상기 검출된 각 특징점에 대하여 상기 이동로봇 위치를 기준으로 한 상대좌표를 검출하여 맵 데이터베이스를 구축하는 맵구축과정; 및
    주처리장치가, 상기 이동로봇 주행 중 획득되는 영상의 특징점을 검출하여 상기 맵 데이터베이스 내의 특징점들과 매칭되는 특징점에 대하여 회전 및 이동 파라미터를 산출하고, 상기 회전 및 이동 파라미터를 이용한 로봇의 절대위치를 검출하는 절대위치검출과정;을 포함하는 것을 특징으로 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 방법.
  7. 제 6 항에 있어서, 상기 맵구축과정은,
    (a1) 주처리장치가, 카메라장치를 이용하여 초기 줌아웃/줌인 영상을 획득하고 카메라장치의 줌인 특정배율을 검출하는 단계;
    (a2) 주처리장치가, 카메라장치를 이용하여 획득한 초기 줌아웃/줌인 영상을 이용하여 카메라의 보정을 위한 내부 파라미터를 산출하는 단계;
    (a3) 주처리장치가, 가우시안 차분 방법을 이용하여 초기 줌아웃/줌인 영상의 스케일 불변 특징점들을 검출하여 특징점집합을 생성하는 단계;
    (a4) 주처리장치가, 상기 (a2) 단계에서 산출한 내부 파라미터를 이용하여 상기 특징점의 회전 및 변환에 대한 외부 파라미터를 산출하고, 산출된 상기 외부 파라미터와 내부 파라미터를 이용하여 생성되는 4개의 선형연립방정식으로부터 실세계의 투영좌표를 도출하는 단계;
    (a5) 주처리장치가, 투영좌표 및 실세계좌표의 관계식을 이용하여 상기 검출된 특징점들과 카메라사이의 실제거리를 도출하는 단계; 및
    (a6) 주처리장치가, 이동로봇의 작업공간을 주행하면서 획득되는 줌아웃/줌인 영상에 대하여, 상기 (a2) 단계 내지 (a5) 단계에서 출력되는 데이터들을 저장하는 단계;를 포함하는 것을 특징으로 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 방법.
  8. 제 6 항에 있어서, 상기 절대위치검출과정은,
    (b1) 주처리장치가, 상기 이동로봇의 주행 중 카메라장치를 이용하여 줌아웃/줌인 영상을 획득하는 단계;
    (b2) 주처리장치가, 상기 줌아웃/줌인 영상으로부터 스케일 불변 특징점들을 검출하는 단계;
    (b3) 주처리장치가, 상기 줌아웃/줌인 영상에서 서로 매칭되는 특징점 중 상기 맵 데이터베이스의 특징점들과 매칭되는 특징점을 검출하는 단계;
    (b4) 주처리장치가, 상기 (b3) 단계에서 검출된 특징점들에 대하여, 상기 이동로봇의 위치를 기준으로 한 상대좌표를 검출하는 단계;
    (b5) 주처리장치가, 상기 (b4) 단계에서 검출된 상대좌표와 상기 맵 데이터베이스의 해당 특징점들의 상대좌표를 비교하여, 상기 (b4) 단계에서 검출된 상대좌표의 회전 및 이동 파라미터를 산출하는 단계; 및
    (b6) 주처리장치가, 상기 산출된 회전 및 이동 파라미터와 맵 데이터베이스에 저장된 로봇의 자세정보를 이용하여, 상기 이동로봇의 절대위치를 검출하는 단계;를 포함하는 것을 특징으로 하는 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 방법.
KR1020060094607A 2006-09-28 2006-09-28 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법 KR100855657B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060094607A KR100855657B1 (ko) 2006-09-28 2006-09-28 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060094607A KR100855657B1 (ko) 2006-09-28 2006-09-28 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법

Publications (2)

Publication Number Publication Date
KR20080029080A true KR20080029080A (ko) 2008-04-03
KR100855657B1 KR100855657B1 (ko) 2008-09-08

Family

ID=39531704

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060094607A KR100855657B1 (ko) 2006-09-28 2006-09-28 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법

Country Status (1)

Country Link
KR (1) KR100855657B1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100912874B1 (ko) * 2007-06-28 2009-08-19 삼성전자주식회사 이동 로봇의 리로케이션 방법 및 장치
US8634959B2 (en) 2009-08-25 2014-01-21 Samsung Electronics Co., Ltd. Apparatus and method detecting a robot slip
KR20150124372A (ko) * 2014-03-31 2015-11-05 시아오미 아이엔씨. 측위 네비게이션 방법, 장치, 프로그램 및 기록매체
US9818196B2 (en) 2014-03-31 2017-11-14 Xiaomi Inc. Method and device for positioning and navigating
CN109727269A (zh) * 2019-03-29 2019-05-07 中国人民解放军国防科技大学 一种基于单目视觉和道路地图的匹配定位方法
KR20190073719A (ko) 2017-12-19 2019-06-27 전자부품연구원 복수 지도를 이용한 전역 지도 통합 시스템 및 방법 그리고 그 통합 기준 장치
US10410397B2 (en) 2015-03-31 2019-09-10 Baidu Online Network Technology (Beijing) Co., Ltd. Picture presentation method and apparatus
WO2019225817A1 (ko) * 2018-05-25 2019-11-28 에스케이텔레콤 주식회사 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체
CN110955237A (zh) * 2018-09-27 2020-04-03 台湾塔奇恩科技股份有限公司 移动载具的教导路径模块
WO2020180076A1 (ko) * 2019-03-07 2020-09-10 에스케이텔레콤 주식회사 차량용 센서의 보정 정보 획득 장치 및 방법
KR102262930B1 (ko) * 2020-12-01 2021-06-09 주식회사 딥노이드 상대 좌표 추출 장치 및 방법
CN115401689A (zh) * 2022-08-01 2022-11-29 北京市商汤科技开发有限公司 基于单目相机的距离测量方法、装置以及计算机存储介质
US11688094B1 (en) 2021-12-30 2023-06-27 VIRNECT inc. Method and system for map target tracking

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102067293B1 (ko) 2013-05-23 2020-01-17 현대중공업지주 주식회사 카메라 설치대 구조
KR101888363B1 (ko) * 2016-05-30 2018-08-16 전자부품연구원 물체의 3차원 형상을 센싱하기 위한 센서 테스트 베드, 물체 센싱 장치 및 물체 센싱 방법
KR20230085499A (ko) 2021-12-07 2023-06-14 한성대학교 산학협력단 카메라 이동 위치 추정 장치 및 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0635826A (ja) * 1992-07-21 1994-02-10 Mitsubishi Electric Corp 通信制御装置
JP2008005002A (ja) * 2006-06-20 2008-01-10 Onkyo Corp スピーカー用ダンパーおよびこれを用いたスピーカー
JP2008005001A (ja) * 2006-06-20 2008-01-10 Sanyo Electric Co Ltd チョッパ型コンパレータ及びそれを用いた逐次比較型ａ／ｄコンバータ
JP2008006002A (ja) * 2006-06-28 2008-01-17 Tiger Vacuum Bottle Co Ltd 電気ポット

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100912874B1 (ko) * 2007-06-28 2009-08-19 삼성전자주식회사 이동 로봇의 리로케이션 방법 및 장치
US8634959B2 (en) 2009-08-25 2014-01-21 Samsung Electronics Co., Ltd. Apparatus and method detecting a robot slip
KR20150124372A (ko) * 2014-03-31 2015-11-05 시아오미 아이엔씨. 측위 네비게이션 방법, 장치, 프로그램 및 기록매체
US9818196B2 (en) 2014-03-31 2017-11-14 Xiaomi Inc. Method and device for positioning and navigating
US10410397B2 (en) 2015-03-31 2019-09-10 Baidu Online Network Technology (Beijing) Co., Ltd. Picture presentation method and apparatus
KR20190073719A (ko) 2017-12-19 2019-06-27 전자부품연구원 복수 지도를 이용한 전역 지도 통합 시스템 및 방법 그리고 그 통합 기준 장치
CN112166059A (zh) * 2018-05-25 2021-01-01 Sk电信有限公司 车辆的位置估计装置、车辆的位置估计方法以及存储被编程为执行该方法的计算机程序的计算机可读记录介质
WO2019225817A1 (ko) * 2018-05-25 2019-11-28 에스케이텔레콤 주식회사 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독 가능 기록매체
KR20190134231A (ko) * 2018-05-25 2019-12-04 에스케이텔레콤 주식회사 차량의 위치 추정 장치, 차량의 위치 추정 방법, 및 이러한 방법을 수행하도록 프로그램된 컴퓨터 프로그램을 저장하는 컴퓨터 판독가능한 기록매체
CN110955237A (zh) * 2018-09-27 2020-04-03 台湾塔奇恩科技股份有限公司 移动载具的教导路径模块
WO2020180076A1 (ko) * 2019-03-07 2020-09-10 에스케이텔레콤 주식회사 차량용 센서의 보정 정보 획득 장치 및 방법
CN109727269A (zh) * 2019-03-29 2019-05-07 中国人民解放军国防科技大学 一种基于单目视觉和道路地图的匹配定位方法
KR102262930B1 (ko) * 2020-12-01 2021-06-09 주식회사 딥노이드 상대 좌표 추출 장치 및 방법
US11688094B1 (en) 2021-12-30 2023-06-27 VIRNECT inc. Method and system for map target tracking
CN115401689A (zh) * 2022-08-01 2022-11-29 北京市商汤科技开发有限公司 基于单目相机的距离测量方法、装置以及计算机存储介质
CN115401689B (zh) * 2022-08-01 2024-03-29 北京市商汤科技开发有限公司 基于单目相机的距离测量方法、装置以及计算机存储介质

Also Published As

Publication number Publication date
KR100855657B1 (ko) 2008-09-08

Similar Documents

Publication Publication Date Title
KR100855657B1 (ko) 단안 줌 카메라를 이용한 이동로봇의 자기위치 추정 시스템및 방법
US10755428B2 (en) Apparatuses and methods for machine vision system including creation of a point cloud model and/or three dimensional model
US10068344B2 (en) Method and system for 3D capture based on structure from motion with simplified pose detection
KR101791590B1 (ko) 물체 자세 인식장치 및 이를 이용한 물체 자세 인식방법
US10334168B2 (en) Threshold determination in a RANSAC algorithm
US10109104B2 (en) Generation of 3D models of an environment
CN101294793B (zh) 测量设备和控制方法
US9841271B2 (en) Three-dimensional measurement apparatus, processing method, and non-transitory computer-readable storage medium
KR101901586B1 (ko) 로봇 위치 추정 장치 및 그 방법
CN110702111A (zh) 使用双事件相机的同时定位与地图创建（slam）
WO2017022033A1 (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN101563709A (zh) 校准照相机系统
CN111862299A (zh) 人体三维模型构建方法、装置、机器人和存储介质
CN111144349A (zh) 一种室内视觉重定位方法及系统
WO2019013162A1 (ja) 情報処理装置、情報処理方法
JP2008309595A (ja) オブジェクト認識装置及びそれに用いられるプログラム
JP2016148649A (ja) 情報処理装置、情報処理装置の制御方法、およびプログラム
JP2018173882A (ja) 情報処理装置、方法、及びプログラム
JP2009186287A (ja) 平面パラメータ推定装置、平面パラメータ推定方法及び平面パラメータ推定プログラム
JPH07103715A (ja) 視覚に基く三次元位置および姿勢の認識方法ならびに視覚に基く三次元位置および姿勢の認識装置
Jaramillo et al. 6-DoF pose localization in 3D point-cloud dense maps using a monocular camera
US9245343B1 (en) Real-time image geo-registration processing
Nguyen et al. Real-time obstacle detection for an autonomous wheelchair using stereoscopic cameras
KR20150119770A (ko) 카메라를 사용한 3차원 좌표 측정 장치 및 방법
JP6843552B2 (ja) 画像処理装置、画像処理方法およびプログラム。

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120904

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20130826

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20140901

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20150901

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160927

Year of fee payment: 9

LAPS Lapse due to unpaid annual fee