KR100792852B1 - 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리추출방법 - Google Patents

단일 카메라를 이용한 이동 로봇의 랜드 마크 거리추출방법 Download PDF

Info

Publication number
KR100792852B1
KR100792852B1 KR1020060104191A KR20060104191A KR100792852B1 KR 100792852 B1 KR100792852 B1 KR 100792852B1 KR 1020060104191 A KR1020060104191 A KR 1020060104191A KR 20060104191 A KR20060104191 A KR 20060104191A KR 100792852 B1 KR100792852 B1 KR 100792852B1
Authority
KR
South Korea
Prior art keywords
mobile robot
landmark
camera
distance
image
Prior art date
Application number
KR1020060104191A
Other languages
English (en)
Inventor
전세웅
박창우
김영욱
이종배
김봉석
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020060104191A priority Critical patent/KR100792852B1/ko
Application granted granted Critical
Publication of KR100792852B1 publication Critical patent/KR100792852B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B25J19/04—Viewing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1602—Programme controls characterised by the control system, structure, architecture
    • B25J9/161—Hardware, e.g. neural networks, fuzzy logic, interfaces, processor

Abstract

본 발명은 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리 추출방법에 관한 것으로서, 이동 로봇의 단일 카메라를 이용하여 임의의 위치에서 취득한 랜드 마크의 영상 좌표를 추출하고, 상기 카메라의 초점 축을 따라 이동 로봇의 각도를 보정하면서 이동한 위치에서 취득한 랜드 마크의 영상 좌표를 추출하여, 이동 후 이동 로봇 위치의 카메라로부터 카메라의 초점 축과 랜드 마크를 포함하는 평면이 수직을 이루는 지점까지의 거리를 추출하는 것을 특징으로 한다.
본 발명에 의하면 고가의 공간 센서(Range Sensor) 없이 단일 카메라를 이용하여 현재 로봇 좌표계에서의 랜드 마크까지의 거리를 검출할 수 있어 비용이 절감되며, 별도의 신호 처리를 위한 알고리즘을 사용하지 않으므로 메인 프로세서의 처리 부담을 감소시킬 수 있다.
이동 로봇, 카메라, 랜드 마크, 거리

Description

단일 카메라를 이용한 이동 로봇의 랜드 마크 거리 추출방법{ Method for extracting distance of landmark of mobile robot with a single camera }
도 1은 본 발명의 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리 추출방법에 있어서, 이동 로봇의 구성을 나타낸 블록도.
도 2는 본 발명의 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리 추출방법을 설명하기 위한 도면.
도 3은 위치 C1에서 취득한 랜드 마크가 카메라의 영상 평면으로 투영되어 표시되는 좌표를 나타낸 도면.
도 4는 이동 로봇 카메라의 한 픽셀의 가로 길이 및 세로 길이를 나타낸 도면.
도 5는 위치 C2에서 취득한 랜드 마크가 카메라의 영상 평면으로 투영되어 표시되는 좌표를 나타낸 도면.
도 6은 본 발명의 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리 추출방법의 실시예를 나타낸 순서도.
* 도면의 주요 부분에 대한 부호의 설명 *
100 : 이동 로봇 110 : 센서부
120 : 카메라 130 : 영상 처리부
140 : 구동부 150 : 저장부
160 : 제어부 170 : 사용자 인터페이스
본 발명은 단일 카메라를 이용한 이동 로봇의 랜드 마크(Land Mark) 거리 추출방법에 관한 것이다.
이동 로봇은 고정된 위치가 아닌 공간을 스스로 움직이면서 주어진 작업을 수행하는데, 제품 생산에 필요한 부품이나 작업 도구 등을 필요한 위치로 옮기며, 옮긴 부품 등을 조립하여 제품을 생산하는 작업 등을 수행한다.
근래에는 산업 분야뿐만 아니라 가정에서의 이동 로봇의 활용 예가 많이 발표되고 있으며, 이 경우 이동 로봇은 가정에서 청소를 하거나 물건을 옮기는 작업을 수행한다.
가정에서의 이동 로봇의 활용 예로 대표적인 것이 청소 로봇인데, 청소 로봇과 같은 지능형 이동 로봇의 경우, 로봇의 자기 포즈인식은 이동 로봇의 효율적인 이동을 위한 필수적 기능이다.
여기서, 로봇의 자기 포즈(Pose)는 이동 로봇의 위치(Localization) 및 회전 정도(Rotation)를 포함한다.
가정에서 바닥면을 따라 이동하면서 청소하는 청소용 지능형 이동 로봇의 경우, 이러한 자신의 위치 및 회전 정도를 정확히 인식하는 것이 무엇보다 중요하다.
이동 로봇이 특정한 목표 지점을 찾아가거나, 소정의 공간 내를 이동하면서 자신이 이동한 위치를 인식하고 소정의 작업을 수행하기 위해서는 여러 가지 기능을 갖추어야 하는데, 그러한 기능으로는 장애물 피하기, 특정 지표나 자신의 현재 포즈 인식 및 경로 계획(Path Planning) 등이 있다.
이와 같이, 고정된 위치가 아닌 공간을 스스로 움직이면서 주어진 작업을 수행하는 이동 로봇에 대한 네비게이션(Navigation) 연구가 최근 다양하게 이루어지고 있다.
이동 로봇의 포즈를 인식하기 위해서는 이동 로봇이 추출한 랜드 마크(Land Mark)의 3차원 좌표를 추출하여야 하는데, 종래에는 랜드 마크의 3차원 좌표를 추출하기 위해 음향 탐지 장치(Sonar), 레이저(Laser) 및 스테레오 카메라(Stereo Camera)와 같은 공간센서를 사용하였다.
특히, 카메라 기반의 이동 로봇의 포즈 인식은 주로 스테레오 카메라를 사용하여 랜드 마크의 3차원 좌표를 추출하는데, 이 경우 고가의 공간 센서(Range Sensor)를 필요로 한다는 단점이 있다.
그리고, 종래에는 이동 로봇의 휠(Wheel)의 변위를 측정하기 위한 주행 기록 데이터(Odometry Data)를 센서 데이터(Sensor Data)와 동시에 사용하여 이동 로봇의 위치를 추정하는 알고리즘이 사용되었다.
이 경우, 주행 기록 데이터(Odometry Data)를 센서 데이터(Sensor Data)와 함께 사용하기 때문에, 인코더(Encoder)와 같은 부품 및 이를 위한 신호 처리 알고리즘이 부가적으로 필요하다는 문제점이 있었다.
따라서, 본 발명의 목적은 이동 로봇의 단일 카메라를 이용하여 임의의 위치에서 취득한 랜드 마크의 영상 좌표와 상기 카메라의 초점 축을 따라 이동 로봇의 각도를 보정하면서 이동한 위치에서 취득한 랜드 마크의 영상 좌표를 이용하여 현재 로봇 좌표계에서의 랜드 마크 거리를 추출하는 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리 추출방법을 제공하는 데 있다.
본 발명의 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리 추출방법의 바람직한 실시예는, 소정 위치에서 촬상한 랜드 마크가 이동 로봇의 카메라의 영상 평면으로 투영된 지점에서 영상 평면의 수직 이등분선에 이르는 수평 거리(D1)를 구하는 제10단계와, 상기 위치에서 목표 지점까지 상기 카메라의 초점 축을 따라 이동 로봇을 이동시킨 후, 상기 랜드 마크를 촬상하는 제20단계와, 상기 목표 지점에서 촬상한 랜드 마크가 상기 카메라의 영상 평면으로 투영된 지점에서 영상 평면의 수직 이등분선에 이르는 수평 거리(D2)를 구하는 제30단계와, 상기 제10단계 및 제30단계에서 구한 D1 및 D2를 이용하여 상기 목표 지점에서의 이동 로봇의 카메라로부터 상기 카메라의 초점 축과 상기 랜드 마크를 포함하는 평면이 수직을 이루는 지점까지의 거리(D)를 구하는 제40단계를 포함하여 이루어지는 것을 특징으로 한다.
여기서, 상기 목표 지점까지 상기 카메라의 초점 축을 따라 이동 로봇을 이동시키는 단계는, 상기 이동 로봇을 미리 설정된 단위 거리 만큼 이동시킨 후 취득 한 영상의 일정 부분과 상기 단계 10에서 취득한 영상의 일정 부분과의 상관(Correlation) 값을 계산하는 제21단계와, 상기 계산된 상관 값을 통하여 이동 로봇의 각도를 보정하는 제23단계와, 상기 이동 로봇을 상기 단위 거리 만큼 다시 이동시킨 후 취득한 영상의 일정 부분과 상기 제21단계에서 취득한 영상의 일정 부분과의 상관 값을 계산하고, 계산된 상관 값을 통하여 이동 로봇의 각도를 보정하는 제25단계를 포함하여 이루어지는 것을 특징으로 한다.
이하, 도 1 내지 도 6을 참조하여 본 발명의 단일 카메라를 이용한 이동 로봇의 랜드 마크(Land Mark) 거리 추출방법에 대해 상세히 설명한다. 본 발명을 설명함에 있어서, 본 발명과 관련된 공지기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략하기로 한다.
도 1은 본 발명의 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리 추출방법에 있어서, 이동 로봇의 구성을 나타낸 블록도이다.
이에 도시된 바와 같이, 이동 로봇(100)은 센서(Sensor)부(110), 카메라(120), 영상 처리부(130), 구동부(140), 저장부(150), 제어부(160) 및 사용자 인터페이스(170)를 포함하여 이루어진다.
여기서는, 본 발명의 이동 로봇의 기본적인 구성만을 도시하였으며, 이동 로 봇의 역할에 따른 각종 구성은 생략하였다. 예를 들어, 청소용 이동 로봇의 경우 공기를 흡입하면서 대향되는 바닥의 먼지를 집진하는 흡진 장치(미도시)를 구비하며, 이는 제어부(160)의 제어를 받는다.
상기 센서부(110)는 각종의 센서를 구비하며 장애물 감지 및 주행거리 검출 등의 작업을 위한 정보를 생성한다.
상기 센서부(110)에 포함되는 센서로는, 외부로 신호를 송출하고 반사되는 신호를 수신하여 장애물을 검출하는 장애물 검출 센서와, 주행거리를 측정하는 주행거리 검출 센서 등이 있다.
상기 카메라(120)는 카메라(120) 전방의 랜드 마크를 촬상할 수 있도록 바닥면에 대하여 고정된 각도로 설치되며, 바람직하게는 이동 로봇(100)의 주행 방향과 카메라(120)의 주시 방향이 일치하도록 이동 로봇(100)의 전면에 설치된다.
상기 카메라(120)는 전방에 위치한 랜드 마크를 촬상하여 이미지를 생성한 후, 이를 영상 처리부(130)로 전달한다.
상기 영상 처리부(130)는 카메라(120)로부터 수신한 랜드 마크의 이미지로부터 랜드 마크의 영상 좌표를 추출하여 제어부(160)로 전달한다.
상기 구동부(140)는 제어부(160)의 제어 명령에 따라 이동 로봇(100)을 이동시키는데, 상기 구동부(140)는 이동 로봇(100)의 바퀴(Wheel)를 각각 회전시키는 모터와 모터에 의해 발생하는 동력을 전달하는 동력 전달 수단을 포함한다.
상기 구동부(140)는 제어부(160)의 제어 명령에 따라 상기 모터 및 동력 전달 수단을 제어함으로써 이동 로봇(100)의 전진, 후진 및 방향 전환 등을 포함하는 동작을 수행한다.
상기 저장부(150)는 제어부(160)의 동작에 관한 각종 프로그램을 저장하거나, 글로벌 좌표계에 관한 정보, 글로벌 좌표계를 중심으로 하는 작업 공간의 지도 정보 및 주행 중 계산한 포즈 정보를 저장한다.
상기 제어부(160)는 전진, 후진 및 회전을 포함하는 이동 로봇(100)의 전반적인 동작을 제어함과 동시에, 사용자 인터페이스(170)를 통해 사용자로부터 소정의 제어 명령을 수신하여 수행하거나 소정의 정보를 사용자에게 표시한다.
상기 제어부(160)는 영상 처리부(130)가 추출한 랜드 마크의 영상 좌표로부터 이동 로봇 좌표계에서의 랜드 마크까지의 거리 값을 계산한다.
즉, 상기 제어부(160)는 서로 다른 두 위치에서 취득한 랜드 마크의 영상 좌표를 이용하여 현재 로봇 좌표계에서의 랜드 마크까지의 거리 값을 계산한다.
상기 사용자 인터페이스(170)는 이동 로봇과 사용자 간의 인터페이스를 제공하기 위한 입력부 및 표시부를 포함한다.
또한, 사용자 인터페이스(170)는 소정의 유선 또는 무선 연결을 위한 인터페이스를 포함할 수 있으며, 이에 따라 유선 또는 무선 접속에 의해 사용자의 명령을 받거나 사용자에게 소정의 정보를 제공할 수 있다.
도 2는 본 발명의 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리 추출방법을 설명하기 위한 도면이다.
이에 도시된 바와 같이, 먼저 위치 C1에서 이동 로봇(200)에 장착된 단일 카 메라로 랜드 마크(P)를 촬상하여 취득한 영상에서 랜드 마크의 영상 좌표를 추출한다.
일반적으로 상기 취득한 영상에서 랜드 마크의 특징점들을 복수 개 추출하게 되는데, 편의상 여기서는 임의의 한 개의 특징점을 예로 들어 설명한다.
여기서, 영상 좌표란 이동 로봇의 카메라가 생성한 이미지에서의 소정 위치를 원점으로 설정한 좌표계 즉, 영상 좌표계에서의 좌표를 의미한다.
상기 영상 좌표계는 기본적으로 2차원 좌표로 표현되는데, 상기 카메라의 영상 평면에 포함되며 서로 수직인 두 개의 선에 의해 이루어진다.
상기 랜드 마크가 이동 로봇의 카메라의 영상 평면으로 투영된 지점(P1)이 상기 영상 평면을 수직으로 이등분하는 선까지의 거리를 D1이라고 정의한다.
즉, 랜드 마크가 상기 영상 평면으로 투영된 지점(P1)의 영상 좌표를 (u1,v1)라 하고, 영상 평면의 중심 좌표를 (u0,v0)라 하며, 이동 카메라의 한 픽셀의 가로, 세로 길이를 각각 Sx, SY라 하였을 때, D1은 ｜(u1-u0)Sx｜를 의미한다.
이를 도 3 및 도 4를 참조하여 좀더 자세히 살펴보기로 한다.
도 3은 랜드 마크가 카메라의 영상 평면으로 투영되어 표시되는 좌표를 나타낸 도면이다.
이에 도시된 바와 같이, 이동 로봇의 카메라의 영상 평면에서의 소정 위치의 좌표를 표시하는 영상 좌표계(U, V)의 각 축이 표시되어 있으며, 영상 좌표계(U,V)에서의 영상 평면의 중심 좌표를 (u0,v0)로 표시한다.
상기 (u0,v0)는 이동 로봇 카메라의 해상도에 따라 그 좌표값이 달라지게 되는데, 예를 들어 이동 로봇의 카메라의 해상도가 320×240인 경우, (u0,v0)는 (160, 120)이 되고, 이동 로봇의 카메라의 해상도가 640×480인 경우, (u0,v0)는 (320, 240)이 된다.
그리고, 위치 C1에서 촬상한 랜드 마크의 영상 평면으로 투영된 지점(P1)의 영상 좌표를 (u1,v1)로 표시했을 때, D1은 (u1,v1)에서 영상 좌표계의 V축에 이르는 수평 거리가 된다.
즉, D1은 영상 좌표계에서 (u1-u0)에 해당하는데, 실제 물리적인 거리는 앞에서 살펴본 바와 같이 수학식 1로 나타낼 수 있다.
Figure 112006077446840-pat00001
상기 Sx는 이동 로봇 카메라의 한 픽셀의 가로 길이를 표시한 것인데, 이를 도 4에 나타내었다. 여기서, Sx는 이동 카메라의 한 픽셀의 가로 길이를 나타내고, SY는 이동 카메라의 한 픽셀의 세로 길이를 나타낸다.
상기 수학식 1을 통해 단순한 좌표값이 아닌 실제 물리적 거리를 측정할 수 있다.
다음으로, 이동 로봇의 카메라의 초점 축을 따라 이동 로봇을 일정 거리(M)만큼 이동시킨 후, 카메라를 통해 전반 영상을 취득한다.
이때, 이동 로봇의 슬립(Slip) 현상으로 카메라의 초점 축과 일치되게 전진하는 것이 어렵다.
즉, 이동 로봇이 카메라의 초점 축을 따라 전진하는 중에 바닥면의 불균일 등으로 인해 미끄러짐 현상이 나타나 초점 축과 정확히 일치되게 전진하기가 어렵게 된다.
따라서, 본 발명에서는 다음과 같은 방법으로 이동 로봇을 목표 지점까지 이동시킨다.
(1) 먼저, 이동 로봇을 일정 거리(예를 들면, 10㎝) 만큼 이동시켜 취득한 영상의 일정 부분과 그 이전에 취득한 영상의 일정 부분과의 상관(Correlation) 값을 계산한다.
예를 들면, 이동 로봇의 카메라의 해상도가 320×240인 경우, 이동 전에 취득한 영상 중에서 영상의 중앙 부분에 해당하는 5개의 열(列) 즉, 이동 전 취득한 영상의 158, 159, 160, 161, 162 번째 열의 픽셀 값과 이동 후에 취득한 영상의 중앙 부분에 해당하는 3개의 열 즉, 이동 후 취득한 영상의 159, 160, 161 번째 열의 픽셀 값 사이에 상관(Correlation) 값을 계산한다.
여기서, 이동 후 영상과 이동 전 영상의 상관 값의 계산은 다음과 같은 방식으로 이루어진다.
즉, ① 이동 전 취득한 영상의 158, 159, 160 번째 열의 픽셀 값과 이동 후 취득한 영상의 159, 160, 161 번째 열의 픽셀 값 사이에 상관 값을 계산한다.
② 이동 전 취득한 영상의 159, 160, 161 번째 열의 픽셀 값과 이동 후 취득한 영상의 159, 160, 161 번째 열의 픽셀 값 사이에 상관 값을 계산한다.
③ 이동 전 취득한 영상의 160, 161, 162 번째 열의 픽셀 값과 이동 후 취득한 영상의 159, 160, 161 번째 열의 픽셀 값 사이에 상관 값을 계산한다.
(2) 상기 계산된 상관 값을 통하여 이동 로봇의 각도를 보정한다.
예를 들어, 상관 값을 계산한 결과, 이동 전 취득한 영상의 158, 159, 160 번째 열과 이동 후 취득한 영상의 159, 160, 161 번째 열이 다른 부분보다 좀 더 일치한다면, 이동 로봇의 각도를 좌로 미소 양만큼 변경하는데, 이때 각도의 변화량은 0.1°~ 0.5°로 하는 것이 바람직하다.
즉, 이 경우에는 이동 후 취득한 영상의 159, 160, 161 번째 열이 이동 전 취득한 영상 중에서 그보다 좌측에 해당하는 열인 158, 159, 160 번째 열과 일치하는 경우이므로 이동 로봇의 각도를 좌로 미소 양만큼 변경한다.
그리고, 상기 상관 값의 계산 결과, 이동 전 취득한 영상의 160, 161, 162 번째 열과 이동 후 취득한 영상의 159, 160, 161 번째 열이 좀 더 일치한다면, 이동 로봇의 각도를 우로 0.1°~ 0.5°만큼 변경한다.
즉, 이 경우에는 이동 후 취득한 영상의 159, 160, 161 번째 열이 이동 전 취득한 영상 중에서 그보다 우측에 해당하는 열인 160, 161, 162 번째 열과 일치하는 경우이므로 이동 로봇의 각도를 우로 미소 양만큼 변경한다.
또한, 상기 상관 값의 계산 결과, 이동 전 취득한 영상의 159, 160, 161 번 째 열과 이동 후 취득한 영상의 159, 160, 161 번째 열이 좀 더 일치한다면, 이동 로봇이 정확한 위치 제어를 했다고 판단한다.
(3) 이동 로봇을 다시 일정 거리 즉, 10㎝ 만큼 이동시켜 전방 영상을 취득한 후, (1) 및 (2) 과정을 반복하여 이동 로봇의 각도를 보정하면서 목표 지점까지 전진 이동한다.
이와 같이, 이동 로봇을 일정한 단위 거리 만큼 이동시킨 후, 이동 후 취득한 영상과 그 이전에 취득한 영상을 비교하여 이동 로봇의 각도를 보정하면서 목표 지점까지 전진 이동함으로써, 이동 로봇의 슬립 현상을 극복하여 카메라의 초점 축을 따라 똑바로 이동할 수 있다.
상기 단위 거리는 앞에서 10㎝로 설정하였지만, 이동 로봇의 목표 거리가 어느 정도인지에 따라 다양하게 설정할 수 있다.
상기 단위 거리를 너무 짧게 설정하면 상관 값 등의 계산 양이 증가하여 마이크로 프로세서에 상당한 부담을 주고, 이동 로봇의 이동 시간도 많이 걸리게 되며, 단위 거리를 너무 길게 설정하면 이동 로봇의 각도를 제대로 보정 할 수 없게 되므로 상기 단위 거리는 5 ~ 30㎝로 설정하는 것이 바람직하다.
그리고, 상기 두 영상 간의 상관 값을 통한 비교는 다양한 방식으로 이루어질 수 있으며, 예를 들면 이동 전에 취득한 영상 중에서 영상의 중앙 부분에 해당하는 7개의 열(列)의 픽셀 값과 이동 후에 취득한 영상의 중앙 부분에 해당하는 5개의 열의 픽셀 값 사이에 상관(Correlation) 값을 계산함으로써 이루어질 수 있다.
이어서, 이동 로봇을 카메라의 초점 축을 따라 일정 거리(M)만큼 이동시킨 위치(C2)에서 취득한 영상에서 랜드 마크(P)를 추출한 후, 위치 C1에서 취득한 랜드 마크와 비교하여 동일한 특성을 가지는 특징점 쌍들을 구한다.
즉, 위치 C1에서 취득한 랜드 마크의 특징점과 위치 C2에서 취득한 랜드 마크의 특징점을 비교하여 서로 매칭되는 특징점 쌍들을 구한다.
다음으로, 위치 C1에서 취득한 랜드 마크의 특징점과 매칭된 위치 C2에서 취득한 랜드 마크의 특징점의 영상 평면에서의 위치를 P2라 하고, P2에서 상기 영상 평면을 수직으로 이등분하는 선까지의 거리를 D2라고 정의한다.
이를 도 5를 참조하여 좀더 자세히 살펴보기로 한다. 도 5는 위치 C2에서 취득한 랜드 마크가 카메라의 영상 평면으로 투영되어 표시되는 좌표를 나타낸 도면이다.
이에 도시된 바와 같이, 이동 로봇의 카메라의 영상 평면에서의 소정 위치의 좌표를 표시하는 영상 좌표계(U, V)의 각 축이 표시되어 있으며, 영상 좌표계(U,V)에서의 영상 평면의 중심 좌표를 (u0,v0)로 표시한다.
그리고, 위치 C2에서 촬상한 랜드 마크의 영상 평면으로 투영된 지점(P2)의 영상 좌표를 (u2,v2)로 표시했을 때, D2는 (u2,v2)에서 영상 좌표계의 V축에 이르는 수평 거리가 된다.
여기서, D2의 실제 물리적인 거리는 이동 카메라의 한 픽셀의 가로, 세로 길이를 각각 Sx, SY라 하였을 때, 다음 수학식 2로 구할 수 있다.
Figure 112006077446840-pat00002
이어서, 상기 수학식 1 및 수학식 2를 통해 구한 D1 및 D2를 이용하여 현재 위치 즉, 위치 C2에서 이동 로봇의 카메라로부터 상기 카메라의 초점 축과 상기 랜드 마크(P)를 포함하는 평면이 수직을 이루는 지점까지의 거리 값(D)을 다음 수학식 3으로 구한다.
Figure 112006077446840-pat00003
여기서, M은 위치 C1에서 위치 C2에 이르는 거리를 나타낸다.
도 6은 본 발명의 단일 카메라를 이용한 이동 로봇의 랜드 마크(Land Mark) 거리 추출방법의 실시예를 나타낸 순서도이다.
이에 도시된 바와 같이, 먼저 위치 C1에서 이동 로봇의 카메라로 랜드 마크(P)를 촬상하여 취득한 영상에서 랜드 마크의 특징점을 추출한다(단계 S 100).
다음으로, 위치 C1에서 촬상한 랜드 마크의 영상 평면으로 투영된 지점(P1) 에서, 영상 좌표계의 V축에 이르는 수평 거리(D1)를 구한다(단계 S 110).
이어서, 위치 C1에서 위치 C2까지 이동 로봇의 각도를 보정하며 이동한다(단계 S 120).
즉, 이동 로봇을 일정한 단위 거리 만큼 이동시킨 후, 이동 후 취득한 영상과 그 이전에 취득한 영상을 비교하여 이동 로봇의 각도를 보정하면서 위치 C2까지 전진 이동한다.
연이어, 위치 C2에서 이동 로봇의 카메라로 랜드 마크의 영상을 취득하고, 상기 위치 C1에서 취득한 랜드 마크의 특징점과 매칭되는 특징점을 추출한다(단계 S 130).
다음으로, 위치 C2에서 촬상한 랜드 마크의 영상 평면으로 투영된 지점(P2)에서, 영상 좌표계의 V축에 이르는 수평 거리(D2)를 구한다(단계 S 140).
이어서, 상기 단계 S 110 및 단계 S 140에서 구한 D1 및 D2를 이용하여 위치 C2에 있는 이동 로봇의 카메라로부터 상기 카메라의 초점 축과 상기 랜드 마크(P)를 포함하는 평면이 수직을 이루는 지점까지의 거리를 구한다(단계 S 150).
이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다.
그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안 되 며, 후술하는 특허청구범위 뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
이상에서 살펴본 바와 같이, 본 발명에 의하면 고가의 공간 센서(Range Sensor) 없이 단일 카메라를 이용하여 현재 로봇 좌표계에서의 랜드 마크까지의 거리를 검출할 수 있어 비용이 절감되며, 별도의 신호 처리를 위한 알고리즘을 사용하지 않으므로 메인 프로세서의 처리 부담을 감소시킬 수 있다.

Claims (10)

  1. 소정 위치에서 촬상한 랜드 마크가 이동 로봇의 카메라의 영상 평면으로 투영된 지점에서 영상 평면의 수직 이등분선에 이르는 수평 거리(D1)를 구하는 제10단계;
    상기 위치에서 목표 지점까지 상기 카메라의 초점 축을 따라 이동 로봇을 이동시킨 후, 상기 랜드 마크를 촬상하는 제20단계;
    상기 목표 지점에서 촬상한 랜드 마크가 상기 카메라의 영상 평면으로 투영된 지점에서 영상 평면의 수직 이등분선에 이르는 수평 거리(D2)를 구하는 제30단계; 및
    상기 제10단계 및 제30단계에서 구한 D1 및 D2를 이용하여 상기 목표 지점에서의 이동 로봇의 카메라로부터 상기 카메라의 초점 축과 상기 랜드 마크를 포함하는 평면이 수직을 이루는 지점까지의 거리(D)를 구하는 제40단계를 포함하여 이루어지며,
    상기 목표 지점에서 이동 로봇의 카메라로부터 상기 카메라의 초점 축과 상기 랜드 마크를 포함하는 평면이 수직을 이루는 지점까지의 거리(D)는 하기의 수학식 1로 산출하는 것을 특징으로 하는 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리 추출방법.
    수학식 1
    Figure 112007092709457-pat00013
    여기서, M은 이동 로봇이 상기 목표 지점까지 이동한 거리를 나타낸다.
  2. 제1항에 있어서,
    상기 제20단계 이후에,
    상기 제10단계에서 촬상한 랜드 마크의 영상 및 상기 제20단계에서 촬상한 랜드 마크의 영상에서 특징점을 추출한 후, 서로 매칭되는 특징점 쌍을 추출하는 단계를 더 포함하는 것을 특징으로 하는 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리 추출방법.
  3. 제1항 또는 제2항에 있어서,
    상기 D1은 하기의 수학식 2로 산출하는 것을 특징으로 하는 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리 추출방법.
    수학식 2
    Figure 112007092709457-pat00004
    여기서, (u0,v0)는 영상 평면의 중심 좌표를 나타내고, (u1,v1)은 랜드 마크가 영상 평면으로 투영된 지점의 좌표를 나타내며, Sx는 이동 로봇의 카메라의 한 픽셀의 가로 길이를 나타낸다.
  4. 제1항 또는 제2항에 있어서,
    상기 목표 지점까지 상기 카메라의 초점 축을 따라 이동 로봇을 이동시키는 단계는,
    상기 단계 10에서 취득한 영상의 중앙 부분에 해당하는 5개의 열(列)의 픽셀 값과 상기 이동 로봇을 단위 거리 만큼 이동한 후 취득한 영상의 중앙 부분에 해당하는 3개의 열의 픽셀 값 사이의 상관(Correlation) 값을 계산하는 제21단계;
    상기 단위 거리 만큼 이동한 후 취득한 영상의 중앙 부분에 해당하는 3개의 열의 픽셀 값이 상기 단계 10에서 취득한 영상의 중앙 부분에 해당하는 5개의 열 중, 좌측의 3개의 열의 픽셀 값 또는 우측의 3개의 열의 픽셀 값에의 일치 여부에 따라 이동 로봇의 각도를 보정하는 제23단계; 및
    상기 이동 로봇을 상기 단위 거리 만큼 다시 이동시킨 후 취득한 영상의 일정 부분과 상기 제21단계에서 취득한 영상의 일정 부분과의 상관 값을 계산하고, 계산된 상관 값을 통하여 이동 로봇의 각도를 보정하는 제25단계를 포함하여 이루어지는 것을 특징으로 하는 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리 추출방법.
  5. 제4항에 있어서,
    상기 단위 거리는 5 ~ 30㎝인 것을 특징으로 하는 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리 추출방법.
  6. 삭제
  7. 제4항에 있어서,
    상기 제23단계는,
    상기 단위 거리 만큼 이동한 후 취득한 영상의 중앙 부분에 해당하는 3개의 열의 픽셀 값이 상기 단계 10에서 취득한 영상의 중앙 부분에 해당하는 5개의 열 중 좌측의 3개의 열의 픽셀 값에 더욱 일치하는 경우, 이동 로봇의 각도를 좌로 0.1°~ 0.5°보정하는 것을 특징으로 하는 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리 추출방법.
  8. 제4항에 있어서,
    상기 제23단계는,
    상기 단위 거리 만큼 이동한 후 취득한 영상의 중앙 부분에 해당하는 3개의 열의 픽셀 값이 상기 단계 10에서 취득한 영상의 중앙 부분에 해당하는 5개의 열 중 우측의 3개의 열의 픽셀 값에 더욱 일치하는 경우, 이동 로봇의 각도를 우로 0.1°~ 0.5°보정하는 것을 특징으로 하는 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리 추출방법.
  9. 제1항 또는 제2항에 있어서,
    상기 D2는 하기의 수학식 3으로 산출하는 것을 특징으로 하는 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리 추출방법.
    수학식 3
    Figure 112007092709457-pat00005
    여기서, (u0,v0)는 영상 평면의 중심 좌표를 나타내고, (u2,v2)은 랜드 마크가 영상 평면으로 투영된 지점의 좌표를 나타내며, Sx는 이동 로봇의 카메라의 한 픽셀의 가로 길이를 나타낸다.
  10. 삭제
KR1020060104191A 2006-10-25 2006-10-25 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리추출방법 KR100792852B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060104191A KR100792852B1 (ko) 2006-10-25 2006-10-25 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리추출방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060104191A KR100792852B1 (ko) 2006-10-25 2006-10-25 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리추출방법

Publications (1)

Publication Number Publication Date
KR100792852B1 true KR100792852B1 (ko) 2008-01-14

Family

ID=39217163

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060104191A KR100792852B1 (ko) 2006-10-25 2006-10-25 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리추출방법

Country Status (1)

Country Link
KR (1) KR100792852B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010114235A1 (en) * 2009-03-31 2010-10-07 Lg Electronics Inc. Mobile robot with single camera and method for recognizing 3d surroundings of the same
KR101910608B1 (ko) * 2017-11-13 2018-10-23 노성남 로봇 용접기용 레이저 빔의 위치와 각도 측정방법
KR101925857B1 (ko) * 2017-11-13 2018-12-06 노성남 로봇 용접기용 레이저 빔의 3차원 포인트 좌표 측정방법
CN113763477A (zh) * 2020-06-03 2021-12-07 浙江宇视科技有限公司 一种相机点位标定方法、装置、设备、介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990021336A (ko) * 1997-08-30 1999-03-25 윤종용 웨이퍼 얼라인장치 및 그 방법
KR20010023561A (ko) * 1997-09-02 2001-03-26 로버트 베커 영상처리 방법 및 장치
KR20050005115A (ko) * 2003-07-03 2005-01-13 주식회사 우리기술 수평, 수직 카메라 영상과 포토 디텍터 센서, ir 비컨을 이용한 안내용 자율이동 로봇의 안내위치 확인방법
KR20060085751A (ko) * 2005-01-25 2006-07-28 삼성전자주식회사 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성장치 및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR19990021336A (ko) * 1997-08-30 1999-03-25 윤종용 웨이퍼 얼라인장치 및 그 방법
KR20010023561A (ko) * 1997-09-02 2001-03-26 로버트 베커 영상처리 방법 및 장치
KR20050005115A (ko) * 2003-07-03 2005-01-13 주식회사 우리기술 수평, 수직 카메라 영상과 포토 디텍터 센서, ir 비컨을 이용한 안내용 자율이동 로봇의 안내위치 확인방법
KR20060085751A (ko) * 2005-01-25 2006-07-28 삼성전자주식회사 상향 영상을 이용한 이동체의 위치 추정 및 지도 생성장치 및 방법과 그 장치를 제어하는 컴퓨터 프로그램을저장하는 컴퓨터로 읽을 수 있는 기록 매체

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010114235A1 (en) * 2009-03-31 2010-10-07 Lg Electronics Inc. Mobile robot with single camera and method for recognizing 3d surroundings of the same
AU2010232114B2 (en) * 2009-03-31 2013-02-07 Lg Electronics Inc. Mobile robot with single camera and method for recognizing 3D surroundings of the same
US9060658B2 (en) 2009-03-31 2015-06-23 Lg Electronics Inc. Mobile robot with single camera and method for recognizing 3D surroundings of the same
KR101910608B1 (ko) * 2017-11-13 2018-10-23 노성남 로봇 용접기용 레이저 빔의 위치와 각도 측정방법
KR101925857B1 (ko) * 2017-11-13 2018-12-06 노성남 로봇 용접기용 레이저 빔의 3차원 포인트 좌표 측정방법
CN113763477A (zh) * 2020-06-03 2021-12-07 浙江宇视科技有限公司 一种相机点位标定方法、装置、设备、介质
CN113763477B (zh) * 2020-06-03 2024-04-05 浙江宇视科技有限公司 一种相机点位标定方法、装置、设备、介质

Similar Documents

Publication Publication Date Title
CN108827315B (zh) 基于流形预积分的视觉惯性里程计位姿估计方法及装置
CN109394095B (zh) 一种机器人运动地毯偏移的控制方法、芯片及清洁机器人
US7379564B2 (en) Movable body circumstance monitoring apparatus
EP3280976B1 (en) Object position measurement with automotive camera using vehicle motion data
EP2495079B1 (en) Slip detection apparatus and method for a mobile robot
JP5588812B2 (ja) 画像処理装置及びそれを用いた撮像装置
US8265425B2 (en) Rectangular table detection using hybrid RGB and depth camera sensors
KR101665386B1 (ko) 로봇 위치 추정 장치 및 방법
KR20110097140A (ko) 이동 로봇의 위치 추정 장치 및 방법
Nair et al. Moving obstacle detection from a navigating robot
KR101705601B1 (ko) 3차원 깊이정보기반 자율주행 로봇의 위치추정 장치 및 그 방법
CN109766757B (zh) 一种融合车辆和视觉信息的泊车位高精度定位方法及系统
KR20150144731A (ko) 다이렉트 트래킹을 이용하여 이동 로봇의 위치를 인식하기 위한 장치 및 그 방법
KR20150088636A (ko) 위치 추정 장치 및 방법
JP6708730B2 (ja) 移動体
CN106461403A (zh) 物体检测装置及物体检测方法
WO2013049597A1 (en) Method and system for three dimensional mapping of an environment
KR20170061355A (ko) 이동 로봇 및 그 제어 방법
JP2509357B2 (ja) ワ―ク位置検知装置
KR100792852B1 (ko) 단일 카메라를 이용한 이동 로봇의 랜드 마크 거리추출방법
KR100784125B1 (ko) 단일 카메라를 이용한 이동 로봇의 랜드 마크의 좌표 추출방법
KR100564236B1 (ko) 이동 로봇의 자기위치인식 장치 및 방법
KR101319526B1 (ko) 이동 로봇을 이용하여 목표물의 위치 정보를 제공하기 위한 방법
Sorensen et al. On-line optical flow feedback for mobile robot localization/navigation
KR100773271B1 (ko) 단일 카메라를 이용한 이동 로봇의 위치 측정 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130102

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131231

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20151224

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20171207

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190102

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20200102

Year of fee payment: 13