KR100697636B1

KR100697636B1 - 인공표식 기반의 위치산출 시스템에서의 오류상황 감지방법

Info

Publication number: KR100697636B1
Application number: KR1020060028233A
Authority: KR
Inventors: 이재영; 채희성; 유원필
Original assignee: 한국전자통신연구원
Priority date: 2006-03-29
Filing date: 2006-03-29
Publication date: 2007-03-20

Abstract

본 발명은 인공표식 기반의 위치산출 시스템에서의 오류상황 감지방법에 관한 것으로서, 실내조명이나 태양광 등으로 인하여 잘못된 인공표식을 검출하였을 경우에 이를 자동으로 감지하여 위치산출 시스템이 잘못된 위치정보를 제공하는 것을 방지하기 위해, 영상에서 검출된 인공표식들 사이의 물리적 거리와 영상에서의 거리의 비가 항상 일정함을 이용하여 인공표식이 아닌 것을 인공표식으로 검출하거나 검출된 인공표식을 잘못 식별하는 경우를 자동으로 감지하여 잘못된 위치 정보를 산출하는 것을 방지함으로써, 위치산출 시스템의 신뢰도를 높일 수 있다.

인공표식, 위치산출, 오류감지

Description

인공표식 기반의 위치산출 시스템에서의 오류상황 감지방법{METHOD FOR DETECTING ERROR SITUATION OF CALCULATING LOCATION BASED ON ARTIFICIAL LANDMARK}

도 1은 본 발명에서 이용되는 인공표식 기반의 위치산출 시스템을 개략적으로 나타낸 도면,

도 2는 본 발명의 일실시예에 의한 영상좌표를 연산하는 개념을 나타낸 도면,

도 3은 본 발명의 일실시예에 의한 삼각형 닮은비를 이용하여 증명하는 개념을 나타낸 도면이다.

<도면의 주요 부분에 대한 부호의 설명>

1 : 인공표식

2 : 로봇

3 : 카메라

본 발명은 인공표식 기반의 위치산출 시스템에서의 오류상황 감지방법에 관한 것으로, 더욱 상세하게는 인공표식 기반의 위치산출 시스템에서 잘못된 인공표식의 검출 및 식별을 감지하는 인공표식 기반의 위치산출 시스템에서의 오류상황 감지방법에 관한 것이다.

이동로봇이 원하는 목적지에 대한 경로 계획을 세우고 자유롭게 주행하기 위해서는 현재 자기의 위치를 파악하는 것이 전제가 되어야 한다.

로봇의 자기 위치 파악을 위한 수단으로 주로 인공표식이 사용된다. 이 인공표식은 배경과 구분되는 특정 인공표식으로서, 실내공간 내에 부착한 상태에서 로봇의 카메라로 인공표식에 대해 촬영을 수행하여 획득된 영상신호를 처리하여 인공표식을 인식함으로써 로봇의 현재 위치를 파악하는 것이다. 로봇의 위치는 인식된 인공표식의 영상좌표와 해당 인공표식에 대해 미리 저장된 실내공간 상의 좌표 정보를 참조하여 계산되는데, 구체적인 계산 과정은 관련 학계 등에 여러 가지 방법들이 발표된 바 있다.

인공표식 기반으로 위치를 산출하기 위해서는 기본적으로 영상에서 인공표식을 정확하게 검출하고 검출된 인공표식이 설치된 인공표식들 중에서 어떤 것인지를 식별해야 한다. 인공표식 검출을 위한 영상처리 과정을 단순화하기 위해 적외선 LED와 같이 특정 파장대의 빛을 발산하는 광원을 인공표식으로 사용하고 카메라에는 해당 파장대만을 투과시키는 광학필터를 장착하는 방법이 있다. 이러한 방법을 사용하면 영상에서 인공표식으로 사용된 광원만이 밝게 나타나기 때문에 단순한 이진화만으로도 쉽게 인공표식을 검출할 수 있다. 그러나, 실내환경에 존재하는 일반 조명의 경우 인공표식으로 사용된 광원과 동일한 파장대의 빛을 발산할 수 있으며, 특히 태양광에는 폭넓은 파장대의 빛이 포함되기 때문에 광학 필터를 장착하여도 이러한 빛들이 투과되어 영상에 나타날 수 있다. 이러한 경우 영상처리만으로는 인공표식과 조명등에 의한 밝기 패턴을 구분하기 힘든 문제를 갖는다. 또한, 사람이나 장애물 등에 의해 특정 인공표식이 일시적으로 가려져서 영상에 나타나지 않는 경우 근처에 있는 조명이나 다른 인공표식을 동일한 인공표식으로 잘못 검출 및 식별할 수 있다. 이러한 상황이 발생했을 때 이와 같은 에러를 감지하지 못한다면 잘못된 인공표식 검출 및 식별을 바탕으로 계산된 잘못된 위치정보를 계속 사용하게 되어 로봇이 엉뚱한 곳으로 이동하는 등의 문제가 발생한다.

이러한 문제점은 광원을 인공표식으로 사용하지 않고 원, 사각형 등의 기하학적인 특정 패턴을 인공표식으로 사용하고 일반적인 영상처리 기법을 사용하여 인공표식을 검출하는 경우에도 동일하게 발생할 수 있다.

따라서, 본 발명은 상기한 종래 기술의 문제점을 해결하기 위해 이루어진 것으로서, 본 발명의 목적은 인공표식 기반의 위치산출 시스템에서 위치 계산을 위해 검출 및 식별된 인공표식들의 물리적 거리와 영상 거리와의 비가 일정하다는 원리를 이용하여 잘못된 인공표식 검출 및 식별을 감지함으로써 위치산출 시스템이 잘못된 위치 정보를 제공하는 것을 방지하는 인공표식 기반의 위치산출 시스템에서의 오류상황 감지방법을 제공하는데 있다.

상기와 같은 목적을 달성하기 위한 본 발명의 인공표식 기반의 위치산출 시스템에서의 오류상황 감지방법은, 초기화 과정에서 검출된 인공표식 쌍의 영상좌표와 미리 저장된 공간좌표를 참조하여 인공표식간의 물리적 거리와 영상 거리와의 거리비(sinit)를 계산하여 저장하는 단계; 상기 저장된 거리비(s_init)와 초기화 이후의 위치산출 과정에서 검출된 인공표식의 영상좌표와 공간좌표(X, Y, Z)로부터 계산된 거리비(t)를 비교하는 단계; 및 상기 거리비(t)가 미리 설정된 범위를 벗어날 경우에 잘못된 인공표식으로 판단하는 단계를 포함하여 이루어진 것을 특징으로 한다.

이하, 본 발명의 인공표식 기반의 위치산출 시스템에서의 오류상황 감지방법에 대하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명에서 이용되는 인공표식 기반의 위치산출 시스템을 개략적으로 나타낸 도면이다.

도 1에 도시된 바와 같이, 인공표식 기반의 위치산출 시스템은 실내공간의 천장에 부착된 인공표식들과 로봇에 장착된 카메라로 구성된다. 각 인공표식은 고유의 식별 ID를 가지고 있어서 다른 인공표식들과 구분되며, 카메라는 로봇에 탑재하되 천장 쪽을 바라보면서 바닥면과 수직이 되도록 설치된다.

로봇의 위치산출은 카메라로 촬영된 영상에서 검출된 인공표식의 영상좌표와 인공표식에 대하여 미리 저장된 공간좌표를 참조하여 계산된다. 구체적인 위치산출 과정은 본 출원인에 의해 2005년 10월 31일자로 특허출원된 “인공표식 기반의 실시간 위치산출 시스템 및 방법”(출원번호 : 10-2005-103285)을 이용한다.

로봇의 위치산출을 위해서는 최소 2개 이상의 인공표식이 검출되어야 한다. 본 발명의 인공표식검증은 검출된 인공표식들에 대해 쌍 단위로 적용된다. 예를 들어 위치산출에 3개의 인공표식이 사용되는 위치산출 시스템에서 A, B, C의 인공표식이 검출되었다면, AB, BC, CA의 총 3개의 인공표식 쌍에 대해 각각 인공표식 검증 과정이 적용될 수 있다.

이하, 위치산출을 위해 검출된 인공표식 쌍에 대한 본 발명의 인공표식검증 과정을 상세히 설명한다.

본 발명의 인공표식검증 과정은 크게 인공표식 기반의 위치산출 시스템에서 초기 위치를 파악하는 과정에서 검출된 인공표식 쌍의 공간좌표와 영상좌표를 이용하여 물리적 거리와 영상 거리와의 비를 산출하여 저장하는 단계, 이후의 위치산출 과정에서 검출된 인공표식들의 공간좌표와 영상좌표를 이용하여 거리비를 계산하고 초기화 과정에서 미리 저장된 거리비와 비교하여 잘못된 인공표식 검출 여부를 판단하는 단계로 이루어진다.

물리적 거리와 영상 거리와의 비 산출 및 저장(단계1)

인공표식 기반의 위치산출 시스템에서 초기 위치산출을 위해 검출된 인공표식 쌍의 영상좌표를 각각 (x1, y1), (x2, y2)라 하고 해당 인공표식에 대해 미리 저장된 공간좌표를 각각 (X1, Y1, Z1), (X2, Y2, Z2)라 하자. 공간좌표에서 Z좌표는 각 인공표식에서 카메라까지의 수직거리(천장 높이에서 카메라 높이를 뺀 것)를 나타낸다.

먼저 검출된 인공표식의 영상좌표 (x1, y1), (x2, y2)로부터 카메라 렌즈계의 왜곡을 보정한 영상좌표 (u1, v1), (u2, v2)를 다음 수식을 이용하여 계산한다(참조: Image-based lens geometric distortion correction using minimization of average bicoherence index (Pattern Recognition, 2004)). 아래 수식에서는 2개의 인공표식을 구분하기 위한 첨자 인덱스를 붙이지 않고 검출된 영상좌표는 (x, y), 렌즈 왜곡이 보정된 좌표는 (u, v)로 표기한다.

위 수식에서, f_x, f_y는 초점거리, c_x, c_y는 렌즈 중심의 영상좌표를 나타내는 카메라의 내부 파라미터이고, k₁, k₂, k₃는 렌즈 왜곡 계수(kappa)로 카메라 캘리브 레이션(calibration) 과정을 통해 얻어지는 상수들이다.

다음으로는 천장 높이 변화에 따른 영향을 제거하기 위해서, 왜곡 보정된 영상좌표 (u1, v1), (u2, v2)로부터 인공표식과 카메라의 수직 거리가 H라고 했을 때의 영상좌표 (u1’, v1’), (u2’, v2’)을 다음과 같이 계산한다.

상기 높이 정규화는 인공표식 기반의 위치산출 시스템이 구축된 실내 공간에서 구역에 따라 천장의 높이가 달라지는 경우에 이를 보상하기 위한 것이다. 상수 H의 값은 중요하지 않으며 단지 어떤 기준 높이로 인공표식들의 높이를 정규화시키기 위한 것으로서 임의의 양의 상수값을 사용하면 된다.

위 수식의 도출 과정을 간단히 설명하면 다음과 같다. 실내공간의 천장에 부착된 인공표식의 영상좌표는 천장의 높이가 증가할수록 영상원점에서 가까워지고, 높이가 감소할수록 영상원점에서 멀어진다. 따라서 검출된 인공표식의 영상좌표와 저장된 공간좌표의 높이정보를 이용하면 특정 높이(H)를 기준으로 했을 때의 영상좌표를 계산할 수 있다. 도 2는 본 발명의 일실시예에 의한 영상좌표를 연산하는 개념을 나타낸 도면이다. 아래 도 2에서 인공표식과 카메라와의 물리적 수평거리를 D, 영상에서 영상중심과의 거리를 d, 카메라와의 수직 거리를 Z, 인공표식의 수직거리가 H로 변했을 때의 영상에서의 영상 중심과의 거리를 d’라 하자. 그러면 삼 각형의 닮은비로부터 다음 수식이 성립한다.

D:d = Z:f => dZ = Df

D:d’ = H:f => d’H = Df

따라서, dZ = d’H이므로, d’은 D나 f와는 무관하게 d’ = (Z/H)d로 주어진다.

마지막으로, 왜곡보정 및 H로 높이 정규화된 영상좌표 (u1’, v1’), (u2’, v2’)와 대응되는 공간좌표 (X1, Y1, Z1), (X2, Y2, Z2)로부터 물리적 거리와 영상 거리와의 비 s_init는 다음과 같이 계산되고 메모리에 저장된다.

잘못된 인공표식 검출 여부를 판단(단계2)

상기 단계1에서의 초기위치 인식 과정에서의 거리비가 계산되어 저장된 이후 위치산출을 위해 검출되는 인공표식들에 대해 인공표식검증 과정을 거친다. 먼저, 검출된 인공표식을 검증하기 위해 본 발명에서 사용되는 원리를 설명한다.

카메라가 이동로봇에 탑재된 경우처럼 카메라는 바닥면에서 일정 높이를 유지하면서 수평적으로만 이동한다고 했을 때, 실내공간의 천정에 설치된 임의의 두 인공표식의 실제 물리적 거리와 왜곡보정 및 높이 정규화된 영상좌표의 거리의 비 는 항상 일정하다. 이러한 성질은 도 3에서 삼각형의 닮은비를 이용하여 쉽게 증명된다. 도 3은 본 발명의 일실시예에 의한 삼각형 닮은비를 이용하여 증명하는 개념을 나타낸 도면이다.

즉, 도 3에서 왼쪽 삼각형에서는 D1:d1 = Z:f가 성립하고, 오른쪽 삼각형에서는 D2:d2 = Z:f가 성립한다. 따라서, D1:d1 = Z:f = D2:d2가 성립하므로 두 인공표식간의 실제 거리(D1, D2)와 영상좌표 상의 거리(d1, d2)의 비는 카메라의 위치와 두 인공표식의 거리에 관계없이 항상 일정함을 알 수 있다.

따라서, 상기 설명된 원리에 의하여 위치산출을 위해 검출된 인공표식 쌍들의 물리적 거리와 영상좌표 상의 거리의 비는 항상 일정하므로, 단계1에서 계산된 거리비 s_init과 동일해야 한다. 이러한 원리를 이용한 인공표식검증 과정은 다음과 같다.

위치산출을 위해 검출된 인공표식 쌍의 영상좌표에 대하여 단계1에서와 마찬가지로 왜곡 보정 및 높이 정규화(H로) 과정을 적용하여 얻어진 영상좌표와 미리 저장된 공간좌표를 참조하여 물리적 거리와 영상 거리의 비 s를 계산한다. s와 단계1에서 계산하여 저장된 s_init을 비교하여 두 값의 차이가 특정 임계치 이상일 경우에는 검출된 인공표식이 잘못된 것으로 판단한다.

이와 같이, 본 발명의 인공표식 검증 과정을 적용하면 인공표식 검증 결과 잘못된 것으로 판단된 경우에는, 다시 초기화 과정을 수행한다든가 하는 오류 상황에 대한 처리 과정을 수행할 수 있을 것이다.

이상에서 몇 가지 실시예를 들어 본 발명을 더욱 상세하게 설명하였으나, 본 발명은 반드시 이러한 실시예로 국한되는 것이 아니고 본 발명의 기술사상을 벗어나지 않는 범위 내에서 다양하게 변형실시될 수 있다.

상술한 바와 같이, 본 발명에 따르면, 인공표식을 기반으로 한 위치산출 시스템은 잘못된 인공표식 검출로 인한 잘못된 위치 정보를 제공할 가능성을 현격하게 감소시킬 수 있기 때문에 시스템의 안정성을 높일 수 있다.

Claims

(a) 초기화 과정에서 검출된 인공표식 쌍의 영상좌표와 미리 저장된 공간좌표를 참조하여 인공표식간의 물리적 거리와 영상 거리와의 거리비(s_init)를 계산하여 저장하는 단계;

(b) 상기 저장된 거리비(s_init)와 초기화 이후의 위치산출 과정에서 검출된 인공표식의 영상좌표(x, y)와 공간좌표(X, Y, Z)로부터 계산된 거리비(t)를 비교하는 단계; 및

(c) 상기 거리비(t)가 미리 설정된 범위를 벗어날 경우에 잘못된 인공표식으로 판단하는 단계

를 포함하는 것을 특징으로 하는 인공표식 기반의 위치산출 시스템에서의 오류상황 감지방법.
제1항에 있어서, 상기 (c) 단계 이후에 인공표식을 재인식하는 초기화 과정을 수행하는 것을 특징으로 하는 인공표식 기반의 위치산출 시스템에서의 오류상황 감지방법.
제1항에 있어서, 상기 (a) 단계는,

상기 인공표식 쌍에 대해 촬상이 이루어지는 단계;

상기 촬상된 특정 인공표식 쌍의 영상좌표를 산출하는 단계;

상기 인공표식 쌍의 영상좌표에 대해 왜곡 보정 및 높이 정규화를 수행하는 단계;

상기 인공표식간의 물리적 거리(D)와 영상 거리(d)와의 거리비(s_init)를 계산하는 단계; 및

상기 거리비(s_init)를 저장하는 단계

로 이루어진 것을 특징으로 하는 인공표식 기반의 위치산출 시스템에서의 오류상황 감지방법.

(여기서, (u1’, v1’), (u2’, v2’)는 왜곡 보정된 영상좌표 (u1, v1), (u2, v2)로부터 인공표식과 카메라의 수직 거리가 H라고 했을 때의 영상좌표, Z는 천정 높이를 각각 의미함.)