KR20150109633A

KR20150109633A - 이동체의 위치 인식 장치 및 방법

Info

Publication number: KR20150109633A
Application number: KR1020140032606A
Authority: KR
Inventors: 이재영; 노명찬
Original assignee: 한국전자통신연구원
Priority date: 2014-03-20
Filing date: 2014-03-20
Publication date: 2015-10-02
Also published as: KR101830249B1; US20150269734A1

Abstract

실외 환경에서 식별이 용이하며 거부감을 최소화한 인공표식을 이용하여 이동체의 위치를 인식하도록 하는 이동체의 위치 인식 장치 및 방법을 제시한다. 제시된 장치는 제 1 타입의 마크와 제 2 타입의 마크중에서 하나 이상으로 구성된 인공표식에 대한 영상을 획득하는 영상 획득부, 영상 획득부에서 획득한 영상을 영상처리하여 영상내에서 인공표식을 검출하는 인공표식 검출부, 인공표식 검출부에서 검출된 인공표식의 영상내 위치정보를 근거로 이동체의 위치 및 방향을 산출하는 위치 산출부, 및 위치 산출부에 의해 산출된 이동체의 위치 및 방향이 유효한 값인지를 검증하는 위치 검증부를 포함한다.

Description

이동체의 위치 인식 장치 및 방법{Position recognition apparatus and method of mobile object}

본 발명은 이동체의 위치 인식 장치 및 방법에 관한 것으로, 보다 상세하게는 무인자동차, 이동 로봇과 같은 이동체의 자기 위치를 인공표식을 이용하여 인식하도록 하는 장치 및 방법에 관한 것이다.

무인자동차, 실내외 이동로봇 등의 이동체가 자율주행을 하기 위해서는 이동체 자신의 위치를 정확히 파악하는 것이 가장 중요하다.

이동체의 위치를 파악하는 방법으로는 GPS와 같은 위치센서를 이용하는 방법, 카메라 영상을 이용하여 주변 환경을 인식하는 방법 등이 있으나, 각각 단점을 가지고 있다.

일반 GPS 센서의 경우 위치정확도가 매우 낮으며(위치오차가 10m 내외) 정확도가 높은 GPS 센서는 매우 고가이다. 그러나, 고가 GPS 제품이라 할지라도 주변에 높은 건물이 많은 경우(GPS 음영지역)에는 위치 정확도가 매우 떨어진다. 또한, GPS는 실외에서만 적용 가능한 문제점이 있다.

한편, 카메라 영상을 이용한 위치인식 방법은 미리 기억된(즉, 위치를 알고 있는) 영상 정보와 입력 영상을 매칭하여 자신의 위치를 파악하는 방법이다. 그러나, 일반적인 영상 인식은 영상의 특성상 날씨, 시간대, 조명 등에 따라 영상 변화가 심하기 때문에 인식 성공률이 낮고 영상처리에 시간이 많이 걸리는 문제점을 갖는다.

따라서, 실제 응용에 있어서는 식별이 용이하도록 제작된 인공표식을 바닥, 천장, 벽 등에 부착하고 이를 인식하는 방법이 주로 사용되어 왔다.

이와 같이 인공표식을 이용한 위치인식 방법에 관련되는 선행기술로는, 대한민국공개특허 제10-2007-0066192호(실내 이동 로봇의 위치 인식 방법 및 장치), 대한민국공개특허 제10-2011-0066714호(이동로봇의 위치인식 장치 및 방법)가 있다.

대한민국공개특허 제10-2007-0066192호의 발명은 도 1과 같이 사각형 패치(5) 내부에 원형의 마크들(1, 2)을 배치한 형태의 표식을 제안하고 있다.

대한민국공개특허 제10-2011-0066714호의 발명은 도 2와 같이 사각형의 패치(7) 내부에 격자 패턴을 이용하여 표식 간의 ID를 식별하는 방식을 제안하고 있다.

그러나, 이러한 종래의 인공표식 방법들은 주로 실내(indoor) 환경에서의 위치인식에 초점을 맞추어 개발된 것으로서, 무인 자동차 응용 등과 같은 실외(outdoor) 환경에서는 적용이 힘든 문제점을 갖는다. 그 이유는 다음과 같다.

첫째, 미관상 문제로서, 실외 환경의 경우 도로 등 바닥에 표식을 부착하게 되는데 대한민국공개특허 제10-2007-0066192호 및 대한민국공개특허 제10-2011-0066714호에 제시된 인공표식들은 도로 바닥 등에서 일반적으로 볼 수 있는 형태가 아니기 때문에 눈에 너무 띄고 주변 환경과 잘 조화되지 못하는 문제점이 있다. 또한, 인공표식을 사용하였음이 너무 드러나기 때문에 무인 자율주행 기술 등과 같은 첨단 기술을 전시해야 하는 경우에는 적용하기 힘든 측면이 있다.

둘째, 실외 환경에서는 복잡한 패턴의 인공표식보다는 단순한 패턴의 인공표식이 보다 적합하다. 실내 환경에서는 인공표식을 천장 또는 벽면에 부착할 수 있으므로 카메라가 인공표식을 수직으로 바라보도록 배치할 수 있다. 그러나, 실외환경에서는 바닥에 부착된 인공표식을 카메라가 비스듬하게 보는 형태이기 때문에, 종래의 인공표식과 같이 복잡한 패턴이 포함된 경우 원거리에서는 식별이 힘든 문제점을 갖는다. 특히, 실외 응용의 특성상 비교적 원거리에서 표식 인식이 필요하므로 단순한 형태의 인공표식이 보다 효과적이다.

본 발명은 상기한 종래의 문제점을 해결하기 위해 제안된 것으로, 실외 환경에서 식별이 용이하며 거부감을 최소화한 인공표식을 이용하여 이동체의 위치를 인식하도록 하는 이동체의 위치 인식 장치 및 방법을 제공하는데 그 목적이 있다.

상기와 같은 목적을 달성하기 위하여 본 발명의 바람직한 실시양태에 따른 이동체의 위치 인식 장치는, 제 1 타입의 마크와 제 2 타입의 마크중에서 하나 이상으로 구성된 인공표식에 대한 영상을 획득하는 영상 획득부; 상기 영상 획득부에서 획득한 영상을 영상처리하여 영상내에서 상기 인공표식을 검출하는 인공표식 검출부; 상기 인공표식 검출부에서 검출된 상기 인공표식의 영상내 위치정보를 근거로 상기 이동체의 위치 및 방향을 산출하는 위치 산출부; 및 상기 위치 산출부에 의해 산출된 상기 이동체의 위치 및 방향이 유효한 값인지를 검증하는 위치 검증부;를 포함한다.

이때, 상기 인공표식 검출부는 상기 영상 획득부로부터의 입력 영상에 대해 이진화를 수행하고, 상기 이진화된 영상에 대해 연결성분 분석을 하여 연결된 성분들의 경계선을 추출하고, 상기 추출된 연결성분들의 경계선들을 다각형으로 근사하고, 상기 근사된 다각형을 분석하여 상기 추출된 연결성분들이 상기 인공표식인지를 판단할 수 있다.

이때, 상기 인공표식 검출부는 상기 근사된 다각형의 꼭지점의 개수 및 상기 근사된 다각형의 형태를 근거로 상기 근사된 다각형을 분석하여 상기 추출된 연결성분들이 상기 인공표식인지를 판단할 수 있다.

이때, 상기 위치 산출부는 상기 인공표식 검출부에 의해 검출된 인공표식의 영상내 위치정보로부터 상기 인공표식과 상기 이동체와의 기하학적 관계정보를 추출하고, 상기 추출된 기하학적 관계정보를 근거로 상기 이동체의 위치 및 방향을 산출할 수 있다.

이때, 상기 위치 검증부는 상기 위치 산출부에 의해 산출된 상기 이동체의 위치 및 방향이 유효하지 않은 값으로 판명될 경우에는 상기 산출된 위치 및 방향의 값을 무시해 버릴 수 있다.

이때, 상기 인공표식은 도로의 바닥면에 설치될 수 있다.

이때, 상기 제 1 타입의 마크는 한 쌍의 바 타입의 마크일 수 있다.

이때, 상기 한 쌍의 바 타입의 마크는 직선 주행로의 바닥면에 설치될 수 있다.

이때, 상기 제 2 타입의 마크는 디긋자 형태의 마크일 수 있다.

이때, 상기 디긋자 형태의 마크는 출발지, 종착지, 주요 코너의 도로 바닥면에 설치될 수 있다.

한편, 본 발명의 바람직한 실시양태에 따른 이동체의 위치 인식 방법은, 영상 획득부가, 제 1 타입의 마크와 제 2 타입의 마크중에서 하나 이상으로 구성된 인공표식에 대한 영상을 획득하는 단계; 인공표식 검출부가, 상기 영상을 획득하는 단계에서 획득한 영상을 영상처리하여 영상내에서 상기 인공표식을 검출하는 단계; 위치 산출부가, 상기 인공표식을 검출하는 단계에서 검출된 상기 인공표식의 영상내 위치정보를 근거로 상기 이동체의 위치 및 방향을 산출하는 단계; 및 위치 검증부가, 상기 산출하는 단계에 의해 산출된 상기 이동체의 위치 및 방향이 유효한 값인지를 검증하는 단계;를 포함한다.

이러한 구성의 본 발명에 따르면, 간단한 표식 부착만으로 실내 및 실외에서 이동체의 위치 인식이 가능해지므로 이를 이용한 다양한 무인자동차, 공장자동화 시스템, 무인 셔틀로봇, 자율주행 서비스 로봇 등의 응용이 가능해진다.

또한, 본 발명에서의 인공표식은 도로환경에 있는 기존 노면표지(정지선, 화살표, 차선 등)들과 유사한 형태를 가지기 때문에 눈에 잘 띄지 않고 거부감이 적어서 보다 폭넓은 활용이 기대된다.

또한, 본 발명에서의 인공표식은 구조가 단순하여 식별성이 뛰어나고 검출이 용이하기 때문에 원거리에서도 검출 가능하며 보다 안정적인 위치 인식이 가능해진다.

또한, 본 발명에 따르면 종래의 인공표식들이 그 실용성에도 불구하고 디자인적인 측면에서 활용이 꺼려지던 문제를 해결하기 때문에 실제 응용에의 적용이 보다 용이해지는 장점을 갖는다.

도 1은 종래의 인공표식의 일 예를 나타낸 도면이다.
도 2는 종래의 인공표식의 다른 예를 나타낸 도면이다.
도 3은 본 발명의 실시예에 채용되는 인공표식의 일 예를 나타낸 도면이다.
도 4는 본 발명의 실시예에 채용되는 인공표식의 다른 예를 나타낸 도면이다.
도 5는 본 발명의 실시예에 채용되는 인공표식을 도로 바닥면에 부착시킨 예를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 이동체의 위치 인식 장치의 구성도이다.
도 7은 본 발명의 실시예에 따른 이동체의 위치 인식 방법을 설명하는 플로우차트이다.
도 8 내지 도 11은 도 7에 도시된 인공 표식 검출 단계 설명에 적용되는 도면이다.
도 12 및 도 13은 도 7에 도시된 S18 및 S20의 설명에 적용되는 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 상세하게 설명하고자 한다.

그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.

도 3은 본 발명의 실시예에 채용되는 인공표식의 일 예를 나타낸 도면이다.

도 3에서, 인공표식(10)은 한 쌍의 바(10a, 10b) 타입의 마크로 구성된다. 바(10a)와 바(10b)는 서로 이격되게 위치하되 평행하게 위치하며, 상호 동일한 길이 및 두께(예컨대, 15cm 정도)로 형성될 수 있다.

도 4는 본 발명의 실시예에 채용되는 인공표식의 다른 예를 나타낸 도면이다.

도 4에서, 인공표식(15)은 세 개의 바(15a, 15b, 15c)가 연결된 타입의 마크로 구성된다. 즉, 바(15a)와 바(15b)는 바(15c)에 의해 서로 연결되어 디긋자(ㄷ) 형태를 취한다. 다시 말해서, 인공표식(15)은 디긋자(ㄷ) 형태의 마크로 구성된다. 여기서, 바(15a)와 바(15b) 및 바(15c)는 상호 동일한 두께(예컨대, 15cm 정도)로 형성될 수 있다.

도 5는 본 발명의 실시예에 채용되는 인공표식을 도로 바닥면에 부착시킨 예를 나타낸 도면이다. 상술한 인공표식(10)(15)은 도로의 바닥면에 설치(부착)될 수 있는데, 도 5에서는 인공표식(10)을 예로 들어 도로의 바닥면에 설치된 형태를 도시하였다.

본 발명의 실시예에서 채용되는 인공표식은 도 3의 인공표식(10)과 도 4의 인공표식(15)과 같이 두 가지 형태이다. 물론, 응용에 따라 어느 한 가지 타입의 인공표식만을 사용하여도 되고, 또는 두 가지 타입의 인공표식을 혼용하여 사용하여도 된다.

특히, 실외 도로환경에 적용할 경우 인공표식(10, 15)의 색상은 흰색 또는 황색을 사용한다. 인공표식(10, 15)을 구성하는 선의 두께는 차선의 두께(예컨대, 15cm)와 동일하게 하는 것이 일반 도로환경과 어울린다는 점에서 보다 바람직하나, 응용에 따라서는 다양한 크기 및 색상의 표식이 가능할 것이다.

한편, 도로의 바닥면에 인공표식을 부착 또는 프린트하였을 경우 인공표식(10)이 인공표식(15) 보다는 시각적으로 거부감이 덜 하며, 보다 자연스럽게 도로환경에 어울릴 수 있다.

그러나, 인공표식(10)은 180도의 회전 모호성(위에서 봤을 때와 아래에서 봤을 때의 영상이 동일)이 있기 때문에 필요한 경우 회전 모호성이 없는 인공표식(15)을 혼용하여 사용할 수 있다. 예를 들어, 출발지, 종착지, 주요 코너 등에서는 인공표식(15)을 사용하고, 직선 주행로에서는 인공표식(10)을 사용하는 것이 가능할 것이다.

도 6은 본 발명의 실시예에 따른 이동체의 위치 인식 장치의 구성도이다.

본 발명의 실시예에 따른 이동체의 위치 인식 장치는 영상 획득부(20), 인공표식 검출부(22), 위치 산출부(24), 및 위치 검증부(26)를 포함한다.

영상 획득부(20)는 인공표식(10, 15)에 대한 영상을 획득한다. 영상 획득부(20)는 카메라 등의 영상획득기기를 포함한다. 영상획득기기는 이동체에 장착되어 인공표식(10, 15)에 대한 영상을 회득한다. 여기서, 영상획득기기는 넓은 시야 확보를 위해서 가급적 이동체의 상단부에 설치하는 것이 바람직하다.

인공표식 검출부(22)는 영상 획득부(20)에서 획득한(촬영한) 영상을 영상처리하여 영상내 인공표식(10, 15)의 존재여부를 판단하고 검출한다.

위치 산출부(24)는 인공표식 검출부(22)에서 검출된 인공표식(10, 15)의 영상내 위치정보로부터 인공표식(10, 15)과 이동체와의 기하학적 관계정보를 추출하고 이에 의해 이동체의 위치 및 방향을 산출한다.

위치 검증부(26)는 위치 산출부(24)에 의해 산출된 이동체의 위치 및 방향이 유효한 값인지를 최종적으로 판단(검증)한다.

도 7은 본 발명의 실시예에 따른 이동체의 위치 인식 방법을 설명하는 플로우차트이고, 도 8 내지 도 11은 도 7에 도시된 인공 표식 검출 단계 설명에 적용되는 도면이고, 도 12 및 도 13은 도 7에 도시된 S18 및 S20의 설명에 적용되는 도면이다.

이동체의 위치 인식을 수행하기 위해서, 우선적으로 도로의 바닥면에 인공표식(10) 및 인공표식(15)중에서 하나 이상이 설치되어 있는 것으로 가정한다.

먼저, 영상 획득부(20)가 이동체에 장착된 카메라 등의 영상획득기기를 통해 인공표식(인공표식(10) 및 인공표식(15)중 하나 이상)에 대한 영상을 획득한다(S10).

이어, 인공표식 검출부(22)는 영상 획득부(20)가 획득한 영상을 영상처리하고(S12), 영상처리된 영상내에서 인공표식(10, 15)이 존재하는지 여부를 판단하고 표식이 존재할 경우(S14에서 "Yes") 영상에서의 위치 및 방향정보를 추출한다(S16). 여기서, 영상에서 인공표식(10, 15)을 검출하는 영상처리 방법은 다양한 방법이 존재할 수 있으며 어느 방법을 사용하여도 무방하다. 일례를 들면, 입력 영상에 대해 영상 밝기값에 대한 이진화 과정을 통해 인공표식(10, 15)과 배경을 분리하는 과정, 연결성분 분석을 통해 후보 표식들을 추출하는 과정, 추출된 후보 표식들에 대해 크기 검사, 형태 검사 등을 통해 실제 인공 표식(10, 15)인지의 여부를 판별하는 과정을 거쳐 인공표식(10, 15)을 검출할 수 있다.

영상에서 인공표식(10, 15)을 검출하는 방법에 대해 도면을 예를 들어 설명하면 하기와 같다. 먼저, 인공표식 검출부(22)는 입력 영상에 대해 이진화를 수행하여 도 8에 예시된 바와 같은 상태로 만든다. 영상 이진화란 영상을 구성하는 각각의 픽셀 밝기값이 미리 정해진 임계값(threshold value) 보다 작은지 큰지의 여부에 따라서 영상의 픽셀을 검은색(즉, 임계값보다 작은 경우)(임계값보다 어두운 경우라고 할 수 있음), 흰색(즉, 임계값보다 큰 경우)(임계값보다 밝은 경우라고 할 수 있음) 둘 중의 하나로 분류하는 것을 지칭한다.

다음으로, 이진화된 영상으로부터 연결성분 분석(connected component analysis) 과정을 거쳐 연결된 성분들을 찾고, 찾아진 성분들의 경계선(contour)을 추출한다. 도 9는 경계선 추출의 한 예를 보여준다.

다음으로, 추출된 연결성분들의 경계선들을 다각형(polygon)으로 근사한다. 도 10은 다각형 근사의 한 예를 보여준다.

이상과 같이 검출된 연결성분들의 경계선들을 다각형으로 근사한 이후에는 근사된 다각형을 분석하여 검출된 연결성분이 인공표식인지의 여부를 판단하게 된다. 여기서, 여러 가지 조건 검사가 가능한데, 가장 쉽게 생각할 수 있는 조건은 도 11에 예시된 바와 같이 근사된 다각형의 꼭지점의 개수를 이용하는 것이다. 즉, A 타입 마크(인공표식(15))의 경우 꼭지점이 8개이므로 8각형인 근사 다각형(polygon)들을 후보로 추출하고, B 타입 마크(인공표식(10))의 경우에는 4각형 근사 다각형(polygon)들을 마크 후보로 추출한다. 그러나, 실제로는 다각형(polygon) 근사과정에서 오차가 발생할 수 있으므로 이를 감안하여 A 타입 마크(인공표식(15))는 7~9각형, B 타입 마크(인공표식(10))는 3 ~ 5각형을 후보로 추출하는 것이 바람직하다. 또한, 근사 다각형의 형태가 인공표식의 형태와 유사한지 여부도 강력한 조건이 될 수 있다. 형태가 유사한지를 비교하는 한 방법은 근사 다각형을 둘러싸는 최소경계사각형(least bounding quadrangle)을 구한 후, 이 최소경계사각형을 마크의 형태인 정(직)사각형으로 변환시키는 변환행렬 H를 구한다. A타입 마크 후보의 경우에는 후보 다각형 하나마다 이러한 변환행렬 H를 계산할 수 있지만, B타입 마크 후보의 경우에는 두 개의 바(bar) 타입 마크가 쌍을 이루어 마크를 구성하기 때문에 두 개의 후보 다각형(4각형)을 둘러싸는 최소경계사각형(least bounding quadrangle)에 대해 변환행렬 H를 계산한다. 참고로 이러한 변환행렬 H는 영상 호모그래피(homography)를 이용하면 손쉽게 계산할 수 있다. 다음으로, 근사 다각형을 구성하는 각각의 꼭지점들을 변환행렬 H를 이용하여 변환시킨 후 변환된 좌표가 실제 인공표식을 구성하는 꼭지점들의 위치와 얼마나 일치하는지 여부를 이용하여 인공표식의 형태와 유사한지 여부를 판단한다. 도 11은 근사된 다각형들 중에서 꼭지점 개수 조건 및 형태조건을 모두 통과한 후보 다각형들만을 보여준다.

이와 같이 하면 영상에서 인공표식(10, 15)을 검출할 수 있다.

이후, 위치 산출부(24)는 인공표식 검출부(22)에 의해 검출된 인공표식(10, 15)의 영상내 위치정보로부터 인공표식(10, 15)과 이동체와의 기하학적 관계정보를 추출하고(S18), 이동체의 위치 및 방향을 산출한다(S20).

영상처리 분야에서 널리 알려진 사실 중의 하나는 평면형 물체(planer object)의 서로 다른 네 점(단, 어느 세 점도 동일 직선상에 존재하지 않아야 함)에 대한 영상좌표를 알면, 이로부터 물체와 카메라와의 상대적인 3차원 위치관계를 파악할 수 있다는 것이다. 이에 대한 계산 알고리즘은 매우 다양하며 어느 알고리즘을 사용해도 무방하다. 예를 들어 아래와 같은 논문의 방법 또는 코드 등을 활용할 수 있다.

1) 참고논문1: X.S. Gao, X.-R. Hou, J. Tang, H.-F. Chang “Complete Solution Classification for the Perspective-Three-Point Problem, PAMI 2003

2) 참고논문2: V. Lepetit, F. Moreno-Noguer and P. Fua. EPnP: An Accurate O(n) Solution to the PnP Problem, in International Journal Of Computer Vision, vol. 81, p. 155-166, 2009

3) 알고리즘 소스코드: http://cvlab.epfl.ch/software/EPnP

인공표식(10, 15)에 대한 카메라의 상대적인 위치는 상술한 방법을 적용하여 인공표식(10, 15) 상의 임의의 서로 다른 4점을 이용하여 계산하면 된다. 바람직하게는, 인공표식(10, 15)을 둘러싸는 최소 경계사각형(minimum bounding box)의 네 꼭지점을 이용하는 것이 좋다.

이와 같이 위치 산출부(24)에서의 위치 산출 과정에 대해 도면을 예를 들어 설명하면 하기와 같다. 부착되어 있는 마크의 절대위치(world 좌표계 상에서의 위치)는 미리 주어져 있는 것으로 가정한다.

도 12에 예시된 바와 같이, A타입, B 타입 모두 하나의 마크는 모두 8개의 꼭지점으로 구성된다. 이러한 8개의 점들 중 임의의 4개 점에 대한 절대좌표(world 좌표)와 대응되는 영상에서의 픽셀 좌표를 알면 상기 설명한 방법(참고논문1, 참고논문2, EPnP 알고리즘)을 적용하여 이 영상을 획득한 카메라의 3차원 위치 및 자세(x, y, z, pitch, roll, yaw)를 알아낼 수 있다. 이 4 점은 어떻게 잡아도 무방하지만, 산출된 위치의 정확도를 높이기 위해서는 마크의 가장 외부의 4 꼭지점(도 12에서, ①, ②, ③, ④)을 이용하는 것이 가장 바람직하다. 즉, ①, ②, ③, ④ 네 점에 대한 절대 월드좌표 (gx1, gy1), (gx2, gy2), (gx3, gy3), (gx4, gy4)는 미리 주어져 있고, 영상에서 이 네 꼭지점에 대응하는 영상 픽셀 좌표를 알면 카메라의 3D 포즈(pose) 정보가 산출된다. 단, A 타입 마크의 경우에는 상기 방법을 통해 카메라의 위치가 유일하게 결정되지만, B 타입 마크의 경우에는 180도 모호성(위에서 봤을 때와 아래에서 봤을 때의 영상이 동일)이 있기 때문에 2개의 서로 다른 카메라 위치가 산출된다. 따라서, B타입 마크에 대해 산출된 2개의 카메라 위치 중 어느 것이 실제 카메라 위치가 맞는지를 결정하기 위해서는 부가적인 정보가 필요하다. 예를 들어, 가장 최근의 카메라의 위치, 또는 GPS 등과 같은 보조 위치인식 수단에서 들어온 위치 정보 등이 부가적인 위치정보로 활용될 수 있다. 도 13은 실제 인공표식을 바닥에 부착하고 차량에 장착된 카메라로 인공표식을 인식하여 차량의 위치 및 방향을 산출한 결과 예를 보여준다. 참고로, 계산된 카메라의 위치 및 방향을 이동체의 위치 및 방향으로 삼을 수 있다. 그러나, 만일 카메라의 위치가 이동체의 기준 위치가 아닐 경우에는 상술한 바에 의해 계산된 카메라의 위치 및 방향에 오프셋(offset; 이동체의 위치 기준점에 대한 장착 카메라의 상대적인 위치)을 보상해 줌으로써 이동체의 위치 및 방향을 산출할 수 있다.

이와 같이 하면 위치 산출부(24)에서 위치 산출을 할 수 있다.

위치 산출 이후에는, 위치 검증부(26)가 위치 산출부(24)에 의해 산출된 이동체의 위치 및 방향이 유효한 값인지를 최종적으로 판단(검증)한다(S22). 즉, 위치 검증 단계(S22)에서는 상술한 위치산출 단계에서 산출된 이동체의 위치 및 방향이 유효한 값인지 여부를 최종 판단하여 유효하지 않은 값으로 판명될 경우에는 영상에서 검출된 표식이 잘못된 검출(오검출)인 것으로 판단하여 산출된 위치값을 무시해 버리고, 유효한 값으로 판단된 경우에만 위치정보를 정상적인 위치 결과값으로 활용한다.

이와 같은 위치 검증 단계(S22)가 필요한 이유는 실제 자연환경 내에서 인공표식과 유사한 형태를 가진 자연적인 지형 지물, 또는 문양이 존재할 경우에는 영상처리 만으로는 인공표식인지 여부를 판단하기 어려운 경우가 발생할 수가 있기 때문이다.

상술한 위치 검증 단계(인공표식 검증 단계라고 할 수 있음)(S22)에서는 위치산출 단계에서 산출된 카메라의 3차원 위치정보가 실제 카메라의 위치로부터 오차범위 내에 존재하는지 여부를 이용하여 오검출로 인한 위치산출을 제거한다. 예를 들어, 차량 등에 카메라를 설치한 경우 지면으로부터 높이가 1.5m이고 전방을 수직으로(지면과 카메라 광학축 방향이 수평) 바라보도록 카메라를 장착한 경우에 영상인식을 통해 산출된 카메라의 위치가 지면에서 높이가 5m, 카메라의 방향이 -80도가 나왔다면(예를 들어, 건물 벽면의 문양을 표식으로 인식한 경우에 이러한 위치값이 나올 수 있음) 이 위치 및 방향은 정상적인 인공표식 검출에 의한 위치로 볼 수 없으므로 오검출로서 제거해야 마땅하다. 이때, 정상적인 카메라의 위치에 대한 오차범위는 적용환경에 따라서 실험을 통해 적절히 정하는 것이 바람직하다.

상술한 위치 검증 단계(S22)를 적용하면 바닥에 존재하면서 인공표식과 유사한 형태 및 크기의 도형들에 대해서만 마크 후보로서 위치가 산출되기 때문에 인공표식이 아닌 것을 인공표식으로 오검출하여 위치가 산출되는 경우는 거의 없다고 보아도 무방하므로, 본 발명에 따른 위치인식 시스템의 신뢰도(reliability)는 매우 높다고 볼 수 있다.

한편, 본 발명에서 하나의 인공표식(10, 15)으로 커버할 수 있는 영역은 한정되어 있기 때문에 만일 좁은 공간이 아닌 넓은 공간에서 이동체를 운용해야 할 경우에는 다수의 인공표식(10, 15)을 설치해야 한다.

그러나, 본 발명에서의 인공표식(10, 15)은 타입의 구분(A 타입(인공표식(15), B 타입(인공표식(10))만 있을 뿐, 표식 내에 ID 정보를 포함하고 있지 않기 때문에 인공표식 간의 식별 문제가 발생할 수 있다. 따라서, 2개 이상의 인공표식(10, 15)을 설치한 경우에는 GPS 또는 휠 오도메트리(wheel odometry) 등과 같은 별도의 위치인식 수단과 결합하여 사용하는 것이 바람직하다. 이 경우, 인공표식(10, 15)에 의한 위치인식은 부정확한 위치센서(GPS, 휠 오도메트리 등)의 위치오차를 보정해 주는 형태로 사용된다. 이와 같이 별도의 위치인식 센서와 다수의 인공표식을 결합하여 사용할 경우에는 표식간의 식별이 가능하도록 표식 설치 간격을 별도 위치인식 센서의 최대 위치 오차 이상으로 설치하는 것이 바람직하다.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.

10, 15 : 인공표식 20 : 영상 획득부
22 : 인공표식 검출부 24 : 위치 산출부
26 : 위치 검증부

Claims

제 1 타입의 마크와 제 2 타입의 마크중에서 하나 이상으로 구성된 인공표식에 대한 영상을 획득하는 영상 획득부;
상기 영상 획득부에서 획득한 영상을 영상처리하여 영상내에서 상기 인공표식을 검출하는 인공표식 검출부;
상기 인공표식 검출부에서 검출된 상기 인공표식의 영상내 위치정보를 근거로 상기 이동체의 위치 및 방향을 산출하는 위치 산출부; 및
상기 위치 산출부에 의해 산출된 상기 이동체의 위치 및 방향이 유효한 값인지를 검증하는 위치 검증부;를 포함하는 것을 특징으로 하는 이동체의 위치 인식 장치.
청구항 1에 있어서,
상기 인공표식 검출부는 상기 영상 획득부로부터의 입력 영상에 대해 이진화를 수행하고, 상기 이진화된 영상에 대해 연결성분 분석을 하여 연결된 성분들의 경계선을 추출하고, 상기 추출된 연결성분들의 경계선들을 다각형으로 근사하고, 상기 근사된 다각형을 분석하여 상기 추출된 연결성분들이 상기 인공표식인지를 판단하는 것을 특징으로 하는 이동체의 위치 인식 장치.
청구항 2에 있어서,
상기 인공표식 검출부는 상기 근사된 다각형의 꼭지점의 개수 및 상기 근사된 다각형의 형태를 근거로 상기 근사된 다각형을 분석하여 상기 추출된 연결성분들이 상기 인공표식인지를 판단하는 것을 특징으로 하는 이동체의 위치 인식 장치.
청구항 1에 있어서,
상기 위치 산출부는 상기 인공표식 검출부에 의해 검출된 인공표식의 영상내 위치정보로부터 상기 인공표식과 상기 이동체와의 기하학적 관계정보를 추출하고, 상기 추출된 기하학적 관계정보를 근거로 상기 이동체의 위치 및 방향을 산출하는 것을 특징으로 하는 이동체의 위치 인식 장치.
청구항 1에 있어서,
상기 위치 검증부는 상기 위치 산출부에 의해 산출된 상기 이동체의 위치 및 방향이 유효하지 않은 값으로 판명될 경우에는 상기 산출된 위치 및 방향의 값을 무시해 버리는 것을 특징으로 하는 이동체의 위치 인식 장치.
청구항 1에 있어서,
상기 인공표식은 도로의 바닥면에 설치되는 것을 특징으로 하는 이동체의 위치 인식 장치.
청구항 1에 있어서,
상기 제 1 타입의 마크는 한 쌍의 바 타입의 마크인 것을 특징으로 하는 이동체의 위치 인식 장치.
청구항 7에 있어서,
상기 한 쌍의 바 타입의 마크는 직선 주행로의 바닥면에 설치되는 것을 특징으로 하는 이동체의 위치 인식 장치.
청구항 1에 있어서,
상기 제 2 타입의 마크는 디긋자 형태의 마크인 것을 특징으로 하는 이동체의 위치 인식 장치.
청구항 9에 있어서,
상기 디긋자 형태의 마크는 출발지, 종착지, 주요 코너의 도로 바닥면에 설치되는 것을 특징으로 하는 이동체의 위치 인식 장치.
영상 획득부가, 제 1 타입의 마크와 제 2 타입의 마크중에서 하나 이상으로 구성된 인공표식에 대한 영상을 획득하는 단계;
인공표식 검출부가, 상기 영상을 획득하는 단계에서 획득한 영상을 영상처리하여 영상내에서 상기 인공표식을 검출하는 단계;
위치 산출부가, 상기 인공표식을 검출하는 단계에서 검출된 상기 인공표식의 영상내 위치정보를 근거로 상기 이동체의 위치 및 방향을 산출하는 단계; 및
위치 검증부가, 상기 산출하는 단계에 의해 산출된 상기 이동체의 위치 및 방향이 유효한 값인지를 검증하는 단계;를 포함하는 것을 특징으로 하는 이동체의 위치 인식 방법.
청구항 11에 있어서,
상기 인공표식을 검출하는 단계는,
상기 영상을 획득하는 단계로부터의 입력 영상에 대해 이진화를 수행하는 단계;
상기 이진화된 영상에 대해 연결성분 분석을 하여 연결된 성분들의 경계선을 추출하는 단계;
상기 추출된 연결성분들의 경계선들을 다각형으로 근사하는 단계; 및
상기 근사된 다각형을 분석하여 상기 추출된 연결성분들이 상기 인공표식인지를 판단하는 단계;를 포함하는 것을 특징으로 하는 이동체의 위치 인식 방법.
청구항 12에 있어서,
상기 인공표식인지를 판단하는 단계는 상기 근사된 다각형의 꼭지점의 개수 및 상기 근사된 다각형의 형태를 근거로 상기 근사된 다각형을 분석하여 상기 추출된 연결성분들이 상기 인공표식인지를 판단하는 것을 특징으로 하는 이동체의 위치 인식 방법.
청구항 11에 있어서,
상기 산출하는 단계는,
상기 인공표식을 검출하는 단계에 의해 검출된 인공표식의 영상내 위치정보로부터 상기 인공표식과 상기 이동체와의 기하학적 관계정보를 추출하는 단계; 및
상기 추출된 기하학적 관계정보를 근거로 상기 이동체의 위치 및 방향을 산출하는 단계;를 포함하는 것을 특징으로 하는 이동체의 위치 인식 방법.
청구항 11에 있어서,
상기 검증하는 단계는 상기 산출하는 단계에 의해 산출된 상기 이동체의 위치 및 방향이 유효하지 않은 값으로 판명될 경우에는 상기 산출된 위치 및 방향의 값을 무시해 버리는 것을 특징으로 하는 이동체의 위치 인식 방법.
청구항 11에 있어서,
상기 인공표식은 도로의 바닥면에 설치되는 것을 특징으로 하는 이동체의 위치 인식 방법.
청구항 11에 있어서,
상기 제 1 타입의 마크는 한 쌍의 바 타입의 마크인 것을 특징으로 하는 이동체의 위치 인식 방법.
청구항 17에 있어서,
상기 한 쌍의 바 타입의 마크는 직선 주행로의 바닥면에 설치되는 것을 특징으로 하는 이동체의 위치 인식 방법.
청구항 11에 있어서,
상기 제 2 타입의 마크는 디긋자 형태의 마크인 것을 특징으로 하는 이동체의 위치 인식 방법.
청구항 19에 있어서,
상기 디긋자 형태의 마크는 출발지, 종착지, 주요 코너의 도로 바닥면에 설치되는 것을 특징으로 하는 이동체의 위치 인식 방법.