KR100697810B1

KR100697810B1 - 랜드마크를 이용한 이동체의 자기위치 인식시스템 및 그방법

Info

Publication number: KR100697810B1
Application number: KR1020040040845A
Authority: KR
Inventors: 현재호; 서원현
Original assignee: 주식회사 코맥스
Priority date: 2004-06-04
Filing date: 2004-06-04
Publication date: 2007-03-20
Also published as: KR20050115647A

Abstract

랜드마크를 이용한 이동체의 자기위치 인식시스템에 있어서, 이동체에 설치되어 랜드마크 영상을 촬영하기 위한 영상촬영부; 상기 영상촬영부로부터 입력되는 상기 랜드마크의 영상을 영상 신호로 처리하기 위한 영상신호처리부; 및 상기 랜드마크의 영상 신호에 대하여 영상데이터를 추출하기 위한 제어부를 포함하며, 상기 제어부는, 상기 영상 신호가 상기 랜드마크의 형상 정보로 변환되어 영상데이터로 추출되기 위한 영상데이터추출기; 상기 영상데이터가 정규화되기 위한 정규화기; 상기 정규화된 영상데이터와 상기 정규화된 영상데이터와 비교될 기준 영상데이터가 저장되기 위한 매크로테이블; 상기 정규화된 영상데이터와 기준 영상데이터가 비교되어 상기 정규화된 영상테이터에 일치되는 랜드마크가 비교 판별되기 위한 매크로테이블비교기; 및 상기 비교 판별된 랜드마크와 상기 이동체 사이의 거리 및 방향에 대한 정보가 추출되기 위한 거리/방향정보추출기를 포함하는 랜드마크를 이용한 이동체의 자기위치 인식시스템이 제공된다.

랜드마크, 자기위치인식, 지능형 이동체, 정규화

Description

랜드마크를 이용한 이동체의 자기위치 인식시스템 및 그 방법{Self localization system of autonomous vehicles using landmark and method thereof}

도 1은 본 발명의 바람직한 실시예에 따른 이동체의 자기위치 인식을 위한 랜드마크를 나타낸 구성도;

도 2는 도 1의 랜드마크에 대한 다양한 실시예를 나타낸 구성도;

도 3은 도 1의 이동체의 자기위치 인식을 위한 자기위치 인식시스템을 개략적으로 나타낸 구성도;

도 4는 도 3의 자기위치 인식시스템에 있어서 영상촬영부를 나타낸 구성도;

도 5는 도 3의 영상촬영부를 개략적으로 나타낸 구성도;

도 6은 도 5의 영상촬영부에 있어서 렌즈 중심점으로부터 영상막에 맺히는 랜드마크의 관계를 나타낸 예시도;

도 7은 도 3의 자기위치 인식시스템에 있어서 제어부의 자기위치 인식방법을 나타낸 순서도;

도 8은 도 7의 자기위치 인식방법에 있어서 영상데이터가 추출되는 과정을 나타낸 예시도;

도 9는 도 8의 자기위치 인식방법에 있어서 영상데이터가 정규화 되는 과정을 나타낸 예시도;

도 10은 도 9의 자기위치 인식방법에 있어서 정규화된 영상데이터의 주축선과 보조선의 추출과정을 나타낸 예시도; 및

도 11은 도 10의 자기위치 인식방법에 있어서 정규화된 영상데이터의 주축선과 보조선으로부터 랜드마크와 이동체 사이의 거리 및 방향자료를 추출하는 과정을 나타낸 예시도이다.

*도면의 주요부분에 대한 부호의 설명

100 : 랜드마크 110 : 기준점

120 : 외곽선 130 : 주축선

140 : 보조선 200 : 자기위치 인식시스템

210 : 영상촬영부 220 : 영상신호처리부

230 : 제어부 231 : 영상데이터추출기

232 : 정규화기 233 : 매크로테이블

234 : 매크로테이블비교기 235 : 거리/방향정보추출기

240 : 구동부

본 발명은 지능형 이동체 또는 자동 제어 분야에서 자기위치 및 주변정보에 대하여 영상을 이용하여 인식하는 시스템에 관한 것으로, 보다 상세하게는 이동체가 효율적으로 자신의 위치를 파악할 수 있도록 하는 랜드마크(Landmark)를 이용한 이동체의 자기위치 인식시스템 및 그 방법에 관한 것이다.

최근, 로봇에 대한 관심이 증가됨에 따라 다양한 종류의 로봇이 제안되고 있으며, 현재 이에 대한 연구가 활발히 진행되고 있다. 상기 로봇들은 다양한 응용을 위하여 제작되고 있는데, 예를 들면, 생산라인 등의 산업현장에서 공장자동화의 일환으로 사용되는 무인운반차 등과 같은 이동체를 조종하기 위해서는 지도 작성(Map building)기능, 자기위치인식(Self localization) 기능, 경로설정(Path planning)기능 및 장애물회피(Obstacle avoidance)기능에 관련된 4가지 기능이 갖추어져야 한다.

상기 지도작성기능은 주어진 공간, 즉 작업공간에 대한 지도를 구축하는 기능으로써, 이동체에게 주어질 작업을 계획하는 데에 있어 필수적이며, 상기 자기위치인식기능은 주어진 명령을 수행하기 위하여 현재의 위치를 파악하는 기능을 의미한다. 또한, 상기 경로설정기능은 처음 상태로부터 최종 목적 상태까지 진행하기 위한 계획을 세우는 기능이며, 장애물회피기능은 예정된 작업의 수행시 예기치 못한 장애물이 발생했을 때 이를 감지하고 회피하는 기능이다.

상기 방법들 중에서도 상기 이동체를 보다 용이하게 조종하기 위해서는 이동체에게 정확한 위치와 방향(방위) 정보를 제공하여 인식하도록 하는 것이 유리하다. 이동체에게 상기와 같은 정보를 제공하기 위한 방법으로는 거리와 방향을 이용한 추측항법(Dead reckoning), 가속도계와 자이로 센서를 이용한 관성항법(Inertial navigation) 및 위성데이터를 이용한 위성기반 위치인식(Satellite-based positioning) 방법 등이 있다. 그러나 상기 방법들은 비 용 및 정확도 면에서 각각의 장단점을 내포하고 있는데, 추측항법은 이동체의 기계적 및 물리적 미끄러짐에 의한 오차를 인식하지 못하고, 관성항법은 이동체의 경로오차 누적에 의한 정확도가 떨어지는 문제가 있으며, 위성기반 위치인식방법은 위성 수신기가 있으면 거리 및 방향이 비교적 정확히 계산되지만 전파수신이 어려운 실내에서 사용시 제 역할을 수행하지 못한다.

따라서 상기와 같은 문제점을 극복하기 위하여 작업환경 내에 이미 알고 있는 위치에 배치된 랜드마크를 사용하여 이동체에 위치 및 방향(방위)정보를 제공하는 자기위치 인식 방법이 대두되고 있다.

따라서 본 발명의 목적은 작업공간 내에서 이동체가 자기위치에 대하여 랜드마크를 통해 정확하게 인식할 수 있도록 하는 랜드마크를 이용한 이동체의 자기위치 인식시스템 및 그 방법을 제공하는 것이다.

본 발명의 제1 면에 의하면, 랜드마크를 이용한 이동체의 자기위치 인식시스템에 있어서, 이동체에 설치되어 랜드마크 영상을 촬영하기 위한 영상촬영부; 상기 영상촬영부로부터 입력되는 상기 랜드마크의 영상을 영상 신호로 처리하기 위한 영상신호처리부; 및 상기 랜드마크의 영상 신호에 대하여 영상데이터를 추출하기 위한 제어부를 포함하며, 상기 제어부는, 상기 영상 신호가 상기 랜드마크의 형상 정보로 변환되어 영상데이터로 추출되기 위한 영상데이터추출기; 상기 영상데이터가 정규화되기 위한 정규화기; 상기 정규화된 영상데이터와 상기 정규화된 영상데이터 와 비교될 기준 영상데이터가 저장되기 위한 매크로테이블; 상기 정규화된 영상데이터와 기준 영상데이터가 비교되어 상기 정규화된 영상테이터에 일치되는 랜드마크가 비교 판별되기 위한 매크로테이블비교기; 및 상기 비교 판별된 랜드마크와 상기 이동체 사이의 거리 및 방향에 대한 정보가 추출되기 위한 거리/방향정보추출기를 포함하는 랜드마크를 이용한 이동체의 자기위치 인식시스템이 제공된다.

한편, 상기 랜드마크는 기준점; 이동체의 상기 랜드마크 영상 인식시 상기 기준점을 토대로 이동체와 상기 랜드마크 간의 이격거리 및 기울어진 정도를 인식하기 위한 외곽선; 및 상기 외곽선의 내부에 랜드마크의 기준방향을 나타내는 주축선과 보조선을 포함하는 것이 바람직하다.

한편, 상기 제어부의 거리/방향정보에 따라 상기 이동체가 구동되기 위한 구동부를 더 포함하는 것이 바람직하다.

한편, 상기 영상데이터추출기는 상기 영상신호처리부의 영상 신호를 수신하여 상기 랜드마크의 기준점, 외곽선, 주축선 및 보조선의 형상 정보를 영상데이터로 변환하고 추출하는 것이 바람직하다.

한편, 상기 정규화기는 상기 영상데이터를 상기 영상막의 가상 기준축(x,y)상에 위치시킨 후 상기 가상 기준축의 중심점 c(0,0,0)로부터 랜드마크의 외곽선의 중심점 p(x,y,z)와 상기 외곽선의 중심점 p(x,y,z)에 대하여 상기 가상 기준축인 x축 상의 변형점 p'(x',y',z')를 구하여 상기 영상데이터추출기에 의해 추출된 기준점과 상기 중심점 c(0,0,0)와 p'(x',y',z')를 계산하는 것이 바람직하다.

한편, 상기 정규화기는 상기 영상데이터를 상기 영상막의 가상 기준축(x,y) 상에 위치시킨 후 상기 가상 기준축의 중심점 c(0,0,0)로부터 랜드마크의 외곽선의 중심점 p(x,y,z)와 상기 외곽선의 중심점 p(x,y,z)에 대하여 상기 가상 기준축인 y축 상의 변형점 p"(x",y",z")를 구하여 상기 영상데이터추출기에 의해 추출된 기준점과 상기 중심점 c(0,0,0)와 p"(x",y",z")가 계산하는 것이 바람직하다.

본 발명의 제2 면에 의하면, 랜드마크를 이용한 이동체의 자기위치 인식방법에 있어서, 이동체에 설치되어 랜드마크 영상을 촬영하기 위한 영상촬영부; 상기 영상촬영부로부터 입력되는 상기 랜드마크의 영상을 수신하여 영상 신호로 처리하기 위한 영상신호처리부; 및 상기 랜드마크의 영상 신호를 수신하여 상기 이동체가 자기위치를 인식하도록 영상데이터를 추출하기 위한 제어부를 구비한 자기위치 인식시스템을 포함하며, 상기 랜드마크 영상으로부터 랜드마크의 영상데이터가 추출되는 제1 단계; 상기 추출된 영상데이터가 정규화되어 저장되는 제2 단계; 상기 정규화된 영상데이터의 값과 기준 데이터인 영상테이터 값이 비교되어 상기 정규화된 영상데이터에 일치하는 랜드마크가 판별되는 제3 단계; 및 상기 정규화된 영상데이터의 기준방향을 추출하여 해당 랜드마크와 상기 이동체 사이의 거리 및 방향에 대한 정보가 추출되는 제4 단계를 포함하는 랜드마크를 이용한 이동체의 자기위치 인식방법이 제공된다.

한편, 상기 제어부는 상기 영상신호처리부의 영상 신호를 수신하여 상기 랜드마크의 형상 정보를 영상 데이터로 변환하여 추출하는 영상데이터추출기; 상기 영상데이터를 정규화하기 위한 정규화기; 상기 정규화된 영상데이터 값과 상기 정규화된 영상데이터 값과 비교될 기준 데이터 값이 저장되기 위한 매크로테이블; 상 기 정규화된 영상데이터 값과 기준 영상데이터 값이 비교되어 상기 정규화된 영상테이터에 일치되는 랜드마크를 판별하기 위한 매크로테이블비교기; 및 상기 판별된 해당 랜드마크와 상기 이동체 사이의 거리 및 방향에 대한 정보를 추출하기 위한 거리/방향정보추출기를 포함하는 것이 바람직하다.

한편, 상기 제1 단계는 상기 영상촬영부로부터 촬영된 랜드마크 영상으로부터 기준점이 추출되는 단계; 상기 기준점추출영상으로부터 랜드마크의 외곽선이 추출되는 단계; 상기 외곽선추출영상으로부터 외곽선 내부의 주축선이 추출되는 단계; 상기 주축선추출영상으로부터 외곽선 내부의 보조선이 추출되는 단계; 및 상기 단계들로부터 추출된 데이터가 조합되어 영상데이터가 추출되는 단계를 포함하는 것이 바람직하다.

한편, 상기 제2 단계는 상기 정규화기에 의해 상기 영상데이터가 상기 영상촬영부의 영상막의 가상 기준축(x,y)상에 위치된 후 상기 가상 기준축의 중심점 c(0,0,0)로부터 랜드마크의 외곽선의 중심점 p(x,y,z)와 상기 외곽선의 중심점 p(x,y,z)에 대하여 상기 가상 기준축인 x축 상의 변형점 p'(x',y',z')가 구해진 뒤, 상기 영상데이터추출기에 의해 추출된 기준점과 상기 중심점 c(0,0,0)와 p'(x',y',z')가 계산되는 것이 바람직하다.

한편, 상기 제2 단계는 상기 정규화기에 의해 상기 영상데이터가 상기 영상촬영부의 영상막의 가상 기준축(x,y)상에 위치된 후 상기 가상 기준축의 중심점 c(0,0,0)로부터 랜드마크의 외곽선의 중심점 p(x,y,z)와 상기 외곽선의 중심점 p(x,y,z)에 대하여 상기 가상 기준축인 y축 상의 변형점 p"(x",y",z")가 구해진 뒤, 상기 영상데이터추출기에 의해 추출된 기준점과 상기 중심점 c(0,0,0)와 p"(x",y",z")가 계산되는 것이 바람직하다.

한편, 상기 제4 단계는 상기 거리/방향정보추출기에 의해 상기 정규화된 영상데이터로부터 주축선과 보조선의 중심선이 추출되고, 상기 추출된 주축선과 보조선에 대하여 기준점, 주축선 및 보조선이 만나는 점을 이은 선 Lc로부터 주축선의 중심선 L1의 방향각 d1과 Lc로부터 보조선의 중심선 L2의 시계방향 각 d2를 구하여, 상기 d1과 d2의 차이가 계산되는 것이 바람직하다.

한편, 상기 매크로테이블에 저장되는 기준 데이터는 각각의 랜드마크에 대한 상기 d1과 d2의 차이 값이 저장되어 구별되는 것이 바람직하다.

한편, 상기 d1과 d2는 상기 랜드마크와 영상촬영부의 초점(F) 및 영상촬영부의 분해능에 따라 전체 각 360도 내에서 구분 능력의 차이를 가지는 것이 바람직하다.

이하, 첨부된 도면을 참조하면서 본 발명의 바람직한 실시예의 구성과 효과에 대하여 상세히 설명하기로 한다.

본 발명을 설명함에 있어, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그에 대한 상세한 설명은 생략하기로 한다.

도 1은 본 발명의 바람직한 실시예에 따른 이동체의 자기위치 인식을 위한 랜드마크를 나타낸 구성도이다.

도 1에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 이동체의 자기 위치 인식을 위한 랜드마크(100)는, 기준점(110), 외곽선(120), 주축선(130) 및 보조선(140)으로 이루어진다.

기준점(110)은 랜드마크 색인지(101) 상의 한 모서리에 정사각형 형상으로 구성된다.

외곽선(120)은 랜드마크 색인지(101)의 중앙 상에 소정의 반지름을 갖는 원 형상으로 구성되고, 내부에 랜드마크의 특성 식별 및 랜드마크 간 구분을 위한 주축선(130)과 보조선(140)을 포함한다.

여기서, 외곽선(120) 내에 그려진 각각의 객체는 단순한 기하학적 문양이나 기호 혹은 도형일 수도 있으나, 간단한 모양의 형상은 물론 복잡한 모양의 형상을 가진 랜드마크일 수도 있다. 또한, 주축선(130)과 보조선(140)은 랜드마크(100)의 카메라 투영시 발생되는 원의 찌그러짐 현상을 분석하여 카메라와 대상 물체간의 틀어진 정도를 파악하는데 사용되며 주축선(130)과 보조선(140)은 색인 되지 않는다.

도 2는 도 1의 랜드마크에 대한 다양한 실시예를 나타낸 구성도이다.

도 2에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 이동체의 자기위치 인식을 위한 랜드마크(100a~100c)는 기준점(110a~110c)으로부터 외곽선(120a~120c)의 중심인 주축선(130a~130c)과 보조선(140a~140c)의 교차점에서 주축선(130)과 보조선(140)의 회전각의 변형을 나타낸다. 따라서 이동체에 구비된 영상장치에 의해 취득된 각각의 랜드마크(100) 영상은 주축선(130)과 보조선(140)의 방향 및 왜곡된 정도에 따라서 이동체의 보다 정확한 위치 정보를 인식할 수 있 게 된다.

도 3은 도 1의 이동체의 자기위치 인식을 위한 자기위치 인식시스템을 개략적으로 나타낸 구성도이고, 도 4는 도 3의 자기위치 인식시스템에 있어서 영상촬영부를 나타낸 구성도이다.

도 3에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 이동체의 자기위치 인식을 위한 자기위치 인식시스템(200)은, 영상촬영부(210), 영상신호처리부(220), 제어부(230) 및 구동부(240)를 포함한다.

영상촬영부(210)는 이동체(201)의 상부에 설치되어 랜드마크 영상을 물리적 현상에서 전기적 현상으로 전환하기 위한 것으로서, 폐쇄회로(CCTV) 용 CMOS 카메라, 표준 CCD(Charge-coupled device) 카메라 및 인터넷 서버와 카메라가 결합된 웹 카메라(Web camera)일 수도 있다. 여기서, 웹 카메라는 일반 CCD 카메라에 비해 값이 저렴하여 대중화하기 용이한 장점이 있으나 왜곡(Distortion) 현상이 더 발생하는 단점이 있다. 그러나 본 발명에 따른 이동체의 자기위치 인식을 위한 자기위치 인식시스템(200)은 후술된 정규화 정보를 사용하기 때문에 자기위치 인식시 고가의 CCD 카메라 대신에 저가의 웹 카메라를 사용하더라도 좋은 인식 결과를 얻을 수 있다.

영상신호처리부(220)는 영상촬영부(210)로부터 입력되는 랜드마크(100)의 영상을 수신하여 소정의 영상으로 포맷하거나 캡쳐하여 제어부(230)에서 처리 가능한 신호로 변환한다.

제어부(230)는 영상촬영부(210), 영상신호처리부(220) 및 구동부(240)에 전 기적으로 접속되어 상기 구성부들을 제어하고, 영상신호처리부(220)로부터 입력되는 랜드마크(100)의 영상에 대한 신호를 수신하여 이동체(201)의 자기위치 인식을 가능하도록 하기 위한 영상데이터를 추출하기 위한 것으로서, 도 4에 도시된 바와 같이, 영상데이터추출기(231), 정규화기(232), 매크로테이블(233), 매크로테이블비교기(234) 및 거리/방향정보추출기(235)를 포함한다.

영상데이터추출기(231)는 영상신호처리부(220)의 신호를 수신하여 랜드마크(100)의 기준점(110), 외곽선(120), 주축선(130) 및 보조선(140)을 구분하고 이들로부터의 형상 정보를 자기위치 인식을 위한 영상데이터로 변환하고 추출하며, 정규화기(232)는 영상데이터추출기(231)의 영상데이터를 정규화 하여 매크로테이블(233)에 매크로 형태로 저장한다. 또한, 매크로테이블(233)은 정규화기(232)에 의해 정규화된 랜드마크(100)의 영상데이터 값뿐만 아니라, 상기 정규화된 영상데이터 값과 비교될 기준 데이터인 복수개의 랜드마크들에 대한 영상데이터 값들이 매크로 형태로 저장되어 있다. 또한, 매크로테이블비교기(234)는 상기 정규화된 영상데이터 값과 매크로테이블(233)에 저장된 기준 데이터인 영상테이터 값들을 비교하여 상기 정규화된 영상테이터가 복수개의 기준 랜드마크들 중 어느 랜드마크와 일치하는지를 비교 판별한다. 또한, 거리/방향정보추출기(235)는 매크로테이블비교기(234)에 의해 판별된 해당 랜드마크의 기준 데이터를 토대로 영상데이터추출기(231)로부터 추출된 기준점(110), 외곽선(120), 주축선(130) 및 보조선(140) 정보에 응답하여 랜드마크(100)와 이동체(201) 사이의 거리 및 방향에 대한 정보를 추출한다.

구동부(240)는 제어부(230)에 의해 이동체(201)의 이동을 제어하는 기능을 수행한다.

도 5는 도 3의 영상촬영부를 개략적으로 나타낸 구성도이고, 도 6은 도 5의 영상촬영부에 있어서 렌즈 중심점으로부터 영상막에 맺히는 랜드마크의 관계를 나타낸 예시도이다.

영상촬영부(210)는, 도 5와 도 6에 도시된 바와 같이, 랜드마크(100)를 촬영하기 위한 렌즈(211)와 렌즈(211)에 의해 투영된 랜드마크(100)의 영상이 맺히기 위한 영상막(212)을 포함한다. 여기서, 영상막(212)에 맺힌 영상은 실상의 위치와 거리, 렌즈(211)와 영상막(212)과의 초점(F)에 따라 다르게 나타나며 실상의 형상은 그대로 영상막(212)에 맺히게 되므로, 영상막(212)에 맺힌 영상의 크기, 비틀림 및 찌그러짐의 정도는 실상의 정보를 판독하는 동일한 자료가 된다. 여기서, c(0,0,0)는 렌즈(211)에서 정의된 점의 좌표이고, p(x,y,z)는 영상막(212)에서 정의된 점의 좌표이고, r(u,v,w)은 물체좌표계인 랜드마크(100)에서 정의된 점의 좌표이다.

여기서, 영상촬영부(210)의 렌즈(211)에 의해 영상막(212)에 맺힌 영상의 왜곡을 보정하기 위하여 영상의 영상좌표와 대상물의 지리좌표 등과의 대응관계를 정량적으로 명확히 하는 기하보정(Geometric correction) 방법 등을 사용하는 것이 좋다.

도 7은 도 3의 자기위치 인식시스템에 있어서 제어부의 자기위치 인식방법을 나타낸 순서도이고, 도 8은 도 7의 자기위치 인식방법에 있어서 영상데이터가 추출 되는 과정을 나타낸 예시도이다.

도 7과 도 8에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 이동체의 자기위치방법은, 먼저 영상촬영부(210)로부터 입력되는 랜드마크영상(1000)이 영상신호처리부(220)에 수신되어 소정의 영상으로 포맷되거나 캡쳐되어 제어부(230)에서 처리 가능한 신호로 변환된 후 제어부(230)의 영상데이터추출기(231)에 의해 랜드마크(100)의 기준점(110), 외곽선(120), 주축선(130) 및 보조선(140)이 구분되어 영상테이터가 추출된다(300 단계).

여기서, 상기 영상데이터가 추출되는 과정은 다음과 같다.

도 8에 도시된 바와 같이, 먼저, 영상촬영부(210)로부터 촬영된 랜드마크영상(1000)으로부터 랜드마크(100A)의 기준점(110A)이 추출되는 단계(301 단계), 기준점추출영상(1000a)으로부터 랜드마크(100A)의 외곽선(120A)이 추출되는 단계(302 단계), 외곽선추출영상(1000b)으로부터 랜드마크(100A)의 외곽선(120A) 내부의 주축선(130A)이 추출되는 단계(303 단계), 주축선추출영상(1000c)으로부터 랜드마크(1000A)의 외곽선(120A) 내부의 보조선(140A)이 추출되는 단계(304 단계) 및 상기 추출영상(1000~1000d)들로부터 추출된 데이터가 조합된 영상데이터를 토대로 랜드마크(100B)가 추출되는 단계(305)를 포함한다. 여기서, 미설명부호 1000d는 보조선추출영상이고 1000e는 데이터조합영상이다.

이후, 제어부(230)의 정규화기(232)에 의해 영상데이터추출기(231)의 영상데이터가 정규화되어 매크로테이블(233)에 매크로테이블 형태로 저장된다(310 단계).

여기서, 상기 영상데이터의 정규화 과정은 다음과 같다.

도 9는 도 8의 자기위치 인식방법에 있어서 영상데이터가 정규화되는 과정을 나타낸 예시도이다.

도 9에 도시된 바와 같이, 매크로테이블(233)에 저장되는 랜드마크영상(1000)의 영상데이터인 랜드마크(100B)는, 정면에서 바라본 외곽선(120)이 정원형인 기준 랜드마크로부터 촬영 방향과 각도 또는 영상촬영부(210)의 비선형으로 인한 정원형, 타원형 및 기울어진 타원형으로 나타난다. 따라서 정규화기(232)는 이를 정규모형으로 교정하기 위하여 상기 영상데이터를 영상막(212)의 가상 기준축(x,y)상에 위치시키고, 이를 중심점 c(0,0,0)로부터 랜드마크(100B)의 외곽선(120B)의 중심점 p(x,y,z)를 구한다. 이후, 외곽선(120B)의 중심점 p(x,y,z)에 대하여 영상촬영부(210)가 지니는 문제점인 비선형성으로 인한 타원형상인 x축상의 변형점 p'(x',y',z')와 y축상의 변형점 p"(x",y",z")를 구한 후, 상기 301 단계에서 추출된 기준점(110A), 중심점 c(0,0,0) 및 p'(x',y',z') 또는 기준점(110A), 중심점 c(0,0,0) 및 p"(x",y",z")를 계산하여 주변의 환경이나 노이즈 등에 대해 데이터의 손실이 없고 중복성이 감소된 정규화된 영상데이터를 생성한다.

여기서, 상기와 같은 원형 또는 타원형의 도형은 두 변수 x,y를 가지는 이차곡선의 방정식으로 표현될 수 있는데, 이 같은 도형을 원추 곡선(Conic section)이라 하며 원추 곡선을 나타내는 음함수 방정식(Implicit equation)으로 풀이되는 것이 바람직하다.

이후, 제어부(230)의 매크로테이블비교기(234)에 의해 상기 정규화된 영상데 이터의 값과 매크로테이블(233)에 미리 저장된 기준 데이터인 영상테이터 값들이 비교되어 상기 정규화된 영상데이터가 복수개의 기준 랜드마크들 중 어느 랜드마크와 일치하는지 판별된다(320 단계).

이후, 제어부(230)의 거리/방향정보추출기(235)에 의해 상기 정규화된 영상데이터로부터 추출된 주축선(130B; 도 10 참조) 및 보조선(140B; 도 10 참조)을 토대로 해당 랜드마크와 이동체(201) 사이의 거리 및 방향에 대한 정보가 추출되어 이동체(201)의 현재 위치가 파악된다(330 단계).

여기서, 상기 정규화된 영상데이터의 주축선(130B) 및 보조선(140B)의 추출 과정 및 상기 거리 및 방향에 대한 정보의 추출 과정은 다음과 같다.

도 10은 도 9의 자기위치 인식방법에 있어서 정규화된 영상데이터의 주축선과 보조선의 추출과정을 나타낸 예시도이고, 도 11은 도 10의 자기위치 인식방법에 있어서 정규화된 영상데이터의 주축선과 보조선으로부터 랜드마크와 이동체 사이의 거리 및 방향자료를 추출하는 과정을 나타낸 예시도이다.

도 10에 도시된 바와 같이, 먼저, 상기 정규화된 랜드마크(100B)의 영상데이터로부터 외곽선(120B) 내부에 위치된 주축선(130B)의 중심선과 보조선(140B)의 중심선이 추출된다. 이후, 도 11에 도시된 바와 같이, 상기 주축선(130B)과 보조선(140B)에 대하여 랜드마크(100B)의 기준점(110B)과, 주축선(130B)과 보조선(140B)의 교차점이 만나는 점을 이은 선 Lc로부터 주축선(130B)의 중심선 L1의 방향각 d1, Lc로부터 보조선(140B)의 중심선 L2의 시계방향 각 d2를 구하여, 상기 d1과 d2의 차이로써 X 축 및 Y 축 상의 거리 값이 계산되고 실제 공간상의 물리 적인 거리 값으로 변환된다.

여기서, 상기 d1과 d2의 차이로써 복수개의 랜드마크들이 각각 구분되며, 상기 d1과 d2의 구분 능력은 랜드마크(100)와 영상촬영부(210)의 초점(F) 및 영상촬영부(210)의 분해능에 따라 전체 각 360도 내에서 구분 능력의 차이를 가진다.

이후, 제어부(230)의 거리/방향정보추출기(235)에 의해 추출된 거리 및 방향에 대한 정보가 구동부(240)에 이 값을 토대로 이동체(201)가 이동하게 된다(340 단계).

상술한 바와 같이, 본 발명의 바람직한 실시예는 랜드마크영상에 대하여 랜드마크의 기준점, 외곽선, 주축선 및 보조선의 영상데이터를 추출하여 정규화하고 기준 데이터와 비교하여 상기 정규화된 영상테이터의 해당 랜드마크를 판별한 후 해당 랜드마크와 이동체 사이의 거리 및 방향자료를 추출 할 수 있다.

상술한 본 발명에서는 이동체의 자기위치 인식에 대한 구체적인 실시예에 관해 설명하였으나, 자동제어 시스템 및 지능적 차량 시스템 등과 같이 영상을 이용한 응용분야에 대한 영상의 인식 및 추적에도 본 발명의 범위에서 벗어나지 않고 실시될 수 있다.

또한, 본 발명은 인간의 눈으로 판독할 수 있는 거리 뿐 만 아니라, 카메라에 줌렌즈를 사용하여 원거리에서 이동체의 인식방법 및 인터넷을 이용한 카메라와 이동체의 직접 식별환경을 넘어선 컴퓨터의 통신환경을 이용한 원격제어 시스템에도 적용될 수 있다. 따라서 본 발명의 범위는 설명된 실시예에 의하여 정할 것이 아니고 청구 범위와 청구 범위의 균등한 것에 의해 정해져야 한다.

상술한 바와 같이 본 발명에 의하면, 영상촬영부에 의해 촬영된 랜드마크에 대한 영상데이터를 추출하고 위치 정보의 추출시 주변의 환경이나 노이즈 등에도 손실이 없고 데이터의 중복성이 감소되는 정규화 정보를 사용함으로써, 랜드마크에 대한 영상데이터가 비선형적 결과를 가지더라도 이에 한정되지 않도록 할 수 있다.

또한, 상기 정규화된 랜드마크의 영상데이터로부터 기준점, 주축선 및 보조선을 추출하여 기준점과 주축선의 방향각과 기준점과 보조선의 방향각의 차이를 통하여 랜드마크와 이동체의 거리 및 방향정보를 계산함으로써, 보다 간편하게 이동체가 자기위치 인식을 수행할 수 있다.

Claims

이동체에 설치되어 랜드마크 영상을 촬영하는 영상촬영부, 상기 영상촬영부로부터 입력되는 상기 랜드마크의 영상을 영상 신호로 처리하는 영상신호처리부, 상기 랜드마크의 영상 신호에 대하여 영상데이터를 추출하는 제어부를 포함하며, 상기 제어부는, 상기 영상 신호를 상기 랜드마크의 형상 정보로 변환하여 영상데이터로 추출하는 영상데이터추출기, 상기 영상데이터를 정규화하는 정규화기, 상기 정규화된 영상데이터와 상기 정규화된 영상데이터와 비교될 기준 영상데이터를 저장하는 매크로테이블, 상기 정규화된 영상데이터와 기준 영상데이터를 비교하여 상기 정규화된 영상테이터에 일치되는 랜드마크를 비교 판별하는 매크로테이블비교기 및 상기 비교 판별된 랜드마크와 상기 이동체 사이의 거리 및 방향에 대한 정보를 추출하는 거리/방향정보추출기를 포함하는 랜드마크를 이용한 이동체의 자기위치 인식시스템에 있어서,

상기 랜드마크는

기준점;

이동체의 상기 랜드마크 영상 인식시 상기 기준점을 토대로 이동체와 상기 랜드마크 간의 이격거리 및 기울어진 정도를 인식하기 위한 외곽선; 및

상기 외곽선의 내부에 랜드마크의 기준방향을 나타내는 주축선과 보조선을 포함하며,

상기 거리/방향정보추출기에 의해 상기 정규화된 영상데이터로부터 주축선과 보조선의 중심선이 추출되고, 상기 추출된 주축선과 보조선에 대하여 기준점, 주축선 및 보조선이 만나는 점을 이은 선 Lc로부터 주축선의 중심선 L1의 방향각 d1과 Lc로부터 보조선의 중심선 L2의 시계방향 각 d2를 구하여, 상기 d1과 d2의 차이에 의하여 각 랜드마크 구분되는 것을 특징으로 하는 랜드마크를 이용한 이동체의 자기위치 인식시스템.
제1 항에 있어서, 상기 제어부의 거리/방향정보에 따라 상기 이동체가 구동되기 위한 구동부를 더 포함하는 것을 특징으로 하는 랜드마크를 이용한 이동체의 자기위치 인식시스템.
제1 항에 있어서, 상기 영상데이터추출기는 상기 영상신호처리부의 영상 신호를 수신하여 상기 랜드마크의 기준점, 외곽선, 주축선 및 보조선의 형상 정보를 영상데이터로 변환하고 추출하는 것을 특징으로 하는 랜드마크를 이용한 이동체의 자기위치 인식시스템.
제3 항에 있어서, 상기 정규화기는 상기 영상데이터를 상기 영상막의 가상 기준축(x,y)상에 위치시킨 후 상기 가상 기준축의 중심점 c(0,0,0)로부터 랜드마크의 외곽선의 중심점 p(x,y,z)와 상기 외곽선의 중심점 p(x,y,z)에 대하여 상기 가상 기준축인 x축 상의 변형점 p'(x',y',z')를 구한 후, 상기 변형점p'(x',y',z')에 대하여 y축상의 변형점 p"(x",y",z")를 계산하는 것을 특징으로 하는 랜드마크를 이용한 이동체의 자기위치 인식시스템.
이동체에 설치되어 랜드마크 영상을 촬영하는 영상촬영부, 상기 영상촬영부로부터 입력되는 상기 랜드마크의 영상을 영상 신호로 처리하는 영상신호처리부, 상기 랜드마크의 영상 신호에 대하여 영상데이터를 추출하는 제어부를 포함하며, 상기 제어부는, 상기 영상 신호를 상기 랜드마크의 형상 정보로 변환하여 영상데이터로 추출하는 영상데이터추출기, 상기 영상데이터를 정규화하는 정규화기, 상기 정규화된 영상데이터와 상기 정규화된 영상데이터와 비교될 기준 영상데이터를 저장하는 매크로테이블, 상기 정규화된 영상데이터와 기준 영상데이터를 비교하여 상기 정규화된 영상테이터에 일치되는 랜드마크를 비교 판별하는 매크로테이블비교기 및 상기 비교 판별된 랜드마크와 상기 이동체 사이의 거리 및 방향에 대한 정보를 추출하는 거리/방향정보추출기를 포함하며, 랜드마크 영상으로부터 랜드마크의 영상데이터가 추출되는 제1 단계, 상기 추출된 영상데이터가 정규화되어 저장되는 제2 단계, 상기 정규화된 영상데이터의 값과 기준 데이터인 영상테이터 값이 비교되어 상기 정규화된 영상데이터에 일치하는 랜드마크가 판별되는 제3 단계 및 상기 정규화된 영상데이터의 기준방향을 추출하여 해당 랜드마크와 상기 이동체 사이의 거리 및 방향에 대한 정보가 추출되는 제4 단계를 포함하는 랜드마크를 이용한 이동체의 자기위치 인식방법에 있어서,

상기 제1 단계는

상기 영상촬영부로부터 촬영된 랜드마크 영상으로부터 기준점이 추출되는 단계;

상기 기준점추출영상으로부터 랜드마크의 외곽선이 추출되는 단계;

상기 외곽선추출영상으로부터 외곽선 내부의 주축선이 추출되는 단계;

상기 주축선추출영상으로부터 외곽선 내부의 보조선이 추출되는 단계; 및

상기 단계들로부터 추출된 데이터가 조합되어 영상데이터가 추출되는 단계를 포함하는 것을 특징으로 하는 랜드마크를 이용한 이동체의 자기위치 인식방법.
제5 항에 있어서, 상기 제2 단계는 상기 정규화기에 의해 상기 영상데이터가 상기 영상촬영부의 영상막의 가상 기준축(x,y)상에 위치된 후 상기 가상 기준축의 중심점 c(0,0,0)로부터 랜드마크의 외곽선의 중심점 p(x,y,z)와 상기 외곽선의 중심점 p(x,y,z)에 대하여 상기 가상 기준축인 x축 상의 변형점 p'(x',y',z')가 구해진 뒤, 상기 변형점p'(x',y',z')에 대하여 y축상의 변형점 p"(x",y",z")이 계산되는 것을 특징으로 하는 랜드마크를 이용한 이동체의 자기위치 인식방법.
제6 항에 있어서, 상기 제4 단계는

상기 거리/방향정보추출기에 의해 상기 정규화된 영상데이터로부터 주축선과 보조선의 중심선이 추출되고, 상기 추출된 주축선과 보조선에 대하여 기준점, 주축선 및 보조선이 만나는 점을 이은 선 Lc로부터 주축선의 중심선 L1의 방향각 d1과 Lc로부터 보조선의 중심선 L2의 시계방향 각 d2를 구하여, 상기 d1과 d2의 차이에 의하여 각 랜드마크가 계산되는 것을 특징으로 하는 랜드마크를 이용한 이동체의 자기위치 인식방법.
제7 항에 있어서, 상기 매크로테이블에 저장되는 기준 데이터는 각각의 랜드마크에 대한 상기 d1과 d2의 차이 값이 저장되어 구별되는 것을 특징으로 하는 랜드마크를 이용한 이동체의 자기위치 인식방법.
제8 항에 있어서, 상기 d1과 d2는 상기 랜드마크와 영상촬영부의 초점(F) 및 영상촬영부의 분해능에 따라 전체 각 360도 내에서 구분 능력의 차이를 가지는 것을 특징으로 하는 랜드마크를 이용한 이동체의 자기위치 인식방법.
삭제
삭제
삭제
삭제
삭제