KR20050013445A

KR20050013445A - 디지털 영상 처리 기술을 이용한 위치 추적 시스템 및 방법

Info

Publication number: KR20050013445A
Application number: KR1020030052100A
Authority: KR
Inventors: 한송이
Original assignee: 엘지전자 주식회사
Priority date: 2003-07-28
Filing date: 2003-07-28
Publication date: 2005-02-04
Also published as: CN100382074C; KR100533033B1; CN1577319A

Abstract

본 발명은 디지털 영상 처리 기술을 이용한 위치 추적 시스템 및 방법에 관한 것으로 특히, 위성 또는 기지국과 연계함이 없이 국지적인 정보인 도로 표지판 영상을 획득, 분석하여 현재 위치를 파악할 수 있도록 함을 목적으로 한다. 이러한 목적의 본 발명은 도로표지판의 색깔, 크기 등의 규격 정보를 저장하는 표지판정보 관리부(160)와, 카메라(110)로 획득한 영상을 상기 표지판 정보 관리부(160)의 정보와 비교, 분석하여 실제의 도로표지판 영상인지를 확인하는 도로표지판 감지부(120)와, 상기 검증된 도로표지판 영상으로부터 텍스트 정보(지명, 구간거리) 및 그래픽 정보(도식화된 방향정보)를 추출하는 위치정보 추출부(130)와, 상기 추출된 텍스트 정보 및 그래픽 정보를 이전에 획득한 정보와 비교, 분석하여 현재 위치를 파악하는 위치정보 분석부(140)와, 이 위치정보 분석부(140)에서 획득한 텍스트 및 그래픽 기반의 위치 정보를 저장하는 위치정보 저장부(170)와, 상기 파악된 현재 위치 정보를 지도 정보와 매핑시키는 지도 검색부(180)와, 상기에서 파악된 현재 위치 정보를 휴대 단말기 화면에 텍스트 또는/및 그래픽으로 디스플레이하는 정보 출력부(150)를 구비하여 구성한다.

Description

디지털 영상 처리 기술을 이용한 위치 추적 시스템 및 방법{POSITION TRACING SYSTEM AND METHOD USING DIGITAL VIDEO PROCESS TECHNIC}

본 발명은 차량 항법 기술에 관한 것으로 특히, 디지털 영상 처리 기술을 이용한 위치 추적 시스템 및 방법에 관한 것이다.

현재 대중화된 차량 항법 시스템을 GPS(Global Positioning System ; 위성항법 장치)를 이용하여 자신의 위치를 알려주는 방법을 대부분 활용하고 있다. 이는 폰 사용자와 기지국, 그리고 위성을 통해 이루어지는 것으로 장착 GPS 성능에 따라 정보 제공 범위가 달라질 수 있다.

또한, GPS를 이용하지 않고도 차량의 발신 위치 및 이동 상황을 추적할 수 있다.

현재 GPS를 이용하지 않는 종래 기술로는 CDMA 디지털 핸드폰 단말기의 자체 위치 등록 기능을 이용하는 대한민국 공개특허 2001 - 35922호(디지털 이동 통신망 실시간 위치 추적 장치 및 이 방법)이 제시되어 있다.

이러한 종래 기술(공개특허 2001 - 35922호)은 VLU(Vehicle Location Unit ; 차량 부착 장치) 설치와 함께 VLU 고유 번호와 차량번호가 중앙 컴퓨터의 차량 파일에 기록하는 단계와, 중앙관제소에 도난 신고 접수시 도난 차량에 설치된 VLU의 고유번호가 VAC(Vehicle Activation Computer)에 입력하는 단계와, VAC는 중계탑에 설치된 VAT(Vehicle Activation Transmittero)에 활성화 명령을 보내어 도난 신고된 차량의 VLU 가 응답 코드 신호를 발신하는 단계와, VTC(Vehicle Tracking System)를 설치한 순찰차는 도난차량에 설치된 VLU에서 발신되는 신호를 포착, 추적하여 도난 차량을 즉각 회수하는 단계와, 도난 차량 회수 후 중앙관제소의 VAC에 비활성화 명령을 입력하면 VLU에 Reset 메세지를 전송하여 신호 발신을 중지시키는 단계를 수행하는 것이다.

그러나, 종래 기술은 특정 하드웨어(위성 또는 안테나)를 이용하여 현재 위치를 확인하고 단말기를 이용하여 기지국과 연결(connection)하는 방식임으로, 통화가 불가능한 지역 또는 기지국으로부터 정보를 얻지 못하는 상황에서는 위치 파악이 어려워 차량 운전자에게 실제 상황마다 직접적인 도움을 주기 어렵다는 문제점이 있다.

따라서, 본 발명은 종래의 문제점을 개선하기 위해 위성 또는 기지국과 연계함이 없이 국지적인 정보인 도로 표지판 영상을 획득, 분석하여 현재 위치를 파악할 수 있도록 창안한 디지털 영상 처리 기술을 이용한 위치 추적 시스템 및 방법을 제공함에 목적이 있다.

특히, 본 발명은 휴대 단말기에 장착된 카메라를 이용하여 도로 표지판 영상을 획득하고 이를 분석하여 현재 자신의 위치를 파악하도록 함에 목적이 있다.

본 발명의 다른 목적은 도로 표지판 영상으로부터 획득한 위치 정보(지명, 구간거리, 방향)를 데이터베이스화하여 운행 경로를 운전자에게 제공할 수 있도록 함에 있다.

도1은 본 발명의 실시예를 위한 위치 추적 시스템의 블록도.

도2는 도1에서 도로표지판 검증 과정의 동작 순서도.

도3은 일반적인 도로표지판의 예시도.

도4는 도1에서 위치정보 저장 구조의 예시도.

* 도면의 주요부분에 대한 부호 설명 *

110 : 카메라 120 : 도로표지판 감지부

130 : 위치정보 추출부 140 : 위치정보 분석부

150 : 정보 출력부 160 : 표지판정보 관리부

170 : 위치정보 저장부 180 : 지도 검색부

본 발명은 상기의 목적을 달성하기 위하여 카메라가 외장 또는 내장된 휴대 단말기에 있어서, 카메라로 획득한 영상을 분석하여 도로표지판 영상인지를 확인하는 도로표지판 감지부와, 상기 검증된 도로표지판 영상으로부터 위치 관련한 텍스트 정보(지명, 구간거리) 및 그래픽 정보(도식화된 방향정보)를 추출하는 위치정보 추출부와, 상기 추출된 텍스트 정보 및 그래픽 정보를 이전에 획득한 정보와 비교, 분석하여 현재 위치를 파악하는 위치정보 분석부와, 상기 파악된 현재 위치 정보를지도 정보와 매핑시키는 지도 검색부와, 상기의 현재 위치 정보 텍스트 또는/및 그래픽화된 위치 정보를 디스플레이하는 정보 출력부를 구비하여 구성함을 특징으로 한다.

또한, 본 발명은 상기 목적을 달성하기 위하여 차량 운행 중 전방 영상을 촬영하는 단계와, 상기 촬영된 영상 중 도로표지판 영상을 추출하는 단계와, 상기 도로표지판 영상으로부터 위치 관련한 텍스트 및 그래픽 정보를 추출하고 현재 위치를 파악하는 단계와, 상기 파악된 현재 위치를 지도 상에 매칭시켜 텍스트 정보와 함께 화면에 디스플레이하는 단계를 수행함을 특징으로 한다.

상기에서 도로표지판 검증은 촬영 영상을 이진 영상으로 변환한 후 라인(line) 등의 선형 정보로부터 규격 관련 정보를 획득하고 촬영 영상의 컬러 그룹핑하여 색정보를 획득한 후 상기 선형 정보와 색정보를 참조하여 실제 도로표지판 여부를 판정하는 것을 특징으로 한다.

본 발명은 위치 추적 기능만을 갖는 단독기기로 구현하거나 휴대폰 또는 PDA와 같은 휴대 단말기에 내장하여 구현할 수 있다.

이하, 본 발명을 도면에 의거 상세히 설명하면 다음과 같다.

본 발명의 실시예에서는 카메라 일체형 휴대폰에 위치 추적 기능이 장착되는 것으로 가정하여 설명하기로 한다.

도1은 본 발명의 실시예를 위한 위치 추적 장치의 블록도로서 이에 도시한 바와 같이, 도로표지판의 색깔, 크기 등의 규격 정보를 저장하는 표지판정보 관리부(160)와, 카메라(110)로 획득한 영상을 상기 표지판 정보 관리부(160)의 정보와비교, 분석하여 실제의 도로표지판 영상인지를 확인하는 도로표지판 감지부(120)와, 상기 검증된 도로표지판 영상으로부터 텍스트 정보(지명, 구간거리) 및 그래픽 정보(도식화된 방향정보)를 추출하는 위치정보 추출부(130)와, 상기 추출된 텍스트 정보 및 그래픽 정보를 이전에 획득한 정보와 비교, 분석하여 현재 위치를 파악하는 위치정보 분석부(140)와, 이 위치정보 분석부(140)에서 획득한 텍스트 및 그래픽 기반의 위치 정보를 저장하는 위치정보 저장부(170)와, 상기 파악된 현재 위치 정보를 지도 정보와 매핑시키는 지도 검색부(180)와, 상기에서 파악된 현재 위치 정보를 휴대 단말기 화면에 텍스트 또는/및 그래픽으로 디스플레이하는 정보 출력부(150)를 구비하여 구성한다.

이와같이 구성한 본 발명의 실시예에서 각 블록의 상세 동작을 설명하면 다음과 같다.

상기 카메라(110)는 휴대폰에 내장 또는 외장형으로 장착되어 운전자가 목적지로 차량을 운전할 때 도로표지판이 설치된 위치의 영상을 획득하여 도로표지판 감지부(120)로 전달한다. 카메라(110)는 줌 기능을 구비되어 운행 중인 차량 전방의 전체적인 사물이 아닌 도로표지판이 설치된 위치의 사물 영상만을 획득하도록 조정할 수 있다.

상기 도로표지판 감지부(120)의 동작을 도2의 동작 순서도를 참조하여 설명하면, 카메라(110)에서 실시간 모니터링하면서 영상을 획득하면 선형 정보를 추출하기 위한 이진 영상과 컬러 정보를 이용할 수 있는 컬러 영상로 분리한 후 이진 영상과 컬러 영상 각각에 대해 디지털 영상처리 기법으로 처리하여 노이즈 영상을제거하고 이진 영상으로부터 선형 정보를 추출하여 규격 등의 유효 정보를 획득하고 추출함과 동시에 컬러 영상에 대해 컬러 그룹핑하여 색정보를 획득한 후 그 규격 등의 유효 정보와 색정보를 표지판정보 관리부(160)에 저장되어 있는 정보와비교하여 상기에서 촬영한 영상이 도로표지판 정보 획득에 유효한 영상인지를 판단한다.

만일, 밤이나 이상 기후로 인해서 도로표지판 인식이 어려울 경우에도 표지판은 도로 교통법에 의해 규격화되어 있기 때문에 표지판정보 관리부(160)에 저장되어 있는 데이터와 비교하여 유효한 도로표지판 영상인지를 판단할 수 있다. 이 경우, 가상 유사한 표지판으로 매칭하는 방법을 사용할 수도 있다.

상기 위치정보 추출부(130)는 도로표지판 감지부(120)에서 유효한 도로표지판 영상으로 판정된 경우 텍스트(지명, 거리 정보), 그래픽 정보(방향 표시)를 추출하여 획득한다. 이때, 텍스트 인식은 디지털 영상처리 기술인 OCR(optical character reader ; 광학식 문자 판독기)을 이용한다. 일반적으로 도로표지판은 도3의 예시도와 같다.

상기 위치정보 분석부(140)는 위치정보 추출부(130)에서 추출한 텍스트 정보 및 그래픽 정보를 위치정보 저장부(170)에 저장한 후 운행 초기에 위치정보 저장부(170)에 저장하여 놓은 출발지, 경유지 및 목적지의 지명과 상기 위치정보 추출부(130)에서 추출한 현재 지명을 비교, 분석하여 현재 위치를 파악하고 이전에 파악한 위치 정보와 연계하여 남은 거리를 산출한다. 이때, 현재 위치의 지명, 남은 거리 및 판독 시간을 상기 위치정보 저장부(170)에 저장한다.

상기와 같은 과정을 도로표지판 영상을 획득할 때마다 반복 수행하여 목적지로 향하면서 경유하는 현재 위치의 정보를 데이터베이스(DB)화하여 위치정보 저장부(170)에 차례로 저장하게 된다. 상기 데이터베이스(DB) 내에 저장되는 라우트(route)의 구조는 도4의 예시도와 같다.

또한, 연속 표지판 인식으로 얻은 지명 중 유효한 현재 지명을 빈도수 계산을 통해 획득하여 현재 지명은 아니지만 주변정보 일 수 있는 지명과 거리 정보들을 하나의 라우트로 위치정보 저장부(170)에 저장할 수 있다.

본 발명의 실시예로 제시된 도1의 시스템에서는 상기와 같은 방식으로 라우트별 관리가 이루어지게 된다.

상기 지도 검색부(180)는 위치정보 분석부(140)에서 파악되어 위치정보 저장부(170)에 저장되어 있는 현재 위치 정보를 내장된 지도에 반영하여 그래픽화한 후 정보 출력부(150)로 출력한다.

상기 정보 출력부(180)는 위치정보 분석부(150)에서 획득한 현재 위치정보를 휴대폰 화면에 문자로 표시하게 된다. 아울러 지도 검색부(180)에서 현재 위치를 표시한 그래픽화된 지도를 휴대폰 화면에 표시한다. 이때, 문자 정보와 지도 정보는 동일한 화면 상에 한번에 디스플레이하거나 순차적으로 디스플레이할 수 있다.

또한, 상기 정보 출력부(180)는 기지국을 이용하여 다른 사용자에게 자신의 위치를 알리도록 무선 통신부(도면 미도시)와 연동시키거나 운전자 앞 유리창에 현재 감지한 도로표지판 영상 또는 현재 위치 및 지도 정보를 표시하도록 HUD(Head Up Display) 기술과 연동시킬 수 있다.

한편, 상기와 같은 동작을 수행하는 본 발명의 실시예에서의 일련의 동작 및 작용 효과를 설명하면 다음과 같다.

우선, 운전자는 휴대폰의 위치 추적 기능을 설정하고 엘시디(LCD) 화면에 표시되는 위치 설정 화면에서 출발지, 목적지를 입력한다. 이때, 운전자가 운행할 경유지를 고려하여 출발지로부터 목적지까지의 경유지를 입력시킬 수 있는 화면도 제공하도록 구현할 수 있다.

이후, 운전자는 휴대폰에 장착된 카메라(110)가 전방 사물 특히, 도로 표지판이 설치된 위치를 촬영할 수 있도록 상기 카메라(110)의 촬영 방향을 조정하고 상기 카메라(110)를 작동시키게 된다.

이후, 운전자가 목적지로 차량을 운전하게 되면 카메라(110)는 전방에 설치된 사물을 촬영하게 되고 도로표지판 감지부(120)는 상기 카메라(110)가 촬영하는 영상으로부터 표지판 규격, 텍스트 등에 관련한 선형 정보 및 표지판 도색에 관련한 색 정보를 추출하여 실제 도로 상에 설치되어 있는 도로표지판의 촬영 영상인지를 검증하게 된다.

이때, 실제 도로 상에 설치된 도로표지판의 영상으로 검증되면 위치정보 추출부(130)는 텍스트 관련한 선형 정보와 색 정보를 분석하여 지명, 구간거리, 도로번호 및 도식화된 길 정보를 획득한다.

이에 따라, 위치정보 분석부(140)는 위치정보 분석부(130)에서 획득한 지명, 구간거리 및 도식화된 길 정보를 분석하여 현재 지명를 파악하고 목적지까지 현재 남은 거리를 산출한다. 여기서, 현재 지명은 위치정보 분석부(130)에서 획득한 지명과 사용자가 운전 초기에 입력한 지명을 비교하여 파악할 수 있다.

이때, 위치정보 저장부(170)는 위치정보 추출부(130)에서 획득한 지명, 구간거리, 도식화된 길 정보 및 위치정보 분석부(140)에서 파악한 현재 지명 및 판독시간을 데이터베이스(DB)화하여 저장하게 된다.

또한, 지도 검색부(180)는 미리 내장되어 있는 지도와 연동하여 위치정보 저장부(170)에 저장된 현재 지명 및 남은 거리를 매핑시킴에 의해 지도 상에서 현재 위치를 파악하고 목적지까지의 도착 정보를 산출하게 된다.

따라서, 정보 출력부(150)는 위치정보 분석부(140)로부터 현재 지명, 도식화된 길 정보 및 지도 검색부(180)로부터 현재 위치가 매핑된 지도 정보를 입력받아 즉, 휴대폰의 화면에 그래픽화된 지도와 함께 현재 위치를 디스플레이할 수 있다.

그런데, 위치 추적 관련 정보는 단말기 화면에 디스플레이하는 방식만이 아니라 기지국으로 송신하여 자신의 위치를 특정인에게 알려주거나 위치 추적 기능과는 별도로 HUD(Head Up Display)를 이용하여 직접 운전자 앞 유리창에 감지한 교통 표지판을 디스플레이하도록 다양하게 설정할 수 있다.

상기에서 상세히 설명한 바와 같이 본 발명은 GPS 기능 없이 카메라가 장착된 휴대 단말기만을 이용하여 도로 표지판을 인식한 후 현재 위치 및 최종 목적지로 가는 길을 알려주며, 운전자가 미처 보지 못하는 교통 표지판 영상을 제공하여 안전 운전을 지원할 수 있는 효과가 있다.

또한, 본 발명은 디지털 영상처리 기술을 적용함으로써 경계, 이정, 방향,노선 표시 등의 도로 표지판 뿐만 아니라 광고 간판과 같은 특정 목적의 표지판을 인식할 수 있어 도심에서도 사용자가 원하는 위치를 쉽게 찾도록 구성할 수 있다.

Claims

카메라가 외장 또는 내장된 휴대 단말기에 있어서, 카메라로 획득한 영상을 분석하여 도로표지판 영상인지를 확인하는 도로표지판 감지 수단과,

상기 검증된 도로표지판 영상으로부터 위치 관련한 텍스트 정보(지명, 구간거리) 및 그래픽 정보(도식화된 방향정보)를 추출하고 그 추출된 텍스트 정보 및 그래픽 정보를 분석하여 현재 위치를 파악하는 위치정보 추출 및 분석 수단과,

상기의 현재 위치 정보 텍스트 또는/및 그래픽화된 위치 정보를 디스플레이하는 정보 출력 수단을 구비하여 구성함을 특징으로 하는 디지털 영상 처리 기술을 이용한 위치 추적 시스템.
제1항에 있어서, 위치정보 추출 및 분석 수단에서 파악된 현재 위치 정보를 지도 정보와 매핑시켜 정보 출력 수단으로 전달하는 지도 검색 수단을 포함하여 구성함을 특징으로 하는 디지털 영상 처리 기술을 이용한 위치 추적 시스템.
제1항에 있어서, 운행 초기에 사용자가 입력한 출발지, 경유지, 목적지 정보를 저장함과 아울러 위치정보 추출 및 분석 수단에서의 획득한 텍스트 및 그래픽 기반의 위치 정보를 저장하고 필요에 따라 상기 위치정보 추출 및 분석 수단과 지도 검색 수단으로 제공하는 위치정보 저장 수단을 더 포함하여 구성함을 특징으로 하는 디지털 영상 처리 기술을 이용한 위치 추적 시스템.
제1항에 있어서, 도로표지판 감지 수단은

카메라로 촬영한 영상을 이진 영상과 컬러 영상으로 분리하고 이진영상으로부터 선형 정보를 추출하여 도로표지판 규격 등의 유효 정보를 획득함과 아울러 컬러 영상을 그룹핑하여 색 정보를 획득하여 미리 저장되어 있는 도로표지판 규격 정보와 비교함에 의해 유효 도로표지판 영상인지를 판단하도록 구성함을 특징으로 하는 디지털 영상 처리 기술을 이용한 위치 추적 시스템.
제1항에 있어서, 위치정보 추출 및 분석 수단은

도로표지판 감지 수단에서 유효 도로표지판 영상으로 검증하면 그 도로표지판 감지 수단에서 추출한 선형 정보와 색 정보를 처리하여 지명, 도로명, 구간거리 등의 텍스트 정보 및 방향 표시와 같은 그래픽 정보를 획득하고

상기 텍스트 정보를 이전에 획득한 정보와 비교, 분석하여 현재 위치, 목적지까지 남은 거리를 산출하도록 구성함을 특징으로 하는 디지털 영상 처리 기술을 이용한 위치 추적 시스템.
제1항에 있어서, 정보 출력 수단은

특정인에게 무선으로 현재 위치를 알리기 위해 무선 통신 수단을 연동시키도록 구성함을 특징으로 하는 디지털 영상 처리 기술을 이용한 위치 추적 시스템.
제1항에 있어서, 정보 출력 수단은

도로표지판, 현재 파악된 위치, 현재 위치와 매칭된 지도를 운전자에게 디스플레이시키기 위해 HUD(Head Up Display) 수단을 연동시키도록 구성함을 특징으로 하는 디지털 영상 처리 기술을 이용한 위치 추적 시스템.
출발지, 경유지, 목적지 등의 정보를 데이터베이스(DB)에 저장하는 단계와,

차량 운행 중 전방 영상을 촬영하는 단계와,

상기 촬영된 영상 중 도로표지판 영상을 추출하는 단계와,

상기 도로표지판 영상으로부터 위치 관련한 텍스트 및 그래픽 정보를 추출하고 현재 위치를 파악하는 단계와,

상기 파악된 현재 위치를 화면에 디스플레이하는 단계를 수행함을 특징으로 하는 디지털 영상 처리 기술을 이용한 위치 추적 방법.
제8항에 있어서, 현재 위치를 지도 상에 매칭시켜 디스플레이하는 단계를 포함하여 구성함을 특징으로 하는 디지털 영상 처리 기술을 이용한 위치 추적 방법.
제8항에 있어서, 도로표지판 추출 단계는

촬영 영상을 이진 영상으로 변환한 후 라인(line) 등의 선형 정보로부터 규격 관련 정보를 획득하는 과정과,

촬영 영상의 컬러 그룹핑하여 색정보를 획득하는 과정과,

상기 선형 정보와 색정보를 분석하여 유효 도로표지판 여부를 판정하는 과정으로 이루어짐을 특징으로 하는 디지털 영상 처리 기술을 이용한 위치 추적 방법.
제8항에 있어서, 위치 추출 단계는

도로표지판 영상으로부터 추출된 이진 영상으로부터 지명, 도로명, 구간거리 등의 텍스트 정보를 추출하여 저장하는 과정과,

상기 추출된 지명을 데이터베이스에 미리 저장되어 있는 경유지 및 목적지의 지명과 비교하여 현재 위치를 파악하고 목적지까지의 남은 거리를 산출는 과정과,

상기 텍스트 정보, 현재 위치, 남은거리, 판독 시간을 데이터베이스에 저장하는 과정을 수행함을 특징으로 하는 디지털 영상 처리 기술을 이용한 위치 추적 방법.
제11항에 있어서, 현재 위치는 연속적으로 얻은 지명의 빈도수를 계산하여 파악하는 것을 특징으로 하는 디지털 영상 처리 기술을 이용한 위치 추적 방법.