KR20150018990A - 운전 주의 정보 안내 장치 및 방법 - Google Patents

운전 주의 정보 안내 장치 및 방법 Download PDF

Info

Publication number
KR20150018990A
KR20150018990A KR20130095255A KR20130095255A KR20150018990A KR 20150018990 A KR20150018990 A KR 20150018990A KR 20130095255 A KR20130095255 A KR 20130095255A KR 20130095255 A KR20130095255 A KR 20130095255A KR 20150018990 A KR20150018990 A KR 20150018990A
Authority
KR
South Korea
Prior art keywords
image
matching
information
area
attention
Prior art date
Application number
KR20130095255A
Other languages
English (en)
Other versions
KR102074209B1 (ko
Inventor
변오성
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020130095255A priority Critical patent/KR102074209B1/ko
Publication of KR20150018990A publication Critical patent/KR20150018990A/ko
Application granted granted Critical
Publication of KR102074209B1 publication Critical patent/KR102074209B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 내비게이션 장치를 통해 미리 획득된 영상과 운행 중에 카메라 장치를 통해 획득된 영상을 비교하여 교통 표지판 정보와 같은 운전 주의 정보를 생성 출력하는 운전 주의 정보 안내 장치 및 방법을 제안한다. 본 발명에 따른 운전 주의 정보 안내 장치는 내비게이션 장치에 저장된 맵 정보로부터 주행 경로 상에서의 주의 정보 영상을 추출하는 주의 정보 영상 추출부; 주행 경로를 따라 운행하는 차량에서 전방 영상을 획득하는 전방 영상 획득부; 전방 영상에 주의 정보 영상과 매칭되는 영역이 포함되어 있는지 여부를 판별하는 매칭 판별부; 및 전방 영상에 매칭되는 영역이 포함되어 있는 것으로 판별되면 매칭되는 영역에 대한 영상이나 정보를 출력하는 매칭 영역 출력부를 포함한다.

Description

운전 주의 정보 안내 장치 및 방법 {Apparatus and method for guiding caution information of driving}
본 발명은 제한 속도, 과속방지턱 유무 등 특정 구간에서의 운전 주의 정보를 안내하는 장치 및 방법에 관한 것이다.
차량을 이용한 이동이 일반화되면서 도로에는 원활한 주행과 안전 운전을 목적으로 차량의 운전자에게 주행에 필요한 정보를 제공하는 교통 표지판이 설치된다.
일반적으로 교통 표지판은 종류에 따라서 교통 정보 표지판, 이정 표지판, 기상 정보 현황판, 대기오염 현황판, 교통사고 현황판, 시정 정보판, 광고판 등이 제공될 수 있다.
최근 시력이 약한 운전자나 고령의 운전자가 증가함에 따라 교통 표지판의 정보를 정확하게 전달해줄 수 있는 안전 운전 보조 시스템의 개발 필요성이 증가하고 있다.
또한 지능형 무인 자동차를 개발하기 위하여 비전 기반 교통 표지판 인식 시스템의 개발이 함께 요구되고 있으며 이에 따라 교통 표지판 검출 및 인식 모델에 대한 관심이 집중되고 있다.
그러나 기존의 교통 표지판 검출 모델은 기후 및 조도 변화, 카메라가 장착된 자동차의 움직임으로 인한 영상의 블러링 및 갑작스런 색상 대비 변화, 그리고 교통 표지판의 가려짐 및 기울어짐으로 인한 모양 변화 등으로 인하여 교통 표지판의 검출 성능이 낮은 문제점이 있다.
국내공개특허 제2013-0067463호는 교통 표지판을 인식하는 시스템에 대하여 기술하고 있다. 그러나 이 시스템도 도로를 이동하면서 촬영하여 획득되는 영상으로부터 교통 표지판을 인식하기 때문에 주변 환경 및 카메라의 상태에 따라 색상 특성과 형태적 특성이 변화되므로 전술한 문제점을 해결하지 못한다.
본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 내비게이션 장치를 통해 미리 획득된 영상과 운행 중에 카메라 장치를 통해 획득된 영상을 비교하여 교통 표지판 정보와 같은 운전 주의 정보를 생성 출력하는 운전 주의 정보 안내 장치 및 방법을 제안함을 목적으로 한다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 내비게이션 장치에 저장된 맵 정보로부터 주행 경로 상에서의 주의 정보 영상을 추출하는 주의 정보 영상 추출부; 상기 주행 경로를 따라 운행하는 차량에서 전방 영상을 획득하는 전방 영상 획득부; 상기 전방 영상에 상기 주의 정보 영상과 매칭되는 영역이 포함되어 있는지 여부를 판별하는 매칭 판별부; 및 상기 전방 영상에 상기 매칭되는 영역이 포함되어 있는 것으로 판별되면 상기 매칭되는 영역에 대한 영상이나 상기 매칭되는 영역에 대한 정보를 출력하는 매칭 영역 출력부를 포함하는 것을 특징으로 하는 운전 주의 정보 안내 장치를 제안한다.
바람직하게는, 상기 매칭 판별부는, 상기 전방 영상에서 관심 영역을 추출하는 관심 영역 추출부; 상기 관심 영역과 상기 주의 정보 영상을 템플릿 매칭시켜 상기 관심 영역과 상기 주의 정보 영상의 유사성을 판단하는 템플릿 매칭부; 및 상기 관심 영역이 상기 주의 정보 영상과 유사한 것으로 판단되면 상기 관심 영역을 상기 주의 정보 영상에 매칭되는 영역으로 판별하고, 상기 관심 영역이 상기 주의 정보 영상과 유사하지 않은 것으로 판단되면 상기 관심 영역을 상기 주의 정보 영상에 매칭되지 않는 영역으로 판별하는 유사도 판별부를 포함한다.
바람직하게는, 상기 템플릿 매칭부는 상기 주의 정보 영상에 포함된 특징점들 간 제1 유클리디안 거리(Euclidean Distance)와 상기 관심 영역에 포함된 특징점들 간 제2 유클리디안 거리를 비교하여 상기 유사성을 판단한다.
바람직하게는, 상기 템플릿 매칭부는 상기 관심 영역이 한개일 때 상기 제1 유클리디안 거리와 상기 제2 유클리디안 거리의 차이값이 기준값 이하인 관심 영역을 상기 주의 정보 영상과 유사한 영상으로 판단하고, 상기 관심 영역이 적어도 두개일 때 상기 차이값이 가장 작은 관심 영역을 상기 주의 정보 영상과 유사한 영상으로 판단한다.
바람직하게는, 상기 관심 영역 추출부는 상기 전방 영상을 영역 영상들로 분할하고 상기 영역 영상들 중 상측이나 외곽에 위치하는 영역 영상을 상기 관심 영역으로 추출한다.
바람직하게는, 상기 관심 영역 추출부는 적어도 하나의 가로선 또는 적어도 하나의 세로선을 이용하여 상기 전방 영상을 상기 영역 영상들로 분할한다.
바람직하게는, 상기 주의 정보 영상 추출부는 상기 주의 정보 영상으로 제한 속도가 표시된 교통표지판 영상, 과속방지턱 영상, 진입로 영상 및 진출로 영상 중 적어도 하나의 영상을 추출한다.
바람직하게는, 상기 매칭 영역 출력부는 상기 차량의 클러스터 또는 HUD(Head Up Display)에 상기 매칭되는 영역에 대한 영상이나 상기 매칭되는 영역에 대한 정보를 출력한다.
바람직하게는, 상기 주의 정보 영상 추출부는 상기 주행 경로가 설정되면 상기 주행 경로 상의 모든 구간에서 상기 주의 정보 영상을 일괄적으로 추출하거나, GPS를 통해 확인된 상기 차량의 현재 위치가 특정 지점에 도달할 때마다 상기 특정 지점에서의 상기 주의 정보 영상을 추출한다.
또한 본 발명은 내비게이션 장치에 저장된 맵 정보로부터 주행 경로 상에서의 주의 정보 영상을 추출하는 주의 정보 영상 추출 단계; 상기 주행 경로를 따라 운행하는 차량에서 전방 영상을 획득하는 전방 영상 획득 단계; 상기 전방 영상에 상기 주의 정보 영상과 매칭되는 영역이 포함되어 있는지 여부를 판별하는 매칭 판별 단계; 및 상기 전방 영상에 상기 매칭되는 영역이 포함되어 있는 것으로 판별되면 상기 매칭되는 영역에 대한 영상이나 상기 매칭되는 영역에 대한 정보를 출력하는 매칭 영역 출력 단계를 포함하는 것을 특징으로 하는 운전 주의 정보 안내 방법을 제안한다.
바람직하게는, 상기 매칭 판별 단계는, 상기 전방 영상에서 관심 영역을 추출하는 관심 영역 추출 단계; 상기 관심 영역과 상기 주의 정보 영상을 템플릿 매칭시켜 상기 관심 영역과 상기 주의 정보 영상의 유사성을 판단하는 템플릿 매칭 단계; 및 상기 관심 영역이 상기 주의 정보 영상과 유사한 것으로 판단되면 상기 관심 영역을 상기 주의 정보 영상에 매칭되는 영역으로 판별하고, 상기 관심 영역이 상기 주의 정보 영상과 유사하지 않은 것으로 판단되면 상기 관심 영역을 상기 주의 정보 영상에 매칭되지 않는 영역으로 판별하는 유사도 판별 단계를 포함한다.
바람직하게는, 상기 템플릿 매칭 단계는 상기 주의 정보 영상에 포함된 특징점들 간 제1 유클리디안 거리(Euclidean Distance)와 상기 관심 영역에 포함된 특징점들 간 제2 유클리디안 거리를 비교하여 상기 유사성을 판단한다.
바람직하게는, 상기 템플릿 매칭 단계는 상기 관심 영역이 한개일 때 상기 제1 유클리디안 거리와 상기 제2 유클리디안 거리의 차이값이 기준값 이하인 관심 영역을 상기 주의 정보 영상과 유사한 영상으로 판단하고, 상기 관심 영역이 적어도 두개일 때 상기 차이값이 가장 작은 관심 영역을 상기 주의 정보 영상과 유사한 영상으로 판단한다.
바람직하게는, 상기 관심 영역 추출 단계는 상기 전방 영상을 영역 영상들로 분할하고 상기 영역 영상들 중 상측이나 외곽에 위치하는 영역 영상을 상기 관심 영역으로 추출한다.
바람직하게는, 상기 관심 영역 추출 단계는 적어도 하나의 가로선 또는 적어도 하나의 세로선을 이용하여 상기 전방 영상을 상기 영역 영상들로 분할한다.
바람직하게는, 상기 주의 정보 영상 추출 단계는 상기 주의 정보 영상으로 제한 속도가 표시된 교통표지판 영상, 과속방지턱 영상, 진입로 영상 및 진출로 영상 중 적어도 하나의 영상을 추출한다.
바람직하게는, 상기 매칭 영역 출력 단계는 상기 차량의 클러스터 또는 HUD(Head Up Display)에 상기 매칭되는 영역에 대한 영상이나 상기 매칭되는 영역에 대한 정보를 출력한다.
바람직하게는, 상기 주의 정보 영상 추출 단계는 상기 주행 경로가 설정되면 상기 주행 경로 상의 모든 구간에서 상기 주의 정보 영상을 일괄적으로 추출하거나, GPS를 통해 확인된 상기 차량의 현재 위치가 특정 지점에 도달할 때마다 상기 특정 지점에서의 상기 주의 정보 영상을 추출한다.
본 발명은 내비게이션 장치를 통해 미리 획득된 영상과 운행 중에 카메라 장치를 통해 획득된 영상을 비교하여 교통 표지판 정보와 같은 운전 주의 정보를 생성 출력함으로써 다음 효과를 얻을 수 있다.
첫째, 검출하고자 하는 객체 정보를 미리 인식하여 검출함으로써 주변 환경에 덜 민감하며, 인식하고자 하는 정보를 내비게이션 장치로부터 사전에 입력받기 때문에 검출 및 인식의 정확도를 향상시킬 수 있다.
둘째, 저가형 카메라를 이용하더라도 내비게이션 장치와 연동이 되기 때문에 획득 영상에 대한 신뢰성을 보장할 수 있다.
셋째, 내비게이션 장치와의 연동으로 카메라만으로 검출이 불가능한 객체 정보도 얻을 수 있어 다양한 객체 검출이 가능하다.
도 1은 본 발명의 바람직한 실시예에 따른 운전 주의 정보 안내 장치를 개략적으로 도시한 블록도이다.
도 2는 도 1에 도시된 매칭 판별부의 내부 구성을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 교통 표지판 인식 시스템을 개략적으로 도시한 개념도이다.
도 4는 본 발명의 바람직한 실시예에 따른 운전 주의 정보 안내 방법을 개략적으로 도시한 흐름도이다.
도 5는 본 발명에 따른 관심 영역 추출 과정을 설명하기 위한 참고도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.
도 1은 본 발명의 바람직한 실시예에 따른 운전 주의 정보 안내 장치를 개략적으로 도시한 블록도이다.
본 발명에 따른 운전 주의 정보 안내 장치(100)는 대부분의 차량이 내비게이션을 장착하고 내비게이션의 맵 정보를 주기적으로 갱신하여 최신 정보 상태를 유지한다는 것에 착안하여, 내비게이션의 맵 정보에 포함되어 있는 속도 표지판 등 교통 표지판 정보를 차량 전방 카메라에 입력하여 교통 표지판을 인식하여 차량의 클러스터, HUD(Head Up Display) 등에 경고 및 정보를 표시하는 것을 특징으로 한다. 이하 도 1을 참조하여 운전 주의 정보 안내 장치(100)에 대하여 자세하게 설명한다.
도 1에 따르면, 운전 주의 정보 안내 장치(100)는 주의 정보 영상 추출부(110), 전방 영상 획득부(120), 매칭 판별부(130), 매칭 영역 출력부(140), 전원부(150) 및 주제어부(160)를 포함한다.
전원부(150)는 운전 주의 정보 안내 장치(100)를 구성하는 각 구성에 전원을 공급하는 기능을 수행한다. 주제어부(160)는 운전 주의 정보 안내 장치(100)를 구성하는 각 구성의 전체 작동을 제어하는 기능을 수행한다. 운전 주의 정보 안내 장치(100)가 차량 내 ECU(Electronic Control Unit)에 탑재될 수 있음을 고려할 때 전원부(150)와 주제어부(160)는 운전 주의 정보 안내 장치(100)에 구비되지 않아도 무방하다.
주의 정보 영상 추출부(110)는 내비게이션 장치에 저장된 맵 정보로부터 주행 경로 상에서의 주의 정보 영상을 추출하는 기능을 수행한다.
주의 정보 영상 추출부(110)는 내비게이션 장치에 주행 경로가 설정되면 주행 경로 상의 모든 구간에 대하여 주의 정보 영상을 일괄적으로 추출할 수 있다. 그러나 본 실시예에서 이에 한정되는 것은 아니며, 주의 정보 영상 추출부(110)는 내비게이션 장치와 연동된 채 GPS를 통해 확인된 차량의 현재 위치가 특정 지점에 도달할 때마다 그 지점에서의 주의 정보 영상을 추출하는 것도 가능하다.
주의 정보 영상 추출부(110)는 주의 정보 영상으로 제한 속도가 표시된 교통표지판 영상, 과속방지턱 영상, 진입로 영상 및 진출로 영상 중 적어도 하나의 영상을 추출할 수 있다.
전방 영상 획득부(120)는 주행 경로를 따라 운행하는 차량에서 전방 영상을 획득하는 기능을 수행한다. 전방 영상 획득부(120)는 차량 내에 전방을 향하도록 장착된 카메라 장치를 이용하여 전방 영상을 획득할 수 있다.
매칭 판별부(130)는 전방 영상 획득부(120)에 의해 획득된 전방 영상에 주의 정보 영상 추출부(110)에 의해 추출된 주의 정보 영상과 매칭되는 영역이 포함되어 있는지 여부를 판별하는 기능을 수행한다. 매칭 판별부(130)에 대한 보다 자세한 설명은 도 2를 참조하여 후술한다.
매칭 영역 출력부(140)는 매칭 판별부(130)에 의해 전방 영상에 주의 정보 영상과 매칭되는 영역이 포함되어 있는 것으로 판별되면 그 영역(즉 매칭되는 영역)에 대한 영상이나 정보를 출력하는 기능을 수행한다.
매칭 영역 출력부(140)는 본 실시예에서 클러스터, HUD 등을 통해 영상이나 정보를 화면으로 출력할 수 있으며, 내비게이션 장치나 스피커를 통해 음성으로 출력하는 것도 가능하다.
다음으로 매칭 판별부(130)에 대하여 설명한다. 도 2는 도 1에 도시된 매칭 판별부의 내부 구성을 도시한 블록도이다.
도 2에 따르면 매칭 판별부(130)는 관심 영역 추출부(131), 템플릿 매칭부(132) 및 유사도 판별부(133)를 포함한다.
관심 영역 추출부(131)는 전방 영상에서 관심 영역을 추출하는 기능을 수행한다.
관심 영역 추출부(131)는 적어도 하나의 가로선이나 적어도 하나의 세로선을 이용하여 전방 영상을 복수개의 영역 영상들로 분할하고 그 중에서 선택된 영역 영상들을 관심 영역으로 추출할 수 있다. 관심 영역 추출부(131)는 영역 영상들 중 상측이나 외곽에 위치하는 영역 영상을 관심 영역으로 추출할 수 있다.
템플릿 매칭부(132)는 관심 영역 추출부(131)에 의해 추출된 관심 영역과 주의 정보 영상을 템플릿 매칭시켜 관심 영역과 주의 정보 영상의 유사성을 판단하는 기능을 수행한다.
템플릿 매칭부(132)는 주의 정보 영상에 포함된 특징점들 간 제1 유클리디안 거리(Euclidean Distance)와 관심 영역에 포함된 특징점들 간 제2 유클리디안 거리를 비교하여 유사성을 판단할 수 있다. 이하 교통 표지판 영상을 주의 정보 영상의 예로 들어 설명한다.
종래에는 교통 표지판이 무엇인지 모르는 상태에서 입력 영상으로부터 교통 표지판을 검출해야 하기 때문에 사전에 교통 표지판의 특징점을 학습하는 단계가 필요하였다. 이 경우 교통 표지판 학습 데이터베이스를 구축해야 하는 불편이 따르며, 교통 표지판의 형태가 매우 다양하여 검출 성능이 떨어지는 문제점도 있었다.
본 발명에서는 내비게이션 장치를 이용하여 특정 지점에서의 교통 표지판 영상을 미리 획득하기 때문에 데이터베이스를 구축해야 하는 불편을 없앨 수가 있으며, 특정 지점에 설치된 교통 표지판 영상을 확보함으로써 검출 성능도 높일 수가 있다.
내비게이션 장치로부터 교통 표지판 영상이 입력되면 템플릿 매칭부(132)는 교통 표지판 영상을 이용하여 템플릿 매칭을 진행한다. 본 실시예에서는 템플릿 매칭 과정이 2 단계로 이루어진다.
1 단계는 유사성을 수행하는 단계이다. 먼저 내비게이션 장치로부터 입력된 교통 표지판 영상과 카메라 영상을 비교하여 상관계수 맵을 구한다. 이후 카메라 영상에서 관심 영역을 탐색하고, 그 후에 유사성을 구한다.
유사성은 유클리디안 거리를 계산하는 방법을 이용할 수 있으며, 다음 수학식 1을 이용하여 구할 수 있다.
Figure pat00001
상기에서, d는 유클리디안 거리(Euclidean Distance)를 의미한다. I는 전체 영상을 의미하며, x와 y는 I 영상 내의 좌표값(위치)을 의미한다. g는 n×m 영상 즉 관심 영역 영상을 의미한다.
2 단계는 최대값을 구하는 단계로서, 이 단계에서는 1 단계에서 유사성 있는 것들로 선별된 것들 중에서 최대 유사성을 갖는 값을 찾는 것이다. 이 단계는 최대최소(MiniMax) 방법을 이용하여 수행한다.
템플릿 매칭부(132)는 관심 영역이 한 개일 때 제1 유클리디안 거리와 제2 유클리디안 거리의 차이값이 기준값 이하인 관심 영역을 주의 정보 영상과 유사한 영상으로 판단할 수 있다. 따라서 이 경우에는 1 단계만 수행되어도 무방하다.
그러나 관심 영역이 두개 이상일 때에는 주의 정보 영상과 유사한 영상이 두개 이상 검출될 수 있으므로 본 실시예에서는 이 경우 차이값이 가장 작은 관심 영역을 주의 정보 영상과 유사한 영상으로 판단하는 것이 바람직하다. 따라서 이 경우를 참작할 때 1 단계와 더불어 2 단계까지 수행되는 것이 바람직하다.
유사도 판별부(133)는 주의 정보 영상과 유사한 영상으로 판단된 관심 영역이 검출되면 이 관심 영역을 주의 정보 영상에 매칭되는 영역으로 판별한다.
다음으로 운전 주의 정보 안내 장치(100)를 구비하는 시스템에 대하여 설명한다. 이하에서는 주의 정보 영상의 일례로 교통 표지판 영상을 인식하는 시스템에 대하여 설명한다. 도 3은 본 발명의 일실시예에 따른 교통 표지판 인식 시스템을 개략적으로 도시한 개념도이다.
교통 표지판 인식 시스템(300)은 차량에 장착되어 있는 내비게이션의 맵 정보에 포함되어 있는 교통 표지판 정보를 카메라의 입력으로 받아, 차량 전방의 일정 거리 내의 교통 표지판을 검출 및 인식하는 시스템이다.
기존의 교통 표지판 인식 시스템은 카메라 단독으로 인식하는 방식으로 카메라의 전방 영상을 입력받아 전체 영역에서 교통 표지판을 검출한 후, 검출된 표지판이 무엇인지 인식하는 부분을 수행해야 한다. 여기서 검출 단계에서는 교통 표지판의 컬러나 모양을 이용하여 검출하게 되는데 이는 시스템의 계산을 복잡하게 만드는 문제점이 있다.
본 발명에서 제안되는 시스템의 인식 단계는 내비게이션에서 정보가 미리 입력이 되므로 검출 단계만을 수행하면 된다. 또한 내비게이션에서 교통 표지판 정보가 입력될 때만 카메라가 교통 표지판을 검출하면 된다.
도 3은 제안하는 시스템의 구성도이다. 시스템(300)의 구성은 차량(310) 내부에 내비게이션(320), 센싱부(330), 신호 처리부(340), 디스플레이부(350) 등으로 구성되어 있다.
내비게이션(320)은 속도 표지판 정보(321)를 포함하는 장치이고, 센싱부(330)는 내비게이션(320)으로부터 속도 표지판 정보를 입력으로 받아 전방의 영상을 취득하는 카메라를 이용한다. 이때 카메라는 영상을 실시간으로 저장 및 디스플레이가 가능하다.
신호 처리부(340)는 센싱부(330)에서 입력으로 취득한 영상에서 속도 표지판(341)을 검출하는 부분으로, 미리 내비게이션(320)으로부터 속도 표지판의 정보를 제공받아 검출해야 할 정보를 인지하고 있다.
디스플레이부(350)는 신호 처리부(340)에서 동일한 속도 표지판 정보를 검출하면 차량 내부 클러스터나 HUD(Head up Display)에 표시한다(351).
도 4는 본 발명의 바람직한 실시예에 따른 운전 주의 정보 안내 방법을 개략적으로 도시한 흐름도이다. 도 4에서도 교통 표지판 영상을 주의 정보 영상의 일례로 들어 설명한다. 이하 설명은 도 1 및 도 4를 참조한다.
먼저 주의 정보 영상 추출부(110)가 내비게이션 장치에 저장된 맵 정보(S410)로부터 주행 경로 상에서의 교통 표지판 정보 영상을 추출한다(S420). S420 단계에서는 교통 표지판 영상 대신에 과속방지턱 영상이나 진출로 영상을 추출하는 것도 가능하다.
이후 전방 영상 획득부(120)가 주행 경로를 따라 운행하는 차량에서 전방 영상을 획득한다(S430).
이후 매칭 판별부(130)가 전방 영상에 교통 표지판 정보 영상과 매칭되는 영역이 포함되어 있는지 여부를 판별한다.
내비게이션에서 일정 위치에서 교통 표지판 정보가 발생하면 검출 알고리즘이 구동된다(S430). 전방 카메라로부터 입력 영상이 입력되면(S440), 이 입력 영상에서 관심 영역을 검출한다(S450).
S450 단계에서는 도 5의 (a) 내지 (c)에 도시된 바와 같이 입력 영상의 상단으로부터 2/5 위치를 기준으로 그 위나 아래에 일정 크기를 가지는 영상들(510 ~ 550)을 관심 영역으로 검출할 수 있다. 또한 이때 좌우 양측에 위치하는 영상들(510, 530, 540, 550)은 상하에 위치하는 영상들끼리(510과 540, 530과 550) 동일 크기를 가지도록 설정할 수 있다. 본 실시예에서 이와 같이 관심 영역을 결정하는 것은 차선 검출에서 소실점이 발생하는 위치가 입력 영상의 2/3 부분의 하단에 발생하기 때문이다.
한편 도 5에서 (a)와 (b)는 교통 표지판 영상의 예시이며, (c)는 진출로 영상에 대한 예시이다.
입력 영상에서 관심 영역이 검출되면 교통 표지판 영상과 이 관심 영역에 대하여 템플릿 매칭을 수행한다(S460).
이후 교통 표지판 영상에 매칭되는 관심 영역에 대하여 그 영상이나 정보를 클러스터나 HUD 등에 표시한다(S470).
이상 설명한 본 발명에 따른 교통 표지판 인식 시스템에 대하여 요약하면 다음과 같다.
첫째, 본 시스템은 내비게이션에 포함되어 있는 교통 표지판 정보를 이용하여 카메라에서 이 교통 표지판을 검출하고 인식하는 시스템이다. 교통 표지판 인식 시스템은 교통 표지판 정보 입력 단계, 교통 표지판 검출 단계, 경고 및 표시 단계 등을 순차적으로 수행한다. 교통 표지판 정보 발생은 내비게이션에서 출력된다.
둘째, 교통 표지판 검출을 위한 관심 영역은 입력 영상의 위부분에서 2/5 위치를 기준으로 검출할 수 있는데, 이 설정 단계는 카메라 설치 방법에 따라 약간의 조정이 가능하다. 또한 좌우 관심영역은 상하 영역에서 검출한 영역 크기와 동일하게 설정 가능하다.
셋째, 본 시스템은 인식 단계를 내비게이션에서 입력으로 받아 후처리가 필요 없으며, 인식 단계로 내비게이션에서 입력되는 교통 표지판 정보와 동일한 특징을 가진 객체를 관심 영역에서 검출하는 단계가 필요하다.
넷째, 본 시스템은 내비게이션과 연동하여 내비게이션에서 출력 가능한 다양한 정보를 기반으로 카메라에서 검출 가능하다.
이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 내비게이션 장치에 저장된 맵 정보로부터 주행 경로 상에서의 주의 정보 영상을 추출하는 주의 정보 영상 추출부;
    상기 주행 경로를 따라 운행하는 차량에서 전방 영상을 획득하는 전방 영상 획득부;
    상기 전방 영상에 상기 주의 정보 영상과 매칭되는 영역이 포함되어 있는지 여부를 판별하는 매칭 판별부; 및
    상기 전방 영상에 상기 매칭되는 영역이 포함되어 있는 것으로 판별되면 상기 매칭되는 영역에 대한 영상이나 상기 매칭되는 영역에 대한 정보를 출력하는 매칭 영역 출력부
    를 포함하는 것을 특징으로 하는 운전 주의 정보 안내 장치.
  2. 제 1 항에 있어서,
    상기 매칭 판별부는,
    상기 전방 영상에서 관심 영역을 추출하는 관심 영역 추출부;
    상기 관심 영역과 상기 주의 정보 영상을 템플릿 매칭시켜 상기 관심 영역과 상기 주의 정보 영상의 유사성을 판단하는 템플릿 매칭부; 및
    상기 관심 영역이 상기 주의 정보 영상과 유사한 것으로 판단되면 상기 관심 영역을 상기 주의 정보 영상에 매칭되는 영역으로 판별하고, 상기 관심 영역이 상기 주의 정보 영상과 유사하지 않은 것으로 판단되면 상기 관심 영역을 상기 주의 정보 영상에 매칭되지 않는 영역으로 판별하는 유사도 판별부
    를 포함하는 것을 특징으로 하는 운전 주의 정보 안내 장치.
  3. 제 2 항에 있어서,
    상기 템플릿 매칭부는 상기 주의 정보 영상에 포함된 특징점들 간 제1 유클리디안 거리(Euclidean Distance)와 상기 관심 영역에 포함된 특징점들 간 제2 유클리디안 거리를 비교하여 상기 유사성을 판단하는 것을 특징으로 하는 운전 주의 정보 안내 장치.
  4. 제 3 항에 있어서,
    상기 템플릿 매칭부는 상기 관심 영역이 한개일 때 상기 제1 유클리디안 거리와 상기 제2 유클리디안 거리의 차이값이 기준값 이하인 관심 영역을 상기 주의 정보 영상과 유사한 영상으로 판단하고, 상기 관심 영역이 적어도 두개일 때 상기 차이값이 가장 작은 관심 영역을 상기 주의 정보 영상과 유사한 영상으로 판단하는 것을 특징으로 하는 운전 주의 정보 안내 장치.
  5. 제 2 항에 있어서,
    상기 관심 영역 추출부는 상기 전방 영상을 영역 영상들로 분할하고 상기 영역 영상들 중 상측이나 외곽에 위치하는 영역 영상을 상기 관심 영역으로 추출하는 것을 특징으로 하는 운전 주의 정보 안내 장치.
  6. 제 5 항에 있어서,
    상기 관심 영역 추출부는 적어도 하나의 가로선 또는 적어도 하나의 세로선을 이용하여 상기 전방 영상을 상기 영역 영상들로 분할하는 것을 특징으로 하는 운전 주의 정보 안내 장치.
  7. 제 1 항에 있어서,
    상기 주의 정보 영상 추출부는 상기 주의 정보 영상으로 제한 속도가 표시된 교통표지판 영상, 과속방지턱 영상, 진입로 영상 및 진출로 영상 중 적어도 하나의 영상을 추출하는 것을 특징으로 하는 운전 주의 정보 안내 장치.
  8. 제 1 항에 있어서,
    상기 매칭 영역 출력부는 상기 차량의 클러스터 또는 HUD(Head Up Display)에 상기 매칭되는 영역에 대한 영상이나 상기 매칭되는 영역에 대한 정보를 출력하는 것을 특징으로 하는 운전 주의 정보 안내 장치.
  9. 제 1 항에 있어서,
    상기 주의 정보 영상 추출부는 상기 주행 경로가 설정되면 상기 주행 경로 상의 모든 구간에서 상기 주의 정보 영상을 일괄적으로 추출하거나, GPS를 통해 확인된 상기 차량의 현재 위치가 특정 지점에 도달할 때마다 상기 특정 지점에서의 상기 주의 정보 영상을 추출하는 것을 특징으로 하는 운전 주의 정보 안내 장치.
  10. 내비게이션 장치에 저장된 맵 정보로부터 주행 경로 상에서의 주의 정보 영상을 추출하는 주의 정보 영상 추출 단계;
    상기 주행 경로를 따라 운행하는 차량에서 전방 영상을 획득하는 전방 영상 획득 단계;
    상기 전방 영상에 상기 주의 정보 영상과 매칭되는 영역이 포함되어 있는지 여부를 판별하는 매칭 판별 단계; 및
    상기 전방 영상에 상기 매칭되는 영역이 포함되어 있는 것으로 판별되면 상기 매칭되는 영역에 대한 영상이나 상기 매칭되는 영역에 대한 정보를 출력하는 매칭 영역 출력 단계
    를 포함하는 것을 특징으로 하는 운전 주의 정보 안내 방법.
KR1020130095255A 2013-08-12 2013-08-12 운전 주의 정보 안내 장치 및 방법 KR102074209B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130095255A KR102074209B1 (ko) 2013-08-12 2013-08-12 운전 주의 정보 안내 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130095255A KR102074209B1 (ko) 2013-08-12 2013-08-12 운전 주의 정보 안내 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20150018990A true KR20150018990A (ko) 2015-02-25
KR102074209B1 KR102074209B1 (ko) 2020-02-06

Family

ID=52578219

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130095255A KR102074209B1 (ko) 2013-08-12 2013-08-12 운전 주의 정보 안내 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102074209B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160122368A (ko) * 2015-04-14 2016-10-24 백승렬 공간정보를 이용한 차량 네비게이션의 위치정확도 향상을 위한 영상정보 제공방법 및 그 제공장치
KR20170007213A (ko) * 2016-10-18 2017-01-18 현대자동차주식회사 차량, 및 그 제어방법
KR20220138894A (ko) * 2021-04-06 2022-10-14 한국교통대학교산학협력단 노면표시 정보의 예측 및 인식방법 및 도로 유지관리 방법
KR102540636B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 방향 정보를 포함한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN116794702A (zh) * 2023-05-30 2023-09-22 名商科技有限公司 一种gps盲区导航方法、系统和可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007106364A (ja) * 2005-10-17 2007-04-26 Aisin Aw Co Ltd 走行支援装置及び走行支援方法
JP2008059319A (ja) * 2006-08-31 2008-03-13 Mitsubishi Electric Corp 物体認識装置および映像物体測位装置
KR20110016073A (ko) * 2009-08-11 2011-02-17 주식회사 만도 차량 전방 영상 처리 장치 및 그 영상 처리 방법
KR20120133309A (ko) * 2011-05-31 2012-12-10 현대자동차주식회사 영상인식 기술을 이용한 운전보조 시스템
KR20130057699A (ko) * 2011-11-24 2013-06-03 팅크웨어(주) 자이로스코프의 센서 정보와 차선 정보를 이용한 증강현실 뷰 모드 표현 방법 및 그 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007106364A (ja) * 2005-10-17 2007-04-26 Aisin Aw Co Ltd 走行支援装置及び走行支援方法
JP2008059319A (ja) * 2006-08-31 2008-03-13 Mitsubishi Electric Corp 物体認識装置および映像物体測位装置
KR20110016073A (ko) * 2009-08-11 2011-02-17 주식회사 만도 차량 전방 영상 처리 장치 및 그 영상 처리 방법
KR20120133309A (ko) * 2011-05-31 2012-12-10 현대자동차주식회사 영상인식 기술을 이용한 운전보조 시스템
KR20130057699A (ko) * 2011-11-24 2013-06-03 팅크웨어(주) 자이로스코프의 센서 정보와 차선 정보를 이용한 증강현실 뷰 모드 표현 방법 및 그 장치

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160122368A (ko) * 2015-04-14 2016-10-24 백승렬 공간정보를 이용한 차량 네비게이션의 위치정확도 향상을 위한 영상정보 제공방법 및 그 제공장치
KR20170007213A (ko) * 2016-10-18 2017-01-18 현대자동차주식회사 차량, 및 그 제어방법
KR20220138894A (ko) * 2021-04-06 2022-10-14 한국교통대학교산학협력단 노면표시 정보의 예측 및 인식방법 및 도로 유지관리 방법
KR102540636B1 (ko) * 2022-10-27 2023-06-13 주식회사 모빌테크 방향 정보를 포함한 지도 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
CN116794702A (zh) * 2023-05-30 2023-09-22 名商科技有限公司 一种gps盲区导航方法、系统和可读存储介质
CN116794702B (zh) * 2023-05-30 2023-12-22 名商科技有限公司 一种gps盲区导航方法、系统和可读存储介质

Also Published As

Publication number Publication date
KR102074209B1 (ko) 2020-02-06

Similar Documents

Publication Publication Date Title
Possatti et al. Traffic light recognition using deep learning and prior maps for autonomous cars
JP6241422B2 (ja) 運転支援装置、運転支援方法、および運転支援プログラムを記憶する記録媒体
US20190251374A1 (en) Travel assistance device and computer program
US10317231B2 (en) Top-down refinement in lane marking navigation
US8175806B2 (en) Car navigation system
JP5867273B2 (ja) 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム
JP4783431B2 (ja) 交通情報検出装置、交通情報検出方法、交通情報検出プログラムおよび記録媒体
US20150161796A1 (en) Method and device for recognizing pedestrian and vehicle supporting the same
EP2575078B1 (en) Front vehicle detecting method and front vehicle detecting apparatus
US20050256636A1 (en) Driving lane recognizer and driving lane recognizing method
US20140002658A1 (en) Overtaking vehicle warning system and overtaking vehicle warning method
US11118934B2 (en) Method and system of route guidance for a towing vehicle
WO2015133141A1 (ja) 表示物情報表示装置
JP2008056233A (ja) 車両内のナイトビューシステムを動作させる方法および対応するナイトビューシステム
KR20150018990A (ko) 운전 주의 정보 안내 장치 및 방법
JP2008146549A (ja) 運転支援装置、マップ生成装置、及びプログラム
KR20120016461A (ko) 도로 표식 인식 시스템 및 방법
KR20200043252A (ko) 차량의 부감 영상 생성 시스템 및 그 방법
JP2017073008A (ja) 車両用運転支援システムおよび運転支援方法
US9824449B2 (en) Object recognition and pedestrian alert apparatus for a vehicle
KR20130128162A (ko) 관심영역 분할을 통한 곡선차선 검출장치 및 그 방법
JP6419011B2 (ja) 地物画像認識システム、地物画像認識方法及びコンピュータプログラム
JP4968369B2 (ja) 車載装置及び車両認識方法
JP6419260B1 (ja) 交通情報取得装置、交通情報取得システム、交通情報取得方法、および交通情報取得プログラム
JP4687381B2 (ja) 車両認識方法及び車載装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right