KR102074209B1 - Apparatus and method for guiding caution information of driving - Google Patents

Apparatus and method for guiding caution information of driving Download PDF

Info

Publication number
KR102074209B1
KR102074209B1 KR1020130095255A KR20130095255A KR102074209B1 KR 102074209 B1 KR102074209 B1 KR 102074209B1 KR 1020130095255 A KR1020130095255 A KR 1020130095255A KR 20130095255 A KR20130095255 A KR 20130095255A KR 102074209 B1 KR102074209 B1 KR 102074209B1
Authority
KR
South Korea
Prior art keywords
image
region
attention information
matching
interest
Prior art date
Application number
KR1020130095255A
Other languages
Korean (ko)
Other versions
KR20150018990A (en
Inventor
변오성
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020130095255A priority Critical patent/KR102074209B1/en
Publication of KR20150018990A publication Critical patent/KR20150018990A/en
Application granted granted Critical
Publication of KR102074209B1 publication Critical patent/KR102074209B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 내비게이션 장치를 통해 미리 획득된 영상과 운행 중에 카메라 장치를 통해 획득된 영상을 비교하여 교통 표지판 정보와 같은 운전 주의 정보를 생성 출력하는 운전 주의 정보 안내 장치 및 방법을 제안한다. 본 발명에 따른 운전 주의 정보 안내 장치는 내비게이션 장치에 저장된 맵 정보로부터 주행 경로 상에서의 주의 정보 영상을 추출하는 주의 정보 영상 추출부; 주행 경로를 따라 운행하는 차량에서 전방 영상을 획득하는 전방 영상 획득부; 전방 영상에 주의 정보 영상과 매칭되는 영역이 포함되어 있는지 여부를 판별하는 매칭 판별부; 및 전방 영상에 매칭되는 영역이 포함되어 있는 것으로 판별되면 매칭되는 영역에 대한 영상이나 정보를 출력하는 매칭 영역 출력부를 포함한다.The present invention proposes a driving attention information guidance apparatus and method for generating and outputting driving attention information such as traffic sign information by comparing an image previously acquired through a navigation device with an image acquired through a camera device while driving. Driving attention information guide device according to the present invention comprises a attention information image extraction unit for extracting the attention information image on the driving route from the map information stored in the navigation device; A front image acquisition unit configured to acquire a front image from a vehicle traveling along a driving path; A matching determination unit determining whether the front image includes a region matching the attention information image; And a matching area output unit configured to output an image or information on the matching area when it is determined that the matching area is included in the front image.

Description

운전 주의 정보 안내 장치 및 방법 {Apparatus and method for guiding caution information of driving}Apparatus and method for guiding caution information of driving}

본 발명은 제한 속도, 과속방지턱 유무 등 특정 구간에서의 운전 주의 정보를 안내하는 장치 및 방법에 관한 것이다.The present invention relates to a device and a method for guiding driving attention information in a specific section, such as a speed limit and whether a speed bump is present.

차량을 이용한 이동이 일반화되면서 도로에는 원활한 주행과 안전 운전을 목적으로 차량의 운전자에게 주행에 필요한 정보를 제공하는 교통 표지판이 설치된다.As vehicle movements become more common, road signs are installed on the roads to provide information to drivers of vehicles for smooth driving and safe driving.

일반적으로 교통 표지판은 종류에 따라서 교통 정보 표지판, 이정 표지판, 기상 정보 현황판, 대기오염 현황판, 교통사고 현황판, 시정 정보판, 광고판 등이 제공될 수 있다.In general, traffic signs may be provided with traffic information signs, milestone signs, weather information boards, air pollution boards, traffic accident boards, municipal information boards, billboards, and the like.

최근 시력이 약한 운전자나 고령의 운전자가 증가함에 따라 교통 표지판의 정보를 정확하게 전달해줄 수 있는 안전 운전 보조 시스템의 개발 필요성이 증가하고 있다.Recently, as the number of drivers with low vision and older drivers increases, the necessity of developing a safe driving assistance system that accurately transmits traffic sign information is increasing.

또한 지능형 무인 자동차를 개발하기 위하여 비전 기반 교통 표지판 인식 시스템의 개발이 함께 요구되고 있으며 이에 따라 교통 표지판 검출 및 인식 모델에 대한 관심이 집중되고 있다.In addition, in order to develop an intelligent driverless vehicle, the development of a vision-based traffic sign recognition system is required. Accordingly, attention has been focused on a traffic sign detection and recognition model.

그러나 기존의 교통 표지판 검출 모델은 기후 및 조도 변화, 카메라가 장착된 자동차의 움직임으로 인한 영상의 블러링 및 갑작스런 색상 대비 변화, 그리고 교통 표지판의 가려짐 및 기울어짐으로 인한 모양 변화 등으로 인하여 교통 표지판의 검출 성능이 낮은 문제점이 있다.However, the existing traffic sign detection model uses traffic signs due to changes in weather and illumination, blurring of images due to camera movement and sudden change in color contrast, and changes in shape due to obstruction and tilting of traffic signs. Has a problem of low detection performance.

국내공개특허 제2013-0067463호는 교통 표지판을 인식하는 시스템에 대하여 기술하고 있다. 그러나 이 시스템도 도로를 이동하면서 촬영하여 획득되는 영상으로부터 교통 표지판을 인식하기 때문에 주변 환경 및 카메라의 상태에 따라 색상 특성과 형태적 특성이 변화되므로 전술한 문제점을 해결하지 못한다.Korean Patent Publication No. 2013-0067463 describes a system for recognizing traffic signs. However, since the system also recognizes traffic signs from the images obtained by photographing while moving on the road, the color characteristics and the morphological characteristics are changed according to the surrounding environment and the state of the camera, thereby not solving the above-mentioned problems.

본 발명은 상기한 문제점을 해결하기 위해 안출된 것으로서, 내비게이션 장치를 통해 미리 획득된 영상과 운행 중에 카메라 장치를 통해 획득된 영상을 비교하여 교통 표지판 정보와 같은 운전 주의 정보를 생성 출력하는 운전 주의 정보 안내 장치 및 방법을 제안함을 목적으로 한다.The present invention has been made to solve the above-mentioned problems, the driving caution information for generating and outputting driving caution information such as traffic sign information by comparing the image acquired through the camera device in advance with the image acquired through the navigation device in advance An object of the present invention is to propose a guide apparatus and method.

그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.However, the object of the present invention is not limited to the above-mentioned matters, and other objects not mentioned will be clearly understood by those skilled in the art from the following description.

본 발명은 상기한 목적을 달성하기 위해 안출된 것으로서, 내비게이션 장치에 저장된 맵 정보로부터 주행 경로 상에서의 주의 정보 영상을 추출하는 주의 정보 영상 추출부; 상기 주행 경로를 따라 운행하는 차량에서 전방 영상을 획득하는 전방 영상 획득부; 상기 전방 영상에 상기 주의 정보 영상과 매칭되는 영역이 포함되어 있는지 여부를 판별하는 매칭 판별부; 및 상기 전방 영상에 상기 매칭되는 영역이 포함되어 있는 것으로 판별되면 상기 매칭되는 영역에 대한 영상이나 상기 매칭되는 영역에 대한 정보를 출력하는 매칭 영역 출력부를 포함하는 것을 특징으로 하는 운전 주의 정보 안내 장치를 제안한다.The present invention has been made to achieve the above object, the attention information image extraction unit for extracting the attention information image on the driving route from the map information stored in the navigation device; A front image acquisition unit configured to acquire a front image from a vehicle traveling along the driving path; A matching determination unit determining whether the front image includes an area matching the attention information image; And a matching area output unit configured to output an image of the matching area or information on the matching area when it is determined that the matching area is included in the front image. Suggest.

바람직하게는, 상기 매칭 판별부는, 상기 전방 영상에서 관심 영역을 추출하는 관심 영역 추출부; 상기 관심 영역과 상기 주의 정보 영상을 템플릿 매칭시켜 상기 관심 영역과 상기 주의 정보 영상의 유사성을 판단하는 템플릿 매칭부; 및 상기 관심 영역이 상기 주의 정보 영상과 유사한 것으로 판단되면 상기 관심 영역을 상기 주의 정보 영상에 매칭되는 영역으로 판별하고, 상기 관심 영역이 상기 주의 정보 영상과 유사하지 않은 것으로 판단되면 상기 관심 영역을 상기 주의 정보 영상에 매칭되지 않는 영역으로 판별하는 유사도 판별부를 포함한다.Preferably, the matching determiner, the region of interest extracting unit for extracting the region of interest from the front image; A template matching unit configured to template match the ROI and the attention information image to determine similarity between the ROI and the attention information image; And when the ROI is determined to be similar to the attention information image, the ROI is determined to be a region that matches the attention information image, and when the ROI is not determined to be similar to the attention information image, the ROI is determined. And a similarity determination unit for discriminating an area that does not match the attention information image.

바람직하게는, 상기 템플릿 매칭부는 상기 주의 정보 영상에 포함된 특징점들 간 제1 유클리디안 거리(Euclidean Distance)와 상기 관심 영역에 포함된 특징점들 간 제2 유클리디안 거리를 비교하여 상기 유사성을 판단한다.Preferably, the template matching unit compares the similarity between the first Euclidean distance between the feature points included in the attention information image and the second Euclidean distance between the feature points included in the ROI. To judge.

바람직하게는, 상기 템플릿 매칭부는 상기 관심 영역이 한개일 때 상기 제1 유클리디안 거리와 상기 제2 유클리디안 거리의 차이값이 기준값 이하인 관심 영역을 상기 주의 정보 영상과 유사한 영상으로 판단하고, 상기 관심 영역이 적어도 두개일 때 상기 차이값이 가장 작은 관심 영역을 상기 주의 정보 영상과 유사한 영상으로 판단한다.Preferably, the template matching unit determines that a region of interest having a difference between the first Euclidean distance and the second Euclidean distance less than or equal to a reference value when the region of interest is one, is an image similar to the attention information image. When there are at least two regions of interest, the region of interest having the smallest difference is determined as an image similar to the attention information image.

바람직하게는, 상기 관심 영역 추출부는 상기 전방 영상을 영역 영상들로 분할하고 상기 영역 영상들 중 상측이나 외곽에 위치하는 영역 영상을 상기 관심 영역으로 추출한다.Preferably, the region of interest extractor divides the front image into region images and extracts the region image located above or outside the region images as the region of interest.

바람직하게는, 상기 관심 영역 추출부는 적어도 하나의 가로선 또는 적어도 하나의 세로선을 이용하여 상기 전방 영상을 상기 영역 영상들로 분할한다.Preferably, the region of interest extractor divides the front image into the region images using at least one horizontal line or at least one vertical line.

바람직하게는, 상기 주의 정보 영상 추출부는 상기 주의 정보 영상으로 제한 속도가 표시된 교통표지판 영상, 과속방지턱 영상, 진입로 영상 및 진출로 영상 중 적어도 하나의 영상을 추출한다.Preferably, the attention information image extracting unit extracts at least one image of a traffic sign image, a speed bump image, an entrance road image, and an entrance road image in which a speed limit is displayed as the attention information image.

바람직하게는, 상기 매칭 영역 출력부는 상기 차량의 클러스터 또는 HUD(Head Up Display)에 상기 매칭되는 영역에 대한 영상이나 상기 매칭되는 영역에 대한 정보를 출력한다.Preferably, the matching area output unit outputs an image of the matching area or information on the matching area to the cluster or the head up display (HUD) of the vehicle.

바람직하게는, 상기 주의 정보 영상 추출부는 상기 주행 경로가 설정되면 상기 주행 경로 상의 모든 구간에서 상기 주의 정보 영상을 일괄적으로 추출하거나, GPS를 통해 확인된 상기 차량의 현재 위치가 특정 지점에 도달할 때마다 상기 특정 지점에서의 상기 주의 정보 영상을 추출한다.Preferably, when the driving route is set, the attention information image extracting unit extracts the attention information image in all sections on the driving route, or when the current position of the vehicle confirmed through GPS reaches a specific point. Each time the attention information image is extracted from the specific point.

또한 본 발명은 내비게이션 장치에 저장된 맵 정보로부터 주행 경로 상에서의 주의 정보 영상을 추출하는 주의 정보 영상 추출 단계; 상기 주행 경로를 따라 운행하는 차량에서 전방 영상을 획득하는 전방 영상 획득 단계; 상기 전방 영상에 상기 주의 정보 영상과 매칭되는 영역이 포함되어 있는지 여부를 판별하는 매칭 판별 단계; 및 상기 전방 영상에 상기 매칭되는 영역이 포함되어 있는 것으로 판별되면 상기 매칭되는 영역에 대한 영상이나 상기 매칭되는 영역에 대한 정보를 출력하는 매칭 영역 출력 단계를 포함하는 것을 특징으로 하는 운전 주의 정보 안내 방법을 제안한다.In addition, the present invention is an attention information image extraction step of extracting the attention information image on the driving route from the map information stored in the navigation device; A front image acquisition step of acquiring a front image from a vehicle traveling along the driving path; A matching determination step of determining whether the front image includes an area matching the attention information image; And a matching area outputting step of outputting an image of the matching area or information on the matching area when it is determined that the front image includes the matching area. Suggest.

바람직하게는, 상기 매칭 판별 단계는, 상기 전방 영상에서 관심 영역을 추출하는 관심 영역 추출 단계; 상기 관심 영역과 상기 주의 정보 영상을 템플릿 매칭시켜 상기 관심 영역과 상기 주의 정보 영상의 유사성을 판단하는 템플릿 매칭 단계; 및 상기 관심 영역이 상기 주의 정보 영상과 유사한 것으로 판단되면 상기 관심 영역을 상기 주의 정보 영상에 매칭되는 영역으로 판별하고, 상기 관심 영역이 상기 주의 정보 영상과 유사하지 않은 것으로 판단되면 상기 관심 영역을 상기 주의 정보 영상에 매칭되지 않는 영역으로 판별하는 유사도 판별 단계를 포함한다.Preferably, the matching step may include: extracting a region of interest from the region of interest from the front image; A template matching step of determining similarity between the ROI and the attention information image by template matching the ROI and the attention information image; And when the ROI is determined to be similar to the attention information image, the ROI is determined to be a region that matches the attention information image, and when the ROI is not determined to be similar to the attention information image, the ROI is determined. And a similarity determination step of determining a region that does not match the attention information image.

바람직하게는, 상기 템플릿 매칭 단계는 상기 주의 정보 영상에 포함된 특징점들 간 제1 유클리디안 거리(Euclidean Distance)와 상기 관심 영역에 포함된 특징점들 간 제2 유클리디안 거리를 비교하여 상기 유사성을 판단한다.Preferably, the template matching step compares the similarity between the first Euclidean distance between the feature points included in the attention information image and the second Euclidean distance between the feature points included in the ROI. To judge.

바람직하게는, 상기 템플릿 매칭 단계는 상기 관심 영역이 한개일 때 상기 제1 유클리디안 거리와 상기 제2 유클리디안 거리의 차이값이 기준값 이하인 관심 영역을 상기 주의 정보 영상과 유사한 영상으로 판단하고, 상기 관심 영역이 적어도 두개일 때 상기 차이값이 가장 작은 관심 영역을 상기 주의 정보 영상과 유사한 영상으로 판단한다.Preferably, the template matching step determines that the ROI having a difference between the first Euclidean distance and the second Euclidean distance is equal to or less than a reference value when the ROI is one, is an image similar to the attention information image. The ROI having the smallest difference value is determined as an image similar to the attention information image when there are at least two ROIs.

바람직하게는, 상기 관심 영역 추출 단계는 상기 전방 영상을 영역 영상들로 분할하고 상기 영역 영상들 중 상측이나 외곽에 위치하는 영역 영상을 상기 관심 영역으로 추출한다.Preferably, in the extracting the region of interest, the front image is divided into region images, and the region image located above or outside of the region images is extracted as the region of interest.

바람직하게는, 상기 관심 영역 추출 단계는 적어도 하나의 가로선 또는 적어도 하나의 세로선을 이용하여 상기 전방 영상을 상기 영역 영상들로 분할한다.Preferably, the extracting the region of interest divides the front image into the region images by using at least one horizontal line or at least one vertical line.

바람직하게는, 상기 주의 정보 영상 추출 단계는 상기 주의 정보 영상으로 제한 속도가 표시된 교통표지판 영상, 과속방지턱 영상, 진입로 영상 및 진출로 영상 중 적어도 하나의 영상을 추출한다.Preferably, the extracting the attention information image extracts at least one of a traffic sign image, a speed bump image, an entrance road image, and an entrance road image in which the speed limit is displayed as the attention information image.

바람직하게는, 상기 매칭 영역 출력 단계는 상기 차량의 클러스터 또는 HUD(Head Up Display)에 상기 매칭되는 영역에 대한 영상이나 상기 매칭되는 영역에 대한 정보를 출력한다.Preferably, the matching area outputting step outputs an image of the matching area or information on the matching area to the cluster or the head up display (HUD) of the vehicle.

바람직하게는, 상기 주의 정보 영상 추출 단계는 상기 주행 경로가 설정되면 상기 주행 경로 상의 모든 구간에서 상기 주의 정보 영상을 일괄적으로 추출하거나, GPS를 통해 확인된 상기 차량의 현재 위치가 특정 지점에 도달할 때마다 상기 특정 지점에서의 상기 주의 정보 영상을 추출한다.Preferably, in the extracting the caution information image, when the driving route is set, the caution information image is collectively extracted from all sections on the driving route, or the current position of the vehicle identified through GPS reaches a specific point. Each time the attention information image at the specific point is extracted.

본 발명은 내비게이션 장치를 통해 미리 획득된 영상과 운행 중에 카메라 장치를 통해 획득된 영상을 비교하여 교통 표지판 정보와 같은 운전 주의 정보를 생성 출력함으로써 다음 효과를 얻을 수 있다.The present invention can obtain the following effects by generating and outputting driving attention information such as traffic sign information by comparing an image acquired through a navigation device with an image acquired through a camera device while driving.

첫째, 검출하고자 하는 객체 정보를 미리 인식하여 검출함으로써 주변 환경에 덜 민감하며, 인식하고자 하는 정보를 내비게이션 장치로부터 사전에 입력받기 때문에 검출 및 인식의 정확도를 향상시킬 수 있다.First, by recognizing and detecting the object information to be detected in advance, it is less sensitive to the surrounding environment, and since the information to be recognized is previously input from the navigation device, the accuracy of detection and recognition can be improved.

둘째, 저가형 카메라를 이용하더라도 내비게이션 장치와 연동이 되기 때문에 획득 영상에 대한 신뢰성을 보장할 수 있다.Second, even when using a low-cost camera can be linked to the navigation device it can ensure the reliability of the acquired image.

셋째, 내비게이션 장치와의 연동으로 카메라만으로 검출이 불가능한 객체 정보도 얻을 수 있어 다양한 객체 검출이 가능하다.Third, object information that cannot be detected only by the camera can be obtained by interworking with the navigation device, so that various objects can be detected.

도 1은 본 발명의 바람직한 실시예에 따른 운전 주의 정보 안내 장치를 개략적으로 도시한 블록도이다.
도 2는 도 1에 도시된 매칭 판별부의 내부 구성을 도시한 블록도이다.
도 3은 본 발명의 일실시예에 따른 교통 표지판 인식 시스템을 개략적으로 도시한 개념도이다.
도 4는 본 발명의 바람직한 실시예에 따른 운전 주의 정보 안내 방법을 개략적으로 도시한 흐름도이다.
도 5는 본 발명에 따른 관심 영역 추출 과정을 설명하기 위한 참고도이다.1 is a block diagram schematically showing a driving attention information guide apparatus according to a preferred embodiment of the present invention.
FIG. 2 is a block diagram illustrating an internal configuration of a matching determination unit shown in FIG. 1.
3 is a conceptual diagram schematically showing a traffic sign recognition system according to an embodiment of the present invention.
4 is a flowchart schematically illustrating a method for guiding driving attention information according to an exemplary embodiment of the present invention.
5 is a reference diagram for explaining a region of interest extraction process according to the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. First, in adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are used as much as possible even if displayed on different drawings. In addition, in describing the present invention, if it is determined that the detailed description of the related well-known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted. In addition, preferred embodiments of the present invention will be described below, but the technical spirit of the present invention is not limited thereto, but may be variously modified and modified by those skilled in the art.

도 1은 본 발명의 바람직한 실시예에 따른 운전 주의 정보 안내 장치를 개략적으로 도시한 블록도이다.1 is a block diagram schematically showing a driving attention information guide apparatus according to a preferred embodiment of the present invention.

본 발명에 따른 운전 주의 정보 안내 장치(100)는 대부분의 차량이 내비게이션을 장착하고 내비게이션의 맵 정보를 주기적으로 갱신하여 최신 정보 상태를 유지한다는 것에 착안하여, 내비게이션의 맵 정보에 포함되어 있는 속도 표지판 등 교통 표지판 정보를 차량 전방 카메라에 입력하여 교통 표지판을 인식하여 차량의 클러스터, HUD(Head Up Display) 등에 경고 및 정보를 표시하는 것을 특징으로 한다. 이하 도 1을 참조하여 운전 주의 정보 안내 장치(100)에 대하여 자세하게 설명한다.The driving attention information guide device 100 according to the present invention focuses on the fact that most vehicles are equipped with navigation and periodically update the map information of the navigation to maintain the latest information, and thus the speed sign included in the map information of the navigation. The traffic sign information is input to the front camera of the vehicle to recognize the traffic sign and to display warnings and information on the cluster of the vehicle, the head up display (HUD), and the like. Hereinafter, the driving attention information guide apparatus 100 will be described in detail with reference to FIG. 1.

도 1에 따르면, 운전 주의 정보 안내 장치(100)는 주의 정보 영상 추출부(110), 전방 영상 획득부(120), 매칭 판별부(130), 매칭 영역 출력부(140), 전원부(150) 및 주제어부(160)를 포함한다.According to FIG. 1, the driving attention information guide apparatus 100 may include the attention information image extracting unit 110, the front image obtaining unit 120, the matching determining unit 130, the matching area output unit 140, and the power supply unit 150. And a main control unit 160.

전원부(150)는 운전 주의 정보 안내 장치(100)를 구성하는 각 구성에 전원을 공급하는 기능을 수행한다. 주제어부(160)는 운전 주의 정보 안내 장치(100)를 구성하는 각 구성의 전체 작동을 제어하는 기능을 수행한다. 운전 주의 정보 안내 장치(100)가 차량 내 ECU(Electronic Control Unit)에 탑재될 수 있음을 고려할 때 전원부(150)와 주제어부(160)는 운전 주의 정보 안내 장치(100)에 구비되지 않아도 무방하다.The power supply unit 150 performs a function of supplying power to each component of the driving attention information guide device 100. The main control unit 160 performs a function of controlling the overall operation of each component constituting the driving attention information guide device 100. Considering that the driving attention information guide device 100 may be mounted in an ECU (Electronic Control Unit) in the vehicle, the power supply unit 150 and the main control unit 160 may not be provided in the driving attention information guide device 100. .

주의 정보 영상 추출부(110)는 내비게이션 장치에 저장된 맵 정보로부터 주행 경로 상에서의 주의 정보 영상을 추출하는 기능을 수행한다.The attention information image extractor 110 extracts the attention information image on the driving route from the map information stored in the navigation device.

주의 정보 영상 추출부(110)는 내비게이션 장치에 주행 경로가 설정되면 주행 경로 상의 모든 구간에 대하여 주의 정보 영상을 일괄적으로 추출할 수 있다. 그러나 본 실시예에서 이에 한정되는 것은 아니며, 주의 정보 영상 추출부(110)는 내비게이션 장치와 연동된 채 GPS를 통해 확인된 차량의 현재 위치가 특정 지점에 도달할 때마다 그 지점에서의 주의 정보 영상을 추출하는 것도 가능하다.When the driving route is set in the navigation device, the attention information image extracting unit 110 may collectively extract the attention information image for all sections on the driving route. However, the present invention is not limited thereto, and the attention information image extracting unit 110 interlocks with the navigation device and whenever the current position of the vehicle identified through the GPS reaches a specific point, the attention information image at the point. It is also possible to extract.

주의 정보 영상 추출부(110)는 주의 정보 영상으로 제한 속도가 표시된 교통표지판 영상, 과속방지턱 영상, 진입로 영상 및 진출로 영상 중 적어도 하나의 영상을 추출할 수 있다.The attention information image extracting unit 110 may extract at least one image of a traffic sign image, a speed bump, an entrance road image, and an entrance road image in which a speed limit is displayed as the attention information image.

전방 영상 획득부(120)는 주행 경로를 따라 운행하는 차량에서 전방 영상을 획득하는 기능을 수행한다. 전방 영상 획득부(120)는 차량 내에 전방을 향하도록 장착된 카메라 장치를 이용하여 전방 영상을 획득할 수 있다.The front image acquisition unit 120 performs a function of acquiring a front image from a vehicle traveling along a driving route. The front image acquisition unit 120 may acquire a front image by using a camera device mounted to face forward in the vehicle.

매칭 판별부(130)는 전방 영상 획득부(120)에 의해 획득된 전방 영상에 주의 정보 영상 추출부(110)에 의해 추출된 주의 정보 영상과 매칭되는 영역이 포함되어 있는지 여부를 판별하는 기능을 수행한다. 매칭 판별부(130)에 대한 보다 자세한 설명은 도 2를 참조하여 후술한다.The matching determiner 130 determines whether the front image acquired by the front image acquirer 120 includes a region matching the attention information image extracted by the attention information image extractor 110. To perform. The matching determination unit 130 will be described in detail later with reference to FIG. 2.

매칭 영역 출력부(140)는 매칭 판별부(130)에 의해 전방 영상에 주의 정보 영상과 매칭되는 영역이 포함되어 있는 것으로 판별되면 그 영역(즉 매칭되는 영역)에 대한 영상이나 정보를 출력하는 기능을 수행한다.The matching area output unit 140 outputs an image or information about the area (that is, the matching area) when the matching determination unit 130 determines that the front image includes a region matching the attention information image. Do this.

매칭 영역 출력부(140)는 본 실시예에서 클러스터, HUD 등을 통해 영상이나 정보를 화면으로 출력할 수 있으며, 내비게이션 장치나 스피커를 통해 음성으로 출력하는 것도 가능하다.In the present embodiment, the matching area output unit 140 may output an image or information through a cluster, a HUD, or the like on a screen, or may output a voice through a navigation device or a speaker.

다음으로 매칭 판별부(130)에 대하여 설명한다. 도 2는 도 1에 도시된 매칭 판별부의 내부 구성을 도시한 블록도이다.Next, the matching determination unit 130 will be described. FIG. 2 is a block diagram illustrating an internal configuration of a matching determination unit shown in FIG. 1.

도 2에 따르면 매칭 판별부(130)는 관심 영역 추출부(131), 템플릿 매칭부(132) 및 유사도 판별부(133)를 포함한다.According to FIG. 2, the matching determiner 130 includes an ROI extractor 131, a template matcher 132, and a similarity determiner 133.

관심 영역 추출부(131)는 전방 영상에서 관심 영역을 추출하는 기능을 수행한다.The ROI extractor 131 extracts an ROI from the front image.

관심 영역 추출부(131)는 적어도 하나의 가로선이나 적어도 하나의 세로선을 이용하여 전방 영상을 복수개의 영역 영상들로 분할하고 그 중에서 선택된 영역 영상들을 관심 영역으로 추출할 수 있다. 관심 영역 추출부(131)는 영역 영상들 중 상측이나 외곽에 위치하는 영역 영상을 관심 영역으로 추출할 수 있다.The region of interest extractor 131 may segment the front image into a plurality of region images by using at least one horizontal line or at least one vertical line, and extract the region images selected therefrom as the region of interest. The ROI extractor 131 may extract a region image located above or outside the region images as the ROI.

템플릿 매칭부(132)는 관심 영역 추출부(131)에 의해 추출된 관심 영역과 주의 정보 영상을 템플릿 매칭시켜 관심 영역과 주의 정보 영상의 유사성을 판단하는 기능을 수행한다.The template matching unit 132 performs a function of determining a similarity between the ROI and the attention information image by template matching the ROI extracted by the ROI extractor 131 with the attention information image.

템플릿 매칭부(132)는 주의 정보 영상에 포함된 특징점들 간 제1 유클리디안 거리(Euclidean Distance)와 관심 영역에 포함된 특징점들 간 제2 유클리디안 거리를 비교하여 유사성을 판단할 수 있다. 이하 교통 표지판 영상을 주의 정보 영상의 예로 들어 설명한다.The template matching unit 132 may determine the similarity by comparing the first Euclidean distance between the feature points included in the attention information image and the second Euclidean distance between the feature points included in the ROI. . Hereinafter, the traffic sign image will be described as an example of the attention information image.

종래에는 교통 표지판이 무엇인지 모르는 상태에서 입력 영상으로부터 교통 표지판을 검출해야 하기 때문에 사전에 교통 표지판의 특징점을 학습하는 단계가 필요하였다. 이 경우 교통 표지판 학습 데이터베이스를 구축해야 하는 불편이 따르며, 교통 표지판의 형태가 매우 다양하여 검출 성능이 떨어지는 문제점도 있었다.Conventionally, since it is necessary to detect a traffic sign from an input image without knowing what the traffic sign is, it is necessary to learn a feature point of the traffic sign in advance. In this case, it is inconvenient to build a traffic sign learning database, and there is a problem in that the detection performance is deteriorated due to the various types of traffic signs.

본 발명에서는 내비게이션 장치를 이용하여 특정 지점에서의 교통 표지판 영상을 미리 획득하기 때문에 데이터베이스를 구축해야 하는 불편을 없앨 수가 있으며, 특정 지점에 설치된 교통 표지판 영상을 확보함으로써 검출 성능도 높일 수가 있다.In the present invention, since the traffic sign image at a specific point is acquired in advance by using the navigation device, the inconvenience of having to build a database can be eliminated, and the detection performance can be improved by securing the traffic sign image installed at the specific point.

내비게이션 장치로부터 교통 표지판 영상이 입력되면 템플릿 매칭부(132)는 교통 표지판 영상을 이용하여 템플릿 매칭을 진행한다. 본 실시예에서는 템플릿 매칭 과정이 2 단계로 이루어진다.When the traffic sign image is input from the navigation device, the template matching unit 132 performs template matching using the traffic sign image. In this embodiment, the template matching process is performed in two steps.

1 단계는 유사성을 수행하는 단계이다. 먼저 내비게이션 장치로부터 입력된 교통 표지판 영상과 카메라 영상을 비교하여 상관계수 맵을 구한다. 이후 카메라 영상에서 관심 영역을 탐색하고, 그 후에 유사성을 구한다.Step 1 is to perform similarity. First, a correlation coefficient map is obtained by comparing a traffic sign image input from a navigation device with a camera image. Then, the ROI is searched for in the camera image, and then similarity is obtained.

유사성은 유클리디안 거리를 계산하는 방법을 이용할 수 있으며, 다음 수학식 1을 이용하여 구할 수 있다.Similarity can be used to calculate the Euclidean distance, and can be obtained using Equation 1 below.

Figure 112013072779123-pat00001
Figure 112013072779123-pat00001

상기에서, d는 유클리디안 거리(Euclidean Distance)를 의미한다. I는 전체 영상을 의미하며, x와 y는 I 영상 내의 좌표값(위치)을 의미한다. g는 n×m 영상 즉 관심 영역 영상을 의미한다.In the above, d means Euclidean distance. I means the whole image, and x and y mean coordinate values (positions) in the I image. g means an n × m image, that is, an ROI image.

2 단계는 최대값을 구하는 단계로서, 이 단계에서는 1 단계에서 유사성 있는 것들로 선별된 것들 중에서 최대 유사성을 갖는 값을 찾는 것이다. 이 단계는 최대최소(MiniMax) 방법을 이용하여 수행한다.The second step is to find the maximum value, which is to find the value having the maximum similarity among those selected as similarities in the first step. This step is performed using the MiniMax method.

템플릿 매칭부(132)는 관심 영역이 한 개일 때 제1 유클리디안 거리와 제2 유클리디안 거리의 차이값이 기준값 이하인 관심 영역을 주의 정보 영상과 유사한 영상으로 판단할 수 있다. 따라서 이 경우에는 1 단계만 수행되어도 무방하다.When there is only one ROI, the template matching unit 132 may determine an ROI having a difference between the first Euclidean distance and the second Euclidean distance less than or equal to the reference value as an image similar to the attention information image. Therefore, in this case, only one step may be performed.

그러나 관심 영역이 두개 이상일 때에는 주의 정보 영상과 유사한 영상이 두개 이상 검출될 수 있으므로 본 실시예에서는 이 경우 차이값이 가장 작은 관심 영역을 주의 정보 영상과 유사한 영상으로 판단하는 것이 바람직하다. 따라서 이 경우를 참작할 때 1 단계와 더불어 2 단계까지 수행되는 것이 바람직하다.However, when there are two or more regions of interest, two or more images similar to the attention information image may be detected. In this embodiment, it is preferable to determine the region of interest having the smallest difference as the image similar to the attention information image. Therefore, in consideration of this case, it is preferable to perform up to two stages in addition to one stage.

유사도 판별부(133)는 주의 정보 영상과 유사한 영상으로 판단된 관심 영역이 검출되면 이 관심 영역을 주의 정보 영상에 매칭되는 영역으로 판별한다.The similarity determination unit 133 determines that the ROI that is determined to be an image similar to the attention information image is an area matching the attention information image.

다음으로 운전 주의 정보 안내 장치(100)를 구비하는 시스템에 대하여 설명한다. 이하에서는 주의 정보 영상의 일례로 교통 표지판 영상을 인식하는 시스템에 대하여 설명한다. 도 3은 본 발명의 일실시예에 따른 교통 표지판 인식 시스템을 개략적으로 도시한 개념도이다.Next, a system including the driving attention information guide device 100 will be described. Hereinafter, a system for recognizing a traffic sign image as an example of an attention information image will be described. 3 is a conceptual diagram schematically showing a traffic sign recognition system according to an embodiment of the present invention.

교통 표지판 인식 시스템(300)은 차량에 장착되어 있는 내비게이션의 맵 정보에 포함되어 있는 교통 표지판 정보를 카메라의 입력으로 받아, 차량 전방의 일정 거리 내의 교통 표지판을 검출 및 인식하는 시스템이다.The traffic sign recognition system 300 is a system that receives traffic sign information included in map information of a navigation system mounted on a vehicle as an input of a camera, and detects and recognizes a traffic sign within a predetermined distance in front of the vehicle.

기존의 교통 표지판 인식 시스템은 카메라 단독으로 인식하는 방식으로 카메라의 전방 영상을 입력받아 전체 영역에서 교통 표지판을 검출한 후, 검출된 표지판이 무엇인지 인식하는 부분을 수행해야 한다. 여기서 검출 단계에서는 교통 표지판의 컬러나 모양을 이용하여 검출하게 되는데 이는 시스템의 계산을 복잡하게 만드는 문제점이 있다.Existing traffic sign recognition system should receive the front image of the camera in a manner that recognizes the camera alone, detect the traffic sign in the whole area, and then perform the part of recognizing what the detected sign is. In the detection step, the detection is performed using the color or shape of the traffic sign, which complicates the calculation of the system.

본 발명에서 제안되는 시스템의 인식 단계는 내비게이션에서 정보가 미리 입력이 되므로 검출 단계만을 수행하면 된다. 또한 내비게이션에서 교통 표지판 정보가 입력될 때만 카메라가 교통 표지판을 검출하면 된다.In the recognition step of the system proposed in the present invention, since the information is input in advance in the navigation, only the detection step needs to be performed. Also, the camera only needs to detect the traffic sign when the traffic sign information is input in the navigation.

도 3은 제안하는 시스템의 구성도이다. 시스템(300)의 구성은 차량(310) 내부에 내비게이션(320), 센싱부(330), 신호 처리부(340), 디스플레이부(350) 등으로 구성되어 있다.3 is a configuration diagram of the proposed system. The system 300 includes a navigation 320, a sensing unit 330, a signal processing unit 340, a display unit 350, and the like in the vehicle 310.

내비게이션(320)은 속도 표지판 정보(321)를 포함하는 장치이고, 센싱부(330)는 내비게이션(320)으로부터 속도 표지판 정보를 입력으로 받아 전방의 영상을 취득하는 카메라를 이용한다. 이때 카메라는 영상을 실시간으로 저장 및 디스플레이가 가능하다.The navigation 320 is a device including the speed sign information 321, and the sensing unit 330 uses a camera that receives the speed sign information from the navigation 320 as an input and acquires an image of the front. At this time, the camera can store and display the image in real time.

신호 처리부(340)는 센싱부(330)에서 입력으로 취득한 영상에서 속도 표지판(341)을 검출하는 부분으로, 미리 내비게이션(320)으로부터 속도 표지판의 정보를 제공받아 검출해야 할 정보를 인지하고 있다.The signal processor 340 detects the speed sign 341 from the image acquired by the sensing unit 330 as an input, and recognizes information to be detected by receiving information of the speed sign from the navigation 320 in advance.

디스플레이부(350)는 신호 처리부(340)에서 동일한 속도 표지판 정보를 검출하면 차량 내부 클러스터나 HUD(Head up Display)에 표시한다(351).If the signal processor 340 detects the same speed sign information, the display unit 350 displays the same speed sign information in the vehicle interior cluster or the head up display (HUD) (351).

도 4는 본 발명의 바람직한 실시예에 따른 운전 주의 정보 안내 방법을 개략적으로 도시한 흐름도이다. 도 4에서도 교통 표지판 영상을 주의 정보 영상의 일례로 들어 설명한다. 이하 설명은 도 1 및 도 4를 참조한다.4 is a flowchart schematically illustrating a method for guiding driving attention information according to an exemplary embodiment of the present invention. 4, the traffic sign image will be described as an example of the attention information image. The following description refers to FIGS. 1 and 4.

먼저 주의 정보 영상 추출부(110)가 내비게이션 장치에 저장된 맵 정보(S410)로부터 주행 경로 상에서의 교통 표지판 정보 영상을 추출한다(S420). S420 단계에서는 교통 표지판 영상 대신에 과속방지턱 영상이나 진출로 영상을 추출하는 것도 가능하다.First, the attention information image extracting unit 110 extracts the traffic sign information image on the driving route from the map information S410 stored in the navigation device (S420). In step S420, instead of the traffic sign image, it is also possible to extract the image of the speed bumps or the entrance road image.

이후 전방 영상 획득부(120)가 주행 경로를 따라 운행하는 차량에서 전방 영상을 획득한다(S430).Thereafter, the front image acquisition unit 120 acquires a front image from the vehicle traveling along the driving path (S430).

이후 매칭 판별부(130)가 전방 영상에 교통 표지판 정보 영상과 매칭되는 영역이 포함되어 있는지 여부를 판별한다.Thereafter, the matching determination unit 130 determines whether the area corresponding to the traffic sign information image is included in the front image.

내비게이션에서 일정 위치에서 교통 표지판 정보가 발생하면 검출 알고리즘이 구동된다(S430). 전방 카메라로부터 입력 영상이 입력되면(S440), 이 입력 영상에서 관심 영역을 검출한다(S450).When the traffic sign information occurs at a certain position in the navigation, the detection algorithm is driven (S430). When the input image is input from the front camera (S440), the ROI is detected from the input image (S450).

S450 단계에서는 도 5의 (a) 내지 (c)에 도시된 바와 같이 입력 영상의 상단으로부터 2/5 위치를 기준으로 그 위나 아래에 일정 크기를 가지는 영상들(510 ~ 550)을 관심 영역으로 검출할 수 있다. 또한 이때 좌우 양측에 위치하는 영상들(510, 530, 540, 550)은 상하에 위치하는 영상들끼리(510과 540, 530과 550) 동일 크기를 가지도록 설정할 수 있다. 본 실시예에서 이와 같이 관심 영역을 결정하는 것은 차선 검출에서 소실점이 발생하는 위치가 입력 영상의 2/3 부분의 하단에 발생하기 때문이다.In operation S450, as shown in FIGS. 5A to 5C, images 510 to 550 having a predetermined size above or below a 2/5 position from the top of the input image are detected as the ROI. can do. In this case, the images 510, 530, 540, and 550 positioned on both left and right sides may be set to have the same size between the images 510, 540, 530, and 550 positioned up and down. In the present embodiment, the region of interest is determined because the position where the vanishing point occurs in the lane detection occurs at the lower end of the 2/3 portion of the input image.

한편 도 5에서 (a)와 (b)는 교통 표지판 영상의 예시이며, (c)는 진출로 영상에 대한 예시이다.On the other hand (a) and (b) in Figure 5 is an example of the traffic sign image, (c) is an illustration of the advance road image.

입력 영상에서 관심 영역이 검출되면 교통 표지판 영상과 이 관심 영역에 대하여 템플릿 매칭을 수행한다(S460).When the ROI is detected from the input image, template matching is performed on the traffic sign image and the ROI (S460).

이후 교통 표지판 영상에 매칭되는 관심 영역에 대하여 그 영상이나 정보를 클러스터나 HUD 등에 표시한다(S470).Thereafter, the image or information of the ROI matched with the traffic sign image is displayed on the cluster or the HUD (S470).

이상 설명한 본 발명에 따른 교통 표지판 인식 시스템에 대하여 요약하면 다음과 같다.The traffic sign recognition system according to the present invention described above is summarized as follows.

첫째, 본 시스템은 내비게이션에 포함되어 있는 교통 표지판 정보를 이용하여 카메라에서 이 교통 표지판을 검출하고 인식하는 시스템이다. 교통 표지판 인식 시스템은 교통 표지판 정보 입력 단계, 교통 표지판 검출 단계, 경고 및 표시 단계 등을 순차적으로 수행한다. 교통 표지판 정보 발생은 내비게이션에서 출력된다.First, the system detects and recognizes the traffic sign from the camera by using the traffic sign information included in the navigation. The traffic sign recognition system sequentially performs traffic sign information input steps, traffic sign detection steps, warning and display steps, and the like. Traffic sign information generation is output in the navigation.

둘째, 교통 표지판 검출을 위한 관심 영역은 입력 영상의 위부분에서 2/5 위치를 기준으로 검출할 수 있는데, 이 설정 단계는 카메라 설치 방법에 따라 약간의 조정이 가능하다. 또한 좌우 관심영역은 상하 영역에서 검출한 영역 크기와 동일하게 설정 가능하다.Second, the ROI for detecting a traffic sign can be detected based on a 2/5 position from the upper part of the input image. This setting step can be slightly adjusted according to the camera installation method. In addition, the left and right regions of interest may be set equal to the size of the region detected in the upper and lower regions.

셋째, 본 시스템은 인식 단계를 내비게이션에서 입력으로 받아 후처리가 필요 없으며, 인식 단계로 내비게이션에서 입력되는 교통 표지판 정보와 동일한 특징을 가진 객체를 관심 영역에서 검출하는 단계가 필요하다.Third, the system does not require post-processing by receiving the recognition step as an input in the navigation, and in the recognition step, it is necessary to detect an object having the same characteristics as the traffic sign information input in the navigation in the ROI.

넷째, 본 시스템은 내비게이션과 연동하여 내비게이션에서 출력 가능한 다양한 정보를 기반으로 카메라에서 검출 가능하다.Fourth, the system can be detected by the camera based on a variety of information that can be output from the navigation in conjunction with the navigation.

이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.Although all components constituting the embodiments of the present invention described above are described as being combined or operating in combination, the present invention is not necessarily limited to these embodiments. That is, within the scope of the present invention, all of the components may be selectively operated in combination with one or more. In addition, although all the components may be implemented as one independent hardware, each or some of the components are selectively combined to perform some or all functions combined in one or a plurality of hardware. It may be implemented as a computer program having a. In addition, such a computer program may be stored in a computer readable medium such as a USB memory, a CD disk, a flash memory, and the like, read and executed by a computer, thereby implementing an embodiment of the present invention. The recording medium of the computer program may include a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like.

또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.In addition, all terms including technical or scientific terms have the same meaning as commonly understood by a person of ordinary skill in the art unless otherwise defined in the detailed description. Terms used generally, such as terms defined in a dictionary, should be interpreted to coincide with the contextual meaning of the related art, and shall not be interpreted in an ideal or excessively formal sense unless explicitly defined in the present invention.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present invention, and those skilled in the art to which the present invention pertains various modifications, changes, and substitutions without departing from the essential characteristics of the present invention. will be. Accordingly, the embodiments disclosed in the present invention and the accompanying drawings are not intended to limit the technical spirit of the present invention but to describe the present invention, and the scope of the technical idea of the present invention is not limited by the embodiments and the accompanying drawings. . The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto shall be construed as being included in the scope of the present invention.

Claims (10)

내비게이션 장치에 저장된 맵 정보로부터 주행 경로 상에서의 주의 정보 영상을 추출하는 주의 정보 영상 추출부;
상기 주행 경로를 따라 운행하는 차량에서 전방 영상을 획득하는 전방 영상 획득부;
상기 전방 영상에 상기 주의 정보 영상과 매칭되는 영역이 포함되어 있는지 여부를 판별하는 매칭 판별부; 및
상기 전방 영상에 상기 매칭되는 영역이 포함되어 있는 것으로 판별되면 상기 매칭되는 영역에 대한 영상이나 상기 매칭되는 영역에 대한 정보를 출력하는 매칭 영역 출력부를 포함하고,
상기 매칭 판별부는, 상기 전방 영상에서 관심 영역을 추출하는 관심 영역 추출부; 상기 관심 영역과 상기 주의 정보 영상을 템플릿 매칭시켜 상기 관심 영역과 상기 주의 정보 영상의 유사성을 판단하는 템플릿 매칭부; 및 상기 관심 영역이 상기 주의 정보 영상과 유사한 것으로 판단되면 상기 관심 영역을 상기 주의 정보 영상에 매칭되는 영역으로 판별하고, 상기 관심 영역이 상기 주의 정보 영상과 유사하지 않은 것으로 판단되면 상기 관심 영역을 상기 주의 정보 영상에 매칭되지 않는 영역으로 판별하는 유사도 판별부를 포함하며,
상기 템플릿 매칭부는 상기 주의 정보 영상에 포함된 특징점들 간 제1 유클리디안 거리(Euclidean Distance)와 상기 관심 영역에 포함된 특징점들 간 제2 유클리디안 거리를 비교하여 상기 유사성을 판단하며,
상기 템플릿 매칭부는 상기 관심 영역이 한개일 때 상기 제1 유클리디안 거리와 상기 제2 유클리디안 거리의 차이값이 기준값 이하인 관심 영역을 상기 주의 정보 영상과 유사한 영상으로 판단하고, 상기 관심 영역이 적어도 두개일 때 상기 차이값이 가장 작은 관심 영역을 상기 주의 정보 영상과 유사한 영상으로 판단하며,
상기 관심 영역 추출부는 상기 전방 영상을 영역 영상들로 분할하고 상기 영역 영상들 중 상측이나 외곽에 위치하는 영역 영상을 상기 관심 영역으로 추출하는 것을 특징으로 하는 운전 주의 정보 안내 장치.An attention information image extracting unit which extracts an attention information image on a driving route from map information stored in the navigation device;
A front image acquisition unit configured to acquire a front image from a vehicle traveling along the driving path;
A matching determination unit determining whether the front image includes an area matching the attention information image; And
And a matching area output unit configured to output an image of the matching area or information on the matching area when it is determined that the front area includes the matching area.
The matching determiner may include a region of interest extractor configured to extract a region of interest from the front image; A template matching unit which determines a similarity between the ROI and the attention information image by template matching the ROI and the attention information image; And when the ROI is determined to be similar to the attention information image, the ROI is determined to be a region that matches the attention information image, and when the ROI is not determined to be similar to the attention information image, the ROI is determined. A similarity determination unit for determining a region that does not match the attention information image,
The template matching unit determines the similarity by comparing a first Euclidean distance between feature points included in the attention information image and a second Euclidean distance between feature points included in the ROI.
The template matching unit determines that the ROI having a difference value between the first Euclidean distance and the second Euclidean distance is equal to or less than a reference value when the ROI is one image is similar to the attention information image, and the ROI Determining at least two regions of interest having the smallest difference as an image similar to the attention information image,
And the region of interest extracting unit divides the front image into region images and extracts an region image located above or outside the region images as the region of interest. 삭제delete 삭제delete 삭제delete 삭제delete 제 1 항에 있어서,
상기 관심 영역 추출부는 적어도 하나의 가로선 또는 적어도 하나의 세로선을 이용하여 상기 전방 영상을 상기 영역 영상들로 분할하는 것을 특징으로 하는 운전 주의 정보 안내 장치.The method of claim 1,
And the region of interest extractor divides the front image into the region images by using at least one horizontal line or at least one vertical line. 제 1 항에 있어서,
상기 주의 정보 영상 추출부는 상기 주의 정보 영상으로 제한 속도가 표시된 교통표지판 영상, 과속방지턱 영상, 진입로 영상 및 진출로 영상 중 적어도 하나의 영상을 추출하는 것을 특징으로 하는 운전 주의 정보 안내 장치.The method of claim 1,
The caution information image extracting unit extracts at least one image of a traffic sign image, a speed bump, an entrance road image, and an exit road image in which a speed limit is displayed as the caution information image. 제 1 항에 있어서,
상기 매칭 영역 출력부는 상기 차량의 클러스터 또는 HUD(Head Up Display)에 상기 매칭되는 영역에 대한 영상이나 상기 매칭되는 영역에 대한 정보를 출력하는 것을 특징으로 하는 운전 주의 정보 안내 장치.The method of claim 1,
And the matching area output unit outputs an image of the matching area or information on the matching area to the cluster or the head up display (HUD) of the vehicle. 제 1 항에 있어서,
상기 주의 정보 영상 추출부는 상기 주행 경로가 설정되면 상기 주행 경로 상의 모든 구간에서 상기 주의 정보 영상을 일괄적으로 추출하거나, GPS를 통해 확인된 상기 차량의 현재 위치가 특정 지점에 도달할 때마다 상기 특정 지점에서의 상기 주의 정보 영상을 추출하는 것을 특징으로 하는 운전 주의 정보 안내 장치.The method of claim 1,
The attention information image extracting unit extracts the attention information image collectively in all sections of the driving route when the driving route is set, or whenever the current location of the vehicle identified through GPS reaches a specific point. Driving attention information guide device, characterized in that for extracting the attention information image at the point. 내비게이션 장치에 저장된 맵 정보로부터 주행 경로 상에서의 주의 정보 영상을 추출하는 주의 정보 영상 추출 단계;
상기 주행 경로를 따라 운행하는 차량에서 전방 영상을 획득하는 전방 영상 획득 단계;
상기 전방 영상에 상기 주의 정보 영상과 매칭되는 영역이 포함되어 있는지 여부를 판별하는 매칭 판별 단계; 및
상기 전방 영상에 상기 매칭되는 영역이 포함되어 있는 것으로 판별되면 상기 매칭되는 영역에 대한 영상이나 상기 매칭되는 영역에 대한 정보를 출력하는 매칭 영역 출력 단계를 포함하고,
상기 매칭 판별 단계는 상기 전방 영상에서 관심 영역을 추출하는 관심 영역 추출하고, 상기 관심 영역과 상기 주의 정보 영상을 템플릿 매칭시켜 상기 관심 영역과 상기 주의 정보 영상의 유사성을 판단하며, 상기 관심 영역이 상기 주의 정보 영상과 유사한 것으로 판단되면 상기 관심 영역을 상기 주의 정보 영상에 매칭되는 영역으로 판별하고 상기 관심 영역이 상기 주의 정보 영상과 유사하지 않은 것으로 판단되면 상기 관심 영역을 상기 주의 정보 영상에 매칭되지 않는 영역으로 판별하며,
상기 매칭 판별 단계는 상기 주의 정보 영상에 포함된 특징점들 간 제1 유클리디안 거리(Euclidean Distance)와 상기 관심 영역에 포함된 특징점들 간 제2 유클리디안 거리를 비교하여 상기 유사성을 판단하되, 상기 관심 영역이 한개일 때 상기 제1 유클리디안 거리와 상기 제2 유클리디안 거리의 차이값이 기준값 이하인 관심 영역을 상기 주의 정보 영상과 유사한 영상으로 판단하고, 상기 관심 영역이 적어도 두개일 때 상기 차이값이 가장 작은 관심 영역을 상기 주의 정보 영상과 유사한 영상으로 판단하며,
상기 매칭 판별 단계는 상기 전방 영상을 영역 영상들로 분할하고 상기 영역 영상들 중 상측이나 외곽에 위치하는 영역 영상을 상기 관심 영역으로 추출하는 것을 특징으로 하는 운전 주의 정보 안내 방법.An attention information image extraction step of extracting an attention information image on a driving route from map information stored in the navigation device;
A front image acquisition step of acquiring a front image from a vehicle traveling along the driving path;
A matching determination step of determining whether the front image includes an area matching the attention information image; And
And a matching area outputting step of outputting an image of the matching area or information on the matching area when it is determined that the front image includes the matching area.
The matching determination step may include extracting a region of interest extracting a region of interest from the front image, and matching the region of interest with the attention information image to determine similarity between the region of interest and the attention information image, wherein the region of interest is the image of the region of interest. If it is determined that the image is similar to the attention information image, the region of interest is determined to be a region matching the attention information image. If the region of interest is determined to be similar to the attention information image, the region of interest is not matched with the attention information image. By area,
In the matching determination step, the similarity is determined by comparing a first Euclidean distance between feature points included in the attention information image and a second Euclidean distance between feature points included in the ROI. When there is only one region of interest, the region of interest whose difference between the first Euclidean distance and the second Euclidean distance is equal to or less than a reference value is determined as an image similar to the attention information image, and when the region of interest is at least two. The region of interest having the smallest difference is determined as an image similar to the attention information image,
The determining of the matching step may include dividing the front image into region images and extracting an region image located above or outside the region images as the region of interest.
KR1020130095255A 2013-08-12 2013-08-12 Apparatus and method for guiding caution information of driving KR102074209B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130095255A KR102074209B1 (en) 2013-08-12 2013-08-12 Apparatus and method for guiding caution information of driving

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130095255A KR102074209B1 (en) 2013-08-12 2013-08-12 Apparatus and method for guiding caution information of driving

Publications (2)

Publication Number Publication Date
KR20150018990A KR20150018990A (en) 2015-02-25
KR102074209B1 true KR102074209B1 (en) 2020-02-06

Family

ID=52578219

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130095255A KR102074209B1 (en) 2013-08-12 2013-08-12 Apparatus and method for guiding caution information of driving

Country Status (1)

Country Link
KR (1) KR102074209B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101700681B1 (en) * 2015-04-14 2017-02-13 백승렬 Method and Apparatus for image information of car navigation to Improve the accuracy of the location using space information
KR102194882B1 (en) * 2016-10-18 2020-12-24 현대자동차주식회사 Vehicle, and method for controlling thereof
KR102562757B1 (en) * 2021-04-06 2023-08-02 한국교통대학교 산학협력단 Prediction and recognition method of road marking information and road maintenance method
KR102540636B1 (en) * 2022-10-27 2023-06-13 주식회사 모빌테크 Method for create map included direction information and computer program recorded on record-medium for executing method therefor
CN116794702B (en) * 2023-05-30 2023-12-22 名商科技有限公司 GPS blind zone navigation method, system and readable storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007106364A (en) * 2005-10-17 2007-04-26 Aisin Aw Co Ltd Travel supporting device and travel supporting method
JP2008059319A (en) * 2006-08-31 2008-03-13 Mitsubishi Electric Corp Object recognition device, and image object positioning device

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110016073A (en) * 2009-08-11 2011-02-17 주식회사 만도 Apparatus for processing infront side image of vehicle and the method thereof
KR20120133309A (en) * 2011-05-31 2012-12-10 현대자동차주식회사 Drive Assist System Using Image Recognition Technology
KR101285075B1 (en) * 2011-11-24 2013-07-17 팅크웨어(주) Method and apparatus for providing augmented reality view mode using sensor data and lane information

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007106364A (en) * 2005-10-17 2007-04-26 Aisin Aw Co Ltd Travel supporting device and travel supporting method
JP2008059319A (en) * 2006-08-31 2008-03-13 Mitsubishi Electric Corp Object recognition device, and image object positioning device

Also Published As

Publication number Publication date
KR20150018990A (en) 2015-02-25

Similar Documents

Publication Publication Date Title
Possatti et al. Traffic light recognition using deep learning and prior maps for autonomous cars
US20190251374A1 (en) Travel assistance device and computer program
JP6241422B2 (en) Driving support device, driving support method, and recording medium for storing driving support program
KR102074209B1 (en) Apparatus and method for guiding caution information of driving
US20190061780A1 (en) Driving assist system using navigation information and operating method thereof
EP3418947A1 (en) Computer implemented detecting method, computer implemented learning method, detecting apparatus, learning apparatus, detecting system, and recording medium
US20150354976A1 (en) Top-down refinement in lane marking navigation
JPWO2008038370A1 (en) Traffic information detection apparatus, traffic information detection method, traffic information detection program, and recording medium
KR101665599B1 (en) Augmented reality navigation apparatus for providing route guide service and method thereof
KR102541560B1 (en) Method and apparatus for recognizing object
JP2018063680A (en) Traffic signal recognition method and traffic signal recognition device
JP5522475B2 (en) Navigation device
KR101366871B1 (en) Apparatus and method for detecting curve traffic lane using RIO division
CN111091037A (en) Method and device for determining driving information
US9824449B2 (en) Object recognition and pedestrian alert apparatus for a vehicle
US9715634B2 (en) Method and device for determining a distance of a vehicle from a traffic-regulating object
KR20120063657A (en) Apparatus for protecting children pedestrian and method for protecting protecting children of the same
JP6419011B2 (en) Feature image recognition system, feature image recognition method, and computer program
EP3522073A1 (en) Method and apparatus for detecting road surface marking
JP2014160031A (en) Traveling guide system, traveling guide method and computer program
US20230245323A1 (en) Object tracking device, object tracking method, and storage medium
KR101724868B1 (en) Apparatus and method for recognizing traffic mark based on image
JP5447162B2 (en) Mobile object identification apparatus, computer program, and mobile object identification method
KR20170138842A (en) System and Method for Tracking Vehicle on the basis on Template Matching
WO2018030103A1 (en) Displayed content recognition device and vehicle control device

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right