KR101664620B1 - 도로 곡률 안내 장치 및 방법 - Google Patents

도로 곡률 안내 장치 및 방법 Download PDF

Info

Publication number
KR101664620B1
KR101664620B1 KR1020140178546A KR20140178546A KR101664620B1 KR 101664620 B1 KR101664620 B1 KR 101664620B1 KR 1020140178546 A KR1020140178546 A KR 1020140178546A KR 20140178546 A KR20140178546 A KR 20140178546A KR 101664620 B1 KR101664620 B1 KR 101664620B1
Authority
KR
South Korea
Prior art keywords
curvature
road
images
image
sign
Prior art date
Application number
KR1020140178546A
Other languages
English (en)
Other versions
KR20160071168A (ko
Inventor
천창환
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020140178546A priority Critical patent/KR101664620B1/ko
Publication of KR20160071168A publication Critical patent/KR20160071168A/ko
Application granted granted Critical
Publication of KR101664620B1 publication Critical patent/KR101664620B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B60W40/072—Curvature of the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/09—Arrangements for giving variable traffic instructions
    • G08G1/091—Traffic information broadcasting

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 도로 곡률 안내 장치 및 방법에 관한 것이다. 본 발명에 따른 장치는, 미리 저장된 도로표지판의 탬플릿을 추출하여 차량 전방의 곡선도로에 대한 영상을 촬영하는 카메라로부터 취득한 영상과 상기 도로표지판의 탬플릿을 매칭하는 탬플릿 매칭부, 상기 영상 내에서 상기 도로표지판의 탬플릿과 매칭되는 복수의 이미지가 검출되면, 상기 검출된 복수의 이미지로부터 차량 전방에 위치한 도로표지판을 인식하는 표지판 인식부, 및 상기 영상으로부터 인식된 도로표지판에 대응하는 복수의 이미지에 대한 크기를 비교하여 상기 복수의 이미지의 크기 변화에 따라 상기 곡선도로에 대한 곡률을 판단하는 곡률 판단부를 포함한다.

Description

도로 곡률 안내 장치 및 방법{Apparatus and method for guiding curvature of road}
본 발명은 도로 곡률 안내 장치 및 방법에 관한 것으로, 곡선도로 상의 도로표지판을 이용하여 도로 곡률은 안내하는 기술에 관한 것이다.
차량 운전 중 곡선도로가 나타나는 경우에 운전자는 곡선도로의 곡률 정도를 제대로 판단하지 못할 수 있다. 만일, 운전자가 고속으로 진행하는 중 급커브의 곡선도로가 나타나면 운전자가 급커브 상황을 미처 인지하지 못해 사고가 발생할 수 있으며, 운전자가 인지한다고 하더라고 급감속을 하는 경우가 발생하여 미끄러짐, 혹은 주변 차량들에게 영향을 미쳐 역시 큰 사고로 이어질 수 있다.
따라서, 차량 운전 시 운전자가 곡선도로의 곡률의 정도를 인지하는 것은 매우 중요하다. 하지만, 일반적인 급커브의 곡선도로에는 갈매기표지판을 설치하는 것이 전부이므로, 이를 통해 운전자가 곡선도로의 곡률 정도까지 파악하기는 쉽지 않다.
물론, 최근에 내비게이션 장치 등을 장착한 차량이 증가하면서, 내비게이션 장치가 전방의 곡선도로에 대한 상태를 안내하긴 하지만, 내비게이션은 GPS를 통해 신호를 수신하여 안내하는 장치이므로, GPS 통신이 원활하지 않은 지역에서는 곡선도로의 상태를 안내할 수 없게 된다.
본 발명의 목적은, 카메라를 통해 촬영한 전방의 영상을 이용하여 곡선도로상에 배치된 도로표지판을 인식함으로써 인식된 도로표지판의 크기 비율 변화에 따라 곡률을 판단하여 운전자에게 안내하도록 하는 도로 곡률 안내 장치 및 방법을 제공함에 있다.
상기의 목적을 달성하기 위한 본 발명에 따른 도로 곡률 안내 장치는, 미리 저장된 도로표지판의 탬플릿을 추출하여 차량 전방의 곡선도로에 대한 영상을 촬영하는 카메라로부터 취득한 영상과 상기 도로표지판의 탬플릿을 매칭하는 탬플릿 매칭부, 상기 영상 내에서 상기 도로표지판의 탬플릿과 매칭되는 복수의 이미지가 검출되면, 상기 검출된 복수의 이미지로부터 차량 전방에 위치한 도로표지판을 인식하는 표지판 인식부, 및 상기 영상으로부터 인식된 도로표지판에 대응하는 복수의 이미지에 대한 크기를 비교하여 상기 복수의 이미지의 크기 변화에 따라 상기 곡선도로에 대한 곡률을 판단하는 곡률 판단부를 포함하는 것을 특징으로 한다.
상기 곡률 판단부는, 상기 복수의 이미지 중 크기가 가장 큰 이미지를 기준으로 다른 이미지에 대한 상대적인 크기 비율을 산출하여, 상기 복수의 이미지들에 대해 산출된 크기 비율에 따라 곡률을 판단하는 것을 특징으로 한다.
상기 곡률 판단부는, 도로표지판 이미지의 크기 비율 변화에 대응하여 미리 저장된 곡률 학습 결과를 이용하여 상기 복수의 이미지들에 대해 산출된 크기 비율에 대응하는 곡률을 판단하는 것을 특징으로 한다.
상기 표지판 인식부는, 상기 검출된 적어도 둘 이상의 이미지로부터 동일한 형태의 도로표지판을 인식하는 것을 특징으로 한다.
상기 도로표지판은, 갈매기표지판인 것을 특징으로 한다.
또한, 본 발명에 따른 장치는, 도로표지판에 대응하는 탬플릿이 저장되며, 도로표지판 이미지의 크기 비율 변화에 대응하여 학습된 곡률 학습 결과가 저장된 저장부를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 장치는, 상기 복수의 이미지의 크기 변화에 대응하는 곡률 정보를 안내하는 출력부를 더 포함하는 것을 특징으로 한다.
한편, 상기의 목적을 달성하기 위한 본 발명에 따른 도로 곡률 안내 방법은, 차량 전방의 곡선도로에 대한 영상을 촬영하는 카메라로부터 영상을 취득하는 단계, 미리 저장된 도로표지판의 탬플릿을 추출하여 상기 카메라로부터 취득한 영상과 상기 도로표지판의 탬플릿을 매칭하는 단계, 상기 영상 내에서 상기 도로표지판의 탬플릿과 매칭되는 복수의 이미지가 검출되면, 상기 검출된 복수의 이미지로부터 차량 전방에 위치한 도로표지판을 인식하는 단계, 및 상기 영상으로부터 인식된 도로표지판에 대응하는 복수의 이미지에 대한 크기를 비교하여 상기 복수의 이미지의 크기 변화에 따라 상기 곡선도로에 대한 곡률을 판단하는 단계를 포함하는 것을 특징으로 한다.
상기 곡선도로에 대한 곡률을 판단하는 단계는, 상기 복수의 이미지 중 크기가 가장 큰 이미지를 기준으로 다른 이미지에 대한 상대적인 크기 비율을 산출하는 단계, 및 상기 복수의 이미지들에 대해 산출된 크기 비율에 따라 곡률을 판단하는 단계를 포함하는 것을 특징으로 한다.
상기 곡선도로에 대한 곡률을 판단하는 단계는, 도로표지판 이미지의 크기 비율 변화에 대응하여 미리 저장된 곡률 학습 결과를 이용하여 상기 복수의 이미지들에 대해 산출된 크기 비율에 대응하는 곡률을 판단하는 것을 특징으로 한다.
본 발명에 따르면, 카메라를 통해 촬영한 전방의 영상을 이용하여 곡선도로상에 배치된 도로표지판을 인식하고 인식된 도로표지판의 크기 비율 변화에 따라 곡률을 판단하여 운전자에게 안내함으로써 운전자가 전방의 곡선도로에 대한 곡률 정도를 쉽게 파악할 수 있도록 하는 이점이 있다.
또한, 본 발명에 따르면 전방의 영상을 이용하여 탬플릿 매칭하거나, 이미지의 크기 비율 변화를 판단하는 것만으로 간단하게 곡률 정보를 안내할 수 있는 이점이 있다.
도 1은 본 발명에 따른 도로 곡률 안내 장치의 구성을 도시한 블록도이다.
도 2는 본 발명에 따른 도로 곡률 안내 장치의 탬플릿 매칭 동작을 설명하는데 참조되는 예시도이다.
도 3은 본 발명에 따른 도로 곡률 안내 장치의 도로표지판 인식 동작을 설명하는데 참조되는 예시도이다.
도 4는 본 발명에 따른 도로 곡률 안내 장치의 도로표지판 이미지에 대한 크기 비율을 추정하는 동작을 설명하는데 참조되는 예시도이다.
도 5는 본 발명에 따른 도로 곡률 안내 장치의 곡률 판단 동작을 설명하는데 참조되는 예시도이다.
도 6은 본 발명에 따른 도로 곡률 안내 장치의 도로 곡률 안내 동작을 설명하는데 참조되는 예시도이다.
도 7은 본 발명에 따른 도로 곡률 안내 방법에 대한 동작 흐름을 도시한 순서도이다.
본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니됨을 유의해야 한다.
도 1은 본 발명에 따른 도로 곡률 안내 장치의 구성을 도시한 블록도이다.
본 발명에 따른 도로 곡률 안내 장치(100)는 차량의 내부에 구현될 수 있다. 이때, 도로 곡률 안내 장치(100)는 차량의 내부 제어 유닛들과 일체로 형성될 수 있으며, 별도의 장치로 구현되어 별도의 연결 수단에 의해 차량의 제어 유닛들과 연결될 수도 있다. 여기서, 도로 곡률 안내 장치(100)는 차량의 헤드업 디스플레이 혹은 내비게이션 등과 연계되어 동작할 수 있다.
이에, 도 1을 참조하면, 도로 곡률 안내 장치(100)는 제어부(110), 입력부(120), 출력부(130), 통신부(140), 저장부(150), 카메라(160), 탬플릿 매칭부(170), 표지판 인식부(180) 및 곡률 판단부(190)를 포함할 수 있다. 여기서, 제어부(110)는 도로 곡률 안내 장치(100)의 각 부간에 전달되는 신호를 처리할 수 있다.
입력부(110)는 사용자로부터의 제어 명령을 입력받기 위한 수단으로, 사용자 단말(100) 외부에 구현되는 키 버튼이 해당 될 수 있으며, 도로 곡률 안내 장치(100) 또는 차량에 구비된 디스플레이 상에 구현되는 소프트 키가 해당 될 수도 있다. 또한, 입력부(110)는 마우스, 조이스틱, 조그 셔틀, 스타일러스 펜과 같은 형태의 입력 수단일 수도 있다.
출력부(120)는 도로 곡률 안내 장치(100)의 동작 상태 및 위치 추정 결과 등이 표시되는 디스플레이를 포함할 수 있으며, 위치 추정 결과를 음성으로 안내하는 스피커를 포함할 수 있다.
여기서, 디스플레이는 터치 동작을 감지하는 센서가 구비되는 경우, 출력 장치 이외에도 입력 장치로도 사용될 수 있다. 즉, 터치 필름, 터치 시트, 터치 패드 등의 터치 센서가 디스플레이에 구비되는 경우, 디스플레이는 터치 스크린으로 동작하며, 입력부(120)와 출력부(130)가 통합된 형태로 구현될 수 있다.
이때, 디스플레이는 액정 디스플레이(Liquid Crystal Display, LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display, FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.
또한, 디스플레이는 도로 곡률 안내 장치(100)에 통합된 형태로 구현된 장치일 수 있으나, 차량에 구비되어 도로 곡률 안내 장치(100)와 연결된 장치일 수도 있다.
통신부(140)는 차량에 구비된 전장품 및/또는 제어유닛들과의 통신 인터페이스를 지원하는 통신모듈을 포함할 수 있다. 일 예로서, 통신모듈은 차량에 구비된 인스트루먼트 패널, 디스플레이 등과 통신 연결되어 도로 곡률 안내 장치(100)의 동작 상태 및 결과 등을 디스플레이로 송신할 수 있다.
여기서, 통신부(140)는 CAN(Controller Area Network) 통신, LIN(Local Interconnect Network) 통신, 플렉스레이(Flex-Ray) 통신 등의 차량 네트워크 통신을 지원하는 통신모듈을 포함할 수 있다.
또한, 통신부(140)는 무선 인터넷 접속을 위한 모듈 또는 근거리 통신(Short Range Communication)을 위한 모듈을 포함할 수도 있다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN, WLAN), 와이브로(Wireless Broadband, Wibro), 와이 파이(Wi-Fi), 와이맥스(World Interoperability for Microwave Access, Wimax), HSDPA(High Speed Downlink Packet Access) 등이 포함될 수 있고, 또한, 근거리 통신 기술로는 블루투스(Bluetooth), 지그비(ZigBee), UWB(Ultra Wideband), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association, IrDA) 등이 포함될 수 있다. 또한, 유선 통신 기술은, USB(Universal Serial Bus) 통신 등을 포함할 수 있다.
저장부(150)는 도로 곡률 안내 장치(100)가 동작하는데 필요한 데이터, 프로그램 및 알고리즘 등이 저장될 수 있다. 일 예로서, 저장부(150)는 탬플릿 매칭 알고리즘이 저장될 수 있으며, 도로표지판의 크기 비율을 추정하는 알고리즘이 저장될 수 있다. 또한, 저장부(150)는 도로표지판의 크기 비율에 따른 곡률 추정 알고리즘이 저장될 수도 잇다. 또한, 저장부(150)는 복수의 도로표지판들에 대한 탬플릿이 저장될 수 있으며, 도로표지판 이미지의 크기 비율 변화에 대응하여 학습된 곡률 학습 결과가 저장될 수 있다.
여기서, 저장부(150)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.
카메라(160)는 정지 영상 및 동영상을 촬영할 수 있는 장치이다. 카메라(160)는 차량 주행 시 차량 전방의 도로에 대한 영상을 촬영할 수 있다. 특히, 카메라(160)는 차량 전방의 곡선도로에 대한 영상(이하, '카메라 영상'이라 칭한다.)을 촬영할 수 있다. 여기서, 카메라 영상은 탬플릿 매칭부(170)로 제공되어, 탬플릿 매칭부(170)에서 도로표지판에 대한 탬플릿을 매칭하는데 이용될 수 있다.
다시 말해, 탬플릿 매칭부(170)는 카메라(160)로부터 카메라 영상을 취득할 수 있다. 이때, 탬플릿 매칭부(170)는 저장부(150)에 미리 저장된 도로표지판들의 탬플릿을 추출하여 카메라 영상과 도로표지판들의 탬플릿을 매칭한다. 도로표지판들의 탬플릿과 카메라 영상에 대한 탬플릿 매칭은 아래 [수학식 1]을 통해 이루어질 수 있다.
Figure 112014120626613-pat00001
여기서, S는 탬플릿 매칭 영상, T는 탬플릿, I는 카메라 영상, x와 y는 카메라 영상의 픽셀 위치, x'와 y'는 템플릿의 픽셀 위치, h는 템플릿의 높이, w는 템플릿의 폭을 나타낸다.
여기서, 저장부(150)에 미리 저장된 탬플릿은 전방의 도로가 곡선도로 혹은 급커드 도로임을 안내하는 갈매기표지판에 대한 탬플릿일 수 있다. 물론, 이는 일 실시예일 뿐, 그외의 다른 도로표지판에 대한 탬플릿일 수도 있음은 당연한 것이다.
탬플릿 매칭부(170)는 카메라 영상 내에서 도로표지판의 탬플릿에 매칭되는 이미지가 검출되는지를 확인한다. 만일, 카메라 영상 내에서 도로표지판의 탬플릿에 매칭되는 복수의 이미지가 검출되면, 탬플릿 매칭 결과를 표지판 인식부(180)로 전달하도록 한다.
표지판 인식부(180)는 탬플릿 매칭부(170)의 탬플릿 매칭 결과, 카메라 영상 내에서 도로표지판의 탬플릿과 매칭되는 복수의 이미지가 검출되면, 검출된 복수의 이미지로부터 차량 전방에 위치한 도로표지판을 인식하도록 한다.
일 예로서, 곡선도로의 경우 갈매기표지판이 일렬로 복수개 배치될 수 있다. 이 경우, 카메라(160)가 복수의 갈매기표지판이 배치된 곡선도로의 영상을 촬영하였다면, 표지판 인식부(180)는 영상에 포함된 복수의 갈매기표지판을 인식할 수 있게 된다.
이때, 표지판 인식부(180)는 카메라 영상 내에서 인식된 도로표지판에 대응하는 복수의 이미지를 추출하여 곡률 판단부(190)로 제공하도록 한다.
곡률 판단부(190)는 카메라 영상으로부터 인식된 도로표지판에 대응하는 복수의 이미지를 크기별로 분류할 수 있다. 다시 말해, 카메라(160)가 곡선도로에 일렬로 배치된 도로표지판을 촬영하는 경우, 카메라 영상 내의 도로표지판은 그 위치 및 곡률 정도에 따라 크기가 다르다. 따라서, 곡률 판단부(190)는 도로표지판에 대응하는 복수의 이미지 중 크기가 가장 큰 이미지를 기준으로 다른 이미지에 대한 상대적인 크기 비율을 산출하도록 한다.
한편, 저장부(150)는 도로표지판 이미지의 크기 비율 변화에 대응하여 학습된 곡률 학습 결과가 미리 저장될 수 있다. 이때, 곡률 판단부(190)는 저장부(150)에 미리 저장된 도로표지판 이미지의 크기 비율 변화에 대응하는 곡률 학습 결과를 추출하도록 한다. 곡률 판단부(190)는 추출된 곡률 학습 결과로부터 카메라 영상으로부터 인식된 도로표지판에 대응하는 복수의 이미지들에 대한 크기 비율 변화에 대응되는 곡률을 판단할 수 있다.
도 2는 본 발명에 따른 도로 곡률 안내 장치의 탬플릿 매칭 동작을 설명하는데 참조되는 예시도이다.
도 2를 참조하면, (a)는 카메라로부터 취득한 카메라 영상을 나타낸 것이고, (b)는 (a)의 카메라 영상을 이용하여 탬플릿 매칭을 수행하는 동작을 나타낸 것이다.
도 2의 (a)에 도시된 카메라 영상은 차량 전방의 곡선도로를 촬영한 영상으로, 곡선도로를 따라 갈매기표지판이 일렬로 배치된 것을 확인할 수 있다.
이에, 도로 곡률 안내 장치는 미리 저장된 도로표지판의 탬플릿들(210)을 추출하여, (a)의 카메라 영상 내에서 추출된 도로표지판의 탬플릿들(210)에 매칭되는 이미지 영역을 탐색한다.
도 2의 실시예는 우측 방향의 갈매기표지판, 좌측 방향의 갈매기표지판에 대한 탬플릿을 추출하여 카메라 영상 내에서 탐색하는 동작을 일 예로하여 설명하나, 이에 한정되는 것은 아니다.
도 2의 탬플릿 매칭 결과는 도 3과 같이 나타낼 수 있다. 이에, 도로 곡률 안내 장치는 도로표지판의 탬플릿들(210) 중 적어도 하나에 매칭되는 복수의 이미지가 검출되는 경우, 도 3에서와 같이 탬플릿 매칭된 복수의 이미지(310 내지 370)를 도로표지판으로 인식할 수 있다.
도 4는 본 발명에 따른 도로 곡률 안내 장치의 도로표지판 이미지에 대한 크기 비율을 추정하는 동작을 설명하는데 참조되는 예시도이다.
도 4를 참조하면, 도로 곡률 안내 장치는 (a)에서와 같이 카메라 영상 내에서 도로표지판에 대응하여 인식된 복수의 이미지(411 내지 417)를 추출하고, (b)와 같이 추출된 복수의 이미지(411 내지 417)를 크기에 따라 분류하도록 한다.
이때, 도로 곡률 안내 장치는 복수의 이미지(411 내지 417) 중 크기가 가장 큰 이미지(411)를 기준으로 다른 이미지(412 내지 417)에 대한 상대적인 크기 비율을 산출하도록 한다.
도로 곡률 안내 장치는 사전에 도로표지판 이미지의 크기 비율 변화에 대응하여 학습된 곡률 학습 결과를 저장한다.
일 예로서, 도 5의 (a)와 같이 곡선도로의 곡률이 작은 경우에 도로표지판 이미지의 크기 비율 변화는 그 편차가 큰 것을 확인할 수 있으며, (c)와 같이 곡선도로의 곡률이 큰 경우에 도로표지판 이미지의 크기 비율 변화는 그 편차가 작은 것을 ㅎ확인할 수 있다. 또한, 도 5의 (b)와 같이 곡선도로의 곡률이 (a)와 (c)의 중간인 경우에 도로표지판 이미지의 크기 비율 변화도 그 편차가 (a) 보다는 작고 (c) 보다는 큰 것을 확인할 수 있다.
여기서, 곡률 학습 결과는 도로표지판 이미지의 크기 비율 변화에 대응하여 학습된 곡률을 기준으로 도 5의 (d)와 같이 복수의 클래스로 분류될 수 있다.
도로 곡률 안내 장치는 전방의 카메라 영상으로부터 추정된 복수의 이미지의 크기 비율 변화와 미리 저장된 곡률 학습 결과를 비교함으로써, 추정된 복수의 이미지들에 대한 크기 비율이 미리 학습된 곡률 클래스 중 어느 클래스에 속하는지 판별할 수 있다. 만일, 추정된 복수의 이미지들에 대한 크기 비율이 도 5의 (d)에서 도면부호 510에 해당하는 경우, 도로 곡률 안내 장치는 분류된 클래스가 속한 곡률을 확인함으로써 추정된 복수의 이미지의 크기 비율 변화에 대응하는 곡률을 산출할 수 있다.
이 경우, 도로 곡률 안내 장치는 도 6에서와 같이 사전에 정의된 곡률 상태 정보 중 추정된 복수의 이미지의 크기 비율 변화에 대응하여 확인된 곡률 상태 정보(610)를 선택할 수 있으며, 이와 같은 정보를 차량의 디스플레이를 통해 출력함으로써 운전자에게 전방의 곡선 도로에 대한 곡률 정보를 안내할 수 있다.
상기와 같이 구성되는 본 발명에 따른 장치의 동작 흐름을 보다 상세히 설명하면 다음과 같다.
도 7은 본 발명에 따른 도로 곡률 안내 방법에 대한 동작 흐름을 도시한 순서도이다.
도 7을 참조하면, 도로 곡률 안내 장치는 카메라 영상을 획득한다(S110). 여기서, 카메라 영상은 전방의 곡선도로를 촬영한 영상일 수 있다.
이후, 도로 곡률 안내 장치는 'S110' 과정에서 획득한 카메라 영상을 분석하고(S120), 미리 저장된 도로표지판의 탬플릿을 이용하여 카메라 영상에 대한 탬플릿 매칭을 수행한다(S130). 이때, 도로 곡률 안내 장치는 'S130' 과정의 탬플릿 매칭 결과, 카메라 영상 내에서 도로표지판의 태플릿과 매칭되는 복수의 이미지가 검출되면, 검출된 복수의 이미지로부터 차량 전방에 위치한 곡선도로 상의 도로표지판을 인식한다(S140).
도로 곡률 안내 장치는 'S140' 과정에서 인식된 도로표지판에 대응하는 복수의 이미지들에 대한 크기 비율을 추정한다(S150). 여기서, 도로 곡률 안내 장치는 인식된 도로표지판에 대응하는 복수의 이미지 중 크기가 가장 큰 이미지를 기준으로 다른 이미지에 대한 상대적인 크기 비율을 산출하도록 한다.
이때, 도로 곡률 안내 장치는 도로표지판 이미지의 크기 비율 변화에 대응하여 미리 학습된 곡률 학습 결과를 이용하여 'S150' 과정에서 추정된 복수의 이미지들에 대한 크기 비율에 대한 클래스를 분류하도록 한다.
다시 말해, 곡률 학습 결과는 도로표지판 이미지의 크기 비율 변화에 대응하여 학습된 곡률을 기준으로 복수의 클래스로 분류될 수 있다. 따라서, 도로 곡률 안내 장치는 'S150' 과정에서 추정된 복수의 이미지들에 대한 크기 비율이 미리 학습된 곡률 클래스 중 어느 클래스에 속하는지 판별할 수 있다.
따라서, 도로 곡률 안내 장치는 'S150' 과정에서 추정된 복수의 이미지들에 대한 크기 비율이 속하는 클래스로부터 곡률을 판단하도록 한다(S170).
이때, 도로 곡률 안내 장치는 'S170' 과정의 곡률 판단 결과를 운전자가 인지할 수 있도록 차량의 디스플레이 혹은 스피커 등을 통해 출력하도록 한다(S180).
상기의 과정들은 프로세서에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체, 즉, 메모리 및/또는 스토리지에 상주할 수도 있다. 예시적인 저장 매체는 프로세서에 커플링되며, 그 프로세서는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
100: 도로 곡률 안내 장치 110: 제어부
120: 입력부 130: 출력부
140: 통신부 150: 저장부
160: 카메라 170: 탬플릿 매칭부
180: 표지판 인식부 190: 곡률 판단부

Claims (10)

  1. 미리 저장된 도로표지판의 탬플릿을 추출하여 차량 전방의 곡선도로에 대한 영상을 촬영하는 카메라로부터 취득한 영상과 상기 도로표지판의 탬플릿을 매칭하는 탬플릿 매칭부;
    상기 영상 내에서 상기 도로표지판의 탬플릿과 매칭되는 복수의 이미지가 검출되면, 상기 검출된 복수의 이미지로부터 차량 전방에 위치한 도로표지판을 인식하는 표지판 인식부; 및
    상기 영상으로부터 인식된 도로표지판에 대응하는 복수의 이미지에 대한 크기를 비교하여 상기 복수의 이미지의 크기 변화에 따라 상기 곡선도로에 대한 곡률을 판단하는 곡률 판단부
    를 포함하는 것을 특징으로 하는 도로 곡률 안내 장치.
  2. 청구항 1에 있어서,
    상기 곡률 판단부는,
    상기 복수의 이미지 중 크기가 가장 큰 이미지를 기준으로 다른 이미지에 대한 상대적인 크기 비율을 산출하여, 상기 복수의 이미지들에 대해 산출된 크기 비율에 따라 곡률을 판단하는 것을 특징으로 하는 도로 곡률 안내 장치.
  3. 청구항 2에 있어서,
    상기 곡률 판단부는,
    도로표지판 이미지의 크기 비율 변화에 대응하여 미리 저장된 곡률 학습 결과를 이용하여 상기 복수의 이미지들에 대해 산출된 크기 비율에 대응하는 곡률을 판단하는 것을 특징으로 하는 도로 곡률 안내 장치.
  4. 청구항 1에 있어서,
    상기 표지판 인식부는,
    상기 검출된 적어도 둘 이상의 이미지로부터 동일한 형태의 도로표지판을 인식하는 것을 특징으로 하는 도로 곡률 안내 장치.
  5. 청구항 1에 있어서,
    상기 도로표지판은,
    갈매기표지판인 것을 특징으로 하는 도로 곡률 안내 장치.
  6. 청구항 1에 있어서,
    도로표지판에 대응하는 탬플릿이 저장되며, 도로표지판 이미지의 크기 비율 변화에 대응하여 학습된 곡률 학습 결과가 저장된 저장부를 더 포함하는 것을 특징으로 하는 도로 곡률 안내 장치.
  7. 청구항 1에 있어서,
    상기 복수의 이미지의 크기 변화에 대응하는 곡률 정보를 안내하는 출력부를 더 포함하는 것을 특징으로 하는 도로 곡률 안내 장치.
  8. 차량 전방의 곡선도로에 대한 영상을 촬영하는 카메라로부터 영상을 취득하는 단계;
    미리 저장된 도로표지판의 탬플릿을 추출하여 상기 카메라로부터 취득한 영상과 상기 도로표지판의 탬플릿을 매칭하는 단계;
    상기 영상 내에서 상기 도로표지판의 탬플릿과 매칭되는 복수의 이미지가 검출되면, 상기 검출된 복수의 이미지로부터 차량 전방에 위치한 도로표지판을 인식하는 단계; 및
    상기 영상으로부터 인식된 도로표지판에 대응하는 복수의 이미지에 대한 크기를 비교하여 상기 복수의 이미지의 크기 변화에 따라 상기 곡선도로에 대한 곡률을 판단하는 단계
    를 포함하는 것을 특징으로 하는 도로 곡률 안내 방법
  9. 청구항 8에 있어서,
    상기 곡선도로에 대한 곡률을 판단하는 단계는,
    상기 복수의 이미지 중 크기가 가장 큰 이미지를 기준으로 다른 이미지에 대한 상대적인 크기 비율을 산출하는 단계; 및
    상기 복수의 이미지들에 대해 산출된 크기 비율에 따라 곡률을 판단하는 단계
    를 포함하는 것을 특징으로 하는 도로 곡률 안내 방법.
  10. 청구항 9에 있어서,
    상기 곡선도로에 대한 곡률을 판단하는 단계는,
    도로표지판 이미지의 크기 비율 변화에 대응하여 미리 저장된 곡률 학습 결과를 이용하여 상기 복수의 이미지들에 대해 산출된 크기 비율에 대응하는 곡률을 판단하는 것을 특징으로 하는 도로 곡률 안내 방법.
KR1020140178546A 2014-12-11 2014-12-11 도로 곡률 안내 장치 및 방법 KR101664620B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140178546A KR101664620B1 (ko) 2014-12-11 2014-12-11 도로 곡률 안내 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140178546A KR101664620B1 (ko) 2014-12-11 2014-12-11 도로 곡률 안내 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20160071168A KR20160071168A (ko) 2016-06-21
KR101664620B1 true KR101664620B1 (ko) 2016-10-10

Family

ID=56353772

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140178546A KR101664620B1 (ko) 2014-12-11 2014-12-11 도로 곡률 안내 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101664620B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102034316B1 (ko) 2019-01-29 2019-11-08 주식회사 만도 차량 위치 보정 시스템 및 방법, 그리고 카메라

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4404047B2 (ja) * 2005-12-02 2010-01-27 住友電気工業株式会社 障害物衝突判定システム、判定装置、障害物衝突判定方法及びコンピュータプログラム
JP2010072973A (ja) 2008-09-19 2010-04-02 Hitachi Automotive Systems Ltd 走行環境認識装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS609521A (ja) * 1983-06-29 1985-01-18 Matsushita Electric Ind Co Ltd 曲げ成形金型装置
JPH11203458A (ja) * 1998-01-13 1999-07-30 Nissan Motor Co Ltd 道路形状認識装置
KR20140103441A (ko) * 2013-02-18 2014-08-27 주식회사 만도 시선 유도 반사체를 이용한 차선 인식 방법 및 시스템

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4404047B2 (ja) * 2005-12-02 2010-01-27 住友電気工業株式会社 障害物衝突判定システム、判定装置、障害物衝突判定方法及びコンピュータプログラム
JP2010072973A (ja) 2008-09-19 2010-04-02 Hitachi Automotive Systems Ltd 走行環境認識装置

Also Published As

Publication number Publication date
KR20160071168A (ko) 2016-06-21

Similar Documents

Publication Publication Date Title
KR102406502B1 (ko) 차량의 협로 주행 안내 장치 및 방법
US9330308B2 (en) Apparatus method and computer-readable medium that detects different regions of user's hand for recognizing gesture for carrying out operation of vehicle
KR102310379B1 (ko) 주행 정보 안내 장치 및 방법, 그리고 차량 시스템
US9477315B2 (en) Information query by pointing
US20130155237A1 (en) Interacting with a mobile device within a vehicle using gestures
US20160004321A1 (en) Information processing device, gesture detection method, and gesture detection program
JP6141787B2 (ja) レーンマーク認識装置
US10586451B2 (en) Apparatus and method for controlling parking
CN109960036B (zh) 用于控制车辆的显示的设备和方法、以及车辆系统
JP2016071616A (ja) 検出装置、検出方法、及び、プログラム
CN103971087A (zh) 一种实时搜索及识别交通标志的方法及装置
JP2016053880A (ja) 車載システム、情報処理方法、およびコンピュータプログラム
US9600894B2 (en) Image processing apparatus and computer-readable storage medium
KR101664620B1 (ko) 도로 곡률 안내 장치 및 방법
US10752261B2 (en) Driver distraction warning control apparatus and method
US10963678B2 (en) Face recognition apparatus and face recognition method
JP6751324B2 (ja) 虹彩検出装置、虹彩検出方法、およびプログラム
US10474912B2 (en) Vehicle display controller, vehicle display system, vehicle display control method, and non-transitory storage medium
US9792511B2 (en) Method for the operation of an assistance system of a motor vehicle, as well as assistance system
CN108197628B (zh) 基于深度神经网络的图像特征的联合判断方法
US20150070267A1 (en) Misrecognition reducing motion recognition apparatus and method
JP6099845B1 (ja) 情報機器、ナビゲーション装置、作業手順の案内装置、および、負荷状況判定方法
TW201621548A (zh) 人員使用手持裝置的偵測方法以及系統
JP7163649B2 (ja) ジェスチャ検出装置、ジェスチャ検出方法、およびジェスチャ検出制御プログラム
JP7215184B2 (ja) 経路案内制御装置、経路案内制御方法、およびプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant