KR101818842B1 - 운전지원장치, 거리감지방법 및 차로의 너비감지방법 - Google Patents

운전지원장치, 거리감지방법 및 차로의 너비감지방법 Download PDF

Info

Publication number
KR101818842B1
KR101818842B1 KR1020160029025A KR20160029025A KR101818842B1 KR 101818842 B1 KR101818842 B1 KR 101818842B1 KR 1020160029025 A KR1020160029025 A KR 1020160029025A KR 20160029025 A KR20160029025 A KR 20160029025A KR 101818842 B1 KR101818842 B1 KR 101818842B1
Authority
KR
South Korea
Prior art keywords
image
vehicle
information
actual
unit
Prior art date
Application number
KR1020160029025A
Other languages
English (en)
Other versions
KR20170105845A (ko
Inventor
서석교
알렉스
Original Assignee
현대오토에버 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대오토에버 주식회사 filed Critical 현대오토에버 주식회사
Priority to KR1020160029025A priority Critical patent/KR101818842B1/ko
Publication of KR20170105845A publication Critical patent/KR20170105845A/ko
Application granted granted Critical
Publication of KR101818842B1 publication Critical patent/KR101818842B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • G06K9/00805—
    • G06K9/00825—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0019—Control system elements or transfer functions
    • B60W2050/0028—Mathematical models, e.g. for simulation
    • B60W2050/0031—Mathematical model of the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 전방카메라를 이용하여 전방에 위치하는 타차량을 포함하는 전방이미지를 생성하는 생성부와; 전방이미지에서 타차량에 대한 이미지인 타차량이미지를 추출하는 추출부와; 타차량이미지를 미리 저장된 데이터에 입력하여 타차량의 실제 길이에 대한 정보인 실제길이정보를 획득하는 획득부와; 전방이미지 내에서 타차량의 실제 길이에 대응되는 이미지길이정보, 전방카메라의 초점거리 및 실제길이정보를 이용하여 타차량과의 실제 거리에 대한 정보인 실제거리정보를 산출하는 산출부; 및 실제거리정보를 기초하여 자차량의 속도 또는 주행방향을 제어하는 제어부를 포함하는 운전지원장치에 관한 것이다.

Description

운전지원장치, 거리감지방법 및 차로의 너비감지방법{DRIVING ASSISTANT APPARATUS, DISTANCE DETECTION METHOD AND WIDTH OF LANE DETECTION METHOD}
본 발명은 운전지원기술에 관한 것이다. 더욱 상세하게는 타차량과의 거리 또는 차로를 결정하는 양차선의 너비를 정확하게 산출하고, 정확하게 산출된 타차량과의 거리 또는 양차선의 너비를 이용하여 차량을 제어할 수 있는 기술에 관한 것이다.
자동차의 숫자가 증가하면서, 안전 운전은 중요한 이슈가 되어왔다. 운전자의 부주의에 기인하여 발생한 교통사고의 숫자가 고려해야 할만한 숫자이기 때문에 임박한 충돌을 검출하고, 적절한 시간에 운전자에게 경고를 제공함으로써 운전자 부주의에 의해 발생하는 교통 사고의 심각성과 숫자를 경감할 수 있는 것은 유의미한 일이다.
전방 추돌 경고 시스템(FCW; Forward Collision Warning System)은 전방의 차량을 검출하고 운전자에게 경고하거나, 또는 차량을 제어함으로써 추돌로부터 야기되는 위험을 완화하거나 회피하도록 한다. 전방 추돌 경고 시스템은 본 차량의 앞에서 정차 또는 주행하는 목표 차량과의 거리를 이용하여, 충돌 예측 시간(TTC; Time-to-collision)을 계산하고, 충돌 예측 시간이 미리 설정된 시간임계치보다 작을 때 충돌 경고를 발생한다.
또한, 차선 유지 보조 시스템(LKAS; Lane Keeping Assist System)은 차선을 검출하고 차선을 침범하지 않도록 운전자에게 경고하거나, 또는 차량을 제어함으로써 차선 침범으로부터 야기되는 위험을 완화하거나 또는 회피하도록 한다. 차선 유지 보조 시스템은 본 차량과 차선과의 거리를 감지하고, 감지된 차선과의 거리가 미리 설정된 거리임계치보다 작을 때 경고 또는 제어를 수행한다.
전술한 시스템 외에도, 교통 사고를 감소시키기 위한 많은 차량 보조 시스템이 존재하며, 계속 개발 중에 있다.
이러한 차량 보조 시스템이 적절하게 동작하기 위해서는 객체(차량 또는 차선을 포함하는 도로 위 또는 인근에 존재하는 어떠한 것)와의 거리를 정확하게 산출해야 한다.
레이더 센서는 이와 같은 목적에 보편적으로 사용되어 왔다. 이러한 레이더 센서는 심지어는 조도환경이 안 좋은 경우에도 원거리에서 목표 차량을 검출할 수 있다.
하지만, 레이더의 높은 비용과 제한된 각도를 가지는 문제점이 있다. 이러한 문제점에 의해, 많은 연구자들이 저렴한 가격의 영상 센서(카메라 등을 포함함)를 사용하는 영상 기반의 전방 추돌 경고 시스템을 개발하는 추세이다.
레이더 센서와 반대로, 영상 센서는 거리 정보를 제공하지 않는다. 이에, 영상 센서를 이용하는 경우 설치된 영상 센서에 대한 정보(지면으로부터 높이 등)에 의해 거리 정보를 추정한다.
하지만, 차량이 주행함에 따라 무수히 많은 상황들이 존재하며, 이에 영상 센서에 대한 정보도 변화될 수 있다.
일 예를 들어, 차량이 방지턱 또는 일정 높낮이가 제공되는 도로를 주행하는 경우, 상기 차량에 설치된 영상 센서에 대한 정보(지면으로부터 높이)가 상기 방지턱 또는 상기 높낮이에 따라 변화될 수 있다.
하지만, 영상 센서를 이용하여 거리를 추정함에 있어 전술한 바에 같이 변화될 수 있는 영상 센서에 대한 정보를 적용하지 못해, 거리 정보를 추정함에 있어 정확도가 떨어지는 문제점이 있다.
이러한 배경에서, 본 발명의 목적은, 일 측면에서, 영상 센서를 이용하여 정보를 산출함에 있어서, 차량이 주행하는 주변환경에 관계없는 정보를 이용하여 정확한 정보를 산출하고, 산출된 정확한 정보를 이용하여 차량을 제어할 수 있는 운전지원기술을 제공하는 것이다.
제1 측면에서, 본 발명은 전방카메라를 이용하여 전방에 위치하는 타차량을 포함하는 전방이미지를 생성하는 생성부와; 전방이미지에서 타차량에 대한 이미지인 타차량이미지를 추출하는 추출부와; 타차량이미지를 미리 저장된 모델에 입력하여 타차량의 실제 길이에 대한 정보인 실제길이정보를 획득하는 획득부와; 전방이미지 내에서 타차량의 실제 길이에 대응되는 이미지길이정보, 전방카메라의 초점거리 및 실제길이정보를 이용하여 타차량과의 실제 거리에 대한 정보인 실제거리정보를 산출하는 산출부; 및 실제거리정보를 기초하여 자차량의 속도 또는 주행방향을 제어하는 제어부를 포함하는 운전지원장치를 제공한다.
제2 측면에서, 본 발명은 전방카메라를 이용하여 전방에 위치하는 타차량 및 차로를 결정하는 양차선을 포함하는 전방이미지를 생성하는 생성부와; 전방이미지에서 타차량에 대한 이미지인 타차량이미지를 추출하는 추출부와; 타차량이미지를 미리 저장된 모델에 입력하여 타차량의 실제 길이에 대한 정보인 실제길이정보를 획득하는 획득부와; 전방이미지 내에서 타차량의 실제 길이에 대응되는 이미지길이정보, 전방이미지 내에서 양차선의 실제 너비에 대응되는 이미지너비정보 및 실제길이정보를 이용하여 양차선의 실제 너비에 대한 정보인 실제너비정보를 산출하는 산출부; 및 실제너비정보를 기초하여 자차량의 속도 또는 주행방향을 제어하는 제어부를 포함하는 운전지원장치를 제공한다.
제3 측면에서, 본 발명은 전방카메라를 이용하여 전방에 위치하는 타차량을 포함하는 전방이미지를 생성하는 생성단계와; 전방이미지에서 타차량에 대한 이미지인 타차량이미지를 추출하는 추출단계와; 타차량이미지를 미리 저장된 모델에 입력하여 타차량의 실제 길이에 대한 정보인 실제길이정보를 획득하는 획득단계; 및 전방이미지 내에서 타차량의 실제 길이에 대응되는 이미지길이정보, 전방카메라의 초점거리 및 실제길이정보를 이용하여 타차량과의 실제 거리에 대한 정보인 실제거리정보를 산출하는 산출단계를 포함하는 거리감지방법을 제공한다.
제4 측면에서, 본 발명은 전방카메라를 이용하여 전방에 위치하는 타차량 및 차로를 결정하는 양차선을 포함하는 전방이미지를 생성하는 생성단계와; 전방이미지에서 타차량에 대한 이미지인 타차량이미지를 추출하는 추출단계와; 타차량이미지를 미리 저장된 모델에 입력하여 타차량의 실제 길이에 대한 정보인 실제길이정보를 획득하는 획득단계; 및 전방이미지 내에서 타차량의 실제 길이에 대응되는 이미지길이정보, 전방이미지 내에서 양차선의 실제 너비에 대응되는 이미지너비정보 및 실제길이정보를 이용하여 양차선의 실제 너비에 대한 정보인 실제너비정보를 산출하는 산출단계를 포함하는 양차선의 너비감지방법을 제공한다.
이상에서 설명한 바와 같이 본 발명에 의하면, 차량이 주행하는 주변환경에 관계없는 정보를 이용하여 정확한 정보를 산출하는 기술 및 산출된 정확한 정보를 이용하여 차량을 제어할 수 있는 운전지원기술을 제공할 수 있다.
도 1a는 일반적인 운전지원장치의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 1b는 일반적인 운전지원장치에서 발생될 수 있는 문제점을 설명하기 위한 일 예를 도시한 도면이다.
도 2는 본 발명의 일 실시 예에 따른 운전지원장치의 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 4는 본 발명의 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 상세한 일 예를 도시한 도면이다.
도 5는 본 발명의 일 실시 예에 따른 추출부의 동작을 설명하기 위한 상세한 일 예를 도시한 도면이다.
도 6은 본 발명의 일 실시 예에 따른 획득부의 동작을 설명하기 위한 상세한 일 예를 도시한 도면이다.
도 7은 본 발명의 다른 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 8은 본 발명의 다른 일 실시 예에 따른 운전지원장치의 산출부의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 9는 본 발명의 일 실시 예에 따른 운전지원방법의 흐름도를 도시한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 참조하여 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가질 수 있다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략할 수 있다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질, 차례, 순서 또는 개수 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 다른 구성 요소가 "개재"되거나, 각 구성 요소가 다른 구성 요소를 통해 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
도 1a는 일반적인 운전지원장치의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 1a의 (A)는 일반적인 운전지원장치를 포함하는 자차량이 일반적인 도로를 주행하는 예를 도시하며, 도 1a의 (B)는 (A)의 상황에서 일반적인 운전지원장치가 타차량과의 거리를 산출하는 방법을 설명하기 위한 상세한 예를 도시한다.
도 1a를 참조하면, 일반적인 운전지원장치는 자차량(110a)의 일 위치(지면을 기준으로 한 높이(Ha))에 설치된 카메라(120a)가 출력한 영상데이터를 이용하여 타차량(130)과의 거리를 산출할 수 있다. 일반적인 운전지원장치가 거리를 산출함에 있어서 도시된 바와 같이 카메라(120a)를 사용할 수 있으나, 이에 제한되지 않고 영상데이터를 출력할 수 있는 센서를 사용할 수도 있다.
일반적으로, 카메라(120a)는 렌즈 및 조리개(121a)와 이미지센서(123a)를 포함할 수 있다. 이에, 카메라(120a)는 빛을 렌즈 및 조리개(121a)를 이용하여 받아들이고 받아들인 빛에 의한 상을 이미지센서(123a)에 맺히게 함으로써 영상데이터를 출력할 수 있다.
이러한 동작원리와 빛의 성질인 직진성에 의해 (B)의 경우, 다음 수학식 1과 같은 비례관계식을 얻을 수 있다.
[수학식 1]
Da : Ha = f : ha
여기서, Da는 타차량(130)과 렌즈 및 조리개(121a)간의 거리이고, Ha는 지면을 기준으로 한 카메라(120a)의 설치높이이고, f는 렌즈 및 조리개(121a)와 이미지센서(123a)간 초점거리이며, ha는 이미지센서(123a)에 맺힌 감지된 타차량(130)의 높이이다.
엄밀히 말해, 카메라(120a)의 위치가 기울어짐에 따라 렌즈 및 조리개(121a)의 위치와 이미지센서(123a)의 위치도 동일하게 기울어질 수 있다. 즉, 수학식 1에서 기울어짐에 대한 정보를 더 포함될 수 있다.
또한, 렌즈로서 오목렌즈 또는 볼록렌즈를 사용한다면 빛은 굴절될 수 있다. 이에, 상기 수학식 1에 렌즈에 의한 굴절률에 대한 정보가 더 포함될 수 있다.
일반적인 운전지원장치는 상기 수학식 1의 비례관계식을 이용하여 타차량(130)과 렌즈 및 조리개(121a)간의 거리(Da)에 대한 수학식 2를 얻을 수 있다.
[수학식 2]
Da = f * (Ha / ha)
여기서, 지면을 기준으로 한 카메라(120a)의 설치높이(Ha), 렌즈 및 조리개(121a)와 이미지센서(123a)간 초점거리(f)는 고정된 값으로서 미리 설정될 수 있기 때문에 일반적인 운전지원장치는 이미지센서(123a)에 맺힌 감지된 타차량(130)의 높이(ha)를 측정한 후, 상기 수학식 2를 이용하여 타차량(130)과 렌즈 및 조리개(121a)간의 거리(Da)를 산출할 수 있다. 일 예를 들어, 이미지센서(123a)에 맺힌 타차량(130)의 높이(ha)는 해당픽셀 수에 기초하여 측정될 수 있다.
하지만, 자차량이 주행하는 다양한 환경에 의해 수학식 2에 포함되어 고정된 값으로 취급하는 인자가 변동되어, 기존의 일반적인 운전지원장치가 산출하는 타차량(130)과의 거리가 부정확해지는 문제점이 발생할 수 있다. 상기 타차량(130)과의 거리는, 산출된 타차량(130)과 렌즈 및 조리개(121a)간의 거리(Da)에서 자차량(110a)의 범퍼와 카메라(120a)의 렌즈 및 조리개(121a)간의 거리를 뺄셈하여 산출될 수 있다.
이에 대해, 도 1b를 이용하여 자세히 설명한다.
도 1b는 일반적인 운전지원장치에서 발생될 수 있는 문제점을 설명하기 위한 일 예를 도시한 도면이다.
도 1b의 (A)는 일반적인 운전지원장치를 포함하는 자차량이 도로의 방지턱을 주행하는 예를 도시하며, 도 1b의 (B)는 (A)의 상황에서 일반적인 운전지원장치에 의해 산출되는 타차량과의 거리를 설명하기 위한 상세한 예를 도시한다.
도 1b를 참조하면, 자차량(110b)이 도로의 방지턱을 주행할 수 있다. 이에, 자차량(110b)에 설치된 일반적인 운전지원장치에 포함된 카메라(120b)의 높이(지면을 기준으로 한 높이로서 Hb를 의미함)가 방지턱에 의한 높이만큼 증가될 수 있다. 하지만, 일반적인 운전지원장치는 방지턱에 의해 변경된 운전지원장치의 높이(Hb)가 아닌 미리 설정되어 고정된 높이(도 1a에서의 Ha를 의미함)를 사용하는 한계가 있다
즉, 이러한 한계에 의해 일반적인 운전지원장치가 산출하는 타차량(130)과의 거리는 부정확해지는 문제점이 있다.
또한, 도 1b에서 카메라(120b)의 위치가 달라짐에 따라 타차량(130)에 대한 소실점을 잘못 추정할 수 있는 문제점이 있다. 이러한 문제점에 의해 일반적인 운전지원장치가 산출하는 타차량(130)과의 거리는 더 부정확해질 수 있다.
도시된 도 1a 및 도 1b를 이용하여 설명한 일반적인 운전지원장치가 거리를 산출함에 있어 부정확해지는 문제점을 해결할 수 있는 본 발명의 운전지원장치 및 거리감지방법에 대해 이하 도 2 내지 도 8을 이용하여 자세히 설명한다.
도 2는 본 발명의 일 실시 예에 따른 운전지원장치의 구성을 도시한 도면이다.
도 2을 참조하면, 본 발명의 일 실시 예에 따른 운전지원장치(200)는 전방카메라를 이용하여 전방에 위치하는 타차량을 포함하는 전방이미지를 생성하는 생성부(210)와; 전방이미지에서 타차량에 대한 이미지인 타차량이미지를 추출하는 추출부(220)와; 타차량이미지를 미리 저장된 모델에 입력하여 타차량의 실제 길이에 대한 정보인 실제길이정보를 획득하는 획득부(230)와; 전방이미지 내에서 타차량의 실제 길이에 대응되는 이미지길이정보, 전방카메라의 초점거리 및 실제길이정보를 이용하여 타차량과의 실제 거리에 대한 정보인 실제거리정보를 산출하는 산출부(240); 및 실제거리정보를 기초하여 자차량의 속도 또는 주행방향을 제어하는 제어부(250)를 포함할 수 있다.
카메라는 빛을 받아들이는 집광부와 받아들인 빛을 이미지로 담는 촬상기 및 상태를 조절하는 조절장치 등을 포함할 수 있다. 상기 집광부는 빛을 받아 들여 촬상부에 상이 맺히게 하는 부품으로서, 바늘구멍 사진기처럼 단순한 작은 구멍에서부터 여러 종류의 다중 렌즈를 이용하는 복잡한 것까지 다양한 방식이 있다. 일반적인 사진기의 집광부는 렌즈, 조리개 및 렌즈의 거리를 조절하는 장치를 포함한다. 집광부는 일반적으로 사진렌즈로 명명하기도 한다. 상기 촬상부는 집광부로부터 들어온 빛에 의해 생긴 상이 맺히는 부품으로서(도 1a 및 도 1b를 설명함에 있어 이미지센서로 명명함), 필름 카메라는 이 촬상부에 감광성이 있는 필름을 놓아 촬상하고 이를 현상 및 인화하여 사진을 만드는 반면, 디지털 카메라는 촬상부에 빛의 신호를 전기신호로 바꾸는 장치(CMOS, CCD 등)를 놓아, 전기신호로 바뀐 디지털 이미지를 여러 형식의 이미지 파일로 저장매체에 저장한다. 상기 조절장치는 원하는 이미지를 얻도록 동작하는 부품으로서, 대표적으로 집광부의 구멍크기를 조절하는 조리개와 빛을 받아들이거나 차단하는 셔터 등을 포함할 수 있다. 일 예를 들어, 밝은 곳에서는 조리개를 좁혀 빛의 양을 줄이고 어두운 곳에서는 조리개를 열어 빛의 양을 늘려 적당한 촬상을 할 수 있다.
본 발명의 일 실시 예에 따른 생성부(210)는 전술한 바와 같이 동작하는 카메라를 차량 전방을 향하도록 설치함으로써, 타차량을 포함하는 전방을 촬상하여 전방이미지를 생성할 수 있다.
본 발명의 일 실시 예에 따른 추출부(220)는 생성부(210)로부터 생성된 전방이미지에서 타차량에 대한 이미지인 타차량이미지를 추출할 수 있다.
일 예를 들어, 추출부(220)는 에지(Edge) 검출법을 포함하는 이미지 추출법을 적용하여 전방이미지에서 타차량이미지를 추출할 수 있다. 상기 타차량이미지는 타차량만을 포함하는 제1이미지거나, 타차량과 타차량의 음영을 포함하는 제2이미지일 수 있다.
에지 검출법은, 영상을 구성하는 이미지간의 경계에서 영상값(일 예를 들어 밝기에 대한 값일 수 있음)의 변동이 크다는 특징을 이용하는 것으로서, 영상값에 대한 1차 미분을 적용하는 차분(Difference) 필터, Sobel 필터, Roberts 필터, Kirsch 필터, Robinson 필터, Prewitt 필터와, 상기 영상값에 대한 2차 미분을 적용하는 라플라시안 에지 필터(Laplacian edge filter) 등의 검출법이 있다.
본 발명의 일 실시 예에 따른 획득부(230)는 추출부(220)에서 추출된 타차량이미지를 미리 저장된 모델에 입력하여 타차량의 실제 길이에 대한 정보인 실제길이정보를 획득할 수 있다.
일 예를 들어, 상기 미리 저장된 모델은 추출부(220)에서 추출된 타차량이미지를 구성하는 하나 이상의 부분이미지 각각에 대해 분석된 결과를 종합하여 차종 또는 차종에 따른 실제 길이를 출력할 수 있도록 학습된 모델일 수 있다.
일 예를 들어, 획득부(230)가 실제 길이를 출력할 수 있도록 학습된 모델이 N x M 해상도의 이미지로 학습된 모델이면, 상기 모델에 입력되는 타차량이미지는 N x M 해상도 이상이어야 한다(제1조건). 이에, 생성부(210)는 N x M 해상도 이상을 가지는 전방이미지를 생성해야 한다.
또한, 획득부(230)가 실제 길이를 출력할 수 있도록 학습된 모델이 N x M 해상도의 이미지로 학습된 모델이면, 상기 모델에 입력되는 타차량이미지는 N x M 해상도의 크기를 가져야 한다(제2조건). 이에, 추출부(220)는 생성된 타차량이미지를 N x M 해상도로 리사이징(Resizing)하여 추출할 수 있다.
여기서, 추출부(220)가 타차량이미지를 확대 또는 축소하여 리사이징할 수 있다. 한편, 추출부(220)가 축소하는 리사이징과 달리 확대하는 리사이징은 상기 제1조건에 의해 제한적일 수 있다.
자세히 설명하면, 확대되는 리사이징 비율에 따라 생성부(210)에서 생성되는 전방이미지의 해상도가 감소될 수 있기 때문에, 확대되는 비율이 클수록 생성부(210)에서 생성되는 전방이미지는 높은 해상도를 가져야 할 것이다.
다시 말해, 추출부(220)는 생성된 전방이미지에서 N x M 해상도에 기초하여 인식되어야 하는 거리 내의 타차량이미지만을 추출할 수 있다.
본 발명의 일 실시 예에 따른 산출부(240)는 전방이미지 내에서 타차량의 실제 길이에 대응되는 이미지길이정보, 전방카메라의 초점거리 및 획득부(230)에서 획득된 타차량의 실제길이정보를 이용하여 타차량과의 실제 거리에 대한 정보인 실제거리정보를 산출할 수 있다. 상기 타차량의 실제 길이는 타차량의 가로, 세로 또는 대각을 포함하는 어떠한 길이일 수 있다.
일 예를 들어, 산출부(240)는 이미지길이정보(Li), 전방카메라의 초점거리(f) 및 실제길이정보(Lr)를 다음 수학식 3에 입력하여 타차량과의 실제 거리에 대한 정보인 실제거리정보(Dr)를 산출할 수 있다.
[수학식 3]
Dr = f * (Lr / Li)
상기 수학식 3은, 수학식 2와 달리 카메라의 높이 및 그에 대응되는 이미지센서의 높이가 아닌 실제길이정보 및 그에 대응되는 이미지센서의 길이정보를 사용한다는 차이가 있을 뿐 유사할 수 있다.
하지만, 수학식 2를 이용하여 거리를 산출하는 일반적인 운전지원장치는 도 1b에서 설명한 바와 같이 주행도로에 의해 카메라의 높이가 달라짐에 따라 산출되는 거리가 부정확해지는 반면, 수학식 3을 이용하여 거리를 산출하는 본 발명의 산출부(240)는 주행도로를 포함하는 주행환경과 관련없는 타차량의 실제길이정보를 이용함에 따라 거리를 정확하게 산출할 수 있는 효과가 있다.
본 발명의 일 실시 예에 따른 제어부(250)는 정확하게 산출된 실제거리정보를 기초하여 자차량의 속도 또는 주행방향을 제어할 수 있다.
일 예를 들어, 제어부(250)는 실제거리정보에 의한 거리값이 작을수록 자차량의 감속장치 또는 가속장치를 제어함으로써 자차량의 속도를 제어할 수 있다. 또한, 제어부(250)는 실제거리정보에 의한 거리값이 작을수록 조향장치를 제어함으로써 자차량의 주행방향을 제어할 수 있다. 이러한 제어는 타차량과의 위험을 회피하기 위함일 수 있다.
전술한 바와 같이 동작할 수 있는 본 발명의 일 실시 예에 따른 운전지원장치(100)는 주변환경과 무관한 정보를 이용하여 정확하게 산출된 타차량과의 거리를 이용함에 따라 자차량을 정확하게 제어할 수 있는 효과가 있다.
이하에서는 도 3 내지 도 7을 이용하여 본 발명의 운전지원장치의 동작에 대해 자세히 설명한다.
도 3 및 도 4는 본 발명의 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 일 예 및 상세한 일 예를 도시한 도면이다.
도 3을 참조하면, 본 발명의 일 실시 예에 따른 운전지원장치의 생성부는 자차량에 포함된 전방카메라를 이용하여 전방에 위치하는 타차량을 포함하는 도 4와 같은 전방이미지를 생성할 수 있다(S300).
도 4를 참조하면 S300 단계에 의해 생성되는 전방이미지는 전방에 위치하여 주행중인 타차량(410), 도로 위의 시설물인 중앙분리대(420), 중앙차선(431) 및 추월차선(433, 435)을 포함할 수 있다.
S300 단계가 수행된 후, 본 발명의 일 실시 예에 따른 추출부가 전방이미지에서 타차량이미지를 추출할 수 있다(S310).
도 4를 다시 참조하면, 추출부는 전방이미지에서 중앙분리대(420), 중앙차선(431), 추월차선(433, 435) 및 외부환경이 아닌 타차량(410)에 대한 이미지인 타차량이미지만을 추출할 수 있다.
자세히 설명하면, 추출부는 에지(Edge) 검출법을 이용하여 타차량이미지만을 추출할 수 있다.
에지 검출법은, 영상을 구성하는 이미지간의 경계에서 영상값(일 예를 들어 밝기에 대한 값일 수 있음)의 변동이 크다는 특징을 이용하는 것으로서, 영상값에 대한 1차 미분을 적용하는 차분(Difference) 필터, Sobel 필터, Roberts 필터, Kirsch 필터, Robinson 필터, Prewitt 필터와, 상기 영상값에 대한 2차 미분을 적용하는 라플라시안 에지 필터(Laplacian edge filter) 등의 검출법이 있다.
또한, 추출부는 타차량 및 상기 타차량의 음영을 포함하는 타차량이미지를 추출할 수도 있다.
이에 대해, 도 5를 이용하여 자세히 설명한다.
도 5는 본 발명의 일 실시 예에 따른 추출부의 동작을 설명하기 위한 상세한 일 예를 도시한 도면이다.
도 5를 참조하면, S300 단계에서 생성된 전방이미지에는 타차량(410)과 광원에 의해 생성될 수 있는 타차량의 음영(510)을 포함할 수 있다.
이에, 추출부는 타차량(410)과 타차량의 음영(510)을 포함하는 타차량이미지를 추출할 수 있다. 이로써, 추후 획득부가 학습된 모델을 사용하여 타차량의 실제 길이를 보다 정확하게 획득할 수 있다.
자세히 설명하면, 타차량이미지가 음영을 포함함에 따라 단순한 형상을 가지게 되어 획득부가 타차량의 실제 길이를 획득함에 있어 에러가 감소되는 효과가 창출될 수 있다.
S310 단계를 수행하여 타차량이미지가 추출되면, 본 발명의 일 실시 예에 따른 획득부가 타차량이미지를 미리 저장된 모델에 입력하여 타차량의 실제 길이에 대한 정보인 실제길이정보를 획득할 수 있다(S320).
일 예를 들어, 미리 저장된 모델은 타차량이미지를 구성하는 하나 이상의 부분이미지 각각에 대해 분석된 결과를 종합하여 차종 또는 상기 차종에 따른 실제 길이를 출력할 수 있도록 학습된 모델일 수 있다.
상기 학습된 모델은, 컴퓨터가 사람처럼 생각하고 배울 수 있도록 하는 인공지능 기술인 딥 러닝(Deep learning)에 의한 모델일 수 있다.
딥 러닝은 인공신경망 이론을 기반으로 복잡한 비선형 문제를 기계가 스스로 학습해결 할 수 있도록 하는 기술로서, 인간의 두뇌가 수많은 데이터 속에서 패턴을 발견한 뒤 사물을 구분하는 정보처리 방식을 모방해 컴퓨터가 사물을 분별하도록 기계를 학습시키는 기술일 수 있다.
획득부가 딥 러닝 기술을 이용하는 방법에 대해 도 6을 참조하여 자세히 설명한다.
도 6은 본 발명의 일 실시 예에 따른 획득부의 동작을 설명하기 위한 상세한 일 예를 도시한 도면이다.
도 6을 참조하면, 획득부는 추출된 타차량이미지를 가로 및 세로 각각을 5개로 분할하여 총 25개의 부분이미지(P11, P12, ... , P15, P21, ... , P55)를 획득할 수 있다. 상기 25개의 부분이미지는 하나의 일 예로서, 이에 한정되는 것은 아니다.
이후, 획득부는 획득된 부분이미지(P11, P12, ... , P15, P21, ... , P55) 각각을 딥 러닝에 의한 학습된 모델에 입력하여 분석된 결과를 종합하여 타차량이미지의 차종 또는 차종에 따른 실제길이정보를 출력할 수 있다. 상기 길이는 차량의 가로, 세로 또는 대각을 포함하는 어떠한 길이일 수 있다.
여기서, 분석된 결과는 차량의 부분외형 및 부분색상 등에 대응될 수 있다. 하지만 다른 차종이라 할지라도 부분외형 및 부분색상 등에서 비슷한 점이 있다. 이러한 이유로, 획득부는 타차량이미지가 더 많은 부분이미지로 분할될수록 정확하게 차종 또는 차종에 따른 실제길이정보를 획득할 수 있다.
단, 획득부가 전술한 모델을 사용하여 차종 또는 차종에 따른 실제길이를 획득함에 있어, 학습된 조건에 일치하는 이미지를 입력해야 한다.
일 예를 들어, 상기 모델이 N x M 해상도의 이미지로 학습되었다면, S310 단계에서 추출부가 추출된 타차량이미지를 N x M 해상도로 리사이징할 수 있다.
또한, S310 단계에서 추출부는 전방이미지에서 상기 N x M 해상도에 기초하여 인식되어야 하는 거리 내의 타차량이미지만을 추출할 수 있다.
이에, S300 단계에서 생성부는 N x M 해상도 이상을 가지는 상기 전방이미지를 생성해야 할 것이다.
S320 단계를 수행하여 타차량의 실제길이정보가 획득되면, 본 발명의 일 실시 예에 따른 산출부가 S300 단계에서 생성된 전방이미지 내에서 타차량의 실제 길이에 대응되는 이미지길이정보, 미리 알고 있는 전방카메라의 초점거리 및 S320 단계에서 획득된 실제길이정보를 이용하여 타차량과의 실제 거리에 대한 정보인 실제거리정보를 산출할 수 있다(S330).
일 예를 들어, 산출부가 이미지길이정보(Li), 초점거리(f) 및 실제길이정보(Lr)를 전술된 수학식 3에 입력하여 실제거리정보(Dr)를 산출할 수 있다.
S330 단계를 수행하여 실제거리정보가 산출되면, 본 발명의 일 실시 예에 따른 제어부가 상기 실제거리정보를 기초하여 자차량의 속도 또는 주행방향을 제어할 수 있다(S340).
일 예를 들어, 제어부는 S330 단계에서 산출된 실제거리정보에 의한 거리값이 작을수록 자차량의 감속장치 또는 가속장치를 제어함으로써 자차량의 속도를 제어할 수 있다. 또한, 제어부는 실제거리정보에 의한 거리값이 작을수록 조향장치를 제어함으로써 자차량의 주행방향을 제어할 수 있다. 이러한 제어는 타차량과의 위험을 회피하기 위함일 수 있다.
도 2 내지 도 6을 이용하여 설명한 본 발명의 일 실시 예에 따른 운전지원장치는 도 1a 및 도 1b를 이용하여 설명한 일반적인 운전지원장치에 비해 타차량과의 거리를 정확하게 산출할 수 있는 효과가 있다. 이에, 자차량의 속도 또는 주행방향을 정확하게 제어할 수 있는 효과가 있다.
본 발명의 다른 일 실시 예에 따른 운전지원장치는 전방카메라를 이용하여 전방에 위치하는 타차량 및 차로를 결정하는 양차선을 포함하는 전방이미지를 생성하는 생성부와; 전방이미지에서 타차량에 대한 이미지인 타차량이미지를 추출하는 추출부와; 타차량이미지를 미리 저장된 모델에 입력하여 타차량의 실제 길이에 대한 정보인 실제길이정보를 획득하는 획득부와; 전방이미지 내에서 타차량의 실제 길이에 대응되는 이미지길이정보, 전방이미지 내에서 양차선의 실제 너비에 대응되는 이미지너비정보 및 실제길이정보를 이용하여 양차선의 실제 너비에 대한 정보인 실제너비정보를 산출하는 산출부; 및 실제너비정보를 기초하여 자차량의 속도 또는 주행방향을 제어하는 제어부를 포함할 수 있다.
이에 대해, 도 7을 이용하여 자세히 설명한다.
도 7은 본 발명의 다른 일 실시 예에 따른 운전지원장치의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 7을 참조하면, 본 발명의 다른 일 실시 예에 따른 운전지원장치의 생성부는 자차량에 포함된 전방카메라를 이용하여 전방에 위치하는 타차량 및 차로를 결정하는 양차선을 포함하는 전방이미지를 생성할 수 있다(S300). 상기 전방이미지는 도 4와 같을 수 있다.
S300 단계가 수행된 후, 본 발명의 다른 일 실시 예에 따른 추출부가 전방이미지에서 타차량이미지를 추출하고(S310), 본 발명의 다른 일 실시 예에 따른 획득부가 타차량이미지를 미리 저장된 모델에 입력하여 타차량의 실제 길이에 대한 정보인 실제길이정보를 획득할 수 있다(S320).
전술한 S300 단계 내지 S320 단계는 도 3에서 설명한 본 발명의 일 실시 예에 따른 운전지원장치가 수행하는 단계 중 S300 단계 내지 S320 단계와 유사할 수 있다. 이에, 자세한 설명은 도 4의 설명을 참조할 수 있다.
S320 단계를 수행하여 타차량의 실제길이정보가 획득되면 본 발명의 다른 일 실시 예에 따른 운전지원장치의 산출부가 S300 단계에서 생성된 전방이미지 내에서 타차량의 실제 길이에 대응되는 이미지길이정보, 상기 전방이미지 내에서 양차선의 실제 너비에 대응되는 이미지너비정보 및 S320 단계에서 획득된 실제길이정보를 이용하여 양차선의 실제 너비에 대한 정보인 실제너비정보를 산출할 수 있다(S700).
이에 대해, 도 8을 이용하여 자세히 설명한다.
도 8은 본 발명의 다른 일 실시 예에 따른 운전지원장치의 산출부의 동작을 설명하기 위한 일 예를 도시한 도면이다.
도 8의 (A)는 본 발명의 다른 일 실시 예에 따른 운전지원장치를 포함하는 자차량이 일반적인 도로를 주행하는 예를 도시하며, 도 8의 (B)는 (A)의 상황에서 본 발명의 다른 일 실시 예에 따른 운전지원장치가 실제너비정보를 산출하는 방법을 설명하기 위한 상세한 예를 도시한다.
도 8을 참조하면, 카메라(820)는 렌즈 및 조리개(821)와 이미지센서(823)를 포함할 수 있다. 이에, 카메라(820)는 빛을 렌즈 및 조리개(821)를 이용하여 받아들이고 받아들인 빛에 의한 상을 이미지센서(823)에 맺히게 함으로써 영상데이터를 출력할 수 있다.
이러한 동작원리와 빛의 성질인 직진성에 의해 (B)의 경우, 다음 수학식 4와 같은 비례관계식을 얻을 수 있다.
[수학식 4]
Wr : Lr = Wi : Li
여기서, Lr는 타차량(830)의 실제길이고, Wr는 자차량(810)의 차로를 결정하는 양차선(841 및 851)의 실제너비이고, Li는 전방이미지(이미지센서(823)에 맺히는 상에 대응됨) 내에서 타차량(830)의 실제 길이에 대응되는 이미지길이며, Wi는 상기 전방이미지 내에서 양차선(841 및 851)의 실제 너비에 대응되는 이미지너비이다.
카메라(820)에 포함되는 렌즈로서 오목렌즈 또는 볼록렌즈를 사용한다면 빛은 굴절될 수 있다. 이에, 상기 수학식 4에 렌즈에 의한 굴절률에 대한 정보가 포함될 수 있다.
상기 수학식 4의 비례관계식을 이용하여 양차선(841 및 851)의 실제너비(Wr)에 대한 수학식 5를 얻을 수 있다.
[수학식 5]
Wr = Wi * (Lr / Li)
즉, S700 단계에서 전방이미지 내에서 타차량의 실제 길이에 대응되는 이미지길이(Li)정보, 상기 전방이미지 내에서 양차선의 실제 너비에 대응되는 이미지너비(Wi)정보 및 실제길이(Lr)정보를 이용하여 양차선의 실제너비(Wr)정보를 산출할 수 있다. 여기서, 이미지센서(823)에 맺힌 이미지길이(Li)정보 및 이미지너비(Wi)정보는 해당픽셀 수에 기초하여 측정될 수 있으며, 타차량의 실제길이(Lr)정보는 S320 단계에서 획득된 정보일 수 있다.
전술한 설명에서 양차선(840 및 850) 중 타차량(830)과 동일선상에 위치하는 부분(841 및 851)에 대응하는 이미지너비정보를 이용하였으나, 이는 하나의 예시일 뿐 양차선(840 및 850)에 대응하는 이미지너비정보를 이용할 수도 있다.
S700 단계를 수행하여 양차선의 실제너비정보가 산출되면, 본 발명의 다른 일 실시 예에 따른 제어부가 실제너비정보를 기초하여 자차량의 속도 또는 주행방향을 제어할 수 있다(S710).
일 예를 들어, 제어부는 S700 단계에서 산출된 실제너비정보에 의한 너비값이 작을수록 자차량의 감속장치 또는 가속장치를 제어함으로써 자차량의 속도가 감소되도록 제어할 수 있다. 또한, 제어부는 실제너비정보에 의한 너비값이 클수록 자차량의 조향장치를 제어함으로써 자차량의 주행방향이 덜 변화하도록 제어할 수 있다.
이는 법규상 고속도로의 양차선 너비가 일반도로의 양차선 너비보다 크기 때문일 수 있다. 이에, 제어부는 실제너비정보에 의한 너비값이 작은 일반도로에서 자차량의 속도가 감소되도록 할 수 있다. 또한, 제어부는 실제너비정보에 의한 너비값이 큰 고속도로에서 자차량의 주행방향이 덜 변화하도록 주행방향을 제어할 수 있다.
도 7 및 도 8을 이용하여 설명한 본 발명의 다른 일 실시 예에 따른 운전지원장치는 양차선의 너비를 정확하게 산출할 수 있는 효과가 있다. 이에, 자차량의 속도 또는 주행방향을 정확하게 제어할 수 있는 효과가 있다.
이하에서는 도 2 내지 도 8을 이용하여 설명한 운전지원장치가 수행하는 동작에 포함되는 거리감지방법 및 차로를 결정하는 양차선의 너비감지방법에 대해서 간략하게 설명한다.
도 9는 본 발명의 일 실시 예에 따른 거리감지방법 및 본 발명의 일 실시 예에 따른 양차선의 너비감지방법의 흐름도를 도시한 도면이다.
도 9를 참조하면, 본 발명의 일 실시 예에 따른 거리감지방법은 전방카메라를 이용하여 전방에 위치하는 타차량을 포함하는 전방이미지를 생성하는 생성단계(S900)와; 전방이미지에서 타차량에 대한 이미지인 타차량이미지를 추출하는 추출단계(S910)와; 타차량이미지를 미리 저장된 모델에 입력하여 타차량의 실제 길이에 대한 정보인 실제길이정보를 획득하는 획득단계(S920); 및 전방이미지 내에서 타차량의 실제 길이에 대응되는 이미지길이정보, 전방카메라의 초점거리 및 실제길이정보를 이용하여 타차량과의 실제 거리에 대한 정보인 실제거리정보를 산출하는 산출단계(S930)를 포함할 수 있다.
카메라는 빛을 받아들이는 집광부와 받아들인 빛을 이미지로 담는 촬상기 및 상태를 조절하는 조절장치 등을 포함할 수 있다. 상기 집광부는 빛을 받아 들여 촬상부에 상이 맺히게 하는 부품으로서, 바늘구멍 사진기처럼 단순한 작은 구멍에서부터 여러 종류의 다중 렌즈를 이용하는 복잡한 것까지 다양한 방식이 있다. 일반적인 사진기의 집광부는 렌즈, 조리개 및 렌즈의 거리를 조절하는 장치를 포함한다. 집광부는 일반적으로 사진렌즈로 명명하기도 한다. 상기 촬상부는 집광부로부터 들어온 빛에 의해 생긴 상이 맺히는 부품으로서(도 1a 및 도 1b를 설명함에 있어 이미지센서로 명명함), 필름 카메라는 이 촬상부에 감광성이 있는 필름을 놓아 촬상하고 이를 현상 및 인화하여 사진을 만드는 반면, 디지털 카메라는 촬상부에 빛의 신호를 전기신호로 바꾸는 장치(CMOS, CCD 등)를 놓아, 전기신호로 바뀐 디지털 이미지를 여러 형식의 이미지 파일로 저장매체에 저장한다. 상기 조절장치는 원하는 이미지를 얻도록 동작하는 부품으로서, 대표적으로 집광부의 구멍크기를 조절하는 조리개와 빛을 받아들이거나 차단하는 셔터 등을 포함할 수 있다. 일 예를 들어, 밝은 곳에서는 조리개를 좁혀 빛의 양을 줄이고 어두운 곳에서는 조리개를 열어 빛의 양을 늘려 적당한 촬상을 할 수 있다.
본 발명의 일 실시 예에 따른 생성단계(S900)는 전술한 바와 같이 동작하는 카메라를 차량 전방을 향하도록 설치함으로써, 타차량을 포함하는 전방을 촬상하여 전방이미지를 생성할 수 있다.
본 발명의 일 실시 예에 따른 추출단계(S910)는 생성단계(S900)로부터 생성된 전방이미지에서 타차량에 대한 이미지인 타차량이미지를 추출할 수 있다.
일 예를 들어, 추출단계(S910)는 에지(Edge) 검출법을 포함하는 이미지 추출법을 적용하여 전방이미지에서 타차량이미지를 추출할 수 있다. 상기 타차량이미지는 타차량만을 포함하는 제1이미지거나, 타차량과 타차량의 음영을 포함하는 제2이미지일 수 있다.
에지 검출법은, 영상을 구성하는 이미지간의 경계에서 영상값(일 예를 들어 밝기에 대한 값일 수 있음)의 변동이 크다는 특징을 이용하는 것으로서, 영상값에 대한 1차 미분을 적용하는 차분(Difference) 필터, Sobel 필터, Roberts 필터, Kirsch 필터, Robinson 필터, Prewitt 필터와, 상기 영상값에 대한 2차 미분을 적용하는 라플라시안 에지 필터(Laplacian edge filter) 등의 검출법이 있다.
본 발명의 일 실시 예에 따른 획득단계(S920)는 추출단계(S910)에서 추출된 타차량이미지를 미리 저장된 모델에 입력하여 타차량의 실제 길이에 대한 정보인 실제길이정보를 획득할 수 있다.
일 예를 들어, 상기 미리 저장된 모델은 추출단계(S910)에서 추출된 타차량이미지를 구성하는 하나 이상의 부분이미지 각각에 대해 분석된 결과를 종합하여 차종 또는 차종에 따른 실제 길이를 출력할 수 있도록 학습된 모델일 수 있다.
일 예를 들어, 획득단계(S920)가 실제 길이를 출력할 수 있도록 학습된 모델이 N x M 해상도의 이미지로 학습된 모델이면, 상기 모델에 입력되는 타차량이미지는 N x M 해상도 이상이어야 한다(제1조건). 이에, 생성단계(S900)는 N x M 해상도 이상을 가지는 전방이미지를 생성해야 한다.
또한, 획득단계(S920)가 실제 길이를 출력할 수 있도록 학습된 모델이 N x M 해상도의 이미지로 학습된 모델이면, 상기 모델에 입력되는 타차량이미지는 N x M 해상도의 크기를 가져야 한다(제2조건). 이에, 추출단계(S910)는 생성된 타차량이미지를 N x M 해상도로 리사이징(Resizing)하여 추출할 수 있다.
여기서, 추출단계(S910)가 타차량이미지를 확대 또는 축소하여 리사이징할 수 있다. 한편, 추출단계(S910)가 축소하는 리사이징과 달리 확대하는 리사이징은 상기 제1조건에 의해 제한적일 수 있다.
자세히 설명하면, 확대되는 리사이징 비율에 따라 생성단계(S900)에서 생성되는 전방이미지의 해상도가 감소될 수 있기 때문에, 확대되는 비율이 클수록 생성단계(S900)에서 생성되는 전방이미지는 높은 해상도를 가져야 할 것이다.
다시 말해, 추출단계(S910)는 생성된 전방이미지에서 N x M 해상도에 기초하여 인식되어야 하는 거리 내의 타차량이미지만을 추출할 수 있다.
본 발명의 일 실시 예에 따른 산출단계(S930)는 전방이미지 내에서 타차량의 실제 길이에 대응되는 이미지길이정보, 전방카메라의 초점거리 및 획득단계(S920)에서 획득된 타차량의 실제길이정보를 이용하여 타차량과의 실제 거리에 대한 정보인 실제거리정보를 산출할 수 있다. 상기 타차량의 실제 길이는 타차량의 가로, 세로 또는 대각을 포함하는 어떠한 길이일 수 있다.
일 예를 들어, 산출단계(S930)는 이미지길이정보(Li), 전방카메라의 초점거리(f) 및 실제길이정보(Lr)를 전술된 수학식 3에 입력하여 타차량과의 실제 거리에 대한 정보인 실제거리정보(Dr)를 산출할 수 있다.
이에 따라, 수학식 2를 이용하여 거리를 산출하는 일반적인 거리감지방법은 도 1b에서 설명한 바와 같이 주행도로에 의해 카메라의 높이가 달라짐에 따라 산출되는 거리가 부정확해지는 반면, 수학식 3을 이용하여 거리를 산출하는 본 발명의 거리감지방법은 주행도로를 포함하는 주행환경과 관련없는 타차량의 실제길이정보를 이용함에 따라 거리를 정확하게 산출할 수 있는 효과가 있다.
도 9를 다시 참조하면, 본 발명의 일 실시 예에 따른 양차선의 너비감지방법은 전방카메라를 이용하여 전방에 위치하는 타차량 및 차로를 결정하는 양차선을 포함하는 전방이미지를 생성하는 생성단계(S900)와; 전방이미지에서 타차량에 대한 이미지인 타차량이미지를 추출하는 추출단계(S910)와; 타차량이미지를 미리 저장된 모델에 입력하여 타차량의 실제 길이에 대한 정보인 실제길이정보를 획득하는 획득단계(S920); 및 전방이미지 내에서 타차량의 실제 길이에 대응되는 이미지길이정보, 전방이미지 내에서 양차선의 실제 너비에 대응되는 이미지너비정보 및 실제길이정보를 이용하여 양차선의 실제 너비에 대한 정보인 실제너비정보를 산출하는 산출단계(S930)를 포함할 수 있다.
카메라는 빛을 받아들이는 집광부와 받아들인 빛을 이미지로 담는 촬상기 및 상태를 조절하는 조절장치 등을 포함할 수 있다. 상기 집광부는 빛을 받아 들여 촬상부에 상이 맺히게 하는 부품으로서, 바늘구멍 사진기처럼 단순한 작은 구멍에서부터 여러 종류의 다중 렌즈를 이용하는 복잡한 것까지 다양한 방식이 있다. 일반적인 사진기의 집광부는 렌즈, 조리개 및 렌즈의 거리를 조절하는 장치를 포함한다. 집광부는 일반적으로 사진렌즈로 명명하기도 한다. 상기 촬상부는 집광부로부터 들어온 빛에 의해 생긴 상이 맺히는 부품으로서(도 1a 및 도 1b를 설명함에 있어 이미지센서로 명명함), 필름 카메라는 이 촬상부에 감광성이 있는 필름을 놓아 촬상하고 이를 현상 및 인화하여 사진을 만드는 반면, 디지털 카메라는 촬상부에 빛의 신호를 전기신호로 바꾸는 장치(CMOS, CCD 등)를 놓아, 전기신호로 바뀐 디지털 이미지를 여러 형식의 이미지 파일로 저장매체에 저장한다. 상기 조절장치는 원하는 이미지를 얻도록 동작하는 부품으로서, 대표적으로 집광부의 구멍크기를 조절하는 조리개와 빛을 받아들이거나 차단하는 셔터 등을 포함할 수 있다. 일 예를 들어, 밝은 곳에서는 조리개를 좁혀 빛의 양을 줄이고 어두운 곳에서는 조리개를 열어 빛의 양을 늘려 적당한 촬상을 할 수 있다.
본 발명의 일 실시 예에 따른 생성단계(S900)는 전술한 바와 같이 동작하는 카메라를 차량 전방을 향하도록 설치함으로써, 타차량 및 차로를 결정하는 양차선을 포함하는 전방을 촬상하여 전방이미지를 생성할 수 있다.
본 발명의 일 실시 예에 따른 추출단계(S910)는 생성단계(S900)로부터 생성된 전방이미지에서 타차량에 대한 이미지인 타차량이미지를 추출할 수 있다.
일 예를 들어, 추출단계(S910)는 에지(Edge) 검출법을 포함하는 이미지 추출법을 적용하여 전방이미지에서 타차량이미지를 추출할 수 있다. 상기 타차량이미지는 타차량만을 포함하는 제1이미지거나, 타차량과 타차량의 음영을 포함하는 제2이미지일 수 있다.
에지 검출법은, 영상을 구성하는 이미지간의 경계에서 영상값(일 예를 들어 밝기에 대한 값일 수 있음)의 변동이 크다는 특징을 이용하는 것으로서, 영상값에 대한 1차 미분을 적용하는 차분(Difference) 필터, Sobel 필터, Roberts 필터, Kirsch 필터, Robinson 필터, Prewitt 필터와, 상기 영상값에 대한 2차 미분을 적용하는 라플라시안 에지 필터(Laplacian edge filter) 등의 검출법이 있다.
본 발명의 일 실시 예에 따른 획득단계(S920)는 추출단계(S910)에서 추출된 타차량이미지를 미리 저장된 모델에 입력하여 타차량의 실제 길이에 대한 정보인 실제길이정보를 획득할 수 있다.
일 예를 들어, 상기 미리 저장된 모델은 추출단계(S910)에서 추출된 타차량이미지를 구성하는 하나 이상의 부분이미지 각각에 대해 분석된 결과를 종합하여 차종 또는 차종에 따른 실제 길이를 출력할 수 있도록 학습된 모델일 수 있다.
일 예를 들어, 획득단계(S920)가 실제 길이를 출력할 수 있도록 학습된 모델이 N x M 해상도의 이미지로 학습된 모델이면, 상기 모델에 입력되는 타차량이미지는 N x M 해상도 이상이어야 한다(제1조건). 이에, 생성단계(S900)는 N x M 해상도 이상을 가지는 전방이미지를 생성해야 한다.
또한, 획득단계(S920)가 실제 길이를 출력할 수 있도록 학습된 모델이 N x M 해상도의 이미지로 학습된 모델이면, 상기 모델에 입력되는 타차량이미지는 N x M 해상도의 크기를 가져야 한다(제2조건). 이에, 추출단계(S910)는 생성된 타차량이미지를 N x M 해상도로 리사이징(Resizing)하여 추출할 수 있다.
여기서, 추출단계(S910)가 타차량이미지를 확대 또는 축소하여 리사이징할 수 있다. 즉, 추출단계(S910)가 축소하는 리사이징과 달리 확대하는 리사이징은 상기 제1조건에 의해 제한적일 수 있다.
자세히 설명하면, 확대되는 리사이징 비율에 따라 생성단계(S900)에서 생성되는 전방이미지의 해상도가 감소될 수 있기 때문에, 확대되는 비율이 클수록 생성단계(S900)에서 생성되는 전방이미지는 높은 해상도를 가져야 할 것이다.
다시 말해, 추출단계(S910)는 생성된 전방이미지에서 N x M 해상도에 기초하여 인식되어야 하는 거리 내의 타차량이미지만을 추출할 수 있다.
본 발명의 일 실시 예에 따른 산출단계(S930)는 전방이미지 내에서 타차량의 실제 길이에 대응되는 이미지길이정보, 상기 전방이미지 내에서 양차선의 실제 너비에 대응되는 이미지너비정보 및 획득단계(S920)에서 획득된 타차량의 실제길이정보를 이용하여 양차선의 실제 너비에 대한 정보인 실제너비정보를 산출할 수 있다. 상기 타차량의 실제 길이는 타차량의 가로, 세로 또는 대각을 포함하는 어떠한 길이일 수 있다.
일 예를 들어, 산출단계(S930)는 이미지길이정보(Li), 이미지너비정보(Wi) 및 실제길이정보(Lr)를 전술된 수학식 5에 입력하여 양차선의 실제 너비에 대한 정보인 실제너비정보(Wr)를 산출할 수 있다.
이상에서 설명한 본 발명의 양차선의 너비감지방법은 주행도로를 포함하는 주행환경과 관련없는 타차량의 실제길이정보를 이용함에 따라 양차선의 너비를 정확하게 산출할 수 있는 효과가 있다.
이 외에도 본 발명의 거리감지방법 및 양차선의 너비감지방법은 도 2 내지 도 8에 기초하여 설명한 본 발명의 운전지원장치가 수행하는 각 동작을 모두 수행할 수 있다.
이상에서의 설명 및 첨부된 도면은 본 발명의 기술 사상을 예시적으로 나타낸 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 구성의 결합, 분리, 치환 및 변경 등의 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (10)

  1. 전방카메라를 이용하여 전방에 위치하는 타차량을 포함하는 전방이미지를 생성하는 생성부;
    상기 전방이미지에서 상기 타차량에 대한 이미지인 타차량이미지를 추출하는 추출부;
    상기 타차량이미지를 미리 저장된 모델에 입력하여 상기 타차량의 실제 길이에 대한 정보인 실제길이정보를 획득하는 획득부;
    상기 전방이미지 내에서 상기 타차량의 실제 길이에 대응되는 이미지길이정보, 상기 전방카메라의 초점거리 및 상기 실제길이정보를 이용하여 상기 타차량과의 실제 거리에 대한 정보인 실제거리정보를 산출하고, 상기 이미지길이정보, 상기 전방이미지 내에서 양차선의 실제 너비에 대응되는 이미지너비정보 및 상기 실제길이정보를 이용하여 상기 양차선의 실제 너비에 대한 정보인 실제너비정보를 산출하는 산출부; 및
    상기 실제거리정보 및 상기 실제너비정보에 기초하여 자차량의 속도 및 주행방향을 제어하는 제어부를 포함하고,
    상기 추출부는, 에지 검출법을 이용하여 상기 타차량 및 상기 타차량의 음영을 포함하는 상기 타차량이미지를 추출하고, 상기 타차량이미지가 상기 모델에 입력되며, 상기 모델은 상기 음영을 포함하여 단순화된 형상을 가지는 상기 타차량이미지의 각 부분이미지 각각의 외형 및 색상에 대해 분석된 결과를 종합하여 차종 또는 상기 차종에 따른 실제 길이를 출력할 수 있도록 인공신경망에 기초한 딥러닝(deep learning)으로 학습된 모델인,
    운전지원장치.
  2. 삭제
  3. 제 1항에 있어서,
    상기 모델은, N x M 해상도의 이미지로 학습된 모델이고,
    상기 추출부는,
    상기 타차량이미지를 상기 N x M 해상도로 리사이징(Resizing)하는 운전지원장치.
  4. 제 3항에 있어서,
    상기 추출부는,
    상기 전방이미지에서 상기 N x M 해상도에 기초하여 인식되어야 하는 거리 내의 타차량이미지만을 추출하는 운전지원장치.
  5. 제 3항에 있어서,
    상기 생성부는,
    상기 N x M 해상도 이상을 가지는 상기 전방이미지를 생성하는 운전지원장치.
  6. 삭제
  7. 삭제
  8. 제 1항에 있어서,
    상기 산출부는,
    상기 이미지너비정보 중 상기 타차량과 동일선상에 위치하는 부분을 이용하는 운전지원장치.
  9. 삭제
  10. 삭제
KR1020160029025A 2016-03-10 2016-03-10 운전지원장치, 거리감지방법 및 차로의 너비감지방법 KR101818842B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160029025A KR101818842B1 (ko) 2016-03-10 2016-03-10 운전지원장치, 거리감지방법 및 차로의 너비감지방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160029025A KR101818842B1 (ko) 2016-03-10 2016-03-10 운전지원장치, 거리감지방법 및 차로의 너비감지방법

Publications (2)

Publication Number Publication Date
KR20170105845A KR20170105845A (ko) 2017-09-20
KR101818842B1 true KR101818842B1 (ko) 2018-02-21

Family

ID=60034051

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160029025A KR101818842B1 (ko) 2016-03-10 2016-03-10 운전지원장치, 거리감지방법 및 차로의 너비감지방법

Country Status (1)

Country Link
KR (1) KR101818842B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101977493B1 (ko) * 2017-11-10 2019-05-10 한국산업기술대학교산학협력단 차량간 거리 측정 장치 및 방법
SG11201909815RA (en) 2018-03-12 2019-11-28 Jayant Ratti On-demand artificial intelligence and roadway stewardship system
KR20210070788A (ko) * 2019-12-05 2021-06-15 현대모비스 주식회사 차량 폭 인식 장치 및 방법
KR102286747B1 (ko) * 2020-06-18 2021-08-06 계명대학교 산학협력단 Hda 시스템의 시험 평가 장치 및 방법, hda 시스템

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100207779B1 (ko) * 1995-03-10 1999-07-15 류정열 자동차의 주행 제어장치
JP2007004655A (ja) * 2005-06-27 2007-01-11 Alpine Electronics Inc 地図情報更新方法及びナビゲーション装置
JP2013057992A (ja) * 2011-09-07 2013-03-28 Clarion Co Ltd 車間距離算出装置およびそれを用いた車両制御システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100207779B1 (ko) * 1995-03-10 1999-07-15 류정열 자동차의 주행 제어장치
JP2007004655A (ja) * 2005-06-27 2007-01-11 Alpine Electronics Inc 地図情報更新方法及びナビゲーション装置
JP2013057992A (ja) * 2011-09-07 2013-03-28 Clarion Co Ltd 車間距離算出装置およびそれを用いた車両制御システム

Also Published As

Publication number Publication date
KR20170105845A (ko) 2017-09-20

Similar Documents

Publication Publication Date Title
EP2919197B1 (en) Object detection device and object detection method
JP6795027B2 (ja) 情報処理装置、物体認識装置、機器制御システム、移動体、画像処理方法およびプログラム
JP4970516B2 (ja) 周囲確認支援装置
JP6014440B2 (ja) 移動物体認識装置
US9286512B2 (en) Method for detecting pedestrians based on far infrared ray camera at night
JP6950170B2 (ja) 情報処理装置、撮像装置、機器制御システム、情報処理方法、及びプログラム
CN109997148B (zh) 信息处理装置、成像装置、设备控制系统、移动对象、信息处理方法和计算机可读记录介质
KR101818842B1 (ko) 운전지원장치, 거리감지방법 및 차로의 너비감지방법
WO2014132729A1 (ja) ステレオカメラ装置
US11176397B2 (en) Object recognition device
JP2016142647A (ja) 画像処理装置、および車両システム
Lion et al. Smart speed bump detection and estimation with kinect
KR101730740B1 (ko) 운전지원장치
KR102003387B1 (ko) 조감도 이미지를 이용한 교통 장애물의 검출 및 거리 측정 방법, 교통 장애물을 검출하고 거리를 측정하는 프로그램을 저장한 컴퓨터 판독가능 기록매체
WO2022009537A1 (ja) 画像処理装置
KR101276073B1 (ko) 차량용 내비게이션에서의 영상에서 앞차 검출을 통한 거리 인식 시스템 및 방법
JP5587852B2 (ja) 画像処理装置及び画像処理方法
JP6701905B2 (ja) 検出装置、視差値導出装置、物体認識装置、機器制御システム、およびプログラム
JP4788399B2 (ja) 歩行者検出方法、装置、およびプログラム
KR101982091B1 (ko) 서라운드 뷰 모니터링 시스템
JP2006172262A (ja) 車両用道路標示検出装置
KR20150111611A (ko) 차량 후보 검출 장치 및 그 방법
WO2018097269A1 (en) Information processing device, imaging device, equipment control system, mobile object, information processing method, and computer-readable recording medium
JP4584277B2 (ja) 表示装置
KR20150042417A (ko) 촬영부를 이용한 차선검출방법 및 차선검출시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant