KR101280259B1 - 차량용 안전 제어 시스템 및 그를 이용한 안전 제어 방법 - Google Patents

차량용 안전 제어 시스템 및 그를 이용한 안전 제어 방법 Download PDF

Info

Publication number
KR101280259B1
KR101280259B1 KR1020100123638A KR20100123638A KR101280259B1 KR 101280259 B1 KR101280259 B1 KR 101280259B1 KR 1020100123638 A KR1020100123638 A KR 1020100123638A KR 20100123638 A KR20100123638 A KR 20100123638A KR 101280259 B1 KR101280259 B1 KR 101280259B1
Authority
KR
South Korea
Prior art keywords
camera
image signal
information
safety control
vehicle
Prior art date
Application number
KR1020100123638A
Other languages
English (en)
Other versions
KR20120062393A (ko
Inventor
김명우
Original Assignee
주식회사 만도
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 만도 filed Critical 주식회사 만도
Priority to KR1020100123638A priority Critical patent/KR101280259B1/ko
Publication of KR20120062393A publication Critical patent/KR20120062393A/ko
Application granted granted Critical
Publication of KR101280259B1 publication Critical patent/KR101280259B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/0098—Details of control systems ensuring comfort, safety or stability not otherwise provided for
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B60W30/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06—Road conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0043—Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052—Filtering, filters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/10—Path keeping
    • B60Y2300/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00—Purposes or special features of road vehicle drive control systems
    • B60Y2300/14—Cruise control
    • B60Y2300/16—Control of distance between vehicles, e.g. keeping a distance to preceding vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Lighting Device Outwards From Vehicle And Optical Signal (AREA)

Abstract

본 발명은 주간과 야간에 향상된 영상 신호에 따라 안전 제어 장치의 신뢰성을 향상시킬 수 있도록 한 차량용 안전 제어 시스템 및 그를 이용한 안전 제어 방법에 관한 것이다.
이를 위하여 본 발명은 가시광선 대역을 통과시키는 제 1 필터링부를 구비하고, 상기 제 1 필터링부에 의해 가시광선 대역을 통과시켜 제 1 영상 신호를 획득하는 제 1 카메라; 가시광선 대역 및 적외선 대역을 통과시키는 제 2 필터링부를 구비하고, 상기 제 2 필터링부에 의해 가시광선 대역 및 적외선 대역을 통과시켜 제 2 영상 신호를 획득하는 제 2 카메라; 빛의 양을 감지하는 감지부; 및 상기 감지부에 의해 감지된 빛의 양에 따라 주간 또는 야간을 판단하고, 주간으로 판단된 경우 상기 제 1 카메라를 통하여 획득된 제 1 영상 신호에 근거하여 차선 정보, 거리 정보 및 차량 정보 중 적어도 하나를 추정하고 추정된 정보를 안전 제어 장치에 제공하고, 야간으로 판단된 경우 상기 제 2 카메라를 통하여 획득된 제 2 영상 신호에 근거하여 차선 정보, 거리 정보 및 차량 정보 중 적어도 하나를 추정하고 추정된 정보를 안전 제어 장치에 제공하는 전자 제어 유닛을 포함하는 차량용 안전 제어 시스템을 제공한다.

Description

차량용 안전 제어 시스템 및 그를 이용한 안전 제어 방법{SYSTEM FOR CONTROLLING SAFETY OF VEHICLE AND METHOD FOR CONTROLLING SAFETY USIGN THE SAME}
본 발명은 차량용 안전 제어 시스템 및 그를 이용한 안전 제어 방법에 관한 것으로, 특히 주간과 야간에 향상된 영상 신호에 따라 안전 제어 장치의 신뢰성을 향상시킬 수 있도록 한 차량용 안전 제어 시스템 및 그를 이용한 안전 제어 방법에 관한 것이다.
차량의 운전을 안전하게 하기 위해 여러가지 안전 제어 장치가 있는바, 안전 제어 장치는 운전자가 설정한 또는 미리 설정된 속도, 거리 조건에 맞추어 감가속 알고리즘에 따라 동작되어 전방의 차량과 일정 간격을 유지하면서 안전 주행 되도록 제어한다.
특히, 차량의 도로주행시 운전자의 핸들조작을 보조하여 주행차선으로부터 이탈을 방지하는 안전 제어 장치인 차선 유지 지원 시스템(LKAS: Lane Keeping Assist/Support System)은 운전자의 부주의를 감지하여 안전운전을 지원하는 보조장치로, 운전자의 조향부담 경감 및 주행차선 이탈에 따른 대형사고를 미리 방지하기 위해서, 주행차선 이탈이 발생할 것으로 판단되는 상황에서 조향 모터를 이용하여 조향 휠에 토크를 가해 주행차선의 중앙으로 차량을 복귀 및 유지하게 한다.
그러나, 종래의 안전 제어 장치는 단일 차량용 흑백 카메라 또는 단일 컬러 카메라를 사용함에 따라 차량용 충돌 감지나 회피를 위해 차량간 거리 측정에 있어 그 신뢰성이 떨어지며, 또한 가시광선 대역의 카메라를 사용하는 경우 차량, 차선 및 보행자 식별이 어려운 단점이 있다.
또한 차량에 설치된 카메라를 이용한 안전 제어 장치의 경우, 적외선 대역을 제거하고 가시광선 대역만을 받아들여 야간 및 터널이나 어두운 날씨에 취약한 실정이다. 더욱이 컬러 카메라가 아닌 흑백 카메라를 이용할 경우 파란색 색상의 차선을 인식하기 어려운 단점이 있다.
한편, 차량 충돌 방지 시스템(FCW : Forward Collision Warning)이 차량이 장착된 경우, 단일 카메라로 차량간 정확한 거리를 추정하는데 어려움이 있으며, 그 차량간의 거리가 멀수록 정확도는 더욱 떨어져, 차량간의 일정 간격을 유지하면서 차량 충돌을 방지하는 안전 제어 장치의 기능을 제대로 수행하지 못하는 실정이다.
본 발명의 목적은, 주간과 야간 모두에서 향상된 영상 신호에 근거하여 차선정보, 거리 정보 및 차량 정보 중 적어도 하나의 추정하여 안정 제어 장치에 제공함으로써 안전 제어 장치의 신뢰성을 향상시킬 수 있도록 한 차량용 안전 제어 시스템 및 그를 이용한 안전 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 차량용 안전 제어 시스템은 가시광선 대역을 통과시키는 제 1 필터링부를 구비하고, 상기 제 1 필터링부에 의해 가시광선 대역을 통과시켜 제 1 영상 신호를 획득하는 제 1 카메라; 가시광선 대역 및 적외선 대역을 통과시키는 제 2 필터링부를 구비하고, 상기 제 2 필터링부에 의해 가시광선 대역 및 적외선 대역을 통과시켜 제 2 영상 신호를 획득하는 제 2 카메라; 빛의 양을 감지하는 감지부; 및 상기 감지부에 의해 감지된 빛의 양에 따라 주간 또는 야간을 판단하고, 주간으로 판단된 경우 상기 제 1 카메라를 통하여 획득된 제 1 영상 신호에 근거하여 차선 정보, 거리 정보 및 차량 정보 중 적어도 하나를 추정하고 추정된 정보를 안전 제어 장치에 제공하고, 야간으로 판단된 경우 상기 제 2 카메라를 통하여 획득된 제 2 영상 신호에 근거하여 차선 정보, 거리 정보 및 차량 정보 중 적어도 하나를 추정하고 추정된 정보를 안전 제어 장치에 제공하는 전자 제어 유닛을 포함한다.
본 발명에 따른 차량용 안전 제어 시스템은 상기 야간으로 판단된 경우 상기 전자 제어 유닛의 제어신호에 따라 적외선 광을 조명하는 조명 장치를 더 포함하는 것이 바람직하다.
상기 전자 제어 유닛은 상기 감지부에 의해 감지된 빛의 양을 수신하는 수신부; 상기 수신부에 의해 수신된 빛의 양이 미리 설정된 기준치와의 비교를 통하여 주간인지 또는 야간인지를 판단하는 판단부; 상기 판단부의 판단결과, 주간으로 판단된 경우 상기 제 1 카메라를 통하여 획득된 제 1 영상신호에 대한 영상 처리를 수행하고, 상기 야간으로 판단된 경우 상기 제 2 카메라를 통하여 획득된 제 2 영상 신호에 대한 영상 처리를 수행하는 영상 처리부; 상기 제 1 영상 신호 또는 상기 제 2 영상 신호에 근거하여 차선 정보, 거리 정보 및 차량 정보 중 적어도 하나의 정보를 추정하는 추정부; 및 상기 추정부에 의해 추정된 정보를 상기 안전 제어 장치에 제공하는 정보 제공부를 포함하는 것이 바람직하다.
상기 전자 제어 유닛은 상기 영상 신호의 해상도를 높이도록 상기 제 1 카메라를 통하여 획득된 제 1 영상신호와 상기 제 2 카메라를 통하여 획득된 제 2 영상신호를 스테레오 정합하는 정합부를 더 포함하고, 상기 추정부는 상기 스테레오 정합된 영상신호에 근거하여 차선 정보, 거리 정보 및 차량 정보 중 적어도 하나의 정보를 추정하는 것이 바람직하다.
본 발명의 다른 실시예에 따른 차량용 안전 제어 시스템의 안전 제어 방법은 빛의 양을 수신하는 단계; 상기 수신된 빛의 양이 미리 설정된 기준치와의 비교를 통하여 주간인지 또는 야간인지를 판단하는 단계; 상기 판단하는 단계의 판단결과, 주간으로 판단된 경우 제 1 카메라를 통하여 획득된 제 1 영상신호에 대한 영상 처리를 수행하고, 상기 야간으로 판단된 경우 제 2 카메라를 통하여 획득된 제 2 영상 신호에 대한 영상 처리를 수행하는 단계; 상기 제 1 영상 신호 또는 상기 제 2 영상 신호에 근거하여 차선 정보, 거리 정보 및 차량 정보 중 적어도 하나의 정보를 추정하는 단계; 및 상기 추정된 정보를 상기 안전 제어 장치에 제공하는 단계를 포함한다.
또한 본 발명에 따른 차량용 안전 제어 시스템의 안전 제어 방법은 상기 영상 처리를 수행하는 단계 이후에, 상기 제 1 카메라를 통하여 획득된 제 1 영상신호와 상기 제 2 카메라를 통하여 획득된 제 2 영상신호를 스테레오 정합하는 단계를 더 포함하는 것이 바람직하다.
또한 본 발명에 따른 차량용 안전 제어 시스템의 안전 제어 방법은 상기 판단하는 단계 이후에, 상기 판단하는 단계의 판단결과, 야간으로 판단된 경우 적외선 광을 조명하는 적외선 조명 장치의 구동 제어신호를 제공하는 단계를 더 포함하는 것이 바람직하다.
본 발명에 따르면 주간과 야간 모두에서 향상된 영상 신호에 근거하여 차선정보, 거리 정보 및 차량 정보 중 적어도 하나의 추정하여 안정 제어 장치에 제공함으로써 안전 제어 장치의 신뢰성을 향상시킬 수 있는 효과가 있다.
또한 본 발명에 따르면 주간인 경우 가시광선 대역을 통과시키는 제 1 필터링부를 구비한 제 1 카메라를 통하여 획득된 영상 신호, 야간인 경우 가시광선 대역 및 적외선 대역을 통과시키는 제 2 필터링부를 구비한 제 2 카메라를 통하여 획득된 영상 신호에 따라 안전 제어 장치에 반영될 정보를 제공할 수 있어 신속하게 안전 제어 장치의 제어를 가능하게 한 효과도 있다.
그리고 본 발명에 따르면 가시광선 대역을 통과시키는 제 1 카메라와 가시광선 및 적외선 대역을 통과시키는 제 2 카메라를 통하여 각각 획득된 영상 신호를 스테레오 정합함으로써 안전 제어 장치에 제공된 영상 신호의 해상도를 높일 수 있는 효과도 있다.
도 1은 본 발명의 일 실시예에 따른 차량용 안전 제어 시스템을 설명하기 위한 블록도.
도 2는 도 1에 도시된 전자 제어 유닛을 설명하기 위한 블록도.
도 3은 본 발명의 다른 실시예에 따른 차량용 안전 제어 시스템의 안전 제어 방법을 설명하기 위한 동작 흐름도.
도 4는 주간에 획득된 영상을 도시한 화면 예시도.
도 5는 야간에 획득된 영상을 도시한 화면 예시도.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 차량용 안전 제어 시스템을 설명하기 위한 블록도이고, 도 2는 도 1에 도시된 전자 제어 유닛을 설명하기 위한 블록도이다.
도 1을 참조하면 본 발명의 일 실시예에 따른 차량용 안전 제어 시스템(1)은 제 1 카메라(11), 제 2 카메라(12), 감지부(13), 전자 제어 유닛(14), 안전 제어 장치(15) 및 적외선 조명 장치(16)를 포함하여 구성될 수 있다. 이와 같은 차량용 안전 제어 시스템(1)은 주간이나 야간 모두에서 향상된 영상 신호로 인해 안전 제어 장치에 반영될 차선 정보, 거리 정보 및 차량 정보 등의 추정하여 추정된 정보를 해당 안전 제어 장치에 제공할 수 있다. 따라서, 제 1 및 제 2 카메라(11, 12)로부터 획득된 영상 신호에 기반하여 추정된 차선 정보, 거리 정보 및 차량 정보를 제공받는 안전 제어 장치, 예를 들면 나이트 비전(Night Vision, LKAS, FCW, APPS 등을 하나로 통합할 수 있어, 원가를 절감시킬 수 있고, 심미적 디자인 효과도 있다. LKAS(Lane Keeping Assistance System)는 차선 유지 지원 시스템으로, 운전자의 핸들 조작을 보조하여 주행 차선으로부터 이탈을 방지할 수 있다. APPS(Adaptive Pedestrian Protection System)은 능동적 보행자 보호시스템으로, 차량 전방의 보행자를 감지해 운전자와 보행장게 경고를 보내고 충돌을 예방할 수 있다.
본 발명의 실시예에 따른 차량용 안전 제어 시스템(1)은 영상신호에 대한 응답성을 높이도록 주간인 경우 가시광선 대역을 통과시키는 제 1 카메라(11)를 메인 카메라로 설정하여 제 1 카메라(11)를 통하여 획득된 영상 신호에 대한 영상 처리를 수행할 수 있고, 야간인 경우 가시광선 대역 및 적외선 대역을 통과시키는 제 2 카메라(12)를 메인 카메라로 설정하여 제 2 카메라(12)를 통하여 획득된 영상 신호에 대한 영상 처리를 수행할 수 있다. 또한 영상 신호의 해상도를 높이도록 주간인 경우 제 1 카메라(11)를 통해 획득된 제 1 영상 신호와 제 2 카메라(12)를 통해 획득된 제 2 영상 신호를 스테레오 정합하여 정합된 영상 신호에 대한 영상 처리를 수행할 수 있고, 야간인 경우도 마찬가지로 제 2 카메라(12)를 통해 획득된 제 2 영상 신호와 제 1 카메라(11)를 통해 획득된 제 1 영상 신호를 스테레오 정합하여 정합된 영상 신호에 대한 영상 처리를 수행할 수 있다.
차량의 안전 제어 시스템(1)의 각 구성요소를 설명하면, 먼저 제 1 카메라(11)는 가시광선 대역을 통과시키는 제 1 필터링부(미도시)를 구비하여, 차량 주변, 특히 차량 전방의 영상을 촬영하여 영상 신호를 획득한다.
제 2 카메라(12)는 가시광선 대역 및 적외선 대역을 통과시키는 제 2 필터링(미도시)를 구비하여, 차량 주변의 영상을 촬영하여 영상 신호를 획득한다.
감지부(13)는 빛의 양을 감지하는 조도 센서(Light Sensor)/솔라(solar) 센서 일 수 있다. 조도 센서/솔라 센서는 차량의 전측 소정 부위에 구비될 수 있다.
제 1 및 제 2 카메라(11, 12) 및 감지부(13)는 전자 제어 유닛(14)과 전기적으로 연결되거나 통신 가능하게 연결될 수 있다. 전자 제어 유닛(14)은 빛의 양을 미리 설정된 기준치와 비교하여 주간인지 또는 야간인지를 판단하여 주간인 경우 제 1 카메라(11)를 통하여 획득된 영신 신호에 기반하여 안전 제어 장치(15)에 제공될 정보를 추정하고, 야간인 경우 제 2 카메라(12)를 통하여 획득된 영상 신호에 기반하여 안전 제어 장치(15)에 제공될 정보를 추정할 수 있다.
또한 전자 제어 유닛(14)은 영상 신호의 해상도를 고려하여 주간이나 야간 모두에서 제 1 및 제 2 카메라(11, 12)로부터 획득된 제 1 및 제 2 영상 신호를 스테레오 정합하여 정합된 영상 신호에 근거하여 안전 제어 장치(15)에 제공될 정보를 추정할 수 있다.
특히 야간인 경우 영상 신호의 해상도를 높일 수 있음에 따라, 종래 야간에 영상 신호의 인식 저하로 인해 교통사고로 이어지는 확률을 줄일 수 있고 안전 제어 장치의 신뢰성을 향상시킬 수 있다.
단, 야간인 경우 전자 제어 유닛(14)은 적외선 광을 조명하는 적외선 조명 장치(16)의 구동을 위한 구동 제어신호를 적외선 조명 장치(16)에 제공할 수 있다.이때, 적외선 조명 장치(16)는 근적외선 램프일 수 있다.
도 2를 참조하면 전자 제어 유닛(14)은 수신부(141), 판단부(142), 영상 처리부(143), 정합부(144), 추정부(145), 정보 제공부(146) 및 저장부(147)를 포함하여 구성될 수 있다.
수신부(141)는 감지부(13)에 의해 감지된 빛의 양을 수신한다. 또한 수신부(141)는 제 1 및 제 2 카메라(11, 12)로부터 획득된 제 1 및 제 2 영상 신호를 수신할 수 있다.
판단부(142)는 수신부(141)에 의해 수신된 빛의 양을 미리 설정된 기준치와 비교하여 주간인지 또는 야간인지를 판단한다. 기준치는 영상의 밝기를 나타내는 수치일 수 있으며, 기준치는 주간인지와 야간인지를 구분할 수 있을 정도의 밝기값으로 정해지는 것이 바람직하다. 이러한 기준치는 저장부(147)에 저장되어 있다.
영상 처리부(143)는 판단부(142)의 판단결과, 주간으로 판단된 경우 제 1 카메라(11)로부터 획득된 제 1 영상 신호를 이용하여 영상 처리를 수행하고 야간으로 판단된 경우 제 2 카메라(12)로부터 획득된 제 2 영상 신호를 이용하여 영상 처리를 수행한다.
더 자세하게 영상 처리부(14)는 제 1 및 제 2 카메라(11, 12)를 통하여 획득된 영상 신호 중 일정 값 이상의 픽셀만 유효한 필터 결과로 인식하고, 그 필터 결과에 예컨대 탬플릿 매칭 알고리즘을 적용하여 선 성분을 찾은 후 관심 영역(Region Of Interest : ROI)을 지정하고 지정된 관심 영역으로부터 차선을 찾기 위하여 허프변환(Hough Transform)을 수행한다. 허프변환은 영상에서 직선 성분을 찾는데 사용된다.
이와 같은 영상 처리 거친 영상 신호에 근거하여 추정부(145)는 차선 정보, 거리 정보 및 차량 정보 중 적어도 하나의 정보를 추정할 수 있다. 거리 정보는 선행 차량 또는 선행 장애물과의 거리를 나타낸다. 추정부(145)에 의해 추정된 정보는 저장부(147)에 임시적으로 저장될 수 있다.
정합부(144)는 제 1 카메라(11)를 통하여 획득된 제 1 영상 신호와 제 2 카메라(12)를 통하여 획득된 제 2 영상 신호를 스테레오 정합한다. 이와 같은 스테레오 정합을 통하여 왜곡을 보정하여 영상 신호의 해상도를 배가시킬 수 있다.
정합부(144)를 거친 영상 신호에 대하여는 인식 정확성을 높일 수 있는 반면, 응답성이 낮을 수 있는바, 주간에는 제 1 카메라(11)를 통해 획득된 영상 신호에 대한 영상 처리를 수행한 후에 안전 제어 장치에 반영될 정보를 추정하는 것이 바람직하고, 야간에는 영상 신호의 해상도를 고려하여 두대의 카메라인 제 1 및 제 2 카메라(11, 12)로부터 획득된 제 1 및 제 2 영상 신호를 스테레오 정합하여 정합된 영상 신호에 대한 영상 처리를 수행한 후에 안전 제어 장치에 반영될 정보를 추정하는 것이 더욱 바람직하다. 따라서 주간이나 야간 모두에서 향상된 영상 신호를 안전 제어 장치에 반영시켜 안전 제어 장치의 신뢰성을 향상시킬 수 있다.
정보 제공부(146)는 추정부(145)에 의해 추정된 정보를 안전 제어 장치(15)에 제공한다. 정보 제공부(146)는 추정된 차량 정보 및 거리 정보를 통해 제동 장치를 제어해 충돌을 방지하도록 예를 들어 제 1 안전 제어 장치(FCW)에 제공하거나, 추정된 차선 정보 및 거리 정보를 통해 조향 장치를 제어해 차선을 유지하면서 주행하도록 예를 들어 제 2 안전 제어 장치(LKAS)에 제공할 수 있다. 나아가 영상 신호에 기반하여 정보 제공부(146)는 교통 신호 및 표지판 알림 및 경고/보행자 알림 및 충돌 경고 등의 기능도 제공할 수 있다.
이와 같은 구성을 갖는 차량용 안전 제어 시스템의 안전 제어 방법을 도 3 내지 도 5를 참조하여 설명하면 다음과 같다.
도 3은 본 발명의 다른 실시예에 따른 차량용 안전 제어 시스템의 안전 제어 방법을 설명하기 위한 동작 흐름도이고, 도 4는 주간에 획득된 영상을 도시한 화면 예시도이며, 도 5는 야간에 획득된 영상을 도시한 화면 예시도이다.
전자 제어 유닛(14)은 감지부(13)에 의해 감지된 빛의 양을 수신한다(S101).
다음 전자 제어 유닛(14)은 수신된 빛의 양에 기초하여 주간인지 또는 야간인지를 판단한다(S103). 빛의 양을 미리 설정된 기준치와 비교하여 빛의 양이 기준치보다 낮은 경우 주간으로, 빛의 양이 기준치보다 높은 경우 야간으로 판단할 수 있으나, 반드시 이에 한정되는 것은 아니고 기준치에 설정된 밝기값 또는 픽셀값에 따라 비교조건은 변경될 수 있다.
상기 S103 단계의 판단결과 주간으로 판단된 경우 전자 제어 유닛(14)은 제 1 카메라(11)로부터 제 1 영상 신호를 획득한다(S105). 여기서 제 1 카메라(11)는 가시광선 대역을 통과시키는 제 1 필터링부를 구비하고 있어, 주간에 가시광선 대역을 통과시킨 제 1 영상 신호의 경우 인식 정확성이 높지만 야간에 획득된 제 1 영상 신호의 경우 인식 정확성이 낮다. 따라서 주간에는 빠른 응답성을 고려하여 가시광선 대역을 통과시키는 제 1 카메라(11)를 메인 카메라로 동작되도록 하고, 정확한 영상 신호의 인식이 필요한 경우에 가시광선 대역 및 적외선 대역을 통과시키는 제 2 카메라(12)를 보조 카메라로 동작되도록 설정할 수 있다.
다음 전자 제어 유닛(14)은 획득된 제 1 영상 신호에 대한 영상 처리를 수행한다(S107). 여기서 영상 처리는 제 1 영상 신호에 대하여 일정 값 이상의 픽셀만 유효한 필터 결과로 인식하는 과정, 그 필터 결과에 따라 선분 성분을 찾는 과정, 관심 영역을 지정하는 과정, 허프변환을 수행하는 과정을 거칠 수 있다.
다음 전자 제어 유닛(14)은 영상 처리된 제 1 영상 신호에 근거하여 차선 정보, 거리 정보 및 차량 정보를 추정(S109) 한 후, 후술하는 S115 단계를 프로세스를 이동하여 안전 제어 장치(15)에 추정된 정보를 제공할 수 있다.
이와 같이 주간에는 신속한 처리를 위하여 제 1 영상 신호에 근거하여 안전 제어 장치(15)에 제공될 정보를 추정하지만, 영상 신호의 해상도를 고려하여 후술하는 과정을 더 수행할 수 있다.
전자 제어 유닛(14)은 제 1 영상 신호와 제 2 카메라(12)를 통하여 획득된 제 2 영상 신호를 스테레오 정합한다(S111). 즉 도 4의 (a)에 도시된 바와 같은 영상 신호와 도 4의 (b)에 도시된 영상 신호를 스테레오 정합한다. 도 4의 (a)는 제 1 카메라(11)를 통하여 획득된 영상 신호이고, 도 4의 (b)는 제 2 카메라(12)를 통하여 획득된 영상 신호이다. 정합된 영상 신호에 대하여도 영상 처리를 거치며, 영상 처리는 상술한 바와 동일하므로 생략한다.
다음 전자 제어 유닛(14)은 정합된 영상 신호에 근거하여 최종 차선 정보, 거리 정보 및 차량 정보를 추정한다(S113). 도 4의 (c)는 제 1 및 제 2 영상 신호를 스테레오 정합하여 영상 처리된 영상 신호를 도시하고 있다. 도 4의 (c)에 도시된 영상 신호에 근거하여 차선 정보, 거리 정보 및 차량 정보를 추정할 수 있다.
다음 전자 제어 유닛(14)은 추정된 차선 정보, 거리 정보 및 차량 정보를 안전 제어 장치(15)에 제공한다(S115). 안전 제어 장치(15)는 FCW, LKAS, APPS 등을 포함할 수 있다.
상기 S103 단계의 판단결과 야간으로 판단된 경우 전자 제어 유닛(14)은 적외선 조명 장치(16)의 구동을 위한 구동 제어신호를 생성하여 생성된 구동 제어 신호를 적외선 조명 장치(16)에 제공한다(S104). 이에 따라, 야간에 적외선 조명으로 인해 차량 전방의 밝기가 조절될 수 있다.
다음 전자 제어 유닛(14)은 제 2 카메라(12)를 통하여 제 2 영상 신호를 획득한다(S106). 제 2 카메라(12)는 가시광선 대역 및 적외선 대역을 모두 통과시킬 수 있는 제 2 필터링부를 구비하여, 야간에 획득된 제 2 영상 신호의 경우 인식 정확성이 높지만 주간에 획득된 제 2 영상 신호의 경우 인식 정확성이 낮다. 따라서 야간에는 빠른 응답성을 고려하여 제 2 카메라(12)를 메인 카메라로 동작되도록 하고 정확한 영상 신호의 인식이 필요한 경우에 제 1 카메라(11)를 보조 카메라로 동작되도록 설정할 수 있다.
다음 전자 제어 유닛(14)은 획득된 제 1 영상 신호에 대한 영상 처리를 수행한다(S108).
다음 전자 제어 유닛(14)은 영상 처리된 제 1 영상 신호에 근거하여 차선 정보, 거리 정보 및 차량 정보를 추정(S110) 한 후, 후술하는 S115 단계를 프로세스를 이동하여 안전 제어 장치(15)에 추정된 정보를 제공할 수 있다.
이와 같이 야간에는 신속한 처리를 위하여 제 2 영상 신호에 근거하여 안전 제어 장치(15)에 제공될 정보를 추정하지만, 영상 신호의 해상도를 고려하여 후술하는 과정을 더 수행할 수 있다.
전자 제어 유닛(14)은 제 2 영상 신호와 제 1 카메라(11)를 통하여 획득된 제 1 영상 신호를 스테레오 정합하는 S111 단계로 프로세스를 이동한다. 이때 도 5의 (a)에 도시된 바와 같은 영상 신호와 도 5의 (b)에 도시된 영상 신호를 스테레오 정합한다. 도 5의 (a)는 제 2 카메라(12)를 통하여 획득된 영상 신호이고, 도 5의 (b)는 제 1 카메라(11)를 통하여 획득된 영상 신호이다. 정합된 영상 신호에 대하여도 영상 처리를 거친다. 도 5의 (c)는 제 1 및 제 2 영상 신호를 스테레오 정합하여 영상 처리된 영상 신호를 도시하고 있다. 도 5의 (c)에 도시된 영상 신호에 근거하여 차선 정보, 거리 정보 및 차량 정보를 추정할 수 있다.
따라서, 주간이나 야간 모두에서 향상된 영상 신호에 근거하여 추정된 차선 정보 , 거리 정보 및 차량 정보를 안전 제어 장치에 제공하여 안전 운전에 도모할 수 있고, 특히 영상신호의 해상도로 인해 안전 제어 장치의 신뢰성을 향상시킬 수 있다.
이상의 본 발명은 상기에 기술된 실시예들에 의해 한정되지 않고, 당업자들에 의해 다양한 변형 및 변경을 가져올 수 있으며, 이는 첨부된 청구항에서 정의되는 본 발명의 취지와 범위에 포함된다.
1 : 차량용 안전 제어 시스템 11 : 제 1 카메라
12 : 제 2 카메라 13 : 감지부
14 : 전자 제어 유닛 141 : 수신부
142 : 판단부 143 : 영상 처리부
144 : 정합부 145 : 추정부
146 : 정보 제공부 147 : 저장부
15 : 안전 제어 장치 16 : 적외선 조명 장치

Claims (7)

  1. 가시광선 대역을 통과시키는 제 1 필터링부를 구비하고, 상기 제 1 필터링부에 의해 가시광선 대역을 포함하는 제 1 영상 신호를 획득하는 제 1 카메라;
    가시광선 대역 및 적외선 대역을 통과시키는 제 2 필터링부를 구비하고, 상기 제 2 필터링부에 의해 가시광선 대역 및 적외선 대역을 포함하는 제 2 영상 신호를 획득하는 제 2 카메라;
    빛의 양을 감지하는 감지부; 및
    상기 감지부에 의해 감지된 빛의 양에 따라 주간 또는 야간을 판단하고, 판단결과 주간으로 판단된 경우 상기 제 1 카메라를 메인 카메라로 설정하여 해당 제 1 카메라를 통하여 획득된 제 1 영상 신호와 상기 제 2 카메라를 통하여 획득된 제 2 영상 신호를 스테레오 정합하여 정합된 영상신호에 근거하여 차선 정보, 거리 정보 및 차량 정보 중 적어도 하나를 추정하고 추정된 정보를 안전 제어 장치에 제공하고, 판단결과 야간으로 판단된 경우 상기 제 2 카메라를 메인 카메라로 설정하여 해당 제 2 카메라를 통하여 획득된 제 2 영상신호와 상기 제 1 카메라를 통하여 획득된 제 1 영상신호를 스테레오 정합하여 정합된 영상신호에 근거하여 차선 정보, 거리 정보 및 차량 정보 중 적어도 하나를 추정하고 추정된 정보를 안전 제어 장치에 제공하는 전자 제어 유닛을 포함하는 차량용 안전 제어 시스템.
  2. 청구항 1에 있어서,
    상기 야간으로 판단된 경우 상기 전자 제어 유닛의 제어신호에 따라 적외선 광을 조명하는 조명 장치를 더 포함하는 것을 특징으로 하는 차량용 안전 제어 시스템.
  3. 삭제
  4. 삭제
  5. 가시광선 대역을 통과시키는 제 1 필터링부를 구비한 제 1 카메라, 가시광선 및 적외선 대역을 통과시키는 제 2 필터링부를 구비한 제 2 카메라를 포함하는 차량용 안전 제어 시스템의 안전 제어 방법으로,
    빛의 양을 수신하는 단계;
    상기 수신된 빛의 양이 미리 설정된 기준치와의 비교를 통하여 주간인지 또는 야간인지를 판단하는 단계;
    상기 판단하는 단계의 판단결과, 주간으로 판단된 경우 상기 제 1 카메라를 메인 카메라로 설정하여 해당 제 1 카메라를 통하여 획득된 제 1 영상 신호와 상기 제 2 카메라를 통하여 획득된 제 2 영상 신호를 스테레오 정합하고, 야간으로 판단된 경우 상기 제 2 카메라를 메인 카메라로 설정하여 해당 제 2 카메라를 통하여 획득된 제 2 영상신호와 상기 제 1 카메라를 통하여 획득된 제 1 영상신호를 스테레오 정합하는 단계;
    상기 정합된 영상신호에 근거하여 차선 정보, 거리 정보 및 차량 정보 중 적어도 하나의 정보를 추정하는 단계; 및
    상기 추정된 정보를 상기 안전 제어 장치에 제공하는 단계를 포함하는 차량용 안전 제어 시스템의 안전 제어 방법.
  6. 삭제
  7. 청구항 5에 있어서,
    상기 판단하는 단계 이후에,
    상기 판단하는 단계의 판단결과, 야간으로 판단된 경우 적외선 광을 조명하는 적외선 조명 장치의 구동 제어신호를 제공하는 단계를 더 포함하는 것을 특징으로 하는 차량용 안전 제어 시스템의 안전 제어 방법.
KR1020100123638A 2010-12-06 2010-12-06 차량용 안전 제어 시스템 및 그를 이용한 안전 제어 방법 KR101280259B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100123638A KR101280259B1 (ko) 2010-12-06 2010-12-06 차량용 안전 제어 시스템 및 그를 이용한 안전 제어 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100123638A KR101280259B1 (ko) 2010-12-06 2010-12-06 차량용 안전 제어 시스템 및 그를 이용한 안전 제어 방법

Publications (2)

Publication Number Publication Date
KR20120062393A KR20120062393A (ko) 2012-06-14
KR101280259B1 true KR101280259B1 (ko) 2013-07-03

Family

ID=46683345

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100123638A KR101280259B1 (ko) 2010-12-06 2010-12-06 차량용 안전 제어 시스템 및 그를 이용한 안전 제어 방법

Country Status (1)

Country Link
KR (1) KR101280259B1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101405401B1 (ko) * 2012-11-15 2014-06-27 이종선 스테레오 비전 감시시스템
KR101582572B1 (ko) * 2013-12-24 2016-01-11 엘지전자 주식회사 차량 운전 보조 장치 및 이를 구비한 차량

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060425A (ja) * 2004-08-18 2006-03-02 Olympus Corp 画像生成方法および装置
KR20070019166A (ko) * 2005-08-11 2007-02-15 주식회사 현대오토넷 차량용 열 감응형 충돌 방지 시스템 및 그 제어방법
KR100875191B1 (ko) * 2007-10-15 2008-12-22 울산대학교 산학협력단 주행 영상 저장기능을 갖는 차량의 주행시야 확보장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006060425A (ja) * 2004-08-18 2006-03-02 Olympus Corp 画像生成方法および装置
KR20070019166A (ko) * 2005-08-11 2007-02-15 주식회사 현대오토넷 차량용 열 감응형 충돌 방지 시스템 및 그 제어방법
KR100875191B1 (ko) * 2007-10-15 2008-12-22 울산대학교 산학협력단 주행 영상 저장기능을 갖는 차량의 주행시야 확보장치

Also Published As

Publication number Publication date
KR20120062393A (ko) 2012-06-14

Similar Documents

Publication Publication Date Title
US11676400B2 (en) Vehicular control system
US11461595B2 (en) Image processing apparatus and external environment recognition apparatus
US8543254B1 (en) Vehicular imaging system and method for determining roadway width
US10078789B2 (en) Vehicle parking assist system with vision-based parking space detection
CN109478324B (zh) 图像处理装置、外界识别装置
US8194998B2 (en) Preceding vehicle detection system
US8311283B2 (en) Method for detecting lane departure and apparatus thereof
US9704404B2 (en) Lane detection apparatus and operating method for the same
US8543277B2 (en) Imaging system for vehicle
JP5680573B2 (ja) 車両の走行環境認識装置
US9827956B2 (en) Method and device for detecting a braking situation
US8854458B2 (en) Object detection device
CN109891262B (zh) 物体探测装置
US20130321630A1 (en) System and method for lane departure warning
US20190130752A1 (en) Object detection apparatus and object detection method
US9415736B2 (en) Method, computer program product and system for utilizing vehicle safety equipment
US20130010114A1 (en) Apparatus for detecting object approaching vehicle
KR20150096924A (ko) 전방 충돌 차량 선정 방법 및 시스템
KR20120086577A (ko) 카메라를 이용한 측면차량 검출 장치 및 방법
KR20190054656A (ko) 차선 인식 장치 및 방법
KR101280259B1 (ko) 차량용 안전 제어 시스템 및 그를 이용한 안전 제어 방법
US20230415734A1 (en) Vehicular driving assist system using radar sensors and cameras
JPH09272414A (ja) 車両制御装置
KR102601353B1 (ko) 초음파 센서의 높이 보상장치 및 그 방법
KR101982091B1 (ko) 서라운드 뷰 모니터링 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160330

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170320

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190403

Year of fee payment: 7