KR20190099755A - 차량 및 그 제어 방법 - Google Patents

차량 및 그 제어 방법 Download PDF

Info

Publication number
KR20190099755A
KR20190099755A KR1020180019603A KR20180019603A KR20190099755A KR 20190099755 A KR20190099755 A KR 20190099755A KR 1020180019603 A KR1020180019603 A KR 1020180019603A KR 20180019603 A KR20180019603 A KR 20180019603A KR 20190099755 A KR20190099755 A KR 20190099755A
Authority
KR
South Korea
Prior art keywords
driver
front object
vehicle
visibility
index
Prior art date
Application number
KR1020180019603A
Other languages
English (en)
Other versions
KR102494865B1 (ko
Inventor
이태영
김응서
성동현
박종혁
이상민
김정현
김동혁
권용석
Original Assignee
현대자동차주식회사
기아자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020180019603A priority Critical patent/KR102494865B1/ko
Priority to US16/029,010 priority patent/US10723348B2/en
Priority to CN201810875490.8A priority patent/CN110171357A/zh
Publication of KR20190099755A publication Critical patent/KR20190099755A/ko
Application granted granted Critical
Publication of KR102494865B1 publication Critical patent/KR102494865B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/12—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger
    • B60T7/22—Brake-action initiating means for automatic initiation; for initiation not subject to will of driver or passenger initiated by contact of vehicle, e.g. bumper, with an external object, e.g. another vehicle, or by means of contactless obstacle detectors mounted on the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2201/00—Particular use of vehicle brake systems; Special systems using also the brakes; Special software modules within the brake system controller
    • B60T2201/02—Active or adaptive cruise control system; Distance control
    • B60T2201/022—Collision avoidance systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2220/00—Monitoring, detecting driver behaviour; Signalling thereof; Counteracting thereof
    • B60T2220/02—Driver type; Driving style; Driver adaptive features
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B60W2710/182—Brake pressure, e.g. of fluid or between pad and disc

Abstract

개시된 발명의 일 실시예에 따른 차량은, 운전자의 시야(field of view)와 전방 물체의 시인성(visibility)에 따라 전방 물체 충돌 경고 시점을 조절하기 위해, 전방 물체의 데이터를 수집하는 거리 센서; 전방의 영상 데이터를 수집하는 카메라; 운전자 안면 데이터를 수집하는 운전자 인식 센서; 상기 운전자 안면 데이터를 이용하여 운전자의 시선과 시야각(Field of view)을 분석하고, 상기 영상 데이터를 이용하여 상기 전방 물체의 시인성(visibility)을 분석하며, 분석 결과에 따라 충돌 경고 시점을 산출하는 제어부; 및 상기 제어부의 제어에 따라 상기 충돌 경고 시점에 운전자에게 충돌 위험을 알리는 경고 장치;를 포함한다.

Description

차량 및 그 제어 방법{VEHICLE, AND CONTROL METHOD FOR THE SAME}
운전자의 시야(field of view)와 전방 물체의 시인성(visibility)에 따라 전방 물체 충돌 경고 시점을 조절하는 차량 및 그 제어방법에 관한 것이다.
차량의 안전과 관련된 기술로서 거리 센서, 카메라 등을 이용하여 전방 물체를 인식하고, 전방 물체와의 충돌 위험성을 판단하여 차량의 운전자에게 충돌 위험을 알리거나 제동을 수행하는 충돌 방지 보조 시스템이 존재한다.
이러한 종래의 충돌 방지 보조 시스템은 전방 물체의 종류 및 전방 물체와의 거리 데이터만 이용하여 충돌 위험을 판단하고, 충돌 경고 시점을 산출하고 있다. 즉, 종래의 충돌 방지 보조 시스템은 운전자가 전방 물체를 인식하였는지를 고려하지 않고 일정한 경고 시점에 충돌 경고를 제공하였기 때문에, 운전자가 해당 경고 시점에 제공되는 경고를 불편하게 느낄 수 있는 문제가 있었다.
따라서 운전자의 전방 물체에 대한 인식 여부를 고려하여 충돌 경고 시점을 조절함으로써 운전자의 만족도를 높이고, 최적의 시점에 충돌 위험을 알릴 수 있는 기술이 필요하다.
운전자의 시선과 시야각(field of view) 및 전방 물체의 시인성(visibility)을 고려하여 충돌 경고 시점을 조절함으로써 운전자에게 최적의 시점에 충돌 위험을 알릴 수 있고, 그에 따라 운전자의 만족도, 시스템에 대한 신뢰도 및 사고 예방 효과를 높일 수 있는 차량 및 그 제어방법을 제공하는 것을 목적으로 한다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 일 실시예에 따른 차량은, 전방 물체의 데이터를 수집하는 거리 센서; 전방의 영상 데이터를 수집하는 카메라; 운전자 안면 데이터를 수집하는 운전자 인식 센서; 상기 운전자 안면 데이터를 이용하여 운전자의 시선과 시야각(Field of view)을 분석하고, 상기 영상 데이터를 이용하여 상기 전방 물체의 시인성(visibility)을 분석하며, 분석 결과에 따라 충돌 경고 시점을 산출하는 제어부; 및 상기 제어부의 제어에 따라 상기 충돌 경고 시점에 운전자에게 충돌 위험을 알리는 경고 장치;를 포함한다.
또한, 상기 제어부는, 운전자의 시선과 시야각을 분석하여 운전자 주시 분포 함수를 산출하고, 전방 물체의 시인성을 분석하여 전방 물체 시인성 지수를 산출하며, 상기 운전자 주시 분포 함수 및 전방 물체 시인성 지수를 이용하여 인식 인덱스를 산출할 수 있다.
또한, 상기 제어부는, 상기 인식 인덱스 및 미리 설정된 기준 경고 시점을 이용하여 상기 충돌 경고 시점을 산출할 수 있다.
또한, 상기 제어부는, 운전자 시야각의 중심선을 세로축으로 하고 상기 전방 물체의 특정 좌표를 지나는 직선을 가로축으로 하는 이차원 좌표계를 설정하고, 상기 이차원 좌표계 상에서 운전자 주시 분포 함수를 산출할 수 있다.
또한, 상기 운전자 주시 분포 함수는, 정규 분포 밀도 함수 형태로 정의될 수 있다.
또한, 상기 제어부는, 상기 영상 데이터에서 전방 물체의 색좌표 값과 전방 물체 주변 환경의 색좌표 값을 추출하고, 상기 전방 물체의 색좌표 값과 상기 전방 물체 주변 환경의 색좌표 값의 합을 최대 색좌표 값에서 감산하여 상기 전방 물체 시인성 지수를 산출할 수 있다.
또한, 상기 인식 인덱스는, 아래의 수학식3에 따라 산출될 수 있다.
[수학식 3]
Figure pat00001
(DI: 인식 인덱스, I: 전방 물체 시인성 지수, f(a): 운전자 주시 분포 함수 값)
또한, 상기 충돌 경고 시점은, 아래의 수학식4에 따라 산출될 수 있다.
[수학식4]
Figure pat00002
(Thp: 충돌 경고 시점, DI: 인식 인덱스, Thbasic: 기준 경고 시점)
또한, 일 실시예에 따른 차량(1)은, 상기 제어부의 제어에 따라 상기 충돌 경고 시점에 차량을 제동시키는 제동 장치;를 더 포함할 수 있다.
일 실시예에 따른 차량의 제어방법은, 전방 물체의 데이터, 전방의 영상 데이터 및 운전자 안면 데이터를 수집하는 단계; 상기 운전자 안면 데이터를 이용하여 운전자의 시선과 시야각을 분석하는 단계; 상기 영상 데이터를 이용하여 상기 전방 물체의 시인성을 분석하는 단계; 상기 운전자의 시선과 시야각 및 상기 전방 물체의 시인성을 분석한 결과에 따라 충돌 경고 시점을 산출하는 단계; 및 산출된 충돌 경고 시점에 운전자에게 충돌 위험을 알리는 단계;를 포함할 수 있다.
또한, 상기 운전자의 시선과 시야각을 분석하는 단계는 운전자 주시 분포 함수를 산출하는 단계를 더 포함하고, 상기 전방 물체의 시인성을 분석하는 단계는 전방 물체 시인성 지수를 산출하는 단계를 더 포함하며, 상기 운전자 주시 분포 함수 및 전방 물체 시인성 지수를 이용하여 인식 인덱스를 산출하는 단계;를 더 포함할 수 있다.
또한, 상기 충돌 경고 시점을 산출하는 단계는, 상기 인식 인덱스 및 미리 설정된 기준 경고 시점을 이용하여 상기 충돌 경고 시점을 산출할 수 있다.
또한, 상기 운전자 주시 분포 함수를 산출하는 단계는, 운전자 시야각의 중심선을 세로축으로 하고 상기 전방 물체의 특정 좌표를 지나는 직선을 가로축으로 하는 이차원 좌표계를 설정하는 단계;를 더 포함하고, 상기 이차원 좌표계 상에서 운전자 주시 분포 함수를 산출할 수 있다.
또한, 상기 운전자 주시 분포 함수는, 정규 분포 밀도 함수 형태로 정의될 수 있다.
또한, 상기 전방 물체의 시인성을 분석하는 단계는, 상기 영상 데이터에서 전방 물체의 색좌표 값과 전방 물체 주변 환경의 색좌표 값을 추출하고, 상기 전방 물체의 색좌표 값과 상기 전방 물체 주변 환경의 색좌표 값의 합을 최대 색좌표 값에서 감산하여 상기 전방 물체 시인성 지수를 산출할 수 있다.
또한, 상기 인식 인덱스는, 아래의 수학식3에 따라 산출될 수 있다.
[수학식 3]
Figure pat00003
(DI: 인식 인덱스, I: 전방 물체 시인성 지수, f(a): 운전자 주시 분포 함수 값)
또한, 상기 충돌 경고 시점은, 아래의 수학식4에 따라 산출될 수 있다.
[수학식4]
Figure pat00004
(Thp: 충돌 경고 시점, DI: 인식 인덱스, Thbasic: 기준 경고 시점)
또한, 일 실시예에 따른 차량의 제어방법은, 상기 제어부의 제어에 따라 산출된 충돌 경고 시점에 차량을 제동시키는 단계;를 더 포함할 수 있다.
일 측면에 따른 차량 및 그 제어방법에 따르면, 운전자의 시선과 시야각 및 전방 물체의 시인성을 고려하여 충돌 경고 시점을 조절함으로써 운전자에게 최적의 시점에 충돌 위험을 알릴 수 있고, 그에 따라 운전자의 만족도, 시스템에 대한 신뢰도 및 사고 예방 효과를 높일 수 있다.
도 1은 일 실시예에 따른 차량의 외관을 도시한 도면이다.
도2는 일 실시예에 따른 차량의 내부 구성을 나타낸 도면이다.
도3은 일 실시예에 따른 차량의 제어 블록도이다.
도 4는 일 실시예에 따른 차량이 운전자의 시선을 분석하는 방법을 설명하는 도면이다.
도5는 일 실시예에 따른 차량이 운전자의 시선과 시야각을 분석하여 운전자 주시 분포 함수를 산출하는 방법 설명하는 도면이다.
도 6은 일 실시예에 따른 차량이 전방 물체의 시인성을 분석하여 전방 물체 시인성 지수를 산출하는 방법을 설명하는 도면이다.
도 7은 일 실시예에 따른 차량이 특정 상황에서 충돌 경고 시점을 산출하는 예시를 보여준다.
도 8은 일 실시예에 따른 차량 제어방법의 흐름도이다.
명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시예들의 모든 요소들을 설명하는 것은 아니며, 본 발명이 속하는 기술분야에서 일반적인 내용 또는 실시예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 '부, 모듈, 부재, 블록'이라는 용어는 소프트웨어 또는 하드웨어로 구현될 수 있으며, 실시예들에 따라 복수의 '부, 모듈, 부재, 블록'이 하나의 구성요소로 구현되거나, 하나의 '부, 모듈, 부재, 블록'이 복수의 구성요소들을 포함하는 것도 가능하다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라, 간접적으로 연결되어 있는 경우를 포함하고, 간접적인 연결은 무선 통신망을 통해 연결되는 것을 포함한다.
또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
제 1, 제 2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위해 사용되는 것으로, 구성요소가 전술된 용어들에 의해 제한되는 것은 아니다.
단수의 표현은 문맥상 명백하게 예외가 있지 않는 한, 복수의 표현을 포함한다.
각 단계들에 있어 식별부호는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 실시될 수 있다.
이하 첨부된 도면들을 참고하여 본 발명의 작용 원리 및 실시예들에 대해 설명한다.
도 1은 일 실시예에 의한 차량 외관을 도시한 도면이고, 도 2는 일 실시예에 의한 차량 내부를 도시한 도면이다.
도 1을 참조하면, 차량(1)의 외관은 차량(1)의 외관을 형성하는 본체(10), 운전자에게 차량(1) 전방의 시야를 제공하는 윈드 스크린(windscreen)(11), 운전자에게 차량(1) 후방의 시야를 제공하는 사이드 미러(12), 차량(1) 내부를 외부로부터 차폐시키는 도어(13), 루프 패널을 지지하는 필러(14), 루프 패널(15), 리어 윈도 글래스(16), 방향 지시등(17) 및 차량(1)의 전방에 위치하는 앞바퀴(21), 차량(1)의 후방에 위치하는 뒷바퀴(22)를 포함할 수 있고, 이러한 앞바퀴(21), 뒷바퀴(22)를 통틀어 차륜이라고 할 수 있다.
윈드 스크린(11)은 본체(10)의 전방 상측에 마련되어 차량(1) 내부의 운전자가 차량(1) 전방의 시각 정보를 획득할 수 있도록 한다. 또한, 사이드 미러(12)는 본체(10)의 좌측에 마련되는 좌측 사이드 미러 및 우측에 마련되는 우측 사이드 미러를 포함하며, 차량(1) 내부의 운전자가 차량(1) 측면 및 후방의 시각 정보를 획득할 수 있도록 한다.
도어(13)는 본체(10)의 좌측 및 우측에 회동 가능하게 마련되어 개방 시에 운전자가 차량(1)의 내부에 탑승할 수 있도록 하며, 폐쇄 시에 차량(1)의 내부를 외부로부터 차폐시킬 수 있다.
또한, 차량(1)은 차량 전방, 측방, 후방에 위치하는 물체를 감지하는 거리 센서(200), 차량 주변의 영상을 촬영하여 영상 데이터를 수집하는 카메라(300), 운전자 안면 데이터를 수집하는 운전자 인식 센서(400)를 포함할 수 있다.
거리 센서(200) 또는 카메라(300)는 차량(1)의 전면 라디에이터 그릴 내 또는 전면 헤드램프 내에 장착될 수 있고, 루프 패널(15)의 후방 측, 즉 리어 윈도 글래스(16)의 상측에 열선과 함께 일체형으로 구현되는 것도 가능하며, 그 위치에 제한이 없다.
운전자 인식 센서(400)는 운전자의 안면을 촬영하는 카메라일 수 있고, 차량(1) 내부에 설치될 수 있다. 운전자 인식 센서(400)가 설치되는 차량(1) 내부 위치에 특별한 제한이 있는 것은 아니나, 운전자가 정면을 바라볼 때를 기준으로 운전자의 안면 움직임에 따라 변화하는 운전자의 시선을 분석하므로, 운전자의 정면 위치에 설치되는 것이 바람직할 것이다.
거리 센서(200)는 레이저 센서, 적외선 센서, 레이더(Radar) 센서, 라이다(LiDAR) 센서 등과 같이 일정한 간격으로 물체까지의 거리를 측정하는 센서일 수 있다. 거리 센서(200)는 차량이 이동하는 동안 측정 범위 내에 있는 물체의 표면 정보를 실시간으로 스캔한다.
라이다 센서는 레이저를 방사하고 목표물에서 반사되는 레이저를 검출하여 목표물까지의 거리, 방향, 속도, 온도, 물질 분포 및 농도 특성 등을 감지할 수 있는 센서이다. 라이다 센서는 목표물의 표면을 샘플링하는 방식으로 스캔하며, 샘플링된 점 데이터를 출력한다.
도 2를 참조하면, 차체의 내장(120)은 탑승자가 앉는 시트(121: 121a, 121b)와, 대시 보드(122)와, 대시 보드 상에 배치되고 타코미터, 속도계, 냉각수 온도계, 연료계, 방향 지시등, 상향등 표시등, 경고등, 안전벨트 경고등, 주행 거리계, 주행 기록계, 자동변속 선택레버 표시등, 도어 열림 경고등, 엔진 오일 경고등, 연료부족 경고등이 배치된 계기판(즉, 클러스터, 123)과, 차량의 진행 방향을 조작하는 스티어링 휠(124)과, 오디오 장치와 공기 조화 장치의 조절판이 있는 센터 페시아(125)를 포함한다.
시트(121)는 운전자가 앉는 운전석(121a), 동승자가 앉는 조수석(121b), 차량 내 후방에 위치하는 뒷좌석을 포함한다.
클러스터(123)는 디지털 방식으로 구현할 수 있다. 이러한 디지털 방식의 클러스터는 차량 정보 및 주행 정보를 영상으로 표시한다.
센터 페시아(125)는 대시 보드(122) 중에서 운전석(121a)과 조수석(121b) 사이에 위치하고, 오디오 장치, 공기 조화 장치 및 시트의 열선을 제어하는 헤드 유닛(126)을 포함한다.
여기서 헤드 유닛(126)은 오디오 장치, 공기 조화 장치 및 시트의 열선의 동작 명령을 입력받기 위한 복수의 버튼부를 포함할 수 있다.
센터 페시아(125)에는 송풍구, 시거잭 등이 설치될 수 있고 멀티단자(127) 등이 설치될 수 있다.
여기서 멀티단자(127)는 헤드 유닛(126)과 인접한 위치에 배치될 수 있고, USB 포트, AUX단자를 포함하고, SD슬롯을 더 포함할 수 있다.
차량(1)은 각종 기능의 동작 명령을 입력받기 위한 입력부(128)를 더 포함할 수 있고 수행 중인 기능에 대한 정보 및 사용자에 의해 입력된 정보를 표시하는 표시부(129)를 더 포함할 수 있다.
이러한 표시부(129)의 표시 패널은 발광 다이오드(Light Emitting Diode: LED) 패널, 유기 발광 다이오드(Organic Light Emitting Diode: OLED) 패널 또는 액정 디스플레이(Liquid Crystal Display) 패널 등을 채용할 수 있다
입력부(128)는 헤드 유닛(126) 및 센터페시아(125)에 마련될 수 있고, 각종 기능의 동작 온 오프 버튼, 각종 기능의 설정값을 변경하기 위한 버튼 등과 같은 적어도 하나의 물리적인 버튼을 포함한다.
이러한 입력부(128)는 버튼의 조작 신호를 전자 제어 유닛(ECU), 헤드 유닛(126) 내의 제어부(500) 또는 AVN 장치(130)에 전송할 수 있다.
입력부(128)는 AVN 장치(130)의 표시부에 일체로 마련된 터치 패널을 포함할 수 있다. 이러한 입력부(128)는 AVN 장치(130)의 표시부에 버튼 형상으로 활성화되어 표시될 수 있고 이때 표시된 버튼의 위치 정보를 입력 받는다.
입력부(128)는 AVN 장치(130)의 표시부에 표시된 커서의 이동 명령 및 선택 명령 등을 입력하기 위한 조그 다이얼(미도시) 또는 터치 패드를 더 포함하는 것도 가능하다. 여기서 조그 다이얼 또는 터치 패드는 센터페시아 등에 마련될 수 있다.
구체적으로 입력부(128)는 운전자가 직접 차량을 운전하는 수동 주행 모드와 자율 주행 모드 중 어느 하나를 입력 받는 것도 가능하고, 자율 주행 모드가 입력되면 자율 주행 모드의 입력 신호를 제어부(500)에 전송한다.
제어부(500)는 차량(1) 내 장치로 신호 분배 역할 뿐만 아니라 차량(1) 내 장치에 대한 제어 신호를 각 장치로 전달할 수 있다. 비록 제어부(500)라고 표현하였으나, 이는 넓은 의미로 해석되기 위한 표현일 뿐 이에 제한되지 않는다.
또한, 입력부(128)는 내비게이션 기능 선택 시 목적지의 정보를 입력 받고 입력된 목적지의 정보를 AVN 장치(130)에 전송하며, DMB 기능 선택 시 채널 및 음량 정보를 입력 받고 입력된 채널 및 음량 정보를 AVN 장치(130)에 전송한다.
센터 페시아(125)에는 사용자로부터 정보를 입력 받고 입력된 정보에 대응하는 결과를 출력하는 AVN 장치(130)가 마련될 수 있다.
AVN 장치(130)는 내비게이션 기능, 디엠비 기능, 오디오 기능, 비디오 기능 중 적어도 하나의 기능을 수행하고 자율 주행 모드 시 도로의 환경 정보 및 주행 정보 등을 표시할 수 있다. 이러한 AVN 장치(130)는 대시 보드 상에 거치식으로 설치될 수도 있다.
차량의 차대는 동력 발생 장치, 동력 전달 장치, 주행 장치, 조향 장치, 제동 장치, 가속 장치, 현가 장치, 변속 장치, 연료 장치, 전후좌우의 휠 등을 더 포함한다. 또한, 차량은 운전자 및 탑승자의 안전을 위한 여러 가지 안전장치들을 더 포함한다.
제동 장치의 일 예로서 차량의 내부에 브레이크 페달(131)이 구비될 수 있고, 가속 장치의 일 예로서 차량의 내부에 가속 페달(132)이 구비될 수 있다.
차량의 안정장치로는 차량 충돌 시 운전자 등 탑승자의 안전을 목적으로 하는 에어백 제어 장치와, 차량의 가속 또는 코너링 시 차량의 자세를 차량자세 안정 제어 장치(ESC: Electronic Stability Control) 등 여러 종류의 안전장치들이 있다.
이외에도 차량(1)은 후방 또는 측방의 장애물 내지 다른 차량을 감지하는 근접센서, 강수 여부 및 강수량을 감지하는 레인 센서, 차량의 휠의 속도를 검출하는 휠 속도 센서, 차량의 횡 가속도를 검출하는 횡가속도 센서, 차량의 각속도의 변화를 검출하는 요레이트 센서, 자이로 센서, 차량의 스티어링 휠의 회전을 검출하는 조향각 센서 등의 검출 장치를 더 포함하는 것도 가능하다.
이러한 차량(1)은 동력 발생 장치, 동력 전달 장치, 주행 장치, 조향 장치, 제동 장치, 현가 장치, 변속 장치, 연료 장치, 여러 가지 안전 장치 및 각종 센서 장치들의 구동을 제어하는 전자 제어 유닛(ECU: Electronic Control Unit)을 포함한다.
또한 차량(1)은 운전자의 편의를 위해 설치된 핸즈프리 장치, GPS, 오디오 기기 및 블루투스 장치, 후방 카메라, 단말 장치 충전 장치, 하이패스 장치 등의 전자 장치를 선택적으로 포함할 수 있다.
이러한 차량(1)은 시동모터(미도시)에 동작 명령을 입력하기 위한 시동 버튼을 더 포함할 수 있다.
즉 차량(1)은 시동 버튼이 온 되면 시동모터(미도시)를 동작시키고 시동 모터의 동작을 통해 동력 발생장치인 엔진(미도시)을 구동시킨다.
차량(1)은 단말 장치, 오디오 기기, 실내 등, 시동 모터, 그 외 전자장치들에 전기적으로 연결되어 구동 전력을 공급하는 배터리(미도시)를 더 포함한다. 이러한 배터리는 주행 중 자체 발전기 또는 엔진의 동력을 이용하여 충전을 수행한다.
도3은 일 실시예에 따른 차량의 제어 블록도이다.
도 3을 참조하면, 일 실시예에 따른 차량(1)은 거리 센서(200), 카메라(300), 운전자 인식 센서(400), 제어부(500), 경고 장치(600) 및 제동 장치(700)를 포함한다. 또한, 차량(1)은 거리 센서(200), 카메라(300) 또는 운전자 인식 센서(400)가 수집한 데이터를 저장하는 메모리(미도시)를 포함할 수 있다.
거리 센서(200)는 차량 주변 물체에 대한 데이터를 수집할 수 있다. 거리 센서(200)는 레이저 펄스 신호를 방출하고 측정 범위 내에 있는 물체들로부터 반사 펄스 신호들이 도착하는 시간을 측정함으로써 물체까지의 거리를 측정할 수 있다. 또한, 거리 센서(200)는 물체의 공간 좌표를 측정할 수 있고, 그에 따라 물체의 3차원 정보를 수집할 수 있다. 거리 센서(200)는 물체의 표면을 샘플링하는 방식으로 스캔하며, 샘플링된 점 데이터를 출력한다. 또한, 거리 센서(200)는 차량(1) 주변 물체의 속도를 측정할 수 있다.
카메라(300)는 차량(1) 주변의 영상 데이터를 수집할 수 있다. 카메라(300)는 차량(1) 주변을 촬영하여 차량 주변 물체에 대한 이미지를 획득할 수 있다. 즉, 카메라(300)는 차량(1)의 전방, 후방, 측방에 존재하는 다른 차량과 주변 환경의 이미지를 획득할 수 있고, 차량(1)이 주행하는 도로의 이미지를 획득할 수 있다.
운전자 인식 센서(400)는 운전자의 안면 데이터를 수집할 수 있다. 운전자 인식 센서(400)는 운전자의 안면을 촬영하는 카메라일 수 있고, 운전자의 안면의 움직임과 눈동자의 움직임을 검출하여 운전자 안면 데이터를 생성할 수 있다. 운전자 안면 데이터는 영상 데이터에 해당할 수 있다.
제어부(500)는 운전자 인식 센서(400)로부터 운전자 안면 데이터를 전송 받아 운전자의 시선 및 시야각을 분석할 수 있다. 시선은 운전자가 바라보는 중심 방향을 의미하고, 시야각은 운전자가 눈으로 물체를 인식할 수 있는 범위를 의미한다. 운전자의 시선 및 시야각을 분석하는 방법은 도 4와 도 5에서 설명된다.
또한, 제어부(500)는 거리 센서(200)로부터 전송 받은 전방 물체의 데이터를 이용하여 전방 물체를 인식하고, 카메라(300)로부터 전송 받은 영상 데이터를 이용하여 전방 물체의 시인성을 분석할 수 있다. 전방 물체의 시인성을 분석하는 방법은 도 6에서 설명된다. 제어부(500)는 운전자의 시선과 시야각 및 전방 물체 시인성을 분석한 결과에 따라 충돌 경고 시점을 산출할 수 있다.
경고 장치(600)는 제어부(500)의 제어에 따라 충돌 경고 시점에 운전자에게 충돌 위험을 알릴 수 있다. 경고 장치(600)는 운전자의 시각, 청각, 촉각 중 적어도 하나를 자극하는 방법으로 운전자에게 충돌 위험을 알릴 수 있다.
제동 장치(700)는 제어부(500)로부터 제어 신호를 수신하여 산출된 충돌 경고 시점에 스티어링 휠(124), 브레이크 페달(131), 가속 페달(132) 등을 작동시킴으로써 차량(1)을 제동시킬 수 있다.
구체적으로, 제어부(500)는 운전자 시야 분석부(510), 전방 물체 시인성 분석부(520), 인식 인덱스 산출부(530), 충돌 경고 시점 산출부(540)를 포함할 수 있다.
운전자 시야 분석부(510)는 운전자 안면 데이터를 이용하여 운전자의 시선과 시야각(Field of view)을 분석하고, 운전자 주시 분포 함수를 산출할 수 있다.
도 4를 참조하면, 운전자 인식 센서(400)가 수집한 운전자 안면 데이터는 운전자의 안면에 대한 3차원 데이터일 수 있다. 운전자 시야 분석부(510)는 운전자 안면의 횡방향 길이(x)를 산출하고, 운전자의 안면을 종방향으로 3등분하여 오른쪽 안면의 횡방향 길이(x1)와 왼쪽 안면의 횡방향 길이(x2)를 산출할 수 있다. 여기서 운전자의 안면은 양쪽 눈의 안쪽 끝(내안각)을 경계로 3등분될 수 있을 뿐만 아니라, 안면의 가운데에 위치한 코를 기준으로 2등분될 수도 있다. 운전자의 안면은 대칭인 것으로 가정한다.
즉, 운전자 시야 분석부(510)는 운전자 안면 전체 횡방향 길이(x)와 오른쪽 안면 횡방향 길이(x1) 및 왼쪽 안면 횡방향 길이(x2)를 이용하여 운전자의 시선 방향(C)을 산출할 수 있다. 운전자의 시선 방향은 아래의 수학식1에 따라 산출될 수 있다.
[수학식 1]
Figure pat00005
(x: 운전자 안면의 횡방향 길이, x1: 운전자 오른쪽 안면 횡방향 길이, x2: 운전자 왼쪽 안면 횡방향 길이)
예를 들면, 운전자가 정면을 바라볼 때, 운전자의 오른쪽 안면 횡방향 길이(x1)와 왼쪽 안면 횡방향 길이(x2)가 동일하므로 C=1이 산출된다. 운전자가 운전 중 정면을 바라보지 않고 머리를 돌려 왼쪽이나 오른쪽 방향을 바라볼 때에는 운전자의 시선이 변화하게 된다. 운전자 인식 센서(400)는 운전자의 정면 위치에서 운전자의 안면을 촬영하므로, 운전자가 머리를 오른쪽으로 돌려 오른쪽 방향을 바라볼 때, 운전자의 오른쪽 안면 횡방향 길이(x1)는 짧아지고 왼쪽 안면 횡방향 길이(x2)는 길어지게 된다. 따라서 C 값은 1보다 큰 값으로 산출된다. 운전자가 머리를 왼쪽으로 돌려 왼쪽 방향을 바라볼 때, 운전자의 오른쪽 안면 횡방향 길이(x1)는 길어지고 왼쪽 안면 횡방향 길이(x2)는 짧아지게 된다. 따라서 C 값은 1보다 작은 값으로 산출된다.
즉, C 값이 0에 가까워질수록 운전자의 시선이 정면 방향을 기준으로 좌측 방향으로 많이 이동한 것으로 판단될 수 있고, C 값이 무한대(∞)에 가까워질수록 운전자의 시선이 우측 방향으로 많이 이동한 것으로 판단될 수 있다.
또한, 운전자 시야 분석부(510)는 운전자의 시야각을 분석할 수 있다. 운전자의 시야각(FOV, Field Of View)은 사람마다 다르게 나타날 수 있으나, 양쪽 눈이 물체를 인지할 수 있는 범위는 일반적으로 수평방향 약 120도로 알려져 있다. 그리고 물체가 시야각의 중심선으로부터 먼 곳에 위치할수록 운전자가 물체를 명확히 인식할 수 있는 확률이 떨어진다. 즉, 물체가 운전자 시야각의 중심선과 가까운 거리에 위치할수록 운전자가 물체를 명확히 인식할 확률이 높고, 물체가 운전자 시야각의 중심선으로부터 먼 거리에 위치할수록 운전자가 물체를 명확히 인식할 확률이 낮다. 여기서 시야각의 중심선은 시선과 동일하다. 운전자 시야 분석부(510)는 이러한 운전자의 시야 특성을 고려하여 운전자 주시 분포 함수를 산출할 수 있다.
도 5를 참조하면, 운전자 주시 분포 함수는 정규 분포 밀도 함수 형태로 정의될 수 있다. 왜냐하면 운전자 시야각의 중심선을 기준으로 특정 범위 밖에 존재하는 물체에 대한 인식률이 급격히 떨어지기 때문이다. 운전자 주시 분포 함수는 y축을 기준으로 대칭되는 지수 함수로 정의될 수도 있다.
운전자 주시 분포 함수는 이차원 좌표계에서 정의될 수 있다. 운전자 시야 분석부(510)는 운전자 시야각의 중심선을 세로축으로 하고 상기 전방 물체의 특정 좌표를 지나는 직선을 가로축으로 하는 이차원 좌표계를 설정하고, 이차원 좌표계 상에서 운전자 주시 분포 함수를 산출할 수 있다. 가로축은 운전자 시야각의 중심선으로부터 전방 물체까지의 거리를 표시한다.
운전자 주시 분포 함수는 0을 최소값으로 갖고, 1을 최대값으로 갖는다. 전방 물체가 운전자 주시 분포 함수의 세로축인 운전자 시야각의 중심선 상에 존재하는 경우 운전자 주시 분포 함수는 최대값을 가지고, 전방 물체가 운전자 시야각의 중심선으로부터 멀리 떨어진 거리에 위치할수록 운전자 주시 분포 함수는 작은 값을 갖는다. 즉, 제어부(500)는 전방 물체의 좌표를 획득하고, 전방 물체의 좌표를 이용하여 운전자 주시 분포 함수의 값을 산출할 수 있다.
전방 물체 시인성 분석부(520)는 카메라(300)가 수집한 영상 데이터를 이용하여 전방 물체의 시인성을 분석하고, 전방 물체 시인성 지수를 산출할 수 있다.
도 6을 참조하면, 전방 물체 시인성 분석부(520)는 영상 데이터에서 전방 물체의 색좌표 값과 전방 물체 주변 환경의 색좌표 값을 추출하고, 전방 물체의 색좌표 값과 전방 물체 주변 환경의 색좌표 값의 합을 최대 색좌표 값에서 감산하여 전방 물체 시인성 지수를 산출한다. 이를 수학식으로 표현하면 아래 수학식2와 같다.
[수학식2]
Figure pat00006
여기서 I는 전방 물체 시인성 지수이고, (RT, GT, BT)는 전방 물체의 RGB 색좌표이며, (RE, GE, BE)는 전방 물체 주변 환경의 RGB 색좌표이다. (255, 255, 255)는 RGB 색공간에서 최대 색좌표 값에 해당한다.
전방 물체 시인성 지수(I)가 0에 가까울수록 전방 물체의 색상과 전방 물체 주변 환경의 색상은 보색에 가까운 것이 되고, 운전자는 전방 물체와 주변 환경을 쉽게 구별할 수 있다. 반대로, 전방 물체 시인성 지수(I)가 765에 가까울수록 전방 물체의 색상과 전방 물체 주변 환경의 색상은 유사한 색상인 것이고, 운전자는 전방 물체와 주변 환경을 쉽게 구별할 수 없다.
인식 인덱스 산출부(530)는 운전자 주시 분포 함수 및 전방 물체 시인성 지수를 이용하여 인식 인덱스를 산출할 수 있다. 인식 인덱스는 아래 수학식3에 따라 산출된다.
[수학식 3]
Figure pat00007
(DI: 인식 인덱스, I: 전방 물체 시인성 지수, f(a): 운전자 주시 분포 함수 값)
인식 인덱스(DI)는 0부터 1까지의 값을 갖는다.
충돌 경고 시점 산출부(540)는 인식 인덱스 및 미리 설정된 기준 경고 시점을 이용하여 충돌 경고 시점을 산출할 수 있다. 충돌 경고 시점은 아래 수학식4에 따라 산출된다.
[수학식4]
Figure pat00008
(Thp: 충돌 경고 시점, DI: 인식 인덱스, Thbasic: 기준 경고 시점)
기준 경고 시점은 운전자의 시선 방향을 고려하지 않은 상태에서 차량(1)과 전방 물체 간 거리를 이용하여 산출되는 경고 시점이다.
도 7은 일 실시예에 따른 차량이 특정 상황에서 충돌 경고 시점을 산출하는 예시를 보여준다. 도 7에서, 운전자가 낮 시간에 운전 중인 경우로서 전방에 노랑색 차량이 존재하고, 전방 차량 주변에 검정색 물체가 존재하며, 운전자는 오른쪽 방향을 바라보고 있는 상황을 가정한다.
이 때, 운전자의 시선 방향 값(C)은 수학식1에 따라 2로 산출될 수 있고, 운전자 주시 분포 함수 값은 0.5로 산출될 수 있다. 또한, 전방 물체의 색좌표 값은 (255, 255, 0)로 검출되고, 전방 물체 주변 환경의 색좌표 값은 (0, 0, 0)으로 검출될 수 있으므로, 전방 물체 시인성 지수 값(I)은 수학식2에 따라 255로 산출될 수 있다. 따라서 인식 인덱스(DI) 값은 수학식3에 따라 0.33으로 산출되고, 충돌 경고 시점(Thp)는 1.5Thbasic으로 산출될 수 있다. 즉, 차량(1)은 기준 경고 시점보다 1.5 빠른 시점에 운전자에게 충돌 위험을 알리거나 제동 제어를 수행한다.
도 7에서 가정된 상황은 하나의 예시에 불과하고, 다양한 상황에서 위와 같은 방식으로 충돌 경고 시점이 산출될 수 있다.
이와 같이, 일 실시예에 따른 차량(1)은 운전자의 시선과 시야각 및 전방 물체의 시인성을 고려하여 충돌 경고 시점을 조절할 수 있다. 그에 따라 차량(1)은 운전자에게 최적의 시점에 충돌 위험을 알릴 수 있고, 운전자의 만족도, 시스템에 대한 신뢰도 및 사고 예방 효과를 높일 수 있다.
지금까지 제어부(500)의 세부 블록에 대한 내용을 설명하였으나, 세부 블록들이 수행하는 기능을 제어부(500)가 수행하는 것으로 설명될 수도 있다.
도 8은 일 실시예에 따른 차량 제어방법의 흐름도이다.
전술한 바와 같이, 차량(1)은 거리 센서(200), 카메라(300), 운전자 인식 센서(400), 제어부(500), 경고 장치(600) 및 제동 장치(700)를 포함한다.
도 8을 참조하면, 제어부(500)는 운전자 인식 센서(400)로부터 운전자 안면 데이터를 전송 받아 운전자의 시선 및 시야각을 분석한다(S801). 도 4에 나타난 바와 같이, 제어부(500)는 운전자 안면 전체 횡방향 길이(x)와 오른쪽 안면 횡방향 길이(x1) 및 왼쪽 안면 횡방향 길이(x2)를 이용하여 운전자의 시선 방향(C)을 산출할 수 있다.
또한, 제어부(500)는 운전자의 시선과 시야각을 분석하여 운전자 주시 분포 함수를 산출한다(S802). 운전자 주시 분포 함수에 대해서는 상술하였으므로 중복 설명은 생략한다.
제어부(500)는 운전자의 안면 데이터를 획득함과 동시에 거리 센서(200)로부터 전방 물체의 데이터를 전송 받아 전방 물체를 인식한다(S803). 또한, 제어부(500)는 카메라(300)로부터 전방의 영상 데이터를 전송 받아 전방 물체의 시인성을 분석하고, 전방 물체 시인성 지수를 산출한다(S804). 전방 물체 시인성 지수에 대한 설명도 상술하였으므로 중복 설명은 생략한다.
제어부(500)는 운전자 주시 분포 함수 및 전방 물체 시인성 지수를 이용하여 인식 인덱스를 산출한다(S805). 또한, 제어부(500)는 인식 인덱스 및 미리 설정된 기준 경고 시점을 이용하여 충돌 경고 시점을 산출한다(S806). 제어부(500)는 산출된 충돌 경고 시점에 운전자에게 충돌 위험을 알리도록 경고 장치(600)를 제어하거나 차량(1)을 제동시키도록 제동 장치(700)를 제어한다(S807).
상술한 바와 같이, 일 실시예에 따른 차량의 제어방법은 운전자의 시선과 시야각 및 전방 물체의 시인성을 고려하여 충돌 경고 시점을 조절할 수 있다. 그에 따라 운전자는 최적의 시점에 충돌 위험 알림을 제공받을 수 있고, 운전자의 만족도, 시스템에 대한 신뢰도 및 사고 예방 효과도 높아질 수 있다.
한편, 개시된 실시예들은 컴퓨터에 의해 실행 가능한 명령어를 저장하는 기록매체의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 프로그램 모듈을 생성하여 개시된 실시예들의 동작을 수행할 수 있다. 기록매체는 컴퓨터로 읽을 수 있는 기록매체로 구현될 수 있다.
컴퓨터가 읽을 수 있는 기록매체로는 컴퓨터에 의하여 해독될 수 있는 명령어가 저장된 모든 종류의 기록 매체를 포함한다. 예를 들어, ROM(Read Only Memory), RAM(Random Access Memory), 자기 테이프, 자기 디스크, 플래쉬 메모리, 광 데이터 저장장치 등이 있을 수 있다.
이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시예들은 예시적인 것이며, 한정적으로 해석되어서는 안된다.
1: 차량
200: 거리 센서
300: 카메라
400: 운전자 인식 센서
500: 제어부
510: 운전자 시야 분석부
520: 전방 물체 시인성 분석부
530: 인식 인덱스 산출부
540: 충돌 경고 시점 산출부
600: 경고 장치
700: 제동 장치

Claims (18)

  1. 전방 물체의 데이터를 수집하는 거리 센서;
    전방의 영상 데이터를 수집하는 카메라;
    운전자 안면 데이터를 수집하는 운전자 인식 센서;
    상기 운전자 안면 데이터를 이용하여 운전자의 시선과 시야각(Field of view)을 분석하고, 상기 영상 데이터를 이용하여 상기 전방 물체의 시인성(visibility)을 분석하며, 분석 결과에 따라 충돌 경고 시점을 산출하는 제어부; 및
    상기 제어부의 제어에 따라 상기 충돌 경고 시점에 운전자에게 충돌 위험을 알리는 경고 장치;를 포함하는 차량.
  2. 제1항에 있어서,
    상기 제어부는,
    운전자의 시선과 시야각을 분석하여 운전자 주시 분포 함수를 산출하고, 전방 물체의 시인성을 분석하여 전방 물체 시인성 지수를 산출하며,
    상기 운전자 주시 분포 함수 및 전방 물체 시인성 지수를 이용하여 인식 인덱스를 산출하는 차량.
  3. 제2항에 있어서,
    상기 제어부는,
    상기 인식 인덱스 및 미리 설정된 기준 경고 시점을 이용하여 상기 충돌 경고 시점을 산출하는 차량.
  4. 제2항에 있어서,
    상기 제어부는,
    운전자 시야각의 중심선을 세로축으로 하고 상기 전방 물체의 특정 좌표를 지나는 직선을 가로축으로 하는 이차원 좌표계를 설정하고, 상기 이차원 좌표계 상에서 운전자 주시 분포 함수를 산출하는 차량.
  5. 제4항에 있어서,
    상기 운전자 주시 분포 함수는,
    정규 분포 밀도 함수 형태로 정의되는 차량.
  6. 제2항에 있어서,
    상기 제어부는,
    상기 영상 데이터에서 전방 물체의 색좌표 값과 전방 물체 주변 환경의 색좌표 값을 추출하고, 상기 전방 물체의 색좌표 값과 상기 전방 물체 주변 환경의 색좌표 값의 합을 최대 색좌표 값에서 감산하여 상기 전방 물체 시인성 지수를 산출하는 차량.
  7. 제2항에 있어서,
    상기 인식 인덱스는,
    아래의 수학식3에 따라 산출되는 차량.
    [수학식 3]
    Figure pat00009

    (DI: 인식 인덱스, I: 전방 물체 시인성 지수, f(a): 운전자 주시 분포 함수 값)
  8. 제3항에 있어서,
    상기 충돌 경고 시점은,
    아래의 수학식4에 따라 산출되는 차량.
    [수학식4]
    Figure pat00010

    (Thp: 충돌 경고 시점, DI: 인식 인덱스, Thbasic: 기준 경고 시점)
  9. 제1항에 있어서,
    상기 제어부의 제어에 따라 상기 충돌 경고 시점에 차량을 제동시키는 제동 장치;를 더 포함하는 차량.
  10. 전방 물체의 데이터, 전방의 영상 데이터 및 운전자 안면 데이터를 수집하는 단계;
    상기 운전자 안면 데이터를 이용하여 운전자의 시선과 시야각을 분석하는 단계;
    상기 영상 데이터를 이용하여 상기 전방 물체의 시인성을 분석하는 단계;
    상기 운전자의 시선과 시야각 및 상기 전방 물체의 시인성을 분석한 결과에 따라 충돌 경고 시점을 산출하는 단계; 및
    산출된 충돌 경고 시점에 운전자에게 충돌 위험을 알리는 단계;를 포함하는 차량의 제어방법.
  11. 제10항에 있어서,
    상기 운전자의 시선과 시야각을 분석하는 단계는 운전자 주시 분포 함수를 산출하는 단계를 더 포함하고,
    상기 전방 물체의 시인성을 분석하는 단계는 전방 물체 시인성 지수를 산출하는 단계를 더 포함하며,
    상기 운전자 주시 분포 함수 및 전방 물체 시인성 지수를 이용하여 인식 인덱스를 산출하는 단계;를 더 포함하는 차량의 제어방법.
  12. 제11항에 있어서,
    상기 충돌 경고 시점을 산출하는 단계는,
    상기 인식 인덱스 및 미리 설정된 기준 경고 시점을 이용하여 상기 충돌 경고 시점을 산출하는 차량의 제어방법.
  13. 제11항에 있어서,
    상기 운전자 주시 분포 함수를 산출하는 단계는,
    운전자 시야각의 중심선을 세로축으로 하고 상기 전방 물체의 특정 좌표를 지나는 직선을 가로축으로 하는 이차원 좌표계를 설정하는 단계;를 더 포함하고,
    상기 이차원 좌표계 상에서 운전자 주시 분포 함수를 산출하는 차량의 제어방법.
  14. 제13항에 있어서,
    상기 운전자 주시 분포 함수는,
    정규 분포 밀도 함수 형태로 정의되는 차량의 제어방법.
  15. 제11항에 있어서,
    상기 전방 물체의 시인성을 분석하는 단계는,
    상기 영상 데이터에서 전방 물체의 색좌표 값과 전방 물체 주변 환경의 색좌표 값을 추출하고, 상기 전방 물체의 색좌표 값과 상기 전방 물체 주변 환경의 색좌표 값의 합을 최대 색좌표 값에서 감산하여 상기 전방 물체 시인성 지수를 산출하는 차량의 제어방법.
  16. 제11항에 있어서,
    상기 인식 인덱스는,
    아래의 수학식3에 따라 산출되는 차량의 제어방법.
    [수학식 3]
    Figure pat00011

    (DI: 인식 인덱스, I: 전방 물체 시인성 지수, f(a): 운전자 주시 분포 함수 값)
  17. 제12항에 있어서,
    상기 충돌 경고 시점은,
    아래의 수학식4에 따라 산출되는 차량의 제어방법..
    [수학식4]
    Figure pat00012

    (Thp: 충돌 경고 시점, DI: 인식 인덱스, Thbasic: 기준 경고 시점)
  18. 제10항에 있어서,
    상기 제어부의 제어에 따라 산출된 충돌 경고 시점에 차량을 제동시키는 단계;를 더 포함하는 차량의 제어방법.
KR1020180019603A 2018-02-20 2018-02-20 차량 및 그 제어 방법 KR102494865B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180019603A KR102494865B1 (ko) 2018-02-20 2018-02-20 차량 및 그 제어 방법
US16/029,010 US10723348B2 (en) 2018-02-20 2018-07-06 Vehicle with driver warning system and method of control
CN201810875490.8A CN110171357A (zh) 2018-02-20 2018-08-03 车辆及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180019603A KR102494865B1 (ko) 2018-02-20 2018-02-20 차량 및 그 제어 방법

Publications (2)

Publication Number Publication Date
KR20190099755A true KR20190099755A (ko) 2019-08-28
KR102494865B1 KR102494865B1 (ko) 2023-02-02

Family

ID=67616660

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180019603A KR102494865B1 (ko) 2018-02-20 2018-02-20 차량 및 그 제어 방법

Country Status (3)

Country Link
US (1) US10723348B2 (ko)
KR (1) KR102494865B1 (ko)
CN (1) CN110171357A (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11527867B2 (en) * 2019-03-20 2022-12-13 Ricoh Company, Ltd. Surface emitting laser element, illumination device, projection device, measurement device, robot, electronic apparatus, mobile body, and modeling device
WO2021181861A1 (ja) * 2020-03-10 2021-09-16 パイオニア株式会社 地図データ生成装置
DE102020207820A1 (de) * 2020-06-24 2021-12-30 Volkswagen Aktiengesellschaft Verfahren zum Betrieb eines Fahrerassistenzsystems für ein Fahrzeug und Fahrerassistenzsystem
KR20220000536A (ko) * 2020-06-26 2022-01-04 현대자동차주식회사 차량 주행 제어 장치 및 방법
CN112498341B (zh) * 2020-12-04 2022-01-11 英博超算(南京)科技有限公司 基于路况的紧急制动方法、装置及计算机可读存储介质
CN116538484A (zh) * 2023-06-21 2023-08-04 中山易事达光电科技有限公司 行车照明中的车灯散热控制方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006231963A (ja) * 2005-02-22 2006-09-07 Toyota Motor Corp 車両用警報装置
WO2008029802A1 (fr) * 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
JP2009146029A (ja) * 2007-12-12 2009-07-02 Honda Motor Co Ltd 車両の走行安全装置
JP2015085719A (ja) * 2013-10-28 2015-05-07 株式会社デンソーアイティーラボラトリ 注視対象物推定装置

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4876687B2 (ja) * 2006-04-19 2012-02-15 株式会社日立製作所 注目度計測装置及び注目度計測システム
JP5354514B2 (ja) * 2008-03-31 2013-11-27 現代自動車株式会社 脇見運転検出警報システム
US9239380B2 (en) * 2008-05-21 2016-01-19 Adc Automotive Distance Control Systems Gmbh Driver assistance system for avoiding collisions of a vehicle with pedestrians
JP2012173803A (ja) 2011-02-17 2012-09-10 Panasonic Corp 安全運転支援装置及び安全運転支援方法
KR20130113088A (ko) 2012-04-05 2013-10-15 주식회사 만도 차량의 충돌 방지 장치 및 그 제어 방법
KR20140052664A (ko) 2012-10-25 2014-05-07 현대모비스 주식회사 안전 운전 유도 장치 및 방법
KR101987339B1 (ko) * 2012-12-17 2019-06-10 엘지이노텍 주식회사 후측방 경보모듈
US9260095B2 (en) * 2013-06-19 2016-02-16 Magna Electronics Inc. Vehicle vision system with collision mitigation
US20160063332A1 (en) 2014-08-27 2016-03-03 Toyota Jidosha Kabushiki Kaisha Communication of external sourced information to a driver
CN204055561U (zh) * 2014-09-09 2014-12-31 石家庄铁道大学 车辆安全行驶警示系统
JP2016057490A (ja) 2014-09-10 2016-04-21 スズキ株式会社 運転支援システム
JP6078032B2 (ja) * 2014-09-29 2017-02-08 矢崎総業株式会社 車載用警告装置
US9747812B2 (en) * 2014-10-22 2017-08-29 Honda Motor Co., Ltd. Saliency based awareness modeling
JP6585543B2 (ja) 2016-04-26 2019-10-02 トヨタ自動車株式会社 ドライバー視覚情報提供装置、および、車両用運転支援システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006231963A (ja) * 2005-02-22 2006-09-07 Toyota Motor Corp 車両用警報装置
WO2008029802A1 (fr) * 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
JP2009146029A (ja) * 2007-12-12 2009-07-02 Honda Motor Co Ltd 車両の走行安全装置
JP2015085719A (ja) * 2013-10-28 2015-05-07 株式会社デンソーアイティーラボラトリ 注視対象物推定装置

Also Published As

Publication number Publication date
KR102494865B1 (ko) 2023-02-02
US10723348B2 (en) 2020-07-28
CN110171357A (zh) 2019-08-27
US20190256084A1 (en) 2019-08-22

Similar Documents

Publication Publication Date Title
KR102494865B1 (ko) 차량 및 그 제어 방법
KR102486148B1 (ko) 차량 및 그 제어 방법
KR102276096B1 (ko) 디스플레이 유닛 상에 디스플레이하기 위한 부가 정보의 삽입을 계산하기 위한 방법, 상기 방법을 수행하기 위한 장치 그리고 자동차 및 컴퓨터 프로그램
US9649936B2 (en) In-vehicle device, control method of in-vehicle device, and computer-readable storage medium
US10163016B2 (en) Parking space detection method and device
US9723243B2 (en) User interface method for terminal for vehicle and apparatus thereof
KR102051142B1 (ko) 차량용 운전자 위험 지수 관리 시스템 및 그 방법
EP2535224B1 (en) Driving support equipment for vehicles
US20170028995A1 (en) Vehicle control apparatus
US9267808B2 (en) Visual guidance system
KR102486179B1 (ko) 차량 및 그 제어 방법
US20170043720A1 (en) Camera system for displaying an area exterior to a vehicle
JP4186749B2 (ja) 脇見判定装置
US11256088B2 (en) Vehicle display device
JPH06255396A (ja) 車両の表示装置
KR102434007B1 (ko) 차량 및 그 제어 방법
JP2023017641A (ja) 車両用表示制御装置、車両用表示装置、車両用表示制御方法及び車両用表示制御プログラム
US20210197722A1 (en) Driving assistance device, driving situation information acquisition system, driving assistance method, and program
JP7294483B2 (ja) 運転支援装置、運転支援方法及びプログラム
US20230141584A1 (en) Apparatus for displaying at least one virtual lane line based on environmental condition and method of controlling same
JP7298456B2 (ja) 車両用表示制御装置、車両用表示制御方法、及び車両用表示制御プログラム
KR102417613B1 (ko) 차량 및 그 제어 방법
CN113401057A (zh) 一种场景随动的全息投影系统及其汽车

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant