KR102546441B1 - 안전운전 지원 장치 및 방법 - Google Patents

안전운전 지원 장치 및 방법 Download PDF

Info

Publication number
KR102546441B1
KR102546441B1 KR1020180135690A KR20180135690A KR102546441B1 KR 102546441 B1 KR102546441 B1 KR 102546441B1 KR 1020180135690 A KR1020180135690 A KR 1020180135690A KR 20180135690 A KR20180135690 A KR 20180135690A KR 102546441 B1 KR102546441 B1 KR 102546441B1
Authority
KR
South Korea
Prior art keywords
index
driver
passenger
driving
unit
Prior art date
Application number
KR1020180135690A
Other languages
English (en)
Other versions
KR20200055171A (ko
Inventor
전병환
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020180135690A priority Critical patent/KR102546441B1/ko
Publication of KR20200055171A publication Critical patent/KR20200055171A/ko
Application granted granted Critical
Publication of KR102546441B1 publication Critical patent/KR102546441B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60J—WINDOWS, WINDSCREENS, NON-FIXED ROOFS, DOORS, OR SIMILAR DEVICES FOR VEHICLES; REMOVABLE EXTERNAL PROTECTIVE COVERINGS SPECIALLY ADAPTED FOR VEHICLES
    • B60J3/00—Antiglare equipment associated with windows or windscreens; Sun visors for vehicles
    • B60J3/04—Antiglare equipment associated with windows or windscreens; Sun visors for vehicles adjustable in transparency
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K26/00—Arrangements or mounting of propulsion unit control devices in vehicles
    • B60K26/02—Arrangements or mounting of propulsion unit control devices in vehicles of initiating means or elements
    • B60K26/021—Arrangements or mounting of propulsion unit control devices in vehicles of initiating means or elements with means for providing feel, e.g. by changing pedal force characteristics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T7/00—Brake-action initiating means
    • B60T7/02—Brake-action initiating means for personal initiation
    • B60T7/04—Brake-action initiating means for personal initiation foot actuated
    • B60T7/042—Brake-action initiating means for personal initiation foot actuated by electrical means, e.g. using travel or force sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/14—Adaptive cruise control
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60T—VEHICLE BRAKE CONTROL SYSTEMS OR PARTS THEREOF; BRAKE CONTROL SYSTEMS OR PARTS THEREOF, IN GENERAL; ARRANGEMENT OF BRAKING ELEMENTS ON VEHICLES IN GENERAL; PORTABLE DEVICES FOR PREVENTING UNWANTED MOVEMENT OF VEHICLES; VEHICLE MODIFICATIONS TO FACILITATE COOLING OF BRAKES
    • B60T2220/00—Monitoring, detecting driver behaviour; Signalling thereof; Counteracting thereof
    • B60T2220/04—Pedal travel sensor, stroke sensor; Sensing brake request
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/10—Accelerator pedal position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/12—Brake pedal position

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Traffic Control Systems (AREA)

Abstract

안전운전 지원 장치 및 방법이 개시된다. 본 발명의 안전운전 지원 장치는 운전자 및 동승자 각각의 시선의 움직임, 얼굴 표정 및 눈부심에 따른 시각지수와, 음성신호의 특성에 따른 음성지수, 움직임에 따른 행동지수 중 적어도 하나를 이용하여 운전자 및 동승자의 감정지수를 검출하는 감정지수 검출부; 자차의 자차 주행 정보와 주변환경 정보를 이용하여 운전자 위험지수를 검출하는 운전자 위험지수 검출부; 자차의 주행 위치에 따른 운전난이도를 검출하는 운전난이도 검출부; 자차의 자율주행을 제어하는 차량 주행부; 및 감정지수, 운전자 위험지수, 및 운전난이도가 설정된 안전영역에 포함되는지 여부에 따라 차량 주행부를 제어하여 자차가 안전지역으로 주행하도록 하는 제어부를 포함하는 것을 특징으로 한다.

Description

안전운전 지원 장치 및 방법{APPARATUS AND METHOD FOR SUPPORTING SAFE DRIVING}
본 발명은 안전운전 지원 장치 및 방법에 관한 것으로서, 보다 상세하게는 운전자와 동승자의 감정지수, 운전자 위험지수 및 운전 난이도를 종합적으로 고려하여 현재 운전 중인 자동차의 안전성 여부를 판단하고 판단 결과에 따라 차량의 조향 및 제동 제어를 통해 차량을 안전지역으로 이동시켜 사고를 미연에 방지할 뿐 아니라 운전자와 동승자의 감정상태가 개선되도록 하여 주행 안전성을 높일 수 있도록 하는 안전운전 지원 장치 및 방법에 관한 것이다.
일반적으로, 도로에서 차량 수의 증가, 제한된 도로 용량, 및 현대 생활과 연관된 스트레스 원인과 같은 다양한 요인은 로드 레이지 및/또는 다른 스트레스 유발 사고를 초래할 수 있는 높은 스트레스 상태를 악화시키는 경향이 있다.
종래의 도로 안전에 대한 접근법은 이들 유형의 사고를 완화하지 못하는 실정이다.
최근 들어 자율주행 제어 시스템은 운전자의 감성 특성을 반영하여 자율 주행 차량을 제어하는 기술이 일부 개시되었으나, 운전 상황이나 외부 상황 등을 종합적으로 고려하여 안전운전을 유도하기에는 미흡한 실정이다.
본 발명의 배경기술은 대한민국 공개특허공보 10-2017-0109758호(2017.10.10)의 '차량 음성 인터페이스 장치'에 개시되어 있다.
본 발명은 전술한 문제점을 개선하기 위해 창안된 것으로서, 본 발명의 일 측면에 따른 목적은 운전자와 동승자의 감정지수, 운전자 위험지수 및 운전 난이도를 종합적으로 고려하여 현재 운전 중인 자동차의 안전성 여부를 판단하고 판단 결과에 따라 차량의 조향 및 제동 제어를 통해 차량을 안전지역으로 이동시켜 사고를 미연에 방지할 뿐만 아니라 운전자와 동승자의 감정상태가 개선되도록 하여 주행 안전성을 높일 수 있도록 하는 안전운전 지원 장치 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따른 안전운전 지원 장치는, 운전자 및 동승자 각각의 시선의 움직임, 얼굴 표정 및 눈부심에 따른 시각지수와, 음성신호의 특성에 따른 음성지수, 움직임에 따른 행동지수 중 적어도 하나를 이용하여 운전자 및 동승자의 감정지수를 검출하는 감정지수 검출부; 자차의 자차 주행 정보와 주변환경 정보를 이용하여 운전자 위험지수를 검출하는 운전자 위험지수 검출부; 자차의 주행 위치에 따른 운전난이도를 검출하는 운전난이도 검출부; 자차의 자율주행을 제어하는 차량 주행부; 및 감정지수, 운전자 위험지수, 및 운전난이도가 설정된 안전영역에 포함되는지 여부에 따라 차량 주행부를 제어하여 자차가 안전지역으로 주행하도록 하는 제어부를 포함하는 것을 특징으로 한다.
본 발명의 감정지수 검출부는, 운전자 및 동승자의 음성신호의 특성값을 검출하고 검출된 특성값에 따라 음성지수를 검출하는 제1 감정 인식부; 운전자 및 동승자를 촬영하고 주변을 촬영한 영상을 분석하여 운전자 및 동승자의 시각지수를 검출하는 제2 감정 인식부; 엑셀 페달 또는 브레이크 페달의 위치를 감지하여 엑셀 페달 또는 브레이크 페달의 발진 형태, 운전자의 크락션 작동빈도, 및 동승자의 움직임에 따라 행동지수를 검출하는 제3 감정 인식부; 및 음성지수, 시각지수 및 행동지수를 이용하여 감정지수를 산출하는 감정지수 산출부를 포함하는 것을 특징으로 한다.
본 발명의 제1 감정 인식부는, 운전자 및 동승자의 음성신호를 감지하는 음성신호 감지부; 및 음성신호 감지부에 의해 감지된 음성신호의 특성값을 검출하고 검출된 특성값에 대응되는 음성지수를 검출하는 음성지수 검출부를 포함하는 것을 특징으로 한다.
본 발명의 제2 감정 인식부는, 운전자의 눈 또는 얼굴을 촬영하는 운전자 얼굴 촬영부; 동승자의 눈 또는 얼굴을 촬영하는 동승자 얼굴 촬영부; 자차의 주변을 촬영하는 스테레오 카메라; 및 운전자 얼굴 촬영부에 의해 촬영된 영상에서 운전자의 눈 위치를 기반으로 시선 및 얼굴을 검출하고, 동승자 얼굴 촬영부에 의해 촬영된 영상에서 동승자의 눈 위치를 기반으로 시선 및 얼굴을 검출하며, 스테레오 카메라에서 촬영된 영상에서 광원의 위치를 검출하는 한 후, 검출된 운전자와 동승자 각각의 시선의 움직임, 얼굴 표정, 및 광원의 위치와 눈의 위치에 의한 운전자의 눈부심에 따라 시각지수를 검출하는 시각지수 검출부를 포함하는 것을 특징으로 한다.
본 발명의 제3 감정 인식부는 엑셀 페달 또는 브레이크 페달의 발진형태를 감지하는 발진형태 감지부; 동승자의 팔 모션 크기 및 움직임 반경, 동승자의 움직임 빈도수 중 적어도 하나를 이용하여 동승자 움직임 지수를 검출하는 동승자 움직임 지수 검출부; 운전자의 크락션 작동빈도에 따른 크락션 작동지수를 검출하는 크락션 빈도 검출부; 및 발진형태 감지부에 의해 각각 감지된 엑셀 페달 또는 브레이크 페달의 발진형태에 대응되는 발진지수, 크락션 빈도 검출부에서 검출된 크락션 작동지수. 및 동승자 움직임 지수 검출부에 의해 검출된 동승자 움직임 지수를 이용하여 운전자와 동승자의 행동지수를 검출하는 행동지수 검출부를 포함하는 것을 특징으로 한다.
본 발명은 운전자 및 동승자의 감정상태가 평정 상태가 되도록 운전자 및 동승자의 감정 상태를 조절하는 감정상태 조절부를 더 포함하는 것을 특징으로 한다.
본 발명의 제어부는 음성지수, 시각지수 및 행동지수를 학습기반의 감정맵에 적용하여 감정지수가 기 설정된 안정영역에 포함되지 않으면 감정상태 조절부를 제어하는 것을 특징으로 한다.
본 발명의 학습기반의 감정맵은, 음성지수, 시각지수 및 행동지수 각각에 따라 운전자의 감정상태가 안정 영역 또는 위험 영역으로 구분되는 것을 특징으로 한다.
본 발명의 제어부는, 감정지수 검출부에서 검출된 시각지수에 따라 감정상태 조절부에 포함된 윈드실드 투과율 조정부를 제어하는 것을 특징으로 한다.
본 발명의 운전자 위험지수 검출부는, 자차의 주행 상황을 감지하는 내부 센서로부터 입력받은 자차 주행 정보를 이용하여 자차 주행 궤적을 생성하는 자차 주행 궤적 생성부; 자차의 주변 상황을 감지하는 외부 센서로부터 입력받은 주변환경 정보를 이용하여 주위 차량 궤적을 생성하는 주위 차량 궤적 생성부; 주위 차량 궤적과 자차 주행 궤적 간의 차이인 궤적 거리와 기 설정된 임계값 간의 비교 결과를 나타내는 궤적 부하량을 계산하는 궤적 부하량 계산부; 및 계산된 궤적 부하량에 상응하는 운전자 위험지수를 생성하는 위험지수 관리부를 포함하는 것을 특징으로 한다.
본 발명의 운전난이도 검출부는, 각 구역별로 운전난이도를 정의 및 수치화하여 자차의 현재 위치에 따라 운전난이도를 검출하는 것을 특징으로 한다.
본 발명의 제어부는, 감정지수, 운전자 위험지수 및 운전난이도가 안전영역에 포함되지 않으면 차량 주행부를 제어하여 자차를 안전지역으로 주행하도록 하는 것을 특징으로 한다.
본 발명의 다른 측면에 따른 안전운전 지원 방법은, 감정지수 검출부가 운전자 및 동승자 각각의 시선의 움직임, 얼굴 표정 및 눈부심에 따른 시각지수와, 음성신호의 특성에 따른 음성지수, 움직임에 따른 행동지수 중 적어도 하나를 이용하여 운전자 및 동승자의 감정지수를 검출하는 단계; 운전자 위험지수 검출부가 자차의 자차 주행 정보와 주변환경 정보를 이용하여 운전자 위험지수를 검출하는 단계; 운전난이도 검출부가 자차의 주행 위치에 따른 운전난이도를 검출하는 단계; 및 제어부가 감정지수, 운전자 위험지수 및 운전난이도가 기 설정된 안전영역에 포함되는지 여부를 판단하여 판단 결과에 따라 차량 주행부를 제어하여 자차가 안전지역으로 주행하도록 하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 감정지수를 검출하는 단계는, 운전자 및 동승자의 음성신호의 특성값을 검출하고 검출된 특성값에 따라 음성지수를 검출하고, 운전자 및 동승자를 촬영하고 주변을 촬영한 영상을 분석하여 운전자와 동승자 각각의 시선의 움직임, 얼굴 표정, 및 광원의 위치와 눈의 위치에 의한 운전자의 눈부심에 따라 시각지수를 검출하며, 엑셀 페달 또는 브레이크 페달의 위치를 감지하여 엑셀 페달 또는 브레이크 페달의 발진 형태, 운전자의 크락션 작동빈도, 및 동승자의 움직임에 따라 행동지수를 검출한 후, 음성지수, 시각지수 및 행동지수를 이용하여 감정지수를 산출하는 것을 특징으로 한다.
본 발명의 제어부가 감정지수가 기 설정된 안정영역에 포함되는지 여부에 따라 감정상태 조절부를 제어하여 운전자 및 동승자의 감정상태가 평정 상태가 되도록 운전자 및 동승자의 감정 상태를 조절하는 단계를 더 포함하는 특징으로 한다.
본 발명에서 운전자 및 동승자의 감정상태를 조절하는 단계는, 제어부가 감정지수 검출부에서 검출된 시각지수에 따라 감정상태 조절부에 포함된 윈드실드 투과율 조정부를 제어하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 운전자 위험지수를 검출하는 단계는, 자차의 주행 상황을 감지하는 내부 센서로부터 입력받은 자차 주행 정보를 이용하여 자차 주행 궤적을 생성하는 단계; 자차의 주변 상황을 감지하는 외부 센서로부터 입력받은 주변환경 정보를 이용하여 자차의 주위 차량 궤적을 생성하는 단계; 주위 차량 궤적과 자차 주행 궤적 간의 차이인 궤적 거리와 기 설정된 임계값 간의 비교 결과를 나타내는 궤적 부하량을 계산하는 단계; 및 계산된 궤적 부하량에 상응하는 운전자 위험지수를 생성하는 단계를 포함하는 것을 특징으로 한다.
본 발명의 운전난이도를 검출하는 단계는, 각 구역별로 운전난이도를 정의 및 수치화하여 자차의 현재 위치에 따라 운전난이도를 검출하는 것을 특징으로 한다.
본 발명의 자차가 안전지역으로 주행하도록 하는 단계는, 음성지수, 시각지수 및 행동지수를 학습기반의 감정맵에 적용하여 감정지수가 기 설정된 안정영역에 포함되는지 여부를 판단하는 것을 특징으로 한다.
본 발명의 학습기반의 감정맵은, 음성지수, 시각지수 및 행동지수 각각에 따라 운전자의 감정상태가 안정 영역 또는 위험 영역으로 구분되는 것을 특징으로 한다.
본 발명의 일 측면에 따른 안전운전 지원 장치 및 방법은 운전자와 동승자의 감정지수, 운전자 위험지수 및 운전난이도를 종합적으로 고려하여 현재 운전중인 자동차의 안전성 여부를 판단하고 판단 결과에 따라 차량의 조향 및 제동 제어를 통해 차량을 안전지역으로 이동시켜 사고를 미연에 방지한다.
도 1 은 본 발명의 일 실시예에 따른 안전운전 지원 장치의 블럭 구성도이다.
도 2 는 본 발명의 일 실시예에 따른 감정상태 검출부의 블럭 구성도이다.
도 3 은 본 발명의 일 실시예에 따른 감정지수의 안정 영역을 나타낸 감정맵을 나타낸 도면이다.
도 4 는 본 발명의 일 실시예에 따른 운전자 위험지수 검출부의 블럭 구성도이다.
도 5 는 도 4 의 주변환경 인식부의 블럭 구성도이다.
도 6 은 도 5 에 도시된 주위차량 부하량 계산부에서 TTC 기반으로 구분한 3가지의 위험 영역을 도식적으로 나타낸 도면이다.
도 7 은 도 6 에 도시된 각 위험 영역별로 존재하는 주위 차량을 탐지하기 위한 센서 구성도를 보여주는 도면이다.
도 8 은 도 7 에 도시된 센서 구성을 통해 주위 차량을 탐지한 예를 보여주는 도면이다.
도 9 는 본 발명의 일 실시예에 따른 감정지수와 운전자 위험지수 및 운전난이도의 안전영역을 나타낸 도면이다.
도 10 은 본 발명의 일 실시예에 따른 감정상태 조절부의 블럭 구성도이다.
도 11 은 본 발명의 일 실시예에 따른 차량 주행부의 블럭 구성도이다.
도 12 는 본 발명의 일 실시예에 따른 안전운전 지원 방법의 순서도이다.
도 13 은 본 발명의 일 실시예에 따른 운전자 위험지수 검출 과정을 도시한 순서도이다.
이하에서는 본 발명의 일 실시예에 따른 안전운전 지원 장치 및 방법을 첨부된 도면들을 참조하여 상세하게 설명한다. 이러한 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 이용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1 은 본 발명의 일 실시예에 따른 안전운전 지원 장치의 블럭 구성도이고, 도 2 는 본 발명의 일 실시예에 따른 감정상태 검출부의 블럭 구성도이며, 도 3 은 본 발명의 일 실시예에 따른 감정지수의 안정 영역을 나타낸 감정맵을 나타낸 도면이며, 도 4 는 본 발명의 일 실시예에 따른 운전자 위험지수 검출부의 블럭 구성도이며, 도 5 는 도 4 의 주변환경 인식부의 블럭 구성도이며, 도 6 은 도 5 에 도시된 주위차량 부하량 계산부에서 TTC 기반으로 구분한 3가지의 위험 영역을 도식적으로 나타낸 도면이며, 도 7 은 도 6 에 도시된 각 위험 영역별로 존재하는 주위 차량을 탐지하기 위한 센서 구성도를 보여주는 도면이며, 도 8 은 도 7 에 도시된 센서 구성을 통해 주위 차량을 탐지한 예를 보여주는 도면이며, 도 9 는 본 발명의 일 실시예에 따른 감정지수와 운전자 위험지수 및 운전난이도의 안전영역을 나타낸 도면이며, 도 10 은 본 발명의 일 실시예에 따른 감정상태 조절부의 블럭 구성도이며, 도 11 은 본 발명의 일 실시예에 따른 차량 주행부의 블럭 구성도이다.
도 1 을 참조하면, 본 발명의 일 실시예에 따른 안전운전 지원 장치는 감정지수 검출부(10), 운전자 위험지수 검출부(20), 운전난이도 검출부, 제어부(40), 감정상태 조절부(50) 및 차량 주행부(60)를 포함한다.
감정지수 검출부(10)는 운전자 및 동승자 각각의 시선의 움직임, 얼굴 표정 및 눈부심에 따른 시각지수와, 음성신호의 특성에 따른 음성지수, 움직임에 따른 행동지수 중 적어도 하나를 이용하여 운전자 및 동승자의 감정지수를 검출한다.
도 2 를 참조하면, 감정지수 검출부(10)는 제1 감정 인식부(11), 제2 감정 인식부(12), 제3 감정 인식부(13) 및 감정지수 산출부(14)를 포함한다.
제1 감정 인식부(11)는 운전자 또는 동승자의 음성신호를 이용하여 운전자 또는 동승자의 감정상태를 나타내는 음성지수를 검출하는 것으로써, 운전자 또는 동승자의 음성신호의 특성값을 검출하고 검출된 특성값에 따라 음성지수를 검출한다.
음성지수는 음성기반으로 운전자 또는 동승자의 감정 상태를 검출하고 검출된 감정 상태를 수치화한 것이며, 운전자나 동승자의 발화음의 특성값 각각에 설정될 수 있다.
제1 감정 인식부(11)는 음성신호 감지부(111) 및 음성지수 검출부(112)를 포함한다.
음성신호 감지부(111)는 운전자 또는 동승자의 음성신호를 감지하는 것으로써, 운전자 또는 동승자의 발화음을 전기적인 음성 신호로 변환한다.
이러한 음성신호 감지부(111)로는 마이크 등이 채용될 수 있다.
음성지수 검출부(112)는 음성신호 감지부(111)에 의해 감지된 음성신호를 신호 처리하여 특성값, 예를 들어 운전자나 동승자의 톤(Tone)이나 피치(Pitch) 등을 검출하고, 검출된 운전자나 동승자의 톤이나 피치에 대응되는 음성지수를 검출한다.
제2 감정 인식부(12)는 운전자 또는 동승자의 눈 또는 얼굴을 촬영하고 촬영된 영상을 분석하여 운전자 또는 동승자의 시각지수를 검출한다.
시각지수는 시각기반으로 운전자 또는 동승자의 감정 상태를 검출하고 검출된 감정 상태를 수치화한 것이며 운전자의 시선이나 얼굴 표정 및 눈부심 등에 설정될 수 있다.
제2 감정 인식부(12)는 운전자 얼굴 촬영부(121), 동승자 얼굴 촬영부(123), 스테레오 카메라(124) 및 시각지수 검출부(122)를 포함한다.
운전자 얼굴 촬영부(121)는 운전자의 눈 또는 얼굴을 촬영한다. 운전자 얼굴 촬영부(121)의 설치 위치는 특별히 한정되는 것은 아니며, 운전자의 눈이나 얼굴을 촬영할 수 있는 위치라면 자차 내 다양한 위치에 설치될 수 있다.
동승자 얼굴 촬영부(123)는 동승자의 눈 또는 얼굴을 촬영한다. 동승자 얼굴 촬영부(121)의 설치 위치는 특별히 한정되는 것은 아니며, 동승자의 눈이나 얼굴을 촬영할 수 있는 위치라면 자차 내 다양한 위치에 설치될 수 있다.
스테레오 카메라(124)는 자차의 주변을 촬영하여 자차 외부에 있는 광원의 위치를 검출할 수 있도록 한다.
시각지수 검출부(122)는 운전자 얼굴 촬영부(121), 동승자 얼굴 촬영부(123) 및 스테레오 카메라(124)에 의해 촬영된 영상에서 운전자와 동승자의 시선 및 얼굴을 각각 검출하고 검출된 운전자와 동승자의 시선의 움직임 또는 얼굴 표정에 따라 시각지수를 검출할 뿐만 아니라 스테레오 카메라(124)에서 촬영된 영상에서 광원의 3D 좌표를 검출하고, 운전자 얼굴 촬영부(121)에서 촬영된 영상에서 운전자의 눈 위치를 3D 좌표로 검출하여 눈부심에 따라 시각지수를 검출할 수 있다.
시각지수 검출부(122)는 운전자와 동승자의 감정상태가 흥분 상태일때 나타나는 시선 또는 얼굴 표정 및 눈부심 각각에 대응되는 시각지수를 검출하는데, 시선의 움직임이나 방향 등을 추적하거나 얼굴 표정의 변화 등을 검출하고, 광원에 의한 눈부심을 검출한 후, 이들 시선의 움직이나 방향 및 얼굴 표정의 변화와 눈부심에 대응되는 운전자의 시각지수를 검출한다.
제3 감정 인식부(13)는 운전자와 동승자의 감정상태에 따른 행동지수를 검출한다.
행동지수는 행동기반으로 운전자 또는 동승자의 감정 상태를 검출하고 검출된 감정 상태를 수치화한 것이며, 운전자가 크락션을 작동시키거나, 엑셀 페달이나 브레이크 페달을 밟을 때의 발진형태 또는 동승자의 움직임 등에 각각 설정된다.
제3 감정 인식부(13)는 발진형태 감지부(131), 동승자 움직임 지수 검출부(133), 크락션 빈도 검출부(134) 및 행동지수 검출부(132)를 포함한다.
발진형태 감지부(131)는 엑셀 페달 또는 브레이크 페달의 위치를 통해 엑셀 페달 또는 브레이크 페달의 발진 형태를 감지한다.
동승자 움직임 지수 검출부(133)는 동승자의 움직임에 따른 동승자 움직임 지수를 검출한다. 즉, 동승자 움직임 지수 검출부(133)는 동승자를 촬영하고, 촬영된 영상에서 동승자의 움직임, 예를 들어 동승자의 팔 모션 크기 및 움직임 반경, 동승자의 움직임 빈도수 중 적어도 하나를 이용하여 동승자 움직임 지수를 검출한다. 여기서, 동승자의 움직임은 내부의 동승자를 촬영하는 별도의 카메라를 통해 촬영될 수 있다.
즉, 동승자 움직임 지수 검출부(133)는 동승자의 움직임에 대응되는 동승자 움직임 지수를 사전에 저장하고, 촬영된 영상에서 동승자의 팔 모션 크기 및 움직임 반경, 동승자의 움직임 빈도수 중 어느 하나를 검출한 후, 검출된 움직임에 대응되는 동승자 움직임 지수를 검출한다.
클락션 빈도 검출부(134)는 운전자의 클락션 작동 빈도에 따라 운전자의 크락션 작동지수를 검출한다.
행동지수 검출부(132)는 발진형태 감지부(131)에 의해 감지된 엑셀 페달 또는 브레이크 페달의 발진형태에 대응되는 발진지수, 크락션 빈도 감지부(134)에 의해 감지된 운전자의 크락션 작동지수 및 동승자 움직임 지수 검출부(133)에 의해 검출된 동승자 움직임 지수를 이용하여 운전자 및 동승자의 행동지수를 검출한다.
여기서, 행동지수는 발진지수, 크락션 작동지수 및 동승자 움직임 지수 중 어느 하나이거나, 또는 발진지수, 크락션 작동지수 및 동승자 움직임 지수를 모두 이용한 값이 채용될 수 있다.
예를 들어, 행동지수가 발진지수, 크락션 작동지수 및 동승자 움직임 지수일 경우에는 이들 중 그 값이 상대적으로 큰 값일 수 있다.
또한, 행동지수가 발진지수, 크락션 작동지수 및 동승자 움직임 지수를 모두 이용하는 경우에는, 행동지수가 발진지수, 크락션 작동지수 및 동승자 움직임 지수의 평균값이거나, 또는 이들 각각에 가중치가 반영되어 산출될 수 있다.
감정지수 산출부(14)는 상기한 음성지수, 시각지수 및 행동지수를 학습기반의 감정맵에 적용하여 감정지수를 산출한다.
학습기반의 감정맵은 음성지수, 시각지수 및 행동지수를 이용한 3차원 감정맵으로써, 이들 음성지수, 시각지수 및 행동지수 각각에 따라 운전자의 감정상태가 안정 영역(Stable) 또는 위험 영역인지 여부를 판단할 수 있도록 한다. 즉, 학습기반의 감정맵은 음성지수, 시각지수 및 행동지수 각각에 따라 운전자의 감정상태가 안정 영역 또는 위험 영역으로 구분된다.
또한, 감정지수 산출부(14)는 도 3 에 도시된 바와 같이 음성지수, 시각지수 및 행동지수를 이용하여 감정지수를 검출한다.
음성지수, 시각지수 및 행동지수를 학습기반의 감정맵에 적용하여 감정지수가 기 설정된 안정영역에 포함되지 않으면 감정상태 조절부(50)가 동작하여 운전자의 감정상태가 평정 상태로 유지되도록 한다. 이에 대해서는 후술한다.
운전자 위험지수 검출부(20)는 운전성향을 분석하여 그에 상응하는 운전자 위험지수(또는 주위 위험지수)를 계산한다. 계산된 결과는 다양한 형태의 정보로 운전자에게 제공되어, 운전자에게 운전 위험 상황을 알린다.
이러한 운전자 위험지수 검출부(20)는 차량 내의 각종 센서를 통해 현재의 자차의 주행 상황과 자차 주변의 주행 상황을 실시간으로 감지하고, 감지된 결과가 반영된 차량의 운전 위험 상황을 판단한다.
도 4 를 참조하면, 운전자 위험지수 검출부(20)는 내부 센서(21), 외부 센서(22) 및 주변환경 인식부(23)를 포함한다.
내부 센서(21)는 자차(24)의 주행 상황을 감지하여, 자차 주행 정보를 생성한다. 여기서, 자차 주행 정보에는 차속 정보, 요레이트 정보, 조향각 정보, 가속도 정보 및 휠 스피드 정보 등이 포함될 수 있다.
따라서, 내부 센서(21)는 차속 정보를 획득하는 차속 센서(211), 요레이트 정보를 획득하는 요레이트 센서(212), 조향각 정보를 획득하는 조향각 센서(213), 차량의 가속도와 방향을 감지하는 G 센서(214), 및 휠스피드 정보를 획득하는 휠 스피드 센서(215) 등을 포함할 수 있다.
외부 센서(22)는 자차(24)의 주변 상황을 감지하여 주변환경 정보를 생성한다. 여기서, 주변환경 정보는 전/후방 레이더 정보, 전/후방 영상 정보, 측방 초음파 정보, AVM(Around View Monitoring) 영상 정보, 및 내비게이션 정보 등을 포함할 수 있다.
따라서, 외부 센서(22)는 전/후방 레이더 정보를 획득하는 전/후방 레이더(221), 전/후방 영상 정보를 획득하는 전/후방 카메라(222), 측방 초음파 정보를 획득하는 측방 초음파 센서(223), AVM 영상 정보를 획득하는 AVM용 카메라(224) 및 내비게이션 정보를 획득하는 내비게이션(225)을 포함할 수 있다.
주변환경 인식부(23)는 내부 센서(21)로부터 제공받은 자차 주행 정보와 외부 센서(22)로부터 제공받은 주변환경 정보를 이용하여 궤적 부하량을 계산하고, 이를 통하여 운전자 위험지수(또는 주위 위험지수)를 관리한다. 이에 대한 구체적인 설명은 아래의 도 5를 참조하여 상세히 설명한다.
도 5 를 참조하면, 주변환경 인식부(23)는 내부 센서(21)로부터 제공받은 자차 주행 정보와 외부 센서(22)로부터 제공받은 주변환경 정보를 이용하여 궤적 부하량을 계산하고, 이를 통하여 운전자 위험지수(또는 주위 위험지수)를 관리한다. 보다 정확한 운전자 위험지수 관리를 위해, 주변환경 인식부(23)는 궤적 부하량 외에 주위차량 부하량 및 도로 부하량을 더 고려하여 운전자 위험지수를 관리할 수 있다. 따라서, 시스템 부하와 운전자 위험지수 간의 트레이드 오프를 고려하여 궤적 부하량만을 고려하는 경우, 궤적 부하량과 주위차량 부하량만을 고려하는 경우, 궤적 부하량과 도로 부하량만을 고려하는 경우로 구분하여 운전자 위험지수를 수행하는 다양한 시스템 설계가 가능하다.
도 5 에서, 궤적 부하량, 주위차량 부하량 및 도로 부하량을 모두 고려한 운전자 위험지수 관리를 수행한 예시도일 뿐, 본 발명이 이에 한정되는 것은 아님을 유의해야 한다.
주변환경 인식부(23)는 자차 주행 궤적 생성부(231), 주위 차량 궤적 생성부(232), 궤적 부하량 계산부(233), 주위차량 부하량 계산부(234), 도로 부하량 계산부(235) 및 운전자 위험지수 관리부(236)를 포함한다.
자차 주행 궤적 생성부(231)는 내부 센서(21)로부터의 자차 주행 정보에 포함된 차속 정보, 조향각 정보, 가감속 정보 및 요레이트 정보를 이용하여 자차 주행 궤적을 예측(획득 또는 생성)한다. 추가적으로, 자차 주행 궤적 생성부(231)는 외부 센서(22)로부터의 주변환경 정보에 포함된 내비게이션 정보 예컨대, 주행 도로 정보를 통해 예측된 자차 주행 궤적을 보정한다.
주위 차량 궤적 생성부(232)은 외부 센서(22)로부터의 주변환경 정보에 포함된 전/후방 레이더 정보, 영상 정보 및 측방 초음파 정보를 이용하여 주위 차량 주행 궤적을 예측(획득 또는 생성)한다.
전/후방 레이더 정보를 획득하기 위한 전/후방 레이더(221)는 물체 판별 정확성은 다소 떨어지나 정확한 거리 정보(종방향)를 얻을 수 있다.
이에 비해 상기 영상 정보를 획득하기 위한 카메라(222,224)는 단안 영상을 획득하기 때문에 거리 정보(종방향)의 정확성은 떨어지나 높은 물체 판별 및 정확한 횡방향 정보를 얻을 수 있는 장점이 있다.
따라서 주위 차량 궤적을 얻기 위해 타겟 차량 모델식에서 종방향의 거리 정보는 전/후방 레이더(221)를 이용해 획득하고, 횡방향 거리정보는 전/후방 카메라(222), AVM 카메라 및 측방 초음파 센서(223)를 이용해 획득한다.
아래의 수학식 1은 주위 차량 궤적을 예측하기 위해, 주위 차량 궤적 생성부(232)에서 이용하는 차량 모델식을 나타낸 것이다.
Figure 112018110355121-pat00001
여기서, x, Vx, y, Vy는 타겟 차량의 상태 변수이고, x, y는 타겟 차량의 위치이고, 영상 카메라로부터 측정된다. Vx, Vy는 타겟 차량의 속도이다. A는 차량 모델식, H는 측청치 모델식이고, 상태변수는 x축 방향으로 거리, 속도, y축 방향으로 거리, 속도를 나타낸다. 시스템 노이즈 및 측정치 노이즈는 화이트 가우시안으로 가정한다.
궤적 부하량 계산부(233)는 주위 차량 궤적과 자차 주행 궤적 간의 차이인 궤적 거리와 기 설정된 임계값 간의 비교 결과를 나타내는 궤적 부하량(WTrj)을 계산한다.
자차 주행 궤적과 주위 차량 궤적을 예측하여 충돌 위험이 있는 경우, 이는 운전자에게 높은 주의를 요구하므로 이를 궤적 부하량(WTrj)으로 나타낼 수 있다.
따라서 궤적 부하량(WTrj)은 자차 주행 궤적(13-1) 및 주위 차량 궤적(13-3)을 이용하여 아래의 수학식 2와 같이 계산한다.
Figure 112018110355121-pat00002
여기서, DTrj는 자차 궤적이고, TTrj는 주위 차량 궤적이다 그리고, i는 탐지된 주위 차량으로 1,2,…,n 이다.
위의 수학식 2에 따르면, 궤적 부하량(WTrj)은 탐지된 주위 차량의 궤적들과 자차의 궤적을 비교하여 궤적 거리가 임계값(Threshold)보다 낮은 경우 1, 높은 경우 0으로 설정된다.
주위차량 부하량 계산부(234)는 주변환경 정보로부터 전/후/측방의 차량 개수와 차선 변경 유무를 파악하고, 이를 통해 주위 차량 부하량(WS)을 계산한다. 운전 중에 자차 주변에 차량이 있고, 이 차량들의 궤적의 변화가 심하다면 이것은 운전자에게 주의를 요하는 부하량으로 작용할 수 있다.
주위차량 부하량 계산부(234)에 의한 수행되는 주위 차량 부하량 계산은 충돌 소요 시간(Time to Collision: TTC) 기반으로 자차(24)를 중심으로 도 6 에 도시된 바와 같이 3개의 위험 영역들(SECTION ①, SECTION ② 및 SECTION ③)으로 구분한다. 여기서, TTC는 대상 차량의 접근속도(closing speed)가 일정할 때 대상 차량이 목표 차량에 부딪히기까지 소용되는 시간으로 정의된다. 이러한 TTC는 내부 센서(21)의 차속 센서(211) 및 조향각 센서(213)로부터 각각 획득된 차속 정보와 조향각 정보를 이용해 구할 수 있다.
예컨대, 도 7 및 도 8 에 도시된 바와 같이, 전/후방 레이더(221)에 의한 탐지 영역(262,263)과 전/후방 카메라(222)에 의한 탐지 영역(261), 측방 초음파 센서(223)에 의해 탐지된 탐지 영역(45)에서 각각 탐지된 자차(24)의 주위 차량(271,272,273,274)들을 인식하고, TTC 값으로 탐지된 차량과의 상대 거리에서 상대 속도 값을 나눈 시간을 계산함으로써 위험 영역(SECTION ①, ② 및 ③)을 구할 수 있다.
3개의 위험 영역들(SECTION ①, ② 및 ③)이 구분되면, 주위차량 부하량 계산부(234)는 구분된 각 영역에서 탐지된 차량의 개수와 차선 변경 유무를 판단하여 주위 차량 부하량(Ws)을 계산하다.
계산된 주위 차량 부하량(Ws)은 SECTION ①에 탐지된 차량이 많을수록, 차선 변경이 많을수록 증가한다.
반대로, 주위에 탐지된 차량이 거의 없거나 있더라도 SECTION ③에 있는 경우, 그리고 주위 차량의 궤적 변화가 심하지 않은 경우, 주위차량 부하량(Ws)은 감소한다.
이러한 주위차량 부하량(Ws)은 아래의 수학식 3으로 나타낼 수 있다.
Figure 112018110355121-pat00003
여기서, α, β는 weighting Factor이고, S는 탐지된 차량의 위치(SECTION ①, ② 및 ③)이고, L은 탐지된 주위 차량의 차선 변경 유무이다. 여기서, 변경이 있는 경우 1, 없는 경우 0으로 한다. 탐지된 차량은 1부터 n까지로 표시한다.
도로 부하량 계산부(235)는 상기 주변환경 정보에 포함된 도로 형태, 도로 노면 상태 및 교통량 상태를 이용해 도로 부하량을 계산한다. 직선로보다는 곡선로가, 일반로보다는 교차로 부분에서 그리고 전방 교통상황이 나쁠수록 운전자의 주의가 요구되므로, 이러한 도로 부하량에 대한 계산이 필요하다.
도로 부하량 계산부(235)는 차량내의 네비게이션(225)으로부터 획득된 내비게이션 정보를 이용하여 주행할 전방 도로의 형태를 파악하고, 전/후방카메라로부터 획득된 도로 노면 상태 정보를 반영한다(포장도로, 비포장도로) 계산은 아래의 수학식 4로 나타낼 수 있다.
Figure 112018110355121-pat00004
여기서, A는 도로 상태를 나타내는 값이다. 예컨대, A는 전방 도로의 곡률값이 클수록 큰 값을 가지며, 신호등 변화, 보행자, 속도 제한, 어린이 보호구역일 경우 큰 값을 갖게 된다. B는 도로 노면 상태값으로 포장도로, 비포장을 반영하며, C는 전방 도로의 교통량으로 교통량이 많을수록 큰 값을 갖는다. 이러한 A, B, C는 모두 0 ~ 5 범위로 정규화될 수 있다.
운전자 위험지수 관리부(236)는 각 단계에서 계산된 부하량(WTrj, WS, WR)을 통합한 운전자 위험지수(주위 위험지수)를 운전자에게 제공한다. 예컨대, 운전자 위험지수 관리부(236)는 궤적 부하량(WTrj)과, 주위 차량 부하량(WS) 및 도로 부하량(WR)을 합산하고, 합산된 결과값을 운전자 위험지수로서 생성한다.
운전자 위험지수는 아래의 수학식 5로 나타낼 수 있다.
Figure 112018110355121-pat00005
운전난이도 검출부(30)는 자차(24)의 주행 위치에 따른 운전난이도를 검출한다. 즉, 운전난이도 검출부(30)는 각 지역별로 운전난이도가 사전에 정의 및 수치화하여 자차(24)의 현재 위치가 상기한 지역 중 어디에 포함되는지 여부를 확인한 후, 자차(24)의 현재 위치에 대응되는 운전난이도를 검출한다.
여기서, 자차(24)의 현재 위치가 사고가 자주 발생하는 지역이거나, 터널, 산길 등과 같이 상대적으로 운전이 어렵거나 실제 사고나 발생하는 지적에는 운전난이도가 상대적으로 높게 설정된다.
제어부(40)는 감정지수, 운전자 위험지수 및 운전난이도가 기 설정된 안전영역에 포함되는지 여부에 따라 차량 주행부(60)를 제어하여 자차(24)가 안전지역으로 주행하도록 한다.
즉, 제어부(40)는 도 9 에 도시된 바와 같이 감정지수, 운전자 위험지수 및 운전난이도 각각을 분석하여 기 설정된 안전 영역에 포함되는지 여부를 판단하고, 판단 결과 안전 영역에 포함되지 않으면, 차량 주행부(60)를 제어하여 자차(24)가 안전지역으로 주행할 수 있도록 제어한다. 또한, 제어부(40)는 감정지수, 운전자 위험지수 및 운전난이도 각각이 안전 영역에 포함되지 않음을 경고하거나, 기 설정된 전화번호, 예를 들어 운전자나 동승자의 지인의 전화번호로 위험을 경고한다.
또한, 제어부(40)는 음성지수, 시각지수 및 행동지수를 학습기반의 감정맵에 적용하여 감정지수가 기 설정된 안정영역에 포함되지 않으면 감정상태 조절부(50)를 제어하여 운전자 또는 동승자의 감정상태가 평정 상태가 되도록 운전자 또는 동승자의 감정 상태를 조절한다.
감정상태 조절부(50)는 운전자 또는 동승자의 감정상태가 평정 상태가 되도록 운전자 또는 동승자의 감정 상태를 조절한다.
도 10 을 참조하면, 감정상태 조절부(50)는 영상 출력부(51), 음성 출력부(52), 공조기(53), 향기 출력부(54), 안마기(55), 엠비언트 라이트(56) 및 윈드실드 투과율 조정부(57)가 포함될 수 있다.
여기서 윈드실드 투과율 조정부(57)는 제어부(40)가 시각지수 검출부(122)에서 검출된 눈부심에 따라 투과율을 조정할 수 있다.
즉, 제어부(40)는 시각지수 검출부(122)에서 검출한 광원의 3D 좌표와 운전자의 눈 위치의 3D 좌표를 기반으로 광원의 빛이 운전자의 눈에 도달할 때 통과되는 윈드실드의 좌표를 역산하여 윈드실드 투과율 조정부(57)를 제어하여 윈드실드 좌표 주변의 윈드실드 투과율을 낮춤으로써, 운전자의 눈부심을 방지할 수 있다.
참고로, 본 실시예에서 감정상태 조절부(50)는 상기한 실시예에 한정되는 것은 아니며, 운전자의 감성을 조절할 수 있는 다양한 장치가 모두 포함될 수 있다.
차량 주행부(60)는 자율 주행 방식을 통해 차량을 안전지역으로 주행시킨다.
도 11 을 참조하면, 차량 주행부(60)는 자차(24)의 엔진을 제어하는 엔진 제어모듈(61), 자차(24)의 제동을 제어하는 제동 제어모듈(62), 자차(24)의 조향을 제어하는 조향 제어모듈(63) 및 상기한 엔진 제어모듈(61), 제동 제어모듈(62) 및 조향 제어모듈(63)을 제어하여 차량이 안전지역으로 이동할 수 있도록 제어하는 차량 제어모듈(64)을 포함한다.
이하 본 발명의 일 실시예에 따른 안전운전 지원 방법을 도 12 및 도 13 을 참조하여 상세하게 설명한다.
도 12 는 본 발명의 일 실시예에 따른 안전운전 지원 방법의 순서도이고, 도 13 은 본 발명의 일 실시예에 따른 운전자 위험지수 검출 과정을 도시한 순서도이다.
도 12 를 참조하면, 먼저, 감정지수 검출부(10)는 운전자 또는 동승자의 시각과 음성 및 행동 중 적어도 하나를 이용하여 운전자 또는 동승자의 감정지수를 검출한다(S10).
이 경우, 제1 감정 인식부(11)는 운전자 및 동승자의 음성신호의 특성값을 검출하고 검출된 특성값에 따라 음성지수를 검출한다. 제2 감정 인식부(12)는 운전자 및 동승자 각각의 눈 또는 얼굴을 촬영하고 촬영된 영상에서 운전자의 시선 및 얼굴을 검출한 후, 검출된 운전자 및 동승자 각각의 시선의 움직임, 얼굴 표정 및 눈부심에 따른 시각지수를 검출한다. 제3 감정 인식부(13)는 발진형태 감지부(131)에 의해 감지된 엑셀 페달 또는 브레이크 페달의 위치 변화에 따른 발진형태를 검출한 후, 이러한 발진형태에 대응되는 발진지수를 검출하고, 크락션 빈도 감지부(134)에 의해 감지된 운전자의 크락션 작동지수 및 동승자 움직임 지수 검출부(133)에 의해 검출된 동승자 움직임 지수를 검출한 후, 검출된 발진지수, 크락션 작동지수 및 동승자 움직임 지수를 이용하여 운전자 및 동승자의 행동지수를 검출한다.
이와 같이, 상기한 제1 감정 인식부(11), 제2 감정 인식부(12) 및 제3 감정 인식부(13)에 의해 음성지수, 시각지수 및 행동지수가 검출됨에 따라, 감정지수 산출부(14)는 이들 음성지수, 시각지수 및 행동지수를 학습기반의 감정맵에 적용하여 감정지수를 산출한다.
또한, 운전자 위험지수 검출부(20)는 운전성향을 분석하여 그 상응하는 운전자 위험지수(또는 주위 위험지수)를 검출한다(S20).
도 13 을 참조하면, 주변환경 인식부(23)가 자차(24) 주행 궤적을 생성(S210)하고, 생성된 자차 주행 궤적을 통해 자차(24)의 위치를 예측한다(S220). 이러한 자차 주행 궤적은 차속 정보, 조향각 정보 가감속 정보 및 요레이트 정보를 이용하여 생성될 수 있다.
이어, 주변환경 인식부(23)는 주위 차량 궤적을 생성하고(S230), 주위차량의 위치를 예측한다(S240). 이러한 주위 차량 궤적은 레이더(221)로부터 획득된 종방향 거리 정보와 카메라 및 초음파 발생기를 통해 획득된 횡방향 거리 정보를 이용하여 생성될 수 있다. 여기서, 종방향 거리 정보는 자차(24)에 대한 주위 차량의 종방향 거리 정보이고, 횡방향 거리 정보는 자차(24)에 대한 주위 차량의 횡방향 거리 정보이다.
이어, 주변환경 인식부(23)는 궤적 부하량을 계산한다(S250). 궤적 부하량은 자차 주행궤적과 주위 차량 주행 궤적을 이용해 계산될 수 있다. 예컨대, 탐지된 주위 차량의 주행 궤적들과 자차 주행 궤적을 비교하여 이들 간의 차이인 궤적 거리가 임계값보다 낮은 경우, 1, 임계값보다 높은 경우, 0으로 설정된다.
궤적 부하량이 계산되면, 주변환경 인식부(23)는 주위 차량 부하량을 계산한다(S260). 주위 차량 부하량은 TTC을 기반으로 자차(24)를 중심으로 구획된 다수의 위험 영역별 차량 개수와 차선 변경 유무를 고려하여 계산된다. 다수의 위험 영역은 레이더(221)와 카메라, 초음파를 이용하여 주위 차량을 인식하고, TTC 값으로 탐지된 차량과의 상대 거리에서 상대 속도 값을 나눈 시간을 계산하여 다수의 위험 영역을 구할 수 있다.
이어, 주변환경 인식부(23)는 도로 부하량을 계산한다(S270). 도로 부하량은 내비게이션 정보, 도로 노면 상태 정보, 교통 정보 등을 통해 계산될 수 있다.
이어, 주변환경 인식부(23)는 운전자 위험 지수를 계산한다(S280). 운전 위험 지수는 궤적 부하량, 주위 차량 부하량 및 도로 부하량의 합산을 통해 계산될 수 있다.
한편, 운전난이도 검출부(30)는 각 지역별로 운전난이도를 사전에 정의 및 수치화하여 자차(24)의 현재 위치가 상기한 지역 중 어디에 포함되는지 여부를 확인한 후, 자차(24)의 현재 위치에 대응되는 운전난이도를 검출한다(S30).
자차(24)의 현재 위치가 사고가 자주 발생하는 지역이거나, 터널, 산길 등과 같이 상대적으로 운전이 어렵거나 실제 사고나 발생하는 지적에는 운전난이도가 상대적으로 높게 설정된다.
상기한 바와 같이 감정지수, 운전자 위험지수 및 운전난이도가 검출됨에 따라, 제어부(40)는 감정지수, 운전자 위험지수 및 운전난이도가 기 설정된 안전영역에 포함되는지 여부를 판단하고(S40), 판단 결과 감정지수, 운전자 위험지수 및 운전난이도가 기 설정된 안전영역에 포함되는지 여부에 따라 운전자 또는 가족 등에 경고하거나, 차량 주행부(60)를 제어하여 자차(24)가 안전지역으로 주행하도록 한다(S50).
이 경우, 차량 주행부(60)는 감정지수, 운전자 위험지수 및 운전난이도가 안전 영역에 포함되지 않으면, 자차(24)가 안전지역으로 주행할 수 있도록 하고, 제어부(40)는 감정지수, 운전자 위험지수 및 운전난이도 각각이 안전 영역에 포함되지 않음을 경고하거나, 기 설정된 전화번호, 예를 들어 운전자나 동승자의 지인의 전화번호로 위험을 경고한다.
한편, 제어부(40)는 음성지수, 시각지수 및 행동지수를 학습기반의 감정맵에 적용하여 감정지수가 기 설정된 안정영역에 포함되지 않으면 감정상태 조절부(50)를 제어하여 운전자 또는 동승자의 감정상태가 평정 상태가 되도록 운전자 또는 동승자의 감정 상태를 조절할 수도 있다.
이때 제어부(40)는 시각지수 검출부(122)에서 검출된 눈부심에 따라 감정상태 조절부(50)에 포함된 윈드실드 투과율 조정부(50)를 제어할 수 있다.
즉, 제어부(40)는 시각지수 검출부(122)에서 검출한 광원의 3D 좌표와 운전자의 눈 위치의 3D 좌표를 기반으로 광원의 빛이 운전자의 눈에 도달할 때 통과되는 윈드실드의 좌표를 역산하여 윈드실드 투과율 조정부(57)를 제어하여 윈드실드 좌표 주변의 윈드실드 투과율을 낮춤으로써, 운전자의 눈부심을 방지할 수 있다.
이와 같이, 본 발명의 일 실시예에 따른 안전운전 지원 장치 및 방법은 운전자와 동승자의 감정지수, 운전자 위험지수 및 운전난이도를 종합적으로 고려하여 현재 운전중인 자동차의 안전성 여부를 판단하고 판단 결과에 따라 차량의 조향 및 제동 제어를 통해 차량을 안전지역으로 이동시켜 사고를 미연에 방지한다.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며 당해 기술이 속하는 기술분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의하여 정해져야할 것이다.
10: 감정지수 검출부 11: 제1 감정 인식부
111: 음성신호 감지부 112: 음성지수 검출부
12: 제2 감정 인식부 121: 운전자 얼굴 촬영부
122: 시각지수 검출부 123: 동승자 얼굴 촬영부
124 : 스테레오 카메라 13: 제3 감정 인식부
131: 발진형태 감지부 132: 행동지수 검출부
133: 동승자 움직임 지수 검출부 134 : 크락션 빈도 검출부
14: 감정지수 산출부 20: 운전자 위험지수 검출부
21: 내부 센서 211: 차속 센서
212: 요레이트 센서 213: 조향각 센서
214: G 센서 215: 휠 스피드 센서
22: 외부 센서 221: 전/후방 레이더
222: 전/후방 카메라 223: 측방 초음파 센서
224: AVM용 카메라 23: 주변환경 인식부
231: 자차 주행 궤적 생성부 232: 주위 차량 궤적 생성부
233: 궤적 부하량 계산부 234: 주위차량 부하량 계산부
235: 도로 부하량 계산부 236: 운전자 위험지수 관리부
30: 운전난이도 검출부 40: 제어부
50: 감정상태 조절부 51: 영상 출력부
52: 음성 출력부 53: 공조기
54: 향기 출력부 55: 안마기
56: 엠비언트 라이트 57 : 윈드실드 투과율 조정부
60: 차량 주행부 61: 엔진 제어모듈
62: 제동 제어모듈 63: 조향 제어모듈
64: 차량 제어모듈

Claims (20)

  1. 운전자 및 동승자 각각의 시선의 움직임, 얼굴 표정 및 눈부심에 따른 시각지수와, 음성신호의 특성에 따른 음성지수, 움직임에 따른 행동지수 중 적어도 하나를 이용하여 운전자 및 동승자의 감정지수를 검출하는 감정지수 검출부;
    자차의 자차 주행 정보와 주변환경 정보를 이용하여 운전자 위험지수를 검출하는 운전자 위험지수 검출부;
    자차의 주행 위치에 따른 운전난이도를 검출하는 운전난이도 검출부;
    자차의 자율주행을 제어하는 차량 주행부; 및
    상기 감정지수, 상기 운전자 위험지수 및 상기 운전난이도가 기 설정된 안전영역에 포함되는지 여부에 따라 상기 차량 주행부를 제어하여 자차가 안전지역으로 주행하도록 하는 제어부;를 포함하되,
    운전자 및 동승자의 감정상태가 평정 상태가 되도록 운전자 및 동승자의 감정 상태를 조절하는 감정상태 조절부;를 더 포함하고,
    상기 제어부는, 상기 음성지수, 상기 시각지수 및 상기 행동지수를 학습기반의 감정맵에 적용하여 상기 감정지수가 기 설정된 안정영역에 포함되지 않으면 상기 감정상태 조절부를 제어하며,
    상기 학습기반의 감정맵은, 상기 음성지수, 상기 시각지수 및 상기 행동지수 각각에 따라 운전자의 감정상태가 안정 영역 또는 위험 영역으로 구분되고,
    상기 운전자 위험지수 검출부는,
    자차의 주행 상황을 감지하는 내부 센서로부터 입력받은 자차 주행 정보를 이용하여 자차 주행 궤적을 생성하는 자차 주행 궤적 생성부;
    상기 자차의 주변 상황을 감지하는 외부 센서로부터 입력받은 주변환경 정보를 이용하여 주위 차량 궤적을 생성하는 주위 차량 궤적 생성부;
    상기 주위 차량 궤적과 상기 자차 주행 궤적 간의 차이인 궤적 거리와 기 설정된 임계값 간의 비교 결과를 나타내는 궤적 부하량을 계산하는 궤적 부하량 계산부; 및
    상기 계산된 궤적 부하량에 상응하는 운전자 위험지수를 생성하는 위험지수 관리부를 포함하며,
    상기 운전난이도 검출부는, 각 구역별로 상기 운전난이도를 정의 및 수치화하여 자차의 현재 위치에 따라 상기 운전난이도를 검출하고,
    상기 제어부는, 상기 감정지수, 상기 운전자 위험지수 및 상기 운전난이도가 상기 안전영역에 포함되지 않으면 상기 차량 주행부를 제어하여 자차를 안전지역으로 주행하도록 하는 것을 특징으로 하는 안전운전 지원 장치.
  2. 제 1 항에 있어서, 상기 감정지수 검출부는,
    운전자 및 동승자의 음성신호의 특성값을 검출하고 검출된 특성값에 따라 음성지수를 검출하는 제1 감정 인식부;
    운전자 및 동승자를 촬영하고 주변을 촬영한 영상을 분석하여 운전자 및 동승자의 시각지수를 검출하는 제2 감정 인식부;
    엑셀 페달 또는 브레이크 페달의 위치를 감지하여 엑셀 페달 또는 브레이크 페달의 발진 형태, 및 동승자의 움직임에 따라 행동지수를 검출하는 제3 감정 인식부; 및
    상기 음성지수, 상기 시각지수 및 상기 행동지수를 이용하여 상기 감정지수를 산출하는 감정지수 산출부를 포함하는 것을 특징으로 하는 안전운전 지원 장치.
  3. 제 2 항에 있어서, 상기 제1 감정 인식부는,
    운전자 및 동승자의 음성신호를 감지하는 음성신호 감지부; 및
    상기 음성신호 감지부에 의해 감지된 음성신호의 특성값을 검출하고 검출된 특성값에 대응되는 음성지수를 검출하는 음성지수 검출부를 포함하는 것을 특징으로 하는 안전운전 지원 장치.
  4. 제 2 항에 있어서, 상기 제2 감정 인식부는,
    운전자의 눈 또는 얼굴을 촬영하는 운전자 얼굴 촬영부;
    동승자의 눈 또는 얼굴을 촬영하는 동승자 얼굴 촬영부;
    자차의 주변을 촬영하는 스테레오 카메라; 및
    상기 운전자 얼굴 촬영부에 의해 촬영된 영상에서 운전자의 눈 위치를 기반으로 시선 및 얼굴을 검출하고, 상기 동승자 얼굴 촬영부에 의해 촬영된 영상에서 동승자의 눈 위치를 기반으로 시선 및 얼굴을 검출하며, 상기 스테레오 카메라에서 촬영된 영상에서 광원의 위치를 검출한 후, 검출된 운전자와 동승자 각각의 시선의 움직임, 얼굴 표정, 및 광원의 위치와 눈의 위치에 의한 운전자의 눈부심에 따라 시각지수를 검출하는 시각지수 검출부를 포함하는 것을 특징으로 하는 안전운전 지원 장치.
  5. 제 2 항에 있어서, 상기 제3 감정 인식부는,
    엑셀 페달 또는 브레이크 페달의 발진형태를 감지하는 발진형태 감지부;
    동승자의 팔 모션 크기 및 움직임 반경, 동승자의 움직임 빈도수 중 적어도 하나를 이용하여 동승자 움직임 지수를 검출하는 동승자 움직임 지수 검출부;
    운전자의 크락션 작동빈도에 따른 크락션 작동지수를 검출하는 크락션 빈도 검출부; 및
    상기 발진형태 감지부에 의해 각각 감지된 엑셀 페달 또는 브레이크 페달의 발진형태에 대응되는 발진지수, 상기 크락션 빈도 검출부에서 검출된 크락션 작동지수. 및 상기 동승자 움직임 지수 검출부에 의해 검출된 동승자 움직임 지수를 이용하여 운전자와 동승자의 행동지수를 검출하는 행동지수 검출부를 포함하는 것을 특징으로 하는 안전운전 지원 장치.
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제 1 항에 있어서, 상기 제어부는, 상기 감정지수 검출부에서 검출된 시각지수에 따라 상기 감정상태 조절부에 포함된 윈드실드 투과율 조정부를 제어하는 것을 특징으로 하는 안전운전 지원 장치.
  10. 삭제
  11. 삭제
  12. 삭제
  13. 감정지수 검출부가 운전자 및 동승자 각각의 시선의 움직임, 얼굴 표정 및 눈부심에 따른 시각지수와, 음성신호의 특성에 따른 음성지수, 움직임에 따른 행동지수 중 적어도 하나를 이용하여 운전자 및 동승자의 감정지수를 검출하는 단계;
    운전자 위험지수 검출부가 자차의 자차 주행 정보와 주변환경 정보를 이용하여 운전자 위험지수를 검출하는 단계;
    운전난이도 검출부가 자차의 주행 위치에 따른 운전난이도를 검출하는 단계; 및
    제어부가 상기 감정지수, 상기 운전자 위험지수 및 상기 운전난이도가 기 설정된 안전영역에 포함되는지 여부를 판단하여 판단 결과에 따라 차량 주행부를 제어하여 자차가 안전지역으로 주행하도록 하는 단계;를 포함하되,
    상기 제어부가 상기 음성지수, 상기 시각지수 및 상기 행동지수를 학습기반의 감정맵에 적용하여 상기 감정지수가 기 설정된 안정영역에 포함되는지 여부에 따라 감정상태 조절부를 제어하여 운전자 및 동승자의 감정상태가 평정 상태가 되도록 운전자 및 동승자의 감정 상태를 조절하는 단계를 더 포함하고,
    상기 학습기반의 감정맵은, 상기 음성지수, 상기 시각지수 및 상기 행동지수 각각에 따라 운전자의 감정상태가 안정 영역 또는 위험 영역으로 구분되고,
    상기 운전자 위험지수를 검출하는 단계는,
    자차의 주행 상황을 감지하는 내부 센서로부터 입력받은 자차 주행 정보를 이용하여 자차 주행 궤적을 생성하는 단계;
    상기 자차의 주변 상황을 감지하는 외부 센서로부터 입력받은 주변환경 정보를 이용하여 상기 자차의 주위 차량 궤적을 생성하는 단계;
    상기 주위 차량 궤적과 상기 자차 주행 궤적 간의 차이인 궤적 거리와 기 설정된 임계값 간의 비교 결과를 나타내는 궤적 부하량을 계산하는 단계; 및
    상기 계산된 궤적 부하량에 상응하는 운전자 위험지수를 생성하는 단계를 포함하며,
    상기 운전난이도를 검출하는 단계는, 각 구역별로 상기 운전난이도를 정의 및 수치화하여 자차의 현재 위치에 따라 상기 운전난이도를 검출하고,
    상기 자차가 안전지역으로 주행하도록 하는 단계는, 상기 음성지수, 상기 시각지수 및 상기 행동지수를 학습기반의 감정맵에 적용하여 상기 감정지수가 기 설정된 안정영역에 포함되는지 여부를 판단하는 것을 특징으로 하는 안전운전 지원 방법.
  14. 제 13 항에 있어서, 상기 감정지수를 검출하는 단계는,
    운전자 및 동승자의 음성신호의 특성값을 검출하고 검출된 특성값에 따라 음성지수를 검출하고, 운전자 및 동승자를 촬영하고 주변을 촬영한 영상을 분석하여 운전자와 동승자 각각의 시선의 움직임, 얼굴 표정, 및 광원의 위치와 눈의 위치에 의한 운전자의 눈부심에 따라 시각지수를 검출하며, 엑셀 페달 또는 브레이크 페달의 위치를 감지하여 엑셀 페달 또는 브레이크 페달의 발진 형태, 운전자의 크락션 작동빈도 및 동승자의 움직임에 따라 행동지수를 검출한 후, 상기 음성지수, 상기 시각지수 및 상기 행동지수를 이용하여 상기 감정지수를 산출하는 것을 특징으로 하는 안전운전 지원 방법.
  15. 삭제
  16. 제 13 항에 있어서, 운전자 및 동승자의 감정상태를 조절하는 단계는, 상기 제어부가 상기 감정지수 검출부에서 검출된 시각지수에 따라 상기 감정상태 조절부에 포함된 윈드실드 투과율 조정부를 제어하는 단계를 포함하는 것을 특징으로 하는 안전운전 지원 방법.
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
KR1020180135690A 2018-11-07 2018-11-07 안전운전 지원 장치 및 방법 KR102546441B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180135690A KR102546441B1 (ko) 2018-11-07 2018-11-07 안전운전 지원 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180135690A KR102546441B1 (ko) 2018-11-07 2018-11-07 안전운전 지원 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20200055171A KR20200055171A (ko) 2020-05-21
KR102546441B1 true KR102546441B1 (ko) 2023-06-26

Family

ID=70910296

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180135690A KR102546441B1 (ko) 2018-11-07 2018-11-07 안전운전 지원 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102546441B1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2606018A (en) * 2021-04-23 2022-10-26 Daimler Ag Emotion recognition for artificially-intelligent system
CN113781278A (zh) * 2021-09-10 2021-12-10 未鲲(上海)科技服务有限公司 基于特征识别的事件提示方法、装置、设备及存储介质
WO2023192385A1 (en) * 2022-03-31 2023-10-05 Volta Charging, Llc Customizing electric vehicle charging station service based on sentiment analysis
CN115257665A (zh) * 2022-04-13 2022-11-01 长城汽车股份有限公司 一种车辆制动方法、装置、车辆及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233587A (ja) * 2006-02-28 2007-09-13 Toyota Motor Corp 運転者心理判定装置
JP2008132961A (ja) * 2006-10-30 2008-06-12 Quality Kk 車両制御装置および車両制御プログラム
WO2009107210A1 (ja) * 2008-02-28 2009-09-03 パイオニア株式会社 車両の運転評価装置、方法、及びコンピュータプログラム
JP4337131B2 (ja) * 1999-06-10 2009-09-30 マツダ株式会社 移動体制御装置
KR101555444B1 (ko) * 2014-07-10 2015-10-06 현대모비스 주식회사 차량탑재 상황감지 장치 및 그 방법
JP2015231828A (ja) * 2014-05-16 2015-12-24 株式会社リコー 表示装置、移動体

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101901417B1 (ko) * 2011-08-29 2018-09-27 한국전자통신연구원 감성기반 안전운전 자동차 서비스 시스템, 안전운전 서비스를 위한 감성인지 처리 장치 및 안전운전 서비스 장치, 감성기반 차량용 안전운전 서비스 방법
KR102330385B1 (ko) * 2015-08-10 2021-11-23 현대모비스 주식회사 감성 인식 차량 제어 장치, 시스템 및 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4337131B2 (ja) * 1999-06-10 2009-09-30 マツダ株式会社 移動体制御装置
JP2007233587A (ja) * 2006-02-28 2007-09-13 Toyota Motor Corp 運転者心理判定装置
JP2008132961A (ja) * 2006-10-30 2008-06-12 Quality Kk 車両制御装置および車両制御プログラム
WO2009107210A1 (ja) * 2008-02-28 2009-09-03 パイオニア株式会社 車両の運転評価装置、方法、及びコンピュータプログラム
JP2015231828A (ja) * 2014-05-16 2015-12-24 株式会社リコー 表示装置、移動体
KR101555444B1 (ko) * 2014-07-10 2015-10-06 현대모비스 주식회사 차량탑재 상황감지 장치 및 그 방법

Also Published As

Publication number Publication date
KR20200055171A (ko) 2020-05-21

Similar Documents

Publication Publication Date Title
KR102321100B1 (ko) 안전운전 지원 장치 및 방법
KR102546441B1 (ko) 안전운전 지원 장치 및 방법
US7403124B2 (en) Driving support equipment for vehicles
KR102486148B1 (ko) 차량 및 그 제어 방법
CN111361552B (zh) 自动驾驶系统
US9031774B2 (en) Apparatus and method for preventing collision of vehicle
CN107054364B (zh) 控制系统和控制方法
EP2960131A2 (en) Warning device and travel control device
US20120239269A1 (en) Method for recognizing a turn-off maneuver
KR20210037791A (ko) 자율 주행 장치 및 방법
KR20210037790A (ko) 자율 주행 장치 및 방법
CN112644483A (zh) 车速控制方法、可读存储介质、车速控制装置和车辆
KR20240035960A (ko) 자율 주행 장치 및 방법
WO2019003792A1 (ja) 制御装置、制御方法、及びプログラム
KR20200133859A (ko) 자율 주행 장치 및 방법
KR20200133857A (ko) 자율 주행 장치 및 방법
KR102616971B1 (ko) 자율 주행 장치 및 방법
KR102648470B1 (ko) 자율 주행 장치 및 방법
CN110989624B (zh) 行车控制方法、装置及车辆
KR20190051464A (ko) 자동 긴급 제동장치 및 그 제어방법
JP6687551B2 (ja) ドライバー・アシスタント・システム
JP2024068440A (ja) 運転支援装置
KR20230133994A (ko) 표지판 정보를 인식하는 차량 및 그 제어 방법
JP2023111474A (ja) 車両制御装置
JP2022183615A (ja) 走行体制御システム、走行体制御方法及び走行体制御プログラム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant