KR20220069177A - 자율 주행 차량의 스마트 제어 시스템 및 방법 - Google Patents

자율 주행 차량의 스마트 제어 시스템 및 방법 Download PDF

Info

Publication number
KR20220069177A
KR20220069177A KR1020200155790A KR20200155790A KR20220069177A KR 20220069177 A KR20220069177 A KR 20220069177A KR 1020200155790 A KR1020200155790 A KR 1020200155790A KR 20200155790 A KR20200155790 A KR 20200155790A KR 20220069177 A KR20220069177 A KR 20220069177A
Authority
KR
South Korea
Prior art keywords
driver
state
vehicle
driving
arousal
Prior art date
Application number
KR1020200155790A
Other languages
English (en)
Inventor
강현욱
유내원
강동희
김나경
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020200155790A priority Critical patent/KR20220069177A/ko
Publication of KR20220069177A publication Critical patent/KR20220069177A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0015—Planning or execution of driving tasks specially adapted for safety
    • B60W60/0016—Planning or execution of driving tasks specially adapted for safety of the vehicle or its occupants
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60H—ARRANGEMENTS OF HEATING, COOLING, VENTILATING OR OTHER AIR-TREATING DEVICES SPECIALLY ADAPTED FOR PASSENGER OR GOODS SPACES OF VEHICLES
    • B60H1/00—Heating, cooling or ventilating [HVAC] devices
    • B60H1/00642—Control systems or circuits; Control members or indication devices for heating, cooling or ventilating devices
    • B60H1/00735—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models
    • B60H1/00742—Control systems or circuits characterised by their input, i.e. by the detection, measurement or calculation of particular conditions, e.g. signal treatment, dynamic models by detection of the vehicle occupants' presence; by detection of conditions relating to the body of occupants, e.g. using radiant heat detectors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B60W2420/42—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Thermal Sciences (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

자율 주행 차량의 스마트 제어 시스템 및 방법이 개시된다. 자율 주행 차량의 스마트 제어 시스템은, 운전자의 생체 데이터와 영상 데이터를 수집하여, 운전자의 운전 상태 정보를 저장하는 데이터 수집부와, 운전 상태 정보를 이용하여 운전자의 각성 상태를 구분하고 구분된 각성 상태에 따라 운전 가능 여부를 판단하는 운전자 상태 판단부와, 운전자 상태 판단부의 정보를 수신하여 운전자의 운전 가능 상태이면 운전자가 차량 제어가 가능한 상태를 유지하고 운전자의 운전 불가능 상태이면 자율 주행 상태로 전환하는 차량 제어부를 포함한다.

Description

자율 주행 차량의 스마트 제어 시스템 및 방법{SMART CONTROL SYSTEM AND METHOD OF AUTONOMOUS VEHICLE}
본 발명은 운전자의 각성 상태에 따라 차량 안전 운행이 가능한 자율 주행 차량의 스마트 제어 시스템 및 방법에 관한 것이다.
일반적으로 운전중 발생하는 사고의 70% 이상은 운전자의 부주의에 의해 발생되는 것으로, 졸음, 피로와 같이 운전자가 운전에 집중하지 못하는 상태에서 운전자의 사망률이 급증한다.
이에 따라 운전중 사망률의 감소를 위해 운전자의 생체 정보 및 영상 정보를 기반으로 운전자의 생리적 상태를 파악하는 기술들이 개방되고 있다. 아울러, 무선 센서 또는 건식 센서 등과 같이 운전자에게 불편하지 않은 형태의 센서 기술의 개발도 진전되고 있다.
현재 자율 주행 기술의 발전에 따라 Level 3 수준의 상용 자율 주행 차량이 시장에 진출하고 있고, 자율 주행 시스템과 연계된 운전자 안전 시스템의 개발이 요구되고 있다.
종래의 운전자 상태 인식 기반 차량 제어시스템의 경우, 심박, 뇌파, 동공 등의 생체 및 영상 데이터를 이용하여, 운전자의 상태를 파악한 후에, 운전에 적합하지 않은 상태일 경우 청각적 또는 시각적으로 경고를 가하는 구조이다.
그러나 종래 시각적 또는 청각적 경고는 운전자의 상태에 따라 과도한 자극으로 작용하여, 차량 사고로 이어질 위험성이 존재하는 문제점이 있다.
아울러, 운전자가 심장 발작 또는 뇌졸증 등과 같이 건강과 관련한 문제로 인하여 완전이 의식을 잃었을 경우에는 시각적 또는 청각적 경고만으로는 차량 주행 안전이 보장되지 않는 문제점이 있다.
본 발명의 일 실시예는, 차량 운전자의 각성 상태를 확인하여, 각성 상태의 정도에 따라 차량 자율 주행 시스템과 연계된 차량 제어를 실시하여, 차량 안전 운행이 가능하도록 하는 자율 주행 차량의 스마트 제어 시스템을 제공하고자 한다.
본 발명의 일 실시예는, 운전자의 생체 데이터와 영상 데이터를 수집하여, 운전자의 운전 상태 정보를 저장하는 데이터 수집부와, 운전 상태 정보를 이용하여 운전자의 각성 상태를 구분하고 구분된 각성 상태에 따라 운전 가능 여부를 판단하는 운전자 상태 판단부와, 운전자 상태 판단부의 정보를 수신하여 운전자의 운전 가능 상태이면 운전자가 차량 제어가 가능한 상태를 유지하고 운전자의 운전 불가능 상태이면 자율 주행 상태로 전환하는 차량 제어부를 포함한다.
데이터 수집부는, 차량 운전자에게 착용되는 웨어러블 생체 센서와, 차량 운전 상태를 촬영하는 카메라를 포함할 수 있다.
생체 데이터는, 뇌전도(electroencephalogram, EEG), 안구전도(Electrooculography, EOG), 근전도(Electroyography, 근전도), 심전도(Electrocardiography, ECG), 피부전도도(galvanic skin response, GSR), 피부 온도(skin temperature, SKT), 호흡(Respiration, RSP), 맥파(Photoplethysmograph, PPG) 중 적어도 하나의 데이터를 포함할 수 있다.
카메라는, 영상 카메라, 적외선(infrared, IR), 시각적 깊이를 촬영하는 깊이(depth) 카메라 중의 적어도 하나를 포함할 수 있다.
영상 카메라 및 적외선(infrared, IR)은, 운전자의 눈깜박이는 횟수, 눈꺼풀의 동공 가림 비율, 시선 방향, 입 모양 하품 횟수 중에 적어도 하나 이상의 영상을 촬영한 영상 데이터를 촬영할 수 있다.
깊이 카메라는, 얼굴 각도, 운전자의 표정, 운전자 머리의 끄덕임 중에 적어도 하나 이상의 영상을 촬영할 수 있다.
운전자 상태 판단부는, 데이터 수집부에 저장된 생체 데이터와 영상 데이터를 포함한 운전자의 운전 상태 정보를 이용하여, 데이터를 정량화하고 운전자의 상태를 판단하는 단계와, 단계의 정량화된 데이터를 분석하여 운전자의 각성 상태를 각성 과소 상태, 각성 최적 상태, 각성 과잉 상태 및 각성 불능 상태로 분류하는 단계와, 각성 최적 상태이면 운전 가능 상태로 판단하고 각성 과소 및 과잉 상태는 운전 부주의 상태로 판단하고, 각성 불능 상태를 운전 불가능 상태로 판단하는 단계를 수행할 수 있다.
생체 데이터를 이용한 운전자의 운전 상태의 판단은, 생체 데이터를 전처리 과정을 통해 노이즈를 제거하는 단계와, 뇌전도(electroencephalogram, EEG)에서 알파파, 세타파, 베타파에 해당하는 주파수 영역의 대역별로 PSD(power spectral density) 분석을 하고, 뇌파의 샘플 엔트로피(sample entropy)를 추출하는 단계와, 생체 데이터를 시계열 데이터들 간의 패턴을 학습하는 LSTM(Long short-term memory) 알고리즘의 입력값으로 설정하고, 졸음, 피로, 작업 부하 및 스트레스의 정량적 수치를 출력값으로 도출하는 단계를 포함할 수 있다.
영상 데이터를 이용한 운전자의 운전 상태의 판단은, MTCNN(Multi-task cascaded Convolutional Neural Network) 검출기를 이용하여, 카메라로 촬영된 영상 데이터의 운전자의 얼굴을 검출하는 단계와, 단계에서 검출된 얼굴을 이용하여 운전자 상태 판단을 위한 얼굴의 특징 요소를 추출하는 단계와, 얼굴의 특징 요소를 입력값으로 하여, 졸음, 피로, 작업 부하 및 스트레스의 정량적 수치를 출력값으로 도출하는 단계를 포함할 수 있다.
차량 제어부는, (a) 상기 운전자의 각성 최적 상태로 운전 가능 상태이면, 차량 제어권을 운전자에게 부여한 상태를 유지하는 단계와, (b) 상기 운전자의 각성 과소 상태이면, 운전자에게 경고하여 각성 상태를 상승시키는 단계와, (c) 상기 운전자의 각성 과잉 상태이면, 차량 내부 환경을 변경 제어하고, 차량 운전 보조 시스템과 자율 주행 시스템을 활성화하여 각성 상태를 감소시키는 단계와, (d) 상기 운전자의 각성 불능 상태로 운전 불가능 상태이면, 차량 제어권을 자율 주행 시스템으로 전환하는 단계를 제어할 수 있다.
(b) 단계는, 차량 운전자에게 시각적, 청각적 경고하고, 차량 운전석의 시트의 진동 기능을 활성화할 수 있다.
(c) 단계는, 차량의 공기 조화 시스템과 음향 제어 시스템의 작동하여 차량 내부 환경을 변경 제어할 수 있다.
(d) 단계는, 차량 GPS 시스템과 연계한 자율 주행시스템을 이용하여 차량을 안전 장소로 이동하도록 제어할 수 있다.
본 발명의 일 실시예는, (A) 운전자의 생체 데이터와 영상 데이터를 수집하여 운전자의 운전 상태 정보를 데이터 수집부에 저장하는 단계와, (B) 상기 (A) 단계의 운전 상태 정보를 이용하여 운전자의 각성 상태를 구분하고, 구분된 각성 상태에 따라 운전자 상태 판단부에서 운전 가능 여부를 판단하는 단계와, (C) 상기 운전자 상태 판단부의 정보를 수신하여 운전자의 운전 가능 상태이면 운전자가 차량 제어가 가능한 상태를 유지하고 운전자의 운전 불가능 상태이면 자율 주행 상태로 전환하는 단계를 포함할 수 있다.
(A) 단계에서, 생체 데이터는 차량 운전자에게 착용되는 웨어러블 생체 센서를 이용하여 수집되고, 상기 영상 데이터는, 차량 운전자 상태를 촬영하는 카메라를 이용하여 수집될 수 있다.
카메라는, 영상 카메라, 적외선(infrared, IR), 시각적 깊이를 촬영하는 깊이(depth) 카메라 중의 적어도 하나를 포함할 수 있다.
영상 카메라 및 적외선(infrared, IR)은, 운전자의 눈깜박이는 횟수, 눈꺼풀의 동공 가림 비율, 시선 방향, 입 모양 하품 횟수 중에 적어도 하나 이상의 영상을 촬영한 영상 데이터를 촬영할 수 있다.
깊이 카메라는, 얼굴 각도, 운전자의 표정, 운전자 머리의 끄덕임 중에 적어도 하나 이상의 영상을 촬영할 수 있다.
생체 데이터는, 뇌전도(electroencephalogram, EEG), 안구전도(Electrooculography, EOG), 근전도(Electroyography, 근전도), 심전도(Electrocardiography, ECG), 피부전도도(galvanic skin response, GSR), 피부 온도(skin temperature, SKT), 호흡(Respiration, RSP), 맥파(Photoplethysmograph, PPG) 중 적어도 하나의 데이터를 포함할 수 있다.
(B) 단계는, (B-1) 상기 데이터 수집부에 저장된 상기 생체 데이터와 상기 영상 데이터를 포함한 운전자의 운전 상태 정보를 이용하여, 데이터를 정량화하고 운전자의 상태를 판단하는 단계와, (B-2) 상기 (B-1) 단계의 정량화된 데이터를 분석하여, 운전자의 각성 상태를 각성 과소 상태, 각성 최적 상태, 각성 과잉 상태 및 각성 불능 상태로 분류하는 단계와, (B-3) 상기 각성 최적 상태이면 운전 가능 상태로 판단하고, 각성 과소 및 과잉 상태는 운전 부주의 상태로 판단하고, 각성 불능 상태를 운전 불가능 상태로 판단하는 단계를 포함할 수 있다.
(B-1) 단계의 생체 데이터를 이용한 운전자의 운전 상태의 판단은, 상기 생체 데이터를 전처리 과정을 통해 노이즈를 제거하는 단계와, 뇌전도(electroencephalogram, EEG)에서 알파파, 세타파, 베타파에 해당하는 주파수 영역의 대역별로 PSD(power spectral density) 분석을 하고, 뇌파의 샘플 엔트로피(sample entropy)를 추출하는 단계와, 생체 데이터를 시계열 데이터들 간의 패턴을 학습하는 LSTM(Long short-term memory) 알고리즘의 입력값으로 설정하고, 졸음, 피로, 작업 부하 및 스트레스의 정량적 수치를 출력값으로 도출하는 단계를 포함할 수 있다.
(B-1) 단계의 상기 영상 데이터를 이용한 운전자의 운전 상태의 판단은, MTCNN(Multi-task cascaded Convolutional Neural Network) 검출기를 이용하여, 카메라로 촬영된 영상 데이터의 운전자의 얼굴을 검출하는 단계와, 단계에서 검출된 얼굴을 이용하여 운전자 상태 판단을 위한 얼굴의 특징 요소를 추출하는 단계와, 얼굴의 특징 요소를 입력값으로 하여, 졸음, 피로, 작업 부하 및 스트레스의 정량적 수치를 출력값으로 도출하는 단계를 포함할 수 있다.
(C) 단계는, (c-1) 상기 운전자의 각성 최적 상태로 운전 가능 상태이면, 차량 제어권을 운전자에게 부여한 상태를 유지하는 단계와, (c-2) 상기 운전자의 각성 과소 상태이면, 운전자에게 경고하여 각성 상태를 상승시키는 단계와, (c-3) 상기 운전자의 각성 과잉 상태이면, 차량 내부 환경을 변경 제어하고, 차량 운전 보조 시스템과 자율 주행 시스템을 활성화하여 각성 상태를 감소시키는 단계와, (c-4) 상기 운전자의 각성 불능 상태로 운전 불가능 상태이면, 차량 제어권을 자율 주행 시스템으로 전환하는 단계를 포함할 수 있다.
(C-2) 단계는, 차량 운전자에게 시각적, 청각적 경고하고, 차량 운전석의 시트의 진동 기능을 활성화할 수 있다.
(C-3) 단계는, 차량의 공기 조화 시스템과 음향 제어 시스템의 작동하여 차량 내부 환경을 변경 제어할 수 있다.
본 발명의 일 실시예에 따르면, 차량 운전자의 각성 상태를 운전자의 생체 데이터와 영상 데이트를 이용하여 확인하고, 각성 상태에 따라 차량의 안전 주행이 가능하도록 차량 제어를 하는 것이 가능한 바, 차량 사고 발생을 효과적으로 방지하고 안전 운행이 이루어질 수 있다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 차량의 스마트 제어 시스템을 개략적으로 도시한 블럭도이다.
도 2는 본 발명의 일 실시예에 따른 생체 데이터를 이용한 운전자의 운전 상태의 판단 방법을 개략적으로 도시한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 영상 데이터를 이용한 운전자의 운전 상태의 판단 방법을 개략적으로 도시한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 차량 제어부에서 운전자의 각성 상태에 따른 차량 제어 방법을 개략적으로 도시한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 자율 주행 차량의 스마트 제어 방법을 개략적으로 도시한 흐름도이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.
도 1은 본 발명의 일 실시예에 따른 자율 주행 차량의 스마트 제어 시스템을 개략적으로 도시한 블럭도이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 자율 주행 차량의 스마트 제어 시스템(100)은, 운전자의 생체 데이터와 영상 데이터를 수집하여, 운전자의 운전 상태 정보를 저장하는 데이터 수집부(10)와, 운전 상태 정보를 이용하여 운전자의 각성 상태를 구분하고 구분된 각성 상태에 따라 운전 가능 여부를 판단하는 운전자 상태 판단부(20)와, 운전자 상태 판단부의 정보를 수신하여 운전자의 운전 가능 상태이면 운전자가 차량 제어가 가능한 상태를 유지하고 운전자의 운전 불가능 상태이면 자율 주행 상태로 전환하는 차량 제어부(30)를 포함한다.
데이터 수집부(10)는, 차량 운전자의 생체 데이터와 영상 데이터를 수집하여 운전자의 운전 상태 정보를 저장할 수 있다.
데이터 수집부(10)는 차량을 운전하고 있는 운전자의 실시간 상태를 확인하여 저장하는 것으로, 운전자의 생체 데이터와 차량 운전에 대한 실시간의 영상 데이터를 포함하는 운전 상태 정보를 저장할 수 있다.
보다 구체적으로 설명하면, 데이터 수집부(10)는 차량 운전자에게 착용되는 웨어러블 생체 센서(11)와, 차량 운전 상태를 촬영하는 카메라(13)를 포함할 수 있다.
웨어러블 생체 센서(11)는 차량 운전자에 착용되는 것으로, 손목 위치 또는 머리 위치 등의 소정의 위치에 적절하게 착용될 수 있다.
웨어러블 생체 센서(11)를 이용한 생체 데이터는, 뇌전도(electroencephalogram, EEG), 안구전도(Electrooculography, EOG), 근전도(Electroyography, 근전도), 심전도(Electrocardiography, ECG), 피부전도도(galvanic skin response, GSR), 피부 온도(skin temperature, SKT), 호흡(Respiration, RSP), 맥파(Photoplethysmograph, PPG) 중 적어도 하나의 데이터를 측정할 수 있다.
이러한 웨어러블 생체 센서(11)를 통해 측정된 생체 데이터는. 운전자 상태 판단부(20)로 송신될 수 있다.
카메라(13)는 차량 운전자의 운전 상태의 영상을 실시간으로 촬영하는 것으로, 운전자의 운전 가능 상태 여부를 확인 가능하도록 촬영된 영상 데이터를 운전자 상태 판단부(20)에 송신하도록 설치될 수 있다.
보다 구체적으로 설명하면, 카메라(13)는 영상 카메라, 적외선(infrared, IR), 시각적 깊이를 촬영하는 깊이(depth) 카메라를 포함할 수 있다.
즉, 영상 카메라, 적외선(infrared, IR), 시각적 깊이를 촬영하는 깊이(depth) 카메라의 적어도 어느 하나를 단독 또는 복수개의 카메라를 이용하여, 차량 내부 환경의 변화에도 운전자의 운전 상태를 안정적으로 촬영 가능하도록 설치될 수 있다.
이러한 영상 카메라와 적외선 카메라는, 운전자의 눈 깜박이는 횟수, 눈꺼풀의 동공 가림 비율, 시선 방향, 입 모양 하품 횟수 중에 적어도 하나 이상의 영상을 촬영한 영상 데이터를 데이터 수집부(10)에 저장할 수 있다.
그리고, 깊이 카메라는, 얼굴 각도, 운전자의 표정, 운전자 머리의 끄덕임 중에 적어도 하나 이상의 영상을 촬영하고, 촬영된 영상 데이터를 데이터 수집부(10)에 저장할 수 있다. 이와 같이, 깊이 카메라는 운전자의 운전 상태를 3D의 입체적으로 촬영하는 것으로, 운전자의 운전 상태를 입체적으로 촬영하는 바, 운전자의 운전 상태의 보다 정확한 촬영이 가능하다.
운전자 상태 판단부(20)는, 데이터 수집부(10)에 저장된 운전 상태 정보를 수신하여. 운전자의 각성 상태를 구분하고 구분된 각성 상태에 따라 운전 가능 여부를 판단하도록 설치될 수 있다. 운전자 상태 판단부(20)는 차량에 설치된 ECU로 적용될 수 있다. 이하에서 운전자 상태 판단부(20)의 판단 제어 방법을 구체적으로 설명한다.
먼저, 데이터 수집부(10)에 저장된 생체 데이터와 영상 데이터를 포함한 운전자의 운전 상태 정보를 이용하여, 데이터를 정량화하고 운전자의 상태를 판단한다. 여기서 생체 데이터를 이용한 운전자의 상태 판단과, 영상 데이터를 이용한 운전자의 상태 판단이 함께 이루어질 수 있다.
도 2는 본 발명의 일 실시예에 따른 체 데이터를 이용한 운전자의 운전 상태의 판단 방법을 개략적으로 도시한 흐름도이다. 도 2를 참조하여 생체 데이터를 이용한 운전자의 운전 상태의 판단 방법을 이하에서 설명한다.
먼저, 생체 데이터를 전처리 과정을 통해 노이즈를 제거한다(S21). (S21) 단계는 생체 데이터의 전처리 과정을 수행하여 운전자의 상태 판단에 필요한 특징 요소만을 추출할 수 있다.
다음, 생체 데이터에 포함되는 뇌전도(electroencephalogram, EEG)에서 알파파, 세타파, 베타파에 해당하는 주파수 영역의 대역별로 PSD(power spectral density) 분석을 하고, 뇌파의 샘플 엔트로피(sample entropy)를 추출한다(S22). (S22) 단계의 뇌전도와 뇌파는 생체 데이터의 일부분으로서, 안구전도(Electrooculography, EOG), 근전도(Electroyography, 근전도), 심전도(Electrocardiography, ECG), 피부전도도(galvanic skin response, GSR), 피부 온도(skin temperature, SKT), 호흡(Respiration, RSP), 맥파(Photoplethysmograph, PPG)의 분석도 함께 이루어질 수 있다.
이어서, 생체 데이터를 시계열 데이터들 간의 패턴을 학습하는 LSTM(Long short-term memory) 알고리즘의 입력값으로 설정하고, 졸음, 피로, 작업 부하 및 스트레스의 4가지 정량적 수치를 출력값으로 도출한다(S23).
(S23) 단계는 운전자의 운전 가능 또는 불능 상태를 판단하는 주요 요소로서, 졸음, 피로, 작업 부하 및 스트레스의 4가지 정량적 수치를 출력하기 위한 단계를 말한다. (S23) 단계는 생체 데이터는 시간에 따른 변화율이 운전자의 상태의 확인에 주요한 영향을 미치는 바, LSTM(Long short-term memory) 알고리즘을 이용한 분석으로, 졸음, 피로, 작업 부하 및 스트레스의 4가지 정량적 수치를 도출할 수 있다.
도 3은 본 발명의 일 실시예에 따른 영상 데이터를 이용한 운전자의 운전 상태의 판단 방법을 개략적으로 도시한 흐름도이다. 이하에서 도 3을 참조하여, 영상 데이터를 이용한 운전자의 운전 상태의 판단 방법을 이하에서 설명한다.
먼저, MTCNN(Multi-task cascaded Convolutional Neural Network) 검출기를 이용하여 카메라로 촬영된 영상 데이터의 운전자의 얼굴을 검출한다(S24). (S24) 단계는 MTCNN 검출기를 이용하여 차량 내부의 촬영된 영상에서, 운전자의 얼굴에 해당하는 부분을 선택적으로 검출할 수 있다.
다음, (S24) 단계에서 검출된 얼굴을 이용하여 운전자 상태 판단을 위한 얼굴의 특징 요소를 추출한다(S25).
(S25) 단계는 (S24) 단계에서 검출된 얼굴 이미지에서 운전자의 상태를 판단하기 위한 특징 요소를 추출할 수 있다. 즉, (S25) 단계는 얼굴 이미지에서 졸음, 피로 등의 확인을 위해 눈, 입 등의 얼굴의 특징 부분을 추출할 수 있다.
이어서, (S25) 단계에서 추출된 얼굴의 특징 요소를 입력값으로 하여, 졸음, 피로, 작업 부하 및 스트레스의 정량적 수치를 출력값으로 도출한다(S26).
(S26) 단계는 운전자의 운전 가능 또는 불능 등을 확인하기 위한 상태 판단을 위해 추출한 얼굴의 특징 요소를 알고리즘에 입력하고, 피로, 작업 부하 및 스트레스의 4가지의 출력값으로 각각 도출할 수 있다.
전술한 바와 같이, 운전자 상태 판단부(20)는 생체 데이터와 영상 데이터를 이용하여 데이터를 정량화하여 운전자의 상태를 판단한다.
여기서, 정량화된 데이터를 분석하여, 운전자의 각성 상태를 각성 과소 상태, 각성 최적 상태, 각성 과잉 상태 및 각성 불능 상태로 분류할 수 있다.
다음, 생체 데이터와 영상 데이터를 이용한 인공지능 알고리즘을 이용하여, 운전자의 피로, 작업 부하 및 스트레스의 4가지의 출력된 판단 결과를 이용하여 운전자의 각성 상태를 분류할 수 있다.
이어서, 상기 분류된 각성 최적 상태이면 운전 가능 상태로 판단하고, 각성 과소 및 과잉 상태는 운전 부주의 상태로 판단하고, 각성 불능 상태를 운전 불가능 상태로 판단할 수 있다. 이는 각성 상태별로, 운전 가능 상태 또는 운전 불능 상태를 판단하기 위한 것으로, 차량 제어부(30)에서 차량 제어권이 운전자 또는 자율 주행 상태로 제어권이 선택적으로 부여되도록 제어하기 위한 것이다. 이에 대해서는 이하에서 차량 제어부(30)를 설명하면서 구체적으로 설명한다.
차량 제어부(30)는, 운전자 상태 판단부의 정보를 수신하여 운전자의 운전 가능 상태이면 운전자가 차량 제어가 가능한 상태를 유지하고 운전자의 운전 불가능 상태이면 자율 주행 상태로 전환하도록 설치될 수 있다. 차량 제어부(30)는 차량에 설치된 ECU로 적용될 수 있다.
도 4는 본 발명의 일 실시예에 따른 차량 제어부에서 운전자의 각성 상태에 따른 차량 제어 방법을 개략적으로 도시한 흐름도이다. 도 5를 참조하여 차량 제어부(30)에서 운전자의 각성 상태에 따른 차량 제어 방법을 이하에서 구체적으로 설명한다.
먼저, 운전자의 각성 최적 상태로 운전 가능 상태이면, 차량 제어권을 운전자에게 부여한 상태를 유지한다(S40).
(S40) 단계는 운전자의 각성 상태가 운전에 지장이 없는 최적의 상태로 확인되는 경우, 운전자가 차량 운전을 실시하도록 차량 제어권이 운전자에게 부여된 상태를 유지할 수 있다.
이어서, 운전자의 각성 과소 상태이면, 운전자에게 경고하여 각성 상태를 상승시킨다(S50).
(S50) 단계는 차량 운전자에게 시각적, 청각적 경고하고, 차량 운전석의 시트의 진동 기능을 활성화하여 각성 상태가 상승되도록 운전자에게 경고할 수 있다.
여기서, 시각적 경고는 차량 내부에 설치된 엘이디 조명으로 적용될 수 있다. 그리고 청각적 경고는 차량 내부에 설치된 스피커를 이용하여 소정의 경고음을 발하도록 적용될 수 있다. 또한, 차량 시트에 진동 기능이 설치된 경우, 진동 기능을 활성화하여 운전자에게 직접적인 경고가 이루어지는 것도 가능하다.
다음, 운전자의 각성 과잉 상태이면, 차량 내부 환경을 변경 제어하고, 차량 운전 보조 시스템과 자율 주행 시스템을 활성화하여 각성 상태를 감소시킨다(S60).
(S60) 단계는 차량의 공기 조화 시스템과 음향 제어 시스템의 작동하여 차량 내부 환경을 변경 제어하는 것으로, 음향 제어 시스템을 작동하여 운전자에게 청각적 자극을 주고, 공기 조화 시스템을 작동하여 환기 작용에 의해 운전자의 각성 상태를 감소시킬 수 있다.
아울러 (S60) 단계는 차량의 운전 보조 시스템과 자율 주행 시스템의 활성화 제어도 함께 실시하여 각성 과잉 상태에서 사고 발생을 방지하도록 제어할 수 있다.
이어서, 운전자의 각성 불능 상태로 운전 불가능 상태이면, 차량 제어권을 자율 주행 시스템으로 전환한다(S70).
(S70) 단계는, 운전자의 각성 상태를 확인하여 운전 불능 상태로 판단되면, 차량 제어권을 운전자로부터 자율 주행 시스템으로 제어권 전환이 이루어지도록 제어할 수 있다. (S70) 단계는 차량 제어권이 자율 주행 시스템으로 전환하 상태에서 차량이 사고 발생 위험이 없는 안전 위치로 위치 이동 되도록 제어할 수 있다.
즉, 차량 제어부(30)는 운전자의 운전 불가능 상태에서 차량을 근접 거리의 병원으로 이동시키도록 제어할 수 있다. 한편, 차량 제어부(30)는 인접 위치에 병원이 없는 경우, 비상 전화를 이용하여 구호 조치가 가능하도록 연락하는 것도 가능하다.
전술한 바와 같이, 본 실시예의 자율 주행 차량의 스마트 제어 시스템(100)은, 차량 운전자의 각성 상태를 운전자의 생체 데이터와 영상 데이트를 이용하여 확인하고, 각성 상태에 따라 차량의 안전 주행이 가능하도록 차량 제어를 하는 것이 가능한 바, 차량 사고 발생을 효과적으로 방지하고 안전 운행이 이루어질 수 있다.
도 5는 본 발명의 일 실시예에 따른 자율 주행 차량의 스마트 제어 방법을 개략적으로 도시한 흐름도이다. 도 1 내지 도 4와 동일 참조 번호는 동일 또는 유사 기능의 동일 또는 유사부재를 말한다. 이하에서 동일 참조 번호에 대해서는 그 자세한 설명을 생략하며 도 1 내지 도 5를 참조하여 자율 주행 차량의 스마트 제어 방법을 구체적으로 설명한다.
먼저, 운전자의 생체 데이터와 영상 데이터를 수집하여 운전자의 운전 상태 정보를 데이터 수집부(10)에 저장한다(S10).
(S10）단계의 데이터 수집부(10)는 차량 운전자에게 착용되는 웨어러블 생체 센서(11)와, 차량 운전 상태를 촬영하는 카메라(13)를 포함할 수 있다.
웨어러블 생체 센서(11)는 차량 운전자에 착용되는 것으로, 손목 위치 또는 머리 위치 등의 소정의 위치에 적절하게 착용될 수 있다.
웨어러블 생체 센서(11)를 이용한 생체 데이터는, 뇌전도(electroencephalogram, EEG), 안구전도(Electrooculography, EOG), 근전도(Electroyography, 근전도), 심전도(Electrocardiography, ECG), 피부전도도(galvanic skin response, GSR), 피부 온도(skin temperature, SKT), 호흡(Respiration, RSP), 맥파(Photoplethysmograph, PPG) 중 적어도 하나의 데이터를 측정할 수 있다.
다음, 상기 (S10) 단계의 운전 상태 정보를 이용하여 운전자의 각성 상태를 구분하고, 구분된 각성 상태에 따라 운전 가능 여부를 판단한다(S20). (S20) 단계는 운전자 상태 판단부(20)에서 운전 가능 여부를 판단할 수 있다.
(S20) 단계의 데이터 수집부(10)에 저장된 운전 상태 정보를 수신하여. 운전자의 각성 상태를 구분하고 구분된 각성 상태에 따라 운전 가능 여부를 판단하도록 설치될 수 있다. 이하에서 운전 가능여부 판단 제어 방법을 구체적으로 설명한다.
먼저, 데이터 수집부(10)에 저장된 생체 데이터와 영상 데이터를 포함한 운전자의 운전 상태 정보를 이용하여, 데이터를 정량화하고 운전자의 상태를 판단한다. 이는 생체 데이터를 이용한 운전자의 상태 판단과, 영상 데이터를 이용한 운전자의 상태 판단이 함께 이루어질 수 있다.
먼저, 도 2를 참조하여, 생체 데이터를 이용한 운전자의 운전 상태의 판단 방법을 이하에서 설명한다.
먼저, 생체 데이터를 전처리 과정을 통해 노이즈를 제거한다(S21). (S21) 단계는 생체 데이터의 전처리 과정을 수행하여 운전자의 상태 판단에 필요한 특징 요소만을 추출할 수 있다.
다음, 생체 데이터에 포함되는 뇌전도(electroencephalogram, EEG)에서 알파파, 세타파, 베타파에 해당하는 주파수 영역의 대역별로 PSD(power spectral density) 분석을 하고, 뇌파의 샘플 엔트로피(sample entropy)를 추출한다(S22).
(S22) 단계의 뇌전도와 뇌파는 생체 데이터의 일부분으로서, 안구전도(Electrooculography, EOG), 근전도(Electroyography, 근전도), 심전도(Electrocardiography, ECG), 피부전도도(galvanic skin response, GSR), 피부 온도(skin temperature, SKT), 호흡(Respiration, RSP), 맥파(Photoplethysmograph, PPG)의 분석도 함께 이루어질 수 있다.
이어서, 생체 데이터를 시계열 데이터들 간의 패턴을 학습하는 LSTM(Long short-term memory) 알고리즘의 입력값으로 설정하고, 졸음, 피로, 작업 부하 및 스트레스의 4가지 정량적 수치를 출력값으로 도출한다(S23).
(S23) 단계는 운전자의 운전 가능 또는 불능 상태를 판단하는 주요 요소로서, 졸음, 피로, 작업 부하 및 스트레스의 4가지 정량적 수치를 출력하기 위한 단계를 말한다. (S23) 단계는 생체 데이터는 시간에 따른 변화율이 운전자의 상태의 확인에 주요한 영향을 미치는 바, LSTM(Long short-term memory) 알고리즘을 이용한 분석으로, 졸음, 피로, 작업 부하 및 스트레스의 4가지 정량적 수치를 도출할 수 있다.
다음 도 3을 참조하여, 영상 데이터를 이용한 운전자의 운전 상태의 판단 방법을 이하에서 설명한다.
먼저, MTCNN(Multi-task cascaded Convolutional Neural Network) 검출기를 이용하여 카메라로 촬영된 영상 데이터의 운전자의 얼굴을 검출한다(S24). (S24) 단계는 MTCNN 검출기를 이용하여 차량 내부의 촬영된 영상에서, 운전자의 얼굴에 해당하는 부분을 선택적으로 검출할 수 있다.
다음, (S24) 단계에서 검출된 얼굴을 이용하여 운전자 상태 판단을 위한 얼굴의 특징 요소를 추출한다(S25).
(S25) 단계는 (S24) 단계에서 검출된 얼굴 이미지에서 운전자의 상태를 판단하기 위한 특징 요소를 추출할 수 있다. 즉, (S25) 단계는 얼굴 이미지에서 졸음, 피로 등의 확인을 위해 눈, 입 등의 얼굴의 특징 부분을 추출할 수 있다.
이어서, (S25) 단계에서 추출된 얼굴의 특징 요소를 입력값으로 하여, 졸음, 피로, 작업 부하 및 스트레스의 정량적 수치를 출력값으로 도출한다(S26).
(S26) 단계는 운전자의 운전 가능 또는 불능 등을 확인하기 위한 상태 판단을 위해 추출한 얼굴의 특징 요소를 알고리즘에 입력하고, 피로, 작업 부하 및 스트레스의 4가지의 출력값으로 각각 도출할 수 있다.
전술한 바와 같이, 운전자 상태 판단부(20)는 생체 데이터와 영상 데이터를 이용하여 데이터를 정량화하여 운전자의 상태를 판단한다.
이어서 상기 단계의 정량화된 데이터를 분석하여, 운전자의 각성 상태를 각성 과소 상태, 각성 최적 상태, 각성 과잉 상태 및 각성 불능 상태로 분류할 수 있다. 여기서, 생체 데이터와 영상 데이터를 이용한 인공지능 알고리즘을 이용하여, 운전자의 피로, 작업 부하 및 스트레스의 4가지의 출력된 판단 결과를 이용하여 운전자의 각성 상태를 분류할 수 있다.
다음, 상기 분류된 각성 최적 상태이면 운전 가능 상태로 판단하고, 각성 과소 및 과잉 상태는 운전 부주의 상태로 판단하고, 각성 불능 상태를 운전 불가능 상태로 판단한다. 이는 각성 상태별로, 운전 가능 상태 또는 운전 불능 상태를 판단하기 위한 것으로, 차량 제어부(30)에서 차량 제어권이 운전자 또는 자율 주행 상태로 제어권이 선택적으로 부여되도록 제어하기 위한 것이다.
다음, 운전자 상태 판단부의 정보를 수신하여 운전자의 운전 가능 상태이면 운전자가 차량 제어가 가능한 상태를 유지하고 운전자의 운전 불가능 상태이면 자율 주행 상태로 전환할 수 있다. 이하에서 도 5를 참조하여 보다 구체적으로 설명한다.
먼저, 운전자의 각성 최적 상태로 운전 가능 상태이면(S30), 차량 제어권을 운전자에게 부여한 상태를 유지한다(S40).
(S40) 단계는 운전자의 각성 상태가 운전에 지장이 없는 최적의 상태로 확인되는 경우, 운전자가 차량 운전을 실시하도록 차량 제어권이 운전자에게 부여된 상태를 유지할 수 있다.
이어서, 운전자의 각성 과소 상태이면, 운전자에게 경고하여 각성 상태를 상승시킨다(S50).
(S50) 단계는 차량 운전자에게 시각적, 청각적 경고하고, 차량 운전석의 시트의 진동 기능을 활성화하여 각성 상태가 상승되도록 운전자에게 경고할 수 있다.
여기서, 시각적 경고는 차량 내부에 설치된 엘이디 조명으로 적용될 수 있다. 그리고 청각적 경고는 차량 내부에 설치된 스피커를 이용하여 소정의 경고음을 발하도록 적용될 수 있다. 또한, 차량 시트에 진동 기능이 설치된 경우, 진동 기능을 활성화하여 운전자에게 직접적인 경고가 이루어지는 것도 가능하다.
다음, 운전자의 각성 과잉 상태이면, 차량 내부 환경을 변경 제어하고, 차량 운전 보조 시스템과 자율 주행 시스템을 활성화하여 각성 상태를 감소시킨다(S60).
(S60) 단계는 차량의 공기 조화 시스템과 음향 제어 시스템의 작동하여 차량 내부 환경을 변경 제어하는 것으로, 음향 제어 시스템을 작동하여 운전자에게 청각적 자극을 주고, 공기 조화 시스템을 작동하여 환기 작용에 의해 운전자의 각성 상태를 감소시킬 수 있다.
아울러 (S60) 단계는 차량의 운전 보조 시스템과 자율 주행 시스템의 활성화 제어도 함께 실시하여 각성 과잉 상태에서 사고 발생을 방지하도록 제어할 수 있다.
이어서, 운전자의 각성 불능 상태로 운전 불가능 상태이면, 차량 제어권을 자율 주행 시스템으로 전환한다(S70).
(S70) 단계는, 운전자의 각성 상태를 확인하여 운전 불능 상태로 판단되면, 차량 제어권을 운전자로부터 자율 주행 시스템으로 제어권 전환이 이루어지도록 제어할 수 있다. (S70) 단계는 차량 제어권이 자율 주행 시스템으로 전환하 상태에서 차량이 사고 발생 위험이 없는 안전 위치로 위치 이동 되도록 제어할 수 있다.
즉, 차량 제어부(30)는 운전자의 운전 불가능 상태에서 차량을 근접 거리의 병원으로 이동시키도록 제어할 수 있다. 한편, 차량 제어부(30)는 인접 위치에 병원이 없는 경우, 비상 전화를 이용하여 구호 조치가 가능하도록 연락하는 것도 가능하다.
이상을 통해 본 발명의 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명의 범위에 속하는 것은 당연하다.
10...데이터 수집부 11...웨어러블 생체 센서
13...카메라 20...운전자 상태 판단부
30...차량 제어부

Claims (25)

  1. 운전자의 생체 데이터와 영상 데이터를 수집하여, 운전자의 운전 상태 정보를 저장하는 데이터 수집부;
    운전 상태 정보를 이용하여 운전자의 각성 상태를 구분하고 구분된 각성 상태에 따라 운전 가능 여부를 판단하는 운전자 상태 판단부; 및
    운전자 상태 판단부의 정보를 수신하여 운전자의 운전 가능 상태이면 운전자가 차량 제어가 가능한 상태를 유지하고 운전자의 운전 불가능 상태이면 자율 주행 상태로 전환하는 차량 제어부;
    를 포함하는, 자율 주행 차량의 스마트 제어 시스템.
  2. 제1항에 있어서,
    상기 데이터 수집부는, 차량 운전자에게 착용되는 웨어러블 생체 센서와, 차량 운전 상태를 촬영하는 카메라를 포함하는, 자율 주행 차량의 스마트 제어 시스템.
  3. 제2항에 있어서,
    상기 생체 데이터는,
    뇌전도(electroencephalogram, EEG), 안구전도(Electrooculography, EOG), 근전도(Electroyography, 근전도), 심전도(Electrocardiography, ECG), 피부전도도(galvanic skin response, GSR), 피부 온도(skin temperature, SKT), 호흡(Respiration, RSP), 맥파(Photoplethysmograph, PPG) 중 적어도 하나의 데이터를 포함하는, 자율 주행 차량의 스마트 제어 시스템.
  4. 제3항에 있어서,
    상기 카메라는, 영상 카메라, 적외선(infrared, IR), 시각적 깊이를 촬영하는 깊이(depth) 카메라 중의 적어도 하나를 포함하는, 자율 주행 차량의 스마트 제어 시스템.
  5. 제4항에 있어서,
    상기 영상 카메라 및 적외선(infrared, IR)은, 운전자의 눈깜박이는 횟수, 눈꺼풀의 동공 가림 비율, 시선 방향, 입 모양 하품 횟수 중에 적어도 하나 이상의 영상을 촬영한 영상 데이터를 촬영하는, 자율 주행 차량의 스마트 제어 시스템.
  6. 제5항에 있어서,
    상기 깊이 카메라는, 얼굴 각도, 운전자의 표정, 운전자 머리의 끄덕임 중에 적어도 하나 이상의 영상을 촬영하는, 자율 주행 차량의 스마트 제어 시스템.
  7. 제6항에 있어서,
    상기 운전자 상태 판단부는,
    상기 데이터 수집부에 저장된 상기 생체 데이터와 상기 영상 데이터를 포함한 운전자의 운전 상태 정보를 이용하여, 데이터를 정량화하고 운전자의 상태를 판단하는 단계;
    상기 단계의 정량화된 데이터를 분석하여, 운전자의 각성 상태를 각성 과소 상태, 각성 최적 상태, 각성 과잉 상태 및 각성 불능 상태로 분류하는 단계; 및
    상기 각성 최적 상태이면 운전 가능 상태로 판단하고, 각성 과소 및 과잉 상태는 운전 부주의 상태로 판단하고, 각성 불능 상태를 운전 불가능 상태로 판단하는 단계;
    를 수행하는, 자율 주행 차량의 스마트 제어 시스템.
  8. 제7항에 있어서,
    상기 생체 데이터를 이용한 운전자의 운전 상태의 판단은,
    상기 생체 데이터를 전처리 과정을 통해 노이즈를 제거하는 단계;
    상기 뇌전도(electroencephalogram, EEG)에서 알파파, 세타파, 베타파에 해당하는 주파수 영역의 대역별로 PSD(power spectral density) 분석을 하고, 뇌파의 샘플 엔트로피(sample entropy)를 추출하는 단계; 및
    상기 생체 데이터를 시계열 데이터들 간의 패턴을 학습하는 LSTM(Long short-term memory) 알고리즘의 입력값으로 설정하고, 졸음, 피로, 작업 부하 및 스트레스의 정량적 수치를 출력값으로 도출하는 단계;
    를 포함하는, 자율 주행 차량의 스마트 제어 시스템.
  9. 제8항에 있어서,
    상기 영상 데이터를 이용한 운전자의 운전 상태의 판단은,
    MTCNN(Multi-task cascaded Convolutional Neural Network) 검출기를 이용하여, 카메라로 촬영된 영상 데이터의 운전자의 얼굴을 검출하는 단계;
    상기 단계에서 검출된 얼굴을 이용하여 운전자 상태 판단을 위한 얼굴의 특징 요소를 추출하는 단계; 및
    상기 얼굴의 특징 요소를 입력값으로 하여, 졸음, 피로, 작업 부하 및 스트레스의 정량적 수치를 출력값으로 도출하는 단계;
    를 포함하는, 자율 주행 차량의 스마트 제어 시스템.
  10. 제9항에 있어서,
    상기 차량 제어부는,
    (a) 상기 운전자의 각성 최적 상태로 운전 가능 상태이면, 차량 제어권을 운전자에게 부여한 상태를 유지하는 단계;
    (b) 상기 운전자의 각성 과소 상태이면, 운전자에게 경고하여 각성 상태를 상승시키는 단계;
    (c) 상기 운전자의 각성 과잉 상태이면, 차량 내부 환경을 변경 제어하고, 차량 운전 보조 시스템과 자율 주행 시스템을 활성화하여 각성 상태를 감소시키는 단계; 및
    (d) 상기 운전자의 각성 불능 상태로 운전 불가능 상태이면, 차량 제어권을 자율 주행 시스템으로 전환하는 단계;
    를 제어하는, 자율 주행 차량의 스마트 제어 시스템.
  11. 제10항에 있어서,
    상기 (b) 단계는, 차량 운전자에게 시각적, 청각적 경고하고, 차량 운전석의 시트의 진동 기능을 활성화하는, 자율 주행 차량의 스마트 제어 시스템.
  12. 제11항에 있어서,
    상기 (c) 단계는, 차량의 공기 조화 시스템과 음향 제어 시스템의 작동하여 차량 내부 환경을 변경 제어하는, 자율 주행 차량의 스마트 제어 시스템.
  13. 제12항에 있어서,
    상기 (d) 단계는, 차량 GPS 시스템과 연계한 자율 주행시스템을 이용하여 차량을 안전 장소로 이동하도록 제어하는, 자율 주행 차량의 스마트 제어 시스템.
  14. (A) 운전자의 생체 데이터와 영상 데이터를 수집하여 운전자의 운전 상태 정보를 데이터 수집부에 저장하는 단계;
    (B) 상기 (A) 단계의 운전 상태 정보를 이용하여 운전자의 각성 상태를 구분하고, 구분된 각성 상태에 따라 운전자 상태 판단부에서 운전 가능 여부를 판단하는 단계; 및
    (C) 상기 운전자 상태 판단부의 정보를 수신하여 운전자의 운전 가능 상태이면 운전자가 차량 제어가 가능한 상태를 유지하고 운전자의 운전 불가능 상태이면 자율 주행 상태로 전환하는 단계;
    를 포함하는, 자율 주행 차량의 스마트 제어 방법.
  15. 제14항에 있어서,
    상기 (A) 단계에서,
    상기 생체 데이터는 차량 운전자에게 착용되는 웨어러블 생체 센서를 이용하여 수집되고, 상기 영상 데이터는, 차량 운전 상태를 촬영하는 카메라를 이용하여 수집되는, 자율 주행 차량의 스마트 제어 방법.
  16. 제15항에 있어서,
    상기 카메라는, 영상 카메라, 적외선(infrared, IR), 시각적 깊이를 촬영하는 깊이(depth) 카메라 중의 적어도 하나를 포함하는, 자율 주행 차량의 스마트 제어 방법.
  17. 제16항에 있어서,
    상기 영상 카메라 및 적외선(infrared, IR)은, 운전자의 눈깜박이는 횟수, 눈꺼풀의 동공 가림 비율, 시선 방향, 입 모양 하품 횟수 중에 적어도 하나 이상의 영상을 촬영한 영상 데이터를 촬영하는, 자율 주행 차량의 스마트 제어 방법.
  18. 제16항에 있어서,
    상기 깊이 카메라는, 얼굴 각도, 운전자의 표정, 운전자 머리의 끄덕임 중에 적어도 하나 이상의 영상을 촬영하는, 자율 주행 차량의 스마트 제어 방법.
  19. 제15항에 있어서,
    상기 생체 데이터는, 뇌전도(electroencephalogram, EEG), 안구전도(Electrooculography, EOG), 근전도(Electroyography, 근전도), 심전도(Electrocardiography, ECG), 피부전도도(galvanic skin response, GSR), 피부 온도(skin temperature, SKT), 호흡(Respiration, RSP), 맥파(Photoplethysmograph, PPG) 중 적어도 하나의 데이터를 포함하는, 자율 주행 차량의 스마트 제어 방법.
  20. 제14항에 있어서,
    상기 (B) 단계는,
    (B-1) 상기 데이터 수집부에 저장된 상기 생체 데이터와 상기 영상 데이터를 포함한 운전자의 운전 상태 정보를 이용하여, 데이터를 정량화하고 운전자의 상태를 판단하는 단계;
    (B-2) 상기 (B-1) 단계의 정량화된 데이터를 분석하여, 운전자의 각성 상태를 각성 과소 상태, 각성 최적 상태, 각성 과잉 상태 및 각성 불능 상태로 분류하는 단계; 및
    (B-3) 상기 각성 최적 상태이면 운전 가능 상태로 판단하고, 각성 과소 및 과잉 상태는 운전 부주의 상태로 판단하고, 각성 불능 상태를 운전 불가능 상태로 판단하는 단계;
    를 포함하는, 자율 주행 차량의 스마트 제어 방법.
  21. 제20항에 있어서,
    상기 (B-1) 단계의 생체 데이터를 이용한 운전자의 운전 상태의 판단은,
    상기 생체 데이터를 전처리 과정을 통해 노이즈를 제거하는 단계;
    상기 뇌전도(electroencephalogram, EEG)에서 알파파, 세타파, 베타파에 해당하는 주파수 영역의 대역별로 PSD(power spectral density) 분석을 하고, 뇌파의 샘플 엔트로피(sample entropy)를 추출하는 단계; 및
    상기 생체 데이터를 시계열 데이터들 간의 패턴을 학습하는 LSTM(Long short-term memory) 알고리즘의 입력값으로 설정하고, 졸음, 피로, 작업 부하 및 스트레스의 정량적 수치를 출력값으로 도출하는 단계;
    를 포함하는, 자율 주행 차량의 스마트 제어 방법.
  22. 제21항에 있어서,
    상기 (B-1) 단계의 상기 영상 데이터를 이용한 운전자의 운전 상태의 판단은,
    MTCNN(Multi-task cascaded Convolutional Neural Network) 검출기를 이용하여, 카메라로 촬영된 영상 데이터의 운전자의 얼굴을 검출하는 단계;
    상기 단계에서 검출된 얼굴을 이용하여 운전자 상태 판단을 위한 얼굴의 특징 요소를 추출하는 단계; 및
    상기 얼굴의 특징 요소를 입력값으로 하여, 졸음, 피로, 작업 부하 및 스트레스의 정량적 수치를 출력값으로 도출하는 단계;
    를 포함하는, 자율 주행 차량의 스마트 제어 방법.
  23. 제22항에 있어서,
    상기 (C) 단계는,
    (c-1) 상기 운전자의 각성 최적 상태로 운전 가능 상태이면, 차량 제어권을 운전자에게 부여한 상태를 유지하는 단계;
    (c-2) 상기 운전자의 각성 과소 상태이면, 운전자에게 경고하여 각성 상태를 상승시키는 단계;
    (c-3) 상기 운전자의 각성 과잉 상태이면, 차량 내부 환경을 변경 제어하고, 차량 운전 보조 시스템과 자율 주행 시스템을 활성화하여 각성 상태를 감소시키는 단계; 및
    (c-4) 상기 운전자의 각성 불능 상태로 운전 불가능 상태이면, 차량 제어권을 자율 주행 시스템으로 전환하는 단계;
    를 포함하는, 자율 주행 차량의 스마트 제어 방법.
  24. 제23항에 있어서,
    상기 (C-2) 단계는, 차량 운전자에게 시각적, 청각적 경고하고, 차량 운전석의 시트의 진동 기능을 활성화하는, 자율 주행 차량의 스마트 제어 방법.
  25. 제24항에 있어서,
    상기 (C-3) 단계는, 차량의 공기 조화 시스템과 음향 제어 시스템의 작동하여 차량 내부 환경을 변경 제어하는, 자율 주행 차량의 스마트 제어 방법.
KR1020200155790A 2020-11-19 2020-11-19 자율 주행 차량의 스마트 제어 시스템 및 방법 KR20220069177A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200155790A KR20220069177A (ko) 2020-11-19 2020-11-19 자율 주행 차량의 스마트 제어 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200155790A KR20220069177A (ko) 2020-11-19 2020-11-19 자율 주행 차량의 스마트 제어 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR20220069177A true KR20220069177A (ko) 2022-05-27

Family

ID=81791838

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200155790A KR20220069177A (ko) 2020-11-19 2020-11-19 자율 주행 차량의 스마트 제어 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR20220069177A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115195756A (zh) * 2022-06-29 2022-10-18 江苏大学 一种基于多模态刺激的疲劳驾驶情景下驾驶员意识唤醒系统
WO2024046091A1 (zh) * 2022-09-01 2024-03-07 华为技术有限公司 一种驾驶员提醒方法、装置、系统和移动载体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115195756A (zh) * 2022-06-29 2022-10-18 江苏大学 一种基于多模态刺激的疲劳驾驶情景下驾驶员意识唤醒系统
WO2024046091A1 (zh) * 2022-09-01 2024-03-07 华为技术有限公司 一种驾驶员提醒方法、装置、系统和移动载体

Similar Documents

Publication Publication Date Title
CN110276273B (zh) 融合面部特征与图像脉搏心率估计的驾驶员疲劳检测方法
Lopez-Martinez et al. Multi-task neural networks for personalized pain recognition from physiological signals
US10213152B2 (en) System and method for real-time measurement of sleep quality
KR20180001367A (ko) 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치 및 방법
CN107392153B (zh) 人体疲劳度判定方法
KR20220069177A (ko) 자율 주행 차량의 스마트 제어 시스템 및 방법
US20240081705A1 (en) Non-contact fatigue detection system and method based on rppg
Nakamura et al. Automatic detection of drowsiness using in-ear EEG
KR102416878B1 (ko) 심박수 측정을 위한 헬스케어 장치
WO2019176992A1 (ja) 推定システム、学習装置、学習方法、推定装置及び推定方法
KR102435808B1 (ko) 스트레스 지수 측정을 위한 헬스케어 장치
KR20200056660A (ko) 얼굴 내 미세움직임 기반 통증 모니터링 방법 및 시스템
KR20230093103A (ko) 뇌파 기반의 맞춤형 주행 제어 장치 및 그 방법
Vettivel et al. System for detecting student attention pertaining and alerting
CN108852313A (zh) 基于雷达的非干扰智能感知方法和系统
CN111554376B (zh) 基于大数据通道的瘫痪病人患者用多功能复合康复系统
Bulygin et al. Image-Based Fatigue Detection of Vehicle Driver: State-of-the-Art and Reference Model
Alam et al. A Cost-Effective Driver Drowsiness Recognition System
Rajan A Survey on Detecting Methods of Driver Drowsiness
Mahmood et al. Measuring The Fatigue of Persons Based on EOG Signal Processing Mmethods
Malcangi Fuzzy-Logic Decision Fusion for Nonintrusive Early Detection of Driver Fatigue or Drowsiness
US20240021307A1 (en) Computer-Implemented Method for Detecting a Microsleep State of Mind of a Person by Processing at Least One EEG Trace Using an Artificial Intelligence Algorithm and System Configured to Implement Such Method
US20240025420A1 (en) Information provision system, information provision control device and information provision method
US20230293072A1 (en) Method and system for detecting drowsiness of an individual
Reddy et al. Wavelet based analysis of EEG signal for detecting various conditions of driver

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X601 Decision of rejection after re-examination