KR20180042742A - Driver monitoring apparatus and method - Google Patents

Driver monitoring apparatus and method Download PDF

Info

Publication number
KR20180042742A
KR20180042742A KR1020160135280A KR20160135280A KR20180042742A KR 20180042742 A KR20180042742 A KR 20180042742A KR 1020160135280 A KR1020160135280 A KR 1020160135280A KR 20160135280 A KR20160135280 A KR 20160135280A KR 20180042742 A KR20180042742 A KR 20180042742A
Authority
KR
South Korea
Prior art keywords
driver
headrest
eeg
head
vehicle
Prior art date
Application number
KR1020160135280A
Other languages
Korean (ko)
Other versions
KR101926921B1 (en
Inventor
김현상
전슬기
김응환
허남웅
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020160135280A priority Critical patent/KR101926921B1/en
Publication of KR20180042742A publication Critical patent/KR20180042742A/en
Application granted granted Critical
Publication of KR101926921B1 publication Critical patent/KR101926921B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • A61B5/0478—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/25—Bioelectric electrodes therefor
    • A61B5/279—Bioelectric electrodes therefor specially adapted for particular uses
    • A61B5/291—Bioelectric electrodes therefor specially adapted for particular uses for electroencephalography [EEG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/80—Head-rests
    • B60N2/806—Head-rests movable or adjustable
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60N—SEATS SPECIALLY ADAPTED FOR VEHICLES; VEHICLE PASSENGER ACCOMMODATION NOT OTHERWISE PROVIDED FOR
    • B60N2/00—Seats specially adapted for vehicles; Arrangement or mounting of seats in vehicles
    • B60N2/80—Head-rests
    • B60N2/879—Head-rests with additional features not related to head-rest positioning, e.g. heating or cooling devices or loudspeakers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01516—Passenger detection systems using force or pressure sensing means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo or light sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/304—Acceleration sensors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/306—Pressure sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to an apparatus and a method for monitoring a driver. The apparatus comprises: a camera for capturing facial images of a driver; a headrest for measuring brain waves of the driver; a headrest controller for controlling the position of the headrest; and a processor for estimating the head position of the driver using the eye position detected from the facial images in order to control the position of the headrest in accordance with the estimated head position. Therefore, the processor can determine a state of the driver by measuring and analyzing a brain wave signal of the driver.

Description

운전자 모니터링 장치 및 방법{DRIVER MONITORING APPARATUS AND METHOD}[0001] DRIVER MONITORING APPARATUS AND METHOD [0002]

본 발명은 미착용 뇌파 측정 모듈을 이용하여 운전자의 뇌파를 측정하고 측정한 뇌파를 분석하여 운전자의 상태를 모니터링하는 운전자 모니터링 장치 및 방법에 관한 것이다.The present invention relates to a driver monitoring apparatus and method for monitoring a driver's condition by analyzing brain waves measured and measured by a brain wave of a driver using an unexposed EEG measurement module.

최근 건강에 대한 관심이 증가하면서 건강을 예방하고 진단하는 니즈가 증가하고 있다. 이에 대응하여 차량에서도 운전자의 생체 신호를 측정하여 운전자의 상태를 모니터링하는 운전자 헬스 케어 시스템에 대한 연구가 활발히 진행되고 있다.Recently, as interest in health has increased, the need to prevent and diagnose health has increased. In response to this, studies have been actively conducted on a driver's health care system that measures driver's biomedical signals to monitor the driver's condition.

특히, 뇌파 신호는 운전자의 상태 및 의도와 관련된 많은 정보를 가지고 있어서, 운전자의 졸음 상태, 감정, 및/또는 의도 등을 추정할 수 있는 생체신호로 차량에서 측정 시 활용도가 높다. 이러한 이유로 차량 내에서 운전자의 생체 신호를 측정하고자 하는 연구가 진행되어 왔으나, 뇌파 측정을 위해 다수의 전극이 부착되어있는 장치를 머리에 착용해야 함에 따라 사용자에게 불편을 제공하며 사용성 측면에서도 불리함이 있었다.In particular, the EEG signal has a lot of information related to the driver ' s state and intention, so that the bio-signal that can estimate the driver's sleepiness, emotion, and / or intention is highly utilized in the vehicle measurement. For this reason, studies have been conducted to measure a driver's bio-signal in a vehicle. However, since a device having a plurality of electrodes is required to be worn on the head for brain wave measurement, it is inconvenient to the user and disadvantageous in terms of usability there was.

KR 101490395 B1KR 101490395 B1 KR 1020060111173 AKR 1020060111173A

본 발명은 종래에 운전자가 뇌파 측정 장치를 착용해야 하는 번거로움 및 뇌파 측정 장치 착용으로 움직임의 제약이 따르는 불편함을 해소하기 위해, 뇌파 측정 장치를 헤드레스트(headrest)에 장착하여 운전 시 헤드레스트의 위치를 조정하여 운전자의 머리에 뇌파 측정 장치가 밀착되게 하여 운전자의 뇌파를 측정하고 측정한 뇌파 신호를 분석하여 운전자의 상태를 모니터링하는 운전자 모니터링 장치 및 방법을 제공하고자 한다.In order to solve the inconvenience that the driver has to wear the EEG measuring device and the restriction of the motion due to wear of the EEG measuring device, the EEG measuring device is mounted on the headrest, And monitoring the state of the driver by analyzing the EEG signal measured by measuring the brain waves of the driver by causing the EEG measurement device to closely contact the driver's head.

상기한 과제를 해결하기 위하여, 본 발명의 일 실시예에 따른 운전자 모니터링 장치는 운전자의 얼굴 영상을 촬영하는 카메라, 상기 운전자의 뇌파를 측정하는 헤드레스트, 상기헤드레스트의 위치를 조절하는 헤드레스트 조절부 및 상기 얼굴 영상으로부터의 눈 위치 검출을 통해 상기 운전자의 머리 위치를 추정하고 추정한 머리 위치에 따라 상기 헤드레스트의 위치를 조절한 후 상기 운전자의 뇌파 신호를 측정 및 분석하여 운전자 상태를 판단하는 처리부를 포함하는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a driver monitoring apparatus including a camera for photographing a face image of a driver, a headrest for measuring an EEG of the driver, a headrest adjusting unit for adjusting a position of the headrest, Estimating the head position of the driver through the eye position detection from the face image, adjusting the position of the headrest according to the estimated head position, and measuring and analyzing the brain wave signal of the driver to determine the driver state And a processing unit.

상기 헤드레스트는 상기 헤드레스트의 전면에 밀착되는 상기 운전자의 머리 형상에 따라 변형되는 상기 뇌파 검출부, 상기 뇌파 검출부의 후방에 설치되어 상기 뇌파 검출부의 변형에 따라 동일한 형상으로 변형되는 소프트 쿠션 및 상기 소프트 쿠션을 지지하는 하드 쿠션을 포함하는 것을 특징으로 한다.The headrest may include the EEG detecting unit which is deformed according to the shape of the head of the driver, which is in contact with the front surface of the headrest, a soft cushion which is installed behind the EEG detecting unit and deforms to the same shape according to the deformation of the EEG detecting unit, And a hard cushion for supporting the cushion.

상기 헤드레스트는, 상기 하드 쿠션, 상기 소프트 쿠션 및 상기 뇌파 검출부를 순차적으로 관통하는 와이어 및 상기 와이어를 감거나 풀어주는 와인더를 더 포함하는 것을 특징으로 한다.The headrest may further include a wire that sequentially passes through the hard cushion, the soft cushion, and the brain-wave detecting unit, and a winder that winds or unwinds the wire.

상기 운전자 모니터링 장치는 차량의 가속도, 진동 및 충격 중 어느 하나 이상을 측정하는 가속도 센서를 더 포함하며, 상기 처리부는 상기 가속도 센서에 의해 측정된 신호들에 근거하여 상기 뇌파 신호 내 노이즈 신호를 판별하는 것을 특징으로 한다.The driver monitoring apparatus may further include an acceleration sensor that measures at least one of acceleration, vibration, and impact of the vehicle, and the processor determines noise signals in the EEG signal based on signals measured by the acceleration sensor .

상기 운전자 모니터링 장치는 차량 내 운전자의 탑승여부를 감지하는 압력 센서를 더 포함하며, 상기 처리부는 상기 압력 센서를 통해 운전자의 탑승이 감지되면 운전자 모니터링을 개시하는 것을 특징으로 한다.The driver monitoring apparatus may further include a pressure sensor for detecting whether or not an occupant of the vehicle is boarding the vehicle, and the processing unit may start monitoring the driver when the boarding of the driver is detected through the pressure sensor.

상기 운전자 모니터링 장치는 차량의 시동 온 또는 오프를 감지하는 시동 검출부를 더 포함하며, 상기 처리부는 상기 운전자가 탑승한 상태에서 시동 온 되면 운전자 모니터링을 개시하는 것을 특징으로 한다.The driver monitoring apparatus may further include a start detecting section for detecting whether the vehicle is turned on or off, and the processing section starts monitoring the driver when the driver is turned on when the driver is on the board.

상기 처리부는, 운전자 상태에 따라 자율 정차, 경고 및 알림 중 어느 하나 이상을 수행하는 것을 특징으로 한다.The processing unit may perform at least one of autonomous stop, warning, and notification according to the driver's state.

한편, 본 발명의 일 실시예에 따른 운전자 모니터링 방법은 운전자의 얼굴 영상을 취득하는 단계, 상기 얼굴 영상으로부터의 눈 위치 검출을 통해 상기 운전자의 머리 위치를 추정하는 단계, 상기 운전자의 머리 위치에 따라 헤드레스트의 위치를 조절하는 단계, 상기 헤드레스트의 위치를 조절한 후 운전자의 뇌파 신호를 측정하는 단계 및 상기 뇌파 신호를 분석하여 운전자 상태를 결정하는 단계를 포함하는 것을 특징으로 한다.Meanwhile, a driver monitoring method according to an embodiment of the present invention includes a step of acquiring a face image of a driver, a step of estimating a head position of the driver through eye position detection from the face image, Adjusting the position of the headrest, measuring the EEG signal of the driver after adjusting the position of the headrest, and analyzing the EEG signal to determine the driver's state.

상기 헤드레스트의 위치를 조절하는 단계는, 상기 헤드레스트의 높이 및 각도를 조절하는 것을 특징으로 한다.The step of adjusting the position of the headrest may include adjusting a height and an angle of the headrest.

상기 헤드레스트의 위치를 조절하는 단계는, 상기 헤드레스트의 전면에 운전자의 머리가 접촉하면 상기 헤드레스트의 위치 조절을 중단하는 것을 특징으로 한다.The step of adjusting the position of the headrest may include stopping the position adjustment of the headrest when the head of the driver touches the front of the headrest.

상기 운전자의 뇌파 신호를 측정하는 단계는, 상기 뇌파 신호 내 노이즈 신호 발생여부를 확인하는 단계 및 상기 뇌파 신호에서 상기 노이즈 신호를 제거하는 단계를 더 포함하는 것을 특징으로 한다.The step of measuring the EEG signal of the driver may further include checking whether a noise signal is generated in the EEG signal, and removing the noise signal from the EEG signal.

상기 운전자 모니터링 방법은 상기 운전자 상태에 따라 자율 정차를 수행하여 차량을 갓길에 정차시키는 단계를 더 포함하는 것을 특징으로 한다.The driver monitoring method may further include a step of stopping the vehicle by performing an autonomous stop according to the driver status.

상기 운전자 모니터링 방법은 상기 운전자 상태에 따라 경고를 출력하는 단계를 더 포함하는 것을 특징으로 한다.The driver monitoring method may further include outputting a warning according to the driver status.

상기 운전자 모니터링 방법은 상기 운전자 상태에 따라 콜 센터의 상담원 연결을 요청하는 단계를 더 포함하는 것을 특징으로 한다.The driver monitoring method further includes a step of requesting a call center to connect to an agent according to the driver status.

본 발명은 헤드레스트에 뇌파 측정 모듈을 장착하여 운전자의 후두부 접촉 시 뇌파 신호를 측정하므로, 뇌파 측정 장치를 머리에 착용하는 번거로움 및 불편함 없이 운전자의 뇌파 신호를 측정할 수 있다. 즉, 본 발명은 뇌파 측정 편의성을 향상시킨다.According to the present invention, an EEG measurement module is mounted on a headrest, and an EEG signal is measured when a driver touches the occiput, so that a brain wave signal of a driver can be measured without the inconvenience and inconvenience of wearing the EEG on the head. That is, the present invention improves EEG measurement convenience.

또한, 본 발명은 운전자의 후두부 위치에 따라 헤드레스트 위치를 조정하므로 운전자 자세 맞춤형으로 측정 및 안정적 접촉 부위를 선별하여 노이즈 영향 최소화 및 데이터 신뢰도를 향상시킬 수 있다.In addition, since the headrest position is adjusted according to the position of the back of the driver of the driver, the measurement and the stable contact portion can be selected in a driver-customized manner to minimize noise effects and improve data reliability.

또한, 본 발명은 운전자의 뇌파 측정을 통해 운전자의 상태를 파악하여 쾌적하고 안전한 운전을 유도할 수 있다.In addition, the present invention can induce a pleasant and safe operation by grasping the driver's state through EEG measurement of the driver.

도 1은 본 발명의 일 실시예에 따른 운전자 모니터링 장치를 도시한 블록구성도.
도 2는 본 발명의 일 실시예에 따른 헤드레스트 내 뇌전도 센서의 설치 예를 도시한 도면.
도 3은 본 발명의 다른 실시예에 따른 헤드레스트 내 뇌전도 센서의 설치 예를 도시한 도면.
도 4 및 도 5는 본 발명에 따른 뇌파 측정을 설명하기 위한 도면.
도 6a 및 도 6b는 본 발명에 따른 헤드레스트 위치 조절을 설명하기 위한 도면.
도 7은 본 발명의 일 실시예에 따른 운전자 모니터링 방법을 도시한 흐름도.1 is a block diagram showing a driver monitoring apparatus according to an embodiment of the present invention;
2 is a view showing an example of installation of an electroencephalogram sensor in a headrest according to an embodiment of the present invention.
3 is a view showing an example of installation of an electroencephalogram sensor in a headrest according to another embodiment of the present invention.
FIGS. 4 and 5 are diagrams for explaining EEG measurement according to the present invention; FIG.
6A and 6B are views for explaining headrest position adjustment according to the present invention;
7 is a flowchart illustrating a driver monitoring method according to an embodiment of the present invention.

본 명세서에 기재된 "포함하다", "구성하다", "가지다" 등의 용어는 특별히 반대되는 기재가 없는 한 해당 구성요소가 내재될 수 있음을 의미하는 것이므로 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.The terms "comprises", "comprising", "having", and the like are used herein to mean that a component can be implanted unless otherwise specifically stated, Quot; element ".

또한, 본 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 또한, "일", "하나" 및 "그" 등의 관사는 본 발명을 기술하는 문맥에 있어서 본 명세서에 달리 지시되거나 문맥에 의해 분명하게 반박되지 않는 한, 단수 및 복수 모두를 포함하는 의미로 사용될 수 있다.Also, the terms " part, "" module, " and" module ", as used herein, refer to a unit that processes at least one function or operation and may be implemented as hardware or software or a combination of hardware and software . It is also to be understood that the articles "a", "an", "an" and "the" Can be used.

이하에서는 첨부된 도면들을 참조하여 본 발명의 실시예를 상세하게 설명한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 운전자 모니터링 장치를 도시한 블록구성도이다.1 is a block diagram illustrating a driver monitoring apparatus according to an exemplary embodiment of the present invention.

도 1에 도시된 바와 같이, 운전자 감지 장치는 카메라(110), 가속도 센서(120), 시동 검출부(130), 압력 센서(140), 뇌파 검출부(150), 헤드레스트(headrest) 조절부(160), 출력부(170), 차량 제어부(180), 통신부(190), 및 처리부(200)를 포함한다. 이외에도 운전자 모니터링 장치는 처리부(200)에 의해 실행되는 알고리즘 및 실행 명령 등이 저장되는 메모리(미도시)를 포함한다. 메모리(미도시)에는 운전자 모니터링 알고리즘, 뇌파 분석 알고리즘, 헤드레스트 조절 알고리즘, 및 눈 위치 인식 알고리즘 등이 저장된다.1, the driver sensing apparatus includes a camera 110, an acceleration sensor 120, a startup detector 130, a pressure sensor 140, an EEG detector 150, a headrest controller 160 An output unit 170, a vehicle control unit 180, a communication unit 190, and a processing unit 200. In addition, the driver monitoring apparatus includes a memory (not shown) in which algorithms and execution commands executed by the processing unit 200 are stored. The memory (not shown) stores driver monitoring algorithm, brain wave analysis algorithm, headrest adjustment algorithm, and eye position recognition algorithm.

카메라(110)는 차량 내 전방에 운전자의 얼굴을 향하도록 설치된다. 예를 들어, 카메라(110)는 클러스터에 설치될 수 있다.The camera 110 is installed so as to face the driver's face in front of the vehicle. For example, the camera 110 may be installed in a cluster.

카메라(110)는 운전자의 얼굴 영상을 획득한다. 이러한 카메라(110)는 CCD(charge coupled device) 영상센서(image sensor), CMOS(complementary metal oxide semi-conductor) 영상센서, CPD(charge priming device) 영상센서, CID(charge injection device) 영상센서 및 적외선 영상센서 등과 같은 영상센서들 중 어느 하나의 영상센서로 구현될 수 있다.The camera 110 acquires the face image of the driver. The camera 110 may be a charge coupled device (CCD) image sensor, a complementary metal oxide semiconductor (CMOS) image sensor, a charge priming device (CPD) image sensor, a charge injection device (CID) And an image sensor such as an image sensor.

가속도 센서(120)는 차량의 가속도, 진동, 및/또는 충격 등의 동적 힘(세기)을 측정한다. 가속도 센서(120)는 압전형 센서, 정전 용량형 센서, 변형 게이지형 센서, 서보형 센서, 또는 차동 트랜스형 센서 등으로 구현될 수 있다.The acceleration sensor 120 measures dynamic forces (strength) such as acceleration, vibration, and / or shock of the vehicle. The acceleration sensor 120 may be implemented by a piezoelectric sensor, a capacitive sensor, a strain gage sensor, a servo sensor, or a differential trans-sensor.

시동 검출부(130)는 차량의 시동 온(엔진 시동, START) 또는 오프(엔진 정지, STOP)를 감지한다. 시동 검출부(130)는 시동 버튼(미도시)의 조작을 감지하여 차량의 시동 온 또는 오프를 검출한다.The startup detector 130 detects whether the vehicle is turned on (engine start, START) or off (engine stop, STOP). The startup detector 130 detects an operation of a start button (not shown) and detects whether the vehicle is turned on or off.

압력 센서(140)는 각 시트(seat) 내 장착되어 좌석(운전석, 조수석, 및 뒷자석)에 사용자(운전자 및 운전자 등)가 탑승했는지 여부를 감지한다. 본 실시예에서는 운전자의 상태 감시를 위해 운전석에 장착된 압력 센서(140)를 통해 운전자가 탑승했는지를 확인한다.The pressure sensor 140 is installed in each seat and detects whether a user (driver, driver, etc.) has boarded the seat (driver's seat, passenger's seat, rear seat). In this embodiment, it is confirmed whether or not the driver has boarded the vehicle through the pressure sensor 140 mounted on the driver's seat for monitoring the condition of the driver.

뇌파 검출부(150)는 헤드레스트(headrest)(300)의 전면에 장착되어 운전자의 뇌파 신호를 측정한다. 뇌파 검출부(150)는 다수의 뇌전도(electroencephalogram, EEG) 센서들로 구성된다. 본 실시예에서는 EEG 센서를 이용하여 뇌파를 측정하는 것을 예로 들어 설명하고 있으나, NIRS(near infrared spectroscopy, 뇌활성화도 분석) 및 심전도(electrocardiogram, ECG) 등 다양한 생체 신호를 측정하도록 구현할 수도 있다.The EEG detector 150 is mounted on the front of the headrest 300 to measure the EEG signal of the driver. The EEG detector 150 is composed of a plurality of electroencephalogram (EEG) sensors. Although the EEG sensor is used in this embodiment to measure brain waves, it may be implemented to measure various biological signals such as near infrared spectroscopy (NIRS) and electrocardiogram (ECG).

뇌파 검출부(150)는 헤드레스트(300)에 운전자의 머리 접촉 여부를 검출하기 위해 하나 이상의 터치 센서(미도시)를 추가로 구비할 수도 있다. 이때, 터치 센서(미도시)는 헤드레스트(300)의 전면 상에 설치되며, 서로 다른 복수의 지점에 설치될 수 있다. 터치 센서(미도시)에 의해 측정된 신호들은 운전자의 머리가 헤드레스트(300)와 접촉 불량인지를 확인하는데 사용될 수 있으며, 운전자의 머리와 헤드레스트(300)의 접촉 여부를 감지하는데 사용될 수 있다.The EEG detector 150 may further include one or more touch sensors (not shown) to detect whether or not the headrest 300 contacts the head of the driver. At this time, a touch sensor (not shown) is installed on the front surface of the headrest 300 and may be installed at a plurality of different points. The signals measured by the touch sensor (not shown) can be used to confirm whether the driver's head is in contact with the headrest 300 and can be used to detect whether the driver's head is in contact with the headrest 300 .

헤드레스트 조절부(160)는 헤드레스트(300)의 위치(높이 및 각도)를 조절한다. 예컨대, 헤드레스트 조절부(160)는 모터 구동을 통해 헤드레스트(300)의 높이 및 각도(회전)를 조정하여 운전자의 머리 위치에 맞춘다.The headrest adjuster 160 adjusts the position (height and angle) of the headrest 300. For example, the headrest adjuster 160 adjusts the height and angle (rotation) of the headrest 300 through motor driving to match the head position of the driver.

헤드레스트 조절부(160)는 운전자의 머리가 헤드레스트(300)에 닿으면(접촉하면) 헤드레스트(300)의 위치 조절을 중단한다. 다시 말해서, 헤드레스트 조절부(160)는 운전자의 후두부가 헤드레스트(300)의 전면 상 일정 영역 이상과 접촉하면 헤드레스트(300)의 위치 조절을 중단한다.The headrest adjuster 160 stops adjusting the position of the headrest 300 when the head of the driver touches the headrest 300 (contacts). In other words, the headrest adjuster 160 stops adjusting the position of the headrest 300 when the back of the driver contacts the predetermined area or more on the front surface of the headrest 300.

출력부(170)는 경고음, 경고 메시지, 알림 메시지 및/또는 운전자 상태 등을 시각 정보, 청각 정보 및 촉각 정보 중 어느 하나 이상의 형태로 출력한다. 이러한 출력부(170)는 디스플레이, 스피커, 및/또는 햅틱 모듈(예: 진동) 등을 포함할 수 있다.The output unit 170 outputs a warning sound, a warning message, a notification message, and / or a driver's state in the form of one or more of visual information, auditory information, and tactile information. The output 170 may include a display, a speaker, and / or a haptic module (e.g., vibration).

디스플레이는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 투명디스플레이, 헤드업 디스플레이(head-up display, HUD), 터치스크린 중 어느 하나 이상을 포함할 수 있다.The display may be a liquid crystal display (LCD), a thin film transistor-liquid crystal display (TFT LCD), an organic light-emitting diode (OLED), a flexible display, A 3D display, a transparent display, a head-up display (HUD), and a touch screen.

차량 제어부(180)는 차량의 감속을 제어하는 제동장치, 차량의 엔진을 제어하는 구동장치, 차량의 조향을 제어하는 조향장치 및/또는 차량의 변속을 제어하는 변속장치를 제어하여 차량의 자율 정차를 제어한다. 예를 들어, 차량 제어부(180)는 제동장치, 구동장치, 조향장치 및/또는 변속장치를 제어하여 차량을 갓길에 정차시킨다.The vehicle control unit 180 controls a braking device that controls deceleration of the vehicle, a drive device that controls the engine of the vehicle, a steering device that controls steering of the vehicle, and / or a shift device that controls the shift of the vehicle, . For example, the vehicle control section 180 controls the braking device, the drive device, the steering device and / or the shift device to stop the vehicle at the shoulder.

통신부(190)는 외부의 단말기, 교통관리센터 또는 콜 센터 등과의 무선 통신을 수행한다. 통신부(190)는 무선 인터넷망 또는 이동 통신망 등을 이용하여 데이터를 전송하거나 수신할 수 있다.The communication unit 190 performs wireless communication with an external terminal, a traffic management center, a call center, or the like. The communication unit 190 may transmit or receive data using a wireless Internet network or a mobile communication network.

처리부(200)는 압력 센서(140)를 통해 운전자의 차량 탑승 여부를 감지한다. 예컨대, 처리부(200)는 운전석에 장착된 압력 센서(140)에 의해 일정 크기 이상의 압력이 감지되면 운전석에 운전자가 탑승한 것으로 인식한다.The processing unit 200 senses whether or not the driver has boarded the vehicle through the pressure sensor 140. For example, the processing unit 200 recognizes that the driver is aboard the driver's seat when a pressure of a predetermined magnitude or more is sensed by the pressure sensor 140 mounted on the driver's seat.

또한, 처리부(200)는 운전자의 차량 탑승이 감지되면 시동 검출부(130)를 통해 시동 온 또는 시동 오프를 감지할 수 있다. 시동 검출부(130)는 시동 버튼(미도시)으로부터 전송되는 신호에 따라 시동 온(엔진 시동) 또는 시동 오프(엔진 정지) 등을 감지한다.In addition, the processing unit 200 can sense the start-up state or the start-up state through the start-up detection unit 130 when the driver's boarding is detected. The startup detector 130 detects start-up (engine start) or start-off (engine stop) according to a signal transmitted from a start button (not shown).

처리부(200)는 운전자가 탑승하거나 또는 운전자가 탑승하여 시동을 걸면, 운전자의 머리 위치를 확인한다. 처리부(200)는 카메라(110)를 통해 운전자의 얼굴 영상을 획득하고 획득한 얼굴 영상에서 눈을 검출하여 눈의 위치를 인식한다. 이때, 처리부(200)는 공지된 시선 추적 기술을 이용하여 눈의 위치를 인식할 수 있다. 처리부(200)는 검출한 눈의 위치에 기반하여 운전자의 머리 위치(후두부 위치)를 추정한다.The processing unit 200 confirms the head position of the driver when the driver boarded or when the driver starts the boarding. The processing unit 200 acquires the face image of the driver through the camera 110 and recognizes the position of the eyes by detecting the eyes of the obtained face image. At this time, the processing unit 200 can recognize the position of the eye using a known eye tracking technology. The processor 200 estimates the head position (rear head position) of the driver based on the detected eye position.

처리부(200)는 추정한 운전자의 후두부 위치에 따라 헤드레스트 조절부(160)를 제어하여 헤드레스트(300)의 높이 및 각도를 조절한다. 이때, 헤드레스트 조절부(160)는 헤드레스트(300)를 전방(운전자의 머리와 근접하는 방향) 또는 후방(운전자의 머리와 멀어지는 방향)으로 수평이동 시킬 수도 있다.The processor 200 controls the headrest adjuster 160 to adjust the height and angle of the headrest 300 according to the position of the estimated back of the driver. At this time, the headrest adjuster 160 may horizontally move the headrest 300 forward (in the direction close to the driver's head) or rearward (in the direction away from the driver's head).

처리부(200)는 운전자의 머리가 헤드레스트(300)에 장착된 뇌파 검출부(150)와 접촉하면 뇌파 검출부(150)를 통해 뇌파 신호를 측정한다. 뇌파 검출부(150)는 EEG 센서(151)의 전극에 운전자의 머리가 닿으면 뇌파 신호를 측정하여 처리부(200)로 전송한다. 따라서, 처리부(200)는 EEG 센서만으로도 헤드레스트(300)에 운전자의 머리 접촉 여부를 확인할 수 있다.The processing unit 200 measures an EEG signal through the EEG detector 150 when the driver's head contacts the EEG detector 150 mounted on the headrest 300. The EEG detector 150 measures an EEG signal when the head of the driver touches the electrode of the EEG sensor 151 and transmits the EEG signal to the processor 200. Accordingly, the processing unit 200 can confirm whether or not the head of the driver is in contact with the headrest 300 by using only the EEG sensor.

본 실시예에서는 EEG 센서만을 이용하여 헤드레스트(300)에 운전자의 머리가 닿았는지를 확인하는 것을 개시하고 있으나, 이에 한정되지 않고 터치 센서를 추가로 장착하여 헤드레스트(300)와 운전자 머리의 접촉여부를 확인하도록 구현할 수도 있다. 예를 들어, 운전자 머리와 맞닿는 헤드레스트 영역에 3개의 터치 센서를 서로 다른 위치에 설치하고, 3개의 터치 센서에 의해 운전자의 머리 접촉이 감지되면 처리부(200)가 뇌파 검출부(150)를 통해 운전자의 뇌파 신호를 측정할 수 있다.In the present embodiment, it has been disclosed that only the EEG sensor is used to check whether the head of the driver is touching the headrest 300. However, the present invention is not limited to this, You can also implement this to check whether or not For example, when three touch sensors are installed at different positions in the headrest area contacting the driver's head and the driver's head contact is detected by the three touch sensors, the processing unit 200 detects the driver's head contact through the brain- Can be measured.

처리부(200)는 뇌파 검출부(150)를 통해 측정된 뇌파 신호가 정상인지를 확인한다. 처리부(200)는 측정된 뇌파 신호가 비정상이면 머리 위치 조정이 필요함을 알리는 알림 메시지 및/또는 알림음을 출력부(170)를 통해 출력한다.The processing unit 200 checks whether the EEG signal measured through the EEG detector 150 is normal. The processing unit 200 outputs a notification message and / or a notification sound to the output unit 170 indicating that the head position adjustment is necessary if the measured EEG signal is abnormal.

처리부(200)는 뇌파 검출부(150)를 통해 측정되는 뇌파 신호가 정상이면 뇌파 신호를 측정하고 운전자의 머리와 헤드레스트(300)의 접촉 유지 시간(접촉 시간)을 기록한다. 이때, 접촉 유지 시간은 EEG 센서별로 측정된다.If the EEG signal measured through the EEG detector 150 is normal, the processor 200 measures the EEG signal and records the contact holding time (contact time) between the head of the driver and the headrest 300. At this time, the contact holding time is measured for each EEG sensor.

처리부(200)는 카메라(110) 및 가속도 센서(120)를 통해 측정된 뇌파 신호 내 노이즈 신호 발생여부를 판단한다. 처리부(200)는 운전자 머리와 헤드레스트(300)의 접촉 불량 및/또는 차량의 충격(또는 진동) 등에 의한 비정상적인 뇌파 신호를 노이즈 신호로 선별한다.The processing unit 200 determines whether or not a noise signal in the EEG signal measured through the camera 110 and the acceleration sensor 120 is generated. The processing unit 200 selects an abnormal EEG signal due to a contact failure between the driver's head and the headrest 300 and / or a shock (or vibration) of the vehicle as a noise signal.

처리부(200)는 노이즈 신호가 발생하면 측정된 뇌파 신호에서 해당 노이즈 신호를 제거한다. 처리부(200)는 노이즈 신호가 제거된 일정 시간 동안의 뇌파 신호를 분석하여 운전자 상태를 판단한다.The processing unit 200 removes the noise signal from the measured EEG signal when the noise signal is generated. The processor 200 analyzes the EEG signal for a predetermined period of time after the noise signal is removed to determine the driver's state.

처리부(200)는 판단된 운전자 상태에 따라 경고를 출력하거나 운전자 상태를 운전자에게 피드백할 수도 있다. 예컨대, 처리부(200)는 운전자 상태가 졸음 상태로 판단되면 출력부(170)를 통해 경고음을 출력한다.The processing unit 200 may output a warning or feedback the driver state to the driver according to the determined driver state. For example, the processing unit 200 outputs a warning sound through the output unit 170 when it is determined that the driver is in a drowsy state.

또한, 처리부(200)는 경고를 출력하며 자율 정차를 수행할 수도 있다. 예를 들어, 처리부(200)는 운전자 상태가 졸음 상태로 판단되면 경고를 출력하고 경고 출력 이후에도 운전자 상태가 졸음 상태이면 차량의 주행을 제어하여 갓길에 차량을 정차시킨다.In addition, the processing unit 200 may output a warning and perform an autonomous stop. For example, the processing unit 200 outputs a warning if the driver state is determined to be in a drowsy state, and stops the vehicle when the driver state is in a drowsy state after the warning output.

처리부(200)는 운전자의 상태에 따라 콜 센터의 상담원 연결을 요청할 수도 있다. 예를 들어, 처리부(200)는 운전자 상태가 졸음 상태이면 통신부(190)를 통해 미리 설정된 콜 센터로 전화연결 또는 메신저 연결 등을 요청한다.The processing unit 200 may request a call center agent connection according to the status of the driver. For example, when the driver is in a sleep state, the processing unit 200 requests a call connection or messenger connection to a call center preset through the communication unit 190.

도 2는 본 발명의 일 실시예에 따른 헤드레스트 내 뇌전도 센서의 설치 예를 도시한 도면이다.2 is a view showing an example of the installation of an electroencephalogram sensor in a headrest according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 헤드레스트(300) 내부에는 뇌파 검출부(150), 소프트 쿠션(310), 및 하드 쿠션(320)이 포함된다.As shown in FIG. 2, an EEG detector 150, a soft cushion 310, and a hard cushion 320 are included in the headrest 300.

뇌파 검출부(150)은 헤드레스트(300)의 전면에 설치된다. 뇌파 검출부(150)은 다수 개의 EEG 센서(151)들로 구성되고 EEG 센서(151)의 전극이 헤드레스트(300)의 전면에 노출되도록 설치된다.The EEG detecting unit 150 is installed on the front surface of the headrest 300. The EEG detector 150 is composed of a plurality of EEG sensors 151 and an electrode of the EEG sensor 151 is exposed on the front surface of the headrest 300.

뇌파 검출부(150)은 운전자의 후두부(뒷머리)가 헤드레스트(300)의 전면에 안착(접촉)이 되면 운전자의 후두부 형상에 따라 변형되고 운전자의 후두부가 헤드레스트(300)로부터 분리되면 복원된다. 이러한 뇌파 검출부(150)은 쿠션감과 탄성을 가지는 모듈로 제작된다.The EEG detector 150 is deformed according to the shape of the back of the driver when the back of the driver is seated on the front of the headrest 300 and is restored when the back of the driver is separated from the headrest 300. The EEG detector 150 is made of a module having cushioning and elasticity.

소프트 쿠션(310)은 뇌파 검출부(150)의 후방에 설치되어 뇌파 검출부(150)의 변형에 따라 동일한 형상으로 변형된다. 소프트 쿠션(310)은 운전자가 헤드레스트(300)에 머리를 기댔을 때 운전자에게 쿠셔닝을 제공한다. 이러한 소프트 쿠션(310)은 라텍스, 메모리폼, 또는 스폰지 등과 같은 탄성재로 구성될 수 있다.The soft cushion 310 is installed behind the EEG detector 150 and is deformed into the same shape according to the deformation of the EEG detector 150. The soft cushion 310 provides cushioning to the driver when the driver is resting head on head rest 300. The soft cushion 310 may be made of an elastic material such as latex, memory foam, or sponge.

하드 쿠션(320)은 소프트 쿠션(310)을 지지하는 것으로, 소프트 쿠션(310)에 비하여 탄성이 작다.The hard cushion 320 supports the soft cushion 310 and is less elastic than the soft cushion 310.

도 3은 본 발명의 다른 실시예에 따른 헤드레스트 내 뇌전도 센서 설치 구조를 도시한 도면이다.FIG. 3 is a view illustrating a structure for installing an electroencephalogram sensor in a headrest according to another embodiment of the present invention.

도 3에 따르면, 헤드레스트(300) 내부에는 뇌파 검출부(150), 소프트 쿠션(310), 하드 쿠션(320), 와인더(winder)(230), 및 와이어(340)이 포함된다.3, a brain wave detecting unit 150, a soft cushion 310, a hard cushion 320, a winder 230, and a wire 340 are included in the headrest 300.

뇌파 검출부(150)은 헤드레스트(300)의 전면에 설치된다. 뇌파 검출부(150)은 다수 개의 EEG 센서(151)들로 구성되고 EEG 센서(151)의 전극이 헤드레스트(300)의 전면에 노출되도록 설치된다.The EEG detecting unit 150 is installed on the front surface of the headrest 300. The EEG detector 150 is composed of a plurality of EEG sensors 151 and an electrode of the EEG sensor 151 is exposed on the front surface of the headrest 300.

뇌파 검출부(150)은 운전자의 후두부(뒷머리)가 헤드레스트(300)의 전면에 안착이 되면 운전자의 후두부 형상에 따라 변형되고 운전자의 후두부가 헤드레스트(300)로부터 분리되면 복원된다. 이러한 뇌파 검출부(150)은 쿠션감과 탄성을 가진다.The EEG detector 150 is deformed according to the shape of the back of the driver when the back of the driver is seated on the front of the headrest 300 and is restored when the back of the driver is separated from the headrest 300. [ The EEG detector 150 has cushioning and elasticity.

소프트 쿠션(310)은 뇌파 검출부(150)의 후방에 설치되어 뇌파 검출부(150)의 변형에 따라 동일한 형상으로 변형된다. 소프트 쿠션(310)은 운전자가 헤드레스트(300)에 머리를 기댔을 때 운전자에게 쿠셔닝을 제공한다. 이러한 소프트 쿠션(310)은 라텍스, 메모리폼 또는 스폰지 등과 같은 탄성재로 구성될 수 있다.The soft cushion 310 is installed behind the EEG detector 150 and is deformed into the same shape according to the deformation of the EEG detector 150. The soft cushion 310 provides cushioning to the driver when the driver is resting head on head rest 300. The soft cushion 310 may be made of an elastic material such as latex, memory foam or sponge.

하드 쿠션(320)은 소프트 쿠션(310)을 지지한다. 하드 쿠션(320)는 소프트 쿠션(310)에 비하여 탄성이 작은 탄성재료를 이용하여 제작된다.The hard cushion 320 supports the soft cushion 310. The hard cushion 320 is made of an elastic material having a smaller elasticity than the soft cushion 310.

와인더(330)는 모터(미도시) 구동을 통해 와이어(340)를 감거나 푸는 장치이다. 와인더(330)는 헤드레스트 조절부(160)의 제어에 따라 와이어(340)를 감는 방향으로 모터를 회전시키거나 또는 와이어(340)를 푸는 방향(감는 방향의 반대 방향)으로 모터를 회전시킨다.The winder 330 is a device for winding and unwinding the wire 340 by driving a motor (not shown). The winder 330 rotates the motor in the winding direction of the wire 340 or the motor in the winding direction opposite to the winding direction according to the control of the headrest adjuster 160 .

와인더(330)는 하드 쿠션(320) 내부에 마련된 소정 공간에 설치된다. 본 실시예에서는 하드 쿠션(320) 내에 설치되는 것을 개시하고 있으나, 하드 쿠션(320)의 후방에 별도로 설치될 수도 있다.The winder 330 is installed in a predetermined space provided inside the hard cushion 320. In this embodiment, the hard cushion 320 is provided in the rear portion of the hard cushion 320. However, the hard cushion 320 may be provided separately.

와이어(340)는 하드 쿠션(320), 소프트 쿠션(310) 및 뇌파 검출부(150)를 순차적으로 관통하도록 설치된다. 와이어(340)를 고정하기 위해 뇌파 검출부(150)의 전면에 고정부재350)가 설치된다. 와이어(340)는 철, 구리 또는 고탄소강 등의 금속으로 제작된 금속선이다.The wire 340 is installed to penetrate the hard cushion 320, the soft cushion 310, and the EEG detector 150 sequentially. A fixing member 350 is installed on the front surface of the EEG detecting unit 150 to fix the wire 340. [ The wire 340 is a metal wire made of metal such as iron, copper, or high carbon steel.

처리부(200)는 뇌파 검출부(150)에 의해 헤드레스트(300)의 전면에 운전자의 후두부 접촉이 감지되면 헤드레스트 조절부(160)를 통해 와인더(330)를 제어하여 와이어(340)를 일정 속도로 감는다. 즉, 운전자의 후두부가 안착될 공간(후두부 안착부)을 형성한다.The processing unit 200 controls the winder 330 through the headrest adjusting unit 160 to detect the contact of the wire 340 with the predetermined Wind it at speed. That is, a space in which the driver's head is to be seated (head rest seating portion) is formed.

한편, 처리부(200)는 헤드레스트(300)의 전면에 운전자의 후두부 접촉이 해제되면 헤드레스트 조절부(160)를 통해 와인더(330)를 제어하여 와이어(340)를 일정 속도로 풀어 뇌파 검출부(150)와 소프트 쿠션(310)이 복원되도록 한다.The processor 200 controls the winder 330 through the headrest adjuster 160 to release the wire 340 at a constant speed when the back of the driver's head is released from the front of the headrest 300, So that the soft cushion 150 and the soft cushion 310 are restored.

도 4 및 도 5는 본 발명에 따른 뇌파 측정을 설명하기 위한 도면이다.4 and 5 are views for explaining EEG measurement according to the present invention.

도 4에 도시된 바와 같이, 운전자가 차량에 탑승하지 않은 상태에서 헤드레스트(300)의 위치 및 운전자의 후두부가 닿는 영역에 변형이 발생하지 않는다.As shown in Fig. 4, no deformation occurs in the position of the headrest 300 and the area where the back of the driver touches in a state where the driver does not ride on the vehicle.

이후, 운전자가 차량에 탑승하면, 처리부(200)는 인식한 운전자의 머리 위치에 근거하여 헤드레스트 조절부(160)를 제어한다. 헤드레스트(300)는 헤드레스트 조절부(160)의 제어에 따라 운전자의 머리(H)가 위치하는 전방을 향해 이동한다. 헤드레스트(300)의 전면부는 운전자의 후두부 형상에 따라 변형되어, 운전자의 후두부가 뇌파 검출부(150)의 EEG 센서(151)의 전극에 접촉되도록 한다.Thereafter, when the driver boarded the vehicle, the processing unit 200 controls the headrest adjusting unit 160 based on the recognized head position of the driver. The headrest 300 moves toward the front where the driver's head H is located under the control of the headrest adjuster 160. [ The front portion of the headrest 300 is deformed according to the shape of the back of the driver so that the back of the driver contacts the electrode of the EEG sensor 151 of the EEG detector 150.

뇌파 검출부(150)의 EEG 센서(151)들은 운전자의 두부(머리, H)와 헤드레스트(300)의 접촉을 감지하는 터치 센서(미도시)를 내장할 수 있다. 각 EEG 센서(151)는 터치 센서(미도시)에 의해 운전자의 머리(H)와 헤드레스트(300)의 접촉이 감지되면 작동한다. 예컨대, 도 5에 도시된 바와 같이, 운전자의 머리(H)가 A 영역에 접촉한 경우, A 영역에 위치하는 EEG 센서(151)들만 활성화된다. 이와 같이, 운전자의 머리(H)와 헤드레스트(300)가 접촉되면 해당 접촉 부위의 EEG 센서(151)들만 활성화되므로 전력 소모를 최소화할 수 있다.The EEG sensors 151 of the EEG detector 150 may incorporate a touch sensor (not shown) for sensing the contact between the head (head) H of the driver and the headrest 300. Each EEG sensor 151 operates when a contact between the head H of the driver and the headrest 300 is sensed by a touch sensor (not shown). For example, as shown in FIG. 5, when the head H of the driver touches the area A, only the EEG sensors 151 located in the area A are activated. Thus, when the head H of the driver and the headrest 300 are in contact with each other, only the EEG sensors 151 of the contact portion are activated, thereby minimizing power consumption.

또한, 뇌파 검출부(150)는 EEG 센서(151)별로 운전자의 머리(H)와의 접촉 유지 시간을 측정하고, 접촉 유지 시간이 기준 시간 이상으로 지속되는 센서값만을 유효 데이터로 판별한다. 따라서, 본 발명은 뇌파 측정 단계에서 접촉 불량으로 인한 노이즈 신호를 배제할 수 있다.In addition, the EEG detector 150 measures the contact holding time of the EEG sensor 151 with respect to the head H of the driver, and determines only the sensor value that the contact holding time lasts longer than the reference time as effective data. Therefore, the present invention can exclude a noise signal due to a contact failure in the EEG measurement step.

도 6a 및 도 6b는 본 발명에 따른 헤드레스트 위치 조절을 설명하기 위한 도면이다.6A and 6B are views for explaining headrest position adjustment according to the present invention.

처리부(200)는 운전자의 탑승이 감지되면 운전자의 전방에 위치하는 카메라(110)를 통해 운전자의 눈 위치를 인식한다. 처리부(200)는 인식한 운전자의 눈 위치를 기반으로 운전자의 후두부 위치를 추정하여 헤드레스트(300)의 회전각을 조절하거나 높이를 조절한다.When the boarding of the driver is detected, the processor 200 recognizes the driver's eye position through the camera 110 located in front of the driver. The processor 200 adjusts the rotational angle of the headrest 300 or adjusts the height of the headrest 300 by estimating the position of the driver's head based on the recognized driver's eye position.

도 6a에 도시된 바와 같이, 운전자의 머리 위치가 기준보다 높으면 헤드레스트(300)의 높이를 조절하여 헤드레스트(300)를 높인다.As shown in FIG. 6A, if the head position of the driver is higher than the reference, the height of the headrest 300 is adjusted to heighten the headrest 300.

한편, 도 6b에 도시된 바와 같이, 운전자의 머리 위치가 기준보다 낮으면 헤드레스트(300)의 각도를 조절한다.On the other hand, as shown in FIG. 6B, if the head position of the driver is lower than the reference, the angle of the headrest 300 is adjusted.

따라서, 본 발명은 운전자의 머리 상의 일정한 부위에서 뇌파를 측정할 수 있을 뿐만 아니라, 최적의 위치에서 뇌파를 측정할 수 있다.Therefore, the present invention can measure EEG at a certain position on the driver's head as well as measure EEG at an optimal position.

도 7은 본 발명의 일 실시예에 따른 운전자 모니터링 방법을 도시한 흐름도이다.7 is a flowchart illustrating a driver monitoring method according to an embodiment of the present invention.

처리부(200)는 차량 내 운전자의 탑승(승차) 여부를 감지한다(S110). 다시 말해서, 처리부(200)는 운전석에 장착되는 압력 센서(140)를 통해 해당 좌석에 운전자가 존재하는지를 감지한다.The processing unit 200 detects whether the in-vehicle driver is boarding (riding) (S110). In other words, the processing unit 200 detects whether a driver is present in the seat through the pressure sensor 140 mounted on the driver's seat.

처리부(200)는 카메라(110)를 통해 운전자의 후두부 위치를 추정한다(S120). 처리부(200)는 카메라(110)를 통해 운전자의 얼굴 영상을 획득하고, 획득한 얼굴 영상에서 눈 위치를 검출한다. 이때, 처리부(200)는 눈의 특징점을 이용하여 얼굴 영상 내 눈을 검출할 수 있다. 처리부(200)는 검출한 눈 위치를 기반으로 운전자의 후두부 위치를 추정한다.The processing unit 200 estimates the position of the occiput of the driver through the camera 110 (S120). The processing unit 200 acquires the face image of the driver through the camera 110, and detects the eye position from the acquired face image. At this time, the processing unit 200 can detect the eyes in the face image using the eye feature points. The processor 200 estimates the position of the back of the driver based on the detected eye position.

처리부(200)는 추정한 운전자의 후두부 위치에 근거하여 헤드레스트(300)의 위치를 조절한다(S130). 예컨대, 처리부(200)는 헤드레스트 조절부(160)를 제어하여 헤드레스트(300)의 높이 및 각도를 조절한다. 이때, 헤드레스트 조절부(160)는 모터 구동을 통해 헤드레스트(300)의 높이 및 각도를 조절한다. 또는, 헤드레스트 조절부(160)는 헤드레스트(300)를 전방 또는 후방으로 수평 이동시킬 수도 있다.The processing unit 200 adjusts the position of the headrest 300 based on the estimated position of the back of the driver (S130). For example, the processing unit 200 controls the headrest adjuster 160 to adjust the height and the angle of the headrest 300. At this time, the headrest adjuster 160 adjusts the height and the angle of the headrest 300 through motor driving. Alternatively, the headrest adjuster 160 may horizontally move the headrest 300 forward or backward.

처리부(200)는 뇌파 검출부(150)를 통해 헤드레스트(300)에 운전자의 후두부가 접촉했는지를 감지한다(S140). 예를 들어, 처리부(200)는 뇌파 검출부(150)로부터 측정된 뇌파 신호가 수신되면 운전자의 후두부가 헤드레스트(300)에 접촉한 것으로 감지한다. 또는, 처리부(200)는 EEG 센서(151)에 내장된 터치 센서(미도시)를 통해 운전자의 후두부가 헤드레스트(300)에 접촉했는지를 감지한다.The processing unit 200 detects whether the back of the driver has contacted the headrest 300 through the EEG detecting unit 150 at step S140. For example, when the EEG signal measured from the EEG detector 150 is received, the processor 200 detects that the back of the driver is in contact with the headrest 300. Alternatively, the processor 200 detects whether the back of the driver has contacted the headrest 300 through a touch sensor (not shown) built in the EEG sensor 151.

처리부(200)는 헤드레스트(300)에 운전자의 후두부 접촉이 감지되면 헤드레스트(300)에 후두부 안착부를 형성한다(S150). 여기서, 헤드레스트 조절부(160)는 처리부(200)의 제어에 따라 와인더(330)를 동작시켜 와이어(340)를 감는다. 와인더(330)는 모터 구동을 통해 와이어(340)를 감아 뇌파 검출부(150)와 소프트 쿠션(310)을 변형시켜 운전자의 후부두를 안착시킬 수 있는 공간을 형성한다.The processor 200 forms a rear head rest portion in the headrest 300 when the headrest 300 is contacted with the back of the driver (S150). Here, the headrest adjusting unit 160 operates the winder 330 according to the control of the processing unit 200 to wind the wire 340. The winder 330 winds the wire 340 through the motor driving to deform the brainwave detecting unit 150 and the soft cushion 310 to form a space for seating the driver's back quay.

처리부(200)는 후두부 안착부에 운전자의 후두부가 안착되면 뇌파 검출부(150)를 통해 뇌파 신호를 측정한다(S160). 뇌파 검출부(150)는 운전자의 후부두와 접촉한 EEG 센서(151)들에 의해서 측정되는 뇌파 신호들을 처리부(200)로 전달한다.The processor 200 measures an EEG signal through the EEG detector 150 when the back of the driver is seated in the occiput part (S160). The EEG detector 150 transmits EEG signals measured by the EEG sensors 151 in contact with the rear dock of the driver to the processing unit 200.

처리부(200)는 뇌파 검출부(150)를 통해 측정한 뇌파 신호가 정상인지 아닌지를 확인한다(S170).The processing unit 200 checks whether the EEG signal measured through the EEG detector 150 is normal or not (S170).

처리부(200)는 측정한 뇌파 신호가 정상이면 뇌파 검출부(150)를 통해 측정되는 뇌파 신호를 모니터링한다(S180).If the measured EEG signal is normal, the processing unit 200 monitors the EEG signal measured through the EEG detector 150 (S180).

처리부(200)는 측정하는 뇌파 신호 내 노이즈 신호 발생 여부를 확인한다(S190). 예를 들어, 처리부(200)는 차량의 진동 및/또는 충격으로 인한 운전자의 머리(H)와 헤드레스트(300)의 접촉이 불량하여 노이즈 신호가 발생하면 이를 판별한다.The processing unit 200 checks whether a noise signal in the EEG signal to be measured is generated (S190). For example, the processing unit 200 determines if a noise signal is generated due to poor contact between the head H and the driver's head H due to vibration and / or impact of the vehicle.

처리부(200)는 뇌파 신호 내 노이즈 신호가 발생하면 뇌파 신호에서 노이즈 신호를 제거한다(S200). 다시 말해서, 처리부(200)는 정확한 뇌파 분석을 위해 노이즈 신호를 배제시킨다.The processing unit 200 removes a noise signal from an EEG signal when a noise signal in the EEG signal is generated (S200). In other words, the processing unit 200 excludes a noise signal for accurate EEG analysis.

처리부(200)는 노이즈 신호가 제거된 뇌파 신호를 분석한다(S210). 처리부(200)는 운전자의 머리와의 접촉이 일정 시간 이상 유지된 EEG 센서(151)들에서 측정된 뇌파 신호만을 유효 데이터로 사용하여 운전자의 뇌파를 분석한다.The processing unit 200 analyzes the EEG signal from which the noise signal is removed (S210). The processing unit 200 analyzes the brain waves of the driver by using only the EEG signals measured by the EEG sensors 151 held in contact with the head of the driver for a predetermined time or more as effective data.

처리부(200)는 뇌파 신호를 분석하여 운전자 상태를 확인하고 확인된 운전자 상태에 따라 운전자 맞춤형 기능을 작동하며 경고를 출력한다(S220). 예를 들어, 처리부(200)는 운전자가 졸음 상태이면 출력부(170)를 통해 경고를 출력하거나 또는 차량 제어부(180)를 통해 자율 정차를 수행하여 차량을 갓길에 정차한다.The processing unit 200 analyzes the EEG signal to check the driver status, operates the driver-customized function according to the checked driver status, and outputs a warning (S220). For example, the processing unit 200 outputs a warning through the output unit 170 when the driver is in a sleep state, or performs an autonomous stop via the vehicle control unit 180 to stop the vehicle at the shoulder.

이후, 처리부(200)는 차량의 운행 종료 여부를 확인한다(S230). 여기서, 차량이 운행을 종료하면, 처리부(200)는 운전자 모니터링을 중단한다. 한편, 차량이 운행을 종료하지 않은 상태이면, 처리부(200)는 뇌파 신호 측정을 유지한다.Thereafter, the processing unit 200 confirms whether the vehicle is stopped or not (S230). Here, when the vehicle ends the operation, the processing unit 200 stops monitoring the driver. On the other hand, if the vehicle is not in operation, the processing unit 200 maintains the EEG signal measurement.

한편, 상기 S170에서 측정한 뇌파 신호가 정상이 아니면, 처리부(200)는 머리 위치 조정이 필요함을 운전자에게 알린다(S175). 다시 말해서, 처리부(200)는 운전자의 후두부가 헤드레스트(300) 전면 상의 일정 영역 이상과 접촉하지 않는 경우 운전자의 머리 위치 조정이 필요함을 알리는 알림 메시시(예: 음성 메시지)를 출력부(170)로 출력한다.On the other hand, if the EEG signal measured in S170 is not normal, the processing unit 200 informs the driver that head position adjustment is required (S175). In other words, the processing unit 200 outputs a notification message (e.g., a voice message) indicating that the head position of the driver is not in contact with a predetermined area or more on the front face of the headrest 300, .

한편, 상기 S190에서 뇌파 신호 내 노이즈 신호가 발생하지 않으면, 처리부(200)는 뇌파 신호 모니터링을 유지한다(S180).On the other hand, if no noise signal is generated in the EEG signal in S190, the processing unit 200 maintains EEG signal monitoring (S180).

상기한 바와 같이, 본 발명은 뇌파 신호를 이용하여 운전자 상태(감정적, 정서적, 및 신체적 상태)를 판단할 수 있다. 본 명세서에 개시된 운전자 모니터링 기술은 다음과 같이 차량에 적용될 수 있다.As described above, the present invention can determine the driver's state (emotional, emotional, and physical state) using the EEG signal. The driver monitoring technique disclosed herein can be applied to a vehicle as follows.

첫번째로, 운전 중 운전자의 졸음 방지 및 졸음 경고를 통해 안전 운전을 유도할 수 있다. 예를 들어, 뇌파 신호의 주파수 성분 분석(알파파 및 세타파)으로 눈 감은 상태의 지속 정도를 판단하고 특정 파장의 강도를 분석하여 운전자의 졸음 상태를 추정하고 일정 수준 이상 시 오디오 신호로 경고를 출력한다.First, safe driving can be induced by avoiding sleepiness of driver and warning of drowsiness during driving. For example, by analyzing the frequency component of the EEG signal (alpha wave and theta wave), it determines the state of the blinking state and analyzes the intensity of the specific wavelength to estimate the driver's sleepiness state. do.

두번째로, 운전자의 운전 적합도를 판단하여 안내할 수 있다. 예를 들어, 뇌파를 기반으로 고주파 성분 계산을 통해 운전자의 집중도 상태, 인지 부하의 수준을 판단하여 운전 적합도를 정량화 및 수치화하여 안내할 수 있다.Secondly, it is possible to judge and guide the driving fitness of the driver. For example, it is possible to quantify and quantify the driving fitness by judging the concentration level of the driver and the level of the cognitive load through the calculation of high frequency components based on brain waves.

세번째로, 운전자 감정 기반 맞춤형 기능을 제공할 수 있다. 운전자의 감정 상태(흥분, 이완, 우울, 또는 기쁨 등)를 추정하여 운전자의 감정에 맞게 차량 내 조명 색상, 음악 선곡 추천, 방향제 자동 분출, 공조 조절하여 운전자에게 쾌적하고 운전자의 감성에 맞는 기능을 제공할 수 있다.Third, it can provide customized features based on driver emotion. It estimates the driver's emotional state (excitement, relaxation, depression, joy, etc.) and adjusts the lighting color, music selection, air ejection system and air conditioning according to the driver's feelings. .

네번째로, 뇌파 분석을 통해 운전자의 정신적 이완 상태를 점검하여 운전자가 흥분한 상태이면 차분한 상태로 유도하는 음악을 재생하여 운전자를 안정 상태로 유도할 수 있다.Fourth, by analyzing the psychological relaxation state of the driver through EEG analysis, it is possible to induce the driver to the stable state by reproducing the music inducing the driver to feel calm when the driver is excited.

다섯번째로, 차량 내 특정 기능에 대한 호불호 평가(선호도 평가) 시 뇌파 분석 결과를 활용할 수 있다.Fifth, EEG analysis results can be used in the evaluation of favorability (evaluation of preference) for a specific function in a vehicle.

여섯번째로, 운전자의 의도를 파악하여 차량의 자율 주행을 수행할 수 있다. 예를 들어, 뇌파 분석을 통해 운전자의 의도 및 경향을 파악하여 자율 주행 차량이 판단하기 어려운 운전 상황에서 운전자 의도에 맞게 자동 운전을 지원할 수 있다.Sixth, autonomous driving of the vehicle can be performed by grasping the intention of the driver. For example, by analyzing the intention and tendency of the driver through EEG analysis, it is possible to support automatic driving according to the driver's intention in a driving situation in which the autonomous driving vehicle is difficult to judge.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. The codes and code segments constituting the computer program may be easily deduced by those skilled in the art. Such a computer program can be stored in a computer-readable storage medium, readable and executed by a computer, thereby realizing an embodiment of the present invention.

110: 카메라 120: 가속도 센서
130: 시동 검출부 140: 압력 센서
150: 뇌파 검출부 160: 헤드레스트 조절부
170: 출력부 180: 차량 제어부
190: 통신부 200: 처리부
300: 헤드레스트 310: 소프트 쿠션
320: 하드 쿠션 330: 와인더
340: 와이어 350: 고정부재110: camera 120: acceleration sensor
130: Startup detection unit 140: Pressure sensor
150: EEG detecting unit 160: Headrest adjusting unit
170: output unit 180: vehicle control unit
190: communication unit 200:
300: Headrest 310: Soft cushion
320: hard cushion 330: winder
340: wire 350: fixing member

Claims (14)

운전자의 얼굴 영상을 촬영하는 카메라;
상기 운전자의 뇌파를 측정하는 헤드레스트;
상기 헤드레스트의 위치를 조절하는 헤드레스트 조절부; 및
상기 얼굴 영상으로부터의 눈 위치 검출을 통해 상기 운전자의 머리 위치를 추정하고 추정한 머리 위치에 따라 상기 헤드레스트의 위치를 조절한 후 상기 운전자의 뇌파 신호를 측정 및 분석하여 운전자 상태를 판단하는 처리부를 포함하는 것을 특징으로 하는 운전자 모니터링 장치.A camera for photographing a face image of a driver;
A headrest for measuring brain waves of the driver;
A headrest adjuster for adjusting a position of the headrest; And
A processor for estimating the head position of the driver through the eye position detection from the face image and adjusting the position of the headrest according to the estimated head position and then measuring and analyzing the brain wave signal of the driver to determine the driver state The driver monitoring apparatus comprising: 제1항에 있어서,
상기 헤드레스트는,
상기 헤드레스트의 전면에 밀착되는 상기 운전자의 머리 형상에 따라 변형되는 상기 뇌파 검출부;
상기 뇌파 검출부의 후방에 설치되어 상기 뇌파 검출부의 변형에 따라 동일한 형상으로 변형되는 소프트 쿠션; 및
상기 소프트 쿠션을 지지하는 하드 쿠션을 포함하는 것을 특징으로 하는 운전자 모니터링 장치.The method according to claim 1,
In the headrest,
The EEG detecting unit being deformed according to a shape of a head of the driver which is in close contact with a front surface of the headrest;
A soft cushion installed at the rear of the brain wave detecting unit and transformed into the same shape according to the deformation of the brain wave detecting unit; And
And a hard cushion for supporting the soft cushion. 제2항에 있어서,
상기 헤드레스트는,
상기 하드 쿠션, 상기 소프트 쿠션 및 상기 뇌파 검출부를 순차적으로 관통하는 와이어; 및
상기 와이어를 감거나 풀어주는 와인더를 더 포함하는 것을 특징으로 하는 운전자 모니터링 장치.3. The method of claim 2,
In the headrest,
A wire that sequentially passes through the hard cushion, the soft cushion, and the EEG detecting unit; And
And a winder for winding or unwinding the wire. 제1항에 있어서,
차량의 가속도, 진동 및 충격 중 어느 하나 이상을 측정하는 가속도 센서를 더 포함하며,
상기 처리부는 상기 가속도 센서에 의해 측정된 신호들에 근거하여 상기 뇌파 신호 내 노이즈 신호를 판별하는 것을 특징으로 하는 운전자 모니터링 장치.The method according to claim 1,
Further comprising an acceleration sensor for measuring at least one of acceleration, vibration and shock of the vehicle,
Wherein the processor identifies the noise signal in the brain wave signal based on the signals measured by the acceleration sensor. 제1항에 있어서,
차량 내 운전자의 탑승여부를 감지하는 압력 센서를 더 포함하며,
상기 처리부는 상기 압력 센서를 통해 운전자의 탑승이 감지되면 운전자 모니터링을 개시하는 것을 특징으로 하는 운전자 모니터링 장치.The method according to claim 1,
Further comprising a pressure sensor for detecting whether or not the driver of the vehicle is boarded,
Wherein the processor starts monitoring the driver when the occupant is detected through the pressure sensor. 제5항에 있어서,
차량의 시동 온 또는 오프를 감지하는 시동 검출부를 더 포함하며,
상기 처리부는 상기 운전자가 탑승한 상태에서 시동 온 되면 운전자 모니터링을 개시하는 것을 특징으로 하는 운전자 모니터링 장치.6. The method of claim 5,
Further comprising a start detecting portion for detecting whether the vehicle is turned on or off,
Wherein the processor starts monitoring the driver when the driver is turned on when the driver is on board. 제1항에 있어서,
상기 처리부는,
운전자 상태에 따라 자율 정차, 경고 및 알림 중 어느 하나 이상을 수행하는 것을 특징으로 하는 운전자 모니터링 장치.The method according to claim 1,
Wherein,
And performs at least one of autonomous stop, warning, and notification according to the driver status. 운전자의 얼굴 영상을 취득하는 단계;
상기 얼굴 영상으로부터의 눈 위치 검출을 통해 상기 운전자의 머리 위치를 추정하는 단계;
상기 운전자의 머리 위치에 따라 헤드레스트의 위치를 조절하는 단계;
상기 헤드레스트의 위치를 조절한 후 운전자의 뇌파 신호를 측정하는 단계; 및
상기 뇌파 신호를 분석하여 운전자 상태를 결정하는 단계를 포함하는 것을 특징으로 하는 운전자 모니터링 방법.Acquiring a face image of a driver;
Estimating a head position of the driver through eye position detection from the face image;
Adjusting a position of the headrest according to a head position of the driver;
Measuring an EEG signal of a driver after adjusting the position of the headrest; And
And analyzing the EEG signal to determine a driver's state. 제8항에 있어서,
상기 헤드레스트의 위치를 조절하는 단계는,
상기 헤드레스트의 높이 및 각도를 조절하는 것을 특징으로 하는 운전자 모니터링 방법.9. The method of claim 8,
Wherein adjusting the position of the headrest comprises:
Wherein the height and angle of the headrest are adjusted. 제9항에 있어서,
상기 헤드레스트의 위치를 조절하는 단계는,
상기 헤드레스트의 전면에 운전자의 머리가 접촉하면 상기 헤드레스트의 위치 조절을 중단하는 것을 특징으로 하는 운전자 모니터링 방법.10. The method of claim 9,
Wherein adjusting the position of the headrest comprises:
And stopping the position of the headrest when the head of the driver touches the front of the headrest. 제8항에 있어서,
상기 운전자의 뇌파 신호를 측정하는 단계는,
상기 뇌파 신호 내 노이즈 신호 발생여부를 확인하는 단계; 및
상기 뇌파 신호에서 상기 노이즈 신호를 제거하는 단계를 더 포함하는 것을 특징으로 하는 운전자 모니터링 방법.9. The method of claim 8,
The step of measuring the EEG signal of the driver includes:
Confirming whether or not a noise signal is generated in the EEG signal; And
Further comprising the step of removing the noise signal from the EEG signal. 제8항에 있어서,
상기 운전자 상태에 따라 자율 정차를 수행하여 차량을 갓길에 정차시키는 단계를 더 포함하는 것을 특징으로 하는 운전자 모니터링 방법.9. The method of claim 8,
Further comprising the step of stopping the vehicle at the shoulder by performing an autonomous stop according to the driver status. 제8항에 있어서,
상기 운전자 상태에 따라 경고를 출력하는 단계를 더 포함하는 것을 특징으로 하는 운전자 모니터링 방법.9. The method of claim 8,
And outputting a warning according to the driver status. 제8항에 있어서 ,
상기 운전자 상태에 따라 콜 센터의 상담원 연결을 요청하는 단계를 더 포함하는 것을 특징으로 하는 운전자 모니터링 방법.
9. The method of claim 8,
Further comprising the step of requesting a call center agent connection according to the driver status.
KR1020160135280A 2016-10-18 2016-10-18 Driver monitoring apparatus and method KR101926921B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160135280A KR101926921B1 (en) 2016-10-18 2016-10-18 Driver monitoring apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160135280A KR101926921B1 (en) 2016-10-18 2016-10-18 Driver monitoring apparatus and method

Publications (2)

Publication Number Publication Date
KR20180042742A true KR20180042742A (en) 2018-04-26
KR101926921B1 KR101926921B1 (en) 2018-12-07

Family

ID=62082301

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160135280A KR101926921B1 (en) 2016-10-18 2016-10-18 Driver monitoring apparatus and method

Country Status (1)

Country Link
KR (1) KR101926921B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200069467A (en) * 2018-12-07 2020-06-17 한국항공우주산업 주식회사 Seating for civil aircraft with face recognition and display
KR20220080747A (en) * 2020-12-04 2022-06-15 주식회사 퍼스타 System for preventing drowsy driving
CN114771379A (en) * 2022-05-19 2022-07-22 一汽丰田汽车有限公司 Seat headrest, vehicle and fatigue grade detection method
KR20220113208A (en) 2021-02-05 2022-08-12 부산대학교 산학협력단 Apparatus and Method for Preventing Drowsiness and Measuring Brain Activation Signal from Drowsiness Using Selective Wavelength
KR20230026571A (en) * 2021-08-17 2023-02-27 권혁준 Surveillant system of driver for safety
JP7354775B2 (en) 2019-11-01 2023-10-03 日本発條株式会社 Measuring device for vehicle seats

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7131694B1 (en) * 2005-04-29 2006-11-07 Buffa John A Adjustable lumbar support for vehicle seat
JP2008162430A (en) * 2006-12-28 2008-07-17 Toyota Motor Corp Headrest control device
KR101861543B1 (en) * 2014-05-14 2018-05-29 존슨 컨트롤스 테크놀러지 컴퍼니 Adjustment mechanism for a head restraint
KR101619702B1 (en) * 2015-04-09 2016-05-10 현대자동차주식회사 Apparatus for adjusting position of bio-signal measuring sensor
KR101642697B1 (en) * 2015-12-03 2016-08-10 양선종 Biometrics measuring system of the driver and Biometrics measuring method for the same

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200069467A (en) * 2018-12-07 2020-06-17 한국항공우주산업 주식회사 Seating for civil aircraft with face recognition and display
JP7354775B2 (en) 2019-11-01 2023-10-03 日本発條株式会社 Measuring device for vehicle seats
KR20220080747A (en) * 2020-12-04 2022-06-15 주식회사 퍼스타 System for preventing drowsy driving
KR20220113208A (en) 2021-02-05 2022-08-12 부산대학교 산학협력단 Apparatus and Method for Preventing Drowsiness and Measuring Brain Activation Signal from Drowsiness Using Selective Wavelength
KR20230026571A (en) * 2021-08-17 2023-02-27 권혁준 Surveillant system of driver for safety
CN114771379A (en) * 2022-05-19 2022-07-22 一汽丰田汽车有限公司 Seat headrest, vehicle and fatigue grade detection method

Also Published As

Publication number Publication date
KR101926921B1 (en) 2018-12-07

Similar Documents

Publication Publication Date Title
KR101926921B1 (en) Driver monitoring apparatus and method
JP5728619B2 (en) A system for monitoring the health and ergonomics of vehicle drivers
US10864918B2 (en) Vehicle and method for supporting driving safety thereof
JP5288045B2 (en) Emergency vehicle evacuation device
US20170291544A1 (en) Adaptive alert system for autonomous vehicle
US20080071177A1 (en) Bioinformation Sensor
JPWO2005112764A1 (en) Biological information detection device
JP5504742B2 (en) Device and method for adjusting arousal level
US11091168B2 (en) Autonomous driving support systems including vehicle headrest monitoring devices and methods incorporating the same
KR101519748B1 (en) A carelessness detmination method of the driver and an apparatus for this
JP2023093454A (en) Abnormality detection device
KR20160112213A (en) Audio navigation device, vehicle having the same, user device, and method for controlling vehicle
JP6701951B2 (en) Driving support device
JP2005253590A (en) Driving support apparatus
JP6776681B2 (en) Driver status determination device and driver status determination program
KR101940213B1 (en) Head support device for vehicle
KR20170086241A (en) Driving coach system and method capable of bio-feedback
JP6673070B2 (en) Driver state guidance device and driver state guidance program
JP6641642B2 (en) Life sign detection device
KR20210158525A (en) System for reducting mortion sickness for driving of autonomous vehicle
JP7485521B2 (en) Vehicle control device
JP2019012501A (en) Driving support apparatus, driving support method, and driving support program
KR20230064644A (en) Method and Apparatus for Providing Sleep Care to Passenger in Mobile Device
JP7376389B2 (en) Vehicle control system
JP2024062476A (en) Motion Sickness Detection System

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant