WO2022124515A1 - 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치 및 방법 - Google Patents

비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치 및 방법 Download PDF

Info

Publication number
WO2022124515A1
WO2022124515A1 PCT/KR2021/009590 KR2021009590W WO2022124515A1 WO 2022124515 A1 WO2022124515 A1 WO 2022124515A1 KR 2021009590 W KR2021009590 W KR 2021009590W WO 2022124515 A1 WO2022124515 A1 WO 2022124515A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
vehicle
signal
vehicle safety
safety control
Prior art date
Application number
PCT/KR2021/009590
Other languages
English (en)
French (fr)
Inventor
곽건호
김현수
Original Assignee
주식회사 오토웰즈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020200169172A external-priority patent/KR20220080756A/ko
Priority claimed from KR1020200169171A external-priority patent/KR102551870B1/ko
Application filed by 주식회사 오토웰즈 filed Critical 주식회사 오토웰즈
Publication of WO2022124515A1 publication Critical patent/WO2022124515A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/04—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units
    • B60W10/06—Conjoint control of vehicle sub-units of different type or different function including control of propulsion units including control of combustion engines
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces

Definitions

  • the present invention relates to a driver monitoring system, and more particularly, a non-contact EEG signal measurement that can perform safe vehicle control according to the driver's biological state and indoor environment by collecting and analyzing the driver's EEG signals in a non-contact manner. It relates to an apparatus and method for driver monitoring and vehicle safety control.
  • the reason for the increase in traffic accidents among older drivers is mainly due to the deterioration of the physical ability of older drivers.
  • the range of the available visual field is reduced due to aging. have.
  • the need for health management by periodically checking the driver's health is increasing, and the demand for a technology capable of securing the driver's safety by monitoring the driver's biological state in real time while driving is expected.
  • EEG electroencephalogram
  • An embodiment of the present invention collects and analyzes the driver's EEG signals in a non-contact manner, thereby enabling driver monitoring and vehicle safety control through non-contact EEG signal measurement that can perform safe vehicle control according to the driver's biological state and indoor environment.
  • An apparatus and method are provided.
  • An embodiment of the present invention provides driver monitoring and vehicle safety through non-contact EEG signal measurement that can detect an abnormal situation of the driver and provide a prompt response by analyzing the driver's EEG signal, bio-signal and harmful gas information from various angles.
  • An object of the present invention is to provide a control device and method.
  • An embodiment of the present invention measures the driver's EEG signal in a non-contact manner to provide a three-dimensional analysis of the driver's condition and a practical response thereto even if the driver is not conscious of the driver monitoring and vehicle through the non-contact EEG signal measurement. To provide a safety control device and method.
  • the driver monitoring and vehicle safety control device through non-contact EEG signal measurement measures the driver's bio-signals through at least one bio-signal collection sensor installed near the driver's seat when the driver's boarding of the vehicle is detected a biosignal measurement unit; a base signal extraction unit for extracting a plurality of base signals for generating the driver's EEG signal from the biosignals; an EEG signal generator for generating the EEG signal through frequency analysis of the plurality of base signals; a driver state classification unit for classifying the driver's state by monitoring the EEG signal; a user terminal interlocking unit for transmitting the bio-signals, the EEG signal, and monitoring information regarding the driver's condition to a user terminal; and a vehicle safety controller configured to control an operating state of the vehicle according to the driver's state.
  • the at least one biosignal collecting sensor may include: a camera sensor installed in front of the driver's seat in the vehicle to obtain an image signal related to the driver's gaze image; a respiration sensor installed on the driver's seat upper part of the ceiling of the vehicle to obtain a respiration signal related to the driver's respiration rate and respiration intensity; and a body sensor coupled to the steering wheel of the vehicle for the driver's pulse, body temperature, and blood pressure.
  • the base signal extractor includes: a first base signal module for calculating the size of the iris region from the gaze image and extracting the size change rate of the iris region as a first base signal; a second base signal module for extracting the rate of change of the respiration rate and respiration intensity from the respiration signal as a second base signal; and a third base signal module for extracting the rate of change of the pulse, body temperature, and blood pressure from the body signal as a third base signal.
  • the EEG signal generator includes: a frequency matching module for matching any one of a plurality of frequency bands with respect to the first to third base signals, respectively; a candidate EEG signal generating module that generates a candidate EEG signal in a corresponding frequency band based on each base signal; and an EEG signal generating module that generates the EEG signal by integrating candidate EEG signals generated based on the first to third base signals.
  • the frequency matching module includes Delta, Theta, Low Alpha, High Alpha, Low Beta, High Beta, Low Gamma and Middle gamma is used as the plurality of frequency bands, and the EEG signal generating module may update the EEG signal after assigning an independent weight to each of the candidate EEG signals according to the driver's condition.
  • the frequency matching module may dynamically change a frequency band matched to each of the first to third base signals according to the driving speed and driving time of the vehicle.
  • the driver state classification unit classifies the driver's state into any one of a drowsy state, a normal state, an excited state, a drinking state, and an emergency state, and the vehicle safety control unit controls the vehicle when the driver's state is classified as the drowsy state
  • the driving state is controlled to be safe and the driver's state is classified as the drinking state, the vehicle may be controlled to be in an impossible state to start.
  • the bio-signal measuring unit measures the driver's bio-signals through a wearable measuring device that is worn on the driver's body and operates, and the wearable measuring device is a wrist band worn on the driver's wrist or worn on the driver's neck It may be formed in the form of a neckband.
  • the wearable measuring device When the wearable measuring device is formed in the form of a neckband, it further includes an earphone to be worn on the driver's ear and a microphone to which the driver's voice signal can be input, and when the wearable measuring device is formed in the form of a wristband, the driver's heart rate It may include a heart rate sensor for measuring, a 6-axis sensor for detecting an operation of the wearable measuring device, a temperature sensor for measuring the body temperature of the driver, and a blood pressure sensor for measuring the blood pressure of the driver.
  • a heart rate sensor for measuring
  • a 6-axis sensor for detecting an operation of the wearable measuring device
  • a temperature sensor for measuring the body temperature of the driver
  • a blood pressure sensor for measuring the blood pressure of the driver.
  • a voice signal processing unit that converts the voice signal input to the microphone into text or converts text data input through a wireless communication unit into a voice signal, wherein the voice signal processing unit includes the The driver's input voice input through the microphone is converted into text and transmitted to the vehicle safety control unit, or text data input through the vehicle safety control unit is converted into a voice signal and then output as a voice signal through the earphone .
  • the wearable measuring device further includes an interlocking auxiliary measuring device that is worn on a body part other than the wrist or neck of the driver to measure biometric information, wherein the interlocking auxiliary measuring device is worn on a finger to measure oxygen saturation and heart rate It may be formed so that the body temperature and motion information can be measured by being worn on the driver's torso.
  • the vehicle safety control device includes: a HUD body for displaying information including driving information on a windshield of the vehicle; and an output control unit connected to the vehicle safety control unit and outputting the driver's biometric information to the windshield of the vehicle through the HUD body.
  • the output control unit may output the corresponding biometric information and output a warning sound or a warning phrase.
  • the vehicle safety control device further includes a gaze tracker for tracking the driver's gaze, and the HUD body determines an output position so that the driving information and biometric information can be output in the driver's gaze direction measured by the gaze tracker. It can be formed to be variable.
  • the method for driver monitoring and vehicle safety control through non-contact EEG signal measurement measures the driver's bio-signals through at least one bio-signal collection sensor installed near the driver's seat when the driver's boarding of the vehicle is detected to do; extracting a plurality of base signals for generating the EEG signal of the driver from the biosignals; generating the EEG signal through frequency analysis of the plurality of base signals; classifying the driver's condition by monitoring the EEG signal; transmitting the bio-signals, the EEG signal, and monitoring information about the driver's condition to a user terminal; and controlling the operating state of the vehicle according to the driver's state.
  • the disclosed technology may have the following effects. However, this does not mean that a specific embodiment should include all of the following effects or only the following effects, so the scope of the disclosed technology should not be understood as being limited thereby.
  • the device and method for driver monitoring and vehicle safety control through non-contact EEG signal measurement collects and analyzes the driver's EEG signal in a non-contact manner, so that even without cumbersome installation of a contact device, the driver's biometrics effectively It is possible to perform safe vehicle control according to the state and indoor environment.
  • the device and method for driver monitoring and vehicle safety control through non-contact EEG signal measurement detects an abnormal situation of the driver and promptly analyzes the driver's EEG signal, bio-signal and harmful gas information from various angles can provide a response.
  • FIG. 1 is a view for explaining a driver monitoring system according to the present invention.
  • FIG. 2 is a view for explaining a system configuration of the vehicle safety control device of FIG. 1 .
  • 3 and 4 are diagrams for explaining a functional configuration of the vehicle safety control device of FIG. 1 .
  • FIG. 5 is a flowchart illustrating a method for driver monitoring and vehicle safety control through non-contact EEG signal measurement according to the present invention.
  • FIG. 6 is a diagram for explaining EEG signals and frequency components.
  • FIG. 7 is a diagram illustrating an average value of frequency components of an EEG signal according to a driver's condition.
  • FIG. 8 is a block diagram of an embodiment of a wristband-type wearable measuring device.
  • FIG. 9 is a configuration diagram of an embodiment of a neckband-type wearable measuring device.
  • FIG. 10 is a perspective view of an embodiment of a finger-mounted interlocking kit.
  • FIG. 11 is a perspective view of an embodiment of an infant body mounted interlocking kit.
  • FIG. 12 is a view for explaining a display system for analyzing and displaying a driver's biometric information according to the present invention.
  • FIG. 13 is a view for explaining an embodiment of a HUD that adjusts an output position according to a driver's viewing position
  • first and second are for distinguishing one component from another, and the scope of rights should not be limited by these terms.
  • a first component may be termed a second component, and similarly, a second component may also be termed a first component.
  • identification numbers eg, a, b, c, etc. are used for convenience of description, and identification numbers do not describe the order of each step, and each step clearly indicates a specific order in context. Unless otherwise specified, it may occur in a different order from the specified order. That is, each step may occur in the same order as specified, may be performed substantially simultaneously, or may be performed in the reverse order.
  • the present invention can be embodied as computer-readable codes on a computer-readable recording medium
  • the computer-readable recording medium includes all types of recording devices in which data readable by a computer system is stored.
  • Examples of the computer-readable recording medium include ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical data storage device, and the like.
  • the computer-readable recording medium is distributed in a computer system connected to a network, so that the computer-readable code can be stored and executed in a distributed manner.
  • FIG. 1 is a view for explaining a driver monitoring system according to the present invention.
  • the driver monitoring system 100 may include a vehicle 110 , a user terminal 130 , a vehicle safety control device 150 , a database 170 , and an external system 190 .
  • the vehicle 110 may correspond to a means of transportation for transporting passengers or cargo using power produced by an engine, and may include a vehicle as a representative example.
  • the vehicle 110 may include not only automobiles, but also ships and airplanes, and is not necessarily limited thereto, and may include various transportation means that can be moved using power.
  • the vehicle 110 may be implemented by including various sensors for measuring driving information and internal/external environment information of the vehicle.
  • the vehicle 110 may include an acceleration sensor, a vibration sensor, a global positioning system (GPS) sensor, a vehicle speed sensor, a steering angle sensor, etc., and may include a temperature sensor, a humidity sensor, and a fine dust sensor.
  • GPS global positioning system
  • the vehicle 110 may be implemented to include various sensors for measuring the driver's bio-signals and generating EEG signals based on them.
  • the vehicle 110 may measure the driver's body information through a steering wheel installed in front of the driver's seat.
  • the steering wheel may correspond to a device for controlling the steering of the vehicle 110 , and may measure body information relatively accurately and quickly by directly contacting the driver's hand.
  • the steering wheel may include a pulse sensor for measuring a pulse, a body temperature sensor for measuring body temperature, a blood sensor for measuring blood, and the like, and these sensors may be classified as a body sensor. That is, the body sensor is a sensor that collects the driver's bio-signals, and as a result of being installed on the steering wheel, may be implemented to collect sensing information through direct contact with the driver's body.
  • the steering wheel may be implemented with an alcohol measuring sensor for measuring the driver's blood alcohol level.
  • the alcohol sensor collects alcohol information contained in the air near the driver's seat and can measure the driver's blood alcohol level based on this. That is, the alcohol sensor can collect information on the blood alcohol concentration through the air discharged out of the body during the driver's breathing process.
  • the vehicle 110 may be implemented to include a camera sensor.
  • the camera sensor may collect an image signal by capturing an image of the driver's gaze, and for this purpose, it may be preferably installed in front of the driver's seat, but is not necessarily limited thereto.
  • the camera sensor may be rotated in an optimal direction for obtaining a gaze image according to a body structure of a driver riding in the driver's seat.
  • the camera sensor may be implemented including a pan-tilt module.
  • the vehicle 110 may be implemented to include a breathing sensor.
  • the respiration sensor may collect a respiration signal according to the driver's respiration, and the respiration signal may include information about the respiration rate and respiration intensity.
  • the respiration rate may be measured in seconds or minutes, and the respiration intensity may be normalized to have a predetermined range value and expressed.
  • the breathing sensor may be preferably installed on the driver's seat upper part of the ceiling of the vehicle 110 for more accurate measurement, but is not necessarily limited thereto, and may be installed near the driver's breathing position.
  • the vehicle 110 may be implemented including an AVN (AUDIO VIDEO NAVIGATION) system.
  • the AVN (AUDIO VIDEO NAVIGATION) system may correspond to vehicle navigation.
  • the AVN system may provide the vehicle safety control device 150 with driving information including information on a periodic movement path and movement time of the vehicle.
  • the AVN system may be implemented by including a communication module for communication with an external system or the user terminal 130 .
  • the vehicle 110 may be connected to the vehicle safety control device 150 through an AVN system.
  • the user terminal 130 may correspond to a computing device owned by the driver.
  • the user terminal 130 may be implemented as a smartphone, a notebook computer, or a computer, but is not limited thereto, and may be implemented in various devices such as a tablet PC.
  • the user terminal 130 may be connected to the vehicle 110 and the vehicle safety control device 150 through a network, and a plurality of user terminals 130 may be simultaneously connected to the vehicle safety control device 150 .
  • the user terminal 130 may install and execute a dedicated program or application for interworking with the vehicle 110 or the vehicle safety control device 150 .
  • the user terminal 130 may be paired with the vehicle 110 through Bluetooth, and may receive various notifications and information provided by the vehicle safety control device 150 or use related services.
  • the vehicle safety control device 150 may be implemented as a driver monitoring and vehicle safety control device through non-contact EEG signal measurement according to the present invention, and driver monitoring and vehicle safety through non-contact EEG signal measurement according to the present invention It can be implemented by applying a control method.
  • the vehicle safety control device 150 interworks with the vehicle 110 to receive the driver's body information, driving information of the vehicle 110, and internal/external environment information, and based on this, it is transmitted to a computer or program that monitors the driver's abnormal situation. It can be implemented with a corresponding server.
  • the vehicle safety control device 150 may be connected to the vehicle 110 and the user terminal 130 through a wired network or a wireless network such as Bluetooth or WiFi, and communicates with the vehicle 110 and the user terminal 130 through the network. can be done In addition, the vehicle safety control device 150 may operate in connection with the external system 190 .
  • the database 170 may correspond to a storage device for storing various types of information required in the operation process of the vehicle safety control device 150 .
  • the database 170 may store various sensing information collected from the vehicle 110 and may store monitoring information regarding the driver's EEG signal, but is not necessarily limited thereto, and the vehicle safety control device 150 is a non-contact-based In the process of performing vehicle safety control using EEG signal measurement, information collected or processed in various forms can be stored.
  • the external system 190 may correspond to various external servers that operate in conjunction with the vehicle safety control device 150 .
  • the external system 190 may include an emergency rescue server for urgent rescue when an emergency situation occurs to the driver, and a hospital management server for reservation of medical treatment when the driver needs treatment.
  • FIG. 2 is a view for explaining a system configuration of the vehicle safety control device of FIG. 1 .
  • the vehicle safety control device 150 may be implemented including a processor 210 , a memory 230 , a user input/output unit 250 , and a network input/output unit 270 .
  • the processor 210 may execute a procedure for processing each step in the process in which the vehicle safety control device 150 operates, and manage the memory 230 that is read or written throughout the process, and the memory ( 230) may schedule a synchronization time between the volatile memory and the non-volatile memory.
  • the processor 210 may control the overall operation of the vehicle safety control device 150 , and is electrically connected to the memory 230 , the user input/output unit 250 , and the network input/output unit 270 to control data flow therebetween. can do.
  • the processor 210 may be implemented as a central processing unit (CPU) of the vehicle safety control device 150 .
  • the memory 230 is implemented as a non-volatile memory, such as a solid state drive (SSD) or a hard disk drive (HDD), and may include an auxiliary storage device used to store overall data required for the vehicle safety control device 150 and , and may include a main memory implemented as a volatile memory such as random access memory (RAM).
  • SSD solid state drive
  • HDD hard disk drive
  • the user input/output unit 250 may include an environment for receiving a user input and an environment for outputting specific information to the user.
  • the user input/output unit 250 may include an input device including an adapter such as a touch pad, a touch screen, an on-screen keyboard, or a pointing device, and an output device including an adapter such as a monitor or a touch screen.
  • the user input/output unit 250 may correspond to a computing device connected through a remote connection, and in such a case, the vehicle safety control device 150 may be performed as an independent server.
  • the network input/output unit 270 includes an environment for connecting with an external device or system through a network, for example, a local area network (LAN), a metropolitan area network (MAN), a wide area network (WAN), and a VAN (Wide Area Network) (VAN). It may include an adapter for communication such as Value Added Network).
  • LAN local area network
  • MAN metropolitan area network
  • WAN wide area network
  • VAN Wide Area Network
  • 3 and 4 are diagrams for explaining a functional configuration of the vehicle safety control device of FIG. 1 .
  • the vehicle safety control device 150 includes a biosignal measuring unit 310 , a base signal extracting unit 320 , an EEG signal generating unit 330 , a driver state classifying unit 340 , and a user terminal. It may include a linkage unit 350 , a vehicle safety control unit 360 , and a control unit (not shown in FIG. 3 ).
  • the biosignal measurement unit 310 may measure the driver's biosignals through at least one biosignal collection sensor installed near the driver's seat. To this end, the biosignal measuring unit 310 may operate in connection with at least one biosignal collecting sensor. When the driver's boarding is detected, the biosignal measurement unit 310 may transmit an operation start command to at least one biosignal collection sensor to instruct the biosignal measurement. The biosignal measurement unit 310 may receive sensing information in real time or periodically from at least one biosignal collection sensor, and the collected information may be stored and managed in the database 170 .
  • the at least one bio-signal collection sensor is installed in front of the driver's seat in the interior of the vehicle 110 to obtain an image signal related to the driver's gaze image, and is installed above the driver's seat among the camera sensor and the ceiling of the vehicle 110. It may include a respiration sensor for acquiring a respiration signal related to the respiration rate and respiration intensity of the vehicle, and a body sensor coupled to the steering wheel of the vehicle 110 for the driver's pulse, body temperature, and blood pressure.
  • the base signal extractor 320 may extract a plurality of base signals for generating the driver's brain wave signal from the biosignals. That is, the plurality of base signals may correspond to the basic signals for generating the driver's brain wave signal in a non-contact manner. Also, the base signal extractor 320 may extract a frequency component of a specific frequency band from the biosignals as the base signal. Accordingly, when a plurality of base signals extracted by the base signal extraction unit 320 are combined into one, it may correspond to the driver's brain wave signal. The base signal extractor 320 may match a predetermined frequency band according to the characteristics of each biosignal in order to more accurately extract the driver's brainwave signal using limited biosignals.
  • the base signal extractor 320 may include a first base signal module 321 , a second base signal module 323 , and a third base signal module 325 . More specifically, the first base signal module 321 may calculate the size of the iris region in the gaze image and extract the size change rate of the iris region as the first base signal. That is, the first base signal module 321 may acquire related information about the EEG signal based on the driver's eye movement.
  • a human pupil may be composed of a pupil and an iris surrounding the pupil, and the size of the pupil may be automatically adjusted by the iris, and accordingly, the size of the iris region may also be changed.
  • the first base signal module 321 may obtain information about the size of the pupil by analyzing the driver's gaze image, and may obtain the size of the iris region based on this. Also, the first base signal module 321 may extract information on a rate of change in size of the iris region for a unit time as the first base signal.
  • the second base signal module 323 may extract the rate of change of the respiration rate and respiration intensity from the respiration signal as the second base signal.
  • the driver's respiration can be specified through the number of respirations and respiration intensity per unit time.
  • the second base signal module 323 may acquire information about the respiration rate and respiration intensity based on the respiration signal measured through the respiration sensor, and information about the rate of change for each respiration rate and respiration intensity to the second base It can be extracted as a signal.
  • the third base signal module 325 may extract changes in pulse rate, body temperature, and blood pressure from the body signal as the third base signal.
  • the third base signal module 325 may express each of the pulse, body temperature, and blood pressure as specific numerical information, and may extract the change rate of each numerical value as the third base signal. That is, the base signal extractor 320 may extract the first to third base signals through the first to third base signal modules and transmit them to the EEG signal generator 330 . Also, the base signal extractor 320 may store the first to third base signals in the database 170 .
  • the EEG signal generator 330 may generate an EEG signal through frequency analysis of a plurality of base signals. That is, the EEG signal generating unit 330 may generate the driver's EEG signal as a result of allocating each base signal as a frequency component of a specific frequency band and integrating each frequency component. That is, a human brain wave signal can be expressed in a waveform form that vibrates in a very complex pattern, and assuming that it is a linear combination of vibration signals in various frequency bands, it can be decomposed into frequency components in various frequency bands.
  • the EEG signal generator 330 may generate an EEG signal by matching each base signal with frequency components constituting the EEG signal and then integrating them into one.
  • the EEG signal generation unit 330 may include a frequency matching module 331 , a candidate EEG signal generation module 333 , and an EEG signal generation module 335 . More specifically, the frequency matching module 331 may match any one of a plurality of frequency bands with respect to the first to third base signals, respectively. The frequency matching module 331 may match any one of a plurality of frequency bands related to the EEG signal in consideration of the characteristics of the sensing information that is the basis of the base signal.
  • the frequency matching module 331 is a delta (Delta), theta (Theta), low alpha (Low Alpha), high alpha (High Alpha), low beta (Low Beta), high beta (High Beta), Low Gamma and Mid Gamma may be used as a plurality of frequency bands.
  • delta ( ⁇ ) is 0.2 to 3.99 Hz
  • theta ( ⁇ ) is 4 to 7.99 Hz
  • alpha ( ⁇ ) is 8 to 12.99 Hz
  • beta ( ⁇ ) is 13 to 29.99 Hz
  • gamma (g) is 30 It can be set to ⁇ 50 Hz.
  • each frequency band may be subdivided into three frequency bands: high, middle, and low (see FIG. 6 ).
  • the frequency matching module 331 may dynamically change a frequency band matched to each of the first to third base signals according to the driving speed and driving time of the vehicle 110 .
  • the frequency matching module 331 may construct and utilize a matching table for a frequency band corresponding to each base signal in advance for various combinations of driving speed and driving time.
  • the matching table may include matching information in which a ranking is given for each combination of driving speed and driving time for each frequency band that has a large influence on a person's brain wave signal, and base signals are matched according to each rank.
  • the candidate EEG signal generating module 333 may generate a candidate EEG signal in a corresponding frequency band based on the base signal. For example, the candidate EEG signal generating module 333 may generate a candidate EEG signal by performing fast Fourier transform (FFT) based on the base signal. Also, the candidate EEG signal generating module 333 may adjust the sampling period according to the frequency band in the fast Fourier transform process.
  • FFT fast Fourier transform
  • the EEG signal generation module 335 may generate an EEG signal by integrating candidate EEG signals generated based on the first to third base signals.
  • the EEG signal may be generated by linearly combining various frequency components, and the EEG signal generating module 335 may generate the driver's EEG signal by linearly combining the candidate EEG signals.
  • the EEG signal generating module 335 may update the EEG signal after assigning an independent weight to each of the candidate EEG signals according to the driver's condition.
  • the driver may correspond to a drowsy state, a normal state, an excited state, or a drinking state, and the EEG signal may have a stronger signal in a specific frequency band according to each state.
  • the EEG signal generating module 335 may assign weights to each of the candidate EEG signals based on the driver's state derived in the previous step in the step before combining the candidate EEG signals.
  • the EEG signal generation module 335 may assign a relatively low weight to the candidate EEG signals related to the alpha band.
  • the EEG signal generating module 335 may assign a relatively high weight to the candidate EEG signal related to the beta band. Therefore, the EEG signal generation module 335 assigns a higher weight to the candidate EEG signal in a frequency band that can more influence the EEG signal according to the driver's condition and then updates the EEG signal, thereby predicting the accuracy of the condition prediction based on the EEG signal. can increase
  • the driver state classification unit 340 may classify the driver's state by monitoring the EEG signal. That is, the driver state classification unit 340 may classify the driver's state into one of preset states according to the change pattern of the EEG signal. In an embodiment, the driver state classification unit 340 may classify the driver's state into any one of a drowsy state, a normal state, an excited state, a drinking state, and an emergency state. A driver who drives the vehicle 110 can be largely classified into the above five states, and the driving of the vehicle 110 needs to be controlled for each state.
  • the user terminal interworking unit 350 may transmit bio-signals, EEG signals, and monitoring information regarding the driver's condition to the user terminal 130 . That is, the vehicle safety control device 150 may provide a monitoring result in real time by interworking with the smartphone of the driver riding in the vehicle 110 . In addition, the vehicle safety control device 150 may provide a related notification through the user terminal linkage unit 350 when the occurrence of an abnormal situation of the driver is predicted according to the monitoring result. In addition, when the occurrence of an abnormal situation of the driver is predicted, the vehicle safety control device 150 may control the audio or emergency lights of the vehicle 110 to execute measures to secure the driver's safety.
  • the user terminal linkage unit 350 may detect the driver's boarding based on a sensor inside the vehicle 110 , and may automatically perform pairing with the user terminal 130 when boarding is detected. For example, whether the driver is on board may be detected based on information collected from an internal sensor, such as when the driver touches the steering wheel with his hand or when the driver sits in the driver's seat. In addition, when the driver's boarding is detected, the user terminal linkage unit 350 may detect the user terminal 130 inside the vehicle 110 and perform an automatic pairing operation with the user terminal 130 . To this end, the user terminal 130 may be registered in the vehicle safety control device 150 in advance.
  • the user terminal interlocking unit 350 may provide the user terminal 130 with bio-signals, EEG signals, and analyzed driver's state information periodically or in real time. That is, the driver can check the history of his or her health condition at any time through the user terminal 130 .
  • the vehicle safety controller 360 may control the operating state of the vehicle 110 according to the driver's state. Also, the vehicle safety control unit 360 may detect the occurrence of an abnormal situation according to the driver's condition. When it is determined that an abnormal situation has occurred to the driver, the vehicle safety controller 360 may provide an emergency alarm to the external system 190 while controlling the operating state of the vehicle 110 . For example, when the vehicle 110 is driving, the vehicle safety control unit 360 controls the driving system of the vehicle 110 to reduce the speed of the vehicle 110 or to control the vehicle 110 to stop at a safe place.
  • the vehicle safety control unit 360 may provide information about the occurrence of an abnormal situation of the driver to a pre-registered phone number, and push to an emergency relief organization (eg, 119) or a medical institution such as a designated hospital. It is also possible to provide an alarm in the form of an alarm.
  • an emergency relief organization eg, 119
  • a medical institution such as a designated hospital. It is also possible to provide an alarm in the form of an alarm.
  • the vehicle safety controller 360 controls the vehicle 110 to a safe driving state when the driver's state is classified as a drowsy state, and cannot start the vehicle 110 when the driver's state is classified as a drinking state state can be controlled.
  • the vehicle safety control device 150 may detect the driver's drinking state through the driver's brain wave analysis, and when the driver's state is classified as a drinking state, it controls the driving system of the vehicle 110 through the vehicle safety controller 360 . Accordingly, it is possible to control the vehicle 110 not to start despite the driver's manual operation. That is, the vehicle safety control device 150 may disable the driving of the vehicle 110 in advance to prevent drunk driving and prevent an accident due to this.
  • the vehicle safety control unit 360 may stop the vehicle 110 by driving it to the shoulder of the road while reducing the speed of the vehicle 110 , and in some cases, the vehicle 110 . ) may be controlled to move to a designated place (eg, a rest area, a parking lot, etc.).
  • a designated place eg, a rest area, a parking lot, etc.
  • the control unit (not shown in FIG. 3 ) controls the overall operation of the vehicle safety control device 150 , the biosignal measuring unit 310 , the base signal extracting unit 320 , the EEG signal generating unit 330 , and the driver state A control flow or data flow between the classification unit 340 , the user terminal interworking unit 350 , and the vehicle safety control unit 360 may be managed.
  • FIG. 5 is a flowchart illustrating a vehicle safety control method using non-contact-based EEG signal measurement according to the present invention.
  • the vehicle safety control device 150 when the vehicle safety control device 150 detects the driver's boarding of the vehicle 110 through the biosignal measuring unit 310 , the driver's occupancy is performed through at least one biosignal collection sensor installed near the driver's seat. Biosignals may be measured (step S510).
  • the vehicle safety control device 150 may extract a plurality of base signals for generating the driver's EEG signal from the biosignals through the base signal extraction unit 320 (step S520).
  • the vehicle safety control device 150 may generate an EEG signal through frequency analysis of a plurality of base signals through the EEG signal generator 330 (step S530).
  • the vehicle safety control device 150 may classify the driver's state by monitoring the EEG signal through the driver state classification unit 340 (step S540).
  • the vehicle safety control device 150 may transmit bio-signals, EEG signals, and monitoring information regarding the driver's condition to the user terminal 130 through the user terminal linkage unit 350 (step S550).
  • the vehicle safety control device 150 may control the operating state of the vehicle 110 according to the driver's condition through the vehicle safety control unit 360 (step S560).
  • the vehicle safety control device 150 may collect driving information and internal/external environment information of the vehicle 110 from various sensors coupled to the vehicle 110 . That is, the vehicle safety control device 150 collects driving information including the location and speed of the vehicle 110 and environmental information including internal/external temperature, humidity, fine dust concentration and external weather of the vehicle 110 . It is possible to three-dimensionally analyze the driver's brain wave information, driving information, and environmental information to effectively detect the occurrence of an abnormal situation in the driver.
  • the vehicle safety control device 150 generates a two-dimensional matrix regarding a plurality of items and item values for each time unit for each dimension of EEG information, driving information, and environment information, and RGB according to the item value It is possible to create a two-dimensional feature map for each dimension corresponding to a two-dimensional matrix by giving a color, and to collect two-dimensional feature maps during the operation of the vehicle 110 and build a learning model for predicting the driver's condition in advance. can That is, the vehicle safety control device 150 may quickly detect the occurrence of an abnormal situation in the driver based on the learning model.
  • EEG information, driving information, and environment information may correspond to independent dimensions, and a plurality of items are defined for each dimension, and item values for unit time for each item are dataized in a two-dimensional matrix form.
  • the two-dimensional matrix may be generated in which each of the plurality of items corresponds to a row and each of the item values per unit time corresponds to a column.
  • the vehicle safety control device 150 may determine the unit time for each item, and may determine the item value per unit time based on the sensed values collected during the unit time.
  • the item value per unit time may be determined as the average or maximum value of the sensed values collected during the unit time, and is not necessarily limited thereto, and may be determined in various ways.
  • the vehicle safety control device 150 may generate a two-dimensional feature map corresponding to a two-dimensional matrix by converting an item value expressed as a specific numerical value into an RGB color value. That is, the two-dimensional feature map may correspond to a visualization map that is generated in a rectangular shape corresponding to a two-dimensional matrix and expressed in RGB colors according to each item value. Through this, the vehicle safety control device 150 may convert the driver's state into visualized information and detect an abnormal situation of the driver according to a change in the visualized information.
  • the vehicle safety control device 150 may collect two-dimensional feature maps in the operation process of the vehicle 110 and build a learning model for predicting the driver's state.
  • the vehicle safety control device 150 determines a representative item among a plurality of items for each dimension, calculates an average RGB color of the representative item from a two-dimensional feature map for each dimension, and based on the average RGB color
  • the learning model can be built through the process of extracting candidate features from the 2D feature map for each dimension and learning the distribution of the candidate features from the 2D feature map for each dimension.
  • the vehicle safety control device 150 may determine each representative item for each dimension, that is, brain wave information, driving information, and environment information. For example, in the case of EEG information, a specific frequency band, in the case of driving information, a vehicle speed, and in the case of environmental information, external weather may be determined as representative items for each dimension.
  • the vehicle safety control device 150 may calculate the average RGB color of the corresponding representative item from the two-dimensional feature map. That is, the average of the item values per unit time may be calculated for the representative item, and the RBG color corresponding to the average value may be determined as the average RBG color. Also, the vehicle safety control device 150 may extract candidate features from the 2D feature map of the corresponding dimension based on the average RGB color.
  • the vehicle safety control device 150 may determine candidate features having a color similar to the average RGB color based on the similarity to the average RGB color.
  • the vehicle safety control device 150 may acquire information about the distribution of candidate features from the two-dimensional feature map, and may build a learning model by learning it.
  • the distribution information of the candidate features may include location information and color information of the corresponding candidate features in the 2D feature map.
  • the vehicle safety control device 150 can effectively detect the driver's abnormal situation by using the learning model selectively learning only the main information about the driver's condition.
  • the vehicle safety control device 150 may monitor the state of harmful gases such as carbon dioxide by measuring the carbon dioxide concentration in the vehicle 110 through an infrared CO2 sensor.
  • the vehicle safety control device 150 may execute measures for carbon reduction according to the state of the harmful gas.
  • the vehicle safety control device 150 may forcibly stop the driving of the vehicle 110 when the concentration of a harmful gas (eg, CO 2 , etc.) in the vehicle 110 exceeds a preset threshold standard.
  • a harmful gas eg, CO 2 , etc.
  • the vehicle safety control device 150 may adjust the generation period of the EEG signal for classification of the driver's state based on the concentration of the harmful gas in the vehicle 110 . For example, when the concentration of the harmful gas is high, the vehicle safety control device 150 may reduce the generation period of the EEG signal.
  • FIG. 7 is a diagram illustrating an average value of frequency components of an EEG signal according to a driver's condition.
  • the vehicle safety control device 150 may measure the driver's bio-signals when the driver's boarding of the vehicle 110 is detected.
  • the vehicle safety control device 150 may extract base signals from the biosignals, and may generate a driver's brainwave signal through frequency analysis of the plurality of base signals.
  • the vehicle safety control device 150 may decompose a frequency component for each preset frequency band from the generated EEG signal.
  • the vehicle safety control device 150 may extract a specific signal value through sampling for each frequency component and may calculate an average value for each frequency band.
  • the vehicle safety control device 150 may classify the driver's state based on the distribution of the average value of each frequency band based on the pre-established EEG signal data as shown in FIG. 7 .
  • the vehicle safety control device 150 may classify the driver's state as the normal state.
  • the vehicle safety control device 150 may classify the driver's state as an excited state when the average value of the delta wave of the EEG signal is included in the excited state range (B). That is, the vehicle safety control device 150 may determine the driver's state after decomposing the EEG signal generated through the non-contact method based on the biosignal into a plurality of frequency components again as shown in FIG. 7 .
  • the vehicle safety control device 150 may determine any one of a plurality of frequency components based on the driver's state of the previous stage and classify the driver's state based on an average value of the corresponding frequency components. Meanwhile, the vehicle safety control device 150 may classify the driver's condition by using the EEG signal generated through the non-contact method based on the biosignal as it is. As a result, the vehicle safety control apparatus 150 may use the driver's brainwave signals generated in a non-contact manner in various ways to classify the driver's state in various ways and perform vehicle control according to the driver's state.
  • the biosignal measuring unit 310 may measure the driver's biosignal through a wearable measuring device that is worn on the driver's body and operates, and the wearable measuring device is a wrist band worn on the driver's wrist or the driver It can be formed in the form of a neckband worn on the neck of the.
  • the wearable measuring devices 800 and 900 are worn on the driver's body to measure the driver's biometric information or movement, and can generate measurement information, and are formed in the shape of a wristband worn on the wrist or a neckband worn on the neck. can be
  • the wearable measuring device 800 in the form of a wristband includes a heart rate sensor 810 and a 6-axis sensor 820 to measure heart rate, movement, body temperature, and blood pressure among the driver's biometric information, respectively. It may be implemented including a temperature sensor 830 and a blood pressure sensor 840 .
  • Measurement information measured by the sensors is transmitted to a main control unit (MCU) 850 , and the MCU 850 may transmit the measured information to the outside through the wireless communication unit 860 .
  • the wireless communication unit 860 may transmit information to a smartphone or a dedicated terminal possessed by the driver, or may transmit information to a repeater provided on one side of the inside of the vehicle 110 .
  • the wristband-shaped wearable measuring device 800 is equipped with a vibration motor 870 for generating vibration so as to output an alarm signal to the driver wearing it, and can output measurement information or other information such as time or weather.
  • the display 880 may be formed so that
  • the wrist band-shaped wearable measuring device 800 may drive the sensors, the MCU 850 , the vibration motor 870 , the display 880 , and the like through a built-in battery 890 .
  • the wearable measuring device 900 may be formed in the form of a neckband, and in this case, as shown in FIG. 9 , the measurement information in the biometric information measuring unit 930 including sensors for which the MCU 910 measures biometric information can be received and transmitted to the outside through the wireless communication unit 920 .
  • the biometric information measuring unit 930 may include measurement sensors for measuring blood pressure, body temperature, and heart rate, and various sensors for measuring biometric information that can be measured around the neck may be applied.
  • the neckband-type wearable measuring device 900 may be implemented to include a microphone 940 for inputting a voice signal of a worn driver, and a speaker 950 for outputting an auditory signal, and the speaker Reference numeral 950 may be in the form of an earphone worn on the driver's ear.
  • the neckband type wearable measuring device 900 may include a voice signal processing unit 960 connected to the MCU 910 .
  • the voice signal processing unit 960 may convert a voice signal input through the microphone 940 into text or convert text data input through the wireless communication unit 920 into a voice signal.
  • the voice signal processing unit 960 converts the voice signal into text data and then transmits it through the wireless communication unit 920 for input. signal can be processed.
  • text data input from the outside for example, weather information, text message, or warning message, may be converted into a voice signal in the voice signal processing unit 960 and outputted as voice to the driver through the speaker 950 , that is, the earphone.
  • the elderly or the disabled with poor eyesight can easily transmit an input signal through voice or easily recognize data transmitted from the outside.
  • the wearable measuring device 900 also drives through the built-in battery 970 and may include a rechargeable battery 970 .
  • the wearable measuring devices 800 and 900 may further include an interlocking auxiliary measuring device 1000 as shown in FIGS. 10 and 11 .
  • an interlocking auxiliary measuring device 1000 worn on the driver's finger is provided, and by inserting a finger, biometric information that is difficult to measure with the wristband type wearable measuring device 800, such as blood oxygen concentration, can be collected. have.
  • FIG. 11 when a passenger, not a driver, is an infant who has difficulty wearing a wearable measuring device 800 such as a neck band or a wrist band, an interlocking auxiliary measuring device 1000 formed in a shape surrounding the abdomen of the infant is shown. .
  • a wearable measuring device 800 such as a neck band or a wrist band
  • the interlocking auxiliary measuring device 1000 surrounding the abdomen may measure biometric information such as body temperature and heart rate, and a motion detection sensor such as a gyro sensor or a 6-axis sensor 820 is provided.
  • a motion detection sensor such as a gyro sensor or a 6-axis sensor 820 is provided.
  • a dangerous situation can be determined by detecting the wearer's movement through the interlocking auxiliary measuring device 1000 that detects motion.
  • the interlocking auxiliary measuring device 1000 may be used together with the wearable measuring devices 800 and 900 in the form of a wristband or neckband, or may be used alone.
  • the vehicle safety control device 150 receives and analyzes the measurement information of the wearable measuring devices 800 and 900 through the vehicle safety control unit 360 , and the health state of the driver who wears the wearable measuring devices 800 and 900 . can be analyzed. Measurement information and analysis information can be transmitted to the vehicle safety control device 150 through the network, and when the measurement result exceeds a set reference value, it is determined that there is a problem in the driver's health condition and an external system such as 119 situation room (190) ) or to the user terminal 130 of a preset manager such as family, acquaintances, friends, etc., so that a quick response to an emergency can be made.
  • a preset manager such as family, acquaintances, friends, etc.
  • FIG. 12 is a view for explaining a display system for analyzing and displaying a driver's biometric information according to the present invention.
  • the vehicle safety control device 150 may be implemented by including a display system (hereinafter referred to as a HUD system) that analyzes and displays the driver's biometric information.
  • the HUD system of this embodiment includes a HUD body capable of displaying driving information on the windshield 1 of the vehicle 110 , that is, on the windshield, and a wearable measuring device 800 that the driver wears on the body and measures the driver's biometric information. ) and an output control unit that receives the measurement information of the wearable measuring device 800 and determines whether to output the driver's biometric information based on the analysis result of analyzing the driver's condition, and controls the information output from the HUD body can do.
  • the HUD main body outputs driving information of the vehicle 110 or the driver's biometric information measured by a wearable measuring device 800 to be described later so that it can be displayed on the windshield 1 of the vehicle.
  • the HUD body may be embedded in the dashboard 2 of the vehicle 110 or may be formed by separately attaching it to the upper portion of the dashboard 2 .
  • the driving information output from the HUD body may include the driving speed of the vehicle 110 , the engine RPM, and the driving guidance direction of the vehicle 110 when the navigation system is in use.
  • the wearable measuring device 800 may be worn on the driver's body to measure the driver's biometric information.
  • various wearable devices that a driver can wear may be applied, and a band type worn on a wrist or a necklace type worn on a neck may be applied.
  • a band type worn on the driver's wrist was applied.
  • the wearable measuring device 800 may measure body temperature, blood pressure, heart rate, and oxygen saturation among biometric information of a wearer, that is, a driver. Of course, the wearable measuring device 800 may also measure various biometric information that can be measured while worn on the wrist.
  • the wearable measuring device 800 may transmit measurement information to the vehicle safety control device 150 through wireless communication using a Bluetooth method. It is preferable that the wearable measuring device 800 communicates with the vehicle safety control device 150 in a wireless communication method so that the wearer, ie, the driver, can easily use the arm while driving, and in the vehicle 110 at a relatively short distance.
  • a Bluetooth method capable of efficiently performing wireless communication is applied, various wireless communication methods such as Wi-Fi or Zigbee may be applied.
  • the wearable measuring device 800 may be provided with a separate display, and display the driver's biometric information measured through the display device, or information other than the biometric information, for example, information such as time or weather.
  • the vehicle 110 may be linked to output vehicle information through the display of the wearable measuring device 800 .
  • the wearable measuring device 800 is expressed as a wearable device worn on the driver's body, but the wearable measuring device 800 is an internal device of the vehicle 110, for example, the handle 3 held by the driver's hand. ) or a transmission lever (not shown) to measure the driver's biometric information while in contact with the driver's body.
  • the wearable measuring device 800 is a UWB (Ultra-WideBand) radar that is installed on one side of the inside of the vehicle 110 and can measure the driver's heart rate, or an infrared camera that can measure the driver's body temperature. .
  • UWB Ultra-WideBand
  • the vehicle safety control device 150 may receive information measured from the wearable measuring device 800 through the vehicle safety control unit 360 and analyze the driver's state and condition through biometric information. That is, the vehicle safety control unit 360 can determine whether the fatigue level of the driver is higher than a certain level by determining the degree of fatigue through the biometric information, and when the heart rate increases above the set value or becomes too slow below the set value, there is a risk situation can be judged.
  • the vehicle safety controller 360 may determine whether the driver is in a suitable state to continue driving based on any one or two or more biometric information of body temperature, blood pressure, heart rate, and oxygen saturation.
  • the vehicle safety control device 150 may output driving information and biometric information or warning text on the windshield 1 so that the driver can see it while driving through the output control unit.
  • the output control unit may receive driving information, such as driving speed of the vehicle 110 , engine RPM, and driving guidance information of the navigation system, and output it through the HUD body.
  • driving information such as driving speed of the vehicle 110 , engine RPM, and driving guidance information of the navigation system
  • the output control unit can output the measurement information measured by the wearable measuring device 800, so that the biometric information is always output according to the driver's setting, or when the result of analyzing the biometric information deviates from the standard value set for safe driving Information can be output to inform the driver of this.
  • the output controller may control to output a warning sound or a warning message through the internal speaker of the vehicle 110 at the same time as outputting through the HUD main body when the driver's bio-signal measurement value deviates from a set reference value.
  • FIG. 13 is a view for explaining an embodiment of a HUD that adjusts an output position according to a driver's viewing position
  • the HUD system may further include a gaze tracker 1200 that tracks the driver's gaze so that an output signal output from the HUD body 1300 can be output to the driver's gaze position, and the HUD body ( 1300) may be formed to adjust the output direction of the output beam.
  • a gaze tracker 1200 that tracks the driver's gaze so that an output signal output from the HUD body 1300 can be output to the driver's gaze position, and the HUD body ( 1300) may be formed to adjust the output direction of the output beam.
  • the gaze tracker 1200 may be implemented by including a near-infrared light installed inside the vehicle 110 and a tracking camera for recording the direction of light reflected from the driver's cornea.
  • the near-infrared illumination is installed to be located in front of the driver's head inside the vehicle 110 , and may be installed on the upper inner side of the windshield 1 or the roof side frame of the vehicle 110 .
  • the near-infrared illumination may irradiate near-infrared rays toward the driver's face.
  • the tracking camera records the direction of near-infrared rays reflected from the driver's cornea after being irradiated with near-infrared illumination. Then, the vehicle safety control unit 360 calculates the position of the eyeball through a tracking algorithm based on the recorded direction information of near-infrared rays.
  • the HUD body 1300 includes a body part, a beam output part installed in the body part and irradiating a beam to output the output information provided from the output control part to the windshield 1, and a lens part installed in front of the beam output part; , by adjusting the angle of the body portion may include an angle adjusting unit for adjusting an output position at which information output from the beam output unit is output on the windshield 1 .
  • the angle adjusting unit is formed under the first rotating shaft extending along the width direction of the vehicle 110, the first body connecting portion connecting the first rotating shaft and the body portion, the first body connecting portion, the first rotating shaft and A second rotational shaft extending in the intersecting direction, a second body connection part on which the first rotational shaft is supported and connecting the second rotational shaft to the first rotational shaft, and a first driving part for rotating the first body connection part about the first rotational shaft; , it may include a second driving unit for rotating the second body connection part about the second rotation axis.
  • the output position at which the beam is output can be adjusted along the vertical and left-right directions of the windshield 1 while the body part rotates at a predetermined angle about the first and second rotation axes by the first and second driving units.
  • a stepping motor or an electric actuator may be applied to the first driving unit and the second driving unit.
  • the driving control of the angle adjustment unit is performed by the output control unit to correspond to the driver's gaze direction tracked by the gaze tracker 1200 .
  • the lens unit provided in the HUD body 1300 may operate so that the light output from the beam output unit may be focused according to an output position of the light output on the windshield 1 .
  • the lens unit may adjust a distance at which a plurality of lenses are spaced apart from the beam output unit, or may adjust the focus in such a way that some of the lenses are entered and exited.
  • the driver can easily check the driving information and biometric information because the output position is tracked according to the driver's gaze direction, rather than checking the driving information and biometric information of the HUD system only at a specific point while the driver is driving.
  • the position of the output information output from the HUD body may be limited to a specific point according to the driver's setting, or the output position may be varied along the driver's gaze direction as described above.
  • the output controller may analyze the driver's state information through the driver's gaze tracking by the gaze tracker 1200 .
  • the vehicle safety control device 150 when drowsy driving, the amount of reflection of near-infrared rays reflected through the cornea is reduced, so that drowsy driving is determined, and the eyes are repeatedly focused on the lower part of the windshield 1 . It is determined that driving is drowsy, and the alarm means is activated to wake the driver from drowsiness, and a warning phrase can be output to the driver through the contents outputted to the HUD body 1300 .

Abstract

본 발명은 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치 및 방법에 관한 것으로, 상기 장치는 차량에 대한 운전자의 탑승이 검출되면 운전석 인근에 설치된 적어도 하나의 생체신호 수집센서를 통해 상기 운전자의 생체신호들을 측정하는 생체신호 측정부; 상기 생체신호들에서 상기 운전자의 뇌파신호를 생성하기 위한 복수의 베이스 신호들을 추출하는 베이스 신호 추출부; 상기 복수의 베이스 신호들에 대한 주파수 분석을 통해 상기 뇌파신호를 생성하는 뇌파신호 생성부; 상기 뇌파신호를 모니터링하여 상기 운전자의 상태를 분류하는 운전자 상태 분류부; 상기 생체신호들과 상기 뇌파신호 및 상기 운전자의 상태에 관한 모니터링 정보를 사용자 단말에게 전송하는 사용자 단말 연동부; 및 상기 운전자의 상태에 따라 상기 차량의 동작 상태를 제어하는 차량 안전 제어부를 포함한다.

Description

비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치 및 방법
본 발명은 운전자 모니터링 시스템에 관한 것으로, 보다 상세하게는 운전자의 뇌파신호를 비접촉 방식으로 수집하고 분석하여 운전자의 생체상태와 실내 환경에 따른 안전한 차량 제어를 수행할 수 있는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치 및 방법에 관한 것이다.
지난 2014년 39,000명이었던 60세 이상 국내의 고령 택시 운전자는 2019년 최근 5년사이 51,000명으로 30% 이상 증가를 하였는데, 그 중 70대 운전자는 5,100명, 80대 운전자는 260명이 증가하였다. 지난 2019년 10월 서울특별시 시의회 행정사무감사에서 이와 같은 서울지역 택시 운전자의 고령화로 인한 안전 문제가 공식적으로 제기된 가운데 2019년도 국내의 65세 이상 택시운전자를 대상으로 시야각과 반응속도, 주의력 등의 검사를 의무적으로 시행하고 있으나 고령 택시 운전자 등 국내 고령 대중교통 운전자의 안전사고 예방을 위한 근본적인 대책이 필요한 상황이다.
100세 시대 고령화 사회를 위한 고령 운전자 사고가 사회적 이슈로 부각되고 있는데 구체적으로 지난 2001년 36만명이었던 65세 이상 국내 운전면허 소지자가 2017년 298만명으로 8배이상 증가(출처: 통계청 2018)하였고 최근 5년간 65세 이상 운전자 교통사고 발생 통계를 보면 그 사례가 지속적으로 증가를 하고 있다.
위와 같이 고령 운전자의 교통사고 증가사유는 주로 고령 운전자의 신체능력 저하에 따른 것으로 노화에 의한 가용시각장의 범위가 축소되어, 즉 동체시력의 저하에 따라 측후방에서 출현하는 장애물에 대한 대처가 어려울 수 있다. 또한, 공간에 대한 감각과 인지에 어려움을 느끼고 있으며 65세 이상 고령 운전자들의 경우 최소한 1가지 이상의 만성질환을 가지고 있어, 특히 운전 주행 중 교통사고가 지속적으로 증가하는 추세이다.
따라서, 운전자의 건강을 주기적으로 체크하여 건강관리를 해야 할 필요성이 커지고 있으며, 운전 중 운전자의 생체상태를 실시간으로 모니터링하여 운전자의 안전을 확보할 수 있는 기술에 대한 수요가 예상되고 있다.
한편, 뇌의 활성도와 문맥정보를 파악하기 위해 널리 쓰이는 EEG(electroencephalogram) 신호는 시간적 해상력이 좋고 휴대가 편하고 비교적 값이 싸다는 장점이 있는 반면, 뇌파 신호를 측정하기 위한 별도의 장치가 요구되는 점에서 차량을 주행 중인 운전자의 뇌파 신호를 수집하기 위해서는 운전자가 직접 측정기를 착용하는 불편을 감수하여야 한다. 또한, 운전자는 주행 중에도 측정기를 착용해야 하기에 차량의 운행에 방해되고 교통사고를 유발할 수 있다.
[선행기술문헌]
[특허문헌]
한국등록특허 제10-1327007호 (2013.11.01)
본 발명의 일 실시예는 운전자의 뇌파신호를 비접촉 방식으로 수집하고 분석하여 운전자의 생체상태와 실내 환경에 따른 안전한 차량 제어를 수행할 수 있는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전제어 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 운전자의 뇌파신호, 생체신호 및 유해가스 정보를 다각적으로 분석하여 운전자의 이상상황을 감지하고 신속한 대응을 제공할 수 있는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전제어 장치 및 방법을 제공하고자 한다.
본 발명의 일 실시예는 운전자의 뇌파신호를 비접촉 방식으로 측정하여 운전자가 의식하지 않더라도 운전자 상태에 대한 입체적 분석과 이에 대한 실질적 대응을 제공할 수 있는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전제어 장치 및 방법을 제공하고자 한다.
실시예들 중에서, 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치는 차량에 대한 운전자의 탑승이 검출되면 운전석 인근에 설치된 적어도 하나의 생체신호 수집센서를 통해 상기 운전자의 생체신호들을 측정하는 생체신호 측정부; 상기 생체신호들에서 상기 운전자의 뇌파신호를 생성하기 위한 복수의 베이스 신호들을 추출하는 베이스 신호 추출부; 상기 복수의 베이스 신호들에 대한 주파수 분석을 통해 상기 뇌파신호를 생성하는 뇌파신호 생성부; 상기 뇌파신호를 모니터링하여 상기 운전자의 상태를 분류하는 운전자 상태 분류부; 상기 생체신호들과 상기 뇌파신호 및 상기 운전자의 상태에 관한 모니터링 정보를 사용자 단말에게 전송하는 사용자 단말 연동부; 및 상기 운전자의 상태에 따라 상기 차량의 동작 상태를 제어하는 차량 안전 제어부를 포함한다.
상기 적어도 하나의 생체신호 수집센서는 상기 차량의 내부 중 상기 운전석 전방에 설치되어 상기 운전자의 시선영상에 관한 영상신호를 획득하는 카메라 센서; 상기 차량의 천장 중 상기 운전석 상부에 설치되어 상기 운전자의 호흡수 및 호흡 강도에 관한 호흡신호를 획득하는 호흡센서; 및 상기 차량의 스티어링휠에 결합되어 상기 운전자의 맥박, 체온 및 혈압에 관한 신체센서를 포함할 수 있다.
상기 베이스 신호 추출부는 상기 시선영상에서 홍채 영역의 크기를 산출하고 상기 홍채 영역의 크기 변화율을 제1 베이스 신호로서 추출하는 제1 베이스 신호 모듈; 상기 호흡신호에서 상기 호흡수 및 호흡강도의 변화율을 제2 베이스 신호로서 추출하는 제2 베이스 신호 모듈; 및 상기 신체신호에서 상기 맥박, 체온 및 혈압의 변화율을 제3 베이스 신호로서 추출하는 제3 베이스 신호 모듈을 포함할 수 있다.
상기 뇌파신호 생성부는 상기 제1 내지 제3 베이스 신호들에 대해 복수의 주파수 대역들 중 어느 하나를 각각 매칭하는 주파수 매칭 모듈; 각 베이스 신호를 기초로 해당 주파수 대역에서 후보 뇌파신호를 생성하는 후보 뇌파신호 생성 모듈; 및 상기 제1 내지 제3 베이스 신호들을 기초로 생성된 후보 뇌파신호들을 통합하여 상기 뇌파신호를 생성하는 뇌파신호 생성 모듈을 포함할 수 있다.
상기 주파수 매칭 모듈은 델타(Delta), 세타(Theta), 로우 알파(Low Alpha), 하이 알파(High Alpha), 로우 베타(Low Beta), 하이 베타(High Beta), 로우 감마(Low Gamma) 및 미들 감마(Mid Gamma)를 상기 복수의 주파수 대역들로서 사용하고, 상기 뇌파신호 생성 모듈은 상기 운전자의 상태에 따라 상기 후보 뇌파신호들 각각에 독립된 가중치를 부여한 후 상기 뇌파신호를 갱신할 수 있다.
상기 주파수 매칭 모듈은 상기 차량의 주행속도 및 주행시간에 따라 상기 제1 내지 제3 베이스 신호들 각각에 매칭되는 주파수 대역을 동적으로 변경할 수 있다.
상기 운전자 상태 분류부는 상기 운전자의 상태를 졸음 상태, 평시 상태, 흥분 상태, 음주 상태 및 긴급 상태 중 어느 하나로 분류하고, 상기 차량 안전 제어부는 상기 운전자의 상태가 상기 졸음 상태로 분류된 경우 상기 차량을 안전 주행 상태로 제어하고 상기 운전자의 상태가 상기 음주 상태로 분류된 경우 상기 차량을 시동 불능 상태로 제어할 수 있다.
상기 생체신호 측정부는 상기 운전자의 신체에 착용되어 동작하는 웨어러블 측정기기를 통해 상기 운전자의 생체신호를 측정하고, 상기 웨어러블 측정기기는 상기 운전자의 팔목에 착용하는 팔목 밴드 또는 상기 운전자의 목에 착용하는 넥밴드 형태로 형성될 수 있다.
상기 웨어러블 측정기기가 넥밴드 형태로 형성되는 경우 상기 운전자의 귀에 착용하는 이어폰과 상기 운전자의 음성신호가 입력될 수 있는 마이크를 더 포함하고, 상기 웨어러블 측정기기가 팔목 밴드 형태로 형성되는 경우 상기 운전자의 심박을 측정하는 심박센서, 상기 웨어러블 측정기기의 동작을 감지하기 위한 6축 센서, 상기 운전자의 체온을 측정하는 온도센서, 상기 운전자의 혈압을 측정하는 혈압 센서를 포함할 수 있다.
상기 웨어러블 측정기기가 넥밴드 형태로 형성되는 경우 상기 마이크로 입력되는 음성신호를 문자로 변환하거나 무선통신부를 통해 입력되는 문자 데이터를 음성신호로 변환하는 음성신호 처리부를 더 구비하며, 상기 음성신호 처리부는 상기 마이크를 통해 입력되는 상기 운전자의 입력 음성을 문자로 변환하여 차량 안전 제어부로 전송하거나, 상기 차량 안전 제어부를 통해 입력되는 문자 데이터를 음성신호로 변환한 후 상기 이어폰을 통해 음성신호로 출력할 수 있다.
상기 웨어러블 측정기기는 상기 운전자의 팔목 또는 목 이외의 다른 신체부위에 착용하여 생체정보를 측정하는 연동형 보조 측정기를 더 포함하되, 상기 연동형 보조 측정기는 손가락에 착용하여 산소포화도와 심박수를 측정할 수 있도록 형성되거나, 상기 운전자의 몸통에 착용하여 체온, 동작정보를 측정할 수 있도록 형성될 수 있다.
상기 차량 안전 제어 장치는 상기 차량의 윈드실드에 주행정보를 포함하는 정보를 표시하기 위한 HUD 본체; 및 상기 차량 안전 제어부와 연결되고 상기 운전자의 생체정보를 상기 HUD 본체를 통해 상기 차량의 윈드실드에 출력하는 출력 제어부를 더 포함할 수 있다.
상기 출력 제어부는 상기 운전자의 생체정보가 운전에 위험이 되는 수준으로 감지되면 해당 생체정보를 출력함과 더불어 경고음 또는 경고문구를 출력하도록 될 수 있다.
상기 차량 안전 제어 장치는 상기 운전자의 시선을 추적하는 시선트랙커를 더 포함하고, 상기 HUD 본체는 상기 시선트랙커에서 측정된 상기 운전자의 시선 방향으로 상기 주행정보 및 생체정보가 출력될 수 있도록 출력위치를 가변할 수 있게 형성될 수 있다.
실시예들 중에서, 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 방법은 차량에 대한 운전자의 탑승이 검출되면 운전석 인근에 설치된 적어도 하나의 생체신호 수집센서를 통해 상기 운전자의 생체신호들을 측정하는 단계; 상기 생체신호들에서 상기 운전자의 뇌파신호를 생성하기 위한 복수의 베이스 신호들을 추출하는 단계; 상기 복수의 베이스 신호들에 대한 주파수 분석을 통해 상기 뇌파신호를 생성하는 단계; 상기 뇌파신호를 모니터링하여 상기 운전자의 상태를 분류하는 단계; 상기 생체신호들과 상기 뇌파신호 및 상기 운전자의 상태에 관한 모니터링 정보를 사용자 단말에게 전송하는 단계; 및 상기 운전자의 상태에 따라 상기 차량의 동작 상태를 제어하는 단계를 포함한다.
개시된 기술은 다음의 효과를 가질 수 있다. 다만, 특정 실시예가 다음의 효과를 전부 포함하여야 한다거나 다음의 효과만을 포함하여야 한다는 의미는 아니므로, 개시된 기술의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명의 일 실시예에 따른 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치 및 방법은 운전자의 뇌파신호를 비접촉 방식으로 수집하고 분석함으로써 굳이 번거롭게 접촉장치를 설치하지 않더라도 효과적으로 운전자의 생체상태와 실내 환경에 따른 안전한 차량 제어를 수행할 수 있다.
본 발명의 일 실시예에 따른 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치 및 방법은 운전자의 뇌파신호, 생체신호 및 유해가스 정보를 다각적으로 분석하여 운전자의 이상상황을 감지하고 신속한 대응을 제공할 수 있다.
도 1은 본 발명에 따른 운전자 모니터링 시스템을 설명하는 도면이다.
도 2는 도 1의 차량 안전제어 장치의 시스템 구성을 설명하는 도면이다.
도 3 및 4는 도 1의 차량 안전제어 장치의 기능적 구성을 설명하는 도면이다.
도 5는 본 발명에 따른 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 방법을 설명하는 흐름도이다.
도 6은 뇌파신호 및 주파수 성분을 설명하는 도면이다.
도 7은 운전자의 상태에 따른 뇌파신호의 주파수 성분들의 평균값 나타내는 도면이다.
도 8은 팔목밴드형 웨어러블 측정기기의 일 실시예의 구성도이다.
도 9는 넥밴드형 웨어러블 측정기기의 일 실시예의 구성도이다.
도 10은 손가락 장착형 연동키트의 일 실시예의 사시도이다.
도 11은 유아 몸통 장착형 연동키트의 일 실시예의 사시도이다.
도 12는 본 발명에 따른 운전자의 생체정보를 분석 및 표시하는 디스플레이 시스템을 설명하는 도면이다.
도 13은 운전자의 시야 위치에 따라 출력위치를 조절하는 HUD의 일 실시예를 설명하는 도면이다.
본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
한편, 본 출원에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
어떤 구성요소가 다른 구성요소에 "연결되어"있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다"또는 "가지다" 등의 용어는 실시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
각 단계들에 있어 식별부호(예를 들어, a, b, c 등)는 설명의 편의를 위하여 사용되는 것으로 식별부호는 각 단계들의 순서를 설명하는 것이 아니며, 각 단계들은 문맥상 명백하게 특정 순서를 기재하지 않는 이상 명기된 순서와 다르게 일어날 수 있다. 즉, 각 단계들은 명기된 순서와 동일하게 일어날 수도 있고 실질적으로 동시에 수행될 수도 있으며 반대의 순서대로 수행될 수도 있다.
본 발명은 컴퓨터가 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현될 수 있고, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 컴퓨터가 읽을 수 있는 기록 매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장 장치 등이 있다. 또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명에 따른 운전자 모니터링 시스템을 설명하는 도면이다.
도 1을 참조하면, 운전자 모니터링 시스템(100)은 차량(110), 사용자 단말(130), 차량 안전제어 장치(150), 데이터베이스(170) 및 외부 시스템(190)을 포함할 수 있다.
차량(110)은 엔진에 의해 생산된 동력을 이용하여 승객이나 화물을 운반하는 교통수단에 해당할 수 있고, 대표적인 예로서 자동차를 포함할 수 있다. 또한, 차량(110)은 자동차 뿐만 아니라 선박 및 비행기 등을 포함할 수 있고, 반드시 이에 한정되지 않고, 동력을 이용하여 움직일 수 있는 다양한 운송 수단을 포함할 수 있다.
일 실시예에서, 차량(110)은 차량의 운행 정보 및 내/외부 환경 정보를 측정하는 다양한 센서들을 포함하여 구현될 수 있다. 예를 들어, 차량(110)은 가속도 센서, 진동 센서, GPS(Global Positioning System) 센서, 차속 센서 및 조향각 센서 등을 포함할 수 있고, 온도 센서, 습도 센서 및 미세먼지 센서 등을 포함하여 구현될 수 있다.
일 실시예에서, 차량(110)은 운전자의 생체신호를 측정하고 이를 기초로 뇌파신호를 생성하기 위한 다양한 센서들을 포함하여 구현될 수 있다. 예를 들어, 차량(110)은 운전석 전면에 설치된 스티어링휠을 통해 운전자의 신체 정보를 측정할 수 있다. 여기에서, 스티어링휠은 차량(110)의 조향을 제어하기 위한 장치에 해당할 수 있고, 운전자의 손과 직접 접촉하여 신체 정보를 상대적으로 정확하고 빠르게 측정할 수 있다. 또한, 스티어링휠은 맥박 측정을 위한 맥박 센서, 체온 측정을 위한 체온 센서, 혈액 측정을 위한 혈액 센서 등을 포함할 수 있으며, 이러한 센서들은 신체센서로 분류될 수 있다. 즉, 신체센서는 운전자의 생체신호를 수집하는 센서로서 스티어링휠에 설치된 결과 운전자의 신체와 직접 접촉을 통해 센싱 정보를 수집하도록 구현될 수 있다.
다른 실시예에서, 스티어링휠은 운전자의 혈중 알콜농도를 측정하기 위한 알콜 측정 센서를 포함하여 구현될 수도 있다. 알콜 측정 센서는 운전석 인근의 공기 내에 포함된 알콜 정보를 수집하고 이를 기초로 운전자의 혈중 알콜농도를 측정할 수 있다. 즉, 알콜 측정 센서는 운전자의 호흡 과정에서 몸밖으로 배출되는 공기를 통해 혈중 알콜농도에 관한 정보를 수집할 수 있다.
일 실시예에서, 차량(110)은 카메라 센서를 포함하여 구현될 수 있다. 이때, 카메라 센서는 운전자의 시선영상을 촬영하여 영상신호를 수집할 수 있고, 이를 위해 바람직하게는 운전석 전방에 설치될 수 있으나, 반드시 이에 한정되지 않음은 물론이다. 일 실시예에서, 카메라 센서는 운전석에 탑승한 운전자의 신체 구조에 따라 시선영상 획득을 위한 최적의 방향으로 회전할 수 있다. 이를 위해, 카메라 센서는 팬-틸트(pan-tilt) 모듈을 포함하여 구현될 수 있다.
일 실시예에서, 차량(110)은 호흡센서를 포함하여 구현될 수 있다. 호흡센서는 운전자의 호흡에 따른 호흡신호를 수집할 수 있고, 호흡신호는 호흡수와 호흡 강도에 관한 정보를 포함할 수 있다. 이때, 호흡수는 초단위 또는 분단위로 측정될 수 있으며, 호흡 강도는 소정의 범위 값을 갖도록 정규화되어 표현될 수 있다. 또한, 호흡센서는 보다 정확한 측정을 위해 바람직하게는 차량(110)의 천정 중 운전석 상부에 설치될 수 있으나, 반드시 이에 한정되지 않고, 운전자의 호흡 위치의 인근에 설치될 수도 있다.
일 실시예에서, 차량(110)은 AVN (AUDIO VIDEO NAVIGATION) 시스템을 포함하여 구현될 수 있다. 여기에서, AVN (AUDIO VIDEO NAVIGATION) 시스템은 차량용 네비게이션에 해당할 수 있다. AVN 시스템은 차량의 주기적인 이동 경로와 이동 시간 정보 등이 포함된 운행 정보를 차량 안전제어 장치(150)에게 제공할 수 있다. 한편, AVN 시스템은 외부 시스템 또는 사용자 단말(130)과 통신을 위한 통신 모듈을 포함하여 구현될 수 있다. 다른 실시예에서, 차량(110)은 AVN 시스템을 통해 차량 안전제어 장치(150)와 연결될 수 있다.
사용자 단말(130)은 운전자가 소유한 컴퓨팅 장치에 해당할 수 있다. 사용자 단말(130)은 스마트폰, 노트북 또는 컴퓨터로 구현될 수 있으며, 반드시 이에 한정되지 않고, 태블릿 PC 등 다양한 디바이스로도 구현될 수 있다. 사용자 단말(130)은 차량(110) 및 차량 안전제어 장치(150)와 네트워크를 통해 연결될 수 있고, 복수의 사용자 단말(130)들은 차량 안전제어 장치(150)와 동시에 연결될 수 있다.
또한, 사용자 단말(130)은 차량(110) 또는 차량 안전제어 장치(150)와 연동하기 위한 전용 프로그램 또는 어플리케이션을 설치하여 실행할 수 있다. 이를 통해, 사용자 단말(130)은 차량(110)과 블루투스를 통해 페어링될 수 있으며, 차량 안전제어 장치(150)에서 제공하는 다양한 알림 및 정보를 수신하거나 관련 서비스를 이용할 수 있다.
차량 안전제어 장치(150)는 본 발명에 따른 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치로 구현될 수 있으며, 본 발명에 따른 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 방법을 적용하여 구현될 수 있다. 차량 안전제어 장치(150)는 차량(110)과 연동하여 운전자의 신체 정보, 차량(110)의 운행 정보 및 내/외부 환경 정보를 수신하고 이를 기반으로 운전자의 이상상황을 모니터링 하는 컴퓨터 또는 프로그램에 해당하는 서버로 구현될 수 있다. 차량 안전제어 장치(150)는 차량(110) 및 사용자 단말(130)과 유선 네트워크 또는 블루투스, WiFi 등과 같은 무선 네트워크로 연결될 수 있고, 네트워크를 통해 차량(110) 및 사용자 단말(130)과 통신을 수행할 수 있다. 또한, 차량 안전제어 장치(150)는 외부 시스템(190)과 연결되어 동작할 수 있다.
데이터베이스(170)는 차량 안전제어 장치(150)의 동작 과정에서 필요한 다양한 정보들을 저장하는 저장장치에 해당할 수 있다. 데이터베이스(170)는 차량(110)으로부터 수집되는 다양한 센싱 정보를 저장할 수 있고, 운전자의 뇌파신호에 관한 모니터링 정보를 저장할 수 있으며, 반드시 이에 한정되지 않고, 차량 안전제어 장치(150)가 비접촉 기반의 뇌파신호 측정을 이용한 차량 안전제어를 수행하는 과정에서 다양한 형태로 수집 또는 가공된 정보들을 저장할 수 있다.
외부 시스템(190)은 차량 안전제어 장치(150)와 연동하여 동작하는 다양한 외부 서버에 해당할 수 있다. 예를 들어, 외부 시스템(190)은 운전자에게 위급한 상황이 발생한 경우 긴급한 구조를 위한 긴급구조 서버, 운전자에 대한 치료가 필요한 경우 진료 예약을 위한 병원관리 서버 등을 포함할 수 있다.
도 2는 도 1의 차량 안전제어 장치의 시스템 구성을 설명하는 도면이다.
도 2를 참조하면, 차량 안전제어 장치(150)는 프로세서(210), 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)를 포함하여 구현될 수 있다.
프로세서(210)는 차량 안전제어 장치(150)가 동작하는 과정에서의 각 단계들을 처리하는 프로시저를 실행할 수 있고, 그 과정 전반에서 읽혀지거나 작성되는 메모리(230)를 관리할 수 있으며, 메모리(230)에 있는 휘발성 메모리와 비휘발성 메모리 간의 동기화 시간을 스케줄할 수 있다. 프로세서(210)는 차량 안전제어 장치(150)의 동작 전반을 제어할 수 있고, 메모리(230), 사용자 입출력부(250) 및 네트워크 입출력부(270)와 전기적으로 연결되어 이들 간의 데이터 흐름을 제어할 수 있다. 프로세서(210)는 차량 안전제어 장치(150)의 CPU(Central Processing Unit)로 구현될 수 있다.
메모리(230)는 SSD(Solid State Drive) 또는 HDD(Hard Disk Drive)와 같은 비휘발성 메모리로 구현되어 차량 안전제어 장치(150)에 필요한 데이터 전반을 저장하는데 사용되는 보조기억장치를 포함할 수 있고, RAM(Random Access Memory)과 같은 휘발성 메모리로 구현된 주기억장치를 포함할 수 있다.
사용자 입출력부(250)는 사용자 입력을 수신하기 위한 환경 및 사용자에게 특정 정보를 출력하기 위한 환경을 포함할 수 있다. 예를 들어, 사용자 입출력부(250)는 터치 패드, 터치 스크린, 화상 키보드 또는 포인팅 장치와 같은 어댑터를 포함하는 입력장치 및 모니터 또는 터치스크린과 같은 어댑터를 포함하는 출력장치를 포함할 수 있다. 일 실시예에서, 사용자 입출력부(250)는 원격 접속을 통해 접속되는 컴퓨팅 장치에 해당할 수 있고, 그러한 경우, 차량 안전제어 장치(150)는 독립적인 서버로서 수행될 수 있다.
네트워크 입출력부(270)은 네트워크를 통해 외부 장치 또는 시스템과 연결하기 위한 환경을 포함하고, 예를 들어, LAN(Local Area Network), MAN(Metropolitan Area Network), WAN(Wide Area Network) 및 VAN(Value Added Network) 등의 통신을 위한 어댑터를 포함할 수 있다.
도 3 및 4는 도 1의 차량 안전제어 장치의 기능적 구성을 설명하는 도면이다.
도 3 및 4를 참조하면, 차량 안전제어 장치(150)는 생체신호 측정부(310), 베이스 신호 추출부(320), 뇌파신호 생성부(330), 운전자 상태 분류부(340), 사용자 단말 연동부(350), 차량 안전 제어부(360) 및 제어부(도 3에 미도시함)를 포함할 수 있다.
생체신호 측정부(310)는 차량(110)에 대한 운전자의 탑승이 검출되면 운전석 인근에 설치된 적어도 하나의 생체신호 수집센서를 통해 운전자의 생체신호들을 측정할 수 있다. 이를 위해, 생체신호 측정부(310)는 적어도 하나의 생체신호 수집센서와 연결되어 동작할 수 있다. 생체신호 측정부(310)는 운전자의 탑승이 검출된 경우 적어도 하나의 생체신호 수집센서에게 동작 개시 명령을 전달하여 생체신호 측정을 지시할 수 있다. 생체신호 측정부(310)는 적어도 하나의 생체신호 수집센서로부터 실시간으로 또는 주기적으로 센싱 정보를 수신할 수 있으며, 수집된 정보들은 데이터베이스(170)에 저장되어 관리될 수 있다.
여기에서, 적어도 하나의 생체신호 수집센서는 차량(110)의 내부 중 운전석 전방에 설치되어 운전자의 시선영상에 관한 영상신호를 획득하는 카메라 센서, 차량(110)의 천장 중 운전석 상부에 설치되어 운전자의 호흡수 및 호흡 강도에 관한 호흡신호를 획득하는 호흡센서, 및 차량(110)의 스티어링휠에 결합되어 운전자의 맥박, 체온 및 혈압에 관한 신체센서를 포함할 수 있다.
베이스 신호 추출부(320)는 생체신호들에서 운전자의 뇌파신호를 생성하기 위한 복수의 베이스 신호들을 추출할 수 있다. 즉, 복수의 베이스 신호들은 비접촉 방식으로 운전자의 뇌파신호를 생성하기 위한 기초 신호에 해당할 수 있다. 또한, 베이스 신호 추출부(320)는 생체신호들에서 특정 주파수 대역의 주파수 성분을 베이스 신호로 추출할 수 있다. 따라서, 베이스 신호 추출부(320)에 의해 추출된 복수의 베이스 신호들이 하나로 결합되면 운전자의 뇌파신호에 대응될 수 있다. 베이스 신호 추출부(320)는 제한된 생체신호들을 이용하여 운전자의 뇌파신호를 보다 정확하게 추출하기 위하여 각 생체신호의 특징에 따라 소정의 주파수 대역을 매칭시킬 수 있다.
일 실시예에서, 베이스 신호 추출부(320)는 제1 베이스 신호 모듈(321), 제2 베이스 신호 모듈(323) 및 제3 베이스 신호 모듈(325)를 포함할 수 있다. 보다 구체적으로, 제1 베이스 신호 모듈(321)은 시선영상에서 홍채 영역의 크기를 산출하고 홍채 영역의 크기 변화율을 제1 베이스 신호로서 추출할 수 있다. 즉, 제1 베이스 신호 모듈(321)은 운전자의 눈동자 움직임을 기초로 뇌파신호에 관한 연관 정보를 획득할 수 있다. 사람의 눈동자는 동공과 이를 둘러싸는 홍채로 구성될 수 있고, 동공의 크기는 홍채에 의해 자동 조절될 수 있으며, 이에 따라 홍채 영역의 크기도 변경될 수 있다. 제1 베이스 신호 모듈(321)은 운전자의 시선영상을 분석하여 동공의 크기에 관한 정보를 획득할 수 있고, 이를 기초로 홍채 영역의 크기를 획득할 수 있다. 또한, 제1 베이스 신호 모듈(321)은 단위 시간 동안 홍채 영역의 크기 변화율에 관한 정보를 제1 베이스 신호로서 추출할 수 있다.
제2 베이스 신호 모듈(323)은 호흡신호에서 호흡수 및 호흡강도의 변화율을 제2 베이스 신호로서 추출할 수 있다. 운전자의 호흡은 단위 시간 동안의 호흡 횟수와 호흡강도를 통해 특정될 수 있다. 제2 베이스 신호 모듈(323)은 호흡센서를 통해 측정된 호흡신호를 기초로 호흡수와 호흡강도에 관한 정보를 획득할 수 있으며, 호흡수와 호흡강도 각각에 대한 변화율에 관한 정보를 제2 베이스 신호로서 추출할 수 있다.
제3 베이스 신호 모듈(325)은 신체신호에서 맥박, 체온 및 혈압의 변화율을 제3 베이스 신호로서 추출할 수 있다. 제3 베이스 신호 모듈(325)은 맥박, 체온 및 혈압 각각을 구체적인 수치 정보로 표현할 수 있고, 각 수치의 변화율을 제3 베이스 신호로서 추출할 수 있다. 즉, 베이스 신호 추출부(320)는 제1 내지 제3 베이스 신호 모듈들을 통해 제1 내지 제3 베이스 신호를 추출하여 뇌파신호 생성부(330)에 전달할 수 있다. 또한, 베이스 신호 추출부(320)는 제1 내지 제3 베이스 신호를 데이터베이스(170)에 저장할 수 있다.
뇌파신호 생성부(330)는 복수의 베이스 신호들에 대한 주파수 분석을 통해 뇌파신호를 생성할 수 있다. 즉, 뇌파신호 생성부(330)는 각 베이스 신호를 특정 주파수 대역의 주파수 성분으로 할당하고, 각 주파수 성분을 통합한 결과로서 운전자의 뇌파신호를 생성할 수 있다. 즉, 사람의 뇌파신호는 매우 복잡한 패턴으로 진동하는 파형 형태로 표현될 수 있고, 다양한 주파수 대역에서의 진동 신호들의 선형적 결합으로 가정하면 다양한 주파수 대역에서의 주파수 성분들로 분해될 수 있다. 뇌파신호 생성부(330)는 각 베이스 신호들을 뇌파신호를 구성하는 주파수 성분들에 대응시킨 후 하나로 통합하여 뇌파신호를 생성할 수 있다.
일 실시예에서, 뇌파신호 생성부(330)는 주파수 매칭 모듈(331), 후보 뇌파신호 생성 모듈(333) 및 뇌파신호 생성 모듈(335)를 포함할 수 있다. 보다 구체적으로, 주파수 매칭 모듈(331)은 제1 내지 제3 베이스 신호들에 대해 복수의 주파수 대역들 중 어느 하나를 각각 매칭할 수 있다. 주파수 매칭 모듈(331)은 베이스 신호의 기초가 된 센싱 정보의 특성을 고려하여 뇌파신호에 관한 복수의 주파수 대역들 중 어느 하나를 매칭시킬 수 있다.
일 실시예에서, 주파수 매칭 모듈(331)은 델타(Delta), 세타(Theta), 로우 알파(Low Alpha), 하이 알파(High Alpha), 로우 베타(Low Beta), 하이 베타(High Beta), 로우 감마(Low Gamma) 및 미들 감마(Mid Gamma)를 복수의 주파수 대역들로서 사용할 수 있다. 예를 들어, 델타(δ)는 0.2 ~ 3.99 Hz, 쎄타(θ)는 4 ~ 7.99 Hz, 알파(α)는 8 ~ 12.99 Hz, 베타(β)는 13 ~ 29.99 Hz, 감마(g)는 30 ~ 50 Hz로 설정될 수 있다. 이때, 각 주파수 대역은 하이(High), 미들(Mid) 및 로우(Low)의 3개의 주파수 대역들로 세분화될 수 있다(도 6 참조).
일 실시예에서, 주파수 매칭 모듈(331)은 차량(110)의 주행속도 및 주행시간에 따라 제1 내지 제3 베이스 신호들 각각에 매칭되는 주파수 대역을 동적으로 변경할 수 있다. 이를 위해, 주파수 매칭 모듈(331)은 주행속도와 주행시간의 다양한 조합들에 대해 각 베이스 신호들에 대응되는 주파수 대역에 관한 매칭 테이블을 사전에 구축하여 활용할 수 있다. 여기에서, 매칭 테이블은 각 주행속도와 주행시간에 관한 조합에 대해 사람의 뇌파신호에 영향이 큰 주파수 대역별로 순위가 부여되고, 각 순위에 따라 베이스 신호들이 매칭되는 매칭 정보를 포함할 수 있다.
후보 뇌파신호 생성 모듈(333)은 베이스 신호를 기초로 해당 주파수 대역에서 후보 뇌파신호를 생성할 수 있다. 예를 들어, 후보 뇌파신호 생성 모듈(333)은 베이스 신호를 기초로 고속 푸리에 변환(FFT)을 수행하여 후보 뇌파신호를 생성할 수 있다. 또한, 후보 뇌파신호 생성 모듈(333)은 고속 푸리에 변환 과정에서 주파수 대역에 따라 샘플링 주기를 조절할 수 있다.
뇌파신호 생성 모듈(335)은 제1 내지 제3 베이스 신호들을 기초로 생성된 후보 뇌파신호들을 통합하여 뇌파신호를 생성할 수 있다. 뇌파신호는 다양한 주파수 성분들의 선형 결합을 통해 생성될 수 있으며, 뇌파신호 생성 모듈(335)은 후보 뇌파신호들을 선형 결합하여 운전자의 뇌파신호를 생성할 수 있다.
일 실시예에서, 뇌파신호 생성 모듈(335)은 운전자의 상태에 따라 후보 뇌파신호들 각각에 독립된 가중치를 부여한 후 뇌파신호를 갱신할 수 있다. 예를 들어, 운전자는 졸음 상태, 평시 상태, 흥분 상태 또는 음주 상태에 해당할 수 있으며, 각 상태에 따라 뇌파신호는 특정 주파수 대역에서 보다 강한 신호를 가질 수 있다. 뇌파신호 생성 모듈(335)은 후보 뇌파신호들을 결합하기 전 단계에서 이전 단계에서 도출된 운전자의 상태를 기초로 각 후보 뇌파신호들에게 가중치를 부여할 수 있다.
예를 들어, 졸음 상태의 경우 뇌파신호 중 알파파가 약해지기 때문에 뇌파신호 생성 모듈(335)은 알파 대역에 연관된 후보 뇌파신호에 상대적으로 낮은 가중치를 부여할 수 있다. 또한, 각성 상태 또는 흥분 상태에서는 베타파가 강해지기 때문에 뇌파신호 생성 모듈(335)은 베타 대역에 연관된 후보 뇌파신호에 상대적으로 높은 가중치를 부여할 수 있다. 따라서, 뇌파신호 생성 모듈(335)은 운전자의 상태에 따라 뇌파신호에 보다 영향을 미칠 수 있는 주파수 대역의 후보 뇌파신호에 보다 높은 가중치를 부여한 후 뇌파신호를 갱신함으로써 뇌파신호에 기초한 상태 예측의 정확도를 높일 수 있다.
운전자 상태 분류부(340)는 뇌파신호를 모니터링하여 운전자의 상태를 분류할 수 있다. 즉, 운전자 상태 분류부(340)는 뇌파신호의 변화 패턴에 따라 운전자의 상태를 기 설정된 상태들 중 하나로 분류할 수 있다. 일 실시예에서, 운전자 상태 분류부(340)는 운전자의 상태를 졸음 상태, 평시 상태, 흥분 상태, 음주 상태 및 긴급 상태 중 어느 하나로 분류할 수 있다. 차량(110)을 운전하는 운전자는 크게 상기의 다섯가지 상태로 분류할 수 있으며, 각 상태 별로 차량(110)의 주행이 제어될 필요가 있다.
사용자 단말 연동부(350)는 생체신호들과 뇌파신호 및 운전자의 상태에 관한 모니터링 정보를 사용자 단말(130)에게 전송할 수 있다. 즉, 차량 안전제어 장치(150)는 차량(110)에 탑승한 운전자의 스마트폰과 연동하여 모니터링 결과를 실시간으로 제공할 수 있다. 또한, 차량 안전제어 장치(150)는 모니터링 결과에 따라 운전자의 이상상황 발생이 예측되는 경우 사용자 단말 연동부(350)를 통해 관련 알림의 제공할 수 있다. 또한, 차량 안전제어 장치(150)는 운전자의 이상상황 발생이 예측되는 경우 차량(110)의 오디오 또는 비상등을 제어하여 운전자의 안전을 확보하기 위한 조치를 실행할 수 있다.
일 실시예에서, 사용자 단말 연동부(350)는 차량(110) 내부의 센서를 기초로 운전자의 탑승을 검출하고 탑승이 검출되면 사용자 단말(130)과의 페어링을 자동 수행할 수 있다. 예를 들어, 운전자가 스티어링휠을 손으로 접촉한 경우, 또는 운전자가 운전석에 앉는 경우와 같이 내부 센서로부터 수집된 정보를 기초로 운전자의 탑승 여부가 검출될 수 있다. 또한, 사용자 단말 연동부(350)는 운전자의 탑승이 검출되면 차량(110) 내부의 사용자 단말(130)을 검출할 수 있고, 해당 사용자 단말(130)과의 자동 페어링 동작을 수행할 수 있다. 이를 위하여, 사용자 단말(130)은 사전에 차량 안전제어 장치(150)에 등록될 수 있다.
일 실시예에서, 사용자 단말 연동부(350)는 사용자 단말(130)에게 생체신호와 뇌파신호, 그리고 분석된 운전자의 상태 정보를 주기적으로 또는 실시간으로 제공할 수 있다. 즉, 운전자는 사용자 단말(130)을 통해 자신의 건강 상태에 관한 히스토리를 언제든지 확인할 수 있다.
차량 안전 제어부(360)는 운전자의 상태에 따라 차량(110)의 동작 상태를 제어할 수 있다. 또한, 차량 안전 제어부(360)는 운전자의 상태에 따라 이상상황의 발생을 검출할 수 있다. 차량 안전 제어부(360)는 운전자에게 이상상황이 발생한 것으로 판단되면 차량(110)의 동작 상태를 제어하면서 외부 시스템(190)에게 긴급 알람을 제공할 수도 있다. 예를 들어, 차량 안전 제어부(360)는 차량(110)이 주행 중인 경우 차량(110)의 주행 시스템을 제어하여 차량(110)의 속도를 줄이거나, 차량(110)을 안전한 곳에 정차하도록 제어할 수 있다. 또한, 차량 안전 제어부(360)는 운전자의 이상상황의 발생에 관한 정보를 기 등록된 전화번호로 제공할 수 있으며, 응급 구호기관(예를 들어, 119)이나 지정병원 등 의료기관에 푸시(push) 형태의 알람을 제공할 수도 있다.
일 실시예에서, 차량 안전 제어부(360)는 운전자의 상태가 졸음 상태로 분류된 경우 차량(110)을 안전 주행 상태로 제어하고 운전자의 상태가 음주 상태로 분류된 경우 차량(110)을 시동 불능 상태로 제어할 수 있다. 차량 안전제어 장치(150)는 운전자의 뇌파 분석을 통해 운전자의 음주 상태를 검출할 수 있고, 운전자의 상태가 음주 상태로 분류되면 차량 안전 제어부(360)를 통해 차량(110)의 주행 시스템을 제어하여 운전자의 수동 조작에도 불구하고 차량(110)의 시동이 걸리지 않도록 제어할 수 있다. 즉, 차량 안전제어 장치(150)는 차량(110)의 주행 자체를 불능 상태로 만들어 음주운전을 사전에 방지하고 이로 인한 사고 발생을 예방할 수 있다.
또한, 차량 안전 제어부(360)는 운전자의 상태가 졸음 상태로 분류된 경우 차량(110)의 속도를 줄이면서 차량(110)을 도로의 갓길로 주행시켜 정차시킬 수 있으며, 경우에 따라 차량(110)이 지정된 장소(예를 들어, 휴게소, 주차장 등)로 이동하도록 제어할 수도 있다.
제어부(도 3에 미도시함)는 차량 안전제어 장치(150)의 전체적인 동작을 제어하고, 생체신호 측정부(310), 베이스 신호 추출부(320), 뇌파신호 생성부(330), 운전자 상태 분류부(340), 사용자 단말 연동부(350) 및 차량 안전 제어부(360) 간의 제어 흐름 또는 데이터 흐름을 관리할 수 있다.
도 5는 본 발명에 따른 비접촉 기반의 뇌파신호 측정을 이용한 차량 안전제어 방법을 설명하는 흐름도이다.
도 5를 참조하면, 차량 안전제어 장치(150)는 생체신호 측정부(310)를 통해 차량(110)에 대한 운전자의 탑승이 검출되면 운전석 인근에 설치된 적어도 하나의 생체신호 수집센서를 통해 운전자의 생체신호들을 측정할 수 있다(단계 S510). 차량 안전제어 장치(150)는 베이스 신호 추출부(320)를 통해 생체신호들에서 운전자의 뇌파신호를 생성하기 위한 복수의 베이스 신호들을 추출할 수 있다(단계 S520). 차량 안전제어 장치(150)는 뇌파신호 생성부(330)를 통해 복수의 베이스 신호들에 대한 주파수 분석을 통해 뇌파신호를 생성할 수 있다(단계 S530).
또한, 차량 안전제어 장치(150)는 운전자 상태 분류부(340)를 통해 뇌파신호를 모니터링하여 운전자의 상태를 분류할 수 있다(단계 S540). 차량 안전제어 장치(150)는 사용자 단말 연동부(350)를 통해 생체신호들과 뇌파신호 및 운전자의 상태에 관한 모니터링 정보를 사용자 단말(130)에게 전송할 수 있다(단계 S550). 차량 안전제어 장치(150)는 차량 안전 제어부(360)를 통해 운전자의 상태에 따라 차량(110)의 동작 상태를 제어할 수 있다(단계 S560).
일 실시예에서, 차량 안전제어 장치(150)는 차량(110)에 결합된 다양한 센서들로부터 차량(110)의 운행 정보와 내/외부 환경 정보를 수집할 수 있다. 즉, 차량 안전제어 장치(150)는 차량(110)의 위치 및 속도를 포함하는 운행 정보와 차량(110)의 내/외부 온도, 습도, 미세먼지 농도 및 외부 날씨를 포함하는 환경 정보를 수집할 수 있으며, 운전자의 뇌파 정보, 운행 정보 및 환경 정보를 입체적으로 분석하여 운전자의 이상상황 발생을 효과적으로 검출할 수 있다.
일 실시예에서, 차량 안전제어 장치(150)는 뇌파 정보, 운행 정보 및 환경 정보 각각의 차원에 대해 복수의 항목들과 시간 단위별 항목값에 관한 2차원 매트릭스를 생성하고, 항목값에 따른 RGB 색상을 부여하여 2차원 매트릭스에 대응되는 차원별 2차원 피처맵을 생성할 수 있으며, 차량(110)의 동작 과정에서 2차원 피처맵들을 수집하고 운전자의 상태 예측을 위한 학습 모델을 사전에 구축할 수 있다. 즉, 차량 안전제어 장치(150)는 학습 모델을 기초로 운전자의 이상상황 발생을 신속하게 검출할 수 있다.
보다 구체적으로, 뇌파 정보, 운행 정보 및 환경 정보는 각각 독립된 차원에 대응될 수 있으며, 각 차원에 대해 복수의 항목들이 정의되고, 해당 항목들 별로 단위 시간에 대한 항목값이 2차원 매트릭스 형태로 데이터화 될 수 있다. 예를 들어, 2차원 매트릭스는 복수의 항목들 각각이 행에 대응되고, 단위 시간당 항목값들 각각이 열에 대응되어 생성될 수 있다.
한편, 차량 안전제어 장치(150)는 항목별로 단위 시간을 결정할 수 있고, 단위 시간 동안 수집된 센싱값을 기초로 단위 시간당 항목값을 결정할 수 있다. 이때, 단위 시간당 항목값은 단위 시간 동안 수집된 센싱값의 평균 또는 최대값으로 결정될 수 있으며, 반드시 이에 한정되지 않고, 다양한 방법으로 결정될 수 있다.
또한, 차량 안전제어 장치(150)는 구체적 수치값으로 표현된 항목값을 RGB 색상값으로 변환하여 2차원 매트릭스에 대응되는 2차원 피처맵을 생성할 수 있다. 즉, 2차원 피처맵은 2차원 매트릭스에 대응되어 사각형 형상으로 생성되고 각 항목값에 따라 RGB 색상으로 표현된 시각화맵에 해당할 수 있다. 이를 통해, 차량 안전제어 장치(150)는 운전자의 상태를 시각화된 정보로 전환하고, 시각화된 정보의 변화에 따라 운전자의 이상상황을 검출할 수 있다.
차량 안전제어 장치(150)는 차량(110)의 동작 과정에서 2차원 피처맵들을 수집하고 운전자의 상태 예측을 위한 학습 모델을 구축할 수 있다. 일 실시예에서, 차량 안전제어 장치(150)는 차원 별로 복수의 항목들 중 대표 항목을 결정하고, 차원별 2차원 피처맵으로부터 해당 대표 항목의 평균 RGB 색상을 산출하며, 평균 RGB 색상을 기초로 차원별 2차원 피처맵에서 후보 피처들을 추출하고, 차원별 2차원 피처맵에서 후보 피처들의 분포를 학습하는 과정을 통해 상기의 학습 모델을 구축할 수 있다.
보다 구체적으로, 차량 안전제어 장치(150)는 차원별, 즉 뇌파 정보, 운행 정보 및 환경 정보에 대해 각각 대표 항목을 결정할 수 있다. 예를 들어, 뇌파 정보의 경우 특정 주파수 대역, 운행 정보의 경우 차량 속도, 환경 정보의 경우 외부 날씨가 각각 차원별 대표 항목으로 결정될 수 있다.
차량 안전제어 장치(150)는 2차원 피처맵으로부터 해당 대표 항목의 평균 RGB 색상을 산출할 수 있다. 즉, 대표 항목에 대해 단위 시간당 항목값들의 평균을 산출할 수 있으며, 해당 평균값에 대응되는 RBG 색상이 평균 RBG 색상으로 결정될 수 있다. 또한, 차량 안전제어 장치(150)는 평균 RGB 색상을 기초로 해당 차원의 2차원 피처맵으로부터 후보 피처들을 추출할 수 있다.
예를 들어, 차량 안전제어 장치(150)는 평균 RGB 색상과의 유사도를 기초로 평균 RGB 색상과 유사한 색상을 가진 후보 피처들을 결정할 수 있다. 차량 안전제어 장치(150)는 2차원 피처맵에서 후보 피처들의 분포에 관한 정보를 획득할 수 있고, 이를 학습하여 학습 모델을 구축할 수 있다. 후보 피처들의 분포 정보는 2차원 피처맵에서 해당 후보 피처들의 위치 정보와 색상 정보를 포함할 수 있다. 결과적으로, 차량 안전제어 장치(150)는 운전자의 상태에 관한 주요 정보만을 선별적으로 학습한 학습 모델을 이용하여 운전자의 이상상황을 효과적으로 검출할 수 있다.
일 실시예에서, 차량 안전제어 장치(150)는 적외선 CO2 센서를 통한 차량(110) 내의 이산화탄소 농도를 측정하여 이산화탄소 등 유해가스 상태를 모니터링할 수 있다. 차량 안전제어 장치(150)는 유해가스 상태에 따라 탄소 저감에 대한 조치를 실행할 수 있다. 예를 들어, 차량 안전제어 장치(150)는 차량(110) 내의 유해가스(예를 들어, CO2 등)의 농도가 기 설정된 임계기준을 초과한 경우 차량(110)의 주행을 강제적으로 중지시킬 수 있다.
한편, 차량 안전제어 장치(150)는 차량(110) 내의 유해가스의 농도를 기준으로 운전자의 상태 분류를 위한 뇌파신호의 생성 주기를 조절할 수 있다. 예를 들어, 유해가스의 농도가 높은 경우 차량 안전제어 장치(150)는 뇌파신호의 생성 주기를 줄일 수 있다.
도 7은 운전자의 상태에 따른 뇌파신호의 주파수 성분들의 평균값 나타내는 도면이다.
도 7을 참조하면, 차량 안전제어 장치(150)는 차량(110)에 대한 운전자의 탑승이 검출되면 운전자의 생체신호들을 측정할 수 있다. 차량 안전제어 장치(150)는 생체신호들에서 베이스 신호들을 추출할 수 있으며, 복수의 베이스 신호들에 대한 주파수 분석을 통해 운전자의 뇌파신호를 생성할 수 있다.
일 실시예에서, 차량 안전제어 장치(150)는 생성된 뇌파신호로부터 기 설정된 주파수 대역 별로 주파수 성분을 분해할 수 있다. 차량 안전제어 장치(150)는 주파수 성분 별로 샘플링을 통해 구체적인 신호값을 추출할 수 있고 각 주파수 대역에 대한 평균값을 산출할 수 있다. 차량 안전제어 장치(150)는 도 7과 같이 기 구축된 뇌파신호 데이터에 기초하여 각 주파수 대역의 평균값 분포를 기초로 운전자의 상태를 분류할 수 있다.
예를 들어, 차량 안전제어 장치(150)는 뇌파신호의 델타파의 평균값이 평시 상태의 범위(A)에 포함되는 경우 운전자의 상태를 평시 상태로 분류할 수 있다. 차량 안전제어 장치(150)는 뇌파신호의 델타파의 평균값이 흥분 상태의 범위(B)에 포함되는 경우 운전자의 상태를 흥분 상태로 분류할 수 있다. 즉, 차량 안전제어 장치(150)는 생체신호를 기초로 비접촉 방식을 통해 생성된 뇌파신호를 도 7과 같이 다시 복수의 주파수 성분들로 분해한 후 운전자의 상태를 결정할 수 있다. 이때, 차량 안전제어 장치(150)는 이전 단계의 운전자의 상태를 기초로 복수의 주파수 성분들 중 어느 하나를 결정하고 해당 주파수 성분의 평균값을 기초로 운전자의 상태를 분류할 수 있다. 한편, 차량 안전제어 장치(150)는 생체신호를 기초로 비접촉 방식을 통해 생성된 뇌파신호를 그대로 활용하여 운전자의 상태를 분류할 수도 있다. 결과적으로, 차량 안전제어 장치(150)는 비접촉 방식으로 생성된 운전자의 뇌파신호를 다양한 방식으로 활용하여 운전자의 상태를 다각적으로 분류하고 운전자의 상태에 따른 차량 제어를 수행할 수 있다.
본 발명에 따른 차량 안전제어 장치(150)는 생체신호 측정부(310)를 통해 차량(110)에 대한 운전자의 탑승이 검출되면 운전석 인근에 설치된 적어도 하나의 생체신호 수집센서를 통해 운전자의 생체신호들을 측정할 수 있다. 일 실시예에서, 생체신호 측정부(310)는 운전자의 신체에 착용되어 동작하는 웨어러블 측정기기를 통해 운전자의 생체신호를 측정할 수 있으며, 웨어러블 측정기기는 운전자의 팔목에 착용하는 팔목 밴드 또는 운전자의 목에 착용하는 넥밴드 형태로 형성될 수 있다.
이하, 도 8 내지 11을 참조하여, 본 발명에 따른 웨어러블 측정기기에 대해 구체적으로 설명한다.
웨어러블 측정기기(800, 900)는 운전자의 신체에 착용하여 운전자의 생체정보나 움직임을 측정하고, 측정정보를 생성할 수 있으며, 팔목에 착용하는 팔목 밴드나, 목에 착용하는 넥밴드 형상으로 형성될 수 있다.
팔목밴드 형태의 웨어러블 측정기기(800)는 도 8에 도시되어 있는 것처럼 운전자의 생체정보들 중 심박, 움직임, 체온, 혈압을 각각 측정할 수 있도록 심박센서(810)와 6축센서(820), 온도센서(830), 혈압센서(840)를 포함하여 구현될 수 있다.
상기 센서들에서 측정된 측정정보는 MCU(Main Control Unit; 850)에 전송되며, MCU(850)는 측정된 정보를 무선통신부(860)를 통해 외부로 전송할 수 있다. 무선통신부(860)는 운전자가 소지하는 스마트폰이나 전용 단말기로 정보를 전송할 수도 있고, 차량(110) 내부의 일측에 마련되어 있는 중계기로 전송할 수도 있다.
팔목 밴드 형상의 웨어러블 측정기기(800)는 착용한 운전자에게 알람신호를 출력할 수 있도록 진동을 발생시키기 위한 진동모터(870)가 구비되어 있으며, 측정정보나 시간 또는 날씨와 같은 기타 정보를 출력할 수 있도록 디스플레이(880)가 형성될 수 있다.
아울러 팔목 밴드 형상의 웨어러블 측정기기(800)는 내장되어 있는 배터리(890)를 통해 상기 센서들과 MCU(850), 진동모터(870), 디스플레이(880) 등을 구동시킬 수 있다.
웨어러블 측정기기(900)는 넥밴드형태로 형성될 수 있으며, 이 경우 도 9에 도시되어 있는 것처럼, MCU(910)가 생체정보를 측정하는 센서들로 이루어진 생체정보 측정부(930)에서 측정정보를 전달받아 무선통신부(920)를 통해 외부로 전송할 수 있다.
생체정보 측정부(930)는 혈압이나 체온, 심박을 측정하는 측정 센서들을 포함할 수 있으며, 목 주변에서 측정할 수 있는 다양한 생체정보 측정용 센서들이 적용될 수 있다.
일 실시예에서, 넥밴드형 웨어러블 측정기기(900)는 착용한 운전자의 음성신호를 입력하기 위한 마이크(940)와, 청각 신호를 출력하기 위한 스피커(950)를 포함하여 구현될 수 있으며, 스피커(950)는 운전자의 귀에 착용하는 이어폰 형태일 수 있다.
일 실시예에서, 넥밴드형 웨어러블 측정기기(900)는 MCU(910)와 연결되는 음성신호처리부(960)를 포함할 수 있다. 음성신호처리부(960)는 마이크(940)로 입력되는 음성신호를 문자로 변환하거나 무선통신부(920)를 통해 입력되는 문자 데이터를 음성신호로 변환하는 동작을 수행할 수 있다.
문자 입력이 서툴거나 거동이 불편한 고령자나 장애인의 경우 마이크(940)를 통해 음성신호를 입력하면 음성신호처리부(960)에서 음성신호를 문자데이터로 변환한 후 무선통신부(920)를 통해 전송하여 입력신호를 처리할 수 있다. 반대로 외부로부터 입력되는 문자데이터, 일례로 날씨 정보나 문자메세지, 경고메세지를 음성신호처리부(960)에서 음성신호로 변환하여 스피커(950) 즉 이어폰을 통해 운전자에게 음성으로 출력할 수 있다. 이 경우 시력이 좋지 않은 고령자나 장애인들이 쉽게 음성을 통해 입력신호를 전송하거나 외부로부터 전송된 데이터를 쉽게 인지할 수 있다.
일 실시예에서, 웨어러블 측정기기(900) 역시 내장된 배터리(970)를 통해 구동하며 충전 가능한 배터리(970)가 구비될 수 있다.
웨어러블 측정기기(800, 900)는 도 10 및 도 11에 도시되어 있는 것처럼 연동형 보조 측정기기(1000)를 더 구비할 수도 있다. 도 10의 경우 운전자의 손가락에 착용하는 연동형 보조 측정기기(1000)가 마련되어 있으며, 손가락을 삽입하여 혈중 산소농도와 같이 팔목밴드형 웨어러블 측정기기(800)로 측정하기 어려운 생체정보를 수집할 수 있다.
도 11의 경우 운전자가 아닌 탑승자가 넥밴드나 팔목밴드와 같은 웨어러블 측정기기(800)를 착용하기 어려운 영유아인 경우 영유아의 복부를 감싸는 형태로 형성되는 연동형 보조 측정기기(1000)가 도시되어 있다.
일 실시예에서, 복부를 감싸는 연동형 보조 측정기기(1000)는 체온과 심박수와 같은 생체정보를 측정할 수 있으며, 또한 자이로센서나 6축센서(820)와 같은 동작 감지센서가 마련되어 있다. 영아의 경우 고개를 가누지 못하기 때문에 몸이 뒤집혔을 때 질식사로 이어지는 경우가 있다. 따라서, 본 실시예와 같이 동작을 감지하는 연동형 보조 측정기기(1000)를 통해 착용자의 움직임을 파악하여 위험상황을 판단할 수 있다.
연동형 보조 측정기기(1000)는 팔목밴드나 넥밴드 형태의 웨어러블 측정기기(800, 900)와 함께 사용될 수도 있고, 단독으로 사용될 수도 있다.
한편, 차량 안전제어 장치(150)는 차량 안전 제어부(360)를 통해 웨어러블 측정기기(800, 900)의 측정정보를 전송받아 분석하며, 웨어러블 측정기기(800, 900)를 착용한 운전자의 건강상태를 분석할 수 있다. 측정정보와 분석정보는 네트워크를 통해 차량 안전제어 장치(150)로 전송될 수 있으며, 측정결과가 설정된 기준치를 넘어가는 경우 운전자의 건강상태에 문제가 있는 것으로 판단하고 119 상황실과 같은 외부 시스템(190) 또는 가족이나 지인, 친구 등 기 설정된 관리자의 사용자 단말(130)로 전송하여 응급상황에 대한 신속한 대처가 이루어질 수 있도록 한다.
도 12는 본 발명에 따른 운전자의 생체정보를 분석 및 표시하는 디스플레이 시스템을 설명하는 도면이다.
도 12를 참조하면, 차량 안전제어 장치(150)는 운전자의 생체정보를 분석 및 표시하는 디스플레이 시스템(이하, HUD 시스템이라 함)을 포함하여 구현될 수 있다. 본 실시예의 HUD 시스템은 차량(110)의 윈드실드(1) 즉 전면 유리에 주행정보를 표시할 수 있도록 된 HUD 본체와, 운전자가 신체에 착용하며 운전자의 생체정보를 측정하는 웨어러블 측정기기(800)와, 웨어러블 측정기기(800)의 측정정보를 전송받아 운전자의 상태를 분석한 분석결과를 토대로 운전자의 생체정보를 출력할 것인지를 판단하고, HUD 본체에서 출력되는 정보를 제어하는 출력 제어부를 포함할 수 있다.
상기 HUD 본체는 차량(110)의 주행정보나 후술하는 웨어러블 측정기기(800)에서 측정된 운전자의 생체정보를 차량의 윈드실드(1)에 표시할 수 있도록 출력하는 것이다.
상기 HUD 본체는 차량(110)의 대시보드(2)에 매립될 수도 있고, 대시보드(2) 상부에 별도로 부착하여 형성할 수도 있다.
상기 HUD 본체에서 출력하는 주행정보는 차량(110)의 주행속도, 엔진 RPM, 네비게이션의 사용중인 경우 차량(110)의 주행 안내 방향 등이 포함될 수 있다.
상기 웨어러블 측정기기(800)는 운전자의 신체에 착용하여 운전자의 생체정보를 측정할 수 있다.
상기 웨어러블 측정기기(800)는 운전자가 착용할 수 있는 다양한 웨어러블 기기들이 적용될 수 있는데, 팔목에 착용하는 밴드타입이나 목에 착용하는 목걸이 타입이 적용될 수 있다. 도 12의 경우 운전자의 팔목에 착용하는 밴드타입이 적용되었다.
상기 웨어러블 측정기기(800)는 착용자 즉 운전자의 생체정보 중 체온, 혈압, 심박, 산소포화도를 측정할 수 있다. 물론 웨어러블 측정기기(800)는 이외에도 팔목에 착용한 상태로 측정할 수 있는 다양한 생체정보들을 측정할 수도 있다.
상기 웨어러블 측정기기(800)는 블루투스 방식으로 무선통신을 통해 측정정보를 차량 안전제어 장치(150)로 전송할 수 있다. 웨어러블 측정기기(800)는 착용자 즉 운전자가 운전 중 팔의 사용을 용이하게 할 수 있도록 무선통신방식으로 차량 안전제어 장치(150)와 통신하는 것이 바람직하며, 차량(110) 내에서는 비교적 짧은 거리에서 효율적으로 무선통신을 할 수 있는 블루투스 방식이 적용되지만, 이외에도 와이파이나 지그비 등 다양한 무선통신 방식이 적용될 수 있다.
상기 웨어러블 측정기기(800)에는 별도의 디스플레이가 구비될 수 있으며, 해당 디스플레이장치를 통해 측정된 운전자의 생체정보를 표시하거나, 생체정보 이외의 정보들, 예를 들어 시간이나 날씨와 같은 정보를 표시할 수도 있고, 차량(110)과 연동되어 차량정보를 웨어러블 측정기기(800)의 디스플레이를 통해 출력하도록 형성할 수도 있다.
아울러 본 실시예에서는 웨어러블 측정기기(800)가 운전자의 신체에 착용하는 웨어러블 기기로 표현되었으나, 웨어러블 측정기기(800)는 차량(110)의 내부 기기, 일례로 운전자가 손으로 파지하는 핸들(3)이나 변속기 레버(미도시) 등에 구비되어 운전자의 신체와 접촉한 상태로 운전자의 생체정보를 측정하도록 할 수도 있다.
또한, 웨어러블 측정기기(800)는 차량(110)의 내부 일측에 설치되어 운전자의 심박수를 측정할 수 있는 UWB(Ultra-WideBand) 레이더이거나, 운전자의 체온을 측정할 수 있는 적외선카메라가 적용될 수도 있다.
차량 안전제어 장치(150)는 차량 안전 제어부(360)를 통해 웨어러블 측정기기(800)로부터 측정된 정보를 전달받아 생체정보를 통해 운전자의 상태, 컨디션을 분석할 수 있다. 즉, 차량 안전 제어부(360)는 생체정보를 통해 피로도를 판단하여 운전자의 피로도가 일정 수준 이상으로 올라가는지의 여부를 확인할 수 있으며, 심박수가 설정된 수치 이상으로 빨라지거나 설정된 수치 이하로 지나치게 느려지는 경우 위험 상황으로 판단할 수 있다.
또한, 차량 안전 제어부(360)는 체온, 혈압, 심박수, 산소포화도 중 어느 하나 또는 둘 이상의 생체정보를 토대로 운전자가 운전을 지속하기에 적합한 상태인지 여부를 판단할 수 있다.
차량 안전제어 장치(150)는 출력 제어부를 통해 운전자가 주행 중 볼 수 있도록 윈드실드(1) 상에 주행정보와 생체정보 또는 경고문구를 출력할 수 있다.
출력 제어부는 차량(110)의 주행속도, 엔진 RPM, 네비게이션의 주행안내 정보와 같은 주행정보를 제공받아 HUD 본체를 통해 출력할 수 있다.
아울러 출력 제어부는 웨어러블 측정기기(800)에서 측정된 측정정보를 출력할 수 있는데, 운전자의 설정에 따라 생체정보가 상시 출력되도록 하거나 생체정보가 분석된 결과가 안전운전을 위해 설정된 기준치를 벗어나는 경우에 운전자에게 이를 알릴 수 있도록 정보를 출력할 수 있다.
출력 제어부는 운전자의 생체신호 측정값이 설정된 기준치를 벗어나는 경우 HUD 본체를 통해 출력함과 동시에 차량(110)의 내부 스피커를 통해 경고음 또는 경고멘트를 출력하도록 제어할 수도 있다.
도 13은 운전자의 시야 위치에 따라 출력위치를 조절하는 HUD의 일 실시예를 설명하는 도면이다.
도 13을 참조하면, HUD 시스템은 HUD 본체(1300)에서 출력되는 출력신호가 운전자의 시선 위치에 출력될 수 있게 운전자의 시선을 추적하는 시선트랙커(1200)를 더 포함할 수 있으며, HUD 본체(1300)는 출력되는 빔의 출력방향을 조절할 수 있도록 형성될 수 있다.
시선트랙커(1200)는 차량(110)의 내부에 설치되는 근적외선 조명과, 운전자의 각막에서 반사되는 광의 방향을 기록하기 위한 추적카메라를 포함하여 구현될 수 있다.
여기에서, 근적외선 조명은 차량(110)의 내부에서 운전자의 머리 전방에 위치하도록 설치되는데, 윈드실드(1)의 내부 상측 또는 차량(110)의 지붕쪽 프레임에 설치될 수 있다. 근적외선 조명은 운전자의 얼굴을 향해 근적외선을 조사할 수 있다.
추적카메라는 근적외선 조명에서 조사된 후 운전자의 각막으로부터 반사된 근적외선의 방향을 기록한다. 그리고, 차량 안전 제어부(360)는 기록된 근적외선의 방향 정보를 기초로 추적알고리즘을 통해 안구의 위치를 계산한다.
일반적으로 시선을 추적하는 추적기의 경우 추적하는 안구의 시선 방향에 더하여 초점 위치까지 판단할 필요가 있으나, 본 발명의 경우 윈드실드(1) 상에 HUD 본체(130)의 출력신호를 출력해야 하기 때문에 초점위치까지 분별할 필요는 없이 방향만을 확인하는 것으로 충분하다.
HUD 본체(1300)는 바디부와, 바디부에 설치되고 윈드실드(1)에 출력 제어부에서 제공되는 출력정보를 출력하도록 빔을 조사하는 빔출력부와, 빔출력부의 전방에 설치되는 렌즈부와, 바디부의 각도를 조절하여 윈드실드(1) 상에 빔출력부에서 출력되는 정보가 출력되는 출력위치를 조절하기 위한 각도조절부를 포함할 수 있다.
여기에서, 각도조절부는 차량(110)의 폭방향을 따라 연장되는 제1 회전축과, 제1 회전축과 바디부를 연결하는 제1 바디연결부와, 제1 바디연결부의 하부에 형성되고, 제1 회전축과 교차하는 방향으로 연장되는 제2 회전축과, 제1 회전축이 지지되고 제2 회전축을 제1 회전축과 연결하는 제2 바디연결부와, 제1 회전축을 중심으로 제1 바디연결부를 회전시키는 제1 구동부와, 제2 회전축을 중심으로 제2 바디연결부를 회전시키는 제2 구동부를 포함할 수 있다.
제1 구동부와 제2 구동부에 의해 바디부가 제1 회전축과 제2 회전축을 중심으로 소정각도 회전하면서 윈드실드(1)의 상하방향과 좌우방향을 따라 빔이 출력되는 출력위치를 조절할 수 있다.
제1 구동부와 제2 구동부는 스테핑모터 또는 전동식 액추에이터가 적용될 수 있다.
각도조절부의 구동제어는 시선트랙커(1200)에서 추적한 운전자의 시선방향에 대응하도록 출력 제어부에서 실시한다.
아울러 HUD 본체(1300)에 마련되어 있는 렌즈부는 빔출력부로부터 출력되는 광이 윈드실드(1) 상에서 출력되는 출력 위치에 따라 빔의 초점이 맞춰질 수 있도록 동작할 수 있다.
상기 렌즈부는 다수의 렌즈들이 빔출력부로부터 이격되는 이격거리를 조절하거나 렌즈들 중 일부가 입출되는 방식으로 초점을 조절할 수 있다.
따라서, 운전자가 주행 중 특정 지점에서만 HUD 시스템의 주행정보와 생체정보를 확인하는 것이 아니라 운전자의 시선 방향에 맞춰 출력 위치가 추적되기 때문에 운전자가 용이하게 주행정보와 생체정보를 확인할 수 있다.
HUD 본체에서 출력되는 출력정보의 위치는 운전자의 설정에 따라 특정 지점으로 한정될 수도 있고, 상술한 것처럼 운전자의 시선 방향을 따라 가면서 출력 위치가 가변될 수도 있다.
또한, 출력 제어부는 시선트랙커(1200)에 의한 운전자의 시선 추적을 통해 운전자의 상태 정보를 분석할 수도 있다.
본 발명에 따른 차랑 안전제어 장치(150)는 졸음운전을 하는 경우 각막을 통해 반사되는 근적외선의 반사량이 감소하게 되므로, 이를 통해 졸음운전을 판단하며, 또한 시선이 반복해서 윈드실드(1)의 하단부를 향하는 경우 졸음운전으로 판단하여 알람수단을 작동시켜 운전자가 졸음에서 깨도록 조치하며 HUD 본체(1300)에 출력되는 내용을 통해 운전자에게 경고 문구를 출력할 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
[부호의 설명]
100: 운전자 모니터링 시스템
110: 차량 130: 사용자 단말
150: 차량 안전제어 장치
170: 데이터베이스 190: 외부시스템

Claims (15)

  1. 차량에 대한 운전자의 탑승이 검출되면 운전석 인근에 설치된 적어도 하나의 생체신호 수집센서를 통해 상기 운전자의 생체신호들을 측정하는 생체신호 측정부;
    상기 생체신호들에서 상기 운전자의 뇌파신호를 생성하기 위한 복수의 베이스 신호들을 추출하는 베이스 신호 추출부;
    상기 복수의 베이스 신호들에 대한 주파수 분석을 통해 상기 뇌파신호를 생성하는 뇌파신호 생성부;
    상기 뇌파신호를 모니터링하여 상기 운전자의 상태를 분류하는 운전자 상태 분류부;
    상기 생체신호들과 상기 뇌파신호 및 상기 운전자의 상태에 관한 모니터링 정보를 사용자 단말에게 전송하는 사용자 단말 연동부; 및
    상기 운전자의 상태에 따라 상기 차량의 동작 상태를 제어하는 차량 안전 제어부를 포함하는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치.
  2. 제1항에 있어서, 상기 적어도 하나의 생체신호 수집센서는
    상기 차량의 내부 중 상기 운전석 전방에 설치되어 상기 운전자의 시선영상에 관한 영상신호를 획득하는 카메라 센서;
    상기 차량의 천장 중 상기 운전석 상부에 설치되어 상기 운전자의 호흡수 및 호흡 강도에 관한 호흡신호를 획득하는 호흡센서; 및
    상기 차량의 스티어링휠에 결합되어 상기 운전자의 맥박, 체온 및 혈압에 관한 신체센서를 포함하는 것을 특징으로 하는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치.
  3. 제2항에 있어서, 상기 베이스 신호 추출부는
    상기 시선영상에서 홍채 영역의 크기를 산출하고 상기 홍채 영역의 크기 변화율을 제1 베이스 신호로서 추출하는 제1 베이스 신호 모듈;
    상기 호흡신호에서 상기 호흡수 및 호흡강도의 변화율을 제2 베이스 신호로서 추출하는 제2 베이스 신호 모듈; 및
    상기 신체신호에서 상기 맥박, 체온 및 혈압의 변화율을 제3 베이스 신호로서 추출하는 제3 베이스 신호 모듈을 포함하는 것을 특징으로 하는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치.
  4. 제3항에 있어서, 상기 뇌파신호 생성부는
    상기 제1 내지 제3 베이스 신호들에 대해 복수의 주파수 대역들 중 어느 하나를 각각 매칭하는 주파수 매칭 모듈;
    각 베이스 신호를 기초로 해당 주파수 대역에서 후보 뇌파신호를 생성하는 후보 뇌파신호 생성 모듈; 및
    상기 제1 내지 제3 베이스 신호들을 기초로 생성된 후보 뇌파신호들을 통합하여 상기 뇌파신호를 생성하는 뇌파신호 생성 모듈을 포함하는 것을 특징으로 하는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치.
  5. 제4항에 있어서,
    상기 주파수 매칭 모듈은 델타(Delta), 세타(Theta), 로우 알파(Low Alpha), 하이 알파(High Alpha), 로우 베타(Low Beta), 하이 베타(High Beta), 로우 감마(Low Gamma) 및 미들 감마(Mid Gamma)를 상기 복수의 주파수 대역들로서 사용하고,
    상기 뇌파신호 생성 모듈은 상기 운전자의 상태에 따라 상기 후보 뇌파신호들 각각에 독립된 가중치를 부여한 후 상기 뇌파신호를 갱신하는 것을 특징으로 하는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치.
  6. 제5항에 있어서, 상기 주파수 매칭 모듈은
    상기 차량의 주행속도 및 주행시간에 따라 상기 제1 내지 제3 베이스 신호들 각각에 매칭되는 주파수 대역을 동적으로 변경하는 것을 특징으로 하는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치.
  7. 제1항에 있어서,
    상기 운전자 상태 분류부는 상기 운전자의 상태를 졸음 상태, 평시 상태, 흥분 상태, 음주 상태 및 긴급 상태 중 어느 하나로 분류하고,
    상기 차량 안전 제어부는 상기 운전자의 상태가 상기 졸음 상태로 분류된 경우 상기 차량을 안전 주행 상태로 제어하고 상기 운전자의 상태가 상기 음주 상태로 분류된 경우 상기 차량을 시동 불능 상태로 제어하는 것을 특징으로 하는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치.
  8. 제1항에 있어서, 상기 생체신호 측정부는
    상기 운전자의 신체에 착용되어 동작하는 웨어러블 측정기기를 통해 상기 운전자의 생체신호를 측정하고,
    상기 웨어러블 측정기기는 상기 운전자의 팔목에 착용하는 팔목 밴드 또는 상기 운전자의 목에 착용하는 넥밴드 형태로 형성되는 것을 특징으로 하는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치.
  9. 제8항에 있어서,
    상기 웨어러블 측정기기가 넥밴드 형태로 형성되는 경우 상기 운전자의 귀에 착용하는 이어폰과 상기 운전자의 음성신호가 입력될 수 있는 마이크를 더 포함하고,
    상기 웨어러블 측정기기가 팔목 밴드 형태로 형성되는 경우 상기 운전자의 심박을 측정하는 심박센서, 상기 웨어러블 측정기기의 동작을 감지하기 위한 6축 센서, 상기 운전자의 체온을 측정하는 온도센서, 상기 운전자의 혈압을 측정하는 혈압 센서를 포함하는 것을 특징으로 하는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치.
  10. 제9항에 있어서,
    상기 웨어러블 측정기기가 넥밴드 형태로 형성되는 경우 상기 마이크로 입력되는 음성신호를 문자로 변환하거나 무선통신부를 통해 입력되는 문자 데이터를 음성신호로 변환하는 음성신호 처리부를 더 구비하며,
    상기 음성신호 처리부는 상기 마이크를 통해 입력되는 상기 운전자의 입력 음성을 문자로 변환하여 차량 안전 제어부로 전송하거나, 상기 차량 안전 제어부를 통해 입력되는 문자 데이터를 음성신호로 변환한 후 상기 이어폰을 통해 음성신호로 출력하는 것을 특징으로 하는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치.
  11. 제8항에 있어서, 상기 웨어러블 측정기기는
    상기 운전자의 팔목 또는 목 이외의 다른 신체부위에 착용하여 생체정보를 측정하는 연동형 보조 측정기를 더 포함하되,
    상기 연동형 보조 측정기는 손가락에 착용하여 산소포화도와 심박수를 측정할 수 있도록 형성되거나,
    상기 운전자의 몸통에 착용하여 체온, 동작정보를 측정할 수 있도록 형성되는 것을 특징으로 하는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치.
  12. 제1항에 있어서,
    상기 차량의 윈드실드에 주행정보를 포함하는 정보를 표시하기 위한 HUD 본체; 및
    상기 차량 안전 제어부와 연결되고 상기 운전자의 생체정보를 상기 HUD 본체를 통해 상기 차량의 윈드실드에 출력하는 출력 제어부를 더 포함하는 것을 특징으로 하는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치.
  13. 제12항에 있어서, 상기 출력 제어부는
    상기 운전자의 생체정보가 운전에 위험이 되는 수준으로 감지되면 해당 생체정보를 출력함과 더불어 경고음 또는 경고문구를 출력하도록 된 것을 특징으로 하는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치.
  14. 제12항에 있어서,
    상기 운전자의 시선을 추적하는 시선트랙커를 더 포함하고,
    상기 HUD 본체는 상기 시선트랙커에서 측정된 상기 운전자의 시선 방향으로 상기 주행정보 및 생체정보가 출력될 수 있도록 출력위치를 가변할 수 있게 형성된 것을 특징으로 하는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치.
  15. 차량에 대한 운전자의 탑승이 검출되면 운전석 인근에 설치된 적어도 하나의 생체신호 수집센서를 통해 상기 운전자의 생체신호들을 측정하는 단계;
    상기 생체신호들에서 상기 운전자의 뇌파신호를 생성하기 위한 복수의 베이스 신호들을 추출하는 단계;
    상기 복수의 베이스 신호들에 대한 주파수 분석을 통해 상기 뇌파신호를 생성하는 단계;
    상기 뇌파신호를 모니터링하여 상기 운전자의 상태를 분류하는 단계;
    상기 생체신호들과 상기 뇌파신호 및 상기 운전자의 상태에 관한 모니터링 정보를 사용자 단말에게 전송하는 단계; 및
    상기 운전자의 상태에 따라 상기 차량의 동작 상태를 제어하는 단계를 포함하는 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 방법.
PCT/KR2021/009590 2020-12-07 2021-07-23 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치 및 방법 WO2022124515A1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2020-0169172 2020-12-07
KR10-2020-0169171 2020-12-07
KR1020200169172A KR20220080756A (ko) 2020-12-07 2020-12-07 AIoT 기반 스마트 헬스케어 시스템
KR1020200169171A KR102551870B1 (ko) 2020-12-07 2020-12-07 운전자의 생체정보를 분석 및 표시하는 차량용 헤드업 디스플레이 시스템
KR20210004402 2021-01-13
KR10-2021-0004402 2021-01-13

Publications (1)

Publication Number Publication Date
WO2022124515A1 true WO2022124515A1 (ko) 2022-06-16

Family

ID=81974670

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2021/009590 WO2022124515A1 (ko) 2020-12-07 2021-07-23 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치 및 방법

Country Status (1)

Country Link
WO (1) WO2022124515A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002019491A (ja) * 2000-07-11 2002-01-23 Mazda Motor Corp 車両の表示装置
KR20090002072A (ko) * 2007-06-04 2009-01-09 이민화 생리적 신호를 이용한 차량의 전자 디바이스들의 제어
KR101548868B1 (ko) * 2014-05-27 2015-09-01 전남대학교산학협력단 뇌파 신호를 이용한 차량의 안전 운전을 제어하기 위한 장치 및 방법
US20160227009A1 (en) * 2015-01-30 2016-08-04 Lg Electronics Inc. Operating a vehicle and a wearable device
JP2018082931A (ja) * 2016-11-24 2018-05-31 本田技研工業株式会社 覚醒度処理方法および覚醒度処理装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002019491A (ja) * 2000-07-11 2002-01-23 Mazda Motor Corp 車両の表示装置
KR20090002072A (ko) * 2007-06-04 2009-01-09 이민화 생리적 신호를 이용한 차량의 전자 디바이스들의 제어
KR101548868B1 (ko) * 2014-05-27 2015-09-01 전남대학교산학협력단 뇌파 신호를 이용한 차량의 안전 운전을 제어하기 위한 장치 및 방법
US20160227009A1 (en) * 2015-01-30 2016-08-04 Lg Electronics Inc. Operating a vehicle and a wearable device
JP2018082931A (ja) * 2016-11-24 2018-05-31 本田技研工業株式会社 覚醒度処理方法および覚醒度処理装置

Similar Documents

Publication Publication Date Title
JP6184989B2 (ja) 目の動きをモニターするバイオセンサ、コミュニケーター及びコントローラー並びにそれらの使用方法
USRE41376E1 (en) System and method for monitoring eye movement
US6542081B2 (en) System and method for monitoring eye movement
US10039445B1 (en) Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US7027621B1 (en) Method and apparatus for operator condition monitoring and assessment
US20110077548A1 (en) Biosensors, communicators, and controllers monitoring eye movement and methods for using them
US20170291544A1 (en) Adaptive alert system for autonomous vehicle
US10538259B2 (en) Fit-for-duty detection and alerting system for rail and transit
EP3674979A1 (en) System and method for adjusting reaction time of a driver
US20200104617A1 (en) System and method for remote monitoring of a human
JP2005108033A (ja) 運転者状況判定装置および運転者状況判定方法
WO2022124515A1 (ko) 비접촉 방식의 뇌파신호 측정을 통한 운전자 모니터링 및 차량 안전 제어 장치 및 방법
WO2016200076A1 (ko) 휴대 전자 장치 및 그 동작 방법
CN111899471A (zh) 一种驾驶员疲劳监测系统
Mabry et al. Commercial motor vehicle operator fatigue detection technology catalog and review
US20200210737A1 (en) System and method for monitoring driver inattentiveness using physiological factors
Thummar et al. A real time driver fatigue system based on eye gaze detection
RU2741932C1 (ru) Устройство контроля уровня бодрствования водителя многоосного шасси
WO2023134637A1 (zh) 一种车载眼动交互系统及方法
US20200205716A1 (en) System and method for detecting reaction time of a driver
WO2023090618A1 (ko) 인공 지능을 이용하여 운전자의 주시 상태를 판단하는 차량 장치 및 그 제어 방법
Swetha et al. Vehicle Accident Prevention System Using Artificial Intelligence
WO2021024434A1 (ja) 表示システム、表示方法、及びプログラム
EA043983B1 (ru) Система программно-аппаратного бесконтактного скрининга клинических признаков риска внезапной смерти в процессе трудовой деятельности и способ оценки психофизиологических показателей, определяющих потерю контроля внимания и восприятия, а также риска внезапной смерти на рабочем месте
CN117243598A (zh) 人体姿态智能识别方法及计算机设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21903563

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21903563

Country of ref document: EP

Kind code of ref document: A1