WO2014092494A1 - 뇌파를 이용한 주행체 제어 방법 및 장치 - Google Patents

뇌파를 이용한 주행체 제어 방법 및 장치 Download PDF

Info

Publication number
WO2014092494A1
WO2014092494A1 PCT/KR2013/011569 KR2013011569W WO2014092494A1 WO 2014092494 A1 WO2014092494 A1 WO 2014092494A1 KR 2013011569 W KR2013011569 W KR 2013011569W WO 2014092494 A1 WO2014092494 A1 WO 2014092494A1
Authority
WO
WIPO (PCT)
Prior art keywords
eeg
driver
intention
induced
driving situation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2013/011569
Other languages
English (en)
French (fr)
Inventor
이성환
김일화
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Korea University Research and Business Foundation
Original Assignee
Korea University Research and Business Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Korea University Research and Business Foundation filed Critical Korea University Research and Business Foundation
Publication of WO2014092494A1 publication Critical patent/WO2014092494A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/369—Electroencephalography [EEG]
    • A61B5/377—Electroencephalography [EEG] using evoked responses
    • A61B5/38—Acoustic or auditory stimuli
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/107—Longitudinal acceleration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/10—Interpretation of driver requests or demands
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B60W2520/105—Longitudinal acceleration

Definitions

  • the present invention relates to a vehicle control, and more particularly, the present invention relates to a method and an apparatus capable of controlling a vehicle such as a vehicle using both the induced potential and the self-generated potential.
  • Korean Patent Publication No. 10-2012-68625 (Invention name: Acceleration and deceleration system of the driving simulator for the disabled using the EEG sensor and acceleration and deceleration control method of the vehicle for the disabled using the EEG sensor) It discloses that the acceleration / deceleration is controlled by using the bilateral muscle signal through movement and bite.
  • the present invention is to provide a method and apparatus for controlling a vehicle using an EEG capable of accurately determining the intention of the driver in consideration of the driver's induced brain waves and spontaneous brain waves at the same time to enable the control for the driving of the vehicle.
  • the present invention is to provide a method and apparatus for controlling a vehicle using an EEG that can improve the performance for controlling the vehicle by determining the driver's intention reflecting the EEG characteristics that are different for each individual.
  • an apparatus capable of controlling the vehicle using both the induced potential and the self-generated potential of the driver.
  • a driving simulation unit for providing a simulation environment to provide the driver with at least one of the visual stimulus, auditory stimulus and vibration stimulation according to the driving situation; EEG measuring unit for measuring the driver EEG in accordance with the simulation environment; A discriminating unit for detecting the induced EEG and spontaneous EEG by analyzing the measured EEG and determining a driver's intention according to a driving situation using the induced EEG and spontaneous EEG; And a controller for controlling the vehicle in response to the driver's intention according to the determined driving situation.
  • the apparatus may further include a performance evaluation unit for evaluating the determination performance of the determination unit.
  • the apparatus may further include an update unit reflecting the result of the evaluation in determining the driver's intention according to the driving situation of the determination unit.
  • the determination unit may set the P300 component of the induced EEG and the readiness potential of the spontaneous EEG as a feature vector.
  • the determination unit may determine the driver's intention using the P300 component and the preparation potential.
  • the determination unit detects a sensorymotor rhythm (SMR) region of the brain wave through a band pass filter, determines an operation imagination through analysis of the detected SMR region, and controls the driver according to the driving situation classification according to the determined operation imagination. At least one of acceleration, deceleration, and steering intention may be determined.
  • SMR sensorymotor rhythm
  • the motion image may be at least one of a left hand, right hand, and tongue motion image.
  • the driving situation classification according to the operation imagination may use RLDA (regularized linear discriminant analysis).
  • the discriminator is configured to apply the EEG to the hierarchical Bayesian Probabilistic network model by reflecting the correlation between the temporal and spatial frequency domain based feature vectors to simultaneously detect the induced EEG and the spontaneous EEG. Intent can be determined.
  • the vehicle control may be control for at least one of braking, acceleration, deceleration, and steering.
  • the EEG measuring unit measures the EEG through a plurality of electrodes worn by the driver on the scalp, the plurality of electrodes to be disposed in Cz, C3, C4, P9, P10, T7, T8 according to the method of 10-20 electrodes Can be.
  • the EEG measuring unit for measuring the driver EEG according to the driving situation;
  • a discriminating unit for detecting the induced EEG and spontaneous EEG by analyzing the measured EEG and determining a driver's intention according to a driving situation using the induced EEG and spontaneous EEG;
  • a controller for controlling the vehicle in response to the driver's intention according to the determined driving situation.
  • a computer-readable recording medium having recorded thereon a program for performing the above method.
  • the present invention can improve the control performance by determining the driver's intention reflecting the EEG characteristics that are different for each individual.
  • FIG. 1 is a view illustrating a vehicle control using an EEG according to an embodiment of the present invention.
  • Figure 2 is a view showing for explaining a 10 to 20 electrode arrangement method according to an embodiment of the present invention.
  • Figure 3 is a block diagram schematically showing the configuration of a vehicle control device for the EEG according to an embodiment of the present invention.
  • FIG 4 and 5 illustrate the EEG region associated with the foot motion according to an embodiment of the present invention.
  • FIG. 6 illustrates an abstract level of a hierarchical Bayesian Probabilistic network model in accordance with an embodiment of the present invention.
  • FIG. 7 is a diagram illustrating a hierarchical Bayesian network configuration in a specific state according to an embodiment of the present invention.
  • FIG. 8 is a flowchart illustrating a method of controlling a vehicle using an EEG according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • the present invention relates to a technique for controlling an object (driving body) that is driven by the operation of a driver such as a vehicle using brain waves.
  • Electroencephography refers to a signal measured by an electrode from a signal generated in the brain.
  • EEG is generally classified into induced EEG and voluntary EEG.
  • Induced EEG refers to EEG expressed by the driver's involuntary intention by an external stimulus according to a dangerous situation (for example, blinking of a brake according to a dangerous situation, movement of a vehicle).
  • spontaneous brain waves refers to brain waves that occur when a driver voluntarily takes steps such as pedaling a vehicle or rotating a steering wheel.
  • the band-specific characteristics according to the frequency of the EEG and the characteristics in the time domain are changed depending on which human brain is functioning, and the delta, theta, alpha, beta, gamma wave, etc. according to the frequency and voltage range. Divided by.
  • Delta ( ⁇ ) waves have a frequency of 0.1 to 3 Hz and an amplitude of 20 to 200 ⁇ V, and appear mainly in deep sleep or normal newborns.
  • Theta wave has a frequency of 4 to 7 Hz and an amplitude of 20 to 100 ⁇ V and appears in an emotionally stable or sleeping state.
  • the alpha ( ⁇ ) wave has a frequency of 8 to 12 Hz and an amplitude of 20 to 60 ⁇ V.
  • the alpha ( ⁇ ) wave appears in a relaxed and relaxed state and increases in amplitude as it is stable.
  • the beta ( ⁇ ) wave has a frequency of 12-30 Hz and an amplitude of 2-20 ⁇ V and appears when you are awake or conscious.
  • Gamma ( ⁇ ) waves have a frequency of 30-50 Hz and an amplitude of 2-20 ⁇ V, and appear in a strong excited state.
  • SMR Sensorymotor Rhythm
  • the driving body will be described as a vehicle, but the driving body may include both an electric wheel chair and other objects that can be controlled by the driver's operation without being limited thereto.
  • FIG. 1 is a view illustrating a vehicle control using an EEG according to an embodiment of the present invention
  • Figure 2 is a view showing a 10 to 20 electrode arrangement method according to an embodiment of the present invention. .
  • a plurality of electrodes are disposed in a specified method and placed in one region of the driver's body (eg, the scalp).
  • the plurality of electrodes are disposed and attached to one region of the body of the driver according to the method of placing the 10 to 20 electrodes.
  • the plurality of electrodes may be disposed / attached to one region of the body of the driver at positions Cz, C3, C4, P9, P10, T7, and T8 according to the method of placing the 10-20 electrodes (see FIG. 2).
  • the vehicle control device provides the driver with a driving simulation environment that is identical to the actual driving state, thereby causing the driver's induced brain waves (ie, induced potential) and spontaneous
  • the vehicle can be controlled by measuring / considering the EEG (model of self-generation) and variously modeling the driving situation.
  • the driving simulation environment may be provided to the driver including at least one of visual stimulus, auditory stimulus, and vibration stimulus according to the driving situation.
  • FIG. 3 is a block diagram schematically illustrating a configuration of a vehicle control apparatus for an EEG according to an embodiment of the present invention
  • FIGS. 4 and 5 are views illustrating EEG regions associated with foot motions according to an embodiment of the present invention.
  • 6 is a diagram illustrating an abstract level of a hierarchical Bayesian probability network model according to an embodiment of the present invention
  • FIG. 7 is a hierarchical Bayesian network in a specific state according to an embodiment of the present invention. It is a figure which shows a structure.
  • the vehicle control apparatus 300 may include a driving simulation unit 310, an EEG measurement unit 315, an intention and situation determination unit 320, and a vehicle control unit 325. And a performance evaluation unit 330 and an update unit 335.
  • the driving simulation unit 310 is a means for providing a simulation environment for a driving situation similar to actual driving of a vehicle to a driver who has arranged / attached a plurality of electrodes to one body area.
  • the driving simulation unit 310 may provide a driving simulation environment to include at least one of a visual stimulus, an auditory stimulus, and a vibration stimulus in order to provide an environment similar to that of a driver actually driving the vehicle.
  • the driving simulation unit 310 controls driving conditions by controlling vibration and movement of the driver's seat and steering wheel for the frictional force of the road surface, the inertia force generated when the vehicle decelerates and accelerates, and the centrifugal force generated when the vehicle rotates.
  • the driving simulation unit 310 may move the vehicle when the brake of the front vehicle is pressed, the rear light state, suddenly interrupting another vehicle, the appearance of a pedestrian, and the center of the opposite lane vehicle.
  • Driving situations can be simulated, including a variety of dangerous situations, such as sexual involvement.
  • the driving simulation unit 310 may simulate a driving situation similar to an actual driving environment, including both a traffic light blinking state change and a general urban environment on a road.
  • the EEG measuring unit 315 is a means for measuring EEG according to the driving situation provided to the driver through the driving simulation unit 310.
  • the EEG measuring unit 315 may measure EEG through a plurality of electrodes disposed / attached to one region of the driver's body (eg, the scalp).
  • the EEG measurement is measured in a non-invasive manner, it is preferable to measure through the N (natural number 4 or more) channels.
  • Electroencephalography (EEG) measured by the EEG measurement unit 315 includes various noises.
  • the noise contained in the measured EEG is the component of electromyography (EMG), blinking of eyes, and eye movement (EOG). These noises are typically several times compared to electroencephalogram signals and must be removed to ensure effective vehicle control.
  • time frequency components of EMG and EEG signals may be identified and linearly separated, or may be removed using independent component analysis. Since the linear separation method and the independent component analysis method through such time frequency component analysis are obvious to those skilled in the art, a separate description of a method for removing noise using the same will be omitted.
  • the EEG measuring unit 315 includes a signal processing function for removing the noise of the EEG, which will be described below.
  • the EEG measuring unit 315 removes the noise of the EEG measured by the EEG measuring unit 315.
  • Signal processing means for doing may be included in a separate configuration.
  • the EEG measuring unit 315 may output the measured EEG to the signal processing means, and the signal processing means may be implemented to remove noise included in the EEG through a predetermined algorithm.
  • the determination unit 320 detects the induced brain wave and spontaneous brain wave simultaneously by converting and analyzing the brain wave measured by the brain wave measuring unit 315 into a time-space frequency domain, and using the same to determine the driver's intention according to the driving situation. It is meant for.
  • braking intentions for a vehicle are characterized by the P300 (positive 300ms) component expressed by the stimulus induced in the time domain and the Readiness Potential (RP) expressed by the spontaneous or induced intention.
  • the P300 component represents an EEG component having a positive value observed after 300 ms of induced stimulus expression
  • RP represents an EEG component observed 600 ms before a person actually operates.
  • RP is mainly expressed by spontaneous intention, but is not limited thereto, but is expressed inductively, for example, even when the vehicle ahead suddenly stops and brightens the brake.
  • the brakes on the driver's own will be manifested by voluntary intentions.
  • RP expressed by inducing intent is observed about 250 ms before.
  • FIGS. 4 and 5 output brain wave regions related to foot motion, and show FCz, Cz, and CPz regions sequentially from above.
  • Readiness Potential RP is caused by any visual stimulus caused by the braking of the foot through the movement of the EEG after the preparation potential (RP) of the brake during the spontaneous brake It can be seen that the appearance is different.
  • the preparation potential (RP) when an emergency occurs and brakes, the preparation potential (RP) can be seen to rise to a negative voltage much more steeply than a normal brake.
  • the preparation potential RP has a voltage value in a negative region, and 0uV may be a starting point of the preparation potential RP.
  • the start point of the preparation potential (RP) when the emergency occurs when the brake is characterized by being expressed about 150ms later than the normal brake.
  • the determination unit 320 sets the P300 region and the preparation potential (RP) region of the induced EEG as a feature vector, and uses the temporal threshold and the slope threshold in consideration of spatial and temporal characteristics.
  • the driving situation can be determined.
  • the driving situation may include, for example, one or more of an emergency situation, a general braking situation, and a normal driving situation.
  • the normal driving situation may include one or more of a left turn situation, a straight turn situation and a right turn situation.
  • the driver's vehicle braking intention can be determined by simultaneously detecting and observing characteristic vectors of the induced EEG and spontaneous EEG through time domain analysis.
  • a time window analysis of the measured brain waves creates a moving window of about 1500 ms to simultaneously detect the induced brain waves and spontaneous brain waves, and the power of each window in each section in real time in real time.
  • power variance, standard deviation, and correlation coefficient as feature vectors
  • the driver's intention of acceleration and steering control can be known through the driver's imagination of motion in the space and frequency domain.
  • the determination unit 320 may extract an SMR region by using a band pass filter on the frequency component and analyze the same to determine an operation imagination.
  • the motion imagination may be any one of the left hand, the right hand, and the tongue motion imagination.
  • the determiner 320 may extract feature vectors set by using a topographic map or a time frequency power spectrum to simultaneously analyze the time, space, and frequency domain in order to accurately determine the driver's intention at a specific time.
  • the determination unit 320 is opposed to the event related desynchronization (ERD), which means that the EEG is suppressed due to a certain motion of the driver in the time domain.
  • EEG event related desynchronization
  • ERS Event Related Synchronization
  • the determination unit 320 may simultaneously express the multiple feature information in order to simultaneously determine the multiple classes such as the driver's acceleration, deceleration, and steering (left and right) intention in the above-described feature vectors of the time, space, and frequency domain (
  • the driver's vehicle control intention may be determined by applying the hierarchical Bayesian probability network model to reflect the correlation between the feature vectors (see FIG. 6).
  • FIG. 7 illustrates a model of a specific state in a hierarchical structure according to the hierarchical Bayesian probability network model of FIG. 6.
  • FIG. 7 illustrates an example of estimating a correlation between feature vectors such as the induced potential P300 and the self-developed potential RP. Doing.
  • the determination unit 320 may analyze the EEG after applying a dimension reduction algorithm such as principal component analysis to the EEG to solve the high-dimensional problem of EEG due to various channels and high sampling frequency in real time.
  • the determination unit 320 may apply a filter algorithm, such as Common Spatial Pattern (CSP) and Stationary Subspace Analysis (SSA), to the EEG before the EEG analysis, in order to overcome a large difference and change in the EEG.
  • CSP Common Spatial Pattern
  • SSA Stationary Subspace Analysis
  • the determiner 320 may extract a feature vector using a point-biserial correlation coefficient.
  • the feature vector may be extracted using Equation 1 below.
  • M 1 represents the average of Class1
  • M 0 represents the average of Class2
  • N 1 represents the number of data of Class1
  • N 0 represents the number of data of Class2.
  • S n represents the standard deviation.
  • the average of the data corresponding to each interval may be obtained, and the feature vector may be configured with 10 feature points per trial.
  • the determination unit 320 may classify the driving state using a regularized linear discriminant analysis (RLDA) to distinguish the driving state using the feature vectors.
  • RLDA regularized linear discriminant analysis
  • the classification using RLDA is equal to the number 2.
  • X represents a feature vector and b represents a crystal boundary.
  • b represents a crystal boundary.
  • W and B can be set as shown in Fig. 3 to obtain an output value for the number 2 as shown below.
  • the determination unit 320 may classify the exact intention of the driver by using the driving situation according to a specific operation imagination and the feature vector configured by using the RP and P300 using the RLDA.
  • the vehicle controller 325 is a means for generating a control signal for controlling the vehicle according to the driver control intention according to the driving situation determined by the determination unit 320.
  • the vehicle controller 325 is connected to the electronic control unit ECU of the vehicle in a wired or wireless form or is an electronic control unit.
  • the intention and situation determination unit 320 may determine that the driver intends to turn left or right. Accordingly, the vehicle controller 325 may generate a control signal for controlling the vehicle to turn left or right according to a predetermined sensitivity.
  • the vehicle controller 325 may generate a control signal for controlling the vehicle according to the driver's intention according to the driving situation determined by the intention and the situation determination unit 320.
  • the control of the vehicle may include all of the overall control related to the driving of the vehicle such as real time braking, acceleration, steering device control, and the like.
  • the performance evaluator 330 is a means for evaluating the result of the vehicle control of the vehicle controller 325.
  • the performance evaluator 330 may not only control the vehicle to meet the driver's intention by using the driver's brain wave but also determine the performance by considering the wrong control of the vehicle. discrimination performance can be evaluated using the Curve score.
  • the AUC score can be derived using Equation 5 below.
  • n 1 is the number of samples 1
  • R 1 is the sum of the ranks of sample 1
  • n 2 is the number of samples 2
  • R 2 represents the rank sum of samples 2.
  • the performance evaluator 330 may determine the performance using Equation 6 below.
  • the updater 335 is a means for reflecting the correlation according to the driver control intention according to the driving situation through the previous and current determination unit 320 through cross validation and reflecting the result in the next determination process. .
  • the updater 335 may optimize the performance of the determiner 320 by updating a variable of RLDA for classifying driving conditions of the determiner 320 using the performance evaluation result of the performance evaluator 330. Can be.
  • the intention of each driver can be accurately reflected, and in the actual driving situation, the EEG measuring unit 315 measures the driver EEG according to the driving situation, and the determination unit 320 measures By analyzing the EEG, the induced EEG and spontaneous EEG are detected, and the driver's intention is determined through this, and the controller 325 controls the vehicle as the driver's intention.
  • FIG. 8 is a flowchart illustrating a method of controlling a vehicle using brain waves according to an embodiment of the present invention.
  • the vehicle control apparatus 300 provides a driver having a plurality of electrodes attached to the scalp to simulate a driving situation that is the same as or similar to the actual driving situation.
  • the driving situation simulation environment may include at least one of visual, auditory, and vibration stimulation.
  • the vehicle control apparatus 300 may continuously provide a simulation environment for a driving situation.
  • the vehicle control apparatus 300 measures the brain wave of the driver according to the provided simulation environment.
  • the EEG may be measured through a plurality of channels.
  • the vehicle control apparatus 300 analyzes the measured brain waves in time, space, and frequency domains to detect induced brain waves and spontaneous brain waves, and uses the induced brain waves and spontaneous brain waves to determine a driver's intention according to a driving situation. do.
  • the vehicle control apparatus 300 detects each feature vector based on the time, space, and frequency domain, and applies the brain wave to the hierarchical Bayesian probability network model by reflecting the correlation between the feature vectors. Control intent can be determined.
  • the method of constructing / detecting feature vectors in the time, space, and frequency domains and the method of determining the driver's intention according to the driving situation are the same as those described with reference to FIG. 3, and thus redundant descriptions thereof will be omitted.
  • the vehicle control apparatus 300 may generate a control signal for controlling the vehicle according to the driver's intention according to the determined driving situation, and may control the vehicle or control the vehicle according to the control signal. Will output
  • the vehicle control apparatus 300 evaluates the discrimination performance of the driver's intention according to the determined driving situation.
  • the vehicle control apparatus 300 optimizes the determination performance evaluation result by reflecting the determination of the driver's intention according to the driving situation.
  • the method for controlling a vehicle using an EEG can be implemented in the form of program instructions that can be executed through various electronic means for processing information can be recorded in the storage medium.
  • the storage medium may include program instructions, data files, data structures, etc. alone or in combination.
  • the program instructions recorded in the storage medium may be those specially designed and constructed for the present invention, or may be known and available to those skilled in the software art.
  • Examples of storage media include magnetic media such as hard disks, floppy disks and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic-optical media such as floppy disks.
  • hardware devices specifically configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory, and the like.
  • Examples of program instructions include not only machine code generated by a compiler, but also devices that process information electronically using an interpreter, for example, high-level language code that can be executed by a computer.
  • the hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Psychology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Psychiatry (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • General Physics & Mathematics (AREA)
  • Dermatology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)

Abstract

뇌파를 이용한 주행체 제어 방법 및 장치가 개시된다. 뇌파를 이용한 주행체 제어 방법은, 운전 상황에 따른 시각자극, 청각 자극 및 진동 자극 중 적어도 하나의 자극을 운전자에게 제공하도록 시뮬레이션 환경을 제공하고, 시뮬레이션 환경에 따른 운전자 뇌파를 측정한 후 측정된 뇌파를 분석하여 유발적 뇌파와 자발적 뇌파를 검출하고, 유발적 뇌파 및 자발적 뇌파를 이용하여 운전 상황에 따른 운전자 의도를 판별하여 운전 상황에 따른 운전자 의도를 반영하여 주행체를 제어할 수 있다.

Description

뇌파를 이용한 주행체 제어 방법 및 장치
본 발명은 주행체 제어에 관한 것으로, 보다 상세하게 본 발명은 유발전위와 자발전위를 모두 이용하여 차량과 같은 주행체를 제어할 수 있는 방법 및 장치에 관한 것이다.
기존에는 뇌파를 이용하여 신체 마비환자를 위한 보철 기구 제어, 의사소통을 위한 스펠러, 또한 주의력 결핍이나 과잉활동 장애(ADD/ADHD)와 같은 의료 분야에서 주로 기술이 사용되었다. 그러나, 최근에는 뇌파를 이용하여 로봇이나 차량, 텔레비젼을 인간 친화적으로 제어하기 위한 기술 개발 및 연구 활동이 활발하게 진행되고 있다.
그러나, 뇌파를 이용하여 로봇, 차량, 텔레비전을 제어하기 위한 기술들은 크게 세가지 문제점이 있다. 첫째, 긴급 상황(위험 상황)이라는 시각적인 자극에서 오는 유발적인 뇌파만을 이용하여 차량 제동을 하기 때문에 긴급 상황(위험 상황)을 제외한 훨씬 다양한 차량 제동 상황에서 운전자의 의도를 제대로 반영하지 못하고 제동하게 되어 오히려 더 많은 위험을 뒤따르게 만든다.
한국공개특허 제10-2012-68625호(발명의 명칭: 뇌파센서를 이용한 장애인용 드라이빙 시뮬레이터의 가감속 시스템 및 뇌파센서를 이용한 장애인용 차량의 가감속 제어 방법)에 따르면, 뇌파 신호와 함께 안구의 움직임 및 이물기를 통한 자작근 신호를 이용하여 가감속을 제어한다는 점을 개시하고 있습니다.
그러나, 종래에는 운전자의 동작 관련 뇌파를 이용한 운전 제어 시스템이 제안되지 않기 때문에 정확하 제어가 이루어지지 못하는 문제점이 있었다.
또한, 개개인마다 뇌파의 차이가 있으나, 이를 반영하지 않고, 고정된 판별 시스템을 사용함으로써 운전자 개개인에 적합한 최적의 시스템을 제공하지 못하는 문제를 가지고 있다.
마지막으로, 차량의 제동만을 제어하기 때문에 근본적으로 완벽히 인간친화적인 차량 자율 주행 시스템을 구현하기에는 조향, 가속과 같은 운전자의 의도를 충분히 반영하지 못한다.

본 발명은 운전자의 유발적인 뇌파와 자발적인 뇌파를 동시에 고려하여 운전자의 의도를 정확하게 파악하여 차량에 대한 주행을 위한 제어가 가능하도록 할 수 있는 뇌파를 이용한 주행체 제어 방법 및 장치를 제공하기 위한 것이다.
또한, 본 발명은 개개인마다 차이가 있는 뇌파 특성을 반영한 운전자의 의도를 판별하여 차량 제어를 위한 성능을 향상시킬 수 있는 뇌파를 이용한 주행체 제어 방법 및 장치를 제공하기 위한 것이다.
본 발명의 일 측면에 따르면, 운전자의 유발전위와 자발전위를 모두 이용하여 주행체를 제어할 수 있는 장치가 제공된다.
본 발명의 바람직한 일 실시예에 따르면, 운전 상황에 따른 시각자극, 청각 자극 및 진동 자극 중 적어도 하나의 자극을 운전자에게 제공하도록 시뮬레이션 환경을 제공하는 운전 시뮬레이션부; 상기 시뮬레이션 환경에 따른 운전자 뇌파를 측정하는 뇌파 측정부; 상기 측정된 뇌파를 분석하여 유발적 뇌파와 자발적 뇌파를 검출하고, 상기 유발적 뇌파 및 자발적 뇌파를 이용하여 운전 상황에 따른 운전자 의도를 판별하는 판별부; 및 상기 판별된 운전 상황에 따른 운전자 의도를 반영하여 주행체를 제어하는 제어부를 포함하는 뇌파를 이용한 주행체 제어 장치가 제공된다.
상기 판별부의 판별 성능을 평가하는 성능 평가부를 더 포함할 수 있다.
상기 평가에 따른 결과를 상기 판별부의 운전 상황에 따른 운전자 의도 판별에 반영하는 갱신부를 더 포함할 수 있다.
상기 판별부는, 상기 유발적 뇌파의 P300 성분과 상기 자발적 뇌파의 준비전위(RP, Readiness Potential)를 특징 벡터로 설정할 수 있다.
상기 판별부는, 상기 P300 성분과 상기 준비전위를 이용하여 운전자의 의도를 판별할 수 있다.
상기 판별부는, 상기 뇌파의 SMR(Sensorymotor Rhythm) 영역을 대역 통과 필터를 통해 검출하고, 상기 검출된 SMR 영역 분석을 통해 동작 상상을 판별하고, 판별된 동작 상상에 따른 운전 상황 분류에 따라 운전자의 제어, 가속, 감속 및 조향 의도 중 적어도 하나를 판별할 수 있다.
상기 동작 상상은 왼손, 오른손 및 혀 동작 상상 중 적어도 하나일 수 있다.
상기 동작 상상에 따른 운전 상황 분류는 RLDA(regularized linear discriminant analysis)을 이용할 수 있다.
상기 판별부는 상기 유발적 뇌파와 상기 자발적 뇌파를 동시에 검출하기 위해 뇌파를 시간, 공간 주파수 영역 기반의 특징 벡터들 사이에 상관 관계를 반영하여 계층적 베이지안 확률 네트워크 모델에 적용하여 주행체 제어를 위한 운전자 의도를 판별할 수 있다.
상기 주행체 제어는 제동, 가속, 감속 및 조향 중 적어도 하나에 대한 제어일 수 있다.
상기 뇌파 측정부는, 운전자가 두피에 착용한 복수의 전극을 통해 뇌파를 측정하되, 상기 복수의 전극은 10 ~ 20 전극 배치 방법에 따라 Cz, C3, C4, P9, P10, T7, T8에 배치될 수 있다.
본 발명의 다른 측면에 따르면, 운전 상황에 따른 운전자 뇌파를 측정하는 뇌파 측정부; 상기 측정된 뇌파를 분석하여 유발적 뇌파와 자발적 뇌파를 검출하고, 상기 유발적 뇌파 및 자발적 뇌파를 이용하여 운전 상황에 따른 운전자 의도를 판별하는 판별부; 및 상기 판별된 운전 상황에 따른 운전자 의도를 반영하여 주행체를 제어하는 제어부를 포함하는 뇌파를 이용한 주행체 제어 장치가 제공된다.
본 발명의 또 다른 측면에 따르면, 운전 상황에 따른 시각자극, 청각 자극 및 진동 자극 중 적어도 하나의 자극을 운전자에게 제공하도록 시뮬레이션 환경을 제공하는 단계; 상기 시뮬레이션 환경에 따른 운전자 뇌파를 측정하는 단계; 상기 측정된 뇌파를 분석하여 유발적 뇌파와 자발적 뇌파를 검출하고, 상기 유발적 뇌파 및 자발적 뇌파를 이용하여 운전 상황에 따른 운전자 의도를 판별하는 단계; 및 상기 판별된 운전 상황에 따른 운전자 의도를 반영하여 주행체를 제어하는 단계를 포함하는 뇌파를 이용한 차량 제어 방법이 제공된다.
본 발명의 또 다른 측면에 따르면, 상기한 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체가 제공된다.
본 발명의 일 실시예에 따른 뇌파를 이용한 주행체 제어 방법 및 장치를 제공함으로써, 운전자의 유발적인 뇌파와 자발적인 뇌파를 동시에 고려하여 운전자의 의도를 정확하게 파악하여 주행을 위한 제어가 가능하도록 할 수 있다.
또한, 본 발명은 개개인마다 차이가 있는 뇌파 특성을 반영한 운전자의 의도를 판별하여 제어 성능을 향상시킬 수 있다.
도 1은 본 발명의 일 실시예에 따른 뇌파를 이용한 차량 제어를 설명하기 위해 도시한 도면.
도 2는 본 발명의 일 실시예에 따른 10 ~20 전극 배치 방법을 설명하기 위해 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 뇌파를 위한 차량 제어 장치의 구성을 개략적으로 나타낸 블록도.
도 4 및 도 5는 본 발명의 일 실시예에 따른 발동작과 관련된 뇌파 영역을 예시한 도면.
도 6은 본 발명의 일 실시예에 따른 계층적 베이지안 확률 네트워크 모델의 추상 레벨을 도시한 도면.
도 7은 본 발명의 일 실시예에 따른 특정 상태에서의 계층적 베이지안 네트워크 구성을 도시한 도면.
도 8은 본 발명의 일 실시예에 따른 뇌파를 이용하여 차량을 제어하는 방법을 나타낸 순서도.
도 9 내지 11은 다양한 위험 상황에서의 뇌파 활성화 상태를 도시한 도면.
본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다.
본 발명은 뇌파를 이용하여 차량과 같은 운전자의 조작에 의해 주행되는 대상물(주행체)을 제어하기 위한 기술에 관한 것이다. 뇌파(EEG: Electroenceplography)는 뇌에서 발생한 신호를 전극으로 측정한 신호를 의미한다.
뇌파는 일반적으로 유발적 뇌파(유발전위)와 자발적 뇌파(자발전위)로 구분된다. 유발적 뇌파는 위험 상황에 따른 외부 자극(예를 들어, 위험 상황에 따른 브레이크 등 점멸, 차량의 움직임)에 의해 운전자의 비자발적 의도에 의해 발현되는 뇌파를 의미한다.
반면, 자발적 뇌파는 운전자가 자발적으로 차량의 페달을 밟거나 스티어링 휠을 회전하는 것과 같은 동작을 취하는 경우 발생하는 뇌파를 의미한다.
이러한 뇌파의 주파수에 따른 대역별 특성, 시간 영역에서의 특성 등은 사람의 어떤 뇌가 기능을 하고 있는지에 따라 변화하게 되며, 주파수와 전압의 범위에 따라 델타, 쎄타, 알파, 베타, 감마파 등으로 나눠진다.
뇌파의 각 주파수별 특징은 아래와 같다.
델타(δ)파는 0.1~3Hz의 주파수와 20~200μV의 진폭을 보이며, 정상인의 깊은 수면 상태나 신생아들로부터 주로 나타난다.
쎄타(θ)파는 4~7Hz의 주파수와 20~100μV의 진폭을 보이며, 정서적으로 안정된 상태나 수면상태에서 나타난다.
알파(α)파는 8~12Hz의 주파수와 20~60μV의 진폭을 보이며, 긴장이 이완된 편안한 상태에서 나타나며 안정된 상태일수록 진폭이 증가한다.
베타(β)파는 12~30Hz의 주파수와 2~20μV의 진폭을 보이며, 깨어 있거나 의식적인 활동을 할 때 나타난다.
감마(γ)파는 30~50Hz의 주파수와 2~20μV의 진폭을 보이며, 강한 흥분 상태에서 나타난다.
이 밖에도 사람의 움직임을 관장하는 뇌의 영역(Sensorymotor cortex)에서 발생하는 12~15Hz 주파수 영역의 SMR(Sensorymotor Rhythm)파가 있다.
이하, 뇌파를 이용하여 주행체를 제어하기 위한 방법에 대해 구체적으로 기술하기로 한다. 이하에서는 주행체가 차량인 것을 중심으로 설명할 것이나, 이에 한정됨이 없이 주행체는 운전자의 조작에 의해 제어될 수 있는 전동휠체어 및 그밖에 대상물을 모두 포함할 수 있다.

도 1은 본 발명의 일 실시예에 따른 뇌파를 이용한 차량 제어를 설명하기 위해 도시한 도면이고, 도 2는 본 발명의 일 실시예에 따른 10 ~20 전극 배치 방법을 설명하기 위해 도시한 도면이다.
도 1에 도시된 바와 같이, 운전 시뮬레이션 상황에서 운전자의 뇌파를 정확하게 측정하기 위해 복수의 전극이 지정된 방법에 따라 배치되어 운전자의 신체 일 영역(예를 들어, 두피)에 배치된다. 복수의 전극은 10~20 전극 배치 방법에 따라 운전자의 신체 일 영역에 배치 부착된다. 예를 들어, 복수의 전극은 10 ~20 전극 배치 방법에 따른 Cz, C3, C4, P9, P10, T7, T8 위치에 운전자의 신체 일 영역에 배치/부착될 수 있다(도 2 참조).
이와 같이, 운전자의 신체 일 영역에 복수의 전극을 배치하여 부착시킨 상태에서, 차량 제어 장치는 운전자에게 실제 운전 상태와 동일한 운전 시뮬레이션 환경을 제공하여 운전자의 유발적인 뇌파(즉, 유발전위)와 자발적인 뇌파(자발전위)를 측정/고려하여 운전 상황을 다양하게 모델링함으로써 차량을 제어할 수 있다. 여기서, 운전 시뮬레이션 환경은 운전 상황에 따른 시각 자극, 청각 자극 및 진동 자극 중 적어도 하나의 자극을 포함하여 운전자에게 제공될 수 있다.

도 3은 본 발명의 일 실시예에 따른 뇌파를 위한 차량 제어 장치의 구성을 개략적으로 나타낸 블록도이고, 도 4 및 도 5는 본 발명의 일 실시예에 따른 발동작과 관련된 뇌파 영역을 예시한 도면이며, 도 6은 본 발명의 일 실시예에 따른 계층적 베이지안(Bayesian) 확률 네트워크 모델의 추상 레벨을 도시한 도면이고, 도 7은 본 발명의 일 실시예에 따른 특정 상태에서의 계층적 베이지안 네트워크 구성을 도시한 도면이다.
도 3을 참조하면, 본 발명의 일 실시예에 따른 차량 제어 장치(300)는, 운전 시뮬레이션부(310), 뇌파 측정부(315), 의도 및 상황 판별부(320), 차량 제어부(325), 성능 평가부(330) 및 갱신부(335)를 포함하여 구성된다.
운전 시뮬레이션부(310)는 도 1에서 설명한 바와 같이, 복수의 전극을 신체 일 영역에 배치/부착한 운전자에게 실제 차량 운전과 유사한 운전 상황에 대한 시뮬레이션 환경을 제공하기 위한 수단이다. 이때, 운전 시뮬레이션부(310)는 운전자가 차량을 실제 운전하는 것과 유사한 환경을 제공하기 위해, 시각 자극, 청각 자극 및 진동 자극 중 적어도 하나를 포함하도록 운전 시뮬레이션 환경을 제공할 수 있다.
예를 들어, 운전 시뮬레이션부(310)는 노면의 마찰력, 차량의 감속과 가속을 할 때 생기는 관성력, 회전을 할 때 생기는 원심력을 위해 운전자의 좌석 및 스티어링 휠의 진동과 움직임을 제어하여 운전 상황을 시뮬레이션할 수 있다. 또한, 운전자에게 시각 자극을 제공하기 위해 운전 시뮬레이션부(310)는 앞 차량의 브레이크브 밟을 때 발생하는 차량의 움직임과 후미등 상태, 갑작스런 다른 차량의 끼어들기, 보행자의 출현, 맞은편 차선 차량의 중앙성 침범 등과 같은 다양한 위험 상황을 포함하여 운전 상황을 시뮬레이션할 수 있다.
또한, 운전 시뮬레이션부(310)는 도로 상의 신호등 점멸 상태 변경 및 일반적인 도시의 환경을 모두 포함하여 실제 운전 환경과 유사하게 운전 상황을 시뮬레이션할 수 있다.
뇌파 측정부(315)는 운전 시뮬레이션부(310)를 통해 운전자에게 제공되는 운전 상황에 따른 뇌파를 측정하기 위한 수단이다. 예를 들어, 뇌파 측정부(315)는 운전자의 신체 일 영역(예를 들어, 두피)에 배치/부착된 복수의 전극을 통해 뇌파를 측정할 수 있다. 이때, 뇌파 측정은 비침습적 방식으로 측정되며, N(4 이상 자연수)개 채널을 통해 측정하는 것이 바람직하다.
뇌파 측정부(315)를 통해 측정된 뇌파(EEG, Electroenceplography)는 다양한 잡음(noise)를 포함한다. 측정된 뇌파에 포함된 잡음은 근전도(EMG), 눈의 깜빡임, 안구의 움직임(EOG, 이하 안전도라 칭하기로 함) 성분이다. 이러한 잡음은 일반적으로 뇌전도 신호와 비교하여 수배에 달하므로, 효과적으로 차량을 제어하도록 하기 위해 반드시 제거되어야 한다.
잡음을 제거하는 방법으로는 근전도(EMG), 안전도(EOG) 신호의 시간 주파수 성분을 파악하여 선형 분리하는 방법이나 독립 성분 분석 방법(independent component analysis)을 이용하여 제거할 수 있다. 이와 같은 시간 주파수 성분 분석을 통한 선형 분리 방법, 독립 성분 분석 방법은 당업자에게는 자명한 사항이므로 이를 이용하여 잡음을 제거하는 방법에 대해서는 별도의 설명을 생략하기로 한다.
도 3에서는 뇌파 측정부(315)가 뇌파의 잡음 제거를 위한 신호 처리 기능을 포함하는 것을 가정하여 이를 중심으로 설명하나, 구현 방법에 따라 뇌파 측정부(315)를 통해 측정된 뇌파의 잡음을 제거하기 위한 신호 처리 수단이 별도의 구성으로 포함될 수도 있다. 이와 같은 경우, 뇌파 측정부(315)는 측정된 뇌파를 신호 처리 수단으로 출력하고, 신호 처리 수단에서 뇌파에 포함된 잡음을 미리 정해진 알고리즘을 통해 제거하도록 구현할 수도 있다.
판별부(320)는 뇌파 측정부(315)를 통해 측정된 뇌파를 시간 공간 주파수 영역으로 변환하여 분석함으로써 유발적인 뇌파와 자발적인 뇌파를 동시에 검출하고, 이를 이용하여 운전 상황에 따른 운전자 의도를 판별하기 위한 수단이다.
예를 들어, 운전자의 브레이크 제동과 같은 차량에 대한 제동 의도는 시간 영역에서 유발적인 자극에 의해 발현되는 P300(positive 300ms) 성분과 자발적 또는 유발적인 의도에 의해 발현되는 준비전위(RP: Readiness Potential) 를 동시에 관찰함으로써 판별할 수 있다. 여기서, P300 성분은 유발적인 자극 발현 300ms 이후에 관찰되는 양의 값을 가지는 뇌파 성분을 나타내고, RP는 사람이 실제 동작하기 600ms 이전에 관찰되는 뇌파 성분을 나타낸다. RP는 주로 자발적 의도에 의해 발현되나, 이에 한정됨이 없이 유발적으로 발현되며, 예를 들어, 갑작스럽게 앞차가 정지하여 브레이크를 밝는 경우에도 발현된다. 물론 운전자 본인의 의지로 브레이크를 밟는 경우는 자발적인 의도에 의해 발현되는 것으로 볼 수 있다.
유발적인 의도에 의해 발현되는 RP는 약 250ms 이전에서 관찰된다.
예를 들어, 도 4 및 도 5는 발동작과 관련된 뇌파 영역을 출력한 것으로, 위에서부터 차례대로 FCz, Cz, CPz 영역을 나타낸 것이다. 도 4 및 도 5에서 알 수 있듯이, 준비 전위(RP: Readiness Potential)는 어떠한 시각적인 자극에 의해 유발적으로 발동작을 통한 브레이크를 밟는 것과 자발적으로 브레이크를 밟을 때 준비전위(RP) 발현 이후 뇌파의 양상이 다르게 나타나는 것을 알 수 있다.
즉, 응급 상황이 발생하여 브레이크를 밟는 경우, 준비전위(RP)는 보통의 브레이크를 밟는 상황에 비해 훨씬 가파르게 음의 전압으로 상승하는 것을 확인할 수 있다. 준비전위(RP)는 음의 영역의 전압 값을 가지는데 0uV 기점이 준비전위(RP) 시작 지점일 수 있다. 또한, 응급 상황이 발생하여 브레이크를 밟는 경우의 준비전위(RP)의 시작 기점이 보통의 브레이크를 밟는 상황에 비해 약 150ms 늦게 발현되는 특징이 있다.
이와 같은 특성들에 기반하여 판별부(320)는 유발적인 뇌파의 P300영역과 준비전위(RP) 영역을 각각 특징 벡터로 설정하고, 공간 시간적인 특징들을 고려하여 시간 임계값과 기울기 임계값을 이용하여 운전 상황을 판별할 수 있다. 여기서, 운전 상황은 예를 들어, 응급 상황, 일반적인 제동 상황 및 평상 운전 상황 중 하나 이상을 포함할 수 있다. 또한, 평상 운전 상황은 좌회전 상황, 직진 상황 및 우회전 상황 중 하나 이상을 포함할 수 있다.
이에 따라, 운전자의 차량 제동 의도는 시간 영역 분석을 통해 유발적 뇌파 및 자발적 뇌파의 특징 벡터를 동시에 검출 관찰하여 판별할 수 있다.
이와 같이, 측정된 뇌파에 대한 시간 영역 분석을 통해 유발적인 뇌파와 자발적인 뇌파를 동시에 검출하기 위해 약 1500ms 정도의 이동 창(window)을 만들고, 이동 창(window)을 실시간으로 각 구간안에서 채널마다 파워(power)의 분산, 표준편차, 상관계수 등을) 특징 벡터로 설정 추출하여 시간 영역에서 자발적인 뇌파 및 유발적인 뇌파를 동시에 검출할 수 있다.
다른 예를 들어, 운전자의 가속 및 조향 제어 의도는 공간, 주파수 영역에서 운전자의 동작 상상 판별을 통해 알 수 있다. 이를 위해, 판별부(320)는 주파수 성분을 대역 통과 필터를 이용하여 SMR 영역을 추출, 이를 분석하여 동작 상상을 판별할 수 있다. 여기서, 동작 상상은 왼손, 오른손 및 혀 동작 상상 중 어느 하나일 수 있다.
판별부(320)는 특정 시간에서 운전자의 의도를 정확하게 파악하기 위해, 시간, 공간, 주파수 영역을 동시에 분석하기 위해 토포그래프 맵이나, 시간 주파수 파워 스펙트럼을 이용하여 설정된 특징 벡터들을 추출할 수 있다.
도 9 내지 11은 다양한 위험 상황에서의 뇌파 활성화 상태를 도시한 도면이다.
도 9 내지 도 11을 통해 3가지의 위험상황에 따른 시간, 공간(채널) 영역에서의 뇌파 활성화를 확인 할 수 있다. 300ms이후에 제일 붉게 나타나는 부분은 P300을 의미하고 그 이후 푸르게 나타나는 부분은 RP 를 의미한다.
또한 이 유발적 뇌신호의 통계적 검증을 위해 AUC 점수를 통한 맵을 살펴보면, 점수가 높을수록 신뢰성이 높은 뇌파를 의미하고 여기서 또한 P300을 확인할 수 있다.
또한, 동작 상상을 통해 운전자의 동작 의도를 판별하기 위해, 판별부(320)는 시간 영역에서 운전자의 어떤 동작으로 인해 뇌파가 억제되는 현상을 의미하는 ERD(Event Related Desynchronization)와 반대로 운전자의 동작에 의해 뇌파의 진폭이 증가하는 ERS(Event Related Synchronization)의 상반된 특징을 특징 벡터로 사용할 수 있다.
또한, 판별부(320)는 전술한 시간, 공간, 주파수 영역의 특징 벡터들을 운전자의 가속, 감속, 조향(좌, 우) 의도와 같은 다중 클래스를 동시에 판별하기 위해 다중 특징 정보를 동시에 표현 가능한(특징 벡터들 사이의 상관관계를 반영하여) 계층적 베이지안 확률 네트워크 모델에 적용하여 운전자의 차량 제어 의도를 판별할 수 있다(도 6 참조).
도 7는 도 6의 계층적 베이지안 확률 네트워크 모델에 따른 계층 구조에서 특정 상태를 모델링한 것으로, 전술한 유발전위(P300)과 자발전위(RP)와 같은 특징 벡터들 간의 상관관계를 추정하는 것을 예시하고 있다.
또한, 판별부(320)는 실시간으로 다양한 채널과 높은 샘플링 주파수로 인한 뇌파의 높은 차원의 문제를 해결하기 위해 주성분 분석과 같은 차원 축소 알고리즘을 뇌파에 적용한 후 뇌파를 분석할 수 있다. 또한, 판별부(320)는 뇌파의 근본적인 차이와 변화가 큰 것을 극복하기 위해 CSP(Common Spatial Pattern)와 SSA(Stationary Subspace Analysis)와 같은 필터 알고리즘을 뇌파 분석 이전에 뇌파에 적용할 수도 있다.
이해와 설명의 편의를 도모하기 위해 판별부(320)가 뇌파의 시간, 공간, 주파수 영역에서 설정된 특징 벡터들을 추출하는 방법에 대해 간략하게 설명하기로 하자.
예를 들어, 판별부(320)는 Point-biserial correlation coefficient 사용하여 특징 벡터 추출할 수 있다.
예를 들어, 특징 벡터는 하기 수 1을 이용하여 추출할 수 있다.
Figure PCTKR2013011569-appb-M000001
여기서, M1은 Class1의 평균을 나타내고, M0는 Class2의 평균을 나타내며, N1은 Class1의 데이터 개수를 나타내고, N0는 Class2의 데이터 개수를 나타낸다. 또한, N은 전체 데이터 개수를 나타내고, Sn은 표준편차를 나타낸다.
Figure PCTKR2013011569-appb-I000001
Figure PCTKR2013011569-appb-I000002
값이 큰 순서대로 상위 10개 데이터 구간(in)을 선택하여 각 구간에 해당하는 데이터들의 평균을 구해 1번 시도마다 10개의 특징점으로 특징 벡터를 구성할 수 있다.
또한, 판별부(320)는 특징 벡터들을 이용하여 운전 상황을 구분하기 위해, RLDA(regularized linear discriminant analysis)를 이용하여 운전 상황을 분류할 수 있다.
예를 들어, RLDA를 이용한 분류는 수 2와 같다.
Figure PCTKR2013011569-appb-M000002
Figure PCTKR2013011569-appb-I000003
이고, 여기서, X는 특징벡터를 나타내고, b는 결정 경계를 나타낸다. 또한,
Figure PCTKR2013011569-appb-I000004
,
Figure PCTKR2013011569-appb-I000005
의 Class의 특징 값 평균을 나타내며,
Figure PCTKR2013011569-appb-I000006
는 공통 특징 공분산 행렬을 나타낸다.
수 2에 대해 하기 수 3과 같은 출력 값을 얻기 위해, W와 B를 수 3과 같이 설정할 수 있다.
Figure PCTKR2013011569-appb-M000003
Figure PCTKR2013011569-appb-M000004
판별부(320)는 이와 같은 RLDA를 이용하여 특정 동작 상상에 따른 운전 상황과 RP와 P300을 이용하여 구성한 특징 벡터를 이용하여 운전자의 정확한 의도를 분류할 수 있다.
차량 제어부(325)는 판별부(320)를 통해 판별된 운전 상황에 따른 운전자 제어 의도에 따라 차량을 제어하기 위한 제어 신호를 생성하기 위한 수단이다. 도 3에서는 차량 제어부(325)가 차량의 전자 제어 장치(ECU)와 유무선 형태로 연결되거나, 전자 제어 장치인 것을 가정하기로 한다.
예를 들어, 뇌파 성분의 클래스가 왼손, 오른손 동작 상상과 관련된 것이라면, 의도 및 상황 판별부(320)는 운전자가 좌회전 또는 우회전 하려는 의도로 판별할 수 있다. 이에 따라, 차량 제어부(325)는 정해진 감도에 따라 좌회전 또는 우회전하도록 차량 제어를 위한 제어 신호를 생성할 수 있다.
이와 같이, 차량 제어부(325)는 의도 및 상황 판별부(320)에 의해 판별된 운전 상황에 따른 운전자 의도에 따라 차량을 제어하기 위한 제어 신호를 생성할 수 있다. 여기서, 차량의 제어는 실시간 제동, 가속, 조향장치 제어 등과 같은 차량의 주행과 관련된 전반적인 제어를 모두 포함할 수 있다.
성능 평가부(330)는 차량 제어부(325)의 차량 제어에 따른 결과를 평가하기 위한 수단이다. 예를 들어, 성능 평가부(330)는 운전자의 뇌파를 이용하여 운전자의 의도에 맞도록 차량을 제어한 것뿐만 아니라 틀리게 차량을 제어한 것까지도 모두 고려하여 성능 판별을 할 수 있는 AUC(Area Under the Curve) 점수를 이용하여 판별 성능을 평가할 수 있다.
AUC 점수는 하기 수 5를 이용하여 도출될 수 있다.
Figure PCTKR2013011569-appb-M000005
여기서
Figure PCTKR2013011569-appb-I000007
,
Figure PCTKR2013011569-appb-I000008
이며, n1은 샘플1의 개수이고, R1은 샘플1의 랭크(rank) 합이고, n2은 샘플2의 개수이고, R2은 샘플2의 랭크(rank) 합을 나타낸다.
이에 따라, 성능 평가부(330)는 하기 수 6을 이용하여 성능을 판별할 수 있다.
Figure PCTKR2013011569-appb-M000006
여기서, c는 클래스 개수를 나타낸다.
갱신부(335)는 교차 상관 분석(Cross validation)을 통해 이전 및 현재의 판별부(320)를 통한 운전 상황에 따른 운전자 제어 의도 판별에 따른 상관관계를 고려하여 다음 판별 과정에 반영하기 위한 수단이다.
예를 들어, 갱신부(335)는 성능 평가부(330)의 성능 평가 결과를 이용하여 판별부(320)의 운전 상황 분류를 위한 RLDA의 변수를 갱신함으로써 판별부(320)의 성능을 최적화시킬 수 있다.
상기한 바와 같이, 성능 평가까지 완료된 이후, 각 운전자의 의도를 정확히 반영할 수 있으며, 실제 운전 상황에서 뇌파 측정부(315)는 운전 상황에 따른 운전자 뇌파를 측정하고, 판별부(320)는 측정된 뇌파를 분석하여 유발적 뇌파와 자발적 뇌파를 검출하고 이를 통해 운전자의 의도를 판별하며, 제어부(325)가 운전자의 의도대로차량을 제어하게 된다.

도 8은 본 발명의 일 실시예에 따른 뇌파를 이용하여 차량을 제어하는 방법을 나타낸 순서도이다.
단계 810에서 차량 제어 장치(300)는 두피에 복수의 전극을 부착한 운전자에게 실제 운전 상황과 동일 또는 유사한 운전 상황에 대한 시뮬레이션 환경을 제공한다. 여기서, 운전 상황 시뮬레이션 환경은 시각, 청각 및 진동 자극 중 적어도 하나를 포함하여 제공할 수 있다. 차량 제어 장치(300)는 운전 상황에 대한 시뮬레이션 환경을 지속적으로 제공할 수 있다.
단계 815에서 차량 제어 장치(300)는 제공된 시뮬레이션 환경에 따른 운전자의 뇌파를 측정한다. 여기서, 뇌파는 복수의 채널을 통해 측정될 수 있다.
단계 820에서 차량 제어 장치(300)는 측정된 뇌파를 시간, 공간 및 주파수 영역으로 분석하여 유발적 뇌파와 자발적 뇌파를 검출하고, 유발적 뇌파 및 자발적 뇌파를 이용하여 운전 상황에 따른 운전자 의도를 판별한다.
차량 제어 장치(300)가 뇌파를 시간, 공간 및 주파수 영역을 기반으로 각 특징 벡터들을 검출하고, 특징 벡터들간의 상관관계를 반영하여 계층적 베이지안 확률 네트워크 모델에 적용함으로써 운전 상황에 따른 운전자의 차량 제어 의도를 판별할 수 있다.
시간, 공간, 주파수 영역에서 특징 벡터들을 구성/검출하는 방법, 운전 상황에 따른 운전자 의도를 판별하는 방법에 대해서는 도 3을 이용하여 설명한 바와 동일하므로 중복되는 설명은 생략하기로 한다.
단계 825에서 차량 제어 장치(300)는 판별된 운전 상황에 따른 운전자 의도에 따라 차량 제어를 위한 제어 신호를 생성하고, 제어 신호에 따라 차량을 제어하거나 차량을 제어할 수 있는 전자 제어 장치(ECU)로 출력한다.
단계 830에서 차량 제어 장치(300)는 판별된 운전 상황에 따른 운전자 의도에 대한 판별 성능을 평가한다.
단계 835에서 차량 제어 장치(300)는 판별 성능 평가 결과를 운전 상황에 따른 운전자 의도 판별에 반영하여 최적화시킨다.

한편, 본 발명의 실시예에 따른 뇌파를 이용한 차량을 제어하는 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조등을 단독으로 또는 조합하여 포함할 수 있다.
저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
자동차 산업, HCI 기반 산업 등에 이용될 수 있다.

Claims (16)

  1. 운전 상황에 따른 시각자극, 청각 자극 및 진동 자극 중 적어도 하나의 자극을 운전자에게 제공하도록 시뮬레이션 환경을 제공하는 운전 시뮬레이션부;
    상기 시뮬레이션 환경에 따른 운전자 뇌파를 측정하는 뇌파 측정부;
    상기 측정된 뇌파를 분석하여 유발적 뇌파와 자발적 뇌파를 검출하고, 상기 유발적 뇌파 및 자발적 뇌파를 이용하여 운전 상황에 따른 운전자 의도를 판별하는 판별부; 및
    상기 판별된 운전 상황에 따른 운전자 의도를 반영하여 주행체를 제어하는 제어부를 포함하는 뇌파를 이용한 주행체 제어 장치.

  2. 제1항에 있어서,
    상기 판별부의 판별 성능을 평가하는 성능 평가부를 더 포함하는 뇌파를 이용한 주행체 제어 장치.

  3. 제2항에 있어서,
    상기 평가에 따른 결과를 상기 판별부의 운전 상황에 따른 운전자 의도 판별에 반영하는 갱신부를 더 포함하는 뇌파를 이용한 주행체 제어 장치.

  4. 제1항에 있어서,
    상기 판별부는,
    상기 유발적 뇌파의 P300 성분과 상기 유발적 뇌파 및 자발적 뇌파 중 적어도 하나의 준비전위(RP, Readiness Potential)를 특징 벡터로 설정하는 것을 특징으로 하는 뇌파를 이용한 주행체 제어 장치.

  5. 제4항에 있어서,
    상기 판별부는,
    상기 P300 성분과 상기 준비 전위를 이용하여 운전자의 의도를 판별하는 것을 특징으로 하는 뇌파를 이용한 주행체 제어 장치.

  6. 제1항에 있어서,
    상기 판별부는,
    상기 뇌파의 SMR(Sensorymotor Rhythm) 영역을 대역 통과 필터를 통해 검출하고,
    상기 검출된 SMR 영역 분석을 통해 동작 상상을 판별하고, 판별된 동작 상상에 따른 운전 상황 분류에 따라 운전자의 제어, 가속, 감속 및 조향 의도 중 적어도 하나를 판별하는 것을 특징으로 하는 뇌파를 이용한 주행체 제어 장치.

  7. 제6항에 있어서,
    상기 동작 상상은 왼손, 오른손 및 혀 동작 상상 중 적어도 하나인 것을 특징으로 하는 뇌파를 이용한 주행체 제어 장치.

  8. 제6항에 있어서,
    상기 동작 상상에 따른 운전 상황 분류는 RLDA(regularized linear discriminant analysis) 및 상기 RP 및 상기 P300를 이용하여 구성한 특징 벡터를 이용하는 것을 특징으로 하는 뇌파를 이용한 주행체 제어 장치.

  9. 제1항에 있어서,
    상기 판별부는 상기 유발적 뇌파와 상기 자발적 뇌파를 동시에 검출하기 위해 뇌파를 시간, 공간 주파수 영역 기반의 특징 벡터들 사이에 상관 관계를 반영하여 계층적 베이지안 확률 네트워크 모델에 적용하여 주행체 제어를 위한 운전자 의도를 판별하는 것을 특징으로 하는 뇌파를 이용한 주행체 제어 장치.

  10. 제9항에 있어서,
    상기 주행체 제어는 제동, 가속, 감속 및 조향 중 적어도 하나에 대한 제어인 것을 특징으로 하는 뇌파를 이용한 주행체 제어 장치.

  11. 제1항에 있어서,
    상기 뇌파 측정부는,
    운전자가 두피에 착용한 복수의 전극을 통해 뇌파를 측정하되,
    상기 복수의 전극은 10 ~ 20 전극 배치 방법에 따라 Cz, C3, C4, P9, P10, T7, T8에 배치되는 것을 특징으로 하는 뇌파를 이용한 주행체 제어 장치.

  12. 운전 상황에 따른 운전자 뇌파를 측정하는 뇌파 측정부;
    상기 측정된 뇌파를 분석하여 유발적 뇌파와 자발적 뇌파를 검출하고, 상기 유발적 뇌파 및 자발적 뇌파를 이용하여 운전 상황에 따른 운전자 의도를 판별하는 판별부; 및
    상기 판별된 운전 상황에 따른 운전자 의도를 반영하여 주행체를 제어하는 제어부를 포함하는 뇌파를 이용한 주행체 제어 장치.

  13. 제12항에 있어서,
    상기 판별부는,
    상기 유발적 뇌파의 P300 성분과 상기 자발적 뇌파의 준비전위(RP, Readiness Potential)를 특징 벡터로 설정하는 상기 운전자 의도를 판별하는 주행체 제어 장치.

  14. 운전 상황에 따른 시각자극, 청각 자극 및 진동 자극 중 적어도 하나의 자극을 운전자에게 제공하도록 시뮬레이션 환경을 제공하는 단계;
    상기 시뮬레이션 환경에 따른 운전자 뇌파를 측정하는 단계;
    상기 측정된 뇌파를 분석하여 유발적 뇌파와 자발적 뇌파를 검출하고, 상기 유발적 뇌파 및 자발적 뇌파를 이용하여 운전 상황에 따른 운전자 의도를 판별하는 단계; 및
    상기 판별된 운전 상황에 따른 운전자 의도를 반영하여 주행체를 제어하는 단계를 포함하는 뇌파를 이용한 차량 제어 방법.

  15. 제14항에 있어서,
    상기 운전 상황에 따른 운전자 의도를 판별하는 단계는,
    상기 유발적 뇌파의 P300 성분과 상기 유발적 뇌파 및 자발적 뇌파 중 적어도 하나의 준비전위(RP)를 특징 벡터로 설정하여 검출하고, 상기 P300 성분과 상기 준비전위를 이용하여 운전자의 의도를 판별하는 것을 특징으로 하는 뇌파를 이용한 주행체 제어 방법.

  16. 제14항에 따른 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체.

PCT/KR2013/011569 2012-12-14 2013-12-13 뇌파를 이용한 주행체 제어 방법 및 장치 Ceased WO2014092494A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020120146516A KR101446845B1 (ko) 2012-12-14 2012-12-14 뇌파를 이용한 주행체 제어 방법, 장치 및 그 방법을 수행하기 위한 프로그램을 기록한 기록매체
KR10-2012-0146516 2012-12-14

Publications (1)

Publication Number Publication Date
WO2014092494A1 true WO2014092494A1 (ko) 2014-06-19

Family

ID=50934684

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/011569 Ceased WO2014092494A1 (ko) 2012-12-14 2013-12-13 뇌파를 이용한 주행체 제어 방법 및 장치

Country Status (2)

Country Link
KR (1) KR101446845B1 (ko)
WO (1) WO2014092494A1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018035327A1 (en) * 2016-08-17 2018-02-22 Teledyne Scientific & Imaging, Llc System and method for noninvasive identification of cognitive and behavioral goals
JP2018038750A (ja) * 2016-09-09 2018-03-15 日産自動車株式会社 運転者状態推定方法及び運転者状態推定装置
WO2019025016A1 (en) * 2017-08-04 2019-02-07 Toyota Motor Europe METHOD AND SYSTEM FOR DETERMINING USER INTENTION OF A VEHICLE TO BRAKE OR ACCELERATE
US20190161091A1 (en) * 2017-11-28 2019-05-30 Hyundai Motor Company Vehicle and method for supporting driving safety thereof
CN112109718A (zh) * 2020-06-17 2020-12-22 上汽通用五菱汽车股份有限公司 车辆控制方法、装置及计算机可读存储介质
CN112356841A (zh) * 2020-11-26 2021-02-12 中国人民解放军国防科技大学 一种基于脑机交互的车辆控制方法及装置
US20210093241A1 (en) * 2017-08-03 2021-04-01 Toyota Motor Europe Method and system for determining a driving intention of a user in a vehicle using eeg signals
CN113276867A (zh) * 2021-06-15 2021-08-20 王晓铭 一种自动驾驶情景下的脑电波紧急控制系统及方法
DE102022101023B3 (de) 2022-01-18 2023-02-02 Audi Aktiengesellschaft Verfahren und System zum Betreiben von zumindest einer Fahrzeugkomponente eines Fahrzeugs
US20240199033A1 (en) * 2022-12-19 2024-06-20 Hyundai Mobis Co., Ltd. Driver assistance system and method using electroencephalogram
CN118526041A (zh) * 2024-05-30 2024-08-23 奇瑞汽车股份有限公司 驾驶意图指示的方法和头盔

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101632830B1 (ko) * 2015-02-24 2016-06-22 울산과학대학교 산학협력단 자동차 주행 제어 장치
KR102361005B1 (ko) * 2018-11-15 2022-02-10 고려대학교 산학협력단 상관관계와 필터 뱅크 csp 특징의 피셔 비율을 이용한 bci를 위한 최적 전극 선택 장치 및 방법
KR102396163B1 (ko) 2020-07-06 2022-05-12 한국과학기술연구원 이동체 및 사람 간의 협력에 기반하여 이동체를 제어하는 방법 및 그에 따른 이동체의 제어 장치
KR102927222B1 (ko) * 2021-11-22 2026-02-13 한국과학기술연구원 뇌-컴퓨터 인터페이스 기반의 목표 사물 제어를 위한 실시간 피드백 시스템 및 방법
KR102712314B1 (ko) * 2021-12-17 2024-10-04 재단법인대구경북과학기술원 뇌파 기반의 맞춤형 주행 제어 장치 및 그 방법
KR102861163B1 (ko) * 2023-01-27 2025-09-17 국방과학연구소 다양한 직관적 뇌-컴퓨터 인터페이스 패러다임 기반 군집 드론 제어 시스템 및 그 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001048037A (ja) * 1999-08-09 2001-02-20 Yoshitaka Hirano 脳波で起動される自動操舵装置
JP3993882B2 (ja) * 2004-07-02 2007-10-17 松下電器産業株式会社 生体信号利用機器およびその制御方法
KR20120068625A (ko) * 2010-12-17 2012-06-27 대구대학교 산학협력단 뇌파센서를 이용한 장애인용 드라이빙 시뮬레이터의 가감속 시스템 및 뇌파센서를 이용한 장애인용 차량의 가감속그 제어방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001048037A (ja) * 1999-08-09 2001-02-20 Yoshitaka Hirano 脳波で起動される自動操舵装置
JP3993882B2 (ja) * 2004-07-02 2007-10-17 松下電器産業株式会社 生体信号利用機器およびその制御方法
KR20120068625A (ko) * 2010-12-17 2012-06-27 대구대학교 산학협력단 뇌파센서를 이용한 장애인용 드라이빙 시뮬레이터의 가감속 시스템 및 뇌파센서를 이용한 장애인용 차량의 가감속그 제어방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
KIM, YONG-HOON ET AL.: "EEG-based Motor Imaginary and P300 Analysis for Robot Control", PROCEEDINGS OF KIIS FALL CONFERENCE 2012, vol. 22, no. 2, November 2012 (2012-11-01), pages 15 - 16 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10945864B2 (en) 2016-08-17 2021-03-16 Teledyne Scientific & Imaging, Llc System and method for noninvasive identification of cognitive and behavioral goals
US11672676B2 (en) 2016-08-17 2023-06-13 Teledyne Scientific & Imaging, Llc System and method for noninvasive identification of cognitive and behavioral goals
WO2018035327A1 (en) * 2016-08-17 2018-02-22 Teledyne Scientific & Imaging, Llc System and method for noninvasive identification of cognitive and behavioral goals
JP2018038750A (ja) * 2016-09-09 2018-03-15 日産自動車株式会社 運転者状態推定方法及び運転者状態推定装置
US20210093241A1 (en) * 2017-08-03 2021-04-01 Toyota Motor Europe Method and system for determining a driving intention of a user in a vehicle using eeg signals
US12064246B2 (en) * 2017-08-03 2024-08-20 Toyota Motor Europe Method and system for determining a driving intention of a user in a vehicle using EEG signals
US11612343B2 (en) 2017-08-04 2023-03-28 Toyota Motor Europe Method and system for determining the intention of a user of a vehicle to brake or accelerate
WO2019025016A1 (en) * 2017-08-04 2019-02-07 Toyota Motor Europe METHOD AND SYSTEM FOR DETERMINING USER INTENTION OF A VEHICLE TO BRAKE OR ACCELERATE
US10864918B2 (en) * 2017-11-28 2020-12-15 Hyundai Motor Company Vehicle and method for supporting driving safety thereof
US20190161091A1 (en) * 2017-11-28 2019-05-30 Hyundai Motor Company Vehicle and method for supporting driving safety thereof
CN112109718A (zh) * 2020-06-17 2020-12-22 上汽通用五菱汽车股份有限公司 车辆控制方法、装置及计算机可读存储介质
CN112356841A (zh) * 2020-11-26 2021-02-12 中国人民解放军国防科技大学 一种基于脑机交互的车辆控制方法及装置
CN113276867A (zh) * 2021-06-15 2021-08-20 王晓铭 一种自动驾驶情景下的脑电波紧急控制系统及方法
DE102022101023B3 (de) 2022-01-18 2023-02-02 Audi Aktiengesellschaft Verfahren und System zum Betreiben von zumindest einer Fahrzeugkomponente eines Fahrzeugs
US20240199033A1 (en) * 2022-12-19 2024-06-20 Hyundai Mobis Co., Ltd. Driver assistance system and method using electroencephalogram
CN118526041A (zh) * 2024-05-30 2024-08-23 奇瑞汽车股份有限公司 驾驶意图指示的方法和头盔

Also Published As

Publication number Publication date
KR20140077566A (ko) 2014-06-24
KR101446845B1 (ko) 2014-10-08

Similar Documents

Publication Publication Date Title
WO2014092494A1 (ko) 뇌파를 이용한 주행체 제어 방법 및 장치
Lin et al. EEG-based assessment of driver cognitive responses in a dynamic virtual-reality driving environment
Němcová et al. Multimodal features for detection of driver stress and fatigue
Teng et al. EEG-based detection of driver emergency braking intention for brain-controlled vehicles
KR102631160B1 (ko) 차량 탑승자 상태 감지방법 및 차량 탑승자 상태 감지장치
Haufe et al. EEG potentials predict upcoming emergency brakings during simulated driving
Wan et al. On‐road experimental study on driving anger identification model based on physiological features by ROC curve analysis
KR20170018696A (ko) 감성 인식 차량 제어 장치, 시스템 및 방법
Gheorghe et al. Steering timing prediction in a driving simulator task
Liang et al. EEG-based emergency braking intention detection during simulated driving
Guo et al. Recognizing hazard perception in a visual blind area based on EEG features
CN112784397A (zh) 利用错误监控生成驾驶员熟练用的驾驶模型的装置和方法
Gwak et al. Effects of visual factors during automated driving of mobility scooters on user comfort: An exploratory simulator study
Lee et al. Development of three driver state detection models from driving information using vehicle simulator; normal, drowsy and drunk driving
Lin et al. Nonparametric single-trial EEG feature extraction and classification of driver's cognitive responses
Kim et al. Detection of braking intention during simulated driving based on EEG analysis: Online study
Dominguez et al. Impact of emotional states on the effective range of electric vehicles
KR101432067B1 (ko) 운전능력 평가시스템
Chan et al. Detection of driver drowsiness from eeg signals using wearable brain sensing headband
Wang et al. An EEG-based multi-classification method of braking intentions for driver-vehicle interaction
Teng et al. A novel EEG-based detection method of emergency situations for assistive vehicles
Hassan et al. Sigmoid wake probability model for high-resolution detection of drowsiness using electroencephalogram
Fu et al. Decoding passenger's EEG signals from encountering emergency road events
Wang et al. Neural signature and classification of emergency braking intention based on effective connectivity
KR101342342B1 (ko) 뇌파를 이용한 뉴로 드라이빙 훈련 방법 및 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13861812

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13861812

Country of ref document: EP

Kind code of ref document: A1