WO2023075161A1 - 인공 지능을 이용하여 운전자의 상태를 판단하는 차량 장치 및 그 제어 방법 - Google Patents

인공 지능을 이용하여 운전자의 상태를 판단하는 차량 장치 및 그 제어 방법 Download PDF

Info

Publication number
WO2023075161A1
WO2023075161A1 PCT/KR2022/014222 KR2022014222W WO2023075161A1 WO 2023075161 A1 WO2023075161 A1 WO 2023075161A1 KR 2022014222 W KR2022014222 W KR 2022014222W WO 2023075161 A1 WO2023075161 A1 WO 2023075161A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
data
drowsy state
drowsy
neural network
Prior art date
Application number
PCT/KR2022/014222
Other languages
English (en)
French (fr)
Inventor
강현욱
김나경
김병욱
강동희
Original Assignee
전남대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교 산학협력단 filed Critical 전남대학교 산학협력단
Publication of WO2023075161A1 publication Critical patent/WO2023075161A1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods

Definitions

  • the present disclosure relates to a vehicle device and a control method thereof, and more particularly, to a vehicle device and a control method for systematically determining a driver's drowsy driving using artificial intelligence.
  • driver drowsiness determination system that acquires driver's face image data through a camera and determines whether the driver is currently in a drowsy state by using the vertical height ratio of the eyelids detected from the driver's face image data.
  • the system has a problem in that the accuracy of judgment rapidly decreases depending on the angle of the driver's face.
  • the present disclosure has been made in accordance with the above-described needs, and an object of the present disclosure is to provide a vehicle device and a control method for determining whether a driver is drowsy driving based on brain wave data and eye data of the driver and providing feedback corresponding thereto. is in providing
  • a vehicle device includes a camera, a memory for storing at least one command, and determining whether a driver is in a drowsy state based on a driver's captured image obtained through the camera. and a processor configured to provide feedback corresponding to the drowsy state when it is determined that the driver is in the drowsy state, wherein the processor determines the driver's brain wave data and the driver's eyeball data related to the driver's captured image. It is possible to determine whether the driver is in a drowsy state.
  • it further includes an brain wave measurement unit, processing the driver's brain wave data obtained through the brain wave measurement unit to obtain PSD (Power Spectral Density) brain wave data, and based on the driver's eye data obtained from the driver's photographic image Eye blink data is acquired, and if it is determined that the driver has closed his or her eyes for a predetermined period of time or more based on the eye blink data, it is determined that the driver is in a drowsy state, and the driver has not closed their eyes for a predetermined period of time or longer. Otherwise, if the PSD brain wave data satisfies a specific condition, it may be determined that the driver is in a drowsy state.
  • PSD Power Spectral Density
  • the memory may store the learned artificial neural network model
  • the processor may determine whether the driver is in a drowsy state by inputting the driver's captured image acquired through the camera to the artificial neural network model.
  • the artificial neural network model may be a model learned by using a plurality of driver images for learning and brain wave data corresponding to each of the plurality of driver images for learning as input data, and using information on drowsiness as output data.
  • the processor maps a drowsy state to an image for which brain wave data satisfies a specific condition among driver images for learning in which the time during which eyes are closed in a predetermined time interval is greater than or equal to a threshold time, and maps a non-drowsy state to the remaining images.
  • the artificial neural network model can be trained.
  • the processor determines whether the driver is in a drowsy state by inputting the driver's image and additional information to the artificial neural network model, and the additional information may include at least one of driving environment information and driver profile information. .
  • the processor may obtain the eye blink data from the eyeball data by calculating horizontal and vertical aspect ratios of the eyeball using a distance threshold method (DTM) technique.
  • DTM distance threshold method
  • the above specific condition is a condition that satisfies ( ⁇ H + ⁇ L )/ ⁇ > 1 and ⁇ H > ⁇ L , ⁇ H > ⁇ , ⁇ > ⁇ and ⁇ H > ⁇ , and ⁇ H is High-alpha wave, ⁇ L may be a low-alpha wave, ⁇ may be a delta wave, ⁇ may be a beta wave, and ⁇ may be a theta wave.
  • a method for controlling a vehicle device includes determining whether a driver is in a drowsy state based on a driver photographed image obtained through a camera, and responding to the drowsy state if it is determined that the driver is in a drowsy state.
  • determining whether the driver is in a drowsy state it may be determined whether the driver is in a drowsy state based on the driver's brain wave data and the driver's eye data related to the driver's captured image.
  • the step of determining whether the driver is in a drowsy state may include processing the driver's EEG data to obtain PSD (Power Spectral Density) EEG data, and eye blink data based on the driver's eye data obtained from the driver's photographic image. is obtained, and if it is determined based on the eye blink data that the driver has closed his or her eyes for more than a predetermined time, it is determined that the driver is in a drowsy state, and if the driver has not closed their eyes for more than a predetermined time, the If the PSD brain wave data satisfies a specific condition, it may be determined that the driver is in a drowsy state.
  • PSD Power Spectral Density
  • the captured image of the driver is input to a learned artificial neural network model to determine whether the driver is in a drowsy state
  • the artificial neural network model includes a plurality of driver images for learning and the plurality of It may be a model learned by using brain wave data corresponding to each driver image for learning as input data and information on whether or not a drowsy state is output data.
  • FIG. 1 is a block diagram illustrating a configuration of a vehicle device according to an exemplary embodiment of the present disclosure.
  • FIG. 2 is a diagram for explaining a method for obtaining eye blink data according to an exemplary embodiment.
  • 3, 4, 5A and 5B are diagrams for explaining an EEG data analysis method according to an embodiment.
  • 6A and 6B are diagrams for explaining a learning method of an artificial neural network model according to an embodiment.
  • FIG. 7 is a diagram for explaining data for learning according to an exemplary embodiment.
  • FIG. 8 is a diagram for explaining the operation of a learned artificial neural network model according to an embodiment.
  • FIG. 9 is a diagram for explaining effects of the present disclosure according to an embodiment.
  • FIG. 10 is a diagram illustrating a detailed configuration of a vehicle device according to an exemplary embodiment.
  • FIG. 11 is a flowchart illustrating a vehicle control method according to an exemplary embodiment.
  • FIG. 12 is a flowchart illustrating a vehicle control method according to another embodiment.
  • expressions such as “has,” “can have,” “includes,” or “can include” indicate the existence of a corresponding feature (eg, numerical value, function, operation, or component such as a part). , which does not preclude the existence of additional features.
  • a component e.g., a first component
  • another component e.g., a second component
  • connection to it should be understood that an element may be directly connected to another element, or may be connected through another element (eg, a third element).
  • a “module” or “unit” performs at least one function or operation, and may be implemented in hardware or software or a combination of hardware and software.
  • a plurality of “modules” or a plurality of “units” are integrated into at least one module and implemented by at least one processor (not shown), except for “modules” or “units” that need to be implemented with specific hardware. It can be.
  • FIG. 1 is a block diagram illustrating a configuration of a vehicle device according to an exemplary embodiment of the present disclosure.
  • a vehicle device 100 includes a camera 110 , a memory 120 and a processor 130 .
  • the camera 110 may be turned on according to a preset event to take a picture.
  • the camera 110 may convert a captured image into an electrical signal and generate image data based on the converted signal.
  • the subject is converted into an electrical image signal through a charge coupled device (CCD), and the image signal converted in this way can be amplified and converted into a digital signal and then signal processed.
  • the camera 110 may be implemented as a general camera, a stereo camera, or a depth camera.
  • the camera 110 may be disposed at a location within the vehicle device 100 capable of capturing the driver's face and obtain an image of the driver's face.
  • the memory 120 may store data necessary for various embodiments of the present disclosure.
  • the memory 120 may be implemented in the form of a memory embedded in the vehicle device 100 or in the form of a memory capable of communicating with (or detachable from) the vehicle device 100 according to a data storage purpose.
  • data for driving the vehicle device 100 is stored in a memory embedded in the vehicle device 100
  • data for an extended function of the vehicle device 100 is communicable with the vehicle device 100. can be stored in memory.
  • volatile memory eg, DRAM (dynamic RAM), SRAM (static RAM), SDRAM (synchronous dynamic RAM), etc.
  • non-volatile memory examples: OTPROM (one time programmable ROM), PROM (programmable ROM), EPROM (erasable and programmable ROM), EEPROM (electrically erasable and programmable ROM), mask ROM, flash ROM, flash memory (such as NAND flash or NOR flash, etc.) ), a hard drive, or a solid state drive (SSD).
  • a memory card eg, a compact flash (CF)
  • SD secure digital
  • Micro-SD micro secure digital
  • Mini-SD mini secure digital
  • xD extreme digital
  • MMC multi-media card
  • the memory 120 may store at least one instruction or a computer program including instructions for controlling the vehicle device 100 .
  • the memory 120 may store various data, programs, or applications for driving/controlling the vehicle device 100 .
  • the vehicle device 100 may store a control program for controlling the vehicle device 100 and the processor 130, an application initially provided by a manufacturer or downloaded from the outside, databases, or related data.
  • the memory 120 may store information such as EEG data conditions, eye data conditions, various feedback notifications, and various guide notifications for determining a drowsiness condition according to an embodiment.
  • the memory 120 may store information about an artificial neural network model including a plurality of layers.
  • storing information about the artificial neural network model means various information related to the operation of the artificial neural network model, for example, information about a plurality of layers included in the artificial neural network model, parameters used in each of the plurality of layers (ex: filter coefficient, bias, etc.) may be stored.
  • the memory 120 may store information about an artificial neural network model learned to obtain information on whether a driver is in a drowsy state according to an embodiment.
  • the processor 130 is implemented as hardware dedicated to the artificial neural network model, information on the artificial neural network model may be stored in an internal memory of the processor 130 .
  • the artificial neural network model may be stored in an external device such as a server, and the vehicle device 100 transmits the driver's captured image to the external device to obtain information on whether the driver is in a drowsy state from the external device. It is also possible to obtain.
  • the memory 120 may be implemented as a single memory that stores data generated in various operations according to the present disclosure. However, according to another embodiment, the memory 120 may be implemented to include a plurality of memories each storing different types of data or each storing data generated in different steps.
  • the processor 130 is electrically connected to the camera 110 and the memory 120 to control overall operations of the vehicle device 100 .
  • Processor 130 may be composed of one or a plurality of processors. Specifically, the processor 130 may perform the operation of the vehicle device 100 according to various embodiments of the present disclosure by executing at least one instruction stored in a memory (not shown).
  • the processor 130 may include a digital signal processor (DSP), a microprocessor, a graphics processing unit (GPU), an artificial intelligence (AI) processor, and a neural processing unit (NPU) for processing digital image signals.
  • DSP digital signal processor
  • GPU graphics processing unit
  • AI artificial intelligence
  • NPU neural processing unit
  • processing Unit Processing Unit
  • TCON Time Controller
  • CPU central processing unit
  • MCU micro controller unit
  • MPU micro processing unit
  • AP application processor
  • communication processor communication processor: CP
  • CP one or more of the ARM processor, or may be defined in the term.
  • the processor 130 may be implemented as a System on Chip (SoC) having a built-in processing algorithm, a large scale integration (LSI), or may be implemented as an application specific integrated circuit (ASIC) or a field programmable gate array (FPGA).
  • SoC System on Chip
  • LSI large scale integration
  • ASIC application specific integrated circuit
  • FPGA field programmable gate array
  • the processor 130 for executing the artificial neural network model includes a general-purpose processor such as a CPU, AP, digital signal processor (DSP), and the like, a graphics-only processor such as a GPU, a vision processing unit (VPU), or an NPU. It can be implemented through a combination of the same artificial intelligence dedicated processor and software.
  • the processor 130 may control input data to be processed according to a predefined operation rule or an artificial neural network model stored in the memory 120 .
  • the processor 130 is a dedicated processor (or artificial intelligence dedicated processor), it may be designed as a hardware structure specialized for processing a specific artificial neural network model.
  • hardware specialized for processing a specific artificial neural network model may be designed as a hardware chip such as an ASIC or FPGA.
  • the processor 130 When the processor 130 is implemented as a dedicated processor, it may be implemented to include a memory for implementing an embodiment of the present disclosure or to include a memory processing function for using an external memory.
  • the processor 130 may determine whether the driver is in a drowsy state based on the driver's captured image obtained through the camera 110, and if it is determined that the driver is in a drowsy state, provide feedback corresponding to the driver's drowsy state.
  • the driver's captured image may be an image related to information about the driver's brain wave data and the driver's eye data.
  • the processor 130 may determine whether the driver is in a drowsy state based on the driver's brain wave data obtained through the brain wave measurer 140 and the driver's eye data obtained from the driver's photographic image.
  • the processor 130 may process the driver's EEG data to obtain Power Spectral Density (PSD) EEG data, and may obtain eye blink data based on the driver's eyeball data obtained from the driver's photographed image. Subsequently, the processor 130 determines that the driver is in a drowsy state when it is determined based on the eye blink data that the driver has closed his/her eyes for a predetermined period of time or longer, and if the driver has not closed his or her eyes for a predetermined period of time or longer, the PSD brain wave data When satisfies a specific condition, it may be determined that the driver is in a drowsy state.
  • PSD Power Spectral Density
  • the brain wave measurement unit 140 may detect the driver's brain waves and transmit them to the processor 130 .
  • the EEG measurement unit 140 may include an EEG measurement sensor, an amplification unit, and an AD conversion unit.
  • the brain wave measurement sensor may generate a real-time brain wave signal of the driver.
  • the amplification unit may amplify the EEG signal and filter the 60Hz alternating current that is normally performed when measuring the EEG.
  • the AD conversion unit may convert the amplified and filtered EEG signal from an analog form to a digital form. In this case, the converted EEG signal may be transmitted to the processor 130 through a predetermined interface provided in the EEG measuring unit 140 .
  • the brain wave measurement unit 140 can be implemented in various forms wearable on the driver's head. For example, it may be implemented as a band or a headset type that is detachable from the driver's head.
  • the brain wave measurement unit 140 may include a plurality of electrode units. At least one electrode unit may be disposed to detect EEG generated in the driver's temporal lobe and occipital lobe, and at least one other electrode unit may be disposed to detect EEG generated in the frontal lobe and occipital lobe of the driver's brain. it is not going to be
  • the processor 130 may obtain power spectral density (PSD) brain wave data by processing the driver's brain wave data obtained through the brain wave measurement unit 140 .
  • PSD Power Spectral Density
  • PSD is a function representing random vibration as an independent variable frequency, and may represent the intensity of energy according to frequency. For example, it may be expressed as an energy level (Watt/Hz) per unit frequency, but is not limited thereto.
  • Watt/Hz energy level
  • the processor 130 may obtain eye blink data based on eye data of the driver through the camera 110 .
  • the processor 130 may acquire eye data by detecting a face area from an image captured by the camera 110 and detecting an eye area from the face area.
  • a face area detection method various existing methods may be used. Specifically, a direct recognition method and a method using statistics may be used.
  • rules are created using physical characteristics such as outline, skin color, size of components, and distance between components of a face image, and comparison, inspection, and measurement are performed according to the rules.
  • the method using statistics may detect a face region according to a pre-learned algorithm. In other words, it is a method of comparing and analyzing the unique characteristics of the input face with a large database prepared by converting them into data (ex: shapes of faces and other objects).
  • a face region may be detected according to a pre-learned algorithm, and methods such as Multi Layer Perceptron (MLP) and Support Vector Machine (SVM) may be used.
  • MLP Multi Layer Perceptron
  • SVM Support Vector Machine
  • an eye image is identified from a photographed image through a face modeling technique.
  • the face modeling technology is an analysis process of converting a face image into digital information for processing and transmission, and at least one of an Active Shape Modeling (ASM) technique and an Active Appearance Modeling (AAM) technique may be used.
  • ASM Active Shape Modeling
  • AAM Active Appearance Modeling
  • the processor 130 may obtain eye blink data from the eyeball data by calculating horizontal and vertical aspect ratios of the eyeball using a Distance Threshold Method (DTM) technique. A detailed description thereof will be described later with reference to the drawings.
  • DTM Distance Threshold Method
  • the processor 130 may determine that the driver is in a drowsy state when it is determined that the driver has closed his or her eyes for a predetermined time or longer based on the eye blink data.
  • the preset time may be determined in advance.
  • the preset time may be 2 seconds, but is not limited thereto.
  • the preset time may be determined based on the driver's driving condition.
  • the processor 130 may determine a critical time for determining that the driver is in a drowsy state based on a driving state history in which the driver's driving state is recorded.
  • the processor 130 may determine that the driver is in a drowsy state if the PSD brain wave data satisfies a specific condition when the driver does not close his or her eyes for a predetermined period of time or longer.
  • the specific conditions may be conditions satisfying ( ⁇ H + ⁇ L )/ ⁇ > 1 and ⁇ H > ⁇ L , ⁇ H > ⁇ , ⁇ > ⁇ , and ⁇ H > ⁇ .
  • ⁇ H may be a high-alpha wave
  • ⁇ L may be a low-alpha wave
  • ⁇ may be a delta wave
  • ⁇ may be a beta wave
  • ⁇ may be a theta wave.
  • the processor 130 may determine whether the driver is drowsy by using the learned artificial neural network model.
  • the artificial neural network model is a recurrent neural network (RNN), a convolutional neural network (CNN), a restricted boltzmann machine (RBM), a deep belief network (DBN), a bidirectional recurrent deep neural network (BRDNN), or a deep Q-network ( Deep Q-Networks), etc., but is not limited thereto.
  • the processor 130 inputs the driver's captured image obtained through the camera 110 to the artificial neural network model to determine whether the driver is drowsy, and if it is determined that the driver is drowsy, provides feedback corresponding to the drowsy state. can do.
  • the driver's photographed image may be an image including the driver's whole body, face, and other environments.
  • the artificial neural network model may be a model learned using a plurality of driver images for learning and brain wave data corresponding to each of the plurality of driver images for learning as input data and information on drowsiness as output data.
  • the processor 130 may provide feedback corresponding to the drowsy state. According to an example, if it is determined that the driver is in a drowsy state, the processor 130 may provide a warning alarm or guide to the driver or switch to an autonomous driving mode. According to an example, it is possible to perform shoulder parking, emergency stop, and the like by switching to an autonomous driving mode.
  • the processor 130 may switch to the autonomous driving mode.
  • the processor 130 may provide only a warning alarm according to the level of the driver's condition or immediately switch to the autonomous driving mode simultaneously with the warning alarm.
  • the processor 130 may control the driving speed of the vehicle simultaneously with a warning alarm when the speed of the vehicle is greater than or equal to a threshold value.
  • the processor 130 may control the driving speed of the vehicle using an electronic control unit (ECU).
  • ECU electronice control unit
  • the warning alarm may be provided in various forms such as a sound alarm, a haptic alarm, and a visual alarm (ex: strong lighting).
  • a sound alarm may be provided by outputting a human voice or a preset alarm sound through a speaker (eg, a car audio system, an AV system, a speaker of a navigation or telematics terminal, etc.).
  • a haptic alarm may be provided through a vibration device installed on a driver's seat or steering wheel.
  • a visual alarm may be provided by turning on an LED light installed inside the vehicle.
  • FIG. 2 is a diagram for explaining a method for obtaining eye blink data according to an exemplary embodiment.
  • FIG. 2 shows a method of obtaining eye blink data by calculating horizontal and vertical aspect ratios of the eyeball using a distance threshold method (DTM) technique.
  • DTM distance threshold method
  • data representing eye blinking may be obtained based on the distance between each point of the eyeball region.
  • Equation 1 is a formula representing a method for calculating the horizontal and vertical aspect ratios of the eyeball according to an example.
  • Eye blink data may be obtained as shown in FIG. 2 based on the horizontal and vertical aspect ratios of the eyeball obtained by Equation 1 as in [Equation 1].
  • 3, 4, 5A and 5B are diagrams for explaining an EEG data analysis method according to an embodiment.
  • human brain waves generate delta waves during deep sleep, the process leading to sleep, that is, during drowsiness, theta waves occur, and during rest or work without stress.
  • alpha brain waves are generated, and when excited or tense, beta waves are generated. Accordingly, it is possible to determine the driver's drowsiness state based on the fact that human brain waves generate brain waves representing different frequencies and different waveforms for each specific situation.
  • EEG data may be analyzed using a Discrete Fourier Transform (DFT) technique.
  • DFT Discrete Fourier Transform
  • driver eye blink data may be extracted as an auxiliary index for determining driver drowsiness.
  • FIG. 5A shows EEG characteristics according to drowsiness in a normal state
  • FIG. 5B shows EEG characteristics according to drowsiness in a driving state.
  • both low-alpha waves and high-alpha waves are activated in the normal drowsy state, but as shown in FIG. 5B , low-alpha waves are inactivated and only high-alpha waves are You can check that it is activated.
  • activation characteristics of other EEG data in addition to alpha waves change according to the drowsiness environment.
  • beta waves are deactivated during general drowsiness, but as shown in FIG. 5B , beta waves tend to be activated due to driving work in drowsiness under driving conditions. Accordingly, it is possible to determine drowsiness in a special environment of driving through relational analysis between EEG data.
  • the PSD EEG sleepiness condition can be defined as shown in Table 2 below.
  • ⁇ H may be a high-alpha wave
  • ⁇ L may be a low-alpha wave
  • ⁇ may be a delta wave
  • ⁇ may be a beta wave
  • ⁇ may be a theta wave
  • the additional information may be various information such as driving environment information (ex: weather information, temperature information, humidity information, etc.), driver profile information (ex: gender, age, etc.).
  • 6A and 6B are diagrams for explaining a learning method of an artificial neural network model according to an embodiment.
  • the artificial neural network model 10 may be learned based on a pair of input training data and output training data or may be learned based on the input training data.
  • the learning of the artificial neural network model means that a basic artificial neural network model (eg, an artificial neural network model including random parameters) is learned using a plurality of training data by a learning algorithm, so that desired characteristics (or , purpose) means that a predefined action rule or an artificial neural network model set to perform is created.
  • Such learning may be performed through the vehicle device 100, but is not limited thereto and may be performed through a separate server and/or system.
  • Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the above examples. However, this is an example of supervised learning, and it goes without saying that an artificial neural network model can be trained based on unsupervised learning in which an artificial neural network model is trained by inputting only input data without using output data.
  • an artificial neural network model may be composed of an input layer, a hidden layer, an out layer, and an activation function (f).
  • the activation function (f) can be implemented as a linear, sigmoid, or hyperbolic tangent function (tanh), a Rectified Linear Unit (ReLU) function, or the like.
  • activation functions of the hidden layer and the out layer may be implemented as sigmoid and ReLU, respectively, but are not limited thereto.
  • training data may be randomly mixed and used for learning an artificial neural network model. However, some of the training data may be used to verify the artificial neural network model. For example, 80% of the training data may be used for training and the remaining 20% for verification.
  • training of an artificial neural network model may be performed in an external device such as a server.
  • learning of the artificial neural network model is performed in the vehicle device 100 itself.
  • the processor 130 of the vehicle device 100 performs learning of an artificial neural network model will be assumed and described.
  • the processor 130 maps a drowsiness state for each driver image for learning whose brain wave data satisfies a specific condition, and maps a non-drowsy state for each driver image for training whose brain wave data does not satisfy a specific condition.
  • mapping may mean a pair of input training data (ex: driver image for learning) and output training data (ex: drowsy state) as shown in FIG. 6A, but labeled input training as shown in FIG. 6B It may also mean data (ex: driver image for learning - drowsy state or not).
  • the processor 130 maps a drowsiness state for an image whose brain wave data satisfies a specific condition among driver images for training in which the time of closing the eyes is equal to or longer than a threshold time in a preset time interval, and maps the drowsiness state to the remaining images.
  • a threshold time may be 5 seconds
  • the threshold time may be 3 seconds, but is not limited thereto.
  • the processor 130 may classify a driver's image for learning based on whether eyes are closed for 3 seconds or longer while sliding a 5-second image at 1-second intervals, but the numerical value is not necessarily limited thereto.
  • the specific condition is that the power spectral density (PSD) EEG data satisfies ( ⁇ H + ⁇ L )/ ⁇ > 1 and ⁇ H > ⁇ L , ⁇ H > ⁇ , ⁇ > ⁇ and ⁇ H > ⁇ can
  • ⁇ H may be a high-alpha wave
  • ⁇ L may be a low-alpha wave
  • ⁇ may be a delta wave
  • ⁇ may be a beta wave
  • ⁇ may be a theta wave.
  • a method of acquiring EEG data and eye blink data used for learning is the same as/similar to the above-described method of obtaining EEG data and eye blink data. Accordingly, a detailed description of the corresponding configuration will be omitted.
  • the processor 130 provided in the vehicle device 100 has been described as the subject in the above-described embodiment and the following embodiment, learning of an artificial neural network model and/or acquisition of training data and related information used for learning is Of course, it can be performed in an external device.
  • the processor 130 may label the driver's image for training based on at least one of PSD brain wave data and eye blink data.
  • an artificial neural network model may be trained by labeling an image whose brain wave data satisfies a specific condition among driver images for training as a drowsy state and labeling remaining images as a non-drowsy state.
  • an artificial neural network model is performed by labeling an image whose brain wave data satisfies a specific condition as a drowsy state and labeling the remaining images as a non-drowsy state.
  • the preset time interval may be 5 seconds
  • the threshold time may be 2 seconds or 3 seconds, but is not limited thereto.
  • FIG. 7 is a diagram for explaining data for learning according to an exemplary embodiment.
  • a driving simulation environment may be established, and biometric data and image data of a driver generated while driving in the driving simulation environment may be obtained and used to learn an artificial neural network model.
  • the driving simulation environment includes devices for acquiring image data such as IR camera, normal camera, and depth camera, devices for acquiring biometric data such as EEG, EOG, EMG, ECG, RSP, PPG, GSR, and SKT, driving platforms, etc. Simulation equipment and the like may be used.
  • the driver drowsiness condition derived from biometric data and image data may be labeled at the coordinates of the boundary box from which the driver's face is extracted.
  • the labeled driver image data may be converted into a pixel image having a predetermined size (eg, 416 ⁇ 416) and used as training data. 7 shows an example of acquired biometric data and image data of a driver.
  • the data for learning can be acquired through various paths (ex: data server) as long as the driver's image data and biometric data (ex: brain wave data) can be mapped.
  • FIG. 8 is a diagram for explaining the operation of a learned artificial neural network model according to an embodiment.
  • the learned artificial neural network model 10 ′ may output information on whether or not a driver is in a drowsy state when an image taken by a driver is input.
  • the trained artificial neural network model 10' may output a probability value corresponding to a drowsy state.
  • the processor 130 may determine whether the driver is in a drowsy state based on a probability value corresponding to the drowsy state output from the learned artificial neural network model 10'.
  • the output part of the artificial neural network model 10' may be implemented to enable softmax processing.
  • softmax is a function that normalizes all input values to a value between 0 and 1 and always makes the sum of the output values 1. It is a function that outputs a probability value corresponding to each class, for example, drowsy state, non-drowsy state, etc. can do.
  • the output part of the artificial neural network model 10' may be implemented to enable Argmax processing.
  • Argmax is a function that selects the most probable one among multiple labels, and here, it can function to select the ratio with the largest value among the probability values for each class. That is, when each output part of the artificial neural network model 10' is Argmax-processed, only state information (eg, drowsy state) having the highest probability value can be output.
  • driver's captured image not only the driver's captured image but also additional information may be used to determine the driver's drowsy state.
  • additional information may be input to the artificial neural network model 10' along with the driver's photographed image, and the corresponding information may be used to output information on whether or not the driver is in a drowsy state.
  • the additional information may be various information such as driving environment information (ex: weather information, temperature information, humidity information, etc.), driver profile information (ex: gender, age, etc.).
  • driving environment information ex: weather information, temperature information, humidity information, etc.
  • driver profile information ex: gender, age, etc.
  • FIG. 9 is a diagram for explaining effects of the present disclosure according to an embodiment.
  • the artificial neural network model according to an embodiment of the present disclosure may be learned by inputting not only features of the driver's eyes and mouth but also the entire region of the driver's face as learning data. Accordingly, it is possible to determine whether the driver is drowsy regardless of the driver's posture and face angle. For example, as shown in FIG. 9 , it is possible to determine whether the driver is drowsy or not with respect to the driver's face at various angles. In addition, it may be determined that the driver is drowsy driving without closing his/her eyes.
  • FIG. 10 is a diagram illustrating a detailed configuration of a vehicle device according to an exemplary embodiment.
  • the vehicle device 100' includes a camera 110, a memory 120, a processor 130, an EEG measurement unit 140, a speaker 150, a user interface 160, and a communication interface 170. and a display 180 .
  • a camera 110 includes a camera 110, a memory 120, a processor 130, an EEG measurement unit 140, a speaker 150, a user interface 160, and a communication interface 170. and a display 180 .
  • a display 180 includes a display 180 .
  • FIG. 10 detailed descriptions of components overlapping with those shown in FIG. 1 will be omitted.
  • the speaker 150 may be a component that outputs not only various types of audio data processed by the processor 130 but also various notification sounds or voice messages. According to one example, the processor 130 may control the speaker 150 to output a warning notification according to various embodiments of the present disclosure.
  • the communication interface 160 is a component for communicating with various external devices and may include a wireless communication module, for example, a Wi-Fi module or a Bluetooth module. However, it is not limited thereto, and the communication interface 160 may be used in addition to the above-described communication method such as zigbee, 3rd generation (3G), 3rd generation partnership project (3GPP), long term evolution (LTE), LTE-A (LTE Advanced), 4G (4th Generation), 5G (5th Generation), etc., various wireless communication standards, infrared communication (IrDA, Infrared Data Association) technology, etc. may perform communication. In addition, various wired communication interfaces (ex: USB terminal) may be included.
  • the user interface 170 is a component for receiving various user commands, and can be implemented as a button, a touch pad, a wheel, or the like according to an implementation example of the vehicle device 100'.
  • the display 180 may be implemented as a display including a self-light emitting element or a display including a non-light emitting element and a backlight.
  • LCD Liquid Crystal Display
  • OLED Organic Light Emitting Diodes
  • LED Light Emitting Diodes
  • micro LED micro LED
  • Mini LED PDP (Plasma Display Panel)
  • QD Quantantum dot
  • QLED Quadantum dot light-emitting diodes
  • the display 130 may also include a driving circuit, a backlight unit, and the like that may be implemented in the form of an a-si TFT, a low temperature poly silicon (LTPS) TFT, or an organic TFT (OTFT).
  • the display 180 is implemented as a touch screen combined with a touch sensor, a flexible display, a rollable display, a 3D display, a display in which a plurality of display modules are physically connected, and the like. It can be.
  • the display 180 since the display 180 has a built-in touch screen, it can be implemented so that a program can be executed using a finger or a pen (eg, a stylus pen).
  • the vehicle device 100' may further include a microphone (not shown).
  • the microphone is a component for receiving a user's voice or other sounds and converting them into audio data. For example, a user voice command related to various embodiments of the present disclosure may be received through a microphone (not shown).
  • FIG. 11 is a flowchart illustrating a vehicle control method according to an exemplary embodiment.
  • power spectral density (PSD) brain wave data is acquired by processing the driver's brain wave data (S1110).
  • eye blink data is obtained based on the eyeball data (S1120).
  • the order of S1110 and S1120 is not limited thereto, and may be performed simultaneously or in a different order.
  • the specific conditions may be conditions satisfying ( ⁇ H + ⁇ L )/ ⁇ > 1 and ⁇ H > ⁇ L , ⁇ H > ⁇ , ⁇ > ⁇ , and ⁇ H > ⁇ .
  • ⁇ H may be a high-alpha wave
  • ⁇ L may be a low-alpha wave
  • ⁇ may be a delta wave
  • ⁇ may be a beta wave
  • ⁇ may be a theta wave.
  • eye blink data may be obtained from eye data by calculating horizontal and vertical aspect ratios of the eyeball using a distance threshold method (DTM) technique.
  • DTM distance threshold method
  • a warning alarm may be provided to the driver or the autonomous driving mode may be switched.
  • FIG. 12 is a flowchart illustrating a vehicle control method according to another embodiment.
  • the control method of the vehicle device shown in FIG. 12 first, it is determined whether the driver is in a drowsy state by inputting the driver's captured image acquired through the camera to the learned artificial neural network model (S1210).
  • the artificial neural network model may be a model learned by taking as input data a plurality of driver images for learning and brain wave data corresponding to each of the plurality of driver images for learning, and using information on drowsiness as output data.
  • control method maps the drowsiness state for each driver image for learning whose brain wave data satisfies a specific condition, and maps the non-drowsy state for each driver image for training whose brain wave data does not satisfy a specific condition, and then maps the artificial neural network model. It may further include the step of learning.
  • PSD Power Spectral Density
  • control method maps the drowsiness state for driver images for learning in which the EEG data satisfies a specific condition among the driver images for learning in which the time of closing the eyes is equal to or longer than the threshold time in a preset time interval, and the drowsiness state is mapped for the remaining driver images for learning.
  • the method may further include training an artificial neural network model by mapping a drowsy state.
  • step S1210 it is possible to determine whether the driver is in a drowsy state by inputting the driver's image and additional information to the artificial neural network model.
  • the additional information may include at least one of driving environment information and driver profile information.
  • an EOG sensor for measuring the driver's eye conduction (EOG) and a PPG sensor for measuring the driver's photoplethysmogram (PPG) may be used as auxiliary indicators to determine drowsy driving.
  • the driver it is possible to accurately determine the driver's condition and provide a customized stimulus and/or warning corresponding thereto.
  • the methods according to various embodiments of the present disclosure described above may be implemented in the form of an application that can be installed in an existing vehicle device.
  • the above-described methods according to various embodiments of the present disclosure may be performed using a deep learning-based artificial neural network (or deep artificial neural network), that is, a learning network model.
  • various embodiments of the present disclosure described above may be performed through an embedded server included in the vehicle device or an external server of the vehicle device.
  • a device is a device capable of calling a stored command from a storage medium and operating according to the called command, and may include an electronic device (eg, the electronic device A) according to the disclosed embodiments.
  • the processor may directly or use other components under the control of the processor to perform a function corresponding to the command.
  • An instruction may include code generated or executed by a compiler or interpreter.
  • the device-readable storage medium may be provided in the form of a non-transitory storage medium.
  • 'non-temporary' only means that the storage medium does not contain a signal and is tangible, but does not distinguish whether data is stored semi-permanently or temporarily in the storage medium.
  • the method according to the various embodiments described above may be included in a computer program product and provided.
  • Computer program products may be traded between sellers and buyers as commodities.
  • a computer program product may be distributed in the form of a device-readable storage medium (eg, compact disc read only memory (CD-ROM)) or online through an application store (eg, Play Store TM ).
  • an application store eg, Play Store TM
  • at least part of the computer program product may be temporarily stored or temporarily created in a storage medium such as a manufacturer's server, an application store server, or a relay server's memory.
  • each of the components may be composed of a single object or a plurality of entities, and some sub-components among the aforementioned sub-components may be omitted, or other sub-components may be used. Components may be further included in various embodiments. Alternatively or additionally, some components (eg, modules or programs) may be integrated into one entity and perform the same or similar functions performed by each corresponding component prior to integration. According to various embodiments, operations performed by modules, programs, or other components may be executed sequentially, in parallel, repetitively, or heuristically, or at least some operations may be executed in a different order, may be omitted, or other operations may be added. can

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

차량 장치가 개시된다. 차량 장치는, 카메라, 적어도 하나의 명령을 저장하는 메모리 및, 적어도 하나의 명령을 실행함으로써, 카메라를 통해 획득된 운전자 촬영 영상에 기초하여 운전자가 졸음 상태인지 판단하고, 운전자가 졸음 상태라고 판단되면, 졸음 상태에 대응되는 피드백을 제공하는 프로세서를 포함하며, 프로세서는, 운전자 촬영 영상과 관련된 운전자의 뇌파 데이터 및 운전자의 안구 데이터에 기초하여 운전자가 졸음 상태인지 판단할 수 있다.

Description

인공 지능을 이용하여 운전자의 상태를 판단하는 차량 장치 및 그 제어 방법
본 개시는 차량 장치 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 인공 지능을 이용하여 운전자의 졸음 운전을 체계적으로 판단하는 차량 장치 및 그 제어 방법에 관한 것이다.
도로교통공단 조사에 따르면, 고속도로 교통사고 사망자들의 경우 10명 중 6~7명이 졸음 운전 및 전방 주시 태만에 의한 사고로 사망하는 것으로 확인되었다. 따라서, 운전자의 졸음에 의해 발생하는 사고를 방지하기 위하여, 운전자의 졸음을 체계적으로 판단할 수 있는 기술 및 시스템이 요구되고 있다.
현재 개발된 운전자 졸음 판단 시스템으로 카메라를 통해 운전자의 얼굴 영상 데이터를 취득하고, 운전자의 얼굴 영상 데이터에서 검출한 눈꺼풀의 상하 높이 비를 이용하여 현재 운전자가 졸음 상태 인지 여부를 판단하는 시스템이 존재한다. 그러나 해당 시스템은 운전자의 얼굴 각도에 따라 판단 정확도가 급격히 감소하는 문제점이 존재한다.
본 개시는 상술한 필요성에 따라 안출된 것으로서, 본 개시의 목적은, 운전자의 뇌파 데이터 및 안구 데이터에 기초하여 운전자의 졸음 운전 여부를 판단하고 이에 대응되는 피드백을 제공하는 차량 장치 및 그 제어 방법을 제공함에 있다.
이상과 같은 목적을 달성하기 위한 본 개시의 일 실시 예에 따른 차량 장치는, 카메라, 적어도 하나의 명령을 저장하는 메모리 및, 상기 카메라를 통해 획득된 운전자 촬영 영상에 기초하여 운전자가 졸음 상태인지 판단하고, 상기 운전자가 상기 졸음 상태라고 판단되면, 상기 졸음 상태에 대응되는 피드백을 제공하는 프로세서를 포함하며, 상기 프로세서는, 상기 운전자 촬영 영상과 관련된 운전자의 뇌파 데이터 및 운전자의 안구 데이터에 기초하여 상기 운전자가 졸음 상태인지 판단할 수 있다.
또한, 뇌파 측정부를 더 포함하며, 상기 뇌파 측정부를 통해 획득된 운전자의 뇌파 데이터를 처리하여 PSD(Power Spectral Density) 뇌파 데이터를 획득하고, 상기 운전자 촬영 영상으로부터 획득된 상기 운전자의 안구 데이터에 기초하여 눈 깜박임 데이터를 획득하고, 상기 눈 깜박임 데이터에 기초하여 상기 운전자가 기 설정된 시간 이상 눈을 감고 있는 것으로 판단되면, 상기 운전자가 졸음 상태라고 판단하고, 상기 운전자가 상기 기 설정된 시간 이상 눈을 감고 있지 않은 경우 상기 PSD 뇌파 데이터가 특정 조건을 만족하면, 상기 운전자가 졸음 상태라고 판단할 수 있다.
또한, 상기 메모리는, 학습된 인공 신경망 모델을 저장하며, 상기 프로세서는, 상기 카메라를 통해 획득된 운전자 촬영 영상을 상기 인공 신경망 모델에 입력하여 상기 운전자가 졸음 상태인지 판단할 수 있다. 여기서, 상기 인공 신경망 모델은, 복수의 학습용 운전자 영상 및 상기 복수의 학습용 운전자 영상 각각에 대응되는 뇌파 데이터를 입력 데이터로 하고, 졸음 상태 여부에 대한 정보를 출력 데이터로 하여 학습된 모델일 수 있다.
또한, 상기 프로세서는, 기 설정된 시간 구간에서 눈을 감고 있는 시간이 임계 시간 이상인 학습용 운전자 영상 중 뇌파 데이터가 특정 조건을 만족하는 영상에 대해 졸음 상태를 맵핑하고, 나머지 영상에 대해 비졸음 상태를 맵핑하여 상기 인공 신경망 모델을 학습시킬 수 있다.
또한, 상기 프로세서는, 상기 운전자 촬영 영상 및 추가 정보를 상기 인공 신경망 모델에 입력하여 상기 운전자가 졸음 상태인지 판단하며, 상기 추가 정보는, 운전 환경 정보 또는 운전자 프로필 정보 중 적어도 하나를 포함할 수 있다.
또한, 상기 프로세서는, DTM(Distance Threshold Method) 기법을 이용하여 안구의 가로 및 세로의 종횡비를 계산하여 상기 안구 데이터로부터 상기 눈 깜박임 데이터를 획득할 수 있다.
또한, 상기 특정 조건은, (αH + αL )/θ> 1 및 αH > αL, αH > δ, θ > δ 및 αH>β 를 만족하는 조건이며, αH 는 High-alpha wave, αL 은 Low-alpha wave, δ는 delta wave, β는 beta wave, θ는 theta wave일 수 있다.
한편, 일 실시 예에 따른 차량 장치의 제어 방법은, 카메라를 통해 획득된 운전자 촬영 영상에 기초하여 운전자가 졸음 상태인지 판단하는 단계, 및 상기 운전자가 상기 졸음 상태라고 판단되면, 상기 졸음 상태에 대응되는 피드백을 제공하는 단계를 포함하며, 상기 운전자가 졸음 상태인지 판단하는 단계는, 상기 운전자 촬영 영상과 관련된 운전자의 뇌파 데이터 및 운전자의 안구 데이터에 기초하여 상기 운전자가 졸음 상태인지 판단할 수 있다.
또한, 상기 운전자가 졸음 상태인지 판단하는 단계는, 상기 운전자의 뇌파 데이터를 처리하여 PSD(Power Spectral Density) 뇌파 데이터를 획득하고, 상기 운전자 촬영 영상으로부터 획득된 운전자의 안구 데이터에 기초하여 눈 깜박임 데이터를 획득하고, 상기 눈 깜박임 데이터에 기초하여 상기 운전자가 기 설정된 시간 이상 눈을 감고 있는 것으로 판단되면, 상기 운전자가 졸음 상태라고 판단하고, 상기 운전자가 상기 기 설정된 시간 이상 눈을 감고 있지 않은 경우 상기 PSD 뇌파 데이터가 특정 조건을 만족하면, 상기 운전자가 졸음 상태라고 판단할 수 있다.
또한, 상기 운전자가 졸음 상태인지 판단하는 단계는, 상기 운전자 촬영 영상을 학습된 인공 신경망 모델에 입력하여 상기 운전자가 졸음 상태인지 판단하며, 상기 인공 신경망 모델은, 복수의 학습용 운전자 영상 및 상기 복수의 학습용 운전자 영상 각각에 대응되는 뇌파 데이터를 입력 데이터로 하고, 졸음 상태 여부에 대한 정보를 출력 데이터로 하여 학습된 모델일 수 있다.
상술한 다양한 실시 예에 따르면, 운전자의 상태를 정확하게 판단하고 그에 대응되는 맞춤형 자극 또는/및 경고를 제공할 수 있게 된다. 또한, 운전자의 눈 뿐 아니라 다른 얼굴 특징으로부터 운전자의 졸음 여부를 판단할 수 있다. 이에 따라, 운전자의 다양한 자세, 다양한 얼굴 각도 등과 상관없이 운전자의 졸음 여부를 판단할 수 있게 된다. 따라서, 운전자를 사고 위험으로부터 보호할 수 있게 된다.
도 1은 본 개시의 일 실시 예에 따른 차량 장치의 구성을 나타내는 블록도이다.
도 2는 일 실시 예에 따른 눈 깜박임 데이터 획득 방법을 설명하기 위한 도면이다.
도 3, 도 4, 도 5a 및 도 5b는 일 실시 예에 따른 뇌파 데이터 분석 방법을 설명하기 위한 도면들이다.
도 6a 및 도 6b는 일 실시 예에 따른 인공 신경망 모델의 학습 방법을 설명하기 위한 도면들이다.
도 7은 일 실시 예에 따른 학습용 데이터를 설명하기 위한 도면이다.
도 8은 일 실시 예에 따라 학습된 인공 신경망 모델의 동작을 설명하기 위한 도면이다.
도 9는 일 실시 예에 따른 본 개시의 효과를 설명하기 위한 도면이다.
도 10은 일 실시 예에 따른 차량 장치의 세부 구성을 나타내는 도면이다.
도 11은 일 실시 예에 따른 차량 제어 방법을 설명하기 위한 흐름도이다.
도 12는 다른 실시 예에 따른 차량 제어 방법을 설명하기 위한 흐름도이다.
이하에서는 첨부 도면을 참조하여 본 개시를 상세히 설명한다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 개시에 대해 구체적으로 설명하기로 한다.
본 개시의 실시 예에서 사용되는 용어는 본 개시에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 개시의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 개시에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 개시의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 명세서에서, "가진다," "가질 수 있다," "포함한다," 또는 "포함할 수 있다" 등의 표현은 해당 특징(예: 수치, 기능, 동작, 또는 부품 등의 구성요소)의 존재를 가리키며, 추가적인 특징의 존재를 배제하지 않는다.
A 또는/및 B 중 적어도 하나라는 표현은 "A" 또는 "B" 또는 "A 및 B" 중 어느 하나를 나타내는 것으로 이해되어야 한다.
본 명세서에서 사용된 "제1," "제2," "첫째," 또는 "둘째,"등의 표현들은 다양한 구성요소들을, 순서 및/또는 중요도에 상관없이 수식할 수 있고, 한 구성요소를 다른 구성요소와 구분하기 위해 사용될 뿐 해당 구성요소들을 한정하지 않는다.
어떤 구성요소(예: 제1 구성요소)가 다른 구성요소(예: 제2 구성요소)에 "(기능적으로 또는 통신적으로) 연결되어((operatively or communicatively) coupled with/to)" 있다거나 "접속되어(connected to)" 있다고 언급된 때에는, 어떤 구성요소가 다른 구성요소에 직접적으로 연결되거나, 다른 구성요소(예: 제3 구성요소)를 통하여 연결될 수 있다고 이해되어야 할 것이다.
본 개시에서 사용된 표현 "~하도록 구성된(또는 설정된)(configured to)"은 상황에 따라, 예를 들면, "~에 적합한(suitable for)," "~하는 능력을 가지는(having the capacity to)," "~하도록 설계된(designed to)," "~하도록 변경된(adapted to)," "~하도록 만들어진(made to)," 또는 "~를 할 수 있는(capable of)"과 바꾸어 사용될 수 있다. 용어 "~하도록 구성된(또는 설정된)"은 하드웨어적으로 "특별히 설계된(specifically designed to)" 것 만을 반드시 의미하지 않을 수 있다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 개시에서 "모듈" 혹은 "부"는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 "모듈" 혹은 복수의 "부"는 특정한 하드웨어로 구현될 필요가 있는 "모듈" 혹은 "부"를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서(미도시)로 구현될 수 있다.
이하 첨부된 도면들을 참조하여 본 개시의 일 실시 예를 보다 상세하게 설명한다.
도 1은 본 개시의 일 실시 예에 따른 차량 장치의 구성을 나타내는 블록도이다.
도 1에 따르면 차량 장치(100)는 카메라(110), 메모리(120) 및 프로세서(130)를 포함한다.
카메라(110)는 기 설정된 이벤트에 따라 턴 온 되어 촬영을 수행할 수 있다. 카메라(110)는 촬상된 영상을 전기적인 신호로 변환하고 변환된 신호에 기초하여 영상 데이터를 생성할 수 있다. 구체적으로, 피사체는 반도체 광학소자(CCD: Charge Coupled Device)를 통해 전기적인 영상 신호로 변환되고, 이와 같이 변환된 영상 신호는 증폭 및 디지털 신호로 변환된 후 신호 처리될 수 있다. 예를 들어, 카메라(110)는 일반 카메라, 스테레오 카메라, 뎁스 카메라 등으로 구현될 수 있다.
일 예에 따라 카메라(110)는 차량 장치(100) 내에서 운전자의 얼굴을 촬영할 수 있는 위치에 배치되어 운전자의 얼굴을 촬영한 영상을 획득할 수 있다.
메모리(120)는 본 개시의 다양한 실시 예를 위해 필요한 데이터를 저장할 수 있다. 메모리(120)는 데이터 저장 용도에 따라 차량 장치(100)에 임베디드된 메모리 형태로 구현되거나, 차량 장치(100)와 통신 가능한(또는 탈부착 가능한) 메모리 형태로 구현될 수도 있다. 예를 들어, 차량 장치(100)의 구동을 위한 데이터의 경우 차량 장치(100)에 임베디드된 메모리에 저장되고, 차량 장치(100)의 확장 기능을 위한 데이터의 경우 차량 장치(100)와 통신 가능한 메모리에 저장될 수 있다. 한편, 차량 장치(100)에 임베디드된 메모리의 경우 휘발성 메모리(예: DRAM(dynamic RAM), SRAM(static RAM), 또는 SDRAM(synchronous dynamic RAM) 등), 비휘발성 메모리(non-volatile Memory)(예: OTPROM(one time programmable ROM), PROM(programmable ROM), EPROM(erasable and programmable ROM), EEPROM(electrically erasable and programmable ROM), mask ROM, flash ROM, 플래시 메모리(예: NAND flash 또는 NOR flash 등), 하드 드라이브, 또는 솔리드 스테이트 드라이브(solid state drive(SSD)) 중 적어도 하나로 구현될 수 있다. 또한, 차량 장치(100)와 통신 가능한 메모리의 경우 메모리 카드(예를 들어, CF(compact flash), SD(secure digital), Micro-SD(micro secure digital), Mini-SD(mini secure digital), xD(extreme digital), MMC(multi-media card) 등), USB 포트에 연결가능한 외부 메모리(예를 들어, USB 메모리) 등과 같은 형태로 구현될 수 있다.
일 예에 따라 메모리(120)는 차량 장치(100)를 제어하기 위한 적어도 하나의 인스트럭션(instruction) 또는 인스트럭션들을 포함하는 컴퓨터 프로그램을 저장할 수 있다.
다른 예에 따라 메모리(120)는 차량 장치(100)를 구동/제어하기 위한 다양한 데이터, 프로그램 또는 애플리케이션을 저장할 수 있다. 차량 장치(100)는 차량 장치(100) 및 프로세서(130)의 제어를 위한 제어 프로그램, 제조사에서 최초 제공되거나 외부에서부터 다운로드 받은 애플리케이션, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다. 예를 들어, 메모리(120)는 일 실시 예에 따라 졸음 조건을 판단하기 위한 뇌파 데이터 조건, 안구 데이터 조건, 다양한 피드백 알림, 다양한 가이드 알림 등의 정보를 저장할 수 있다.
다른 예에 따라, 메모리(120)는 복수의 레이어를 포함하는 인공 신경망 모델에 관한 정보를 저장할 수 있다. 여기서, 인공 신경망 모델에 관한 정보를 저장한다는 것은 인공 신경망 모델의 동작과 관련된 다양한 정보, 예를 들어 인공 신경망 모델에 포함된 복수의 레이어에 대한 정보, 복수의 레이어 각각에서 이용되는 파라미터(ex: 필터 계수, 바이어스 등)에 대한 정보 등을 저장한다는 것을 의미할 수 있다. 예를 들어, 메모리(120)는 일 실시 예에 따라 운전자의 졸음 상태 여부에 대한 정보를 획득하도록 학습된 인공 신경망 모델에 대한 정보를 저장할 수 있다. 다만, 프로세서(130)가 인공 신경망 모델 전용 하드웨어로 구현되는 경우, 인공 신경망 모델에 관한 정보는 프로세서(130)의 내부 메모리에 저장될 수도 있다.
다만, 다른 실시 예에 따르면, 인공 신경망 모델은 서버와 같은 외부 장치에 저장될 수 있고, 차량 장치(100)는 운전자 촬영 영상을 외부 장치로 전송하여 외부 장치로부터 운전자의 졸음 상태 여부에 대한 정보를 획득하는 것도 가능하다.
일 실시 예에 따르면, 메모리(120)는 본 개시에 따른 다양한 동작들에서 생성되는 데이터를 저장하는 단일 메모리로 구현될 수 있다. 다만, 다른 실시 예에 따르면, 메모리(120)는 상이한 타입의 데이터를 각각 저장하거나, 상이한 단계에서 생성되는 데이터를 각각 저장하는 복수의 메모리를 포함하도록 구현될 수도 있다.
프로세서(130)는 카메라(110) 및 메모리(120)와 전기적으로 연결되어 차량 장치(100)의 전반적인 동작을 제어한다. 프로세서(130)는 하나 또는 복수의 프로세서로 구성될 수 있다. 구체적으로, 프로세서(130)는 메모리(미도시)에 저장된 적어도 하나의 인스트럭션(instruction)을 실행함으로써, 본 개시의 다양한 실시 예에 따른 차량 장치(100)의 동작을 수행할 수 있다.
일 실시 예에 따라 프로세서(130)는 디지털 영상 신호를 처리하는 디지털 시그널 프로세서(digital signal processor: DSP), 마이크로 프로세서(microprocessor), GPU(Graphics Processing Unit), AI(Artificial Intelligence) 프로세서, NPU(Neural Processing Unit), TCON(Time controller)으로 구현될 수 있다. 다만, 이에 한정되는 것은 아니며, 중앙처리장치(Central Processing Unit: CPU), MCU(Micro Controller Unit), MPU(Micro Processing Unit), 컨트롤러(controller), 애플리케이션 프로세서(application processor: AP), 또는 커뮤니케이션 프로세서(communication processor: CP), ARM 프로세서 중 하나 또는 그 이상을 포함하거나, 해당 용어로 정의될 수 있다. 또한, 프로세서(130)는 프로세싱 알고리즘이 내장된 SoC(System on Chip), LSI(large scale integration)로 구현될 수도 있고, ASIC(application specific integrated circuit), FPGA(Field Programmable Gate Array) 형태로 구현될 수도 있다.
또한, 일 실시 예에 따른 인공 신경망 모델을 실행하기 위한 프로세서(130)는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공 지능 전용 프로세서와 소프트웨어의 조합을 통해 구현될 수 있다. 프로세서(130)는, 메모리(120)에 저장된 기 정의된 동작 규칙 또는 인공 신경망 모델에 따라, 입력 데이터를 처리하도록 제어할 수 있다. 또는, 프로세서(130)가 전용 프로세서(또는 인공 지능 전용 프로세서)인 경우, 특정 인공 신경망 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다. 예를 들어, 특정 인공 신경망 모델의 처리에 특화된 하드웨어는 ASIC, FPGA 등의 하드웨어 칩으로 설계될 수 있다. 프로세서(130)가 전용 프로세서로 구현되는 경우, 본 개시의 실시 예를 구현하기 위한 메모리를 포함하도록 구현되거나, 외부 메모리를 이용하기 위한 메모리 처리 기능을 포함하도록 구현될 수 있다.
프로세서(130)는 카메라(110)를 통해 획득된 운전자 촬영 영상에 기초하여 운전자가 졸음 상태인지 판단하고, 운전자가 졸음 상태라고 판단되면, 졸음 상태에 대응되는 피드백을 제공할 수 있다. 여기서, 운전자 촬영 영상은, 운전자의 뇌파 데이터 및 운전자의 안구 데이터에 대한 정보와 관련된 영상일 수 있다.
일 실시 예에 따라 프로세서(130)는 뇌파 측정부(140)를 통해 획득된 운전자의 뇌파 데이터 및 운전자 촬영 영상으로부터 획득된 운전자의 안구 데이터에 기초하여 운전자가 졸음 상태인지 여부를 판단할 수 있다.
구체적으로, 프로세서(130)는 운전자의 뇌파 데이터를 처리하여 PSD(Power Spectral Density) 뇌파 데이터를 획득하고, 운전자 촬영 영상으로부터 획득된 운전자의 안구 데이터에 기초하여 눈 깜박임 데이터를 획득할 수 있다. 이어서, 프로세서(130)는 눈 깜박임 데이터에 기초하여 운전자가 기 설정된 시간 이상 눈을 감고 있는 것으로 판단되면, 운전자가 졸음 상태라고 판단하고, 운전자가 기 설정된 시간 이상 눈을 감고 있지 않은 경우 PSD 뇌파 데이터가 특정 조건을 만족하면, 운전자가 졸음 상태라고 판단할 수 있다.
이 경우 뇌파 측정부(140)는 운전자의 뇌파를 감지하여 이를 프로세서(130)에 전달할 수 있다. 일 예에 따라 뇌파 측정부(140)는 뇌파 측정 센서, 증폭부 및 AD 변환부를 포함할 수 있다. 여기서, 뇌파 측정 센서는 운전자의 실시간 뇌파 신호를 생성할 수 있다. 증폭부는 뇌파 신호를 증폭하고 뇌파 측정시 통상적으로 수행되는 60Hz 교류 전류에 대한 필터링을 수행할 수 있다. AD 변환부는 증폭되고 필터링된 뇌파 신호를 아날로그 형태에서 디지털 형태로 변환할 수 있다. 이 경우, 변환된 뇌파 신호는 뇌파 측정부(140)에 구비된 소정의 인터페이스를 통해 프로세서(130)로 전달될 수 있다.
일 예에 따라 뇌파 측정부(140)는 운전자의 두부에 착용가능한 다양한 형태로 구현 가능하다. 예를 들어, 운전자의 두부에 탈착 가능한 밴드 또는 헤드셋 타입으로 구현될 수 있다. 또한, 뇌파 측정부(140)는 복수의 전극부를 포함할 수 있다. 적어도 하나의 전극부는 운전자의 뇌의 측두엽과 후두엽에서 발생하는 뇌파를 검출하도록 배치되고, 다른 적어도 하나의 전극부는 운전자의 뇌의 전두엽과 후두엽에서 발생하는 뇌파를 검출하도록 배치될 수 있으나, 반드시 이에 한정되는 것은 아니다.
일 실시 예에 따라 프로세서(130)는 뇌파 측정부(140)를 통해 획득된 운전자의 뇌파 데이터를 처리하여 PSD(Power Spectral Density) 뇌파 데이터를 획득할 수 있다. 여기서, PSD(Power Spectral Density)는 랜덤 진동(Random vibration)을 독립 변수 주파수로 나타내는 함수로, 주파수에 따른 에너지의 강도를 나타낼 수 있다. 예를 들어, 단위 주파수 당 에너지 정도(Watt/Hz)로 나타내어질 수 있으나, 이에 한정되는 것은 아니다. PSD 데이터에서는 시간에 따른 파형에서 어느 주파수의 파형이 많은지 판단 가능할 수 있게 된다.
또한, 프로세서(130)는 카메라(110)를 통해 운전자의 안구 데이터에 기초하여 눈 깜박임 데이터를 획득할 수 있다.
일 예에 따라, 프로세서(130)는 카메라(110)를 통해 촬영된 영상에서 얼굴 영역을 검출하고, 얼굴 영역에서 안구 영역을 검출하여 안구 데이터를 획득할 수 있다. 얼굴 영역 검출 방법으로는 기존의 다양한 방식들이 이용될 수 있다. 구체적으로, 직접 인식 방법과 통계를 이용한 방법이 이용될 수 있다. 직접 인식 방법은, 얼굴 영상의 윤곽 피부색 및 구성요소의 크기나 서로 간의 거리 등의 물리적인 특징을 이용한 규칙을 만들고 그 규칙에 따라 비교, 검사 및 측정한다. 통계를 이용한 방법은, 미리 학습된 알고리즘에 따라 얼굴 영역을 검출할 수 있다. 즉, 입력된 얼굴이 가지고 있는 고유의 특징들을 데이터화하여 준비된 대량의 데이터베이스(ex: 얼굴과 그 외의 사물의 형체들)과 비교 분석하는 방법이다. 특히, 미리 학습된 알고리즘에 따라 얼굴 영역을 검출할 수 있는데, MLP(Multi Layer Perceptron)와 SVM(Support Vector Machine)과 같은 방식이 이용될 수 있다. 또는, 얼굴 모델링(face modeling) 기술을 통해 촬영 영상으로부터 안구 영상을 식별한다. 이때, 얼굴 모델링 기술은 얼굴 영상의 가공 처리 및 전송을 위한 디지털 정보로 변환하는 분석 과정으로, ASM(Active Shape Modeling) 기법 및 AAM(Active Appearance Modeling) 기법 중 적어도 하나가 이용될 수 있다.
프로세서(130)는 촬영 영상에서 안구 영역, 즉 안구 데이터가 획득되면, DTM(Distance Threshold Method) 기법을 이용하여 안구의 가로 및 세로의 종횡비를 계산하여 안구 데이터로부터 눈 깜박임 데이터를 획득할 수 있다. 이에 대한 자세한 설명은 도면을 참조하여 후술한다.
일 실시 예에 따라 프로세서(130)는 눈 깜박임 데이터에 기초하여 운전자가 기 설정된 시간 이상 눈을 감고 있는 것으로 판단되면, 운전자가 졸음 상태라고 판단할 수 있다. 여기서, 기 설정된 시간은 미리 정해질 수 있다. 예를 들어, 기 설정된 시간은 2초일 수 있으나, 이에 한정되는 것은 아니다. 일 예로 기 설정된 시간은 운전자의 운전 상태에 기초하여 결정되는 것도 가능하다. 예를 들어, 프로세서(130)는 운전자의 운전 중 상태를 기록한 운전 상태 히스토리에 기초하여 운전자가 졸음 상태라고 판단할 수 있는 임계 시간을 결정할 수 있다.
또한, 프로세서(130)는 운전자가 기 설정된 시간 이상 눈을 감고 있지 않은 경우 PSD 뇌파 데이터가 특정 조건을 만족하면 운전자가 졸음 상태라고 판단할 수 있다. 이 경우, 특정 조건은, (αH + αL )/ θ> 1 및 αH > αL, αH > δ, θ > δ 및 αH>β 를 만족하는 조건일 수 있다. 여기서, αH 는 High-alpha wave, αL 은 Low-alpha wave, δ는 delta wave, β는 beta wave, θ는 theta wave일 수 있다. 이에 대한 자세한 설명은 도면을 참조하여 후술한다.
다른 실시 예에 따라 프로세서(130)는 학습된 인공 신경망 모델을 이용하여 운전자의 졸음 여부를 판단할 수 있다. 일 예에 따라 인공 신경망 모델은 RNN(Recurrent Neural Network), CNN(Convolutional Neural Network), RBM(Restricted Boltzmann Machine), DBN(Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크(Deep Q-Networks) 등으로 구현될 수 있으나, 이에 한정되지 않는다.
구체적으로, 프로세서(130)는 카메라(110)를 통해 획득된 운전자 촬영 영상을 인공 신경망 모델에 입력하여 운전자가 졸음 상태인지 판단하고, 운전자가 졸음 상태라고 판단되면, 졸음 상태에 대응되는 피드백을 제공할 수 있다. 일 예에 따라 운전자 촬영 영상은 운전자의 정면 전신, 얼굴 및 기타 환경 등이 포함된 영상일 수 있다.
여기서, 인공 신경망 모델은, 복수의 학습용 운전자 영상 및 복수의 학습용 운전자 영상 각각에 대응되는 뇌파 데이터를 입력 데이터로 하고, 졸음 여부에 대한 정보를 출력 데이터로 하여 학습된 모델일 수 있다.
이어서, 프로세서(130)는 운전자가 졸음 상태라고 판단되면, 졸음 상태에 대응되는 피드백을 제공할 수 있다. 일 예에 따라 프로세서(130)는 운전자가 졸음 상태라고 판단되면, 운전자에게 경고 알람, 가이드를 제공하거나, 자율 주행 모드로 전환할 수 있다. 일 예에 따라 자율 주행 모드로 전환하여 갓길 주차, 긴급 정지 등을 수행할 수 있다.
일 예로, 프로세서(130)는 경고 알람 제공 후, 운전자의 상태가 회복되지 않는 것으로 판단되면 자율 주행 모드로 전환할 수 있다.
다른 예로, 프로세서(130)는 운전자 상태의 레벨에 따라 경고 알람 만을 제공하거나, 또는 경고 알람과 동시에 바로 자율 주행 모드로 전환하는 것도 가능하다.
또 다른 예로, 프로세서(130)는 차량의 속도가 임계값 이상인 경우 경고 알람과 동시에 차량의 주행 속도를 제어할 수 있다. 이 경우, 프로세서(130)는 전자 제어 유닛(Electronic Control Unit: ECU)을 이용하여 차량의 주행 속도를 제어할 수 있다.
한편, 경고 알람은 소리 알람, 햅틱 알람, 시각적 알람(ex: 강한 조명 등) 등과 같이 다양한 형태로 제공될 수 있다. 구체적으로, 스피커(ex: 카 오디오, AV 시스템, 네비게이션 또는 텔레매틱스 단말기의 스피커 등)를 통해 사람의 음성 또는 기 설정된 알람 소리를 출력하여 소리 알람을 제공할 수 있다. 일 예로, 운전석 시트 또는 핸들에 설치된 진동 장치를 통해 햅틱 알람을 제공할 수 있다. 다른 예로, 차량 내부에 설치된 LED 조명등을 점등하여 시각적 알람을 제공할 수 있다.
도 2는 일 실시 예에 따른 눈 깜박임 데이터 획득 방법을 설명하기 위한 도면이다.
구체적으로, 도 2는 DTM(Distance Threshold Method) 기법을 이용하여 안구의 가로 및 세로의 종횡비를 계산하여 눈 깜박임 데이터를 획득하는 방법을 나타낸다.
도 2에 도시된 바와 같이 안구 영역의 각 포인트 간 거리에 기초하여 눈 깜박임을 나타내는 데이터를 획득할 수 있다.
예를 들어, 도시된 바와 같이 안구 영역의 복수의 포인트 P1, P2, P3, P4, P5, P6 중 대응되는 포인트를 매칭하고, 매칭된 포인트들 간의 거리에 기초하여 안구의 가로 및 세로의 종횡비를 계산할 수 있다. 다음의 [수학식 1]은 일 예에 따른 안구의 가로 및 세로의 종횡비 계산 방법을 나타내는 수식이다.
Figure PCTKR2022014222-appb-img-000001
[수학식 1]과 같은 수식에 의해 획득된 안구의 가로 및 세로의 종횡비에 기초하여 도 2에 도시된 바와 같이 눈 깜박임 데이터를 획득할 수 있다. 또한, 눈 깜박임 데이터에서 평균값과, 눈 감은 상태의 임계값을 획득할 수 있게 된다.
도 3, 도 4, 도 5a 및 도 5b는 일 실시 예에 따른 뇌파 데이터 분석 방법을 설명하기 위한 도면들이다.
일반적으로 인간의 뇌파는 깊은 수면시에 델타(Delta)파의 뇌파가 발생하고, 수면으로 이어지는 과정, 즉, 졸음시에는 세타(Theta)파의 뇌파가 발생하고, 휴식 상태일 때나 스트레스 없이 일을 처리할 수 있을 때는 알파(Alpha)파의 뇌파가 발생하며, 흥분 또는 긴장 상태일 때는 베타(Beta)파의 뇌파가 발생한다. 따라서, 특정 상황마다 인간의 뇌파가 다른 주파수, 다른 파형을 나타내는 뇌파를 발생시킨다는 점에 착안하여 운전자의 졸음 상태를 판단할 수 있다.
예를 들어, 도 3에 도시된 바와 같이 운전자에게 졸음이 발생하는 순간 눈을 감는 특성이 검출되고, 뇌파의 wave fluctuation에서 변화가 발생하였다. 이 경우 뇌파 데이터를 이산 푸리에 변환(Discrete Fourier Transform: DFT) 기법을 활용하여 분석할 수 있다.
예를 들어, 도 4에 도시된 바와 같이 운전자에게 졸음이 발생하면 후두엽 부근(O1, O2 영역) 뇌파에서 특정 주파수 대역의 뇌파가 활성화되는 것을 확인할 수 있다. 또한, 일반 상태의 졸음과 운전 상태의 졸음을 구분하여 하기 [표 1]과 같은 PSD 뇌파의 주파수 대역 분류 기준에 따라 운전상 졸음 특성을 추출할 수 있다. 또한, 운전자 졸음 판단을 위한 보조 지표로서 운전자 눈 깜박임 데이터를 추출할 수 있다.
PSD 뇌파 분류 주파수(Hz)
Delta (δ) 0.5~4
Theta (θ) 4~8
Low-alpha (αL ) 8~10
High-alpha (αH) 10~13
Beta (β) 13~30
도 5a는 일반 상태의 졸음 여부에 따른 뇌파 특성을 나타내고 도 5b는 운전 상태의 졸음 여부에 따른 뇌파 특성을 나타낸다.
전 환경이라는 상황의 특수성으로 인하여 활성화되는 하이-알파 파(High-alpha wave)와 로우-알파 파(Low-alpha wave)의 특성의 변화가 상이한 것을 확인할 수 있다.
예를 들어, 도 5a에 도시된 바와 같이 일반 졸음 상태에서는 로우-알파 파와 하이-알파 파 모두가 활성화되었지만, 도 5b에 도시된 바와 같이 운전 졸음 상태일 때는 로우-알파 파는 비활성화되고 하이-알파 파만 활성화됨을 확인할 수 있다. 또한, 알파 파 이외에도 다른 뇌파 데이터들의 활성화 특성이 졸음 환경에 따라 변화함을 확인할 수 있다. 예를 들어, 도 5a에 도시된 바와 같이 베타파는 일반 졸음 시 비활성화되었으나, 도 5b에 도시된 바와 같이 운전 상태 졸음에서는 주행 작업으로 인해 베타파가 활성화되는 경향을 확인할 수 있다. 이에 따라 뇌파 데이터들 간의 관계성 분석을 통하여 운전이라는 특수 환경에서의 졸음 판단을 수행할 수 있다.
분석에 기초하여 PSD 뇌파 졸음 조건을 하기 [표 2]와 같이 정의할 수 있다.
PSD 뇌파 졸음 조건
(αH + αL )/ θ> 1 및 αH > αL
αH > δ
θ > δ
αH > β
여기서, αH 는 High-alpha wave, αL 은 Low-alpha wave, δ는 delta wave, β는 beta wave, θ는 theta wave일 수 있다.
한편, 다른 예에 따라 PSD 뇌파 데이터 및 눈 깜박임 데이터 뿐만 아니라, 추가 정보가 졸음 상태 여부를 판단하는데 이용될 수도 있다. 여기서, 추가 정보는, 운전 환경 정보(ex: 날씨 정보, 온도 정보, 습도 정보 등), 운전자 프로필 정보(ex: 성별, 나이 등) 등 다양한 정보가 될 수 있다.
도 6a 및 도 6b는 일 실시 예에 따른 인공 신경망 모델의 학습 방법을 설명하기 위한 도면들이다.
일 실시 예에 따르면, 인공 신경망 모델(10)은 입력 훈련 데이터 및 출력 훈련 데이터 쌍에 기초하여 학습되거나, 입력 훈련 데이터에 기초하여 학습될 수 있다. 여기서, 인공 신경망 모델이 학습된다는 것은, 기본 인공 신경망 모델(예를 들어, 임의의 랜덤한 파라미터를 포함하는 인공 신경망 모델)이 학습 알고리즘에 의하여 다수의 훈련 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공 신경망 모델이 만들어짐을 의미한다. 이러한 학습은 차량 장치(100)를 통해 이루어질 수 있으나, 이에 한정되는 것은 아니며 별도의 서버 및/또는 시스템을 통해 이루어질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다. 다만, 이는 지도 학습의 경우를 예를 든 것이며, 출력 데이터를 이용하지 않고 입력 데이터 만을 입력하여 인공 신경망 모델을 학습시키는 비지도 학습에 기초하여 인공 신경망 모델을 학습시킬 수 있음은 물론이다.
예를 들어, 인공 신경망 모델은 Input layer, Hidden layer, Out layer, 활성화 함수(f)로 구성될 수 있다.
여기서, 활성화 함수(f)는 선형, 시그모이드(sigmoid) 또는 쌍곡탄젠트 함수(tanh), ReLU(Rectified Linear Unit) 함수 등으로 구현 가능하다. 예를 들어, Hidden layer와 Out layer의 활성화 함수는 각각 sigmoid 및 ReLU로 구현될 수 있으나, 이에 한정되는 것은 아니다.
일 예에 따라 학습 데이터는 무작위로 혼합되어 인공 신경망 모델의 학습에 이용될 수 있다. 다만, 학습 데이터의 일부는 인공 신경망 모델의 검증에 이용될 수도 있다. 예를 들어, 학습 데이터의 80%는 훈련에 이용되고, 나머지 20%는 검증에 이용될 수 있다.
일 예에 따라 인공 신경망 모델의 학습은 서버 등과 같은 외부 장치에서 수행될 수 있다. 다만, 차량 장치(100) 자체에서 인공 신경망 모델의 학습이 수행되는 것도 가능하다. 이하에서는 설명의 편의를 위하여 차량 장치(100)의 프로세서(130)가 인공 신경망 모델의 학습을 수행하는 실시 예를 상정하여 설명하도록 한다.
일 실시 예에 따라 프로세서(130)는 뇌파 데이터가 특정 조건을 만족하는 학습용 운전자 영상 각각에 대해 졸음 상태를 맵핑하고, 뇌파 데이터가 특정 조건을 만족하지 않는 학습용 운전자 영상 각각에 대해 비졸음 상태를 맵핑하여 인공 신경망 모델을 학습시킬 수 있다. 여기서, 맵핑이란 도 6a에 도시된 바와 같이 입력 훈련 데이터(ex: 학습용 운전자 영상) 및 출력 훈련 데이터(ex: 졸음 상태 여부) 쌍을 의미할 수도 있으나, 도 6b에 도시된 바와 같이 라벨링된 입력 훈련 데이터(ex: 학습용 운전자 영상-졸음 상태 여부)를 의미할 수도 있다.
일 예에 따라 프로세서(130)는 기 설정된 시간 구간에서 눈을 감고 있는 시간이 임계 시간 이상인 학습용 운전자 영상 중 뇌파 데이터가 특정 조건을 만족하는 영상에 대해 졸음 상태를 맵핑하고, 나머지 영상에 대해 비졸음 상태를 맵핑하여 인공 신경망 모델을 학습시킬 수 있다. 여기서, 기 설정된 시간 구간은 5초이고, 임계 시간은 3초일 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 프로세서(130)는 5초 크기의 영상을 1초 간격으로 sliding 시키며 3초 이상 눈을 감고 있는지 여부로 학습용 운전자 영상을 분류할 수 있으나, 수치는 반드시 이에 한정되는 것은 아니다.
여기서, 특정 조건은 PSD(Power Spectral Density) 뇌파 데이터가 (αH +αL )/ θ> 1 및 αH > αL, αH > δ, θ > δ 및 αH>β를 만족하는 조건일 수 있다. 여기서, αH 는 High-alpha wave, αL 은 Low-alpha wave, δ는 delta wave, β는 beta wave, θ는 theta wave일 수 있다.
한편, 학습에 이용되는 뇌파 데이터 및 눈 깜박임 데이터의 획득 방법은, 상술한 뇌파 데이터 및 눈 깜박임 데이터의 획득 방법과 동일/유사하다. 이에 따라 해당 구성에 대한 자세한 설명은 생략한다. 다만, 상술한 실시예 및 하기 실시 예에서는 차량 장치(100)에 구비된 프로세서(130)가 주체인 것으로 설명하였지만, 인공 신경망 모델의 학습 및/또는 학습에 이용되는 훈련 데이터, 관련 정보의 획득은 외부 장치에서 수행될 수 있음은 물론이다.
일 예에 따라 프로세서(130)는 PSD 뇌파 데이터 및 눈 깜박임 데이터 중 적어도 하나에 기초하여 학습용 운전자 영상에 대한 라벨링을 수행할 수 있다.
예를 들어, 학습용 운전자 영상 중 뇌파 데이터가 특정 조건을 만족하는 영상에 대해 졸음 상태로 라벨링하고, 나머지 영상에 대해 비졸음 상태를 라벨링하여 인공 신경망 모델을 학습시킬 수 있다. 또는, 기 설정된 시간 구간에서 눈을 감고 있는 시간이 임계 시간 이상인 학습용 운전자 영상 중 뇌파 데이터가 특정 조건을 만족하는 영상에 대해 졸음 상태로 라벨링하고, 나머지 영상에 대해 비졸음 상태를 라벨링하여 인공 신경망 모델을 학습시킬 수 있다. 여기서, 기 설정된 시간 구간은 5초, 임계 시간은 2초 또는 3초일 수 있으나, 이에 한정되는 것은 아니다.
도 7은 일 실시 예에 따른 학습용 데이터를 설명하기 위한 도면이다.
일 예에 따라 운전 모사 환경을 구축하고, 운전 모사 환경에서 주행 중 발생하는 운전자의 생체 데이터 및 영상 데이터를 획득하여 인공 신경망 모델의 학습에 이용할 수 있다. 운전 모사 환경에는 IR camera, Normal camera, Depth camera와 같은 영상 데이터 획득을 위한 장치, EEG, EOG, EMG, ECG, RSP, PPG, GSR, SKT와 같은 생체 데이터 획득을 위한 장치, Driving platform 등과 운전 환경 모사 장비 등이 이용될 수 있다. 일 예에 따라, 운전자 얼굴을 추출한 boundary box의 좌표에 생체 데이터 및 영상 데이터로 도출한 운전자 졸음 상태 조건을 라벨링할 수 있다. 라벨링된 운전자 영상 데이터는 기설정된 크기(ex: 416 × 416)의 픽셀 이미지로 크기가 변환되어 훈련 데이터로 이용될 수 있다. 도 7은 획득된 운전자의 생체 데이터 및 영상 데이터의 일 예를 나타낸다.
다만, 이에 한정되는 것은 아니며, 학습용 데이터는 운전자의 영상 데이터 및 생체 데이터(ex: 뇌파 데이터)를 맵핑할 수 있는 데이터라면 다양한 경로(ex: 데이터 서버)를 통해 획득 가능함은 물론이다.
도 8은 일 실시 예에 따라 학습된 인공 신경망 모델의 동작을 설명하기 위한 도면이다.
도 8에 도시된 바와 같이 학습된 인공 신경망 모델(10')은, 운전자 촬영 영상이 입력되면, 졸음 상태 여부에 대한 정보를 출력할 수 있다.
일 예에 따라 학습된 인공 신경망 모델(10')은 졸음 상태에 대응되는 확률값을 출력할 수 있다. 예를 들어 프로세서(130)는 학습된 인공 신경망 모델(10')로부터 출력되는 졸음 상태에 대응되는 확률값에 기초하여 운전자의 졸음 상태 여부를 판단할 수 있다.
이 경우, 인공 신경망 모델(10')의 출력 부분은 softmax 처리가 가능하도록 구현될 수 있다. 여기서, softmax는 입력받은 값을 0~1 사이 값으로 모두 정규화하며 출력값들의 총합을 항상 1로 만드는 함수로, 각 class 별, 예를 들어 졸음 상태, 비졸음 상태 등에 대응되는 확률값을 출력하는 기능을 할 수 있다. 경우에 따라 인공 신경망 모델(10')의 출력 부분은 Argmax 처리가 가능하도록 구현될 수 있다. Argmax는 다수의 label 중에서 가장 가능성 높은 것을 선택해 주는 함수로, 여기에서는 각 class 별 확률값을 확률값 중에서 가장 큰 값을 가지는 비율을 선택해 주는 기능을 할 수 있다. 즉, 인공 신경망 모델(10')은 각각의 출력 부분이 Argmax 처리되어 있는 경우, 가장 높은 확률값을 가지는 상태 정보(예를 들어 졸음 상태) 만이 출력될 수 있게 된다.
한편, 다른 실시 예에 따르면, 운전자 촬영 영상 뿐만 아니라 추가 정보가 운전자의 졸음 상태 판단에 이용될 수 있다.
일 예에 따라 운전자 촬영 영상과 함께 추가 정보가 인공 신경망 모델(10')로 입력되고, 해당 정보가 졸음 상태 여부에 대한 정보를 출력하는데 이용될 수도 있다. 여기서, 추가 정보는 운전 환경 정보(ex: 날씨 정보, 온도 정보, 습도 정보 등), 운전자 프로필 정보(ex: 성별, 나이 등) 등 다양한 정보가 될 수 있다. 다만, 이러한 추가 정보가 적용되는 경우, 인공 신경망 모델(10')의 학습에 해당 추가 정보가 이용되어야 함은 물론이다.
도 9는 일 실시 예에 따른 본 개시의 효과를 설명하기 위한 도면이다.
본 개시의 일 실시 예에 따른 인공 신경망 모델은 운전자의 눈, 입의 특징 뿐만 아니라 운전자의 얼굴 전체 영역을 학습 데이터로 입력하여 학습될 수 있다. 이에 따라 운전자의 자세, 얼굴 각도와 상관없이 운전자의 졸음 여부를 판단할 수 있게 된다. 예를 들어, 도 9에 도시된 바와 같이 다양한 각도의 운전자 얼굴에 대해서도 졸음 여부를 판단할 수 있다. 또한, 운전자가 눈을 감지 않고 졸음 운전을 하는 경우도 판단할 수 있다.
도 10은 일 실시 예에 따른 차량 장치의 세부 구성을 나타내는 도면이다.
도 10에 따르면, 차량 장치(100')는 카메라(110), 메모리(120), 프로세서(130), 뇌파 측정부(140), 스피커(150), 사용자 인터페이스(160), 통신 인터페이스(170) 및 디스플레이(180)를 포함한다. 도 10에 도시된 구성들 중에서 도 1에 도시된 구성과 중복되는 구성에 대해서는 자세한 설명을 생략한다.
스피커(150)는 프로세서(130)에서 처리된 각종 오디오 데이터 뿐만 아니라 각종 알림음이나 음성 메시지 등을 출력하는 구성요소일 수 있다. 일 예에 따라, 프로세서(130)는 본 개시의 다양한 실시 예에 따른 경고 알림을 출력하도록 스피커(150)를 제어할 수 있다.
통신 인터페이스(160)는 다양한 외부 장치와 통신을 수행하기 위한 구성으로, 무선 통신 모듈, 예를 들어, Wi-Fi 모듈, 블루투스 모듈 등을 포함할 수 있다. 다만, 이에 한정되는 것은 아니며, 통신 인터페이스(160)는 상술한 통신 방식 이외에 지그비(zigbee), 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), LTE-A(LTE Advanced), 4G(4th Generation), 5G(5th Generation)등과 같은 다양한 무선 통신 규격, 적외선 통신(IrDA, infrared Data Association) 기술 등에 따라 통신을 수행할 수도 있다. 그 밖에 다양한 유선 통신 인터페이스(ex: USB 단자)를 포함할 수 있다.
사용자 인터페이스(170)는 다양한 사용자 명령을 입력받기 위한 구성으로, 차량 장치(100')의 구현 예에 따라 버튼, 터치 패드, 휠 등으로 구현 가능하다.
디스플레이(180)는 자발광 소자를 포함하는 디스플레이, 또는 비자발광 소자 및 백라이트를 포함하는 디스플레이로 구현될 수 있다. 예를 들어, LCD(Liquid Crystal Display), OLED(Organic Light Emitting Diodes) 디스플레이, LED(Light Emitting Diodes), 마이크로 LED(micro LED), Mini LED, PDP(Plasma Display Panel), QD(Quantum dot) 디스플레이, QLED(Quantum dot light-emitting diodes) 등과 같은 다양한 형태의 디스플레이로 구현될 수 있다. 디스플레이(130) 내에는 a-si TFT, LTPS(low temperature poly silicon) TFT, OTFT(organic TFT) 등과 같은 형태로 구현될 수 있는 구동 회로, 백라이트 유닛 등도 함께 포함될 수 있다. 한편, 디스플레이(180)는 터치 센서와 결합된 터치 스크린, 플렉시블 디스플레이(flexible display), 롤러블 디스플레이(rollable display), 3차원 디스플레이(3D display), 복수의 디스플레이 모듈이 물리적으로 연결된 디스플레이 등으로 구현될 수 있다. 또한, 디스플레이(180)는 터치 스크린을 내장하고 있어, 손가락 또는 펜(ex: 스타일러스 펜)을 이용하여 프로그램을 실행시킬 수 있도록 구현될 수 있다.
한편, 차량 장치(100')는 마이크(미도시)를 더 포함할 수 있다. 마이크는 사용자 음성이나 기타 소리를 입력받아 오디오 데이터로 변환하기 위한 구성요소이다. 예를 들어, 본 개시의 다양한 실시 예와 관련된 사용자 음성 명령이 마이크(미도시)를 통해 수신될 수 있다.
도 11은 일 실시 예에 따른 차량 제어 방법을 설명하기 위한 흐름도이다.
도 11에 도시된 차량 제어 방법에 따르면, 운전자의 뇌파 데이터를 처리하여 PSD(Power Spectral Density) 뇌파 데이터를 획득한다(S1110). 또한, 안구 데이터에 기초하여 눈 깜박임 데이터를 획득한다(S1120). 다만, S1110 및 S1120의 순서는 이에 한정되는 것은 아니며, 동시에 또는 다른 순서로 수행될 수 있음은 물론이다.
이어서, 눈 깜박임 데이터에 기초하여 운전자가 기 설정된 시간 이상 눈을 감고 있는지 판단한다(S1130).
운전자가 기 설정된 시간 이상 눈을 감고 있는 것으로 판단되면(S1130-Yes), 운전자가 졸음 상태라고 판단한다(S1140).
운전자가 기 설정된 시간 이상 눈을 감고 있지 않은 것으로 판단되면(S1130-No), PSD 뇌파 데이터가 특정 조건을 만족하는지 판단한다(S1150). 여기서, 특정 조건은 (αH +αL )/ θ> 1 및 αH > αL, αH > δ, θ > δ 및 αH>β를 만족하는 조건일 수 있다. 여기서, αH 는 High-alpha wave, αL 은 Low-alpha wave, δ는 delta wave, β는 beta wave, θ는 theta wave일 수 있다.
PSD 뇌파 데이터가 특정 조건을 만족하는 것으로 판단되면(S1150-Yes), 운전자가 졸음 상태라고 판단한다(S1140).
이후, 졸음 상태에 대응되는 피드백을 제공한다(S1160).
한편, S1120 단계에서는 DTM(Distance Threshold Method) 기법을 이용하여 안구의 가로 및 세로의 종횡비를 계산하여 안구 데이터로부터 눈 깜박임 데이터를 획득할 수 있다.
또한, S1160 단계에서는 운전자에게 경고 알람을 제공하거나, 자율 주행 모드로 전환할 수 있다. 또는 S1160 단계에서는 운전자에게 경고 알람을 제공하고 이와 동시에 자율 주행 모드로 전환하는 것도 가능하다.
도 12는 다른 실시 예에 따른 차량 제어 방법을 설명하기 위한 흐름도이다.
도 12에 도시된 차량 장치의 제어 방법에 따르면, 우선 카메라를 통해 획득된 운전자 촬영 영상을 학습된 인공 신경망 모델에 입력하여 운전자가 졸음 상태인지 판단한다(S1210).
이어서, S1210의 판단 결과에 기초하여 운전자가 졸음 상태라고 판단되면, 졸음 상태에 대응되는 피드백을 제공한다(S1220).
여기서, 인공 신경망 모델은, 복수의 학습용 운전자 영상 및 복수의 학습용 운전자 영상 각각에 대응되는 뇌파 데이터를 입력 데이터로 하고, 졸음 상태 여부에 대한 정보를 출력 데이터로 하여 학습된 모델일 수 있다.
또한, 제어 방법은, 뇌파 데이터가 특정 조건을 만족하는 학습용 운전자 영상 각각에 대해 졸음 상태를 맵핑하고, 뇌파 데이터가 특정 조건을 만족하지 않는 학습용 운전자 영상 각각에 대해 비졸음 상태를 맵핑하여 인공 신경망 모델을 학습시키는 단계를 더 포함할 수 있다. 여기서, 특정 조건은 PSD(Power Spectral Density) 뇌파 데이터가 (αH +αL )/ θ> 1 및 αH > αL, αH > δ, θ > δ 및 αH>β를 만족하는 조건이며, αH 는 High-alpha wave, αL 은 Low-alpha wave, δ는 delta wave, β는 beta wave, θ는 theta wave일 수 있다.
또한, 제어 방법은, 기 설정된 시간 구간에서 눈을 감고 있는 시간이 임계 시간 이상인 학습용 운전자 영상 중 뇌파 데이터가 특정 조건을 만족하는 학습용 운전자 영상에 대해 졸음 상태를 맵핑하고, 나머지 학습용 운전자 영상에 대해 비졸음 상태를 맵핑하여 인공 신경망 모델을 학습시키는 단계를 더 포함할 수 있다.
또한, S1210 단계에서는 운전자 촬영 영상 및 추가 정보를 인공 신경망 모델에 입력하여 운전자가 졸음 상태인지 판단할 수 있다. 여기서, 추가 정보는, 운전 환경 정보 또는 운전자 프로필 정보 중 적어도 하나를 포함할 수 있다.
한편, 경우에 따라 운전자의 안구 전도(EOG)를 측정하는 EOG 센서 및 운전자의 광용적맥파(PPG)를 측정하는 PPG 센서 등을 이용하여 졸음 운전 판단에 보조 지표로 활용할 수도 있다.
또한, 상술한 실시 예에서는 졸음 상태 여부를 식별하는 경우에 대해서만 설명하였지만, 경우에 따라서는 PSD 뇌파 데이터 및/또는 눈 깜박임 데이터에 기초하여 운전자의 졸음 상태 뿐만 아니라 다양한 상태, 예를 들어, 부주의, 긴장, 피로, 또는 스트레스 상태 등을 검출하여 이에 기초하여 대응되는 맞춤형 피드백을 제공하는 것도 가능하다.
상술한 다양한 실시 예에 따르면, 운전자의 상태를 정확하게 판단하고 그에 대응되는 맞춤형 자극 및/또는 경고를 제공할 수 있게 된다. 또한, 운전자의 눈 뿐만 아니라 다른 얼굴 특징으로부터 운전자의 졸음 여부를 판단할 수 있다. 이에 따라, 운전자의 다양한 자세, 다양한 얼굴 각도 등과 상관없이 운전자의 졸음 여부를 판단할 수 있게 된다. 또한, 눈을 감지 않고 조는 경우에도 운전자의 졸음 여부를 정확하게 판단할 수 있다. 이에 따라 운전자를 위험으로부터 보호할 수 있다.
한편, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 차량 장치에 설치 가능한 어플리케이션 형태로 구현될 수 있다. 또는 상술한 본 개시의 다양한 실시 예들에 따른 방법들은 딥 러닝 기반의 인공 신경망(또는 심층 인공 신경망), 즉, 학습 네트워크 모델을 이용하여 수행될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들에 따른 방법들은, 기존 차량 장치에 대한 소프트웨어 업그레이드, 또는 하드웨어 업그레이드 만으로도 구현될 수 있다.
또한, 상술한 본 개시의 다양한 실시 예들은 차량 장치에 구비된 임베디드 서버, 또는 차량 장치의 외부 서버를 통해 수행되는 것도 가능하다.
한편, 본 개시의 일시 예에 따르면, 이상에서 설명된 다양한 실시 예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장 매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
또한, 본 개시의 일 실시 예에 따르면, 이상에서 설명된 다양한 실시 예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
또한, 상술한 다양한 실시 예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시 예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시 예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상에서는 본 개시의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 개시는 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에서 청구하는 본 개시의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 개시의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

Claims (10)

  1. 차량 장치에 있어서,
    카메라;
    적어도 하나의 명령을 저장하는 메모리; 및
    상기 적어도 하나의 명령을 실행함으로써,
    상기 카메라를 통해 획득된 운전자 촬영 영상에 기초하여 운전자가 졸음 상태인지 판단하고,
    상기 운전자가 상기 졸음 상태라고 판단되면, 상기 졸음 상태에 대응되는 피드백을 제공하는 프로세서; 를 포함하며,
    상기 프로세서는,
    상기 운전자 촬영 영상과 관련된 운전자의 뇌파 데이터 및 운전자의 안구 데이터에 기초하여 상기 운전자가 졸음 상태인지 판단하는, 차량 장치.
  2. 제1항에 있어서,
    뇌파 측정부; 를 더 포함하며,
    상기 뇌파 측정부를 통해 획득된 운전자의 뇌파 데이터를 처리하여 PSD(Power Spectral Density) 뇌파 데이터를 획득하고,
    상기 운전자 촬영 영상으로부터 획득된 상기 운전자의 안구 데이터에 기초하여 눈 깜박임 데이터를 획득하고,
    상기 눈 깜박임 데이터에 기초하여 상기 운전자가 기 설정된 시간 이상 눈을 감고 있는 것으로 판단되면, 상기 운전자가 졸음 상태라고 판단하고,
    상기 운전자가 상기 기 설정된 시간 이상 눈을 감고 있지 않은 경우 상기 PSD 뇌파 데이터가 특정 조건을 만족하면, 상기 운전자가 졸음 상태라고 판단하는, 차량 장치.
  3. 제1항에 있어서,
    상기 메모리는,
    학습된 인공 신경망 모델을 저장하며,
    상기 프로세서는,
    상기 카메라를 통해 획득된 운전자 촬영 영상을 상기 인공 신경망 모델에 입력하여 상기 운전자가 졸음 상태인지 판단하며,
    상기 인공 신경망 모델은,
    복수의 학습용 운전자 영상 및 상기 복수의 학습용 운전자 영상 각각에 대응되는 뇌파 데이터를 입력 데이터로 하고, 졸음 상태 여부에 대한 정보를 출력 데이터로 하여 학습된 모델인, 차량 장치.
  4. 제3항에 있어서,
    상기 프로세서는,
    기 설정된 시간 구간에서 눈을 감고 있는 시간이 임계 시간 이상인 학습용 운전자 영상 중 뇌파 데이터가 특정 조건을 만족하는 영상에 대해 졸음 상태를 맵핑하고, 나머지 영상에 대해 비졸음 상태를 맵핑하여 상기 인공 신경망 모델을 학습시키는, 차량 장치.
  5. 제3항에 있어서,
    상기 프로세서는,
    상기 운전자 촬영 영상 및 추가 정보를 상기 인공 신경망 모델에 입력하여 상기 운전자가 졸음 상태인지 판단하며,
    상기 추가 정보는,
    운전 환경 정보 또는 운전자 프로필 정보 중 적어도 하나를 포함하는, 차량 장치.
  6. 제2항에 있어서,
    상기 프로세서는,
    DTM(Distance Threshold Method) 기법을 이용하여 안구의 가로 및 세로의 종횡비를 계산하여 상기 안구 데이터로부터 상기 눈 깜박임 데이터를 획득하는, 차량 장치.
  7. 제2항 또는 제5항에 있어서,
    상기 특정 조건은,
    (αH +αL )/ θ> 1 및 αH > αL, αH > δ, θ > δ 및 αH>β를 만족하는 조건이며,
    αH 는 High-alpha wave, αL 은 Low-alpha wave, δ는 delta wave, β는 beta wave, θ는 theta wave인, 차량 장치.
  8. 차량 장치의 제어 방법에 있어서,
    카메라를 통해 획득된 운전자 촬영 영상에 기초하여 운전자가 졸음 상태인지 판단하는 단계; 및
    상기 운전자가 상기 졸음 상태라고 판단되면, 상기 졸음 상태에 대응되는 피드백을 제공하는 단계; 를 포함하며,
    상기 운전자가 졸음 상태인지 판단하는 단계는,
    상기 운전자 촬영 영상과 관련된 운전자의 뇌파 데이터 및 운전자의 안구 데이터에 기초하여 상기 운전자가 졸음 상태인지 판단하는, 제어 방법.
  9. 제8항에 있어서,
    상기 운전자가 졸음 상태인지 판단하는 단계는,
    상기 운전자의 뇌파 데이터를 처리하여 PSD(Power Spectral Density) 뇌파 데이터를 획득하고,
    상기 운전자 촬영 영상으로부터 획득된 운전자의 안구 데이터에 기초하여 눈 깜박임 데이터를 획득하고,
    상기 눈 깜박임 데이터에 기초하여 상기 운전자가 기 설정된 시간 이상 눈을 감고 있는 것으로 판단되면, 상기 운전자가 졸음 상태라고 판단하고,
    상기 운전자가 상기 기 설정된 시간 이상 눈을 감고 있지 않은 경우 상기 PSD 뇌파 데이터가 특정 조건을 만족하면, 상기 운전자가 졸음 상태라고 판단하는, 제어 방법.
  10. 제8항에 있어서,
    상기 운전자가 졸음 상태인지 판단하는 단계는,
    상기 운전자 촬영 영상을 학습된 인공 신경망 모델에 입력하여 상기 운전자가 졸음 상태인지 판단하며,
    상기 인공 신경망 모델은,
    복수의 학습용 운전자 영상 및 상기 복수의 학습용 운전자 영상 각각에 대응되는 뇌파 데이터를 입력 데이터로 하고, 졸음 상태 여부에 대한 정보를 출력 데이터로 하여 학습된 모델인, 제어 방법.
PCT/KR2022/014222 2021-10-29 2022-09-23 인공 지능을 이용하여 운전자의 상태를 판단하는 차량 장치 및 그 제어 방법 WO2023075161A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2021-0147299 2021-10-29
KR1020210147299A KR102520188B1 (ko) 2021-10-29 2021-10-29 인공 지능을 이용하여 운전자의 상태를 판단하는 차량 장치 및 그 제어 방법

Publications (1)

Publication Number Publication Date
WO2023075161A1 true WO2023075161A1 (ko) 2023-05-04

Family

ID=85984768

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014222 WO2023075161A1 (ko) 2021-10-29 2022-09-23 인공 지능을 이용하여 운전자의 상태를 판단하는 차량 장치 및 그 제어 방법

Country Status (2)

Country Link
KR (1) KR102520188B1 (ko)
WO (1) WO2023075161A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116807478A (zh) * 2023-06-27 2023-09-29 常州大学 一种驾驶员瞌睡开始状态检测方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100028253A (ko) * 2008-09-04 2010-03-12 재단법인대구경북과학기술원 운전 보조 장치 및 운전 보조 방법
KR20150037251A (ko) * 2013-09-30 2015-04-08 엘지전자 주식회사 착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법
JP2019068935A (ja) * 2017-10-06 2019-05-09 カルソニックカンセイ株式会社 眠気度予測装置及び眠気度予測方法
KR101993189B1 (ko) * 2018-02-09 2019-06-26 충북대학교 산학협력단 영상 처리를 이용한 졸음 운전 방지 장치 및 그 구동 방법
KR20190130925A (ko) * 2018-05-15 2019-11-25 연세대학교 원주산학협력단 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100958166B1 (ko) * 2007-08-13 2010-05-14 부산대학교 산학협력단 졸음탐지장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100028253A (ko) * 2008-09-04 2010-03-12 재단법인대구경북과학기술원 운전 보조 장치 및 운전 보조 방법
KR20150037251A (ko) * 2013-09-30 2015-04-08 엘지전자 주식회사 착용형 컴퓨팅 디바이스 및 사용자 인터페이스 방법
JP2019068935A (ja) * 2017-10-06 2019-05-09 カルソニックカンセイ株式会社 眠気度予測装置及び眠気度予測方法
KR101993189B1 (ko) * 2018-02-09 2019-06-26 충북대학교 산학협력단 영상 처리를 이용한 졸음 운전 방지 장치 및 그 구동 방법
KR20190130925A (ko) * 2018-05-15 2019-11-25 연세대학교 원주산학협력단 뇌활동 반영 자율신경계 신호 기반 집중도 또는 피로도 또는 졸음 모니터링 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116807478A (zh) * 2023-06-27 2023-09-29 常州大学 一种驾驶员瞌睡开始状态检测方法、装置及设备

Also Published As

Publication number Publication date
KR102520188B1 (ko) 2023-04-10

Similar Documents

Publication Publication Date Title
Dasgupta et al. A smartphone-based drowsiness detection and warning system for automotive drivers
Chang et al. Design and implementation of a drowsiness-fatigue-detection system based on wearable smart glasses to increase road safety
Li et al. Detection of driver manual distraction via image-based hand and ear recognition
Hossain et al. IOT based real-time drowsy driving detection system for the prevention of road accidents
Karuppusamy et al. Multimodal system to detect driver fatigue using EEG, gyroscope, and image processing
CN109389806B (zh) 基于多信息融合的疲劳驾驶检测预警方法、系统及介质
CN112016457A (zh) 驾驶员分神以及危险驾驶行为识别方法、设备和存储介质
US9105172B2 (en) Drowsiness-estimating device and drowsiness-estimating method
WO2023075161A1 (ko) 인공 지능을 이용하여 운전자의 상태를 판단하는 차량 장치 및 그 제어 방법
US20210394369A1 (en) Healthcare robot and control method therefor
EP3412200A1 (en) Skin condition detection method, electronic apparatus, and skin condition detection system
Poursadeghiyan et al. Determination the levels of subjective and observer rating of drowsiness and their associations with facial dynamic changes
Satish et al. Driver drowsiness detection
Khan et al. Real time eyes tracking and classification for driver fatigue detection
Phuong et al. An eye blink detection technique in video surveillance based on eye aspect ratio
Flores-Monroy et al. Visual-based real time driver drowsiness detection system using CNN
Sharara et al. A real-time automotive safety system based on advanced ai facial detection algorithms
EP4064113A1 (en) User information detection method and system, and electronic device
WO2023090618A1 (ko) 인공 지능을 이용하여 운전자의 주시 상태를 판단하는 차량 장치 및 그 제어 방법
Manjula et al. Driver inattention monitoring system based on the orientation of the face using convolutional neural network
CN115148336A (zh) 一种ai识别辅助下的心理疾病患者治疗效果的评估系统
CN109484330B (zh) 基于Logistic模型的新手驾驶员驾驶技能辅助提升系统
Geng et al. Real-time fatigue driving recognition system based on deep learning and embedded platform
Bulygin et al. Image-Based Fatigue Detection of Vehicle Driver: State-of-the-Art and Reference Model
Buscarino et al. Driving assistance using smartdevices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22887365

Country of ref document: EP

Kind code of ref document: A1