KR20180134310A - Appratus for controlling integrated supervisory of pilots status and method for guiding task performance ability of pilots using the same - Google Patents
Appratus for controlling integrated supervisory of pilots status and method for guiding task performance ability of pilots using the same Download PDFInfo
- Publication number
- KR20180134310A KR20180134310A KR1020180066212A KR20180066212A KR20180134310A KR 20180134310 A KR20180134310 A KR 20180134310A KR 1020180066212 A KR1020180066212 A KR 1020180066212A KR 20180066212 A KR20180066212 A KR 20180066212A KR 20180134310 A KR20180134310 A KR 20180134310A
- Authority
- KR
- South Korea
- Prior art keywords
- pilot
- signal
- state
- arousal
- information
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/486—Bio-feedback
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A61B5/0402—
-
- A61B5/0476—
-
- A61B5/0488—
-
- A61B5/0496—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/053—Measuring electrical impedance or conductance of a portion of the body
- A61B5/0531—Measuring skin impedance
- A61B5/0533—Measuring galvanic skin response
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/08—Detecting, measuring or recording devices for evaluating the respiratory organs
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
- A61B5/316—Modalities, i.e. specific diagnostic methods
- A61B5/369—Electroencephalography [EEG]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7235—Details of waveform analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Physiology (AREA)
- Psychiatry (AREA)
- Developmental Disabilities (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Psychology (AREA)
- Hospice & Palliative Care (AREA)
- Dermatology (AREA)
- Child & Adolescent Psychology (AREA)
- Educational Technology (AREA)
- Pulmonology (AREA)
- Biodiversity & Conservation Biology (AREA)
- Social Psychology (AREA)
- Cardiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Dentistry (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
Abstract
Description
본 발명은 조종사의 생체 신호에 영향을 미치는 주변 환경 정보를 반영하여 조종사의 각성 상태를 모니터링 함으로써 지속적인 조종 임무 수행 가능성을 예측하여 조종사의 각성 상태를 유지하도록 하는 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법에 관한 것이다.The present invention relates to an integrated monitoring and control apparatus for a pilot state in which a pilot's awakening state is maintained by predicting the possibility of continuous piloting mission by monitoring the arousal state of the pilot reflecting the surrounding environment information affecting the bio signal of the pilot, And a method for deriving the ability of the pilots to carry out their mission.
최근, 유인/무인 항공기의 기술이 발전함에 따라 조종사 역할의 중요성이 증대되고 있지만, 항공기 조종사들은 3D 공간 회전 등의 임무 복잡성, 장시간 비행으로 인한 임무 지속 시간 증가, 외부 환경에서 발생하는 강한 소음 및 진동 등으로 인해 피로도가 증가하고, 주의력이 저하되어 주된 임무인 비행에 집중하기 어려운 환경에 자주 노출되고 있다. Recently, as the technology of manned / unmanned airplanes develops, the role of pilots becomes more and more important. However, aircraft pilots are faced with complexity of mission such as 3D space rotation, increase of mission duration due to long flight, strong noise and vibration And fatigue are increasing, and attention is lowered, which is often exposed to environments where it is difficult to concentrate on the main mission, flight.
현재 무인 항공기 시장은 급속도로 성장하고 있지만, 사고율이 유인 항공기기에 비해 10~100배 이상의 높은 수치를 보이고 있고, 사고 원인의 38% 정도는 인적 요인에 의해 발생한다고 알려져 있다. Although the market for unmanned aerial vehicles is rapidly growing, the accident rate is 10 to 100 times higher than that of manned aviation equipment, and 38% of the causes of accidents are known to be caused by human factors.
조종사의 인지 상태 변화에 따른 유인/무인 항공기의 사고를 예방하기 위해 조종사의 신체 및 정신 상태에 대한 객관적 평가의 필요성이 증대되고 있다. 따라서, 유인/무인 항공기 조종사 및 운용자의 안전한 임무 수행과 사고 예방을 위해 객관적으로 조종사의 각성 상태를 평가할 수 있는 방법이 필요하다. In order to prevent manned / unmanned aircraft accidents due to changes in the perceived state of pilots, the need for objective evaluation of pilots' physical and mental conditions is increasing. Therefore, there is a need for a method of objectively evaluating the pilot's awakening status in order to perform safety tasks and prevent accidents of manned / unmanned aircraft pilots and operators.
종래에는 조종사의 주관적 판단 및 자기보고식 설문을 통해 조종사의 각성 상태를 평가하였는데, 이는 개인차로 인해 객관적 지표로 사용하기에 신뢰도가 낮으며, 조종사의 정확한 각성 상태 파악이 어렵다는 문제점이 있다. 또한, 조종사 상태에 따라 비행 시작 여부 및 운전 중단을 결정하는 것은 매우 중요하다. 그러나, 공군의 경우에 군사 분야의 특성상 개인의 주관적인 판단에 따라 비행 취소를 결정하는 것이 어렵고, 그로 인해 민용 항공기에 비해 사고 발생 가능성이 높을 수 밖에 없다는 문제점이 있다. Conventionally, the pilot's subjective state and self-report questionnaire were used to evaluate the arousal status of the pilot, which is unreliable for use as an objective indicator due to individual differences, and it is difficult to accurately grasp the arousal status of the pilot. It is also very important to determine whether to start and stop the flight according to the pilot status. However, in the case of the Air Force, it is difficult to decide to cancel the flight according to the subjective judgment of the individual due to the nature of the military field, and there is a problem that the possibility of an accident is high compared to a civil aircraft.
한편, 종래에는 객관적인 생화학 검사 방법을 사용하여 조종사의 각성 상태를 평가하는 방법이 제시되었다. 그러나, 혈청, 소변, 아드레날린, 코티졸 등을 이용한 생화학적 검사 방법은 조종사의 주의를 분산시키며, 비행 중에 조종사 상태의 실시간 감시가 불가능하다는 문제점이 있다. In the past, a method of evaluating the arousal state of a pilot using an objective biochemical test method has been proposed. However, biochemical testing methods using serum, urine, adrenaline, cortisol, etc. disturbs the attention of the pilots and it is impossible to monitor the pilot status in real time during flight.
이러한 문제점들을 해결하기 위해 다중 생체 신호를 이용한 조종사의 각성 상태를 평가하는 기술로서, 대한민국 등록특허 제10-1663922호(조종사 상태 모니터링 시스템) 및 대한민국 공개특허제10-2017-0000630호(조종사 생체 정보에 따른 임무 조정을 위한 항공 시스템)은 뇌파, 호흡, 맥박, 피부 전기활동, 심전도 등의 조종사의 생체 신호를 이용하여 비행중 각성 상태를 감지할 수 있는 기술을 개시하고 있다.In order to solve such problems, Korean Patent Registration No. 10-1663922 (Pilot Condition Monitoring System) and Korean Patent Laid-Open No. 10-2017-0000630 (Pilot Biometric Information ) Discloses a technique capable of detecting a waking state during flight using bio-signals of a pilot such as brain waves, respiration, pulse, skin electrical activity, electrocardiogram, and the like.
그러나, 종래의 다중 생체 신호를 이용한 조종사의 각성 상패를 평가하는 기술은 부주의한 인지 상태에 대해 주변 환경 요소를 고려하지 않고 있어 실제 비행 환경에 적용하기 어렵다는 문제점이 있다. 즉, 실제 비행 환경에서는 안개나 눈 등의 기상 악화 또는 높은 고도로 인해 평상시와 다른 패턴의 생체신호가 발생할 가능성이 높기 때문에 기존의 학습된 모델을 이용하여 조종사의 각성 상태를 감지할 경우, 실제 비행 환경 변화가 반영되지 않아 조종사의 상태를 정확히 인지하기 어렵게 된다. However, the conventional technique for evaluating a pilot's arousal plaque using bio-signals has a problem in that it is difficult to apply to the actual flying environment because the surrounding environment factors are not taken into consideration for the careless recognition state. In other words, in the actual flying environment, there is a high possibility that bio-signals of different patterns are generated due to weather deterioration such as fog or snow or high altitude. Therefore, when the pilot's awakening state is detected using the existing learned model, The change is not reflected and it becomes difficult to accurately recognize the pilot's condition.
또한, 종래의 다중 생체 신호를 이용한 조종사의 각성 상태를 평가하는 기술은 다중 생체신호들간의 상관 관계를 고려하지 않고, 각 생체신호를 독립적으로 분석하여 조종사의 각성 상태를 분석하고 있어 정확한 조종사의 상태를 파악하는데 한계가 있다. The conventional technique of evaluating the awakening state of the pilot using the multiple bio-signals analyzes the awakening state of the pilot by independently analyzing each bio-signal without considering the correlation between the multiple bio-signals, There is a limit in understanding.
대형 항공기의 경우, 조종사 상태에 따라 대형 사고가 유발될 수 있어 조종사 상태를 정확히 파악하여 사고를 미연에 방지하는 것이 매우 중요하다. 따라서, 조종사의 컨디션 및 정신 상태가 비행 임무 수행이 가능한 상황인지를 초기에 판단하고, 이를 지속적으로 감시할 수 있는 장치가 필요하다. In the case of large aircraft, it is very important to prevent accidents by precisely understanding the state of pilots because large accidents can be caused by the pilot status. Therefore, there is a need for an apparatus that can initially determine whether the condition and mental state of the pilot is capable of carrying out a flight mission and continuously monitor the condition.
대한민국 등록특허 제10-1663922호(조종사 상태 모니터링 시스템) Korean Patent No. 10-1663922 (Pilot Condition Monitoring System)
대한민국 공개특허제10-2017-0000630호(조종사 생체 정보에 따른 임무 조정을 위한 항공 시스템)Korean Patent Publication No. 10-2017-0000630 (aviation system for coordinating mission according to pilot bio information)
본 발명의 일 실시예는 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 하는 조종사의 다양한 생체 신호를 이용하여 각성 상태를 평가하는 각성 상태 평가 모델에 주변 환경 정보를 실시간 반영하여 조종사의 각성 상태에 따른 임무 수행 능력을 예측하고, 감각자극을 통해 조종사가 각성 상태를 유지할 수 있도록 하는 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법을 제공하고자 한다.In order to solve the above problems, an embodiment of the present invention provides a method for evaluating an arousal state of a pilot using a variety of bio-signals of a pilot, And to provide a pilot monitoring system capable of maintaining the alert state of the pilot through sensory stimulation and a method of deriving a pilot's mission performance capability using the same.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.It should be understood, however, that the technical scope of the present invention is not limited to the above-described technical problems, and other technical problems may exist.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 측면에 따른 조종사의 임무 수행 능력 유도 방법은, 조종사의 상태 정보에 기반하여 조종 대상체의 조정에 필요한 임무 수행 능력을 평가하는 조종사 상태의 통합 감시 제어 장치에 의해 수행되는 조종사의 임무 수행 능력 유도 방법에 있어서, 상기 조종 대상체의 제어 장치와 연계하여 주변 환경 정보를 측정하고, 조종사에 장착되는 센서 장치를 통해 뇌파 신호, 안구 움직임 신호, 피부 전기활동 신호, 호흡 측정 신호를 포함한 적어도 하나 이상의 생체신호를 측정하는 신호 측정 단계; 상기 조종 환경 정보를 조종사의 상태 평가를 위한 각성 상태 평가 모델에 실시간 반영하고, 상기 적어도 하나 이상의 생체 신호를 분석하여 개별 특징 정보를 추출한 후 상기 추출된 개별 특징 정보를 상기 각성 상태 평가 모델에 입력하여 조종사의 각성 상태와의 상관 관계 분석을 통해 융합 특징 정보를 산출하는 정보 산출 단계; 및 상기 융합 특징 정보를 이용하여 실시간 조종사의 각성 상태 수준을 평가하고, 상기 평가된 각성 상태 수준에 따라 각성 유도 피드백 신호를 제공하는 각성 상태 평가 및 피드백 제공 단계를 포함하는 것이다.According to an aspect of the present invention, there is provided a method for deriving a mission performance capability of a pilot according to an aspect of the present invention, including the steps of: A method for deriving a mission performance capability of a pilot performed by an integrated supervisory control device, comprising the steps of: measuring peripheral environment information in connection with a control device of the steering control object; A signal measurement step of measuring at least one or more biological signals including an electrical activity signal and a breathing measurement signal; The control environment information is reflected to an arousal state evaluation model for state evaluation of pilots in real time, and the individual feature information is extracted by analyzing the at least one bio-signal to input the extracted individual feature information into the arousal state evaluation model An information calculating step of calculating convergence feature information through correlation analysis with a pilot's arousal state; And evaluating an awake state level of a real-time pilot using the fusion feature information, and providing an arousal-inducing feedback signal according to the evaluated arousal state level.
본 발명의 다른 측면에 따른 조종사 상태의 통합 감시 제어 장치는, 조종사의 상태 정보에 기반하여 조종 대상체의 조정에 필요한 임무 수행 능력을 평가 및 유도하기 위한 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서를 포함하며, 상기 프로세서는, 상기 프로그램의 실행에 의해, 상기 조종 대상체의 제어 장치와 연계하여 조종 환경 변화 정보를 수집하고, 조종사에 장착되는 센서 장치를 통해 뇌파 신호, 안구 움직임 신호, 피부 전기활동 신호, 호흡 측정 신호를 포함한 적어도 하나 이상의 생체신호를 수집한 후 조종사의 상태 평가를 위한 각성 상태 평가 모델에 상기 조종 환경 정보를 실시간 반영하고, 상기 적어도 하나 이상의 생체 신호를 분석하여 개별 특징 정보를 추출한 후 상기 추출된 개별 특징 정보를 상기 각성 상태 평가 모델에 입력하여 조종사의 각성 상태와의 상관 관계 분석을 통해 융합 특징 정보를 산출하며, 상기 융합 특징 정보를 이용하여 실시간 조종사의 각성 상태 수준을 평가하고, 상기 평가된 각성 상태 수준에 따른 각성 유도 피드백 신호를 제공하는 것이다. According to another aspect of the present invention, there is provided an integrated monitoring and controlling apparatus for a pilot state, comprising: a memory for storing a program for evaluating and deriving a mission performance capability necessary for adjusting a steering target based on state information of a pilot; And a processor for executing the program, wherein the processor collects steering environment change information in cooperation with the control device of the steering target object by execution of the program, and transmits the EEG signal through the sensor device mounted on the pilot At least one biological signal including at least one biological signal including at least one biological signal, an eye movement signal, a skin electrical activity signal, and a respiration measurement signal, reflects the manipulation environment information in real time to an arousal state evaluation model for evaluating the state of the pilot, Extracting the individual feature information, inputting the extracted individual feature information to the arousal state evaluation model, and calculating the fusion feature information through correlation analysis with the arousal state of the pilot, Evaluating the level of arousal status of the pilot, And provides an arousal-induced feedback signal according to the state level.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 주변 환경 정보를 실시간 반영하고 다중 생체 신호 사이의 상관관계를 고려하여 조종사의 각성 상태를 분석함으로써 객관적으로 조종사의 각성 상태를 평가할 수 있고, 임무 수행 능력을 정량적으로 예측할 수 있어 현재 조종사 각성 상태에 적합한 피드백을 제공할 수 있다. According to any one of the above-described objects of the present invention, the awakening state of the pilot can be objectively evaluated by reflecting the surrounding environment information in real time and analyzing the arousal state of the pilot considering the correlation between the multiple bio- The ability to predict performance can be quantitatively predicted to provide feedback appropriate to current pilot awakening conditions.
또한, 본 발명은 조종사의 임무 투입 가능성 여부 및 지속적인 임무 수행이 가능성을 정량적으로 예측할 수 있고, 조종사의 각성 상태 수준에 따라 강도와 세기에 변화를 주면서 각성 유도에 필요한 피드백을 제공하여 사고를 미연에 방지할 수 있으며, 효율적인 조종대상체의 운용에 기여할 수 있다.In addition, the present invention can quantitatively predict the likelihood of a pilot's mission input and the possibility of continuous mission execution, provide feedback necessary to induce arousal while varying intensity and intensity according to the pilot's arousal state level, And can contribute to the efficient operation of the steering body.
도 1은 본 발명의 일 실시예에 따른 조종사 상태의 통합 감시 제어 장치를 설명하는 블록도이다.
도 2는 도 1의 일부 구성요소인 프로세서를 설명하는 블록도이다.
도 3은 본 발명의 일 실시예에 따른 조종사의 임무 수행 능력 유도 방법을 설명하는 순서도이다.
도 4는 도 3에 의해 조종사 각성 상태의 평가 및 유도를 위한 전체적인 흐름을 설명하는 도면이다.
도 5는 도 3의 정준 상관 관계 분석을 통한 변량 생성 과정을 설명하는 그래프이다.
도 6은 본 발명의 정준상관관계 분석을 통한 다중 생체신호 특징 융합 과정을 설명하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 각성 상태 평가 모델을 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 조종사의 각성 상태 유도를 위한 뉴로 피드백 흐름을 설명하는 도면이다.
도 9는 헤드 마운트 디스플레이 장치의 가상 환경을 이용한 조종사의 각성 상태 평가 시나리오를 설명하는 도면이다.FIG. 1 is a block diagram illustrating an integrated monitoring and controlling apparatus for a pilot state according to an embodiment of the present invention. Referring to FIG.
Figure 2 is a block diagram illustrating a processor that is part of Figure 1;
FIG. 3 is a flowchart illustrating a method of deriving a mission performance capability of a pilot according to an exemplary embodiment of the present invention.
Fig. 4 is a diagram for explaining an overall flow for evaluating and inducing the pilot arousal state by Fig. 3; Fig.
FIG. 5 is a graph illustrating a process of generating a variable through the canonical correlation analysis of FIG.
6 is a view for explaining a multi-bio signal characteristic fusion process through canonical correlation analysis of the present invention.
FIG. 7 is a diagram for explaining an arousal state evaluation model according to an embodiment of the present invention.
8 is a diagram illustrating a neurofeedback flow for deriving a pilot awakening state according to an embodiment of the present invention.
9 is a view for explaining a scenario of evaluating a pilot's awakening state using the virtual environment of the head-mounted display device.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 본 발명을 명확하게 설명하기 위해 도면에서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다. 또한, 도면을 참고하여 설명하면서, 같은 명칭으로 나타낸 구성일지라도 도면에 따라 도면 번호가 달라질 수 있고, 도면 번호는 설명의 편의를 위해 기재된 것에 불과하고 해당 도면 번호에 의해 각 구성의 개념, 특징, 기능 또는 효과가 제한 해석되는 것은 아니다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings, which will be readily apparent to those skilled in the art. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description in the drawings are omitted, and like parts are denoted by similar reference numerals throughout the specification. In the following description with reference to the drawings, the same reference numerals will be used to designate the same names, and the reference numerals are merely for convenience of description, and the concepts, features, and functions Or the effect is not limited to interpretation.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is referred to as being "connected" to another part, it includes not only "directly connected" but also "electrically connected" with another part in between . Also, when a component is referred to as "comprising ", it is understood that it may include other components as well as other components, But do not preclude the presence or addition of a feature, a number, a step, an operation, an element, a component, or a combination thereof.
본 명세서에 있어서 ‘부(部)’ 또는 ‘모듈’이란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 양방을 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다.Herein, the term " part " or " module " means a unit realized by hardware or software, a unit realized by using both, and a unit realized by using two or more hardware Or two or more units may be realized by one hardware.
도 1은 본 발명의 일 실시예에 따른 조종사 상태의 통합 감시 제어 장치를 설명하는 블록도이다.FIG. 1 is a block diagram illustrating an integrated monitoring and controlling apparatus for a pilot state according to an embodiment of the present invention. Referring to FIG.
도 1을 참고하면, 조종사 상태의 통합 감시 제어 장치(100)는 통신 모듈(110), 메모리(120), 프로세서(130) 및 데이터베이스 (140)를 포함한다.Referring to FIG. 1, an integrated
통신 모듈(110)은 통신망과 연동하여 사용자 단말에 통신 인터페이스를 제공하는데, 사용자 단말로부터 전송되는 데이터 요청을 수신하고, 이에 대한 응답으로서 사용자 단말에 데이터를 송신하는 역할을 수행할 수 있다. 여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.The
메모리(120)는 조종사의 임무 수행 능력 유도 방법을 수행하기 위한 프로그램이 기록된다. 또한, 메모리(120)는 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(120)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다. The
프로세서(130)는 조종사의 임무 수행 능력 유도 방법을 제공하는 전체 과정을 제어한다. 프로세서(130)가 수행하는 각 단계에 대해서는 도 2 및 도 3을 참조하여 후술하기로 한다.
여기서, 프로세서(130)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.Here, the
도 2 는 도 1의 일부 구성요소인 프로세서를 설명하는 블록도이다.Figure 2 is a block diagram illustrating a processor that is part of Figure 1;
도 2를 참고하면, 프로세서(130)는 주변 환경 정부 수집부(131), 생체신호 수집부(132), 특징정보 추출부(133), 신호 융합부(134), 각성 상태 평가부(135) 및 피드백 제어부(136)를 포함한다.2, the
주변 환경 정부 수집부(131)는 조종 대상체의 제어 장치(200)와 연계하여 광량정보, 비행 정보, 소음 정보 등의 주변 환경 정보를 수집한다. 주변 환경 정부 수집부(131)는 조종 대상체에 설치된 광량 센서, 속도 센서, 소음센서 등의 센서들을 이용하여 주변 환경 정보가 측정되면, 조종 대상체의 제어 장치(200)와 연계하여 센서에서 측정된 주변 환경 정보를 입력받게 된다. The surrounding
생체신호 수집부(132)는 조종사에 장착되는 센서 장치(300)를 통해 뇌파 신호, 안구 움직임 신호, 피부 전기활동 신호, 호흡 측정 신호를 포함한 적어도 하나 이상의 생체신호를 수집한다. The biological
센서 장치(300)는 10-20 국제 전극 배치 방법에 따라 Cz, c3, c4, Oz, 03, 04 등의 채널에서 뇌파 신호를 추출하는 뇌파 측정용 마이크로 칩이 내장된 헤드셋이나 헤드 밴드 등의 비침습적 센서, 심박수, 혈압, 맥박, 호흡 등을 측정하는 웨어러블 장치인 스마트 밴드, 조종사의 안구 둘레에 안구와 수평 또는 수직 방향이 되도록 부착되어 눈의 깜빡임 또는 안구 움직임 성분을 측정하는 복수 개의 센서 등을 포함한다. The
뇌파 신호는 시냅스의 전기적 활동에 따른 전기적 신호를 의미하는 것으로서, 뇌파의 주파수에 따른 대역별 특성, 시간 영역에서의 특성 등은 사용자가 어떤 의도 및 상태인지에 따라 변화하게 된다. 뇌파 신호는 주파수와 전압에 따라 델타파, 쎄타파, 알파파, 베타파, 감마파 등으로 나누어지고, 각 신호 범위에 따라 사용자의 상태 정보를 나타낸다. 예를 들어, 사람의 정신적 인지 인지 상태를 측정할 경우, 델타파, 쎄타파, 알파파, 감마파가 포함된 1~30Hz로 대역폭 필터링을 적용한다. The EEG signals are electrical signals according to the electrical activity of the synapses. The characteristics of the bands according to the EEG frequency and the characteristics in the time domain are changed according to the user's intention and state. EEG signals are divided into delta wave, theta wave, alpha wave, beta wave and gamma wave depending on the frequency and voltage, and the user's state information is displayed according to each signal range. For example, when measuring the mental cognitive status of a person, bandwidth filtering is applied at 1 to 30 Hz, including delta, theta, alpha, and gamma.
안구 움직임 신호는 안구 운동시 안구 주변 근육의 전기적 활동에 의해 발생되는 신호로서, 안구 둘레에 복수 개의 센서를 부착시켜 측정하고, 몸이나 머리의 움직임 등으로 인해 유발되는 신호의 잡음을 제거하기 위해 0.5~10Hz의 대역폭 필터링을 적용한다. 잡음이 제거된 안구 움직임 신호는 피로도에 따른 조종사의 눈 깜빡임 정도를 측정할 수 있도록 한다. The eye movement signal is a signal generated by the electrical activity of the muscles around the eye during eye movement. It is measured by attaching a plurality of sensors around the eyeball, and in order to eliminate the noise of the signal caused by the movement of the body or the head, Apply bandwidth filtering of ~ 10 Hz. The noise-canceled eye movement signal enables the pilot's eye flicker to be measured according to fatigue.
특징정보 추출부(133)는 복수의 생체 신호들 사이의 높은 상호 정보량을 가지는 변수를 선택하여 각 생체신호 별로 조종사 각성 상태와 관련이 높은 특징 정보를 추출한다. The
신호 융합부(134)는 추출된 개별 특징 정보들을 다중 생체 신호들 사이의 상관 관계를 고려하여 결합한 융합 특징 정보를 산출한다. The
각성 상태 평가부(135)는 주변 환경 정보를 실시간 반영하여 주변 환경에 강인한 분류기를 통해 조종사의 각성 상태를 분류한다. The arousal
피드백 제어부(136)는 평가된 조종사의 각성 상태 수준에 따라 적합한 피드백을 제공하여 조종사가 지속적으로 최적의 각성 상태를 유지할 수 있도록 한다. 예를 들어, 피로도가 높은 조종사의 집중도를 향상시키기 위해 SSVEP(Steady State Visually Evoked Potential) 등의 각성 뇌파 유도 자극을 제시한다. 또한, 피드백 제어부(136)는 현재 조종사의 각성 상태에 대한 뇌파 활성화를 시각화하여 조종사 스스로 각성 상태를 유도하는 뉴로 피드백 시스템을 포함한 감각자극 출력 장치(400)를 통해 조종사의 각성 상태를 유도할 수 있다. The
감각자극 출력 장치(400)는 감각 유도 피드백 신호 가 입력되면 화면에 뇌파 활성화 정도에 따라 색상에 변화를 줄 수 있는 헤드 마운트 디스플레이, 헤드 업 마운트 장치, 조종 대상체의 계기판 등을 이용한 시각적인 출력장치, 감각 유도 피드백 신호 가 입력되면 조종사의 각성 상태 수준에 따라 소리의 세기를 변화시키는 헤드폰이나 조종 대상체의 스피커 등의 청각적인 출력장치, 감각 유도 피드백 신호 가 입력되면 조종사의 각성 상태 수준에 따라 진동의 세기를 변화시키는 스마트 밴드 나 조종대상체의 의자 등이 촉각적인 출력장치를 포함한다. The sensory
한편, 데이터베이스(140)에는 수집된 주변 환경 정보, 생체 신호들, 조종사의 각성 상태 평가 결과 등이 저장된다. Meanwhile, the
도 3은 본 발명의 일 실시예에 따른 조종사의 임무 수행 능력 유도 방법을 설명하는 순서도이고, 도 4는 도 3에 의해 조종사 각성 상태의 평가 및 유도를 위한 전체적인 흐름을 설명하는 도면이며, 도 5는 도 3의 정준 상관 관계 분석을 통한 변량 생성 과정을 설명하는 그래프이다.FIG. 3 is a flowchart illustrating a method for deriving a mission performance capability of a pilot according to an embodiment of the present invention. FIG. 4 is a view for explaining an overall flow for evaluating and inducing a pilot awakening state by FIG. Is a graph for explaining the process of generating a variance through the canonical correlation analysis of FIG.
도 3및 도 4를 참고하면, 조종사의 임무 수행 능력 유도 방법은, 조종사의 신체에 부착된 센서 장치(300)를 통해 뇌파, 안구 움직임, 피부 전기활동, 호흡 등의 다양한 생체 신호를 수집한다(S310).3 and 4, the method of deriving the mission performance capability of the pilot collects various bio-signals such as brain waves, eye movement, skin electrical activity, respiration, etc. through the
프로세서(130)는 수집된 생체 신호에서 머리와 몸의 움직임 등에 의한 잡음 성분을 제거하는 신호 전처리 과정을 수행하고, 신호 전처리 과정을 거친 생체 신호를 분석하여 조종사의 각성 상태를 가장 잘 나타낼 수 있는 특징 정보를 추출한다(S320). The
프로세서(130)는 머리와 몸의 움직임 등에 의한 근육 움직임에 의한 잡음 신호의 시간-주파수 성분을 파악하여 안구 움직임 신호를 포함한 기타 생체 신호와 잡은 신호를 선형 분리하거나 독립 성분 분석법을 이용하여 잡음 신호를 제거한다. The
프로세서(130)는 잡은 신호를 제거한 생체 신호를 시간-공간 주파수 영역에서 분석하는데, 심박수, 혈압, 맥박 등의 물리적인 생체 신호는 정량적으로 평가 가능하며, 피부 전기 활동 신호, 안구 움직임 신호 및 뇌파 신호는 약 1500ms 정도의 이동창을 생성한 후 이동창을 실시간 이동하면서 각 구간 내에서 채널마다 진폭(Amplitude)값을 특징 정보로 각각 추출한다. The
조종사의 각성 상태 정도에 따라 생체 신호들 사이의 변화는 긴밀한 상관 관계를 가지고 있다. 따라서, 프로세서(130)는 다변량 사이의 상관 계수를 측정하기 위해 정준 상관 관계 분석을 수행하고, 정준 상관 관계 분석을 통해 다변량 사이의 상관 계수를 최대화할 수 있는 특징 조합 방식으로 다중 생체 신호의 특징 정보를 융합한 융합 특징 정보를 산출한다(S330).According to the level of the arousal state of the pilot, the changes between the biological signals have a close correlation. Accordingly, the
일반적으로, 상관 관계 분석 방법은 변량과 변량간의 관계 분석을 정량화하는 것으로서, 특정 생체 신호(변량 X)와 조종사의 각성 상태(변량 Y)에 대한 상관 관계 분석을 통해 연관성이 파악되면 특정 변량 X가 변화할 때 다른 변량 Y가 어떻게 변화하는지 예측이 가능하다. In general, the correlation analysis method quantifies the relationship between the variables and the variance. When the correlation is analyzed through the correlation analysis between the specific bio-signal (variance X) and the pilot's arousal state (variance Y) It is possible to predict how the other variable Y changes as it changes.
예를 들어, 심박수와 조종사의 피로 상태는 음이 상관 관계에 있기 때문에 조종사의 심박수가 상승하면 피로감이 저하된다. 심박수 80bpm(bit per minute)를 기준으로 심박수가 상승할 경우에 조종사의 피로감이 저하된 상태이고, 80bpm을 기준으로 심박수가 하강할 경우에 피로감이 상승한 상태라고 판단할 수 있다. For example, since heart rate and pilot fatigue state are negatively correlated, fatigue is reduced when the pilot's heart rate rises. Pilot fatigue is reduced when the heart rate rises based on a heart rate of 80 bpm (bit per minute), and fatigue is increased when the heart rate is lowered on the basis of 80 bpm.
정준 상관 관계 분석 방법(Canonical correlation Analysis, CCA)은 각 변수 그룹에 속한 변수들의 선형 결합의 상관계수를 이용하여 변량 X와 변량 Y간의 연관성을 최대하는 것이 가능하도록 변수 그룹들간의 연관성을 파악할 수 있다. 즉, 변량 X와 변량 Y이 관계성을 최대화하는 것이 가능한 변량 U와 변량 V를 생성하고, U=aX, V=bY로 표현한다. 여기서, a와 b는 선형결합들 사이의 상관관계가 최대가 되도록 하는 가중치를 나타낸다. Canonical Correlation Analysis (CCA) can use the correlation coefficient of the linear combination of variables belonging to each group of variables to determine the association between groups of variables so that it is possible to maximize the correlation between variance X and variance Y . That is, the variance U and the variance V capable of maximizing the relationship between the variance X and the variance Y are generated and expressed as U = aX, V = bY. Here, a and b represent weights that maximize the correlation between the linear combinations.
도 6은 본 발명의 정준상관관계 분석을 통한 다중 생체신호 특징 융합 과정을 설명하는 도면이다. 6 is a view for explaining a multi-bio signal characteristic fusion process through canonical correlation analysis of the present invention.
도 6을 참고하면, X={x1, x2, x3, …,xn}, Y={y1, y2, t3, …,ym}에 대한 정준 상관 관계 분석 시, 도 5에 도시된 바와 같이, a={a1, a2, a3, …,an}, b={b1, b2, b3, …, bm}이므로 U=aX={(a1, x1), (a2, x2), (a3, x3), …, (an, xn)}, V=bY={(b1, y1), (b2, y2), (b3, y3), …, (bn, ym)}이 된다. 여기서, x1, x2, …, xn은 심박수 정보, EEG 특징 정보, 호흡 정보, 피부 전기 활동 등의 생체 신호이고, y1, y2, …, ym은 조종사의 각성 상태 종류 또는 각성 상태 수준으로 정의할 수 있다. Referring to FIG. 6, X = {x1, x2, x3, ... , xn}, Y = {y1, y2, t3, ... , ym}, as shown in FIG. 5, a = {a1, a2, a3, ... , an}, b = {b1, b2, b3, ... , bm}, so U = aX = {(a1, x1), (a2, x2), (a3, x3), ... , (an, xn)}, V = bY = {(b1, y1), (b2, y2), (b3, , (bn, ym)}. Here, x1, x2, ... , xn is a biological signal such as heart rate information, EEG feature information, respiration information, and skin electrical activity, and y1, y2, ... , and ym can be defined as a pilot's awakening status level or awakening status level.
특정한 각성 상태를 인식할 경우, 각각의 생체 신호가 해당 각성 상태에 기여하는 정도가 다를 수 있지만, 단순한 선형 결합 등을 활용하여 상관 관계 분석을 수행하면 상관관계가 낮거나 없는 다중 생체 신호의 특징 정보로 인해 전체적인 평가 성능이 저하될 수 있다.When recognizing a specific awakening state, the degree of contribution of each bio-signal to the awakening state may be different. However, if correlation analysis is performed using a simple linear combination or the like, the characteristic information of the multi- The overall evaluation performance may be degraded.
따라서, 프로세서(130)는 다중 생체 신호와 특정한 각성 상태와의 관계성을 고려하여 특정 한 각성 상태와 높은 상관 관계에 있는 생체 신호를 각성 상태 평가 모델에 반영한다.Accordingly, the
예들 들어, EEG Power Spectrum Density (PSD), Galvanic Skin Response(GSR), 흡기 호흡량(RESP)으로 조종사의 각성 상태 중 피로도(Karolinska Sleepiness Scale, KSS)를 예측할 경우, PSD 120 dB, GSR 100 μS, 호흡량 100 mL일 때 KSS가 1이고, PSD 300 dB, GSR -200 μS, 호흡량 200 mL 일 때 KSS 9이며, PSD 200 dB, GSR -250 μS, 호흡량 150 mL일 때 KSS 4 라고 한다. For example, when estimating the fatigue (Karolinska Sleepiness Scale, KSS) of pilot awakening with EEG Power Spectrum Density (PSD), Galvanic Skin Response (GSR) and inspiratory volume (RESP),
PSD 250 dB, GSR 200 μS, 호흡량 160 mL 일 때 KSS 6을 예측하고자 할 때 모든 다중 생체 신호를 선형적으로 결합하여 활용한다면 KSS와 상관성이 없는 것으로 추정되는 GSR로 인해 각성 상태 평가에 대한 성능이 저하될 가능성이 있다. PSD 250 dB,
표 1은 가중치 벡터에 따라 KSS 값을 예측하기 위한 것으로서, 가중치는 Vec_n(w_1, w_2, w_3)이고, KSS와 상관성이 높은 EEG의 가중치를 높게 설정한 가중치 벡터는 Vec_n =PSD*w_1+ GSR * w_2 + RESP * w_3이라고 한다.Table 1 shows VEC_n (w_1, w_2, w_3) weighting vectors for predicting KSS values according to weight vectors, and weight vectors with high weights of EEG correlated with KSS are Vec_n = PSD * w_1 + GSR * w_2 + RESP * w_3.
[표 1][Table 1]
표 1에 나타나 있듯이, Vec_3의 경우, KSS값에 따라 총합이 선형적으로 증가하는 것을 알 수 있다. 이와 같이, 가중치 벡터는 각 변량에 대해 가중치가 일정할 때 보다 KSS와 상관성이 높은 EEG의 가중치가 높을 수록 총합의 연관성이 상승하게 된다. 프로세서(130)는 정준 상관 관계 분석 방법 외에도 가중치를 구하는 방법들을 활용하여 변량 간의 관계성을 극대화하는 것이 가능하다. As shown in Table 1, in the case of Vec_3, the sum is linearly increased according to the KSS value. Thus, as the weights of the EEGs, which are highly correlated with the KSS, are higher than when the weights are constant for each variable, the correlation of the summations increases. In addition to the canonical correlation analysis method, the
다시 도 3을 참조하면, 프로세서(130)는 주변 환경에 따라 조종사의 생체 신호 자체가 크게 변화할 수 있으므로, 생체 신호에 영향을 주는 주변 환경 정보들을 정량적으로 측정하여 각성 상태 평가 모델에 반영한다(S340). Referring again to FIG. 3, since the bio-signal of the pilot itself may vary greatly depending on the surrounding environment, the
즉, 광량의 감소로 인해 주변 시야가 어두워진 밤에 발현되는 생체 신호와 주변 환경이 매우 밝아 시야가 선명한 낮에 발현되는 생체 신호는 다양한 주변 환경 요인으로 인해 큰 차이가 발생할 수 있다. 따라서, 프로세서(130)는 광센서를 통해 측정된 광량 정보, 속도 센서를 통해 측정된 비행 정보 등을 수집하고, 이러한 주변 환경 정보에 의해 각성 상태 평가 모델의 성능 편차가 최소화될 수 있도록 주변 환경 정보를 정규화하여 각성 상태 평가 모델의 바이어스로 입력한다.In other words, a bio-signal generated at night where the peripheral vision is darkened due to a decrease in the light amount and a bright environment surrounding it may cause a large difference due to various environmental factors. Accordingly, the
도 7은 본 발명의 일 실시예에 따른 각성 상태 평가 모델을 설명하는 도면이다.FIG. 7 is a diagram for explaining an arousal state evaluation model according to an embodiment of the present invention.
도 7을 참고하면, 각성 상태 평가 모델은 다층 인공신경망 구조로서, 다층 인공 신경망은 입력층, 은닉층 및 출력층으로 구성된 뉴런들의 망이다. 이러한 각성 상태 평가 모델은 각 뉴런의 입력 신호에 가중치가 곱해진 값이 다음 뉴런으로 전달되는 과정들이 반복되어 최종 출력값을 내는 구조로 이루어져 있다.Referring to FIG. 7, the arousal state evaluation model is a multilayer artificial neural network structure, and the multilayer artificial neural network is a network of neurons composed of an input layer, a hidden layer, and an output layer. In this arousal state evaluation model, a process in which a value obtained by multiplying an input signal of each neuron by a weight is transmitted to a next neuron is repeated, and a final output value is given.
각성 상태 평가 모델은 순회 합성곱 신경망(Recurrent Convolutional Neural Network, RCNN) 모델로서 하기한 수학식 1을 이용하고, 주변 환경 정보는 수학식 2와 같이 바이어스에 입력되어 주변 환경 변화에 강인한 분류기가 되도록 설계된다.The arousal state evaluation model is a Recurrent Convolutional Neural Network (RCNN) model, which uses the following Equation 1, and the surrounding information is input to the bias as shown in Equation (2) to be a classifier robust to changes in the surrounding environment do.
[수학식 1][Equation 1]
[수학식 2]&Quot; (2) "
이러한 각성 상태 평가 모델은 공간적 특징 추출 사이에 시간에 따른 신호 변화를 탐지할 수 있도록 합성곱(Convolutional) 계층 사이에 순회 신경망 구조를 삽입하여 문맥적 정보를 반영한다. This arousal state estimation model reflects the contextual information by inserting a circulating neural network structure between convolutional layers so as to detect signal changes over time between spatial feature extraction.
다시 도 3을 참조하면, 프로세서(130)는 각성 상태 평가 모델을 이용하여 다양한 생체 신호의 특징 정보들이 융합된 융합 특징 정보를 통해 각성 상태를 분석하여 실시간 조종사의 각성 상태 수준을 평가한다(S350). 프로세서(130)는 AUC(Area Under Curve) 점수를 이용하여 수 ms의 시간 간격마다 조종사의 각성 상태를 평가하고, 개별적인 평가 정확성을 t-test 및 p-value 등이 통계적 기법으로 산출한다. Referring again to FIG. 3, the
조종사의 각성 상태는 주의력, 피로도, 정신적 작업 부하, 무의식 등을 포함하지만 이에 한정되지는 않는다. 여기서, 피로도는 졸음과 같이 직접적으로 신체 상태 변화를 유발하여 비행 임무 수행에 영향을 주는 것으로서, 특정 상황에 대한 인지 반응 속도와 주관적인 지표 등을 활용하여 측정 및 평가 가능하다. 주의력은 비행 임무 외의 기타 요인으로 인해 비행 임무 수행에 영향을 주는 것으로서 무전 교신이나 특정 시각 자극에 대한 반응 등을 활용하여 측정 및 평가 가능하며, 정신적 작업 부하는 계기판 판독과 같은 복잡한 비행 업무로 인해 항공기 제어 능력에 영향을 주는 것으로서 계기판 판독 난이도 및 정확도를 이용하여 측정 및 평가 가능하다. Pilot arousal status includes, but is not limited to, attention, fatigue, mental workload, and unconsciousness. Here, fatigue affects the performance of flight tasks by directly inducing physical condition changes such as drowsiness, and it can be measured and evaluated by using the speed of cognitive response to specific situations and subjective indicators. Attention can be measured and evaluated by using other factors besides flight mission, such as radio communication or response to specific visual stimuli, and mental workloads can be measured and evaluated by aircraft Which can be measured and evaluated by using the difficulty level and accuracy of the instrument panel.
이와 같이, 프로세서는 조종 대상체와 관련된 임무 수행 능력에 적합한 각성 상태 수준을 상관 관계의 분석 결과를 포함한 객관적 지표와 피로도 측정 결과 또는 설문 결과를 포함한 주관적 지표를 기준으로 단계별로 설정할 수 있다. In this way, the processor can set the awake state level suitable for the mission performance related to the steering object step by step based on objective indicators including the results of correlation analysis and subjective indicators including the results of fatigue measurement or questionnaire results.
그리고, 프로세서(130)는 각성 상태의 평가 결과에 따라 현재 조종사의 각성 상태가 높은 수준일 경우 임무 수행에 적합한 상태로 판단하고, 조종사의 각성 상태가 낮은 수준일 경우에 각성 상태 수준에 따라 적합한 감각 유도 피드백 신호 를 출력하여 조종사의 각성 상태를 높일 수 있도록 한다(S360, S370). In accordance with the evaluation result of the awakening state, the
예를 들어, 프로세서(130)는 장시간 비행 등의 이유로 피로도가 증가하고, 집중력이 저하된 조종사의 각성 상태를 유도하기 위해 감각 유도 피드백 신호를 발생한다. 이때, 프로세서(130)는 State Visually Evoked Potential(SSVEP), Steady State Auditory Evoked Potential(SSAEP), Steady State Somatosensory Evoked Potential(SSSEP) 등의 각성 뇌파 유도 자극 및 알람 형태의 자극 피드백이 포함된다. 뉴로 피드백은 각성 상태 정도와 관련된 뇌파 활성화 정도를 조종사가 실시간으로 확인하면서 본인 스스로 뇌파 생성 능력을 조절하도록 훈련하는 시스템을 포함한다.For example, the
도 8은 본 발명의 일 실시예에 따른 조종사의 각성 상태 유도를 위한 뉴로 피드백 흐름을 설명하는 도면이다.8 is a diagram illustrating a neurofeedback flow for deriving a pilot awakening state according to an embodiment of the present invention.
도 8에 도시된 바와 같이, 프로세서는 감각 유도 피드백 신호를 통해 뉴로 피드백 시스템에 전달하여 조종사의 각성을 유도하면서 실시간 뇌파 신호를 획득한다(S810, S820). 또한, 프로세서(130)는 각성 상태를 파악하기 위해 전두엽과 후두엽의 세타 및 알파 밴드에서 뇌파 신호를 측정하여 특징값을 추출하고, 각성 상태 평가 모델을 통해 학습된 분류기에 추출한 특징값 을 입력한다(S830, S840).As shown in FIG. 8, the processor transmits the sensed feedback signal to the neurofeedback system to induce the arousal of the pilot and acquires a real-time EEG signal (S810 and S820). The
프로세서(130)는 분류기에서 분류된 결과를 획득하고(S850), 현재 조종사의 각성 상태 수준, 즉 집중력 정도를 시각화하여 출력함으로써 조종사 스스로 뇌파를 조절하도록 한다(S860). 그리고, 프로세서(130)는 현재 조종사의 각성 상태 수준에 따라 실시간 조종사의 각성 상태 유도를 위한 감각 유도 피드백 신호를 생성하여 뉴로 피드백 시스템에 전달한다.The
뉴로 피드백 시스템 외에도 감각자극 출력 장치(400)는 스마트 워치 등의 웨어러블 디바이스, 조종 대상체 내의 디스플레이 수단 등을 이용하여 조종사의 임무 수행에 방해가 되지 않는 범위 내에서 시각 자극을 제공할 수 있다. 또한, 감각자극 출력 장치(400)는 경고음 등의 청각 자극, 진동 등의 촉각 자극 등의 다양한 형태로 자극을 제공할 수 있다. In addition to the neuro feedback system, the sensory
프로세서(130)는 데이터베이스(140)에 축적된 데이터를 이용하여 개인별 최적화된 조종사의 각성 상태의 분류기를 제공할 수 있으며, 새로운 조종사에서 향상된 분류기를 제공할 수 있다. 이때, 데이터베이스()에는 복수의 생체 신호, 생체 신호의 개별 특징 정보, 융합 특징 정보, 각성 상태 수준, 피드백 제어 과정 중 다양한 변수들 등이 저장된다. The
조종사의 각성 상태는 실제 비행이 아닌 가상 환경, 즉 시뮬레이션 환경, 헤드 마운트 디스플레이, 헤드 업 마운트의 증강/가상 현실 환경에서도 평가할 수 있다. Pilot arousal status can be evaluated in a virtual environment other than actual flight, ie, a simulation environment, a head mount display, or a head up mount enhancement / virtual reality environment.
도 9는 헤드 마운트 디스플레이 장치의 가상 환경을 이용한 조종사의 각성 상태 평가 시나리오를 설명하는 도면이다.9 is a view for explaining a scenario of evaluating a pilot's awakening state using the virtual environment of the head-mounted display device.
도 9에 도시된 바와 같이, 실제 비행 환경과 유사한 시각적 환경을 언제 어디서나 구축이 가능한 헤드 마운트 디스플레이 장치를 이용하여 조종사의 각성 상태를 평가할 수 있다. As shown in FIG. 9, the awakening state of the pilot can be evaluated by using a head mount display device capable of constructing a visual environment similar to an actual flying environment anytime and anywhere.
즉, 도 9의 (a)는 조종사에게 인식되는 화면이고, 도 9의 (b)는 헤드 마운트 디스플레이 장치에서 사용자에게 제공하는 화면으로서, 아이 트랙킹 기술을 활용하여 조종사 눈의 위치를 현재 조정/운영 상태 정보로 획득할 수 있고, 현재 조정/운영 상태 정보를 토대로 조종사의 다양한 생체 신호와 주변 환경 정보를 이용하여 각성 상태를 평가할 수 있다. 9 (a) is a screen recognized by the pilot, and FIG. 9 (b) is a screen provided to the user by the head-mounted display device, and the position of the pilot eye is currently adjusted / State information, and the awakening state can be evaluated using various bio-signals and surrounding information of the pilot based on the current adjustment / operation state information.
이와 같이, 본 발명은 유인/무인 항공기 외에도 대중교통, 자동차 등의 다양한 조종 대상체의 조종사들의 각성 상태를 객관적으로 평가할 수 있는 방법으로 활용될 수 있다. 또한, 조종사의 각성 상태에 대한 평가 결과를 기반으로 하여 임무 스케줄링이 가능하고, 조종사별로 최적의 임무 부여를 통해 임무 수행 효율 및 성공률을 향상시킬 수 있다. As described above, the present invention can be utilized as a method for objectively evaluating the arousal state of pilots of various maneuvering objects such as public transportation, automobiles, etc. in addition to manned / unmanned airplanes. In addition, it is possible to perform task scheduling based on the evaluation result of the arousal state of the pilot, and it is possible to improve the mission performance efficiency and the success rate through the optimal task assignments for each pilot.
이상에서 설명한 본 발명의 실시예에 따른 조종사의 임무 수행 능력 유도 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. The method of deriving the mission performance capability of the pilot according to the embodiment of the present invention described above may be implemented in the form of a recording medium including instructions executable by a computer such as a program module executed by a computer. Such a recording medium includes a computer-readable medium, which may be any available medium that can be accessed by a computer, and includes both volatile and non-volatile media, both removable and non-removable media. The computer-readable medium may also include computer storage media, which may be volatile and non-volatile, implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data , Both removable and non-removable media.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 조사 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.It will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the present invention as defined by the following claims. will be. It is therefore to be understood that the above-described embodiments are illustrative in all aspects and not restrictive. For example, each component described as a single entity may be distributed and implemented, and components described as being distributed may also be implemented in a combined form.
또한, 본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수도 있다.Furthermore, while the methods and systems of the present invention have been described in terms of specific embodiments, some or all of those elements or operations may be implemented using a computer system having a general purpose hardware architecture.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.It is intended that the present invention covers the modifications and variations of this invention provided they come within the scope of the appended claims and their equivalents. .
100: 조종사 상태의 통합 감시 제어 장치 110: 통신 모듈
120: 메모리 130: 프로세서
131 : 주변 환경 정보 수집부 132 : 생체신호 수집부
133 : 특징 정보 수집부 134 : 신호 융합부
135 : 각성 상태 평가부 136 : 피드백 제어부
200 : 조종대상체의 제어 장치 300 : 센서 장치
400 : 감각자극 출력장치100: Integrated supervisory control device of pilot state 110: Communication module
120: memory 130: processor
131: Ambient environment information collecting unit 132: Biological signal collecting unit
133: Feature information collecting unit 134: Signal fusion unit
135: Arousal state evaluation unit 136: Feedback control unit
200: Control device of the steering object 300: Sensor device
400: Sensory stimulation output device
Claims (14)
상기 조종 대상체의 제어 장치와 연계하여 주변 환경 정보를 측정하고, 조종사에 장착되는 센서 장치를 통해 뇌파 신호, 안구 움직임 신호, 피부 전기활동 신호, 호흡 측정 신호를 포함한 적어도 하나 이상의 생체신호를 측정하는 신호 측정 단계;
상기 조종 환경 정보를 조종사의 상태 평가를 위한 각성 상태 평가 모델에 실시간 반영하고, 상기 적어도 하나 이상의 생체 신호를 분석하여 개별 특징 정보를 추출한 후 상기 추출된 개별 특징 정보를 상기 각성 상태 평가 모델에 입력하여 조종사의 각성 상태와의 상관 관계 분석을 통해 융합 특징 정보를 산출하는 정보 산출 단계; 및
상기 융합 특징 정보를 이용하여 실시간 조종사의 각성 상태 수준을 평가하고, 상기 평가된 각성 상태 수준에 따라 각성 유도 피드백 신호를 제공하는 각성 상태 평가 및 피드백 제공 단계를 포함하는 것인, 조종사의 임무 수행 능력 유도 방법.A method of inducing a pilot's mission performance performed by an integrated supervisory control apparatus in a pilot state for evaluating a mission performance capability necessary for coordination of a pilot object based on state information of the pilot,
A signal for measuring at least one living body signal including an EEG signal, an eye movement signal, a skin electric activity signal, and a respiration measurement signal through a sensor device mounted on the pilot, Measuring step;
The control environment information is reflected to an arousal state evaluation model for state evaluation of pilots in real time, and the individual feature information is extracted by analyzing the at least one bio-signal to input the extracted individual feature information into the arousal state evaluation model An information calculating step of calculating convergence feature information through correlation analysis with a pilot's arousal state; And
Evaluating an awake state level of a real-time pilot using the convergence feature information, and providing an arousal-inducing feedback signal in accordance with the evaluated arousal state level, the method comprising: Induction method.
상기 정보 산출 단계는, 상기 각성 상태 평가 모델이 가중치와 바이어스 형태로 제공되고, 상기 조종 환경 정보를 바이어스로 입력하며, 상기 생체 신호별로 조종사의 각성 상태에 기여하는 정도를 가중치로 정의하는 것인, 조종사의 임무 수행 능력 유도 방법.The method according to claim 1,
Wherein the information calculating step defines the weight of the awake state evaluation model as a weight and a bias form, inputs the steering environment information as a bias, and defines a degree of contribution to the arousal state of the pilot according to the bio- A method of deriving pilots' ability to perform mission.
상기 정보 산출 단계는,
상기 적어도 하나 이상의 생체 신호를 변량 X, 상기 조종사의 각성 상태를 변량 Y로 설정하며, 상기 변량 X와 변량 Y의 연관성을 각 변수 그룹에 속한 변수들의 선형 결합의 상관계수를 이용하는 정준상관관계분석(Canonical correlation Analysis)을 수행하여 산출하는 것인, 조종사의 임무 수행 능력 유도 방법.3. The method of claim 2,
The information calculating step may include:
Wherein the at least one biometric signal is set as a variable X and the arousal state of the pilot is set as a variable Y. The correlation between the variance X and the variance Y is calculated using a canonical correlation analysis using correlation coefficients of linear combinations of variables belonging to each variable group Canonical correlation analysis) to calculate the mission performance capability of the pilot.
상기 정보 산출 단계는, 상기 변량 X와 변량 Y의 선형결합들 사이의 상관관계가 최대가 되도록 가중치(a, b)를 설정하여 U=aX, V=bY의 변량을 각각 생성하는 것인, 조종사의 임무 수행 능력 유도 방법. The method of claim 3,
Wherein the information calculating step sets the weights a and b to maximize the correlation between the linear combinations of the variance X and the variance Y to produce a variance of U = aX and V = The method of deriving the task performance ability of.
상기 각성 상태 평가 및 피드백 제공 단계는, 상기 조종 대상체와 관련된 임무 수행 능력에 적합한 각성 상태 수준을 상기 상관 관계의 분석 결과를 포함한 객관적 지표와 피로도 측정 결과 또는 설문 결과를 포함한 주관적 지표를 기준으로 설정하는 것인, 조종사의 임무 수행 능력 유도 방법. The method according to claim 1,
The arousal state evaluation and feedback providing step may include setting an awake state level suitable for the mission performance ability related to the steered object based on an objective indicator including the analysis result of the correlation and a subjective indicator including a fatigue measurement result or a survey result A method of deriving a pilot's mission performance ability.
상기 각성 상태 평가 및 피드백 제공 단계는, 상기 각성 상태 수준에 따른 각성 유도 피드백 신호의 생성시, 상기 상관 관계 분석 결과로 생성된 상관 계수와 조종사의 각성 상태와 상관관계가 높은 생체 신호를 우선 순위 정보로 하여 생성되는 것인, 조종사의 임무 수행 능력 유도 방법. The method according to claim 1,
The aural condition evaluation and feedback providing step may include a step of, when the arousal induction feedback signal is generated according to the arousal state level, the bio-signal having a high correlation with the correlation coefficient generated by the correlation analysis result and the arousal state of the pilot, Wherein the pilot is generated by the pilot.
상기 각성 상태 평가 및 피드백 제공 단계는,
상기 각성 유도 피드백 신호에 의해 동작되고, 조종사의 각성 상태를 유도하는 감각자극 출력 장치를 통해 조종사의 각성 상태 수준에 따라 각성 상태를 유도하는 것인, 조종사의 임무 수행 능력 유도 방법.The method according to claim 1,
Wherein the arousal state evaluation and feedback providing step includes:
Wherein the awakening state is derived from the arousal state of the pilot through the sensory stimulation output device that is operated by the arousal induction feedback signal and induces the arousal state of the pilot.
상기 각성 유도 피드백 신호는 조종사의 피드백 반응에 따라 상기 감각자극 출력장치의 촉각자극, 청각 자극, 시각 자극을 포함한 감각 자극이 동시 출력 또는 순차 출력이 결정되는 것인, 조종사의 임무 수행 능력 유도 방법.8. The method of claim 7,
Wherein the awakening induction feedback signal is a simultaneous output or a sequential output of the sensory stimulation including tactile stimulation, auditory stimulation, and visual stimulation of the sensory stimulation output device according to a feedback reaction of the pilot.
상기 각성 유도 피드백 단계 신호는 조종사의 각성 상태 수준에 따라 강도와 시간차를 다르게 설정하여 촉각 자극, 청각 자극, 시각 자극의 순서로 자극 출력을 진행하는 것인, 조종사의 임무 수행 능력 유도 방법. 9. The method of claim 8,
Wherein the arousal induction feedback step signal is a step of outputting a stimulus output in the order of tactile stimulation, auditory stimulation, and visual stimulation by setting different intensity and time differences according to the arousal state level of the pilot.
상기 프로그램을 실행하기 위한 프로세서를 포함하며,
상기 프로세서는, 상기 프로그램의 실행에 의해,
상기 조종 대상체의 제어 장치와 연계하여 조종 환경 변화 정보를 수집하고, 조종사에 장착되는 센서 장치를 통해 뇌파 신호, 안구 움직임 신호, 피부 전기활동 신호, 호흡 측정 신호를 포함한 적어도 하나 이상의 생체신호를 수집한 후 조종사의 상태 평가를 위한 각성 상태 평가 모델에 상기 조종 환경 정보를 실시간 반영하고, 상기 적어도 하나 이상의 생체 신호를 분석하여 개별 특징 정보를 추출한 후 상기 추출된 개별 특징 정보를 상기 각성 상태 평가 모델에 입력하여 조종사의 각성 상태와의 상관 관계 분석을 통해 융합 특징 정보를 산출하며, 상기 융합 특징 정보를 이용하여 실시간 조종사의 각성 상태 수준을 평가하고, 상기 평가된 각성 상태 수준에 따른 각성 유도 피드백 신호를 제공하는 것인, 조종사 상태의 통합 감시 제어 장치.A memory in which a program for evaluating and guiding mission performance performance necessary for adjustment of a steering target object based on state information of a pilot is recorded; And
And a processor for executing the program,
The processor, by executing the program,
Collecting the steering environment change information in association with the control device of the steering object and collecting at least one or more biological signals including an EEG signal, an eye movement signal, a skin electrical activity signal, and a respiration measurement signal through a sensor device mounted on the pilot The control environment information is reflected to an arousal state evaluation model for evaluating the state of a pilot in real time, and the individual feature information is extracted by analyzing the at least one bio-signal to input the extracted individual feature information into the arousal state evaluation model And the augmented state of the pilot is evaluated by using the convergence feature information, and an arousal-induced feedback signal according to the evaluated arousal state level is provided The integrated monitoring and control device of the pilot state,
상기 프로세서는,
상기 조종 대상체의 제어 장치와 통신하여 광량 정보, 비행 정보를 포함한 주변 환경 정보를 수집하는 주변환경 정보 수집부;
상기 조종사에 장착된 센서 장치를 통해 뇌파 신호, 안구 움직임 신호, 피부 전기활동 신호, 호흡 측정 신호를 포함한 적어도 하나 이상의 생체신호를 수집하는 생체신호 수집부;
상기 적어도 하나 이상의 생체 신호의 잡음 성분을 제거한 후 시간-공간 주파수 영역에서 분석하여 각 생체신호마다 개별 특징 정보를 추출하는 특징정보 추출부;
상기 추출된 개별 특징 정보들을 다중 생체 신호들 사이의 상관 관계를 고려하여 융합 특징 정보로 결합하는 신호 융합부;
상기 융합 특징 정보를 이용하여 조종사의 각성 상태 수준을 평가하는 각성 상태 평가부; 및
상기 평가된 조종사의 각성 상태 수준에 따라 시각 자극, 청각 자극, 촉각 자극을 포함한 감각 자극을 제공하기 위한 감각 유도 피드백 신호 를 생성 출력하는 피드백 제어부를 포함하는 것인, 조종사 상태의 통합 감시 제어 장치.11. The method of claim 10,
The processor comprising:
A peripheral environment information collecting unit for collecting peripheral environment information including light amount information and flight information by communicating with the control device of the steering object;
A biological signal collecting unit for collecting at least one biological signal including an EEG signal, an eye movement signal, a skin electrical activity signal, and a respiration measurement signal through a sensor device mounted on the pilot;
A feature information extracting unit for extracting feature information for each bio-signal by analyzing the noise components of the at least one bio-signal in a time-space frequency domain;
A signal fusion unit for combining the extracted individual feature information into fusion feature information in consideration of a correlation between multiple bio-signals;
An arousal state evaluating unit for evaluating the arousal state level of the pilot using the fusion feature information; And
And a feedback control unit for generating and outputting a sensed feedback signal for providing sensory stimulation including visual stimulation, auditory stimulation, and tactile stimulation in accordance with the assessed pilot's aural condition level.
상기 신호 융합부는, 상기 적어도 하나 이상의 생체 신호를 변량 X, 상기 조종사의 각성 상태를 변량 Y로 설정하며, 상기 변량 X와 변량 Y의 연관성을 각 변수 그룹에 속한 변수들의 선형 결합의 상관계수를 이용하는 정준상관관계분석(Canonical correlation Analysis)을 수행하여 융합 특징 정보를 산출하는 것인, 조종사 상태의 통합 감시 제어 장치.12. The method of claim 11,
Wherein the signal fusion unit sets the at least one or more biological signals as the variable X and the arousal state of the pilot as the variable Y and uses the correlation between the variance X and the variance Y as the correlation coefficient of the linear combination of the variables belonging to each variable group And performing a canonical correlation analysis to calculate convergence feature information.
상기 각성 상태 평가부는, 상기 각성 상태 평가 모델을 통해 각성 상태 수준을 실시간 분류하고, 민감도와 특이도를 고려한 AUC(Area Under Curve) 점수를 평가척도로 사용하는 것인, 조종사 상태의 통합 감시 제어 장치. 12. The method of claim 11,
Wherein the arousal state evaluating unit classifies the arousal state level in real time through the arousal state evaluation model and uses an Area Under Curve (AUC) score in consideration of the sensitivity and the specificity as an evaluation scale, .
상기 감각 유도 피드백 신호에 따라 촉각자극, 청각 자극, 시각 자극을 포함한 감각 자극을 동시 출력 또는 순차 출력되도록 하는 감각자극 출력장치를 더 포함하는 것인, 조종사 상태의 통합 감시 제어 장치. 12. The method of claim 11,
Further comprising a sensory stimulation output device for simultaneously outputting or sequentially outputting sensory stimulation including tactile stimulation, auditory stimulation, and visual stimulation in accordance with the sensory feedback feedback signal.
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR20170071406 | 2017-06-08 | ||
KR1020170071406 | 2017-06-08 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20180134310A true KR20180134310A (en) | 2018-12-18 |
KR102045569B1 KR102045569B1 (en) | 2019-12-02 |
Family
ID=64952576
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180066212A KR102045569B1 (en) | 2017-06-08 | 2018-06-08 | Appratus for controlling integrated supervisory of pilots status and method for guiding task performance ability of pilots using the same |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102045569B1 (en) |
Cited By (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110285977A (en) * | 2019-03-27 | 2019-09-27 | 北京智能车联产业创新中心有限公司 | Test method, device, equipment and the storage medium of automatic driving vehicle |
KR102108515B1 (en) * | 2019-10-10 | 2020-05-08 | 국방과학연구소 | System of prevention using pilot's drowsiness detection and cumulative analysis |
KR102122976B1 (en) * | 2019-11-06 | 2020-06-16 | 국방과학연구소 | Pilot's workload state detection device and operating method for the same |
CN111429013A (en) * | 2020-03-30 | 2020-07-17 | 西北工业大学 | Pilot situational awareness evaluation method based on attention distribution and individual state |
CN111714339A (en) * | 2020-07-15 | 2020-09-29 | 西安交通大学 | Brain-myoelectricity fusion small-world neural network prediction method for human lower limb movement |
CN111887803A (en) * | 2020-08-13 | 2020-11-06 | 上海交通大学 | Multi-dimensional monitoring and evaluation system for man-machine work efficiency of aircraft cockpit |
CN112450950A (en) * | 2020-12-10 | 2021-03-09 | 南京航空航天大学 | Brain-computer aided analysis method and system for aviation accident |
CN112596890A (en) * | 2021-01-08 | 2021-04-02 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | Flight program operation logic structuring method and system |
CN115024684A (en) * | 2022-05-23 | 2022-09-09 | 天津大学 | Stimulation paradigm generation system, brain-computer interface system, detection method and device |
KR20220133359A (en) * | 2021-03-24 | 2022-10-05 | 한국항공우주연구원 | Method and system for checking fatigue of pilot before flying |
CN115407872A (en) * | 2022-08-12 | 2022-11-29 | 北京津发科技股份有限公司 | Intelligent man-machine cooperative system evaluation method and device and storage medium |
CN115462755A (en) * | 2022-08-31 | 2022-12-13 | 北京津发科技股份有限公司 | Pilot cognitive ability assessment method, system and storage medium |
CN117770820A (en) * | 2023-12-26 | 2024-03-29 | 中国民用航空飞行学院 | Pilot pressure monitoring method and device and model training method |
WO2024108669A1 (en) * | 2022-11-25 | 2024-05-30 | 深圳先进技术研究院 | System and method for wakeful state detection |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4697185B2 (en) * | 2006-12-04 | 2011-06-08 | トヨタ自動車株式会社 | Arousal level determination device and arousal level determination method |
KR101432044B1 (en) * | 2013-01-28 | 2014-08-22 | 서울대학교산학협력단 | Apparatus and method for measuring visual fatigue based on brain wave |
KR101663922B1 (en) | 2016-01-26 | 2016-10-14 | 이호석 | Apparatus and method for monitoring condition of pilot |
KR20170000630A (en) | 2015-06-24 | 2017-01-03 | 한국항공우주산업 주식회사 | Aviation system for adjusting a duty according to biometric imformation of pilot |
KR101711027B1 (en) * | 2012-04-25 | 2017-03-13 | 한국전자통신연구원 | Method and apparatus for providing personalized vehicle service |
-
2018
- 2018-06-08 KR KR1020180066212A patent/KR102045569B1/en active IP Right Grant
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4697185B2 (en) * | 2006-12-04 | 2011-06-08 | トヨタ自動車株式会社 | Arousal level determination device and arousal level determination method |
KR101711027B1 (en) * | 2012-04-25 | 2017-03-13 | 한국전자통신연구원 | Method and apparatus for providing personalized vehicle service |
KR101432044B1 (en) * | 2013-01-28 | 2014-08-22 | 서울대학교산학협력단 | Apparatus and method for measuring visual fatigue based on brain wave |
KR20170000630A (en) | 2015-06-24 | 2017-01-03 | 한국항공우주산업 주식회사 | Aviation system for adjusting a duty according to biometric imformation of pilot |
KR101663922B1 (en) | 2016-01-26 | 2016-10-14 | 이호석 | Apparatus and method for monitoring condition of pilot |
Cited By (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN110285977A (en) * | 2019-03-27 | 2019-09-27 | 北京智能车联产业创新中心有限公司 | Test method, device, equipment and the storage medium of automatic driving vehicle |
KR102108515B1 (en) * | 2019-10-10 | 2020-05-08 | 국방과학연구소 | System of prevention using pilot's drowsiness detection and cumulative analysis |
KR102122976B1 (en) * | 2019-11-06 | 2020-06-16 | 국방과학연구소 | Pilot's workload state detection device and operating method for the same |
CN111429013A (en) * | 2020-03-30 | 2020-07-17 | 西北工业大学 | Pilot situational awareness evaluation method based on attention distribution and individual state |
CN111429013B (en) * | 2020-03-30 | 2023-05-02 | 西北工业大学 | Pilot situational awareness evaluation method based on attention distribution and individual states |
CN111714339A (en) * | 2020-07-15 | 2020-09-29 | 西安交通大学 | Brain-myoelectricity fusion small-world neural network prediction method for human lower limb movement |
CN111887803A (en) * | 2020-08-13 | 2020-11-06 | 上海交通大学 | Multi-dimensional monitoring and evaluation system for man-machine work efficiency of aircraft cockpit |
CN111887803B (en) * | 2020-08-13 | 2024-01-26 | 上海交通大学 | Multi-dimensional monitoring and evaluating system for artificial efficiency of aircraft cockpit |
CN112450950B (en) * | 2020-12-10 | 2021-10-22 | 南京航空航天大学 | Brain-computer aided analysis method and system for aviation accident |
CN112450950A (en) * | 2020-12-10 | 2021-03-09 | 南京航空航天大学 | Brain-computer aided analysis method and system for aviation accident |
CN112596890A (en) * | 2021-01-08 | 2021-04-02 | 中国商用飞机有限责任公司北京民用飞机技术研究中心 | Flight program operation logic structuring method and system |
KR20220133359A (en) * | 2021-03-24 | 2022-10-05 | 한국항공우주연구원 | Method and system for checking fatigue of pilot before flying |
CN115024684A (en) * | 2022-05-23 | 2022-09-09 | 天津大学 | Stimulation paradigm generation system, brain-computer interface system, detection method and device |
CN115407872A (en) * | 2022-08-12 | 2022-11-29 | 北京津发科技股份有限公司 | Intelligent man-machine cooperative system evaluation method and device and storage medium |
CN115407872B (en) * | 2022-08-12 | 2023-10-13 | 北京津发科技股份有限公司 | Evaluation method, device and storage medium for intelligent man-machine cooperative system |
CN115462755A (en) * | 2022-08-31 | 2022-12-13 | 北京津发科技股份有限公司 | Pilot cognitive ability assessment method, system and storage medium |
WO2024108669A1 (en) * | 2022-11-25 | 2024-05-30 | 深圳先进技术研究院 | System and method for wakeful state detection |
CN117770820A (en) * | 2023-12-26 | 2024-03-29 | 中国民用航空飞行学院 | Pilot pressure monitoring method and device and model training method |
CN117770820B (en) * | 2023-12-26 | 2024-06-11 | 中国民用航空飞行学院 | Pilot pressure monitoring method and device and model training method |
Also Published As
Publication number | Publication date |
---|---|
KR102045569B1 (en) | 2019-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102045569B1 (en) | Appratus for controlling integrated supervisory of pilots status and method for guiding task performance ability of pilots using the same | |
Gateau et al. | In silico vs. over the clouds: on-the-fly mental state estimation of aircraft pilots, using a functional near infrared spectroscopy based passive-BCI | |
Heard et al. | A survey of workload assessment algorithms | |
US20210221404A1 (en) | Driver predictive mental response profile and application to automated vehicle brain interface control | |
US6092058A (en) | Automatic aiding of human cognitive functions with computerized displays | |
Proctor et al. | Sensation and perception | |
Healey et al. | Detecting stress during real-world driving tasks using physiological sensors | |
Lin et al. | Adaptive EEG-based alertness estimation system by using ICA-based fuzzy neural networks | |
US11602296B2 (en) | Non-invasive systems and methods for detecting mental impairment | |
Jang et al. | Analysis of physiological response to two virtual environments: driving and flying simulation | |
KR102143343B1 (en) | Attention/fatigue/drowsiness monitoring system based on autonomic nervous system signal reflecting brain activity | |
CN110422174A (en) | Biometric sensor is merged to classify to Vehicular occupant state | |
KR20180001367A (en) | Apparatus and Method for detecting state of driver based on biometric signals of driver | |
KR102365118B1 (en) | The biological signal analysis system and biological signal analysis method for operating by the system | |
Lin et al. | A driving performance forecasting system based on brain dynamic state analysis using 4-D convolutional neural networks | |
Peruzzini et al. | Transdisciplinary design approach based on driver's workload monitoring | |
CN110600103B (en) | Wearable intelligent service system for improving eyesight | |
Zhang et al. | A systematic survey of driving fatigue monitoring | |
KR20160095464A (en) | Contents Recommend Apparatus For Digital Signage Using Facial Emotion Recognition Method And Method Threof | |
WO2015152536A1 (en) | Method and device for detecting sleepiness using moving image-based physiological signal | |
KR20200117089A (en) | The virtual reality contents control system and the virtual reality contents control method operating by the same | |
CN114999237A (en) | Intelligent education interactive teaching method | |
Hekmatmanesh et al. | Review of the State-of-the-art on Bio-signal-based Brain-controlled Vehicles | |
CN117876807A (en) | Personnel state adjustment training method and device based on simulation situation multi-mode data | |
Vettivel et al. | System for detecting student attention pertaining and alerting |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |