KR102122976B1 - 조종사 정신적 과부하 상태 검출 장치 및 그 방법 - Google Patents

조종사 정신적 과부하 상태 검출 장치 및 그 방법 Download PDF

Info

Publication number
KR102122976B1
KR102122976B1 KR1020190141072A KR20190141072A KR102122976B1 KR 102122976 B1 KR102122976 B1 KR 102122976B1 KR 1020190141072 A KR1020190141072 A KR 1020190141072A KR 20190141072 A KR20190141072 A KR 20190141072A KR 102122976 B1 KR102122976 B1 KR 102122976B1
Authority
KR
South Korea
Prior art keywords
pilot
mental
overload condition
feature
state
Prior art date
Application number
KR1020190141072A
Other languages
English (en)
Inventor
이성환
이대혁
정지훈
Original Assignee
국방과학연구소
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소, 고려대학교 산학협력단 filed Critical 국방과학연구소
Priority to KR1020190141072A priority Critical patent/KR102122976B1/ko
Application granted granted Critical
Publication of KR102122976B1 publication Critical patent/KR102122976B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/04012—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G06N3/0427—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Developmental Disabilities (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Social Psychology (AREA)
  • Cardiology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Fuzzy Systems (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Databases & Information Systems (AREA)

Abstract

본 발명은 조종사 정신적 과부하 상태 검출 장치 및 그 방법을 제공한다.
본 발명에서는 조종사에 대해 측정된 복수의 생체신호들을 이용하여 조종사의 정신적 과부하 상태를 검출할 수 있다.
본 발명에서는 복수의 생체신호들로부터 추출된 각 특징들에 대해 조종사에 대응되는 최적의 조합을 생성함으로써 조종사 맞춤형 정신적 과부하 상태 검출을 수행할 수 있다.

Description

조종사 정신적 과부하 상태 검출 장치 및 그 방법{Pilot's workload state detection device and operating method for the same}
본 개시는 조종사 정신적 과부하 상태 검출 장치 및 그 방법을 제공한다.
최근 항공기를 이용한 국내외 여행객들의 지속적인 증가에 따라 조종사에 대한 수요가 증가하고 있지만, 항공기 조종에 요구되는 전문성으로 인해 조종사에 대한 공급이 부족한 실정이다. 항공기 기술의 발전으로 조종사의 편의와 항공 안전을 위해 오토파일럿 기능이 개발 및 보급되었지만, 여전히 조종사에게는 많은 정신적 과부하가 존재하며 이로 인한 항공 사고의 가능성은 늘 존재한다.
다만, 한 가지의 생체신호 만에 의한 조종사 정신적 과부하 상태 검출은 정확성 및 신속도에서 역부족이다. 또한, 조종사의 졸음이 감지된 후 피드백을 제시하는 방법 또한 사고를 방지하기에 한계점이 있다. 따라서, 졸음이 발생되기 전에 조종사가 본인의 현재 작업적 과부하 상태에 대해 인지하는 것이 필요하다.
또한, 조종사 정신적 과부하 상태를 검출할 수 있는 생체신호들의 최적의 조합은 조종사마다 다르게 나타난다. 정신적 과부하 상태 검출 측면에서 조종사 개개인에 대한 최적의 생체신호들의 조합을 찾아 조종사 정신적 과부하 상태를 검출하는 것이 항공기의 사고 방지에 중요하다.
본 발명이 해결하고자 하는 기술적 과제는, 조종사의 정신적 과부하 상태를 검출하기 위한 장치 및 그 방법을 제공하는 데에 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 개시의 제1 측면은, 적어도 한 명 이상의 조종사에 대해 제1 시점에서 측정된 복수의 생체신호들을 수신하고, 상기 수신된 복수의 생체신호들 각각에 포함된 특징들을 추출하는 특징추출부; 상기 조종사에 대응되도록 상기 특징들이 조합되는 비율을 결정함으로써 특징조합을 생성하는 특징조합생성부; 상기 생성된 특징조합을 입력데이터로 하여, 분류기모델을 학습시키는 모델학습부; 및 상기 학습된 분류기모델에, 제2 시점에서 측정된 조종사의 복수의 생체신호들로부터 조합된 특징조합을 적용하여, 제2 시점에서의 조종사의 정신적 과부하 상태 여부를 검출하는 상태검출부를 포함하는, 조종사 정신적 과부하 상태 검출 장치를 제공할 수 있다.
또한, 상기 특징추출부는, 상기 측정된 복수의 생체신호들 각각에 대해 T-test를 수행한 결과 출력된 P-value의 값이 가장 작은 상기 복수의 생체신호들 각각의 일부를 생체신호의 특징으로 추출하는, 조종사 정신적 과부하 상태 검출 장치를 제공할 수 있다.
또한, 상기 특징조합생성부는, 상기 특징들에 대해 머신러닝(machine learning) 연산을 수행하여 상기 조종사의 정신적 과부하 상태와 상기 복수의 생체신호들과의 연관성에 대한 정보를 얻고, 상기 정보에 기반하여 상기 조합되는 비율을 결정하는, 조종사 정신적 과부하 상태 검출 장치를 제공할 수 있다.
또한, 상기 모델학습부는, 상기 특징조합에 대해 머신러닝 연산을 수행하여 상기 조종사에 대응되는 기준 값을 설정하고, 상기 상태검출부는, 상기 분류기모델의 출력 결과가 상기 기준 값 이상인 경우, 상기 조종사의 정신적 상태를 과부하 상태로 결정하고, 상기 분류기모델의 출력 결과가 상기 기준 값 미만인 경우, 상기 조종사의 정신적 상태를 각성 상태로 결정하는, 조종사 정신적 과부하 상태 검출 장치를 제공할 수 있다.
본 개시의 제2 측면은, 적어도 한 명 이상의 조종사에 대해 제1 시점에서 측정된 복수의 생체신호들을 수신하는 단계; 상기 수신된 복수의 생체신호들 각각에 포함된 특징들을 추출하는 단계; 상기 조종사에 대응되도록 상기 특징들이 조합되는 비율을 결정함으로써 특징조합을 생성하는 단계; 상기 생성된 특징조합을 입력데이터로 하여, 분류기모델을 학습시키는 단계; 및 상기 학습된 분류기모델에, 제2 시점에서 측정된 조종사의 복수의 생체신호들로부터 조합된 특징조합을 적용하여, 제2 시점에서의 조종사의 정신적 과부하 상태 여부를 검출하는 단계를 포함하는, 조종사 정신적 과부하 상태 검출 방법을 제공할 수 있다.
또한, 상기 추출하는 단계는, 상기 측정된 복수의 생체신호들 각각에 대해 T-test를 수행한 결과 출력된 P-value의 값이 가장 작은 상기 복수의 생체신호들 각각의 일부를 생체신호의 특징으로 추출하는, 조종사 정신적 과부하 상태 검출 방법을 제공할 수 있다.
또한, 상기 생성하는 단계는, 상기 특징들에 대해 머신러닝 연산을 수행하여 상기 조종사의 정신적 과부하 상태와 상기 복수의 생체신호들과의 연관성에 대한 정보를 얻고, 상기 정보에 기반하여 상기 조합되는 비율을 결정하는, 조종사 정신적 과부하 상태 검출 방법을 제공할 수 있다.
또한, 상기 학습시키는 단계는, 상기 특징조합에 대해 머신러닝 연산을 수행하여 상기 조종사에 대응되는 기준 값을 설정하는 단계를 포함하고, 상기 검출하는 단계는, 상기 분류기모델의 출력 결과가 상기 기준 값 이상인 경우, 상기 조종사의 정신적 상태를 과부하 상태로 결정하고, 상기 분류기모델의 출력 결과가 상기 기준 값 미만인 경우, 상기 조종사의 정신적 상태를 각성 상태로 결정하는 단계를 포함하는, 조종사 정신적 과부하 상태 검출 방법을 제공할 수 있다.
본 개시의 제3 측면은, 제2 측면에 따른 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체를 제공할 수 있다
본 발명에 따르면, 조종사 정신적 과부하 상태 검출 장치는 조종사에 대해 측정된 복수의 생체신호들을 이용하여 조종사의 정신적 과부하 상태를 검출할 수 있다.
또한, 조종사 정신적 과부하 상태 검출 장치는 복수의 생체신호들로부터 추출된 각 특징들에 대해 조종사에 대응되는 최적의 조합을 생성함으로써 조종사 맞춤형 정신적 과부하 상태 검출을 수행할 수 있다.
도 1은 조종사 정신적 과부하 상태 검출 장치의 일 예를 나타낸 블록도이다.
도 2는 조종사 정신적 과부하 상태 검출 장치가 동작하는 일 예를 도시한 도면이다.
도 3은 조종사 정신적 과부하 상태 검출 장치가 동작하는 다른 일 예를 도시한 도면이다.
도 4는 조종사 정신적 과부하 상태 검출 방법의 일 예를 나타낸 흐름도이다.
본 명세서에서 다양한 곳에 등장하는 "일부 실시예에서" 또는 "일 실시예에서" 등의 어구는 반드시 모두 동일한 실시예를 가리키는 것은 아니다.
본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다. 또한, 명세서에 기재된 "…부", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
또한, 도면에 도시된 구성 요소들 간의 연결 선 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것일 뿐이다. 실제 장치에서는 대체 가능하거나 추가된 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들에 의해 구성 요소들 간의 연결이 나타내어질 수 있다.
또한, 본 명세서에서 사용되는 '제1' 또는 '제2' 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용할 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 명세서에서 사용되는 제1 조종사와 같은 용어는 적어도 한 명 이상의 조종사에 포함되는 첫 번째 조종사를 의미하는 것으로 한정되어서는 안되고, 제2 조종사 등으로부터 구별하는 목적으로 사용된다.
이하에서는 도면을 참조하여 본 발명의 실시예들을 상세히 설명한다.
도 1은 조종사 정신적 과부하 상태 검출 장치의 일 예를 나타낸 블록도이다.
도 1을 참조하면, 조종사 정신적 과부하 상태 검출 장치(100)는 특징추출부(130), 특징조합생성부(140), 모델학습부(150) 및 상태검출부(160)를 포함할 수 있다. 도 1의 조종사 정신적 과부하 상태 검출 장치(100)에는 실시예와 관련된 구성요소들만이 도시되어 있다. 따라서, 도 1에 도시된 구성요소들 외에 다른 범용적인 구성요소들이 더 포함될 수 있음을 당해 기술분야의 통상의 기술자라면 이해할 수 있다.
조종사 정신적 과부하 상태 검출 장치(100)는 적어도 한 명 이상의 조종사에 대해 측정된 복수의 생체신호들(120)을 수신할 수 있다. 조종사는 교통수단을 조종하는 주체뿐 아니라, 정신적 과부하가 발생하는 어떠한 업무를 수행하는 모든 주체들을 포함할 수 있다. 예를 들어, 조종사는 항공기의 조종사, 차량의 운전자 및 공장의 노동자 등 각종 주체들을 모두 포함할 수 있다.
조종사 정신적 과부하 상태 검출 장치(100)는 조종사의 생체신호들 중 정신적 상태로 인해 영향을 받을 수 있는 복수의 생체신호들(120)을 측정할 수 있다. 일 실시예에서, 조종사 정신적 과부하 상태 검출 장치(100)는 조종사의 뇌 신호, 심전도 신호, 호흡 신호 및 피부 전도 신호 등을 측정할 수 있다. 각 생체신호들(120)은 조종사의 정신적 상태에 따라 신호가 변이하는 신호들로써, 조종사의 정신적 과부하 상태를 검출하는 데에 사용될 수 있다. 다만, 위의 생체신호들(120)의 종류는 예시에 불과하며 조종사 정신적 과부하 상태 검출 장치(100)에 의해 측정되는 생체신호들(120)의 종류는 실험 환경에 따라 상이할 수 있다. 조종사 정신적 과부하 상태 검출 장치(100)는 각 생체신호들(120)에 대해 시간적 영역, 공간적 영역 및 주파수 영역별로 측정할 수 있다.
조종사 정신적 과부하 상태 검출 장치(100)는 복수의 생체신호들(120)을 측정하는 시간 단위에 있어서 에폭(epoch)을 기준으로 할 수 있다. 에폭은 어느 생체신호에 대한 특징을 추출하기 위해 요구되는 최소한의 시간 단위로서 생체신호의 종류에 따라 에폭의 길이는 각각 다르게 설정될 수 있다. 조종사 정신적 과부하 상태 검출 장치(100)는 생체신호에 대한 데이터를 얻기 위해서 최소 1 에폭의 시간 동안 생체신호를 측정해야 한다.
일 실시예에서, 뇌 신호는 뇌의 활동에 따라 즉각 반응이 나타나는 신호로서 에폭의 길이가 1초에 해당할 수 있다. 반면, 심전도 신호는 호흡이 수 차례 반복된 것에 대한 평균값의 측정이 필요하므로 에폭의 길이가 1분에 해당할 수 있다. 이 경우 뇌 신호에 대한 측정을 위해서는 최소 1초의 시간이 요구되고, 심전도 신호에 대한 측정을 위해서는 최소 1분의 시간이 요구된다. 예를 들어, 조종사 정신적 과부하 상태 검출 장치(100)가 3분 동안 생체신호를 측정하는 경우, 뇌 신호에 대해서는 180 에폭의 데이터를 얻게 되고, 심전도 신호에 대해서는 3 에폭의 데이터를 얻을 수 있다.
또한, 조종사 정신적 과부하 상태 검출 장치(100)는 생체신호 측정에 있어서 각 에폭을 시간적으로 겹쳐가며 생체신호를 측정할 수 있다. 일 실시예에서, 생체신호에 대한 에폭의 길이가 1분에 해당될 경우, 생체신호에 대해 제1 에폭의 측정을 개시하고 나서 10초 후에 제2 에폭의 측정을 개시할 수 있다. 이와 같이 조종사 정신적 과부하 상태 검출 장치(100)가 각 에폭들을 겹쳐가며 측정할 경우, 한정된 시간 내에 더 많은 데이터를 획득하여 조종사 정신적 과부하 상태에 대한 보다 정확하고 신속한 측정이 가능해질 수 있다.
조종사 정신적 과부하 상태 검출 장치(100)는 조종사의 뇌의 실시간 활동인 뇌 신호를 측정할 수 있다. 조종사 정신적 과부하 상태 검출 장치(100)는 뇌 신호의 시간에 따라 변화되는 흐름을 측정할 수 있다. 일 실시예에서, 조종사 정신적 과부하 상태 검출 장치(100)는 뇌의 공간적 영역으로서 전두엽 및 측두엽 등 뇌의 각 부위들에서 발생하는 신호를 측정할 수 있다.
조종사 정신적 과부하 상태 검출 장치(100)는 뇌 신호를 주파수 대역별로 측정할 수 있다. 조종사 정신적 과부하 상태 검출 장치(100)는 뇌 신호를 주파수 대역별로 측정하여 뇌 신호의 특징을 추출하는데 있어 조종사의 정신적 상태 검출에 있어 유의미한 주파수 대역을 연산을 통해 결정할 수 있다. 유의미한 주파수 대역을 결정하여 뇌 신호의 특징을 추출하는 내용에 관해서는 도 2를 참조하여 후술하도록 한다.
일 실시예에서, 조종사 정신적 과부하 상태 검출 장치(100)는 뇌 신호를 측정하는 주파수 대역을 델타(0~4Hz), 세타(4~8Hz), 알파(8~12Hz), 베타(12~30Hz) 및 감마(30~50Hz)로 설정하여 뇌 신호를 측정할 수 있다. 다만, 이는 예시에 불과하며 조종사 정신적 과부하 상태 검출 장치(100)는 주파수 대역의 범위 및 개수를 실험 환경에 따라 상이하게 설정할 수 있다.
조종사 정신적 과부하 상태 검출 장치(100)는 조종사의 심장의 활동에 의해 생성되는 전기적 신호인 심전도 신호를 측정할 수 있다. 조종사 정신적 과부하 상태 검출 장치(100)는 심전도 신호 측정으로 인해 정신적 각성 상태와 관련된 자율신경계의 반응으로 인한 심박수의 변이 등을 분석할 수 있다. 조종사 정신적 과부하 상태 검출 장치(100)는 심전도 신호 측정의 공간적 영역으로서 체표면의 여러 부위에서 심장에 따른 활동 전류를 측정할 수 있다. 조종사 정신적 과부하 상태 검출 장치(100)는 심전도 신호의 시간적 영역으로서 가장 큰 진폭 간의 간격, 심박 및 심박변이도 등을 측정할 수 있다.
일 실시예에서, 조종사 정신적 과부하 상태 검출 장치(100)는 심전도 신호 측정의 주파수 영역으로서 낮은 주파수 대역과 높은 주파수 대역 둘로 나누어 심전도 신호 측정을 수행할 수 있다. 조종사 정신적 과부하 상태 검출 장치(100)는 심전도 신호 측정에 대한 낮은 주파수 대역을 0.04~0.15Hz로 설정하고 높은 주파수 대역을 0.15~0.4Hz로 설정할 수 있다. 다만, 이는 예시에 불과하며 조종사 정신적 과부하 상태 검출 장치(100)는 주파수 대역의 범위 및 개수를 실험 환경에 따라 상이하게 설정할 수 있다.
조종사 정신적 과부하 상태 검출 장치(100)는 조종사의 업무 수행 중 변화하는 흉부 및 복부의 용적 측정을 통해 호흡 신호를 측정할 수 있다. 조종사 정신적 과부하 상태 검출 장치(100)는 조종사의 흉부 및 복부의 용적에 대한 주기 및 진폭을 측정함으로써 시간에 따라 변화되는 호흡의 흐름을 분석할 수 있다.
일 실시예에서, 조종사 정신적 과부하 상태 검출 장치(100)는 호흡 신호에 대한 공간적 영역으로서 조종사의 가슴과 배에서의 용적 변화를 통해 호흡 신호를 측정할 수 있다. 조종사 정신적 과부하 상태 검출 장치(100)는 호흡 신호에 대한 주파수 대역으로서 0.1~1.5Hz의 대역에서 호흡 신호를 측정할 수 있다. 다만, 이는 예시에 불과하며 조종사 정신적 과부하 상태 검출 장치(100)는 조종사에 대한 측정 부위 및 주파수 대역을 실험 환경에 따라 상이하게 설정할 수 있다.
조종사 정신적 과부하 상태 검출 장치(100)는 교감 신경계의 작용으로 변화하는 조종사의 피부 온도 및 땀 등에 의해 피부 전도 신호를 측정할 수 있다. 일 실시예에서, 조종사 정신적 과부하 상태 검출 장치(100)는 피부 전도 신호에 대한 공간적 영역으로서, 손가락 끝에서의 피부 전도 신호를 측정할 수 있다. 피부 전도 신호는 다른 생체신호들(120)에 비해 변화가 느리기 때문에 조종사 정신적 과부하 상태 검출 장치(100)는 피부 전도 신호를 비교적 긴 시간 영역에서 측정할 수 있다.
전술한 생체신호들(120)은 조종사의 몸에 부착된 센서들에 의해 측정되고 수집될 수 있다. 일 예로서, 뇌 신호는 조종사의 두피 부근에 배치된 64개 채널에 의해 측정된 신호로서, 뇌 활동에 의해 조종사의 대뇌 피질에서 발생되는 전기적 신호이다.
다른 예로서, 심전도 신호는 조종사의 좌측, 우측 흉부 및 심장 아래 부근 한 곳, 이상 세 위치에 부착된 전극들로부터 측정되고 수집된 신호일 수 있다. 또 다른 예로서, 호흡신호는 조종사의 흉부 및 복부에 부착된 밴드로부터 측정되고 수집된 신호일 수 있으며, 피부 전도 신호는 조종사의 검지 및 약지 손가락에 부착된 센서에 의해 측정되어 수집되는 신호일 수 있다. 합리적인 결과를 유도하기 위해서, 실시 예에 따라, 전술한 생체신호들(120)을 측정하는 방법과 다른 방법을 통해서, 뇌 신호, 심전도 신호, 호흡신호 및 피부 전도 신호가 측정될 수 있음은 이 분야의 통상의 지식을 가진 자에게 자명할 것이다.
특징추출부(130)는 측정된 복수의 생체신호들(120)을 수신하고, 수신된 복수의 생체신호들(120) 각각에 포함된 특징들을 추출할 수 있다. 특징추출부(130)는 측정된 각 생체신호들(120)에 대해 조종사의 정신적 상태에 있어 유의미한 특징을 추출함으로써 조종사 정신적 과부하 상태 검출 장치(100)에서 조종사의 정신적 상태와 무의미한 데이터에 대한 연산을 최소화하고 검출 결과의 정확도를 높일 수 있다.
특징조합생성부(140)는 생체신호들(120)이 측정된 조종사에 대응되도록 생체신호들(120) 각각에 포함된 특징들이 조합되는 비율을 결정함으로써 특징조합을 생성할 수 있다. 조종사마다 각 조종사의 정신적 상태를 정확하게 나타낼 수 있는 특징들의 최적 조합 비율은 상이할 수 있다. 특징조합생성부(140)가 각 조종사에 대응되는 최적의 특징조합을 생성함으로써 조종사 정신적 과부하 상태 검출 장치(100)는 조종사의 정신적 상태를 정확하게 검출해낼 수 있다.
모델학습부(150)는 생성된 특징조합을 입력데이터로 하여 분류기모델을 학습시킬 수 있다. 모델학습부(150)는 분류기모델을 학습시켜 분류기모델에 특징조합이 입력되는 경우 분류기모델로부터 조종사 정신적 과부하 상태 여부가 검출되도록 할 수 있다.
일 실시예에서, 분류기모델은 머신러닝(machine learning)에서의 분류기모델인 Support Vector Machine, Linear Discriminant Analysis, 또는 딥러닝(deep learning)에서의 분류기모델인 Softmax등을 포함할 수 있다. 다만, 이는 예시적인 것에 불과하며 머신러닝 및 딥러닝에서 사용되는 다양한 종류의 분류기모델들이 포함될 수 있다.
상태검출부(160)는 학습된 분류기모델에, 조종사의 복수의 생체신호들(120)로부터 조합된 특징조합을 적용하여, 조종사의 정신적 과부하 상태 여부를 검출할 수 있다. 상태검출부(160)는 분류기모델로부터 출력된 조종사의 정신적 과부하 상태 여부를 조종사에게 알림으로써 조종사에게 정신적 상태를 인지시킬 수 있다.
도 2는 조종사 정신적 과부하 상태 검출 장치가 동작하는 일 예를 도시한 도면이다.
도 2를 참조하면, 조종사 정신적 과부하 상태 검출 장치(200)는 특징추출부(230), 특징조합생성부(240) 및 모델학습부(250)를 포함할 수 있다. 도 2의 특징추출부(230), 특징조합생성부(240) 및 모델학습부(250)는 각각 도 1의 특징추출부(130), 특징조합생성부(140) 및 모델학습부(150)에 대응될 수 있다. 따라서, 중복되는 설명은 생략한다.
도 2에 도시된 조종사 정신적 과부하 상태 검출 장치(200)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 조종사 정신적 과부하 상태 검출 장치(200)에 도 2에 도시된 구성요소들 외에 도 1의 상태검출부(160) 등 다른 범용적인 구성요소들이 더 포함될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다.
조종사 정신적 과부하 상태 검출 장치(200)는 제1 시점 및 제2 시점으로 나뉘어서 동작할 수 있다. 제1 시점은 조종사 정신적 과부하 상태 검출 장치(200)의 분류기모델을 학습시키기 위한 생체신호들(220)이 측정된 시점을 의미한다. 제1 시점에 측정된 생체신호들(220)은 분류기모델을 학습시키는 데에 사용되며 복수의 조종사들에 대한 생체신호들(220)이 될 수 있다.
제2 시점은 조종사 정신적 과부하 상태 검출 장치(200)의 분류기모델이 학습된 이후에, 조종사 정신적 과부하 상태에 대한 결과값을 획득하기 위해 학습된 분류기모델에 입력되는 생체신호들(220)이 측정된 시점으로서, 제1 시점과 구별하기 위해 정의된 시점을 의미한다. 제2 시점에서 측정된 생체신호들(220)은 학습된 분류기모델(280)로부터 조종사의 정신적 과부하 상태가 어떤지 파악하기 위한 출력값을 획득하기 위해 입력값으로 사용되며, 적어도 한 명 이상의 조종사에 대한 생체신호들(220)일 수 있다.
특징추출부(230)는 생체신호로부터 조종사의 정신적 상태를 검출하는데 유의미한 특징만을 추출할 수 있다. 특징추출부(230)는 측정된 생체신호에 대해 T-test를 수행하여 생체신호의 일부를 생체신호의 특징으로 추출할 수 있다. T-test는 서로 다른 두 데이터의 연관성을 분석하는 분석법으로써 각 데이터의 평균값이 통계적으로 유의미한 차이를 보이는지 판별한다.
특징추출부(230)는 생체신호에 대해 T-test를 수행하여 생체신호와 조종사의 정신적 상태간의 연관성을 판별할 수 있다. 특징추출부(230)는 T-test를 수행하여 P-value(유의확률)를 계산할 수 있다. P-value는 측정된 생체신호의 일부가 조종사의 정신적 상태 검출에 있어 유의미하지 않을 확률을 표현한다. 즉, P-value는 측정된 생체신호의 일부와 조종사의 정신적 상태 간의 연관성이 소정의 기준보다 작을 확률을 표현한다. 특징추출부(230)는 T-test를 수행하여 P-value가 가장 작게 나타나는 생체신호의 일부를 조종사의 정신적 상태 검출에 있어 가장 유의미한 부분으로 판단하고, 생체신호의 특징으로 추출할 수 있다.
일 실시예에서, 조종사 정신적 과부하 상태 검출 장치(200)는 뇌 신호의 주파수 대역을 델타(0~4Hz), 세타(4~8Hz), 알파(8~12Hz), 베타(12~30Hz) 및 감마(30~50Hz)로 설정하여 뇌 신호를 측정할 수 있다. 특징추출부(230)는 측정된 뇌 신호에 대한 T-test를 수행하여 각 주파수 대역별로 P-value 값을 계산할 수 있다. 예를 들어, 특징추출부(230)는 뇌 신호의 알파 영역에서 P-value 값이 가장 작게 나타난 경우, 뇌 신호의 알파 영역을 가장 유의미한 부분으로 결정하고, 알파 영역에서 뇌 신호의 특징을 추출할 수 있다.
특징조합생성부(240)는 특징추출부(230)로부터 추출된 특징들에 대해 머신러닝 연산을 수행하여 특징조합을 생성할 수 있다. 특징조합생성부(240)는 머신러닝 연산을 수행하여 조종사의 정신적 과부하 상태와 복수의 생체신호들(220)과의 연관성에 대한 정보를 얻고, 확률적 기법을 통해 연관성이 큰 생체신호에 대해 높은 비율을 할당하는 방식으로써 각 생체신호들(220)이 조합되는 비율을 결정할 수 있다. 특징조합생성부(240)는 각 생체신호들(220)의 특징들을 결정된 비율로 조합함으로써 조종사에 대응되는 최적의 특징조합을 생성할 수 있다. 특징조합생성부(240)에서 이용되는 확률적 기법은 예를 들어, 베이지안 확률(Bayesian probability) 등을 포함할 수 있다. 다만, 베이지안 확률은 예시에 불과하고 특징조합을 생성하는 데에는 다양한 확률적 기법이 이용될 수 있다.
일 실시예에서, 특징조합생성부(240)는 여러 조합들을 생성하며 그 중 최적의 특징조합을 생성할 수 있다. 특징조합생성부(240)는 뇌 신호에 대해 0.5, 심전도 신호에 대해 0.2, 호흡 신호에 대해 0.1 및 피부전도 신호에 대해 0.2의 비율을 할당하는 제1 조합을 생성하고, 제1 조종사(210)의 정신적 과부하 상태와의 연관성에 대한 정보를 얻을 수 있다. 특징조합 생성부는 제1 조종사(210)의 정신적 과부하 상태와 연관성이 가장 큰 특징조합을 결정하기 위해 위와 같은 조합 생성 과정을 반복할 수 있다. 특징조합생성부(240)는 뇌 신호에 대해 0.5, 심전도 신호에 대해 0.3, 호흡 신호에 대해 0.2 및 피부전도 신호에 대해 0.0의 비율을 할당하는 제2 조합이 제1 조종사(210)의 정신적 과부하 상태와 연관성이 가장 큰 조합으로 결정된 경우, 제2 조합을 제1 조종사(210)에 대응되는 최적의 특징조합으로 결정함으로써 특징조합을 생성할 수 있다.
특징조합생성부(240)는 제2 조종사에 대해서는 최적의 특징조합을 생성하기 위한 특징들이 조합되는 비율을 다르게 할당할 수 있다. 각 조종사마다 정신적 상태에 따른 각 생체신호들(220)의 발생 정도가 상이하기 때문에 특징조합생성부(240)는 각 조종사마다 상이한 비율로 특징들을 조합하여 특징조합을 생성할 수 있다.
모델학습부(250)가 학습시키는 분류기모델은 풀리 커넥티드 레이어(fully-connected layer)를 포함할 수 있다. 풀리 커넥티드 레이어가 포함된 분류기모델은 특징조합을 입력 받아 연산을 수행하여 하나의 값으로 출력할 수 있다. 학습된 분류기모델(280)은 조종사의 정신적 과부하 상태를 검출하는데 사용될 수 있다.
모델학습부(250)는 특징조합 대해 머신러닝 연산을 수행하여 조종사에 대응되는 기준 값을 설정할 수 있다. 모델학습부(250)는 분류기모델의 출력 값에 따른 조종사의 정신적 과부하 상태 정도를 판단하여 조종사에 대응되는 기준 값을 설정할 수 있다. 일 실시예에서, 모델학습부(250)는 조종사의 정신적 상태가 각성 상태에서 정신적 과부하 상태로 전환된다고 판단되는 때의 분류기모델의 출력 값을 기준 값으로 설정할 수 있다. 다른 실시예에서, 모델학습부(250)는 복수 개의 기준 값들을 설정할 수 있다. 모델학습부(250)는 조종사의 정신적 상태를 복수의 단계들로 나누어 각 단계마다의 기준 값을 설정할 수 있다.
일 실시예에서, 모델학습부(250)는 N명의 조종사에 대해 각 조종사마다 대응되도록 각각에 대한 기준 값을 설정할 수 있다. 다른 실시예에서, 모델학습부(250)는 N명의 조종사 각각의 기준 값들의 평균을 전체 기준 값으로 설정하여 어느 조종사에게나 적용할 수 있다.
도 3은 조종사 정신적 과부하 상태 검출 장치가 동작하는 다른 일 예를 도시한 도면이다.
도 3을 참조하면, 조종사 정신적 과부하 상태 검출 장치(300)는 특징추출부(330), 특징조합생성부(340), 상태검출부(360) 및 학습된 분류기모델(380)을 포함할 수 있다. 도 3의 특징추출부(330), 특징조합생성부(340), 상태검출부(360) 및 학습된 분류기모델(380)은 각각 도 1 및 2의 특징추출부(230), 특징조합생성부(240), 상태검출부(160) 및 학습된 분류기모델(280)에 대응될 수 있다. 따라서, 중복되는 설명은 생략한다.
도 3에 도시된 조종사 정신적 과부하 상태 검출 장치(300)에는 본 실시예들과 관련된 구성요소들만이 도시되어 있다. 따라서, 조종사 정신적 과부하 상태 검출 장치(300)에 도 3에 도시된 구성요소들 외에 도 2의 모델학습부(250) 등 다른 범용적인 구성요소들이 더 포함될 수 있음은 당해 기술분야의 통상의 기술자에게 자명하다.
상태검출부(360)는 학습된 분류기모델(380)에 특징조합을 적용하여, 조종사의 정신적 과부하 상태 여부를 검출할 수 있다. 상태검출부(360)는 분류기모델이 학습되면서 설정된 조종사에 대응되는 기준 값을 사용할 수 있다. 일 실시예에서, 분류기모델의 출력 결과가 기준 값 이상인 경우, 조종사의 정신적 상태를 과부하 상태(371)로 결정하고, 분류기모델의 출력 결과가 기준 값 미만인 경우, 조종사의 정신적 상태를 각성 상태(372)로 결정할 수 있다. 조종사 정신적 과부하 상태 검출 장치(300)는 조종사의 정신적 상태가 조종사가 업무를 수행하기에 무리가 없을 상태로 판단되는 경우의 조종사 정신적 상태를 각성 상태(372)로 결정하고, 조종사가 업무를 수행하기에 무리가 있을 상태로 판단되는 경우의 조종사 정신적 상태를 과부하 상태(371)로 결정할 수 있다.
다른 실시예에서, 상태검출부(360)는 3개의 기준값들이 정해진 경우, 분류기모델의 출력 값이 각 기준 값들을 초과함에 따라 조종사의 정신적 상태를 각성 상태, 과부하 상태 진입 전, 과부하 상태 및 위험 상태 등으로 결정할 수 있다. 다만, 이는 예시에 불과하며, 조종사 정신적 과부하 상태 검출 장치(300)가 설정하는 기준 값의 개수 및 각 단계들은 이에 한정되지 않으며 다양하게 설정될 수 있다.
도 4는 조종사 정신적 과부하 상태 검출 방법의 일 예를 나타낸 흐름도이다.
도 4를 참조하면, 조종사 정신적 과부하 상태 검출 방법은 도 1 내지 도 3에 도시된 조종사 정신적 과부하 상태 검출 장치에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하에서 생략된 내용이라 하더라도 도 1 내지 도 3에 도시된 조종사 정신적 과부하 상태 검출 장치(100, 200, 300)에 관하여 전술된 내용은 도 4의 방법에도 적용됨을 알 수 있다.
단계 410에서, 조종사 정신적 과부하 상태 검출 장치는 적어도 한 명 이상의 조종사에 대해 제 1시점에서 측정된 복수의 생체신호들을 수신할 수 있다.
단계 420에서, 조종사 정신적 과부하 상태 검출 장치는 수신된 복수의 생체신호들 각각에 포함된 특징들을 추출할 수 있다.
조종사 정신적 과부하 상태 검출 장치는 측정된 복수의 생체신호들 각각에 대해 T-test를 수행한 결과 출력된 P-value의 값이 가장 작은 복수의 생체신호들 각각의 일부를 생체신호의 특징으로 추출할 수 있다.
단계 430에서, 조종사 정신적 과부하 상태 검출 장치는 조종사에 대응되도록 특징들이 조합되는 비율을 결정함으로써 특징조합을 생성할 수 있다.
조종사 정신적 과부하 상태 검출 장치는 특징들에 대해 머신러닝 연산을 수행하여 조종사와 복수의 생체신호들과의 연관성에 대한 정보를 얻고, 얻은 정보에 기반하여 조합되는 비율을 결정할 수 있다.
단계 440에서, 조종사 정신적 과부하 상태 검출 장치는 생성된 특징조합을 입력데이터로 하여, 분류기모델을 학습시킬 수 있다.
조종사 정신적 과부하 상태 검출 장치는 특징조합에 대해 연산을 수행하여 조종사에 대응되는 기준값을 설정할 수 있다.
단계 450에서, 조종사 정신적 과부하 상태 검출 장치는 학습된 분류기모델에, 제 2시점에서 측정된 조종사의 복수의 생체신호들로부터 조합된 특징조합을 적용하여, 제 2시점에서의 조종사의 정신적 과부하 상태 여부를 검출할 수 있다.
조종사 정신적 과부하 상태 검출 장치는 분류기모델의 출력 결과가 기준값 이상인 경우, 조종사의 정신적 상태를 과부하 상태로 결정하고, 분류기모델의 출력 결과가 기준값 미만인 경우, 조종사의 정신적 상태를 각성 상태로 결정할 수 있다.
본 실시예들은 전자 디바이스에 의해 실행 가능한 명령어 및 데이터를 저장하는 전자 디바이스로 읽을 수 있는 기록매체에 저장된 어플리케이션의 형태로 구현될 수 있다. 명령어는 프로그램 코드의 형태로 저장될 수 있으며, 프로세서에 의해 실행되었을 때, 소정의 프로그램 모듈을 생성하여 소정의 동작을 수행할 수 있다. 또한, 명령어는 프로세서에 의해 실행되었을 때, 개시된 실시예들의 소정의 동작들을 수행할 수 있다.
본 실시예들은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈과 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 명세서에서, "부"는 프로세서 또는 회로와 같은 하드웨어 구성(hardware component), 및/또는 프로세서와 같은 하드웨어 구성에 의해 실행되는 소프트웨어 구성(software component)일 수 있다.
전술한 본 명세서의 설명은 예시를 위한 것이며, 본 명세서의 내용이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 실시예의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 포함되는 것으로 해석되어야 한다.

Claims (9)

  1. 적어도 한 명 이상의 조종사에 대해 제1 시점에서 측정된 복수의 생체신호들을 수신하고, 상기 수신된 복수의 생체신호들 각각에 포함된 특징들을 추출하는 특징추출부;
    상기 조종사에 대응되도록 상기 특징들이 조합되는 비율을 결정함으로써 특징조합을 생성하는 특징조합생성부;
    상기 생성된 특징조합을 입력데이터로 하여, 분류기모델을 학습시키는 모델학습부; 및
    상기 학습된 분류기모델에, 제2 시점에서 측정된 조종사의 복수의 생체신호들로부터 조합된 특징조합을 적용하여, 제2 시점에서의 조종사의 정신적 과부하 상태 여부를 검출하는 상태검출부를 포함하고,
    상기 특징추출부는, 상기 조종사에 대해 측정된 생체신호와 상기 조종사의 정신적 상태에 대한 T-test(T검정)를 수행함으로써 상기 생체신호에 포함된 복수의 일부분들 각각에 대한 P-value 값들을 출력하고,
    상기 P-value 값들 중 가장 작은 P-value 값을 출력시킨, 상기 생체신호에 포함된 일부분을 상기 생체신호의 특징으로 추출하고,
    상기 T-test는 상기 측정된 생체신호와 상기 조종사의 정신적 상태와의 연관성에 대한 정보를 얻기 위해 수행되고,
    상기 P-value 값들은 상기 연관성에 대한 정보를 포함하는, 조종사 정신적 과부하 상태 검출 장치.
  2. 삭제
  3. 제 1항에 있어서,
    상기 특징조합생성부는,
    상기 특징들에 대해 머신러닝(machine learning) 연산을 수행하여 상기 조종사의 정신적 과부하 상태와 상기 복수의 생체신호들과의 연관성에 대한 정보를 얻고, 상기 정보에 기반하여 상기 조합되는 비율을 결정하는, 조종사 정신적 과부하 상태 검출 장치.
  4. 제 1항에 있어서,
    상기 모델학습부는,
    상기 특징조합에 대해 머신러닝 연산을 수행하여 상기 조종사에 대응되는 기준 값을 설정하고,
    상기 상태검출부는,
    상기 분류기모델의 출력 결과가 상기 기준 값 이상인 경우, 상기 조종사의 정신적 상태를 과부하 상태로 결정하고, 상기 분류기모델의 출력 결과가 상기 기준 값 미만인 경우, 상기 조종사의 정신적 상태를 각성 상태로 결정하는, 조종사 정신적 과부하 상태 검출 장치.
  5. 적어도 한 명 이상의 조종사에 대해 제1 시점에서 측정된 복수의 생체신호들을 수신하는 단계;
    특징추출부가 상기 수신된 복수의 생체신호들 각각에 포함된 특징들을 추출하는 단계;
    특징조합생성부가 상기 조종사에 대응되도록 상기 특징들이 조합되는 비율을 결정함으로써 특징조합을 생성하는 단계;
    모델학습부가 상기 생성된 특징조합을 입력데이터로 하여, 분류기모델을 학습시키는 단계; 및
    상태검출부가 상기 학습된 분류기모델에, 제2 시점에서 측정된 조종사의 복수의 생체신호들로부터 조합된 특징조합을 적용하여, 제2 시점에서의 조종사의 정신적 과부하 상태 여부를 검출하는 단계를 포함하고,
    상기 특징추출부는, 상기 조종사에 대해 측정된 생체신호와 상기 조종사의 정신적 상태에 대한 T-test를 수행함으로써 상기 생체신호에 포함된 복수의 일부분들 각각에 대한 P-value 값들을 출력하고,
    상기 P-value 값들 중 가장 작은 P-value 값을 출력시킨, 상기 생체신호에 포함된 일부분을 상기 생체신호의 특징으로 추출하고,
    상기 T-test는 상기 측정된 생체신호와 상기 조종사의 정신적 상태와의 연관성에 대한 정보를 얻기 위해 수행되고,
    상기 P-value 값들은 상기 연관성에 대한 정보를 포함하는, 조종사 정신적 과부하 상태 검출 방법.
  6. 삭제
  7. 제 5항에 있어서,
    상기 생성하는 단계는,
    상기 특징조합생성부가 상기 특징들에 대해 머신러닝 연산을 수행하여 상기 조종사의 정신적 과부하 상태와 상기 복수의 생체신호들과의 연관성에 대한 정보를 얻고, 상기 정보에 기반하여 상기 조합되는 비율을 결정하는, 조종사 정신적 과부하 상태 검출 방법.
  8. 제 5항에 있어서,
    상기 학습시키는 단계는,
    상기 모델학습부가 상기 특징조합에 대해 머신러닝 연산을 수행하여 상기 조종사에 대응되는 기준 값을 설정하는 단계를 포함하고,
    상기 검출하는 단계는,
    상기 상태검출부가 상기 분류기모델의 출력 결과가 상기 기준 값 이상인 경우, 상기 조종사의 정신적 상태를 과부하 상태로 결정하고, 상기 분류기모델의 출력 결과가 상기 기준 값 미만인 경우, 상기 조종사의 정신적 상태를 각성 상태로 결정하는 단계를 포함하는, 조종사 정신적 과부하 상태 검출 방법.
  9. 제 5항의 방법을 실행하는 명령어들을 포함하는 하나 이상의 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록매체.
KR1020190141072A 2019-11-06 2019-11-06 조종사 정신적 과부하 상태 검출 장치 및 그 방법 KR102122976B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190141072A KR102122976B1 (ko) 2019-11-06 2019-11-06 조종사 정신적 과부하 상태 검출 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190141072A KR102122976B1 (ko) 2019-11-06 2019-11-06 조종사 정신적 과부하 상태 검출 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR102122976B1 true KR102122976B1 (ko) 2020-06-16

Family

ID=71141645

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190141072A KR102122976B1 (ko) 2019-11-06 2019-11-06 조종사 정신적 과부하 상태 검출 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102122976B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102417448B1 (ko) * 2021-05-20 2022-07-06 한국과학기술정보연구원 머신 러닝 기반 잠복기별 치매 예측 방법, 그리고 이를 구현하기 위한 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160036968A (ko) * 2014-09-26 2016-04-05 국민대학교산학협력단 운전자 졸음, 부주의 및 과부하 통합 판단 장치 및 방법
KR20160085577A (ko) * 2015-01-08 2016-07-18 한국과학기술연구원 생체신호를 이용한 심리상태 판단 장치 및 방법
KR20180007511A (ko) * 2016-07-13 2018-01-23 국민대학교산학협력단 운전자 특성을 고려한 운전 지원 장치 및 방법
JP2018064900A (ja) * 2016-10-21 2018-04-26 富士通株式会社 眠気判定装置および眠気判定方法並びに運転支援装置
KR20180134310A (ko) * 2017-06-08 2018-12-18 고려대학교 산학협력단 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160036968A (ko) * 2014-09-26 2016-04-05 국민대학교산학협력단 운전자 졸음, 부주의 및 과부하 통합 판단 장치 및 방법
KR20160085577A (ko) * 2015-01-08 2016-07-18 한국과학기술연구원 생체신호를 이용한 심리상태 판단 장치 및 방법
KR20180007511A (ko) * 2016-07-13 2018-01-23 국민대학교산학협력단 운전자 특성을 고려한 운전 지원 장치 및 방법
JP2018064900A (ja) * 2016-10-21 2018-04-26 富士通株式会社 眠気判定装置および眠気判定方法並びに運転支援装置
KR20180134310A (ko) * 2017-06-08 2018-12-18 고려대학교 산학협력단 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법
KR102045569B1 (ko) * 2017-06-08 2019-12-02 고려대학교 산학협력단 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102417448B1 (ko) * 2021-05-20 2022-07-06 한국과학기술정보연구원 머신 러닝 기반 잠복기별 치매 예측 방법, 그리고 이를 구현하기 위한 장치

Similar Documents

Publication Publication Date Title
Gedam et al. A review on mental stress detection using wearable sensors and machine learning techniques
Ishaque et al. Trends in heart-rate variability signal analysis
Ahn et al. Exploring neuro-physiological correlates of drivers' mental fatigue caused by sleep deprivation using simultaneous EEG, ECG, and fNIRS data
Murugan et al. Detection and analysis: Driver state with electrocardiogram (ECG)
Lanatà et al. How the autonomic nervous system and driving style change with incremental stressing conditions during simulated driving
Chen et al. Automatic detection of alertness/drowsiness from physiological signals using wavelet-based nonlinear features and machine learning
EP3590426B1 (en) Work appropriateness determination system
Saha et al. EEG analysis for cognitive failure detection in driving using type-2 fuzzy classifiers
Miller Workload measures
Lin et al. Advanced artificial intelligence in heart rate and blood pressure monitoring for stress management
Belakhdar et al. Single-channel-based automatic drowsiness detection architecture with a reduced number of EEG features
Katsis et al. An integrated telemedicine platform for the assessment of affective physiological states
US10877444B1 (en) System and method for biofeedback including relevance assessment
KR101718293B1 (ko) 뇌 네트워크 분석을 통한 외상후스트레스 장애 진단시스템
US11932255B2 (en) Method of processing the psychophysical state of a driver to improve the driving experience of a road vehicle and related vehicular system
Wu et al. Pilot's visual attention allocation modeling under fatigue
Ke et al. Drowsiness detection system using heartbeat rate in android-based handheld devices
US20220315010A1 (en) Operation appropriateness determination system, method for determining operation appropriateness, and non-transitory computer readable medium storing program for determining operation appropriateness
Urbano et al. Cooperative driver stress sensing integration with eCall system for improved road safety
KR102122976B1 (ko) 조종사 정신적 과부하 상태 검출 장치 및 그 방법
Al-Ezzi et al. Complexity analysis of EEG in patients with social anxiety disorder using fuzzy entropy and machine learning techniques
Albuquerque et al. Fusion of spectral and spectro-temporal EEG features for mental workload assessment under different levels of physical activity
Ullah et al. Driver’s drowsiness detection through computer vision: A review
Yauri et al. Mental workload detection based on EEG analysis
Mariajoseph et al. A Physiology-based Driver Readiness Estimation Model for Tuning ISO 26262 Controllability

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant