KR102108515B1 - 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템 및 방법 - Google Patents

조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템 및 방법 Download PDF

Info

Publication number
KR102108515B1
KR102108515B1 KR1020190125696A KR20190125696A KR102108515B1 KR 102108515 B1 KR102108515 B1 KR 102108515B1 KR 1020190125696 A KR1020190125696 A KR 1020190125696A KR 20190125696 A KR20190125696 A KR 20190125696A KR 102108515 B1 KR102108515 B1 KR 102108515B1
Authority
KR
South Korea
Prior art keywords
drowsiness
pilot
time
signal
state
Prior art date
Application number
KR1020190125696A
Other languages
English (en)
Inventor
오태근
이성환
유백운
김정우
Original Assignee
국방과학연구소
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소, 고려대학교 산학협력단 filed Critical 국방과학연구소
Priority to KR1020190125696A priority Critical patent/KR102108515B1/ko
Application granted granted Critical
Publication of KR102108515B1 publication Critical patent/KR102108515B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/48—Other medical applications
    • A61B5/4806—Sleep evaluation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A61M2021/0005—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus
    • A61M2021/0083—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis by the use of a particular sense, or stimulus especially for waking up
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/04—Heartbeat characteristics, e.g. ECG, blood pressure modulation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2230/00—Measuring parameters of the user
    • A61M2230/08—Other bio-electrical signals
    • A61M2230/10—Electroencephalographic signals

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Physiology (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Software Systems (AREA)
  • Psychiatry (AREA)
  • Mathematical Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Pulmonology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Data Mining & Analysis (AREA)
  • Psychology (AREA)
  • Anesthesiology (AREA)
  • Hematology (AREA)
  • Fuzzy Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)

Abstract

본 개시는, 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템 및 방법에 관한 것이다.

Description

조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템 및 방법 {SYSTEM OF PREVENTION USING PILOT'S DROWSINESS DETECTION AND CUMULATIVE ANALYSIS}
본 개시는, 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템 및 방법에 관한 것이다.
최근 비행기를 이용한 국내외 여행객들의 지속적인 증가에 따라 조종사에 대한 수요 또한 증가하고 있지만, 항공기 조종의 전문성에 의해 공급이 부족한 실정이다. 항공기 기술의 발전으로 조종사의 편의와 항공 안전을 위해 오토파일럿 기능이 개발 및 보급되었지만, 이로 인해 단조로워진 조종 환경과 장거리 비행으로 인한 피로 누적 등의 이유로 조종사의 졸음으로 인한 항공 사고가 이슈가 되고 있다. 그러므로 조종사의 안전한 업무수행과 졸음으로 인한 사고 예방을 위해 조종사의 졸음 여부를 측정하고 사전에 예측하여 사고를 예방하는 것이 필요하다.
기존에 다양한 생체 신호를 활용해서 비행 또는 운전 중 졸음 여부를 측정하거나 예측하여 사고를 예방하려는 다양한 기술이 발명되었으나, 이러한 종래 기술의 경우 현재 상태만을 분석하거나 일반화된 일주기 리듬 프로세스(circadian rhythm process)에 따라 분석된 결과만을 사용하여 조종사 또는 운전자의 졸음을 관측하는 문제점이 있다.
대한민국 공개특허공보 제10-2018-0094907호
본 개시는, 상술한 종래 기술의 문제점을 해결할 수 있다.
본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
본 개시의 제 1 측면은, 조종사로부터 생체 신호를 받아들이는 생체 신호 수신부; 상기 생체 신호로부터 상기 조종사의 제 1 시점에서의 졸음 단계인 제 1 졸음 단계 및 상기 조종사의 제 2 시점에서의 졸음 단계인 제 2 졸음 단계를 결정하는 졸음 단계 측정부; 및 상기 졸음 단계 측정부에 의해 측정된 상기 제 1 시점에서의 상기 제 1 졸음 단계 및 상기 제 2 시점에서의 상기 제 2 졸음 단계에 기초하여, 상기 조종사가 졸음 상태에 도달하기까지 걸리는 시간을 계산하는, 졸음 도달 시간 예측부;를 포함하는, 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템을 제공할 수 있다.
실시예에 있어서, 상기 생체 신호는 뇌파 신호, 심전도 신호, 피부 전도 신호, 및 호흡 신호 중 적어도 하나를 포함할 수 있다.
실시예에 있어서, 상기 조종사의 상기 졸음 상태에 관한 특징을 머신 러닝(machine learning)에 기반하여 추출하는 학습부를 더 포함할 수 있다.
실시예에 있어서, 상기 학습부는, 하기 식 1 및 하기 식 2로서 표시되는 RNN(recurrent neural network) 기반의 생체 수학적 모델식의 계수인 Wh, Uh, bh, Wy, 및 by 값을 상기 생체 신호로부터 추출할 수 있다.
[식 1]
Figure 112019103470830-pat00001
[식 2]
Figure 112019103470830-pat00002
상기 식 1 및 상기 식 2에서, 상기 Wh, Uh, bh, Wy, 및 by는 학습 파라메터 행렬 또는 벡터이고, 상기 xi는 입력값이며, 상기 yt는 출력값이고, 상기 ht-1은 t-1시점에서의 은닉층 행렬 또는 벡터이며, 상기 ht는 t시점에서의 은닉층 행렬 또는 벡터이고, 상기 σh 및 상기 σy는 활성화 함수임.
실시예에 있어서, 상기 졸음 도달 시간 예측부는, 계산된 상기 조종사가 상기 졸음 상태에 도달하기까지 걸리는 시간을 디스플레이로 전달하고, 상기 디스플레이는 상기 시간을 시각화하여 출력할 수 있다.
실시예에 있어서, 상기 조종사가 상기 졸음 상태에 도달하면, 상기 조종사에게 피드백을 제공하는 피드백 제공부;를 더 포함할 수 있다.
실시예에 있어서, 상기 조종사의 상기 제 1 졸음 단계, 상기 제 2 졸음 단계, 및 상기 조종사가 상기 졸음 상태에 도달하기까지 걸리는 시간을 관제탑으로 전달하는 정보 통신부;를 더 포함할 수 있다.
본 개시의 제 2 측면은, 조종사로부터 생체 신호를 받아들이는 단계; 상기 생체 신호로부터 상기 조종사의 제 1 시점에서의 졸음 단계인 제 1 졸음 단계 및 상기 조종사의 제 2 시점에서의 졸음 단계인 제 2 졸음 단계를 결정하는 단계; 및 상기 졸음 단계 측정부에 의해 측정된 상기 제 1 시점에서의 상기 제 1 졸음 단계 및 상기 제 2 시점에서의 상기 제 2 졸음 단계에 기초하여, 상기 조종사가 졸음 상태에 도달하기까지 걸리는 시간을 계산하는 단계;를 포함하는, 조종사의 졸음 상태를 감지하고, 누적 분석을 활용하여 졸음을 예방하는 방법을 제공할 수 있다.
실시예에 있어서, 상기 생체 신호는 뇌파 신호, 심전도 신호, 피부 전도 신호, 및 호흡 신호 중 적어도 하나를 포함할 수 있다.
실시예에 있어서, 상기 조종사가 상기 졸음 상태에 도달하면, 상기 조종사에게 피드백을 제공하는 단계;를 더 포함할 수 있다.
본 개시는, 상기한 바와 같은 과제의 해결수단들에 의하여 한정되지 않으며, 이하의 기재로부터 다른 과제의 해결수단들이 유추될 수 있다.
본 개시의 일 실시예에 따르면, 생체 신호를 활용하여 일정 간격으로 졸음 단계를 지속적으로 측정하고, 과거부터 현재까지의 졸음 특징을 누적하여 사용자만의 졸음 패턴을 분석해 졸음 시점을 정확하게 예측하여 사고를 예방할 수 있다.
또한, 본 개시의 일 실시예에 따르면, 조종사의 졸음 단계 측정부를 통해 다중 생체 신호로부터 실시간으로 수집된 정보를 주기적으로 분석하여 현재 졸음 단계를 측정하고, 졸음 발생 시간 예측부에서 과거부터 현재까지 측정된 졸음 단계에 대한 특징을 누적 분석하여 몇 분 뒤에 졸음이 발생할지 예측하여 졸음이 발생하기 전에 미리 피드백을 제시함으로써 졸음으로 인해 발생하는 항공 사고를 예방하는 것이 가능하다.
본 개시의 효과는 상술한 효과로 제한되는 것이 아니며, 언급되지 아니한 효과들은 본 명세서 및 첨부된 도면으로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.
도 1은, 일 실시예에 따른 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템의 구성을 개략적으로 도시한 도면이다.
도 2는, 일 실시예에 따른 졸음 단계 측정부의 졸음 단계를 측정하는 순서를 나타낸 흐름도이다.
도 3은, 일 실시예에 따른 졸음 도달 시간 예측부의 졸음 도달 시간을 예측하는 알고리즘을 나타낸 흐름도이다.
도 4는, 일 실시예에 따른 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템에 의해 졸음 단계를 측정하고, 졸음 도달 시간을 예측하는 알고리즘을 나타낸 흐름도이다.
도 5는, 일 실시예에 따른 졸음 예방 시스템이 시간이 지남에 따라 누적 분석을 통하여 졸음 도달 시간을 예측하는 방법을 나타낸 흐름도이다.
도 6은, 일 실시예에 있어서, 조종사의 졸음 단계 측정 및 졸음 도달 예측 시간을 병렬적으로 분석한 흐름도이다.
도 7은, 일 실시예에 있어서, 기계 학습을 통해 졸음 측정 및 예측 모델 학습을 위한 학습부의 작동 메커니즘을 나타낸 흐름도이다.
도 8은, 일 실시예에 있어서, 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템을 비행기 조종사에게 적용한 모습을 나타낸 사진이다.
도 9는, 일 실시예에 있어서, 도 7의 졸음 정보 알림 화면에 출력되는 정보를 예시적으로 나타낸 도면이다.
도 10은, 일 실시예에 따른 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템의 구성을 개략적으로 도시한 도면이다.
본 실시예들에서 사용되는 용어는 본 실시예들에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 부분에서 상세히 그 의미를 기재할 것이다. 따라서, 본 실시예들에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 실시예들 전반에 걸친 내용을 토대로 정의되어야 한다.
본 실시예들은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는바, 일부 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 실시예들을 특정한 개시형태에 대해 한정하려는 것이 아니며, 본 실시예들의 사상 및 기술범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 명세서에서 사용한 용어들은 단지 실시예들의 설명을 위해 사용된 것으로, 본 실시예들을 한정하려는 의도가 아니다.
본 실시예들에 사용되는 용어들은 다르게 정의되지 않는 한, 본 실시예들이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 실시예들에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않아야 한다.
본 명세서 전체에서, "A 및/또는 B"은 A 및 B 중에서 적어도 어느 하나를 의미한다.
본 명세서 전체에서, "졸음 단계"는 측정 대상의 졸음 수준을 수치화하여 표현한 것으로서, 예를 들어, 졸음 단계는 1 단계부터 9 단계까지 중 특정 단계로 표현될 수 있고, 숫자가 높을수록 졸음 상태에 가까워지는 것을 의미할 수 있다. 다만, 본 개시는 상술한 예시에 특별히 제한되지는 않는다.
본 명세서 전체에서, "졸음 상태"는 측정 대상이 졸음에 빠진 상태를 의미한다. 예를 들어, 측정 대상의 생체 신호가 수신되는 경우, 생체 신호의 값이나 그래프의 피크(peak) 유무를 기초로 측정 대상이 졸음 상태에 도달했는지 여부가 결정될 수 있다.
이하에서는, 도면들을 참조하여 본 실시예들을 상세히 설명하도록 한다.
도 1은, 일 실시예에 따른 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템(100)의 구성을 개략적으로 도시한 도면이다.
본 개시의 제 1 측면은, 조종사로부터 생체 신호를 받아들이는 생체 신호 수신부(110); 생체 신호로부터 조종사의 제 1 시점에서의 졸음 단계인 제 1 졸음 단계 및 조종사의 제 2 시점에서의 졸음 단계인 제 2 졸음 단계를 결정하는 졸음 단계 측정부(120); 및 졸음 단계 측정부에 의해 측정된 제 1 시점에서의 제 1 졸음 단계 및 제 2 시점에서의 제 2 졸음 단계에 기초하여, 조종사가 졸음 상태에 도달하기까지 걸리는 시간을 계산하는, 졸음 도달 시간 예측부(130);를 포함하는, 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템(100)을 제공할 수 있다.
실시예에 있어서, 생체 신호 수신부(110)는, 조종사로부터 생체 신호를 수신할 수 있다. 생체 신호는, 예를 들어, 뇌파 신호, 심전도 신호, 피부 전도 신호, 및 호흡 신호 중 적어도 하나를 포함할 수 있다.
뇌파란 뇌의 활동으로 인해 발생한 전기적 신호를 의미할 수 있다. 생체 신호 수신부(110)는 대뇌 피질에서 발생하는 전기적인 뇌파 신호를 수집할 수 있다. 뇌파 신호는, 조종사의 졸음 단계에 따라 시간 영역, 주파수 영역, 공간 영역에서 비선형적으로 변화될 수 있다. 생체 신호에는 보편적으로 나타나는 부분과 조종사 개인에 따라 차별적으로 나타나는 부분이 있다. 뇌파 신호의 경우 특히 다른 생체 신호에 비해 조종사 개인에 따라 차별적으로 나타나는 정도가 크고, 뇌파 신호의 움직임으로 인한 노이즈가 크기 때문에 이를 보완할 수 있는 딥 러닝(Deep learning) 기술을 활용해 조종사가 졸음 상태에 있는지 여부와 관련된 특징이 추출될 수 있다.
심전도 신호란 심장의 박동에 따라 심근에서 발생하는 활동 전류 신호를 의미한다. 심전도 신호는, 체표면의 적당한 2개소로 유도해서 전류계로 측정될 수가 있고, 이에 따라 수득된 심근 활동전류의 기록을 의미한다. 주로 심전도에서 가장 큰 진폭을 기록하는 R-peak를 기반으로 R-peak간의 간격, 심박수, 심박변이도가 시간 영역에서 조종사가 졸음 상태에 있는지 여부와 관련된 특징으로 사용될 수 있다. 주파수 영역에서도 낮은 주파수 대역(0.04Hz~0.15Hz)과 높은 주파수 대역(0.15Hz~0.4Hz)으로 나누어 특징으로 사용될 수 있다.
피부 전도 신호는, 사용자 피부 표면에서 발생하는 전기적인 신호일 수 있다. 피부의 온도, 방출되는 땀의 양에 의해 전기 전도도가 변화하며 타 생체 신호에 비해 변화가 느리기 때문에, 피부 전도 신호는 긴 영역에서 추출된 주파수 영역의 신호를 조종사가 졸음 상태에 있는지 여부와 관련된 특징으로 사용될 수 있다.
호흡 신호는 조종사가 호흡할 때 몸의 변화를 밴드 등을 이용하여 측정되며, 조종사의 가슴과 배에서 주로 측정될 수 있다. 시간 영역에서는 주로 분당 호흡수를 특징으로 사용하며, 피부 전도에 비해 변화가 빠르지만 뇌파에 비해 변화가 느려 주로 0.1Hz~1.5Hz사이의 주파수 대역에서 측정된 값의 크기가 조종사가 졸음 상태에 있는지 여부와 관련된 특징으로 사용된다.
실시예에 있어서, 조종사의 현재 졸음 단계 측정을 위한 생체 신호의 추출을 위한 센서는 조종사의 신체에 부착될 수 있다. 예를 들어, 뇌파 신호의 경우, 10-20 국제 전극 배치 방법에 따라 64개의 채널을 두피 부근에 배치하여 대뇌 피질에서 뇌 활동에 의해 발생하는 전기적 신호가 측정될 수 있다. 또한, 심전도 신호 측정의 예시로서, 조종사의 가슴 부근 좌, 우 2곳 그리고 심장 아래 부근 1곳 총 3 위치에 전극이 부착될 수 있다. 피부 전도 신호의 경우, 조종사의 손가락 끝에 하나의 센서가 부착될 수 있다. 호흡 신호의 경우, 조종사의 가슴, 배 2곳에 각각 스마트 밴드를 착용시켜 측정될 수 있다. 다만, 본 개시는 상술한 바에 특별히 제한되지는 않으며, 본 개시는 조종사 또는 운전자의 생체 신호를 측정하는 공지의 방법을 모두 포함할 수 있다.
실시예에 있어서, 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템(100)은, 조종사의 졸음 상태에 관한 특징을 머신 러닝(machine learning)에 기반하여 추출하는 학습부를 더 포함할 수 있다. 구체적으로, 생체 신호 수신부(110), 졸음 단계 측정부(120), 또는 졸음 도달 시간 예측부(130)는, 기계 학습(machine learning) 기반의 특징을 조합하여 조종사의 졸음 상태와 관련된 생체 신호의 특징을 추출하는 학습부를 더 포함할 수 있다. 학습부에 의하면, 생체 신호에서 측정된 정보으로부터 추출 과정을 통해 조종사 개인이 졸음 상태에 있는지 여부와 관련된 특징들이 추출될 수 있다.
실시예에 있어서, 졸음 단계 측정부(120)는 수신된 생체 신호로부터 조종사의 제 1 시점에서의 졸음 단계인 제 1 졸음 단계 및 조종사의 제 2 시점에서의 졸음 단계인 제 2 졸음 단계를 결정할 수 있다. 구체적으로, 졸음 단계 측정부(120)는 수신된 제 1 생체 신호로부터 제 1 시점에서의 졸음 단계인 제 1 졸음 단계를 결정할 수 있고, 졸음 단계 측정부(120)는 수신된 제 2 생체 신호로부터 제 2 시점에서의 졸음 단계인 제 2 졸음 단계를 결정할 수 있다.
실시예에 있어서, 제 1 생체 신호 및 제 2 생체 신호는 각각, 예를 들어, 뇌파 신호, 심전도 신호, 피부 전도 신호, 호흡 신호, 및 이들의 조합을 포함할 수 있다. 바람직하게는, 제 1 생체 신호 및 제 2 생체 신호는 각각, 뇌파 신호, 심전도 신호, 피부 전도 신호, 및 호흡 신호의 조합으로부터 형성되는 신호일 수 있다. 다만, 이에 특별히 제한되지 않으며, 조종사의 졸음 상태와 관련된 공지의 생체 신호들이 본 개시에 포함될 수 있다.
실시예에 있어서, 졸음 단계 측정부(120)는 제 1 생체 신호 및 제 2 생체 신호 외에도, 예를 들어, 제 3 시점에 수신되는 제 3 생체 신호 등으로부터 조종사의 제 3 시점에서의 졸음 단계인 제 3 졸음 단계를 결정할 수 있다. 졸음 단계 측정부(120)는 시간의 흐름에 따라 이후 시점에 수신되는 생체 신호 등으로부터 조종사의 특정 시점에서의 졸음 단계를 결정할 수 있다.
졸음 단계는, 측정 대상의 졸음 수준을 수치화하여 표현한 것으로서, 예를 들어, 졸음 단계는 1 단계부터 9 단계까지 중 특정 단계로 표현될 수 있다. 숫자가 높을수록 조종사가 졸음 상태에 가까워지는 것을 의미할 수 있다. 졸음 단계는 상술한 생체 신호 수신부의 학습부에 의해 추출된 조종사의 졸음 상태에 관한 특징에 기반하여 결정될 수 있다. 뇌파 신호의 경우를 예시로 들면, 조종사의 대뇌 피질에서 발생된 전기적 신호 측정값이 특정값으로 기록되는 경우, 기 설정된 테이블에 의해 특정값에 대응되는 졸음 단계가 측정될 수 있다. 다만, 상술한 예시는 뇌파 신호의 경우에 제한되지 않으며, 심전도 신호, 피부 전도 신호, 및 호흡 신호 등에 적용될 수 있다.
졸음 단계 측정부(120)는 조종사의 졸음 단계를 주기적으로 측정할 수 있다. 졸음 단계 측정부(120)는 수신된 생체 신호로부터 조종사의 제 1 시점에서의 졸음 단계인 제 1 졸음 단계 및 조종사의 제 2 시점에서의 졸음 단계인 제 2 졸음 단계를 결정할 수 있다. 여기에서, 제 1 시점과 제 2 시점 사이에는 s초 (s>0)의 간격이 존재할 수 있다. 예를 들어, 졸음 단계 측정부(120)는 제 1 시점에서의 졸음 단계인 제 1 졸음 단계를 측정하고 난 이후, 약 10초가 지나고 나서, 제 2 시점에서의 졸음 단계인 제 2 졸음 단계를 측정할 수 있다. 다만, 본 개시는 상술한 바에 특별히 제한되지는 않으며, 제 1 시점과 제 2 시점과의 시간 간격은 통상의 기술자가 용이하게 설계 가능한 범위에서 적절하게 조절될 수 있다.
또한, 졸음 단계 측정부(120)는 제 1 시점과 제 2 시점 외에, 제 3 시점 등에서 조종사의 졸음 단계를 측정할 수 있다. 후술하겠지만, 각 시점에서 측정된 졸음 단계를 종합하여, 조종사가 졸음 상태에 도달하는 시간이 예측될 수 있다.
실시예에 있어서, 졸음 도달 시간 예측부(130)는, 졸음 단계 측정부(120)에 의해 측정된 제 1 시점에서의 제 1 졸음 단계 및 제 2 시점에서의 제 2 졸음 단계에 기초하여, 조종사가 졸음 상태에 도달하기까지 걸리는 시간을 계산할 수 있다.
여기에서, 조종사가 졸음 상태에 해당되는지 여부는 상술한 생체 신호들로부터 확인될 수 있다. 또한, 해당 조종사의 졸음 상태와 관련된 특징은 전술한 학습부에 의해 기계 학습(machine learning) 기반의 특징을 조합하여 추출된 것일 수 있다.
실시예에 있어서, 학습부는, 하기 식 1 및 하기 식 2로서 표시되는 RNN(recurrent neural network) 기반의 생체 수학적 모델식의 계수인 Wh, Uh, bh, Wy, 및 by 값을 상기 생체 신호로부터 추출할 수 있다.
[식 1]
Figure 112019103470830-pat00003
[식 2]
Figure 112019103470830-pat00004
상기 식 1 및 상기 식 2에서, 상기 Wh, Uh, bh, Wy, 및 by는 학습 파라메터 행렬 또는 벡터이고, 상기 xi는 입력값이며, 상기 yt는 출력값이고, 상기 ht-1은 t-1시점에서의 은닉층 행렬 또는 벡터이며, 상기 ht는 t시점에서의 은닉층 행렬 또는 벡터이고, 상기 σh 및 상기 σy는 활성화 함수이다.
실시예에 있어서, 학습부는 기계 학습을 진행할 수 있고, 기계 학습의 신경망은 입력층(input), 은닉층(hidden), 및 출력층(output)을 포함할 수 있다. 은닉층은, 입력 층으로부터 입력값을 받아 가중합을 계산하고, 이 값을 전이함수에 적용하여 출력층에 전달할 수 있다.
실시예에 있어서, 학습부는, 예를 들어, 제 1 생체 신호로부터 제 1 시점에서 조종사의 졸음 단계인 제 1 졸음 단계에 기초하여, 상기 식 1의 Wh, Uh, 및 bh 값을 추출할 수 있다. 또한, 일정 시간이 지난 후에, 학습부는 제 2 생체 신호로부터 제 2 시점에서 조종사의 졸음 단계인 제 2 졸음 단계에 기초하여, 상기 식 2의 Wy 및 by 값을 추출할 수 있다. 졸음 도달 시간 예측부(130)는, 학습부에 의해 계수값이 정해진 상기 식 1 및 상기 식 2를 계산하여, 조종사가 졸음 상태에 도달하는 시간인 yt를 계산할 수 있다.
실시예에 있어서, 졸음 도달 시간 예측부(130)는 추가적으로, 제 3 생체 신호로부터 제 3 시점에서 조종사의 졸음 단계인 제 3 졸음 단계에 기초하여, 상기 식 2의 계수를 추출할 수 있다. 졸음 도달 시간 예측부(130)는, 시간이 지남에 따라 정해진 상기 식 1 및 상기 식 2를 계산하여, 조종사가 졸음 상태에 도달하는 시간을 계산할 수 있다. 이에 따라, 졸음 도달 시간 예측부(130)는 시간의 흐름에 따라 수신되는 생체 신호들을 누적 분석하여 조종사 개인이 졸음 상태에 도달하는 시간을 정확하게 계산할 수 있다.
다만, 본 개시는 이에 특별히 제한되지 않으며, 졸음 도달 시간 예측부(130)는 졸음 단계와 관련된 생체 신호의 특징을 LSTM(long-short term memory)이나 TCNN(temporal convolutional neural network) 기반의 수학적 모델을 통해 누적시켜서 조종사가 졸음 상태에 도달하는 시간을 예측할 수도 있다.
실시예에 있어서, 졸음 도달 시간 예측부(130)는, 누적된 졸음 단계 관련 특징을 기반으로 조종사가 현재 졸음 상태인지 여부를 확인하고, 졸음 상태가 아닐 경우 졸음 상태에 도달하는 시간의 계산을 진행할 수 있다.
실시예에 있어서, 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템(100)은, 조종사의 제 1 졸음 단계, 제 2 졸음 단계, 및 조종사가 졸음 상태에 도달하기까지 걸리는 시간을 관제탑으로 전달하는 정보 통신부(미도시)를 더 포함할 수 있다.
또한, 예측된 졸음 도달 시간에 도달할 경우, 졸음 도달 시간 예측부(130)는 해당 정보를 정보 통신부로 전송할 수 있다. 정보 통신부는 해당 정보를 조종사에게 피드백을 제공하기 위한 피드백 제공부(미도시)에 전송할 수 있다. 이러한 경우에도, 졸음 도달 시간 예측부(130)는 수신된 생체 신호로부터 누적 분석을 계속해서 진행할 수 있다.
실시예에 있어서, 졸음 도달 시간 예측부는, 조종사가 졸음 상태에 도달하기까지 걸리는 시간을 디스플레이로 전달하고, 디스플레이는 조종사가 졸음 상태에 도달하기까지 걸리는 시간을 시각화하여 출력할 수 있다.
실시예에 있어서, 조종사가 졸음 상태에 도달하면, 조종사에게 피드백을 제공하는 피드백 제공부를 더 포함할 수 있다.
본 개시의 제 2 측면은, 조종사로부터 생체 신호를 받아들이는 단계; 생체 신호로부터 조종사의 제 1 시점에서의 졸음 단계인 제 1 졸음 단계 및 조종사의 제 2 시점에서의 졸음 단계인 제 2 졸음 단계를 결정하는 단계; 및 졸음 단계 측정부에 의해 측정된 제 1 시점에서의 제 1 졸음 단계 및 제 2 시점에서의 제 2 졸음 단계에 기초하여, 조종사가 졸음 상태에 도달하기까지 걸리는 시간을 계산하는 단계;를 포함하는, 조종사의 졸음 상태를 감지하고, 누적 분석을 활용하여 졸음을 예방하는 방법을 제공할 수 있다.
본 개시의 제 2 측면에 대하여, 제 1 측면에 서술된 내용들이 동일하게 적용될 수 있으며, 기재를 생략하였다고하여 그 적용이 배제되는 것은 아니다.
본 개시의 제 2 측면에 따르면, 조종사의 생체 신호를 활용하여 일정 간격으로 졸음 단계를 지속적으로 측정하고, 과거부터 현재까지의 졸음 특징을 누적하여 사용자만의 졸음 패턴을 분석해 졸음 시점을 정확하게 예측하는 것이 가능하다. 또한, 조종사가 졸음 상태에 있을 때 조종사에게 피드백을 제공하고, 관제탑에 관련 정보를 용이하게 전달할 수 있다. 이에 따라, 차량이나 항공기를 운전할 때 조종사의 졸음에 의하여 발생할 수 있는 사고를 예방할 수 있다.
도 2는, 일 실시예에 따른 졸음 단계 측정부(120)의 졸음 단계를 측정하는 순서를 나타낸 흐름도이다.
도 2를 참조하면, 예를 들어, 4 가지 생체 신호 각각의 시간 영역, 주파수 영역, 공간 영역에서 추출된 특징을 입력으로 학습부를 통해 학습된 모델을 활용해 졸음과 관련이 높은 특징을 조합하고, 졸음 단계 측정부(120)는 조합된 특징을 활용해 현재 졸음 단계를 분석할 수 있다. 졸음 단계 분석을 위해 조합된 특징들은 졸음 도달 시간 예측부(130)로 전달될 수 있다.
도 3은, 일 실시예에 따른 졸음 도달 시간 예측부(130)의 졸음 도달 시간을 예측하는 알고리즘을 나타낸 흐름도이다.
도 3을 참조하면, 졸음 단계 측정부(120)는 시간에 따라 지속적으로 생성되는 조종사의 졸음 단계 관련 특징을 졸음 단계가 측정될 때마다 주기적으로 누적할 수 있다. 누적된 결과를 활용해 현재 졸음 상태에 도달했는지 판단하고, 조종사가 졸음 상태에 도달하지 않았다면 현재까지 누적된 졸음 단계 관련 특징을 기반으로 몇 분 뒤에 졸음이 발생할 것인지 예측하게 된다. 여기에서, 시간 흐름에 따른 누적 분석이 가능한 Recurrent Neural Network(RNN) 기반의 모델이 활용되어 예측을 위한 특징이 재조합될 수 있으며, 이후 RNN과 연결된 Regression 모델을 통해서 졸음 도달 시간이 예측될 수 있다. 이후 사용자가 정해놓은 시간 이내에 조종사가 졸음 상태에 도달할 것으로 예측되면 적절한 피드백이 제공될 수 있다. 사용자가 정해놓은 시간 이내에 졸음이 발생하지 않을 것으로 예측되면 다음 예측에서 더욱 정확한 예측을 위해 추가로 누적된 졸음 단계 관련 특징을 통해 동일한 과정으로 조종사의 업무가 끝날 때까지 계속해서 분석될 수 있다.
도 4는, 일 실시예에 따른 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템(100)에 의해 졸음 단계를 측정하고, 졸음 도달 시간을 예측하는 알고리즘을 나타낸 흐름도이다.
도 4를 참조하면, 생체 신호 수신부(110)는 각 생체 신호들을 받아들이고, 각 생체 신호들로부터 조종사의 졸음 상태와 관련된 특징들을 추출할 수 있다. 또한, 생체 신호 수신부(110) 내의 학습부는 추출된 졸음 상태와 관련된 특징들을 기계 학습 기반의 특징 조합을 통해 조종사가 졸음 상태에 도달했는지 여부를 판단하는 기준을 설정할 수 있다.
졸음 단계 측정부(120)는, 수신된 생체 신호들로부터 현재 조종사가 졸음 상태에 있는지 여부를 결정할 수 있다. 또한, 시간의 흐름에 따라 생체 신호는 제 1 생체 신호, 제 2 생체 신호 등으로 분류될 수 있다. 각각의 생체 신호는, 예를 들어, 뇌파 신호, 심전도 신호, 피부 전도 신호, 및 호흡 신호 중 적어도 하나를 조합하여 형성될 수 있다.
도 5는, 일 실시예에 따른 졸음 예방 시스템이 시간이 지남에 따라 누적 분석을 통하여 졸음 도달 시간을 예측하는 방법을 나타낸 흐름도이다.
도 5를 참조하면, 첫 번째 생체 신호 데이터 (제 1 생체 신호)가 입력되면 졸음 단계 측정부(120)를 통해 졸음 관련 특징이 조합되고, 이후 졸음 발생 시간 예측부(130)는 누적 분석을 진행할 수 있다. 졸음 발생 시간 예측부(130)는 기계 학습 기반의 누적 분석을 통해 첫 번째 졸음 단계에 해당하는 수학적 계수를 추출할 수 있다. 이후, 두 번째 생체 신호 데이터 (제 2 생체 신호)가 입력되면 졸음 단계 측정부(120) 및 졸음 발생 시간 예측부(130)는 누적 분석을 진행할 수 있다. 두 번째 누적 분석부터는 이전 단계(첫 번째)에서 압축 및 추출된 계수와 두 번째 졸음 관련 특징을 모두 고려해 누적 분석이 진행될 수 있으며, 누적 분석에 따라 두 번째 수학적 계수가 압축 및 추출될 수 있다. 이전 단계의 계수를 계속하여 기계 학습적으로 고려하기 때문에 누적 분석이 가능하며, 현재 계수까지 추출되면 생체-수학적 졸음 발생 시간 예측 모델을 통해 몇 분 뒤에 조종사가 졸음 상태에 도달하는지 그 시간을 예측할 수 있다.
도 6은, 일 실시예에 있어서, 조종사의 졸음 단계 측정 및 졸음 도달 예측 시간을 병렬적으로 분석한 흐름도이다.
도 7은, 일 실시예에 있어서, 기계 학습을 통해 졸음 측정 및 예측 모델 학습을 위한 학습부의 작동 메커니즘을 나타낸 흐름도이다.
도 6 및 도 7을 참조하면, 졸음 단계 및 졸음 상태 도달 시간의 시각화, 졸음 단계 분석, 졸음 도달 시간 분석, 생체 신호 입력 각각 서로 다른 모델에서 진행될 수 있으므로, 도 6과 같이 시스템 동작 흐름에 따라 병렬적으로 동시에 동작될 수 있다.
도 8은, 일 실시예에 있어서, 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템(100)을 실제 비행 상황에 적용했을 때의 모습을 나타낸 사진이다.
도 9는, 일 실시예에 있어서, 도 8의 졸음 정보 알림 화면에 출력되는 정보를 예시적으로 나타낸 도면이다.
도 8을 참조하면, 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템(100)은, 도시된 바와 같이 착석해 있는 조종사로부터, 뇌파 신호, 심전도 신호, 호흡 신호, 및 피부 전도 신호와 같은 4 가지의 생체 신호를 수신하고, 실시간으로 조종사의 현재 졸음 단계를 측정하여 도 9와 같이 푸른색 부분으로 시각화하여 나타낼 수 있다. 또한, 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템(100)은 현재까지 측정된 졸음 단계 관련 특징을 활용해 예측된 졸음 발생 시간을 실시간으로 업데이트하여 시각화하여 나타낼 수 있다.
도 9를 참조하면, 조종사가 졸음 상태에 도달하는 시간이 얼마나 남았는지 문자로 표시하여 조종사가 스스로 인지할 수 있고, 졸음 상태에 도달하는 시간까지 남은 시간에 따라 조종사가 취해야 할 적절한 조치들을 피드백으로 제공할 수 있다. 또한, 정보 통신부는 조종사의 현재 졸음 단계 및 졸음 상태에 도달하는 시간을 관제탑에 송신할 수도 있다.
도 10은, 일 실시예에 따른 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템(100)의 구성을 개략적으로 도시한 도면이다.
일 실시예에 따른 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템(100)은, 정보 통신부를 더 포함할 수 있다. 정보 통신부는, 측정된 졸음 단계 및 예측된 조종사의 졸음에 도달하기까지 걸리는 시간을 관제탑으로 송신할 수 있다. 또한, 정보 통신부는 측정된 졸음 단계 및 예측된 조종사의 졸음에 도달하기까지 걸리는 시간을 피드백 제공부로 전달할 수 있다.
실시예에 있어서, 피드백 제공부는 정보 통신부로부터 수신된 졸음 단계가, 예를 들어, 7 단계 이상인 경우, 조종사에게 적절한 피드백(feedback)을 제공할 수 있다. 피드백의 종류는 특별히 제한되지 않으며, 본 기술분야에서 공지된 피드백의 형태들이 채용될 수 있다.
한편, 본 실시예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
110: 생체 신호 수신부
120: 졸음 단계 측정부
130: 졸음 도달 시간 예측부

Claims (10)

  1. 조종사로부터 생체 신호를 받아들이는 생체 신호 수신부;
    상기 생체 신호로부터 상기 조종사의 제 1 시점에서의 졸음 단계인 제 1 졸음 단계 및 상기 조종사의 제 2 시점에서의 졸음 단계인 제 2 졸음 단계를 결정하는 졸음 단계 측정부; 및
    상기 졸음 단계 측정부에 의해 측정된 상기 제 1 시점에서의 상기 제 1 졸음 단계 및 상기 제 2 시점에서의 상기 제 2 졸음 단계에 기초하여, 상기 조종사가 졸음 상태에 도달하기까지 걸리는 시간을 계산하는, 졸음 도달 시간 예측부;
    를 포함하고,
    상기 생체 신호는 뇌파 신호, 심전도 신호, 피부 전도 신호, 및 호흡 신호를 모두 포함하는, 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템으로서,
    상기 시스템은 상기 조종사의 상기 졸음 상태에 관한 특징을 머신 러닝(machine learning)에 기반하여 추출하는 학습부를 더 포함하고,
    상기 학습부는, 하기 식 1 및 하기 식 2로서 표시되는 RNN(recurrent neural network) 기반의 생체 수학적 모델식의 계수인 Wh, Uh, bh, Wy, 및 by 값을 상기 생체 신호로부터 추출하는, 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템.
    [식 1]
    Figure 112019134895914-pat00017

    [식 2]
    Figure 112019134895914-pat00018

    상기 식 1 및 상기 식 2에서, 상기 Wh, Uh, bh, Wy, 및 by는 학습 파라메터 행렬 또는 벡터이고, 상기 xi는 입력값이며, 상기 yt는 출력값이고, 상기 ht-1은 t-1시점에서의 은닉층 행렬 또는 벡터이며, 상기 ht는 t시점에서의 은닉층 행렬 또는 벡터이고, 상기 σh 및 상기 σy는 활성화 함수임.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제 1 항에 있어서,
    상기 졸음 도달 시간 예측부는, 계산된 상기 조종사가 상기 졸음 상태에 도달하기까지 걸리는 시간을 디스플레이로 전달하고, 상기 디스플레이는 상기 시간을 시각화하여 출력하는, 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템.
  6. 제 1 항에 있어서,
    상기 조종사가 상기 졸음 상태에 도달하면, 상기 조종사에게 피드백을 제공하는 피드백 제공부;를 더 포함하는, 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템.
  7. 제 1 항에 있어서,
    상기 조종사의 상기 제 1 졸음 단계, 상기 제 2 졸음 단계, 및 상기 조종사가 상기 졸음 상태에 도달하기까지 걸리는 시간을 관제탑으로 전달하는 정보 통신부;를 더 포함하는, 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템.
  8. 생체 신호 수신부가 조종사로부터 생체 신호를 받아들이는 단계;
    졸음 단계 측정부가 상기 생체 신호로부터 상기 조종사의 제 1 시점에서의 졸음 단계인 제 1 졸음 단계 및 상기 조종사의 제 2 시점에서의 졸음 단계인 제 2 졸음 단계를 결정하는 단계; 및
    졸음 도달 시간 예측부가 상기 졸음 단계 측정부에 의해 측정된 상기 제 1 시점에서의 상기 제 1 졸음 단계 및 상기 제 2 시점에서의 상기 제 2 졸음 단계에 기초하여, 상기 조종사가 졸음 상태에 도달하기까지 걸리는 시간을 계산하는 단계;
    를 포함하는, 조종사의 졸음 상태를 감지하고, 누적 분석을 활용하여 졸음을 예방하는 방법으로서,
    상기 생체 신호는 뇌파 신호, 심전도 신호, 피부 전도 신호, 및 호흡 신호를 모두 포함하고,
    상기 방법은, 학습부가 상기 조종사의 상기 졸음 상태에 관한 특징을 머신 러닝(machine learning)에 기반하여 추출하는 단계를 더 포함하며,
    상기 학습부는, 하기 식 1 및 하기 식 2로서 표시되는 RNN(recurrent neural network) 기반의 생체 수학적 모델식의 계수인 Wh, Uh, bh, Wy, 및 by 값을 상기 생체 신호로부터 추출하는, 조종사의 졸음 상태를 감지하고, 누적 분석을 활용하여 졸음을 예방하는 방법.
    [식 1]
    Figure 112019134895914-pat00019

    [식 2]
    Figure 112019134895914-pat00020

    상기 식 1 및 상기 식 2에서, 상기 Wh, Uh, bh, Wy, 및 by는 학습 파라메터 행렬 또는 벡터이고, 상기 xi는 입력값이며, 상기 yt는 출력값이고, 상기 ht-1은 t-1시점에서의 은닉층 행렬 또는 벡터이며, 상기 ht는 t시점에서의 은닉층 행렬 또는 벡터이고, 상기 σh 및 상기 σy는 활성화 함수임.
  9. 삭제
  10. 제 8 항에 있어서,
    상기 방법은, 상기 조종사가 상기 졸음 상태에 도달하면, 피드백 제공부가상기 조종사에게 피드백을 제공하는 단계;를 더 포함하는, 조종사의 졸음 상태를 감지하고, 누적 분석을 활용하여 졸음을 예방하는 방법.
KR1020190125696A 2019-10-10 2019-10-10 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템 및 방법 KR102108515B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190125696A KR102108515B1 (ko) 2019-10-10 2019-10-10 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190125696A KR102108515B1 (ko) 2019-10-10 2019-10-10 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR102108515B1 true KR102108515B1 (ko) 2020-05-08

Family

ID=70677276

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190125696A KR102108515B1 (ko) 2019-10-10 2019-10-10 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR102108515B1 (ko)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014117425A (ja) * 2012-12-14 2014-06-30 Delta Tooling Co Ltd 運転時生体状態判定装置及びコンピュータプログラム
KR20160057257A (ko) * 2014-11-13 2016-05-23 (주) 스마트메디칼디바이스 생체정보를 이용한 졸음측정 방법 및 시스템
KR20170000630A (ko) * 2015-06-24 2017-01-03 한국항공우주산업 주식회사 조종사 생체 정보에 따른 임무 조정을 위한 항공 시스템
KR20170009589A (ko) * 2015-07-17 2017-01-25 엘지전자 주식회사 웨어러블 장치 및 그의 동작 방법
KR20180094907A (ko) 2015-12-18 2018-08-24 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 졸음 시작 검출 기법
KR20180134310A (ko) * 2017-06-08 2018-12-18 고려대학교 산학협력단 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법
KR102033499B1 (ko) * 2018-07-12 2019-10-18 동국대학교 산학협력단 졸음 판단 장치 및 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014117425A (ja) * 2012-12-14 2014-06-30 Delta Tooling Co Ltd 運転時生体状態判定装置及びコンピュータプログラム
KR20160057257A (ko) * 2014-11-13 2016-05-23 (주) 스마트메디칼디바이스 생체정보를 이용한 졸음측정 방법 및 시스템
KR20170000630A (ko) * 2015-06-24 2017-01-03 한국항공우주산업 주식회사 조종사 생체 정보에 따른 임무 조정을 위한 항공 시스템
KR20170009589A (ko) * 2015-07-17 2017-01-25 엘지전자 주식회사 웨어러블 장치 및 그의 동작 방법
KR20180094907A (ko) 2015-12-18 2018-08-24 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 졸음 시작 검출 기법
KR20180134310A (ko) * 2017-06-08 2018-12-18 고려대학교 산학협력단 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법
KR102033499B1 (ko) * 2018-07-12 2019-10-18 동국대학교 산학협력단 졸음 판단 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
https://web.archive.org/web/20170101130013/https://en.wikipedia.org/wiki/Recurrent_neural_network* *

Similar Documents

Publication Publication Date Title
Ikeda et al. Estimating emotion with biological information for robot interaction
KR102045569B1 (ko) 조종사 상태의 통합 감시 제어 장치 및 이를 이용한 조종사의 임무 수행 능력 유도 방법
EP3669768B1 (en) A method for generating a model for generating a synthetic ecg and a method and system for analysis of heart activity
KR101718293B1 (ko) 뇌 네트워크 분석을 통한 외상후스트레스 장애 진단시스템
KR20180001367A (ko) 운전자의 생체 신호를 기반으로 하는 운전자의 상태 판별 장치 및 방법
Zontone et al. Car driver's sympathetic reaction detection through electrodermal activity and electrocardiogram measurements
Muth et al. Respiratory sinus arrhythmia as a measure of cognitive workload
US10368792B2 (en) Method for detecting deception and predicting interviewer accuracy in investigative interviewing using interviewer, interviewee and dyadic physiological and behavioral measurements
US20220148728A1 (en) System and method for analyzing stress of user and managing individual mental health, using hmd device having biosignal sensors mounted therein
CA3126763A1 (en) System for measuring heart rate
US20160370774A1 (en) Process for controlling a mobile device
CN111819585A (zh) 生理数据智能处理方法与系统
Ghosh et al. Detection of essential hypertension with physiological signals from wearable devices
CN115969383A (zh) 一种基于心电信号和呼吸信号的人体生理疲劳检测方法
Dell’Agnola et al. Machine-Learning Based Monitoring of Cognitive Workload in Rescue Missions With Drones
JP2006280806A (ja) 脳内電流源推定方法、生体情報推定方法、脳内電流源推定装置、及び生体情報推定装置
KR102108515B1 (ko) 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템 및 방법
JP2017064364A (ja) 生体状態推定装置、生体状態推定方法及びコンピュータプログラム
KR102122976B1 (ko) 조종사 정신적 과부하 상태 검출 장치 및 그 방법
CN108882883A (zh) 对副交感自主神经系统和交感自主神经系统的同时和独立活动进行测量、相关和分析的方法和系统
WO2017057022A1 (ja) 生体状態推定装置、生体状態推定方法及びコンピュータプログラム
US11259719B2 (en) Vital sign information recording system, vital sign information analyzer, and vital sign information display method
Crowley et al. Investigation of train driver physiological responses
JP2021516598A (ja) テレメトリー一体化システム
Masters et al. Physiological Sensor Fusion for Real-Time Pilot Workload Prediction in a Helicopter Simulator

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant