KR20180094907A - 졸음 시작 검출 기법 - Google Patents

졸음 시작 검출 기법 Download PDF

Info

Publication number
KR20180094907A
KR20180094907A KR1020187017009A KR20187017009A KR20180094907A KR 20180094907 A KR20180094907 A KR 20180094907A KR 1020187017009 A KR1020187017009 A KR 1020187017009A KR 20187017009 A KR20187017009 A KR 20187017009A KR 20180094907 A KR20180094907 A KR 20180094907A
Authority
KR
South Korea
Prior art keywords
drowsiness
individual
information
heart rate
signal
Prior art date
Application number
KR1020187017009A
Other languages
English (en)
Inventor
아다르쉬 카난
고빈드 라마스와미
아비나쉬 구자르
스리니바스 바스카르
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20180094907A publication Critical patent/KR20180094907A/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405—Determining heart rate variability
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/7257—Details of waveform analysis characterised by using transforms using Fourier transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7253—Details of waveform analysis characterised by using transforms
    • A61B5/726—Details of waveform analysis characterised by using transforms using Wavelet transforms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405—Details of notification to user or communication with user or patient ; user input means using sound
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0024—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system for multiple sensor units attached to the patient, e.g. using a body or personal area network
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/681—Wristwatch-type devices
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898—Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Abstract

졸음 시작 검출 구현예는 사람이 심박수 정보에 기초하여 각성 상태에서 졸음 상태로 전환하는 때를 예측한다. 사람을 각성 상태가 되도록 자극하거나(졸음/경보 상태와 관련하여) 자신의 상태를 다른 사람들에게 알리기 위해 적절한 조치가 취해진다. 이것은 일반적으로 하나 이상의 심박수(HR) 센서를 사용하여 시간 경과에 따른 사람의 심박수 정보를 캡처한 다음 캡처된 심박수 정보로부터 심박 변이도(HRV) 신호를 계산하는 것을 포함한다. 이산 푸리에 변환 및 이산 웨이브렛 변환을 사용하여, HRV 신호를 분석하여 개인이 깨어있는 상태에서 졸음 상태로 전환하는 것을 나타내는 특징을 추출한다. 개인이 전술한 졸음 상태로의 전환을 하는 때를 식별하도록, 추출된 특징은 동일한 특징을 사용하여 트레이닝된 인공 신경망(ANN)에 입력된다. 졸음의 시작이 검출될 경우, 경고가 개시된다.

Description

졸음 시작 검출 기법
뇌전도(Electroencephalography, EEG)는, 두피에 배치된 복수의 전극을 사용하여 캡처한, 시간에 따른 뇌의 전기적 활동을 모니터링하는 방법이다. 사람의 정신적 상태와 물리적 상태에 대한 정보는 EEG 신호에서 관찰되는 소위 뇌파의 분석에서 도출될 수 있다. 이러한 상태 중 하나는 깨어있는 상태와 졸린 상태 사이의 전환이다.
사람의 수면에는 두 가지 주요 유형이 있는데, 즉 급속 안구 운동(rapid-eye-movement: REM) 수면과 비급속 안구 운동(non-rapid-eye-movement: NREM) 수면이 있다. REM 수면은 특징적인 낮은 진폭, 고주파에 의해 EEG 신호에서 식별 가능하다. NREM 수면은 N1, N2 및 N3의 세 가지 별개의 단계로 분류되며, REM 수면과는 매우 다른 EEG파 패턴을 나타낸다. 예를 들어, N3 NREM 수면은 높은 진폭, 저주파를 특징으로 하는 EEG 신호의 뇌파를 나타낸다. 일반적으로, 뇌파는 사람이 N1 단계에서 N3 단계로 전환함에 따라 더 느려지고 더 동기화된다.
사람이 잠들면, 신체 활동이 느려지고 뇌파는 더 느려지며 더 커진다. 흔히 졸음 또는 경면(drowsy sleep or drowsiness)으로 지칭되는 N1 NREM 수면은 대개 수면(sleep)과 각성(wakefulness) 사이에 발생한다. 이 단계는 EEG 신호에서, 8-13 Hz의 주파수를 갖는 이른바 알파파(깨어있는 상태에서 일반적임)와 4-7 Hz의 주파수를 갖는 이른바 세타파 사이의 전환으로 특징된다. 따라서, 깨어있는 상태에서 졸린 상태로의 전환은 EEG 신호에서 쉽게 볼 수 있다.
본원 명세서에 기술된 졸음 시작 검출 구현예는 일반적으로 개인의 졸음 시작을 검출한다. 하나의 일반적인 구현예에서, 이것은 개인의 HR 정보를 캡처하는 하나 이상의 심박수(HR) 센서, 하나 이상의 컴퓨팅 장치, 및 하나 이상의 컴퓨팅 장치에 의해 실행 가능한 복수의 서브프로그램을 갖는 졸음 시작 검출기 컴퓨터 프로그램을 사용하는 것을 포함한다. 하나 이상의 컴퓨팅 장치는 졸음 시작 검출기 컴퓨터 프로그램의 서브프로그램에 의해 먼저 심박수 센서 또는 센서들로부터 HR 정보를 수신하도록 지시받는다. 그 후, HR 정보에서 특징 세트가 추출된다. 이들 특징은, HR 정보에서 추출할 수 있는 다수의 특징들 중, 개인의 깨어있는 상태에서 졸린 상태로의 전환을 구체적으로 나타내는 것으로 판정된 특징이다. 추출된 특징은 그 후 결합되어 졸음 검출 입력을 생성한다. 그 다음에, 졸음 검출 입력은 추출된 특징에 기초하여 개인의 깨어있는 상태와 졸린 상태를 구별하도록 트레이닝된 인공 신경망(ANN) 분류기로 제공된다. 일 실시예에서, ANN 분류기는 또한 EEG 신호에서 보여지는 각성과 졸음(즉, N1 NREM 수면) 사이의 전환의 표시자를 부분적으로 사용하여 트레이닝되어 있다. 그 다음에, 졸음 검출 입력이 개인이 졸음의 시작을 보이고 있음을 나타내는지가 ANN 분류기의 출력으로부터 식별된다. 졸음 검출 입력이 개인이 졸음의 시작을 보이고 있으면 졸음 시작 경고가 개시된다.
전술한 개요는 후속하여 발명의 상세한 설명 부분에서 설명되는 개념들 중 선택된 것들을 단순화된 형태로 소개하고자 제공되는 것이다. 본 개요는 청구항의 청구 대상의 핵심적인 특징이나 필수적인 특징들을 밝히고자 함이 아니며, 청구항의 청구 대상의 범위를 결정하는 데 도움이 되고자 함도 아니다. 본 개요의 유일한 목적은 후술하는 상세한 설명의 서문으로서 간단한 형태로 청구 대상의 일부 개념을 제공하기 위한 것이다.
본 개시의 특정한 특징, 양상 및 이점은 다음의 설명, 첨부된 청구항 및 첨부 도면과 관련하여 보다 잘 이해될 것이다.
도 1은 본 명세서에 기술된 졸음 시작 검출 구현을 실현하기 위한 시스템 프레임워크의 일 구현예를 단순화된 형태로 도시한 도면이다.
도 2는 개인에 대한 졸음의 시작을 검출하는 프로세스의 예시적인 구현예를 단순화된 형태로 도시한 흐름도이다.
도 3은 원격 서버 또는 클라우드 서비스를 포함하는 본 명세서에 기술된 졸음 시작 검출 검출 구현을 실현하기 위한 시스템 프레임워크의 다른 구현예를 단순화된 형태로 도시한 도면이다.
도 4는 원격 서버 또는 클라우드 서비스를 포함하는, 개인의 졸음 시작을 검출하는 프로세스의 예시적인 구현예를 단순화된 형태로 도시한 흐름도이다.
도 5는 개인의 졸음의 시작을 검출하는데 사용될 수 있는 졸음 시작 검출 분류기를 트레이닝하기 위한 시스템 프레임워크의 예시적인 구현예를 단순화된 형태로 도시한 도면이다.
도 6은 졸음 시작 검출 분류기를 트레이닝하기 위한 프로세스의 예시적인 구현예를 단순화된 형태로 도시한 흐름도이다.
도 7은 본 명세서에 기술된 졸음 시작 검출 구현예와 함께 사용하기 위한 예시적인 시스템을 구성하는 범용 컴퓨팅 장치를 도시한 도면이다.
이하의 설명에서는, 본 명세서의 일부를 형성하는 첨부 도면을 참조하며, 이들 도면에는 예시로서 졸음 시작 검출 구현예가 실시될 수 있는 특정 버전들이 도시되어 있다. 다른 구현예들이 이용될 수도 있고 본 발명의 범위를 벗어나지 않으면서 구조적 변경이 이루어질 수 있음을 이해하라.
명확성을 위해, 졸음 시작 검출 구현예를 기술함에 있어서 특정 용어가 사용될 것이지만, 이들 구현예는 그렇게 선택된 특정 용어로 제한되도록 하고자 하는 것은 아니라는 점에 유의하라. 또한, 각각의 특정 용어는 유사한 목적을 달성하기 위해 광범위하게 유사한 방식으로 동작하는 모든 기술적 균등물을 포함한다는 것을 이해해야 한다. 본 명세서에서 "일 구현예" 또는 "또 다른 구현예", "예시적인 구현예"또는 "다른 구현예"라는 용어는 해당 구현예와 관련하여 기술된 특정한 특징, 특정한 구조 또는 특정한 특성이 졸음 시작 검출의 적어도 하나의 버전에 포함될 수 있음을 의미한다. 본 명세서의 다양한 곳에서 "일 구현예", "다른 구현예", "예시적인 구현예" 및 "다른 구현예"라는 문구는 반드시 모두 동일한 구현예를 지칭한다거나 또는 다른 구현예들과 별개의 또는 상호 배타적인 다른 구현예를 지칭한다거나 하는 것은 아니다. 또한, 프로젝트 정보 추출의 하나 이상의 구현예를 나타내는 프로세스 흐름의 순서는 본질적으로 특정 순서를 나타내거나 그러한 순서의 제한을 의미하지는 않는다.
본 명세서에서 이용되는 바와 같이, "컴포넌트", "시스템", "클라이언트" 등과 같은 용어는 하드웨어, 소프트웨어(예컨대, 실행 중), 펌웨어 또는 이들의 조합 중 어느 하나의 컴퓨터 관련 개체를 지칭한다. 예를 들어, 컴포넌트는 프로세서에서 실행되는 프로세스, 객체, 실행 파일, 프로그램, 함수, 라이브러리, 서브루틴, 컴퓨터 또는 소프트웨어와 하드웨어의 조합일 수 있다. 예를 들어, 서버에서 실행되는 애플리케이션과 서버가 모두 컴포넌트일 수 있다. 하나 이상의 컴포넌트가 하나의 프로세스 내에 있을 수 있으며, 컴포넌트는 한 대의 컴퓨터에 배치(localizee)거나 두 대 이상의 컴퓨터 사이에 분산될 수 있다. 용어 "프로세서"는 일반적으로 컴퓨터 시스템의 프로세싱 유닛과 같은 하드웨어 컴포넌트를 지칭하는 것으로 이해하면 된다.
또한, 용어 "포함하다", "포함하는", "갖다", "수용하다" 및 그 변형어 및 다른 유사한 단어가 상세한 설명 또는 청구 범위에서 사용되는 경우, 이들 용어는, 임의의 부가적인 또는 다른 요소를 배제하지 않고 넓은 의미의 "포함"이라는 용어와 유사한 방식으로 포괄적인 의미로 사용하고자 한다.
1.0 졸음 시작 검출
일반적으로, 본 명세서에 기술된 졸음 시작 검출 구현예는 시간의 경과에 따른 심박수 정보에 기초하여 사람이 각성 상태로부터 졸음 상태로 언제 전환하는지를 예측할 수 있다. 사람을 각성 상태로 깨우거나 다른 사람에게 (졸음/주의력과 관련하여) 그들의 상태를 알리기 위해 적절한 조치가 취해질 수 있다. 이것은 차를 운전하거나, 배를 조종하거나, 항공기를 조종하거나, 사람이 시험을 위해 공부하거나, 회의 동안 등과 같이 사람의 각성을 요구하는 많은 시나리오에서 유용하다.
본 명세서에 기술된 졸음 시작 검출 구현예는 일반적으로 하나 이상의 심박수(HR) 센서를 사용하여 사람의 심박수 정보를 시간에 따라 캡처한 다음 캡처된 심박수 정보로부터 심박 변이도(HRV) 신호를 계산하는 것을 포함한다. 이 HRV 신호는 개인이 깨어있는 상태에서 졸린 상태(즉, N1 REM 수면)로 전환됨을 나타내는 특징을 추출하기 위해 분석된다. 추출된 특징은, 개인이 졸음 상태로 전환한 시기를 식별하기 위해, 동일한 특징들을 사용하여 트레이닝된 인공 신경망(ANN)에 입력된다. 졸음의 시작이 검출될 때마다 다양한 형태를 취할 수 있는 경보가 시작된다.
본 명세서에 기술된 졸음 시작 검출의 유리한 특징은 HRV 신호로부터 추출된 특징이 각성으로부터 졸음으로의 전환을 구체적으로 검출하도록 맞춤화되었다는 것이다. 예를 들어, 일 구현예에서는 HRV 신호로부터 추출될 수 있는 많은 특징들과 달리 단 11개의 특징만이 이용된다. 따라서, 졸음의 시작을 검출하는 데 걸리는 시간뿐만 아니라 처리량도 상당히 감소한다.
본 명세서에 기술된 졸음 시작 검출 구현예는 또한, 한정적인 것은 아니지만, 다음을 포함하는 여러 다른 이유로 유리하다. 후술하는 상세한 설명으로부터 알 수 있는 바와 같이, 졸음 시작 검출 구현예의 일부는 독립적이다. 보다 구체적으로, 이들은 로컬 HR 센서 장치에 완전히 포함되거나 HR 정보를 캡처하기 위해 그러한 장치를 사용하며, 캡처된 HR 정보는 사용자가 휴대하는 컴퓨팅 장치로 전송된다. 따라서, 외부 통신이 필요치 않고(예컨대, 셀룰러 데이터 사용이 없음), 외부 접속 없이도(예컨대, 셀룰러 서비스가 이용 가능하지 않은 경우에도) 기능할 수 있다. 또한, 본 명세서에 기술된 졸음 시작 검출 구현예는 비침습적이며(noninvasive), 현재 채용되고 있는 어떠한 수면 감시 체계를 능가하는 것으로 믿어지는 정확한 결과를 생성한다.
1.1 시스템 및 프로세스 프레임워크
이 섹션은 본 명세서에 기술된 졸음 시작 검출 구현예를 실현하는데 사용될 수 있는 시스템 프레임워크 및 프로세스 프레임워크의 다른 예시적인 구현예를 설명한다. 이 섹션에서 설명하는 시스템 프레임워크 및 프로세스 프레임워크 구현예들 외에 다양한 다른 시스템 프레임워크 및 프로세스 프레임워크 구현예들이 졸음 시작 검출 구현예를 실현하기 위해 사용될 수 있다.
도 1은 본 명세서에 기술된 졸음 시작 검출 구현예를 실현하기 위한 시스템 프레임워크의 단순화된 형태의 일 구현예를 도시한 것이다. 도 1에 예시된 바와 같이, 시스템 프레임워크(100)는 하나 이상의 심박수(HR) 센서(102)의 세트를 포함한다. 개인의 심박수를 캡처하는 임의의 유형의 센서가 심박수(HR) 센서(들)(102)로서 사용될 수 있다. 하나의 버전에서, 이들 HR 센서(들)(102)는 사용자의 신체 상에 물리적으로 배치된다(예컨대, 착용된다). 다른 버전에서는, HR 센서(들)(102)를 사용자(104)가 휴대한다. 또 다른 버전에서는, HR 센서(들)(102)는 사용자에게서 떨어져 있지만, (예컨대, 이미징 기술을 통해) 사람의 심박수를 여전히 검출할 수 있다. 후술하는 상세한 설명으로부터 알 수 있는 바와 같이, HR 센서(102) 세트는 일상에서 사용자와 연관된 심박수 정보를 연속적으로(예컨대, 지속적으로) 그리고 수동적으로 측정하고(예컨대, 캡처하고), 이 심박수 정보의 현재 값을 포함하는 타임 스탬프 데이터 스트림을 적어도 출력하도록 구성된다.
다시 도 1을 참조하면, 시스템 프레임워크(100)는 또한 하나 이상의 컴퓨팅 장치(104)를 포함한다. 일 버전에서, 컴퓨팅 장치(104)는 HR 센서 또는 센서들(102)에 상주하여, 통합된 졸음 시작 검출 장치를 생성한다. 다른 버전에서는, HR 센서 또는 센서들(102)과 분리된 컴퓨팅 장치(104)가 이용된다. 컴퓨팅 장치(104)의 후자의 버전은 종래의 스마트폰 또는 종래의 태블릿 컴퓨터와 같이 사용자가 휴대하는 모바일 장치일 수 있다. 또 다른 버전에서는, HR 센서(들)(102)에 상주하는 컴퓨팅 장치(104) 및 사용자가 휴대하는 별도의 컴퓨팅 장치가 있다. 뒤에서 보다 상세히 설명하는 바와 같이, 이 마지막 버전의 센서(들)(102)에 상주하는 컴퓨팅 장치(104)는 센서(들)에 의해 출력된 신호(들)의 적어도 일부 전처리를 수행하는데 사용된다. 예를 들어, 나중에 보다 상세히 설명하는 바와 같이, 이 전처리는 미가공(raw) HR 센서 판독 값으로부터 심박 변이도(HRV) 신호를 유도하는 것을 포함할 수 있다.
전술한 바와 같이, HR 센서 또는 센서들(102)은 상이한 형태를 취할 수 있다. 예를 들어, 센서(들)를 사용자가 신체에 착용하는 일 구현예에서, HR 센서(들)(102)는 웨어러블 장치 내에 패키징될 수 있다. 그러한 웨어러블 장치 중 하나는 개인의 손목에 착용되는 건강/운동 추적 장치이다. 오늘날 HR 센서를 포함하는 많은 다른 유형의 건강/운동 추적 웨어러블 컴퓨팅 장치가 상업적으로 이용 가능하다는 점에 주목하라.
HR 센서 또는 센서들(102)로부터 분리된 컴퓨팅 장치(104)를 갖는 전술한 버전들에서, HR 센서들 각각은 센서(들)로부터 출력된 타임 스탬프 데이터 스트림을 컴퓨팅 장치에 무선으로 전송하도록 구성된다. 이에 따라 컴퓨팅 장치(104)는 HR 센서들(102)의 세트로부터 전송된 다양한 데이터 스트림들을 무선으로 수신하도록 구성된다. HR 센서들의 세트(102)로부터 출력된 다양한 데이터 스트림의 무선 통신은 다양한 무선 기술을 사용하여 실현될 수 있다. 예를 들어, 이러한 무선 통신은 종래의 블루투스 개인 영역 네트워크를 이용하여 실현될 수 있다. 무선 통신이 종래의 Wi-Fi 근거리 통신망을 사용하여 실현되는 또 다른 버전환 가능하다. 또한 상이한 무선 네트워킹 기술들의 조합을 이용하여 무선 통신이 실현되는 또 다른 버전환 가능하다.
도 1에 예시된 바와 같이, 시스템 프레임워크(100)는 또한 하나 이상의 컴퓨팅 장치(104)에 의해 실행 가능한 서브프로그램을 갖는 졸음 시작 검출기 컴퓨터 프로그램(106)을 포함한다. 서브프로그램은 수신 서브프로그램(108), 특징 추출 서브프로그램(110), 특징 결합 서브프로그램(112), 인공 신경망(ANN) 분류기 입력 서브프로그램(114), 졸음 식별 시작 서브프로그램(116) 및 졸음 시작 경고 서브프로그램(118)을 포함한다. 하나의 버전에서는, 미가공 HR 센서 데이터(120)가 HR 센서(102)로부터 수신 서브프로그램(108)으로 입력된다. 다른 버전에서는, 전술한 HRV 신호(122)가 HR 센서(102)로부터 수신 서브프로그램(108)에 입력된다. 이 두 입력의 대체적 특징이 도 1에 파선 화살표를 사용하여 표시되어 있다. 졸음 시작 경고(124)는 졸음 시작 경고 서브프로그램(118)으로부터 출력된다. 전술한 바와 같이, 이들 서브프로그램 각각은 (후술하는 예시적인 운영 환경 섹션에서 보다 상세하게 설명되는 바와 같이) 하나 이상의 컴퓨팅 장치에서 실현된다. 복수의 컴퓨팅 장치가 있는 경우, 이들은 컴퓨터 네트워크(예컨대, 인터넷 또는 독점 인트라넷)를 통해 서로 통신하고 있음에 주목하라.
이제 도 2를 참고하면, 전술한 하나 이상의 컴퓨팅 장치는 일련의 처리 동작을 달성하도록 컴퓨터 프로그램의 전술한 서브프로그램의 지시를 받는다. 보다 구체적으로, 도 2는 개인에 대한 졸음의 시작을 검출하는 프로세스의 구현예를 단순화된 형태로 도시한 것이다. 이 프로세스는 심박수 센서 또는 센서들로부터 HR 정보를 수신하는 것으로 시작한다(처리 동작(200)). 그 후, HR 정보로부터 특징 세트가 추출된다(처리 동작(202)). HR 정보에서 추출할 수 있는 많은 특징들 중에서 이들 특징은 개인의 깨어있는 상태에서 개인의 졸린 상태로의 전환을 구체적으로 나타내는 것으로 판정된 것들이다. 다음으로, 추출된 특징이 결합되어 졸음 검출 입력을 생성한다(처리 동작(204)). 졸음 검출 입력은, 추출된 특징에 기초하여 개인의 깨어있는 상태와 개인의 졸린 상태를 구별하도록 트레이닝된 인공 신경망(ANN) 분류기에 입력된다(처리 동작 206). 그 다음에, 졸음 검출 입력이 개인이 졸기 시작함을 나타내는지 여부가 ANN 분류기의 출력으로부터 식별된다(처리 동작(208)). 개인이 졸기 시작하면, 졸음 시작 경고가 개시된다(처리 동작(210)). 그렇지 않은 경우, 전술한 과정이 반복된다.
졸음 시작 경고를 개시하는 것과 관련하여 경고는 세 가지 일반적인 범주에 속하는 것으로 특징지어질 수 있다. 첫 번째 카테고리는 졸음 감시 대상 개인에 대한 웨이크업 콜(wake-up call)의 경고이다. 예를 들어, 제한적이지는 않지만, 졸음 시작 경고는 디스플레이 스크린 상에 디스플레이되는 "메시지"일 수 있다. 심박수 센서 또는 센서들이 전술한 바와 같이 패키징된 경우, 이 패키지가 디스플레이를 가질 수 있다. 또한, 전술한 모바일 장치를 채용한 구현예의 경우, 이 장치가 디스플레이를 가질 수 있다. 메시지는 텍스트 또는 이미지일 수도 있고, 또는 사용자에게 디스플레이 스크린 상의 깜빡이는 불빛으로 보이는 깜박이는 이미지의 형태를 취할 수도 있다. 전술한 웨이크업 메시지 예들에 더하여, 또는 이에 갈음하여, 웨이크업 메시지는 개인에게 제안 형태를 취할 수 있다. 예를 들어, 차량을 운전하는 개인의 맥락에서 메시지는 가장 가까운 호텔 또는 휴게소의 위치를 제공하는 텍스트를 포함할 수 있다. 경고는 또한, 심박수 센서(들) 패키지 또는 모바일 장치 내에 있는 스피커에서 재생되는 가청 경보(예컨대, 버징(buzzing), 링잉(ringing), 음성, 음악 등)일 수 있다. 경고는 개시 명령에 응답하여 심박수 센서(들) 패키지 또는 모바일 장치에 의해 종래의 방법을 이용하여 생성된 햅틱 경보(예컨대, 진동, 약한 전기 충격 등)일 수 있다. 앞서 말한 경보들을 결합하여 졸음 경고를 개인에게 보낼 수도 있다. 또 다른 유형의 경고는, 졸음 감시 대상자인 개인에게 경고를 보내거나 또는 개인이 졸음 시작을 경험하는 것에 기초하여 조치를 취하는 제3자(간호사, 의료 전문가, 의사, 수면 연구원 등)에게 메시지를 전송하는 것을 포함한다. 또 다른 유형의 경고는 개인이 졸음 시작을 경험하는 것에 응답하여 일부 조치를 취하도록 장치에게 내리는 명령이다. 예를 들어, 가까운 장래에 개인은, 차의 제어를 맡아 안전한 장소(예컨대, 도로 옆)로 운전하라는 지시(적절한 보안 프로토콜을 따른다고 가정)를 받아들일 수 있는 이른바 커넥티드 카를 운전하고 있을 수 있다. 유사하게, 다른 "커넥티드(connected)" 장치가 개인의 졸음으로 인한 사고를 피하기 위해 유사한 방식으로 제어될 수 있다. 예를 들어 스토브와 같은 가전 제품이 턴오프될 수 있다.
전술한 바와 같이, 졸음 시작 검출에 대한 전술한 구현예들 및 버전들은 독립적이라는 이점을 갖는다. 이들은 HR 검출 장치에 완전히 포함되거나 HR 정보를 캡처하기 위해 그런 장치를 사용하며, 그러한 장치를 이용하여 HR 정보를 캡처하여 사용자가 휴대하는 컴퓨팅 장치로 전달할 수 있다. 그러나 독립형이라는 것이 장점을 갖지만, 다른 고려 사항이 이보다 더 중요할 수 있다. 예를 들어, 클라우드 기반 시나리오에서, 사람의 수면 이력, 현재의 날씨 및 기타 실시간 정보와 같은 추가 이력 특징이 포함될 수 있다. 일반적으로 클라우드에서 처리 능력은 매우 크기 때문에 여러 사람의 수면 정보를 동시에 처리하는 보다 복잡한 모델을 생각할 수 있다. 이를 위해, 졸음 시작 검출의 일부 구현예는 전술한 시스템 요소를 사용하여 서버 또는 클라우드 서비스와 통신하는 것을 포함한다. 이 경우, 미가공 HR 센서 정보 또는 사전 처리된 HRV 신호가 서버 또는 클라우드 서비스로 전송되며, 서버 또는 클라우드 서비스는 졸음이 발생할 때 이를 검출하고 적절한 경고를 발행한다. 이것은 경고를 구현하는 사용자의 장치 또는 제3자 또는 둘 모두에게 경고 표시기를 보내는 것을 포함할 수 있다.
도 3은 전술한 대안적인 구현예를 도시한다. 도 3에 예시된 바와 같이, 시스템 프레임워크(300)는 하나 이상의 심박수(HR) 센서(302)의 세트를 포함한다. 이전 구현예들에서와 같이, 하나의 버전에서, 이들 HR 센서(들)(302)는 사용자의 신체 상에 물리적으로 배치된다(예컨대, 착용된다). 다른 버전에서, HR 센서(들)(302)는 사용자가 휴대한다. 또 다른 버전에서, HR 센서(들)(302)는 사용자로부터 떨어져 있지만, 여전히 사람의 심박수를 검출할 수 있다. HR 센서(302)는 일상에서 사용자와 연관된 심박수 정보를 연속적으로(예컨대, 지속적으로) 그리고 수동적으로 측정하고(예컨대, 캡처하고), 이 심박수 정보의 현재 값을 포함하는 타임 스탬프 데이터 스트림을 적어도 출력하도록 구성된다. 시스템 프레임워크(300)는 또한 하나 이상의 컴퓨팅 장치(304)를 포함한다. 전술한 구현예와 마찬가지로, 일 버전에서, 컴퓨팅 장치(304)는 HR 센서 또는 센서들(302)에 위치한다. 다른 버전에서는, HR 센서 또는 센서들(302)과 분리된 컴퓨팅 장치(304)가 이용된다. 컴퓨팅 장치(304)의 후자의 버전은 종래의 스마트폰이나 종래의 태블릿 컴퓨터와 같이 사용자가 휴대하는 모바일 장치일 수 있다. 또 다른 버전에서는, HR 센서(들)(302)에 상주하는 컴퓨팅 장치(304) 및 사용자가 휴대하는 별도의 컴퓨팅 장치가 있다. 뒤에서 보다 상세히 설명하는 바와 같이, 이 마지막 버전의 센서(들)(302)에 상주하는 컴퓨팅 장치(304)는 센서(들)에 의해 출력된 신호(들)의 적어도 일부 전처리, 예컨대 미가공 HR 센서 판독 값으로부터 심박 변이도(HRV) 신호를 유도하는 것을 수행하는데 사용된다. HR 센서 또는 센서들(302)로부터 분리된 컴퓨팅 장치(304)를 갖는 전술한 버전들에서, HR 센서들 각각은 센서(들)로부터 출력된 타임 스탬프 데이터 스트림을 컴퓨팅 장치에 무선으로 전송하도록 구성된다. 이에 따라 컴퓨팅 장치(304)는 HR 센서들(302)의 세트로부터 전송된 다양한 데이터 스트림들을 무선으로 수신하도록 구성된다. HR 센서들(302)의 세트로부터 출력된 다양한 데이터 스트림의 무선 통신은 다양한 무선 기술을 사용하여 실현될 수 있다. 예를 들어, 이러한 무선 통신은 종래의 블루투스 개인 영역 네트워크를 이용하여 실현될 수 있다. 무선 통신이 종래의 Wi-Fi 근거리 통신망을 사용하여 실현되는 또 다른 버전환 가능하다. 또한 상이한 무선 네트워킹 기술들의 조합을 이용하여 무선 통신이 실현되는 또 다른 버전환 가능하다.
또한, 도 3에 도시된 구현예에서, 컴퓨팅 장치(304)(HR 센서(들)(302) 내에만 있던지 또는 사용자가 휴대하는 별도 장치의 형태)는 인터라넷과 같은 데이터 통신망(306)을 통해, 컴퓨팅 장치(304)로부터 떨어져서 위치하는 하나 이상의 다른 컴퓨팅 장치(310) 상에서 동작하는 클라우드 서비스(308)와 통신하도록 구성된다. 원격 컴퓨팅 장치(310)는 또한 네트워크(306)를 통해 서로 통신할 수 있다. "클라우드 서비스"란 용어는 본 명세서에서 클라우드에서 동작하는 웹 애플리케이션을 지칭하는데 사용되며, 상이한 지리적 영역(예컨대 상이한 지역)에 위치할 수 있는 복수의 데이터 센터에서 호스트될 수 있다(예컨대, 사용될 수 있다). 전술한 방식의 하나의 버전에서 클라우드 서비스는 종래의 원격 서버(도시되어 있지 않음)로 대체된다는 점에 유의하라.
또한, 도 3에 예시된 바와 같이, 시스템 프레임워크(300)는 또한 클라우드 서비스(308)(또는 원격 서버)와 연관된 하나 이상의 컴퓨팅 장치(310) 상에서 동작하는 졸음 시작 검출기 컴퓨터 프로그램(306)을 포함한다. 졸음 시작 검출기 컴퓨터 프로그램(312)은 하나 이상의 컴퓨팅 장치(310)에 의해 실행가능한 서브프로그램을 갖는다. 서브프로그램은 수신 서브프로그램(314), 특징 추출 서브프로그램(316), 특징 결합 서브프로그램(318), 인공 신경망(ANN) 분류기 입력 서브프로그램(320), 졸음 식별 서브프로그램(322) 및 졸음 시작 경고 서브프로그램(324)을 포함한다. 하나의 버전에서, 미가공 HR 센서 데이터(326)가 컴퓨팅 장치(304)로부터 수신되어 수신 서브프로그램(314)에 입력된다. 다른 버전에서는, 전술한 HRV 신호(328)가 수신 서브프로그램(314)에 입력된다. 이 두 입력의 대체적 특징이 도 3에 파선 화살표를 사용하여 표시되어 있다. 졸음 시작 경고(330)는 졸음 시작 경고 서브프로그램(118)으로부터 네트워크(306)를 통해 출력된다. 전술한 바와 같이, 이들 서브프로그램 각각은 (후술하는 예시적인 운영 환경 섹션에서 보다 상세하게 설명되는 바와 같이) 하나 이상의 컴퓨팅 장치에서 실현된다. 복수의 컴퓨팅 장치가 있는 경우, 이들은 컴퓨터 네트워크(예컨대, 인터넷 또는 독점 인트라넷)를 통해 서로 통신한다는 점에 주목하라.
이제 도 4를 참고하면, 클라우드 서비스(또는 원격 서버)와 연관된 전술한 하나 이상의 컴퓨팅 장치는 일련의 처리 동작을 달성하도록 졸음 시작 검출기 컴퓨터 프로그램의 전술한 서브프로그램의 지시를 받는다. 보다 구체적으로, 도 4는 개인에 대한 졸음의 시작을 검출하는 프로세스의 구현예를 단순화된 형태로 도시한 것이다. 이 프로세스는 개인의 HR 정보를 수신하는 것으로 시작한다(처리 동작(400)). 이 HR 정보는 전술한 하나 이상의 HR 센서와 연관된 컴퓨팅 장치로부터 데이터 통신망을 통해 수신된다. 그 후, HR 정보로부터 특징 세트가 추출된다(처리 동작(402)). HR 정보에서 추출할 수 있는 많은 특징들 중에서 이들 특징은 개인의 깨어있는 상태에서 개인의 졸린 상태로의 전환을 구체적으로 나타내는 것으로 판정되었다. 다음으로, 추출된 특징이 조합되어 졸음 검출 입력을 생성한다(처리 동작(404)). 졸음 검출 입력은, 추출된 특징에 기초하여 개인의 깨어있는 상태와 개인의 졸린 상태를 구별하도록 트레이닝된 인공 신경망(ANN) 분류기에 입력된다(처리 동작(406)). 그 다음에, 졸음 검출 입력이 개인의 졸음 시작을 나타내는지 여부가 ANN 분류기의 출력으로부터 식별된다(처리 동작(408)). 개인의 졸음이 시작되면, 졸음 시작 통지가 전송된다(처리 동작(410)). 그렇지 않은 경우, 전술한 과정이 반복된다.
전술한 바와 같이, (도 1 및 2에 예시된 바와 같은) 독립적 구현예는 졸음 시작 경고를 개시한다. 클라우드 서비스(또는 원격 서버)에 의해 전송된 졸음 시작 통지가 유사한 효과를 위해 사용된다. 전술한 바와 같이, 하나의 경고 유형은 졸음 감시 대상 개인에 대한 웨이크업 콜(wake-up call)을 포함한다. 즉, 예를 들어, 제한적이지는 않지만, 졸음 시작 통지는 전술한 심박수 센서 또는 센서들 또는 전술한 모바일 장치로 전송되는 "메시지"일 수 있다. 이 메시지는 센서 또는 모바일 장치와 연관된 디스플레이 스크린 상에 표시되는 텍스트 또는 이미지일 수도 있고, 또는 사용자에게 디스플레이 상의 깜빡이는 불빛으로 보이는 깜박이는 이미지의 형태를 취할 수도 있다. 전술한 웨이크업 메시지 예들에 더하여, 또는 이에 갈음하여, 웨이크업 메시지는 개인에게 제안 형태를 취할 수 있다. 예를 들어, 차량을 운전하는 개인의 맥락에서 메시지는 가장 가까운 호텔 또는 휴게소의 위치를 제공하는 텍스트를 포함할 수 있다. 이 메시지는 또한, 센서(들) 또는 모바일 장치 내에 있는 스피커를 통해 재생되는 가청 경보(예컨대, 버징(buzzing), 링잉(ringing), 음성, 음악 등)를 생성하도록 하는 명령어 형태를 취할 수 있다. 이 메시지는 또한 센서(들) 또는 모바일 장치에 의해 종래의 방법을 이용하여 생성되는 햅틱 경보(예컨대, 진동, 약한 전기 충격 등)을 생성하도록 하는 명령어 형태를 취할 수 있다. 앞에서와 같이, 전술한 경보들을 결합하여 졸음 경고를 개인에게 생성할 수 있다. 또 다른 유형의 경고는, 졸음 감시 대상자인 개인에게 경고를 보내거나 또는 개인이 졸음 시작을 경험하는 것에 기초하여 조치를 취하는 제3자(예컨대, 간호사, 의료 전문가, 의사, 수면 연구원 등)에게 메시지를 전송하는 것을 포함한다. 클라우드 서비스(또는 서버)가 전송할 수 있는 또 다른 유형의 통지는 개인이 졸음 시작을 경험하는 것에 응답하여 일부 조치를 취하도록 장치에게 내리는 명령이다. 예를 들어, 가까운 장래에 개인은, 자동차의 제어를 맡아 안전한 장소(예컨대, 도로 옆)로 운전하도록 하는 지시(적절한 보안 프로토콜을 따른다고 가정)를 받아들일 수 있는 이른바 커넥티드 카를 운전하고 있을 수 있다. 유사하게, 다른 "커넥티드(connected)" 장치가 개인의 졸음으로 인한 사고를 피하기 위해 유사한 방식으로 제어될 수 있다. 예를 들어 스토브와 같은 가전 제품이 턴오프될 수 있다.
1.2 특징 추출
전술한 바와 같이, 독립형 또는 클라우드 서비스 기반 구현예에서, 전술한 추출된 특징에 기초하여 개인의 깨어있는 상태와 졸린 상태를 구별하도록 트레이닝된 인공 신경망(ANN) 분류기 특징은 모니터되는 개인의 졸음 시작을 검출하는 데 사용된다. 이 섹션에서는, 예시적인 특징 추출 방법들 및 추출되는 예시적인 유형의 특징들을 설명할 것이다.
의료 연구에 따르면 심박수와 졸음에 대한 개인의 인식은 연관되어 있다. 보다 구체적으로, 개인의 심박수 측정치를 이용하여 깨어있는 상태에서 졸음 상태(즉, N1 NREM 수면)로 전환하는 때를 검출하는 것이 가능하다. 통상의 심전도(EKG 또는 ECG)에 의해 생성된 파형은 일련의 QRS 파 복합체를 포함한다. 이들 복합체 각각은 Q 파, R 파 및 S 파로 불리는 편향의 세 가지 편향의 조합으로 구성된다. Q 파 및 S 파는 통상적으로 최초 부(negative) 또는 하향 편향을 특징으로하는 반면, R 파는 일반적으로 최초 정(positive) 또는 상향 편향을 특징으로 한다. 심전도에서 두 개의 연속하는 R 파 사이의 경과 시간을 RR 간격이라고 한다. 본 명세서에 기술된 졸음 시작 검출 구현예에 사용된 HR 센서 또는 센서들은 적어도 R 파 피크를 검출할 수 있다. 일 실시예에서, 검출된 R 파 피크는 HR 센서 또는 센서들에 의해 캡처된 전술한 미가공 HR 신호를 형성한다. 심박수 변동성(HRV)은 R 파 피크들 사이의 시간 간격 변화의 생리 현상이다. 이것은 RR 간격의 변화로 측정된다. HRV 신호는 HR 센서(들)와 연관된 컴퓨팅 장치 또는 개별 컴퓨팅 장치(예컨대, 모니터링되는 개인이 휴대한 모바일 장치 또는 클라우드 서비스(또는 원격 서버)와 연관된 컴퓨팅 장치)에 의해 미가공 HR 신호로부터 계산된다.
일 실시예에서, HRV 신호가 생성될 때, HRV 신호는 규정된 길이의 세그먼트들의 시퀀스로 분할된다. 하나의 버전에서, 이들 세그먼트는 길이가 2분이고 약 120 RR 간격 값(즉, 1Hz 신호 세그먼트)을 나타낸다. 일 구현예에서, HRV 신호의 2분 세그먼트는 특징 추출 이전에 업-샘플링된다. 보다 구체적으로, 커브 피팅(curve fitting) 기법(큐빅 스플라인 보간법(cubic spline interpolation))은 세그먼트의 RR 간격 값에서 보이는 변화를 방정식으로 모델링하는 데 사용된다. 그 후, 결과 방정식이 샘플링된다. 하나의 버전에서, 120 RR 간격이 방정식으로 표현되는 경우, 종래의 방법을 사용하여 840개의 샘플이 취해진다. 이것은 원래의 HRV 세그먼트의 7배의 업-샘플링을 나타낸다. 이 업-샘플링(즉, 1Hz 내지 7Hz)은 7Hz 신호 세그먼트가 간단히 기술되는 특징 추출 방법으로 잘 동작한다고 파악될 때 수행된다.
일 구현예에서, 전술한 규정된 길이의 HRV 신호 세그먼트는 HRV 신호로부터 롤링 윈도우 단위로 취해지므로, 각 세그먼트 사이에 소정의 오프셋 시간이 존재한다. 예를 들어, 2분 길이의 세그먼트의 경우, 오프셋은 0보다 크고 2분 미만의 임의의 기간일 수 있다. 하나의 버전에서는, 데이터의 50%가 이전 세그먼트와 공통이고 50%는 새로운 데이터가 되도록 1분 오프셋이 사용된다.
전술한 특징 세트는 업-샘플링된 HRV 신호의 각각의 연속 세그먼트로부터 추출된다. 일 구현예에서, 이 특징 추출은 일반적으로 3차 심릿 마더 파(Symlet mother waves) 세트를 사용하는 DWT(Discrete Wavelet Transform) 및 DFFT(Discrete Fast Fourier Transform)의 사용을 포함한다. 결과적인 주파수 변환된 HRV 신호 세그먼트로부터 많은 특성이 도출될 수 있지만, 저주파(LF) 성분의 전력 대 고주파(HF) 성분의 전력의 비는 특히 각성과 졸음 사이의 전환의 지표임을 알게 되었다. 따라서, 일 구현예에서, 이 LF 대 HF 전력비가 전술한 추출된 특징 중 하나로서 선택된다.
DWT와 관련하여, 일 구현예에서, HRV 세그먼트의 8-레벨 분해가 수행된다. 분해된 세그먼트와 각 레벨에서의 심릿(Symlet) 마더 파 사이의 차의 엔트로피는 기존의 방법을 사용하여 계산되어 일련의 상위 범위 D 엔트로피 계수(즉, D1,..., D8)와 일련의 하위 범위 A 엔트로피 계수(즉, Ai,..., A8)를 생성한다. 계수들의 다양한 평균이 계산되어 다른 조합들 중에서 추출된 특징으로서 이용될 수 있다. 그러나, DWT 계수 및 조합 중 일부는 다른 것들보다 각성과 졸음 사이의 전환을 보다 잘 나타내는 것으로 밝혀졌다. 예를 들어, 다음 DWT 계수가 다른 것들보다 전환을 보다 잘 나타내는 것으로 확인되었다.
a) D1 내지 D8 엔트로피 계수,
b) A8 엔트로피 계수,
c) A1 내지 A8 엔트로피 계수의 평균.
따라서, HRV 세그먼트의 DFFT 및 DWT 분석을 이용하여 추출될 수 있는 많은 계수 중, 전술한 11개의 계수(즉, LF/HF 전력비, D1 내지 D8 엔트로피, A8 엔트로피, A1 내지 A8 엔트로피 평균)는 각성과 졸음 사이의 전환에 대한 특정한 지표를 제공하는 것으로 나타났다.
1.3 분류기 트레이닝
도 5는 개인의 졸음의 시작을 검출하는데 사용될 수 있는 졸음 시작 검출 분류기를 트레이닝하는데 사용되는 시스템 프레임워크의 예시적인 구현예를 단순화된 형태로 도시한 것이다. 도 5에 예시된 바와 같이, 시스템 프레임워크(500)는 하나 이상의 컴퓨팅 장치에 의해 실행 가능한 서브프로그램을 갖는 졸음 시작 검출기 트레이닝 컴퓨터 프로그램(502)을 포함한다. 이들 서브프로그램은 수신 서브프로그램(504) 및 복수의 개인들(I1, I2, ..., In) 각각과 연관된 HR 정보에 대해, 추출 서브프로그램(506) 및 결합 서브프로그램(508)을 포함한다. 또한, 각 개인(I1, I2, ..., In)에 대한 결합 서브프로그램의 출력을 사용하여 트레이닝되는 트레이닝 서브프로그램(510)이 있다. 복수의 개인에 대한 하나 이상의 심박수 센서에 의해 출력된 HR 정보(512)와, 개인들 각각이 깨어있는 상태인지 졸린 상태인지 여부를 나타내는 졸음 표시자(514)는 수신 서브-프로그램(504)에 입력된다. 트레이닝된 졸음 시작 검출 분류기(516)는 트레이닝 서브프로그램(510)으로부터 출력된다. 이들 서브프로그램 각각은 다음의 예시적인 운영 환경 섹션에서 보다 상세히 기술되는 하나 이상의 컴퓨팅 장치에서 실현된다. 복수의 컴퓨팅 장치가 존재할 경우, 이들은 (인터넷 또는 독점 인트라넷과 같은) 컴퓨터 네트워크를 통해 서로 통신할 수 있음에 유의하라.
이제 도 6을 참조하면, 전술한 하나 이상의 컴퓨팅 장치는 졸음 시작 검출기 트레이닝 컴퓨터 프로그램의 전술한 서브프로그램에 의해 일련의 처리 동작을 달성하도록 지시받는다. 보다 구체적으로, 복수의 개인에 대한 하나 이상의 심박수 센서에 의해 출력된 HR 정보 및 개인이 깨어있는 상태에 있는지 또는 졸음 상태에 있는지 여부를 나타내는 각각의 개인에 대한 졸음 표시자가 수신 서브프로그램을 통해 수신된다(처리 동작(600)). 일 구현예에서, 졸음 표시자는 사람이 깨어있는 상태에 있는지 졸음 상태(즉, N1 REM 수면)에 있는지 여부를 식별하기 위한 전술한 뇌전도 방법을 사용하여 캡처된 EEG 신호로부터 유도된다. 또한, 캡처된 HR 정보 및 연관된 졸음 표시자는 개인이 깨어있는 상태에서 졸린 상태로 전환하는 시간에 대응한다.
전술한 개인들 중 이전에 선택되지 않은 개인과 연관된 HR 정보가 다음에 선택된다(처리 동작(602)). 추출 서브프로그램을 이용하여, 선택된 HR 정보로부터 특징 집합을 추출한다(처리 동작(604)). HR 정보에서 추출될 수 있는 많은 특징들 중 이들 특징은 개인의 깨어있는 상태에서 졸린 상태로의 전환을 구체적으로 나타내는 것으로 판정되었다. 추출된 특징은 결합 서브프로그램을 이용하여 졸음 검출 입력을 생성하도록 결합된다(처리 동작(606)). 다음으로, 아직 선택 및 처리되지 않은 개인과 연관된 HR 정보가 존재하는지가 판정된다(처리 동작(608)). 존재한다면, 처리 동작(602 내지 608)이 반복된다. 모든 개인과 연관된 HR 정보가 선택되고 처리되면, 트레이닝 서브프로그램은 졸음 검출 입력 및 복수의 개인 각각과 연관된 졸음 표시자를 사용하여 개인의 깨어있는 상태와 개인의 졸린 상태를 구별하기 위해 인공 신경망(ANN) 분류자를 트레이닝시킨다(처리 동작(610)). 이 트레이닝은 기존의 ANN 트레이닝 방법을 사용하여 수행된다.
2.0 예시적인 운영 환경
본 명세서에 기술된 졸음 시작 검출 구현예들은 다양한 유형의 범용 또는 특수 목적 컴퓨팅 시스템 환경 또는 구성을 사용하여 작동 가능하다. 도 7은 본 명세서에 기술된 졸음 시작 검출의 다양한 양상 및 요소가 구현될 수 있는 범용 컴퓨터 시스템의 단순화된 예를 도시한 것이다. 도 7에 도시된 단순화된 컴퓨팅 장치(10)에서 파선 또는 점선으로 표시된 임의의 박스는 단순화된 컴퓨팅 장치의 대체가능한 구현을 나타낸다. 후술하는 바와 같이, 이들 대체가능한 구현들 중 일부 또는 전부는 본 명세서 전반에 걸쳐 기술되는 다른 대체가능한 구현들과 함께 사용될 수도 있다. 단순화된 컴퓨팅 장치(10)는 일반적으로 퍼스널 컴퓨터(PC), 서버 컴퓨터, 핸드헬드 컴퓨팅 장치, 랩톱 또는 모바일 컴퓨터, 휴대 전화 및 개인 휴대 정보 단말기(PDA)와 같은 통신 장치, 멀티프로세서 시스템, 마이크로프로세서 기반 시스템, 셋탑 박스, 프로그램 가능한 가전 제품, 네트워크 PC, 미니 컴퓨터, 메인 프레임 컴퓨터 및 오디오 또는 비디오 미디어 플레이어와 같은 적어도 일부 최소 컴퓨팅 기능을 갖는 장치에서 볼 수 있다.
본 명세서에 기술된 졸음 시작 검출 구현을 실현하기 위해, 장치는 기본적인 계산 동작을 가능하게 하는 충분한 계산 능력 및 시스템 메모리를 가져야 한다. 구체적으로, 도 7에 도시된 단순화된 컴퓨팅 장치(10)의 계산 능력은 일반적으로 하나 이상의 프로세싱 유닛(12)으로 도시되며, 하나 또는 둘 모두가 시스템 메모리(16)와 통신하는 하나 이상의 그래픽 처리 유닛(GPU)(14)을 포함할 수도 있다. 단순화된 컴퓨팅 장치(10)의 처리 유닛(들)(12)은 (디지털 신호 처리기(DSP), VLIW(very long instruction word) 프로세서, FPGA(field-programmable gate array) 또는 다른 마이크로 제어기와 같은) 특화된 마이크로프로세서일 수도 있고 하나 이상의 프로세싱 코어를 갖는 종래의 중앙 처리 장치(CPU)일 수 있다.
또한, 단순화된 컴퓨팅 장치(10)는, 예를 들어 통신 인터페이스(18)와 같은 다른 컴포넌트를 포함할 수도 있다. 단순화된 컴퓨팅 장치(10)는 또한 하나 이상의 통상적인 컴퓨터 입력 장치(20)(예컨대, 터치스크린, 터치 감지 표면, 포인팅 장치, 키보드, 오디오 입력 장치, 음성 기반 입력 및 제어 장치, 비디오 입력 장치, 햅틱 입력 장치, 유선 또는 무선 데이터 전송을 수신하기 위한 장치 등) 또는 그러한 장치의 임의의 조합을 포함할 수 있다.
유사하게, 졸음 시작 검출과 관련된 하나 이상의 사용자 또는 다른 장치 또는 시스템에 대한 입력, 출력, 제어, 피드백, 및 응답을 포함한, 단순화된 컴퓨팅 장치(10) 및 웨어러블 감지에 대한 임의의 다른 컴포넌트 또는 특징과의 다양한 상호작용이 다양한 NUI(Natural User Interface) 시나리오에 의해 가능해진다. NUI 기술 및 시나리오는, 제한적인 것은 아니지만, 하나 이상의 사용자가 마우스, 키보드, 리모컨 등과 같은 입력 장치에 의해 부과된 인위적인 제약이 없는 "자연스러운(natural)" 방식으로 상호 작용할 수 있게 하는 인터페이스 기술을 포함한다.
이러한 NUI 구현은, 제한적인 것은 아니지만, 사용자의 음성으로부터 유도된 NUI 정보 또는 마이크로폰 또는 다른 센서를 통해 캡처된 발성(vocalizations)을 이용하는 것을 포함하는 다양한 기술의 사용에 의해 가능해진다. 이러한 NUI 구현은 사용자의 얼굴 표정, 사용자의 손, 손가락, 손목, 팔, 다리, 신체, 머리, 눈 등의 위치나 동작 또는 방향으로부터 도출된 정보를 포함하지만 이에 제한되지 않는 다양한 기술의 사용에 의해 가능해지며, 이러한 정보는 입체 또는 비행 시간 카메라 시스템, 적외선 카메라 시스템, RGB(적색, 녹색 및 청색) 카메라 시스템 등과 같은 다양한 유형의 2D 또는 깊이 이미징 장치 또는 이러한 장치들의 임의의 조합을 사용하여 캡처될 수 있다. 이러한 NUI 구현의 다른 예는, 제한적인 것은 아니지만, 터치 및 스타일러스 인식, 제스처 인식(스크린 또는 디스플레이 표면에 인접 및 온 스크린 모두), 공중(air) 또는 접촉 기반 제스처, (다양한 표면, 객체 또는 다른 사용자 상의)사용자 터치, 호버 기반 입력 또는 동작 등으로부터 유도된 NUI 정보를 포함한다. 이러한 NUI 구현은 또한 현재 또는 과거의 사용자 행동, 입력, 동작 등을 단독으로 또는 다른 NUI 정보와 함께 평가하여 사용자의 의도, 욕구 및/또는 목표와 같은 정보를 예측하는 다양한 예측 기계 지능 프로세스의 사용을 포함하지만 이에 한정되지는 않는다. NUI 기반 정보의 유형 또는 출처와 상관없이, 그러한 정보는 본 명세서에 기술된 졸음 시작 검출 구현의 하나 이상의 입력, 출력, 동작 또는 기능적 특징을 개시, 종료 또는 달리 제어하거나 상호 작용하는데 사용될 수 있다.
그러나, 전술한 예시적인 NUI 시나리오는 인위적 제약 또는 추가 신호의 사용을 NUI 입력의 임의의 조합과 결합함으로써 더욱 증가될 수 있다는 것을 이해해야 한다. 이러한 인위적 제약 또는 추가 신호는, 마우스, 키보드 및 원격 제어기와 같은 입력 장치에 의해 또는 사용자의 근육에 의해 생성된 전기 신호를 나타내는 근전기 신호를 수신하는 근전도 검사(EMG) 센서, 심박수 모니터, 사용자의 땀을 측정하는 갈바니 피부 전도 센서, 사용자 뇌 활동 또는 전기장을 측정하거나 또는 감지하는 웨어러블 또는 원격 바이오 센서, 사용자 체온 변화 또는 차이를 측정하는 웨어러블 또는 원격 바이오 센서 등과 같은 다양한 원격 장치 또는 사용자가 착용하는 장치에 의해 부과되거나 생성될 수 있다. 이러한 유형의 인위적 제약 또는 추가 신호로부터 유도된 임의의 그러한 정보는 임의의 하나 이상의 NUI 입력과 결합되어, 본 명세서에 기술된 졸음 시작 검출 구현의 하나 이상의 입력, 출력, 동작 또는 기능적 특징을 개시, 종료 또는 제어하거나 또는 이들과 상호 작용할 수 있다.
단순화된 컴퓨팅 장치(10)는 또한 하나 이상의 종래의 컴퓨터 출력 장치(22)(예컨대, 디스플레이 장치(24), 오디오 출력 장치, 비디오 출력 장치, 유선 또는 무선 데이터를 전송하는 장치 등)와 같은 다른 선택적 컴포넌트를 포함할 수 있다. 통상의 통신 인터페이스(18), 입력 장치(20), 출력 장치(22), 및 범용 컴퓨터용 저장 장치(26)는 당업자에게 잘 알려져 있으므로 여기에서는 상세히 설명하지 않는다.
도 7에 도시된 단순화된 컴퓨팅 장치(10) 또한 다양한 컴퓨터 판독 가능 매체를 포함할 수 있다. 컴퓨터 판독 가능 매체는 저장 장치(26)를 통해 컴퓨터(10)에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수 있으며, 컴퓨터 판독가능 또는 컴퓨터 실행가능 명령어, 데이터 구조, 프로그램, 서브프로그램 또는 기타 데이터와 같은 정보의 저장을 위한 착탈식(28) 또는 비착탈식(30)인 휘발성 및 비휘발성 매체를 모두 포함할 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터 저장 매체 및 통신 매체를 포함한다. 컴퓨터 저장 매체는 DVD(digital versatile disk), 블루 레이 디스크(BD), CD(compact disc), 플로피 디스크, 테이프 드라이브, 하드 드라이브, 광학 드라이브, 반도체 메모리 장치, RAM(random access memory), ROM(read-only memory), EEPROM(electrically erasable programmable read-only memory), CD-ROM 또는 기타 광학 디스크 저장 장치, 스마트 카드, 플래시 메모리(예컨대, 카드, 스틱 및 키 드라이브), 자기 카세트, 자기 테이프, 자기 디스크 저장 장치, 자기 스트립 또는 기타 자기 저장 장치와 같은 유형의 컴퓨터 판독 가능 또는 머신 판독 가능 매체 또는 저장 장치를 지칭한다. 또한, 전파된 신호는 컴퓨터 판독 가능 저장 매체의 범위 내에 포함되지 않는다.
컴퓨터 판독 가능 또는 컴퓨터 실행 가능 명령어, 데이터 구조, 프로그램, 서브프로그램 등과 같은 정보의 보유는 또한 하나 이상의 변조된 데이터 신호 또는 반송파, 또는 다른 전송 메커니즘 또는 통신 프로토콜을 인코딩하기 위해 (컴퓨터 저장 매체와는 대조적으로) 전술한 다양한 통신 매체 중 임의의 것을 사용함으로써 달성될 수 있으며, 임의의 유선 또는 무선 정보 전달 메커니즘을 포함할 수 있다. "변조된 데이터 신호" 또는 "반송파"라는 용어는 일반적으로 신호 내에 정보를 인코딩하는 방식으로 하나 이상의 특징이 설정되거나 변경된 신호를 나타낼 수 있다. 예를 들어, 통신 매체는 하나 이상의 변조된 데이터 신호 또는 반송파를 송신 및/또는 수신하기 위한 유선 네트워크 또는 직접 유선 접속과 같은 유선 매체와, 음향, 무선 주파수(RF), 적외선, 레이저 및 다른 무선 매체와 같은 무선 매체를 포함할 수 있다.
또한, 본 명세서에 기술된 다양한 졸음 시작 검출 구현예의 일부 또는 전부를 구현하는 소프트웨어, 프로그램 및/또는 컴퓨터 프로그램 제품은 컴퓨터 판독 가능 또는 머신 판독가능 매체 또는 저장 매체와 컴퓨터 실행 가능한 명령 또는 다른 데이터 구조의 형태의 통신 매체의 임의의 원하는 조합으로부터 저장, 수신, 전송 또는 판독될 수 있다. 또한, 청구 대상은 표준 프로그래밍 및/또는 엔지니어링 기술을 사용하여 컴퓨터가 개시된 청구 대상을 구현하도록 제어하는 소프트웨어, 펌웨어, 하드웨어 또는 이들의 임의의 조합을 생성하기 위한 방법, 장치 또는 제품으로서 구현될 수 있다. 본 명세서에 사용된 "제품"이란 용어는 임의의 컴퓨터 판독 가능 장치 또는 매체에서 액세스할 수 있는 컴퓨터 프로그램을 포함하고자 한다.
본 명세서에 기술된 졸음 시작 검출 구현예는 또한 컴퓨팅 장치에 의해 실행되는 프로그램과 같은 컴퓨터 실행 가능 명령어의 일반적인 맥락에서 기술될 수 있다. 일반적으로, 프로그램은 특정 작업을 수행하거나 특정 추상 데이터 유형을 구현하는 루틴, 프로그램, 객체, 컴포넌트, 데이터 구조 등을 포함한다. 본 명세서에 기술된 졸음 시작 검출 구현예는 또한 하나 이상의 원격 처리 장치에 의해, 또는 하나 이상의 통신망을 통해 링크되는 하나 이상의 장치의 클라우드 내에서 작업이 수행되는 분산 컴퓨팅 환경에서 실시될 수도 있다. 분산 컴퓨팅 환경에서, 프로그램은 미디어 저장 장치를 포함하는 로컬 및 원격 컴퓨터 저장 매체 모두에 위치할 수 있다. 또한, 전술한 명령들은 부분적으로 또는 전체적으로, 프로세서를 포함하거나 포함하지 않을 수 있는 하드웨어 로직 회로로서 구현될 수 있다.
선택적으로, 또는 부가적으로, 본 명세서에 기술된 기능은 적어도 부분적으로 하나 이상의 하드웨어 로직 컴포넌트들에 의해 수행될 수 있다. 예를 들어, 제한 없이, 사용될 수 있는 예시적인 유형의 하드웨어 로직 컴포넌트로는 FPGA(Field-Programmable Gate Array), ASIC(Application-Specific Integrated Circuit), ASSP(Application-Specific Standard Product), SOC(System-on-a-chip), CPLD(complex programmable logic device) 등이 있다.
3.0 기타 구현예들
설명 전반에 걸쳐 전술한 구현예들 중 임의의 것 또는 전부는 부가적인 하이브리드 구현을 형성하는데 바람직한 임의의 조합에 사용될 수 있다. 또한, 비록 청구 대상이 구조적 특징 및/또는 방법론적 동작에 특정한 언어로 기술되었지만, 첨부된 청구 범위에서 정의된 청구 대상은 반드시 상술된 특정한 특징 또는 동작에 반드시 제한되는 것은 아니라는 것을 이해해야 한다. 오히려, 상술한 특정한 특징 및 동작은 청구 범위를 구현하는 예시적인 형태로서 개시된다.
전술한 것은 예시적 구현예들을 포함한다. 물론, 청구항의 청구 대상을 기술할 목적으로 모든 컴포넌트 또는 방법론의 조합을 기술하는 것은 불가능하지만, 당업자는 많은 다른 조합 및 순열이 가능하다는 것을 인식할 수 있다. 따라서, 청구된 청구 대상은 첨부된 청구 범위의 사상 및 범위 내에 있는 그러한 모든 변경, 수정 및 변형을 포함하고자 한다.
전술한 컴포넌트, 장치, 회로, 시스템 등에 의해 수행되는 다양한 기능과 관련하여, 이러한 컴포넌트를 설명하는데 사용된 용어("수단"에 대한 언급 포함)는, 달리 나타내지 않는 한, 본 명세서에 기술된 청구 대상의 예시적인 양태에서 기능을 수행하는 개시된 구조체와 구조적으로 동등하지는 않지만, 기술된 컴포넌트(예컨대, 기능적 균등물)의 특정 기능을 수행하는 임의의 컴포넌트에 대응하는 것으로 보면 된다. 이와 관련하여, 전술한 구현예는 청구항의 청구 대상의 다양한 방법의 동작 및/또는 이벤트를 수행하기 위한 컴퓨터 실행 가능 명령어를 갖는 컴퓨터 판독 가능 저장 매체 및 시스템을 포함하는 것으로 인식될 것이다.
전술한 구현예(예컨대, 적절한 애플리케이션 프로그래밍 인터페이스(API), 툴킷, 드라이버 코드, 운영 체제, 제어, 독립형 또는 다운로드 가능한 소프트웨어 객체 등)를 실현하는 여러 가지 방법이 있으며, 이는 애플리케이션 및 서비스가 본 명세서에 기술된 구현예를 이용할 수 있게 한다. 청구항의 청구 대상은 API(또는 다른 소프트웨어 객체)의 관점에서뿐만 아니라 본 명세서에 기술된 구현예에 따라 동작하는 소프트웨어 또는 하드웨어 객체의 관점에서 이 사용을 고려한다. 따라서, 본 명세서에 설명된 다양한 구현예들은 전체적으로 하드웨어적이거나 또는 부분적으로는 하드웨어적이고 부분적으로는 소프트웨어적이거나, 또는 전체적으로 소프트웨어적인 측면들을 가질 수 있다.
전술한 시스템은 여러 컴포넌트 사이의 상호 작용과 관련하여 설명되었다. 이러한 시스템 및 컴포넌트는 이들 컴포넌트 또는 지정된 하위 컴포넌트, 지정된 컴포넌트들 또는 하위 컴포넌트들 중 일부 및/또는 추가 컴포넌트를 포함할 수 있으며, 이들의 다양한 순열 및 조합에 따라 포함될 수 있음을 알 수 있을 것이다. 하위 컴포넌트는 상위 컴포넌트(예컨대, 계층 컴포넌트) 내에 포함되지 않고 다른 컴포넌트에 통신 가능하게 결합된 컴포넌트로 구현될 수도 있다.
또한, 하나 이상의 컴포넌트가 집합 기능을 제공하는 단일 컴포넌트로 결합되거나 몇몇 별도의 하위 컴포넌트로 분할될 수 있고, 통합 기능을 제공하기 위해 관리 계층과 같은 임의의 하나 이상의 중간 계층이 그러한 하위 컴포넌트에 통신 가능하게 결합되도록 제공될 수 있다. 본 명세서에 기술된 임의의 컴포넌트는 본 명세서에서 구체적으로 기술되지는 않았지만 당업자에게 일반적으로 공지되어 있는 하나 이상의 다른 컴포넌트와 상호 작용할 수도 있다.
4.0 청구범위 지지 및 추가 구현예
다음 단락은 본 명세서에서 청구할 수 있는 다양한 구현예를 요약한다. 그러나, 아래에 요약된 구현예들은 전술한 설명의 관점에서 청구될 수 있는 청구 대상을 제한하고자 하는 것은 아님을 이해해야 한다. 또한, 아래에 요약된 구현예들 중 일부 또는 전부는 전술한 설명 및 하나 이상의 도면들에 예시된 임의의 구현들 및 이하에 설명되는 임의의 다른 구현예들 중 일부 또는 전부와 원하는 조합으로 청구될 수 있다. 또한, 이하의 구현예는 본 명세서 전반에 걸쳐 기술된 설명 및 도면의 관점에서 이해되어야 한다.
일 구현예에서, 개인의 졸음 시작을 검출하기 위한 시스템이 이용된다. 이 시스템은 개인의 심박수(heart rate: HR) 정보를 캡처하는 하나 이상의 HR 센서와, 하나 이상의 컴퓨팅 장치를 포함하는데, 상기 하나 이상의 컴퓨팅 장치는 복수의 컴퓨팅 장치가 존재할 경우에 서로 통신한다. 이 시스템은 또한 하나 이상의 컴퓨팅 장치에 의해 실행 가능한 복수의 서브프로그램을 갖는 졸음 시작 검출기 컴퓨터 프로그램을 포함한다. 상기 하나 이상의 컴퓨팅 장치는, 졸음 시작 검출기 컴퓨터 프로그램의 서브프로그램에 의해, 하나 이상의 심박수 센서로부터 HR 정보를 수신하고, HR 정보로부터 개인의 깨어있는 상태(wakeful state)에서 졸음 상태(drowsy state)로의 전환을 구체적으로 나타내는 것으로 판정된 (HR 정보로부터 추출될 수 있는 다수의 특징들 중의) 특징 세트를 추출하며, 추출된 특징을 결합하여 졸음 검출 입력을 생성하고, 추출된 특징에 기초하여 개인의 깨어있는 상태와 개인의 졸음 상태를 구별하도록 트레이닝된 인공 신경망(ANN) 분류기에 졸음 검출 입력을 입력하며, ANN 분류기의 출력으로부터 상기 졸음 검출 입력이 개인이 졸음의 시작을 보이고 있음을 나타내는지를 식별하고, 졸음 검출 입력이 개인이 졸음의 시작을 보이고 있음을 나타내면, 졸음 시작 경고를 개시하도록 지시받는다.
HR 정보가 하나 이상의 센서에 의해 캡처된 미가공 HR 신호를 포함하는 시스템의 일 구현예에서, 상기 HR 정보로부터 특징 세트를 추출하기 위한 서브프로그램은 먼저 미가공 HR 신호로부터 심박 변이도(HRV) 신호를 계산하는 것을 포함한다. 시스템의 다른 구현예에서, 하나 이상의 HR 센서는 HR 센서 또는 센서들에 의해 캡처된 미가공 HR 신호로부터 심박 변이도(HRV) 신호를 게산하는 컴퓨팅 장치를 포함한다. 전술한 HR 정보는 HRV 신호를 포함한다. 또 다른 구현예에서, 하나 이상의 심박수(HR) 센서 및 하나 이상의 컴퓨팅 장치는 통합 졸음 시작 검출 장치 내에 위치한다. 이 구현예의 한 버전에서, 졸음 시작 검출 장치는 개인이 착용한 웨어러블 장치이거나 개인이 휴대하는 모바일 장치이다. 또 다른 구현예에서, 하나 이상의 심박수(HR) 센서는 개인이 착용하고 있는 웨어러블 장치에 위치하고, 하나 이상의 컴퓨팅 장치는 개인이 휴대하는 모바일 장치에 위치하며, 웨어러블 장치는 모바일 장치와 무선 통신한다. 이 구현예의 한 버전에서, HR 정보는, 개인이 휴대하는 상기 모바일 장치로 송신되는, 상기 하나 이상의 HR 센서에 의해 캡처된 미가공 HR 신호를 포함한다. 다른 버전에서, HR 정보는 하나 이상의 HR 센서에 의해 캡처된 미가공 HR 신호를 포함하고, 상기 하나 이상의 HR 센서는 미가공 HR 신호로부터 HRV 신호를 계산하는 컴퓨팅 장치를 포함하며, 상기 HRV 신호는 개인이 휴대하는 모바일 장치로 송신된다.
이 시스템의 한 구현예는 HR 정보로부터 특징 세트를 추출하는 서브프로그램의 실행 전에 실행되는 분할(segmenting) 서브프로그램을 더 포함한다. 이 분할 서브프로그램은, 수신된 HR 정보가 심박 변이도(HRV) 신호의 형태인 경우, 하나 이상의 심박수 센서로부터 수신된 HR 정보를 일련의 규정된 길이의 세그먼트로 분할한다. 또한, 분할 서브프로그램은, 수신된 HR 정보가 HRV 신호 형태가 아닌 경우, 상기 수신된 HR 정보로부터 HRV 신호를 계산한 후 HRV를 일련의 규정된 길이의 세그먼트로 분할한다. HR 정보로부터 특징 세트를 추출하고, 상기 추출된 특징을 결합하며, 졸음 검출 입력을 ANN 분류기에 입력하고, ANN 분류기의 출력으로부터 상기 졸음 검출 입력이 개인이 졸음의 시작을 보이고 있음을 나타내는지를 식별하고, 상기 졸음 검출 입력이 개인이 졸음의 시작을 보이고 있음을 나타내면, 졸음 시작 경고를 개시하는 서브프로그램이, HRV 신호 세그먼트들이 생성될 때 이들 HRV 신호 세그먼트들 각각에서 실행된다. 하나의 버전에서, HRV 신호의 이들 규정된 길이의 세그먼트는 길이가 각각 2분이고, 각 세그먼트 사이에 규정된 오프셋 시간이 존재하도록 롤링 윈도우(rolling window)를 나타낸다. 한 변형예에서, 각각의 2분 길이의 HRV 신호 세그먼트는 대략 120개의 심박수 변이 값을 나타내고, 상기 분할 서브프로그램은 커브 피팅(curve fitting) 기법을 사용하여 각 HRV 신호 세그먼트를 약 840개의 샘플의 심박수 변이 값으로 업-샘플링하는 것을 더 포함한다. 다른 버전에서는, 각각의 HRV 신호 세그먼트로부터 특징 세트를 추출하는 서브프로그램이 이산 고속 푸리에 변환(DFFT) 및 이산 웨이브렛 변환(DWT)을 사용하여 특징 세트를 추출하는 것을 포함한다. 한 변형예에서, DFFT는 HRV 신호 세그먼트의 저주파 성분의 전력 대 HRV 신호 세그먼트의 고주파(HF) 성분의 전력의 비를 추출된 특징으로서 계산하는데 사용되며, 상기 DWT는 상기 HRV 세그먼트의 8-레벨 분해로부터 D1 내지 D8 엔트로피 계수, A8 엔트로피 계수 및 A1 내지 A8 엔트로피 계수의 평균을 추출된 특징으로서 계산하는데 사용된다.
시스템의 한 구현예에서, 졸음 시작 경고를 개시하는 서브프로그램은 개인이 볼 수 있는 디스플레이 스크린 상에 디스플레이되는 메시지의 형태로 개인에 대한 웨이크업 콜을 개시하는 것을 포함한다. 한 버전에서, 이 메시지는 텍스트 또는 이미지, 또는 디스플레이 스크린 상에 깜빡이는 불빛으로 보이는 깜박이는 이미지를 포함한다. 다른 구현예에서, 졸음 시작 경고를 개시하는 서브프로그램은 개인에게 개인의 가청 범위 내에 있는 스피커를 통해 재생되는 가청 경보 형태로 웨이크업 콜을 개시하는 것을 포함한다. 또 다른 구현예에서, 졸음 시작 경고를 개시하는 서브프로그램은 개인이 느낄 수 있는 햅틱 경보 형태로 개인에게 웨이크업 콜을 개시하는 것을 포함한다. 또 다른 구현예에서, 졸음 시작 경고를 개시하는 서브프로그램은 제3자에게 개인에게 경고하도록 요청하는 메시지를 전송하는 것을 포함한다.
한 구현예에서, 개인의 졸음의 시작을 검출하기 위한 다른 시스템이 이용된다. 이 시스템은 하나 이상의 컴퓨팅 장치를 포함하며, 이 컴퓨팅 장치는 복수의 컴퓨팅 장치가 존재할 경우에 서로 통신한다. 이 시스템은 또한, 하나 이상의 컴퓨팅 장치에 의해 실행 가능한 복수의 서브프로그램을 갖는 졸음 시작 검출기 컴퓨터 프로그램을 포함한다. 상기 하나 이상의 컴퓨팅 장치는, 졸음 시작 검출기 컴퓨터 프로그램의 서브프로그램에 의해, 개인의 심박수(HR) 정보를 수신하도록 지시받고, 상기 하나 이상의 컴퓨팅 장치는 데이터 통신망을 통해 상기 HR 정보를 캡처하는 하나 이상의 HR 센서와 연관된 원격 컴퓨팅 장치와 통신하며, 상기 HR 정보는 상기 데이터 통신망을 통해 상기 원격 컴퓨팅 장치로부터 수신된다. 하나 이상의 컴퓨팅 장치는 또한 졸음 시작 검출기 컴퓨터 프로그램의 서브프로그램에 의해, HR 정보로부터 개인의 깨어있는 상태(wakeful state)에서 졸음 상태(drowsy state)로의 전환을 구체적으로 나타내는 것으로 판정된 (HR 정보로부터 추출될 수 있는 다수의 특징들 중의) 특징 세트를 추출하며, 추출된 특징을 결합하여 졸음 검출 입력을 생성하고, 상기 추출된 특징에 기초하여 개인의 깨어있는 상태와 졸음 상태를 구별하도록 트레이닝된 인공 신경망(ANN) 분류기에 상기 졸음 검출 입력을 입력하며, ANN 분류기의 출력으로부터 상기 졸음 검출 입력이 개인이 졸음의 시작을 보이고 있음을 나타내는지를 식별하고, 졸음 검출 입력이 개인이 졸음의 시작을 보이고 있음을 나타내면, 졸음 시작 통지를 전송하도록 지시받는다.
일 구현예에서, 졸음 시작 검출 분류기를 트레이닝하는 다른 시스템이 이용된다. 이 시스템은 하나 이상의 컴퓨팅 장치를 포함하며, 이 컴퓨팅 장치는 복수의 컴퓨팅 장치가 존재할 경우, 컴퓨터 네트워크를 통해 서로 통신한다. 이 시스템은 또한 하나 이상의 컴퓨팅 장치에 의해 실행 가능한 복수의 서브프로그램을 갖는 졸음 시작 검출기 트레이닝 컴퓨터 프로그램을 포함한다. 하나 이상의 컴퓨팅 장치는 졸음 시작 검출기 트레이닝 컴퓨터 프로그램의 서브프로그램에 의해, 복수의 개인에 대한 하나 이상의 심박수 센서에 의해 출력된 HR 정보 및 HR 정보가 캡처된 시간에 개인이 깨어있는 상태에 있는지 졸린 상태에 있는지 여부를 나타내는 개인들 각각에 대한 졸음 표시자를 수신하도록 지시받는다. 복수의 개인들 각각과 연관된 HR 정보에 대해, 개인의 깨어있는 상태(wakeful state)에서 졸음 상태(drowsy state)로의 전환을 구체적으로 나타내는 것으로 판정된 HR 정보로부터 (HR 정보로부터 추출될 수 있는 다수의 특징들 중의) 특징 세트가 추출되고, 추출된 특징이 결합되어 졸음 검출 입력을 생성한다. 인공 신경망(ANN) 분류기는 복수의 개인들 각각과 연관된 졸음 표시자 및 졸음 검출 입력을 사용하여 개인의 깨어있는 상태와 졸음 상태를 구별하도록 트레이닝된다.
일 구현예에서, 개인의 졸음 시작을 검출하기 위한 컴퓨터 구현 프로세스가 이용되며, 이는 컴퓨팅 장치를 사용하여, 심박수 센서 또는 센서들로부터 HR 정보를 수신하는 단계와, 개인의 깨어있는 상태에서 졸음 상태로의 전환을 구체적으로 나타내는 것으로 판정된 HR 정보로부터 (HR 정보로부터 추출될 수 있는 다수의 특징들 중의) 특징 세트를 추출하는 단계와, 추출된 특징을 결합하여 졸음 검출 입력을 생성하는 단계와, 추출된 특징에 기초하여 개인의 깨어있는 상태와 졸음 상태를 구별하도록 트레이닝된 인공 신경망(ANN) 분류기에 졸음 검출 입력을 입력하는 단계와, ANN 분류기의 출력으로부터 상기 졸음 검출 입력이 개인이 졸음의 시작을 보이고 있음을 나타내는지를 식별하는 단계와, 졸음 검출 입력이 개인이 졸음의 시작을 보이고 있음을 나타내면, 졸음 시작 경고를 개시하는 단계를 수행하는 것을 포함한다.
또 다른 구현예에서, 개인의 졸음 시작을 검출하기 위한 컴퓨터 구현 프로세스가 이용되며, 이는 컴퓨팅 장치를 사용하여, 개인의 심박수(HR) 정보를 수신하는 처리 동작을 수행하는 것을 포함하며, 하나 이상의 컴퓨팅 장치는 데이터 통신망을 통해 HR 정보를 캡처하는 하나 이상의 HR 센서와 연관된 원격 컴퓨팅 장치와 통신하며, 상기 HR 정보는 상기 데이터 통신망을 통해 원격 컴퓨팅 장치로부터 수신된다. 또한, HR 정보로부터 개인의 깨어있는 상태에서 졸음 상태로의 전환을 구체적으로 나타내는 것으로 판정된 (HR 정보로부터 추출될 수 있는 다수의 특징들 중의) 특징 세트를 추출하고, 추출된 특징을 결합하여 졸음 검출 입력을 생성하며, 상기 추출된 특징에 기초하여 개인의 깨어있는 상태와 졸음 상태를 구별하도록 트레이닝된 인공 신경망(ANN) 분류기에 졸음 검출 입력을 입력하고, ANN 분류기의 출력으로부터 상기 졸음 검출 입력이 개인이 졸음의 시작을 보이고 있음을 나타내는지를 식별하며, 졸음 검출 입력이 개인이 졸음의 시작을 보이고 있음을 나타내면, 졸음 시작 통지를 전송하는 처리 동작들이 포함된다.
또 다른 구현예에서, 졸음 시작 검출 분류기를 트레이닝하는 컴퓨터 구현 프로세스가 이용되는데, 이 프로세스는 컴퓨팅 장치를 사용하여, 복수의 개인에 대한 하나 이상의 심박수 센서에 의해 출력된 HR 정보 및 이 HR 정보가 캡처된 시간에 개인이 깨어있는 상태에 있는지 졸린 상태에 있는지 여부를 나타내는 개인들 각각에 대한 졸음 표시자를 수신하는 처리 동작을 수행하는 것을 포함한다. 처리 동작은 복수의 개인들 각각과 연관된 HR 정보에 대해, 개인의 깨어있는 상태에서 졸음 상태로의 전환을 구체적으로 나타내는 것으로 판정된 HR 정보로부터 (HR 정보로부터 추출될 수 있는 다수의 특징들 중의) 특징 세트를 추출하고, 추출된 특징을 결합하여 졸음 검출 입력을 생성하는 처리 동작을 포함한다. 인공 신경망(ANN) 분류기는 그 후 복수의 개인들 각각과 연관된 졸음 표시자 및 졸음 검출 입력을 사용하여 개인의 깨어있는 상태와 졸음 상태를 구별하도록 트레이닝된다.
한 구현예에서, 개인의 졸음 시작을 검출하는 것은, 컴퓨팅 장치를 사용하여, 심박수 센서 또는 센서들로부터 HR 정보를 수신하는 수신 단계와, 개인의 깨어있는 상태에서 졸음 상태로의 전환을 구체적으로 나타내는 것으로 판정된 HR 정보로부터 (HR 정보로부터 추출될 수 있는 다수의 특징들 중의) 특징 세트를 추출하는 추출 단계와, 추출된 특징을 결합하여 졸음 검출 입력을 생성하는 결합 단계와, 추출된 특징에 기초하여 개인의 깨어있는 상태와 졸음 상태를 구별하도록 트레이닝된 인공 신경망(ANN) 분류기에 졸음 검출 입력을 입력하는 입력 단계와, ANN 분류기의 출력으로부터 상기 졸음 검출 입력이 개인이 졸음의 시작을 보이고 있음을 나타내는지를 식별하는 식별 단계와, 졸음 검출 입력이 개인이 졸음의 시작을 보이고 있음을 나타내면, 졸음 시작 경고를 개시하는 개시 단계를 수행하는 것을 포함한다.
또 다른 구현예에서, 개인의 졸음 시작을 검출하는 것은, 컴퓨팅 장치를 사용하여, 개인의 심박수(HR) 정보를 수신하는 수신 단계를 포함하는 프로세스 단계를 수행하는 것을 포함하며, 하나 이상의 컴퓨팅 장치는 데이터 통신망을 통해 HR 정보를 캡처하는 하나 이상의 HR 센서와 연관된 원격 컴퓨팅 장치와 통신하며, 상기 HR 정보는 상기 데이터 통신망을 통해 원격 컴퓨팅 장치로부터 수신된다. 프로세스 단계는 또한, HR 정보로부터 개인의 깨어있는 상태에서 졸음 상태로의 전환을 구체적으로 나타내는 것으로 판정된 (HR 정보로부터 추출될 수 있는 다수의 특징들 중의) 특징 세트를 추출하는 추출 단계와, 추출된 특징을 결합하여 졸음 검출 입력을 생성하는 결합 단계와, 상기 추출된 특징에 기초하여 개인의 깨어있는 상태와 졸음 상태를 구별하도록 트레이닝된 인공 신경망(ANN) 분류기에 졸음 검출 입력을 입력하는 입력 단계와, ANN 분류기의 출력으로부터 상기 졸음 검출 입력이 개인이 졸음의 시작을 보이고 있음을 나타내는지를 식별하는 식별단계와, 졸음 검출 입력이 개인이 졸음의 시작을 보이고 있음을 나타내면, 졸음 시작 통지를 전송하는 전송 단계를 더 포함한다.
또 다른 구현예에서, 졸음 시작 검출 분류기를 트레이닝하는 것은, 컴퓨팅 장치를 사용하여, 복수의 개인에 대한 하나 이상의 심박수 센서에 의해 출력된 HR 정보 및 이 HR 정보가 캡처된 시간에 개인이 깨어있는 상태에 있는지 졸린 상태에 있는지 여부를 나타내는 개인들 각각에 대한 졸음 표시자를 수신하는 수신 단계를 포함하는 처리 동작을 수행하는 것을 포함한다. 처리 동작은 복수의 개인들 각각과 연관된 HR 정보에 대해, 개인의 깨어있는 상태에서 졸음 상태로의 전환을 구체적으로 나타내는 것으로 판정된 HR 정보로부터 (HR 정보로부터 추출될 수 있는 다수의 특징들 중의) 특징 세트를 추출하는 추출 단계와, 추출된 특징을 결합하여 졸음 검출 입력을 생성하는 결합 단계를 포함한다. 그 다음에, 복수의 개인들 각각과 연관된 졸음 표시자 및 졸음 검출 입력을 사용하여 개인의 깨어있는 상태와 졸음 상태를 구별하도록 인공 신경망(ANN) 분류기를 트레이닝하는 트레이닝 단계가 수행된다.

Claims (15)

  1. 개인의 졸음의 시작을 검출하기 위한 시스템으로서,
    상기 개인의 심박수(heart rate: HR) 정보를 캡처하는 하나 이상의 심박수(HR) 센서와,
    하나 이상의 컴퓨팅 장치 - 상기 하나 이상의 컴퓨팅 장치는 복수의 컴퓨팅 장치가 존재할 경우에 서로 통신함 - 및 상기 하나 이상의 컴퓨팅 장치에 의해 실행 가능한 복수의 서브프로그램을 갖는 졸음 시작 검출기 컴퓨터 프로그램을 포함하되,
    상기 하나 이상의 컴퓨팅 장치는, 상기 졸음 시작 검출기 컴퓨터 프로그램의 서브프로그램에 의해,
    상기 하나 이상의 심박수 센서로부터 상기 HR 정보를 수신하고,
    상기 HR 정보로부터 특징 세트를 추출하며 - 상기 특징 세트의 특징은, HR 정보로부터 추출될 수 있는 다수의 특징들 중에서, 개인의 깨어있는 상태(wakeful state)에서 졸음 상태(drowsy state)로의 전환을 구체적으로 나타내는 것으로 판정된 특징임 - ,
    상기 추출된 특징을 결합하여 졸음 검출 입력을 생성하고,
    상기 추출된 특징에 기초하여 상기 개인의 깨어있는 상태와 상기 개인의 졸음 상태를 구별하도록 트레이닝된 인공 신경망(ANN) 분류기에 상기 졸음 검출 입력을 입력하며,
    상기 ANN 분류기의 출력으로부터 상기 졸음 검출 입력이 상기 개인이 졸음의 시작을 보이고 있음을 나타내는지를 식별하고,
    상기 졸음 검출 입력이 상기 개인이 졸음의 시작을 보이고 있음을 나타내면, 졸음 시작 경고를 개시하도록 지시받는
    시스템.
  2. 제1항에 있어서,
    상기 HR 정보로부터 상기 특징 세트를 추출하기 위한 상기 서브프로그램의 실행 전에 실행되는 분할(segmenting) 서브프로그램을 더 포함하되,
    상기 분할 서브프로그램은, 상기 수신된 HR 정보가 심박 변이도(heart rate variability: HRV) 신호의 형태인 경우, 상기 하나 이상의 심박수 센서로부터 수신된 상기 HR 정보를 일련의 규정된 길이의 세그먼트로 분할하고,
    상기 분할 서브프로그램은, 상기 수신된 HR 정보가 HRV 신호의 형태가 아닌 경우, 상기 수신된 HR 정보로부터 HRV 신호를 계산한 후 상기 HRV 신호를 상기 일련의 규정된 길이의 세그먼트로 분할하고,
    상기 HR 정보로부터 특징 세트를 추출하고, 추출된 특징을 결합하며, 상기 졸음 검출 입력을 상기 ANN 분류기에 입력하고, 상기 ANN 분류기의 출력으로부터 상기 졸음 검출 입력이 상기 개인이 졸음의 시작을 보이고 있음을 나타내는지를 식별하고, 상기 졸음 검출 입력이 상기 개인이 졸음의 시작을 보이고 있음을 나타내면 졸음 시작 경고를 개시하기 위한 상기 서브프로그램은, 상기 HRV 신호의 세그먼트가 생성될 때 상기 HRV 신호의 세그먼트 각각에서 실행되는
    시스템.
  3. 제2항에 있어서,
    상기 HRV 신호의 상기 규정된 길이의 세그먼트는 길이가 각각 2분(two minutes)이고, 각 세그먼트 사이에 규정된 오프셋 시간이 존재하도록 롤링 윈도우(rolling window)를 나타내는
    시스템.
  4. 제3항에 있어서,
    각각의 2분 길이의 HRV 신호 세그먼트는 대략 120개의 심박수 변이 값을 나타내고, 상기 분할 서브프로그램은 커브 피팅(curve fitting) 기법을 사용하여 각 HRV 신호 세그먼트를 약 840개의 샘플의 심박수 변이 값으로 업-샘플링하는 것을 더 포함하는
    시스템.
  5. 제2항에 있어서,
    상기 각각의 HRV 신호 세그먼트로부터 상기 특징 세트를 추출하는 상기 서브프로그램은 이산 고속 푸리에 변환(DFFT) 및 이산 웨이브렛 변환(DWT)을 사용하여 상기 특징 세트를 추출하는 것을 포함하는
    시스템.
  6. 제5항에 있어서,
    상기 DFFT는 상기 HRV 신호 세그먼트의 고주파(HF) 성분의 전력에 대한 상기 HRV 신호 세그먼트의 저주파 성분의 전력의 비율을 추출된 특징으로서 계산하는데 사용되며, 상기 DWT는, 상기 HRV 신호 세그먼트의 8-레벨 분해로부터, A1 내지 A8 엔트로피 계수의 평균, A8 엔트로피 계수 및 D1 내지 D8 엔트로피 계수를 추출된 특징으로서 계산하는데 사용되는
    시스템.
  7. 제1항에 있어서,
    상기 HR 정보는 상기 하나 이상의 HR 센서에 의해 캡처된 미가공 HR 신호를 포함하고, 상기 HR 정보로부터 상기 특징 세트를 추출하는 서브프로그램은, 먼저 상기 미가공 HR 신호로부터 심박 변이도(HRV) 신호를 계산하는 것을 포함하는
    시스템.
  8. 제1항에 있어서,
    상기 하나 이상의 HR 센서는 상기 하나 이상의 HR 센서에 의해 캡처된 미가공(raw) HR 신호로부터 심박 변이도(HRV) 신호를 계산하는 컴퓨팅 장치를 포함하되, 상기 HR 정보는 상기 HRV 신호를 포함하는
    시스템.
  9. 제1항에 있어서,
    상기 하나 이상의 심박수(HR) 센서 및 상기 하나 이상의 컴퓨팅 장치는 통합 졸음 시작 검출 장치에 위치하는
    시스템.
  10. 제9항에 있어서,
    상기 졸음 시작 검출 장치는 상기 개인이 착용하고 있는 웨어러블 장치이거나 또는 상기 개인이 휴대하는 모바일 장치인
    시스템.
  11. 제1항에 있어서,
    상기 하나 이상의 심박수(HR) 센서는 상기 개인이 착용하고 있는 웨어러블 장치에 위치하고, 상기 하나 이상의 컴퓨팅 장치는 상기 개인이 휴대하는 모바일 장치에 위치하며, 상기 웨어러블 장치는 상기 모바일 장치와 무선 통신하는
    시스템.
  12. 제11항에 있어서,
    상기 HR 정보는, 상기 개인이 휴대하는 상기 모바일 장치로 송신되는, 상기 하나 이상의 HR 센서에 의해 캡처된 미가공 HR 신호를 포함하는
    시스템.
  13. 제11항에 있어서,
    상기 HR 정보는 상기 하나 이상의 HR 센서에 의해 캡처된 미가공 HR 신호를 포함하고, 상기 하나 이상의 HR 센서는 상기 미가공 HR 신호로부터 심박 변이도(HRV) 신호를 계산하는 컴퓨팅 장치를 포함하고, 상기 HRV 신호는 상기 개인이 휴대하는 상기 모바일 장치로 송신되는
    시스템.
  14. 제1항에 있어서,
    졸음 시작 경고를 개시하는 상기 서브프로그램은 상기 개인이 볼 수 있는 디스플레이 스크린 상에 디스플레이되는 메시지의 형태로 상기 개인에 대한 웨이크업 콜(wake-up call)을 개시하는 것을 포함하는
    시스템.
  15. 개인의 졸음의 시작을 검출하기 위한 시스템으로서,
    하나 이상의 컴퓨팅 장치 - 상기 하나 이상의 컴퓨팅 장치는 복수의 컴퓨팅 장치가 존재할 경우에 서로 통신함 - 와,
    상기 하나 이상의 컴퓨팅 장치에 의해 실행 가능한 복수의 서브프로그램을 갖는 졸음 시작 검출기 컴퓨터 프로그램을 포함하되,
    상기 하나 이상의 컴퓨팅 장치는, 상기 졸음 시작 검출기 컴퓨터 프로그램의 서브프로그램에 의해,
    상기 개인의 심박수(HR) 정보를 수신하고 - 상기 하나 이상의 컴퓨팅 장치는 상기 HR 정보를 캡처하는 하나 이상의 HR 센서와 연관된 원격 컴퓨팅 장치와 데이터 통신망을 통해 통신하며, 상기 HR 정보는 상기 데이터 통신망을 통해 상기 원격 컴퓨팅 장치로부터 수신됨 - ,
    상기 HR 정보로부터 특징 세트를 추출하며 - 상기 특징 세트의 특징은, HR 정보로부터 추출될 수 있는 다수의 특징들 중에서, 개인의 깨어있는 상태(wakeful state)에서 졸음 상태(drowsy state)로의 전환을 구체적으로 나타내는 것으로 판정된 특징임 - ,
    상기 추출된 특징을 결합하여 졸음 검출 입력을 생성하고,
    상기 추출된 특징에 기초하여 상기 개인의 깨어있는 상태와 상기 개인의 졸음 상태를 구별하도록 트레이닝된 인공 신경망(ANN) 분류기에 상기 졸음 검출 입력을 입력하며,
    상기 ANN 분류기의 출력으로부터 상기 졸음 검출 입력이 상기 개인이 졸음의 시작을 보이고 있음을 나타내는지를 식별하고,
    상기 졸음 검출 입력이 상기 개인이 졸음의 시작을 보이고 있음을 나타내면, 졸음 시작 통지를 전송하도록 지시받는
    시스템.
KR1020187017009A 2015-12-18 2016-12-08 졸음 시작 검출 기법 KR20180094907A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/974,584 US9955925B2 (en) 2015-12-18 2015-12-18 Drowsiness onset detection
US14/974,584 2015-12-18
PCT/US2016/065484 WO2017105976A1 (en) 2015-12-18 2016-12-08 Drowsiness onset detection

Publications (1)

Publication Number Publication Date
KR20180094907A true KR20180094907A (ko) 2018-08-24

Family

ID=57758704

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187017009A KR20180094907A (ko) 2015-12-18 2016-12-08 졸음 시작 검출 기법

Country Status (19)

Country Link
US (2) US9955925B2 (ko)
EP (1) EP3389474B1 (ko)
JP (1) JP7152950B2 (ko)
KR (1) KR20180094907A (ko)
CN (1) CN108366732B (ko)
AU (1) AU2016370291B2 (ko)
BR (1) BR112018010809A2 (ko)
CA (1) CA3003765C (ko)
CL (1) CL2018001551A1 (ko)
CO (1) CO2018006480A2 (ko)
IL (1) IL259253B (ko)
MX (1) MX2018007224A (ko)
MY (1) MY192362A (ko)
NZ (1) NZ742741A (ko)
PH (1) PH12018550055A1 (ko)
RU (1) RU2734339C2 (ko)
SG (1) SG11201804723WA (ko)
WO (1) WO2017105976A1 (ko)
ZA (1) ZA201802905B (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102108515B1 (ko) 2019-10-10 2020-05-08 국방과학연구소 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템 및 방법
KR20200109754A (ko) * 2019-03-14 2020-09-23 서울시립대학교 산학협력단 심장 박동의 타입을 분류하는 방법 및 이를 이용한 장치

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10535024B1 (en) 2014-10-29 2020-01-14 Square, Inc. Determining employee shift changes
US9955925B2 (en) * 2015-12-18 2018-05-01 Microsoft Technology Licensing, Llc Drowsiness onset detection
JP6365554B2 (ja) * 2016-01-14 2018-08-01 マツダ株式会社 運転支援装置
KR20180070317A (ko) * 2016-12-16 2018-06-26 삼성전자주식회사 차량의 운전을 보조하는 전자 장치 및 방법
US11259743B2 (en) * 2017-03-08 2022-03-01 Strive Orthopedics, Inc. Method for identifying human joint characteristics
US11076766B2 (en) * 2017-04-19 2021-08-03 Beijing Shunyuan Kaihua Technology Limited Systems and methods for providing user insights based on heart rate variability
EP3416147B1 (en) 2017-06-13 2020-01-15 Volvo Car Corporation Method for providing drowsiness alerts in vehicles
WO2019060298A1 (en) 2017-09-19 2019-03-28 Neuroenhancement Lab, LLC METHOD AND APPARATUS FOR NEURO-ACTIVATION
KR101962812B1 (ko) * 2017-10-13 2019-03-28 아주대학교산학협력단 Ppg 기반 rem 수면 검출 방법 및 장치
TWI698223B (zh) * 2017-11-20 2020-07-11 金寶電子工業股份有限公司 可辨識打瞌睡階段的穿戴式裝置及其辨識方法
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
US10709386B2 (en) 2017-12-12 2020-07-14 Lear Corporation Electrocardiogram waveform identification and diagnostics via electrophysiological sensor system fusion
US10147319B1 (en) * 2017-12-22 2018-12-04 Pin-Hua CHEN Safe driving system having function of detecting heart rate variability
WO2019133997A1 (en) 2017-12-31 2019-07-04 Neuroenhancement Lab, LLC System and method for neuroenhancement to enhance emotional response
FR3078518B1 (fr) * 2018-03-05 2020-02-07 Psa Automobiles Sa Dispositif d’assistance d’un conducteur de vehicule par determination d’un etat de vigilance avec des regles de decision adaptees
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
CN108937916A (zh) * 2018-08-03 2018-12-07 西南大学 一种心电信号检测方法、装置及存储介质
WO2020031586A1 (ja) * 2018-08-10 2020-02-13 古野電気株式会社 船舶操縦支援システム、船舶制御装置、船舶制御方法、及びプログラム
US20220015654A1 (en) * 2018-08-29 2022-01-20 Sleep Advice Technologies S.R.L. Photoplethysmography based detection of transitions between awake, drowsiness, and sleep phases of a subject
WO2020053280A1 (en) * 2018-09-11 2020-03-19 Icm (Institut Du Cerveau Et De La Moelle Épinière) System and methods for consciousness evaluation in non-communcating subjects
EP3849410A4 (en) 2018-09-14 2022-11-02 Neuroenhancement Lab, LLC SLEEP ENHANCEMENT SYSTEM AND METHOD
AU2019384870A1 (en) * 2018-11-23 2021-07-22 Wellness Ip, Inc. Micro-coherence network strength and deep behavior modification optimization application
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN110580799A (zh) * 2019-06-19 2019-12-17 四川鼎鸿物联网科技有限公司 一种出租车网约车驾乘人员言行自动预判报警系统
US10993647B2 (en) * 2019-08-21 2021-05-04 Micron Technology, Inc. Drowsiness detection for vehicle control
JP7328828B2 (ja) * 2019-08-27 2023-08-17 フォルシアクラリオン・エレクトロニクス株式会社 状態推定装置、状態推定プログラムおよび状態推定方法
CN110786869B (zh) * 2019-10-29 2021-12-21 浙江工业大学 一种程序员的疲劳程度的检测方法
FR3113369B1 (fr) 2020-08-17 2022-12-09 Fipsico Procede et systeme de detection de la somnolence d’un individu
FR3113368B1 (fr) 2020-08-17 2022-12-09 Fipsico Procede et systeme de detection de la somnolence d’un individu
FR3113370B1 (fr) 2020-08-17 2022-10-21 Fipsico Procede et systeme de detection de la somnolence d’un individu
WO2022037914A1 (fr) 2020-08-17 2022-02-24 Fipsico Procede et systeme de detection de la somnolence d'un individu
US20240016401A1 (en) * 2020-11-13 2024-01-18 Vikas Khurana Systems and methods for analysis of pulse and physiological, pathological, and emotional state and applications thereof
US11909784B2 (en) * 2021-07-29 2024-02-20 Vmware, Inc. Automated actions in a conferencing service
CN114283559B (zh) * 2022-03-04 2022-05-17 西南交通大学 一种驾驶员疲劳预警方法、装置、设备及存储介质
EP4276825A1 (en) * 2022-05-12 2023-11-15 BIC Violex Single Member S.A. Writing instrument
US20230389714A1 (en) 2022-06-01 2023-12-07 Rezet Technologies, Inc. Smart mattress topper system and associated method
WO2024062439A1 (en) * 2022-09-22 2024-03-28 Sleep Advice Technologies S.R.L. Real-time sleep prediction based on statistical analysis off a reduced set of biometric data

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9518094D0 (en) * 1995-09-05 1995-11-08 Cardionics Ltd Heart monitoring apparatus
US6822573B2 (en) * 2002-01-18 2004-11-23 Intelligent Mechatronic Systems Inc. Drowsiness detection system
WO2006090371A2 (en) 2005-02-22 2006-08-31 Health-Smart Limited Methods and systems for physiological and psycho-physiological monitoring and uses thereof
EP1853155B1 (en) * 2005-03-04 2011-10-05 Sleep Diagnostics Pty Ltd Measuring alertness
US7423540B2 (en) * 2005-12-23 2008-09-09 Delphi Technologies, Inc. Method of detecting vehicle-operator state
RU63084U1 (ru) * 2007-01-11 2007-05-10 Открытое акционерное общество "Бинейро" Устройство для фиксации состояния сонливости у человека
CN101224113B (zh) 2008-02-04 2012-02-29 电子科技大学 机动车驾驶员状态监控方法及系统
EP2100556A1 (en) 2008-03-14 2009-09-16 Koninklijke Philips Electronics N.V. Modifying a psychophysiological state of a subject
US10354135B2 (en) * 2008-04-14 2019-07-16 Itamar Medical Ltd. Non invasive method and apparatus for determining light-sleep and deep-sleep stages
EP2265173B1 (en) 2008-04-16 2014-06-11 Philips Intellectual Property & Standards GmbH Method and system for sleep/wake condition estimation
JP2010063682A (ja) * 2008-09-11 2010-03-25 Aisin Seiki Co Ltd 運転者監視装置
CA2649731C (en) 2008-11-05 2015-07-21 The George Washington University An unobtrusive driver drowsiness detection method
WO2010060153A1 (en) 2008-11-28 2010-06-03 The University Of Queensland A method and apparatus for determining sleep states
US20120123232A1 (en) 2008-12-16 2012-05-17 Kayvan Najarian Method and apparatus for determining heart rate variability using wavelet transformation
JP5704612B2 (ja) 2009-06-08 2015-04-22 公立大学法人名古屋市立大学 眠気判定装置
US20140276090A1 (en) * 2011-03-14 2014-09-18 American Vehcular Sciences Llc Driver health and fatigue monitoring system and method using optics
US8725311B1 (en) 2011-03-14 2014-05-13 American Vehicular Sciences, LLC Driver health and fatigue monitoring system and method
US20120265080A1 (en) 2011-04-15 2012-10-18 Xiong Yu Non-contact sensing of physiological signals
JP5831622B2 (ja) 2012-03-19 2015-12-09 富士通株式会社 覚醒度判定装置、覚醒度判定プログラムおよび覚醒度判定方法
JP6275109B2 (ja) 2012-03-21 2018-02-07 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． Ｅｃｇ信号に基づいて睡眠の質の視覚的表現を提供するための方法及び装置
US8917182B2 (en) * 2012-06-06 2014-12-23 Honda Motor Co., Ltd. System and method for detecting and preventing drowsiness
US20150164377A1 (en) 2013-03-13 2015-06-18 Vaidhi Nathan System and method of body motion analytics recognition and alerting
JP6191242B2 (ja) 2013-05-30 2017-09-06 トヨタ自動車株式会社 集中度推定装置
EP3080732A1 (en) 2013-12-02 2016-10-19 Koninklijke Philips N.V. Calculating a current circadian rhythm of a person
CN103714660B (zh) * 2013-12-26 2017-02-08 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
JP6375496B2 (ja) 2014-06-02 2018-08-22 エイケン工業株式会社 眠気検出方法及び眠気検出装置
IN2015MU02950A (ko) 2015-08-04 2015-09-11 Vijay Singh Indra
US9955925B2 (en) * 2015-12-18 2018-05-01 Microsoft Technology Licensing, Llc Drowsiness onset detection

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200109754A (ko) * 2019-03-14 2020-09-23 서울시립대학교 산학협력단 심장 박동의 타입을 분류하는 방법 및 이를 이용한 장치
KR102108515B1 (ko) 2019-10-10 2020-05-08 국방과학연구소 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템 및 방법

Also Published As

Publication number Publication date
EP3389474B1 (en) 2023-06-28
CA3003765C (en) 2023-08-15
AU2016370291B2 (en) 2021-01-28
RU2018121883A (ru) 2019-12-16
US20170172520A1 (en) 2017-06-22
JP7152950B2 (ja) 2022-10-13
US9955925B2 (en) 2018-05-01
US20180214089A1 (en) 2018-08-02
IL259253A (en) 2018-07-31
IL259253B (en) 2021-10-31
NZ742741A (en) 2022-01-28
RU2734339C2 (ru) 2020-10-15
MY192362A (en) 2022-08-17
BR112018010809A2 (pt) 2018-11-21
JP2019509076A (ja) 2019-04-04
EP3389474A1 (en) 2018-10-24
US10646168B2 (en) 2020-05-12
WO2017105976A1 (en) 2017-06-22
PH12018550055A1 (en) 2018-11-12
CN108366732A (zh) 2018-08-03
CN108366732B (zh) 2022-03-29
CA3003765A1 (en) 2017-06-22
ZA201802905B (en) 2019-09-25
SG11201804723WA (en) 2018-07-30
CO2018006480A2 (es) 2018-07-10
RU2018121883A3 (ko) 2020-04-28
CL2018001551A1 (es) 2018-09-28
AU2016370291A1 (en) 2018-06-07
MX2018007224A (es) 2018-08-01

Similar Documents

Publication Publication Date Title
KR20180094907A (ko) 졸음 시작 검출 기법
JP6721155B2 (ja) 生体情報分析装置、システム、及び、プログラム
CN109464130B (zh) 睡眠辅助方法、系统及可读存储介质
US10492720B2 (en) System and method for determining sleep stage
JP5961235B2 (ja) 睡眠／覚醒状態評価方法及びシステム
WO2017193497A1 (zh) 基于融合模型的智能化健康管理服务器、系统及其控制方法
KR20190008991A (ko) 내장된 알람 피로도 감소 특성을 이용한 지속적인 스트레스 측정
US10524682B2 (en) System and method for determining and displaying sleep restoration levels
US20160128586A1 (en) System, method, and article for heart rate variability monitoring
WO2017067010A1 (zh) 睡眠评价显示方法和装置及评价设备
JP2016073527A (ja) 睡眠状態判定装置、睡眠状態判定方法および睡眠管理システム
KR20180046354A (ko) 저전력 모션 센서를 이용한 코골이 검출 방법
JP2015109964A (ja) 感情推定装置、感情推定処理システム、感情推定方法および感情推定プログラム
CA2936343A1 (en) Systems and methods for diagnosing sleep
JP2014171660A (ja) 心房細動解析装置、心房細動解析システム、心房細動解析方法およびプログラム
JP2018202130A (ja) 状態推定装置、情報処理装置、状態推定システム
WO2019212934A1 (en) Seizure detection using multiple biomedical signals
Ma et al. Design and application of mental fatigue detection system using non-contact ECG and BCG measurement
WO2024092505A1 (en) Methods and devices for continous fatigue monitoring using smart devices
US20230181103A1 (en) Apparatus and method for evaluating obstructive sleep apnea with ppg signal
US11701055B2 (en) Using personalized physiological parameters for sleep/wake detection
Baklouti et al. E-safe: Smart Ecg-based Authentication On-wrist Healthcare Wearable System.
JP2022181097A (ja) 作業者支援システム、作業者支援方法、及び、プログラム
WO2023244660A1 (en) Determination of patient behavioral health state based on patient heart and brain waveforms metric analysis
JP2022130199A (ja) 作業者支援システム、作業者支援方法、及び、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal