JP7152950B2 - 眠気開始検出 - Google Patents

眠気開始検出 Download PDF

Info

Publication number
JP7152950B2
JP7152950B2 JP2018532107A JP2018532107A JP7152950B2 JP 7152950 B2 JP7152950 B2 JP 7152950B2 JP 2018532107 A JP2018532107 A JP 2018532107A JP 2018532107 A JP2018532107 A JP 2018532107A JP 7152950 B2 JP7152950 B2 JP 7152950B2
Authority
JP
Japan
Prior art keywords
drowsiness
individual
information
onset
subprogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018532107A
Other languages
English (en)
Other versions
JP2019509076A (ja
Inventor
カンナン,アーダーシュ
ラマスワミー,ゴーヴィンド
グジャール,アビナッシュ
バスカー,シュリーニヴァス
Original Assignee
マイクロソフト テクノロジー ライセンシング,エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マイクロソフト テクノロジー ライセンシング,エルエルシー filed Critical マイクロソフト テクノロジー ライセンシング,エルエルシー
Publication of JP2019509076A publication Critical patent/JP2019509076A/ja
Application granted granted Critical
Publication of JP7152950B2 publication Critical patent/JP7152950B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02405Determining heart rate variability
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7282Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6887Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
    • A61B5/6898Portable consumer electronic devices, e.g. music players, telephones, tablet computers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/7257Details of waveform analysis characterised by using transforms using Fourier transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7253Details of waveform analysis characterised by using transforms
    • A61B5/726Details of waveform analysis characterised by using transforms using Wavelet transforms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/7405Details of notification to user or communication with user or patient ; user input means using sound
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/742Details of notification to user or communication with user or patient ; user input means using visual displays
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/74Details of notification to user or communication with user or patient ; user input means
    • A61B5/746Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0024Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system for multiple sensor units attached to the patient, e.g. using a body or personal area network
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/681Wristwatch-type devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • Animal Behavior & Ethology (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Cardiology (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Hospice & Palliative Care (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Mechanical Engineering (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)

Description

[0001] 脳波検査法(EEG)とは、頭皮上に置かれた複数の電極を使用して取り込まれた(captured)脳の電気的活動を経時的に監視する方法である。人の精神的および身体的状態についての情報は、EEG信号において観察される、いわゆる脳波の分析から導き出すことができる。このような状態の1つに、覚醒状態と眠気状態との間の遷移がある。
[0002] 人の睡眠には、2種類の主要な睡眠、即ち、急速眼球運動(REM)睡眠および非急速眼球運動(NREM)睡眠がある。REM睡眠は、その特徴的な低振幅、高周波数波によって、EEG信号において識別可能である。NREM睡眠は、3つの異なる段階、N1、N2、およびN3に分類され、REM睡眠とは非常に異なるEEG波形(wave pattern)を示す。例えば、N3 NREM睡眠は、EEG信号において、高振幅、低周波数波によって特徴付けられる脳波を呈する。一般に、脳波は、人が段階N1睡眠からN3睡眠に遷移するに連れて、増々遅くなりそして一層同期するようになる。
[0003] 人が入眠するに連れて、彼らの身体活動は鈍化し、彼らの脳波は増々遅くそして大きくなる。N1 NREM睡眠は、うたた寝(drowsy sleep)または眠気と呼ばれることが多く、通常睡眠と覚醒との間に生ずる。この段階は、EEG信号において、8~13Hzの周波数(覚醒状態では極普通である)を有する、いわゆるアルファ波と、4~7Hzの周波数を有する、いわゆるシータ波との間の遷移として特徴付けられる。つまり、覚醒状態から眠気状態への遷移は、EEG信号において容易に見ることができる。
[0004] 本明細書において説明する眠気開始検出の実施態様では、概略的には、個人において眠気の開始を検出する。1つの総合的な実施態様では、これは、個人の心拍数(HR)情報を取り込む1つ以上の心拍数センサーと、1つ以上のコンピューティング・デバイスと、1つ以上のコンピューティング・デバイスによって実行可能な複数のサブプログラムを有する眠気開始検出コンピューター・プログラムとを使用することを伴う。1つ以上のコンピューティング・デバイスは、眠気開始検出コンピューター・プログラムのサブプログラムによって、最初に1つまたは複数の心拍数センサーからHR情報を受信することを指令される。次いで、HR情報から1組の特徴を抽出する。これらの特徴は、HR情報から抽出することができる多くの特徴の中でもとりわけ、個人の覚醒状態から個人の眠気状態への遷移を特定的に示すと判断されたものである。次に、抽出された特徴を組み合わせて、眠気検出入力を生成する。次いで、人工ニューラル・ネットワーク(ANN)クラシファイア(classifier)に眠気検出入力を供給する。人工ニューラル・ネットワーク(ANN)クラシファイアは、個人の覚醒状態と個人の眠気状態との間で、抽出された特徴に基づいて区別するように、既に訓練されている。一実施態様では、ANNクラシファイアは、EEG信号において呈される、覚醒と眠気との間の遷移(即ち、N1 NREM睡眠)の指標も部分的に使用して、訓練されている。次に、眠気検出入力が、個人が眠気の開始を呈していることを示すか否か、ANNクラシファイアの出力から識別する。示す場合、眠気開始警告を発生する。
[0005] 尚、以上の摘要は、詳細な説明において以下で更に説明する概念から選択したものを、簡略化した形態で紹介するために設けられていることは注記してしかるべきである。この摘要は、特許請求する主題の主要な特徴や必須の特徴を特定することを意図するのではなく、特許請求する主題の範囲を判断するときに補助として使用されることを意図するのでもない。その唯一の目的は、以下で紹介する更に詳細な説明の序文として、特許請求する主題の概念の一部を簡略化した形態で紹介することである。
[0006] 本開示の具体的な特徴、態様、および利点は、以下の説明、添付した特許請求の範囲、および添付図面に関して、一層深く理解されよう。
図1は、本明細書において説明する眠気開始検出の実施態様を実現するためのシステム・フレームワークの一実施態様を、簡略化した形態で示す図である。 図2は、個人について眠気の開始を検出するプロセスの例示的な実施形態を、簡略化した形態で示す流れ図である。 図3は、本明細書において説明する眠気開始検出の実施態様を実現するためのシステム・フレームワークの、リモート・サーバーまたはクラウド・サーバーを伴う(involve)他の実施態様を、簡略化した形態で示す図である。 図4は、個人について眠気の開始を検出するプロセスの、リモート・サーバーまたはクラウド・サーバーを伴う例示的な実施態様を、簡略化した形態で示す流れ図である。 図5は、個人における眠気の開始を検出するために使用することができる眠気開始検出クラシファイアを訓練するためのシステム・フレームワークの例示的な実施態様を、簡略化した形態で示す図である。 図6は、眠気開始検出クラシファイアを訓練するプロセスの例示的な実施態様を、簡略化した形態で示す流れ図である。 図7は、本明細書において説明する眠気開始検出の実施態様と共に使用するための例示的なシステムを構成する汎用コンピューティング・デバイスを示す図である。
[0014] 以下の説明では、明細書の一部をなす添付図面を参照する。添付図面には、眠気開始検出の実施態様を実用化することができる具体的な変形(version)が、例示として示されている。尚、本願の範囲から逸脱することなく、他の実施態様を利用することができ、構造的な変更を行うことができることは理解されよう。
[0015] また、眠気開始検出の実施態様について説明するときに、明確化のために具体的な用語に頼るが、これらの実施態様が、そのように選択された具体的な用語に限定されることを意図するのではないことも注記しておく。更に、具体的な用語の各々は、同様の目的を達成するために広く同様の方法で動作するその技術的均等物の全てを含むことも理解されてしかるべきである。本明細書において、「一実施態様」、または「他の実施態様」、または「例示的な実施態様」、または「代替実施態様」という言い方をするときは、その実施態様と関連付けて説明される特定の特徴、特定の構造、または特定の特性を、眠気開始検出の少なくとも1つの変形に含ませることができることを意味する。本明細書の種々の場所において「一実施態様では」、「他の実施態様では」、「例示的な実施態様では」、および「代替実施態様では」という語句が現れる場合、必ずしも全てが同じ実施態様を指す訳ではなく、他の実施態様とは相互に排他的な別個のまたは代わりの実施態様を指すのでもない。更にまた、プロジェクト情報抽出の1つ以上の実施態様を表すプロセス・フローの順序は、本質的に、いかなる特定の順序を示すのでも、そのいかなる限定を含意するのでもない。
[0016] 本明細書において利用する場合、「コンポーネント」、「システム」、「クライアント」等の用語は、ハードウェア、ソフトウェア(例えば、実行中)、ファームウェア、またはこれらの組み合わせのいずれかのコンピューター関連エンティティを指すことを意図している。例えば、コンポーネントは、プロセッサー上で実行するプロセス、オブジェクト、実行可能ファイル、プログラム、関数、ライブラリー、サブルーチン、コンピューター、またはソフトウェアおよびハードウェアの組み合わせとすることができる。例示として、サーバー上で実行しているアプリケーション、およびこのサーバーがコンポーネントであることが可能である。1つ以上のコンポーネントが1つのプロセスに内在することができ、1つのコンポーネントを1つのコンピューター上に局在化させること、および/または2つ以上のコンピューター間に分散させることができる。「プロセッサー」という用語は、一般に、コンピューター・システムの処理ユニットのような、ハードウェア・コンポーネントを指すと理解されている。
[0017] 更に、「含む」(includes)、「含んでいる」(including)、「有する」(has)、「収容する」(contains)、およびこれらの変形、ならびにその他の同様の用語がこの詳細な説明または特許請求の範囲のいずれかにおいて使用される限りにおいて、これらの用語は、追加のエレメントや他のエレメントを全く除外しない、開いた転換語(open transition word)としての「備えている」(comprising)という用語と同様に、包含的であることを意図している。
1.0 眠気開始検出
[0018] 概略的に、本明細書において説明する眠気開始検出の実施態様は、人が覚醒の状態から眠気の状態に遷移するときを、経時的な心拍数情報に基づいて予測することができる。次いで、この人を刺激して覚醒の状態にする、または他の人々に彼らの状態について通知する(眠気/警戒性)ために、しかるべき行動を起こすことができる。これは、車を運転する間、船舶を接収する(commandeering)間、航空機を操縦する間、試験のために人が勉強している間、会議中等のように、人の覚醒が要求される多くのシナリオにおいて有用である。
[0019] 本明細書において説明する眠気開始検出の実施態様は、概略的に、1つ以上の心拍数(HR)センサーを使用して、人の心拍数情報を経時的に取り込み、次いで心拍数変動(HRV)信号を、取り込んだ心拍数情報から計算することを伴う。このHRV信号を分析して、個人の覚醒状態から眠気状態(即ち、N1 REM睡眠)への遷移を示す特徴を抽出する。抽出された特徴は人工ニューラル・ネット(ANN)に入力される。人工ニューラル・ネット(ANN)は、個人が前述の眠気への遷移を行うときを識別するために、同じ特徴を使用して既に訓練されている。眠気の開始が検出されたときはいつでも、警告を発生する。警告は種々の形態を取ることができる。
[0020] 本明細書において説明する眠気開始検出の有利な特徴は、HRV信号から抽出された特徴が、覚醒から眠気への遷移を特定的に検出する目的に合わせて形成されていることである。例えば、一実施態様では、HRV信号から抽出することができる多くの特徴の代わりに、僅かに11通りだけの特徴が採用される。したがって、処理量が大幅に減少し、更に眠気の開始を検出するのに要する時間が大幅に短縮する。
[0021] また、本明細書において説明する眠気開始検出の実施態様は、以下を含むがこれらに限定されない種々の他の理由のためにも有利である。以下に続く更に詳細な説明から認められるように、眠気開始検出の実施態様の一部は、自己充足型である。更に具体的には、これらは、ローカルHRセンサー・デバイス内に完全に内蔵されるか、またはHR情報を取り込むためにこのようなデバイスを採用し、次いでHR情報を、ユーザーが携行するコンピューティング・デバイスに転送する。このように、外部通信は不要であり(例えば、セルラー・データーを使用しない)、本方式は、外部接続サービスがなくても(例えば、セルラ・サービスが利用できなくても)機能することができる。加えて、本明細書において説明する眠気開始検出の実施態様は、非侵襲的であり、現在採用されているあらゆる覚醒監視方式をも凌駕すると信じられる高精度な結果を生成する。
1.1 システムおよびプロセス・フレームワーク
[0022] この章では、本明細書において説明する眠気開始検出の実施態様を実現するために使用することができるシステム・フレームワークおよびプロセス・フレームワークの異なる例示的な実施態様について説明する。尚、この章において説明するシステム・フレームワークおよびプロセス・フレームワークの実施態様に加えて、眠気開始検出の実施態様を実現するために、種々のその他のシステム・フレームワークおよびプロセス・フレームワークの実施態様を使用してもよいことを注記しておく。
[0023] 図1は、本明細書において説明する眠気開始検出の実施形態を実現するためのシステム・フレームワークの一実施態様を、簡略化した形態で示す。図1に例示するように、システム・フレームワーク100は、1組の1つ以上の心拍数(HR)センサー102を含む。個人の心拍数を取り込む任意の種類のセンサーを、心拍数(HR)センサー(1つまたは複数)102として採用することができる。一変形では、これらのHRセンサー(1つまたは複数)102は、物理的にユーザーの身体上に配置される(例えば、装着される)。他の変形では、HRセンサー(1つまたは複数)102はユーザー104によって携行される。更に他の変形では、HRセンサー(1つまたは複数)102はユーザーから離れているが、それでも人の心拍数を検出することができる(例えば、撮像技法によって)。以下に続く更に詳細な説明から認められるように、1組のHRセンサー102は、ユーザーが彼らの日を過ごすに連れて、ユーザーに関連する心拍数情報を連続的に(例えば、継続的に(on an ongoing basis))そして受動的に測定し(例えば、取り込み)、少なくともこの心拍数情報の現在値を含むデーター・ストリームにタイム・スタンプを付けて出力するように構成されている。
[0024] 再度図1に戻り、システム・フレームワーク100は1つ以上のコンピューティング・デバイス104も含む。一変形では、コンピューティング・デバイス104は、1つまたは複数のHRセンサー102に内在し、こうして統一眠気開始検出デバイスを形成する。他の変形では、1つまたは複数のHRセンサー102とは別個のコンピューティング・デバイス104を採用する。コンピューティング・デバイス104のこの後者の変形は、従来のスマートフォンまたは従来のタブレット・コンピューターのような、ユーザーによって携行される移動体デバイスとすることができる。更に他の変形では、HRセンサー(1つまたは複数)102に内在するコンピューティング・デバイス104、およびユーザーによって携行される別個のコンピューティング・デバイスの双方がある。後で更に詳しく説明するように、この最後の変形においてセンサー(1つまたは複数)102に内在するコンピューティング・デバイス104は、センサー(1つまたは複数)によって出力された信号(1つまたは複数)の少なくとも一部の前処理を実行するために使用される。例えば、後で更に詳しく説明するように、この前処理は、生のHRセンサー読み取り値から心拍数変動(HRV)信号を導き出すことを伴う場合もある。
[0025] 以上で示したように、1つまたは複数のHRセンサー102は異なる形態を取ることができる。例えば、センサー(1つまたは複数)がユーザーの身体上に装着される一実施態様では、HRセンサー(1つまたは複数)102をウェアラブル・デバイス内にパッケージ化することができる。このようなウェアラブル・デバイスの1つに、個人の手首に装着される健康/フィットネス追跡デバイスがある。尚、HRセンサーを含む多くの異なる種類の健康/フィットネス追跡用ウェアラブル・コンピューティング・デバイスが、今日では市販されていることを注記しておく。
[0026] 1つまたは複数のHRセンサー102とは別個のコンピューティング・デバイス104を有する以上の変形では、HRセンサーの各々は、当該センサー(1つまたは複数)から出力されたタイム・スタンプ付きのデーター・ストリームをコンピューティング・デバイスにワイヤレスで送信するように構成されている。したがって、コンピューティング・デバイス104は、1組のHRセンサー102から送信された種々のデーター・ストリームをワイヤレスで受信するように構成されている。1組のHRセンサー102から出力された種々のデーター・ストリームのワイヤレス通信は、種々のワイヤレス技術を使用して実現することができる。例えば、このワイヤレス通信は、従来のBluetooth(登録商標)パーソナル・エリア・ネットワークを使用して実現することができる。従来のWi-Fiローカル・エリア・ネットワークを使用してワイヤレス通信を実現する他の変形も可能である。また、異なるワイヤレス・ネットワーキング技術の組み合わせを使用してワイヤレス通信を実現する更に他の変形も可能である。
[0027] 図1に例示するように、システム・フレームワーク100は、1つ以上のコンピューティング・デバイス104によって実行可能なサブプログラムを有する眠気開始検出コンピューター・プログラム106も含む。これらのサブプログラムは、受信サブプログラム108、特徴抽出サブプログラム110、特徴組み合わせサブプログラム112、人工ニューラル・ネットワーク(ANN)クラシファイア入力サブプログラム114、眠気開始識別サブプログラム116、および眠気開始警告サブプログラム118を含む。一変形では、生のHRセンサー・データー120がHRセンサー102から受信サブプログラム108に入力される。他の変形では、前述のHRV信号122が、HRセンサー102から受信サブプログラム108に入力される。図1において破線の矢印を使用して、これら2つの入力の代替性(alternate nature)を示す。眠気開始警告124は、眠気開始警告サブルーチン118から出力される。以前に示したように、これらのサブプログラムの各々は、(以下に続く例示的な動作環境の章において更に詳しく説明するものというような)1つ以上のコンピューティング・デバイス上において実現される。尚、複数のコンピューティング・デバイスがあるときはいつでも、これらは(インターネットまたは企業固有のイントラネットのような)コンピューター・ネットワークを通じて互いに通信状態にあることを注記しておく。
[0028] これより図2を参照すると、前述の1つ以上のコンピューティング・デバイスは、以上のコンピューター・プログラムのサブプログラムによって、一連のプロセス・アクションを遂行するように指令される。更に具体的には、図2は、個人について眠気の開始を検出するプロセスの例示的な実施態様を、簡略化した形態で示す。このプロセスは、1つ以上の心拍数センサーからHR情報を受信することから開始する(プロセス・アクション200)。次いで、HR情報から1組の特徴を抽出する(プロセス・アクション202)。これらの特徴は、HR情報から抽出することができる多くの特徴の中でもとりわけ、個人の覚醒状態から個人の眠気状態への遷移を特定的に示すと判断されたものである。次に、抽出した特徴を組み合わせて、眠気検出入力を生成する(プロセス・アクション204)。この眠気検出入力は、人工ニューラル・ネットワーク(ANN)クラシファイアに入力される。人工ニューラル・ネットワーク(ANN)クラシファイアは、個人の覚醒状態と個人の眠気状態との間で、抽出した特徴に基づいて区別するように、既に訓練されている(プロセス・アクション206)。次いで、ANNクラシファイアの出力から、眠気検出入力が、個人が眠気の開始を呈することを示すか否か識別する(プロセス・アクション208)。示す場合、眠気開始警告を発生する(プロセス・アクション210)。示さない場合、以上のプロセスを繰り返す。
[0029] 眠気開始警告を発生することに関して、警告は、3つの概略的なカテゴリに属するものとして特徴付けることができる。第1カテゴリは、眠気が監視されている個人に対する警鐘(wake-up call)である。一例としてしかし限定ではなく、眠気開始警告は、表示画面上に表示される「メッセージ」とすることができる。1つ以上の心拍数センサーが先に説明したようにパッケージ化されている場合、このパッケージはディスプレイを有することができる。加えて、前述の移動体デバイスを採用する実施態様では、このデバイスがディスプレイを有することができる。メッセージはテキストまたは画像とすることができ、あるいは表示画面上の閃光のようにユーザーに見える閃滅画像(flashing images)の形態をなすこともできる。以上の警鐘メッセージの例に加えて、またはその代わりに、警鐘メッセージは個人に対する提案の形態をなすことができる。例えば、個人が車両を運転しているというコンテキストでは、メッセージは、最も近いホテルまたは休憩所(rest stop)の場所を示すテキストを含むことができる。また、警告は可聴警報(例えば、ブザー音(buzzing)、ベル音(ringing)、音声、音楽等)とすることもでき、これらは心拍数センサー(1つまたは複数)パッケージまたは移動体デバイスに内在するスピーカーから再生される。更に、警告は触覚に基づく警報(例えば、振動、弱い電気ショック等)とすることもでき、開始コマンドに応答して、心拍数センサー(1つまたは複数)パッケージまたは移動体デバイスによって、従来の方法を使用して作成される。以上の警報の内任意のものを組み合わせて、個人に対する眠気警告を作成することもできる。他の型式の警告は、メッセージを第三者(例えば、看護師、医療専門家、医者、睡眠研究者等)に送信することを伴い、次いで第三者が、眠気を監視されている個人に警告するか、そうでなければ眠気の開始に襲われている(experiencing)個人に基づいて、処置を講ずる。更に他の型式の警告は、個人が眠気の開始に襲われていることに応答して、デバイスが何らかの処置を講ずるための命令である。例えば、近い将来、個人はいわゆるコネクテッド・カー(connected car)を運転するかもしれないが、コネクテッド・カーは、車の制御を引き継ぎ、それを(道路の脇のような)安全な場所に運転する命令を受け入れることができる(適正なセキュリティ・プロトコルに従うことを仮定する)。同様に、個人の眠気に帰する事故を回避するために、他の「コネクテッド」デバイスも同様に制御することができる。例えば、ストーブのような家庭用電気製品を消すことができる。
[0030] 先に示したように、眠気開始検出の以上の実施態様および変形は、自己充足型であるという利点がある。これらは、HR検知デバイス内に完全に内蔵されるか、またはHR情報を取り込むためにこのようなデバイスを採用し、次いでこのHR情報が、ユーザーによって携行されているコンピューティング・デバイスに転送される。しかしながら、自己充足型であることにはその利点があるが、他の考慮事項がこれらよりも重大であることもあり得る。例えば、クラウド・ベースのシナリオでは、人の睡眠履歴、現在の天気、およびその他のリアルタイム情報というような、追加の履歴的特徴を含むことができる。クラウド上における処理パワーは通例非常に大きいので、同時に複数の人々の睡眠情報を計算処理することを伴う更に複雑なモデルを着想することができる。この目的のために、眠気開始検出の実施態様のいくつかでは、以上のシステム・エレメントを使用してサーバーまたはクラウド・サービスと通信することを伴う。この場合、生のHRセンサー情報または前処理したHRV信号をサーバーまたはクラウド・サービスに送り、次いで、サーバーまたはクラウド・サービスが、眠気の開始が生じたときを検出し、しかるべき警告を発生する。これは、警告指標を逆にユーザー・デバイス(1つまたは複数)に、または第三者に、あるいは双方に送ることを伴う場合もあり、ユーザーのデバイスが警告を実行する。
[0031] 図3は、前述の代替実施態様を示す。図3に例示するように、システム・フレームワーク300は1組の1つ以上の心拍数(HR)センサー302を含む。直前の実施態様におけるように、一変形では、これらのHRセンサー(1つまたは複数)302は、物理的にユーザーの身体上に配置されている(例えば、装着されている)。他の変形では、HRセンサー(1つまたは複数)302はユーザーによって携行される。更に他の変形では、HRセンサー(1つまたは複数)302は、ユーザーから離れているが、それでも人の心拍数を検出することができる。1組のHRセンサー302は、ユーザーが彼らの一日を送るに連れて、ユーザーに関連する心拍数情報を連続的に(例えば、継続的に(on an ongoing basis))そして受動的に測定し(例えば、取り込み)、少なくともこの心拍数情報の現在値を含むデーター・ストリームにタイム・スタンプを付けて出力するように構成されている。また、システム・フレームワーク300は、1つ以上のコンピューティング・デバイス304も含む。直前の実施態様と同様、一変形では、コンピューティング・デバイス304は1つまたは複数のHRセンサー302に内在する。他の変形では、1つまたは複数のHRセンサー302とは別個のコンピューティング・デバイス304を採用する。コンピューティング・デバイス304のこの後者の変形は、従来のスマートフォンまたは従来のタブレット・コンピューターのような、ユーザーによって携行される移動体デバイスとすることができる。更に他の変形では、HRセンサー(1つまたは複数)302に内在するコンピューティング・デバイス304、およびユーザーによって携行される別個のコンピューティング・デバイスの双方がある。後で更に詳しく説明するように、この最後の変形においてセンサー(1つまたは複数)302に内在するコンピューティング・デバイス304は、生のHRセンサー読み取り値から前述のHRVを導き出すというように、センサー(1つまたは複数)によって出力された信号(1つまたは複数)の少なくとも一部の前処理を実行するために使用される。加えて、以前と同様、1つまたは複数のHRセンサー302とは別個のコンピューティング・デバイス304を有する前述の変形では、HRセンサーの各々が、タイム・スタンプが付いたデーター・ストリーム出力を、センサー(1つまたは複数)からコンピューティング・デバイスにワイヤレスで送信するように構成されている。したがって、コンピューティング・デバイス304は、1組のHRセンサー302から送信された種々のデーター・ストリームをワイヤレスで受信するように構成されている。1組のHRセンサー302から出力された種々のデーター・ストリームのワイヤレス通信は、種々のワイヤレス技術を使用して実現することができる。例えば、このワイヤレス通信は、従来のBluetoothパーソナル・エリア・ネットワークを使用して実現することができる。従来のWi-Fiローカル・エリア・ネットワークを使用してワイヤレス通信を実現する他の変形も可能である。また、異なるワイヤレス・ネットワーキング技術の組み合わせを使用してワイヤレス通信を実現する更に他の変形も可能である。
[0032] 加えて、図3に示す実施態様では、コンピューティング・デバイス304(HRセンサー(1つまたは複数)302にのみ内在するか、または分離されユーザーによって携行されるデバイスの形態かには関係なく)は、更に、(他の種類のネットワークの中でもとりわけ)インターネットのようなデーター通信ネットワーク306を通じて、クラウド・サービス308と通信するように構成されている。クラウド・サービス308は、コンピューティング・デバイス304から離れて位置する1つ以上の他のコンピューティング・デバイス310上で動作する。リモート・コンピューティング・デバイス310は、ネットワーク306を通じて互いと通信することもできる。「クラウド・サービス」という用語は、本明細書では、クラウド内で動作し、異なる地理的領域(例えば、世界の異なる領域)に配置することができる複数のデーター・センタにおいてホストする(例えば、デプロイする)ことができるウェブ・アプリケーションを意味するために使用される。尚、以上の方式の一変形では、クラウド・サービスが従来のリモート・サーバー(図示せず)によって置き換えられることを注記しておく。
[0033] 更に図3に例示するように、システム・フレームワーク300は、クラウド・サービス308(またはリモート・サーバー)に関連付けられた1つ以上のコンピューティング・デバイス310上で動作する眠気開始検出コンピューター・プログラム(drowsiness onset detector computer program)312を含む。眠気開始検出コンピューター・プログラム312は、1つ以上のコンピューティング・デバイス310によって実行可能なサブプログラムを有する。これらのサブプログラムは、受信サブプログラム314、特徴抽出サブプログラム316、特徴組み合わせサブプログラム318、人工ニューラル・ネットワーク(ANN)クラシファイア入力サブプログラム320,眠気開始識別サブプログラム322、および眠気開始警告サブプログラム324を含む。一変形では、生のHRセンサー・データー326をコンピューティング・デバイス304から受信し、受信サブプログラム314に入力する。他の変形では、前述のHRV信号328を受信サブプログラム314に入力する。図3において破線の矢印を使用して、これら2つの入力の代替性(alternate nature)を示す。眠気開始警告330は、ネットワーク306を通じて、眠気開始警告サブプログラム324から出力される。先に示したように、これらのサブプログラムの各々は、(以下に続く動作環境例の章において更に詳しく説明するもののような)1つ以上のコンピューティング・デバイス 上で実現される。尚、複数のコンピューティング・デバイスがあるときはいつでも、これらは(インターネットまたは企業固有のイントラネットのような)コンピューター・ネットワークを通じて互いに通信状態にあることを注記しておく。
[0034] これより図4を参照すると、クラウド・サービス(またはリモート・サーバー)に関連付けられた前述の1つ以上のコンピューティング・デバイスは、以上の眠気開始検出コンピューター・プログラムのサブプログラムによって、一連のプロセス・アクションを遂行するように指令される。更に具体的には、図4は、個人について眠気の開始を検出するプロセスの例示的な実施態様を、簡略化した形態で示す。このプロセスは、個人のHR情報を受信することから開始する(プロセス・アクション400)。このHR情報は、前述の1つ以上のHRセンサーに関連付けられたコンピューティング・デバイスから、データー通信ネットワークを通じて受信される。次いで、HR情報から1組の特徴を抽出する(プロセス・アクション402)。これらの特徴は、HR情報から抽出することができる多くの特徴の中でもとりわけ、個人の覚醒状態から個人の眠気状態への遷移を特定的に示すと判断されたものである。次に、抽出した特徴を組み合わせて、眠気検出入力を生成する(プロセス・アクション404)。この眠気検出入力は、人工ニューラル・ネットワーク(ANN)クラシファイアに入力される。人工ニューラル・ネットワーク(ANN)クラシファイアは、個人の覚醒状態と個人の眠気状態との間で、抽出した特徴に基づいて区別するように、既に訓練されている(プロセス・アクション406)。 次いで、ANNクラシファイアの出力から、眠気検出入力が、個人が眠気の開始を呈することを示すか否か識別する(プロセス・アクション408)。示す場合、眠気開始通知を送信する(プロセス・アクション410)。示さない場合、以上のプロセスを繰り返す。
[0035] 先に説明したように、(図1および図2に示すような)自己充足型の実施態様は、眠気開始警告を発生する(initiate)。クラウド・サービス(またはリモート・サーバー)によって送信される眠気開始通知も、同様の効果を得るために使用される。先に示したように、警告の一種は、眠気が監視されている個人に対する警鐘を伴う。即ち、一例としてしかし限定ではなく、眠気開始通知は、先に説明したパッケージ型の1つまたは複数の心拍数センサーあるいは前述の移動体デバイスに送信される「メッセージ」とすることができる。メッセージは、センサー(1つまたは複数)または移動体デバイスに付随する表示画面上に表示されるテキストまたは画像とすることができ、あるいはディスプレイ上の閃光のようにユーザーに見える閃滅画像(flashing images)の形態をなすこともできる。以上の警鐘メッセージの例に加えて、またはその代わりに、警鐘メッセージは個人に対する提案の形態をなすことができる。例えば、個人が車両を運転しているというコンテキストでは、メッセージは、最も近いホテルまたは休憩所(rest stop)の場所を示すテキストを含むことができる。また、メッセージは、可聴警報(例えば、ブザー音(buzzing)、ベル音(ringing)、音声、音楽等)を作成する命令という形態とすることもでき、これらは心拍数センサー(1つまたは複数)または移動体デバイスに内在するスピーカーから再生される。更に、メッセージは、触覚に基づく警報(例えば、振動、弱い電気ショック等)を作成する命令という形態とすることもでき、センサー(1つまたは複数)または移動体デバイスによって、従来の方法を使用して作成される。以前と同様、以上の警報の内任意のものを組み合わせて、個人に対する眠気警告を作成することもできる。他の型式の通知は、メッセージを第三者(例えば、看護師、医療専門家、医者、睡眠研究者等)に送信することを伴い、次いで第三者が、眠気を監視されている個人に警告するか、そうでなければ眠気の開始に襲われている(experiencing)個人に基づいて、処置を講ずる。クラウド・サービス(またはサーバー)が送信することができる更に他の型式の通知は、個人が眠気の開始に襲われていることに応答して、デバイスが何らかの処置を講ずるための命令である。 例えば、近い将来、個人はいわゆるコネクテッド・カー(connected car)を運転するかもしれないが、コネクテッド・カーは、車の制御を引き継ぎ、それを(道路の脇のような)安全な場所に運転する命令を受け入れることができる(適正なセキュリティ・プロトコルに従うことを仮定する)。同様に、個人の眠気に帰する事故を回避するために、他の「コネクテッド」デバイスも同様に制御することができる。例えば、ストーブのような家庭用電気製品を消すことができる。
1.2 特徴抽出
[0036] 先に示したように、自己充足型の実施態様またはクラウド・サービス・ベースの実施態様のいずれにおいても、監視されている個人において眠気の開始を検出するために、前述の抽出した特徴に基づいて、個人の覚醒状態と個人の眠気状態との間で区別するように既に訓練されている人工ニューラル・ネットワーク(ANN)クラシファイアを採用する。この章では、例示的な特徴抽出方法、および抽出される特徴の例示的な種類について説明する。
[0037] 医療研究では、心拍数と個人の眠気知覚は関係があることが示されている。更に具体的には、個人が覚醒状態から眠気状態(即ち、N1 NREM睡眠)に遷移するときは、その人の心拍数の尺度(measure)を使用すると検出することができる。典型的な心電図測定法(EKGまたはECG)によって生成される波形パターンは、一連のQRS波複合体(QRS wave complex)を含む。これらの複合体の各々は、3つの偏向(deflection)、即ち、Q-波、R-波、およびS-波と呼ばれる偏向の組み合わせで構成されている。Q-波およびS-波は、通例、初期の負方向即ち下方の偏向によって特徴付けられ、一方R-波は、通例、初期の正方向即ち上方の偏向によって特徴付けられる。心電図において2つの連続するR波間で経過する時間をRR間隔(RR interval)と呼ぶ。本明細書において説明する眠気開始検出の実施態様において採用される1つまたは複数のHRセンサーは、少なくともR-波のピークを検出することができる。一実施態様では、検出されたR-波のピークは、1つまたは複数のHRセンサーによって取り込まれる、前述の生のHR信号を形成する。心拍数変動(HRV)は、R-波のピーク間の時間間隔内におけるばらつき(variation)という生理的現象である。これは、RR間隔のばらつきによって測定される。HRV信号は、生のHR信号から、HRセンサー(1つまたは複数)に関連付けられたコンピューティング・デバイスによって、または(監視されている個人によって携行されている移動体デバイス、またはクラウド・サービス(またはリモート・サーバー)に関連付けられたコンピューティング・デバイス(1つまたは複数)のような)別個のコンピューティング・デバイスのいずれかによって計算される。
[0038] 一実施態様では、HRV信号が生成されると、既定長セグメントのシーケンスにセグメント化される。一変形では、これらのセグメントは、長さが2分であり、約120個のRR間隔の値(即ち、1Hz信号セグメント)を表す。一実施態様では、次に、HRV信号の二分セグメントは、特徴抽出の前に、アップサンプリングされる。更に具体的には、セグメントのRR間隔値において見られるばらつきを式としてモデル化するために、(三次スプライン補間(cubic spline interpolation)のような)曲線当てはめ技法を採用する。次いで、その結果得られた式をサンプリングする。一変形では、120RR間隔が式によって表される場合、従来の方法を使用して、840個のサンプルが得られる。これは、元のHRVセグメントの7倍のアップサンプリングを表す。このアップサンプリング(即ち、1Hzから7Hzへ)が実行されるのは、7Hzの信号セグメントが、次に説明する特徴抽出方法と相性が良い(operate well with)ことが発見されたからである。
[0039] 一実施態様では、前述の既定長HRV信号セグメントは、各セグメント間に既定のオフセット時間が生ずるように、ローリング・ウィンドウに基づいてHRV信号から取り出される。例えば、2分長のセグメントの場合、オフセットは、0より長く2分よりも短い任意の時間期間にすることができる。一変形では、データーの50%が直前のセグメントと共通となり、50%が新たなデーターとなるように、1分のオフセットが採用される。
[0040] 前述の1組の特徴は、アップサンプリングしたHRV信号の各連続セグメントから抽出される。一実施態様では、この特徴抽出は、一般に、離散高速フーリエ変換(DFFT)、および1組の次数3のSymletマザー・ウェーブを採用する離散ウェーブレット変換(DWT)の使用を伴う。結果的に得られる周波数変換HRV信号セグメントから多くの特性を導き出すことができるが、低周波数(LF)成分のパワーの高周波数(HF)成分のパワーに対する比率が、特に、覚醒と眠気との間の遷移を示すことが分かっている。したがって、一実施態様では、このLF対HFパワー比を、前述の抽出特徴の1つとして選択する。
[0041] DWTに関して、一実施態様では、HRVセグメントの8レベル分解を実行する。各レベルにおいて、分解されたセグメントとSymletマザー・ウェーブとの間の差のエントロピーを、従来の方法で計算して、一連の上限Dエントロピー係数(即ち、D、...、D)と、一連の下限Aエントロピー係数(即ち、A、...、A)とを求める。また、これらの係数の種々の平均も計算し、他の組み合わせの中でもとりわけ、抽出特徴として採用することができる。しかしながら、DWT係数および組み合わせの内いくつかの方が、他のものよりも、覚醒と眠気との間の遷移を明確に示すことが分かっている。例えば、以下のDWT係数は他のものよりも遷移を明確に示すことが分かっている。
a)DからDまでのエントロピー係数、
b)Aエントロピー係数
c)AからAまでのエントロピー係数の平均。
[0042] したがって、HRVセグメントのDFFTおよびDWT分析を使用して抽出することができる多くの係数から、以上で説明した11個の係数(即ち、LF/HFパワー比、DからDまでのエントロピー、Aエントロピー、AからAまでのエントロピーの平均)が、覚醒と眠気との間の遷移の特定的な指示を与えることが分かった。
1.3 クラシファイアの訓練
[0043] 図5は、眠気開始検出クラシファイアを訓練するときに使用されるシステム・フレームワークの例示的な実施形態を、簡略化した形態で示す。一方、眠気開始検出クラシファイアは、個人における眠気の開始を検出するために使用することができる。図5に例示するように、システム・フレームワーク500は、1つ以上のコンピューティング・デバイスによって実行可能なサブプログラムを有する眠気開始検出訓練コンピューター・プログラム502を含む。これらのサブプログラムは、受信サブプログラム504と、複数の個人(I、I、...、I)の各々に関連するHR情報のために、抽出サブプログラム506および組み合わせサブプログラム508とを含む。加えて、個人(I、I、...、I)毎に組み合わせサブプログラムの出力を使用して訓練される訓練サブプログラム510がある。1つ以上の心拍数センサーによって複数の個人のために出力されたHR情報512、およびこれらの個人の各々について、その個人が覚醒状態にあるかまたは眠気状態にあるか特定する眠気指標514が、受信サブプログラム504に入力される。訓練された眠気開始検出クラシファイア516が、訓練サブプログラム510から出力される。これらのサブプログラムの各々は、以下に続く例示的な動作環境の章において更に詳しく説明するもののような、1つ以上のコンピューティング・デバイス上で実現される。尚、複数のコンピューティング・デバイスがあるときはいつでも、これらは(インターネットまたは企業固有のイントラネットのような)コンピューター・ネットワークを通じて互いに通信状態にあることを注記しておく。
[0044] これより図6を参照すると、前述の1つ以上のコンピューティング・デバイスは、眠気開始検出器訓練コンピューター・プログラムの前述のサブプログラムによって、 一連のプロセス・アクションを遂行するように指令される。更に具体的には、複数の個人について1つ以上の心拍数センサーによって出力されたHR情報、およびこれらの個人の各々について、HR情報が取り込まれた時点において、その個人が覚醒状態にあるかまたは眠気状態にあるか指定する眠気指標を、受信サブプログラムによって受信する(プロセス・アクション600)。一実施態様では、眠気指標は、人が覚醒状態にあるかまたは眠気状態(即ち、N1 NREM睡眠)にあるか識別する、先に説明した脳波検査法を使用して取り込まれたEEG信号から導き出される。更に、取り込まれたHR情報、および関連する眠気指標は、個人が覚醒状態から眠気状態に遷移していた時間に対応する。
[0045] 前述の個人の内、未だ選択されていない個人に関連するHR情報を次に選択する(プロセス・アクション602)。抽出サブプログラムを使用して、選択したHR情報から1組の特徴を抽出する(プロセス・アクション604)。これらの特徴は、HR情報から抽出することができる多くの特徴の中でもとりわけ、個人の覚醒状態から個人の眠気状態への遷移を特定的に示すと判断されたものである。次いで、組み合わせサブプログラムを使用して、抽出した特徴を組み合わせて、眠気検出入力を生成する(プロセス・アクション606)。次に、未だ選択および処理されていない個人に関連するHR情報があるか否か判定する(プロセス・アクション608)。ある場合、プロセス・アクション602から608までを繰り返す。全ての個人に関連するHR情報が選択および処理されたとき、訓練サブプログラムは、次に、複数の個人の各々に関連する眠気検出入力および眠気指標を使用して、個人の覚醒状態と個人の眠気状態との間で区別するように、人工ニューラル・ネットワーク(ANN)クラシファイアを訓練する(プロセス・アクション610)。この訓練は、従来のANN訓練方法を使用して行われる。
2.0 例示的な動作環境
[0046] 本明細書において説明する眠気開始検出の実施態様は、多数の種類の汎用または特殊目的コンピューティング・システム環境もしくは構成を使用して動作可能である。図7は、本明細書において説明したような、眠気開始検出の種々の態様およびエレメントを実現することができる汎用コンピューター・システムの簡略例を示す。尚、図7に示す簡略化コンピューティング・デバイス10において破線または点線で表されたボックスはいずれも、簡略化コンピューティング・デバイスの代替実施態様を表すことを注記しておく。以下で説明するように、これらの代替実施態様の内任意のものまたは全ては、本文書全体を通じて説明した他の代替実施態様と組み合わせて使用することもできる。通例、簡略化コンピューティング・デバイス10は、パーソナル・コンピューター(PC)、サーバー・コンピューター、ハンドヘルド・コンピューティング・デバイス、ラップトップまたは移動体コンピューター、携帯電話またはパーソナル・ディジタル・アシスタント(PDA)のような通信デバイス、マルチプロセッサー・システム、マイクロプロセッサー・ベースのシステム、セット・トップ・ボックス、プログラマブル消費者電子機器、ネットワークPC、ミニコンピューター、メインフレーム・コンピューター、ならびにオーディオまたはビデオ・メディア・プレーヤーのような、少なくとも何らかの最小限の計算能力を有するデバイスにおいて見られる。
[0047] 本明細書において説明した眠気開始検出の実施態様を実現するためには、デバイスは、基本的な計算処理を可能にするための十分な計算能力およびシステム・メモリーを有していなければならない。具体的には、図7に示す簡略化コンピューティング・デバイス10の計算能力は、概略的に、1つ以上の処理ユニット12によって例示され、更に1つ以上のグラフィクス処理ユニット(GPU)14も含むことができ、これらのいずれかまたは双方はシステム・メモリー16と通信する。尚、簡略化コンピューティング・デバイス10の処理ユニット(1つまたは複数)12は、(ディジタル信号プロセッサー(DSP)、超長命令ワード(VLIM:very long instruction word)プロセッサー、フィールド・プログラマブル・ゲート・アレイ(FPGA)、またはその他のマイクロコントローラーのような)特殊マイクロプロセッサーであってもよく、あるいは1つ以上の処理コアを有する従来の中央処理ユニット(CPU)でも可能であることを注記しておく。
[0048] 加えて、簡略化コンピューティング・デバイス10は、例えば、通信インターフェース18のような、他のコンポーネントも含むこともできる。また、簡略化コンピューティング・デバイス10は、1つ以上の従来のコンピューター入力デバイス20(例えば、タッチスクリーン、タッチ感応面、ポインティング・デバイス、キーボード、オーディオ入力デバイス、音声または発話ベースの入力および制御デバイス、ビデオ入力デバイス、触覚入力デバイス、有線またはワイヤレス・データー送信の受信デバイス等)、またはこのようなデバイスの任意の組み合わせも含むことができる。
[0049] 同様に、簡略化コンピューティング・デバイス10との種々の相互作用、およびウェアラブル検知(wearable sensing)の任意の他のコンポーネントまたは機能(feature)との種々の相互作用は、眠気開始検出に関連する1人以上のユーザーあるいはその他のデバイスまたはシステムに対する入力、出力、制御、フィードバック、および応答を含み、種々の自然ユーザー・インターフェース(NUI)のシナリオによって有効化される(enabled)。NUI技法およびシナリオは、マウス、キーボード、リモコン(remote controls)等のような入力デバイスによって強いられる人工的な制約から解放され、「自然な」方法で1人以上のユーザー(one or more users user)がデバイスと対話処理することを可能にするあらゆるインターフェース技術を含むが、これらに限定されるのではない。
[0050] このようなNUIの実施態様は、マイクロフォンまたはその他のセンサーによって取り込まれるユーザーの音声または発声から導き出されたNUI情報を使用することを含むがこれに限定されない種々の技法の使用によって可能になる。また、このようなNUIの実施態様は、ユーザーの顔の表情から導き出される情報、ならびにユーザーの手、指、手首、腕、足、胴体、頭部、眼球等の位置、動き、または向きから導き出される情報を含むがこれらに限定されない種々の技法の使用によっても可能になる。このような情報は、 立体視または飛行時間カメラ・システム、赤外線カメラ・システム、RGB(赤、緑、青)カメラ・システム等、またはこのようなデバイスの任意の組み合わせのような、種々の型式の2Dまたは深度撮像デバイスを使用して取り込むことができる。このようなNUIの実施態様の更に他の例には、タッチおよびスタイラス認識、ジェスチャ認識(画面上でおよび画面または表示面に隣接しての双方)、エア・ジェスチャまたは接触に基づくジェスチャ、ユーザーのタッチ(種々の表面、物体、または他のユーザー上における)、ホバリングに基づく入力またはアクション等から導き出されるNUI情報が含まれるが、これらに限定されるのではない。また、このようなNUIの実施態様には、現在または過去のユーザーの行動、入力、アクション等を、単独でまたは他のNUI情報と組み合わせて評価し、ユーザーの意図、望み、および/または目標というような情報を予測する種々の予測マシン・インテリジェンス・プロセスの使用も含むことができるが、これらに限定されるのではない。NUIベース情報の種類や発生源には関係なく、このような情報は、次に、本明細書において説明した眠気開始検出の実施態様の1つ以上の入力、出力、アクション、または機能的特徴(functional features)を開始する、終了する、あるいはそれ以外では制御するまたは相互作用するために使用することができる。
[0051] しかしながら、以上で述べた例示的なNUIのシナリオは、更に、人工的制約または追加の信号の使用を、NUI入力の任意の組み合わせと組み合わせることによって拡張できることは、理解されてしかるべきである。このような人工的な制約または追加の信号は、マウス、キーボード、およびリモコンのような入力デバイスによって、あるいは加速度計、ユーザーの筋肉によって生成される電気信号を表す筋電性信号を受け取る筋電図(EMG)センサー、心拍数モニター、ユーザーの発汗を測定する皮膚電気導通センサー(galvanic skin conduction sensor)、ユーザーの脳活動または電界を測定するまたはそうでなければ検知するウェアラブルまたはリモート・バイオセンサー、ユーザーの体温変化または体温差(differentials)を測定するウェアラブルまたはリモート・バイオセンサー等のような、種々のリモートまたはユーザー装着デバイスによって、強制または生成することもできる。これらの型式の人工的制約または追加の信号から導き出されるこのような情報はいずれも、任意の1つ以上のNUI入力と組み合わせて、本明細書において説明した眠気開始検出の実施態様の1つ以上の入力、出力、アクション、または機能的特徴(functional features)を開始する、終了する、あるいはそれ以外では制御するまたは相互作用することができる。
[0052] また、簡略化コンピューティング・デバイス10は、1つ以上の従来のコンピューター出力デバイス22(例えば、ディスプレイ・デバイス(1つまたは複数)24、オーディオ出力デバイス、ビデオ出力デバイス、有線またはワイヤレス・データー送信(data transmission)を送信するデバイス等)のような、その他の任意選択のコンポーネントも含むことができる。尚、汎用コンピューター用の典型的な通信インターフェース18、入力デバイス20、出力デバイス22、および記憶デバイス26は、当業者には周知であり、ここでは詳しく説明しないことを注記しておく。
[0053] また、図7に示す簡略化コンピューティング・デバイス10は、種々のコンピューター読み取り可能媒体も含むことができる。コンピューター読み取り可能媒体は、記憶デバイス26を介してコンピューター10によってアクセスすることができる任意の入手可能な媒体とすることができ、コンピューター読み取り可能またはコンピューター実行可能命令、データー構造、プログラム、サブプログラム、あるいはその他のデーターというような情報の格納のために、リムーバブル28および/または非リムーバブル30のいずれかである、揮発性および不揮発性双方の媒体を含むことができる。コンピューター読み取り可能媒体は、コンピューター記憶媒体および通信媒体を含む。コンピューター記憶媒体とは、ディジタル・バーサタイル・ディスク(DVD)、ブルーレイ・ディスク(BD)、コンパクト・ディスク(CD)、フロッピー・ディスク、テープ・ドライブ、ハード・ドライブ、光ドライブ、ソリッド・ステート・メモリー・デバイス、ランダム・アクセス・メモリー(RAM)、リード・オンリー・メモリー(ROM)、電気的消去可能プログラマブル・リード・オンリー・メモリー(EEPROM)、CD-ROMまたはその他の光ディスク・ストレージ、スマート・カード、フラッシュ・メモリー(例えば、カード、スティック、キー・ドライブ)、磁気カセット、磁気テープ、磁気ディスク・ストレージ、磁気ストリップ、あるいはその他の磁気記憶デバイスのような、有形コンピューター読み取り可能媒体またはマシン読み取り可能媒体あるいは記憶デバイスを指す。更に、伝搬信号は、コンピューター読み取り可能記憶媒体の範囲には含まれない。
[0054] また、コンピューター読み取り可能またはコンピューター実行可能命令、データー構造、プログラム、サブプログラム等のような情報の保持も、1つ以上の変調データー信号または搬送波をエンコードする種々の前述の通信媒体(コンピューター記憶媒体ではなく)、あるいはその他の移送メカニズムまたは通信プロトコルの内任意のものを使用することによって、遂行することができ、更に任意の有線またはワイヤレス情報配信メカニズムを含むことができる。尚、「変調データー信号」または「搬送波」という用語は、一般に、その信号内に情報をエンコードするような方法でその特性の1つ以上が設定または変更された信号を指す。例えば、通信媒体は、1つ以上の変調データー信号を搬送する有線ネットワークまたは直接配線接続のような有線媒体と、音響、無線周波数(RF)、赤外線、レーザー、ならびに1つ以上の変調データー信号または搬送波を送信および/または受信するその他のワイヤレス媒体のようなワイヤレス媒体とを含むことができる。
[0055] 更に、本明細書において説明した種々の眠気開始検出の実施態様の一部または全部、あるいはその部分を具体化するソフトウェア、プログラム、および/またはコンピューター・プログラム製品は、コンピューター実行可能命令またはその他のデーター構造の形態で、格納する、受信する、送信する、あるいはコンピューター読み取り可能媒体またはマシン読み取り可能媒体あるいは記憶デバイスと通信媒体との任意の所望の組み合わせから読み取ることができる。加えて、特許請求する主題は、開示した主題を実現するようにコンピューターを制御するためのソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせを生産するための標準的なプログラミングおよび/または設計技法を使用して、方法、装置、または製品として実現することができる。「製品」(article of manufacture)という用語は、本明細書で使用する場合、任意のコンピューター読み取り可能デバイスからアクセス可能なコンピューター・プログラム、または媒体を包含することを意図している。
[0056] 本明細書において説明した眠気開始検出の実施態様について、更に、コンピューティング・デバイスによって実行される、プログラムのような、コンピューター実行可能命令という一般的なコンテキストで説明することもできる。一般に、プログラムは、ルーチン、プログラム、オブジェクト、コンポーネント、データー構造等を含み、特定のタスクを実行するかまたは特定の抽象データー型を実装する。また、本明細書において説明した眠気開始検出の実施態様は、分散型コンピューティング環境においても実用化することができ、この場合、1つ以上の通信ネットワークを通じてリンクされた1つ以上のリモート処理デバイスによって、または1つ以上のデバイスを含むクラウド内において、タスクが実行される。分散型コンピューティング環境では、プログラムは、メディア記憶デバイスを含むローカルおよびリモート双方のコンピューター記憶媒体に配置することができる。加えて、前述の命令は、部分的にまたは全体的に、ハードウェア・ロジック回路によって実装することもでき、ハードウェア・ロジック回路はプロセッサーを含んでもまたは含まなくてもよい。
[0057] あるいは、または加えて、本明細書において説明した機能は、少なくとも部分的に、1つ以上のハードウェア・ロジック・コンポーネントによって実行することができる。例えば、そして限定ではなく、使用することができるハードウェア・ロジック・コンポーネントの例示的な種類には、フィールド・プログラマブル・ゲート・アレイ(FPGA)、特定用途集積回路(ASIC)、特定アプリケーション標準製品(ASSP)、システム・オン・チップ・システム(SOC)、複合プログラマブル・ロジック・デバイス(CPLD)等が含まれる。
3.0 他の実施態様
[0058] 尚、以上の説明全体にわたって述べた実施態様の内任意のものまたは全ては、追加の混合実施態様を形成するために望まれる任意の組み合わせで使用されてもよいことを注記しておく。加えて、構造的特徴および/または方法論的アクトに特定的な文言で主題について説明したが、添付した特許請求の範囲において定められる主題は、必ずしも、以上で説明した特定的な特徴やアクトには限定されないことは理解されてしかるべきである。逆に、以上で説明した特定的な特徴およびアクトは、特許請求の範囲を実現する形態例として開示されたまでである。
[0059] 以上で説明したことには、実施態様例が含まれる。勿論、特許請求する主題を説明する目的のためにコンポーネントまたは方法論(methodologies)の着想可能なあらゆる組み合わせを記載することは不可能であるが、多くの他の組み合わせや置換(permutations)も可能であることは、当業者には認めることができよう。したがって、特許請求する主題は、添付した請求項の主旨および範囲に該当するような改変、変更、および変形の全てを包含することを意図している。
[0060] 以上で説明したコンポーネント、デバイス、回路、システム等によって実行される種々の機能に関して、このようなコンポーネントを説明するために使用される用語(「手段」に言及する場合を含む)は、別段指示されていないならば、説明したコンポーネントの指定された機能(例えば、機能的均等物)を実行する任意のコンポーネントに対応することを意図しており、これらのコンポーネントは、開示した構造と構造的に均等でなくても、本明細書に示した特許請求する主題の例示的な態様においてその機能を実行する。また、これに関して、以上の実施態様は、システムだけでなく、特許請求する主題の種々の方法のアクトおよび/またはイベントを実行するためのコンピューター実行可能命令を有するコンピューター読み取り可能記憶媒体も含むことも認められよう。
[0061] 以上の実施態様を実現する方法は複数あり(該当するアプリケーション・プログラミング・インターフェース(API)、ツール・キット、ドライバー・コード、オペレーティング・システム、制御手段、単独のまたはダウンロード可能なソフトウェア・オブジェクト等のように)、これらはアプリケーションおよびサービスが、本明細書において説明した実施態様を使用することを可能にする。特許請求する主題は、API(または他のソフトウェア・オブジェクト)の観点から、更には本明細書において明記した実施態様にしたがって動作するソフトウェアまたはハードウェア・オブジェクトの観点からもこの使用を想定する(contemplate)。つまり、本明細書において説明した種々の実施態様は、全体的にハードウェア、部分的にハードウェアであり部分的にソフトウェア、および全体的にソフトウェアである態様を有することができる。
[0062] 前述のシステムでは、様々なコンポーネント間における相互作用に関して説明した。尚、このようなシステムおよびコンポーネントは、それらのコンポーネントまたは指定されたサブコンポーネント、指定されたコンポーネントまたはサブコンポーネントの一部、および/または追加のコンポーネントを、前述したものの種々の置換(permutation)および組み合わせにしたがって、含むことができることを認められよう。また、サブコンポーネントは、親コンポーネント内に含まれる(例えば、階層的コンポーネント)代わりに、他のコンポーネントに通信可能に結合されるコンポーネントとして実現することもできる。
[0063] 加えて、1つ以上のコンポーネントを組み合わせて1つのコンポーネントにして総合的な機能を設けることができ、または数個の別個のサブコンポーネントに分割することもでき、そして統合機能を得るためにこのようなサブコンポーネントに通信可能に結合する、管理レイヤーのようないずれの1つ以上の中間レイヤーが設けられてもよいことも注記しておく。本明細書において説明したコンポーネントはいずれも、本明細書では具体的に説明しなかったが当業者には一般的に知られている1つ以上の他のコンポーネントと相互作用することもできる。
4.0 請求項の裏付けおよび更に他の実施態様
[0064] 以下の節では、本文書において特許請求することができる実施態様の種々の例について、その概要を説明する。しかしながら、以下で概要を説明する実施態様は、以上の説明に鑑みて特許請求することができる主題を限定することを意図するのではないことは、理解されてしかるべきである。更に、以下で概要を説明する実施態様の内任意のものまたは全ては、以上の説明全体にわたって説明した実施態様および図の1つ以上において例示した任意の実施態様の内一部または全部、ならびに以下で説明する任意の他の実施態様との任意の所望の組み合わせで特許請求することもできる。加えて、以下の実施態様は、以上の説明および本文書全体にわたって説明した図に鑑みて理解されることを意図することは注記してしかるべきである。
[0065] 一実施態様では、個人における眠気の開始を検出するためにシステムを採用する。このシステムは、個人のHR情報を取り込む1つ以上の心拍数(HR)センサーと、1つ以上のコンピューティング・デバイスとを含む。コンピューティング・デバイスは、複数のコンピューティング・デバイスがあるときにはいつでも、コンピューター・ネットワークを通じて互いに通信する。また、このシステムは、1つ以上のコンピューティング・デバイスによって実行可能な複数のサブプログラムを有する眠気開始検出コンピューター・プログラムも含む。1つ以上のコンピューティング・デバイスは、眠気開始検出コンピューター・プログラムのサブプログラムによって、HR情報を1つまたは複数の心拍数センサーから受信し、(HR情報から抽出することができる多くの特徴の中でもとりわけ)個人の覚醒状態から個人の眠気状態への遷移を特定的に示すと判定されている1組の特徴を、HR情報から抽出し、抽出した特徴を組み合わせて、眠気検出入力を生成し、この眠気検出入力を、個人の覚醒状態と個人の眠気状態との間で、抽出した特徴に基づいて区別するように既に訓練されている人工ニューラル・ネットワーク(ANN)クラシファイアに入力し、ANNクラシファイアの出力から、眠気検出入力が、個人が眠気の開始を呈していることを示すか否か識別し、眠気検出入力が、個人が眠気の開始を呈していることを示すときはいつでも、眠気開始警告を発生するように指令される。
[0066] このシステムの一実施態様では、HR情報が1つ以上のHRセンサーによって取り込まれた生のHR信号を含む場合、HR情報から1組の特徴を抽出するサブプログラムは、最初に、生のHR信号から心拍数変動(HRV)信号を計算するステップを含む。このシステムの他の実施態様では、1つ以上のHRセンサーがコンピューティング・デバイスを含み、このコンピューティング・デバイスが、1つ以上のHRセンサーによって取り込まれた生のHR信号から、心拍数変動(HRV)信号を計算する。前述のHR情報は、このHRV信号を含む。更に他の実施態様では、1つ以上の心拍数(HR)センサーおよび1つ以上のコンピューティング・デバイスが、統一眠気開始検出デバイスに内在する。この実施態様の一変形では、眠気開始検出デバイスは、個人の人(person of the individual)上に装着されるウェアラブル・デバイス、または個人によって携行される移動体デバイスのいずれかである。更に他の実施態様では、1つ以上の心拍数(HR)センサーが個人の人上に装着されるウェアラブル・デバイスに内在し、1つ以上のコンピューティング・デバイスが、個人によって携行される移動体デバイスに内在し、ウェアラブル・デバイスは移動体デバイスとワイヤレス通信する。この実施態様の一変形では、HR情報は、1つ以上のHRセンサーによって取り込まれた生のHR信号を含み、この生のHR信号は、個人によって携行される移動体デバイスに送信される。他の変形では、HR情報は、1つ以上のHRセンサーによって取り込まれた生のHR信号を含み、1つ以上のHRセンサーは、生のHR信号から心拍数変動(HRV)信号を計算するコンピューティング・デバイスを含み、HRV信号は、個人によって携行される移動体デバイスに送信される。
[0067] このシステムの一実施態様は、更に、HR情報から1組の特徴を抽出するサブプログラムの実行前に実行されるセグメント化サブプログラムを含む。このセグメント化サブプログラムは、受信したHR情報が心拍数変動(HRV)信号の形態であるときはいつでも、1つまたは複数の心拍数センサーから受信したHR情報を、既定長のセグメントのシーケンスにセグメント化する。加えて、セグメント化サブプログラムは、受信したHR情報が心拍数変動(HRV)信号の形態でないときにはいつでも、HRV信号を既定長のセグメントのシーケンスにセグメント化する前に、受信したHR情報からHRV信号を計算する。HR情報から1組の特徴を抽出するサブプログラム、抽出した特徴を組み合わせるサブプログラム、眠気検出入力をANNクラシファイアに入力するサブプログラム、ANNクラシファイアの出力から、眠気検出入力が、個人が眠気の開始を呈していることを示す可否か識別するサブプログラム、および眠気検出入力が、個人が眠気の開始を呈していることを示すときはいつでも、眠気開始警告を発生するサブプログラムは、HRV信号セグメントが形成されるにつれて、その各々について実行される。一変形では、HRV信号のこれらの既定長セグメントは、各々、長さが2分であり、各セグメント間に既定のオフセット時間があるようなローリング・ウィンドウ(rolling window)を表す。一つの異形(variant)では、2分長のHRV信号セグメントは、各々、約120の心拍数変動値を表し、セグメント化サブプログラムは、更に、曲線当てはめ技法を使用して、各HRV信号セグメントを、約840サンプルの心拍数変動値にアップサンプリングするステップを含む。他の変形では、各HRV信号セグメントから1組の特徴を抽出するサブプログラムは、離散高速フーリエ変換(DFFT)および離散ウェーブレット変換(DWT)を使用して1組の特徴を抽出するステップを含む。1つの異形では、DFFTは、HRV信号セグメントの低周波数成分のパワーのHRV信号セグメントの高周波数(HF)成分のパワーに対する比率を、抽出される特徴として計算するために使用され、DWTは、HRVセグメントの8-レベル分解から、D~Dエントロピー係数、Aエントロピー係数、およびA~Aまでのエントロピー係数の平均を、抽出される特徴として計算するために使用される。
[0068] このシステムの一実施態様では、眠気開始警告を発生するサブプログラムは、個人によって目視可能な表示画面上に表示されるメッセージの形態で、警鐘を個人に発生するステップを含む。一変形では、このメッセージは、テキスト、または画像、または表示画面上の閃光のように見える閃滅画像、あるいは以上の任意の組み合わせを含む。他の実施態様では、眠気開始警告を発生するサブプログラムは、個人の聴取範囲内にあるスピーカーを通して再生される可聴警報の形態で、個人に警鐘を発生するステップを含む。更に他の実施態様では、眠気開始警告を発生するサブプログラムは、個人が感じることができる触覚に基づく警報の形態で、個人に警鐘を発生するステップを含む。更に他の実施態様では、眠気開始警告を発生するサブプログラムは、個人に警告することを第三者に要請するメッセージを第三者に送信するステップを含む。
[0069] 一実施態様では、個人における眠気の開始を検出するために他のシステムを採用する。このシステムは、1つ以上のコンピューティング・デバイスを含み、複数のコンピューティング・デバイスがあるときにはいつでも、これらのコンピューティング・デバイスはコンピューター・ネットワークを通じて互いに通信する。また、このシステムは、1つ以上のコンピューティング・デバイスによって実行可能な複数のサブプログラムを有する眠気開始検出コンピューター・プログラムも含む。1つ以上のコンピューティング・デバイスは、眠気開始検出コンピューター・プログラムのサブプログラムによって、個人から心拍数(HR)情報を受信するように指令され、1つ以上のコンピューティング・デバイスは、データー通信ネットワークを通じて、HR情報を取り込む1つ以上のHRセンサーに関連付けられたリモート・コンピューティング・デバイスと通信し、HR情報は、リモート・コンピューティング・デバイスから、データー通信ネットワークを通じて受信される。また、1つ以上のコンピューティング・デバイスは、眠気開始検出コンピューター・プログラムのサブプログラムによって、(HR情報から抽出することができる多くの特徴の中でもとりわけ)個人の覚醒状態から個人の眠気状態への遷移を特定的に示すと判定されている1組の特徴を、HR情報から抽出し、抽出した特徴を組み合わせて、眠気検出入力を生成し、この眠気検出入力を、個人の覚醒状態と個人の眠気状態との間で、抽出した特徴に基づいて区別するように既に訓練されている人工ニューラル・ネットワーク(ANN)クラシファイアに入力し、ANNクラシファイアの出力から、眠気検出入力が、個人が眠気の開始を呈していることを示すか否か識別し、眠気検出入力が、個人が眠気の開始を呈していることを示すときはいつでも、眠気開始通知を送信するように指令される。
[0070] 一実施態様では、眠気開始検出クラシファイアを訓練するために、他のシステムを採用する。このシステムは、1つ以上のコンピューティング・デバイスを含み、複数のコンピューティング・デバイスがあるときにはいつでも、これらのコンピューティング・デバイスはコンピューター・ネットワークを通じて互いに通信する。また、このシステムは、1つ以上のコンピューティング・デバイスによって実行可能な複数のサブプログラムを有する眠気開始検出訓練コンピューター・プログラムも含む。1つ以上のコンピューティング・デバイスは、眠気開始検出訓練コンピューター・プログラムのサブプログラムによって、複数の個人について1つ以上の心拍数センサーによって出力されたHR情報と、個人の各々について、HR情報が取り込まれた時点において、その個人が覚醒状態にあるのかまたは眠気状態にあるのか特定する眠気指標を受信するように指令される。複数の個人の各々に関連するHR情報にについて、(HR情報から抽出することができる多くの特徴の中でもとりわけ)個人の覚醒状態から個人の眠気状態への遷移を特定的に示すと判定されている1組の特徴を、HR情報から抽出し、抽出した特徴を組み合わせて、眠気検出入力を生成する。眠気検出入力と、複数の個人の各々に関連する眠気指標とを使用して、個人の覚醒状態と個人の眠気状態との間で区別するように、人工ニューラル・ネットワーク(ANN)クラシファイアを訓練する。
[0071] 一実施態様では、個人における眠気の開始を検出するために、コンピューター実装プロセスを採用する。このプロセスは、コンピューティング・デバイスを使用して以下のプロセス・アクションを実行することを含む。HR情報を1つまたは複数の心拍数センサーから受信するプロセス・アクション、(HR情報から抽出することができる多くの特徴の中でもとりわけ)個人の覚醒状態から個人の眠気状態への遷移を特定的に示すと判定されている1組の特徴を、HR情報から抽出するプロセス・アクション、抽出した特徴を組み合わせて、眠気検出入力を生成するプロセス・アクション、この眠気検出入力を、個人の覚醒状態と個人の眠気状態との間で、抽出した特徴に基づいて区別するように既に訓練されている人工ニューラル・ネットワーク(ANN)クラシファイアに入力するプロセス・アクション、ANNクラシファイアの出力から、眠気検出入力が、個人が眠気の開始を呈していることを示すか否か識別するプロセス・アクション、および眠気検出入力が、個人が眠気の開始を呈していることを示すときはいつでも、眠気開始警告を発生するプロセス・アクション。
[0072] 他の実施態様では、個人における眠気の開始を検出するために、コンピューター実装プロセスを採用する。このプロセスは、コンピューティング・デバイスを使用して以下のプロセス・アクションを実行することを含む。個人の心拍数(HR)情報を受信するプロセス・アクション。ここで、1つ以上のコンピューティング・デバイスが、HR情報を取り込む1つ以上のHRセンサーに関連付けられたリモート・コンピューティング・デバイスと、データー通信ネットワークを通じて通信し、HR情報がデーター通信ネットワークを通じてリモート・コンピューティング・デバイスから受信される。また、次のプロセス・アクションも含まれる。(HR情報から抽出することができる多くの特徴の中でもとりわけ)個人の覚醒状態から個人の眠気状態への遷移を特定的に示すと判定されている1組の特徴を、HR情報から抽出するプロセス・アクション、抽出した特徴を組み合わせて、眠気検出入力を生成するプロセス・アクション、この眠気検出入力を、個人の覚醒状態と個人の眠気状態との間で、抽出した特徴に基づいて区別するように既に訓練されている人工ニューラル・ネットワーク(ANN)クラシファイアに入力するプロセス・アクション、ANNクラシファイアの出力から、眠気検出入力が、個人が眠気の開始を呈していることを示すか否か識別するプロセス・アクション、および眠気検出入力が、個人が眠気の開始を呈していることを示すときはいつでも、眠気開始通知を送信するプロセス・アクション。
[0073] 他の実施態様では、眠気開始検出クラシファイアを訓練するためにコンピューター実装プロセスを採用する。このプロセスは、コンピューティング・デバイスを使用して以下のプロセス・アクションを実行することを含む。複数の個人について1つ以上の心拍数センサーによって出力されたHR情報と、個人の各々について、HR情報が取り込まれた時点において、その個人が覚醒状態にあるのかまたは眠気状態にあるのか特定する眠気指標とを受信するプロセス・アクション。複数の個人の各々に関連するHR情報について、(HR情報から抽出することができる多くの特徴の中でもとりわけ)個人の覚醒状態から個人の眠気状態への遷移を特定的に示すと判定されている1組の特徴を、HR情報から抽出するプロセス・アクション、および抽出した特徴を組み合わせて、眠気検出入力を生成するプロセス・アクション。次いで、眠気検出入力と、複数の個人の各々に関連する眠気指標とを使用して、個人の覚醒状態と個人の眠気状態との間で区別するように、人工ニューラル・ネットワーク(ANN)クラシファイアを訓練する。
[0074] 一実施態様では、個人における眠気の開始を検出するプロセスは、コンピューティング・デバイスを使用して以下のプロセス・ステップを実行することを含む。1つまたは複数の心拍数センサーからHR情報を受信する受信ステップ、(HR情報から抽出することができる多くの特徴の中でもとりわけ)個人の覚醒状態から個人の眠気状態への遷移を特定的に示すと判定されている1組の特徴を、HR情報から抽出する抽出ステップ、抽出した特徴を組み合わせて、眠気検出入力を生成する組み合わせステップ、この眠気検出入力を、個人の覚醒状態と個人の眠気状態との間で、抽出した特徴に基づいて区別するように既に訓練されている人工ニューラル・ネットワーク(ANN)クラシファイアに入力する入力ステップ、ANNクラシファイアの出力から、眠気検出入力が、個人が眠気の開始を呈していることを示すか否か識別する識別ステップ、および眠気検出入力が、個人が眠気の開始を呈していることを示すときはいつでも、眠気開始警告を発生する発生ステップを実行する。
[0075] 他の一実施態様では、個人における眠気の開始を検出するプロセスは、コンピューティング・デバイスを使用して以下のプロセス・ステップを実行することを含む。個人の心拍数(HR)情報を受信する受信ステップ。ここで、1つ以上のコンピューティング・デバイスが、HR情報を取り込む1つ以上のHRセンサーに関連付けられたリモート・コンピューティング・デバイスと、データー通信ネットワークを通じて通信し、HR情報は、データー通信ネットワークを通じてリモート・コンピューティング・デバイスから受信される。更に、プロセス・アクションは、(HR情報から抽出することができる多くの特徴の中でもとりわけ)個人の覚醒状態から個人の眠気状態への遷移を特定的に示すと判定されている1組の特徴を、HR情報から抽出する抽出ステップ、抽出した特徴を組み合わせて、眠気検出入力を生成するプ組み合わせステップ、この眠気検出入力を、個人の覚醒状態と個人の眠気状態との間で、抽出した特徴に基づいて区別するように既に訓練されている人工ニューラル・ネットワーク(ANN)クラシファイアに入力する入力ステップ、ANNクラシファイアの出力から、眠気検出入力が、個人が眠気の開始を呈していることを示すか否か識別する識別ステップ、および眠気検出入力が、個人が眠気の開始を呈していることを示すときはいつでも、眠気開始通知を送信する送信ステップを実行する。
[0076] 他の一実施態様では、眠気開始検出クラシファイアを訓練するプロセスは、コンピューティング・デバイスを使用して以下のプロセス・ステップを実行することを含む。複数の個人について1つ以上の心拍数センサーによって出力されたHR情報と、個人の各々について、HR情報が取り込まれた時点において、その個人が覚醒状態にあるのかまたは眠気状態にあるのか指定する眠気指標とを受信する受信ステップ。複数の個人の各々に関連するHR情報について、(HR情報から抽出することができる多くの特徴の中でもとりわけ)個人の覚醒状態から個人の眠気状態への遷移を特定的に示すと判定されている1組の特徴を、HR情報から抽出する抽出ステップ、および抽出した特徴を組み合わせて、眠気検出入力を生成する組み合わせステップを実行する。次いで、眠気検出入力と、複数の個人の各々に関連する眠気指標とを使用して、個人の覚醒状態と個人の眠気状態との間で区別するように、人工ニューラル・ネットワーク(ANN)クラシファイアを訓練する訓練ステップを実行する。

Claims (15)

  1. 個人における眠気の開始を検出するシステムであって、
    前記個人のHR情報を取り込む1つ以上の心拍数(HR)センサーと、
    1つ以上のコンピューティング・デバイスであって、複数のコンピューティング・デバイスがあるときにはいつでも、互いに通信する、コンピューティング・デバイスと、
    前記1つ以上のコンピューティング・デバイスによって実行可能な複数のサブプログラムを有する眠気開始検出コンピューター・プログラムと、
    を含み、
    前記1つ以上のコンピューティング・デバイスが、前記眠気開始検出コンピューター・プログラムのサブプログラムによって、
    HR情報を1つまたは複数の心拍数センサーから受信し、
    前記HR情報から1組の特徴を抽出し、前記特徴が、HR情報から抽出することができる多くの特徴の中でもとりわけ、個人の覚醒状態から個人の眠気状態への遷移を特定的に示すと判定されており、
    前記抽出した特徴を組み合わせて、眠気検出入力を生成し、
    個人の覚醒状態と個人の眠気状態との間で、抽出した特徴に基づいて区別するように既に訓練されている人工ニューラル・ネットワーク(ANN)クラシファイアに、前記眠気検出入力を入力し、
    前記ANNクラシファイアの出力から、前記眠気検出入力が、前記個人が眠気の開始を呈していることを示すか否か識別し、
    前記眠気検出入力が、前記個人が眠気の開始を呈していることを示すときはいつでも、眠気開始警告を発生するように指令され、
    前記眠気開始検出コンピューター・プログラムは、前記HR情報から前記1組の特徴を抽出する前記サブプログラムの実行前に実行されるセグメント化サブプログラムを更に含み、前記セグメント化サブプログラムは、受信したHR情報が心拍数変動(HRV)信号の形態であるときはいつでも、前記1つまたは複数の心拍数センサーから受信したHR情報を、既定長のセグメントのシーケンスにセグメント化し、前記セグメント化サブプログラムは、前記受信したHR情報が心拍数変動(HRV)信号の形態でないときにはいつでも、前記HRV信号を既定長のセグメントのシーケンスにセグメント化する前に、前記受信したHR情報からHRV信号を計算し、
    前記HRV信号の既定長セグメントは、各セグメント間に既定のオフセット時間があるように、ローリング・ウィンドウを表し、前記既定のオフセット時間は、各既定長セグメントが隣の既定長セグメントと部分的に重なり合うように、前記既定長セグメントの長さよりも短い、システム。
  2. 請求項1記載のシステムであって、
    前記HR情報から1組の特徴を抽出する前記サブプログラム、前記抽出した特徴を組み合わせる前記サブプログラム、前記眠気検出入力を前記ANNクラシファイアに入力する前記サブプログラム、前記ANNクラシファイアの出力から、前記眠気検出入力が、前記個人が眠気の開始を呈していることを示すか否か識別する前記サブプログラム、および前記眠気検出入力が、個人が眠気の開始を呈していることを示すときはいつでも、眠気開始警告を発生する前記サブプログラムが、前記HRV信号セグメントが形成されるに連れて、その各々について実行される、システム。
  3. 請求項2記載のシステムにおいて、前記HRV信号の既定長セグメントが、各々、長さが2分である、システム。
  4. 請求項3記載のシステムにおいて、2分長のHRV信号セグメントが、各々、120の心拍数変動値を表し、前記セグメント化サブプログラムが、更に、曲線当てはめ技法を使用して、各HRV信号セグメントを、840サンプルの心拍数変動値にアップサンプリングするステップを含む、システム。
  5. 請求項2記載のシステムにおいて、各HRV信号セグメントから前記1組の特徴を抽出する前記サブプログラムが、離散高速フーリエ変換(DFFT)および離散ウェーブレット変換(DWT)を使用して前記1組の特徴を抽出するステップを含む、システム。
  6. 請求項5記載のシステムにおいて、前記DFFTが、前記HRV信号セグメントの低周波数成分のパワーのHRV信号セグメントの高周波数(HF)成分のパワーに対する比率を、抽出される特徴として計算するために使用され、前記DWTが、HRVセグメントの8-レベル分解から、D~Dエントロピー係数、Aエントロピー係数、およびA~Aまでのエントロピー係数の平均を、抽出される特徴として計算するために使用される、システム。
  7. 請求項1記載のシステムにおいて、前記HR情報が、前記1つ以上のHRセンサーによって取り込まれた生のHR信号を含み、前記HR情報から前記1組の特徴を抽出する前記サブプログラムが、最初に、前記生のHR信号から心拍数変動(HRV)信号を計算するステップを含む、システム。
  8. 請求項1記載のシステムにおいて、前記1つ以上のHRセンサーが、当該1つ以上のHRセンサーによって取り込まれた生のHR信号から心拍数変動(HRV)信号を計算するコンピューティング・デバイスを含み、前記HR情報が前記HRV信号を含む、システム。
  9. 請求項1記載のシステムにおいて、前記1つ以上の心拍数(HR)センサーおよび前記1つ以上のコンピューティング・デバイスが、統一眠気開始検出デバイスに内在する、システム。
  10. 請求項9記載のシステムにおいて、前記眠気開始検出デバイスが、前記個人の人上に装着されるウェアラブル・デバイス、または前記個人によって携行される移動体デバイスのいずれかである、システム。
  11. 請求項1記載のシステムにおいて、前記1つ以上の心拍数(HR)センサーが、前記個人の人上に装着されるウェアラブル・デバイスに内在し、前記1つ以上のコンピューティング・デバイスが、前記個人によって携行される移動体デバイスに内在し、前記ウェアラブル・デバイスが前記移動体デバイスとワイヤレス通信する、システム。
  12. 請求項11記載のシステムにおいて、前記HR情報が、前記1つ以上のHRセンサーによって取り込まれた生のHR信号を含み、前記個人によって携行される前記移動体デバイスに送信される、システム。
  13. 請求項11記載のシステムにおいて、前記HR情報が、前記1つ以上のHRセンサーによって取り込まれた生のHR信号を含み、前記1つ以上のHRセンサーが、前記生のHR信号から心拍数変動(HRV)信号を計算するコンピューティング・デバイスを含み、前記HRV信号が、前記個人によって携行される前記移動体デバイスに送信される、システム。
  14. 請求項1記載のシステムにおいて、眠気開始警告を発生する前記サブプログラムが、前記個人によって目視可能な表示画面上に表示されるメッセージの形態で前記個人に警鐘を発生するステップを含む、システム。
  15. 個人における眠気の開始を検出するシステムであって、
    1つ以上のコンピューティング・デバイスであって、複数のコンピューティング・デバイスがあるときにはいつでも互いに通信する、コンピューティング・デバイスと、
    前記1つ以上のコンピューティング・デバイスによって実行可能な複数のサブプログラムを有する眠気開始検出コンピューター・プログラムとを含み、前記1つ以上のコンピューティング・デバイスが、前記眠気開始検出コンピューター・プログラムのサブプログラムによって、
    前記個人の心拍数(HR)情報を受信し、前記1つ以上のコンピューティング・デバイスが、前記HR情報を取り込む1つ以上のHRセンサーに関連付けられたリモート・コンピューティング・デバイスと、データー通信ネットワークを通じて通信し、前記HR情報が前記データー通信ネットワークを通じて前記リモート・コンピューティング・デバイスから受信され、
    前記HR情報から1組の特徴を抽出し、前記特徴が、HR情報から抽出することができる多くの特徴の中でもとりわけ、個人の覚醒状態から個人の眠気状態への遷移を特定的に示すと判定されており、
    抽出した特徴を組み合わせて、眠気検出入力を生成し、
    個人の覚醒状態と個人の眠気状態との間で、前記抽出した特徴に基づいて区別するように既に訓練されている人工ニューラル・ネットワーク(ANN)クラシファイアに、前記眠気検出入力を入力し、
    前記ANNクラシファイアの出力から、前記眠気検出入力が、前記個人が眠気の開始を呈していることを示すか否か識別し、
    前記眠気検出入力が、前記個人が眠気の開始を呈していることを示すときはいつでも、眠気開始通知を送信する、
    ように指令され、
    前記眠気開始検出コンピューター・プログラムは、前記HR情報から前記1組の特徴を抽出する前記サブプログラムの実行前に実行されるセグメント化サブプログラムを更に含み、前記セグメント化サブプログラムは、受信したHR情報が心拍数変動(HRV)信号の形態であるときはいつでも、前記1つまたは複数の心拍数センサーから受信したHR情報を、既定長のセグメントのシーケンスにセグメント化し、前記セグメント化サブプログラムは、前記受信したHR情報が心拍数変動(HRV)信号の形態でないときにはいつでも、前記HRV信号を既定長のセグメントのシーケンスにセグメント化する前に、前記受信したHR情報からHRV信号を計算し、
    前記HRV信号の既定長セグメントは、各セグメント間に既定のオフセット時間があるように、ローリング・ウィンドウを表し、前記既定のオフセット時間は、各既定長セグメントが隣の既定長セグメントと部分的に重なり合うように、前記既定長セグメントの長さよりも短い、システム。
JP2018532107A 2015-12-18 2016-12-08 眠気開始検出 Active JP7152950B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US14/974,584 2015-12-18
US14/974,584 US9955925B2 (en) 2015-12-18 2015-12-18 Drowsiness onset detection
PCT/US2016/065484 WO2017105976A1 (en) 2015-12-18 2016-12-08 Drowsiness onset detection

Publications (2)

Publication Number Publication Date
JP2019509076A JP2019509076A (ja) 2019-04-04
JP7152950B2 true JP7152950B2 (ja) 2022-10-13

Family

ID=57758704

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018532107A Active JP7152950B2 (ja) 2015-12-18 2016-12-08 眠気開始検出

Country Status (18)

Country Link
US (2) US9955925B2 (ja)
EP (1) EP3389474B1 (ja)
JP (1) JP7152950B2 (ja)
KR (1) KR102714622B1 (ja)
CN (1) CN108366732B (ja)
AU (1) AU2016370291B2 (ja)
CA (1) CA3003765C (ja)
CL (1) CL2018001551A1 (ja)
CO (1) CO2018006480A2 (ja)
IL (1) IL259253B (ja)
MX (1) MX2018007224A (ja)
MY (1) MY192362A (ja)
NZ (1) NZ742741A (ja)
PH (1) PH12018550055A1 (ja)
RU (1) RU2734339C2 (ja)
SG (1) SG11201804723WA (ja)
WO (1) WO2017105976A1 (ja)
ZA (1) ZA201802905B (ja)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10535024B1 (en) 2014-10-29 2020-01-14 Square, Inc. Determining employee shift changes
US9955925B2 (en) * 2015-12-18 2018-05-01 Microsoft Technology Licensing, Llc Drowsiness onset detection
JP6365554B2 (ja) * 2016-01-14 2018-08-01 マツダ株式会社 運転支援装置
KR102670512B1 (ko) * 2016-12-16 2024-05-30 삼성전자주식회사 차량의 운전을 보조하는 전자 장치 및 방법
US10638970B2 (en) * 2017-03-08 2020-05-05 Strive Orthopedics, Inc Method for identifying human joint characteristics
US11076766B2 (en) * 2017-04-19 2021-08-03 Beijing Shunyuan Kaihua Technology Limited Systems and methods for providing user insights based on heart rate variability
EP3416147B1 (en) 2017-06-13 2020-01-15 Volvo Car Corporation Method for providing drowsiness alerts in vehicles
EP3684463A4 (en) 2017-09-19 2021-06-23 Neuroenhancement Lab, LLC NEURO-ACTIVATION PROCESS AND APPARATUS
KR101962812B1 (ko) * 2017-10-13 2019-03-28 아주대학교산학협력단 Ppg 기반 rem 수면 검출 방법 및 장치
TWI698223B (zh) * 2017-11-20 2020-07-11 金寶電子工業股份有限公司 可辨識打瞌睡階段的穿戴式裝置及其辨識方法
US11717686B2 (en) 2017-12-04 2023-08-08 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to facilitate learning and performance
US10709386B2 (en) 2017-12-12 2020-07-14 Lear Corporation Electrocardiogram waveform identification and diagnostics via electrophysiological sensor system fusion
US10147319B1 (en) * 2017-12-22 2018-12-04 Pin-Hua CHEN Safe driving system having function of detecting heart rate variability
US11478603B2 (en) 2017-12-31 2022-10-25 Neuroenhancement Lab, LLC Method and apparatus for neuroenhancement to enhance emotional response
FR3078518B1 (fr) * 2018-03-05 2020-02-07 Psa Automobiles Sa Dispositif d’assistance d’un conducteur de vehicule par determination d’un etat de vigilance avec des regles de decision adaptees
US11364361B2 (en) 2018-04-20 2022-06-21 Neuroenhancement Lab, LLC System and method for inducing sleep by transplanting mental states
CN108937916A (zh) * 2018-08-03 2018-12-07 西南大学 一种心电信号检测方法、装置及存储介质
WO2020031586A1 (ja) * 2018-08-10 2020-02-13 古野電気株式会社 船舶操縦支援システム、船舶制御装置、船舶制御方法、及びプログラム
US20220015654A1 (en) * 2018-08-29 2022-01-20 Sleep Advice Technologies S.R.L. Photoplethysmography based detection of transitions between awake, drowsiness, and sleep phases of a subject
WO2020053280A1 (en) * 2018-09-11 2020-03-19 Icm (Institut Du Cerveau Et De La Moelle Épinière) System and methods for consciousness evaluation in non-communcating subjects
WO2020056418A1 (en) 2018-09-14 2020-03-19 Neuroenhancement Lab, LLC System and method of improving sleep
CA3120944C (en) * 2018-11-23 2023-12-19 Wellness Ip, Inc. Micro-coherence network strength and deep behavior modification optimization application
KR102171236B1 (ko) * 2019-03-14 2020-10-28 서울시립대학교 산학협력단 심장 박동의 타입을 분류하는 방법 및 이를 이용한 장치
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN110580799A (zh) * 2019-06-19 2019-12-17 四川鼎鸿物联网科技有限公司 一种出租车网约车驾乘人员言行自动预判报警系统
US12061971B2 (en) 2019-08-12 2024-08-13 Micron Technology, Inc. Predictive maintenance of automotive engines
US10993647B2 (en) * 2019-08-21 2021-05-04 Micron Technology, Inc. Drowsiness detection for vehicle control
JP7328828B2 (ja) * 2019-08-27 2023-08-17 フォルシアクラリオン・エレクトロニクス株式会社 状態推定装置、状態推定プログラムおよび状態推定方法
KR102108515B1 (ko) 2019-10-10 2020-05-08 국방과학연구소 조종사의 졸음 상태 감지 및 누적 분석을 활용한 졸음 예방 시스템 및 방법
CN110786869B (zh) * 2019-10-29 2021-12-21 浙江工业大学 一种程序员的疲劳程度的检测方法
FR3113370B1 (fr) 2020-08-17 2022-10-21 Fipsico Procede et systeme de detection de la somnolence d’un individu
FR3113369B1 (fr) 2020-08-17 2022-12-09 Fipsico Procede et systeme de detection de la somnolence d’un individu
FR3113368B1 (fr) 2020-08-17 2022-12-09 Fipsico Procede et systeme de detection de la somnolence d’un individu
WO2022037914A1 (fr) 2020-08-17 2022-02-24 Fipsico Procede et systeme de detection de la somnolence d'un individu
WO2022104184A1 (en) * 2020-11-13 2022-05-19 Khurana Vikas Systems and methods for analysis of pulse and physiological, pathological, and emotional state and applications thereof
US11909784B2 (en) * 2021-07-29 2024-02-20 Vmware, Inc. Automated actions in a conferencing service
CN114283559B (zh) * 2022-03-04 2022-05-17 西南交通大学 一种驾驶员疲劳预警方法、装置、设备及存储介质
EP4276825A1 (en) * 2022-05-12 2023-11-15 BIC Violex Single Member S.A. Writing instrument
US20230389714A1 (en) 2022-06-01 2023-12-07 Rezet Technologies, Inc. Smart mattress topper system and associated method
WO2024062439A1 (en) * 2022-09-22 2024-03-28 Sleep Advice Technologies S.R.L. Real-time sleep prediction based on statistical analysis off a reduced set of biometric data

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010143535A1 (ja) 2009-06-08 2010-12-16 公立大学法人名古屋市立大学 眠気判定装置
JP2011517411A (ja) 2008-03-14 2011-06-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 被験者の精神心理学的状態を修正すること
JP2011517982A (ja) 2008-04-16 2011-06-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 睡眠/覚醒状態評価方法及びシステム
JP2014230717A (ja) 2013-05-30 2014-12-11 トヨタ自動車株式会社 集中度推定装置
JP2015510810A (ja) 2012-03-21 2015-04-13 コーニンクレッカ フィリップス エヌ ヴェ Ecg信号に基づいて睡眠の質の視覚的表現を提供するための方法及び装置
WO2015082382A1 (en) 2013-12-02 2015-06-11 Koninklijke Philips N.V. Calculating a current circadian rhythm of a person
JP2015226696A (ja) 2014-06-02 2015-12-17 エイケン工業株式会社 眠気検出方法及び眠気検出装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9518094D0 (en) * 1995-09-05 1995-11-08 Cardionics Ltd Heart monitoring apparatus
US6822573B2 (en) * 2002-01-18 2004-11-23 Intelligent Mechatronic Systems Inc. Drowsiness detection system
CN101198277B (zh) 2005-02-22 2011-06-15 海尔思-斯玛特有限公司 用于生理学和心理生理学监控的系统
CN101132729A (zh) * 2005-03-04 2008-02-27 睡眠诊断学公司 警觉性的测量
US7423540B2 (en) * 2005-12-23 2008-09-09 Delphi Technologies, Inc. Method of detecting vehicle-operator state
RU63084U1 (ru) * 2007-01-11 2007-05-10 Открытое акционерное общество "Бинейро" Устройство для фиксации состояния сонливости у человека
CN101224113B (zh) 2008-02-04 2012-02-29 电子科技大学 机动车驾驶员状态监控方法及系统
EP2276398B1 (en) * 2008-04-14 2015-06-03 Itamar Medical Ltd. Non-invasive method and apparatus for determining light- sleep and deep-sleep stages
JP2010063682A (ja) * 2008-09-11 2010-03-25 Aisin Seiki Co Ltd 運転者監視装置
CA2649731C (en) 2008-11-05 2015-07-21 The George Washington University An unobtrusive driver drowsiness detection method
WO2010060153A1 (en) 2008-11-28 2010-06-03 The University Of Queensland A method and apparatus for determining sleep states
US20120123232A1 (en) 2008-12-16 2012-05-17 Kayvan Najarian Method and apparatus for determining heart rate variability using wavelet transformation
US20140276090A1 (en) * 2011-03-14 2014-09-18 American Vehcular Sciences Llc Driver health and fatigue monitoring system and method using optics
US8725311B1 (en) 2011-03-14 2014-05-13 American Vehicular Sciences, LLC Driver health and fatigue monitoring system and method
US20120265080A1 (en) 2011-04-15 2012-10-18 Xiong Yu Non-contact sensing of physiological signals
WO2013140525A1 (ja) 2012-03-19 2013-09-26 富士通株式会社 覚醒度判定装置、覚醒度判定プログラムおよび覚醒度判定方法
US8917182B2 (en) * 2012-06-06 2014-12-23 Honda Motor Co., Ltd. System and method for detecting and preventing drowsiness
US20150164377A1 (en) 2013-03-13 2015-06-18 Vaidhi Nathan System and method of body motion analytics recognition and alerting
CN103714660B (zh) * 2013-12-26 2017-02-08 苏州清研微视电子科技有限公司 基于图像处理融合心率特征与表情特征实现疲劳驾驶判别的系统
IN2015MU02950A (ja) 2015-08-04 2015-09-11 Vijay Singh Indra
US9955925B2 (en) * 2015-12-18 2018-05-01 Microsoft Technology Licensing, Llc Drowsiness onset detection

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011517411A (ja) 2008-03-14 2011-06-09 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 被験者の精神心理学的状態を修正すること
JP2011517982A (ja) 2008-04-16 2011-06-23 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 睡眠/覚醒状態評価方法及びシステム
WO2010143535A1 (ja) 2009-06-08 2010-12-16 公立大学法人名古屋市立大学 眠気判定装置
JP2015510810A (ja) 2012-03-21 2015-04-13 コーニンクレッカ フィリップス エヌ ヴェ Ecg信号に基づいて睡眠の質の視覚的表現を提供するための方法及び装置
JP2014230717A (ja) 2013-05-30 2014-12-11 トヨタ自動車株式会社 集中度推定装置
WO2015082382A1 (en) 2013-12-02 2015-06-11 Koninklijke Philips N.V. Calculating a current circadian rhythm of a person
JP2015226696A (ja) 2014-06-02 2015-12-17 エイケン工業株式会社 眠気検出方法及び眠気検出装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Gang Li and Wan-Young Chung,Detection of Driver Drowsiness Using Wavelet Analysis of Heart Rate Variability and a Support Vector Machine Classifier,Sensors,2013年12月 2日,vol. 13,pp. 16494-16511

Also Published As

Publication number Publication date
ZA201802905B (en) 2019-09-25
JP2019509076A (ja) 2019-04-04
NZ742741A (en) 2022-01-28
RU2734339C2 (ru) 2020-10-15
US10646168B2 (en) 2020-05-12
WO2017105976A1 (en) 2017-06-22
US20170172520A1 (en) 2017-06-22
KR102714622B1 (ko) 2024-10-07
KR20180094907A (ko) 2018-08-24
AU2016370291B2 (en) 2021-01-28
CA3003765A1 (en) 2017-06-22
IL259253B (en) 2021-10-31
CN108366732B (zh) 2022-03-29
EP3389474A1 (en) 2018-10-24
SG11201804723WA (en) 2018-07-30
CA3003765C (en) 2023-08-15
CL2018001551A1 (es) 2018-09-28
PH12018550055A1 (en) 2018-11-12
US9955925B2 (en) 2018-05-01
IL259253A (en) 2018-07-31
EP3389474B1 (en) 2023-06-28
US20180214089A1 (en) 2018-08-02
MY192362A (en) 2022-08-17
MX2018007224A (es) 2018-08-01
RU2018121883A (ru) 2019-12-16
AU2016370291A1 (en) 2018-06-07
CO2018006480A2 (es) 2018-07-10
BR112018010809A2 (pt) 2018-11-21
CN108366732A (zh) 2018-08-03
RU2018121883A3 (ja) 2020-04-28

Similar Documents

Publication Publication Date Title
JP7152950B2 (ja) 眠気開始検出
Baig et al. A systematic review of wearable sensors and IoT-based monitoring applications for older adults–a focus on ageing population and independent living
US11561806B2 (en) Adaptive interface for screen-based interactions
US10423893B2 (en) Adaptive interface for screen-based interactions
US20210030276A1 (en) Remote Health Monitoring Systems and Method
WO2017193497A1 (zh) 基于融合模型的智能化健康管理服务器、系统及其控制方法
US9655559B2 (en) Automated sleep staging using wearable sensors
JP6276776B2 (ja) 睡眠段階に応じてデバイスを制御するための電子スイッチ
JP5878678B1 (ja) 睡眠段階分けの精度を増加するための感覚刺激
TW201734940A (zh) 用於確定心的狀態並向主體提供知覺型對策的計算機系統
EP3868293A1 (en) System and method for monitoring pathological breathing patterns
WO2017067010A1 (zh) 睡眠评价显示方法和装置及评价设备
WO2021067860A1 (en) Systems and methods for contactless sleep monitoring
JP2020185138A (ja) 感情推定システム、および感情推定装置
WO2018222589A1 (en) System and method for treating disorders with a virtual reality system
JP2021146214A (ja) ドライバー監視システムでメディア誘発感情から運転感情を分離するための技術
CN108837271B (zh) 电子装置、提示信息的输出方法及相关产品
Abd El Aleem et al. A machine-learning Approach for Stress Detection Using Wearable Sensors in Free-living Environments
BR112018010809B1 (pt) Sistema para detectar o início de sonolência em um indivíduo
Zuo et al. Mobile phone use driver distraction detection based on MSaE of multi-modality physiological signals
WO2024092505A1 (en) Methods and devices for continous fatigue monitoring using smart devices
WO2019224113A1 (en) Measuring movement in a subject
Benmussa et al. Generating Alerts from Breathing Pattern Outliers
Subash et al. CNN and Arduino based Stress Level Detection System
Maglogiannis et al. An Overview of Affective Computing from the Physiology and Biomedical Perspective

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20201130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210226

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210629

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211028

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20211028

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20211109

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20211207

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20211208

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220204

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220208

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220411

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20220803

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20220902

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20220902

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220930

R150 Certificate of patent or registration of utility model

Ref document number: 7152950

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150