JP6338701B2 - 瞬間的な眠りを検出するデバイス、方法およびコンピュータプログラム - Google Patents
瞬間的な眠りを検出するデバイス、方法およびコンピュータプログラム Download PDFInfo
- Publication number
- JP6338701B2 JP6338701B2 JP2016573073A JP2016573073A JP6338701B2 JP 6338701 B2 JP6338701 B2 JP 6338701B2 JP 2016573073 A JP2016573073 A JP 2016573073A JP 2016573073 A JP2016573073 A JP 2016573073A JP 6338701 B2 JP6338701 B2 JP 6338701B2
- Authority
- JP
- Japan
- Prior art keywords
- threshold
- eye
- individually
- subject
- individually adapted
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000007958 sleep Effects 0.000 title claims description 93
- 238000000034 method Methods 0.000 title claims description 46
- 238000004590 computer program Methods 0.000 title claims description 15
- 210000001508 eye Anatomy 0.000 claims description 201
- 210000003128 head Anatomy 0.000 claims description 67
- 210000000744 eyelid Anatomy 0.000 claims description 40
- 238000005286 illumination Methods 0.000 claims description 22
- 238000012544 monitoring process Methods 0.000 claims description 18
- 238000011156 evaluation Methods 0.000 claims description 14
- 210000001747 pupil Anatomy 0.000 claims description 11
- 230000007704 transition Effects 0.000 claims description 11
- 230000001133 acceleration Effects 0.000 claims description 9
- 230000005855 radiation Effects 0.000 claims description 6
- 210000003484 anatomy Anatomy 0.000 claims description 5
- 230000035479 physiological effects, processes and functions Effects 0.000 claims description 5
- 241000542420 Sphyrna tudes Species 0.000 claims description 3
- 230000004397 blinking Effects 0.000 claims description 3
- 230000001678 irradiating effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 description 13
- 238000004422 calculation algorithm Methods 0.000 description 10
- 238000012545 processing Methods 0.000 description 9
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000005259 measurement Methods 0.000 description 8
- 230000035945 sensitivity Effects 0.000 description 7
- 230000002269 spontaneous effect Effects 0.000 description 6
- 230000008569 process Effects 0.000 description 5
- 230000003044 adaptive effect Effects 0.000 description 4
- 230000008901 benefit Effects 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000004458 analytical method Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 3
- 210000000554 iris Anatomy 0.000 description 3
- 241000405217 Viola <butterfly> Species 0.000 description 2
- 230000006399 behavior Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000003909 pattern recognition Methods 0.000 description 2
- 230000037303 wrinkles Effects 0.000 description 2
- 241001469893 Oxyzygonectes dovii Species 0.000 description 1
- 241000270295 Serpentes Species 0.000 description 1
- 206010041349 Somnolence Diseases 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 239000012491 analyte Substances 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 210000004087 cornea Anatomy 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000004399 eye closure Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 238000002329 infrared spectrum Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 230000004800 psychological effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000011514 reflex Effects 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000010972 statistical evaluation Methods 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1103—Detecting eye twinkling
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/48—Other medical applications
- A61B5/4806—Sleep evaluation
- A61B5/4809—Sleep detection, i.e. determining whether a subject is asleep or not
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
- A61B3/14—Arrangements specially adapted for eye photography
- A61B3/145—Arrangements specially adapted for eye photography by video means
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1112—Global tracking of patients, e.g. by using GPS
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1113—Local tracking of patients, e.g. in a hospital or private home
- A61B5/1114—Tracking parts of the body
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/103—Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
- A61B5/11—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
- A61B5/1126—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique
- A61B5/1128—Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb using a particular sensing technique using image analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
- A61B5/6887—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient mounted on external non-worn devices, e.g. non-medical devices
- A61B5/6893—Cars
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
- A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/74—Details of notification to user or communication with user or patient ; user input means
- A61B5/746—Alarms related to a physiological condition, e.g. details of setting alarm thresholds or avoiding false alarms
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/04—Constructional details of apparatus
- A61B2560/0431—Portable apparatus, e.g. comprising a handle or case
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2562/00—Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
- A61B2562/02—Details of sensors specially adapted for in-vivo measurements
- A61B2562/0219—Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
- A61B3/0016—Operational features thereof
- A61B3/0025—Operational features thereof characterised by electronic signal processing, e.g. eye models
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Biophysics (AREA)
- Veterinary Medicine (AREA)
- Public Health (AREA)
- Pathology (AREA)
- Physiology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Dentistry (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Ophthalmology & Optometry (AREA)
- Social Psychology (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Anesthesiology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Business, Economics & Management (AREA)
- Emergency Management (AREA)
- General Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Artificial Intelligence (AREA)
- Radar, Positioning & Navigation (AREA)
- Multimedia (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
−瞼の閉じが、直接的な、非接触式、ビデオ式の測定、ならびに、瞬間的な眠りを検出するための、個々に適合されるしきい値80および85ならびに個々に求められる基準値70および75の導出によって求められる。
−カメラが、運転者に直接向けられ、その結果、運転者の瞬間的な眠りが、直接的なビデオモニタリングによって認識される。
−遠隔のシステム:
・運転者を邪魔することのない非接触式の測定。
・運転者の頭部または身体の任意の他の部分への取り付けが不要である。
−整然とした利点:
・ビデオ記録に基づく、運転者の顔から導出される一次データの評価。
・記載した全体的な機能(瞬間的な眠り/マイクロ睡眠の認識)、または、個々の部分的な機能(例えば、顔認識、反射の除去など)に取って代わる代替的なアルゴリズムの使用。
出典
[1]Timm, Barth (2011): Accurate Eye Centre Localisation by means of Gradients
[2]Viola and Jones, “Rapid object detection using a boosted cascade of simple features”, Computer Vision and Pattern Recognition, 2001
[3]Tim F. Cootes, Chris J. Taylor: Active Shape Models − “Smart Snakes”. In: David Hogg u.a. (Hrsg.): BMVC92. Proceedings of the British Machine Vision Conference; 22.−24. September 1992, Leeds. Springer−Verlag, Berlin 1992, ISBN 3−540−19777−X, pp. 266−275.
[4]T.F. Cootes, G.J. Edwards, C.J. Taylor: “Active Appearance Models”, in: IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 23, No. 6, June 2001, pp. 681−685
[5]DeMenthon, Daniel F., and Larry S. Davis. “Model−based object pose in 25 lines of code.” Computer Vision−ECCV’92. Springer Berlin Heidelberg, 1992.
[6]Zhi−Hua Zhou, Xin Geng: “Projection functions for eye detection.” Pattern Recognition, Volume 37, Issue 5, May 2004, pp. 1049-1056
Claims (20)
- 瞬間的な眠りを検出するデバイス(5)であって:
人(15)および該人(15)の目のエリアのビデオベースのモニタリングのためのビデオ記録デバイス(10)であって、前記人(15)および前記目のエリアの一連の写真を記録するとともに、該一連の写真をしきい値決定デバイス(20)に出力するように構成されている、ビデオ記録デバイス(10);
前記人(15)に個々に適合される1つまたは複数のしきい値(80、85)を前記一連の写真から導出するように構成されている前記しきい値決定デバイス(20);ならびに
前記1つまたは複数の個々に適合されるしきい値(80、85)に基づいて、前記人(15)が瞬間的に眠りに落ちたか否かを決定するように構成されているしきい値評価器(25)
を備え、
前記1つまたは複数の個々に適合されるしきい値(80、85)は、目の開きの実際の時間曲線内で該しきい値(80、85)を通過したか否か、したがって、前記人が瞬間的に眠りに落ちたか否かを確立するために使用され;
第1の個々に適合されるしきい値(80)が、開いた目から閉じた目への遷移を特徴付け、瞼の閉じは、前記第1の個々に適合されるしきい値(80)を下回った場合に生じたものと確立され;
第2の個々に適合されるしきい値(85)が、前記瞼の閉じの持続時間を指し、個々の瞼の閉じの時間は、該第2の個々の瞼の閉じの時間を上回る場合に前記瞼の閉じを瞬間的な眠りを示すものとして評価するように判断される、デバイス。 - 前記個々に適合されるしきい値は、瞬間的な眠りを検出するために特定の瞳孔中心と組み合わせて使用される、請求項1に記載のデバイス(5)。
- 第1の個々に適合されるしきい値(80)が、目の瞼の閉じを判定するために用いられ、前記瞼の閉じは、開いた目を表す第1の個々に求められる基準値(70)と、閉じた目を表す第2の個々に求められる基準値(75)との間にあり、当該しきい値は、前記開いた目から前記閉じた目への遷移を特徴付け;
第2の個々に求められるしきい値が、前記瞼の閉じの持続時間に関連する、請求項1または2に記載のデバイス(5)。 - 前記しきい値決定デバイス(20)は、生じる瞬きを評価することによって、前記個々に求められる基準値(70、75)および前記1個または複数個の個々に求められるしきい値(80、85)を適時に連続的に適合するように構成されている、請求項1〜3のいずれか一項に記載のデバイス(5)。
- 前記しきい値決定デバイス(20)は、前記目の開きの前記時間曲線におけるパターンによって瞬きを判断するように構成されており、前記パターンは、前記第1の個々に求められる基準値(70)から開始し、前記第1の個々に適応されたしきい値(80)を下回り、かつ、既定の時間期間以内に前記第1の基準値(70)に戻ることを含む、請求項1〜4のいずれか一項に記載のデバイス(5)。
- 前記しきい値評価器(25)は、第1のしきい値(80)を通過したことを検出するとともに、前記通過の持続時間を求めるように構成されており、前記瞬間的な眠りは、前記持続時間が第2のしきい値(85)を通過する場合に確立される、請求項1〜5のいずれか一項に記載のデバイス(5)。
- 前記しきい値決定デバイス(20)は、前記1つまたは複数の個々に適合されるしきい値(80、85)を、前記被検体(15)の解剖学的構造および生理機能に適合させるように構成されている、請求項1〜6のいずれか一項に記載のデバイス(5)。
- 前記しきい値決定デバイス(20)は、周囲の状況の変化に基づいて、前記1個または複数個の個々に適合されるしきい値(80、85)を前記変化した周囲の状況に適合させるように構成されている、請求項1〜7のいずれか一項に記載のデバイス(5)。
- 前記第1の個々に適合されるしきい値(80)は、瞼の閉じを、前記開いた目から前記閉じた目への遷移中は比較的小さい目の開きの角度において規定するとともに、前記閉じた目から前記開いた目への遷移中は比較的大きい目の開きの角度において規定するように構成されているヒステリシス(90a、90b)を含む、請求項1〜8のいずれか一項に記載のデバイス(5)。
- 前記しきい値決定デバイス(20)は、前記1個または複数個の個々に適合されるしきい値(80、85)を、各目について別個に求めるように構成されている、請求項1〜9のいずれか一項に記載のデバイス(5)。
- 前記しきい値決定デバイス(20)は、頭部姿勢を求めることを含み、当該しきい値決定デバイス(20)は、求められた前記頭部姿勢によって前記1個または複数個の個々に適合されるしきい値(80、85)を適合させるように構成されている、請求項1〜10のいずれか一項に記載のデバイス(5)。
- 前記しきい値評価器(25)は、前記被検体が瞬間的に眠りに落ちたか否かを、前記頭部姿勢に応じて前記被検体(15)の片目または両目によって判断するように構成されている、請求項11に記載のデバイス(5)。
- 前記第2の個々に適合されるしきい値(85)は、前記ウインクの持続時間よりも長い持続時間を示す、請求項1〜12のいずれか一項に記載のデバイス。
- 前記第2の個々に適合されるしきい値(85)は、前記被検体(15)が進むその時点の速度に適合される、請求項1〜13のいずれか一項に記載のデバイス(5)。
- 前記デバイス(5)の移動速度を捕捉するように構成されているGPS受信器(45)および/または加速度センサ(50)を備え、当該移動速度から前記被検体(15)および/または車両の移動速度を求める、請求項1〜14のいずれか一項に記載のデバイス(5)。
- 前記被検体(15)に見える波長範囲を上回る放射線を照射する照明源(55)を備え、前記ビデオ記録デバイス(10)は、前記放射線を検出するように構成されている、請求項1〜15のいずれか一項に記載のデバイス(5)。
- 前記照明源(55)から所定距離を置いて配置されるさらなる照明源(60)を備え;
前記ビデオ記録デバイス(10)は、前記被検体(15)の前記目のエリアの領域におけるいかなる反射も回避するように、前記被検体(15)が前記照明源(55)および前記さらなる照明源(60)によって前記目のエリアを照明した後に、撮影された写真の組み合わせを求めるように構成されている、請求項16に記載のデバイス。 - 持ち運び可能である、請求項1〜17のいずれか一項に記載のデバイス(5)。
- 瞬間的な眠りを検出する方法(600)であって:
ビデオ記録デバイス(10)を用いることによって人(15)および該人(15)の目のエリアをビデオベースでモニタリングすることであって、前記ビデオ記録デバイス(10)は、前記人(15)および前記目のエリアの一連の写真を記録するとともに、該一連の写真をしきい値決定デバイス(20)に出力するように構成されている、ビデオベースでモニタリングすること;
前記人(15)に個々に適合される1つまたは複数のしきい値を、前記しきい値決定デバイス(20)を用いることによって前記一連の写真から導出すること;
前記1つまたは複数の個々に適合されるしきい値(80、85)に基づいて、前記人(15)が瞬間的に眠りに落ちたか否かを決定すること;ならびに
目の開きの実際の時間曲線内で前記しきい値(80、85)を通過したか否か、したがって、前記人が瞬間的に眠りに落ちたか否かを確立するように、前記1つまたは複数の個々に適合されるしきい値(80、85)を使用すること
を含み、
第1の個々に適合されるしきい値(80)が、開いた目から閉じた目への遷移を特徴付け、瞼の閉じは、前記第1の個々に適合されるしきい値(80)を下回った場合に生じたものと確立され;
第2の個々に適合されるしきい値(85)が、前記瞼の閉じの持続時間を指し、個々の瞼の閉じの時間は、該第2の個々の瞼の閉じの時間を上回る場合に前記瞼の閉じを瞬間的な眠りを示すものとして評価するように判断される、方法。 - 請求項19に記載の方法に従って瞬間的な眠りを検出するコンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102014211898.0 | 2014-06-20 | ||
DE102014211898 | 2014-06-20 | ||
PCT/EP2015/056748 WO2015192980A1 (de) | 2014-06-20 | 2015-03-27 | Vorrichtung, verfahren und computerprogramm zur detektion eines sekundenschlafs |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017536589A JP2017536589A (ja) | 2017-12-07 |
JP6338701B2 true JP6338701B2 (ja) | 2018-06-06 |
Family
ID=53188989
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016573073A Expired - Fee Related JP6338701B2 (ja) | 2014-06-20 | 2015-03-27 | 瞬間的な眠りを検出するデバイス、方法およびコンピュータプログラム |
Country Status (7)
Country | Link |
---|---|
US (1) | US20170143253A1 (ja) |
EP (1) | EP3157426B1 (ja) |
JP (1) | JP6338701B2 (ja) |
CN (1) | CN106687037B (ja) |
AU (1) | AU2015276536B2 (ja) |
DE (1) | DE202015002316U1 (ja) |
WO (1) | WO2015192980A1 (ja) |
Families Citing this family (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP2901408B1 (en) * | 2012-09-25 | 2021-08-25 | Scoot Rides, Inc. | Systems and methods for regulating vehicle access |
JP6372388B2 (ja) * | 2014-06-23 | 2018-08-15 | 株式会社デンソー | ドライバの運転不能状態検出装置 |
US10430676B2 (en) | 2014-06-23 | 2019-10-01 | Denso Corporation | Apparatus detecting driving incapability state of driver |
CN106663377B (zh) | 2014-06-23 | 2019-04-09 | 株式会社电装 | 驾驶员的驾驶不能状态检测装置 |
DE102015200697A1 (de) * | 2015-01-19 | 2016-07-21 | Robert Bosch Gmbh | Verfahren und Vorrichtung zum Erkennen von Sekundenschlaf eines Fahrers eines Fahrzeugs |
US20160343229A1 (en) * | 2015-05-18 | 2016-11-24 | Frank Colony | Vigilance detection method and apparatus |
DE102016205311A1 (de) * | 2016-03-31 | 2017-10-05 | Robert Bosch Gmbh | Verfahren zum Bereitstellen eines Warnsignals und Verfahren zum Generieren eines Vorsekundenschlafmusters zum Erkennen eines drohenden Sekundenschlafs für ein Fahrzeug |
CN105611704B (zh) * | 2016-03-31 | 2018-07-13 | 中山市普宇照明科技有限公司 | 一种基于节能的台灯开启方法及其系统 |
CN107284450A (zh) * | 2017-07-11 | 2017-10-24 | 合肥东恒锐电子科技有限公司 | 一种驾驶安全防护系统 |
US11845440B2 (en) * | 2017-08-02 | 2023-12-19 | Red Bend Ltd. | Contactless detection and monitoring system of vital signs of vehicle occupants |
EP3727135B1 (en) | 2017-12-22 | 2024-02-28 | ResMed Sensor Technologies Limited | Apparatus, system, and method for motion sensing |
US11707197B2 (en) | 2017-12-22 | 2023-07-25 | Resmed Sensor Technologies Limited | Apparatus, system, and method for physiological sensing in vehicles |
CN107993409A (zh) * | 2017-12-23 | 2018-05-04 | 合肥微商圈信息科技有限公司 | 一种用于检测驾驶人员的车载视频监控系统及其方法 |
US11468503B2 (en) | 2018-04-16 | 2022-10-11 | Bird Rides, Inc. | On-demand rental of electric vehicles |
JP6992693B2 (ja) * | 2018-07-23 | 2022-01-13 | トヨタ自動車株式会社 | 乗員状態認識装置 |
JP7209954B2 (ja) * | 2018-08-02 | 2023-01-23 | 株式会社Yoods | 眼振解析システム |
CN109543629B (zh) * | 2018-11-26 | 2024-07-19 | 平安科技(深圳)有限公司 | 一种眨眼识别方法、装置、设备及可读存储介质 |
FR3098276B1 (fr) * | 2019-07-02 | 2021-06-11 | Psa Automobiles Sa | Assistance d’un véhicule suivi en cas d’éblouissement par un véhicule suiveur détecté par analyse d’images |
US20210085258A1 (en) * | 2019-09-25 | 2021-03-25 | PathPartner Technology Private Limited | System and method to predict a state of drowsiness in a subject |
KR102356566B1 (ko) * | 2020-03-24 | 2022-02-03 | 정성우 | 자율주행차의 인공지능 수면 보조 시스템 |
JP2022155394A (ja) * | 2021-03-30 | 2022-10-13 | 株式会社Subaru | 運転支援システム |
CN113570834A (zh) * | 2021-06-29 | 2021-10-29 | 北京兔子梦科技发展有限公司 | 坐姿提醒方法及装置 |
DE102021123849A1 (de) | 2021-09-15 | 2023-03-16 | Bayerische Motoren Werke Aktiengesellschaft | Verfahren und Überwachungseinrichtung zum Bestimmen eines Augenzustands einer Person und Kraftfahrzeug |
WO2023105970A1 (ja) * | 2021-12-10 | 2023-06-15 | パナソニックIpマネジメント株式会社 | 推定装置、推定方法及びプログラム |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3183161B2 (ja) * | 1996-04-12 | 2001-07-03 | 三菱自動車工業株式会社 | 覚醒度推定装置 |
DE19803158C1 (de) * | 1998-01-28 | 1999-05-06 | Daimler Chrysler Ag | Vorrichtung zur Vigilanzzustandsbestimmung |
AU767533B2 (en) * | 1999-01-27 | 2003-11-13 | Compumedics Limited | Vigilance monitoring system |
CN100398065C (zh) * | 2002-10-15 | 2008-07-02 | 沃尔沃技术公司 | 解释对象的头部和眼睛活动的方法和装置 |
US20110077548A1 (en) * | 2004-04-01 | 2011-03-31 | Torch William C | Biosensors, communicators, and controllers monitoring eye movement and methods for using them |
CN102068237A (zh) * | 2004-04-01 | 2011-05-25 | 威廉·C·托奇 | 监控眼睛运动的系统及方法、控制计算装置的系统及方法 |
CN1613425A (zh) * | 2004-09-15 | 2005-05-11 | 南京大学 | 司机疲劳预警生物识别的方法和系统 |
US7746235B2 (en) * | 2005-03-10 | 2010-06-29 | Delphi Technologies, Inc. | System and method of detecting eye closure based on line angles |
US8102417B2 (en) * | 2006-10-25 | 2012-01-24 | Delphi Technologies, Inc. | Eye closure recognition system and method |
JP5078815B2 (ja) * | 2008-09-12 | 2012-11-21 | 株式会社豊田中央研究所 | 開眼度推定装置 |
JP5210773B2 (ja) * | 2008-09-16 | 2013-06-12 | トヨタ自動車株式会社 | 眠気判定装置及びプログラム |
JP2011043961A (ja) * | 2009-08-20 | 2011-03-03 | Toyota Motor Corp | 運転者監視装置 |
EP2754393A4 (en) * | 2011-09-05 | 2015-05-06 | Toyama Prefecture | METHOD AND DEVICE FOR DETECTING SOMNOLENCE |
US8952819B2 (en) * | 2013-01-31 | 2015-02-10 | Lytx, Inc. | Direct observation event triggering of drowsiness |
-
2015
- 2015-03-27 AU AU2015276536A patent/AU2015276536B2/en not_active Ceased
- 2015-03-27 JP JP2016573073A patent/JP6338701B2/ja not_active Expired - Fee Related
- 2015-03-27 DE DE202015002316.9U patent/DE202015002316U1/de not_active Expired - Lifetime
- 2015-03-27 CN CN201580033540.2A patent/CN106687037B/zh not_active Expired - Fee Related
- 2015-03-27 EP EP15723134.1A patent/EP3157426B1/de not_active Not-in-force
- 2015-03-27 WO PCT/EP2015/056748 patent/WO2015192980A1/de active Application Filing
-
2016
- 2016-12-16 US US15/381,696 patent/US20170143253A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
AU2015276536B2 (en) | 2017-12-07 |
DE202015002316U1 (de) | 2015-06-17 |
WO2015192980A1 (de) | 2015-12-23 |
CN106687037B (zh) | 2019-11-19 |
AU2015276536A1 (en) | 2017-02-02 |
US20170143253A1 (en) | 2017-05-25 |
JP2017536589A (ja) | 2017-12-07 |
EP3157426A1 (de) | 2017-04-26 |
EP3157426B1 (de) | 2018-06-20 |
CN106687037A (zh) | 2017-05-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6338701B2 (ja) | 瞬間的な眠りを検出するデバイス、方法およびコンピュータプログラム | |
US9405982B2 (en) | Driver gaze detection system | |
JP5109922B2 (ja) | ドライバモニタリング装置およびドライバモニタリング装置用のプログラム | |
JP6442942B2 (ja) | ドライバ状態判定装置 | |
JP6187817B2 (ja) | 顔検出装置、方法およびプログラム | |
US20150098633A1 (en) | Face detection apparatus, face detection method, and program | |
JP5177011B2 (ja) | 開眼度特定装置 | |
JP4899059B2 (ja) | 眠気検知装置 | |
JP2016539446A (ja) | 動作と、顔面と、目及び口形状の認知を通じた2段階に亘っての居眠り運転の防止装置 | |
JP7369184B2 (ja) | 運転者注意状態推定 | |
JP6973928B2 (ja) | 瞼開閉判定装置および眠気検知装置 | |
Ghosh et al. | Real time eye detection and tracking method for driver assistance system | |
KR20190083155A (ko) | 운전자 상태 검출 장치 및 그 방법 | |
JP7240910B2 (ja) | 乗員観察装置 | |
WO2020203915A1 (ja) | 脈波検出装置、及び脈波検出プログラム | |
Bergasa et al. | Visual monitoring of driver inattention | |
JP6747493B2 (ja) | ドライバ状態判定装置 | |
Panicker et al. | Open-eye detection using iris–sclera pattern analysis for driver drowsiness detection | |
US20190180126A1 (en) | State estimation apparatus, method, and non-transitory recording medium | |
JP6689470B1 (ja) | 情報処理装置、プログラム及び情報処理方法 | |
JP2019068933A (ja) | 推定装置及び推定方法 | |
KR20150046889A (ko) | 카메라 영상을 이용한 테일 게이트 개방 각도 제어 장치 및 그 방법 | |
JP2008191785A (ja) | 閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラム | |
Shah et al. | Yawning detection of driver drowsiness | |
P Mathai | A New Proposal for Smartphone-Based Drowsiness Detection and Warning System for Automotive Drivers |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20171205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180410 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180508 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6338701 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |