JP6196361B2 - 運転者状態判定装置及び運転者状態判定方法 - Google Patents
運転者状態判定装置及び運転者状態判定方法 Download PDFInfo
- Publication number
- JP6196361B2 JP6196361B2 JP2016203571A JP2016203571A JP6196361B2 JP 6196361 B2 JP6196361 B2 JP 6196361B2 JP 2016203571 A JP2016203571 A JP 2016203571A JP 2016203571 A JP2016203571 A JP 2016203571A JP 6196361 B2 JP6196361 B2 JP 6196361B2
- Authority
- JP
- Japan
- Prior art keywords
- determination
- component
- driver state
- information
- brain
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 64
- 230000008859 change Effects 0.000 claims description 354
- 230000007177 brain activity Effects 0.000 claims description 253
- 230000004913 activation Effects 0.000 claims description 242
- 230000003925 brain function Effects 0.000 claims description 225
- 238000000354 decomposition reaction Methods 0.000 claims description 96
- 238000004458 analytical method Methods 0.000 claims description 90
- 238000000605 extraction Methods 0.000 claims description 80
- 239000000284 extract Substances 0.000 claims description 40
- 238000001514 detection method Methods 0.000 claims description 35
- 238000012880 independent component analysis Methods 0.000 claims description 28
- 230000035790 physiological processes and functions Effects 0.000 claims description 26
- 238000000513 principal component analysis Methods 0.000 claims description 26
- 230000001133 acceleration Effects 0.000 claims description 14
- 238000010248 power generation Methods 0.000 claims description 13
- 238000012544 monitoring process Methods 0.000 claims description 12
- 230000003213 activating effect Effects 0.000 claims description 7
- 230000001815 facial effect Effects 0.000 description 179
- 230000017531 blood circulation Effects 0.000 description 97
- 210000004556 brain Anatomy 0.000 description 89
- 238000010586 diagram Methods 0.000 description 76
- 238000006243 chemical reaction Methods 0.000 description 57
- 238000012545 processing Methods 0.000 description 54
- 230000000875 corresponding effect Effects 0.000 description 44
- 238000012800 visualization Methods 0.000 description 44
- 238000003384 imaging method Methods 0.000 description 27
- 238000012360 testing method Methods 0.000 description 27
- 238000012986 modification Methods 0.000 description 25
- 230000004048 modification Effects 0.000 description 25
- 210000001061 forehead Anatomy 0.000 description 22
- 230000033001 locomotion Effects 0.000 description 18
- 238000004364 calculation method Methods 0.000 description 17
- 230000002093 peripheral effect Effects 0.000 description 16
- 238000002474 experimental method Methods 0.000 description 15
- 238000001931 thermography Methods 0.000 description 14
- 230000002596 correlated effect Effects 0.000 description 12
- 230000000694 effects Effects 0.000 description 12
- 238000005259 measurement Methods 0.000 description 9
- 230000007246 mechanism Effects 0.000 description 9
- 206010015150 Erythema Diseases 0.000 description 8
- 238000001816 cooling Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 8
- 238000012806 monitoring device Methods 0.000 description 8
- 231100000321 erythema Toxicity 0.000 description 7
- 238000010079 rubber tapping Methods 0.000 description 7
- 238000010835 comparative analysis Methods 0.000 description 5
- 239000000523 sample Substances 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 4
- 238000010276 construction Methods 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 238000005286 illumination Methods 0.000 description 4
- 238000002595 magnetic resonance imaging Methods 0.000 description 4
- 239000000463 material Substances 0.000 description 4
- 230000003340 mental effect Effects 0.000 description 4
- 230000006996 mental state Effects 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 230000005855 radiation Effects 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000004497 NIR spectroscopy Methods 0.000 description 3
- 230000036760 body temperature Effects 0.000 description 3
- 230000009849 deactivation Effects 0.000 description 3
- 230000007423 decrease Effects 0.000 description 3
- 206010016256 fatigue Diseases 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 230000010365 information processing Effects 0.000 description 3
- 238000007781 pre-processing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 210000004761 scalp Anatomy 0.000 description 3
- 206010042772 syncope Diseases 0.000 description 3
- 238000012795 verification Methods 0.000 description 3
- 208000019914 Mental Fatigue Diseases 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 2
- 230000009471 action Effects 0.000 description 2
- 210000000467 autonomic pathway Anatomy 0.000 description 2
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 238000007796 conventional method Methods 0.000 description 2
- 238000010219 correlation analysis Methods 0.000 description 2
- 230000004424 eye movement Effects 0.000 description 2
- 210000005036 nerve Anatomy 0.000 description 2
- 230000008035 nerve activity Effects 0.000 description 2
- 210000003695 paranasal sinus Anatomy 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 102000001554 Hemoglobins Human genes 0.000 description 1
- 108010054147 Hemoglobins Proteins 0.000 description 1
- 206010062519 Poor quality sleep Diseases 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008344 brain blood flow Effects 0.000 description 1
- 210000004958 brain cell Anatomy 0.000 description 1
- 239000011248 coating agent Substances 0.000 description 1
- 238000000576 coating method Methods 0.000 description 1
- 230000001149 cognitive effect Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000000537 electroencephalography Methods 0.000 description 1
- 230000002996 emotional effect Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000003811 finger Anatomy 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 230000002779 inactivation Effects 0.000 description 1
- 239000004615 ingredient Substances 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 210000004932 little finger Anatomy 0.000 description 1
- 210000004373 mandible Anatomy 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000000691 measurement method Methods 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000002156 mixing Methods 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000035479 physiological effects, processes and functions Effects 0.000 description 1
- 238000005498 polishing Methods 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012847 principal component analysis method Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 230000029058 respiratory gaseous exchange Effects 0.000 description 1
- 210000004935 right thumb Anatomy 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000001757 thermogravimetry curve Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
- 230000002618 waking effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/174—Facial expression recognition
- G06V40/175—Static expression
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/40—Detecting, measuring or recording for evaluating the nervous system
- A61B5/4058—Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
- A61B5/4064—Evaluating the brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/168—Feature extraction; Face representation
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
- A61B2560/02—Operational features
- A61B2560/0242—Operational features adapted to measure environmental factors, e.g. temperature, pollution
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Veterinary Medicine (AREA)
- Animal Behavior & Ethology (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Public Health (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Neurology (AREA)
- Psychology (AREA)
- Psychiatry (AREA)
- Physiology (AREA)
- Cardiology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Child & Adolescent Psychology (AREA)
- Social Psychology (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Neurosurgery (AREA)
- Human Computer Interaction (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
- Measurement And Recording Of Electrical Phenomena And Electrical Characteristics Of The Living Body (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Traffic Control Systems (AREA)
Description
人間の脳活動には、人間の知的活動(認知活動等)及び情動活動(快/不快等の活動)が反映されていることが知られている。そして、従来より、人間の脳活動を推定する試みがされているが、この場合、脳波計測法、磁気共鳴画像法及び近赤外線分光法のいずれかの方法によって検出されたデータが利用されることが多い。
(2−1)顔面皮膚温度データの取得方法、及び顔面皮膚温度データの解析方法
次に、本発明者らが上記の知見を得るに際して用いた顔面皮膚温度データの取得方法、及び顔面皮膚温度データの解析方法について説明する。
図1(a)は、撮影装置にて撮影した被験者の顔面の副鼻腔周辺の撮影画像データの一例を示す図である。図1(b)は、血行量分布図(画像マップ)の一例を示す図である。
(3−1)顔面皮膚温度データの解析結果
図2は、温度換算データに応じた顔面皮膚温度データを解析した結果の一部を示す図である。図2(a)は、被験者1の成分2の成分波形図を示している。図2(b)は、被験者1の成分2の温度分布図を示している。図3(a)は、被験者1の成分3の成分波形図を示している。図3(b)は、被験者1の成分3の温度分布図を示している。図4及び図5は、成分波形の振幅と、脳波との関係を示す図である。図4は、被験者1の成分2の成分波形の振幅と、測定された脳波のうちのβ波の振幅とを示す図である。図5は、被験者1の成分3の成分波形の振幅と、測定された脳波のうちのβ波の振幅とを示す図である。図6は、対照実験で得られた顔面皮膚温度データを解析した結果の一部を示す図である。図6(a)は、成分3の成分波形図を示している。図6(b)は、成分3の温度分布図を示している。
図7〜図18は、顔面の撮影画像データ(血行量データ)又は顔面皮膚温度データに基づく成分波形図を解析した結果の一部を示す図である。図7は、被験者1の撮影画像データに基づく成分2の成分波形の振幅と、測定された被験者1の脳波のうちのβ波の振幅とを示す図である。図8は、被験者1の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者1の脳波のうちのβ波の振幅とを示す図である。図9は、被験者2の撮影画像データに基づく成分2の成分波形の振幅と、測定された被験者2の脳波のうちのβ波の振幅とを示す図である。図10は、被験者2の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者2の脳波のうちのβ波の振幅とを示す図である。図11は、被験者3の撮影画像データに基づく成分4の成分波形の振幅と、測定された被験者3の脳波のうちのβ波の振幅とを示す図である。図12は、被験者3の顔面皮膚温度データに基づく成分3の成分波形の振幅と、測定された被験者3の脳波のうちのβ波の振幅とを示す図である。図13は、被験者4の撮影画像データに基づく成分3の成分波形の振幅と、測定された被験者4の脳波のうちのβ波の振幅とを示す図である。図14は、被験者4の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者4の脳波のうちのβ波の振幅とを示す図である。図15は、被験者5の撮影画像データに基づく成分2の成分波形の振幅と、測定された被験者5の脳波のうちのβ波の振幅とを示す図である。図16は、被験者5の顔面皮膚温度データに基づく成分2の成分波形の振幅と、測定された被験者5の脳波のうちのβ波の振幅とを示す図である。図17は、被験者6の撮影画像データに基づく成分4の成分波形の振幅と、測定された被験者6の脳波のうちのβ波の振幅とを示す図である。図18は、被験者6の顔面皮膚温度データに基づく成分3の成分波形の振幅と、測定された被験者6の脳波のうちのβ波の振幅とを示す図である。
次に、上記に説明した知見に基づいて、本発明者らが完成するに至った本発明の一実施形態に係る脳活動可視化装置10,110について説明する。なお、本発明に係る脳活動可視化装置は、以下の実施形態に限定されるものではなく、要旨を逸脱しない範囲で適宜変更可能である。
図19は、本発明の一実施形態に係る脳活動可視化装置10の概略図である。図20は、脳活動可視化装置10において脳機能を反映した皮膚温度の変化を示す成分を同定する際の処理の流れを示すフローチャートである。
上記脳活動推定手段30は換算部31を有しており、換算部31によって相対温度換算データに応じた顔面皮膚温度データが作成されている。そして、解析部32が、顔面皮膚温度取得手段20により取得された温度換算データに応じた顔面皮膚温度データだけでなく、相対的な温度データに換算された温度データに基づく相対温度データに応じた顔面皮膚温度データについても、特異値分解により複数の成分に分解し、各成分についての解析を行っている。
また、上記顔面皮膚温度取得手段20は、対象物と非接触の状態で温度データを取得することができる赤外線サーモグラフィ装置である。
図21は、本発明の実施形態に係る脳活動可視化装置110の概略図である。図22は、脳活動可視化装置110において脳機能を反映した顔面のRGB変化を示す成分を同定する際の処理の流れの一例を示すフローチャートである。
上述したように、カメラ121としては、例えば、スマートフォンやタブレット(例えば、iPad:登録商標)等の撮影装置内蔵型ポータブル端末等を利用することができる。すなわち、上述の撮影画像データは、可視光領域の画像を撮像するものを採用することができる。
上記血行量算出部133は、換算部132によって換算された相対的なRGBデータに基づき相対換算血行量データを算出するが、これに代えて或いはこれに加えて、相対的なRGBデータに換算される前のRGBデータに基づき血行量データが算出されてもよい。ここで、相対的なRGBデータに換算される前のRGBデータに基づき算出された血行量データには、脳活動と相関する成分が出やすい(検定力が高い)ため、例えば、相対的なRGBデータに換算される前のRGBデータに基づき算出された血行量データを、相対的なRGBデータに基づき算出された相対換算血行量データよりも先行して解析してもよい。また、例えば、まず、血行量データを解析して有意な相関のある成分を抽出し、相対換算血行量データに関しては、前記抽出した成分に対応する成分のみを解析することで、演算処理量を減らすことができる。
上記カメラ121は可視光領域の通常のカメラを前提としていたが、赤外線カメラを用いることもできる。この場合、赤外光を照射し、その反射波を赤外線カメラで撮像する。これにより、対象者の顔面変化等の撮影画像データを得ることができる。本発明者らにより、赤外線の反射により得られた撮影画像データから算出された血行量データと、可視光領域で撮影されたRGBデータに含まれる各画素のうちの主にR成分を用いて算出された血行量データとには相関があることが確認された。したがって、このような赤外線の反射から得られた撮影画像データを用いても、人間の脳活動を推定することができる。
なお、上記説明においては、脳活動可視化装置110が、画像データ取得手段120と、脳活動推定手段130とを備える形態としていたが、本実施形態に係る脳活動可視化装置は、このような形態に限定されるものではない。すなわち、本実施形態に係る脳活動可視化装置は、血行量算出部133、解析部134及び推定部135を含むものであれば、その他の構成については任意の形態を採り得るものである。具体的には、本実施形態に係る脳活動可視化装置は、当該装置自体が画像データを撮影する形態だけではなく、外部の装置から撮影画像データを受け取り、それを解析する形態を含むものである。
状態可視化手段200は、脳活動推定手段30及び/又は脳活動推定手段130により推定された対象者の脳活動に基づき、対象者の生理状態を表示することにより可視化する。例えば、状態可視化手段200が、対象者の脳活動量の変化を解析することで、対象者の生理状態を解析する解析部201を有していてもよい。具体的には、解析部201が、対象者に対して与えられた刺激(視覚刺激、聴覚刺激、触覚刺激、臭覚刺激或いは味覚刺激等)に対する脳活動量の変化を解析することで、対象者の生理状態を判定する。なお、生理状態の種類やレベルについては、脳活動量の上昇度合い及び/又は持続時間に基づき、脳活動可視化装置10,110の用途に応じて適宜設置可能になっていてもよい。そして、解析部201により解析された対象者の生理状態を状態可視化手段200の表示部202から管理者へと出力されることで、管理者は対象者の生理状態を知ることができる。表示部202としては、画像やメッセージを表示する表示デバイス等、解析した対象者の生理状態に関する情報を管理者に対して可視化できるものであればどのようなものであっても採用することができる。
(5−1)
本実施形態では、顔面皮膚温度取得手段20及び/又は画像データ取得手段120によって取得された時系列の顔面皮膚温度データ及び/又は顔面血行量データに基づき人間の脳活動が推定される。このため、脳波電極等の装着前に処理が必要なセンサを装着しなくても、人間の脳活動を推定することができる。したがって、簡便に人間の脳活動を推定し、推定した脳活動に基づき対象者の生理状態を可視化することができている。
ここで、時系列の顔面の皮膚温度データ及び/又は画像データが取得される際に、人間に対して実際に脳機能賦活課題が与えられたり与えられなかったりすることにより、人間の脳が賦活化したり賦活化しなかったりする状況が作られている場合、各成分の成分波形と脳の賦活時及び非賦活時との間に相関関係のある成分は、脳活動を反映した皮膚温度及び/又は血行量の変化を示す成分である可能性が高い成分であるといえる。
ここで、脳には、選択的脳冷却機構という体温とは独立して脳を冷却する仕組みがある。選択的脳冷却機構としては、脳活動によって生じた熱を前額部及び副鼻腔周辺を用いて排熱していることが知られている。そうすると、脳活動に伴う顔面皮膚温度や顔面皮膚温度に相関する顔面の血行量の変化は、前額部及び/又は副鼻腔周辺に出現することになる。
本実施形態に係る脳活動可視化装置は、機器の操縦士が対象者である場合には、その操縦士の状態を監視する「操縦士監視装置(運転者状態判定装置)」として利用できる。さらに、本実施形態において、状態可視化手段200が出力部を有している場合には、管理者は操縦士の生理状態を知ることができる。
上記実施形態又は上記変形例の操縦士監視装置(運転者状態判定装置)10,110を、自動車や建機等を操縦する運転者に対して用いる場合の一例を説明する。この場合、操縦士監視装置10,110は、操縦士としての運転者の機器操作に基づき運転者の生理状態、特に意識レベルを解析し、解析した意識レベルに応じて管理者へと意識レベルに関する情報を出力する。例えば、解析により建機等の運転者の生理状態が漫然運転状態であると判定した場合には、この情報が建機等の管理者へと出力されることで、管理者は運転者の意識レベルを認識することができる。また、状態可視化手段200が、解析した意識レベルに応じて運転者に注意を促すための報知を行う報知部203を有していてもよい。状態可視化手段200が報知部203を有している場合には、例えば、意識レベルが一定以下に低下した場合に、自動車や建機等の運転者に対して注意喚起が行われる。より具体的には、通常の機器操作時における脳活動量の変化(上昇度合い及びその継続時間)を記録し、この通常時における脳活動量の変化(上昇度合い及び/又はその継続時間)を所定量以上下回った場合には、集中度が低下したと見なされ、報知部203より音声やブザー音等が発せられる。これにより、運転者に対して注意喚起を促すことができる。このように、操縦士監視装置10,110を、運転者を監視するために用いた場合、顔面皮膚温度取得手段や画像データ取得手段等の操縦士に非接触な手段を用いて運転者の生理状態が監視され、生理状態が管理者及び/又は運転者へと出力されることで、居眠り運転や脇見運転等の発生を抑制することができる。
上記実施形態又は上記変形例の操縦士監視装置(運転者状態判定装置)10,110を、航空機やその訓練装置を操縦するパイロットに対して用いる場合の一例を説明する。この場合、操縦士監視装置10,110は、操縦士としてのパイロットの生理状態、特に意識レベルを解析し、解析した意識レベルに応じて管理者へと意識レベルに関する情報を出力する。例えば、解析によりパイロットの生理状態が意識のない状態(例えば、失神状態)であると判定した場合には、この情報が航空機等の管理者へと出力されることで、管理者はパイロットの意識レベルを認識することができる。また、例えば、状態可視化手段200においてパイロットの生理状態が失神状態であると判定された時に、手動操縦から自動操縦へと切り換えられる構成になっていてもよい。このように、操縦士監視装置10,110を、パイロットを監視するために用いた場合、顔面皮膚温度取得手段や画像データ取得手段等の操縦士に非接触な手段を用いてパイロットの生理状態が監視され、生理状態が管理者へと出力されることで、パイロットが意識を失った状態で操縦が継続されるのを抑制することができる。
次に、本発明に係る脳活動可視化装置を応用した運転者状態判定装置について説明する。
(6−1−1)運転者状態判定装置400の構成
図23は第1実施形態に係る運転者状態判定装置400の一例を示す模式図である。
図25は第1実施形態に係る運転者状態判定装置400の動作を示すフローチャートである。
(6−1−3−1)
以上説明したように、第1実施形態に係る運転者状態判定装置400は、脳機能賦活情報提供部441と、顔面変化情報取得部442と、顔面変化情報分解部443と、判定用成分抽出部444と、運転者状態判定部445と、を備える。脳機能賦活情報提供部441は、機器350を運転する対象者300に、人間の脳機能を賦活する「脳機能賦活情報」を提供する。顔面変化情報取得部442は、対象者300の顔面データの時系列変化を示す「顔面変化情報」を取得する。顔面変化情報分解部443は、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分1,2,3,・・・に分解する。判定用成分抽出部444は、複数の成分1,2,3,・・・から、脳機能賦活情報と関連する成分を「判定用成分」として抽出する。運転者状態判定部445は、判定用成分に基づいて、機器350を運転する対象者300の運転者状態を判定する。
また、第1実施形態に係る運転者状態判定装置400は、顔面変化情報取得部442が、顔面データとして、対象者300の、副鼻腔周辺及び/又は前額部のデータを取得するので、脳活動と関連する判定用成分を高精度に抽出できる。ここで、脳には、選択的脳冷却機構(Selective Brain Cooling System)という体温とは独立して脳を冷却する仕組みがある。選択的脳冷却機構としては、脳活動によって生じた熱を、副鼻腔及び前額部周辺を用いて排熱していることが知られている。よって、これらの部位のデータを解析することで脳活動と関連する成分を高精度に抽出できる。結果として、第1実施形態に係る運転者状態判定装置400は、運転者状態判定を高精度に実行することができる。
また、第1実施形態に係る運転者状態判定装置400は、顔面変化情報取得部442が、顔面データとして、対象者300の顔面の皮膚温度を示す顔面皮膚温度データを取得する。換言すると、運転者状態判定装置400は、赤外線カメラ等を利用して運転者状態を判定できるものである。例えば、図27に示すように、撮像部415に赤外線カメラ415aを用いることにより、周囲の明るさに影響を受けることなく、運転者状態判定が可能となる。特に、自動車の場合は夜間に不注意運転が生じやすい。このような場面においても、第1実施形態に係る運転者状態判定装置400に赤外線カメラ415aを搭載することで、夜間での運転者状態の監視が可能となる。また、赤外線カメラ415aの使用は、トンネルの有無に関わらずに運転者状態を判定できるというメリットもある。
また、第1実施形態に係る運転者状態判定装置400は、顔面変化情報取得部442が、顔面データとして、対象者300の顔面のRGBデータに基づく顔面血行量データを取得する。すなわち、運転者状態判定装置400は、固体撮像素子(CCD,CMOS)を利用して運転者状態を判定できる。これにより、運転者状態判定を簡易な構成で実行することができる。
また、第1実施形態に係る運転者状態判定装置400は、判定用成分抽出部444が、危険率の値に基づいて、判定用成分を抽出する。運転者状態判定装置400では、危険率の値に基づいて、脳機能賦活情報と関連する判定用成分を抽出するので、運転者状態判定の信頼性を高めることができる。
また、第1実施形態に係る運転者状態判定装置400は、脳機能賦活情報に対して算出される判定用成分の相関値r2の、脳機能賦活情報に対して算出された基準判定用成分の基準相関値r1からの所定範囲の変化量Δrを、運転者状態レベルに関連付けて「判定情報」として記憶する判定情報データベース432を備える。そして、運転者状態判定部445が、脳機能賦活情報に対する判定用成分の相関値r2を算出し、算出した相関値r2及び判定情報に基づいて、対象者300の運転者状態を容易に判定できる。
また、第1実施形態に係る運転者状態判定装置400は、対象者300が運転する機器350が、自動車、鉄道車両、及び飛行機等の交通機器、並びに、原子力発電機器、各種プラントを含むその他の自動機械である。したがって、第1実施形態に係る運転者状態判定装置400では、これらの自動機械を運転する対象者300の運転者状態を判定できる。
第1実施形態に係る運転者状態判定方法は、必ずしも運転者状態判定装置400を必要とするものではない。すなわち、本実施形態に係る運転者状態判定方法は、運転者状態判定装置400の有無に関わらず、所定のタイミングで、人間の脳機能を賦活する「脳機能賦活情報」を対象者300に提供する脳機能賦活情報提供ステップと、その後に、対象者300の顔面データの時系列変化を示す「顔面変化情報」を取得する顔面変化情報取得ステップと、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する顔面変化情報分解ステップと、複数の成分から、脳機能賦活情報と関連する成分を「判定用成分」として抽出する判定用成分抽出ステップと、判定用成分に基づいて、機器350を運転する対象者300の運転者状態を判定する運転者状態判定ステップと、を備えるものであればよい。
本実施形態に係る運転者状態判定装置400は、図28に示すように、ネットワーク上に設けられた判定情報提供装置500等を利用するものでもよい。
(6−2−1)運転者状態判定装置400Aの構成
以下、既に説明した部分と同一の部分には略同一の符号を付し、重複した説明を省略する。他の実施形態と区別するために、本実施形態では異なる構成に添え字Aを付すことがある。
図31は第2実施形態に係る運転者状態判定装置400Aの動作を示すフローチャートである。
(6−2−3−1)
以上説明したように、第2実施形態に係る運転者状態判定装置400Aは、脳機能賦活情報検知部441Aと、顔面変化情報取得部442と、顔面変化情報分解部443と、判定用成分抽出部444と、運転者状態判定部445と、を備える。脳機能賦活情報検知部441Aは、脳機能賦活情報提供物600から、人間の脳機能を賦活する「脳機能賦活情報」を検知する。顔面変化情報取得部442は、対象者300の顔面データの時系列変化を示す「顔面変化情報」を取得する。顔面変化情報分解部443は、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分1,2,3,・・・に分解する。判定用成分抽出部444は、複数の成分1,2,3,・・・から、脳機能賦活情報と関連する成分を「判定用成分」として抽出する。運転者状態判定部445は、判定用成分に基づいて、機器350を運転する対象者300の運転者状態を判定する。
第2実施形態に係る運転者状態判定方法は、必ずしも運転者状態判定装置400Aを必要とするものではない。すなわち、本実施形態に係る運転者状態判定方法は、運転者状態判定装置400Aの有無に関わらず、所定のタイミングで、人間の脳機能を賦活する「脳機能賦活情報」を脳機能賦活情報提供物600から検知する脳機能賦活情報検知ステップと、その後に、対象者300の顔面データの時系列変化を示す「顔面変化情報」を取得する顔面変化情報取得ステップと、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する顔面変化情報分解ステップと、複数の成分から、脳機能賦活情報と関連する成分を「判定用成分」として抽出する判定用成分抽出ステップと、判定用成分に基づいて、機器350を運転する対象者300の運転者状態を判定する運転者状態判定ステップと、を備えるものであればよい。
その他、第2実施形態においても、第1実施形態の(6−1−3)で説明した特徴と同様の特徴を有する。
第2実施形態に係る運転者状態判定装置400Aは、図32に示すように、ネットワーク上に設けられた判定情報提供装置500等を利用するものでもよい。
(6−3−1)運転者状態判定装置400Bの構成
以下、既に説明した部分と同一の部分には略同一の符号を付し、重複した説明を省略する。他の実施形態と区別するために、本実施形態では異なる構成に添え字Bを付すことがある。
図35は第2実施形態に係る運転者状態判定装置400Bの動作を示すフローチャートである。
(6−3−3−1)
以上説明したように、第3実施形態に係る運転者状態判定装置400Bは、脳活動関連変化量抽出部441Bと、顔面変化情報取得部442と、顔面変化情報分解部443と、判定用成分抽出部444と、運転者状態判定部445と、を備える。脳活動関連変化量抽出部441Bは、変化量検出装置700から、機器350に対する所定の操作により生じる所定の変化量を取得する。そして、脳活動関連変化量抽出部441Bは、取得した変化量のうち、人間の脳活動に関連する変化量を「脳活動関連変化量」として抽出する。顔面変化情報取得部442は、対象者300の顔面データの時系列変化を示す「顔面変化情報」を取得する。顔面変化情報分解部443は、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分1,2,3,・・・に分解する。判定用成分抽出部444は、複数の成分1,2,3,・・・から、脳活動関連変化量と関連する成分を「判定用成分」として抽出する。運転者状態判定部445は、判定用成分に基づいて、機器350を運転する対象者300の運転者状態を判定する。
第3実施形態に係る運転者状態判定方法は、必ずしも運転者状態判定装置400Bを必要とするものではない。すなわち、本実施形態に係る運転者状態判定方法は、運転者状態判定装置400Bの有無に関わらず、所定のタイミングで、機器350に対する所定の操作により生じる所定の変化量を検出する機器変化量検出ステップと、機器変化量検出ステップにより検出された変化量から、機器350を操作する対象者300の脳活動に関連する変化量を「脳活動関連変化量」として抽出する脳活動関連変化量抽出ステップと、対象者300の顔面データの時系列変化を示す「顔面変化情報」を取得する顔面変化情報取得ステップと、顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分1,2,3,・・・に分解する顔面変化情報分解ステップと、複数の成分1,2,3,・・・から、脳活動関連変化量に関連する成分を「判定用成分」として抽出する判定用成分抽出ステップと、判定用成分に基づいて、機器350を運転する対象者300の運転者状態を判定する運転者状態判定ステップと、を備えるものであればよい。
その他、第3実施形態においても、第1実施形態の(6−1−3)で説明した特徴と同様の特徴を有する。
第3実施形態に係る運転者状態判定装置400Bは、図36に示すように、ネットワーク上に設けられた判定情報提供装置500等を利用するものでもよい。
(6−3−5−1)
図38は、機器350を「自動車」とし、所定の操作を「急ブレーキ」としたときの、判定用成分の変化を示す図である。実線が急ブレーキの変化を示し、点線が判定用成分の変化を示している。なお、判定用成分は紅斑指数から算出したものである。図38に示されるように、急ブレーキと判定用成分とには相関があることが特定された。したがって、ブレーキの変化量に基づいて運転者状態を判定できることが確認された。
図39は、機器350を「自動車」とし、所定の操作を「タッピング」としたときの、判定用成分の変化を示す図である。(b)の部分がタッピング動作をしている状態を示し、(a)の部分が判定用成分の変化を示している。ここでは、タッピング動作として、右手親指で小指から人差し指までを順にタッチする動作を採用した。また、判定用成分は紅斑指数から算出したものである。図39に示されるように、タッピングと判定用成分とには相関があることが特定された。したがって、タッピングの変化量に基づいて運転者状態を判定できることが確認された。
第4実施形態に係る運転者状態判定装置は、第1実施形態〜第3実施形態に係る運転者状態判定装置を組み合わせたものである。これにより、図40に示すように各種の自動機械に対する運転者状態を判定できる。
350 機器
400 運転者状態判定装置
400A 運転者状態判定装置
400B 運転者状態判定装置
410 入力部
415 撮像部
416 周辺情報取得部
420 出力部
430 記憶部
431 脳機能賦活情報データベース
432 判定情報データベース
440 処理部
440A 処理部
440B 処理部
441 脳機能賦活情報提供部
441A 脳機能賦活情報検知部
441B 脳活動関連変化量抽出部
442 顔面変化情報取得部
443 顔面変化情報分解部
444 判定用成分抽出部
445 運転者状態判定部
500 判定情報提供装置
530 記憶部
532 判定情報データベース
540 処理部
600 脳機能賦活情報提供物
700 変化量検出装置
Claims (19)
- 対象者の顔面データの時系列変化を示す顔面変化情報を取得する顔面変化情報取得部(20,120,415,442)と、
前記顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する顔面変化情報分解部(30,130,443)と、
前記複数の成分から抽出された判定用成分に基づいて、前記対象者の運転者状態を判定する運転者状態判定部(200,445)と、
を備える、運転者状態判定装置(10,110,400,400A,400B)。 - 機器(350)を運転する対象者(300)に、人間の脳機能を賦活する脳機能賦活情報を提供する脳機能賦活情報提供部(441)と、
前記複数の成分から、前記脳機能賦活情報と関連する成分を判定用成分として抽出する判定用成分抽出部(444)と、
をさらに備える、請求項1に記載の運転者状態判定装置(400)。 - 機器を運転する対象者に提供される、人間の脳機能を賦活する脳機能賦活情報を検知する脳機能賦活情報検知部(441A)と、
前記複数の成分から、前記脳機能賦活情報と関連する成分を判定用成分として抽出する判定用成分抽出部と、
をさらに備える、請求項1に記載の運転者状態判定装置(400A)。 - 機器(350)に対する所定の操作により生じる所定の変化量から、人間の脳活動に関連する変化量を脳活動関連変化量として抽出する脳活動関連変化量抽出部(441B)と、
前記複数の成分から、前記脳活動関連変化量と関連する成分を判定用成分として抽出する判定用成分抽出部と、
をさらに備える、請求項1に記載の運転者状態判定装置(400B)。 - 前記判定用成分抽出部は、危険率の値に基づいて、前記判定用成分を抽出する、
請求項2から4いずれか1項に記載の運転者状態判定装置。 - 脳機能賦活情報又は脳活動関連変化量に対して算出される判定用成分の相関値の、前記脳機能賦活情報又は前記脳活動関連変化量に対して算出された基準判定用成分の基準相関値からの所定範囲の変化量を、運転者状態レベルに関連付けて判定情報として記憶する判定情報記憶部(432)をさらに備え、
前記運転者状態判定部が、前記脳機能賦活情報又は前記脳活動関連変化量に対する前記判定用成分の相関値を算出し、算出した相関値及び前記判定情報に基づいて、前記対象者の運転者状態レベルを判定する、
請求項2から5のいずれか1項に記載の運転者状態判定装置。 - ネットワーク上の判定情報提供装置(500)が、脳機能賦活情報又は脳活動関連変化量に対して算出される判定用成分の相関値の、前記脳機能賦活情報又は前記脳活動関連変化量に対して算出された基準判定用成分の基準相関値からの所定範囲の変化量を、運転者状態レベルに関連付けて判定情報として記憶する判定情報記憶部(532)を備え、
前記運転者状態判定部が、前記脳機能賦活情報又は前記脳活動関連変化量に対する判定用成分の相関値を算出し、算出した相関値及び前記判定情報に基づいて、前記対象者の運転者状態レベルを判定する、
請求項2から6のいずれ1項に記載の運転者状態判定装置。 - 前記機器は、自動車、鉄道車両、飛行機、原子力発電機器、各種プラントを含む自動機械である、
請求項2から7のいずれか1項に記載の運転者状態判定装置。 - 前記機器は、自動車、鉄道車両、飛行機、原子力発電機器、各種プラントを含む自動機械である、
前記脳活動関連変化量抽出部は、前記自動機械への指示信号の変化量から、前記脳活動関連変化量を抽出する、
請求項4に記載の運転者状態判定装置。 - 前記機器は、自動車、鉄道車両、及び飛行機を含む交通機器であり、
前記脳活動関連変化量抽出部は、前記交通機器の加速度の変化量から、前記脳活動関連変化量を抽出する、
請求項4に記載の運転者状態判定装置。 - 前記運転者状態判定部は、
前記複数の成分に基づき、前記対象者の脳活動を推定する脳活動推定手段と、
前記脳活動推定手段により推定された前記対象者の脳活動に基づき、前記対象者の生理状態を監視する状態監視手段(200)と、
をさらに備える、請求項1に記載の運転者状態判定装置(10,110)。 - 前記状態監視手段は、前記対象者の脳活動に基づき前記対象者の操縦に対する意識レベルを解析する解析部(201)を有する、
請求項11に記載の運転者状態判定装置。 - 前記状態監視手段は、前記解析部により解析された前記意識レベルが一定以下に低下した場合に、前記対象者に注意を促すための報知を行う報知部(203)を有する、
請求項12に記載の運転者状態判定装置。 - 前記対象者の操縦する機器を管理する管理者が、前記対象者の生理状態に関する情報を取得するための情報取得手段(202)、を備える、
請求項11から13のいずれか1項に記載の運転者状態判定装置。 - 機器(350)を運転する対象者(300)に、人間の脳機能を賦活する脳機能賦活情報を提供する脳機能賦活情報提供ステップ、機器を運転する対象者に提供される、人間の脳機能を賦活する脳機能賦活情報を検知する脳機能賦活情報検知ステップ、又は、機器(350)に対する所定の操作により生じる所定の変化量を検出する機器変化量検出ステップ、及び前記機器変化量検出ステップにより検出された変化量から、前記機器を運転する対象者(300)の脳活動に関連する変化量を脳活動関連変化量として抽出する脳活動関連変化量抽出ステップと、
前記対象者の顔面データの時系列変化を示す顔面変化情報を取得する顔面変化情報取得ステップと、
前記顔面変化情報を、特異値分解、主成分分析或いは独立成分分析により複数の成分に分解する顔面変化情報分解ステップと、
前記複数の成分から、前記脳機能賦活情報又は前記脳活動関連変化量に関連する成分を判定用成分として抽出する判定用成分抽出ステップと、
前記判定用成分に基づいて、前記対象者の運転者状態を判定する運転者状態判定ステップと、
を備える、運転者状態判定方法。 - 脳機能賦活情報又は脳活動関連変化量に対して算出される判定用成分の相関値の、前記脳機能賦活情報又は前記脳活動関連変化量に対して算出された基準判定用成分の基準相関値からの所定範囲の変化量が、運転者状態レベルに関連付けられて判定情報として判定情報記憶部(432,532)に記憶されており、
前記運転者状態判定ステップで、前記脳機能賦活情報又は前記脳活動関連変化量に対する前記判定用成分の相関値を算出し、算出した相関値及び前記判定情報に基づいて、前記対象者の運転者状態レベルを判定する、
請求項15に記載の運転者状態判定方法。 - 所定のタイミングで、前記脳機能賦活情報検知ステップ、前記脳機能賦活情報提供ステップ、又は、前記機器変化量検出ステップ及び前記脳活動関連変化量抽出ステップ、並びに、前記顔面変化情報取得ステップ、前記顔面変化情報分解ステップ、及び前記判定用成分抽出ステップを実行し、前記脳機能賦活情報又は前記脳活動関連変化量に関連する成分を基準判定用成分として抽出する、
請求項16に記載の運転者状態判定方法。 - 前記判定情報記憶部(532)は、ネットワーク上の判定情報提供装置(500)に格納されており、
前記運転者状態判定ステップが、前記運転者状態レベルを判定する際に、前記判定情報提供装置にアクセスする、
請求項16又は17に記載の運転者状態判定方法。 - 前記基準相関値は、前記対象者以外の者に、前記脳機能賦活情報を提供して得られた基準判定用成分に基づいて算出されるものである、又は正常運転時の脳活動関連変化量から得られた基準判定用成分に基づいて算出されるものである、
請求項18に記載の運転者状態判定方法。
Applications Claiming Priority (6)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015203355 | 2015-10-15 | ||
JP2015203355 | 2015-10-15 | ||
JP2016038480 | 2016-02-29 | ||
JP2016038482 | 2016-02-29 | ||
JP2016038482 | 2016-02-29 | ||
JP2016038480 | 2016-02-29 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017157482A Division JP2017200632A (ja) | 2015-10-15 | 2017-08-17 | 運転者状態判定装置及び運転者状態判定方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017153936A JP2017153936A (ja) | 2017-09-07 |
JP6196361B2 true JP6196361B2 (ja) | 2017-09-13 |
Family
ID=58517267
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016203571A Active JP6196361B2 (ja) | 2015-10-15 | 2016-10-17 | 運転者状態判定装置及び運転者状態判定方法 |
JP2017157482A Ceased JP2017200632A (ja) | 2015-10-15 | 2017-08-17 | 運転者状態判定装置及び運転者状態判定方法 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017157482A Ceased JP2017200632A (ja) | 2015-10-15 | 2017-08-17 | 運転者状態判定装置及び運転者状態判定方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US10733426B2 (ja) |
EP (1) | EP3363353B1 (ja) |
JP (2) | JP6196361B2 (ja) |
CN (1) | CN108135497B (ja) |
WO (1) | WO2017065315A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017200632A (ja) * | 2015-10-15 | 2017-11-09 | ダイキン工業株式会社 | 運転者状態判定装置及び運転者状態判定方法 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3424408B1 (en) * | 2016-02-29 | 2022-05-11 | Daikin Industries, Ltd. | Fatigue state determination device and fatigue state determination method |
JP7095200B2 (ja) * | 2017-11-09 | 2022-07-05 | 国立大学法人豊橋技術科学大学 | 信号検出装置 |
US11273836B2 (en) * | 2017-12-18 | 2022-03-15 | Plusai, Inc. | Method and system for human-like driving lane planning in autonomous driving vehicles |
JP7014129B2 (ja) * | 2018-10-29 | 2022-02-01 | オムロン株式会社 | 推定器生成装置、モニタリング装置、推定器生成方法及び推定器生成プログラム |
JP2021146050A (ja) * | 2020-03-23 | 2021-09-27 | 株式会社エヌ・ティ・ティ・データ | 情報処理装置及び集中力向上システム |
JP7552522B2 (ja) | 2021-07-21 | 2024-09-18 | 横河電機株式会社 | 情報処理装置、検出方法および検出プログラム |
WO2024168162A1 (en) * | 2023-02-08 | 2024-08-15 | The Methodist Hospital | System and method for consciousness, unconsciousness, or sentience measurement or assessment |
Family Cites Families (25)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5689241A (en) * | 1995-04-24 | 1997-11-18 | Clarke, Sr.; James Russell | Sleep detection and driver alert apparatus |
US6092058A (en) * | 1998-01-08 | 2000-07-18 | The United States Of America As Represented By The Secretary Of The Army | Automatic aiding of human cognitive functions with computerized displays |
US7319780B2 (en) * | 2002-11-25 | 2008-01-15 | Eastman Kodak Company | Imaging method and system for health monitoring and personal security |
JP2008220602A (ja) * | 2007-03-12 | 2008-09-25 | Toyota Motor Corp | 心理状態緩和装置 |
US8069125B2 (en) * | 2007-12-13 | 2011-11-29 | The Invention Science Fund I | Methods and systems for comparing media content |
CN101642376B (zh) * | 2008-08-04 | 2012-02-08 | 南京大学 | 疲劳检测装置及方法 |
US8989854B2 (en) * | 2008-08-21 | 2015-03-24 | International Business Machines Corporation | Retrieving mental images of faces from the human brain |
JP5446443B2 (ja) * | 2009-05-15 | 2014-03-19 | 日産自動車株式会社 | 心拍数測定装置および心拍数測定方法 |
CN102163362B (zh) * | 2010-02-22 | 2013-03-20 | 谢国华 | 一种防酒后驾驶和安全健康行车方法 |
JP2013176406A (ja) * | 2010-05-27 | 2013-09-09 | Hitachi Ltd | 脳機能計測装置 |
US9642536B2 (en) * | 2010-06-07 | 2017-05-09 | Affectiva, Inc. | Mental state analysis using heart rate collection based on video imagery |
US20150099987A1 (en) * | 2010-06-07 | 2015-04-09 | Affectiva, Inc. | Heart rate variability evaluation for mental state analysis |
JP5672144B2 (ja) * | 2011-05-20 | 2015-02-18 | 富士通株式会社 | 心拍数・呼吸数検出装置,方法およびプログラム |
FR2989181B1 (fr) * | 2012-04-04 | 2015-03-27 | Eurocopter France | Procede et dispositif d'adaptation de l'interface homme-machine d'un aeronef selon le niveau de l'etat fonctionnel du pilote |
US20140121540A1 (en) * | 2012-05-09 | 2014-05-01 | Aliphcom | System and method for monitoring the health of a user |
US9789869B2 (en) * | 2012-11-02 | 2017-10-17 | Toyota Jidosha Kabushiki Kaisha | Driving support apparatus and driving support method |
CN104780834B (zh) * | 2012-11-12 | 2016-12-28 | 阿尔卑斯电气株式会社 | 生物体信息计测装置及使用该装置的输入装置 |
JP2014100227A (ja) * | 2012-11-19 | 2014-06-05 | Toyota Motor Corp | 集中度推定装置、集中度推定方法、運転支援装置及び運転支援方法 |
US9375145B2 (en) * | 2012-12-19 | 2016-06-28 | Elwha Llc | Systems and methods for controlling acquisition of sensor information |
US9509818B2 (en) * | 2013-09-17 | 2016-11-29 | Empire Technology Development Llc | Automatic contacts sorting |
JP6372388B2 (ja) * | 2014-06-23 | 2018-08-15 | 株式会社デンソー | ドライバの運転不能状態検出装置 |
JP5981506B2 (ja) * | 2014-09-01 | 2016-08-31 | ダイキン工業株式会社 | 脳活動推定装置 |
US10242713B2 (en) * | 2015-10-13 | 2019-03-26 | Richard A. ROTHSCHILD | System and method for using, processing, and displaying biometric data |
CN108135497B (zh) * | 2015-10-15 | 2021-12-10 | 大金工业株式会社 | 驾驶员状态判定装置及驾驶员状态判定方法 |
WO2017150576A1 (ja) * | 2016-02-29 | 2017-09-08 | ダイキン工業株式会社 | 判定結果出力装置、判定結果提供装置、及び判定結果出力システム |
-
2016
- 2016-10-17 CN CN201680060208.XA patent/CN108135497B/zh active Active
- 2016-10-17 WO PCT/JP2016/080754 patent/WO2017065315A1/ja active Application Filing
- 2016-10-17 US US15/767,965 patent/US10733426B2/en active Active
- 2016-10-17 JP JP2016203571A patent/JP6196361B2/ja active Active
- 2016-10-17 EP EP16855566.2A patent/EP3363353B1/en active Active
-
2017
- 2017-08-17 JP JP2017157482A patent/JP2017200632A/ja not_active Ceased
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017200632A (ja) * | 2015-10-15 | 2017-11-09 | ダイキン工業株式会社 | 運転者状態判定装置及び運転者状態判定方法 |
Also Published As
Publication number | Publication date |
---|---|
WO2017065315A1 (ja) | 2017-04-20 |
CN108135497B (zh) | 2021-12-10 |
US20180307902A1 (en) | 2018-10-25 |
US10733426B2 (en) | 2020-08-04 |
EP3363353A1 (en) | 2018-08-22 |
CN108135497A (zh) | 2018-06-08 |
EP3363353A4 (en) | 2019-08-14 |
EP3363353B1 (en) | 2022-08-03 |
JP2017153936A (ja) | 2017-09-07 |
JP2017200632A (ja) | 2017-11-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6196361B2 (ja) | 運転者状態判定装置及び運転者状態判定方法 | |
JP6196402B2 (ja) | 判定結果出力装置、判定結果提供装置、及び判定結果出力システム | |
US11786165B2 (en) | Physiological state determination device | |
JP5981506B2 (ja) | 脳活動推定装置 | |
US10709338B2 (en) | Useful information presentation device | |
JP7111450B2 (ja) | 脳活動推定装置 | |
JP6463392B2 (ja) | 疲労状態判定装置及び疲労状態判定方法 | |
JP6240289B2 (ja) | 評価装置、マーケット調査装置、及び学習評価装置 | |
JP6093422B1 (ja) | 脳年齢提示装置 | |
JP6158887B2 (ja) | 有用情報提示装置 | |
JP6096857B1 (ja) | 感情判定装置 | |
JP2017086992A (ja) | 感情判定装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20161026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20161020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20161227 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170817 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6196361 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |