JP4739407B2 - 運転者の精神状態検出装置 - Google Patents

運転者の精神状態検出装置 Download PDF

Info

Publication number
JP4739407B2
JP4739407B2 JP2008507458A JP2008507458A JP4739407B2 JP 4739407 B2 JP4739407 B2 JP 4739407B2 JP 2008507458 A JP2008507458 A JP 2008507458A JP 2008507458 A JP2008507458 A JP 2008507458A JP 4739407 B2 JP4739407 B2 JP 4739407B2
Authority
JP
Japan
Prior art keywords
driver
mental state
state
imaging
heart rate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008507458A
Other languages
English (en)
Other versions
JPWO2007111223A1 (ja
Inventor
雅俊 柳平
光男 安士
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Pioneer Corp
Original Assignee
Pioneer Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pioneer Corp filed Critical Pioneer Corp
Priority to JP2008507458A priority Critical patent/JP4739407B2/ja
Publication of JPWO2007111223A1 publication Critical patent/JPWO2007111223A1/ja
Application granted granted Critical
Publication of JP4739407B2 publication Critical patent/JP4739407B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Psychiatry (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Developmental Disabilities (AREA)
  • Biophysics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Educational Technology (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
  • Traffic Control Systems (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)

Description

本発明は、車両や船舶等のハンドルを操作する運転者の精神状態を検出する運転者の精神状態検出装置に関する。
従来から、車両や船舶の運転者の居眠り運転による事故防止のために、ハンドルに電極を設け、運転者の手がその電極に触れているときの心拍数を計測し、異常な心拍数を計測したときに、警報を発生するものが提案されている(例えば、特許文献1参照)。
これによれば、ハンドルの電極から得られた心拍数データを、左右それぞれに設置した電極に片手でなく両手を触れた場合にのみCPUへ入力可能にして、心拍数が異常であると判断したとき、警報機を作動させることができる。
また、車両の走行中に運転者の精神状態を、運転者の心拍情報によって判定し、例えば眠気状態にあるとき、覚醒を促すメッセージを画像や音声で行うものが提案されている(例えば、特許文献2参照)。
これによれば、運転者の両手間の電位差から心電図を計測し、この波形より心拍を測定する。そして、その測定データから眠気または緊張の何れの精神状態であるかを判定し、その判定結果を表示器またはスピーカにより画像や音声にてメッセージし、所期の対応措置を促すことができる。
前記のような心拍検出では、計測中に両手保持が必要であるという使用上の制約があった。
一方、取り扱い上の煩わしさがない、カメラを使用した運転状態判定装置が提案されている(例えば、特許文献3参照)。
これは、運転者の顔の画像を撮像し、その画像中の運転者の視線を視線検出器で検出し、視線頻度分布計算手段にて所定時間内での視線分布を計算し、この視線分布から運転者の注意散漫状態(ぼんやりした状態)を判定して、警報手段により警報を発生するというものである。
特許第3727803号公報 特開2004−344269号公報 特許第3027786号公報
しかしながら、特許文献1に記載のように、眠気を感じたときや緊張状態では、通常の運転者の運転行動面から見て片手運転する状況は考えにくく、むしろ両手運転でそのような眠気や緊張状態が生じるものである。一方、片手運転を継続的に行う状況は、運転者がリラックスしている状態であったり、注意散漫状態であったりするときに生じる。
さらに、特許文献3の記載では、運転者の視線の動きから注意散漫状態を検出できるが、視線が動かない場合は、高速道路やトンネル走行中にも生じ、注意散漫の検出方法としては最適であるとは言い難い。
以上のように、従来技術においては、走行中の車両における運転者の精神状態の検出は、車両運転上の操安性を損なわずにその検出の信頼性をあげることは困難であった。
本発明が解決しようとする課題としては、走行中の車両における運転者の精神状態検出の信頼性をあげることが挙げられる。
請求項1に記載の精神状態検出装置は、車両のハンドル部に設けられた電極によって前記運転者の心拍計測を行う心拍計測手段と、前記運転者を撮像する撮像手段と、前記心拍計測手段から所定時間よりも長く正常な心拍情報が入力されている場合、前記運転者がハンドル部を両手保持していると判別し、前記所定時間よりも長く正常な心拍情報が入力されていない場合、前記運転者がハンドル部を片手保持していると判別する様子判別手段と、前記心拍計測手段または前記撮像手段からの出力に応じた前記運転者の精神状態の判別処理を実行する精神状態判別手段と、前記様子判別手段が両手保持だと判別した場合に、前記心拍計測手段からの心拍情報を前記精神状態判別手段へ出力するように切り替え、前記様子判別手段が片手保持だと判別した場合には、前記撮像手段からの撮像情報を前記精神状態判別手段へ出力するように切り替える切替手段と、を備えることを特徴とする。
以下に、本発明の実施の形態を説明する。
本発明の実施の形態は、運転者の状態を検出する複数の検出手段と、検出手段からの検出結果に基づいて運転者の様子を判別する様子判別手段と、検出手段からの検出結果に基づいて運転者の精神状態を判別する精神状態判別手段と、を備え、様子判別手段の判別結果に基づいて、検出手段から精神状態判別手段への出力を切り替える切替手段と、を備えることを特徴とする運転者の精神状態検出装置である。
これにより、運転者の様子に応じて複数の検出手段による検出結果を切り替えるので、また、精神状態をそれぞれ単独で検出する場合に比べて、精神状態検出の信頼性を高めることができる。
ここで運転者の精神状態とは、緊張感、眠気、焦燥感、疲労感、ぼんやり(注意散漫)などの状態であり、車両等の運転に特に注意を要するような状態からなる。
また、前記精神状態検出手段としては、運転者が操作するハンドルに設けられた、心拍検出用の電極などが使用される。運転者の心拍数を、この電極に手を触れることにより計測し、一定時間以上正常な心拍数が得られない場合には、片手ハンドル操作と判定可能する。
なお、運転者の行動面から見たとき、ハンドルを両手で保持している場合には、緊張や眠気を推定の対象とみなすことができる。一方、ハンドルを片手で保持している場合には、リラックス状態やぼんやり状態(注意散漫状態)を推定の対象とみなすことができる。
また、運転者の様子は、運転者の精神状態により変わるものであり、「リラックスした運転姿勢」、「疲労した運転姿勢」、「それ以外の運転姿勢」などがある。「リラックスした運転姿勢」とは、運転者が肘を窓枠の上に載せて片手でハンドル操作をしているような姿勢のことであり、「疲労した運転姿勢」とは、猫背の姿勢や反り返り姿勢などのことである。
そして、前記のような運転者の様子に応じた精神状態を検出対象にすることで、従来のように精神状態や運転者の様子をそれぞれ単独で検出する場合に比べて、精神状態検出の信頼性を高めることができる。
また、前記精神状態判別手段が、前記検出手段からの出力に応じた精神状態の判別処理を実行する。これにより、所定の精神状態判定アルゴリズムに従って運転者の精神状態を的確に把握でき、この判定結果に従って、例えば警報を発して、安全運転に寄与させることができる。
本実施形態では、前記切替手段は、前記検出手段から前記精神状態判別手段への出力を切り替えると共に、前記精神状態判別手段が実行する精神状態の判別処理を切り替えるようにしている。このため、精神状態判別アルゴリズムの切り替えによって、運転者の精神状態の判別処理を分けて実施することができる。
また、前記精神状態判別手段は、前記運転者の緊張または眠気の状態を判別する第1判別処理と、前記運転者の注意散漫状態を判別する第2判別処理と、を含むものとしている。これにより、切替手段により切り替えられた第1判別処理および第2判別処理によって、それぞれ緊張または眠気の状態判別と注意散漫状態の判別を別々に実施することができる。
また、前記検出手段は、車両のハンドル部に設けられた電極によって前記運転者の心拍計測を行う心拍計測手段と、前記運転者を撮像する撮像手段と、を備える。この構成により、運転者の現在の心拍および動態の両方に適合する運転者の精神状態を判定することができる。
また、本実施形態では、前記第1判別処理が、前記心拍計測手段による心拍情報に基づき前記運転者の緊張または眠気の状態を判別し、前記第2判別処理は、車室内に設けられた前記撮像手段による前記運転者の撮像情報から前記運転者の視線方向の分布を調べ、その分布情報に基づき前記運転者の注意散漫状態を判別するような構成である。これにより、運転者の緊張または眠気の状況を心拍情報により判別でき、運転者の注意散漫状態を撮像情報からそれぞれ的確に判別することができる。
また、本実施形態では、前記様子判別手段が、前記心拍計測手段から所定時間よりも長く正常な心拍情報が入力されている場合、前記運転者がハンドル部を両手保持していると判別し、所定時間よりも長く正常な心拍情報が入力されていない場合、前記運転者がハンドル部を片手保持していると判別するような構成である。これにより、ハンドル部の両手保持中に運転者の緊張または眠気を対象として推定することが可能になり、ハンドル部の片手保持中に運転者の注意散漫状態を対象として推定することが可能になる。
また、前記切替手段は、前記様子判別手段が両手保持だと判別した場合に、前記心拍計測手段からの心拍情報を前記精神状態判別手段へ出力するよう切り替え、前記様子判別手段が片手保持だと判別した場合には、前記撮像手段からの撮像情報を前記精神状態判別手段へ出力するように切り替える構成である。
これにより、精神状態判別手段に、運転者の両手保持時の精神状態を運転者の緊張状態または眠気状態を対象として判別させることができ、運転者の片手保持時の精神状態を運転者の注意散漫状態を対象として判定させることができる。
本実施形態では、前記精神状態判別手段が、前記運転者が猫背または反り返り姿勢を判別する第3判別処理を含む。この構成により、運転席の背中や尻下部分の圧力分布から、第3判別処理によって運転者の疲労または焦燥等の精神状態を分析することができる。
また、本実施形態では、前記第3判別処理が、運転席に設けられた圧力センサの出力により運転者の体圧分布を調べ、この分布情報に基づき運転者の疲労または焦燥を判別するような構成である。これにより、圧力センサ出力に基づき、簡単かつ安価に運転者の疲労または焦燥を判別することができる。
また、前記精神状態判別手段は、前記運転者がする深呼吸の頻度を判別する第4判別処理を含む。これにより、第4判別処理によって運転者の焦燥や疲労、あるいは緊張の精神状態を分析することができる。
また、前記第4判別処理は、車室内に設けられた前記撮像手段による前記運転者の撮像情報から深呼吸の発生頻度を調べ、その発生頻度の基づき前記運転者の疲労や焦燥、あるいは緊張の状態を判別する。これによって、撮像情報を処理することで、運転者の疲労や焦燥、あるいは緊張状態を正確に判別することができる。
また、前記精神状態判別手段は、前記運転者の頭部振動を判別する第5判別処理を含む。このため、第5判別処理によって得られる覚醒度から、運転者の眠気と注意散漫状態を推定することができる。
また、前記第5判別処理は、車室内に設けられた前記撮像手段による前記運転者の撮像情報から運転者の頭部の振動状態を調べ、その振動の回数またはレベルに基づき前記運転者の覚醒度を判別する。これによって、判別した覚醒度に基づき、運転者の眠気や注意散漫状態を推定することができる。
次に、本発明の実施の形態による運転者の精神状態検出装置の具体的な一実施例挙げ、図面を参照して詳細に説明する。
図1は、本実施例による運転者の精神状態検出装置を示すブロック図である。この精神状態検出装置10は、撮像部11と、心拍センサ12と、運転者の様子判別部13と、切替部14と、運転者の精神状態判別部15と、を備えている。
撮像部11は車室内に設置されたカメラなどにより運転者の顔および視線を撮像する。心拍センサ12は、運転者が保持して操作するハンドルに設けられ、運転者がハンドルに両手を触れている場合に、運転者の心拍を計測する。
なお、緊張や眠気状態が起こると運転者は危険を感じているものである。このため、通常は片手保持でハンドル操作を行う癖がある運転者でも、無意識のうちに両手でハンドルを保持するようになることが多い。また、リラックスした運転姿勢で運転している場合には、注意散漫状態が起こりうる。さらに、疲労した運転姿勢で運転している場合には、運転者は焦燥感や疲労感を感じていることが多い。
様子判別部(様子判別手段)13は、心拍センサ12からの心拍数情報に応じて運転者の様子を判別するものである。
切替部(切替手段)14は、様子判別部13が判別した運転者の様子に応じて、撮像部11または心拍センサ12から精神状態判別部15への出力を切り替えるとともに、精神状態判別部15が実行する精神状態の判別処理を切り替えるように機能する。この精神状態判別部(精神状態判別手段)15は、切替部14によって切り替えられた情報に応じた精神状態の判別処理を実行するように機能するものである。
次に、図2に示すフローチャートを参照しながら運転者の精神状態検出装置の動作を説明する。
まず、複数の検出手段(この場合、撮像部11,心拍センサ12)により運転者の状態をそれぞれ検出し(ステップS1)、一方、検出手段(心拍センサ12)からの検出結果に基づいて運転者の様子としてハンドルを両手保持しているか否かを判別する(ステップS2)。この様子判別結果に従って、検出手段(撮像部11,心拍センサ12)から精神状態判別部15への出力を切り替え(ステップS3)、検出手段(撮像部11,心拍センサ12)からの検出結果に基づいて運転者の精神状態を精神状態判別部15によって判別する(ステップS4)。
次に、精神状態検出装置の動作の具体例について、図3を参照しながら説明する。まず、運転者の精神状態の検出を開始する。この精神状態検出が終了するまでは(ステップS11)、ハンドルを両手保持しているかどうかを、運転者の様子として判定する(ステップS12)。この判定は、心拍センサ12からの心拍データにもとづいて様子判別部13が行う。
この様子判別部13は、ハンドルに設けられた電極から運転者の心拍が一定時間以上、正常に得られないと判断した場合には、片手保持であると判定し、撮像部11から得られた注意散漫情報に切り替えて、精神状態判別部15が運転者の精神状態が注意散漫状態であると判定する(ステップS14)。
一方、運転者がハンドルを両手保持していると判定された場合には、様子判定部13の出力に応じて精神状態を切り替えて、つまり心拍変化の情報に切り替えて、運転者の精神状態が緊張または眠気であると判定(推定する)する(ステップS13)。
このように運転者の様子に応じた精神状態を切替部14により切り替えて検出することで、精神状態を単独で検出する場合に比べて精神状態検出の信頼性を高められるという利点が得られる。
また、個人毎の特性を考慮して、運転者が注意散漫状態のときのハンドル保持の状態を学習させることによって、注意散漫状態検出時のハンドル保持条件を個人ごとに可変とすることができる。この場合には、図4に示すように、両手保持中にも注意散漫状態を検出することもある。また、眠気や緊張を検出している時間を除いて、時間を限定して行ってもよい。
この場合には、心拍センサ12の出力情報にもとづき両手保持と判定されたとき(ステップS12)、さらに心拍センサ12による心拍測定を行い(ステップS15)、この心拍数から前記のような緊張または眠気を検出する(ステップS13)。そこで、この緊張または眠気が検出されたか否かを調べ(ステップS16)、なおも緊張または眠気が検出されない場合には、撮像部11による撮像に切り替えて(ステップS17)、注意散漫状態の検出を行う(ステップS18)。
一方、ステップS12において、ハンドルが片手保持であると判定された場合には、撮像部11による撮像に切り替えて運転者の注意散漫状態を検出する(ステップS17)。そして、撮像された画像から注意散漫状態か否かを判定する(ステップS18)。これにより、個人差によらず注意散漫状態の検出精度を高めることができる。
図5は、多数(N)の精神状態を検出するための精神状態検出装置の構成を説明するための図である。この図では、運転者Dの精神状態(状態1〜状態N)ごとに、つまり眠気、緊張、注意散漫、焦燥、疲労等の各精神状態を各一のセンサS1〜SNによりそれぞれ検出している。一方、この運転者Dの様子(運転姿勢など)を様子判別用のセンサSdにより判別し、この判別結果に従ってスイッチ手段SWで切り替えたセンサS1〜SNのいずれかから得られる精神状態を分析する。
図6は、運転者の様子および運転者の精神状態と、これらの様子や状態を検出するセンサとの関係を示す説明図である。また、運転者の様子のうち、両手保持の判別は、図6に示すように、ハンドルに設けられた心拍センサ12により検出し、疲労した運転姿勢の判断は、シート部に設けられた圧力センサによって検出する。
さらに、運転者の精神状態の検出については、前記焦燥を心拍センサ12からの心拍情報のほか、車速、車速の変化、交通渋滞情報などによっても推測できる。前記のような緊張や眠気は、心拍センサ12および撮像部11から得られた視線分布情報から推測でき、注意散漫状態もまた、撮像部11から得られた視線分布情報によって推測できる。疲労は、心拍センサ12およびシート部の圧力センサから得られた圧力情報から推定できる。
なお、前記シート部に設けられる精神状態検出手段は、そのシートに設置した薄いシート状の圧力センサ(体圧分布センサ)を用いる。この圧力センサにより運転者の背中や尻下部分の圧力分布を調べることにより、あるいは運転者が猫背姿勢か反り返り姿勢かを判別することにより、疲労姿勢を判定する。この疲労した運転姿勢である場合には、疲労や焦燥等の精神状態を対象として分析を行うことになる。なお、長時間運転による疲労の推定は、姿勢の変化に伴う荷重中心位置の時間的変化を見る方法などが採用される。
前記運転者の様子には前記のほか体動がある。この体動は、例えば運転中での深呼吸および頭部の運動を伴うものである。これら体動の頻度が一定以上ある場合に、焦燥、疲労、緊張を推定することができる。深呼吸やため息などの振幅の大きい呼吸による体動は、前記焦燥、疲労、緊張などの精神状態に起因して引き起こされると考えられるからである。
前記焦燥状態の推定方法としては、前記のように車速や車速変化を心拍数変化と対応付けて推定する。具体的には、低速で断続運転している状況を渋滞状況とみなし、このとき心拍数が上昇していれば、渋滞でイライラしていると推測する。渋滞の判別には、この他にカーナビから得られる交通情報を利用してもよい。
さらに、体動の判定方法として、車両振動に同期した頭部の振動を調べてもよい。これは、覚醒度が通常以上に高いときには、運転者は身体各部の筋に力を入れて体全体を硬直させていることにより、車両の振動に同期する頭部振動が少なくなる。特に、頭部は動きの自由度が大きいため、このような差が現れやすい。このため、この振動が一定以上検出される場合には、覚醒度が落ちていると判断し、眠気、注意散漫状態を推定することができる。
次に、別の実施例として、疲労、焦燥感、緊張および眠気、注意散漫状態を推定する手順について説明する。
図7は、疲労、焦燥感、緊張および眠気、注意散漫状態を推定するフローを示す図である。図7に示すように、まず、精神状態検出が終了するまでは(ステップS20)、シート(運転席)に設置された前記圧力センサから得られる圧力データ分布にもとづき、運転者の姿勢が猫背か反り返りか否か、つまり疲労した姿勢か否かを調べる(ステップS21)。運転者の運転姿勢が猫背か、反り返りである場合(YES)には、運転者の疲労状態を検出する(ステップS22)。
一方、運転者の運転姿勢が猫背や反り返りでないと判定された場合(NO)には、撮像部11で撮像された深呼吸の頻度が一定回数以上か否かを調べ(ステップS23)、深呼吸の頻度が一定回数以上である場合(YES)には、焦燥状態や緊張状態としてこれを検出する(ステップS24)。
さらに、深呼吸の頻度が一定回数以上でない(NO:一定回数未満)と判定された場合には、続いて運転者の頭部の振動が一定量以上か否かを調べる(ステップS25)。
ステップS25の結果、頭部の振動が一定量以上の場合(YES)には、図4に示したフロー(ステップS12〜S18)と同様の手順を実行する。
即ち、心拍センサ12の出力情報にもとづき両手保持と判定されたとき(ステップS26)、さらに心拍センサ12による心拍測定を行い(ステップS27)、この心拍数から前記のような眠気を検出する(ステップS28)。そこで、この眠気が検出されたか否かを調べ(ステップS29)、なおも眠気が検出されない場合には、撮像部11による撮像に切り替えて(ステップS30)、注意散漫状態を検出する(ステップS31)。
また、ステップS25で、頭部振動が一定量未満である場合(NO)には、通常の精神状態とする。このように、運転者の様子である体動によって、運転者の精神状態の検出対象を変更する。
このようにして検出した各精神状態に対しては、例えば警報音を発生して覚醒を促したり、快適な音楽を流したり、車速を変更するなどすることにより、車両運転上の操安性を確保することができる。
以上詳述したように、本実施の形態に係る運転者の精神状態検出装置10は、運転者の状態を検出する複数の検出手段である撮像部11,心拍センサ12と、心拍センサ12からの検出結果に基づいて運転者の様子を判別する様子判別部13と、検出手段からの検出結果に基づいて運転者の精神状態を判別する精神状態判別部15と、を備え、様子判別部13の判別結果に基づいて、切替部14が撮像部11,心拍センサ12から前記精神状態判別部15への出力を切り替える。
これにより、運転者の様子に応じて複数の検出手段(撮像部11,心拍センサ12)による検出結果を切り替え出力することができるので、精神状態や運転者の様子をそれぞれ単独で検出する場合に比べて、精神状態検出の信頼性を高めることができる。よって、走行中の車両における運転者の精神状態の検出を、車両運転上の操安性を損なわずにその検出の信頼性をあげることができる。
本発明の実施例に係る運転者の精神状態検出装置を示すブロック図である。 本発明の実施例に係る基本的な精神状態検出装置の動作を示すフローチャートである。 本発明の実施例に係る具体的な精神状態検出装置の動作を示すフローチャートである。 本発明の実施例に係る他の精神状態検出装置の動作を示すフローチャートである。 多数(N)の精神状態を検出するための精神状態検出装置の構成を説明するための図である。 運転者の様子および運転者の精神状態と、これらの様子や状態を検出するセンサとの関係を示す説明図である。 疲労、焦燥感、緊張および眠気、注意散漫状態を推定する手順を示すフローチャートである。
符号の説明
10 精神状態検出装置
11 撮像部(検出手段)
12 心拍センサ(検出手段)
13 様子判別部(様子判別手段)
14 切替部(切替手段)
15 精神状態判別部(精神状態判別手段)

Claims (9)

  1. 車両のハンドル部に設けられた電極によって前記運転者の心拍計測を行う心拍計測手段と、
    前記運転者を撮像する撮像手段と、
    前記心拍計測手段から所定時間よりも長く正常な心拍情報が入力されている場合、前記運転者がハンドル部を両手保持していると判別し、前記所定時間よりも長く正常な心拍情報が入力されていない場合、前記運転者がハンドル部を片手保持していると判別する様子判別手段と、
    前記心拍計測手段または前記撮像手段からの出力に応じた前記運転者の精神状態の判別処理を実行する精神状態判別手段と、
    前記様子判別手段が両手保持だと判別した場合に、前記心拍計測手段からの心拍情報を前記精神状態判別手段へ出力するように切り替え、前記様子判別手段が片手保持だと判別した場合には、前記撮像手段からの撮像情報を前記精神状態判別手段へ出力するように切り替える切替手段と、
    を備えることを特徴とする精神状態検出装置。
  2. 前記切替手段は、前記心拍計測手段または前記撮像手段から前記精神状態判別手段への出力を切り替えると共に、前記精神状態判別手段が実行する精神状態の判別処理を切り替えることを特徴とする請求項1に記載の精神状態検出装置。
  3. 前記様子判別手段が両手保持だと判別した場合は、前記精神状態判別手段は、前記心拍計測手段による心拍情報に基づき前記運転者の緊張または眠気の状態を判別する第1判別処理を実行し、
    前記様子判別手段が片手保持だと判別した場合は、前記精神状態判別手段は、前記撮像手段による前記運転者の撮像情報から前記運転者の視線方向の分布を調べ、その分布情報に基づき前記運転者の注意散漫状態を判別する第2判別処理を実行することを特徴とする請求項2に記載の精神状態検出装置。
  4. さらに、前記精神状態判別手段は、前記運転者が猫背または反り返り姿勢を判別する第3判別処理を実行することを特徴とする請求項1〜3のいずれか一項に記載の精神状態検出装置。
  5. さらに、運転席に圧力センサを設け、前記第3判別処理は、前記圧力センサの出力により運転者の体圧分布を調べ、この分布情報に基づき運転者の疲労または焦燥を判別することを特徴とする請求項4に記載の精神状態検出装置。
  6. さらに、前記精神状態判別手段は、前記運転者がする深呼吸の頻度を判別する第4判別処理を実行することを特徴とする請求項1〜3のいずれか一項に記載の精神状態検出装置。
  7. 前記第4判別処理は、車室内に設けられた前記撮像手段による前記運転者の撮像情報から深呼吸の発生頻度を調べ、その発生頻度の基づき前記運転者の疲労や焦燥、あるいは緊張の状態を判別することを特徴とする請求項6に記載の精神状態検出装置。
  8. さらに、前記精神状態判別手段は、前記運転者の頭部振動を判別する第5判別処理を実行することを特徴とする請求項1〜3のいずれかに記載の精神状態検出装置。
  9. 前記第5判別処理は、車室内に設けられた前記撮像手段による前記運転者の撮像情報から運転者の頭部の振動状態を調べ、その振動の回数またはレベルに基づき前記運転者の覚醒度を判別することを特徴とする請求項8に記載の精神状態検出装置。
JP2008507458A 2006-03-24 2007-03-22 運転者の精神状態検出装置 Expired - Fee Related JP4739407B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008507458A JP4739407B2 (ja) 2006-03-24 2007-03-22 運転者の精神状態検出装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2006083161 2006-03-24
JP2006083161 2006-03-24
JP2008507458A JP4739407B2 (ja) 2006-03-24 2007-03-22 運転者の精神状態検出装置
PCT/JP2007/055908 WO2007111223A1 (ja) 2006-03-24 2007-03-22 運転者の精神状態検出装置および精神状態検出方法

Publications (2)

Publication Number Publication Date
JPWO2007111223A1 JPWO2007111223A1 (ja) 2009-08-13
JP4739407B2 true JP4739407B2 (ja) 2011-08-03

Family

ID=38541143

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008507458A Expired - Fee Related JP4739407B2 (ja) 2006-03-24 2007-03-22 運転者の精神状態検出装置

Country Status (3)

Country Link
US (1) US20090209829A1 (ja)
JP (1) JP4739407B2 (ja)
WO (1) WO2007111223A1 (ja)

Families Citing this family (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009089829A (ja) * 2007-10-05 2009-04-30 Denso Corp 生体状態推定装置及びプログラム並びに記録媒体
JP5065224B2 (ja) * 2008-10-20 2012-10-31 トヨタ自動車株式会社 心理状態推定装置及び心理状態推定方法
JP2010141843A (ja) * 2008-12-15 2010-06-24 Brother Ind Ltd 会議システム、通信会議支援方法、会議端末装置及びプログラム
EP2441387A4 (en) * 2009-06-08 2014-12-31 Univ Nagoya City DEVICE FOR ASSESSING SOMNOLENCE
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US10897650B2 (en) 2010-06-07 2021-01-19 Affectiva, Inc. Vehicle content recommendation using cognitive states
US10779761B2 (en) 2010-06-07 2020-09-22 Affectiva, Inc. Sporadic collection of affect data within a vehicle
US10796176B2 (en) 2010-06-07 2020-10-06 Affectiva, Inc. Personal emotional profile generation for vehicle manipulation
US10482333B1 (en) 2017-01-04 2019-11-19 Affectiva, Inc. Mental state analysis using blink rate within vehicles
US10922567B2 (en) 2010-06-07 2021-02-16 Affectiva, Inc. Cognitive state based vehicle manipulation using near-infrared image processing
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US10911829B2 (en) 2010-06-07 2021-02-02 Affectiva, Inc. Vehicle video recommendation via affect
US11151610B2 (en) * 2010-06-07 2021-10-19 Affectiva, Inc. Autonomous vehicle control using heart rate collection based on video imagery
US11292477B2 (en) 2010-06-07 2022-04-05 Affectiva, Inc. Vehicle manipulation using cognitive state engineering
US10627817B2 (en) 2010-06-07 2020-04-21 Affectiva, Inc. Vehicle manipulation using occupant image analysis
US11410438B2 (en) 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US11318949B2 (en) 2010-06-07 2022-05-03 Affectiva, Inc. In-vehicle drowsiness analysis using blink rate
US11935281B2 (en) 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US11017250B2 (en) 2010-06-07 2021-05-25 Affectiva, Inc. Vehicle manipulation using convolutional image processing
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US11823055B2 (en) 2019-03-31 2023-11-21 Affectiva, Inc. Vehicular in-cabin sensing using machine learning
US11067405B2 (en) 2010-06-07 2021-07-20 Affectiva, Inc. Cognitive state vehicle navigation based on image processing
US9934425B2 (en) 2010-06-07 2018-04-03 Affectiva, Inc. Collection of affect data from multiple mobile devices
US11704574B2 (en) * 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
US9292471B2 (en) 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US8698639B2 (en) 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
TWI434233B (zh) 2011-05-17 2014-04-11 Ind Tech Res Inst 睡意預警方法
US9256711B2 (en) 2011-07-05 2016-02-09 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for providing health information to employees via augmented reality display
US9710788B2 (en) 2011-07-05 2017-07-18 Saudi Arabian Oil Company Computer mouse system and associated, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees
US8872640B2 (en) * 2011-07-05 2014-10-28 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring health and ergonomic status of drivers of vehicles
US9492120B2 (en) 2011-07-05 2016-11-15 Saudi Arabian Oil Company Workstation for monitoring and improving health and productivity of employees
US9844344B2 (en) 2011-07-05 2017-12-19 Saudi Arabian Oil Company Systems and method to monitor health of employee when positioned in association with a workstation
US9962083B2 (en) 2011-07-05 2018-05-08 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring and improving biomechanical health of employees
US10307104B2 (en) 2011-07-05 2019-06-04 Saudi Arabian Oil Company Chair pad system and associated, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees
US9526455B2 (en) 2011-07-05 2016-12-27 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees
US10108783B2 (en) 2011-07-05 2018-10-23 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for monitoring health of employees using mobile devices
EP2729058B1 (en) 2011-07-05 2019-03-13 Saudi Arabian Oil Company Floor mat system and associated, computer medium and computer-implemented methods for monitoring and improving health and productivity of employees
DE102011110486A1 (de) * 2011-08-17 2013-02-21 Daimler Ag Verfahren und Vorrichtung zur Überwachung zumindest eines Fahrzeuginsassen und Verfahren zum Betrieb zumindest einer Assistenzvorrichtung
JP5935888B2 (ja) * 2012-07-26 2016-06-15 日産自動車株式会社 運転者疲労度推定装置及び運転者疲労度推定方法
DE102013001553A1 (de) * 2013-01-30 2014-07-31 Holger Redtel Vitalparametermessung mittels Auswertung von RR- Intervallen und der Pulswellenlaufzeit, sowie Sauerstoff- und Atemmessung, Identitätserkennung, mit handelsüblichen Kameras für Video und oder Einzelbilder, Vorzugsweise mit einem Smartphone und Folgesystemen und deren verbundenen Geräten mit und ohne Berührung, Berührungsfrei-Fernmessung
WO2014105266A1 (en) * 2012-12-31 2014-07-03 Affectiva, Inc. Optimizing media based on mental state analysis
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
TWI511092B (zh) * 2013-03-27 2015-12-01 原相科技股份有限公司 用於載人行動載具的安全監控裝置及安全監控方法
US11334066B2 (en) * 2013-03-27 2022-05-17 Pixart Imaging Inc. Safety monitoring apparatus and method thereof for human-driven vehicle
US10499856B2 (en) 2013-04-06 2019-12-10 Honda Motor Co., Ltd. System and method for biological signal processing with highly auto-correlated carrier sequences
JP6312193B2 (ja) * 2013-10-21 2018-04-18 テイ・エス テック株式会社 覚醒装置及びシート
US9722472B2 (en) 2013-12-11 2017-08-01 Saudi Arabian Oil Company Systems, computer medium and computer-implemented methods for harvesting human energy in the workplace
KR101575051B1 (ko) * 2014-06-13 2015-12-21 엘지전자 주식회사 웨어러블 디바이스 및 그 제어방법
GB201411072D0 (en) * 2014-06-20 2014-08-06 Biorics Nv Stress monitoring for individuals in moving structures
JP6274982B2 (ja) * 2014-06-23 2018-02-07 本田技研工業株式会社 運転補助装置、運転補助方法、及び運転補助プログラム
JP2016131604A (ja) * 2015-01-16 2016-07-25 セイコーエプソン株式会社 生体情報測定システム、生体情報測定装置および生体情報測定方法
JP6365423B2 (ja) * 2015-06-04 2018-08-01 マツダ株式会社 運転者状態判定方法及びその判定装置
CN107710050A (zh) 2015-06-30 2018-02-16 3M创新有限公司 照明器
JP6516187B2 (ja) * 2015-07-23 2019-05-22 パナソニックIpマネジメント株式会社 眠気判定装置、眠気判定方法、眠気判定プログラムおよび記録媒体
US9889311B2 (en) 2015-12-04 2018-02-13 Saudi Arabian Oil Company Systems, protective casings for smartphones, and associated methods to enhance use of an automated external defibrillator (AED) device
US10475351B2 (en) 2015-12-04 2019-11-12 Saudi Arabian Oil Company Systems, computer medium and methods for management training systems
US10642955B2 (en) 2015-12-04 2020-05-05 Saudi Arabian Oil Company Devices, methods, and computer medium to provide real time 3D visualization bio-feedback
US10628770B2 (en) 2015-12-14 2020-04-21 Saudi Arabian Oil Company Systems and methods for acquiring and employing resiliency data for leadership development
EP3219256A1 (en) * 2016-03-18 2017-09-20 Valeo Comfort and Driving Assistance A method for determining a vigilance state of a driver of a vehicle
US10449968B2 (en) 2016-09-23 2019-10-22 Ford Motor Company Methods and apparatus for adaptively assisting developmentally disabled or cognitively impaired drivers
JP6394674B2 (ja) * 2016-10-19 2018-09-26 マツダ株式会社 運転支援装置
JP2018089091A (ja) * 2016-12-02 2018-06-14 東京電力ホールディングス株式会社 心理状態判定装置、心理状態判定方法、及び心理状態判定プログラム
KR102287315B1 (ko) * 2017-04-14 2021-08-09 현대자동차주식회사 피로도 기반 차량 제어 장치 및 방법
US10922566B2 (en) 2017-05-09 2021-02-16 Affectiva, Inc. Cognitive state evaluation for vehicle navigation
CN110914884B (zh) * 2017-07-21 2022-08-30 索尼半导体解决方案公司 车辆控制器和车辆控制方法
US11055942B2 (en) * 2017-08-01 2021-07-06 The Chamberlain Group, Inc. System and method for facilitating access to a secured area
CA3071616A1 (en) * 2017-08-01 2019-02-07 The Chamberlain Group, Inc. System for facilitating access to a secured area
JP6944308B2 (ja) 2017-08-18 2021-10-06 ソニーセミコンダクタソリューションズ株式会社 制御装置、制御システム、および制御方法
US10824132B2 (en) 2017-12-07 2020-11-03 Saudi Arabian Oil Company Intelligent personal protective equipment
US10568578B2 (en) * 2018-02-02 2020-02-25 Lear Corporation Multi-source doppler radar system for monitoring cardiac and respiratory functions and positioning of vehicle seat occupant
US11821741B2 (en) 2018-04-17 2023-11-21 Lp-Research Inc. Stress map and vehicle navigation route
CN109674482A (zh) * 2018-12-28 2019-04-26 浙江大学 一种高速公路行车心理分析的实验设备及其方法
JP2019093175A (ja) * 2019-02-05 2019-06-20 パイオニア株式会社 眠気算出装置
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
JP7276083B2 (ja) * 2019-11-11 2023-05-18 マツダ株式会社 運転者状態推定装置
JP7342635B2 (ja) * 2019-11-11 2023-09-12 マツダ株式会社 運転者状態推定装置および運転者状態推定方法
JP2021003560A (ja) * 2020-08-26 2021-01-14 パイオニア株式会社 眠気算出装置
CN112842359B (zh) * 2021-01-25 2022-09-16 国网江苏省电力有限公司电力科学研究院 一种智能安全帽的压力、疲劳信息监测方法
DE102021201459B3 (de) * 2021-02-16 2022-06-15 Volkswagen Aktiengesellschaft Verfahren zum Unterstützen eines Fahrzeugführers eines Fahrzeugs beim Führen des Fahrzeugs, sowie elektronisches Fahrerunterstützungssystem und Fahrzeug
US12014619B2 (en) 2022-09-13 2024-06-18 Veronica Berry-Jones Pressure-sensing steering wheel cover device
US11820384B1 (en) 2023-03-14 2023-11-21 Stat Capsule Inc. Method to diagnose real time pulseless condition of a driver operating a vehicle

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004192345A (ja) * 2002-12-11 2004-07-08 Nissan Motor Co Ltd 運転者状態検出装置
JP2005517484A (ja) * 2002-02-19 2005-06-16 ボルボ テクノロジー コーポレイション 運転者注意負荷の監視と管理とを行なうシステムおよび方法
WO2005112764A1 (ja) * 2004-05-24 2005-12-01 Pioneer Corporation 生体情報検出装置
JP2005334106A (ja) * 2004-05-25 2005-12-08 Nissan Motor Co Ltd 運転者感情誘導装置
JP2006055501A (ja) * 2004-08-23 2006-03-02 Denso Corp 眠気検出装置及び方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3011358B2 (ja) * 1994-11-16 2000-02-21 パイオニア株式会社 心拍測定装置
JP3619662B2 (ja) * 1998-02-18 2005-02-09 パイオニア株式会社 生体情報検出装置
WO2000044580A1 (en) * 1999-01-27 2000-08-03 Compumedics Sleep Pty. Ltd. Vigilance monitoring system
US6879969B2 (en) * 2001-01-21 2005-04-12 Volvo Technological Development Corporation System and method for real-time recognition of driving patterns
US20020180608A1 (en) * 2001-05-04 2002-12-05 Sphericon Ltd. Driver alertness monitoring system
US8301108B2 (en) * 2002-11-04 2012-10-30 Naboulsi Mouhamad A Safety control system for vehicles
US6822573B2 (en) * 2002-01-18 2004-11-23 Intelligent Mechatronic Systems Inc. Drowsiness detection system
JP3846872B2 (ja) * 2002-06-27 2006-11-15 パイオニア株式会社 運転者精神状態情報提供システム
JP2004090724A (ja) * 2002-08-30 2004-03-25 Pioneer Electronic Corp 移動体用再生制御システム、移動体用再生制御方法並びに移動体用再生制御プログラムおよびそれを記録した記録媒体
DE10322458A1 (de) * 2003-05-16 2004-12-02 Daimlerchrysler Ag Verfahren und Vorrichtung zur Beeinflussung der Beanspruchung eines Fahrers in einem Kraftfahrzeug
JP4247055B2 (ja) * 2003-05-21 2009-04-02 株式会社デルタツーリング 運転席用座席システム
JP2005034520A (ja) * 2003-07-18 2005-02-10 Tokai Rika Co Ltd 体調監視システム
US7639146B2 (en) * 2004-09-29 2009-12-29 Baura Gail D Blink monitor for detecting blink occurrence in a living subject
US7697766B2 (en) * 2005-03-17 2010-04-13 Delphi Technologies, Inc. System and method to determine awareness
JP2006277327A (ja) * 2005-03-29 2006-10-12 Honda Motor Co Ltd 乗員状態検出装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005517484A (ja) * 2002-02-19 2005-06-16 ボルボ テクノロジー コーポレイション 運転者注意負荷の監視と管理とを行なうシステムおよび方法
JP2004192345A (ja) * 2002-12-11 2004-07-08 Nissan Motor Co Ltd 運転者状態検出装置
WO2005112764A1 (ja) * 2004-05-24 2005-12-01 Pioneer Corporation 生体情報検出装置
JP2005334106A (ja) * 2004-05-25 2005-12-08 Nissan Motor Co Ltd 運転者感情誘導装置
JP2006055501A (ja) * 2004-08-23 2006-03-02 Denso Corp 眠気検出装置及び方法

Also Published As

Publication number Publication date
US20090209829A1 (en) 2009-08-20
WO2007111223A1 (ja) 2007-10-04
JPWO2007111223A1 (ja) 2009-08-13

Similar Documents

Publication Publication Date Title
JP4739407B2 (ja) 運転者の精神状態検出装置
JP5527411B2 (ja) 車両の緊急退避装置
JP4924489B2 (ja) 状態推定装置
JP5081816B2 (ja) 車両の運転者の不注意を、運転者の特性に合わせて検出する方法及び制御ユニット
JPWO2005112764A1 (ja) 生体情報検出装置
US20110163863A1 (en) Driver's Alert System
WO2011111206A1 (ja) 生体状態判定装置
KR101926921B1 (ko) 운전자 모니터링 장치 및 방법
JP2006335277A (ja) 運転状態推定装置および運転状態推定方法
JP6236952B2 (ja) 運転支援装置および運転支援方法
JP2008068664A (ja) 車両制御装置および車両制御方法
JP2008070965A (ja) 車両制御装置および車両制御方法
JP4848997B2 (ja) 車載機器の誤操作防止装置および誤操作防止方法
JP2015033457A (ja) 運転状態推定装置及び運転状態推定方法
JP2003177079A (ja) 操舵感計測装置
JP2021017112A (ja) 運転支援装置
JP6068964B2 (ja) 人の状態推定装置およびそれを備えた輸送機器
JP2002008159A (ja) ドライバ状態判定装置
JP6344747B2 (ja) 演算処理装置及び人の状態推定方法
JP2008068665A (ja) 車両制御装置および車両制御方法
JP6820243B2 (ja) 車両、判定方法及び判定プログラム
JP2005305003A (ja) 運転状況確認装置、運転状況確認システム
JP6087171B2 (ja) 人の状態推定装置およびそれを備えた輸送機器
JP4849193B2 (ja) 車載機器の誤操作防止装置および誤操作防止方法
JP2011210103A (ja) ドライバー状態判定装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110111

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110308

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110426

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110427

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140513

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees