JP7231035B2 - 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法およびプログラム - Google Patents

眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法およびプログラム Download PDF

Info

Publication number
JP7231035B2
JP7231035B2 JP2021533914A JP2021533914A JP7231035B2 JP 7231035 B2 JP7231035 B2 JP 7231035B2 JP 2021533914 A JP2021533914 A JP 2021533914A JP 2021533914 A JP2021533914 A JP 2021533914A JP 7231035 B2 JP7231035 B2 JP 7231035B2
Authority
JP
Japan
Prior art keywords
drowsiness estimation
information
drowsiness
estimation information
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021533914A
Other languages
English (en)
Other versions
JPWO2021014939A1 (ja
Inventor
卓磨 向後
剛範 辻川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2021014939A1 publication Critical patent/JPWO2021014939A1/ja
Application granted granted Critical
Publication of JP7231035B2 publication Critical patent/JP7231035B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7203Signal processing specially adapted for physiological signals or for diagnostic purposes for noise prevention, reduction or removal
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165Evaluating the state of mind, e.g. depression, anxiety
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20Workers
    • A61B2503/22Motor vehicles operators, e.g. drivers, pilots, captains
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0242Operational features adapted to measure environmental factors, e.g. temperature, pollution
    • A61B2560/0247Operational features adapted to measure environmental factors, e.g. temperature, pollution for compensation or correction of the measured physiological value
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/029Humidity sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30196Human being; Person
    • G06T2207/30201Face
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30268Vehicle interior

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Pathology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Psychiatry (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Physiology (AREA)
  • Social Psychology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Hospice & Palliative Care (AREA)
  • Educational Technology (AREA)
  • Developmental Disabilities (AREA)
  • Child & Adolescent Psychology (AREA)
  • Ophthalmology & Optometry (AREA)
  • Psychology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Dentistry (AREA)
  • Human Computer Interaction (AREA)
  • Artificial Intelligence (AREA)
  • Traffic Control Systems (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Description

本発明は、眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法およびプログラムに関する。
人(対象者)の状態の推定に関連して、例えば特許文献1には、気分推定に係る計算負荷の軽減と、気分推定の精度との両立を図るための気分推定システムが記載されている。この気分推定システムは、心拍情報のみに基づいて、対象者の気分を第一気分値として簡易的に推定する。そして、この気分推定システムは、第一気分値が所定の設定範囲から逸脱した場合に限り、心拍情報及びその他の情報に基づいて第二気分値を推定する。
日本国特開2018-88966号公報
対象者の状態の推定の1つとして、対象者の眠気の推定が挙げられる。対象者の眠気をする際、推定精度の低下を軽減できることが好ましい。
本発明の目的の一例は、上述の課題を解決することのできる眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法およびプログラムを提供することである。
本発明の第1の態様によれば、眠気推定情報補正装置は、対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、所定の時間幅ごとにその時間幅内での閉眼割合を求めたデータを眠気推定情報として取得する眠気推定情報取得手段と、前記眠気推定情報を、前記対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する眠気推定情報補正手段と、を備える。
本発明の第2の態様によれば、眠気推定装置は、対象者の瞼の動き情報を取得する瞼動き情報取得手段と、前記瞼の動き情報と、前記対象者の周囲環境における湿度を示す湿度情報とに基づいて、前記対象者の眠気推定情報として、前記対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、所定の時間幅ごとにその時間幅内での閉眼割合を求めたデータを算出する眠気推定手段と、を備える。
本発明の第3の態様によれば、眠気推定情報補正方法は、コンピュータによって、対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、所定の時間幅ごとにその時間幅内での閉眼割合を求めたデータを眠気推定情報として取得し、前記眠気推定情報を、前記対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する、ことを含む。
本発明の第4の態様によれば、眠気推定方法は、コンピュータによって、対象者の瞼の動き情報を取得し、前記瞼の動き情報と、前記対象者の周囲環境における湿度を示す湿度情報とに基づいて、前記対象者の眠気推定情報として、前記対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、所定の時間幅ごとにその時間幅内での閉眼割合を求めたデータを算出する、ことを含む。
本発明の第5の態様によれば、プログラムは、コンピュータに、対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、所定の時間幅ごとにその時間幅内での閉眼割合を求めたデータを眠気推定情報として取得し、前記眠気推定情報を、前記対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する、ことを実行させるプログラムである。
本発明の第6の態様によれば、プログラムは、コンピュータに、対象者の瞼の動き情報を取得し、前記瞼の動き情報と、前記対象者の周囲環境における湿度を示す湿度情報とに基づいて、前記対象者の眠気推定情報として、前記対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、所定の時間幅ごとにその時間幅内での閉眼割合を求めたデータを算出する、ことを実行させるプログラムである。
この発明の実施形態によれば、対象者の眠気を推定する際、推定精度の低下を軽減できる。
第1実施形態に係る覚醒度制御システムの機能構成の例を示す概略ブロック図である。 第1実施形態に係る眠気推定装置および眠気推定情報補正装置におけるデータの入出力の例を示す図である。 第1実施形態に係る眠気推定情報補正装置の機能構成の例を示す概略ブロック図である。 第1実施形態に係る眠気推定情報補正部が連続値の補正後眠気推定情報を出力する場合の、補正の例を示す図である。 第1実施形態に係る眠気推定情報補正部が離散値の補正後眠気推定情報を出力する場合の、補正の例を示す図である。 第1実施形態に係る運転制御システムの例を示す図である。 第1実施形態に係る警報システムの例を示す図である。 第2実施形態に係る眠気推定装置の例を示す図である。 第2実施形態に係る眠気推定装置におけるデータの入出力の例を示す図である。 第2実施形態に係る眠気推定装置の機能構成の例を示す機能ブロック図である。 第2実施形態に係る運転制御システムの例を示す図である。 第2実施形態に係る警報システムの例を示す図である。 実施形態に係る覚醒度制御装置の構成の例を示す図である。 実施形態に係る覚醒度特性表示装置の構成の例を示す図である。 実施形態に係る覚醒度制御方法における処理手順の例を示す図である。 実施形態に係る覚醒度特性表示方法おける処理手順の例を示す図である。 少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
以下、本発明の実施形態を説明するが、以下の実施形態は請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
<第1実施形態>
図1は、第1実施形態に係る覚醒度制御システムの機能構成の例を示す概略ブロック図である。図1に示す構成で、覚醒度制御システム1は、カメラ11と、湿度センサ12と、眠気推定装置13と、眠気推定情報補正装置14と、覚醒度制御装置15と、環境制御装置16とを備える。
覚醒度制御システム1は、人(対象者)の眠気を推定し、推定結果に基づいて対象者の覚醒度を制御する。ここでいう対象者は、眠気推定の対象となる人である。また、ここでいう覚醒度は、眠気の弱さを示す程度である。すなわち、覚醒度が高いとは、眠気が弱い(眠気が小さい)ことであり、覚醒度が低いとは、眠気が強い(眠気が大きい)ことである。
特に、覚醒度制御システム1は、対象者の周囲環境における湿度を反映させた眠気推定情報である補正後眠気推定情報を算出する。そして、覚醒度制御システム1は、得られた補正後眠気推定情報に基づいて、対象者の覚醒度を制御する。ここでいう対象者の周囲環境は、対象者が位置する空間の環境である。ここでいう環境は空間の状態のことであり、ここでいう環境には、湿度が含まれる。
ここでいう眠気推定情報は、眠気推定で推定された眠気の程度を示す情報である。眠気推定情報がとり得る値には大小関係が規定される。眠気の程度が、眠気推定情報の値の大小で示される。
例えば、眠気推定情報の値が、眠気の程度を分類するクラスうち何れか1つのクラスを示すようになっていてもよい。このように眠気推定情報の値が眠気の程度のクラスを示す場合は、眠気推定情報が離散値をとる場合の例に該当する。
あるいは、眠気推定情報が、眠気の程度を数値で示すようになっていてもよい。眠気推定情報が連続値をとる場合の例として、眠気推定情報が[0,1]など所定区間の実数値をとる場合が挙げられる。[0,1]は、0から1までの間の値であることを示す。
例えば、対象者が自動車、鉄道車両、船舶または航空機等の乗り物の運転者または操縦者である場合、対象者の周囲環境は、自動車の車内、鉄道の車内、船内、機内等、その乗り物内の環境であってもよい。あるいは、対象者の周囲環境は、運転席または操縦席の環境であるなど、その乗り物内のうちの一部の空間の環境であってもよい。
また、対象者が、室内で作業を行う作業者である場合、対象者の周囲環境は、対象者が在室する室内の環境であってもよい。あるいは、対象者の周囲環境は、対象者の席の環境であるなど、室内のうちの一部の空間の環境であってもよい。
カメラ11は、対象者の目の画像を含む画像を撮像する。
例えば、対象者が自動車、鉄道車両、船舶または航空機等の乗り物の運転者または操縦者である場合、カメラ11が運転席または操縦席の前方に、運転席または操縦席に向けて設置され、運転者または操縦者の顔を撮像するようにしてもよい。
あるいは、対象者が、室内でディスプレイ(表示装置)を見ながら作業を行う作業者である場合、カメラ11が、対象者が使用するディスプレイに設けられ、ディスプレイの前に位置する対象者の顔を撮像するようにしてもよい。
カメラ11が、動画像を撮像するようにしてもよい。あるいは、カメラ11が、例えば5秒周期など周期的に静止画像を撮像するようにしてもよい。
カメラ11が、撮像した画像を示す画像データを出力するようにしてもよい。この場合、カメラ11が出力する画像データは、対象者の瞼の動き情報の例に該当する。瞼の動き情報は、瞼の動きを示す情報である。瞼の動き情報を、瞼動き情報、または、単に動き情報とも称する。
あるいは、カメラ11が画像処理機能を有し、撮像した画像から瞼の動きの特徴量を抽出して、抽出した特徴量の時系列情報を出力するようにしてもよい。この場合、カメラ11が出力する特徴量は、対象者の瞼の動き情報の例に該当する。瞼の動きを示す特徴量(瞼の動きの特徴量)として、ある期間に目が開いている程度を示す情報、瞬きの回数を示す情報、または、目を閉じている時間を示す情報、あるいはこれらの組み合わせなど、いろいろな情報を用いることができる。このように、カメラ11が抽出する特徴量は、特定のものに限定されない。また、動き情報を抽出する処理は、カメラ11と異なる装置を用いて実現されていてもよい。
例えば、眠気推定装置13の処理の説明で後述する特徴量を、カメラ11が抽出するようにしてもよい。すなわち、カメラ11と眠気推定装置13との何れが特徴量の抽出を行うようしてもよい。
眠気推定装置13は、カメラ11が出力する対象者の瞼の動き情報に基づいて、対象者の眠気を推定する。具体的には、眠気推定装置13は、対象者の眠気推定情報を算出し出力する。上記のように、眠気推定情報は、眠気の度合いを値の大小で示す情報である。眠気が強いほど眠気推定情報の値が大きくなるように定義されていてもよい。あるいは、眠気が強いほど眠気推定情報の値が小さくなるように定義されていてもよい。
眠気推定装置13が行う処理の例について後述する。ただし、眠気推定装置13は、対象者の瞼の動きに基づいて対象者の眠気推定情報を算出するものであればよく、特定のものに限定されない。既設の眠気推定装置を眠気推定装置13として用いるようにしてもよい。
眠気推定装置13は、眠気推定情報取得部(眠気推定情報取得手段)の例に該当する。
湿度センサ12は、湿度を測定するセンサであり、湿度情報を出力する。ここでいう湿度情報は、湿度を示す情報(湿度の高さを示す情報)である。
湿度センサ12が、直近の湿度測定値そのものを湿度情報として出力するようにしてもよい。あるいは、湿度センサ12が、予め定められた時間窓Tで湿度測定値を平均した値を湿度情報として出力するなど、湿度測定値を加工した値を湿度測定値として出力するようにしてもよい。
湿度センサ12が出力する湿度情報は、対象者の周囲環境における湿度を示す情報として用いられる。
湿度センサ12の設置位置は、対象者が位置する空間の湿度を測定可能な位置であればよく、特定の位置に限定されない。湿度センサ12の設置位置が、対象者の目に近い位置であればより好ましいが、実施形態はこのような例に限定されない。
例えば、対象者が自動車、鉄道車両、船舶または航空機等の乗り物の運転者または操縦者である場合、湿度センサ12が、自動車の車内、鉄道の車内、船内、機内等、その乗り物内に設置されていてもよい。特に、湿度センサ12が、運転席または操縦席に設置されていてもよい。
また、対象者が、室内で作業を行う作業者である場合、湿度センサ12が、対象者が在室する室内に設置されていてもよい。特に、湿度センサ12が、対象者の席に設置されていてもよい。
湿度センサ12が、対象者の目の高さに設置されていてもよい。あるいは、湿度センサ12が、対象者の胸の高さに設置されていてもよい。
湿度センサ12が、相対湿度[%]を測定するようにしてもよい。あるいは、湿度センサ12が絶対湿度[g/m]を測定するようにしてもよい。
湿度センサ12は、定期的に湿度を測定して湿度情報を出力する。湿度センサ12が湿度を測定する時間間隔は特定のものに限定されない。例えば、湿度センサ12が、数分から数十分ほどの定周期で湿度を測定し、測定する毎に湿度情報を出力するようにしてもよい。
眠気推定情報補正装置14は、眠気推定装置13が算出する眠気推定情報に対して、対象者の周囲環境における湿度を反映させる補正を行う。
ここで、眠気推定の実験を行った結果、人の瞼の動きと、その人の周囲環境における湿度との間に関係があることが判明した。この関係により、周囲環境の状態によっては、眠気の推定精度が低下してしまうことが判明した。
特に、周囲環境における湿度が低い場合、目の渇きから瞼の動きが通常時よりも多くなり、実際よりも強い眠気と推定されてしまうという結果となった。
そこで、眠気推定情報補正装置14は、眠気推定装置13が算出する眠気推定情報に対して、対象者の周囲環境における湿度を反映させる補正を行う。これにより、覚醒度制御システム1では、対象者の眠気推定情報を算出する際、周囲環境の影響による推定精度の低下を軽減できる。具体的には、覚醒度制御システム1では、対象者の周囲環境における湿度の影響によって眠気の推定精度が低下することを軽減できる。
なお、瞼の動きが多くなることは、瞼が動く回数が増えること、瞼が開く程度が大きくなること(すなわち、より目を見開くこと)、瞼が動く速度が速くなること、瞬き1回あたりの瞼を閉じている時間が長くなること、のうち何れかであってもよいし、これらの組み合わせであってもよい。
図2は、眠気推定装置13および眠気推定情報補正装置14におけるデータの入出力の例を示す図である。
図2の例で、眠気推定装置13は、瞼動き情報を取得する。上述したように、眠気推定装置13が、瞼の画像を含む画像データを瞼動き情報として取得するようにしてもよい。
あるいは、眠気推定装置13が、瞼の動きの特徴量を瞼動き情報として取得するようにしてもよい。
眠気推定装置13は、取得した瞼動き情報を眠気推定モデルに適用して、眠気推定情報を算出する。眠気推定モデルは、瞼動き情報の入力に対して眠気推定情報を出力するモデルである。
眠気推定装置13が備える眠気推定モデルの表現形式は、特定の形式に限定されない。
例えば、眠気推定装置13が、数式の形式で表現された眠気推定モデルを備えるようにしてもよいが、実施形態はこのような例に限定されない。
眠気推定情報補正装置14は、眠気推定装置13が算出した眠気推定情報と、湿度情報とを取得する。眠気推定情報補正装置14が、湿度測定値そのものを湿度情報として取得するようにしてもよい。あるいは、眠気推定情報補正装置14が、湿度測定値を加工した値を湿度情報として取得するようにしてもよい。
眠気推定情報補正装置14は、取得した眠気推定情報と湿度情報とを補正モデルに適用することで、眠気推定情報に対して湿度の影響を加味する補正を行い、補正後の眠気推定情報を出力する。補正モデルは、眠気推定情報と湿度情報との入力に対して補正後の眠気推定情報を出力するモデルである。
眠気推定情報補正装置14が備える補正モデルの表現形式は、特定の形式に限定されない。例えば、眠気推定情報補正装置14が、数式の形式で表現された補正モデルを備えるようにしてもよいが、実施形態はこのような例に限定されない。
眠気推定情報補正装置14が出力する補正後の眠気推定情報を、補正後眠気推定情報と称する。
図3は、眠気推定情報補正装置14の機能構成の例を示す概略ブロック図である。図3に示す構成で、眠気推定情報補正装置14は、第1通信部110と、第1記憶部180と、第1制御部190とを備える。第1記憶部180は、補正モデル記憶部181を備える。第1制御部190は、眠気推定情報補正部191を備える。
第1通信部110は、他の装置と通信を行う。特に、第1通信部110は、眠気推定情報を眠気推定装置13から受信する。また、第1通信部110は、湿度情報を湿度センサ12から受信する。また、第1通信部110は、補正後眠気推定情報を覚醒度制御装置15へ送信する。
第1記憶部180は、各種情報を記憶する。第1記憶部180の機能は、覚醒度制御システム1が備える記憶デバイスを用いて実行される。
補正モデル記憶部181は、補正モデルを記憶する。上述したように、補正モデルは、眠気推定情報と湿度情報との入力に対して補正後の眠気推定情報を出力するモデルである。
第1制御部190は、眠気推定情報補正装置14の各部を制御して各種処理を実行する。第1制御部190の機能は、眠気推定情報補正装置14が備えるCPU(Central Processing Unit、中央処理装置)が、第1記憶部180からプログラムを読み出して実行することで実行される。
眠気推定情報補正部191は、眠気推定情報に対して湿度の影響を加味する補正を行って、補正後眠気推定情報を算出する。具体的には、眠気推定情報補正部191は、補正モデル記憶部181から補正モデルを読み出す。そして、眠気推定情報補正部191は、眠気推定装置13からの眠気推定情報と湿度センサ12からの湿度情報とを補正モデルに適用して、補正後眠気推定情報を取得する。
眠気推定情報補正部191が出力する補正後眠気推定情報は、連続値であってもよいし、離散値であってもよい。
図4は、眠気推定情報補正部191が連続値の補正後眠気推定情報を出力する場合の、補正の例を示す図である。図4のグラフの横軸は、相対湿度を示す。縦軸は、補正係数を示す。
図4は、眠気が強いほど眠気推定情報が大きい値になる場合の例を示している。また、図4の例で、補正係数値の閾値C11およびC12は、「0<C11<C12<1」と設定されている。
眠気推定情報補正部191は、湿度情報が示す湿度に図4のグラフで対応付けられている補正係数値を取得する。そして、眠気推定情報補正部191は、取得した補正係数値を眠気推定情報(補正前の値)に乗算して、補正後眠気推定情報を算出する。
図4のグラフは、補正モデルの部分の例に該当する。図4のグラフと、補正係数値を眠気推定情報に乗算する式との組み合わせは、補正モデルの例に該当する。
ここで、湿度が低い場合、対象者が目の乾きを感じて瞬きまたは目を閉じる動作を繰り返すことにより、眠気推定情報が実際の眠気(例えば、対象者が体感している眠気)よりも大きい値となる傾向にある。
そこで、眠気推定情報補正部191は、湿度が低いほど補正係数の値を小さく算出し、眠気推定情報を小さくする(眠気が弱いと推定する)ようにする。眠気推定情報補正部191による補正量(元の眠気推定情報からの減少幅)は、湿度が低いほど大きくなる。
一方、図4のグラフで、湿度がH11以下の場合は、補正係数が一定の値(C11)となっている。湿度がある程度以下に低くなると、湿度がさらに低下しても瞼の動きに対する湿度の影響は同様と考えられるためである。
また、図4のグラフで、湿度がH12以上の場合は、補正係数が一定の値(C12)となっている。湿度がある程度以上に高くなると、湿度がさらに高くなっても瞼の動きに対する湿度の影響は同様と考えられるためである。
ただし、図4に示す補正方法は一例であり、実施形態はこのような例に限定されない。例えば、図4では眠気推定情報補正部191が区分線形関数を用いて補正を行う例を示しているが、非線形関数を用いて補正を行うようにしてもよい。ここで、Eを補正前の眠気推定情報とし、E’を補正後眠気推定情報とし、Hを湿度とし、fを非線形関数として、眠気推定情報補正部191による眠気推定情報の補正を「E’=f(E,H)」と表記する。E’がEよりも小さくなり、かつ、Hが小さくなるほどE-E’が大きくなるいろいろな非線形関数fを、眠気推定情報補正部191による眠気推定情報の補正に用いることができる。
この場合も図4の例と同様、湿度が下限閾値以下の場合はE-E’の値が変化しない(補正量が変化しない)ようになっていてもよい。図4の例では、H11が下限閾値の例に該当する。
また、図4の例と同様、湿度が上限閾値以上の場合はE-E’の値が変化しない(補正量が変化しない)ようになっていてもよい。図4の例では、H12が上限閾値の例に該当する。
図5は、眠気推定情報補正部191が離散値の補正後眠気推定情報を出力する場合の、補正の例を示す図である。図5に示すデータテーブルは、補正モデルの例に該当する。
図5は、湿度情報が示す湿度(相対湿度)と、眠気推定情報のクラス分けに用いる閾値との対応関係の例を示している。図5の例では、相対湿度Hが、「0%≦H<40%」の場合、閾値として、TH 、TH 、TH 、TH の4つの閾値を用いる。相対湿度Hが、「40%≦H<60%」の場合、閾値として、TH 、TH 、TH 、TH の4つの閾値を用いる。相対湿度Hが、「60%≦H≦100%」の場合、閾値として、TH 、TH 、TH 、TH の4つの閾値を用いる。
ここで、iを「1≦i≦3」を満たす整数とし、jを「1≦j≦3」を満たす整数として、TH と、THi+1 との関係は、式(1)のように示される。
Figure 0007231035000001
この閾値を眠気推定情報に適用することで、対象者の眠気は、5段階の何れかと推定される。
また、眠気が強いほど眠気推定情報が大きく算出される場合、iを「1≦i≦3」を満たす整数とし、jを「1≦j≦3」を満たす整数として、TH と、TH j+1との関係は、式(2)のように示される。
Figure 0007231035000002
これにより、補正前の眠気推定情報が示す眠気の強さが同じであれば、湿度が低いほど、補正後眠気推定情報が示す眠気の強さは弱くなる。
あるいは、眠気が強いほど眠気推定情報が小さく算出される場合は、式(2)に代えて式(3)の関係が成り立つように閾値を設定する。
Figure 0007231035000003
これにより、補正前の眠気推定情報が示す眠気の強さが同じであれば、湿度が低いほど、補正後眠気推定情報が示す眠気の強さは弱くなる。
環境制御装置16は、対象者の周囲環境における物理量を変化させる装置である。ここでの、対象者の周囲環境における物理量は、対象者の眠気に影響を及ぼす物理量であればよい。例えば、環境制御装置16が空調装置であり、対象者の周囲環境における温度(空気温度)を調整するようにしてもよい。あるいは、環境制御装置16が照明装置であり、対象者の周囲環境における明るさを調整するようにしてもよい。
覚醒度制御装置15は、環境制御装置16を制御することで、対象者の覚醒度を制御する。ここでいう覚醒度は眠気と対の概念であり、覚醒度が高いほど眠気が弱い。例えば、対象者の覚醒度が低い(眠気が強い)場合、覚醒度制御装置15が、環境制御装置16を制御して、対象者の覚醒度を高める(眠気を弱くする)ようにしてもよい。
図6は、第1実施形態に係る運転制御システムの機能構成の例を示す概略ブロック図である。図6に示す構成で、運転制御システム2は、カメラ11と、湿度センサ12と、眠気推定装置13と、眠気推定情報補正装置14と、運転制御装置21と、運転装置22とを備える。
図6の各部のうち、図1の各部に対応して同様の機能を有する部分に同一の符号(11、12、13、14)を付して説明を省略する。
運転制御システム2は、例えば自動車、鉄道車両、船舶または航空機等の乗り物の運転を制御する。具体的には、運転制御システム2は、制御対象の乗り物の運転者または操縦者を対象者として、対象者の眠気を推定する。運転制御システム2は、対象者の眠気が所定の条件以上に強いと判定した場合、対象者が眠気によって適切な運転または操縦を行えない場合に対応するように、制御対象の乗り物の制御を行う。例えば、運転制御システム2が、制御対象の乗り物の速度を制限して制動距離を短くする、あるいは、制御対象の乗り物の運転を自動運転に切り替えるようにしてもよいが、運転制御システム2による制御対象の乗り物の制御は、これらに限定されない。
運転装置22は、エンジンまたはモータなど制御対象の乗り物の駆動装置、制御対象の乗り物の制動装置(ブレーキ)、または、制御対象の乗り物の操舵装置の何れか、あるいはこれらの組み合わせを含み、運転制御装置21の制御対象となる。
運転制御装置21は、眠気推定情報補正装置14からの補正後眠気推定情報に基づいて、対象者の眠気が所定の条件以上に強いか否かを判定する。運転制御装置21が、補正後眠気推定情報と所定の閾値とを比較して、対象者の眠気が閾値以上に強いか否かを判定するようにしてもよいが、実施形態はこのような例に限定されない。
対象者の眠気が所定の条件以上に強いと判定した場合、運転制御装置21は、対象者が眠気によって適切な運転または操縦を行えない場合に対応するように、運転装置22を制御する。
例えば、運転装置22が、駆動装置または制動装置の少なくとも何れか一方を含み、運転制御装置21が、制御対象の乗り物の速度を制限するように運転装置22を制御するようにしてもよい。例えば、運転装置22が、制御対象の乗り物の速度が一定の速度またはそれ以下になるように、運転装置22を制御するようにしてもよい。あるいは、運転制御装置21が、制御対象の乗り物を減速させるように、運転装置22を制御するようにしてもよい。
あるいは、運転装置22が制動装置を含み、運転制御装置21が、制動装置をプレフィルさせるように運転装置22を制御するようにしてもよい。ここでいう制動装置をプレフィルするとは、制動装置の遊びを詰めてブレーキ動作の際の動作開始を早めることである。
あるいは、運転装置22が、制御対象の乗り物の駆動装置、制動装置および操舵装置を含み、運転制御装置21が、運転装置22を制御して制御対象の乗り物の自動運転を行うようにしてもよい。
運転制御装置21が、アンチロックブレーキシステム、自動ブレーキプレフィルシステム、ブレーキアシストシステム、衝突軽減ブレーキシステム等のブレーキシステムとして構成されていてもよい。あるいは、運転制御装置21が、クルーズコントロールシステムとして構成されていてもよい。ここでいうクルーズコントロールシステムは、制御対象の乗り物の速度を一定に保つシステムである。あるいは、運転制御装置21が、自動運転システムとして構成されていてもよい。あるいは、運転制御装置21が、これらのシステムとは別のシステムとして構成されていてもよい。
図7は、第1実施形態に係る警報システムの機能構成の例を示す概略ブロック図である。図7に示す構成で、警報システム3は、カメラ11と、湿度センサ12と、眠気推定装置13と、眠気推定情報補正装置14と、警報装置31とを備える。
図7の各部のうち、図1の各部に対応して同様の機能を有する部分に同一の符号(11、12、13、14)を付して説明を省略する。
警報システム3は、対象者の眠気を推定し、眠気が所定の条件以上に強いと判定した場合に警報を出力するシステムである。
例えば、対象者が、自動車、鉄道車両、船舶または航空機等の乗り物の運転者または操縦者であってもよい。この場合、警報システム3が警報を出力することで、少なくとも一時的に対象者の眠気を低減させ(すなわち覚醒させ)、対象者が眠気によって適切な運転を行えない可能性を低減させることができる。
警報装置31は、眠気推定情報補正装置14からの補正後眠気推定情報に基づいて、対象者の眠気が所定の条件以上に強いか否かを判定する。警報装置31が、補正後眠気推定情報と所定の閾値とを比較して、対象者の眠気が閾値以上に強いか否かを判定するようにしてもよいが、実施形態はこのような例に限定されない。
対象者の眠気が所定の条件以上に強いと判定した場合、警報装置31は警報を出力する。
警報装置31が警報を出力する方法は、特定の方法に限定されない。例えば、警報装置31が、スピーカまたはブザー等の音声出力装置を備え、警報メッセージまたは警報音を出力するようにしてもよい。あるいは、警報装置31が、ディスプレイに警報メッセージを表示する、またはランプを点灯させるなど、警報を視覚的に出力するようにしてもよい。警報装置31が、音による警報と視覚的な警報とを併せて出力するようにしてもよい。
警報システム3が、乗り物を安全な場所へ移動させて睡眠をとるように促すメッセージを出力するようにしてもよい。
図1の構成例のように眠気推定情報補正装置14を設ける構成によれば、眠気推定装置13による眠気推定情報の算出の処理を機械学習する場合に、瞼の動きを示す特徴量と、その動きのときの覚醒度とを組み合わせた情報を学習データとして用いることができる。
特に、眠気推定情報補正装置14を設ける構成によれば、眠気推定装置13による眠気推定情報の算出の処理の機械学習と、眠気推定情報補正装置14による補正の処理の機械学習とを、別々の機械学習処理とすることができる。したがって、眠気推定装置13による眠気推定情報の算出の処理の機械学習では、湿度情報は不要である。
ここで、対象者の瞼の動きに加えて湿度と対象者の眠気との関係についての研究報告は見当たらない。したがって、対象者の瞼の動きに加えて湿度と対象者の眠気との関係を示すデータは見当たらない。
眠気推定情報補正装置14を設ける構成によれば、眠気推定装置13による眠気推定情報の算出の処理の機械学習については、作成済みのモデルを用いることができ、新たにデータを取得する必要が無い。
あるいは、眠気推定装置13として、対象者の瞼の動きに基づいて眠気推定情報を算出する装置を用いることができる。すなわち、眠気推定モデルとして一般的に知られているモデルを用いることができる。この場合、眠気推定装置13による眠気推定情報の算出の処理の機械学習を新たに行う必要が無い。
以上のように、眠気推定装置13は、対象者の瞼の動きに基づく眠気推定情報を取得する。眠気推定情報補正部191は、眠気推定情報を、対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する。
これにより、眠気推定情報補正装置14では、対象者の眠気を推定する際、推定精度の低下を軽減できる。特に、眠気推定情報補正装置14では、対象者の周囲環境における湿度の影響によって眠気の推定精度が低下してしまうことを回避または軽減できる。
また、眠気推定情報補正部191は、湿度が低いほど補正後眠気推定情報が小さくなるように補正を行う。
これにより、眠気推定情報補正装置14では、対象者が目の乾燥を感じて瞬きする。あるいは、目を閉じるといった動作によって眠気を実際よりも強く判定してしまうことを軽減できる。
また、眠気推定情報補正部191は、湿度が上限閾値より大きい場合、湿度が上限閾値の場合と同じ補正量の補正を行う。
これにより、眠気推定情報補正装置14は、湿度が上限閾値より大きい場合に瞼の動きへの影響が同様であることを反映して、より正確に眠気を推定することができる。
また、眠気推定情報補正部191は、湿度が下限閾値より小さい場合、湿度が下限閾値の場合と同じ補正量の補正を行う。
これにより、眠気推定情報補正装置14は、湿度が下限閾値より大きい場合に瞼の動きへの影響が同様であることを反映して、より正確に眠気を推定することができる。
<第2実施形態>
眠気推定装置13と、眠気推定情報補正装置14とに代えて、湿度の影響を加味した眠気推定情報を出力する眠気推定装置を設けるようにしてもよい。
図8は、第2実施形態に係る覚醒度制御システムの例を示す図である。図8に示す構成で、覚醒度制御システム4は、カメラ11と、湿度センサ12と、眠気推定装置41と、覚醒度制御装置15と、環境制御装置16とを備える。
図8の各部のうち、図1の各部に対応して同様の機能を有する部分に同一の符号(11、12、15、16)を付して説明を省略する。
図8の覚醒度制御システム4は、眠気推定装置13と眠気推定情報補正装置14とに代えて、眠気推定装置41が設けられている点で、図1の覚醒度制御システム1と異なる。
それ以外の点では、覚醒度制御システム4は、覚醒度制御システム1と同様である。特に、覚醒度制御システム4は、眠気推定情報として、覚醒度制御システム1の場合と同様、対象者の周囲環境における湿度を反映させた補正後眠気推定情報を算出する。そして、覚醒度制御システム4は、覚醒度制御システム1の場合と同様、算出した補正後眠気推定情報に基づいて対象者の覚醒度を制御する。
眠気推定装置41は、補正後眠気推定情報を算出する。具体的には、眠気推定装置41は、瞼動き情報と、湿度情報との入力に対して補正後眠気推定情報を出力する眠気推定モデルを用いて、補正後眠気推定情報を算出する。
図9は、眠気推定装置41におけるデータの入出力の例を示す図である。
図9の例で、眠気推定装置41は、瞼動き情報と、湿度情報とを取得する。眠気推定装置41は、得られた瞼動き情報と湿度情報とを眠気推定モデルに適用して、眠気推定情報を算出する。眠気推定装置41は、湿度の影響が反映されたモデルを用いることで、湿度の影響が反映された眠気推定情報を算出する。
図10は、眠気推定装置41の機能構成の例を示す機能ブロック図である。図10に示す構成で、眠気推定装置41は、第2通信部210と、第2記憶部280と、第2制御部290とを備える。第2記憶部280は、眠気推定モデル記憶部281を備える。第2制御部290は眠気推定部291を備える。
第2通信部210は、他の装置と通信を行う。特に、第2通信部210は、瞼動き情報をカメラ11から受信する。第2通信部210は、瞼動き情報取得部(瞼動き情報取得手段)の例に該当する。また、第2通信部210は、湿度情報を湿度センサ12から受信する。また、第2通信部210は、補正後眠気推定情報を覚醒度制御装置15へ送信する。
第2記憶部280は、各種情報を記憶する。第2記憶部280の機能は、覚醒度制御システム1が備える記憶デバイスを用いて実行される。
眠気推定モデル記憶部281は、瞼動き情報と、湿度情報との入力に対して補正後眠気推定情報を出力する眠気推定モデルを記憶する。この眠気推定モデルは、第1実施形態の眠気推定装置13が備える眠気推定モデルと眠気推定情報補正装置14が備える補正モデルとの組み合わせに相当する。
眠気推定モデル記憶部281が記憶する眠気推定モデルが、瞼動き情報と湿度情報との入力に対して直接(補正前の眠気推定情報を算出せずに)、補正後眠気推定情報を出力するモデルであってもよい。あるいは、眠気推定モデル記憶部281が記憶する眠気推定モデルが、瞼動き情報に基づいて補正前の眠気推定情報を算出し、湿度情報に基づいて眠気推定情報を補正することで補正後眠気推定情報を算出するモデルであってもよい。
第2制御部290は、眠気推定装置41の各部を制御して各種処理を実行する。第2制御部290の機能は、眠気推定装置41が備えるCPUが、第2記憶部280からプログラムを読み出して実行することで実行される。
眠気推定部291は、瞼動き情報と湿度情報とに基づいて、補正後眠気推定情報を算出する。具体的には、眠気推定部291は、眠気推定モデル記憶部281から眠気推定モデルを読み出す。そして、眠気推定部291は、カメラ11からの瞼動き情報と湿度センサ12からの湿度情報とを眠気推定モデルに適用して、補正後眠気推定情報を取得する。
眠気推定部291が出力する補正後眠気推定情報は、第1実施形態の眠気推定情報補正部191が出力する補正後眠気推定情報と同様である。特に、眠気推定部291は、同一の瞼動き情報に対して、湿度が低いほど眠気推定情報を小さくする(眠気が弱いと推定する)。眠気推定部291が出力する補正後眠気推定情報は、第1実施形態の眠気推定情報補正部191が出力する補正後眠気推定情報と同様、連続値であってもよいし、離散値であってもよい。
図11は、第2実施形態に係る運転制御システムの例を示す図である。図11に示す構成で、運転制御システム5は、カメラ11と、湿度センサ12と、眠気推定装置41と、運転制御装置21と、運転装置22とを備える。
図11の各部のうち、図6の各部に対応して同様の機能を有する部分に同一の符号(11、12、21、22)を付して説明を省略する。
図11の運転制御システム5は、眠気推定装置13と眠気推定情報補正装置14とに代えて、眠気推定装置41が設けられている点で、図6の運転制御システム2と異なる。それ以外の点では、運転制御システム5は、運転制御システム2と同様である。
また、図11の眠気推定装置41は、図8の眠気推定装置41と同様であり、同一の符号を付して説明を省略する。
図11の例で、眠気推定装置41は、第1実施形態の眠気推定情報補正装置14と同様の補正後眠気推定情報を算出し、運転制御システム5は、図6の運転制御システム2と同様に機能する。
図12は、第2実施形態に係る警報システムの例を示す図である。図12に示す構成で、警報システム6は、カメラ11と、湿度センサ12と、眠気推定装置41と、警報装置31とを備える。
図12の各部のうち、図7の各部に対応して同様の機能を有する部分に同一の符号(11、12、31)を付して説明を省略する。
図12の警報システム6は、眠気推定装置13と眠気推定情報補正装置14とに代えて、眠気推定装置41が設けられている点で、図7の警報システム3と異なる。それ以外の点では、図12の警報システム6は、図7の警報システム3と同様である。
また、図12の眠気推定装置41は、図8の眠気推定装置41と同様であり、同一の符号を付して説明を省略する。
図12の例で、眠気推定装置41は、第1実施形態の眠気推定情報補正装置14と同様の補正後眠気推定情報を算出し、警報システム6は、図7の警報システム3と同様に機能する。
以上のように、第2通信部210は、対象者の瞼の動き情報を取得する。また、眠気推定部291は、瞼の動き情報と、対象者の周囲環境における湿度を示す湿度情報とに基づいて、対象者の眠気推定情報を算出する。
これにより、眠気推定装置41では、対象者の眠気推定情報を算出する際、周囲環境の影響による推定精度の低下を軽減できる。
<眠気推定の例>
以下、第1実施形態で説明した眠気推定装置13が行う眠気推定情報の算出の例について説明する。第2実施形態で説明した眠気推定装置41についても、瞼動き情報と湿度情報とに基づいて補正後眠気推定情報を算出する処理の一部として、以下に説明する処理と同様の処理を適用することができる。
[第1例]
眠気推定装置13は、動画像信号を画像処理して、対象者の開眼度を検出し、対象者の開眼度の時系列情報を取得する。開眼度は、対象者が目を開いている程度を表す情報である。開眼度は、たとえば、単位時間において目を開いている時間の割合であってもよいし、目のうち開いている部分の面積を所定期間ごとに累計した値であってもよい。ただし、開眼度は、これらの例に示される情報に限定されない。
眠気推定装置13が、左眼の開眼度および右眼の開眼度を検出して、それぞれ、左眼開眼度の時系列情報および右眼の開眼度の時系列情報を取得するようにしてもよい。この場合、眠気推定装置13が、左眼の開眼度の時系列情報と右眼の開眼度の時系列情報とを加算平均して対象者の開眼度の時系列情報を算出するようにしてもよい。
眠気推定装置13は、左眼の開眼度の時系列情報X(t)と右眼の開眼度の時系列情報X(t)とを加算平均して平均値を求め、その平均値を対象者の開眼度の時系列情報X(t)として出力する。したがって、対象者の開眼度の時系列情報X(t)は、式(4)のように示される。
Figure 0007231035000004
眠気推定装置13が、左眼の開眼度の時系列情報X(t)、右眼の開眼度の時系列情報X(t)、および対象者の開眼度の時系列情報X(t)の各々として、0~1の範囲の値に正規化された値を用いるようにしてもよい。
眠気推定装置13が、開眼度の時系列情報X(t)から対象者20の瞬きによる変化を除去するようフィルタリングして、フィルタリング後の開眼度の時系列情報X(t)を出力するようにしてもよい。このフィルタリング後の開眼度の時系列情報X(t)は、例えば、式(5)のように示される。
Figure 0007231035000005
ここで、F[]は、フィルタリング処理を示す演算子である。Nはフィルタリング処理用のフレーム数を示す。
眠気推定装置13は、フィルタリング算出窓幅T[秒]単位でフィルタリング処理を行う。フレーム数Nとフィルタリング算出窓幅T[秒]とフレームレートfs[フレーム/秒]との間には、式(6)で示される関係がある。
Figure 0007231035000006
例えば、フレーム数Nが3、フレームレートfsが30[フレーム/秒]に等しいとき、フィルタリング算出窓幅T[秒]は「3/30=0.1[秒]」となる。
本例では、眠気推定装置13は、フィルタリング算出窓幅T[秒]単位でフィルタリングすることで、開眼度の時系列情報X(t)を所定の値に置換し、その置換した値をフィルタリング後の開眼度の時系列情報X(t)として出力する。
眠気推定装置13が、開眼度の時系列情報X(t)に加えて、あるいは代えて、左眼の開眼度の時系列情報X(t)や右眼の開眼度の時系列情報X(t)を用いるようにしてもよい。
例えば、眠気推定装置13は、フィルタリング算出窓幅T[秒]単位でフィルタリングすることで、開眼度の時系列情報X(t)を所定の主値に置換し、その置換した値をフィルタリング後の開眼度の時系列情報X(t)として出力する。
また、眠気推定装置13は、フィルタリング算出窓幅T[秒]単位でフィルタリングすることで、左眼の開眼度の時系列情報X(t)を所定の第1の副値に置換し、その置換した値をフィルタリング後の左眼の開眼度の時系列情報XFL(t)として出力する。
同様に、眠気推定装置13は、フィルタリング算出窓幅T[秒]単位でフィルタリングすることで、右眼の開眼度の時系列情報X(t)を所定の第2の値に置換し、その置換した値をフィルタリング後の右眼の開眼度の時系列情報XFR(t)として出力する。
眠気推定装置13が、上記の3つのフィルタリングのうち1つのみを行うようにしてもよい。眠気推定装置13が行うフィルタリング処理としては、種々の方法を採用され得る。
次に、眠気推定装置13が行うフィルタリング処理の具体例について説明する。
眠気推定装置13によるフィルタリングは、フィルタリング算出窓幅T[秒]が少なくとも0.1[秒]以上である場合に適用可能である(T≧0.1)。その理由は、瞬きの時間が0.1~0.15[秒]のためである。例えば、フレームレートfsが30[フレーム/秒]の場合、フレーム数Nが3以上であるときに眠気推定装置13によるフィルタリングを適用可能である。以下では、フレーム数Nが30に等しく、フィルタリング算出窓幅T[秒]が1[秒]である場合を例に説明するが、実施形態はこのような例に限定されない。
眠気推定装置13は、フィルタリング算出窓幅T[秒]単位でフィルタリングを行い、開眼度の時系列情報X(t)の最大値を取得し、その取得した最大値をフィルタリング後の開眼度の時系列情報X(t)として出力する。
眠気推定装置13は、式(7)で示されるように、フィルタリング算出窓幅T[秒]の開眼度の時系列情報X(t)の最大値をとる。
Figure 0007231035000007
max[]は要素の最大値をとる演算子である。眠気推定装置13は、このフィルタリングにより、開眼度の時系列情報から瞬きによる変化を除去する。
また、対象者の眼が冴えている状態では、開眼度を一定に維持できる。一方、対象者が眠い状態では、開眼度を一定に維持できない。特に、対象者が眠い状態では、対象者の目が冴えている場合よりも常に開眼度が小さくなり、フィルタリングで得られる開眼度の最大値も小さくなると考えられる。対象者の眠気が強いほど、フィルタリング後の開眼度の時系列情報X(t)の値が小さくなると考えられる。
第1例で眠気推定装置13が出力する開眼度の時系列情報は、眠気推定情報の例に該当する。眠気推定装置13が、眠気推定情報としてフィルタリング無しのX(t)、X(t)、X(t)のうちの何れか、またはこれらの組み合わせを出力するようにしてもよい。あるいは、眠気推定装置13が、眠気推定情報としてフィルタリング後のX(t)、XFL(t)、XFR(t)のうちの何れか、またはこれらの組み合わせを出力するようにしてもよい。
眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報に対して上述した補正を行い、補正後眠気推定情報を出力する。
あるいは、眠気推定装置13が、フィルタリング後の開眼度の時系列情報X(t)のばらつき度を算出し、算出したばらつき度を第1の特徴量F1(T)として出力するようにしてもよい。この場合、第1の特徴量F1(T)は、眠気推定情報の例に該当する。
第1の特徴量F1(T)は、式(8)のように示される。
Figure 0007231035000008
ここで、Tは時間のインデックスであり、特徴量算出窓の窓番号(0,1,2,・・・)を示す。
V[]は、ばらつき度を計算する演算子である。ここでいうばらつき度として、例えば、分散、標準偏差、最大値と最小値との差分、または、エントロピーなど、いろいろなものを用いることができる。
Mは特徴量抽出処理用のフレーム数を示す。特徴量算出窓幅T[秒]とフレームレートfs[フレーム/秒]とを用いて、「M=T×fs」と表される。
なお、眠気推定装置13が用いるデータは、式(8)に示されるフィルタリング後の開眼度の時系列情報X(t)に限定されない。眠気推定装置13が、式(8)のフィルタリング後の開眼度の時系列情報X(t)に代えて、フィルタリング後の左眼の開眼度の時系列情報XFL(t)、または、フィルタリング後の右眼の開眼度の時系列情報XFR(t)を用いるようにしてもよい。
例えば、眠気推定装置13が、特徴量算出窓幅T[秒]内での、フィルタリング後の左眼の開眼度の時系列情報XFL(t)のばらつき度を算出し、そのばらつき度を第1の特徴量F1(T)として出力するようにしてもよい。また、眠気推定装置13が、特徴量算出窓幅T[秒]内での、フィルタリング後の右眼の開眼度の時系列情報XFR(t)のばらつき度を算出し、そのばらつき度を第1の特徴量F1(T)として出力するようにしてもよい。
この場合、第1の特徴量F1(T)は、眠気推定情報の例に該当する。
[第2例]
第2例は、特徴量算出の処理が後述するように相違している点を除いて、第1例の場合と同様である。
第2例では、眠気推定装置13は、開眼度の時系列情報X(t)のフレーム間差分の絶対値(以下、「フレーム間差分」と呼ぶ)を算出し、特徴量算出窓幅(T)[秒]内のフレーム間差分の最大値を求め、その最大値を第2の特徴量F2(T)として出力する。
したがって、眠気推定装置13は、開眼度の時系列情報X(t)から第2の特徴量F2(T)を算出して、出力する。このフレーム間差分の絶対値の最大値は、眠い状態では値が小さくなり、目が冴えている状態では大きくなるため、眠気の推定に有用である。
フレーム間差分の最大値、すなわち、第2の特徴量F2(T)は、式(9)のように示される。
Figure 0007231035000009
ここで、「1-max[]」としているのは、他の特徴量と同様に、眠気が少ないほど値が小さくなるようにするためである。
なお、眠気推定装置13が用いるデータは、式(9)に示される開眼度の時系列情報X(t)に限定されない。眠気推定装置13が、式(9)の開眼度の時系列情報X(t)に代えて、左眼の開眼度の時系列情報X(t)、または、右眼の開眼度の時系列情報X(t)を用いるようにしてもよい。
例えば、眠気推定装置13が、特徴量算出窓幅T[秒]内での、左眼の開眼度の時系列情報X(t)のフレーム間の差分の最大値を算出し、その最大値を第2の特徴量F2(T)として出力するようにしてもよい。また、眠気推定装置13が、特徴量算出窓幅T[秒]内での、右眼の開眼度の時系列情報X(t)のフレーム間の差分の最大値を算出し、その最大値を第2の特徴量F2(T)として出力するようにしてもよい。
第2例で眠気推定装置13が出力する第2の特徴量F2(T)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第2の特徴量F2(T))に対して上述した補正を行い、補正後眠気推定情報を出力する。
[第3例]
第3例は、特徴量算出の処理が相違している点を除いて、第1例と同様である。
第3例では、眠気推定装置13は、開眼度の時系列情報X(t)から閉眼を検知し、特徴量算出窓幅(T)[秒]内の閉眼割合(閉眼の割合)を求め、その閉眼割合を第3の特徴量F3(T)として出力する。したがって、眠気推定装置13は、開眼度の時系列情報X(t)から第3の特徴量F3(T)を算出して、出力する。この閉眼割合は、眠い状態では値が大きくなり、目が冴えている状態では小さくなるため、眠気の推定に有用である。
閉眼割合、すなわち、第3の特徴量F3(T)は、式(10)のように示される。
Figure 0007231035000010
ただし、Cは、特徴量算出窓幅(T)[秒]に含まれる開眼度の時系列情報[X(T×M+t)、・・・、X(T×M+t-M+1)]の要素のうち、閉眼判定閾値(例えば、0.5)を下回る要素数とする。
なお、眠気推定装置13が、第3の特徴量F3(T)の算出に、開眼度の時系列情報X(t)に代えて、左眼の開眼度の時系列情報X(t)、または、右眼の開眼度の時系列情報X(t)を用いるようにしてもよい。その場合、眠気推定装置13は、特徴量算出窓幅T[秒]内での、左眼の開眼度の時系列情報X(t)の閉眼割合を算出し、その閉眼割合を第3の特徴量F3(T)として出力する。また、眠気推定装置13は、特徴量算出窓幅T[秒]内での、右眼の開眼度の時系列情報X(t)の閉眼割合を算出し、その閉眼割合を第3の特徴量F3(T)として出力する。
また、眠気推定装置13が、左眼の開眼度の時系列情報X(t)と右眼の開眼度の時系列情報X(t)との両方が同時に閉眼している割合を算出し、その閉眼割合を第3の特徴量F3(T)として出力するようにしてもよい。また、眠気推定装置13が、左眼の開眼度の時系列情報X(t)の閉眼割合、右眼の開眼度の時系列情報X(t)の閉眼割合をそれぞれ算出し、それらを要素とする第3の特徴量F3(T)=[X(t)の閉眼割合、X(t)の閉眼割合]を出力するようにしてもよい。また、眠気推定装置13が、複数の閉眼判定閾値(例えば、0.5と0.8等)を用いて、複数の閉眼割合を算出し、それらを要素とする第3の特徴量F3(T)=[閉眼判定閾値0.5の場合の閉眼割合、閉眼判定閾値0.8の場合の閉眼割合]を出力するようにしてもよい。
第3例で眠気推定装置13が出力する第3の特徴量F3(T)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第3の特徴量F3(T))に対して上述した補正を行い、補正後眠気推定情報を出力する。
[第4例]
第4例は、特徴量算出の処理が相違している点を除いて、第1例と同様である。
第4例では、眠気推定装置13は、左眼の開眼度の時系列情報X(t)と右眼の開眼度の時系列情報X(t)との間の動き差分の絶対値(以下、「動き差分」と呼ぶ)を算出し、特徴量算出窓幅(T)[秒]内の上記動き差分の平均値を求め、その動き差分の平均値を第4の特徴量F4(T)として出力する。
したがって、眠気推定装置13は、開眼度の時系列情報X(t)から第4の特徴量F4(T)を算出して、出力する。この動き差分平均値は、眠い状態では値が大きくなり、目が冴えている状態では小さくなるため、眠気の推定に有用である。
動き差分の平均値、すなわち、第4の特徴量F4(T)は、式(11)のように示される。
Figure 0007231035000011
第4例で眠気推定装置13が出力する第4の特徴量F4(T)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第4の特徴量F4(T))に対して上述した補正を行い、補正後眠気推定情報を出力する。
[第5例]
第5例は、特徴量算出の処理が相違している点を除いて、第1例と同様である。
第5例では、眠気推定装置13は、ある特徴量算出窓幅(T)[秒]で算出された第1の特徴量F1(T)とそれに隣接する特徴量算出窓幅(T)[秒]で算出された第1の特徴量F1(T-1)との差分の絶対値(以下、「隣接窓間の差分」と呼ぶ)を算出して、その隣接窓間の差分を第5の特徴量F5(T)として出力する。
したがって眠気推定装置13は、第1の特徴量F1(T)における隣接窓間の差分を第5の特徴量F5(T)として算出して、出力する。この隣接窓間の差分は、眠い状態では値が大きくなり、目が冴えている状態では小さくなるため、眠気の推定に有用である。
隣接窓間の差分、すなわち、第5の特徴量F5(T)は、式(12)のように示される。
Figure 0007231035000012
なお、眠気推定装置13が、第1の特徴量F1(T)における隣接窓間の差分に代えて、第2の特徴量F2(T)における隣接窓間の差分、第3の特徴量F3(T)における隣接窓間の差分、または、第4の特徴量F4(T)における隣接窓間の差分を、第5の特徴量F5(T)として算出し、出力するようにしてもよい。
第5例で眠気推定装置13が出力する第5の特徴量F5(T)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第5の特徴量F5(T))に対して上述した補正を行い、補正後眠気推定情報を出力する。
[第6例]
第6例は、特徴量算出の処理が相違している点を除いて、第1例と同様である。
第6例では、眠気推定装置13は、第1の特徴量F1(T)の対数を算出して、その対数を第6の特徴量F6(T)として出力する。したがって、眠気推定装置13は、第1の特徴量F1(T)の対数を第6の特徴量F6(T)として算出して、出力する。ここで、一般に人の感覚は対数に従っていると言われている。眠気推定装置13が、第1の特徴量F1(T)の対数をとることで、人の感覚に近い眠気推定情報を出力できる。
第1の特徴量の対数、すなわち、第6の特徴量F6(T)は、式(13)のように示される。
Figure 0007231035000013
ここで、αは正の小さな値、例えば、10-6である。第1の特徴量F1(T)に正の小さな値αを加えているのは、対数の中身がゼロにならないようにするためである。
なお、眠気推定装置13が、第1の特徴量F1(T)の対数に代えて、第2の特徴量F2(T)の対数、第3の特徴量F3(T)の対数、第4の特徴量F4(T)の対数、または、第5の特徴量F5(T)の対数を第6の特徴量F6(T)として算出し、出力するようにしてもよい。
第6例で眠気推定装置13が出力する第6の特徴量F6(T)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第6の特徴量F6(T))に対して上述した補正を行い、補正後眠気推定情報を出力する。
第6例で眠気推定装置13が出力する第6の特徴量F6(T)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第6の特徴量F6(T))に対して上述した補正を行い、補正後眠気推定情報を出力する。
[第7例]
第7例は、特徴量算出の処理が相違している点を除いて、第1例の場合と同様である。
第7例~第9例では、眠気推定装置13は、統計量算出窓幅T[秒]毎に、後述するように、上述した特徴量(例えば第1の特徴量F1(T))の統計量F7(S)~F9(S)を算出し、特徴量として用いる。ここで、Sは時間のインデックスであり、統計量算出窓の窓番号(0,1,2,・・・)を示す。例えば、統計量算出窓幅T[秒]内の第1の特徴量T1(T)の個数がK個であるとする。
第7例では、眠気推定装置13は、上述した特徴量として第1の特徴量F1(T)を用い、統計量として第1の特徴量F1(T)の平均値を用いる。眠気推定装置13は、統計量算出窓幅T[秒]内の、第1の特徴量F1(T)の平均値を算出して、その平均値を第7の特徴量F7(S)として出力する。したがって、眠気推定装置13は、統計量算出窓幅T[秒]毎に、第1の特徴量F1(T)の平均値を、第7の特徴量F7(S)として算出して、出力する。
第1の特徴量の平均値、すなわち、第7の特徴量F7(S)は、式(14)のように示される。
Figure 0007231035000014
average[]は要素の平均値を算出する演算子である。
式(14)におけるTの値は、第1の特徴量F1を求める際の特徴量算出窓の窓番号と、第7の特徴量F7を求める際の特徴量算出窓の窓番号との関係を示すオフセットの役割を果たす。
眠気推定装置13が、第1の特徴量F1(T)の平均値に代えて、第2の特徴量F2(T)の平均値、第3の特徴量F3(T)の平均値、第4の特徴量F4(T)の平均値、第5の特徴量F5(T)の平均値、第6の特徴量F6(T)の平均値を用いて第7の特徴量F7(S)を算出し、出力するようにしてもよい。
第7例で眠気推定装置13が出力する第7の特徴量F7(S)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第7の特徴量F7(S))に対して上述した補正を行い、補正後眠気推定情報を出力する。
[第8例]
第8例は、特徴量算出の処理が相違している点を除いて、第1例と同様である。
第8例では、眠気推定装置13は、統計量算出窓幅T[秒]内の、第1の特徴量F1(T)の標準偏差を算出して、その標準偏差を第8の特徴量F8(S)として出力する。
したがって、眠気推定装置13は、統計量算出窓幅T[秒]毎に、第1の特徴量F1(T)の標準偏差を、第8の特徴量F8(S)として算出して、出力する。
第1の特徴量の標準偏差、すなわち、第8の特徴量F8(S)は、式(15)のように示される。
Figure 0007231035000015
standard_dev[]は要素の標準偏差を算出する演算子である。
式(15)におけるTの値は、第1の特徴量F1を求める際の特徴量算出窓の窓番号と、第8の特徴量F8を求める際の特徴量算出窓の窓番号との関係を示すオフセットの役割を果たす。
眠気推定装置13が、第1の特徴量F1(T)に代えて、第2の特徴量F2(T)、第3の特徴量F3(T)、第4の特徴量F4(T)、第5の特徴量F5(T)、または、第6の特徴量F6(T)の標準偏差を、第8の特徴量F8(S)として算出し、出力するようにしてもよい。
第8例で眠気推定装置13が出力する第8の特徴量F8(S)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第8の特徴量F8(S))に対して上述した補正を行い、補正後眠気推定情報を出力する。
[第9例]
第9例は、特徴量算出の処理が相違している点を除いて、第1例と同様である。
第9例では、眠気推定装置13は、統計量算出窓幅T[秒]内の、第1の特徴量F1(T)の分散を算出して、その分散を第9の特徴量F9(S)として出力する。したがって、眠気推定装置13は、統計量算出窓幅T[秒]毎に、第1の特徴量F1(T)の分散を、第9の特徴量F9(S)として算出して、出力する。
第1の特徴量の分散、すなわち、第9の特徴量F9(S)は、式(16)のように示される。
Figure 0007231035000016
variance[]は要素の分散値を算出する演算子である。
式(16)におけるTの値は、第1の特徴量F1を求める際の特徴量算出窓の窓番号と、第9の特徴量F9を求める際の特徴量算出窓の窓番号との関係を示すオフセットの役割を果たす。
眠気推定装置13が、第1の特徴量F1(T)の分散に代えて、第2の特徴量F2(T)の分散、第3の特徴量F3(T)の分散、第4の特徴量F4(T)の分散、第5の特徴量F5(T)の分散、または、第6の特徴量F6(T)の分散を、第9の特徴量F9(T)として算出し、出力するようにしてもよい。
第9例で眠気推定装置13が出力する第9の特徴量F9(S)は、眠気推定情報の例に該当する。眠気推定情報補正装置14は、眠気推定装置13が出力する眠気推定情報(第9の特徴量F9(S))に対して上述した補正を行い、補正後眠気推定情報を出力する。
眠気推定装置13が、上述した特徴量F1(T)~F9(S)のうち何れか1つのみを眠気推定情報として出力するようにしてもよい。あるいは、眠気推定装置13が、特徴量F1(T)~F9(S)のうち複数を眠気推定情報として出力するようにしてもよい。
<実施形態の構成の例>
つぎに、図13から図16を参照して、実施の形態の構成の例について説明する。
図13は、実施形態に係る眠気推定情報補正装置の構成の例を示す図である。図13に示す眠気推定情報補正装置610は、眠気推定情報取得部611と、眠気推定情報補正部612とを備える。
かかる構成で、眠気推定情報取得部611は、対象者の瞼の動きに基づく眠気推定情報を取得する。眠気推定情報補正部612は、眠気推定情報取得部611が取得する眠気推定情報を、対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する。
これにより、眠気推定情報補正装置610では、対象者の眠気推定情報(補正後眠気推定情報)を算出する際、周囲環境の影響による推定精度の低下を軽減できる。
図14は、実施形態に係る眠気推定装置の構成の例を示す図である。図14に示す眠気推定装置620は、瞼動き情報取得部621と、眠気推定部622とを備える。
かかる構成で、瞼動き情報取得部621は、対象者の瞼の動き情報を取得する。眠気推定部622は、瞼動き情報取得部621が取得する瞼の動き情報と、対象者の周囲環境における湿度を示す湿度情報とに基づいて、対象者の眠気推定情報を算出する。
これにより、眠気推定装置620では、対象者の眠気を推定する際、推定精度の低下を軽減できる。特に眠気推定装置620では、対象者の周囲環境における湿度の影響によって眠気の推定精度が低下してしまうことを回避または軽減できる。
図15は、実施形態に係る眠気推定情報補正方法における処理手順の例を示す図である。
図15の処理では、対象者の瞼の動きに基づく眠気推定情報を取得し(ステップS11)、取得した眠気推定情報を、対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する(ステップS12)。
この眠気推定情報補正方法によれば、対象者の眠気を推定する際、推定精度の低下を軽減できる。特に、図15の処理にかかる眠気推定補正情報では、対象者の眠気推定情報(補正後眠気推定情報)を算出する際、対象者の周囲環境における湿度の影響によって眠気の推定精度が低下してしまうことを回避または軽減できる。
図16は、実施形態に係る眠気推定方法における処理手順の例を示す図である。
図16の処理では、対象者の瞼の動き情報を取得し(ステップS21)、取得した動き情報と、対象者の周囲環境における湿度を示す湿度情報とに基づいて、対象者の眠気推定情報を算出する(ステップS22)。
この眠気推定方法によれば、対象者の眠気を推定する際、推定精度の低下を軽減できる。特に、図16の処理にかかる眠気推定方法では、対象者の周囲環境における湿度の影響によって眠気の推定精度が低下してしまうことを回避または軽減できる。
図17は、少なくとも1つの実施形態に係るコンピュータの構成を示す概略ブロック図である。
図17に示す構成で、コンピュータ700は、CPU710と、主記憶装置720と、補助記憶装置730と、インタフェース740とを備える。
上記の眠気推定情報補正装置14、眠気推定装置41、眠気推定情報補正装置610、または、眠気推定装置620のうち何れか1つ以上が、コンピュータ700に実装されてもよい。その場合、上述した各処理部の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。また、CPU710は、プログラムに従って、上述した各記憶部に対応する記憶領域を主記憶装置720に確保する。各装置と他の装置との通信は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。
眠気推定情報補正装置14がコンピュータ700に実装される場合、第1制御部190およびその各部の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
また、CPU710は、プログラムに従って、第1記憶部180に対応する記憶領域を主記憶装置720に確保する。第1通信部110が行う通信は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。
眠気推定装置41がコンピュータ700に実装される場合、第2制御部290およびその各部の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
また、CPU710は、プログラムに従って、第2記憶部280に対応する記憶領域を主記憶装置720に確保する。第2通信部210が行う通信は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。
眠気推定情報補正装置610がコンピュータ700に実装される場合、眠気推定情報補正部612の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
また、眠気推定情報取得部611の動作は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。
眠気推定装置620がコンピュータ700に実装される場合、眠気推定部622の動作は、プログラムの形式で補助記憶装置730に記憶されている。CPU710は、プログラムを補助記憶装置730から読み出して主記憶装置720に展開し、当該プログラムに従って上記処理を実行する。
また、瞼動き情報取得部621の動作は、インタフェース740が通信機能を有し、CPU710の制御に従って通信を行うことで実行される。
なお、眠気推定情報補正装置14、眠気推定装置41、眠気推定情報補正装置610、または、眠気推定装置620の全部または一部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより各部の処理を行ってもよい。ここでいう「コンピュータシステム」とは、OS(オペレーティングシステム)や周辺機器等のハードウェアを含む。
「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM(Read Only Memory)、CD-ROM(Compact Disc Read Only Memory)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計変更等も含まれる。
この出願は、2019年7月22日に出願された日本国特願2019-134835を基礎とする優先権を主張し、その開示の全てをここに取り込む。
本発明は、眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法および記録媒体に適用してもよい。
1、4 覚醒度制御システム
2、5 運転制御システム
3、6 警報システム
11 カメラ
12 湿度センサ
13 眠気推定装置
14 眠気推定情報補正装置
15 覚醒度制御装置
16 環境制御装置
21 運転制御装置
22 運転装置
31 警報装置
41 眠気推定装置
110 第1通信部(第1通信手段)
180 第1記憶部(第1記憶手段)
181 補正モデル記憶部(補正モデル記憶手段)
190 第1制御部(第1制御手段)
191 眠気推定情報補正部(眠気推定情報補正手段)

Claims (12)

  1. 対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、所定の時間幅ごとにその時間幅内での閉眼割合を求めたデータを眠気推定情報として取得する眠気推定情報取得手段と、
    前記眠気推定情報を、前記対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する眠気推定情報補正手段と、
    を備える眠気推定情報補正装置。
  2. 前記眠気推定情報補正手段は、前記湿度が低いほど前記補正後眠気推定情報が小さくなるように補正を行う、
    請求項1に記載の眠気推定情報補正装置。
  3. 前記眠気推定情報補正手段は、前記湿度が上限閾値より大きい場合、前記湿度が上限閾値の場合と同じ補正量の補正を行う、
    請求項1または請求項2に記載の眠気推定情報補正装置。
  4. 前記眠気推定情報補正手段は、前記湿度が下限閾値より小さい場合、前記湿度が下限閾値の場合と同じ補正量の補正を行う、
    請求項1または請求項2に記載の眠気推定情報補正装置。
  5. 前記眠気推定情報取得手段は、前記眠気推定情報として、前記対象者の開眼度を所定の頻度で繰り返し測定した時系列データを、連続する所定の個数の測定データごとに分割し、分割された所定の個数の測定データごとに開眼度の最大値をとったデータを取得する、
    請求項1から4の何れか一項に記載の眠気推定情報補正装置。
  6. 前記眠気推定情報取得手段は、前記眠気推定情報として、前記対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、連続する2つの測定データごとに開眼度の差の大きさを求め、所定の時間幅ごとに、その時間幅に含まれる開眼度の差の大きさの最大値をとったデータを取得する、
    請求項1から5の何れか一項に記載の眠気推定情報補正装置。
  7. 前記眠気推定情報取得手段は、前記眠気推定情報として、前記対象者の左眼、右眼それぞれ、開眼度を所定の頻度で繰り返し測定した時系列データから、連続する2つの測定データごとに開眼度の差を求め、さらに、左眼における差と右眼における差との差の絶対値を求め、所定の時間幅ごとに、その時間幅に含まれる差の絶対値の平均をとったデータを取得する、
    請求項1からの何れか一項に記載の眠気推定情報補正装置。
  8. 対象者の瞼の動き情報を取得する瞼動き情報取得手段と、
    前記瞼の動き情報と、前記対象者の周囲環境における湿度を示す湿度情報とに基づいて、前記対象者の眠気推定情報として、前記対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、所定の時間幅ごとにその時間幅内での閉眼割合を求めたデータを算出する眠気推定手段と、
    を備える眠気推定装置。
  9. コンピュータによって、
    対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、所定の時間幅ごとにその時間幅内での閉眼割合を求めたデータを眠気推定情報として取得し、
    前記眠気推定情報を、前記対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する、
    ことを含む眠気推定情報補正方法。
  10. コンピュータによって、
    対象者の瞼の動き情報を取得し、
    前記瞼の動き情報と、前記対象者の周囲環境における湿度を示す湿度情報とに基づいて、前記対象者の眠気推定情報として、前記対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、所定の時間幅ごとにその時間幅内での閉眼割合を求めたデータを算出する、
    ことを含む眠気推定方法。
  11. コンピュータに、
    対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、所定の時間幅ごとにその時間幅内での閉眼割合を求めたデータを眠気推定情報として取得し、
    前記眠気推定情報を、前記対象者の周囲環境における湿度を示す湿度情報で補正した補正後眠気推定情報を算出する、
    ことを実行させるプログラム。
  12. コンピュータに、
    対象者の瞼の動き情報を取得し、
    前記瞼の動き情報と、前記対象者の周囲環境における湿度を示す湿度情報とに基づいて、前記対象者の眠気推定情報として、前記対象者の開眼度を所定の頻度で繰り返し測定した時系列データから、所定の時間幅ごとにその時間幅内での閉眼割合を求めたデータを算出する、
    ことを実行させるプログラム。
JP2021533914A 2019-07-22 2020-07-03 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法およびプログラム Active JP7231035B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2019134835 2019-07-22
JP2019134835 2019-07-22
PCT/JP2020/026222 WO2021014939A1 (ja) 2019-07-22 2020-07-03 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法および記録媒体

Publications (2)

Publication Number Publication Date
JPWO2021014939A1 JPWO2021014939A1 (ja) 2021-01-28
JP7231035B2 true JP7231035B2 (ja) 2023-03-01

Family

ID=74193806

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021533914A Active JP7231035B2 (ja) 2019-07-22 2020-07-03 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法およびプログラム

Country Status (3)

Country Link
US (1) US20220265217A1 (ja)
JP (1) JP7231035B2 (ja)
WO (1) WO2021014939A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2602511B (en) * 2020-12-21 2023-02-08 Continental Automotive Gmbh Method to control environmental conditions in a vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017127616A (ja) 2015-07-22 2017-07-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 覚醒度予測方法および覚醒度予測装置
JP2018183532A (ja) 2017-04-27 2018-11-22 株式会社デンソー 状態推定装置
JP2019046012A (ja) 2017-08-31 2019-03-22 マツダ株式会社 運転者状態判定装置
JP2019082282A (ja) 2017-10-30 2019-05-30 ダイキン工業株式会社 眠気推定装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3381351A1 (en) * 2017-03-29 2018-10-03 Vivior AG System for assessing a health condition of a user

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017127616A (ja) 2015-07-22 2017-07-27 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 覚醒度予測方法および覚醒度予測装置
JP2018183532A (ja) 2017-04-27 2018-11-22 株式会社デンソー 状態推定装置
JP2019046012A (ja) 2017-08-31 2019-03-22 マツダ株式会社 運転者状態判定装置
JP2019082282A (ja) 2017-10-30 2019-05-30 ダイキン工業株式会社 眠気推定装置

Also Published As

Publication number Publication date
JPWO2021014939A1 (ja) 2021-01-28
WO2021014939A1 (ja) 2021-01-28
US20220265217A1 (en) 2022-08-25

Similar Documents

Publication Publication Date Title
JP5782726B2 (ja) 覚醒低下検出装置
CN107554528B (zh) 驾乘人员的疲劳等级检测方法及装置、存储介质、终端
US20100036290A1 (en) Arousal state classification model generating device, arousal state classifying device, and warning device
KR20110017883A (ko) 졸음 이벤트의 검출을 위한 방법 및 장치
US20110313259A1 (en) Physiological condition estimation device and vehicle control device
US10583840B2 (en) Methods and apparatus to monitor an activity level of a driver
JP4867215B2 (ja) 生理・心理状態判定装置、生理・心理状態判定方法、リファレンスデータ生成装置、及びリファレンスデータ生成方法。
JP2010128649A (ja) 覚醒状態判断装置及び覚醒状態判断方法
JP6839090B2 (ja) 動力車両の運転手の覚醒レベルを予知する装置および方法
JP7231035B2 (ja) 眠気推定情報補正装置、眠気推定装置、眠気推定情報補正方法、眠気推定方法およびプログラム
JP6399311B2 (ja) 居眠り検知装置
US20220036101A1 (en) Methods, systems and computer program products for driver monitoring
JP3480483B2 (ja) 覚醒度推定装置
WO2020050357A1 (ja) 脈波検出装置、車両装置、及び脈波検出プログラム
JP2010184067A (ja) 生体状態推定装置
Dehzangi et al. Unobtrusive driver drowsiness prediction using driving behavior from vehicular sensors
JP2018045451A (ja) 車両制御装置
WO2021014632A1 (ja) 運転者状態判断装置および運転者状態判断方法
JP2019068933A (ja) 推定装置及び推定方法
US20200008732A1 (en) Arousal level determination device
KR20220014938A (ko) 자동차 및 그 제어 방법
JP2020013554A (ja) 覚醒度判定装置
WO2020203911A1 (ja) 脈拍数検出装置、及び脈拍数検出プログラム
JP7189564B2 (ja) 眠気推定装置、眠気推定方法、および眠気推定プログラム
JP7295790B2 (ja) 車載機、処理装置及びプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210928

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210928

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20221101

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230104

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230130

R151 Written notification of patent or utility model registration

Ref document number: 7231035

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151