JP7302275B2 - Drowsiness estimation device - Google Patents
Drowsiness estimation device Download PDFInfo
- Publication number
- JP7302275B2 JP7302275B2 JP2019092121A JP2019092121A JP7302275B2 JP 7302275 B2 JP7302275 B2 JP 7302275B2 JP 2019092121 A JP2019092121 A JP 2019092121A JP 2019092121 A JP2019092121 A JP 2019092121A JP 7302275 B2 JP7302275 B2 JP 7302275B2
- Authority
- JP
- Japan
- Prior art keywords
- drowsiness
- unit
- occupant
- information
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
- G08B21/02—Alarms for ensuring the safety of persons
- G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/168—Evaluating attention deficit, hyperactivity
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
- B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
- B60W2520/105—Longitudinal acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/12—Brake pedal position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/18—Steering angle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
Description
本開示は眠気推定装置に関する。 The present disclosure relates to a drowsiness estimation device.
特許文献1に覚醒度処理装置が記載されている。覚醒度処理装置は、モデルを用いて生理データから覚醒度を取得する。特許文献2に覚醒度推定装置が記載されている。覚醒度推定装置は、運転情報から第1の覚醒度を認識する。また、覚醒度推定装置は、第2の覚醒度認識部により、ドライバの生体情報から第2の覚醒度を認識する。覚醒度推定装置は、第2の覚醒度が第1の覚醒度と一致するように、第2の覚醒度認識部に学習を行わせる。
特許文献1に記載の覚醒度処理装置が備えるモデルは、個人ごとに作成される。個人ごとにモデルを作成するためには大きな労力とコストとを要する。特許文献2に記載の技術では、学習により、第2の覚醒度認識部の全体が更新される。そのため、覚醒度推定装置の開発者は、市場投入後に第2の覚醒度認識部をハンドリングすることが困難になる。
A model included in the awakening level processing device described in
本開示の1つの局面は、眠気を推定するユニットの作成に要する労力及びコストを低減でき、製品の市場投入後にも、眠気を推定するユニットのハンドリングが可能になる眠気推定装置を提供することが好ましい。 One aspect of the present disclosure is to provide a drowsiness estimation device that can reduce the labor and cost required to create a unit that estimates drowsiness, and that can handle the unit that estimates drowsiness even after the product is put on the market. preferable.
本開示の1つの局面は、車両の乗員の生理状態を表す生理情報、及び前記車両の状態を表す車両情報の少なくとも一方を含む基礎情報を取得するように構成された基礎情報取得ユニット(11)と、前記基礎情報に基づき、前記乗員の眠気の程度である第1眠気を推定するように構成された推定ユニット(17)と、前記第1眠気を補正して第2眠気を算出するように構成された補正ユニット(19)と、前記第2眠気を前記乗員に報知するように構成された報知ユニット(21)と、前記乗員が入力する、前記乗員の眠気の程度である第3眠気を取得するように構成された第3眠気取得ユニット(23)と、前記第2眠気、及び前記第3眠気に基づき学習を行い、前記補正ユニットを更新するように構成された更新ユニット(25)と、を備える眠気推定装置(1)である。 One aspect of the present disclosure is a basic information acquisition unit (11) configured to acquire basic information including at least one of physiological information representing a physiological condition of an occupant of a vehicle and vehicle information representing a condition of the vehicle. an estimating unit (17) configured to estimate a first drowsiness that is the degree of drowsiness of the occupant based on the basic information; and a second drowsiness is calculated by correcting the first drowsiness. a notification unit (21) configured to notify the occupant of the second drowsiness; and a third drowsiness level of the occupant input by the occupant. a third drowsiness acquisition unit (23) configured to acquire and an update unit (25) configured to learn based on said second drowsiness and said third drowsiness and update said correction unit is a drowsiness estimation device (1) comprising:
本開示の1つの局面である眠気推定装置は、第2眠気、及び第3眠気に基づき学習を行い、補正ユニットを更新する。第3眠気は真の眠気に近い。そのため、本開示の1つの局面である眠気推定装置は、第2眠気を真の眠気に近づけることができる。 A drowsiness estimation device that is one aspect of the present disclosure performs learning based on the second drowsiness and the third drowsiness to update the correction unit. The third drowsiness is close to true drowsiness. Therefore, the drowsiness estimation device that is one aspect of the present disclosure can bring the second drowsiness closer to true drowsiness.
本開示の1つの局面である眠気推定装置は、推定ユニットを必ずしも更新しなくてもよい。そのため、本開示の1つの局面である眠気推定装置の開発者は、眠気推定装置の市場投入後に、推定ユニットのハンドリングを行うことができる。 A drowsiness estimation device that is one aspect of the present disclosure may not necessarily update the estimation unit. Therefore, the developer of the drowsiness estimation device, which is one aspect of the present disclosure, can handle the estimation unit after the drowsiness estimation device is put on the market.
本開示の1つの局面である眠気推定装置が備える推定ユニット及び補正ユニットは、個人ごとに予め作成しておく必要がない。そのため、推定ユニット及び補正ユニットを作成する労力及びコストを低減できる。 The estimation unit and correction unit included in the drowsiness estimation device, which is one aspect of the present disclosure, need not be created in advance for each individual. Therefore, it is possible to reduce the labor and cost of creating the estimation unit and the correction unit.
本開示の例示的な実施形態について図面を参照しながら説明する。
<第1実施形態>
1.眠気推定装置1の構成
眠気推定装置1の構成を、図1~図4に基づき説明する。眠気推定装置1は車両に搭載される。車両は、自動運転が可能な車両であってもよいし、手動運転のみが可能な車両であってもよい。
Exemplary embodiments of the present disclosure are described with reference to the drawings.
<First embodiment>
1. Configuration of Drowsiness Estimating
図1に示すように、眠気推定装置1は、CPU3と、例えば、RAM又はROM等の半導体メモリ(以下、メモリ5とする)と、を有するマイクロコンピュータを備える。
眠気推定装置1の各機能は、CPU3が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ5が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、眠気推定装置1は、1つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
As shown in FIG. 1, the
Each function of the
眠気推定装置1は、図2に示すように、乗員識別ユニット7と、呼び出しユニット9と、基礎情報取得ユニット11と、動作情報取得ユニット13と、運転状態情報取得ユニット15と、推定ユニット17と、補正ユニット19と、報知ユニット21と、第3眠気取得ユニット23と、更新ユニット25と、を備える。
As shown in FIG. 2, the
眠気推定装置1は補正ユニット19を複数備える。それぞれの補正ユニット19は一人の乗員に対応付けられている。すなわち、複数の乗員のそれぞれに対応付けられた補正ユニット19が存在する。
The
図1に示すように、眠気推定装置1は、車両に搭載された他の構成と接続している。他の構成として、カメラ27、生理状態センサ29、車両状態センサ31、カーナビシステム33、通信機35、車載機器37、表示部39、入力スイッチ41、及び識別情報入力部43がある。
As shown in FIG. 1, the
カメラ27は、車両の乗員の顔を撮影し、画像(以下では顔画像とする)を生成する。カメラ27は、顔画像を眠気推定装置1に送る。顔画像は生理情報に対応する。乗員は、例えば、車両のドライバである。また、乗員は、例えば、自動運転を行う車両の乗員である。
The
生理状態センサ29は、乗員の生理状態を測定し、生理情報を生成する。生理状態センサ29は、生理情報を眠気推定装置1に送る。生理情報は、生理状態を表す情報である。生理状態として、例えば、心電、呼吸、眼電、皮膚コンダクタンス、皮膚温度、脳波、脈波、体動等が挙げられる。生理状態センサ29は、1種類の生理情報を生成してもよいし、複数種類の生理情報を生成してもよい。
The
車両状態センサ31は、車両の状態を測定し、車両情報を生成する。車両状態センサ31は、車両情報を眠気推定装置1に送る。車両情報は、車両の状態を表す情報である。車両の状態として、例えば、車速、加速度、舵角、ブレーキの踏み込み量等が挙げられる。車両状態センサ31は、1種類の車両情報を生成してもよいし、複数種類の車両情報を生成してもよい。
The
カーナビシステム33は、車両の位置情報を取得する機能、車両の予定走行経路を設定する機能、車両が走行している道路の種類を判断する機能等を備える。乗員がカーナビシステム33を操作したとき、カーナビシステム33は、動作情報を生成し、眠気推定装置1に送る。カーナビシステム33が送る動作情報は、カーナビシステム33を操作するために乗員が動作を行ったことを表す情報である。
The
通信機35は、車両の外部と通信し、各種情報を取得することができる。取得する情報として、例えば、天候、現在時刻等を表す情報が挙げられる。
車載機器37として、例えば、エアコン、パワーウインドウ、カーオーディオ、ライト、ワイパー等が挙げられる。乗員が車載機器37を操作したとき、車載機器37は、動作情報を生成し、眠気推定装置1に送る。車載機器37が送る動作情報は、車載機器37を操作するために乗員が動作を行ったことを表す情報である。
The
Examples of the in-
図3に示すように、表示部39は、車両のインパネ45に設けられている。乗員は表示部39を視認することができる。表示部39は、後述する第2眠気、及び第3眠気を表示することができる。表示部39の機能については後述する。
As shown in FIG. 3, the
インパネ45は、回転計47、燃料計49、速度計51、名前表示部53、日時及び気温表示部55、及び距離計57を備える。名前表示部53は、後述するステップ1で識別した乗員の名前を表示する。日時及び気温表示部55は、年月日、時刻、及び気温を表示する。
The
図4に示すように、入力スイッチ41は、車両のステアリング59に設けられている。入力スイッチ41はつまみ61を備える。乗員は、つまみ61に対し、A方向の操作、及び、B方向の操作を行うことができる。入力スイッチ41は、つまみ61にA方向の操作が行われたとき、A出力を眠気推定装置1に送る。入力スイッチ41は、つまみ61にB方向の操作が行われたとき、B出力を眠気推定装置1に送る。
As shown in FIG. 4, the
識別情報入力部43は、乗員の識別情報を受け付ける。識別情報として、例えば、乗員が入力するパスワード、乗員の顔画像、乗員の生体情報等が挙げられる。
2.眠気推定装置1が実行する処理
眠気推定装置1が実行する処理を、図5、図6に基づき説明する。図5のステップ1では、乗員識別ユニット7が、識別情報入力部43を用いて乗員の識別情報を取得する。乗員識別ユニット7は、識別情報に基づき、現時点で車両に乗車している乗員を識別する。
The identification
2. Processes Executed by
ステップ2では、呼び出しユニット9が、前記ステップ1で識別した乗員に対応付けられた補正ユニット19を呼び出す。
ステップ3では、基礎情報取得ユニット11が基礎情報を取得する。基礎情報は、生理情報と、車両情報とを含む。基礎情報取得ユニット11は、カメラ27及び生理状態センサ29を用いて生理情報を取得する。基礎情報取得ユニット11は、車両状態センサ31を用いて車両情報を取得する。
In step 2, the calling
In
ステップ4では、動作情報取得ユニット13が、カーナビシステム33及び車載機器37から動作情報を取得する処理を行う。
ステップ5では、運転状態情報取得ユニット15が、運転状態情報を取得する処理を行う。運転状態情報は、車両の運転状態を表す情報である。車両の運転状態として、例えば、運転を開始した時点から現時点までの運転継続時間、車両が走行中である道路が高速道路と一般道路とのうちのいずれであるか、現在時刻、車両は往路及び復路のうちどちらを走行中であるのか、車両が走行中である地域の天候、過去の単位時間のうち、車両が停止していた時間が占める割合、車両の舵角等が挙げられる。
In step 4 , the motion
In
運転状態情報取得ユニット15は、例えば、カーナビシステム33、通信機35、車両状態センサ31等を用いて、運転状態情報を取得することができる。
ステップ6では、推定ユニット17が、前記ステップ3で取得した基礎情報に基づき、第1眠気を推定する。第1眠気は、乗員の眠気の程度である。推定ユニット17が第1眠気を推定する方法は以下のとおりである。
The driving state
In step 6, the
推定ユニット17は、基礎情報から、乗員の眠気と相関がある特徴を抽出する。特徴として、例えば、顔画像から抽出できる特徴がある。顔画像から抽出できる特徴として、例えば、上瞼が下がっていること、閉眼していること、瞬きの速度が遅いこと、瞬きをしていなこと、頬又は口周りにゆるみがあること等が挙げられる。
The estimating
特徴として、例えば、車両情報から抽出できる特徴がある。車両情報から抽出できる特徴として、例えば、舵角の変動の発生頻度が少ないこと等が挙げられる。
推定ユニット17は、特徴が抽出できた場合は、特徴が抽出できなかった場合より、第1眠気を高く推定する。推定ユニット17は、特徴が顕著であるほど、第1眠気を高く推定する。推定ユニット17は、抽出できた特徴の数が多いほど、第1眠気を高く推定する。
Features include, for example, features that can be extracted from vehicle information. Features that can be extracted from vehicle information include, for example, that the frequency of occurrence of steering angle fluctuations is low.
The
ステップ7では、前記ステップ2で呼び出された補正ユニット19が、第1眠気を補正して第2眠気を算出する。第2眠気は、乗員の眠気の程度である。補正ユニット19は、第1眠気、前記ステップ4で取得した動作情報、及び前記ステップ5で取得した運転状態情報に基づき、第2眠気を算出する。
In
補正ユニット19は、第1眠気、動作情報、及び運転状態情報を入力すると、第2眠気を出力する関数である。補正ユニット19の内容は、初期においては標準の内容である。初期とは、例えば、眠気推定装置1の工場出荷時である。補正ユニット19の内容は、後述するステップ11の処理で更新される。
The
前記ステップ4で動作情報を取得できなかった場合、補正ユニット19は、予め決められた標準の動作情報を使用する。前記ステップ5で運転状態情報を取得できなかった場合、補正ユニット19は、予め決められた標準の運転状態情報を使用する。
If motion information could not be obtained in said step 4, the
ステップ8では、報知ユニット21が、表示部39を用いて、前記ステップ7で算出した第2眠気を乗員に報知する。図6のIに示すように、表示部39は、枠63の中に、第1領域65を表示する。第1領域65は、枠63における他の領域に比べて、色又は輝度が異なる。第1領域65は、枠63の左端から、右方向に延びている。第1領域65の幅方向における長さL2は第2眠気に対応する。長さL2が大きいほど、第2眠気は高い。乗員は、表示部39を見ることで、第2眠気を知ることができる。
In step 8, the
ステップ9では、第3眠気の入力があったか否かを、第3眠気取得ユニット23が判断する。第3眠気とは、乗員が入力スイッチ41を用いて入力する、乗員の眠気である。乗員は、自らの主観によって第3眠気を決定し、入力する。
In
乗員が第3眠気を入力する方法は以下のとおりである。乗員は、表示部39に表示された第2眠気よりも第3眠気が低いと判断した場合、つまみ61に対し、図4に示すA方向の操作を行う。
The method by which the occupant inputs the third drowsiness is as follows. When the occupant determines that the third drowsiness is lower than the second drowsiness displayed on the
このとき、図6のIIAに示すように、第2領域67が表示される。第2領域67は、それ以外の領域に比べて色又は輝度が異なる領域である。第2領域67は、枠63の左端から、右方向に延びている。第2領域67の幅方向における長さL3は眠気の程度を表す。A方向の操作の回数が多いほど、長さL2は減少する。乗員は、長さL3が第3眠気に一致したと判断するまで、A方向の操作を繰り返す。第3眠気取得ユニット23は、最終的な長さL3に対応する第3眠気を取得する。
At this time, as shown in IIA of FIG. 6, the
また、乗員は、表示部39に表示された第2眠気よりも第3眠気が高いと判断した場合、つまみ61に対し、図4に示すB方向の操作を行う。このとき、図6のIIBに示すように、第2領域67が表示される。B方向の操作の回数が多いほど、長さL3は増加する。乗員は、長さL3が第3眠気に一致したと判断するまで、B方向の操作を繰り返す。第3眠気取得ユニット23は、最終的な長さL3に対応する第3眠気を取得する。
When the passenger determines that the third drowsiness is higher than the second drowsiness displayed on the
第3眠気の入力があったと判断した場合、本処理はステップ10に進む。第3眠気の入力がなかったと判断した場合、本処理はステップ3に進む。
ステップ10では、更新ユニット25が、前記ステップ6で推定した第1眠気、前記ステップ7で算出した第2眠気、前記ステップ9で入力されたと判断した第3眠気、前記ステップ4で取得した動作情報、及び前記ステップ5で取得した運転状態情報に基づき、補正ユニット19について学習を行う。
If it is determined that the third drowsiness has been input, the process proceeds to step 10 . If it is determined that the third drowsiness has not been input, the process proceeds to step 3 .
In step 10, the
前記ステップ4で動作情報を取得できなかった場合、更新ユニット25は、予め決められた標準の動作情報を使用する。前記ステップ5で運転状態情報を取得できなかった場合、更新ユニット25は、予め決められた標準の運転状態情報を使用する。
If the motion information could not be obtained in said step 4, the
学習の内容は、第1眠気、動作情報、及び運転状態情報が同一か、近似している状況が将来発生した場合に、補正ユニット19が算出する第2眠気が第3眠気に近づくように学習するというものである。
The content of the learning is such that the second drowsiness calculated by the
ステップ11では、更新ユニット25が、前記ステップ10での学習結果に基づき、補正ユニット19を更新する。更新ユニット25は、更新後の補正ユニット19を保存する。
ステップ12では、報知ユニット21が、第2眠気の値を、第3眠気の値に更新する。すなわち、報知ユニット21は、図6のIIIA、IIIBに示すように、L2の長さを、L3の長さに更新する。また、報知ユニット21は、第2領域67を消去する。
In
In step 12, the
3.眠気推定装置1が奏する効果
(1A)眠気推定装置1は、第2眠気、及び第3眠気に基づき学習を行い、補正ユニット19を更新する。第3眠気は真の眠気に近い。そのため、眠気推定装置1は、第2眠気を真の眠気に近づけることができる。
ここで、真の眠気とは、個人の中の閉じた感覚であって、客観的に測定することは困難である。近年、眠気の原因は、脳内の蛋白質におけるリン酸化であるとする仮説が提唱されている。しかしながら、人間の脳内の蛋白質変化を測定することは容易ではない。また、人間の脳内の蛋白質変化を測定できたとしても、測定量と、眠気に対する個人毎の感覚である真の眠気との関係は人により異なると考えられる。
3. Effects of Sleepiness Estimation Device 1 (1A) The
Here, true drowsiness is a closed sensation within an individual and is difficult to measure objectively. In recent years, a hypothesis has been proposed that the cause of drowsiness is the phosphorylation of proteins in the brain. However, measuring protein changes in the human brain is not easy. Moreover, even if protein changes in the human brain can be measured, the relationship between the amount of measurement and true sleepiness, which is the individual's sense of sleepiness, is thought to differ from person to person.
(1B)推定ユニット17は、例えば、更新されない。そのため、例えば、眠気推定装置1の開発者は、眠気推定装置1の市場投入後に、推定ユニット17のハンドリングを行うことができる。
(1B)
(1C)推定ユニット17及び補正ユニット19は、個人ごとに予め作成しておく必要がない。そのため、推定ユニット17及び補正ユニット19を作成する労力及びコストを低減できる。
(1C) The
(1D)補正ユニット19は、第1眠気、動作情報、及び運転状態情報に基づき、第2眠気を算出する。更新ユニット25は、第1眠気、第2眠気、第3眠気、動作情報、及び運転状態情報に基づき学習を行い、補正ユニット19を更新する。
(1D) The
そのため、眠気推定装置1は、一層正確に第2眠気を算出することができる。また、眠気推定装置1は、動作情報、及び運転状態情報に基づき、補正ユニット19を一層適切に更新することができる。
<第2実施形態>
1.第1実施形態との相違点
第2実施形態は、基本的な構成は第1実施形態と同様であるため、相違点について以下に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
Therefore, the
<Second embodiment>
1. Differences from First Embodiment Since the basic configuration of the second embodiment is the same as that of the first embodiment, the differences will be described below. Note that the same reference numerals as in the first embodiment indicate the same configurations, and refer to the preceding description.
第2実施形態では、眠気推定装置1は、運転状態情報は取得しない。第2実施形態では、補正ユニット19は、第1眠気、及び前記ステップ4で取得した動作情報に基づき、第2眠気を算出する。すなわち、補正ユニット19は、第1眠気及び動作情報を入力すると、第2眠気を出力する関数である。
In the second embodiment, the
第2実施形態では、更新ユニット25が、前記ステップ6で推定した第1眠気、前記ステップ7で算出した第2眠気、前記ステップ9で入力されたと判断した第3眠気、及び前記ステップ4で取得した動作情報に基づき、補正ユニット19について学習を行う。
In the second embodiment, the
学習の内容は、第1眠気及び動作情報が同一か、近似している状況が将来発生した場合に、補正ユニット19が算出する第2眠気が第3眠気に近づくように学習するというものである。
The content of the learning is to learn so that the second drowsiness calculated by the
2.眠気推定装置1が奏する効果
以上詳述した第2実施形態によれば、前述した第1実施形態の効果(1A)~(1C)を奏し、さらに、以下の効果を奏する。
2. Effects of
(2A)補正ユニット19は、第1眠気及び動作情報に基づき、第2眠気を算出する。更新ユニット25は、第1眠気、第2眠気、第3眠気、及び動作情報に基づき学習を行い、補正ユニット19を更新する。
(2A) The
そのため、眠気推定装置1は、一層正確に第2眠気を算出することができる。また、眠気推定装置1は、動作情報に基づき、補正ユニット19を一層適切に更新することができる。
<第3実施形態>
1.第1実施形態との相違点
第3実施形態は、基本的な構成は第1実施形態と同様であるため、相違点について以下に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
Therefore, the
<Third Embodiment>
1. Differences from First Embodiment Since the basic configuration of the third embodiment is the same as that of the first embodiment, the differences will be described below. Note that the same reference numerals as in the first embodiment indicate the same configurations, and refer to the preceding description.
第3実施形態では、眠気推定装置1は、動作情報は取得しない。第3実施形態では、補正ユニット19は、第1眠気、及び前記ステップ5で取得した運転状態情報に基づき、第2眠気を算出する。すなわち、補正ユニット19は、第1眠気及び運転状態情報を入力すると、第2眠気を出力する関数である。
In the third embodiment, the
第3実施形態では、更新ユニット25が、前記ステップ6で推定した第1眠気、前記ステップ7で算出した第2眠気、前記ステップ9で入力されたと判断した第3眠気、及び前記ステップ5で取得した運転状態情報に基づき、補正ユニット19について学習を行う。
In the third embodiment, the
学習の内容は、第1眠気及び運転状態情報が同一か、近似している状況が将来発生した場合に、補正ユニット19が算出する第2眠気が第3眠気に近づくように学習するというものである。
The content of the learning is to learn so that the second drowsiness calculated by the
2.眠気推定装置1が奏する効果
以上詳述した第3実施形態によれば、前述した第1実施形態の効果(1A)~(1C)を奏し、さらに、以下の効果を奏する。
2. Effects of
(3A)補正ユニット19は、第1眠気、及び運転状態情報に基づき、第2眠気を算出する。更新ユニット25は、第1眠気、第2眠気、第3眠気、及び運転状態情報に基づき学習を行い、補正ユニット19を更新する。
(3A) The
そのため、眠気推定装置1は、一層正確に第2眠気を算出することができる。また、眠気推定装置1は、運転状態情報に基づき、補正ユニット19を一層適切に更新することができる。
<第4実施形態>
1.第1実施形態との相違点
第4実施形態は、基本的な構成は第1実施形態と同様であるため、相違点について以下に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
Therefore, the
<Fourth Embodiment>
1. Differences from First Embodiment Since the basic configuration of the fourth embodiment is the same as that of the first embodiment, the differences will be described below. Note that the same reference numerals as in the first embodiment indicate the same configurations, and refer to the preceding description.
第4実施形態では、眠気推定装置1は、動作情報及び運転状態情報は取得しない。第4実施形態では、補正ユニット19は、第1眠気に基づき、第2眠気を算出する。すなわち、補正ユニット19は、第1眠気を入力すると、第2眠気を出力する関数である。
In the fourth embodiment, the
第4実施形態では、更新ユニット25が、前記ステップ7で算出した第2眠気、及び前記ステップ9で入力されたと判断した第3眠気に基づき、補正ユニット19について学習を行う。
In the fourth embodiment, the
学習の内容は、第1眠気が同一か、近似している状況が将来発生した場合に、補正ユニット19が算出する第2眠気が第3眠気に近づくように学習するというものである。
2.眠気推定装置1が奏する効果
以上詳述した第4実施形態によれば、前述した第1実施形態の効果(1A)~(1C)を奏する。
<他の実施形態>
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
The content of the learning is to learn so that the second drowsiness calculated by the
2. Effects of
<Other embodiments>
Although the embodiments of the present disclosure have been described above, the present disclosure is not limited to the above-described embodiments, and various modifications can be made.
(1)表示部39の位置は、例えば、A/Cパネル、カーナビシステム33等の上であってもよい。また、ヘッドアップディスプレイにより、表示部39と同様の表示を行ってよい。また、音声により、表示部39の表示内容を乗員に報知してもよい。
(1) The position of the
(2)入力スイッチ41の代わりに、タッチパネル、音声認識システム、リモートタッチコントローラー等を使用してもよい。
(3)眠気推定装置1は、他の方法で動作情報を取得してもよい。例えば、眠気推定装置1は、カメラ27の画像に基づき乗員の動作を検出し、動作情報を取得してもよい。
(2) Instead of the
(3) The
(4)基礎情報は、生理情報のみであってもよい。基礎情報は、車両情報のみであってもよい。
(5)本開示に記載の眠気推定装置1及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の眠気推定装置1及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の眠気推定装置1及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。眠気推定装置1に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
(4) The basic information may be physiological information only. The basic information may be only vehicle information.
(5) The
(6)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。 (6) A plurality of functions possessed by one component in the above embodiment may be realized by a plurality of components, or a function possessed by one component may be realized by a plurality of components. . Also, a plurality of functions possessed by a plurality of components may be realized by a single component, or a function realized by a plurality of components may be realized by a single component. Also, part of the configuration of the above embodiment may be omitted. Moreover, at least part of the configuration of the above embodiment may be added or replaced with respect to the configuration of the other above embodiment.
(7)上述した眠気推定装置1の他、当該眠気推定装置1を構成要素とするシステム、当該眠気推定装置1としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、覚醒度推定装置、眠気推定方法、覚醒度推定方法等、種々の形態で本開示を実現することもできる。
(7) In addition to the
1…眠気推定装置、11…基礎情報取得ユニット、13…動作情報取得ユニット、15…運転状態情報取得ユニット、17…推定ユニット、19…補正ユニット、21…報知ユニット、23…第3眠気取得ユニット、25…更新ユニット、39…表示部、41…入力スイッチ
DESCRIPTION OF
Claims (7)
前記基礎情報に基づき、前記乗員の眠気の程度である第1眠気を推定するように構成された推定ユニット(17)と、
前記第1眠気を補正して第2眠気を算出するように構成された補正ユニット(19)と、
前記第2眠気を前記乗員に報知するように構成された報知ユニット(21)と、
前記乗員が入力する、前記乗員の眠気の程度である第3眠気を取得するように構成された第3眠気取得ユニット(23)と、
前記第2眠気、及び前記第3眠気に基づき学習を行い、前記補正ユニットを更新するように構成された更新ユニット(25)と、
前記乗員の動作を表す動作情報を取得する動作情報取得ユニット(13)と、
を備え、
前記補正ユニットは、前記第1眠気、及び前記動作情報に基づき、前記第2眠気を算出するように構成され、
前記更新ユニットは、前記第1眠気、前記第2眠気、前記第3眠気、及び前記動作情報に基づき学習を行い、前記補正ユニットを更新するように構成された眠気推定装置(1)。 a basic information acquisition unit (11) configured to acquire basic information including at least one of physiological information representing the physiological condition of an occupant of the vehicle and vehicle information representing the condition of the vehicle;
an estimating unit (17) configured to estimate a first drowsiness measure of the occupant's drowsiness based on the basic information;
a correction unit (19) configured to correct said first drowsiness to calculate a second drowsiness;
a notification unit (21) configured to notify the occupant of the second drowsiness;
a third drowsiness acquisition unit (23) configured to acquire a third drowsiness level of the occupant input by the occupant;
an updating unit (25) configured to learn based on said second drowsiness and said third drowsiness and update said correction unit;
a motion information acquisition unit (13) for acquiring motion information representing motion of the occupant ;
with
the correction unit is configured to calculate the second drowsiness based on the first drowsiness and the motion information;
A drowsiness estimation device (1) , wherein said updating unit is adapted to learn based on said first drowsiness, said second drowsiness, said third drowsiness and said motion information to update said correction unit.
前記基礎情報に基づき、前記乗員の眠気の程度である第1眠気を推定するように構成された推定ユニット(17)と、
前記第1眠気を補正して第2眠気を算出するように構成された補正ユニット(19)と、
前記第2眠気を前記乗員に報知するように構成された報知ユニット(21)と、
前記乗員が入力する、前記乗員の眠気の程度である第3眠気を取得するように構成された第3眠気取得ユニット(23)と、
前記第2眠気、及び前記第3眠気に基づき学習を行い、前記補正ユニットを更新するように構成された更新ユニット(25)と、
前記車両の運転状態を表す運転状態情報を取得する運転状態情報取得ユニット(15)と、
を備え、
前記補正ユニットは、前記第1眠気、及び前記運転状態情報に基づき、前記第2眠気を算出するように構成され、
前記更新ユニットは、前記第1眠気、前記第2眠気、前記第3眠気、及び前記運転状態情報に基づき学習を行い、前記補正ユニットを更新するように構成された眠気推定装置(1)。 a basic information acquisition unit (11) configured to acquire basic information including at least one of physiological information representing the physiological condition of an occupant of the vehicle and vehicle information representing the condition of the vehicle;
an estimating unit (17) configured to estimate a first drowsiness measure of the occupant's drowsiness based on the basic information;
a correction unit (19) configured to correct said first drowsiness to calculate a second drowsiness;
a notification unit (21) configured to notify the occupant of the second drowsiness;
a third drowsiness acquisition unit (23) configured to acquire a third drowsiness level of the occupant input by the occupant;
an updating unit (25) configured to learn based on said second drowsiness and said third drowsiness and update said correction unit;
a driving state information acquisition unit (15) for acquiring driving state information representing the driving state of the vehicle ;
with
the correction unit is configured to calculate the second drowsiness based on the first drowsiness and the driving state information;
The drowsiness estimation device (1) , wherein the updating unit is configured to learn based on the first drowsiness, the second drowsiness, the third drowsiness and the driving state information to update the correction unit.
前記基礎情報に基づき、前記乗員の眠気の程度である第1眠気を推定するように構成された推定ユニット(17)と、
前記第1眠気を補正して第2眠気を算出するように構成された補正ユニット(19)と、
前記第2眠気を前記乗員に報知するように構成された報知ユニット(21)と、
前記乗員が入力する、前記乗員の眠気の程度である第3眠気を取得するように構成された第3眠気取得ユニット(23)と、
前記第2眠気、及び前記第3眠気に基づき学習を行い、前記補正ユニットを更新するように構成された更新ユニット(25)と、
前記乗員の動作を表す動作情報を取得する動作情報取得ユニット(13)と、
前記車両の運転状態を表す運転状態情報を取得する運転状態取得ユニット(15)と、
を備え、
前記補正ユニットは、前記第1眠気、前記動作情報、及び前記運転状態情報に基づき、前記第2眠気を算出するように構成され、
前記更新ユニットは、前記第1眠気、前記第2眠気、前記第3眠気、前記動作情報、及び前記運転状態情報に基づき学習を行い、前記補正ユニットを更新するように構成された眠気推定装置(1)。 a basic information acquisition unit (11) configured to acquire basic information including at least one of physiological information representing the physiological condition of an occupant of the vehicle and vehicle information representing the condition of the vehicle;
an estimating unit (17) configured to estimate a first drowsiness measure of the occupant's drowsiness based on the basic information;
a correction unit (19) configured to correct said first drowsiness to calculate a second drowsiness;
a notification unit (21) configured to notify the occupant of the second drowsiness;
a third drowsiness acquisition unit (23) configured to acquire a third drowsiness level of the occupant input by the occupant;
an updating unit (25) configured to learn based on said second drowsiness and said third drowsiness and update said correction unit;
a motion information acquisition unit (13) for acquiring motion information representing motion of the occupant;
A driving state acquisition unit (15) for acquiring driving state information representing the driving state of the vehicle;
with
the correction unit is configured to calculate the second drowsiness based on the first drowsiness, the motion information and the driving state information;
The updating unit is configured to learn based on the first drowsiness, the second drowsiness, the third drowsiness, the motion information, and the driving state information, and update the correction unit ( 1).
前記動作情報は、カーナビシステム又は車載機器を操作するために前記乗員が動作を行ったことを表す情報である、The motion information is information indicating that the occupant has performed a motion to operate a car navigation system or an in-vehicle device.
眠気推定装置。Drowsiness estimator.
前記運転状態情報は、運転を開始した時点から現時点までの運転継続時間、現在時刻、前記車両は往路及び復路のうちどちらを走行中であるのか、前記車両が走行中である地域の天候、又は、前記車両の舵角を表す情報である、
眠気推定装置。 The drowsiness estimation device according to claim 2 or 3,
The driving state information includes the driving duration from the start of driving to the current time, the current time, which route the vehicle is traveling on, the outward route or the return route, the weather in the area where the vehicle is traveling, Alternatively, information representing the steering angle of the vehicle,
Drowsiness estimator.
前記基礎情報は前記生理情報を含み、the basic information includes the physiological information;
前記生理情報は、前記乗員の顔を撮影した画像である、The physiological information is an image of the occupant's face,
眠気推定装置。Drowsiness estimator.
前記更新ユニットは、前記学習の結果に基づき、前記第2眠気が前記第3眠気に近づくように前記補正ユニットを更新するように構成された眠気推定装置。 The drowsiness estimation device according to any one of claims 1 to 6 ,
The drowsiness estimation device, wherein the updating unit is configured to update the correction unit such that the second drowsiness approaches the third drowsiness based on the result of the learning.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019092121A JP7302275B2 (en) | 2019-05-15 | 2019-05-15 | Drowsiness estimation device |
DE102020206090.8A DE102020206090A1 (en) | 2019-05-15 | 2020-05-14 | Fatigue level estimation system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019092121A JP7302275B2 (en) | 2019-05-15 | 2019-05-15 | Drowsiness estimation device |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020187572A JP2020187572A (en) | 2020-11-19 |
JP7302275B2 true JP7302275B2 (en) | 2023-07-04 |
Family
ID=73019179
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019092121A Active JP7302275B2 (en) | 2019-05-15 | 2019-05-15 | Drowsiness estimation device |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7302275B2 (en) |
DE (1) | DE102020206090A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004024704A (en) | 2002-06-27 | 2004-01-29 | Pioneer Electronic Corp | Driver mental condition information providing system |
JP2011118831A (en) | 2009-12-07 | 2011-06-16 | Denso Corp | Awakening support device |
JP2016182241A (en) | 2015-03-26 | 2016-10-20 | パイオニア株式会社 | Drowsiness calculation device |
JP2016182242A (en) | 2015-03-26 | 2016-10-20 | パイオニア株式会社 | Drowsiness calculation device |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3646501B2 (en) * | 1998-02-16 | 2005-05-11 | いすゞ自動車株式会社 | Vehicle dangerous driving judgment device |
-
2019
- 2019-05-15 JP JP2019092121A patent/JP7302275B2/en active Active
-
2020
- 2020-05-14 DE DE102020206090.8A patent/DE102020206090A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004024704A (en) | 2002-06-27 | 2004-01-29 | Pioneer Electronic Corp | Driver mental condition information providing system |
JP2011118831A (en) | 2009-12-07 | 2011-06-16 | Denso Corp | Awakening support device |
JP2016182241A (en) | 2015-03-26 | 2016-10-20 | パイオニア株式会社 | Drowsiness calculation device |
JP2016182242A (en) | 2015-03-26 | 2016-10-20 | パイオニア株式会社 | Drowsiness calculation device |
Also Published As
Publication number | Publication date |
---|---|
DE102020206090A1 (en) | 2020-11-19 |
JP2020187572A (en) | 2020-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9956963B2 (en) | Apparatus for assessing, predicting, and responding to driver fatigue and drowsiness levels | |
JP6497915B2 (en) | Driving support system | |
JP6287728B2 (en) | In-vehicle system, vehicle control device, and program for vehicle control device | |
CN111048171B (en) | Method and device for solving motion sickness | |
US20170217445A1 (en) | System for intelligent passenger-vehicle interactions | |
CN111295699B (en) | Assistance method, assistance system using the assistance method, and assistance device | |
KR20200113202A (en) | Information processing device, mobile device, and method, and program | |
CN105015445A (en) | Method and system for personalized assistance driver of motor vehicle | |
JP2018180983A (en) | Information processing device, information processing method, and program | |
JP6988075B2 (en) | Discomfort discrimination method and discomfort discrimination device | |
EP3885220B1 (en) | Automatically estimating skill levels and confidence levels of drivers | |
JP6575933B2 (en) | Vehicle driving support system | |
US11040720B2 (en) | Sleepiness level prediction device and sleepiness level prediction method | |
JP7226197B2 (en) | vehicle controller | |
US11430231B2 (en) | Emotion estimation device and emotion estimation method | |
JP2018139070A (en) | Vehicle display control device | |
JP7302275B2 (en) | Drowsiness estimation device | |
JP7348734B2 (en) | Vehicle driving information providing device, vehicle driving information providing method and program | |
WO2020039994A1 (en) | Car sharing system, driving control adjustment device, and vehicle preference matching method | |
JP2019036018A (en) | Driver support device and driver support method | |
US11383640B2 (en) | Techniques for automatically reducing annoyance levels of drivers when using driver monitoring systems | |
WO2018163491A1 (en) | Automatic driving vehicle monitoring device, method and program | |
US10945651B2 (en) | Arousal level determination device | |
JP2019079096A (en) | State improvement device, state improvement method, and control program | |
JP7468329B2 (en) | Driving assistance device, driving assistance method, and driving assistance program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210825 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20220715 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220830 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20221012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230419 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230523 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230605 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7302275 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |