JP7302275B2 - Drowsiness estimation device - Google Patents

Drowsiness estimation device Download PDF

Info

Publication number
JP7302275B2
JP7302275B2 JP2019092121A JP2019092121A JP7302275B2 JP 7302275 B2 JP7302275 B2 JP 7302275B2 JP 2019092121 A JP2019092121 A JP 2019092121A JP 2019092121 A JP2019092121 A JP 2019092121A JP 7302275 B2 JP7302275 B2 JP 7302275B2
Authority
JP
Japan
Prior art keywords
drowsiness
unit
occupant
information
vehicle
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019092121A
Other languages
Japanese (ja)
Other versions
JP2020187572A (en
Inventor
佑樹 澤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2019092121A priority Critical patent/JP7302275B2/en
Priority to DE102020206090.8A priority patent/DE102020206090A1/en
Publication of JP2020187572A publication Critical patent/JP2020187572A/en
Application granted granted Critical
Publication of JP7302275B2 publication Critical patent/JP7302275B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02Alarms for ensuring the safety of persons
    • G08B21/06Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0827Inactivity or incapacity of driver due to sleepiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00Input parameters relating to overall vehicle dynamics
    • B60W2520/10Longitudinal speed
    • B60W2520/105Longitudinal acceleration
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/12Brake pedal position
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs

Description

本開示は眠気推定装置に関する。 The present disclosure relates to a drowsiness estimation device.

特許文献1に覚醒度処理装置が記載されている。覚醒度処理装置は、モデルを用いて生理データから覚醒度を取得する。特許文献2に覚醒度推定装置が記載されている。覚醒度推定装置は、運転情報から第1の覚醒度を認識する。また、覚醒度推定装置は、第2の覚醒度認識部により、ドライバの生体情報から第2の覚醒度を認識する。覚醒度推定装置は、第2の覚醒度が第1の覚醒度と一致するように、第2の覚醒度認識部に学習を行わせる。 Patent Literature 1 describes an awakening degree processing device. The arousal level processing device acquires the arousal level from the physiological data using the model. Patent Literature 2 describes an arousal level estimation device. The wakefulness estimation device recognizes the first wakefulness from the driving information. Further, the wakefulness estimation device recognizes the second wakefulness from the biological information of the driver by the second wakefulness recognizing unit. The device for estimating arousal level causes the second arousal level recognizing unit to perform learning such that the second arousal level matches the first arousal level.

特開2018-82931号公報JP 2018-82931 A 特開2018-127112号公報JP 2018-127112 A

特許文献1に記載の覚醒度処理装置が備えるモデルは、個人ごとに作成される。個人ごとにモデルを作成するためには大きな労力とコストとを要する。特許文献2に記載の技術では、学習により、第2の覚醒度認識部の全体が更新される。そのため、覚醒度推定装置の開発者は、市場投入後に第2の覚醒度認識部をハンドリングすることが困難になる。 A model included in the awakening level processing device described in Patent Document 1 is created for each individual. Creating a model for each individual requires a great deal of labor and cost. In the technique described in Patent Literature 2, the entire second awakening level recognition unit is updated through learning. Therefore, it becomes difficult for the developer of the arousal level estimation device to handle the second arousal level recognition unit after the device is put on the market.

本開示の1つの局面は、眠気を推定するユニットの作成に要する労力及びコストを低減でき、製品の市場投入後にも、眠気を推定するユニットのハンドリングが可能になる眠気推定装置を提供することが好ましい。 One aspect of the present disclosure is to provide a drowsiness estimation device that can reduce the labor and cost required to create a unit that estimates drowsiness, and that can handle the unit that estimates drowsiness even after the product is put on the market. preferable.

本開示の1つの局面は、車両の乗員の生理状態を表す生理情報、及び前記車両の状態を表す車両情報の少なくとも一方を含む基礎情報を取得するように構成された基礎情報取得ユニット(11)と、前記基礎情報に基づき、前記乗員の眠気の程度である第1眠気を推定するように構成された推定ユニット(17)と、前記第1眠気を補正して第2眠気を算出するように構成された補正ユニット(19)と、前記第2眠気を前記乗員に報知するように構成された報知ユニット(21)と、前記乗員が入力する、前記乗員の眠気の程度である第3眠気を取得するように構成された第3眠気取得ユニット(23)と、前記第2眠気、及び前記第3眠気に基づき学習を行い、前記補正ユニットを更新するように構成された更新ユニット(25)と、を備える眠気推定装置(1)である。 One aspect of the present disclosure is a basic information acquisition unit (11) configured to acquire basic information including at least one of physiological information representing a physiological condition of an occupant of a vehicle and vehicle information representing a condition of the vehicle. an estimating unit (17) configured to estimate a first drowsiness that is the degree of drowsiness of the occupant based on the basic information; and a second drowsiness is calculated by correcting the first drowsiness. a notification unit (21) configured to notify the occupant of the second drowsiness; and a third drowsiness level of the occupant input by the occupant. a third drowsiness acquisition unit (23) configured to acquire and an update unit (25) configured to learn based on said second drowsiness and said third drowsiness and update said correction unit is a drowsiness estimation device (1) comprising:

本開示の1つの局面である眠気推定装置は、第2眠気、及び第3眠気に基づき学習を行い、補正ユニットを更新する。第3眠気は真の眠気に近い。そのため、本開示の1つの局面である眠気推定装置は、第2眠気を真の眠気に近づけることができる。 A drowsiness estimation device that is one aspect of the present disclosure performs learning based on the second drowsiness and the third drowsiness to update the correction unit. The third drowsiness is close to true drowsiness. Therefore, the drowsiness estimation device that is one aspect of the present disclosure can bring the second drowsiness closer to true drowsiness.

本開示の1つの局面である眠気推定装置は、推定ユニットを必ずしも更新しなくてもよい。そのため、本開示の1つの局面である眠気推定装置の開発者は、眠気推定装置の市場投入後に、推定ユニットのハンドリングを行うことができる。 A drowsiness estimation device that is one aspect of the present disclosure may not necessarily update the estimation unit. Therefore, the developer of the drowsiness estimation device, which is one aspect of the present disclosure, can handle the estimation unit after the drowsiness estimation device is put on the market.

本開示の1つの局面である眠気推定装置が備える推定ユニット及び補正ユニットは、個人ごとに予め作成しておく必要がない。そのため、推定ユニット及び補正ユニットを作成する労力及びコストを低減できる。 The estimation unit and correction unit included in the drowsiness estimation device, which is one aspect of the present disclosure, need not be created in advance for each individual. Therefore, it is possible to reduce the labor and cost of creating the estimation unit and the correction unit.

眠気推定装置の構成を表すブロック図である。It is a block diagram showing the structure of a drowsiness estimation apparatus. 眠気推定装置の機能的構成を表すブロック図である。It is a block diagram showing a functional configuration of a drowsiness estimation device. インパネの構成を表す説明図である。It is an explanatory view showing composition of an instrument panel. ステアリング及び入力スイッチの構成を表す説明図である。FIG. 4 is an explanatory diagram showing the configuration of a steering wheel and input switches; 眠気推定装置が実行する処理を表すフローチャートである。4 is a flowchart showing processing executed by the drowsiness estimation device; 表示部の表示態様を表す説明図である。FIG. 4 is an explanatory diagram showing a display mode of a display unit;

本開示の例示的な実施形態について図面を参照しながら説明する。
<第1実施形態>
1.眠気推定装置1の構成
眠気推定装置1の構成を、図1~図4に基づき説明する。眠気推定装置1は車両に搭載される。車両は、自動運転が可能な車両であってもよいし、手動運転のみが可能な車両であってもよい。
Exemplary embodiments of the present disclosure are described with reference to the drawings.
<First embodiment>
1. Configuration of Drowsiness Estimating Device 1 The configuration of the drowsiness estimating device 1 will be described with reference to FIGS. 1 to 4. FIG. The drowsiness estimation device 1 is mounted on a vehicle. The vehicle may be a vehicle capable of automatic operation or a vehicle capable of only manual operation.

図1に示すように、眠気推定装置1は、CPU3と、例えば、RAM又はROM等の半導体メモリ(以下、メモリ5とする)と、を有するマイクロコンピュータを備える。
眠気推定装置1の各機能は、CPU3が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ5が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、眠気推定装置1は、1つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
As shown in FIG. 1, the drowsiness estimation device 1 includes a microcomputer having a CPU 3 and a semiconductor memory such as RAM or ROM (hereinafter referred to as memory 5).
Each function of the drowsiness estimation device 1 is realized by executing a program stored in a non-transitional substantive recording medium by the CPU 3 . In this example, the memory 5 corresponds to a non-transitional substantive recording medium storing programs. Also, by executing this program, a method corresponding to the program is executed. Note that the drowsiness estimation device 1 may be provided with one microcomputer, or may be provided with a plurality of microcomputers.

眠気推定装置1は、図2に示すように、乗員識別ユニット7と、呼び出しユニット9と、基礎情報取得ユニット11と、動作情報取得ユニット13と、運転状態情報取得ユニット15と、推定ユニット17と、補正ユニット19と、報知ユニット21と、第3眠気取得ユニット23と、更新ユニット25と、を備える。 As shown in FIG. 2, the drowsiness estimation device 1 includes an occupant identification unit 7, a calling unit 9, a basic information acquisition unit 11, a motion information acquisition unit 13, a driving state information acquisition unit 15, and an estimation unit 17. , a correction unit 19 , a notification unit 21 , a third drowsiness acquisition unit 23 and an update unit 25 .

眠気推定装置1は補正ユニット19を複数備える。それぞれの補正ユニット19は一人の乗員に対応付けられている。すなわち、複数の乗員のそれぞれに対応付けられた補正ユニット19が存在する。 The drowsiness estimation device 1 includes a plurality of correction units 19 . Each correction unit 19 is associated with one passenger. That is, there is a correction unit 19 associated with each of the multiple occupants.

図1に示すように、眠気推定装置1は、車両に搭載された他の構成と接続している。他の構成として、カメラ27、生理状態センサ29、車両状態センサ31、カーナビシステム33、通信機35、車載機器37、表示部39、入力スイッチ41、及び識別情報入力部43がある。 As shown in FIG. 1, the drowsiness estimation device 1 is connected to other components mounted on the vehicle. Other configurations include a camera 27, a physiological condition sensor 29, a vehicle condition sensor 31, a car navigation system 33, a communication device 35, an in-vehicle device 37, a display unit 39, an input switch 41, and an identification information input unit 43.

カメラ27は、車両の乗員の顔を撮影し、画像(以下では顔画像とする)を生成する。カメラ27は、顔画像を眠気推定装置1に送る。顔画像は生理情報に対応する。乗員は、例えば、車両のドライバである。また、乗員は、例えば、自動運転を行う車両の乗員である。 The camera 27 captures the face of the vehicle occupant and generates an image (hereinafter referred to as a face image). Camera 27 sends the face image to drowsiness estimation device 1 . A facial image corresponds to physiological information. The occupant is, for example, the driver of the vehicle. Also, the occupant is, for example, an occupant of a vehicle that automatically drives.

生理状態センサ29は、乗員の生理状態を測定し、生理情報を生成する。生理状態センサ29は、生理情報を眠気推定装置1に送る。生理情報は、生理状態を表す情報である。生理状態として、例えば、心電、呼吸、眼電、皮膚コンダクタンス、皮膚温度、脳波、脈波、体動等が挙げられる。生理状態センサ29は、1種類の生理情報を生成してもよいし、複数種類の生理情報を生成してもよい。 The physiological state sensor 29 measures the physiological state of the occupant and generates physiological information. The physiological condition sensor 29 sends physiological information to the drowsiness estimation device 1 . Physiological information is information representing a physiological state. Physiological conditions include, for example, electrocardiogram, respiration, electrooculography, skin conductance, skin temperature, brain waves, pulse waves, and body motion. The physiological condition sensor 29 may generate one type of physiological information, or may generate multiple types of physiological information.

車両状態センサ31は、車両の状態を測定し、車両情報を生成する。車両状態センサ31は、車両情報を眠気推定装置1に送る。車両情報は、車両の状態を表す情報である。車両の状態として、例えば、車速、加速度、舵角、ブレーキの踏み込み量等が挙げられる。車両状態センサ31は、1種類の車両情報を生成してもよいし、複数種類の車両情報を生成してもよい。 The vehicle state sensor 31 measures the state of the vehicle and generates vehicle information. The vehicle state sensor 31 sends vehicle information to the drowsiness estimation device 1 . The vehicle information is information representing the state of the vehicle. Vehicle conditions include, for example, vehicle speed, acceleration, steering angle, and brake depression amount. The vehicle state sensor 31 may generate one type of vehicle information, or may generate multiple types of vehicle information.

カーナビシステム33は、車両の位置情報を取得する機能、車両の予定走行経路を設定する機能、車両が走行している道路の種類を判断する機能等を備える。乗員がカーナビシステム33を操作したとき、カーナビシステム33は、動作情報を生成し、眠気推定装置1に送る。カーナビシステム33が送る動作情報は、カーナビシステム33を操作するために乗員が動作を行ったことを表す情報である。 The car navigation system 33 has a function of acquiring vehicle position information, a function of setting a planned travel route of the vehicle, a function of determining the type of road on which the vehicle is traveling, and the like. When the passenger operates the car navigation system 33 , the car navigation system 33 generates motion information and sends it to the drowsiness estimation device 1 . The action information sent by the car navigation system 33 is information indicating that the occupant performed an action to operate the car navigation system 33 .

通信機35は、車両の外部と通信し、各種情報を取得することができる。取得する情報として、例えば、天候、現在時刻等を表す情報が挙げられる。
車載機器37として、例えば、エアコン、パワーウインドウ、カーオーディオ、ライト、ワイパー等が挙げられる。乗員が車載機器37を操作したとき、車載機器37は、動作情報を生成し、眠気推定装置1に送る。車載機器37が送る動作情報は、車載機器37を操作するために乗員が動作を行ったことを表す情報である。
The communication device 35 can communicate with the outside of the vehicle and acquire various information. Information to be acquired includes, for example, information representing the weather, the current time, and the like.
Examples of the in-vehicle equipment 37 include air conditioners, power windows, car audio systems, lights, wipers, and the like. When the occupant operates the vehicle-mounted device 37 , the vehicle-mounted device 37 generates motion information and sends it to the drowsiness estimation device 1 . The action information sent by the vehicle-mounted device 37 is information indicating that the occupant performed a motion to operate the vehicle-mounted device 37 .

図3に示すように、表示部39は、車両のインパネ45に設けられている。乗員は表示部39を視認することができる。表示部39は、後述する第2眠気、及び第3眠気を表示することができる。表示部39の機能については後述する。 As shown in FIG. 3, the display unit 39 is provided on an instrument panel 45 of the vehicle. A passenger can visually recognize the display unit 39 . The display unit 39 can display second drowsiness and third drowsiness, which will be described later. Functions of the display unit 39 will be described later.

インパネ45は、回転計47、燃料計49、速度計51、名前表示部53、日時及び気温表示部55、及び距離計57を備える。名前表示部53は、後述するステップ1で識別した乗員の名前を表示する。日時及び気温表示部55は、年月日、時刻、及び気温を表示する。 The instrument panel 45 includes a tachometer 47 , a fuel gauge 49 , a speedometer 51 , a name display section 53 , a date/time and temperature display section 55 and a rangefinder 57 . The name display section 53 displays the name of the passenger identified in step 1, which will be described later. The date/time and temperature display section 55 displays the date, time, and temperature.

図4に示すように、入力スイッチ41は、車両のステアリング59に設けられている。入力スイッチ41はつまみ61を備える。乗員は、つまみ61に対し、A方向の操作、及び、B方向の操作を行うことができる。入力スイッチ41は、つまみ61にA方向の操作が行われたとき、A出力を眠気推定装置1に送る。入力スイッチ41は、つまみ61にB方向の操作が行われたとき、B出力を眠気推定装置1に送る。 As shown in FIG. 4, the input switch 41 is provided on the steering wheel 59 of the vehicle. The input switch 41 has a knob 61 . The passenger can operate the knob 61 in the A direction and in the B direction. The input switch 41 sends an A output to the drowsiness estimation device 1 when the knob 61 is operated in the A direction. The input switch 41 sends a B output to the drowsiness estimation device 1 when the knob 61 is operated in the B direction.

識別情報入力部43は、乗員の識別情報を受け付ける。識別情報として、例えば、乗員が入力するパスワード、乗員の顔画像、乗員の生体情報等が挙げられる。
2.眠気推定装置1が実行する処理
眠気推定装置1が実行する処理を、図5、図6に基づき説明する。図5のステップ1では、乗員識別ユニット7が、識別情報入力部43を用いて乗員の識別情報を取得する。乗員識別ユニット7は、識別情報に基づき、現時点で車両に乗車している乗員を識別する。
The identification information input unit 43 receives the identification information of the passenger. The identification information includes, for example, a password entered by the passenger, a facial image of the passenger, biological information of the passenger, and the like.
2. Processes Executed by Drowsiness Estimation Device 1 Processings executed by the drowsiness estimation device 1 will be described with reference to FIGS. 5 and 6. FIG. In step 1 of FIG. 5, the occupant identification unit 7 acquires occupant identification information using the identification information input section 43 . The occupant identification unit 7 identifies the occupants currently in the vehicle based on the identification information.

ステップ2では、呼び出しユニット9が、前記ステップ1で識別した乗員に対応付けられた補正ユニット19を呼び出す。
ステップ3では、基礎情報取得ユニット11が基礎情報を取得する。基礎情報は、生理情報と、車両情報とを含む。基礎情報取得ユニット11は、カメラ27及び生理状態センサ29を用いて生理情報を取得する。基礎情報取得ユニット11は、車両状態センサ31を用いて車両情報を取得する。
In step 2, the calling unit 9 calls the correction unit 19 associated with the occupant identified in step 1 above.
In step 3, the basic information acquisition unit 11 acquires basic information. Basic information includes physiological information and vehicle information. The basic information acquisition unit 11 acquires physiological information using the camera 27 and physiological condition sensor 29 . The basic information acquisition unit 11 acquires vehicle information using the vehicle state sensor 31 .

ステップ4では、動作情報取得ユニット13が、カーナビシステム33及び車載機器37から動作情報を取得する処理を行う。
ステップ5では、運転状態情報取得ユニット15が、運転状態情報を取得する処理を行う。運転状態情報は、車両の運転状態を表す情報である。車両の運転状態として、例えば、運転を開始した時点から現時点までの運転継続時間、車両が走行中である道路が高速道路と一般道路とのうちのいずれであるか、現在時刻、車両は往路及び復路のうちどちらを走行中であるのか、車両が走行中である地域の天候、過去の単位時間のうち、車両が停止していた時間が占める割合、車両の舵角等が挙げられる。
In step 4 , the motion information acquisition unit 13 performs processing for acquiring motion information from the car navigation system 33 and the in-vehicle device 37 .
In step 5, the operating state information acquisition unit 15 performs processing for acquiring operating state information. The driving state information is information representing the driving state of the vehicle. As the driving state of the vehicle, for example, the driving duration from the start of driving to the present time, whether the road on which the vehicle is traveling is an expressway or a general road, the current time, whether the vehicle is on the outbound or Which of the return trips the vehicle is traveling on, the weather in the area where the vehicle is traveling, the percentage of the time the vehicle was stopped in the past unit time, the steering angle of the vehicle, and the like.

運転状態情報取得ユニット15は、例えば、カーナビシステム33、通信機35、車両状態センサ31等を用いて、運転状態情報を取得することができる。
ステップ6では、推定ユニット17が、前記ステップ3で取得した基礎情報に基づき、第1眠気を推定する。第1眠気は、乗員の眠気の程度である。推定ユニット17が第1眠気を推定する方法は以下のとおりである。
The driving state information acquisition unit 15 can acquire driving state information using, for example, the car navigation system 33, the communication device 35, the vehicle state sensor 31, and the like.
In step 6, the estimation unit 17 estimates the first drowsiness based on the basic information acquired in step 3 above. The first drowsiness is the degree of drowsiness of the passenger. The method by which the estimation unit 17 estimates the first drowsiness is as follows.

推定ユニット17は、基礎情報から、乗員の眠気と相関がある特徴を抽出する。特徴として、例えば、顔画像から抽出できる特徴がある。顔画像から抽出できる特徴として、例えば、上瞼が下がっていること、閉眼していること、瞬きの速度が遅いこと、瞬きをしていなこと、頬又は口周りにゆるみがあること等が挙げられる。 The estimating unit 17 extracts features that are correlated with occupant drowsiness from the basic information. Features include, for example, features that can be extracted from a face image. Features that can be extracted from the facial image include, for example, lowered upper eyelids, closed eyes, slow blinking, non-blinking, and loose cheeks or around the mouth. be done.

特徴として、例えば、車両情報から抽出できる特徴がある。車両情報から抽出できる特徴として、例えば、舵角の変動の発生頻度が少ないこと等が挙げられる。
推定ユニット17は、特徴が抽出できた場合は、特徴が抽出できなかった場合より、第1眠気を高く推定する。推定ユニット17は、特徴が顕著であるほど、第1眠気を高く推定する。推定ユニット17は、抽出できた特徴の数が多いほど、第1眠気を高く推定する。
Features include, for example, features that can be extracted from vehicle information. Features that can be extracted from vehicle information include, for example, that the frequency of occurrence of steering angle fluctuations is low.
The estimation unit 17 estimates the first drowsiness higher when the feature is extracted than when the feature is not extracted. The estimation unit 17 estimates the first drowsiness higher as the features are more prominent. The estimation unit 17 estimates the first drowsiness higher as the number of extracted features increases.

ステップ7では、前記ステップ2で呼び出された補正ユニット19が、第1眠気を補正して第2眠気を算出する。第2眠気は、乗員の眠気の程度である。補正ユニット19は、第1眠気、前記ステップ4で取得した動作情報、及び前記ステップ5で取得した運転状態情報に基づき、第2眠気を算出する。 In step 7, the correction unit 19 called in step 2 corrects the first drowsiness to calculate the second drowsiness. The second drowsiness is the degree of drowsiness of the passenger. The correction unit 19 calculates a second drowsiness based on the first drowsiness, the motion information acquired in step 4 above, and the driving state information acquired in step 5 above.

補正ユニット19は、第1眠気、動作情報、及び運転状態情報を入力すると、第2眠気を出力する関数である。補正ユニット19の内容は、初期においては標準の内容である。初期とは、例えば、眠気推定装置1の工場出荷時である。補正ユニット19の内容は、後述するステップ11の処理で更新される。 The correction unit 19 is a function that outputs the second drowsiness when the first drowsiness, motion information, and driving state information are input. The contents of the correction unit 19 are initially standard contents. The initial stage is, for example, when the drowsiness estimation device 1 is shipped from the factory. The contents of the correction unit 19 are updated by the process of step 11, which will be described later.

前記ステップ4で動作情報を取得できなかった場合、補正ユニット19は、予め決められた標準の動作情報を使用する。前記ステップ5で運転状態情報を取得できなかった場合、補正ユニット19は、予め決められた標準の運転状態情報を使用する。 If motion information could not be obtained in said step 4, the correction unit 19 uses a predetermined standard motion information. If the driving state information could not be obtained in step 5, the correction unit 19 uses a predetermined standard driving state information.

ステップ8では、報知ユニット21が、表示部39を用いて、前記ステップ7で算出した第2眠気を乗員に報知する。図6のIに示すように、表示部39は、枠63の中に、第1領域65を表示する。第1領域65は、枠63における他の領域に比べて、色又は輝度が異なる。第1領域65は、枠63の左端から、右方向に延びている。第1領域65の幅方向における長さL2は第2眠気に対応する。長さL2が大きいほど、第2眠気は高い。乗員は、表示部39を見ることで、第2眠気を知ることができる。 In step 8, the notification unit 21 uses the display section 39 to notify the passenger of the second drowsiness calculated in step 7 above. As shown in I of FIG. 6 , the display unit 39 displays the first area 65 within the frame 63 . The first area 65 differs in color or brightness from other areas in the frame 63 . The first area 65 extends rightward from the left end of the frame 63 . A length L2 in the width direction of the first region 65 corresponds to the second drowsiness. The greater the length L2, the higher the second drowsiness. The passenger can know the second drowsiness by looking at the display unit 39 .

ステップ9では、第3眠気の入力があったか否かを、第3眠気取得ユニット23が判断する。第3眠気とは、乗員が入力スイッチ41を用いて入力する、乗員の眠気である。乗員は、自らの主観によって第3眠気を決定し、入力する。 In step 9, the third drowsiness acquisition unit 23 determines whether or not there is an input of the third drowsiness. The third drowsiness is the drowsiness of the occupant, which the occupant inputs using the input switch 41 . The occupant subjectively determines and inputs the third drowsiness.

乗員が第3眠気を入力する方法は以下のとおりである。乗員は、表示部39に表示された第2眠気よりも第3眠気が低いと判断した場合、つまみ61に対し、図4に示すA方向の操作を行う。 The method by which the occupant inputs the third drowsiness is as follows. When the occupant determines that the third drowsiness is lower than the second drowsiness displayed on the display unit 39, the occupant operates the knob 61 in the A direction shown in FIG.

このとき、図6のIIAに示すように、第2領域67が表示される。第2領域67は、それ以外の領域に比べて色又は輝度が異なる領域である。第2領域67は、枠63の左端から、右方向に延びている。第2領域67の幅方向における長さL3は眠気の程度を表す。A方向の操作の回数が多いほど、長さL2は減少する。乗員は、長さL3が第3眠気に一致したと判断するまで、A方向の操作を繰り返す。第3眠気取得ユニット23は、最終的な長さL3に対応する第3眠気を取得する。 At this time, as shown in IIA of FIG. 6, the second area 67 is displayed. The second area 67 is an area that differs in color or luminance from other areas. The second area 67 extends rightward from the left end of the frame 63 . A length L3 in the width direction of the second region 67 represents the degree of drowsiness. The length L2 decreases as the number of operations in the A direction increases. The occupant repeats the operation in the A direction until it is determined that the length L3 matches the third drowsiness. The third drowsiness obtaining unit 23 obtains the third drowsiness corresponding to the final length L3.

また、乗員は、表示部39に表示された第2眠気よりも第3眠気が高いと判断した場合、つまみ61に対し、図4に示すB方向の操作を行う。このとき、図6のIIBに示すように、第2領域67が表示される。B方向の操作の回数が多いほど、長さL3は増加する。乗員は、長さL3が第3眠気に一致したと判断するまで、B方向の操作を繰り返す。第3眠気取得ユニット23は、最終的な長さL3に対応する第3眠気を取得する。 When the passenger determines that the third drowsiness is higher than the second drowsiness displayed on the display unit 39, the occupant operates the knob 61 in the B direction shown in FIG. At this time, as shown in IIB of FIG. 6, the second area 67 is displayed. The length L3 increases as the number of operations in the B direction increases. The occupant repeats the operation in the B direction until it is determined that the length L3 matches the third drowsiness. The third drowsiness obtaining unit 23 obtains the third drowsiness corresponding to the final length L3.

第3眠気の入力があったと判断した場合、本処理はステップ10に進む。第3眠気の入力がなかったと判断した場合、本処理はステップ3に進む。
ステップ10では、更新ユニット25が、前記ステップ6で推定した第1眠気、前記ステップ7で算出した第2眠気、前記ステップ9で入力されたと判断した第3眠気、前記ステップ4で取得した動作情報、及び前記ステップ5で取得した運転状態情報に基づき、補正ユニット19について学習を行う。
If it is determined that the third drowsiness has been input, the process proceeds to step 10 . If it is determined that the third drowsiness has not been input, the process proceeds to step 3 .
In step 10, the update unit 25 updates the first drowsiness estimated in step 6, the second drowsiness calculated in step 7, the third drowsiness determined to be input in step 9, and the motion information obtained in step 4. , and based on the operating state information obtained in step 5, the correction unit 19 is learned.

前記ステップ4で動作情報を取得できなかった場合、更新ユニット25は、予め決められた標準の動作情報を使用する。前記ステップ5で運転状態情報を取得できなかった場合、更新ユニット25は、予め決められた標準の運転状態情報を使用する。 If the motion information could not be obtained in said step 4, the update unit 25 uses the predefined standard motion information. If the driving state information could not be obtained in said step 5, the updating unit 25 uses the predetermined standard driving state information.

学習の内容は、第1眠気、動作情報、及び運転状態情報が同一か、近似している状況が将来発生した場合に、補正ユニット19が算出する第2眠気が第3眠気に近づくように学習するというものである。 The content of the learning is such that the second drowsiness calculated by the correction unit 19 approaches the third drowsiness when a situation in which the first drowsiness, the motion information, and the driving state information are the same or similar occurs in the future. It is to do.

ステップ11では、更新ユニット25が、前記ステップ10での学習結果に基づき、補正ユニット19を更新する。更新ユニット25は、更新後の補正ユニット19を保存する。
ステップ12では、報知ユニット21が、第2眠気の値を、第3眠気の値に更新する。すなわち、報知ユニット21は、図6のIIIA、IIIBに示すように、L2の長さを、L3の長さに更新する。また、報知ユニット21は、第2領域67を消去する。
In step 11, the update unit 25 updates the correction unit 19 based on the learning result in step 10 above. The update unit 25 stores the updated correction unit 19 .
In step 12, the notification unit 21 updates the second drowsiness value to the third drowsiness value. That is, the notification unit 21 updates the length of L2 to the length of L3, as indicated by IIIA and IIIB in FIG. Also, the notification unit 21 erases the second area 67 .

3.眠気推定装置1が奏する効果
(1A)眠気推定装置1は、第2眠気、及び第3眠気に基づき学習を行い、補正ユニット19を更新する。第3眠気は真の眠気に近い。そのため、眠気推定装置1は、第2眠気を真の眠気に近づけることができる。
ここで、真の眠気とは、個人の中の閉じた感覚であって、客観的に測定することは困難である。近年、眠気の原因は、脳内の蛋白質におけるリン酸化であるとする仮説が提唱されている。しかしながら、人間の脳内の蛋白質変化を測定することは容易ではない。また、人間の脳内の蛋白質変化を測定できたとしても、測定量と、眠気に対する個人毎の感覚である真の眠気との関係は人により異なると考えられる。
3. Effects of Sleepiness Estimation Device 1 (1A) The sleepiness estimation device 1 performs learning based on the second sleepiness and the third sleepiness, and updates the correction unit 19 . The third drowsiness is close to true drowsiness. Therefore, the drowsiness estimation device 1 can bring the second drowsiness closer to true drowsiness.
Here, true drowsiness is a closed sensation within an individual and is difficult to measure objectively. In recent years, a hypothesis has been proposed that the cause of drowsiness is the phosphorylation of proteins in the brain. However, measuring protein changes in the human brain is not easy. Moreover, even if protein changes in the human brain can be measured, the relationship between the amount of measurement and true sleepiness, which is the individual's sense of sleepiness, is thought to differ from person to person.

(1B)推定ユニット17は、例えば、更新されない。そのため、例えば、眠気推定装置1の開発者は、眠気推定装置1の市場投入後に、推定ユニット17のハンドリングを行うことができる。 (1B) Estimation unit 17, for example, is not updated. Therefore, for example, the developer of the drowsiness estimation device 1 can handle the estimation unit 17 after the drowsiness estimation device 1 is put on the market.

(1C)推定ユニット17及び補正ユニット19は、個人ごとに予め作成しておく必要がない。そのため、推定ユニット17及び補正ユニット19を作成する労力及びコストを低減できる。 (1C) The estimation unit 17 and the correction unit 19 do not have to be created in advance for each individual. Therefore, the labor and cost of creating the estimation unit 17 and the correction unit 19 can be reduced.

(1D)補正ユニット19は、第1眠気、動作情報、及び運転状態情報に基づき、第2眠気を算出する。更新ユニット25は、第1眠気、第2眠気、第3眠気、動作情報、及び運転状態情報に基づき学習を行い、補正ユニット19を更新する。 (1D) The correction unit 19 calculates a second drowsiness based on the first drowsiness, the motion information, and the driving state information. The update unit 25 learns and updates the correction unit 19 based on the first drowsiness, the second drowsiness, the third drowsiness, the motion information and the driving state information.

そのため、眠気推定装置1は、一層正確に第2眠気を算出することができる。また、眠気推定装置1は、動作情報、及び運転状態情報に基づき、補正ユニット19を一層適切に更新することができる。
<第2実施形態>
1.第1実施形態との相違点
第2実施形態は、基本的な構成は第1実施形態と同様であるため、相違点について以下に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
Therefore, the drowsiness estimation device 1 can more accurately calculate the second drowsiness. In addition, the drowsiness estimation device 1 can update the correction unit 19 more appropriately based on the motion information and the driving state information.
<Second embodiment>
1. Differences from First Embodiment Since the basic configuration of the second embodiment is the same as that of the first embodiment, the differences will be described below. Note that the same reference numerals as in the first embodiment indicate the same configurations, and refer to the preceding description.

第2実施形態では、眠気推定装置1は、運転状態情報は取得しない。第2実施形態では、補正ユニット19は、第1眠気、及び前記ステップ4で取得した動作情報に基づき、第2眠気を算出する。すなわち、補正ユニット19は、第1眠気及び動作情報を入力すると、第2眠気を出力する関数である。 In the second embodiment, the drowsiness estimation device 1 does not acquire driving state information. In the second embodiment, the correction unit 19 calculates the second drowsiness based on the first drowsiness and the motion information acquired in step 4 above. That is, the correction unit 19 is a function that outputs the second drowsiness when the first drowsiness and motion information are input.

第2実施形態では、更新ユニット25が、前記ステップ6で推定した第1眠気、前記ステップ7で算出した第2眠気、前記ステップ9で入力されたと判断した第3眠気、及び前記ステップ4で取得した動作情報に基づき、補正ユニット19について学習を行う。 In the second embodiment, the update unit 25 determines the first drowsiness estimated in step 6, the second drowsiness calculated in step 7, the third drowsiness determined to be input in step 9, and the drowsiness obtained in step 4. Based on the obtained operation information, the correction unit 19 is learned.

学習の内容は、第1眠気及び動作情報が同一か、近似している状況が将来発生した場合に、補正ユニット19が算出する第2眠気が第3眠気に近づくように学習するというものである。 The content of the learning is to learn so that the second drowsiness calculated by the correction unit 19 approaches the third drowsiness when a situation in which the first drowsiness and the motion information are the same or similar occurs in the future. .

2.眠気推定装置1が奏する効果
以上詳述した第2実施形態によれば、前述した第1実施形態の効果(1A)~(1C)を奏し、さらに、以下の効果を奏する。
2. Effects of Drowsiness Estimation Device 1 According to the second embodiment described above, the effects (1A) to (1C) of the first embodiment described above are obtained, and the following effects are obtained.

(2A)補正ユニット19は、第1眠気及び動作情報に基づき、第2眠気を算出する。更新ユニット25は、第1眠気、第2眠気、第3眠気、及び動作情報に基づき学習を行い、補正ユニット19を更新する。 (2A) The correction unit 19 calculates a second drowsiness based on the first drowsiness and the motion information. The update unit 25 learns and updates the correction unit 19 based on the first drowsiness, the second drowsiness, the third drowsiness and the motion information.

そのため、眠気推定装置1は、一層正確に第2眠気を算出することができる。また、眠気推定装置1は、動作情報に基づき、補正ユニット19を一層適切に更新することができる。
<第3実施形態>
1.第1実施形態との相違点
第3実施形態は、基本的な構成は第1実施形態と同様であるため、相違点について以下に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
Therefore, the drowsiness estimation device 1 can more accurately calculate the second drowsiness. In addition, the drowsiness estimation device 1 can update the correction unit 19 more appropriately based on the motion information.
<Third Embodiment>
1. Differences from First Embodiment Since the basic configuration of the third embodiment is the same as that of the first embodiment, the differences will be described below. Note that the same reference numerals as in the first embodiment indicate the same configurations, and refer to the preceding description.

第3実施形態では、眠気推定装置1は、動作情報は取得しない。第3実施形態では、補正ユニット19は、第1眠気、及び前記ステップ5で取得した運転状態情報に基づき、第2眠気を算出する。すなわち、補正ユニット19は、第1眠気及び運転状態情報を入力すると、第2眠気を出力する関数である。 In the third embodiment, the drowsiness estimation device 1 does not acquire motion information. In the third embodiment, the correction unit 19 calculates the second drowsiness based on the first drowsiness and the driving state information acquired in step 5 above. That is, the correction unit 19 is a function that outputs the second drowsiness when the first drowsiness and driving state information are input.

第3実施形態では、更新ユニット25が、前記ステップ6で推定した第1眠気、前記ステップ7で算出した第2眠気、前記ステップ9で入力されたと判断した第3眠気、及び前記ステップ5で取得した運転状態情報に基づき、補正ユニット19について学習を行う。 In the third embodiment, the update unit 25 determines the first drowsiness estimated in step 6, the second drowsiness calculated in step 7, the third drowsiness determined to be input in step 9, and the drowsiness obtained in step 5. Based on the obtained operating state information, the correction unit 19 is learned.

学習の内容は、第1眠気及び運転状態情報が同一か、近似している状況が将来発生した場合に、補正ユニット19が算出する第2眠気が第3眠気に近づくように学習するというものである。 The content of the learning is to learn so that the second drowsiness calculated by the correction unit 19 approaches the third drowsiness when a situation in which the first drowsiness and the driving state information are the same or similar occurs in the future. be.

2.眠気推定装置1が奏する効果
以上詳述した第3実施形態によれば、前述した第1実施形態の効果(1A)~(1C)を奏し、さらに、以下の効果を奏する。
2. Effects of Drowsiness Estimation Device 1 According to the third embodiment described above, the effects (1A) to (1C) of the first embodiment described above are obtained, and the following effects are obtained.

(3A)補正ユニット19は、第1眠気、及び運転状態情報に基づき、第2眠気を算出する。更新ユニット25は、第1眠気、第2眠気、第3眠気、及び運転状態情報に基づき学習を行い、補正ユニット19を更新する。 (3A) The correction unit 19 calculates the second drowsiness based on the first drowsiness and the driving state information. The update unit 25 learns and updates the correction unit 19 based on the first drowsiness, the second drowsiness, the third drowsiness and the driving state information.

そのため、眠気推定装置1は、一層正確に第2眠気を算出することができる。また、眠気推定装置1は、運転状態情報に基づき、補正ユニット19を一層適切に更新することができる。
<第4実施形態>
1.第1実施形態との相違点
第4実施形態は、基本的な構成は第1実施形態と同様であるため、相違点について以下に説明する。なお、第1実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。
Therefore, the drowsiness estimation device 1 can more accurately calculate the second drowsiness. In addition, the drowsiness estimation device 1 can update the correction unit 19 more appropriately based on the driving state information.
<Fourth Embodiment>
1. Differences from First Embodiment Since the basic configuration of the fourth embodiment is the same as that of the first embodiment, the differences will be described below. Note that the same reference numerals as in the first embodiment indicate the same configurations, and refer to the preceding description.

第4実施形態では、眠気推定装置1は、動作情報及び運転状態情報は取得しない。第4実施形態では、補正ユニット19は、第1眠気に基づき、第2眠気を算出する。すなわち、補正ユニット19は、第1眠気を入力すると、第2眠気を出力する関数である。 In the fourth embodiment, the drowsiness estimation device 1 does not acquire motion information and driving state information. In the fourth embodiment, the correction unit 19 calculates the second drowsiness based on the first drowsiness. That is, the correction unit 19 is a function that outputs the second drowsiness when the first drowsiness is input.

第4実施形態では、更新ユニット25が、前記ステップ7で算出した第2眠気、及び前記ステップ9で入力されたと判断した第3眠気に基づき、補正ユニット19について学習を行う。 In the fourth embodiment, the update unit 25 learns the correction unit 19 based on the second drowsiness calculated in step 7 and the third drowsiness determined to be input in step 9 above.

学習の内容は、第1眠気が同一か、近似している状況が将来発生した場合に、補正ユニット19が算出する第2眠気が第3眠気に近づくように学習するというものである。
2.眠気推定装置1が奏する効果
以上詳述した第4実施形態によれば、前述した第1実施形態の効果(1A)~(1C)を奏する。
<他の実施形態>
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
The content of the learning is to learn so that the second drowsiness calculated by the correction unit 19 approaches the third drowsiness when a situation similar to or the same as the first drowsiness occurs in the future.
2. Effects of Drowsiness Estimating Device 1 According to the fourth embodiment described above, the effects (1A) to (1C) of the first embodiment described above are achieved.
<Other embodiments>
Although the embodiments of the present disclosure have been described above, the present disclosure is not limited to the above-described embodiments, and various modifications can be made.

(1)表示部39の位置は、例えば、A/Cパネル、カーナビシステム33等の上であってもよい。また、ヘッドアップディスプレイにより、表示部39と同様の表示を行ってよい。また、音声により、表示部39の表示内容を乗員に報知してもよい。 (1) The position of the display unit 39 may be, for example, above the A/C panel, the car navigation system 33, or the like. Moreover, the same display as that of the display unit 39 may be performed by a head-up display. Moreover, you may notify a passenger|crew of the display content of the display part 39 by a sound.

(2)入力スイッチ41の代わりに、タッチパネル、音声認識システム、リモートタッチコントローラー等を使用してもよい。
(3)眠気推定装置1は、他の方法で動作情報を取得してもよい。例えば、眠気推定装置1は、カメラ27の画像に基づき乗員の動作を検出し、動作情報を取得してもよい。
(2) Instead of the input switch 41, a touch panel, voice recognition system, remote touch controller, or the like may be used.
(3) The drowsiness estimation device 1 may acquire motion information by other methods. For example, the drowsiness estimation device 1 may detect the motion of the passenger based on the image of the camera 27 and acquire motion information.

(4)基礎情報は、生理情報のみであってもよい。基礎情報は、車両情報のみであってもよい。
(5)本開示に記載の眠気推定装置1及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリを構成することによって提供された専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の眠気推定装置1及びその手法は、一つ以上の専用ハードウェア論理回路によってプロセッサを構成することによって提供された専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の眠気推定装置1及びその手法は、一つ乃至は複数の機能を実行するようにプログラムされたプロセッサ及びメモリと一つ以上のハードウェア論理回路によって構成されたプロセッサとの組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されてもよい。眠気推定装置1に含まれる各部の機能を実現する手法には、必ずしもソフトウェアが含まれている必要はなく、その全部の機能が、一つあるいは複数のハードウェアを用いて実現されてもよい。
(4) The basic information may be physiological information only. The basic information may be only vehicle information.
(5) The drowsiness estimation device 1 and method thereof described in the present disclosure were provided by configuring a processor and memory programmed to perform one or more functions embodied by a computer program. It may also be implemented by a dedicated computer. Alternatively, the drowsiness estimation device 1 and its technique described in the present disclosure may be implemented by a dedicated computer provided by configuring a processor with one or more dedicated hardware logic circuits. Alternatively, the drowsiness estimation device 1 and its method described in the present disclosure are a processor and memory programmed to perform one or more functions, and a processor configured by one or more hardware logic circuits. It may also be implemented by one or more dedicated computers configured in combination. Computer programs may also be stored as computer-executable instructions on a computer-readable non-transitional tangible storage medium. The method for realizing the function of each part included in the drowsiness estimation device 1 does not necessarily include software, and all the functions may be realized using one or more pieces of hardware.

(6)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。 (6) A plurality of functions possessed by one component in the above embodiment may be realized by a plurality of components, or a function possessed by one component may be realized by a plurality of components. . Also, a plurality of functions possessed by a plurality of components may be realized by a single component, or a function realized by a plurality of components may be realized by a single component. Also, part of the configuration of the above embodiment may be omitted. Moreover, at least part of the configuration of the above embodiment may be added or replaced with respect to the configuration of the other above embodiment.

(7)上述した眠気推定装置1の他、当該眠気推定装置1を構成要素とするシステム、当該眠気推定装置1としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、覚醒度推定装置、眠気推定方法、覚醒度推定方法等、種々の形態で本開示を実現することもできる。 (7) In addition to the drowsiness estimation device 1 described above, a system having the drowsiness estimation device 1 as a component, a program for causing a computer to function as the drowsiness estimation device 1, and a non-transitional device such as a semiconductor memory recording this program The present disclosure can also be implemented in various forms such as a physical recording medium, wakefulness estimation device, drowsiness estimation method, wakefulness estimation method, and the like.

1…眠気推定装置、11…基礎情報取得ユニット、13…動作情報取得ユニット、15…運転状態情報取得ユニット、17…推定ユニット、19…補正ユニット、21…報知ユニット、23…第3眠気取得ユニット、25…更新ユニット、39…表示部、41…入力スイッチ DESCRIPTION OF SYMBOLS 1... Drowsiness estimation apparatus, 11... Basic information acquisition unit, 13... Motion information acquisition unit, 15... Driving state information acquisition unit, 17... Estimation unit, 19... Correction unit, 21... Notification unit, 23... Third drowsiness acquisition unit , 25... update unit, 39... display unit, 41... input switch

Claims (7)

車両の乗員の生理状態を表す生理情報、及び前記車両の状態を表す車両情報の少なくとも一方を含む基礎情報を取得するように構成された基礎情報取得ユニット(11)と、
前記基礎情報に基づき、前記乗員の眠気の程度である第1眠気を推定するように構成された推定ユニット(17)と、
前記第1眠気を補正して第2眠気を算出するように構成された補正ユニット(19)と、
前記第2眠気を前記乗員に報知するように構成された報知ユニット(21)と、
前記乗員が入力する、前記乗員の眠気の程度である第3眠気を取得するように構成された第3眠気取得ユニット(23)と、
前記第2眠気、及び前記第3眠気に基づき学習を行い、前記補正ユニットを更新するように構成された更新ユニット(25)と、
前記乗員の動作を表す動作情報を取得する動作情報取得ユニット(13)と、
を備え、
前記補正ユニットは、前記第1眠気、及び前記動作情報に基づき、前記第2眠気を算出するように構成され、
前記更新ユニットは、前記第1眠気、前記第2眠気、前記第3眠気、及び前記動作情報に基づき学習を行い、前記補正ユニットを更新するように構成された眠気推定装置(1)
a basic information acquisition unit (11) configured to acquire basic information including at least one of physiological information representing the physiological condition of an occupant of the vehicle and vehicle information representing the condition of the vehicle;
an estimating unit (17) configured to estimate a first drowsiness measure of the occupant's drowsiness based on the basic information;
a correction unit (19) configured to correct said first drowsiness to calculate a second drowsiness;
a notification unit (21) configured to notify the occupant of the second drowsiness;
a third drowsiness acquisition unit (23) configured to acquire a third drowsiness level of the occupant input by the occupant;
an updating unit (25) configured to learn based on said second drowsiness and said third drowsiness and update said correction unit;
a motion information acquisition unit (13) for acquiring motion information representing motion of the occupant ;
with
the correction unit is configured to calculate the second drowsiness based on the first drowsiness and the motion information;
A drowsiness estimation device (1) , wherein said updating unit is adapted to learn based on said first drowsiness, said second drowsiness, said third drowsiness and said motion information to update said correction unit.
車両の乗員の生理状態を表す生理情報、及び前記車両の状態を表す車両情報の少なくとも一方を含む基礎情報を取得するように構成された基礎情報取得ユニット(11)と、
前記基礎情報に基づき、前記乗員の眠気の程度である第1眠気を推定するように構成された推定ユニット(17)と、
前記第1眠気を補正して第2眠気を算出するように構成された補正ユニット(19)と、
前記第2眠気を前記乗員に報知するように構成された報知ユニット(21)と、
前記乗員が入力する、前記乗員の眠気の程度である第3眠気を取得するように構成された第3眠気取得ユニット(23)と、
前記第2眠気、及び前記第3眠気に基づき学習を行い、前記補正ユニットを更新するように構成された更新ユニット(25)と、
前記車両の運転状態を表す運転状態情報を取得する運転状態情報取得ユニット(15)と、
を備え、
前記補正ユニットは、前記第1眠気、及び前記運転状態情報に基づき、前記第2眠気を算出するように構成され、
前記更新ユニットは、前記第1眠気、前記第2眠気、前記第3眠気、及び前記運転状態情報に基づき学習を行い、前記補正ユニットを更新するように構成された眠気推定装置(1)
a basic information acquisition unit (11) configured to acquire basic information including at least one of physiological information representing the physiological condition of an occupant of the vehicle and vehicle information representing the condition of the vehicle;
an estimating unit (17) configured to estimate a first drowsiness measure of the occupant's drowsiness based on the basic information;
a correction unit (19) configured to correct said first drowsiness to calculate a second drowsiness;
a notification unit (21) configured to notify the occupant of the second drowsiness;
a third drowsiness acquisition unit (23) configured to acquire a third drowsiness level of the occupant input by the occupant;
an updating unit (25) configured to learn based on said second drowsiness and said third drowsiness and update said correction unit;
a driving state information acquisition unit (15) for acquiring driving state information representing the driving state of the vehicle ;
with
the correction unit is configured to calculate the second drowsiness based on the first drowsiness and the driving state information;
The drowsiness estimation device (1) , wherein the updating unit is configured to learn based on the first drowsiness, the second drowsiness, the third drowsiness and the driving state information to update the correction unit.
車両の乗員の生理状態を表す生理情報、及び前記車両の状態を表す車両情報の少なくとも一方を含む基礎情報を取得するように構成された基礎情報取得ユニット(11)と、
前記基礎情報に基づき、前記乗員の眠気の程度である第1眠気を推定するように構成された推定ユニット(17)と、
前記第1眠気を補正して第2眠気を算出するように構成された補正ユニット(19)と、
前記第2眠気を前記乗員に報知するように構成された報知ユニット(21)と、
前記乗員が入力する、前記乗員の眠気の程度である第3眠気を取得するように構成された第3眠気取得ユニット(23)と、
前記第2眠気、及び前記第3眠気に基づき学習を行い、前記補正ユニットを更新するように構成された更新ユニット(25)と、
前記乗員の動作を表す動作情報を取得する動作情報取得ユニット(13)と、
前記車両の運転状態を表す運転状態情報を取得する運転状態取得ユニット(15)と、
を備え、
前記補正ユニットは、前記第1眠気、前記動作情報、及び前記運転状態情報に基づき、前記第2眠気を算出するように構成され、
前記更新ユニットは、前記第1眠気、前記第2眠気、前記第3眠気、前記動作情報、及び前記運転状態情報に基づき学習を行い、前記補正ユニットを更新するように構成された眠気推定装置(1)。
a basic information acquisition unit (11) configured to acquire basic information including at least one of physiological information representing the physiological condition of an occupant of the vehicle and vehicle information representing the condition of the vehicle;
an estimating unit (17) configured to estimate a first drowsiness measure of the occupant's drowsiness based on the basic information;
a correction unit (19) configured to correct said first drowsiness to calculate a second drowsiness;
a notification unit (21) configured to notify the occupant of the second drowsiness;
a third drowsiness acquisition unit (23) configured to acquire a third drowsiness level of the occupant input by the occupant;
an updating unit (25) configured to learn based on said second drowsiness and said third drowsiness and update said correction unit;
a motion information acquisition unit (13) for acquiring motion information representing motion of the occupant;
A driving state acquisition unit (15) for acquiring driving state information representing the driving state of the vehicle;
with
the correction unit is configured to calculate the second drowsiness based on the first drowsiness, the motion information and the driving state information;
The updating unit is configured to learn based on the first drowsiness, the second drowsiness, the third drowsiness, the motion information, and the driving state information, and update the correction unit ( 1).
請求項1又は3に記載の眠気推定装置であって、The drowsiness estimation device according to claim 1 or 3,
前記動作情報は、カーナビシステム又は車載機器を操作するために前記乗員が動作を行ったことを表す情報である、The motion information is information indicating that the occupant has performed a motion to operate a car navigation system or an in-vehicle device.
眠気推定装置。Drowsiness estimator.
請求項2又は3に記載の眠気推定装置であって、
前記運転状態情報は、転を開始した時点から現時点までの運転継続時間、現在時刻、前記車両は往路及び復路のうちどちらを走行中であるのか、前記車両が走行中である地域の天候、又は、前記車両の舵角を表す情報である、
眠気推定装置。
The drowsiness estimation device according to claim 2 or 3,
The driving state information includes the driving duration from the start of driving to the current time, the current time, which route the vehicle is traveling on, the outward route or the return route, the weather in the area where the vehicle is traveling, Alternatively, information representing the steering angle of the vehicle,
Drowsiness estimator.
請求項1~5のいずれか1項に記載の眠気推定装置であって、The drowsiness estimation device according to any one of claims 1 to 5,
前記基礎情報は前記生理情報を含み、the basic information includes the physiological information;
前記生理情報は、前記乗員の顔を撮影した画像である、The physiological information is an image of the occupant's face,
眠気推定装置。Drowsiness estimator.
請求項1~のいずれか1項に記載の眠気推定装置であって、
前記更新ユニットは、前記学習の結果に基づき、前記第2眠気が前記第3眠気に近づくように前記補正ユニットを更新するように構成された眠気推定装置。
The drowsiness estimation device according to any one of claims 1 to 6 ,
The drowsiness estimation device, wherein the updating unit is configured to update the correction unit such that the second drowsiness approaches the third drowsiness based on the result of the learning.
JP2019092121A 2019-05-15 2019-05-15 Drowsiness estimation device Active JP7302275B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019092121A JP7302275B2 (en) 2019-05-15 2019-05-15 Drowsiness estimation device
DE102020206090.8A DE102020206090A1 (en) 2019-05-15 2020-05-14 Fatigue level estimation system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019092121A JP7302275B2 (en) 2019-05-15 2019-05-15 Drowsiness estimation device

Publications (2)

Publication Number Publication Date
JP2020187572A JP2020187572A (en) 2020-11-19
JP7302275B2 true JP7302275B2 (en) 2023-07-04

Family

ID=73019179

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019092121A Active JP7302275B2 (en) 2019-05-15 2019-05-15 Drowsiness estimation device

Country Status (2)

Country Link
JP (1) JP7302275B2 (en)
DE (1) DE102020206090A1 (en)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004024704A (en) 2002-06-27 2004-01-29 Pioneer Electronic Corp Driver mental condition information providing system
JP2011118831A (en) 2009-12-07 2011-06-16 Denso Corp Awakening support device
JP2016182241A (en) 2015-03-26 2016-10-20 パイオニア株式会社 Drowsiness calculation device
JP2016182242A (en) 2015-03-26 2016-10-20 パイオニア株式会社 Drowsiness calculation device

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3646501B2 (en) * 1998-02-16 2005-05-11 いすゞ自動車株式会社 Vehicle dangerous driving judgment device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004024704A (en) 2002-06-27 2004-01-29 Pioneer Electronic Corp Driver mental condition information providing system
JP2011118831A (en) 2009-12-07 2011-06-16 Denso Corp Awakening support device
JP2016182241A (en) 2015-03-26 2016-10-20 パイオニア株式会社 Drowsiness calculation device
JP2016182242A (en) 2015-03-26 2016-10-20 パイオニア株式会社 Drowsiness calculation device

Also Published As

Publication number Publication date
DE102020206090A1 (en) 2020-11-19
JP2020187572A (en) 2020-11-19

Similar Documents

Publication Publication Date Title
US9956963B2 (en) Apparatus for assessing, predicting, and responding to driver fatigue and drowsiness levels
JP6497915B2 (en) Driving support system
JP6287728B2 (en) In-vehicle system, vehicle control device, and program for vehicle control device
CN111048171B (en) Method and device for solving motion sickness
US20170217445A1 (en) System for intelligent passenger-vehicle interactions
CN111295699B (en) Assistance method, assistance system using the assistance method, and assistance device
KR20200113202A (en) Information processing device, mobile device, and method, and program
CN105015445A (en) Method and system for personalized assistance driver of motor vehicle
JP2018180983A (en) Information processing device, information processing method, and program
JP6988075B2 (en) Discomfort discrimination method and discomfort discrimination device
EP3885220B1 (en) Automatically estimating skill levels and confidence levels of drivers
JP6575933B2 (en) Vehicle driving support system
US11040720B2 (en) Sleepiness level prediction device and sleepiness level prediction method
JP7226197B2 (en) vehicle controller
US11430231B2 (en) Emotion estimation device and emotion estimation method
JP2018139070A (en) Vehicle display control device
JP7302275B2 (en) Drowsiness estimation device
JP7348734B2 (en) Vehicle driving information providing device, vehicle driving information providing method and program
WO2020039994A1 (en) Car sharing system, driving control adjustment device, and vehicle preference matching method
JP2019036018A (en) Driver support device and driver support method
US11383640B2 (en) Techniques for automatically reducing annoyance levels of drivers when using driver monitoring systems
WO2018163491A1 (en) Automatic driving vehicle monitoring device, method and program
US10945651B2 (en) Arousal level determination device
JP2019079096A (en) State improvement device, state improvement method, and control program
JP7468329B2 (en) Driving assistance device, driving assistance method, and driving assistance program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210825

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220715

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220830

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221012

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230228

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230419

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230605

R151 Written notification of patent or utility model registration

Ref document number: 7302275

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151