JP6958982B2 - Electronic devices with awakening function, awakening programs and awakening methods - Google Patents
Electronic devices with awakening function, awakening programs and awakening methods Download PDFInfo
- Publication number
- JP6958982B2 JP6958982B2 JP2017140496A JP2017140496A JP6958982B2 JP 6958982 B2 JP6958982 B2 JP 6958982B2 JP 2017140496 A JP2017140496 A JP 2017140496A JP 2017140496 A JP2017140496 A JP 2017140496A JP 6958982 B2 JP6958982 B2 JP 6958982B2
- Authority
- JP
- Japan
- Prior art keywords
- awakening
- time
- fatigue
- driving
- driver
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、車両の自動運転システムに利用可能な覚醒機能を備えた電子装置に関し、特に、自動運転から手動運転(マニュアル運転)に切り替える際の運転者の覚醒方法に関する。 The present invention relates to an electronic device having an awakening function that can be used in an automatic driving system of a vehicle, and more particularly to a driver's awakening method when switching from automatic driving to manual driving (manual driving).
将来の自動運転時代の到来に向けて、様々な技術開発が進められている。完全自動化の達成時期や自動運転の内容については様々であるが、高速道路における自動運転制御については、構想段階から実現段階に移行しつつある。自動運転技術の実用化にあたっては、手動運転では考慮されなかった課題や問題点を解決していく必要がある。 Various technological developments are underway for the arrival of the future autonomous driving era. There are various timings for achieving full automation and the content of autonomous driving, but autonomous driving control on expressways is shifting from the concept stage to the realization stage. In order to put the autonomous driving technology to practical use, it is necessary to solve problems and problems that were not considered in the manual driving.
自動運転には複数の制御レベルが存在する。最も高度な制御レベルは、車が主体となって完全自動運転を実現することであり、下位の制御レベルは、人間が主体となって自動運転と手動運転との混在した走行を実現することである。従って、従来の完全手動運転では問題にならなかった、自動運転と手動運転の切り替え制御が課題の1つとなっている。特許文献1には、自動運転制御が可能な車両制御装置であって、自動運転中に運転者の覚醒度や運転集中度に基づいて手動運転適応度というパラメータを算出し、手動運転適応度が低いほど早いタイミングで手動運転への切り替えの報知を行う車両制御装置が開示されている。特許文献2には、自動運転可能な自動運転制御装置が記載されており、自動運転開始前に運転者の運転能力を判断し、自動運転走行を禁止する等の制御を行う技術が開示されている。 There are multiple control levels for autonomous driving. The most advanced control level is to realize fully automatic driving with the car as the main body, and the lower control level is to realize the mixed driving of automatic driving and manual driving with the human being as the main body. be. Therefore, one of the problems is the control of switching between automatic operation and manual operation, which has not been a problem in the conventional completely manual operation. Patent Document 1 describes a vehicle control device capable of automatic driving control, in which a parameter called manual driving adaptability is calculated based on the driver's arousal degree and driving concentration during automatic driving, and the manual driving adaptability is determined. A vehicle control device that notifies the switching to manual operation at an earlier timing as the value is lower is disclosed. Patent Document 2 describes an automatic driving control device capable of automatic driving, and discloses a technique for determining the driving ability of a driver before starting automatic driving and performing control such as prohibiting automatic driving. There is.
上記したように、自動運転の制御レベルには、自動運転と手動運転の切り替えを必要とすることがある。自動運転時は、手動運転時と比較して運転に集中していることが少なくなるため、よそ見をしたり、眠気を催すことがある。このような場合、手動運転への準備をさせるため、手動運転への切り替え前に運転者を覚醒させることが望ましい。運転者を覚醒させる手段としては、例えば、車内のスピーカーからアラームを出力したり、運転席を振動させる等がある。 As mentioned above, the control level of automatic operation may require switching between automatic operation and manual operation. During automatic driving, the driver is less focused on driving than during manual driving, which may cause him to look away or become drowsy. In such a case, it is desirable to awaken the driver before switching to manual driving in order to prepare for manual driving. As a means for awakening the driver, for example, an alarm is output from a speaker in the vehicle, the driver's seat is vibrated, and the like.
また、従来技術の1つに、運転者の状態に応じて危険レベルを設定し、当該危険レベルに応じて覚醒手段を変えるという方法がある。しかしながら、この方法は、覚醒を行うタイミングを考慮して手動運転に切り替えておらず、不十分な覚醒状態で手動運転に突入する懸念がある。図9は、このような自動運転から手動運転への切り替え時の課題をしめしており、不十分な覚醒状態で手動運転に突入すると事故を誘発するおそれがある。 Further, one of the prior art methods is to set a danger level according to the state of the driver and change the awakening means according to the danger level. However, this method does not switch to the manual operation in consideration of the timing of awakening, and there is a concern that the manual operation may be entered in an insufficient awake state. FIG. 9 shows a problem when switching from automatic driving to manual driving, and if the driver enters manual driving in an insufficiently awake state, an accident may be induced.
本発明は、このような従来の課題を解決するものであり、適切なタイミングで運転者を覚醒する覚醒機能を備えた電子装置、覚醒プログラムおよび覚醒方法を提供することを目的とする。 The present invention solves such a conventional problem, and an object of the present invention is to provide an electronic device, an awakening program, and an awakening method having an awakening function for awakening a driver at an appropriate timing.
本発明に係る電子装置は、自動運転から手動運転への切り替えを行う際に運転者を覚醒する機能を備えたものであって、自動運転中に運転者の覚醒度を検出する覚醒度検出手段と、運転者を覚醒させるための覚醒手段と、自動運転から手動運転への切り替えを行う際に前記覚醒度および前記覚醒手段の所要時間に基づき前記覚醒手段の開始時を算出する算出手段と、前記算出された開始時に従い前記覚醒手段を実行させる覚醒制御手段とを有する。 The electronic device according to the present invention has a function of awakening the driver when switching from automatic driving to manual driving, and is an arousal detection means for detecting the arousal level of the driver during automatic driving. Awakening means for awakening the driver, and a calculation means for calculating the start time of the awakening means based on the arousal degree and the required time of the awakening means when switching from automatic driving to manual driving. It has an awakening control means for executing the awakening means according to the calculated start time.
好ましくは電子装置はさらに、複数の覚醒手段の中から覚醒手段を選択する選択手段を含み、前記算出手段は、選択された覚醒手段の所要時間に基づき覚醒手段の開始時を算出する。好ましくは前記算出手段は、運転者が手動運転をすることができるか否かを示す覚醒閾値に到達するであろう覚醒手段の所要時間を算出する。好ましくは電子装置はさらに、運転者の疲労度を検出する疲労度検出手段を含み、前記選択手段は、前記疲労度に基づき覚醒手段を選択する。好ましくは前記覚醒度検出手段はさらに、覚醒度を予測する予測手段を含み、前記算出手段はさらに、前記予測手段により予測される覚醒度に基づき覚醒手段の開始時を算出する。好ましくは前記予測手段は、覚醒度と時間との関係を規定する関数を含む。好ましくは電子装置はさらに、自動運転中に、手動運転の切り替えまでの間の行動内容と当該行動内容に要する時間と、覚醒に要する時間とを含む行動プランを提案する提案手段を有し、前記選択手段は、前記提案手段により提案された行動プランに応じて覚醒手段を選択する。 Preferably, the electronic device further includes a selection means for selecting the awakening means from the plurality of awakening means, and the calculation means calculates the start time of the awakening means based on the required time of the selected awakening means. Preferably, the calculation means calculates the time required for the awakening means that will reach the awakening threshold indicating whether or not the driver can drive manually. Preferably, the electronic device further includes a fatigue level detecting means for detecting the driver's fatigue level, and the selection means selects the awakening means based on the fatigue level. Preferably, the arousal level detecting means further includes a predicting means for predicting the arousal level, and the calculating means further calculates the start time of the awakening means based on the arousal level predicted by the predicting means. Preferably, the predictor includes a function that defines the relationship between alertness and time. Preferably, the electronic device further has a proposing means for proposing an action plan including the action content until the switching of the manual driving, the time required for the action content, and the time required for awakening during the automatic driving. The selection means selects the awakening means according to the action plan proposed by the proposed means.
本発明に係る覚醒プログラムは、自動運転から手動運転への切り替えを行う際に運転者を覚醒する機能を備えた電子装置が実行するものであって、自動運転中に運転者の覚醒度を検出するステップと、自動運転から手動運転への切り替えを行う際に前記覚醒度および覚醒手段の所要時間に基づき覚醒手段の開始時を算出するステップと、前記算出された開始時に従い覚醒手段を実行させるステップとを有する。 The awakening program according to the present invention is executed by an electronic device having a function of awakening the driver when switching from automatic driving to manual driving, and detects the degree of awakening of the driver during automatic driving. Steps to calculate the start time of the awakening means based on the arousal degree and the time required for the awakening means when switching from the automatic operation to the manual operation, and the awakening means to be executed according to the calculated start time. Has steps and.
本発明に係る覚醒方法は、自動運転から手動運転への切り替えを行う際に運転者を覚醒する機能を備えた電子装置におけるものであって、自動運転中に運転者の覚醒度を検出するステップと、自動運転から手動運転への切り替えを行う際に前記覚醒度および覚醒手段の所要時間に基づき覚醒手段の開始時を算出するステップと、前記算出された開始時に従い覚醒手段を実行させるステップとを有する。 The awakening method according to the present invention is in an electronic device having a function of awakening the driver when switching from automatic driving to manual driving, and is a step of detecting the awakening degree of the driver during automatic driving. A step of calculating the start time of the awakening means based on the arousal degree and the required time of the awakening means when switching from the automatic operation to the manual operation, and a step of executing the awakening means according to the calculated start time. Has.
本発明によれば、自動運転から手動運転への切り替えを行う際に、覚醒手段の所要時間に基づき覚醒手段の開始時を算出するようにしたので、手動運転切り替え時に、運転者を覚醒状態させておくことができる。それにより、不十分な覚醒状態で手動運転に切り替わることを防止し、手動運転切り替え時の事故等の発生を軽減することができる。 According to the present invention, when switching from automatic driving to manual driving, the start time of the awakening means is calculated based on the time required for the awakening means, so that the driver is awakened when the manual driving is switched. Can be kept. As a result, it is possible to prevent switching to manual operation in an insufficiently awake state and reduce the occurrence of accidents or the like when switching to manual operation.
次に、本発明の実施の形態について図面を参照して詳細に説明する。好ましい態様では、本発明の覚醒機能を備えた電子装置は、車両等の移動体内に搭載され、運転者の覚醒を行う。さらに好ましい態様では、本発明の覚醒機能を備えた電子装置は、自動運転システムあるいは運転支援システムの一部として機能し、特に、自動運転から手動運転へ切り替えるときに運転者を覚醒する。 Next, an embodiment of the present invention will be described in detail with reference to the drawings. In a preferred embodiment, the electronic device having the awakening function of the present invention is mounted in a moving body such as a vehicle to awaken the driver. In a more preferred embodiment, the electronic device with the awakening function of the present invention functions as a part of an automatic driving system or a driving support system, and particularly awakens the driver when switching from automatic driving to manual driving.
次に、本発明の実施例に係る運転者を覚醒する機能を備えた覚醒装置について説明する。図1は、本発明の第1の実施例に係る覚醒装置の構成を示すブロック図である。本実施例の覚醒装置100は、生体情報検出部110、撮像部120、自動運転情報取得部130、出力部140、記憶部150、外部装置等との連携を可能にするインターフェース(I/F)160、および制御部170を含んで構成される。但し、ここに示す構成は一例であり、覚醒装置100は、他の機能を包含するものであってもよい。
Next, an awakening device having a function of awakening the driver according to the embodiment of the present invention will be described. FIG. 1 is a block diagram showing a configuration of an awakening device according to a first embodiment of the present invention. The
生体情報検出部110は、運転者の生体に関する情報を検出する。運転者の生体情報は、例えば、運転者の心拍数、血圧、体温、発汗などの情報である。1つの好ましい例では、生体情報検出部110は、運転者が装着可能なウェアラブル端末を含み、ウェアラブル端末を介して運転者の生体情報を検出する。生体情報は、運転者の疲労度や覚醒度を検出するのに利用し得る。
The biological
撮像部160は、撮像カメラを含み、運転者の顔画像を撮像する。撮像カメラは、例えば、ステアリング近傍またはインスツルメンツパネル内に配置され、運転者の顔を正面側から撮像する。撮像データは、制御部170に提供され、運転者の疲労度や覚醒度を検出するのに利用し得る。
The
自動運転情報取得部130は、自動運転システムまたは運転支援システム等から、自動運転に関する自動運転情報を取得する。自動運転情報は、例えば、自動運転プラン、自動運転プランにおける自動運転の制御レベル、自動運転から手動運転への切り替え、手動運転から自動運転への切り替え等の情報を含む。自動運転システムは、撮像カメラ、各種センサおよび車両の走行情報等に基づき、前方車両、自車周辺の障害物、走行車線等を認識し、車両のステアリング、速度、ブレーキ等を制御する。自動運転システムは、例えば、ナビゲーション装置によって探索された経路に基づき自動運転を行う区間、手動運転を行う区間等を決定する。例えば、高速道路の区間を自動運転、一般道の区間を手動運転に設定し、自車位置および地図データに基づき自動運転から手動運転、または手動運転から自動運転への切り替え地点や切り替え時刻を算出することができる。例えば、高速道路の出口で、自動運転から手動運転に切り替えられる。
The automatic driving
出力部140は、運転者を覚醒させるための出力を行う。出力態様は、任意であるが、例えば、音声を出力したり、あるいは座席を振動させる。出力部140は、覚醒以外の情報を出力することもできる。記憶部150は、制御部170が実行するアプリケーションソフトウエアやプログラム、覚醒のために必要な情報を格納することができる。I/F160は、覚醒装置100を外部装置や外部ネットワーク等に接続することを可能にする。例えば、覚醒装置100は、I/F160を介して、ナビゲーション装置、オーディオ・ビデオ装置、テレビ受信装置、スマートフォン等の機器と接続したり、車内バスや外部ネットワークに接続するための通信装置と接続することが可能である。
The
制御部170は、好ましい態様では、ROM、RAMなどを含むマイクロコントローラ等を含み、ROMまたはRAMは、覚醒装置100の動作を制御するためのプログラムを格納することができる。本実施例では、制御部170は、自動運転から手動運転へ切り替えるときに適切なタイミングで運転者を覚醒させる覚醒プログラムを実行する。
In a preferred embodiment, the
本実施例の覚醒プログラムでは、「疲労度(α)」、「覚醒度(β)」のパラメータを用いる。疲労度とは、運転者の疲れ具合を示す指標であり、その指標は、1つまたは複数の疲れ具合を数値化した値である。例えば、撮像部120によって撮像された運転者の顔画像から瞼の開き具合を抽出してこれを数値化したり、運転者の運転時間を数値化する。例えば、瞼の開き具合が小さいほど疲労度を表す値は大きくなり、運転時間が長いほど、疲労度を表す値が大きくなる。なお、疲労度を検出するための要素は、瞼の開き具合や運転時間に限られず、例えば、運転者の眼球運動や運転者の生体情報を用いてもよい。
In the awakening program of this embodiment, the parameters of "fatigue degree (α)" and "alertness degree (β)" are used. The degree of fatigue is an index showing the degree of fatigue of the driver, and the index is a numerical value of one or a plurality of the degree of fatigue. For example, the degree of eyelid opening is extracted from the driver's face image captured by the
覚醒度は、運転者の眠たさの度合い示す指標であり、疲労度と同様に各種の運転者に関する情報を数値化したものである。覚醒度の検出に用いられる要素としては、例えば、瞼の開き具合や、生体情報検出部110によって検出された運転者の心拍数情報や体温情報である。一般に、眠っている状態の心拍数は、覚醒時(起きている時)の心拍数よりも低くなるため、心拍数が低いほど覚醒度の値は低くなる。また、体温についても、眠っている状態の体温は、覚醒時の体温よりも低くなるため、体温が低くなるほど覚醒度の値が低くなる。覚醒度を検出するための要素は、瞼の開き具合やこれらの生体情報に限られず、他の要素を含ませるようにしても良い。なお、本実施例における覚醒とは、運転者が手動運転を遂行できる程度に起きている状態を意味し、眠っている状態、集中力が低下している状態等は覚醒していない状態である。
The arousal level is an index showing the degree of sleepiness of the driver, and is a numerical value of information on various drivers as well as the fatigue level. Elements used for detecting the arousal level are, for example, the degree of eyelid opening, the driver's heart rate information and body temperature information detected by the biological
次に、「覚醒閾値(β0)」について説明する。覚醒閾値は、覚醒しているか否かを判定する閾値であり、覚醒度が覚醒閾値以上であれば、覚醒しており、覚醒閾値未満であれば、覚醒していないと判定される。本実施例では、覚醒閾値は、運転者が手動運転を遂行できるか否かを基準に設定され、覚醒度が覚醒閾値より低ければ、手動運転に切り替えることは危険であり、覚醒度が覚醒閾値より高ければ、手動運転に切り替えても問題がない状況である。覚醒閾値は、運転者の状態に依存するものであり、運転者が運転を開始するときの覚醒度(このとき、運転者は、覚醒されている)や、運転者が寝ている時の覚醒度等の情報を参照して決定される。 Next, the "awakening threshold (β0)" will be described. The awakening threshold is a threshold for determining whether or not the person is awake. If the arousal level is equal to or higher than the awakening threshold, it is determined to be awake, and if it is less than the awakening threshold, it is determined that the person is not awake. In this embodiment, the arousal threshold is set based on whether or not the driver can perform manual driving, and if the arousal level is lower than the awakening threshold, it is dangerous to switch to manual driving, and the arousal level is the awakening threshold. If it is higher, there is no problem in switching to manual operation. The arousal threshold depends on the driver's condition, and is the arousal level when the driver starts driving (at this time, the driver is awake) and the awakening when the driver is sleeping. It is decided by referring to information such as degree.
図2は、本実施例の覚醒プログラム300の機能的な構成を示す。覚醒プログラム300は、疲労度検出部310、覚醒度検出部320、疲労度予測部330、覚醒度予測部340、覚醒手段選択部350、覚醒所要時間算出部360、覚醒開始部370を含む。
FIG. 2 shows the functional configuration of the awakening program 300 of this embodiment. The awakening program 300 includes a
疲労度検出部310は、上記したように、撮像部120からの撮像データに基づき運転者の瞼の開き具合から数値化された疲労度を検出したり、あるいは、I/F160を介して運転が開始されたとき(エンジンがオンになったとき)からの時間をタイマーでカウントし、カウントされた運転時間から数値化した疲労度を検出する。瞼の開き具合が小さいほど疲労度が大きくなり、運転時間が長いほど疲労度が大きくなる。疲労度検出部310は、上記以外にも生体情報検出部110により検出された生体情報から疲労度を検出するようにしてもよい。複数の疲労度を検出する場合には、それらの平均値を算出したり、あるいは一番大きな疲労度を選択する。
As described above, the fatigue
覚醒度検出部320は、上記したように、撮像部120からの撮像データに基づき運転者の瞼の開き具合から数値化された覚醒度を検出する。あるいは生体情報検出部110によって取得された運転者の心拍数情報や体温情報から数値化された覚醒度を検出する。瞼の開き具合が小さいほど覚醒度が小さくなり、心拍数が低いほど覚醒度が小さくなる。また、体温が低いほど覚醒度が小さくなる。複数の覚醒度を検出する場合には、それらの平均値を算出したり、あるいは一番小さな覚醒度を選択する。
As described above, the arousal
疲労度予測部330は、疲労度検出部310によって検出された運転者の疲労度の予測線を設定する。好ましい例では、疲労度予測部330は、検出された疲労度と運転時間との関係を規定する疲労度の予測関数(例えば、一次関数や二次関数など)Fαを設定する。図3は、疲労度/覚醒度と時間との関係を例示したグラフであり、縦軸に、疲労度α/覚醒度β、横軸に時間tを示す。疲労度予測部330は、疲労度の予測関数Fαとして、例えば、負の傾き「a」を持つ一次関数「α=−at+α1」を設定する。この一次関数を用いることで、例えば、時刻T1のときに疲労度α1が検出部された場合、疲労度予測部330は、その後の時刻T2または時刻T3のときの疲労度を予測することができる。
The fatigue
覚醒度予測部340は、覚醒度算出部320によって検出された運転者の覚醒度の予測線を設定する。好ましい例では、覚醒度予測部350は、検出された覚醒度と運転時間との関係を規定する覚醒度の予測関数(例えば、一次関数や二次関数など)Fβを設定する。覚醒度予測部340は、例えば図3に示すように、覚醒度の予測関数Fβとして、負の傾き「b」を持つ一次関数「β=−bt+β1」を設定する。この一次関数を用いることで、例えば、時刻T1のときに覚醒度β1が検出された場合、その後の覚醒度を予測することができる。
The
覚醒手段選択部350は、自動運転から手動運転に移行するときに運転者を覚醒させるための覚醒手段を選択する。覚醒手段選択部350は、例えば、疲労度予測部330により予測された時刻T2または時刻T3の疲労度に応じた覚醒手段を選択する。予測された疲労度が大きい場合、身体が疲れているので、運転者は覚醒され難い状況にある。このため、覚醒手段選択部350は、複数の覚醒手段の中から覚醒効果または覚醒度合の高い覚醒手段を選択することが望ましい。例えば、疲労度と覚醒手段との関係を規定したテーブルを用意しておき、予測された疲労度に対応する覚醒手段を選択するようにしてもよい。また、別の態様では、覚醒手段選択部350は、検出された覚醒度あるいは予測された覚醒度が低い場合には、覚醒効果の高い覚醒手段を選択することが望ましい。例えば、覚醒度と覚醒手段との関係を規定したテーブルを用意しておき、検出または予測された覚醒度に対応する覚醒手段を選択するようにしてもよい。さらに別の態様では、予め設定された覚醒手段を選択するようにしてもよいし、覚醒装置100がユーザー入力部を備えている場合には、ユーザーから指示された覚醒手段を選択するようにしてもよい。
The awakening means
覚醒手段は、運転者を覚醒させるための刺激であり、例えば、出力部140からアラーム等の音声や楽曲を出力させたり、運転席のシートを振動させたり、エアコンの風量を上昇させたり、車内にアロマを放出させたりする。あるいは、他の刺激であってもよい。
The awakening means is a stimulus for awakening the driver. For example, the
好ましい態様では、覚醒手段の覚醒に要する時間は、覚醒効果または覚醒度合を表す覚醒係数Kをもつ関数Fn(一次関数または二次関数)を用いて求めることができる。覚醒に要する時間は、各覚醒手段によって異なるため、各覚醒手段の覚醒係数Kも異なる。図4に、覚醒手段とその覚醒係数Kとの関係を例示する。この例では、覚醒係数Kが大きいほど、覚醒効果または覚醒度合が強くなることを意味している。従って、覚醒係数Kが大きいほど、覚醒に要する時間が短くなり、覚醒係数Kが小さいほど、覚醒に要する時間が長くなる。例えば、覚醒手段が音楽・アラーム音であるとき、覚醒係数Kは1.0であり、覚醒手段が運転席の振動であるとき、覚醒効果が比較的強いので、覚醒係数Kは1.5である。さらに運転席振動と警告音の組み合わせは、覚醒効果がさらに強くなるので、覚醒係数Kは、1.8である。 In a preferred embodiment, the time required for awakening of the awakening means can be determined using a function Fn (linear function or quadratic function) having an awakening coefficient K representing the awakening effect or the degree of arousal. Since the time required for awakening differs depending on each awakening means, the awakening coefficient K of each awakening means also differs. FIG. 4 illustrates the relationship between the awakening means and its awakening coefficient K. In this example, the larger the arousal coefficient K, the stronger the arousal effect or the degree of arousal. Therefore, the larger the awakening coefficient K, the shorter the time required for awakening, and the smaller the awakening coefficient K, the longer the time required for awakening. For example, when the awakening means is music / alarm sound, the awakening coefficient K is 1.0, and when the awakening means is the vibration of the driver's seat, the awakening effect is relatively strong, so the awakening coefficient K is 1.5. be. Further, the combination of the driver's seat vibration and the warning sound further enhances the awakening effect, so that the awakening coefficient K is 1.8.
覚醒所要時間算出部360は、覚醒度の予測関数Fβと覚醒手段選択部350によって選択された覚醒手段の関数Fnから覚醒閾値β0(自動運転から手動運転に切り替わる時刻T3のときの点P)に到達するであろう覚醒の所要時間を算出する。上記したように覚醒係数Kが大きければ覚醒効果が大きいため、覚醒閾値β0に到達するまでの覚醒所要時間は短くなり(図3の関数Fnの傾きが大きくなる)、反対に、覚醒係数Kが小さければ覚醒効果が小さいため、覚醒閾値β0に到達するための覚醒所要時間は長くなる(図3の関数Fnの傾きが小さくなる)。
The awakening required
覚醒開始部370は、覚醒所要時間算出部360により算出された覚醒所要時間を、手動運転の切り替え時点である時刻T3から減算することで、覚醒開始時点T2を算出する。言い換えれば、覚醒度の予測関数Fβと覚醒手段の関数Fnとが交差する点Qの時刻T2を算出する。そして、覚醒開始部370は、算出した時刻T2に到達したとき、選択された覚醒手段による覚醒を開始させる。
The
次に、本実施例の覚醒装置の動作を図5のフローチャートを参照して説明する。運転者の覚醒は、自動運転から手動運転への切り替えの際に行われるものとする。自動運転情報取得部130は、自動運転情報として、例えば、自動運転をする時間情報、手動運転をする時間情報、自動運転から手動運転への切り替えを行う時間情報などを取得する(S100)。
Next, the operation of the awakening device of this embodiment will be described with reference to the flowchart of FIG. The driver's awakening shall be performed when switching from automatic driving to manual driving. The automatic driving
自動運転期間中のある時刻T1(例えば、自動運転が開始された直後)において、疲労度検出部310により疲労度が検出され、覚醒度検出部320により覚醒度が検出される(S102)、次いで、疲労度予測部330により疲労度の予測関数Fαが設定され、覚醒度予測部340により覚醒度の予測関数Fβが設定される(S104)。次に、覚醒手段選択部350は、例えば、予測関数Fαにより予測される手動運転の切替時(図3の時刻T3)の疲労度に基づき適切な覚醒手段を選択し(S106)、覚醒所要時間算出部360は、選択された覚醒手段の関数Fnおよび予測関数Fβに基づき覚醒所要時間を算出する(S108)。次に、覚醒開始部370は、手動運転の切換え時刻から覚醒所要時間を差し引いて覚醒開始時を算出し(S110)、覚醒開始時刻に到達するや否や、選択された覚醒手段による覚醒を開始させる(S112)。
At a certain time T1 during the automatic operation period (for example, immediately after the automatic operation is started), the fatigue level is detected by the fatigue
このように本実施例によれば、覚醒に要する時間を考慮して覚醒を開始する時間を算出するようにしたので、手動運転に切り替えるときに、運転者を十分に覚醒させた状態にさせることができる。 As described above, according to this embodiment, the time required to start awakening is calculated in consideration of the time required for awakening. Therefore, when switching to manual driving, the driver should be in a sufficiently awakened state. Can be done.
次に、本発明の第2の実施例について説明する。第1の実施例では、覚醒所要時間算出部360により算出された覚醒所要時間に基づき覚醒開始時点を算出し、覚醒を行う例を示した。第2の実施例では、自動運転モードに移行した際に、運転者の疲労度に基づき、手動運転に切り替わるまでの行動プランを提案する。なお、第2の実施例の覚醒装置100は、第1の実施例で示した覚醒装置100の構成を含み、第2の実施例の覚醒プログラム300Aは、図6に示すように、行動プラン提案部380をさらに含む。
Next, a second embodiment of the present invention will be described. In the first embodiment, an example in which the awakening start time is calculated based on the awakening required time calculated by the awakening required
行動プラン提案部380は、自動運転モードに移行した際に、疲労度検出部310によって検出された疲労度に基づき、手動運転開始時(図3の時刻T3)までの行動プランと覚醒所要時間または覚醒開始時とを提案する。この算出処理は、第1の実施例ときと同様の手法を用いて行われる。例えば、手動運転開始時までの時間が50分ある場合、行動プラン提案部380は、図7に示すように、疲労度が高いケースでは、プラン1を提案し、疲労度が低いケースでは、プラン2を提案する。プラン1では、疲労度が高いため、ゆったりした姿勢での睡眠(45分)を提案し、かつ覚醒時間として5分かかることを知らせる。プラン2では、疲労度が低いため、映画鑑賞(47分)を提案し、かつ覚醒時間として3分かかることを知らせる。このような行動プランの提案は、出力部140のディスプレイに表示される。
The action plan proposal unit 380 sets the action plan and the time required for awakening until the start of manual operation (time T3 in FIG. 3) based on the fatigue level detected by the fatigue
上記の例では、具体的な覚醒手段を例示していないが、行動プラン提案部380は、行動プランや手動運転開始時までの時間を考慮して適当な覚醒手段を選択してもよいし、あるいは、具体的な覚醒手段を複数例示し、その中から運転者に覚醒手段を選択させるようにしてもよい。例えば、プラン1の場合において、(A)覚醒手段が運転席振動であれば、覚醒時間が4分、睡眠時間が46分、(B)覚醒手段が運転席振動+警告音であれば、覚醒時間が3分、睡眠時間が47分のような複数の行動プランを提示し、その中から運転者に行動プランを選択させるようにしてもよい。運転者が所望の行動プランを選択した場合には、その行動プランに基づく覚醒制御が行われる。 Although the above example does not exemplify a specific awakening means, the action plan proposal unit 380 may select an appropriate awakening means in consideration of the action plan and the time until the start of manual operation. Alternatively, a plurality of specific awakening means may be exemplified, and the driver may be made to select the awakening means from among them. For example, in the case of Plan 1, if (A) the awakening means is the driver's seat vibration, the awakening time is 4 minutes and the sleep time is 46 minutes, and (B) if the awakening means is the driver's seat vibration + warning sound, the awakening time is 4 minutes. A plurality of action plans with a time of 3 minutes and a sleep time of 47 minutes may be presented, and the driver may be made to select an action plan from among them. When the driver selects a desired action plan, awakening control is performed based on the action plan.
次に、第2の実施例に係る覚醒装置の動作を図8のフローを参照して説明する。自動運転情報取得部130により自動運転プランを含む自動運転情報が取得されると(S200)、行動プラン提案部380は、自動運転モードに移行したか否かを判定する(S202)。この判定は、例えば、自動運転区間の地図データまたは自動運転区間の時間情報に基づき行われる。自動運転モードへ移行した場合、疲労度検出部310により運転者の疲労度が検出され、行動プラン提案部380は、検出された疲労度に基づき1つまたは複数の行動プランを提案する(S206)。運転者によって行動プランが選択されると(運転者からの選択がない場合には、自動的に行動プランが選択される)(S208)、選択された行動プランの覚醒手段に基づき覚醒開始時が算出され、覚醒開始時に運転者への覚醒が実行される(S210)。
Next, the operation of the awakening device according to the second embodiment will be described with reference to the flow of FIG. When the automatic driving
このように第2の実施例によれば、提案された行動プランにより覚醒手段を選択したり、あるいは運転者が自ら覚醒開始時を選択することが可能になる。 As described above, according to the second embodiment, the awakening means can be selected according to the proposed action plan, or the driver can select the awakening start time by himself / herself.
以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to the specific embodiments, and various modifications and modifications are made within the scope of the gist of the invention described in the claims. It can be changed.
100:覚醒装置 110:生体情報検出部
120:撮像部 130:自動運転情報取得部
140:出力部 150:記憶部
160:I/F 170:制御部
100: Awakening device 110: Biological information detection unit 120: Imaging unit 130: Automatic operation information acquisition unit 140: Output unit 150: Storage unit 160: I / F 170: Control unit
Claims (6)
自動運転中に運転者の疲労度を検出する疲労度検出手段と、
検出された疲労度と運転時間との関係を規定する疲労度の予測関数に基づき疲労度を予測する疲労度予測手段と、
自動運転中に運転者の覚醒度を検出する覚醒度検出手段と、
検出された覚醒度と運転時間との関係を規定する覚醒度の予測関数に基づき覚醒度を予測する覚醒度予測手段と、
自動運転から手動運転に移行するときに運転者を覚醒させるための覚醒手段を複数の覚醒手段の中から選択する選択手段であって、当該選択手段は、前記疲労度予測手段によって予測された時刻の疲労度に応じた覚醒手段を選択する、前記選択手段と、
前記覚醒度予測手段によって予測された時刻の覚醒度から自動運転を手動運転へ切り替える時刻の覚醒閾値までに要する時間を、選択された覚醒手段の覚醒係数をもつ関数に基づき算出する算出手段と、
前記自動運転を手動運転に切り替える時刻と前記算出手段により算出された時間とから覚醒手段の開始時を算出する開始時算出手段と、
前記算出された開始時に従い前記選択手段により選択された覚醒手段を実行させる覚醒制御手段と、
を有する電子装置。 It is an electronic device that has a function to awaken the driver when switching from automatic driving to manual driving.
Fatigue detection means that detects the driver's fatigue during automatic driving,
Fatigue prediction means that predicts fatigue based on the fatigue prediction function that defines the relationship between the detected fatigue and operating time, and
Arousal detection means that detects the driver's arousal during automatic driving,
An arousal level prediction means that predicts the arousal level based on the arousal level prediction function that defines the relationship between the detected arousal level and the driving time,
It is a selection means for selecting an awakening means for awakening the driver from a plurality of awakening means when shifting from automatic driving to manual operation, and the selection means is the time predicted by the fatigue degree predicting means. The selection means and the selection means for selecting the awakening means according to the degree of fatigue of
A calculation means for calculating the time required from the arousal degree at the time predicted by the arousal degree predicting means to the awakening threshold value at the time of switching the automatic operation to the manual operation based on a function having an awakening coefficient of the selected awakening means.
A start time calculation means for calculating the start time of the awakening means from the time when the automatic operation is switched to the manual operation and the time calculated by the calculation means, and
Awakening control means for executing the awakening means selected by the selection means according to the calculated start time, and
Electronic device with.
前記選択手段は、前記提案手段により提案された行動プランに応じて覚醒手段を選択する、請求項1に記載の電子装置。 The electronic device further proposes an action plan including the action content until the switching of manual driving based on the detected fatigue level, the time required for the action content, and the time required for awakening during automatic driving. Have,
The electronic device according to claim 1 , wherein the selection means selects the awakening means according to the action plan proposed by the proposed means.
自動運転中に運転者の疲労度を検出するステップと、
検出された疲労度と運転時間との関係を規定する疲労度の予測関数に基づき疲労度を予測するステップと、
自動運転中に運転者の覚醒度を検出するステップと、
検出された覚醒度と運転時間との関係を規定する覚醒度の予測関数に基づき覚醒度を予測するステップと、
自動運転から手動運転に移行するときに運転者を覚醒させるための覚醒手段を複数の覚醒手段の中から選択するステップであって、当該選択するステップは、前記疲労度を予測するステップによって予測された時刻の疲労度に応じた覚醒手段を選択する、前記選択するステップと、
前記覚醒度を予測するステップによって予測された時刻の覚醒度から自動運転を手動運転へ切り替える時刻の覚醒閾値までに要する時間を、選択された覚醒手段の覚醒係数をもつ関数に基づき算出するステップと、
前記自動運転を手動運転に切り替える時刻と前記算出するステップにより算出された時間とから覚醒手段の開始時を算出するステップと、
前記算出された開始時に従い前記選択するステップにより選択された覚醒手段を実行させるステップと、
を有する覚醒プログラム。 It is an awakening program executed by an electronic device that has a function to awaken the driver when switching from automatic driving to manual driving.
Steps to detect driver fatigue during autonomous driving and
Steps to predict fatigue based on the fatigue prediction function that defines the relationship between detected fatigue and operating time,
Steps to detect the driver's alertness during autonomous driving,
The step of predicting the arousal level based on the arousal level prediction function that defines the relationship between the detected arousal level and the driving time, and
It is a step of selecting an awakening means for awakening the driver from a plurality of awakening means when shifting from automatic driving to manual driving, and the selected step is predicted by the step of predicting the degree of fatigue. The step of selecting the awakening means according to the degree of fatigue at the time, and the above-mentioned selection step,
The step of calculating the time required from the arousal level of the time predicted by the step of predicting the arousal degree to the awakening threshold value of the time when the automatic operation is switched to the manual operation is calculated based on the function having the awakening coefficient of the selected awakening means. ,
A step of calculating the start time of the awakening means from the time of switching the automatic operation to the manual operation and the time calculated by the calculation step, and
A step of executing the awakening means selected by the selected step according to the calculated start time, and a step of executing the awakening means selected by the selected step.
Awakening program with.
前記選択するステップは、前記提案するステップにより提案された行動プランに応じて覚醒手段を選択する、請求項3に記載の覚醒プログラム。 The awakening program according to claim 3, wherein the selected step selects an awakening means according to the action plan proposed by the proposed step.
自動運転中に運転者の疲労度を検出するステップと、
検出された疲労度と運転時間との関係を規定する疲労度の予測関数に基づき疲労度を予測するステップと、
自動運転中に運転者の覚醒度を検出するステップと、
検出された覚醒度と運転時間との関係を規定する覚醒度の予測関数に基づき覚醒度を予測するステップと、
自動運転から手動運転に移行するときに運転者を覚醒させるための覚醒手段を複数の覚醒手段の中から選択するステップであって、当該選択するステップは、前記疲労度を予測するステップによって予測された時刻の疲労度に応じた覚醒手段を選択する、前記選択するステップと、
前記覚醒度を予測するステップによって予測された時刻の覚醒度から自動運転を手動運転へ切り替える時刻の覚醒閾値までに要する時間を、選択された覚醒手段の覚醒係数をもつ関数に基づき算出するステップと、
前記自動運転を手動運転に切り替える時刻と前記算出するステップにより算出された時間とから覚醒手段の開始時を算出するステップと、
前記算出された開始時に従い前記選択するステップにより選択された覚醒手段を実行させるステップと、
を有する覚醒方法。 It is an awakening method in an electronic device having a function of awakening the driver when switching from automatic driving to manual driving.
Steps to detect driver fatigue during autonomous driving and
Steps to predict fatigue based on the fatigue prediction function that defines the relationship between detected fatigue and operating time,
Steps to detect the driver's alertness during autonomous driving,
The step of predicting the arousal level based on the arousal level prediction function that defines the relationship between the detected arousal level and the driving time, and
It is a step of selecting an awakening means for awakening the driver from a plurality of awakening means when shifting from automatic driving to manual driving, and the selected step is predicted by the step of predicting the degree of fatigue. The step of selecting the awakening means according to the degree of fatigue at the time, and the above-mentioned selection step,
The step of calculating the time required from the arousal level of the time predicted by the step of predicting the arousal degree to the awakening threshold value of the time when the automatic operation is switched to the manual operation is calculated based on the function having the awakening coefficient of the selected awakening means. ,
A step of calculating the start time of the awakening means from the time of switching the automatic operation to the manual operation and the time calculated by the calculation step, and
A step of executing the awakening means selected by the selected step according to the calculated start time, and a step of executing the awakening means selected by the selected step.
Awakening method with.
前記選択するステップは、前記提案するステップにより提案された行動プランに応じて覚醒手段を選択する、請求項5に記載の覚醒方法。 The awakening method according to claim 5, wherein the selected step selects an awakening means according to the action plan proposed by the proposed step.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017140496A JP6958982B2 (en) | 2017-07-20 | 2017-07-20 | Electronic devices with awakening function, awakening programs and awakening methods |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017140496A JP6958982B2 (en) | 2017-07-20 | 2017-07-20 | Electronic devices with awakening function, awakening programs and awakening methods |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019021154A JP2019021154A (en) | 2019-02-07 |
JP6958982B2 true JP6958982B2 (en) | 2021-11-02 |
Family
ID=65354217
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017140496A Active JP6958982B2 (en) | 2017-07-20 | 2017-07-20 | Electronic devices with awakening function, awakening programs and awakening methods |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6958982B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7451109B2 (en) * | 2019-08-21 | 2024-03-18 | 株式会社東海理化電機製作所 | Mobility aids, control devices, and computer programs |
JP7264086B2 (en) | 2020-02-27 | 2023-04-25 | トヨタ自動車株式会社 | Vehicle control device and vehicle control method |
JP7478390B2 (en) * | 2020-03-26 | 2024-05-07 | パナソニックオートモーティブシステムズ株式会社 | Awakening Control Device |
WO2023122913A1 (en) * | 2021-12-27 | 2023-07-06 | 华为技术有限公司 | Intelligent driving method, system, and apparatus |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010140358A (en) * | 2008-12-12 | 2010-06-24 | Toyota Motor Corp | Traveling support device |
JP6135618B2 (en) * | 2014-08-08 | 2017-05-31 | トヨタ自動車株式会社 | Vehicle control device |
JP6191633B2 (en) * | 2015-02-20 | 2017-09-06 | トヨタ自動車株式会社 | Driving assistance device |
WO2017051478A1 (en) * | 2015-09-25 | 2017-03-30 | 三菱電機株式会社 | Driving assistance device and driving assistance method |
JP6586874B2 (en) * | 2015-12-15 | 2019-10-09 | トヨタ自動車株式会社 | Travel control device |
-
2017
- 2017-07-20 JP JP2017140496A patent/JP6958982B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2019021154A (en) | 2019-02-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6958982B2 (en) | Electronic devices with awakening function, awakening programs and awakening methods | |
JP7299840B2 (en) | Information processing device and information processing method | |
US11027608B2 (en) | Driving assistance apparatus and driving assistance method | |
JP6558719B2 (en) | Vehicle driving support system and vehicle driving support method | |
CN108688677B (en) | Vehicle driving support system and vehicle driving support method | |
JP6575932B2 (en) | Vehicle driving support system | |
JP6920112B2 (en) | Driving support device and driving support method | |
JP6314435B2 (en) | Driver monitoring device | |
US20150307105A1 (en) | Personalized Driver Assistance | |
JP6627811B2 (en) | Concentration determination device, concentration determination method, and program for concentration determination | |
KR20180083407A (en) | Method for operating a vehicle having a status monitoring device, a driver assistance system, and an automobile | |
WO2016035268A1 (en) | Travel control system for vehicle | |
JP2019074791A (en) | Driving support device for vehicle | |
JP6575933B2 (en) | Vehicle driving support system | |
JP5375571B2 (en) | Awakening support device | |
JP2018169703A (en) | Vehicle driving support system and vehicle driving support method | |
CN111976626A (en) | Mode control method, device, vehicle and computer readable storage medium | |
JP6607223B2 (en) | Vehicle driving support system and vehicle driving support method | |
TWI840099B (en) | Car driver health monitoring method and car for implementing the method | |
JP6579495B2 (en) | Vehicle driving support system | |
JP6579493B2 (en) | Vehicle driving support system | |
JP7540319B2 (en) | Awakening Device | |
JP6579494B2 (en) | Vehicle driving support system | |
JP7239260B2 (en) | electronic device, driver state estimation system | |
CN114821966A (en) | Fatigue driving early warning method, device, terminal and fatigue driving early warning system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200306 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20210120 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210203 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211006 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211006 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6958982 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |