JP6958982B2 - Electronic devices with awakening function, awakening programs and awakening methods - Google Patents

Electronic devices with awakening function, awakening programs and awakening methods Download PDF

Info

Publication number
JP6958982B2
JP6958982B2 JP2017140496A JP2017140496A JP6958982B2 JP 6958982 B2 JP6958982 B2 JP 6958982B2 JP 2017140496 A JP2017140496 A JP 2017140496A JP 2017140496 A JP2017140496 A JP 2017140496A JP 6958982 B2 JP6958982 B2 JP 6958982B2
Authority
JP
Japan
Prior art keywords
awakening
time
fatigue
driving
driver
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017140496A
Other languages
Japanese (ja)
Other versions
JP2019021154A (en
Inventor
木村 豪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Alpine Electronics Inc
Original Assignee
Alpine Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Alpine Electronics Inc filed Critical Alpine Electronics Inc
Priority to JP2017140496A priority Critical patent/JP6958982B2/en
Publication of JP2019021154A publication Critical patent/JP2019021154A/en
Application granted granted Critical
Publication of JP6958982B2 publication Critical patent/JP6958982B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、車両の自動運転システムに利用可能な覚醒機能を備えた電子装置に関し、特に、自動運転から手動運転(マニュアル運転)に切り替える際の運転者の覚醒方法に関する。 The present invention relates to an electronic device having an awakening function that can be used in an automatic driving system of a vehicle, and more particularly to a driver's awakening method when switching from automatic driving to manual driving (manual driving).

将来の自動運転時代の到来に向けて、様々な技術開発が進められている。完全自動化の達成時期や自動運転の内容については様々であるが、高速道路における自動運転制御については、構想段階から実現段階に移行しつつある。自動運転技術の実用化にあたっては、手動運転では考慮されなかった課題や問題点を解決していく必要がある。 Various technological developments are underway for the arrival of the future autonomous driving era. There are various timings for achieving full automation and the content of autonomous driving, but autonomous driving control on expressways is shifting from the concept stage to the realization stage. In order to put the autonomous driving technology to practical use, it is necessary to solve problems and problems that were not considered in the manual driving.

自動運転には複数の制御レベルが存在する。最も高度な制御レベルは、車が主体となって完全自動運転を実現することであり、下位の制御レベルは、人間が主体となって自動運転と手動運転との混在した走行を実現することである。従って、従来の完全手動運転では問題にならなかった、自動運転と手動運転の切り替え制御が課題の1つとなっている。特許文献1には、自動運転制御が可能な車両制御装置であって、自動運転中に運転者の覚醒度や運転集中度に基づいて手動運転適応度というパラメータを算出し、手動運転適応度が低いほど早いタイミングで手動運転への切り替えの報知を行う車両制御装置が開示されている。特許文献2には、自動運転可能な自動運転制御装置が記載されており、自動運転開始前に運転者の運転能力を判断し、自動運転走行を禁止する等の制御を行う技術が開示されている。 There are multiple control levels for autonomous driving. The most advanced control level is to realize fully automatic driving with the car as the main body, and the lower control level is to realize the mixed driving of automatic driving and manual driving with the human being as the main body. be. Therefore, one of the problems is the control of switching between automatic operation and manual operation, which has not been a problem in the conventional completely manual operation. Patent Document 1 describes a vehicle control device capable of automatic driving control, in which a parameter called manual driving adaptability is calculated based on the driver's arousal degree and driving concentration during automatic driving, and the manual driving adaptability is determined. A vehicle control device that notifies the switching to manual operation at an earlier timing as the value is lower is disclosed. Patent Document 2 describes an automatic driving control device capable of automatic driving, and discloses a technique for determining the driving ability of a driver before starting automatic driving and performing control such as prohibiting automatic driving. There is.

特開2016−38768号公報Japanese Unexamined Patent Publication No. 2016-38768 特開2016−115356号公報Japanese Unexamined Patent Publication No. 2016-115356

上記したように、自動運転の制御レベルには、自動運転と手動運転の切り替えを必要とすることがある。自動運転時は、手動運転時と比較して運転に集中していることが少なくなるため、よそ見をしたり、眠気を催すことがある。このような場合、手動運転への準備をさせるため、手動運転への切り替え前に運転者を覚醒させることが望ましい。運転者を覚醒させる手段としては、例えば、車内のスピーカーからアラームを出力したり、運転席を振動させる等がある。 As mentioned above, the control level of automatic operation may require switching between automatic operation and manual operation. During automatic driving, the driver is less focused on driving than during manual driving, which may cause him to look away or become drowsy. In such a case, it is desirable to awaken the driver before switching to manual driving in order to prepare for manual driving. As a means for awakening the driver, for example, an alarm is output from a speaker in the vehicle, the driver's seat is vibrated, and the like.

また、従来技術の1つに、運転者の状態に応じて危険レベルを設定し、当該危険レベルに応じて覚醒手段を変えるという方法がある。しかしながら、この方法は、覚醒を行うタイミングを考慮して手動運転に切り替えておらず、不十分な覚醒状態で手動運転に突入する懸念がある。図9は、このような自動運転から手動運転への切り替え時の課題をしめしており、不十分な覚醒状態で手動運転に突入すると事故を誘発するおそれがある。 Further, one of the prior art methods is to set a danger level according to the state of the driver and change the awakening means according to the danger level. However, this method does not switch to the manual operation in consideration of the timing of awakening, and there is a concern that the manual operation may be entered in an insufficient awake state. FIG. 9 shows a problem when switching from automatic driving to manual driving, and if the driver enters manual driving in an insufficiently awake state, an accident may be induced.

本発明は、このような従来の課題を解決するものであり、適切なタイミングで運転者を覚醒する覚醒機能を備えた電子装置、覚醒プログラムおよび覚醒方法を提供することを目的とする。 The present invention solves such a conventional problem, and an object of the present invention is to provide an electronic device, an awakening program, and an awakening method having an awakening function for awakening a driver at an appropriate timing.

本発明に係る電子装置は、自動運転から手動運転への切り替えを行う際に運転者を覚醒する機能を備えたものであって、自動運転中に運転者の覚醒度を検出する覚醒度検出手段と、運転者を覚醒させるための覚醒手段と、自動運転から手動運転への切り替えを行う際に前記覚醒度および前記覚醒手段の所要時間に基づき前記覚醒手段の開始時を算出する算出手段と、前記算出された開始時に従い前記覚醒手段を実行させる覚醒制御手段とを有する。 The electronic device according to the present invention has a function of awakening the driver when switching from automatic driving to manual driving, and is an arousal detection means for detecting the arousal level of the driver during automatic driving. Awakening means for awakening the driver, and a calculation means for calculating the start time of the awakening means based on the arousal degree and the required time of the awakening means when switching from automatic driving to manual driving. It has an awakening control means for executing the awakening means according to the calculated start time.

好ましくは電子装置はさらに、複数の覚醒手段の中から覚醒手段を選択する選択手段を含み、前記算出手段は、選択された覚醒手段の所要時間に基づき覚醒手段の開始時を算出する。好ましくは前記算出手段は、運転者が手動運転をすることができるか否かを示す覚醒閾値に到達するであろう覚醒手段の所要時間を算出する。好ましくは電子装置はさらに、運転者の疲労度を検出する疲労度検出手段を含み、前記選択手段は、前記疲労度に基づき覚醒手段を選択する。好ましくは前記覚醒度検出手段はさらに、覚醒度を予測する予測手段を含み、前記算出手段はさらに、前記予測手段により予測される覚醒度に基づき覚醒手段の開始時を算出する。好ましくは前記予測手段は、覚醒度と時間との関係を規定する関数を含む。好ましくは電子装置はさらに、自動運転中に、手動運転の切り替えまでの間の行動内容と当該行動内容に要する時間と、覚醒に要する時間とを含む行動プランを提案する提案手段を有し、前記選択手段は、前記提案手段により提案された行動プランに応じて覚醒手段を選択する。 Preferably, the electronic device further includes a selection means for selecting the awakening means from the plurality of awakening means, and the calculation means calculates the start time of the awakening means based on the required time of the selected awakening means. Preferably, the calculation means calculates the time required for the awakening means that will reach the awakening threshold indicating whether or not the driver can drive manually. Preferably, the electronic device further includes a fatigue level detecting means for detecting the driver's fatigue level, and the selection means selects the awakening means based on the fatigue level. Preferably, the arousal level detecting means further includes a predicting means for predicting the arousal level, and the calculating means further calculates the start time of the awakening means based on the arousal level predicted by the predicting means. Preferably, the predictor includes a function that defines the relationship between alertness and time. Preferably, the electronic device further has a proposing means for proposing an action plan including the action content until the switching of the manual driving, the time required for the action content, and the time required for awakening during the automatic driving. The selection means selects the awakening means according to the action plan proposed by the proposed means.

本発明に係る覚醒プログラムは、自動運転から手動運転への切り替えを行う際に運転者を覚醒する機能を備えた電子装置が実行するものであって、自動運転中に運転者の覚醒度を検出するステップと、自動運転から手動運転への切り替えを行う際に前記覚醒度および覚醒手段の所要時間に基づき覚醒手段の開始時を算出するステップと、前記算出された開始時に従い覚醒手段を実行させるステップとを有する。 The awakening program according to the present invention is executed by an electronic device having a function of awakening the driver when switching from automatic driving to manual driving, and detects the degree of awakening of the driver during automatic driving. Steps to calculate the start time of the awakening means based on the arousal degree and the time required for the awakening means when switching from the automatic operation to the manual operation, and the awakening means to be executed according to the calculated start time. Has steps and.

本発明に係る覚醒方法は、自動運転から手動運転への切り替えを行う際に運転者を覚醒する機能を備えた電子装置におけるものであって、自動運転中に運転者の覚醒度を検出するステップと、自動運転から手動運転への切り替えを行う際に前記覚醒度および覚醒手段の所要時間に基づき覚醒手段の開始時を算出するステップと、前記算出された開始時に従い覚醒手段を実行させるステップとを有する。 The awakening method according to the present invention is in an electronic device having a function of awakening the driver when switching from automatic driving to manual driving, and is a step of detecting the awakening degree of the driver during automatic driving. A step of calculating the start time of the awakening means based on the arousal degree and the required time of the awakening means when switching from the automatic operation to the manual operation, and a step of executing the awakening means according to the calculated start time. Has.

本発明によれば、自動運転から手動運転への切り替えを行う際に、覚醒手段の所要時間に基づき覚醒手段の開始時を算出するようにしたので、手動運転切り替え時に、運転者を覚醒状態させておくことができる。それにより、不十分な覚醒状態で手動運転に切り替わることを防止し、手動運転切り替え時の事故等の発生を軽減することができる。 According to the present invention, when switching from automatic driving to manual driving, the start time of the awakening means is calculated based on the time required for the awakening means, so that the driver is awakened when the manual driving is switched. Can be kept. As a result, it is possible to prevent switching to manual operation in an insufficiently awake state and reduce the occurrence of accidents or the like when switching to manual operation.

本発明の第1の実施例に係る覚醒装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the awakening apparatus which concerns on 1st Example of this invention. 本発明の第1の実施例に係る覚醒プログラムの機能的な構成を示す図である。It is a figure which shows the functional structure of the awakening program which concerns on 1st Example of this invention. 疲労度/覚醒度と時間(自動運転/手動運転)との関係を示すグラフである。It is a graph which shows the relationship between the degree of fatigue / arousal degree and time (automatic driving / manual driving). 覚醒手段と覚醒係数との関係を示すテーブルである。It is a table showing the relationship between the awakening means and the awakening coefficient. 本発明の実施例に係る覚醒装置の動作を示すフローチャートである。It is a flowchart which shows the operation of the awakening apparatus which concerns on embodiment of this invention. 本発明の第2の実施例に係る覚醒プログラムの機能的な構成を示す図である。It is a figure which shows the functional structure of the awakening program which concerns on 2nd Example of this invention. 本発明の第2の実施例に係る行動プラン提案部による提案プランの例示である。This is an example of a proposal plan by the action plan proposal unit according to the second embodiment of the present invention. 本発明の第2の実施例に係る覚醒装置の動作を示すフローチャートである。It is a flowchart which shows the operation of the awakening apparatus which concerns on 2nd Embodiment of this invention. 従来の自動運転から手動運転への切り替えのときの課題を説明する図である。It is a figure explaining the problem at the time of switching from the conventional automatic operation to the manual operation.

次に、本発明の実施の形態について図面を参照して詳細に説明する。好ましい態様では、本発明の覚醒機能を備えた電子装置は、車両等の移動体内に搭載され、運転者の覚醒を行う。さらに好ましい態様では、本発明の覚醒機能を備えた電子装置は、自動運転システムあるいは運転支援システムの一部として機能し、特に、自動運転から手動運転へ切り替えるときに運転者を覚醒する。 Next, an embodiment of the present invention will be described in detail with reference to the drawings. In a preferred embodiment, the electronic device having the awakening function of the present invention is mounted in a moving body such as a vehicle to awaken the driver. In a more preferred embodiment, the electronic device with the awakening function of the present invention functions as a part of an automatic driving system or a driving support system, and particularly awakens the driver when switching from automatic driving to manual driving.

次に、本発明の実施例に係る運転者を覚醒する機能を備えた覚醒装置について説明する。図1は、本発明の第1の実施例に係る覚醒装置の構成を示すブロック図である。本実施例の覚醒装置100は、生体情報検出部110、撮像部120、自動運転情報取得部130、出力部140、記憶部150、外部装置等との連携を可能にするインターフェース(I/F)160、および制御部170を含んで構成される。但し、ここに示す構成は一例であり、覚醒装置100は、他の機能を包含するものであってもよい。 Next, an awakening device having a function of awakening the driver according to the embodiment of the present invention will be described. FIG. 1 is a block diagram showing a configuration of an awakening device according to a first embodiment of the present invention. The awakening device 100 of this embodiment is an interface (I / F) that enables cooperation with a biological information detection unit 110, an imaging unit 120, an automatic driving information acquisition unit 130, an output unit 140, a storage unit 150, an external device, and the like. It includes 160 and a control unit 170. However, the configuration shown here is an example, and the awakening device 100 may include other functions.

生体情報検出部110は、運転者の生体に関する情報を検出する。運転者の生体情報は、例えば、運転者の心拍数、血圧、体温、発汗などの情報である。1つの好ましい例では、生体情報検出部110は、運転者が装着可能なウェアラブル端末を含み、ウェアラブル端末を介して運転者の生体情報を検出する。生体情報は、運転者の疲労度や覚醒度を検出するのに利用し得る。 The biological information detection unit 110 detects information about the driver's biological body. The driver's biological information is, for example, information such as the driver's heart rate, blood pressure, body temperature, and sweating. In one preferred example, the biometric information detection unit 110 includes a wearable terminal that can be worn by the driver, and detects the biometric information of the driver via the wearable terminal. Biological information can be used to detect the degree of fatigue and alertness of the driver.

撮像部160は、撮像カメラを含み、運転者の顔画像を撮像する。撮像カメラは、例えば、ステアリング近傍またはインスツルメンツパネル内に配置され、運転者の顔を正面側から撮像する。撮像データは、制御部170に提供され、運転者の疲労度や覚醒度を検出するのに利用し得る。 The image pickup unit 160 includes an image pickup camera and takes an image of the driver's face. The imaging camera is arranged, for example, near the steering wheel or in the instruments panel, and captures the driver's face from the front side. The imaged data is provided to the control unit 170 and can be used to detect the degree of fatigue and the degree of arousal of the driver.

自動運転情報取得部130は、自動運転システムまたは運転支援システム等から、自動運転に関する自動運転情報を取得する。自動運転情報は、例えば、自動運転プラン、自動運転プランにおける自動運転の制御レベル、自動運転から手動運転への切り替え、手動運転から自動運転への切り替え等の情報を含む。自動運転システムは、撮像カメラ、各種センサおよび車両の走行情報等に基づき、前方車両、自車周辺の障害物、走行車線等を認識し、車両のステアリング、速度、ブレーキ等を制御する。自動運転システムは、例えば、ナビゲーション装置によって探索された経路に基づき自動運転を行う区間、手動運転を行う区間等を決定する。例えば、高速道路の区間を自動運転、一般道の区間を手動運転に設定し、自車位置および地図データに基づき自動運転から手動運転、または手動運転から自動運転への切り替え地点や切り替え時刻を算出することができる。例えば、高速道路の出口で、自動運転から手動運転に切り替えられる。 The automatic driving information acquisition unit 130 acquires automatic driving information related to automatic driving from an automatic driving system, a driving support system, or the like. The automatic driving information includes, for example, information such as an automatic driving plan, a control level of automatic driving in the automatic driving plan, switching from automatic driving to manual driving, and switching from manual driving to automatic driving. The autonomous driving system recognizes the vehicle in front, obstacles around the vehicle, traveling lane, etc., and controls the steering, speed, braking, etc. of the vehicle based on the imaging camera, various sensors, and the traveling information of the vehicle. The automatic driving system determines, for example, a section for automatic driving, a section for manual driving, and the like based on the route searched by the navigation device. For example, set the section of the highway to automatic driving and the section of the general road to manual driving, and calculate the switching point and switching time from automatic driving to manual driving or from manual driving to automatic driving based on the vehicle position and map data. can do. For example, at the exit of a highway, you can switch from autonomous driving to manual driving.

出力部140は、運転者を覚醒させるための出力を行う。出力態様は、任意であるが、例えば、音声を出力したり、あるいは座席を振動させる。出力部140は、覚醒以外の情報を出力することもできる。記憶部150は、制御部170が実行するアプリケーションソフトウエアやプログラム、覚醒のために必要な情報を格納することができる。I/F160は、覚醒装置100を外部装置や外部ネットワーク等に接続することを可能にする。例えば、覚醒装置100は、I/F160を介して、ナビゲーション装置、オーディオ・ビデオ装置、テレビ受信装置、スマートフォン等の機器と接続したり、車内バスや外部ネットワークに接続するための通信装置と接続することが可能である。 The output unit 140 outputs to awaken the driver. The output mode is arbitrary, but for example, voice is output or the seat is vibrated. The output unit 140 can also output information other than awakening. The storage unit 150 can store application software and programs executed by the control unit 170, and information necessary for awakening. The I / F 160 makes it possible to connect the awakening device 100 to an external device, an external network, or the like. For example, the awakening device 100 connects to a device such as a navigation device, an audio / video device, a television receiving device, a smartphone, or a communication device for connecting to an in-vehicle bus or an external network via an I / F 160. It is possible.

制御部170は、好ましい態様では、ROM、RAMなどを含むマイクロコントローラ等を含み、ROMまたはRAMは、覚醒装置100の動作を制御するためのプログラムを格納することができる。本実施例では、制御部170は、自動運転から手動運転へ切り替えるときに適切なタイミングで運転者を覚醒させる覚醒プログラムを実行する。 In a preferred embodiment, the control unit 170 includes a microcontroller including a ROM, a RAM, and the like, and the ROM or the RAM can store a program for controlling the operation of the awakening device 100. In this embodiment, the control unit 170 executes an awakening program that awakens the driver at an appropriate timing when switching from automatic driving to manual driving.

本実施例の覚醒プログラムでは、「疲労度(α)」、「覚醒度(β)」のパラメータを用いる。疲労度とは、運転者の疲れ具合を示す指標であり、その指標は、1つまたは複数の疲れ具合を数値化した値である。例えば、撮像部120によって撮像された運転者の顔画像から瞼の開き具合を抽出してこれを数値化したり、運転者の運転時間を数値化する。例えば、瞼の開き具合が小さいほど疲労度を表す値は大きくなり、運転時間が長いほど、疲労度を表す値が大きくなる。なお、疲労度を検出するための要素は、瞼の開き具合や運転時間に限られず、例えば、運転者の眼球運動や運転者の生体情報を用いてもよい。 In the awakening program of this embodiment, the parameters of "fatigue degree (α)" and "alertness degree (β)" are used. The degree of fatigue is an index showing the degree of fatigue of the driver, and the index is a numerical value of one or a plurality of the degree of fatigue. For example, the degree of eyelid opening is extracted from the driver's face image captured by the imaging unit 120 and quantified, or the driver's driving time is quantified. For example, the smaller the degree of eyelid opening, the larger the value representing the degree of fatigue, and the longer the driving time, the larger the value representing the degree of fatigue. The element for detecting the degree of fatigue is not limited to the degree of opening of the eyelids and the driving time, and for example, the driver's eye movement or the driver's biological information may be used.

覚醒度は、運転者の眠たさの度合い示す指標であり、疲労度と同様に各種の運転者に関する情報を数値化したものである。覚醒度の検出に用いられる要素としては、例えば、瞼の開き具合や、生体情報検出部110によって検出された運転者の心拍数情報や体温情報である。一般に、眠っている状態の心拍数は、覚醒時(起きている時)の心拍数よりも低くなるため、心拍数が低いほど覚醒度の値は低くなる。また、体温についても、眠っている状態の体温は、覚醒時の体温よりも低くなるため、体温が低くなるほど覚醒度の値が低くなる。覚醒度を検出するための要素は、瞼の開き具合やこれらの生体情報に限られず、他の要素を含ませるようにしても良い。なお、本実施例における覚醒とは、運転者が手動運転を遂行できる程度に起きている状態を意味し、眠っている状態、集中力が低下している状態等は覚醒していない状態である。 The arousal level is an index showing the degree of sleepiness of the driver, and is a numerical value of information on various drivers as well as the fatigue level. Elements used for detecting the arousal level are, for example, the degree of eyelid opening, the driver's heart rate information and body temperature information detected by the biological information detection unit 110. In general, the heart rate in the sleeping state is lower than the heart rate in the awake state (when awake), so that the lower the heart rate, the lower the value of the arousal level. As for the body temperature, the body temperature in the sleeping state is lower than the body temperature at the time of awakening, so that the lower the body temperature, the lower the value of the arousal degree. The element for detecting the arousal level is not limited to the degree of opening of the eyelids and these biological information, and other elements may be included. The awakening in the present embodiment means a state in which the driver is awake to the extent that he / she can perform manual driving, and a sleeping state, a state in which the concentration is reduced, and the like are not awakenings. ..

次に、「覚醒閾値(β0)」について説明する。覚醒閾値は、覚醒しているか否かを判定する閾値であり、覚醒度が覚醒閾値以上であれば、覚醒しており、覚醒閾値未満であれば、覚醒していないと判定される。本実施例では、覚醒閾値は、運転者が手動運転を遂行できるか否かを基準に設定され、覚醒度が覚醒閾値より低ければ、手動運転に切り替えることは危険であり、覚醒度が覚醒閾値より高ければ、手動運転に切り替えても問題がない状況である。覚醒閾値は、運転者の状態に依存するものであり、運転者が運転を開始するときの覚醒度(このとき、運転者は、覚醒されている)や、運転者が寝ている時の覚醒度等の情報を参照して決定される。 Next, the "awakening threshold (β0)" will be described. The awakening threshold is a threshold for determining whether or not the person is awake. If the arousal level is equal to or higher than the awakening threshold, it is determined to be awake, and if it is less than the awakening threshold, it is determined that the person is not awake. In this embodiment, the arousal threshold is set based on whether or not the driver can perform manual driving, and if the arousal level is lower than the awakening threshold, it is dangerous to switch to manual driving, and the arousal level is the awakening threshold. If it is higher, there is no problem in switching to manual operation. The arousal threshold depends on the driver's condition, and is the arousal level when the driver starts driving (at this time, the driver is awake) and the awakening when the driver is sleeping. It is decided by referring to information such as degree.

図2は、本実施例の覚醒プログラム300の機能的な構成を示す。覚醒プログラム300は、疲労度検出部310、覚醒度検出部320、疲労度予測部330、覚醒度予測部340、覚醒手段選択部350、覚醒所要時間算出部360、覚醒開始部370を含む。 FIG. 2 shows the functional configuration of the awakening program 300 of this embodiment. The awakening program 300 includes a fatigue detection unit 310, an arousal detection unit 320, a fatigue prediction unit 330, an arousal prediction unit 340, an awakening means selection unit 350, an awakening required time calculation unit 360, and an awakening start unit 370.

疲労度検出部310は、上記したように、撮像部120からの撮像データに基づき運転者の瞼の開き具合から数値化された疲労度を検出したり、あるいは、I/F160を介して運転が開始されたとき(エンジンがオンになったとき)からの時間をタイマーでカウントし、カウントされた運転時間から数値化した疲労度を検出する。瞼の開き具合が小さいほど疲労度が大きくなり、運転時間が長いほど疲労度が大きくなる。疲労度検出部310は、上記以外にも生体情報検出部110により検出された生体情報から疲労度を検出するようにしてもよい。複数の疲労度を検出する場合には、それらの平均値を算出したり、あるいは一番大きな疲労度を選択する。 As described above, the fatigue level detection unit 310 detects the fatigue level quantified from the degree of opening of the driver's eyelids based on the image pickup data from the image pickup unit 120, or operates via the I / F 160. The time from the start (when the engine is turned on) is counted by a timer, and the degree of fatigue quantified from the counted operating time is detected. The smaller the eyelid opening, the greater the degree of fatigue, and the longer the driving time, the greater the degree of fatigue. In addition to the above, the fatigue degree detection unit 310 may detect the fatigue degree from the biological information detected by the biological information detection unit 110. When detecting multiple fatigue levels, calculate the average value of them or select the largest fatigue level.

覚醒度検出部320は、上記したように、撮像部120からの撮像データに基づき運転者の瞼の開き具合から数値化された覚醒度を検出する。あるいは生体情報検出部110によって取得された運転者の心拍数情報や体温情報から数値化された覚醒度を検出する。瞼の開き具合が小さいほど覚醒度が小さくなり、心拍数が低いほど覚醒度が小さくなる。また、体温が低いほど覚醒度が小さくなる。複数の覚醒度を検出する場合には、それらの平均値を算出したり、あるいは一番小さな覚醒度を選択する。 As described above, the arousal level detection unit 320 detects the arousal level quantified from the degree of opening of the driver's eyelids based on the image pickup data from the image pickup unit 120. Alternatively, the quantified arousal level is detected from the driver's heart rate information and body temperature information acquired by the biological information detection unit 110. The smaller the eyelid opening, the lower the alertness, and the lower the heart rate, the lower the alertness. Also, the lower the body temperature, the lower the alertness. When detecting multiple arousal levels, calculate the average value of them or select the smallest arousal level.

疲労度予測部330は、疲労度検出部310によって検出された運転者の疲労度の予測線を設定する。好ましい例では、疲労度予測部330は、検出された疲労度と運転時間との関係を規定する疲労度の予測関数(例えば、一次関数や二次関数など)Fαを設定する。図3は、疲労度/覚醒度と時間との関係を例示したグラフであり、縦軸に、疲労度α/覚醒度β、横軸に時間tを示す。疲労度予測部330は、疲労度の予測関数Fαとして、例えば、負の傾き「a」を持つ一次関数「α=−at+α1」を設定する。この一次関数を用いることで、例えば、時刻T1のときに疲労度α1が検出部された場合、疲労度予測部330は、その後の時刻T2または時刻T3のときの疲労度を予測することができる。 The fatigue degree prediction unit 330 sets a driver's fatigue degree prediction line detected by the fatigue degree detection unit 310. In a preferred example, the fatigue prediction unit 330 sets a fatigue prediction function (for example, a linear function, a quadratic function, etc.) Fα that defines the relationship between the detected fatigue level and the operating time. FIG. 3 is a graph illustrating the relationship between the degree of fatigue / alertness and time, with the vertical axis showing the degree of fatigue α / alertness β and the horizontal axis showing the time t. The fatigue degree prediction unit 330 sets, for example, a linear function “α = −at + α1” having a negative slope “a” as the fatigue degree prediction function Fα. By using this linear function, for example, when the fatigue degree α1 is detected at the time T1, the fatigue degree prediction unit 330 can predict the fatigue degree at the subsequent time T2 or time T3. ..

覚醒度予測部340は、覚醒度算出部320によって検出された運転者の覚醒度の予測線を設定する。好ましい例では、覚醒度予測部350は、検出された覚醒度と運転時間との関係を規定する覚醒度の予測関数(例えば、一次関数や二次関数など)Fβを設定する。覚醒度予測部340は、例えば図3に示すように、覚醒度の予測関数Fβとして、負の傾き「b」を持つ一次関数「β=−bt+β1」を設定する。この一次関数を用いることで、例えば、時刻T1のときに覚醒度β1が検出された場合、その後の覚醒度を予測することができる。 The alertness prediction unit 340 sets the driver's alertness prediction line detected by the alertness calculation unit 320. In a preferred example, the alertness prediction unit 350 sets an alertness prediction function (for example, a linear function, a quadratic function, etc.) Fβ that defines the relationship between the detected alertness and the driving time. As shown in FIG. 3, for example, the alertness prediction unit 340 sets a linear function “β = −bt + β1” having a negative slope “b” as the alertness prediction function Fβ. By using this linear function, for example, when the arousal degree β1 is detected at the time T1, the subsequent arousal degree can be predicted.

覚醒手段選択部350は、自動運転から手動運転に移行するときに運転者を覚醒させるための覚醒手段を選択する。覚醒手段選択部350は、例えば、疲労度予測部330により予測された時刻T2または時刻T3の疲労度に応じた覚醒手段を選択する。予測された疲労度が大きい場合、身体が疲れているので、運転者は覚醒され難い状況にある。このため、覚醒手段選択部350は、複数の覚醒手段の中から覚醒効果または覚醒度合の高い覚醒手段を選択することが望ましい。例えば、疲労度と覚醒手段との関係を規定したテーブルを用意しておき、予測された疲労度に対応する覚醒手段を選択するようにしてもよい。また、別の態様では、覚醒手段選択部350は、検出された覚醒度あるいは予測された覚醒度が低い場合には、覚醒効果の高い覚醒手段を選択することが望ましい。例えば、覚醒度と覚醒手段との関係を規定したテーブルを用意しておき、検出または予測された覚醒度に対応する覚醒手段を選択するようにしてもよい。さらに別の態様では、予め設定された覚醒手段を選択するようにしてもよいし、覚醒装置100がユーザー入力部を備えている場合には、ユーザーから指示された覚醒手段を選択するようにしてもよい。 The awakening means selection unit 350 selects an awakening means for awakening the driver when shifting from automatic driving to manual driving. The awakening means selection unit 350 selects, for example, the awakening means according to the fatigue degree at time T2 or time T3 predicted by the fatigue degree prediction unit 330. If the predicted degree of fatigue is high, the driver is in a situation where it is difficult to awaken because the body is tired. Therefore, it is desirable that the awakening means selection unit 350 selects an awakening means having a high awakening effect or a degree of awakening from a plurality of awakening means. For example, a table that defines the relationship between the degree of fatigue and the awakening means may be prepared, and the awakening means corresponding to the predicted degree of fatigue may be selected. In another aspect, it is desirable that the awakening means selection unit 350 selects an awakening means having a high awakening effect when the detected arousal degree or the predicted arousal degree is low. For example, a table that defines the relationship between the arousal level and the awakening means may be prepared, and the awakening means corresponding to the detected or predicted arousal level may be selected. In yet another aspect, a preset awakening means may be selected, or when the awakening device 100 includes a user input unit, the awakening means instructed by the user may be selected. May be good.

覚醒手段は、運転者を覚醒させるための刺激であり、例えば、出力部140からアラーム等の音声や楽曲を出力させたり、運転席のシートを振動させたり、エアコンの風量を上昇させたり、車内にアロマを放出させたりする。あるいは、他の刺激であってもよい。 The awakening means is a stimulus for awakening the driver. For example, the output unit 140 outputs a voice or music such as an alarm, vibrates the driver's seat, raises the air volume of the air conditioner, or inside the vehicle. To release aroma. Alternatively, it may be another stimulus.

好ましい態様では、覚醒手段の覚醒に要する時間は、覚醒効果または覚醒度合を表す覚醒係数Kをもつ関数Fn(一次関数または二次関数)を用いて求めることができる。覚醒に要する時間は、各覚醒手段によって異なるため、各覚醒手段の覚醒係数Kも異なる。図4に、覚醒手段とその覚醒係数Kとの関係を例示する。この例では、覚醒係数Kが大きいほど、覚醒効果または覚醒度合が強くなることを意味している。従って、覚醒係数Kが大きいほど、覚醒に要する時間が短くなり、覚醒係数Kが小さいほど、覚醒に要する時間が長くなる。例えば、覚醒手段が音楽・アラーム音であるとき、覚醒係数Kは1.0であり、覚醒手段が運転席の振動であるとき、覚醒効果が比較的強いので、覚醒係数Kは1.5である。さらに運転席振動と警告音の組み合わせは、覚醒効果がさらに強くなるので、覚醒係数Kは、1.8である。 In a preferred embodiment, the time required for awakening of the awakening means can be determined using a function Fn (linear function or quadratic function) having an awakening coefficient K representing the awakening effect or the degree of arousal. Since the time required for awakening differs depending on each awakening means, the awakening coefficient K of each awakening means also differs. FIG. 4 illustrates the relationship between the awakening means and its awakening coefficient K. In this example, the larger the arousal coefficient K, the stronger the arousal effect or the degree of arousal. Therefore, the larger the awakening coefficient K, the shorter the time required for awakening, and the smaller the awakening coefficient K, the longer the time required for awakening. For example, when the awakening means is music / alarm sound, the awakening coefficient K is 1.0, and when the awakening means is the vibration of the driver's seat, the awakening effect is relatively strong, so the awakening coefficient K is 1.5. be. Further, the combination of the driver's seat vibration and the warning sound further enhances the awakening effect, so that the awakening coefficient K is 1.8.

覚醒所要時間算出部360は、覚醒度の予測関数Fβと覚醒手段選択部350によって選択された覚醒手段の関数Fnから覚醒閾値β0(自動運転から手動運転に切り替わる時刻T3のときの点P)に到達するであろう覚醒の所要時間を算出する。上記したように覚醒係数Kが大きければ覚醒効果が大きいため、覚醒閾値β0に到達するまでの覚醒所要時間は短くなり(図3の関数Fnの傾きが大きくなる)、反対に、覚醒係数Kが小さければ覚醒効果が小さいため、覚醒閾値β0に到達するための覚醒所要時間は長くなる(図3の関数Fnの傾きが小さくなる)。 The awakening required time calculation unit 360 sets the awakening threshold value β0 (point P at the time T3 when switching from automatic operation to manual operation) from the awakening means function Fn selected by the awakening degree prediction function Fβ and the awakening means selection unit 350. Calculate the time required for awakening that will be reached. As described above, if the awakening coefficient K is large, the awakening effect is large, so that the time required for awakening to reach the awakening threshold β0 becomes short (the slope of the function Fn in FIG. 3 becomes large), and conversely, the awakening coefficient K becomes large. If it is small, the awakening effect is small, so that the time required for awakening to reach the awakening threshold β0 becomes long (the slope of the function Fn in FIG. 3 becomes small).

覚醒開始部370は、覚醒所要時間算出部360により算出された覚醒所要時間を、手動運転の切り替え時点である時刻T3から減算することで、覚醒開始時点T2を算出する。言い換えれば、覚醒度の予測関数Fβと覚醒手段の関数Fnとが交差する点Qの時刻T2を算出する。そして、覚醒開始部370は、算出した時刻T2に到達したとき、選択された覚醒手段による覚醒を開始させる。 The awakening start unit 370 calculates the awakening start time T2 by subtracting the awakening required time calculated by the awakening required time calculation unit 360 from the time T3 which is the switching time of the manual operation. In other words, the time T2 at the point Q where the arousal prediction function Fβ and the awakening means function Fn intersect is calculated. Then, when the calculated time T2 is reached, the awakening start unit 370 starts awakening by the selected awakening means.

次に、本実施例の覚醒装置の動作を図5のフローチャートを参照して説明する。運転者の覚醒は、自動運転から手動運転への切り替えの際に行われるものとする。自動運転情報取得部130は、自動運転情報として、例えば、自動運転をする時間情報、手動運転をする時間情報、自動運転から手動運転への切り替えを行う時間情報などを取得する(S100)。 Next, the operation of the awakening device of this embodiment will be described with reference to the flowchart of FIG. The driver's awakening shall be performed when switching from automatic driving to manual driving. The automatic driving information acquisition unit 130 acquires, for example, time information for automatic driving, time information for manual driving, time information for switching from automatic driving to manual driving, and the like as automatic driving information (S100).

自動運転期間中のある時刻T1(例えば、自動運転が開始された直後)において、疲労度検出部310により疲労度が検出され、覚醒度検出部320により覚醒度が検出される(S102)、次いで、疲労度予測部330により疲労度の予測関数Fαが設定され、覚醒度予測部340により覚醒度の予測関数Fβが設定される(S104)。次に、覚醒手段選択部350は、例えば、予測関数Fαにより予測される手動運転の切替時(図3の時刻T3)の疲労度に基づき適切な覚醒手段を選択し(S106)、覚醒所要時間算出部360は、選択された覚醒手段の関数Fnおよび予測関数Fβに基づき覚醒所要時間を算出する(S108)。次に、覚醒開始部370は、手動運転の切換え時刻から覚醒所要時間を差し引いて覚醒開始時を算出し(S110)、覚醒開始時刻に到達するや否や、選択された覚醒手段による覚醒を開始させる(S112)。 At a certain time T1 during the automatic operation period (for example, immediately after the automatic operation is started), the fatigue level is detected by the fatigue level detection unit 310, the alertness level is detected by the arousal level detection unit 320 (S102), and then. , The fatigue degree prediction unit 330 sets the fatigue degree prediction function Fα, and the alertness degree prediction unit 340 sets the alertness degree prediction function Fβ (S104). Next, the awakening means selection unit 350 selects an appropriate awakening means based on the degree of fatigue at the time of switching the manual operation predicted by the prediction function Fα (time T3 in FIG. 3) (S106), and the awakening time required. The calculation unit 360 calculates the time required for awakening based on the function Fn and the prediction function Fβ of the selected awakening means (S108). Next, the awakening start unit 370 calculates the awakening start time by subtracting the awakening required time from the switching time of the manual operation (S110), and as soon as the awakening start time is reached, the awakening by the selected awakening means is started. (S112).

このように本実施例によれば、覚醒に要する時間を考慮して覚醒を開始する時間を算出するようにしたので、手動運転に切り替えるときに、運転者を十分に覚醒させた状態にさせることができる。 As described above, according to this embodiment, the time required to start awakening is calculated in consideration of the time required for awakening. Therefore, when switching to manual driving, the driver should be in a sufficiently awakened state. Can be done.

次に、本発明の第2の実施例について説明する。第1の実施例では、覚醒所要時間算出部360により算出された覚醒所要時間に基づき覚醒開始時点を算出し、覚醒を行う例を示した。第2の実施例では、自動運転モードに移行した際に、運転者の疲労度に基づき、手動運転に切り替わるまでの行動プランを提案する。なお、第2の実施例の覚醒装置100は、第1の実施例で示した覚醒装置100の構成を含み、第2の実施例の覚醒プログラム300Aは、図6に示すように、行動プラン提案部380をさらに含む。 Next, a second embodiment of the present invention will be described. In the first embodiment, an example in which the awakening start time is calculated based on the awakening required time calculated by the awakening required time calculation unit 360 and the awakening is performed is shown. In the second embodiment, when the driver shifts to the automatic driving mode, an action plan is proposed until the driver switches to manual driving based on the degree of fatigue of the driver. The awakening device 100 of the second embodiment includes the configuration of the awakening device 100 shown in the first embodiment, and the awakening program 300A of the second embodiment proposes an action plan as shown in FIG. Part 380 is further included.

行動プラン提案部380は、自動運転モードに移行した際に、疲労度検出部310によって検出された疲労度に基づき、手動運転開始時(図3の時刻T3)までの行動プランと覚醒所要時間または覚醒開始時とを提案する。この算出処理は、第1の実施例ときと同様の手法を用いて行われる。例えば、手動運転開始時までの時間が50分ある場合、行動プラン提案部380は、図7に示すように、疲労度が高いケースでは、プラン1を提案し、疲労度が低いケースでは、プラン2を提案する。プラン1では、疲労度が高いため、ゆったりした姿勢での睡眠(45分)を提案し、かつ覚醒時間として5分かかることを知らせる。プラン2では、疲労度が低いため、映画鑑賞(47分)を提案し、かつ覚醒時間として3分かかることを知らせる。このような行動プランの提案は、出力部140のディスプレイに表示される。 The action plan proposal unit 380 sets the action plan and the time required for awakening until the start of manual operation (time T3 in FIG. 3) based on the fatigue level detected by the fatigue level detection unit 310 when the mode shifts to the automatic operation mode. Suggest at the start of awakening. This calculation process is performed using the same method as in the first embodiment. For example, when the time until the start of manual operation is 50 minutes, the action plan proposal unit 380 proposes plan 1 in the case of high fatigue level, and plans 1 in the case of low fatigue level, as shown in FIG. 2 is proposed. Plan 1 proposes sleep in a relaxed posture (45 minutes) due to high fatigue, and informs that it takes 5 minutes to wake up. Plan 2 proposes watching a movie (47 minutes) because the degree of fatigue is low, and informs that it will take 3 minutes as an awakening time. The proposal of such an action plan is displayed on the display of the output unit 140.

上記の例では、具体的な覚醒手段を例示していないが、行動プラン提案部380は、行動プランや手動運転開始時までの時間を考慮して適当な覚醒手段を選択してもよいし、あるいは、具体的な覚醒手段を複数例示し、その中から運転者に覚醒手段を選択させるようにしてもよい。例えば、プラン1の場合において、(A)覚醒手段が運転席振動であれば、覚醒時間が4分、睡眠時間が46分、(B)覚醒手段が運転席振動+警告音であれば、覚醒時間が3分、睡眠時間が47分のような複数の行動プランを提示し、その中から運転者に行動プランを選択させるようにしてもよい。運転者が所望の行動プランを選択した場合には、その行動プランに基づく覚醒制御が行われる。 Although the above example does not exemplify a specific awakening means, the action plan proposal unit 380 may select an appropriate awakening means in consideration of the action plan and the time until the start of manual operation. Alternatively, a plurality of specific awakening means may be exemplified, and the driver may be made to select the awakening means from among them. For example, in the case of Plan 1, if (A) the awakening means is the driver's seat vibration, the awakening time is 4 minutes and the sleep time is 46 minutes, and (B) if the awakening means is the driver's seat vibration + warning sound, the awakening time is 4 minutes. A plurality of action plans with a time of 3 minutes and a sleep time of 47 minutes may be presented, and the driver may be made to select an action plan from among them. When the driver selects a desired action plan, awakening control is performed based on the action plan.

次に、第2の実施例に係る覚醒装置の動作を図8のフローを参照して説明する。自動運転情報取得部130により自動運転プランを含む自動運転情報が取得されると(S200)、行動プラン提案部380は、自動運転モードに移行したか否かを判定する(S202)。この判定は、例えば、自動運転区間の地図データまたは自動運転区間の時間情報に基づき行われる。自動運転モードへ移行した場合、疲労度検出部310により運転者の疲労度が検出され、行動プラン提案部380は、検出された疲労度に基づき1つまたは複数の行動プランを提案する(S206)。運転者によって行動プランが選択されると(運転者からの選択がない場合には、自動的に行動プランが選択される)(S208)、選択された行動プランの覚醒手段に基づき覚醒開始時が算出され、覚醒開始時に運転者への覚醒が実行される(S210)。 Next, the operation of the awakening device according to the second embodiment will be described with reference to the flow of FIG. When the automatic driving information acquisition unit 130 acquires the automatic driving information including the automatic driving plan (S200), the action plan proposal unit 380 determines whether or not the mode has shifted to the automatic driving mode (S202). This determination is made based on, for example, map data of the automatic driving section or time information of the automatic driving section. When the mode shifts to the automatic driving mode, the fatigue level of the driver is detected by the fatigue level detection unit 310, and the action plan proposal unit 380 proposes one or more action plans based on the detected fatigue level (S206). .. When the action plan is selected by the driver (if there is no selection from the driver, the action plan is automatically selected) (S208), the awakening start time is based on the awakening means of the selected action plan. It is calculated and awakening to the driver is executed at the start of awakening (S210).

このように第2の実施例によれば、提案された行動プランにより覚醒手段を選択したり、あるいは運転者が自ら覚醒開始時を選択することが可能になる。 As described above, according to the second embodiment, the awakening means can be selected according to the proposed action plan, or the driver can select the awakening start time by himself / herself.

以上、本発明の好ましい実施の形態について詳述したが、本発明は、特定の実施形態に限定されるものではなく、特許請求の範囲に記載された発明の要旨の範囲において、種々の変形、変更が可能である。 Although the preferred embodiments of the present invention have been described in detail above, the present invention is not limited to the specific embodiments, and various modifications and modifications are made within the scope of the gist of the invention described in the claims. It can be changed.

100:覚醒装置 110:生体情報検出部
120:撮像部 130:自動運転情報取得部
140:出力部 150:記憶部
160:I/F 170:制御部
100: Awakening device 110: Biological information detection unit 120: Imaging unit 130: Automatic operation information acquisition unit 140: Output unit 150: Storage unit 160: I / F 170: Control unit

Claims (6)

自動運転から手動運転への切り替えを行う際に運転者を覚醒する機能を備えた電子装置であって、
自動運転中に運転者の疲労度を検出する疲労度検出手段と、
検出された疲労度と運転時間との関係を規定する疲労度の予測関数に基づき疲労度を予測する疲労度予測手段と、
自動運転中に運転者の覚醒度を検出する覚醒度検出手段と、
検出された覚醒度と運転時間との関係を規定する覚醒度の予測関数に基づき覚醒度を予測する覚醒度予測手段と、
自動運転から手動運転に移行するときに運転者を覚醒させるための覚醒手段を複数の覚醒手段の中から選択する選択手段であって、当該選択手段は、前記疲労度予測手段によって予測された時刻の疲労度に応じた覚醒手段を選択する、前記選択手段と、
前記覚醒度予測手段によって予測された時刻の覚醒度から自動運転を手動運転へ切り替える時刻の覚醒閾値までに要する時間を、選択された覚醒手段の覚醒係数をもつ関数に基づき算出する算出手段と、
前記自動運転を手動運転に切り替える時刻と前記算出手段により算出された時間とから覚醒手段の開始時を算出する開始時算出手段と、
前記算出された開始時に従い前記選択手段により選択された覚醒手段を実行させる覚醒制御手段と、
を有する電子装置。
It is an electronic device that has a function to awaken the driver when switching from automatic driving to manual driving.
Fatigue detection means that detects the driver's fatigue during automatic driving,
Fatigue prediction means that predicts fatigue based on the fatigue prediction function that defines the relationship between the detected fatigue and operating time, and
Arousal detection means that detects the driver's arousal during automatic driving,
An arousal level prediction means that predicts the arousal level based on the arousal level prediction function that defines the relationship between the detected arousal level and the driving time,
It is a selection means for selecting an awakening means for awakening the driver from a plurality of awakening means when shifting from automatic driving to manual operation, and the selection means is the time predicted by the fatigue degree predicting means. The selection means and the selection means for selecting the awakening means according to the degree of fatigue of
A calculation means for calculating the time required from the arousal degree at the time predicted by the arousal degree predicting means to the awakening threshold value at the time of switching the automatic operation to the manual operation based on a function having an awakening coefficient of the selected awakening means.
A start time calculation means for calculating the start time of the awakening means from the time when the automatic operation is switched to the manual operation and the time calculated by the calculation means, and
Awakening control means for executing the awakening means selected by the selection means according to the calculated start time, and
Electronic device with.
電子装置はさらに、自動運転中に、検出された疲労度に基づき手動運転の切り替えまでの間の行動内容と当該行動内容に要する時間と、覚醒に要する時間とを含む行動プランを提案する提案手段を有し、
前記選択手段は、前記提案手段により提案された行動プランに応じて覚醒手段を選択する、請求項に記載の電子装置。
The electronic device further proposes an action plan including the action content until the switching of manual driving based on the detected fatigue level, the time required for the action content, and the time required for awakening during automatic driving. Have,
The electronic device according to claim 1 , wherein the selection means selects the awakening means according to the action plan proposed by the proposed means.
自動運転から手動運転への切り替えを行う際に運転者を覚醒する機能を備えた電子装置が実行する覚醒プログラムであって、
自動運転中に運転者の疲労度を検出するステップと、
検出された疲労度と運転時間との関係を規定する疲労度の予測関数に基づき疲労度を予測するステップと、
自動運転中に運転者の覚醒度を検出するステップと、
検出された覚醒度と運転時間との関係を規定する覚醒度の予測関数に基づき覚醒度を予測するステップと、
自動運転から手動運転に移行するときに運転者を覚醒させるための覚醒手段を複数の覚醒手段の中から選択するステップであって、当該選択するステップは、前記疲労度を予測するステップによって予測された時刻の疲労度に応じた覚醒手段を選択する、前記選択するステップと、
前記覚醒度を予測するステップによって予測された時刻の覚醒度から自動運転を手動運転へ切り替える時刻の覚醒閾値までに要する時間を、選択された覚醒手段の覚醒係数をもつ関数に基づき算出するステップと、
前記自動運転を手動運転に切り替える時刻と前記算出するステップにより算出された時間とから覚醒手段の開始時を算出するステップと、
前記算出された開始時に従い前記選択するステップにより選択された覚醒手段を実行させるステップと、
を有する覚醒プログラム。
It is an awakening program executed by an electronic device that has a function to awaken the driver when switching from automatic driving to manual driving.
Steps to detect driver fatigue during autonomous driving and
Steps to predict fatigue based on the fatigue prediction function that defines the relationship between detected fatigue and operating time,
Steps to detect the driver's alertness during autonomous driving,
The step of predicting the arousal level based on the arousal level prediction function that defines the relationship between the detected arousal level and the driving time, and
It is a step of selecting an awakening means for awakening the driver from a plurality of awakening means when shifting from automatic driving to manual driving, and the selected step is predicted by the step of predicting the degree of fatigue. The step of selecting the awakening means according to the degree of fatigue at the time, and the above-mentioned selection step,
The step of calculating the time required from the arousal level of the time predicted by the step of predicting the arousal degree to the awakening threshold value of the time when the automatic operation is switched to the manual operation is calculated based on the function having the awakening coefficient of the selected awakening means. ,
A step of calculating the start time of the awakening means from the time of switching the automatic operation to the manual operation and the time calculated by the calculation step, and
A step of executing the awakening means selected by the selected step according to the calculated start time, and a step of executing the awakening means selected by the selected step.
Awakening program with.
覚醒プログラムはさらに、自動運転中に、検出された疲労度に基づき手動運転の切り替えまでの間の行動内容と当該行動内容に要する時間と、覚醒に要する時間とを含む行動プランを提案するステップを含み、The awakening program further takes steps to propose an action plan that includes the action content until the switching of manual driving based on the detected fatigue level, the time required for the action content, and the time required for awakening during automatic driving. Including
前記選択するステップは、前記提案するステップにより提案された行動プランに応じて覚醒手段を選択する、請求項3に記載の覚醒プログラム。 The awakening program according to claim 3, wherein the selected step selects an awakening means according to the action plan proposed by the proposed step.
自動運転から手動運転への切り替えを行う際に運転者を覚醒する機能を備えた電子装置における覚醒方法であって、
自動運転中に運転者の疲労度を検出するステップと、
検出された疲労度と運転時間との関係を規定する疲労度の予測関数に基づき疲労度を予測するステップと、
自動運転中に運転者の覚醒度を検出するステップと、
検出された覚醒度と運転時間との関係を規定する覚醒度の予測関数に基づき覚醒度を予測するステップと、
自動運転から手動運転に移行するときに運転者を覚醒させるための覚醒手段を複数の覚醒手段の中から選択するステップであって、当該選択するステップは、前記疲労度を予測するステップによって予測された時刻の疲労度に応じた覚醒手段を選択する、前記選択するステップと、
前記覚醒度を予測するステップによって予測された時刻の覚醒度から自動運転を手動運転へ切り替える時刻の覚醒閾値までに要する時間を、選択された覚醒手段の覚醒係数をもつ関数に基づき算出するステップと、
前記自動運転を手動運転に切り替える時刻と前記算出するステップにより算出された時間とから覚醒手段の開始時を算出するステップと、
前記算出された開始時に従い前記選択するステップにより選択された覚醒手段を実行させるステップと、
を有する覚醒方法。
It is an awakening method in an electronic device having a function of awakening the driver when switching from automatic driving to manual driving.
Steps to detect driver fatigue during autonomous driving and
Steps to predict fatigue based on the fatigue prediction function that defines the relationship between detected fatigue and operating time,
Steps to detect the driver's alertness during autonomous driving,
The step of predicting the arousal level based on the arousal level prediction function that defines the relationship between the detected arousal level and the driving time, and
It is a step of selecting an awakening means for awakening the driver from a plurality of awakening means when shifting from automatic driving to manual driving, and the selected step is predicted by the step of predicting the degree of fatigue. The step of selecting the awakening means according to the degree of fatigue at the time, and the above-mentioned selection step,
The step of calculating the time required from the arousal level of the time predicted by the step of predicting the arousal degree to the awakening threshold value of the time when the automatic operation is switched to the manual operation is calculated based on the function having the awakening coefficient of the selected awakening means. ,
A step of calculating the start time of the awakening means from the time of switching the automatic operation to the manual operation and the time calculated by the calculation step, and
A step of executing the awakening means selected by the selected step according to the calculated start time, and a step of executing the awakening means selected by the selected step.
Awakening method with.
覚醒方法はさらに、自動運転中に、検出された疲労度に基づき手動運転の切り替えまでの間の行動内容と当該行動内容に要する時間と、覚醒に要する時間とを含む行動プランを提案するステップを含み、The awakening method further includes a step of proposing an action plan including the action content until the switching of manual driving based on the detected fatigue level, the time required for the action content, and the time required for awakening during automatic driving. Including
前記選択するステップは、前記提案するステップにより提案された行動プランに応じて覚醒手段を選択する、請求項5に記載の覚醒方法。 The awakening method according to claim 5, wherein the selected step selects an awakening means according to the action plan proposed by the proposed step.
JP2017140496A 2017-07-20 2017-07-20 Electronic devices with awakening function, awakening programs and awakening methods Active JP6958982B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017140496A JP6958982B2 (en) 2017-07-20 2017-07-20 Electronic devices with awakening function, awakening programs and awakening methods

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017140496A JP6958982B2 (en) 2017-07-20 2017-07-20 Electronic devices with awakening function, awakening programs and awakening methods

Publications (2)

Publication Number Publication Date
JP2019021154A JP2019021154A (en) 2019-02-07
JP6958982B2 true JP6958982B2 (en) 2021-11-02

Family

ID=65354217

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017140496A Active JP6958982B2 (en) 2017-07-20 2017-07-20 Electronic devices with awakening function, awakening programs and awakening methods

Country Status (1)

Country Link
JP (1) JP6958982B2 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7451109B2 (en) * 2019-08-21 2024-03-18 株式会社東海理化電機製作所 Mobility aids, control devices, and computer programs
JP7264086B2 (en) 2020-02-27 2023-04-25 トヨタ自動車株式会社 Vehicle control device and vehicle control method
JP7478390B2 (en) * 2020-03-26 2024-05-07 パナソニックオートモーティブシステムズ株式会社 Awakening Control Device
WO2023122913A1 (en) * 2021-12-27 2023-07-06 华为技术有限公司 Intelligent driving method, system, and apparatus

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010140358A (en) * 2008-12-12 2010-06-24 Toyota Motor Corp Traveling support device
JP6135618B2 (en) * 2014-08-08 2017-05-31 トヨタ自動車株式会社 Vehicle control device
JP6191633B2 (en) * 2015-02-20 2017-09-06 トヨタ自動車株式会社 Driving assistance device
WO2017051478A1 (en) * 2015-09-25 2017-03-30 三菱電機株式会社 Driving assistance device and driving assistance method
JP6586874B2 (en) * 2015-12-15 2019-10-09 トヨタ自動車株式会社 Travel control device

Also Published As

Publication number Publication date
JP2019021154A (en) 2019-02-07

Similar Documents

Publication Publication Date Title
JP6958982B2 (en) Electronic devices with awakening function, awakening programs and awakening methods
JP7299840B2 (en) Information processing device and information processing method
US11027608B2 (en) Driving assistance apparatus and driving assistance method
JP6558719B2 (en) Vehicle driving support system and vehicle driving support method
CN108688677B (en) Vehicle driving support system and vehicle driving support method
JP6575932B2 (en) Vehicle driving support system
JP6920112B2 (en) Driving support device and driving support method
JP6314435B2 (en) Driver monitoring device
US20150307105A1 (en) Personalized Driver Assistance
JP6627811B2 (en) Concentration determination device, concentration determination method, and program for concentration determination
KR20180083407A (en) Method for operating a vehicle having a status monitoring device, a driver assistance system, and an automobile
WO2016035268A1 (en) Travel control system for vehicle
JP2019074791A (en) Driving support device for vehicle
JP6575933B2 (en) Vehicle driving support system
JP5375571B2 (en) Awakening support device
JP2018169703A (en) Vehicle driving support system and vehicle driving support method
CN111976626A (en) Mode control method, device, vehicle and computer readable storage medium
JP6607223B2 (en) Vehicle driving support system and vehicle driving support method
TWI840099B (en) Car driver health monitoring method and car for implementing the method
JP6579495B2 (en) Vehicle driving support system
JP6579493B2 (en) Vehicle driving support system
JP7540319B2 (en) Awakening Device
JP6579494B2 (en) Vehicle driving support system
JP7239260B2 (en) electronic device, driver state estimation system
CN114821966A (en) Fatigue driving early warning method, device, terminal and fatigue driving early warning system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200306

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210203

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20211006

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20211006

R150 Certificate of patent or registration of utility model

Ref document number: 6958982

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150