JP7223275B2 - Learning method, driving assistance method, learning program, driving assistance program, learning device, driving assistance system and learning system - Google Patents
Learning method, driving assistance method, learning program, driving assistance program, learning device, driving assistance system and learning system Download PDFInfo
- Publication number
- JP7223275B2 JP7223275B2 JP2019097614A JP2019097614A JP7223275B2 JP 7223275 B2 JP7223275 B2 JP 7223275B2 JP 2019097614 A JP2019097614 A JP 2019097614A JP 2019097614 A JP2019097614 A JP 2019097614A JP 7223275 B2 JP7223275 B2 JP 7223275B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- driving
- learning
- cognitive load
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Traffic Control Systems (AREA)
Description
本発明は、学習方法、運転支援方法、学習プログラム、運転支援プログラム、学習装置、運転支援システム及び学習システムに関する。 The present invention relates to a learning method, a driving assistance method, a learning program, a driving assistance program, a learning device, a driving assistance system, and a learning system.
車両を運転中のドライバの認知負荷に応じて、ドライバに対して行われる情報提供を制御する装置が提案されている(例えば、特許文献1参照)。 A device has been proposed that controls the provision of information to a driver according to the cognitive load of the driver who is driving a vehicle (see, for example, Patent Document 1).
認知負荷が高いと、ドライバが事故を起こす確率が高まることが知られている。しかしながら、従来技術では、事故につながるような危険な運転や状態を招く認知負荷の基準については検討されていない。 High cognitive load is known to increase the probability of a driver causing an accident. However, the prior art does not consider criteria for cognitive load that lead to dangerous driving or conditions that lead to accidents.
1つの側面では、本発明は、危険運転の可能性を判定できる認知負荷の基準を得ることを目的とする。 In one aspect, the present invention aims to obtain a criterion of cognitive load that can determine the possibility of dangerous driving.
一つの態様では、学習方法は、学習部が、運転者の生理指標から得られる認知負荷の時系列データから、車両の走行に関する情報を時系列に記録した運転データに基づく運転診断において危険運転と判断された時刻と、該時刻から所定時間前の時刻との間のデータを複数抽出し、抽出した複数の前記データを用いて、認知負荷と危険運転との関係を学習し、定義部が、学習した前記関係から、認知負荷について危険運転の基準を定義し、前記学習部は、前記複数の前記データのうち、前記データに含まれる認知負荷が全て閾値以下であるデータは学習に使用しない学習方法である。 In one aspect, in the learning method, the learning unit determines whether dangerous driving is detected in driving diagnosis based on driving data obtained by chronologically recording information about driving of the vehicle from time-series data of cognitive load obtained from the driver's physiological index. extracting a plurality of data between the determined time and a time a predetermined time before the time, learning the relationship between cognitive load and dangerous driving using the extracted plurality of data, Based on the learned relationship, a criterion for dangerous driving is defined with respect to the cognitive load, and the learning unit performs learning in which, among the plurality of data, data in which all the cognitive loads included in the data are equal to or less than a threshold value are not used for learning. The method.
危険運転の可能性を判定できる認知負荷の基準を得ることができる。 It is possible to obtain a criterion of cognitive load that can determine the possibility of dangerous driving.
以下、実施例1に係る運転支援システムについて、図1~図11に基づいて詳細に説明する。運転支援システムは、ドライバの認知負荷に基づいて、危険運転を予測することで、ドライバの運転を支援するシステムである。 A driving support system according to the first embodiment will be described in detail below with reference to FIGS. 1 to 11. FIG. A driving assistance system is a system that assists a driver's driving by predicting dangerous driving based on the driver's cognitive load.
図1には、実施例1に係る運転支援システム100の構成が概略的に示されている。図1に示すように、運転支援システム100は、運転支援装置10と、運転支援サーバ20と、を備える。本実施例1において、運転支援装置10は、第1情報処理装置の一例であり、運転支援サーバ20は、第2情報処理装置の一例である。また、本実施例1において、運転支援サーバ20は、学習装置の一例である。また、運転支援システム100は、学習システムの一例である。
FIG. 1 schematically shows the configuration of a
運転支援装置10は、不図示の車両に搭載され、報知装置11と、生理指標測定装置12と、走行情報取得装置13と、ドライバ情報取得装置14と、情報処理装置30と、を備える。
The
報知装置11の例としては、ディスプレイ及びスピーカが挙げられるが、これに限られるものではない。ディスプレイ及びスピーカはそれぞれ、車両に予め備えられているディスプレイ及びスピーカであってもよい。
Examples of the
生理指標測定装置12は、車両を運転するドライバの生理指標を測定する装置である。生理指標の例としては、心拍数、眼球運動、瞳孔径、脳血流、発汗量、及び顔面皮膚温度が挙げられるが、これに限られるものではない。生理指標から、ドライバの認知負荷を得ることができる。ドライバの認知負荷が高い場合、心拍数は上昇し、眼球運動においてサッカード型侵入が多くなり、瞳孔径は大きくなり、脳血流は増加し、発汗量は増加し、顔面皮膚温度は上昇する。生理指標が心拍数である場合、生理指標測定装置12は心拍計であり、眼球運動又は瞳孔径である場合、生理指標測定装置12はカメラである。また、例えば、生理指標が脳血流である場合、生理指標測定装置12は光トポグラフィ装置であり、発汗量である場合、生理指標測定装置12は発汗計であり、顔面皮膚温度である場合、生理指標測定装置12はサーモグラフィである。生理指標測定装置12は、少なくとも1つの生理指標を測定し、測定結果を情報処理装置30に送信する。
The physiological
走行情報取得装置13は、車両の走行に関する情報を取得する装置である。車両の走行に関する情報の例としては、エンジン回転数、車速、加速度、角速度、ステアリングの舵角、アクセルペダルの操作量、ブレーキペダルの操作量、及び車両周辺の画像が挙げられるが、これに限られるものではない。車両の走行に関する情報がエンジン回転数である場合、走行情報取得装置13はタコメータであり、車速である場合、車速センサであり、加速度である場合、加速度センサであり、角速度である場合、ジャイロセンサであり、ステアリングの舵角である場合、ハンドル角センサである。また、車両の走行に関する情報がアクセルペダルの操作量である場合、走行情報取得装置13はアクセルペダルセンサであり、ブレーキペダルの操作量である場合ブレーキペダルセンサであり、車両周辺の画像である場合ドライブレコーダである。走行情報取得装置13は、車両の走行に関する情報を少なくとも1つ取得し、情報処理装置30に送信する。
The travel
ドライバ情報取得装置14は、ドライバの識別情報を取得する装置であり、例えば、カードリーダである。例えば、ドライバが免許証をドライバ情報取得装置14にかざすと、ドライバ情報取得装置14は、免許証に埋め込まれたICチップから、免許証番号をドライバの識別情報として取得する。ドライバ情報取得装置14は、取得したドライバの識別情報を情報処理装置30に送信する。
The driver
情報処理装置30は、生理指標測定装置12、走行情報取得装置13、及びドライバ情報取得装置14から取得した情報に基づいて後述する各種処理を実行する。情報処理装置30は、インターネット等のネットワークNWを介して、運転支援サーバ20と接続されている。
The
情報処理装置30は、図2に示すようなハードウェア構成を有する。具体的には、情報処理装置30は、図2に示すように、Central Processing Unit(CPU)311、Read Only Memory(ROM)312、Random Access Memory(RAM)313、記憶装置(Hard Disk Drive:HDD)314、ネットワークインタフェース315、及び可搬型記憶媒体316に記憶されたデータを読み取り可能な可搬型記憶媒体用ドライブ317等を備えている。これら情報処理装置30の構成各部は、バス320に接続されている。CPU311は、ROM312あるいはHDD314に格納されているプログラム、或いは可搬型記憶媒体用ドライブ317が可搬型記憶媒体316から読み取ったプログラムを実行することで、情報処理装置30を図1の各部として機能させる。
The
具体的には、図1に示すように、CPU311がプログラムを実行することにより、情報処理装置30は、取得部31、診断部32、通信部33、並びに第1判断部、報知部、及び第2判断部としての制御部34として機能する。
Specifically, as shown in FIG. 1, the
取得部31は、生理指標測定装置12からドライバの生理指標を取得し、当該生理指標により得られる認知負荷の時系列データ(以後、認知負荷データと記載する)を、ドライバの識別情報に関連付けて認知負荷データDB351に格納する。認知負荷データは、例えば、生理指標測定装置12が測定した生理指標そのものであってもよいし、生理指標に対し所定の処理を行って得られた結果(例えば、生理指標の移動平均等)であってもよい。また、取得部31は、生理指標測定装置12から取得した生理指標を、制御部34に出力する。
The
認知負荷データDB351は、図3(A)に示すように、ドライバID、認知負荷データ、及び送信済フラグ等のフィールドを備える。ドライバIDのフィールドには、ドライバ情報取得装置14により取得されたドライバの識別情報(例えば、免許証番号)が格納される。認知負荷データのフィールドには、図3(B)に示すような、1トリップの間に取得された認知負荷の時系列データが格納される。なお、本実施例において、イグニッションスイッチの1回のオン期間を1トリップとする。
The cognitive
送信済フラグは、認知負荷データを運転支援サーバ20に送信したか否かを表すフラグであり、認知負荷データが運転支援サーバ20に送信済みである場合にチェックされる。このように、認知負荷データDB351には、ドライバ毎に認知負荷データが格納される。なお、認知負荷データDB351は、例えば、認知負荷データの取得開始時間と取得終了時間とを格納するフィールドを備えていてもよい。
The transmitted flag is a flag indicating whether or not the cognitive load data has been transmitted to the driving
また、取得部31は、走行情報取得装置13が取得した車両の走行に関する情報を時系列に記録した運転データを運転データDB352に格納する。
In addition, the
運転データDB352は、図4(A)に示すように、ドライバID、運転データ、及び診断済フラグ等のフィールドを備える。ドライバIDのフィールドには、ドライバ情報取得装置14により取得されたドライバの識別情報(例えば、免許証番号)が格納される。運転データのフィールドには、1トリップの間に取得された運転データが格納される。診断済フラグは、運転データに基づき後述する運転診断が行われたか否かを示すフラグであり、運転データに基づき運転診断が行われた場合にチェックされる。このように、運転データDB352には、ドライバ毎に運転データが格納される。なお、運転データDB352は、例えば、運転データの取得開始時間と取得終了時間とを格納するフィールドを備えていてもよい。
The driving
図1に戻り、診断部32は、トリップが終了すると、運転データDB352に格納された運転データに基づいて、ドライバの運転を診断し、運転診断結果を診断データDB353に記録する。診断部32は、運転診断が終了すると、運転データDB352において、運転診断を行った運転データの診断済フラグをチェックする。本実施例では、診断部32は、運転データに基づき、危険運転の度合いを示す危険運転度を診断する。診断部32は、例えば、車速の時間変化の割合が所定の閾値を超えた場合(すなわち、急加速又は急減速が起こった場合)に、危険運転度が高いと診断する。また、例えば、診断部32は、ステアリングの舵角の時間変化の割合が所定の閾値を超えた場合(すなわち、運転者が急ハンドルをきった場合)に、危険運転度が高いと判断する。診断部32は、複数の情報(例えば、加速度とドライブレコーダが録画した画像等)に基づいて、危険運転度を診断してもよい。これにより、本実施例では、図4(B)に示すような、危険運転度の時系列データが診断データとして取得される。
Returning to FIG. 1 , when the trip ends, the
診断データDB353は、図4(C)に示すように、ドライバID、診断データ、及び送信済フラグ等のフィールドを備える。ドライバIDのフィールドには、運転診断に用いた運転データに含まれるドライバIDが格納される。診断データのフィールドには、図4(B)に示した、危険運転度の時系列データが格納される。送信済フラグは、診断データを運転支援サーバ20に送信したか否かを表わすフラグであり、診断データを運転支援サーバ20に送信した場合にチェックされる。このように、診断データDB353には、ドライバ毎に診断データが格納される。
The
図1に戻り、通信部33は、トリップが終了すると、認知負荷データDB351に格納されている認知負荷データ及び診断データDB353に格納された診断データを、車両情報355と共に、運転支援サーバ20に送信する。通信部33は、送信が終了すると、運転支援サーバ20に送信した認知負荷データ及び診断データの送信済フラグをチェックする。
Returning to FIG. 1, when the trip ends, the
車両情報355はHDD314等に記憶されており、車両の種別を表す情報である。車両の種別を表す情報は、例えば、車両の車名、年式、又は型式もしくはそれらの組み合わせでもよいし、普通乗用車、小型乗用車といった車種でもよいし、ミニバン、セダン、コンパクト、SUV(Sport Utility Vehicle)といった車両のボディタイプの種類であってもよい。本実施例では、車両情報355は、車両のボディタイプの種類であると仮定して説明する。
また、通信部33は、トリップの開始時に、車両情報355とドライバの識別情報とを含む基準データ送信要求を運転支援サーバ20に送信し、運転支援サーバ20から、送信した車両情報355とドライバの識別情報との組み合わせに対して定義された、認知負荷についての危険運転の基準を取得(受信)する。通信部33は、取得した基準を基準データDB354に格納する。
Further, at the start of the trip, the
制御部34は、取得部31から入力された生理指標により得られるドライバの認知負荷と、後述する運転支援サーバ20によって定義された、認知負荷についての危険運転の基準と、を用いて、ドライバによる危険運転の可能性を判断する。より具体的には、ドライバの認知負荷が、定義された危険運転の基準を満たすか否かに基づいて、危険運転の可能性を判断する。制御部34は、危険運転の可能性があると判断すると、報知装置11を制御して、ドライバに危険運転の可能性があることを報知する。なお、制御部34は、生理指標測定装置12から直接生理指標を取得するようにしてもよい。制御部34が実行する処理の詳細については後述する。
The
運転支援サーバ20は、例えば、クラウドサーバであり、情報処理装置30から受信した認知負荷データ及び診断データに基づき、認知負荷について危険運転の基準を定義する。
The driving
運転支援サーバ20は、図5に示すようなハードウェア構成を有する。具体的には、運転支援サーバ20は、図5に示すように、CPU211、ROM212、RAM213、HDD214、ネットワークインタフェース215、及び可搬型記憶媒体216に記憶されたデータを読み取り可能な可搬型記憶媒体用ドライブ217等を備えている。これら運転支援サーバ20の構成各部は、バス220に接続されている。CPU211は、ROM212あるいはHDD214に格納されているプログラム、或いは可搬型記憶媒体用ドライブ217が可搬型記憶媒体216から読み取ったプログラムを実行することで、運転支援サーバ20を図1の各部として機能させる。
The driving
具体的には、図1に示すように、CPU211がプログラムを実行することにより、運転支援サーバ20は、通信部21、並びに学習部及び定義部としての学習部22として機能する。
Specifically, as shown in FIG. 1, the driving
通信部21は、情報処理装置30から、認知負荷データ及び診断データを車両情報355と共に受信し、受信した認知負荷データ及び診断データのペアを教師データとして教師データDB251に格納する。情報処理装置30の通信部33は、トリップが終了すると認知負荷データ及び診断データを送信するため、1トリップごとに1教師データを得ることができる。
The
教師データDB251は、例えば、図6に示すように、車両種別、ドライバID、認知負荷データ、診断データ、及び学習済フラグ等のフィールドを備える。車両種別のフィールドには、情報処理装置30から受信した車両情報355に含まれる車両の種別が格納される。ドライバIDのフィールドには、受信した認知負荷データ又は診断データに含まれるドライバIDの情報が格納される。認知負荷データ及び診断データのフィールドには、受信した認知負荷データ及び診断データがそれぞれ格納される。学習済フラグは、認知負荷データ及び診断データを用いた認知負荷と危険運転との関係の学習が終了したか否かを示すフラグであり、学習が終了するとチェックされる。
For example, as shown in FIG. 6, the
また、通信部21は、学習部22が定義した、認知負荷についての危険運転の基準を、情報処理装置30に送信する。
In addition, the
学習部22は、教師データに基づいて、認知負荷と危険運転との関係を学習する。また、学習部22は、学習した関係に基づいて、認知負荷について危険運転の基準を定義する。
The
(学習処理)
次に、運転支援サーバ20の学習部22が実行する学習処理について、図7のフローチャートに基づいて説明する。図7の処理は、情報処理装置30から認知負荷データ及び診断データを受信する度に実行してもよいし、ある車両種別とドライバIDとの組み合わせに対する教師データが所定数蓄積された時点で実行してもよい。本実施例では、運転支援サーバ20は、情報処理装置30から認知負荷データ及び診断データを受信すると、図7の処理を実行するものとして説明する。
(learning process)
Next, learning processing executed by the
図7の処理では、まず、学習部22が、教師データDB251に格納されている教師データを読み込む(ステップS11)。より具体的には、教師データDB251から、認知負荷データ及び診断データに含まれるドライバIDと、認知負荷データ及び診断データと共に受信した車両情報355に含まれる車両種別との組み合わせと同一の組み合わせに対する教師データのうち、学習済フラグがチェックされていないデータを読み込む。
In the process of FIG. 7, the
教師データは、例えば、図8(A)に示すような、1トリップの間に収集された認知負荷データ(下段に示す)及び診断データ(上段に示す)である。 The teacher data are, for example, cognitive load data (shown in the lower part) and diagnostic data (shown in the upper part) collected during one trip as shown in FIG. 8(A).
次に、学習部22は、認知負荷データの中から、危険運転と判断された時刻と、当該時刻から所定時間(T)前の時刻との間のデータを、認知負荷と危険運転との関係を学習するための学習データとして抽出する(ステップS13)。学習部22は、診断データの危険運転度が所定の閾値を超えた場合に、危険運転と判断する。例えば、図8(B)に示すように、時刻t11及びt21において危険運転度が閾値を超えている場合、時刻t11及びt21が、危険運転と判断された時刻となる。
Next, from the cognitive load data, the
そして、学習部22は、図8(B)に示すように、認知負荷データの中から、時刻t11と時刻(t11-T)との間のデータと、時刻t21と時刻(t21-T)との間のデータと、を抽出する。なお、学習部22は、危険運転と判断された時刻より前の所定時間(T)範囲のデータを抽出してもよい。例えば、学習部22は、時刻t11よりも前の時刻(t11-α)(α<T)と時刻(t11-α-T)との間のデータを抽出してもよい。言い換えると、学習データは、危険運転と判断された時刻における認知負荷のデータを含んでいてもよいし、含んでいなくてもよい。
Then, as shown in FIG. 8(B), the
図7に戻り、次に、学習部22は、抽出した複数のデータのうち、データに含まれる認知負荷が閾値以下のデータを除外する(ステップS15)。閾値は、予め計測された、運転者の平時の認知負荷に基づいて設定される。例えば、図9の例では、時刻(t11-T)と時刻t11との間のデータに含まれる認知負荷は全て閾値Vth以下であるため、時刻(t11-T)と時刻t11との間のデータは学習データから除外される。
Returning to FIG. 7, next, the
次に、学習部22は、残りのデータを、認知負荷と危険運転との関係を学習するための学習データとして学習データDB253に格納する(ステップS17)。これにより、危険運転と判断された時刻より後のデータ(例えば、図9では、時刻t11から時刻(t21-T)までのデータ、時刻t21以降のデータ)は、認知負荷と危険運転との関係を学習するための学習データとして格納されない。このため、危険運転によって認知負荷が上昇した場合のデータは学習データとして用いられない。また、学習部22は、危険運転と判断された時刻と、当該時刻よりも所定時間前の時刻との間のデータのうち、認知負荷が閾値以下のデータは学習データとして格納しない。このため、外的要因(例えば、他車の割り込みなど)によって危険運転が生じた場合のデータが、学習データから除外される。これにより、認知負荷に起因して危険運転が生じた場合のデータのみを、学習データとすることができる。
Next, the
学習データDB253は、図10(A)に示すように、車両種別、ドライバID、及び学習データ等のフィールドを備える。車両種別及びドライバIDのフィールドには、ステップS11で読み込んだ教師データに紐付けられている車両種別及びドライバIDがそれぞれ格納される。学習データのフィールドには、認知負荷データのうち、危険運転と判断された時刻と、当該時刻から所定時間(T)前の時刻との間のデータであって、認知負荷が閾値以下でないデータが格納される。
The learning
図7に戻り、学習部22は、教師データDB251において、学習データを取得した教師データの学習済フラグにチェックを入れる(ステップS18)。なお、学習部22は、学習データを取得した教師データを削除するようにしてもよい。この場合、学習済フラグが不要となる。
Returning to FIG. 7, the
次に、学習部22は、学習データDB253に格納された学習データに基づいて、認知負荷について危険運転の基準を定義する(ステップS19)。具体的には、学習部22は、学習データDB253から、車両種別とドライバIDとの組み合わせに対する学習データを読み出し、当該学習データに基づき、車両種別とドライバIDとの組み合わせに対して、認知負荷について危険運転の基準を定義する。例えば、学習部22は、学習データに基づき、危険運転と判断された時刻と、当該時刻よりも所定時間前の時刻との間における認知負荷の時間変化のパターンを危険運転の基準として定義する。学習部22は、危険運転と判断された時刻と、当該時刻よりも所定時間前の時刻との間における認知負荷の標準偏差を危険運転の基準として定義してもよい。
Next, the
学習部22は、定義した基準を、基準データDB252に登録し(ステップS21)、学習処理を終了する。
The
基準データDB252は、図10(B)に示すように、車両種別、ドライバID、及び基準データのフィールドを備える。車両種別及びドライバIDのフィールドには、ステップS19において学習データの選択に使用した車両種別とドライバIDとがそれぞれ格納される。基準データのフィールドには、ステップS19で定義された危険運転の基準が格納される。
As shown in FIG. 10B, the
前述したように、情報処理装置30の通信部33は、トリップが終了すると、認知負荷データ及び診断データを運転支援サーバ20に送信するため、トリップ数が増える(運転回数が増える)と、教師データが増える。したがって、認知負荷データ及び診断データを受信する度に図7の処理を行うことで、学習精度(危険運転の基準の妥当性)が向上する。
As described above, the
通信部21は、例えば、情報処理装置30から、車両情報355及びドライバの識別情報を含む基準データ送信要求を受信すると、車両情報355とドライバの識別情報との組み合わせについて定義された基準データDB252内の基準データを、情報処理装置30に送信する。これにより、情報処理装置30の基準データDB354には、図10(C)に示すように、情報処理装置30が搭載された車両を運転するドライバ毎に基準データが格納される。
For example, when the
(危険運転予測)
次に、車両に搭載される運転支援装置10が備える情報処理装置30が実行するドライバの危険運転を予測する処理について説明する。図11は、危険運転予測処理を示すフローチャートである。図11の処理は、トリップが開始されると、トリップが終了するまで実行される。
(Dangerous driving prediction)
Next, the process of predicting dangerous driving of the driver executed by the
図11において、情報処理装置30の制御部34は、取得部31から入力されたドライバの生理指標からドライバの認知負荷を取得する(ステップS31)。
In FIG. 11, the
次に、制御部34は、基準データDB354に格納された基準データの中から、現在車両を運転しているドライバに紐付けられた基準データを取得する(ステップS32)。
Next, the
次に、制御部34は、認知負荷データと、ステップS32で取得した基準データに含まれる危険運転の基準と、に基づいて、危険運転の可能性を判断する(ステップS33)。制御部34は、例えば、所定時間(T)の範囲における認知負荷の時間変化と、危険運転の基準として定義された認知負荷の時間変化のパターンとの類似度が閾値以上である場合に、危険運転の可能性があると判断する。
Next, the
制御部34は、危険運転の可能性がない場合(ステップS35/NO)、ステップS31に戻るが、危険運転の可能性がある場合(ステップS35/YES)、報知装置11により危険運転の可能性をドライバに報知する(ステップS37)。例えば、制御部34は、ブザー音によって、危険運転の可能性をドライバに報知する。制御部34は、「危険運転の可能性があります。」等の音声メッセージを報知装置11から出力させてもよい。また、制御部34は、ナビゲーション装置のディスプレイに、危険運転の可能性を知らせる画像等を表示してもよい。
If there is no possibility of dangerous driving (step S35/NO), the
以上、詳細に説明したように、実施例1によれば、運転支援システム100は、ドライバの生理指標から得られる認知負荷の時系列データから、車両の走行に関する情報を時系列に記録した運転データに基づく運転診断において危険運転と判断された時刻と、当該時刻から所定時間前の時刻との間のデータを複数抽出し、抽出した複数のデータを用いて認知負荷と危険運転との関係を学習し、学習した関係から、認知負荷について危険運転の基準を定義する学習部22を備える。学習部22は、抽出した複数のデータのうち、データに含まれる認知負荷が全て閾値以下であるデータは学習データDB253に格納しない。すなわち、学習部22は、危険運転と判断された時刻より後のデータは学習に使用せず、抽出した複数のデータのうち、データに含まれる認知負荷が全て閾値以下のデータは学習に使用しない。これにより、危険運転によって認知負荷が上昇した場合や、外的要因(例えば、他車の割り込みなど)によって危険運転が生じた場合を学習から除外できるため、認知負荷について、危険運転の可能性を判定できる高精度な基準を得ることができる。
As described above in detail, according to the first embodiment, the driving
また、本実施例1において、認知負荷の時系列データ(認知負荷データ)と、運転データとは、ドライバと車両の種別との組み合わせ毎に取得され(例えば、図6参照)、学習部22は、ドライバと車両の種別との組み合わせ毎に、危険運転の基準を定義する。これにより、車両の種別が運転に与える影響、及び個人差を反映した、より高精度な基準を得ることができる。
Further, in the first embodiment, the time series data of cognitive load (cognitive load data) and driving data are acquired for each combination of driver and vehicle type (see, for example, FIG. 6), and the
また、本実施例1において、運転支援システム100は、生理指標測定装置12から入力される生理指標から得られるドライバの認知負荷と、危険運転の基準とに基づいて、危険運転の可能性を判断し、判断結果に基づく報知を行う制御部34を備える。認知負荷についての高精度な基準を使用して危険運転の可能性を判断することができるため、危険運転の可能性を高精度に判断できる。より具体的には、生理指標が閾値を超えたか否かに基づいて危険運転の注意喚起を行う場合と比較して、危険運転の注意喚起を行うタイミングの精度が高まる。また、危険運転の可能性をドライバに報知することで、ドライバの安全運転を支援できる。
In addition, in the first embodiment, the driving
また、本実施例1では、運転支援サーバ20が学習部22を備えるため、学習アルゴリズムを適宜改版することが容易であり、高精度な学習が可能となる。
Further, in the first embodiment, since the driving
また、本実施例1では、運転支援システム100は、運転データに基づき運転診断を行う診断部32を備える。これにより、運転データを送信する場合と比較して、運転支援サーバ20に送信するデータ量を減少させることができる。なお、運転データではなく、運転データを運転支援サーバ20に送信するようにしてもよい。
In addition, in the first embodiment, the driving
なお、上記実施例1の図11の処理において、制御部34は、危険運転の可能性の高さに応じて(例えば、類似度の大小に応じて)、ブザーの音量、音のパターン、音声メッセージの内容(報知の態様)を変えてもよい。例えば、危険運転の可能性が低い場合は、音声メッセージにより危険運転の可能性を報知し、危険運転の可能性が高い場合は、ブザー等により危険運転の可能性を報知するようにしてもよい。
Note that in the process of FIG. 11 of the first embodiment, the
また、上記実施例1において、認知負荷データと、運転データとは、ドライバと車両の種別との組み合わせ毎に取得されていたが(例えば、図6参照)、ドライバ毎に取得されてもよいし、車両の種別毎に取得されてもよい。この場合、ドライバ毎又は車両の種別毎に危険運転の基準が定義される。 Further, in the first embodiment, the cognitive load data and driving data are acquired for each combination of driver and vehicle type (for example, see FIG. 6), but they may be acquired for each driver. , may be obtained for each type of vehicle. In this case, dangerous driving standards are defined for each driver or each type of vehicle.
なお、上記実施例1では、情報処理装置30の通信部33は、診断データを運転支援サーバ20に送信していたが、これに限られるものではない。例えば、通信部33は、診断データにおいて危険運転と判断された時刻(危険運転度が閾値を超えた時刻)を運転支援サーバ20に送信するようにしてもよい。
Although the
実施例1では、診断データを運転支援サーバ20に送信し、運転支援サーバ20の学習部22が危険運転の基準を定義していたが、情報処理装置30が危険運転の基準を定義するようにしてもよい。
In the first embodiment, diagnostic data is transmitted to the driving
図12は、実施例2に係る運転支援システム100Aの構成を示すブロック図である。図12に示すように、実施例2に係る情報処理装置30Aは、学習部35を備える。実施例2において、情報処理装置30Aは、学習装置の一例である。また、情報処理装置30Aは、第1情報処理装置の一例である。
FIG. 12 is a block diagram showing the configuration of a driving
学習部35は、図7と同様の学習処理を行う。具体的には、学習部35は、認知負荷データDB351に格納された認知負荷データと、診断データDB353に格納された診断データと、を教師データとして、学習データを抽出し、学習データDB356に格納する。そして、学習部35は、学習データDB356に格納された学習データに基づいて、認知負荷について危険運転の基準を定義する。
The
その他の構成は、実施例1と同様であるため、詳細な説明を省略する。実施例2では、運転支援サーバ20に認知負荷データ及び診断データを送信する必要がないため、通信部33を省略することができる。
Since other configurations are the same as those of the first embodiment, detailed description thereof will be omitted. In Example 2, the
運転支援システムが備える運転支援装置10を、スマートフォン等の電子機器によって実現してもよい。図13は、実施例3に係る運転支援システム100Bの構成を示すブロック図である。実施例3に係る運転支援システム100Bは、電子機器50(運転支援装置10)を備える。電子機器50は、例えば、スマートフォンであり、報知装置11、生理指標測定装置12、走行情報取得装置13、及び情報処理装置30Aを備える。
The driving
報知装置11は、例えば、電子機器50が備えるスピーカである。生理指標測定装置12は、例えば、電子機器50が備えるカメラであり、ドライバの眼球を撮影できるように電子機器50を車両のフロントガラスやダッシュボード等に取り付けることにより、瞳孔径及び/又は眼球運動を測定する生理指標測定装置12として機能させることができる。
The
走行情報取得装置13は、例えば、電子機器50に内蔵されている加速度センサ及びジャイロセンサである。
The travel
その他の構成は、実施例2と同様であるため、詳細な説明を省略する。 Since other configurations are the same as those of the second embodiment, detailed description thereof will be omitted.
なお、実施例3において、図14に示す運転支援システム100Cのように、電子機器50Aの情報処理装置30の通信部33が、運転支援サーバ20に、認知負荷データと診断データとを送信するように構成してもよい。このとき、通信部33は、ドライバの識別情報として、例えば、スマートフォンの電話番号等を送信する。また、通信部33は、車両情報355として、ユーザがスマートフォンにインストールされたアプリケーションにおいて入力した車両の種別の情報を送信する。
Note that, in the third embodiment, the
スマートフォン等の個人が所有する電子機器50,50Aを用いることで、ドライバ情報取得装置14を省略することができる。
The driver
なお、上記実施例1~3において、制御部34は、危険運転の予測精度が所定の精度に達してから、図11で説明した危険運転予測処理を行うようにしてもよい。図15は、予測精度判定処理の一例を示すフローチャートである。図15の処理は、車両の走行が終了すると実行される。
In Examples 1 to 3, the
まず、制御部34は、今回のトリップで取得された認知負荷データにおいて、現在の基準データを用いた場合に、危険運転の可能性があると判断される時刻(危険運転予測時刻)を特定する(ステップS51)。また、制御部34は、今回のトリップの診断データにおいて、危険運転と判断された時刻(危険運転時刻)を特定する(ステップS53)。ステップS51及びS53の処理の順番は逆でもよいし、同時並行的に行ってもよい。
First, the
次に、制御部34は、基準データの妥当性を判断する(ステップS55)。例えば、制御部34は、危険運転予測時刻と、危険運転時刻との一致率に基づいて、例えば、基準データの妥当性を判断する。制御部34は、現在の基準データを用いた場合に危険運転の可能性があると判断される時刻と、診断データにおいて危険運転と判断された時刻との一致率が所定の閾値(例えば、70%)以上である場合、基準データが妥当であると判断する。基準データが妥当でない場合(ステップS55/NO)、図15の処理を終了する。基準データが妥当である場合(ステップS55/YES)、制御部34は、危険運転予測処理の開始を許可し(ステップS57)、図15の処理を終了する。例えば、制御部34は、危険運転予測処理の開始を許可するフラグをONにし、次回走行時に当該フラグがONであれば、図11の危険運転予測処理を実行すればよい。これにより、現在の危険運転の基準を用いると危険運転の予測精度が低い場合(学習が十分でない場合)に、危険運転の可能性を誤ってドライバに報知することを防止することができる。
Next, the
なお、上記の処理機能は、コンピュータによって実現することができる。その場合、処理装置が有すべき機能の処理内容を記述したプログラムが提供される。そのプログラムをコンピュータで実行することにより、上記処理機能がコンピュータ上で実現される。処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体(ただし、搬送波は除く)に記録しておくことができる。 Note that the processing functions described above can be realized by a computer. In that case, a program is provided that describes the processing contents of the functions that the processing device should have. By executing the program on a computer, the above processing functions are realized on the computer. A program describing the processing content can be recorded in a computer-readable recording medium (excluding carrier waves).
プログラムを流通させる場合には、例えば、そのプログラムが記録されたDVD(Digital Versatile Disc)、CD-ROM(Compact Disc Read Only Memory)などの可搬型記憶媒体の形態で販売される。また、プログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することもできる。 When a program is distributed, it is sold in the form of a portable storage medium such as a DVD (Digital Versatile Disc) or a CD-ROM (Compact Disc Read Only Memory) on which the program is recorded. It is also possible to store the program in the storage device of the server computer and transfer the program from the server computer to another computer via the network.
プログラムを実行するコンピュータは、例えば、可搬型記憶媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、自己の記憶装置に格納する。そして、コンピュータは、自己の記憶装置からプログラムを読み取り、プログラムに従った処理を実行する。なお、コンピュータは、可搬型記憶媒体から直接プログラムを読み取り、そのプログラムに従った処理を実行することもできる。また、コンピュータは、サーバコンピュータからプログラムが転送されるごとに、逐次、受け取ったプログラムに従った処理を実行することもできる。 A computer that executes a program stores, for example, a program recorded on a portable storage medium or a program transferred from a server computer in its own storage device. The computer then reads the program from its own storage device and executes processing according to the program. The computer can also read the program directly from the portable storage medium and execute processing according to the program. In addition, the computer can also execute processing according to the received program every time the program is transferred from the server computer.
上述した実施形態は本発明の好適な実施の例である。但し、これに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変形実施可能である。 The embodiments described above are examples of preferred implementations of the present invention. However, the present invention is not limited to this, and various modifications can be made without departing from the spirit of the present invention.
10 運転支援装置
20 運転支援サーバ
22 学習部
32 診断部
34 制御部
35 学習部
100,100A,100B,100C 運転支援システム
10
Claims (15)
定義部が、学習した前記関係から、認知負荷について危険運転の基準を定義し、
前記学習部は、前記複数の前記データのうち、前記データに含まれる認知負荷が全て閾値以下であるデータは学習に使用しない、
学習方法。 The time at which the learning unit determines that dangerous driving is determined in driving diagnosis based on driving data in which information about driving of the vehicle is recorded in time series from time-series data of cognitive load obtained from the driver's physiological index, and from that time extracting a plurality of data between the time a predetermined time ago, using the extracted plurality of data, learning the relationship between cognitive load and dangerous driving,
The definition unit defines a criterion for dangerous driving with respect to cognitive load from the learned relationship,
wherein the learning unit does not use, among the plurality of data, data whose cognitive loads are all less than or equal to a threshold value for learning;
learning method.
前記定義部は、前記運転者毎、前記車両の種別毎、又は前記運転者及び前記車両の種別の組み合わせ毎に、前記基準を定義する、
請求項1に記載の学習方法。 The time-series data of the cognitive load and the driving data are obtained for each driver, for each type of vehicle, or for each combination of types of the driver and the vehicle,
wherein the definition unit defines the criteria for each driver, each type of vehicle, or each combination of types of the driver and the vehicle;
A learning method according to claim 1 .
請求項1又は2に記載の学習方法。 the physiological index includes at least one of heart rate, eye movement, pupil diameter, cerebral blood flow, sweating state, and facial skin temperature;
3. The learning method according to claim 1 or 2.
請求項1~3のいずれか1項記載の学習方法。 The information about the running of the vehicle includes at least one of engine speed, vehicle speed, acceleration, angular velocity, steering angle, accelerator pedal operation amount, brake pedal operation amount, and an image around the vehicle.
The learning method according to any one of claims 1 to 3.
報知部が、判断結果に基づく報知を行う、
運転支援方法。 A first determination unit acquires a cognitive load from the physiological index measured by the physiological index measuring device, and the acquired cognitive load and the criterion defined by the learning method according to any one of claims 1 to 4. to determine the possibility of dangerous driving based on
The notification unit performs notification based on the judgment result,
Driving assistance method.
請求項5に記載の運転支援方法。 The notification unit changes the mode of notification depending on whether the possibility of dangerous driving is high or low;
The driving support method according to claim 5.
請求項5又は6に記載の運転支援方法。 A result of a second judgment unit judging the possibility of dangerous driving using the criteria for the time-series data of the cognitive load acquired during one trip, and the driving data acquired during the one trip. Judging the validity of the criteria based on comparison with the results of driving diagnosis based on
The driving assistance method according to claim 5 or 6.
請求項7に記載の運転支援方法。 The notification unit starts the notification based on the judgment result when it is determined that the criterion is appropriate.
The driving support method according to claim 7.
請求項5~8のいずれか1項記載の運転支援方法。 A diagnosis unit performs driving diagnosis based on the driving data;
The driving support method according to any one of claims 5 to 8.
運転者の生理指標から得られる認知負荷の時系列データから、車両の走行に関する情報を時系列に記録した運転データに基づく運転診断において危険運転と判断された時刻と、該時刻から所定時間前の時刻との間のデータを複数抽出し、抽出した複数の前記データを用いて、認知負荷と危険運転との関係を学習する処理と、
学習した前記関係から、認知負荷について危険運転の基準を定義する処理と、
を実行させ、
前記学習する処理では、前記複数の前記データのうち、前記データに含まれる認知負荷が全て閾値以下のデータは学習に使用しない、
学習プログラム。 to the computer,
Based on the time-series data of cognitive load obtained from the driver's physiological index, the time at which the driving diagnosis is based on the driving data recorded in time-series information about the driving of the vehicle, and the time before the predetermined time from that time. A process of extracting a plurality of data between times and learning the relationship between cognitive load and dangerous driving using the extracted plurality of data;
a process of defining dangerous driving criteria for cognitive load from the learned relationship;
and
In the learning process, among the plurality of data, data whose cognitive load is all less than a threshold value is not used for learning.
learning program.
生理指標測定装置が測定する前記生理指標から認知負荷を取得し、取得した前記認知負荷と、請求項10記載の学習プログラムによって定義された前記基準とに基づいて、危険運転の可能性を判断する処理と、
判断結果に基づく報知を行う処理と、
を実行させる運転支援プログラム。 to the computer,
A cognitive load is obtained from the physiological index measured by the physiological index measuring device, and the possibility of dangerous driving is determined based on the obtained cognitive load and the criterion defined by the learning program according to claim 10. processing;
A process of notifying based on the judgment result;
A driving assistance program that runs
学習した前記関係から、認知負荷について危険運転の基準を定義する定義部と、
を備え、
前記学習部は、前記複数の前記データのうち、前記データに含まれる認知負荷が全て閾値以下のデータは学習に使用しない、
学習装置。 Based on the time-series data of cognitive load obtained from the driver's physiological index, the time at which the driving diagnosis is based on the driving data recorded in time-series information about the driving of the vehicle, and the time before the predetermined time from that time. a learning unit that extracts a plurality of data between times and uses the extracted plurality of data to learn the relationship between cognitive load and dangerous driving;
a definition unit that defines a criterion for dangerous driving with respect to cognitive load from the learned relationship;
with
wherein, of the plurality of data, the learning unit does not use, for learning, data in which all the cognitive loads included in the data are equal to or less than a threshold;
learning device.
判断結果に基づく報知を行う報知部と、
を備える運転支援システム。 A cognitive load is obtained from the physiological index measured by the physiological index measuring device, and the possibility of occurrence of dangerous driving is determined based on the obtained cognitive load and the criterion defined by the learning device according to claim 12. a first judgment unit that
A notification unit that performs notification based on the judgment result;
driving assistance system.
前記第1情報処理装置と通信可能な第2情報処理装置と、を備え、
前記第1情報処理装置は、認知負荷の時系列データと、前記運転データに基づく運転診断の結果を前記第2情報処理装置に送信する通信部を備え、
前記第2情報処理装置は、請求項12記載の学習装置を備える、
学習システム。 a first information processing device mounted on a vehicle;
a second information processing device capable of communicating with the first information processing device,
The first information processing device includes a communication unit that transmits time-series data of cognitive load and results of driving diagnosis based on the driving data to the second information processing device,
The second information processing device comprises the learning device according to claim 12,
learning system.
前記第1情報処理装置は、請求項12記載の学習装置を備える、
学習システム。
Equipped with a first information processing device mounted on a vehicle,
The first information processing device comprises the learning device according to claim 12,
learning system.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019097614A JP7223275B2 (en) | 2019-05-24 | 2019-05-24 | Learning method, driving assistance method, learning program, driving assistance program, learning device, driving assistance system and learning system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019097614A JP7223275B2 (en) | 2019-05-24 | 2019-05-24 | Learning method, driving assistance method, learning program, driving assistance program, learning device, driving assistance system and learning system |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020194206A JP2020194206A (en) | 2020-12-03 |
JP7223275B2 true JP7223275B2 (en) | 2023-02-16 |
Family
ID=73547532
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019097614A Active JP7223275B2 (en) | 2019-05-24 | 2019-05-24 | Learning method, driving assistance method, learning program, driving assistance program, learning device, driving assistance system and learning system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7223275B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN114241429A (en) * | 2021-12-15 | 2022-03-25 | 平安科技(深圳)有限公司 | Driving risk level determination method and device, computer equipment and storage medium |
CN115439278B (en) * | 2022-08-05 | 2023-07-25 | 火焰蓝(浙江)信息科技有限公司 | Online learning method and system suitable for non-motor vehicle driver |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009245147A (en) | 2008-03-31 | 2009-10-22 | Equos Research Co Ltd | Driving support device |
JP2013120529A (en) | 2011-12-08 | 2013-06-17 | Isuzu Motors Ltd | Method and system for estimating driving load |
-
2019
- 2019-05-24 JP JP2019097614A patent/JP7223275B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009245147A (en) | 2008-03-31 | 2009-10-22 | Equos Research Co Ltd | Driving support device |
JP2013120529A (en) | 2011-12-08 | 2013-06-17 | Isuzu Motors Ltd | Method and system for estimating driving load |
Also Published As
Publication number | Publication date |
---|---|
JP2020194206A (en) | 2020-12-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11375338B2 (en) | Method for smartphone-based accident detection | |
US20150006023A1 (en) | System and method for determination of vheicle accident information | |
US11615476B2 (en) | Information processing device and method | |
CN109427114A (en) | Information processing method, information processing unit and message handling program | |
JP2019523943A (en) | Control apparatus, system and method for determining perceptual load of visual and dynamic driving scene | |
JP7223275B2 (en) | Learning method, driving assistance method, learning program, driving assistance program, learning device, driving assistance system and learning system | |
Grimberg et al. | Smartphones vs. in-vehicle data acquisition systems as tools for naturalistic driving studies: a comparative review | |
El Masri et al. | Toward self-policing: Detecting drunk driving behaviors through sampling CAN bus data | |
US20220017032A1 (en) | Methods and systems of predicting total loss events | |
US11260874B2 (en) | Driver assistance device that can be mounted on a vehicle | |
Vavouranakis et al. | Recognizing driving behaviour using smartphones | |
CN116798189A (en) | State detection method, device and storage medium | |
Shaikh et al. | Identifying Driver Behaviour Through Obd-Ii Using Android Application | |
EP3859650A1 (en) | Information processing device, information processing method, and non-transitory storage medium storing program | |
US11145196B2 (en) | Cognitive-based traffic incident snapshot triggering | |
US11961395B2 (en) | Driving assistance device, driving assistance method, and storage medium in which program is stored | |
US20160361007A1 (en) | Non-transitory computer-readable, detection method, and detection device | |
CN109977753A (en) | A kind of method for early warning and vehicle | |
KR102515353B1 (en) | Apparatus for detecting driving state of vehicle and predicting driving event and operating method thereof | |
CN111797784B (en) | Driving behavior monitoring method and device, electronic equipment and storage medium | |
WO2024121972A1 (en) | Driving aptitude level calculation device, driving aptitude level calculation method, and driving aptitude level calculation system | |
JP2023077733A (en) | Vehicular driving diagnosis system | |
US20240174216A1 (en) | Information processing system | |
US10493913B2 (en) | Enhanced rear obstacle detection | |
CN116625702A (en) | Vehicle collision detection method and device and electronic equipment |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221216 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230105 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230118 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7223275 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |