JP6890265B2 - イベント予測システム、イベント予測方法、プログラム、及び移動体 - Google Patents

イベント予測システム、イベント予測方法、プログラム、及び移動体 Download PDF

Info

Publication number
JP6890265B2
JP6890265B2 JP2017009546A JP2017009546A JP6890265B2 JP 6890265 B2 JP6890265 B2 JP 6890265B2 JP 2017009546 A JP2017009546 A JP 2017009546A JP 2017009546 A JP2017009546 A JP 2017009546A JP 6890265 B2 JP6890265 B2 JP 6890265B2
Authority
JP
Japan
Prior art keywords
time
event
prediction
information
moving body
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017009546A
Other languages
English (en)
Other versions
JP2018120291A (ja
Inventor
祥平 林
祥平 林
森 俊也
俊也 森
忠司 芝田
忠司 芝田
中野 信之
信之 中野
勝長 辻
勝長 辻
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2017009546A priority Critical patent/JP6890265B2/ja
Priority to PCT/JP2018/001112 priority patent/WO2018135509A1/ja
Priority to DE112018000477.5T priority patent/DE112018000477B4/de
Publication of JP2018120291A publication Critical patent/JP2018120291A/ja
Priority to US16/512,328 priority patent/US11003925B2/en
Application granted granted Critical
Publication of JP6890265B2 publication Critical patent/JP6890265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、一般にイベント予測システム、イベント予測方法、プログラム、及び移動体に関し、より詳細には、移動体の運転に関連するイベントの発生を予測するイベント予測システム、イベント予測方法、プログラム、及び移動体に関する。
従来、自車両の危険予測を行い、予測結果をドライバに通知することで、車両の運転を支援する運転支援装置が知られている(例えば、特許文献1参照)。
特許文献1に記載の運転支援装置は、運転能力確認部と、危険予測部と、表示制御部とを有している。運転能力確認部は、環境情報取得部、自車情報取得部及びドライバ情報取得部の検出情報に基づいて運転技量試験を周期的に行い、その試験結果からドライバの運転行動を判定し、ドライバの運転能力を確認する。危険予測部は、ドライバの運転行動の判定結果に基づいて、自車両の危険予測を行う。表示制御部は、環境情報取得部、自車情報取得部及びドライバ情報取得部の検出情報に基づいて自車両の未来位置を予測し、自車両の未来位置を自車両の衝突危険度に対応する表示態様で表示部に表示させる。
特開2012−128655号公報
しかし、特許文献1に記載の運転支援装置では、自車両の未来位置の予測結果を表示することで衝突の可能性を運転者(ドライバ)に知らせるため、運転者に通知可能な内容は、運転者の視認可能な範囲で発生するイベント(事故等)に限られる。したがって、特許文献1に記載の運転支援装置では、例えば、路上駐車されている車両の陰からの歩行者の飛び出し等、運転者の死角になる対象物(この場合、歩行者)に起因したイベントについては予測することができない。
本発明は上記事由に鑑みてなされており、運転者の死角になる対象物に起因したイベントの発生についても予測可能なイベント予測システム、イベント予測方法、プログラム、及び移動体を提供することを目的とする。
一態様に係るイベント予測システムは、時間予測部と、第1取得部と、第2取得部と、推定部と、を備える。前記時間予測部は移動体の運転に関連するイベントの発生が予測される予測時点までの所要時間を予測する。前記第1取得部は、前記所要時間を表す時間情報を取得する。前記第2取得部は、前記移動体の状況を表す移動体情報を取得する。前記推定部は、前記時間情報及び前記移動体情報に基づいて、前記予測時点における前記移動体の到達位置を予測し、前記到達位置から前記イベントの発生箇所を推定する。前記時間予測部は、前記移動体に関する予測用情報と、前記イベントが発生した際の前記移動体の状況を表す履歴情報及び前記イベントの発生時点までの所要時間を表すラベル情報を含む学習用データを用いて生成される予測モデルと、を用いて、前記所要時間を予測するように構成されている。
一態様に係るイベント予測システムは、第1取得部と、第2取得部と、推定部と、時間予測部と、を備える。前記第1取得部は、移動体の運転に関連するイベントの発生が予測される予測時点までの所要時間を表す時間情報を取得する。前記第2取得部は、前記移動体の状況を表す移動体情報を取得する。前記推定部は、前記時間情報及び前記移動体情報に基づいて、前記イベントの発生箇所を推定する。前記時間予測部は、前記所要時間を予測する。前記時間予測部は、前記移動体に関する予測用情報と、前記イベントが発生した際の前記移動体の状況を表す履歴情報及び前記イベントの発生時点までの所要時間を表すラベル情報を含む学習用データを用いて生成される予測モデルと、を用いて、前記所要時間を予測するように構成されている。前記時間予測部は、前記移動体を運転する運転者の属性ごとに異なる前記予測モデルを用いるように構成されている。
一態様に係るイベント予測システムは、時間予測部と、蓄積部と、生成部と、を備える。前記時間予測部は、移動体の運転に関連するイベントの発生が予測される予測時点までの所要時間を予測する。前記蓄積部は、前記イベントが発生した際における前記移動体の状況を表す履歴情報を含む複数の学習用データを蓄積する。前記生成部は、前記予測時点における前記移動体の到達位置を予測し、前記到達位置から前記イベントの発生箇所を推定する際に用いられる、前記所要時間を予測するための予測モデルを、前記複数の学習用データを用いて生成する。前記複数の学習用データの各々は、前記イベントの発生時点までの所要時間を表すラベル情報を更に含む。前記時間予測部は、前記移動体に関する予測用情報と、前記予測モデルと、を用いて、前記所要時間を予測するように構成されている。
一態様に係るイベント予測方法は、時間予測処理と、第1取得処理と、第2取得処理と、推定処理と、を有する。前記時間予測処理は、移動体の運転に関連するイベントの発生が予測される予測時点までの所要時間を予測する。前記時間予測処理は、前記移動体に関する予測用情報と、前記イベントが発生した際の前記移動体の状況を表す履歴情報及び前記イベントの発生時点までの所要時間を表すラベル情報を含む学習用データを用いて生成される予測モデルと、を用いて、前記所要時間を予測する。前記第1取得処理は、前記所要時間を表す時間情報を取得する。前記第2取得処理は、前記移動体の状況を表す移動体情報を取得する。前記推定処理は、前記時間情報及び前記移動体情報に基づいて、前記予測時点における前記移動体の到達位置を予測し、前記到達位置から前記イベントの発生箇所を推定する。
一態様に係るプログラムは、コンピュータシステムに、時間予測処理と、第1取得処理と、第2取得処理と、推定処理と、を実行させるためのプログラムである。前記時間予測処理は、移動体の運転に関連するイベントの発生が予測される予測時点までの所要時間を、前記移動体に関する予測用情報と、前記イベントが発生した際の前記移動体の状況を表す履歴情報及び前記イベントの発生時点までの所要時間を表すラベル情報を含む学習用データを用いて生成される予測モデルと、を用いて予測する。前記第1取得処理は、前記所要時間を表す時間情報を取得する。前記第2取得処理は、前記移動体の状況を表す移動体情報を取得する。前記推定処理は、前記時間情報及び前記移動体情報に基づいて、前記予測時点における前記移動体の到達位置を予測し、前記到達位置から前記イベントの発生箇所を推定する。
態様に係る移動体は、前記イベント予測システムを備える。
本発明は、運転者の死角になる対象物に起因したイベントの発生についても予測可能である、という利点がある。
図1は、実施形態1に係るイベント予測システムの構成を示すブロック図である。 図2は、同上のイベント予測システムの予測モデルの生成に係る動作を示すフローチャートである。 図3は、同上のイベント予測システムのイベントの発生箇所の推定に係る動作を示すフローチャートである。 図4は、同上のイベント予測システムを用いた場合の運転者の視野を示す概念図である。 図5A〜図5Cは、同上のイベント予測システムにて予測が可能なイベントの例を示す概念図である。 図6A〜図6Cは、同上のイベント予測システムにて予測が可能なイベントの他の例を示す概念図である。
(実施形態1)
(1)概要
本実施形態に係るイベント予測システム1(図1参照)は、自動車等の移動体100(図1参照)の運転に関連するイベントの発生を予測するためのシステムである。本実施形態では、イベント予測システム1が適用される移動体100が自動車である場合を例に説明する。
ここでいう「イベント」は、例えば、移動体100の運転者が運転に際して危険と感じるような事象を意味する。この種の「イベント」には、例えば、車両同士の衝突、ガードレール等の構造物への車両の衝突、及び歩行者等と車両の接触等の事故、又は、事故には至らないものの事故に直結する可能性の高い事象(いわゆるヒヤリ・ハット)等がある。また、ここでいう「イベントの発生箇所」は、イベントが発生する箇所を意味しており、交差点又は横断歩道等のイベントが発生する場所(地点)、及び、移動体100の周辺の車両、歩行者、又は小動物等のイベントの対象となる特定の物体(部分)の両方を含む。
本実施形態に係るイベント予測システム1は、主として、運転者の死角になる対象物に起因したイベントの発生を予測する。この種のイベントの具体例として、路上駐車されている車両の陰からの歩行者の飛び出し、及び右折(又は左折)待ちの車両の陰からの直進する車両の出現等がある。運転者の視認可能な範囲外で発生するこの種のイベントは、「見えない危険」とも呼ばれる。移動体100の運転者は、通常、この種のイベント(見えない危険)については、移動体100の状況に基づいて、つまり移動体100がどのような状況に置かれているかに基づいて、自身の経験等に照らして予測を行っている。すなわち、一般的に、運転者は、様々なシチュエーションでの移動体100の運転を経験することにより、「見えない危険」を、ある程度予測できるようになる。そのため、運転者の運転の熟練度、運転のセンス、及び運転者の状態(運転者の精神状態等を含む)等によって、「見えない危険」の予見性は大きくばらつくことがある。
イベント予測システム1によれば、この種のイベント(見えない危険)が主として予測されるので、運転者の運転の熟練度、運転のセンス、及び運転者の状態等による「見えない危険」の予見性のばらつきを小さく抑えることが可能になる。したがって、例えば運転の経験が比較的少ない運転者であっても、この種のイベントが発生する可能性を考慮した運転が可能になる。さらに、例えば運転者が疲労及び睡眠不足等により、通常時に比べて集中力が低下した状態にある場合等においても、運転者は、この種のイベントが発生する可能性を考慮した運転が可能になる。さらには、単に運転者がよそ見をしている、又は運転者が注意散漫であるような場合等、運転者がイベントの発生に気付くのが遅れ得る場面において、運転者は、イベントが発生する可能性にいち早く気付くことが可能になり、より安全な運転が可能になる。要するに、運転者の死角になる対象物に起因したイベントの発生についても予測可能なイベント予測システム1によれば、より安全な運転を実現するように、運転者による移動体100の運転を支援可能となる。
本実施形態に係るイベント予測システム1は、例えば、実際にイベントが発生した際の移動体100の状況を表す履歴情報等から機械学習アルゴリズムによって生成される予測モデルを用いて、イベントの発生を予測する。すなわち、移動体100の状況を表す履歴情報等から生成される予測モデルは、運転者の運転の経験に代えて、イベントの発生を予測可能にする。例えば、移動体100の周辺にどのような物体が存在し、移動体100の移動速度がどの程度で、移動体100がどのような場所を移動中か、といった移動体100の種々の状況からは、イベントの発生を予測することが可能である。
イベント予測システム1でのイベントの予測結果は、例えば、ヘッドアップディスプレイ(HUD:Head-Up Display)、及びマルチインフォメーションディスプレイ等に表示されることによって、運転者に報知されることが好ましい。これにより、運転者の死角になる対象物に起因したイベントの発生が予測される場合には、その旨が運転者に知らされることになり、例えば運転の経験が比較的少ない運転者であっても、この種のイベントが発生する可能性を考慮した運転が可能になる。さらに、例えば運転者が疲労及び睡眠不足等により、通常時に比べて集中力が低下した状態にある場合等においても、運転者は、この種のイベントが発生する可能性を考慮した運転が可能になる。さらには、単に運転者がよそ見をしている、又は運転者が注意散漫であるような場合等、運転者がイベントの発生に気付くのが遅れ得る場面において、運転者は、イベントが発生する可能性にいち早く気付くことが可能になり、より安全な運転が可能になる。
(2)構成
本実施形態に係るイベント予測システム1は、図1に示すように、移動体100(本実施形態では自動車)に実装された予測ブロック11と、クラウド200(クラウドコンピューティング)に実装された学習ブロック12と、を備えている。
また、イベント予測システム1は、移動体100に搭載された報知部13を更に備えている。また、イベント予測システム1は、移動体100に搭載されたADAS情報入力部14、車両情報入力部15、及び位置情報入力部16を更に備えている。
予測ブロック11と学習ブロック12とは、通信可能に構成されている。予測ブロック11は、移動体100に実装されているため、クラウド200に実装された学習ブロック12との通信は、例えば、通信事業者が提供する携帯電話網(キャリア網)、及びインターネット等の公衆回線網を介して行われる。携帯電話網には、例えば3G(第3世代)回線、LTE(Long Term Evolution)回線等がある。予測ブロック11は、学習ブロック12と、公衆無線LAN(Local Area Network)を介して通信可能に構成されていてもよい。
予測ブロック11は、第1取得部111と、第2取得部112と、推定部113と、時間予測部114と、モデル格納部115と、入力情報処理部116と、出力情報処理部117と、を有している。予測ブロック11は、例えば、CPU(Central Processing Unit)及びメモリを主構成とするコンピュータシステムにて構成されており、CPUがメモリに格納されているプログラムを実行することにより、コンピュータシステムが予測ブロック11として機能する。プログラムは、ここでは予測ブロック11のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて提供されてもよい。
第1取得部111は、時間情報を取得する。ここでいう「時間情報」は、移動体100の運転に関連するイベントの発生が予測される予測時点までの所要時間を表す情報である。つまり、移動体100を運転中における事故、又はヒヤリ・ハット等のイベントの発生が予測される場合、このイベントの発生が予測される時点を「予測時点」としたときの、予測時点までの所要時間は時間情報によって表される。例えば、現時点から3秒後にイベントの発生が予測される場合、つまり予測時点が現時点の3秒後である場合、予測時点までの所要時間は「3秒」であるから、時間情報は「3秒」となる。
第2取得部112は、移動体情報を取得する。ここでいう「移動体情報」は、移動体100の状況を表す情報である。本実施形態では、移動体情報は、移動体100の周辺の物体に関する情報(「ADAS情報」ともいう)と、移動体100の状態に関する情報(「車両情報」ともいう)と、移動体100の位置に関する情報(「位置情報」ともいう)と、の少なくとも1つを含む。
ADAS情報は、先進運転支援システム(ADAS:Advanced Driver Assistance System)の検出部であるカメラ、ソナーセンサ、レーダ、及びLiDAR(Light Detection and Ranging)等にて検出可能な情報である。ADAS情報の具体例としては、移動体100の周辺を走行中の車両までの移動体100からの距離、この車両の移動体100に対する相対座標、複数の車両同士の車間距離、及びこれらの車両の相対速度等がある。ここで、ADAS情報における移動体100の周辺の物体は、移動体100の周辺にて走行中又は停車中の車両、ガードレール等の構造物の他、歩行者、及び小動物等を含んでいる。
車両情報は、移動体100自体のローカルな状態を表す情報であって、移動体100に搭載されたセンサにて検出可能な情報である。車両情報の具体例としては、移動体100の移動速度(走行速度)、移動体100にかかる加速度、アクセルペダルの踏込量(アクセル開度)、ブレーキペダルの踏込量、舵角、並びにドライバモニタで検出される運転者の脈拍、表情、及び視線等がある。更に、車幅、車高、全長、及びアイポイント等の、移動体100に固有のデータも、車両情報に含まれる。
位置情報は、移動体100の位置に基づく情報であって、自車位置における道路情報等、GPS(Global Positioning System)を用いて検出可能な情報である。位置情報の具体例としては、自車位置における道路の車線数、交差点か否か、丁字路か否か、一方通行か否か、車道幅、歩道の有無、勾配、及びカーブの曲率等がある。
ADAS情報、車両情報、及び位置情報の個々の具体例は、上述した例に限らない。例えば、ドライバモニタが、運転者の顔の向き、眠気レベル、及び感情等を検出可能である場合には、これらの情報(運転者の顔の向き、眠気レベル、及び感情等)も車両情報に含まれる。
推定部113は、時間情報及び移動体情報に基づいて、イベントの発生箇所を推定する。すなわち、推定部113は、第1取得部111が取得した時間情報と、第2取得部112が取得した移動体情報とに基づいて、発生が予測されるイベントの発生箇所の推定を行う。
ここで、推定部113は、時間情報及び移動体情報に基づいて、予測時点における移動体100の到達位置を予測し、予測した到達位置から、イベントの発生箇所を推定するように構成されている。つまり、推定部113は、時間情報から、まずはイベントの発生が予測される時点(予測時点)における移動体100の到達位置を予測する。そして、その到達位置から、推定部113は、イベントの発生箇所を推定する。
さらに、推定部113は、移動体100の周辺に存在しており、所要時間後に到達位置に存在する物体を、イベントの発生箇所として推定するように構成されている。「イベントの発生箇所」は、上述したように交差点又は横断歩道等のイベントが発生する場所、及び、移動体100の周辺の車両、歩行者、又は小動物等のイベントの対象となる特定の物体の両方を含むが、本実施形態では後者(特定の物体)を推定対象とする。推定部113の具体的な処理については、「(3.2)予測動作」の欄で説明する。
時間予測部114は、所要時間を予測する。本実施形態では、時間予測部114は、移動体100に関する予測用情報と、予測モデルと、を用いて、イベントの発生が予測される予測時点までの所要時間を予測するように構成されている。ここにおいて、予測用情報は、移動体100の状況を表す情報であって、第2取得部112が取得する移動体情報と同じ情報である。ここでいう「予測モデル」は、学習ブロック12にて、実際にイベントが発生した際の移動体100の状況を表す履歴情報等から機械学習アルゴリズムによって生成される学習済みモデルである。つまり、第1取得部111にて取得される予測時点までの所要時間を表す時間情報は、予測ブロック11が外部から取得するのではなく、時間予測部114が予測モデルを用いて生成する情報である。
また、時間予測部114は、イベントが発生した際における移動体100の状況を表す履歴情報を、学習ブロック12に送信するように構成されている。ここでいう「履歴情報」は、移動体100の状況を表す情報であって、第2取得部112が取得する移動体情報(及び予測用情報)と同じ情報である。ただし、時間予測部114は、履歴情報を学習ブロック12に常時送信するのではなく、イベントが発生した場合にのみ、履歴情報を学習ブロック12に送信する。イベントの発生の有無は、ソナーセンサ、及びレーダ等の検知結果、エアバッグの動作状態、急ブレーキ及び急ハンドルの検知結果、又は、ドライバモニタで測定される運転者の脈拍、及び表情等にて検出可能である。つまり、予測ブロック11は、イベントの発生をトリガにして、例えば、イベントの発生時点の前後の数秒間の履歴情報を学習ブロック12に送信する。このとき、一定時間(例えば0.1秒)間隔で履歴情報が取得されている場合には、イベントの発生時点の前後の数秒間に取得された複数の履歴情報が、学習ブロック12にまとめて送信される。
ここにおいて、時間予測部114は、イベントの発生時点までの所要時間を表す時間情報を、ラベル情報として、履歴情報と共に学習ブロック12に送信する。ラベル情報としての時間情報は、時間予測部114にて予測される時間情報とは異なり、イベントの発生が検出された時点までの実際の所要時間を表す情報である。複数の履歴情報が学習ブロックにまとめて送信される場合には、ラベル情報としての時間情報は、複数の履歴情報の各々に対応付けられている。また、ラベル情報としての時間情報は、イベントの発生時点までの所要時間に加えて、イベントの発生時点からの経過時間をも表すことが好ましい。イベントの発生時点までの所要時間とイベントの発生時点からの経過時間とは、例えば、符号(+/−)によって区別される。一例として、所要時間が「+」、経過時間が「−」であれば、イベントの発生時点の5秒前は「+5秒」で表され、イベントの発生時点の5秒後は「−5秒」と表される。詳しくは後述するが、履歴情報及びラベル情報(時間情報)は、学習ブロック12において予測モデルの生成に用いられる。
モデル格納部115は、時間予測部114での所要時間の予測に使用される予測モデルを格納する。本実施形態では、予測ブロック11と学習ブロック12との間の通信により、学習ブロック12で生成された予測モデルは、学習ブロック12から予測ブロック11に送信(配信)され、モデル格納部115に格納(記憶)される。本実施形態では、モデル格納部115には、1つの予測モデルが格納されていることと仮定する。モデル格納部115は、学習ブロック12から新たな予測モデルを随時取得し、格納している予測モデルを随時更新する。ただし、モデル格納部115には、複数の予測モデルが格納されてもよい。
入力情報処理部116は、ADAS情報入力部14、車両情報入力部15、及び位置情報入力部16に接続されている。ADAS情報入力部14、車両情報入力部15、及び位置情報入力部16は、それぞれADAS情報、車両情報、及び位置情報の入力インタフェースである。そのため、入力情報処理部116には、ADAS情報入力部14からADAS情報が入力され、車両情報入力部15から車両情報が入力され、位置情報入力部16から位置情報が入力される。入力情報処理部116は、ADAS情報、車両情報、及び位置情報を、移動体情報として第2取得部112に出力する。さらに、入力情報処理部116は、ADAS情報、車両情報、及び位置情報を、予測用情報として時間予測部114に出力する。すなわち、本実施形態では、移動体情報及び予測用情報の各々は、ADAS情報、車両情報、及び位置情報の全てを含む情報である。
出力情報処理部117は、推定部113、及び報知部13に接続されている。出力情報処理部117には、推定部113の推定結果、つまり推定部113で推定されたイベントの発生箇所が入力される。出力情報処理部117は、推定部113で推定されたイベントの発生箇所を、報知部13に出力し、報知部13にて報知させる。本実施形態では、報知部13は、イベントの発生箇所を表示することにより報知する表示部を有している。そのため、出力情報処理部117は、推定部113の推定結果を、表示部にて表示可能な態様のデータとして報知部13に出力する。
報知部13は、推定部113で推定されたイベントの発生箇所を報知する。つまり、報知部13は、出力情報処理部117から、推定部113の推定結果を受け取ることにより、イベントの発生箇所を報知(本実施形態では表示)する。本実施形態では、報知部13は、3D−HUD131、2D−HUD132、メータ133、及びマルチインフォメーションディスプレイ134を、表示部の一例として有している。3D−HUD131及び2D−HUD132は、移動体100のウインドシールドに下方(ダッシュボード)から画像を投影することで、ウインドシールドで反射された画像を運転者に視認させる。特に、3D−HUD131は、移動体100の前方の路面上に奥行きをもって視認される画像を投影可能である。報知部13での具体的な表示態様については、「(3.2)予測動作」の欄で説明する。
学習ブロック12は、蓄積部121と、生成部122と、を有している。学習ブロック12は、例えば、CPU及びメモリを主構成とするコンピュータシステムにて構成されており、CPUがメモリに格納されているプログラムを実行することにより、コンピュータシステムが学習ブロック12として機能する。プログラムは、ここでは学習ブロック12のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の記録媒体に記録されて提供されてもよい。
蓄積部121は、イベントが発生した際における移動体100の状況を表す履歴情報を含む複数の学習用データを蓄積する。本実施形態では、時間予測部114から学習ブロック12に送信される、ラベル情報(時間情報)が、履歴情報と共に学習用データとして蓄積部121に蓄積される。つまり、蓄積部121に蓄積される複数の学習用データの各々は、イベントが発生した際における履歴情報と、イベントの発生時点までの所要時間(又は発生時点からの経過時間)を表す時間情報と、を含んでいる。
このように、蓄積部121には、イベントの発生をトリガにして、時間情報(ラベル情報)が付加された状態の履歴情報が、学習用データとして蓄積される。学習用データは、イベントが発生する度に蓄積部121に蓄積され、蓄積部121には複数の学習用データが蓄積される。ここで、蓄積部121に蓄積された複数の学習用データは、生成部122での予測モデルの生成に用いられる学習用データセットである。つまり、複数の学習用データは、履歴情報にアノテーション処理が施されることにより、生成部122での機械学習に適した形に加工された学習用データセットを構成する。
生成部122は、複数の学習用データを用いて、予測モデルを生成する。生成部122は、一定量以上の学習用データを用いて、機械学習アルゴリズムによって予測モデルを生成する。予測モデルは、上述したように、時間予測部114にてイベントの発生が予測される予測時点までの所要時間を予測するために使用される学習済みモデルである。生成部122で生成された予測モデルは、学習ブロック12から予測ブロック11に送信され、モデル格納部115に格納される。ここで、生成部122は、予測モデルの評価用のサンプルを有しており、予測モデルの評価が向上する度に、予測モデルを予測ブロック11に送信し、モデル格納部115に格納されている予測モデルを更新する。
(3)動作
次に、本実施形態に係るイベント予測システム1の動作について説明する。
(3.1)学習動作
まず、学習ブロック12での予測モデルの生成に係るイベント予測システム1の動作について、図2に示すフローチャートを参照して説明する。
学習ブロック12は、予測ブロック11でのイベントの発生をトリガにして、予測ブロック11から履歴情報を取得する(S11)。さらに、このとき、学習ブロック12は、履歴情報に対応付けられたラベル情報(時間情報)を、履歴情報と併せて取得する。学習ブロック12は、取得した時間情報を、ラベル情報として履歴情報に付加するアノテーション処理を行う(S12)。学習ブロック12は、このようにして得られる、ラベル情報(時間情報)が付加された履歴情報を学習用データとし、この学習用データを、蓄積部121に蓄積する(S13)。
学習ブロック12は、蓄積された学習用データの増加量を表す値(例えばビット数)を蓄積データ増加量とし、蓄積データ増加量と所定値Qとを比較する(S14)。蓄積データ増加量が所定値Q以上であれば(S14:Yes)、学習ブロック12は、生成部122にて予測モデルを生成する(S15)。このとき、生成部122は、蓄積部121に蓄積されている複数の学習用データを用いて、機械学習アルゴリズムによって予測モデルを生成する。生成部122で生成された予測モデルは、学習ブロック12から予測ブロック11に送信され、モデル格納部115に格納される。一方、蓄積データ増加量が所定値Q未満であれば(S14:No)、イベント予測システム1は、ステップS15を飛ばして、学習ブロック12での一連の処理を終了する。
イベント予測システム1は、上記ステップS11〜S15の処理を、予測ブロック11にてイベントが発生する度に繰り返し行うことで、予測モデルを生成する。そして、学習ブロック12は、予測モデルの評価が向上する度に、予測モデルを予測ブロック11に送信し、モデル格納部115に格納されている予測モデルを更新する。
また、学習ブロック12は、イベント予測システム1の運用開始時においては、蓄積部121に予め複数の学習用データを蓄積しておくことにより、予測ブロック11から履歴情報を取得しなくても、予測モデルを生成可能に構成されていることが好ましい。予測モデルについても同様であって、イベント予測システム1の運用開始時においては、学習ブロック12及びモデル格納部115に、予めデフォルトの予測モデルが格納されていることが好ましい。
ここにおいて、ラベル情報としての時間情報は、上述したように、イベントの発生時点までの所要時間に加えて、イベントの発生時点からの経過時間をも表すことが好ましい。すなわち、学習ブロック12は、イベントの発生前の履歴情報だけでなく、イベントの発生後の履歴情報についても、イベントの発生時点からの経過時間を表すラベル情報(時間情報)を付加して、学習用データとして蓄積部121に蓄積することが好ましい。イベントの発生後の履歴情報を用いることにより、イベントの発生時点の特定精度が向上し、結果的に、生成部122で生成される予測モデルの評価が向上する。さらに、イベントの発生後の履歴情報を用いることにより、学習ブロック12にて、イベントの発生の有無の真偽について検証可能となる。要するに、急ブレーキの検知結果からイベントの発生が検出された場合でも、その後、移動体100の状況等から、事故、又はヒヤリ・ハット等ではないと判断される場合には、イベントが発生しなかったこととして、学習用データを破棄可能となる。例えば、運転者の運転が荒い場合等であって、急ブレーキの検知結果からイベントの発生が検出された後、移動体100が通常通りの移動(走行)を継続していると判断されると、学習ブロック12において、学習用データが破棄される。これにより、蓄積部121に蓄積される学習用データの質が向上する。
(3.2)予測動作
次に、予測ブロック11でのイベントの発生箇所の推定に係るイベント予測システム1の動作について、図3に示すフローチャートを参照して説明する。
予測ブロック11は、時間予測部114にて予測用情報を取得する(S21)。このとき、ADAS情報入力部14、車両情報入力部15、及び位置情報入力部16から入力情報処理部116に入力されるADAS情報、車両情報、及び位置情報が、予測用情報として時間予測部114に入力される。予測ブロック11は、取得した予測用情報、及びモデル格納部115に格納されている予測モデルを用いて、時間予測部114にて所要時間の予測を行う(S22)。ここで、予測用情報から特定される移動体100の状況が、例えば、3秒後にイベントが発生する可能性が高いと判断されるような状況にあれば、所要時間は3秒と予測される。予測用情報の取得(S21)及び所要時間の予測(S22)は、一定時間(例えば0.1秒)間隔で随時実行される。
予測ブロック11は、予測した所要時間と規定時間S(例えば5秒)とを比較する(S23)。所要時間が規定時間S以下であれば(S23:Yes)、予測ブロック11は、イベントの発生箇所を推定するための処理を開始する。具体的には、予測ブロック11は、第1取得部111にて、イベントの発生が予測される予測時点までの所要時間を表す時間情報を取得する第1取得処理(S24)を実行する。このとき、第1取得部111は、時間予測部114にて予測された所要時間の情報を、時間情報として時間予測部114から取得する。さらに、予測ブロック11は、第2取得部112にて、移動体100の状況を表す移動体情報を取得する第2取得処理(S25)を実行する。このとき、第2取得部112は、ADAS情報入力部14、車両情報入力部15、及び位置情報入力部16から入力情報処理部116に入力されるADAS情報、車両情報、及び位置情報を、予測用情報として取得する。
その後、予測ブロック11は、推定部113にて、時間情報及び移動体情報に基づいて、イベントの発生箇所を推定する推定処理(S26)を実行する。具体的には、推定部113は、まず時間情報及び移動体情報に基づいて、予測時点における移動体100の到達位置を予測する。イベントの発生が予測される予測時点までの所要時間がT〔s〕であって、移動体100の移動速度(走行速度)がV〔m/s〕であるとすれば、到達位置までの距離D〔m〕は、「D=VT」で求まる。所要時間Tは時間情報にて特定され、移動体100の移動速度は移動体情報に含まれる車両情報にて特定される。
そして、推定部113は、移動体100の周辺に存在しており、所要時間後に到達位置に存在する物体を、イベントの発生箇所として推定する。具体的には、推定部113は、算出した到達位置までの距離Dと、移動体情報に含まれるADAS情報、及び位置情報等の情報とを用いて、イベントの発生箇所を推定する。
一例として、図4に示すような状況での、推定部113によるイベントの発生箇所の推定処理について説明する。図4は、移動体100の運転者の視野を示す概念図である。図4の例では、移動体100(自車)が走行中の走行車線501、及び対向車線502の各々が2車線の直線道路を想定している。この例において、移動体100の左前方の走行車線501の路肩には、駐車中のトラック301が存在する。移動体100からトラック301までの距離は66〔m〕であると仮定する。
この場合において、所要時間Tが4〔s〕、移動速度Vが16.67〔m/s〕であるとすれば、到達位置までの距離Dは66.68〔m〕となる。そうすると、ADAS情報に含まれる車間距離、相対速度等の情報から、推定部113は、予測時点における移動体100の到達位置(66.68〔m〕前方)には、停車中のトラック301が存在することを特定できる。この場合、推定部113は、イベントの対象がトラック301であると判断し、このトラック301をイベントの発生箇所と推定する。このように、推定部113は、移動体100の周辺に存在しており、所要時間後に到達位置に存在する物体(ここではトラック301)を、イベントの発生箇所として推定する。
推定部113での推定処理(S26)が終わると、イベント予測システム1は、推定部113で推定されたイベントの発生箇所を、報知部13にて報知する(S27)。図4の例では、3D−HUD131により、イベントの発生箇所として推定されたトラック301の周囲に、マーカ401(ドットハッチングで示す領域)を表示する。これにより、運転者においては、トラック301の周囲に、立体的なマーカ401が重ねて表示されて見えるため、トラック301への注意が喚起される。すなわち、運転者の視界においては、実空間上に3D−HUD131が表示するマーカ401が合成された、拡張現実(AR:Augmented Reality)表示が実現される。
これにより、運転者は、運転者の死角となるトラック301の陰からの歩行者、又は自転車等の飛び出しのように「見えない危険」が潜んでいることを確認できる。このように、本実施形態に係るイベント予測システム1によれば、より安全な運転を実現するように、運転者による移動体100の運転を支援可能である。
一方、予測された所要時間が規定時間Sより大きければ(S23:No)、イベント予測システム1は、ステップS24〜S27を飛ばして、予測ブロック11での一連の処理を終了する。
イベント予測システム1は、上記ステップS21〜S27の処理を、一定時間(例えば0.1秒)間隔で繰り返し行うことで、イベントの発生箇所を推定する。そして、イベント予測システム1は、所要時間が規定時間S以下となる度に(S23:Yes)、イベントの発生箇所を推定し、報知を行う。
また、予測ブロック11でのイベントの発生箇所の推定に係るイベント予測システム1の動作は、図3に示す例に限らない。例えば、第1取得処理(S24)と、第2取得処理(S25)とは、順序が逆であってもよい。
(4)補足事項
以下に、本実施形態に係るイベント予測システム1にて予測が可能なイベント(見えない危険)の例を幾つか挙げる。ここでは、イベント予測システム1は、移動体100(自車)を含めて、上方から俯瞰したような画像において、イベントの発生箇所を表示することと仮定する。
まず、図5A、図5B、及び図5Cは、対象物(ここでは停車中のトラック)の陰から、自転車、車両、又は歩行者等が飛び出し得る状況を示している。
図5Aの例では、移動体100である自車300Aが走行中の走行車線501A、及び対向車線502Aの各々が1車線であって、対向車線502Aの路肩に、駐車中の複数台のトラック301A,302A,303Aが存在する。さらに、対向車線502A側の歩道503Aからは、トラック302Aとトラック303Aとの間を通って、自転車304Aが走行車線501Aを横断しようとしている。図5Aのような状況では、イベント予測システム1は、例えば、複数台のトラック301A,302A,303Aの車間距離等の情報から、駐車中の複数台のトラック301A,302A,303Aの周辺に「見えない危険」が潜んでいると判断する。そのため、イベント予測システム1は、駐車中の複数台のトラック301A,302A,303Aの周囲の領域にマーカ401Aを表示する。図5Aに例示するような状況は、複数台のトラック301A,302A,303Aが駐車中である場合に限らず、例えば、複数台のトラック301A,302A,303Aが渋滞により、停車又は極低速で走行している場合等にも生じ得る。
図5Bの例では、移動体100である自車300Bが走行中の走行車線501B、及び対向車線502Bの各々が2車線である。ここで、信号機504Bが赤信号であるため、走行車線501Bにおける自車300Bの左前方には、停車中(信号待ち)の複数台のトラック301B,302Bが存在する。さらに、対向車線502Bには走行中のトラック303Bが存在する。この場合において、走行車線501B側の歩道503B上の駐車スペース505Bからは、トラック301Bとトラック302Bとの間を通って、車両304Bが対向車線502Bに出ようとしている。図5Bのような状況では、イベント予測システム1は、例えば、複数台のトラック301B,302Bの車間距離、信号機504B等の情報から、停車中のトラック301Bの周辺に「見えない危険」が潜んでいると判断する。そのため、イベント予測システム1は、停車中のトラック301Bの周囲の領域にマーカ401Bを表示する。
図5Cの例では、移動体100である自車300Cが走行中の走行車線501C、及び対向車線502Cの各々が1車線であって、走行車線501Cの路肩に、駐車中のトラック301Cが存在する。この場合において、トラック301Cの前方の横断歩道504Cを、対向車線502C側の歩道503Cに向けて、歩行者302Cが横断中である。図5Cのような状況では、イベント予測システム1は、例えば、トラック301Cの移動速度、横断歩道504C等の情報から、駐車中のトラック301Cの周辺に「見えない危険」が潜んでいると判断する。そのため、イベント予測システム1は、駐車中のトラック301Cの周囲の領域にマーカ401Cを表示する。
また、図6A、図6B、及び図6Cは、対象物(ここではトラック)により生じる死角に車両が存在する状況を示している。
図6Aの例では、移動体100である自車300Dが走行中の走行車線501D、及び対向車線502Dの各々が1車線であって、自車300Dの前方の交差点には、左方から右折してくるトラック301Dが存在する。さらに、対向車線502Dには、同交差点内で右折待ちの車両302Dが存在する。図6Aのような状況では、イベント予測システム1は、例えば、トラック301D及び車両302D等の情報から、トラック301Dにて生じる死角に「見えない危険」が潜んでいると判断する。そのため、イベント予測システム1は、トラック301Dにより生じる死角領域にマーカ401Dを表示する。
図6Bの例では、移動体100である自車300Eが走行中の走行車線501E、及び対向車線502Eの各々が2車線であって、自車300Eの前方の交差点には、走行車線501Eにて右折待ちの複数台のトラック301E,302E,303Eが存在する。さらに、対向車線502Eには、同交差点内で右折待ちの車両304Eが存在する。図6Bのような状況では、イベント予測システム1は、例えば、複数台のトラック301E,302E,303E及び車両304E等の情報から、複数台のトラック301E,302E,303Eにより生じる死角に「見えない危険」が潜んでいると判断する。そのため、イベント予測システム1は、複数台のトラック301E,302E,303Eにより生じる死角領域にマーカ401Eを表示する。
図6Cの例では、移動体100である自車300Fが走行中の走行車線501F、及び対向車線502Fの各々が2車線であって、自車300Fは交差点内で右折待ちをしている。さらに、同交差点には、対向車線502Fにて右折待ちの複数台のトラック301F,302F,303Fが存在する。さらに、対向車線502Fには、直進中の車両304Fが存在する。図6Cのような状況では、イベント予測システム1は、例えば、先頭のトラック301F及び車両304F等の情報から、先頭のトラック301Fにより生じる死角に「見えない危険」が潜んでいると判断する。そのため、イベント予測システム1は、トラック301Fにより生じる死角領域にマーカ401Fを表示する。
(5)変形例
実施形態1は、本発明の様々な実施形態の一つに過ぎない。実施形態1は、本発明の目的を達成できれば、設計等に応じて種々の変更が可能である。また、イベント予測システム1と同様の機能は、イベント予測方法、コンピュータプログラム、又はプログラムを記憶した記憶媒体等で具現化されてもよい。一態様に係るイベント予測方法は、第1取得処理と、第2取得処理と、推定処理と、を有する。第1取得処理は、移動体100の運転に関連するイベントの発生が予測される予測時点までの所要時間を表す時間情報を取得する処理である。第2取得処理は、移動体100の状況を表す移動体情報を取得する処理である。推定処理は、時間情報及び移動体情報に基づいて、イベントの発生箇所を推定する処理である。一態様に係る(コンピュータ)プログラムは、コンピュータシステムに、第1取得処理と、第2取得処理と、推定処理と、を実行させるためのプログラムである。
以下、実施形態1の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。
イベントの発生箇所の推定結果は、報知部13から報知される構成に限らず、例えば、移動体100を制御する車両制御システムに出力されてもよい。この場合、車両制御システムが、イベントの発生箇所の推定結果に応じて、ブレーキ、アクセル、ステアリング等を操作することにより、イベントの発生前に予め減速したり、イベントの発生箇所を回避したりすることができる。これにより、車両制御システムにて、自動運転(完全自動運転、及び一部自動運転の両方を含む)が実現可能となる。
また、イベント予測システム1は、イベントの発生が予測される予測時点までの所要時間を表す時間情報に基づいてイベントの発生箇所を推定する機能があればよく、所要時間を予測する機能についてはイベント予測システム1に必須の機能ではない。そのため、イベント予測システム1は、例えば、他のシステムから所要時間を取得するように構成されていてもよい。すなわち、予測モデルを用いて所要時間を予測する時間予測部114、学習用データを蓄積する蓄積部121、及び予測モデルを生成する生成部122等については、イベント予測システム1に必須の構成ではない。
また、時間予測部114がラベル情報を学習ブロック12に送信する構成に限らず、予測ブロック11における時間予測部114以外の部位が、ラベル情報を学習ブロック12に送信してもよい。さらに、ラベル情報としての時間情報は、移動体100に設けられた予測ブロック11側で、履歴情報に付加されていてもよい。この場合、学習ブロック12は、予測ブロック11から受信したラベル情報付きの履歴情報を、随時、蓄積部121に蓄積する。また、予測ブロック11から学習ブロック12にラベル情報が送信される構成に限らず、学習ブロック12において、予測ブロック11から受信した履歴情報を用いて、ラベル情報を生成してもよい。この場合、ラベル情報の生成、及びラベル情報の履歴情報への付加は、いずれも学習ブロック12において実行されることになる。
また、実施形態1に係るイベント予測システム1は、移動体100とクラウド200とに分離したシステムで具現化されることに限らない。例えば、イベント予測システム1は1つの筐体に収納されていてもよいし、移動体100又はクラウド200に集約されてもよい。例えば、イベント予測システム1が移動体100に集約されている場合、イベント予測システム1は、移動体100において、スタンドアローンで予測モデルの生成をも行うことができる。この場合、例えば、移動体100に組み込まれているEEPROM(Electrically Erasable and Programmable Read-Only Memory)及びECU(Electronic Control Unit)がそれぞれ蓄積部及び生成部として機能する。イベント予測システム1の各構成要素(推定部113、及び時間予測部114等)は、2つ以上の装置に分散して設けられてもよい。例えば、時間予測部114が、移動体100とクラウド200とに分散して設けられてもよい。
また、学習ブロック12は、学習用データとなる履歴情報を、1台の移動体100から取得する構成に限らず、複数台の移動体100から取得(収集)してもよい。この場合、学習ブロック12は、複数台の移動体100から取得した履歴情報等を用いて予測モデルを生成し、生成した予測モデルを、複数台の移動体100に送信する。特に、学習ブロック12が多数台の移動体100から学習用データとなる履歴情報を収集する場合、収集された履歴情報の集合は、いわゆるビッグデータを構成する。
また、学習ブロック12は、例えば自動車の販売及びメンテナンス等を行う店舗に設置されていてもよい。この場合、学習ブロック12は、店舗でメンテナンスを受ける複数台の移動体100から、履歴情報を取得することができる。学習ブロック12で生成された予測モデルは、移動体100のメンテナンス時に予測ブロック11に送信される。これにより、移動体100では、メンテナンスの際に予測モデルの更新が可能となる。さらに、学習ブロック12は、例えば、複数の店舗を管理する販売会社又はメーカ等のサーバ装置で具現化されてもよい。この場合、学習ブロック12は、複数の店舗から収集した履歴情報を一元管理でき、これらの履歴情報を用いて予測モデルを生成できる。
また、予測用情報は、移動体100の状況を表す情報であればよく、第2取得部112が取得する移動体情報と同じ情報でなくてもよい。例えば、予測用情報における車両情報に含まれている移動体100の移動速度を、移動体情報においては、位置情報から算出される移動速度で代用してもよい。同様に、履歴情報は、移動体100の状況を表す情報であればよく、第2取得部112が取得する移動体情報と同じでなくてもよい。
また、報知部13は、3D−HUD131にて拡張現実表示を行う構成に限らず、2D−HUD132、メータ133、又はマルチインフォメーションディスプレイ134等にて、例えば、テキスト表示、又はアニメーション表示を行ってもよい。また、報知部13は、カーナビゲーションシステムのディスプレイ等に、フロントカメラで撮影されたリアルタイムの映像にマーカを合成した映像を表示することで、拡張現実表示を行ってもよい。さらに、報知部13は、ヘッドマウントディスプレイ(HMD:Head Mounted Display)等のウェアラブル端末からなる表示部を有していてもよい。
また、報知部13は、イベントの発生箇所を表示することにより報知する構成に限らず、例えば、音声、ハプティックデバイス、又はこれらと表示との組み合わせにより、イベントの発生箇所を報知する構成であってもよい。さらに、報知部13による報知の対象は移動体100の運転者に限らず、例えば、灯具類の点灯、又はクラクション等により、移動体100の後続車、及び移動体100の周辺の歩行者等に対して、報知部13が報知してもよい。
また、推定部113による推定及び報知部13による報知を実行するか否かは、例えば、運転者の状態(精神状態を含む)等に基づいて、切り替わってもよい。例えば、運転者が疲労及び睡眠不足等により、通常時に比べて集中力が低下した状態にある場合、運転者は、イベントの発生の可能性に気付きにくくなることがある。そこで、例えば、車両情報に含まれる、移動体100にかかる加速度、及びドライバモニタの検出結果から、通常時よりも運転者の運転が荒い場合に、推定部113による推定を実行するように構成されてもよい。また、例えば、ドライバモニタの検出結果から、運転者がイベントの発生の可能性に気付いていないと判断される場合に、報知部13にて報知を実行するように構成されてもよい。さらに、運転者の状態等に基づいて、報知部13による報知を行うレベルを変化させてもよい。
また、推定部113は、移動体100の周辺に存在しており、所要時間後に到達位置に存在する物体を、イベントの発生箇所として推定する構成に限らず、交差点又は横断歩道等のイベントが発生する場所を、イベントの発生箇所として推定してもよい。
また、イベント予測システム1で予測されるイベントは、運転者の死角になる対象物に起因したイベント(見えない危険)に限らない。イベント予測システム1は、例えば、事故が多発している地点、トンネルの出口及び入口付近、及び急カーブ等、移動体100の状況に依らずに予測可能なイベントの発生箇所を予測してもよい。
また、イベント予測システム1は、車両と車両との間(車車間)、又は車両と信号機及び道路標識等のインフラ(infrastructure)との間(路車間)で、直接的に通信する、いわゆるV2X(Vehicle to Everything)の通信技術を利用してもよい。V2Xの通信技術によれば、例えば、時間予測部114での所要時間の予測に用いられる予測用情報等を、移動体100が、周辺の車両又はインフラから取得することが可能になる。さらに、報知部13の代わりに、インフラにてイベントの発生箇所を報知させることも可能になる。インフラにてイベントの発生箇所の推定等も行われてもよく、この場合、移動体100には、イベント予測システム1が搭載されなくてもよい。
また、イベント予測システム1は、自動車に限らず、例えば、二輪車、電車、航空機、ドローン、建設機械、及び船舶等、自動車以外の移動体にも適用可能である。さらに、イベント予測システム1は、移動体に限らず、例えば、アミューズメント施設で用いられてもよいし、ヘッドマウントディスプレイ(HMD:Head Mounted Display)等のウェアラブル端末、医療設備、又は据置型の装置として用いられてもよい。
(実施形態2)
本実施形態に係るイベント予測システム1は、時間予測部114が移動体100を運転する運転者の属性ごとに異なる予測モデルを用いる点で、実施形態1に係るイベント予測システム1と相違する。以下、実施形態1と同様の構成については、共通の符号を付して適宜説明を省略する。
すなわち、実施形態1では、時間予測部114は、万人に共通の予測モデルを用いて所要時間を予測しているが、本実施形態では、時間予測部114は、運転者の属性ごとに異なる予測モデルを用いて、所要時間を予測する。ここでいう「運転者の属性」は、運転者の年齢、性別、及び運転の癖(アクセル及びブレーキの踏み方等)等を含む。
本実施形態においては、学習ブロック12は、学習用データとなる履歴情報を複数の運転者から取得する。生成部122は、運転者の属性ごとに予測モデルを生成する。生成部122は、一例として、レコメンドアルゴリズム等で用いられる協調フィルタリングのアルゴリズムを適用し、機械学習を行うことによって、運転者の属性ごとの予測モデルを生成する。
このようにして生成された複数種類の予測モデルの中から、移動体100ごとに、適用する(モデル格納部115に格納する)予測モデルが選択される。つまり、予測ブロック11は、移動体100の運転者の属性に応じて、取得する予測モデルを決定する。これにより、時間予測部114は、運転者の属性ごとに異なる予測モデルを用いて所要時間を予測できる。
本実施形態に係るイベント予測システム1によれば、万人に共通の予測モデルを用いる場合に比べて、時間予測部114での所要時間の予測精度が向上する。
実施形態2の変形例に係るイベント予測システム1では、1台の移動体100において複数の予測モデルが使い分けられる。すなわち、1台の移動体100を家族で共用している場合、又はカーシェアリング等においては、1台の移動体100を複数の運転者が運転する。本変形例によれば、このような場合に、1台の移動体100であっても、運転者ごとに異なる予測モデルが適用可能である。具体的には、運転者が変わる度に、予測ブロック11が運転者の属性に応じた予測モデルを学習ブロック12から取得する。又は、モデル格納部115に複数の予測モデルを格納し、これら複数の予測モデルから、時間予測部114が運転者の属性に応じて使用する予測モデルを選択してもよい。
実施形態2に係るイベント予測システム1の構成(変形例を含む)は、実施形態1(変形例を含む)の構成と適宜組み合わせ可能である。
上記各実施形態で示した図面は、イベント予測システム1の一例を説明するための概念図に過ぎず、実際の態様とは、各部の形状、サイズ、及び位置関係等が適宜異なる。
(まとめ)
以上説明したように、第1の態様に係るイベント予測システム(1)は、第1取得部(111)と、第2取得部(112)と、推定部(113)と、を備える。第1取得部(111)は、移動体(100)の運転に関連するイベントの発生が予測される予測時点までの所要時間を表す時間情報を取得する。第2取得部(112)は、移動体(100)の状況を表す移動体情報を取得する。推定部(113)は、時間情報及び移動体情報に基づいて、イベントの発生箇所を推定する。
この構成によれば、イベントの発生が予測される予測時点までの所要時間及び移動体(100)の状況に基づいて、イベントの発生箇所が推定される。したがって、イベント予測システム(1)では、運転者の死角になる対象物に起因したイベント(見えない危険)の発生についても予測可能である、という利点がある。そのため、イベント予測システム(1)によれば、運転者の運転の熟練度、運転のセンス、及び運転者の状態等による「見えない危険」の予見性のばらつきを小さく抑えることが可能になる。その結果、例えば運転の経験が比較的少ない運転者であっても、この種のイベントが発生する可能性を考慮した運転が可能になる。さらに、例えば運転者が疲労及び睡眠不足等により、通常時に比べて集中力が低下した状態にある場合等においても、運転者は、この種のイベントが発生する可能性を考慮した運転が可能になる。さらには、単に運転者がよそ見をしている、又は運転者が注意散漫であるような場合等、運転者がイベントの発生に気付くのが遅れ得る場面において、運転者は、イベントが発生する可能性にいち早く気付くことが可能になり、より安全な運転が可能になる。また、イベント予測システム(1)は、予測時点までの所要時間という一次元のパラメータを用いてイベントの発生箇所の推定を行うため、イベントの発生箇所の推定に係る処理負荷を比較的小さく抑えることができる。
第2の態様に係るイベント予測システム(1)は、第1の態様において、移動体情報は、移動体(100)の周辺の物体に関する情報と、移動体(100)の状態に関する情報と、移動体(100)の位置に関する情報と、の少なくとも1つを含む。
この構成によれば、イベント予測システム(1)は、ADAS情報、車両情報、位置情報の少なくとも1つを用いてイベントの発生箇所の推定を行うため、イベントの発生箇所の推定に係る処理負荷を比較的小さく抑えることができる。
第3の態様に係るイベント予測システム(1)は、第1又は2の態様において、推定部(113)は、時間情報及び移動体情報に基づいて、予測時点における移動体(100)の到達位置を予測するように構成されている。推定部(113)は、到達位置からイベントの発生箇所を推定するように構成されている。
この構成によれば、予測時点における移動体(100)の到達位置から、イベントの発生箇所が推定されるので、イベントの発生箇所の推定精度が向上する。
第4の態様に係るイベント予測システム(1)は、第3の態様において、推定部(113)は、移動体(100)の周辺に存在しており、所要時間後に到達位置に存在する物体を、イベントの発生箇所として推定するように構成されている。
この構成によれば、所要時間後に到達位置に存在する物体が、イベントの発生箇所として推定されるので、例えば、イベントの対象となる物体が移動している場合でも、イベントの対象として推定可能となる。
第5の態様に係るイベント予測システム(1)は、第1〜4のいずれかの態様において、推定部(113)で推定されたイベントの発生箇所を報知する報知部(13)を更に備える。
この構成によれば、イベントの発生箇所が報知されるので、運転者等においては、イベントの発生箇所に注意して運転すること等が可能となる。
第6の態様に係るイベント予測システム(1)は、第5の態様において、報知部(13)は、イベントの発生箇所を表示することにより報知する表示部を有する。
この構成によれば、イベントの発生箇所が表示により報知されるので、運転者等においては、イベントの発生箇所の特定が容易になる。
第7の態様に係るイベント予測システム(1)は、第1〜6のいずれかの態様において、所要時間を予測する時間予測部(114)を更に備える。時間予測部(114)は、移動体(100)に関する予測用情報と、予測モデルと、を用いて、所要時間を予測するように構成されている。
この構成によれば、イベント予測システム(1)にて所要時間が予測されるので、イベント予測システム(1)に外部から所要時間を与える必要がなく、イベントの発生箇所を推定するための処理をイベント予測システム(1)のみで完結可能である。
第8の態様に係るイベント予測システム(1)は、第7の態様において、時間予測部(114)は、移動体(100)を運転する運転者の属性ごとに異なる予測モデルを用いるように構成されている。
この構成によれば、万人に共通の予測モデルを用いる場合に比べて、時間予測部(114)での所要時間の予測精度が向上する。
第9の態様に係るイベント予測システム(1)は、蓄積部(121)と、生成部(122)と、を備える。蓄積部(121)は、移動体(100)の運転に関連するイベントが発生した際における移動体(100)の状況を表す履歴情報を含む複数の学習用データを蓄積する。生成部(122)は、複数の学習用データを用いて、イベントの発生が予測される予測時点までの所要時間を予測するための予測モデルを生成する。複数の学習用データの各々は、イベントの発生時点までの所要時間を表すラベル情報を更に含む。
この構成によれば、イベントの発生が予測される予測時点までの所要時間を予測するための予測モデルが生成される。この予測モデルを用いることで、イベント予測システム(1)では、運転者の死角になる対象物に起因したイベント(見えない危険)の発生についても予測可能である、という利点がある。
第10の態様に係るイベント予測方法は、第1取得処理と、第2取得処理と、推定処理と、を有する。第1取得処理は、移動体(100)の運転に関連するイベントの発生が予測される予測時点までの所要時間を表す時間情報を取得する。第2取得処理は、移動体(100)の状況を表す移動体情報を取得する。推定処理は、時間情報及び移動体情報に基づいて、イベントの発生箇所を推定する。
この態様によれば、イベントの発生が予測される予測時点までの所要時間及び移動体(100)の状況に基づいて、イベントの発生箇所が推定される。したがって、イベント予測方法では、運転者の死角になる対象物に起因したイベント(見えない危険)の発生についても予測可能である、という利点がある。そのため、イベント予測方法によれば、運転者の運転の熟練度、運転のセンス、及び運転者の状態等による「見えない危険」の予見性のばらつきを小さく抑えることが可能になる。その結果、例えば運転の経験が比較的少ない運転者であっても、この種のイベントが発生する可能性を考慮した運転が可能になる。さらに、例えば運転者が疲労及び睡眠不足等により、通常時に比べて集中力が低下した状態にある場合等においても、運転者は、この種のイベントが発生する可能性を考慮した運転が可能になる。さらには、単に運転者がよそ見をしている、又は運転者が注意散漫であるような場合等、運転者がイベントの発生に気付くのが遅れ得る場面において、運転者は、イベントが発生する可能性にいち早く気付くことが可能になり、より安全な運転が可能になる。また、イベント予測方法は、予測時点までの所要時間という一次元のパラメータを用いてイベントの発生箇所の推定を行うため、イベントの発生箇所の推定に係る処理負荷を比較的小さく抑えることができる。
第11の態様に係るプログラムは、コンピュータシステムに、第1取得処理と、第2取得処理と、推定処理と、を実行させるためのプログラムである。第1取得処理は、移動体(100)の運転に関連するイベントの発生が予測される予測時点までの所要時間を表す時間情報を取得する。第2取得処理は、移動体(100)の状況を表す移動体情報を取得する。推定処理は、時間情報及び移動体情報に基づいて、イベントの発生箇所を推定する。
この態様によれば、イベントの発生が予測される予測時点までの所要時間及び移動体(100)の状況に基づいて、イベントの発生箇所が推定される。したがって、このプログラムでは、運転者の死角になる対象物に起因したイベント(見えない危険)の発生についても予測可能である、という利点がある。そのため、このプログラムによれば、運転者の運転の熟練度、運転のセンス、及び運転者の状態等による「見えない危険」の予見性のばらつきを小さく抑えることが可能になる。その結果、例えば運転の経験が比較的少ない運転者であっても、この種のイベントが発生する可能性を考慮した運転が可能になる。さらに、例えば運転者が疲労及び睡眠不足等により、通常時に比べて集中力が低下した状態にある場合等においても、運転者は、この種のイベントが発生する可能性を考慮した運転が可能になる。さらには、単に運転者がよそ見をしている、又は運転者が注意散漫であるような場合等、運転者がイベントの発生に気付くのが遅れ得る場面において、運転者は、イベントが発生する可能性にいち早く気付くことが可能になり、より安全な運転が可能になる。また、このプログラムは、予測時点までの所要時間という一次元のパラメータを用いてイベントの発生箇所の推定を行うため、イベントの発生箇所の推定に係る処理負荷を比較的小さく抑えることができる。
第12の態様に係る移動体(100)は、第1〜9のいずれかの態様に係るイベント予測システム(1)を備える。
この構成によれば、移動体(100)において、運転者の死角になる対象物に起因したイベント(見えない危険)の発生についても予測可能である、という利点がある。
上記態様に限らず、実施形態1及び実施形態2に係るイベント予測システム1の種々の構成(変形例を含む)は、イベント予測方法、及び(コンピュータ)プログラムで具現化可能である。
第2〜第9の態様に係る構成については、イベント予測システム(1)に必須の構成ではなく、適宜省略可能である。
1 イベント予測システム
100 移動体
111 第1取得部
112 第2取得部
113 推定部
114 時間予測部
121 蓄積部
122 生成部
13 報知部
131 3D−HUD(表示部)
132 2D−HUD(表示部)
133 メータ(表示部)
134 マルチインフォメーションディスプレイ(表示部)

Claims (11)

  1. 移動体の運転に関連するイベントの発生が予測される予測時点までの所要時間を予測する時間予測部と、
    前記所要時間を表す時間情報を取得する第1取得部と、
    前記移動体の状況を表す移動体情報を取得する第2取得部と、
    前記時間情報及び前記移動体情報に基づいて、前記予測時点における前記移動体の到達位置を予測し、前記到達位置から前記イベントの発生箇所を推定する推定部と、を備え
    前記時間予測部は、前記移動体に関する予測用情報と、前記イベントが発生した際の前記移動体の状況を表す履歴情報及び前記イベントの発生時点までの所要時間を表すラベル情報を含む学習用データを用いて生成される予測モデルと、を用いて、前記所要時間を予測するように構成されている
    イベント予測システム。
  2. 前記移動体情報は、前記移動体の周辺の物体に関する情報と、前記移動体の状態に関する情報と、前記移動体の位置に関する情報と、の少なくとも1つを含む
    請求項1に記載のイベント予測システム。
  3. 前記推定部は、前記移動体の周辺に存在しており、前記所要時間後に前記到達位置に存在する物体を、前記イベントの発生箇所として推定するように構成されている
    請求項1に記載のイベント予測システム。
  4. 前記推定部で推定された前記イベントの発生箇所を報知する報知部を更に備える
    請求項1〜3のいずれか1項に記載のイベント予測システム。
  5. 前記報知部は、前記イベントの発生箇所を表示することにより報知する表示部を有する
    請求項4に記載のイベント予測システム。
  6. 前記時間予測部は、前記移動体を運転する運転者の属性ごとに異なる前記予測モデルを
    用いるように構成されている
    請求項1〜5のいずれか1項に記載のイベント予測システム。
  7. 移動体の運転に関連するイベントの発生が予測される予測時点までの所要時間を表す時間情報を取得する第1取得部と、
    前記移動体の状況を表す移動体情報を取得する第2取得部と、
    前記時間情報及び前記移動体情報に基づいて、前記イベントの発生箇所を推定する推定部と、
    前記所要時間を予測する時間予測部と、を備え、
    前記時間予測部は、前記移動体に関する予測用情報と、前記イベントが発生した際の前記移動体の状況を表す履歴情報及び前記イベントの発生時点までの所要時間を表すラベル情報を含む学習用データを用いて生成される予測モデルと、を用いて、前記所要時間を予測するように構成されており、
    前記時間予測部は、前記移動体を運転する運転者の属性ごとに異なる前記予測モデルを用いるように構成されている
    イベント予測システム。
  8. 移動体の運転に関連するイベントの発生が予測される予測時点までの所要時間を予測する時間予測部と、
    前記イベントが発生した際における前記移動体の状況を表す履歴情報を含む複数の学習用データを蓄積する蓄積部と、
    記予測時点における前記移動体の到達位置を予測し、前記到達位置から前記イベントの発生箇所を推定する際に用いられる、前記所要時間を予測するための予測モデルを、前記複数の学習用データを用いて生成する生成部と、を備え、
    前記複数の学習用データの各々は、前記イベントの発生時点までの所要時間を表すラベル情報を更に含み、
    前記時間予測部は、前記移動体に関する予測用情報と前記予測モデルと、を用いて、前記所要時間を予測するように構成されている
    イベント予測システム。
  9. 移動体の運転に関連するイベントの発生が予測される予測時点までの所要時間を予測する時間予測処理と、
    前記所要時間を表す時間情報を取得する第1取得処理と、
    前記移動体の状況を表す移動体情報を取得する第2取得処理と、
    前記時間情報及び前記移動体情報に基づいて、前記予測時点における前記移動体の到達位置を予測し、前記到達位置から前記イベントの発生箇所を推定する推定処理と、を有し、
    前記時間予測処理は、前記移動体に関する予測用情報と、前記イベントが発生した際の前記移動体の状況を表す履歴情報及び前記イベントの発生時点までの所要時間を表すラベル情報を含む学習用データを用いて生成される予測モデルと、を用いて、前記所要時間を予測する
    イベント予測方法。
  10. コンピュータシステムに、
    移動体の運転に関連するイベントの発生が予測される予測時点までの所要時間を、前記移動体に関する予測用情報と、前記イベントが発生した際の前記移動体の状況を表す履歴情報及び前記イベントの発生時点までの所要時間を表すラベル情報を含む学習用データを用いて生成される予測モデルと、を用いて予測する時間予測処理と、
    前記所要時間を表す時間情報を取得する第1取得処理と、
    前記移動体の状況を表す移動体情報を取得する第2取得処理と、
    前記時間情報及び前記移動体情報に基づいて、前記予測時点における前記移動体の到達位置を予測し、前記到達位置から前記イベントの発生箇所を推定する推定処理と、
    を実行させるためのプログラム。
  11. 請求項1〜のいずれか1項に記載のイベント予測システムを備える
    移動体。
JP2017009546A 2017-01-23 2017-01-23 イベント予測システム、イベント予測方法、プログラム、及び移動体 Active JP6890265B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2017009546A JP6890265B2 (ja) 2017-01-23 2017-01-23 イベント予測システム、イベント予測方法、プログラム、及び移動体
PCT/JP2018/001112 WO2018135509A1 (ja) 2017-01-23 2018-01-17 イベント予測システム、イベント予測方法、プログラムおよびそれを記録した記録媒体
DE112018000477.5T DE112018000477B4 (de) 2017-01-23 2018-01-17 Ereignisvorhersagesystem, Ereignisvorhersageverfahren, Programm und Aufzeichnungsmedium, auf dem dieses aufgezeichnet ist
US16/512,328 US11003925B2 (en) 2017-01-23 2019-07-15 Event prediction system, event prediction method, program, and recording medium having same recorded therein

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017009546A JP6890265B2 (ja) 2017-01-23 2017-01-23 イベント予測システム、イベント予測方法、プログラム、及び移動体

Publications (2)

Publication Number Publication Date
JP2018120291A JP2018120291A (ja) 2018-08-02
JP6890265B2 true JP6890265B2 (ja) 2021-06-18

Family

ID=63043828

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017009546A Active JP6890265B2 (ja) 2017-01-23 2017-01-23 イベント予測システム、イベント予測方法、プログラム、及び移動体

Country Status (1)

Country Link
JP (1) JP6890265B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021032115A (ja) * 2019-08-22 2021-03-01 トヨタ自動車株式会社 車両用学習制御システム、車両用制御装置、および車両用学習装置
JP7281436B2 (ja) * 2020-07-31 2023-05-25 矢崎総業株式会社 車両事故予測システム、車両事故予測プログラム、及び、学習済みモデル生成システム
US20230400324A1 (en) * 2021-02-18 2023-12-14 Pioneer Corporation Information processing apparatus, output control method, and output control program
JP7424335B2 (ja) 2021-03-25 2024-01-30 Jfeスチール株式会社 加熱制御方法及び装置並びに熱延鋼板の製造方法、搬送予測モデル生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5573418B2 (ja) * 2010-06-29 2014-08-20 トヨタ自動車株式会社 警報装置
CN103155015B (zh) * 2010-09-08 2014-12-31 丰田自动车株式会社 移动物预测装置、假想活动物预测装置、程序模块、移动物预测方法以及假想活动物预测方法
JP6504556B2 (ja) * 2014-11-21 2019-04-24 学校法人 芝浦工業大学 交通状況情報提供装置、交通状況情報提供方法、交通状況情報提供プログラム、記憶媒体
JP6497915B2 (ja) * 2014-12-08 2019-04-10 株式会社デンソーテン 運転支援システム

Also Published As

Publication number Publication date
JP2018120291A (ja) 2018-08-02

Similar Documents

Publication Publication Date Title
JP6796798B2 (ja) イベント予測システム、イベント予測方法、プログラム、及び移動体
US10977945B1 (en) Vehicular driver warnings
US11024157B1 (en) Networked vehicle control systems to facilitate situational awareness of vehicles
US10328973B2 (en) Assisting drivers with roadway lane changes
WO2018135509A1 (ja) イベント予測システム、イベント予測方法、プログラムおよびそれを記録した記録媒体
US20190243364A1 (en) Autonomous vehicle integrated user alert and environmental labeling
JP6890265B2 (ja) イベント予測システム、イベント予測方法、プログラム、及び移動体
EP3129970B1 (en) Driving action classifying apparatus and driving action classifying method
WO2020060974A1 (en) Exhaustive driving analytical systems and modelers
EP2963632A1 (en) Manoeuvre assistance
US10460185B2 (en) Roadside image tracking system
KR20240006532A (ko) 차량들의 운전 거동 검출
CA3147603A1 (en) Evaluating the safety performance of vehicles
US20230368673A1 (en) Autonomous fleet recovery scenario severity determination and methodology for determining prioritization
JP6811429B2 (ja) イベント予測システム、イベント予測方法、プログラム、及び移動体
JP2010140186A (ja) 経路推定装置及び運転支援装置
US20190147264A1 (en) Concentration determination apparatus, concentration determination method, and program for concentration determination
CN110517519A (zh) 一种通过感知系统进行交通法规提示的方法及装置
US11645038B1 (en) Augmented reality head-up display for audio event awareness

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190404

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200407

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200608

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210201

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210406

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210430

R151 Written notification of patent or utility model registration

Ref document number: 6890265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

SZ03 Written request for cancellation of trust registration

Free format text: JAPANESE INTERMEDIATE CODE: R313Z03