JP7042974B2 - 走行環境分析装置、走行環境分析システムおよび走行環境分析方法 - Google Patents

走行環境分析装置、走行環境分析システムおよび走行環境分析方法 Download PDF

Info

Publication number
JP7042974B2
JP7042974B2 JP2021515372A JP2021515372A JP7042974B2 JP 7042974 B2 JP7042974 B2 JP 7042974B2 JP 2021515372 A JP2021515372 A JP 2021515372A JP 2021515372 A JP2021515372 A JP 2021515372A JP 7042974 B2 JP7042974 B2 JP 7042974B2
Authority
JP
Japan
Prior art keywords
viewpoint
event
concentration area
area
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021515372A
Other languages
English (en)
Other versions
JPWO2020217337A1 (ja
Inventor
光生 下谷
直志 宮原
義典 上野
友広 椎野
邦代 家田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2020217337A1 publication Critical patent/JPWO2020217337A1/ja
Application granted granted Critical
Publication of JP7042974B2 publication Critical patent/JP7042974B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/40Scenes; Scene-specific elements in video content
    • G06V20/44Event detection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/01Detecting movement of traffic to be counted or controlled
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/123Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams
    • G08G1/127Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station
    • G08G1/13Traffic control systems for road vehicles indicating the position of vehicles, e.g. scheduled vehicles; Managing passenger vehicles circulating according to a fixed timetable, e.g. buses, trains, trams to a central station ; Indicators in a central station the indicator being in the form of a map
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Description

本発明は、走行環境分析装置、走行環境分析システムおよび走行環境分析方法に関する。
走行中のドライバの視線を検出し、ドライバに対して種々の支援を行うシステムが提案されている。例えば特許文献1に開示された運転制御装置は、予め記憶されているデータであって、所定の運転動作に関連付けられた視線の時系列データと、実際に検知されたドライバの視線とが一致する場合に、その所定の運転動作を行う。特許文献2に開示された情報案内装置は、所定期間内の乗員の視線方向を検出し、その視線方向に存在する施設のうち選択されたジャンルに対応する施設を案内する。
これらのシステムは、1台の車両に搭乗する乗員のみの視線を検出し、その1台の車両に対してのみ、またはその視線を検出した乗員に対してのみ直接的な支援を行う。
特開2017-100562号公報 特開2009-031065号公報
車両外部に事象が発生している場合、一般的に、複数の車両の乗員がその事象に視線を向けることが多い。しかし、1台の車両の乗員の視線のみを取得して支援を実行する上記のシステムでは、車両外部の事象を正確に検知して、その事象の内容を正確に推定することができない。
本発明は、以上のような課題を解決するためになされたものであり、車両の外部で発生している事象を正確に推定する走行環境分析装置の提供を目的とする。
本発明に係る走行環境分析装置は、視点集中エリア検出部と、視点集中エリア事象推定部と、情報出力部と、を含む。視点集中エリア検出部は、複数の車両の外部のエリアであって、複数の車両の乗員が注視するエリアである視点集中エリアを、乗員の視線に関する視線情報に基づいて、逐次、検出する。視点集中エリア事象推定部は、新たに発生した視点集中エリアである新規視点集中エリアが検出された場合に、新規視点集中エリアで発生している事象を推定する。情報出力部は、新規視点集中エリアの情報と、事象の情報とを出力する。
本発明によれば、車両の外部で発生している事象を正確に推定する走行環境分析装置の提供が可能である。
本発明の目的、特徴、局面、および利点は、以下の詳細な説明と添付図面とによって、より明白になる。
実施の形態1における走行環境分析装置の構成を示すブロック図である。 処理回路の構成の一例を示す図である。 処理回路の構成の別の一例を示す図である。 実施の形態1における走行環境分析方法を示すフローチャートである。 実施の形態2における走行環境分析システムおよび走行環境分析装置の構成を示すブロック図である。 実施の形態2における個別注視エリアの認識動作を示すフローチャートである。 予め定められた分析期間および視線分布データの出力タイミングの一例を示す図である。 予め定められた分析期間および視線分布データの出力タイミングの別の一例を示す図である。 車両の位置および個別注視エリアの一例を示す図である。 視線分布データの時系列データを示す図である。 実施の形態2における視線情報収集方法を示すフローチャートである。 実施の形態2における新規視点集中エリアの検出方法および事象の推定方法を示すフローチャートである。 実施の形態2における新規視点集中エリアおよび事象の情報の配信方法を示すフローチャートである。 表示装置に表示される警告の一例を示す図である。 表示装置に表示される警告の別の一例を示す図である。 新規視点集中エリアの地理的属性および時間的属性と推定される事象との関係を示す図である。 実施の形態3における走行環境分析システムおよび走行環境分析装置の構成を示すブロック図である。 実施の形態3における個別注視エリアの認識動作を示すフローチャートである。
<実施の形態1>
図1は、実施の形態1における走行環境分析装置100の構成を示すブロック図である。
走行環境分析装置100は、視点集中エリア検出部10と、視点集中エリア事象推定部20と、情報出力部30とを含む。
視点集中エリア検出部10は、視点集中エリアを、複数の車両200の乗員の視線に関する視線情報に基づいて、逐次、検出する。視点集中エリアとは、複数の車両200の外部のエリアであって、乗員が注視するエリアである。
視点集中エリア事象推定部20は、新たに発生した視点集中エリアである新規視点集中エリアが検出された場合に、新規視点集中エリアで発生している事象を推定する。
情報出力部30は、新規視点集中エリアの情報と、事象の情報とを出力する。
図2は、走行環境分析装置100が有する処理回路95の構成の一例を示す図である。視点集中エリア検出部10、視点集中エリア事象推定部20および情報出力部30の各機能は、処理回路95により実現される。すなわち、処理回路95は、視点集中エリア検出部10、視点集中エリア事象推定部20および情報出力部30を有する。
処理回路95が専用のハードウェアである場合、処理回路95は、例えば、単一回路、複合回路、プログラム化されたプロセッサ、並列プログラム化されたプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、またはこれらを組み合わせた回路等である。視点集中エリア検出部10、視点集中エリア事象推定部20および情報出力部30の各機能は、複数の処理回路により個別に実現されてもよいし、1つの処理回路によりまとめて実現されてもよい。
図3は、走行環境分析装置100が有する処理回路の構成の別の一例を示す図である。処理回路は、プロセッサ96とメモリ97とを有する。プロセッサ96がメモリ97に格納されるプログラムを実行することにより、視点集中エリア検出部10、視点集中エリア事象推定部20および情報出力部30の各機能が実現される。例えば、プログラムとして記述されたソフトウェアまたはファームウェアがプロセッサ96により実行されることにより各機能が実現される。このように、走行環境分析装置100は、プログラムを格納するメモリ97と、そのプログラムを実行するプロセッサ96とを有する。
プログラムには、走行環境分析装置100が、複数の車両200の外部のエリアであって、複数の車両200の乗員が注視するエリアである視点集中エリアを、乗員の視線に関する視線情報に基づいて、逐次、検出し、新たに発生した視点集中エリアである新規視点集中エリアが検出された場合に、新規視点集中エリアで発生している事象を推定し、新規視点集中エリアの情報と、事象の情報とを出力する機能が記述されている。また、プログラムは、視点集中エリア検出部10、視点集中エリア事象推定部20および情報出力部30の手順または方法をコンピュータに実行させるものである。
プロセッサ96は、例えば、CPU(Central Processing Unit)、演算装置、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)等である。メモリ97は、例えば、RAM(Random Access Memory)、ROM(Read Only Memory)、フラッシュメモリ、EPROM(Erasable Programmable Read Only Memory)、EEPROM(Electrically Erasable Programmable Read Only Memory)等の、不揮発性または揮発性の半導体メモリである。または、メモリ97は、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、DVD等、今後使用されるあらゆる記憶媒体であってもよい。
上述した視点集中エリア検出部10、視点集中エリア事象推定部20および情報出力部30の各機能は、一部が専用のハードウェアによって実現され、他の一部がソフトウェアまたはファームウェアにより実現されてもよい。このように、処理回路は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって、上述の各機能を実現する。
図4は、実施の形態1における走行環境分析方法を示すフローチャートである。
ステップS1にて、視点集中エリア検出部10は、視点集中エリアを、乗員の視線に関する視線情報に基づいて、逐次、検出する。
ステップS2にて、視点集中エリア事象推定部20は、新規視点集中エリアが検出された場合に、新規視点集中エリアで発生している事象を推定する。
ステップS3にて、情報出力部30は、新規視点集中エリアおよび事象の情報を出力する。
以上をまとめると、実施の形態1における走行環境分析装置100は、視点集中エリア検出部10と、視点集中エリア事象推定部20と、情報出力部30と、を含む。視点集中エリア検出部10は、複数の車両200の外部のエリアであって、複数の車両200の乗員が注視するエリアである視点集中エリアを、乗員の視線に関する視線情報に基づいて、逐次、検出する。視点集中エリア事象推定部20は、新たに発生した視点集中エリアである新規視点集中エリアが検出された場合に、新規視点集中エリアで発生している事象を推定する。情報出力部30は、新規視点集中エリアの情報と、事象の情報とを出力する。
このような走行環境分析装置100は、車両200の外部で発生している事象を正確に推定する。
また、実施の形態1における走行環境分析方法は、複数の車両200の外部のエリアであって、複数の車両200の乗員が注視するエリアである視点集中エリアを、乗員の視線に関する視線情報に基づいて、逐次、検出し、新たに発生した視点集中エリアである新規視点集中エリアが検出された場合に、新規視点集中エリアで発生している事象を推定し、新規視点集中エリアの情報と、事象の情報とを出力する。
このような走行環境分析方法は、車両200の外部で発生している事象を正確に推定する。
<実施の形態2>
実施の形態2における走行環境分析装置および走行環境分析方法を説明する。実施の形態2は実施の形態1の下位概念であり、実施の形態2における走行環境分析装置は、実施の形態1における走行環境分析装置100の各構成を含む。なお、実施の形態1と同様の構成および動作については説明を省略する。
図5は、実施の形態2における走行環境分析システム301および走行環境分析装置101の構成を示すブロック図である。
走行環境分析システム301は、複数の車両201および走行環境分析装置101を含む。車両201はいわゆるプローブカーであり、通信ネットワーク170を介して、サーバ(図示せず)に設けられた走行環境分析装置101と通信する。なお、図5には、複数の車両201のうち1台の車両の構成が代表されて示されているが、他の車両の構成も同様である。走行環境分析システム301は、複数の車両201の各々の乗員が注視する個別注視エリアを各車両201にて認識する。そして、走行環境分析システム301は、複数の車両201から、その個別注視エリアの情報を視線情報として収集し、複数の車両201の乗員が注視する新規視点集中エリアを検出する。実施の形態2における走行環境分析システム301は、いわゆるエッジコンピューティング型のシステムである。
車両201は、視線検出装置110、ロケータ120、車両識別情報記憶装置130、個別注視エリア認識部140、視線情報出力部150および表示装置160を含む。
車両識別情報記憶装置130は、車両201に関連付けられたIDを、つまり車両識別情報を記憶する。
ロケータ120は、車両201の位置を検出する。ロケータ120は、例えば、GNSS(Global Navigation Satellite System)または車両201に設けられたセンサから取得する情報に基づいて車両201の位置を検出する。
視線検出装置110は、逐次、車両201の乗員の視線データを検出する。乗員とは、例えば、ドライバ、助手席に着座する搭乗者を含む。視線データは、視線方向または視線位置を含む。
個別注視エリア認識部140は、ロケータ120にて検出される車両201の位置データと、視線検出装置110にて検出される個々の乗員の視線データとを取得する。個別注視エリア認識部140は、視線データを、予め定められた周期で、かつ、予め定められた分析期間、蓄積することにより視線分布データを求める。また、個別注視エリア認識部140は、車両201の位置データと視線分布データとを対応づけて、経時的に取得する。それにより、車両201の位置データおよび視線分布データの時系列データが得られる。個別注視エリア認識部140は、その時系列データに基づいて、車両201の外部のエリアであり、かつ、個々の乗員が注視するエリアである個別注視エリアを認識する。個別注視エリアは、例えば、事故車両など突発的な事象によって生じるエリアに対応する。または、個別注視エリアは、乗員が道路構造、道路形状もしくは施設などに起因して定常的に注視するエリアに対応する。なお、道路構造とは、交差点、合流地点、横断歩道等であり、道路形状とは道路のカーブ等であり、施設とは学校等である。
視線情報出力部150は、個別注視エリアの情報を、乗員の視線に関する視線情報として、走行環境分析装置101に、通信ネットワーク170を介して出力する。乗員の視線に関する視線情報は、車両201の位置データ、車両識別情報または時刻情報を含んでもよい。
表示装置160は、走行環境分析装置101から出力される新規視点集中エリアおよび事象の情報に基づいた警告を表示する。表示装置160は、例えば、HUD(Head-Up Display)、ナビゲーション装置に設けられたモニタ等である。
車両201は、図2または図3と同様の処理回路を有する。個別注視エリア認識部140および視線情報出力部150の機能は、その処理回路によって実現される。
走行環境分析装置101は、サーバに設けられる。走行環境分析装置101は、視線情報収集部40、個別注視エリア記憶部50、視点集中エリア検出部10、定常視点集中エリア記憶部60、新規視点集中エリア記憶部70、視点集中エリア事象推定部20、地図データベース(地図DB)記憶部80、事象情報記憶部90および情報出力部30を含む。
視線情報収集部40は、各車両201から視線情報を収集する。実施の形態2における視線情報は、各車両201において認識された個別注視エリアの情報を含む。
個別注視エリア記憶部50は、視線情報収集部40で収集された各車両201の個別注視エリアの情報を記憶する。
視点集中エリア検出部10は、複数の車両201から取得された複数の個別注視エリアに基づいて、視点集中エリアを、逐次、検出する。言い換えると、視点集中エリア検出部10は、視線情報収集部40にて収集された複数の個別注視エリアから視点集中エリアを抽出する。視点集中エリアとは、複数の車両201の外部のエリアあり、かつ、複数の車両201の乗員が注視するエリアである。
また、視点集中エリア検出部10は、予め定められた第1ロジックに基づいて、視点集中エリアから定常視点集中エリアを検出する。予め定められた第1ロジックとは、過去の所定期間の視点集中エリアの情報を蓄積することにより、乗員の視線が集中する頻度が高いエリアを定常視点集中エリアに設定することを含む。または予め定められた第1ロジックとは、過去の所定期間、個別集中エリアを蓄積することにより、個別集中エリアとして検出される頻度が高いエリアを定常視点集中エリアに設定することを含む。したがって、定常視点集中エリアとは、道路構造、道路形状もしくは施設などに起因して乗員が定常的に注視するエリアに対応する。そして、視点集中エリア検出部10は、特定時点の前後で、定常視点集中エリアとは異なるエリアに視点集中エリアの発生を検出した場合に、新規視点集中エリアが発生したと判断する。
定常視点集中エリア記憶部60は、定常視点集中エリアの情報を記憶する。
新規視点集中エリア記憶部70は、新規視点集中エリアの情報を記憶する。
地図DB記憶部80は、道路地図情報を記憶する。
視点集中エリア事象推定部20は、新規視点集中エリアが検出された場合に、新規視点集中エリアで発生している事象を推定する。例えば、視点集中エリア事象推定部20は、新規視点集中エリアの地理的属性に基づいて、事象を推定する。その際、視点集中エリア事象推定部20は、新規視点集中エリアの位置と地図情報とに基づいて、新規視点集中エリアの地理的属性を取得する。地理的属性とは、例えば、車線上、車線外、走行車線外、走行車線よりも遠方区間等である。そして、視点集中エリア事象推定部20は、その地理的属性に基づいて、事象を推定する。または、例えば、視点集中エリア事象推定部20は、新規視点集中エリアの状態の経時的変化である時間的属性に基づいて、事象を推定する。事象とは、例えば、車両201が回避する必要のある要回避事象、または、車両201の乗員が注意する必要のある要注意事象を含む。
事象情報記憶部90は、視点集中エリア事象推定部20によって推定された事象を記憶する。
情報出力部30は、新規視点集中エリアの情報と事象の情報とを出力する。
走行環境分析装置101は、図2または図3と同様の処理回路を有する。視線情報収集部40、個別注視エリア記憶部50、視点集中エリア検出部10、定常視点集中エリア記憶部60、新規視点集中エリア記憶部70、視点集中エリア事象推定部20、地図DB記憶部80、事象情報記憶部90および情報出力部30の各機能は、その処理回路によって実現される。
次に、走行環境分析方法を説明する。まず、車両201における個別注視エリアの認識方法を説明する。図6は、実施の形態2における個別注視エリアの認識動作を示すフローチャートである。
ステップS101にて、個別注視エリア認識部140は、車両201の位置データと、乗員の視線データとを取得する。個別注視エリア認識部140は、個々の乗員の視線データを、予め定められた周期で、予め定められた期間、蓄積して視線分布データを求める。予め定められた周期とは、例えば1秒間に30回であり、予め定められた分析期間とは、例えば2秒間である。個別注視エリア認識部140は、車両201の位置データと視線分布データとを対応づけて経時的に取得し、時系列データを取得する。なお、車両201の位置とは、好ましくはドライバの目の位置である。
ステップS102にて、個別注視エリア認識部140は、時系列データに基づいて、個別注視エリアを認識する。認識方法の詳細は後述する。
ステップS103にて、個別注視エリア認識部140は、個別注視エリアが認識されたか否かを判定する。個別注視エリアが認識されている場合、ステップS104が実行される。個別注視エリアが認識されていない場合、ステップS101が再び実行される。
ステップS104にて、視線情報出力部150は、個別注視エリアの情報を、乗員の視線に関する視線情報として、走行環境分析装置101に送信する。個別注視エリアの情報には、個別注視エリアの位置データが含まれる。また、視線情報には、個別注視エリアの情報に加えて、車両201の位置データ、車両識別情報および時刻情報を含む。
車両201の位置データの時系列情報に基づいて、車両201の識別は可能であるため、視線情報出力部150は、必ずしも車両識別情報を走行環境分析装置101にアップロードする必要はない。しかし、車両識別情報を視線情報に付加することで、走行環境分析装置101における処理が軽減される。
走行環境分析システム301の各車両201においては、以上の個別注視エリアの認識処理が繰り返し実行される。
次に、上記のステップS101における時系列データの取得方法の詳細を説明する。図7および図8は、予め定められた分析期間および視線分布データの出力タイミングの一例を示す図である。
第1から第4分析期間までの各々が、上記の予め定められた分析期間に対応する。各分析期間は、図8に示されるように互いに重複していてもよいし、図7に示されるように独立していてもよい。予め定められた周期が1秒間に30回であり、予め定められた分析期間が2秒間である場合、個別注視エリア認識部140は、各分析期間から、60組の車両201の位置データおよび視線データを取得する。そして、個別注視エリア認識部140は、それらが蓄積された60組のデータに基づいて、視線分布データを求める。図7および図8に示されるように、視線分布データは、例えば、各分析期間の終了時(時刻t=T1からT4)に出力される。このような方法によって、個別注視エリア認識部140は、車両201の位置データと視線分布データの経時的なデータである時系列データを取得する。
次に、上記のステップS102における、時系列データに基づく個別注視エリアの認識方法の詳細を説明する。図9は、車両201の位置および個別注視エリア410の一例を示す図である。なお、ここでは、乗員の視線としてドライバの視線について説明する。
事故車両400が道路の車線から逸脱して路肩に停車している。事故車両400が停車している位置をPbとする。車両201が事故車両400の位置Pb付近を走行する際、車両201の乗員は、事故車両400に気づき、その事故車両400に時々視線を向ける。時刻tがt=T1からT4に経過するとともに、車両201の位置Paは、Pa=P1→P2→P3→P4に移動する。同様に、時刻tがt=T1からT4に経過するとともに、車両201から事故車両400の方向、つまりドライバの視線方向Θは、Θ=ΘP1→ΘP2→ΘP3→ΘP4に変化する。ここで、視線方向Θは、車両201の前方と、車両201から事故車両400が存在する方向とがなす角度に対応する。
図10は、視線分布データの時系列データを示す図である。時系列データは、時刻t=T1からT4に対応する4つの視線分布データを含む。
ドライバは、車両201が直線道路を走行している場合、通常、前方を向いている。その場合のドライバの視線分布データは、視線方向Θ=0°の視線頻度が最も高い分布を示す。
図9に示されるように、事故車両400が存在する状況では、車両201のドライバは事故車両400に視線を向ける。そのため、視線分布データは、左方向の特定の角度、つまり事故車両400が存在する方向に極大値(ピーク)を有する。
例えば、t=T1の視線分布データは、視線方向Θ=ΘP1に小さなピークを有する。同様に、時刻t=T2,T3,T4における視線分布データも、視線方向Θ=ΘP2,ΘP3,ΘP4にそれぞれ小さなピークを有する。
個別注視エリア認識部140は、これら視線分布データに含まれる特定の角度のピークに基づいて、個別注視エリア410を求める。
理想的には、4つの位置Pa(=P1~P4)から視線方向Θ(=ΘP1~ΘP4)に延在する4本の直線は、1点で交わるため、事故車両400の位置Pbが求められる。しかし、視線方向Θ等の検出誤差を考慮し、個別注視エリア認識部140は、最小二乗法などの統計処理によって位置Pbを求め、その位置Pbを個別注視エリア410として認識する。
個別注視エリアは、上記の位置Pbのような1つ特定地点に限定されるものではなく、その特定地点を含むエリアであってもよい。例えば、個別注視エリア認識部140は、視線分布データに基づいて算出される全ての直線の交点が、予め定められた範囲に存在する場合、その範囲を個別注視エリア410として認識してもよい。
車両201のドライバが事故車両400に視線を向けていない時間があれば、その時間における視線分布には、上記のピークは現われない。そのような視線分布は、個別注視エリアを検出するための有効なデータとはならない。したがって、個別注視エリア認識部140は、時系列データにおいてピークが認められない視線分布データを個別注視エリアの認識のために採用しないよう動作してもよい。
車両201が事故車両400の位置Pbに近づくにつれて、車両201と事故車両400との位置関係から視線方向Θの絶対値は、単調増加する。個別注視エリア認識部140は、その単調増加の傾向からはずれたピークを、個別注視エリアの認識に採用しなくてもよい。
車両201が事故車両400を追い越した後、ドライバは、バックミラー、電子ミラー等で事故車両400を視認する可能性がある。そこで、個別注視エリア認識部140は、バックミラー、電子ミラー等に向くドライバの視線分布データに基づいて、個別注視エリアを認識してもよい。
各車両201における個別注視エリアの検出方法は、上記の方法に限定されるものではない。
個別注視エリア認識部140は、明確な交点が2mの範囲に集約され、かつ、顕著な視線分布のピークが予め定められた時間以上検出された場合に、その交点を個別注視エリアとして認識してもよい。予め定められた時間とは、例えば4秒である。
乗員が連続して1秒以上注視した点がある場合、個別注視エリア認識部140は、その点を個別注視エリアと認識してもよい。または、個別注視エリア認識部140は、乗員が連続して0.5秒以上注視した点が、10秒以内に3回以上検出された場合、その点を個別注視エリアと認識してもよい。または、個別注視エリア認識部140は、深層学習ロジックにより個別注視エリアを求めてもよい。
次に、走行環境分析装置101の動作を説明する。図11は、実施の形態2における視線情報収集方法を示すフローチャートである。図12は、実施の形態2における新規視点集中エリアの検出および事象の推定方法を示すフローチャートである。図13は、実施の形態2における新規視点集中エリアおよび事象の情報の配信方法を示すフローチャートである。図11から図13に示される動作は、それぞれ独立しており、走行環境分析装置101はそれらの動作を並行に実行する。
ステップS11にて、視線情報収集部40は、各車両201から視線情報を収集する。実施の形態2における視線情報は、各車両201において認識された個別注視エリアの情報を含む。また、個別注視エリア記憶部50は、車両201ごとの個別注視エリアの情報を記憶する。
ステップS21にて、視点集中エリア検出部10は、複数の個別注視エリアの情報に基づいて、複数の乗員が注視する視点集中エリアを検出する。
ステップS22にて、視点集中エリア検出部10は、予め定められた第1ロジックに基づいて、その視点集中エリアから定常視点集中エリアを検出する。定常視点集中エリア記憶部60は、定常視点集中エリアを記憶する。
ステップS23にて、走行環境分析装置101は、定常視点集中エリアの策定が完了したか否かを判定する。例えば、定常視点集中エリア記憶部60に、直近の1年間の定常視点集中エリアの情報が蓄積された場合、走行環境分析装置101は、定常視点集中エリアの学習ステップが一旦完了したと判定する。定常視点集中エリアの策定が完了した場合、ステップS24が実行される。定常視点集中エリアの策定が完了していない場合、ステップS21が再び実行される。
ステップS24にて、視点集中エリア検出部10は、新規視点集中エリアが検出されたか否かを判定する。ここでは、視点集中エリア検出部10は、特定時点の前後で、定常視点集中エリアとは異なるエリアに視点集中エリアが発生した場合に、その視点集中エリアを新規視点集中エリアとして検出する。例えば、図9に示される事故車両400の位置Pbは、新規視点集中エリアとして検出される。
ステップS25にて、新規視点集中エリア記憶部70は、新規視点集中エリアを記憶する。なお、新規視点集中エリアが、ステップS21で視点集中エリアとして検出されなくなった場合、新規視点集中エリア記憶部70は、その新規視点集中エリアの記録を抹消する。
ステップS26にて、視点集中エリア事象推定部20は、新規視点集中エリアで発生している事象を推定する。ここでは、視点集中エリア事象推定部20は、新規視点集中エリアの位置と地図データベースの地図情報とに基づいて、新規視点集中エリアが属する地理的属性を取得する。そして、視点集中エリア事象推定部20は、その地理的属性に基づいて、事象を推定する。または、例えば、視点集中エリア事象推定部20は、新規視点集中エリアの状態の経時的変化を示す時間的属性に基づいて、事象を推定する。事象情報記憶部90は、その事象を記憶する。
ステップS31にて、情報出力部30は、新規視点集中エリアおよび事象の情報の配信要求を受け付ける。情報出力部30は、配信要求を、サーバ外つまり走行環境分析装置101外から受信する。または、サーバが自動的に新規視点集中エリアを走行しようとする車両201を検出し、情報出力部30は、そのサーバから配信要求を受信する。
ステップS32にて、情報出力部30は、新規視点集中エリアおよび事象の情報を出力する。
ここでは、情報出力部30は、通信ネットワーク170を介して、新規視点集中エリアの周辺を走行する予定の車両201に、新規視点集中エリアおよび事象の情報を配信する。新規視点集中エリアに近づく車両201は、走行環境分析装置101から新規視点集中エリアの情報および事象の情報を受信する。車両201の表示装置160は、警告を表示する。図14は、表示装置160に表示される警告の一例として、ナビゲーション装置の表示画面に表示される警告を示す図である。図15は、表示装置160に表示される警告の別の一例として、HUDに表示される警告を示す図である。警報表示は、事象の属性、位置、注意度、回避の要否などの情報を含む。
または、情報出力部30は、新規視点集中エリアおよび事象の情報をサーバに出力してもよい。サーバは、その情報に基づいて、道路交通状況を分析処理し、例えば、サーバ管理者が道路交通状況を把握する。
次に、上記のステップS26における、事象推定方法について説明する。上記のように、視点集中エリア事象推定部20は、新規視点集中エリアの地理的属性または時間的属性に基づいて、事象を推定する。図16は、新規視点集中エリアの地理的属性および時間的属性と推定される事象との関係を示す図である。図16においては、新規視点集中エリアはつの地理的属性および4つの時間的属性に分類される。
第1地理的属性は、複数の車両201のうち一の車両の進行方向の車線上に対応する。新規視点集中エリアの位置が、第1地理的属性に属する場合、視点集中エリア事象推定部20は、その車線に、予め定められた第1事象群に含まれる事象が発生していると推定する。予め定められた第1事象群とは、図16において、第1地理的属性に対応する行に記載された事象群である。予め定められた第1事象群は、要回避事象を含む。要回避事象とは、例えば、事故車両、落下物、道路の破損、道路の破壊、危険運転車両等が存在する状況である。
また、視点集中エリア事象推定部20は、視点集中エリアが存在する車線に基づいて、注意すべき車線を判定してもよい。また、走行環境分析装置101が、車両201に設けられたセンサで回避動作を検出することにより、事象推定精度がさらに向上する。
第2地理的属性は、複数の車両201のうち一の車両の進行方向の車線の近傍に対応する。車線の近傍とは、路肩、分離帯、歩道、退避スペースなどの道路構造内の車線を除く部分、および、道路構造に隣接する地物などを指す。道路構造に隣接する地物とは、例えば道路構造から10m以内の地物である。新規視点集中エリアの位置が第2地理的属性に属する場合、視点集中エリア事象推定部20は、その車線に、予め定められた第2事象群に含まれる事象が発生していると推定する。予め定められた第2事象群とは、図16において、第2地理的属性に対応する行に記載された事象群である。予め定められた第2事象群は、要注意事象を含む。要注意事象とは、路側帯または待機エリアに、事故車両、落下物、特殊車両等が存在する状況である。または、要注意事象とは、車両201が走行するうえで注意する地物または人物が、歩道上に存在する状況である。または、要注意事象とは、新設されたPOI(Point Of Interest)、催し物が存在する状況である。
第3地理的属性は、複数の車両201のうち一の車両の走行道路の上方に対応する。新規視点集中エリアの位置が第3地理的属性に属する場合、視点集中エリア事象推定部20は、その走行道路に、予め定められた第3事象群に含まれる事象が発生していると推定する。予め定められた第3事象群とは、図16において、第3地理的属性に対応する行に記載された事象である。予め定められた第3事象群は、要注意事象を含む。要注意事象とは、例えば、走行道路の上部を交差する道路あるいは走行道路の斜め上方から、投石など走行妨害行為が発生している状況である。または、要注意事象とは、道路の斜め上方の土砂くずれなど自然災害が発生している状況である。または、要注意事象とは、道路の破損、道路設備の破壊が発生している状況である。
第4地理的属性は、複数の車両201のうち一の車両の進行方向の車線の反対車線またはその車線とは異なる道路に対応する。新規視点集中エリアの位置が第4地理的属性に属する場合、視点集中エリア事象推定部20は、その反対車線または異なる道路に、予め定められた第4事象群に含まれる事象が発生していると推定する。予め定められた第4事象群とは、図16において、第4地理的属性に対応する行に記載された事象である。予め定められた第4事象群は、要回避事象を含む。要回避事象とは、例えば、反対車線における事故、反対車線の道路設備の破損、逆走車両、危険運転車両が発生している状況である。
また、視点集中エリア事象推定部20は、車両201の進行方向の車線における新規視点集中エリアと、反対車線における新規視点集中エリアとの一致度に基づいて、事象発生の確度を判断してもよい。
第5地理的属性は、複数の車両201のうち一の車両の走行道路の施設外に対応する。施設外とは、例えば、道路とは異なる遠景を含む。第1地理的属性から第4地理的属性以外のエリアが第5地理的属性に相当する。視点集中エリア事象推定部20は、その走行道路の施設外に、予め定められた第5事象群に含まれる事象が発生していると推定する。予め定められた第5事象群とは、図16において、第5地理的属性に対応する行に記載された事象である。予め定められた第5事象群は、車両の走行には直接影響がない要注意事象を含む。新規視点集中エリアの位置が、道路の施設外の山などの場合、要注意事象として自然災害が発生している状況である。または、要注意事象として季節、祭りなどの美しい風景が発生している状況である。新規視点集中エリアの位置が、道路の施設外の市街地の場合、要注意事象として火事または珍しい風景が発生している状況である。新規視点集中エリアの位置が、道路の施設外の上方の場合、花火が打ち上げられている状況である。
第1時間的属性として、新規視点集中エリアの位置が、特定時点を境に変化しない場合、視点集中エリア事象推定部20は、予め定められた第6事象群に含まれる事象が発生していることを推定する。例えば、新規視点集中エリアの位置が、数時間オーダで変化しない場合、視点集中エリア事象推定部20は、予め定められた第6事象群に含まれる事象が発生していることを推定する。予め定められた第6事象群とは、図16において、第1時間的属性に対応する列に記載された事象である。予め定められた第6事象群は、要注意事象を含む。要注意事象とは、事故、障害物、一時的な災害などが発生している状況である。または、要注意事象とは、注目すべき地物または移動体が発生している状況である。
第1特定時点より後の第2特定時点以降に、視点集中エリアが解消された場合、走行環境分析装置101は、要注意事象が解消されたと判断してもよい。
第2時間的属性として、新規視点集中エリアの位置が、特定時点を境に変化せず、かつ、新規視点集中エリアが特定期間を経過しても解消されない場合、視点集中エリア事象推定部20は、予め定められた第7事象群に含まれる事象が発生していることを推定する。例えば、新規視点集中エリアの位置が、数時間以上、または数日以上変化しない場合、視点集中エリア事象推定部20は、予め定められた第7事象群に含まれる事象が発生していることを推定する。予め定められた第7事象群とは、図16において、第2時間的属性に対応する列に記載された事象である。予め定められた第7事象群は、要注意事象を含む。要注意事象とは、突発的な道路の破損、突発的な道路施設の破損、突発的な自然災害が発生し、修復されていない状況である。
なお、道路の新設または閉鎖などにより、新たな定常視点集中エリアが発生する場合がある。その場合、走行環境分析装置101は、その新たな定常視点集中エリアの位置を、新しい道路地図と照合し、定常視点集中エリアと判断する場合には、予め定められた第7事象群の事象が発生しているとは推定しない。
第3時間的属性として、新規視点集中エリアの位置が、変化せず、複数の車両201の各々に搭乗する個々の乗員が注視する個別注視エリアが新規視点集中エリアに一致する車両201の割合が増加傾向にあり、割合が予め定められた評価値以上である場合、視点集中エリア事象推定部20は、予め定められた第8事象群に含まれる事象が発生していることを推定する。予め定められた第8事象群とは、図16において、第3時間的属性に対応する列に記載された事象である。予め定められた第8事象群は、要注意事象を含む。要注意事象とは、道路の破損の進行、道路施設の破損の進行、自然破壊の進行が発生している状況である。
第4時間的属性として、新規視点集中エリアの位置が、連続的に移動している場合、視点集中エリア事象推定部20は、予め定められた第9事象群に含まれる事象が発生していることを推定する。予め定められた第9事象群とは、図16において、第4時間的属性に対応する列に記載された事象である。予め定められた第9事象群は、新規視点集中エリア付近を移動する移動体が存在する要注意事象を含む。要注意事象とは、危険運転車両、逆走車両、不審車両、危険人物、不審者徘徊など注意すべき移動体が存在している状況である。走行環境分析装置101は、その移動体の時系列情報により、現在の移動体の位置を推定してもよい。
以上をまとめると、実施の形態2における視線情報は、複数の車両201の各々に搭乗している個々の乗員が注視する個別注視エリアの情報を含む。その視線情報は、複数の車両201の各々から出力される。個別注視エリアは、複数の車両201の各々の位置データと、個々の乗員の視線データと、を含む経時的なデータである時系列データに基づいて、複数の車両201の各々にて認識される。
このような走行環境分析装置101は、走行環境分析装置101の構成を簡単にしながらも、複数の乗員の個別注視エリアの情報に基づいて新規視点集中エリアで発生している事象を正確に推定する。走行環境分析装置101は、新規視点集中エリアを走行予定の車両201に対して、そのエリアで発生している要回避もしくは要注意事象を配信し、車両201の運転支援を行う。
実施の形態2における走行環境分析装置101は、1台の車両の乗員の視線のみを取得して支援を実行するシステムとは異なり、複数の車両201の乗員の視線を利用して新規に発生した要注意な事象を推定することを可能にする。また、走行環境分析装置101は、一の車両の乗員が要注意事象に気づいた場合、他の車両の乗員にその要注意事象を通知することを可能にする。
また、実施の形態2における走行環境分析装置101の視点集中エリア事象推定部20は、新規視点集中エリアが属する地理的属性に基づいて、事象を推定する。
このような走行環境分析装置101は、新規視点集中エリアを走行予定の車両201に対して、そのエリアで発生している要回避もしくは要注意事象を正確に推定する。
また、実施の形態2における走行環境分析装置101の視点集中エリア事象推定部20は、新規視点集中エリアの状態の経時的変化を示す時間的属性に基づいて、事象を推定する。
このような走行環境分析装置101は、新規視点集中エリアを走行予定の車両201に対して、そのエリアで発生している要回避もしくは要注意事象を正確に推定する。
また、実施の形態2における走行環境分析システム301は、上記の走行環境分析装置101と、個別注視エリア認識部140と、視線情報出力部150と、を含む。個別注視エリア認識部140は、複数の車両201の各々に設けられ、時系列データに基づいて、個々の乗員が注視する個別注視エリアを認識する。視線情報出力部150は、複数の車両201の各々に設けられ、走行環境分析装置101に、個別注視エリアの情報を視線情報として出力する。
このような走行環境分析システム301は、走行環境分析装置101の構成を簡単にしながらも、複数の乗員の個別注視エリアの情報に基づいて新規視点集中エリアで発生している事象を正確に推定する。走行環境分析システム301は、新規視点集中エリアを走行予定の車両201に対して、そのエリアで発生している要回避もしくは要注意事象を配信し、車両201の運転支援を行う。
(実施の形態2の変形例1)
視点集中エリア事象推定部20は、より細分化された地理的属性、車両201で取得される映像情報、またはその画像認識結果などに基づいて、新規視点集中エリアの事象を推定してもよい。なお、車両201で取得される映像情報は、視線情報とともに、車両201から走行環境分析装置101に出力される。
このような構成によれば、事象推定ロジックが高度化されるため、事象推定の精度が向上する。
視点集中エリア事象推定部20は、車両201から、車両201の回避行動、減速行動などの車両運動情報に基づいて、新規視点集中エリアの事象を推定してもよい。なお、車両運動情報は、視線情報とともに、車両201から走行環境分析装置101に出力される。
上記と同様に、事象推定ロジックが高度化されるため、事象推定の精度が向上する。車両201の回避行動に関する情報が入力された場合、視点集中エリア事象推定部20は、要注意度が高い状況であると推定できる。
走行環境分析装置101は、視点集中エリア検出部10が新規視点集中エリアを検出した場合、車両201に事象の内容を問い合わせてもよい。
走行環境分析装置101は、映像情報の送信や画像認識結果の送信能力のある車両201に対し、視点集中エリアの詳細情報を提供するよう要請してもよい。
(実施の形態2の変形例2)
上記の実施の形態2における視点集中エリア検出部10は、予め定められた第1ロジックに基づいて定常視点集中エリアを計算し、その定常視点集中エリアに基づいて新規視点集中エリアを検出していた。新規視点集中エリアの検出方法は、その方法に限定されるものではない。
実施の形態2の変形例2における視点集中エリア検出部10は、視線情報と予め定められた第2ロジックとに基づいて、視点集中エリアを検出するための乗員の視線の統計である統計視線分布を、予め定められた道路の区間ごとに求める。その予め定められた第2ロジックとは、視線情報を統計的に計算することにより統計視線分布を求めることに対応する。視線情報とは、例えば実施の形態2における視線分布データを含む。そして、視点集中エリア検出部10は、特定時点の前後で、統計視線分布が異なる場合に、新規視点集中エリアが発生したと判断する。
統計視線分布は、1つの平均の視線分布曲線であってもよいし、複数の視線分布の併用で表現される曲線であってもよい。予め定められた道路の区間が交差点である場合、統計視線分布は、右折を行う車両201の視線分布と、左折を行う車両201の視線分布と、直進の車両201の視線分布を含む。それらが平均された場合、視点集中エリアが平準化されて、特徴が小さくなる。
または、視点集中エリア検出部10は、以下に示す方法で、新規視点集中エリアを検出してもよい。視点集中エリア検出部10は、特定時点の前後で、論理視線分布と統計視線分布とが異なる場合に、新規視点集中エリアが発生したと判断する。論理視線分布とは、予め定められた道路の区間ごとの道路構造から推定される乗員の視線の分布である。
道路構造が直線道路である場合、論理視線分布は、前方の頻度が圧倒的に多い。道路構造が交差点近傍である場合、乗員は左右を確認するため、論理視線分布は、直進道路、右左折道路、横断歩道を向く頻度が多い。道路構造がカーブである場合、論理視線分布は、カーブの方向に偏る傾向を示す。
また、実施の形態2における第1ロジックおよび上記の第2ロジックは、視点集中エリアが新規視点集中エリアか否かを判断する他に、視点集中エリアが新規視点集中エリアである確度を判断する処理を含むものであってもよい。
(実施の形態2の変形例3)
走行環境分析装置101は、図2または図3に示された処理回路を、個別注視エリア認識部140および視線情報出力部150として機能させるための視線情報分析プログラムを更新する。走行環境分析装置101は、更新後のプロブラムを複数の車両201の各々に配信する。各車両201は、走行環境分析装置101からダウンロードしたプログラムで、既存のプログラムを更新する。
また、走行環境分析システム301は、個々の車両201が有するシステムの機能に応じて、互いに異なるロジックで個別注視エリアの認識処理を実行させてもよい。また、走行環境分析システム301は、個々の車両201から走行環境分析装置101に出力される視線情報が互いに異なるものとしてもよい。
<実施の形態3>
実施の形態3における走行環境分析装置および走行環境分析方法を説明する。実施の形態3は実施の形態1の下位概念であり、実施の形態3における走行環境分析装置は、実施の形態1における走行環境分析装置100の各構成を含む。なお、実施の形態1または2と同様の構成および動作については説明を省略する。
実施の形態2における走行環境分析システム301は、車両201にて個別注視エリアを認識する構成であったが、実施の形態3における走行環境分析システムは、走行環境分析装置にて個別注視エリアを認識する構成を有する。
図17は、実施の形態3における走行環境分析システム302および走行環境分析装置102の構成を示すブロック図である。
個別注視エリア認識部140は、車両202ではなく、走行環境分析装置102に設けられている。
視線情報出力部150は、ロケータ120にて検出される車両202の位置データと、視線検出装置110にて検出される個々の乗員の視線データとを取得する。そして、視線情報出力部150は、車両202の位置データと視線データとを、乗員の視線に関する視線情報として、走行環境分析装置102に出力する。
視線情報収集部40は、各車両202から視線情報を収集する。
個別注視エリア認識部140は、視線情報に含まれる車両202の位置データと、個々の乗員の視線データとを取得する。個別注視エリア認識部140は、実施の形態2と同様に、車両202の位置データおよび視線分布データの時系列データに基づいて、個別注視エリアを、車両202ごとに認識する。
図18は、実施の形態3における個別注視エリアの認識動作を示すフローチャートである。
ステップS15にて、視線情報収集部40は、各車両202から視線情報を収集する。実施の形態3における視線情報は、複数の車両202の各々で検出される情報であり、車両202ごとの位置データと個々の乗員の視線データとを含む。
ステップS16にて、個別注視エリア認識部140は、車両202の位置データおよび視線分布データの時系列データを、車両202ごとに取得する。このステップは、図6に示されるステップS101と同様である。
ステップS17にて、個別注視エリア認識部140は、時系列データに基づいて、個別注視エリアを、車両202ごとに認識する。このステップは、図6に示されるステップS102と同様である。
ステップS18にて、個別注視エリア認識部140は、個別注視エリアが認識されたか否かを判定する。個別注視エリアが認識されている場合、ステップS19が実行される。個別注視エリアが認識されていない場合、ステップS15が再び実行される。このステップは、図6に示されるステップS103と同様である。
ステップS19にて、個別注視エリア記憶部50は、車両202ごとの個別注視エリアの情報を記憶する。
新規視点集中エリアの検出方法および事象の推定方法は、図12に示される方法と同様である。また、新規視点集中エリアおよび事象の情報の配信方法は、図13に示される方法と同様である。
以上をまとめると、実施の形態3における走行環境分析装置102は、個別注視エリア認識部140を含む。個別注視エリア認識部140は、複数の車両202の各々の位置データと、複数の車両202の各々に搭乗する個々の乗員の視線データと、を含む経時的なデータである時系列データに基づいて、個々の乗員が注視する個別注視エリアを、複数の車両202の各々ごとに認識する。視線情報は、複数の車両202の各々で検出される位置データと個々の乗員の視線データとを含む。その視線情報は、複数の車両202の各々から出力される。
このような走行環境分析装置102は、実施の形態2における走行環境分析システム302と比較して、走行環境分析装置102の負荷は増大するものの、走行環境分析装置102における種々の分析を可能にする。また、新規の分析ロジックを開発した場合、車両202に設けられた個別注視エリア認識部140の分析プログラムの更新を強いることなく、走行環境分析装置102のロジックを変更することにより、分析ロジックの更新が可能である。
(実施の形態3の変形例)
走行環境分析システムは、実施の形態2および実施の形態3の構成が組み合わされた構成であってもよい。そのような走行環境分析システムは、実施の形態2のように個別注視エリアを視線情報としてアップロードする車両201、および、実施の形態3の視線データを視線情報としてアップロードする車両202、の双方に対応できる。
なお、本発明は、その発明の範囲内において、各実施の形態を自由に組み合わせたり、各実施の形態を適宜、変形、省略したりすることが可能である。
本発明は詳細に説明されたが、上記した説明は、全ての局面において、例示であって、本発明がそれに限定されるものではない。例示されていない無数の変形例が、この発明の範囲から外れることなく想定され得るものと解される。
10 視点集中エリア検出部、20 視点集中エリア事象推定部、30 情報出力部、40 視線情報収集部、100 走行環境分析装置、110 視線検出装置、120 ロケータ、140 個別注視エリア認識部、150 視線情報出力部、170 通信ネットワーク、200 車両、301 走行環境分析システム、410 個別注視エリア。

Claims (19)

  1. 複数の車両の外部のエリアであって、前記複数の車両の乗員が注視する前記エリアである視点集中エリアを、前記乗員の視線に関する視線情報に基づいて、逐次、検出する視点集中エリア検出部と、
    新たに発生した前記視点集中エリアである新規視点集中エリアが検出された場合に、前記新規視点集中エリアで発生している事象を推定する視点集中エリア事象推定部と、
    前記新規視点集中エリアの情報と前記事象の情報とを出力する情報出力部と、
    前記複数の車両の各々の位置データと、前記複数の車両の各々に搭乗する個々の乗員の視線データと、を含む経時的なデータである時系列データに基づいて、前記個々の乗員が注視する個別注視エリアを、前記複数の車両の各々ごとに認識する個別注視エリア認識部と、を備え、
    前記視線情報は、前記複数の車両の各々で検出される前記位置データと前記個々の乗員の前記視線データとを含み、かつ、前記複数の車両の各々から出力される、
    走行環境分析装置。
  2. 複数の車両の外部のエリアであって、前記複数の車両の乗員が注視する前記エリアである視点集中エリアを、前記乗員の視線に関する視線情報に基づいて、逐次、検出する視点集中エリア検出部と、
    新たに発生した前記視点集中エリアである新規視点集中エリアが検出された場合に、前記新規視点集中エリアで発生している事象を推定する視点集中エリア事象推定部と、
    前記新規視点集中エリアの情報と前記事象の情報とを出力する情報出力部と、を備え、
    前記視線情報は、前記複数の車両の各々に搭乗している個々の乗員が注視する個別注視エリアの情報を含み、かつ、前記複数の車両の各々から出力され、
    前記個別注視エリアは、前記複数の車両の各々の位置データと、前記個々の乗員の視線データと、を含む経時的なデータである時系列データに基づいて、前記複数の車両の各々にて認識される、走行環境分析装置。
  3. 複数の車両の外部のエリアであって、前記複数の車両の乗員が注視する前記エリアである視点集中エリアを、前記乗員の視線に関する視線情報に基づいて、逐次、検出する視点集中エリア検出部と、
    新たに発生した前記視点集中エリアである新規視点集中エリアが検出された場合に、前記新規視点集中エリアで発生している事象を推定する視点集中エリア事象推定部と、
    前記新規視点集中エリアの情報と前記事象の情報とを出力する情報出力部と、を備え、
    前記視点集中エリア事象推定部は、前記新規視点集中エリアが属する地理的属性に基づいて、前記事象を推定する
    行環境分析装置。
  4. 前記地理的属性が前記複数の車両のうち一の車両の進行方向の車線上に対応する場合、前記視点集中エリア事象推定部は、前記車線に、予め定められた第1事象群に含まれる前記事象が発生していることを推定し、
    前記予め定められた第1事象群は、要回避事象を含む、請求項に記載の走行環境分析装置。
  5. 前記地理的属性が前記複数の車両のうち一の車両の進行方向の車線の近傍に対応する場合、前記視点集中エリア事象推定部は、前記車線に、予め定められた第2事象群に含まれる前記事象が発生していることを推定し、
    前記予め定められた第2事象群は、要注意事象を含む、請求項に記載の走行環境分析装置。
  6. 前記地理的属性が前記複数の車両のうち一の車両の走行道路の上方に対応する場合、前記視点集中エリア事象推定部は、前記走行道路に、予め定められた第3事象群に含まれる前記事象が発生していることを推定し、
    前記予め定められた第3事象群は、要注意事象を含む、請求項に記載の走行環境分析装置。
  7. 前記地理的属性が前記複数の車両のうち一の車両の進行方向の反対車線に対応する場合、前記視点集中エリア事象推定部は、前記反対車線に、予め定められた第4事象群に含まれる前記事象が発生していることを推定し、
    前記予め定められた第4事象群は、要回避事象を含む、請求項に記載の走行環境分析装置。
  8. 前記地理的属性が前記複数の車両のうち一の車両の走行道路の施設外に対応する場合、前記視点集中エリア事象推定部は、前記走行道路の前記施設外に、予め定められた第5事象群に含まれる前記事象が発生していることを推定し、
    前記予め定められた第5事象群は、前記一の車両の走行には直接影響がない要注意事象を含む、請求項に記載の走行環境分析装置。
  9. 複数の車両の外部のエリアであって、前記複数の車両の乗員が注視する前記エリアである視点集中エリアを、前記乗員の視線に関する視線情報に基づいて、逐次、検出する視点集中エリア検出部と、
    新たに発生した前記視点集中エリアである新規視点集中エリアが検出された場合に、前記新規視点集中エリアで発生している事象を推定する視点集中エリア事象推定部と、
    前記新規視点集中エリアの情報と前記事象の情報とを出力する情報出力部と、を備え、
    前記視点集中エリア事象推定部は、前記新規視点集中エリアの状態の経時的変化を示す時間的属性に基づいて、前記事象を推定する
    行環境分析装置。
  10. 前記時間的属性として前記新規視点集中エリアの位置が特定時点を境に変化しない場合、前記視点集中エリア事象推定部は、予め定められた第6事象群に含まれる前記事象が発生していることを推定し、
    前記予め定められた第6事象群は、要注意事象を含む、請求項に記載の走行環境分析装置。
  11. 前記時間的属性として前記新規視点集中エリアの位置が特定時点を境に変化せず、かつ、前記新規視点集中エリアが特定期間を経過しても解消されない場合、前記視点集中エリア事象推定部は、予め定められた第7事象群に含まれる前記事象が発生していることを推定し、
    前記予め定められた第7事象群は、要注意事象を含む、請求項に記載の走行環境分析装置。
  12. 前記時間的属性として前記新規視点集中エリアの位置が変化せず、前記複数の車両の各々に搭乗する個々の乗員が注視する個別注視エリアが前記新規視点集中エリアに一致する車両の割合が増加傾向にあり、前記割合が予め定められた評価値以上である場合、前記視点集中エリア事象推定部は、予め定められた第8事象群に含まれる前記事象が発生していることを推定し、
    前記予め定められた第8事象群は、要注意事象を含む、請求項に記載の走行環境分析装置。
  13. 前記時間的属性として前記新規視点集中エリアの位置が連続的に移動している場合、前記視点集中エリア事象推定部は、予め定められた第9事象群に含まれる前記事象が発生していることを推定し、
    前記予め定められた第9事象群は、前記新規視点集中エリアに移動体が存在する要注意事象を含む、請求項に記載の走行環境分析装置。
  14. 複数の車両の外部のエリアであって、前記複数の車両の乗員が注視する前記エリアである視点集中エリアを、前記乗員の視線に関する視線情報に基づいて、逐次、検出する視点集中エリア検出部と、
    新たに発生した前記視点集中エリアである新規視点集中エリアが検出された場合に、前記新規視点集中エリアで発生している事象を推定する視点集中エリア事象推定部と、
    前記新規視点集中エリアの情報と前記事象の情報とを出力する情報出力部と、を備え、
    前記視点集中エリア検出部は、
    前記視線情報に基づいて逐次検出される前記視点集中エリアと、予め定められた第1ロジックとに基づいて、前記乗員が定常的に注視するエリアである定常視点集中エリアを計算し、
    特定時点の前後で、前記定常視点集中エリアとは異なるエリアに前記視点集中エリアが発生した場合、前記新規視点集中エリアが発生したと判断する
    行環境分析装置。
  15. 複数の車両の外部のエリアであって、前記複数の車両の乗員が注視する前記エリアである視点集中エリアを、前記乗員の視線に関する視線情報に基づいて、逐次、検出する視点集中エリア検出部と、
    新たに発生した前記視点集中エリアである新規視点集中エリアが検出された場合に、前記新規視点集中エリアで発生している事象を推定する視点集中エリア事象推定部と、
    前記新規視点集中エリアの情報と前記事象の情報とを出力する情報出力部と、を備え、
    前記視点集中エリア検出部は、
    前記視線情報と予め定められた第2ロジックとに基づいて、前記視点集中エリアを検出するための前記乗員の前記視線の統計である統計視線分布を、予め定められた道路の区間ごとに求め、
    特定時点の前後で、前記統計視線分布が異なる場合に、前記新規視点集中エリアが発生したと判断し、
    前記予め定められた第2ロジックは、前記視線情報を統計的に計算することにより前記統計視線分布を求める
    行環境分析装置。
  16. 複数の車両の外部のエリアであって、前記複数の車両の乗員が注視する前記エリアである視点集中エリアを、前記乗員の視線に関する視線情報に基づいて、逐次、検出する視点集中エリア検出部と、
    新たに発生した前記視点集中エリアである新規視点集中エリアが検出された場合に、前記新規視点集中エリアで発生している事象を推定する視点集中エリア事象推定部と、
    前記新規視点集中エリアの情報と前記事象の情報とを出力する情報出力部と、を備え、
    前記視点集中エリア検出部は、
    前記視線情報と予め定められた第2ロジックとに基づいて、前記視点集中エリアを検出するための前記乗員の前記視線の統計である統計視線分布を、予め定められた道路の区間ごとに求め、
    特定時点の前後で、論理視線分布と前記統計視線分布とが異なる場合に、前記新規視点集中エリアが発生したと判断し、
    前記予め定められた第2ロジックは、前記視線情報を統計的に計算することにより前記統計視線分布を求め、
    前記論理視線分布は、前記予め定められた道路の前記区間ごとの道路構造から推定される前記乗員の前記視線の分布である
    行環境分析装置。
  17. 前記複数の車両に対して、前記個別注視エリアを認識するための視線情報分析プログラムの更新を行う、
    請求項に記載の走行環境分析装置。
  18. 請求項に記載の走行環境分析装置と、
    前記複数の車両の各々に設けられ、前記時系列データに基づいて、前記個々の乗員が注視する前記個別注視エリアを認識する個別注視エリア認識部と、
    前記複数の車両の各々に設けられ、前記走行環境分析装置に、前記個別注視エリアの情報を前記視線情報として出力する視線情報出力部と、を備える走行環境分析システム。
  19. 複数の車両の外部のエリアであって、前記複数の車両の乗員が注視する前記エリアである視点集中エリアを、前記乗員の視線に関する視線情報に基づいて、逐次、検出し、
    新たに発生した前記視点集中エリアである新規視点集中エリアが検出された場合に、前記新規視点集中エリアで発生している事象を推定し、
    前記新規視点集中エリアの情報と前記事象の情報とを出力
    前記複数の車両の各々の位置データと、前記複数の車両の各々に搭乗する個々の乗員の視線データと、を含む経時的なデータである時系列データに基づいて、前記個々の乗員が注視する個別注視エリアを、前記複数の車両の各々ごとに認識し、
    前記視線情報は、前記複数の車両の各々で検出される前記位置データと前記個々の乗員の前記視線データとを含み、かつ、前記複数の車両の各々から出力される、
    走行環境分析方法。
JP2021515372A 2019-04-24 2019-04-24 走行環境分析装置、走行環境分析システムおよび走行環境分析方法 Active JP7042974B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/017393 WO2020217337A1 (ja) 2019-04-24 2019-04-24 走行環境分析装置、走行環境分析システムおよび走行環境分析方法

Publications (2)

Publication Number Publication Date
JPWO2020217337A1 JPWO2020217337A1 (ja) 2021-10-14
JP7042974B2 true JP7042974B2 (ja) 2022-03-28

Family

ID=72940637

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021515372A Active JP7042974B2 (ja) 2019-04-24 2019-04-24 走行環境分析装置、走行環境分析システムおよび走行環境分析方法

Country Status (3)

Country Link
US (1) US12100228B2 (ja)
JP (1) JP7042974B2 (ja)
WO (1) WO2020217337A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20220306122A1 (en) * 2021-03-24 2022-09-29 Toyota Motor Engineering & Manufacturing North America, Inc. Methods and systems for autonomous path planning triggered by freeway rubbernecking

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008157661A (ja) 2006-12-21 2008-07-10 Denso It Laboratory Inc ナビゲーション装置
JP2009085750A (ja) 2007-09-28 2009-04-23 Aisin Aw Co Ltd 施設特定システム及び施設特定装置
JP2016071492A (ja) 2014-09-29 2016-05-09 富士重工業株式会社 要因分析装置および要因分析方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3972366B2 (ja) * 2003-09-26 2007-09-05 マツダ株式会社 車両用情報提供装置
CN103413231B (zh) * 2006-03-16 2017-10-27 比凯特有限责任公司 在移动物体上显示高度相关广告而获得收益的系统和方法
WO2008029802A1 (fr) * 2006-09-04 2008-03-13 Panasonic Corporation Dispositif fournissant des informations de voyage
JP2009031065A (ja) 2007-07-25 2009-02-12 Aisin Aw Co Ltd 車両用情報案内装置、車両用情報案内方法及びコンピュータプログラム
JP2016199204A (ja) * 2015-04-14 2016-12-01 トヨタ自動車株式会社 車両制御装置
CA2999671A1 (en) * 2015-09-30 2017-04-06 Sony Corporation Control apparatus, control method, and program
JP6503285B2 (ja) 2015-12-02 2019-04-17 株式会社デンソーアイティーラボラトリ 運転制御装置、運転制御方法及びプログラム
US20170185146A1 (en) * 2015-12-29 2017-06-29 Ford Global Technologies, Llc Vehicle notification system including transparent and mirrored displays
US10981427B2 (en) * 2016-03-29 2021-04-20 Sony Corporation Damping control device, damping control method, and moving body
JP6851482B2 (ja) * 2017-07-21 2021-03-31 三菱電機株式会社 操作支援装置および操作支援方法
DE102018133445A1 (de) * 2018-12-21 2020-06-25 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Überwachen eines Insassen eines Fahrzeugs sowie System zur Analyse der Wahrnehmung von Objekten
WO2020145161A1 (ja) * 2019-01-08 2020-07-16 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、移動装置、および方法、並びにプログラム
US10780897B2 (en) * 2019-01-31 2020-09-22 StradVision, Inc. Method and device for signaling present driving intention of autonomous vehicle to humans by using various V2X-enabled application
KR20210151802A (ko) * 2019-04-18 2021-12-14 소니 세미컨덕터 솔루션즈 가부시키가이샤 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램
EP3809359A1 (en) * 2019-10-14 2021-04-21 Ningbo Geely Automobile Research & Development Co. Ltd. Vehicle driving challenge system and corresponding method
JP7287257B2 (ja) * 2019-12-06 2023-06-06 トヨタ自動車株式会社 画像処理装置、表示システム、プログラムおよび画像処理方法
US11688184B2 (en) * 2020-06-17 2023-06-27 Toyota Motor Engineering & Manufacturing North America, Inc. Driving automation external communication location change

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008157661A (ja) 2006-12-21 2008-07-10 Denso It Laboratory Inc ナビゲーション装置
JP2009085750A (ja) 2007-09-28 2009-04-23 Aisin Aw Co Ltd 施設特定システム及び施設特定装置
JP2016071492A (ja) 2014-09-29 2016-05-09 富士重工業株式会社 要因分析装置および要因分析方法

Also Published As

Publication number Publication date
US20220139093A1 (en) 2022-05-05
US12100228B2 (en) 2024-09-24
JPWO2020217337A1 (ja) 2021-10-14
WO2020217337A1 (ja) 2020-10-29

Similar Documents

Publication Publication Date Title
JP7302934B2 (ja) ナビゲーション情報を匿名化するためのシステム及び方法
AU2021269330B2 (en) Sparse map for autonomous vehicle navigation
US11402851B2 (en) Systems and methods for detecting low-height objects in a roadway
US10657811B2 (en) Travel lane identification without road curvature data
JP4752836B2 (ja) 道路環境情報通知装置及び道路環境情報通知プログラム
US20210341303A1 (en) Clustering event information for vehicle navigation
JP4093026B2 (ja) 道路環境情報通知装置、車載報知装置、情報センタ内装置、及び道路環境情報通知プログラム
US20190100200A1 (en) Travel lane identification without road curvature data
JP2023504604A (ja) 車両を選択的に減速させるシステムおよび方法
JP7042974B2 (ja) 走行環境分析装置、走行環境分析システムおよび走行環境分析方法
CN114348015A (zh) 车辆控制装置和车辆控制方法
WO2020241815A1 (en) On-board apparatus, driving assistance method, and driving assistance system
KR102317311B1 (ko) 영상을 이용한 정보 분석 시스템 및 그에 관한 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210319

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220111

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220203

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220215

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220315

R150 Certificate of patent or registration of utility model

Ref document number: 7042974

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150