JP6859374B2 - 予測装置、予測方法、およびプログラム - Google Patents

予測装置、予測方法、およびプログラム Download PDF

Info

Publication number
JP6859374B2
JP6859374B2 JP2019003844A JP2019003844A JP6859374B2 JP 6859374 B2 JP6859374 B2 JP 6859374B2 JP 2019003844 A JP2019003844 A JP 2019003844A JP 2019003844 A JP2019003844 A JP 2019003844A JP 6859374 B2 JP6859374 B2 JP 6859374B2
Authority
JP
Japan
Prior art keywords
vehicle
images
tilt angle
region
traffic congestion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019003844A
Other languages
English (en)
Other versions
JP2020113082A (ja
Inventor
越膳　孝方
孝方 越膳
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Honda Motor Co Ltd
Original Assignee
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Honda Motor Co Ltd filed Critical Honda Motor Co Ltd
Priority to JP2019003844A priority Critical patent/JP6859374B2/ja
Priority to US16/733,569 priority patent/US11260858B2/en
Publication of JP2020113082A publication Critical patent/JP2020113082A/ja
Application granted granted Critical
Publication of JP6859374B2 publication Critical patent/JP6859374B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0108—Measuring and analyzing of parameters relative to traffic conditions based on the source of data
    • G08G1/0112—Measuring and analyzing of parameters relative to traffic conditions based on the source of data from the vehicle, e.g. floating car data [FCD]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/54—Surveillance or monitoring of activities, e.g. for recognising suspicious objects of traffic, e.g. cars on the road, trains or boats
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G06V20/584—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of vehicle lights or traffic lights
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0125—Traffic data processing
    • G08G1/0133—Traffic data processing for classifying traffic situation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
    • G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
    • G08G1/0145—Measuring and analyzing of parameters relative to traffic conditions for specific applications for active traffic flow control
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Description

本発明は、予測装置、予測方法、およびプログラムに関する。
車両の現在位置と加速度の変化に基づいて、交通渋滞が発生する予兆を検知する技術が知られている（例えば、特許文献１参照）。
特開２０１６−２０１０５９号公報
しかしながら、従来の技術では、ＧＮＳＳ（Global Navigation Satellite System）を利用して測定した車両の位置を用いて交通渋滞の予兆を検知しているため、車両の位置を測定する際に生じた測定誤差が交通渋滞の予測精度に影響を与えやすく、また、位置情報を送信する際に生じた遅延が交通渋滞の予測精度に影響を与えやすい傾向にあった。この結果、交通渋滞が発生することを精度よく予測することができない場合があった。
本発明の態様は、このような事情を考慮してなされたものであり、交通渋滞が発生することを精度よく予測することができる予測装置、予測方法、およびプログラムを提供することを目的の一つとする。
本発明に係る予測装置、予測方法、およびプログラムは、以下の構成を採用した。
（１）本発明の一態様は、車両の進行方向前方を繰り返し撮像するカメラと、前記カメラによって繰り返し撮像された複数の画像のそれぞれから、他車両が含まれる領域を抽出する抽出部と、前記抽出部によって前記複数の画像のそれぞれから抽出された前記領域の大きさの画像間における変化に基づいて、前記車両が存在する道路に交通渋滞が発生することを予測する予測部と、を備え、前記予測部が、前記領域の大きさの画像間における変化をスペクトル解析することで、前記領域の大きさの画像間における変化からパワースペクトルを導出し、周波数に応じた前記パワースペクトルの回帰直線の傾斜角度である第１傾斜角度を導出し、前記第１傾斜角度の回帰直線の傾斜角度である第２傾斜角度を導出し、前記第２傾斜角度に基づいて、前記道路に前記交通渋滞が発生することを予測する、予測装置である。
（２）の態様は、上記（１）の態様の予測装置において、前記領域の大きさには、前記領域の面積、対角線の長さ、又は一辺の長さが含まれるものである。
（３）の態様は、上記（１）または（２）の態様の予測装置において、前記抽出部が、画像が入力されると、入力された画像において車両が存在する領域に関するパラメータを出力するように学習されたモデルに対して、前記カメラによって繰り返し撮像された各画像を入力し、前記画像を入力した前記モデルによって出力された前記パラメータに基づいて、前記カメラによって繰り返し撮像された各画像から、前記領域を抽出するものである。
（４）の態様は、上記（１）から（３）のうちいずれか一つの態様の予測装置において、前記予測部が、前記第２傾斜角度が、閾値以下の角度である場合、前記道路に前記交通渋滞が発生しやすいと予測し、前記第２傾斜角度が、前記閾値を超える角度である場合、前記道路に前記交通渋滞が発生しにくいと予測し、前記閾値は、１／ｆゆらぎの回帰曲線の傾斜角度であるものである。
（５）の態様は、上記（１）から（３）のうちいずれか一つの態様の予測装置において、前記予測部が、前記第２傾斜角度が小さいほど、前記道路に前記交通渋滞が発生しやすいと予測し、前記第２傾斜角度が大きいほど、前記道路に前記交通渋滞が発生しにくいと予測するものである。
（６）本発明の他の態様は、車両の進行方向前方を繰り返し撮像するカメラと、前記カメラによって繰り返し撮像された複数の画像のそれぞれから、前記車両と同じ第１車線に存在する第１他車両が含まれる第１領域と、前記第１車線に隣接した第２車線に存在する第２他車両が含まれる第２領域とを抽出する抽出部と、前記抽出部によって前記複数の画像のそれぞれから抽出された前記第１領域の大きさの画像間における変化および前記第２領域の大きさの画像間における変化に基づいて、前記車両が存在する道路に交通渋滞が発生することを予測する予測部と、を備え、前記予測部が、前記第１領域の大きさの画像間における変化をスペクトル解析することで、前記第１領域の大きさの画像間における変化から第１パワースペクトルを導出し、前記第２領域の大きさの画像間における変化をスペクトル解析することで、前記第２領域の大きさの画像間における変化から第２パワースペクトルを導出し、周波数に応じた前記第１パワースペクトルの回帰直線の傾斜角度である第１傾斜角度を導出し、周波数に応じた前記第２パワースペクトルの回帰直線の傾斜角度である第２傾斜角度を導出し、前記第１傾斜角度の回帰直線の傾斜角度である第３傾斜角度を導出し、前記第２傾斜角度の回帰直線の傾斜角度である第４傾斜角度を導出し、前記第３傾斜角度及び前記第４傾斜角度に基づいて、前記道路に前記交通渋滞が発生することを予測する、予測装置である。
（７）本発明の他の態様は、車両の進行方向前方を繰り返し撮像するカメラを備える車両に搭載されたコンピュータが、前記カメラによって繰り返し撮像された複数の画像のそれぞれから、他車両が含まれる領域を抽出し、前記複数の画像のそれぞれから抽出した前記領域の大きさの画像間における変化に基づいて、前記車両が存在する道路に交通渋滞が発生することを予測し、前記領域の大きさの画像間における変化をスペクトル解析することで、前記領域の大きさの画像間における変化からパワースペクトルを導出し、周波数に応じた前記パワースペクトルの回帰直線の傾斜角度である第１傾斜角度を導出し、前記第１傾斜角度の回帰直線の傾斜角度である第２傾斜角度を導出し、前記第２傾斜角度に基づいて、前記道路に前記交通渋滞が発生することを予測する、予測方法である。
（８）本発明の他の態様は、車両の進行方向前方を繰り返し撮像するカメラを備える車両に搭載されたコンピュータに、前記カメラによって繰り返し撮像された複数の画像のそれぞれから、他車両が含まれる領域を抽出する処理と、前記複数の画像のそれぞれから抽出した前記領域の大きさの画像間における変化に基づいて、前記車両が存在する道路に交通渋滞が発生することを予測する処理と、前記領域の大きさの画像間における変化をスペクトル解析することで、前記領域の大きさの画像間における変化からパワースペクトルを導出する処理と、周波数に応じた前記パワースペクトルの回帰直線の傾斜角度である第１傾斜角度を導出する処理と、前記第１傾斜角度の回帰直線の傾斜角度である第２傾斜角度を導出する処理と、前記第２傾斜角度に基づいて、前記道路に前記交通渋滞が発生することを予測する処理と、を実行させるためのプログラムである。
上記のいずれかの一つの態様によれば、交通渋滞が発生することを精度よく予測することができる。
第１実施形態に係る予測装置１００を含む予測システム１の構成の一例を示す図である。 第１実施形態に係る予測装置１００の構成の一例を示す図である。 推論モデルＭＤＬの一例を示す図である。 バンディングボックスＢＢが抽出された画像の一例を示す図である。 バンディングボックスＢＢが抽出された画像の一例を示す図である。 第１実施形態に係る予測装置１００の一連の処理の流れを示すフローチャートである。 バンディングボックスＢＢの面積の変化の一例を示す図である。 傾斜角度θの一例を示す図である。 シーンＡにおける傾斜角度θの一例を示す図である。 シーンＢにおける傾斜角度θの一例を示す図である。 第１実施形態に係るサーバ装置２００の構成の一例を示す図である。 第２実施形態に係る予測装置１００の一連の処理の流れを示すフローチャートである。 複数のバンディングボックスＢＢが抽出された画像の一例を示す図である。 複数のバンディングボックスＢＢが抽出された画像の一例を示す図である。 シーンＣにおけるバンディングボックスＢＢの面積の変化の一例を示す図である。 シーンＣにおける傾斜角度θの一例を示す図である。 シーンＣにおける傾斜角度θの一例を示す図である。 実施形態の予測装置１００のハードウェア構成の一例を示す図である。
以下、図面を参照し、本発明の予測装置、予測方法、およびプログラムの実施形態について説明する。
＜第１実施形態＞
［システム構成］
図１は、第１実施形態に係る予測装置１００を含む予測システム１の構成の一例を示す図である。第１実施形態に係る予測システム１は、例えば、複数の予測装置１００と、サーバ装置２００とを備える。図示の例のように、各予測装置１００は、車両Ｍに搭載される。車両Ｍは、例えば、二輪や三輪、四輪等の車両である。これらの車両の駆動源は、ディーゼルエンジンやガソリンエンジン等の内燃機関、電動機、或いはこれらの組み合わせであってよい。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。
予測装置１００とサーバ装置２００とは、ネットワークＮＷを介して通信可能に接続される。ネットワークＮＷには、ＬＡＮ（Local Area Network）やＷＡＮ（Wide Area Network）などが含まれる。ネットワークＮＷには、例えば、Ｗｉ−ＦｉやＢｌｕｅｔｏｏｔｈ（登録商標、以下省略）などの無線通信を利用したネットワークが含まれてよい。
予測装置１００は、車両Ｍの進行方向前方を撮像した画像を解析することで、車両Ｍが存在する道路に交通渋滞が発生することを予測する装置である。
サーバ装置２００は、各車両Ｍに搭載された予測装置１００と通信し、予測装置１００から交通渋滞の予測結果を示すデータを収集する。サーバ装置２００は、収集したデータに基づいて、交通渋滞が発生することを抑制する制御を行う。例えば、サーバ装置２００は、多くの予測装置１００によって交通渋滞が発生すると予測された地点の周辺を走行している車両を、サービスエリアやパーキングエリアに一時的に誘導することで、交通渋滞を緩和したり、交通渋滞が発生すると予測された地点を含む道路に連結されたランプウェイなどを一時的に閉鎖して、交通渋滞が発生し得る道路に流入する車両の数を減らしたりしてよい。また、サーバ装置２００は、交通渋滞が発生すると予測された地点の周辺を走行している車両を遠隔で制御することで、その車両の速度を制限したり、レーンチェンジが行われるのを抑制したりしてもよい。
［予測装置の構成］
図２は、第１実施形態に係る予測装置１００の構成の一例を示す図である。第１実施形態に係る予測装置１００は、例えば、カメラ１０２と、通信部１０４と、表示部１０６と、入力部１０８と、記憶部１１０と、制御部１３０とを備える。
これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続されてよい。なお、図２に示す予測装置１００の構成はあくまでも一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。
カメラ１０２は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０２は、予測装置１００が搭載された車両Ｍ（以下、自車両Ｍと称する）のフロントウィンドウ越しに、自車両Ｍの進行方向前方を繰り返し撮像する。例えば、カメラ１０２は、所定の周期で繰り返し撮像してもよいし、自車両Ｍが所定の距離進むごとに繰り返し撮像してもよい。カメラ１０２は、撮像した画像のデータ（以下、画像データ）を生成し、生成した画像データを制御部１３０に出力する。
通信部１０４は、アンテナやＮＩＣ（Network Interface Card）などの通信インターフェースを含む。通信部１０４は、ネットワークＮＷを介してサーバ装置２００などと通信する。
表示部１０６は、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）ディスプレイなどの表示装置を含む。表示部１０６は、制御部１３０により出力される情報に基づいて画像を表示する。
入力部１０８は、例えば、ボタン、キーボードやマウス等のユーザインターフェースである。入力部１０８は、ユーザの操作を受け付けて、受け付けた操作に応じた信号を制御部１３０に出力する。入力部１０８は、表示部１０６と一体として構成されるタッチパネルであってもよい。
記憶部１１０は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、またはＲＡＭ（Random Access Memory）等により実現される。記憶部１１０には、例えば、プロセッサによって参照されるプログラムや、推論モデルデータ１１２などが格納される。
推論モデルデータ１１２は、画像から、境界付けられた車両の領域（以下、バンディングボックスＢＢ（Bounding Box）と称する）を抽出するための推論モデルＭＤＬを定義した情報（プログラムまたはデータ構造）である。
図３は、推論モデルＭＤＬの一例を示す図である。図示の例のように、推論モデルＭＤＬは、画像が入力されると、画像におけるバンディングボックスＢＢの座標を出力するように学習されたモデルである。
推論モデルＭＤＬは、例えば、ＣＮＮ（Convolutional Neural Network）などを含むＤＮＮ（Deep Neural Network(s)）を利用して実現されてよい。また、推論モデルＭＤＬは、ＤＮＮに限られず、ロジスティック回帰やＳＶＭ（Support Vector Machine）、ｋ−ＮＮ（k-Nearest Neighbor algorithm）、決定木、単純ベイズ分類器、ランダムフォレストといった他のモデルによって実現されてもよい。
推論モデルＭＤＬがＣＮＮなどのＤＮＮによって実現される場合、推論モデルデータ１１２には、例えば、推論モデルＭＤＬに含まれる各ＤＮＮを構成する入力層、一以上の隠れ層（中間層）、出力層の其々に含まれるニューロン（ユニットあるいはノード）が互いにどのように結合されるのかという結合情報や、結合されたニューロン間で入出力されるデータに付与される結合係数がいくつであるのかという重み情報などが含まれる。結合情報は、例えば、各層に含まれるニューロン数や、各ニューロンの結合先のニューロンの種類を指定する情報、各ニューロンを実現する活性化関数、隠れ層のニューロン間に設けられたゲートなどの情報を含む。ニューロンを実現する活性化関数は、例えば、入力符号に応じて動作を切り替える関数（ＲｅＬＵ（Rectified Linear Unit）関数やＥＬＵ（Exponential Linear Units）関数など）であってもよいし、シグモイド関数や、ステップ関数、ハイパポリックタンジェント関数であってもよいし、恒等関数であってもよい。ゲートは、例えば、活性化関数によって返される値（例えば１または０）に応じて、ニューロン間で伝達されるデータを選択的に通過させたり、重み付けたりする。結合係数は、活性化関数のパラメータであり、例えば、ニューラルネットワークの隠れ層において、ある層のニューロンから、より深い層のニューロンにデータが出力される際に、出力データに対して付与される重みを含む。また、結合係数は、各層の固有のバイアス成分などを含んでもよい。
制御部１３０は、例えば、抽出部１３２と、予測部１３４と、出力制御部１３６と、通信制御部１３８と、学習部１４０とを備える。
これらの構成要素は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のプロセッサがプログラム（ソフトウェア）を実行することにより実現される。また、これらの構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予め記憶部１１０に格納されていてもよいし、ＤＶＤやＣＤ−ＲＯＭ等の着脱可能な記憶媒体に格納されており、記憶媒体がディスクドライブなどのドライブ装置に装着されることで記憶部１１０にインストールされてもよい。
抽出部１３２は、カメラ１０２によって繰り返し撮像された複数の画像のそれぞれから、バンディングボックスＢＢを抽出する。
例えば、抽出部１３２は、推論モデルデータ１１２が示す推論モデルＭＤＬに対して、カメラ１０２によって撮像された画像を入力する。具体的には、抽出部１３２は、推論モデルＭＤＬに対して、画像に含まれる複数の画素のそれぞれに対応した要素をもつ行列を入力する。推論モデルＭＤＬは、画像が入力されると、その画像上におけるバンディングボックスＢＢの座標を出力する。バンディングボックスＢＢの座標は、例えば、バンディングボックスＢＢの領域が四角形状である場合、４つの頂点のうち、互いに辺を共有しない２つの対頂点の座標である。抽出部１３２は、推論モデルＭＤＬによって、２つの対頂点の座標が出力されると、その２つの対頂点の座標に基づいて、画像からバンディングボックスＢＢを抽出する。バンディングボックスＢＢの対頂点の座標は、「車両が存在する領域に関するパラメータ」の一例である。
図４および図５は、バンディングボックスＢＢが抽出された画像の一例を示す図である。図中Ｌ１は、自車両Ｍが走行する自車線を表しており、Ｌ２は、自車線Ｌ１の進行方向右側に隣接した隣接車線を表しており、Ｌ３は、自車線Ｌ１の進行方向左側に隣接した隣接車線を表している。ＬＭ１は、自車線Ｌ１と右側の隣接車線Ｌ２との間を区画する区画線を表しており、ＬＭ２は、自車線Ｌ１と左側の隣接車線Ｌ３との間を区画する区画線を表している。カメラ１０２は自車両Ｍの進行方向前方を撮像するため、例えば、自車線Ｌ１において自車両Ｍよりも前方に先行車が存在した場合、抽出部１３２は、画像から、先行車のリア（後面）の領域をバンディングボックスＢＢとして抽出することになる。以下、図４に例示する場面を、シーンＡと称し、図４に例示する場面よりも先行車が自車両Ｍに近い図５に例示する場面を、シーンＢと称して説明する。
予測部１３４は、抽出部１３２によって複数の画像のそれぞれからバンディングボックスＢＢが抽出されると、各画像のバンディングボックスＢＢの領域面積を比較し、そのバンディングボックスＢＢの領域面積の変化に基づいて、自車両Ｍが存在する道路に交通渋滞が発生することを予測する。言い換えれば、予測部１３４は、時間的あるいは距離的に連続した系列データである複数の画像を基に、自車両Ｍの前方に存在する他車両のリアの領域面積がどのように変化していくのかを解析することで、自車両Ｍが存在する道路に交通渋滞が発生することを予測する。
出力制御部１３６は、例えば、予測部１３４によって交通渋滞が発生することが予測された場合、交通渋滞が発生することを表す画像を表示部１０６に表示させる。
通信制御部１３８は、通信部１０４を介して、予測部１３４による予測結果を示すデータをサーバ装置２００に送信する。
学習部１４０は、予め用意された教師データに基づいて、推論モデルＭＤＬを学習する。教師データは、自車両Ｍの前方に先行車などの他車両が存在する状況下で自車両Ｍの進行方向前方を撮像した画像に対して、画像上におけるバンディングボックスＢＢの座標が教師ラベルとして対応付けられたデータである。
例えば、学習部１４０は、教師データの画像を推論モデルＭＤＬに入力し、その画像を入力した推論モデルＭＤＬによって出力されたバンディングボックスＢＢの座標が、教師ラベルとして対応付けられた正解のバンディングボックスＢＢの座標に近づくように、推論モデルＭＤＬを学習する。
例えば、推論モデルＭＤＬがニューラルネットワークである場合、学習部１４０は、推論モデルＭＤＬによって出力されたバンディングボックスＢＢの座標と、教師ラベルのバンディングボックスＢＢの座標との差分が小さくなるように、推論モデルＭＤＬのパラメータを、ＳＧＤ(Stochastic Gradient Descent）、Momentum ＳＧＤ、AdaGrad、RMSprop、AdaDelta、Ａｄａｍ(Adaptive moment estimation)などの確率的勾配降下法を利用して学習する。
なお、予測装置１００の制御部１３０は、学習部１４０を備えていなくてもよい。例えば、予測装置１００以外の他の装置（例えば、ネットワークＮＷを介して予測装置１００に対して接続されたサーバ装置など）が、推論モデルＭＤＬを学習してよい。この場合、予測装置１００は、他装置によって学習された推論モデルＭＤＬを、他装置からダウンロードするなどして、記憶部１１０に記憶させる。
［予測装置の処理フロー］
以下、第１実施形態に係る予測装置１００の一連の処理の流れについてフローチャートを用いて説明する。図６は、第１実施形態に係る予測装置１００の一連の処理の流れを示すフローチャートである。本フローチャートの処理は、所定の周期で繰り返し行われてよい。
まず、抽出部１３２は、カメラから画像を取得し（ステップＳ１００）、取得した画像を推論モデルＭＤＬに入力する（ステップＳ１０２）。
次に、抽出部１３２は、画像を入力した推論モデルＭＤＬによる出力結果、すなわちバンディングボックスＢＢの座標に基づいて、画像からバンディングボックスＢＢを抽出する（ステップＳ１０４）。
次に、予測部１３４は、抽出部１３２によって抽出されたバンディングボックスＢＢの面積を算出する（ステップＳ１０６）。例えば、予測部１３４は、バンディングボックスＢＢとして抽出された画像領域に含まれるピクセル数をカウントし、そのカウントしたピクセル数に、一ピクセルあたりの大きさを乗算することで、バンディングボックスＢＢの面積を算出する。なお、予測部１３４は、バンディングボックスＢＢの面積を算出する代わりに、或いは加えて、バンディングボックスＢＢの対角線の長さや、一辺の長さを算出してもよい。
次に、予測部１３４は、規定数の画像からバンディングボックスＢＢが抽出されたか否かを判定する（ステップＳ１０８）。規定数は、例えば、所定期間（数秒から数十秒）が経過するまでに撮像が繰り返される回数であってもよいし、自車両Ｍが所定距離を進むまでに撮像が繰り返される回数であってもよい。
予測部１３４は、規定数の画像からバンディングボックスＢＢが未だ抽出されていない場合、Ｓ１００に処理を戻す。これを受けて、抽出部１３２は、規定数の画像からバンディングボックスＢＢを抽出するまで、カメラ１０によって繰り返し撮像される各画像から、バンディングボックスＢＢを抽出することを繰り返す。
一方、予測部１３４は、規定数の画像からバンディングボックスＢＢが抽出された場合、画像間のバンディングボックスＢＢの面積の変化をスペクトル解析（周波数解析）することで、時間的または空間的に連続した、ある系列の複数の画像のそれぞれから抽出されたバンディングボックスＢＢの面積が、周波数に応じてどのように分布するのかを表したパワースペクトルを導出する（ステップＳ１１０）。
図７は、バンディングボックスＢＢの面積の変化の一例を示す図である。図示の例では、時間に対するバンディングボックスＢＢの面積の変化を表している。例えば、予測部１３４は、時間に対するバンディングボックスＢＢの面積の変化を一つの信号を捉え、その信号の自己相関を算出する。そして、予測部１３４は、算出した自己相関をフーリエ変換することで、パワースペクトルを導出する。なお、予測部１３４は、バンディングボックスＢＢの面積の代わりに、或いは加えて、対角線の長さや、一辺の長さを算出した場合、それらの長さの画像間の変化をスペクトル解析することで、パワースペクトルを導出してもよい。
図６のフローチャートの説明に戻る。次に、予測部１３４は、ある周波数帯域のパワースペクトルの回帰直線を導出する（ステップＳ１１２）。
例えば、カオス的なふるまいを見せる交通流にはバタフライ効果と呼ばれる現象（カオス現象）が存在しており、交通流がどのように変化するのかを長期的に予測することは難しいことが知られている。また、バタフライ効果によってカオス的に運動する交通流では、交通渋滞の発生に対して、高周波数よりも低周波数のパワースペクトルが大きく影響を及ぼしていることが知られている。
従って、予測部１３４は、ある基準の周波数よりも低い周波数帯域（以下、低周波数帯域と称する）のパワースペクトルに対して、最小二乗法などを適用して、重み係数αやバイアス成分ｂといったパラメータを推定することで、ｙ＝αｘ＋ｂのような回帰直線を導出する。
次に、予測部１３４は、導出した回帰直線の傾斜角度（以下、第１傾斜角度θと称する）を導出する（ステップＳ１１４）。
図８は、第１傾斜角度θの一例を示す図である。図中の横軸は、周波数（例えば単位は［Ｈｚ］）を表し、縦軸は、パワースペクトル（例えば単位は［ｄＢ］）を表している。ＬＮａは、回帰曲線を表している。図示の例のように、第１傾斜角度θとは、ホワイトノイズのように、周波数に依らずにパワースペクトルの強さ（例えば密度や電圧、電力など）を一定とした近似直線、すなわち横軸の周波数軸に対して平行な直線ＬＮＲＥＦ１と、回帰直線ＬＮａとのなす角度である。例えば、第１傾斜角度θは、周波数軸と平行な直線ＬＮＲＥＦ１に比して、回帰直線ＬＮａが高周波になるほどパワースペクトルが減衰する直線である場合、マイナスの角度となり、周波数軸と平行な直線ＬＮＲＥＦ１に比して、回帰直線ＬＮａが高周波になるほどパワースペクトルが増幅する直線である場合、プラスの角度となる。従って、第１傾斜角度θは、周波数に応じたパワースペクトルの強さの減衰の度合いを表している。
一般的に、ピンクノイズのように、高周波から低周波になるにつれてパワースペクトルが高くなるほど、加速および減速の動的時間応答の遅れが増大傾向に変化し、速度のばらつきが増大する。これによって、燃費などのエネルギー効率を優先させながら自車両Ｍを走行させることが難しくなり、渋滞が発生し易くなるとともにエネルギー効率が低下する傾向にある。
例えば、低周波数帯域において第１傾斜角度θの回帰直線の傾き（以下、第２傾斜角度φと称する）が小さい場合、自車両Ｍが先行車から受ける衝撃波が小さくなりやすい。衝撃波とは、車両が加速および減速の動作を繰り返すことにより、この動作（前後の動き）を後方の車両に一種の振動やゆらぎとして伝播させることを意味する。自車両Ｍが先行車から受ける衝撃波が小さい場合、先行車に対する自車両Ｍの反応遅れが小さくなり、後続車などの他車両に影響を及ぼしにくく、他車両と同調しながら自車両Ｍを走行させやすくなる。この結果、交通渋滞が発生する蓋然性が低下しやすくなる。
一方で、低周波数帯域において第１傾斜角度θの回帰直線の傾きである第２傾斜角度φが大きい場合、自車両Ｍが先行車から受ける衝撃波が大きくなりやすい。そのため、先行車に対する自車両Ｍの反応遅れが大きくなり、後続車などの他車両に影響を及ぼしやすく、他車両と同調しながら自車両Ｍを走行させにくくなる。この結果、交通渋滞が発生する蓋然性が向上しやすくなる。
図６のフローチャートの説明に戻る。次に、予測部１３４は、Ｓ１１０からＳ１１４の一連の処理、すなわち第１傾斜角度θを導出するという処理を所定回数行ったか否かを判定する（ステップＳ１１６）。
予測部１３４は、第１傾斜角度θを導出する処理を所定回数行っていない場合、Ｓ１００に処理を戻す。
一方、予測部１３４は、第１傾斜角度θを導出する処理を所定回数行った場合、第１傾斜角度θの平均回帰直線を導出し（ステップＳ１１８）、その回帰直線の傾きである第２傾斜角度φを導出する（ステップＳ１２０）。
図９は、シーンＡにおける第１傾斜角度θの一例を示す図である。図１０は、シーンＢにおける第１傾斜角度θの一例を示す図である。各図における縦軸は、第１傾斜角度θを表しており、横軸は、一例として時間（単位は［秒］）を表している。いずれの図においても、第１傾斜角度θは、１０秒という周期で繰り返し導出されていることを表している。図示の例のように、第２傾斜角度φは、周波数に依らずにパワースペクトルの強さを一定とした近似直線、すなわち横軸の周波数軸に対して平行な直線ＬＮＲＥＦ２と、第１傾斜角度θの回帰直線ＬＮｂとのなす角度である。
図９における第１傾斜角度θの平均回帰直線ＬＮｂは、図１０における第１傾斜角度θの平均回帰直線ＬＮｂに比して、傾斜が緩やかであることから、シーンＢに比してシーンＡの方が、第２傾斜角度φが小さいことを表している。すなわち、シーンＢに比してシーンＡの方が、自車両Ｍと先行車との相対的な加速度の変化が小さく、滑らかな運転が行われていることを示している。
図６のフローチャートの説明に戻る。次に、予測部１３４は、第２傾斜角度φが閾値φＴＨ以下であるのか否かを判定する（ステップＳ１２２）。閾値φＴＨは、交通渋滞が発生したか否かの境界となる角度であり、例えば、パワースペクトルが周波数に反比例して減衰する１／ｆゆらぎ（１／ｆノイズ）の回帰曲線の傾斜角度（＝−４５度程度）に設定される。
例えば、第２傾斜角度φが−６０度のような閾値φＴＨ以下の角度である場合、周波数に応じたパワースペクトルの強さの減衰が、１／ｆゆらぎよりも大きい減衰であることから、交通渋滞が発生する蓋然性が高い状況にあると判断することができる。
一方で、例えば、第２傾斜角度φが−１０度のような閾値φＴＨを超える角度である場合、周波数に応じたパワースペクトルの強さの減衰が、１／ｆゆらぎよりも小さい減衰であることから、交通渋滞が発生する蓋然性が低い状況にあると判断することができる。
従って、予測部１３４は、交通渋滞が発生する蓋然性が高い状況、すなわち、第２傾斜角度φが閾値φＴＨ以下である場合、交通渋滞の発生確率を導出する（ステップＳ１２４）。例えば、予測部１３４は、第２傾斜角度φが小さいほど、より大きい値の発生確率を導出し、第２傾斜角度φが大きいほど、より小さい値の発生確率を導出してよい。
また、予測部１３４は、第２傾斜角度φが閾値φＴＨ以下であるか否かを判定することに加えて、更に、第２傾斜角度φが正であるのか否かを判定し、その判定結果に応じて、交通渋滞の発生確率を導出するか否かを決定してもよい。
例えば、第２傾斜角度φが閾値φＴＨ以下であり、第２傾斜角度φが正である場合、交通渋滞が発生する予兆があり、更には、時間が経過するのに応じて、或いは走行距離が長くなるのに応じて交通渋滞が発生する蓋然性が高まっている状況にあると判断することができる。
また、第２傾斜角度φが閾値φＴＨを超えており、第２傾斜角度φが正である場合、時間が経過するのに応じて、或いは走行距離が長くなるのに応じて交通渋滞が発生する蓋然性が高まっているものの、交通渋滞が発生する予兆といえるほどの蓋然性ではないと判断することができる。
また、第２傾斜角度φが閾値φＴＨ以下であり、第２傾斜角度φが負である場合、交通渋滞が発生する一時的な予兆があるものの、時間が経過するのに応じて、或いは走行距離が長くなるのに応じて交通渋滞が発生する蓋然性が低下している状況にあると判断することができる。
また、第２傾斜角度φが閾値φＴＨを超えており、第２傾斜角度φが負である場合、交通渋滞が発生する予兆もなく、時間が経過するのに応じて、或いは走行距離が長くなるのに応じて交通渋滞が発生する蓋然性が低下している状況にあると判断することができる。
そのため、予測部１３４は、第２傾斜角度φが閾値φＴＨ以下の範囲で小さく、且つ、第１傾斜角度θの回帰直線ＬＮｂの傾きである第２傾斜角度φが正に大きくなるほど、より大きい値の発生確率を導出し、第２傾斜角度φが閾値φＴＨ以下の範囲で大きく、且つ、第２傾斜角度φが負に大きくなるほど、小さい値の発生確率を導出してよい。
より具体的には、予測部１３４は、第２傾斜角度φが閾値φＴＨ以下であるときに、第２傾斜角度φが正である場合（φ＞φＴＨ＞０）、発生確率を１とし、第２傾斜角度φが負である場合（０＜φ＜φＴＨ）、発生確率を０としてよい。
予測部１３４は、発生確率を導出すると、その導出した発生確率に応じて、自車両Ｍが存在する道路に交通渋滞が発生することを予測する。すなわち、予測部１３４は、発生確率に応じて、交通渋滞の予兆を検知する。
例えば、予測部１３４は、発生確率が閾値以上である場合、すなわち渋滞の予兆がある場合、交通渋滞が発生すると予測し、発生確率が閾値未満である場合、すなわち渋滞の予兆がない場合、交通渋滞が発生しないと予測してよい。
次に、通信制御部１３８は、通信部１０４を制御して、予測部１３４によって予測された交通渋滞の発生有無を、交通渋滞の予測結果としてサーバ装置２００に送信する（ステップＳ１２６）。交通渋滞の予測結果には、ＧＮＳＳなどを利用して測定された自車両Ｍの位置情報が含まれてよい。これによって、本フローチャートの処理が終了する。
［サーバ装置の構成］
図１１は、第１実施形態に係るサーバ装置２００の構成の一例を示す図である。第１実施形態に係るサーバ装置２００は、例えば、通信部２０２と、記憶部２１０と、制御部２３０とを備える。
通信部２０２は、例えば、ＮＩＣなどの通信インターフェースを含む。通信部２０２は、ネットワークＮＷを介して各車両Ｍに搭載された予測装置１００などと通信する。
記憶部２１０は、ＨＤＤ、フラッシュメモリ、ＥＥＰＲＯＭ、ＲＯＭ、またはＲＡＭ等により実現される。記憶部２１０には、例えば、プロセッサによって参照されるプログラムや、渋滞予測データ２１２などが格納される。
渋滞予測データ２１２は、各車両を識別する識別情報に対して、交通渋滞の発生の有無が対応付けられたデータである。例えば、ある車両Ａから送信された予測結果が、交通渋滞が発生するという予測結果であった場合、渋滞予測データ２１２上では、その予測結果をサーバ装置２００に送信した車両Ａの識別情報に対して、交通渋滞が発生する旨の情報が対応付けられる。
制御部２３０は、通信部２０２によって予測装置１００から予測結果が受信されると、その予測装置１００を搭載した車両Ｍの識別情報に対して、交通渋滞が発生する旨の情報を対応付けることで、渋滞予測データ２１２を更新する。
また、制御部２３０は、所定の周期で、渋滞予測データ２１２を参照し、交通渋滞が発生することを抑制する制御を行う。例えば、制御部２３０は、通信部２０２を制御して、交通渋滞が発生することを予測した複数の車両Ｍが存在する地点（以下、渋滞発生予測地点と称する）の周辺を走行している車両に、サービスエリアやパーキングエリアに立ち寄るように指示する情報を送信する。また、制御部２３０は、通信部２０２を制御して、渋滞発生予測地点に至る経路に進入するためのランプウェイの料金所に、ランプウェイを閉鎖するように指示する情報を送信してもよい。また、制御部２３０は、通信部２０２を用いて、渋滞発生予測地点の周辺を走行している車両を遠隔で制御することで、その車両の速度を制限したり、レーンチェンジが行われるのを抑制したりしてもよい。
以上説明した第１実施形態によれば、自車両Ｍの進行方向前方を繰り返し撮像するカメラ１０２と、カメラ１０２によって繰り返し撮像された複数の画像のそれぞれから、バンディングボックスＢＢを抽出する抽出部１３２と、抽出部１３２によって複数の画像のそれぞれから抽出されたバンディングボックスＢＢの画像間の変化に基づいて、自車両Ｍが存在する道路に交通渋滞が発生することを予測する予測部１３４とを備えることによって、交通渋滞が発生することを精度よく予測することができる。すなわち、渋滞の予兆を精度よく検知することができる。この結果、渋滞緩和などを目的として交通量を適切に制御することができるため、事前に交通渋滞を防止したり、渋滞時間を短縮したりすることができる。
＜第２実施形態＞
以下、第２実施形態について説明する。上述した第１実施形態では、自車線上に先行車が存在する状況で、交通渋滞が発生することを予測するものとして説明した。これに対して、第２実施形態では、車線上に先行車が存在する状況下で、更に隣接車線にも他車両が存在する場合に、交通渋滞が発生することを予測する点で上述した第１実施形態と相違する。すなわち、第２実施形態では、自車両Ｍの前方に、複数の他車両が存在する点で上述した第１実施形態と相違する。以下、第１実施形態との相違点を中心に説明し、第１実施形態と共通する点については説明を省略する。なお、第２実施形態の説明において、第１実施形態と同じ部分については同一符号を付して説明する。
図１２は、第２実施形態に係る予測装置１００の一連の処理の流れを示すフローチャートである。本フローチャートの処理は、所定の周期で繰り返し行われてよい。
まず、抽出部１３２は、カメラから画像を取得し（ステップＳ２００）、取得した画像を推論モデルＭＤＬに入力する（ステップＳ２０２）。
次に、抽出部１３２は、画像を入力した推論モデルＭＤＬによる出力結果、すなわちバンディングボックスＢＢの座標に基づいて、画像からバンディングボックスＢＢを抽出する（ステップＳ２０４）。
次に、予測部１３４は、抽出部１３２によって抽出されたバンディングボックスＢＢの数が複数個であるのか否かを判定する（ステップＳ２０６）。
予測部１３４は、抽出部１３２によって抽出されたバンディングボックスＢＢの数が１つである場合、第１実施形態に係るフローチャートのＳ１０６に処理を移す。
一方、予測部１３４は、抽出部１３２によって抽出されたバンディングボックスＢＢの数が複数個である場合、複数のバンディングボックスＢＢのそれぞれの面積を算出する（ステップＳ２０８）。なお、予測部１３４は、バンディングボックスＢＢの面積の代わりに、或いは加えて、バンディングボックスＢＢの対角線の長さや、一辺の長さを算出してもよい。
図１３および図１４は、複数のバンディングボックスＢＢが抽出された画像の一例を示す図である。図１３に例示するシーンＣの画像では、自車線Ｌ１上に先行車が存在するとともに、右側の隣接車線Ｌ２上に他車両が存在している。また、図１３に例示するシーンＤの画像では、さらに、左側の隣接車線Ｌ３上に他車両が存在している。このようなシーンでは、第３実施形態に係る抽出部１３２は、画像から、各車両のリアの領域をバンディングボックスＢＢとして抽出する。例えば、抽出部１３２は、シーンＣの画像からは、自車線Ｌ１上に存在する先行車のリアの領域をバンディングボックスＢＢ１として抽出し、隣接車線Ｌ２上に存在する他車両のリアの領域をバンディングボックスＢＢ２として抽出する。また、抽出部１３２は、シーンＤの画像からは、自車線Ｌ１上に存在する先行車のリアの領域をバンディングボックスＢＢ１として抽出し、隣接車線Ｌ２上に存在する他車両のリアの領域をバンディングボックスＢＢ２として抽出し、隣接車線Ｌ３上に存在する他車両のリアの領域をバンディングボックスＢＢ３として抽出する。これを受けて、予測部１３４は、各バンディングボックスＢＢの面積を算出する。
次に、予測部１３４は、規定数の画像からバンディングボックスＢＢが抽出されたか否かを判定する（ステップＳ２１０）。
予測部１３４は、未だ規定数の画像からバンディングボックスＢＢが抽出されていない場合、Ｓ２００に処理を戻す。これを受けて、抽出部１３２は、規定数の画像からバンディングボックスＢＢを抽出するまで、カメラ１０によって繰り返し撮像される各画像から、バンディングボックスＢＢを抽出することを繰り返す。
一方、予測部１３４は、規定数の画像からバンディングボックスＢＢが抽出された場合、複数のバンディングボックスＢＢのそれぞれの画像間の面積の変化や、画像間の対角線の長さの変化、画像間の一辺の長さの変化などをスペクトル解析することで、各バンディングボックスＢＢに一対一に対応したパワースペクトルを導出する（ステップＳ２１２）。
図１５は、シーンＣにおけるバンディングボックスＢＢの面積の変化の一例を示す図である。図中ＬＮ１は、自車線Ｌ１上に存在する先行車のバンディングボックスＢＢ１の時間に対する面積の変化を表しており、ＬＮ２は、隣接車線Ｌ２上に存在する他車両のバンディングボックスＢＢ２の時間に対する面積の変化を表している。
例えば、第２実施形態に係る予測部１３４は、バンディングボックスＢＢ１と、バンディングボックスＢＢ２とのそれぞれの時間に対する面積の変化を一つの信号を捉え、それらの信号の自己相関を算出する。そして、予測部１３４は、算出した自己相関をフーリエ変換することで、複数のバンディングボックスＢＢのそれぞれに対応したパワースペクトルを導出する。なお、予測部１３４は、バンディングボックスＢＢの面積の代わりに、或いは加えて、対角線の長さや、一辺の長さを算出した場合、それらの長さの画像間の変化をスペクトル解析することで、パワースペクトルを導出してもよい。
自車線は、「第１車線」の一例であり、隣接車線は、「第２車線」の一例である。また、自車線上の先行車は、「第１他車両」の一例であり、隣接車線上の他車両は、「第２他車両」の一例である。また、バンディングボックスＢＢ１は、「第１領域」の一例であり、バンディングボックスＢＢ２またはバンディングボックスＢＢ３は、「第２領域」の一例である。また、バンディングボックスＢＢ１に対応したパワースペクトルは、「第１パワースペクトル」の一例であり、バンディングボックスＢＢ２またはバンディングボックスＢＢ３に対応したパワースペクトルは、「第２パワースペクトル」の一例である。
次に、予測部１３４は、低周波数帯域において、各バンディングボックスＢＢに対応したパワースペクトルの回帰直線を導出する（ステップＳ２１４）。
次に、予測部１３４は、パワースペクトルごとに導出した回帰直線の第１傾斜角度θを導出する（ステップＳ２１６）。例えば、予測部１３４は、バンディングボックスＢＢ１に対応したパワースペクトルの回帰直線の傾きを、第１傾斜角度θ１として導出し、バンディングボックスＢＢ２に対応したパワースペクトルの回帰直線の傾きを、第１傾斜角度θ２として導出する。
次に、予測部１３４は、Ｓ２１２からＳ２１６の一連の処理、すなわち第１傾斜角度θを導出するという処理を所定回数行ったか否かを判定する（ステップＳ２１８）。
予測部１３４は、第１傾斜角度θを導出する処理を所定回数行っていない場合、Ｓ２００に処理を戻す。
一方、予測部１３４は、第１傾斜角度θを導出する処理を所定回数行った場合、パワースペクトルごとに第１傾斜角度θの平均回帰直線を導出し、その回帰直線の傾きである第２傾斜角度φを導出する（ステップＳ２２０）。
図１６および図１７は、シーンＣにおける第１傾斜角度θの一例を示す図である。図１６は、バンディングボックスＢＢ１に対応したパワースペクトルの回帰直線の傾きである第１傾斜角度θ１を表しており、図１７は、バンディングボックスＢＢ２に対応したパワースペクトルの回帰直線の傾きである第１傾斜角度θ２を表している。
予測部１３４は、横軸の周波数軸に対して平行な直線ＬＮＲＥＦ２と第１傾斜角度θ１の回帰直線ＬＮｂとのなす角度を、バンディングボックスＢＢ１に対応した第２傾斜角度φ１として導出し、直線ＬＮＲＥＦ２と第１傾斜角度θ２の回帰直線ＬＮｂとのなす角度を、バンディングボックスＢＢ２に対応した第２傾斜角度φ２として導出する。
次に、予測部１３４は、複数のバンディングボックスＢＢのそれぞれに対応した第２傾斜角度φのそれぞれについて、閾値φＴＨ以下であるのか否かを判定する（ステップＳ２２４）。
予測部１３４は、全ての第２傾斜角度φが閾値φＴＨを超えると判定した場合、交通渋滞が発生しないと予測し、本フローチャートの処理を終了する。
一方、予測部１３４は、少なくとも一つ以上の第２傾斜角度φが閾値φＴＨ以下であると判定した場合、閾値φＴＨ以下である第２傾斜角度φに基づいて、交通渋滞の発生確率を導出する（ステップＳ２２６）。
例えば、予測部１３４は、自車線上に存在する先行車のバンディングボックスＢＢに対応した第２傾斜角度φが閾値φＴＨ以下であり、且つ先行車のバンディングボックスＢＢに対応した第２傾斜角度φが正である場合、隣接車線上に存在する一台以上の他車両のそれぞれのバンディングボックスＢＢに対応した第２傾斜角度φのうち、閾値φＴＨ以下であり、且つ正の値である第２傾斜角度φの数に基づいて、発生確率を導出する。
言い換えれば、予測部１３４は、自車線上に存在する先行車の挙動にカオス現象が生じている状況下において、更に、隣接車線上に存在する他車両の挙動にもカオス現象が生じている場合、隣接車線上においてカオス的な挙動を見せている他車両の台数に基づいて、発生確率を導出する。
例えば、予測部１３４は、隣接車線上に存在する一台以上の他車両のうち、２台の他車両にカオス的な挙動が現れていると判定した場合、すなわち、第２傾斜角度φが閾値φＴＨ以下であり、且つ正の値であるという条件（φ＞φＴＨ＞０）を満たす他車両が隣接車線上に２台存在する場合、隣接車線上に他車両が存在せず、自車線上のみに先行車が存在している状況下で導出される発生確率（すなわちＳ１２４の処理で導出される発生確率）に対して、２の倍数などの重み係数を乗算した値を、発生確率として導出する。このように、隣接車線上でカオス的な挙動が見られる他車両の数に応じて発生確率を重みづけることで、先行車の挙動だけでは渋滞の発生確率が低い場合であっても、隣接車線上の他車両がカオス現象を引き起こすような挙動である場合には、その発生確率を高めることができる。
予測部１３４は、発生確率を導出すると、その導出した発生確率が閾値以上である場合、すなわち渋滞の予兆がある場合、交通渋滞が発生すると予測し、発生確率が閾値未満である場合、すなわち渋滞の予兆がない場合、交通渋滞が発生しないと予測する。
次に、通信制御部１３８は、通信部１０４を制御して、予測部１３４によって予測された交通渋滞の発生有無を、交通渋滞の予測結果としてサーバ装置２００に送信する（ステップＳ２２８）。交通渋滞の予測結果には、ＧＮＳＳなどを利用して測定された自車両Ｍの位置情報が含まれてよい。これによって、本フローチャートの処理が終了する。
以上説明した第２実施形態によれば、抽出部１３２が、カメラ１０２によって繰り返し撮像された複数の画像のそれぞれから、自車線上に存在する先行車のバンディングボックスＢＢと、少なくともいずれか一方の隣接車線上に存在する他車両のバンディングボックスＢＢとを抽出し、予測部１３４が、自車線上に存在する先行車のバンディングボックスＢＢの画像間の変化と、隣接車線上に存在する他車両のバンディングボックスＢＢの画像間の変化とに基づいて、自車両Ｍが存在する道路に交通渋滞が発生することを予測するため、第１実施形態と同様に、交通渋滞が発生することを精度よく予測することができる。これにより、例えば、隣接車線上を走行している他車両が自車線上にレーンチェンジする際に、自車線上の先行車が隣接車線上の他車両から影響を受けて加速したり減速したりすることを考慮することができる。この結果、先行車の挙動だけでは渋滞の発生確率が低い場合であっても、隣接車線上の他車両がカオス現象を引き起こすような挙動である場合には、その発生確率を高めることができ、より高精度に交通渋滞の発生を予測することができる。
［ハードウェア構成］
図１８は、実施形態の予測装置１００のハードウェア構成の一例を示す図である。図示するように、予測装置１００は、通信コントローラ１００−１、ＣＰＵ１００−２、ワーキングメモリとして使用されるＲＡＭ１００−３、ブートプログラムなどを格納するＲＯＭ１００−４、フラッシュメモリやＨＤＤなどの記憶装置１００−５、ドライブ装置１００−６などが、内部バスあるいは専用通信線によって相互に接続された構成となっている。通信コントローラ１００−１は、他の装置と通信する。記憶装置１００−５には、ＣＰＵ１００−２が実行するプログラム１００−５ａが格納されている。このプログラムは、ＤＭＡ（Direct Memory Access）コントローラ（不図示）などによってＲＡＭ１００−３に展開されて、ＣＰＵ１００−２によって実行される。これによって、制御部１３０が実現される。
上記説明した実施形態は、以下のように表現することができる。
車両の進行方向前方を繰り返し撮像するカメラと、
プログラムを記憶したストレージと、
プロセッサと、を備え、
前記プロセッサが前記プログラムを実行することにより、
前記カメラによって繰り返し撮像された複数の画像のそれぞれから、他車両が含まれる領域を抽出し、
前記複数の画像のそれぞれから抽出した前記領域の画像間の変化に基づいて、前記車両が存在する道路に交通渋滞が発生することを予測する、
ように構成されている、予測装置。
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
１…予測システム、１００…予測装置、１０２…カメラ、１０４…通信部、１０６…表示部、１０８…入力部、１１０…記憶部、１１２…推論モデルデータ、１３０…制御部、１３２…抽出部、１３４…予測部、１３６…出力制御部、１３８…通信制御部、１４０…学習部、２００…サーバ装置、２０２…通信部、２１０…記憶部、２１２…渋滞予測データ、２３０…制御部

Claims (8)

  1. 車両の進行方向前方を繰り返し撮像するカメラと、
    前記カメラによって繰り返し撮像された複数の画像のそれぞれから、他車両が含まれる領域を抽出する抽出部と、
    前記抽出部によって前記複数の画像のそれぞれから抽出された前記領域の大きさの画像間における変化に基づいて、前記車両が存在する道路に交通渋滞が発生することを予測する予測部と、を備え、
    前記予測部は、
    前記領域の大きさの画像間における変化をスペクトル解析することで、前記領域の大きさの画像間における変化からパワースペクトルを導出し、
    周波数に応じた前記パワースペクトルの回帰直線の傾斜角度である第１傾斜角度を導出し、
    前記第１傾斜角度の回帰直線の傾斜角度である第２傾斜角度を導出し、
    前記第２傾斜角度に基づいて、前記道路に前記交通渋滞が発生することを予測する、
    予測装置。
  2. 前記領域の大きさには、前記領域の面積、対角線の長さ、又は一辺の長さが含まれる、
    請求項１に記載の予測装置。
  3. 前記抽出部は、画像が入力されると、入力された画像において車両が存在する領域に関するパラメータを出力するように学習されたモデルに対して、前記カメラによって繰り返し撮像された各画像を入力し、前記画像を入力した前記モデルによって出力された前記パラメータに基づいて、前記カメラによって繰り返し撮像された各画像から、前記領域を抽出する、
    請求項１又は２に記載の予測装置。
  4. 前記予測部は、
    前記第２傾斜角度が、閾値以下の角度である場合、前記道路に前記交通渋滞が発生しやすいと予測し、
    前記第２傾斜角度が、前記閾値を超える角度である場合、前記道路に前記交通渋滞が発生しにくいと予測し、
    前記閾値は、１／ｆゆらぎの回帰曲線の傾斜角度である、
    請求項１から３のうちいずれか一項に記載の予測装置。
  5. 前記予測部は、前記第２傾斜角度が小さいほど、前記道路に前記交通渋滞が発生しやすいと予測し、前記第２傾斜角度が大きいほど、前記道路に前記交通渋滞が発生しにくいと予測する、
    請求項１から４のうちいずれか一項に記載の予測装置。
  6. 車両の進行方向前方を繰り返し撮像するカメラと、
    前記カメラによって繰り返し撮像された複数の画像のそれぞれから、前記車両と同じ第１車線に存在する第１他車両が含まれる第１領域と、前記第１車線に隣接した第２車線に存在する第２他車両が含まれる第２領域とを抽出する抽出部と、
    前記抽出部によって前記複数の画像のそれぞれから抽出された前記第１領域の大きさの画像間における変化および前記第２領域の大きさの画像間における変化に基づいて、前記車両が存在する道路に交通渋滞が発生することを予測する予測部と、を備え、
    前記予測部は、
    前記第１領域の大きさの画像間における変化をスペクトル解析することで、前記第１領域の大きさの画像間における変化から第１パワースペクトルを導出し、
    前記第２領域の大きさの画像間における変化をスペクトル解析することで、前記第２領域の大きさの画像間における変化から第２パワースペクトルを導出し、
    周波数に応じた前記第１パワースペクトルの回帰直線の傾斜角度である第１傾斜角度を導出し、
    周波数に応じた前記第２パワースペクトルの回帰直線の傾斜角度である第２傾斜角度を導出し、
    前記第１傾斜角度の回帰直線の傾斜角度である第３傾斜角度を導出し、
    前記第２傾斜角度の回帰直線の傾斜角度である第４傾斜角度を導出し、
    前記第３傾斜角度及び前記第４傾斜角度に基づいて、前記道路に前記交通渋滞が発生することを予測する、
    予測装置。
  7. 車両の進行方向前方を繰り返し撮像するカメラを備える車両に搭載されたコンピュータが、
    前記カメラによって繰り返し撮像された複数の画像のそれぞれから、他車両が含まれる領域を抽出し、
    前記複数の画像のそれぞれから抽出した前記領域の大きさの画像間における変化に基づいて、前記車両が存在する道路に交通渋滞が発生することを予測し、
    前記領域の大きさの画像間における変化をスペクトル解析することで、前記領域の大きさの画像間における変化からパワースペクトルを導出し、
    周波数に応じた前記パワースペクトルの回帰直線の傾斜角度である第１傾斜角度を導出し、
    前記第１傾斜角度の回帰直線の傾斜角度である第２傾斜角度を導出し、
    前記第２傾斜角度に基づいて、前記道路に前記交通渋滞が発生することを予測する、
    予測方法。
  8. 車両の進行方向前方を繰り返し撮像するカメラを備える車両に搭載されたコンピュータに、
    前記カメラによって繰り返し撮像された複数の画像のそれぞれから、他車両が含まれる領域を抽出する処理と、
    前記複数の画像のそれぞれから抽出した前記領域の大きさの画像間における変化に基づいて、前記車両が存在する道路に交通渋滞が発生することを予測する処理と、
    前記領域の大きさの画像間における変化をスペクトル解析することで、前記領域の大きさの画像間における変化からパワースペクトルを導出する処理と、
    周波数に応じた前記パワースペクトルの回帰直線の傾斜角度である第１傾斜角度を導出する処理と、
    前記第１傾斜角度の回帰直線の傾斜角度である第２傾斜角度を導出する処理と、
    前記第２傾斜角度に基づいて、前記道路に前記交通渋滞が発生することを予測する処理と、
    を実行させるためのプログラム。
JP2019003844A 2019-01-11 2019-01-11 予測装置、予測方法、およびプログラム Active JP6859374B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019003844A JP6859374B2 (ja) 2019-01-11 2019-01-11 予測装置、予測方法、およびプログラム
US16/733,569 US11260858B2 (en) 2019-01-11 2020-01-03 Prediction device, prediction method, and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019003844A JP6859374B2 (ja) 2019-01-11 2019-01-11 予測装置、予測方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2020113082A JP2020113082A (ja) 2020-07-27
JP6859374B2 true JP6859374B2 (ja) 2021-04-14

Family

ID=71517181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019003844A Active JP6859374B2 (ja) 2019-01-11 2019-01-11 予測装置、予測方法、およびプログラム

Country Status (2)

Country Link
US (1) US11260858B2 (ja)
JP (1) JP6859374B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7267874B2 (ja) * 2019-08-27 2023-05-02 本田技研工業株式会社 交通流推定装置、交通流推定方法、およびプログラム
JP7359715B2 (ja) * 2020-02-14 2023-10-11 株式会社Soken 道路形状推定装置
JP2021169235A (ja) * 2020-04-14 2021-10-28 株式会社Subaru 車両の走行支援装置
CN114495541A (zh) * 2020-11-12 2022-05-13 蘑菇车联信息科技有限公司 实时交通信息的处理方法及系统
CN113256973B (zh) * 2021-05-11 2022-03-25 青岛海信网络科技股份有限公司 一种高峰开始时间预测方法、装置、设备及介质
CN116029459B (zh) * 2023-02-28 2023-07-21 速度科技股份有限公司 结合图傅里叶变换tmgcn交通流预测模型的提取方法

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4668469B2 (ja) * 2001-07-06 2011-04-13 富士重工業株式会社 車間距離警報装置
JP2004070743A (ja) * 2002-08-07 2004-03-04 Nissan Motor Co Ltd 画像処理装置
BR112013014736A2 (pt) * 2010-12-15 2016-10-04 Honda Motor Co Ltd aparelho de auxílio de condução para um veículo
JP2013105379A (ja) * 2011-11-15 2013-05-30 Honda Motor Co Ltd サーバ側渋滞解消走行支援方法
EP2819090B1 (en) * 2012-02-23 2022-08-24 Nissan Motor Co., Ltd. Three-dimensional object detection device
DE102012210252A1 (de) * 2012-06-19 2013-12-19 Robert Bosch Gmbh Bildung einer Rettungsgasse
CN106415688B (zh) * 2014-05-20 2019-04-05 本田技研工业株式会社 驾驶特性评估方法和驾驶特性评估装置
KR101744724B1 (ko) * 2015-03-19 2017-06-08 현대자동차주식회사 차량, 및 차량의 제어방법
JP6202537B2 (ja) 2015-04-14 2017-09-27 本田技研工業株式会社 走行支援方法、プログラム、および走行支援装置
JP6688091B2 (ja) * 2016-01-22 2020-04-28 株式会社デンソーテン 車両距離導出装置および車両距離導出方法
KR101838968B1 (ko) * 2016-04-21 2018-04-26 엘지전자 주식회사 차량용 운전 보조 장치
US10872531B2 (en) * 2017-09-29 2020-12-22 Uber Technologies, Inc. Image processing for vehicle collision avoidance system
KR101956689B1 (ko) * 2017-10-16 2019-07-04 주식회사 만도 긴급차량 운행경로 생성기능을 갖는 자동 순항 제어장치 및 제어방법
US10829120B2 (en) * 2018-06-18 2020-11-10 Valeo Schalter Und Sensoren Gmbh Proactive safe driving for an automated vehicle
KR20190103093A (ko) * 2019-08-16 2019-09-04 엘지전자 주식회사 자율주행 차량의 차선 변경 장치 및 방법

Also Published As

Publication number Publication date
US11260858B2 (en) 2022-03-01
JP2020113082A (ja) 2020-07-27
US20200223433A1 (en) 2020-07-16

Similar Documents

Publication Publication Date Title
JP6859374B2 (ja) 予測装置、予測方法、およびプログラム
US11151868B2 (en) Remote vehicle control at intersections
Zhang et al. On adversarial robustness of trajectory prediction for autonomous vehicles
Yuan et al. Machine learning for next‐generation intelligent transportation systems: A survey
US11511745B2 (en) Method and system for adaptively controlling object spacing
US20210339741A1 (en) Constraining vehicle operation based on uncertainty in perception and/or prediction
CN110850854A (zh) 自动驾驶员代理和为自动驾驶员代理提供策略的策略服务器
US11794757B2 (en) Systems and methods for prediction windows for optimal powertrain control
CN110850861A (zh) 基于注意的分层变道深度强化学习
US9841463B2 (en) Method and system for predicting energy consumption of a vehicle using a statistical model
US11501638B2 (en) Traffic flow estimation apparatus, traffic flow estimation method, and storage medium
EP3511863A1 (en) Distributable representation learning for associating observations from multiple vehicles
JP2016051467A (ja) 適合化予測のために広域的シーンコンテクストを使用する方法およびシステム並びに対応するプログラム、該システムを備えた乗り物
CN113366486A (zh) 使用区域外上下文的对象分类
US11077758B2 (en) Vehicle control unit (VCU) and operating method thereof
US11450120B2 (en) Object detection in point clouds
EP4021027A1 (en) Distributed learning to learn context-specific driving patterns
Zhang et al. Motion prediction of human-driven vehicles in mixed traffic with connected autonomous vehicles
WO2020164089A1 (en) Trajectory prediction using deep learning multiple predictor fusion and bayesian optimization
WO2021150166A1 (en) Determining a route between an origin and a destination
CN115223144A (zh) 一种基于云端数据的无人驾驶矿车传感器数据筛选方法及装置
US20220383748A1 (en) Vehicle control in geographical control zones
JP2022175160A (ja) 他車両行動予測装置および行動予測モデル学習装置
US20230169852A1 (en) Method, system and program product for training a computer-implemented system for predicting future developments of a traffic scene
US20230169306A1 (en) Computer-implemented system and method for predicting future developments of a traffic scene

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190927

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20201117

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210316

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210325

R150 Certificate of patent or registration of utility model

Ref document number: 6859374

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150