JP7247252B2 - アプリケーションプログラム、情報提供方法、および端末装置 - Google Patents

Description

本発明は、アプリケーションプログラム、情報提供方法、および端末装置に関する。

従来、撮像された画像に基づいて車両の急減速を判定する装置が開示されている（例えば、特許文献１参照）。

特開２００２－７９８９６号公報

しかしながら、上記の技術では、移動体の行動の意図を推定できない場合があった。

本発明は、このような事情を考慮してなされたものであり、移動体の行動の意図をより精度よく推定することができるアプリケーションプログラム、情報提供方法、および端末装置を提供することを目的の一つとする。

更に、推定した行動の意図に応じて交通参加者の存在に関する報知の画像を表示させることにより、利用者に有益な情報を提供することができるアプリケーションプログラム、情報提供方法、および端末装置を提供することを目的の一つとする。

この発明に係るアプリケーションプログラム、情報提供方法、および端末装置は、以下の構成を採用した。
（１）：アプリケーションプログラムは、カメラが搭載され且つ移動体に取り付けられた端末装置のコンピュータに、異なる時刻に撮像された画像を取得させる処理と、前記異なる時刻に撮像された画像に基づいて、前記移動体が右折または左折する意図があるかを推定させる処理と、推定の結果に基づいて、前記端末装置の前記カメラが設けられた筐体に設けられた表示部に、交通参加者の存在に関する報知の画像を表示させる処理とを実行させる。

（２）：上記（１）の態様において、前記コンピュータに、更に、前記移動体が直進している状態であるか、前記移動体が右折中または左折中であるかを推定させる。

（３）：上記（１）または（２）の態様において、前記コンピュータに、更に、第１時刻に撮像された画像を、基準位置を起点に左方向または右方向に所定角度回転させて、前記第１時刻とは異なる第２時刻に撮像された画像と、前記所定角度回転させた画像とを比較させ、比較の結果に基づいて、前記移動体が右折または左折する意図があるかを推定させる。

（４）：上記（３）の態様において、前記コンピュータに、更に、前記第１時刻に撮像された画像の中央部の第１画像と、前記所定角度回転させた画像の中央部の第２画像とを比較させる。

（５）：上記（４）の態様において、前記コンピュータに、更に、前記第１時刻に撮像された画像を、基準位置を起点に左方向および右方向に所定角度ずつ回転させた複数の画像のそれぞれの中央部の第１画像を取得させ、取得させた中央部の第１画像のそれぞれと、前記第２時刻で撮像された画像の中央部の第２画像とを比較させ、前記第１画像と前記第２画像との差分が最小となる第１画像の回転角度が閾値以上である場合、前記移動体に右折または左折する意図があると推定させる。

（６）：上記（５）の態様において、前記コンピュータに、更に、前記第１時刻に撮像された画像から特定の領域を切り出した切出画像の大きさを、前記第２時刻で撮像された画像の大きさに近づけ、前記切出画像を前記所定角度回転させて、前記第２時刻に撮像された画像と、前記所定角度回転させた画像とを比較させる。

（７）：上記（１）から（６）のいずれかの態様において、前記コンピュータに、更に、前記移動体に右折または左折する意図があると推定され、且つ前記移動体が右折または左折したときに通過する経路または経路付近に交通参加者が存在または接近すると推定された場合、前記表示部に、前記交通参加者の接近に関する報知の画像を表示させる処理を実行させる。

（８）：この発明の一態様に係る情報提供方法は、端末装置のコンピュータが、異なる時刻に撮像された画像を取得し、前記異なる時刻に撮像された画像に基づいて、移動体に右折または左折する意図があるかを推定し、推定の結果に基づいて、表示部に、交通参加者の存在に関する報知の画像を表示させる。

（９）：この発明の一態様に係る端末装置は、筐体に設けられたカメラと、前記筐体に設けられた表示部と、前記カメラに撮像された異なる時刻に撮像された画像に基づいて、移動体に右折または左折する意図があるかを推定する推定部と、推定の結果に基づいて、前記カメラが設けられた前記筐体に設けられた表示部に、交通参加者の存在に関する報知の画像を表示させる表示制御部とを備える。

（１）－（９）によれば、アプリケーションプログラムは、異なる時刻に撮像された画像に基づいて、移動体が右折または左折する意図があるかを推定させる処理を行うことにより、移動体の行動の意図をより精度よく推定することができる。アプリケーションプログラムは、更に、推定の結果に基づいて、表示部に交通参加者の存在に関する報知の画像を表示させる処理を実行することにより、利用者に有益な情報を提供することができる。

（７）によれば、アプリケーションプログラムは、移動体が右折または左折する際に交通参加者の接近に関する報知の画像を表示部に表示させることにより、移動体の操作者に報知を行うことができる。

支援システム１の概要について説明するための図である。 支援に関する場面の一例を示す図である。 支援に関する場面の他の一例を示す図である。 支援に関する場面の他の一例を示す図である。 支援に関する場面の他の一例を示す図である。 支援システム１の機能構成の一例を示す図である。 自車両に取り付けられた端末装置ＳＰの一例を示す図である。 端末装置ＳＰの機能部などの構成の一例を示す図である。 アプリケーションプログラム（端末装置ＳＰ）により実行される処理の流れの一例を示すフローチャートである。 端末装置ＳＰの表示部に表示される画像の一例を示す図である。 移動量の推定に関する処理について説明するための図である。 姿勢の判定に関する処理について説明するための図である。 処理部２０により実行される処理の流れの一例を示すフローチャートである。 交通参加者を検知する処理について説明するための図である。 検知した交通参加者の行動を予測する処理について説明するための図である。 直進時におけるリスクの定義の一例を示す図である。 自車両が直進時のリスクを判定する処理の一例を示す図である。 左折時におけるリスクの定義の一例を示す図である。 自車両が左折時のリスクを判定する処理の一例を示す図である。 右折時におけるリスクの定義の一例を示す図である。 自車両が右折時のリスクを判定する処理の一例を示す図である。 潜在リスクを推定する処理の一例について説明するための図である。 処理部２０により実行される処理の流れの一例を示すフローチャートである。 警報／注意に関する処理の流れの一例を示すフローチャートである。 前方向警報リスクが生じる場面および通知について説明するための図である。 左方向警報リスクまたは右方向警報リスクが生じる場面および通知について説明するための図である。 注意リスクが生じる場面および通知について説明するための図である。 潜在リスクが生じる場面および通知について説明するための図である。

以下、図面を参照し、本発明の実施形態に係るアプリケーションプログラム、情報提供方法、および端末装置について説明する。

[概要１]
図１は、支援システム１の概要について説明するための図である。本実施形態では、一例として、移動体は、二輪車両（以下、「自車両」と称する場合がある）であるものとして説明するが、軽車両や三輪の車両など種々の移動体に適用されもよい。以下、自車両の前後方向をＸ方向、前後方向に直交する方向をＹ方向、Ｘ方向およびＹ方向に直交する方向をＺ方向と称する場合がある。

支援システム１は、パッシングライトＰＬと、端末装置（例えばスマートフォン）ＳＰと、端末装置ＳＰにインストールされたアプリケーションプログラムＡＰとを含む。パッシングライトＰＬは、例えば、ヘッドライトの周辺等にライトがプラスＸ方向（前方向）に向けて発光（パッシング）するように取り付けられる。パッシングライトＰＬのうち、パッシングライトＰＲ－Ｒは車両のプラスＹ方向に取り付けられ、パッシングライトＰＲ－Ｌは車両のマイナスＹ方向に取り付けられている。

端末装置ＳＰには、端末装置ＳＰの第１面にカメラおよびライトが搭載され、第１面とは反対側の第２面には表示部が表示されている。端末装置ＳＰは自車両に取り付けられている。端末装置ＳＰは、カメラが車両のプラスＸ方向を撮像可能であり、且つライトがプラスＸ方向に向けて発光（パッシング）するような位置に取り付けられている。また、端末装置ＳＰは、運転者（操作者）が表示部を視認可能な位置に設けられる。

支援システム１は、端末装置ＳＰのフラッシュまたはパッシングライトＰＬの一方または双方を用いて交通参加者に対してパッシングを行う。支援システム１は、更に、端末装置ＳＰの表示部に警報を表示させる。以下、パッシングを行うこと、警報を表示させること、これらの両方を、「支援」と称する場合がある。

例えば、二輪車両は、制動距離が長い傾向であるため、交通参加者との接近を回避する能力が低い傾向である。支援システム１は、交通参加者との接近を抑制するために、運転者へ交通参加者との接近を早期に報知し、パッシングライトによるオートパッシングにより交通参加者に接近の可能性を伝え、接近の抑制に対する協力（減速、停止、回避など）を依頼する。

支援システム１は、図２に示すように、出会い頭の接近を抑制する支援を行う。例えば、支援システム１は、自車両が歩行者、二輪車両、または四輪車両と接近することを回避するための支援を行う。

支援システム１は、図３に示すように、交差点において、交通参加者との接近を抑制する支援を行う。支援システム１は、図４に示すように、四輪車両が渋滞中に四輪車両の横を自車両がすり抜けるときに交通参加者との接近を抑制する支援を行ったり、前方に止まっている交通参加者との接近を抑制する支援を行ったりする。

支援システム１は、図５に示すように、潜在リスクによる接近を抑制する支援を行う。支援システム１は、例えば、四輪車両が渋滞中に自車両が右折するときのリスクを抑制したり、停車車両の後方から交通参加者が飛び出してくるリスクを抑制したりする。例えば、本実施形態では、図５の右図のように、自車両の付近に存在し且つ自車両の進行方向と同じ方向に連なった物体（四輪車両）の列が存在する場合、潜在リスクが存在すると判定される。また、本実施形態では、図５の左図のように、第１道路を進行する自車両が第１道路に接続された第２道路（第１道路を右折して第２道路）に進入する場合に、第１道路において第１道路の延在方向に関して第１道路と第２道路との接続箇所（交差点）の前後に物体（四輪車両）が存在する場合、潜在リスクが存在すると判定される。以下、これらの詳細について説明する。

［支援システムの機能構成］
図６は、支援システム１の機能構成の一例を示す図である。支援システム１は、例えば、図１で説明したように、端末装置ＳＰと、パッシングライトＰＬとを含む。例えば、パッシングライトＰＬおよび端末装置ＳＰは、自車両ＭのバッテリＢＴと電力線で接続されており、バッテリＢＴから電力の供給を受けて作動する。端末装置ＳＰは、パッシングライトＰＬを介してバッテリＢＴから電力の供給を受けて作動してもよいし、端末装置ＳＰに搭載されたバッテリの電力で作動してもよい。

端末装置ＳＰとパッシングライトＰＬとは、通信線で接続され、互いに通信線可能である。例えば、端末装置ＳＰは、パッシングライトＰＬを動作させる実行信号を送信し、パッシングライトＰＬは、この実行信号に応じてパッシングを実行する。

端末装置ＳＰは、図７に示すように、ホルダーによって自車両に取り付けられている。例えば、端末装置ＳＰのカメラＣａｍがプラスＸ方向を撮像し、端末装置ＳＰのライトＬｉｇがプラスＸ方向に向けて発光し、更に表示部ＤｉｓがマイナスＸ方向に向くように取り付けられている。

図８は、端末装置ＳＰの機能部などの構成の一例を示す図である。端末装置ＳＰは、例えば、取得部１０と、処理部２０と、通知部３０と、記憶部５０とを備える。取得部１０、処理部２０、および通知部３０は、例えば、ＣＰＵ（Central Processing Unit）などのハードウェアプロセッサが記憶部５０に記憶されたアプリケーションプログラムＡＰ（ソフトウェア）を実行することにより実現される。アプリケーションプログラムＡＰは、例えば、アプリケーションプログラムＡＰを提供するサーバ装置により提供される。このアプリケーションプログラムＡＰは、例えば、自車両を製造、販売している事業者が提供するものであってもよい。また、アプリケーションプログラムＡＰは、例えば、詳細は後述するＤＮＮ（Deep Neural Network）５２として機能する情報を含む。

上記の機能部の構成要素のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）、ＧＰＵ（Graphics Processing Unit）などのハードウェア（回路部；circuitryを含む）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。アプリケーションプログラムＡＰは、上述したように予め記憶部５０のフラッシュメモリなどの記憶装置（非一過性の記憶媒体を備える記憶装置）に格納されていてもよいし、ＳＤカードなどの着脱可能な記憶媒体に格納されており、記憶媒体（非一過性の記憶媒体）が端末装置ＳＰに装着されることで端末装置ＳＰの記憶部にインストールされてもよい。

取得部１０は、カメラＣａｍにより撮像された画像を取得する。処理部２０は、画像を解析し、解析の結果に基づいて、各種処理を実行する。通知部３０は、処理部２０の処理結果に基づいて、警報や注意などを示す警告を運転者に行う。これらの処理の詳細については後述する。

［フローチャート］
図９は、アプリケーションプログラム（端末装置ＳＰ）により実行される処理の流れの一例を示すフローチャートである。まず、端末装置ＳＰが、移動量を推定し（ステップＳ１００）、姿勢を推定する（ステップＳ１１０）。移動量とは、交通参加者の移動量または自車両の移動量である。姿勢とは自車両の姿勢である。

次に、端末装置ＳＰは、交通参加者を検知し（ステップＳ１２０）、検知した交通参加者の行動を予測する（ステップＳ１３０）。次に、端末装置ＳＰは、直進時の自車両のリスクを検知し（ステップＳ１４０）、左折時のリスクを検知し（ステップＳ１５０）、右折時のリスクを検知する（ステップＳ１６０）。次に、端末装置ＳＰは、潜在リスクを検知する（ステップＳ１７０）。次に、端末装置ＳＰは、判定処理を実行する（ステップＳ１８０）。

端末装置ＳＰは、上記の判定処理において、判定の結果に応じて、図１０に示すような警報レベル報知または注意レベル報知を端末装置ＳＰの表示部に表示させる。警報レベル報知または注意レベル報知は、前方に関する報知や、左方または左前に関する報知、右方または右前に関する報知などである。これにより、本フローチャートの１ルーチンの処理が終了する。以下、これらの処理の詳細について説明する。

［移動量の推定］
図１１は、移動量の推定に関する処理について説明するための図である。端末装置ＳＰの取得部１０は、カメラＣａｍにより撮像された時系列（ｋ…ｋ－ｎ）の画像（「異なる時刻に撮像された画像」）を取得する（ステップＳ１０１）。次に、端末装置ＳＰの処理部２０は、取得した画像のうち、現在の時刻に撮像された画像と、ｉ時間前に撮像された画像との差分を導出する（ステップＳ１０２）。次に、処理部２０は、導出した差分を二値化して（ステップＳ１０４）、全画素値の総和を求める（ステップＳ１０６）。全画素値の総和とは、差分が存在すると判定された画素の総和である。例えば、処理部２０は、画素ごとに輝度値の差分を導出し、導出した差分が閾値以上であるか、閾値未満であるかによって差分を二値化する。例えば、差分が閾値以上である画素は黒で表現され、差分が閾値未満である画素は白で表現される。また、ＲＧＢ成分の差分が用いられてもよい。この場合、各成分の差分を統計的に処理した値と、閾値とが比較されて画素ごとに二値化がされてもよい。

例えば、自車両が移動していない場合（停車している場合）には画像間の差分は小さいため（類似度が高いため）、差分を二値化したとき白色度が大きくなり、例えば、自車両が移動している場合には、差分は大きいため（類似度が低いため）、差分を二値化したとき白色度が小さくなる。

次に、処理部２０は、全画素値の総和が閾値以下であるか否かを判定する（ステップＳ１０８）。総和が閾値以下である場合（白色度が大きい場合）、処理部２０は、自車両が停止している（Ｆ_ＲＵＮ＝０）と判定する（ステップＳ１１０）。総和が閾値以下でない場合（白色度が小さい場合）、処理部２０は、自車両が走行中である、または周辺の交通参加者の移動量が大きい（Ｆ_ＲＵＮ＝１）と判定する（ステップＳ１１０）。

上記のように、端末装置ＳＰは、画像に基づいて、自車両の状態や、交通参加者の状態を容易に判定することができる。

［姿勢の推定］
図１２は、姿勢の判定に関する処理について説明するための図である。処理部２０は、時系列の画像のうちｋ時刻の画像から矩形領域ＡＲ１を切り出す。この矩形領域ＡＲ１は、画像の中央部を中心とした領域であり、画像の基準位置（例えば重心など）を中心に設定された領域である。処理部２０は、時刻列の画像のうちｋ－ｉ時刻の画像からｋ時刻の画像が撮像された領域と同じまたは近似する領域を切り出し、切り出した領域の画像を、ｋ時刻の画像に近づけるように拡大する。この処理は、「前記第１時刻に撮像された画像から特定の領域を切り出した切出画像の大きさを、前記第２時刻で撮像された画像の大きさに近づける」処理の一例である。

上記の画像の拡大に関して、以下のように画像の拡大量は決定されてもよい。例えば、端末装置ＳＰの位置を測位する測位装置により自車両の移動速度が得られる場合、処理部２０は、自車両の速度に応じて、ｉサンプリング時刻の移動量分、画像を拡大してもよい。例えば、処理部２０は、速度と拡大度合とが対応付けられた情報を参照して画像を拡大する。例えば、処理部２０は、上記のように速度が得られた場合は、速度に応じた拡大度合で画像を拡大し、速度が得られない場合は、所定値分だけ画像を拡大してもよい。

なお、上記の拡大の処理に代えて、画像処理により、ｋ時刻の画像の撮像範囲とｋ－１時刻の画像の撮像範囲とが合致するように調整されてもよい。処理部２０は、例えば、ｋ時刻の画像とｋ－１時刻の画像とから所定の風景を含む領域を取得し、ｋ時刻の画像から取得した上記の領域を含む画像の大きさを、ｋ－１時刻の画像から取得した上記の領域を含む画像の大きさに近づけるように縮小してもよい。

次に、処理部２０は、拡大した画像を、基準位置を起点に左方向および右方向に所定角度ずつ回転させた複数の画像を取得する。例えば、画像の基準位置を中心に反時計回り方向、時計回りに方向に回転させた画像が取得される。回転度合に応じて画像にはパラメータＩＤが付与される。例えば、パラメータＩＤプラス１…プラスｎが付与された左方向に回転させた画像およびパラメータＩＤマイナス１…マイナスｎが付与された右方向に回転させた画像が取得される。

処理部２０は、パラメータＩＤが付与された画像の中央部を中心とした領域に矩形領域ＡＲ２を設定する。矩形領域ＡＲ２は、例えば、矩形領域ＡＲ１に対応する領域である。矩形領域ＡＲ２は、画像の回転に影響されずに、画像の中央部を中心とし、画像の基準位置を中心に設定された領域である。

次に、処理部２０は、ｋ時刻の矩形領域ＡＲ１の画像（「第２画像」の一例）と、パラメータＩＤが付与された矩形領域ＡＲ１の画像（「第１画像」の一例）のそれぞれとを比較して差分を導出する。次に、処理部２０は、導出した差分のそれぞれを二値化して、全画素値の総和をそれぞれの画像に対して求める。更に、処理部２０は、全画素の総和（差分が存在すると判定された画素の総和）が最小となる画像のパラメータＩＤを選択する。

ｋ時刻およびｋ－ｉ時刻において、自車両が直進している場合、図１２のパラメータＩＤ「０」が選択される。ｋ－ｉ時刻およびｋ時刻において、自車両が左折しようとしている場合、例えば、図１２のパラメータＩＤ「＋ｎ」が選択され、ｋ－ｉ時刻およびｋ時刻において、自車両が右折しようとしている場合、例えば、図１２のパラメータＩＤ「－ｎ」が選択される。

図１３は、処理部２０により実行される処理の流れの一例を示すフローチャートである。まず、処理部２０は、パラメータＩＤが閾値＋ａよりも大きいか否かを判定する（ステップＳステップＳ１１０）。パラメータＩＤが閾値＋ａよりも大きい場合、処理部２０は、画像が左回転しているため、自車両は左折意図があると判定する（ステップＳ１１２）。「Ｆ_ＬＴＵＲＮ＝１」、「Ｆ_ＲＴＵＲＮ＝０」と判定される。

パラメータＩＤが閾値＋ａよりも大きくない場合、処理部２０は、パラメータＩＤが閾値－ａよりも小さいか否かを判定する（ステップＳステップＳ１１４）。パラメータＩＤが閾値－ａよりも小さい場合、処理部２０は、画像が右回転しているため、自車両は右折意図があると判定する（ステップＳ１１６）。「Ｆ_ＬＴＵＲＮ＝０」、「Ｆ_ＲＴＵＲＮ＝１」と判定される。

パラメータＩＤが閾値－ａよりも小さくない場合、処理部２０は、自車両は直進する意図であると判定する（ステップＳ１１８）。「Ｆ_ＬＴＵＲＮ＝０」、「Ｆ_ＲＴＵＲＮ＝０」と判定される。これにより、本フローチャートの１ルーチンが終了する。

上記のように端末装置ＳＰは、異なる時刻に撮像された画像に基づいて、精度よく自車両が右折、左折、または直進する意図があるかを判定することができる。

なお、上記の処理に代えて（または加えて）、処理部２０は、端末装置ＳＰに搭載された端末装置ＳＰの傾きを検知可能な加速度センサの検知結果に基づいて、自車両の左折の意図、右折の意図、または直進の意図を判定してもよい。例えば、処理部２０は、端末装置ＳＰが傾いている方向に自車両が曲がる意図が存在すると判定してもよい。

なお、上記例では、所定角度ずつ回転させた画像を複数用意するものとして説明したが、左方向に回転させた一つの画像および右方向に回転させた一つの画像のそれぞれと、ｋ時刻に撮像された画像とを比較して、差異が小さい方の画像に対応する方向に自車両が進行しようとしていると判定されてもよい。また、上記の例では、画像の中央部同士を比較するものとして説明したが、中央部に代えて、他の領域が比較されてもよい。更に、画像が撮像される間隔が所定値以下であり、時刻列の画像のうちｋ－ｉ時刻の画像またはｋ時刻の画像の大きさを調整する処理（例えばｋ－１時刻の画像を拡大する処理）は省略されても、自車両の右折、左折、または直進の意図を精度よく判定できる場合は、上記の処理は、省略されてもよい。

［交通参加者を検知］
図１４は、交通参加者を検知する処理について説明するための図である。処理部２０は、ＤＮＮ５２を利用して画像における交通参加者の種別を特定する。ＤＮＮ５２は、画像を入力すると、画像に含まれる交通参加者の種別を示す情報や、その交通参加者の位置を特定するための情報を出力する学習済モデルである。交通参加者の種別とは、例えば、四輪車両や、二輪車両、自転車、歩行者などの種別である。位置を特定するための情報として、例えば、交通参加者に矩形の領域である検出ボックスが対応付けられる。この検出ボックスは、例えば、交通参加者を含むように設定された領域である。

［検知した交通参加者の行動を予測する処理］
図１５は、検知した交通参加者の行動を予測する処理について説明するための図である。処理部２０は、異なる時刻により撮像された画像において特定された交通参加者の位置の変化に基づいて、交通参加者の移動方向を推定して、推定の結果に基づいて、交通参加者の行動を予測する。

処理部２０は、ｋ－１時刻の画像から得られた交通参加者に対応付けられた検出ボックスに対して、ｋ時刻の画像から得られた交通参加者に対応付けられた検出ボックスが拡大している場合、自車両と交通参加者とは近づく傾向であると判定する。この場合、例えば、交通参加者が自車両に近づいていたり、自車両が交通参加者に近づいていたりする。

処理部２０は、ｋ－１時刻の画像から得られた交通参加者に対応付けられた検出ボックスに対して、ｋ時刻の画像から得られた交通参加者に対応付けられた検出ボックスが縮小している場合、自車両と交通参加者とは遠ざかる傾向であると判定する。この場合、例えば、交通参加者が自車両から遠ざかっていたり、自車両が交通参加者から遠ざかっていたりする。処理部２０は、検出ボックスの拡大量や縮小量に基づいて、交通参加者の移動量を推定する。

また、処理部２０は、ｋ－１時刻の検出ボックスの位置に対して、ｋ時刻の検出ボックスの位置が右に移動している場合、交通参加者は右へ移動していると判定し、ｋ時刻の検出ボックスの位置が左に移動している場合、交通参加者は左へ移動していると判定する。処理部２０は、検出ボックスの移動量に基づいて、交通参加者の移動量を推定する。

処理部２０は、上記のように、交通参加者の移動方向および移動量を推定し、交通参加者の行動を予測する。処理部２０は、ｋ－１時刻の交通参加者の位置、およびｋ時刻の交通参加者の位置の検出結果に基づいて、将来の交通参加者の位置を予測する。

［リスクを検知する処理］
（直進時におけるリスクについて）
図１６は、直進時におけるリスクの定義の一例を示す図である。直進時におけるリスク（直進リスク）は、自車両の前方の所定の範囲に設定される。自車両の進行方向または道路の延在方向（基準方向）の線分（ｄ１）を基準に第１角度範囲に直進リスクが設定される。進行方向の線分を基準に第１角度よりも小さい第２角度範囲は、前方リスク範囲である。第１角度範囲と第２角度範囲との間の範囲であって、左方向の範囲は左方リスク範囲であり、右方向の範囲は右方リスク範囲である。上記のリスク範囲のうち、自車両から第１距離の範囲は警戒レベル範囲であり、自車両から第２距離の範囲は注意レベル範囲である。

以下、基準方向（進行方向）を基準にした第１角度範囲であり、且つ第１距離の範囲の領域を「領域ａ」と称し、左方向の第１角度と第２角度（上記の第２角度と異なる角度であってもよい。以下同様である。）との間の範囲であり、且つ第１距離の範囲の領域を「領域ｂ」と称し、右方向の第１角度と第２角度との間の範囲であり、且つ第１距離の範囲の領域を「領域ｃ」と称する場合がある（後述する図１７、図１９、図２１参照）。

基準方向（進行方向）を基準にした第１角度と第２角度との間の範囲であり、且つ第１距離と第２距離との間の範囲の領域を「領域ｄ」と称し、左方向の第１角度と第２角度との間の範囲であり、且つ第１距離と第２距離との間の範囲の領域を「領域ｅ」と称し、右方向の第１角度と第２角度との間の範囲であり、且つ第１距離と第２距離との間の範囲の領域を「領域ｆ」と称する場合がある（後述する図１７、図１９、図２１参照）。

図１７は、自車両が直進時のリスクを判定する処理の一例を示す図である。処理部２０が、上述した処理の結果に基づいて、自車両が直進しているか否かを判定する（ステップＳ３００）。自車両が直進していない場合、後述する図１９のステップＳ４００の処理に進む。

自車両が直進している場合、処理部２０は、領域ａ－領域ｅのうち、どの領域に自車両のリスクが存在するかを判定する。例えば、処理部２０は、上述した処理において対象の交通参加（例えば自車両から最も近い位置に存在する交通参加者）の位置（対象位置）、または交通参加者の将来の位置（対象位置）が、領域ａ－領域ｅのうちどの領域に位置するかを判定する。図中、「★」は、対象位置である。

例えば、対象位置が領域ａに位置する場合、フラグ「Ｆ_ＦＲ＝１」が付与され、対象位置が領域ｂに位置する場合、フラグ「Ｆ_ＬＲ＝１」が付与され、対象位置が領域ｃに位置する場合、フラグ「Ｆ_ＲＲ＝１」が付与される。

例えば、対象位置が領域ｄに位置する場合、フラグ「Ｆ_ＦＣ＝１」が付与され、対象位置が領域ｄに位置する場合、フラグ「Ｆ_ＬＣ＝１」が付与され、対象位置が領域ｅに位置する場合、フラグ「Ｆ_ＲＣ＝１」が付与される。上記以外の場合は、その他フラグ＝０が付与される。

（左折時におけるリスクについて）
図１８は、左折時におけるリスクの定義の一例を示す図である。左折時におけるリスク（左折リスク）は、自車両の左前方を中心に設定される。直進リスクは自車両の進行方向を基準方向としてリスクが設定されたが、左折リスクは、進行方向の線分に代えて、自車両の進行方向の線分を左方向に所定角度回転させた線分（ｄＬ）を基準方向としてリスクが設定される。所定角度とは、例えば、３０度－６０度の範囲内の角度や、道路の形状に応じて設定される角度である。

図１９は、自車両が左折時のリスクを判定する処理の一例を示す図である。処理部２０が、上述した処理の結果に基づいて、自車両が左折中であるか、または左折意図があるか否かを判定する（ステップＳ４００）。自車両が左折中でなく、且つ左折の意図もない場合、図２１のステップＳ５００の処理に進む。自車両が左折中、または左折の意図がある場合、処理部２０は、領域ａ－領域ｅのうち、どの領域に自車両のリスクが存在するかを判定する。

図１７で説明したように、対象位置と領域との関係において、フラグ「Ｆ_ＦＲ＝１」、フラグ「Ｆ_ＬＲ＝１」、フラグ「Ｆ_ＲＲ＝１」、フラグ「Ｆ_ＦＣ＝１」、フラグ「Ｆ_ＬＣ＝１」、フラグ「Ｆ_ＲＣ＝１」、またはその他フラグ＝０が付与される。

（右折時におけるリスクについて）
図２０は、右折時におけるリスクの定義の一例を示す図である。右折時におけるリスク（右折リスク）は、自車両の右前方を中心に設定される。直進リスクは自車両の進行方向を基準方向としてリスクが設定されたが、右折リスクは、進行方向の線分に代えて、自車両の進行方向の線分を右方向に所定角度回転させた線分（ｄＲ）を基準方向としてリスクが設定される。所定角度とは、例えば、３０度－６０度の範囲内の角度や、道路の形状に応じて設定される角度である。

図２１は、自車両が右折時のリスクを判定する処理の一例を示す図である。処理部２０が、上述した処理の結果に基づいて、自車両が右折中であるか、または右折の意図があるか否かを判定する（ステップＳ５００）。自車両が右折中でなく、且つ右折の意図もない場合、図２３のステップＳ６００の処理に進む。自車両が右折中、または右折の意図がある場合、処理部２０は、領域ａ－領域ｅのうち、どの領域に自車両のリスクが存在するかを判定する。

図１７で説明したように、対象位置と領域との関係において、フラグ「Ｆ_ＦＲ＝１」、フラグ「Ｆ_ＬＲ＝１」、フラグ「Ｆ_ＲＲ＝１」、フラグ「Ｆ_ＦＣ＝１」、フラグ「Ｆ_ＬＣ＝１」、フラグ「Ｆ_ＲＣ＝１」、またはその他フラグ＝０が付与される。

上記のように、処理部２０が、自車両が直進する場合、自車両の前方にリスク（警戒領域）を設定し、自車両が左折する場合、自車両の前方且つ左方向にリスクを設定し、自車両が右折する場合、自車両の前方且つ右方向にリスクを設定することにより、自車両の進行方向に応じた適切なリスクを設定することができる。

［潜在リスクの推定］
図２２は、潜在リスクを推定する処理の一例について説明するための図である。処理部２０は、画像の他の車両の位置に基づいて、平均車間距離Ｌｖｖ_ａｖｅおよび横距離Ｌｅｖを検出する。平均車間距離Ｌｖｖ_ａｖｅは、例えば、検出された自車両から他の車両側に存在する所定の車両（例えば全車両）の平均車間距離である。他の車両とは、自車両から最も近い位置に存在する車両である。車両間の車間距離は、例えば、進行方向に列を形成している車両の基準位置同士の距離である。車両が、１台しか存在しない場合は、車間距離は予め設定された距離（例えば、３０ｍ）などの大きな値に設定される。

横距離Ｌｅｖは、自車両と他の車両との横方向の距離である。他の車両とは、例えば、他の車両とは、自車両から最も近い位置に存在する車両である。上記の平均車間距離Ｌｖｖ_ａｖｅ、および横距離Ｌｅｖが、以下の潜在リスクの推定に関する処理に用いられる。

図２３は、処理部２０により実行される処理の流れの一例を示すフローチャートである。処理部２０が、平均車間距離Ｌｖｖ_ａｖｅが閾値Ｌｖｖ_ＬＲであるか否かを判定する（ステップＳ６００）。平均車間距離Ｌｖｖ_ａｖｅとは、例えば、交差点（第１道路と第２道路との接続箇所）に、これから進入しようとしている第１物体と、その第１物体の後方の第２物体との縦方向の距離、または、第１物体から第２物体よりも後方に存在する第ｎ物体までの物体のそれぞれの車間距離に基づく平均車間距離である。ステップＳ６００において、他の車両が停止し、且つ平均車間距離Ｌｖｖ_ａｖｅが閾値Ｌｖｖ_ＬＲであるか否かが判定されてもよい。本処理では演算負荷を低減するために、他の車両が停止しているか否かの判定処理が省略され、平均車間距離Ｌｖｖ_ａｖｅが閾値Ｌｖｖ_ＬＲである場合、他の車両は停止していると代替で判定される。平均車間距離Ｌｖｖ_ａｖｅが閾値Ｌｖｖ_ＬＲでない場合、図２４のステップＳ７００の処理に進む。

平均車間距離Ｌｖｖ_ａｖｅが閾値Ｌｖｖ_ＬＲである場合、処理部２０は、自車両が右折中である、または右折の意図があるか否かを判定する（ステッップＳ６０２）。自車両が右折中である、または右折の意図がある場合、処理部２０は、左方向に潜在リスクがあると判定する（ステップＳ６０４）。左方向に潜在リスクがある場合、フラグ「Ｆ_ＬＬＲ＝１」が設定される。

自車両が右折中でない、または右折の意図がない場合、処理部２０は、自車両が左折中である、または左折の意図があるか否かを判定する（ステッップＳ６０６）。自車両が左折中である、または左折の意図がある場合、処理部２０は、右方向に潜在リスクがあると判定する（ステップＳ６０８）。右方向に潜在リスクがある場合、フラグ「Ｆ_ＲＬＲ＝１」が設定される。

自車両が左折する場合、左方向から交通参加者が自車両に接近してくる可能性が存在するが、車両の運転者は、左折前に車両と車両との隙間から、接近してくる可能性が存在する交通参加者の存在を認識することができるため、ここでは認識がしづらい、右側から接近してくる交通参加者に着目する。また、運転者が左折時に左方向に着目し、そちら側に運転者が顔を動かすことで、運転者の運転が不安定となる可能性が否定できないため、この可能性を抑制するために、右側に着目する。

自車両が左折中でない、または左折の意図がない場合、処理部２０は、横距離|Ｌｅｖ|が閾値Ｌｅｖ_ＬＲより小さいか否かを判定する（ステップＳ６１０）。横距離|Ｌｅｖ|が閾値Ｌｅｖ_ＬＲより小さい場合、処理部２０は、自車両の前方に潜在リスクが存在すると判定する（ステップＳ６１２）。前方に潜在リスクがある場合、フラグ「Ｆ_ＦＬＲ＝１」が設定される。

横距離|Ｌｅｖ|が閾値Ｌｅｖ_ＬＲより小さくない場合、処理部２０は、前方に潜在リスクがないと判定する（ステップＳ６１４）。この場合、フラグ「Ｆ_ＬＬＲ＝０」、「Ｆ_ＲＬＲ＝０」、および「Ｆ_ＦＬＲ＝０」が設定される。

［警報／注意に関する処理］
図２４は、警報／注意に関する処理（判定処理）の流れの一例を示すフローチャートである。処理部２０は、自車両が移動中であるか否かを判定する（ステップＳ７００）。自車両が移動中でない場合、本フローチャートの１ルーチンが終了する。

（警報リスクに関する処理）
自車両が移動中である場合、処理部２０は、前方警報リスクが存在するか否かを判定する（ステップＳ７０２）。前方警報リスクが存在しない場合、処理部２０は、左方向警報リスクが存在するか否かを判定する（ステップＳ７０４）。左方向警報リスクが存在しない場合、処理部２０は、右方向警報リスクが存在するか否かを判定する（ステップＳ７０６）。

前方警報リスク、左方向警報リスク、または右方向警報リスクが存在する場合、通知部３０が、警報リスクに応じた表示を行い（ステップＳ７０８）、更に、第１態様のパッシングを行う（ステップＳ７１０）。前述した図１７、図１９、図２１で説明したように、フラグ「Ｆ_ＦＲ＝１（前方警報リスクありのフラグ）」、「Ｆ_ＬＲ＝１（左方向警報リスクありのフラグ）」または「Ｆ_ＲＲ＝１（右方向警報リスクありのフラグ）」が設定された場合に、ステップＳ７０８、およびステップＳ７１０の処理が実行される。これらの詳細については、後述する図２５、図２６を参照して説明する。

（注意リスクに関する処理）
右方向警報リスクが存在しない場合、処理部２０は、前方注意リスクが存在するか否かを判定する（ステップＳ７１２）。前方注意リスクが存在しない場合、処理部２０は、左方向注意リスクが存在するか否かを判定する（ステップＳ７１４）。左方向注意リスクが存在しない場合、処理部２０は、右方向注意リスクが存在するか否かを判定する（ステップＳ７１４）。

前方注意リスク、左方向注意リスク、または右方向注意リスクが存在する場合、通知部３０が、注意リスクに応じた表示を行い（ステップＳ７１８）、更に、第２態様のパッシングを行う（ステップＳ７２０）。前述した図１７、図１９、図２１で説明したように、フラグ「Ｆ_ＦＣ＝１（前方注意リスクありのフラグ）」、「Ｆ_ＬＣ＝１（左方向注意リスクありのフラグ）」または「Ｆ_ＲＣ＝１（右方向注意リスクありのフラグ）」が設定された場合に、ステップＳ７１８、およびステップＳ７２０の処理が実行される。これらの詳細については、後述する図２７を参照して説明する。

（潜在リスクに関する処理）
右方向注意リスクが存在しない場合、処理部２０は、前方潜在リスクが存在するか否かを判定する（ステップＳ７２２）。前方潜在リスクが存在しない場合、処理部２０は、左方向潜在リスクが存在するか否かを判定する（ステップＳ７２４）。左方向潜在リスクが存在しない場合、処理部２０は、右方向潜在リスクが存在するか否かを判定する（ステップＳ７１４）。

前方潜在リスク、左方向潜在リスク、または右方向潜在リスクが存在する場合、通知部３０が、潜在リスクに応じた表示を行う（ステップＳ７２８）。前述した図１７、図１９、図２１で説明したように、フラグ「Ｆ_ＦＬＲ＝１（前方潜在リスクありのフラグ）」、「Ｆ_ＬＬＲ＝１（左方向潜在リスクありのフラグ）」、または「Ｆ_ＲＬＲ＝１（右方向潜在リスクありのフラグ）」が設定された場合に、ステップＳ７２８の処理が実行される。これらの詳細については、後述する図２８を参照して説明する。これにより本フローチャートの１ルーチンの処理が終了する。

［警報リスク（第１警戒度合）に応じた通知］
図２５は、前方向警報リスクが生じる場面および通知について説明するための図である。前方向に警報リスクが存在する場合、通知部３０は、表示部に前方向に警報リスクが存在することを示す警報情報を表示させ、更に第１態様のパッシングを実行する。この警報表示は、図示するように前方向を示す矢印（例えば赤色の矢印）など所定の表示である。第１態様とは、パッシングライトＰＬを高周期で発光させる態様である。

図２６は、左方向警報リスクまたは右方向警報リスクが生じる場面および通知について説明するための図である。左方向に警報リスクが存在する場合、通知部３０は、表示部に左方向に警報リスクが存在することを示す警報情報を表示させ、更に第１態様のパッシングを実行する。この警報表示は、図示するように左方向を示す矢印（例えば赤色の矢印）など所定の表示である。

右方向に警報リスクが存在する場合、通知部３０は、表示部に右方向に警報リスクが存在することを示す警報情報を表示させ、更に第１態様のパッシングを実行する。この警報表示は、図示するように右方向を示す矢印（例えば赤色の矢印）など所定の表示である。

［注意リスク（第２警戒度合）に応じた通知］
図２７は、注意リスクが生じる場面および通知について説明するための図である。前方向に注意リスクが存在する場合、通知部３０は、表示部に前方向に注意リスクが存在することを示す注意情報を表示させ、更に第２態様のパッシングを実行する。この注意表示は、図示するように前方向を示す矢印（例えば黄色の矢印）など所定の表示である。第２態様とは、パッシングライトＰＬを低周期で発光させる態様である。

左方向に注意リスクが存在する場合、通知部３０は、表示部に左方向に注意リスクが存在することを示す注意情報を表示させ、更に第２態様のパッシングを実行する。この注意表示は、図示するように左方向を示す矢印（例えば黄色の矢印）など所定の表示である。

右方向に注意リスクが存在する場合、通知部３０は、表示部に右方向に注意リスクが存在することを示す注意情報を表示させ、更に第２態様のパッシングを実行する。この注意表示は、図示するように右方向を示す矢印（例えば黄色の矢印）など所定の表示である。上記のように注意リスクが存在する場合に表示部に表示される画像（矢印などの警戒を示す画像）の色彩は、警報リスクが存在する場合に表示部に表示される画像（矢印などの警戒を示す画像）の色彩とは異なる。

［潜在リスク（第３警戒度合）に応じた通知］
図２８は、潜在リスクが生じる場面および通知について説明するための図である。前方向に潜在リスクが存在する場合、通知部３０は、表示部に前方向に潜在リスクが存在することを示す潜在リスク情報を表示させる。この潜在リスク表示は、図示するように前方向を示す矢印（例えば黄色の矢印）など所定の表示である。

左方向に潜在リスクが存在する場合、通知部３０は、表示部に左方向に潜在リスクが存在することを示す警報情報を表示させる。この潜在リスク表示は、図示するように前方向を示す矢印（例えば黄色の矢印）など所定の表示である。なお、潜在リスクが存在する場合、接近してくる交通参加者が存在しないこともあるのでパッシングは実行されない。

なお、上記の例では、カメラおよび表示部は、端末装置ＳＰに設けられるものとして説明したが、カメラまたは表示部の一方または双方は、端末装置ＳＰに設けられず、他の装置や移動体などに設けられてもよい。この場合、端末装置ＳＰは、他の装置や移動体と通信を行い、画像を取得したり、表示部に情報を表示させたりする。

なお、上記の実施形態では、第１の警戒度合であるか、第２の警戒度合であるかを判定し、第１の警戒度合と第２の警戒度合とで異なる情報を提供するものとして説明したが、これに代えて（または加えて）、アプリケーションプログラムは、第１の警戒度合であるか、第２の警戒度合であるかを判定せずに、警戒すべき状況である場合に（警戒度合が所定の度合以上である場合に）、表示部に警戒に関する情報を表示させてもよい。更に、この場合、アプリケーションプログラムは、パッシングを実行してもよい。なお、警戒すべき状況とは、第１の警戒度合である状況、第２の警戒度合である状況、または潜在リスクが存在する状況である。

以上説明した実施形態によれば、アプリケーションプログラムが、カメラが搭載され且つ移動体に取り付けられた端末装置のコンピュータに、画像を取得させる処理と、画像から得られた移動体の周辺の状況に基づいて、移動体の操作者にとっての警戒度合が第１の警戒度合であるか、第１の警戒度合よりも警戒度合が小さい第２の警戒度合であるかを判定させる処理と、判定の結果に応じて、端末装置のカメラが設けられた筐体に設けられた表示部に、警戒度合に応じた情報を表示させる処理とを実行させることにより、利用者の利便性を向上させることができる。

以上説明した実施形態によれば、アプリケーションプログラムが、カメラが搭載され且つ移動体に取り付けられた端末装置のコンピュータに、異なる時刻に撮像された画像を取得させる処理と、異なる時刻に撮像された画像に基づいて、移動体が右折または左折する意図があるかを推定させる処理と、推定の結果に基づいて、端末装置の前記カメラが設けられた筐体に設けられた表示部に、交通参加者の存在に関する報知の画像を表示させる処理と、を実行させることにより、移動体の行動の意図をより精度よく推定することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

Ｍ‥自車両、ＰＬ‥パッシングライト、ＳＰ‥端末装置ＳＰ、１０‥取得部、２０‥処理部、３０‥通知部、５０‥記憶部、ＡＰ‥アプリケーションプログラム

Claims (9)

1. カメラが搭載され且つ移動体に取り付けられた端末装置のコンピュータに、
   異なる時刻に撮像された画像を取得させる処理と、
   前記異なる時刻に撮像された画像に基づいて、前記移動体が右折または左折する意図があるかを推定させる処理と、
   前記異なる時刻により撮像された画像に基づいて、交通参加者の移動方向を推定させる処理と、
   前記移動体が右折または左折する意図があるかを推定した結果と、前記交通参加者の移動方向を推定した結果に基づいて、前記端末装置の前記カメラが設けられた筐体に設けられた表示部に、前記交通参加者の存在に関する報知の画像を表示させる処理と、
   を実行させるアプリケーションプログラム。
2. 前記コンピュータに、更に、
   前記移動体が直進している状態であるか、前記移動体が右折中または左折中であるかを推定させる、
   請求項１に記載のアプリケーションプログラム。
3. 前記コンピュータに、更に
   第１時刻に撮像された画像を、基準位置を起点に左方向または右方向に所定角度回転させて、
   前記第１時刻とは異なる第２時刻に撮像された画像と、前記所定角度回転させた画像とを比較させ、
   比較の結果に基づいて、前記移動体が右折または左折する意図があるかを推定させる、
   請求項１または２に記載のアプリケーションプログラム。
4. 前記コンピュータに、更に
   前記第１時刻に撮像された画像の中央部の第１画像と、前記所定角度回転させた画像の中央部の第２画像とを比較させる、
   請求項３に記載のアプリケーションプログラム。
5. 前記コンピュータに、更に
   前記第１時刻に撮像された画像を、基準位置を起点に左方向および右方向に所定角度ずつ回転させた複数の画像のそれぞれの中央部の第１画像を取得させ、
   取得させた中央部の第１画像のそれぞれと、前記第２時刻で撮像された画像の中央部の第２画像とを比較させ、
   前記第１画像と前記第２画像との差分が最小となる第１画像の回転角度が閾値以上である場合、前記移動体に右折または左折する意図があると推定させる、
   請求項４に記載に記載のアプリケーションプログラム。
6. 前記コンピュータに、更に
   前記第１時刻に撮像された画像から特定の領域を切り出した切出画像の大きさを、前記第２時刻で撮像された画像の大きさに近づけ、前記切出画像を前記所定角度回転させて、前記第２時刻に撮像された画像と、前記所定角度回転させた画像とを比較させる、
   請求項３から５のうちいずれか１項に記載のアプリケーションプログラム。
7. 前記コンピュータに、更に、
   前記移動体に右折または左折する意図があると推定され、且つ前記移動体が右折または左折したときに通過する経路または経路付近に交通参加者が存在または接近すると推定された場合、前記表示部に、前記交通参加者の接近に関する報知の画像を表示させる処理を実行させる、
   請求項１から６のうちいずれか１項に記載のアプリケーションプログラム。
8. 端末装置のコンピュータが、
   異なる時刻に撮像された画像を取得し、
   前記異なる時刻に撮像された画像に基づいて、移動体に右折または左折する意図があるかを推定し、
   前記異なる時刻により撮像された画像に基づいて、交通参加者の移動方向を推定し、
   前記移動体が右折または左折する意図があるかを推定した結果と、前記交通参加者の移動方向を推定した結果に基づいて、表示部に、前記交通参加者の存在に関する報知の画像を表示させる、
   情報提供方法。
9. 筐体に設けられたカメラと、
   前記筐体に設けられた表示部と、
   前記カメラに撮像された異なる時刻に撮像された画像に基づいて、移動体に右折または左折する意図があるかを推定し、前記異なる時刻により撮像された画像に基づいて、交通参加者の移動方向を推定する推定部と、
   前記移動体が右折または左折する意図があるかを推定した結果と、前記交通参加者の移動方向を推定した結果に基づいて、前記カメラが設けられた前記筐体に設けられた表示部に、前記交通参加者の存在に関する報知の画像を表示させる表示制御部と、
   を備える端末装置。

Images