JP7422567B2 - 運転支援システム、運転支援装置、運転支援方法、および運転支援プログラム - Google Patents

Description

本開示は、２つの走行路の合流領域を含む走行領域における車両の運転を支援する運転支援システム、運転支援装置、運転支援方法、および運転支援プログラムに関する。

従来、複数の走行路が合流する合流領域を含む走行領域における車両の運転を支援する技術が知られている。例えば、特許文献１には、合流領域に向かって道路上を走行する各車両をカメラで撮像し、カメラの撮像画像を表示装置に表示する技術が開示されている。特許文献１に記載の技術では、各車両の未来の位置を予測し、予測した結果に基づき、推奨する走行方法を車両に実行させるための指示情報と指示情報の対象となる車両を強調する強調画像とをカメラの撮像画像上に配置した画像が表示装置に表示される。

特開２０１５－５２９０２号公報

しかしながら、上記特許文献１に記載の技術では、走行領域をカメラで鉛直下向きに撮影している。そのため、例えば、高速道路において、本線、側道、および本線と側道との合流地点とを含む走行領域の画像を撮像しようとすると、カメラを走行領域の上空の高い位置に配置する必要があり、カメラの設置が難しい場合がある。

本開示は、上記に鑑みてなされたものであって、カメラの設置の困難性を低減しつつ、合流領域を含む走行領域の撮像画像を車両のドライバに提供することができる運転支援システムを得ることを目的とする。

上述した課題を解決し、目的を達成するために、本開示の運転支援システムは、複数のカメラと、運転支援装置とを備える。複数のカメラは、第１の走行路の領域と、第２の走行路の領域と、第１の走行路と第２の走行路とが合流する領域とを含む走行領域のうち各々異なる領域を撮像する。運転支援装置は、複数のカメラで撮像された複数の画像に基づいて、走行領域における車両の運転を支援するための支援画像を表示装置に表示させる。運転支援装置は、変換部と、合成部と、表示処理部とを備える。変換部は、複数の画像の各々を俯瞰画像へ変換する。合成部は、変換部によって変換された複数の俯瞰画像を合成した合成画像を生成する。表示処理部は、合成部によって生成された合成画像を支援画像として表示装置に表示させる。走行領域には、車両が走行する方向において分割される複数の領域の各々に異なる色が付けられている。

本開示によれば、カメラの設置の困難性を低減しつつ、合流領域を含む走行領域の撮像画像を車両のドライバに提供することができる、という効果を奏する。

実施の形態１にかかる運転支援方法を説明するための図 実施の形態１にかかる運転支援システムの構成の一例を示す図 実施の形態１にかかる第１の走行路、第２の走行路、および合流領域を含む走行領域の平面図 実施の形態１にかかる複数のカメラおよび複数の表示装置の各々の配置の一例を示す図 実施の形態１にかかるカメラの構成の一例を示す図 実施の形態１にかかる表示装置の構成の一例を示す図 実施の形態１にかかる合成画像に対する複数の俯瞰画像の位置関係を示す図 実施の形態１にかかる表示装置に表示される合成画像の一例を示す図 実施の形態１にかかるカメラの数および配置が異なる場合の合成画像の一例を示す図 実施の形態１にかかるカメラの数および配置がさらに異なる場合の合成画像の一例を示す図 実施の形態１にかかる走行領域の色づけの一例を示す図 図１１に示す走行領域を走行する車両のドライバから前方を見た画像の一例を示す図 実施の形態１にかかる運転支援装置の処理部による処理の一例を示すフローチャート 実施の形態１にかかる運転支援装置のハードウェア構成の一例を示す図 実施の形態２にかかる運転支援システムを説明するための図 実施の形態２にかかる車両の一部の構成の一例を示す図 実施の形態２にかかる運転支援装置の構成の一例を示す図 実施の形態２にかかる運転支援装置の処理部による処理の一例を示すフローチャート

以下に、実施の形態にかかる運転支援システム、運転支援装置、運転支援方法、および運転支援プログラムを図面に基づいて詳細に説明する。

実施の形態１．
図１は、実施の形態１にかかる運転支援方法を説明するための図である。図１に示すように、実施の形態１にかかる運転支援方法では、第１の走行路の領域と、第２の走行路の領域と、第１の走行路と第２の走行路とが合流する領域である合流領域とを含む走行領域が複数のカメラで撮像される。走行領域が高速道路の場合、第１の走行路は、本線の一部であり、第２の走行路は、側道であり、合流領域には、加速車線の全部および本線の一部が含まれる。なお、走行領域は高速道路に限定されない。

図１に示す例では、複数のカメラのうちの１つ目のカメラで第１の走行路の領域が撮像され、２つ目のカメラで第２の走行路の領域が撮像され、３つ目のカメラで合流領域が撮像される。各カメラで撮像された画像である撮像画像には、走行領域を走行する車両である走行車両の画像も含まれる。これらの複数のカメラから出力される撮像画像の情報は、フレームレートが３０ＦＰＳ（Flames Per Second）の動画像の情報であるが、フレームレートが３０ＦＰＳ未満の動画像の情報であってもよく、フレームレートが３０ＦＰＳを超える動画像の情報であってもよい。なお、以下において、動画像を画像と記載する場合があり、画像の情報を画像と記載する場合がある。

本運転支援方法では、不図示の運転支援装置によって、各カメラの撮像画像を俯瞰画像へ変換する変換処理が行われる。俯瞰画像は、鉛直方向上方から見下ろすように視点変換処理を行った画像である。そして、本運転支援方法では、不図示の運転支援装置によって、変換処理によって生成された複数の俯瞰画像を合成した合成画像を生成する合成処理が行われ、生成された合成画像を、走行領域における車両の運転を支援するための支援画像として、複数の表示装置に表示する表示処理が行われる。

このように、本運転支援方法では、不図示の運転支援装置によって、複数のカメラの各々で撮像された画像である撮像画像が俯瞰画像へ変換され、変換された複数の俯瞰画像を合成した合成画像が表示装置に表示される。これにより、カメラの向きを鉛直下向きにする必要がないことから、カメラの設置の困難性を低減しつつ、合流領域を含む走行領域の撮像画像を車両のドライバに提供することができる。したがって、例えば、第２の走行路を走行する車両のドライバは、実際には見えない第１の走行路の車両の状況を臨場感を持って把握することができる。

また、走行領域が高速道路の場合、本線および側道の各々には監視用のカメラが設置されている場合が多く、本運転支援方法では、これら既設の監視用のカメラを使用することもできる。この場合、カメラを新たに設置する必要がないことから、本運転支援方法を容易に適用することができる。

以下、本運転支援方法を実行する運転支援システムの構成について具体的に説明する。図２は、実施の形態１にかかる運転支援システムの構成の一例を示す図である。図２に示すように、実施の形態１にかかる運転支援システム１００は、運転支援装置１と、複数のカメラ２_１，２_２，２_３と、複数の表示装置３_１，３_２，３_３，３_４と、サーバ４と、端末装置５とを備える。

運転支援装置１は、無線または有線によって複数のカメラ２_１，２_２，２_３および複数の表示装置３_１，３_２，３_３，３_４の各々と互いに通信可能に接続される。運転支援装置１は、複数のカメラ２_１，２_２，２_３で撮像された複数の画像に基づいて、走行領域におけるドライバによる車両の運転を支援するための支援画像を表示装置３_１，３_２，３_３，３_４に表示させる。

運転支援装置１は、ゲートウェイ６およびネットワーク７を介してサーバ４と互いに通信可能に接続される。図２に示す例では、サーバ４は、クラウド上に設けられるクラウドサーバである。サーバ４は、ネットワーク８を介して道路管理会社の端末装置５と互いに通信可能に接続される。

図３は、実施の形態１にかかる第１の走行路、第２の走行路、および合流領域を含む走行領域の平面図である。図３に示すように、実施の形態１にかかる走行領域９は、第１の走行路９_１と、第２の走行路９_２と、第１の走行路９_１と第２の走行路９_２とが合流する領域である合流領域９_３とを含む。走行領域９が高速道路である場合、第１の走行路９_１は、本線の一部であり、第２の走行路９_２は、側道であり、合流領域９_３には、加速車線の全体および本線の一部が含まれる。

図４は、実施の形態１にかかる複数のカメラおよび複数の表示装置の各々の配置の一例を示す図である。図４に示す例では、カメラ２_１は、第１の走行路９_１をまたぐ門型支柱に取り付けられ、第１の走行路９_１の上方から第１の走行路９_１を撮像する位置に配置される。カメラ２_２は、第２の走行路９_２をまたぐ門型支柱に取り付けられ、第２の走行路９_２の上方から第２の走行路９_２を撮像する位置に配置される。

カメラ２_３は、合流領域９_３をまたぐ門型支柱に取り付けられ、合流領域９_３の上方から合流領域９_３を撮像する位置に配置される。門型支柱を用いる方式は、オーバヘッド式または門型式とも呼ばれる。以下、複数のカメラ２_１，２_２，２_３の各々を個別に区別せずに示す場合、カメラ２と記載する場合がある。

図５は、実施の形態１にかかるカメラの構成の一例を示す図である。図５に示すように、カメラ２は、撮像部３０と、通信部３１と、処理部３２とを備える。撮像部３０は、例えば、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）イメージセンサなどのイメージセンサである。通信部３１は、運転支援装置１と無線または有線によって情報の送受信を行う。処理部３２は、撮像部３０で撮像された動画像の情報を通信部３１から送信させる。

図４に示す例では、表示装置３_１は、第１の走行路９_１をまたぐ門型支柱に取り付けられ、第１の走行路９_１を走行する車両のドライバから視認可能な位置に配置される。表示装置３_２は、第２の走行路９_２をまたぐ門型支柱に取り付けられ、第２の走行路９_２を走行する車両のドライバから視認可能な位置に配置される。

表示装置３_３は、合流領域９_３をまたぐ門型支柱に取り付けられ、合流領域９_３を走行する車両のドライバから視認可能な位置に配置される。表示装置３_４は、第２の走行路９_２の入口に設けられた門型支柱に取り付けられ、第２の走行路９_２の入口に進入しようとする車両のドライバまたは第２の走行路９_２に繋がる走行路を走行する車両のドライバなどから視認可能な位置に配置される。このように、表示装置３_１，３_２，３_３，３_４の各々は、走行領域９の上方であって走行領域９を走行する車両のドライバが視認可能な位置に設けられる。以下、複数の表示装置３_１，３_２，３_３，３_４の各々を個別に区別せずに示す場合、表示装置３と記載する場合がある。

図６は、実施の形態１にかかる表示装置の構成の一例を示す図である。図６に示すように、表示装置３は、通信部４０と、表示部４１と、処理部４２とを備える。通信部４０は、運転支援装置１と無線または有線によって情報の送受信を行う。表示部４１は、大型の表示部であり、例えば、複数のＬＥＤ（Light Emitting Diode）で画像を表示するＬＥＤビジョンである。処理部４２は、通信部４０によって受信された運転支援装置１からの動画像の情報である支援画像の情報を表示部４１に表示させる。

図２に戻って、運転支援装置１の説明を続ける。図２に示すように、運転支援装置１は、第１の通信部１０と、第２の通信部１１と、処理部１２とを備える。第１の通信部１０は、無線または有線によって複数のカメラ２_１，２_２，２_３および表示装置３_１，３_２，３_３，３_４の各々と互いに通信可能に接続される。第２の通信部１１は、ゲートウェイ６およびネットワーク７を介してサーバ４と互いに通信可能に接続される。

処理部１２は、取得部２０と、変換部２１と、合成部２２と、表示処理部２３とを備える。取得部２０は、各カメラ２から撮像画像の情報を取得する。取得部２０は、取得した撮像画像の情報を監視用画像の情報として第２の通信部１１からサーバ４へ送信させる。サーバ４は、運転支援装置１から取得した各カメラ２から撮像画像の情報を端末装置５へネットワーク８を介して送信する。これにより、各カメラ２の撮像画像が端末装置５における不図示の表示部に表示され、道路管理会社の従業員は、端末装置５に表示された各カメラ２の撮像画像に基づいて、走行領域９の状態を監視することができる。

また、取得部２０は、取得した複数の撮像画像の情報を変換部２１へ出力する。変換部２１は、取得部２０から出力された複数の撮像画像の情報に基づいて、各カメラ２の撮像画像を俯瞰画像へ変換する。俯瞰画像は、上述したように、鉛直方向上方から見下ろすように視点変換処理が行われて生成される画像である。すなわち、俯瞰画像は、視点位置を走行領域９の上方に設定し視点方向を鉛直方向下方に設定してカメラ２の画像を座標変換することによって得られる画像である。なお、第２の走行路９_２が坂道である場合、第２の走行路９_２の俯瞰画像は、第２の走行路９_２に対して垂直な方向から見下ろす画像であってもよい。

合成部２２は、変換部２１によって変換された複数の俯瞰画像を合成した合成画像を生成する。図７は、実施の形態１にかかる合成画像に対する複数の俯瞰画像の位置関係を示す図である。図７に示す合成画像５０において、第１の画像５１は、カメラ２_１の撮像画像から変換部２１で得られる俯瞰画像であり、第２の画像５２は、カメラ２_２の撮像画像から変換部２１で得られる俯瞰画像であり、第３の画像５３は、カメラ２_３の撮像画像から変換部２１で得られる俯瞰画像である。

第１の画像５１、第２の画像５２、および第３の画像５３の各々は、走行領域９のうち互いに異なる領域の画像である。具体的には、第１の画像５１は、第１の走行路９_１の領域の画像であり、第２の画像５２は、第２の走行路９_２の領域の画像であり、第３の画像５３は、合流領域９_３の画像である。

カメラ２_３がカメラ２_１，２_２と重複する領域を撮像する場合、カメラ２_３の撮像画像から変換部２１で得られる俯瞰画像から、カメラ２_１，２_２の撮像画像から変換部２１で得られる俯瞰画像との重複部分が削除される。また、カメラ２_１がカメラ２_２と重複する領域を撮像する場合、例えば、カメラ２_１の撮像画像から変換部２１で得られる俯瞰画像から、カメラ２_２の撮像画像から変換部２１で得られる俯瞰画像との重複部分が削除される。かかる重複部分の削除は、例えば、変換部２１または合成部２２によって実行される。

なお、合成部２２は、例えば、複数の俯瞰画像を合成した合成画像を車両の走行方向で圧縮した画像を合成画像として生成することもできる。

表示処理部２３は、合成部２２によって生成された合成画像の情報を複数の表示装置３_１，３_２，３_３，３_４へ第１の通信部１０に送信させ、合成部２２によって生成された合成画像を支援画像として表示装置３_１，３_２，３_３，３_４に表示させる。

図８は、実施の形態１にかかる表示装置に表示される合成画像の一例を示す図である。図８に示す合成画像５０は、走行領域９を走行する複数の車両を上方から見た画像である。かかる合成画像５０は、表示装置３_１，３_２，３_３，３_４によって表示されることから、走行領域９を走行する車両のドライバは、走行領域９における他の車両の走行状態を合成画像５０から容易に把握することができる。

例えば、第２の走行路９_２に車両が走行している場合、合流領域９_３における加速車線のどこから合流領域９_３の本線に合流すればいいかのさらに合理的な判断を、第２の走行路９_２を走行する車両のドライバに対して促すことができる。また、第１の走行路９_１を走行する車両のドライバは、第２の走行路９_２から合流領域９_３に進入する車両を事前に把握することができ、第２の走行路９_２から合流領域９_３に車両が進入しやすいように第１の走行路９_１を走行することができる。また、表示装置３_４は、例えば、高速道路に繋がる側道の入り口に設置されるため、渋滞に巻き込まれる車両を減らすことができる。そのため、運転支援システム１００では、渋滞の早期解消に期することができる。

なお、カメラ２の数および配置は、上述した例に限定されない。図９は、実施の形態１にかかるカメラの数および配置が異なる場合の合成画像の一例を示す図である。図１０は、実施の形態１にかかるカメラの数および配置がさらに異なる場合の合成画像の一例を示す図である。

図９に示す例では、４つのカメラ２の撮像画像で合成画像５０が生成される。具体的には、合成画像５０は、第１の画像、第２の画像、第３の画像、および第４の画像とから構成される。第１の画像は、カメラ２_１から得られる画像であり、第２の画像は、カメラ２_２から得られる画像である。また、第３の画像および第４の画像の各々は、カメラ２_１，２_２とは異なる２つのカメラ２で撮像された画像から得られる。

図１０に示す例では、２つのカメラ２の撮像画像で合成画像５０が生成される。具体的には、合成画像５０は、第１の画像および第２の画像から構成される。第１の画像は、１つ目のカメラ２から得られる画像であり、第２の画像は、２つ目のカメラ２から得られる画像である。１つ目のカメラ２は、走行領域９のうち第１の走行路９_１と合流領域９_３の一部とを含む領域を撮像し、２つ目のカメラ２は、走行領域９のうち第２の走行路９_２と合流領域９_３の一部とを含む領域を撮像する。なお、カメラ２の数は、５つ以上であってもよく、カメラ２の配置は、上述した例に限定されない。

走行領域９には、車両が走行する方向において分割される複数の領域の各々に異なる色が付けられており、これにより、走行領域９を走行する車両のドライバは、車両が走行している領域の色と表示装置３に表示された合成画像５０とから、合成画像５０に含まれる複数の車両のうち搭乗している車両が走行している位置を容易に把握することができる。

図１１は、実施の形態１にかかる走行領域の色づけの一例を示す図である。図１１に示す例では、走行領域９のうち互いに異なる色が付された複数の領域の各々が異なるハッチングで示される。すなわち、図１１では、ハッチングによって色の違いを表現している。

図１１に示す例では、走行領域９の複数の領域の各々に異なる色が付されている。例えば、第１の走行路９_１の領域９１と第２の走行路９_２の領域９３とが黄色で塗装され、第１の走行路９_１の領域９２と第２の走行路９_２の領域９４とが橙色で塗装され、合流領域９_３が青色に塗装される。

図１２は、図１１に示す走行領域を走行する車両のドライバから前方を見た画像の一例を示す図である。図１２に示す例は、第１の走行路９_１の領域９１を走行している車両から見た画像であり、第１の走行路９_１の領域９２に他の車両が存在している。第１の走行路９_１の領域９１を走行している車両のドライバは、車両が走行している領域の色と、表示装置３に表示された合成画像５０とから、合成画像５０に含まれる複数の車両のうち搭乗している車両が走行している位置を容易に把握することができる。

つづいて、フローチャートを用いて運転支援装置１の処理部１２による処理を説明する。図１３は、実施の形態１にかかる運転支援装置の処理部による処理の一例を示すフローチャートである。図１３に示す処理は、運転支援装置１の処理部１２によって繰り返し実行される。例えば、処理部１２は、各カメラ２から１フレームの画像の情報を取得する毎に図１３に示す処理を実行する。

図１３に示すように、運転支援装置１の処理部１２は、複数のカメラ２の各々から撮像画像を取得する（ステップＳ１０）。処理部１２は、ステップＳ１０で取得した複数の撮像画像をサーバ４へ送信すると共に（ステップＳ１１）、ステップＳ１０で取得した複数の撮像画像の各々を俯瞰画像へ変換する（ステップＳ１２）。

次に、処理部１２は、ステップＳ１２で変換した複数の俯瞰画像を合成して合成画像を生成する（ステップＳ１３）。処理部１２は、ステップＳ１３で生成した合成画像を支援画像として各表示装置３に表示すると共に（ステップＳ１４）、ステップＳ１３で生成した合成画像を第２の通信部１１にサーバ４へ送信させ（ステップＳ１５）、図１３に示す処理を終了する。なお、処理部１２は、ステップＳ１５の処理を行わないこともできる。

図１４は、実施の形態１にかかる運転支援装置のハードウェア構成の一例を示す図である。図１４に示すように、運転支援装置１は、プロセッサ１０１と、メモリ１０２と、第１の通信装置１０３と、第２の通信装置１０４とを備えるコンピュータを含む。プロセッサ１０１、メモリ１０２、第１の通信装置１０３、および第２の通信装置１０４は、例えば、バス１０５によって互いにデータの送受信が可能である。第１の通信部１０は、第１の通信装置１０３によって実現され、第２の通信部１１は、第２の通信装置１０４によって実現される。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することによって、取得部２０、変換部２１、合成部２２、および表示処理部２３の機能を実行する。

プロセッサ１０１は、例えば、処理回路の一例であり、ＣＰＵ（Central Processing Unit）、ＤＳＰ（Digital Signal Processor）、およびシステムＬＳＩ（Large Scale Integration）のうち一つ以上を含む。メモリ１０２は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、およびＥＥＰＲＯＭ（登録商標）（Electrically Erasable Programmable Read Only Memory）のうち一つ以上を含む。また、メモリ１０２は、コンピュータが読み取り可能な上述したプログラムが記録された記録媒体を含む。かかる記録媒体は、不揮発性または揮発性の半導体メモリ、磁気ディスク、フレキシブルメモリ、光ディスク、コンパクトディスク、およびＤＶＤ（Digital Versatile Disc）のうち一つ以上を含む。なお、運転支援装置１の処理部１２は、ＡＳＩＣ（Application Specific Integrated Circuit）およびＦＰＧＡ（Field Programmable Gate Array）などの集積回路を含んでいてもよい。

以上のように、実施の形態１にかかる運転支援システム１００は、複数のカメラ２と、運転支援装置１とを備える。複数のカメラ２は、第１の走行路９_１の領域と、第２の走行路９_２の領域と、第１の走行路９_１と第２の走行路９_２とが合流する領域である合流領域９_３とを含む走行領域９のうち各々異なる領域を撮像する。運転支援装置１は、複数のカメラ２で撮像された複数の画像に基づいて、走行領域９における車両の運転を支援するための支援画像を表示装置３に表示させる。運転支援装置１は、変換部２１と、合成部２２と、表示処理部２３とを備える。変換部２１は、複数のカメラ２で撮像された複数の画像の各々を俯瞰画像へ変換する。合成部２２は、変換部２１によって変換された複数の俯瞰画像を合成した合成画像を生成する。表示処理部２３は、合成部２２によって生成された合成画像を支援画像として表示装置３に表示させる。これにより、カメラ２の向きを鉛直下向きにする必要がないことから、カメラ２の設置の困難性を低減しつつ、合流領域９_３を含む走行領域９の撮像画像を車両のドライバに提供することができる。したがって、例えば、第２の走行路９_２を走行する車両のドライバは、実際には見えない第１の走行路９_１の車両の状況を臨場感を持って把握することができる。

また、走行領域９には、車両が走行する方向において分割される複数の領域の各々に異なる色が付けられている。これにより、走行領域９を走行する車両のドライバは、車両が走行している領域の色と表示装置３に表示された合成画像５０とから、合成画像５０に含まれる複数の車両のうち搭乗している車両が走行している位置を容易に把握することができる。

また、表示装置３は、走行領域９の上方であって走行領域９を走行する車両のドライバが視認可能な位置に設けられる。これにより、走行領域９を走行する車両のドライバは、走行領域９の状態を容易に把握することができる。

また、運転支援装置１は、複数のカメラ２の各々で撮像された画像の情報を監視用画像の情報としてサーバ４へ送信する第２の通信部１１を備える。サーバ４は、外部装置の一例であり、第２の通信部１１は通信部の一例である。運転支援システム１００は、既設の監視用のカメラをカメラ２として使用することもでき、カメラを新たに設置する必要がないことから、システム構築が容易である。

実施の形態２．
実施の形態２にかかる運転支援システムは、車両の表示装置にも合成画像が表示され、走行領域が投影装置によって着色され、かつカメラの撮像画像から道路状況が判定されて表示装置に表示される点で、実施の形態１にかかる運転支援システム１００と異なる。以下においては、実施の形態１と同様の機能を有する構成要素については同一符号を付して説明を省略し、実施の形態１の運転支援システム１００と異なる点を中心に説明する。

図１５は、実施の形態２にかかる運転支援システムを説明するための図である。図１５に示すように、実施の形態２にかかる運転支援システム１００Ａは、運転支援装置１Ａと、複数のカメラ２_１，２_２，２_３と、複数の表示装置３_１，３_２，３_３，３_４と、投影装置７０_１，７０_２，７０_３と、車両６０と、を備える。なお、図１５では、サーバ４および端末装置５などは図示していない。なお、図１５では、車両６０は、２つのみ図示されているが、運転支援システム１００Ａは、車両６０を３つ以上備える。

車両６０は、運転支援装置１Ａから送信される合成画像の情報に基づいて、合成画像を表示する。図１６は、実施の形態２にかかる車両の一部の構成の一例を示す図である。図１６に示すように、車両６０は、通信部６１と、表示部６２と、処理部６３を備える。

通信部６１は、運転支援装置１Ａと無線によってネットワーク７などを介して情報の送受信を行う。表示部６２は、例えば、ＬＣＤ（Liquid Crystal Display）または有機ＥＬ（Electro-Luminescence）ディスプレイである。処理部６３は、運転支援装置１Ａから送信され通信部６１で受信される合成画像の情報を表示部６２に表示させる。これにより、車両６０のドライバは、車両６０内で表示される合成画像によっても、車両６０の走行を行うことができる。

また、投影装置７０_１，７０_２，７０_３は、運転支援装置１Ａから送信される制御指令に基づいて、走行領域９のうち車両６０が走行する方向において分割される複数の領域の各々に異なる色を投影する。制御指令には、例えば、投影装置７０_１，７０_２，７０_３に各々投影させる画像の情報が含まれる。

投影装置７０_１は、例えば、図１１に示す第１の走行路９_１の領域９１に黄色の画像を投影し、第１の走行路９_１の領域９２に橙色の画像を投影する。また、投影装置７０_２は、図１１に示す第２の走行路９_２の領域９３に黄色の画像を投影し、第２の走行路９_２の領域９４に橙色の画像を投影する。また、投影装置７０_３は、図１１に示す合流領域９_３の領域に青色の画像を投影する。以下、投影装置７０_１，７０_２，７０_３の各々を個別に区別せずに示す場合、投影装置７０と記載する場合がある。

これにより、車両６０のドライバは、例えば、走行領域９を走行する時間が夜間の場合であっても、合成画像５０に含まれる複数の車両６０のうち搭乗している車両６０が走行している位置を容易に把握することができる。

図１７は、実施の形態２にかかる運転支援装置の構成の一例を示す図である。図１７に示すように、実施の形態２にかかる運転支援装置１Ａは、第１の通信部１０Ａと、第２の通信部１１Ａと、処理部１２Ａとを備える。

第１の通信部１０Ａは、複数のカメラ２_１，２_２，２_３および複数の表示装置３_１，３_２，３_３，３_４に加え、無線または有線によって投影装置７０_１，７０_２，７０_３の各々と互いに通信可能に接続される点で、第１の通信部１０と異なる。

第２の通信部１１Ａは、サーバ４とゲートウェイ６およびネットワーク７を介して通信可能に接続されると共に、車両６０の通信部６１とゲートウェイ６およびネットワーク７を介して通信可能に接続される点で、第２の通信部１１と異なる。

処理部１２Ａは、表示処理部２３に代えて表示処理部２３Ａを備えると共に、解析部２４と、制御処理部２５とをさらに備える点で、処理部１２と異なる。表示処理部２３Ａは、合成部２２によって生成された合成画像を第１の通信部１０Ａに車両６０へ送信させ、合成画像の情報を車両６０の表示部６２に表示させる機能をさらに有する点で、表示処理部２３と異なる。

解析部２４は、取得部２０で取得される複数の撮像画像に基づいて、走行領域９における車両６０の走行状況を解析する。解析部２４は、複数の撮像画像から各車両６０を抽出し、抽出した各車両６０に車両ＩＤ（Identifier）を付与し、各車両６０の状態を車両ＩＤで管理する。解析部２４は、抽出した各車両６０の速度を算出し、複数の車両６０の平均速度を算出する。また、解析部２４は、走行領域９における車両６０の数をカウントし、カウントした結果を通行台数として算出する。解析部２４は、算出した平均速度と通行台数とに基づいて、走行領域９が渋滞しているか否かを判定する。

また、解析部２４は、取得部２０で取得される複数の撮像画像に基づいて、走行領域９を逆走している車両６０があるか否かを判定したり、第１の走行路９_１を走行している車両６０が避走を行っているか否かを判定したりすることができる。解析部２４は、解析した結果を示す解析情報を第２の通信部１１Ａにサーバ４へ送信させる。解析情報は、例えば、平均速度、渋滞、避走、逆走、および通行台数を示す情報を含む。

表示処理部２３Ａは、解析部２４の解析結果のうち緊急性の高い情報を第１の通信部１０Ａに表示装置３へ送信させ、表示装置３に緊急性の高い情報を表示させることができる。緊急性の高い情報は、例えば、逆走などの情報である。このように、表示処理部２３Ａは、リアルタイムに判定した解析情報のうち緊急性の高い情報を表示装置３に表示させることで、より強い臨場感を持って車両６０のドライバに現状の道路状況を把握させることができる。

表示処理部２３Ａは、合成部２２によって生成された合成画像に解析部２４の解析結果のうち緊急性の高い情報を重畳した画像を支援画像として表示装置３に表示させる。なお、解析部２４は、解析情報のうち緊急性の高い情報を第１の通信部１０Ａに車両６０へ送信させ、車両６０の表示部６２に表示させることもできる。また、表示処理部２３Ａは、解析部２４の解析結果の全部を第１の通信部１０Ａに表示装置３へ送信させ、表示装置３に解析部２４の解析結果の全部を表示させることもできる。この場合も、表示処理部２３Ａは、合成部２２によって生成された合成画像に解析部２４の解析結果の全部を重畳した画像を表示装置３に表示させることができる。

制御処理部２５は、投影装置７０_１で投影させる画像の情報を含む制御指令を第１の通信部１０Ａに投影装置７０_１へ送信させ、投影装置７０_２で投影させる画像の情報を含む制御指令を第１の通信部１０Ａに投影装置７０_２へ送信させる。また、制御処理部２５は、投影装置７０_３で投影させる画像の情報を含む制御指令を第１の通信部１０Ａに投影装置７０_３へ送信させる。投影装置７０_１，７０_２，７０_３は、運転支援装置１Ａから送信される制御指令に含まれる画像を走行領域９に投影する。

投影装置７０_１，７０_２，７０_３によって投影させる画像は変化させてもよい。例えば、制御処理部２５は、解析部２４によって解析された走行領域９における車両６０の走行状況に基づいて、投影装置７０_１，７０_２，７０_３によって投影させる画像を変更する制御指令を生成することができる。

例えば、制御処理部２５は、解析部２４によって解析された車両６０の走行速度が遅いほど、車両６０が走行する方向において異なる色の画像が投影される間隔を短くすることができる。また、制御処理部２５は、解析部２４によって解析された走行領域９における車両６０の渋滞度合いが大きいほど、車両６０が走行する方向において異なる色の画像が投影される間隔を短くすることができる。

また、制御処理部２５は、解析部２４によって解析された各車両６０の位置に基づいて、各車両６０が存在する領域には投影を行わない画像を含む制御指令を第１の通信部１０Ａに投影装置７０へ送信させることができる。これにより、投影装置７０からの光が車両６０のドライバに直接当たることを防止することができる。なお、投影装置７０は、車両６０のドライバの頭の高さよりも低い位置から走行領域９に向けて画像を投影することもできる。これによっても、投影装置７０からの光が車両６０のドライバに直接当たることを防止することができる。なお、投影装置７０は、車両６０の後ろ側からの投影を行うように車両６０の進行方向に投影方向を向けて配置されてもよい。このように、投影装置７０が車両６０の後ろ側からの投影を行うことにより、投影装置７０からの光が車両６０のドライバの前方から当たることを防止することができる。

また、制御処理部２５は、例えば、走行領域９における車両６０の台数が予め設定された数以上である場合に、制御指令を第１の通信部１０Ａに投影装置７０_１，７０_２，７０_３へ送信させることができる。これにより、運転支援システム１００Ａは、走行領域９における車両６０の台数が予め設定された数以上である場合に、投影装置７０_１，７０_２，７０_３から画像を走行領域９に投影することができる。

また、制御処理部２５は、例えば、現時刻が予め設定された時間帯である場合に制御指令を第１の通信部１０Ａに投影装置７０_１，７０_２，７０_３へ送信させることができる。これにより、運転支援システム１００Ａは、例えば、夜間などの時間帯に限定して、投影装置７０_１，７０_２，７０_３から画像を走行領域９に投影することができる。

つづいて、フローチャートを用いて運転支援装置１Ａの処理部１２Ａによる処理を説明する。図１８は、実施の形態２にかかる運転支援装置の処理部による処理の一例を示すフローチャートである。図１８に示す処理は、運転支援装置１Ａの処理部１２Ａによって繰り返し実行される。図１８に示すステップＳ２０～Ｓ２５の処理は、図１３に示すステップＳ１０～Ｓ１５と同じであるため、説明を省略する。

図１８に示すように、運転支援装置１Ａの処理部１２Ａは、各カメラ２から出力される撮像画像から各車両６０を抽出する（ステップＳ２６）。処理部１２Ａは、ステップＳ２６で抽出した各車両６０に車両ＩＤを付与する（ステップＳ２７）。これにより、処理部１２Ａは、撮像画像に画像が含まれる複数の車両６０の各々を管理することができる。

処理部１２Ａは、抽出した各車両６０の走行領域９における速度および位置などに基づいて、走行領域９における車両６０の走行状況を解析する（ステップＳ２８）。ステップＳ２８の処理において、処理部１２Ａは、例えば、走行領域９における平均速度、渋滞、避走、逆走、および通行台数を解析する。

処理部１２Ａは、解析した車両６０の走行状況を示す情報を第１の通信部１０Ａに各表示装置３へ送信させ、車両６０の走行状況を示す情報を各表示装置３に表示させる（ステップＳ２９）。例えば、処理部１２Ａは、合成部２２によって生成された合成画像によって車両６０の走行状況を示す情報を重畳した画像を支援画像として各表示装置３に表示させる。また、処理部１２Ａは、解析した車両６０の走行状況を示す情報をサーバ４へ第２の通信部１１Ａに送信させる（ステップＳ３０）。

次に、処理部１２Ａは、解析した車両６０の走行状況に基づいて、走行領域９を着色する（ステップＳ３１）。処理部１２Ａは、ステップＳ３１の処理が終了すると、図１８に示す処理を終了する。

実施の形態２にかかる運転支援装置１Ａのハードウェア構成例は、図１４に示す運転支援装置１のハードウェア構成と同じである。プロセッサ１０１は、メモリ１０２に記憶されたプログラムを読み出して実行することによって、取得部２０、変換部２１、合成部２２、表示処理部２３Ａ、解析部２４、および制御処理部２５の機能を実行することができる。

以上のように、実施の形態２にかかる運転支援装置１Ａは、走行領域９のうち車両６０が走行する方向において分割される複数の領域の各々に異なる色を投影する複数の投影装置７０_１，７０_２，７０_３を備える。これにより、車両６０のドライバは、例えば、走行領域９を走行する時間が夜間の場合であっても、合成画像５０に含まれる複数の車両６０のうち搭乗している車両６０が走行している位置を容易に把握することができる。

また、表示部６２は、車両６０に設けられる。表示部６２は表示装置の一例である。表示処理部２３Ａは、合成部２２によって生成された合成画像を表示部６２に表示させる。これにより、走行領域９を走行する車両６０のドライバは、表示部６２に表示された画像に基づいて、走行領域９の状態を容易に把握することができる。

また、運転支援装置１Ａは、複数のカメラ２で撮像された複数の画像に基づいて、走行領域９における車両６０の走行状況を解析する解析部２４を備える。表示処理部２３Ａは、解析部２４によって解析された車両６０の走行状況を示す情報を表示装置３_１，３_２，３_３，３_４に表示させる。これにより、走行領域９を走行する車両６０のドライバは、車両６０の走行状況をより容易に把握することができる。

また、表示処理部２３Ａは、合成部２２によって生成された合成画像に解析部２４によって解析された車両６０の走行状況を示す情報を重畳した画像を支援画像として表示装置３に表示させる。これにより、車両６０のドライバは、表示装置３の画像から走行領域９の状態をさらに具体的に把握することができる。

以上の実施の形態に示した構成は、一例を示すものであり、別の公知の技術と組み合わせることも可能であるし、実施の形態同士を組み合わせることも可能であるし、要旨を逸脱しない範囲で、構成の一部を省略、変更することも可能である。

１，１Ａ 運転支援装置、２，２_１，２_２，２_３ カメラ、３，３_１，３_２，３_３，３_４ 表示装置、４ サーバ、５ 端末装置、６ ゲートウェイ、７，８ ネットワーク、９ 走行領域、９_１ 第１の走行路、９_２ 第２の走行路、９_３ 合流領域、１０，１０Ａ 第１の通信部、１１，１１Ａ 第２の通信部、１２，１２Ａ，３２，４２，６３ 処理部、２０ 取得部、２１ 変換部、２２ 合成部、２３，２３Ａ 表示処理部、２４ 解析部、２５ 制御処理部、３０ 撮像部、３１，４０，６１ 通信部、４１，６２ 表示部、５０ 合成画像、５１ 第１の画像、５２ 第２の画像、５３ 第３の画像、６０ 車両、７０，７０_１，７０_２，７０_３ 投影装置、９１，９２，９３，９４ 領域、１００，１００Ａ 運転支援システム。

Claims (13)

1. 第１の走行路の領域と、第２の走行路の領域と、前記第１の走行路と前記第２の走行路とが合流する領域とを含む走行領域のうち各々異なる領域を撮像する複数のカメラと、
   前記複数のカメラで撮像された複数の画像に基づいて、前記走行領域における車両の運転を支援するための支援画像を表示装置に表示させる運転支援装置と、を備え、
   前記運転支援装置は、
   前記複数の画像の各々を俯瞰画像へ変換する変換部と、
   前記変換部によって変換された複数の前記俯瞰画像を合成した合成画像を生成する合成部と、
   前記合成部によって生成された前記合成画像を前記支援画像として前記表示装置に表示させる表示処理部と、を備え、
   前記走行領域には、
   前記車両が走行する方向において分割される複数の領域の各々に異なる色が付けられている
   ことを特徴とする運転支援システム。
2. 第１の走行路の領域と、第２の走行路の領域と、前記第１の走行路と前記第２の走行路とが合流する領域とを含む走行領域のうち各々異なる領域を撮像する複数のカメラと、
   前記複数のカメラで撮像された複数の画像に基づいて、前記走行領域における車両の運転を支援するための支援画像を表示装置に表示させる運転支援装置と、を備え、
   前記運転支援装置は、
   前記複数の画像の各々を俯瞰画像へ変換する変換部と、
   前記変換部によって変換された複数の前記俯瞰画像を合成した合成画像を生成する合成部と、
   前記合成部によって生成された前記合成画像を前記支援画像として前記表示装置に表示させる表示処理部と、を備え、
   前記走行領域のうち前記車両が走行する方向において分割される複数の領域の各々に異なる色を投影する複数の投影装置を備える
   ことを特徴とする運転支援システム。
3. 前記表示装置は、
   前記走行領域の上方であって前記走行領域を走行する前記車両のドライバが視認可能な位置に設けられる
   ことを特徴とする請求項１または２に記載の運転支援システム。
4. 前記表示装置は、
   前記車両に設けられ、
   前記表示処理部は、
   前記合成部によって生成された前記合成画像を前記表示装置に表示させる
   ことを特徴とする請求項１または２に記載の運転支援システム。
5. 前記複数の画像に基づいて、前記走行領域における前記車両の走行状況を解析する解析部を備え、
   前記表示処理部は、
   前記解析部によって解析された前記走行状況を示す情報を前記表示装置に表示させる
   ことを特徴とする請求項１から４のいずれか１つに記載の運転支援システム。
6. 前記表示処理部は、
   前記合成部によって生成された前記合成画像に前記解析部によって解析された前記走行状況を示す情報を重畳した画像を前記支援画像として前記表示装置に表示させる
   ことを特徴とする請求項５に記載の運転支援システム。
7. 前記運転支援装置は、
   前記複数のカメラの各々で撮像された画像の情報を監視用画像の情報として外部装置へ送信する通信部を備える
   ことを特徴とする請求項１から６のいずれか１つに記載の運転支援システム。
8. 第１の走行路の領域と、第２の走行路の領域と、前記第１の走行路と前記第２の走行路とが合流する領域とを含む走行領域であって車両が走行する方向において分割される複数の領域の各々に異なる色が付けられている前記走行領域のうち各々異なる領域を撮像する複数のカメラで撮像された複数の画像を俯瞰画像へ変換する変換部と、
   前記変換部によって変換された複数の前記俯瞰画像を合成した合成画像を生成する合成部と、
   前記合成部によって生成された前記合成画像を前記走行領域における前記車両の運転を支援するための支援画像として表示装置に表示させる表示処理部と、を備える
   ことを特徴とする運転支援装置。
9. 第１の走行路の領域と、第２の走行路の領域と、前記第１の走行路と前記第２の走行路とが合流する領域とを含む走行領域であって複数の投影装置によって前記走行領域のうち車両が走行する方向において分割される複数の領域の各々に異なる色が投影される前記走行領域のうち各々異なる領域を撮像する複数のカメラで撮像された複数の画像を俯瞰画像へ変換する変換部と、
   前記変換部によって変換された複数の前記俯瞰画像を合成した合成画像を生成する合成部と、
   前記合成部によって生成された前記合成画像を前記走行領域における前記車両の運転を支援するための支援画像として表示装置に表示させる表示処理部と、を備える
   ことを特徴とする運転支援装置。
10. コンピュータが実行する運転支援方法であって、
    第１の走行路の領域と、第２の走行路の領域と、前記第１の走行路と前記第２の走行路とが合流する領域とを含む走行領域であって車両が走行する方向において分割される複数の領域の各々に異なる色が付けられている前記走行領域のうち各々異なる領域を撮像する複数のカメラで撮像された複数の画像の各々を俯瞰画像へ変換する第１のステップと、
    前記第１のステップによって変換された複数の前記俯瞰画像を合成した合成画像を生成する第２のステップと、
    前記第２のステップによって生成された前記合成画像を前記走行領域における前記車両の運転を支援するための支援画像として表示装置に表示させる第３のステップと、を含む
    ことを特徴とする運転支援方法。
11. コンピュータが実行する運転支援方法であって、
    第１の走行路の領域と、第２の走行路の領域と、前記第１の走行路と前記第２の走行路とが合流する領域とを含む走行領域であって複数の投影装置によって前記走行領域のうち車両が走行する方向において分割される複数の領域の各々に異なる色が投影される前記走行領域のうち各々異なる領域を撮像する複数のカメラで撮像された複数の画像の各々を俯瞰画像へ変換する第１のステップと、
    前記第１のステップによって変換された複数の前記俯瞰画像を合成した合成画像を生成する第２のステップと、
    前記第２のステップによって生成された前記合成画像を前記走行領域における前記車両の運転を支援するための支援画像として表示装置に表示させる第３のステップと、を含む
    ことを特徴とする運転支援方法。
12. 第１の走行路の領域と、第２の走行路の領域と、前記第１の走行路と前記第２の走行路とが合流する領域とを含む走行領域であって車両が走行する方向において分割される複数の領域の各々に異なる色が付けられている前記走行領域のうち各々異なる領域を撮像する複数のカメラで撮像された複数の画像の各々を俯瞰画像へ変換する第１のステップと、
    前記第１のステップによって変換された複数の前記俯瞰画像を合成した合成画像を生成する第２のステップと、
    前記第２のステップによって生成された前記合成画像を前記走行領域における前記車両の運転を支援するための支援画像として表示装置に表示させる第３のステップと、をコンピュータに実行させる
    ことを特徴とする運転支援プログラム。
13. 第１の走行路の領域と、第２の走行路の領域と、前記第１の走行路と前記第２の走行路とが合流する領域とを含む走行領域であって複数の投影装置によって前記走行領域のうち車両が走行する方向において分割される複数の領域の各々に異なる色が投影される前記走行領域のうち各々異なる領域を撮像する複数のカメラで撮像された複数の画像の各々を俯瞰画像へ変換する第１のステップと、
    前記第１のステップによって変換された複数の前記俯瞰画像を合成した合成画像を生成する第２のステップと、
    前記第２のステップによって生成された前記合成画像を前記走行領域における前記車両の運転を支援するための支援画像として表示装置に表示させる第３のステップと、をコンピュータに実行させる
    ことを特徴とする運転支援プログラム。

Images