以下、本発明に係る車両遠隔監視システム及び車両遠隔監視装置の一実施形態を図面に基づいて説明する。
<<第1実施形態>>
図1は、本発明に係る車両遠隔監視装置11を含む車両遠隔監視システム100の一例を示すブロック図である。図1に示すように、本実施形態における車両遠隔監視システム100は、端末機1と車両2とネットワーク3を含む。また、車両2は、自律走行が可能な車両であり、端末機1と車両2は、電気通信回線網を構成するネットワーク3によって繋がっている。本実施形態では、オペレーターによる車両2の遠隔操作を支援するためのシステムに、本発明に係る車両遠隔監視システムを適用した場合を例として説明する。特に限定されるものではないが、例えば、車両2が、自律走行が不可能だと判断した場合に、オペレーターに遠隔操作を要求し、オペレーターが車両2の外部から遠隔操作を実行するという場面を挙げることができる。
まず、端末機1の各構成について説明する。端末機1は、図1に示す通り、車両遠隔監視装置11、入力装置12、出力装置13、通信装置14を備える。端末機1は車両2の外部に設けられており、例えば、複数の車両2を遠隔操作するための管制センター等へ設置される。本実施形態では、車両2はオペレーターの目視しうる範囲には位置しておらず、オペレーターは、端末機1を介して、車両2の状況を把握し、車両2の遠隔操作を実行する。端末機1としては、スマートフォン、携帯電話機、可搬コンピュータ等を用いることができる。端末機1には、俯瞰画像に車両の位置情報を重畳させた画面が表示され、オペレーターは、当該画面を確認して、車両の位置や道路情報を把握する。
車両遠隔監視装置11は、制御装置110と記憶装置210を備えており、制御装置110は、機能ブロックとして、遠隔操作受付部111、車両情報取得部112、外部環境情報取得部113、道路情報取得部114、画像表示制御部115、走行可能エリア判別部116、走行経路生成部117、走行経路表示部118、更新箇所判定部119、周囲画像更新部120を備える。記憶装置210は、地図データ211、詳細地図データベース212を備える。また、車両遠隔監視装置11は、プログラムを格納したROM(Read Only Memory)と、このROMに格納されたプログラムを実行するCPU(Central Processing Unit)と、アクセス可能な記憶装置として機能するRAM(Random Access Memory)とから構成されるコンピュータである。なお、動作回路としては、CPUに代えて又はこれとともに、MPU(Micro Processing Unit)、DSP(Digital Signal Processor)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)などを用いることができる。図1に示す制御装置110がCPUに相当し、また図1に示す記憶装置210がROM及びRAMに相当する。
遠隔操作受付部111は、車両2の車載通信装置25から送信される遠隔操作要求の信号を受信する。例えば、車両2が遠隔操作が必要と判断した場合に、車両2から送信された遠隔操作要求の信号が遠隔操作受付部111に入力されると、遠隔操作受付部111は車両2が自律走行では走行不可能な状況にあることを検知する。
車両情報取得部112は、車両2から送信される車両の位置や向きに関する情報を取得する。
外部環境情報取得部113は、車両2から送信される車両周囲の障害物等の情報を取得する。
道路情報取得部114は、詳細地図データベース212から俯瞰画像上では死角となる箇所の道路情報を選定し、当該道路情報を取得する。例えば、道路情報取得部114は、遠隔操作要求の信号を送信した車両2の位置に関する情報と地図データ211を基に、車両2が地図上のどこの道路上に位置するのかを特定し、車両2の向きに関する情報から、車両2の進行方向を特定する。そして、車両2が走行する予定の道路の進行方向に俯瞰画像上で死角となる箇所があれば、詳細地図データベース212から、当該箇所に係る道路情報を取得する。例えば、道路の上方に構造物等があれば、俯瞰画像上では当該構造物等により死角となる箇所ができることになるため、オペレーターが把握できないような、俯瞰画像上で死角となる箇所の道路情報を取得する。なお、死角は、俯瞰画像上で、構造物等が存在するために、道路情報が確認できない箇所であり、構造物等としては、例えば、立体交差、トンネル等の構造物や街路樹が挙げられる。また、道路情報としては、例えば、道路境界、車線、道路標示等に関する情報を含む。
画像表示制御部115は、少なくとも次の2つの機能を有する。ひとつめは、車両2の位置を示す画像を含む俯瞰画像を表示する第1画面と、車両2の周囲画像取得装置21により撮像された撮像画像(動画)を含む画像を表示する第2画面を生成する機能である。まず、図3Aで、第1画面と第2画面について説明する。図3Aは、オペレーターが車両2の状況を確認する際の出力装置13の表示画面の例であり、出力装置13の表示画面には、図3Aで示されるように、第1画面D1及び第2画面D2が表示される。図3Aは、車両2が走行している道路の進行方向に、俯瞰画像上で死角となる箇所がない場合の表示画面の例である。
画像表示制御部115は、図3Aに示される、第1画面D1及び第2画面D2を生成する。第1画面D1及び第2画面D2は同じ時刻における画面となり、表示画面上では、2つの画面が同時に表示される。第1画面D1は、車両2と、車両2の周囲の状況を俯瞰画像上に表示している画面である。俯瞰画像は、地表の状況を俯瞰的に表示した俯瞰画像であって、例えば、ナビゲーション地図やインターネット上の地図、3D地図、航空写真、衛星画像を含む。画像表示制御部115は、地図データ211、車両2から取得した位置情報等の車両情報および障害物情報等の外部環境情報に基づいて、車両2の位置を示すための車両2の画像C1を俯瞰画像上に重畳させ、周囲の障害物情報を示すための点群データC2を俯瞰画像上に重畳的に点描させて、第1画面D1を生成する。例えば、マッピング変換技術等を用いて、車両2の位置情報を地図における座標情報に変換し、当該座標情報に基づいて、俯瞰画像上に、車両2の画像を重畳させる。また、車両2の障害物検出装置23が取得した障害物情報に関しても、同様に、障害物等の位置情報を、マッピング変換技術等により、地図上の座標情報に変換し、当該座標情報に基づき、俯瞰画像上に障害物の情報を点群データとして重畳させる。なお、画面に表示される俯瞰画像の範囲は、特に限定されない。オペレーターが入力装置12を介して、俯瞰画像の拡大又は縮小の操作を行って、自由に表示範囲を変えられるようにしてもよい。
また、図3Aでは、第2画面D2は、車両2の周囲画像取得装置21が撮像する撮像画像(動画)を示す画面であり、車両2の周囲の状況をリアルタイムに表示する。なお、第2画面D2では、周囲画像取得装置21が撮像する前方の撮像画像(動画)に加え、左右の側方の撮像画像(動画)を表示している。表示対象としては、側方の画像の代わり、あるいは側方の画像とともに後方の撮像画像(動画)を表示してもよい。画像表示制御部115は、車両2の周囲画像取得装置21が撮像した撮像画像に基づいて、当該撮像画像(動画)を含む第2画面D2を生成する。例えば、車両2の前方の様子を映した画面で構成することが挙げられる。周囲画像取得装置21は車両2に車載された装置である。出力装置13は、周囲画像取得装置21の位置から撮像可能な範囲の情報を表示する。これにより、オペレーターは、第2画面を介して、車両2の周囲の状況をリアルタイムに把握することができる。また、画像表示制御部115は、前方のみならず、後方や側方の周囲画像取得装置21が撮像した撮像画像(動画)を、車両2の前方の様子が映る撮像画像(動画)に代えて、又はこれとともに表示するように第2画面D2を生成してもよい。その場合、画面生成の方法としては、縦方向に画面を分割して複数の画面を表示できるように生成してもよいし、横方向に画面を分割して複数の画面が表示できるように生成してもよい。これにより、車両2の前方、後方、側方の各撮像画像を同時に表示することができる。そして、画像表示制御部115は、生成された第1画面に、後述する道路情報表示画像を重畳させた後、第1画面D1及び第2画面D2を出力装置13に出力する。なお、第1画面D1及び第2画面D2の表示方法については、常時、並べて表示してもよいし、オペレーターの操作によって、一方の画面のみを一時的に表示し、表示画面を第1画面D1及び第2画面D2で切り替え可能にしてもよい。
画像表示制御部115のふたつめの機能は、道路情報取得部114が詳細地図データベースから取得した道路情報に基づき、上記第1画面に表示される俯瞰画像上に当該道路情報を表示する画像を生成する機能である。図3Bは、車両2が走行する道路の進行方向に、俯瞰画像上で死角となる箇所がある場合における第1画面D3の例である。図3Bは、車両2が立体交差の下方の道路を走行する手前で停止をして、遠隔操作を要求した場合の例を示している。図3Bで示されるように、車両2の進行方向に立体交差のような構造物があると、俯瞰画像上では、立体交差の下方の道路の道路状況が確認できない。そこで、俯瞰画像上で死角となる箇所の道路情報を表示する画像E1を重畳的に表示させることで、遠隔操作を実行するための経路作成に必要な情報を表示画面に示すことができる。画像表示制御部115は、道路情報として車線の位置や道路標示を取得し、車線の位置や道路標示を表示する画像E1を生成する。画像E1としては、例えば、道路情報を表現した図形の画像を生成する。また、第1画面D3では表示がないが、車両2の進行方向の道路上に障害物がある場合には、障害物を示す点群データを表示させることもできる。
画像表示制御部115は、画像E1を生成した後、生成した画像E1を、第1画面に重畳させて、第2画面とともに出力装置13に出力し、出力装置13を介して、オペレーターに表示させる。これにより、オペレーターは、俯瞰画像上で死角となっている箇所の道路情報も確認しながら、遠隔操作の入力操作を実行できる。また、画像表示制御部115は、後述する走行可能エリアを表示する画像を生成し、生成した走行可能エリアを表示する画像を第1画面に重畳させて、第2画面とともに出力装置13に出力する。
図3Cは、第1画面に走行可能エリアを表示する場合の例である。第1画面D4には、俯瞰画像上に、走行可能エリアを示す画像E2と、走行できない箇所を示す画像E3が表示されている。画像E3は、斜線箇所であり、当該箇所が、事故車両等が位置していて走行できない箇所である。画像表示制御部115は、後述する走行可能エリア判別部116が判別した走行可能エリアに関する情報を取得する。画像表示制御部115は、当該情報に基づき、走行可能エリアを示す図形の画像E2を生成し、事故車両等が道路上にあって、車両2が走行できない箇所については、当該箇所を斜線で示す画像E3を生成する。これらの画像を生成した後、画像表示制御部115は、画像E2と画像E3を出力装置13に出力する。
走行可能エリア判別部116は、道路情報、車両情報、及び外部環境情報に基づいて、車両が走行可能な走行可能エリアを判別する。車両情報としては、車両2の方向検出装置22が取得した当該車両の向きに関する情報や位置検出装置24が取得した当該車両の位置に関する情報を含む。外部環境情報としては、遠隔操作を要求した車両に搭載されている障害物検出装置23が取得した当該車両の周囲に存在する障害物等の位置や高さに関する情報を含む。走行可能エリア判別方法としては、例えば、まず、道路情報と車両2の位置や向きに関する情報から、車両2が道路のどこに位置しているのか、進行方向はどちらか等を判別する。次に、走行可能エリア判別部116は、外部環境情報から、車両2が走行する道路上の、障害物等があって走行ができないエリアを特定し、当該走行できないエリアを除いて、車両2の進行方向の道路上で走行可能なエリアを走行可能エリアとして判別する。また、走行可能エリア判別部116による走行可能なエリアの判別は、遠隔操作を必要としている車両の車両情報や外部環境情報に基づいて行われるだけでなく、車両2が走行する予定の道路を過去に走行した車両から取得できる車両情報や外部環境情報に基づいて行われることとしてもよい。
走行経路生成部117は、遠隔操作を必要とする車両2を遠隔操作で走行させるための走行経路の生成を行う。走行経路の生成方法としては、例えば、出発地点と目的地点を指定すると自動で最短経路を導出する方法や、人間が手動で走行経路を作成する方法等が挙げられる。
本実施形態では、オペレーターによる遠隔操作が行われる場合に、オペレーターが走行経路作成の入力操作を行い、当該入力操作に基づいて、走行経路生成部117は走行経路を生成する。例えば、出力装置13により、第1画面と第2画面が表示されて、オペレーターが第1画面に基づいて車両2の遠隔操作のための走行経路を作成しようとする場合を一例として説明する。第1画面には、遠隔操作の対象となる車両2の位置が示された俯瞰画像が表示されていて、オペレーターは、当該俯瞰画像を見ながら、入力装置12を介して、第1画面上に、車両2が通過する複数のポイントを指定する。出力装置がタッチパネルであれば、例えば、第1画面の複数の箇所をタッチすることで、タッチした箇所をポイントとして指定する。ポイントが指定されると、指定されたポイントの情報が走行経路生成部117に入力され、走行経路生成部117は、地図情報に基づいて、当該指定された複数のポイントをすべて通過するような走行経路を生成する。また、当該走行経路に関する情報は、通信装置14に出力され、通信装置14から車両2に送信される。なお、走行経路生成部117は、第1画面に走行経路を生成することに限定されず、撮像画像が表示されている第2画面にポイントの指定があった場合には、第2画面に走行経路を生成することとしてもよいし、第1画面あるいは第2画面のどちらかにポイントが指定された場合に、両方の画面にそれぞれ走行経路を生成してもよい。
走行経路表示部118は、走行経路生成部117で生成された走行経路を、画面に表示するよう出力装置13を制御する。例えば、第1画面に表示されている俯瞰画像上に、走行経路生成部117で生成された走行経路を重畳して表示するよう出力装置13を制御する。これにより、オペレーターは、出力装置13の表示画面を通して、俯瞰画像上に、車両2の位置、障害物等の点群データ、及び走行経路が重畳された画面を確認することができる。また、走行経路生成部117で第1画面ではなく第2画面に走行経路が生成された場合には、それに応じて、第2画面に走行経路が表示されることとしてもよいし、両方の画面に走行経路が生成された場合には、両方の画面に走行経路が表示されることとしてもよい。
更新箇所判定部119は、詳細地図データベース212における、俯瞰画像上で死角となる箇所の道路情報と、車両2が取得した周囲画像で示される当該箇所の道路情報を比較し、当該箇所において、詳細地図データベース212の道路情報で示される道路状況と、周囲画像で示される道路状況が異なる部分があれば、当該異なる部分を不一致箇所として特定する。例えば、詳細地図データベース212から取得した道路情報で示される道路状況では、道路は2車線になっているところ、周囲画像で示される道路状況では、2車線のうち、1車線が工事中となっていて、工事現場やロードコーン等の交通規制材が道路上にあるような場合には、更新箇所判定部119は、工事現場やロードコーン等の交通規制材がある箇所を道路状況が異なる部分として、当該箇所を不一致箇所として特定する。
周囲画像更新部120は、更新箇所判定部119が特定した不一致箇所の道路情報に関して、詳細地図データベース212で示される道路情報から周囲画像で示される道路情報に更新する。これにより、詳細地図データベース212の道路情報に従って示されていた画像が、周囲画像中の道路情報によって表示されることになるため、オペレーターは、俯瞰画像上で死角となる箇所の道路情報について、より実際の状況に近い情報を把握して、遠隔操作を実行することができる。
地図データ211は、記憶装置210に記憶される、道路情報等の情報を含む地図データである。例えば、ナビゲーション地図、インターネット上の地図や3D地図であり、地表の状況を俯瞰的に表示し、道路情報等を網羅しているものである。なお、地図データ211は、地表の状況を俯瞰的に表示した航空写真や衛星画像であってもよい。また、道路情報としては、例えば、道路境界、車線、道路標示等に関する情報を含む。地図データ211は、オペレーターに対して、出力装置13の表示画面を介して表示される。なお、通信装置14は、所定の周期ごとにネットワークを介して最新の地図データを取得して、地図データ211として記憶装置210に記憶させる。また、オペレーター等が手動で地図データ211として記憶させる地図データを選択することとしてもよい。
詳細地図データベース212は、記憶装置210に記憶される、地図データ211よりも詳細な道路情報を含む地図データベースである。例えば、HDマップのような、地表の状況を俯瞰的に表示した画像よりも詳細な道路情報を含む地図データベースや、俯瞰画像にはない三次元情報を含む地図データべースが挙げられる。本実施形態では、詳細地図データベース212は、地図データ211からでは把握できないような情報、例えば、俯瞰画像で構造物等により死角となる部分の道路情報を取得する際に利用される。なお、通信装置14は、所定の周期ごとにネットワークを介して、最新の詳細地図データベースを取得して、記憶装置210に記憶させる。また、オペレーター等が手動で詳細地図データベース212として記憶させる地図データベースを選択することとしてもよい。
入力装置12は、オペレーターにより操作される機器であり、オペレーターが遠隔操作のための走行経路作成等の各種操作を行うために用いられる。入力装置12としては、例えば、ディスプレイ上に配置されるタッチパネルや、スイッチボタン、又はジョイスティック等の手操作による入力が可能な装置であってもよい。入力装置12に入力された情報は、車両遠隔監視装置11に出力される。
出力装置13は、オペレーターに対して各種情報を表示する機器である。出力装置13としては、例えば、ディスプレイ等、画像または映像を出力する装置が挙げられ、本実施形態では、出力装置13に備えられている表示画面に、俯瞰画像や車両2が取得した撮像画像等を表示し、オペレーターは当該表示画面を確認しながら、車両2の状況を把握して、遠隔操作の入力を行う。
通信装置14は、ネットワーク3を介して、車載通信装置25との間で信号や情報の送受信を行い、車両2から送信される車両2の位置や向きに関する情報を受信し、車両遠隔監視装置11に出力する。また、車両遠隔監視装置11から遠隔操作のための走行経路に関する情報が入力されると、車両2に当該走行経路に関する情報を送信する。
次に車両2の各構成について説明する。車両2は、図1に示すように、周囲画像取得装置21、方向検出装置22、障害物検出装置23、位置検出装置24、車載通信装置25、遠隔操作要求信号出力装置26、走行制御装置27、駆動装置28を備える。車両2を構成する各装置は、相互に情報の授受を行うためにCAN(Controller Area Network)その他の車載LANによって接続されている。
周囲画像取得装置21は、例えばCCDカメラ、CMOSカメラまたはHDカメラであり、車両2の前方及び周囲を撮像して、画像データとして出力する。また、車両周囲の路面の画像を含む周囲画像を取得することができる。周囲画像取得装置21は、車両2の周辺の様子を撮影し続け、撮像した画像を、車両2の周囲の様子を映すライブ映像として、走行制御装置27及び車載通信装置25に出力する。なお、車載通信装置25から当該ライブ映像が車両遠隔監視装置11に送信されると、当該ライブ映像は、端末機1の出力装置13に備え付けられている表示画面に表示される。さらに、取得した周囲画像を俯瞰変換して加工したものを周囲画像として取得することとしてもよい。周囲画像には、車両2を中心に、前方や側方、後方の周囲のリアルタイムな状況が映される。これにより、オペレーターは、出力装置13の表示画面を介して、実際に車両2が走行する道路の道路状況を把握することができる。
方向検出装置22は、例えばジャイロセンサであり、車両2の進行方向(車両が向いている方向)を検出する。
障害物検出装置23は、車両2の周囲に存在する障害物等を検出する。障害物検出装置23は、例えば、レーザレンジファインダ、超音波センサ、光センサ、赤外センサ等の各種装置のうちのひとつ、または組み合わせで構成される。障害物検出装置23は、車両2から障害物等までの距離や障害物が存在する方向、障害物の高さを検出する。障害物等としては、例えば、歩行者、自転車、バイク、自動車、路上障害物(工事現場、交通規制材、中央分離帯、交通信号機、商業施設、住宅施設、草木等)などが挙げられる。障害物の状態は特に限定されず、移動している場合も固定されている場合も検出することができる。障害物検出装置23が障害物を検出すると、検出された障害物の情報は点群データとして取り込まれる。点群データは、車両遠隔監視装置11において、俯瞰画像上でポイントクラウドとして表示される。障害物検出装置23により検出された障害物の情報(点群データ)は、走行制御装置27及び車載通信装置25に出力される。
位置検出装置24は、車両2の現在位置を検出するものであり、例えばGPS機器を用いることができる。本実施形態では、例えば、車両2が遠隔操作要求信号を出力すると、位置検出装置24は、遠隔操作要求信号を出力した時の車両2の位置情報を取得する。そして、位置検出装置24が検出した車両2の現在の位置に関する情報は、走行制御装置27及び車載通信装置25に出力される。
車載通信装置25は、ネットワーク3を介して、端末機1の通信装置14との間で信号や情報の送受信を行い、車両遠隔監視装置11から送信される遠隔操作のための走行経路に関する情報を受信し、走行制御装置27に出力する。また、周囲画像取得装置21や方向検出装置22、障害物検出装置23、位置検出装置24等から各種情報が入力されると、車載通信装置25は、端末機1の通信装置14に当該各種情報を送信する。
遠隔操作要求信号出力装置26は、車両2が、自律走行が困難で遠隔操作が必要だと判断した場合に、遠隔操作要求信号を出力する。遠隔操作要求信号は、車載通信装置25を介して、端末機1の通信装置14に送信される。
走行制御装置27は、自動的な運転(いわゆる自動運転ともいう)により車両2の走行を制御する。例えば、周囲画像取得装置21、方向検出装置22、障害物検出装置23、位置検出装置24から取得した各種情報を用いて、交通法規に従いつつ、駆動装置28を制御して、入力された走行経路に沿って車両2を走行させる。具体的な操作内容としては、例えば、ブレーキ操作や方向指示器の操作、アクセル操作、ステアリング操作、シフトレバー操作等を実行することができる。なお、本実施形態においては、走行制御装置27が備える自動運転の機能は、前述の操作内容に特に限定されるものではなく、本願出願時における技術を適宜援用できる。
また、本実施形態では、走行制御装置27は、遠隔操作を開始する旨の信号を受信したときには、オペレーターが遠隔操作するために作成した走行経路に従って走行を制御する。そして、作成された走行経路の終点まで走行を完了させたと判断し、遠隔操作による走行が必要なくなった時には、再び、通常の自律走行を実行する。なお、車両2の走行開始は、遠隔操作を開始する旨の信号を受信したことに限られず、例えば、車両2の乗員がブレーキ操作を解除したことであってもよい。
さらに、走行制御装置27は、走行を制御する操作のみではなく、車両2の走行を行うために必要なその他の操作を行うこととしてもよい。例えば、車両2が遠隔操作を必要とする原因となる事象の前で車両2を停止させる際に、ハザードランプを点灯させるよう制御することとしてもよい。
駆動装置28は、走行駆動源である電動モータおよび/または内燃機関、これら走行駆動源からの出力を駆動輪に伝達するドライブシャフトや自動変速機を含む動力伝達装置、および車輪を制動する制動装置などの駆動機構を備える。駆動装置28は、走行制御装置27から入力される制御信号に基づいて、これら駆動機構の各制御信号を生成し、車両の加減速を含む走行制御を実行する。また、駆動装置28には、ヘッドライト、方向指示器、ハザードランプ、ワイパー等、車両2の走行に必要なその他の機器が含まれていてもよい。
以下、図2を用いて、上記構成による車両遠隔監視システムにより、車両2から遠隔操作要求があってから車両2の遠隔操作を実行するまでのフローチャートの一例を説明する。また、図3A及び図3Bを用いて、端末機1に表示される画面の一例を説明する。
ステップS201では、所定の走行経路に従って自律走行していた車両2が、自律走行で回避困難な障害物が進行方向に存在する等、自律走行が困難と判断した場合、走行を停止する。自律走行で回避困難な障害物としては、例えば、事故車両や工事車両等が挙げられる。
ステップS202では、車両2の遠隔操作要求信号出力装置26が遠隔操作要求信号を出力すると、車載通信装置25は当該遠隔操作要求信号を端末機1に送信する。
ステップS203では、端末機1の通信装置14は、ステップS202で車両2から送信された遠隔操作要求信号を受信し、遠隔操作受付部111に出力する。
ステップS204では、遠隔操作要求信号を送信した時の車両2の位置や向き等の車両情報や、車両2の周囲画像取得装置21で撮影した画像情報や障害物情報等の外部環境情報が車載通信装置25を介して端末機1の通信装置14に送信される。
ステップS205では、車両情報取得部112は、ステップS204で送信された車両情報を取得し、外部環境情報取得部113は、ステップS204でそう信された外部環境情報を取得する。
ステップS206では、道路情報取得部114は、遠隔操作要求信号を送信した時の車両2の位置や向きに関する情報を含む車両情報と地図データ211に基づき、車両2が走行している道路を特定し、車両2の進行方向に俯瞰画像上で死角となる箇所がある場合には、当該死角となる箇所の道路情報を詳細地図データベース212から取得する。
ステップS207では、画像表示制御部115は、出力装置13に備えられている表示画面に表示する画面を生成し、出力装置13に出力する。画像表示制御部115は、ステップS205で取得した各種情報と地図データ211に基づき、車両2の位置情報や周囲の障害物等の情報を含む俯瞰画像が表示された第1画面を生成し、車両2の周囲画像取得装置21が撮像した撮像画像(動画)が表示された第2画面を生成する。
ステップS208では、画像表示制御部115は、ステップS206で取得した俯瞰画像上で死角となる箇所の道路情報に基づいて、当該道路情報を表示する道路情報表示画像を生成し、ステップS207で生成した第1画面に重畳させ、道路情報表示画像を含む第1画面と第2画面を出力装置13に出力する。
また、走行可能エリア判別部116は、道路情報、車両情報、及び外部環境情報に基づいて、車両が走行可能な走行可能エリアを判別する。走行可能エリア判別部116が走行可能エリアを判別した後、画像表示制御部115は、当該判別結果に基づき、走行可能エリアを表示する画像を生成し、第1画面に重畳させ、走行可能エリアを表示する画像を含む第1画面と第2画面を出力装置13に出力する。なお、第1画面に重畳させる画像に関しては、道路情報を表示する画像と走行可能エリアを表示する画像をともに重畳させてもよく、片方の画像のみを重畳させることとしてもよい。
ステップS209では、端末機1の出力装置13に備えられている表示画面に、ステップS208で出力された、道路情報表示画像を含む第1画面と第2画面が表示される。これにより、オペレーターは、表示された俯瞰画像を見ながら、車両2の位置や車両2が取得した周囲の障害物の情報を把握するとともに、俯瞰画像上で死角となる箇所の道路情報を確認することができる。特に、詳細地図データベースから取得した道路情報が表示されることによって、オペレーターは、俯瞰画像上で死角となる箇所で、車両2の障害物検出装置23では検知できない範囲の道路情報を把握することができる。また、画面の表示に関しては、道路情報を表示する画像とともに、走行可能エリアを表示する画像を表示させてもよい。
ステップS210では、オペレーターが、表示画面を確認しながら、走行経路を作成する。走行経路の作成方法としては、例えば、画面がタッチパネルであれば、オペレーターが画面に表示された地図上に車両が通過するための複数のポイントをタッチして指定すると、指定されたポイントすべてを通過するような走行経路を生成するという方法が挙げられる。オペレーターが経路を作成すると、その結果は表示画面上にも表示される。オペレーターは、表示された走行経路を確認し、問題がなければ、走行経路作成完了を入力装置12に入力する。
ステップS211では、通信装置14は、ステップS210での走行経路作成完了の入力を受けて、遠隔操作開始信号とステップS210で作成された走行経路に関する情報を車両2に送信する。
ステップS212では、車両2の車載通信装置25は、ステップS211で通信装置14から送信された遠隔操作開始信号と走行経路に関する情報を受信する。
ステップS213では、車両2の走行制御装置27は、駆動装置28を操作して車両2の走行を開始する。この時、車両2の走行制御装置27は、ステップS212で受信した走行経路上を車両2が走行するように制御する。
ステップS214では、車両2は遠隔操作が終了したか否かの判定を行う。例えば、走行制御装置27は、車両2がステップS212で受信した走行経路の終点を通過したと判断した場合、ステップS215に進み、遠隔操作を終了する。遠隔操作が終了したと判定がされない場合には、ステップS214に待機し、遠隔操作終了を判定するまでフローを繰り返す。
以上のように、本実施形態に係る車両遠隔監視システム100は、俯瞰画像よりも詳細な情報を含む地図データベースから、俯瞰画像上で死角となる箇所の道路情報を取得し、当該道路情報を表示する画像を俯瞰画像上に表示する。これにより、オペレーターは、車両2の進行方向の道路上方に位置する構造物等により俯瞰画像上で死角となる箇所の道路情報を俯瞰画像から直感的に把握することができる。
また、本実施形態では、車両2の車両情報や、車両2が取得した外部環境情報を取得し、道路情報と、車両情報、外部環境情報に基づいて、車両が走行可能な走行可能エリアを判別し、当該走行可能エリアを表示する画像を俯瞰画像上に表示する。これにより、オペレーターは、道路情報で示される情報を確認して遠隔操作を実行するよりも、俯瞰画像上で死角となる箇所の中でどこに走行経路を引くことができるのかを直感的に把握することができる。
さらに、本実施形態では、外部環境情報として、立体物情報を取得し、当該立体物情報に基づき、前述の走行可能エリアに加えて、車両2が乗り越え可能な高さ以下の立体物が位置するエリアを走行可能エリアとして判別する。これにより、正確な走行可能なエリアの表示が実現でき、オペレーターは、俯瞰画像上で死角となる箇所の中でどこに走行経路を引くことができるのかを正確に把握することができる。
<<第2実施形態>>
続いて、図4のフローチャートを用いて、本発明の第2実施形態にかかる車両遠隔監視システムついて説明する。本実施形態では、車両2の進行方向の道路を過去に走行した過去車両の車両情報や、当該過去車両が取得した外部環境情報に基づき、走行可能エリアの判別を行い、当該走行可能エリアをオペレーターに表示する。第2実施形態に係る車両遠隔監視システムは、第1実施形態の車両遠隔監視システムと同様の構成を有し、以下に説明するように動作すること以外は、第1実施形態と同様である。
ステップS401では、所定の走行経路に従って自律走行していた車両2が、自律走行で回避困難な障害物が進行方向に存在する等、自律走行が困難と判断した場合、走行を停止する。自律走行で回避困難な障害物としては、例えば、事故車両や工事車両等が挙げられる。
ステップS402では、車両2の遠隔操作要求信号出力装置26が遠隔操作要求信号を出力すると、車載通信装置25は当該遠隔操作要求信号を端末機1に送信する。
ステップS403では、端末機1の通信装置14は、ステップS402で車両2から送信された遠隔操作要求信号を受信し、遠隔操作受付部111に出力する。
ステップS404では、遠隔操作要求信号を送信した時の車両2の位置や向き等の車両情報や、車両2の周囲画像取得装置21で撮影した画像情報や障害物情報等の外部環境情報が車載通信装置25を介して端末機1の通信装置14に送信される。
ステップS405では、車両情報取得部112は、ステップS404で送信された車両情報を取得し、外部環境情報取得部113は、ステップS404で送信された外部環境情報を取得する。
ステップS406では、ステップS405で取得された車両情報と地図データ211に基づいて、車両情報取得部112は、車両2が走行する予定の道路を過去に走行した過去車両の走行経路等の車両情報を取得し、外部環境情報取得部113は、当該過去車両が取得した外部環境情報を取得する。また、過去車両からの情報の取得に関しては、外部環境情報取得部113は、例えば、車両2が遠隔操作を要求した時点から直近に走行した車両からの情報を取得してもよいし、車両2が遠隔操作を要求した時点から所定の時間前のタイミングを設定し、当該タイミングから車両2が遠隔操作を要求した時点までに当該道路を走行した車両からの情報を取得してもよい。
ステップS407では、走行可能エリア判別部116は、ステップS406で取得した、車両2が走行する予定の道路を過去に走行した過去車両の車両情報や外部環境情報に基づいて、走行可能エリアを判別する。例えば、過去車両が走行した走行経路を走行可能エリアとして判別することや、過去車両が走行時に取得した障害物情報で示される障害物の位置を回避するように走行可能エリアを判別することが挙げられる。
ステップS408では、画像表示制御部115は、出力装置13に備えられている表示画面に表示する画面を生成し、出力装置13に出力する。例えば、画像表示制御部115は、ステップS406で取得した各種情報と地図データ211に基づき、車両2の位置情報や周囲の障害物等の情報を含む俯瞰画像が表示された第1画面を生成し、車両2の周囲画像取得装置21が撮像した撮像画像(動画)が表示された第2画面を生成する。
ステップS409では、画像表示制御部115は、ステップS407で判別した走行可能エリアを表示する走行可能エリア表示画像を生成し、ステップS408で生成した第1画面に重畳させ、走行可能エリア表示画像を含む第1画面と第2画面を出力装置13に出力する。また、車両2の進行方向の道路に俯瞰画像データ上で死角となる箇所がある場合には、当該死角となる箇所の道路情報を表示する画像を同様に出力する。
ステップS410では、端末機1の出力装置13に備えられている表示画面に、ステップS409で出力された、走行可能エリア表示画像を含む第1画面と第2画面が表示される。
ステップS411では、オペレーターが、表示画面を確認しながら、走行経路を作成する。走行経路の作成方法としては、例えば、地図上に車両が通過するための複数のポイントを指定すると、指定されたポイントすべてを通過するような走行経路を生成する方法が挙げられる。表示画面がタッチパネルであれば、画面をタッチすることで、ポイントを指定することとしてもよい。オペレーターが経路を作成すると、その結果が表示画面上にも表示される。オペレーターは、表示された走行経路を確認し、問題がなければ、走行経路作成完了を入力装置12に入力する。
ステップS412では、端末機1の通信装置14は、ステップS411での走行経路作成完了の入力を受けて、遠隔操作開始信号とステップS411で作成された走行経路に関する情報を車両2に送信する。
ステップS413では、車両2の車載通信装置25は、ステップS412で通信装置14から送信された遠隔操作開始信号と走行経路に関する情報を受信する。
ステップS414では、車両2の走行制御装置27は、駆動装置28を操作して車両2の走行を開始する。この時、車両2の走行制御装置27は、ステップS413で受信した走行経路上を車両2が走行するよう制御する。
ステップS415では、走行制御装置27は、車両2は遠隔操作が終了したか否かの判定を行う。例えば、走行制御装置27は、ステップS413で受信した走行経路の終点を車両2が通過したと判断した場合、ステップS416に進み、遠隔操作を終了する。遠隔操作が終了したと判定がされない場合には、ステップS415で待機し、遠隔操作終了を判定するまでフローを繰り返す。
以上のように、本実施形態に係る車両遠隔監視システム100は、車両2が走行予定の道路を過去に走行した過去車両の車両情報や、当該過去車両が検出した外部環境情報を取得し、道路情報、当該車両情報及び当該外部環境情報に基づいて、車両2が走行可能な走行可能エリアを判別し、当該走行可能エリアを表示する画像を俯瞰画像上に表示する。これにより、オペレーターは、詳細地図データベース212の道路情報の更新が最新の道路状況を反映できていなかったとしても、実際の道路状況に近い情報を把握することができる。さらに、車両2が走行する予定の道路を過去に走行した車両から取得した各種情報を用いることにより、車両2に搭載されている障害物検出装置23等では検出できない範囲について、オペレーターは、障害物の位置等の道路状況に関する情報を把握することができる。
さらに、本実施形態では、外部環境情報として、立体物情報を取得し、当該立体物情報に基づき、前述の走行可能エリアに加えて、車両2が乗り越え可能な高さ以下の立体物が位置するエリアを走行可能エリアとして判別する。これにより、正確な走行可能なエリアの表示が実現でき、オペレーターは、俯瞰画像上で死角となる箇所の中でどこに走行経路を引くことができるのかを正確に把握することができる。
≪第3実施形態≫
続いて、図5のフローチャートを用いて、本発明の第3実施形態にかかる車両遠隔監視システムついて説明する。本実施形態では、俯瞰画像上で死角となる箇所について、詳細地図データベースから取得した道路情報と、車両2が取得した周囲画像中の道路情報を比較し、詳細地図データベースの道路情報で示される道路状況と周囲画像中で示される道路状況が異なる箇所については、周囲画像中の道路情報に基づいて更新する。また、周囲画像としては、周囲画像を俯瞰変換して加工したものであってもよい。第3実施形態に係る車両遠隔監視システムは、第1実施形態の車両遠隔監視システムと同様の構成を有し、以下に説明するように動作すること以外は、第1実施形態と同様である。なお、第3実施形態においては、図2のステップS215の遠隔操作による走行を開始するところまでは同様の処理を行うことになるため、説明を省略する。以下、ステップS501の、車両2が遠隔操作による走行を開始するところからフローを進める。
ステップS501では、車両2の走行制御装置27は、駆動装置28を操作して車両2の走行を開始する。この時、車両2の走行制御装置27は、オペレーターが遠隔操作のために作成した走行経路上を車両2が走行するよう制御する。
ステップS502では、車両2が走行している間に、車両2の周囲画像取得装置21は、車両2周囲の路面の画像を含む周囲画像を取得する。周囲画像の取得は、車両2の走行中、一定の周期で実行される。また、取得した周囲画像を俯瞰変換して加工した画像を周囲画像としてもよい。
ステップS503では、車載通信装置25は、ステップS502で出力された周囲画像を端末機1の通信装置14に送信する。
ステップS504では、通信装置14は、ステップS503で車載通信装置25から送信された周囲画像を受信する。
ステップS505では、更新箇所判定部119は、詳細地図データベース212における、俯瞰画像上で死角となる箇所の道路情報と、ステップS504で受信された周囲画像における、当該俯瞰画像上で死角となる箇所の道路情報を比較する。そして、詳細地図データベース212の道路情報で示される道路状況と周囲画像の道路情報で示される道路状況が異なる部分があるかどうかを判定する。異なる部分がある場合には、当該部分を不一致箇所として特定し、ステップS506に進む。例えば、車両2の進行方向の道路が、詳細地図データベースの道路情報では、障害物のない2車線となっているが、周囲画像中の道路情報では、2車線のうち、1車線にロードコーン等、複数の交通規制材が並べて置いてある場合に、当該交通規制材が置いてある位置を、道路状況が異なる部分として判定して当該部分を不一致箇所として特定する。異なる部分がない場合には、ステップS502に戻り、フローを繰り返す。
ステップS506では、周囲画像更新部120は、ステップS505の結果に基づき、詳細地図データベース212における不一致箇所の道路情報を、周囲画像中の道路情報に更新する。これにより、HDマップ等の詳細地図データベース212から取得した道路情報よりも、より現状に近い情報に更新した道路情報が表示される。
ステップS507では、車両2は、遠隔操作が終了したか否かの判定を行う。例えば、走行制御装置27は、車両2が、端末機1から受信した走行経路の終点を通過したと判断した場合、ステップS508に進み、遠隔操作を終了する。遠隔操作が終了したと判定がされない場合には、ステップS502に戻り、フローを繰り返す。つまり、ステップS502からステップS506間での処理は、遠隔操作が終了するまで、所定の周期で実行される。
以上のように、本実施形態に係る車両遠隔監視システム100は、車両周囲の路面の画像を含む周囲画像を取得し、地図データベースにおける、俯瞰画像上で死角となる箇所の道路情報と、周囲画像における、当該箇所を比較する。次に、当該箇所において、地図データベースの道路情報で示される道路状況と周囲画像中の道路情報で示される道路状況が異なる部分がある場合には、異なる部分を不一致箇所として特定する。そして、地図データベースの道路情報を表示する画像のうち、不一致箇所の道路情報を表示する画像を、周囲画像中の道路情報に基づいて更新する。これにより、オペレーターは、実際の道路状況に近い情報を把握することができる。
なお、以上に説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。