以下、本開示の基礎となった知見について説明する。
従来の情報処理システムにおいては、一般的に車両に搭乗しているドライバーが直接車両を操作する場合に比べて、被操作車両周辺の状況に何らかの変化があった場合、遠隔地にいるオペレータによる状況変化の認識が遅れ易く、被操作車両の操作が遅れがちになる。これは、被操作車両に搭載されたセンサの出力信号から検知結果を示す情報を生成することによる遅延時間、検知結果を示す情報が被操作車両から遠隔操作装置に送信されるまでの間に発生する通信による遅延時間、遠隔操作装置が検知結果を示す情報を受信して表示装置に出力するまでの遅延時間、表示装置に表示された情報を基にオペレータが操作入力装置を操作した操作信号を生成するまでの遅延時間、車両操作信号がネットワーク、及び、無線基地局を介して被操作車両が受信するまでの遅延時間といった、情報処理システムに関わる特有の遅延時間が生じるからである。そのため、被操作車両の周辺の状況をセンサで検知しても、センサで検知した時点から被操作車両の操縦が完了するまでの間に、上述のような遅延時間が生じてしまう。
このような遅延時間が生じると、この時間の間に被操作車両周辺の状況が変化してしまう。このため、遅延時間によってオペレータによる被操作車両の操作が遅れてしまうことで、例えば、被操作車両の前方を走行する他の車両が急停止した場合等、被操作車両と他の車両との衝突の危険性が高くなるという課題がある。被操作車両の操作が行われるまでの遅延時間が大きくなれば、この課題はより顕著となる。
特許文献1では、半自律型無人車両に対する情報処理システムが開示されている。特許文献1における情報処理システムは、自車の走行領域内の測距データを取得し、測距データに基づいて自律走行を行うとともに、遠隔地にいるオペレータの操縦によって、遠隔操縦装置から送信された操縦情報による遠隔操縦を行う半自律型無人運転車両を備える。さらに、情報処理システムは、遠隔操作を行う装置と半自律型無人運転車両との間の遅延時間を算出し、この遅延時間を加味した半自律型運転車両の走行量を算出した上で、半自律型運転車両に対する操作限界情報に基づき遠隔操作を行う。
しかしながら、特許文献1では、半自律型無人運転車両が走行するエリア上での他の車両及び歩行者といった障害物が移動することの情報に加えて、遠隔操作を行う装置と半自律型無人運転車両との間で生じる遅延時間分の障害物の移動量が考慮されていない。したがって、遠隔操作を行う装置と半自律型無人運転車両との間の通信遅延が増加すると、障害物の移動量も大きくなるため、結果として、半自律型無人運転車両の走行可能エリアが実際の走行可能エリアと大きくずれてしまう。このため、遠隔地にいるオペレータが被操作車両を操作する従来の情報処理システムよりも、安全性の向上などのさらなる改善が必要とされている。
そこで、被操作車両の安全性を向上させることができる情報処理装置、被操作車両、情報処理方法及びプログラムを検討した。
このような課題を解決するために、本開示の一態様に係る情報処理装置は、オペレータが被操作車両を遠隔操作するための情報処理装置であって、前記被操作車両が取得した前記被操作車両の現在位置を示す車両位置情報と、前記被操作車両と当該情報処理装置との間の情報伝達に要する遅延時間を示す遅延情報とに基づき、前記被操作車両の現在位置に対して前記遅延時間を考慮した前記被操作車両の第1予測位置を示す第1位置情報を生成し、かつ、前記被操作車両が取得した前記被操作車両の周辺の1つ以上の障害物の現在位置を示す障害物位置情報と、前記遅延情報とに基づき、障害物の現在位置に対して前記遅延時間を考慮した1つ以上の障害物の第2予測位置を示す第2位置情報を生成する位置情報処理部を備え、前記位置情報処理部は、前記第1位置情報と前記第2位置情報とを出力する。
この構成によれば、位置情報処理部が被操作車両の現在位置に対して遅延時間を考慮した被操作車両の第1予測位置を示す第1位置情報を生成し、かつ、障害物の現在位置に対して遅延時間を考慮した1つ以上の障害物の第2予測位置を示す第2位置情報を生成する。位置情報処理部は、第1位置情報と第2位置情報とを出力する。このため、被操作車両と遠隔操作装置との間の情報伝達に要する遅延時間が発生した場合でも、遅延時間を考慮した被操作車両の第1位置情報との障害物の第2位置情報とを、遠隔地にいるオペレータに提示することができる。このため、オペレータは、車両予測位置と障害物予測位置との各々に関する情報を認識することができるため、被操作車両の遠隔操作を行い易くなる。
したがって、被操作車両の安全性を向上させることができる。これにより、オペレータが被操作車両を安全に遠隔操作することができる。
また、本開示の一態様に係る情報処理方法では、オペレータが被操作車両を遠隔操作するための情報処理方法であって、前記被操作車両が取得した前記被操作車両の現在位置を示す車両位置情報と、前記被操作車両と情報処理装置との間の情報伝達に要する遅延時間を示す遅延情報とに基づき、前記被操作車両の現在位置に対して前記遅延時間を考慮した前記被操作車両の第1予測位置を示す第1位置情報を生成し、前記被操作車両が取得した前記被操作車両の周辺の1つ以上の障害物の現在位置を示す障害物位置情報と、前記遅延情報とに基づき、障害物の現在位置に対して前記遅延時間を考慮した1つ以上の障害物の第2予測位置を示す第2位置情報を生成し、前記第1位置情報と前記第2位置情報とを出力する。
また、本開示の一態様に係るプログラムでは、情報処理方法をコンピュータに実行させる。
これらにおいても、上述と同様の作用効果を奏する。
また、本開示の一態様に係る情報処理装置において、前記位置情報処理部は、さらに、前記車両位置情報に基づいて、前記被操作車両の現在位置から任意の時間が経過した後の前記被操作車両が到達すると予測される、前記第1予測位置と異なる第3予測位置を算出し、前記位置情報処理部は、算出した前記第3予測位置を示す第3位置情報を出力する。
この構成によれば、位置情報処理部は、車両位置情報に基づいて、被操作車両の現在位置から任意の時間が経過した後の被操作車両が到達すると予測される第3予測位置を算出する。位置情報処理部は、この第3予測位置を示す第3位置情報を出力する。このため、被操作車両の現在位置、及び、現在位置から任意の時間が経過した第3予測位置をオペレータに提示することができる。このため、被操作車両の遠隔操作を行い易くなる。これにより、オペレータは、被操作車両の操作を修正したりすることができるため、被操作車両をより安全に操作することができる。
また、本開示の一態様に係る情報処理装置では、さらに、前記障害物位置情報に基づき、前記障害物位置情報が示す障害物の現在位置から、障害物が移動すると予測される方向を示す進行方向を算出する方向算出部を備え、前記方向算出部は、算出した障害物の当該進行方向が示す方向情報を出力する。
この構成によれば、方向算出部が障害物位置情報に基づき、障害物位置情報が示す障害物の現在位置から、障害物が移動すると予測される方向を示す、障害物の進行方向を算出する。方向算出部は、進行方向が示す方向情報を出力する。このため、被操作車両の周辺における障害物の現在位置、及び、障害物の進行方向をオペレータに提示することができる。このため、オペレータは、被操作車両を操作するにあたり、注意するべき障害物を素早く見分けることができる。このため、オペレータは、被操作車両及び障害物の状態を認知し易くなるため、より安全に被操作車両を操作することができる。
また、本開示の一態様に係る情報処理装置では、さらに、少なくとも前記第1予測位置と前記第2予測位置とに基づき、前記被操作車両と障害物との距離が規定の閾値以下となるか否かを判断する判断処理部を備え、前記被操作車両と障害物との距離が規定の閾値以下となる場合に、前記判断処理部は、該当する障害物に関する注意を促す情報を出力する。
この構成によれば、被操作車両と障害物との距離が規定の閾値以下となる場合に、判断処理部は、該当する障害物に関する注意を促す情報を出力する。このため、被操作車両と障害物とが衝突するなどの事故発生の危険性を予めオペレータに提示することができる。このため、オペレータは、注意を促す情報から被操作車両及び障害物の状態を認知し易くなるため、より安全に被操作車両を操作することができる。
また、本開示の一態様に係る情報処理装置では、前記被操作車両と障害物との距離が規定の閾値以下となる場合に、前記判断処理部は、該当する障害物に関する注意を促す情報を、警告音として出力する。
この構成によれば、被操作車両と障害物との距離が規定の閾値以下となる場合に、判断処理部は、該当する障害物に関する注意を促す情報を、警告音として出力する。このため、被操作車両と障害物とが衝突するなどの事故発生の危険性を、予めオペレータに認知させることができる。これにより、オペレータは、より安全に被操作車両を操作することができる。
また、本開示の一態様に係る情報処理装置では、さらに、判断処理部を備え、前記方向算出部は、さらに、前記車両位置情報と前記第1位置情報とに基づいて、前記車両位置情報が示す前記被操作車両の現在位置から、前記被操作車両が移動すると予測される方向を示す進行方向を算出し、前記判断処理部は、前記被操作車両の進行方向と障害物の進行方向とに基づいて、前記被操作車両の進行方向と障害物の進行方向とが交差するか否かを判断し、前記被操作車両の進行方向と障害物の進行方向とが交差する場合に、前記判断処理部は、前記被操作車両の走行を停止させる停止信号を前記被操作車両に出力する。
この構成によれば、方向算出部は、車両位置情報と第1位置情報とに基づいて、車両位置情報が示す被操作車両の現在位置から、被操作車両が移動すると予測される方向を示す進行方向を算出する。また、被操作車両の進行方向と障害物の進行方向とが交差する場合に、判断処理部は、被操作車両の走行を停止させる停止信号を被操作車両に出力する。このため、被操作車両と障害物とが衝突するなどの事故発生の危険性をオペレータに提示することなく、被操作車両の走行を停止させることができる。このため、オペレータの判断による遅延時間が発生しないため、被操作車両の安全性が向上する。
また、本開示の一態様に係る情報処理装置では、さらに、前記遅延時間に加え、前記車両位置情報を生成する処理に係る遅延時間と、前記障害物位置情報の生成に係る遅延時間と、前記第1予測位置を算出する処理に係る遅延時間と、前記第2予測位置を算出する処理に係る遅延時間と、前記第1予測位置及び前記第2予測位置を表示装置に出力する遅延時間と、当該情報処理装置が前記被操作車両を操作するための車両操作信号を生成してから前記被操作車両が受信するまでの遅延時間とのうち、少なくとも1つ以上を組み合わせて、遅延時間を示す遅延情報を計測する時間計測部を備え、前記時間計測部は、前記遅延情報を前記位置情報処理部に出力する。
この構成によれば、被操作車両と遠隔操作装置との間の情報伝達に要する遅延時間に加え、データ処理の遅延時間を考慮した被操作車両の第1予測位置と、被操作車両の周辺における障害物の第2予測位置とを、被操作車両を操作する遠隔地にいるオペレータに提示することができる。このため、被操作車両の操作性が向上する。これにより、オペレータは、より安全に被操作車両を操作することができる。
また、本開示の一態様に係る被操作車両では、オペレータが情報処理装置を用いて遠隔操作するための被操作車両であって、前記制御装置は、前記被操作車両の操舵角、前記被操作車両の速度、前記被操作車両の加速度、及び、前記被操作車両の進行方向のうちの少なくとも1つ以上を含む前記被操作車両の走行状態を示す車両走行情報を前記情報処理装置に送信する送信部と、前記被操作車両から当該情報処理装置までの通信品質及び前記被操作車両と当該情報処理装置との間の情報伝達に要する遅延時間に応じて、前記情報処理装置に対して送信する前記被操作車両の現在位置を示す車両位置情報、前記車両走行情報、及び、前記被操作車両の周辺の1つ以上の障害物の現在位置を示す障害物位置情報の情報量を制御する制御部とを備える。
この構成によれば、制御部は、被操作車両と遠隔操作装置との間の通信品質及び被操作車両と遠隔操作装置との間の情報伝達に要する遅延時間によって、被操作車両が送信する車両走行情報の情報量、車両走行情報の優先度等を制御することができる。このため、被操作車両では、被操作車両と遠隔操作装置との間で通信可能な速度が低下した場合でも、被操作車両を遠隔から操作する上で安全性に係る必要な情報を優先的に送信することができる。
また、本開示の一態様に係る被操作車両では、さらに、前記被操作車両の周囲の映像を示す映像情報を生成して出力する撮像部を備え、前記制御部は、前記被操作車両と前記情報処理装置との通信速度が規定値よりも大きいか否かを判断し、前記通信速度が規定値以下の場合に、前記撮像部から取得した前記映像情報の情報量を低下させ、低下させた前記映像情報を出力する。
この構成によれば、通信速度が規定値以下の場合に、制御部が撮像部から取得した映像情報の情報量を低下させる。これにより、被操作車両と情報処理装置との間でのリアルタイムな情報の送受信を維持し易くなる。
また、本開示の一態様に係る被操作車両では、前記撮像部は、複数設けられ、前記制御部は、前記被操作車両の挙動に応じて前記撮像部の重要度を決定し、前記重要度に応じて前記撮像部が生成した前記映像情報の情報量を低下させ、低下させた前記映像情報を出力する。
この構成によれば、制御部は、重要度に応じて撮像部が生成した映像情報の情報量を低下させる。例えば、被操作車両が曲がるときは、曲がる方向を撮影する撮像部が撮影した映像情報が重要となり、他の撮像部が撮影する映像の重要度は低下する。また、曲がる方向を撮影する撮像部が撮影した映像情報は、重要度が高いため、この映像情報の情報量を低下させない又はほとんど低下させなくする。このように、重要度の低い映像情報の情報量を低下させることで、被操作車両と情報処理装置との間でのリアルタイムな情報の送受信を維持し易くなる。また、重要度の高い映像情報については、鮮明な映像を得ることができる。
なお、これらの全般的又は具体的な態様は、システム、方法、集積回路、コンピュータプログラム又はコンピュータで読み取り可能なCD-ROM等の記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラム又は記録媒体の任意な組み合わせで実現されてもよい。
なお、以下で説明する実施の形態は、いずれも本開示の一具体例を示すものである。以下の実施の形態で示される数値、形状、構成要素、ステップ、ステップの順序などは、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また全ての実施の形態において、各々の内容を組み合わせることもできる。
なお、各図は、模式図であり、必ずしも厳密に図示されたものではない。また、各図において、実質的に同一の構成に対しては同一の符号を付しており、重複する説明は省略又は簡略化する。
(実施の形態1)
[遠隔操作システムの構成]
実施の形態1における遠隔操作システム100の構成について図1を用いて説明する。
図1は、遠隔地から被操作車両16を操作する遠隔操作システムの一例を示す図である。
図1に示すように、遠隔操作システム100は、無線LAN、通信端末等の無線基地局15とネットワーク14とを介して、被操作車両16と遠隔操作装置13とを通信可能に接続するシステムである。遠隔操作システム100は、操作入力装置11と、表示装置12と、スピーカ19と、被操作車両16と、遠隔地にいるオペレータ10が被操作車両を遠隔操作するための遠隔操作装置13とを備えている。遠隔操作装置13は、情報処理装置の一例である。
表示装置12は、被操作車両16及び被操作車両16の周囲における障害物の状態をオペレータ10に表示する装置である。表示装置12は、遠隔操作装置13に接続され、例えば被操作車両16及び被操作車両16の周囲の障害物を表示するモニタであり、遠隔地にいるオペレータ10が被操作車両16及び障害物の状態を認識させることが可能である。表示装置12は、遠隔操作装置13に複数台が接続されていてもよい。
ここでいう障害物とは、被操作車両16以外の別の車両、人等であり、主に、被操作車両16が走行する際に障害となる移動体を意味している。なお、障害物は、地面に固定されている不動産でもよい。
操作入力装置11は、遠隔操作装置13と接続され、オペレータ10の遠隔操作が入力される装置である。操作入力装置11は、例えば、ハンドル、フットペダル等であり、被操作車両16を操作するための装置である。操作入力装置11は、遠隔操作装置13に接続され、入力された車両操作信号を遠隔操作装置13に出力する。
スピーカ19は、遠隔操作装置13と接続し、障害物に関する注意を促すために、オペレータ10に対して警告音を出力することで、オペレータ10に危険が迫っていることを認知させる。
被操作車両16は、後述する図2で示す、搭載されたミリ波レーダ1611、レーザーレーダ1610、カメラ1612などの様々なセンサから得られる、被操作車両16及び被操作車両16の周辺のセンシング結果を示すセンシング情報を、無線基地局15とネットワーク14とを介して遠隔操作装置13に送信する。以下、ミリ波レーダ1611、レーザーレーダ1610、カメラ1612を総称してセンサと呼ぶ。
また、被操作車両16は、オペレータ10が操作入力装置11を操作することで出力された車両操作信号を、操作入力装置11から遠隔操作装置13、ネットワーク14、及び、無線基地局15を介して受信することで、車両操作信号に基づいて操作される。
遠隔地から被操作車両16を操作するオペレータ10は、表示装置12に表示された被操作車両16及び障害物の状態に基づいて、操作入力装置11を操作する。被操作車両16及び障害物の状態は、後述するマップ映像に相当する。
[被操作車両の構成]
次に、本実施の形態における、被操作車両16の構成について、図2を用いて説明する。図2は、本実施の形態に係る被操作車両16の構成の一例を示すブロック図である。
図2に示すように、被操作車両16は、車両が予め保有している走行データ、センサ等で検知した情報を元に生成した走行データ等に基づいて、自律走行を行うことが可能な車両であり、所定の条件で遠隔地にいるオペレータ10によって遠隔操作される、自動運転を行うことが可能な車両である。
被操作車両16は、無線通信ユニット1601と、操舵角センサ1602と、速度/加速度センサ1603と、速度制御ユニット1604と、操舵制御ユニット1605と、車載ネットワーク1606、1607と、地図データベース1608と、遠隔制御ユニット1609と、1台以上のレーザーレーダ1610と、1台以上のミリ波レーダ1611と、1台以上のカメラ1612と、GPS(Global Positioning System)1613とを備える。
カメラ1612は、被操作車両16から前後左右方向の撮影が可能である位置に設けられている。つまり、カメラ1612は、被操作車両16の周囲を撮影することが可能に、被操作車両16に設けられている。カメラ1612は、撮影した被操作車両16の周囲の映像を、遠隔制御ユニット1609に出力する。ここでいう映像は、動画、静止画を含む意味である。カメラ1612は、撮像部の一例である。
なお、本実施の形態では、被操作車両16は、レーザーレーダ1610と、ミリ波レーダ1611とを備えているが、被操作車両16の必須の構成要件ではないため、これらを備えなくてもよい。
無線通信ユニット1601は、無線基地局15と無線通信を行う通信装置である。無線通信ユニット1601は、後述する、車両位置情報、車両走行情報、映像情報、障害物位置情報、センシングした時点を示す時間情報等を含むセンシング情報を、無線基地局15及びネットワーク14を介して遠隔操作装置13に送信する。無線通信ユニット1601は、送信部の一例である。
操舵角センサ1602は、被操作車両16における車輪の操舵角を計測し、車載ネットワーク1607上に操舵角に関する舵角情報を出力するセンサである。
速度/加速度センサ1603は、被操作車両16の速度、及び、加速度を計測し、計測した速度、及び、加速度を含んだ車両走行情報を車載ネットワーク1607上に出力するセンサである。
速度制御ユニット1604は、被操作車両16のアクセル、ブレーキ、及び、シフトレバーの操作により速度を制御する装置である。速度制御ユニット1604は、例えばECU(engine control unit)である。速度制御ユニット1604は、操作入力装置11から出力された車両操作信号を、遠隔操作装置13、ネットワーク14、無線基地局15、及び、無線通信ユニット1601を介して受信する。
操舵制御ユニット1605は、車両操作信号に従って被操作車両16の速度及び操舵を制御する装置である。操舵制御ユニット1605は、被操作車両16のステアリングを操作することにより被操作車両16の進行方向を制御することが可能な装置である。操舵制御ユニット1605も、操作入力装置11から出力された車両操作信号を、遠隔操作装置13、ネットワーク14、無線基地局15、及び、無線通信ユニット1601を介して受信する。
車載ネットワーク1606、1607は、CAN(Control Area Network)等の被操作車両16に搭載されている各センサ及び各ユニット間で送受信される情報を伝送する伝送路である。また、車載ネットワーク1606、1607は、1つに統合されていてもよく、3以上のネットワークで構成されてもよい。
地図データベース1608は、道路及びビル等の構造物に関する地図情報を格納するデータベースである。地図データベース1608は、例えばハードディスク又は半導体メモリなどの記録媒体に記録される。
遠隔制御ユニット1609は、遠隔操作装置13に送信するセンシング情報を生成する。具体的には、遠隔制御ユニット1609は、操舵角センサ1602、速度/加速度センサ1603、地図データベース1608、レーザーレーダ1610、カメラ1612、GPS1613から得られる被操作車両16のセンシング情報に基づき、被操作車両16を計測した時点における、被操作車両16の現在位置を示す車両位置情報を生成する。なお、車両位置情報には、地図データベース1608に格納された、被操作車両16が走行する道路のレーンの識別情報等を含んでいてもよい。
また、遠隔制御ユニット1609は、操舵角センサ1602、速度/加速度センサ1603から得られるセンシング情報に基づき、被操作車両16のアクセル、ブレーキ、シフトレバー、ステアリング等の操作から、被操作車両16の操舵角、被操作車両16の速度、被操作車両16の加速度、及び、被操作車両16の進行方向のうちの少なくとも1つ以上を含む被操作車両16の走行状態を示す車両走行情報を生成する。
さらに、遠隔制御ユニット1609は、1つ以上のカメラ1612から得られるセンシング情報に基づき、被操作車両16の周囲の映像情報を生成する。被操作車両16の周囲の映像情報は、被操作車両16の前後左右方向におけるそれぞれの方向を個別に映像情報として生成されていてもよく、被操作車両16の前後左右方向をまとめて一つの映像情報として合成して生成してもよい。
また、遠隔制御ユニット1609は、レーザーレーダ1610、ミリ波レーダ1611、カメラ1612の各々のセンサから得られるセンシング情報に基づき、被操作車両16の車両周辺の障害物を検知して、障害物の現在位置を示す障害物位置情報を生成する。なお、障害物位置情報は、障害物の現在位置、障害物の速度、障害物の加速度、障害物の進行方向、障害物の大きさ、障害物の種類に関する情報を含んでもいてもよい。障害物の種類は、例えば、歩行者、バイク、自動車等を区別する種類である。障害物の現在位置は、各々のセンサが障害物をセンシングした時点における、障害物の位置を示す。
次に、遠隔制御ユニット1609は、車両位置情報、車両走行情報、映像情報、及び、障害物位置情報を、無線通信ユニット1601を介して遠隔操作装置13に送信する。
遠隔制御ユニット1609は、被操作車両16から遠隔操作装置13までの通信品質及び被操作車両16と遠隔操作装置13との間の情報伝達に要する遅延時間に応じて、遠隔操作装置13に対して送信する車両位置情報、車両走行情報、映像情報、及び、障害物位置情報の情報量を制御する。遠隔制御ユニット1609は、車両位置情報、車両走行情報、映像情報、及び、障害物位置情報の情報量を変更したり、選択的にこれらの情報を送信することで、通信量を制御したりする。遠隔制御ユニット1609は、制御部の一例である。
遠隔制御ユニット1609は、被操作車両16と遠隔操作装置13との通信速度が規定値よりも大きいか否かを判断する。遠隔制御ユニット1609は、通信速度が規定値以下の場合に、被操作車両16の挙動に応じてカメラ1612の重要度を決定する。遠隔制御ユニット1609は、重要度に応じてカメラ1612が生成した映像情報の情報量を低下させ、低下させた映像情報を遠隔操作装置13に出力する。被操作車両16の挙動とは、被操作車両16の右折又は左折、被操作車両16の車線変更、被操作車両16のブレーキ等である。被操作車両16の挙動によって、カメラ1612ごとに重要度が異なる。つまり、各々のカメラ1612が生成した映像情報ごとに重要度が異なる。具体的には、被操作車両16が曲がるときは、曲がる方向を撮影するカメラ1612が撮影した映像情報が重要となり、他のカメラ1612が撮影する映像の重要度は低下する。このため、曲がる方向以外の他のカメラ1612が生成した映像情報の重要度を低く設定する。また、曲がる方向を撮影するカメラ1612が撮影した映像情報は、重要度が高いため、曲がる方向以外の他のカメラ1612が生成した映像情報よりも重要度を高く設定する。
そして、遠隔制御ユニット1609は、重要度の高い映像情報の情報量を低下させない又はわずかに低下させる。また、遠隔制御ユニット1609は、重要度の低い映像情報の情報量を相対的に低下させる。つまり、遠隔制御ユニット1609は、重要度の低い映像情報の情報量を、現状よりも低下させる。又は、遠隔制御ユニット1609は、重要度の高い映像情報の情報量に対して、重要度の低い映像情報の情報量を低下させる。
このような遠隔制御ユニット1609では、例えば、無線基地局15と被操作車両16との間の電波環境が悪化することで通信速度が低下した場合、遠隔制御ユニット1609は、相対的に情報量の多い映像情報のビットレート等を通信速度以下、つまり映像情報の情報量をセンシング情報に比べて優先的に下げる。これにより、被操作車両16と遠隔操作装置13との間でのリアルタイムな情報の送受信を維持し易くなる。
なお、遠隔制御ユニット1609は、被操作車両16の運転シーンによって、被操作車両16に搭載されている複数のカメラ1612から任意のカメラ1612を選択し、選択したカメラ1612に対応する映像情報のビットレートを下げてもよい。例えば、被操作車両16が曲がるときは、曲がる方向を撮影するカメラ1612が撮影した映像情報が重要となり、他のカメラ1612が撮影する映像の重要度は低下する。このため、他のカメラ1612の映像情報を優先的に低下させる。
遠隔制御ユニット1609は、遠隔操作装置13が送信した車両操作信号を、無線通信ユニット1601を介して受信する。遠隔制御ユニット1609は、受信した車両操作信号に基づき、速度制御ユニット1604と操舵制御ユニット1605とを制御することで、被操作車両16の走行を制御する。
なお、遠隔制御ユニット1609は、操作入力装置11が被操作車両16を操作するための車両操作信号を生成してから被操作車両16が受信するまでの遅延時間を計測して、その計測結果である遅延時間を示す遅延情報を遠隔操作装置13に送信してもよい。ここでいう遅延時間は、被操作車両16と遠隔操作装置13との間の情報伝達に要する時間である。
レーザーレーダ1610は、被操作車両16の周囲に配置され、レーザ光の送光と受光から、レーザ光を照射した被操作車両16の周辺の物体との距離を計測するセンサである。また、レーザーレーダ1610は、送光位置を変更し、その受光結果から物体の3次元的な形状を計測することも可能である。
ミリ波レーダ1611は、被操作車両16の周囲に配置され、ミリ波領域の電波の送信と受信から、電波が反射する被操作車両16の車両周辺の物体との距離及び相対速度を計測するセンサである。
GPS1613は、被操作車両16の現在位置を測位するセンサである。
[遠隔操作装置の構成]
次に、本実施の形態における、遠隔操作装置13の構成について、図3を用いて説明する。図3は、実施の形態1に係る遠隔操作装置13の構成の一例を示すブロック図である。
図3に示すように、遠隔操作装置13は、通信インタフェース1301と、車両情報受信部1302と、車両操作信号送信部1303と、時間計測部1304と、車両操作信号生成部1305と、地図データベース1306と、HMI生成部1307とを備える。
通信インタフェース1301は、ネットワーク14と接続し、ネットワーク14及び無線基地局15を介して、被操作車両16と通信を行う通信部である。
車両情報受信部1302は、被操作車両16が送信する、少なくとも、車両位置情報、車両走行情報、映像情報、及び、障害物位置情報を、通信インタフェース1301を介して受信する。
時間計測部1304は、無線基地局15及びネットワーク14を介して、被操作車両16と遠隔操作装置13との間の情報伝送に要する遅延時間を計測する。時間計測部1304は、例えば、レーザーレーダ1610、ミリ波レーダ1611及びカメラ1612のこれらセンサが被操作車両16及び障害物をセンシングした時点と、これらセンサがセンシングしたセンシング情報を時間計測部1304が取得した時点との時間のズレを計測する。時間計測部1304は、例えばタイマであってもよい。
また、時間計測部1304は、遅延時間において、被操作車両16と遠隔操作装置13との間の情報伝達に要する時間だけでなく、さらに、車両位置情報を生成する処理に係る遅延時間と、障害物位置情報の生成に係る遅延時間と、後述する、第1予測位置を算出する処理に係る遅延時間と、第2予測位置を算出する処理に係る遅延時間と、第1予測位置及び第2予測位置を表示装置12に出力する遅延時間と、遠隔操作装置13が被操作車両16を操作するための車両操作信号を生成してから被操作車両16が受信するまでの遅延時間とのうち、少なくとも1つ以上を組み合わせて、遅延時間を示す遅延情報を算出する。時間計測部1304は、遅延情報を位置情報処理部1307aに出力する。なお、時間計測部1304は、遅延時間において、後述する、第3予測位置を算出する処理に係る遅延時間を組み合わせて、遅延時間を示す遅延情報を算出してもよい。
車両操作信号生成部1305は、オペレータ10による操作入力装置11の操作に基づいて、車両操作信号を生成し、生成した車両操作信号を車両操作信号送信部1303に出力する。
車両操作信号送信部1303は、車両操作信号生成部1305が生成する車両操作信号を、通信インタフェース1301、ネットワーク14及び無線基地局15を介して被操作車両16に送信する。
地図データベース1306は、道路等の構造物に関する地図情報を格納するデータベースである。
HMI生成部1307は、車両位置情報、車両走行情報、障害物位置情報、映像情報、遅延時間、及び、地図情報に基づいて、オペレータ10による被操作車両16の操作に必要となるマップ映像を生成し、マップ映像を表示装置12に出力する。具体的には、HMI生成部1307は、位置情報処理部1307aと、方向算出部1307bと、判断処理部1307cと、映像生成部1307dとを有する。
位置情報処理部1307aは、被操作車両16が取得した被操作車両16の現在位置を示す車両位置情報と、被操作車両16と遠隔操作装置13との間の情報伝達に要する遅延時間を示す遅延情報とに基づき、被操作車両16の現在位置に対して遅延時間を考慮した被操作車両16の第1予測位置を示す第1位置情報を生成する。位置情報処理部1307aは、算出した第1予測位置を示す第1位置情報を映像生成部1307d及び判断処理部1307cを介して、表示装置12に出力する。
位置情報処理部1307aは、被操作車両16の操舵角を示す舵角情報を被操作車両16から取得する。位置情報処理部1307aは、車両位置情報及び操舵角情報に基づいて、被操作車両16の現在位置を示す時点から、任意の時間が経過した後の被操作車両16が到達すると予測される、第1予測位置と異なる第3予測位置を算出する。第3予測位置の算出についての詳細は後述する。そして、位置情報処理部1307aは、算出した第3予測位置を示す第3位置情報を、映像生成部1307dを介して、表示装置12に出力する。
なお、位置情報処理部1307aは、複数の第3予測位置を算出してもよい。この場合、複数の第3予測位置から予測軌跡を描いてもよい。また、第3予測位置は、第1予測位置の先を示す位置であってもよい。
また、位置情報処理部1307aは、被操作車両16が取得した被操作車両16の周辺の1つ以上の障害物の現在位置を示す障害物位置情報と、遅延情報とに基づき、障害物の現在位置に対して遅延時間を考慮した1つ以上の障害物の第2予測位置を示す第2位置情報を生成する。位置情報処理部1307aは、算出した第2予測位置を示す第2位置情報を映像生成部1307d及び判断処理部1307cを介して、表示装置12に出力する。
第1予測位置を算出する方法について、位置情報処理部1307aは、被操作車両16の現在位置と、車両走行情報が示す被操作車両16の速度と、被操作車両16の進行方向とから、被操作車両16の現在位置に対して遅延時間を考慮した第1予測位置を算出してもよい。
また、第1予測位置を算出する方法について、位置情報処理部1307aは、単位時間毎に計測した被操作車両16の現在位置となる情報をメモリ等の記憶装置に格納しておき、単位時間と被操作車両16の速度から第1予測位置を算出してもよい。
方向算出部1307bは、障害物位置情報に基づいて、障害物位置情報が示す障害物の現在位置から障害物が移動すると予測される方向を示す、障害物の進行方向を算出する。方向算出部1307bは、算出した障害物の進行方向が示す障害物の方向情報を、映像生成部1307d及び判断処理部1307cを介して、遠隔地にいるオペレータ10が被操作車両16及び障害物の状態を認識する表示装置12に出力する。
障害物の進行方向を算出する方法は、例えば、1回目のセンシングによる障害物の位置と、2回目のセンシングとによる障害物の位置との変化から割り出してもよい。
また、方向算出部1307bは、さらに、車両位置情報と第1位置情報とに基づいて、車両位置情報が示す被操作車両16の現在位置から、被操作車両16が移動すると予測される方向を示す、被操作車両16の進行方向を算出する。被操作車両16の進行方向は、例えば、操舵制御ユニット1605によって被操作車両16の操舵角を検知することで得られる。方向算出部1307bは、算出した被操作車両16の進行方向が示す、被操作車両16の方向情報を、映像生成部1307d及び判断処理部1307cを介して、表示装置12に出力する。
判断処理部1307cは、第1予測位置と第2予測位置とに基づき、被操作車両16と障害物との距離が規定の閾値以下となるか否かを判断する。被操作車両16と障害物との距離が規定の閾値以下となる場合に、判断処理部1307cは、該当する障害物に関する注意を促す情報を表示装置12に出力する。障害物に関する注意を促す情報として、マップ映像に示される被操作車両16と距離の近い障害物の色を変化させることで、危険が迫っていることをオペレータ10に認識させ易くする。また、障害物に関する注意を促す情報は、該当する障害物の色を変化させるだけに限定されず、点滅することでオペレータ10に認識させ易くしてもよく、スピーカ19などを介して警告音を出力してもよい。なお、判断処理部1307cは、HMI生成部1307に設けられているが、HMI生成部1307と別の装置として構成されていてもよい。
また、判断処理部1307cは、被操作車両16の進行方向と障害物の進行方向とに基づいて、被操作車両16の進行方向と障害物の進行方向とが交差するか否かを判断する。被操作車両16の進行方向と障害物の進行方向とが交差する場合に、判断処理部1307cは、被操作車両16の走行を停止させる停止信号を被操作車両16に出力する。停止信号の出力についての詳細は後述する。
なお、判断処理部1307cは、被操作車両16の進行方向と障害物の進行方向とが交差するか否かを判断した結果を車両操作信号生成部1305に出力してもよい。この場合、車両操作信号生成部1305は、被操作車両16の走行を停止させる停止信号を被操作車両16に出力してもよい。この場合、停止信号は、車両操作信号に含まれてもよい。
HMI生成部1307の映像生成部1307dは、第1位置情報、第2位置情報、被操作車両16の方向情報、及び、障害物の方向情報を、地図情報に対応付けたマップ映像を表示装置12に出力する。具体的には、映像生成部1307dは、地図データベース1306に格納されている地図情報が示す地図に、位置情報処理部1307aが生成した第1位置情報及び第2位置情報の各々が示す第1予測位置及び第2予測位置をマッピングする。さらに、映像生成部1307dは、地図データベース1306に格納されている地図情報が示す地図に、第3位置情報に示される第3予測位置をマッピングする。さらに、映像生成部1307dは、地図データベース1306に格納されている地図情報が示す地図に、障害物の方向情報に示される障害物の進行方向をマッピングする。なお、被操作車両16の進行方向を、地図情報が示す地図にさらにマッピングしてもよい。
こうして、映像生成部1307dは、地図データベース1306に格納されている地図情報が示す地図に、第1予測位置、第2予測位置、第3予測位置、及び、障害物の進行方向がマッピングされたマップ映像を生成する。
映像生成部1307dは、マップ映像を表示装置12に出力する。このマップ映像は、オペレータ10による被操作車両16の遠隔操作に必要となる情報である。
次に、表示装置12に出力される新たな地図情報について、図4を用いて説明する。
図4は、本実施の形態に係る遠隔操作システムの遠隔操作装置13におけるHMI生成部1307により生成されたマップ映像を表示装置12に表示した出力画面の一例を示す図である。
図4に示すように、表示装置12の出力画面200は、表示装置12の表示画面の全て若しくは一部に表示される。出力画面200には、マップ映像201が表示されている。
マップ映像201は、地図データベース1306に格納された地図情報、車両現在位置202a、車両予測位置202b、車両予測位置202c等から生成されている。マップ映像201には、被操作車両16が走行する道路、その周辺の道路、交通標識等に関する情報が表示されている。
被操作車両16に関する情報は、車両現在位置202aを示す車両位置情報、車両予測位置202bを示す第1位置情報、及び、車両予測位置202cを示す第3位置情報から構成される。
車両現在位置202aは、車両位置情報に基づき、表示装置12のマップ映像201上の対応する位置に表示される。
車両予測位置202bは、遅延時間を考慮した、車両現在位置202aに対しての被操作車両16の第1予測位置を示している。車両予測位置202bは、少なくとも車両位置情報と遅延時間とに基づき、マップ映像201上の対応する位置に表示される。さらに、車両予測位置202bは、車両走行情報をさらに考慮して算出されてもよい。
車両位置情報と遅延時間とに基づいた、車両予測位置202bの求め方について一例を用いて説明する。
車両予測位置202bは、被操作車両16の進行方向x軸方向とし、横方向をy軸方向とした場合、時刻t2における車両予測位置を(xt2、yt2、0)、時刻t1における車両現在位置を(xt1、yt1、0)、x軸の速度をνxとし、y軸方向の速度をνyとし、x軸方向の加速度をaxとし、y軸方向の加速度をayとし、遅延時間をDとした場合、以下の式(1)、式(2)によって求められる。時刻t1、時刻t2及び、遅延時間Dの関係は、t2=t1+Dであるとする。車両現在位置で示されている0は、x軸及びy軸と直交するz軸方向であることを示している。
なお、遅延時間Dには、車両位置情報を生成する処理に係る遅延時間、車両予測位置を算出する処理に係る遅延時間、及び、車両予測位置202bを表示装置12に出力する遅延時間のうち、少なくとも1つの値を予め加えてもよい。
速度及び加速度については、例えば、時刻tにおけるx軸方向の速度をνx(t)、x軸方向の加速度をaxとした場合、それぞれ式(3)、式(4)によって求めることができる。
なお、HMI生成部1307は、車両予測位置202bの算出に、車両走行情報を補完的に使用してもよい。
車両予測位置202cは、車両位置情報に基づき、被操作車両16の現在位置の時点から任意の時間経過時に、被操作車両16が到達するまでの位置を示し、表示装置12のマップ映像201上の対応する位置に表示される。車両予測位置202cは第3予測位置の一例である。図4では、第1予測位置よりも進んだ位置に表示されているが、第1予測位置よりも前の位置でもよい。つまり、任意の時間は、現在位置の時点から第1予測位置の時点までの時間と同一でもよく、異なっていてもよい。
車両予測位置202cは、例えば、式(1)~式(4)から、遅延時間の代わりに任意の経過時間を用いることで求めることができる。なお、HMI生成部1307は、車両予測位置202cを算出するために車両走行情報を補完的に使用してもよい。
また、出力画面200に表示されているマップ映像201には、被操作車両16の周辺における少なくとも1つ以上の障害物に関する、障害物の現在位置(203a、204a、205a、206a、207a、208a)と、障害物予測位置(203b、204b、205b、206b、207b、208b)と、障害物移動ベクトル(203c、204c、205c、206c、207c、208c)が示されている。
障害物の現在位置(203a、204a、205a、206a、207a、208a)は、被操作車両16の周辺における1つ以上の障害物に関する位置を示す障害物位置情報に基づき、表示装置12のマップ映像201上の対応する位置に表示される。
障害物予測位置(203b、204b、205b、206b、207b、208b)は、遅延時間を考慮した障害物の予測位置を示す。障害物予測位置(203b、204b、205b、206b、207b、208b)は、障害物位置情報と遅延時間とに基づき、マップ映像201上の対応する位置に表示される。なお、障害物予測位置(203b、204b、205b、206b、207b、208b)は、障害物の現在位置(203a、204a、205a、206a、207a、208a)を、式(1)~式(4)に代入することで求めることができる。障害物予測位置(203b、204b、205b、206b、207b、208b)は第2予測位置の一例である。
なお、式(1)、式(2)の遅延時間Dに、障害物予測位置(203b、204b、205b、206b、207b、208b)を算出する処理に係る遅延時間、障害物予測位置(203b、204b、205b、206b、207b、208b)を表示装置12に出力する遅延時間、及び、車両操作信号を生成してから被操作車両16が受信するまでの遅延時間のうち、1つ以上の値を予め加えてもよい。
障害物移動ベクトル(203c、204c、205c、206c、207c、208c)は、障害物の進行方向を示すもので、障害物位置情報に基づき、表示装置12のマップ映像201上の障害物に対応する位置に表示される。例えば、マップ映像201上の障害物が障害物の現在位置203aの場合では、障害物に対応する障害物移動ベクトル203cが示されている。障害物移動ベクトル(203c、204c、205c、206c、207c、208c)は障害物の進行方向の一例である。
なお、HMI生成部1307は、車両現在位置202a、車両予測位置202b、車両予測位置202c、障害物の現在位置(203a、204a、205a、206a、207a、208a)、障害物予測位置(203b、204b、205b、206b、207b、208b)、及び、障害物移動ベクトル(203c、204c、205c、206c、207c、208c)に関する情報をオペレータ10の操作状況及び被操作車両16の状態に応じて、表示装置12に出力してもよく、これらの情報内の少なくとも一部を非表示にしてもよい。
なお、HMI生成部1307は、少なくとも車両予測位置202bと障害物予測位置(203b、204b、205b、206b、207b、208b)とに基づいて、被操作車両16と接触及び衝突の可能性が高くなった1つ以上の障害物に関し、例えば、図4で示した障害物の現在位置(203a、204a、205a、206a、207a、208a)、及び、障害物予測位置(203b、204b、205b、206b、207b、208b)を示す色を変更することで、オペレータ10に対して被操作車両16の危険性を通知してもよい。例えば、接触及び衝突の可能性が高いと判断する方法の一例としては、被操作車両16の進行方向と障害物の進行方向とが一致若しくは交差する障害物のうち、これに該当する障害物に関する障害物予測位置と車両予測位置との差分が任意の距離より小さくなった場合が考えられる。
次に被操作車両16と任意の障害物との接触又は衝突の可能性を判断する方法の一例を示す。
まず、被操作車両16の進行方向と障害物の進行方向とが交差するか否かの判断方法について記載する。被操作車両16の現在位置を(xt1、yt1、zt1)で示し、現在位置(xt1、yt1、zt1)の時点から任意の時間(T秒)経過後の車両予測位置(xt2、yt2、zt2)で示し、障害物位置情報が示す障害物の現在位置を(Xt1、Yt1、Zt1)で示し、現在位置(Xt1、Yt1、Zt1)の時点から任意の時間(T秒)経過後の障害物予測位置を(Xt2、Yt2、Zt2)で示した場合を式(5)及び式(6)で表す。なお、zt1、zt2、Zt1、Zt2は、高さ方向であるため、0とする。
式(5)及び式(6)に基づいて式(7)の条件を満たす場合に、被操作車両16の進行方向と障害物の進行方向とが交差すると判断することができる。この場合に、判断処理部1307cは、被操作車両16の走行を停止する停止信号を被操作車両16に出力する。なお、被操作車両16及び障害物の進行方向が同じ否かは、被操作車両16と障害物とが同一車線若しくは同じ進行方向の車線上に存在するか否かで判断することができる。
次に、被操作車両16と任意の障害物との距離の求め方について記載する。
車両予測位置を(xt2、yt2、zt2)、障害物予測位置を(Xt2、Yt2、Zt2)とした場合、車両予測位置と障害物予測位置との距離は、以下の式(8)によって求めることができ、車両予測位置と障害物予測位置との距離が任意の値以下になった場合、接触の危険性が高いと判断することができる。
図4に示すように、また、HMI生成部1307は、被操作車両16の操作に必要となる情報として、車両走行情報と映像情報とを表示装置12に出力してもよい。なお、HMI生成部1307は、少なくとも車両予測位置202bと障害物予測位置(203b、204b、205b、206b、207b、208b)とに基づいて、被操作車両16と接触及び衝突する可能性が高くなった1つ以上の障害物に関して、危険性を通知する枠線等を映像情報に表示された該当する障害物に対して重畳してもよい。つまり、注意を促す情報を表示装置12に出力してもよい。
なお、HMI生成部1307は、少なくとも車両予測位置202bと障害物予測位置(203b、204b、205b、206b、207b、208b)とに基づいて、被操作車両16と接触及び衝突する可能性が高くなった場合、表示装置12の画面全体に関して、危険性を通知する枠線等を表示してもよい。
[動作]
次に、本実施の形態おける遠隔操作システム100の動作について説明する。
図5は、実施の形態1に係る遠隔操作システムの動作を示すシーケンス図である。
図5に示すように、まず、被操作車両16の各々のセンサは、被操作車両16の周囲をセンシングすることで、被操作車両16の車両位置情報、車両走行情報、障害物位置情報、映像情報等を取得する(S11)。被操作車両16は、各々のセンサが計測した車両位置情報、車両走行情報、障害物位置情報、映像情報等を、無線通信ユニット1601等を介して遠隔操作装置13に送信する。
次に、遠隔操作装置13は、車両位置情報、障害物位置情報等を取得する。時間計測部は、被操作車両16と遠隔操作装置13との間の情報伝達に要する遅延時間を算出(S21)し、遅延情報をHMI生成部1307に出力する。
次に、HMI生成部1307の方向算出部1307bは、障害物位置情報に基づき、障害物の現在位置から、障害物の進行方向を算出する(S22)。方向算出部1307bは、障害物の進行方向を示す情報を映像生成部1307dに出力する。
次に、HMI生成部1307の位置情報処理部1307aは、舵角情報及び車両位置情報に基づいて、車両位置情報が示す被操作車両16の、現在位置から任意の時間が経過した後の被操作車両16が到達すると予測される第3予測位置を示す第3位置情報を生成する(S23)。位置情報処理部1307aは、第3位置情報を映像生成部1307dに出力する。
次に、HMI生成部1307の位置情報処理部1307aは、車両位置情報と遅延情報とに基づき、第1予測位置を示す第1位置情報を生成する(S24)。また、位置情報処理部1307aは、障害物位置情報と遅延情報とに基づき、障害物の第2予測位置を示す第2位置情報を生成する(S24)。位置情報処理部1307aは、第1位置情報及び第2位置情報をHMI生成部1307の映像生成部1307dに出力する。
次に、映像生成部1307dは、地図データベース1306に格納されている地図情報が示す地図に、第1位置情報、第2位置情報、第3位置情報及び障害物の進行方向を示す情報に基づく位置をマッピングし、マップ映像を生成する(S25)。映像生成部1307dは、マップ映像を表示装置12に出力する。
次に、表示装置12は、マップ映像を表示する(S31)。
次に、オペレータ10は、表示装置12に表示されているマップ映像から、被操作車両16が障害物と衝突する危険があると認識すると、操作入力装置11を操作する。操作入力装置11は、車両操作信号を遠隔操作装置13に送信する(S41)。
次に、遠隔操作装置13は、車両操作信号を受信し、これを被操作車両16に送信する。
次に、被操作車両16は、車両操作信号を受信し、車両操作信号に応じた走行を行う(S12)。こうして、遠隔操作システム100では、道路を走行する被操作車両16を遠隔制御することができる。
次に、被操作車両16と障害物との距離によって表示装置12に表示させる態様について説明する。
図6は、実施の形態1に係り、被操作車両16と障害物との距離によって表示装置12に表示させる情報を決定する処理を示すフロー図である。
図6に示すように、まず、判断処理部1307cは、第1予測位置と第2予測位置とに基づき、被操作車両16と障害物との距離を算出する(S101)。
次に、判断処理部1307cは、ステップS101で算出した距離が、規定の閾値以下となるか否かを判断する(S102)。
被操作車両16と障害物との距離が規定の閾値以下となる場合に(S102でYES)、判断処理部1307cは、該当する障害物に関する注意を促す情報を、図4のマップ映像に付加する(S103)。具体的には、判断処理部1307cは、該当する障害物に関する注意を促す情報として、マップ映像に示される被操作車両16と距離の近い障害物の色を変化させることで、危険が迫っていることをオペレータ10に認識させ易くする。判断処理部1307cは、該当する障害物に関する注意を促す情報を付加したマップ映像を、表示装置12に出力する(S103)。そして、この処理を終了する。
また、被操作車両16と障害物との距離が規定の閾値よりも大きくなる場合(S102でNO)、障害物と被操作車両16との距離が離れていると考えられるため、判断処理部1307cは、通常のマップ映像を表示装置12に出力する(S104)。そして、この処理を終了する。
次に、被操作車両16の走行を強制的に停止させる場合について説明する。
図7は、実施の形態1に係り、被操作車両16の進行方向と障害物の進行方向とから被操作車両16を走行制御する処理を示すフロー図である。
図7に示すように、まず、方向算出部1307bは、車両位置情報と第1位置情報とに基づいて、車両位置情報が示す被操作車両16の現在位置から、被操作車両16が移動すると予測される方向を示す進行方向を算出する。また、方向算出部1307bは、障害物位置情報に基づき、障害物位置情報が示す障害物の現在位置から、障害物が移動すると予測される方向を示す進行方向を算出する(S111)。
次に、判断処理部1307cは、被操作車両16の進行方向と障害物の進行方向とに基づいて、被操作車両16の進行方向と障害物の進行方向とが交差するか否かを判断する(S112)。
被操作車両16の進行方向と障害物の進行方向とが交差する場合に(S112でYES)、判断処理部1307cは、被操作車両16の走行を停止する停止信号を被操作車両16に出力する(S113)。そして、この処理を終了する。
一方、被操作車両16の進行方向と障害物の進行方向とが交差しない場合に(S112でNO)、この処理を終了する。
判断処理部1307cは、該当する障害物に関する注意を促す情報を表示装置12に出力する場合について例示する。
図8Aは、実施の形態1に係り、障害物を示すイメージ図である。図8Bは、実施の形態1に係り、被操作車両16と障害物とが衝突する危険性のある状態を示すイメージ図である。図8Bは、図8Aから任意の時間が経過した後の障害物を示す。
図8A及び図8Bは、表示装置12に表示される出力画面である。この出力画面は、図4の出力画面200と隣接した箇所に表示されてもよい。
図8Aでは、被操作車両16がセンシングした障害物を実線の四角の枠で囲んでいる。図8Aから任意の時間が経過した図8Bでは、図8Aの障害物である対向車両217の進行方向が被操作車両16に向いている。この場合、対向車両217が曲がる可能性があるため、判断処理部1307cは、被操作車両16の進行方向と対向車両217の進行方向とが交差すると判断する。この場合、判断処理部1307cは、障害物に関する注意を促す情報を表示装置12に出力するため、例えば対向車両217を四角の枠の色を変更する。表示装置12には、対向車両217を四角の枠の色が変更されて表示される。
次に、映像情報の情報量の低下について説明する。
図9は、実施の形態1に係り、映像情報の低下を行う処理を示すフロー図である。
図9に示すように、まず、遠隔制御ユニット1609は、遠隔操作装置13と被操作車両16との間の通信速度、より具体的には無線基地局15と被操作車両16との間の通信速度を無線通信ユニット1601から取得する(S201)。
次に、遠隔制御ユニット1609は、被操作車両16の挙動に応じて通信速度が規定値よりも大きいか否かを判断する(S202)。
通信速度が規定値以下の場合に(S202でNO)、遠隔制御ユニット1609は、各々のカメラ1612ごとに重要度を決定する(S204)。
次に、遠隔制御ユニット1609は、重要度に応じてカメラ1612が生成した映像情報の情報量を低下させる(S205)。遠隔制御ユニット1609は、ステップS204で設定した重要度に応じて、重要度の低い映像情報の情報量を低下させ、重要度の高い映像情報の情報量を低下させない又はわずかに低下させる。遠隔制御ユニット1609は、生成した映像情報を遠隔操作装置13に出力する(S205)。そして、この処理を終了する。
一方、通信速度が規定値よりも大きい場合に(S202でYES)、遠隔制御ユニット1609は、カメラ1612が生成した映像情報をそのままの状態で、遠隔操作装置13に出力する(S203)。そして、この処理を終了する。
なお、この処理では、ステップS204で、重要度の決定を行っているが、必須の構成要件ではない。つまり、重要度の決定を行うことなく、映像情報の情報量を低下させてもよい。
[作用効果]
次に、本実施の形態おける遠隔操作装置13、被操作車両16、情報処理方法及びプログラムの作用効果について説明する。
上述したように、本実施の形態に係る遠隔操作装置13では、位置情報処理部1307aが被操作車両16の現在位置に対して遅延時間を考慮した被操作車両16の第1予測位置を示す第1位置情報を生成し、かつ、障害物の現在位置に対して遅延時間を考慮した1つ以上の障害物の第2予測位置を示す第2位置情報を生成する。位置情報処理部1307aは、第1位置情報と第2位置情報とを出力する。このため、被操作車両16と遠隔操作装置13との間の情報伝達に要する遅延時間が発生した場合でも、遅延時間を考慮した被操作車両16の第1位置情報と障害物の第2位置情報とを、遠隔地にいるオペレータ10に提示することができる。このため、オペレータ10は、車両予測位置と障害物予測位置との各々に関する情報を認識することができるため、被操作車両16の遠隔操作を行い易くなる。
したがって、被操作車両16の安全性を向上させることができる。これにより、オペレータ10が被操作車両16を安全に遠隔操作することができる。
また、本実施の形態に係る情報処理方法及びプログラムにおいても上述と同様の作用効果を奏する。
また、本実施の形態に係る遠隔操作装置13では、位置情報処理部1307aは、車両位置情報に基づいて、被操作車両16の現在位置から任意の時間が経過した後の被操作車両16が到達すると予測される第3予測位置を算出する。位置情報処理部1307aは、この第3予測位置を示す第3位置情報を表示装置12に出力する。このため、被操作車両16の現在位置、及び、現在位置から任意の時間が経過した第3予測位置をオペレータ10に提示することができる。このため、被操作車両16の遠隔操作を行い易くなる。これにより、オペレータ10は、被操作車両16の操作を修正したりすることができるため、被操作車両16をより安全に操作することができる。
また、本実施の形態に係る遠隔操作装置13では、方向算出部1307bが障害物位置情報に基づき、障害物位置情報が示す障害物の現在位置から、障害物が移動すると予測される方向を示す、障害物の進行方向を算出する。方向算出部1307bは、進行方向が示す方向情報を出力する。このため、被操作車両16の周辺における障害物の現在位置、及び、障害物の進行方向をオペレータ10に提示することができる。このため、オペレータ10は、被操作車両16を操作するにあたり、注意するべき障害物を素早く見分けることができる。このため、オペレータ10は、被操作車両16及び障害物の状態を認知し易くなるため、より安全に被操作車両16を操作することができる。
また、本実施の形態に係る遠隔操作装置13では、被操作車両16と障害物との距離が規定の閾値以下となる場合に、判断処理部1307cは、該当する障害物に関する注意を促す情報を、被操作車両16及び障害物の状態を出力する。このため、被操作車両16と障害物とが衝突するなどの事故発生の危険性を予めオペレータ10に提示することができる。このため、オペレータ10は、注意を促す情報から被操作車両16及び障害物の状態を認知し易くなるため、より安全に被操作車両16を操作することができる。
また、本実施の形態に係る遠隔操作装置13では、被操作車両16と障害物との距離が規定の閾値以下となる場合に、判断処理部1307cは、該当する障害物に関する注意を促す情報を、警告音として出力する。このため、被操作車両16と障害物とが衝突するなどの事故発生の危険性を予めオペレータ10に認知させることができる。これにより、オペレータ10は、より安全に被操作車両16を操作することができる。
また、本実施の形態に係る遠隔操作装置13では、方向算出部1307bは、車両位置情報と第1位置情報とに基づいて、車両位置情報が示す被操作車両16の現在位置から、被操作車両16が移動すると予測される方向を示す進行方向を算出する。また、被操作車両16の進行方向と障害物の進行方向とが交差する場合に、判断処理部1307cは、被操作車両16の走行を停止させる停止信号を被操作車両16に出力する。このため、被操作車両16と障害物とが衝突するなどの事故発生の危険性をオペレータ10に提示することなく、被操作車両16の走行を停止させることができる。このため、オペレータ10の判断による遅延時間が発生しないため、被操作車両16の安全性が向上する。
また、本実施の形態に係る遠隔操作装置13では、被操作車両16と遠隔操作装置13との間の情報伝達に要する遅延時間に加え、データ処理の遅延時間を考慮した被操作車両16の第1予測位置と、被操作車両16の周辺における障害物の第2予測位置とを、被操作車両16を操作する遠隔地にいるオペレータ10に提示することができる。このため、被操作車両16の操作性が向上する。これにより、オペレータ10は、より安全に被操作車両16を操作することができる。
また、本実施の形態に係る被操作車両16では、遠隔制御ユニット1609は、被操作車両16と遠隔操作装置13との間の通信品質及び被操作車両16と遠隔操作装置13との間の情報伝達に要する遅延時間によって、被操作車両16が送信する車両走行情報の情報量、車両走行情報の優先度等を制御することができる。このため、被操作車両16では、被操作車両16と遠隔操作装置13との間で通信可能な速度が低下した場合でも、被操作車両16を遠隔から操作する上で安全性に係る必要な情報を優先的に送信することができる。
また、本実施の形態に係る被操作車両16では、通信速度が規定値以下の場合に、遠隔制御ユニット1609がカメラ1612から取得した映像情報の情報量を低下させる。これにより、被操作車両16と遠隔操作装置13との間でのリアルタイムな情報の送受信を維持し易くなる。
また、本実施の形態に係る被操作車両16では、遠隔制御ユニット1609は、重要度に応じてカメラ1612が生成した映像情報の情報量を低下させる。例えば、被操作車両16が曲がるときは、曲がる方向を撮影するカメラ1612が撮影した映像情報が重要となり、他のカメラ1612が撮影する映像の重要度は低下する。また、曲がる方向を撮影するカメラ1612が撮影した映像情報は、重要度が高いため、この映像情報の情報量を低下させない又はほとんど低下させなくする。このように、重要度の低い映像情報の情報量を低下させることで、被操作車両16と遠隔操作装置13との間でのリアルタイムな情報の送受信を維持し易くなる。また、重要度の高い映像情報については、鮮明な映像を得ることができる。
(実施の形態1の変形例)
次に本変形例における遠隔操作システムについて説明する。
本変形例では、被操作車両160の構成において、位置検知ユニット1614と、障害物検知ユニット1615とをさらに備えている点で実施の形態1と相違する。また、本変形例は、特に明記しない場合は、実施の形態1と同様であり、同一の構成については同一の符号を付して構成に関する詳細な説明を省略する。
[別の被操作車両の構成]
図10は、実施の形態1の変形例における被操作車両160の別の構成の一例を示すブロック図である。
図10に示すように、被操作車両160の構成において、位置検知ユニット1614と、障害物検知ユニット1615とをさらに備えている。図2の遠隔制御ユニット1609の役割のうち、図10の被操作車両160では、車両位置情報の生成を位置検知ユニット1614が行い、障害物位置情報の生成を障害物検知ユニット1615が行う。
位置検知ユニット1614は、遠隔制御ユニット1609の代わりに、操舵角センサ1602、速度/加速度センサ1603、地図データベース1608、レーザーレーダ1610、カメラ1612、GPS1613のうち、これらの装置から得られる1つ以上の情報に基づき、被操作車両160の現在位置を計測して、車両位置情報を生成する。
障害物検知ユニット1615は、遠隔制御ユニット1609の代わりに、レーザーレーダ1610、ミリ波レーダ1611、カメラ1612から得られる情報に基づき、障害物位置情報を生成する。
遠隔制御ユニット1609は、1つ以上のカメラ1612から得られる被操作車両160の前後左右方向の映像情報を生成するとともに、操舵角センサ1602、速度/加速度センサ1603が出力する各々の情報から、車両走行情報を生成する。
また、遠隔制御ユニット1609は、位置検知ユニット1614が生成した車両位置情報、車両走行情報、映像情報、及び、障害物検知ユニット1615が生成した障害物位置情報を、無線通信ユニット1601を介して遠隔操作装置130に送信する。
図11は、実施の形態1の変形例における遠隔操作装置130の別の構成の一例を示すブロック図である。
本変形例では、車両位置情報の生成を被操作車両160の位置検知ユニット1614が行い、障害物位置情報の生成を被操作車両160の障害物検知ユニット1615が行う。このため、実施の形態1の図3と異なる点は、HMI生成部1307が位置情報処理部1307aを有していない点である。
この本変形例における作用効果は、実施の形態1等と同様の作用効果であり、同一の作用効果については詳細な説明を省略する。
(実施の形態2)
次に本実施の形態における遠隔操作システムについて説明する。
本実施の形態では、図3の時間計測部1304を遠隔操作装置230に設けていない点、遠隔制御ユニット1609が遅延情報を生成する点等で、実施の形態1等と相違する。
本実施の形態において、遠隔操作システムにおける他の構成は、実施の形態1の遠隔操作システム100と同様であり、特に言及する場合を除き、同一の構成については同一の符号を付して構成に関する詳細な説明を省略する。
[被操作車両の構成]
図2に示すように、遠隔制御ユニット1609は、無線基地局15とネットワーク14とを含む被操作車両16と遠隔操作装置230との間の情報伝達に要する遅延時間である遅延時間を計測する。
なお、遠隔制御ユニット1609は、車両位置情報と遅延時間とに基づき、被操作車両16の現在位置と第1予測位置とを算出してもよい。さらに、遠隔制御ユニット1609は、障害物位置情報と遅延時間とに基づき、障害物の現在位置と第2予測位置とを算出してもよい。そして、遠隔制御ユニット1609は、車両位置情報、第1位置情報、車両走行情報、障害物位置情報、第2位置情報、及び、映像情報を、無線通信ユニット1601を介して遠隔操作装置230に送信してもよい。
また、遠隔制御ユニット1609は、遠隔操作装置230が送信した車両操作信号を、無線通信ユニット1601を介して受信する。遠隔制御ユニット1609は、車両操作信号に従って、速度制御ユニット1604と操舵制御ユニット1605を使って被操作車両16の走行を制御する。
[遠隔操作装置の構成]
本実施の形態における遠隔操作装置230について、図12を用いて説明する。
図12は、実施の形態2に係る遠隔操作システムにおける遠隔操作装置230の構成の一例を示すブロック図である。
図12に示すように、遠隔操作装置230は、通信インタフェース1301と、車両情報受信部1302と、車両操作信号送信部1303と、車両操作信号生成部1305と、地図データベース1306と、HMI生成部1307とを備える。
通信インタフェース1301は、ネットワーク14と接続し、ネットワーク14及び無線基地局15を介して、被操作車両16と通信を行う。
車両情報受信部1302は、被操作車両16が送信する、遅延情報、車両位置情報、車両走行情報、障害物位置情報、及び、映像情報を、通信インタフェース1301を介して受信する。なお、車両情報受信部1302は、遠隔制御ユニット1609が第1位置情報及び第2位置情報を生成した場合、被操作車両16が送信する、第1位置情報及び第2位置情報を、通信インタフェース1301を介してさらに受信してもよい。
車両操作信号生成部1305は、オペレータ10による操作入力装置11の操作に基づき、車両操作信号を生成する。
車両操作信号送信部1303は、車両操作信号生成部1305が生成する車両操作信号を、通信インタフェース1301、ネットワーク14及び無線基地局15を介して被操作車両16に送信する。また、車両操作信号送信部1303は、車両操作信号生成部1305が生成した車両操作信号を、ネットワーク14及び無線基地局15を介して被操作車両16に送信する。
HMI生成部1307は、車両現在位置、第1位置情報、車両走行情報、障害物位置情報、第2位置情報、映像情報、及び、地図情報に基づいて、オペレータ10による被操作車両16の操作に必要となるマップ映像を生成し、マップ映像を表示装置12に出力する。
本実施の形態では、遠隔制御ユニット1609が無線基地局15とネットワーク14を含む被操作車両16と遠隔操作装置230との間の情報伝達に要する遅延時間である遅延時間を計測するため、遠隔操作装置230に時間計測部1304を設ける必要がない。このため、この遠隔操作システムによれば、時間計測部1304を設けない分、遠隔操作装置230の製造コストを低廉化することができる。
この本実施の形態における作用効果は、実施の形態1等と同様の作用効果であり、同一の作用効果については詳細な説明を省略する。
(変形例等)
以上、本開示について実施の形態1、2及び実施の形態1の変形例に基づいて説明したが、本開示は、上記各実施の形態1、2及び実施の形態1の変形例に限定されるものではない。
例えば、上記実施の形態1、2及び実施の形態1の変形例に係る情報処理装置及び被操作車両において、障害物に関する注意を促す情報は、マップ映像に示される被操作車両と距離の近い障害物の色を変化させる、マップ映像に示される被操作車両と距離の近い障害物を点滅する、及び、スピーカによって警告音を出力することの、少なくとも1以上を用いてもよい。このため、障害物の色の変化、障害物を点滅、スピーカは、情報処理装置において、必須の構成要件ではない。
また、上記実施の形態1、2に係る情報処理装置及び被操作車両において、位置情報処理部1307aは第3位置情報を生成しなくてもよく、第3位置情報の生成が必須の構成要件ではない。このため、表示部には、第3予測位置が表示されなくてもよい。
また、上記実施の形態1に係る情報処理装置は、被操作車両に搭載されていてもよい。この場合、情報処理装置は、無線基地局及びネットワークを介して表示装置にマップ映像等を送信する。
また、上記実施の形態1、2及び実施の形態1の変形例に係る情報処理装置及び被操作車両において、情報処理装置と被操作車両との電波強度が閾値以下になると、情報処理装置は、被操作車両の走行を停止させる停止信号を被操作車両に送信してもよい。これにより、被操作車両は、走行を停止する。
また、上記実施の形態1、2及び実施の形態1の変形例に係る情報処理装置及び被操作車両の各処理部は典型的に集積回路であるLSIとして実現される。これらは個別に1チップ化されてもよいし、一部又は全てを含むように1チップ化されてもよい。
また、集積回路化はLSIに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。LSI製造後にプログラムすることが可能なFPGA(Field Programmable Gate Array)、又はLSI内部の回路セルの接続及び設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
なお、上記各実施の形態1、2及び実施の形態1の変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、CPU又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。
また、上記で用いた数字は、全て本開示を具体的に説明するために例示するものであり、本開示の実施の形態は例示された数字に制限されない。
また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを一つの機能ブロックとして実現したり、一つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。
また、フローチャートにおける各ステップが実行される順序は、本開示を具体的に説明するために例示するためのものであり、上記以外の順序であってもよい。また、上記ステップの一部が、他のステップと同時(並列)に実行されてもよい。
その他、上記各実施の形態1、2及び実施の形態1の変形例に対して当業者が思い付く各種変形を施して得られる形態、本開示の趣旨を逸脱しない範囲で実施の形態1、2及び実施の形態1の変形例における構成要素及び機能を任意に組み合わせることで実現される形態も本開示に含まれる。