JP7222332B2 - 車両遠隔指示システム - Google Patents

Description

本発明は、遠隔指示装置から送信された遠隔指示に基づいて自動運転車両の走行を制御する車両遠隔指示システムに関する。

例えば、特許文献１には、遠隔指示装置から自動運転車両に対して遠隔指示を行うことによって、自動運転車両の走行を制御する車両遠隔指示システムが記載されている。この車両遠隔指示システムでは、遠隔指示装置と自動運転車両との間で通信遅延が生じている場合、遠隔指示を受けて行う自動運転車両の運転制御が安全制御に切り替えられている。この安全制御では、受け付けた遠隔指示を実現するための車両挙動が、通常制御時とは異なる車両挙動とされている。

特開２０１６－７１５８５号公報

特許文献１に記載された車両遠隔指示システムでは、通信遅延が生じている場合、運転制御が安全制御に切り替えられた状態で遠隔指示に基づいて自動運転車両の走行の制御が行われる。しかしながら、通信遅延が生じている場合には、遠隔指示装置からの遠隔指示の内容自体がそもそも適切でない場合があり得る。このため、本技術分野では、遠隔指示装置と自動運転車両との間で通信遅延が生じている場合であっても、自動運転車両の走行を適切に制御することが求められている。

本発明の一側面に係る車両遠隔指示システムは、自動運転車両から遠隔指示装置に対して遠隔指示要求を送信し、遠隔指示要求に応じて遠隔指示装置から送信された遠隔指示に基づいて自動運転車両の走行を制御する車両遠隔指示システムであって、遠隔指示装置と自動運転車両との間において通信遅延が生じているか否かを判定する遅延判定部と、遅延判定部によって通信遅延が生じていると判定された場合、遠隔指示要求に応じて送信された遠隔指示を拒絶する拒絶部と、を備える。

例えば、通信遅延が生じている場合、遠隔指示を自動運転車両が受信した時にはすでに周囲の状況が変化しており、受信した遠隔指示が適切でないことがあり得る。このため、車両遠隔指示システムでは、通信遅延が生じていると判定された場合、遠隔指示要求に応じて送信された遠隔指示を拒絶する。これにより、適切ではない遠隔指示に基づいて自動運転車両の走行が制御されることを抑制できる。従って、車両遠隔指示システムは、遠隔指示装置と自動運転車両との間で通信遅延が生じている場合であっても、遠隔指示を拒絶することによって自動運転車両の走行を適切に制御できる。

車両遠隔指示システムは、遠隔指示装置が遠隔指示を送信した時刻である指示送信時刻を取得する送信時刻取得部と、自動運転車両が遠隔指示を受信した時刻である指示受信時刻を取得する受信時刻取得部と、を更に備え、遅延判定部は、送信時刻取得部が取得した指示送信時刻と受信時刻取得部が取得した指示受信時刻との差が第１閾値以上である場合に、通信遅延が生じていると判定してもよい。この場合、車両遠隔指示システムは、指示送信時刻と指示受信時刻とを用いて、通信遅延の発生の有無をより適切に判定できる。

車両遠隔指示システムは、自動運転車両が遠隔指示装置に対して遠隔指示要求を送信した時刻である要求送信時刻を取得する要求時刻取得部と、自動運転車両が遠隔指示を受信した時刻である指示受信時刻を取得する受信時刻取得部と、を更に備え、遅延判定部は、要求時刻取得部が取得した要求送信時刻と受信時刻取得部が取得した指示受信時刻との差が第２閾値以上である場合に、通信遅延が生じていると判定してもよい。この場合、車両遠隔指示システムは、要求送信時刻と指示受信時刻とを用いて、通信遅延の発生の有無をより適切に判定できる。

車両遠隔指示システムは、指示送信時センサ情報を取得する送信時センサ情報取得部と、指示受信時センサ情報を取得する受信時センサ情報取得部と、を更に備え、自動運転車両は、外部環境を検出する車載センサのセンサ情報を遠隔指示装置へ送信するセンサ情報送信部を有しており、遠隔指示装置は、センサ情報送信部から送信されたセンサ情報を受信するセンサ情報受信部を有しており、送信時センサ情報取得部は、遠隔指示装置が遠隔指示を送信した時点においてセンサ情報受信部で受信されたセンサ情報を指示送信時センサ情報として取得し、受信時センサ情報取得部は、自動運転車両が遠隔指示を受信した時点において車載センサで検出されたセンサ情報を指示受信時センサ情報として取得し、遅延判定部は、送信時センサ情報取得部が取得した指示送信時センサ情報と受信時センサ情報取得部が取得した指示受信時センサ情報とに基づいて、通信遅延が生じているか否かを判定してもよい。この場合、車両遠隔指示システムは、指示送信時センサ情報と指示受信時センサ情報とに基づいて、通信遅延の発生の有無をより適切に判定できる。

車両遠隔指示システムは、自動運転車両が遠隔指示要求を送信した時点において、自動運転車両の外部環境を検出する車載センサで検出されたセンサ情報を指示要求時センサ情報として取得する要求時センサ情報取得部と、自動運転車両が遠隔指示を受信した時点において車載センサで検出されたセンサ情報を指示受信時センサ情報として取得する受信時センサ情報取得部と、を更に備え、遅延判定部は、要求時センサ情報取得部が取得した指示要求時センサ情報と受信時センサ情報取得部が取得した指示受信時センサ情報とに基づいて、通信遅延が生じているか否かを判定してもよい。この場合、車両遠隔指示システムは、指示要求時センサ情報と指示受信時センサ情報とに基づいて、通信遅延の発生の有無をより適切に判定できる。

本発明の一側面によれば、遠隔指示装置と自動運転車両との間で通信遅延が生じている場合であっても、自動運転車両の走行を適切に制御することができる。

図１は、第１実施形態に係る車両遠隔指示システムの全体像の一例を示す図である。 図２は、第１実施形態に係る車両遠隔指示システムの自動運転車両の構成の一例を示すブロック図である。 図３は、第１実施形態に係る車両遠隔指示システムの遠隔指示サーバのハードウェア構成の一例を示すブロック図である。 図４は、第１実施形態に係る遠隔指示装置の構成の一例を示すブロック図である。 図５は、遠隔指示装置で実行される遠隔指示送信処理の一例を示すフローチャートである。 図６は、自動運転車両で実行される遠隔指示の拒絶判定処理の一例を示すフローチャートである。 図７は、第２実施形態に係る車両遠隔指示システムの自動運転車両の構成の一例を示すブロック図である。 図８は、遠隔指示装置で実行される遠隔指示送信処理の一例を示すフローチャートである。 図９は、自動運転車両で実行される遠隔指示の拒絶判定処理の一例を示すフローチャートである。 図１０は、第３実施形態に係る車両遠隔指示システムの自動運転車両の構成の一例を示すブロック図である。 図１１（ａ）は、遠隔指示装置が遠隔指示を送信した時点において遠隔指示要求受信部で受信された指示送信時センサ情報を示す図である。図１１（ｂ）は、自動運転車両が遠隔指示を受信した時点において外部センサで検出された指示受信時センサ情報を示す図である。 図１２は、第３実施形態に係る遠隔指示装置の構成の一例を示すブロック図である。 図１３は、遠隔指示装置で実行される遠隔指示送信処理の一例を示すフローチャートである。 図１４は、自動運転車両で実行される遠隔指示の拒絶判定処理の一例を示すフローチャートである。 図１５は、第４実施形態に係る車両遠隔指示システムの自動運転車両の構成の一例を示すブロック図である。 図１６は、自動運転車両で実行される遠隔指示の拒絶判定処理の一例を示すフローチャートである。

以下、本発明の実施形態について図面を参照しながら説明する。なお、図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

（第１実施形態）
車両遠隔指示システムの第１実施形態について説明する。図１は、第１実施形態に係る車両遠隔指示システムの全体像の一例を示す図である。図１に示す車両遠隔指示システム１００は、遠隔コマンダＲにより自動運転車両２に対する遠隔指示を行うシステムである。遠隔指示とは、自動運転車両２の走行の判断に関する遠隔コマンダＲの指示である。

遠隔指示には、例えば、交差点の右折開始の指示、信号機付き交差点の進入開始の指示、見通しの悪い交差点の進入開始の指示、車線変更の開始の指示のうち少なくとも一つが含まれていてもよい。車両の右側通行の国又は地域の場合には、交差点の右折開始の指示に代えて交差点の左折開始の指示とすることができる。見通しの悪い交差点とは、交差点の進入時に壁等によって交差する道路の状況を視認しにくい交差点であってもよい。見通しの悪い交差点は、例えば地図情報に予め登録されている。見通しの悪い交差点となるか否かは、交差点に対する自動運転車両２の進入方向に応じて決められてもよい。

（車両遠隔指示システムの構成）
図１に示すように、車両遠隔指示システム１００は、遠隔コマンダＲが遠隔指示を入力する遠隔指示装置１を備えている。遠隔指示装置１は、ネットワークＮを介して複数の自動運転車両２と通信可能に接続されている。ネットワークＮは無線通信ネットワークである。遠隔指示装置１には、自動運転車両２から各種の情報が送られる。

車両遠隔指示システム１００では、例えば自動運転車両２からの遠隔指示要求に応じて、遠隔コマンダＲに遠隔指示の入力が要求される。遠隔コマンダＲは、遠隔指示装置１のコマンダインターフェース３に遠隔指示を入力する。遠隔指示装置１は、ネットワークＮを通じて自動運転車両２に遠隔指示を送信する。このように、遠隔指示装置１は、自動運転車両２からの遠隔指示要求に応じて遠隔指示を送信する。自動運転車両２は、遠隔指示に従って自動で走行する。

なお、車両遠隔指示システム１００において遠隔コマンダＲの人数は限定されず、一人であってもよく、二人以上であってもよい。車両遠隔指示システム１００と通信可能な自動運転車両２の台数も特に限定されない。複数人の遠隔コマンダＲが交替して一台の自動運転車両２に対する遠隔指示を行う態様であってもよく、一人の遠隔コマンダＲが二台以上の自動運転車両２に対して遠隔指示を行う態様であってもよい。

（自動運転車両の構成）
まず、自動運転車両２の構成の一例について説明する。図２は、自動運転車両２の構成の一例を示すブロック図である。図２に示すように、自動運転車両２は、一例として、自動運転ＥＣＵ２０を有している。自動運転ＥＣＵ２０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を有する電子制御ユニットである。自動運転ＥＣＵ２０では、例えば、ＲＯＭに記録されているプログラムをＲＡＭにロードし、ＲＡＭにロードされたプログラムをＣＰＵで実行することにより各種の機能を実現する。自動運転ＥＣＵ２０は、複数の電子ユニットから構成されていてもよい。

自動運転ＥＣＵ２０は、ＧＰＳ［Global Positioning System］受信部２１、外部センサ２２（車載センサ）、内部センサ２３、地図データベース２４、通信部２５、及び、アクチュエータ２６と接続されている。

ＧＰＳ受信部２１は、３個以上のＧＰＳ衛星から信号を受信することにより、自動運転車両２の位置（例えば自動運転車両２の緯度及び経度）を測定する。ＧＰＳ受信部２１は、測定した自動運転車両２の位置情報を自動運転ＥＣＵ２０へ送信する。

外部センサ２２は、自動運転車両２の外部環境を検出する車載センサである。外部センサ２２は、検出した検出情報（センサ情報）を自動運転ＥＣＵ２０へ送信する。外部センサ２２は、カメラを少なくとも含む。カメラは、自動運転車両２の外部環境を撮像する撮像機器である。カメラは、例えば自動運転車両２のフロントガラスの裏側に設けられ、車両前方を撮像する。カメラは、自動運転車両２の外部環境に関する検出情報（撮像情報）を自動運転ＥＣＵ２０へ送信する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。カメラは、複数台設けられていてもよく、自動運転車両２の前方の他、左右の側方及び後方を撮像してもよい。自動運転車両２には、遠隔コマンダ向けの外部カメラが備え付けられていてもよい。遠隔コマンダ向けの外部カメラは少なくとも自動運転車両２の前方を撮像している。遠隔コマンダ向けの外部カメラは、自動運転車両２の側方及び後方を含む周囲を撮像する複数のカメラから構成されていてもよい。

外部センサ２２は、レーダセンサを含んでもよい。レーダセンサは、電波（例えばミリ波）又は光を利用して自動運転車両２の周辺の物体を検出する検出機器である。レーダセンサには、例えば、ミリ波レーダ又はライダー［LIDAR：Light Detection and Ranging］が含まれる。レーダセンサは、電波又は光を自動運転車両２の周辺に送信し、物体で反射された電波又は光を受信することで物体を検出する。レーダセンサは、検出した検出情報（物体情報）を自動運転ＥＣＵ２０へ送信する。物体には、ガードレール、建物等の固定物体の他、歩行者、自転車、他車両等の移動物体が含まれる。また、外部センサ２２は、自動運転車両２の外部の音を検出する音検出センサを含んでもよい。

内部センサ２３は、自動運転車両２の走行状態を検出する車載センサである。内部センサ２３は、車速センサ、加速度センサ、及びヨーレートセンサを含んでいる。車速センサは、自動運転車両２の速度を検出する検出器である。車速センサとしては、自動運転車両２の車輪又は車輪と一体に回転するドライブシャフト等に対して設けられ、各車輪の回転速度を検出する車輪速センサを用いることができる。車速センサは、検出した車速情報（車輪速情報）を自動運転ＥＣＵ２０に送信する。

加速度センサは、自動運転車両２の加速度を検出する検出器である。加速度センサは、例えば、自動運転車両２の前後方向の加速度を検出する前後加速度センサを含んでいる.加速度センサは、自動運転車両２の横加速度を検出する横加速度センサを含んでいてもよい。加速度センサは、例えば、自動運転車両２の加速度情報を自動運転ＥＣＵ２０に送信する。ヨーレートセンサは、自動運転車両２の重心の鉛直軸周りのヨーレート（回転角速度）を検出する検出器である。ヨーレートセンサとしては、例えばジャイロセンサを用いることができる。ヨーレートセンサは、検出した自動運転車両２のヨーレート情報を自動運転ＥＣＵ２０へ送信する。

地図データベース２４は、地図情報を記録するデータベースである。地図データベース２４は、例えば、自動運転車両２に搭載されたＨＤＤ等の記録装置内に形成されている。地図情報には、道路の位置情報、道路形状の情報（例えば曲率情報）、交差点及び分岐点の位置情報等が含まれる。地図情報には、位置情報と関連付けられた法定速度等の交通規制情報が含まれていてもよい。地図情報には、自動運転車両２の位置情報の取得に用いられる物標情報が含まれていてもよい。物標としては、道路標識、路面標示、信号機、電柱等を用いることができる。地図データベース２４は、自動運転車両２と通信可能なサーバに構成されていてもよい。サーバは遠隔指示サーバ１０に限らない。

通信部２５は、自動運転車両２の外部との無線通信を制御する通信デバイスである。通信部２５は、ネットワークＮを介して遠隔指示サーバ１０と各種情報の送信及び受信を行う。

アクチュエータ２６は、自動運転車両２の制御に用いられる機器である。アクチュエータ２６は、駆動アクチュエータ、ブレーキアクチュエータ、及び操舵アクチュエータを少なくとも含む。駆動アクチュエータは、自動運転ＥＣＵ２０からの制御信号に応じてエンジンに対する空気の供給量（スロットル開度）を制御し、自動運転車両２の駆動力を制御する。なお、自動運転車両２がハイブリッド車である場合には、エンジンに対する空気の供給量の他に、動力源としてのモータに自動運転ＥＣＵ２０からの制御信号が入力されて当該駆動力が制御される。自動運転車両２が電気自動車である場合には、動力源としてのモータに自動運転ＥＣＵ２０からの制御信号が入力されて当該駆動力が制御される。これらの場合における動力源としてのモータは、アクチュエータ２６を構成する。

ブレーキアクチュエータは、自動運転ＥＣＵ２０からの制御信号に応じてブレーキシステムを制御し、自動運転車両２の車輪へ付与する制動力を制御する。ブレーキシステムとしては、例えば、液圧ブレーキシステムを用いることができる。操舵アクチュエータは、電動パワーステアリングシステムのうち操舵トルクを制御するアシストモータの駆動を自動運転ＥＣＵ２０からの制御信号に応じて制御する。これにより、操舵アクチュエータは、自動運転車両２の操舵トルクを制御する。

次に、自動運転ＥＣＵ２０の機能的構成の一例について説明する。自動運転ＥＣＵ２０は、車両位置取得部３１、外部環境認識部３２、走行状態認識部３３、遠隔指示要求部（センサ情報送信部）３４、進路生成部３５、遠隔指示受信部３６、送信時刻取得部３７、受信時刻取得部３８、遅延判定部３９、拒絶部４０、及び自動運転制御部４１を有している。

車両位置取得部３１は、ＧＰＳ受信部２１の位置情報及び地図データベース２４の地図情報に基づいて、自動運転車両２の位置情報を取得する。また、車両位置取得部３１は、地図データベース２４の地図情報に含まれた物標情報及び外部センサ２２の検出結果を利用して、ＳＬＡＭ［Simultaneous Localization and Mapping］技術により自動運転車両２の位置情報を取得してもよい。車両位置取得部３１は、車線の区画線と自動運転車両２との位置関係から、車線に対する自動運転車両２の横位置（車線幅方向における自動運転車両２の位置）を認識して位置情報に含めてもよい。車両位置取得部３１は、その他、周知の手法により自動運転車両２の位置情報を取得してもよい。

外部環境認識部３２は、外部センサ２２の検出結果に基づいて、自動運転車両２の外部環境を認識する。外部環境には、自動運転車両２に対する周囲の物体の相対位置が含まれる。外部環境には、自動運転車両２に対する周囲の物体の相対速度及び移動方向が含まれていてもよい。外部環境には、他車両、歩行者、自転車等の物体の種類が含まれてもよい。物体の種類は、パターンマッチング等の周知の手法により識別することができる。外部環境には、自動運転車両２の周囲の区画線認識（白線認識）の結果が含まれていてもよい。外部環境には、信号機の点灯状態の認識結果が含まれていてもよい。外部環境認識部３２は、例えば、外部センサ２２のカメラの画像に基づいて、自動運転車両２の前方の信号機の点灯状態（通過可能な点灯状態であるか、通過禁止の点灯状態であるか等）を認識できる。

走行状態認識部３３は、内部センサ２３の検出結果に基づいて、自動運転車両２の走行状態を認識する。走行状態には、自動運転車両２の車速、自動運転車両２の加速度、自動運転車両２のヨーレートが含まれる。具体的には、走行状態認識部３３は、車速センサの車速情報に基づいて、自動運転車両２の車速を認識する。走行状態認識部３３は、加速度センサの車速情報に基づいて、自動運転車両２の加速度を認識する。走行状態認識部３３は、ヨーレートセンサのヨーレート情報に基づいて、自動運転車両２の向きを認識する。

遠隔指示要求部３４は、遠隔コマンダＲに遠隔指示を要求すべきか否かを判定する。遠隔指示要求部３４は、車両位置取得部３１の取得した自動運転車両２の位置情報及び地図データベース２４の地図情報と、外部環境認識部３２の認識した外部環境と、後述する進路生成部３５の生成した進路とのうち少なくとも一つに基づいて、遠隔指示を要求すべきか否かを判定する。

遠隔指示要求部３４は、例えば、予め設定された遠隔指示要求地点に自動運転車両２が到達した場合に、遠隔指示を要求すべきと判定することができる。予め設定された遠隔指示要求地点は、例えば、地図データベース２４が記憶する地図情報に含まれていてもよい。遠隔指示要求部３４は、遠隔指示要求地点に到達したか否かを、自動運転車両２の位置情報、及び地図情報（遠隔指示要求地点の情報）に基づいて判定できる。

遠隔指示要求部３４は、遠隔指示を要求すべきと判定した場合、遠隔指示装置１に対して遠隔コマンダＲによる遠隔指示を要求する。遠隔指示の要求には、例えば自動運転車両２の識別情報が含まれる。なお、遠隔指示要求部３４は、予め余裕をもって遠隔指示を要求してもよい。遠隔指示要求部３４は、遠隔指示の対象となる遠隔指示要求地点（交差点等）と自動運転車両２との距離が一定距離以下になった場合に、遠隔指示を要求すべきと判定してもよい。遠隔指示要求部３４は、距離ではなく到達残り時間を用いてもよい。

遠隔指示要求部３４は、遠隔指示を要求すべきと判定した場合、外部環境を検出する外部センサ２２の検出情報（センサ情報）を遠隔指示装置１へ送信する。車載センサの検出情報には、外部センサ２２のカメラの画像が含まれる。車載センサの検出情報には、例えば自動運転車両２のカメラの撮像した自動運転車両２の前方の画像が含まれてもよい。車載センサの検出情報には、自動運転車両２の側方及び後方を含む自動運転車両２の周囲の画像が含まれていてもよい。また、車載センサの検出情報には、外部センサ２２のレーダセンサの検出した物体情報が含まれてもよい。車載センサの検出情報には、物体の種類の識別結果が含まれてもよい。

進路生成部３５は、自動運転車両２の自動運転に利用される進路［trajectory］を生成する。進路生成部３５は、予め設定された走行ルート、地図情報、自動運転車両２の位置情報、自動運転車両２の外部環境、及び自動運転車両２の走行状態に基づいて、自動運転の進路を生成する。

走行ルートとは、自動運転において自動運転車両２が走行するルートである。進路生成部３５は、例えば目的地、地図情報、及び自動運転車両２の位置情報に基づいて、自動運転の走行ルートを求める。走行ルートは、周知のナビゲーションシステムによって設定されてもよい。目的地は自動運転車両２の乗員によって設定されてもよく、自動運転ＥＣＵ２０又はナビゲーションシステム等が自動的に提案してもよい。

進路には、自動運転で車両が走行する経路［path］と自動運転における車速プロファイルとが含まれる。経路は、走行ルート上において自動運転中の車両が走行する予定の軌跡である。経路は、例えば走行ルート上の位置に応じた自動運転車両２の操舵角変化のデータ（操舵角プロファイル）とすることができる。走行ルート上の位置とは、例えば走行ルートの進行方向において所定間隔（例えば１ｍ）毎に設定された設定縦位置である。操舵角プロファイルとは、設定縦位置毎に目標操舵角が関連付けられたデータとなる。

進路生成部３５は、例えば走行ルート、地図情報、自動運転車両２の外部環境、及び自動運転車両２の走行状態に基づいて、自動運転車両２が走行する経路を生成する。進路生成部３５は、例えば自動運転車両２が走行ルートに含まれる車線の中央（車線幅方向における中央）を通るように経路を生成する。

車速プロファイルは、例えば設定縦位置毎に目標車速が関連付けられたデータである。なお、設定縦位置は、距離ではなく自動運転車両２の走行時間を基準として設定されてもよい。設定縦位置は、車両の１秒後の到達位置、車両の２秒後の到達位置として設定されていてもよい。

進路生成部３５は、例えば経路と地図情報に含まれる法定速度等の交通規制情報に基づいて車速プロファイルを生成する。法定速度に代えて、地図上の位置又は区間に対して予め設定された設定速度を用いてもよい。進路生成部３５は、経路及び車速プロファイルから自動運転の進路を生成する。なお、進路生成部３５における進路の生成方法は上述した内容に限定されず、自動運転に関する周知の手法を採用することができる。進路の内容についても同様である。

本実施形態において、進路生成部３５は、遠隔指示要求部３４によって遠隔指示装置１に対して遠隔指示要求が送信された場合、一例として、第１進路と、第２進路とを生成する。例えば、第１進路は、第２進路よりも安全を重視した進路である。本実施形態において、一例として、第１進路は、自動運転車両２が遠隔指示要求地点に到達した時に自動運転車両２を停止させる進路とする。例えば、第２進路は、第１進路よりも、自動運転車両２の走行について効率を重視した進路である。第２進路は、遠隔指示要求地点における遠隔指示に対応した進路である。本実施形態において、一例として、第２進路は、遠隔指示装置１からの遠隔指示に基づいて、遠隔指示要求地点において自動運転車両２を走行させる進路とする。

具体的には、進路生成部３５は、例えば、自動運転車両２が交差点を右折する状況において、右折開始の遠隔指示に対応するように、自動運転車両２が交差点を右折するための進路を第２進路として生成する。進路生成部３５は、遠隔指示を受信するまでの間、外部環境の変化に応じて第２進路を更新してもよい。また、進路生成部３５は、交差点の右折から交差点の直進に切り換える遠隔指示が存在する場合には、交差点を直進する進路を予め生成してもよい。

遠隔指示受信部３６は、遠隔指示要求部３４における遠隔指示要求に応じて遠隔指示装置１から送信された遠隔指示を受信する。

送信時刻取得部３７は、遠隔指示装置１が遠隔指示を送信した時刻である指示送信時刻を取得する。具体的には、送信時刻取得部３７は、遠隔指示装置１が遠隔指示と共に送信した指示送信時刻を取得する。遠隔指示装置１が遠隔指示と共に指示送信時刻を送信する構成について、詳しくは後述する。

受信時刻取得部３８は、自動運転車両２が遠隔指示装置１から遠隔指示を受信した時刻である指示受信時刻を取得する。具体的には、受信時刻取得部３８は、遠隔指示受信部３６が遠隔指示装置１から遠隔指示を受信した時刻を指示受信時刻として取得する。

ここで、本実施形態では、遠隔指示装置１と自動運転車両２との間での通信遅延の有無を判定するために時刻が用いられている。このため、遠隔指示装置１及び自動運転車両２のそれぞれで用いられる時刻の同期が取られている必要がある。例えば、遠隔指示装置１及び自動運転車両２は、時刻の同期を取るため、ＧＰＳで使用されるＧＰＳ時刻を用いてもよい。但し、遠隔指示装置１及び自動運転車両２は、時刻の同期を取るためにＧＰＳ時刻を用いることに限定されない。遠隔指示装置１及び自動運転車両２は、周知の種々の方法によって、時刻の同期を取ることができる。例えば、遠隔指示装置１、自動運転車両２又はこれら以外の場所に設置された時刻合わせのためのＮＴＰ（Network Time Protocol）サーバを用いることによって、時刻の同期が取られていてもよい。以下で説明する他の実施形態においても、時刻を用いて通信遅延の判定が行われる場合には、上記と同様の方法によって遠隔指示装置と自動運転車両との間で時刻の同期を取ることができる。

遅延判定部３９は、遠隔指示装置１と自動運転車両２との間において通信遅延が生じているか否かを判定する。ここでの通信遅延が生じる原因としては、例えば、自動運転車両２と遠隔指示装置１との間でデータを送受信する際に、複数のアクセスポイント、サーバ、又は基地局等をデータが経由することが挙げられる。また、自動運転車両２から遠隔指示装置１へ送信されるデータには外部センサ２２の検出情報が含まれるが、通信遅延が生じる原因としては、例えば、この検出情報のデータ容量が大きいことが挙げられる。

具体的には、遅延判定部３９は、送信時刻取得部３７が取得した指示送信時刻と受信時刻取得部３８が取得した指示受信時刻との差に基づいて、通信の遅延の有無を判定する。ここでは、遅延判定部３９は、遠隔指示装置１から遠隔指示が送信された指示送信時刻と、遠隔指示受信部３６で遠隔指示が受信された指示受信時刻との差が、予め定められた第１閾値以上である場合、通信遅延が生じていると判定する。遅延判定部３９は、指示送信時刻と指示受信時刻との差が、第１閾値未満である場合、通信遅延が生じていないと判定する。

この第１閾値は、例えば、通信遅延によって遠隔指示が時間的に古くなったとしても、当該遠隔指示に基づいて自動運転車両２の走行を制御することが許容できるか否かに基づいて定められていてもよい。

拒絶部４０は、遅延判定部３９によって通信遅延が生じていると判定された場合、遠隔指示要求に応じて遠隔指示装置１から送信された遠隔指示を拒絶する。ここでの「拒絶」することとは、遠隔指示要求に応じて送信された遠隔指示に自動運転車両２が従わないことである。

拒絶部４０は、遠隔指示を拒絶する場合、遠隔指示を拒絶する旨を通信部２５を介して遠隔指示装置１に通知する。遠隔指示装置１によって受信された拒絶をする旨の通知は、例えば、通信遅延に関する統計処理等の各種の処理に用いられてもよい。

自動運転制御部４１は、自動運転車両２の自動運転を実行する。自動運転制御部４１は、例えば自動運転車両２の外部環境、自動運転車両２の走行状態、及び進路生成部３５の生成した進路に基づいて、自動運転車両２の自動運転を実行する。自動運転制御部４１は、アクチュエータ２６に制御信号を送信することで、自動運転車両２の自動運転を行う。

自動運転制御部４１は、自動運転車両２が遠隔指示要求地点に到達した場合、第１進路に基づいて自動運転車両２を停止させる。すなわち、自動運転制御部４１は、遠隔指示要求部３４によって遠隔指示装置１に対して遠隔指示要求が送信された場合、遠隔指示装置１からの遠隔指示を受信するまで、自動運転車両２の停車状態を維持する。

自動運転制御部４１は、遠隔指示を受信した場合、走行の制御に用いる進路を第１進路から第２進路に切り替え、第２進路に基づく自動運転車両２の自動運転の実行を開始する。すなわち、停車状態から自動運転車両２を発進させて右折等を開始させる。

但し、自動運転制御部４１は、遠隔指示装置１から遠隔指示を受信したときに、当該遠隔指示が拒絶部４０によって拒絶された場合、走行の制御に用いる進路を第１進路から遠隔指示に対応した第２進路に切り替えることは行わず、第１進路を維持する。すなわち、自動運転制御部４１は、遠隔指示に沿った走行の制御を実行しない。この場合、自動運転制御部４１は、自動運転車両２の乗員に対して走行についての判断又は手動運転への切り替えを求めてもよい。また、自動運転制御部４１は、乗員による判断又は手動運転も不能な場合には、自動で緊急退避を行ってもよい。自動運転制御部４１は、遠隔指示に基づく走行の制御（進路の切り替え）を行わない場合、自動運転車両２の走行の制御として遠隔指示に基づく制御以外の種々の制御を採用し得る。

自動運転制御部４１は、予め設定された時間が経過しても遠隔指示を受信できない場合、自動運転車両２の乗員に対して走行についての判断又は手動運転への切り替えを求めてもよい。また、自動運転制御部４１は、乗員による判断又は手動運転も不能な場合には、自動で緊急退避を行ってもよい。

（遠隔指示装置の構成）
以下、本実施形態に係る遠隔指示装置１の構成について図面を参照して説明する。図１に示すように、遠隔指示装置１は、遠隔指示サーバ１０、及びコマンダインターフェース３を有している。

まず、遠隔指示サーバ１０のハードウェア構成について説明する。図３は、遠隔指示サーバ１０のハードウェア構成の一例を示すブロック図である。図３に示すように、遠隔指示サーバ１０は、プロセッサ１０ａ、記憶部１０ｂ、通信部１０ｃ及びユーザインターフェース１０ｄを備えた一般的なコンピュータとして構成されている。

プロセッサ１０ａは、各種オペレーティングシステムを動作させて遠隔指示サーバ１０を制御する。プロセッサ１０ａは、制御装置、演算装置、レジスタ等を含むＣＰＵ［Central Processing Unit］等の演算器である。プロセッサ１０ａは、記憶部１０ｂ、通信部１０ｃ及びユーザインターフェース１０ｄを統括する。記憶部１０ｂは、メモリ及びストレージのうち少なくとも一方を含んで構成されている。メモリは、ＲＯＭ［Read Only Memory］、ＲＡＭ［Random Access Memory］等の記録媒体である。ストレージは、ＨＤＤ［Hard Disk Drive］等の記録媒体である。

通信部１０ｃは、ネットワークＮを介した通信を行うための通信機器である。通信部１０ｃには、ネットワークデバイス、ネットワークコントローラ、ネットワークカード等が用いられ得る。ユーザインターフェース１０ｄは、管理者等のユーザに対する遠隔指示サーバ１０の入出力部である。ユーザインターフェース１０ｄは、ディスプレイ、スピーカ等の出力器、及び、タッチパネル等の入力器を含む。なお、遠隔指示サーバ１０は、必ずしも施設に設けられている必要はなく、車両等の移動体に搭載されていてもよい。

図４は、遠隔指示装置１の構成の一例を示すブロック図である。図４に示すように、コマンダインターフェース３は、遠隔コマンダＲに対する遠隔指示装置１の入出力部である。コマンダインターフェース３は、出力部３ａ及び指示入力部３ｂを有している。

出力部３ａは、遠隔コマンダＲに対して自動運転車両２の遠隔指示に用いる情報を出力する機器である。出力部３ａは、画像情報を出力するディスプレイと音情報を出力するスピーカとを含む。

ディスプレイには、例えば、自動運転車両２のカメラが撮像した自動運転車両２の前方の画像（前方の景色の画像）が表示される。ディスプレイは、複数の表示画面を有していてもよく、自動運転車両２の側方及び／又は後方の画像が表示されてもよい。ディスプレイは、遠隔コマンダＲに視覚情報を提供できる構成であれば特に限定されない。ディスプレイは、遠隔コマンダＲの目を覆うように装着されるウェアラブルデバイスであってもよい。

スピーカは、例えば遠隔コマンダＲの頭に装着されるヘッドセットスピーカである。スピーカは、例えば、自動運転車両２の状況（例えば交差点の右折時である等の状況）を音声により遠隔コマンダＲに伝える。スピーカは、必ずしもヘッドセットである必要はなく、設置型であってもよい。

指示入力部３ｂは、遠隔コマンダＲにより遠隔指示が入力される機器である。指示入力部３ｂは、例えば操作レバーを有している。指示入力部３ｂでは、例えば、操作レバーを遠隔コマンダＲの前後方向の奥側に倒すことで自動運転車両２を進行させる遠隔指示が入力され、操作レバーを遠隔コマンダＲの前後方向の手前側に倒すことで自動運転車両２の減速又は停車の遠隔指示が入力される。

指示入力部３ｂは、ボタンを有していてもよく、遠隔コマンダＲがボタンを押しながら操作レバーを倒すことで遠隔指示が入力されてもよい。指示入力部３ｂは、タッチパネルを有していてもよい。タッチパネルは出力部３ａのディスプレイと共通であってもよい。指示入力部３ｂは、操作ペダルを有していてもよい。

指示入力部３ｂは、音声認識の機能を有していてもよく、ジェスチャー認識の機能を有していてもよい。遠隔コマンダＲのジェスチャーは、コマンダインターフェース３に搭載されたカメラ及び／又はレーダセンサ等によって認識できる。指示入力部３ｂでは、操作レバーの操作、ボタンの操作、タッチパネルの操作、操作ペダルの操作、音声入力、ジェスチャーのうち二つ以上を組み合わせることで遠隔指示を入力可能としてもよい。

次に、遠隔指示サーバ１０の機能的構成について説明する。図４に示すように、遠隔指示サーバ１０は、遠隔指示要求受信部（センサ情報受信部）１１、情報提供部１２、及び遠隔指示送信部１３を有している。

遠隔指示要求受信部１１は、自動運転車両２から遠隔指示装置１に送信された遠隔指示要求を受信する。また、遠隔指示要求受信部１１は、遠隔指示要求と共に、遠隔指示要求を送信した自動運転車両２の遠隔指示要求部３４から、外部センサ２２の検出情報（センサ情報）を受信する。

情報提供部１２は、遠隔指示要求受信部１１が遠隔指示要求を受信した場合、コマンダインターフェース３を介して担当する遠隔コマンダＲに遠隔指示の入力を要求する。

また、情報提供部１２は、遠隔指示要求受信部１１の取得した自動運転車両２における外部センサ２２の検出情報に基づいて、遠隔コマンダＲに自動運転車両２の情報を提供する。情報提供部１２は、例えばコマンダインターフェース３の出力部３ａのディスプレイに自動運転車両２の前方の画像を表示する。情報提供部１２は、視点変換により自動運転車両２の運転席付近から見た画像を表示してもよい。情報提供部１２は、自動運転車両２の側方及び後方の画像を表示してもよい。情報提供部１２は、自動運転車両２の周囲を撮像した画像を合成したパノラマ画像を表示してもよく、画像合成及び視点変換により自動運転車両２を見下ろすように生成された俯瞰画像を表示してもよい。情報提供部１２は、画像中の物体の強調表示（例えば他車両等を枠で囲む表示）を行ってもよい。情報提供部１２は、画像中に信号機が含まれる場合には、信号機の点灯状態の認識結果をディスプレイに表示してもよい。

情報提供部１２は、自動運転車両２のカメラが撮像した画像に限らず、様々な情報をディスプレイに表示してもよい。情報提供部１２は、遠隔指示を要求した自動運転車両２の状況（交差点の右折時等の状況）をテキスト又はアイコン等を用いて表示してもよい。情報提供部１２は、遠隔コマンダＲが選択できる遠隔指示の種類をディスプレイに表示してもよい。情報提供部１２は、遠隔指示に応じた自動運転車両２の進路に関する情報（進行の遠隔指示に対応して進行する自動運転車両２の軌跡等）をディスプレイに表示してもよい。

情報提供部１２は、自動運転車両２のレーダセンサが検出した物体の情報を表示してもよい。物体の情報は俯瞰画像中にアイコンとして表示されてもよい。物体の種類が識別されている場合には、物体の種類に応じたアイコン表示がなされてもよい。情報提供部１２は、自動運転車両２の位置情報に基づいて取得した自動運転車両２の周囲の地図情報をディスプレイに表示してもよい。地図情報は、遠隔指示サーバ１０が有していてもよく、他のサーバ等から取得してもよい。自動運転車両２の周囲の地図情報は自動運転車両２から取得してもよい。

情報提供部１２は、自動運転車両２の車速の情報をディスプレイに表示してもよく、自動運転車両２の操舵角の情報をディスプレイに表示してもよい。情報提供部１２は、自動運転車両２の位置する道路の勾配の情報をディスプレイに表示してもよい。情報提供部１２は、自動運転車両２が車室内カメラを有している場合、必要に応じて自動運転車両２の車室内の画像を表示してもよい。

情報提供部１２は、コマンダインターフェース３の出力部３ａのスピーカにより音情報を遠隔コマンダＲに提供してもよい。この場合、情報提供部１２は、例えば、自動運転車両２の周囲の他車両等の接近を音又は音声としてスピーカから出力してもよい。なお、スピーカによる情報提供は必須ではない。

遠隔指示送信部１３は、遠隔コマンダＲがコマンダインターフェース３の指示入力部３ｂに遠隔指示を入力した場合、入力された遠隔指示を自動運転車両２に送信する。また、遠隔指示送信部１３は、遠隔指示と共に、遠隔指示の送信時の時刻（遠隔指示を送信した時刻）である指示送信時刻を自動運転車両２に送信する。

情報提供部１２は、遠隔コマンダＲが入力した遠隔指示を自動運転車両２に送信した場合、自動運転車両２の情報を続けて遠隔コマンダＲに伝えてもよく、遠隔指示を要求する別の自動運転車両２の情報に切り換えてもよい。

（車両遠隔指示システムの処理の流れ）
遠隔指示装置１において、遠隔指示要求に基づいて自動運転車両２に遠隔指示を送信する処理の流れについて説明する。図５は、遠隔指示装置１で実行される遠隔指示送信処理の一例を示すフローチャートである。なお、図５に示される処理は、遠隔指示要求受信部１１が遠隔指示要求を受信したときに開始される。

図５に示されるように、遠隔指示要求受信部１１が自動運転車両２から遠隔指示要求を受信すると、情報提供部１２は、遠隔コマンダＲに遠隔指示の入力を要求する（Ｓ１０１）。遠隔指示送信部１３は、遠隔コマンダＲが遠隔指示をコマンダインターフェース３の指示入力部３ｂに入力した場合、入力された遠隔指示を自動運転車両２に送信する（Ｓ１０２）。また、遠隔指示送信部１３は、遠隔指示を送信する際に、遠隔指示と共に指示送信時刻を自動運転車両２に送信する（Ｓ１０３）。

次に、自動運転車両２において、遠隔指示要求を行った後、受信した遠隔指示に従った制御を行う又は遠隔指示を拒絶する処理の流れについて説明する。図６は、自動運転車両２で実行される遠隔指示の拒絶判定処理の一例を示すフローチャートである。なお、図６に示される処理は、自動運転車両２が遠隔指示要求地点に到達し、遠隔指示要求部３４によって遠隔指示を要求すべきと判定された場合に開始される。

図６に示されるように、遠隔指示要求部３４は、遠隔指示を要求すべきと判定した場合、遠隔指示装置１に対して遠隔指示要求を送信する（Ｓ２０１）。遠隔指示受信部３６は、遠隔指示装置１から送信された遠隔指示を受信する（Ｓ２０２）。送信時刻取得部３７は、遠隔指示装置１が遠隔指示と共に送信した指示送信時刻を取得する（Ｓ２０３）。受信時刻取得部３８は、遠隔指示受信部３６が遠隔指示を受信した指示受信時刻を取得する（Ｓ２０４）。

遅延判定部３９は、指示送信時刻と指示受信時刻との差が第１閾値以上であるか否かに基づいて、通信遅延の有無を判定する（Ｓ２０５）。指示送信時刻と指示受信時刻との差が第１閾値以上でない場合（Ｓ２０５：ＮＯ）、自動運転制御部４１は、走行の制御に用いる進路を第１進路から第２進路に切り替え、第２進路に基づく自動運転車両２の自動運転の実行を開始する（Ｓ２０６）。

指示送信時刻と指示受信時刻との差が第１閾値以上である場合（Ｓ２０５：ＹＥＳ）、拒絶部４０は、遠隔指示要求に応じて遠隔指示装置１から送信された遠隔指示を拒絶する（Ｓ２０７）。これにより、自動運転制御部４１は、走行の制御に用いる進路を第１進路から第２進路に切り替えることは行わず、第１進路を維持する。そして、拒絶部４０は、遠隔指示を拒絶する場合、遠隔指示を拒絶する旨を通信部２５を介して遠隔指示装置１に通知する（Ｓ２０８）。

以上のように、自動運転車両２は、通信遅延が生じている場合、遠隔指示要求に応じて遠隔指示装置１から送信された遠隔指示を拒絶する。ここで、例えば、遠隔指示装置１と自動運転車両２との間で通信遅延が生じている場合、遠隔指示を自動運転車両２が受信した時にはすでに周囲の状況が変化しており、受信した遠隔指示が適切でないことがあり得る。このため、車両遠隔指示システム１００では、通信遅延が生じていると判定された場合、遠隔指示要求に応じて送信された遠隔指示を拒絶する。これにより、適切ではない遠隔指示に基づいて自動運転車両２の走行が制御されることを抑制できる。従って、車両遠隔指示システム１００は、遠隔指示装置１と自動運転車両２との間で通信遅延が生じている場合であっても、遠隔指示を拒絶することによって自動運転車両２の走行を適切に制御できる。

遅延判定部３９は、遠隔指示が送信された指示送信時刻と遠隔指示が受信された指示受信時刻との差が第１閾値以上である場合に、通信遅延が生じていると判定する。この場合、車両遠隔指示システム１００は、指示送信時刻と指示受信時刻とを用いて、通信遅延の発生の有無をより適切に判定できる。

（第２実施形態）
車両遠隔指示システムの第２実施形態について説明する。以下では、第１実施形態に係る車両遠隔指示システム１００との差異を中心に説明し、同一又は同様の構成要素については同一符合を付して詳細な説明を省略する。図７に示すように、本実施形態に係る車両遠隔指示システム１００Ａは、遠隔コマンダＲの操作に基づいて、遠隔指示装置１から自動運転車両２Ａに対して遠隔指示を行うシステムである。

（自動運転車両の構成）
自動運転車両２Ａは、一例として、自動運転ＥＣＵ２０Ａを有している。自動運転ＥＣＵ２０Ａは、機能的には、第１実施形態に係る自動運転車両２の自動運転ＥＣＵ２０の送信時刻取得部３７及び遅延判定部３９に代えて、要求時刻取得部４２及び遅延判定部３９Ａを有している。以下、要求時刻取得部４２及び遅延判定部３９Ａを中心に説明する。

要求時刻取得部４２は、自動運転車両２が遠隔指示装置１に対して遠隔指示要求を送信した時刻である要求送信時刻を取得する。ここでは、要求時刻取得部４２は、遠隔指示要求部３４が遠隔指示要求を送信した時の時刻を要求送信時刻として取得し、記憶しておく。

遅延判定部３９Ａは、遠隔指示装置１と自動運転車両２Ａとの間において通信遅延が生じているか否かを判定する。具体的には、遅延判定部３９Ａは、要求時刻取得部４２が取得した要求送信時刻と受信時刻取得部３８が取得した指示受信時刻との差に基づいて、通信の遅延の有無を判定する。ここでは、遅延判定部３９Ａは、遠隔指示要求部３４が遠隔指示要求を送信した要求送信時刻と、遠隔指示受信部３６で遠隔指示が受信された指示受信時刻との差が、予め定められた第２閾値以上である場合、通信遅延が生じていると判定する。遅延判定部３９Ａは、要求送信時刻と指示受信時刻との差が、第２閾値未満である場合、通信遅延が生じていないと判定する。

この第２閾値は、例えば、通信遅延によって遠隔指示が時間的に古くなったとしても、当該遠隔指示に基づいて自動運転車両２の走行を制御することが許容できるか否かに基づいて定められていてもよい。

なお、本実施形態における通信遅延の判定においては、第１実施形態と異なり、遠隔指示が送信された時刻である指示送信時刻が用いられていない。このため、遠隔指示サーバ１０の遠隔指示送信部１３は、指示送信時刻を、遠隔指示と共に自動運転車両２に送信しなくてもよい。

（車両遠隔指示システムの処理の流れ）
遠隔指示装置１において、遠隔指示要求に基づいて自動運転車両２に遠隔指示を送信する処理の流れについて説明する。図８は、遠隔指示装置１で実行される遠隔指示送信処理の一例を示すフローチャートである。なお、図８に示される処理は、遠隔指示要求受信部１１が遠隔指示要求を受信したときに開始される。

図８に示されるように、遠隔指示要求受信部１１が自動運転車両２Ａから遠隔指示要求を受信すると、情報提供部１２は、遠隔コマンダＲに遠隔指示の入力を要求する（Ｓ３０１）。遠隔指示送信部１３は、遠隔コマンダＲが遠隔指示をコマンダインターフェース３の指示入力部３ｂに入力した場合、入力された遠隔指示を自動運転車両２Ａに送信する（Ｓ３０２）。

次に、自動運転車両２Ａにおいて、遠隔指示要求を行った後、受信した遠隔指示に従った制御を行う又は遠隔指示を拒絶する処理の流れについて説明する。図９は、自動運転車両２Ａで実行される遠隔指示の拒絶判定処理の一例を示すフローチャートである。なお、図９に示される処理は、自動運転車両２Ａが遠隔指示要求地点に到達し、遠隔指示要求部３４によって遠隔指示を要求すべきと判定された場合に開始される。

図９に示されるように、遠隔指示要求部３４は、遠隔指示を要求すべきと判定した場合、遠隔指示装置１に対して遠隔指示要求を送信する（Ｓ４０１）。要求時刻取得部４２は、遠隔指示要求部３４が遠隔指示要求を送信した時刻である要求送信時刻を取得する（Ｓ４０２）。遠隔指示受信部３６は、遠隔指示装置１から送信された遠隔指示を受信する（Ｓ４０３）。受信時刻取得部３８は、遠隔指示受信部３６が遠隔指示を受信した指示受信時刻を取得する（Ｓ４０４）。

遅延判定部３９Ａは、要求送信時刻と指示受信時刻との差が第２閾値以上であるか否かに基づいて、通信遅延の有無を判定する（Ｓ４０５）。Ｓ４０６～Ｓ４０８の処理は、第１実施形態において図６を用いて説明したＳ２０６～Ｓ２０８の処理と同様であり、詳細な説明を省略する。

以上のように、自動運転車両２Ａは、通信遅延が生じている場合、遠隔指示要求に応じて遠隔指示装置１から送信された遠隔指示を拒絶する。遅延判定部３９Ａは、遠隔指示要求が送信された要求送信時刻と遠隔指示が受信された指示受信時刻との差が第２閾値以上である場合に、通信遅延が生じていると判定する。この場合、車両遠隔指示システム１００Ａは、要求送信時刻と指示受信時刻とを用いて、通信遅延の発生の有無をより適切に判定できる。

（第３実施形態）
車両遠隔指示システムの第３実施形態について説明する。本実施形態の車両遠隔指示システムは、第１及び第２実施形態に係る車両遠隔指示システム１００及び１００Ａとは異なり、時刻に代えて外部センサの検出情報を用いて通信遅延の発生の有無を判定する。以下では、第１実施形態に係る車両遠隔指示システム１００との差異を中心に説明し、同一又は同様の構成要素については同一符合を付して詳細な説明を省略する。

図１０に示すように、本実施形態に係る車両遠隔指示システム１００Ｂは、遠隔コマンダＲの操作に基づいて、遠隔指示装置１Ｂから自動運転車両２Ｂに対して遠隔指示を行うシステムである。

（自動運転車両の構成）
自動運転車両２Ｂは、一例として、自動運転ＥＣＵ２０Ｂを有している。自動運転ＥＣＵ２０Ｂは、機能的には、第１実施形態に係る自動運転車両２の自動運転ＥＣＵ２０の送信時刻取得部３７、受信時刻取得部３８及び遅延判定部３９に代えて、送信時センサ情報取得部４３、受信時センサ情報取得部４４及び遅延判定部３９Ｂを有している。以下、送信時センサ情報取得部４３、受信時センサ情報取得部４４及び遅延判定部３９Ｂを中心に説明する。

送信時センサ情報取得部４３は、遠隔指示装置１Ｂが遠隔指示を送信した時点において遠隔指示装置１Ｂの遠隔指示要求受信部１１で受信された検出情報を指示送信時センサ情報として取得する。具体的には、送信時センサ情報取得部４３は、遠隔指示装置１Ｂが遠隔指示と共に送信した指示送信時センサ情報を取得する。遠隔指示装置１Ｂが指示送信時センサ情報を送信する構成について、詳しくは後述する。

受信時センサ情報取得部４４は、自動運転車両２Ｂが遠隔指示を受信した時点において外部センサ２２で検出された検出情報を指示受信時センサ情報として取得する。具体的には、受信時センサ情報取得部４４は、遠隔指示受信部３６が遠隔指示装置１Ｂから遠隔指示を受信した時点において外部センサ２２で検出された検出情報を指示受信時センサ情報として取得する。

遅延判定部３９Ｂは、送信時センサ情報取得部４３が取得した指示送信時センサ情報と受信時センサ情報取得部４４が取得した指示受信時センサ情報とに基づいて、通信遅延が生じているか否かを判定する。なお、判定に用いられる指示送信時センサ情報及び指示受信時センサ情報としては、例えば、カメラ画像、ライダー点群、レーダセンサで検出された物標等が含まれる。

ここでは、遅延判定部３９Ｂは、指示送信時センサ情報と指示受信時センサ情報とを比較し、両者のかい離に基づいて通信遅延が生じているか否かを判定する。遅延判定部３９Ｂは、例えば、指示送信時センサ情報と指示受信時センサ情報とのかい離が、予め定められた第１かい離閾値以上である場合に、通信遅延が生じていると判定することができる。遅延判定部３９Ｂは、例えば、指示送信時センサ情報と指示受信時センサ情報とのかい離が、予め定められた第１かい離閾値未満である場合に、通信遅延が生じていないと判定することができる。

この第１かい離閾値は、例えば、遠隔指示を入力する際に用いられた自動運転車両２Ｂの外部環境と遠隔指示の受信時における外部環境とにズレが生じていても、受信された遠隔指示に基づいて自動運転車両２Ｂの走行を制御することが許容できるか否かに基づいて定められていてもよい。

図１１（ａ）及び図１１（ｂ）は、自動運転車両２が右折をしようとしている状態における外部センサ２２の検出情報（ここでは自動運転車両２Ｂの前方のカメラ画像）を示す図である。なお、図１１（ａ）は、遠隔指示装置１Ｂが遠隔指示を送信した時点において遠隔指示装置１Ｂの遠隔指示要求受信部１１で受信された検出情報（指示送信時センサ情報）を示す図である。図１１（ｂ）は、自動運転車両２Ｂが遠隔指示を受信した時点において外部センサ２２で検出された検出情報（指示受信時センサ情報）を示す図である。図１１（ａ）及び図１１（ｂ）における車両Ｖは、自動運転車両２Ｂの前方を走行する対向車両である。遠隔指示装置１Ｂと自動運転車両２Ｂとの間における通信遅延が大きくなると、両者の検出情報のかい離も大きくなる。例えば、図１１（ａ）及び図１１（ｂ）に示される例においては、通信遅延が大きくなると、車両Ｖの位置のかい離も大きくなる。

以下、遅延判定部３９Ｂが行う指示送信時センサ情報と指示受信時センサ情報との比較方法の一例について説明する。

（センサローレベルの比較）
遅延判定部３９Ｂは、指示送信時センサ情報及び指示受信時センサ情報の検出値（センサ値）同士を直接比較することができる。例えば、遅延判定部３９は、指示送信時センサ情報及び指示受信時センサ情報がカメラ画像である場合、図１１（ａ）及び図１１（ｂ）に示されるカメラ画像をＰＯＣ（Phase Only Correlation）等の方法を用いてマッチングさせる。遅延判定部３９Ｂは、マッチングを行ったときの相関値を用いることで、カメラ画像間の相関を算出することができる。遅延判定部３９Ｂは、指示送信時センサ情報と指示受信時センサ情報とのかい離として、カメラ画像間の相関を用いることができる。これと同様に、遅延判定部３９Ｂは、指示送信時センサ情報及び指示受信時センサ情報がライダー点群である場合であっても、検出値（センサ値）同士を直接比較することができる。

（認識結果の比較）
遅延判定部３９Ｂは、指示送信時センサ情報及び指示受信時センサ情報に基づいて、遠隔指示の送信時における自動運転車両２Ｂの外部環境及び遠隔指示の受信時における自動運転車両２Ｂの外部環境をそれぞれ認識し、外部環境の認識結果に基づいてかい離を判定することができる。この場合、例えば、遅延判定部３９Ｂは、遠隔指示の送信時及び受信時のそれぞれの外部環境の認識を行う際に、特定の移動障害物のみを抽出し、抽出した移動障害物の位置情報を比較してもよい。例えば、抽出する移動障害物は、自動運転車両２Ｂの進路と交わる全ての動的障害物であってもよい。

（遠隔指示装置の構成）
図１２に示されるように、遠隔指示装置１Ｂは、遠隔指示サーバ１０Ｂを有している。遠隔指示サーバ１０Ｂは、機能的には、遠隔指示要求受信部１１、情報提供部１２、及び遠隔指示送信部１３Ｂを有している。

遠隔指示送信部１３Ｂは、遠隔コマンダＲがコマンダインターフェース３の指示入力部３ｂに遠隔指示を入力した場合、遠隔指示を自動運転車両２Ｂに送信する。また、遠隔指示送信部１３Ｂは、遠隔指示と共に、遠隔指示要求受信部１１が遠隔指示を送信した時点において遠隔指示要求受信部１１が受信した検出情報（受信している検出情報）を指示送信時センサ情報として自動運転車両２Ｂに送信する。

（車両遠隔指示システムの処理の流れ）
遠隔指示装置１Ｂにおいて、遠隔指示要求に基づいて自動運転車両２Ｂに遠隔指示を送信する処理の流れについて説明する。図１３は、遠隔指示装置１Ｂで実行される遠隔指示送信処理の一例を示すフローチャートである。なお、図１３に示される処理は、遠隔指示要求受信部１１が遠隔指示要求を受信したときに開始される。

図１３に示されるように、遠隔指示要求受信部１１が自動運転車両２Ｂから遠隔指示要求を受信すると、情報提供部１２は、遠隔コマンダＲに遠隔指示の入力を要求する（Ｓ５０１）。遠隔指示送信部１３Ｂは、遠隔コマンダＲが遠隔指示をコマンダインターフェース３の指示入力部３ｂに入力した場合、入力された遠隔指示を自動運転車両２Ｂに送信する（Ｓ５０２）。また、遠隔指示送信部１３Ｂは、遠隔指示を送信する際に、遠隔指示と共に指示送信時センサ情報を自動運転車両２Ｂに送信する（Ｓ５０３）。

次に、自動運転車両２Ｂにおいて、遠隔指示要求を行った後、受信した遠隔指示に従った制御を行う又は遠隔指示を拒絶する処理の流れについて説明する。図１４は、自動運転車両２Ｂで実行される遠隔指示の拒絶判定処理の一例を示すフローチャートである。なお、図１４に示される処理は、自動運転車両２Ｂが遠隔指示要求地点に到達し、遠隔指示要求部３４によって遠隔指示を要求すべきと判定された場合に開始される。

図１４に示されるように、遠隔指示要求部３４は、遠隔指示を要求すべきと判定した場合、遠隔指示装置１Ｂに対して遠隔指示要求を送信する（Ｓ６０１）。遠隔指示受信部３６は、遠隔指示装置１Ｂから送信された遠隔指示を受信する（Ｓ６０２）。送信時センサ情報取得部４３は、遠隔指示装置１Ｂが遠隔指示と共に送信した指示送信時センサ情報を取得する（Ｓ６０３）。受信時センサ情報取得部４４は、遠隔指示受信部３６が遠隔指示装置１Ｂから遠隔指示を受信した時点において外部センサ２２で検出された検出情報を指示受信時センサ情報として取得する（Ｓ６０４）。

遅延判定部３９Ｂは、指示送信時センサ情報と指示受信時センサ情報とのかい離が第１かい離閾値以上であるか否かに基づいて、通信遅延の有無を判定する（Ｓ６０５）。Ｓ６０６～Ｓ６０８の処理は、第１実施形態において図６を用いて説明したＳ２０６～Ｓ２０８の処理と同様であり、詳細な説明を省略する。

以上のように、自動運転車両２Ｂは、通信遅延が生じている場合、遠隔指示要求に応じて遠隔指示装置１Ｂから送信された遠隔指示を拒絶する。遅延判定部３９Ｂは、送信時センサ情報取得部４３が取得した指示送信時センサ情報と受信時センサ情報取得部４４が取得した指示受信時センサ情報とに基づいて、通信遅延が生じているか否かを判定する。この場合、車両遠隔指示システム１００Ｂは、指示送信時センサ情報と指示受信時センサ情報とに基づいて、通信遅延の発生の有無をより適切に判定できる。

（第４実施形態）
車両遠隔指示システムの第４実施形態について説明する。本実施形態の車両遠隔指示システムは、第３実施形態に係る車両遠隔指示システム１００Ｂと同様に、外部センサの検出情報を用いて通信遅延の発生の有無を判定する。以下では、第３実施形態に係る車両遠隔指示システム１００Ｂとの差異を中心に説明し、同一又は同様の構成要素については同一符合を付して詳細な説明を省略する。

図１５に示すように、本実施形態に係る車両遠隔指示システム１００Ｃは、遠隔コマンダＲの操作に基づいて、遠隔指示装置１Ｂから自動運転車両２Ｃに対して遠隔指示を行うシステムである。

（自動運転車両の構成）
自動運転車両２Ｃは、一例として、自動運転ＥＣＵ２０Ｃを有している。自動運転ＥＣＵ２０Ｃは、機能的には、第３実施形態に係る自動運転車両２Ｂの自動運転ＥＣＵ２０Ｂの送信時センサ情報取得部４３及び遅延判定部３９Ｂに代えて、要求時センサ情報取得部４５及び遅延判定部３９Ｃを有している。以下、要求時センサ情報取得部４５及び遅延判定部３９Ｃを中心に説明する。

要求時センサ情報取得部４５は、自動運転車両２Ｂが遠隔指示要求を送信した時点において、外部センサ２２で検出された検出情報を指示要求時センサ情報として取得する。ここでは、要求時センサ情報取得部４５は、遠隔指示要求部３４が遠隔指示要求を送信した時に外部センサ２２によって検出された検出情報を指示要求時センサ情報として取得し、記憶しておく。

遅延判定部３９Ｃは、要求時センサ情報取得部４５が取得した指示要求時センサ情報と受信時センサ情報取得部４４が取得した指示受信時センサ情報とに基づいて、通信遅延が生じているか否かを判定する。なお、判定に用いられる指示要求時センサ情報及び指示受信時センサ情報としては、例えば、カメラ画像、ライダー点群、レーダセンサで検出された物標等が含まれる。

ここでは、遅延判定部３９Ｃは、指示要求時センサ情報と指示受信時センサ情報とを比較し、両者のかい離に基づいて通信遅延が生じているか否かを判定する。遅延判定部３９Ｃは、例えば、指示要求時センサ情報と指示受信時センサ情報とのかい離が、予め定められた第２かい離閾値以上である場合に、通信遅延が生じていると判定することができる。遅延判定部３９Ｂは、例えば、指示要求時センサ情報と指示受信時センサ情報とのかい離が、予め定められた第２かい離閾値未満である場合に、通信遅延が生じていないと判定することができる。

この第２かい離閾値は、例えば、遠隔指示の要求時から遠隔指示の受信時までの間に自動運転車両２の外部状況が変化しても、受信された遠隔指示に基づいて自動運転車両２Ｃの走行を制御することが許容できるか否かに基づいて定められていてもよい。

遅延判定部３９Ｃは、指示要求時センサ情報と指示受信時センサ情報との比較方法として、一例として、上述した第３実施形態に係る遅延判定部３９Ｂと同様の比較方法を用いることができる。

なお、本実施形態における通信遅延の判定においては、第３実施形態と異なり、遠隔指示装置１Ｂが遠隔指示を送信した時点において遠隔指示装置１Ｂの遠隔指示要求受信部１１で受信された指示送信時センサ情報が用いられていない。このため、遠隔指示サーバ１０Ｂの遠隔指示送信部１３Ｂは、指示送信時センサ情報を、遠隔指示と共に自動運転車両２Ｃに送信しなくてもよい。

（車両遠隔指示システムの処理の流れ）
遠隔指示装置１Ｂにおいて、遠隔指示要求に基づいて自動運転車両２に遠隔指示を送信する処理の流れは、図８を用いて説明した第２実施形態に係る遠隔指示装置１で実行される遠隔指示送信処理の流れと同様である。このため、遠隔指示装置１Ｂで実行される遠隔指示送信処理の流れについて、詳細な説明を省略する。

次に、自動運転車両２Ｃにおいて、遠隔指示要求を行った後、受信した遠隔指示に従った制御を行う又は遠隔指示を拒絶する処理の流れについて説明する。図１６は、自動運転車両２Ｃで実行される遠隔指示の拒絶判定処理の一例を示すフローチャートである。なお、図１６に示される処理は、自動運転車両２Ｃが遠隔指示要求地点に到達し、遠隔指示要求部３４によって遠隔指示を要求すべきと判定された場合に開始される。

図１６に示されるように、遠隔指示要求部３４は、遠隔指示を要求すべきと判定した場合、遠隔指示装置１Ｂに対して遠隔指示要求を送信する（Ｓ７０１）。要求時センサ情報取得部４５は、遠隔指示受信部３６が遠隔指示要求を送信した時点における外部センサ２２の検出情報を指示要求時センサ情報として取得する（Ｓ７０２）。遠隔指示受信部３６は、遠隔指示装置１Ｂから送信された遠隔指示を受信する（Ｓ７０３）。受信時センサ情報取得部４４は、遠隔指示受信部３６が遠隔指示装置１Ｂから遠隔指示を受信した時点において外部センサ２２で検出された検出情報を指示受信時センサ情報として取得する（Ｓ７０４）。

遅延判定部３９Ｃは、指示要求時センサ情報と指示受信時センサ情報とのかい離が第２かい離閾値以上であるか否かに基づいて、通信遅延の有無を判定する（Ｓ７０５）。Ｓ７０６～Ｓ７０８の処理は、第１実施形態において図６を用いて説明したＳ２０６～Ｓ２０８の処理と同様であり、詳細な説明を省略する。

以上のように、自動運転車両２Ｃは、通信遅延が生じている場合、遠隔指示要求に応じて遠隔指示装置１Ｂから送信された遠隔指示を拒絶する。遅延判定部３９Ｃは、要求時センサ情報取得部４５が取得した指示要求時センサ情報と受信時センサ情報取得部４４が取得した指示受信時センサ情報とに基づいて、通信遅延が生じているか否かを判定する。この場合、車両遠隔指示システム１００Ｃは、指示要求時センサ情報と指示受信時センサ情報とに基づいて、通信遅延の発生の有無をより適切に判定できる。

以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。

第１実施形態～第４実施形態における各遅延判定部での判定処理は、適宜組み合わせられてもよい。例えば、第１実施形態における遅延判定部３９での判定処理と、第３実施形態における遅延判定部３９Ｂでの判定処理とが組み合わせられてもよい。この場合、これらの判定処理において遅延が生じていると判定された場合に、拒絶部は、遠隔指示を拒絶してもよい。例えば、第２実施形態における遅延判定部３９Ａでの判定処理と、第４実施形態における遅延判定部３９Ｃの判定処理とが組み合わせられてもよい。この場合、これらの判定処理において遅延が生じていると判定された場合に、拒絶部は、遠隔指示を拒絶してもよい。

例えば、第１実施形態に係る車両遠隔指示システム１００は、自動運転車両２を構成要素に含まなくてもよい。この場合、車両遠隔指示システム１００は、遠隔指示装置１に相当する。他の実施形態についても同様に、車両遠隔指示システムは、自動運転車両を構成要素に含まなくてもよい。

第１実施形態に係る車両遠隔指示システム１００において、自動運転車両２ではなく、遠隔指示サーバ１０が遠隔指示の要否を判定してもよい。この場合、遠隔指示サーバ１０は、自動運転車両２から取得した外部センサ２２の検出情報等に基づいて、自動運転車両２が遠隔指示を要求すべき状況になったか否かを判定する。遠隔指示サーバ１０は、自動運転車両２が遠隔指示を要求すべき状況になったと判定した場合、自動運転車両２に待機指示を送信すると共に、遠隔コマンダＲに遠隔指示の入力を要求してもよい。他の実施形態に係る車両遠隔指示システムについても同様に、遠隔指示サーバが遠隔指示の要否を判定してもよい。

なお、第１実施形態に係る車両遠隔指示システム１００において、遠隔指示装置１は、車両に搭載されていてもよい。この場合、遠隔コマンダＲも車両に乗車している。遠隔指示サーバ１０は、複数台の車両のＥＣＵから構成されたクラウドサーバであってもよい。他の実施形態についても同様に、遠隔指示装置は、車両に搭載されていてもよい。

１，１Ｂ…遠隔指示装置、２，２Ａ，２Ｂ，２Ｃ…自動運転車両、１１…遠隔指示要求受信部（センサ情報受信部）、２２…外部センサ（車載センサ）、３４…遠隔指示要求部（センサ情報送信部）、３７…送信時刻取得部、３８…受信時刻取得部、３９，３９Ａ，３９Ｂ，３９Ｃ…遅延判定部、４０…拒絶部、４２…要求時刻取得部、４３…送信時センサ情報取得部、４４…受信時センサ情報取得部、４５…要求時センサ情報取得部、１００，１００Ａ，１００Ｂ，１００Ｃ…車両遠隔指示システム。

Claims (5)

1. 自動運転車両から遠隔指示装置に対して遠隔指示要求を送信し、前記遠隔指示要求に応じて前記遠隔指示装置から送信された遠隔指示に基づいて前記自動運転車両の走行を制御する車両遠隔指示システムであって、
   前記自動運転車両に搭載され、前記遠隔指示装置と前記自動運転車両との間において、前記遠隔指示に基づいて前記自動運転車両の走行を制御することが許容できない所定の通信遅延が生じているか否かを判定する遅延判定部と、
   前記遅延判定部によって前記通信遅延が生じていると判定された場合、前記遠隔指示要求に応じて送信された前記遠隔指示を拒絶する拒絶部と、
   前記自動運転車両の自動運転を実行する自動運転制御部と、を備え、
   前記自動運転制御部は、前記遠隔指示要求に応じて送信された前記遠隔指示が前記拒絶部によって拒絶された場合、前記自動運転における走行の進路として、前記遠隔指示に対応した第２進路に切り替えることは行わず、前記遠隔指示が受信されたときに用いていた第１進路を維持する、車両遠隔指示システム。
2. 前記遠隔指示装置が前記遠隔指示を送信した時刻である指示送信時刻を取得する送信時刻取得部と、
   前記自動運転車両が前記遠隔指示を受信した時刻である指示受信時刻を取得する受信時刻取得部と、
   を更に備え、
   前記遅延判定部は、前記送信時刻取得部が取得した前記指示送信時刻と前記受信時刻取得部が取得した前記指示受信時刻との差が第１閾値以上である場合に、前記通信遅延が生じていると判定する、請求項１に記載の車両遠隔指示システム。
3. 前記自動運転車両が前記遠隔指示装置に対して前記遠隔指示要求を送信した時刻である要求送信時刻を取得する要求時刻取得部と、
   前記自動運転車両が前記遠隔指示を受信した時刻である指示受信時刻を取得する受信時刻取得部と、
   を更に備え、
   前記遅延判定部は、前記要求時刻取得部が取得した前記要求送信時刻と前記受信時刻取得部が取得した前記指示受信時刻との差が第２閾値以上である場合に、前記通信遅延が生じていると判定する、請求項１に記載の車両遠隔指示システム。
4. 自動運転車両から遠隔指示装置に対して遠隔指示要求を送信し、前記遠隔指示要求に応じて前記遠隔指示装置から送信された遠隔指示に基づいて前記自動運転車両の走行を制御する車両遠隔指示システムであって、
   前記自動運転車両に搭載され、前記遠隔指示装置と前記自動運転車両との間において、前記遠隔指示に基づいて前記自動運転車両の走行を制御することが許容できない所定の通信遅延が生じているか否かを判定する遅延判定部と、
   前記遅延判定部によって前記通信遅延が生じていると判定された場合、前記遠隔指示要求に応じて送信された前記遠隔指示を拒絶する拒絶部と、
   指示送信時センサ情報を取得する送信時センサ情報取得部と、
   指示受信時センサ情報を取得する受信時センサ情報取得部と、
   を備え、
   前記自動運転車両は、外部環境を検出する車載センサのセンサ情報を前記遠隔指示装置へ送信するセンサ情報送信部を有しており、
   前記遠隔指示装置は、前記センサ情報送信部から送信された前記センサ情報を受信するセンサ情報受信部を有しており、
   前記送信時センサ情報取得部は、前記遠隔指示装置が前記遠隔指示を送信した時点において前記センサ情報受信部で受信された前記センサ情報を前記指示送信時センサ情報として取得し、
   前記受信時センサ情報取得部は、前記自動運転車両が前記遠隔指示を受信した時点において前記車載センサで検出された前記センサ情報を前記指示受信時センサ情報として取得し、
   前記遅延判定部は、前記送信時センサ情報取得部が取得した前記指示送信時センサ情報と前記受信時センサ情報取得部が取得した前記指示受信時センサ情報とに基づいて、前記通信遅延が生じているか否かを判定する、車両遠隔指示システム。
5. 自動運転車両から遠隔指示装置に対して遠隔指示要求を送信し、前記遠隔指示要求に応じて前記遠隔指示装置から送信された遠隔指示に基づいて前記自動運転車両の走行を制御する車両遠隔指示システムであって、
   前記自動運転車両に搭載され、前記遠隔指示装置と前記自動運転車両との間において、前記遠隔指示に基づいて前記自動運転車両の走行を制御することが許容できない所定の通信遅延が生じているか否かを判定する遅延判定部と、
   前記遅延判定部によって前記通信遅延が生じていると判定された場合、前記遠隔指示要求に応じて送信された前記遠隔指示を拒絶する拒絶部と、
   前記自動運転車両が前記遠隔指示要求を送信した時点において、前記自動運転車両の外部環境を検出する車載センサで検出されたセンサ情報を指示要求時センサ情報として取得する要求時センサ情報取得部と、
   前記自動運転車両が前記遠隔指示を受信した時点において前記車載センサで検出された前記センサ情報を指示受信時センサ情報として取得する受信時センサ情報取得部と、
   を備え、
   前記遅延判定部は、前記要求時センサ情報取得部が取得した前記指示要求時センサ情報と前記受信時センサ情報取得部が取得した前記指示受信時センサ情報とに基づいて、前記通信遅延が生じているか否かを判定する、車両遠隔指示システム。

Images