JPWO2018087879A1 - 遠隔操作システム、交通システム、および遠隔操作方法 - Google Patents

Abstract

車両と通信し、遠隔操作のリクエストを含む情報を受信する通信部と、前記通信部により前記車両から受信された前記車両の状況を遠隔操作者に提示する提示部と、前記遠隔操作者による操作を受け付ける受付部と、前記受付部により受け付けられた操作に基づいて制御情報を生成し、前記通信部を用いて前記車両に送信する制御部と、を備える遠隔操作装置を複数備え、前記複数の遠隔操作装置のうち、前記遠隔操作のリクエストを送信した車両との通信環境が良好な遠隔操作装置が、遠隔操作を実行する、車両の遠隔操作システムである。

Description

本発明は、遠隔操作システム、交通システム、および遠隔操作方法に関する。

近年、加減速や操舵を自動的に行う自動運転について研究が進められている。自動運転中に判断手段により車両と双方向の通信を行い、自律志向型の自動運転を実行不可であると判断した場合に、車両が外部機器と通信し、遠隔操作による他律志向型の自動運転を実行する技術が研究されている（特許文献１参照）。

また、車両の遠隔操作を行う場合、実際の走行状態を撮像した時点での場面と遠隔操作を行う操作者が操作を行うための画面に表示される映像との間には、通信の遅延等による時間的なずれ（通信ラグ）が生じる。これに関連し、ＧＰＳ（Global Positioning System）で自車の位置を取得して自動運転を行う自動芝刈り機が記載されている。この自動芝刈り機は、遠隔操作を行うための通信手段と、操舵や駆動系を制御する制御手段と、受信する位置情報に基づいて通信ラグを考慮して補正された制御動作を行う位置を予測する位置予測手段とを備える装置の発明が開示されている（特許文献２参照）。

国際公開第２０１６／０３８９３１号 特開２０１３−０３１３８９号公報

しかしながら、従来の技術では、良好な通信環境で遠隔操作を行うことについて考慮されていなかった。

本発明は、このような事情を考慮してなされたものであり、良好な通信環境で遠隔操作を行うことができる遠隔操作システム、交通システム、および遠隔操作方法を提供することを目的の一つとする。

請求項１に記載の発明は、車両（Ｍ）と通信し、遠隔操作のリクエストを含む情報を受信する通信部（３１０）と、前記通信部により前記車両から受信された前記車両の状況を遠隔操作者に提示する提示部（３２１）と、前記遠隔操作者による操作を受け付ける受付部（３３０）と、前記受付部により受け付けられた操作に基づいて制御情報を生成し、前記通信部を用いて前記車両に送信する制御部（３４０）と、を備える遠隔操作装置（３２０）を複数備え、前記複数の遠隔操作装置のうち、前記遠隔操作のリクエストを送信した車両との通信環境が良好な遠隔操作装置が、遠隔操作を実行する、車両の遠隔操作システム（１）である。

請求項２記載の発明は、請求項１記載の発明において、前記複数の遠隔操作装置のうち、前記遠隔操作のリクエストを送信した車両との通信環境が良好な遠隔操作装置を選択する選択部（３１１）を更に備えるものである。

請求項３記載の発明は、請求項２に記載の発明において、前記遠隔操作のリクエストを送信した車両との通信距離が短い、または、通信速度が最も早い、または、通信が最も安定している遠隔操作装置のうちのいずれかを優先して選択するものである。

請求項４記載の発明は、請求項１に記載の発明において、前記通信部が前記車両から受信された前記車両の状況に基づいて、将来の車両の状況を推定し、前記推定した将来の車両の状況を前記遠隔操作者に提示するものである。

請求項５記載の発明は、請求項４に記載の発明において、前記提示部が前記通信部により前記車両から受信された車両の状況に基づく画像を表示し、更に、前記通信部により前記車両から受信された車両の状況が、前記車両の前方に物体が少ない状況である場合、前記通信部により前記車両から受信された車両の状況に基づく画像の一部を拡大した画像を、前記将来の車両の状況を示す画像として表示するものである。

請求項６記載の発明は、請求項４に記載の発明において、前記通信部が前記車両から自動運転の行動計画に関する情報を取得し、前記提示部が前記行動計画に基づいて将来の車両の状況を推定するものである。

請求項７記載の発明は、請求項４項記載の発明において定点観測画像と、前記通信部により前記車両から受信された車両の状況に基づく画像とを合成することで、前記将来の車両の状況を示す画像を生成する遠隔操作システムである。

請求項８記載の発明は、請求項１項記載の発明において前記車両が走行する予定のルートに通信障害発生予想位置が含まれるルートが含まれるか否かを判定する判定部と、前記判定部により通信障害発生予想位置が含まれるルートが含まれると判定された場合に、前記通信障害発生予想位置を回避するように経路を変更する変更部とを備える遠隔操作システムである。

請求項９記載の発明は、請求項１記載の遠隔操作システムと、前記遠隔操作を受ける車両に搭載される車両制御システムと、を備える交通システムである。

請求項１０記載の発明は、請求項９に記載の発明において、前記車両の状況に基づいて将来の車両の状況を推定し、前記推定した将来の車両の状況を、前記遠隔操作システムに送信するものである。

請求項１１記載の発明は、請求項１０に記載の発明において、行動計画に基づいて自動運転を実行し、前記行動計画に基づいて、将来の車両の状況を推定するものである。

請求項１２記載の発明は、複数の遠隔操作装置が、車両と通信し、遠隔操作のリクエストを含む情報を受信し、前記車両から受信された前記車両の状況を遠隔操作者に提示し、前記遠隔操作者による操作を受け付け、前記受け付けられた操作に基づいて制御情報を生成し、前記車両に送信する遠隔操作方法であって、前記複数の遠隔操作装置のうち、前記遠隔操作のリクエストを送信した車両との通信環境が良好な遠隔操作装置が、遠隔操作を実行する、遠隔操作方法である。

請求項１、２、９、１２に記載の発明によれば、複数の遠隔操作装置のうち車両との間の通信ラグが少ない遠隔操作装置が選択されるため、通信ラグを低減することができる。

請求項３−７、９−１１に記載の発明によれば、車両と遠隔操作装置との間の通信ラグがあっても撮像された車両の状況を推定した推定状況を示す画像を生成して表示するため、車両の将来的な位置において必要な操作を遠隔操作者から受け付けることができる。

請求項８に記載の発明によれば、予め通信障害が発生すると予測される位置を回避するルートにリルートするため車両の遠隔操作の安全性を向上させることができる。

交通システム１の概念図である。 車両Ｍに搭載される構成の一例を示す図である。 自車位置認識部１２２により走行車線Ｌ１に対する車両Ｍの相対位置および姿勢が認識される様子を示す図である。 推奨車線に基づいて目標軌道が生成される様子を示す図である。 遠隔操作システム３００における装置構成を示す図である。 遠隔操作装置３２０の構成を模式的に示す図である。 提示部３２１の構成を示すブロック図である。 通信ラグが発生する間の車両Ｍの移動を示す図である。 撮像された画像Ｖに基づいて生成された推定状況を例示する図である。 撮像された画像Ｖの一部を拡大することにより生成された推定状況Ｓを例示する図である。 遠隔操作システム３００の処理の流れを示すフローチャートである。 遠隔操作装置３２０を自動的に選択する処理を示すシーケンス図である。 第２実施形態にかかる車両Ｍに搭載される構成の一例を示す図である。 定点カメラＫで撮像される車両の状態を示す図である。

以下、図面を参照し、本発明の遠隔操作システム、交通システム、遠隔操作方法、および遠隔操作プログラムの実施形態について説明する。

＜第１実施形態＞
［システム構成］
図１は、交通システム１の概念図である。交通システム１は、複数の車両Ｍ−１〜Ｍ−ｎ（ｎは任意の自然数）と、遠隔操作システム３００とがネットワークＮＷを介して通信することで実現される。以下、車両を区別しないときは車両Ｍと称する。車両Ｍは、例えば、二輪や三輪、四輪等の車両であり、その駆動源は、ディーゼルエンジンやガソリンエンジンなどの内燃機関、電動機、或いはこれらの組み合わせである。電動機は、内燃機関に連結された発電機による発電電力、或いは二次電池や燃料電池の放電電力を使用して動作する。また、車両Ｍは、加減速または操舵の少なくとも一方を自動的に制御する自動運転を実行可能な車両である。ネットワークＮＷは、無線通信のインターフェースである基地局、ＷＡＮ（Wide Area Network）、ＬＡＮ（Local Area Network）、インターネット、専用回線、衛星回線などを含む。

交通システム１では、車両Ｍから遠隔操作システム３００に、或いはある車両Ｍから他の車両Ｍに対して遠隔操作の依頼（リクエスト）が送信され、それに応じて車両Ｍの遠隔操作が実行される。

［車両構成］
まずは、車両Ｍに搭載される構成について説明する。図２は、車両Ｍに搭載される構成の一例を示す図である。車両Ｍには、例えば、カメラ１０と、レーダ装置１２と、ファインダ１４と、物体認識装置１６と、通信装置２０と、ＨＭＩ（Human Machine Interface）３０と、ナビゲーション装置５０と、ＭＰＵ（Micro-Processing Unit）６０と、車両センサ７０と、運転操作子８０と、自動運転制御ユニット１００と、走行駆動力出力装置２００と、ブレーキ装置２１０と、ステアリング装置２２０とが搭載される。これらの装置や機器は、ＣＡＮ（Controller Area Network）通信線等の多重通信線やシリアル通信線、無線通信網等によって互いに接続される。なお、図２に示す構成はあくまで一例であり、構成の一部が省略されてもよいし、更に別の構成が追加されてもよい。図２に示す構成のうち、カメラ１０、通信装置２０、運転操作子８０、第１制御部１２０、第２制御部１４０、および被遠隔操作制御部１６０を少なくとも含むものが、「車両制御装置」の一例である。

カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の固体撮像素子を利用したデジタルカメラである。カメラ１０は、車両Ｍの任意の箇所に一つまたは複数が取り付けられる。前方を撮像する場合、カメラ１０は、フロントウインドシールド上部やルームミラー裏面等に取り付けられる。カメラ１０は、例えば、周期的に繰り返し車両Ｍの周辺を撮像する。カメラ１０は、ステレオカメラであってもよい。

レーダ装置１２は、車両Ｍの周辺にミリ波などの電波を放射すると共に、物体によって反射された電波（反射波）を検出して少なくとも物体の位置（距離および方位）を検出する。レーダ装置１２は、車両Ｍの任意の箇所に一つまたは複数が取り付けられる。レーダ装置１２は、ＦＭ−ＣＷ（Frequency Modulated Continuous Wave）方式によって物体の位置および速度を検出してもよい。

ファインダ１４は、照射光に対する散乱光を測定し、対象までの距離を検出するＬＩＤＡＲ（Light Detection and Ranging、或いはLaser Imaging Detection and Ranging）である。ファインダ１４は、車両Ｍの任意の箇所に一つまたは複数が取り付けられる。

物体認識装置１６は、カメラ１０、レーダ装置１２、およびファインダ１４のうち一部または全部による検出結果に対してセンサフュージョン処理を行って、物体の位置、種類、速度などを認識する。物体認識装置１６は、認識結果を自動運転制御ユニット１００に出力する。

通信装置２０は、例えば、セルラー網やＷｉ−Ｆｉ（登録商標）網、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＤＳＲＣ（Dedicated Short Range Communication）などを利用して、車両Ｍの周辺に存在する他車両と通信し、或いは無線基地局を介して各種サーバ装置や遠隔操作システム３００と通信する。

ＨＭＩ３０は、車両Ｍの乗員に対して各種情報を提示すると共に、乗員による入力操作を受け付ける。ＨＭＩ３０は、各種表示装置、スピーカ、ブザー、タッチパネル、スイッチ、キーなどを含む。

ナビゲーション装置５０は、例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機５１と、ナビＨＭＩ５２と、経路決定部５３とを備え、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどの記憶装置に第１地図情報５４を保持している。ＧＮＳＳ受信機は、ＧＮＳＳ衛星から受信した信号に基づいて、車両Ｍの位置を特定する。車両Ｍの位置は、車両センサ７０の出力を利用したＩＮＳ（Inertial Navigation System）によって特定または補完されてもよい。ナビＨＭＩ５２は、表示装置、スピーカ、タッチパネル、キーなどを含む。ナビＨＭＩ５２は、前述したＨＭＩ３０と一部または全部が共通化されてもよい。経路決定部５３は、例えば、ＧＮＳＳ受信機５１により特定された車両Ｍの位置（或いは入力された任意の位置）から、ナビＨＭＩ５２を用いて乗員により入力された目的地までの経路を、第１地図情報５４を参照して決定する。第１地図情報５４は、例えば、道路を示すリンクと、リンクによって接続されたノードとによって道路形状が表現された情報である。第１地図情報５４は、道路の曲率やＰＯＩ（Point Of Interest）情報などを含んでもよい。また、経路決定部５３は、後述の通信障害発生予想位置をなるべく回避するように経路を決定する。経路決定部５３により決定された経路は、ＭＰＵ６０に出力される。また、ナビゲーション装置５０は、経路決定部５３により決定された経路に基づいて、ナビＨＭＩ５２を用いた経路案内を行ってもよい。なお、ナビゲーション装置５０は、例えば、ユーザの保有するスマートフォンやタブレット端末等の端末装置の機能によって実現されてもよい。また、ナビゲーション装置５０は、通信装置２０を介してナビゲーションサーバに現在位置と目的地を送信し、ナビゲーションサーバから返信された経路を取得してもよい。

ＭＰＵ６０は、例えば、推奨車線決定部６１として機能し、ＨＤＤやフラッシュメモリなどの記憶装置に第２地図情報６３を保持している。推奨車線決定部６１は、ナビゲーション装置５０から提供された経路を複数のブロックに分割し（例えば、車両進行方向に関して１００［ｍ］毎に分割し）、第２地図情報６３を参照してブロックごとに推奨車線を決定する。推奨車線決定部６１は、左から何番目の車線を走行するといった決定を行う。推奨車線決定部６１は、経路において分岐箇所や合流箇所などが存在する場合、車両Ｍが、分岐先に進行するための合理的な経路を走行できるように、推奨車線を決定する。

第２地図情報６３は、第１地図情報５４よりも高精度な地図情報である。第２地図情報６３は、例えば、車線の中央の情報あるいは車線の境界の情報等を含んでいる。また、第２地図情報６３には、道路情報、交通規制情報、住所情報（住所・郵便番号）、施設情報、電話番号情報などが含まれてよい。道路情報には、高速道路、有料道路、国道、都道府県道といった道路の種別を表す情報や、道路の車線数、各車線の幅員、道路の勾配、道路の位置（経度、緯度、高さを含む３次元座標）、車線のカーブの曲率、車線の合流および分岐ポイントの位置、道路に設けられた標識、通信障害発生予想位置、遠隔操作推奨地点等の情報が含まれる。通信障害発生予想位置は、トンネル、ビルの谷間、地下等の通信環境が悪く、通信障害の発生が予想される位置をいう。遠隔操作推奨地点は、混雑する地点等の自動運転が苦手とするハンドル操作やアクセル操作等で煩雑な操作が必要となる地点をいう。遠隔操作推奨地点は、過去の統計データ等から決定される。第２地図情報６３は、通信装置２０を用いて他装置にアクセスすることにより、随時、アップデートされてよい。

ＭＰＵ６０は、経路決定部５３により決定された経路、第２地図情報６３、及び後述の行動計画生成部１２３が生成する行動計画を参照し、推奨車線に通信障害発生予想位置があるかどうかを判定する。ＭＰＵ６０は、走行する予定のルートに通信障害発生予想位置を検出すると、通信障害発生予想位置が含まれるルートを回避し通信障害が発生しないルートになるように経路をリルートする。上記ＭＰＵ６０の構成は、遠隔操作システム３００に搭載されていてもよい。

車両センサ７０は、車両Ｍの速度を検出する車速センサ、加速度を検出する加速度センサ、鉛直軸回りの角速度を検出するヨーレートセンサ、車両Ｍの向きを検出する方位センサ等を含む。

運転操作子８０は、例えば、アクセルペダル、ブレーキペダル、シフトレバー、ステアリングホイールその他の操作子を含む。運転操作子８０には、操作量あるいは操作の有無を検出するセンサが取り付けられており、その検出結果は、自動運転制御ユニット１００、もしくは、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０のうち一方または双方に出力される。

自動運転制御ユニット１００は、例えば、第１制御部１２０と、第２制御部１４０と、被遠隔操作制御部１６０とを備える。第１制御部１２０、第２制御部１４０、および被遠隔操作制御部１６０は、それぞれ、ＣＰＵ（Central Processing Unit）などのプロセッサがプログラム（ソフトウェア）を実行することで実現される。また、以下に説明する第１制御部１２０、第２制御部１４０、および被遠隔操作制御部１６０の機能部のうち一部または全部は、ＬＳＩ（Large Scale Integration）やＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

第１制御部１２０は、例えば、外界認識部１２１と、自車位置認識部１２２と、行動計画生成部１２３とを備える。

外界認識部１２１は、カメラ１０、レーダ１２、およびファインダ１４から直接的に、或いは物体認識装置１６を介して入力される情報に基づいて、周辺車両の位置、および速度、加速度等の状態を認識する。周辺車両の位置は、その周辺車両の重心やコーナー等の代表点で表されてもよいし、周辺車両の輪郭で表現された領域で表されてもよい。周辺車両の「状態」とは、周辺車両の加速度やジャーク、あるいは「行動状態」（例えば車線変更をしている、またはしようとしているか否か）を含んでもよい。また、外界認識部１２１は、周辺車両に加えて、ガードレールや電柱、駐車車両、歩行者その他の物体の位置を認識してもよい。

自車位置認識部１２２は、例えば、車両Ｍが走行している車線（走行車線）、並びに走行車線に対する車両Ｍの相対位置および姿勢を認識する。自車位置認識部１２２は、例えば、第２地図情報６３から得られる道路区画線のパターン（例えば実線と破線の配列）と、カメラ１０によって撮像された画像から認識される車両Ｍの周辺の道路区画線のパターンとを比較することで、走行車線を認識する。この認識において、ナビゲーション装置５０から取得される車両Ｍの位置やＩＮＳによる処理結果が加味されてもよい。

そして、自車位置認識部１２２は、例えば、走行車線に対する車両Ｍの位置や姿勢を認識する。図３は、自車位置認識部１２２により走行車線Ｌ１に対する車両Ｍの相対位置および姿勢が認識される様子を示す図である。自車位置認識部１２２は、例えば、車両Ｍの基準点（例えば重心）の走行車線中央ＣＬからの乖離ＯＳ、および車両Ｍの進行方向の走行車線中央ＣＬを連ねた線に対してなす角度θを、走行車線Ｌ１に対する車両Ｍの相対位置および姿勢として認識する。なお、これに代えて、自車位置認識部１２２は、自車線Ｌ１のいずれかの側端部に対する車両Ｍの基準点の位置などを、走行車線に対する車両Ｍの相対位置として認識してもよい。自車位置認識部１２２により認識される車両Ｍの相対位置は、推奨車線決定部６１および行動計画生成部１２３に提供される。

行動計画生成部１２３は、目的地までの経路における車両Ｍの行動計画を生成する。行動計画は、自動運転において順次実行されるイベントと、各イベントにおいて車両Ｍが将来走行する目標軌道に関する情報を含む。行動計画生成部１２３は、推奨車線決定部６１により決定されて推奨車線を走行するように、且つ、車両Ｍの周辺状況に対応できるように、自動運転において順次実行されるイベントを決定する。イベントには、例えば、一定速度で同じ走行車線を走行する定速走行イベント、前走車両に追従する追従走行イベント、車線変更イベント、合流イベント、分岐イベント、緊急停止イベント、自動運転から遠隔操作に切り替えるための遠隔操作イベントなどがある。また、これらのイベントの実行中に、車両Ｍの周辺状況（周辺車両や歩行者の存在、道路工事による車線狭窄など）に基づいて、回避のための行動が計画される場合もある。

行動計画生成部１２３は、車両Ｍが将来走行する目標軌道を生成する。目標軌道は、例えば、速度要素を含んでいる。例えば、目標軌道は、所定のサンプリング時間（例えば０コンマ数［ｓｅｃ］程度）ごとに将来の基準時刻を複数設定し、それらの基準時刻に到達すべき目標地点（軌道点）の集合として生成される。このため、軌道点同士の間隔が広い場合、その軌道点の間の区間を高速に走行することを示している。

図４は、推奨車線に基づいて目標軌道が生成される様子を示す図である。図示するように、推奨車線は、目的地までの経路に沿って走行するのに都合が良いように設定される。行動計画生成部１２３は、推奨車線の切り替わり地点の所定距離手前（イベントの種類に応じて決定されてよい）に差し掛かると、車線変更イベント、分岐イベント、合流イベントなどを起動する。

各イベントの実行中に、障害物を回避する必要が生じた場合には、図示するように回避軌道が生成される。行動計画生成部１２３は、例えば、目標軌道の候補を複数生成し、安全性と効率性の観点に基づいて、その時点での最適な目標軌道を選択する。また、行動計画生成部１２３は、経路において遠隔操作推奨地点が含まれるルートに差し掛かると遠隔操作イベントを起動する。

第２制御部１４０は、走行制御部１４１を備える。走行制御部１４１は、行動計画生成部１２３によって生成された目標軌道を、予定の時刻通りに車両Ｍが通過するように、走行駆動力出力装置２００、ブレーキ装置２１０、およびステアリング装置２２０を制御する。

被遠隔操作制御部１６０の機能については後述する。

走行駆動力出力装置２００は、車両が走行するための走行駆動力（トルク）を駆動輪に出力する。走行駆動力出力装置２００は、例えば、内燃機関、電動機、および変速機などの組み合わせと、これらを制御するＥＣＵとを備える。ＥＣＵは、自動運転制御ユニット１００から入力される情報、或いは運転操作子８０から入力される情報に従って、上記の構成を制御する。

ブレーキ装置２１０は、例えば、ブレーキキャリパーと、ブレーキキャリパーに油圧を伝達するシリンダと、シリンダに油圧を発生させる電動モータと、ブレーキＥＣＵとを備える。ブレーキＥＣＵは、自自動運転制御ユニット１００から入力される情報、或いは運転操作子８０から入力される情報に従って電動モータを制御し、制動操作に応じたブレーキトルクが各車輪に出力されるようにする。ブレーキ装置２１０は、運転操作子８０に含まれるブレーキペダルの操作によって発生させた油圧を、マスターシリンダを介してシリンダに伝達する機構をバックアップとして備えてよい。なお、ブレーキ装置２１０は、上記説明した構成に限らず、走行制御部１４１から入力される情報に従ってアクチュエータを制御して、マスターシリンダの油圧をシリンダに伝達する電子制御式油圧ブレーキ装置であってもよい。

ステアリング装置２２０は、例えば、ステアリングＥＣＵと、電動モータとを備える。電動モータは、例えば、ラックアンドピニオン機構に力を作用させて転舵輪の向きを変更する。ステアリングＥＣＵは、自動運転制御ユニット１００から入力される情報、或いは運転操作子８０から入力される情報に従って、電動モータを駆動し、転舵輪の向きを変更させる。

［被遠隔操作制御］
以下、本実施形態による被遠隔操作制御について説明する。被遠隔操作制御部１６０は、遠隔操作イベントが起動された場合に、通信装置２０を用いて遠隔操作システム３００に遠隔操作を依頼し（遠隔操作リクエストを送信し）、遠隔操作システム３００から受信した制御情報に基づいて車両Ｍの加減速または操舵の少なくとも一方を自動的に制御する被遠隔操作を実行する。被遠隔操作制御部１６０は、例えば、遠隔操作決定部１６１を備える。遠隔操作決定部１６１は、遠隔操作イベントが起動された場合、車両Ｍの自動運転を停止し、車両Ｍの操作を遠隔操作に切り替える。

［車外設備］
以下、遠隔操作を行う側の車外設備について説明する。図５は、遠隔操作システム３００における装置構成を示す図である。図示するように、遠隔操作システム３００には、ネットワークＮＷを介して車両Ｍ（被遠隔操作車両）と通信する通信装置（通信部）３１０と、選択部３１１と、複数の遠隔操作装置３２０−１、３２０−２、３２０−３、…とが設けられる。以下、遠隔操作装置を区別しないときは、単に遠隔操作装置３２０と表記する。それぞれの遠隔操作装置３２０では、遠隔操作者が遠隔操作リクエストに備えて着座して待機している。通信装置３１０は、車両Ｍからの遠隔操作リクエストを受信する。

選択部３１１は、遠隔操作リクエストを送信した車両との通信環境が良好ないずれかの遠隔操作装置３２０を選択する。通信環境が良好とは、例えば通信速度が速い、または、通信の切断が起きにくく安定していること、または、通信距離が短いことをいう。通信距離が短いとは、送信側から送信された電波が受信側に到達する距離が短い無線通信の状態を示す。選択部３１１は、遠隔操作のリクエストを送信した車両Ｍとの通信距離が短い、または、通信速度が最も早い、または、通信が最も安定している遠隔操作装置３２０のうちのいずれかを優先して選択する。通信装置３１０は、選択された遠隔操作装置３２０に対して、車両Ｍから受信した情報（前述したように、遠隔操作リクエスト、行動計画、カメラ１０により撮像された画像、速度、角速度、車種など）を送信し、遠隔操作を行わせる。

また、遠隔操作システム３００は、通信装置３１０から受信した車両Ｍの行動計画に基づいて、経路において遠隔操作推奨地点が含まれるルートに差し掛かる場合に車両Ｍの自動運転から遠隔操作に切り替えるようにしてもよい。その他、遠隔操作システム３００は、遠隔操作推奨地点がアップデートなどにより追加されて走行中のルートにおいて追加された遠隔操作推奨地点が含まれるルートに差し掛かる場合に車両Ｍの自動運転から遠隔操作に切り替えるようにしてもよい。これにより、遠隔操作システム３００は、車両Ｍから遠隔操作リクエストが送信されなくても遠隔操作システム３００側の判断によっても遠隔操作の切り替えを行うことができる。

図６は、遠隔操作装置３２０の構成を模式的に示す図である。遠隔操作装置３２０は、例えば、提示部３２１と、スピーカ３２２と、シート３２３と、ステアリングホイール３２４と、アクセルペダルおよびブレーキペダルなどのペダル類３２５と、遠隔操作受付部（受付部）３３０と、遠隔操作制御部（制御部）３４０とを備える。遠隔操作受付部３３０は、遠隔操作者Ｏによる操作を受け付ける。遠隔操作制御部３４０は、遠隔操作受付部３３０により受け付けられた操作に基づいて制御情報を生成し、通信装置３１０を用いて車両Ｍに送信する。

図７は、提示部３２１の構成を示すブロック図である。提示部３２１は、車両Ｍから受信した車両Ｍの状況を含む情報を遠隔操作者Ｏに提示する。提示部３２１は、推定状況生成部３２１ａと、表示部３２１ｂとを備える。推定状況生成部３２１ａは、ＣＰＵなどのプロセッサがプログラム（ソフトウェア）を実行することで実現される。また、推定状況生成部３２１ａは、ＬＳＩやＡＳＩＣ、ＦＰＧＡなどのハードウェアによって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

表示部３２１ｂは、例えば、ＬＣＤ（Liquid Crystal Display）や有機ＥＬ（Electroluminescence）表示装置であり、画像や情報を表示する。なお、表示部３２１ｂは、ＨＭＤ（Head Mount Display）であってもよい。表示部３２１ｂは、例えば車両Ｍのカメラ１０により撮像された車外の風景の画像、車両Ｍの速度やエンジン回転数などを表示する。

ここで、車両Ｍと遠隔操作装置３２０との間の通信には、通信ラグが発生することが想定される。図８は、通信ラグが発生する間の車両Ｍの移動を示す図である。表示部３２１ｂが車両Ｍの状況をそのまま表示すると、車両Ｍと遠隔操作装置３２０との間の通信における時間的な上りの通信ラグが発生する。

上りの通信ラグは、車両Ｍと遠隔操作システム３００との間の通信に要する時間や遠隔操作システム３００が車両Ｍからの情報を受信してから表示部３２１ａに画像を表示するまでに要する処理時間等が含まれる。例えば、位置Ｐ１で車両Ｍの状況を撮像するとその状況が表示部３２１ｂに表示される。このとき上りの通信ラグは時間Ｔ１を要し、車両ＭはＰ１の位置からＰ２の位置に移動する。

そして遠隔操作者Ｏが表示部３２１ｂを見て操作を行った後、車両Ｍが操作に応答するまでにも下りの通信ラグが発生する。下りの通信ラグは、遠隔操作者Ｏが操作を行った時から車両Ｍが制御情報を受信するまでの時間と車両Ｍが制御情報に基づく操作を開始するまでの処理時間等が含まれる。下りの通信ラグは、時間Ｔ２を要し、車両ＭはＰ２の位置からＰ３の位置に移動する。従って、操作者Ｏが見るＰ１の位置の車両Ｍの状況に必要な操作を行うと、操作が開始される車両ＭはＰ３の位置にあり、遠隔操作におけるずれが生じる。

そこで表示部３２１ｂは、上り及び下りの通信ラグの影響を低減するように車両Ｍの状況を先読みした画像を表示する。先読みするとは、撮像された時点での車両Ｍの状況から所定時間経過した後の将来の車両Ｍの状況を推定することをいう。例えば推定状況生成部３２１ａは、車両Ｍから受信した車両Ｍの状況を先読みし、撮像された時点での車両Ｍの状況から推定される推定状況を示す画像を生成して表示部３２１ｂに表示する。

所定時間は想定される通信ラグを合計することにより決定される。例えば上りの通信ラグに要する時間Ｔ１と下りの通信ラグに要する時間Ｔ２の和が合計の通信ラグとして演算される。

図９は、カメラ１０によって撮像された画像Ｖに基づいて生成された推定状況に基づく画像を例示する図である。推定状況生成部３２１ａは、Ｐ１の位置で撮像された車両Ｍの状況の画像Ｖに基づいてＰ３の位置の車両Ｍの状況の推定状況を生成する。推定状況生成部３２１ａは、推定状況を示す画像を、例えばカメラ１０によって撮像された画像を加工することにより生成する。例えば推定状況生成部３２１ａは、推定状況を撮像された景色や物体の画像を車両Ｍの速度、移動方向等の情報に基づいて移動させることにより生成する。

推定状況生成部３２１ａは、物体が移動している場合には、連続する画像フレームを比較して物体の移動量や移動方向を推定する。そして、推定状況生成部３２１ａは、車両の速度、移動方向の情報に基づいて所定時間経過後における物体の位置を推定し、推定状況を示す画像Ｓを生成する。また、推定状況を示す画像Ｓには、例えば撮像された物体や景色の将来的な位置を示す単純な枠線が示されてもよい。

推定状況生成部３２１ａは、撮像された車両Ｍの状況に変化が少ないと判断した場合は、撮像された画像Ｖの一部を拡大して所定時間経過後に相当する推定状況を示す画像Ｓを生成してもよい。図１０は、撮像された画像Ｖの一部を拡大することにより生成された推定状況Ｓを例示する図である。例えば他の車両が前方に無く直線的な道路を車両Ｍが走行している場合、所定時間経過後の状況は、撮像された時点の画像の中央近傍の画像を速度データに基づいて拡大した画像で示される状況と類似していると推定される。そこで、推定状況生成部３２１ａは、この拡大された画像Ｓを推定状況が示されている画像として生成する。

その他、推定状況生成部３２１ａは、通信装置３１０により取得された車両Ｍの行動計画に基づいて車両Ｍの状況を先読みして推定状況を生成してもよい。行動計画を参照すると、車両Ｍの右折、左折、レーンチェンジ等の方向制御や停止といった、撮像された車両Ｍの状況からは推定できない状況が将来的に発生することが予測される。そのため、推定状況生成部３２１ａは、行動計画のイベントのタイミングと通信ラグを考慮して方向制御等の推定状況を生成する。

この場合、推定状況生成部３２１ａは、推定状況を示す画像をＣＧ（Computer Graphics）等で合成された画像として生成してもよい。その他、推定状況生成部３２１ａは、多少の通信ラグが生じていても他の車両と接触しないよう車間距離を十分に広げたり車両Ｍの速度を落としたりするよう遠隔操作者Ｏに遠隔操作を行わせ、安全マージンを確保するよう推定状況を示す画像を表示するようにしてもよい。例えば推定状況生成部３２１ａは、推定状況に示す画像において他の車両を実際よりも近くに表示したり景色を実際よりも拡大して表示したりし、遠隔操作者Ｏに安全側になるような遠隔操作を行わせるようにしてもよい。即ち、推定状況生成部３２１ａは、通信環境に基づいて遠隔操作で行われる操作の安全マージンが確保されるよう推定状況を示す画像を表示する。

スピーカ３２２は、車両Ｍの物体認識装置１６により認識された障害物の車両Ｍへの接近に応じて警告音を発する。シート３２３には、遠隔操作者Ｏが着座する。提示部３２１は、推定状況を示す画像を表示し、遠隔操作者Ｏにステアリングホイール３２４やペダル類３２５などの操作を運転操作子に対して行わせる。これらに対する操作量は、図示しないセンサによって検出され、遠隔操作受付部３３０に出力される。運転操作子は、ジョイスティックなど、他の態様の運転操作子であってもよい。遠隔操作受付部３３０は、運転操作子から入力された操作量に対応する情報を遠隔操作制御部３４０に出力する。遠隔操作制御部３４０は、転操作子から入力された操作量に対応する情報に基づいて、車両Ｍに送信する制御情報を生成する。制御情報は、通信装置３１０によって送信される。

通信装置３１０は、このように生成された制御情報を、車両Ｍに送信する。なお、運転操作子には、操作量によって生じるべき反力を作用させるための反力出力装置が付設されている。反力を正確に決定するために、車両Ｍから遠隔操作装置３２０に対して、速度や角速度などの情報が供給されると好適である。送信される制御情報は、例えばステアリングホイール３２４やペダル類３２５に対する操作量である。

次に、遠隔操作システム３００の処理の流れについて説明する。図１１は、遠隔操作システム３００の処理の流れを示すフローチャートである。遠隔操作システム３００は、遠隔操作リクエストを受信した後、通信装置３１０を介して車両Ｍから車両Ｍの状況を含む情報を受信する（ステップＳ１００）。選択部３１１は、複数の遠隔操作装置３２０の中から車両Ｍとの通信環境が良好な一つの遠隔操作装置３２０を選択する（ステップＳ１１０）。選択された遠隔操作装置３２０において、推定状況生成部３２１ａは、車両Ｍの状況を先読みした車両Ｍの推定状況を示す画像を生成する。そして推定状況を示す画像は、表示部３２１ｂに表示される（ステップＳ１２０）。

遠隔操作受付部３２０は、表示部３２１ｂに表示された推定状況に基づいた遠隔操作者Ｏの各操作を受け付ける（ステップＳ１３０）。遠隔操作制御部３４０は、遠隔操作受付部３２０で受け付けた遠隔操作者Ｏの各操作を制御情報として通信装置３１０を介して車両Ｍに送信する（ステップＳ１４０）。

上記のステップ１１０において、遠隔操作システム３００は、遠隔操作リクエストを受信した後、選択部３１１によって複数の遠隔操作装置３２０の中から一つの遠隔操作装置３２０を選択しているが、選択部３１１によらずに自動的に一つの遠隔操作装置３２０を選択してもよい。例えば、遠隔操作リクエストを受信した後、通信装置３１０は、通信環境を監視して、複数の遠隔操作装置３２０の中から車両Ｍとの通信環境が最も良好な一つの遠隔操作装置３２０を自動的に選択するようにしてもよい。

図１２は、遠隔操作装置３２０を自動的に選択する処理を示すシーケンス図である。図においてｍ、ｐ、ｙは正の整数である。自動運転が行なわれている複数の車両Ｍから遠隔操作リクエストが無作為に送信される。通信装置３１０は、車両Ｍとの通信環境が良好な順に複数の遠隔装置３２０を順位付ける。通信装置３１０は、まず車両Ｍとの通信環境が最も良好な遠隔装置３２０−ｍを選択する。通信装置３１０は、車両Ｍと遠隔装置３２０−ｍとの間の通信の接続を確立する。通信装置３１０は、車両Ｍと遠隔装置３２０−ｍとの間の通信の接続が確立できない場合、まず車両Ｍとの通信環境が２番目に良好な遠隔装置３２０−ｐを選択する。

そして、通信装置３１０は、車両Ｍと遠隔装置３２０−ｐとの間の通信の接続を確立する。通信装置３１０は、車両Ｍと遠隔装置３２０−ｐとの間の通信の接続が確立できない場合は、車両Ｍとの通信環境が３番目に良好な遠隔装置３２０−ｙを選択する。通信装置３１０は、遠隔装置３２０−ｙとの間の通信の接続が確立できない場合は、上記と同様に遠隔装置３２０−ｙの次に通信環境が良好な通信装置３２０を選択すればよい。

以上説明した第１実施形態の交通システム１によれば、自動運転が行われている車両Ｍが自動運転から遠隔操作に切り替えられる際に、複数の遠隔装置３２０の中から車両Ｍとの間の通信環境が最も良好な一つの遠隔装置３２０を選択することができる。

また、交通システム１によれば、車両Ｍと遠隔操作システム３００との間の通信に通信ラグが生じていても、通信ラグの影響を低減して遠隔操作者Ｏの遠隔操作を受け付けることができる。交通システム１は、車両Ｍが取得した車両Ｍの状況を遠隔操作システム３００が受信すると、遠隔操作システム３００は、車両Ｍの状況を先読みした推定状況を示す画像を生成して表示するため、遠隔操作者Ｏは、将来の車外の状況に合わせてステアリングホイール３２４やペダル類３２５に対する操作を行うことができる。

＜第２実施形態＞
第１実施形態では、車両Ｍと遠隔操作システム３００との間の通信ラグに対して遠隔操作システム３００側で推定状況を生成することにより車両が将来的に必要となる操作を遠隔操作者Ｏから受け付けるものとして説明した。第２実施形態では、車両Ｍ側が車両Ｍの状況を先読みし、先読みした将来の車両Ｍの状況を遠隔操作システム３００に送信する。

図１３は、第２実施形態にかかる車両Ｍに搭載される構成の一例を示す図である。車両Ｍは、自身で取得した状況よりも先読みした情報を遠隔操作システム３００に送信する。第２実施形態では、車両Ｍの第１制御部１２０は、推定状況生成部１２４を備える。

推定状況生成部１２４は、通信装置２０と遠隔操作システム３００との間の通信ラグを演算する。そして推定状況生成部１２４は、通信ラグに基づいてカメラ１０が撮像した車両Ｍの状況から、通信ラグに対応する所定時間の経過後に推定される推定状況を生成する。このとき、推定状況生成部１２４は、行動計画生成部１２３が生成する行動計画を参照して車両Ｍの状況を推定して推定状況を示す画像を生成してもよい。推定状況生成部１２４で生成された推定状況は、通信装置２０を介して遠隔操作システム３００に送信される。推定状況を受信した遠隔操作システム３００において遠隔操作者Ｏは、表示される推定状況を示す画像を見ながら遠隔操作を行う。

以上説明した第２実施形態によれば、車両Ｍ側で車両Ｍの状況を先読みすることで、将来の車両Ｍの状況を遠隔操作システム３００に送信することができる。これにより交通システム１は、各車両Ｍで推定状況に関連する処理を行い、遠隔操作システム３００の負荷を分散することができる。

＜第３実施形態＞
第１実施形態及び第２実施形態では、カメラ１０で撮像した車両Ｍの状況から推定状況を生成するものとして説明した。第３実施形態では、カメラ１０以外の撮像装置により撮像された画像を用いて推定状況を示す画像を生成する。

図１４は、定点カメラＫで撮像される車両の状態を示す図である。ネットワークＮＷ上には定点カメラＫで撮像された景色をリアルタイムで提供するストリートビューがある。定点カメラＫは、例えば３６０度の視野及びズーム機能を持ち、撮像された景色の画像はユーザが自由に視点方向及びズームを設定できる。

車両Ｍが定点カメラＫの視野内に位置している場合、推定状況を示す画像は定点カメラＫで撮像された景色の画像を用いて合成された画像として生成されていてもよい。推定状況生成部３２１ａは、定点カメラＫの画像から推定状況の景色を車両Ｍの現在位置から推定される将来的な位置に対応して生成する。推定状況生成部３２１ａは、推定状況の景色を視点方向とズームとを定めて生成する。動いている物体は、所定時間経過後の位置が推定されて生成され、推定された景色に合成される。これにより、推定状況を示す画像が生成される。

以上説明した第３実施形態によれば、ネットワークＮＷに接続された定点カメラＫで撮像された景色の画像データを用いることにより、車両Ｍと遠隔操作システム３００との間で送受信される車両Ｍの状況の画像データの容量を低減することができ、通信ラグを低減することができる。

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

１ 交通システム
１０ カメラ
１６ 物体認識装置
２０ 通信装置
３０ ＨＭＩ
８０ 運転操作子
１００ 自動運転制御ユニット
１２０ 第１制御部
１２４ 推定状況生成部
１４０ 第２制御部
１６０ 被遠隔操作制御部
１６１ 遠隔操作決定部
３００ 遠隔操作システム
３１０ 通信装置
３１１ 選択部
３２０ 遠隔操作装置
３２１ 提示部
３２１ａ 推定状況生成部
３３０ 遠隔操作受付部
３４０ 遠隔操作制御部

Claims (12)

1. 車両と通信し、遠隔操作のリクエストを含む情報を受信する通信部と、
   前記通信部により前記車両から受信された前記車両の状況を遠隔操作者に提示する提示部と、
   前記遠隔操作者による操作を受け付ける受付部と、
   前記受付部により受け付けられた操作に基づいて制御情報を生成し、前記通信部を用いて前記車両に送信する制御部と、
   を備える遠隔操作装置を複数備え、
   前記複数の遠隔操作装置のうち、前記遠隔操作のリクエストを送信した車両との通信環境が良好な遠隔操作装置が、遠隔操作を実行する、
   車両の遠隔操作システム。
2. 前記複数の遠隔操作装置のうち、前記遠隔操作のリクエストを送信した車両との通信環境が良好な遠隔操作装置を選択する選択部を更に備える、
   請求項１記載の遠隔操作システム。
3. 前記選択部は、前記遠隔操作のリクエストを送信した車両との通信距離が短い、または、通信速度が最も早い、または、通信が最も安定している遠隔操作装置のうちのいずれかを優先して選択する、
   請求項２記載の遠隔操作システム。
4. 前記提示部は、前記通信部により前記車両から受信された前記車両の状況に基づいて、将来の車両の状況を推定し、前記推定した将来の車両の状況を前記遠隔操作者に提示する、
   請求項１に記載の遠隔操作システム。
5. 前記提示部は、前記通信部により前記車両から受信された車両の状況に基づく画像を表示し、更に、前記通信部により前記車両から受信された車両の状況が、前記車両の前方に物体が少ない状況である場合、前記通信部により前記車両から受信された車両の状況に基づく画像の一部を拡大した画像を、前記将来の車両の状況を示す画像として表示する、
   請求項４に記載の遠隔操作システム。
6. 前記通信部は、前記車両から自動運転の行動計画に関する情報を取得し、
   前記提示部は、前記行動計画に基づいて将来の車両の状況を推定する、
   請求項４に記載の遠隔操作システム。
7. 前記提示部は、定点観測画像と、前記通信部により前記車両から受信された車両の状況に基づく画像とを合成することで、前記将来の車両の状況を示す画像を生成する、
   請求項４記載の遠隔操作システム。
8. 前記車両が走行する予定のルートに通信障害発生予想位置が含まれるルートが含まれるか否かを判定する判定部と、
   前記判定部により通信障害発生予想位置が含まれるルートが含まれると判定された場合に、前記通信障害発生予想位置を回避するように経路を変更する変更部と、
   を備える、請求項１記載の遠隔操作システム。
9. 請求項１記載の遠隔操作システムと、
   前記遠隔操作を受ける車両に搭載される車両制御システムと、
   を備える交通システム。
10. 前記車両制御システムは、前記車両の状況に基づいて将来の車両の状況を推定し、前記推定した将来の車両の状況を、前記遠隔操作システムに送信する、
    請求項９に記載の交通システム。
11. 前記車両制御システムは、行動計画に基づいて自動運転を実行し、前記行動計画に基づいて、将来の車両の状況を推定する、
    請求項１０に記載の交通システム。
12. 複数の遠隔操作装置が、
    車両と通信し、遠隔操作のリクエストを含む情報を受信し、
    前記車両から受信された前記車両の状況を遠隔操作者に提示し、
    前記遠隔操作者による操作を受け付け、
    前記受け付けられた操作に基づいて制御情報を生成し、前記車両に送信する遠隔操作方法であって、
    前記複数の遠隔操作装置のうち、前記遠隔操作のリクエストを送信した車両との通信環境が良好な遠隔操作装置が、遠隔操作を実行する、
    遠隔操作方法。

Images