JP2024001846A - 遠隔支援装置、遠隔支援方法、及び遠隔支援プログラム - Google Patents

Abstract

【課題】自動運転車両の走行を支援するための遠隔操作に関与するスタッフの状況判断能力の向上を支援することができる。【解決手段】遠隔支援装置は、 自動運転車両から支援地点における遠隔支援が要求された場合に、前記自動運転車両により撮影された少なくとも前記自動運転車両の前方を含む前方画像を、前記自動運転車両に対して遠隔操作を行う遠隔操作装置へ送信する前方画像送信部と、前記遠隔操作装置から前記支援地点における遠隔操作に対応する操作信号を受信する受信部と、受信した前記操作信号を前記自動運転車両へ送信する操作信号送信部と、前記自動運転車両が前記支援地点に基づいて前記遠隔操作装置での表示を切り替えるように設定した切替地点を通過した後に、少なくとも前記自動運転車両の後方を含むように撮影されて前記後方を強調した後方画像を、前記遠隔操作装置へ送信する後方画像送信部と、を備える。【選択図】図１

Description

本開示は、遠隔支援装置、遠隔支援方法、及び遠隔支援プログラムに関する。

特許文献１には、記憶部（３５）に記憶された最新の評価結果により操作能力が肯定される複数のオペレータの中から選択されたオペレータに車両（１０）を遠隔操作するタスクを割り当てるタスク割当部（４０）と、オペレータの遠隔操作により車両を走行させる遠隔操作部（４１）を用いて、選択されたオペレータが前記タスク割当部により割り当てられた前記タスクを遂行した際の、選択されたオペレータの操作能力の評価結果を取得する評価取得部（４２）と、前記評価取得部で取得された最新の評価結果を前記記憶部に記憶するように制御する記憶制御部（４３）と、を備えた遠隔支援装置が開示されている。

特開２０２１－１７０１９１号公報

自動運転車両の走行を支援するために遠隔操作を行うオペレータ及びオペレータを監督する監督者等の遠隔操作に関与する遠隔操作者には、正確且つ速やかな状況判断能力が求められる。

上記特許文献１に記載された技術は、オペレータの遠隔操作の能力を担保するために、オペレータが遂行したタスクを評価した評価結果を提示する。

しかしながら、同じ支援地点でも交通状況は毎回異なるため、その都度評価が変わる可能性がある。従って、遠隔操作を行う際に、どのように改善すればよいか判断しにくい。このため、上記特許文献１記載の技術では、オペレータの状況判断能力の向上を支援することが困難である、という問題があった。

本開示は、自動運転車両の走行を支援するための遠隔操作に関与するスタッフの状況判断能力の向上を支援することができる遠隔支援装置、遠隔支援方法、及び遠隔支援プログラムを提供することを目的とする。

本開示の第１態様に係る遠隔支援装置は、自動運転車両から支援地点における遠隔支援が要求された場合に、前記自動運転車両により撮影された少なくとも前記自動運転車両の前方を含む前方画像を、前記自動運転車両に対して遠隔操作を行う遠隔操作装置へ送信する前方画像送信部と、前記遠隔操作装置から前記支援地点における遠隔操作に対応する操作信号を受信する受信部と、受信した前記操作信号を前記自動運転車両へ送信する操作信号送信部と、前記自動運転車両が前記支援地点に基づいて前記遠隔操作装置での表示を切り替えるように設定した切替地点を通過した後に、少なくとも前記自動運転車両の後方を含むように撮影されて前記後方を強調した後方画像を、前記遠隔操作装置へ送信する後方画像送信部と、を備える。

第２態様に係る遠隔支援装置は、第１態様に係る遠隔支援装置において、前記後方画像送信部は、前記遠隔操作の内容に応じて定められた撮影範囲の後方画像を送信する。

第３態様に係る遠隔支援装置は、第１態様又は第２態様に係る遠隔支援装置において、前記受信部は、前記遠隔操作装置に表示された前方画像における前記遠隔操作装置のオペレータの視線位置に関する視線位置情報を受信し、前記後方画像送信部は、前記視線位置情報に基づいて特定した前記オペレータの注視範囲を含む後方画像を前記遠隔操作装置へ送信する。

第４態様に係る遠隔支援装置は、第３態様に係る遠隔支援装置において、前記後方画像送信部は、前記注視範囲が複数存在する場合は、複数の前記注視範囲のうち最も注視時間が長い注視範囲を含む後方画像を前記遠隔操作装置へ送信する。

第５態様に係る遠隔支援装置は、第３態様に係る遠隔支援装置において、前記後方画像送信部は、前記注視範囲が複数存在する場合は、複数の前記注視範囲を全て含む後方画像を前記遠隔操作装置へ送信する。

第６態様に係る遠隔支援装置は、第１態様～第５態様の何れかの態様に係る遠隔支援装置において、前記後方画像送信部は、前記遠隔操作装置のオペレータの見落とし対象のオブジェクトを強調した後方画像を前記遠隔操作装置へ送信する。

第７態様に係る遠隔支援装置は、第３態様～第５態様の何れかの態様に係る遠隔支援装置において、前記後方画像送信部は、前記注視範囲に基づいて特定した前記オペレータの見落とし対象のオブジェクトを強調した後方画像を前記遠隔操作装置へ送信する。

第８態様に係る遠隔支援装置は、第１態様に係る遠隔支援装置において、前記後方画像送信部は、前記後方画像において新たに検知されたオブジェクトを強調した後方画像を前記遠隔操作装置へ送信する。

第９態様に係る遠隔支援装置は、第１態様に係る遠隔支援装置において、前記後方画像送信部は、前記自動運転車両で検知された対向車の速度変化に関する速度情報が表示された後方画像を前記遠隔操作装置へ送信する

第１０態様に係る遠隔支援装置は、第１態様に係る遠隔支援装置において、前記後方画像送信部は、前記切替地点を含む範囲を俯瞰で撮影した俯瞰画像を取得して前記遠隔操作装置へ送信する。

第１１態様に係る遠隔支援装置は、第１態様に係る遠隔支援装置において、前記後方画像は、前記自動運転車両の前方を表示する表示領域よりも前記自動運転車両の後方を表示する表示領域の方が大きい画像である。

第１２態様に係る遠隔支援方法は、少なくとも１つのプロセッサが、自動運転車両から支援地点における遠隔支援が要求された場合に、前記自動運転車両により撮影された少なくとも前記自動運転車両の前方を含む前方画像を、前記自動運転車両に対して遠隔操作を行う遠隔操作装置へ送信し、前記遠隔操作装置から前記支援地点における遠隔操作に対応する操作信号を受信し、受信した前記操作信号を前記自動運転車両へ送信し、前記自動運転車両が前記支援地点に基づいて前記遠隔操作装置での表示を切り替えるように設定した切替地点を通過した後に、少なくとも前記自動運転車両の後方を含むように撮影されて前記後方を強調した後方画像を、前記遠隔操作装置へ送信することを含む処理を実行する。

第１３態様に係る遠隔支援プログラムは、少なくとも１つのプロセッサに、自動運転車両から支援地点における遠隔支援が要求された場合に、前記自動運転車両により撮影された少なくとも前記自動運転車両の前方を含む前方画像を、前記自動運転車両に対して遠隔操作を行う遠隔操作装置へ送信し、前記遠隔操作装置から前記支援地点における遠隔操作に対応する操作信号を受信し、受信した前記操作信号を前記自動運転車両へ送信し、前記自動運転車両が前記支援地点に基づいて前記遠隔操作装置での表示を切り替えるように設定した切替地点を通過した後に、少なくとも前記自動運転車両の後方を含むように撮影されて前記後方を強調した後方画像を、前記遠隔操作装置へ送信することを含む処理を実行させる。

本開示によれば、自動運転車両の走行を支援するための遠隔操作に関与するスタッフの
状況判断能力の向上を支援することができる、という効果を有する。

自動運転システムの構成図である。 撮影範囲について説明するための図である。 遠隔支援部の機能ブロック図である。 遠隔支援装置のハードウェア構成を示す図である。 遠隔支援処理のフローチャートである。 交差点における遠隔支援前の車両の状態を示す図である。 交差点における遠隔支援後の車両の状態を示す図である。 交差点における遠隔支援前の車両の状態を示す図である。 交差点における遠隔支援後の車両の状態を示す図である。 バス停における遠隔支援前の車両の状態を示す図である。 バス停における遠隔支援後の車両の状態を示す図である。 障害物が存在する場合における遠隔支援前の車両の状態を示す図である。 障害物が存在する場合における遠隔支援後の車両の状態を示す図である。 横断歩道における遠隔支援前の車両の状態を示す図である。 横断歩道における遠隔支援後の車両の状態を示す図である。 オペレータ端末の表示画面の一例を示す図である。 オペレータ端末の表示画面の一例を示す図である。 オペレータ端末の表示画面の一例を示す図である。 オペレータ端末の表示画面の一例を示す図である。 第２実施形態に係るオペレータ端末の機能ブロック図である。 オペレータの注視範囲を含む後方画像について説明するための図である。 見落とし対象のオブジェクトについて説明するための図である。 対向車の速度変化について説明するための図である。 インフラカメラが設置された交差点を示す図である。 俯瞰画像の一例を示す図である。 第３実施形態に係る撮影範囲について説明するための図である。 第３実施形態に係るオペレータ端末の表示画面の一例を示す図である。 第３実施形態に係るオペレータ端末の表示画面の一例を示す図である。 第４実施形態に係るオペレータ端末の表示画面の一例を示す図である。 第４実施形態に係るオペレータ端末の表示画面の一例を示す図である。

以下、図面を参照して、本発明を実施するための形態を詳細に説明する。

＜第１実施形態＞

図１に示すように、本実施形態の自動運転システム１００は、車両１０、自動運転センターに配置された遠隔支援装置５０、及びオペレータによって操作される遠隔操作装置の一例としてのオペレータ端末８０を備える。本実施形態における車両１０は、自動的に運行される自動運転車両である。自動運転システム１００は、支援地点に車両１０（自動運転車両）が到着した際に、遠隔地にいるオペレータが車両１０の遠隔支援を行うためのシステムである。

本実施形態において、遠隔支援とは、オペレータが遠隔地から車両１０を操作すること、又は、オペレータが遠隔地から車両１０を用いて監視を行うことをいう。支援地点とは、車両１０が自律的に運転を行うことが困難な地点、又は、オペレータが車両を遠隔支援可能な地点をいう。支援地点としては、例えば、交差点、工事現場、駐車場、高速道路、自動車専用道路、サービスエリア、パーキングエリア、荷物集積所、料金所、及びインターチェンジ等が挙げられるが、これらに限られるものではない。

本実施形態の自動運転システム１００は、一又は複数の車両１０を含む。各車両１０は、車両側通信機１２、カメラ１４、測位装置１６、及び車両側制御部１８を備える。

車両側通信機１２は、遠隔支援装置５０との間で無線通信を行う。

カメラ１４は、図２に示すように、車両１０の前方範囲３０Ｆ、右側方範囲３０ＲＳ、左側方範囲３０ＬＳ、及び後方範囲３０Ｒを撮影する。カメラ１４は、各範囲を個別に撮影する４個のカメラを備えた構成としてもよいし、全範囲を撮影可能な３６０度カメラを備えた構成としてもよい。本実施形態では、各範囲を撮影する４個のカメラを備えた場合について説明する。なお、以下では、便宜上、少なくとも前方範囲３０Ｆを含む範囲を撮影するカメラをカメラ１４Ｆ、少なくとも右側方範囲３０ＲＳを含む範囲を撮影するカメラをカメラ１４ＲＳ、少なくとも左側方範囲３０ＬＳを含む範囲を撮影するカメラをカメラ１４ＬＳ、少なくとも後方範囲３０Ｒを含む範囲を撮影するカメラをカメラ１４Ｒと称する。また、各カメラを区別しない場合はカメラ１４と称する。

図２に示すように、前方範囲３０Ｆは、車両１０を平面視した場合に、車両１０の前方向（進行方向）Ｆを中心とした右４５度及び左４５度の合計９０度の範囲である。右側方範囲３０ＲＳは、車両１０を平面視した場合に車両１０の右方向ＲＳを中心とした右４５度及び左４５度の合計９０度の範囲である。左側方範囲３０ＬＳは、車両１０を平面視した場合に車両１０の左方向ＬＳを中心とした右４５度及び左４５度の合計９０度の範囲である。後方範囲３０Ｒは、車両１０を平面視した場合に車両１０の後方向（後退方向）Ｒを中心とした右４５度及び左４５度の合計９０度の範囲である。

測位装置１６は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）受信機又はＧＮＳＳ（Ｇｌｏｂａｌ Ｎａｖｉｇａｔｉｏｎ Ｓａｔｅｌｌｉｔｅ Ｓｙｓｔｅｍ）受信機を備え、車両１０の現在位置を測位する。

車両側制御部１８は、車両側通信機１２、カメラ１４、及び測位装置１６の制御を行う。また、車両側制御部１８は、ＣＰＵおよびメモリを備えるコンピュータとして構成されており、ＣＰＵがメモリに記憶されたプログラムを実行することにより動作制御部２０として機能する。

動作制御部２０は、オペレータによる遠隔操作に基づき、車両の動作（加速、減速、制動、操舵）を制御する。また、動作制御部２０は、車両１０の識別情報（車両ＩＤ）及び現在位置情報を含む車両情報を、車両側通信機１２を通じて、所定の周期で繰り返し遠隔支援装置５０に送信する。車両情報には、車両１０の車種及び乗員を識別するための情報、目的地の位置を表す情報が含まれてもよい。また、動作制御部２０は、オペレータによって車両１０の遠隔支援が行われる場合には、カメラ１４によって撮影された撮影画像を、車両側通信機１２を通じて、遠隔支援装置５０に送信する。撮影画像は、本実施形態では一例として動画像（映像）である。

遠隔支援装置５０は、通信部５２、制御部６０、及び記憶装置７０を備える。

通信部５２は、車両１０との間で無線通信を行う。また、通信部５２は、オペレータ端末８０との間で有線又は無線による通信を行う。

記憶装置７０は、地図データベース７２、オペレータ情報データベース７４、及び遠隔支援プログラム７６を記憶している。

地図データベース７２には、支援地点の位置が登録されている。また、地図データベース７２には、交差点及び道路の接続状態を示す道路データ、渋滞情報、交通規制情報、及び支援地点毎の交通量を含む交通情報等が記録されている。交通情報は、例えば、通信部５２を通じて、他のサーバから取得されて記憶される。

オペレータ情報データベース７４には、例えば、車両の遠隔支援を行う各オペレータのスケジュール、現在空いているオペレータの数、遠隔支援の内容、支援地点毎の交通量の履歴、遠隔支援した際の所要時間の履歴等が記録される。

制御部６０は、通信部５２及び記憶装置７０の制御を行う。制御部６０は、機能的には、経路計画部６２、遠隔支援部６４、予測部６６、記録部６８、及び割当部６９を備える。

経路計画部６２は、各車両１０が走行する経路を特定する。より具体的には、経路計画部６２は、各車両１０が支援地点を経由しつつ出発地から目的地に至る経路を、地図データベース７２に記録された道路データ、交通情報、及び支援地点の位置に基づき特定する。出発地、目的地、及び経由する支援地点は、例えば、オペレータ又はその管理者により設定されたり、車両１０からの要求に応じて設定されたりする。経路計画部６２は、特定した経路を、通信部５２を通じて各車両１０に配信する。なお、経路の特定は、各車両１０の車両側制御部１８において行われてもよい。また、経路の特定は、各車両１０からの要求に応じて行われてもよい。

遠隔支援部６４は、オペレータによる遠隔操作に基づき支援地点における車両１０の遠隔支援を行う。遠隔支援部６４は、図３に示すように、前方画像送信部４０、受信部４２、操作信号送信部４４、及び後方画像送信部４６を備える。

前方画像送信部４０は、車両１０から支援地点における遠隔支援が要求された場合に、車両１０により撮影された少なくとも車両１０の前方を含む前方画像として、例えば前方範囲３０Ｆを含む前方画像を、車両１０に対して遠隔操作を行うオペレータ端末８０へ送信する。

受信部４２は、オペレータ端末８０から支援地点における遠隔操作に対応した操作信号を受信する。

操作信号送信部４４は、オペレータ端末８０から受信した操作信号を車両１０へ送信する。

後方画像送信部４６は、車両１０が支援地点に基づいてオペレータ端末８０での表示を切り替えるように設定した切替地点を通過した後に、車両１０により少なくとも車両１０の後方を含むように撮影されて後方を強調した後方画像として、例えば後方範囲３０Ｒを含む後方画像を、オペレータ端末８０へ送信する。

予測部６６は、経路計画部６２によって特定された経路に含まれる支援地点に車両１０が到着する予定時刻に基づいて、オペレータによって車両１０の遠隔支援が開始されるタイミングを予測するとともに、遠隔支援が行われる時間（以下、「所要時間」という）を予測する。予測部６６は、例えば、支援地点毎に過去の所要時間と交通量の関係を学習し、その学習結果と現在の交通量とから所要時間を予測することができる。本実施形態の予測部６６は、車両１０毎に特定された経路に含まれる支援地点に到着する予定時刻に基づいて、複数の車両を同時に支援するためのオペレータの人数を予測する機能を備える。

記録部６８は、遠隔支援を行ったオペレータの人数の時間帯毎の履歴を、オペレータ情報データベース７４に記録する。また、記録部６８は、各オペレータが支援地点において車両１０を遠隔支援した所要時間の履歴を、支援地点毎にオペレータ情報データベース７４に記録する。また、記録部６８は、支援地点ごとに交通量の履歴をオペレータ情報データベース７４に記録する。また、記録部６８は、支援内容をオペレータ情報データベース７４に記録する。支援内容は、例えば交差点での右折支援及び左折支援、バス停でのドア開閉支援及び発進支援、障害物回避、横断歩行者対応等である。

割当部６９は、予測部６６によって予測された遠隔支援の開始タイミング又は車両１０から遠隔支援要求を受信したタイミングにおいて、各車両１０の経路に含まれる支援地点に対してオペレータの割り当てを行い、オペレータ毎にスケジュールを決定する。割当部６９は決定したスケジュールをオペレータ情報データベース７４に記録する。スケジュールには、例えば、オペレータ毎に、遠隔支援を行う時刻、支援地点、および車両が登録される。なお、本実施形態では、車両１０から遠隔支援要求を受信した場合にオペレータを割り当てる場合について説明する。

図４は、制御部６０ハードウェアの構成図である。制御部６０は、一般的なコンピュータを含む装置で構成される。

図４に示すように、制御部６０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）６０Ａ、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）６０Ｂ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）６０Ｃ、不揮発性メモリ６０Ｄ、及び入出力インターフェース（Ｉ／Ｏ）６０Ｅを備える。そして、ＣＰＵ６０Ａ、ＲＯＭ６０Ｂ、ＲＡＭ６０Ｃ、不揮発性メモリ６０Ｄ、及びＩ／Ｏ６０Ｅがバス６０Ｆを介して各々接続されている。Ｉ／Ｏ６０Ｅには、通信部５２及び記憶装置７０が接続されている。

ＣＰＵ６０Ａは、コンピュータの一例である。ここでいうコンピュータとは、広義的なプロセッサを指し、汎用的なプロセッサ（例えば、ＣＰＵ）や、専用のプロセッサ（例えば、ＧＰＵ：Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ、ＡＳＩＣ：Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ、ＦＰＧＡ：Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ、プログラマブル論理デバイス、等）を含むものである。

記憶装置７０は、ハードディスク等の不揮発性の記憶装置で構成される。ＣＰＵ６０Ａは、記憶装置７０に記憶された遠隔支援プログラム７６を読み込んで実行する。これにより、ＣＰＵ６０Ａは、前述した制御部６０を構成する各機能部として機能する。なお、遠隔支援プログラム７６は、不揮発性の非遷移的（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ）記録媒体に記憶して、又はネットワークを介して配布して、遠隔支援装置５０に適宜インストールすることで実現してもよい。

不揮発性の非遷移的記録媒体の例としては、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、光磁気ディスク、ＨＤＤ（ハードディスクドライブ）、ＤＶＤ－ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ、メモリカード等が想定される。

オペレータ端末８０は、ＣＰＵ及びメモリを備えたコンピュータ又は移動端末として構成されている。本実施形態における自動運転システム１００は、一又は複数のオペレータ端末８０を含む。各オペレータ端末８０は、操作部８２と表示部８４とを備える。操作部８２は、オペレータから車両１０を遠隔支援するための操作を受け付ける。受け付けられた操作は、操作信号として、遠隔支援装置５０を通じて車両１０に送信される。表示部８４は、オペレータの操作に供されるユーザインタフェースを表示する。また、表示部８４には、車両１０から送信されたカメラ１４の映像が表示される。

図５を用いて自動運転システム１００の制御部６０のＣＰＵ６０Ａで実行される遠隔支援処理について説明する。図５に示した遠隔支援処理は、自動運転システム１００が稼働している間、遠隔支援装置５０において所定の周期で繰り返し実行される処理である。なお、以下では、経路計画部６２によって各車両１０の経路が特定されているものとして説明する。

車両１０は、設定された経路に従って自動運転を行っている際に、支援地点に到達しオペレータによる遠隔支援が必要と判断すると、遠隔支援要求を遠隔支援装置５０に送信する。

このため、ステップＳ１００では、ＣＰＵ６０Ａが、車両１０から遠隔支援要求を受信したか否かを判定する。そして、遠隔支援要求を受信した場合はステップＳ１０２へ移行する。一方、車両１０から遠隔支援要求を受信していない場合は、遠隔支援要求を受信するまで待機する。

ステップＳ１０２では、ＣＰＵ６０Ａが、オペレータの割り当て処理を実行する。具体的には、例えばオペレータ情報データベース７４に記録されたスケジュールに基づき、遠隔支援要求を受信した車両１０に対してオペレータを割り当てる。

ステップＳ１０４では、ＣＰＵ６０Ａが、車両１０から送信された車両情報及び撮影画像を受信する。撮影画像は、カメラ１４Ｆ、１４ＲＳ、１４ＬＳ、１４Ｒにより撮影された各範囲の４個の撮影画像（動画像）である。車両情報及び撮影画像は、車両１０から周期的に送信され、ステップＳ１０４以降、本ルーチンを終了するまで逐次受信される。

ステップＳ１０６では、ＣＰＵ６０Ａが、遠隔支援が終了した後に、オペレータ端末８０へ送信する撮影画像の種類を切り替える切替地点の位置を算出する。具体的には、ステップＳ１０４で受信した車両情報に含まれる車両１０の現在位置、すなわち遠隔支援を要求した支援地点の位置と、車両１０の経路と、に基づいて、切替地点の位置を算出する。具体的には、切替地点の位置は、車両１０が切替地点を通過した場合に遠隔操作に対応する動作を終了したとみなすことができる地点の位置である。

例えば図６Ａに示すように、車両１０が、経路Ｒｔに従って交差点Ｃｒを右折する状況において、交差点Ｃｒにおいて遠隔支援を要求し、遠隔操作として右折が指示された場合を想定する。この場合は、車両１０が右折する地点を切替地点Ｃｇとして設定する。

また、例えば図７Ａに示すように、車両１０が、経路Ｒｔに従って非優先車線Ｓ１を走行し、交差点Ｃｒを左折して優先道路Ｓ２を走行する状況において、交差点Ｃｒの手前で遠隔支援を要求し、遠隔操作として左折が指示された場合を想定する。この場合は、車両１０が左折する地点を切替地点Ｃｇとして設定する。

また、例えば図８Ａに示すように、車両１０が、経路Ｒｔに従ってバス停ＢＳに停車し、その後発車して車線Ｓ１を走行する状況において、バス停ＢＳで遠隔支援を要求し、遠隔操作として道路Ｓ１への合流が指示された場合を想定する。この場合は、車両１０が車線Ｓ１に合流した地点を切替地点Ｃｇとして設定する。

また、例えば図９Ａに示すように、車両１０が、経路Ｒｔに従って片側２車線のうち左側の車線Ｓ１を走行中に障害物ＯＢに遭遇した状況において、障害物ＯＢの手前で遠隔支援を要求し、遠隔操作として右隣の車線Ｓ２を走行するように指示された場合を想定する。この場合は、車両１０が車線Ｓ２に車線変更した地点を切替地点Ｃｇとして設定する。

また、例えば図１０Ａに示すように、車両１０が、経路Ｒｔに従って車線Ｓ１を走行し、横断歩道ＰＣの手前で停止して遠隔支援を要求し、歩行者ＰＤが横断歩道ＰＣを横断した後に遠隔操作として発進を指示された場合を想定する。この場合は、車両１０が横断歩道の中心を通過した地点を切替地点Ｃｇとして設定する。

ステップＳ１０８では、ＣＰＵ６０Ａが、ステップＳ１０４で受信した各範囲の撮影画像のうち、例えば図６Ａに示すように、前方範囲３０Ｆを撮影した撮影画像３２Ｆと、右側方範囲３０ＲＳを撮影した撮影画像３２ＲＳと、左側方範囲３０ＬＳを撮影した撮影画像３２ＬＳと、を含む画像を前方画像としてオペレータ端末８０へ送信する。これにより、オペレータ端末８０の表示部８４には、図１１に示すように、中央に撮影画像３２Ｆが表示され、右側に撮影画像３２ＲＳが表示され、左側に撮影画像３２ＬＳが表示される。

図６Ａ、図７Ａ、図１０Ａの例では、前方画像が、前方範囲３０Ｆ、右側方範囲３０ＲＳ、及び左側方範囲３０ＬＳを含む範囲３０の撮影画像となっているが、例えば図８Ａ、９Ａに示すように、車両１０が右斜め前方向に進行するような場面においては、前方範囲３０Ｆ、右側方範囲３０ＲＳ、及び後方範囲３０Ｒを含む範囲３０の撮影画像を前方画像としてオペレータ端末８０へ送信するようにしてもよい。なお、ステップＳ１０８の処理は、車両１０から撮影画像を受信する毎に本ルーチンを終了するまで繰り返し実行される。

オペレータ端末８０のオペレータは、表示部８４に表示された撮影画像を確認し、操作部８２を操作することにより車両１０に対して遠隔操作を行う。例えば図６Ａに示すように、車両１０が交差点Ｃｒを右折する状況であれば、対向車及び歩行者等を確認し、右折しても良いと判断したタイミングで右折の指示を行う。オペレータが操作部８２を操作して車両１０に対する遠隔操作を行うと、遠隔操作に応じた操作信号が遠隔支援装置５０に送信される。

そこで、ステップＳ１１０では、ＣＰＵ６０Ａが、オペレータ端末８０から操作信号を受信したか否かを判定する。そして、操作信号を受信した場合はステップＳ１１２へ移行する。一方、操作信号を受信していない場合は操作信号を受信するまで待機する。

ステップＳ１１２では、ＣＰＵ６０Ａが、ステップＳ１１０で受信した操作信号を車両１０に対して送信する。これにより、車両１０は、操作信号に応じた動作を行う。例えば図６Ａの例のように、操作信号が右折の指示を示す操作信号であった場合は、車両１０は右折する動作を行う。これにより、図６Ｂに示すように、車両１０は交差点Ｃｒを右折する。

ステップＳ１１４では、車両１０がステップＳ１０６で設定した切替地点Ｃｇを通過したか否かを判定する。具体的には、車両１０から逐次受信した車両情報に含まれる車両１０の現在位置の履歴及び経路に基づいて、車両１０が切替地点Ｃｇを通過したか否かを判定する。

そして、車両１０が切替地点Ｃｇを通過した場合はステップＳ１１６へ移行する。一方、車両１０が切替地点Ｃｇを通過していない場合は、車両１０が切替地点Ｃｇを通過するまで待機する。

ステップＳ１１６では、ＣＰＵ６０Ａが、車両１０から受信した各範囲の撮影画像のうち、後方範囲３０Ｒを撮影した撮影画像３２Ｒと、右側方範囲３０ＲＳを撮影した撮影画像３２ＲＳと、左側方範囲３０ＬＳを撮影した撮影画像３２ＬＳと、を含む画像を後方画像としてオペレータ端末８０へ送信する。これにより、オペレータ端末８０の表示部８４には、図１２に示すように、中央に撮影画像３２Ｒが表示され、右側に撮影画像３２ＲＳが表示され、左側に撮影画像３２ＬＳが表示される。すなわち、車両１０が切替地点Ｃｇを通過すると、それまでは表示部８４の中央に表示されていた撮影画像３２Ｆが撮影画像３２Ｒに切り替わる。これにより、オペレータは、遠隔支援後の車両１０の後方を確認することができる。なお、ステップＳ１１６の処理は、車両１０から撮影画像を受信する毎に本ルーチンを終了するまで繰り返し実行される。

また、後方画像に加えて前方範囲３０Ｆの撮影画像３２Ｆをオペレータ端末８０へ送信するようにしてもよい。これにより、図１３に示すように、表示部８４の上方に撮影画像３２Ｆが表示され、オペレータは、後方だけでなく前方も確認することができる。さらに、撮影画像３２Ｒ、撮影画像３２ＲＳ、及び撮影画像３２ＬＳを合成した１枚の撮影画像を後方画像として生成してオペレータ端末８０へ送信するようにしてもよい。これにより、図１４に示すように、オペレータ端末８０の表示部８４には、後方画像が１枚のパノラマ画像のような撮影画像３２Ｐとして表示される。

図６Ａの例では、車両１０が右折する地点である切替地点Ｃｇを通過するまでは、前方範囲３０Ｆ、右側方範囲３０ＲＳ、左側方範囲３０ＬＳを含む範囲３０を撮影した前方画像がオペレータ端末８０へ送信され、表示部８４に表示される。

そして、車両１０が切替地点Ｃｇを通過すると、図６Ｂに示すように、後方範囲３０Ｒ、右側方範囲３０ＲＳ、左側方範囲３０ＬＳを含む範囲３０を撮影した後方画像がオペレータ端末８０へ送信され、表示部８４に表示される。なお、図７Ｂ、図８Ｂ、図９Ｂ、図１０Ｂの場合も同様である。

このように、切替地点Ｃｇを通過するとオペレータ端末８０の表示部８４に表示される画像が前方画像から後方画像へ切り替わる。これにより、オペレータは、自身が車両１０に対して指示した遠隔操作が適切であったか否かを容易に自己評価することができる。例えば、図６Ａ、６Ｂの例では、車両１０が交差点Ｃｒを右折して切替地点Ｃｇを通過した場合にオペレータは後方画像を確認することになるが、後方画像に歩行者が横断歩道を横断している姿が確認できた場合は、歩行者が横断歩道ＰＣを横断しようとしているにもかかわらず、歩行者を見落としていた可能性があると認識することできる。従って、次回からは横断歩道を横断しようとしている歩行者がいるか否かを特に注意することが促されるため、オペレータの状況判断能力の向上を支援することができる。

なお、図６Ｂの例では、後方画像が、後方範囲３０Ｒ、右側方範囲３０ＲＳ、及び左側方範囲３０ＬＳを含む範囲３０を撮影した画像としているが、遠隔操作の内容に応じて定められた撮影範囲の後方画像をオペレータ端末８０へ送信するようにしてもよい。例えば図６Ｂの例において、車両１０の右折後にオペレータが確認すべき重要な範囲が後方範囲３０Ｒ及び左側方範囲３０ＬＳである場合は、後方範囲３０Ｒ及び左側方範囲３０ＬＳを含む範囲３０の撮影画像をオペレータ端末８０へ送信するようにしてもよい。このように、遠隔操作の内容に応じてオペレータ端末８０へ送信する後方画像の撮影範囲を予め定めておいてもよい。

ステップＳ１１８では、ＣＰＵ６０Ａが、車両１０が自動走行を再開したか否かを判定する。車両１０は、例えば車両１０が操作信号に対応する動作を行った後に遠隔支援要求を取り下げる取り下げ要求を遠隔支援装置５０に送信し、自動運転を再開する。このため、自動走行を再開したか否かは、例えば車両１０から遠隔支援要求を取り下げる取り下げ要求を受信したか否かにより判定することができる。

車両１０が自動走行を再開した場合はステップＳ１２０へ移行する。一方、車両１０が自動走行を再開していない場合は、自動走行を再開するまで待機する。

ステップＳ１２０では、ＣＰＵ６０Ａが、オペレータ端末８０への撮影画像の送信を停止すると共に、車両１０の遠隔支援に対するオペレータの割り当てを解除する。

このように、本実施形態では、車両１０が切替地点Ｃｇを通過するまでは、少なくとも車両１０の前方を含む前方画像として、例えば前方範囲３０Ｆを含む前方画像をオペレータ端末８０の表示部８４に表示させ、車両１０が切替地点Ｃｇを通過した後は、少なくとも車両１０の後方を含む後方画像として、例えば後方範囲３０Ｒを含む後方画像をオペレータ端末８０の表示部８４に表示させる。

これにより、オペレータは、自身が行った車両１０に対する遠隔操作が適切であったか否かを容易且つ速やかに自己評価することができるため、オペレータの状況判断能力の向上を支援することができる。

＜第２実施形態＞

第２実施形態について説明する。第２実施形態では、オペレータの視線位置に基づいて注視範囲を検出し、検出した注視範囲を含む後方画像をオペレータ端末８０の表示部８４に表示させる場合について説明する。

本実施形態に係るオペレータ端末８０は、図１５に示すように、操作部８２及び表示部８４に加えてカメラ８６及び視線検出部８８を備える。

カメラ８６は、オペレータの目を撮影可能な位置に設けられ、オペレータの目を撮影する。

視線検出部８８は、カメラ８６により撮影されたオペレータの目を含む撮影画像に基づいて、表示部８４に表示されている前方画像のどの位置を見ているかを示す視線位置を検出し、検出した視線位置を示す視線位置情報を逐次遠隔支援装置５０に送信する。

遠隔支援装置５０の受信部４２は、オペレータ端末８０から送信された視線位置情報を受信し、後方画像送信部４６は、車両１０が切替地点Ｃｇを通過して後方画像をオペレータ端末８０へ送信する際には、オペレータ端末８０から受信した視線位置情報に基づいて注視範囲を特定し、特定した注視範囲を含む後方画像をオペレータ端末８０へ送信する。ここで、注視範囲とは、視線位置が予め定めた時間（例えば２秒）以上留まっている範囲をいう。

複数の注視範囲が存在する場合、例えば図１６に示すように、３つの注視範囲Ｍ１、Ｍ２、Ｍ３が存在する場合には、遠隔支援装置５０は、注視範囲Ｍ１、Ｍ２、Ｍ３を全て含む後方画像をオペレータ端末８０へ送信する。

なお、複数の注視範囲のうち最も注視時間が長い注視範囲を含む後方画像をオペレータ端末８０へ送信するようにしてもよい。例えば、注視範囲Ｍ１、Ｍ２、Ｍ３のうち、最も注視時間が長い注視範囲が注視範囲Ｍ１の場合は、少なくとも注視範囲Ｍ１を含む後方画像をオペレータ端末８０へ送信するようにしてもよい。

また、後方画像送信部４６は、注視範囲に基づいて特定したオペレータの見落とし対象のオブジェクトを強調した後方画像をオペレータ端末８０へ送信するようにしてもよい。例えば、後方画像に対して公知のオブジェクト抽出処理を実行し、オブジェクトを抽出する。ここで、オブジェクトとは人及び車両等の移動する物体である。そして、後方画像から抽出されたオブジェクトのうち、注視範囲以外のオブジェクトをオペレータの見落とし対象のオブジェクトとする。そして、見落とし対象のオブジェクトを強調した後方画像をオペレータ端末８０へ送信する。例えば図１７に示すように、後方範囲３０Ｒの撮影画像３２Ｒに対して見落とし対象のオブジェクトを枠Ｗで囲むことによって強調し、オペレータ端末８０へ送信する。これにより、オペレータは、自身が見落とした可能性のあるオブジェクトを容易に認識することができる。

また、後方画像送信部４６は、前方画像では検知されておらず、後方画像において新たに検知されたオブジェクトを強調した後方画像をオペレータ端末８０へ送信するようにしてもよい。これにより、例えば前方画像では死角にいてオペレータが認識できなかった車両及び歩行者等を後方画像において容易に確認することができる。この場合も図１７に示すように、後方画像において新たに検知されたオブジェクトを例えば枠Ｗで囲むことによって強調し、オペレータ端末８０へ送信する。これにより、オペレータは、死角にいて気付かなかったオブジェクトを容易に認識することができる。

また、後方画像送信部４６は、車両１０で検知された対向車の速度変化に関する速度情報が表示された後方画像をオペレータ端末８０へ送信するようにしてもよい。この場合、車両１０は、レーダ装置を備えた構成とする。そして、車両１０は、対向車の速度変化に関する速度情報を検出して遠隔支援装置５０へ送信する。後方画像送信部４６は、対向車の速度情報が表示された後方画像をオペレータ端末８０へ送信する。例えば図１８に示すように、車両１０から受信した速度情報が、対向車が１０ｋｍ／ｈ減速したことを示す情報であった場合は、対向車を枠Ｗで囲むと共に、「１０ｋｍ／ｈ減速」の文字を表示した後方画像をオペレータ端末８０へ送信する。これにより、オペレータは、自身の遠隔操作によって対向車が１０ｋｍ／ｈ減速したことを認識することができ、遠隔操作が適切ではなかった可能性があることを容易に認識することができる。

また、図１９に示すように、切替地点Ｃｇを含む範囲を俯瞰で撮影するインフラカメラ３４が設置されている場合には、後方画像送信部４６は、インフラカメラ３４から俯瞰画像を取得してオペレータ端末８０へ送信するようにしてもよい。これにより、オペレータ端末８０の表示部８４には、図２０に示すような俯瞰画像３６が表示されるため、車両１０の周辺の状況を容易に確認することができる。

＜第３実施形態＞

第３実施形態について説明する。なお、上記各実施形態と同一部分については同一符号を付し、詳細な説明を省略する。

第３実施形態では、図５のステップＳ１０８でオペレータ端末８０に送信する前方画像の変形例及び図５のステップＳ１１６でオペレータ端末８０に送信する後方画像の変形例について説明する。

第３実施形態では、図２１に示すように、図２に示す右側方範囲３０ＲＳが、右前方範囲３０ＦＲＳと右後方範囲３０ＲＲＳとに分割されている。また、図２に示す左側方範囲３０ＬＳが、左前方範囲３０ＦＬＳと左後方範囲３０ＲＬＳとに２分割されている。

そして、第３実施形態では、図５のステップＳ１０８において、ＣＰＵ６０Ａが、前方範囲３０Ｆを撮影した撮影画像３２Ｆと、右前方範囲３０ＦＲＳを撮影した撮影画像３２ＦＲＳと、左前方範囲３０ＦＬＳを撮影した撮影画像３２ＦＬＳと、後方範囲３０Ｒを撮影した撮影画像３２Ｒと、右後方範囲３０ＲＲＳを撮影した撮影画像３２ＲＲＳと、左後方範囲３０ＲＬＳを撮影した撮影画像３２ＲＬＳと、を含む画像を前方画像としてオペレータ端末８０へ送信する。

これにより、オペレータ端末８０の表示部８４には、図２２に示すように、中央に撮影画像３２Ｆ、３２Ｒが表示され、右側に撮影画像３２ＦＲＳ、３２ＲＲＳが表示され、左側に撮影画像３２ＦＬＳ、３２ＲＬＳが表示される。なお、図２１の例では、撮影画像３２Ｆの方が撮影画像３２Ｒよりも表示領域が大きく、撮影画像３２ＦＲＳの方が撮影画像３２ＲＲＳよりも表示領域が大きく、撮影画像３２ＦＬＳの方が撮影画像３２ＲＬＳよりも表示領域が大きい。すなわち、表示部８４には、車両１０の後方よりも前方が強調して表示される。

また、図５のステップＳ１１６において、ＣＰＵ６０Ａが、図２３に示すように、後方を強調した画像を後方画像としてオペレータ端末８０へ送信する。図２３に示す後方画像は、図２２に示す前方画像と比較して、撮影画像３２Ｒの方が撮影画像３２Ｆよりも表示領域が大きく、撮影画像３２ＲＲＳの方が撮影画像３２ＦＲＳよりも表示領域が大きく、撮影画像３２ＲＬＳの方が撮影画像３２ＦＬＳよりも表示領域が大きい。すなわち、表示部８４には、車両１０の前方よりも後方が強調して表示される。

＜第４実施形態＞

第４実施形態について説明する。なお、上記各実施形態と同一部分については同一符号を付し、詳細な説明を省略する。

第４実施形態では、オペレータの見落とし対象のオブジェクトを強調した後方画像をオペレータ端末８０へ送信する場合の変形例について説明する。

図２４には、図５のステップＳ１０８において、ＣＰＵ６０Ａが、オペレータ端末８０へ送信する前方画像の一例を示した。図２４の例では、前方画像は、前方範囲３０Ｆを撮影した撮影画像３２Ｆと、右前方範囲３０ＦＲＳを撮影した撮影画像３２ＦＲＳと、左前方範囲３０ＦＬＳを撮影した撮影画像３２ＦＬＳと、後方範囲３０Ｒを撮影した撮影画像３２Ｒと、右後方範囲３０ＲＲＳを撮影した撮影画像３２ＲＲＳと、左後方範囲３０ＲＬＳを撮影した撮影画像３２ＲＬＳと、を含む画像である。なお、図２４の例では、撮影画像３２Ｆ、３２Ｒの表示領域のサイズは同一であり、撮影画像３２ＦＲＳ、３２ＲＲＳの表示領域のサイズは同一であり、撮影画像３２ＦＬＳ、ＲＬＳの表示領域のサイズは同一である。

また、図２５には、図５のステップＳ１１６において、ＣＰＵ６０Ａが、オペレータ端末８０へ送信する後方画像の一例を示した。図２５の例では、後方画像は、図２４に示した前方画像に、オペレータの見落とし対象のオブジェクトを枠Ｗ１、Ｗ２で囲むことによって強調した画像である。

オペレータの見落とし対象のオブジェクトの抽出方法は、第２実施形態で説明したのと同様の方法であり、例えば、前方画像及び後方画像に対して公知のオブジェクト抽出処理を実行し、オブジェクトを抽出する。そして、後方画像から抽出されたオブジェクトのうち、前方画像に含まれていなかったオブジェクトをオペレータの見落とし対象のオブジェクトとする。そして、見落とし対象のオブジェクトを枠Ｗ１、Ｗ２で囲むことによって強調し、オペレータ端末８０へ送信する。これにより、オペレータは、自身が見落とした可能性のあるオブジェクトを容易に認識することができる。

なお、本開示は、上述した各実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。

例えば、上記実施形態では、オペレータがオペレータ端末８０を操作することで車両１０を遠隔操作する場合について説明したが、ステアリング、アクセルペダル、及びブレーキペダルを備えた遠隔操縦装置を操縦することで車両１０を遠隔操作する場合にも開示の技術を適用可能である。

また、上記実施形態では、オペレータの状況判断能力の向上を支援する場合について説明したが、オペレータを監督する監督者の状況判断能力の向上を支援する場合にも開示の技術を適用可能である。また、監督者によるオペレータへの遠隔支援の評価や改善点をオペレータにフィードバックする場合にも開示の技術を適用可能である。また、他のオペレータに遠隔支援の結果を提示することにより他のオペレータの状況判断能力の向上を支援する場合にも開示の技術を適用可能である。例えば、新人研修やオペレータ間のレベル合わせを行いたい場合にも開示の技術を適用可能である。

その他、上記実施の形態で説明した自動運転システム１００の構成（図１参照）は一例であり、本発明の主旨を逸脱しない範囲内において不要な部分を削除したり、新たな部分を追加したりしてもよいことは言うまでもない。

また、上記実施の形態で説明した遠隔支援プログラム７６の処理の流れ（図５参照）も一例であり、本発明の主旨を逸脱しない範囲内において不要なステップを削除したり、新たなステップを追加したり、処理順序を入れ替えたりしてもよいことは言うまでもない。

本開示に記載の制御部及びその手法は、コンピュータプログラムにより具体化された一つ乃至は複数の機能を実行するようにプログラムされたプロセッサを構成する専用コンピュータにより、実現されてもよい。あるいは、本開示に記載の装置及びその手法は、専用ハードウエア論理回路によってプロセッサを構成する専用コンピュータにより、実現されてもよい。もしくは、本開示に記載の装置及びその手法は、コンピュータプログラムを実行するプロセッサと一つ以上のハードウエア論理回路との組み合わせにより構成された一つ以上の専用コンピュータにより、実現されてもよい。また、コンピュータプログラムは、コンピュータにより実行されるインストラクションとして、コンピュータ読み取り可能な非遷移有形記録媒体に記憶されていてもよい。

本開示の技術に関して、以下の付記を開示する。
＜付記＞
（付記１）
自動運転車両（１０）から支援地点における遠隔支援が要求された場合に、前記自動運転車両により撮影された少なくとも前記自動運転車両の前方を含む前方画像を、前記自動運転車両に対して遠隔操作を行う遠隔操作装置（８０）へ送信する前方画像送信部（４０）と、
前記遠隔操作装置から前記支援地点における遠隔操作に対応する操作信号を受信する受信部（４２）と、
受信した前記操作信号を前記自動運転車両へ送信する操作信号送信部（４４）と、
前記自動運転車両が前記支援地点に基づいて前記遠隔操作装置での表示を切り替えるように設定した切替地点を通過した後に、少なくとも前記自動運転車両の後方を含むように撮影されて前記後方を強調した後方画像を、前記遠隔操作装置へ送信する後方画像送信部（４６）と、
を備えた遠隔支援装置（５０）。
（付記２）
前記後方画像送信部は、前記遠隔操作の内容に応じて定められた撮影範囲の後方画像を送信する
付記１記載の遠隔支援装置。
（付記３）
前記受信部は、前記遠隔操作装置に表示された前方画像における前記遠隔操作装置のオペレータの視線位置に関する視線位置情報を受信し、
前記後方画像送信部は、前記視線位置情報に基づいて特定した前記オペレータの注視範囲を含む後方画像を前記遠隔操作装置へ送信する
付記１又は付記２記載の遠隔支援装置。
（付記４）
前記後方画像送信部は、前記注視範囲が複数存在する場合は、複数の前記注視範囲のうち最も注視時間が長い注視範囲を含む後方画像を前記遠隔操作装置へ送信する
付記３記載の遠隔支援装置。
（付記５）
前記後方画像送信部は、前記注視範囲が複数存在する場合は、複数の前記注視範囲を全て含む後方画像を前記遠隔操作装置へ送信する
付記３記載の遠隔支援装置。
（付記６）
前記後方画像送信部は、前記遠隔操作装置のオペレータの見落とし対象のオブジェクトを強調した後方画像を前記遠隔操作装置へ送信する
付記１～５の何れかに記載の遠隔支援装置。
（付記７）
前記後方画像送信部は、前記注視範囲に基づいて特定した前記オペレータの見落とし対象のオブジェクトを強調した後方画像を前記遠隔操作装置へ送信する
付記３～５の何れかに記載の遠隔支援装置。
（付記８）
前記後方画像送信部は、前記後方画像において新たに検知されたオブジェクトを強調した後方画像を前記遠隔操作装置へ送信する
付記１～７の何れかに記載の遠隔支援装置。
（付記９）
前記後方画像送信部は、前記自動運転車両で検知された対向車の速度変化に関する速度情報が表示された後方画像を前記遠隔操作装置へ送信する
付記１～８の何れかに記載の遠隔支援装置。
（付記１０）
前記後方画像送信部は、前記切替地点を含む範囲を俯瞰で撮影した俯瞰画像を取得して前記遠隔操作装置へ送信する
付記１～９の何れかに記載の遠隔支援装置。
（付記１１）
前記後方画像は、前記自動運転車両の前方を表示する表示領域よりも前記自動運転車両の後方を表示する表示領域の方が大きい画像である
請求項１記載の遠隔支援装置。
付記１～１０の何れかに記載の遠隔支援装置。
（付記１２）
少なくとも１つのプロセッサ（６０Ａ）が、
自動運転車両から支援地点における遠隔支援が要求された場合に、前記自動運転車両に
より撮影された少なくとも前記自動運転車両の前方を含む前方画像を、前記自動運転車両に対して遠隔操作を行う遠隔操作装置へ送信し、
前記遠隔操作装置から前記支援地点における遠隔操作に対応する操作信号を受信し、
受信した前記操作信号を前記自動運転車両へ送信し、
前記自動運転車両が前記支援地点に基づいて前記遠隔操作装置での表示を切り替えるように設定した切替地点を通過した後に、少なくとも前記自動運転車両の後方を含むように撮影されて前記後方を強調した後方画像を、前記遠隔操作装置へ送信する
ことを含む処理を実行する遠隔支援方法。
（付記１３）
少なくとも１つのプロセッサに、
自動運転車両から支援地点における遠隔支援が要求された場合に、前記自動運転車両により撮影された少なくとも前記自動運転車両の前方を含む前方画像を、前記自動運転車両に対して遠隔操作を行う遠隔操作装置へ送信し、
前記遠隔操作装置から前記支援地点における遠隔操作に対応する操作信号を受信し、
受信した前記操作信号を前記自動運転車両へ送信し、
前記自動運転車両が前記支援地点に基づいて前記遠隔操作装置での表示を切り替えるように設定した切替地点を通過した後に、少なくとも前記自動運転車両の後方を含むように撮影されて前記後方を強調した後方画像を、前記遠隔操作装置へ送信する
ことを含む処理を実行させるための遠隔支援プログラム（７６）。

１０ 車両、４０ 前方画像送信部、４２ 受信部、４４ 操作信号送信部、４６ 後方画像送信部、５０ 遠隔支援装置、５２ 通信部、６０ 制御部、６２ 経路計画部、６４ 遠隔支援部、６６ 予測部、６８ 記録部、６９ 割当部、７０ 記憶装置、７２ 地図データベース、７４ オペレータ情報データベース、７６ 遠隔支援プログラム、８０ オペレータ端末、１００ 自動運転システム

Claims (13)

1. 自動運転車両（１０）から支援地点における遠隔支援が要求された場合に、前記自動運転車両により撮影された少なくとも前記自動運転車両の前方を含む前方画像を、前記自動運転車両に対して遠隔操作を行う遠隔操作装置（８０）へ送信する前方画像送信部（４０）と、
   前記遠隔操作装置から前記支援地点における遠隔操作に対応する操作信号を受信する受信部（４２）と、
   受信した前記操作信号を前記自動運転車両へ送信する操作信号送信部（４４）と、
   前記自動運転車両が前記支援地点に基づいて前記遠隔操作装置での表示を切り替えるように設定した切替地点を通過した後に、少なくとも前記自動運転車両の後方を含むように撮影されて前記後方を強調した後方画像を、前記遠隔操作装置へ送信する後方画像送信部（４６）と、
   を備えた遠隔支援装置（５０）。
2. 前記後方画像送信部は、前記遠隔操作の内容に応じて定められた撮影範囲の後方画像を送信する
   請求項１記載の遠隔支援装置。
3. 前記受信部は、前記遠隔操作装置に表示された前方画像における前記遠隔操作装置のオペレータの視線位置に関する視線位置情報を受信し、
   前記後方画像送信部は、前記視線位置情報に基づいて特定した前記オペレータの注視範囲を含む後方画像を前記遠隔操作装置へ送信する
   請求項１記載の遠隔支援装置。
4. 前記後方画像送信部は、前記注視範囲が複数存在する場合は、複数の前記注視範囲のうち最も注視時間が長い注視範囲を含む後方画像を前記遠隔操作装置へ送信する
   請求項３記載の遠隔支援装置。
5. 前記後方画像送信部は、前記注視範囲が複数存在する場合は、複数の前記注視範囲を全て含む後方画像を前記遠隔操作装置へ送信する
   請求項３記載の遠隔支援装置。
6. 前記後方画像送信部は、前記遠隔操作装置のオペレータの見落とし対象のオブジェクトを強調した後方画像を前記遠隔操作装置へ送信する
   請求項１～５の何れか１項に記載の遠隔支援装置。
7. 前記後方画像送信部は、前記注視範囲に基づいて特定した前記オペレータの見落とし対象のオブジェクトを強調した後方画像を前記遠隔操作装置へ送信する
   請求項３～５の何れか１項に記載の遠隔支援装置。
8. 前記後方画像送信部は、前記後方画像において新たに検知されたオブジェクトを強調した後方画像を前記遠隔操作装置へ送信する
   請求項１記載の遠隔支援装置。
9. 前記後方画像送信部は、前記自動運転車両で検知された対向車の速度変化に関する速度情報が表示された後方画像を前記遠隔操作装置へ送信する
   請求項１記載の遠隔支援装置。
10. 前記後方画像送信部は、前記切替地点を含む範囲を俯瞰で撮影した俯瞰画像を取得して前記遠隔操作装置へ送信する
    請求項１記載の遠隔支援装置。
11. 前記後方画像は、前記自動運転車両の前方を表示する表示領域よりも前記自動運転車両の後方を表示する表示領域の方が大きい画像である
    請求項１記載の遠隔支援装置。
12. 少なくとも１つのプロセッサ（６０Ａ）が、
    自動運転車両から支援地点における遠隔支援が要求された場合に、前記自動運転車両に
    より撮影された少なくとも前記自動運転車両の前方を含む前方画像を、前記自動運転車両に対して遠隔操作を行う遠隔操作装置へ送信し、
    前記遠隔操作装置から前記支援地点における遠隔操作に対応する操作信号を受信し、
    受信した前記操作信号を前記自動運転車両へ送信し、
    前記自動運転車両が前記支援地点に基づいて前記遠隔操作装置での表示を切り替えるように設定した切替地点を通過した後に、少なくとも前記自動運転車両の後方を含むように撮影されて前記後方を強調した後方画像を、前記遠隔操作装置へ送信する
    ことを含む処理を実行する遠隔支援方法。
13. 少なくとも１つのプロセッサに、
    自動運転車両から支援地点における遠隔支援が要求された場合に、前記自動運転車両により撮影された少なくとも前記自動運転車両の前方を含む前方画像を、前記自動運転車両に対して遠隔操作を行う遠隔操作装置へ送信し、
    前記遠隔操作装置から前記支援地点における遠隔操作に対応する操作信号を受信し、
    受信した前記操作信号を前記自動運転車両へ送信し、
    前記自動運転車両が前記支援地点に基づいて前記遠隔操作装置での表示を切り替えるように設定した切替地点を通過した後に、少なくとも前記自動運転車両の後方を含むように撮影されて前記後方を強調した後方画像を、前記遠隔操作装置へ送信する
    ことを含む処理を実行させるための遠隔支援プログラム（７６）。