JP7327344B2 - 車両遠隔支援システム、車両遠隔支援サーバ、及び車両遠隔支援方法 - Google Patents

車両遠隔支援システム、車両遠隔支援サーバ、及び車両遠隔支援方法 Download PDF

Info

Publication number
JP7327344B2
JP7327344B2 JP2020171758A JP2020171758A JP7327344B2 JP 7327344 B2 JP7327344 B2 JP 7327344B2 JP 2020171758 A JP2020171758 A JP 2020171758A JP 2020171758 A JP2020171758 A JP 2020171758A JP 7327344 B2 JP7327344 B2 JP 7327344B2
Authority
JP
Japan
Prior art keywords
remote
vehicle
support
past
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020171758A
Other languages
English (en)
Other versions
JP2022063472A (ja
Inventor
宏充 小林
博充 浦野
翔 大瀧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2020171758A priority Critical patent/JP7327344B2/ja
Priority to EP21183541.8A priority patent/EP3982226B1/en
Priority to US17/370,582 priority patent/US11507110B2/en
Priority to CN202111170597.0A priority patent/CN114419574A/zh
Publication of JP2022063472A publication Critical patent/JP2022063472A/ja
Application granted granted Critical
Publication of JP7327344B2 publication Critical patent/JP7327344B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001Planning or execution of driving tasks
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0214Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory in accordance with safety or protection criteria, e.g. avoiding hazardous areas
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/53Querying
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00Input parameters relating to data
    • B60W2556/45External transmission of data to or from the vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Theoretical Computer Science (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Mechanical Engineering (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Selective Calling Equipment (AREA)

Description

本発明は、車両遠隔支援システム、車両遠隔支援サーバ、及び車両遠隔支援方法に関する。
従来、車両遠隔支援システムに関する技術文献として、特開2018-077649号公報が知られている。この公報には、車両から遠隔操作要求を受け付けた場合に、車両の状況を遠隔操作者に提示して遠隔操作者による遠隔操作を車両の走行に反映するシステムが示されている。遠隔操作とは、車外設備に設けられたステアリングホイールなどを操作して車両を遠隔で運転操作することである。
特開2018-077649号公報
ところで、上述した従来のシステムのように、遠隔操作者による細かいステアリング操作などを車両にリアルタイムで反映させるのではなく、自動運転車両に対して走行に関する判断を遠隔で支援する車両遠隔支援システムが検討されている。車両遠隔支援システムでは、例えば狭い道路において路肩からはみ出して停止している故障車両の追い抜きなどの場面において自動運転車両の走行に関する判断をサポートする。
しかしながら、遠隔支援の対象となる複数台の自動運転車両が同じ車線を走行している場合などにおいて、全く同じサポートを頻繁に繰り返すことは効率的ではなく、遠隔オペレータの負担も増加すると言う問題がある。
本発明の一態様は、自動運転車両から遠隔支援要求を受けた場合に遠隔オペレータが自動運転車両の走行に関する遠隔支援を行う車両遠隔支援システムであって、過去に遠隔支援要求が行われたときの車両位置情報及び外部環境情報を含む過去支援要求状況と当該過去支援要求状況における遠隔オペレータの遠隔支援内容とを対応付けて記憶する遠隔支援事例データベースと、自動運転車両から遠隔支援要求を受信した場合に、遠隔支援要求を送信した自動運転車両の位置及び自動運転車両の外部環境に基づいて、自動運転車両の遠隔支援要求状況が遠隔支援事例データベースに記録された過去支援要求状況と類似するか否かを判定する類似判定部と、類似判定部により遠隔支援要求状況が過去支援要求状況と類似すると判定された場合に、遠隔オペレータに代わって過去支援要求状況に対応する遠隔支援内容を自動運転車両に送信する遠隔支援内容自動送信部と、遠隔オペレータが自動運転車両の遠隔支援を行う場合に、遠隔オペレータに対して当該自動運転車両の遠隔支援要求状況が継続性を有するか否かを選択させる継続性選択部と、を備え、遠隔支援事例データベースには、継続性選択部における遠隔オペレータの選択結果と関連付けて過去支援要求状況が記憶されており、遠隔支援内容自動送信部は、継続性を有すると選択された過去支援要求状況と自動運転車両の遠隔支援要求状況とが類似すると判定された場合に、過去支援要求状況に対応する遠隔支援内容を自動運転車両に送信し、継続性を有しないと選択された過去支援要求状況と自動運転車両の遠隔支援要求状況とが類似すると判定されたとしても、過去支援要求状況に対応する遠隔支援内容を自動運転車両に送信しない。
本発明の一態様に係る車両遠隔支援システムによれば、遠隔支援要求を行った自動運転車両の遠隔支援要求状況が遠隔支援事例データベースに記録された過去支援要求状況と類似すると判定された場合に、遠隔オペレータに代わって過去支援要求状況に対応する遠隔支援内容を自動運転車両に送信するので、遠隔オペレータが遠隔支援を行う頻度を抑えて、遠隔オペレータの負荷を低減することができる。
本発明の一態様に係る車両遠隔支援システムにおいて、遠隔支援要求状況は、自動運転車両の車両前方の障害物に対する車線逸脱回避の状況であってもよい。
この車両遠隔支援システムによれば、走行路にはみ出している駐車車両や落下物などの障害物を避けるために車線を逸脱して障害物と距離を取る車線逸脱回避を行う状況において、遠隔オペレータが行う遠隔支援の頻度を下げることができ、遠隔オペレータの負荷を低減することができる。
本発明の他の態様は、自動運転車両から遠隔支援要求を受けた場合に遠隔オペレータが自動運転車両の走行に関する遠隔支援を行うための車両遠隔支援サーバであって、自動運転車両から遠隔支援要求を受信した場合に、遠隔支援要求を送信した自動運転車両の位置及び自動運転車両の外部環境に基づいて、自動運転車両の遠隔支援要求状況が過去に遠隔支援要求が行われたときの車両位置情報及び外部環境情報を含む過去支援要求状況と類似するか否かを判定する類似判定部と、類似判定部により遠隔支援要求状況が過去支援要求状況と類似すると判定された場合に、過去支援要求状況及び当該過去支援要求状況における遠隔オペレータの遠隔支援内容とを対応付けて記憶する遠隔支援事例データベースを参照することで、遠隔オペレータに代わって過去支援要求状況に対応する遠隔支援内容を自動運転車両に送信する遠隔支援内容自動送信部と、遠隔オペレータが自動運転車両の遠隔支援を行う場合に、遠隔オペレータに対して当該自動運転車両の遠隔支援要求状況が継続性を有するか否かを選択させる継続性選択部と、を備え、遠隔支援事例データベースには、継続性選択部における遠隔オペレータの選択結果と関連付けて過去支援要求状況が記憶されており、遠隔支援内容自動送信部は、継続性を有すると選択された過去支援要求状況と自動運転車両の遠隔支援要求状況とが類似すると判定された場合に、過去支援要求状況に対応する遠隔支援内容を自動運転車両に送信し、継続性を有しないと選択された過去支援要求状況と自動運転車両の遠隔支援要求状況とが類似すると判定されたとしても、過去支援要求状況に対応する遠隔支援内容を自動運転車両に送信しない。
本発明の他の態様に係る車両遠隔支援サーバによれば、遠隔支援要求を行った自動運転車両の遠隔支援要求状況が遠隔支援事例データベースに記録された過去支援要求状況と類似すると判定された場合に、遠隔オペレータに代わって過去支援要求状況に対応する遠隔支援内容を自動運転車両に送信するので、遠隔オペレータが遠隔支援を行う頻度を抑えて、遠隔オペレータの負荷を低減することができる。
本発明の更に他の態様は、自動運転車両から遠隔支援要求を受けた場合に遠隔オペレータが自動運転車両の走行に関する遠隔支援を行う車両遠隔支援システムの車両遠隔支援方法であって、自動運転車両から遠隔支援要求を受信した場合に、遠隔支援要求を送信した自動運転車両の位置及び自動運転車両の外部環境に基づいて、自動運転車両の遠隔支援要求状況が過去に遠隔支援要求が行われたときの車両位置情報及び外部環境情報を含む過去支援要求状況と類似するか否かを判定する類似判定ステップと、遠隔支援要求状況が過去支援要求状況と類似すると判定された場合に、過去支援要求状況及び当該過去支援要求状況における遠隔オペレータの遠隔支援内容とを対応付けて記憶する遠隔支援事例データベースを参照することで、遠隔オペレータに代わって過去支援要求状況に対応する遠隔支援内容を自動運転車両に送信する遠隔支援内容自動送信ステップと、遠隔オペレータが自動運転車両の遠隔支援を行う場合に、遠隔オペレータに対して当該自動運転車両の遠隔支援要求状況が継続性を有するか否かを選択させる継続性選択ステップと、を含み、遠隔支援事例データベースには、継続性選択ステップにおける遠隔オペレータの選択結果と関連付けて過去支援要求状況が記憶されており、遠隔支援内容自動送信ステップにおいて、継続性を有すると選択された過去支援要求状況と自動運転車両の遠隔支援要求状況とが類似すると判定された場合に、過去支援要求状況に対応する遠隔支援内容を自動運転車両に送信し、継続性を有しないと選択された過去支援要求状況と自動運転車両の遠隔支援要求状況とが類似すると判定されたとしても、過去支援要求状況に対応する遠隔支援内容を自動運転車両に送信しない。
本発明の更に他の態様に係る車両遠隔支援方法によれば、遠隔支援要求を行った自動運転車両の遠隔支援要求状況が遠隔支援事例データベースに記録された過去支援要求状況と類似すると判定された場合に、遠隔オペレータに代わって過去支援要求状況に対応する遠隔支援内容を自動運転車両に送信するので、遠隔オペレータが遠隔支援を行う頻度を抑えて、遠隔オペレータの負荷を低減することができる。
本発明の各態様によれば、遠隔オペレータが遠隔支援を行う頻度を抑えて、遠隔オペレータの負担を低減することができる。
一実施形態に係る車両遠隔支援システムを説明するための図である。 自動運転車両の構成の一例を示すブロック図である。 車両遠隔支援サーバのハードウェア構成の一例を示すブロック図である。 車両遠隔支援サーバの機能的構成の一例を示すブロック図である。 (a)遠隔オペレータによる遠隔支援が行われた場面の一例を示す図である。(b)自動運転車両の遠隔支援要求状況と位置が類似する過去支援要求状況が存在する場合の一例を示す図である。(c)過去支援要求状況に対応する遠隔支援内容が自動運転車両に送信された場面の一例を示す図である。 車両遠隔支援システムにおける車両遠隔支援処理の一例を示すフローチャートである。
以下、本発明の実施形態について図面を参照して説明する。
図1は、一実施形態に係る車両遠隔支援システムを説明するための図である。図1に示す車両遠隔支援システム1は、自動運転車両2からの遠隔支援要求に応じて遠隔オペレータRによる自動運転車両2の遠隔支援を行うためのシステムである。遠隔オペレータRとは、自動運転車両2に対する遠隔支援を実行する者である。
遠隔オペレータRの人数は限定されず、一人であってもよく、二人以上であってもよい。車両遠隔支援システム1と通信可能な自動運転車両2の台数も特に限定されない。複数人の遠隔オペレータRが交替して一台の自動運転車両2に対する遠隔支援を行う態様であってもよく、一人の遠隔オペレータRが二台以上の自動運転車両2に対して遠隔支援を行う態様であってもよい。
遠隔支援とは、自動運転車両2の走行に関する遠隔オペレータRの提案の通知(送信)である。遠隔支援には、例えば自動運転車両2の進行及び停止の提案が含まれる。遠隔支援には、自動運転車両2の加速又は減速の提案が含まれてもよい。遠隔支援には、自動運転車両2のルート変更の提案が含まれてもよい。
より具体的に、遠隔支援には、車両前方の障害物に対する車線逸脱回避の提案、信号機故障時の進行又は停止の提案、道路標識の認識不良時の車両挙動の提案(例えば一時停止の提案や速度指定の提案)、倒木又は道路損壊による通行不良時のルート変更の提案、前方の車両(駐車車両を含む)の追い越しの提案、車線変更の提案、交差点の右折開始の提案、信号機付き交差点の進入開始の提案、緊急退避の提案のうち少なくとも一つを含むことができる。
車線逸脱回避とは、走行路にはみ出している駐車車両や落下物、道路の部分的な陥没などの障害物を避けるために車線を逸脱して障害物と距離を取って進行する回避方法である。車両が右側通行の国又は地域の場合には、交差点の右折開始の提案の通知に代えて交差点の左折開始の提案の通知とすることができる。
なお、自動運転車両2は、必ずしも遠隔オペレータRの遠隔支援内容に従う必要はない。自動運転車両2は、遠隔支援内容として自動運転車両2の進行の提案を受信しても、歩行者の急な接近などを検出した場合には停止を優先してよい。
車両遠隔支援システム1では、例えば自動運転車両2からの遠隔支援要求に応じて、遠隔オペレータRに遠隔支援の入力が要求される。遠隔オペレータRは、オペレータインターフェース3に遠隔支援内容を入力する。車両遠隔支援システム1は、ネットワークNを通じて自動運転車両2に遠隔支援内容を送信する。自動運転車両2は、遠隔支援に従って自動で走行する。
[自動運転車両の構成]
まず、自動運転車両2の構成の一例について説明する。図2は、自動運転車両2の構成の一例を示すブロック図である。図2に示すように、自動運転車両2は、一例として、自動運転ECU20を有している。自動運転ECU20は、CPU[Central Processing Unit]、ROM[Read Only Memory]、RAM[Random Access Memory]などを有する電子制御ユニットである。自動運転ECU20では、例えば、ROM又はRAMに記録されているプログラムをCPUで実行することにより各種の機能を実現する。自動運転ECU20は、複数の電子ユニットから構成されていてもよい。
自動運転ECU20は、GPS[Global Positioning System]受信部21、外部センサ22、内部センサ23、地図データベース24、通信部25、及び、アクチュエータ26と接続されている。
GPS受信部21は、3個以上のGPS衛星から信号を受信することにより、自動運転車両2の位置(例えば自動運転車両2の緯度及び経度)を測定する。GPS受信部21は、測定した自動運転車両2の位置情報を自動運転ECU20へ送信する。
外部センサ22は、自動運転車両2の外部環境を検出する車載センサである。外部センサ22は、カメラを少なくとも含む。カメラは、自動運転車両2の外部環境を撮像する撮像機器である。カメラは、例えば自動運転車両2のフロントガラスの裏側に設けられ、車両前方を撮像する。カメラは、自動運転車両2の外部環境に関する撮像情報を自動運転ECU20へ送信する。カメラは、単眼カメラであってもよく、ステレオカメラであってもよい。カメラは、複数台設けられていてもよく、自動運転車両2の前方の他、左右の側方及び後方を撮像してもよい。自動運転車両2には、遠隔オペレータ向けの外部カメラが備え付けられていてもよい。遠隔オペレータ向けの外部カメラは少なくとも自動運転車両2の前方を撮像している。遠隔オペレータ向けの外部カメラは、自動運転車両2の側方及び後方を含む周囲を撮像する複数のカメラから構成されていてもよい。
外部センサ22は、レーダセンサを含んでもよい。レーダセンサは、電波(例えばミリ波)又は光を利用して自動運転車両2の周辺の物体を検出する検出機器である。レーダセンサには、例えば、ミリ波レーダ又はライダー[LIDAR:Light Detection and Ranging]が含まれる。レーダセンサは、電波又は光を自動運転車両2の周辺に送信し、物体で反射された電波又は光を受信することで物体を検出する。レーダセンサは、検出した物体情報を自動運転ECU20へ送信する。物体には、ガードレール、建物などの固定物体の他、歩行者、自転車、他車両などの移動物体が含まれる。また、外部センサ22は、自動運転車両2の外部の音を検出する音検出センサを含んでもよい。
内部センサ23は、自動運転車両2の走行状態を検出する車載センサである。内部センサ23は、車速センサ、加速度センサ、及びヨーレートセンサを含んでいる。車速センサは、自動運転車両2の速度を検出する検出器である。車速センサとしては、自動運転車両2の車輪又は車輪と一体に回転するドライブシャフトなどに対して設けられ、各車輪の回転速度を検出する車輪速センサを用いることができる。車速センサは、検出した車速情報(車輪速情報)を自動運転ECU20に送信する。
加速度センサは、自動運転車両2の加速度を検出する検出器である。加速度センサは、例えば、自動運転車両2の前後方向の加速度を検出する前後加速度センサを含んでいる.加速度センサは、自動運転車両2の横加速度を検出する横加速度センサを含んでいてもよい。加速度センサは、例えば、自動運転車両2の加速度情報を自動運転ECU20に送信する。ヨーレートセンサは、自動運転車両2の重心の鉛直軸周りのヨーレート(回転角速度)を検出する検出器である。ヨーレートセンサとしては、例えばジャイロセンサを用いることができる。ヨーレートセンサは、検出した自動運転車両2のヨーレート情報を自動運転ECU20へ送信する。
地図データベース24は、地図情報を記録するデータベースである。地図データベース24は、例えば、自動運転車両2に搭載されたHDDなどの記録装置内に形成されている。地図情報には、道路の位置情報、道路形状の情報(例えば曲率情報)、交差点及び分岐点の位置情報などが含まれる。地図情報には、位置情報と関連付けられた法定速度などの交通規制情報が含まれていてもよい。地図情報には、自動運転車両2の位置情報の取得に用いられる物標情報が含まれていてもよい。物標としては、道路標識、路面標示、信号機、電柱などを用いることができる。地図データベース24は、自動運転車両2と通信可能なサーバに構成されていてもよい。サーバは車両遠隔支援サーバ10に限らない。
通信部25は、自動運転車両2の外部との無線通信を制御する通信デバイスである。通信部25は、ネットワークNを介して車両遠隔支援サーバ10と各種情報の送信及び受信を行う。
アクチュエータ26は、自動運転車両2の制御に用いられる機器である。アクチュエータ26は、駆動アクチュエータ、ブレーキアクチュエータ、及び操舵アクチュエータを少なくとも含む。駆動アクチュエータは、自動運転ECU20からの制御信号に応じてエンジンに対する空気の供給量(スロットル開度)を制御し、自動運転車両2の駆動力を制御する。なお、自動運転車両2がハイブリッド車である場合には、エンジンに対する空気の供給量の他に、動力源としてのモータに自動運転ECU20からの制御信号が入力されて当該駆動力が制御される。自動運転車両2が電気自動車である場合には、動力源としてのモータに自動運転ECU20からの制御信号が入力されて当該駆動力が制御される。これらの場合における動力源としてのモータは、アクチュエータ26を構成する。
ブレーキアクチュエータは、自動運転ECU20からの制御信号に応じてブレーキシステムを制御し、自動運転車両2の車輪へ付与する制動力を制御する。ブレーキシステムとしては、例えば、液圧ブレーキシステムを用いることができる。操舵アクチュエータは、電動パワーステアリングシステムのうち操舵トルクを制御するアシストモータの駆動を自動運転ECU20からの制御信号に応じて制御する。これにより、操舵アクチュエータは、自動運転車両2の操舵トルクを制御する。
次に、自動運転ECU20の機能的構成の一例について説明する。自動運転ECU20は、車両位置取得部31、外部環境認識部32、走行状態認識部33、遠隔支援要求判定部34、進路生成部35、及び自動運転制御部36を有している。
車両位置取得部31は、GPS受信部21の位置情報及び地図データベース24の地図情報に基づいて、自動運転車両2の車両位置情報を取得する。また、車両位置取得部31は、地図データベース24の地図情報に含まれた物標情報及び外部センサ22の検出結果を利用して、SLAM[Simultaneous Localization and Mapping]技術により自動運転車両2の車両位置情報を取得してもよい。車両位置取得部31は、車線の区画線と自動運転車両2の車両位置関係から、車線に対する自動運転車両2の横位置(車線幅方向における自動運転車両2の位置)を認識して車両位置情報に含めてもよい。車両位置取得部31は、その他、周知の手法により自動運転車両2の車両位置情報を取得してもよい。
外部環境認識部32は、外部センサ22の検出結果に基づいて、自動運転車両2の外部環境を認識する。外部環境には、自動運転車両2に対する周囲の物体の相対位置が含まれる。外部環境情報には、自動運転車両2に対する周囲の物体の相対速度及び移動方向が含まれていてもよい。外部環境情報には、他車両、歩行者、自転車などの物体の種類が含まれてもよい。物体の種類は、パターンマッチングなどの周知の手法により識別することができる。外部環境情報には、自動運転車両2の周囲の区画線認識(白線認識)の結果が含まれていてもよい。外部環境情報には、信号機の点灯状態の認識結果が含まれていてもよい。外部環境認識部32は、例えば、外部センサ22のカメラの画像に基づいて、自動運転車両2の前方の信号機の点灯状態(通過可能な点灯状態であるか、通過禁止の点灯状態であるかなど)を認識できる。
走行状態認識部33は、内部センサ23の検出結果に基づいて、自動運転車両2の走行状態を認識する。走行状態には、自動運転車両2の車速、自動運転車両2の加速度、自動運転車両2のヨーレートが含まれる。具体的に、走行状態認識部33は、車速センサの車速情報に基づいて、自動運転車両2の車速を認識する。走行状態認識部33は、加速度センサの車速情報に基づいて、自動運転車両2の加速度を認識する。走行状態認識部33は、ヨーレートセンサのヨーレート情報に基づいて、自動運転車両2の向きを認識する。
遠隔支援要求判定部34は、遠隔オペレータRに遠隔支援を要求すべきか否かを判定する。遠隔支援要求判定部34は、車両位置取得部31の取得した自動運転車両2の車両位置情報及び地図データベース24の地図情報又は外部環境認識部32の認識した外部環境に基づいて、遠隔支援を要求すべきか否かを判定する。
遠隔支援要求判定部34は、予め設定された遠隔支援を要求すべき状況に自動運転車両2がなった場合に、遠隔支援を要求すべきと判定する。遠隔支援を要求すべき状況には、車両前方の障害物に対する車線逸脱回避が必要な状況、自動運転車両2が交差点を右折する状況、信号機付き又は信号機無しの交差点に進入する状況、信号機を通過する状況(例えば道路途中の横断歩道に対応する信号機を通過する状況)、車線変更を開始する状況、工事区間へ進入する状況、踏切への進入する状況のうち少なくとも一つの状況が含まれる。
なお、自動運転車両2は、必ずしも交差点の右折時に遠隔支援を要求すべきと判定する必要はない。自動運転車両2は、一定の条件下(例えば対向車が検出されない場合など)において、遠隔支援要求を行うことなく自動で交差点を右折してもよい。
遠隔支援要求判定部34は、遠隔支援を要求すべきと判定した場合、遠隔支援要求を車両遠隔支援サーバ10に対して送信する。遠隔支援要求判定部34は、遠隔支援要求と合わせて、自動運転車両2の識別情報、車両位置情報、及び外部環境情報を車両遠隔支援サーバ10に送信する。遠隔支援要求判定部34は、遠隔支援を要求すべきと判定した状況の種別を車両遠隔支援サーバ10に送信してもよい。遠隔支援を要求すべきと判定した状況の種別とは、車両前方の障害物の車線逸脱回避、交差点の右折、工事区間への進入などである。
また、遠隔支援要求判定部34は、更に自動運転車両2の走行状態情報(車速、ヨーレートなどの情報)を車両遠隔支援サーバ10に送信してもよい。遠隔支援要求判定部34は、自動運転車両2の目的地、乗車人数、車種、残燃料のうち少なくとも一つを含む関連情報を車両遠隔支援サーバ10に送信してもよい。
進路生成部35は、自動運転車両2の自動運転に利用される進路[trajectory]を生成する。進路生成部35は、予め設定された走行ルート、地図情報、自動運転車両2の位置情報、自動運転車両2の外部環境、及び自動運転車両2の走行状態に基づいて、自動運転の進路を生成する。
走行ルートとは、自動運転において自動運転車両2が走行するルートである。進路生成部35は、例えば目的地、地図情報、及び自動運転車両2の位置情報に基づいて、自動運転の走行ルートを求める。走行ルートは、周知のナビゲーションシステムによって設定されてもよい。目的地は自動運転車両2の乗員によって設定されてもよく、自動運転ECU20又はナビゲーションシステムなどが自動的に提案してもよい。
進路には、自動運転で車両が走行する経路[path]と自動運転における車速プロファイルとが含まれる。経路は、走行ルート上において自動運転中の車両が走行する予定の軌跡である。経路は、例えば走行ルート上の位置に応じた自動運転車両2の操舵角変化のデータ(操舵角プロファイル)とすることができる。走行ルート上の位置とは、例えば走行ルートの進行方向において所定間隔(例えば1m)毎に設定された設定縦位置である。操舵角プロファイルとは、設定縦位置毎に目標操舵角が関連付けられたデータとなる。
進路生成部35は、例えば走行ルート、地図情報、自動運転車両2の外部環境、及び自動運転車両2の走行状態に基づいて、自動運転車両2が走行する経路を生成する。進路生成部35は、例えば自動運転車両2が走行ルートに含まれる車線の中央(車線幅方向における中央)を通るように経路を生成する。
車速プロファイルは、例えば設定縦位置毎に目標車速が関連付けられたデータである。なお、設定縦位置は、距離ではなく自動運転車両2の走行時間を基準として設定されてもよい。設定縦位置は、車両の1秒後の到達位置、車両の2秒後の到達位置として設定されていてもよい。
進路生成部35は、例えば経路と地図情報に含まれる法定速度などの交通規制情報に基づいて車速プロファイルを生成する。法定速度に代えて、地図上の位置又は区間に対して予め設定された設定速度を用いてもよい。進路生成部35は、経路及び車速プロファイルから自動運転の進路を生成する。なお、進路生成部35における進路の生成方法は上述した内容に限定されず、自動運転に関する周知の手法を採用することができる。進路の内容についても同様である。
進路生成部35は、遠隔支援要求判定部34により車両遠隔支援サーバ10に対して遠隔支援が要求された場合、遠隔支援に応じた進路を予め生成する。自動運転車両2の状況に応じて、遠隔支援内容の選択肢は予め決められている。例えば交差点の右折時における遠隔支援内容の選択肢には、右折開始(進行)の提案及び待機の提案が含まれている。交差点の右折時における遠隔支援内容の選択肢には、右折をやめて直進する提案が含まれていてもよく、緊急退避の提案が含まれていてもよい。なお、進路生成部35は、必ずしも進路を予め生成する必要はなく、遠隔支援内容を受信してから遠隔支援内容に対応する進路を生成してもよい。
自動運転制御部36は、自動運転車両2の自動運転を実行する。自動運転制御部36は、例えば自動運転車両2の外部環境、自動運転車両2の走行状態、及び進路生成部35の生成した進路に基づいて、自動運転車両2の自動運転を実行する。自動運転制御部36は、アクチュエータ26に制御信号を送信することで、自動運転車両2の自動運転を行う。
自動運転制御部36は、遠隔支援要求判定部34により車両遠隔支援サーバ10に対して遠隔支援が要求された場合、車両遠隔支援サーバ10からの遠隔支援内容の受信を待つ。自動運転制御部36は、運転免許を有する乗員が運転席に乗車している場合において、予め設定された待機時間が経過しても遠隔支援内容を受信しないときには、当該乗員による走行の判断又は手動運転を求めてもよい。自動運転制御部36は、待機時間が経過しても遠隔支援内容を受信せず、乗員による判断又は手動運転も不能な場合には、自動で緊急退避を行ってもよい。
自動運転制御部36は、車両遠隔支援サーバ10から遠隔支援内容を受信したとしても、必ずしも遠隔支援内容に従う必要はない。自動運転制御部36は、遠隔支援内容として自動運転車両2の進行の提案を受信しても、歩行者の急な接近などを検出した場合には停止を優先してもよい。自動運転制御部36は、状況の変化に応じて遠隔支援要求判定部34による遠隔支援要求の再送信を行ってもよい。
[車両遠隔支援システムの構成]
図1に示すように、車両遠隔支援システム1は、オペレータインターフェース3、遠隔支援事例データベース4、及び車両遠隔支援サーバ10を備えている。
オペレータインターフェース3とは、遠隔オペレータRが自動運転車両2の遠隔支援を行うときに利用するインターフェースである。オペレータインターフェース3には、出力部及び支援内容入力部が設けられている。出力部は遠隔支援の対象となる自動運転車両に関する各種の情報を出力する機器である。出力部は、画像情報を出力するディスプレイと音情報を出力するスピーカとを含む。
支援内容入力部は、遠隔オペレータRにより遠隔支援内容が入力される機器である。支援内容入力部は、例えば入力レバーを有しており、入力レバーの操作により自動運転車両の進行又は停止などの提案を遠隔支援内容として自動運転車両2に送信(通知)する。支援内容入力部は、キーボードやマウス、タッチパネルを有していてもよく、音声認識やジェスチャー認識の機能を有していてもよい。支援内容入力部は、足で操作する操作ペダルを有していてもよい。
遠隔支援事例データベース4は、過去の遠隔支援の事例が記憶されたデータベースである。遠隔支援事例データベース4には、過去の自動運転車両の遠隔支援要求状況である過去支援要求状況が記憶されている。遠隔支援要求状況とは、遠隔オペレータRに対する遠隔支援要求を行った自動運転車両2の状況である。遠隔支援要求状況には、自動運転車両2の車両位置情報と外部環境情報とが含まれる。
遠隔支援事例データベース4には、過去に遠隔支援要求が行われたときの自動運転車両2の車両位置情報及び外部環境情報が含む過去支援要求状況が記憶されている。外部環境情報には、自動運転車両2の前方のカメラ撮像画像が含まれていてもよい。
また、遠隔支援事例データベース4は、過去支援要求状況と当該過去支援要求状況における遠隔オペレータRの遠隔支援内容とを対応付けて記憶している。遠隔支援事例データベース4は、例えば路肩から走行車線にはみ出して停止している故障車両が自動運転車両2の前方に存在する過去支援要求状況において、遠隔オペレータRの遠隔支援内容として自動運転車両2の車線逸脱回避の提案が行われたことを記憶している。遠隔支援事例データベース4は、遠隔支援内容として車線逸脱回避時における自動運転車両2の走行軌跡及び車速変化を記憶していてもよい。
図3は、車両遠隔支援サーバ10のハードウェア構成の一例を示すブロック図である。図3に示すように、車両遠隔支援サーバ10は、プロセッサ10a、記録部10b、通信部10c及びユーザインターフェース10dを備えた一般的なコンピュータとして構成することができる。
プロセッサ10aは、各種オペレーティングシステムを動作させて車両遠隔支援サーバ10を制御する。プロセッサ10aは、制御装置、演算装置、レジスタなどを含むCPUなどの演算器である。プロセッサ10aは、記録部10b、通信部10c及びユーザインターフェース10dを統括する。記録部10bは、メモリ及びストレージのうち少なくとも一方を含んで構成されている。メモリは、ROM、RAMなどの記録媒体である。ストレージは、HDD[Hard Disk Drive]などの記録媒体である。
通信部10cは、ネットワークNを介した通信を行うための通信機器である。通信部10cには、ネットワークデバイス、ネットワークコントローラ、ネットワークカードなどを用いることができる。ユーザインターフェース10dは、管理者などのユーザに対する車両遠隔支援サーバ10の入出力部である。ユーザインターフェース10dは、ディスプレイ、スピーカなどの出力器、及び、タッチパネルなどの入力器を含む。なお、車両遠隔支援サーバ10は、必ずしも施設に設けられている必要はなく、車両などの移動体に搭載されていてもよい。車両遠隔支援サーバ10は、複数のコンピュータから構成されていてもよい。
次に、車両遠隔支援サーバ10の機能的構成について説明する。図4は、車両遠隔支援サーバ10の機能的構成の一例を示すブロック図である。図4に示す車両遠隔支援サーバ10は、遠隔支援要求受付部41、類似判定部42、遠隔支援内容送信部43、継続性選択部44、及び遠隔支援内容自動送信部45を有している。
遠隔支援要求受付部41は、自動運転車両2から送信された遠隔支援要求を受け付ける。また、遠隔支援要求受付部41は、遠隔支援要求を送信した自動運転車両2の識別情報、車両位置情報、及び外部環境情報を取得する。車両位置情報及び外部環境情報は自動運転車両2の遠隔支援要求状況に含まれる。遠隔支援要求受付部41は、自動運転車両2の走行状態情報を取得してもよく、自動運転車両2の目的地、乗車人数、車種、残燃料のうち少なくとも一つを含む関連情報を取得してもよい。
類似判定部42は、遠隔支援要求受付部41により自動運転車両2から遠隔支援要求を受け付けた場合に、遠隔支援要求を送信した自動運転車両2の車両位置情報及び外部環境情報に基づいて、自動運転車両2の遠隔支援要求状況が遠隔支援事例データベース4に記録された過去支援要求状況と類似するか否かを判定する。
類似判定部42は、例えば位置と外部環境の二段階で類似判定を行う。類似判定部42は、遠隔支援要求状況に含まれる車両位置情報に基づいて、遠隔支援要求状況と位置が類似する過去支援要求状況が存在するか否かを判定する。類似判定部42は、遠隔支援要求状況に含まれる車両位置情報の位置から距離閾値内の位置に対応する過去支援要求状況が存在する場合、遠隔支援要求状況と位置が類似する過去支援要求状況が存在すると判定する。距離閾値は特に限定されない。距離閾値は1mであってもよく、2mであってもよい。距離閾値は自動運転車両2のセンサ性能や車種に応じて予め設定されていてもよい。
類似判定部42は、位置の類似判定において道路の延在方向(縦方向)と道路幅方向(横方向)で異なる閾値を用いてもよい。類似判定部42は、縦方向閾値と比べて横方向閾値を小さい値としてもよい。遠隔支援要求状況が過去支援要求状況と類似する場合であっても、センサ性能や車高などにより自動運転車両2が遠隔支援を要求すべきと判定する位置が異なる場合がある。縦方向閾値は10mであってもよく、50mであってもよい。横方向については車線を跨いで類似すると判定しないように横方向閾値を設定することが考えられる。横方向閾値は数mとすることができる。縦方向閾値及び横方向閾値の値は限定されない。類似判定部42は、位置の類似判定に機械学習を用いてもよい。
なお、類似判定部42は、遠隔支援を要求すべきと判定した状況の種別(障害物の車線逸脱回避、工事区間への進入などの種別)を考慮して、遠隔支援事例データベース4の中から比較する過去支援要求状況を絞り込んでもよい。また、類似判定に用いられる過去支援要求状況には、時間制限が掛けられていてもよい。時間制限は遠隔支援を要求すべきと判定した状況の種別に応じて変更することができる。
類似判定部42は、遠隔支援要求状況と位置が類似する過去支援要求状況が存在すると判定した場合、遠隔支援要求状況の外部環境情報と当該過去支援要求状況の外部環境情報とに基づいて、外部環境の類似判定を行う。
類似判定部42は、自動運転車両2による車両前方のカメラ撮像画像の比較により外部環境の類似判定を行ってもよい。類似判定部42は、遠隔支援要求状況の外部環境情報に含まれる自動運転車両2の車両前方のカメラ撮像画像と過去支援要求状況の外部環境情報に含まれる車両前方のカメラ撮像画像とが類似する場合、遠隔支援要求状況の外部環境と過去支援要求状況の外部環境が類似するとして、遠隔支援要求状況と類似する過去支援要求状況が存在すると判定することができる。
画像の類似判定については、周知の様々な手法を採用することができる。ピクセル単位で類似判定を行ってもよい。なお、画像全体の比較ではなく障害物画像の比較により類似判定を行ってもよい。この場合、画像認識による絞り込みによって障害物画像を抽出してもよく、ミリ波レーダ又はライダーの検出結果を利用して障害物画像の抽出を行ってもよい。また、画像の類似判定においては、自動運転車両2のカメラ取り付け位置を考慮して視点変換などの前処理を行ってもよい。
更に、画像の類似判定において、画像特徴量(Scale-Invariant Feature Transformなど)と機械学習(SupportVector Machineなど)を用いたマッチングを利用してもよく、深層学習(ConvolutionalNeural Networkなど)を用いたマッチングを行ってもよい。画像に他車両が含まれる場合には、他車両の車種、位置、色、ナンバープレートの表示などを用いて類似判定を行ってもよい。画像内の道路標識、看板、パイロンなどの物標について、位置や大きさを踏まえて類似判定を行ってもよい。
類似判定部42は、障害物に起因する遠隔支援要求である場合、自動運転車両2の前方の障害物を基準として外部環境の類似判定を行ってもよい。類似判定部42は、遠隔支援要求状況の外部環境情報(自動運転車両2と障害物との相対位置の情報)及び車両位置情報に基づいて、障害物の地図上の位置を認識する。類似判定部42は、遠隔支援要求状況の外部環境情報に基づいて、障害物の形状を認識してもよい。類似判定部42は、更に障害物の大きさや種類(四輪車、二輪車、落下物などの種類)を認識してもよい。障害物の情報はカメラ撮像画像から取得してもよく、ミリ波レーダ又はライダーから取得してもよく、各センサを複合的に用いて取得してもよい。ミリ波レーダ又はライダーの検出点群として障害物の大きさや形状、位置を取得することもできる。障害物は静止物に限定してもよい。
類似判定部42は、認識した障害物の位置及び形状が過去支援要求状況の外部環境情報に含まれる障害物の位置及び形状と類似する場合、遠隔支援要求状況の外部環境と過去支援要求状況の外部環境が類似するとして、遠隔支援要求状況と類似する過去支援要求状況が存在すると判定する。
なお、障害物の位置は完全一致である必要はなく、予め設定された障害物判定距離内であれば類似と判定できる。障害物判定距離は特に限定されない。障害物判定距離は1mであっても2mであってもよい。障害物の形状も完全一致である必要はなく、一定範囲の誤差は許容される。類似判定部42は、障害物の形状に代えて障害物の大きさや種類を用いて類似判定を行ってもよく、障害物の位置のみを用いて類似判定を行ってもよい。障害物の種類を用いる場合は完全一致の場合にのみ類似と判定することができる。
障害物を用いた類似判定については周知の様々な手法を採用することができる。機械学習による類似判定を行ってもよい。障害物には、車両前方だけではなく周囲の物体を含めてもよい。物体には、他車両、歩行者、自転車などを含めることができる。
遠隔支援内容送信部43は、遠隔オペレータRによる遠隔支援内容を自動運転車両2に送信する。遠隔支援内容送信部43は、類似判定部42により遠隔支援要求状況と類似する過去支援要求状況が存在しないと判定された場合に、遠隔オペレータRに遠隔支援内容の入力を求めて、遠隔オペレータRによるオペレータインターフェース3への遠隔支援内容の入力が行われる。遠隔支援内容送信部43は、遠隔オペレータRにより遠隔支援内容がオペレータインターフェース3に入力された場合、遠隔支援内容を自動運転車両2に送信する。
ここで、図5(a)は、遠隔オペレータによる遠隔支援が行われた場面の一例を示す図である。図5(a)に、自動運転車両2A,2B、2C及び故障車両50を示す。自動運転車両2A,2B、2Cは、何れも車両遠隔支援サーバ10と通信が接続されている。自動運転車両2A,2B、2Cは、自動運転車両2Aを先頭として自動運転車両2B、自動運転車両2Cの順に同一車線上を走行している。故障車両50は、自動運転車両2A,2B、2Cの走行する車線にはみ出すように路肩に停止しており、故障車両50を回避して進行するためには車線を逸脱する車線逸脱回避が必要となる。
図5(a)に示す状況において、自動運転車両2Aは、故障車両50の存在による車線逸脱回避が必要であり、遠隔支援を要求すべき状況であると判定して車両遠隔支援サーバ10に対する遠隔支援要求を行う。自動運転車両2Aは、車両位置情報及び外部環境情報(例えば故障車両50を含むカメラ撮像画像)も送信する。車両遠隔支援サーバ10は、遠隔オペレータRに遠隔支援要求の連絡を行う。ここでは、自動運転車両2Aの遠隔支援要求状況に類似する過去支援要求状況が存在しないものとする。
遠隔オペレータRは、自動運転車両2Aの状況を把握して遠隔支援内容を入力する。ここでは、遠隔オペレータRは遠隔支援内容として車線逸脱回避を提案する。車両遠隔支援サーバ10は、遠隔オペレータRの提案した車線逸脱回避を自動運転車両2Aに送信する。自動運転車両2Aは、遠隔支援内容としての車線逸脱回避の提案を受けて故障車両50を回避するために車線逸脱回避を実行する。車両遠隔支援サーバ10は、遠隔支援要求状況及び遠隔支援内容を対応付けて遠隔支援事例データベース4に記憶させる。なお、車両遠隔支援サーバ10は、後述する継続性選択部44における遠隔オペレータRの継続性の選択が行われた後に、遠隔支援事例データベース4に対して遠隔支援要求状況及び遠隔支援内容を記録させてもよい。
継続性選択部44は、遠隔オペレータRによる遠隔支援内容の入力が行われた場合に、遠隔オペレータRに対して遠隔支援要求状況が継続性を有するか否かを選択させる。継続性選択部44は、オペレータインターフェース3を通じて画像表示及び/又は音声出力により、遠隔オペレータRに継続性の選択を行わせる。遠隔支援要求状況が継続性を有するとは、例えば、遠隔支援要求を今回行った自動運転車両2に後続する別の自動運転車両2が存在する場合に、同じ遠隔支援要求状況が継続して発生する状況であると言う意味である。
継続性選択部44は、遠隔オペレータRが継続性を有すると選択した場合、当該遠隔支援要求状況を過去支援要求状況として遠隔支援事例データベース4に記憶させる。なお、遠隔支援事例データベース4には、継続性の選択結果にかかわらず全ての遠隔支援要求状況が記憶されていてもよい。この場合、遠隔支援事例データベース4には、遠隔オペレータRによる継続性の選択結果と関連付けて過去支援要求状況が記憶される。
遠隔支援内容自動送信部45は、類似判定部42により遠隔支援要求状況と類似する過去支援要求状況が存在すると判定された場合に、遠隔オペレータRに代わって当該過去支援要求状況に対応する遠隔支援内容を自動運転車両2に送信する。遠隔支援内容自動送信部45は、遠隔支援事例データベース4を参照することで、類似すると判定された過去支援要求状況に対応する遠隔支援内容を自動運転車両2に送信する。
遠隔支援内容自動送信部45は、遠隔支援事例データベース4に継続性の選択結果にかかわらず全ての遠隔支援要求状況が記憶されている場合には、継続性を有すると選択された過去支援要求状況と自動運転車両2の遠隔支援要求状況とが類似すると判定されたときにのみ、過去支援要求状況に対応する遠隔支援内容を自動運転車両2に送信する態様とすることができる。この場合、遠隔支援内容自動送信部45は、継続性を有しないと選択された過去支援要求状況と自動運転車両の遠隔支援要求状況とが類似すると判定されたとしても、過去支援要求状況に対応する遠隔支援内容を自動運転車両2に送信しない。
ここで、図5(b)は、自動運転車両2Bの遠隔支援要求状況と位置が類似する過去支援要求状況が存在する場合の一例を示す図である。図5(b)は、図5(a)の場面の続きとなる。図5(b)では、遠隔オペレータRの遠隔支援により車線逸脱回避を行って故障車両50を避けて進行した自動運転車両2Aに続いて、後続する自動運転車両2Bが遠隔支援要求を行っている。自動運転車両2Bも故障車両50に起因して遠隔支援要求を行っているものとする。自動運転車両2Bは、車両位置情報及び外部環境情報を車両遠隔支援サーバ10に送信する。
車両遠隔支援サーバ10の類似判定部42は、遠隔支援要求を行った自動運転車両2Bの車両位置情報に基づいて、自動運転車両2Bの遠隔支援要求状況と位置が類似する過去支援要求状況(自動運転車両2Aにおける遠隔支援要求状況)が遠隔支援事例データベース4に存在すると判定する。
図5(c)は、過去支援要求状況に対応する遠隔支援内容が自動運転車両に送信された場面の一例を示す図である。図5(c)において、車両遠隔支援サーバ10の類似判定部42は、自動運転車両2Bから送信された外部環境情報と自動運転車両2Aの過去支援要求状況に含まれる外部環境情報とから、外部環境の類似判定を行う。
類似判定部42は、例えば自動運転車両2Bにおける故障車両50を含むカメラ撮像画像と自動運転車両2Aの過去支援要求状況における故障車両50を含むカメラ撮像画像とが類似することから、位置だけではなく外部環境も類似するとして、遠隔支援要求状況と類似する過去支援要求状況が存在すると判定する。遠隔支援内容自動送信部45は、遠隔オペレータRに代わって、自動運転車両2Aの過去支援要求状況に対応する遠隔支援内容として車線逸脱回避の提案を自動運転車両2Bに送信する。自動運転車両2Bは、遠隔支援内容としての車線逸脱回避の提案を受けて故障車両50を回避するために車線逸脱回避を実行する。
[車両遠隔支援システムの車両遠隔支援方法]
次に、本実施形態に係る車両遠隔支援システム1の車両遠隔支援方法(処理)について、図6を参照して説明する。図6は、車両遠隔支援システムにおける車両遠隔支援処理の一例を示すフローチャートである。
図6に示すように、車両遠隔支援システム1の車両遠隔支援サーバ10は、S10において、遠隔支援要求受付部41により自動運転車両2から遠隔支援要求を受け付けたか否かを判定する(遠隔支援要求受付判定ステップ)。車両遠隔支援サーバ10は、自動運転車両2から遠隔支援要求を受け付けたと判定した場合(S10:YES)、S12に移行する。車両遠隔支援サーバ10は、自動運転車両2から遠隔支援要求を受け付けたと判定しなかった場合(S10:NO)、今回の処理を終了する。その後、車両遠隔支援サーバ10は一定時間の経過後に再びS10の処理を繰り返す。
S12において、車両遠隔支援サーバ10は、類似判定部42により遠隔支援要求状況が類似する過去支援要求状況が存在するか否かを判定する(類似判定ステップ)。類似判定部42は、例えば位置と外部環境の二段階で類似判定を行う。類似判定部42は、遠隔支援要求状況と位置が類似する過去支援要求状況が存在し、外部環境も類似する場合に、遠隔支援要求状況と位置が類似する過去支援要求状況が存在すると判定する。車両遠隔支援サーバ10は、遠隔支援要求状況と位置が類似する過去支援要求状況が存在すると判定された場合(S12:YES)、S14に移行する。車両遠隔支援サーバ10は、遠隔支援要求状況と位置が類似する過去支援要求状況が存在すると判定されなかった場合(S12:NO)、S16に移行する。
S14において、車両遠隔支援サーバ10は、遠隔支援内容自動送信部45により過去支援要求状況(類似すると判定された過去支援要求状況)に対応する遠隔支援内容を自動運転車両2に送信する(遠隔支援内容自動送信ステップ)。その後、車両遠隔支援サーバ10は、今回の処理を終了する。車両遠隔支援サーバ10は一定時間の経過後に再びS10の処理を繰り返す。
S16において、車両遠隔支援サーバ10は、遠隔オペレータRに遠隔支援を要求する(遠隔支援要求ステップ)。車両遠隔支援サーバ10は、オペレータインターフェース3を通じて遠隔オペレータRに遠隔支援内容の入力を求める。車両遠隔支援サーバ10は、オペレータインターフェース3に自動運転車両2の状況を表示する。
S18において、車両遠隔支援サーバ10は、遠隔支援内容送信部43により遠隔オペレータRの入力した遠隔支援内容を自動運転車両2に送信する。
S20において、車両遠隔支援サーバ10は、継続性選択部44により遠隔オペレータRに対して遠隔支援要求状況が継続性を有するか否かを選択させる(継続性選択ステップ)。継続性選択部44は、オペレータインターフェース3を通じて画像表示及び/又は音声出力により、遠隔オペレータRに継続性の選択を行わせる。なお、S20とS18の順番は逆であってもよい。
S22において、車両遠隔支援サーバ10は、継続性選択部44により遠隔オペレータRが遠隔支援要求状況は継続性を有すると選択したか否かを判定する(継続性判定ステップ)。車両遠隔支援サーバ10は、遠隔オペレータRが遠隔支援要求状況は継続性を有すると選択した場合(S22:YES)、S24に移行する。車両遠隔支援サーバ10は、遠隔オペレータRが遠隔支援要求状況は継続性を有すると選択しなかった場合(S22:NO)、今回の処理を終了する。その後、車両遠隔支援サーバ10は一定時間の経過後に再びS10の処理を繰り返す。
S24において、車両遠隔支援サーバ10は、継続性選択部44により今回の遠隔支援要求状況を過去支援要求状況として遠隔支援事例データベース4に記憶させる(過去支援要求状況記憶ステップ)。遠隔支援事例データベース4には、車両位置情報及び外部環境情報を含む過去支援要求状況が遠隔支援内容と対応付けて記憶される。その後、車両遠隔支援サーバ10は今回の処理を終了し、一定時間の経過後に再びS10の処理を繰り返す。
以上説明した本実施形態に係る車両遠隔支援システム1によれば、遠隔支援要求を行った自動運転車両2の遠隔支援要求状況が遠隔支援事例データベースに記録された過去支援要求状況と類似すると判定された場合に、遠隔オペレータRに代わって過去支援要求状況に対応する遠隔支援内容を自動運転車両2に送信するので、遠隔オペレータRが遠隔支援を行う頻度を抑えて、遠隔オペレータRの負荷を低減することができる。
また、車両遠隔支援システム1では、遠隔オペレータRに対して自動運転車両2の遠隔支援要求状況が継続性を有するか否かを選択させ、横断歩道上で自転車が倒れたなどの継続性を有しないと選択された過去支援要求状況と自動運転車両2の遠隔支援要求状況とが類似すると判定されたとしても、過去支援要求状況に対応する遠隔支援内容を自動運転車両2に送信しないので、継続性を有さず状況が変わる可能性の高い過去支援要求状況の遠隔支援内容を誤って自動運転車両2に送信することを避けることができる。
車両遠隔支援システム1では、車両前方の障害物に対する車線逸脱回避の状況を遠隔支援要求状況に含めることで、走行路にはみ出している駐車車両や落下物などの障害物を避けるために車線を逸脱して障害物と距離を取る車線逸脱回避を行う状況において、遠隔オペレータRが行う遠隔支援の頻度を下げることができ、遠隔オペレータRの負荷を低減することができる。
以上、本発明の実施形態について説明したが、本発明は上述した実施形態に限定されるものではない。本発明は、上述した実施形態を始めとして、当業者の知識に基づいて種々の変更、改良を施した様々な形態で実施することができる。
遠隔支援には、遠隔オペレータRによる遠隔操作が含まれてもよい。遠隔操作では、遠隔オペレータRが車外の施設に設けられたステアリングホイールやアクセルペダル、ブレーキペダルなどを操作することにより遠隔で自動運転車両2の運転操作を行うことができる。
遠隔支援事例データベース4は、車両遠隔支援サーバ10の一部であってもよく、別体であってもよい。継続性選択部44は、必ずしも遠隔オペレータRに選択させる必要はなく、外部環境情報から自動で選択される態様であってもよい。継続性選択部44は、遠隔支援要求状況の外部環境情報に基づいて、機械学習により継続性を有するか否かを自動で選択してもよい。
車両遠隔支援サーバ10は、必ずしも継続性選択部44を備える必要はない。この場合、類似判定部42は、全ての過去支援要求状況を類似判定の対象としてもよい。或いは、遠隔支援を要求すべきと判定した状況の種別を用いて類似判定の対象となる過去支援要求状況の絞り込みを行ってもよい。
類似判定部42による類似判定の手法は特に限定されない。類似判定部42は、必ずしも位置と外部環境の二段階で類似判定を行う必要はなく、車両位置情報及び外部環境情報を用いて一度で類似判定を完了させてもよい。遠隔支援要求状況には、必ずしも車両前方の障害物の車線逸脱回避の状況を含める必要はない。
1…車両遠隔支援システム、2,2A,2B,2C…自動運転車両、3…オペレータインターフェース、4…遠隔支援事例データベース、10…車両遠隔支援サーバ、41…遠隔支援要求受付部、42…類似判定部、43…遠隔支援内容送信部、44…継続性選択部、45…遠隔支援内容自動送信部、R…遠隔オペレータ。

Claims (4)

  1. 自動運転車両から遠隔支援要求を受けた場合に遠隔オペレータが前記自動運転車両の走行に関する遠隔支援を行う車両遠隔支援システムであって、
    過去に前記遠隔支援要求が行われたときの車両位置情報及び外部環境情報を含む過去支援要求状況と当該過去支援要求状況における前記遠隔オペレータの遠隔支援内容とを対応付けて記憶する遠隔支援事例データベースと、
    前記自動運転車両から前記遠隔支援要求を受信した場合に、前記遠隔支援要求を送信した前記自動運転車両の位置及び前記自動運転車両の外部環境に基づいて、前記自動運転車両の遠隔支援要求状況が前記遠隔支援事例データベースに記録された前記過去支援要求状況と類似するか否かを判定する類似判定部と、
    前記類似判定部により前記遠隔支援要求状況が前記過去支援要求状況と類似すると判定された場合に、前記遠隔オペレータに代わって前記過去支援要求状況に対応する前記遠隔支援内容を前記自動運転車両に送信する遠隔支援内容自動送信部と、
    前記遠隔オペレータが前記自動運転車両の前記遠隔支援を行う場合に、前記遠隔オペレータに対して当該自動運転車両の前記遠隔支援要求状況が継続性を有するか否かを選択させる継続性選択部と、
    を備え
    前記遠隔支援事例データベースには、前記継続性選択部における前記遠隔オペレータの選択結果と関連付けて前記過去支援要求状況が記憶されており、
    前記遠隔支援内容自動送信部は、前記継続性を有すると選択された前記過去支援要求状況と前記自動運転車両の前記遠隔支援要求状況とが類似すると判定された場合に、前記過去支援要求状況に対応する前記遠隔支援内容を前記自動運転車両に送信し、前記継続性を有しないと選択された前記過去支援要求状況と前記自動運転車両の前記遠隔支援要求状況とが類似すると判定されたとしても、前記過去支援要求状況に対応する前記遠隔支援内容を前記自動運転車両に送信しない、車両遠隔支援システム。
  2. 前記遠隔支援要求状況は、前記自動運転車両の車両前方の障害物に対する車線逸脱回避の状況である、請求項1に記載の車両遠隔支援システム。
  3. 自動運転車両から遠隔支援要求を受けた場合に遠隔オペレータが前記自動運転車両の走行に関する遠隔支援を行うための車両遠隔支援サーバであって、
    前記自動運転車両から前記遠隔支援要求を受信した場合に、前記遠隔支援要求を送信した前記自動運転車両の位置及び前記自動運転車両の外部環境に基づいて、前記自動運転車両の遠隔支援要求状況が過去に前記遠隔支援要求が行われたときの車両位置情報及び外部環境情報を含む過去支援要求状況と類似するか否かを判定する類似判定部と、
    前記類似判定部により前記遠隔支援要求状況が前記過去支援要求状況と類似すると判定された場合に、前記過去支援要求状況及び当該過去支援要求状況における前記遠隔オペレータの遠隔支援内容とを対応付けて記憶する遠隔支援事例データベースを参照することで、前記遠隔オペレータに代わって前記過去支援要求状況に対応する前記遠隔支援内容を前記自動運転車両に送信する遠隔支援内容自動送信部と、
    前記遠隔オペレータが前記自動運転車両の前記遠隔支援を行う場合に、前記遠隔オペレータに対して当該自動運転車両の前記遠隔支援要求状況が継続性を有するか否かを選択させる継続性選択部と、
    を備え
    前記遠隔支援事例データベースには、前記継続性選択部における前記遠隔オペレータの選択結果と関連付けて前記過去支援要求状況が記憶されており、
    前記遠隔支援内容自動送信部は、前記継続性を有すると選択された前記過去支援要求状況と前記自動運転車両の前記遠隔支援要求状況とが類似すると判定された場合に、前記過去支援要求状況に対応する前記遠隔支援内容を前記自動運転車両に送信し、前記継続性を有しないと選択された前記過去支援要求状況と前記自動運転車両の前記遠隔支援要求状況とが類似すると判定されたとしても、前記過去支援要求状況に対応する前記遠隔支援内容を前記自動運転車両に送信しない、車両遠隔支援サーバ。
  4. 自動運転車両から遠隔支援要求を受けた場合に遠隔オペレータが前記自動運転車両の走行に関する遠隔支援を行う車両遠隔支援システムの車両遠隔支援方法であって、
    前記自動運転車両から前記遠隔支援要求を受信した場合に、前記遠隔支援要求を送信した前記自動運転車両の位置及び前記自動運転車両の外部環境に基づいて、前記自動運転車両の遠隔支援要求状況が過去に前記遠隔支援要求が行われたときの車両位置情報及び外部環境情報を含む過去支援要求状況と類似するか否かを判定する類似判定ステップと、
    前記遠隔支援要求状況が前記過去支援要求状況と類似すると判定された場合に、前記過去支援要求状況及び当該過去支援要求状況における前記遠隔オペレータの遠隔支援内容とを対応付けて記憶する遠隔支援事例データベースを参照することで、前記遠隔オペレータに代わって前記過去支援要求状況に対応する前記遠隔支援内容を前記自動運転車両に送信する遠隔支援内容自動送信ステップと、
    前記遠隔オペレータが前記自動運転車両の前記遠隔支援を行う場合に、前記遠隔オペレータに対して当該自動運転車両の前記遠隔支援要求状況が継続性を有するか否かを選択させる継続性選択ステップと、
    を含み、
    前記遠隔支援事例データベースには、前記継続性選択ステップにおける前記遠隔オペレータの選択結果と関連付けて前記過去支援要求状況が記憶されており、
    前記遠隔支援内容自動送信ステップにおいて、前記継続性を有すると選択された前記過去支援要求状況と前記自動運転車両の前記遠隔支援要求状況とが類似すると判定された場合に、前記過去支援要求状況に対応する前記遠隔支援内容を前記自動運転車両に送信し、前記継続性を有しないと選択された前記過去支援要求状況と前記自動運転車両の前記遠隔支援要求状況とが類似すると判定されたとしても、前記過去支援要求状況に対応する前記遠隔支援内容を前記自動運転車両に送信しない、車両遠隔支援方法。
JP2020171758A 2020-10-12 2020-10-12 車両遠隔支援システム、車両遠隔支援サーバ、及び車両遠隔支援方法 Active JP7327344B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020171758A JP7327344B2 (ja) 2020-10-12 2020-10-12 車両遠隔支援システム、車両遠隔支援サーバ、及び車両遠隔支援方法
EP21183541.8A EP3982226B1 (en) 2020-10-12 2021-07-02 Vehicle remote assistance system, vehicle remote assistance server, and vehicle remote assistance method
US17/370,582 US11507110B2 (en) 2020-10-12 2021-07-08 Vehicle remote assistance system, vehicle remote assistance server, and vehicle remote assistance method
CN202111170597.0A CN114419574A (zh) 2020-10-12 2021-10-08 车辆远程辅助系统、车辆远程辅助服务器及车辆远程辅助方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020171758A JP7327344B2 (ja) 2020-10-12 2020-10-12 車両遠隔支援システム、車両遠隔支援サーバ、及び車両遠隔支援方法

Publications (2)

Publication Number Publication Date
JP2022063472A JP2022063472A (ja) 2022-04-22
JP7327344B2 true JP7327344B2 (ja) 2023-08-16

Family

ID=76807508

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020171758A Active JP7327344B2 (ja) 2020-10-12 2020-10-12 車両遠隔支援システム、車両遠隔支援サーバ、及び車両遠隔支援方法

Country Status (4)

Country Link
US (1) US11507110B2 (ja)
EP (1) EP3982226B1 (ja)
JP (1) JP7327344B2 (ja)
CN (1) CN114419574A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020503612A (ja) * 2016-12-22 2020-01-30 ニッサン ノース アメリカ,インク 自律走行車両サービスシステム
US11537124B2 (en) * 2020-04-29 2022-12-27 Teleo, Inc. Built-in safety of control station and user interface for teleoperation
US11847919B2 (en) * 2020-05-19 2023-12-19 Toyota Motor North America, Inc. Control of transport en route
KR20230001073A (ko) * 2021-06-25 2023-01-04 현대자동차주식회사 자율 주행 차량, 그를 원격 제어하는 관제 시스템 및 그 방법

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176083A1 (ja) 2018-03-16 2019-09-19 株式会社日立製作所 移動体制御装置
JP2019185280A (ja) 2018-04-06 2019-10-24 株式会社デンソー 管制装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10401852B2 (en) * 2015-11-04 2019-09-03 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
JP6650386B2 (ja) 2016-11-09 2020-02-19 本田技研工業株式会社 遠隔運転制御装置、車両制御システム、遠隔運転制御方法、および遠隔運転制御プログラム
WO2018232032A1 (en) * 2017-06-16 2018-12-20 nuTonomy Inc. Intervention in operation of a vehicle having autonomous driving capabilities
JP6893140B2 (ja) * 2017-07-20 2021-06-23 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 制御装置、制御方法、制御プログラム及び制御システム
JP2019207539A (ja) 2018-05-29 2019-12-05 株式会社Soken 管理装置
JP7111530B2 (ja) * 2018-06-28 2022-08-02 株式会社Soken 車両の遠隔操作システム、車両制御装置、車両及び遠隔操作の開始タイミングを報知する方法
US10499190B1 (en) * 2018-11-08 2019-12-03 Capital One Services, Llc Systems and methods for facilitating dynamic remote assistance networks
US11810075B2 (en) * 2019-01-07 2023-11-07 Ottopia Technologies Ltd. Servicing of autonomous vehicles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019176083A1 (ja) 2018-03-16 2019-09-19 株式会社日立製作所 移動体制御装置
JP2019185280A (ja) 2018-04-06 2019-10-24 株式会社デンソー 管制装置

Also Published As

Publication number Publication date
EP3982226B1 (en) 2024-04-17
EP3982226A1 (en) 2022-04-13
US20220113737A1 (en) 2022-04-14
CN114419574A (zh) 2022-04-29
US11507110B2 (en) 2022-11-22
JP2022063472A (ja) 2022-04-22

Similar Documents

Publication Publication Date Title
JP7327344B2 (ja) 車両遠隔支援システム、車両遠隔支援サーバ、及び車両遠隔支援方法
US11703852B2 (en) Vehicle remote instruction system
US11996902B2 (en) Vehicle remote instruction system
JP7140037B2 (ja) 車両遠隔指示システム
JP7243524B2 (ja) 自動運転システム
US20210109515A1 (en) Remote autonomous driving vehicle and vehicle remote instruction system
US11636762B2 (en) Image display device
KR20190126024A (ko) 교통 사고 처리 장치 및 교통 사고 처리 방법
US20220342417A1 (en) Remote function selection device
JP2021018636A (ja) 車両遠隔指示システム
JP2022188453A (ja) 車両遠隔操作装置、車両遠隔操作システム、車両遠隔操作方法、車両遠隔操作プログラム
JP7509250B2 (ja) 画像表示装置、画像表示方法、及び、画像表示プログラム
JP2022138913A (ja) 走行支援システム
JP2022174921A (ja) 車両遠隔指示システム
JP2022143691A (ja) 遠隔機能選択装置
JP2021018743A (ja) 画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220524

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230313

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230328

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230501

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230704

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230717

R151 Written notification of patent or utility model registration

Ref document number: 7327344

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151