JP7480734B2 - 遠隔支援システム及び遠隔支援方法 - Google Patents

遠隔支援システム及び遠隔支援方法 Download PDF

Info

Publication number
JP7480734B2
JP7480734B2 JP2021050650A JP2021050650A JP7480734B2 JP 7480734 B2 JP7480734 B2 JP 7480734B2 JP 2021050650 A JP2021050650 A JP 2021050650A JP 2021050650 A JP2021050650 A JP 2021050650A JP 7480734 B2 JP7480734 B2 JP 7480734B2
Authority
JP
Japan
Prior art keywords
vehicle
assistance
operator
scene
request
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021050650A
Other languages
English (en)
Other versions
JP2022148824A (ja
Inventor
成仁 山郷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2021050650A priority Critical patent/JP7480734B2/ja
Priority to CN202210256654.5A priority patent/CN115129041A/zh
Priority to US17/656,329 priority patent/US20220308578A1/en
Publication of JP2022148824A publication Critical patent/JP2022148824A/ja
Priority to JP2024007897A priority patent/JP2024040209A/ja
Application granted granted Critical
Publication of JP7480734B2 publication Critical patent/JP7480734B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0038Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement by providing the operator with simple or augmented images from one or more cameras located onboard the vehicle, e.g. tele-operation
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0011Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement
    • G05D1/0027Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots associated with a remote control arrangement involving a plurality of vehicles, e.g. fleet or convoy travelling
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G05D1/0225Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory involving docking at a fixed facility, e.g. base station or loading bay
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/028Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using a RF signal
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0276Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle
    • G05D1/0285Control of position or course in two dimensions specially adapted to land vehicles using signals provided by a source external to the vehicle using signals transmitted via a public communication network, e.g. GSM network

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、自動運転車両の走行を遠隔で支援する技術に関する。
特許文献1は、自動運転車両を遠隔制御する管制装置を開示している。ある対象車両に対する遠隔制御が実施された後、管制装置は、対象車両の位置情報とセンシングデータとを含む地点データを登録する。遠隔制御を実行する場合、管制装置は、対象車両から取得した現在の地点データと類似する登録地点データが利用可能か否か判定する。類似する登録地点データ利用可能である場合、管制装置は、類似する登録地点データを利用し且つオペレータが介入しない第1の遠隔制御を実行する。一方、類似する登録地点データ利用可能ではない場合、管制装置は、オペレータが介入する第2の遠隔制御を実行する。
特許文献2は、車両を管理する管理装置を開示している。車両は、センサを用いて周辺の状況を表す周辺情報を作成し、周辺情報に基づいて自動運転を行う。自動運転が困難な状況において、管理装置は、車両から周辺情報を取得し、周辺情報に応じて車両の遠隔操縦及び代替処理のうちの一方を選択する。代替処理は、使用するセンサの変更、又は、自動運転のルートの変更である。
特許文献3は、車両遠隔操作支援システムを開示している。車両遠隔操作支援システムは、自動運転を実行する車両と、オペレータを有する管制センタと、を備える。車両は、自動運転が困難な場合、周辺情報を管制センタに送信し、且つ、オペレータを呼び出す。オペレータは、周辺情報に応じて、車両の遠隔操縦における走行パターンを選択するためのパラメータを入力する。管制センタは、入力されたパラメータに基づいて走行パターンを選択し、選択した走行パターンと周辺情報とを用いて車両の経路を生成する。
特開2019-185280号公報 特開2019-207539号公報 特開2019-191982号公報
自動運転車両からの支援要求に応答して、オペレータが自動運転車両の走行を遠隔で支援することが考えられる。このとき、オペレータにかかる負荷が増大すると、遠隔支援の効率が低下するおそれがある。
本発明の1つの目的は、自動運転車両の走行を遠隔で支援するオペレータにかかる負荷を軽減することができる技術を提供することにある。
第1の観点は、自動運転車両の走行を遠隔で支援する遠隔支援システムに関連する。
自動運転車両は、
自動運転中の認識及び判断を含む複数の車両処理と、
複数の車両処理のうち少なくとも1つの支援を要求する支援要求を遠隔支援システムに送る支援要求処理と
を実行する。
遠隔支援システムは、
1又は複数のプロセッサと、
自動運転車両による支援要求処理の実績をシーン毎に示す実績データベースと
を備える。
1又は複数のプロセッサは、
第1シーンにいる対象自動運転車両から送られる支援要求に応答して、対象自動運転車両に対する指示をオペレータに要求するオペレータ指示要求処理と、
オペレータからの指示を対象自動運転車両に通知するオペレータ指示通知処理と
を実行するように構成される。
支援処理は、第1シーンにおける複数の車両処理のうち、対象自動運転車両の代わりにオペレータが行う車両処理である。
委任処理は、第1シーンにおける複数の車両処理のうち、オペレータが対象自動運転車両に任せる車両処理である。
オペレータ指示要求処理において、1又は複数のプロセッサは、
実績データベースから第1シーンに関連する支援要求処理の実績を取得し、
第1シーンに関連する実績に基づいて、支援処理と委任処理の組み合わせの複数の選択肢のうちオペレータに推奨する推奨選択肢を決定し、
少なくとも推奨選択肢をオペレータに提示する。
第2の観点は、自動運転車両の走行を遠隔で支援する遠隔支援方法に関連する。
自動運転車両は、
自動運転中の認識及び判断を含む複数の車両処理と、
複数の車両処理のうち少なくとも1つの支援を要求する支援要求を遠隔支援システムに送る支援要求処理と
を実行する。
実績データベースは、自動運転車両による支援要求処理の実績をシーン毎に示す。
遠隔支援方法は、
第1シーンにいる対象自動運転車両から送られる支援要求に応答して、対象自動運転車両に対する指示をオペレータに要求するオペレータ指示要求処理と、
オペレータからの指示を対象自動運転車両に通知するオペレータ指示通知処理と
を含む。
支援処理は、第1シーンにおける複数の車両処理のうち、対象自動運転車両の代わりにオペレータが行う車両処理である。
委任処理は、第1シーンにおける複数の車両処理のうち、オペレータが対象自動運転車両に任せる車両処理である。
オペレータ指示要求処理は、
実績データベースから第1シーンに関連する支援要求処理の実績を取得する処理と、
第1シーンに関連する支援要求処理の実績に基づいて、支援処理と委任処理の組み合わせの複数の選択肢のうちオペレータに推奨する推奨選択肢を決定する処理と、
少なくとも推奨選択肢をオペレータに提示する処理と
を含む。
本発明によれば、対象自動運転車両からの支援要求に応答して、対象自動運転車両に対する指示がオペレータに要求される。支援処理は、対象自動運転車両の代わりにオペレータが行う車両処理である。一方、委任処理は、オペレータが対象自動運転車両に任せる処理である。委任処理が増えて支援処理が減ると、その分だけ、オペレータが判断すべき事項が減る。このことは、オペレータにかかる負荷の軽減に寄与する。
更に、本発明によれば、支援要求処理の実績を示す実績データベースに基づいて、支援処理と委任処理の組み合わせの推奨選択肢が決定される。そして、推奨選択肢がオペレータに提示される。オペレータは、推奨選択肢を参考にすることによって、どの車両処理を委任処理とするかを検討する時間を短縮することができる。これにより、オペレータにかかる負荷が軽減される。
オペレータにかかる負荷が軽減されるため、オペレータが単一の支援要求(すなわち、単一の対象自動運転車両)に対処するために要する時間が短縮される。その結果、遠隔支援の効率が向上する。また、このことは、限られた数のオペレータによって、より多くの支援要求(対象自動運転車両)を捌くことができることを意味する。このことは、コストの観点から好ましい。本発明によれば、コストの増大を抑制しつつ、遠隔支援の効率を向上させることが可能となる。
本発明の実施の形態に係る遠隔支援の概要を説明するための概念図である。 本発明の実施の形態に係る遠隔支援システムの概要を説明するための概念図である。 本発明の実施の形態に係る遠隔支援システムによる遠隔支援処理を説明するための概念図である。 本発明の実施の形態に係る遠隔支援システムによるオペレータ指示要求処理の一例を説明するための概念図である。 本発明の実施の形態に係る自動運転車両に搭載されている自動運転システムの構成例を示すブロック図である。 本発明の実施の形態に係る運転環境情報の例を示すブロック図である。 本発明の実施の形態に係る遠隔支援システムの構成例を示すブロック図である。 本発明の実施の形態に係る実績データベースの一例を示す概念図である。 本発明の実施の形態に係る実績データベースの他の例を示す概念図である。 本発明の実施の形態に係る遠隔支援処理に関連する各種情報の例を示すブロック図である。 本発明の実施の形態に係る遠隔支援処理におけるオペレータ指示要求処理を示すフローチャートである。 本発明の実施の形態に係る遠隔支援処理におけるオペレータ指示通知処理を示すフローチャートである。
添付図面を参照して、本発明の実施の形態を説明する。
1.遠隔支援の概要
図1は、本実施の形態に係る遠隔支援の概要を説明するための概念図である。自動運転車両1は、自動運転可能な車両である。ここでの自動運転としては、ドライバが必ずしも100%運転に集中しなくてもよいことを前提としたもの(いわゆるレベル3以上の自動運転)を想定している。自動運転車両1は、ドライバを必要としないレベル4以上の自動運転車両であってもよい。そのような自動運転車両1としては、例えば、限定エリア内で運行する自動運転バスが挙げられる。
遠隔支援システム100は、例えば、多数の自動運転車両1が走行するエリアの自動運転センター内に設置される。自動運転車両1と遠隔支援システム100は互いに通信可能である。遠隔支援システム100は、自動運転車両1と通信を行い、自動運転車両1の走行を遠隔で支援する。より詳細には、人間であるオペレータが、遠隔支援システム100を介して、自動運転車両1の走行を遠隔で支援する。遠隔支援システム100は、オペレータによる自動運転車両1の遠隔支援を補助するシステムであるとも言える。
例えば図2に示されるように、遠隔支援システム100は、モニタを含んでいる。モニタには、エリアの状況、各自動運転車両1の位置及び状態、等の情報が表示される。オペレータは、モニタに表示された情報を監視する。そして、オペレータは、必要に応じて、自動運転車両1の走行を遠隔で支援する。
典型的には、オペレータによる遠隔支援が必要な状況は、自動運転が困難な状況である。自動運転車両1は、自動運転中、各種の車両処理を実行する。自動運転中の代表的な車両処理としては、次のようなものが挙げられる。
(1)認識処理:自動運転車両1は、認識センサを用いて、自動運転車両1の周辺の状況を認識する。例えば、自動運転車両1は、カメラを用いて、信号機の信号表示(例:青信号、黄信号、赤信号、右折信号、等)を認識する。
(2)行動判断処理:自動運転車両1は、認識処理の結果に基づいて、行動を実行するか否かを判断する。自動運転車両1の行動としては、発進、停止、右折、左折、車線変更、等が例示される。
(3)タイミング判断処理:自動運転車両1は、上記行動を実行する実行タイミングを判断する。
例えば、交差点に設置された信号機に日光が当たっているとき、信号表示の認識精度が低下する可能性がある。認識処理によって信号表示を正確に判別することができない場合、自動運転車両1は、信号認識についてオペレータによる遠隔支援を必要とする。また、信号表示を判別することができない場合、どのような行動をどのタイミングで実行すべきか判断することも困難である。よって、自動運転車両1は、行動判断処理及びタイミング判断処理についてもオペレータによる遠隔支援を必要とする。
信号表示が判別されたとしても、実際に行動を実行してもよいか否か判断することが難しい状況も考えられる。例えば、自動運転車両1から見た信号表示が「右折可能」となった後にもかかわらず、対向車両が交差点に進入してきたり、対向車両や先行車両が交差点内に滞留していたりする場合がある。そのような場合、自動運転車両1は、停止したまま、行動判断処理やタイミング判断処理についてオペレータによる遠隔支援を要求してもよい。
更に他の例として、自動運転車両1の前方の車線上に駐車車両が存在しているが、車線変更を行うか否かの判断が難しい状況も考えられる。例えば、駐車車両が発進する兆候がある状況では、車線変更を行うか否かの判断が難しい。また、車線変更が禁止されている区間では、停車以外に取り得る行動がなくなる。このような場合、自動運転車両1は、駐車車両の手前で停止し、行動判断処理についてオペレータによる遠隔支援を要求してもよい。
更に他の例として、工事区間において、自動運転車両1はオペレータによる遠隔支援を要求してもよい。更に他の例として、自動運転車両1の故障時、自動運転車両1はオペレータによる遠隔支援を要求してもよい。
オペレータによる遠隔支援が必要な場合、自動運転車両1は、「支援要求REQ」を遠隔支援システム100に送る。支援要求REQは、上述の複数の車両処理(認識処理、行動判断処理、及びタイミング判断処理)のうち少なくとも1つの支援を要求する。この自動運転車両1による処理を、以下、「支援要求処理」と呼ぶ。また、支援要求処理を行う自動運転車両1を、以下、「対象自動運転車両1T」と呼ぶ。支援要求REQは、対象自動運転車両1Tにおける車両処理の結果を参考情報として含んでいてもよい。
遠隔支援システム100は、対象自動運転車両1Tから支援要求REQを受け取る。遠隔支援システム100は、受け取った支援要求REQをオペレータに通知し、対象自動運転車両1Tに対する指示をオペレータに要求する。この遠隔支援システム100による処理を、以下、「オペレータ指示要求処理」と呼ぶ。
オペレータは、支援要求REQの内容に応じて、対象自動運転車両1Tに対する指示である「オペレータ指示INS」を決定する。オペレータは、オペレータ指示を遠隔支援システム100に入力する。遠隔支援システム100は、対象自動運転車両1Tと通信を行い、オペレータ指示INSを対象自動運転車両1Tに通知する。この遠隔支援システム100による処理を、以下、「オペレータ指示通知処理」と呼ぶ。
遠隔支援システム100による遠隔支援処理は、上記の「オペレータ指示要求処理」と「オペレータ指示通知処理」を含んでいる。
対象自動運転車両1Tは、遠隔支援システム100からオペレータ指示INSを受け取る。そして、対象自動運転車両1Tは、オペレータ指示INSに従って自動運転を再開する。
尚、オペレータ指示INSを受け取った後においても依然として自動運転が困難である場合も考えられる。この場合、対象自動運転車両1Tは、受け取ったオペレータ指示INSに従うことなく、支援要求REQを遠隔支援システム100に再度送ってもよい。この処理を、以下、「再支援要求処理」と呼ぶ。
2.オペレータにかかる負荷の軽減
2-1.概要
上述の通り、オペレータは、対象自動運転車両1Tからの支援要求REQに応答して、対象自動運転車両1Tの走行を遠隔で支援する。このとき、オペレータにかかる負荷が増大すると、遠隔支援の効率が低下するおそれがある。
例えば、多数の対象自動運転車両1Tから次々に支援要求REQが送られてくる状況を考える。オペレータは、次々に発生する支援要求REQを急いで捌く必要がある。支援要求REQへの対処が遅れると、遠隔支援の効率が低下する。
多数のオペレータを用意し、多数のオペレータで手分けして支援要求REQを捌くことも考えられる。但し、遠隔支援を行うオペレータは、専門スキルを必要とする高度人材である。そのような高度人材であるオペレータを増やすことには、コスト及び教育の観点から限りがある。
遠隔支援の効率を向上させるためには、オペレータにかかる負荷を軽減することが重要である。そのためには、単一の支援要求REQに対してオペレータが検討及び判断すべき事項を減らすことが有効である。それにより、オペレータが単一の支援要求REQ(すなわち、単一の対象自動運転車両1T)に対処するために要する時間が短縮される。その結果、遠隔支援の効率が向上する。
以上の観点から、本実施の形態によれば、「支援処理」及び「委任処理」という概念が導入される。支援処理とは、上述の複数の車両処理(認識処理、行動判断処理、及びタイミング判断処理)のうち、対象自動運転車両1Tの代わりにオペレータが行う車両処理である。一方、委任処理とは、上述の複数の車両処理(認識処理、行動判断処理、及びタイミング判断処理)のうち、オペレータが対象自動運転車両1Tに任せる処理である。
委任処理が増えて支援処理が減ると、その分だけ、オペレータが判断すべき事項が減る。このことは、オペレータにかかる負荷の軽減の観点から好ましい。但し、どの車両処理を委任処理とするか決定するためには、様々な情報を総合的に検討する必要がある。しかも、検討すべき様々な情報は、対象自動運転車両1T毎に異なり、また、対象自動運転車両1Tが置かれている状況によっても異なる。この検討が、結局、オペレータにとっての負荷となる。
そこで、本実施の形態に係る遠隔支援システム100は、オペレータ指示要求処理において、オペレータの検討時間の短縮に寄与する有用な情報をオペレータに提示する。支援処理と委任処理の組み合わせには、複数の選択肢OPTが存在する。遠隔支援システム100は、それら複数の選択肢OPTのうちオペレータに推奨する1つを「推奨選択肢OPT1」として自動的に決定する。そして、遠隔支援システム100は、少なくとも推奨選択肢OPT1をオペレータに提示する。オペレータは、推奨選択肢OPT1を参考にすることによって、どの車両処理を委任処理とするかを検討する時間を短縮することができる。これにより、オペレータにかかる負荷が軽減される。
2-2.実績データベースに基づく遠隔支援処理
図3は、本実施の形態に係る遠隔支援システム100による遠隔支援処理を説明するための概念図である。遠隔支援システム100は、実績データベース200を含んでいる。実績データベース200は、少なくとも、各自動運転車両1による支援要求処理の過去の実績をシーン毎に示す。
シーンは、自動運転車両1が置かれる状況である。具体的には、シーンは、自動運転車両1によって支援要求処理が行われる可能性がある位置を含む。支援要求処理が行われる位置としては、交差点、合流区間、工事区間、等が例示される。各々の位置は、緯度と経度の範囲で規定される。シーンは、位置だけでなく、自動運転車両1の行動を含んでいてもよい。位置及び行動を含むシーンの例としては、「交差点で右折する」、「合流区間で車線変更を行う」、等が挙げられる。
あるシーンにおける支援要求処理の実績は、例えば、そのシーンにおいて車両処理の支援が要求された確率を含む。例えば、ある自動運転車両1がある交差点を過去に100回通過したとする。その交差点において信号表示を認識する認識処理が、98回成功し、2回失敗したとする。信号表示の認識に失敗した場合、自動運転車両1は、認識処理の支援を要求する。従って、その交差点における認識処理に対する過去の支援要求確率は2%である。認識処理に対する過去の支援要求確率が低い場合、認識処理を委任処理に割り当てても問題は発生しにくいと考えられる。
このように、支援要求処理の過去の実績をシーン毎に示す実績データベース200は、推奨選択肢OPT1を決定するために有用である。尚、上記の例では、支援要求確率は2%であり、認識成功確率は98%である。「支援要求処理の実績」と「車両処理の実績」は、裏返しの関係にあり、等価であると言える。従って、実績データベース200は自動運転車両1による複数の車両処理の実績をシーン毎に示している、と言うこともできる。
各自動運転車両1は、あるシーンを経験する度に、そのシーンと各車両処理(認識処理、行動判断処理、及びタイミング判断処理)の結果を示す情報を遠隔支援システム100に送る。支援要求処理を行った場合、各自動運転車両1は、支援要求処理の内容(どの車両処理の支援を要求したか)を示す情報を遠隔支援システム100に送る。遠隔支援システム100は、これらの情報を各自動運転車両1から収集する。そして、遠隔支援システム100は、収集した情報を実績データベース200に登録することによって、実績データベース200を更新する。図3に示されるように、実績データベース200は、各自動運転車両1の識別情報、シーン、及び支援要求処理の実績の対応関係を示す。
その一方で、あるシーンにいる対象自動運転車両1Tから遠隔支援システム100に支援要求REQが送られる。便宜上、対象自動運転車両1Tがいるシーンを、「第1シーン」と呼ぶ。支援要求REQに応答して、遠隔支援システム100は、対象自動運転車両1Tに対する指示をオペレータに要求するオペレータ指示要求処理を行う。
オペレータ指示要求処理において、遠隔支援システム100は、まず、実績データベース200から第1シーンに関連する支援要求処理の実績を取得する。第1シーンに関連する支援要求処理は、第1シーンそのものにおける支援要求処理を含む。第1シーンに関連する支援要求処理は、第1シーンに類似する類似シーンにおける支援要求処理を含んでいてもよい。例えば、第1シーンが「交差点Aにおける右折」である場合、「交差点Aと同じ構造の交差点Bにおける右折」は類似シーンである。
実績データベース200から取得される支援要求処理の実績は、少なくとも、対象自動運転車両1Tそのものによる支援要求処理の実績を含む。つまり、遠隔支援システム100は、対象自動運転車両1Tによって行われた第1シーンに関連する支援要求処理の実績を実績データベース200から取得する。
変形例として、遠隔支援システム100は、対象自動運転車両1Tによる支援要求処理の実績に加えて、別の自動運転車両1による支援要求処理の実績を取得してもよい。この場合、遠隔支援システム100は、対象自動運転車両1Tと別の自動運転車両1のそれぞれによる支援要求処理の実績を、重み付けを行って組み合わせる。このとき、対象自動運転車両1Tに対する重みは、別の自動運転車両1に対する重みよりも大きく設定される。
続いて、遠隔支援システム100は、第1シーンに関連する支援要求処理の実績に基づいて、支援処理と委任処理の組み合わせに関する「推奨選択肢OPT1」を決定する。支援処理は、第1シーンにおける複数の車両処理のうち、対象自動運転車両1Tの代わりにオペレータが行う車両処理である。一方、委任処理は、第1シーンにおける複数の車両処理のうち、オペレータが対象自動運転車両1Tに任せる処理である。そして、遠隔支援システム100は、少なくとも推奨選択肢OPT1をオペレータに提示する。遠隔支援システム100は、推奨選択肢OPT1を含む複数の選択肢OPTをオペレータに提示してもよい。
図4は、本実施の形態に係るオペレータ指示要求処理の一例を説明するための概念図である。具体的には、図4は、オペレータが見るモニタに表示される情報の一例を示している。モニタには、対象自動運転車両1Tに搭載されているカメラによって撮像される画像(映像)が表示されている。この画像情報は、通信を介して、対象自動運転車両1Tから遠隔支援システム100にリアルタイムに送信される。遠隔支援システム100は、モニタに画像情報を表示する。
図4に示される例では、対象自動運転車両1Tは、第1交差点において右折を行う際に支援要求REQを出す。つまり、第1シーンは、第1交差点における右折である。対象自動運転車両1Tは、認識処理を行い、第1交差点に設置されている信号機の信号表示を認識する。本例では、対象自動運転車両1Tは、高い確度をもって信号表示を「右矢印」と認識している。よって、対象自動運転車両1Tは、信号認識についてはオペレータによる遠隔支援は不要であると判断する。
一方、対象自動運転車両1Tは、右折を実行するか否かについては自信をもって判断できていない。その結果、右折を実行するタイミングについても判断することができない。このような状況において、対象自動運転車両1Tは、支援要求REQを遠隔支援システム100に送る。支援要求REQは、行動判断処理(右折判断処理)及びタイミング判断処理の支援を要求する。支援要求REQは、対象自動運転車両1Tにおける認識処理(信号認識)、行動判断処理、及びタイミング判断処理のそれぞれの結果を含んでいてもよい。その場合、図4に示されるように、それぞれの結果もモニタに表示される。
オペレータ指示要求処理において、遠隔支援システム100は、実績データベース200から、第1シーンに関連する支援要求処理の実績を取得する。例えば、第1シーンにおける対象自動運転車両1Tによる各車両処理及び支援要求処理の実績は、次の通りであるとする。
[認識処理(信号認識)]成功確率=98%、支援要求確率=2%
[行動判断処理(右折判断)]成功確率=40%、支援要求確率=60%
[タイミング判断処理]成功確率=95%、支援要求確率=5%
過去の支援要求確率が十分に低い車両処理については、対象自動運転車両1Tに委任しても問題ないと考えられる。そこで、遠隔支援システム100は、タイミング判断処理を対象自動運転車両1Tに委任することをオペレータに推奨する。一方、過去の支援要求確率が高い車両処理については、オペレータが支援を行うことが望ましい。そこで、遠隔支援システム100は、行動判断処理を支援することをオペレータに推奨する。すなわち、推奨選択肢OPT1は、「行動判断処理は支援するが、タイミング判断処理については対象自動運転車両1Tに任せる」である。
遠隔支援システム100は、少なくとも推奨選択肢OPT1をオペレータに提示する。例えば、図4に示されるように、推奨選択肢OPT1がオペレータ指示画面に表示される。推奨選択肢OPT1には「推奨(recommended)」の文字が付随していてもよい。オペレータは、推奨選択肢OPT1を参考にすることによって、どの車両処理を委任処理とするかを検討する時間を短縮することができる。これにより、オペレータにかかる負荷が軽減される。
尚、オペレータは、推奨選択肢OPT1に必ずしも従う必要はない。場合によっては、オペレータは、推奨選択肢OPT1とは異なる指示を行ってもよい。その場合でも、検討時間の短縮及び負荷軽減の効果が得られることに変わりはない。
図4に示されるように、推奨選択肢OPT1を含む複数の選択肢OPTがオペレータに提示されてもよい。例えば、選択肢OPT2は、「行動判断処理とタイミング判断処理の両方を支援する」である。選択肢OPT3は、「認識処理、行動判断処理、及びタイミング判断処理の全てを支援する」である。選択肢OPT3は、対象自動運転車両1Tから支援を要求されていない認識処理についてもオペレータが支援することを提案している。推奨選択肢OPT1を含む複数の選択肢OPTがオペレータに提示される場合、オペレータは、複数の選択肢OPTを簡単に比較することができる。このことも、検討時間の短縮に寄与する。
複数の選択肢OPTがオペレータに提示される場合、推奨選択肢OPT1は、他の選択肢よりも目立つように提示されると好適である。例えば、図4に示されるように、推奨選択肢OPT1の文字サイズは、他の選択肢OPT2,OPT3の文字サイズよりも大きい。推奨選択肢OPT1の文字は、他の選択肢OPT2,OPT3の文字より太くてもよい。これにより、オペレータは、推奨選択肢OPT1を把握しやすくなる。
2-3.効果
以上に説明されたように、本実施の形態によれば、遠隔支援システム100は、対象自動運転車両1Tからの支援要求REQに応答して、対象自動運転車両1Tに対する指示をオペレータに要求する。支援処理は、対象自動運転車両1Tの代わりにオペレータが行う車両処理である。一方、委任処理は、オペレータが対象自動運転車両1Tに任せる処理である。委任処理が増えて支援処理が減ると、その分だけ、オペレータが判断すべき事項が減る。このことは、オペレータにかかる負荷の軽減に寄与する。
更に、本実施の形態によれば、遠隔支援システム100は、支援要求処理の実績を示す実績データベース200に基づいて、支援処理と委任処理の組み合わせの推奨選択肢OPT1を決定する。そして、遠隔支援システム100は、推奨選択肢OPT1をオペレータに提示する。オペレータは、推奨選択肢OPT1を参考にすることによって、どの車両処理を委任処理とするかを検討する時間を短縮することができる。これにより、オペレータにかかる負荷が軽減される。
オペレータにかかる負荷が軽減されるため、オペレータが単一の支援要求REQ(すなわち、単一の対象自動運転車両1T)に対処するために要する時間が短縮される。その結果、遠隔支援の効率が向上する。また、このことは、限られた数のオペレータによって、より多くの支援要求REQ(対象自動運転車両1T)を捌くことができることを意味する。このことは、コストの観点から好ましい。本実施の形態によれば、コストの増大を抑制しつつ、遠隔支援の効率を向上させることが可能となる。
尚、本実施の形態に係る遠隔支援システム100は、オペレータを介さずに完全自動で遠隔支援を行うわけではない。対象自動運転車両1Tに対する最終的な指示内容(オペレータ指示INS)は、オペレータによって決定される。従って、遠隔支援の精度が確保される。また、オペレータは、推奨選択肢OPT1に必ずしも従う必要はない。場合によっては、オペレータは、推奨選択肢OPT1とは異なる指示を行ってもよい。従って、遠隔支援の柔軟性が確保される。
以下、本実施の形態に係る自動運転車両1と遠隔支援システム100の具体例について詳しく説明する。
3.自動運転車両
3-1.構成例
図5は、本実施の形態に係る自動運転車両1に搭載されている自動運転システム10の構成例を示すブロック図である。自動運転システム10は、認識センサ20、車両状態センサ30、位置センサ40、通信装置50、走行装置60、及び制御装置70を含んでいる。
認識センサ20は、自動運転車両1の周囲の状況を認識(検出)する。認識センサ20は、少なくともカメラ25を含んでいる。認識センサ20は、LIDAR(Laser Imaging Detection and Ranging)、レーダ、等を含んでいてもよい。
車両状態センサ30は、自動運転車両1の状態を検出する。例えば、車両状態センサ30は、車速センサ、加速度センサ、ヨーレートセンサ、舵角センサ、等を含んでいる。
位置センサ40は、自動運転車両1の位置及び方位を検出する。位置センサ40としては、GPS(Global Positioning System)センサが例示される。
通信装置50は、自動運転車両1の外部と通信を行う。例えば、通信装置50は、遠隔支援システム100と通信を行う。
走行装置60は、操舵装置、駆動装置、及び制動装置を含んでいる。操舵装置は、自動運転車両1の車輪を転舵する。例えば、操舵装置は、パワーステアリング(EPS: Electric Power Steering)装置を含んでいる。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、エンジン、電動機、インホイールモータ、等が例示される。制動装置は、制動力を発生させる。
制御装置70は、自動運転車両1を制御する。制御装置70は、1又は複数のプロセッサ71(以下、単にプロセッサ71と呼ぶ)と1又は複数のメモリ72(以下、単にメモリ72と呼ぶ)を含んでいる。プロセッサ71は、各種処理を実行する。例えば、プロセッサ71は、CPU(Central Processing Unit)を含んでいる。メモリ72は、各種情報を格納する。メモリ72としては、揮発性メモリ、不揮発性メモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、等が例示される。プロセッサ71がコンピュータプログラムである制御プログラムを実行することにより、プロセッサ71(制御装置70)による各種処理が実現される。制御プログラムは、メモリ72に格納されている、あるいは、コンピュータ読み取り可能な記録媒体に記録されている。制御装置70は、1又は複数のECU(Electronic Control Unit)を含んでいてもよい。制御装置70の一部は、自動運転車両1の外部の情報処理装置であってもよい。その場合、制御装置70の一部は、自動運転車両1と通信を行い、自動運転車両1をリモートで制御する。
3-2.情報取得処理
プロセッサ71は、自動運転車両1の運転環境を示す運転環境情報80を取得する。運転環境情報80は、メモリ72に格納される。
図6は、運転環境情報80の例を示すブロック図である。運転環境情報80は、地図情報81、周辺状況情報82、車両状態情報83、及び車両位置情報84を含んでいる。
地図情報81は、レーン配置、道路形状、等を示す。プロセッサ71は、地図データベースから、必要なエリアの地図情報を取得する。地図データベースは、自動運転車両1に搭載されている所定の記憶装置に格納されていてもよいし、自動運転車両1の外部の管理サーバに格納されていてもよい。後者の場合、プロセッサ71は、管理サーバと通信を行い、必要な地図情報を取得する。
周辺状況情報82は、自動運転車両1の周囲の状況を示す情報である。周辺状況情報82は、認識センサ20によって得られる情報を含む。例えば、周辺状況情報82は、カメラ25によって撮像される画像情報IMGを含む。他の例として、周辺状況情報82は、LIDARやレーダによって計測される計測情報を含む。
また、周辺状況情報82は、自動運転車両1の周辺の物体に関する物体情報を含んでる。自動運転車両1の周辺の物体としては、歩行者、他車両(先行車両、駐車車両、等)、標識、白線、路側構造物、障害物、等が例示される。物体情報は、自動運転車両1に対する物体の相対位置及び相対速度を示す。例えば、カメラ25によって得られた画像情報IMGを解析することによって、物体を識別し、その物体の相対位置を算出することができる。また、LIDARやレーダによる計測情報に基づいて、物体を識別し、その物体の相対位置及び相対速度を算出することもできる。
更に、周辺状況情報82は、信号機の信号表示の認識結果を示す信号表示情報を含んでいる。プロセッサ71は、カメラ25によって撮像される画像情報IMGに基づいて、自動運転車両1の周囲の信号機を検出する。更に、プロセッサ71は、画像情報IMGに基づいて、信号機の信号表示(例:青信号、黄信号、赤信号、右折信号、等)を認識する。画像の中から信号機を検出(抽出)し、信号表示を認識する画像解析手法は、周知である。
車両状態情報83は、自動運転車両1の状態を示す情報である。自動運転車両1の状態としては、車速、ヨーレート、横加速度、舵角、等が例示される。プロセッサ71は、車両状態センサ30による検出結果から車両状態情報83を取得する。
車両位置情報84は、自動運転車両1の位置及び方位を示す。車両位置情報84は、位置センサ40により得られる。また、プロセッサ71は、地図情報81と周辺状況情報82(物体情報)を用いた周知の自己位置推定処理(Localization)により、高精度な車両位置情報84を取得してもよい。
3-3.車両走行制御
プロセッサ71は、自動運転車両1の走行を制御する「車両走行制御」を実行する。車両走行制御は、操舵制御、加速制御、及び減速制御を含む。プロセッサ71は、走行装置60を制御することによって車両走行制御を実行する。具体的には、プロセッサ71は、操舵装置を制御することによって操舵制御を実行する。また、プロセッサ71は、駆動装置を制御することによって加速制御を実行する。また、プロセッサ71は、制動装置を制御することによって減速制御を実行する。
3-4.自動運転制御
プロセッサ71は、運転環境情報80に基づいて自動運転制御を行う。ここでの自動運転としては、ドライバが必ずしも100%運転に集中しなくてもよいことを前提としたもの(いわゆるレベル3以上の自動運転)を想定している。
自動運転の最中、プロセッサ71は、上述の車両処理を実行する。車両処理としては、次のようなものが挙げられる。
(1)認識処理:プロセッサ71は、認識センサ20を用いて、自動運転車両1の周辺の状況を認識する。例えば、プロセッサ71は、カメラ25を用いて、信号機の信号表示(例:青信号、黄信号、赤信号、右折信号、等)を認識する。
(2)行動判断処理:プロセッサ71は、認識処理の結果に基づいて、行動を実行するか否かを判断する。自動運転車両1の行動としては、発進、停止、右折、左折、車線変更、等が例示される。
(3)タイミング判断処理:プロセッサ71は、上記行動を実行する実行タイミングを判断する。
上記行動を実行する際、プロセッサ71は、運転環境情報80に基づいて、自動運転車両1の目標トラジェクトリを生成する。目標トラジェクトリは、目標位置及び目標速度を含む。そして、プロセッサ71は、自動運転車両1が目標トラジェクトリに追従するように車両走行制御を実行する。
3-5.支援要求処理
オペレータによる遠隔支援が必要な場合、プロセッサ71は、支援要求REQを遠隔支援システム100に送る。より詳細には、プロセッサ71は、通信装置50を介して遠隔支援システム100と通信を行い、支援要求REQを遠隔支援システム100に送る。典型的には、オペレータによる遠隔支援が必要な状況は、自動運転が困難な状況である。従って、支援要求REQは、上述の複数の車両処理(認識処理、行動判断処理、及びタイミング判断処理)のうち少なくとも1つの支援を要求する。支援要求REQは、車両処理の結果を参考情報として含んでいてもよい。
プロセッサ71は、支援要求REQと共に、遠隔支援に必要な運転環境情報80を遠隔支援システム100に送る。遠隔支援に必要な運転環境情報80は、少なくとも、カメラ25によって撮像された画像情報IMGを含む。プロセッサ71は、最新の画像情報IMGを遠隔支援システム100に送る。また、プロセッサ71は、支援要求REQが発生する前の一定期間における画像情報IMGを遠隔支援システム100に送ってもよい。その他、プロセッサ71は、必要な車両状態情報83等を遠隔支援システム100に送ってもよい。
3-6.オペレータ指示に応じた自動運転制御
支援要求REQを送った後、プロセッサ71は、通信装置50を介して遠隔支援システム100からオペレータ指示INSを受け取る。オペレータ指示INSは、支援処理に関するオペレータからの指示を含んでいる。また、オペレータ指示INSは、委任処理の指定を含んでいる場合もある。プロセッサ71は、オペレータ指示INSに従って自動運転制御を再開する。このとき、委任処理として指定された車両処理に関しては、プロセッサ71は、オペレータからの指示に頼ることなく自身で認識あるいは判断を行う。
3-7.再支援要求処理
オペレータ指示INSを受け取った後においても依然として自動運転が困難である場合も考えられる。その場合、プロセッサ71は、受け取ったオペレータ指示INSに従うことなく、支援要求REQを遠隔支援システム100に再度送る。支援要求REQは、「今回が再支援要求である旨」を示していてもよい。
4.遠隔支援システム
4-1.構成例
図7は、本実施の形態に係る遠隔支援システム100の構成例を示すブロック図である。遠隔支援システム100は、情報処理装置110、通信装置120、表示装置130、入力装置140、及び実績データベース200を含んでいる。
情報処理装置110は、各種情報処理を行う。情報処理装置110は、1又は複数のプロセッサ111(以下、単にプロセッサ111と呼ぶ)と1又は複数のメモリ112(以下、単にメモリ112と呼ぶ)を含んでいる。プロセッサ111は、各種処理を実行する。例えば、プロセッサ111は、CPUを含んでいる。メモリ112は、各種情報を格納する。メモリ112としては、揮発性メモリ、不揮発性メモリ、HDD、SSD、等が例示される。プロセッサ111がコンピュータプログラムである遠隔支援プログラムを実行することによって、情報処理装置110の機能が実現される。遠隔支援プログラムは、メモリ112に格納される。遠隔支援プログラムは、コンピュータ読み取り可能な記録媒体に記録されてもよい。遠隔支援プログラムは、ネットワーク経由で提供されてもよい。
通信装置120は、外部との通信を行う。例えば、通信装置120は、自動運転車両1と通信を行う。
表示装置130は、各種情報を表示する。表示装置130としては、液晶ディスプレイ、有機ELディスプレイ、ヘッドマウントディスプレイ、タッチパネル、等が例示される。尚、表示装置130は、図2で示されたモニタに相当する。
入力装置140は、オペレータからの入力を受け付けるためのインタフェースである。入力装置140としては、タッチパネル、キーボード、マウス、等が例示される。
4-2.実績データベース
情報処理装置110は、実績データベース200にアクセス可能である。実績データベース200は、各自動運転車両1による車両処理及び支援要求処理の実績をシーン毎に示す。
図8は、実績データベース200の一例を示す概念図である。実績データベース200は、車両ID情報、シーン、及び実績の対応関係を示している。
車両ID情報は、各自動運転車両1に付与されるID番号を含んでいる。車両ID情報は、各自動運転車両1の車種(例:普通、中型、大型、バス、等)を含んでいてもよい。
シーンは、自動運転車両1によって支援要求処理が行われる可能性がある位置を含む。支援要求処理が行われる位置としては、交差点、合流区間、工事区間、等が例示される。各々の位置は、緯度と経度の範囲で規定される。シーンは、位置だけでなく、自動運転車両1の行動を含んでいてもよい。
実績は、例えば、複数の車両処理の各々に関する支援要求確率を含んでいる。支援要求確率は、自動運転車両1がシーンを経験した回数に対する支援要求処理の発生回数の割合である。尚、支援要求確率と車両処理の成功確率は、裏返しの関係にあり、等価である。図8に示される例では、実績は、複数の車両処理の各々の成功確率を示している。
他の例として、実績は、複数の車両処理の各々に関する支援要求頻度を含んでいてもよい。支援要求頻度は、過去の一定期間における支援要求処理の発生回数に基づいて算出される。
図9は、実績データベース200の他の例を示す概念図である。図9に示される例では、実績データベース200で示される実績は、更に、再支援要求処理の実績を含んでいる。例えば、再支援要求処理の実績は、再支援要求確率である。再支援要求確率は、オペレータ指示INSの回数に対する再支援要求処理の発生回数の割合である。
他の例として、再支援要求処理の実績は、再支援要求頻度を含んでいてもよい。再支援要求頻度は、過去の一定期間における再支援要求処理の発生回数に基づいて算出される。
各自動運転車両1は、あるシーンを経験する度に、そのシーンと各車両処理の結果を示す情報を遠隔支援システム100に送る。支援要求処理を行った場合、各自動運転車両1は、支援要求処理の内容(どの車両処理の支援を要求したか)を示す情報を遠隔支援システム100に送る。プロセッサ111は、通信装置120を介して、自動運転車両1から情報を受け取る。プロセッサ111は、収集した情報を実績データベース200に登録することによって、実績データベース200を更新する。
4-3.遠隔支援処理
プロセッサ111は、遠隔支援処理を実行する。遠隔支援処理は、対象自動運転車両1Tから送られる支援要求REQに応答して、対象自動運転車両1Tに対する指示をオペレータに要求する「オペレータ指示要求処理」を含んでいる。また、遠隔支援処理は、オペレータからのオペレータ指示INSを対象自動運転車両1Tに通知する「オペレータ指示通知処理」を含んでいる。
図10は、本実施の形態に係る遠隔支援処理に関連する各種情報を示すブロック図である。各種情報は、メモリ112に格納される。
支援要求REQは、対象自動運転車両1Tから送られてくる。プロセッサ111は、通信装置120を介して支援要求REQを受け取る。
車両側情報300は、遠隔支援に必要な運転環境情報80である。車両側情報300は、少なくとも、カメラ25によって撮像された画像情報IMGを含む。車両側情報300は、最新の画像情報IMGだけでなく、支援要求REQが発生する前の一定期間における画像情報IMGを含んでいてもよい。車両側情報300は、車両状態情報83を含んでいてもよい。車両側情報300は、対象自動運転車両1Tから送られてくる。プロセッサ111は、通信装置120を介して車両側情報300を受け取る。
参照情報400は、推奨選択肢OPT1を決定する際に参照される情報である。
参照情報400は、実績情報410を含んでいる。実績情報410は、実績データベース200から取得される情報である。具体的には、実績情報410は、対象自動運転車両1Tが置かれている第1シーンに関連する実績を示す。プロセッサ111は、実績データベース200にアクセスし、実績データベース200から実績情報410を取得する。
参照情報400は、自動運転システム情報430を含んでいてもよい。自動運転システム情報430は、自動運転システム10の状態を示す。例えば、自動運転システム情報430は、自動運転ソフトウェアのアップデート直後かどうかを示す。自動運転システム情報430は、認識センサ20等のセンサの精度を示していてもよい。自動運転システム情報430は、走行装置60が正常か否かを示していてもよい。自動運転システム情報430は、対象自動運転車両1Tから送られてくる。プロセッサ111は、通信装置120を介して自動運転システム情報430を受け取る。
参照情報400は、環境条件情報440を含んでいてもよい。環境条件情報440は、対象自動運転車両1Tが置かれている環境を示す。環境としては、天気、気象条件、時刻、季節、渋滞状況、等が例示される。環境条件情報440は、情報サービスサーバあるいは対象自動運転車両1Tから提供される。プロセッサ111は、通信装置120を介して環境条件情報440を受け取る。
選択肢情報500は、支援処理と委任処理の組み合わせの複数の選択肢OPTを示す。複数の選択肢OPTは、推奨選択肢OPT1を含む。プロセッサ111は、後述の処理によって選択肢情報500を生成する。
オペレータ指示INSは、オペレータから対象自動運転車両1Tへの指示である。オペレータ指示INSは、支援処理に関するオペレータからの指示を含んでいる。また、オペレータ指示INSは、委任処理の指定を含んでいる場合もある。オペレータは、入力装置140を用いて、オペレータ指示INSを入力する。プロセッサ111は、入力装置140を介してオペレータ指示INSを受け取る。
図11は、遠隔支援処理におけるオペレータ指示要求処理を示すフローチャートである。
ステップS110において、プロセッサ111は、対象自動運転車両1Tから支援要求REQを受け取ったか否かを判定する。支援要求REQを受け取った場合(ステップS110;Yes)、処理は、ステップS120に進む。それ以外の場合(ステップS110;No)、今回のサイクルにおける処理は終了する。
ステップS120において、プロセッサ111は、車両側情報300と参照情報400を取得する。
ステップS130において、プロセッサ111は、車両側情報300を表示装置130に表示する。特に、プロセッサ111は、画像情報IMGを表示装置130に表示する(図4参照)。
ステップS140において、プロセッサ111は、支援処理と委任処理の組み合わせの複数の選択肢OPTを設定する。更に、プロセッサ111は、複数の選択肢OPTのうちオペレータに推奨する推奨選択肢OPT1を決定する。ここで、プロセッサ111は、上記の参照情報400に基づいて推奨選択肢OPT1を決定する。参照情報400に基づく推奨選択肢OPT1の決定の様々な例は、後述される。プロセッサ111は、この処理により選択肢情報500を生成する。
ステップS150において、プロセッサ111は、選択肢情報500を表示装置130に表示する。このとき、プロセッサ111は、少なくとも推奨選択肢OPT1を表示する。プロセッサ111は、推奨選択肢OPT1を含む複数の選択肢OPTを表示してもよい。プロセッサ111は、推奨選択肢OPT1がその他の選択肢OPTよりも目立つように、複数の選択肢OPTを表示してもよい(図4参照)。
図12は、遠隔支援処理におけるオペレータ指示通知処理を示すフローチャートである。
ステップS160において、プロセッサ111は、オペレータによってオペレータ指示INSが入力されたか否かを判定する。オペレータ指示INSが入力された場合(ステップS160;Yes)、処理は、ステップS170に進む。それ以外の場合(ステップS160;No)、今回のサイクルにおける処理は終了する。
ステップS170において、プロセッサ111は、通信装置120を介して対象自動運転車両1Tと通信を行い、オペレータ指示INSを対象自動運転車両1Tに通知する。
4-4.推奨選択肢決定処理の例
以下、推奨選択肢決定処理(ステップS140)の様々な例について説明する。
4-4-1.第1の例
第1の例では、プロセッサ111は、実績情報410に基づいて推奨選択肢OPT1を決定する。実績情報410は、対象自動運転車両1Tがいる第1シーンに関連する実績を示す。
例えば、実績は、複数の車両処理の各々に関する支援要求確率あるいは支援要求頻度を含んでいる。複数の車両処理のうち任意の処理を、便宜上、「第1車両処理」と呼ぶ。プロセッサ111は、実績情報410から、第1車両処理に対する支援要求確率あるいは支援要求頻度を取得する。そして、第1車両処理に対する支援要求確率あるいは支援要求頻度に基づいて、プロセッサ111は、第1車両処理を推奨選択肢OPT1における支援処理に設定するか委任処理に設定するかを決定する。
例えば、第1車両処理に対する支援要求確率あるいは支援要求頻度が低くなるにつれて、第1車両処理が推奨選択肢OPT1における委任処理に設定される確率が高くなる。逆に、第1車両処理に対する支援要求確率あるいは支援要求頻度が高くなるにつれて、第1車両処理が推奨選択肢OPT1における支援処理に設定される確率が高くなる。
他の例として、支援要求確率あるいは支援要求頻度が所定の閾値と比較されてもよい。第1車両処理に対する支援要求確率あるいは支援要求頻度が所定の閾値以上である場合、プロセッサ111は、第1車両処理を推奨選択肢OPT1における支援処理に設定する。一方、第1車両処理に対する支援要求確率あるいは支援要求頻度が所定の閾値未満である場合、プロセッサ111は、第1車両処理を推奨選択肢OPT1における委任処理に設定する。
このようにして、実績情報410に基づいて推奨選択肢OPT1の内容が決定される。実績情報410は支援要求処理に関する過去の実績を示すため、適切な推奨選択肢OPT1を決定することが可能となる。
4-4-2.第2の例
第2の例では、再支援要求処理の実績が考慮される。プロセッサ111は、再支援要求処理の実績を含む実績情報410(図9参照)を取得し、再支援要求処理の実績に基づいて推奨選択肢OPT1を決定する。
例えば、再支援要求処理の実績は、再支援要求確率あるいは再支援要求頻度を含んでいる。プロセッサ111は、実績情報410から、再支援要求確率あるいは再支援要求頻度を取得する。そして、プロセッサ111は、再支援要求確率あるいは再支援要求頻度に基づいて、推奨選択肢OPT1における支援処理と委任処理を設定する。例えば、再支援要求確率あるいは再支援要求頻度が増加するにつれて、推奨選択肢OPT1の中の支援処理の比率が増加し、委任処理の比率が減少する。逆に、再支援要求確率あるいは再支援要求頻度が減少するにつれて、推奨選択肢OPT1の中の委任処理の比率が増加し、支援処理の比率が減少する。
4-4-3.第3の例
第3の例では、プロセッサ111は、自動運転システム情報430に基づいて推奨選択肢OPT1を決定する。
例えば、自動運転ソフトウェアのアップデート直後の場合、過去の実績の信頼度は低下する。よって、この場合、プロセッサ111は、推奨選択肢OPT1の中の支援処理の比率を増加させ、委任処理の比率を減少させる。
他の例として、認識センサ20等のセンサの精度が低下している場合、自動運転制御の精度も低下する。よって、この場合、プロセッサ111は、推奨選択肢OPT1の中の支援処理の比率を増加させ、委任処理の比率を減少させる。
4-4-4.第4の例
第4の例では、プロセッサ111は、環境条件情報440に基づいて推奨選択肢OPT1を決定する。
例えば、天気が悪い状況では、認識処理の精度が低下し、自動運転制御の精度も低下するおそれがある。よって、プロセッサ111は、推奨選択肢OPT1の中の支援処理の比率を増加させ、委任処理の比率を減少させる。
4-4-5.第5の例
第1~第4の例のうち複数を組み合わせることも可能である。
1 自動運転車両
1T 対象自動運転車両
10 自動運転システム
20 認識センサ
25 カメラ
50 通信装置
70 制御装置
80 運転環境情報
100 遠隔支援システム
110 情報処理装置
111 プロセッサ
112 メモリ
120 通信装置
130 表示装置
140 入力装置
200 実績データベース
300 車両側情報
400 参照情報
410 実績情報
430 自動運転システム情報
440 環境条件情報
500 選択肢情報
IMG 画像情報
INS オペレータ指示
OPT1 推奨選択肢
REQ 支援要求

Claims (7)

  1. 自動運転車両の走行を遠隔で支援する遠隔支援システムであって、
    前記自動運転車両は、
    自動運転中の認識及び判断を含む複数の車両処理と、
    前記複数の車両処理のうち少なくとも1つの支援を要求する支援要求を前記遠隔支援システムに送る支援要求処理と
    を実行し、
    前記遠隔支援システムは、
    1又は複数のプロセッサと、
    前記自動運転車両による前記支援要求処理の実績をシーン毎に示す実績データベースと
    を備え、
    前記1又は複数のプロセッサは、
    第1シーンにいる対象自動運転車両から送られる前記支援要求に応答して、前記対象自動運転車両に対する指示をオペレータに要求するオペレータ指示要求処理と、
    前記オペレータからの前記指示を前記対象自動運転車両に通知するオペレータ指示通知処理と
    を実行するように構成され、
    支援処理は、前記第1シーンにおける前記複数の車両処理のうち、前記対象自動運転車両の代わりに前記オペレータが行う車両処理であり、
    委任処理は、前記第1シーンにおける前記複数の車両処理のうち、前記オペレータが前記対象自動運転車両に任せる車両処理であり、
    前記オペレータ指示要求処理において、前記1又は複数のプロセッサは、
    前記実績データベースから前記第1シーンに関連する前記支援要求処理の前記実績を取得し、
    前記第1シーンに関連する前記実績に基づいて、前記支援処理と前記委任処理の組み合わせの複数の選択肢のうち前記オペレータに推奨する推奨選択肢を決定し、
    少なくとも前記推奨選択肢を前記オペレータに提示し、
    前記実績は、前記複数の車両処理の各々について、前記支援が要求された確率あるいは頻度を含み、
    前記複数の車両処理は、第1車両処理を含み、
    前記1又は複数のプロセッサは、
    前記第1シーンに関連する前記実績から、前記第1車両処理に対する前記支援が要求された前記確率あるいは前記頻度を取得し、
    取得した前記確率あるいは前記頻度に基づいて、前記第1車両処理を前記推奨選択肢における前記支援処理に設定するか前記委任処理に設定するかを決定する
    遠隔支援システム。
  2. 請求項に記載の遠隔支援システムであって、
    前記第1車両処理に対する前記支援が要求された前記確率あるいは前記頻度が低くなるにつれて、前記第1車両処理が前記推奨選択肢における前記委任処理に設定される確率が高くなる
    遠隔支援システム。
  3. 請求項に記載の遠隔支援システムであって、
    前記1又は複数のプロセッサは、
    前記第1車両処理に対する前記支援が要求された前記確率あるいは前記頻度が閾値以上である場合、前記第1車両処理を前記推奨選択肢における前記支援処理に設定し、
    前記第1車両処理に対する前記支援が要求された前記確率あるいは前記頻度が前記閾値未満である場合、前記第1車両処理を前記推奨選択肢における前記委任処理に設定する
    遠隔支援システム。
  4. 自動運転車両の走行を遠隔で支援する遠隔支援システムであって、
    前記自動運転車両は、
    自動運転中の認識及び判断を含む複数の車両処理と、
    前記複数の車両処理のうち少なくとも1つの支援を要求する支援要求を前記遠隔支援システムに送る支援要求処理と
    を実行し、
    前記遠隔支援システムは、
    1又は複数のプロセッサと、
    前記自動運転車両による前記支援要求処理の実績をシーン毎に示す実績データベースと
    を備え、
    前記1又は複数のプロセッサは、
    第1シーンにいる対象自動運転車両から送られる前記支援要求に応答して、前記対象自動運転車両に対する指示をオペレータに要求するオペレータ指示要求処理と、
    前記オペレータからの前記指示を前記対象自動運転車両に通知するオペレータ指示通知処理と
    を実行するように構成され、
    支援処理は、前記第1シーンにおける前記複数の車両処理のうち、前記対象自動運転車両の代わりに前記オペレータが行う車両処理であり、
    委任処理は、前記第1シーンにおける前記複数の車両処理のうち、前記オペレータが前記対象自動運転車両に任せる車両処理であり、
    前記オペレータ指示要求処理において、前記1又は複数のプロセッサは、
    前記実績データベースから前記第1シーンに関連する前記支援要求処理の前記実績を取得し、
    前記第1シーンに関連する前記実績に基づいて、前記支援処理と前記委任処理の組み合わせの複数の選択肢のうち前記オペレータに推奨する推奨選択肢を決定し、
    少なくとも前記推奨選択肢を前記オペレータに提示し、
    前記自動運転車両による前記支援要求処理は、前記オペレータから前記指示を受け取った後に、前記受け取った指示に従うことなく前記支援要求を前記遠隔支援システムに再度送る再支援要求処理を含み、
    前記実績は、前記再支援要求処理の確率あるいは頻度を含み、
    前記再支援要求処理において、前記1又は複数のプロセッサは、
    前記第1シーンに関連する前記実績から、前記再支援要求処理の前記確率あるいは前記頻度を取得し、
    取得した前記確率あるいは前記頻度に基づいて、前記推奨選択肢における前記支援処理と前記委任処理を設定する
    遠隔支援システム。
  5. 請求項に記載の遠隔支援システムであって、
    前記再支援要求処理の前記確率あるいは前記頻度が増加するにつれて、前記推奨選択肢の中の前記支援処理の比率が増加する
    遠隔支援システム。
  6. 自動運転車両の走行を遠隔で支援する遠隔支援方法であって、
    前記自動運転車両は、
    自動運転中の認識及び判断を含む複数の車両処理と、
    前記複数の車両処理のうち少なくとも1つの支援を要求する支援要求を前記自動運転車両の走行を遠隔で支援する遠隔支援システムに送る支援要求処理と
    を実行し、
    実績データベースは、前記自動運転車両による前記支援要求処理の実績をシーン毎に示し、
    前記遠隔支援方法は、
    第1シーンにいる対象自動運転車両から送られる前記支援要求に応答して、前記対象自動運転車両に対する指示をオペレータに要求するオペレータ指示要求処理と、
    前記オペレータからの前記指示を前記対象自動運転車両に通知するオペレータ指示通知処理と
    を含み、
    支援処理は、前記第1シーンにおける前記複数の車両処理のうち、前記対象自動運転車両の代わりに前記オペレータが行う車両処理であり、
    委任処理は、前記第1シーンにおける前記複数の車両処理のうち、前記オペレータが前記対象自動運転車両に任せる車両処理であり、
    前記オペレータ指示要求処理は、
    前記実績データベースから前記第1シーンに関連する前記支援要求処理の前記実績を取得する処理と、
    前記第1シーンに関連する前記支援要求処理の前記実績に基づいて、前記支援処理と前記委任処理の組み合わせの複数の選択肢のうち前記オペレータに推奨する推奨選択肢を決定する処理と、
    少なくとも前記推奨選択肢を前記オペレータに提示する処理と
    を含み、
    前記実績は、前記複数の車両処理の各々について、前記支援が要求された確率あるいは頻度を含み、
    前記複数の車両処理は、第1車両処理を含み、
    前記オペレータ指示要求処理は、
    前記第1シーンに関連する前記実績から、前記第1車両処理に対する前記支援が要求された前記確率あるいは前記頻度を取得する処理と、
    取得した前記確率あるいは前記頻度に基づいて、前記第1車両処理を前記推奨選択肢における前記支援処理に設定するか前記委任処理に設定するかを決定する処理と
    を含む
    遠隔支援方法。
  7. 自動運転車両の走行を遠隔で支援する遠隔支援方法であって、
    前記自動運転車両は、
    自動運転中の認識及び判断を含む複数の車両処理と、
    前記複数の車両処理のうち少なくとも1つの支援を要求する支援要求を前記自動運転車両の走行を遠隔で支援する遠隔支援システムに送る支援要求処理と
    を実行し、
    実績データベースは、前記自動運転車両による前記支援要求処理の実績をシーン毎に示し、
    前記遠隔支援方法は、
    第1シーンにいる対象自動運転車両から送られる前記支援要求に応答して、前記対象自動運転車両に対する指示をオペレータに要求するオペレータ指示要求処理と、
    前記オペレータからの前記指示を前記対象自動運転車両に通知するオペレータ指示通知処理と
    を含み、
    支援処理は、前記第1シーンにおける前記複数の車両処理のうち、前記対象自動運転車両の代わりに前記オペレータが行う車両処理であり、
    委任処理は、前記第1シーンにおける前記複数の車両処理のうち、前記オペレータが前記対象自動運転車両に任せる車両処理であり、
    前記オペレータ指示要求処理は、
    前記実績データベースから前記第1シーンに関連する前記支援要求処理の前記実績を取得する処理と、
    前記第1シーンに関連する前記支援要求処理の前記実績に基づいて、前記支援処理と前記委任処理の組み合わせの複数の選択肢のうち前記オペレータに推奨する推奨選択肢を決定する処理と、
    少なくとも前記推奨選択肢を前記オペレータに提示する処理と
    を含み、
    前記自動運転車両による前記支援要求処理は、前記オペレータから前記指示を受け取った後に、前記受け取った指示に従うことなく前記支援要求を前記遠隔支援システムに再度送る再支援要求処理を含み、
    前記実績は、前記再支援要求処理の確率あるいは頻度を含み、
    前記オペレータ指示要求処理は、
    前記第1シーンに関連する前記実績から、前記再支援要求処理の前記確率あるいは前記頻度を取得する処理と、
    取得した前記確率あるいは前記頻度に基づいて、前記推奨選択肢における前記支援処理と前記委任処理を設定する処理と
    を含む
    遠隔支援方法。
JP2021050650A 2021-03-24 2021-03-24 遠隔支援システム及び遠隔支援方法 Active JP7480734B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2021050650A JP7480734B2 (ja) 2021-03-24 2021-03-24 遠隔支援システム及び遠隔支援方法
CN202210256654.5A CN115129041A (zh) 2021-03-24 2022-03-16 远程支援系统以及远程支援方法
US17/656,329 US20220308578A1 (en) 2021-03-24 2022-03-24 Remote support system and remote support method
JP2024007897A JP2024040209A (ja) 2021-03-24 2024-01-23 遠隔支援システム及び遠隔支援方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2021050650A JP7480734B2 (ja) 2021-03-24 2021-03-24 遠隔支援システム及び遠隔支援方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024007897A Division JP2024040209A (ja) 2021-03-24 2024-01-23 遠隔支援システム及び遠隔支援方法

Publications (2)

Publication Number Publication Date
JP2022148824A JP2022148824A (ja) 2022-10-06
JP7480734B2 true JP7480734B2 (ja) 2024-05-10

Family

ID=83364702

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2021050650A Active JP7480734B2 (ja) 2021-03-24 2021-03-24 遠隔支援システム及び遠隔支援方法
JP2024007897A Pending JP2024040209A (ja) 2021-03-24 2024-01-23 遠隔支援システム及び遠隔支援方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024007897A Pending JP2024040209A (ja) 2021-03-24 2024-01-23 遠隔支援システム及び遠隔支援方法

Country Status (3)

Country Link
US (1) US20220308578A1 (ja)
JP (2) JP7480734B2 (ja)
CN (1) CN115129041A (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230001072A (ko) * 2021-06-25 2023-01-04 현대자동차주식회사 자율 주행 차량, 그를 원격 제어하는 관제 시스템 및 그 방법
US11608010B1 (en) * 2022-06-04 2023-03-21 Scott C Harris Road detection system with extendable sensors
US20240030523A1 (en) 2022-07-25 2024-01-25 Aesc Japan Ltd. Battery cell
US20240039092A1 (en) 2022-07-28 2024-02-01 Aesc Japan Ltd. Battery cell

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019185293A (ja) 2018-04-06 2019-10-24 日産自動車株式会社 車両遠隔制御方法及び車両遠隔制御装置
JP2019185280A (ja) 2018-04-06 2019-10-24 株式会社デンソー 管制装置
US20200310417A1 (en) 2019-03-28 2020-10-01 Nissan North America, Inc. Teleoperation for Exception Handling

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9720410B2 (en) * 2014-03-03 2017-08-01 Waymo Llc Remote assistance for autonomous vehicles in predetermined situations
US9690290B2 (en) * 2015-06-04 2017-06-27 Toyota Motor Engineering & Manufacturing North America, Inc. Situation-based transfer of vehicle sensor data during remote operation of autonomous vehicles
US10324463B1 (en) * 2016-01-22 2019-06-18 State Farm Mutual Automobile Insurance Company Autonomous vehicle operation adjustment based upon route
US10740988B2 (en) * 2017-06-16 2020-08-11 nuTonomy Inc. Intervention in operation of a vehicle having autonomous driving capabilities
US10606259B2 (en) * 2017-07-07 2020-03-31 Zoox, Inc. Interactions between vehicle and teleoperations system
US10386836B2 (en) * 2017-07-07 2019-08-20 Zoox, Inc. Interactions between vehicle and teleoperations system
US10816991B2 (en) * 2017-07-11 2020-10-27 Waymo Llc Methods and systems for providing remote assistance via pre-stored image data
US11214265B2 (en) * 2018-08-22 2022-01-04 Phantom Auto Inc. Vehicle teleoperator ranking and selection
US10942516B2 (en) * 2018-12-12 2021-03-09 Valeo Schalter Und Sensoren Gmbh Vehicle path updates via remote vehicle control

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019185293A (ja) 2018-04-06 2019-10-24 日産自動車株式会社 車両遠隔制御方法及び車両遠隔制御装置
JP2019185280A (ja) 2018-04-06 2019-10-24 株式会社デンソー 管制装置
US20200310417A1 (en) 2019-03-28 2020-10-01 Nissan North America, Inc. Teleoperation for Exception Handling

Also Published As

Publication number Publication date
US20220308578A1 (en) 2022-09-29
JP2022148824A (ja) 2022-10-06
CN115129041A (zh) 2022-09-30
JP2024040209A (ja) 2024-03-25

Similar Documents

Publication Publication Date Title
JP7480734B2 (ja) 遠隔支援システム及び遠隔支援方法
JP6845894B2 (ja) 自動運転車両におけるセンサー故障を処理するための方法
US20210080951A1 (en) Vehicle communication system and vehicle control device
US10852726B2 (en) Systems and methods for transitioning a vehicle from an autonomous driving mode to a manual driving mode
EP3644294B1 (en) Vehicle information storage method, vehicle travel control method, and vehicle information storage device
US20200241526A1 (en) Method and device for remote-controlling autonomous vehicle capable of changing driving mode between autonomous driving mode and manual driving mode
KR20190058520A (ko) 자율 주행 차량 제어 시스템을 위한 위치에 따른 지원
JP6985203B2 (ja) 挙動予測装置
JP2020144853A (ja) 不明瞭な路上障害物の回避
GB2528360A (en) Traffic light anticipation
US20230020040A1 (en) Batch control for autonomous vehicles
JP6384419B2 (ja) 動物種類判定装置
US11851086B2 (en) Using simulations to identify differences between behaviors of manually-driven and autonomous vehicles
US20230356751A1 (en) Malicious event detection for autonomous vehicles
EP4089498B1 (en) Autonomous driving system, autonomous driving control method, and non-transitory storage medium
JP2020076726A (ja) 地図情報システム
US20230365143A1 (en) System and method for remote control guided autonomy for autonomous vehicles
US20230347920A1 (en) Autonomous vehicle notification system
US11884291B2 (en) Assigning vehicles for transportation services
US20220363291A1 (en) Autonomous driving system, autonomous driving control method, and nontransitory storage medium
JP2024004281A (ja) 車両制御システム
JP2023083085A (ja) オペレータ支援方法
WO2023220509A1 (en) System and method for remote control guided autonomy for autonomous vehicles
JP2022095350A (ja) 遠隔支援装置、遠隔支援方法、及び遠隔支援プログラム
CN117437772A (zh) 用于确定并提供停车设施入口特性的系统和方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230227

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240123

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240326

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240408

R150 Certificate of patent or registration of utility model

Ref document number: 7480734

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150