JP2024060467A - 遠隔操作制御方法、遠隔操作システム、及び移動体 - Google Patents
遠隔操作制御方法、遠隔操作システム、及び移動体 Download PDFInfo
- Publication number
- JP2024060467A JP2024060467A JP2022167849A JP2022167849A JP2024060467A JP 2024060467 A JP2024060467 A JP 2024060467A JP 2022167849 A JP2022167849 A JP 2022167849A JP 2022167849 A JP2022167849 A JP 2022167849A JP 2024060467 A JP2024060467 A JP 2024060467A
- Authority
- JP
- Japan
- Prior art keywords
- remote
- moving object
- vehicle
- upper limit
- remote operator
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims description 20
- 238000004891 communication Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 11
- 230000001133 acceleration Effects 0.000 description 9
- 230000007423 decrease Effects 0.000 description 3
- 230000001934 delay Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000004590 computer program Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/20—Control system inputs
- G05D1/22—Command input arrangements
- G05D1/221—Remote-control arrangements
- G05D1/222—Remote-control arrangements operated by humans
- G05D1/224—Output arrangements on the remote controller, e.g. displays, haptics or speakers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
- H04N7/185—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source from a mobile camera, e.g. for remote control
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Aviation & Aerospace Engineering (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Traffic Control Systems (AREA)
- Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
Abstract
【課題】遠隔操作中の移動体の速度を状況に応じて制限すること。【解決手段】移動体に搭載されたカメラによって撮影される映像は、移動体を遠隔操作する遠隔オペレータ側の遠隔オペレータ端末に送信される。遠隔操作システムは、移動体から遠隔オペレータ端末に送信される映像の品質が低くなるほど、あるいは、映像のエンコード・デコード時間が長くなるほど、遠隔操作の最中の移動体の上限速度を低く設定する。そして、遠隔操作システムは、遠隔オペレータによって入力される操作量にかかわらず、遠隔操作の最中の移動体の速度を上限速度以下に制限する。【選択図】図3
Description
本開示は、移動体の遠隔操作に関する。
特許文献1は、遠隔制御中の車両の速度を所定値以下に制限することを開示している。
移動体の遠隔操作(遠隔運転、遠隔制御、遠隔支援)の最中、移動体の速度を制限することが考えられる。但し、状況を考慮せずに一律に上限速度が設定されると、移動体の速度が必要以上に制限されてしまうおそれがある。このことは、効率的な移動体運用や円滑な遠隔操作を阻害する。
本開示の1つの目的は、遠隔操作中の移動体の速度を状況に応じて制限することができる技術を提供することにある。
第1の観点は、移動体の遠隔操作を制御する遠隔操作制御方法に関連する。
移動体に搭載されたカメラによって撮影される映像は、移動体を遠隔操作する遠隔オペレータ側の遠隔オペレータ端末に送信される。
遠隔操作制御方法は、
移動体から遠隔オペレータ端末に送信される映像の品質が低くなるほど、あるいは、映像のエンコード・デコード時間が長くなるほど、遠隔操作の最中の移動体の上限速度を低く設定することと、
遠隔オペレータによって入力される操作量にかかわらず、遠隔操作の最中の移動体の速度を上限速度以下に制限することと
を含む。
移動体に搭載されたカメラによって撮影される映像は、移動体を遠隔操作する遠隔オペレータ側の遠隔オペレータ端末に送信される。
遠隔操作制御方法は、
移動体から遠隔オペレータ端末に送信される映像の品質が低くなるほど、あるいは、映像のエンコード・デコード時間が長くなるほど、遠隔操作の最中の移動体の上限速度を低く設定することと、
遠隔オペレータによって入力される操作量にかかわらず、遠隔操作の最中の移動体の速度を上限速度以下に制限することと
を含む。
第2の観点は、移動体の遠隔操作のための遠隔操作システムに関連する。
移動体に搭載されたカメラによって撮影される映像は、移動体を遠隔操作する遠隔オペレータ側の遠隔オペレータ端末に送信される。
遠隔操作システムは、1又は複数のプロセッサを備える。
1又は複数のプロセッサは、移動体から遠隔オペレータ端末に送信される映像の品質が低くなるほど、あるいは、映像のエンコード・デコード時間が長くなるほど、遠隔操作の最中の移動体の上限速度を低く設定する。
そして、1又は複数のプロセッサは、遠隔オペレータによって入力される操作量にかかわらず、遠隔操作の最中の移動体の速度を上限速度以下に制限する。
移動体に搭載されたカメラによって撮影される映像は、移動体を遠隔操作する遠隔オペレータ側の遠隔オペレータ端末に送信される。
遠隔操作システムは、1又は複数のプロセッサを備える。
1又は複数のプロセッサは、移動体から遠隔オペレータ端末に送信される映像の品質が低くなるほど、あるいは、映像のエンコード・デコード時間が長くなるほど、遠隔操作の最中の移動体の上限速度を低く設定する。
そして、1又は複数のプロセッサは、遠隔オペレータによって入力される操作量にかかわらず、遠隔操作の最中の移動体の速度を上限速度以下に制限する。
第3の観点は、遠隔オペレータによる遠隔操作の対象となる移動体に関連する。移動体は、1又は複数のプロセッサを備える。
1又は複数のプロセッサは、移動体に搭載されたカメラによって撮影される映像を、遠隔オペレータ側の遠隔オペレータ端末に送信する。
1又は複数のプロセッサは、移動体から遠隔オペレータ端末に送信される映像の品質が低くなるほど、あるいは、映像のエンコード・デコード時間が長くなるほど、遠隔操作の最中の移動体の上限速度を低く設定する。
そして、1又は複数のプロセッサは、遠隔オペレータによって入力される操作量にかかわらず、遠隔操作の最中の移動体の速度を上限速度以下に制限する。
1又は複数のプロセッサは、移動体に搭載されたカメラによって撮影される映像を、遠隔オペレータ側の遠隔オペレータ端末に送信する。
1又は複数のプロセッサは、移動体から遠隔オペレータ端末に送信される映像の品質が低くなるほど、あるいは、映像のエンコード・デコード時間が長くなるほど、遠隔操作の最中の移動体の上限速度を低く設定する。
そして、1又は複数のプロセッサは、遠隔オペレータによって入力される操作量にかかわらず、遠隔操作の最中の移動体の速度を上限速度以下に制限する。
本開示によれば、移動体から遠隔オペレータ端末に送信される映像の品質に応じて移動体の上限速度が設定される。映像の品質が比較的低い場合には、上限速度が比較的低く設定されるため、より安全な遠隔操作が可能となる。一方、映像の品質が比較的高い場合には、上限速度が比較的高く設定され、必要以上の速度制限は行われないため、効率的な移動体運用や円滑な遠隔操作が可能となる。
1.遠隔操作システムの概要
移動体の遠隔操作について考える。遠隔操作は、遠隔運転、遠隔制御、及び遠隔支援を含む概念である。移動体としては、車両、ロボット、等が例示される。車両は、自動運転車両であってもよいし、ドライバが運転する車両であってもよい。ロボットとしては、物流ロボット、作業ロボット、等が例示される。一例として、以下の説明においては、遠隔操作の対象である移動体が車両である場合について考える。一般化する場合には、以下の説明における「車両」を「移動体」で読み替えるものとする。
移動体の遠隔操作について考える。遠隔操作は、遠隔運転、遠隔制御、及び遠隔支援を含む概念である。移動体としては、車両、ロボット、等が例示される。車両は、自動運転車両であってもよいし、ドライバが運転する車両であってもよい。ロボットとしては、物流ロボット、作業ロボット、等が例示される。一例として、以下の説明においては、遠隔操作の対象である移動体が車両である場合について考える。一般化する場合には、以下の説明における「車両」を「移動体」で読み替えるものとする。
図1は、本実施の形態に係る遠隔操作システム1の構成例を示す概略図である。遠隔操作システム1は、車両100、遠隔オペレータ端末200、及び管理装置300を含んでいる。車両100は、遠隔操作の対象である。遠隔オペレータ端末200は、遠隔オペレータOが車両100を遠隔操作する際に使用する端末装置である。遠隔オペレータ端末200を遠隔コクピットと言うこともできる。管理装置300は、遠隔操作システム1の管理を行う。典型的には、管理装置300は、クラウド上の管理サーバである。管理サーバは、分散処理を行う複数のサーバにより構成されていてもよい。
車両100、遠隔オペレータ端末200、及び管理装置300は、通信ネットワークを介して互いに通信可能である。車両100と遠隔オペレータ端末200は、管理装置300を介して互いに通信可能である。また、車両100と遠隔オペレータ端末200は、管理装置300を介さずに直接通信を行ってもよい。
車両100には、カメラCを含む各種センサが搭載されている。カメラCは、車両100の周囲の状況を撮像し、車両100の周囲の状況を示す映像VIDを取得する。車両情報VCLは、各種センサにより得られる情報であり、カメラCにより得られる映像VIDを含む。車両100は、車両情報VCLを遠隔オペレータ端末200に送信する。
遠隔オペレータ端末200は、車両100から送信された車両情報VCLを受け取る。遠隔オペレータ端末200は、車両情報VCLを遠隔オペレータOに提示する。具体的には、遠隔オペレータ端末200は、表示装置を備えており、映像VID等を表示装置に表示する。遠隔オペレータOは、表示された情報をみて、車両100の周囲の状況を認識し、車両100の遠隔操作を行う。遠隔操作情報OPEは、遠隔オペレータOによる遠隔操作に関する情報である。例えば、遠隔操作情報OPEは、遠隔オペレータOにより入力される操作量(操舵操作量、アクセル操作量、ブレーキ操作量)を含む。遠隔オペレータ端末200は、遠隔操作情報OPEを車両100に送信する。
車両100は、遠隔オペレータ端末200から送信された遠隔操作情報OPEを受け取る。車両100は、受け取った遠隔操作情報OPEに従って車両走行制御を行う。このようにして、車両100の遠隔操作が実現される。
2.速度制限処理
車両100の遠隔操作の最中、車両100の速度を制限することが考えられる。但し、状況を考慮せずに一律に上限速度が設定されると、車両100の速度が必要以上に制限されてしまうおそれがある。このことは、効率的な車両走行や円滑な遠隔操作を阻害する。そこで、本実施の形態は、遠隔操作中の車両100の速度を状況に応じて制限することができる技術を提案する。
車両100の遠隔操作の最中、車両100の速度を制限することが考えられる。但し、状況を考慮せずに一律に上限速度が設定されると、車両100の速度が必要以上に制限されてしまうおそれがある。このことは、効率的な車両走行や円滑な遠隔操作を阻害する。そこで、本実施の形態は、遠隔操作中の車両100の速度を状況に応じて制限することができる技術を提案する。
図2は、本実施の形態に係る速度制限処理に関連する機能構成を示すブロック図である。遠隔操作システム1は、機能ブロックとして、上限速度設定部10、調停部20、及び車両制御部30を含んでいる。
上限速度設定部10は、遠隔操作の最中の車両100の上限速度Vlimを可変的に設定する。参照情報REFは、上限速度Vlimを設定する際に考慮される情報である。例えば、参照情報REFは、車両100の遠隔操作の状況を示す。そのような参照情報REFを考慮することによって、遠隔操作の状況に応じた上限速度Vlimを設定することが可能となる。参照情報REFの例、すなわち、上限速度Vlimの設定方法について様々な例が考えられる。上限速度Vlimの設定方法の様々な例については後述される。尚、上限速度設定部10は、車両100、遠隔オペレータ端末200、及び管理装置300のいずれに含まれていてもよい。
調停部20は、上限速度設定部10によって設定される上限速度Vlimの情報を受け取る。また、調停部20は、遠隔操作情報OPEを受け取る。そして、調停部20は、遠隔オペレータOによって入力される操作量にかかわらず、遠隔操作の最中の車両100の速度を上限速度Vlim以下に制限する。つまり、調停部20は、遠隔操作情報OPEに従った場合の速度と上限速度Vlimのうちより低い方を最終的な要求速度として選択する。
例えば、調停部20は、車両100に含まれている。その場合、調停部20は、遠隔オペレータ端末200から送られてくる遠隔操作情報OPEを受け取る。例えば、遠隔操作情報OPEは、遠隔オペレータOにより入力されるアクセル操作量を含んでいる。調停部20は、そのアクセル操作量に基づいてオペレータ要求速度を算出する。そして、調停部20は、オペレータ要求速度と上限速度Vlimのうちより低い方を最終的な要求速度として選択する。
他の例として、調停部20は、遠隔オペレータ端末200に含まれていてもよい。その場合、調停部20は、車両100の速度が上限速度Vlim以下に制限されるように、遠隔操作情報OPEを車両100に送信する前に予め補正する。例えば、調停部20は、遠隔オペレータOにより入力されるアクセル操作量に基づいて、オペレータ要求速度を算出する。更に、調停部20は、オペレータ要求速度と上限速度Vlimのうちより低い方を最終的な要求速度として選択する。この場合、遠隔オペレータ端末200から車両100に送信される遠隔操作情報OPEに、調停部20によって選択された要求速度が含まれる。
調停部20は、要求速度と共に要求加速度を算出してもよい。具体的には、調停部20は、車両100の現在速度と上限速度Vlimに基づいて、車両100の速度を上限速度Vlimに一致させるための第1加速度を算出する。また、調停部20は、遠隔オペレータOにより入力されるアクセル操作量に基づいて、オペレータ要求加速度を算出する。そして、調停部20は、オペレータ要求加速度と第1加速度のうちより低い方を最終的な要求加速度として選択する。
調停部20は、最終的な要求速度及び最終的な要求加速度を含む制御情報CONを車両制御部30に出力する。車両制御部30は、車両100に含まれており、制御情報CONに従って車両100の速度及び加速度を制御する。
以下、上限速度Vlimの設定方法の様々な例について説明する。
3.上限速度設定例
3-1.第1の例
車両100は、遠隔オペレータ端末200との通信状態を監視し、輻輳の発生を検知する。輻輳検知方法は、周知技術であり、特に限定されない。例えば、パケットロス状態あるいは遅延状態に基づいて輻輳の発生を検知することができる。輻輳が発生して通信速度が低下した場合、車両100は、通信遅延を抑制するために、また、通信途絶を回避するために、「輻輳制御」を実行する。具体的には、車両100は、遠隔オペレータ端末200に送信する映像VIDの画質を低下させることにより、データ送出量を減らす。例えば、車両100は、エンコード処理において映像VIDの解像度を低下させる。他の例として、車両100は、エンコード処理において映像VIDのフレームレートを低下させる。このような輻輳制御により、通信遅延を抑制し、また、通信途絶を回避することが可能となる。
3-1.第1の例
車両100は、遠隔オペレータ端末200との通信状態を監視し、輻輳の発生を検知する。輻輳検知方法は、周知技術であり、特に限定されない。例えば、パケットロス状態あるいは遅延状態に基づいて輻輳の発生を検知することができる。輻輳が発生して通信速度が低下した場合、車両100は、通信遅延を抑制するために、また、通信途絶を回避するために、「輻輳制御」を実行する。具体的には、車両100は、遠隔オペレータ端末200に送信する映像VIDの画質を低下させることにより、データ送出量を減らす。例えば、車両100は、エンコード処理において映像VIDの解像度を低下させる。他の例として、車両100は、エンコード処理において映像VIDのフレームレートを低下させる。このような輻輳制御により、通信遅延を抑制し、また、通信途絶を回避することが可能となる。
但し、車両100において輻輳制御が行われた場合、遠隔オペレータ端末200の表示装置に表示される映像VIDの画質も低下する。その結果、映像VIDの視認性が低下し、遠隔オペレータOが車両100の周囲の状況を把握しにくくなるおそれがある。この場合、安全のため、車両100の速度を制限することが好ましい。
そこで、第1の例では、上限速度設定部10は、車両100から遠隔オペレータ端末200に送信される映像VIDの品質に応じて、車両100の上限速度Vlimを可変設定する。参照情報REFは、車両100から遠隔オペレータ端末200に送信される映像VIDの品質に関する情報である。映像VIDの品質は、映像VIDの解像度及びフレームレートの少なくとも一方を含む。映像VIDを送信する側の車両100は、映像VIDの品質に関する情報を取得することができる。遠隔オペレータ端末200も、受信した映像VIDに基づいて、映像VIDの品質に関する情報を取得することができる。映像VIDが管理装置300を経由して遠隔オペレータ端末200に転送される場合、管理装置300も映像VIDの品質に関する情報を取得することができる。よって、上限速度設定部10は、車両100、遠隔オペレータ端末200、及び管理装置300のいずれに含まれていてもよい。
図3は、第1の例における上限速度Vlimの設定例を説明するための概念図である。上限速度設定部10は、映像VIDの品質が低くなるほど上限速度Vlimを低く設定し、映像VIDの品質が高くなるほど上限速度Vlimを高く設定する。上限速度Vlimは、映像VIDの品質に応じて線形的に変化してもよいし非線形的に変化してもよい。上限速度Vlimは、ステップ状に変化してもよい。
以上に説明されたように、第1の例によれば、車両100から遠隔オペレータ端末200に送信される映像VIDの品質に応じて車両100の上限速度Vlimが設定される。映像VIDの品質が比較的低い場合には、上限速度Vlimが比較的低く設定されるため、より安全な遠隔操作が可能となる。一方、映像VIDの品質が比較的高い場合には、上限速度Vlimが比較的高く設定され、必要以上の速度制限は行われないため、効率的な車両走行や円滑な遠隔操作が可能となる。
3-2.第2の例
車両100と遠隔オペレータ端末200との間の通信の遅延時間は、回線状態等に依存して変動する。遅延時間が増加すると、遠隔オペレータOが見る映像VIDと現在のものとの乖離が大きくなり、また、遠隔オペレータOによる遠隔操作が車両100の挙動に実際に反映されるまでの時間が増加する。そのような場合、安全のため、車両100の速度を制限することが好ましい。
車両100と遠隔オペレータ端末200との間の通信の遅延時間は、回線状態等に依存して変動する。遅延時間が増加すると、遠隔オペレータOが見る映像VIDと現在のものとの乖離が大きくなり、また、遠隔オペレータOによる遠隔操作が車両100の挙動に実際に反映されるまでの時間が増加する。そのような場合、安全のため、車両100の速度を制限することが好ましい。
そこで、第2の例では、上限速度設定部10は、車両100と遠隔オペレータ端末200との間の通信の遅延時間に応じて、車両100の上限速度Vlimを可変設定する。参照情報REFは、車両100と遠隔オペレータ端末200との間の通信の遅延時間に関する情報である。例えば、上限速度設定部10が車両100に含まれる場合、上限速度設定部10は、遠隔オペレータ端末200からの遠隔操作情報OPEの受信状態に基づいて遅延時間を把握することができる。他の例として、上限速度設定部10が遠隔オペレータ端末200に含まれる場合、上限速度設定部10は、車両100からの車両情報VCLの受信状態に基づいて遅延時間を把握することができる。
上限速度設定部10は、遅延時間が増加するほど上限速度Vlimを低く設定し、遅延時間が減少するほど上限速度Vlimを高く設定する。例えば、上限速度設定部10は、遅延時間における車両100の空走距離が一定距離以内に収まるように上限速度Vlimを設定する。これにより、上記の第1の例の場合と同様の効果が得られる。
3-3.第3の例
映像VIDのエンコード・デコード時間も、映像VIDの遅延、すなわち、遠隔オペレータOが見る映像VIDと現在のものとの乖離の原因となる。そこで、第3の例では、上限速度設定部10は、映像VIDのエンコード・デコード時間に応じて、車両100の上限速度Vlimを可変設定する。参照情報REFは、映像VIDのエンコード・デコード時間であり、車両100あるいは遠隔オペレータ端末200において得られる。上限速度設定部10は、映像VIDのエンコード・デコード時間が長くなるほど上限速度Vlimを低く設定する。これにより、上記の第2の例の場合と同様の効果が得られる。
映像VIDのエンコード・デコード時間も、映像VIDの遅延、すなわち、遠隔オペレータOが見る映像VIDと現在のものとの乖離の原因となる。そこで、第3の例では、上限速度設定部10は、映像VIDのエンコード・デコード時間に応じて、車両100の上限速度Vlimを可変設定する。参照情報REFは、映像VIDのエンコード・デコード時間であり、車両100あるいは遠隔オペレータ端末200において得られる。上限速度設定部10は、映像VIDのエンコード・デコード時間が長くなるほど上限速度Vlimを低く設定する。これにより、上記の第2の例の場合と同様の効果が得られる。
3-4.第4の例
図4に示されるように、遠隔オペレータ端末200は、車両100の推定将来位置(推定軌跡TR及び/あるいは推定通過範囲RNG)を映像VIDに重畳表示してもよい。そのような推定将来位置は、遠隔オペレータOによって入力される操作量(操舵操作量、アクセル操作量、ブレーキ操作量)及び車両100の速度に基づいて推定可能である。遠隔オペレータOによる操作に応じた推定将来位置が車線から頻繁に逸脱する場合、遠隔オペレータOの遠隔操作技能は高くない可能性がある。そのような場合、車両100の速度を制限することが好ましい。
図4に示されるように、遠隔オペレータ端末200は、車両100の推定将来位置(推定軌跡TR及び/あるいは推定通過範囲RNG)を映像VIDに重畳表示してもよい。そのような推定将来位置は、遠隔オペレータOによって入力される操作量(操舵操作量、アクセル操作量、ブレーキ操作量)及び車両100の速度に基づいて推定可能である。遠隔オペレータOによる操作に応じた推定将来位置が車線から頻繁に逸脱する場合、遠隔オペレータOの遠隔操作技能は高くない可能性がある。そのような場合、車両100の速度を制限することが好ましい。
そこで、第4の例では、上限速度設定部10は、車両100の推定将来位置が車両100が走行している車線から逸脱した回数に基づいて上限速度Vlimを設定する。参照情報REFは、例えば、車両100の推定将来位置を含む。車両100の推定将来位置は、遠隔操作情報OPEに基づいて算出可能であり、車両100によって算出されてもよいし、遠隔オペレータ端末200によって算出されてもよい。上限速度設定部10が車両100に含まれる場合、上限速度設定部10は、車両100の現在位置と地図情報に登録されている車線配置情報に基づいて、車両100が走行している車線の位置を把握することができる。上限速度設定部10が遠隔オペレータ端末200に含まれる場合、上限速度設定部10は、セマンティックセグメンテーション等の手法を利用することによって映像VIDの中から車線位置を抽出してもよい。
上限速度設定部10は、過去の一定期間において車両100の推定将来位置が車両100が走行している車線から逸脱した回数をカウントする。そして、上限速度設定部10は、過去一定期間における逸脱回数が多くなるほど上限速度Vlimを低く設定する。上限速度Vlimは、逸脱回数に応じて線形的に変化してもよいし非線形的に変化してもよい。第4の例の場合にも、上記の第1の例の場合と同様の効果が得られる。
3-5.第5の例
第5の例では、上限速度設定部10は、車両100が走行している道路の制限速度を上限速度Vlimとして設定する。参照情報REFは、車両100が走行している道路の制限速度に関する情報である。例えば、車両100は、カメラCにより得られる画像を分析することによって、道路に設置されている制限速度標識を認識し、その制限速度標識で示される制限速度を読み取る。他の例として、制限速度は高精度地図情報に予め登録されていてもよい。
第5の例では、上限速度設定部10は、車両100が走行している道路の制限速度を上限速度Vlimとして設定する。参照情報REFは、車両100が走行している道路の制限速度に関する情報である。例えば、車両100は、カメラCにより得られる画像を分析することによって、道路に設置されている制限速度標識を認識し、その制限速度標識で示される制限速度を読み取る。他の例として、制限速度は高精度地図情報に予め登録されていてもよい。
3-6.第6の例
第5の例では、参照情報REFは、外部機関によって定められる上限速度Vlimの情報である。例えば、上限速度Vlimは、遠隔操作事業者によって任意に定められる。例えば、参照情報REFは、管理装置300によって提供される。上限速度設定部10は、参照情報REFに基づいて上限速度Vlimを設定する。
第5の例では、参照情報REFは、外部機関によって定められる上限速度Vlimの情報である。例えば、上限速度Vlimは、遠隔操作事業者によって任意に定められる。例えば、参照情報REFは、管理装置300によって提供される。上限速度設定部10は、参照情報REFに基づいて上限速度Vlimを設定する。
3-7.第7の例
矛盾しない限り、上記の第1~第6の例のうち2以上の組み合わせも可能である。
矛盾しない限り、上記の第1~第6の例のうち2以上の組み合わせも可能である。
4.車両の例
4-1.構成例
図5は、車両100の構成例を示すブロック図である。車両100は、通信装置110、センサ群120、走行装置130、及び制御装置150を備えている。
4-1.構成例
図5は、車両100の構成例を示すブロック図である。車両100は、通信装置110、センサ群120、走行装置130、及び制御装置150を備えている。
通信装置110は、車両100の外部と通信を行う。例えば、通信装置110は、遠隔オペレータ端末200や管理装置300と通信を行う。
センサ群120は、認識センサ、車両状態センサ、位置センサ、等を含んでいる。認識センサは、車両100の周辺の状況を認識(検出)する。認識センサとしては、カメラC、LIDAR(Laser Imaging Detection and Ranging)、レーダ、等が例示される。車両状態センサは、車両100の状態を検出する。車両状態センサは、速度センサ、加速度センサ、ヨーレートセンサ、舵角センサ、等を含んでいる。位置センサは、車両100の位置及び方位を検出する。例えば、位置センサは、GNSS(Global Navigation Satellite System)を含んでいる。
走行装置130は、操舵装置、駆動装置、及び制動装置を含んでいる。操舵装置は、車輪を転舵する。例えば、操舵装置は、パワーステアリング(EPS: Electric Power Steering)装置を含んでいる。駆動装置は、駆動力を発生させる動力源である。駆動装置としては、エンジン、電動機、インホイールモータ、等が例示される。制動装置は、制動力を発生させる。
制御装置150は、車両100を制御するコンピュータである。制御装置150は、1又は複数のプロセッサ160(以下、単にプロセッサ160と呼ぶ)と1又は複数の記憶装置170(以下、単に記憶装置170と呼ぶ)を含んでいる。プロセッサ160は、各種処理を実行する。例えば、プロセッサ160は、CPU(Central Processing Unit)を含んでいる。記憶装置170は、プロセッサ160による処理に必要な各種情報を格納する。記憶装置170としては、揮発性メモリ、不揮発性メモリ、HDD(Hard Disk Drive)、SSD(Solid State Drive)、等が例示される。
車両制御プログラムPROG1は、プロセッサ160によって実行されるコンピュータプログラムである。プロセッサ160が車両制御プログラムPROG1を実行することにより、制御装置150の機能が実現される。車両制御プログラムPROG1は、記憶装置170に格納される。あるいは、車両制御プログラムPROG1は、コンピュータ読み取り可能な記録媒体に記録されてもよい。
4-2.運転環境情報
制御装置150は、センサ群120を用いて、車両100の運転環境を示す運転環境情報ENVを取得する。運転環境情報ENVは、記憶装置170に格納される。
制御装置150は、センサ群120を用いて、車両100の運転環境を示す運転環境情報ENVを取得する。運転環境情報ENVは、記憶装置170に格納される。
運転環境情報ENVは、認識センサによる認識結果を示す周辺状況情報を含む。例えば、周辺状況情報は、カメラCによって撮像される映像VIDを含む。周辺状況情報は、車両100の周辺の物体に関する物体情報を含んでいてもよい。車両100の周辺の物体としては、歩行者、他車両(先行車両、駐車車両、等)、白線、信号、標識、路側構造物、等が例示される。物体情報は、車両100に対する物体の相対位置及び相対速度を示す。
また、運転環境情報ENVは、車両状態センサによって検出される車両状態を示す車両状態情報を含む。
更に、運転環境情報ENVは、車両100の位置及び方位を示す車両位置情報を含む。車両位置情報は、位置センサにより得られる。地図情報と周辺状況情報(物体情報)を用いた自己位置推定処理(Localization)により、高精度な車両位置情報が取得されてもよい。
4-3.車両走行制御
制御装置150は、車両100の走行を制御する車両走行制御を実行する。車両走行制御は、操舵制御、駆動制御、及び制動制御を含む。制御装置150は、走行装置130(操舵装置、駆動装置、及び制動装置)を制御することによって車両走行制御を実行する。
制御装置150は、車両100の走行を制御する車両走行制御を実行する。車両走行制御は、操舵制御、駆動制御、及び制動制御を含む。制御装置150は、走行装置130(操舵装置、駆動装置、及び制動装置)を制御することによって車両走行制御を実行する。
制御装置150は、運転環境情報ENVに基づいて自動運転制御を行ってもよい。より詳細には、制御装置150は、運転環境情報ENVに基づいて、車両100の走行プランを生成する。更に、制御装置150は、運転環境情報ENVに基づいて、車両100が走行プランに従って走行するために必要な目標トラジェクトリを生成する。目標トラジェクトリは、目標位置及び目標速度を含んでいる。そして、制御装置150は、車両100が目標トラジェクトリに追従するように車両走行制御を行う。
4-4.遠隔操作に関連する処理
以下、車両100の遠隔操作が行われる場合について説明する。制御装置150は、通信装置110を介して、遠隔オペレータ端末200と通信を行う。
以下、車両100の遠隔操作が行われる場合について説明する。制御装置150は、通信装置110を介して、遠隔オペレータ端末200と通信を行う。
制御装置150は、車両情報VCLを遠隔オペレータ端末200に送信する。車両情報VCLは、遠隔オペレータOによる遠隔操作に必要な情報であり、上述の運転環境情報ENVの少なくとも一部を含んでいる。例えば、車両情報VCLは、周辺状況情報(特に映像VID)を含んでいる。車両情報VCLは、更に、車両状態情報や車両位置情報を含んでいてもよい。
また、制御装置150は、遠隔操作情報OPEを遠隔オペレータ端末200から受信する。遠隔操作情報OPEは、遠隔オペレータOによる遠隔操作に関する情報である。例えば、遠隔操作情報OPEは、遠隔オペレータOによって入力される操作量を含む。制御装置150は、受信した遠隔操作情報OPEに従って車両走行制御を行う。
また、制御装置150は、上記セクション3-1で説明した輻輳制御を必要に応じて実行する。輻輳制御において、制御装置150は、遠隔オペレータ端末200に送信する映像VIDの画質(解像度、フレームレート)を低下させる。
制御装置150は、上記セクション2及びセクション3で説明した上限速度設定部10の機能を備えていてもよい。制御装置150は、上述の調停部20の機能を備えていてもよい。制御装置150は、上述の車両制御部30の機能を備えていてもよい。
5.遠隔オペレータ端末の構成例
図6は、遠隔オペレータ端末200の構成例を示すブロック図である。遠隔オペレータ端末200は、通信装置210、出力装置220、入力装置230、及び制御装置250を含んでいる。
図6は、遠隔オペレータ端末200の構成例を示すブロック図である。遠隔オペレータ端末200は、通信装置210、出力装置220、入力装置230、及び制御装置250を含んでいる。
通信装置210は、車両100及び管理装置300と通信を行う。
出力装置220は、各種情報を出力する。例えば、出力装置220は、表示装置を含んでいる。表示装置は、各種情報を表示することにより、各種情報を遠隔オペレータOに提示する。他の例として、出力装置220は、スピーカを含んでいてもよい。
入力装置230は、遠隔オペレータOからの入力を受け付ける。例えば、入力装置230は、遠隔オペレータOが車両100を遠隔操作する際に操作する遠隔操作部材を含む。遠隔操作部材は、ハンドル、アクセルペダル、ブレーキペダル、方向指示器、等を含んでいる。
制御装置250は、遠隔オペレータ端末200を制御する。制御装置250は、1又は複数のプロセッサ260(以下、単にプロセッサ260と呼ぶ)と1又は複数の記憶装置270(以下、単に記憶装置270と呼ぶ)を含んでいる。プロセッサ260は、各種処理を実行する。例えば、プロセッサ260は、CPUを含んでいる。記憶装置270は、プロセッサ260による処理に必要な各種情報を格納する。記憶装置270としては、揮発性メモリ、不揮発性メモリ、HDD、SSD、等が例示される。
遠隔操作プログラムPROG2は、プロセッサ260によって実行されるコンピュータプログラムである。プロセッサ260が遠隔操作プログラムPROG2を実行することにより、制御装置250の機能が実現される。遠隔操作プログラムPROG2は、記憶装置270に格納される。あるいは、遠隔操作プログラムPROG2は、コンピュータ読み取り可能な記録媒体に記録されてもよい。遠隔操作プログラムPROG2は、ネットワーク経由で提供されてもよい。
制御装置250は、通信装置210を介して、車両100と通信を行う。制御装置250は、車両100から送信される車両情報VCLを受信する。制御装置250は、映像VIDを含む車両情報VCLを表示装置に表示することによって、車両情報VCLを遠隔オペレータOに提示する。遠隔オペレータOは、表示装置に表示される車両情報VCLに基づいて、車両100の状態や周囲の状況を認識することができる。
遠隔オペレータOは、入力装置230の遠隔操作部材を操作する。遠隔操作部材の操作量は、遠隔操作部材に設置されたセンサにより検出される。制御装置250は、遠隔オペレータOによる遠隔操作部材の操作量を反映した遠隔操作情報OPEを生成する。そして、制御装置250は、その遠隔操作情報OPEを通信装置210を介して車両100に送信する。
制御装置250は、上記セクション2及びセクション3で説明した上限速度設定部10の機能を備えていてもよい。制御装置250は、上述の調停部20の機能を備えていてもよい。
1…遠隔操作システム, 10…上限速度設定部, 20…調停部, 30…車両制御部, 100…車両, 200…遠隔オペレータ端末, 300…管理装置, OPE…遠隔操作情報, VCL…車両情報, Vlim…上限速度
Claims (5)
- 移動体の遠隔操作を制御する遠隔操作制御方法であって、
前記移動体に搭載されたカメラによって撮影される映像は、前記移動体を遠隔操作する遠隔オペレータ側の遠隔オペレータ端末に送信され、
前記遠隔操作制御方法は、
前記移動体から前記遠隔オペレータ端末に送信される前記映像の品質が低くなるほど、あるいは、前記映像のエンコード・デコード時間が長くなるほど、前記遠隔操作の最中の前記移動体の上限速度を低く設定することと、
前記遠隔オペレータによって入力される操作量にかかわらず、前記遠隔操作の最中の前記移動体の速度を前記上限速度以下に制限することと
を含む
遠隔操作制御方法。 - 請求項1に記載の遠隔操作制御方法であって、
前記映像の前記品質は、前記映像の解像度及びフレームレートの少なくとも一方を含む
遠隔操作制御方法。 - 請求項1又は2に記載の遠隔操作制御方法であって、
前記遠隔オペレータによって入力される前記操作量に基づいて、前記移動体の将来位置を推定することと、
過去の一定期間において、前記推定された将来位置が前記移動体が走行している車線から逸脱した回数をカウントすることと、
前記回数が多くなるほど、前記遠隔操作の最中の前記移動体の前記上限速度を低く設定することと
を更に含む
遠隔操作制御方法。 - 移動体の遠隔操作のための遠隔操作システムであって、
前記移動体に搭載されたカメラによって撮影される映像は、前記移動体を遠隔操作する遠隔オペレータ側の遠隔オペレータ端末に送信され、
前記遠隔操作システムは、1又は複数のプロセッサを備え、
前記1又は複数のプロセッサは、前記移動体から前記遠隔オペレータ端末に送信される前記映像の品質が低くなるほど、あるいは、前記映像のエンコード・デコード時間が長くなるほど、前記遠隔操作の最中の前記移動体の上限速度を低く設定し、
前記1又は複数のプロセッサは、前記遠隔オペレータによって入力される操作量にかかわらず、前記遠隔操作の最中の前記移動体の速度を前記上限速度以下に制限する
遠隔操作システム。 - 遠隔オペレータによる遠隔操作の対象となる移動体であって、
1又は複数のプロセッサを備え、
前記1又は複数のプロセッサは、前記移動体に搭載されたカメラによって撮影される映像を、前記遠隔オペレータ側の遠隔オペレータ端末に送信し、
前記1又は複数のプロセッサは、前記移動体から前記遠隔オペレータ端末に送信される前記映像の品質が低くなるほど、あるいは、前記映像のエンコード・デコード時間が長くなるほど、前記遠隔操作の最中の前記移動体の上限速度を低く設定し、
前記1又は複数のプロセッサは、前記遠隔オペレータによって入力される操作量にかかわらず、前記遠隔操作の最中の前記移動体の速度を前記上限速度以下に制限する
移動体。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022167849A JP2024060467A (ja) | 2022-10-19 | 2022-10-19 | 遠隔操作制御方法、遠隔操作システム、及び移動体 |
US18/465,983 US20240134374A1 (en) | 2022-10-18 | 2023-09-12 | Remote operation control method, remote operation system, and moving body |
CN202311333193.8A CN117930823A (zh) | 2022-10-19 | 2023-10-16 | 远程操作控制方法、远程操作系统以及移动体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2022167849A JP2024060467A (ja) | 2022-10-19 | 2022-10-19 | 遠隔操作制御方法、遠隔操作システム、及び移動体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024060467A true JP2024060467A (ja) | 2024-05-02 |
Family
ID=90763674
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022167849A Pending JP2024060467A (ja) | 2022-10-18 | 2022-10-19 | 遠隔操作制御方法、遠隔操作システム、及び移動体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20240134374A1 (ja) |
JP (1) | JP2024060467A (ja) |
CN (1) | CN117930823A (ja) |
-
2022
- 2022-10-19 JP JP2022167849A patent/JP2024060467A/ja active Pending
-
2023
- 2023-09-12 US US18/465,983 patent/US20240134374A1/en active Pending
- 2023-10-16 CN CN202311333193.8A patent/CN117930823A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
US20240134374A1 (en) | 2024-04-25 |
CN117930823A (zh) | 2024-04-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111923923A (zh) | 将转向控制从自动驾驶车辆转换为驾驶员 | |
US11738776B2 (en) | Perception performance evaluation of a vehicle ADAS or ADS | |
US11479246B2 (en) | Vehicle control device, vehicle control method, and storage medium | |
CN115092130A (zh) | 车辆碰撞预测方法、装置、电子设备、介质和车辆 | |
JP2024060467A (ja) | 遠隔操作制御方法、遠隔操作システム、及び移動体 | |
US20230176572A1 (en) | Remote operation system and remote operation control method | |
US20230356745A1 (en) | Map related information sharing for autonomous vehicles | |
US20230288926A1 (en) | Control device, control method, and non-transitory computer-readable recording medium | |
US20220360745A1 (en) | Remote monitoring device, remote monitoring system, and remote monitoring method | |
US20240085905A1 (en) | Vehicle, vehicle control method, and storage medium | |
US20220390937A1 (en) | Remote traveling vehicle, remote traveling system, and meander traveling suppression method | |
US20230168671A1 (en) | Control method, control device, and storage medium | |
US20230261927A1 (en) | Management device, remote operation system, and management method | |
EP4019371A1 (en) | Vehicle control system and vehicle control method | |
US20230376027A1 (en) | Remote operation system and remote operation support method | |
JP7478285B2 (ja) | 車両、車両制御方法及び車両制御プログラム | |
US20240051569A1 (en) | Long-term evolution computing platform for autonomous vehicles based on shell and nut architecture | |
US20230398865A1 (en) | Remote driving system and control method for vehicle | |
JP7505443B2 (ja) | 遠隔監視装置、遠隔監視システム、遠隔監視方法、及び遠隔監視プログラム | |
US11724709B2 (en) | Techniques to control a driving behavior of a vehicle when a failure occurs | |
US20240101114A1 (en) | Vehicle driving mode | |
US20240210939A1 (en) | Camera image compression for autonomous driving vehicles | |
WO2023209942A1 (ja) | 運転支援システム及び車両並びにコンピュータプログラムを記録した記録媒体 | |
JP7476263B2 (ja) | 車両制御装置、車両制御方法及び車両制御プログラム | |
EP4357213A1 (en) | A method for determining whether an automatic collision avoidance steering maneuver should be executed or not |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20240524 |