JP7438017B2 - コンピュータプログラム、遠隔制御装置、及び遠隔制御方法 - Google Patents

コンピュータプログラム、遠隔制御装置、及び遠隔制御方法 Download PDF

Info

Publication number
JP7438017B2
JP7438017B2 JP2020083387A JP2020083387A JP7438017B2 JP 7438017 B2 JP7438017 B2 JP 7438017B2 JP 2020083387 A JP2020083387 A JP 2020083387A JP 2020083387 A JP2020083387 A JP 2020083387A JP 7438017 B2 JP7438017 B2 JP 7438017B2
Authority
JP
Japan
Prior art keywords
control
vehicle
remote control
autonomous
switching
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020083387A
Other languages
English (en)
Other versions
JP2021179688A (ja
Inventor
誠 佐々木
Original Assignee
Go株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Go株式会社 filed Critical Go株式会社
Priority to JP2020083387A priority Critical patent/JP7438017B2/ja
Publication of JP2021179688A publication Critical patent/JP2021179688A/ja
Priority to JP2024007513A priority patent/JP2024038457A/ja
Application granted granted Critical
Publication of JP7438017B2 publication Critical patent/JP7438017B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Description

本発明は、コンピュータプログラム、遠隔制御装置、及び遠隔制御方法に関する。
従来の車両の遠隔運転システムでは、操作技術の転用を楽にするため、実車を模したステアリングホイール、アクセルペダル、ブレーキペダルなどが操作部材として採用されていることが多い。
特開2020-5123号公報
これらの操作部材では、操作部材の物理的な状態(ステアリングホールの回転角度やペダルの踏み込み量)と、制御パラメータとが1対1で対応していることが多い。
このため、車両側の制御状態と異なる状態で制御権を遠隔制御側に渡してしまうと、急ハンドルや急加速又は急減速が発生する可能性がある。
本発明は、斯かる事情に鑑みてなされたものであり、車両側での制御状態と遠隔制御側での制御状態とを監視し、両者の差に応じて切り替えの許否を判断することができるコンピュータプログラム、遠隔制御装置、及び遠隔制御方法を提供することを目的とする。
本発明の一態様に係るコンピュータプログラムは、コンピュータに、自律制御及び遠隔制御による走行が可能な車両に関して、前記自律制御が実行されている場合の前記車両の制御状態と、前記自律制御から前記遠隔制御に切り替えた場合の前記車両の制御状態とを特定し、特定した2つの制御状態の差に基づき、前記自律制御から前記遠隔制御への切り替えの許否を判断する処理を実行させるためのコンピュータプログラムである。
本発明の一態様に係る遠隔制御装置は、自律制御及び遠隔制御による走行が可能な車両に関して、前記自律制御が実行されている場合の前記車両の制御状態と、前記自律制御から前記遠隔制御に切り替えた場合の前記車両の制御状態とを特定する特定部と、特定した2つの制御状態の差に基づき、前記自律制御から前記遠隔制御への切り替えの許否を判断する判断部と、前記切り替えを許可と判断した場合、前記自律制御に代えて前記遠隔制御を実行する制御実行部とを備える。
本発明の一態様に係る遠隔制御方法は、コンピュータを用いて、自律制御及び遠隔制御による走行が可能な車両に関して、前記自律制御が実行されている場合の前記車両の制御状態と、前記自律制御から前記遠隔制御に切り替えた場合の前記車両の制御状態とを特定し、特定した2つの制御状態の差に基づき、前記自律制御から前記遠隔制御への切り替えの許否を判断し、切り替えを許可と判断した場合、前記自律制御に代えて前記遠隔制御を実行する。
本願によれば、車両側での制御状態と遠隔制御側での制御状態とを監視し、両者の差に応じて切り替えの許否を判断することができる。
遠隔制御システムの全体構成を示す模式図である。 車両の制御系の構成を説明するブロック図である。 遠隔制御装置の構成を説明するブロック図である。 監視画面の一例を示す模式図である。 ステアリングインジケータの一例を示す模式図である。 車速インジケータの一例を示す模式図である。 ペダルインジケータの一例を示す模式図である。 遅延インジケータの一例を示す模式図である。 遅延量の計測手順を示すフローチャートである。 自律制御から遠隔制御への切替手順を説明するフローチャートである。 遠隔制御から自律制御への切替手順を説明するフローチャートである。 実施の形態2における切替手順を説明するフローチャートである。 制御割合の段階的な変更手順を説明する説明図である。 実施の形態3における制御手順を説明するフローチャートである。
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。
(実施の形態1)
図1は遠隔制御システムの全体構成を示す模式図である。本実施の形態に係る遠隔制御システムは、車両1と、通信ネットワークNWを介して車両1を遠隔制御する遠隔制御装置2とを備える。通信ネットワークNWは、3G、4G、5G、LTE(Long Term Evolution)、WAN(Wide Area Network)、LAN(Local Area Network)、インターネット回線、専用回線、衛星回線などの通信回線や基地局などの通信設備により構成される。
車両1は、駆動源からの動力により走行する車両である。車両1の駆動源として、ガソリンエンジンやディーゼルエンジンなどの内燃機関、二次電池や発電機などからの供給電力により動作する電動モータ、又はそれらの組み合わせを用いることができる。車両1の一例は四輪の乗用車である。車両1は、四輪の乗用車に限らず、二輪、三輪等の車両であってもよく、無人車両であってもよい。
本実施の形態における車両1は、自律制御及び遠隔制御による走行が可能な車両である。ここで、自律制御は、自車両の走行状況に応じて、走行に必要な制御指令を自車両の内部で生成し、生成した制御指令に基づき自車両の走行を制御することを表す。自律制御は、自車両の走行を完全に制御する完全自律制御であってもよく、自車両の走行を部分的に制御する半自律制御であってもよい。遠隔制御は、車両1の走行状況を遠隔制御装置2にて監視し、監視した車両1の走行状況に応じて、走行に必要な制御指令を遠隔制御装置2の内部で生成し、生成した制御指令を通信ネットワークNWを介して車両1へ送信することにより車両1の走行を制御することを表す。遠隔制御は、車両1の走行に関する全ての制御を実行する完全制御であってもよく、車両1の走行を部分的に制御する部分制御であってもよい。
本実施の形態において、車両1は自律制御及び遠隔制御による走行が可能な車両であるが、乗員による手動制御を排除するものではない。すなわち、車両1は、自律制御又は遠隔制御が実行されている間、若しくは、自律制御及び遠隔制御が実行されていない間に、乗員による運転操作を受付け、受付けた運転操作に応じて走行が制御されてもよい。このため、車両1は、乗員によるハンドル操作を受付けるハンドル11、アクセル操作を受付けるアクセルペダル12、ブレーキ操作を受付けるブレーキペダル13等を備えてもよい。
遠隔制御装置2は、通信ネットワークNWを介して車両1の走行を遠隔制御するための制御装置である。遠隔制御装置2は、オペレータによる遠隔運転操作を受付け、受付けた遠隔運転操作に応じて車両1に対する制御指令を生成し、生成した制御指令を通信ネットワークNWを介して車両1へ送信することにより、車両1の走行を遠隔制御する。
遠隔制御装置2は、オペレータによる遠隔運転操作を受付ける遠隔コントローラ210を備える。遠隔コントローラ210は、例えば、操舵コントローラ211、アクセルコントローラ212、ブレーキコントローラ213等を備える。操舵コントローラ211は、例えば、車両1のハンドル11を模した操作を受付けるように構成されたハンドル部211aを備えており、ハンドル部211aにおいて操作(回転操作)を受付けることにより、車両1の操舵に関する遠隔操作を受付けるように構成されている。同様に、アクセルコントローラ212は、例えば、車両1のアクセルペダル12を模した操作を受付けるように構成されたアクセルペダル部212aを備えており、アクセルペダル部212aにおいて操作(踏み込み操作)を受付けることにより、車両1の加減速に関する遠隔操作を受付けるように構成されている。また、ブレーキコントローラ213は、例えば、車両1のブレーキペダル13を模した操作を受付けるように構成されたブレーキペダル部213aを備えており、ブレーキペダル部213aにおいて操作(踏み込み操作)を受付けることにより、車両1の制動に関する遠隔操作を受付けるように構成されている。
また、遠隔制御装置2は、各種の情報を表示するモニタ220を備える。モニタ220は、液晶ディスプレイや有機EL(Electro-Luminescence)ディスプレイなどを備える。遠隔制御装置2は、車両1の制御状態を示す情報、車載カメラ116(図2を参照)より得られる車両1の視野画像等を通信ネットワークNWを介して取得し、取得した制御状態を示す情報や車両1の視野画像等をモニタ220に表示させる。
遠隔制御装置2のオペレータは、モニタ220に表示される視野画像を見ながら、遠隔コントローラ210を操作することにより、車両1を運転しているかのような操作感覚にて車両1を遠隔制御することができる。
遠隔制御では、例えば、以下の手順が実行される。
(1)車載カメラ116を用いて車両1の周辺を撮像する。
(2)車載カメラ116が出力する映像データを通信ネットワークNWにおける伝送形式に適合するように符号化する。
(3)符号化した映像データを車両1から遠隔制御装置2へ送信する。
(4)遠隔制御装置2において受信した映像データを復号する。
(5)復号した映像データに基づき、車両1の視野画像をモニタ220に表示する。
(6)視野画像を認知したオペレータが遠隔コントローラ210を用いて遠隔運転操作を行う。
(7)オペレータによる遠隔運転操作に応じて遠隔制御装置2が制御指令を生成する。
(8)生成した制御指令を通信ネットワークNWにおける伝送形式に適合するように符号化する。
(9)符号化した制御指令を遠隔制御装置2から車両1へ送信する。
(10)車両1において受信した制御指令を復号する。
(11)復号した制御指令に基づき車両1の走行を制御する。
一方、自律制御では、例えば車載カメラ116から出力される視野画像を解析することにより、走行を制御するための制御指令を車両1の内部にて生成することができる。すなわち、車両1は、上述の(1)の手順を実行した時点で制御指令を生成することができる。これに対し、遠隔制御では、上述の(1)~(11)の手順を実行する必要があり、車両1は、遠隔制御装置2から制御指令が送信されてくるのを待つ必要がある。このため、自律制御と通信ネットワークNWを介した遠隔制御との間には、通信処理や映像処理などに起因したタイムラグ(遅延量)が発生する。タイムラグは、例えば200msec~1sec程度である。
自律制御及び遠隔制御の双方による走行制御が可能であり、自律制御と遠隔制御との間にタイムラグが存在するため、自律制御から遠隔制御に切り替える際に、切り替える直前の自律制御による制御状態と、切り替えた直後の遠隔制御による制御状態との間には差が生じることが考えられる。この差が大きい場合、自律制御から遠隔制御に切り替えた際、車両1の走行状態が急激に変化する可能性がある。例えば、自律制御による操舵制御と、遠隔制御による操舵制御との間に大きな差がある場合、自律制御から遠隔制御に切り替えた際に、急ハンドルを切る可能性がある。また、自律制御による加減速の制御と、遠隔制御による加減速の制御との間に大きな差がある場合、自律制御から遠隔制御に切り替えた際に、急加速又は急減速が発生する可能性がある。更に、自律制御によるブレーキの制御と、遠隔制御によるブレーキの制御との間に大きな差がある場合、自律制御から遠隔制御に切り替えた際に、急ブレーキ又は急発進が生じる可能性がある。この結果、車両1の乗員に不快感を与えたり、周辺車両に影響を及ぼしたりする可能性がある。
そこで、本実施の形態に係る遠隔制御装置2は、自律制御による車両1の制御状態を監視し、自律制御による制御状態と遠隔制御による制御状態との差に基づき、自律制御から遠隔制御への切り替えの許否を判断する。遠隔制御装置2は、自律制御と遠隔制御との差が小さいと判断した場合、自律制御から遠隔制御への切り替えを許可し、自律制御による制御状態と遠隔制御による制御状態との差が大きい場合、自律制御から遠隔制御への切り替えを禁止する。
図2は車両1の制御系の構成を説明するブロック図である。車両1は、外部から入力される情報に基づき、車両1に関する各種の制御を実行する車載制御装置100を備える。車載制御装置100は、例えば、ECU(Electronic Control Unit)やBCM(Body Control Module)などである。車載制御装置100は、制御部101、記憶部102、入力部103、車外通信部104、車内通信部105などを備える。
制御部101は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などを備える。制御部101内のCPUは、記憶部102に記憶された情報を参照し、ROMに格納された制御プログラムや後述する記憶部102に記憶されたコンピュータプログラムを実行することにより、上記ハードウェアの動作を制御し、車両1に関する各種の制御を実行する。制御部101内のRAMには、制御プログラムの実行中に生成される各種データが記憶される。なお、制御部101は、日時情報を出力するクロック、経過時間を計測するタイマ、数をカウントするカウンタ等を備えていてもよい。
記憶部102は、EEPROM(Electronically Erasable Programmable Read Only Memory)などの不揮発性メモリにより構成されており、制御部101により実行されるコンピュータプログラムや制御に必要な各種情報などを記憶する。記憶部102に記憶されるコンピュータプログラムは、車両1の走行を自律的に制御する自律制御プログラム、遠隔制御装置2からの指示により車両1の走行を制御する遠隔制御プログラムなどである。
入力部103は、各種のセンサや機器を接続するインタフェースを備え、接続されたセンサや機器から出力される情報を取得する。入力部103に接続されるセンサ及び機器には、例えば、操舵角センサ111、アクセルセンサ112、ブレーキセンサ113、車速センサ114、加速度センサ115、車載カメラ116、障害物検知センサ117、GPS(Global Positioning System)受信機118などが含まれる。
操舵角センサ111は、操舵角(ハンドル11の回転角度)を検出するためのセンサであり、検出した操舵角を示す情報を車載制御装置100へ出力する。
アクセルセンサ112は、アクセル開度(アクセルペダル12の踏み込み量)を検出するためのセンサであり、検出したアクセル開度を示す情報を車載制御装置100へ出力する。
ブレーキセンサ113は、ブレーキストローク(ブレーキペダル13の踏み込み量)を検出するためのセンサであり、検出したブレーキストロークを示す情報を車載制御装置100へ出力する。
車速センサ114は、車両1の走行速度(車速)を計測するためのセンサであり、計測した車速を示す情報を車載制御装置100へ出力する。
加速度センサ115は、車両1の加速度を計測するためのセンサであり、計測した加速度を示す情報を車載制御装置100へ出力する。
車載カメラ116は、車両1の周辺を撮像し、視野画像(映像データ)を生成するための撮像装置であり、例えば、CMOS(Complementary Metal Oxide Semiconductor)やCCD(Charge-Coupled Device)などを備える。車載カメラ116は、その視野が車両1の前方、側方、後方等を含むように、車両1の適所に設けられる。車載カメラ116は、車両1の周辺を撮像して得られる映像データを車載制御装置100へ出力する。
障害物検知センサ117は、車両1の周辺に存在する障害物を検知するためのセンサである。障害物検知センサ117は、例えばミリ波レーダや超音波レーダを車両1の前方(又は側方や後方)に照射する照射部、対象物によって反射された反射波を受信する受信部等を備え、車両1の周囲に存在する対象物までの距離や角度、および、対象物との相対速度や相対加速度等を計測することによって、車両1の周辺に存在する障害物を検知する。障害物検知センサ117は、車両1の周辺に存在する障害物を検知した場合、障害物までの距離や角度、障害物との相対速度や相対加速度などの情報を車載制御装置100へ出力する。
GPS受信機118は、GPS衛星(不図示)から送信される電波を受信し、受信した電波に基づき、車両1の現在位置を測位するための機器である。GPS受信機118は、測位した車両1の現在位置に係る情報を車載制御装置100へ出力する。
車外通信部104は、DCM(Data Communication Module)等の通信モジュール、無線信号を送受信するアンテナ104a等を備えており、通信ネットワークNWを介して、遠隔制御装置2を含む外部装置と無線通信を行う。
車内通信部105は、車内通信回線CNに接続する通信インタフェースを備える。車内通信回線CNとして、CAN(Controller Area Network)やLIN(Local Interconnect Network)などを用いることができる。車内通信回線CNには、車載制御装置100に加え、エンジンECU120、トランスミッションECU130、ブレーキECU140、ステアリングECU150、車灯ECU160などが接続される。
エンジンECU120は、車内通信回線CNを介して受信した車載制御装置100からの制御信号に基づき、車両1が搭載するエンジンの動作を制御する。エンジンECU120は、例えば、エンジンの吸気管に設けられた電子スロットルバルブを開閉するスロットルアクチュエータの動作を制御し、エンジンの回転数が目標回転数となるように、電子スロットルバルブの開度を調整する。
車両1の駆動源が電動モータである場合、エンジンECU120に代えて、モータECUが車内通信回線CNに接続される。モータECUは、車内通信回線CNを介して受信した車載制御装置100からの制御信号に基づき、駆動源である電動モータの動作を制御すればよい。
トランスミッションECU130は、車内通信回線CNを介して受信した車載制御装置100からの制御信号に基づき、車両1が搭載する変速機の動作を制御する。トランスミッションECU130は、例えば、変速機に供給される作動油の油圧を調整する油圧制御装置の動作を制御することにより、変速機の変速比を切り替える。変速機は、エンジンの出力軸に連結し、エンジンから伝達される回転数やトルクを変化させるように構成されている。
ブレーキECU140は、車内通信回線CNを介して受信した車載制御装置100からの制御信号に基づき、車両1の各車輪に設けられたブレーキ装置の動作を制御し、車両1を制動する。
ステアリングECU150は、車内通信回線CNを介して受信した車載制御装置100からの制御信号に基づき、車両1が備えるステアリングの動作を制御する。ステアリングECU150は、例えばステアリングにアシスト力を付与するステアリングアクチュエータに接続されており、車載制御装置100からの制御信号に基づき、車両1の操舵に必要なアシストトルクを出力するように、ステアリングアクチュエータの動作を制御する。
車灯ECU160は、車内通信回線CNを介して受信した車載制御装置100からの制御信号に基づき、車両1が備えるヘッドランプ、テールランプ、ハザードランプ等の動作を制御する。車灯ECU160が制御する車灯には、特定の検出パターンを投影する投影ランプが含まれてもよい。
車載制御装置100の制御部101は、記憶部102に記憶されている自律制御プログラムを読み出して実行し、入力部103を通じて入力される各種の情報に基づき、各種ECU120~160に制御信号を出力することにより、車両1の走行における自律制御を実行する。また、制御部101は、記憶部102に記憶されている遠隔制御プログラムを読み出して実行し、車外通信部104を通じて受信する遠隔制御装置2からの指示に基づき、各種ECU120~160に制御信号を出力することにより、車両1の走行における遠隔制御を実行する。
図3は遠隔制御装置2の構成を説明するブロック図である。遠隔制御装置2は、専用又は汎用のコンピュータにより構成されており、制御部201、記憶部202、通信部203、入力部204、及び出力部205を備える。
制御部201は、CPU、ROM、RAMなどを備える。制御部201が備えるROMには、上記ハードウェア各部の動作を制御するための制御プログラム等が記憶される。制御部201内のCPUは、ROMに記憶された制御プログラム及び後述する記憶部202に記憶された各種プログラムを実行し、上記ハードウェア各部の動作を制御することにより、装置全体を本願の遠隔制御装置として機能させる。制御部201が備えるRAMには、各種プログラムの実行中に一時的に利用されるデータが記憶される。
なお、制御部201は上記の構成に限定されるものではなく、シングルコアCPU、マルチコアCPU、GPU(Graphics Processing Unit)、マイコン、揮発性又は不揮発性のメモリ等を含む1又は複数の処理回路若しくは制御回路であればよい。また、制御部201は、日時情報を出力するクロック、計測開始指示を与えてから計測終了指示を与えるまでの経過時間を計測するタイマ、数をカウントするカウンタ等の機能を備えていてもよい。
記憶部202は、SSD(Solid State Drive)、ハードディスク装置などにより構成される。記憶部202には、制御部201に実行させる各種プログラムが記憶される。記憶部202に記憶されるプログラムは、車両1の遠隔制御を実行させるためのコンピュータプログラム、遠隔制御に関する遅延量を計測させるためのコンピュータプログラム、車両1の自律制御と遠隔制御との切り替えに関する制御を実行させるためのコンピュータプログラム等を含む。
なお、記憶部202に記憶されるコンピュータプログラムは、当該コンピュータプログラムを読み取り可能に記録した記録媒体Mにより提供されてもよい。記録媒体Mは、例えば、SD(Secure Digital)カード、マイクロSDカード、コンパクトフラッシュ(登録商標)などの可搬型のメモリである。この場合、制御部201は、不図示の読取装置を用いて記録媒体Mからコンピュータプログラムを読み取り、読み取ったコンピュータプログラムを記憶部202にインストールすればよい。また、記憶部202に記憶されるコンピュータプログラムは、通信部203を介した通信により提供されてもよい。この場合、制御部201は、通信部203を通じてコンピュータプログラムを取得し、取得したコンピュータプログラムを記憶部202にインストールすればよい。
通信部203は、通信ネットワークNWに接続するための通信インタフェースを備える。通信部203は、車両1へ通知すべき情報が制御部201より入力された場合、通信ネットワークNWを介して送信する。また、通信部203は、通信ネットワークNWを介して車両1より送信されてくる情報を受信した場合、受信した情報を制御部201へ出力する。
入力部204は、遠隔コントローラ210を接続する接続インタフェースを備える。入力部204には、接続された遠隔コントローラ210の操作量に関する情報が入力される。具体的には、操舵コントローラ211に関して、ハンドル部211aの回転角度に関する情報が入力される。また、アクセルコントローラ212に関して、アクセルペダル部212aの踏み込み量に関する情報が入力される。更に、ブレーキコントローラ213に関して、ブレーキペダル部213aの踏み込み量に関する情報が入力される。入力された操作量に関する情報は、制御部201へ出力される。
入力部204には、遠隔コントローラ210の他に、キーボード、マウス、タッチパネルなどの適宜の入力デバイスが接続されてもよい。
出力部205は、モニタ220を接続する接続インタフェースを備える。制御部201は、通信部203及び入力部204を通じて取得した情報に基づき、オペレータに通知すべき情報を含んだ画面データを生成する。制御部201は、生成した画面データを出力部205よりモニタ220へ出力することにより、所望の画面をモニタ220に表示させる。例えば、遠隔制御装置2は、車両1の制御状態を監視し、監視画面の画面データを出力部205より出力することにより、モニタ220に監視画面を表示させる。
出力部205には、モニタ220の他に、スピーカなどの適宜の出力デバイスが接続されてもよい。
図4は監視画面の一例を示す模式図である。図4に示す監視画面500は、例えば、視野画像表示欄510、制御ステータス表示欄520、ステアリングインジケータ530、車速インジケータ540、及び遅延インジケータ550により構成される。
視野画像表示欄510は、車載カメラ116により撮像される車両1の視野画像を表示する。遠隔制御装置2の制御部201は、車載カメラ116から出力される映像データを通信により取得し、取得した映像データに基づき、車両1の視野画像を視野画像表示欄510に表示する。制御部201は、通信により車載カメラ116から出力される映像データを取得するので、視野画像表示欄510には、リアルタイムの視野画像ではなく、タイムラグに応じた時間だけ遡った時点の視野画像が表示されることになる。
なお、図4の例では、車両1の前方を撮像した視野画像を示しているが、車両1の側方又は後方を撮像した視野画像を視野画像表示欄510内に分割して表示してもよい。また、制御部201は、車両1の前方、後方、側方を撮像した視野画像を視野画像表示欄510に順次表示してもよい。
制御ステータス表示欄520は、車両1の制御状態に関する情報を表示する。遠隔制御装置2の制御部201は、車両1の遠隔制御を実施しておらず、車両1の制御状態を監視している場合、例えば「遠隔監視中」との文字情報を制御ステータス表示欄520に表示する。また、制御部201は、車両1の自律制御から遠隔制御への切り替えを行っている最中である場合、例えば「遠隔運転切り替え中」との文字情報を制御ステータス表示欄520に表示する。更に、制御部201は、車両1の遠隔制御を実施している場合、例えば「遠隔運転中」との文字情報を制御ステータス表示欄520に表示する。また、車速の目標値のみを設定できる状態を示すために「速度制御可」という文字情報を制御ステータス表示欄520に表示してもよい。
なお、図4の例では、制御状態を文字情報により表示する構成としたが、制御状態に応じて定めたアイコンや色により制御状態を表示する構成としてもよい。
ステアリングインジケータ530は、車両1におけるハンドル11の操作状態及び遠隔コントローラ210におけるハンドル部211aの操作状態に関する情報を表示する。図5はステアリングインジケータ530の一例を示す模式図である。ステアリングインジケータ530は、例えば、横方向に長い矩形状のインジケータであり、ステアリングバー531、センターライン532、車両側インジケータ533、遠隔制御側インジケータ534、許容範囲インジケータ535を備える。
ステアリングバー531は、ハンドル11の回転範囲を表す表示バーである。横方向に延びるステアリングバー531のうち、センターライン532から右側はハンドル11が右方向(時計回り)に回転した状態を表し、センターライン532から左側はハンドル11が左方向(反時計回り)に回転した状態を表す。ステアリングバー531の右端は、ハンドル11を右方向に最大限まで回転させた位置を表す。例えば、ハンドル11が右方向に2回転可能である場合、ステアリングバー531の右端は、ハンドル11の回転角度が+720度の位置に対応する。同様に、ステアリングバー531の左端は、ハンドル11を左方向に最大限まで回転させた位置を表す。例えば、ハンドル11が左方向に2回転可能である場合、ハンドル11の回転角度が-720度の位置に対応する。センターライン532は、ハンドル11が回転していない状態(ハンドル11の回転角度が0度の位置)を表す。本実施の形態では、ハンドル11の回転位置を直線状のステアリングバー531に表示するため、例えば0度、360度、720度といったように、ハンドル11の見た目では区別しづらい状態を明確に区別して表示することが可能となる。
車両側インジケータ533は、車両側のハンドル11の回転位置を示すインジケータである。ハンドル11の回転角度は、車両1の操舵角センサ111により計測される。遠隔制御装置2の制御部201は、ハンドル11の回転角度の情報を車両1との通信により取得し、取得したハンドル11の回転角度の情報に基づき、車両側インジケータ533を左右方向に移動させる。制御部201は、通信によりハンドル11の回転角度の情報を取得するので、車両側インジケータ533が示すハンドル11の回転位置は、タイムラグに応じた時間だけ遡った時点のハンドル11の回転位置を表す。
遠隔制御側インジケータ534は、遠隔制御側のハンドル部211aの回転位置を示すインジケータである。遠隔制御装置2には、ハンドル部211aの操作量である回転角度の情報が入力部204を通じて入力される。制御部201は、ハンドル部211aの回転角度の情報を入力部204より取得し、取得したハンドル部211aの回転角度の情報に基づき、遠隔制御側インジケータ534を左右方向に移動させる。遠隔制御側インジケータ534が示すハンドル部211aの回転位置は、略リアルタイムのハンドル部211aの回転位置を表す。
許容範囲インジケータ535は、車両側のハンドル11の回転角度と遠隔制御側のハンドル部211aの回転角度との間に許容される誤差の範囲を示す。図5の例では、許容される誤差の範囲を矩形領域により示している。許容誤差の範囲は予め設定した一定の範囲(例えば左右方向にそれぞれ5度)であってもよく、タイムラグや車速など走行制御の難易度を表す指標に応じて変動する範囲であってもよい。後者の場合、例えば、タイムラグが小さい程又は車速が低い程、許容誤差の範囲を広く、タイムラグが大きい程又は車速が高い程、許容誤差の範囲を狭く設定してもよい。
図5の例では、車両側のハンドル11の回転角度に対して許容誤差の範囲が設定されている。すなわち、許容範囲インジケータ535を示す矩形領域は、車両側インジケータ533の移動に追従して移動するように構成されている。本実施の形態では、遠隔制御側インジケータ534で示されるハンドル部211aの回転角度が許容範囲インジケータ535で示される矩形領域の範囲に入っていれば、自律制御と遠隔制御との切り替えが許可され、範囲に入っていなければ、自律制御と遠隔制御との切り替えが禁止される。遠隔制御側のハンドル部211aの回転角度が許容範囲インジケータ535で示される矩形領域の範囲から外れている場合、制御部201は、ハンドル部211aの回転角度が許容誤差の範囲内に入るようにハンドル部211aの操作を案内する案内情報を監視画面500に表示させてもよい。
図5の例では、車両側インジケータ533の移動に追従して移動する許容範囲インジケータ535を示しているが、遠隔制御側インジケータ534に追従して移動する許容範囲インジケータを採用してもよい。この場合、許容範囲インジケータの範囲内に車両側インジケータ533で示されるハンドル11の回転位置が入れば、自律制御と遠隔制御との切り替えが許可され、範囲に入っていなければ、自律制御と遠隔制御との切り替えが禁止される。また、車両側のハンドル111の回転位置が許容範囲インジケータで示される矩形領域の範囲から外れている場合、制御部201は、ハンドル11の回転位置が許容誤差の範囲内に入るようにハンドル部211aの操作を案内する案内情報を監視画面500に表示させてもよい。
図5はステアリングインジケータ530の一例に過ぎない。ステアリングインジケータとして、車両側におけるハンドル11の回転角度、遠隔制御側におけるハンドル部211aの回転角度、及びこれらの差分が表示できれば、他の表示方法を用いてもよい。例えば、車両側インジケータ533と遠隔制御側インジケータ534との区別を明示するために、両者を区別するアイコンや文字情報を付加してもよい。
監視画面500を構成する車速インジケータ540は、車両1の車速に関する情報を表示する。図6は車速インジケータ540の一例を示す模式図である。車速インジケータ540は、例えば、縦方向に長い矩形状のインジケータであり、車速バー541、車速表示欄542、車両側インジケータ543、遠隔制御側インジケータ544、許容範囲インジケータ545を備える。
車速バー541は、車速の実測値をレベル表示するための表示バーである。車速は、車両1に搭載されている車速センサ114により計測される。遠隔制御装置2の制御部201は、車速センサ114により計測された車速の情報を車両1との通信により取得する。制御部201は、車速に応じたレベルを車速バー541に表示する。
車速表示欄542は、車速の実測値を文字情報として表示する表示欄である。遠隔制御装置2の制御部201は、車両1との通信により取得した車速の情報を文字情報として車速表示欄542に表示する。
車両側インジケータ543は、車両1の自律制御によって設定される車速の目標値を示すインジケータである。車両1に搭載されている車載制御装置100は、車両1の自律制御を実行している場合、入力部103より入力される各種の情報に基づき、車両1の目標速度を随時設定する。遠隔制御装置2の制御部201は、車載制御装置100により設定された目標速度の情報を車両1との通信により取得する。制御部201は、車両側の目標速度に応じて、車両側インジケータ543を上下方向に移動させる。
遠隔制御側インジケータ544は、車両1の遠隔制御によって設定される車速の目標値を示すインジケータである。遠隔制御装置2は、車両1の遠隔制御を実行している場合、車両1との通信により取得する各種の情報に基づき、車両1の目標速度を随時設定する。遠隔制御装置2の制御部201は、設定した目標速度に応じて、遠隔制御側インジケータ544を上下方向に移動させる。
許容範囲インジケータ545は、車両側において設定される目標速度と、遠隔制御側において設定される目標速度との間に許容される誤差の範囲を示す。許容誤差の範囲は、予め設定した一定の範囲(例えば±5km/h)であってもよく、タイムラグや車速の実測値などに応じて変動する範囲であってもよい。後者の場合、例えば、タイムラグが大きい程又は車速が高い程、許容誤差の範囲を狭く設定し、タイムラグが小さい程又は車速が低い程、許容誤差の範囲を広く設定してもよい。
図6の例では、車両側の目標速度に対して許容誤差の範囲が設定されている。すなわち、許容範囲インジケータ545が示す許容範囲は、車両側において設定される目標速度に追従して移動するように構成されている。本実施の形態では、遠隔制御側インジケータ544で示される目標速度が許容範囲インジケータ545で示される範囲に入っていれば、自律制御と遠隔制御との切り替えが許可され、範囲に入っていなければ、自律制御と遠隔制御との切り替えが禁止される。また、遠隔制御側の目標速度が許容範囲インジケータ545で示される矩形領域の範囲から外れている場合、制御部201は、許容誤差の範囲内に入るようにアクセルペダル部212aやブレーキペダル部123の操作を案内する案内情報を監視画面500に表示させてもよい。
図6の例では、車両側インジケータ543の移動に追従して移動する許容範囲インジケータ545を示しているが、遠隔制御側インジケータ544に追従して移動する許容範囲インジケータを採用してもよい。この場合、許容範囲インジケータの範囲内に車両側インジケータ543で示される目標速度が入れば、自律制御と遠隔制御との切り替えが許可され、範囲に入っていなければ、自律制御と遠隔制御との切り替えが禁止される。車両側の目標速度が許容範囲インジケータで示される矩形領域の範囲から外れている場合、制御部201は、車両側の目標速度が許容誤差の範囲内に入るようにアクセルペダル部212aやブレーキペダル部123の操作を案内する案内情報を監視画面500に表示させてもよい。
図6は車速インジケータ540の一例に過ぎない。車速インジケータとして、車速の実測値、車両側で設定される目標速度、遠隔制御側で設定される目標速度、及びこれらの差分が表示できれば、他の表示方法を用いてもよい。例えば、車両側インジケータ543と遠隔制御側インジケータ544との区別を明示するために、両者を区別するアイコンや文字情報を付加してもよい。
なお、本実施の形態では、車速インジケータ540を用いて車速に関する情報を表示する構成としたが、車両側におけるアクセルペダル12の操作量、遠隔制御側におけるアクセルペダル部212aの操作量、及びこれらの操作量に対する許容誤差の範囲を表示してもよい。また、車両側におけるブレーキペダル13の操作量、遠隔側におけるブレーキペダル部213aの操作量、及びこれらの操作量に対する許容誤差の範囲を表示してもよい。
図7はペダルインジケータの一例を示す模式図である。図7に示すペダルインジケータ560は、車速インジケータ540に代えて、若しくは車速インジケータ540と共に監視画面500に表示されるとよい。ペダルインジケータ560は、アクセルペダルインジケータ561と、ブレーキペダルインジケータ562とを備える。
アクセルペダルインジケータ561は、例えば車両側インジケータ561A、遠隔制御側インジケータ561B、及び許容範囲インジケータ561Cを備える。
車両側インジケータ561Aは、車両側のアクセルペダル12の操作量(踏込量)を示すインジケータである。アクセルペダル12の踏込量は、車両1のアクセルセンサ112により計測される。遠隔制御装置2の制御部201は、アクセルペダル12の踏込量の情報を車両1との通信により取得する。制御部201は、アクセルペダル12の踏込量に応じたレベルを車両側インジケータ561Aに表示させる。
遠隔制御側インジケータ561Bは、遠隔制御側のアクセルペダル部212aの操作量(踏込量)を示すインジケータである。遠隔制御装置2には、アクセルペダル部212aの踏込量の情報が入力部204を通じて入力される。遠隔制御装置2の制御部201は、アクセルペダル部212aの踏込量に応じたレベルを遠隔制御側インジケータ561Bに表示させる。
許容範囲インジケータ561Cは、車両側のアクセルペダル12の踏込量と、遠隔制御側のアクセルペダル部212aの踏込量との間に許容される誤差の範囲を示す。許容誤差の範囲は、予め設定した一定の範囲であってもよく、タイムラグや車速などに走行制御の難易度を示す指標に応じて変動する範囲であってもよい。
図7の例では、車両側のアクセルペダル12の踏込量に対して許容誤差の範囲が設定されている。すなわち、許容範囲インジケータ561Cが示す許容範囲は、車両側のアクセルペダル12の踏込量に追従して移動するように構成されている。本実施の形態では、遠隔制御側インジケータ561Bで示されるアクセルペダル部212aの踏込量が許容範囲インジケータ561Cで示される範囲に入っていれば、自律制御と遠隔制御との切り替えが許可され、範囲に入っていなければ、自律制御と遠隔制御との切り替えが禁止される。遠隔制御側のアクセルペダル部212aの踏込量が許容範囲インジケータ561Cで示される範囲から外れている場合、制御部201は、アクセルペダル部212aの踏込量が許容誤差の範囲内に入るようにアクセルペダル部212aの操作を案内する案内情報を監視画面500に表示させてもよい。
ブレーキペダルインジケータ562についても同様である。すなわち、車両側インジケータ562Aには、ブレーキセンサ113により計測されるブレーキペダル13の操作量(踏込量)が表示され、遠隔制御側インジケータ562Bには、入力部204を通じて入力されるブレーキペダル部213aの操作量(踏込量)が表示される。本実施の形態では、遠隔制御側インジケータ562Bで示されるブレーキペダル部213aの踏込量が許容範囲インジケータ562Cで示される範囲に入っていれば、自律制御と遠隔制御との切り替えが許可され、範囲に入っていなければ、自律制御と遠隔制御との切り替えが禁止される。遠隔制御側のブレーキペダル部213aの踏込量が許容範囲インジケータ562Cで示される範囲から外れている場合、制御部201は、ブレーキペダル部213aの踏込量が許容誤差の範囲内に入るようにブレーキペダル部213aの操作を案内する案内情報を監視画面500に表示させてもよい。
図7の例では、車両側の操作に追従する許容範囲インジケータ561C,562Cを示したが、遠隔制御側の操作に追従する許容範囲インジケータを用いてもよい。
監視画面500を構成する遅延インジケータ550は、自律制御と遠隔制御との間の遅延量に関する情報を表示する。図8は遅延インジケータ550の一例を示す模式図である。遅延インジケータ550は、例えば、自律制御と遠隔制御との間の遅延量を円弧状のゲージグラフにより表示するインジケータである。図8に示す遅延インジケータ550は、0時に対応する位置から時計回りに値(遅延量)が増加するゲージグラフを採用している。遅延インジケータ550に示すライン551は、現在の遅延量を表す。図8の例では、想定している遅延量の最大値(例えば2秒)の3/7程度遅延していることを示している。
遠隔制御では、遅延量が大きくなると制御の困難性が増すので、困難姓が増すことを示すために例えば寒色系の色から暖色系の色に区間毎に色を変えて表示してもよい。また、遠隔制御では、車速が増加することによっても制御の困難性が増すので、遅延量に代えて、遅延量×車速の値を表示してもよい。
遅延インジケータ550は、円弧状のゲージグラフに限らず、棒グラフや円グラフ等を用いたインジケータであってもよく、レベルメータを模したインジケータであってもよい。
以下、遠隔制御システムの動作について説明する。
図9は遅延量の計測手順を示すフローチャートである。遠隔制御装置2は、定期的なタイミング、オペレータにより指示されたタイミング等の適宜のタイミングにて、以下の処理を実行する。遠隔制御装置2の制御部201は、検出パターンの投影指示を車両1へ送信すると共に(ステップS101)、投影指示の送信時刻を記憶部202に記憶させる(ステップS102)。制御部201は、送信指示を行ったタイミングで内蔵クロックが出力する時刻情報を参照することにより、送信時刻を取得することができる。投影指示は、遠隔制御装置2の通信部203より送信され、通信ネットワークNWを介して、車載制御装置100の車外通信部104に到達する。
車載制御装置100の制御部101は、遠隔制御装置2から送信される投影指示を車外通信部104より受信する(ステップS103)。制御部101は、受信した投影指示に基づき、車内通信部105より車灯ECU160に指示を与え、検出パターンを車外に投影する(ステップS104)。
検出パターンは、パターンマッチング、テンプレートマッチングなどの既存の画像解析手法を用いて検出できるようなパターンであれば、任意の形状及び色を有するパターンを用いることができる。投影する検出パターンは1種類である必要はない。車載制御装置100において、複数種のパターンを用意しておき、それらを順次投影する構成としてもよい。検出パターンのデータは、検出パターンを投光する車載制御装置100の記憶部102、パターン検出を行う遠隔制御装置2の記憶部202に記憶されていればよい。検出パターンの投影場所は、車載カメラ116の視野内に入っていればよく、例えば路面上であってもよく、車両周辺の構造物上であってもよい。また、検出パターンの投影回数は1回に限らず、インターバルを置いて複数回であってもよい。
車載制御装置100は、車載カメラ116を用いて車外を撮像する(ステップS105)。説明の都合上、本フローチャートでは、検出パターンを投影した後に車載カメラ116で車外を撮像する手順としたが、各ステップの処理とは無関係に、車載カメラ116を用いて車外を常時撮像してもよい。車載カメラ116により車外を撮像して得られる映像データは、入力部103を通じて、制御部101に入力される。制御部101は、入力された映像データを通信ネットワークNWの伝送形式に適合する形式に符号化(エンコード)し、符号化した映像データを車外通信部104より遠隔制御装置2へ送信する(ステップS106)。
遠隔制御装置2の制御部201は、通信部203を通じて、車載制御装置100より送信される映像データを受信する(ステップS107)。制御部201は、受信した映像データを復号し、復号した映像データに基づく映像をモニタ220に表示させる。
制御部201は、車載カメラ116の撮像画像(映像データを構成する各フレーム画像)から、検出パターンを検出する(ステップS108)。制御部201は、パターンマッチング、テンプレートマッチングなどの既存の画像解析手法を用いて、車載カメラ116の撮像画像から検出パターンを検出すればよい。
制御部201は、車載カメラ116による撮像画像から検出パターンを検出した場合、内蔵クロックが出力する時刻情報を参照することにより、検出時刻を取得する。制御部201は、検出パターンの検出時刻と、ステップS102で記憶させた送信時刻との差分から遅延時間を算出する(ステップS109)。制御部201は、算出した遅延時間を記憶部202に記憶させる。また、図4に示すような監視画面500の表示を行っている場合、制御部201は、算出した遅延時間に基づき、遅延インジケータ550の表示データを生成し、生成した表示データに基づき、監視画面500を更新する。
このように、遠隔制御装置2は、検出パターンの投影を指示した時刻と、検出パターンを検出した時刻との差分を算出することにより、おおよそのシステムの遅延量を計時することができる。
なお、本実施の形態では、検出パターンの投影を指示した時刻と、検出パターンを検出した時刻との差分から遅延量を見積もる構成としたが、制御部201は、検出パターンを投影したタイミングで内蔵タイマを作動させ、検出パターンを検出するまでの時間を内蔵タイマで計時してもよい。
図10は自律制御から遠隔制御への切替手順を説明するフローチャートである。車両1において自律制御が実行されている場合、遠隔制御装置2の制御部201は、以下の処理を実行する。
制御部201は、自律制御による車両1の制御状態を監視する(ステップS121)。具体的には、制御部201は、車両1の操舵角センサ111により検出される操舵角、アクセルセンサ112により検出されるアクセル開度、ブレーキセンサ113により検出されるブレーキストローク、車速センサ114により検出される車速などの各種のセンシングデータ、車載カメラ116から出力される映像データ等を、車載制御装置100との通信により取得する。遠隔制御装置2は、これらのセンシングデータや映像データの送信要求を車載制御装置100へ送信し、送信要求に応じて車載制御装置100から送信されるセンシングデータや映像データを通信部203にて受信すればよい。また、車載制御装置100から自発的にセンシングデータや映像データを遠隔制御装置2へ送信してもよい。
これらのセンシングデータや映像データは、車載制御装置100から遠隔制御装置2へ送信する際、通信ネットワークNWの伝送形式に適合するように車載制御装置100において符号化される。符号されたセンシングデータ及び映像データは、遠隔制御装置2において復号されて例えば監視画面500の生成のために使用される。
制御部201は、遠隔コントローラ210の操作量の情報を取得する(ステップS122)。具体的には、制御部201は、入力部204を通じて、ハンドル部211aの回転角度、アクセルペダル部212aの踏み込み量、及びブレーキペダル部213aの踏み込み量に関する情報を取得すればよい。
図10のフローチャートでは、車両1の制御状態を監視した後に、遠隔コントローラ210の操作量に関する情報を取得する手順としたが、これらのステップの順序は任意であり、また同時並行的に実施されてもよい。
制御部201は、ステップS121~S122において取得した情報に基づき、監視画面500の画面データを生成し、出力部205よりモニタ220へ出力することにより、モニタ220に監視画面500を表示させる(ステップS123)。なお、このタイミングでは車両1の遠隔監視が実行されているので、制御部201は、「遠隔監視中」との文字情報を監視画面500の制御ステータス表示欄520に表示させる。
次いで、制御部201は、切替指示が与えられたか否かを判断する(ステップS124)。例えば、制御部201は、切替指示を与えるために予め定められた操作を受付けた場合、切替指示が与えられたと判断する。また、制御部201は、遠隔コントローラ210を用いた何らかの操作を受付けた場合、切替指示が与えられたと判断してもよい。切替指示が与えられていない場合(S124:NO)、制御部201は、処理をステップS121へ戻す。
切替指示が与えられたと判断した場合(S124:YES)、制御部201は、自律制御による車両1の制御状態と、遠隔制御による車両1の制御状態との差が許容範囲内であるか否かを判断する(ステップS125)。ステップS125では、自律制御により制御されている車両1の制御状態と、自律制御から遠隔制御に切り替えた場合に想定される遠隔制御による車両1の制御状態とを比較すればよい。
例えば、制御部201は、車両1におけるハンドル11の回転角度と、遠隔コントローラ210におけるハンドル部211aの回転角度との差が、操舵角に関して設定される許容誤差の範囲内(すなわち、許容範囲インジケータ535で示される範囲内)であるか否かを判断する。また、制御部201は、車両1の自律制御により設定される目標速度と、車両1の遠隔制御により設定される目標速度との差が、車速に関して設定される許容誤差の範囲内(すなわち、許容範囲インジケータ545で示される範囲内)であるか否かを判断する。制御部201は、上記の回転角度及び目標速度が共に許容誤差の範囲内であると判断した場合、両制御状態の差が許容範囲内であると判断する。また、制御部201は、一方又は双方が許容誤差の範囲外であると判断した場合、両制御状態の差が許容範囲外であると判断する。
制御部201は、アクセルペダル12の踏込量とアクセルペダル部212aの操作量との差やブレーキペダル13の踏込量とブレーキペダル部213aの操作量との差を比較して、自律制御及び遠隔制御の制御状態の差が許容範囲内にあるか否かを判断してもよい。
自律制御及び遠隔制御の制御状態の差が許容範囲内であると判断した場合(S125:YES)、制御部201は、車両1の遠隔制御を実行する(ステップS126)。制御部201は、自律制御を停止させる指示を車両1へ送信すると共に、車両1を遠隔制御するために必要な情報を車両1へ送信する。車両1を遠隔制御するために必要な情報として、制御部201は、例えば、ハンドル部211aの操作に応じて設定する車両1の操舵角の情報、アクセルペダル部212a及びブレーキペダル部213aの操作に応じて設定する目標速度の情報等を車両1へ送信すればよい。車載制御装置100は、遠隔制御装置2から自律制御の停止指示を受信した場合、自律制御を停止し、遠隔制御装置2から指示される操舵角、目標速度の情報等に基づいて車両1の走行を制御する。なお、車載制御装置100は、車両1の操舵制御及び速度制御に関する自律制御を停止し、ウインカの点灯制御などの他の自律制御については継続してもよい。遠隔制御に移行した場合、制御部201は、「遠隔運転中」との文字情報を監視画面500の制御ステータス表示欄520に表示させる。
自律制御及び遠隔制御の制御状態の差が許容範囲外であると判断した場合(S125:NO)、制御部201は、車両1の遠隔制御を禁止する(ステップS127)。車両1の遠隔制御を禁止するために、ハンドル部211a、アクセルペダル部212a、及びブレーキペダル部213aの操作をロックするロック機構(不図示)を設けてもよい。制御部201は、車両1の遠隔制御を禁止すると判断した場合、上記ロック機構を作動させて、ハンドル部211a、アクセルペダル部212a、及びブレーキペダル部213aの操作をロックすればよい。また、制御部201は、遠隔制御を禁止した後の遠隔操作を無効とすることにより、ソフト的に遠隔制御を禁止してもよい。
制御部201は、車両1の遠隔制御を禁止した場合、「遠隔制御禁止中」との文字情報を監視画面500の制御ステータス表示欄520に表示させてもよい。また、出力部205にスピーカが接続されている場合、制御部201は、遠隔制御が禁止されたことを報知するために、警報音をスピーカから出力してもよい。更に、ハンドル部211aにバイブレータ(不図示)が内蔵されている場合、制御部201は、遠隔制御が禁止されたことを報知するために、バイブレータを振動させてもよい。
車両1の遠隔制御を禁止した場合、制御部201は、処理をステップS125へ戻し、自律制御及び遠隔制御の制御状態の差が許容範囲内となったタイミングで、遠隔制御を実行すればよい。
図11は遠隔制御から自律制御への切替手順を説明するフローチャートである。制御部201は、自律制御から遠隔制御への切替手順と同様の手順にて、遠隔制御から自律制御への切り替えを実行する。制御部201は、上述したステップS121~S125の手順を実行し、自律制御による車両1の制御状態と、遠隔制御による車両1の制御状態との差が許容範囲内であるか否かを判断する。
自律制御及び遠隔制御の制御状態の差が許容範囲内であると判断した場合(S125:YES)、制御部201は、車両1の自律制御を実行する(ステップS128)。具体的には、制御部201は、遠隔制御を停止すると共に、自律制御を開始させる指示を車両1へ送信する。車載制御装置100は、遠隔制御装置2から自律制御の開始指示を受信した場合、入力部103を通じて入力される各種の情報に基づき、車両1の自律制御を実行する。
一方、自律制御及び遠隔制御の制御状態の差が許容範囲外であると判断した場合(S125:NO)、制御部201は、車両1の自律制御を禁止する(ステップS129)。車両1の自律制御を禁止する場合、制御部201は、「自律制御禁止中」との文字情報を監視画面500の制御ステータス表示欄520に表示させてもよい。また、警報音を出力させたり、バイブレータを振動させたりして、自律制御が禁止されたことを報知してもよい。
車両1の自律制御を禁止した場合、制御部201は、処理をステップS125へ戻し、自律制御及び遠隔制御の制御状態の差が許容範囲内となったタイミングで、車載制御装置100に対して自律制御の開始指示を与えればよい。
以上のように、本実施の形態では、自律制御と遠隔制御との差がある程度大きい場合に、両者の切り替えが禁止されるので、自律制御と遠隔制御との切り替えに伴う急ハンドル、急加速(又は急減速)、急ブレーキ、急発進等の発生を抑えることができる。
(実施の形態2)
実施の形態2では、自律制御の制御状態と遠隔制御の制御状態との差が許容範囲内でない場合であっても、一部の遠隔制御を許容する構成について説明する。
なお、遠隔制御システムの全体構成、車両1の制御系の構成、遠隔制御装置2の内部構成については実施の形態1と同様であるため、その説明を省略することとする。
遠隔制御では、車速が増加することによって制御の困難性が増加するので、車速を低下させることができれば、制御の困難性を下げることができる。したがって、自律制御の制御状態と遠隔制御の制御状態との差が許容範囲内でないと判断した場合であっても、車速を低下させるような遠隔制御については許容してもよい。
図12は実施の形態2における切替手順を説明するフローチャートである。図12では自律制御から遠隔制御への切替手順を示す。遠隔制御装置2の制御部201は、実施の形態1と同様の手順にて、ステップS201~S205の各処理を実行し、自律制御による車両1の制御状態と、遠隔制御による車両1の制御状態との差が許容範囲内であるか否かを判断する(ステップS205)。許容範囲には、車両1の走行速度(車速)が高い程狭くなり、車両1の走行速度(車速)が低い程広くなるような範囲が用いられる。
自律制御及び遠隔制御の制御状態の差が許容範囲内であると判断した場合(S205:YES)、制御部201は、車両1の遠隔制御を実行する(ステップS206)。すなわち、制御部201は、自律制御を停止させる指示を車両1へ送信すると共に、車両1を遠隔制御するために必要な情報を車両1へ送信する。車載制御装置100は、遠隔制御装置2から自律制御の停止指示を受信した場合、自律制御を停止し、遠隔制御装置2から指示される操舵角、目標速度の情報等に基づいて車両1の走行を制御する。遠隔制御に移行した場合、制御部201は、「遠隔運転中」との文字情報を監視画面500の制御ステータス表示欄520に表示させる。
自律制御及び遠隔制御の制御状態の差が許容範囲外であると判断した場合(S205:NO)、制御部201は、車速を低下させる遠隔制御を許容する(ステップS207)。このとき、制御部201は、「速度制御可」との文字情報を監視画面500の制御ステータス表示欄520に表示させる。車速を低下させる遠隔制御は、アクセルペダル部212aの踏み込みを弱める操作、又はブレーキペダル部213aを踏み込む操作により実行される。逆に車速を上昇させるような遠隔制御、及びステップS207で許容されていない操舵に関する遠隔制御は禁止してもよい。例えば、制御部201は、車速を上昇させるような操作、及び車両1の操舵角を変更する操作を無効として取り扱えばよい。
制御部201は、車速を低下させる遠隔制御を許容した後、処理をステップS205へ戻す。車速を低下させることにより、ステップS205で用いる許容範囲を広くすることができる。制御部201は、遠隔制御の困難性が下がり、自律制御及び遠隔制御の制御状態の差が許容範囲内となった場合、操舵を含む遠隔制御を実行することができる。
以上のように、本実施の形態では、自律制御の制御状態と遠隔制御の制御状態との差が許容範囲内でない場合、車速を低下させるような遠隔制御を許容するので、遠隔制御の困難性が下がった時点で、自律制御から遠隔制御に切り替えることが可能となる。
(実施の形態3)
実施の形態3では、自律制御から遠隔制御(又は遠隔制御から自律制御)に切り替える際、制御割合を段階的に変更する構成について説明する。
なお、遠隔制御システムの全体構成、車両1の制御系の構成、遠隔制御装置2の内部構成については実施の形態1と同様であるため、その説明を省略することとする。
図13は制御割合の段階的な変更手順を説明する説明図である。図13に示すグラフの横軸は時間、縦軸は遠隔制御割合を表す。ここで、遠隔制御割合は、遠隔制御と自律制御との間の制御割合を表す。車両1において自律制御が実行されており、遠隔制御が実行されていない場合、遠隔制御割合が0%の状態を表す。また、車両1において遠隔制御が実行されており、自律制御が実行されていない場合、遠隔制御割合が100%の状態を表す。
図13の例は、時刻T1までの間、車両1の自律制御のみが実行されており、時刻T1に自律制御から遠隔制御への切り替えが開始され、時刻T2に遠隔制御への切り替えが完了したことを示している。すなわち、本実施の形態では、自律制御から遠隔制御に切り替える遷移時間ΔT(=T2-T1)を設け、この遷移時間ΔTの中で制御割合を段階的に切り替える。
図13の例では、遷移時間ΔT内の経過時間に応じて線形に制御割合を変化させることを想定している。すなわち、遷移時間ΔT内の時刻Txにおいて、制御割合RC(Tx)は、100×(Tx-T1)/(T2-T1)で与えられる。例えば、遠隔制御割合が40%であり、遠隔制御による目標操舵角が100度、自律制御による目標操舵角が50度である場合、制御部201は、100×0.4+50×0.6(=70度)を算出し、最終的な操舵角の制御値を70度に設定する。制御部201は、遷移時間ΔT内の経過時間に応じて制御割合を段階的に変更し、自律制御から遠隔制御への切り替えを実行する。
図13の例では、遷移時間ΔT内の経過時間に応じて線形に制御割合を変化させる構成としたが、非線形に変化させてもよく、不連続(階段状)に変化させてもよい。また、図13の例では、自律制御から遠隔制御への切り替えについて説明したが、遠隔制御から自律制御への切り替えについても全く同様に、段階的に制御割合を変化させてもよい。
図14は実施の形態3における制御手順を説明するフローチャートである。遠隔制御装置2の制御部201は、自律制御から遠隔制御(遠隔制御から自律制御)への切り替えを開始した場合(ステップS301)、遷移時間ΔT内の経過時間に応じて制御割合を算出する(ステップS302)。切替開始時刻をT1、切替完了時刻をT2とした場合、制御部201は、100×(Tx-T1)/(T2-T1)より制御割合を算出することができる。
次いで、制御部201は、ステップS302で算出した制御割合に応じて、自律制御における制御目標値と遠隔制御による制御目標値とを配分し、最終的な制御値を算出する(ステップS303)。制御部201は、算出した最終的な制御値に従って車両1の走行を制御する(ステップS304)。すなわち、制御部201は、算出した制御値を通信部203より車載制御装置100へ送信する。車載制御装置100は、遠隔制御装置2から受信した制御値に従って車両1の走行を制御する。
次いで、制御部201は、遷移時間ΔTが経過したか否かを判断することにより、切り替えが終了したか否かを判断する(ステップS305)。切り替えが終了していない場合(S305:NO)、制御部201は、処理をステップS302へ戻し、遷移時間ΔT内の経過時間に応じて制御割合を決定し、決定した制御割合に応じて配分された制御値を車載制御装置100に通知する処理を継続する。切り替えが終了したと判断した場合(S305:YES)、制御部201は、本フローチャートによる処理を終了する。
以上のように、実施の形態3では、自律制御と遠隔制御との切り替えに遷移時間を設け、この遷移時間内で段階的に制御を切り替えるので、自律制御における制御状態と遠隔制御における制御との間に差がある場合であっても、スムーズな切り替えが可能となる。
今回開示された実施形態は、全ての点において例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内での全ての変更が含まれることが意図される。
1 車両
2 遠隔制御装置
11 ハンドル
12 アクセルペダル
13 ブレーキペダル
100 車載制御装置
101 制御部
102 記憶部
103 入力部
104 車外通信部
105 車内通信部
201 制御部
202 記憶部
203 通信部
204 入力部
205 出力部
211 操舵コントローラ
212 アクセルコントローラ
213 ブレーキコントローラ
220 モニタ

Claims (17)

  1. コンピュータに、
    自律制御及び遠隔制御による走行が可能な車両に関して、前記遠隔制御に関する遅延量を計測し、
    計測した遅延量又は前記車両の車速に応じて、前記自律制御による制御状態と前記遠隔制御による制御状態との差について前記自律制御と前記遠隔制御との切り替えを許容する許容範囲を設定し、
    前記自律制御が実行されている場合の前記車両の制御状態と、前記自律制御から前記遠隔制御に切り替えた場合の前記車両の制御状態とを特定し、
    特定した2つの制御状態の差が前記許容範囲内であるか否かに応じて、前記自律制御から前記遠隔制御への切り替えの許否を判断する
    処理を実行させるためのコンピュータプログラム。
  2. コンピュータに、
    自律制御及び遠隔制御による走行が可能な車両に対し、前記車両が備える車載カメラの視野内に特定の検出パターンを投影させるための投影指示を送信し、
    前記車載カメラにより撮像された前記検出パターンを含む撮像画像を前記車両から受信し、
    受信した前記撮像画像から前記検出パターンを検出し、
    前記投影指示を送信してから前記検出パターンを検出するまでに要した時間を計時することにより、前記遠隔制御に関する遅延量を計測し、
    前記車両に関して、前記自律制御が実行されている場合の前記車両の制御状態と、前記自律制御から前記遠隔制御に切り替えた場合の前記車両の制御状態とを特定し、
    特定した2つの制御状態の差に基づき、前記自律制御から前記遠隔制御への切り替えの許否を判断する
    処理を実行させるためのコンピュータプログラム。
  3. 前記コンピュータに、
    前記車両から操舵角に関する情報を取得し、取得した情報に基づいて前記自律制御による制御状態を特定し、
    前記遠隔制御を実行する遠隔制御装置から操舵角に関する情報を取得し、取得した情報に基づいて前記遠隔制御による制御状態を特定する
    処理を実行させるための請求項1又は請求項2に記載のコンピュータプログラム。
  4. 前記コンピュータに、
    前記車両からアクセル開度に関する情報を取得し、取得した情報に基づいて前記自律制御による制御状態を特定し、
    前記遠隔制御を実行する遠隔制御装置からアクセル開度に関する情報を取得し、取得した情報に基づいて前記遠隔制御による制御状態を特定する
    処理を実行させるための請求項1又は請求項2に記載のコンピュータプログラム。
  5. 前記コンピュータに、
    前記車両からブレーキ量に関する情報を取得し、取得した情報に基づいて前記自律制御による制御状態を特定し、
    前記遠隔制御を実行する遠隔制御装置からブレーキ量に関する情報を取得し、取得した情報に基づいて前記遠隔制御による制御状態を特定する
    処理を実行させるための請求項1又は請求項2に記載のコンピュータプログラム。
  6. 前記コンピュータに、
    前記2つの制御状態に関する情報を表示する
    処理を実行させるための請求項1から請求項の何れか1つに記載のコンピュータプログラム。
  7. 前記コンピュータに、
    前記自律制御による制御状態と前記遠隔制御による制御状態との差について前記自律制御と前記遠隔制御との切り替えを許容する許容範囲の情報を表示する
    処理を実行させるための請求項1から請求項の何れか1つに記載のコンピュータプログラム。
  8. 前記コンピュータに
    測した遅延量の情報を表示する
    処理を実行させるための請求項1から請求項の何れか1つに記載のコンピュータプログラム。
  9. 前記コンピュータに、
    前記自律制御から前記遠隔制御への切り替えを否と判断した場合であっても、前記車両の走行速度を低下させる遠隔制御を許容する
    処理を実行させるための請求項1から請求項の何れか1つに記載のコンピュータプログラム。
  10. 前記自律制御から前記遠隔制御へ切り替える遷移時間を設けてあり、
    前記遷移時間内の経過時間に応じて、前記自律制御と前記遠隔制御との間の制御割合を段階的に変更する
    処理を前記コンピュータに実行させるための請求項1から請求項の何れか1つに記載のコンピュータプログラム。
  11. 前記コンピュータに、
    前記遠隔制御が実行されている場合の前記車両の制御状態と、前記遠隔制御から前記自律制御に切り替えた場合の前記車両の制御状態とを特定し、
    特定した2つの制御状態の差に基づき、前記遠隔制御から前記自律制御への切り替えの許否を判断する
    処理を実行させるための請求項1から請求項10の何れか1つに記載のコンピュータプログラム。
  12. 前記コンピュータに、
    前記自律制御と前記遠隔制御との間の切替状況を示す情報を表示する
    処理を実行させるための請求項1から請求項11の何れか1つに記載のコンピュータプログラム。
  13. 前記コンピュータに、
    前記2つの制御状態の差に応じて警告を出力する
    処理を実行させるための請求項1から請求項12の何れか1つに記載のコンピュータプログラム。
  14. 自律制御及び遠隔制御による走行が可能な車両に関して、前記遠隔制御に関する遅延量を計測する計測部と、
    計測した遅延量又は前記車両の車速に応じて、前記自律制御による制御状態と前記遠隔制御による制御状態との差について前記自律制御と前記遠隔制御との切り替えを許容する許容範囲を設定する設定部と、
    前記自律制御が実行されている場合の前記車両の制御状態と、前記自律制御から前記遠隔制御に切り替えた場合の前記車両の制御状態とを特定する特定部と、
    特定した2つの制御状態の差が前記許容範囲内であるか否かに応じて、前記自律制御から前記遠隔制御への切り替えの許否を判断する判断部と、
    前記切り替えを許可と判断した場合、前記自律制御に代えて前記遠隔制御を実行する制御実行部と
    を備える遠隔制御装置。
  15. 自律制御及び遠隔制御による走行が可能な車両に対し、前記車両が備える車載カメラの視野内に特定の検出パターンを投影させるための投影指示を送信する送信部と、
    前記車載カメラにより撮像された前記検出パターンを含む撮像画像を前記車両から受信する受信部と、
    受信した前記撮像画像から前記検出パターンを検出する検出部と、
    前記投影指示を送信してから前記検出パターンを検出するまでに要した時間を計時することにより、前記遠隔制御に関する遅延量を計測する計測部と、
    前記車両に関して、前記自律制御が実行されている場合の前記車両の制御状態と、前記自律制御から前記遠隔制御に切り替えた場合の前記車両の制御状態とを特定する特定部と、
    特定した2つの制御状態の差に基づき、前記自律制御から前記遠隔制御への切り替えの許否を判断する判断部と、
    前記切り替えを許可と判断した場合、前記自律制御に代えて前記遠隔制御を実行する制御実行部と
    を備える遠隔制御装置。
  16. コンピュータ
    自律制御及び遠隔制御による走行が可能な車両に関して、前記遠隔制御に関する遅延量を計測し、
    計測した遅延量又は前記車両の車速に応じて、前記自律制御による制御状態と前記遠隔制御による制御状態との差について前記自律制御と前記遠隔制御との切り替えを許容する許容範囲を設定し、
    前記自律制御が実行されている場合の前記車両の制御状態と、前記自律制御から前記遠隔制御に切り替えた場合の前記車両の制御状態とを特定し、
    特定した2つの制御状態の差が前記許容範囲内であるか否かに応じて、前記自律制御から前記遠隔制御への切り替えの許否を判断し、
    切り替えを許可と判断した場合、前記自律制御に代えて前記遠隔制御を実行する
    遠隔制御方法。
  17. コンピュータが、
    自律制御及び遠隔制御による走行が可能な車両に対し、前記車両が備える車載カメラの視野内に特定の検出パターンを投影させるための投影指示を送信し、
    前記車載カメラにより撮像された前記検出パターンを含む撮像画像を前記車両から受信し、
    受信した前記撮像画像から前記検出パターンを検出し、
    前記投影指示を送信してから前記検出パターンを検出するまでに要した時間を計時することにより、前記遠隔制御に関する遅延量を計測し、
    前記車両に関して、前記自律制御が実行されている場合の前記車両の制御状態と、前記自律制御から前記遠隔制御に切り替えた場合の前記車両の制御状態とを特定し、
    特定した2つの制御状態の差に基づき、前記自律制御から前記遠隔制御への切り替えの許否を判断する
    遠隔制御方法。
JP2020083387A 2020-05-11 2020-05-11 コンピュータプログラム、遠隔制御装置、及び遠隔制御方法 Active JP7438017B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020083387A JP7438017B2 (ja) 2020-05-11 2020-05-11 コンピュータプログラム、遠隔制御装置、及び遠隔制御方法
JP2024007513A JP2024038457A (ja) 2020-05-11 2024-01-22 コンピュータプログラム、遠隔制御装置、及び遠隔制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020083387A JP7438017B2 (ja) 2020-05-11 2020-05-11 コンピュータプログラム、遠隔制御装置、及び遠隔制御方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024007513A Division JP2024038457A (ja) 2020-05-11 2024-01-22 コンピュータプログラム、遠隔制御装置、及び遠隔制御方法

Publications (2)

Publication Number Publication Date
JP2021179688A JP2021179688A (ja) 2021-11-18
JP7438017B2 true JP7438017B2 (ja) 2024-02-26

Family

ID=78511618

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2020083387A Active JP7438017B2 (ja) 2020-05-11 2020-05-11 コンピュータプログラム、遠隔制御装置、及び遠隔制御方法
JP2024007513A Pending JP2024038457A (ja) 2020-05-11 2024-01-22 コンピュータプログラム、遠隔制御装置、及び遠隔制御方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024007513A Pending JP2024038457A (ja) 2020-05-11 2024-01-22 コンピュータプログラム、遠隔制御装置、及び遠隔制御方法

Country Status (1)

Country Link
JP (2) JP7438017B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6976588B2 (ja) * 2017-06-30 2021-12-08 京楽産業.株式会社 遊技機

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221339A (ja) 2005-02-09 2006-08-24 Honda Motor Co Ltd 車両操縦システム
JP2016074317A (ja) 2014-10-07 2016-05-12 株式会社デンソー 車両の遠隔制御に用いられる命令判定装置および命令判定装置用のプログラム
WO2018087880A1 (ja) 2016-11-11 2018-05-17 本田技研工業株式会社 車両制御装置、車両制御システム、車両制御方法、および車両制御プログラム
WO2018092229A1 (ja) 2016-11-17 2018-05-24 三菱電機株式会社 運転支援装置および運転支援方法
JP2019003403A (ja) 2017-06-15 2019-01-10 株式会社日立製作所 監視制御システム、監視制御装置及び監視制御方法
JP2019194050A (ja) 2018-05-02 2019-11-07 本田技研工業株式会社 車両制御装置及びプログラム
JP2020036275A (ja) 2018-08-31 2020-03-05 株式会社豊田自動織機 産業車両用遠隔操作システム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006221339A (ja) 2005-02-09 2006-08-24 Honda Motor Co Ltd 車両操縦システム
JP2016074317A (ja) 2014-10-07 2016-05-12 株式会社デンソー 車両の遠隔制御に用いられる命令判定装置および命令判定装置用のプログラム
WO2018087880A1 (ja) 2016-11-11 2018-05-17 本田技研工業株式会社 車両制御装置、車両制御システム、車両制御方法、および車両制御プログラム
WO2018092229A1 (ja) 2016-11-17 2018-05-24 三菱電機株式会社 運転支援装置および運転支援方法
JP2019003403A (ja) 2017-06-15 2019-01-10 株式会社日立製作所 監視制御システム、監視制御装置及び監視制御方法
JP2019194050A (ja) 2018-05-02 2019-11-07 本田技研工業株式会社 車両制御装置及びプログラム
JP2020036275A (ja) 2018-08-31 2020-03-05 株式会社豊田自動織機 産業車両用遠隔操作システム

Also Published As

Publication number Publication date
JP2024038457A (ja) 2024-03-19
JP2021179688A (ja) 2021-11-18

Similar Documents

Publication Publication Date Title
US10266109B2 (en) Lane change assist device for a vehicle
US20180178716A1 (en) Lane change assist device for a vehicle
US20180178713A1 (en) Lane change assist device for a vehicle
JP7276023B2 (ja) 車両遠隔指示システム、及び自動運転車両
JP2024038457A (ja) コンピュータプログラム、遠隔制御装置、及び遠隔制御方法
CN107402572A (zh) 通过测量力变化进行的连续的用户交互和意图确定
JP7154177B2 (ja) 制御装置、制御方法及びプログラム
JP7317967B2 (ja) 自動車の遠隔制御におけるユーザの支援方法、コンピュータプログラム製品、遠隔制御装置および自動車の運転支援システム
JP5817333B2 (ja) 車両用遠隔操作装置
JP6863194B2 (ja) 自動運転システム
WO2021162000A1 (ja) 駐車支援装置
CN107608340A (zh) 车辆驾驶辅助系统及其控制方法
CN115610420A (zh) 车道变更支援装置
WO2021200680A1 (ja) リモート駐車システムおよびそれに用いられる駐車支援制御装置
US11872982B2 (en) Parking assistance device
KR20140107041A (ko) 경사로 주차 안전을 위한 차량의 자동 조향 시스템 및 그 방법
US11327479B2 (en) Vehicle control system
JP2021079880A (ja) 車両制御装置、車両、車両制御装置の動作方法およびプログラム
JP2021094938A (ja) 車両用表示装置及び駐車支援システム
JP2021022033A (ja) 車両遠隔指示システム
JP7067492B2 (ja) 車線変更支援装置
JP5921720B2 (ja) 運転支援方法および運転支援システム
CN113511190A (zh) 驻车辅助系统
JP2021149702A (ja) 収容領域管理装置
JP2021126951A (ja) 駐車支援装置および駐車支援方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230220

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240122

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240213

R150 Certificate of patent or registration of utility model

Ref document number: 7438017

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371