JP7477821B2 - 情報処理装置、情報処理方法、および、コンピュータプログラム - Google Patents

情報処理装置、情報処理方法、および、コンピュータプログラム Download PDF

Info

Publication number
JP7477821B2
JP7477821B2 JP2020122834A JP2020122834A JP7477821B2 JP 7477821 B2 JP7477821 B2 JP 7477821B2 JP 2020122834 A JP2020122834 A JP 2020122834A JP 2020122834 A JP2020122834 A JP 2020122834A JP 7477821 B2 JP7477821 B2 JP 7477821B2
Authority
JP
Japan
Prior art keywords
remote monitoring
state
planned travel
information processing
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020122834A
Other languages
English (en)
Other versions
JP2022019163A (ja
Inventor
信夫 河口
一哉 武田
栄二朗 竹内
祥生 石黒
明 丁
セグラ アレックサンダー カルバヨ
芳樹 二宮
健登 大谷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokai National Higher Education and Research System NUC
Original Assignee
Tokai National Higher Education and Research System NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokai National Higher Education and Research System NUC filed Critical Tokai National Higher Education and Research System NUC
Priority to JP2020122834A priority Critical patent/JP7477821B2/ja
Publication of JP2022019163A publication Critical patent/JP2022019163A/ja
Application granted granted Critical
Publication of JP7477821B2 publication Critical patent/JP7477821B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Traffic Control Systems (AREA)
  • Selective Calling Equipment (AREA)

Description

本明細書に開示される技術は、複数の自律走行移動体の遠隔監視のための情報処理装置、情報処理方法、および、コンピュータプログラムに関する。
近年、人による運転操作を必要とせずに自律的に走行する自律走行車両(「自動運転車両」とも呼ばれる。)が開発されている。自律走行車両は、例えば、管理者から発せられた指令に基づき走行予定経路を設定し、自律走行車両が備える各種センサから出力される信号や、外部との通信により取得された情報等に基づき、自律走行車両自身や周辺物体(他の車両、歩行者、信号機、街路樹、車線等)の状態(位置、向き、速度、形状、色彩等)を検知・認識し、周辺物体との衝突を回避しつつ、設定された走行予定経路に沿って自律的に走行する。
また、自律走行車両の円滑でより安全な走行を実現するために、遠隔監視センタにおいて自律走行車両を遠隔監視し、必要により、自律走行車両の制御に介入する(自律走行車両の制御を補助する)技術が知られている(例えば、特許文献1参照)。自律走行車両の制御への介入の態様としては、例えば、自律走行車両自身や自律走行車両の周辺物体の状態の検知・認識の補助や、自律走行車両の遠隔操縦が挙げられる。
特開2018-140755号公報
自律走行車両を遠隔監視する際には、効率性の観点から、1人の監視者が複数の自律走行車両を遠隔監視することが望ましい。しかしながら、自律走行車両毎に、走行予定経路や周辺物体の状態は千差万別であるため、1人の監視者が複数の自律走行車両の遠隔監視を行うようにすると、監視者の負担が大きい、という課題がある。
なお、このような課題は、自律走行車両の遠隔監視に限らず、例えば自律走行ロボットのように、自律的に走行する車両以外の移動体の遠隔監視にも共通の課題である。
本明細書では、上述した課題を解決することが可能な技術を開示する。
本明細書に開示される技術は、例えば、以下の形態として実現することが可能である。
(1)本明細書に開示される情報処理装置は、複数の自律走行移動体の遠隔監視のための情報処理装置であって、経路情報取得部と、周辺物体情報取得部と、変換部と、画像生成部と、表示制御部とを備える。経路情報取得部は、各前記自律走行移動体の走行予定経路を示す経路情報を取得する。周辺物体情報取得部は、各前記自律走行移動体の周辺物体の少なくとも位置を含む状態を示す周辺物体情報を取得する。変換部は、各前記自律走行移動体について、前記走行予定経路と前記周辺物体の状態との相対関係が維持されるように、予め定められた基準形状への前記走行予定経路の変換と前記周辺物体の状態の変換とを実行する。画像生成部は、各前記自律走行移動体についての前記変換後の前記走行予定経路および前記周辺物体の状態を示す監視画像を生成する。表示制御部は、前記監視画像を表示装置に表示させる。
このように、本情報処理装置によれば、各自律走行移動体について、走行予定経路と周辺物体の状態との相対関係が維持されるように、予め定められた基準形状への走行予定経路の変換と周辺物体の状態の変換とが実行され、各自律走行移動体について、変換後の走行予定経路および周辺物体の状態を示す監視画像が生成され、監視画像が表示装置に表示される。そのため、監視画像において、各自律走行移動体についての走行予定経路が、予め定められた基準形状に(すなわち、互いに同一の形状に)揃えられた状態で示される。従って、各自律走行移動体についての走行予定経路がそのまま(すなわち、自律走行移動体毎にばらばらの形状で)示される構成と比較して、監視者は、走行予定経路と周辺物体との関係を容易に把握することができる。以上のことから、本情報処理装置によれば、1人の監視者が複数の自律走行移動体の遠隔監視を行う際の監視者の負担を軽減することができる。
(2)上記情報処理装置において、前記監視画像は、各前記自律走行移動体の前記変換後の前記走行予定経路が、各前記自律走行移動体の現在位置を基準点として互いに重なるように示された画像である構成としてもよい。本情報処理装置によれば、1人の監視者が複数の自律走行移動体の遠隔監視を行う場合であっても、監視者は、単一の走行予定経路と各周辺物体との間の関係のみを監視すればよい。従って、本情報処理装置によれば、1人の監視者が複数の自律走行移動体の遠隔監視を行う際の監視者の負担を効果的に軽減することができる。
(3)上記情報処理装置において、さらに、各前記自律走行移動体の少なくとも速度を含む状態を示す車両情報を取得する車両情報取得部を備え、前記監視画像は、前記自律走行移動体の速度に基づき導かれる時間距離のスケールが、各前記自律走行移動体について揃うように表現された画像である構成としてもよい。本情報処理装置によれば、1人の監視者が複数の自律走行移動体の遠隔監視を行う場合であっても、監視者は、各自律走行移動体の速度差を意識することなく、監視画像における自律走行移動体の走行予定経路と各周辺物体との間の距離に基づき、自律走行移動体の制御への介入の要否を判断することができる。従って、本情報処理装置によれば、1人の監視者が複数の自律走行移動体の遠隔監視を行う際の監視者の負担を極めて効果的に軽減することができる。
(4)上記情報処理装置において、前記監視画像は、前記走行予定経路を走行する前記自律走行移動体との衝突のおそれがある警戒領域を示す画像である構成としてもよい。本情報処理装置によれば、1人の監視者が複数の自律走行移動体の遠隔監視を行う場合であっても、監視者は、監視画像における警戒領域と各周辺物体との位置関係に基づき、自律走行移動体の制御への介入の要否を容易に判断することができる。従って、本情報処理装置によれば、1人の監視者が複数の自律走行移動体の遠隔監視を行う際の監視者の負担を極めて効果的に軽減することができる。
(5)上記情報処理装置において、前記表示制御部は、前記監視画像に含まれる前記周辺物体が選択されたことに応じて、選択された前記周辺物体についての詳細画像を前記表示装置に表示させる構成としてもよい。本情報処理装置によれば、監視者は、表示装置に表示された周辺物体についての詳細画像を参照して、該周辺物体に関して、自律走行移動体の制御に対する介入の要否を判断したり、実際の介入を実行したりすることができる。従って、本情報処理装置によれば、1人の監視者が複数の自律走行移動体の遠隔監視を行う際の監視者の負担を軽減しつつ、各自律走行移動体について適切な遠隔監視を行うことができる。
(6)上記情報処理装置において、前記基準形状は、直線形状である構成としてもよい。本情報処理装置によれば、監視者は、単純な形状の走行予定経路と各周辺物体との間の関係を監視すればよく、自律走行移動体の制御への介入の要否を容易に判断することができる。従って、本情報処理装置によれば、1人の監視者が複数の自律走行移動体の遠隔監視を行う際の監視者の負担を効果的に軽減することができる。
なお、本明細書に開示される技術は、種々の形態で実現することが可能であり、例えば、情報処理装置、情報処理方法、それらの方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。
本実施形態における遠隔監視システム10の構成を概略的に示す説明図 遠隔監視管理サーバ20の構成を概略的に示す説明図 本実施形態の遠隔監視管理サーバ20により実行される遠隔監視管理処理を示すフローチャート 本実施形態の遠隔監視管理サーバ20により実行される遠隔監視管理処理の概要を示す説明図 本実施形態の遠隔監視管理サーバ20により実行される遠隔監視管理処理の概要を示す説明図 本実施形態の遠隔監視管理サーバ20により実行される遠隔監視管理処理の概要を示す説明図
A.実施形態:
A-1.遠隔監視システム10の構成:
図1は、本実施形態における遠隔監視システム10の構成を概略的に示す説明図である。遠隔監視システム10は、例えば遠隔監視センタにおいて複数の自律走行車両60を遠隔監視し、必要により、自律走行車両60の制御に介入する(自律走行車両60の制御を補助する)ためのシステムである。
遠隔監視システム10による遠隔監視の対象である自律走行車両60は、人による運転操作を必要とせずに自律的に走行する車両である。自律走行車両60は、自家用車両であってもよいし、タクシー、バス、トラック等の業務用車両であってもよい。自律走行車両60は、特許請求の範囲における自律走行移動体の一例である。
自律走行車両60は、センサ66と、通信部64と、駆動部68と、自律走行制御部62とを備える。センサ66は、例えば、カメラ、ミリ波レーダ、LIDAR、超音波センサ、GPS、車速センサ、加速度センサ等を含み、自律走行車両60自身や周辺物体(他の車両、歩行者、信号機、街路樹、車線等)の状態(位置、向き、速度、形状、色彩等)を検知する。通信部64は、所定の通信方式で他の装置(例えば、遠隔監視システム10を構成する後述の遠隔監視管理サーバ20や遠隔監視装置30)と通信を行う通信インターフェースである。駆動部68は、例えば、エンジン、モータ、ステアリング、ブレーキ等を含み、自律走行車両60の走行動作(加速、操舵、制動等)を行う。自律走行制御部62は、例えばCPUやメモリを備えるコンピュータにより構成され、自律走行車両60の自律的な走行を制御する。例えば、自律走行制御部62は、管理者(例えば、遠隔監視システム10の管理者)から発せられた指令に基づき走行予定経路を設定し、センサ66から出力される各種信号や、通信部64を介した外部との通信により取得された情報(例えば、高精度3次元地図や、他の自律走行車両60により検知された周辺物体の情報)等に基づき、自律走行車両60自身や周辺物体の状態を検知・認識し、駆動部68による走行動作を制御することにより、周辺物体との衝突を回避しつつ、設定された走行予定経路に沿って自律走行車両60を自律的に走行させる。
しかしながら、自律走行車両60の自律走行中に、センサ66の検出精度の問題や走行環境の問題等に起因して、自律走行車両60が自律走行車両60自身や周辺物体の状態を確実に検知・認識できない場合がある。例えば、周辺物体として歩行者を検知したものの、該歩行者が道路を横断するか否かを判断できない場合や、周辺物体が検知されたものの、該周辺物体は自律走行車両60の走行に支障の無い物体(例えば、明らかに軽い飛来物)である場合、周辺に非常に多くの歩行者がいる場合、トンネル内を走行する場合、豪雨や濃霧の中を走行する場合等である。そのような場合には、自律走行車両60による円滑な自律走行が困難となったり、周辺物体と衝突する可能性が高まったりするおそれがある。そのような場合に備えて、遠隔監視システム10は、自律走行車両60を遠隔監視しており、自発的に、あるいは、自律走行車両60からの求めに応じて、自律走行車両60の制御に介入する(自律走行車両60の制御を補助する)。遠隔監視システム10による自律走行車両60の制御への介入の態様としては、例えば、自律走行車両60自身や自律走行車両60の周辺物体の状態の検知・認識の補助や、自律走行車両60の遠隔操縦が挙げられる。これにより、自律走行車両60の円滑で、快適で、より安全な走行が実現される。
図1に示すように、遠隔監視システム10は、遠隔監視管理サーバ20と、複数の遠隔監視装置30と、ルータ等のネットワーク通信装置40とを備える。図1には、3つの遠隔監視装置30が示されているが、遠隔監視システム10に含まれる遠隔監視装置30の個数は、2個以下であってもよいし、4個以上であってもよい。遠隔監視システム10を構成する各装置は、LAN等の内部ネットワーク82を介して互いに通信可能に接続されている。また、遠隔監視管理サーバ20および複数の遠隔監視装置30は、ネットワーク通信装置40およびインターネット等の外部ネットワーク84を介して、各自律走行車両60と通信可能に接続されている。
遠隔監視装置30は、監視者MOによる自律走行車両60の遠隔監視に利用される端末装置であり、例えばPCにより構成される。遠隔監視装置30は、例えば液晶ディスプレイ等の表示装置32を備える。監視者MOは、遠隔監視装置30の表示装置32に表示される監視画像MI(後述)を参照して自律走行車両60の制御への介入の要否を判断し、介入が必要と判断した場合に、遠隔監視装置30を操作して自律走行車両60の制御への介入を行う。遠隔監視装置30は、自律走行車両60の制御への介入を含む自律走行車両60の遠隔監視を実行するためのユーザインターフェース(例えば、キーボード、マウス、タッチパネル、操縦桿等)を備えている。本実施形態では、各監視者MO(各遠隔監視装置30)は、複数の(例えば、10台の)自律走行車両60の遠隔監視を同時に行っている。
遠隔監視管理サーバ20は、各監視者MOによる遠隔監視装置30を用いた遠隔監視を管理するためのサーバ装置である。図2は、遠隔監視管理サーバ20の構成を概略的に示す説明図である。遠隔監視管理サーバ20は、制御部210と、記憶部220と、表示部230と、操作入力部240と、インターフェース部250とを備える。これらの各部は、バス290を介して互いに通信可能に接続されている。なお、遠隔監視管理サーバ20は、特許請求の範囲における情報処理装置の一例である。
遠隔監視管理サーバ20の表示部230は、例えば液晶ディスプレイ等により構成され、各種の画像や情報を表示する。また、操作入力部240は、例えばキーボードやマウス、ボタン、マイク等により構成され、管理者の操作や指示を受け付ける。なお、表示部230がタッチパネルを備えることにより、操作入力部240として機能するとしてもよい。また、インターフェース部250は、例えばLANインターフェースやUSBインターフェース等により構成され、有線または無線により他の装置との通信を行う。
遠隔監視管理サーバ20の記憶部220は、例えばROMやRAM、ハードディスクドライブ(HDD)等により構成され、各種のプログラムやデータを記憶したり、各種のプログラムを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。例えば、記憶部220には、後述する遠隔監視管理処理を実行するためのコンピュータプログラムである遠隔監視管理プログラムCPが格納されている。遠隔監視管理プログラムCPは、例えば、CD-ROMやDVD-ROM、USBメモリ等のコンピュータ読み取り可能な記録媒体(不図示)に格納された状態で提供され、遠隔監視管理サーバ20にインストールすることにより記憶部220に格納される。
また、遠隔監視管理サーバ20の記憶部220には、地図情報221が格納されている。地図情報221は、例えば高精度な3次元地図情報であり、道路の位置および形状の情報に加えて、信号機、道路標識、街路樹、ガードレール、建物等の位置および形状の情報を含んでいる。
遠隔監視管理サーバ20の制御部210は、例えばCPU等により構成され、記憶部220から読み出したコンピュータプログラムを実行することにより、遠隔監視管理サーバ20の動作を制御する。例えば、制御部210は、記憶部220から遠隔監視管理プログラムCPを読み出して実行することにより、後述の遠隔監視管理処理を実行する遠隔監視管理部211として機能する。遠隔監視管理部211は、機能モジュールとして、車両情報取得部212と、経路情報取得部213と、周辺物体情報取得部214と、変換部215と、画像生成部216と、表示制御部217とを含む。これら各部の機能については、後述の遠隔監視管理処理の説明に合わせて説明する。
A-2.遠隔監視管理処理:
図3は、本実施形態の遠隔監視管理サーバ20により実行される遠隔監視管理処理を示すフローチャートである。また、図4から図6は、本実施形態の遠隔監視管理サーバ20により実行される遠隔監視管理処理の概要を示す説明図である。
本実施形態の遠隔監視管理処理は、各監視者MOによる遠隔監視装置30を用いた自律走行車両60の遠隔監視を管理する処理であり、例えば、複数の自律走行車両60を監視するための監視画像MIを生成して各遠隔監視装置30の表示装置32に表示させる処理を含む。遠隔監視管理処理は、管理者が、遠隔監視管理サーバ20の操作入力部240を操作して開始指示を入力したことに応じて開始される。なお、本実施形態では、遠隔監視装置30(監視者MO)毎に、遠隔監視管理処理が実行される。以下では、1つの遠隔監視装置30について実行される遠隔監視管理処理について説明する。
上述したように、各自律走行車両60は、管理者から発せられた指令に基づき走行予定経路を設定し、センサ66等を用いて自律走行車両60自身や周辺物体の状態を検知・認識し、周辺物体との衝突を回避しつつ、設定された走行予定経路に沿って自律的に走行している。図4には、一例として、1つの遠隔監視装置30による遠隔監視の対象である2つの自律走行車両60についての走行予定経路PAおよび周辺物体OBが示されている。より詳細には、図4のA欄には、緩やかなカーブが続く道路を比較的高速で走行している自律走行車両60aについての走行予定経路PAおよび周辺物体OB(周辺物体OB1,OB2)が示されており、図4のB欄には、比較的低速で交差点を右折しようとしている自律走行車両60bについての走行予定経路PAおよび周辺物体OB(周辺物体OB3,OB4)が示されている。周辺物体OBに付された矢印は、周辺物体OBの向き(予想進行方向)を示している。
はじめに、遠隔監視管理サーバ20の車両情報取得部212(図2)が、遠隔監視装置30による監視の対象である複数の(例えば、10台の)自律走行車両60のそれぞれの状態を示す車両情報Ivを取得する(S100)。本実施形態では、車両情報Ivにより示される自律走行車両60の状態は、自律走行車両60の位置と向きと速度とを含む。車両情報取得部212は、各自律走行車両60のセンサ66等により検出された自律走行車両60の状態を示す車両情報Ivを、各自律走行車両60から直接的に取得してもよい。また、車両情報Ivが自律走行車両60以外の他の装置(例えば、遠隔監視装置30)の記憶部に格納されている場合には、車両情報取得部212は、該格納された車両情報Ivを取得してもよい。
また、遠隔監視管理サーバ20の経路情報取得部213(図2)が、該複数の自律走行車両60のそれぞれの走行予定経路PAを示す経路情報Ipを取得する(S110)。経路情報取得部213は、各自律走行車両60から直接的に経路情報Ipを取得してもよい。また、経路情報Ipが自律走行車両60以外の他の装置(例えば、遠隔監視装置30)の記憶部に格納されている場合には、経路情報取得部213は、該格納された経路情報Ipを取得してもよい。
また、遠隔監視管理サーバ20の周辺物体情報取得部214(図2)が、該複数の自律走行車両60のそれぞれの周辺物体OBの状態を示す周辺物体情報Ioを取得する(S120)。本実施形態では、周辺物体情報Ioにより示される周辺物体OBの状態は、周辺物体OBの位置と向きと速度とを含む。周辺物体情報取得部214は、各自律走行車両60のセンサ66等により検出された周辺物体OBの状態を示す周辺物体情報Ioを、各自律走行車両60から直接的に取得してもよい。また、周辺物体情報取得部214は、各自律走行車両60の位置を示す位置情報を取得し、記憶部220に格納された地図情報221を参照して、各自律走行車両60の位置における周辺物体OBの状態を示す周辺物体情報Ioを取得してもよい。
このように、車両情報Ivの取得処理(S100)と経路情報Ipの取得処理(S110)と周辺物体情報Ioの取得処理(S120)とが実行されることにより、遠隔監視管理サーバ20の遠隔監視管理部211(図2)は、図4に示すように、各自律走行車両60の状態(位置、向き、速度)と走行予定経路PAと周辺物体OBの状態(位置、向き、速度)とを認識することができる。なお、車両情報Ivの取得処理(S100)と経路情報Ipの取得処理(S110)と周辺物体情報Ioの取得処理(S120)との実行順序は任意に設定可能であり、また、2つまたは3つの処理が同時に実行されてもよい。
次に、遠隔監視管理サーバ20の変換部215(図2)が、複数の自律走行車両60のそれぞれについて、走行予定経路PAおよび周辺物体OBの状態(位置、向き、速度等)の変換処理を行う(S130)。この変換処理は、走行予定経路PAと周辺物体OBの状態との相対関係が維持されるように、予め定められた基準形状への走行予定経路PAの変換と周辺物体OBの状態の変換とを実行する処理である。本実施形態では、基準形状は直線形状である。そのため、走行予定経路PAは直線形状に変換される。図5のA,B欄には、それぞれ、図4のA,B欄に示された自律走行車両60a,60bについて、直線形状に変換された走行予定経路PA(以下、「基準走行予定経路PAx」という。)と、変換後の周辺物体OBの状態(位置および向き)とが示されている。このような変換は、例えば、変換前の走行予定経路PAを所定のピッチで離散化した各点について、直線形状の基準走行予定経路PAx上の1点への変換行列を求め、該変換行列を用いて周辺物体OBの状態(位置および向き)を変換することにより実現することができる。また、変換後の周辺物体OBの状態は、上述した変換前の走行予定経路PAを所定のピッチで離散化した各点について求められた変換後の周辺物体OBの状態を重畳したヒートマップとして表されてもよいし、変換前の走行予定経路PAにおける周辺物体OBに最も近い点について求められた変換後の周辺物体OBの状態として表されてもよい。
次に、遠隔監視管理サーバ20の画像生成部216(図2)が、監視画像MIを生成する(S140)。図6には、監視画像MIの一例が示されている。図6に示すように、監視画像MIは、各自律走行車両60についての変換後の走行予定経路PA(基準走行予定経路PAx)および周辺物体OBの状態を、俯瞰的に示す画像である。すなわち、監視画像MIは、遠隔監視装置30(監視者MO)の監視対象であるすべての自律走行車両60についての基準走行予定経路PAxとすべての周辺物体OBの状態とが、集合的に示された画像である。例えば、図6に示すように、監視画像MIには、一の自律走行車両60aの周囲に存在する周辺物体OB1,OB2と、他の一の自律走行車両60bの周囲に存在する周辺物体OB3,OB4とが示されている。
ただし、本実施形態では、監視画像MIは、各自律走行車両60の基準走行予定経路PAxが、各自律走行車両60の現在位置を基準点として互いに重なるように示された画像である。すなわち、画像生成部216は、各自律走行車両60の基準走行予定経路PAxにおける各自律走行車両60の現在位置を互いに一致させ、かつ、各自律走行車両60の基準走行予定経路PAxの延伸方向も互いに一致させることにより、監視画像MIを生成する。そのため、監視画像MIに実際に示される基準走行予定経路PAxは、1つのみとなる。
また、本実施形態では、監視画像MIは、自律走行車両60の速度に基づき導かれる時間距離のスケールが、各自律走行車両60について揃うように表現された画像である。この点について、以下説明する。
図5のA,B欄には、警戒領域ARが破線で示されている。警戒領域ARは、該領域に周辺物体OBが存在すると、該周辺物体OBと走行予定経路PA(基準走行予定経路PAx)を走行する自律走行車両60との衝突のおそれがあるような領域である。本実施形態では、警戒領域ARは、基準走行予定経路PAxに沿って所定の幅(基準走行予定経路PAxに直交する方向の幅)を有する領域として設定される。警戒領域ARの幅は、自律走行車両60の速度に基づき決められる。具体的には、時間距離のスケールを揃えるために、自律走行車両60の速度が速いほど、警戒領域ARの幅は大きく設定される。
画像生成部216は、監視画像MIを生成する際に、各自律走行車両60について設定された警戒領域ARの幅を揃えることにより、時間距離のスケールを揃える。より詳細には、図6に示すように、監視画像MIには、1つの警戒領域AR(以下、「基準警戒領域AR0」という。)が示されている。画像生成部216は、監視画像MIを生成する際に、各自律走行車両60について、警戒領域ARの幅を基準警戒領域AR0の幅に変換し、それに合わせて周辺物体OBの状態(位置等)も変換する。例えば、図5のB欄に示された比較的低速で走行している自律走行車両60(自律走行車両60b)については、警戒領域ARの幅が比較的狭い。この警戒領域ARの幅が基準警戒領域AR0の幅より狭いとすると、監視画像MIの生成の際に、警戒領域ARと周辺物体OBとの相対位置関係が維持されるように、周辺物体OBが実際の位置より基準走行予定経路PAxから離れた位置に配置される。反対に、例えば、図5のA欄に示された比較的高速で走行している自律走行車両60(自律走行車両60a)については、警戒領域ARの幅が比較的広い。この警戒領域ARの幅が基準警戒領域AR0の幅より広いとすると、監視画像MIの生成の際に、警戒領域ARと周辺物体OBとの相対位置関係が維持されるように、周辺物体OBが実際の位置より基準走行予定経路PAxに近い位置に配置される。このようにして監視画像MIが生成されることにより、各自律走行車両60についての時間距離のスケールが揃うこととなる。
このようにして生成された監視画像MIは、遠隔監視装置30(監視者MO)による遠隔監視の対象であるすべての自律走行車両60の周辺に位置するすべての周辺物体OBの状態が、1つの直線形状の基準走行予定経路PAxの周囲に、時間距離のスケールが揃った状態で示された画像となる。すなわち、監視画像MIは、あたかも1台の自律走行車両60の遠隔監視を行っているような画像となる。
次に、遠隔監視管理サーバ20の表示制御部217(図2)が、生成された監視画像MIを、遠隔監視装置30の表示装置32に表示させる(S150)。監視者MOは、表示装置32に表示された監視画像MIを参照して、あたかも1台の自律走行車両60の遠隔監視を行うように、複数の自律走行車両60の遠隔監視を同時に行う。
遠隔監視管理サーバ20の遠隔監視管理部211(図2)は、遠隔監視装置30の表示装置32に監視画像MIが表示された状態において、監視者MOにより周辺物体OBの選択がなされたか否かを監視する(S160)。周辺物体OBの選択は、例えば、表示装置32に表示された監視画像MI上で、遠隔監視装置30のユーザインターフェースを介して、1つの周辺物体OBまたはその周辺が指定されることにより実現される。監視者MOは、例えば、監視画像MIにおいて基準警戒領域AR0に進入した(あるいは、進入しそうな)周辺物体OBを選択するなど、自律走行車両60の自律走行に支障となり得る周辺物体OBを選択することができる。
S160において、監視者MOにより周辺物体OBの選択がなされたと判定された場合には(S160:YES)、遠隔監視管理サーバ20の表示制御部217(図2)は、選択された周辺物体OBについての詳細画像を遠隔監視装置30の表示装置32に表示させる(S170)。選択された周辺物体OBについての詳細画像としては、例えば、選択された周辺物体OBに対応する自律走行車両60(該周辺物体OBに近付きつつある自律走行車両60)のセンサ66(例えばカメラ)により取得された画像(映像)や、選択された周辺物体OBの位置する領域の拡大地図等が用いられる。表示装置32において、周辺物体OBについての詳細画像は、監視画像MIと並べて表示されてもよいし、監視画像MIに重畳して表示されたり、監視画像MIと切り替えて表示されたり、監視画像MIの一部として表示されたりしてもよい。監視者MOは、表示装置32に表示された周辺物体OBについての詳細画像を参照して、該周辺物体OBに関して、自律走行車両60の制御に対する介入の要否を判断したり、実際の介入を実行したりすることができる。
遠隔監視管理サーバ20の表示制御部217(図2)は、遠隔監視装置30の表示装置32に周辺物体OBについての詳細画像が表示された状態において、該詳細画像の表示終了指示がなされたか否かを監視し(S180)、該詳細画像の表示終了指示がなされたと判定された場合に(S180:YES)、該詳細画像の表示を終了する(S190)。
その後、上述したS100以降の処理が繰り返し実行される。すなわち、車両情報Iv、経路情報Ipおよび周辺物体情報Ioの取得が行われることによって、自律走行車両60の現在位置や走行予定経路PA、周辺物体OBの状態が更新され、それに伴い監視画像MIが更新される。例えば、ある自律走行車両60の進行方向付近に位置する周辺物体OBが、走行予定経路PAに近付くように移動した場合には、監視画像MIにおいて、該周辺物体OBが基準走行予定経路PAxのより近くの位置に示されるように、監視画像MIが更新される。また、ある自律走行車両60が加速した場合には、該自律走行車両60についての時間距離が短くなるため、該自律走行車両60の進行方向付近に位置して停止している周辺物体OBが基準走行予定経路PAxのより近くの位置に示されるように、監視画像MIが更新される。反対に、ある自律走行車両60が減速した場合には、該自律走行車両60についての時間距離が長くなるため、該自律走行車両60の進行方向付近に位置して停止している周辺物体OBが基準走行予定経路PAxからより離れた位置に示されるように、監視画像MIが更新される。
また、S160において、周辺物体OBの選択がなされなかったと判定された場合には(S160:NO)、遠隔監視管理サーバ20の遠隔監視管理部211(図2)が、遠隔監視管理処理の終了指示がなされたか否かを判定する(S200)。S200において、遠隔監視管理処理の終了指示がなされなかったと判定された場合には(S200:NO)、上述したS100以降の処理が繰り返し実行される。一方、S200において、遠隔監視管理処理の終了指示がなされたと判定された場合(S200:YES)、遠隔監視管理サーバ20の遠隔監視管理部211(図2)は、遠隔監視管理処理を終了する。
A-3.本実施形態の効果:
以上説明したように、本実施形態の遠隔監視管理サーバ20は、複数の自律走行車両60の遠隔監視のための情報処理装置である。遠隔監視管理サーバ20は、経路情報取得部213と、周辺物体情報取得部214と、変換部215と、画像生成部216と、表示制御部217とを備える。経路情報取得部213は、各自律走行車両60の走行予定経路PAを示す経路情報Ipを取得する。周辺物体情報取得部214は、各自律走行車両60の周辺物体OBの少なくとも位置を含む状態を示す周辺物体情報Ioを取得する。変換部215は、各自律走行車両60について、走行予定経路PAと周辺物体OBの状態との相対関係が維持されるように、予め定められた基準形状への走行予定経路PAの変換と周辺物体OBの状態の変換とを実行する。画像生成部216は、各自律走行車両60についての変換後の走行予定経路PAおよび周辺物体OBの状態を示す監視画像MIを生成する。表示制御部217は、監視画像MIを表示装置32に表示させる。
このように、本実施形態の遠隔監視管理サーバ20によれば、各自律走行車両60について、走行予定経路PAと周辺物体OBの状態との相対関係が維持されるように、予め定められた基準形状への走行予定経路PAの変換と周辺物体OBの状態の変換とが実行され、各自律走行車両60について、変換後の走行予定経路PAおよび周辺物体OBの状態を示す監視画像MIが生成され、監視画像MIが表示装置32に表示される。そのため、監視画像MIにおいて、各自律走行車両60についての走行予定経路PAが、予め定められた基準形状に(互いに同一の形状に)揃えられた状態で示される。従って、各自律走行車両60についての走行予定経路PAがそのまま(すなわち、自律走行車両60毎にばらばらの形状で)示される構成と比較して、監視者MOは、走行予定経路PAと周辺物体OBとの関係を容易に把握することができる。以上のことから、本実施形態の遠隔監視管理サーバ20によれば、1人の監視者MOが複数の自律走行車両60の遠隔監視を行う際の監視者MOの負担を軽減することができる。
また、本実施形態の遠隔監視管理サーバ20により生成される監視画像MIは、各自律走行車両60の変換後の走行予定経路PA(基準走行予定経路PAx)が、各自律走行車両60の現在位置を基準点として互いに重なるように示された画像である。そのため、本実施形態の遠隔監視管理サーバ20によれば、1人の監視者MOが複数の自律走行車両60の遠隔監視を行う場合であっても、監視者MOは、単一の走行予定経路PA(基準走行予定経路PAx)と各周辺物体OBとの間の関係のみを監視すればよい。従って、本実施形態の遠隔監視管理サーバ20によれば、1人の監視者MOが複数の自律走行車両60の遠隔監視を行う際の監視者MOの負担を効果的に軽減することができる。
また、本実施形態の遠隔監視管理サーバ20により生成される監視画像MIは、自律走行車両60の速度に基づき導かれる時間距離のスケールが、各自律走行車両60について揃うように表現された画像である。そのため、本実施形態の遠隔監視管理サーバ20によれば、1人の監視者MOが複数の自律走行車両60の遠隔監視を行う場合であっても、監視者MOは、各自律走行車両60の速度差を意識することなく、監視画像MIにおける自律走行車両60の走行予定経路PAと各周辺物体OBとの間の距離に基づき、自律走行車両60の制御への介入の要否を判断することができる。従って、本実施形態の遠隔監視管理サーバ20によれば、1人の監視者MOが複数の自律走行車両60の遠隔監視を行う際の監視者MOの負担を極めて効果的に軽減することができる。
また、本実施形態の遠隔監視管理サーバ20により生成される監視画像MIは、走行予定経路PA(基準走行予定経路PAx)を走行する自律走行車両60との衝突のおそれがある領域である警戒領域ARを示す画像である。そのため、本実施形態の遠隔監視管理サーバ20によれば、1人の監視者MOが複数の自律走行車両60の遠隔監視を行う場合であっても、監視者MOは、監視画像MIにおける警戒領域ARと各周辺物体OBとの位置関係に基づき、自律走行車両60の制御への介入の要否を容易に判断することができる。従って、本実施形態の遠隔監視管理サーバ20によれば、1人の監視者MOが複数の自律走行車両60の遠隔監視を行う際の監視者MOの負担を極めて効果的に軽減することができる。
また、本実施形態の遠隔監視管理サーバ20では、表示制御部217は、監視画像MIに含まれる周辺物体OBが選択されたことに応じて、選択された周辺物体OBについての詳細画像を表示装置32に表示させる。そのため、本実施形態の遠隔監視管理サーバ20によれば、監視者MOは、表示装置32に表示された周辺物体OBについての詳細画像を参照して、該周辺物体OBに関して、自律走行車両60の制御に対する介入の要否を判断したり、実際の介入を実行したりすることができる。従って、本実施形態の遠隔監視管理サーバ20によれば、1人の監視者MOが複数の自律走行車両60の遠隔監視を行う際の監視者MOの負担を軽減しつつ、各自律走行車両60について適切な遠隔監視を行うことができる。
また、本実施形態の遠隔監視管理サーバ20では、走行予定経路PAの変換を行う際の基準形状は、直線形状である。すなわち、変換後の走行予定経路PAである基準走行予定経路PAxは、直線形状である。そのため、本実施形態の遠隔監視管理サーバ20によれば、監視者MOは、単純な形状の走行予定経路PA(基準走行予定経路PAx)と各周辺物体OBとの間の関係を監視すればよく、自律走行車両60の制御への介入の要否を容易に判断することができる。従って、本実施形態の遠隔監視管理サーバ20によれば、1人の監視者MOが複数の自律走行車両60の遠隔監視を行う際の監視者MOの負担を効果的に軽減することができる。
B.変形例:
本明細書で開示される技術は、上述の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の形態に変形することができ、例えば次のような変形も可能である。
上記実施形態における遠隔監視システム10の構成は、あくまで一例であり、種々変形可能である。例えば、上記実施形態では、遠隔監視管理サーバ20と各遠隔監視装置30とが内部ネットワーク82を介して通信可能に接続されているが、遠隔監視管理サーバ20と各遠隔監視装置30とがインターネット等の外部ネットワークを介して通信可能に接続されていてもよい。また、遠隔監視管理サーバ20が、遠隔監視装置としての機能を有し、監視者MOが遠隔監視管理サーバ20を用いて自律走行車両60の遠隔監視を行ってもよい。
上記各実施形態において、ハードウェアによって実現されている構成の一部をソフトウェアに置き換えるようにしてもよく、反対に、ソフトウェアによって実現されている構成の一部をハードウェアに置き換えるようにしてもよい。
上記実施形態における遠隔監視管理処理の内容は、あくまで一例であり、種々変更可能である。例えば、上記実施形態では、各自律走行車両60の周辺物体OBの状態を示す周辺物体情報Ioが、周辺物体OBの位置と向きと速度とを示す情報を含んでいるが、周辺物体情報Ioは、周辺物体OBの少なくとも位置を示す情報を含んでいればよく、周辺物体OBの向きと速度との少なくとも一方を示す情報を含んでいなくてもよいし、周辺物体OBの他の状態を示す情報を含んでいてもよい。
上記実施形態では、各自律走行車両60の走行予定経路PAが直線形状に変換されているが、各自律走行車両60の走行予定経路PAが直線形状以外の予め定められた基準形状(例えば、円形状や螺旋形状等)に変換されてもよい。
上記実施形態では、監視画像MIの生成の際に、自律走行車両60の速度に基づき導かれる時間距離のスケールが各自律走行車両60について揃うように、幅方向(基準走行予定経路PAxに直交する方向)における基準走行予定経路PAxと周辺物体OBとの距離を調整しているが、時間距離のスケールを揃える態様はこれに限られない。例えば、監視画像MIの生成の際に、基準走行予定経路PAxに平行な方向における自律走行車両60と周辺物体OBとの距離を調整することにより、時間距離のスケールを揃えてもよい。例えば、監視画像MIにおいて、比較的速度の速い自律走行車両60の進行方向付近に位置する周辺物体OBは自律走行車両60の比較的近くに示され、比較的速度の遅い自律走行車両60の進行方向付近に位置する周辺物体OBは、自律走行車両60から比較的遠くに示されることにより、時間距離のスケールを揃えてもよい。
上記実施形態では、監視画像MIは、走行予定経路PAを走行する自律走行車両60との衝突のおそれがある領域である警戒領域ARを示す画像であるが、必ずしも監視画像MIに警戒領域ARが示される必要はない。また、本実施形態では、監視画像MIは、自律走行車両60の速度に基づき導かれる時間距離のスケールが、各自律走行車両60について揃うように表現された画像であるが、必ずしも監視画像MIにおいて各自律走行車両60についての時間距離のスケールが揃えられる必要はない。例えば、監視画像MIは、各自律走行車両60についての時間距離のスケールを揃える処理が行われることなく、各自律走行車両60についての基準走行予定経路PAxおよび周辺物体OBの状態がそのまま併合された画像であるとしてもよい。また、本実施形態では、監視画像MIは、各自律走行車両60の変換後の走行予定経路PAが、各自律走行車両60の現在位置を基準点として互いに重なるように示された画像であるが、必ずしも監視画像MIにおいて各自律走行車両60の変換後の走行予定経路PAが互いに重なるように示される必要はない。例えば、監視画像MIは、各自律走行車両60についての基準走行予定経路PAxおよび周辺物体OBの状態を、個別に示す画像であるとしてもよい。また、上記実施形態では、監視画像MIは、各自律走行車両60についての基準走行予定経路PAxおよび周辺物体OBの状態を俯瞰的に示す画像であるが、監視画像MIの表示態様はこれに限られない。例えば、監視画像MIは、基準走行予定経路PAxおよび周辺物体OBの状態を3次元的に示す画像(例えば、仮想的な車両の運転席からの視界を模擬した画像)であってもよい。その場合には、基準走行予定経路PAxが、3次元的に示された画像において基準形状(例えば、直線形状)に見えるように示される。
また、上記実施形態では、複数の自律走行車両60の遠隔監視を例に用いて説明しているが、本明細書に開示される技術は、例えば自律走行ロボットのように、自律的に走行する車両以外の移動体の遠隔監視にも同様に適用可能である。
10:遠隔監視システム 20:遠隔監視管理サーバ 30:遠隔監視装置 32:表示装置 40:ネットワーク通信装置 60:自律走行車両 62:自律走行制御部 64:通信部 66:センサ 68:駆動部 82:内部ネットワーク 84:外部ネットワーク 210:制御部 211:遠隔監視管理部 212:車両情報取得部 213:経路情報取得部 214:周辺物体情報取得部 215:変換部 216:画像生成部 217:表示制御部 220:記憶部 221:地図情報 230:表示部 240:操作入力部 250:インターフェース部 290:バス AR0:基準警戒領域 AR:警戒領域 CP:遠隔監視管理プログラム Io:周辺物体情報 Ip:経路情報 MI:監視画像 MO:監視者 OB:周辺物体 PA:走行予定経路 PAx:基準走行予定経路

Claims (8)

  1. 複数の自律走行移動体の遠隔監視のための情報処理装置であって、
    各前記自律走行移動体の走行予定経路を示す経路情報を取得する経路情報取得部と、
    各前記自律走行移動体の周辺物体の少なくとも位置を含む状態を示す周辺物体情報を取得する周辺物体情報取得部と、
    各前記自律走行移動体について、前記走行予定経路と前記周辺物体の状態とを変換する変換処理であって、前記変換処理の前後で前記走行予定経路と前記周辺物体の状態との相対関係が維持されるように、予め定められた基準形状への前記走行予定経路の変換と、変換後の前記走行予定経路に合わせた前記周辺物体の状態の変換と、を含む変換処理を実行する変換部と、
    各前記自律走行移動体についての前記変換後の前記走行予定経路および前記周辺物体の状態を示す監視画像を生成する画像生成部と、
    前記監視画像を表示装置に表示させる表示制御部と、
    を備える、情報処理装置。
  2. 請求項1に記載の情報処理装置であって、
    前記監視画像は、各前記自律走行移動体の前記変換後の前記走行予定経路が、各前記自律走行移動体の現在位置を基準点として互いに重なるように示された画像である、情報処理装置。
  3. 請求項2に記載の情報処理装置であって、さらに、
    各前記自律走行移動体の少なくとも速度を含む状態を示す車両情報を取得する車両情報取得部を備え、
    前記監視画像は、前記自律走行移動体の速度に基づき導かれる、距離を移動所要時間で表した時間距離のスケールが、各前記自律走行移動体について揃うように表現された画像である、情報処理装置。
  4. 請求項3に記載の情報処理装置であって、
    前記監視画像は、前記走行予定経路を走行する前記自律走行移動体との衝突のおそれがある警戒領域を示す画像である、情報処理装置。
  5. 請求項1から請求項4までのいずれか一項に記載の情報処理装置であって、
    前記表示制御部は、前記監視画像に含まれる前記周辺物体が選択されたことに応じて、選択された前記周辺物体についての詳細画像を前記表示装置に表示させる、情報処理装置。
  6. 請求項1から請求項5までのいずれか一項に記載の情報処理装置であって、
    前記基準形状は、直線形状である、情報処理装置。
  7. 複数の自律走行移動体の遠隔監視のための情報処理方法であって、
    各前記自律走行移動体の走行予定経路を示す経路情報を取得する工程と、
    各前記自律走行移動体の周辺物体の少なくとも位置を含む状態を示す周辺物体情報を取得する工程と、
    各前記自律走行移動体について、前記走行予定経路と前記周辺物体の状態とを変換する変換処理であって、前記変換処理の前後で前記走行予定経路と前記周辺物体の状態との相対関係が維持されるように、予め定められた基準形状への前記走行予定経路の変換と、変換後の前記走行予定経路に合わせた前記周辺物体の状態の変換と、を含む変換処理を実行する工程と、
    各前記自律走行移動体についての前記変換後の前記走行予定経路および前記周辺物体の状態を示す監視画像を生成する工程と、
    前記監視画像を表示装置に表示させる工程と、
    を備える、情報処理方法。
  8. 複数の自律走行移動体の遠隔監視のためのコンピュータプログラムであって、
    コンピュータに、
    各前記自律走行移動体の走行予定経路を示す経路情報を取得する処理と、
    各前記自律走行移動体の周辺物体の少なくとも位置を含む状態を示す周辺物体情報を取得する処理と、
    各前記自律走行移動体について、前記走行予定経路と前記周辺物体の状態とを変換する変換処理であって、前記変換処理の前後で前記走行予定経路と前記周辺物体の状態との相対関係が維持されるように、予め定められた基準形状への前記走行予定経路の変換と、変換後の前記走行予定経路に合わせた前記周辺物体の状態の変換と、を含む変換処理を実行する処理と、
    各前記自律走行移動体についての前記変換後の前記走行予定経路および前記周辺物体の状態を示す監視画像を生成する処理と、
    前記監視画像を表示装置に表示させる処理と、
    を実行させる、コンピュータプログラム。
JP2020122834A 2020-07-17 2020-07-17 情報処理装置、情報処理方法、および、コンピュータプログラム Active JP7477821B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2020122834A JP7477821B2 (ja) 2020-07-17 2020-07-17 情報処理装置、情報処理方法、および、コンピュータプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020122834A JP7477821B2 (ja) 2020-07-17 2020-07-17 情報処理装置、情報処理方法、および、コンピュータプログラム

Publications (2)

Publication Number Publication Date
JP2022019163A JP2022019163A (ja) 2022-01-27
JP7477821B2 true JP7477821B2 (ja) 2024-05-02

Family

ID=80203562

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020122834A Active JP7477821B2 (ja) 2020-07-17 2020-07-17 情報処理装置、情報処理方法、および、コンピュータプログラム

Country Status (1)

Country Link
JP (1) JP7477821B2 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018140755A (ja) 2017-02-28 2018-09-13 パナソニックIpマネジメント株式会社 遠隔操縦装置、遠隔操縦方法、及び遠隔操縦プログラム
WO2020044954A1 (ja) 2018-08-31 2020-03-05 パイオニア株式会社 画像制御プログラム、画像制御装置及び画像制御方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018140755A (ja) 2017-02-28 2018-09-13 パナソニックIpマネジメント株式会社 遠隔操縦装置、遠隔操縦方法、及び遠隔操縦プログラム
WO2020044954A1 (ja) 2018-08-31 2020-03-05 パイオニア株式会社 画像制御プログラム、画像制御装置及び画像制御方法

Also Published As

Publication number Publication date
JP2022019163A (ja) 2022-01-27

Similar Documents

Publication Publication Date Title
US11789461B2 (en) Autonomous vehicle collision mitigation systems and methods
US11414080B2 (en) Vehicle control device, vehicle control method, and storage medium
CN107807634B (zh) 用于车辆的驾驶辅助装置
US20160304126A1 (en) Vehicle control device
EP3816751B1 (en) Method and device of determining guide path, method of controlling driving of vehicle, and electronic apparatus
WO2019112799A1 (en) Improving safety of autonomous vehicles using a virtual augmented support environment
JPWO2017158768A1 (ja) 車両制御システム、車両制御方法、および車両制御プログラム
US20210027625A1 (en) Image display device
JP2001052297A (ja) 安全走行支援装置、その方法及び記録媒体
KR20210060647A (ko) 다중 차선 방향전환 전체에 걸친 차량들의 제어
JP2001301484A (ja) 安全走行支援装置、その方法及び記録媒体
JP2022526376A (ja) 自律型車両の例外処理
JP6636484B2 (ja) 走行制御装置、走行制御方法およびプログラム
JP7379033B2 (ja) 運転支援方法及び運転支援装置
JP7521613B2 (ja) 表示制御装置及び表示制御方法
JP2024075621A (ja) 車両用表示制御装置、車両用表示制御システム、及び車両用表示制御方法
JP2022019169A (ja) 情報処理装置、情報処理方法、および、コンピュータプログラム
JP7477821B2 (ja) 情報処理装置、情報処理方法、および、コンピュータプログラム
US20230331230A1 (en) Navigating minor-major intersections with an autonomous vehicle
JP2021028587A (ja) 車載表示制御装置
WO2023194793A1 (ja) 情報提供装置及び情報提供方法
US20240106989A1 (en) Vehicle display control device and non-transitory computer-readable medium
JP2019049513A (ja) 車両走行制御方法及び装置
JP2022020103A (ja) 走行制御装置、自律走行移動体、走行制御方法、および、コンピュータプログラム
JP2023169524A (ja) 車両の運転支援方法及び運転支援装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200728

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230714

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231227

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240410

R150 Certificate of patent or registration of utility model

Ref document number: 7477821

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150