JP7477426B2 - Navigation device, navigation method, and computer program - Google Patents
Navigation device, navigation method, and computer program Download PDFInfo
- Publication number
- JP7477426B2 JP7477426B2 JP2020179342A JP2020179342A JP7477426B2 JP 7477426 B2 JP7477426 B2 JP 7477426B2 JP 2020179342 A JP2020179342 A JP 2020179342A JP 2020179342 A JP2020179342 A JP 2020179342A JP 7477426 B2 JP7477426 B2 JP 7477426B2
- Authority
- JP
- Japan
- Prior art keywords
- communication quality
- quality
- route
- acceptable
- communication
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 40
- 238000004590 computer program Methods 0.000 title claims description 6
- 238000004891 communication Methods 0.000 claims description 242
- 238000004364 calculation method Methods 0.000 claims description 29
- 238000012384 transportation and delivery Methods 0.000 description 40
- 238000012544 monitoring process Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 12
- 238000010586 diagram Methods 0.000 description 8
- 238000003384 imaging method Methods 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 4
- 238000011156 evaluation Methods 0.000 description 4
- 230000004044 response Effects 0.000 description 4
- 238000004422 calculation algorithm Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000010295 mobile communication Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000011144 upstream manufacturing Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 230000002040 relaxant effect Effects 0.000 description 1
Images
Landscapes
- Navigation (AREA)
- Traffic Control Systems (AREA)
Description
本発明は、ナビゲーション装置、ナビゲーション方法及びコンピュータプログラムに関する。 The present invention relates to a navigation device, a navigation method, and a computer program.
近年、自律的に移動するロボットを無線通信により遠隔で操作するための技術が検討されている。例えば特許文献1には、移動経路内の障害物が検出されたときに、自律走行を継続するか、又は遠隔操作に切り替えるかを決定し、自律走行から遠隔操作に切り替える場合、遠隔操作を促す信号を外部端末に送信するとともに、遠隔操作を指示する信号を外部端末から受信する、自律走行ロボットが記載されている。
In recent years, technology has been developed to remotely control autonomously moving robots via wireless communication. For example,
しかし、上述した従来の技術では、自律走行から遠隔操作に切り替える時に、自律走行ロボットと外部端末との間の無線通信が切断されていたり途切れたりしていると、自律走行ロボットに対して円滑に遠隔操作を実施することができない。また、ロボットを遠隔操作する場合には、ロボットを問題なく遠隔操作することができる通信品質が確保されることが望ましい。 However, with the conventional technology described above, if the wireless communication between the autonomous robot and the external terminal is cut off or interrupted when switching from autonomous driving to remote control, the autonomous robot cannot be smoothly remotely controlled. Furthermore, when remotely controlling a robot, it is desirable to ensure communication quality that allows the robot to be remotely controlled without any problems.
本発明は、このような事情を考慮してなされたものであり、その目的は、無線通信により移動体を遠隔操作する際の安定的な遠隔操作の実現を図ることにある。 The present invention was made in consideration of these circumstances, and its purpose is to achieve stable remote control of a moving object via wireless communication.
(1)本発明の一態様は、遠隔操作が無線通信回線を介して行われる移動体に対して出発地から目的地に到達する経路を示す経路情報を提供するナビゲーション装置であり、位置と当該位置における通信品質とが関連付けて記録された位置通信品質情報を格納する位置通信品質格納部と、遠隔操作に関わる通信において許容される通信品質である許容品質を判定する許容品質判定部と、前記経路の候補に対して通信品質が考慮されない場合の移動体の移動に関するコストを算出し、前記許容品質と前記位置通信品質格納部に格納されている位置通信品質情報とに基づいて、通信品質が前記許容品質を満たさない場合に、通信品質と前記許容品質との差が大きいほど、前記算出したコストに大きな値を加算し、加算の結果である総合リンクコストを算出するコスト算出部と、前記算出された総合リンクコストに基づいて前記経路の候補の中から前記経路を探索する経路探索部と、を備えるナビゲーション装置である。
(2)本発明の一態様は、前記許容品質判定部は、前記経路の候補に対して、道路情報、屋外人口密度、前記移動体の種類及び前記移動体に対する遠隔操作の内容のうち少なくとも一つに基づいて、前記許容品質を判定する、上記(1)のナビゲーション装置である。
(3)本発明の一態様は、前記許容品質判定部は、道路幅が狭いほど、又は道路上に人が密集しているほど、前記許容品質を高い通信品質にする、上記(2)のナビゲーション装置である。
(4)本発明の一態様は、前記許容品質判定部は、遠隔操作者の操作スキルレベルに基づいて、前記許容品質を判定する、上記(1)から(3)のいずれかのナビゲーション装置である。
(5)本発明の一態様は、前記許容品質の判定結果に基づいて、前記移動体に割り当てられている遠隔操作者の操作スキルレベルとは異なる操作スキルレベルを有する遠隔操作者を前記移動体に割り当てる操作者割当部、をさらに備える上記(4)のナビゲーション装置である。
(6)本発明の一態様は、前記通信品質は、前記移動体がデータを送信する方向及び受信する方向のそれぞれにおけるスループット、遅延、ジッタ及びパケットロスのうち少なくとも一つである、上記(1)から(5)のいずれかのナビゲーション装置である。
(7)本発明の一態様は、前記移動体は、無線通信回線を介して受信する命令に従って、自律的に移動する自律モードと遠隔操作に従って移動する遠隔操作モードとを切り替えるロボットである、上記(1)から(6)のいずれかのナビゲーション装置である。
(1) One aspect of the present invention is a navigation device that provides route information indicating a route from a departure point to a destination for a mobile body that is remotely controlled via a wireless communication line, and includes a position communication quality storage unit that stores position communication quality information in which a position and communication quality at the position are associated and recorded, an acceptable quality determination unit that determines an acceptable quality, which is a communication quality that is acceptable for communication related to remote control, a cost calculation unit that calculates a cost related to movement of the mobile body when communication quality is not taken into consideration for the candidate route based on the acceptable quality and the position communication quality information stored in the position communication quality storage unit, and if the communication quality does not satisfy the acceptable quality, adds a larger value to the calculated cost based on the acceptable quality and the position communication quality information stored in the position communication quality storage unit, and calculates an overall link cost that is the result of the addition , and a route search unit that searches for the route from among the candidate routes based on the calculated overall link cost .
(2) One aspect of the present invention is the navigation device of (1) above, in which the acceptable quality determination unit determines the acceptable quality for the candidate routes based on at least one of road information, outdoor population density, the type of the moving body, and the contents of remote control of the moving body.
(3) One aspect of the present invention is the navigation device of (2) above, wherein the acceptable quality determination unit sets the acceptable quality to a higher communication quality the narrower the road is or the more people are concentrated on the road .
(4) One aspect of the present invention is the navigation device according to any one of (1) to (3) above, wherein the acceptable quality determination unit determines the acceptable quality based on an operation skill level of a remote operator.
(5) One aspect of the present invention is the navigation device described above in (4), further comprising an operator assignment unit that assigns to the mobile body a remote operator having an operation skill level different from the operation skill level of the remote operator assigned to the mobile body based on the result of the judgment of the acceptable quality.
(6) One aspect of the present invention is a navigation device of any of (1) to (5) above, wherein the communication quality is at least one of throughput, delay, jitter, and packet loss in each of the directions in which the mobile device transmits and receives data.
(7) One aspect of the present invention is the navigation device of any of (1) to (6) above, wherein the moving body is a robot that switches between an autonomous mode in which the moving body moves autonomously and a remote control mode in which the moving body moves according to remote control in accordance with instructions received via a wireless communication line.
(8)本発明の一態様は、遠隔操作が無線通信回線を介して行われる移動体に対して出発地から目的地に到達する経路を示す経路情報を提供するナビゲーション方法であり、位置と当該位置における通信品質とが関連付けて記録された位置通信品質情報を位置通信品質格納部に格納する位置通信品質格納ステップと、遠隔操作に関わる通信において許容される通信品質である許容品質を判定する許容品質判定ステップと、前記経路の候補に対して通信品質が考慮されない場合の移動体の移動に関するコストを算出し、前記許容品質と前記位置通信品質格納部に格納されている位置通信品質情報とに基づいて、通信品質が前記許容品質を満たさない場合に、通信品質と前記許容品質との差が大きいほど、前記算出したコストに大きな値を加算し、加算の結果である総合リンクコストを算出するコスト算出ステップと、前記算出された総合リンクコストに基づいて前記経路の候補の中から前記経路を探索する経路探索ステップと、を含むナビゲーション方法である。 (8) One aspect of the present invention is a navigation method for providing route information indicating a route from a departure point to a destination to a mobile body that is remotely controlled via a wireless communication line, the navigation method including: a position communication quality storage step of storing position communication quality information, in which a position and communication quality at the position are associated and recorded, in a position communication quality storage unit; an acceptable quality determination step of determining an acceptable quality, which is communication quality that is acceptable for communication related to remote control; a cost calculation step of calculating a cost related to movement of the mobile body when communication quality is not taken into consideration for the candidate route, and, based on the acceptable quality and the position communication quality information stored in the position communication quality storage unit , if the communication quality does not satisfy the acceptable quality, adding a larger value to the calculated cost based on the acceptable quality and the position communication quality information stored in the position communication quality storage unit, and calculating an overall link cost that is the result of the addition; and a route search step of searching for the route from among the candidate route based on the calculated overall link cost .
(9)本発明の一態様は、遠隔操作が無線通信回線を介して行われる移動体に対して出発地から目的地に到達する経路を示す経路情報を提供するナビゲーション装置のコンピュータに、位置と当該位置における通信品質とが関連付けて記録された位置通信品質情報を位置通信品質格納部に格納する位置通信品質格納ステップと、遠隔操作に関わる通信において許容される通信品質である許容品質を判定する許容品質判定ステップと、前記経路の候補に対して通信品質が考慮されない場合の移動体の移動に関するコストを算出し、前記許容品質と前記位置通信品質格納部に格納されている位置通信品質情報とに基づいて、通信品質が前記許容品質を満たさない場合に、通信品質と前記許容品質との差が大きいほど、前記算出したコストに大きな値を加算し、加算の結果である総合リンクコストを算出するコスト算出ステップと、前記算出された総合リンクコストに基づいて前記経路の候補の中から前記経路を探索する経路探索ステップと、を実行させるためのコンピュータプログラムである。
(9) One aspect of the present invention is a computer program for causing a computer of a navigation device that provides route information indicating a route from a starting point to a destination to a mobile body that is remotely controlled via a wireless communication line to execute the following steps: a position communication quality storage step of storing position communication quality information in a position communication quality storage unit, the position and the communication quality at the position being associated and recorded; an acceptable quality determination step of determining an acceptable quality , which is a communication quality that is acceptable for communication related to remote control; a cost calculation step of calculating a cost related to movement of the mobile body when communication quality is not taken into consideration for the candidate route based on the acceptable quality and the position communication quality information stored in the position communication quality storage unit , and, if the communication quality does not satisfy the acceptable quality, adding a larger value to the calculated cost based on the acceptable quality and the position communication quality information stored in the position communication quality storage unit, and calculating an overall link cost that is the result of the addition; and a route search step of searching for the route from among the candidate route based on the calculated overall link cost .
本発明によれば、無線通信により移動体を遠隔操作する際の安定的な遠隔操作の実現を図ることができるという効果が得られる。 The present invention has the effect of realizing stable remote control of a moving object via wireless communication.
以下、図面を参照し、本発明の実施形態について説明する。本実施形態では、自律的に移動するロボット(以下、移動ロボットと称する)を使用して配送を行う配送サービスシステムにおけるナビゲーションシステムを例に挙げて説明する。 The following describes an embodiment of the present invention with reference to the drawings. In this embodiment, a navigation system in a delivery service system that uses autonomously moving robots (hereinafter referred to as mobile robots) to make deliveries is used as an example.
図1は、一実施形態に係るナビゲーションシステム10の構成例を示すブロック図である。図1において、移動ロボット2は、ナビゲーション装置4との間で無線通信回線を介して通信を行う。移動ロボット2は、移動体の一例である。ナビゲーション装置4は、移動ロボット2に対して出発地から目的地に到達する経路を示す経路情報を提供する。
Fig. 1 is a block diagram showing an example of the configuration of a
本実施形態に係るナビゲーション装置4は、ナビゲーション機能に加えてさらに遠隔監視操作機能を備える。なお、遠隔監視操作機能については、移動ロボット2の外部のナビゲーション装置4以外の他の装置が備えてもよい。
The
ナビゲーション装置4は、遠隔監視操作機能により、移動ロボット2を無線通信により遠隔で監視したり操作したりする。例えば、ナビゲーション装置4は、移動ロボット2が撮像する画像や収音する音を移動ロボット2から無線通信回線を介して受信し、受信した画像や音を表示や再生する。監視者が当該画像や当該音を視聴することにより、リアルタイムで移動ロボット2の移動の状況の監視が行われる。また、移動ロボット2を遠隔で操作する遠隔操作者は、当該画像や当該音を視聴することにより、リアルタイムで移動ロボット2の移動の状況を認識して移動ロボット2の遠隔操作を行う。
The
また、ナビゲーション装置4は、移動ロボット2に対して、自律モードから遠隔操作モードに切り替える遠隔操作切替命令及び遠隔操作モードを解除する遠隔操作解除命令を無線通信により送信する。自律モードは、移動ロボット2が自律的に移動する動作モードである。遠隔操作モードは、移動ロボット2が遠隔操作に従って移動する動作モードである。
The
移動ロボット2は、ナビゲーション装置4から無線通信により遠隔操作切替命令を受信すると、動作モードを自律モードから遠隔操作モードに切り替え、以後は遠隔操作に従って移動する。移動ロボット2は、ナビゲーション装置4から無線通信により遠隔操作解除命令を受信すると、動作モードを遠隔操作モードから自律モードに切り替え、以後は自律的に移動する。
When the mobile robot 2 receives a remote control switching command from the
上述したように、本実施形態に係る配送サービスシステムでは、移動ロボット2に対する監視や操作を無線通信により遠隔で行う。このため、移動ロボット2における安定的な無線通信の実現が要求される。そして、移動ロボット2における安定的な無線通信が実現されることにより、無線通信により移動ロボット2を遠隔操作する際の安定的な遠隔操作の実現を図ることができる。そこで、本実施形態では、ナビゲーション装置4が、移動ロボット2における安定的な無線通信の実現を図るための経路情報を提供する。さらには、ナビゲーション装置4が、移動ロボット2に対する安定的な遠隔操作の実現に寄与する経路情報を提供する。
As described above, in the delivery service system according to this embodiment, the mobile robot 2 is monitored and operated remotely via wireless communication. For this reason, it is required to achieve stable wireless communication in the mobile robot 2. By achieving stable wireless communication in the mobile robot 2, it is possible to achieve stable remote operation of the mobile robot 2 via wireless communication. Therefore, in this embodiment, the
以下、図1を参照して本実施形態に係るナビゲーションシステム10の構成を説明する。
The configuration of the
[利用者端末]
利用者端末1は、本実施形態に係る配送サービスシステムの利用者(以下、配送サービス利用者と称する)が利用する端末である。配送サービス利用者は、荷物を配送する宛先である目的地を指定して配送を依頼する。利用者端末1は、スマートフォンやタブレット型のコンピュータ(タブレットPC)等の携帯通信端末装置であってもよく、又は据置き型の通信端末装置(例えば据置き型のパーソナルコンピュータ等)であってもよい。
[User terminal]
The
利用者端末1は、商品発注部101と、目的地情報入力部102とを備える。商品発注部101は、配送サービス利用者による操作に応じて、商品の選択及び選択した商品の発注を行う。
The
なお、商品発注部101は、配送サービス利用者が所有する物品の残量をリアルタイムに管理し、物品の残量が予め設定された閾値以下になったときに、補充用の商品を自動的に発注してもよい。
The
目的地情報入力部102は、商品発注部101が商品を発注する際に、住所等の目的地を示す目的地情報を入力する。目的地情報は、配送サービス利用者が毎回指定してもよく、又は目的地情報入力部102が過去に配送サービス利用者から指定された目的地情報を記録しておき当該記録の目的地情報を自動的に再利用してもよい。
The destination
また、目的地情報入力部102は、利用者端末1が備えるGPS(Global Positioning System)による測位機能を用いて、GPSで取得した現在位置を目的地としてもよい。また、目的地情報入力部102は、利用者端末1のカメラで撮影した利用者端末1の周囲の景色の画像を目的地の参考情報として目的地情報に付加してもよい。
The destination
[移動ロボット]
移動ロボット2は、自律走行可能なロボットである。移動ロボット2は、例えば、街中を走行し、配送サービス利用者が指定した目的地まで荷物を配送する。
[Mobile robot]
The mobile robot 2 is a robot capable of autonomous travel. The mobile robot 2 travels, for example, within a city and delivers packages to destinations designated by delivery service users.
移動ロボット2は、現在位置取得部201と、状態取得部202と、無線通信部203と、経路情報格納部204と、撮像部205と、動作判断部206と、動作制御部207と、遠隔操作切替部208と、遠隔操作部209と、を備える。
The mobile robot 2 includes a current position acquisition unit 201, a
現在位置取得部201は、GPS等の測位システムによって、現在位置(位置情報)を取得する。状態取得部202は、移動ロボット2に備わっている各種センサから、バッテリー残量や温度や移動速度等の状態データ(状態情報)を取得する。
The current position acquisition unit 201 acquires the current position (position information) using a positioning system such as GPS. The
無線通信部203は、ナビゲーション装置4との間で無線通信を行う。無線通信部203は、例えばLTE(Long Term Evolution)や5G(第5世代移動通信システム)等の無線通信方式に対応し、自己が対応する無線通信方式の基地局を介して無線通信を行う。また、無線通信部203は、Wi-Fi(登録商標)等のアンライセンス系の無線通信方式に対応し、当該アンライセンス系の無線通信方式により無線通信を行ってもよい。
The
無線通信部203は、現在位置取得部201や状態取得部202や撮像部205により得られた情報をナビゲーション装置4の運用監視部401へ送信する。また、無線通信部203は、ナビゲーション装置4の経路配信部417から送信された経路情報を受信して経路情報格納部204に格納する。経路情報格納部204に格納された経路情報は、移動ロボット2の動作の判断に活用される。
The
無線通信部203は、ナビゲーション装置4の遠隔操作命令発出部419から受信した遠隔操作切替命令を遠隔操作切替部208に送信する。遠隔操作切替部208は、遠隔操作切替命令に従って、移動ロボット2の動作モードを自律モードから遠隔操作モードに切り替える。無線通信部203は、ナビゲーション装置4の遠隔操作命令発出部419から受信した遠隔操作コマンドを遠隔操作部209に送信する。遠隔操作コマンドは、遠隔操作者の操作に応じてナビゲーション装置4の遠隔操作命令発出部419から送信される。遠隔操作コマンドとして、例えば前進や後退や右折や左折等がある。遠隔操作部209は、遠隔操作モードにおいて、遠隔操作コマンドに応じて動作制御部207を制御する。
The
無線通信部203は、ナビゲーション装置4の遠隔操作命令発出部419から受信した遠隔操作解除命令を遠隔操作切替部208に送信する。遠隔操作切替部208は、遠隔操作解除命令に従って、移動ロボット2の動作モードを遠隔操作モードから自律モードに切り替える。
The
撮像部205は、移動ロボット2の進行方向を撮像する。撮像部205は、遠隔操作モードにおいて、撮像した映像をリアルタイムで無線通信部203を介してナビゲーション装置4へ送信する。これは、遠隔操作モードにおいて、遠隔操作者が、撮像部205により撮像された映像を見ながら移動ロボット2を操作するためである。
The
動作判断部206は、移動ロボット2の次の動作を判断する。動作判断部206は、経路情報格納部204に格納されている経路情報に示される経路を移動する際に、現在位置取得部201で取得した現在位置や撮像部205で撮像した撮像画像等を用いて、移動ロボット2の周囲の環境に合わせた動作を判断する。
The
動作制御部207は、動作判断部206で判断した動作を移動ロボット2に実行させる。但し、遠隔操作モードでは、遠隔操作部209による制御に応じた動作を移動ロボット2に実行させる。動作制御部207は、移動ロボット2の前進や後退や右左折等の走行種別及び走行速度、並びに撮像部205の撮像方向の変更等の走行以外の動作種別を制御する。
The
[携帯端末]
携帯端末3は、スマートフォンやタブレットPC等の携帯通信端末装置である。携帯端末3は、利用者端末1として利用されるものであってもよく、又は利用者端末1とは別個のものであってもよい。携帯端末3として、例えば、特定の無線通信キャリアに加入した加入者により当該無線通信キャリアとの間で位置情報取得の合意が取れている全ての加入者の携帯端末を対象としてもよい。
[Mobile devices]
The
携帯端末3は、自己が対応する無線通信方式及び無線周波数帯ごとに、現在位置(位置情報)と当該現在位置における通信品質(通信品質情報)とを定期的にナビゲーション装置4へ報告する。
The
[ナビゲーション装置]
ナビゲーション装置4は、一又は複数の移動ロボット2に対して出発地から目的地までのナビゲーションを行う。また、ナビゲーション装置4は、一又は複数の移動ロボット2に対して遠隔で運用監視及び操作を行う。
[Navigation device]
The
ナビゲーション装置4は、運用監視部401と、運用情報格納部402と、通信品質取得部403と、位置・通信品質格納部404と、地図情報格納部405と、携帯端末位置情報格納部406と、屋外人口密度推計部407と、移動コスト算出部408と、オーダー情報格納部409と、目的地取得部410と、ロボット情報格納部411と、操作内容格納部412と、操作者スキル情報格納部413と、操作者割当部414と、許容品質判定部415と、経路探索部416と、経路配信部417と、遠隔操作実施判定部418と、遠隔操作命令発出部419と、を備える。
The
ナビゲーション装置4の各機能は、ナビゲーション装置4がCPU(Central Processing Unit:中央演算処理装置)及びメモリ等のコンピュータハードウェアを備え、CPUがメモリに格納されたコンピュータプログラムを実行することにより実現される。なお、ナビゲーション装置4として、汎用のコンピュータ装置を使用して構成してもよく、又は、専用のハードウェア装置として構成してもよい。例えば、ナビゲーション装置4は、インターネット等の通信ネットワークに接続されるサーバコンピュータを使用して構成されてもよい。また、ナビゲーション装置4の各機能はクラウドコンピューティングにより実現されてもよい。また、ナビゲーション装置4は、単独のコンピュータにより実現するものであってもよく、又はナビゲーション装置4の機能を複数のコンピュータに分散させて実現するものであってもよい。また、ナビゲーション装置4として、例えばWWWシステム等を利用してウェブサイトを開設するように構成してもよい。
The functions of the
運用監視部401は、一又は複数の移動ロボット2に対して運用監視を行う。運用監視部401は、移動ロボット2からリアルタイムに受信した位置情報や状態情報を当該移動ロボット2の個体を識別する情報(移動ロボットID)と関連付けて、運用監視を行う。運用監視部401は、定期的に、例えば1秒間隔で更新される情報(位置情報や状態情報)に基づいて運用監視する。運用監視部401は、移動ロボット2から受信した位置情報や状態情報を解析し、移動ロボット2の障害を検出した場合には、例えば、監視者に対して警報を発出する。運用情報格納部402は、障害発生時の原因究明や将来の対策検討のために、運用監視部401が移動ロボット2から受信した情報(位置情報や状態情報)を格納する。
The
通信品質取得部403は、ナビゲーション装置4と移動ロボット2との間で無線通信回線を介して行われる通信についての通信品質を示す通信品質情報を取得する。通信品質取得部403は、移動ロボット2(無線通信部203)が対応する無線通信方式及び無線周波数帯ごとに、移動ロボット2(無線通信部203)がナビゲーション装置4との間で無線通信を行う際の通信品質(通信品質情報)を取得する。
The communication
通信品質情報は、例えば、移動ロボット2がデータを送信する方向(上り方向)及び受信する方向(下り方向)のそれぞれにおけるスループットや遅延やジッタやパケットロス等を示す情報である。通信品質情報は、上り方向及び下り方向のそれぞれにおけるスループット、遅延、ジッタ及びパケットロスのうち少なくとも一つを示す情報であってもよい。 The communication quality information is, for example, information indicating the throughput, delay, jitter, packet loss, etc. in each of the directions in which the mobile robot 2 transmits data (upstream direction) and receives data (downstream direction). The communication quality information may be information indicating at least one of the throughput, delay, jitter, and packet loss in each of the upstream direction and downstream direction.
遠隔操作者が移動ロボット2を遠隔操作しているときには移動ロボット2から高速大容量の映像が送信されるので、通信品質取得部403は、通信品質情報としてスループット、遅延、ジッタ及びパケットロスを取得することができる。一方、移動ロボット2が自律モードで自律的に移動しているときには移動ロボット2から低速小容量の位置情報や状態情報のみが送信されるので、通信品質取得部403は、通信品質情報として遅延及びジッタのみを取得することができる。
When the remote operator is remotely operating the mobile robot 2, high-speed, large-volume video is transmitted from the mobile robot 2, so the communication
位置・通信品質格納部404は、無線通信方式及び無線周波数帯ごとに、位置情報と通信品質情報とが関連付けて記録された位置通信品質情報を格納する。位置通信品質情報は、日付や曜日や時間帯やイベントごとに、それぞれ設けられてもよい。例えば、平日(月曜から金曜まで)の位置通信品質情報と、休日(土曜、日曜及び祝日)の位置通信品質情報とがそれぞれ設けられてもよい。例えば、昼間の時間帯の位置通信品質情報と、夜間の時間帯の位置通信品質情報とがそれぞれ設けられてもよい。例えば、お正月やゴールデンウィークやお盆の期間の位置通信品質情報が設けられてもよい。
The location and communication
図2は、本実施形態に係る位置・通信品質格納部404の構成例を示す図である。図2の例では、位置・通信品質格納部404は、無線通信方式「LTE」について、無線周波数帯_LTE_aの位置通信品質情報4041や無線周波数帯_LTE_bの位置通信品質情報4042等を格納している。また、位置・通信品質格納部404は、無線通信方式「5G」について、無線周波数帯_5G_aの位置通信品質情報4043や無線周波数帯_5G_bの位置通信品質情報4044等を格納している。
Fig. 2 is a diagram showing an example of the configuration of the position/communication
なお、LTEの無線周波数帯として、例えばBand1(2.1GHz)やBand18(800MHz)等が利用される。また、5Gの無線周波数帯として、例えば28GHz帯等が利用される。 LTE uses radio frequency bands such as Band 1 (2.1 GHz) and Band 18 (800 MHz). 5G uses radio frequency bands such as the 28 GHz band.
例えば、位置通信品質情報4041は、無線通信方式「LTE」の無線周波数帯_LTE_aの各位置_a,位置_b,・・・における各通信品質_LTE_a_a,通信品質_LTE_a_b,・・・が関連付けて記録された情報である。例えば、位置通信品質情報4043は、無線通信方式「5G」の無線周波数帯_5G_aの各位置_a,位置_b,・・・における各通信品質_5G_a_a,通信品質_5G_a_b,・・・が関連付けて記録された情報である。
For example, the position
位置通信品質情報に記録される位置情報及び通信品質情報は、通信品質取得部403が取得した通信品質情報及び当該取得時の移動ロボット2の現在位置(位置情報)である。なお、通信品質取得部403以外の例えば携帯端末3等の他の装置によって測定された位置情報及び通信品質情報が位置通信品質情報に記録されてもよい。
The position information and communication quality information recorded in the position communication quality information are the communication quality information acquired by the communication
また、位置情報は、例えばGPS座標である。GPS座標を取得することができない屋内施設等に対しては、IMES(Indoor MEssaging System)等の屋内測位技術により取得された絶対位置情報を位置情報に利用してもよい。また、通信品質情報は、上り方向及び下り方向のそれぞれにおけるスループット、遅延、ジッタ及びパケットロスのうち少なくとも一つを示す情報である。 The location information is, for example, GPS coordinates. For indoor facilities where GPS coordinates cannot be obtained, absolute location information obtained by indoor positioning technology such as IMES (Indoor MEssaging System) may be used as the location information. The communication quality information is information indicating at least one of the throughput, delay, jitter, and packet loss in each of the uplink and downlink directions.
地図情報格納部405は、全国の道路地図データや、それに付随する各種施設や店舗等の施設データ等を格納する。道路地図データは、例えば、地図上の道路を、交差点等をノードとして複数の部分に分割し、各ノード間の部分をリンクとして規定したリンクデータとして与えられる。このリンクデータは、リンク固有の識別子(リンクID)、リンク長、リンクの始点・終点(ノード)の位置情報(経度、緯度)、角度(方向)データ、道路幅、道路種別などのデータを含んで構成される。道路地図データは、移動ロボット2が通行可能なレーンを示すレーン情報を含んでもよい。また、地図情報格納部405は、さらに屋内地図データを格納してもよい。
The map
携帯端末位置情報格納部406は、各携帯端末3の位置情報の履歴を格納する。例えば、各携帯端末3のGPS座標を時刻に関連付けて格納する。
The mobile terminal location
屋外人口密度推計部407は、携帯端末位置情報格納部406に格納されている位置情報の履歴に基づいて各々の携帯端末3が屋内にいたか又は屋外にいたかを判定し、この判定結果に基づいて、予め設定されたエリアごとに屋外人口密度を推計する。屋外人口密度は、屋外に存在する人の単位面積あたりの人数である。屋外人口密度推計部407によって求められた屋外人口密度は、地図情報格納部405の道路地図データ内の該当するリンクデータに関連付けて地図情報格納部405に格納される。
The outdoor population
屋外人口密度推計部407は、例えば、ある携帯端末3について、位置情報の変化が一定未満であってほとんど変化がないと判断される場合には屋内にいたと判定し、当該位置情報の変化が一定以上であってある程度変化していると判断される場合には屋外にいたと判定する。
For example, the outdoor population
また、屋外人口密度推計部407は、各々の携帯端末3の位置情報と、地図情報格納部405に格納されている道路地図データとを比較してマップマッチングを行い、携帯端末3が道路を利用していたと推定してもよい。マップマッチングは、GPSによって得られた、誤差を含んでいる可能性のある位置情報を、地図情報を用いて道路上になるように補正する処理である。マップマッチングは、例えばカーナビゲーションシステムなどで利用されている。
The outdoor population
また、屋外人口密度推計部407は、携帯端末3の移動速度に基づいて、当該携帯端末3の移動手段が歩行であるか又は車両であるかを判定してもよい。
The outdoor population
なお、屋外人口密度推計部407は、月や曜日や時間帯ごとに、それぞれの屋外人口密度を推計してもよい。これは、同じエリアであっても、月や曜日や時間帯等によって屋外人口密度が大きく変化する場合があるからである。
The outdoor population
また、屋外人口密度推計部407は、携帯端末3の位置情報を用いる方法とは異なる他の方法によって、屋外人口密度を推計してもよい。屋外人口密度推計部407は、例えば、移動ロボット2が撮影した映像を利用し、撮影された映像に対する人の画像認識結果に基づいて屋外人口密度を推計してもよい。
The outdoor population
移動コスト算出部408は、地図情報格納部405に格納されている情報や位置・通信品質格納部404に格納されている位置通信品質情報や後述する許容品質判定部415による許容品質の判定結果等に基づいて、各道路の各リンクに対して、無線通信方式及び無線周波数帯ごとに総合リンクコストを算出する。移動コスト算出部408は、少なくとも位置・通信品質格納部404に格納されている位置通信品質情報と許容品質判定部415による許容品質の判定結果とに基づいて、総合リンクコストを算出する。移動コスト算出部408によって求められた総合リンクコストは、地図情報格納部405の道路地図データ内の該当するリンクデータに関連付けて地図情報格納部405に格納される。
The travel cost calculation unit 408 calculates an overall link cost for each link of each road for each wireless communication method and wireless frequency band based on the information stored in the map
許容品質とは、遠隔操作に関わる通信において許容される通信品質のことを言う。本実施形態では、許容品質は、移動ロボット2に対する遠隔操作に関わる通信において許容される通信品質である。 The acceptable quality refers to the communication quality that is acceptable for communication related to remote control. In this embodiment, the acceptable quality is the communication quality that is acceptable for communication related to remote control of the mobile robot 2.
移動コスト算出部408は、許容品質判定部415による許容品質の判定結果と位置・通信品質格納部404に格納されている位置通信品質情報とに基づいて、通信品質が許容品質の判定結果を満たさないと低評価になるように、各道路の各リンクに対して重み付けを行う。例えば、移動コスト算出部408は、位置通信品質情報に記録されている通信品質が許容品質の判定結果を満たさないと判断される道路のリンクに対して、総合リンクコストが最も大きくなるように重み付けを行ってもよい。
The travel cost calculation unit 408 weights each link of each road based on the result of the judgment of the acceptable quality by the acceptable
ここで、後述する経路探索部416では、出発地から目的地へ向けて、次に到達できる交差点(ノード)までの道路(リンク)のコストの計算(積算)を順次行なっていき、出発地から目的地までが最小コストとなる経路を選択する。したがって、道路に小さな総合リンクコストの値を設定すると、その道路は経路として選択され易くなる。一方、道路に大きな総合リンクコストの値を設定すると、その道路は経路として選択されにくくなる、更にはその道路は経路として選択されなくなる。このことから、通信品質が許容品質の判定結果を満たさないと低評価になるように、各道路の各リンクに対して重み付けを行うことによって、通信品質が許容品質の判定結果を満たさないリンクが経路に選択されにくくなる、更には通信品質が許容品質の判定結果を満たさないリンクが経路に選択されなくなるので、移動ロボット2に対する安定的な遠隔操作の実現に寄与する経路情報を提供することができる。
The
また、移動コスト算出部408は、屋外人口密度に基づいて総合リンクコストを算出してもよい。移動コスト算出部408は、屋外人口密度が閾値以上である道路のリンクに対して、総合リンクコストが大きくなるように重み付けを行ってもよい。これにより、移動ロボット2が人が少ない道路を走行することを図る。 The movement cost calculation unit 408 may also calculate the overall link cost based on the outdoor population density. The movement cost calculation unit 408 may weight the links of roads where the outdoor population density is equal to or greater than a threshold value so that the overall link cost is large. This allows the mobile robot 2 to travel on roads with fewer people.
また、移動コスト算出部408は、移動ロボット2の種類と移動ロボット2による配送の内容とのうち少なくとも一方と、各道路の各リンクの道路状態とに基づいて、総合リンクコストを算出してもよい。移動ロボット2の種類は、移動ロボット2のサイズや構造等によって分類される。また、移動ロボット2の種類は、移動ロボット2が利用可能な無線通信方式及び無線周波数帯によって分類される。移動ロボット2による配送の内容は、例えば、移動ロボット2が配送する荷物の種類や積載見込み量等である。 The movement cost calculation unit 408 may also calculate the total link cost based on at least one of the type of the mobile robot 2 and the contents of the delivery by the mobile robot 2, and the road conditions of each link of each road. The type of the mobile robot 2 is classified according to the size, structure, etc. of the mobile robot 2. The type of the mobile robot 2 is also classified according to the wireless communication method and wireless frequency band that the mobile robot 2 can use. The contents of the delivery by the mobile robot 2 are, for example, the type of cargo delivered by the mobile robot 2 and the expected load amount.
例えば、移動コスト算出部408は、閾値未満の道幅の道路のリンクに対して、小型の移動ロボット2の場合には安全に走行することができるので総合リンクコストを大きくしないが、大型の移動ロボット2の場合には総合リンクコストを大きくする。また、移動コスト算出部408は、移動ロボット2の構造によっては道路の段差を乗り越えることが困難である場合が想定されるので、該当する種類の移動ロボット2には、段差が存在する道路のリンクに対して、総合リンクコストを大きくする。また、移動コスト算出部408は、移動ロボット2が配送する荷物の種類が割れ物である場合には、凸凹が少ない道路を走行することが好ましいので、凸凹が少ない道路のリンクの総合リンクコストを小さくする一方、凸凹が多い道路のリンクの総合リンクコストを大きくする。 For example, the movement cost calculation unit 408 does not increase the total link cost for links of roads with a width less than the threshold value because a small mobile robot 2 can travel safely, but increases the total link cost for a large mobile robot 2. Also, since it is assumed that depending on the structure of the mobile robot 2, it may be difficult for the robot 2 to overcome steps in the road, the movement cost calculation unit 408 increases the total link cost for links of roads with steps for the relevant type of mobile robot 2. Also, when the type of cargo delivered by the mobile robot 2 is fragile, it is preferable for the robot 2 to travel on roads with few bumps, so the movement cost calculation unit 408 decreases the total link cost of links of roads with few bumps, but increases the total link cost of links of roads with many bumps.
また、移動コスト算出部408は、総合リンクコストの算出に使用する情報として、公知のナビゲーションシステムで使用されている評価要素を使用してもよい。公知のナビゲーションシステムで使用されている評価要素は、例えば、リンクの所要距離、移動にかかる所要時間、道路状況や道幅による重み付け、信号頻度による重み付け、渋滞傾向による重み付け等である。 The travel cost calculation unit 408 may also use evaluation factors used in known navigation systems as information used to calculate the overall link cost. Evaluation factors used in known navigation systems include, for example, the required distance of the link, the required time for travel, weighting based on road conditions and road width, weighting based on the frequency of traffic lights, weighting based on congestion tendency, etc.
オーダー情報格納部409は、利用者端末1から商品発注のオーダー情報を受信し、受信したオーダー情報を格納する。オーダー情報格納部409は、購買システム(図示せず)と連携して購買処理を行い、商品配送計画を策定する。オーダー情報格納部409は、策定した商品配送計画により、移動ロボット2が商品を配送する出発地や目的地や時間帯等の予定配送情報を格納する。目的地取得部410は、オーダー情報格納部409に格納されたオーダー情報から目的地情報を取得する。
The order
ロボット情報格納部411は、各移動ロボット2の種類を示す情報を格納する。操作内容格納部412は、各移動ロボット2の遠隔操作の内容を示す情報を格納する。移動ロボット2の遠隔操作の内容は、例えば前進や右左折等の走行や、ロボットアームの操作などである。操作者スキル情報格納部413は、移動ロボット2の遠隔操作を行う遠隔操作者の候補として登録された各遠隔操作候補者が有する移動ロボット2の遠隔操作スキルのレベル(操作スキルレベル)を示す情報(操作スキル情報)を格納する。
The robot information storage unit 411 stores information indicating the type of each mobile robot 2. The operation
操作者割当部414は、操作者スキル情報格納部413に格納されている操作スキル情報と、後述する許容品質判定部415による許容品質の判定結果に対する満足度とに基づいて、移動ロボット2に割り当てられている遠隔操作者の操作スキルレベルとは異なる操作スキルレベルを有する遠隔操作者を当該移動ロボット2に割り当てる。許容品質の判定結果に対する満足度は、各道路の各リンクの通信品質が許容品質の判定結果を満たす度合いである。例えば、許容品質の判定結果に対する満足度が低いために許容品質を満足する経路を確保することが難しいと判断される場合には、より高い操作スキルレベルを有する遠隔操作者に変更することによって許容品質を緩和することにより、許容品質を満たす経路を確保するように試みる。一方、許容品質の判定結果に対する満足度が高いために許容品質を満足する経路を確保することが容易であると判断される場合には、許容品質の判定結果が満たされることを条件により低い操作スキルレベルを有する遠隔操作者に変更してもよい。
The
許容品質判定部415は、オーダー情報格納部409が策定した商品配送計画に対して、許容品質を判定する。許容品質判定部415は、商品配送計画における出発地から目的地に到達する経路の候補に対して、道路情報、屋外人口密度、移動ロボット2の種類及び移動ロボット2に対する遠隔操作の内容のうち少なくとも一つに基づいて許容品質を判定する。さらには、許容品質判定部415は、遠隔操作者の操作スキルレベルに基づいて許容品質を判定する。
The acceptable
許容品質判定部415は、商品配送計画における配送オーダーで想定されている配送経路の候補における地図情報格納部405に格納されている道路情報に基づいて、許容品質を判定する。例えば、許容品質判定部415は、道路幅が狭いほど許容品質の判定条件を厳しくし、より高い通信品質を課す。これは、道路幅が狭いほど、移動ロボット2が人や障害物を避けるために許容される通信の遅延が短く厳しくなるからである。
The acceptable
許容品質判定部415は、商品配送計画における配送オーダーで想定されている配送経路の候補における地図情報格納部405に格納されている屋外人口密度情報に基づいて、許容品質を判定する。例えば、許容品質判定部415は、道路上に人が密集しているほど許容品質の判定条件を厳しくし、より高い通信品質を課す。これは、道路上に人が密集しているほど、移動ロボット2が人や障害物を避けるために許容される通信の遅延が短く厳しくなるからである。
The acceptable
許容品質判定部415は、商品配送計画における配送オーダーで選定されたロボット情報格納部411に格納されている移動ロボット2の種類の情報に基づいて、許容品質を判定する。例えば、許容品質判定部415は、移動ロボット2の移動速度が速いほど許容品質の判定条件を厳しくし、より高い通信品質を課す。これは、移動ロボット2の移動速度が速いほど、移動ロボット2が人や障害物を避けるために許容される通信の遅延が短く厳しくなるからである。例えば、許容品質判定部415は、移動ロボット2のサイズが大きいほど許容品質の判定条件を厳しくし、より高い通信品質を課す。これは、移動ロボット2のサイズが大きいほど、移動ロボット2が人や障害物を避けるために許容される通信の遅延が短く厳しくなるからである。
The acceptable
許容品質判定部415は、商品配送計画における配送オーダーで想定されている操作内容格納部412に格納されている移動ロボット2に対する遠隔操作の内容の情報に基づいて、許容品質を判定する。例えば、許容品質判定部415は、移動ロボット2に対する遠隔操作の内容に例えばロボットアームの操作等の複雑な操作が含まれる場合、許容品質の判定条件を厳しくし、より高い通信品質を課す。これは、ロボットアームの操作等の複雑な操作が遠隔で行われる場合には、許容される通信の遅延が短く厳しくなるからである。
The acceptable
許容品質判定部415は、商品配送計画における配送オーダーで選定された遠隔操作者の操作者スキル情報格納部413に格納されている操作スキル情報に基づいて、許容品質を判定する。例えば、許容品質判定部415は、遠隔操作者の操作スキルレベルが低いほど許容品質の判定条件を厳しくし、より高い通信品質を課す。これは、遠隔操作者の操作スキルレベルが低いほど、移動ロボット2の遠隔操作のために許容される通信の遅延が短く厳しくなるからである。
The acceptable
本実施形態では、許容品質は、スループット「〇〇Mbps以上」、遅延「××ms以下」、ジッタ「△△ms以下」、パケットロス「□□%以下」のように算出される。スループット及びパケットロスは、移動ロボット2から送信される映像を遠隔操作者が視聴する際の再生品質に影響する。遅延は、遠隔操作における瞬時性に影響する。ジッタは、遠隔操作者が移動ロボット2の動きを予測して遠隔操作を行うときの予測精度に影響する。これらの各項目(スループット、遅延、ジッタ、パケットロス)の特性に基づいて各項目の許容品質が算出される。例えば、各項目(スループット、遅延、ジッタ、パケットロス)の許容範囲と上記した各パラメータ(道路情報、屋外人口密度、移動ロボット2の種類、移動ロボット2に対する遠隔操作の内容、遠隔操作者の操作スキルレベル)とが関連付けられた許容品質選択テーブルを予め作成しておき、許容品質判定部415が当該許容品質選択テーブルを使用して各項目の許容範囲を算出してもよい。当該許容品質選択テーブルは、実際の遠隔操作時の通信品質において、その時の周囲の環境や状況をパラメータ化し、円滑な遠隔操作ができたか否かの主観評価の結果を用いて作成されてもよい。
In this embodiment, the acceptable quality is calculated as follows: throughput "xx Mbps or more", delay "xx ms or less", jitter "△△ ms or less", and packet loss "□□% or less". Throughput and packet loss affect the playback quality when the remote operator watches the video transmitted from the mobile robot 2. Delay affects the instantaneity of remote operation. Jitter affects the prediction accuracy when the remote operator predicts the movement of the mobile robot 2 and performs remote operation. The acceptable quality of each item is calculated based on the characteristics of each of these items (throughput, delay, jitter, packet loss). For example, an acceptable quality selection table in which the acceptable range of each item (throughput, delay, jitter, packet loss) is associated with each of the above-mentioned parameters (road information, outdoor population density, type of mobile robot 2, content of remote operation of the mobile robot 2, operation skill level of the remote operator) may be created in advance, and the acceptable
また、他の許容品質の算出方法として、機械学習を用いて、ある環境や状況で円滑な遠隔操作を行うことができるという主観評価結果が出ている場合に円滑な遠隔操作を行うことができる環境や状況を導出するように機械学習モデルを生成し、当該機械学習モデルを使用して許容品質の算出が行われてもよい。 As another method of calculating the acceptable quality, a machine learning model may be generated using machine learning to derive environments and situations in which smooth remote operation can be performed when a subjective evaluation result indicates that smooth remote operation can be performed in a certain environment or situation, and the acceptable quality may be calculated using the machine learning model.
経路探索部416は、移動コスト算出部408が算出した総合リンクコストに基づいて、移動ロボット2が走行する予定の経路として、移動ロボット2の出発地から目的地に到達する経路を探索する。移動ロボット2の目的地は、目的地取得部410がオーダー情報から取得した目的地情報が示す場所である。移動ロボット2の出発地は、予め設定される。例えば、商品の配送拠点(例えば、商品が貯蔵されている物流倉庫や目的地の最寄りの配送取り扱い店舗等)が、移動ロボット2の出発地として予め設定される。また、移動ロボット2が車両により目的地付近まで運送される場合には、当該移動ロボット2の運送先の場所が当該移動ロボット2の出発地として予め設定される。
The
経路探索部416が利用する経路探索方法として、例えば、ダイクストラ法やA*アルゴリズムや遺伝的アルゴリズム等が利用可能である。
The
経路配信部417は、経路探索部416が探索した結果の経路を示す経路情報を移動ロボット2へ送信する。
The
遠隔操作実施判定部418は、運用監視部401で取得した情報を用いて、遠隔操作を実施するか否かを判定する。例えば、遠隔操作実施判定部418は、移動ロボット2が人が密集している場所に在って移動ロボット2が自律的に移動することができずに立ち往生している場合、遠隔操作に切り替えると判定する。また、遠隔操作実施判定部418は、移動ロボット2が遠隔操作により自律的に移動することができる状況になった場合に、遠隔操作を解除すると判定する。
The remote operation
遠隔操作命令発出部419は、遠隔操作実施判定部418により遠隔操作に切替える判定が行われた場合に、移動ロボット2に対して遠隔操作切替命令を送信する。また、遠隔操作命令発出部419は、遠隔操作実施判定部418により遠隔操作を解除する判定が行われた場合に、移動ロボット2に対して遠隔操作解除命令を送信する。
The remote operation
次に図3を参照して本実施形態に係るナビゲーション方法を説明する。図3は、本実施形態に係るナビゲーション方法の手順の例を示すフローチャートである。 Next, the navigation method according to this embodiment will be described with reference to FIG. 3. FIG. 3 is a flowchart showing an example of the procedure of the navigation method according to this embodiment.
(ステップS1) 経路探索部416は、オーダー情報格納部409が策定した商品配送計画において、移動ロボット2が走行を開始する出発地と、当該移動ロボット2が走行する行先である目的地とを取得する。
(Step S1) The
(ステップS2) 経路探索部416は、移動ロボット2の種類及び配送の内容を取得する。
(Step S2) The
(ステップS3) 経路探索部416は、ステップS2で取得した移動ロボット2の種類から、当該移動ロボット2が利用可能な無線通信方式及び無線周波数帯を認識する。移動ロボット2の種類と、利用可能な無線通信方式及び無線周波数帯との対応関係は、予め、ナビゲーション装置4に設定される。
(Step S3) The
(ステップS4) 許容品質判定部415は、経路探索部416が取得した出発地から目的地に到達する経路の候補に対して、該当の商品配送計画に基づいて許容品質を判定する。
(Step S4) The acceptable
(ステップS5) 経路探索部416は、移動コスト算出部408に対して、ステップS1で取得した移動ロボット2の出発地及び目的地を含む探索範囲と、リンクコスト算出条件とを指定し、当該探索範囲内の各道路の各リンクの総合リンクコストを算出するように指示する。リンクコスト算出条件は、移動ロボット2の種類や配送の内容や利用可能な無線通信方式及び無線周波数帯等である。
(Step S5) The
移動コスト算出部408は、経路探索部416からの総合リンクコスト算出指示に応じて、探索範囲内の各道路の各リンクに対して、無線通信方式及び無線周波数帯ごとに総合リンクコストを算出する。この総合リンクコストの算出では、通信品質がステップS4の許容品質の判定結果を満たさないと低評価になるように、各道路の各リンクに対して重み付けが行われる。移動コスト算出部408は、算出結果の総合リンクコストを、地図情報格納部405の道路地図データ内の該当するリンクデータに関連付けて地図情報格納部405に格納する。なお、移動コスト算出部408は、移動ロボット2が利用可能な無線通信方式及び無線周波数帯が複数存在する場合には、各道路の各リンクに対して、最良の通信品質が得られる無線通信方式及び無線周波数帯についての総合リンクコストを該当するリンクデータに関連付けて地図情報格納部405に格納してもよい。
In response to an instruction to calculate the total link cost from the
移動コスト算出部408は、総合リンクコストの算出完了を経路探索部416へ応答する。
The travel cost calculation unit 408 responds to the
(ステップS6) 経路探索部416は、ステップS1で取得した移動ロボット2の出発地及び目的地に対して、ステップS5で移動コスト算出部408により算出した総合リンクコストに基づいて、出発地から目的地に到達する経路を探索する。この経路探索では、出発地から目的地に到達するまでに通る各リンクの総合リンクコストの合計が最小になる経路の探索が行われる。
(Step S6) The
(ステップS7) 経路配信部417は、ステップS6の探索結果の経路を示す経路情報を移動ロボット2へ送信する。
(Step S7) The
図4は、経路探索方法の一例を説明するための説明図である。図5は、本実施形態に係る経路探索方法を説明するための説明図である。図4及び図5において、丸印がノードを示し、ノード間を結ぶ線がリンクを示す。また、出発地のノードがSであり、目的地のノードがGである。また、リンク上に記された数字がリンクコストを示す。図4には、通信品質が考慮されない場合のリンクコストが示される。一方、図5には、通信品質が考慮される場合であって本実施形態に係る総合リンクコストが示される。図5において各リンクには、通信品質の一例である遅延について、許容品質の遅延(許容遅延)と、推定される遅延(推定遅延)とが示される。推定遅延は、位置・通信品質格納部404に格納される位置通信品質情報に基づいた値である。また、ここでは、リンクL2は、通信品質が許容品質を満たさず、移動ロボット2を問題なく遠隔操作することができる通信品質が確保されない可能性が高いとする。
Figure 4 is an explanatory diagram for explaining an example of a route search method. Figure 5 is an explanatory diagram for explaining a route search method according to this embodiment. In Figures 4 and 5, circles indicate nodes, and lines connecting nodes indicate links. The starting node is S, and the destination node is G. Numbers written on links indicate link costs. Figure 4 shows link costs when communication quality is not taken into consideration. On the other hand, Figure 5 shows total link costs when communication quality is taken into consideration and according to this embodiment. In Figure 5, for each link, a delay of acceptable quality (acceptable delay) and an estimated delay (estimated delay) are shown for delay, which is an example of communication quality. The estimated delay is a value based on the position and communication quality information stored in the position and communication
図4のリンクコストの場合、経路探索の結果、出発地「ノードS」から目的地「ノードG」に到達する経路として、リンクコストの合計が最小になる経路である「L1→L2→L3」が選択される。図4のリンクコストでは、通信品質が考慮されていないので、移動ロボット2を問題なく遠隔操作することができる通信品質が確保されない可能性が高いリンクL2が経路として選択されてしまう。この結果、当該選択された経路において、移動ロボット2とナビゲーション装置4との間の通信品質が移動ロボット2に対する遠隔操作には不十分な状態になると、移動ロボット2に対する遠隔操作を円滑に行うことができなくなる可能性がある。
In the case of the link costs in FIG. 4, as a result of the route search, "L1 → L2 → L3" is selected as the route from the starting point "node S" to the destination "node G", as this is the route with the smallest total link cost. Since the link costs in FIG. 4 do not take communication quality into consideration, link L2 is selected as the route, which is unlikely to ensure the communication quality required to remotely control the mobile robot 2 without any problems. As a result, if the communication quality between the mobile robot 2 and the
一方、図5では、リンクL2において推定遅延が許容遅延を満たさないので、リンクL2に対して、追加リンクコスト「+10」が図4のリンクコスト「4」に加算された総合リンクコスト「4+10」が設定される。追加リンクコストは、推定される通信品質が許容品質を満たす場合には「0」が設定される。一方、追加リンクコストは、推定される通信品質が許容品質を満たさない度合いが大きいほど、大きな「正の値」が設定される。リンクL2以外の他のリンクは、推定遅延が許容遅延を満たすので追加リンクコストが「0」になっている。これにより、図5の総合リンクコストによれば、移動ロボット2を問題なく遠隔操作することができる通信品質が確保されない可能性が高いリンクL2が経路として選択されない。そして、図5のリンクコストの場合、経路探索の結果、出発地「ノードS」から目的地「ノードG」に到達する経路として、リンクコストの合計が最小になる経路である「L4→L5」が選択される。この選択された経路「L4→L5」によれば、移動ロボット2を問題なく遠隔操作することができる通信品質を確保することができる。これにより、無線通信により移動ロボット2を遠隔操作する際の安定的な遠隔操作の実現を図ることができる。 On the other hand, in FIG. 5, the estimated delay in link L2 does not satisfy the allowable delay, so a total link cost of "4+10" is set for link L2, which is the additional link cost of "+10" added to the link cost of "4" in FIG. 4. The additional link cost is set to "0" if the estimated communication quality satisfies the allowable quality. On the other hand, the larger the degree to which the estimated communication quality does not satisfy the allowable quality, the larger the "positive value" is set for the additional link cost. The estimated delay satisfies the allowable delay for the other links other than link L2, so the additional link cost is set to "0". As a result, according to the total link cost in FIG. 5, link L2, which is likely to not ensure communication quality that allows the mobile robot 2 to be remotely operated without problems, is not selected as a route. Then, in the case of the link cost in FIG. 5, as a result of the route search, "L4→L5", which is the route with the smallest total link cost, is selected as the route to reach the destination "node G" from the starting point "node S". According to this selected route "L4→L5", it is possible to ensure communication quality that allows the mobile robot 2 to be remotely operated without problems. This makes it possible to achieve stable remote control of the mobile robot 2 via wireless communication.
なお、移動ロボット2を問題なく遠隔操作することができる通信品質が確保されない可能性が高いリンクを通過しなければ出発地から目的地に到達することができない場合、操作者割当部414が移動ロボット2に割り当てられている遠隔操作者の操作スキルレベルよりも高い異なる操作スキルレベルを有する遠隔操作者を当該移動ロボット2に割り当てる。これにより、許容品質を緩和することにより、許容品質を満たす経路を確保するように試みる。
When the destination cannot be reached from the departure point without passing through a link that is highly unlikely to ensure the communication quality required for remotely operating the mobile robot 2 without any problems, the
この試みによっても許容品質を満たす経路を確保することができない場合には、移動ロボット2を問題なく遠隔操作することができる通信品質が確保されない可能性が高いリンクを、出発地から目的地に到達する経路として選択してもよい。経路探索部416は、探索結果の経路の中に、移動ロボット2を問題なく遠隔操作することができる通信品質が確保されない可能性が高いリンクが存在する場合、当該リンクを示すアラート情報を出力する。遠隔操作者は、当該アラート情報によって、移動ロボット2を問題なく遠隔操作することができる通信品質が確保されない可能性が高い箇所を事前に認識することができる。
If this attempt fails to secure a route that satisfies the acceptable quality, a link that is unlikely to ensure the communication quality required to remotely operate the mobile robot 2 without problems may be selected as the route from the departure point to the destination. If the
上述した実施形態によれば、移動ロボット2における安定的な無線通信の実現を図るための経路情報を提供すること、さらには、移動ロボット2に対する安定的な遠隔操作の実現に寄与する経路情報を提供することができる。これにより、無線通信により移動ロボット2を遠隔操作する際の安定的な遠隔操作の実現を図ることができるという効果が得られる。 According to the above-described embodiment, it is possible to provide route information for realizing stable wireless communication in the mobile robot 2, and further to provide route information that contributes to realizing stable remote control of the mobile robot 2. This provides the effect of realizing stable remote control when remotely controlling the mobile robot 2 via wireless communication.
以上、本発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。 The above describes an embodiment of the present invention in detail with reference to the drawings, but the specific configuration is not limited to this embodiment, and includes design modifications and the like that do not deviate from the gist of the present invention.
上述した実施形態では、ナビゲーションシステムを、配送サービスシステムに適用したが、配送サービスシステム以外の他のシステムに適用してもよい。例えば、移動ロボットにより道路を検査する道路検査サービスシステムに、上述した実施形態に係るナビゲーションシステムを適用してもよい。 In the above-described embodiment, the navigation system is applied to a delivery service system, but it may also be applied to systems other than delivery service systems. For example, the navigation system according to the above-described embodiment may be applied to a road inspection service system that inspects roads using a mobile robot.
また、上述した実施形態では、移動体として移動ロボットを例に挙げたが、これに限定されない。移動体として、自動運転を行う車両(自動運転車両)や、自律的に飛行する飛行体等を適用してもよい。 In the above-described embodiment, a mobile robot is given as an example of a mobile body, but the present invention is not limited to this. A vehicle that performs automatic driving (automatic driving vehicle), an air vehicle that flies autonomously, etc. may also be used as a mobile body.
また、上述した各装置の機能を実現するためのコンピュータプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行するようにしてもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものであってもよい。
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、フラッシュメモリ等の書き込み可能な不揮発性メモリ、DVD(Digital Versatile Disc)等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。
In addition, a computer program for implementing the functions of each of the above-mentioned devices may be recorded on a computer-readable recording medium, and the program recorded on the recording medium may be read into a computer system and executed. Note that the term "computer system" may include hardware such as an OS and peripheral devices.
In addition, the term "computer-readable recording medium" refers to a storage device such as a flexible disk, a magneto-optical disk, a ROM, a writable non-volatile memory such as a flash memory, a portable medium such as a DVD (Digital Versatile Disc), or a hard disk built into a computer system.
さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ(例えばDRAM(Dynamic Random Access Memory))のように、一定時間プログラムを保持しているものも含むものとする。
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク(通信網)や電話回線等の通信回線(通信線)のように情報を伝送する機能を有する媒体のことをいう。
また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であってもよい。
Furthermore, the term "computer-readable recording medium" includes devices that retain a program for a certain period of time, such as volatile memory (e.g., DRAM (Dynamic Random Access Memory)) within a computer system that serves as a server or client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line.
The program may be transmitted from a computer system in which the program is stored in a storage device or the like to another computer system via a transmission medium, or by a transmission wave in the transmission medium. Here, the "transmission medium" that transmits the program refers to a medium that has a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
The program may be a program for implementing some of the above-mentioned functions, or may be a so-called differential file (differential program) that can implement the above-mentioned functions in combination with a program already recorded in the computer system.
1…利用者端末、2…移動ロボット、3…携帯端末、4…ナビゲーション装置、10…ナビゲーションシステム、401…運用監視部、402…運用情報格納部、403…通信品質取得部、404…位置・通信品質格納部、405…地図情報格納部、406…携帯端末位置情報格納部、407…屋外人口密度推計部、408…移動コスト算出部、409…オーダー情報格納部、410…目的地取得部、411…ロボット情報格納部、412…操作内容格納部、413…操作者スキル情報格納部、414…操作者割当部、415…許容品質判定部、416…経路探索部、417…経路配信部、418…遠隔操作実施判定部、419…遠隔操作命令発出部 1...user terminal, 2...mobile robot, 3...mobile terminal, 4...navigation device, 10...navigation system, 401...operation monitoring unit, 402...operation information storage unit, 403...communication quality acquisition unit, 404...position/communication quality storage unit, 405...map information storage unit, 406...mobile terminal position information storage unit, 407...outdoor population density estimation unit, 408...travel cost calculation unit, 409...order information storage unit, 410...destination acquisition unit, 411...robot information storage unit, 412...operation content storage unit, 413...operator skill information storage unit, 414...operator allocation unit, 415...acceptable quality determination unit, 416...route search unit, 417...route distribution unit, 418...remote operation execution determination unit, 419...remote operation command issuing unit
Claims (9)
位置と当該位置における通信品質とが関連付けて記録された位置通信品質情報を格納する位置通信品質格納部と、
遠隔操作に関わる通信において許容される通信品質である許容品質を判定する許容品質判定部と、
前記経路の候補に対して通信品質が考慮されない場合の移動体の移動に関するコストを算出し、前記許容品質と前記位置通信品質格納部に格納されている位置通信品質情報とに基づいて、通信品質が前記許容品質を満たさない場合に、通信品質と前記許容品質との差が大きいほど、前記算出したコストに大きな値を加算し、加算の結果である総合リンクコストを算出するコスト算出部と、
前記算出された総合リンクコストに基づいて前記経路の候補の中から前記経路を探索する経路探索部と、
を備えるナビゲーション装置。 A navigation device that provides route information indicating a route from a departure point to a destination to a mobile object that is remotely controlled via a wireless communication line,
a position and communication quality storage unit for storing position and communication quality information in which a position and a communication quality at the position are associated with each other and recorded;
an acceptable quality determination unit that determines an acceptable quality, which is a communication quality that is acceptable in communication related to remote control;
a cost calculation unit that calculates a cost related to movement of the mobile body when communication quality is not taken into consideration for the candidate route, and adds a larger value to the calculated cost when the communication quality does not satisfy the acceptable quality based on the acceptable quality and the position and communication quality information stored in the position and communication quality storage unit, as the difference between the communication quality and the acceptable quality increases, and calculates an overall link cost that is the result of the addition;
a route search unit that searches for the route from among the route candidates based on the calculated total link cost ;
A navigation device comprising:
請求項1に記載のナビゲーション装置。 the acceptable quality determination unit determines the acceptable quality for the route candidate based on at least one of road information, outdoor population density, the type of the moving object, and the content of a remote operation for the moving object;
2. The navigation device of claim 1.
請求項2に記載のナビゲーション装置。 the acceptable quality determination unit sets the acceptable quality to a higher communication quality as the road width is narrower or the number of people on the road is higher ;
3. A navigation device according to claim 2.
請求項1から3のいずれか1項に記載のナビゲーション装置。 The acceptable quality determination unit determines the acceptable quality based on an operation skill level of a remote operator.
A navigation device according to any one of claims 1 to 3.
をさらに備える請求項4に記載のナビゲーション装置。 an operator allocation unit that allocates to the moving object a remote operator having an operation skill level different from the operation skill level of the remote operator allocated to the moving object based on a result of the determination of the acceptable quality;
The navigation device of claim 4 further comprising:
請求項1から5のいずれか1項に記載のナビゲーション装置。 The communication quality is at least one of throughput, delay, jitter, and packet loss in each of a direction in which the mobile unit transmits data and a direction in which the mobile unit receives data.
A navigation device according to any one of claims 1 to 5.
請求項1から6のいずれか1項に記載のナビゲーション装置。 The moving body is a robot that switches between an autonomous mode in which the moving body moves autonomously and a remote control mode in which the moving body moves according to a command received via a wireless communication line,
A navigation device according to any one of claims 1 to 6.
位置と当該位置における通信品質とが関連付けて記録された位置通信品質情報を位置通信品質格納部に格納する位置通信品質格納ステップと、
遠隔操作に関わる通信において許容される通信品質である許容品質を判定する許容品質判定ステップと、
前記経路の候補に対して通信品質が考慮されない場合の移動体の移動に関するコストを算出し、前記許容品質と前記位置通信品質格納部に格納されている位置通信品質情報とに基づいて、通信品質が前記許容品質を満たさない場合に、通信品質と前記許容品質との差が大きいほど、前記算出したコストに大きな値を加算し、加算の結果である総合リンクコストを算出するコスト算出ステップと、
前記算出された総合リンクコストに基づいて前記経路の候補の中から前記経路を探索する経路探索ステップと、
を含むナビゲーション方法。 A navigation method for providing route information indicating a route from a departure point to a destination to a mobile object remotely controlled via a wireless communication line,
a position and communication quality storage step of storing, in a position and communication quality storage unit, position and communication quality information in which a position and a communication quality at the position are associated with each other and recorded;
an acceptable quality determination step of determining an acceptable quality, which is a communication quality acceptable for communication related to remote control;
a cost calculation step of calculating a cost related to the movement of the mobile body when communication quality is not taken into consideration for the candidate route, and, when the communication quality does not satisfy the acceptable quality based on the acceptable quality and the position and communication quality information stored in the position and communication quality storage unit, adding a larger value to the calculated cost as the difference between the communication quality and the acceptable quality increases, and calculating an overall link cost that is the result of the addition;
a route search step of searching for the route from among the route candidates based on the calculated total link cost ;
Navigation methods including:
位置と当該位置における通信品質とが関連付けて記録された位置通信品質情報を位置通信品質格納部に格納する位置通信品質格納ステップと、
遠隔操作に関わる通信において許容される通信品質である許容品質を判定する許容品質判定ステップと、
前記経路の候補に対して通信品質が考慮されない場合の移動体の移動に関するコストを算出し、前記許容品質と前記位置通信品質格納部に格納されている位置通信品質情報とに基づいて、通信品質が前記許容品質を満たさない場合に、通信品質と前記許容品質との差が大きいほど、前記算出したコストに大きな値を加算し、加算の結果である総合リンクコストを算出するコスト算出ステップと、
前記算出された総合リンクコストに基づいて前記経路の候補の中から前記経路を探索する経路探索ステップと、
を実行させるためのコンピュータプログラム。 A computer of a navigation device that provides route information indicating a route from a departure point to a destination to a mobile object that is remotely controlled via a wireless communication line,
a position and communication quality storage step of storing, in a position and communication quality storage unit, position and communication quality information in which a position and a communication quality at the position are associated with each other and recorded;
an acceptable quality determination step of determining an acceptable quality, which is a communication quality acceptable for communication related to remote control;
a cost calculation step of calculating a cost related to the movement of the mobile body when communication quality is not taken into consideration for the candidate route, and, when the communication quality does not satisfy the acceptable quality based on the acceptable quality and the position and communication quality information stored in the position and communication quality storage unit, adding a larger value to the calculated cost as the difference between the communication quality and the acceptable quality increases, and calculating an overall link cost that is the result of the addition;
a route search step of searching for the route from among the route candidates based on the calculated total link cost ;
A computer program for executing the above.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020179342A JP7477426B2 (en) | 2020-10-27 | 2020-10-27 | Navigation device, navigation method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020179342A JP7477426B2 (en) | 2020-10-27 | 2020-10-27 | Navigation device, navigation method, and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022070331A JP2022070331A (en) | 2022-05-13 |
JP7477426B2 true JP7477426B2 (en) | 2024-05-01 |
Family
ID=81535170
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020179342A Active JP7477426B2 (en) | 2020-10-27 | 2020-10-27 | Navigation device, navigation method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7477426B2 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017049903A (en) | 2015-09-04 | 2017-03-09 | Kddi株式会社 | Work device and communication control method |
WO2017077621A1 (en) | 2015-11-05 | 2017-05-11 | 株式会社日立製作所 | Moving object moving system and movement route selecting method |
JP2020135362A (en) | 2019-02-19 | 2020-08-31 | Telexistence株式会社 | Management device, management method, and management system |
JP2020165832A (en) | 2019-03-29 | 2020-10-08 | 本田技研工業株式会社 | Route setting device, route setting method, and program |
-
2020
- 2020-10-27 JP JP2020179342A patent/JP7477426B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017049903A (en) | 2015-09-04 | 2017-03-09 | Kddi株式会社 | Work device and communication control method |
WO2017077621A1 (en) | 2015-11-05 | 2017-05-11 | 株式会社日立製作所 | Moving object moving system and movement route selecting method |
JP2020135362A (en) | 2019-02-19 | 2020-08-31 | Telexistence株式会社 | Management device, management method, and management system |
JP2020165832A (en) | 2019-03-29 | 2020-10-08 | 本田技研工業株式会社 | Route setting device, route setting method, and program |
Also Published As
Publication number | Publication date |
---|---|
JP2022070331A (en) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20180322431A1 (en) | Predicting realistic time of arrival for queue priority adjustment | |
US9945678B2 (en) | Navigation system with arrival time mechanism and method of operation thereof | |
US20180096287A1 (en) | Re-routing a delivery agent to improve the efficiency of transporting packages | |
US20150370251A1 (en) | Method and system for drone deliveries to vehicles in route | |
US20190385463A1 (en) | System and method for managing traffic flow of unmanned vehicles | |
EP4098976A1 (en) | Navigation method and apparatus | |
JP2022511687A (en) | Depot dispatch protocol for autonomous last mile delivery | |
US9467806B2 (en) | Improvements related to tracking moving objects | |
US11822343B2 (en) | Systems and methods for controlling communication capabilities of unmanned vehicles via intermediate communication devices | |
JP2020085577A (en) | Parking location guidance system, parking location output terminal, and parking location guidance program | |
JP7094741B2 (en) | Mobile management system, its control method, and management server | |
JP2019175477A (en) | Operation management device, operation management system and operation management method | |
CN114637303B (en) | Method, system and medium for planning path of transfer robot based on remote teleoperation | |
JP2022072934A (en) | Navigation device, navigation method, and computer program | |
WO2019181897A1 (en) | Moving body management system, method for controlling same, management server, and autonomous moving body | |
JP7477426B2 (en) | Navigation device, navigation method, and computer program | |
JP7163820B2 (en) | Information processing device, information processing method, and program | |
JP7346832B2 (en) | delivery system | |
JP7303167B2 (en) | Wireless quality information providing device, navigation system, wireless quality information providing method and computer program | |
JP7303166B2 (en) | Navigation device, navigation method and computer program | |
JP7497284B2 (en) | Navigation device, navigation method, and computer program | |
JP7497329B2 (en) | Navigation device, mobile system, navigation method, and computer program | |
US20220374026A1 (en) | Robotic crop transport | |
JP7458310B2 (en) | Navigation device, mobile object, navigation method and computer program | |
JP2021501945A (en) | Computer system that performs network delivery services |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20231208 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240109 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240308 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240402 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240418 |