JP7069632B2 - Control devices, moving objects, and distributed control programs for moving objects - Google Patents

Control devices, moving objects, and distributed control programs for moving objects Download PDF

Info

Publication number
JP7069632B2
JP7069632B2 JP2017200384A JP2017200384A JP7069632B2 JP 7069632 B2 JP7069632 B2 JP 7069632B2 JP 2017200384 A JP2017200384 A JP 2017200384A JP 2017200384 A JP2017200384 A JP 2017200384A JP 7069632 B2 JP7069632 B2 JP 7069632B2
Authority
JP
Japan
Prior art keywords
area
moving body
risk
charge
center
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017200384A
Other languages
Japanese (ja)
Other versions
JP2019074918A (en
Inventor
一騎 柴田
竜也 宮野
智彦 神保
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2017200384A priority Critical patent/JP7069632B2/en
Publication of JP2019074918A publication Critical patent/JP2019074918A/en
Application granted granted Critical
Publication of JP7069632B2 publication Critical patent/JP7069632B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Description

本発明は、移動体を移動させる制御装置、移動体、及び移動体の分散制御プログラムに関する。 The present invention relates to a control device for moving a moving body, a moving body, and a distributed control program for the moving body.

特許文献1には、監視対象に対して対処を行うのに適した位置まで飛行装置を移動制御する監視システムが記載されている。 Patent Document 1 describes a monitoring system that moves and controls a flight device to a position suitable for dealing with a monitoring target.

より詳しくは、監視システムは、上空から地上を監視する飛行装置と、センタ装置を少なくとも備える。センタ装置は、制御種別ごとに監視対象に対する俯仰角を記憶する記憶部と、制御種別を含む制御信号の入力があると、記憶部を参照して制御種別に対応する俯仰角に相当する目標位置を算出する目標算出部と、目標位置に飛行装置を移動させる飛行装置制御部と、を備えている。 More specifically, the surveillance system comprises at least a flight device for monitoring the ground from the sky and a center device. The center device has a storage unit that stores the depression / elevation angle for the monitored target for each control type, and when there is an input of a control signal including the control type, the center device refers to the storage unit and refers to the target position corresponding to the depression / elevation angle corresponding to the control type. It is provided with a target calculation unit for calculating a target position and a flight device control unit for moving the flight device to a target position.

また、各移動体は近傍の移動体との垂直二等分線で定義されるボロノイ図による領域分割を行い、自身の領域の重心へ自律分散的に移動することを繰り返す制御手法として被覆制御が知られている(非特許文献1)。 In addition, covering control is a control method in which each moving object is divided into regions by a Voronoi diagram defined by a perpendicular bisector with a neighboring moving object, and moves autonomously and decentrally to the center of gravity of its own region. It is known (Non-Patent Document 1).

なお、移動体は、移動体間の垂直二等分線で囲まれたボロノイ領域内において、リスクポテンシャルの重心位置に移動することを繰り返し行うことになる。また、ボロノイ領域の定義は、時々刻々と変化し得るものである。 The moving body repeatedly moves to the position of the center of gravity of the risk potential in the Voronoi region surrounded by the perpendicular bisectors between the moving bodies. Also, the definition of the Voronoi region can change from moment to moment.

特開2016-118996号公報Japanese Unexamined Patent Publication No. 2016-118996

J. Cortes, S. Martinez, T. Karatas, and F. Bullo, Coverage Control for Mobile Sensing Networks, IEEE Transactions on Tobotics and Automation, 20(2), pp.243-255, (2004)J. Cortes, S. Martinez, T. Karatas, and F. Bullo, Coverage Control for Mobile Sensing Networks, IEEE Transactions on Tobotics and Automation, 20 (2), pp.243-255, (2004)

しかし、上記の特許文献1では、複数の移動体を想定したロジックになっていない。また、移動体に対してきめ細かい軌道計画を施さなければならない。 However, in the above-mentioned Patent Document 1, the logic does not assume a plurality of moving objects. In addition, a detailed orbit plan must be applied to the moving object.

さらに、特許文献1では、センタ装置による集中処理となっているため計算負荷が高く、規模が大きくなると現実的時間内に解を求めることができない。 Further, in Patent Document 1, since the centralized processing is performed by the center device, the calculation load is high, and when the scale becomes large, the solution cannot be obtained within a realistic time.

また、上記の非特許文献1では、近傍の移動体の位置情報のみを用いて領域分割するため、移動体の初期配置によっては、重要度もしくはリスクの低い地点を移動体が追従する状況が起こりうる。 Further, in the above-mentioned Non-Patent Document 1, since the area is divided using only the position information of the moving body in the vicinity, a situation may occur in which the moving body follows a point of low importance or risk depending on the initial arrangement of the moving body. sell.

本発明は上記事実を考慮し、自律分散制御の下、移動体の初期配置によらず、リスクの高い地点を追従して監視することができる制御装置、移動体、及び移動体の分散制御プログラムを得ることが目的である。 In consideration of the above facts, the present invention considers the above facts, and under autonomous distributed control, a control device, a moving body, and a distributed control program for moving bodies that can follow and monitor high-risk points regardless of the initial placement of moving bodies. The purpose is to obtain.

本発明に係る制御装置は、相互に干渉しない担当領域に配置されると共に、監視範囲が変更可能なセンサをそれぞれ搭載した複数の移動体、及び必要に応じて固定センサを備え、前記複数の移動体が互いに位置情報を送受信することで、衝突を回避しながら担当領域を変更するように移動させる移動体の分散制御システムにおける制御装置であって、自機移動体の担当領域内のリスクと担当領域の重心位置とを取得し、他機移動体との間で、前記担当領域内のリスクと前記担当領域の重心位置とを送受信する移動情報取得手段と、自機移動体の担当領域の重心位置と、周辺の担当領域のうち、最大リスクとなる担当領域の重心位置との重み付けにより得られる位置を目標位置として算出し、前記目標位置に自機移動体を移動させる移動制御手段と、を含んで構成されている。 The control device according to the present invention is arranged in a region in charge that does not interfere with each other, and is provided with a plurality of moving bodies each equipped with sensors whose monitoring range can be changed, and a fixed sensor as needed, and the plurality of movements. It is a control device in the distributed control system of a moving body that moves so as to change the area in charge while avoiding collision by transmitting and receiving position information between the bodies, and is responsible for the risk in the area in charge of the own moving body. A movement information acquisition means for acquiring the position of the center of gravity of the area and transmitting / receiving the risk in the area in charge and the position of the center of gravity of the area in charge to and from the moving body of another machine, and the center of gravity of the area in charge of the moving body of the own machine. A movement control means that calculates a position obtained by weighting the position and the position of the center of gravity of the area in charge that is the maximum risk among the surrounding areas in charge as a target position and moves the moving body to the target position. It is composed of including.

本発明の制御装置によれば、相互に干渉しない担当領域に配置されると共に、当該担当領域内で移動することで、監視範囲が変更可能なセンサをそれぞれ搭載した複数の移動体を備え、複数の移動体が互いに位置情報を送受信することで、衝突を回避しながら担当領域を変更するように移動させる。例えば、衝突を回避しながら移動体を移動する場合の制御として、被覆制御が適用可能である。 According to the control device of the present invention, a plurality of moving bodies are provided, each of which is arranged in a area in charge that does not interfere with each other and is equipped with a sensor whose monitoring range can be changed by moving within the area in charge. By sending and receiving position information to and from each other, the moving objects are moved so as to change the area in charge while avoiding collision. For example, covering control can be applied as a control when the moving body is moved while avoiding a collision.

ここで、移動情報取得手段は、自機移動体の担当領域内のリスクと担当領域の重心位置とを取得し、他機移動体との間で、前記担当領域内のリスクと前記担当領域の重心位置とを送受信する。そして、移動制御手段は、自機移動体の担当領域の重心位置と、周辺の担当領域のうち、最大リスクとなる担当領域の重心位置との重み付けにより得られる位置を目標位置として算出し、前記目標位置に自機移動体を移動させる。 Here, the movement information acquisition means acquires the risk in the area in charge of the own machine moving body and the position of the center of gravity of the area in charge, and the risk in the area in charge and the area in charge of the moving body of the other machine. Send and receive with the position of the center of gravity. Then, the movement control means calculates the position obtained by weighting the position of the center of gravity of the area in charge of the own moving body and the position of the center of gravity of the area in charge of the maximum risk among the surrounding areas in charge as the target position. Move your own moving object to the target position.

これにより、自律分散制御の下、移動体の初期配置によらず、リスクの高い地点を追従して監視することができる。 As a result, under autonomous distributed control, it is possible to follow and monitor high-risk points regardless of the initial placement of moving objects.

また、前記目標位置を算出するための重みは、自機移動体の担当領域内のリスクに応じて定められる。 Further, the weight for calculating the target position is determined according to the risk in the area in charge of the own moving body.

また、前記担当領域の重心位置は、前記担当領域内のリスクを考慮した重心位置である。 Further, the position of the center of gravity of the area in charge is the position of the center of gravity in consideration of the risk in the area of responsibility.

また、前記移動制御手段は、自機移動体が他機移動体の担当領域内にいる場合に、移動体間の距離の関数で定義される斥力を自機移動体に作用させるように制御する。 Further, the movement control means controls so that the repulsive force defined by the function of the distance between the moving bodies acts on the moving body of the own machine when the moving body of the own machine is in the area in charge of the moving body of the other machine. ..

また、前記担当領域内のリスクは、前記固定センサによるセンシング情報が得られない死角領域である。 Further, the risk in the area in charge is the blind spot area where the sensing information by the fixed sensor cannot be obtained.

本発明に係るプログラムは、コンピュータを、上記の制御装置として動作させる移動体の分散制御プログラムである。 The program according to the present invention is a distributed control program for a moving body that operates a computer as the above-mentioned control device.

本発明に係る移動体は、上記の制御装置を備える移動体である。 The moving body according to the present invention is a moving body provided with the above-mentioned control device.

以上説明した如く本発明では、自律分散制御の下、移動体の初期配置によらず、リスクの高い地点を追従して監視することができる、という優れた効果を有する。 As described above, the present invention has an excellent effect that, under autonomous distributed control, it is possible to follow and monitor high-risk points regardless of the initial arrangement of moving objects.

本実施の形態に係る移動体の分散制御システムを示し、(A)は本実施の形態に適用される移動体を動作させるための制御系のブロック図、(B)は移動体が移動する領域の平面図である。The distributed control system of the moving body according to the present embodiment is shown, (A) is a block diagram of a control system for operating the moving body applied to the present embodiment, and (B) is a region where the moving body moves. It is a plan view of. 本実施の形態に係るボロノイ分割された領域の平面図であり、(A)はリスクポテンシャル指定時、(B)は制御則1に基づく移動体の移動後を示す。It is a plan view of the Voronoi-divided region which concerns on this embodiment, (A) shows when the risk potential is specified, and (B) shows after the movement of the moving body based on control rule 1. 本実施の形態にかかる移動体とボロノイ領域とリスクポテンシャルとの位置関係を示す平面図であり、(A)は移動体10#1のリスクが小さい場合、(B)は移動体10#1のリスクの大きさが一定以上大きくなった場合を示す。It is a plan view which shows the positional relationship between the moving body, the Voronoi region, and the risk potential which concerns on this embodiment, (A) is when the risk of moving body 10 # 1 is small, (B) is the moving body 10 # 1. The case where the magnitude of the risk becomes larger than a certain level is shown. 移動体とボロノイ領域とリスクポテンシャルとの位置関係を示す平面図であり、(A)は各移動体が自機のボロノイ領域内のリスクポテンシャルの重心位置へ移動する場合、(B)は各移動体が本実施の形態に係る算出方法により算出された目標位置へ移動する場合を示す。It is a plan view showing the positional relationship between a moving body, a Voronoi region, and a risk potential. When each moving body moves to the center of gravity of the risk potential in the Voronoi region of its own machine, (B) is each movement. The case where the body moves to the target position calculated by the calculation method according to the present embodiment is shown. 本実施の形態に係るリスクポテンシャル監視制御ルーチンを示すフローチャートである。It is a flowchart which shows the risk potential monitoring control routine which concerns on this embodiment. 移動体の分散制御システムの適用例を示す図であり、(A)は監視の目的に用いた場合の例、(B)はモニタリングの目的に用いた場合の例、(C)は調査の目的に用いた場合の例、(D)はセンシングの目的に用いた場合の例、(E)はレスキューの目的に用いた場合の例、(F)は予報の目的に用いた場合の例である。It is a figure which shows the application example of the distributed control system of a moving body, (A) is an example when it is used for the purpose of monitoring, (B) is an example when it is used for the purpose of monitoring, (C) is the purpose of investigation. (D) is an example when it is used for the purpose of sensing, (E) is an example when it is used for the purpose of rescue, and (F) is an example when it is used for the purpose of forecasting. ..

図1は、本実施の形態に係る移動体の分散制御システムに適用される移動体10及び、移動体10が移動する領域12が示されている。図1(A)は、本実施の形態に適用される移動体10(図1(B)参照)を動作させるための制御系のブロック図である。また、図1(B)は、移動体10が移動する領域12の平面図である。領域12には、複数の移動体10が存在し、独立して移動可能となっている。 FIG. 1 shows a moving body 10 applied to the distributed control system of the moving body according to the present embodiment, and a region 12 to which the moving body 10 moves. FIG. 1A is a block diagram of a control system for operating a moving body 10 (see FIG. 1B) applied to the present embodiment. Further, FIG. 1B is a plan view of a region 12 in which the moving body 10 moves. There are a plurality of moving bodies 10 in the region 12, and they can move independently.

図1(A)に示される如く、移動体10は、領域12の範囲内を無人で移動可能であり、当該移動を含む制御を実行するマイクロコンピュータを備えた制御装置14が搭載されている。 As shown in FIG. 1 (A), the moving body 10 can move unmanned within the range of the area 12, and is equipped with a control device 14 equipped with a microcomputer that performs control including the movement.

制御装置14のマイクロコンピュータは、CPU16A、RAM16B、ROM16C、入出力ポート(I/O)16D及びこれらを接続するデータバスやコントロールバス等のバス16Eを有している。I/O16Dには、監視モジュール18、移動モジュール20、位置認識モジュール22、及び通信モジュール24が接続されている。 The microcomputer of the control device 14 has a CPU 16A, a RAM 16B, a ROM 16C, an input / output port (I / O) 16D, and a bus 16E such as a data bus or a control bus connecting them. A monitoring module 18, a mobile module 20, a position recognition module 22, and a communication module 24 are connected to the I / O 16D.

制御装置14は、例えば、ROM16Cに予め記憶された移動体の分散制御プログラムをCPU16Aで起動させ、監視モジュール18、移動モジュール20、位置認識モジュール22、及び通信モジュール24の動作を制御する。 For example, the control device 14 activates a mobile distributed control program stored in advance in the ROM 16C by the CPU 16A, and controls the operations of the monitoring module 18, the mobile module 20, the position recognition module 22, and the communication module 24.

(監視モジュール18)
監視モジュール18に適用されるデバイスは、例えば、カメラが代表的であり、移動体10の位置から特定の監視範囲(視野)を撮像する。
(Monitoring module 18)
A typical device applied to the monitoring module 18 is a camera, which captures a specific monitoring range (field of view) from the position of the moving body 10.

なお、監視モジュール18は、カメラによる撮像に限定されず、電波(レーダー、レーザー、超音波等)照射等による地理上の特徴物(ランドマーク)の検出等であってもよい。 The monitoring module 18 is not limited to imaging by a camera, and may detect geographical features (landmarks) by irradiation with radio waves (radar, laser, ultrasonic waves, etc.).

(移動モジュール20)
本実施の形態の移動体10は、飛行体(一例として、ドローン)であり、移動モジュール20に適用されるデバイスとして、独立した駆動源(モータ)で駆動する複数のプロペラを備えており、モータの駆動を制御することで、目的の方向に向けて飛行可能、かつ目的の位置空間で停止(ホバリング)可能である。
(Moving module 20)
The moving body 10 of the present embodiment is a flying body (for example, a drone), and as a device applied to the moving module 20, includes a plurality of propellers driven by independent drive sources (motors), and is a motor. By controlling the drive of the vehicle, it is possible to fly in the target direction and stop (hover) in the target position space.

なお、移動体10は、飛行体に限定されず、地上や水上を移動する移動モジュール20であってもよく、複数のデバイスを併用してもよい。さらに、広い概念では、固定配置された監視カメラの首振り動作機構を移動モジュール20と定義してもよい。 The moving body 10 is not limited to the flying body, and may be a moving module 20 that moves on the ground or on the water, or a plurality of devices may be used in combination. Further, in a broad concept, the swinging motion mechanism of the fixedly arranged surveillance camera may be defined as the moving module 20.

すなわち、監視モジュール18の監視範囲が変更可能であればよい。 That is, it suffices if the monitoring range of the monitoring module 18 can be changed.

(位置認識モジュール22)
位置認識モジュール22は、自機の移動体10の位置を認識する機能であり、位置情報を得るために、デバイスとして、GPS、レーザー、レーダー、超音波、モーションキャプチャー、カメラ、無線通信、無線強度、オドメトリ、ランドマークの少なくとも1つのセンサを備えている。
(Position recognition module 22)
The position recognition module 22 is a function of recognizing the position of the moving body 10 of the own machine, and has GPS, a laser, a radar, an ultrasonic wave, a motion capture, a camera, a wireless communication, and a wireless intensity as devices for obtaining position information. It is equipped with at least one sensor of, odometry, and landmark.

位置認識モジュール22は、センサで検出した結果(検出信号)に基づき、自機の移動体10の位置を三次元空間上の座標等によって認識する。 The position recognition module 22 recognizes the position of the moving body 10 of the own machine by the coordinates in the three-dimensional space or the like based on the result (detection signal) detected by the sensor.

なお、位置認識モジュール22は、自機の移動体10の位置の認識以外に、後述する通信モジュール24を介して他機の移動体10の位置情報を取得し、相互の距離を演算して複数の移動体10の相対位置関係を認識する。 In addition to recognizing the position of the moving body 10 of the own machine, the position recognition module 22 acquires the position information of the moving body 10 of another machine via the communication module 24 described later, calculates the mutual distance, and has a plurality of positions. Recognize the relative positional relationship of the moving body 10.

(通信モジュール24)
通信モジュール24は、デバイスとして、無線通信装置を備える。無線通信は、移動体10間で通信する機能として、位置情報を送受信する位置情報送受信部と、自機のボロノイ領域内の、指定された監視対象領域(「リスクポテンシャル」という場合がある)のリスクの大きさと重心位置(リスク情報)を送受信するリスク送受信部と、を備える。なお、他機の移動体10の位置情報を取得するために、無線強度(距離情報)を用いてもよい。
(Communication module 24)
The communication module 24 includes a wireless communication device as a device. Wireless communication is a function of communicating between mobile bodies 10 and includes a position information transmission / reception unit that transmits / receives position information and a designated monitoring target area (sometimes referred to as "risk potential") in the boronoi area of the own machine. It is equipped with a risk transmission / reception unit that transmits / receives the magnitude of risk and the position of the center of gravity (risk information). In addition, radio strength (distance information) may be used to acquire the position information of the moving body 10 of another machine.

また、通信モジュール24の無線通信は、監視モジュール18で監視した結果(例えば、カメラであれば撮像情報)を、監視を統括的に管理する基地局へ送信する監視情報送信部と、基地局から、指定された監視対象領域を示す監視対象情報を受信する監視対象情報受信部とを備える。 Further, in the wireless communication of the communication module 24, the monitoring information transmission unit that transmits the result of monitoring by the monitoring module 18 (for example, image pickup information in the case of a camera) to the base station that collectively manages the monitoring, and the base station , A monitoring target information receiving unit that receives monitoring target information indicating a designated monitoring target area is provided.

各移動体10の制御装置14では、位置認識モジュール22からの位置情報に基づいて、図1(B)に示す領域12をボロノイ分割する。 In the control device 14 of each moving body 10, the region 12 shown in FIG. 1B is divided into Voronoi based on the position information from the position recognition module 22.

ボロノイ分割とは、各ポイント(ここでは、移動体10の位置)の勢力圏を分析するものであり、移動体10までの距離が最短となる点の集合を1つのポリゴンで表したとき、それぞれをボロノイ領域という。例えば、図1(B)において、二次元平面におけるボロノイ分割では、ボロノイ分割の境界線は、移動体10を結ぶ線分の垂直二等分線(図1(B)の鎖線26)となり、鎖線26で区画された各ボロノイ領域(1)~(n)には、必ず1機の移動体10が存在する。なお、変数nはボロノイ分割数であり、図1ではn=17である。 Voronoi division is to analyze the sphere of influence of each point (here, the position of the moving body 10), and when the set of points with the shortest distance to the moving body 10 is represented by one polygon, each Is called the Voronoi region. For example, in FIG. 1 (B), in the Voronoi division in a two-dimensional plane, the boundary line of the Voronoi division is a perpendicular bisector of a line segment connecting the moving bodies 10 (chain line 26 in FIG. 1 (B)). In each Voronoi region (1) to (n) partitioned by 26, there is always one moving body 10. The variable n is the Voronoi division number, and n = 17 in FIG.

本実施の形態では、領域12の範囲で、移動体10は相互に自由に移動しており、その都度、ボロノイ領域は変化することになる。図1(B)は、各移動体10が、点線の位置から実線の位置に移動したときのボロノイ領域となる。 In the present embodiment, the moving bodies 10 move freely with each other within the range of the region 12, and the Voronoi region changes each time. FIG. 1B is a Voronoi region when each moving body 10 moves from the position of the dotted line to the position of the solid line.

また、本実施の形態では、図1(B)に示す領域12において、図2(A)に示すように、監視対象領域(リスクポテンシャル)28が指定されており、監視対象領域(リスクポテンシャル)28の指定を表す監視対象情報は、基地局から得られるものとする。 Further, in the present embodiment, in the region 12 shown in FIG. 1 (B), the monitored region (risk potential) 28 is designated as shown in FIG. 2 (A), and the monitored region (risk potential). The monitoring target information representing the designation of 28 shall be obtained from the base station.

本実施の形態では、1単位のリスクポテンシャル28の面積は、1機の移動体10の監視モジュール18で監視し得る監視範囲の面積と同等としている。すなわち、矩形網状に図示されたリスクポテンシャル28の中心に1機の移動体10の中心が重なることで、リスクポテンシャル28の全てが監視範囲となる。 In the present embodiment, the area of the risk potential 28 of one unit is equal to the area of the monitoring range that can be monitored by the monitoring module 18 of one mobile body 10. That is, when the center of one moving body 10 overlaps with the center of the risk potential 28 shown in the rectangular network, the entire risk potential 28 becomes the monitoring range.

なお、リスクポテンシャル28の面積と監視範囲の面積とは必ずしも1:1である必要はない。 The area of the risk potential 28 and the area of the monitoring range do not necessarily have to be 1: 1.

図2(A)の各移動体10の位置は、図1(B)の位置と同一であり、各移動体10は、相互に位置情報を送受信しながら、自機の移動体10のボロノイ領域内でリスクポテンシャル28に向けて移動することになる。 The position of each moving body 10 in FIG. 2 (A) is the same as the position in FIG. 1 (B), and each moving body 10 transmits and receives position information to and from each other, and the Voronoi region of the moving body 10 of the own machine is used. It will move toward the risk potential 28 within.

図2(B)は、図2(A)に対して各移動体10が移動した結果であり、ボロノイ領域を維持しながらリスクポテンシャル28に向けて移動する従来技術の制御である。 FIG. 2B is the result of each moving body 10 moving with respect to FIG. 2A, and is a control of the prior art in which the moving body 10 moves toward the risk potential 28 while maintaining the Voronoi region.

ここで、従来技術の制御では、全てのリスクポテンシャル28を、移動体10の監視範囲とすることができない状況が発生する。 Here, in the control of the prior art, a situation occurs in which all the risk potentials 28 cannot be set as the monitoring range of the moving body 10.

そこで、本実施の形態では、実環境を考慮した、簡潔かつリスクポテンシャル28の高い被覆率を達成する移動則を確立した。 Therefore, in the present embodiment, a movement rule that is simple and achieves a high coverage of the risk potential 28 is established in consideration of the actual environment.

具体的には、制御装置14は、自身のボロノイ領域内のリスクポテンシャル28の重心位置(gi)と、近傍のボロノイ領域のうち、総リスク最大のボロノイ領域内のリスクポテンシャル28の重心位置(gM)を重み付けして次ステップの目標位置(Xi * )へ移動する。 Specifically, the control device 14 has the center of gravity position ( gi ) of the risk potential 28 in its own Voronoi region and the center of gravity position of the risk potential 28 in the Voronoi region having the maximum total risk among the nearby Voronoi regions (gi). g M ) is weighted and moved to the target position (X i * ) of the next step.

次ステップの目標位置(Xi *)は、以下の式で算出される。 The target position (X i * ) of the next step is calculated by the following formula.

Figure 0007069632000001
Figure 0007069632000001

ただし、Xi[t]は、移動体iの時刻tの位置ベクトル(x座標とy座標からなるベクトル)である。また、βi [t]は、移動体iのボロノイ領域内のリスクの大きさで決まる重み(0≦β≦1)である。例えば、重みβi [t]は移動体iのボロノイ領域のリスクMi[t]が十分小さい時1、リスクMi[t]が十分大きい時0となる重み関数である。重み関数として正規分布関数 However, X i [t] is a position vector (vector consisting of x-coordinate and y-coordinate) at time t of the moving body i. Further, β i [t] is a weight (0 ≦ β ≦ 1) determined by the magnitude of the risk in the Voronoi region of the moving body i. For example, the weight β i [t] is a weight function that becomes 1 when the risk M i [t] in the Voronoi region of the moving body i is sufficiently small and 0 when the risk M i [t] is sufficiently large. Normal distribution function as a weight function

Figure 0007069632000002
Figure 0007069632000002

を用いて設計してもよい。ここで、上記式(2)のMi[t]は移動体iのボロノイ領域内のリスクの大きさであり、σβはβi [t]の分散である。 May be designed using. Here, M i [t] in the above equation (2) is the magnitude of the risk in the Voronoi region of the mobile body i, and σ β is the variance of β i [t].

重み関数として上記式(2)の正規分布関数を用いたときの各移動体10の目標位置の計算結果を図3に示す。図3では、丸印が各移動体10の目標位置を示し、十字が、移動体10のボロノイ領域のリスクポテンシャルの重心を示す。 FIG. 3 shows the calculation result of the target position of each moving body 10 when the normal distribution function of the above equation (2) is used as the weighting function. In FIG. 3, the circle indicates the target position of each moving body 10, and the cross indicates the center of gravity of the risk potential of the Voronoi region of the moving body 10.

図3(A)において、ボロノイ領域内のリスクの小さい移動体10♯1は式(1)の移動則より、移動体10♯2のボロノイ領域のリスクポテンシャルの重心位置へ移動し、ボロノイ領域内のリスクが十分大きい移動体10♯2、移動体10♯3は、自身のボロノイ領域のリスクポテンシャルの重心位置へ移動する。 In FIG. 3A, the moving body 10 # 1 having a low risk in the boronoy region moves to the position of the center of gravity of the risk potential of the boronoy region of the moving body 10 # 2 according to the movement rule of the equation (1), and is in the boronoy region. The moving body 10 # 2 and the moving body 10 # 3 having a sufficiently high risk of the above move to the position of the center of gravity of the risk potential of their own boronoy region.

さらに、移動体10♯1のボロノイ領域内のリスクがある一定以上の大きさになると、図3(B)のように、移動体10♯1の目標位置は、移動体10♯1のボロノイ領域内のリスクポテンシャルの重心位置とリスク最大の、移動体10♯2のボロノイ領域内のリスクポテンシャルの重心位置を重み付けした位置となる。 Further, when the risk in the Voronoi region of the moving body 10 # 1 becomes larger than a certain level, the target position of the moving body 10 # 1 becomes the Voronoi region of the moving body 10 # 1 as shown in FIG. 3 (B). The position of the center of gravity of the risk potential within and the position of the center of gravity of the risk potential within the Voronoi region of the moving body 10 # 2 at the maximum risk are weighted.

また、9台の移動体10に対して従来技術と本技術を実機に適用した時の結果を図4に示す。図4(A)は、比較例として、自機の移動体10のボロノイ領域内でリスクポテンシャル28の重心位置を、目標位置として算出した例である。図4(B)は、本実施の形態で説明した手法により、自身のボロノイ領域内のリスクポテンシャル28の重心位置と、近傍のボロノイ領域のうち、総リスク最大のボロノイ領域内のリスクポテンシャル28の重心位置を重み付けして目標位置を算出した例である。 Further, FIG. 4 shows the results when the conventional technique and the present technique are applied to the actual machine for nine moving bodies 10. FIG. 4A is an example of calculating the position of the center of gravity of the risk potential 28 in the Voronoi region of the moving body 10 of the own machine as a target position as a comparative example. FIG. 4B shows the position of the center of gravity of the risk potential 28 in its own Voronoi region and the risk potential 28 in the Voronoi region having the maximum total risk among the neighboring Voronoi regions by the method described in the present embodiment. This is an example of calculating the target position by weighting the position of the center of gravity.

また、周辺のボロノイ領域へ移動(「カットイン」とも称する)したとき、他の移動体10との衝突を回避するために、移動したい先に負のポテンシャルを定義することで、他の移動体がその領域に立ち入れなくさせる。 In addition, when moving to the surrounding Voronoi region (also referred to as "cut-in"), in order to avoid collision with another moving body 10, by defining a negative potential at the destination to be moved, another moving body is used. Prevents you from entering the area.

実環境の場合、位置制御のオーバーシュートや移動体10間に生じる外乱を考慮する必要がある。実環境下での衝突回避方法を以下に示す. In the real environment, it is necessary to consider the overshoot of the position control and the disturbance generated between the moving bodies 10. The collision avoidance method in the real environment is shown below.

具体的には、各移動体10の制御装置14は、近傍の他の移動体10のボロノイ領域内に入った場合に、当該近傍の他の移動体10の位置に負のポテンシャルを置き、移動体間に作用させる斥力を算出する(制御則2)。そして、制御則1で計算される目標位置から得られる目標速度Vi *と斥力を用いて、次式のように目標速度を算出する。 Specifically, when the control device 14 of each moving body 10 enters the Voronoi region of another moving body 10 in the vicinity, the control device 14 places a negative potential at the position of the other moving body 10 in the vicinity and moves. Calculate the repulsive force acting between the bodies (Control Rule 2). Then, the target velocity is calculated by the following equation using the target velocity V i * and the repulsive force obtained from the target position calculated by the control rule 1.

Figure 0007069632000003
Figure 0007069632000003

ただし、nは、移動体10の総数であり、Lijは、i番目の移動体10の近傍に移動体10がある場合1、ない場合0となるパラメータである。C1,σは正の定数で移動体数や実環境を考慮して設定するパラメータである。 However, n is the total number of moving bodies 10, and Lij is a parameter that is 1 when there is a moving body 10 in the vicinity of the i-th moving body 10 and 0 when there is no moving body 10. C 1 and σ are positive constants and are parameters that are set in consideration of the number of moving objects and the actual environment.

以下に本実施の形態の作用を図5のフローチャートに従い説明する。 The operation of this embodiment will be described below with reference to the flowchart of FIG.

図5は、本実施の形態に係るリスクポテンシャル監視制御ルーチンを示すフローチャートであり、主として、移動体10の移動制御に特化した流れを示している。 FIG. 5 is a flowchart showing a risk potential monitoring control routine according to the present embodiment, and mainly shows a flow specialized for movement control of the moving body 10.

ステップ100では、自機の移動体10の情報を収集する。すなわち、領域12(図1(B)参照)での自機の位置情報、自機のボロノイ領域内のリスクポテンシャル28のリスクの大きさ、リスクポテンシャル28の重心位置を認識すると共に、他機の移動体10へ、自機の位置情報、自機のボロノイ領域内のリスクポテンシャル28のリスクの大きさ、リスクポテンシャル28の重心位置を送信する。 In step 100, information on the moving body 10 of the own machine is collected. That is, while recognizing the position information of the own machine in the area 12 (see FIG. 1 (B)), the magnitude of the risk of the risk potential 28 in the boronoi area of the own machine, and the position of the center of gravity of the risk potential 28, the position of the center of gravity of the other machine is recognized. The position information of the own machine, the magnitude of the risk of the risk potential 28 in the boronoi region of the own machine, and the position of the center of gravity of the risk potential 28 are transmitted to the moving body 10.

次のステップ102では、他機の移動体10(領域12に存在する自機以外の移動体10)の情報を収集する。すなわち、他機の位置情報、当該他機のボロノイ領域内のリスクポテンシャル28のリスクの大きさ、リスクポテンシャル28の重心位置を収集し、ステップ104へ移行する。 In the next step 102, information on the moving body 10 of another machine (moving body 10 other than the own machine existing in the area 12) is collected. That is, the position information of the other aircraft, the magnitude of the risk of the risk potential 28 in the boronoy region of the other aircraft, and the position of the center of gravity of the risk potential 28 are collected, and the process proceeds to step 104.

ステップ104では、制御則1による入力計算を実行する。すなわち、各移動体10のボロノイ領域を逐次設定すると共に、自身のボロノイ領域内のリスクポテンシャル28の重心位置と、近傍のボロノイ領域のうち、総リスク最大のボロノイ領域内のリスクポテンシャル28の重心位置とを重み付けして次ステップの目標位置を算出する。 In step 104, the input calculation according to the control rule 1 is executed. That is, the Voronoi region of each moving body 10 is sequentially set, and the position of the center of gravity of the risk potential 28 in its own Voronoi region and the position of the center of gravity of the risk potential 28 in the Voronoi region having the maximum total risk among the neighboring Voronoi regions. And are weighted to calculate the target position of the next step.

次のステップ106では、制御則2による入力計算を実行する。すなわち、近傍の他の移動体10のボロノイ領域内に入った場合に、当該近傍の他の移動体10の位置に負のポテンシャルを置き、移動体間に作用させる斥力と、上記ステップ104で算出された目標位置から求まる目標速度とを用いて、目標速度を算出する。 In the next step 106, the input calculation according to the control rule 2 is executed. That is, when entering the boronoy region of another moving body 10 in the vicinity, a negative potential is placed at the position of the other moving body 10 in the vicinity, and the repulsive force acting between the moving bodies is calculated in the above step 104. The target speed is calculated using the target speed obtained from the determined target position.

ステップ108では、上記ステップ104、106で算出された目標位置、目標速度を制御入力として、自機の移動体10を制御する。 In step 108, the moving body 10 of the own machine is controlled by using the target position and the target speed calculated in steps 104 and 106 as control inputs.

ステップ110では、全てのリスクポテンシャル28の被覆が達成したか否かが判断され、肯定判定された場合は、このルーチンは終了する。また、ステップ110で否定判定された場合は、ステップ100へ戻り、上記工程を繰り返す。 In step 110, it is determined whether or not the coverage of all risk potentials 28 has been achieved, and if affirmative, this routine ends. If a negative determination is made in step 110, the process returns to step 100 and the above steps are repeated.

以上説明したように、本実施の形態によれば、各移動体の制御装置により、自機移動体のボロノイ領域内のリスクポテンシャルの重心位置と、周辺のボロノイ領域のうち、最大リスクとなるボロノイ領域内のリスクポテンシャルの重心位置との重み付けにより得られる位置を目標位置として算出し、目標位置に自機移動体を移動させることにより、自律分散制御の下、移動体の初期配置によらず、リスクの高い地点を追従して監視することができる。 As described above, according to the present embodiment, the control device of each moving body determines the position of the center of gravity of the risk potential in the boronoy region of the own moving body and the boronoi which is the maximum risk in the surrounding boronoi region. By calculating the position obtained by weighting the risk potential in the area with the center of gravity position as the target position and moving the own moving object to the target position, under autonomous decentralized control, regardless of the initial placement of the moving object, It is possible to follow and monitor high-risk points.

また、各移動体の制御が、近傍の移動体の位置・観測情報のみを用いた分散処理であるため、集中処理と比べて計算負荷が低減される。また、システムの規模によらず、リアルタイムで移動体を制御できる。 Further, since the control of each moving body is the distributed processing using only the position / observation information of the neighboring moving bodies, the calculation load is reduced as compared with the centralized processing. In addition, moving objects can be controlled in real time regardless of the scale of the system.

また、一部の移動体が故障しても、故障した移動体を除く残りの移動体で領域分割し,全体最適配置を計算すれば良いため、残りの移動体で対象への追従性能を発揮できる。 In addition, even if a part of the moving body breaks down, the area is divided by the remaining moving bodies excluding the broken moving body, and the overall optimum arrangement can be calculated. can.

なお、本発明は、上述した実施形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications can be made without departing from the gist of the present invention.

例えば、監視対象領域を、死角領域としてもよい。一例として、家屋の敷地内を、固定の監視カメラで監視している場合に、固定の監視カメラの死角領域を、監視対象領域として指定すればよい。また、駐車場の敷地内を、固定の監視カメラで監視している場合に、固定の監視カメラの死角領域を、監視対象領域として指定すればよい。この場合には、駐車する車両の台数、位置によって固定の監視カメラの死角が変動するため、移動体10による監視は有効となる。 For example, the monitored area may be a blind spot area. As an example, when the site of a house is monitored by a fixed surveillance camera, the blind spot area of the fixed surveillance camera may be designated as the monitoring target area. Further, when the site of the parking lot is monitored by a fixed surveillance camera, the blind spot area of the fixed surveillance camera may be designated as the monitoring target area. In this case, since the blind spot of the fixed surveillance camera changes depending on the number and position of the parked vehicles, the surveillance by the moving body 10 is effective.

また、他の移動体のボロノイ領域内に位置する場合に、移動体間の衝突を回避するための制御を、斥力を作用させる制御以外で行ってもよい。例えば、当該移動体が、他の移動体のボロノイ領域内に位置する場合に、当該移動体は高度を変更し、新たにボロノイ領域を定義して、各ボロノイ領域内を移動することで、目標位置へ到達するようにしてもよい。 Further, when it is located in the Voronoi region of another moving body, the control for avoiding the collision between the moving bodies may be performed other than the control for applying the repulsive force. For example, when the moving body is located in the Voronoi region of another moving body, the moving body changes the altitude, defines a new Voronoi region, and moves in each Voronoi region to achieve the target. You may try to reach the position.

また、本実施の形態における領域12(外部環境領域、担当領域)は、陸海空を問わず設定可能である。 Further, the area 12 (external environment area, area in charge) in the present embodiment can be set regardless of land, sea and air.

また、本実施の形態における移動体の分散制御を適用する目的として、図6に示すように、監視、モニタリング、調査、センシング、レスキュー、及び予報等が挙げられる。より具体的には、比較的狭い領域の場合、駐車場での車両や歩行者の監視、交差点での車両の往来のモニタリング、家屋等の不審者監視等がある。また、比較的広い領域の場合、発掘調査、災害現場での遭難者の捜索(レスキュー)、山林の状況管理、天候調査による予報等がある。 Further, as shown in FIG. 6, the purpose of applying the distributed control of the moving body in the present embodiment includes monitoring, monitoring, investigation, sensing, rescue, forecast, and the like. More specifically, in the case of a relatively narrow area, there are monitoring of vehicles and pedestrians in a parking lot, monitoring of traffic of vehicles at intersections, monitoring of suspicious persons such as houses, and the like. In the case of a relatively large area, there are excavation surveys, search for victims at disaster sites (rescue), forest condition management, forecasts by weather surveys, etc.

また、移動体10(アクチュエータ)として、空撮可能なドローンを挙げたが、例えば、車両、ボート等の他の移動体を自律分散制御するようにしてもよい。 Further, as the moving body 10 (actuator), a drone capable of aerial photography is mentioned, but for example, another moving body such as a vehicle or a boat may be autonomously distributed and controlled.

10 移動体
14 制御装置
18 監視モジュール
20 移動モジュール
22 位置認識モジュール
24 通信モジュール
28 リスクポテンシャル
10 Mobile 14 Control device 18 Monitoring module 20 Mobile module 22 Position recognition module 24 Communication module 28 Risk potential

Claims (8)

相互に干渉しない担当領域に配置されると共に、監視範囲が変更可能なセンサをそれぞれ搭載した複数の移動体、及び必要に応じて固定センサを備え、前記複数の移動体が互いに位置情報を送受信することで、衝突を回避しながら担当領域を変更するように移動させる移動体の分散制御システムにおける制御装置であって、
自機移動体の担当領域内の、指定された監視対象領域のリスクの大きさと重心位置とを取得し、他機移動体との間で、前記担当領域内の前記監視対象領域のリスクの大きさと重心位置とを送受信する移動情報取得手段と、
自機移動体の担当領域の前記監視対象領域のリスクの重心位置と、周辺の担当領域のうち、最大リスクとなる担当領域の前記監視対象領域のリスクの重心位置との重み付けにより得られる位置を目標位置として算出し、前記目標位置に自機移動体を移動させる移動制御手段と、
を含む制御装置。
A plurality of mobile bodies each equipped with a sensor whose monitoring range can be changed, and a fixed sensor as needed, which are arranged in a responsible area that does not interfere with each other, and the plurality of mobile bodies transmit and receive position information to each other. Therefore, it is a control device in a distributed control system of a moving body that moves so as to change the area in charge while avoiding a collision.
Acquires the size of the risk and the position of the center of gravity of the designated monitored area in the area in charge of the own mobile body, and the size of the risk of the monitored area in the area in charge with the other mobile body. A means of acquiring movement information that sends and receives the position of the center of gravity and the position of the center of gravity.
The position obtained by weighting the position of the center of gravity of the risk in the monitored area of the area in charge of the own machine and the position of the center of gravity of the risk in the area in charge of the area that is the maximum risk among the surrounding areas in charge. A movement control means that calculates as a target position and moves the own moving body to the target position,
Control device including.
前記監視対象領域のリスクは、分布として指定され、
前記監視対象領域のリスクの大きさと重心位置は、前記リスクの分布から計算される請求項1記載の制御装置。
The risk in the monitored area is designated as a distribution and
The control device according to claim 1, wherein the risk magnitude and the position of the center of gravity of the monitored area are calculated from the risk distribution.
前記目標位置を算出するための重みは、自機移動体の担当領域内の前記監視対象領域のリスクに応じて定められる請求項1又は2記載の制御装置。 The control device according to claim 1 or 2, wherein the weight for calculating the target position is determined according to the risk of the monitored area in the area in charge of the own moving body. 前記移動制御手段は、自機移動体が他機移動体の担当領域内にいる場合に、移動体間の距離の関数で定義される斥力を自機移動体に作用させるように制御する請求項1~請求項3の何れか1項記載の制御装置。 A claim that the movement control means controls the repulsive force defined by a function of the distance between the moving bodies to act on the moving body of the own machine when the moving body of the own machine is in the area in charge of the moving body of another machine. The control device according to any one of claims 1 to 3. 前記担当領域内の前記監視対象領域は、前記固定センサによるセンシング情報が得られない死角領域である請求項1~請求項4の何れか1項記載の制御装置。 The control device according to any one of claims 1 to 4, wherein the monitored area in the area in charge is a blind spot area where sensing information from the fixed sensor cannot be obtained. 前記担当領域は、移動体間の垂直二等分線で囲まれたボロノイ領域である請求項1~請求項5の何れか1項記載の制御装置。 The control device according to any one of claims 1 to 5, wherein the area in charge is a Voronoi region surrounded by perpendicular bisectors between moving bodies. コンピュータを、
請求項1~請求項6の何れか1項の制御装置として動作させる
移動体の分散制御プログラム。
Computer,
A distributed control program for a moving body that operates as the control device according to any one of claims 1 to 6.
請求項1~請求項の何れか1項の制御装置
を備える移動体。
A moving body including the control device according to any one of claims 1 to 6 .
JP2017200384A 2017-10-16 2017-10-16 Control devices, moving objects, and distributed control programs for moving objects Active JP7069632B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017200384A JP7069632B2 (en) 2017-10-16 2017-10-16 Control devices, moving objects, and distributed control programs for moving objects

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017200384A JP7069632B2 (en) 2017-10-16 2017-10-16 Control devices, moving objects, and distributed control programs for moving objects

Publications (2)

Publication Number Publication Date
JP2019074918A JP2019074918A (en) 2019-05-16
JP7069632B2 true JP7069632B2 (en) 2022-05-18

Family

ID=66544779

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017200384A Active JP7069632B2 (en) 2017-10-16 2017-10-16 Control devices, moving objects, and distributed control programs for moving objects

Country Status (1)

Country Link
JP (1) JP7069632B2 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6742561B1 (en) * 2019-10-08 2020-08-19 三菱電機株式会社 Autonomous decentralized control system
JP7078601B2 (en) * 2019-12-25 2022-05-31 楽天グループ株式会社 Information processing equipment, information processing methods, and programs
WO2022044098A1 (en) * 2020-08-25 2022-03-03 三菱電機株式会社 Movement control device and movement control method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016212462A (en) 2015-04-28 2016-12-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Movement control method and movement control device
JP2017519279A (en) 2014-05-05 2017-07-13 ジョージア テック リサーチ コーポレイション Control of group robot

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017519279A (en) 2014-05-05 2017-07-13 ジョージア テック リサーチ コーポレイション Control of group robot
JP2016212462A (en) 2015-04-28 2016-12-15 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America Movement control method and movement control device

Also Published As

Publication number Publication date
JP2019074918A (en) 2019-05-16

Similar Documents

Publication Publication Date Title
US11697411B2 (en) Apparatus and methods for obstacle detection
CN109923492B (en) Flight path determination
CN109478068B (en) Method, apparatus and storage medium for dynamically controlling a vehicle
Phung et al. System architecture for real-time surface inspection using multiple UAVs
TWI817962B (en) Method, robotic vehicle, and processing device of adjustable object avoidance proximity threshold based on predictability of the environment
EP3735621B1 (en) Adjustable object avoidance proximity threshold based on classification of detected objects
CN110192122B (en) System and method for radar control on unmanned mobile platforms
EP3123260B1 (en) Selective processing of sensor data
Elbanhawi et al. Enabling technologies for autonomous MAV operations
CN110268356B (en) Leading unmanned aerial vehicle's system
JP2020098567A (en) Adaptive detection/avoidance system
CN111295627B (en) Underwater piloting unmanned aerial vehicle system
JP6599143B2 (en) Autonomous mobile robot
WO2017168423A1 (en) System and method for autonomous guidance of vehicles
JP7069632B2 (en) Control devices, moving objects, and distributed control programs for moving objects
JP7044061B2 (en) Mobiles, mobile control systems, mobile control methods, interface devices, and programs
JP6805989B2 (en) Coverage device, mobile, control device, distributed control program for mobile
JP2020529583A (en) Systems and methods for adjusting the range of lidar sensors on an aircraft
CN112639735A (en) Distribution of calculated quantities
CN110673627A (en) Forest unmanned aerial vehicle searching method
JP7077542B2 (en) Distributed control program for coverage devices, control devices, and moving objects
JP7014289B2 (en) Mobile control device, mobile, mobile control system, mobile control method and mobile control program
JP7073642B2 (en) Predictive control device, predictive control program, coverage device, mobile device, distributed control device, distributed control program for mobile device
JP7069896B2 (en) Controls, mobiles, autonomous distributed control programs
JP7091723B2 (en) Controls, mobiles, autonomous distributed control programs

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200722

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210527

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210601

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20211221

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220418

R150 Certificate of patent or registration of utility model

Ref document number: 7069632

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150