JP6863049B2 - Autonomous mobile robot - Google Patents

Autonomous mobile robot Download PDF

Info

Publication number
JP6863049B2
JP6863049B2 JP2017088872A JP2017088872A JP6863049B2 JP 6863049 B2 JP6863049 B2 JP 6863049B2 JP 2017088872 A JP2017088872 A JP 2017088872A JP 2017088872 A JP2017088872 A JP 2017088872A JP 6863049 B2 JP6863049 B2 JP 6863049B2
Authority
JP
Japan
Prior art keywords
mobile robot
distance sensor
distance
cell space
map
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017088872A
Other languages
Japanese (ja)
Other versions
JP2018185768A (en
Inventor
喜幸 松野
喜幸 松野
英典 藪下
英典 藪下
和仁 田中
和仁 田中
真太郎 吉澤
真太郎 吉澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2017088872A priority Critical patent/JP6863049B2/en
Publication of JP2018185768A publication Critical patent/JP2018185768A/en
Application granted granted Critical
Publication of JP6863049B2 publication Critical patent/JP6863049B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0268Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means
    • G05D1/0274Control of position or course in two dimensions specially adapted to land vehicles using internal positioning means using mapping information stored in a memory device
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05DSYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
    • G05D1/02Control of position or course in two dimensions
    • G05D1/021Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser

Description

本発明は、自律移動ロボットに関する。 The present invention relates to an autonomous mobile robot.

自律的に移動する移動ロボットが、自己位置を信頼度と共に算出しつつ、環境地図を作成し、更新する技術が知られている(例えば、特許文献1参照)。 A technique is known in which a mobile robot that moves autonomously creates and updates an environmental map while calculating its own position together with its reliability (see, for example, Patent Document 1).

特開2014−203145号公報Japanese Unexamined Patent Publication No. 2014-203145

移動ロボットは、他の移動ロボットが作成した環境地図を受け取って、自身が備えるセンサの現在のセンサ出力と比較しながら自己位置推定を行うことができる。あるいは、環境地図を作成した移動ロボットが、他のタスクを実行するときに、既に作成した環境地図と現在のセンサ出力とを比較しながら自己位置推定を行うこともできる。しかし、環境地図の一部に信頼度が低い領域が含まれていると、当該領域に対応する空間をセンシングしたセンサ出力からは、精度の高い自己位置推定が行えないという問題があった。 The mobile robot can receive an environment map created by another mobile robot and perform self-position estimation while comparing it with the current sensor output of its own sensor. Alternatively, when the mobile robot that created the environment map executes another task, it can perform self-position estimation while comparing the environment map that has already been created with the current sensor output. However, if a part of the environmental map includes a region with low reliability, there is a problem that highly accurate self-position estimation cannot be performed from the sensor output that senses the space corresponding to the region.

本発明は、このような問題を解決するためになされたものであり、移動ロボットが環境地図を参照しながら精度良く自己位置推定を行う技術を提供するものである。 The present invention has been made to solve such a problem, and provides a technique for a mobile robot to accurately estimate its own position while referring to an environmental map.

本発明の第1の態様における自律移動ロボットは、対象空間を自律移動する自律移動ロボットであって、周辺に存在する物体までの距離を計測する距離センサと、対象空間を複数のセル空間に区分して各々のセル空間を物体存否の確からしさを示す評価値で表現した環境地図を取得する取得部と、距離センサによる距離計測に基づいて環境地図上における自律移動ロボット自身の位置である自己位置を推定する位置推定部とを備え、位置推定部は、自己位置を推定するときに、物体存否の確からしさがより大きい評価値を有するセル空間に距離センサを向けて距離計測を実行し、距離計測の結果と環境地図と照合することにより自己位置を推定する。 The autonomous mobile robot according to the first aspect of the present invention is an autonomous mobile robot that autonomously moves in a target space, and is divided into a distance sensor that measures a distance to an object existing in the vicinity and a target space into a plurality of cell spaces. Then, the acquisition unit that acquires the environment map that expresses each cell space with the evaluation value indicating the certainty of the existence of the object, and the self-position that is the position of the autonomous mobile robot itself on the environment map based on the distance measurement by the distance sensor. The position estimation unit is provided with a position estimation unit for estimating the distance, and when estimating the self-position, the position estimation unit performs distance measurement by pointing the distance sensor at the cell space having an evaluation value having a higher probability of existence of the object, and the distance is measured. The self-position is estimated by comparing the measurement result with the environmental map.

本発明により、移動ロボットは環境地図を参照しながら精度良く自己位置推定を行うことができる。 According to the present invention, the mobile robot can accurately estimate its own position while referring to the environment map.

本実施形態にかかる移動ロボットの外観斜視図である。It is external perspective view of the mobile robot which concerns on this embodiment. 移動ロボットの制御ブロック図である。It is a control block diagram of a mobile robot. 距離センサを用いた距離計測の様子を説明する図である。It is a figure explaining the state of the distance measurement using a distance sensor. 自律移動する対象空間の例を示す図である。It is a figure which shows the example of the object space which moves autonomously. 取得した環境地図を説明する図である。It is a figure explaining the acquired environment map. 経路および姿勢の計画を説明する図である。It is a figure explaining the plan of a route and a posture. 移動ロボットの処理フローを説明するフロー図である。It is a flow figure explaining the processing flow of a mobile robot.

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲に係る発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the invention according to the claims is not limited to the following embodiments. Moreover, not all of the configurations described in the embodiments are indispensable as means for solving the problem.

図1は、本実施形態にかかる移動ロボット100の外観斜視図である。移動ロボット100は、大きく分けて台車部110とアーム部120によって構成される。 FIG. 1 is an external perspective view of the mobile robot 100 according to the present embodiment. The mobile robot 100 is roughly divided into a carriage portion 110 and an arm portion 120.

台車部110は、主に、ベース111と、ベース111に取り付けられた2つの駆動輪112と1つのキャスター113とから構成される。2つの駆動輪112は、ベース111の対向する側方のそれぞれに、回転軸芯が一致するように配設されている。それぞれの駆動輪112は、不図示のモータによって独立して回転駆動される。キャスター113は、従動輪であり、ベース111から鉛直方向に延びる旋回軸が車輪の回転軸から離れて車輪を軸支するように設けられており、台車部110の移動方向に倣うように追従する。移動ロボット100は、例えば、2つの駆動輪112が同じ方向に同じ回転速度で回転されれば直進し、逆方向に同じ回転速度で回転されれば重心を通る鉛直軸周りに旋回する。 The bogie 110 is mainly composed of a base 111, two drive wheels 112 attached to the base 111, and one caster 113. The two drive wheels 112 are arranged so that the rotation axis coincides with each of the opposite sides of the base 111. Each drive wheel 112 is independently rotationally driven by a motor (not shown). The caster 113 is a driven wheel, and a swivel shaft extending in the vertical direction from the base 111 is provided so as to support the wheel apart from the rotation shaft of the wheel, and follows the moving direction of the bogie portion 110. .. For example, the mobile robot 100 goes straight if the two drive wheels 112 are rotated in the same direction at the same rotation speed, and turns around a vertical axis passing through the center of gravity if the two drive wheels 112 are rotated at the same rotation speed in the opposite direction.

台車部110には、障害物検知や周辺環境認識のための各種センサが設けられている。カメラ114は、そのセンサ類の一つであり、ベース111の前方に2つ配置されている。カメラ114は、例えばCMOSイメージセンサを含み、撮影した画像信号を後述の制御部へ送信する。ベース111の前方には更に、距離センサ115が配置されている。距離センサ115は、周辺に存在する物体までの距離を計測するセンサである。本実施形態における距離センサ115は、レーザー光を水平断面方向に走査しながら投射してその反射光を検出することにより投射点までの距離を計測するライダーである。具体的には後述する。 The dolly unit 110 is provided with various sensors for detecting obstacles and recognizing the surrounding environment. The camera 114 is one of the sensors, and two cameras 114 are arranged in front of the base 111. The camera 114 includes, for example, a CMOS image sensor, and transmits a captured image signal to a control unit described later. A distance sensor 115 is further arranged in front of the base 111. The distance sensor 115 is a sensor that measures the distance to an object existing in the vicinity. The distance sensor 115 in the present embodiment is a rider that measures the distance to the projection point by projecting the laser beam while scanning it in the horizontal cross-sectional direction and detecting the reflected light. Specifically, it will be described later.

台車部110には、コントロールユニット190が設けられている。コントロールユニット190は、後述の制御部とメモリ等を含む。 A control unit 190 is provided on the carriage portion 110. The control unit 190 includes a control unit and a memory, which will be described later.

アーム部120は、主に、複数のアーム121、122、123と、ハンド124とから構成される。アーム121は、鉛直軸周りに回転自在に、一端がベース111に軸支されている。アーム122は、水平軸周りに回転自在に、一端がアーム121の他端に軸支されている。アーム123は、アーム122の他端で放射方向に回転自在に、一端がアーム122の他端に軸支されている。ハンド124は、アーム123の伸延方向と平行な中心軸周りに回転自在に、アーム123の他端に軸支されている。 The arm portion 120 is mainly composed of a plurality of arms 121, 122, 123 and a hand 124. One end of the arm 121 is pivotally supported by the base 111 so as to be rotatable around a vertical axis. One end of the arm 122 is pivotally supported by the other end of the arm 121 so as to be rotatable around a horizontal axis. The arm 123 is rotatable in the radial direction at the other end of the arm 122, and one end thereof is pivotally supported by the other end of the arm 122. The hand 124 is pivotally supported at the other end of the arm 123 so as to be rotatable around a central axis parallel to the extension direction of the arm 123.

ハンド124は、搬送物などを把持する把持機構である。移動ロボット100は、搬送物を搬送するに限らず、様々な目的に適用することができる。アーム部120は、移動ロボット100に与えられるタスクに応じて様々な作業対象物を把持する。 The hand 124 is a gripping mechanism for gripping a transported object or the like. The mobile robot 100 is not limited to transporting the transported object, and can be applied to various purposes. The arm unit 120 grips various work objects according to the task given to the mobile robot 100.

図2は、移動ロボット100の制御ブロック図である。制御部200は、例えばCPUであり、駆動輪ユニット210、アームユニット220、センサユニット230、メモリ240、受信部250等との間で指令やサンプリングデータ等の情報を送受信することにより、移動ロボット100の制御に関わる様々な演算を実行する。 FIG. 2 is a control block diagram of the mobile robot 100. The control unit 200 is, for example, a CPU, and is a mobile robot 100 by transmitting and receiving information such as commands and sampling data to and from the drive wheel unit 210, the arm unit 220, the sensor unit 230, the memory 240, the reception unit 250, and the like. Performs various operations related to the control of.

駆動輪ユニット210は、台車部110に設けられており、駆動輪112を駆動するための駆動回路とモータ、モータの回転量を検出するエンコーダ等を含む。駆動輪ユニット210は、自律移動するための移動機構として機能する。制御部200は、駆動輪ユニット210へ駆動信号を送ることにより、モータの回転制御を実行する。また、エンコーダの検出信号を受け取ることにより、移動ロボット100の移動速度、移動距離、旋回角等を演算する。 The drive wheel unit 210 is provided in the bogie unit 110, and includes a drive circuit for driving the drive wheels 112, a motor, an encoder for detecting the amount of rotation of the motor, and the like. The drive wheel unit 210 functions as a moving mechanism for autonomous movement. The control unit 200 executes rotation control of the motor by sending a drive signal to the drive wheel unit 210. In addition, by receiving the detection signal of the encoder, the moving speed, moving distance, turning angle, etc. of the moving robot 100 are calculated.

アームユニット220は、アーム部120に設けられており、アーム121、122、123およびハンド124を駆動するための駆動回路とアクチュエータ、アクチュエータの動作量を検出するエンコーダ等を含む。制御部200は、アームユニット220へ駆動信号を送ることにより、アクチュエータを動作させ、アーム部120の姿勢制御や把持制御を実行する。また、エンコーダの検出信号を受け取ることにより、アーム部120の稼働速度、稼働距離、姿勢等を演算する。 The arm unit 220 is provided in the arm unit 120, and includes a drive circuit and an actuator for driving the arms 121, 122, 123 and the hand 124, an encoder for detecting the amount of movement of the actuator, and the like. The control unit 200 operates the actuator by sending a drive signal to the arm unit 220, and executes attitude control and grip control of the arm unit 120. Further, by receiving the detection signal of the encoder, the operating speed, operating distance, posture, etc. of the arm unit 120 are calculated.

センサユニット230は、カメラ114、距離センサ115の他にも各種センサを含み、これらは、台車部110およびアーム部120に分散して配置されている。制御部200は、それぞれのセンサに制御信号を送ることにより、その出力を取得する。例えば、カメラ114は、制御部200からの制御信号に従って撮影動作を実行し、撮影したフレーム画像データを制御部200へ送信する。また、距離センサ115は、制御部200からの要求信号に従って、レーザー光の投射方位と基準位置から対象物までの距離とを制御部へ送信する。 The sensor unit 230 includes various sensors in addition to the camera 114 and the distance sensor 115, and these are dispersedly arranged in the carriage portion 110 and the arm portion 120. The control unit 200 acquires the output by sending a control signal to each sensor. For example, the camera 114 executes a shooting operation according to a control signal from the control unit 200, and transmits the shot frame image data to the control unit 200. Further, the distance sensor 115 transmits the projection direction of the laser beam and the distance from the reference position to the object to the control unit according to the request signal from the control unit 200.

メモリ240は、不揮発性の記憶媒体であり、例えばソリッドステートドライブが用いられる。メモリ240は、移動ロボット100を制御するための制御プログラム、制御に用いられる様々なパラメータ値、関数、ルックアップテーブル等を記憶している。特に、自律移動するための各種地図情報が記述されたデータベースである地図DB241の記憶領域を含む。 The memory 240 is a non-volatile storage medium, and for example, a solid state drive is used. The memory 240 stores a control program for controlling the mobile robot 100, various parameter values used for control, a function, a look-up table, and the like. In particular, it includes a storage area of the map DB 241 which is a database in which various map information for autonomous movement is described.

受信部250は、制御部200の制御に従って、外部機器や他の移動ロボットから送られてくる各種情報や制御信号を受信する。受信部250は、例えば無線LANユニットであり、もちろん送信部としての機能を有していても構わない。本実施形態において受信部250は、作成された環境地図を他の移動ロボットから受信して取得する取得部としての機能を担う。 The receiving unit 250 receives various information and control signals sent from an external device or another mobile robot under the control of the control unit 200. The receiving unit 250 is, for example, a wireless LAN unit, and of course may have a function as a transmitting unit. In the present embodiment, the receiving unit 250 functions as an acquiring unit that receives and acquires the created environment map from another mobile robot.

制御部200は、制御に関わる様々な演算や制御を実行する機能実行部としての役割も担う。位置推定部201は、地図DB241に記憶されている環境地図と、距離センサ115の出力とを比較して、移動ロボット100が対象空間のどこに存在するかを判定する自己位置推定を行う制御プログラムを実行する。具体的には後に詳述する。 The control unit 200 also plays a role as a function execution unit that executes various calculations and controls related to control. The position estimation unit 201 compares the environment map stored in the map DB 241 with the output of the distance sensor 115, and provides a control program that performs self-position estimation to determine where the mobile robot 100 exists in the target space. Execute. Specifically, it will be described in detail later.

図3は、距離センサ115を用いた距離計測の様子を説明する図である。ライダーである距離センサ115は、床面から高さhの水平断面方向にレーザー光を投射する。具体的には、例えばマイクロミラーを駆動してベース111の前方の約90度の範囲でレーザー光を走査する。そして、走査した投射光に対する反射光を検出することにより、反射点までの距離を算出する。 FIG. 3 is a diagram illustrating a state of distance measurement using the distance sensor 115. The distance sensor 115, which is a rider, projects laser light in the horizontal cross-sectional direction at a height h from the floor surface. Specifically, for example, a micromirror is driven to scan the laser beam in a range of about 90 degrees in front of the base 111. Then, the distance to the reflection point is calculated by detecting the reflected light with respect to the scanned projected light.

距離センサ115は、基準点であるレーザー投射部から距離Lまでに物体が存在すれば、その物体までの距離を検出できる。すなわち、前方の約90度の範囲であって基準点を中心とする半径Lの範囲が検出領域である。図示するように物体601が検出領域内に存在する場合、物体601の表面に距離の測定ができた検出点が連続して直線状に現れる(図中の太線部)。このとき、距離センサ115は、その検出点ごとにレーザーの投射方位と基準点からの距離を出力する。レーザーの投射方位は、例えば正面方向に対する成す角である。図示する検出点の例では、距離がLであり、投射方位がθである。なお、距離センサ115は、距離Lの範囲に物体を検出できなかった場合は、検出物なしとの結果を出力する。 If an object exists within a distance L 0 from the laser projection unit, which is a reference point, the distance sensor 115 can detect the distance to the object. That is, the detection region is a range of about 90 degrees ahead and a radius L 0 centered on the reference point. When the object 601 exists in the detection region as shown in the figure, the detection points at which the distance can be measured appear continuously and linearly on the surface of the object 601 (thick line portion in the figure). At this time, the distance sensor 115 outputs the projection direction of the laser and the distance from the reference point for each detection point. The projection direction of the laser is, for example, the angle formed with respect to the front direction. In the illustrated detection point example, the distance is L x and the projection direction is θ x . If the distance sensor 115 cannot detect an object within the range of the distance L 0, the distance sensor 115 outputs the result that there is no detected object.

図4は、移動ロボット100が自律移動する対象空間の例を示す図である。上述のように、対象空間は距離センサ115によって計測される床面から高さhの水平断面として認識されるが、図4は、移動ロボット100が動き回る対象空間600を俯瞰する模式図として示している。 FIG. 4 is a diagram showing an example of a target space in which the mobile robot 100 autonomously moves. As described above, the target space is recognized as a horizontal cross section at a height h from the floor surface measured by the distance sensor 115, but FIG. 4 is shown as a schematic view of the target space 600 in which the mobile robot 100 moves around. There is.

対象空間600は、全体を壁611で囲まれており、通路に面した一部が、通路との間で往来可能な入口612になっている。壁611の一部は、透明なガラス戸613で構成されている。また、対象空間600内には、柱614が複数存在する。また、棚615が複数設置されている。対象空間600内には、人690が時折作業を行っている。 The target space 600 is entirely surrounded by a wall 611, and a part facing the passage is an entrance 612 that can come and go to and from the passage. A part of the wall 611 is composed of a transparent glass door 613. In addition, there are a plurality of pillars 614 in the target space 600. In addition, a plurality of shelves 615 are installed. In the target space 600, 690 people are occasionally working.

移動ロボット100は、このような対象空間においてタスクを実行するに先立ち、他の移動ロボットである地図作成ロボットが作成した当該対象空間の環境地図を、受信部250を介して取得する。地図作成ロボットは、移動ロボット100と同様に床面から高さhの水平断面方向にレーザー光を投射する距離センサを備え、その出力結果から環境地図を作成する。すなわち、移動ロボット100が取得する環境地図は、対象空間の高さhの水平断面における地図である。 Prior to executing a task in such a target space, the mobile robot 100 acquires an environment map of the target space created by another mobile robot, a map creation robot, via the receiving unit 250. Like the mobile robot 100, the map-creating robot includes a distance sensor that projects a laser beam in the horizontal cross-sectional direction at a height h from the floor surface, and creates an environmental map from the output result. That is, the environment map acquired by the mobile robot 100 is a map in a horizontal cross section at a height h of the target space.

ここで、環境地図がどのように作成されているかについて一例を説明する。地図作成ロボットは、地図を作成する対象空間内において、カメラ画像情報等を利用して自身が通過可能な経路を見つけ、デッドレコニングにより自己位置を把握しながら対象空間内をできる限り隈なく移動する。地図作成ロボットは、距離センサを動作させ、進行方向に対してセンシング範囲に物体が存在するか否かを検出する。具体的には、地図作成ロボットは、センシングを行った時の基準点の位置、レーザー光の投射方位、検出した対象物までの距離、その検証値を取得する。 Here, an example will be described of how the environmental map is created. In the target space for creating a map, the map creation robot finds a route that it can pass through using camera image information, etc., and moves as far as possible in the target space while grasping its own position by dead reckoning. .. The mapping robot operates a distance sensor to detect whether or not an object exists in the sensing range with respect to the traveling direction. Specifically, the map-creating robot acquires the position of the reference point at the time of sensing, the projection direction of the laser beam, the distance to the detected object, and the verification value thereof.

検証値は、距離センサが検出した検出結果の確からしさを表す値である。検証値は、例えば反射光の強度が大きい場合には、精度良く距離の検出ができたとして、高い値が与えられる。逆に、反射光の強度が小さい場合には、検出結果が不確かであるとして、低い値が与えられる。具体的には、例えば透明なガラスにレーザーを投射するような場合には、その表面での反射率は低いので、検出される反射光の強度は弱くなる。また、物体の表面が振動していたり、レーザー光を吸収してしまう素材であったりしても、検出結果がばらついたり、反射光の強度が弱くなったりする。すなわち、レーザー光が照射された物体表面の状態や素材によっては、検出された結果が不確かとなるので、そのような場合には低い検証値が与えられる。 The verification value is a value indicating the certainty of the detection result detected by the distance sensor. As the verification value, for example, when the intensity of the reflected light is high, a high value is given on the assumption that the distance can be detected with high accuracy. On the contrary, when the intensity of the reflected light is small, a low value is given because the detection result is uncertain. Specifically, for example, when a laser is projected onto transparent glass, the reflectance on the surface thereof is low, so that the intensity of the detected reflected light is weakened. Further, even if the surface of the object is vibrating or the material absorbs the laser beam, the detection result may vary or the intensity of the reflected light may be weakened. That is, the detected result is uncertain depending on the state of the surface of the object irradiated with the laser beam and the material, and in such a case, a low verification value is given.

環境地図は、対象空間を複数のセル空間に区分し、各々のセル空間において少なくともその一部を占有する物体が存在するか否かについての確からしさを示す評価値を、各々のセル空間に付与したものである。各々のセル空間に付与する評価値は、地図作成ロボットが対象空間を動き回りながら得た距離センサの検証値に基づいて算出される。 The environment map divides the target space into a plurality of cell spaces, and gives each cell space an evaluation value indicating the certainty as to whether or not there is an object that occupies at least a part of each cell space. It was done. The evaluation value given to each cell space is calculated based on the verification value of the distance sensor obtained by the map-creating robot while moving around the target space.

図5は、取得した環境地図を説明する図である。対象空間600は、床面から高さhの水平断面を含む一層においてm×nに区分されたセル空間の集合として定義されている。 FIG. 5 is a diagram for explaining the acquired environmental map. The target space 600 is defined as a set of cell spaces divided into m × n in one layer including a horizontal cross section at a height h from the floor surface.

地図作成ロボットは、距離センサによって投射したレーザー光が通過したセル空間には物体が存在しなかったと判断し、レーザー光が反射したセル空間に物体が存在したと判断する。また、レーザー光が反射したセル空間より遠方のセル空間は、物体存否の確認ができなかったものとする。地図作成ロボットは、レーザー光が通過したセル空間および反射したセル空間を、センシングを行った時の基準点の位置、レーザー光の投射方位、検出した物体までの距離によって判断する。距離センサが物体を検出しなかった場合には、基準点から検出可能範囲に含まれるセル空間を、物体が存在しなかったセル空間であると判断する。 The mapping robot determines that the object did not exist in the cell space through which the laser beam projected by the distance sensor passed, and determines that the object existed in the cell space where the laser beam was reflected. Further, it is assumed that the existence or nonexistence of the object cannot be confirmed in the cell space farther than the cell space where the laser beam is reflected. The mapping robot determines the cell space through which the laser beam has passed and the cell space reflected by the laser beam based on the position of the reference point at the time of sensing, the projection direction of the laser beam, and the distance to the detected object. When the distance sensor does not detect an object, the cell space included in the detectable range from the reference point is determined to be the cell space in which the object did not exist.

また、上述のように、センシングの結果には検証値が含まれるので、地図作成ロボットは、この検証値に基づいて各セル空間の評価値を演算する。評価値は、上述のように各々のセル空間において少なくともその一部を占有する物体が存在するか否かについての確からしさを示す値である。 Further, as described above, since the sensing result includes the verification value, the map creation robot calculates the evaluation value of each cell space based on the verification value. The evaluation value is a value indicating the certainty as to whether or not there is an object that occupies at least a part of each cell space as described above.

例えば、評価値を0以上1以下のいずれかの値とする場合において、「0」は「物体が存在しない」を表し、「1」は「物体が存在する」を表すものと定義すると、中間値の「0.5」は、「物体存否が不明」ということになる。したがって、「0」に近い値であるほど「物体が存在しない」ことについてより確かであり、「1」に近い値であるほど「物体が存在する」ことについてより確かである。逆に、中間値の「0.5」に近い値であるほど「物体が存在するかしないかわからない」と言える。 For example, when the evaluation value is set to any value of 0 or more and 1 or less, "0" is defined as "there is no object" and "1" is defined as "there is an object". A value of "0.5" means "the existence or nonexistence of an object is unknown". Therefore, the closer the value is to "0", the more certain it is that "the object does not exist", and the closer the value is to "1", the more certain it is that "the object exists". On the contrary, the closer the value is to the median value "0.5", the more it can be said that "it is unknown whether or not the object exists".

検出結果の確からしさを表す検証値は、上述のように例えば透明ガラスを検出した場合には小さな値となる。すなわち検証値は、その検出点において物体が存在する確からしさを表していると捉えることができる。したがって、検証値が大きければ、検出点を含むセル空間に「1」に近い評価値を与え、その間のセル空間に「0」に近い評価値を与えることができる。逆に、検証値が小さければ、検出点を含むセル空間にも、その間のセル空間にも、「0.5」に近い評価値を与えれば良い。すなわち、地図作成ロボットは、センシングによって出力された検証値を、各セル空間に与えるそれぞれの評価値に、予め定められた変換式により変換することができる。 The verification value indicating the certainty of the detection result is a small value when, for example, transparent glass is detected as described above. That is, the verification value can be regarded as representing the certainty that the object exists at the detection point. Therefore, if the verification value is large, an evaluation value close to "1" can be given to the cell space including the detection point, and an evaluation value close to "0" can be given to the cell space in between. On the contrary, if the verification value is small, an evaluation value close to "0.5" may be given to both the cell space including the detection points and the cell space in between. That is, the map-creating robot can convert the verification value output by sensing into each evaluation value given to each cell space by a predetermined conversion formula.

また、地図作成ロボットの移動により、距離センサは、同じセル空間に何度もレーザー光を投射する場合もあり得る。その場合は、検出結果に応じて、関連するセル空間の評価値を更新すると良い。地図作成ロボットは、例えば、以前に演算された評価値と新たに演算された評価値の平均値を最新の評価値とすることができる。 Further, due to the movement of the mapping robot, the distance sensor may project the laser beam into the same cell space many times. In that case, it is advisable to update the evaluation value of the related cell space according to the detection result. The map-creating robot can, for example, set the average value of the previously calculated evaluation value and the newly calculated evaluation value as the latest evaluation value.

図5に示す各セル空間は、このように演算された評価値を有する。「0」に近い評価値(ここでは0.35未満の評価値)を有するセル空間を白色で表し、「1」に近い評価値(ここでは0.65以上の評価値)を有するセル空間を斜線で表している。また、「0.5」に近い評価値(ここでは0.35以上0.65未満の評価値)を有するセル空間をドットで表し、物体存否の確認ができなかったセル空間を黒色で表している。そして、左下の一部を拡大して、具体的にどのような数値が各セル空間に与えられているかを示している。 Each cell space shown in FIG. 5 has an evaluation value calculated in this way. A cell space having an evaluation value close to "0" (evaluation value less than 0.35 in this case) is shown in white, and a cell space having an evaluation value close to "1" (evaluation value of 0.65 or more in this case) is shown in white. It is represented by a diagonal line. Further, the cell space having an evaluation value close to "0.5" (here, the evaluation value of 0.35 or more and less than 0.65) is represented by dots, and the cell space in which the existence or nonexistence of the object could not be confirmed is represented by black. There is. Then, the lower left part is enlarged to show what kind of numerical value is specifically given to each cell space.

図4で示したように、左下にはガラス戸613が存在するので、これに対応するセル空間の評価値は、いずれも「0.5」に近い値となっている。一方で、柱614に対応するセル空間の評価値は「1」に近い値となっており、その位置には物体がより確実に存在することがわかる。また、対象空間600の中央右側付近には動体としての人690が存在していたので、これに対応して環境地図にも「0.5」に近い評価値を有するセル空間の一群が中央右側付近に存在していることがわかる。 As shown in FIG. 4, since the glass door 613 exists in the lower left, the evaluation value of the cell space corresponding to the glass door 613 is close to “0.5”. On the other hand, the evaluation value of the cell space corresponding to the pillar 614 is a value close to "1", and it can be seen that the object exists more reliably at that position. In addition, since there was a person 690 as a moving object near the center right side of the target space 600, a group of cell spaces having an evaluation value close to "0.5" on the environmental map corresponding to this existed on the center right side. It can be seen that it exists in the vicinity.

移動ロボット100は、このように対象空間を複数のセル空間に区分して各々のセル空間を物体存否の確からしさを示す評価値で表現した環境地図を、地図作成ロボットから受信部250を介して取得する。そして、取得した環境地図を参照して、タスクに応じた移動経路および経路移動中の姿勢について計画する。図6は、移動経路および経路移動中の姿勢についての計画を説明する図である。 The mobile robot 100 divides the target space into a plurality of cell spaces in this way, and displays an environment map in which each cell space is expressed by an evaluation value indicating the certainty of the existence or nonexistence of an object from the map creation robot via the receiving unit 250. get. Then, with reference to the acquired environment map, the movement route according to the task and the posture during the route movement are planned. FIG. 6 is a diagram illustrating a plan for a movement route and a posture during route movement.

移動ロボット100が実行すべきタスクは、スタート地点から地点P、Pまで移動し、アーム部150を稼働して棚615から搬送物を取り出し、スタート地点まで戻るものとする。このとき、移動ロボット100は、実線と矢印で示す経路を最適ルートとして選定したとする。 Task mobile robot 100 to be executed is moved from the start point to the point P 1, P 2, removed conveyed from the shelf 615 running the arm unit 150 is assumed to return to the starting point. At this time, it is assumed that the mobile robot 100 selects the route indicated by the solid line and the arrow as the optimum route.

移動ロボット100は、選定した経路に沿って移動するが、移動中は、駆動輪の駆動量から自己位置を推定するデッドレコニングに加えて、あるいは、デッドレコニングに代えて、環境地図と距離センサ115の検出結果とを比較することにより自己位置を推定する。具体的には、距離センサ115の検出結果から認識できた周辺の物体存否状況が、環境地図で示された物体存否情報と一致する箇所を探し、その一致箇所までの距離、方位から自身の現在位置を算出する。 The mobile robot 100 moves along the selected path, but during the movement, in addition to the dead reckoning that estimates the self-position from the driving amount of the drive wheels, or instead of the dead reckoning, the environment map and the distance sensor 115 The self-position is estimated by comparing with the detection result of. Specifically, the location where the presence / absence status of surrounding objects recognized from the detection result of the distance sensor 115 matches the presence / absence information of the object shown on the environmental map is searched for, and the distance and direction to the matching location are used to determine the current status of the object. Calculate the position.

ところで、環境地図中に太線V、Vで囲むセル空間は、物体存否の確からしさが小さい評価値を有するセル空間である。移動ロボット100が、このようなセル空間に対して行ったセンシングの検出結果を用いて自己位置を推定しようとすると、環境地図との照合を適切に行うことができず、推定精度が落ちてしまう。そこで本実施形態においては、移動ロボット100は、取得した環境地図を参照し、物体存否の確からしさがより大きい評価値を有するセル空間に距離センサ115を向けて距離計測を実行できるように、経路移動中の自身の姿勢を制御する。 By the way, the cell space surrounded by thick lines V 1 and V 2 in the environment map is a cell space having an evaluation value with a small probability of existence of an object. When the mobile robot 100 tries to estimate its own position using the detection result of sensing performed on such a cell space, it cannot properly collate with the environment map, and the estimation accuracy drops. .. Therefore, in the present embodiment, the mobile robot 100 refers to the acquired environment map and directs the distance sensor 115 to the cell space having an evaluation value having a greater certainty of the existence or nonexistence of the object so that the distance measurement can be performed. Control your posture while moving.

具体的には、移動ロボット100は、太線V、Vで囲むセル空間の近傍を進行する時には、白抜矢印で示す方向に距離センサ115が向くように、移動ロボット100の姿勢を制御する。移動ロボット100は、左右の駆動輪112の回転量に差を与えることにより、移動方向と距離センサ115の向きを異ならせることができる。なお、白抜矢印を示していない経路においては、距離センサ115を正面に向けて移動する。 Specifically, the mobile robot 100, when traveling in the vicinity of the cell space surrounded by a thick line V 1, V 2, as the distance sensor 115 in the direction indicated by the outline arrows are directed, to control the posture of the mobile robot 100 .. The mobile robot 100 can make the moving direction and the direction of the distance sensor 115 different by giving a difference in the amount of rotation of the left and right drive wheels 112. In the route not shown by the white arrow, the distance sensor 115 is moved toward the front.

例えば地点Pへ向かう経路においては、距離センサ115の検出領域にVのセル空間が含まれ始めると、移動ロボット100は、距離センサ115の向きが点線で示す検出領域aとなるように、進行方向に対して一旦左側に少し傾ける。そして、更に進行すると、今度はVのセル空間に対して反対側を向くように、距離センサ115の向きが検出領域aとなるように、進行方向に対して右側に少し傾ける。 For example , in the path toward the point P 1 , when the cell space of V 1 starts to be included in the detection area of the distance sensor 115, the mobile robot 100 makes the direction of the distance sensor 115 the detection area a 1 indicated by the dotted line. , Tilt a little to the left with respect to the direction of travel. Then, further the proceeds, so as to face opposite to the cell space of V 1 was in turn, as the orientation of the distance sensor 115 is a detection region a 2, slightly inclined to the right side to the traveling direction.

同様に、地点Pからスタート地点へ戻る経路においては、距離センサ115の検出領域にVのセル空間が含まれ始めると、距離センサ115の向きが点線で示す検出領域aとなるように、進行方向に対して一旦左側に少し傾ける。このように、V、Vのセル空間の近傍を進行するときに距離センサ115の向きを調整すれば、物体存否がより確かなセル空間を基準として環境地図と距離センサ115の検出結果とを照合できるので、移動ロボット100は、精度良く自己位置を推定することができる。また、精度良く自己位置を推定できるので、計画した移動経路から外れていることを認識した場合には、より正しく当所の移動経路に復帰することができる。 Similarly, in the path back from the point P 2 to the start point, if the distance to the detection area of the sensor 115 starts to include the cell space of V 2, as the direction of the distance sensor 115 is a detection region a 3 indicated by a dotted line , Tilt a little to the left with respect to the direction of travel. In this way, if the orientation of the distance sensor 115 is adjusted when traveling in the vicinity of the cell space of V 1 and V 2 , the environment map and the detection result of the distance sensor 115 will be based on the cell space in which the presence or absence of an object is more certain. Can be collated, so that the mobile robot 100 can estimate its own position with high accuracy. In addition, since the self-position can be estimated with high accuracy, it is possible to return to the movement route of our place more correctly when it is recognized that the movement route is deviated from the planned movement route.

以上説明した例では、タスクの実行に先立ち、取得した環境地図を参照して移動経路および経路移動中の姿勢について計画した。しかし、タスクの実行開始時には移動経路のみを計画しておき、その移動経路に沿って移動している時に距離センサ115の検出領域に物体存否が確かでないセル空間が進入してくる、あるいは進入してきたと認識してから、自身の姿勢を制御しても良い。図7は、そのような例における移動ロボット100の処理フローを説明するフロー図である。なお、与えられたタスクは、フローのいずれかの時点において実行されるものとする。 In the example described above, prior to the execution of the task, the movement route and the posture during the route movement were planned with reference to the acquired environment map. However, only the movement path is planned at the start of task execution, and when moving along the movement path, a cell space in which the existence or nonexistence of an object is uncertain enters or enters the detection area of the distance sensor 115. You may control your own posture after recognizing that. FIG. 7 is a flow chart illustrating a processing flow of the mobile robot 100 in such an example. The given task shall be executed at any time in the flow.

制御部200は、まず、これからタスクを実行する対象空間600の環境地図を取得する(ステップS101)。そして、取得した環境地図を参照して、タスクを実行するために移動すべき経路を計画する(ステップS102)。 First, the control unit 200 acquires an environment map of the target space 600 for which the task is to be executed (step S101). Then, with reference to the acquired environment map, a route to be moved in order to execute the task is planned (step S102).

制御部200は、駆動輪ユニット210へ制御信号を送信して、計画経路に沿った移動を実行する(ステップS103)。制御部200は、移動を継続すると共にその移動量を監視し、地図を参照して、距離センサ115の検出領域に物体存否の不確かな特定セル空間が進入してくるか否かを判断する(ステップS104)。進入してくると判断したら、距離センサ115の検出領域に特定セル空間ができる限り含まれないように、移動ロボット100の姿勢を制御して距離センサ115の向きを変更し、ステップS106へ進む。進入してこないと判断したら、ステップS105をスキップしてステップS106へ進む。 The control unit 200 transmits a control signal to the drive wheel unit 210 to execute the movement along the planned route (step S103). The control unit 200 continues the movement, monitors the movement amount, and refers to the map to determine whether or not a specific cell space in which the existence or nonexistence of the object is uncertain enters the detection area of the distance sensor 115 ( Step S104). When it is determined that the robot is approaching, the posture of the mobile robot 100 is controlled to change the direction of the distance sensor 115 so that the detection area of the distance sensor 115 does not include the specific cell space as much as possible, and the process proceeds to step S106. If it is determined that the vehicle does not enter, step S105 is skipped and the process proceeds to step S106.

制御部200の位置推定部201は、距離センサ115から検出結果を取得し(ステップS106)、その検出結果と環境地図を照合することにより自己位置を推定する(ステップS107)。そして、制御部200は、推定した自己位置が計画した経路から外れているか否かを判断し(ステップS108)、外れていれば計画経路に復帰する位置修正を行う(ステップS109)。位置修正が完了したら、あるいは、ステップS108で経路から外れていないと判断したら、ステップS110へ進む。 The position estimation unit 201 of the control unit 200 acquires a detection result from the distance sensor 115 (step S106), and estimates its own position by collating the detection result with the environment map (step S107). Then, the control unit 200 determines whether or not the estimated self-position deviates from the planned route (step S108), and if it deviates, corrects the position to return to the planned route (step S109). When the position correction is completed, or when it is determined in step S108 that the route is not deviated, the process proceeds to step S110.

制御部200は、ステップS110で、タスクを終了してスタート地点に帰還したか否かを判断する。帰還していないと判断したら、ステップS103へ戻る。帰還したと判断したら、一連の処理を終了する。 In step S110, the control unit 200 determines whether or not the task has been completed and the user has returned to the starting point. If it is determined that the device has not returned, the process returns to step S103. When it is determined that the product has returned, the series of processes is terminated.

以上説明した実施形態においては、環境地図は、対象空間を水平に切断した一層を表現するものであったが、三次元的に区分したセル空間で定義される環境地図を利用しても良い。三次元的な環境地図を利用するのであれば、高さ方向にも走査できる距離センサを採用したり、高さ方向に距離センサを複数配置したりすれば良い。 In the embodiment described above, the environment map represents one layer obtained by horizontally cutting the target space, but an environment map defined by three-dimensionally divided cell spaces may be used. If a three-dimensional environmental map is used, a distance sensor that can scan in the height direction may be adopted, or a plurality of distance sensors may be arranged in the height direction.

また、以上説明した実施形態においては、距離センサ115としてライダーを採用したが、距離センサ115は、ライダーでなくても良い。対象物までの距離が計測できる距離センサであれば、超音波センサや距離画像センサなどであっても良い。また、走査機構を備える単一の距離センサでなく、例えば、それぞれが異なる方向に向けられた距離センサアレイであっても構わない。また、距離センサが旋回可能なベースに設置されているのであれば、移動ロボット100の姿勢を変化させることなく、ベースを旋回して距離センサの向きのみを変更するように制御しても構わない。 Further, in the embodiment described above, the rider is adopted as the distance sensor 115, but the distance sensor 115 does not have to be a rider. An ultrasonic sensor, a distance image sensor, or the like may be used as long as it is a distance sensor capable of measuring the distance to an object. Further, instead of a single distance sensor including a scanning mechanism, for example, a distance sensor array in which each is directed in a different direction may be used. Further, if the distance sensor is installed on a swivel base, the base may be swiveled to change only the direction of the distance sensor without changing the posture of the mobile robot 100. ..

また、移動ロボット100は、床面上を車輪で走行するロボットに限らず、歩行タイプのロボットであっても良いし、空中を移動する例えばドローンタイプのロボットであっても良い。取得した環境地図に物体存否の不確かなセル空間が存在する場合に、そのようなセル空間を避けて距離計測を行って自己位置を推定するロボットであれば、移動機構の種類は限定されない。 Further, the mobile robot 100 is not limited to a robot that travels on the floor with wheels, and may be a walking type robot or, for example, a drone type robot that moves in the air. When there is a cell space in which the existence or nonexistence of an object is uncertain in the acquired environment map, the type of movement mechanism is not limited as long as the robot avoids such cell space and measures the distance to estimate its own position.

100 移動ロボット、110 台車部、111 ベース、112 駆動輪、113 キャスター、114 カメラ、115 距離センサ、120 アーム部、121、122、123 アーム、124 ハンド、190 コントロールユニット、200 制御部、201 位置推定部、210 駆動輪ユニット、220 アームユニット、230 センサユニット、240 メモリ、241 地図DB、250 受信部、600 対象空間、601 物体、611 壁、612 入口、613 ガラス戸、614 柱、615 棚、690 人 100 mobile robot, 110 carriage, 111 base, 112 drive wheels, 113 casters, 114 camera, 115 distance sensor, 120 arm, 121, 122, 123 arm, 124 hand, 190 control unit, 200 control, 201 position estimation Unit, 210 drive wheel unit, 220 arm unit, 230 sensor unit, 240 memory, 241 map DB, 250 receiver, 600 target space, 601 object, 611 wall, 612 entrance, 613 glass door, 614 pillar, 615 shelf, 690 Man

Claims (1)

対象空間を自律移動する自律移動ロボットであって、
周辺に存在する物体までの距離を計測する距離センサと、
前記対象空間を複数のセル空間に区分して各々のセル空間を物体存否の確からしさを示す評価値で表現した環境地図を取得する取得部と、
前記距離センサによる距離計測に基づいて前記環境地図上における前記自律移動ロボット自身の位置である自己位置を推定する位置推定部と
を備え、
前記位置推定部は、前記自己位置を推定するときに、物体存否の確からしさがより大きい前記評価値を有するセル空間に前記距離センサが向くよう前記自律移動ロボットの姿勢を制御し、該制御された姿勢で距離計測を実行し、前記距離計測の結果と前記環境地図と照合することにより前記自己位置を推定する自律移動ロボット。
An autonomous mobile robot that autonomously moves in the target space
A distance sensor that measures the distance to objects in the vicinity,
An acquisition unit that divides the target space into a plurality of cell spaces and acquires an environment map in which each cell space is represented by an evaluation value indicating the certainty of the existence or nonexistence of an object.
It is provided with a position estimation unit that estimates its own position, which is the position of the autonomous mobile robot itself on the environment map, based on the distance measurement by the distance sensor.
When estimating the self-position, the position estimation unit controls the posture of the autonomous mobile robot so that the distance sensor faces the cell space having the evaluation value having a greater probability of existence of an object, and the control is performed. An autonomous mobile robot that performs distance measurement in a vertical posture and estimates its own position by collating the result of the distance measurement with the environment map.
JP2017088872A 2017-04-27 2017-04-27 Autonomous mobile robot Active JP6863049B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017088872A JP6863049B2 (en) 2017-04-27 2017-04-27 Autonomous mobile robot

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017088872A JP6863049B2 (en) 2017-04-27 2017-04-27 Autonomous mobile robot

Publications (2)

Publication Number Publication Date
JP2018185768A JP2018185768A (en) 2018-11-22
JP6863049B2 true JP6863049B2 (en) 2021-04-21

Family

ID=64356031

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017088872A Active JP6863049B2 (en) 2017-04-27 2017-04-27 Autonomous mobile robot

Country Status (1)

Country Link
JP (1) JP6863049B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022030306A (en) * 2020-08-06 2022-02-18 オムロン株式会社 Environmental change proposal system and environmental change proposal program

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060059006A (en) * 2004-11-26 2006-06-01 삼성전자주식회사 Method and apparatus of self-propelled mobile unit with obstacle avoidance during wall-following
JP5826795B2 (en) * 2013-06-14 2015-12-02 シャープ株式会社 Autonomous mobile body, its control system, and self-position detection method

Also Published As

Publication number Publication date
JP2018185768A (en) 2018-11-22

Similar Documents

Publication Publication Date Title
KR102242713B1 (en) Moving robot and contorlling method and a terminal
EP3603370B1 (en) Moving robot, method for controlling moving robot, and moving robot system
US10248123B2 (en) Mobile apparatus
JP6828579B2 (en) Environmental maintenance robot and its control program
JP5337408B2 (en) Autonomous mobile body and its movement control method
JP4735476B2 (en) Autonomous mobile device
JP2001515237A (en) Docking method of autonomous motion unit using guidance beam
JP5278283B2 (en) Autonomous mobile device and control method thereof
JP6693291B2 (en) Mobile robot movement route planning method
JP6074205B2 (en) Autonomous mobile
JP6569342B2 (en) Mobile robot
JP2011209845A (en) Autonomous mobile body, self-position estimation method and map information creation system
JP2009237851A (en) Mobile object control system
JP2009223757A (en) Autonomous mobile body, control system, and self-position estimation method
JP2008033760A (en) Mobile robot
JP4745159B2 (en) Mobile robot
JP2006252350A (en) Mobile robot
JP6863049B2 (en) Autonomous mobile robot
US20210129335A1 (en) Method for operating an automatically moving cleaning device and cleaning device of this type
JP4377346B2 (en) Mobile robot
JP4745150B2 (en) Mobile robot
KR102293657B1 (en) Moving Robot
JP7002791B2 (en) Information processing equipment and mobile robots
KR20220050483A (en) Coordinates recognition apparatus of automatic guided vehicle and method thereof
US10119804B2 (en) Moving amount estimating apparatus, autonomous mobile body, and moving amount estimating method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191028

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200807

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200818

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20201014

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210302

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210315

R151 Written notification of patent or utility model registration

Ref document number: 6863049

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151