JP7284011B2 - moving body - Google Patents

moving body Download PDF

Info

Publication number
JP7284011B2
JP7284011B2 JP2019124157A JP2019124157A JP7284011B2 JP 7284011 B2 JP7284011 B2 JP 7284011B2 JP 2019124157 A JP2019124157 A JP 2019124157A JP 2019124157 A JP2019124157 A JP 2019124157A JP 7284011 B2 JP7284011 B2 JP 7284011B2
Authority
JP
Japan
Prior art keywords
flat plate
region
carriage
reference member
joint
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019124157A
Other languages
Japanese (ja)
Other versions
JP2021009634A (en
Inventor
英知 阪下
啓 岡本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Daihen Corp
Original Assignee
Daihen Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Daihen Corp filed Critical Daihen Corp
Priority to JP2019124157A priority Critical patent/JP7284011B2/en
Publication of JP2021009634A publication Critical patent/JP2021009634A/en
Application granted granted Critical
Publication of JP7284011B2 publication Critical patent/JP7284011B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、移動体に関する。 The present invention relates to mobile objects.

従来、工場等において、走行の目印となるラインなどを要さずに自律走行して物体を搬送する、いわゆるガイドレス自律搬送車が知られている。このような搬送車には、周辺環境をセンシングするために、物体までの距離を測定するセンサが搭載されており、取得された周辺環境の情報と予め記憶されたマップ情報とを照合することによって、搬送車自身の位置を同定する。 2. Description of the Related Art Conventionally, so-called guideless autonomous guided vehicles have been known that autonomously travel and transport objects in factories and the like without requiring lines or the like to mark their travel. Such transport vehicles are equipped with sensors that measure the distance to objects in order to sense the surrounding environment. , to identify the position of the vehicle itself.

センサを搬送車の台車に搭載する際には、台車に対するセンサの位置や姿勢が設計値からずれることがある。センサの位置や姿勢がずれたまま搬送車を走行させると、自律走行の精度が劣化するおそれがある。従って、このようなずれを較正するため、例えば下記特許文献1には、車体に設けられた基準部材をセンサによって測定し、測定結果に基づいてセンサの角度ずれを較正する方法が開示されている。 When the sensor is mounted on the carriage of the carrier, the position and orientation of the sensor with respect to the carriage may deviate from design values. If the transport vehicle is driven while the position and posture of the sensor are deviated, there is a risk that the accuracy of autonomous driving will be degraded. Therefore, in order to calibrate such a deviation, for example, Patent Document 1 below discloses a method of measuring a reference member provided on the vehicle body with a sensor and calibrating the angular deviation of the sensor based on the measurement result. .

特開2011-221957号公報JP 2011-221957 A

物体までの距離を測定するセンサは、例えばレーザ光を照射してから物体において反射して戻ってくるまでの時間に基づいて測距を行う。このとき、物体の形状や表面の材質などの様々な要因により測距に誤差が生じたり、理想値から大きく外れた異常値が生じたりし得る。しかしながら、上記特許文献1ではこのようなセンサの誤差や異常値の存在が考慮されていないので、物体の位置の推定において異常値を含むおそれがあり、基準部材の位置の推定精度が劣化し、センサの角度ずれを精度高く較正することができない。 A sensor that measures the distance to an object measures the distance based on, for example, the time from when the laser beam is irradiated to when it is reflected by the object and returns. At this time, various factors such as the shape of the object and the material of the surface may cause an error in the distance measurement, or an abnormal value greatly deviating from the ideal value. However, in Patent Document 1, the existence of such sensor errors and abnormal values is not taken into consideration, so there is a risk that abnormal values may be included in the estimation of the position of the object, and the accuracy of estimating the position of the reference member is deteriorated. Angular deviation of the sensor cannot be calibrated with high accuracy.

そこで、本発明は、台車に対するセンサのずれの較正を精度高く行うことができる移動体を提供することを目的とする。 SUMMARY OF THE INVENTION Accordingly, it is an object of the present invention to provide a moving body capable of accurately calibrating the displacement of the sensor with respect to the carriage.

本発明の一態様に係る移動体は、自律走行が可能な台車と、台車に設けられ、周囲に存在する物体までの距離を測定可能なセンサと、台車との相対的な位置関係が既知である基準部材と、センサによって基準部材までの距離を測定し、測定して得られた測定値のうち、既知である基準部材の基準位置から所定の範囲内の領域である有効領域に含まれる測定値を抽出して基準部材の位置を推定する推定部と、基準部材の基準位置と推定された基準部材の推定位置に基づいて、台車に対するセンサのずれを較正する較正部と、を備える。 A moving body according to one aspect of the present invention includes a carriage capable of autonomous travel, a sensor provided on the carriage capable of measuring a distance to an object existing in the surroundings, and a relative positional relationship between the carriage and the carriage. A measurement that is included in the effective area, which is the area within a predetermined range from the known reference position of the reference member, among the measured values obtained by measuring the distance to the reference member and the sensor. An estimating unit that extracts values to estimate the position of the reference member, and a calibration unit that calibrates the displacement of the sensor with respect to the truck based on the reference position of the reference member and the estimated position of the reference member.

この態様によれば、基準部材から大きく外れた測定値を除外して基準部材の位置を推定することができるので、基準部材の位置の推定精度が向上し、ひいてはセンサのずれの較正の精度が向上する。 According to this aspect, since the position of the reference member can be estimated by excluding measured values greatly deviating from the reference member, the accuracy of estimating the position of the reference member is improved, which in turn improves the accuracy of calibration of the sensor displacement. improves.

上記態様において、基準部材は、互いに異なる第1方向及び第2方向にそれぞれ沿って延びる第1平板及び第2平板を含み、第1平板と第2平板は、接合部において接合されており、有効領域は、第1平板及び第2平板にそれぞれ対応する第1領域及び第2領域を含み、第1領域は、接合部から第1方向に沿った所定の範囲を含まず、第2領域は、接合部から第2方向に沿った所定の範囲を含まなくてもよい。 In the above aspect, the reference member includes a first flat plate and a second flat plate extending respectively along first and second directions different from each other, the first flat plate and the second flat plate being joined at the joint, and effective The region includes a first region and a second region corresponding to the first flat plate and the second flat plate, respectively, the first region does not include a predetermined range along the first direction from the joint, and the second region is The predetermined range along the second direction from the joint may not be included.

この態様によれば、センサによる測定精度が比較的劣る平板と平板の接合部付近の測定値を除外して基準部材の位置を推定することができるので、基準部材の位置の推定精度がさらに向上する。 According to this aspect, the position of the reference member can be estimated by excluding the measured value near the joint between the flat plates, where the measurement accuracy of the sensor is relatively low, so that the estimation accuracy of the position of the reference member is further improved. do.

上記態様において、第1領域の第1方向の長さは、第1平板の第1方向の長さより短く、第2領域の第2方向の長さは、第2平板の第2方向の長さより短くてもよい。 In the above aspect, the length of the first region in the first direction is shorter than the length of the first flat plate in the first direction, and the length of the second region in the second direction is shorter than the length of the second flat plate in the second direction. It can be short.

この態様によれば、センサによる測定精度が比較的劣る平板の端部付近の測定値を除外して基準部材の位置を推定することができるので、基準部材の位置の推定精度がさらに向上する。 According to this aspect, the position of the reference member can be estimated by excluding the measured values near the edge of the flat plate where the measurement accuracy of the sensor is relatively low, so the accuracy of estimating the position of the reference member is further improved.

上記態様において、較正部は、既知である接合部の座標と、推定された接合部の座標との比較から、台車に対するセンサの位置のずれを較正し、基準軸から第1平板と第2平板が成す角の二等分線までの角度と、基準軸から推定された第1平板と第2平板が成す角の二等分線までの角度との比較から、台車に対するセンサの姿勢のずれを較正してもよい。 In the above aspect, the calibrator calibrates the positional deviation of the sensor with respect to the carriage by comparing the coordinates of the joint that are known and the coordinates of the joint that are estimated. By comparing the angle to the bisector of the angle formed by and the angle to the bisector of the angle formed by the first and second plates estimated from the reference axis, the deviation of the sensor's attitude with respect to the truck can be determined. may be calibrated.

この態様によれば、台車に対するセンサの位置及び姿勢のずれの較正を行うことができる。 According to this aspect, it is possible to calibrate the deviation of the position and attitude of the sensor with respect to the truck.

本発明によれば、台車に対するセンサのずれの較正を精度高く行うことができる移動体を提供することができる。 ADVANTAGE OF THE INVENTION According to this invention, the mobile body which can calibrate the deviation|shift of the sensor with respect to a trolley with high precision can be provided.

本発明の一実施形態に係る搬送車の上面図である。1 is a top view of a transport vehicle according to one embodiment of the present invention; FIG. 本発明の一実施形態に係る搬送車の側面図である。1 is a side view of a transport vehicle according to one embodiment of the present invention; FIG. 本発明の一実施形態に係る搬送車の機能構成を示す図である。It is a figure which shows the functional structure of the conveyance vehicle which concerns on one Embodiment of this invention. 本発明の一実施形態に係る搬送車における較正方法を示すフローチャートである。4 is a flow chart showing a calibration method in a transport vehicle according to an embodiment of the present invention; 既知である治具の位置及び姿勢を示す図である。It is a figure which shows the position and attitude|position of a jig|tool which are known. 推定された治具の位置及び姿勢を示す図である。FIG. 5 is a diagram showing the estimated position and orientation of a jig;

添付図面を参照して、本発明の実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。 Embodiments of the present invention will be described with reference to the accompanying drawings. It should be noted that, in each figure, the same reference numerals have the same or similar configurations.

図1は、本発明の一実施形態に係る搬送車の上面図である。図2は、本発明の一実施形態に係る搬送車の側面図である。図2に示される側面図は、図1に示される白抜き矢印の方向から見た図である。本実施形態に係る搬送車10は、例えば工場、オフィス、病院又は商業施設等において、自律して移動することにより物品等を搬送する。なお、自律して移動するとは、搬送車10がユーザ等から受け付ける指示に応じて移動するのではなく、自らの判断によって目的地に移動することであってもよい。本明細書では、移動体の一具体例として台車型の搬送車10を例に説明するが、移動体は搬送車に限られず、例えば移動するロボットであってもよく、他の自律走行が可能な様々な移動体であってもよい。 FIG. 1 is a top view of a transport vehicle according to one embodiment of the present invention. FIG. 2 is a side view of a carrier according to one embodiment of the present invention. The side view shown in FIG. 2 is a view seen from the direction of the white arrow shown in FIG. The transport vehicle 10 according to the present embodiment transports articles and the like by moving autonomously in, for example, factories, offices, hospitals, commercial facilities, and the like. It should be noted that moving autonomously may mean that the guided vehicle 10 moves to a destination based on its own judgment, instead of moving according to instructions received from a user or the like. In this specification, a trolley-type transport vehicle 10 will be described as a specific example of a moving body, but the moving body is not limited to a transport vehicle, and may be, for example, a moving robot, capable of other autonomous traveling. It may be a variety of moving bodies.

図1及び図2に示されるように、搬送車10は、台車20と、2つのレーザスキャナ30a,30bと、2つの固定穴40a,40bと、治具50と、を備える。 As shown in FIGS. 1 and 2, the carrier 10 includes a carriage 20, two laser scanners 30a and 30b, two fixing holes 40a and 40b, and a jig 50. As shown in FIGS.

台車20は、搬送車10の車体を構成し、物品等を搬送する。台車20には、図1に示されるように、台車20が走行する床面と平行な台車20の主面の平面視(以下、「上面視」ともいう)における中央RCを原点とし、互いに直交するX軸及びY軸によって構成されるローカル座標系が設定されている。なお、図示は省略されているが、台車20は例えば4つの車輪を備え、搬送車10の前進、後退、及び旋回等の移動を実現する。搬送車10が備える移動機構については公知の構成を適用することができるので、詳細な説明を省略する。 The carriage 20 constitutes the vehicle body of the transport vehicle 10 and transports articles and the like. As shown in FIG. 1, the truck 20 has a center R C in a plan view (hereinafter also referred to as a “top view”) of the main surface of the truck 20 parallel to the floor on which the truck 20 travels. A local coordinate system is set up that is composed of orthogonal X and Y axes. Although illustration is omitted, the carriage 20 has, for example, four wheels, and realizes movement such as forward movement, backward movement, and turning of the transport vehicle 10 . Since a well-known configuration can be applied to the moving mechanism provided in the transport vehicle 10, detailed description thereof will be omitted.

2つのレーザスキャナ30a,30bは、搬送車10の周囲に存在する物体までの距離を測定するセンサの一具体例である。なお、レーザスキャナ30aと30bは同様のものを適用することができるので、以下の説明において特に区別する必要がない場合は、2つのレーザスキャナをまとめて「レーザスキャナ30」ともいう。 The two laser scanners 30 a and 30 b are specific examples of sensors that measure the distance to objects existing around the transport vehicle 10 . Since the same laser scanners 30a and 30b can be applied, the two laser scanners will also be collectively referred to as the "laser scanner 30" when there is no particular need to distinguish them in the following description.

レーザスキャナ30は、例えば台車20の主面と略平行になるようにレーザ光を照射し、照射してから物体において反射して戻ってくるまでの時間に基づいて測距を行う。レーザスキャナ30は、例えば既定の半径(例えば10m程度)の測定範囲を有し、既定の度ピッチ(例えば、0.2~0.5度程度)でレーザ光を既定の視野角(例えば270度程度)にわたってスキャンしながら、1スキャンあたり数百~数千点の測定値を取得する。なお、図1に示される放射状の矢印は、レーザスキャナ30a,30bからそれぞれ出射されるレーザ光を模式的に示したものである。 The laser scanner 30 irradiates a laser beam, for example, so as to be substantially parallel to the main surface of the carriage 20, and performs distance measurement based on the time from the irradiation until the laser beam is reflected by the object and returned. The laser scanner 30 has a measurement range of, for example, a predetermined radius (for example, about 10 m), and emits laser light at a predetermined degree pitch (for example, about 0.2 to 0.5 degrees) at a predetermined viewing angle (for example, 270 degrees). Several hundreds to thousands of measurement values are acquired per scan while scanning over an area of about 100 mm. The radial arrows shown in FIG. 1 schematically indicate the laser beams emitted from the laser scanners 30a and 30b.

2つのレーザスキャナ30a,30bは、台車20の上面視における対角線上の両端において、それぞれ搬送車10の外側を向くように搭載されている。これにより、2つのレーザスキャナ30a,30bからの取得データを合わせると、台車20から見た全方位の測距が可能となる。搬送車10は、レーザスキャナ30を用いて周辺環境を測定することにより、周辺環境の環境地図を作成したり、予め記憶されたマップ情報と照合することで搬送車10の自己位置を推定したり、経路計画を立てたり、障害物を回避したりしながら目的地まで移動する。 The two laser scanners 30a and 30b are mounted on both ends of the diagonal line of the carriage 20 when viewed from above so as to face the outside of the carrier 10, respectively. As a result, when data obtained from the two laser scanners 30a and 30b are combined, distance measurement in all directions as viewed from the carriage 20 becomes possible. By measuring the surrounding environment using the laser scanner 30, the transport vehicle 10 creates an environmental map of the surrounding environment, and estimates the self-position of the transport vehicle 10 by collating it with map information stored in advance. , to move to a destination while planning a route and avoiding obstacles.

レーザスキャナ30を台車20に搭載する際には、台車20に対するレーザスキャナ30の位置や姿勢が設計値からずれることがある。レーザスキャナ30の位置や姿勢がずれたまま搬送車を走行させると、自律走行の精度が劣化するおそれがある。従って、このようなずれを較正するために、レーザスキャナ30の搭載後にレーザスキャナ30のずれの較正を行う。較正の詳細については後述する。 When the laser scanner 30 is mounted on the truck 20, the position and posture of the laser scanner 30 with respect to the truck 20 may deviate from design values. If the transport vehicle is caused to travel while the position or posture of the laser scanner 30 is deviated, the accuracy of autonomous travel may deteriorate. Therefore, in order to calibrate such a deviation, calibration of the deviation of the laser scanner 30 is performed after the laser scanner 30 is mounted. Details of the calibration will be described later.

なお、レーザスキャナ30は、搬送車の周辺環境をセンシングするセンサの一具体例である。このようなセンサはレーザスキャナに限定されず、例えば超音波センサ、マイクロ波を用いた距離センサ、ステレオカメラによって撮像されたステレオ画像を用いた距離センサなど、物体までの距離を測定できるセンサであればよい。 Note that the laser scanner 30 is a specific example of a sensor that senses the surrounding environment of the transport vehicle. Such sensors are not limited to laser scanners, and may be sensors capable of measuring the distance to an object, such as ultrasonic sensors, distance sensors using microwaves, distance sensors using stereo images captured by a stereo camera, etc. Just do it.

また、本実施形態では、搬送車10が2つのレーザスキャナ30a,30bを備えるが、搬送車が備えるセンサの数は1つであってもよく、3つ以上であってもよい。例えば搬送車は全方位を測定できる1つのセンサを備えていてもよい。 Further, in the present embodiment, the transport vehicle 10 includes two laser scanners 30a and 30b, but the number of sensors included in the transport vehicle may be one, or three or more. For example, the transport vehicle may be equipped with one sensor that can measure in all directions.

2つの固定穴40a,40bは、台車20のうち、台車20の上面視における対角線上に設けられている。固定穴40a,40bは、台車20に対する位置が既知であるものとする。 The two fixing holes 40a and 40b are provided on a diagonal line of the truck 20 when viewed from above. It is assumed that the positions of the fixing holes 40a and 40b with respect to the carriage 20 are known.

治具50は、レーザスキャナ30によって距離を測定する対象となる基準部材の一具体例である。レーザスキャナ30が治具50までの距離を測定することにより、レーザスキャナ30の位置及び姿勢の設計値からのずれの度合いを測定することができる。図1及び図2に示されるように、治具50は、互いに異なるY軸負方向(第1方向)及びX軸負方向(第2方向)にそれぞれ沿って延びる第1平板51a及び第2平板51bと、これらの2つの平板を台車20に固定する軸52と、を備える。 The jig 50 is a specific example of a reference member whose distance is to be measured by the laser scanner 30 . By measuring the distance from the laser scanner 30 to the jig 50, the degree of deviation of the position and orientation of the laser scanner 30 from the design values can be measured. As shown in FIGS. 1 and 2, the jig 50 includes a first flat plate 51a and a second flat plate extending along the Y-axis negative direction (first direction) and the X-axis negative direction (second direction), which are different from each other. 51 b and a shaft 52 that fixes these two flat plates to the carriage 20 .

第1平板51a及び第2平板51bは、台車20の上面視においてL字型になるように直交して接合されている。軸52の一端には第1平板51a及び第2平板52bが固定されており、他端は台車20の2つの固定穴40a,40bに着脱可能に取り付けられている。台車20における位置が既知である2つ以上の箇所に軸52が取り付けられることにより、治具50を設計された位置に高い精度で固定することができる。すなわち、治具50は、台車20との相対的な位置関係が既知であり、図1に示されるローカル座標系における治具50の位置が予め算出可能となる。 The first flat plate 51a and the second flat plate 51b are joined orthogonally so as to form an L shape when the carriage 20 is viewed from above. A first flat plate 51 a and a second flat plate 52 b are fixed to one end of the shaft 52 , and the other end is detachably attached to two fixing holes 40 a and 40 b of the carriage 20 . By attaching the shafts 52 to two or more locations on the carriage 20 whose positions are known, the jig 50 can be fixed at the designed position with high accuracy. That is, the jig 50 has a known relative positional relationship with the carriage 20, and the position of the jig 50 in the local coordinate system shown in FIG. 1 can be calculated in advance.

図3は、本発明の一実施形態に係る搬送車の機能構成を示す図である。同図に示されるように、搬送車10は、機能部として、推定部100と、較正部110と、記憶部120と、を備える。なお、台車20の駆動に関する機能部については図示を省略する。 FIG. 3 is a diagram showing the functional configuration of the carrier according to one embodiment of the present invention. As shown in the figure, the transport vehicle 10 includes an estimation unit 100, a calibration unit 110, and a storage unit 120 as functional units. It should be noted that illustration of functional units related to the driving of the carriage 20 is omitted.

推定部100は、レーザスキャナ30を用いて治具50までの距離を測定する。推定部100は、測定して得られた測定値のうち、有効領域に含まれる測定値を抽出し、抽出された測定値を用いて治具50の位置を推定する。有効領域については後述する。 The estimation unit 100 measures the distance to the jig 50 using the laser scanner 30 . The estimating section 100 extracts the measured values included in the effective area from the measured values obtained by the measurement, and estimates the position of the jig 50 using the extracted measured values. Effective areas will be described later.

較正部110は、既知である治具50の基準位置と、推定された治具50の推定位置に基づいて、台車20に対するレーザスキャナ30の位置のずれ又は姿勢のずれの少なくともいずれか一方を較正する。 The calibration unit 110 calibrates at least one of positional deviation and attitude deviation of the laser scanner 30 with respect to the carriage 20 based on the known reference position of the jig 50 and the estimated position of the jig 50 . do.

記憶部120は、例えばローカル座標系における治具50の位置や、較正部110によって算出されたレーザスキャナ30の位置及び姿勢のずれに関する情報を記憶する。また、記憶部120は、例えば搬送車10が走行する周辺環境のマップを記憶する。 The storage unit 120 stores, for example, the position of the jig 50 in the local coordinate system, and information on the position and posture deviation of the laser scanner 30 calculated by the calibration unit 110 . The storage unit 120 also stores, for example, a map of the surrounding environment in which the transport vehicle 10 travels.

次に、図4から図6を参照して、レーザスキャナ30の位置及び姿勢のずれの較正方法の詳細について説明する。 Next, with reference to FIGS. 4 to 6, the details of the method for calibrating the position and posture of the laser scanner 30 will be described.

図4は、本発明の一実施形態に係る搬送車における較正方法を示すフローチャートである。図5は、既知である治具の位置及び姿勢を示す図である。図6は、推定された治具の位置及び姿勢を示す図である。なお、図5及び図6では、一方のレーザスキャナ30aのずれの較正を行う場合が例として示されているが、他方のレーザスキャナ30bのずれの較正を行う場合であっても同様の方法を適用することができる。 FIG. 4 is a flow chart illustrating a calibration method in a vehicle according to one embodiment of the invention. FIG. 5 is a diagram showing known positions and orientations of jigs. FIG. 6 is a diagram showing the estimated position and orientation of the jig. In FIGS. 5 and 6, the case of calibrating the deviation of one laser scanner 30a is shown as an example, but the same method can be used when calibrating the deviation of the other laser scanner 30b. can be applied.

まず、冶具50をレーザスキャナ30の視野内に配置するように台車20に取り付ける(ステップS10)。上述のとおり、台車20に設けられた2つの固定穴40a,40bに治具50を固定することで、台車20に対する治具50の位置が定まる。すなわち、ローカル座標系における治具50の位置が算出可能となる。 First, the jig 50 is attached to the carriage 20 so as to be placed within the field of view of the laser scanner 30 (step S10). As described above, the position of the jig 50 relative to the carriage 20 is determined by fixing the jig 50 to the two fixing holes 40 a and 40 b provided in the carriage 20 . That is, it becomes possible to calculate the position of the jig 50 in the local coordinate system.

図5は、台車20の上面視において、治具50と一方のレーザスキャナ30aを模式的に示す図である。治具50の第1平板51aと第2平板51bが接合される接合部PCのローカル座標系におけるX座標及びY座標をPC(XC、YC)とする。台車20と治具50との相対的な位置関係が既知であり、治具50の形状や大きさが既知であるため、接合部PCの座標PC(XC、YC)が算出される。 FIG. 5 is a diagram schematically showing the jig 50 and one laser scanner 30a in top view of the carriage 20. As shown in FIG. Let P C (X C , Y C ) be the X and Y coordinates in the local coordinate system of the joint portion P C where the first flat plate 51a and the second flat plate 51b of the jig 50 are joined. Since the relative positional relationship between the carriage 20 and the jig 50 is known, and the shape and size of the jig 50 are known, the coordinates P C (X C , Y C ) of the joint P C can be calculated. be.

接合部PCを基点とし、X軸と平行な軸を基準軸XROとする。当該基準軸XROと、治具50の第1平板51aと第2平板51bが成す角のうち大きい方の角(すなわち、270度)の二等分線との成す角をθCとする。 An axis parallel to the X-axis with the junction P C as a base point is a reference axis X RO . Let θ C be the angle between the reference axis X RO and the bisector of the larger angle (ie, 270 degrees) between the first flat plate 51 a and the second flat plate 51 b of the jig 50 .

また、接合部PCを基点として、基準軸XROを時計回りにθ1度回転させた方向(すなわち、Y軸に沿う方向)に向かって、接合部PCから長さK1分移動した点を端点PE1とする。線分PCE1が第1平板51aに対応する。同様に、接合部PCを基点として、基準軸XROを時計回りにθ2度回転させた方向(すなわち、X軸に沿う方向)に向かって、接合部PCから長さK2分移動した点を端点PE2とする。線分PCE2が第2平板51bに対応する。ここで、θ1<θ2であり、θ2-θ1=90度である。長さK1、K2は、それぞれ、第1平板51a及び第2平板51bのY軸方向及びX軸方向の長さであってもよい。このようにして求められた線分PCE1と線分PCE2が、それぞれ治具50の第1平板51a及び第2平板51bの基準位置となる。 In addition, with the joint P C as a base point, it is moved by a length K 1 from the joint P C in a direction obtained by rotating the reference axis X RO clockwise by θ 1 degree (that is, a direction along the Y-axis). Let the point be the end point P E1 . A line segment P C P E1 corresponds to the first flat plate 51a. Similarly, with the joint P C as the base point, it is moved by a length K 2 from the joint P C in the direction obtained by rotating the reference axis X RO clockwise by θ 2 degrees (that is, the direction along the X-axis). The point obtained is defined as the end point P E2 . A line segment P C P E2 corresponds to the second flat plate 51b. Here, θ 12 and θ 2 −θ 1 =90 degrees. The lengths K 1 and K 2 may be the lengths of the first flat plate 51a and the second flat plate 51b in the Y-axis direction and the X-axis direction, respectively. The line segment PCP E1 and the line segment PCP E2 obtained in this way are the reference positions of the first flat plate 51a and the second flat plate 51b of the jig 50, respectively.

台車20に対するレーザスキャナ30の位置や姿勢が設計値からずれている場合、レーザスキャナ30が測定する治具50までの距離も設計値からずれることになる。他方、レーザスキャナ30で物体までの距離を測定する際には、物体の形状や材質によって誤差や異常値が生じることがある。従って、本実施形態では、治具50の位置の推定において、既知である治具50の基準位置からある程度の範囲を含み、かつ異常値を含まないように、レーザスキャナ30が測定した測定値から有効範囲に含まれる測定値を抽出する。この有効範囲についてさらに詳細に説明する。 If the position and posture of the laser scanner 30 with respect to the carriage 20 deviate from the design values, the distance to the jig 50 measured by the laser scanner 30 also deviates from the design values. On the other hand, when the laser scanner 30 measures the distance to an object, errors and abnormal values may occur depending on the shape and material of the object. Therefore, in the present embodiment, in estimating the position of the jig 50, the measurement values measured by the laser scanner 30 are adjusted so as to include a certain range from the known reference position of the jig 50 and not include abnormal values. Extract measurements that fall within the valid range. This effective range will be explained in more detail.

本実施形態における有効範囲は、台車20の上面視において矩形状の第1領域R1及び第2領域R2を含む(図5網掛け領域参照)。第1領域R1は第1平板51aに対応し、第2領域R2は第2平板51bに対応する。 The effective range in the present embodiment includes a rectangular first region R 1 and second rectangular region R 2 when viewed from the top of the truck 20 (see hatched region in FIG. 5). The first region R 1 corresponds to the first flat plate 51a, and the second region R2 corresponds to the second flat plate 51b.

第1領域R1は、レーザスキャナ30aの測定半径の方向において、レーザスキャナ30aから見て第1平板51aの基準位置から手前及び奥側に所定の範囲に広がる幅W1を有する。第1領域R1は、レーザスキャナ30aのスキャン方向において、接合部PCからY軸負方向に沿って端点PE1側に向かって所定の範囲の余白M1を含まず、かつ端点PE1からY軸正方向に沿って接合部PC側に向かって所定の範囲の余白M2を含まない。すなわち、第1領域R1は、L1=K1-(M1+M2)の長さL1を有する。つまり、第1領域R1のY軸方向の長さL1は、第1平板51aのY軸方向の長さK1より短い。 The first region R 1 has a width W 1 extending in a predetermined range from the reference position of the first flat plate 51a to the front and back of the first flat plate 51a when viewed from the laser scanner 30a in the direction of the measurement radius of the laser scanner 30a. The first region R 1 does not include the margin M 1 within a predetermined range from the joint P C toward the end point P E1 along the Y-axis negative direction in the scanning direction of the laser scanner 30a, and A predetermined range of margin M 2 is not included toward the joint P C side along the positive direction of the Y-axis. That is, the first region R 1 has a length L 1 of L 1 =K 1 -(M 1 +M 2 ). That is, the length L 1 of the first region R 1 in the Y-axis direction is shorter than the length K 1 of the first flat plate 51a in the Y-axis direction.

第2領域R2においても同様に、レーザスキャナ30aの測定半径の方向において、レーザスキャナ30aから見て第2平板51bの基準位置から手前及び奥側に所定の範囲に広がる幅W2を有する。第2領域R2は、レーザスキャナ30aのスキャン方向において、接合部PCからX軸負方向に沿って端点PE2側に向かって所定の範囲の余白M3を含まず、かつ端点PE2からX軸正方向に沿って接合部PC側に向かって所定の範囲の余白M4を含まない。すなわち、第2領域R2は、L2=K2-(M3+M4)の長さL2を有する。つまり、第2領域R2のX軸方向の長さL2は、第2平板51bのX軸方向の長さK2より短い。 Similarly, the second region R 2 also has a width W 2 that spreads over a predetermined range from the reference position of the second flat plate 51b to the front and back of the second flat plate 51b as viewed from the laser scanner 30a in the direction of the measurement radius of the laser scanner 30a. The second region R 2 does not include the margin M 3 in a predetermined range from the junction P C toward the end point P E2 along the X-axis negative direction in the scanning direction of the laser scanner 30a, and A predetermined range of margin M4 is not included toward the joint P C side along the positive direction of the X-axis. That is, the second region R 2 has a length L 2 of L 2 =K 2 -(M 3 +M 4 ). That is, the length L 2 of the second region R 2 in the X-axis direction is shorter than the length K 2 of the second flat plate 51b in the X-axis direction.

第1平板51aと第2平板51bとの接合部PC付近や、第1平板の端部PE1及び第2平板の端部PE2においては、レーザスキャナから照射されるレーザ光が適切に照射又は反射されず、測定誤差が大きくなる傾向がある。本実施形態では、第1領域R1が余白M1及び余白M2を含まず、第2領域R2が、余白M3及び余白M4を含まないことにより、測定精度が比較的劣る接合部PC付近及び端部PE1,PE2付近の測定値を除外して基準部材の位置を推定することができる。従って、治具50の位置の推定精度が向上する。 The vicinity of the joint P C between the first flat plate 51a and the second flat plate 51b, the end P E1 of the first flat plate, and the end P E2 of the second flat plate are appropriately irradiated with the laser beam emitted from the laser scanner. Or it is not reflected, which tends to increase the measurement error. In the present embodiment, the first region R1 does not include the margins M1 and M2 , and the second region R2 does not include the margins M3 and M4 . The position of the reference member can be estimated by excluding measurements near P C and near the ends P E1 , P E2 . Therefore, the estimation accuracy of the position of the jig 50 is improved.

なお、余白M1~M4の長さは、全て同じであってもよいし、一部又は全てが異なっていてもよい。 The lengths of the margins M 1 to M 4 may all be the same, or part or all of them may be different.

図4に戻り、推定部100が、レーザスキャナ30aを用いて治具50の第1平板51a及び第2平板51bまでの距離を測定する(ステップS20)。ここでは、有効領域に含まれない領域の測定値も取得される。 Returning to FIG. 4, the estimation unit 100 measures the distances to the first flat plate 51a and the second flat plate 51b of the jig 50 using the laser scanner 30a (step S20). Here, measurements of areas not included in the valid area are also obtained.

続けて、推定部100は、取得された測定値のうち、上述の第1領域R1及び第2領域R2に含まれる測定値を抽出し、抽出された測定値を用いて第1平板51a及び第2平板51bの位置を推定する(ステップS30)。第1平板51a及び第2平板51bの位置の推定は、例えば第1領域R1及び第2領域R2のそれぞれにおいて、各領域に含まれる測定値から近似曲線を求めることによって推定してもよい。近似曲線の算出方法は特に限定されないが、例えば最小二乗法によって回帰直線を算出してもよい。 Subsequently, the estimating unit 100 extracts the measured values included in the first region R 1 and the second region R 2 from the acquired measured values, and uses the extracted measured values to generate the first flat plate 51a. And the position of the second flat plate 51b is estimated (step S30). The positions of the first flat plate 51a and the second flat plate 51b may be estimated, for example, by obtaining an approximate curve from the measured values included in each region in each of the first region R1 and the second region R2 . . Although the method of calculating the approximate curve is not particularly limited, the regression line may be calculated by, for example, the least squares method.

図6に示されるように、算出された各直線Q1,Q2の交点を、推定された接合部PCMとし、接合部PCMのローカル座標系における座標をPCM(XCM、YCM)とする。推定された接合部PCMを基点としX軸と平行な基準軸XROと、推定された直線Q1との成す角をθ1Mとする。基準軸XROと、推定された直線Q2との成す角をθ2Mとする。基準軸XROと、直線Q1と直線Q2の成す角のうち大きい方の角の二等分線との成す角(すなわち、治具50の回転角度)をθCMとする。回転角度θCMは、θCM=0.5×(θ1M+θ2M)-180により求められる。 As shown in FIG. 6, the point of intersection of the calculated straight lines Q 1 and Q 2 is assumed to be the joint point PCM , and the coordinates of the joint point PCM in the local coordinate system are PCM ( XCM , YCM ) . ). Let θ 1M be the angle formed by the estimated straight line Q 1 and the reference axis X RO parallel to the X axis with the estimated joint P CM as a base point. Let θ 2M be the angle between the reference axis X RO and the estimated straight line Q 2 . Let θ CM be the angle between the reference axis X RO and the bisector of the larger angle between the straight lines Q 1 and Q 2 (that is, the rotation angle of the jig 50). The rotation angle θ CM is obtained by θ CM =0.5×(θ 1M2M )−180.

図4に戻り、較正部110は、記憶部120に記憶された接合部の座標PC(XC、YC)と、推定された接合部の座標PCM(XCM、YCM)との比較から、台車20に対するレーザスキャナ30aの位置のずれを較正する(ステップS40)。すなわち、接合部PCの座標PC(XC、YC)と推定された接合部PCMの座標PCM(XCM、YCM)の差分が、レーザスキャナ30aの設置位置の誤差に相当する。 Returning to FIG. 4, the calibration unit 110 compares the joint coordinates P C (X C , Y C ) stored in the storage unit 120 with the estimated joint coordinates P CM (X CM , Y CM ). From the comparison, the positional deviation of the laser scanner 30a with respect to the carriage 20 is calibrated (step S40). That is, the difference between the coordinates P C (X C , Y C ) of the joint P C and the estimated coordinates P CM (X CM , Y CM ) of the joint P CM corresponds to the error in the installation position of the laser scanner 30a. do.

また、較正部110は、記憶部120に記憶された治具50の回転角度θCと、推定された治具50の回転角度θCMとの比較から、台車20に対するレーザスキャナ30aの姿勢のずれを較正する(ステップS40)。すなわち、治具50の回転角度θCと推定された治具50の回転角度θCMの差分が、レーザスキャナ30aの設置姿勢の誤差に相当する。較正部110は、記憶部120に予め記憶されたレーザスキャナ30aの設置位置及び設置姿勢の設計値に当該誤差を反映させ、較正する。 Further, the calibration unit 110 compares the rotation angle θ C of the jig 50 stored in the storage unit 120 with the estimated rotation angle θ CM of the jig 50 to determine the displacement of the laser scanner 30 a with respect to the carriage 20 . is calibrated (step S40). That is, the difference between the rotation angle θ C of the jig 50 and the estimated rotation angle θ CM of the jig 50 corresponds to the error in the installation posture of the laser scanner 30a. The calibration unit 110 calibrates the design values of the installation position and installation attitude of the laser scanner 30a stored in advance in the storage unit 120 by reflecting the error.

上記構成により、本実施形態に係る搬送車10では、有効領域である第1領域R1及び第2領域R2が設定され、当該有効領域に含まれる測定値を抽出することにより、治具50のあるべき位置から大きく外れた異常値を除外して治具50の位置を推定することができる。これにより、治具50の位置の推定精度が向上し、レーザスキャナ30a,30bのずれの較正を精度高く行うことができる。 With the above configuration, in the transport vehicle 10 according to the present embodiment, the first region R 1 and the second region R 2 that are effective regions are set, and by extracting the measurement values included in the effective regions, the jig 50 It is possible to estimate the position of the jig 50 by excluding abnormal values that deviate greatly from the position where . As a result, the accuracy of estimating the position of the jig 50 is improved, and the deviation of the laser scanners 30a and 30b can be calibrated with high accuracy.

また、第1領域R1及び第2領域R2は、第1平板51a及び第2平板51bの接合部PC付近及び端部PE1,PE2付近を含まない。これにより、レーザスキャナ30a,30bによる測定精度が比較的劣る部位の測定値を除外して治具50の位置を推定することができるので、治具50の位置の推定精度がさらに向上する。また、第1平板51a及び第2平板51bの平坦部の測定値を用いるので、例えば治具の角を特徴点として較正を行う構成に比べて較正の精度が向上する。 Also, the first region R 1 and the second region R 2 do not include the vicinity of the joint P C and the vicinity of the ends P E1 and P E2 of the first flat plate 51a and the second flat plate 51b. As a result, the position of the jig 50 can be estimated by excluding the measured values of the portions where the measurement accuracy of the laser scanners 30a and 30b is relatively poor, so the estimation accuracy of the position of the jig 50 is further improved. In addition, since the measured values of the flat portions of the first flat plate 51a and the second flat plate 51b are used, the accuracy of calibration is improved compared to a configuration in which calibration is performed using, for example, corners of the jig as feature points.

なお、レーザスキャナ30a,30bは、物体の同じ部位を複数回にわたって測定した場合に、ある程度の誤差が生じ、測定値がばらつき得る。従って、レーザスキャナ30a,30bによる測定をそれぞれ複数回(例えば10回程度)にわたって行い、複数回分の測定値の結果から、各点の平均値、メディアン値、又はその両方を求め、誤差の平準化後に治具50の位置を推定してもよい。これにより、1回のスキャンにおける測定値を用いる場合に比べてさらに較正の精度が向上する。 Note that when the laser scanners 30a and 30b measure the same part of the object a plurality of times, a certain amount of error may occur and the measured values may vary. Therefore, the measurements by the laser scanners 30a and 30b are performed multiple times (for example, about 10 times), and from the results of the multiple measurements, the average value, the median value, or both of the points are obtained, and the error is leveled. The position of the jig 50 may be estimated later. This further improves calibration accuracy compared to using measurements in a single scan.

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。 The embodiments described above are for facilitating understanding of the present invention, and are not intended to limit and interpret the present invention. Each element included in the embodiment and its arrangement, materials, conditions, shape, size, etc. are not limited to those illustrated and can be changed as appropriate. Also, it is possible to partially replace or combine the configurations shown in different embodiments.

10…搬送車(移動体)、20…台車、30a,30b…レーザスキャナ(センサ)、40a,40b…固定穴、50…治具(基準部材)、51a…第1平板、51b…第2平板、52…軸、100…推定部、110…較正部、120…記憶部 DESCRIPTION OF SYMBOLS 10... Conveyance vehicle (moving body), 20... Carriage, 30a, 30b... Laser scanner (sensor), 40a, 40b... Fixing hole, 50... Jig (reference member), 51a... First flat plate, 51b... Second flat plate , 52... axis, 100... estimation unit, 110... calibration unit, 120... storage unit

Claims (3)

自律走行が可能な台車と、
前記台車に設けられ、周囲に存在する物体までの距離を測定可能なセンサと、
前記台車との相対的な位置関係が既知である基準部材と、
前記センサによって前記基準部材までの距離を測定し、測定して得られた測定値のうち、既知である前記基準部材の基準位置から所定の範囲内の領域である有効領域に含まれる測定値を抽出して前記基準部材の位置を推定する推定部と、
前記基準部材の前記基準位置と推定された前記基準部材の推定位置に基づいて、前記台車に対する前記センサのずれを較正する較正部と、
を備え、
前記基準部材は、互いに異なる第1方向及び第2方向にそれぞれ沿って延びる第1平板及び第2平板を含み、
前記第1平板と前記第2平板は、接合部において接合されており、
前記較正部は、
既知である前記接合部の座標と、推定された前記接合部の座標との比較から、前記台車に対する前記センサの位置のずれを較正し、
基準軸から前記第1平板と前記第2平板が成す角の二等分線までの角度と、前記基準軸から推定された前記第1平板と前記第2平板が成す角の二等分線までの角度との比較から、前記台車に対する前記センサの姿勢のずれを較正する、
移動体。
A trolley capable of autonomous travel,
a sensor provided on the trolley and capable of measuring a distance to an object existing in the surroundings;
a reference member having a known relative positional relationship with the carriage;
The distance to the reference member is measured by the sensor, and among the measured values obtained by the measurement, the measurement value included in the effective region, which is the region within a predetermined range from the known reference position of the reference member. an estimation unit that extracts and estimates the position of the reference member;
a calibration unit that calibrates the displacement of the sensor with respect to the carriage based on the reference position of the reference member and the estimated position of the reference member;
with
the reference member includes a first flat plate and a second flat plate extending along first and second directions different from each other;
The first flat plate and the second flat plate are joined at a joint,
The calibration unit
calibrating the displacement of the sensor relative to the carriage from a comparison of the known joint coordinates and the estimated joint coordinates;
The angle from the reference axis to the bisector of the angle formed by the first plate and the second plate, and the bisector of the angle formed by the first plate and the second plate estimated from the reference axis calibrate the orientation deviation of the sensor with respect to the carriage from a comparison with the angle of
Mobile.
記有効領域は、前記第1平板及び前記第2平板にそれぞれ対応する第1領域及び第2領域を含み、
前記第1領域は、前記接合部から前記第1方向に沿った所定の範囲を含まず、
前記第2領域は、前記接合部から前記第2方向に沿った所定の範囲を含まない、
請求項1に記載の移動体。
the effective area includes a first area and a second area corresponding to the first flat plate and the second flat plate, respectively;
The first region does not include a predetermined range along the first direction from the joint,
The second region does not include a predetermined range along the second direction from the joint,
The moving object according to claim 1.
前記第1領域の前記第1方向の長さは、前記第1平板の前記第1方向の長さより短く、前記第2領域の前記第2方向の長さは、前記第2平板の前記第2方向の長さより短い、
請求項2に記載の移動体。
The length of the first region in the first direction is shorter than the length of the first flat plate in the first direction, and the length of the second region in the second direction is shorter than the length of the second flat plate in the second direction. less than the length of the direction,
The moving object according to claim 2.
JP2019124157A 2019-07-03 2019-07-03 moving body Active JP7284011B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2019124157A JP7284011B2 (en) 2019-07-03 2019-07-03 moving body

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019124157A JP7284011B2 (en) 2019-07-03 2019-07-03 moving body

Publications (2)

Publication Number Publication Date
JP2021009634A JP2021009634A (en) 2021-01-28
JP7284011B2 true JP7284011B2 (en) 2023-05-30

Family

ID=74199493

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019124157A Active JP7284011B2 (en) 2019-07-03 2019-07-03 moving body

Country Status (1)

Country Link
JP (1) JP7284011B2 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009204532A (en) 2008-02-28 2009-09-10 Aisin Seiki Co Ltd Calibration device and calibration method of range image sensor
JP2011027598A (en) 2009-07-27 2011-02-10 Toyota Central R&D Labs Inc Environment recognition device and moving body with the same
JP2011221957A (en) 2010-04-14 2011-11-04 Yaskawa Electric Corp Traveling body
JP2012234440A (en) 2011-05-06 2012-11-29 Fujitsu Ltd Biometric authentication device, biometric information processing device, biometric authentication system, biometric authentication server, biometric authentication client, and biometric authentication device controlling method
US20180052223A1 (en) 2015-02-17 2018-02-22 Hunter Engineering Company Method And Apparatus For Alignment Of Vehicle Blind Spot Monitoring Sensor

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009204532A (en) 2008-02-28 2009-09-10 Aisin Seiki Co Ltd Calibration device and calibration method of range image sensor
JP2011027598A (en) 2009-07-27 2011-02-10 Toyota Central R&D Labs Inc Environment recognition device and moving body with the same
JP2011221957A (en) 2010-04-14 2011-11-04 Yaskawa Electric Corp Traveling body
JP2012234440A (en) 2011-05-06 2012-11-29 Fujitsu Ltd Biometric authentication device, biometric information processing device, biometric authentication system, biometric authentication server, biometric authentication client, and biometric authentication device controlling method
US20180052223A1 (en) 2015-02-17 2018-02-22 Hunter Engineering Company Method And Apparatus For Alignment Of Vehicle Blind Spot Monitoring Sensor

Also Published As

Publication number Publication date
JP2021009634A (en) 2021-01-28

Similar Documents

Publication Publication Date Title
US10175049B2 (en) Target recognition and localization methods using a laser sensor for wheeled mobile robots
WO2009107430A1 (en) Autonomous mobile robot, self-position estimation method, environment map generation method, environment map generating device, and environment map data structure
JP2011027598A (en) Environment recognition device and moving body with the same
TWI665461B (en) Laser positioning system and method thereof
JP5517104B2 (en) Moving body
JP4697127B2 (en) Self-position recognition method
JP2008076252A (en) Own position recognition system
JP2007156576A (en) Method and device for adjusting odometry(wheel range finder) parameter for traveling carrier
JP7138538B2 (en) Laser scanner calibration method, material handling machine
CN114236564B (en) Method for positioning robot in dynamic environment, robot, device and storage medium
JP7133251B2 (en) Information processing device and mobile robot
JP4944840B2 (en) Guidance system and guidance method
TWI450060B (en) Handling system, walking car
CN108051007A (en) AGV navigation locating methods based on ultrasonic wave networking and stereoscopic vision
GB2543251A (en) Calibrating an automated guided vehicle
JP2018005709A (en) Autonomous mobile device
JP7284011B2 (en) moving body
JP6688475B2 (en) Information acquisition device, information acquisition system, autonomous mobile device, autonomous mobile device system, and position measuring method for moving body
CN115108496A (en) Automated guided vehicle, automated guided vehicle system, and automated guided vehicle program
JP7396353B2 (en) Map creation system, signal processing circuit, mobile object and map creation method
TWI701423B (en) Auxiliary positioning system with reflective sticker
CN112256007A (en) Auxiliary positioning system for reflective sticker
JP7434943B2 (en) Self-position control system and self-position control method
CN113711153B (en) Map creation system, signal processing circuit, mobile object, and map creation method
US20230034492A1 (en) Calibration of a Lidar Sensor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230320

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230322

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230418

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230501

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230518

R150 Certificate of patent or registration of utility model

Ref document number: 7284011

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150