JP6995767B2 - 計測システム、作業機械及び計測方法 - Google Patents
計測システム、作業機械及び計測方法 Download PDFInfo
- Publication number
- JP6995767B2 JP6995767B2 JP2018547835A JP2018547835A JP6995767B2 JP 6995767 B2 JP6995767 B2 JP 6995767B2 JP 2018547835 A JP2018547835 A JP 2018547835A JP 2018547835 A JP2018547835 A JP 2018547835A JP 6995767 B2 JP6995767 B2 JP 6995767B2
- Authority
- JP
- Japan
- Prior art keywords
- image pickup
- turning
- hydraulic excavator
- swivel body
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/24—Safety devices, e.g. for preventing overload
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
- E02F9/264—Sensors and their calibration for indicating the position of the work tool
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- E—FIXED CONSTRUCTIONS
- E02—HYDRAULIC ENGINEERING; FOUNDATIONS; SOIL SHIFTING
- E02F—DREDGING; SOIL-SHIFTING
- E02F9/00—Component parts of dredgers or soil-shifting machines, not restricted to one of the kinds covered by groups E02F3/00 - E02F7/00
- E02F9/26—Indicating devices
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
- G01C11/04—Interpretation of pictures
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/01—Satellite radio beacon positioning systems transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/13—Receivers
- G01S19/14—Receivers specially adapted for specific applications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S19/00—Satellite radio beacon positioning systems; Determining position, velocity or attitude using signals transmitted by such systems
- G01S19/38—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system
- G01S19/39—Determining a navigation solution using signals transmitted by a satellite radio beacon positioning system the satellite radio beacon positioning system transmitting time-stamped messages, e.g. GPS [Global Positioning System], GLONASS [Global Orbiting Navigation Satellite System] or GALILEO
- G01S19/42—Determining position
- G01S19/48—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system
- G01S19/485—Determining position by combining or switching between position solutions derived from the satellite radio beacon positioning system and position solutions derived from a further system whereby the further system is an optical system or imaging system
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
- G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
- G01S5/163—Determination of attitude
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/593—Depth or shape recovery from multiple images from stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/77—Determining position or orientation of objects or cameras using statistical methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30164—Workpiece; Machine component
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Remote Sensing (AREA)
- Radar, Positioning & Navigation (AREA)
- General Engineering & Computer Science (AREA)
- Structural Engineering (AREA)
- Mining & Mineral Resources (AREA)
- Civil Engineering (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Computer Networks & Wireless Communication (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Probability & Statistics with Applications (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Life Sciences & Earth Sciences (AREA)
- Electromagnetism (AREA)
- Component Parts Of Construction Machinery (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Operation Control Of Excavators (AREA)
Description
図1は、実施形態に係る油圧ショベル1を示す斜視図である。図2は、実施形態に係る油圧ショベル1の運転席付近の斜視図である。作業機械の一例である油圧ショベル1は、車体1B及び作業機2を有する。車体1Bは、旋回体3、運転室4及び走行体5を有する。旋回体3は、旋回中心軸Zrを中心として走行体5に旋回可能に取り付けられている。旋回体3は、油圧ポンプ及びエンジン等の装置を収容している。
図2に示されるように、油圧ショベル1は、運転室4内に撮像部である撮像装置30a,30b,30c,30dを複数有する。以下において、複数の撮像装置30a,30b,30c,30dを区別しない場合は適宜、撮像装置30と称する。複数の撮像装置30は、旋回体3に取り付けられて、油圧ショベル1の周囲の形状を撮像して、形状の情報である形状情報を出力する。
図3は、実施形態に係る計測システム50を示す図である。図3に示される計測システム50の装置構成は一例であり、実施形態の装置構成には限定されない。計測システム50は、図1に示される油圧ショベル1の車体1B、実施形態では旋回体3に備えられている。計測システム50は、検出装置である複数の撮像装置30a,30b,30c,30dと、処理装置40とを含む。実施形態において、計測システム50は、さらに位置検出装置23、IMU24及び入力装置32を有するが、少なくとも複数の撮像装置30a,30b,30c,30dと、処理装置40とを有していればよい。
図4は、油圧ショベル1の周囲を連続して計測する例を説明する平面図である。計測システム50の撮像装置30は、油圧ショベル1の旋回体3に取り付けられているため、旋回体3の旋回動作中に少なくとも一対の撮像装置30が油圧ショベル1の周囲CRを撮像することで、油圧ショベル1の周囲CRの全体の三次元位置を計測できる。計測システム50の処理装置40は、ステレオ方式による画像処理を実行することにより得られた撮像装置座標系の三次元位置を、グローバル座標系における三次元位置に座標変換する。この座標変換において、位置検出装置23及びIMU24の情報が必要になる。
θ'=(θte-θts)/(θge-θgs)×(θ-θgs)+θgs・・・(4)
図10は、実施形態に係る計測方法の手順の一例を示すフローチャートである。実施形態に係る計測方法は、図3に示される計測システム50によって実現される。油圧ショベル1の周囲CRを三次元計測するにあたって、油圧ショベル1のオペレータは、計測を開始する位置に旋回体3を向ける。旋回体3が停止後、所定の時間が経過したら、処理装置40の処理部41は、旋回体3の旋回時に撮像装置30による連続撮影が可能であることを報知する。一例として、処理部41は、連続撮影が可能であることを、ライト33を点灯させることにより報知する。ライト33が点灯したら、オペレータは、図3に示される入力装置32を操作して、撮像装置30の撮像開始指令を処理装置40に与える。
図12は、実施形態に係る計測システムが油圧ショベル1の走行動作中に油圧ショベル1の周囲CRを三次元計測することを説明するための図である。実施形態においては、旋回体3の旋回動作中に油圧ショベル1の周囲を三次元計測したが、変形例は、油圧ショベル1の動作中、例えば走行体5の走行動作中(走行中)に、油圧ショベル1の周囲を三次元計測する。
2 作業機
3 旋回体
5 走行体
23 位置検出装置(位置検出部)
24 IMU(姿勢検出部)
30,30a,30b,30c,30d 撮像装置(撮像部)
32 入力装置
33 ライト
40 処理装置
41 処理部
41A 共通部分抽出部
41B 移動量演算部
41C 車体状態演算部
41D 三次元位置演算部
41E 撮像部位置演算部
42 記憶部
43 入出力部
50 計測システム
51 ハブ
CR 周囲
FP 特徴部分
PT 距離画像
SI 形状情報
θ 旋回角度
Claims (9)
- 作業機械の旋回体に取り付けられて、前記作業機械の周囲の形状を撮像する撮像部と、
前記旋回体の位置を求める位置検出部と、
前記旋回体の旋回動作中に前記撮像部によって撮像された複数の画像における共通の部分に基づいて、前記撮像部の撮像時における前記撮像部の位置を演算する撮像部位置演算部と、
前記撮像部位置演算部によって演算された前記撮像部の位置に基づいて、前記撮像時における前記作業機械の周囲の三次元位置を求める三次元位置演算部と、
を備える計測システム。 - 前記作業機械の旋回動作中に前記撮像部によって撮像された複数の二次元画像における共通の部分を求める共通部分抽出部を有し、
撮像部位置演算部は、前記撮像部の撮像時における前記撮像部の位置を演算する、請求項1に記載の計測システム。 - 前記撮像部位置演算部は、
撮像時における前記撮像部の位置を演算するために、撮像時における前記旋回体の旋回角度を演算し、前記撮像部の位置を演算する、請求項1又は請求項2に記載の計測システム。 - 前記撮像部位置演算部は、
前記旋回体の旋回動作前における前記旋回体の位置、又は前記旋回体の旋回動作後における前記旋回体の位置を用いて、前記撮像部の撮像時における前記撮像部の位置を補正する、請求項1から請求項3のいずれか1項に記載の計測システム。 - 前記撮像部位置演算部は、
前記旋回体の旋回動作前における前記旋回体の旋回角度と、前記旋回体の旋回動作後における前記旋回体の旋回角度とを用いて、前記旋回体の旋回動作中における旋回角度を補正する、請求項3又は請求項4に記載の計測システム。 - 前記撮像部位置演算部は、
複数の共通の部分を用いて最小二乗法を用いて前記撮像部の位置を演算する、請求項2から請求項5のいずれか1項に記載の計測システム。 - 前記三次元位置演算部は、
前記旋回体の旋回動作中に得られた複数の前記作業機械の周囲の三次元位置を結合する、請求項1から請求項6のいずれか1項に記載の計測システム。 - 請求項1から請求項7のいずれか1項に記載の計測システムを備える、作業機械。
- 作業機械に取り付けられる旋回体の旋回動作中に前記旋回体に取り付けられた撮像部によって撮像された複数の画像における共通の部分に基づいて、前記撮像部の撮像時における前記撮像部の位置を演算し、
演算された前記撮像部の位置に基づいて、前記撮像時における前記作業機械の周囲の三次元位置を求める、
計測方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016213700 | 2016-10-31 | ||
JP2016213700 | 2016-10-31 | ||
PCT/JP2017/039193 WO2018079789A1 (ja) | 2016-10-31 | 2017-10-30 | 計測システム、作業機械及び計測方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2018079789A1 JPWO2018079789A1 (ja) | 2019-09-19 |
JP6995767B2 true JP6995767B2 (ja) | 2022-01-17 |
Family
ID=62025082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018547835A Active JP6995767B2 (ja) | 2016-10-31 | 2017-10-30 | 計測システム、作業機械及び計測方法 |
Country Status (6)
Country | Link |
---|---|
US (1) | US11441294B2 (ja) |
JP (1) | JP6995767B2 (ja) |
KR (1) | KR102089454B1 (ja) |
CN (1) | CN109716058B (ja) |
DE (1) | DE112017004688B4 (ja) |
WO (1) | WO2018079789A1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7301514B2 (ja) * | 2018-09-21 | 2023-07-03 | 日立建機株式会社 | 座標変換システム及び作業機械 |
JP7178854B2 (ja) * | 2018-09-28 | 2022-11-28 | 株式会社小松製作所 | 作業機械のためのシステム及び方法 |
CN109816778B (zh) * | 2019-01-25 | 2023-04-07 | 北京百度网讯科技有限公司 | 物料堆三维重建方法、装置、电子设备和计算机可读介质 |
JP6923574B2 (ja) | 2019-02-01 | 2021-08-18 | ファナック株式会社 | 3次元形状計測システムおよび3次元形状計測方法 |
JP2020197044A (ja) * | 2019-05-31 | 2020-12-10 | 株式会社小松製作所 | マップ生成システム及びマップ生成方法 |
JP7165638B2 (ja) * | 2019-09-25 | 2022-11-04 | 日立建機株式会社 | 作業機械 |
US20220220695A1 (en) * | 2019-09-26 | 2022-07-14 | Hitachi Construction Machinery Co., Ltd. | Work machine |
CN111895931B (zh) * | 2020-07-17 | 2021-11-26 | 嘉兴泊令科技有限公司 | 一种基于计算机视觉的煤矿作业区标定方法 |
CN112081165A (zh) * | 2020-10-14 | 2020-12-15 | 江苏徐工工程机械研究院有限公司 | 平地机及其刮坡控制方法、装置 |
US11834813B2 (en) * | 2021-07-09 | 2023-12-05 | Topcon Positioning Systems, Inc. | IMU based system for vertical axis joint angle estimation for swing boom excavators |
DE102021214441A1 (de) | 2021-12-15 | 2023-06-15 | Robert Bosch Gesellschaft mit beschränkter Haftung | Verfahren zur Korrektur einer Orientierungswinkel-Ermittlung eines Sensorsystems einer Arbeitsmaschine |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004163139A (ja) | 2002-11-11 | 2004-06-10 | Fuji Photo Film Co Ltd | 回転量算出装置、移動量算出装置、回転量算出方法、及び移動量算出方法 |
WO2015198410A1 (ja) | 2014-06-25 | 2015-12-30 | 株式会社日立製作所 | 外界認識装置 |
WO2016148309A1 (ja) | 2016-03-29 | 2016-09-22 | 株式会社小松製作所 | 校正システム、作業機械及び校正方法 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4767578B2 (ja) * | 2005-02-14 | 2011-09-07 | 株式会社岩根研究所 | 高精度cv演算装置と、この高精度cv演算装置を備えたcv方式三次元地図生成装置及びcv方式航法装置 |
JP2008312004A (ja) | 2007-06-15 | 2008-12-25 | Sanyo Electric Co Ltd | カメラシステム及び機械装置 |
US9030332B2 (en) | 2011-06-27 | 2015-05-12 | Motion Metrics International Corp. | Method and apparatus for generating an indication of an object within an operating ambit of heavy loading equipment |
JP5802476B2 (ja) | 2011-08-09 | 2015-10-28 | 株式会社トプコン | 建設機械制御システム |
EP2899496B1 (en) | 2012-09-21 | 2020-03-04 | Tadano Ltd. | Periphery-information acquisition device for vehicle |
US9501831B2 (en) | 2012-10-02 | 2016-11-22 | Google Inc. | Identification of relative distance of objects in images |
CN103528571B (zh) | 2013-10-12 | 2016-04-06 | 上海新跃仪表厂 | 单目立体视觉相对位姿测量方法 |
US20150168136A1 (en) | 2013-12-12 | 2015-06-18 | The Regents Of The University Of Michigan | Estimating three-dimensional position and orientation of articulated machine using one or more image-capturing devices and one or more markers |
JP6232494B2 (ja) | 2014-04-23 | 2017-11-15 | 株式会社日立製作所 | 掘削装置 |
CN104048607A (zh) * | 2014-06-27 | 2014-09-17 | 上海朗煜电子科技有限公司 | 机械手臂的视觉识别抓取方法 |
JP6777375B2 (ja) * | 2015-03-05 | 2020-10-28 | 株式会社小松製作所 | 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械 |
JP5841300B1 (ja) | 2015-03-27 | 2016-01-13 | 株式会社小松製作所 | 作業機械の較正装置、及び作業機械の作業機パラメータの較正方法 |
EP3086196B1 (en) | 2015-04-21 | 2017-04-05 | Hexagon Technology Center GmbH | Method and control system for surveying and mapping a terrain while operating a bulldozer |
WO2015167022A1 (ja) * | 2015-05-29 | 2015-11-05 | 株式会社小松製作所 | 作業機械の制御システム及び作業機械 |
US20170061689A1 (en) * | 2015-08-24 | 2017-03-02 | Caterpillar Inc. | System for improving operator visibility of machine surroundings |
CN108139211B (zh) * | 2015-09-29 | 2021-01-15 | 索尼公司 | 用于测量的装置和方法以及程序 |
JP6050525B2 (ja) | 2015-10-15 | 2016-12-21 | 株式会社小松製作所 | 位置計測システム、作業機械及び位置計測方法 |
-
2017
- 2017-10-30 JP JP2018547835A patent/JP6995767B2/ja active Active
- 2017-10-30 CN CN201780056362.4A patent/CN109716058B/zh active Active
- 2017-10-30 DE DE112017004688.2T patent/DE112017004688B4/de active Active
- 2017-10-30 US US16/332,829 patent/US11441294B2/en active Active
- 2017-10-30 KR KR1020197007346A patent/KR102089454B1/ko active IP Right Grant
- 2017-10-30 WO PCT/JP2017/039193 patent/WO2018079789A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004163139A (ja) | 2002-11-11 | 2004-06-10 | Fuji Photo Film Co Ltd | 回転量算出装置、移動量算出装置、回転量算出方法、及び移動量算出方法 |
WO2015198410A1 (ja) | 2014-06-25 | 2015-12-30 | 株式会社日立製作所 | 外界認識装置 |
WO2016148309A1 (ja) | 2016-03-29 | 2016-09-22 | 株式会社小松製作所 | 校正システム、作業機械及び校正方法 |
Also Published As
Publication number | Publication date |
---|---|
DE112017004688T5 (de) | 2019-07-04 |
WO2018079789A1 (ja) | 2018-05-03 |
US20190360174A1 (en) | 2019-11-28 |
CN109716058B (zh) | 2021-05-14 |
DE112017004688B4 (de) | 2022-10-27 |
JPWO2018079789A1 (ja) | 2019-09-19 |
CN109716058A (zh) | 2019-05-03 |
US11441294B2 (en) | 2022-09-13 |
KR102089454B1 (ko) | 2020-03-16 |
KR20190034340A (ko) | 2019-04-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6995767B2 (ja) | 計測システム、作業機械及び計測方法 | |
JP6794193B2 (ja) | 作業機械の画像表示システム | |
CN108700402B (zh) | 位置测量系统、作业机械及位置测量方法 | |
JP5227139B2 (ja) | 建設機械 | |
KR101815269B1 (ko) | 위치 계측 시스템 및 위치 계측 방법 | |
JP6777375B2 (ja) | 作業機械の画像表示システム、作業機械の遠隔操作システム及び作業機械 | |
JP6316568B2 (ja) | 測量システム | |
US10527413B2 (en) | Outside recognition device | |
JP4783620B2 (ja) | 3次元データ作成方法及び3次元データ作成装置 | |
WO2016047807A1 (ja) | 校正システム、作業機械及び校正方法 | |
JP7386592B2 (ja) | 建設機械の操作補助システム | |
WO2019225133A1 (ja) | 油圧ショベル、およびシステム | |
JP2017193958A (ja) | 校正システム、作業機械及び校正方法 | |
JP7128497B2 (ja) | 作業機械の画像表示システム | |
WO2019049515A1 (ja) | 作業機械の計測システム、作業機械、及び作業機械の計測方法 | |
CN115698434A (zh) | 信息取得系统及信息取得方法 | |
JP6923144B2 (ja) | 作業機械の画像表示システム | |
JP7333551B2 (ja) | 作業機械の画像表示システム | |
WO2019049527A1 (ja) | 作業機械の計測システム、作業機械、及び作業機械の計測方法 | |
JP2022173478A (ja) | 建設機械の自動制御システム | |
JP2023005582A (ja) | 侵入検出システム | |
JP2020197045A (ja) | 表示システムおよび表示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200910 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210330 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210528 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20211116 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20211215 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6995767 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |