JP7409240B2 - 障害物検出装置及び障害物検出方法 - Google Patents
障害物検出装置及び障害物検出方法 Download PDFInfo
- Publication number
- JP7409240B2 JP7409240B2 JP2020114903A JP2020114903A JP7409240B2 JP 7409240 B2 JP7409240 B2 JP 7409240B2 JP 2020114903 A JP2020114903 A JP 2020114903A JP 2020114903 A JP2020114903 A JP 2020114903A JP 7409240 B2 JP7409240 B2 JP 7409240B2
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- detection
- area
- axis
- coordinate
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000001514 detection method Methods 0.000 title claims description 282
- 238000000034 method Methods 0.000 description 24
- 238000012545 processing Methods 0.000 description 17
- 239000013256 coordination polymer Substances 0.000 description 12
- 238000009434 installation Methods 0.000 description 8
- 239000000284 extract Substances 0.000 description 6
- 238000003384 imaging method Methods 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000009795 derivation Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000010801 machine learning Methods 0.000 description 3
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 230000009466 transformation Effects 0.000 description 2
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 239000000446 fuel Substances 0.000 description 1
- 230000001678 irradiating effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F17/00—Safety devices, e.g. for limiting or indicating lifting force
- B66F17/003—Safety devices, e.g. for limiting or indicating lifting force for fork-lift trucks
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/0755—Position control; Position detectors
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B66—HOISTING; LIFTING; HAULING
- B66F—HOISTING, LIFTING, HAULING OR PUSHING, NOT OTHERWISE PROVIDED FOR, e.g. DEVICES WHICH APPLY A LIFTING OR PUSHING FORCE DIRECTLY TO THE SURFACE OF A LOAD
- B66F9/00—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes
- B66F9/06—Devices for lifting or lowering bulky or heavy goods for loading or unloading purposes movable, with their loads, on wheels or the like, e.g. fork-lift trucks
- B66F9/075—Constructional features or details
- B66F9/20—Means for actuating or controlling masts, platforms, or forks
- B66F9/24—Electrical devices or systems
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course or altitude of land, water, air, or space vehicles, e.g. automatic pilot
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30248—Vehicle exterior or interior
- G06T2207/30252—Vehicle exterior; Vicinity of vehicle
- G06T2207/30261—Obstacle
Description
本開示の目的は、移動体の一部が障害物として検出されることを抑制できる障害物検出装置及び障害物検出方法を提供することにある。
上記障害物検出装置について、前記位置検出部は、水平方向のうち一方向をX軸、水平方向のうち前記X軸に直交する方向の軸をY軸、前記X軸及び前記Y軸に直交する方向の軸をZ軸とする実空間上の座標系での前記障害物の座標を導出する座標導出部を備えていてもよい。
上記課題を解決する障害物検出方法は、移動体に搭載されており、かつ、センサと位置検出部とを備える障害物検出装置によって障害物の位置を検出する障害物検出方法であって、前記位置検出部が、前記センサの検出結果を取得するステップと、前記センサによって前記障害物を検出可能な検出可能領域に予め設定された領域であって前記移動体の一部が存在する領域を非検出領域とすると、前記位置検出部が、前記非検出領域には前記センサの検出結果に関わらず前記障害物が存在しないと判断するステップと、前記位置検出部が、前記検出可能領域のうち前記非検出領域とは異なる領域である検出領域に存在する前記障害物の位置を検出するステップと、を含んでいてもよい。
以下、障害物検出装置及び障害物検出方法の第1実施形態について説明する。
図1及び図2に示すように、移動体としてのフォークリフト10は、車体11と、車体11の前下部に配置された駆動輪12と、車体11の後下部に配置された操舵輪13と、荷役装置17と、を備える。車体11は、運転席の上部に設けられたヘッドガード14と、荷役装置17に積載される荷と釣り合いを取るためのカウンタウェイト15と、を備える。カウンタウェイト15は、車体11の後部に設けられている。フォークリフト10は、搭乗者による操作によって動作するものであってもよいし、自動で動作するものであってもよいし、手動での動作と自動での動作を切り替えられるものであってもよい。以下の説明において、左右とは、フォークリフト10の前進方向を基準とした場合の左右である。
図1及び図2に示すように、カウンタウェイト15の幅W1、カウンタウェイト15の高さH1、ステレオカメラ31からカウンタウェイト15の後端までの前後方向の距離L1、及びフォークリフト10の中心位置CPとステレオカメラ31との車幅方向の距離W2のそれぞれを示す情報が車両諸元として記憶されている。
第1条件…-(W1/2+W2)≦Xw≦(W1/2-W2)
第2条件…0≦Yw≦L1
第3条件…0≦Zw≦H1
第1条件は、フォークリフト10の車幅方向の中心位置CPから、ワールド座標系のX軸方向の両側のそれぞれに対して、カウンタウェイト15の幅W1の半分の範囲の特徴点を抽出しているといえる。本実施形態では、フォークリフト10の中心位置CPとワールド座標系におけるX軸の原点とが距離W2ずれているため、距離W2だけX座標Xwを右方にずらすことで、X座標Xwの範囲をフォークリフト10の中心位置CPを基準とした範囲にオフセットしているともいえる。
第3条件は、路面からカウンタウェイト15の上端までの特徴点を抽出しているといえる。
検出可能領域CAには、予め非検出領域NA1が設定されている。位置検出装置41は、非検出領域NA1に存在する特徴点を削除している。これにより、位置検出装置41は、非検出領域NA1に障害物が存在している場合であっても、非検出領域NA1には障害物が存在していないと判断する。非検出領域NA1は、カウンタウェイト15が存在している領域である。ステレオカメラ31とカウンタウェイト15の位置関係は一定であるため、ステレオカメラ31の撮像範囲には必ずカウンタウェイト15が入り込む。
(1-1)ステレオカメラ31の検出可能領域CAには、予め非検出領域NA1が設定されている。位置検出装置41は、非検出領域NA1の特徴点を削除することで、非検出領域NA1には障害物が存在していないと判断する。非検出領域NA1に存在するカウンタウェイト15が障害物として検出されることを抑制することができる。
以下、第2実施形態の障害物検出装置及び障害物検出方法について説明する。以下の説明において、第1実施形態と同様な部分については説明を省略する。
第1実施形態の第3条件に加えて、Zw≧h2がor条件として加えられている。従って、第1条件、第2条件、及び第3条件のうち0≦Zw≦H1に合致する特徴点と、第1条件、第2条件及び第3条件のうちZw≧h2に合致する特徴点の両方が不要な特徴点として削除される。第1条件、第2条件及び第3条件のうちZw≧h2によって規定される非検出領域NA2は、X座標Xwの範囲が-(W1/2+W2)~(W1/2-W2)、Y座標Ywの範囲が0~L1、Z座標ZwがH2以上となる領域といえる。
(2-1)カウンタウェイト15に加えて、ミラー18及び支持部19が障害物として検出されることを抑制している。複数の部材が検出可能領域CAに入り込んでいる場合であっても、複数の部材に対して非検出領域NA1,NA2を設定することで、複数の部材のそれぞれを障害物とみなすことなく、検出領域DAの障害物を検出できる。
○各実施形態において、非検出領域NA1は、ワールド座標系のXY平面上での座標を示す2次元座標で規定されていてもよい。即ち、各実施形態における第3条件を削除し、第1条件及び第2条件に合致する特徴点を削除するようにしてもよい。この場合、Z座標Zwに関わらず、X座標Xw及びY座標Ywで規定される非検出領域に存在する特徴点が不要な特徴点として削除される。
このように、ステレオカメラ31の設置位置の変更などによりワールド座標系の座標軸が実施形態から変更された場合、各条件はこれに合わせて変更される。
○各実施形態において、位置検出部は、複数の装置によって構成されていてもよい。例えば、位置検出部は、非検出部として機能する装置と、検出部として機能する装置と、座標導出部として機能する装置と、を個別に備えていてもよい。
○各実施形態において、障害物検出装置30は、位置検出装置41の記憶部43に記憶されている情報など、種々の情報を記憶するように構成された補助記憶装置を備えていてもよい。補助記憶装置としては、例えば、ハードディスクドライブ、ソリッドステートドライブ、EEPROM:Electrically Erasable Programmable Read Only Memory等の、データを書き換え可能な不揮発性記憶装置が用いられる。
○各実施形態において、ステレオカメラ31は、荷役装置17等、どのような位置に取り付けられていてもよい。
Claims (5)
- 移動体に搭載される障害物検出装置であって、
障害物を検出するためのセンサと、
前記センサの検出結果から、水平方向のうち一方向をX軸、水平方向のうち前記X軸に直交する方向の軸をY軸、前記X軸及び前記Y軸に直交する方向の軸をZ軸とする実空間上の座標系での特徴点を取得するとともに前記特徴点で表される前記障害物の位置を検出する位置検出部と、を備え、
前記位置検出部は、
前記センサによって前記障害物を検出可能な検出可能領域に予め設定された領域であって前記移動体の一部が存在する領域を非検出領域とすると、前記非検出領域には前記センサの検出結果に関わらず前記障害物が存在しないと判断する非検出部と、
前記検出可能領域のうち前記非検出領域とは異なる領域である検出領域に存在する前記障害物の位置を検出する検出部と、を備え、
前記非検出部は、前記実空間上の座標系での前記特徴点の座標が前記非検出領域に含まれる場合に当該座標で表される前記障害物が存在しないと判断する障害物検出装置。 - 前記移動体はフォークリフトであり、
前記非検出領域は、前記フォークリフトのカウンタウェイトが存在する位置に設定されている請求項1に記載の障害物検出装置。 - 前記非検出領域は、前記実空間上の座標系で前記一部が存在する領域を示す3次元座標で規定されている請求項1に記載の障害物検出装置。
- 前記センサは、ステレオカメラであり、
前記位置検出部は、
前記ステレオカメラから前記検出結果として取得した第1画像と第2画像とを比較することによって視差を算出するとともに、前記視差から前記実空間上の座標系での前記特徴点の座標を取得し、
前記非検出部によって前記非検出領域に含まれると判断された前記特徴点を除いた前記特徴点をクラスタ化することで前記障害物の位置を検出する請求項1に記載の障害物検出装置。 - 移動体に搭載されており、かつ、センサと位置検出部とを備える障害物検出装置によって障害物の位置を検出する障害物検出方法であって、
前記位置検出部が、前記センサの検出結果を取得するステップと、
前記位置検出部が、水平方向のうち一方向をX軸、水平方向のうち前記X軸に直交する方向の軸をY軸、前記X軸及び前記Y軸に直交する方向の軸をZ軸とする実空間上の座標系での特徴点を取得するとともに前記特徴点で表される前記障害物の位置を検出するステップと、
前記センサによって前記障害物を検出可能な検出可能領域に予め設定された領域であって前記移動体の一部が存在する領域を非検出領域とすると、前記位置検出部が、前記非検出領域には前記センサの検出結果に関わらず前記障害物が存在しないと判断するステップと、
前記位置検出部が、前記検出可能領域のうち前記非検出領域とは異なる領域である検出領域に存在する前記障害物の位置を検出するステップと、を含み、
前記非検出領域には前記センサの検出結果に関わらず前記障害物が存在しないと判断するステップは、前記実空間上の座標系での前記特徴点の座標が前記非検出領域に含まれる場合に当該座標で表される前記障害物が存在しないと判断するステップである障害物検出方法。
Priority Applications (9)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020114903A JP7409240B2 (ja) | 2020-07-02 | 2020-07-02 | 障害物検出装置及び障害物検出方法 |
TW110121405A TWI808434B (zh) | 2020-07-02 | 2021-06-11 | 障礙物檢測裝置及障礙物檢測方法 |
EP21831582.8A EP4177694A4 (en) | 2020-07-02 | 2021-06-22 | OBSTACLE DETECTION DEVICE AND OBSTACLE DETECTION METHOD |
CA3184206A CA3184206A1 (en) | 2020-07-02 | 2021-06-22 | Obstacle detector device and obstacle detection method |
CN202180045638.5A CN115720569A (zh) | 2020-07-02 | 2021-06-22 | 障碍物检测装置和障碍物检测方法 |
AU2021301647A AU2021301647A1 (en) | 2020-07-02 | 2021-06-22 | Obstacle detection device and obstacle detection method |
US18/013,194 US20230264938A1 (en) | 2020-07-02 | 2021-06-22 | Obstacle detector and obstacle detection method |
PCT/JP2021/023647 WO2022004495A1 (ja) | 2020-07-02 | 2021-06-22 | 障害物検出装置及び障害物検出方法 |
KR1020227045118A KR20230015429A (ko) | 2020-07-02 | 2021-06-22 | 장해물 검출 장치 및 장해물 검출 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020114903A JP7409240B2 (ja) | 2020-07-02 | 2020-07-02 | 障害物検出装置及び障害物検出方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022012811A JP2022012811A (ja) | 2022-01-17 |
JP7409240B2 true JP7409240B2 (ja) | 2024-01-09 |
Family
ID=79316197
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020114903A Active JP7409240B2 (ja) | 2020-07-02 | 2020-07-02 | 障害物検出装置及び障害物検出方法 |
Country Status (9)
Country | Link |
---|---|
US (1) | US20230264938A1 (ja) |
EP (1) | EP4177694A4 (ja) |
JP (1) | JP7409240B2 (ja) |
KR (1) | KR20230015429A (ja) |
CN (1) | CN115720569A (ja) |
AU (1) | AU2021301647A1 (ja) |
CA (1) | CA3184206A1 (ja) |
TW (1) | TWI808434B (ja) |
WO (1) | WO2022004495A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7159083B2 (ja) * | 2019-03-06 | 2022-10-24 | 株式会社クボタ | 作業車両 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014097867A (ja) | 2012-11-14 | 2014-05-29 | Sumitomo Heavy Industries Material Handling Systems Co Ltd | ジブクレーン |
WO2016174977A1 (ja) | 2015-04-28 | 2016-11-03 | 株式会社小松製作所 | 作業機械の周辺監視装置及び作業機械の周辺監視方法 |
JP2019174347A (ja) | 2018-03-29 | 2019-10-10 | ヤンマー株式会社 | 障害物検知システム |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016206801A (ja) | 2015-04-17 | 2016-12-08 | 株式会社リコー | 物体検出装置、移動体機器制御システム及び物体検出用プログラム |
JP6844508B2 (ja) * | 2017-11-15 | 2021-03-17 | 株式会社豊田自動織機 | 安全装置 |
JP6923480B2 (ja) * | 2018-03-29 | 2021-08-18 | ヤンマーパワーテクノロジー株式会社 | 障害物検知システム |
CN111886518A (zh) * | 2018-03-29 | 2020-11-03 | 洋马动力科技有限公司 | 障碍物检测系统以及作业车辆 |
-
2020
- 2020-07-02 JP JP2020114903A patent/JP7409240B2/ja active Active
-
2021
- 2021-06-11 TW TW110121405A patent/TWI808434B/zh active
- 2021-06-22 AU AU2021301647A patent/AU2021301647A1/en active Pending
- 2021-06-22 US US18/013,194 patent/US20230264938A1/en active Pending
- 2021-06-22 CN CN202180045638.5A patent/CN115720569A/zh active Pending
- 2021-06-22 CA CA3184206A patent/CA3184206A1/en active Pending
- 2021-06-22 EP EP21831582.8A patent/EP4177694A4/en active Pending
- 2021-06-22 KR KR1020227045118A patent/KR20230015429A/ko unknown
- 2021-06-22 WO PCT/JP2021/023647 patent/WO2022004495A1/ja active Application Filing
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2014097867A (ja) | 2012-11-14 | 2014-05-29 | Sumitomo Heavy Industries Material Handling Systems Co Ltd | ジブクレーン |
WO2016174977A1 (ja) | 2015-04-28 | 2016-11-03 | 株式会社小松製作所 | 作業機械の周辺監視装置及び作業機械の周辺監視方法 |
JP2019174347A (ja) | 2018-03-29 | 2019-10-10 | ヤンマー株式会社 | 障害物検知システム |
Also Published As
Publication number | Publication date |
---|---|
TWI808434B (zh) | 2023-07-11 |
CA3184206A1 (en) | 2022-01-06 |
AU2021301647A1 (en) | 2023-02-02 |
WO2022004495A1 (ja) | 2022-01-06 |
EP4177694A4 (en) | 2023-12-20 |
CN115720569A (zh) | 2023-02-28 |
KR20230015429A (ko) | 2023-01-31 |
US20230264938A1 (en) | 2023-08-24 |
TW202203155A (zh) | 2022-01-16 |
EP4177694A1 (en) | 2023-05-10 |
JP2022012811A (ja) | 2022-01-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US20200311964A1 (en) | Object detection device and object detection method | |
US10902632B2 (en) | Position detection apparatus and position detection method | |
JP6456499B2 (ja) | 立体物検出装置、ステレオカメラ装置、車両及び立体物検出方法 | |
JP7180445B2 (ja) | 物体検出装置 | |
US20190347496A1 (en) | Information processing apparatus, imaging apparatus, apparatus control system, movable object, information processing method, and computer-readable recording medium | |
JP7409240B2 (ja) | 障害物検出装置及び障害物検出方法 | |
JP5411671B2 (ja) | 物体検出装置および運転支援システム | |
US20230237809A1 (en) | Image processing device of person detection system | |
JP5248388B2 (ja) | 障害物危険度算出装置、方法及びプログラム | |
CN112611360B (zh) | 物体检测装置、车辆及物体检测处理方法 | |
US11884303B2 (en) | Apparatus and method for determining lane change of surrounding objects | |
JP6114572B2 (ja) | 対象物領域推定方法、対象物領域推定装置およびそれを備えた対象物検出装置、車両。 | |
US20230237830A1 (en) | Image processing device of person detection system | |
JP7014122B2 (ja) | 物体検出装置及び物体検出方法 | |
JP7318377B2 (ja) | 物体検知装置 | |
JP2022094178A (ja) | 産業車両 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221013 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230627 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230828 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231121 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231204 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7409240 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |