JPWO2020174770A1 - 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器 - Google Patents
領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器 Download PDFInfo
- Publication number
- JPWO2020174770A1 JPWO2020174770A1 JP2021501571A JP2021501571A JPWO2020174770A1 JP WO2020174770 A1 JPWO2020174770 A1 JP WO2020174770A1 JP 2021501571 A JP2021501571 A JP 2021501571A JP 2021501571 A JP2021501571 A JP 2021501571A JP WO2020174770 A1 JPWO2020174770 A1 JP WO2020174770A1
- Authority
- JP
- Japan
- Prior art keywords
- object candidate
- area
- classifier
- subclass
- input image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Abstract
Description
入力画像に含まれる物体候補を特定する第1の識別器を備え、
第1の識別器は、サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、物体候補を囲む物体候補領域を特定するように構成された構成要素を有する。
第1の識別器は、畳み込み特徴マップに基づいて物体候補領域を特定するものであってもよい。
性状が既知のサブクラス物体を含む教師画像に性状に応じたアンカーを適用し、適用したアンカーの移動および変形の少なくとも一方を予測して、サブクラス物体を物体候補として囲む物体候補領域を特定する処理を、複数の教師画像を用いて行うことにより、サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、入力画像における物体候補を囲む物体候補領域を特定するように、識別器を学習する学習部を備える。
性状が既知のサブクラス物体を含む教師画像に性状に応じたアンカーを適用し、適用したアンカーの移動および変形の少なくとも一方を予測して、サブクラス物体を物体候補として囲む物体候補領域を特定する処理を、複数の教師画像を用いて行うことにより、サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、入力画像における物体候補を囲む物体候補領域を特定するように学習されてなる。
サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、物体候補を囲む物体候補領域を特定するように構成された構成要素を有する第1の識別器が、入力画像に含まれる物体候補を特定する。
性状が既知のサブクラス物体を含む教師画像に性状に応じたアンカーを適用し、適用したアンカーの移動および変形の少なくとも一方を予測して、サブクラス物体を物体候補として囲む物体候補領域を特定する処理を、複数の教師画像を用いて行うことにより、サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、入力画像における物体候補を囲む物体候補領域を特定するように、識別器を学習する。
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、物体候補を囲む物体候補領域を特定するように構成された構成要素を有する第1の識別器として機能して、入力画像に含まれる物体候補を特定する処理を実行する。
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
性状が既知のサブクラス物体を含む教師画像に性状に応じたアンカーを適用し、適用したアンカーの移動および変形の少なくとも一方を予測して、サブクラス物体を物体候補として囲む物体候補領域を特定する処理を、複数の教師画像を用いて行うことにより、サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、入力画像における物体候補を囲む物体候補領域を特定するように、識別器を学習する処理を実行する。
2 3次元画像撮影装置
3 画像保管サーバ
4 ネットワーク
11 CPU
12 メモリ
13 ストレージ
14 表示部
15 入力部
21 画像取得部
22 物体特定部
23 表示制御部
30 畳み込みニューラルネットワーク
40 第1の識別器
41 RPN
42 スライディングウィンドウ
42A 中心画素
43 アンカー
43A,43A−1,43A−2,43A−3,43A−4,43A−5 すりガラス状の肺結節用のアンカー
43B,43B−1,43B−2,43B−3,43B−4,43B−5 充実状の肺結節用のアンカー
44 中間層
45 分類層
46 回帰層
50 第2の識別器
60 病変
61 結果画面
62 アンカー表示領域
63 矩形
64 カテゴリ表示領域
71,72,73,74,75.76 正解ボックス
Gt 対象画素位置
Rt 対応画素領域
M0 畳み込み特徴マップ
M1 教師畳み込み特徴マップ
S0 入力画像
S1 教師入力画像
P0 物体候補領域
Claims (16)
- 入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の領域を特定する領域特定装置であって、
前記入力画像に含まれる物体候補を特定する第1の識別器を備え、
前記第1の識別器は、前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、前記物体候補を囲む物体候補領域を特定するように構成された構成要素を有する領域特定装置。 - 前記第1の識別器は、前記サブクラス物体の性状に応じて、各種形状および各種大きさを有する複数のアンカーから、前記物体候補を含む正解ボックスとの形状および大きさの類似度に基づいてアンカーを選択し、選択されたアンカーの移動および変形の少なくとも一方を予測して、前記物体候補を囲む物体候補領域を特定する請求項1に記載の領域特定装置。
- 前記第1の識別器は、前記物体候補を含む正解ボックスとの形状および大きさの類似度に基づいてアンカーを選択する請求項2に記載の領域特定装置。
- 前記特定された物体候補領域のサブクラスを表示部に表示する表示制御部をさらに備えた請求項1から3のいずれか1項に記載の領域特定装置。
- 前記表示制御部は、前記物体候補領域が特定された前記入力画像を前記表示部に表示する請求項4に記載の領域特定装置。
- 前記入力画像から畳み込み特徴マップを生成する畳み込み部をさらに備え、
前記第1の識別器は、前記畳み込み特徴マップに基づいて前記物体候補領域を特定する請求項1から5のいずれか1項に記載の領域特定装置。 - 前記物体候補領域に含まれる前記物体候補のカテゴリを特定する第2の識別器をさらに備えた請求項1から6のいずれか1項に記載の領域特定装置。
- 前記畳み込み特徴マップおよび前記物体候補領域に基づいて、前記物体候補のカテゴリを特定する第2の識別器をさらに備えた請求項6に記載の領域特定装置。
- 前記第2の識別器は、前記物体候補領域を修正する請求項7または8に記載の領域特定装置。
- 前記第2の識別器は、前記物体候補領域内における前記物体候補の輪郭を識別する請求項7から9のいずれか1項に記載の領域特定装置。
- 入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の候補である物体候補を特定する識別器を学習する学習装置であって、
性状が既知のサブクラス物体を含む教師画像に前記性状に応じたアンカーを適用し、該適用したアンカーの移動および変形の少なくとも一方を予測して、前記サブクラス物体を前記物体候補として囲む物体候補領域を特定する処理を、複数の前記教師画像を用いて行うことにより、前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、前記入力画像における前記物体候補を囲む物体候補領域を特定するように、前記識別器を学習する学習部を備えた学習装置。 - 入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の候補である物体候補を特定する識別器であって、
性状が既知のサブクラス物体を含む教師画像に前記性状に応じたアンカーを適用し、該適用したアンカーの移動および変形の少なくとも一方を予測して、前記サブクラス物体を前記物体候補として囲む物体候補領域を特定する処理を、複数の前記教師画像を用いて行うことにより、前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、前記入力画像における前記物体候補を囲む物体候補領域を特定するように学習されてなる識別器。 - 入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の領域を特定する領域特定方法であって、
前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、物体候補を囲む物体候補領域を特定するように構成された構成要素を有する第1の識別器が、前記入力画像に含まれる前記物体候補を特定する領域特定方法。 - 入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の候補である物体候補を特定する識別器を学習する学習方法であって、
性状が既知のサブクラス物体を含む教師画像に前記性状に応じたアンカーを適用し、該適用したアンカーの移動および変形の少なくとも一方を予測して、前記サブクラス物体を前記物体候補として囲む物体候補領域を特定する処理を、複数の前記教師画像を用いて行うことにより、前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、前記入力画像における前記物体候補を囲む物体候補領域を特定するように、前記識別器を学習する学習方法。 - 入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の領域を特定する領域特定方法をコンピュータに実行させる領域特定プログラムであって、
前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、物体候補を囲む物体候補領域を特定するように構成された構成要素を有する第1の識別器が、前記入力画像に含まれる前記物体候補を特定する手順をコンピュータに実行させる領域特定プログラム。 - 入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の候補である物体候補を特定する識別器を学習する学習方法をコンピュータに実行させる学習プログラムであって、
性状が既知のサブクラス物体を含む教師画像に前記性状に応じたアンカーを適用し、該適用したアンカーの移動および変形の少なくとも一方を予測して、前記サブクラス物体を前記物体候補として囲む物体候補領域を特定する処理を、複数の前記教師画像を用いて行うことにより、前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、前記入力画像における前記物体候補を囲む物体候補領域を特定するように、前記識別器を学習する手順をコンピュータに実行させる学習プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019036241 | 2019-02-28 | ||
JP2019036241 | 2019-02-28 | ||
PCT/JP2019/044390 WO2020174770A1 (ja) | 2019-02-28 | 2019-11-12 | 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020174770A1 true JPWO2020174770A1 (ja) | 2021-12-23 |
JP7130107B2 JP7130107B2 (ja) | 2022-09-02 |
Family
ID=72238298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021501571A Active JP7130107B2 (ja) | 2019-02-28 | 2019-11-12 | 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210383164A1 (ja) |
EP (1) | EP3933764A4 (ja) |
JP (1) | JP7130107B2 (ja) |
WO (1) | WO2020174770A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024057446A1 (ja) * | 2022-09-14 | 2024-03-21 | 日本電気株式会社 | 映像処理システム、映像処理装置および映像処理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017191501A (ja) * | 2016-04-14 | 2017-10-19 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9858496B2 (en) * | 2016-01-20 | 2018-01-02 | Microsoft Technology Licensing, Llc | Object detection and classification in images |
US20190050994A1 (en) * | 2017-08-10 | 2019-02-14 | Fujitsu Limited | Control method, non-transitory computer-readable storage medium, and control apparatus |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2017015947A1 (en) * | 2015-07-30 | 2017-02-02 | Xiaogang Wang | A system and a method for object tracking |
EP3509696A1 (en) * | 2016-09-06 | 2019-07-17 | Elekta, Inc. | Neural network for generating synthetic medical images |
CN108022238B (zh) * | 2017-08-09 | 2020-07-03 | 深圳科亚医疗科技有限公司 | 对3d图像中对象进行检测的方法、计算机存储介质和系统 |
CN108694401B (zh) * | 2018-05-09 | 2021-01-12 | 北京旷视科技有限公司 | 目标检测方法、装置及系统 |
US10699162B2 (en) * | 2018-07-30 | 2020-06-30 | Mackay Memorial Hospital | Method and system for sorting and identifying medication via its label and/or package |
US11188766B2 (en) * | 2019-02-05 | 2021-11-30 | Honda Motor Co., Ltd. | System and method for providing context aware road-user importance estimation |
-
2019
- 2019-11-12 EP EP19917216.4A patent/EP3933764A4/en active Pending
- 2019-11-12 JP JP2021501571A patent/JP7130107B2/ja active Active
- 2019-11-12 WO PCT/JP2019/044390 patent/WO2020174770A1/ja unknown
-
2021
- 2021-08-19 US US17/407,179 patent/US20210383164A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9858496B2 (en) * | 2016-01-20 | 2018-01-02 | Microsoft Technology Licensing, Llc | Object detection and classification in images |
JP2017191501A (ja) * | 2016-04-14 | 2017-10-19 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US20190050994A1 (en) * | 2017-08-10 | 2019-02-14 | Fujitsu Limited | Control method, non-transitory computer-readable storage medium, and control apparatus |
Non-Patent Citations (2)
Title |
---|
SHAOQING REN, 外3名: ""Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks"", IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, vol. 第39巻, 第6号, JPN6022031145, 1 June 2017 (2017-06-01), pages 1137 - 1149, ISSN: 0004842175 * |
福井宏, 外3名: ""Deep Learningを用いた歩行者検出の研究動向"", 電子情報通信学会技術研究報告, vol. 第116巻, 第366号, JPN6022031144, 8 December 2016 (2016-12-08), JP, pages 37 - 46, ISSN: 0004842174 * |
Also Published As
Publication number | Publication date |
---|---|
WO2020174770A1 (ja) | 2020-09-03 |
EP3933764A1 (en) | 2022-01-05 |
US20210383164A1 (en) | 2021-12-09 |
JP7130107B2 (ja) | 2022-09-02 |
EP3933764A4 (en) | 2022-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11610308B2 (en) | Localization and classification of abnormalities in medical images | |
Zhang et al. | Context-guided fully convolutional networks for joint craniomaxillofacial bone segmentation and landmark digitization | |
EP3391284B1 (en) | Interpretation and quantification of emergency features on head computed tomography | |
JP7118606B2 (ja) | 医用画像処理装置及び医用画像処理プログラム | |
US8369593B2 (en) | Systems and methods for robust learning based annotation of medical radiographs | |
Oghli et al. | Automatic fetal biometry prediction using a novel deep convolutional network architecture | |
US10706534B2 (en) | Method and apparatus for classifying a data point in imaging data | |
JP6824845B2 (ja) | 画像処理システム、装置、方法およびプログラム | |
KR102015224B1 (ko) | 딥러닝 기반의 뇌출혈 및 뇌종양 병변 진단 방법 및 장치 | |
US11276490B2 (en) | Method and apparatus for classification of lesion based on learning data applying one or more augmentation methods in lesion information augmented patch of medical image | |
CN114359277B (zh) | 一种脑卒中患者的脑部图像处理方法及系统 | |
JP4964191B2 (ja) | 画像処理装置および方法ならびにプログラム | |
Jaffar et al. | An ensemble shape gradient features descriptor based nodule detection paradigm: a novel model to augment complex diagnostic decisions assistance | |
JP7130107B2 (ja) | 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器 | |
US20210319210A1 (en) | Region specification apparatus, region specification method, and region specification program | |
US20230368913A1 (en) | Uncertainty Estimation in Medical Imaging | |
US11551354B2 (en) | Interlobar membrane display apparatus, method, and program | |
US20240105315A1 (en) | Medical image diagnostic system, medical image diagnostic system evaluation method, and program | |
US11282193B2 (en) | Systems and methods for tumor characterization | |
CN114463288B (zh) | 脑部医学影像评分方法、装置、计算机设备和存储介质 | |
Sreelekshmi et al. | A Review on Multimodal Medical Image Fusion | |
US20230206477A1 (en) | Image processing method, image processing device, program, and trained model | |
WO2021085057A1 (ja) | 物体検出装置、物体検出方法およびプログラム | |
US20220108451A1 (en) | Learning device, method, and program, medical image processing apparatus, method, and program, and discriminator | |
Bohlouli et al. | Enhancing Breast Cancer Detection from Thermographic Images: A Hybrid Approach Using Transfer Learning and Generative Adversarial Networks |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210812 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210812 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7130107 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |