JP7130107B2 - 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器 - Google Patents
領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器 Download PDFInfo
- Publication number
- JP7130107B2 JP7130107B2 JP2021501571A JP2021501571A JP7130107B2 JP 7130107 B2 JP7130107 B2 JP 7130107B2 JP 2021501571 A JP2021501571 A JP 2021501571A JP 2021501571 A JP2021501571 A JP 2021501571A JP 7130107 B2 JP7130107 B2 JP 7130107B2
- Authority
- JP
- Japan
- Prior art keywords
- object candidate
- input image
- subclass
- anchors
- properties
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
- G06T7/0016—Biomedical image inspection using an image reference approach involving temporal comparison
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
- G06F18/2132—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods based on discrimination criteria, e.g. discriminant analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/20—Image preprocessing
- G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
- G06N20/10—Machine learning using kernel methods, e.g. support vector machines [SVM]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30061—Lung
- G06T2207/30064—Lung nodule
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Evolutionary Computation (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Software Systems (AREA)
- Computing Systems (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- General Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Computational Linguistics (AREA)
- Molecular Biology (AREA)
- Mathematical Physics (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Databases & Information Systems (AREA)
- Quality & Reliability (AREA)
- Radiology & Medical Imaging (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Image Analysis (AREA)
- Apparatus For Radiation Diagnosis (AREA)
Description
入力画像に含まれる物体候補を特定する第1の識別器を備え、
第1の識別器は、サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、物体候補を囲む物体候補領域を特定するように構成された構成要素を有する。
第1の識別器は、畳み込み特徴マップに基づいて物体候補領域を特定するものであってもよい。
性状が既知のサブクラス物体を含む教師画像に性状に応じたアンカーを適用し、適用したアンカーの移動および変形の少なくとも一方を予測して、サブクラス物体を物体候補として囲む物体候補領域を特定する処理を、複数の教師画像を用いて行うことにより、サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、入力画像における物体候補を囲む物体候補領域を特定するように、識別器を学習する学習部を備える。
性状が既知のサブクラス物体を含む教師画像に性状に応じたアンカーを適用し、適用したアンカーの移動および変形の少なくとも一方を予測して、サブクラス物体を物体候補として囲む物体候補領域を特定する処理を、複数の教師画像を用いて行うことにより、サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、入力画像における物体候補を囲む物体候補領域を特定するように学習されてなる。
サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、物体候補を囲む物体候補領域を特定するように構成された構成要素を有する第1の識別器が、入力画像に含まれる物体候補を特定する。
性状が既知のサブクラス物体を含む教師画像に性状に応じたアンカーを適用し、適用したアンカーの移動および変形の少なくとも一方を予測して、サブクラス物体を物体候補として囲む物体候補領域を特定する処理を、複数の教師画像を用いて行うことにより、サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、入力画像における物体候補を囲む物体候補領域を特定するように、識別器を学習する。
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、物体候補を囲む物体候補領域を特定するように構成された構成要素を有する第1の識別器として機能して、入力画像に含まれる物体候補を特定する処理を実行する。
記憶された命令を実行するよう構成されたプロセッサとを備え、プロセッサは、
性状が既知のサブクラス物体を含む教師画像に性状に応じたアンカーを適用し、適用したアンカーの移動および変形の少なくとも一方を予測して、サブクラス物体を物体候補として囲む物体候補領域を特定する処理を、複数の教師画像を用いて行うことにより、サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、入力画像における物体候補を囲む物体候補領域を特定するように、識別器を学習する処理を実行する。
2 3次元画像撮影装置
3 画像保管サーバ
4 ネットワーク
11 CPU
12 メモリ
13 ストレージ
14 表示部
15 入力部
21 画像取得部
22 物体特定部
23 表示制御部
30 畳み込みニューラルネットワーク
40 第1の識別器
41 RPN
42 スライディングウィンドウ
42A 中心画素
43 アンカー
43A,43A-1,43A-2,43A-3,43A-4,43A-5 すりガラス状の肺結節用のアンカー
43B,43B-1,43B-2,43B-3,43B-4,43B-5 充実状の肺結節用のアンカー
44 中間層
45 分類層
46 回帰層
50 第2の識別器
60 病変
61 結果画面
62 アンカー表示領域
63 矩形
64 カテゴリ表示領域
71,72,73,74,75.76 正解ボックス
Gt 対象画素位置
Rt 対応画素領域
M0 畳み込み特徴マップ
M1 教師畳み込み特徴マップ
S0 入力画像
S1 教師入力画像
P0 物体候補領域
Claims (16)
- 入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の領域を特定する領域特定装置であって、
前記入力画像に含まれる物体候補を特定する第1の識別器を備え、
前記第1の識別器は、前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、前記物体候補を囲む物体候補領域を特定するように構成された構成要素を有する領域特定装置。 - 前記第1の識別器は、前記サブクラス物体の性状に応じて、各種形状および各種大きさを有する複数のアンカーから、前記物体候補を含む正解ボックスとの形状および大きさの類似度に基づいてアンカーを選択し、選択されたアンカーの移動および変形の少なくとも一方を予測して、前記物体候補を囲む物体候補領域を特定する請求項1に記載の領域特定装置。
- 前記第1の識別器は、前記物体候補を含む正解ボックスとの形状および大きさの類似度に基づいてアンカーを選択する請求項2に記載の領域特定装置。
- 前記特定された物体候補領域のサブクラスを表示部に表示する表示制御部をさらに備えた請求項1から3のいずれか1項に記載の領域特定装置。
- 前記表示制御部は、前記物体候補領域が特定された前記入力画像を前記表示部に表示する請求項4に記載の領域特定装置。
- 前記入力画像から畳み込み特徴マップを生成する畳み込み部をさらに備え、
前記第1の識別器は、前記畳み込み特徴マップに基づいて前記物体候補領域を特定する請求項1から5のいずれか1項に記載の領域特定装置。 - 前記物体候補領域に含まれる前記物体候補のカテゴリを特定する第2の識別器をさらに備えた請求項1から6のいずれか1項に記載の領域特定装置。
- 前記畳み込み特徴マップおよび前記物体候補領域に基づいて、前記物体候補のカテゴリを特定する第2の識別器をさらに備えた請求項6に記載の領域特定装置。
- 前記第2の識別器は、前記物体候補領域を修正する請求項7または8に記載の領域特定装置。
- 前記第2の識別器は、前記物体候補領域内における前記物体候補の輪郭を識別する請求項7から9のいずれか1項に記載の領域特定装置。
- 入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の候補である物体候補を特定する識別器を学習する学習装置であって、
性状が既知のサブクラス物体を含む教師画像に前記性状に応じたアンカーを適用し、該適用したアンカーの移動および変形の少なくとも一方を予測して、前記サブクラス物体を前記物体候補として囲む物体候補領域を特定する処理を、複数の前記教師画像を用いて行うことにより、前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、前記入力画像における前記物体候補を囲む物体候補領域を特定するように、前記識別器を学習する学習部を備えた学習装置。 - 入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の候補である物体候補を特定する識別器であって、
性状が既知のサブクラス物体を含む教師画像に前記性状に応じたアンカーを適用し、該適用したアンカーの移動および変形の少なくとも一方を予測して、前記サブクラス物体を前記物体候補として囲む物体候補領域を特定する処理を、複数の前記教師画像を用いて行うことにより、前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、前記入力画像における前記物体候補を囲む物体候補領域を特定するように学習されてなる識別器。 - 入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の領域を特定する領域特定方法であって、
前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、物体候補を囲む物体候補領域を特定するように構成された構成要素を有する第1の識別器が、前記入力画像に含まれる前記物体候補を特定する領域特定方法。 - 入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の候補である物体候補を特定する識別器を学習する学習方法であって、
性状が既知のサブクラス物体を含む教師画像に前記性状に応じたアンカーを適用し、該適用したアンカーの移動および変形の少なくとも一方を予測して、前記サブクラス物体を前記物体候補として囲む物体候補領域を特定する処理を、複数の前記教師画像を用いて行うことにより、前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、前記入力画像における前記物体候補を囲む物体候補領域を特定するように、前記識別器を学習する学習方法。 - 入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の領域を特定する領域特定方法をコンピュータに実行させる領域特定プログラムであって、
前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、物体候補を囲む物体候補領域を特定するように構成された構成要素を有する第1の識別器が、前記入力画像に含まれる前記物体候補を特定する手順をコンピュータに実行させる領域特定プログラム。 - 入力画像に含まれる、性状が異なる複数のサブクラス物体を含む物体の候補である物体候補を特定する識別器を学習する学習方法をコンピュータに実行させる学習プログラムであって、
性状が既知のサブクラス物体を含む教師画像に前記性状に応じたアンカーを適用し、該適用したアンカーの移動および変形の少なくとも一方を予測して、前記サブクラス物体を前記物体候補として囲む物体候補領域を特定する処理を、複数の前記教師画像を用いて行うことにより、前記サブクラス物体の性状に応じた複数のアンカーの移動および変形の少なくとも一方を予測して、前記入力画像における前記物体候補を囲む物体候補領域を特定するように、前記識別器を学習する手順をコンピュータに実行させる学習プログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019036241 | 2019-02-28 | ||
JP2019036241 | 2019-02-28 | ||
PCT/JP2019/044390 WO2020174770A1 (ja) | 2019-02-28 | 2019-11-12 | 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2020174770A1 JPWO2020174770A1 (ja) | 2021-12-23 |
JP7130107B2 true JP7130107B2 (ja) | 2022-09-02 |
Family
ID=72238298
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021501571A Active JP7130107B2 (ja) | 2019-02-28 | 2019-11-12 | 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20210383164A1 (ja) |
EP (1) | EP3933764A4 (ja) |
JP (1) | JP7130107B2 (ja) |
WO (1) | WO2020174770A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2024057446A1 (ja) * | 2022-09-14 | 2024-03-21 | 日本電気株式会社 | 映像処理システム、映像処理装置および映像処理方法 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017191501A (ja) | 2016-04-14 | 2017-10-19 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US9858496B2 (en) | 2016-01-20 | 2018-01-02 | Microsoft Technology Licensing, Llc | Object detection and classification in images |
US20190050994A1 (en) | 2017-08-10 | 2019-02-14 | Fujitsu Limited | Control method, non-transitory computer-readable storage medium, and control apparatus |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9940709B2 (en) * | 2013-10-12 | 2018-04-10 | H. Lee Moffitt Cancer Center And Research Institute, Inc. | Systems and methods for diagnosing tumors in a subject by performing a quantitative analysis of texture-based features of a tumor object in a radiological image |
WO2017015947A1 (en) * | 2015-07-30 | 2017-02-02 | Xiaogang Wang | A system and a method for object tracking |
KR102592076B1 (ko) * | 2015-12-14 | 2023-10-19 | 삼성전자주식회사 | 딥러닝 기반 영상 처리 장치 및 방법, 학습 장치 |
US10867417B2 (en) * | 2016-09-06 | 2020-12-15 | Elekta, Inc. | Neural network for generating synthetic medical images |
CN108022238B (zh) * | 2017-08-09 | 2020-07-03 | 深圳科亚医疗科技有限公司 | 对3d图像中对象进行检测的方法、计算机存储介质和系统 |
CN108694401B (zh) * | 2018-05-09 | 2021-01-12 | 北京旷视科技有限公司 | 目标检测方法、装置及系统 |
US10699162B2 (en) * | 2018-07-30 | 2020-06-30 | Mackay Memorial Hospital | Method and system for sorting and identifying medication via its label and/or package |
US11188766B2 (en) * | 2019-02-05 | 2021-11-30 | Honda Motor Co., Ltd. | System and method for providing context aware road-user importance estimation |
-
2019
- 2019-11-12 EP EP19917216.4A patent/EP3933764A4/en active Pending
- 2019-11-12 WO PCT/JP2019/044390 patent/WO2020174770A1/ja unknown
- 2019-11-12 JP JP2021501571A patent/JP7130107B2/ja active Active
-
2021
- 2021-08-19 US US17/407,179 patent/US20210383164A1/en active Pending
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9858496B2 (en) | 2016-01-20 | 2018-01-02 | Microsoft Technology Licensing, Llc | Object detection and classification in images |
JP2017191501A (ja) | 2016-04-14 | 2017-10-19 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
US20190050994A1 (en) | 2017-08-10 | 2019-02-14 | Fujitsu Limited | Control method, non-transitory computer-readable storage medium, and control apparatus |
Non-Patent Citations (2)
Title |
---|
Shaoqing Ren, 外3名,"Faster R-CNN:Towards Real-Time Object Detection with Region Proposal Networks",IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE,2017年06月01日,第39巻, 第6号,p.1137-1149 |
福井宏, 外3名,"Deep Learningを用いた歩行者検出の研究動向",電子情報通信学会技術研究報告,日本,一般社団法人電子情報通信学会,2016年12月08日,第116巻, 第366号,p.37-46 |
Also Published As
Publication number | Publication date |
---|---|
WO2020174770A1 (ja) | 2020-09-03 |
US20210383164A1 (en) | 2021-12-09 |
JPWO2020174770A1 (ja) | 2021-12-23 |
EP3933764A1 (en) | 2022-01-05 |
EP3933764A4 (en) | 2022-04-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7143008B2 (ja) | 深層学習に基づく医用画像検出方法及び装置、電子機器及びコンピュータプログラム | |
Zhang et al. | Context-guided fully convolutional networks for joint craniomaxillofacial bone segmentation and landmark digitization | |
US11610308B2 (en) | Localization and classification of abnormalities in medical images | |
US11810296B2 (en) | Interpretation and quantification of emergency features on head computed tomography | |
CN110930367B (zh) | 多模态超声影像分类方法以及乳腺癌诊断装置 | |
US20190122073A1 (en) | System and method for quantifying uncertainty in reasoning about 2d and 3d spatial features with a computer machine learning architecture | |
US10734107B2 (en) | Image search device, image search method, and image search program | |
Oghli et al. | Automatic fetal biometry prediction using a novel deep convolutional network architecture | |
JP2018011958A (ja) | 医用画像処理装置及び医用画像処理プログラム | |
US10706534B2 (en) | Method and apparatus for classifying a data point in imaging data | |
Irene et al. | Segmentation and approximation of blood volume in intracranial hemorrhage patients based on computed tomography scan images using deep learning method | |
Dogra et al. | Glioma classification of MR brain tumor employing machine learning | |
WO2019102917A1 (ja) | 読影医決定装置、方法およびプログラム | |
JP7130107B2 (ja) | 領域特定装置、方法およびプログラム、学習装置、方法およびプログラム、並びに識別器 | |
KR102431173B1 (ko) | 진단 영상에서 심층신경망을 이용한 국소종양진행을 진단하기 위한 장치 및 국소종양진행 진단에 필요한 정보를 제공하는 방법 | |
US20210319210A1 (en) | Region specification apparatus, region specification method, and region specification program | |
Giv et al. | Lung segmentation using active shape model to detect the disease from chest radiography | |
US11282193B2 (en) | Systems and methods for tumor characterization | |
US11657909B2 (en) | Medical image processing apparatus and medical image processing method | |
US20240105315A1 (en) | Medical image diagnostic system, medical image diagnostic system evaluation method, and program | |
US20220114393A1 (en) | Learning apparatus, learning method, and learning program, class classification apparatus, class classification method, and class classification program, and learned model | |
WO2021085057A1 (ja) | 物体検出装置、物体検出方法およびプログラム | |
US20240037738A1 (en) | Image processing apparatus, image processing method, and image processing program | |
US20220108451A1 (en) | Learning device, method, and program, medical image processing apparatus, method, and program, and discriminator | |
Kim et al. | A fully automated landmark detection for spine surgery planning with a cascaded convolutional neural net |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210812 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210812 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220802 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220823 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7130107 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |