JP6781417B2 - 患者間脳レジストレーション - Google Patents
患者間脳レジストレーション Download PDFInfo
- Publication number
- JP6781417B2 JP6781417B2 JP2019547070A JP2019547070A JP6781417B2 JP 6781417 B2 JP6781417 B2 JP 6781417B2 JP 2019547070 A JP2019547070 A JP 2019547070A JP 2019547070 A JP2019547070 A JP 2019547070A JP 6781417 B2 JP6781417 B2 JP 6781417B2
- Authority
- JP
- Japan
- Prior art keywords
- registration
- image
- diffeomorphic
- demon
- rigid registration
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 210000002451 diencephalon Anatomy 0.000 title description 23
- 238000000034 method Methods 0.000 claims description 49
- 206010028980 Neoplasm Diseases 0.000 claims description 47
- 210000004556 brain Anatomy 0.000 claims description 35
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 26
- 230000006978 adaptation Effects 0.000 claims description 14
- 230000003287 optical effect Effects 0.000 claims description 14
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 12
- 230000008569 process Effects 0.000 claims description 7
- 238000007670 refining Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 9
- 230000003044 adaptive effect Effects 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 5
- 238000010606 normalization Methods 0.000 description 5
- 230000009466 transformation Effects 0.000 description 4
- 230000005821 brain abnormality Effects 0.000 description 3
- 208000003174 Brain Neoplasms Diseases 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003795 chemical substances by application Substances 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 238000010191 image analysis Methods 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 230000032683 aging Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 201000010099 disease Diseases 0.000 description 1
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 210000004872 soft tissue Anatomy 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30016—Brain
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Quality & Reliability (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Description
速度は、空間勾配に沿って、不一致の強度に比例する。
制御可能な正則化は、以下の通りである。
ここで、αは、正則化の優先度、すなわち、滑らかさ又はデータの一致を制御する。
は、変形(弾性)のガウシアン平滑化である。
この変形を行うため、マッチング誤差(画像強度の差の二乗和(SSD))が、変形場において、下式のように、最小化される。
SSD = Γx(Itarget(x) - Imoving(x))2
SSDadaptive = Γx0tumor(Itarget(x) - Imoving(x))2
すなわち、最小化は、腫瘍であると判定された領域以外の画像に対して行われる。腫瘍は、画像比較(例えば、腫瘍の無い脳画像を目標画像又は被変形画像と比較し、何らかの有意差がある場合、その領域を腫瘍として表示する)、局所極小検出、及び/又は画像において腫瘍を判定するための他の任意の画像処理技術などのいずれかの方法で判定することができる。Imoving画像400は、ここで説明されるように、Itarget画像402に変形される。
1.装置の非一時的メモリにプログラムされる方法であって、前記方法は、
アフィンレジストレーションを行って、被変形画像及び目標画像を、おおよそ同一の座標空間に位置決めするステップであって、前記被変形画像及び前記目標画像は、各々、脳構造を含む、ステップと、
腫瘍適応指標を用いた微分同相デモンズ非剛体レジストレーションを実行して、前記脳構造の境界を精細化するステップと、
を含むことを特徴とする方法。
2.前記アフィンレジストレーションは、点、直線及び平面を保存することによって、画像を位置合わせすることを含むことを特徴とする、第1項に記載の方法。
3.前記微分同相デモンズ非剛体レジストレーションは、ベクトル場及びベクトルの大きさを利用することを特徴とする、第1項に記載の方法。
4.前記微分同相デモンズ非剛体レジストレーションは、オプティカルフローから導出された変形力及び制御可能な正則化を利用することを特徴とする、第1項に記載の方法。
5.前記微分同相デモンズ非剛体レジストレーションは、変形場において、画像強度のマッチング誤差を最小化することを含むことを特徴とする、第1項に記載の方法。
6.前記腫瘍適応指標は、腫瘍領域の誤差の寄与を除外することを特徴とする、第1項に記載の方法。
7.前記微分同相デモンズ非剛体レジストレーションは、レジストレーション時間中、滑らかな変形軌跡を用いることを含むことを特徴とする、第1項に記載の方法。
8.アプリケーションを記憶するための非一時的メモリであって、前記アプリケーションは、
アフィンレジストレーションを行って、被変形画像及び目標画像を、おおよそ同一の座標空間に位置決めするステップであって、前記被変形画像及び前記目標画像は、各々、脳構造を含む、ステップと、
腫瘍適応指標を用いた微分同相デモンズ非剛体レジストレーションを実行して、前記脳構造の境界を精細化するステップと、を行うためのものである、
非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成される処理構成要素と、
を備えることを特徴とする装置。
9.前記アフィンレジストレーションは、点、直線及び平面を保存することによって、画像を位置合わせすることを含むことを特徴とする、第8項に記載の装置。
10.前記微分同相デモンズ非剛体レジストレーションは、ベクトル場及びベクトルの大きさを利用することを特徴とする、第8項に記載の装置。
11.前記微分同相デモンズ非剛体レジストレーションは、オプティカルフローから導出された変形力及び制御可能な正則化を利用することを特徴とする、第8項に記載の装置。
12.前記微分同相デモンズ非剛体レジストレーションは、変形場において、画像強度のマッチング誤差を最小化することを含むことを特徴とする、第8項に記載の装置。
13.前記腫瘍適応指標は、腫瘍領域の誤差の寄与を除外することを特徴とする、第8項に記載の装置。
14.前記微分同相デモンズ非剛体レジストレーションは、レジストレーション時間中、滑らかな変形軌跡を用いることを含むことを特徴とする、第8項に記載の装置。
15.磁気共鳴撮像装置と、
計算装置であって、前記計算装置は、
アフィンレジストレーションを行って、被変形画像及び目標画像を、おおよそ同一の座標空間に位置決めするステップであって、前記被変形画像及び前記目標画像は、各々、脳構造を含む、ステップと、
腫瘍適応指標を用いた微分同相デモンズ非剛体レジストレーションを実行して、前記脳構造の境界を精細化するステップと、を行うように構成される、
計算装置と、
前記メモリに結合され、前記アプリケーションを処理するように構成される処理構成要素と、
を備えることを特徴とするシステム。
16.前記アフィンレジストレーションは、点、直線及び平面を保存することによって、画像を位置合わせすることを含むことを特徴とする、第15項に記載のシステム。
17.前記微分同相デモンズ非剛体レジストレーションは、ベクトル場及びベクトルの大きさを利用することを特徴とする、第15項に記載のシステム。
18.前記微分同相デモンズ非剛体レジストレーションは、オプティカルフローから導出された変形力及び制御可能な正則化を利用することを特徴とする、第15項に記載のシステム。
19.前記微分同相デモンズ非剛体レジストレーションは、変形場において、画像強度のマッチング誤差を最小化することを含むことを特徴とする、第15項に記載のシステム。
20.前記腫瘍適応指標は、腫瘍領域の誤差の寄与を除外することを特徴とする、第15項に記載のシステム。
21.前記微分同相デモンズ非剛体レジストレーションは、レジストレーション時間中、滑らかな変形軌跡を用いることを含むことを特徴とする、第15項に記載のシステム。
102 ステップ
200 セット
202 セット
300 Imoving画像
302 Itarget画像
400 Imoving画像
402 Itarget画像
500 正規SSD指標
502 適応SSD指標
600 Imoving画像
602 Itarget画像
1000 計算装置
1002 ネットワークインタフェース
1004 メモリ
1006 プロセッサ
1008 入出力装置
1010 バス
1012 記憶装置
1020 患者間脳レジストレーション方法のハードウェア
1030 患者間脳レジストレーションアプリケーション
1100 MRI装置
Claims (18)
- 装置の非一時的メモリにプログラムされる方法であって、
アフィンレジストレーションを行って、被変形画像及び目標画像を、おおよそ同一の座標空間に位置決めするステップであって、前記被変形画像及び前記目標画像は、各々、脳構造を含む、ステップと、
腫瘍適応指標を用いた微分同相デモンズ非剛体レジストレーションを実行して、前記脳構造の境界を精細化するステップと、
を含み、
前記微分同相デモンズ非剛体レジストレーションは、オプティカルフローから導出された変形力及び制御可能な正則化を利用するものであり、前記制御可能な正則化は、滑らかさ及びデータの一致のうちの一方を選択することによって前記滑らかさ又はデータの一致に基づいて優先順位付けされ、前記オプティカルフローから導出された変形力は、空間勾配に沿って不一致の強度に比例する速度を用いて計算される
ことを特徴とする方法。 - 前記アフィンレジストレーションは、点、直線及び平面を保存することによって、画像を位置合わせすることを含むことを特徴とする、請求項1に記載の方法。
- 前記微分同相デモンズ非剛体レジストレーションは、ベクトル場及びベクトルの大きさを利用することを特徴とする、請求項1に記載の方法。
- 前記微分同相デモンズ非剛体レジストレーションは、変形場において、画像強度のマッチング誤差を最小化することを含むことを特徴とする、請求項1に記載の方法。
- 前記腫瘍適応指標は、腫瘍領域の誤差の寄与を除外することを特徴とする、請求項1に記載の方法。
- 前記微分同相デモンズ非剛体レジストレーションは、レジストレーション時間中、滑らかな変形軌跡を用いることを含むことを特徴とする、請求項1に記載の方法。
- アプリケーションを記憶するための非一時的メモリであって、
アフィンレジストレーションを行って、被変形画像及び目標画像を、おおよそ同一の座標空間に位置決めするステップであって、前記被変形画像及び前記目標画像は、各々、脳構造を含む、ステップと、
腫瘍適応指標を用いた微分同相デモンズ非剛体レジストレーションを実行して、前記脳構造の境界を精細化するステップと、を行うためのものである、
非一時的メモリと、
前記メモリに結合され、前記アプリケーションを処理するように構成される処理構成要素と、
を備え、
前記微分同相デモンズ非剛体レジストレーションは、オプティカルフローから導出された変形力及び制御可能な正則化を利用するものであり、前記制御可能な正則化は、滑らかさ及びデータの一致のうちの一方を選択することによって前記滑らかさ又はデータの一致に基づいて優先順位付けされ、前記オプティカルフローから導出された変形力は、空間勾配に沿って不一致の強度に比例する速度を用いて計算される
ことを特徴とする装置。 - 前記アフィンレジストレーションは、点、直線及び平面を保存することによって、画像を位置合わせすることを含むことを特徴とする、請求項7に記載の装置。
- 前記微分同相デモンズ非剛体レジストレーションは、ベクトル場及びベクトルの大きさを利用することを特徴とする、請求項7に記載の装置。
- 前記微分同相デモンズ非剛体レジストレーションは、変形場において、画像強度のマッチング誤差を最小化することを含むことを特徴とする、請求項7に記載の装置。
- 前記腫瘍適応指標は、腫瘍領域の誤差の寄与を除外することを特徴とする、請求項7に記載の装置。
- 前記微分同相デモンズ非剛体レジストレーションは、レジストレーション時間中、滑らかな変形軌跡を用いることを含むことを特徴とする、請求項7に記載の装置。
- 磁気共鳴撮像装置と、
計算装置であって、
アフィンレジストレーションを行って、被変形画像及び目標画像を、おおよそ同一の座標空間に位置決めするステップであって、前記被変形画像及び前記目標画像は、各々、脳構造を含む、ステップと、
腫瘍適応指標を用いた微分同相デモンズ非剛体レジストレーションを実行して、前記脳構造の境界を精細化するステップと、を行うように構成される、
計算装置と、
前記メモリに結合され、前記アプリケーションを処理するように構成される処理構成要素と、
を備え、
前記微分同相デモンズ非剛体レジストレーションは、オプティカルフローから導出された変形力及び制御可能な正則化を利用するものであり、前記制御可能な正則化は、滑らかさ及びデータの一致のうちの一方を選択することによって前記滑らかさ又はデータの一致に基づいて優先順位付けされ、前記オプティカルフローから導出された変形力は、空間勾配に沿って不一致の強度に比例する速度を用いて計算される
ことを特徴とするシステム。 - 前記アフィンレジストレーションは、点、直線及び平面を保存することによって、画像を位置合わせすることを含むことを特徴とする、請求項13に記載のシステム。
- 前記微分同相デモンズ非剛体レジストレーションは、ベクトル場及びベクトルの大きさを利用することを特徴とする、請求項13に記載のシステム。
- 前記微分同相デモンズ非剛体レジストレーションは、変形場において、画像強度のマッチング誤差を最小化することを含むことを特徴とする、請求項13に記載のシステム。
- 前記腫瘍適応指標は、腫瘍領域の誤差の寄与を除外することを特徴とする、請求項13に記載のシステム。
- 前記微分同相デモンズ非剛体レジストレーションは、レジストレーション時間中、滑らかな変形軌跡を用いることを含むことを特徴とする、請求項13に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/353,679 | 2016-11-16 | ||
US15/353,679 US10176570B2 (en) | 2016-11-16 | 2016-11-16 | Inter-patient brain registration |
PCT/US2017/046974 WO2018093430A1 (en) | 2016-11-16 | 2017-08-15 | Inter-patient brain registration |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019535472A JP2019535472A (ja) | 2019-12-12 |
JP6781417B2 true JP6781417B2 (ja) | 2020-11-04 |
Family
ID=59791128
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019547070A Active JP6781417B2 (ja) | 2016-11-16 | 2017-08-15 | 患者間脳レジストレーション |
Country Status (6)
Country | Link |
---|---|
US (1) | US10176570B2 (ja) |
EP (1) | EP3526769A1 (ja) |
JP (1) | JP6781417B2 (ja) |
KR (1) | KR102227713B1 (ja) |
CN (1) | CN109952597B (ja) |
WO (1) | WO2018093430A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102019107952B4 (de) * | 2019-03-27 | 2023-08-10 | Volume Graphics Gmbh | Computer-implementiertes Verfahren zur Analyse von Messdaten eines Objekts |
CN112419377B (zh) * | 2020-11-20 | 2021-10-08 | 推想医疗科技股份有限公司 | 配准图像确定方法及配准图像确定装置 |
CN115005802B (zh) * | 2022-07-21 | 2023-04-28 | 首都医科大学宣武医院 | 脑网络疾病发作起始部位定位方法、系统及装置 |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001022352A1 (en) * | 1999-09-22 | 2001-03-29 | Miller Michael I | Method and apparatus for image registration using large deformation diffeomorphisms on a sphere |
US8571278B2 (en) | 2005-06-24 | 2013-10-29 | The University Of Iowa Research Foundation | System and methods for multi-object multi-surface segmentation |
US7876938B2 (en) | 2005-10-06 | 2011-01-25 | Siemens Medical Solutions Usa, Inc. | System and method for whole body landmark detection, segmentation and change quantification in digital images |
US20070116381A1 (en) * | 2005-10-19 | 2007-05-24 | Ali Khamene | Method for deformable registration of images |
EP2081494B1 (en) | 2006-11-16 | 2018-07-11 | Vanderbilt University | System and method of compensating for organ deformation |
EP2369551B1 (en) | 2010-03-25 | 2019-10-30 | Emory University | Imaging system and method |
US9129382B2 (en) | 2010-06-25 | 2015-09-08 | Institute Of Automation, Chinese Academy Of Sciences | Method and system for brain tumor segmentation in multi-parameter 3D MR images via robust statistic information propagation |
CN103098090B (zh) | 2011-12-21 | 2015-01-21 | 中国科学院自动化研究所 | 多参数三维磁共振图像脑肿瘤分割方法 |
CN102722890B (zh) * | 2012-06-07 | 2014-09-10 | 内蒙古科技大学 | 基于光流场模型的非刚性心脏图像分级配准方法 |
CN103854276B (zh) * | 2012-12-04 | 2018-02-09 | 东芝医疗系统株式会社 | 图像配准及分割装置和方法,以及医学图像设备 |
US9747421B2 (en) | 2014-02-10 | 2017-08-29 | Picofemto LLC | Multi-factor brain analysis via medical imaging decision support systems and methods |
CN104091337B (zh) * | 2014-07-11 | 2017-07-14 | 北京工业大学 | 一种基于PCA及微分同胚Demons的变形医学图像配准方法 |
-
2016
- 2016-11-16 US US15/353,679 patent/US10176570B2/en active Active
-
2017
- 2017-08-15 CN CN201780070638.4A patent/CN109952597B/zh active Active
- 2017-08-15 KR KR1020197013242A patent/KR102227713B1/ko active IP Right Grant
- 2017-08-15 WO PCT/US2017/046974 patent/WO2018093430A1/en unknown
- 2017-08-15 JP JP2019547070A patent/JP6781417B2/ja active Active
- 2017-08-15 EP EP17761952.5A patent/EP3526769A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
KR102227713B1 (ko) | 2021-03-15 |
WO2018093430A1 (en) | 2018-05-24 |
CN109952597B (zh) | 2023-03-31 |
EP3526769A1 (en) | 2019-08-21 |
JP2019535472A (ja) | 2019-12-12 |
CN109952597A (zh) | 2019-06-28 |
US10176570B2 (en) | 2019-01-08 |
US20180137617A1 (en) | 2018-05-17 |
KR20190057396A (ko) | 2019-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10846853B2 (en) | Medical image processing apparatus, medical image processing method, and medical image processing program | |
US10614599B2 (en) | Anatomy segmentation through low-resolution multi-atlas label fusion and corrective learning | |
JP7350878B2 (ja) | 画像解析方法、装置、プログラム | |
JP6819898B2 (ja) | 自動3d脳腫瘍セグメンテーション及び分類 | |
US10424067B2 (en) | Image processing apparatus, image processing method and storage medium | |
JP6781417B2 (ja) | 患者間脳レジストレーション | |
JP2009520558A (ja) | ポイント・ベースの適応的弾性画像登録 | |
JP2002269559A (ja) | 画像のテンプレートマッチング方法及び画像処理装置 | |
US20180253861A1 (en) | Information processing apparatus, method and non-transitory computer-readable storage medium | |
JP2005321902A (ja) | 画像処理装置および方法、記録媒体、並びにプログラム | |
CN104508703B (zh) | 用于配准图像序列的系统和方法 | |
EP2624009B1 (en) | Method and apparatus for obtaining symmetry information of objects | |
US20160275357A1 (en) | Method and system for tracking a region in a video image | |
JP6824845B2 (ja) | 画像処理システム、装置、方法およびプログラム | |
JP2014174174A (ja) | 医用画像処理装置、医用画像診断装置及び画像処理方法 | |
CN107274450A (zh) | 信息处理装置及其控制方法 | |
JP2013037539A (ja) | 画像特徴量抽出装置およびそのプログラム | |
US11847786B2 (en) | Motion learning without labels | |
CN110197100B (zh) | 物体定位方法和装置 | |
US9792533B2 (en) | Processing apparatus, processing method, and program for determining an image taking position | |
US20210248769A1 (en) | Array-based depth estimation | |
Yanli et al. | A robust and accurate non-rigid medical image registration algorithm based on multi-level deformable model | |
Chen et al. | Automatic fiducial localization in brain images | |
Gadermayr et al. | Feature extraction with intrinsic distortion correction in celiac disease imagery: no need for rasterization | |
KR101627974B1 (ko) | 영상 블러에 강인한 영상 특징 기술자 생성 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200415 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200612 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200916 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200929 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6781417 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |