JP6207534B2 - マルチモダリティ・デフォーマブルレジストレーション - Google Patents
マルチモダリティ・デフォーマブルレジストレーション Download PDFInfo
- Publication number
- JP6207534B2 JP6207534B2 JP2014561571A JP2014561571A JP6207534B2 JP 6207534 B2 JP6207534 B2 JP 6207534B2 JP 2014561571 A JP2014561571 A JP 2014561571A JP 2014561571 A JP2014561571 A JP 2014561571A JP 6207534 B2 JP6207534 B2 JP 6207534B2
- Authority
- JP
- Japan
- Prior art keywords
- deformation
- imaging
- image
- modality
- average
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 108
- 238000000034 method Methods 0.000 claims description 46
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 36
- 239000013598 vector Substances 0.000 claims description 36
- 210000002307 prostate Anatomy 0.000 claims description 25
- 238000002604 ultrasonography Methods 0.000 claims description 21
- 230000009466 transformation Effects 0.000 claims description 13
- 239000011159 matrix material Substances 0.000 claims description 10
- 239000000523 sample Substances 0.000 claims description 9
- 238000004590 computer program Methods 0.000 claims description 8
- 238000000513 principal component analysis Methods 0.000 claims description 8
- 238000012285 ultrasound imaging Methods 0.000 claims description 7
- 238000001574 biopsy Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 238000006073 displacement reaction Methods 0.000 description 5
- 230000004927 fusion Effects 0.000 description 4
- 238000002591 computed tomography Methods 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 238000002725 brachytherapy Methods 0.000 description 2
- 238000002059 diagnostic imaging Methods 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 210000000664 rectum Anatomy 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000013152 interventional procedure Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000007500 overflow downdraw method Methods 0.000 description 1
- 238000001959 radiotherapy Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000003708 urethra Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10132—Ultrasound image
- G06T2207/10136—3D ultrasound image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30081—Prostate
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Ultra Sonic Daignosis Equipment (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Image Processing (AREA)
Description
Chowdhury,Najeeb他の“Linked statistical shape models for multi-modal segmentation:application to prostate CT-ME segmentation in radiotherapy planning”、Medical Imaging 2011:Computer-aided Diagnosis、SPIE、1000 20 th St.、Bellingham WA 98225-6705 USA、第7963巻、第1号、2011年3月3日、pp.1-15、XP060008531、DOI:10.1117/12.878416は、マルチモダリティレジストレーション用の薄板スプライン(TPS)を用いて、異なるモダリティからの画像を互いにレジストレーションする方法を提示している。
Claims (15)
- マルチモダリティ・デフォーマブル画像レジストレーションを提供するシステムの作動方法であって、前記システムは、少なくとも1つのプロセッサを有し、当該方法は、
前記プロセッサが、複数の被検体に対して高精細撮像モダリティを用いて異なる変形状態で収集された関心身体構造の変形モデルを生成するステップと、
前記プロセッサが、前記モデルから前記関心身体構造に関して平均変形と複数の変形モードベクトルとを計算するステップと、
前記プロセッサが、同じ被検体についての前記高精細撮像モダリティからの画像と別の撮像モダリティからの画像との間で、ランドマーク点のレジストレーションを実行して、これらの画像からのランドマークに関する変形場変換行列を計算するステップと、
前記プロセッサが、前記平均変形及び前記変形モードベクトルとともに前記ランドマークの位置の変形場の値を用いて、各変形モードベクトルの重みを決定するステップと、
前記プロセッサが、重み付けられた変形モードベクトルの線形結合と前記平均変形の場とを足し合わせて、異なる撮像モード間の変形場を決定するステップと、
を有する方法。 - 前記平均変形及び前記複数の変形モードベクトルは、
各被検体について、画像を共通基準フレームに対して空間的にアライメントし、
前記異なる変形状態からの各被検体の撮像データを、画像類似度メトリック及び非線形変換技術を用いてワーピングし、且つ
主成分分析を実行して前記平均変形及び前記複数の変形モードベクトルを決定する
ことによって計算される、請求項1に記載の方法。 - 前記平均変形及び前記複数の変形モードベクトルは、
各被検体について、一組のランドマークの位置を測定し、
全ての前記ランドマーク間で点ベースの非線形レジストレーションを実行し、且つ
前記ランドマークに関する変形モデルを生成する
ことによって計算される、請求項1に記載の方法。 - 前記別の撮像モダリティからの画像は、前記平均変形と前記複数の変形モードベクトルとを計算するために使用された前記変形状態の何れからも異なる変形状態でのものである、請求項1に記載の方法。
- 前記別の撮像モダリティはリアルタイム撮像モダリティである、請求項1に記載の方法。
- 前記別の撮像モダリティは経直腸超音波撮像(TRUS)である、請求項1に記載の方法。
- 前記身体構造は前立腺である、請求項6に記載の方法。
- マルチモダリティ・デフォーマブル画像レジストレーションを提供するシステムであって、
少なくとも1つのプロセッサと、
前記プロセッサに動作的に接続される少なくとも1つのメモリと、
前記少なくとも1つのメモリに格納されて前記少なくとも1つのプロセッサによって実行される少なくとも1つのプログラムの命令と
を有し、
前記プロセッサは、
複数の被検体についての異なる変形状態での同じ高精細撮像モダリティからの画像から、身体構造に関する平均変形と複数の変形モードベクトルとを計算し、
同じ被検体についての前記高精細撮像モダリティからの画像と別の撮像モダリティからの画像との間で、ランドマーク点のレジストレーションを実行して、これらの画像からのランドマークに関する変形場変換行列を計算し、
前記平均変形及び前記変形モードベクトルとともに前記ランドマークの位置の変形場の値を用いて、各変形モードベクトルの重みを決定し、且つ
重み付けられた変形モードベクトルの線形結合と前記平均変形の場とを足し合わせて、前記画像内の全ての点についての異なる撮像モード間の変形場を決定する
ように構成されている、
システム。 - 前記別の撮像モダリティを用いるリアルタイム撮像システム、を更に有する請求項8に記載のシステム。
- 前記リアルタイム撮像システムは、超音波撮像システムであり、且つ、撮像データを生成するよう前記少なくとも1つのプロセッサに動作的に接続される経直腸超音波プローブを更に有する、請求項9に記載のシステム。
- 高精細画像を生成するよう前記少なくとも1つのプロセッサと動作的に接続される高精細撮像システム、を更に有する請求項8に記載のシステム。
- 前記高精細撮像システムは、磁気共鳴撮像装置に動作的に接続される磁気共鳴撮像システムである、請求項11に記載のシステム。
- 前記高精細撮像システムの撮像を向上させるように被検体内に配置される直腸コイル、を更に有する請求項12に記載のシステム。
- 前記平均変形及び前記複数の変形モードベクトルは、
各被検体について、画像を共通基準フレームに対して空間的にアライメントし、
前記異なる変形状態からの各被検体の撮像データを、画像類似度メトリック及び非線形変換技術を用いてワーピングし、且つ
主成分分析を実行して前記平均変形及び前記複数の変形モードベクトルを決定する
ことによって計算される、請求項8に記載のシステム。 - マルチモダリティ・デフォーマブル画像レジストレーションを提供するためのコンピュータプログラムであって、
複数の被検体についての異なる変形状態での同じ高精細撮像モダリティからの画像から、身体構造に関する平均変形と複数の変形モードベクトルとを計算するためのプログラム命令と、
同じ被検体についての前記高精細撮像モダリティからの画像と別の撮像モダリティからの画像との間で、ランドマーク点のレジストレーションを実行して、これらの画像からのランドマークに関する変形場変換行列を計算するためのプログラム命令と、
前記平均変形及び前記変形モードベクトルとともに前記ランドマークの位置の変形場の値を用いて、各変形モードベクトルの重みを決定するためのプログラム命令と、
重み付けられた変形モードベクトルの線形結合と前記平均変形の場とを足し合わせて、前記画像内の全ての点についての異なる撮像モード間の変形場を決定するためのプログラム命令と
を有する、
コンピュータプログラム。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201261611071P | 2012-03-15 | 2012-03-15 | |
US61/611,071 | 2012-03-15 | ||
US201261679218P | 2012-08-03 | 2012-08-03 | |
US61/679,218 | 2012-08-03 | ||
PCT/IB2013/051991 WO2013136278A1 (en) | 2012-03-15 | 2013-03-13 | Multi-modality deformable registration |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015515297A JP2015515297A (ja) | 2015-05-28 |
JP6207534B2 true JP6207534B2 (ja) | 2017-10-04 |
Family
ID=48468679
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014561571A Active JP6207534B2 (ja) | 2012-03-15 | 2013-03-13 | マルチモダリティ・デフォーマブルレジストレーション |
Country Status (6)
Country | Link |
---|---|
US (1) | US9240032B2 (ja) |
EP (1) | EP2826019B1 (ja) |
JP (1) | JP6207534B2 (ja) |
CN (1) | CN104169969B (ja) |
RU (1) | RU2014141502A (ja) |
WO (1) | WO2013136278A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10929706B2 (en) | 2018-03-19 | 2021-02-23 | Ricoh Company, Ltd. | Image processing device and projection system |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9401051B2 (en) * | 2010-06-23 | 2016-07-26 | Varian Medical Systems International Ag | Mechanism for dynamically propagating real-time alterations of medical images |
KR102114415B1 (ko) * | 2013-01-29 | 2020-05-22 | 삼성전자주식회사 | 의료 영상 정합 방법 및 장치 |
CA2918295A1 (en) * | 2013-07-15 | 2015-01-22 | Tel Hashomer Medical Research, Infrastructure And Services Ltd. | Mri image fusion methods and uses thereof |
CN104515961B (zh) * | 2013-09-30 | 2018-02-13 | 西门子(深圳)磁共振有限公司 | 磁共振成像方法和装置 |
JP2016536035A (ja) * | 2013-09-30 | 2016-11-24 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 変形可能レジストレーションのためのシステム及びモジュラーネットワーク |
US10304219B2 (en) | 2014-06-13 | 2019-05-28 | Siemens Medical Solutions Usa, Inc. | Intra reconstruction motion correction |
US10729410B2 (en) | 2014-06-18 | 2020-08-04 | Koninklijke Philips N.V. | Feature-based calibration of ultrasound imaging systems |
GB2529139B (en) * | 2014-07-08 | 2017-08-02 | Siemens Medical Solutions Usa Inc | Methods and systems for feature-based registration of patient medical images |
JP6697438B2 (ja) * | 2014-07-15 | 2020-05-20 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 個別化テンプレート画像による定位正則化を含むイメージングデータ統計的検定 |
GB201416416D0 (en) * | 2014-09-17 | 2014-10-29 | Biomediq As | Bias correction in images |
DE102014219915B3 (de) * | 2014-10-01 | 2015-11-12 | Siemens Aktiengesellschaft | Verfahren zur Kompensation von durch eine zyklische Bewegung eines Patienten auftretenden Ortszuordnungsfehlern von PET-Daten und Bildaufnahmesystem |
WO2016097910A1 (en) * | 2014-12-15 | 2016-06-23 | Koninklijke Philips N.V. | Quality control of image registration |
JP6682243B2 (ja) * | 2015-01-09 | 2020-04-15 | キヤノンメディカルシステムズ株式会社 | 医用画像診断装置、画像処理装置及び画像処理方法 |
JP7041052B6 (ja) * | 2015-09-09 | 2022-05-30 | コーニンクレッカ フィリップス エヌ ヴェ | 反復介入手順を計画及び実行するシステム並びに方法 |
CA3017697C (en) * | 2016-03-17 | 2021-01-26 | Imagia Cybernetics Inc. | Method and system for processing a task with robustness to missing input information |
US10402969B2 (en) * | 2017-03-10 | 2019-09-03 | General Electric Company | Methods and systems for model driven multi-modal medical imaging |
US11484279B2 (en) | 2018-09-24 | 2022-11-01 | Siemens Medical Solutions Usa, Inc. | Systems to assess projection data inconsistency |
CN109544447B (zh) * | 2018-10-26 | 2022-10-21 | 广西师范大学 | 一种图像拼接方法、装置及存储介质 |
CN111047629B (zh) * | 2019-11-04 | 2022-04-26 | 中国科学院深圳先进技术研究院 | 多模态图像配准的方法、装置、电子设备及存储介质 |
CN112348735A (zh) * | 2020-09-30 | 2021-02-09 | 深圳市阅影科技有限公司 | 动态图像变形过程的确定方法、确定装置与处理器 |
CN113393498B (zh) * | 2021-05-26 | 2023-07-25 | 上海联影医疗科技股份有限公司 | 图像配准方法、装置、计算机设备和存储介质 |
Family Cites Families (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7103399B2 (en) * | 2003-09-08 | 2006-09-05 | Vanderbilt University | Apparatus and methods of cortical surface registration and deformation tracking for patient-to-image alignment in relation to image-guided surgery |
US8358819B2 (en) * | 2005-06-24 | 2013-01-22 | University Of Iowa Research Foundation | System and methods for image segmentation in N-dimensional space |
WO2007035688A2 (en) * | 2005-09-16 | 2007-03-29 | The Ohio State University | Method and apparatus for detecting intraventricular dyssynchrony |
GB0521640D0 (en) * | 2005-10-24 | 2005-11-30 | Ccbr As | Automatic quantification of a pathology indicating measure from cartilage scan data |
US20070167784A1 (en) | 2005-12-13 | 2007-07-19 | Raj Shekhar | Real-time Elastic Registration to Determine Temporal Evolution of Internal Tissues for Image-Guided Interventions |
CA2666313A1 (en) * | 2006-10-10 | 2008-05-08 | Cedara Software Corp. | System and method for segmenting a region in a medical image |
US8175350B2 (en) * | 2007-01-15 | 2012-05-08 | Eigen, Inc. | Method for tissue culture extraction |
US8185186B2 (en) * | 2007-04-13 | 2012-05-22 | The Regents Of The University Of Michigan | Systems and methods for tissue imaging |
US20090326363A1 (en) | 2008-05-02 | 2009-12-31 | Eigen, Llc | Fused image modalities guidance |
DE102008032006B4 (de) * | 2008-07-07 | 2017-01-05 | Siemens Healthcare Gmbh | Verfahren zur Steurung der Bildaufnahme bei einer Bildaufnahmeeinrichtung, sowie eine Bildaufnahmeeinrichtung |
WO2010061322A1 (en) * | 2008-11-25 | 2010-06-03 | Koninklijke Philips Electronics N.V. | Image provision for registration |
CN102317971B (zh) * | 2009-02-11 | 2015-02-25 | 皇家飞利浦电子股份有限公司 | 基于运动模型的组间图像配准 |
US9521994B2 (en) * | 2009-05-11 | 2016-12-20 | Siemens Healthcare Gmbh | System and method for image guided prostate cancer needle biopsy |
GB0913930D0 (en) * | 2009-08-07 | 2009-09-16 | Ucl Business Plc | Apparatus and method for registering two medical images |
JP5546230B2 (ja) * | 2009-12-10 | 2014-07-09 | キヤノン株式会社 | 情報処理装置、情報処理方法、及びプログラム |
JP2014056371A (ja) * | 2012-09-12 | 2014-03-27 | Fujitsu Semiconductor Ltd | 画像処理装置 |
-
2013
- 2013-03-13 WO PCT/IB2013/051991 patent/WO2013136278A1/en active Application Filing
- 2013-03-13 CN CN201380013910.7A patent/CN104169969B/zh active Active
- 2013-03-13 RU RU2014141502A patent/RU2014141502A/ru not_active Application Discontinuation
- 2013-03-13 JP JP2014561571A patent/JP6207534B2/ja active Active
- 2013-03-13 US US14/384,163 patent/US9240032B2/en active Active
- 2013-03-13 EP EP13723954.7A patent/EP2826019B1/en active Active
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10929706B2 (en) | 2018-03-19 | 2021-02-23 | Ricoh Company, Ltd. | Image processing device and projection system |
Also Published As
Publication number | Publication date |
---|---|
RU2014141502A (ru) | 2016-05-10 |
WO2013136278A1 (en) | 2013-09-19 |
CN104169969A (zh) | 2014-11-26 |
EP2826019B1 (en) | 2016-05-18 |
US20150043794A1 (en) | 2015-02-12 |
US9240032B2 (en) | 2016-01-19 |
EP2826019A1 (en) | 2015-01-21 |
CN104169969B (zh) | 2017-03-29 |
JP2015515297A (ja) | 2015-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6207534B2 (ja) | マルチモダリティ・デフォーマブルレジストレーション | |
AU2010280527B2 (en) | Apparatus and method for registering two medical images | |
JP6609330B2 (ja) | レジストレーションの基準マーカー、システム、および方法 | |
US8233681B2 (en) | Methods, systems, and computer program products for hierarchical registration between a blood vessel and tissue surface model for a subject and a blood vessel and tissue surface image for the subject | |
Elhawary et al. | Multimodality non-rigid image registration for planning, targeting and monitoring during CT-guided percutaneous liver tumor cryoablation | |
US20160217560A1 (en) | Method and system for automatic deformable registration | |
Ionescu et al. | Automated registration of ultrasound with CT images: application to computer assisted prostate radiotherapy and orthopedics | |
Tadayyon et al. | Target motion tracking in MRI-guided transrectal robotic prostate biopsy | |
Fei et al. | A molecular image-directed, 3D ultrasound-guided biopsy system for the prostate | |
Schalk et al. | 3D surface-based registration of ultrasound and histology in prostate cancer imaging | |
Plantefeve et al. | Atlas-based transfer of boundary conditions for biomechanical simulation | |
Xiao et al. | User-friendly freehand ultrasound calibration using Lego bricks and automatic registration | |
Guo et al. | Ultrasound frame-to-volume registration via deep learning for interventional guidance | |
De Nigris et al. | Fast and robust registration based on gradient orientations: case study matching intra-operative ultrasound to pre-operative mri in neurosurgery | |
Hu et al. | A statistical motion model based on biomechanical simulations for data fusion during image-guided prostate interventions | |
Kadoury et al. | Realtime TRUS/MRI fusion targeted-biopsy for prostate cancer: a clinical demonstration of increased positive biopsy rates | |
Tadayyon et al. | Target motion compensation in MRI-guided prostate biopsy with static images | |
Škerl et al. | Comparative evaluation of similarity measures for the rigid registration of multi-modal head images | |
Ji et al. | An integrated model-based neurosurgical guidance system | |
Arbel et al. | Fast and efficient image registration based on gradient orientations of minimal uncertainty | |
De Silva et al. | Improving 2D-3D registration optimization using learned prostate motion data | |
Shakeri et al. | Deformable MRI-TRUS surface registration from statistical deformation models of the prostate | |
Toews et al. | Bayesian registration via local image regions: information, selection and marginalization | |
Zhang et al. | A multiscale adaptive mask method for rigid intraoperative ultrasound and preoperative CT image registration | |
Ushakiran et al. | Evaluation of Similarity Measure for Feature based 3D-2D Registration in Vertebral Pose Estimation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160310 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170131 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170808 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170905 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6207534 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |