JP6835959B2 - 管状構造内の器具の位置を決定するための位置決定装置 - Google Patents
管状構造内の器具の位置を決定するための位置決定装置 Download PDFInfo
- Publication number
- JP6835959B2 JP6835959B2 JP2019519994A JP2019519994A JP6835959B2 JP 6835959 B2 JP6835959 B2 JP 6835959B2 JP 2019519994 A JP2019519994 A JP 2019519994A JP 2019519994 A JP2019519994 A JP 2019519994A JP 6835959 B2 JP6835959 B2 JP 6835959B2
- Authority
- JP
- Japan
- Prior art keywords
- tubular structure
- instrument
- curvature
- value
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003384 imaging method Methods 0.000 claims description 37
- 238000000034 method Methods 0.000 claims description 29
- 230000000007 visual effect Effects 0.000 claims description 16
- 238000004590 computer program Methods 0.000 claims description 12
- 238000013441 quality evaluation Methods 0.000 claims description 8
- 238000012800 visualization Methods 0.000 claims description 8
- 230000004044 response Effects 0.000 description 19
- 238000005259 measurement Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 12
- 230000008859 change Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 6
- 230000002792 vascular Effects 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 4
- 230000000241 respiratory effect Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 210000004204 blood vessel Anatomy 0.000 description 3
- 238000002591 computed tomography Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 238000003780 insertion Methods 0.000 description 3
- 230000037431 insertion Effects 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 238000002608 intravascular ultrasound Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 230000036962 time dependent Effects 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 230000001419 dependent effect Effects 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000037361 pathway Effects 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000004369 blood Anatomy 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000002595 magnetic resonance imaging Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 210000002345 respiratory system Anatomy 0.000 description 1
- 238000004088 simulation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000013589 supplement Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000001225 therapeutic effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/60—Analysis of geometric attributes
- G06T7/64—Analysis of geometric attributes of convexity or concavity
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
- A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
- A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Animal Behavior & Ethology (AREA)
- Veterinary Medicine (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Robotics (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Endoscopes (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Length Measuring Devices With Unspecified Measuring Means (AREA)
Description
− 管状構造に沿ったいくつかの第一の位置における、管状構造の第一の曲率を示す第一の曲率値を提供するための第一の曲率値提供ユニットと、
− 器具に沿ったいくつかの第二の位置における、器具の第二の曲率を示す第二の曲率値を提供するための第二の曲率値提供ユニットと、
− 第一および第二の曲率値にもとづき、管状構造内の器具の位置を決定する位置決定ユニット、
を有し、
位置決定ユニットは以下のように適合されている:
a)第一および第二の曲率値に基づいて、それぞれの器具の管状構造内におけるいくつかの候補位置について、それぞれの候補位置に器具が配置される確からしさを示す位置値を決定し、
b)候補位置のうち位置値が最大である位置をもって、管状構造内の位置として決定する。
本発明の第2の視点において、管状構造体内の器具の位置を決定するための位置決定方法が提供され、この方法は、以下のステップ:
− 第一の曲率値提供ユニットにより、管状構造に沿ったいくつかの第一の位置における曲率を示す第一曲率値を提供するステップと、
− 第二の曲率値提供ユニットにより、器具に沿ったいくつかの第二の位置における曲率を示す第二曲率値を提供するステップと、
− 位置決定ユニットにより、第一および第二の曲率値に基づいて管状構造内の器具(4)の位置を決定するステップ、
を有し、
位置決定ユニットは、
a)第一および第二の曲率値に基づいて、それぞれの器具の管状構造内におけるいくつかの候補位置について、それぞれの候補位置に器具が配置される確からしさを示す位置値を決定し、
b)候補位置のうち位置値が最大である位置をもって、管状構造内の位置として決定する。
− 請求項1に記載された管状構造内の器具の位置を決定するための位置決定装置と、
− 管状構造の画像を提供するための画像提供ユニットと、
− 提供された画像と決定された位置とに基づいて管状構造の視覚情報を生成する視覚情報生成ユニット。
− 第一の曲率値提供ユニットにより、管状構造に沿ったいくつかの第一の位置における曲率を示す第一曲率値を提供するステップと、
− 第二の曲率値提供ユニットによって、器具に沿ったいくつかの第二の位置における器具の第二の曲率を示す第二の曲率値を提供するステップと、
− 位置決定ユニットによって、第一および第二の曲率値に基づいて管状構造内の器具の位置を決定するステップ。
− 画像提供ユニットによって管状構造の画像を提供するステップと、
− 請求項1に記載の位置決定装置によって管状構造内の器具の位置を決定するステップと、
− 視覚情報生成ユニットによって、提供された画像と決定された位置とに基づいて管状構造の視覚情報を生成するステップ。
Km = 1/2 (k1 + k2) (1)
ここでKmは一次元平均曲率値であり、k1とk2は、それぞれ2つの異なる方向における局所的曲率である。あるいは、以下の式に従って総(ガウス)曲率値Ktを求めることもできる。
Kt = k1k2 (2)
ここで変数k1とk2は、例えば管状構造の主曲率とみなすこともできる。すなわちそれぞれの位置における管状構造の形状を規定する(Shape operator)固有値である。
3 患者
4 器具
5 位置決定装置
6 第一の曲率値提供ユニット
7 第二の曲率値提供ユニット
8 位置決定ユニット
9 品質評価ユニット
10 画像提供ユニット
11 視覚化情報生成ユニット
12 入力ユニット
13 出力ユニット
Claims (19)
- 管状構造内の器具の位置を決定するための位置決定装置であって、位置決定装置(5)は以下の要素:
− 管状構造に沿ったいくつかの第一の位置における管状構造の第一の曲率を示す第一の曲率値を提供するための第一の曲率値提供ユニット(6)、
− 器具(4)に沿ったいくつかの第二の位置における器具(4)の第二の曲率を示す第二の曲率値を提供するための第二の曲率値提供ユニット(7)、
− 第一および第二の曲率値に基づいて管状構造内の器具(4)の位置を決定する、位置決定ユニット(8)、
を有し、
前記位置決定ユニット(8)は以下のように適合されている:
a)第一および第二の曲率値に基づいて、それぞれの器具(4)の管状構造内におけるいくつかの候補位置について、それぞれの候補位置に器具(4)が配置される確からしさを示す位置値を決定し、
b)候補位置のうち位置値が最大である位置をもって、管状構造内の位置として決定する。 - 請求項1記載の位置決定装置であって、各候補位置は、どの第一位置がどの第二位置と一致するかを定め、位置決定ユニット(8)は各候補位置について、一致する第一位置と第二位置における相互間の曲率の偏差にもとづいて位置値を決定するように適合されている。
- 請求項2に記載の位置決定装置であって、位置決定ユニット(8)は、前記偏差を重み付けし、重み付けされた偏差にもとづいて各候補位置について位置値を決定するよう適合されている。
- 請求項3に記載の位置決定装置であって、前記位置決定ユニット(8)は、前記偏差の重み付けは時間的に変化する重みを使用するよう適合されている。
- 請求項1から4までのいずれかに記載された位置決定装置であって、前記管状構造は、前記管状構造に沿って異なる経路が存在する分岐構造であり、ここで位置決定ユニット(8)は以下のように適合されている:
− それぞれの可能な経路について、a)第一および第二の曲率値に基づいて、それぞれの可能な経路に沿って管状構造内の器具(4)のいくつかの候補位置について、器具(4)がそれぞれの候補位置に配置される確からしさを示す位置値を求め、b)これらの位置値のうち最大の位置値を求め、
− 可能な経路について決定された最大の位置値のうち、全体で最大である位置値をもつ候補位置をもって、管状構造内の位置として決定する。 - 請求項1から5までのいずれかに記載の位置決定装置であって、位置値と対応する候補位置は、候補位置を入力として位置値を出力とする関数を構成し、さらに前記位置決定装置(5)は、管状構造内の器具(4)の位置決定の品質をあらわす品質値を、該関数の最大ピークの幅、および/または該関数のピーク値が閾値を越えた数を用いて決定するための品質評価ユニット(9)を有する。
- 請求項6に記載の位置決定装置であって、前記品質評価ユニット(9)は、管状構造内の器具(4)の位置決定の精度を示す第一の品質値を、該関数の最大ピークの幅、に基づいて決定するよう適合されている。
- 請求項6または7に記載の位置決定装置であって、前記品質評価ユニット(9)は、管状構造内の器具(4)の位置決定の頑健性を示す第二の品質値を、該関数の閾値を越えたピークの数、に基づいて決定するよう適合されている。
- 請求項1から8までのいずれかに記載された位置決定装置であって、以下のとおり適合されている:
− 異なった時間における候補位置の位置値を、各時間について候補位置に対応した位置値の各セット(set)を決めるように決定し、
− 時間と候補位置とから定義される座標空間において、位置値が閾値を超えるもののセットの中から、最大の連結位置値グループを決定し、
− 各時間について、最大の連結位置値グループ内の最大の位置値が決定され、この最大の位置値が決定された候補位置を、各時間における管状構造内の器具(4)の位置として決定する。 - 位置決定ユニット(8)は、異なった時間について決定された、管状構造内の器具の位置にもとづき、器具の移動速度を決定するよう適合された、請求項9に記載された位置決定装置。
- 第一および第二の曲率の値は一次元値である、請求項1から10のいずれかに記載された位置決定装置。
- 請求項1から11までのいずれかに記載された位置決定装置であって、第一および第二の曲率値提供ユニット(6、7)は、一次元および二次元の第一の曲率値、および一次元および二次元の第二の曲率値を提供するように適合されており、前記位置決定ユニット(8)は、一次元の第一の曲率値および一次元の第二の曲率値から管状構造内の器具(4)の位置を決定するよう適合されており、さらに前記位置決定ユニット(8)は、二次元の第一の曲率値および第二の曲率値から、前記位置決定ユニット(8)により決定された位置と器具の実際の位置との間の、回転偏差を決定するよう適合されている。
- 前記位置決定ユニット(8)はさらに、回転偏差を減少させるように、器具の決定位置を修正するよう適合されている、請求項12に記載された位置決定装置。
- 請求項1から13までのいずれかに記載の位置決定装置であって、管状構造が分岐点を含む場合に、前記位置決定ユニット(8)は以下のように適合されている:
− 管状構造内に想定される経路を提供し、
− 器具が分岐点を通り過ぎた後における、第一の曲率値と、器具が分岐点を通り過ぎた後における第二の曲率値との間の偏差を求め、
− 前記偏差にもとづき、器具が管状構造内の想定された経路に沿って移動しているかどうかを決定する。 - 以下を含む撮像システム:
− 請求項1に記載された、管状構造内の器具(4)の位置を決定するための、位置決定装置(5)、
− 管状構造の画像を提供するための画像提供ユニット(10)、
− 提供された画像と、決定された位置とに基づいて、前記管状構造の視覚化情報を生成する視覚化情報生成ユニット(11)。 - 管状構造体内の器具の位置を決定するための位置決定方法であって、以下のステップ:
− 第一の曲率値提供ユニット(6)により、管状構造に沿ったいくつかの第一の位置における曲率を示す第一曲率値を提供するステップと、
− 第二の曲率値提供ユニット(7)により、器具(4)に沿ったいくつかの第二の位置における曲率を示す第二曲率値を提供するステップと、
− 位置決定ユニット(8)により、第一および第二の曲率値に基づいて管状構造内の器具(4)の位置を決定するステップ、
を有し、
前記位置決定ユニット(8)は、
a)第一および第二の曲率値に基づいて、それぞれの器具(4)の管状構造内におけるいくつかの候補位置について、それぞれの候補位置に器具(4)が配置される確からしさを示す位置値を決定し、
b)候補位置のうち位置値が最大である位置をもって、管状構造内の位置として決定する。 - 撮像方法であって、以下のステップを有する:
− 画像提供ユニット(10)により、管状構造の画像を提供するステップと、
− 請求項1に記載の位置決定装置によって管状構造内の器具(4)の位置を決定するステップと、
− 視覚情報生成ユニットにより、提供された画像と前記決定された位置とに基づいて管状構造の視覚情報を生成するステップ。 - 請求項1に記載の位置決定装置を作動させるプログラムコード手段を有し、位置決定装置を作動させて、請求項16に記載の位置決定方法を実行するための、位置決定コンピュータプログラム。
- 請求項15に記載の撮像システムを作動させるプログラムコード手段を有し、撮像システムを作動させて、請求項17に記載の撮像方法を実行するための、撮像コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
DE102016119579.0 | 2016-10-13 | ||
DE102016119579.0A DE102016119579B4 (de) | 2016-10-13 | 2016-10-13 | Positionsbestimmungsvorrichtung zum Bestimmen einer Position eines Instruments innerhalb einer röhrenförmigen Struktur |
PCT/EP2017/076101 WO2018069462A1 (en) | 2016-10-13 | 2017-10-12 | Position determination device for determining a position of an instrument within a tubular structure |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019533503A JP2019533503A (ja) | 2019-11-21 |
JP6835959B2 true JP6835959B2 (ja) | 2021-02-24 |
Family
ID=60083323
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019519994A Active JP6835959B2 (ja) | 2016-10-13 | 2017-10-12 | 管状構造内の器具の位置を決定するための位置決定装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10925679B2 (ja) |
EP (1) | EP3525711A1 (ja) |
JP (1) | JP6835959B2 (ja) |
CN (1) | CN110022786B (ja) |
DE (1) | DE102016119579B4 (ja) |
WO (1) | WO2018069462A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE102016119579B4 (de) | 2016-10-13 | 2023-08-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Positionsbestimmungsvorrichtung zum Bestimmen einer Position eines Instruments innerhalb einer röhrenförmigen Struktur |
DE102018108643A1 (de) * | 2018-04-11 | 2019-11-14 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Positionsbestimmungsvorrichtung zum Bestimmen einer Position eines Gegenstands innerhalb einer tubulären Struktur |
US11827762B2 (en) | 2018-06-01 | 2023-11-28 | Dai Nippon Printing Co., Ltd. | Metallic decorative member, and metallic decorative molded body using same |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1725179A1 (de) | 2004-03-03 | 2006-11-29 | Deutsches Krebsforschungszentrum Stiftung des öffentlichen Rechts | Inkrementelle, echtzeitregistrierung von getrackten instrumenten in röhrenförmigen organstrukturen innerhalb des menschlichen körpers |
CN101099657A (zh) * | 2007-07-13 | 2008-01-09 | 上海大学 | 细长柔性杆的空间形状检测装置和方法 |
JP5918548B2 (ja) * | 2012-01-24 | 2016-05-18 | 富士フイルム株式会社 | 内視鏡画像診断支援装置およびその作動方法並びに内視鏡画像診断支援プログラム |
CN107280671B (zh) * | 2012-08-14 | 2020-04-17 | 直观外科手术操作公司 | 配置微创器械中的部件的系统和方法 |
US9430717B2 (en) | 2012-10-01 | 2016-08-30 | Koninklijke Philips N.V. | Three dimensional polyline registration using shape constraints |
JP6829938B2 (ja) | 2013-02-14 | 2021-02-17 | コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. | 介入システム |
CN105246429B (zh) * | 2013-05-31 | 2018-06-26 | 皇家飞利浦有限公司 | 用于在介入流程期间辅助用户的辅助装置 |
CN105979899B (zh) * | 2013-12-09 | 2019-10-01 | 直观外科手术操作公司 | 用于设备感知柔性工具配准的系统和方法 |
DE102014200326A1 (de) * | 2014-01-10 | 2015-07-16 | Siemens Aktiengesellschaft | Verfahren zum Unterstützen einer Navigation eines medizinischen Instruments |
DE102016119579B4 (de) | 2016-10-13 | 2023-08-17 | Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. | Positionsbestimmungsvorrichtung zum Bestimmen einer Position eines Instruments innerhalb einer röhrenförmigen Struktur |
-
2016
- 2016-10-13 DE DE102016119579.0A patent/DE102016119579B4/de active Active
-
2017
- 2017-10-12 CN CN201780070052.8A patent/CN110022786B/zh active Active
- 2017-10-12 EP EP17783844.8A patent/EP3525711A1/en active Pending
- 2017-10-12 WO PCT/EP2017/076101 patent/WO2018069462A1/en unknown
- 2017-10-12 JP JP2019519994A patent/JP6835959B2/ja active Active
- 2017-10-12 US US16/341,810 patent/US10925679B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US10925679B2 (en) | 2021-02-23 |
DE102016119579B4 (de) | 2023-08-17 |
EP3525711A1 (en) | 2019-08-21 |
US20190314090A1 (en) | 2019-10-17 |
CN110022786A (zh) | 2019-07-16 |
JP2019533503A (ja) | 2019-11-21 |
WO2018069462A8 (en) | 2019-05-31 |
DE102016119579A1 (de) | 2018-04-19 |
WO2018069462A1 (en) | 2018-04-19 |
CN110022786B (zh) | 2022-05-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7308238B2 (ja) | X線画像特徴検出および位置合わせのシステムおよび方法 | |
JP7093801B2 (ja) | 手術中の位置調整および誘導を容易にするシステム | |
US9811939B2 (en) | Method and system for registering intravascular images | |
EP2830502B1 (en) | Artifact removal using shape sensing | |
CN101541245B (zh) | x射线与血管内获取的数据的结合 | |
EP3055646B1 (en) | Device tracking using longitudinal encoding | |
US20170065206A1 (en) | Device for determining a specific position of a catheter | |
CN113995380A (zh) | 血管内成像系统界面和阴影检测方法 | |
JP6835959B2 (ja) | 管状構造内の器具の位置を決定するための位置決定装置 | |
WO2016041793A1 (en) | Processing system arranged to cooperate with an optical-shape-sensing-enabled interventional device | |
EP3678546B1 (en) | Registration and comparison of measured and simulated intracoronary pullback curves | |
US9810528B2 (en) | Optical shape sensing with a plurality of optical fibers | |
US20160253804A1 (en) | Assisting apparatus for assisting in registering an imaging device with a position and shape determination device | |
CN109715054A (zh) | 与体外图像中的仪器相关的图像对象的可视化 | |
WO2015071343A1 (en) | Detection of rotational angle of an interventional device | |
EP3456248A1 (en) | Hemodynamic parameters for co-registration |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190614 Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20190610 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200807 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200818 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210112 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210204 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6835959 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |