JP6559532B2 - X線透視画像のリアルタイムシミュレーション - Google Patents

X線透視画像のリアルタイムシミュレーション Download PDF

Info

Publication number
JP6559532B2
JP6559532B2 JP2015201783A JP2015201783A JP6559532B2 JP 6559532 B2 JP6559532 B2 JP 6559532B2 JP 2015201783 A JP2015201783 A JP 2015201783A JP 2015201783 A JP2015201783 A JP 2015201783A JP 6559532 B2 JP6559532 B2 JP 6559532B2
Authority
JP
Japan
Prior art keywords
image
map
colored
fluoroscopic
processor
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015201783A
Other languages
English (en)
Other versions
JP2016077893A (ja
Inventor
エリアフ・ジーノ
ギル・ジゲルマン
リアブ・モシェ・アディ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Original Assignee
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd filed Critical Biosense Webster Israel Ltd
Publication of JP2016077893A publication Critical patent/JP2016077893A/ja
Application granted granted Critical
Publication of JP6559532B2 publication Critical patent/JP6559532B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/12Devices for detecting or locating foreign bodies
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/44Constructional features of apparatus for radiation diagnosis
    • A61B6/4429Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units
    • A61B6/4435Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure
    • A61B6/4441Constructional features of apparatus for radiation diagnosis related to the mounting of source units and detector units the source unit and the detector unit being coupled by a rigid structure the rigid structure being a C-arm or U-arm
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/485Diagnostic techniques involving fluorescence X-ray imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/48Diagnostic techniques
    • A61B6/486Diagnostic techniques involving generating temporal series of image data
    • A61B6/487Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/50Clinical applications
    • A61B6/503Clinical applications involving diagnosis of heart
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
    • A61B6/54Control of apparatus or devices for radiation diagnosis
    • A61B6/547Control of apparatus or devices for radiation diagnosis involving tracking of position of the device or parts of the device
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00General purpose image data processing
    • G06T1/60Memory management
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/10Geometric effects
    • G06T15/20Perspective computation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B23/00Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes
    • G09B23/28Models for scientific, medical, or mathematical purposes, e.g. full-sized devices for demonstration purposes for medicine
    • G09B23/30Anatomical models
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107Visualisation of planned trajectories or target regions
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A61B2090/3764Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT] with a rotating C-arm having a cone beam emitting source
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10116X-ray image
    • G06T2207/10121Fluoroscopy

Description

本発明は、一般に医療撮影に関し、詳細には、医療処置中のX線透視画像のリアルタイムシミュレーションのための方法及びシステムに関する。
X線透視撮影などのリアルタイム(RT)撮影は、時には様々な3次元(3D)画像診断法と共に、低侵襲性医療処置に度々使用されている。いくつかの技術は、患者の器官のRT画像を3Dモデル及び3Dマップと位置合わせすることに対処している。例えば、その開示が参照により本明細書に組み込まれる米国特許出願公開第2010/0022874号は、メモリ、ロケ−タ、プロセッサ及びディスプレイを含む画像案内ナビゲーションシステムについて記載している。メモリは、複数のCT画像と、ソフトウェアプログラムとを記憶している。ロケ−タは、手術範囲への方向を示すことが可能であり、ロケ−タが示した方向は、第1の方向として規定される。プロセッサは、メモリ及びロケ−タに電気的に接続されている。第1の方向に対応する、少なくとも1つの対応する画像は、ソフトウェアプログラムを実行するプロセッサによって複数のCT画像から得られる。この少なくとも1つの対応する画像は、少なくとも1つのシミュレートされたX線透視画像を含む。ディスプレイは、少なくとも1つの対応する画像を示すことが可能である。
その開示が参照により本明細書に組み込まれる米国特許第8,515,527号は、心臓の解剖学的領域の3Dモデルと追跡システムとを、インターベンショナルX線透視システムの投影画像と位置合わせするための方法及び機器について記載している。
その開示が参照により本明細書に組み込まれる米国特許第7,327,872号は、3Dモデルを解剖学的領域の投影画像と位置合わせするための方法及びシステムについて記載している。患者の解剖学的領域にてカテーテルを使用する、第1の治療様式の第1の画像獲得システムは、X線透視法を用いて、解剖学的領域の第1の画像を生成するように構成され、第1の画像は、一組のX線透視投影画像を含む。第2の異なる治療様式の第2の画像獲得システムは、解剖学的領域の3Dモデルを生成するように構成されている。解剖学的参照系は、第1の画像獲得及び第2の画像獲得システムの両方に共通する。処理回路は、共通の参照系と、第1の画像獲得システムと第2の画像獲得システムとの両方におけるカテーテルに関連した識別可能なパラメータとに応答して、3DモデルをX線透視画像と位置合わせするための実行可能な命令を処理するように構成されている。
本明細書に記載する本発明の一実施形態は、X線透視撮影システムの第1の座標系と、磁気位置追跡システムの第2の座標系とを位置合わせすることを含む方法を提供する。磁気位置追跡システムを使用して、患者の器官の3次元(3D)マップを算出する。位置合わせされた第1の座標系及び第2の座標系を使用して、第2の座標系内でのX線透視撮影システムの視野(FOV)を算出する。3Dマップ及び算出されたFOVに基づいて、X線透視撮影システムにより生成されるであろうX線透視画像をシミュレートする2次元(2D)画像を形成し、X線透視画像をシミュレートする2D画像を表示する。
いくつかの実施形態では、本方法は、X線透視撮影システムにより放射線を当てることなく、2D画像を形成することを含む。別の実施形態では、本方法は、2D画像と3Dマップとを異なるディスプレイウィンドウ内に表示することを含む。更なる別の実施形態では、本方法は、2D画像を、3Dマップの表示に使用されるディスプレイウィンドウのサブウィンドウ内に表示することを含む。
一実施形態では、本方法は、3Dマップ内の器官の解剖学的特徴を識別し、算出されたFOVに基づいて、解剖学的特徴の投影を2D画像内にシミュレートすることを含む。別の実施形態では、本方法は、3Dマップ内の医療プローブを識別し、該医療プローブを2D画像内に表示することを含む。一実施形態では、3Dマップの算出は、磁気位置追跡以外の画像診断法を用いて獲得された1つ以上の物体を、3Dマップ内にインポートすることを含む。
また、本発明の実施形態によれば、メモリ及びプロセッサを有するシステムが更に提供される。メモリは、磁気位置追跡システムにより生成された、患者の器官の3次元(3D)マップを記憶するように構成されている。プロセッサは、X線透視撮影システムの第1の座標系と、磁気位置追跡システムの第2の座標系とを位置合わせし、磁気位置追跡システムを使用して3Dマップを算出し、位置合わせされた第1の座標系及び第2の座標系を使用して、第2の座標系内でのX線透視撮影システムの視野(FOV)を算出し、3Dマップと算出されたFOVとに基づいて、X線透視撮影システムにより生成されるであろうX線透視画像をシミュレートする2次元(2D)画像を形成し、X線透視画像をシミュレートする2D画像を表示するように構成されている。
本発明は、本発明の実施形態の以下の詳細な説明を、図面と総合すれば、より十分に理解されるであろう。
本発明の一実施形態による、X線透視撮影システム及び磁気位置追跡システムの概略描写図である。 本発明の一実施形態による、シミュレートされた2次元(2D)X線透視画像を形成するための方法を略図的に説明するフローチャートである。
概説
低侵襲性医療処置は、多くの場合、磁気位置追跡マップなどの撮影能力を用いる。例えば、Biosense−Webster社(Diamond Bar,California)は、磁場位置追跡を用いた、患者の心臓内でのカテーテルの視覚化に使用される、CARTO(商標)システムを提供している。場合により、磁気位置追跡マップと並行して、同一の位置のリアルタイム(RT)X線透視画像が必要である。しかしながら、X線透視撮影は、患者及び職員を、潜在的に有害な線量のX線放射に暴露する。実際には、X線透視システムの視野(FOV)は、多くの場合狭く、患者の身体内の所望の位置を撮影するためにX線透視システムを位置付けるよう試みる際、相当のX線放射の部分が当てられる。
本明細書に記載した本発明の実施形態は、X線透視システムと、磁気位置追跡システムとを一緒に作動させるための改善された方法及びシステムを提供する。いくつかの実施形態では、磁気位置追跡システムのプロセッサは、X線透視システム及び磁気位置追跡システムの座標系を位置合わせし、磁気位置追跡システムの座標系内でのX線透視システムのFOVを算出する。この情報を使用して、プロセッサは、この時点でX線透視撮影システムが作動された場合に生成されるであろうX線透視画像をシミュレートする2次元(2D)画像を形成する。
この2D画像は、磁気位置追跡システムからの算出された3Dマップに基づくものであり、X線透視撮影システムに由来するものでは全くない。本特許出願及び特許請求の範囲の文脈において、用語「3Dマップ」とは、磁気位置追跡システムと、おそらくは例えばコンピュータ断層撮影(CT)、磁気共鳴映像法(MRI)又は任意の他の好適な撮影技術などの更なる画像診断法からの、インポートされた分割物体とを使用して獲得した3Dモデルを指す。そのようなモデルは、撮影される器官の輪郭及び解剖学的特徴、器官内若しくは器官周囲の医療プローブ若しくは器具、及び/又は、任意の他の好適な物体などの様々な対象を含み得る。3Dモデルの任意のそのような対象は、2D画像の生成に使用され得、及び/又は、2D画像内に出現し得る。
2D画像がX線透視撮影システムにより生成されなくても、2D画像は、X線透視画像と視覚的に類似しており、X線透視撮影システムが動作していた場合に該システムにより見られるであろうものと同一のFOVを包含する。その結果、医師は、X線透視撮影のように出現するが、患者に放射線を当てることを含まない、リアルタイムディスプレイを付与されることができる。
開示した技術は、医師が、患者及び医療職員をX線放射に暴露することなく、X線透視システムFOVを標的位置内に位置付け、また、高速で及び正確さをもってX線透視システムFOVを標的上に正確に位置付けることを援助する。X線透視システムは、一般に、そのFOVが正確に位置付けられた後にのみ作動される。
システムの説明
図1は、本発明の一実施形態による、低侵襲性心臓処置中のX線透視撮影システム22と磁気位置追跡システム20との概略絵画図である。X線透視撮影システム22は、インターフェイス56を介して磁気位置追跡システム20に接続されている。システム20は、コンソール26と、図1の挿入図32に示される遠位端34を有するカテーテル24とを含む。
心臓専門医42(又は任意の他のユーザー)は、カテーテル24を患者の心臓28の中で、遠位端34がこの器官内の所望の位置に到達するまで航行させ、続いて心臓専門医42が遠位端34を用いて医療処置を行う。別の実施形態では、開示した技術は、任意の他の器官内で行われる処置に使用することができ、心臓専門医42に代わって、任意の好適なユーザー(例えば、関連する医師、又は権限を与えられた技術者)がこのシステムを操作することができる。
この位置追跡方法は、例えば、Biosense Webster社(Diamond Bar,Calif.)が製造するCARTO(商標)システムにおいて実行されており、その詳細は米国特許第5,391,199号、同第6,690,963号、同第6,484,118号、同第6,239,724号、同第6,618,612号及び同第6,332,089号、PCT特許公開WO 96/05768、並びに米国特許出願公開第2002/0065455 A1号、同第2003/0120150 A1号及び同第2004/0068178 A1号に開示されており、それらの開示は参照により本明細書に組み込まれる。
コンソール26は、プロセッサ58と、駆動回路60と、システム22に対するインターフェイス56と、入力装置46と、ディスプレイ40とを含む。駆動回路60は、患者30の胴の下方の既知の位置に配置されている磁場発生器36を駆動する。X線透視画像が必要な場合、心臓専門医42は、入力装置46と、ディスプレイ40上の好適なグラフィカルユーザーインターフェィス(GUI)とを使用して、患者の心臓28内のX線透視画像を要求する。
いくつかの実施形態では、ディスプレイ40は、図1の挿入図37に示されるように、2つのウィンドウを含む。3D CARTOマップ38ウィンドウは、遠位端34の位置における器官の3D磁気位置追跡マップを表示する。シミュレートされた2D X線透視画像39ウィンドウは、システム22の位置におけるシミュレートされた2D X線透視画像を表示する。
一実施形態では、本明細書にて下記により詳細に記載するように、シミュレートされた2D X線透視画像は、システム22のパラメータに基づくのではなく、3D磁気位置追跡マップに基づいて形成される。
図1の例では、カテーテル24が存在する。しかしながら、システム20及び22が一旦位置合わせされたら、カテーテルの存在は必須ではない。位置合わせは、例えば、特別の位置合わせジグを使用して行われてもよく、又は、カテーテルが患者内に挿入される前若しくは後に行われてよい。一実施形態では、カテーテルが、対象にする枠の範囲内に配置されている場合、該カテーテルはマップ38内及び画像39内に出現する。
別の実施形態では、心臓専門医42は、画像38がシミュレートされた画像であるため、カテーテル24又は任意の他の物体を画像39から排除するよう決定し得る。そのような決定はまた、システムにより自動的に選択されてもよい。換言すれば、プロセッサ58は、シミュレートされた2D画像内に表示された物体をフィルターで除き得る。示され又は隠され得る物体には、中でも、例えばタグ、マップ、カテーテル及び/又はインポートされた切り出し画像を挙げることができる。
図1に示されたシステム20の構成は、概念的理解を容易にするために純粋に選択された例示的構成である。代替的な実施形態では、システムを実行するために、任意の他の好適な構成が用いられ得る。システム20の所定の要素は、例えば1つ以上の特定用途向け集積回路(ASIC)、又はフィールド・プログラマブルゲートアレイ(FPGA)、又は他のデバイスタイプなどのハードウェアを使用して実装されてもよい。加えて、又は代替的に、システム20の所定の要素は、ソフトウェアを使用して、又はハードウェアとソフトウェアとの組み合わせを使用して実装されてもよい。
典型的には、プロセッサ58は一般用途コンピュータで構成され、コンピュータには、本明細書に記載する機能を実行するソフトウェアがプログラムされている。ソフトウェアは、例えば、ネットワークを通して電子形式でコンピュータにダウンロードされてもよく、或いは、光学、磁気、若しくは電子メモリなどの有形の持続性媒体上に提供及び/又は格納されてもよい。
シミュレートされた2D X線透視画像の形成
図1に提示した例では、システム20のプロセッサ58は、ディスプレイ40上に、患者の心臓28の3Dマップを表示するため、心臓専門医42は、心臓28内の関連領域に対する遠位端34の正確な位置を知ることができる。低侵襲性医療処置中、心臓専門医42は、遠位端34の近辺のX線透視画像を必要とする場合がある。本明細書に記載した実施形態は、3D X線透視画像を獲得する一方で、X線被照射を最小限にする必要性を満たす。
従来より、X線透視画像を必要とする場合、心臓専門医42は、システム22を所望の位置に照準するように位置付けた後、システム22を作動させてX線を当てて、所望の心臓28の範囲を撮影するようにX線透視撮影システムを位置付けることによって、所望の範囲を画定する。典型的には、システム22の視野(FOV)は、多くの場合狭く、心臓28の所望の範囲を実際に対象にしない場合がある。そのような場合、心臓専門医42は、システム22を再配置し、X線を再度当てて、所望の位置に到達させる必要がある。このプロセスは、患者及び医療職員を過剰なX線放射に暴露する。
いくつかの実施形態では、提示したこの技術は、ディスプレイ40上に、2つの画像、即ち心臓28内の遠位端34の3D位置追跡マップを示す3D CARTOマップ38と、システム22の位置における画像39とを示す(必ずしもそうではないが、典型的には2つのウィンドウで)。
典型的な流れでは、システム20のプロセッサ58は、システム22及びシステム20の座標系の位置合わせに基づいて、磁気位置追跡システム20の座標系内に、X線透視撮影システム22により当てられるであろうFOVを算出する。続いて、プロセッサ58は、システム22によりX線を当てることなく、磁気位置追跡システム20の座標系内の、システム22の算出されたFOVと、3Dマップ38とを使用して、シミュレートされた2D画像(図1の画像39に示す)を形成する。
図1に示すように、X線透視撮影システム22は、磁気位置追跡システム20の座標系に対して多少恣意的な角度で配置されている。けれども、シミュレートされた2D画像39は、その画像が位置追跡システム20の3Dマップから算出されたにも関わらず、システム22の現在の位置に関係なく、X線透視撮影システム22の位置から撮影されたように、又は、任意の他の選択角度から撮影されたように表示される。
一実施形態では、心臓専門医42は、従来の処置中に行われたものと同じ方法で、患者30に対してシステム22を移動してもよいが、患者30に放射線を当てない。システム22が移動される時、プロセッサ58は、システム22の変化するFOVを反映する、シミュレートされた2D画像をリアルタイムで連続的に表示する。
いくつかの実施形態では、プロセッサは、磁気位置追跡システムの3Dマップ内に要素として出現する、心臓の解剖学的特徴を使用して、シミュレートされた2D X線透視画像を形成する。例えば、心房と心室との間の界面の3Dマップを使用して、画像39を形成してもよい。
画像39は、システム22からの放射線を使用することなく形成され、マップ38に基づくものであることに留意されたい。したがって、システム22のFOVがシステム20の3Dマップ38から外れた場合、要求されたシミュレート画像を形成するための、マップ38によって提供された属性を有さないため、画像39はその現在の位置のシミュレートされた画像を示さないであろう。
一実施形態では、心臓専門医42は、シミュレートされた2D X線透視画像と、3D位置追跡マップとを使用して、システム22を所望の位置に位置付け、次いでシステム22によりX線を当て、実際のX線透視画像を獲得する。
典型的には、マップ38は、問題の器官の解剖学的特徴と、場合により、例えばカテーテルなどの、マップ38のFOV内の更なる要素とを含む。心臓撮影では、そのような物体は、例えば心腔、弁、動脈、及び他の物体を含み得る。いくつかの実施形態では、プロセッサ58は、マップ38内のそれらの解剖学的特徴(例えば、組織タイプ、解剖学的標認点)を識別し、システム22のFOVから見た際に、それらが2Dにおいてどのように出現するかを算出して、マップ38から画像39を形成する。
画像39はマップ38からシミュレートされるが、画像39は一般に、システム22からの撮影属性に由来せず、また該撮影属性に基づくものではなくても、実際のX線透視画像と視覚的に類似する(例えば、同一の濃淡画像、同一の解像度、同一の外観と雰囲気)。いくつかの実施形態では、画像39は、例えば、解像度の向上、有色の表示、及びシミュレートされた更なる改善などの、放射線ベースのX線透視画像を上回る改善を有し得る。
図1の例では、3Dマップ及び2D画像は、別個のディスプレイウィンドウ内に表示されている。代替的な実施形態では、シミュレートされた2D画像は、「ピクチャー・イン・ピクチャー」として、即ち、3Dマップを表示するのに使用されるウィンドウのサブウィンドウ内に表示される。一実施形態では、2Dマップは、医師が磁気位置追跡システムのペダル又は他の入力装置を押圧するのに応答して更新される。そのようなペダルは、X線透視画像を獲得するのに通常使用されているペダルと類似した外観と雰囲気を有するが、この例では、システム20の一部であり、システム22の一部ではない。
図2は、本発明の一実施形態による、シミュレートされた2次元(2D)X線透視画像39を形成するための方法を概略的に示すフローチャートである。本方法は、プロセッサ58がシステム22及びシステム20の座標系を獲得する座標獲得工程100から開始する。座標系位置合わせ工程102では、プロセッサ58は、システム22及びシステム20の座標系を位置合わせして、患者30内の関連器官の位置を、両方の系にて一致させる。
位置追跡提示工程104では、プロセッサ58は、患者30の所定の器官の3D位置追跡マップ38をディスプレイ40上に表示する。一実施形態では、器官は心臓28であるが、別の実施形態では、患者30の任意の関連器官であってもよい。FOV算出工程106では、プロセッサ58は、システム22及びシステム20の座標系の位置合わせを用いて、磁気位置追跡システム20の座標系内でのシステム22のFOVを算出する。いくつかの実施形態では、システム22の位置は、システム22の放射線ヘッドに取り付けられた位置センサにより測定される。代替的な実施形態では、システム22とのTCP/IP通信を使用して、幾何学的情報及び検出器設定を抽出することができる。そのような代替的実施形態により、正確な拡大(「ズーム」)を使用することが可能となるが、その拡大はセンサ使用中は適用できない。
シミュレーション工程108では、プロセッサ58は、システム22によりX線を当てることなく、またシステム22の任意の放射線パラメータを使用することなく、磁気位置追跡システム20の座標系内のX線透視撮影システム22の算出されたFOVと、3D CARTOマップ38とを使用して、シミュレートされた2D X線透視画像(図1の画像39に示す)を形成する。
2D表示工程110では、プロセッサ58は、ディスプレイ40上に画像39を表示する。
いくつかの実施形態では、画像39は、図1の挿入図37に示されるように、マップ38の付近のウィンドウ内に表示される。別の実施形態では、画像39は、マップ38と同一のウィンドウに、並んで、又は任意の他の好適な様式で表示される。決定工程112では、心臓専門医42は、画像39をマップ38に関連して検査し、システム22が実際のX線透視画像を獲得するための所望の位置に配置されているか否かを決定する。心臓専門医42はシステム22が所望の位置に配置されていると決定した場合、心臓専門医42は、画像獲得工程116において、入力装置46と、ディスプレイ40上のGUIとを使用して、X線透視画像を獲得するようシステム22に(プロセッサ58及びインターフェイス56を介して)命令する。別の実施形態では、心臓専門医は、シミュレートされた画像に頼って、放射線照射を回避してもよく、又は、古いX線透視画像を参照として使用し、シミュレートされた画像をカテーテル追跡のために使用してもよい。
工程116の前の全方法工程は、一般に、X線透視システム22がX線放射を放出しない間に行われることに留意されたい。
心臓専門医42はシステム22が所望の位置に配置されていないと決定した場合、心臓専門医は、再配置工程114において、X線透視システムを患者に対して再配置する。
様々な実施形態では、この時点で、本方法は、様々な以前のプロセス段階を振り返ってもよい。システム22が、システム22とのTCP/IP通信を使用して追跡される実施形態では、シミュレートされた画像は、システム22の放射線ヘッドの移動中に表示することができる。
別の実施形態では、実行順序は、患者30及び磁気位置追跡システム20に関連した、システム22の位置合わせエラーの源の性質に応じて、位置追跡提示工程104、又は、座標獲得工程100に折り返ししてもよい。
本明細書に記載した実施形態は、主に、X線透視撮影及び磁気位置追跡を用いた心臓撮影を参照するが、代替的な実施形態では、開示した技術は、例えば磁気共鳴映像法(MRI)などの他の撮影技術と共に使用してもよく、また他のヒト器官上に適用されてもよい。
したがって、上述の実施形態は一例として引用したものであり、また本発明は上記に具体的に図示し記載したものに限定されないことが認識されるであろう。むしろ本発明の範囲には、上記に述べた様々な特徴の組み合わせ及び下位の組み合わせ、並びに上記の説明を読むことによって当業者には想到されるであろう、従来技術において開示されていない変形例及び改変例も含まれるものである。参考により本特許出願に組み込まれた文書は、これらの組み込まれた文書内のどんな用語でも、本明細書で明示的又は暗黙的に行われる定義と相反するように定義される場合を除き、本出願の一体部分と見なされるべきであり、本明細書における定義のみが検討されるべきである。
〔実施の態様〕
(1) 方法であって、
X線透視撮影システムの第1の座標系と、磁気位置追跡システムの第2の座標系とを位置合わせすることと、
前記磁気位置追跡システムを使用して、患者の器官の3次元(3D)マップを算出することと、
前記位置合わせされた第1の座標系及び第2の座標系を使用して、前記第2の座標系内での前記X線透視撮影システムの視野(FOV)を算出することと、
前記3Dマップ及び前記算出されたFOVに基づいて、前記X線透視撮影システムにより生成されるであろうX線透視画像をシミュレートする2次元(2D)画像を形成することと、
前記X線透視画像をシミュレートする前記2D画像を表示することと、を含む、方法。
(2) 前記2D画像を形成することが、前記X線透視撮影システムにより放射線を当てることなく行われる、実施態様1に記載の方法。
(3) 前記2D画像を表示することが、前記2D画像と前記3Dマップとを異なるディスプレイウィンドウ内に表示することを含む、実施態様1に記載の方法。
(4) 前記2D画像を表示することが、前記2D画像を、前記3Dマップの表示に使用されるディスプレイウィンドウのサブウィンドウ内に表示することを含む、実施態様1に記載の方法。
(5) 前記2D画像を形成することが、前記3Dマップ内の前記器官の解剖学的特徴を識別し、前記算出されたFOVに基づいて、前記解剖学的特徴の投影を前記2D画像内にシミュレートすることを含む、実施態様1に記載の方法。
(6) 前記2D画像を形成することが、前記3Dマップ内の医療プローブを識別し、前記医療プローブを前記2D画像内に表示することを含む、実施態様1に記載の方法。
(7) 前記3Dマップを算出することが、磁気位置追跡以外の画像診断法を用いて獲得された1つ又は複数の物体を、前記3Dマップ内にインポートすることを含む、実施態様1に記載の方法。
(8) システムであって、
磁気位置追跡システムにより生成された、患者の器官の3次元(3D)マップを記憶するように構成されたメモリと、
プロセッサであって、X線透視撮影システムの第1の座標系と、前記磁気位置追跡システムの第2の座標系とを位置合わせし、前記磁気位置追跡システムを使用して前記3Dマップを算出し、前記位置合わせされた第1の座標系及び第2の座標系を使用して、前記第2の座標系内における前記X線透視撮影システムの視野(FOV)を算出し、前記3Dマップと前記算出されたFOVとに基づいて、前記X線透視撮影システムにより生成されるであろうX線透視画像をシミュレートする2次元(2D)画像を形成し、前記X線透視画像をシミュレートする前記2D画像を表示するように構成されている、プロセッサと、を含む、システム。
(9) 前記プロセッサが、前記X線透視撮影システムにより放射線を当てることなく、前記2D画像を形成するように構成されている、実施態様8に記載のシステム。
(10) 前記プロセッサが、前記2D画像と前記3Dマップとを異なるディスプレイウィンドウ内に表示するように構成されている、実施態様8に記載のシステム。
(11) 前記プロセッサが、前記2D画像を、前記3Dマップの表示に使用されるディスプレイウィンドウのサブウィンドウ内に表示するように構成されている、実施態様8に記載のシステム。
(12) 前記プロセッサが、前記3Dマップ内の前記器官の解剖学的特徴を識別し、前記算出されたFOVに基づいて、前記解剖学的特徴のX線透視の投影(fluoroscopic projection)を前記2D画像内にシミュレートすることにより、前記2D画像を形成するように構成されている、実施態様8に記載のシステム。
(13) 前記プロセッサが、前記3Dマップ内の医療プローブを識別し、前記医療プローブを前記2D画像内に表示するように構成されている、実施態様8に記載のシステム。
(14) 前記プロセッサが、磁気位置追跡以外の画像診断法を用いて獲得された1つ又は複数の物体を、前記3Dマップ内にインポートするように構成されている、実施態様8に記載のシステム。

Claims (14)

  1. 医療システムの作動方法であって、
    前記医療システムは、
    磁気位置追跡システムにより生成された、患者の器官の3次元(3D)マップを記憶するように構成されたメモリと、
    プロセッサであって、X線透視撮影システムの第1の座標系と、前記磁気位置追跡システムの第2の座標系とを位置合わせし、前記磁気位置追跡システムを使用して前記3Dマップを算出し、前記位置合わせされた第1の座標系及び第2の座標系を使用して、前記第2の座標系内における前記X線透視撮影システムの視野(FOV)を算出し、前記3Dマップと前記算出されたFOVとに基づいて、前記X線透視撮影システムにより生成されるであろうX線透視画像をシミュレートする有色の2次元(2D)画像を形成し、前記X線透視画像をシミュレートする前記有色の2D画像を表示するように構成されている、プロセッサと、を含み、
    前記プロセッサは、
    前記X線透視撮影システムの前記第1の座標系と、前記磁気位置追跡システムの前記第2の座標系とを位置合わせすることと、
    前記磁気位置追跡システムを使用して、患者の器官の3次元(3D)マップを算出することと、
    前記位置合わせされた第1の座標系及び第2の座標系を使用して、前記第2の座標系内での前記X線透視撮影システムの視野(FOV)を算出することと、
    前記3Dマップ及び前記算出されたFOVに基づいて、前記X線透視撮影システムにより生成されるであろうX線透視画像をシミュレートする前記有色の2次元(2D)画像を形成することと、
    前記X線透視画像をシミュレートする前記有色の2D画像を表示することと、を行い、
    前記有色の2D画像を形成することが、前記3Dマップ内の前記器官の解剖学的特徴を識別し、前記算出されたFOVに基づいて、前記解剖学的特徴の投影を前記有色の2D画像内にシミュレートすることを含む、医療システムの作動方法。
  2. 前記2D画像を形成することが、前記X線透視撮影システムにより放射線を当てることなく行われる、請求項1に記載の医療システムの作動方法。
  3. 前記有色の2D画像を表示することが、前記有色の2D画像と前記3Dマップとを異なるディスプレイウィンドウ内に表示することを含む、請求項1に記載の医療システムの作動方法。
  4. 前記有色の2D画像を表示することが、前記有色の2D画像を、前記3Dマップの表示に使用されるディスプレイウィンドウのサブウィンドウ内に表示することを含む、請求項1に記載の医療システムの作動方法。
  5. 前記プロセッサが、前記X線透視撮影システムの移動中に、前記有色の2D画像を表示する、請求項1の医療システムの作動方法。
  6. 前記有色の2D画像を形成することが、前記3Dマップ内の医療プローブを識別し、前記医療プローブを前記有色の2D画像内に表示することを含む、請求項1に記載の医療システムの作動方法。
  7. 前記3Dマップを算出することが、磁気位置追跡以外の画像診断法を用いて獲得された1つ又は複数の物体を、前記3Dマップ内にインポートすることを含む、請求項1に記載の医療システムの作動方法。
  8. 医療システムであって、
    磁気位置追跡システムにより生成された、患者の器官の3次元(3D)マップを記憶するように構成されたメモリと、
    プロセッサであって、X線透視撮影システムの第1の座標系と、前記磁気位置追跡システムの第2の座標系とを位置合わせし、前記磁気位置追跡システムを使用して前記3Dマップを算出し、前記位置合わせされた第1の座標系及び第2の座標系を使用して、前記第2の座標系内における前記X線透視撮影システムの視野(FOV)を算出し、前記3Dマップと前記算出されたFOVとに基づいて、前記X線透視撮影システムにより生成されるであろうX線透視画像をシミュレートする有色の2次元(2D)画像を形成し、前記X線透視画像をシミュレートする前記有色の2D画像を表示するように構成されている、プロセッサと、を含み、
    前記プロセッサが、前記3Dマップ内の前記器官の解剖学的特徴を識別し、前記算出されたFOVに基づいて、前記解剖学的特徴のX線透視の投影を前記有色の2D画像内にシミュレートすることにより、前記有色の2D画像を形成するように構成されている医療システム。
  9. 前記プロセッサが、前記X線透視撮影システムにより放射線を当てることなく、前記2D画像を形成するように構成されている、請求項8に記載の医療システム。
  10. 前記プロセッサが、前記有色の2D画像と前記3Dマップとを異なるディスプレイウィンドウ内に表示するように構成されている、請求項8に記載の医療システム。
  11. 前記プロセッサが、前記有色の2D画像を、前記3Dマップの表示に使用されるディスプレイウィンドウのサブウィンドウ内に表示するように構成されている、請求項8に記載の医療システム。
  12. 前記プロセッサが、前記X線透視撮影システムの移動中に、前記有色の2D画像を表示する、請求項8に記載の医療システム。
  13. 前記プロセッサが、前記3Dマップ内の医療プローブを識別し、前記医療プローブを前記有色の2D画像内に表示するように構成されている、請求項8に記載の医療システム。
  14. 前記プロセッサが、磁気位置追跡以外の画像診断法を用いて獲得された1つ又は複数の物体を、前記3Dマップ内にインポートするように構成されている、請求項8に記載の医療システム。
JP2015201783A 2014-10-14 2015-10-13 X線透視画像のリアルタイムシミュレーション Active JP6559532B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US14/513,343 US9721379B2 (en) 2014-10-14 2014-10-14 Real-time simulation of fluoroscopic images
US14/513,343 2014-10-14

Publications (2)

Publication Number Publication Date
JP2016077893A JP2016077893A (ja) 2016-05-16
JP6559532B2 true JP6559532B2 (ja) 2019-08-14

Family

ID=54337129

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015201783A Active JP6559532B2 (ja) 2014-10-14 2015-10-13 X線透視画像のリアルタイムシミュレーション

Country Status (7)

Country Link
US (1) US9721379B2 (ja)
EP (1) EP3009073B1 (ja)
JP (1) JP6559532B2 (ja)
CN (1) CN105520716B (ja)
AU (1) AU2015238800B2 (ja)
CA (1) CA2908279C (ja)
IL (1) IL241336B (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016040614A1 (en) * 2014-09-10 2016-03-17 The University Of North Carolina At Chapel Hill Radiation-free simulator system and method for simulating medical procedures
WO2016096038A1 (en) * 2014-12-19 2016-06-23 Brainlab Ag Method for optimising the position of a patient's body part relative to an irradiation source
US10596392B2 (en) 2016-05-11 2020-03-24 Sensus Healthcare, Inc. Dermatology radiotherapy system with hybrid imager
AU2017221893A1 (en) * 2016-09-08 2018-03-22 Biosense Webster (Israel) Ltd. Ent image registration
US11894123B2 (en) 2017-04-05 2024-02-06 Sensus Healthcare, Inc. Radiotherapy mobile and wireless device workflow management system
US10699448B2 (en) * 2017-06-29 2020-06-30 Covidien Lp System and method for identifying, marking and navigating to a target using real time two dimensional fluoroscopic data
US10952795B2 (en) * 2017-06-30 2021-03-23 Biosense Webster (Israel) Ltd. System and method for glass state view in real-time three-dimensional (3D) cardiac imaging
US20200405397A1 (en) * 2018-02-26 2020-12-31 Cornell University Augmented reality guidance system for cardiac interventional surgery
EP3662834A1 (en) 2018-12-07 2020-06-10 Koninklijke Philips N.V. Positioning a medical x-ray imaging apparatus
US11532132B2 (en) * 2019-03-08 2022-12-20 Mubayiwa Cornelious MUSARA Adaptive interactive medical training program with virtual patients
EP4197449A1 (en) * 2021-12-20 2023-06-21 Koninklijke Philips N.V. Fluoroscopic positioning guidance

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1996005768A1 (en) 1994-08-19 1996-02-29 Biosense, Inc. Medical diagnosis, treatment and imaging systems
US5391199A (en) 1993-07-20 1995-02-21 Biosense, Inc. Apparatus and method for treating cardiac arrhythmias
US6690963B2 (en) 1995-01-24 2004-02-10 Biosense, Inc. System for determining the location and orientation of an invasive medical instrument
DE69726576T2 (de) 1996-02-15 2004-10-14 Biosense, Inc., Miami Probe zur Ortsmarkierung
JP4072587B2 (ja) 1996-02-15 2008-04-09 バイオセンス・ウェブスター・インコーポレイテッド 位置決定システム用の独立位置可能トランスデューサ
US6239724B1 (en) 1997-12-30 2001-05-29 Remon Medical Technologies, Ltd. System and method for telemetrically providing intrabody spatial position
US6484118B1 (en) 2000-07-20 2002-11-19 Biosense, Inc. Electromagnetic position single axis system
US7729742B2 (en) 2001-12-21 2010-06-01 Biosense, Inc. Wireless position sensor
US20040068178A1 (en) 2002-09-17 2004-04-08 Assaf Govari High-gradient recursive locating system
JP2004209055A (ja) * 2003-01-07 2004-07-29 Toshiba Corp X線画像診断装置
DE102004020587B4 (de) * 2004-04-27 2016-02-18 Siemens Aktiengesellschaft Verfahren und Vorrichtung zur visuellen Unterstützung einer elektrophysiologischen Katheteranwendung mit 2D-Durchleuchtungsbildern
US7327872B2 (en) 2004-10-13 2008-02-05 General Electric Company Method and system for registering 3D models of anatomical regions with projection images of the same
US8515527B2 (en) 2004-10-13 2013-08-20 General Electric Company Method and apparatus for registering 3D models of anatomical regions of a heart and a tracking system with projection images of an interventional fluoroscopic system
WO2006063141A2 (en) * 2004-12-07 2006-06-15 Medical Metrx Solutions, Inc. Intraoperative c-arm fluoroscope datafusion system
US7996059B2 (en) * 2006-03-08 2011-08-09 Biosense Webster, Inc. Esophagus imaging enhancement device
JP2009042811A (ja) * 2007-08-06 2009-02-26 Univ Of Tokyo 3次元形状展開装置、3次元形状展開方法、および3次元形状展開用プログラム
JP5238296B2 (ja) * 2008-03-04 2013-07-17 株式会社東芝 X線装置および回転撮影方法
TW201004607A (en) 2008-07-25 2010-02-01 Been-Der Yang Image guided navigation system and method thereof
EP3087922B1 (en) * 2010-12-30 2020-02-12 St. Jude Medical International Holding S.à r.l. System for registration of images captured by an imaging system in a coordinate system of a medical device navigation system
WO2012095172A1 (en) * 2011-01-12 2012-07-19 Brainlab Determination of a body part position during radiation therapy
US9265468B2 (en) * 2011-05-11 2016-02-23 Broncus Medical, Inc. Fluoroscopy-based surgical device tracking method
MX2015002537A (es) * 2012-08-27 2015-10-22 Univ Houston Dispositivo robotico y software de sistema, hardware y metodos de uso para cirugia guiada por imagen y asistida por robot.
US10441236B2 (en) * 2012-10-19 2019-10-15 Biosense Webster (Israel) Ltd. Integration between 3D maps and fluoroscopic images
US9050056B2 (en) * 2012-12-26 2015-06-09 Biosense Webster (Israel) Ltd. Reduced X-ray exposure by simulating images

Also Published As

Publication number Publication date
US20160104312A1 (en) 2016-04-14
AU2015238800A1 (en) 2016-04-28
CN105520716B (zh) 2020-03-20
CA2908279C (en) 2022-07-19
CA2908279A1 (en) 2016-04-14
IL241336A0 (en) 2015-11-30
AU2015238800B2 (en) 2020-07-16
US9721379B2 (en) 2017-08-01
EP3009073B1 (en) 2017-12-27
EP3009073A1 (en) 2016-04-20
JP2016077893A (ja) 2016-05-16
IL241336B (en) 2019-03-31
CN105520716A (zh) 2016-04-27

Similar Documents

Publication Publication Date Title
JP6559532B2 (ja) X線透視画像のリアルタイムシミュレーション
JP7093801B2 (ja) 手術中の位置調整および誘導を容易にするシステム
CN110741414B (zh) 用于使用实时二维荧光镜检查数据识别、标记和导航到靶标的系统和方法
US7010080B2 (en) Method for marker-free automatic fusion of 2-D fluoroscopic C-arm images with preoperative 3D images using an intraoperatively obtained 3D data record
US11026747B2 (en) Endoscopic view of invasive procedures in narrow passages
KR101954868B1 (ko) 혈관 중재 시술을 위한 내비게이션 시스템 및 가상의 엑스선 이미지 생성 방법
CN107847274B (zh) 用于在机器人外科手术期间提供更新后的患者图像的方法和装置
JP6243533B2 (ja) イメージングシステムへの光学形状検知システムの放射線のないレジストレーション
US11127153B2 (en) Radiation imaging device, image processing method, and image processing program
JP2016178986A (ja) 放射線撮像装置、画像処理方法及びプログラム
JP6542069B2 (ja) X線透視装置視野のマーキング
JP2020058779A (ja) ユーザーを支援する方法、コンピュータープログラム製品、データ記憶媒体、及び撮像システム
Schwerter et al. A novel approach for a 2D/3D image registration routine for medical tool navigation in minimally invasive vascular interventions
JP6703470B2 (ja) データ処理装置及びデータ処理方法
JP7407831B2 (ja) 介入装置追跡

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180712

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20181225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190122

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190327

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190702

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190717

R150 Certificate of patent or registration of utility model

Ref document number: 6559532

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250