JP7093801B2 - 手術中の位置調整および誘導を容易にするシステム - Google Patents

手術中の位置調整および誘導を容易にするシステム Download PDF

Info

Publication number
JP7093801B2
JP7093801B2 JP2020022382A JP2020022382A JP7093801B2 JP 7093801 B2 JP7093801 B2 JP 7093801B2 JP 2020022382 A JP2020022382 A JP 2020022382A JP 2020022382 A JP2020022382 A JP 2020022382A JP 7093801 B2 JP7093801 B2 JP 7093801B2
Authority
JP
Japan
Prior art keywords
patient
tracking
data
programmed
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020022382A
Other languages
English (en)
Other versions
JP2020075178A (ja
Inventor
ウエスト、カール
ゴエル、ビカシュ
フォスター、ジェームズ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Cleveland Clinic Foundation
Original Assignee
Cleveland Clinic Foundation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Cleveland Clinic Foundation filed Critical Cleveland Clinic Foundation
Publication of JP2020075178A publication Critical patent/JP2020075178A/ja
Priority to JP2022023957A priority Critical patent/JP7290763B2/ja
Application granted granted Critical
Publication of JP7093801B2 publication Critical patent/JP7093801B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/06Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/061Determining position of a probe within the body employing means separate from the probe, e.g. sensing internal probe position employing impedance electrodes on the surface of the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101Computer-aided simulation of surgical operations
    • A61B2034/105Modelling of the patient, e.g. for ligaments or bones
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/363Use of fiducial points
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364Correlation of different images or relation of image positions in respect to the body
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37Surgical systems with images on a monitor during operation
    • A61B2090/376Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3966Radiopaque markers visible in an X-ray image
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983Reference marker arrangements for use with image guided surgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3995Multi-modality markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Description

本開示は、手術中の位置調整および誘導を容易にする方法およびシステムに関する。
背景
様々な身体部位にアクセスする低侵襲技術は、診断、治療、およびその他の外科的目的で一般的な方法になっている。たとえば、医療提供者は、胃腸管、気道、尿路、脈管構造に経皮的にアクセスすることができる。場合によっては患者に挿入される物体は直接可視とすることができるが、別の状況では直接的な見通しが利かない場合がある。
直接的な見通しが利かない血管内手術やその他の処置の場合、患者の解剖学的構造内での物体の導入および誘導を支援するために画像を取得するX線透視法が利用されることが多い。血管内装置およびその他の装置の誘導にX線Cアーム透視法を使用することが増えると、患者および手術室スタッフの放射線被ばくリスクの懸念が高まる。
本開示は、手術中の位置調整および誘導を容易にする方法およびシステムに関する。
一例として、方法は、追跡データをメモリに記憶する工程を含むことがあり、前記追跡データは、追跡システムにより生成されて前記追跡システムの追跡座標系における物体の位置を表す。前記方法は、患者固有の陰関数モデルをメモリに記憶する工程を含むことがあり、患者固有の前記陰関数モデルは、患者に関して取得される画像データに基づいて生成されて患者の解剖学的構造の幾何学形状を定義する。また、前記方法は、前記追跡データおよび患者固有の前記陰関数モデルを共通の三次元座標系に登録する工程を含むことがある。また、前記方法は、前記共通座標系における患者の前記解剖学的構造の幾何学形状に対する前記物体の位置を表す出力画像を生成する工程を含むことがある。
別の例として、システムは、追跡データを記憶するメモリを含むことがあり、前記追跡データは、追跡システムにより生成されて追跡座標系における物体の位置を表す。また、メモリは、患者固有の陰関数モデルを記憶して患者の解剖学的構造の幾何学形状を画像座標系において定義することができる。登録エンジンは、前記追跡データおよび画像データに基づいて登録行列を算出するようにプログラミングされることがある。前記登録エンジンは、前記登録行列を前記追跡データに適用して前記追跡データを前記追跡システムの座標系から前記画像座標系に変換するようにプログラミングされることがある。出力ジェネレータは、前記画像座標系における患者の前記解剖学的構造の幾何学形状に対する前記物体の位置を表すグラフィカル画像を生成することができる。
手術中位置調整システムの例を示す図。 陰関数モデルの生成に利用可能なサブシステムの例を示す図。 変換行列の生成に利用可能なサブシステムの例を示す図。 組み合わせマーカーの例を示す図。 患者に取り付けられるように構成された構造において実現した複数の組み合わせマーカーの例を示す図。 組み合わせマーカーに関連付けられる幾何学形状の例を示す図。 登録追跡データを生成するのに利用可能なシステムの例を示す図。 画像化のために陰関数モデルの位置を補正するのに利用可能な位置補正システムの例を示す図。 陰関数モデルに関して実行可能な平行移動補正を例示する解剖学的構造の画像化の例を示す図。 陰関数モデルに関して実行可能な回転補正を例示する解剖学的構造の画像化の例を示す図。 陰関数モデルに関して実行可能な平行移動と回転の両方を例示する解剖学的構造の画像化の例を示す図。 異なる補正レベルでの陰関数モデルに基づく解剖学的構造の画像化の例を示す図。 異なる補正レベルでの陰関数モデルに基づく表面レンダリングを含む解剖学的構造の画像化の例を示す図。 出力画像を生成するために実行可能な出力ジェネレータの例を示す図。 複数の物体センサに関して提供される追跡データに基づいて、物体レンダリング機能により生成可能な細長の器具(たとえば、カテーテル)のレンダリングの例を示す図。 陰関数モデルに基づいて生成される患者の解剖学的構造の画像に対する追跡物体の出力画像の一部の例を示す図。 陰関数モデルに基づいて生成される患者の解剖学的構造の画像に対する追跡物体の出力画像の別の例を示す図。 複数の異なるビュー(視野)に対して同時に生成可能な複数の同時生成出力画像の例を示す図。 異なる視野角に対して同時に生成可能な複数の出力画像を表す別の出力画像の例を示す図。 手術中の位置調整を容易にするように実行可能な方法の例を示すフロー図。
本開示は、手術中における物体の位置調整および誘導を容易にする方法およびシステムに関する。
本願に開示するアプローチは、追跡データを受信してメモリに記憶する。追跡データは、患者の身体の解剖学的構造(たとえば、管状構造)内で移動中の物体の位置を表すことができる。追跡データは、電離放射線を使用せずに物体の位置を表すことができる。たとえば、1つまたはそれ以上のセンサが追跡中の物体に接続されることがあり、それは追跡システムにより提供される場に応答して感知信号を提供することができる。追跡システムは、追跡データを決定して追跡システムの座標系において物体の三次元位置および向きを示すことができる。追跡データは、患者固有の陰関数モデルも登録されている三次元座標系に登録することができる。患者固有の陰関数モデルは、患者の解剖学的構造の幾何学形状を定義する、患者に関して取得される画像データに基づいて生成することができる。患者固有の陰関数モデルの生成に使用される画像データは、追跡システムにより追跡される手術時処置の前に取得することができる。たとえば、画像データは、手術前の計画段階の一環として取得することができる。
登録された追跡データと陰関数モデルに基づいて出力画像を生成して、患者の解剖学的構造に対する位置で、対応する物体の三次元グラフィカル表示を行うことができる。たとえば、物体の位置、方向、形状を追跡し、患者の解剖学的構造の直観的な3D陰影付き表面モデルで表示して視覚化することができる。患者の解剖学的構造の陰関数モデルにより、画像の表示および更新、たとえば直接的な見通しの利かない手術中処置をほぼリアルタイムで動的に画像化することができる。しかも、このアプローチは、手術中に多くの手順で一般的に使用される電離放射線を排除するか、あるいは少なくとも大幅に低減することができる。
図1は、手術中の誘導および位置調整を容易にするシステム10の一例を示す。システム10は、入力される追跡データ16に基づいて登録される追跡データ14を算出するように構成された登録エンジン12を備える。入力される追跡データ16は、たとえば患者に与えられる非電離放射線に応答して、器具すなわちインプラント装置などの物体に組み込み可能な1つまたはそれ以上のセンサの位置を追跡する追跡システムにより提供されることある。ここで使用されるように、非電離放射線とは、原子または分子を電離化させる、すなわち原子または分子から電子を完全に取り除くのに十分な量子当たりのエネルギーを有していない任意の種類の電磁放射線を指すことができる。追跡システムにより供給される電磁放射線は、物質を通過する際に電荷イオンを生成する代わりに、電子の高エネルギー状態への移動である励起にとってのみ十分なエネルギーを有することができる。超音波センサなどのその他の種類の追跡システムを採用して追跡データを提供することもできる。追跡データ16は、追跡システムにより検出可能な各センサの位置と向き(たとえば、ベクトル)を含むことができる。
登録エンジン12は、追跡システムの座標系からの追跡データ16を、解剖学的モデルデータ20に共通する座標系に変換することができる登録行列18を算出するようにプログラミングされている。たとえば、解剖学的モデルデータ20は、陰関数モデルによって1つまたはそれ以上の患者の解剖学的構造の幾何学形状を表すことができる。ここで使用されるように、陰関数モデルは、少数のパラメータにより幾何学的構造を表すことができる。たとえば、解剖学的モデルデータ20は、撮像データに基づいて生成可能な患者の物理的な解剖学的構造の幾何学形状を定義するパラメータを表すことができる。管状の解剖学的構造の例において、陰関数モデルは、管状の解剖学的構造の中心線および表面の幾何学形状を定義するパラメータを含むことができる。一例として、陰関数モデルは、ロフト型の基底スプライン(bスプライン)として実現することができる。
陰関数モデルの生成に使用される撮像データは、コンピュータ断層撮影(CT)、磁気共鳴画像診断、多平面X線などの撮像装置によって取得することができ、撮像装置の座標系において患者の解剖学的構造の三次元画像を提供するように構成することができる。解剖学的モデルデータ20とは異なる追跡データ16が追跡システムの座標系に生成されるため、登録エンジン12は、追跡データを解剖学的モデルデータが存在する座標系または別の共通座標系に変換するように構成することができる。
一例として、解剖学的モデルは手術前撮像データに基づいて生成することができるが、追跡データ16は手術中に追跡システムにより生成され、追跡システムにより監視される各センサの位置および向きに対応したリアルタイム追跡データを提供することができる。たとえば、1つまたはそれ以上のセンサはそれぞれ、患者に対して移動可能な物体に取り付けられることがある。たとえば、追跡システムにより検出可能なセンサは、患者の身体内で経腔的に移動および位置決めされるガイドワイヤ、カテーテル、ステント、またはその他の装置に取り付けられることがある。いくつかの例において、各センサは、5または6の自由度での追跡を可能にする追跡システムにより検出されることがある。電磁型の追跡システムにより検出可能なセンサの例は、カナダ国オンタリオ州のノーザンデジタル(Northern Digital)社から市販されている。追跡システムの種類に応じてその他の種類のセンサを使用することもできる。
登録エンジン12は、対応する登録行列18を生成するために、追跡データを適用することのできる変換を算出するようにプログラミングされた変換カリキュレータ22を含むことができる。たとえば、変換カリキュレータ22は、放射線変換24を採用することができ、この変換は、解剖学的モデルデータ20と、処置中の患者の位置に対応した手術中撮像データとを構築するのに利用される撮像データに基づいて生成することができる。したがって、放射線変換24は、追跡データ16を経時的に捕捉する1つまたはそれ以上のフレームに適用可能な固定の変換とすることができる。変換カリキュレータ22は、追跡システムにより監視中の患者および/またはセンサの移動に対応することができる。たとえば、登録行列18は、追跡データの各フレームに対応した変換をもたらすべく、(たとえば、各センサ位置で)追跡中の物体上の所定箇所における位置および向きを、解剖学的モデルデータ20と同じ座標系における登録された追跡データ14に変換する登録行列を再算出することができる。本願に開示するように、登録された追跡データ14は、上記共通座標系において任意の数の1つまたはそれ以上の物体の位置および向きを表すことができる。
出力ジェネレータ26は、登録された追跡データと解剖学的モデルデータとに基づいてグラフィカル画像を生成するように構成することができる。グラフィカル画像は、1人またはそれ以上のユーザによる目視のために出力ディスプレイ28に提供することができる。さらに、出力ジェネレータ26は、解剖学的モデルデータ20によって表される解剖学的構造のグラフィカル画像をレンダリングするようにプログラミングされることがある。登録された追跡データによって表される物体の向きにおける1つまたはそれ以上の点も、生成されるグラフィカル画像でレンダリングすることができる。
出力ジェネレータ26は、センサが関連している物体のグラフィカル表示を行うこともできる。たとえば、センサは、患者に対して移動可能な1つまたはそれ以上の部分を有するカテーテルまたはガイドワイヤに取り付けられることがある。センサを上記物体の所定の位置に取り付けることにより、登録された追跡データ14は、解剖学的構造のレンダリングと併せて重畳される出力画像において物体をグラフィカルに表示するための原点を提供できる物体の特定可能な点に対応することができる。
別の例として、出力ジェネレータ26は、前記出力画像の生成の際に他のデータ30を採用することができる。他のデータ30は、登録された追跡データ14に基づいてレンダリングを行うことのできるモデルまたはその他の表示形式を表すことができる。他のデータ30はメモリに記憶され、センサが取り付けられた物体の仕様に応じて出力ジェネレータ26からアクセスすることができる。これはユーザ入力に応答して設定するか、あるいは、システム10により、またはその他の方法で取得されるデータに基づいて自動的に決定することができる。たとえば、他のデータ30は、選択的に使用可能な物体(たとえば、器具および/またはインプラント装置)のライブラリを含むことができる。ライブラリ内の各物体は、物体と、物体の所定の位置に取り付けられた1つまたはそれ以上のセンサの位置とをレンダリングする各自のモデルを含むことができる。したがって、このようなモデルのライブラリは、システム10で利用されている様々な種類の利用可能な装置のそれぞれに対して構築することができる。さらに、各物体のモデリングは、陰関数の物体モデルに対応させることができるため、少数のパラメータにより、対応する装置構造の全体的な幾何学形状ならびにそれの挙動上の特徴を定義することができる。
別の例として、他のデータ30は、幾何学形状および挙動上の特徴ならびに各種の装置を表すことができる。たとえば、このような幾何学形状および挙動上の特徴は、器具すなわちインプラント装置の製造業者から提供されるCADモデリングに基づいて取得されるか、あるいは装置の構造分析に基づいて決定することができる。
図2は、例えば管状の解剖学的構造の陰関数モデルを生成するために利用可能なシステム50の例を示す。システム50は、解剖学的画像データ56に基づいて陰関数モデルデータ54を生成するようにプログラミングされた解剖学的モデルジェネレータ52を備える。解剖学的画像データ56はたとえば、画像装置により手術前に患者から取得することができる。一例として、手術前画像データ56は、患者の目的の領域の手術前の動脈CTスキャンに対応させることができ、たとえば対応する手術の数週間または数ヶ月前に取得することができる。MRI、超音波診断、陽電子放射断層撮影などの三次元画像データ56を提供するその他の撮像装置も利用することができる。このようなスキャンは、プロテーゼのサイジングを助け、手術またはその他の治療処置を計画する手術ワークフローにおける手術前の計画に共通する部分である。
対応する画像データ56は、手術中位置調整システム(たとえば、図1のシステム10)からアクセス可能なメモリに記憶されるか、あるいは手術中位置調整システムに転送されることがある。画像データ56は、患者の解剖学的構造に対応するピクセル(二次元スライス)またはボクセル(三次元画像情報)を表す画像データを含むことができる。また、画像データ56は、画像空間から対応する三次元座標系へのピクセルまたはボクセルの平行移動を指定可能な1つまたはそれ以上の変換を含むことができる。このような変換は、たとえば画像データ56の一部であるメタデータとして提供することができる。よって、手術前画像データ56は、画像空間における画像データの点(ピクセル)または体積(ボクセル)の座標を、撮像装置に対応した対応の三次元座標系へと変換するのに十分な情報を含む。
解剖学的モデルジェネレータ52は、入力画像データ56の処理に基づいて陰関数モデルデータ54を生成するようにプログラミングされている。一例として、解剖学的モデルジェネレータ52は画像前処理58を実行することができる。画像前処理は、対応する目的の解剖学的構造を特定するための背景補正、セグメント化、閾値設定などの自動および/または手動のプロセスを含むことができる。たとえば、解剖学的構造は、主要な血管ならびに主要な血管から延びる1つまたはそれ以上の分枝に対応させることができる。たとえば、血管は、患者の下行大動脈とそれに関連する腎動脈ならびにその他の分枝に対応させることができる。他の例では、解剖学的構造は、腸管、気道の一部、患者の消化管、または様々な診断上および手術上の目的のために物体を経腔的に配置することのできるその他の解剖学的構造に対応させることができる。
解剖学的モデルジェネレータ52は、中心線カリキュレータ60も含むことができる。中心線カリキュレータは、細長の管状の解剖学的構造の対応する中心線を算出するようにプログラミングされることがある。一例として、中心線は、構造の中心軸に沿って縦方向に延びるピクセル厚またはボクセル厚として算出することができる。管状構造の対応する表面境界は、管腔カリキュレータ62により算出することができる。管状構造は、中心線カリキュレータ60により算出される解剖学的構造の長さに沿って、中心線に対する対応の関数関係を有する解剖学的構造の表面に対応させることができる。
パラメータエスティメータ64は、管腔構造の中心線および表面に対応する1セットのモデルパラメータを算出することができ、そのパラメータは陰関数モデルデータ54に対応させることができる。パラメータのセットは、細長の解剖学的構造のためのロフト型のbスプライン(基底スプライン)関数に対応するような小さいセットのパラメータとすることができる。一例として、解剖学的モデルジェネレータ52は、米国特許公開第2011/0026793号「自動中心線抽出方法および対応する分析表現とその使用」の開示に従って陰関数モデルデータを算出するようにプログラミングすることができ、この特許は引用により本願に組み込まれる。管状の解剖学的構造の陰関数モデル生成の別の例がゴエル、ヴィカシュアール(Goel, Vikash R)著のコーネル大学の修士論文(2005)「大動脈瘤修復用CTスキャンを用いた解析中心線抽出および表面調整」に開示されており、引用により本願に組み込まれる。陰関数モデルデータを生成する他のアプローチも利用することができる。また、陰関数モデルデータ54を提供するその他の種類の幾何学的表示を利用することができる。たとえば、患者の目的の解剖学的構造を表す解剖学的モデルデータ54を提供するために、ロフト型の楕円または三角形のメッシュを表すパラメータを生成することができる。
図3は、放射線変換行列102の生成に利用可能なサブシステム100の一例を示す。放射線変換行列102は、手術前座標系から、患者の身体106に取り付け可能な組み合わせマーカーシステム104の対応する座標系への変換をもたらすことができる。組み合わせマーカーシステム104は、相互に所定の関係で配置される基準点マーカーなどの複数の放射線不透過の物体を含むことができる。ここで使用するように、放射線不透過とは、撮像装置120により取得される対応の画像において物体を可視とするのに十分なほど、通過する電磁放射を電離させることができないことを指す。よって、放射線不透過の物体は、撮像装置120に対する放射線不透過材料であり得る。
組み合わせマーカーシステム104は、放射線不透過の基準点マーカーに対して所定の位置を有する1つまたはそれ以上のセンサも含むことができる。組み合わせマーカーシステムは、目的の解剖学的構造に近い位置で患者の胴体(たとえば、患者の背中)などの患者の身体に取り付け可能な任意の数の1つまたはそれ以上の組み合わせマーカーを含むことができる。たとえば、マーカーシステム104は、目的の追跡領域に配置可能な2つ以上(たとえば、3つの)マーカーを含むことができる。いくつかの例において、マーカーシステム104は、複数の間隔をおいて配置された組み合わせマーカーを含むことができる。血管内装置を下行大動脈内で位置調整または追跡する処置の例の場合、腎動脈が大動脈に結合する場所の近傍に追跡システムを配置させることができる。目的の追跡領域に応じて他の位置を利用することもできる。
組み合わせマーカーシステム104の例を図4および図5に示す。図4は、単独の組み合わせマーカーシステム104を示す。この例において、組み合わせマーカーシステム104は複数の放射線不透過の基準点構造108を含み、それらは所定の形状を有するとともに互いに所定の幾何学的関係を有する。たとえば、放射線不透過の物体108は、所定の角度の向きおよび所定の空間配置(たとえば、不等辺直角三角形として構成)を有する複数の球として実現することができる。したがって、放射線不透過の物体108のそれぞれは、対応する放射線写真(たとえば、CTスキャン、2平面X線などにより処置中に取得される)で特定することができる。上述したように、物体108に利用可能な材料の種類は、利用される撮像装置120に応じて変更することができる。組み合わせマーカー104は、追跡システムにより検出可能な1つまたはそれ以上のセンサ110も備える。各センサ110は、放射線不透過の各物体108の形状に対して所定の空間的関係(たとえば、距離と角度)を有するような寸法および構成を備えることができる。たとえば、センサ110は、物体108の幾何学的関係に基づいて算出可能な一対の軸の原点に配置される細長のセンサを含むことができる。また、センサ110自体が軸112に沿って延びるか、あるいは放射線不透過の各物体108により画定される軸に平行とすることができる。
図6は、組み合わせマーカー104(図4)に対して決定することのできる対応の座標系142の形状を例示する。図6の例では、座標系142は(ページの)三角形の面にX軸とZ軸を有し、対応するY軸はその面(たとえば、図が示されているページ)に垂直に延びる。図6に示すように、センサ本体110’は、座標系142のZ軸に沿って延びるように示されている。114で示されるセンサ110の本体の中心がX軸、Y軸およびZ軸の原点である。本願に開示するように、センサ110は、Z軸の長さに沿って軸方向に延びており、追跡システムにより検出可能な細長コイルとして構成することができる。たとえば、センサ110は、組み合わせマーカーシステム104内の導電性材料製のコイルであって、センサコイルの中心が対応する座標系142の原点に位置するコイルとして実現することができる。
図5は、患者の皮膚を組み合わせマーカーの硬い表面から保護するのを助けることができるマーカーパッド装置116を示す。1つまたはそれ以上の組み合わせマーカーシステム104(図4)は、図3を参照して開示されるように、追跡システムの領域と手術中画像データの領域との間で同時に登録を可能とするようにパッド装置116内に実装することができる。たとえば、パッド116は、各組み合わせマーカーの周囲にクッションを提供するゲルまたはその他の軟体可撓材料を含むことができる。
図5の例では、パッド装置116は、互いに間隔をおいて分散された3つの組み合わせマーカー104を含む。パッド装置116は、患者の移動に対応する柔軟性を許容しつつ、ほぼ固定された空間的関係で各組み合わせマーカーが保持されるように構成することができる。各組み合わせマーカー104は、追跡システムに接続することのできる対応の接続部115も有する。たとえば、追跡システムは本願に開示するように電磁追跡システムとして実現することができるため、各接続部115は、追跡システムの送信機により生成され、各感知コイルにより検出可能である電磁場に応答した誘起電流を表す電気信号を追跡システムに供給することができる。他の例では、接続は無線でもよく、センサはRFまたはその他の無線技術により通信を行うことができる。追跡システムはセンサ信号を、本願に開示するように分析することができる対応の追跡システムデータに変換することができる。たとえば、追跡データは、組み合わせマーカー104毎に追跡システムの送信機に対する三次元座標空間内の点の位置および向きを含むことができる。
図3に戻ると、手術時撮像装置120は、少なくとも患者の身体における目的の追跡領域の形状と、患者の身体に取り付けられた組み合わせマーカーシステム104とに対応する手術中画像データ122を生成するように利用することができる。上述したように、システム100は、手術時撮像装置120に利用されるものと同じかまたは異なる種類の撮像装置を用いて取得可能な手術前解剖学的画像データ56も利用することができる。
画像空間変換カリキュレータ124は、手術前画像データ56の対応する座標系に手術中画像データ122を登録するように構成することができる。画像空間変換カリキュレータ124による算出は、画像ピクセルまたはボクセルを撮像装置120の座標系内の点または体積に変換する、撮像装置によって提供されるメタデータの変換に基づいて容易にすることができる。したがって、画像空間変換カリキュレータ124は、手術前画像データ56への手術中画像データ122の変換をもたらす対応の画像空間変換行列126を提供することができる(図2)。また、画像空間変換行列126は、手術前スキャンからのマーキングまたはその他の情報を、対応する処置の間に取得される対応の手術中透視画像に重ねるために利用することもできる。手術中画像データ122および手術前画像データ56は、1つまたはそれ以上の非一時的なコンピュータ可読媒体などのメモリに記憶することができる。いくつかの例において、メモリはネットワークを介してアクセス可能であるか、あるいは、メモリは固体記憶装置(たとえば、フラッシュドライブなど)などの携帯記憶装置とすることができる。
サブシステム100は、手術中画像データ122に基づいて画像マーカー変換行列132を生成するようにプログラミングされたマーカー登録エンジン130も含む。画像マーカー変換行列は、手術中画像データ122に基づいて提供されるマーカーの向きと共に、組み合わせマーカーシステム104(または少なくともその一部)の位置を符号化する。マーカー登録エンジン130は、放射線不透過の基準点マーカー(たとえば、図4および5のマーカー108)を特定するために手術中画像データ122を処理するようにプログラミングされた画像処理134を含むことができる。画像処理134は、放射線不透過の各基準点マーカー108の境界を表すピクセルおよび/またはボクセルのエッジ検出データセットを生成するために、閾値設定と画像セグメント化を含むことができる。
マーカーロケータ136は、エッジ検出データセットの対応する距離変換を算出することができる。一例として、マーカーロケータ136は、エッジ検出データセットに対する画像データ122において各ピクセルまたはボクセルの距離を算出することができる。たとえば、各基準点マーカーの縁部または境界内のボクセルの距離のみを算出するように部分変換を利用することができる。対応する算出距離値はボクセル毎に記憶することができる。たとえば、距離変換は、たとえば球に相当することのある放射線不透過の基準点マーカーの最も近い縁部までの距離を各ボクセルごとに含んだボクセルセットを提供することができる。マーカーロケータ136は、対応する軸(たとえば、各位置に球が存在する場合に足から頭まで、あるいは前後、あるいは左右に延びる)に沿って距離変換データセットを分析することができる。
マーカーエバリュエータは、たとえば球の中心で各球の表面にわたって距離変換の表面積分を算出することによって、ボクセルデータセットにおける特定の位置が球の中心であるか否かを評価するようにプログラミングすることができる。評価されるボクセルに対して球が存在すると判定される場合、表面積分はおよそゼロになるはずである。したがって、閾値(たとえば、調節可能な閾値)を設定して、表面積分と比較して、位置を球として記録すべきか否かを特定することができる。したがって、マーカーエバリュエータは、放射線不透過マーカーのとりうるすべての位置をテストし、点を比較することにより、マーカーが実際にその位置に存在することを確認することができる。調節可能な閾値未満の値を有する各クラスタは放射線不透過マーカーとして特定することができ、その位置の平均値は、対応する放射線不透過マーカーの特定に利用することができる。
図6を再び参照すると、手術中画像データに基づいてすべての球が特定された後、放射線不透過マーカー108の可能性のある各グループ分けを評価して各合成マーカーの位置を特定することができる。たとえば、各マーカー108間の距離(その重心間の距離)がテストされ、その距離が組み合わせマーカーの物理的デザインにおいて放射線不透過マーカーにより形成される三角形の脚の所定長さに一致するか否かを判定することができる。図6の例では、各マーカー108はマーカー108A,108B,108Cとして特定されている。
図3の例では、マーカー登録エンジン130は変換行列カリキュレータ140を含む。変換行列カリキュレータ140は、各組み合わせマーカーの座標系142を算出するようにプログラミングされている。たとえば、座標系の原点114は、マーカー108A,108B,108C間で形成される三角形の重心に位置することができる。上述したように、(追跡システムにより検出可能な)センサ110の中心は、座標系142の原点に配置することができるか、あるいはマーカー108A,108B,108Cとの間で別の所定の空間的関係を有することができる。
変換行列カリキュレータ140は、対応する画像マーカー変換行列132を算出するようにプログラミングされることもある。変換行列カリキュレータ140は、三角形の重心位置を符号化する平行移動成分として画像マーカー変換行列132を算出し、それぞれのマーカー104の向きを符号化する回転成分を含むことができる。回転はたとえば基底関数の変化に対応させることができる。座標系142の場合、X基底ベクトルは、マーカー108Aまで延びる球の正規化ベクトルを表すことができる。Z基底ベクトルは、108Bからマーカー108Cまで延びる正規化ベクトルマーカーに対応することができる。Y基底ベクトルは、Z基底ベクトルおよびX基底ベクトルのプロセス積に対応することができる。変換行列カリキュレータ140がYベクトルを算出した後、XベクトルおよびZベクトルを必要に応じてそれぞれ調節し、すべてのベクトルが互いに直交することを確実にすることができる。対応する座標系の出力は、画像マーカー変換行列132として提供することができる。
システム100は、画像マーカー変換行列132と画像空間変換行列126に基づいて放射線変換行列102を生成するようにプログラミングされた変換カリキュレータ146をさらに含む。変換カリキュレータ146はたとえば、画像マーカー変換行列132と画像空間変換行列126の逆数とを連結することにより、放射線変換行列を算出することができる。その結果、放射線変換行列102は、手術前画像スキャンの原点から、組み合わせマーカーの位置および向きへの変換を表すことができる。
図7は、追跡システム154から取得される追跡データ152を、対応する登録追跡データ156に変換するシステム150の例を示し、登録追跡データは陰関数解剖学的モデル(たとえば、図1のモデルデータ20によって定義)と共に共通座標系に登録される。本願に開示するように、共通座標系は、追跡システム154により手術中に生成される追跡データに対して、手術前に取得されている画像データの座標系を表すことができる。一例として、追跡システム154は追跡データ152を生成して、患者の身体160内に配置された1つまたはそれ以上のセンサ158の位置および向きを表すことができる。
組み合わせマーカーシステム162(たとえば、図3~図6の1つまたはそれ以上の組み合わせマーカー104)は、患者の身体160に取り付けることができる。図7の例では、組み合わせマーカーシステム162は、追跡システム154の座標系内における組み合わせマーカーの位置を示す信号を追跡システムに提供する1つまたはそれ以上のセンサを含むことができる。1つまたはそれ以上のその他のセンサは、追跡システムの座標系における上記センサの位置を特定するために、患者の身体160内で移動可能な物体に対して取り付けることができる。したがって、各センサ158は追跡システムに信号を提供することができ、その信号に基づいて、追跡システムはセンサ毎に対応する追跡データを算出することができる。上述したように、追跡データ152は、各物体センサ158と組み合わせマーカーシステム162内のマーカーセンサの位置および向きを表す。
追跡システム154は出力サンプルレートで追跡データを提供して、センサが取り付けられた物体ならびに組み合わせマーカーシステムをリアルタイムで位置調整および画像化するための算出を可能にする。組み合わせマーカーシステム162は、患者の身体160に取り付けられるため、追跡システム154の座標系、登録追跡データ156は常時算出されて患者の身体160の移動に対応する。たとえば、追跡システム154は、各センサ158により検出されて、対応するセンサ信号を追跡システムに提供する、155で表される非電離場を提供する送信機(たとえば、電磁場ジェネレータ)を含むことができる。追跡システム154はたとえばカナダ国オンタリオ州のノーザンデジタル社から市販されている。追跡システム154は、各センサがほぼリアルタイムでセンサ位置を決定する(たとえば、センサの位置および向きを表すベクトルを提供する)ことを可能にする十分な出力サンプルレート(たとえば、1秒間に60個のサンプル)で追跡データ152を提供することができる。したがって、追跡処理サブシステムは追跡データの各フレームを処理できるため、登録された追跡データは、追跡システムにより取得されるリアルタイム追跡データを同様に表すことができ、本願に開示するように、この追跡データは解剖学的モデルの座標系に登録して、グラフィカル表示としてレンダリングすることができる。
マーカー特定機能166は、各合成マーカ(たとえば、マーカ104)を特定するように構成することができる。たとえば、マーカー特定機能166は、追跡システムセンサと各組み合わせマーカーとを関連付けるようにプログラミングされている。たとえば、マーカー特定機能166は、手術中画像データ170により示されるように、追跡システムの座標空間(たとえば、電磁空間)と手術中画像座標系との各マーカー間の距離を算出するようにプログラミングされた合致カリキュレータ168を含むことができる。たとえば、合致カリキュレータ168は、追跡システム座標系と手術中画像座標系の2つのマーカー間の距離差を算出するようにプログラミングすることができる。また、合致カリキュレータ168は、追跡システム座標系と手術中画像座標系の両方の2つのマーカーのZ軸間の角度差も算出することができる。
合致カリキュレータによる算出に基づいて、スコアリング機能172は、合致計算の質と結果を表すスコアを割り当てることができる。たとえば、スコアリング機能172は、各組み合わせマーカーにスコアを割り当てて、合致カリキュレータ168により実行される各計算に基づいてスコアの合計を算出することができる。次いで、マーカー特定機能166は、手術中画像データ170からどの追跡システムマーカがどの放射線不透過マーカーに対応するかを特定することができる。マーカー特定機能166によるスコアリングおよび分析の結果は、対応する追跡システム変換の生成に利用することができる。
合成変換カリキュレータ174は、組み合わせマーカーシステム162における各組み合わせマーカーに対応する合成変換行列を算出することができる。上述したように、組み合わせマーカーシステムは1つまたはそれ以上の合成マーカーを含み、各合成マーカーが対応する合成変換行列176をもたらすことができる。合成変換カリキュレータ174は、予め算出された放射線変換行列178(たとえば、図3の放射線変換行列102に対応)とマーカー特定機能166により提供される追跡システム変換情報とに基づいて合成変換行列176を算出することができる。たとえば、合成変換カリキュレータ174は、追跡システム変換の情報に放射線変換行列178の逆数を乗算して、追跡システム154の座標系から解剖学的モデルが存在する座標系への対応の合成変換行列を生成することができる。
本願に開示するように、いくつかの例では、解剖学的モデルの座標系を手術前画像データの座標系に対応させることができる。複数の組み合わせマーカーが組み合わせマーカーシステム162で利用される例では、対応する合成変換行列を組み合わせマーカー毎に算出することができる。次いで、総計機能180は、たとえばすべての組み合わせマーカー合成変換行列176の平均値または平均に対応する対応の登録行列182を算出することができる。次に、登録行列182が算出された所与のフレームの対応する追跡データに登録行列182を乗算して、上記追跡データの所与のフレームの対応する登録追跡データを提供することができる。上述したように、対応する登録行列182は追跡データの各フレームに対して算出できるため、登録追跡データは、たとえばフレームの1つまたはそれ以上のシーケンスにわたって取得される追跡データを得るためにフレーム毎に生成することができる。
図8は、(たとえば、図1の出力ジェネレータ26または図14の出力ジェネレータにより)実行され、陰関数解剖学的モデル(たとえば、対応する図1の解剖学的モデルデータ20に基づく)により表される解剖学的構造の位置を補正する位置補正機能200の例を示す。位置補正機能200は、患者の脈管構造などの細長の解剖学的構造への物体(たとえば、カテーテルやガイドワイヤなどの器具)の挿入に応答して発生させることのできる変形補正を実行するようにプログラミングすることができる。図7を参照して説明したように、血管内器具に取り付けられたセンサの位置は、リアルタイムに登録される追跡データの一部として常時監視および更新することができる。
器具またはその他の物体が目的の解剖学的領域内を移動するにつれ、解剖学的構造は変形する場合があり、そのような変形は、解剖学的構造の画像生成に利用される解剖学的モデルデータを修正するために特定して利用することができる。たとえば、解剖学的構造内の器具を視覚的に正確に表示するのに解剖学的モデルを調節する必要がある場合、位置補正機能200は、状況を検出するようにプログラミングされた位置異常ディテクタ202を含むことができる。したがって、位置補正機能200は、変形エバリュエータ212を採用して解剖学的モデルデータに対して器具の登録された追跡データを分析し、補正を要する変形状態が存在するか否かを判定することができる。
たとえば、登録された追跡データ204は、患者の身体の解剖学的構造内で移動する1つまたはそれ以上のセンサ(たとえば、図7の追跡システム154により検出可能なセンサ158)を保持した器具またはその他の物体の画像を構築するように利用することができる。この例において、解剖学的モデルデータ206は、変形モデル208の変形パラメータ216に応じて空間的に調節可能な患者の解剖学的構造の固定表示に対応させることができる。したがって、変形パラメータを調節することで、物体が患者の解剖学的構造内に位置するようにモデルを所望量だけ変形させて、出力画像を生成することができる。
たとえば、位置異常ディテクタ202は、追跡データ204により表される物体が解剖学的モデルデータ206により提供される解剖学的構造の体積から外れていると変形エバリュエータが判定するか否かを検出することができる。追跡データにより表される物体の位置が前記体積内にある場合、血管が変形していないと位置異常ディテクタが判定することで、解剖学的モデルデータ206は位置補正機能200による変更をしないでおくことができる。登録された追跡データ204により表される物体が解剖学的モデルデータ206により表される解剖学的構造の体積外にあると位置異常ディテクタ202が判定した場合、位置異常ディテクタは解剖学的構造が変形していることを変形モデル208に指示することができる。
変形モデル208は、パラメータ調節機能214によって変更可能な1つまたはそれ以上のパラメータ216を含み、判定された変形の対応する量に基づいて細長の解剖学的構造の形状を改変することができる。変形モデル208は、物体の算出位置と解剖学的構造の境界(たとえば、表面)を決定するようにプログラミングされた変形カリキュレータ210を含むことができる。変形エバリュエータ212は、算出された位置を比較し、登録された追跡データにより表される物体が解剖学的モデルによって表される構造外にあることを算出位置情報が示しているか否かを判定することができる。パラメータ調節機能214は、変形が存在すると判定した変形エバリュエータ212に応答して変形パラメータ216を調節することができる。変形パラメータ216を解剖学的モデルデータに適用することで、解剖学的モデルデータ206に対応する調節を実行することができる。たとえば、モデル調節機能218は、変形パラメータの値に応じて解剖学的モデルの異なる成分を調節するために平行移動成分220と回転成分222を含むことができる。
たとえば、図9、図10および図11は、血管モデル250として例示される陰関数モデルの変形を実行するためにモデル調節機能218により実行可能な動作を例示する。図9~図11の例は、血管モデル250という状況で説明しているが、その他の種類の解剖学的構造も同様に変形させることができる。図9~図11の例において、変形は、細長の器具に対応した直線経路に、より密接に追従するように血管モデルを乱すことによって実行することができる。図9~図11に示すように、直線経路は、端点が血管モデル250の最初のスライスと最後のスライスの重心である直線線分のような軸252によって定義することができる。湾曲経路や算出した物体の形状などの他の形状の経路も、モデル250を変形させるための目標として使用することができる。
陰関数モデルがロフト型のbスプラインである例において、モデル調節機能218は、陰関数モデルの各断面スライスを定義する幾何学的結節で変形動作を実行することができる。図2を参照して説明したように、陰関数モデルが算出される際、結節は画像データから得られる表面の実際の形状に対応する。これらの結節を変換することにより、補正方法200のモデル調節機能218は血管モデル250の形状を調節することができる。任意の所与のスライスの場合、すべての結節は一緒に変換されて正確な断面形状を保持し、各スライスは平行移動と回転の両方を経ることができる。
図9は、(たとえば、平行移動機能220によって)どのようにして平行移動が所与のスライス254に対して算出されるかの例を示す。平行移動機能220はスライスの重心Cを算出することができる。平行移動機能220は、Cに最も近い軸252上の点Pも算出することができる。平行移動機能220は、変形パラメータ216を乗算するベクトルCPを算出することができる。次いで、このベクトルがスライス内の各幾何学的結節に加算される。この作用により、算出された変形パラメータ216に等しい量だけスライスがベクトルに沿ってCからPへと平行移動させられる。
図8および図10を参照すると、回転調節機能222は、変形パラメータ216に基づいてモデル250の各スライスの回転変形を算出するようにプログラミングされている。回転調節機能222は、スライス256の面が軸252に、より垂直に配置されるようにスライス256を回転させることができ、その相対的な垂直度は変形パラメータ216に依存する(たとえば比例する)。回転調節機能222は、スライス256の面に垂直な単位法線ベクトルNを算出することができる。また、回転調節機能222は、軸252に平行であって上記スライスの重心を通って延びる単位ベクトルTを算出することができる。
回転調節機能222は外積N×Tを算出することができ、外積の方向が回転軸となる。回転調節機能222は、外積の大きさのアークコサインを算出して回転角度を決定することができる。スライス上の各点がこの軸を中心にしてこの角度だけ回転すると、スライスは軸に垂直となる。よって、モデル250の各スライスの場合、回転調節機能222は、算出された回転角度に変形パラメータ216を乗算し、変形パラメータに基づいて算出回転角度の端数部分として回転を実行するようにプログラミングされている。図11は、平行移動および回転が実行された後の血管モデル250の例を示す。
図12は、270,272,274,286,278で表される異なる変形量を例示した血管モデルの例を示す。たとえば、例示のモデル270,272,274,286,278はそれぞれ、本願に開示するように、(たとえば、パラメータ調節機能214によって)既に算出されている変形パラメータの異なる値を適用することに基づいて生成することができる。図13は、異なる変形パラメータに関して算出された血管モデル280,282,284,286,288を例示しており、これらは、各スライスを接続すること、たとえば各スライスを円柱状の部分で接続することにより各モデルを描画した表面290を有している。
図14は、対応するグラフィカル表示をレンダリングするためにディスプレイに提供される画像化データ304を生成するようにプログラミングされた出力ジェネレータ302を含んだ画像化システム300の例を示す。出力ジェネレータ302は、登録された追跡データ306、解剖学的モデルデータ308、および物体モデルデータ309に基づいて画像化データ304を生成することができる。登録された追跡データ306は、図1の登録された追跡データ14ならびに図7の登録された追跡データ156に対応させることができる。解剖学的モデルデータ308は、図1の解剖学的モデルデータ20ならびに図2の解剖学的モデルデータ54に対応させることができる。物体モデルデータ309は、物体に対応するように生成されている別の陰関数モデルに対応させることができる。本願に開示するように、1つまたはそれ以上のセンサは、登録された追跡データ306を算出する追跡データを生成する図7の追跡システム154などの追跡システムにより位置を追跡できるように物体に固定することができる。
たとえば、物体モデルデータ309は、手術器具、例えばワイヤやカテーテルなどの可撓性の先端を有するほぼ剛体の手術器具または関節のある器具の解析またはパラメータ表示に対応させることができる。したがって、物体モデルデータ309とそれが定義する対応する陰関数モデルの複雑さは、患者の解剖学的構造内で追跡中の器具またはその他の物体の種類に応じて変わる可能性がある。物体の形状のパラメータ化に加えて、物体モデルデータ309は、物体のその他の特性(たとえば、弾性および/または靱性)をモデル化するように構成することもできる。
出力ジェネレータ302は、入力データ306,308,309に基づいて画像化データ304に対応する三次元図を生成するようにプログラミングされたレンダリング方法310を含む。各種のレンダリングソフトウェア(たとえば、市販または独自のソフトウェア)はレンダリング方法310として利用および実行することができ、出力システム300による使用のために生成されるモデルの種類に応じて変更することができる。
出力ジェネレータ302は、手術中に提供される出力を制御可能な表示制御部312を含むことができる。表示制御部312は、1つまたはそれ以上の画面に同時に任意の数の1つまたはそれ以上の表示を選択的に生成するように構成することができ、表示はそれぞれ物体および解剖学的構造の異なるビューを含むことができる。各ビューは、たとえばデフォルトパラメータによって自動的に選択されるか、あるいはユーザインタフェース314により提供されるユーザ入力に応答して調節することができる。この表示制御部312は、ユーザに提示される解剖学的モデルと物体の各画像の視野角を制御することもできる。各画像内の構造は陰関数モデルに基づく仮想レンダリングであるため、出力画像は特定の視野角または画像の種類に限定されない。
いくつかの例において、表示制御部312は、タスク固有の画像を算出および表示することができ、たとえば特定のタスク(たとえば、腎動脈へのカニューレ挿入)のための最適ビューを含むことができる。一例として、血管にカニューレを挿入する際、邪魔や障害なく血管およびワイヤを視覚化することが有益である。各血管および各装置は仮想レンダリングであるため、出力ジェネレータはこの画像を生成することができる。また、各モデルデータ308および309は構成部品に容易に分離されるため、他のアイテムを有効に表示から除去し、関連する形状および当面のタスクの遠隔測定データのみを医師に示すことができる。したがって、表示制御部は、二次元または三次元空間においてほぼすべての画像を生成するためにレンダリング方法310を要求することができ、迅速にレンダリングすることができる。
出力ジェネレータ302は、図8を参照して開示する位置補正機能200に対応する位置補正機能328も含むことができる。したがって、レンダリング方法310により利用される解剖学的モデルデータ308は、算出された変形パラメータに応じてモデルの位置(たとえば、平行移動位置および回転位置)を調節するために、対応する変形モデルを含む解剖学的モデルデータの位置補正バージョンで機能することができる。
図14の例において、レンダリング方法310は、解剖学的構造(たとえば、血管または腸などの細長の管状構造)の形状を定義するパラメータを含んだ解剖学的モデルデータ308に基づいて、解剖学的構造の中心線を描画するようにプログラミングされた中心線レンダリング機能318を含む。たとえば、解剖学的モデルデータ308は、一連の幾何学的結節に対応するスプライン曲線として記憶することができる。中心線レンダリング機能318は、幾何学的結節からスプライン制御点を算出することによって曲線を評価することができる。次いで、中心線レンダリング機能318は、中心線が単独のパラメータの関数となるように、所与のパラメータ値の算出された制御点を用いてスプライン方程式を評価することができる。
一例として、中心線レンダリング機能318は、パラメータuの間隔を選択することによって取られる管状構造の軸に対応した経路に沿って変化する0から1までの単独のパラメータ(u)の関数として、中心線を算出することができる。その値は各間隔で算出することができ、レンダリング方法310は、パラメータuの値の間に引かれた一連の対応する線分として曲線を描画することができる。たとえば、0.1の間隔が選択された場合、中心線に対応する曲線はu=0、u=0.1、u=0.2などで求められ、uの各値の対応する点を接続して解剖学的モデルの中心線に対応する図を提供することができる。
レンダリング方法310は、解剖学的モデルデータ308によって定義される陰関数モデルに基づいて解剖学的構造の表面の図を生成する表面レンダリング機能320も含むことができる。一例として、表面レンダリング機能320は、管状構造の軸に沿って延びる変数uと、表面の接線方向に移動しながら変化する別のパラメータ(v)という2つの変数の関数として表面を算出することができる。本願に開示するように、解剖学的モデルデータ308は、一連のスライスとして表面情報を記憶し、各スライスは、細長の管状構造の一連の幾何学的結節によって表すことができる。
別の例として、表面レンダリング機能320は、以下のように任意の所与の(u、v)パラメータの組の表面点の位置を算出することができる。スプラインの各スライスは、中心線と同じ技術を利用して所与のvパラメータで評価することができる。その結果、すべてが表面の同じ接線位置にある一連の点とすることができる。このような点は新たな一次元スプラインの一連の幾何学的結節としての役割を果たし、所与のuパラメータで評価することができる。表面レンダリング機能320は、パラメータを評価することにより、表面に敷きつめられる三角形を生成することで表面を視覚化することができる。このような三角形は、様々なコンピュータグラフィックス、ハードウェア、ソフトウェアを用いて効率的にレンダリングすることができる。表面レンダリング機能320はたとえば、u方向とv方向のそれぞれに対応する2つの間隔Su,Svを採用することができる。たとえば、表面レンダリング機能320は表面の全体にわたり、以下のように三角形の描画を繰り返すことができる。
u=Su刻みで0~1
v=Sv刻みで0~1
点1=表面(u,v)
点2=表面(u+Su,v)
点3=表面(u+Su,v+Sv)
点4=表面(u,v+Sv)
三角形(点1、点2、点3)
三角形(点3、点4、点1)
三角形を上述したが、他の多角形状を使用することもできる。
レンダリング方法310は、物体モデルデータ309と、登録された追跡データ306とに基づいて物体のグラフィカル表示をレンダリングする物体レンダリング機能322も含むことができる。本願に開示するように、1つまたはそれ以上の異なる物体を患者の形状に対して同時にレンダリングすることができ、各物体は物体モデルデータ309から提供される独自のモデルを有する。登録された追跡データ306は、解剖学的モデルが登録された同一の座標系に対応する三次元空間において1つまたはそれ以上のセンサの点を表す。よって、物体レンダリング機能322は、登録された追跡データによって定義される物体の位置に応じて、各物体のグラフィカル表示を生成するようにプログラミングすることができる。
たとえば、物体レンダリング機能322は、全体の登録行列を乗算した変換行列を適用することにより、剛体の物体(および物体の剛体部分)を描画することができる。関節のある物体(たとえば、ワイヤやカテーテルなどの可撓性の先端を有する器具)の場合、物体レンダリング機能は構造の異なる部分を別々に描画するようにプログラミングすることができる。
一例として、物体レンダリング機能322は、別々の位置で細長の器具をレンダリングすることができる。図15は、複数の物体センサに関して提供される追跡データに基づいて、物体レンダリング機能322により生成可能な細長の器具(たとえば、カテーテル)338のレンダリングの例を示す。図15の例において、器具338のレンダリングは、先端部340、身体遠位部342、接続部344、身体近位部346および後端部348を含む。2つまたはそれ以上のセンサの追跡データに基づくこのような別個の部分のレンダリング338は、器具の形状を表すことができる。たとえば、1つのセンサを身体遠位部において器具に取り付けて、別のセンサを身体近位部において器具に取り付けることができる。
別の例として、物体レンダリング機能322は、先端340が身体遠位部の遠位に位置するように、遠位センサの+Z軸に沿って平行移動する剛体シリンダとして先端340をレンダリングすることができる。身体遠位部342は(たとえばセンサの追跡データに基づいて)遠位センサの位置で剛体シリンダとしてレンダリングすることができる。また、物体レンダリング機能322は、(たとえば、上記センサの追跡データに基づいて)近位センサの位置で身体近位部346を剛体シリンダとしてレンダリングすることができる。接続部344は2つの円(たとえば、1つが身体遠位部の近位端、もう1つが身体近位部の遠位端)としてレンダリングすることができ、それらの円の間の補間によってロフトすること、たとえばベジエ曲線でロフトすることができる。物体レンダリング機能322は、身体近位部の近位に位置するように近位センサの-Z軸に沿って平行移動する剛体シリンダとして後端部をレンダリングすることができる。各部分の長さ、半径、色は、物体の実際の物理的外観に応じて選択することができる。状況によっては、たとえば、レンダリングされる物体の形状をさらに合致させるのに適している場合、物体レンダリングに適宜、非円形状を使用することができる。
出力ジェネレータ302は、物体の位置に対応する登録追跡データ306と患者の解剖学的構造とに基づくことのできるユーザが感知可能な誘導を生成するようにプログラミングされた誘導ジェネレータ330も含むことができる。静的な誘導もあれば、動的な誘導もある。たとえば、誘導ジェネレータ330は物体位置エバリュエータ332を含むことができ、物体位置エバリュエータ332は、解剖学的モデルデータ308において指定されているかあるいは解剖学的モデルデータ308から決定される1つまたはそれ以上の解剖学的特徴の位置に対する登録追跡データ306に基づいて、物体の位置を評価するようにプログラミングされている。上記特徴はたとえば、管状構造またはその他の解剖学的ランドマーク(たとえば、目標の解剖学的部位)の分岐を含むことができる。上記解剖学的特徴に対して提供される誘導は、特徴の位置または物体が上記位置に到達するまで前進する軌道を含むことができる。
一例として、物体位置エバリュエータ332は、選択された特徴と物体に沿った点(たとえば、器具の遠位先端または物体に沿ったその他の所定の位置)間の距離を算出することができる。物体位置エバリュエータ332は、物体と目的の解剖学的特徴との間の相対的な近接を確認する距離を利用することができる。この評価に基づいて、誘導ジェネレータ330は、可視インジケータ、可聴インジケータ、または可聴および可視インジケータの組み合わせを提供することができる。たとえば、可聴インジケータは、物体の位置と目標の特徴の位置の間の距離の低下の関数として周波数を増加させる一連のビープまたはトーンを提供することができる。誘導ジェネレータ330は、目標上の位置を示す緑、所定のパラメータ内でのずれを示す黄、予測されるパラメータから外れた位置を示す赤など、出力画像の選択される特徴に適用される色コードを特定することができる。
別の例として、誘導ジェネレータ330は、物体(たとえば、カテーテルまたはワイヤ)の遠位先端が向く方向を示す画像化グラフィカルインジケータを生成することのできる方向インジケータ334も含むことができる。グラフィカルインジケータは、所与のセンサの正Z軸に沿って平行移動される一連の短い線としてレンダリングすることができる。よって、可視インジケータは、物体が解剖学的構造の所与の部分と揃っているか否かを判定する簡易な方法を提供して、目標の分枝血管内での物体の前進を容易にすることができる。誘導の外観は、生成される具体的な視野角に応じて変わる。
330で生成される誘導は、たとえば異なる目的の構造に対して異なる色コードを用いることによって、解剖学的位置またはその他の目標の部位をグラフィカルに差別化する情報も提供することができる。たとえば、330で生成される誘導は、対応する分枝への入口周辺に現れる環状の太線として、各分枝血管の小孔の外辺部をレンダリングすることができる。当業者であれば、誘導ジェネレータ330の外観がユーザへの追加のフィードバックを提供し得ることを理解するであろう。たとえば、分枝においてグラフィカルに差別化する輪として示されている小孔の所定の距離内に物体の先端が入ると、その先端が所定の距離内に入るにつれて、その輪の色が変わる。
図16~図19は、出力ジェネレータ302(図1の出力ジェネレータ26に対応)により生成することのできる画像化の例を示す。図16~図19の例は主要な血管、すなわち下行大動脈という状況で示しているが、本願に開示するシステムおよび方法は、その他の解剖学的構造およびその構造に対して身体内に配置することのできる物体の画像の生成にも同等に適用可能である。
図16は、出力ジェネレータにより生成可能な視覚化された出力画像350を示す。画像350は、本願に開示するように患者の形状の陰関数解剖学的モデルに基づいてレンダリングすることができる血管の中心線352および表面354を含む。画像350は、主要な分枝から横方向に延びる分枝も含むことができる。図16の例において、物体は、小孔362に接近していく先端を有する可撓性のカテーテル360のレンダリングとして示されている。図16に示すように、物理的なツールに配置されている2つまたはそれ以上のセンサに対して生成される追跡データに基づいて、仮想レンダリング内の形状が(たとえば、図14の物体レンダリング機能322により)提供されるため、カテーテル360の形状は物理的なツールの形状にほぼ一致する。図16の画像は、カテーテルの先端から延びる軸方向の誘導特徴部364も示しており、(たとえば図14の誘導ジェネレータ330によって)物体のZ軸から外方に突出するようにレンダリングすることができる。図示するように、軸方向の誘導特徴部364は、隣接する分枝の小孔362に挿入するための正しい方向に先端が向いていることを示している。
図17は、解剖学的モデルデータからレンダリングすることができる中心線372と表面374とを含む血管370の出力画像の別の例を示す。図17の例は、主要な分枝から外側に延びる複数の分枝376,378,380を示す。カテーテル(またはその他の器具)382などの可撓性の細長の物体も、登録された追跡データおよび対応する物体モデルに基づいて画像内にレンダリングされる。カテーテル382は分枝380の小孔384に向かって前進しつつあり、小孔は変色して、たとえばカテーテルが目標上にあるという誘導を提供している。
図18は、対応する座標系における異なる直交ビューからの複数の異なるウィンドウを含む出力画像400を示す。図18の例の各ビューにおいて、患者の解剖学的構造および物体は、解剖学的モデルデータと、登録された追跡データの対応するサンプルまたはフレームとに同時に基づいて生成される。本願に開示するように、各ビューは、ユーザ入力に応答するユーザの選択可能なビューとすることができる。ビューの寸法および提示される情報は、自動的におよび/またはユーザ入力に応答して変更することができる。図19は、解剖学的モデルデータおよび登録された追跡データに基づいて同時にマルチポートフォーマットで生成可能な出力画像の別のセットの一例を示す。
上記の構造上および機能上の特徴に鑑み、実行可能な方法は図20を参照してより適切に理解されるであろう。説明の簡易化のために、図20の方法を順次実行するように図示して説明しているが、本発明は例示の順序に限定されず、本発明によれば、いくつかの側面は、本願に図示および記載される他の側面とは異なる順序でおよび/または同時に実行することができると認識すべきである。さらに、例示されるすべての特徴が本発明の一側面による方法を実行するために必要とは限らない。方法およびその一部は、非一時的な記憶媒体に記憶されるとともに、コンピュータ装置または特殊用途のコンピュータ装置(たとえば、専用コンピュータまたはワークステーション)のプロセッサによって実行されてデータソースにアクセスし本願に開示される機能を遂行する命令として実現することができる。
図20は、手術中の位置調整および誘導を容易にするように実行することのできる方法500の例を示す。502において、患者の解剖学的構造の幾何学形状に関する陰関数モデルを、本願に開示するように画像データに基づいて(たとえば、図2のモデルジェネレータ52によって)生成することができる。解剖学的モデルおよび対応する画像データはメモリに記憶することができる。
504で、追跡データは、物体の位置表示を提供するように(たとえば、図7の追跡システム154により)生成することができる。追跡データは処理のためにメモリに記憶することができる。本願に開示するように、物体は、患者内で手術中に移動可能な器具またはその他の装置とすることができる。たとえば、追跡データは、手術中に患者に(たとえば、経腔的に、または血管内に)配置される物体に保持された1つまたはそれ以上のセンサにより提供される信号に応答して生成することができる。本願に開示するように、従来のX線透視法とは全く異なり、電離放射線のない場合でも物体に関しての追跡データを生成することができる。
506において、追跡データおよび患者の陰関数固有モデルは、(たとえば、図1の登録エンジン12により)共通の三次元座標系に登録することができる。たとえば、座標系は、患者の解剖学的構造に関する陰関数モデルが生成されたことに基づいて手術前画像の座標系とすることができる。
508において、解剖学的構造の幾何学形状に対する物体の位置を表す出力画像を(たとえば、図1の出力ジェネレータ26または図14の出力ジェネレータ302により)生成することができる。たとえば、出力画像は、陰関数解剖学的モデル(たとえば、手術前画像空間に対応)と共に共通座標系に登録されているマルチセンサ追跡データに基づいて、三次元空間における物体の位置、向き、形状を表すことができる。追跡データの生成、追跡データおよび陰関数モデルの登録、出力画像の生成は、生成される追跡データに応答して経時的に繰り返すことができる。このように、出力画像は、たとえば追跡データが生成される出力サンプルレートに従って、(たとえば、リアルタイムで)動的に更新することができる。したがって、出力画像はほぼリアルタイムで生成して、物体の位置調整および誘導を容易にすることができる。出力画像は、本願に開示するように(たとえば、ユーザ入力または変形補正に応答して)変更することができる任意の数の同時生成ビューを含むことができる。
上記の構造上および機能上の説明に鑑み、当業者であれば、本願に開示するシステムおよび方法の一部が、方法、データ処理システム、または非一時的なコンピュータ可読媒体などのコンピュータプログラム製品として具体化できることを理解するであろう。したがって、本願に開示するアプローチのこれらの部分は、完全なハードウェアの実施形態、完全なソフトウェア実施形態(たとえば、非一時的な機械可読媒体で)、またはソフトウェアとハードウェアの組み合わせの実施形態の形態をとることができる。さらに、本願に開示するシステムおよび方法の一部は、コンピュータ可読プログラムコードを媒体上に有するコンピュータ利用可能な記憶媒体上のコンピュータプログラム製品とすることができる。任意の適切なコンピュータ可読媒体は、静的および動的な記憶装置、ハードディスク、光学記憶装置、磁気記憶装置を含むがそれらに限定されない。
特定の実施形態を、方法、システム、コンピュータプログラム製品のブロック図を参照して説明した。図中のブロックおよびブロックの組み合わせは、コンピュータ実行可能な指示によって実現することができると理解される。これらのコンピュータ実行可能な指示は、汎用コンピュータ、専用コンピュータ、またはその他のプログラム可能なデータ処理装置(または装置と回路の組み合わせ)の1つまたはそれ以上のプロセッサに提供され、プロセッサを介して命令を実行する機械が生成され、ブロックに指定される機能を遂行する。
これらのコンピュータ実行可能な命令は、具体的に機能を果たすようにコンピュータまたはその他のプログラム可能なデータ処理装置に命じることのできるコンピュータ可読メモリに記憶させることができるため、コンピュータ可読メモリに記憶される命令は結果的に、フローチャートブロック(複数可)に明記される機能を実行する命令を含む製品となる。また、コンピュータプログラム命令はコンピュータまたはその他のプログラム可能なデータ処理装置にロードして、コンピュータまたはその他のプログラム可能な装置で一連の動作ステップを実行させて、コンピュータ実行可能なプロセスを生成することで、コンピュータまたはその他のプログラム可能な装置上で実行される命令がフローチャートブロックに指定される機能を遂行するステップを提供することができる。
上述した内容は例である。当然ながら、構成要素または方法の考えられるすべての組み合わせを記載することはできないが、当業者であれば、別の多くの組み合わせや置換が可能であることを認識するであろう。したがって、本発明は、添付の請求項を含む本願の範囲内に含まれるすべての変更、修正、変形を包含することを意図する。本開示または請求項が「a」、「an」、「第1の」、「別の」など、およびそれに類似の文言を伴う構成要素について記載する場合、その要素は1つまたはそれ以上含まれると解釈すべきであり、2つまたはそれ以上含まれなければならないと解釈すべきではない。本願で使用する際、「include」という用語は、含むがそれに限定されないという意味であり、「including」も、含むがそれに限定されないという意味である。「基づく」という用語は、少なくとも部分的に基づくことを意味する。
[付記1]
追跡データをメモリに記憶する工程であって、前記追跡データは、追跡システムにより生成されて前記追跡システムの追跡座標系における物体の位置を表すことと、
患者固有の陰関数モデルをメモリに記憶する工程であって、患者固有の前記陰関数モデルは、患者に関して取得される画像データに基づいて生成されて患者の解剖学的構造の幾何学形状を定義することと、
前記追跡データおよび患者固有の前記陰関数モデルを共通の三次元座標系に登録する工程と、
前記共通の座標系における患者の前記解剖学的構造の幾何学形状に対する前記物体の位置を表す出力画像を生成する工程とを備える方法。
[付記2]
前記追跡データは、前記追跡座標系における前記物体の位置および向きを含む、付記1に記載の方法。
[付記3]
付記1または2に記載の方法は、前記追跡システムにより電磁場を生成する工程をさらに含み、前記物体は、前記追跡システムにセンサ信号を提供する少なくとも1つのセンサを備え、前記追跡システムは、前記センサ信号に基づいて前記追跡データを生成する、方法。
[付記4]
付記1に記載の方法は、出力サンプルレートに従って前記追跡システムにより経時的に生成される複数のフレームとして前記追跡データを受信する工程をさらに含み、前記複数のフレームのそれぞれの追跡データは、追跡座標系における前記物体の位置および向きを含み、前記登録する工程および前記生成する工程は、追跡データの前記複数のフレームのそれぞれに対して繰り返される、方法。
[付記5]
前記画像データは、前記追跡データの生成に先立って取得される患者の手術前画像データであり、
手術時撮像装置により取得される手術中画像データを記憶する工程であって、前記手術中画像データは、前記解剖学的構造と、前記手術時撮像装置により検出可能な画像マーカーおよび前記追跡システムにより検出可能な別のマーカーを含んだ少なくとも1つの組み合わせマーカーとを表すことと、
画像空間変換を算出して前記手術中画像データを前記共通の座標系に登録する工程とをさらに含む付記1~4のいずれか一項に記載の方法。
[付記6]
前記共通の座標系は、前記手術前画像データの座標系を含む、付記5に記載の方法。
[付記7]
前記手術中画像データに基づいて前記画像マーカー用のマーカー座標系を算出する工程と、
前記画像マーカー座標系に基づいて画像マーカー変換行列を算出する工程と、
前記画像マーカー変換行列および前記画像空間変換に基づいて放射線変換行列を算出する工程とをさらに含む付記5に記載の方法。
[付記8]
手術中に取得される追跡データに基づいて各組み合わせマーカー用の追跡マーカー座標系を決定する工程と、
前記追跡マーカー座標系を前記放射線変換に適用することに基づいて登録行列を、前記登録行列により前記追跡システムの座標系から前記共通の座標系への変換が得られるように算出する工程と、
手術中に取得される追跡データに前記登録行列を適用して前記共通の三次元座標系に前記追跡データを登録する工程とをさらに含む付記7に記載の方法。
[付記9]
前記共通の座標系は、患者の前記手術前画像データの座標系を含む、付記8に記載の方法。
[付記10]
前記追跡データは、前記追跡システムが患者に非電離放射線を当てることに応答して生成される、付記8に記載の方法。
[付記11]
前記少なくとも1つの組み合わせマーカーは複数の組み合わせマーカーをさらに含み、各追跡マーカー座標系は、手術中に取得される追跡データに基づいて前記組み合わせマーカーのそれぞれに対して決定されており、
前記各追跡マーカー座標系を前記放射線変換に適用することに基づいて、前記複数の組み合わせマーカーのそれぞれの合成変換行列が算出され、
算出された前記合成変換行列のそれぞれを合計して前記登録行列を提供する工程をさらに含む付記8に記載の方法。
[付記12]
前記追跡データは、前記追跡システムにより経時的に生成される前記追跡データの複数のフレームを含み、前記複数のフレームのそれぞれの追跡データは、前記追跡座標系における前記物体の位置および向きを含み、
前記追跡マーカー座標系を決定する工程および前記登録行列を算出する工程は、前記出力画像が経時的に動的な変化をするように、追跡データの前記複数のフレームのそれぞれに対して繰り返される、付記8に記載の方法。
[付記13]
患者固有の前記陰関数モデルは、前記解剖学的構造の幾何学形状の表面および中心線を表すパラメータを含んだロフト型の基底スプラインを有する、付記1~12のいずれか一項に記載の方法。
[付記14]
患者の前記解剖学的構造は、管腔を含んだ細長の管状構造を有する、付記13に記載の方法。
[付記15]
患者の前記解剖学的構造は、少なくとも1つの血管、胃腸管の一部、気道の一部、または生殖管の一部を含む、付記13に記載の方法。
[付記16]
前記出力画像を生成する工程は、患者固有の前記陰関数モデルおよび登録された前記追跡データに基づいて、患者の前記解剖学的構造の幾何学形状に対する前記物体の複数の異なる同時ビューを同時にレンダリングする工程をさらに含む、付記1~15のいずれか一項に記載の方法。
[付記17]
前記物体には複数のセンサが取り付けられており、前記追跡データは、前記出力画像が前記複数のセンサから得られる前記物体の形状を表すように、前記複数のセンサの各位置を特定する追跡データを含む、付記1~16のいずれか一項に記載の方法。
[付記18]
付記1~17のいずれか一項に記載の方法を実行するようにプログラミングされた命令を有する1つまたはそれ以上の機械可読媒体。
[付記19]
追跡データを記憶するメモリであって、前記追跡データは、追跡システムにより生成されて追跡座標系における物体の位置を表すことと、
患者固有の陰関数モデルを記憶して患者の解剖学的構造の幾何学形状を画像座標系において定義するメモリと、
前記追跡データおよび画像データに基づいて登録行列を算出するようにプログラミングされた登録エンジンであって、前記登録エンジンは、前記登録行列を前記追跡データに適用して前記追跡データを前記追跡システムの座標系から前記画像座標系に変換するようにプログラミングされていることと、
前記画像座標系における患者の前記解剖学的構造の幾何学形状に対する前記物体の位置を表すグラフィカル画像を生成する出力ジェネレータとを備えるシステム。
[付記20]
付記19に記載のシステムは、非電離電磁場を生成するように構成された前記追跡システムをさらに備え、前記物体は、前記追跡システムにセンサ信号を提供する少なくとも1つのセンサを備え、前記追跡システムは、前記センサ信号に基づいて前記追跡データを生成する、システム。
[付記21]
前記追跡システムは、前記少なくとも1つのセンサの位置を別々の時点で表す複数のフレームとして前記追跡データを提供し、前記複数のフレームのそれぞれの追跡データは、前記追跡座標系における前記物体の位置および向きを含み、前記登録エンジンは、前記複数のフレームのそれぞれに対して、登録される追跡データを生成する、付記20に記載のシステム。
[付記22]
手術時撮像装置により取得される手術中画像データを記憶するメモリであって、前記手術中画像データは、患者の前記解剖学的構造と、前記手術時撮像装置により検出可能な画像マーカーおよび前記追跡システムにより検出可能な別のマーカーを含んだ少なくとも1つの組み合わせマーカーとを表すことと、
画像空間変換を算出して前記手術中画像データを前記画像座標系に登録するようにプログラミングされた画像空間変換カリキュレータとをさらに備える付記19または20に記載のシステム。
[付記23]
前記手術中画像データに基づいて前記画像マーカー用の画像マーカー座標系を算出するようにプログラミングされたマーカー登録エンジンであって、前記マーカー登録エンジンは、前記画像マーカー座標系に基づいて画像マーカー変換行列を算出するようにプログラミングされていることと、
前記画像マーカー変換行列および前記画像空間変換に基づいて放射線変換行列を算出するようにプログラミングされた変換カリキュレータとをさらに備える付記22に記載のシステム。
[付記24]
前記登録エンジンは、
手術中に取得される追跡データに基づいて各組み合わせマーカー用の追跡マーカー座標系を決定するようにプログラミングされたマーカー特定機能と、
前記追跡マーカー座標系を前記放射線変換に適用することに基づいて登録行列を、前記登録行列により前記追跡システムの座標系から前記画像座標系への変換が得られるように算出するようプログラミングされた変換カリキュレータとをさらに備える、付記23に記載のシステム。
[付記25]
前記少なくとも1つの組み合わせマーカーは複数の組み合わせマーカーをさらに含み、各追跡マーカー座標系は、手術中に取得される追跡データに基づいて前記組み合わせマーカーのそれぞれに対して決定されており、
前記変換カリキュレータは、前記各追跡マーカー座標系および前記放射線変換に基づいて、前記複数の組み合わせマーカーのそれぞれの合成変換行列を算出するようにプログラミングされており、
前記登録エンジンは、前記合成変換行列のそれぞれを結合して前記登録行列を提供する総計部をさらに備える、付記24に記載のシステム。
[付記26]
付記24に記載のシステムは、前記少なくとも1つのセンサの位置を別々の時点で表す複数のフレームとして前記追跡データを生成するように構成された前記追跡システムをさらに備え、前記複数のフレームのそれぞれの追跡データは、前記追跡座標系における前記物体の位置および向きを含み、
前記マーカー特定機能および前記変換カリキュレータは、前記追跡データの前記複数のフレームのそれぞれについての各登録行列を算出するようにプログラミングされており、前記出力ジェネレータは、対応するフレームの各登録行列を対応するフレームの前記追跡データに適用することに基づいて、前記出力画像が経時的に動的な変化をするように前記グラフィカル画像を生成するようプログラミングされている、システム。
[付記27]
患者固有の前記陰関数モデルは、患者の解剖学的構造の幾何学の表面および中心線を表すパラメータを含んだロフト型の基底スプラインを有する、付記19,20,21,24,25または26に記載のシステム。
[付記28]
患者の解剖学的構造は、管腔を含んだ細長の管状の解剖学的構造を有する、付記27に記載のシステム。
[付記29]
前記追跡データは、追跡座標系における前記物体に設けられた複数のセンサの位置および向きを表すマルチセンサ追跡データを含み、前記登録エンジンは、前記画像座標系に登録された前記マルチセンサ追跡データを登録して、登録されたマルチセンサ追跡データを提供するようにプログラミングされており、
前記出力ジェネレータは、登録された前記マルチセンサ追跡データに基づいて、前記出力画像における前記物体の形状をレンダリングするようにプログラミングされた物体レンダリング機能をさらに備える、付記19,20,21,24,25,26,27または28に記載のシステム。

Claims (14)

  1. システムであって、
    データおよび機械可読命令を格納するように構成された非一時的メモリであって、前記データは、
    患者の解剖学的構造の幾何学形状を定義するパラメータを含む患者固有のモデルと、
    電磁追跡システムによって生成された電磁場に応答して提供されるセンサ信号に基づいて経時的に記録される追跡データであって、別々の時点での前記電磁追跡システムの追跡座標系における物体に取り付けられたセンサの位置および向きを表すために取得された複数のフレームを含む、追跡データと
    を含む、非一時的メモリと、
    前記メモリにアクセスし、前記機械可読命令を実行するように構成されたプロセッサであって、前記機械可読命令は、
    前記患者に配置された少なくとも1つの組み合わせマーカーデバイスに対する前記追跡座標系を放射線変換行列に適用することによって前記追跡データを共通の三次元座標系で登録するようにプログラムされた登録エンジンであって、前記放射線変換行列は、前記追跡座標系から前記共通の三次元座標系への変換を提供し、前記登録エンジンは、前記患者固有のモデルを前記追跡データと共に前記共通の三次元座標系で登録する、登録エンジンと、
    前記追跡データおよび前記患者固有のモデルの登録に基づいて、前記解剖学的構造の仮想レンダリングと重ねられた前記物体の仮想レンダリングを含む出力画像を生成するようにプログラムされた出力ジェネレータであって、前記出力画像は、前記患者の解剖学的構造に対する前記物体の位置を表す、出力ジェネレータと、
    前記追跡データおよび前記患者固有のモデルの登録に基づいて、指定された目標の解剖学的部位の位置に対する前記物体の位置を評価するようにプログラムされた誘導ジェネレータであって、該誘導ジェネレータはさらに、評価に基づいて前記出力画像で誘導を提供するようにプログラムされている、誘導ジェネレータと
    前記解剖学的構造内で移動される物体に基づいて前記解剖学的構造の変形状態を識別し、識別された変形状態に基づいて前記患者固有のモデルを修正するようにプログラムされた位置補正機能であって、前記出力ジェネレータは、修正された解剖学的モデルに基づいて前記出力画像を生成するようにプログラムされている、位置補正機能と
    を含む、プロセッサと
    を備えるシステム。
  2. 前記機械可読命令は、前記物体に沿った所定の位置と前記指定された目標の解剖学的部位との間の相対的な近接度を計算するようにプログラムされた位置エバリュエータをさらに含み、前記誘導ジェネレータは、前記指定された目標の解剖学的部位の位置、または前記指定された目標の解剖学的部位の位置に到達する軌道を含むように前記誘導を提供するようにさらにプログラムされている、請求項1に記載のシステム。
  3. 前記誘導ジェネレータは、前記解剖学的構造内での前記物体の移動を容易にするために、前記出力画像においてグラフィカルインジケータを提供して、前記物体の遠位先端が向く方向を示すようにさらにプログラムされている、請求項2に記載のシステム。
  4. 前記指定された目標の解剖学的部位は、血管への入口を含み、前記出力ジェネレータは、前記遠位先端が、前記入口から所定の距離内にあると判定することに応答して色が変化する輪を入口に表示するようにプログラムされている、請求項3に記載のシステム。
  5. 前記入口は、小孔である、請求項4に記載のシステム。
  6. 前記位置補正機能は、さらに、前記患者固有のモデルに対して前記物体についての登録された追跡データを分析して、前記変形状態が存在するか否かを判定するようにプログラムされており、
    前記追跡データによって表される前記物体の位置が前記患者固有のモデルに基づいて前記解剖学的構造の体積内にあることを検出したことに応答して、前記位置補正機能は、前記患者固有のモデルが前記位置補正機能によって変更されないままであるように前記変形状態が存在しないと判定し、
    前記追跡データによって表される前記物体の位置が前記患者固有のモデルによって表される前記解剖学的構造の体積外にあることを検出したことに応答して、前記位置補正機能は、変形状態が存在すると判定し、前記位置補正機能は、前記変形状態に応じて前記患者固有のモデルを修正する、請求項1または2に記載のシステム。
  7. 前記位置補正機能は、変形量を含むように前記変形状態を計算し、対応する調整を前記変形量に基づいて前記患者固有のモデルに実施するようにさらにプログラムされている、請求項1、2またはに記載のシステム。
  8. 前記位置補正機能は、前記患者固有のモデルの成分の平行移動および/または回転を実施することにより、その長さに沿って前記患者固有のモデルの形状を調整するようにさらにプログラムされている、請求項に記載のシステム。
  9. 前記追跡システムは、非電離電磁場を提供するフィールドジェネレータを含み、
    前記センサは、前記非電離電磁場に基づいて前記センサ信号を提供するように構成された少なくとも1つのコイルを含み、前記追跡システムは、前記センサ信号に基づいて前記複数のフレームの各々に対して前記追跡データを提供して、前記複数のフレームの各々に対する前記追跡データが、前記追跡座標系での前記物体の三次元位置を含む、別々の時点での前記センサの位置および向きを表すようにする、請求項1または2に記載のシステム。
  10. 前記登録エンジンは、さらに前記患者について取得された手術前画像データおよび手術中画像データに基づいて前記放射線変換行列を生成するようにプログラムされており、
    前記出力ジェネレータは、登録された追跡データに基づいて前記出力画像を提供して、前記共通の三次元座標系における前記患者の解剖学的構造の幾何学形状に対する前記物体の形状および三次元位置を表す、請求項1乃至のいずれか一項に記載のシステム。
  11. 前記少なくとも1つの組み合わせマーカーデバイスは、撮像装置により検出可能な画像マーカーと、前記追跡システムにより検出可能な別のマーカーとを含む、請求項1に記載のシステム。
  12. 前記放射線変換行列は、画像空間変換行列および画像マーカー変換行列に基づいて生成され、前記画像空間変換行列は、手術前画像データと、前記患者の前記解剖学的構造および前記患者に配置された前記少なくとも1つの組み合わせマーカーデバイスの手術中に撮影された1つまたは複数の画像を含む手術中画像データとに基づいて生成され、前記画像マーカー変換行列は、前記手術中画像データおよび追跡マーカー座標系に基づいて生成される、請求項1に記載のシステム。
  13. システムであって、
    データおよび機械可読命令を格納するように構成された非一時的メモリであって、前記データは、
    患者の解剖学的構造の幾何学形状を定義するパラメータを含む患者固有のモデルと、
    電磁追跡システムによって生成された電磁場に応答して提供されるセンサ信号に基づいて経時的に記録される追跡データであって、別々の時点での前記電磁追跡システムの追跡座標系における物体に取り付けられたセンサの位置および向きを表すために取得された複数のフレームを含む、追跡データと
    を含む、非一時的メモリと、
    前記メモリにアクセスし、前記機械可読命令を実行するように構成されたプロセッサであって、前記機械可読命令は、
    所定の変換行列に基づいて共通の三次元座標系で前記追跡データおよび前記患者固有のモデルを共に登録するようにプログラムされた登録エンジンと、
    前記追跡データおよび前記患者固有のモデルの登録に基づいて、前記解剖学的構造の仮想レンダリングと重ねられた前記物体の仮想レンダリングを含む出力画像を生成するようにプログラムされた出力ジェネレータであって、前記出力画像は、前記患者の解剖学的構造に対する前記物体の位置を表す、出力ジェネレータと、
    前記追跡データおよび前記患者固有のモデルの登録に基づいて、指定された目標の解剖学的部位の位置に対する前記物体の位置を評価するようにプログラムされた誘導ジェネレータであって、該誘導ジェネレータはさらに、評価に基づいて前記出力画像で誘導を提供するようにプログラムされている、誘導ジェネレータと、
    前記解剖学的構造内で移動される前記物体に基づいて前記解剖学的構造の変形状態を識別し、識別された変形状態に基づいて前記患者固有のモデルを修正するようにプログラムされた位置補正機能であって、前記出力ジェネレータは、修正された解剖学的モデルに基づいて前記出力画像を生成するようにプログラムされている、位置補正機能と
    を含む、プロセッサと
    を備えるシステム。
  14. 前記位置補正機能は、さらに、前記患者固有のモデルに対して前記物体についての登録された追跡データを分析して、前記変形状態が存在するか否かを判定するようにプログラムされており、
    前記追跡データによって表される前記物体の位置が前記患者固有のモデルに基づいて前記解剖学的構造の体積内にあることを検出したことに応答して、前記位置補正機能は、前記患者固有のモデルが前記位置補正機能によって変更されないままであるように前記変形状態が存在しないと判定し、
    前記追跡データによって表される前記物体の位置が前記患者固有のモデルによって表される前記解剖学的構造の体積外にあることを検出したことに応答して、前記位置補正機能は、前記変形状態が存在すると判定し、前記位置補正機能は、前記変形状態に応じて前記患者固有のモデルを修正する、請求項13に記載のシステム。
JP2020022382A 2013-03-15 2020-02-13 手術中の位置調整および誘導を容易にするシステム Active JP7093801B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022023957A JP7290763B2 (ja) 2013-03-15 2022-02-18 手術中の位置調整および誘導を容易にするシステム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361787762P 2013-03-15 2013-03-15
US61/787,762 2013-03-15
US201361914700P 2013-12-11 2013-12-11
US61/914,700 2013-12-11

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2017173862A Division JP6662829B2 (ja) 2013-03-15 2017-09-11 手術中の位置調整および誘導を容易にするシステム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022023957A Division JP7290763B2 (ja) 2013-03-15 2022-02-18 手術中の位置調整および誘導を容易にするシステム

Publications (2)

Publication Number Publication Date
JP2020075178A JP2020075178A (ja) 2020-05-21
JP7093801B2 true JP7093801B2 (ja) 2022-06-30

Family

ID=50631021

Family Applications (4)

Application Number Title Priority Date Filing Date
JP2016502070A Pending JP2016513540A (ja) 2013-03-15 2014-03-13 手術中の位置調整および誘導を容易にするシステム
JP2017173862A Active JP6662829B2 (ja) 2013-03-15 2017-09-11 手術中の位置調整および誘導を容易にするシステム
JP2020022382A Active JP7093801B2 (ja) 2013-03-15 2020-02-13 手術中の位置調整および誘導を容易にするシステム
JP2022023957A Active JP7290763B2 (ja) 2013-03-15 2022-02-18 手術中の位置調整および誘導を容易にするシステム

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2016502070A Pending JP2016513540A (ja) 2013-03-15 2014-03-13 手術中の位置調整および誘導を容易にするシステム
JP2017173862A Active JP6662829B2 (ja) 2013-03-15 2017-09-11 手術中の位置調整および誘導を容易にするシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2022023957A Active JP7290763B2 (ja) 2013-03-15 2022-02-18 手術中の位置調整および誘導を容易にするシステム

Country Status (5)

Country Link
US (2) US10799145B2 (ja)
EP (2) EP3907699A3 (ja)
JP (4) JP2016513540A (ja)
CA (1) CA2905050C (ja)
WO (1) WO2014151651A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
JP6609330B2 (ja) * 2015-06-30 2019-11-20 キヤノン ユーエスエイ,インコーポレイテッド レジストレーションの基準マーカー、システム、および方法
US10420626B2 (en) 2015-06-30 2019-09-24 Canon U.S.A., Inc. Fiducial markers, systems, and methods of registration
US10067659B2 (en) 2015-08-24 2018-09-04 Boston Scientific Neuromodulation Corporation Systems and methods for determining orientation of an implanted lead
WO2017040573A1 (en) * 2015-09-01 2017-03-09 Boston Scientific Neuromodulation Corporation Detection of lead orientation
US20180008341A1 (en) * 2016-07-06 2018-01-11 Covidien Lp System and method for displaying an active heating zone during an ablation procedure
US10525257B2 (en) 2016-10-14 2020-01-07 Boston Scientific Neuromodulation Corporation Orientation marker for implantable leads and leads, systems, and methods utilizing the orientation marker
WO2018071842A1 (en) * 2016-10-14 2018-04-19 Boston Scientific Neuromodulation Corporation Systems and methods for determining orientation of an implanted lead
US20200093544A1 (en) * 2017-01-06 2020-03-26 Intuitive Surgical Operations, Inc. System and method for registration and coordinated manipulation of augmented reality image components
US10631798B2 (en) * 2017-01-16 2020-04-28 Biosense Webster (Israel) Ltd. Seeing through mucus in an ENT procedure
CN108697402B (zh) * 2017-01-24 2022-05-31 博医来股份公司 在三维图像中确定深度脑刺激电极的旋转方位
US11882990B2 (en) * 2017-02-01 2024-01-30 Intuitive Surgical Operations, Inc Systems and methods for data filtering of passageway sensor data
JP6780125B2 (ja) * 2017-02-06 2020-11-04 ザ クリーブランド クリニック ファウンデーションThe Cleveland ClinicFoundation 解剖構造の挙動の特徴付け
JP7095679B2 (ja) * 2017-03-07 2022-07-05 ソニーグループ株式会社 情報処理装置、支援システム及び情報処理方法
US10631937B2 (en) 2017-04-14 2020-04-28 Boston Scientific Neuromodulation Corporation Systems and methods for determining orientation of an implanted electrical stimulation lead
US10643330B2 (en) * 2017-04-21 2020-05-05 Biosense Webster (Israel) Ltd. Registration of an anatomical image with a position-tracking coordinate system based on proximity to bone tissue
US11202652B2 (en) 2017-08-11 2021-12-21 Canon U.S.A., Inc. Registration and motion compensation for patient-mounted needle guide
FR3072559B1 (fr) 2017-10-24 2023-03-24 Spineguard Systeme medical comprenant un bras robotise et un dispositif medical destine a penetrer dans une structure anatomique
US11344372B2 (en) 2017-10-24 2022-05-31 SpineGuard Vincennes Robotic surgical system
EP3745976A4 (en) 2018-02-02 2021-10-06 Centerline Biomedical, Inc. GRAPHIC USER INTERFACE FOR MARKING ANATOMICAL STRUCTURES
US11123139B2 (en) * 2018-02-14 2021-09-21 Epica International, Inc. Method for determination of surgical procedure access
EP3880104A4 (en) * 2018-11-15 2022-07-27 Centerline Biomedical, Inc. SYSTEMS AND METHODS OF REGISTRATION USING AN ANATOMICAL MEASURING WIRE
WO2020102545A1 (en) * 2018-11-15 2020-05-22 Centerline Biomedical, Inc. Modeling anatomical structures using an anatomical measurement wire
US20200237459A1 (en) * 2019-01-25 2020-07-30 Biosense Webster (Israel) Ltd. Flexible multi-coil tracking sensor
CN113573641A (zh) * 2019-04-04 2021-10-29 中心线生物医药股份有限公司 使用二维图像投影的跟踪系统与图像的空间配准
JP2022527360A (ja) 2019-04-04 2022-06-01 センターライン バイオメディカル,インコーポレイテッド 空間トラッキングシステムと拡張現実ディスプレイとのレジストレーション
US11701181B2 (en) * 2019-04-24 2023-07-18 Warsaw Orthopedic, Inc. Systems, instruments and methods for surgical navigation with verification feedback
CN114730082A (zh) * 2019-05-29 2022-07-08 S·B·墨菲 用于在外科手术中利用增强现实的系统和方法
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11642178B2 (en) 2020-02-07 2023-05-09 Centerline Biomedical, Inc. Guidewire
US20210287434A1 (en) * 2020-03-16 2021-09-16 Covidien Lp System and methods for updating an anatomical 3d model
CN114073579B (zh) * 2020-08-19 2022-10-14 杭州三坛医疗科技有限公司 手术导航方法、装置、电子设备及存储介质
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
TW202400092A (zh) * 2022-03-15 2024-01-01 德商阿比奥梅德歐洲有限公司 追蹤系統及使用追蹤系統藉由在患者身體內的可移動感測器追蹤即時位置的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009072317A (ja) 2007-09-19 2009-04-09 Toshiba Medical System Co Ltd 医療用チューブ操作支援システム
JP2012529352A (ja) 2009-06-08 2012-11-22 エムアールアイ・インターヴェンションズ,インコーポレイテッド 準リアルタイムで可撓性体内装置を追跡し、動的視覚化を生成することができるmri誘導介入システム

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4822634B2 (ja) 2000-08-31 2011-11-24 シーメンス アクチエンゲゼルシヤフト 対象物の案内のための座標変換を求める方法
US7840393B1 (en) 2000-10-04 2010-11-23 Trivascular, Inc. Virtual prototyping and testing for medical device development
US20030011624A1 (en) 2001-07-13 2003-01-16 Randy Ellis Deformable transformations for interventional guidance
DE10202091B4 (de) 2002-01-21 2005-09-08 Siemens Ag Vorrichtung zur Ermittlung einer Koordinatentransformation
US7599730B2 (en) 2002-11-19 2009-10-06 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7697972B2 (en) * 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
WO2005119578A2 (en) 2004-06-02 2005-12-15 Medical Metrx Solutions, Inc. Anatomical visualization and measurement system
WO2006020792A2 (en) 2004-08-10 2006-02-23 The General Hospital Corporation Methods and apparatus for simulation of endovascular and endoluminal procedures
US9661991B2 (en) * 2005-08-24 2017-05-30 Koninklijke Philips N.V. System, method and devices for navigated flexible endoscopy
JP4491420B2 (ja) * 2006-01-12 2010-06-30 株式会社日立メディコ 手術支援装置及び手術支援撮像装置
JP4836122B2 (ja) 2006-02-09 2011-12-14 国立大学法人浜松医科大学 手術支援装置、方法及びプログラム
US7556428B2 (en) 2006-04-14 2009-07-07 Xoran Technologies, Inc. Surgical navigation system including patient tracker with removable registration appendage
JP2008061858A (ja) 2006-09-08 2008-03-21 Toshiba Corp 穿刺治療ナビゲーション装置
US8248413B2 (en) 2006-09-18 2012-08-21 Stryker Corporation Visual navigation system for endoscopic surgery
US7824328B2 (en) 2006-09-18 2010-11-02 Stryker Corporation Method and apparatus for tracking a surgical instrument during surgery
WO2008035271A2 (en) * 2006-09-20 2008-03-27 Koninklijke Philips Electronics N.V. Device for registering a 3d model
US7996060B2 (en) 2006-10-09 2011-08-09 Biosense Webster, Inc. Apparatus, method, and computer software product for registration of images of an organ using anatomical features outside the organ
US7671887B2 (en) 2006-11-20 2010-03-02 General Electric Company System and method of navigating a medical instrument
IL188569A (en) 2007-01-17 2014-05-28 Mediguide Ltd Method and system for coordinating a 3D image coordinate system with a medical position coordinate system and a 2D image coordinate system
US8301226B2 (en) 2007-04-24 2012-10-30 Medtronic, Inc. Method and apparatus for performing a navigated procedure
US8213693B1 (en) * 2007-05-16 2012-07-03 General Electric Company System and method to track and navigate a tool through an imaged subject
WO2008150945A2 (en) * 2007-05-30 2008-12-11 The Cleveland Clinic Foundation Automated centerline extraction method and generation of corresponding analytical expression and use thereof
US10398393B2 (en) * 2007-10-02 2019-09-03 Stryker European Holdings I, Llc Dynamic reference method and system for interventional procedures
US8219179B2 (en) * 2008-03-06 2012-07-10 Vida Diagnostics, Inc. Systems and methods for navigation within a branched structure of a body
US8175681B2 (en) * 2008-12-16 2012-05-08 Medtronic Navigation Inc. Combination of electromagnetic and electropotential localization
EP2381877B1 (en) 2009-01-29 2018-02-28 Imactis Method and device for navigation of a surgical tool
US8315355B2 (en) 2009-10-28 2012-11-20 Siemens Aktiengesellschaft Method for operating C-arm systems during repeated angiographic medical procedures
JP5674814B2 (ja) * 2010-01-06 2015-02-25 シブコ メディカル インストルメンツ カンパニー インコーポレイテッドCivco Medical Instruments Co.,Inc. マーカ装置、取り付け部材、フレームアセンブリ
EP2663252A1 (en) * 2011-01-13 2013-11-20 Koninklijke Philips N.V. Intraoperative camera calibration for endoscopic surgery
JP2012147858A (ja) 2011-01-17 2012-08-09 Tokyo Univ Of Agriculture & Technology 画像処理装置、画像処理方法及び画像処理プログラム
WO2012127353A1 (en) * 2011-03-18 2012-09-27 Koninklijke Philips Electronics N.V. Multi-leg geometry reference tracker for multi-modality data fusion
DE102011007796B4 (de) * 2011-04-20 2019-07-04 Siemens Healthcare Gmbh Verfahren zur Ermittlung einer Zielposition für eine medizinische Maßnahme
US20140188440A1 (en) * 2012-12-31 2014-07-03 Intuitive Surgical Operations, Inc. Systems And Methods For Interventional Procedure Planning

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009072317A (ja) 2007-09-19 2009-04-09 Toshiba Medical System Co Ltd 医療用チューブ操作支援システム
JP2012529352A (ja) 2009-06-08 2012-11-22 エムアールアイ・インターヴェンションズ,インコーポレイテッド 準リアルタイムで可撓性体内装置を追跡し、動的視覚化を生成することができるmri誘導介入システム

Also Published As

Publication number Publication date
JP2020075178A (ja) 2020-05-21
EP3907699A3 (en) 2021-11-17
JP2017217510A (ja) 2017-12-14
CA2905050C (en) 2018-03-06
CA2905050A1 (en) 2014-09-25
EP2996607A1 (en) 2016-03-23
WO2014151651A1 (en) 2014-09-25
JP6662829B2 (ja) 2020-03-11
JP2016513540A (ja) 2016-05-16
EP3907699A2 (en) 2021-11-10
JP7290763B2 (ja) 2023-06-13
US10799145B2 (en) 2020-10-13
JP2022059084A (ja) 2022-04-12
US20140276002A1 (en) 2014-09-18
WO2014151651A4 (en) 2014-11-27
EP2996607B1 (en) 2021-06-16
US20210000380A1 (en) 2021-01-07

Similar Documents

Publication Publication Date Title
JP7093801B2 (ja) 手術中の位置調整および誘導を容易にするシステム
US20210137351A1 (en) Apparatus and Method for Airway Registration and Navigation
US20180158201A1 (en) Apparatus and method for registering pre-operative image data with intra-operative laparoscopic ultrasound images
JP6797200B2 (ja) 血管構造内で血管内器具を誘導する助けとなるためのシステム及び同システムの作動方法
CN105520716B (zh) 荧光镜图像的实时模拟
Song et al. Locally rigid, vessel-based registration for laparoscopic liver surgery
EP3079622B1 (en) Radiation-free registration of an optical shape sensing system to an imaging system
CN110490835B (zh) 自动检查叠合图像的方法,计算单元和医学成像设备
JP2014509895A (ja) 血管インターベンションプロシージャにおいてインターベンション装置の正確な誘導を支援する画像表示を提供する画像診断システム及び方法
Ramadani et al. A survey of catheter tracking concepts and methodologies
JP2016178986A (ja) 放射線撮像装置、画像処理方法及びプログラム
JP2017143872A (ja) 放射線撮像装置、画像処理方法及びプログラム
US11657519B2 (en) Method for deformation correction
JP2020505995A (ja) 解剖構造の挙動の特徴付け
CN111403017A (zh) 医学辅助设备、系统、和用于确定对象的变形的方法
US11478301B2 (en) Modeling anatomical structures using an anatomical measurement wire

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200228

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200228

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210210

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210216

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210514

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210622

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210901

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20211019

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220218

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220218

C11 Written invitation by the commissioner to file amendments

Free format text: JAPANESE INTERMEDIATE CODE: C11

Effective date: 20220308

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220426

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220510

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220524

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220620

R150 Certificate of patent or registration of utility model

Ref document number: 7093801

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150