JP2023504703A - 追跡システムとの画像の位置合わせ - Google Patents
追跡システムとの画像の位置合わせ Download PDFInfo
- Publication number
- JP2023504703A JP2023504703A JP2022533519A JP2022533519A JP2023504703A JP 2023504703 A JP2023504703 A JP 2023504703A JP 2022533519 A JP2022533519 A JP 2022533519A JP 2022533519 A JP2022533519 A JP 2022533519A JP 2023504703 A JP2023504703 A JP 2023504703A
- Authority
- JP
- Japan
- Prior art keywords
- patient
- image
- frame
- tracking system
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000012545 processing Methods 0.000 claims abstract description 49
- 238000000034 method Methods 0.000 claims description 56
- 239000000523 sample Substances 0.000 claims description 31
- 238000013519 translation Methods 0.000 claims description 15
- 238000002591 computed tomography Methods 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 8
- 238000002595 magnetic resonance imaging Methods 0.000 claims description 7
- 210000003128 head Anatomy 0.000 description 15
- 230000014616 translation Effects 0.000 description 13
- 230000001186 cumulative effect Effects 0.000 description 7
- 230000009466 transformation Effects 0.000 description 5
- 210000003484 anatomy Anatomy 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 238000002594 fluoroscopy Methods 0.000 description 3
- 238000002675 image-guided surgery Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 210000001331 nose Anatomy 0.000 description 3
- 238000000844 transformation Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000004040 coloring Methods 0.000 description 2
- 230000001815 facial effect Effects 0.000 description 2
- YCISZOVUHXIOFY-HKXOFBAYSA-N Halopredone acetate Chemical group C1([C@H](F)C2)=CC(=O)C(Br)=C[C@]1(C)[C@]1(F)[C@@H]2[C@@H]2CC[C@](OC(C)=O)(C(=O)COC(=O)C)[C@@]2(C)C[C@@H]1O YCISZOVUHXIOFY-HKXOFBAYSA-N 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 238000007792 addition Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 238000002405 diagnostic procedure Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000005865 ionizing radiation Effects 0.000 description 1
- 210000003734 kidney Anatomy 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000003928 nasal cavity Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 238000002560 therapeutic procedure Methods 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
- 210000000216 zygoma Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
- G06F3/0482—Interaction with lists of selectable items, e.g. menus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/32—Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2051—Electromagnetic tracking systems
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2046—Tracking techniques
- A61B2034/2065—Tracking using image or pattern recognition
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
- A61B2034/2072—Reference field transducer attached to an instrument or patient
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- General Engineering & Computer Science (AREA)
- Surgery (AREA)
- Life Sciences & Earth Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Veterinary Medicine (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Heart & Thoracic Surgery (AREA)
- Biomedical Technology (AREA)
- Robotics (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Studio Devices (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Optical Communication System (AREA)
Abstract
医療装置は、位置センサを含む位置合わせツールを含み、位置追跡システムは、位置追跡システムによって画定された第1の基準フレーム内のセンサの位置座標を取得するように構成されている。処理ユニットは、第2の基準フレーム内の患者の身体に関する3D画像データを受信することと、3D画像データに基づいて、患者の表面の2D画像を生成することと、2D画像をディスプレイ画面にレンダリングすることと、2D画像上に、それぞれのランドマークの場所を示すアイコンを重ね合わせることと、を行うように構成されている。処理ユニットは、位置合わせツールが、ディスプレイ上のアイコンに対応する患者上の場所に接触する間に、位置追跡システムによって取得された位置座標を受信し、位置座標を三次元画像データと比較することによって、第1の基準フレーム及び第2の基準フレームを位置合わせする。
Description
本発明は、広義には画像の位置合わせに関するものであり、より具体的には、画像誘導手術のために使用され得る異なる様式で生成された画像に関する。
画像誘導手術において、医療従事者は、外科的処置中に器具の位置及び/又は方向が患者の解剖学的構造の画像上に提示され得るように、リアルタイムで追跡される器具を使用する。場合によっては、患者の解剖学的構造の追跡と撮像の両方が、透視診断法などの1つの様式によって実現され得る。しかしながら、透視診断法は電離放射線を用いるものであるため、その利用は最小限にされる必要がある。結果として、多くのシナリオにおいて、患者の画像は、磁気共鳴撮像(magnetic resonance imaging、MRI)又はコンピュータ断層撮影(computerized tomography、CT)透視診断法などのある様式で提供され、器具追跡では、磁気追跡などの異なる様式を使用する。
以下に記載される本発明の実施形態は、画像を追跡システムと位置合わせするための改善された方法、並びにそのような方法を実装するシステム及びソフトウェアを提供する。
したがって、本発明の一実施形態によれば、位置センサを含み、患者の身体の一部分の表面と接触するように構成された位置合わせツールを含む医療装置が提供される。位置追跡システムは、患者の身体の一部分、及びディスプレイ画面の近傍において、位置追跡システムによって画定された第1の基準フレーム内の位置センサの位置座標を取得するように構成されている。装置は、第2の基準フレーム内の患者の身体の少なくとも一部分に関する三次元(3D)画像データを受信して、3D画像データに基づいて、患者の身体の一部分の表面の二次元(2D)画像を生成し、2D画像をディスプレイ画面にレンダリングするように構成された処理ユニットを更に含む。処理ユニットは、表示された2D画像上に、身体の一部分の表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせて、位置合わせツールが、ディスプレイ上のアイコンに対応する患者の身体の一部分の表面上の場所に接触する間に、位置追跡システムによって取得された位置座標を受信し、位置座標を三次元画像データ内の対応する場所と比較することによって、第1の基準フレーム及び第2の基準フレームを位置合わせするように更に構成されている。
開示される実施形態では、位置追跡システムは、磁気位置追跡システムを備える。
別の実施形態では、三次元画像データは、コンピュータ断層撮影(CT)システムからのデータを含む。代替的に、三次元画像データは、磁気共鳴撮像(MRI)システムからのデータを含む。
更なる実施形態では、患者の身体の一部分は、患者の頭部を含み、2D画像は、患者の顔部を示す。
別の実施形態では、第1の基準フレーム及び第2の基準フレームを位置合わせすることは、位置座標と三次元画像データ内の対応する場所との間の相関を最大化するように、第1の基準フレームと第2の基準フレームとの間の相対的な拡大縮小、回転、及び並進を適用することを含む。
更に別の実施形態では、処理ユニットは、2D画像上の場所をマーキングするユーザからランドマーク場所を受信する。
更に別の実施形態では、処理ユニットは、位置合わせされた基準フレームを使用して、身体の一部分の内側の侵襲的プローブの場所を追跡及び表示するように構成されている。
本発明の一実施形態によれば、医療画像を位置合わせする方法も提供される。この方法は、患者の身体の一部分の近傍において、位置追跡システムによって画定された第1の基準フレーム内の位置合わせツール内の位置センサの位置座標を、位置合わせツールが身体の一部分の表面と接触するときに取得することと、第2の基準フレーム内の患者の身体の少なくとも一部分に関する三次元(3D)画像データを受信することと、3D画像データに基づいて、患者の身体の一部分の表面の二次元(2D)画像を生成することと、2D画像をディスプレイ画面にレンダリングすることと、を含む。この方法は、表示された2D画像上に、身体の一部分の表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせることと、位置合わせツールが、ディスプレイ上のアイコンに対応する患者の身体の一部分の表面上の場所に接触する間に、位置追跡システムによって取得された位置座標を受信することと、位置座標を三次元画像データ内の対応する場所と比較することによって、第1の基準フレーム及び第2の基準フレームを位置合わせすることと、を更に含む。
本発明は、以下の「発明を実施するための形態」を図面と併せて考慮することで、より完全に理解されよう。
概論
磁気追跡システムは、画像誘導手術などの侵襲的診断及び治療処置において、処置を受けている患者の身体の一部分のCT画像などの事前取得された画像を使用して、器具を追跡するために使用される。その追跡が有効であるためには、画像の基準フレーム及び追跡システムが、互いに位置合わせされる必要がある。例えば、CT画像と磁気追跡システムとの間の典型的な位置合わせ手順では、多数の異なる解剖学的点(ランドマークと称される)の座標がCT画像内にマーキングされ、同じランドマークの座標が追跡システムによって取得される。かかる座標点の対が取得されると、拡大縮小、回転、及び並進を含む変換を推定するために、適合プロセスが適用され、これにより、二組の点を最良にアライメントさせる、すなわち、位置合わせする。適合は、例えば、累積距離メトリック又は反復最近接点(ICP)アルゴリズムなどの当技術分野で知られているアルゴリズムを使用して計算され得る。
磁気追跡システムは、画像誘導手術などの侵襲的診断及び治療処置において、処置を受けている患者の身体の一部分のCT画像などの事前取得された画像を使用して、器具を追跡するために使用される。その追跡が有効であるためには、画像の基準フレーム及び追跡システムが、互いに位置合わせされる必要がある。例えば、CT画像と磁気追跡システムとの間の典型的な位置合わせ手順では、多数の異なる解剖学的点(ランドマークと称される)の座標がCT画像内にマーキングされ、同じランドマークの座標が追跡システムによって取得される。かかる座標点の対が取得されると、拡大縮小、回転、及び並進を含む変換を推定するために、適合プロセスが適用され、これにより、二組の点を最良にアライメントさせる、すなわち、位置合わせする。適合は、例えば、累積距離メトリック又は反復最近接点(ICP)アルゴリズムなどの当技術分野で知られているアルゴリズムを使用して計算され得る。
例として、耳鼻咽喉(ENT)処置などの患者の頭部で使用される器具の追跡を必要とする処置を考える。かかる処置では、患者の頭部は、追跡システムの基準フレームと位置合わせされる。そのような位置合わせ手順の例は、米国特許出願公開第2019/0046272号に提供されている。記載された手順では、内科医などの医療従事者は、患者の皮膚上の予め設定された数のランドマーク点で磁気追跡センサを含むプローブの遠位端を位置決めする。ランドマーク点は、CT画像内の所定の位置に対応する。この引用例では、患者の鼻の先端の下方にある点、眼を除く患者の顔部の左側と右側、及び両眼の間の点を含む4つの初期ランドマーク点、並びに追跡センサからの信号がこれらの点で取得される。
追跡センサからの信号が取得されると、プロセッサは、磁気アセンブリの基準フレーム内のそれぞれの位置座標を計算して、4つの順序付けられた対の位置を生成し、各順序付けられた対は、形式(追跡センサ位置、CT位置)を有し、各対は、対応する位置を指す。システムプロセッサは、これらの4つの順序付けられた対を使用して、予備的な位置合わせ、すなわち、CT座標系を磁気アセンブリのそれとアライメントさせる拡大縮小、並進及び回転パラメータを含む変換を生成する。
内科医は、患者の皮膚にプローブの遠位端を、患者が画定した追加のランドマーク点で位置決めすることによって続ける。信号が取得されるたびに、プロセッサは、点のソースクラウドへの追加として新たな位置を使用して変換を更新するために、信号によって判定された座標を使用する。
ランドマーク点を画定するために、本システムは、内科医によって閲覧される画面上に「一般的な」頭部の概略画像を提示することによって、位置合わせプロセスにおいて内科医を誘導し、画像上のマーカは、タッチされる点を示す。しかしながら、実際の患者の特徴は、一般的な頭部とは大きく異なる場合があり、内科医が患者にタッチする場所を決定することは困難になる。極端な場合、差異は、正確な位置合わせを可能にするのにはあまりに大きくなる場合がある。
本明細書に記載される本発明の実施形態は、位置追跡システム、位置センサを備えた位置合わせツール、ディスプレイ画面、及び処理ユニットを組み込んだ医療装置を提供することによって、この問題に対処する。位置追跡システムと患者の3D画像との間の正確な位置合わせは、3D画像データから患者の身体の真の及び現実的な二次元(2D)画像を生成し、一般的な事前定義された画像を単に使用するのではなく、この2D画像に基づいて位置合わせ手順を誘導することによって有効にされる。このアプローチは、CTの座標系と追跡システムとの間のフィッティングプロセスの迅速な収束を容易にし、当技術分野で知られているシステムよりも正確な位置合わせをもたらす。
開示された実施形態では、処理ユニットは、患者の身体の一部分の3D画像データを受信し、3D画像データに基づいて、患者の身体の一部分の表面の2D画像を生成する。処理ユニットは更に、2D画像をディスプレイ画面にレンダリングし、内科医からの誘導下で、身体の一部分の表面上のそれぞれのランドマークの場所を示す表示された2D画像アイコン上に重ね合わせる。内科医は、位置合わせツールを2D画像上のこれらのアイコンによって誘導して、患者の身体上の対応する点にタッチし、どの点にその内科医がタッチしたかを処理ユニットに示す。処理ユニットは、これらの点から位置追跡システムによって取得された位置センサの対応する3D位置座標を受信する。最後に、処理ユニットは、位置追跡システムによって取得された3D座標とアイコンに対応する3D画像データの座標との相関が最大化されるまで、2つの基準フレームの相対的な並進及び回転によって、位置追跡システムの基準フレームを3D画像データの基準フレームと位置合わせする。
システムの説明
図1は、本発明の一実施形態による、医療装置10の概略描画図である。装置10は、磁気位置追跡システム12を、本明細書では例として患者14のコンピュータ断層撮影(CT)画像48を含むと想定される画像と位置合わせするために使用される。位置追跡システム12は、本明細書では、例として、磁気追跡システムを備えると想定される。カリフォルニア州アーバインのBiosense Websterによって製造されたCarto(登録商標)システムは、本明細書に記載されるものと類似の追跡システムを使用して、患者内に挿入されたか又は患者の近傍に持ってこられたプローブの遠位先端部の場所及び方向を追跡する。
図1は、本発明の一実施形態による、医療装置10の概略描画図である。装置10は、磁気位置追跡システム12を、本明細書では例として患者14のコンピュータ断層撮影(CT)画像48を含むと想定される画像と位置合わせするために使用される。位置追跡システム12は、本明細書では、例として、磁気追跡システムを備えると想定される。カリフォルニア州アーバインのBiosense Websterによって製造されたCarto(登録商標)システムは、本明細書に記載されるものと類似の追跡システムを使用して、患者内に挿入されたか又は患者の近傍に持ってこられたプローブの遠位先端部の場所及び方向を追跡する。
位置追跡システム12は、カテーテル又はガイドワイヤなどの1つ又は2つ以上の器具の位置及び方向を追跡するために使用され、これらの器具は、患者に対する医療処置中に、患者14に挿入される。以下に記載されるように、位置追跡システム12は、患者の外側にある位置合わせプローブ16の位置及び方向を追跡することもできる。プローブ16は、システム10の使用中に、医療従事者20、典型的には内科医によって保持され得るハンドル18に固定的に接続されている。プローブ16とハンドル18との組み合わせは、内科医20による所望の場所へのプローブの位置決めを容易にする剛性プローブアセンブリ22を形成する。
以下の記載を明瞭かつ簡潔にするために、上記で言及された医療処置は、患者14の副鼻腔に対する侵襲的処置を含むと想定され、それにより、医療装置10及び位置追跡システム12は、副鼻腔の領域内及びその周囲で動作するように構成されると想定される。しかしながら、システム10及び12は、代替的に、胸部、腎臓、又は腹部などの患者の他の領域内及びその周囲で動作するように構成され得、当業者であれば、本明細書の記載をかかる他の領域に適応させることができるであろう。更に、本発明の原理は、他のタイプの追跡システム(必ずしも磁気的ではない)、並びにMRIなどの他の種類の3D撮像様式と併せて適用され得る。
追跡システム12は、システムプロセッサ24によって動作され、プローブ追跡モジュール28と通信する処理ユニット26を備える。モジュール28の機能が以下に記載される。プロセッサ24は、コンソール30内に実装され得、典型的にはマウス又はトラックボールなどのポインティングデバイスを備える動作制御部32を備える。内科医20は、動作制御部32を使用して、システムプロセッサ24にコマンドを送信し、システムプロセッサ24は、以下に記載されるように、ディスプレイ画面34上でデータ及び誘導画像を内科医に提示するために更に使用される。
システムプロセッサ24は、典型的には、プログラマブルプロセッサを備え、プログラマブルプロセッサは、処理ユニット26のメモリに保存されたソフトウェアを使用して装置10を動作させる。ソフトウェアは、例えば、ネットワークを通して電子形式でシステムプロセッサ24にダウンロードされ得るか、又は、ソフトウェアは、代替的に若しくは追加的に、磁気的、光学的、又は電子的メモリなどの非一時的有形媒体上に提供及び/又は保存され得る。システムプロセッサ24は、患者14の頭部38のデジタル化された3D CT画像48を更に保存するが、CT画像は、場合によっては異なる時点で、別個のCTシステム(図示せず)によって取得されたものである。CT画像48は、画像内の各点について、その3D座標、並びに各点での画像のX線撮影密度を含み、密度は、典型的にはハウンスフィールドユニットで与えられる。
患者14内の上で言及される器具を追跡するために、並びにプローブ16を追跡するために、処理ユニット26は、プローブ追跡モジュール28を使用して、ケーブル35を介して、コイルなどの複数の磁場生成器36を動作させる。一実施形態では、典型的には、患者14が麻酔され、ベッド40上に横たわって頭部38が不動である場合に適用可能であり、生成器36は、図1に示されるように、患者の頭部のそばでベッドに配置されたフレーム42に固定される。患者14が麻酔されていない場合に適用可能である代替的な実施形態(図示せず)では、生成器36は、互いに対して、及び頭部38に取り付けられたフレームに対して、又は内科医のオフィス内の椅子に対して固定される。3軸基準コイル41が、頭部38に固定され、ケーブル43によって処理ユニット26に接続されている。
生成器36は、患者14の頭部38内及びその周囲に交流磁場を広げ、これらの磁場は、器具内の磁気検出器内及びプローブ16内において信号を生成する。信号は、プローブ16をコンソール30に接続するケーブル44を介して、処理ユニット26及びプローブ追跡モジュール28に送り返される。処理ユニット及びモジュールは共に、信号を分析して、生成器36に対する器具及びプローブ16の場所及び方向座標を導出する。磁場生成器36は、こうして、磁気追跡システム12の基準座標フレーム46を画定する。
位置合わせのプロセス中に、図3のフローチャートで更に詳述されるように、処理ユニット26は、3D CT画像48にアクセスし、それをディスプレイ画面34上で2D画像50にレンダリングする。処理ユニット26は更に、図2で更に詳述されるように、2D画像50上の選択された点、典型的には患者の顔部上の解剖学的ランドマークに対応する点にアイコン54を重ね合わせる。内科医20は、プローブ16を、アイコン54に対応する各点で患者14の表面52と(すなわち、患者の皮膚と)順に接触させ、処理ユニット26は、これらの点の各々におけるプローブの3D座標を記録する。これらの記録された座標及びCT画像48の基準フレーム内の対応する点の座標を使用して、処理ユニット26は、2つの基準フレームの相対的な拡大縮小、回転、及び並進を含む変換を計算することによって、位置追跡システム12の基準フレームを3D CT画像48の基準フレームと位置合わせする。典型的には、変換は、適合プロセスによって見出され、適合プロセスは、プローブの位置合わせされた3D座標とアイコン54に対応するCT画像48の3D座標との間の相関を最大化する。相関を最大化するために、処理ユニット26は、図3を参照しながら更に詳述されるように、累積距離メトリック又は反復最近接点(iterative closest point、ICP)アルゴリズムなどのアルゴリズムを使用し得る。
処理ユニット26は、全てのアイコン54に対応する全ての3D座標点が収集された後、相関を最大化し得る。代替的に、処理ユニット26は、(引用された米国特許出願公開第2019/0046272号にも記載されているように)最初の数個の追跡及び記録された点との相関の計算を開始し得、次いで、全ての追加の記録された点との相関を改善する。反復方法では、処理ユニット26はまた、プローブ16によってタッチされた各次の点の3D座標が予想される場所に十分に近いかどうかを推定し、例えば、対応するアイコンを緑色に着色することによって、許容可能な近接度を示すか、又は対応するアイコンを赤色に着色することによって、許容不可能な距離を示し得る。
内科医20と処理ユニット26との間の通信は、表面52上のどの点がタッチされるかを示すために確立される。例えば、処理ユニット26は、ディスプレイ画面34上でアイコン54を点滅させ、こうして、内科医20に、その内科医がタッチすると予想される点を示し得る。内科医20がこの点にタッチすると、その内科医は、制御部32を通して(例えば、キーパッドのキーを押すか、マウスをクリックすることによって)その点がタッチされたことを示す。代替的に、各アイコン54は、数値列を使用して番号付けされ得、内科医20は、その内科医がアイコンのうちのどれにタッチしたかを、制御部32を通して示す。
図2は、本発明の一実施形態による、ディスプレイ画面34上に提示された2D画像50の概略詳細図である。画像50は、3D CT画像48から処理ユニット26によってレンダリングされており、したがって、患者14の顔部の真の及び現実的な画像である。3D CT画像48から画像50をレンダリングするために、処理ユニット26は、マーチングキューブアルゴリズムなどのアルゴリズムをCT画像に適用する。アルゴリズムは、ハウンスフィールドユニットでの放射線密度が非ゼロであるCT画像48の各点に、1の値を割り当て、(空気に対応する)ゼロのハウンスフィールド値を有する点に、ゼロの値を割り当てる。アルゴリズムは、画像48を通って進み、一度に8つの隣接する場所を取り(したがって、仮想立方体を形成し)、この立方体を通過するいわゆる等値面の一部分を表すために必要な多角形を判定する。(等値面は、ゼロの値と立方体頂点のうちの1つとの間の境界を線形近似で表す表面である。)次いで、個々の多角形は、ディスプレイ画面34の平面に対応する平面上に投影される3D表面に融合される。
処理ユニット26は、顔部ランドマークに対応する2D画像50上の点にアイコン54を重ね合わせている。レンダリングプロセスに基づいて、各アイコン54は、CT基準フレーム内の対応する3D座標に自動的に結合される。内科医20は、例えば、制御部32を使用して、ディスプレイ画面34上のカーソルを適宜に見える場所に移動させ、次いで、マウスのクリックによってこれらの場所を処理ユニット26に示すことによって、画像50上のアイコン54の位置を画定し得る。本実施例では、内科医20は、比較的堅い、すなわちプローブ16からの穏やかな圧力下で有意に圧縮されない顔部の領域内で、これらの場所を選択している。そのような領域には、例えば、額、鼻の先端、及び突出している頬骨が含まれる。代替的又は追加的に、アイコン54の一部又は全部の位置は、処理ユニット26によって自動的に選択され得る。
図3は、本発明の一実施形態による、3D画像48と位置追跡システム12との間の位置合わせ手順を概略的に示すフローチャート100である。フローチャート100に示される位置合わせ手順は、図1~図2に示される要素を指す。代替的に、この手順の原理は、他の種類の3D画像及び追跡システムに関連して適用され得る。
手順は、開始ステップ102において開始する。3D画像ステップ104において、患者14の顔部の3D CT画像48が、処理ユニット26によって受信される。レンダリングステップ106において、処理ユニット26は、図2に関連して説明したように、3D CT画像48に基づいて2D画像50をレンダリングする。重ね合わせステップ108において、処理ユニット26は、画像50上に、患者14の顔部のランドマークを表すアイコン54を重ね合わせる。表示ステップ110において、処理ユニット26は、ディスプレイ画面34上で、アイコン54と共に画像50を表示する。
座標収集開始ステップ112において、内科医20は、プローブ16で患者14の顔部にタッチすることにより、3D座標の収集のプロセスを開始する。ここで、プロセスは、タッチステップ114、記録ステップ117、決定ステップ116、及び次のアイコンステップ118を含む、ループ115に入る。タッチステップ114において、内科医20は、アイコン54によって示される場所で、プローブ16で患者14の顔部にタッチする。内科医20と処理ユニット26との間の通信は、上記の図1を参照しながら説明されており、ここでは更に詳述されない。位置追跡システム12によって感知されたプローブ16の3D座標は、記録ステップ117において処理ユニット26によって記録される。3D座標を記録した後、処理ユニット26は、決定ステップ116において、更なる場所にタッチする必要があるかどうかを判定する。答えが肯定である場合、次の場所(アイコン)は、上で説明されるように、内科医20によって、又は処理ユニット26によって選択され、内科医は、ステップ114において次の場所にタッチする。
全ての必要な場所(アイコン)が使い果たされると、プロセスは、決定ステップ116から計算ステップ120に出る。ここで、処理ユニット26は、典型的には、記録ステップ117において記録された3D座標と、アイコン54に対応する3D画像48の3D座標との間の相関を最大化するように、2つの基準フレーム間の相対的な拡大縮小、回転、及び並進を計算する。
2組の3D座標間の相関を最大化するためのアルゴリズムの一例は、米国特許第7,855,723号によって提供される。相関は、累積距離メトリックDを最小化するために、拡大縮小、回転、及び変換の係数を反復的に更新することによって最大化され、Dは、次式のように定義され、
代替的又は追加的に、上記で参照した米国特許出願公開第2019/0046272号に引用されている反復最近接点(ICP)アルゴリズムが使用され得る。ICPアルゴリズムはまた、累積距離を更に最小化するために、3D点の対に使用される点を切り替える追加のオプションと共に、累積距離メトリックDを最小化することに基づく。説明された実施形態に適用されるICPアルゴリズムは、以下のステップを含むことができる。
1.位置追跡システム12の各3D座標点(記録ステップ117において記録された点)を、3D CT画像48の最も近い3D座標点に一致させ、一対の点の近接度は、それらの間の3Dユークリッド距離diによって判定される。
2.累積距離メトリックDを最小化することになる拡大縮小、回転、及び並進の組み合わせを推定する。このステップはまた、点を重み付けること(すなわち、非ユニティ値をwiに割り当てること)と、アライメント前に外れ値を拒否すること(すなわち、予め設定された閾値をdiが超える点対を拒否すること)と、を含み得る。このステップは、例えば、拡大縮小、回転、及び並進の初期推定値を、点対の小さいグループにわたって計算し、次いで、追加の点対を組み込みながら推定値を反復的に精緻化することによって実行され得る。
3.取得された拡大縮小、回転、及び並進の変換を使用することによって、位置追跡システム12の3D座標点を変換する。
4.位置追跡システム12の3D座標点を画像48の3D座標点と再関連付けすることにより、ステップ1に戻ってプロセスを反復する。再関連付けがRMS距離メトリックを低減しない場合、位置追跡システム12の座標系とCTシステムとの間の座標変換として最後の変換を受け入れる。
1.位置追跡システム12の各3D座標点(記録ステップ117において記録された点)を、3D CT画像48の最も近い3D座標点に一致させ、一対の点の近接度は、それらの間の3Dユークリッド距離diによって判定される。
2.累積距離メトリックDを最小化することになる拡大縮小、回転、及び並進の組み合わせを推定する。このステップはまた、点を重み付けること(すなわち、非ユニティ値をwiに割り当てること)と、アライメント前に外れ値を拒否すること(すなわち、予め設定された閾値をdiが超える点対を拒否すること)と、を含み得る。このステップは、例えば、拡大縮小、回転、及び並進の初期推定値を、点対の小さいグループにわたって計算し、次いで、追加の点対を組み込みながら推定値を反復的に精緻化することによって実行され得る。
3.取得された拡大縮小、回転、及び並進の変換を使用することによって、位置追跡システム12の3D座標点を変換する。
4.位置追跡システム12の3D座標点を画像48の3D座標点と再関連付けすることにより、ステップ1に戻ってプロセスを反復する。再関連付けがRMS距離メトリックを低減しない場合、位置追跡システム12の座標系とCTシステムとの間の座標変換として最後の変換を受け入れる。
相関を最大化するプロセスは反復的であり得るため、最大化された相関を受け入れるための基準は、例えば、反復の後続のステップが所定の閾値未満だけ相関を増加させる(又は累積距離メトリックDを低減させる)とき、相関を最大値として受け入れることによって設定され得る。最大相関に達すると、2つの基準フレーム間の相対的な回転及び変換は、位置合わせステップ122において、フレーム間の位置合わせとして保存される。次いで、プロセスは、終了ステップ124において終了する。
代替的な実施形態では、上で説明されるように、相関は、最初の数個の記録された3D座標から開始して計算され、計算ステップ120は、ループ115(ここには図示せず)内に移動される。
位置合わせプロセスが完了すると、内科医20は、システム10を使用して患者14に対して侵襲的処置を行うことに進み得る。この目的のために、内科医は、その遠位端に又はその近くに位置センサを有するプローブ(図示せず)を患者の頭部に、例えば、副鼻腔の通路に挿入する。プロセッサ24は、プローブの位置を追跡し、ステップ122において見出される変換を使用して、CT画像に対してこの位置を位置合わせして、患者の解剖学的構造に対するプローブの場所の正確な指標を内科医に提供する。
上に記載される実施形態は例として挙げたものであり、本発明は本明細書の上記で具体的に図示及び説明されるものに限定されない点が理解されよう。むしろ、本発明の範囲は、前述の本明細書に記載される様々な特徴の組み合わせ及び部分的組み合わせの両方、並びに前述の記載を読むと当業者に着想されるであろう、先行技術に開示されていないその変形及び修正を含む。
〔実施の態様〕
(1) 医療装置であって、
位置センサを備え、かつ患者の身体の一部分の表面と接触するように構成されている、位置合わせツールと、
位置追跡システムであって、前記患者の前記身体の前記一部分の近傍において、前記位置追跡システムによって画定された第1の基準フレーム内の前記位置センサの位置座標を取得するように構成されている、位置追跡システムと、
ディスプレイ画面と、
処理ユニットであって、
第2の基準フレーム内の前記患者の前記身体の少なくとも前記一部分に関する三次元(3D)画像データを受信することと、
前記3D画像データに基づいて、前記患者の前記身体の前記一部分の前記表面の二次元(2D)画像を生成することと、
前記2D画像を前記ディスプレイ画面にレンダリングすることと、
前記表示された2D画像上に、前記身体の前記一部分の前記表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせることと、
前記位置合わせツールが、前記ディスプレイ上の前記アイコンに対応する前記患者の前記身体の前記一部分の前記表面上の前記場所に接触する間に、前記位置追跡システムによって取得された前記位置座標を受信することと、
前記位置座標を前記三次元画像データ内の前記対応する場所と比較することによって、前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることと、
を行うように構成された処理ユニットと、
を備える、医療装置。
(2) 前記位置追跡システムが、磁気位置追跡システムを備える、実施態様1に記載の医療装置。
(3) 前記三次元画像データが、コンピュータ断層撮影(CT)システムからのデータを含む、実施態様1に記載の医療装置。
(4) 前記三次元画像データが、磁気共鳴撮像(MRI)システムからのデータを含む、実施態様1に記載の医療装置。
(5) 前記患者の前記身体の前記一部分が、前記患者の頭部を含み、前記2D画像が、前記患者の顔部を示す、実施態様1に記載の医療装置。
(1) 医療装置であって、
位置センサを備え、かつ患者の身体の一部分の表面と接触するように構成されている、位置合わせツールと、
位置追跡システムであって、前記患者の前記身体の前記一部分の近傍において、前記位置追跡システムによって画定された第1の基準フレーム内の前記位置センサの位置座標を取得するように構成されている、位置追跡システムと、
ディスプレイ画面と、
処理ユニットであって、
第2の基準フレーム内の前記患者の前記身体の少なくとも前記一部分に関する三次元(3D)画像データを受信することと、
前記3D画像データに基づいて、前記患者の前記身体の前記一部分の前記表面の二次元(2D)画像を生成することと、
前記2D画像を前記ディスプレイ画面にレンダリングすることと、
前記表示された2D画像上に、前記身体の前記一部分の前記表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせることと、
前記位置合わせツールが、前記ディスプレイ上の前記アイコンに対応する前記患者の前記身体の前記一部分の前記表面上の前記場所に接触する間に、前記位置追跡システムによって取得された前記位置座標を受信することと、
前記位置座標を前記三次元画像データ内の前記対応する場所と比較することによって、前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることと、
を行うように構成された処理ユニットと、
を備える、医療装置。
(2) 前記位置追跡システムが、磁気位置追跡システムを備える、実施態様1に記載の医療装置。
(3) 前記三次元画像データが、コンピュータ断層撮影(CT)システムからのデータを含む、実施態様1に記載の医療装置。
(4) 前記三次元画像データが、磁気共鳴撮像(MRI)システムからのデータを含む、実施態様1に記載の医療装置。
(5) 前記患者の前記身体の前記一部分が、前記患者の頭部を含み、前記2D画像が、前記患者の顔部を示す、実施態様1に記載の医療装置。
(6) 前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることが、前記位置座標と前記三次元画像データ内の前記対応する場所との間の相関を最大化するように、前記第1の基準フレームと前記第2の基準フレームとの間の相対的な拡大縮小、回転、及び並進を適用することを含む、実施態様1に記載の医療装置。
(7) 前記処理ユニットが、前記2D画像上の前記場所をマーキングするユーザから前記ランドマーク場所を受信する、実施態様1に記載の医療装置。
(8) 前記処理ユニットが、前記位置合わせされた基準フレームを使用して、前記身体の前記一部分の内側の侵襲的プローブの場所を追跡及び表示するように構成されている、実施態様1~7のいずれかに記載の装置。
(9) 医療画像を位置合わせするための方法であって、前記方法が、
患者の身体の一部分の近傍において、位置追跡システムによって画定された第1の基準フレーム内の位置合わせツール内の位置センサの位置座標を、前記位置合わせツールが前記身体の前記一部分の表面と接触するときに取得することと、
第2の基準フレーム内の前記患者の前記身体の少なくとも前記一部分に関する三次元(3D)画像データを受信することと、
前記3D画像データに基づいて、前記患者の前記身体の前記一部分の前記表面の二次元(2D)画像を生成することと、
前記2D画像をディスプレイ画面にレンダリングすることと、
前記表示された2D画像上に、前記身体の前記一部分の前記表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせることと、
前記位置合わせツールが、前記ディスプレイ上の前記アイコンに対応する前記患者の前記身体の前記一部分の前記表面上の前記場所に接触する間に、前記位置追跡システムによって取得された前記位置座標を受信することと、
前記位置座標を前記三次元画像データ内の前記対応する場所と比較することによって、前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることと、
を含む、方法。
(10) 前記位置追跡システムが、磁気位置追跡システムを備える、実施態様9に記載の方法。
(7) 前記処理ユニットが、前記2D画像上の前記場所をマーキングするユーザから前記ランドマーク場所を受信する、実施態様1に記載の医療装置。
(8) 前記処理ユニットが、前記位置合わせされた基準フレームを使用して、前記身体の前記一部分の内側の侵襲的プローブの場所を追跡及び表示するように構成されている、実施態様1~7のいずれかに記載の装置。
(9) 医療画像を位置合わせするための方法であって、前記方法が、
患者の身体の一部分の近傍において、位置追跡システムによって画定された第1の基準フレーム内の位置合わせツール内の位置センサの位置座標を、前記位置合わせツールが前記身体の前記一部分の表面と接触するときに取得することと、
第2の基準フレーム内の前記患者の前記身体の少なくとも前記一部分に関する三次元(3D)画像データを受信することと、
前記3D画像データに基づいて、前記患者の前記身体の前記一部分の前記表面の二次元(2D)画像を生成することと、
前記2D画像をディスプレイ画面にレンダリングすることと、
前記表示された2D画像上に、前記身体の前記一部分の前記表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせることと、
前記位置合わせツールが、前記ディスプレイ上の前記アイコンに対応する前記患者の前記身体の前記一部分の前記表面上の前記場所に接触する間に、前記位置追跡システムによって取得された前記位置座標を受信することと、
前記位置座標を前記三次元画像データ内の前記対応する場所と比較することによって、前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることと、
を含む、方法。
(10) 前記位置追跡システムが、磁気位置追跡システムを備える、実施態様9に記載の方法。
(11) 前記3D画像データを受信することが、コンピュータ断層撮影(CT)画像を受信することを含む、実施態様9に記載の方法。
(12) 前記3D画像データを受信することが、磁気共鳴撮像(MRI)データを含む、実施態様9に記載の方法。
(13) 前記患者の前記身体の前記一部分が、前記患者の頭部を含み、前記2D画像を生成することが、前記患者の顔部の2D画像を生成することを含む、実施態様9に記載の方法。
(14) 前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることが、前記位置座標と前記三次元画像データ内の前記対応する場所との間の相関を最大化するように、前記第1の基準フレームと前記第2の基準フレームとの間の相対的な拡大縮小、回転、及び並進を適用することを含む、実施態様9~13のいずれかに記載の方法。
(15) 前記アイコンを重ね合わせることが、前記2D画像上の前記場所をマーキングするユーザから前記ランドマーク場所を受信することを含む、実施態様9~13のいずれかに記載の方法。
(12) 前記3D画像データを受信することが、磁気共鳴撮像(MRI)データを含む、実施態様9に記載の方法。
(13) 前記患者の前記身体の前記一部分が、前記患者の頭部を含み、前記2D画像を生成することが、前記患者の顔部の2D画像を生成することを含む、実施態様9に記載の方法。
(14) 前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることが、前記位置座標と前記三次元画像データ内の前記対応する場所との間の相関を最大化するように、前記第1の基準フレームと前記第2の基準フレームとの間の相対的な拡大縮小、回転、及び並進を適用することを含む、実施態様9~13のいずれかに記載の方法。
(15) 前記アイコンを重ね合わせることが、前記2D画像上の前記場所をマーキングするユーザから前記ランドマーク場所を受信することを含む、実施態様9~13のいずれかに記載の方法。
(16) 前記位置合わせされた基準フレームを使用して、前記身体の前記一部分の内側の侵襲的プローブの場所を追跡及び表示することを含む、実施態様9~13のいずれかに記載の方法。
Claims (16)
- 医療装置であって、
位置センサを備え、かつ患者の身体の一部分の表面と接触するように構成されている、位置合わせツールと、
位置追跡システムであって、前記患者の前記身体の前記一部分の近傍において、前記位置追跡システムによって画定された第1の基準フレーム内の前記位置センサの位置座標を取得するように構成されている、位置追跡システムと、
ディスプレイ画面と、
処理ユニットであって、
第2の基準フレーム内の前記患者の前記身体の少なくとも前記一部分に関する三次元(3D)画像データを受信することと、
前記3D画像データに基づいて、前記患者の前記身体の前記一部分の前記表面の二次元(2D)画像を生成することと、
前記2D画像を前記ディスプレイ画面にレンダリングすることと、
前記表示された2D画像上に、前記身体の前記一部分の前記表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせることと、
前記位置合わせツールが、前記ディスプレイ上の前記アイコンに対応する前記患者の前記身体の前記一部分の前記表面上の前記場所に接触する間に、前記位置追跡システムによって取得された前記位置座標を受信することと、
前記位置座標を前記三次元画像データ内の前記対応する場所と比較することによって、前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることと、
を行うように構成された処理ユニットと、
を備える、医療装置。 - 前記位置追跡システムが、磁気位置追跡システムを備える、請求項1に記載の医療装置。
- 前記三次元画像データが、コンピュータ断層撮影(CT)システムからのデータを含む、請求項1に記載の医療装置。
- 前記三次元画像データが、磁気共鳴撮像(MRI)システムからのデータを含む、請求項1に記載の医療装置。
- 前記患者の前記身体の前記一部分が、前記患者の頭部を含み、前記2D画像が、前記患者の顔部を示す、請求項1に記載の医療装置。
- 前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることが、前記位置座標と前記三次元画像データ内の前記対応する場所との間の相関を最大化するように、前記第1の基準フレームと前記第2の基準フレームとの間の相対的な拡大縮小、回転、及び並進を適用することを含む、請求項1に記載の医療装置。
- 前記処理ユニットが、前記2D画像上の前記場所をマーキングするユーザから前記ランドマーク場所を受信する、請求項1に記載の医療装置。
- 前記処理ユニットが、前記位置合わせされた基準フレームを使用して、前記身体の前記一部分の内側の侵襲的プローブの場所を追跡及び表示するように構成されている、請求項1~7のいずれか一項に記載の装置。
- 医療画像を位置合わせするための方法であって、前記方法が、
患者の身体の一部分の近傍において、位置追跡システムによって画定された第1の基準フレーム内の位置合わせツール内の位置センサの位置座標を、前記位置合わせツールが前記身体の前記一部分の表面と接触するときに取得することと、
第2の基準フレーム内の前記患者の前記身体の少なくとも前記一部分に関する三次元(3D)画像データを受信することと、
前記3D画像データに基づいて、前記患者の前記身体の前記一部分の前記表面の二次元(2D)画像を生成することと、
前記2D画像をディスプレイ画面にレンダリングすることと、
前記表示された2D画像上に、前記身体の前記一部分の前記表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせることと、
前記位置合わせツールが、前記ディスプレイ上の前記アイコンに対応する前記患者の前記身体の前記一部分の前記表面上の前記場所に接触する間に、前記位置追跡システムによって取得された前記位置座標を受信することと、
前記位置座標を前記三次元画像データ内の前記対応する場所と比較することによって、前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることと、
を含む、方法。 - 前記位置追跡システムが、磁気位置追跡システムを備える、請求項9に記載の方法。
- 前記3D画像データを受信することが、コンピュータ断層撮影(CT)画像を受信することを含む、請求項9に記載の方法。
- 前記3D画像データを受信することが、磁気共鳴撮像(MRI)データを含む、請求項9に記載の方法。
- 前記患者の前記身体の前記一部分が、前記患者の頭部を含み、前記2D画像を生成することが、前記患者の顔部の2D画像を生成することを含む、請求項9に記載の方法。
- 前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることが、前記位置座標と前記三次元画像データ内の前記対応する場所との間の相関を最大化するように、前記第1の基準フレームと前記第2の基準フレームとの間の相対的な拡大縮小、回転、及び並進を適用することを含む、請求項9~13のいずれか一項に記載の方法。
- 前記アイコンを重ね合わせることが、前記2D画像上の前記場所をマーキングするユーザから前記ランドマーク場所を受信することを含む、請求項9~13のいずれか一項に記載の方法。
- 前記位置合わせされた基準フレームを使用して、前記身体の前記一部分の内側の侵襲的プローブの場所を追跡及び表示することを含む、請求項9~13のいずれか一項に記載の方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/704,042 | 2019-12-05 | ||
US16/704,042 US11527002B2 (en) | 2019-12-05 | 2019-12-05 | Registration of an image with a tracking system |
PCT/IB2020/060804 WO2021111223A1 (en) | 2019-12-05 | 2020-11-17 | Registration of an image with a tracking system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023504703A true JP2023504703A (ja) | 2023-02-06 |
Family
ID=74125563
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022533519A Pending JP2023504703A (ja) | 2019-12-05 | 2020-11-17 | 追跡システムとの画像の位置合わせ |
Country Status (6)
Country | Link |
---|---|
US (2) | US11527002B2 (ja) |
EP (1) | EP4070283A1 (ja) |
JP (1) | JP2023504703A (ja) |
CN (1) | CN114746901A (ja) |
IL (1) | IL293233A (ja) |
WO (1) | WO2021111223A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2536650A (en) | 2015-03-24 | 2016-09-28 | Augmedics Ltd | Method and system for combining video-based and optic-based augmented reality in a near eye display |
US11980506B2 (en) | 2019-07-29 | 2024-05-14 | Augmedics Ltd. | Fiducial marker |
US11382712B2 (en) | 2019-12-22 | 2022-07-12 | Augmedics Ltd. | Mirroring in image guided surgery |
US11087557B1 (en) * | 2020-06-03 | 2021-08-10 | Tovy Kamine | Methods and systems for remote augmented reality communication for guided surgery |
EP4059435A1 (en) * | 2021-03-15 | 2022-09-21 | Koninklijke Philips N.V. | Patient preparation for medical imaging |
WO2024057210A1 (en) | 2022-09-13 | 2024-03-21 | Augmedics Ltd. | Augmented reality eyewear for image-guided medical intervention |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20040015176A1 (en) | 1994-06-20 | 2004-01-22 | Cosman Eric R. | Stereotactic localizer system with dental impression |
US6470207B1 (en) | 1999-03-23 | 2002-10-22 | Surgical Navigation Technologies, Inc. | Navigational guidance via computer-assisted fluoroscopic imaging |
EP1504726A1 (en) | 1999-04-22 | 2005-02-09 | Medtronic Surgical Navigation Technologies | Apparatus for image guided surgery |
US8644907B2 (en) | 1999-10-28 | 2014-02-04 | Medtronic Navigaton, Inc. | Method and apparatus for surgical navigation |
US7697972B2 (en) | 2002-11-19 | 2010-04-13 | Medtronic Navigation, Inc. | Navigation system for cardiac therapies |
US7855723B2 (en) | 2006-03-21 | 2010-12-21 | Biosense Webster, Inc. | Image registration using locally-weighted fitting |
US20090105579A1 (en) * | 2007-10-19 | 2009-04-23 | Garibaldi Jeffrey M | Method and apparatus for remotely controlled navigation using diagnostically enhanced intra-operative three-dimensional image data |
US10350089B2 (en) | 2013-08-13 | 2019-07-16 | Brainlab Ag | Digital tool and method for planning knee replacement |
EP3111438B1 (en) | 2014-01-17 | 2018-12-19 | Truinject Medical Corp. | Injection site training system |
US10674933B2 (en) * | 2014-10-22 | 2020-06-09 | Biosense Webster (Israel) Ltd. | Enlargement of tracking volume by movement of imaging bed |
US10548564B2 (en) * | 2015-02-26 | 2020-02-04 | Rivanna Medical, LLC | System and method for ultrasound imaging of regions containing bone structure |
US11986252B2 (en) | 2017-08-10 | 2024-05-21 | Biosense Webster (Israel) Ltd. | ENT image registration |
US10828130B2 (en) * | 2017-03-20 | 2020-11-10 | Align Technology, Inc. | Automated 2D/3D integration and lip spline autoplacement |
US10452263B2 (en) | 2017-09-13 | 2019-10-22 | Biosense Webster (Israel) Ltd. | Patient face as touchpad user interface |
-
2019
- 2019-12-05 US US16/704,042 patent/US11527002B2/en active Active
-
2020
- 2020-11-17 IL IL293233A patent/IL293233A/en unknown
- 2020-11-17 EP EP20835867.1A patent/EP4070283A1/en active Pending
- 2020-11-17 CN CN202080083755.6A patent/CN114746901A/zh active Pending
- 2020-11-17 JP JP2022533519A patent/JP2023504703A/ja active Pending
- 2020-11-17 WO PCT/IB2020/060804 patent/WO2021111223A1/en unknown
-
2022
- 2022-11-11 US US17/985,192 patent/US11790543B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP4070283A1 (en) | 2022-10-12 |
US11790543B2 (en) | 2023-10-17 |
US20230102908A1 (en) | 2023-03-30 |
IL293233A (en) | 2022-07-01 |
CN114746901A (zh) | 2022-07-12 |
US11527002B2 (en) | 2022-12-13 |
US20210174522A1 (en) | 2021-06-10 |
WO2021111223A1 (en) | 2021-06-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11790543B2 (en) | Registration of an image with a tracking system | |
US11026747B2 (en) | Endoscopic view of invasive procedures in narrow passages | |
US8942455B2 (en) | 2D/3D image registration method | |
CN108720862B (zh) | 基于与骨组织的接近度配准解剖图像与位置跟踪坐标系 | |
JP6511050B2 (ja) | イメージング装置を追跡装置と位置合わせする位置合わせシステム、イメージングシステム、介入システム、位置合わせ方法、イメージングシステムの作動方法、位置合わせコンピュータプログラム、及びイメージングコンピュータプログラム | |
US9265468B2 (en) | Fluoroscopy-based surgical device tracking method | |
WO2019157294A1 (en) | System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target | |
EP3494548B1 (en) | System and method of generating and updating a three dimensional model of a luminal network | |
JP5896737B2 (ja) | 呼吸測定器、呼吸測定器の作動方法、及び呼吸測定コンピュータプログラム | |
CN110123449A (zh) | 使用标准荧光镜进行局部三维体积重建的系统和方法 | |
JP2014509895A (ja) | 血管インターベンションプロシージャにおいてインターベンション装置の正確な誘導を支援する画像表示を提供する画像診断システム及び方法 | |
JP6806655B2 (ja) | 放射線撮像装置、画像データ処理装置及び画像処理プログラム | |
EP3501398B1 (en) | Ent bone distance color coded face maps | |
Deligianni et al. | Nonrigid 2-D/3-D registration for patient specific bronchoscopy simulation with statistical shape modeling: Phantom validation | |
JP2019505271A (ja) | 投影データセットの提供 | |
EP4091570B1 (en) | Probe for improving registration accuracy between a tomographic image and a tracking system | |
Yang et al. | Augmented Reality Navigation System for Biliary Interventional Procedures With Dynamic Respiratory Motion Correction | |
KR20240067034A (ko) | 기계적으로 획득된 조직 표면 데이터에 기초하여 표면 정합을 결정하기 위한 기술 | |
CN118234422A (zh) | 用于经皮手术期间的配准和跟踪的方法和装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231018 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240528 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20240529 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240807 |