JP2023504703A - 追跡システムとの画像の位置合わせ - Google Patents

追跡システムとの画像の位置合わせ Download PDF

Info

Publication number
JP2023504703A
JP2023504703A JP2022533519A JP2022533519A JP2023504703A JP 2023504703 A JP2023504703 A JP 2023504703A JP 2022533519 A JP2022533519 A JP 2022533519A JP 2022533519 A JP2022533519 A JP 2022533519A JP 2023504703 A JP2023504703 A JP 2023504703A
Authority
JP
Japan
Prior art keywords
patient
image
frame
tracking system
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022533519A
Other languages
English (en)
Inventor
ゴバリ・アサフ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Biosense Webster Israel Ltd
Original Assignee
Biosense Webster Israel Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Biosense Webster Israel Ltd filed Critical Biosense Webster Israel Ltd
Publication of JP2023504703A publication Critical patent/JP2023504703A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482Interaction with lists of selectable items, e.g. menus
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/14Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/32Determination of transform parameters for the alignment of images, i.e. image registration using correlation-based methods
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2051Electromagnetic tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072Reference field transducer attached to an instrument or patient
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/41Medical

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Robotics (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Studio Devices (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Optical Communication System (AREA)

Abstract

医療装置は、位置センサを含む位置合わせツールを含み、位置追跡システムは、位置追跡システムによって画定された第1の基準フレーム内のセンサの位置座標を取得するように構成されている。処理ユニットは、第2の基準フレーム内の患者の身体に関する3D画像データを受信することと、3D画像データに基づいて、患者の表面の2D画像を生成することと、2D画像をディスプレイ画面にレンダリングすることと、2D画像上に、それぞれのランドマークの場所を示すアイコンを重ね合わせることと、を行うように構成されている。処理ユニットは、位置合わせツールが、ディスプレイ上のアイコンに対応する患者上の場所に接触する間に、位置追跡システムによって取得された位置座標を受信し、位置座標を三次元画像データと比較することによって、第1の基準フレーム及び第2の基準フレームを位置合わせする。

Description

本発明は、広義には画像の位置合わせに関するものであり、より具体的には、画像誘導手術のために使用され得る異なる様式で生成された画像に関する。
画像誘導手術において、医療従事者は、外科的処置中に器具の位置及び/又は方向が患者の解剖学的構造の画像上に提示され得るように、リアルタイムで追跡される器具を使用する。場合によっては、患者の解剖学的構造の追跡と撮像の両方が、透視診断法などの1つの様式によって実現され得る。しかしながら、透視診断法は電離放射線を用いるものであるため、その利用は最小限にされる必要がある。結果として、多くのシナリオにおいて、患者の画像は、磁気共鳴撮像(magnetic resonance imaging、MRI)又はコンピュータ断層撮影(computerized tomography、CT)透視診断法などのある様式で提供され、器具追跡では、磁気追跡などの異なる様式を使用する。
以下に記載される本発明の実施形態は、画像を追跡システムと位置合わせするための改善された方法、並びにそのような方法を実装するシステム及びソフトウェアを提供する。
したがって、本発明の一実施形態によれば、位置センサを含み、患者の身体の一部分の表面と接触するように構成された位置合わせツールを含む医療装置が提供される。位置追跡システムは、患者の身体の一部分、及びディスプレイ画面の近傍において、位置追跡システムによって画定された第1の基準フレーム内の位置センサの位置座標を取得するように構成されている。装置は、第2の基準フレーム内の患者の身体の少なくとも一部分に関する三次元(3D)画像データを受信して、3D画像データに基づいて、患者の身体の一部分の表面の二次元(2D)画像を生成し、2D画像をディスプレイ画面にレンダリングするように構成された処理ユニットを更に含む。処理ユニットは、表示された2D画像上に、身体の一部分の表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせて、位置合わせツールが、ディスプレイ上のアイコンに対応する患者の身体の一部分の表面上の場所に接触する間に、位置追跡システムによって取得された位置座標を受信し、位置座標を三次元画像データ内の対応する場所と比較することによって、第1の基準フレーム及び第2の基準フレームを位置合わせするように更に構成されている。
開示される実施形態では、位置追跡システムは、磁気位置追跡システムを備える。
別の実施形態では、三次元画像データは、コンピュータ断層撮影(CT)システムからのデータを含む。代替的に、三次元画像データは、磁気共鳴撮像(MRI)システムからのデータを含む。
更なる実施形態では、患者の身体の一部分は、患者の頭部を含み、2D画像は、患者の顔部を示す。
別の実施形態では、第1の基準フレーム及び第2の基準フレームを位置合わせすることは、位置座標と三次元画像データ内の対応する場所との間の相関を最大化するように、第1の基準フレームと第2の基準フレームとの間の相対的な拡大縮小、回転、及び並進を適用することを含む。
更に別の実施形態では、処理ユニットは、2D画像上の場所をマーキングするユーザからランドマーク場所を受信する。
更に別の実施形態では、処理ユニットは、位置合わせされた基準フレームを使用して、身体の一部分の内側の侵襲的プローブの場所を追跡及び表示するように構成されている。
本発明の一実施形態によれば、医療画像を位置合わせする方法も提供される。この方法は、患者の身体の一部分の近傍において、位置追跡システムによって画定された第1の基準フレーム内の位置合わせツール内の位置センサの位置座標を、位置合わせツールが身体の一部分の表面と接触するときに取得することと、第2の基準フレーム内の患者の身体の少なくとも一部分に関する三次元(3D)画像データを受信することと、3D画像データに基づいて、患者の身体の一部分の表面の二次元(2D)画像を生成することと、2D画像をディスプレイ画面にレンダリングすることと、を含む。この方法は、表示された2D画像上に、身体の一部分の表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせることと、位置合わせツールが、ディスプレイ上のアイコンに対応する患者の身体の一部分の表面上の場所に接触する間に、位置追跡システムによって取得された位置座標を受信することと、位置座標を三次元画像データ内の対応する場所と比較することによって、第1の基準フレーム及び第2の基準フレームを位置合わせすることと、を更に含む。
本発明は、以下の「発明を実施するための形態」を図面と併せて考慮することで、より完全に理解されよう。
本発明の一実施形態による、医療装置の概略描画図である。 本発明の一実施形態による、ユーザインターフェース画面の概略図である。 本発明の一実施形態による、3D画像と位置追跡システムとの間の位置合わせ手順を概略的に示すフローチャートである。
概論
磁気追跡システムは、画像誘導手術などの侵襲的診断及び治療処置において、処置を受けている患者の身体の一部分のCT画像などの事前取得された画像を使用して、器具を追跡するために使用される。その追跡が有効であるためには、画像の基準フレーム及び追跡システムが、互いに位置合わせされる必要がある。例えば、CT画像と磁気追跡システムとの間の典型的な位置合わせ手順では、多数の異なる解剖学的点(ランドマークと称される)の座標がCT画像内にマーキングされ、同じランドマークの座標が追跡システムによって取得される。かかる座標点の対が取得されると、拡大縮小、回転、及び並進を含む変換を推定するために、適合プロセスが適用され、これにより、二組の点を最良にアライメントさせる、すなわち、位置合わせする。適合は、例えば、累積距離メトリック又は反復最近接点(ICP)アルゴリズムなどの当技術分野で知られているアルゴリズムを使用して計算され得る。
例として、耳鼻咽喉(ENT)処置などの患者の頭部で使用される器具の追跡を必要とする処置を考える。かかる処置では、患者の頭部は、追跡システムの基準フレームと位置合わせされる。そのような位置合わせ手順の例は、米国特許出願公開第2019/0046272号に提供されている。記載された手順では、内科医などの医療従事者は、患者の皮膚上の予め設定された数のランドマーク点で磁気追跡センサを含むプローブの遠位端を位置決めする。ランドマーク点は、CT画像内の所定の位置に対応する。この引用例では、患者の鼻の先端の下方にある点、眼を除く患者の顔部の左側と右側、及び両眼の間の点を含む4つの初期ランドマーク点、並びに追跡センサからの信号がこれらの点で取得される。
追跡センサからの信号が取得されると、プロセッサは、磁気アセンブリの基準フレーム内のそれぞれの位置座標を計算して、4つの順序付けられた対の位置を生成し、各順序付けられた対は、形式(追跡センサ位置、CT位置)を有し、各対は、対応する位置を指す。システムプロセッサは、これらの4つの順序付けられた対を使用して、予備的な位置合わせ、すなわち、CT座標系を磁気アセンブリのそれとアライメントさせる拡大縮小、並進及び回転パラメータを含む変換を生成する。
内科医は、患者の皮膚にプローブの遠位端を、患者が画定した追加のランドマーク点で位置決めすることによって続ける。信号が取得されるたびに、プロセッサは、点のソースクラウドへの追加として新たな位置を使用して変換を更新するために、信号によって判定された座標を使用する。
ランドマーク点を画定するために、本システムは、内科医によって閲覧される画面上に「一般的な」頭部の概略画像を提示することによって、位置合わせプロセスにおいて内科医を誘導し、画像上のマーカは、タッチされる点を示す。しかしながら、実際の患者の特徴は、一般的な頭部とは大きく異なる場合があり、内科医が患者にタッチする場所を決定することは困難になる。極端な場合、差異は、正確な位置合わせを可能にするのにはあまりに大きくなる場合がある。
本明細書に記載される本発明の実施形態は、位置追跡システム、位置センサを備えた位置合わせツール、ディスプレイ画面、及び処理ユニットを組み込んだ医療装置を提供することによって、この問題に対処する。位置追跡システムと患者の3D画像との間の正確な位置合わせは、3D画像データから患者の身体の真の及び現実的な二次元(2D)画像を生成し、一般的な事前定義された画像を単に使用するのではなく、この2D画像に基づいて位置合わせ手順を誘導することによって有効にされる。このアプローチは、CTの座標系と追跡システムとの間のフィッティングプロセスの迅速な収束を容易にし、当技術分野で知られているシステムよりも正確な位置合わせをもたらす。
開示された実施形態では、処理ユニットは、患者の身体の一部分の3D画像データを受信し、3D画像データに基づいて、患者の身体の一部分の表面の2D画像を生成する。処理ユニットは更に、2D画像をディスプレイ画面にレンダリングし、内科医からの誘導下で、身体の一部分の表面上のそれぞれのランドマークの場所を示す表示された2D画像アイコン上に重ね合わせる。内科医は、位置合わせツールを2D画像上のこれらのアイコンによって誘導して、患者の身体上の対応する点にタッチし、どの点にその内科医がタッチしたかを処理ユニットに示す。処理ユニットは、これらの点から位置追跡システムによって取得された位置センサの対応する3D位置座標を受信する。最後に、処理ユニットは、位置追跡システムによって取得された3D座標とアイコンに対応する3D画像データの座標との相関が最大化されるまで、2つの基準フレームの相対的な並進及び回転によって、位置追跡システムの基準フレームを3D画像データの基準フレームと位置合わせする。
システムの説明
図1は、本発明の一実施形態による、医療装置10の概略描画図である。装置10は、磁気位置追跡システム12を、本明細書では例として患者14のコンピュータ断層撮影(CT)画像48を含むと想定される画像と位置合わせするために使用される。位置追跡システム12は、本明細書では、例として、磁気追跡システムを備えると想定される。カリフォルニア州アーバインのBiosense Websterによって製造されたCarto(登録商標)システムは、本明細書に記載されるものと類似の追跡システムを使用して、患者内に挿入されたか又は患者の近傍に持ってこられたプローブの遠位先端部の場所及び方向を追跡する。
位置追跡システム12は、カテーテル又はガイドワイヤなどの1つ又は2つ以上の器具の位置及び方向を追跡するために使用され、これらの器具は、患者に対する医療処置中に、患者14に挿入される。以下に記載されるように、位置追跡システム12は、患者の外側にある位置合わせプローブ16の位置及び方向を追跡することもできる。プローブ16は、システム10の使用中に、医療従事者20、典型的には内科医によって保持され得るハンドル18に固定的に接続されている。プローブ16とハンドル18との組み合わせは、内科医20による所望の場所へのプローブの位置決めを容易にする剛性プローブアセンブリ22を形成する。
以下の記載を明瞭かつ簡潔にするために、上記で言及された医療処置は、患者14の副鼻腔に対する侵襲的処置を含むと想定され、それにより、医療装置10及び位置追跡システム12は、副鼻腔の領域内及びその周囲で動作するように構成されると想定される。しかしながら、システム10及び12は、代替的に、胸部、腎臓、又は腹部などの患者の他の領域内及びその周囲で動作するように構成され得、当業者であれば、本明細書の記載をかかる他の領域に適応させることができるであろう。更に、本発明の原理は、他のタイプの追跡システム(必ずしも磁気的ではない)、並びにMRIなどの他の種類の3D撮像様式と併せて適用され得る。
追跡システム12は、システムプロセッサ24によって動作され、プローブ追跡モジュール28と通信する処理ユニット26を備える。モジュール28の機能が以下に記載される。プロセッサ24は、コンソール30内に実装され得、典型的にはマウス又はトラックボールなどのポインティングデバイスを備える動作制御部32を備える。内科医20は、動作制御部32を使用して、システムプロセッサ24にコマンドを送信し、システムプロセッサ24は、以下に記載されるように、ディスプレイ画面34上でデータ及び誘導画像を内科医に提示するために更に使用される。
システムプロセッサ24は、典型的には、プログラマブルプロセッサを備え、プログラマブルプロセッサは、処理ユニット26のメモリに保存されたソフトウェアを使用して装置10を動作させる。ソフトウェアは、例えば、ネットワークを通して電子形式でシステムプロセッサ24にダウンロードされ得るか、又は、ソフトウェアは、代替的に若しくは追加的に、磁気的、光学的、又は電子的メモリなどの非一時的有形媒体上に提供及び/又は保存され得る。システムプロセッサ24は、患者14の頭部38のデジタル化された3D CT画像48を更に保存するが、CT画像は、場合によっては異なる時点で、別個のCTシステム(図示せず)によって取得されたものである。CT画像48は、画像内の各点について、その3D座標、並びに各点での画像のX線撮影密度を含み、密度は、典型的にはハウンスフィールドユニットで与えられる。
患者14内の上で言及される器具を追跡するために、並びにプローブ16を追跡するために、処理ユニット26は、プローブ追跡モジュール28を使用して、ケーブル35を介して、コイルなどの複数の磁場生成器36を動作させる。一実施形態では、典型的には、患者14が麻酔され、ベッド40上に横たわって頭部38が不動である場合に適用可能であり、生成器36は、図1に示されるように、患者の頭部のそばでベッドに配置されたフレーム42に固定される。患者14が麻酔されていない場合に適用可能である代替的な実施形態(図示せず)では、生成器36は、互いに対して、及び頭部38に取り付けられたフレームに対して、又は内科医のオフィス内の椅子に対して固定される。3軸基準コイル41が、頭部38に固定され、ケーブル43によって処理ユニット26に接続されている。
生成器36は、患者14の頭部38内及びその周囲に交流磁場を広げ、これらの磁場は、器具内の磁気検出器内及びプローブ16内において信号を生成する。信号は、プローブ16をコンソール30に接続するケーブル44を介して、処理ユニット26及びプローブ追跡モジュール28に送り返される。処理ユニット及びモジュールは共に、信号を分析して、生成器36に対する器具及びプローブ16の場所及び方向座標を導出する。磁場生成器36は、こうして、磁気追跡システム12の基準座標フレーム46を画定する。
位置合わせのプロセス中に、図3のフローチャートで更に詳述されるように、処理ユニット26は、3D CT画像48にアクセスし、それをディスプレイ画面34上で2D画像50にレンダリングする。処理ユニット26は更に、図2で更に詳述されるように、2D画像50上の選択された点、典型的には患者の顔部上の解剖学的ランドマークに対応する点にアイコン54を重ね合わせる。内科医20は、プローブ16を、アイコン54に対応する各点で患者14の表面52と(すなわち、患者の皮膚と)順に接触させ、処理ユニット26は、これらの点の各々におけるプローブの3D座標を記録する。これらの記録された座標及びCT画像48の基準フレーム内の対応する点の座標を使用して、処理ユニット26は、2つの基準フレームの相対的な拡大縮小、回転、及び並進を含む変換を計算することによって、位置追跡システム12の基準フレームを3D CT画像48の基準フレームと位置合わせする。典型的には、変換は、適合プロセスによって見出され、適合プロセスは、プローブの位置合わせされた3D座標とアイコン54に対応するCT画像48の3D座標との間の相関を最大化する。相関を最大化するために、処理ユニット26は、図3を参照しながら更に詳述されるように、累積距離メトリック又は反復最近接点(iterative closest point、ICP)アルゴリズムなどのアルゴリズムを使用し得る。
処理ユニット26は、全てのアイコン54に対応する全ての3D座標点が収集された後、相関を最大化し得る。代替的に、処理ユニット26は、(引用された米国特許出願公開第2019/0046272号にも記載されているように)最初の数個の追跡及び記録された点との相関の計算を開始し得、次いで、全ての追加の記録された点との相関を改善する。反復方法では、処理ユニット26はまた、プローブ16によってタッチされた各次の点の3D座標が予想される場所に十分に近いかどうかを推定し、例えば、対応するアイコンを緑色に着色することによって、許容可能な近接度を示すか、又は対応するアイコンを赤色に着色することによって、許容不可能な距離を示し得る。
内科医20と処理ユニット26との間の通信は、表面52上のどの点がタッチされるかを示すために確立される。例えば、処理ユニット26は、ディスプレイ画面34上でアイコン54を点滅させ、こうして、内科医20に、その内科医がタッチすると予想される点を示し得る。内科医20がこの点にタッチすると、その内科医は、制御部32を通して(例えば、キーパッドのキーを押すか、マウスをクリックすることによって)その点がタッチされたことを示す。代替的に、各アイコン54は、数値列を使用して番号付けされ得、内科医20は、その内科医がアイコンのうちのどれにタッチしたかを、制御部32を通して示す。
図2は、本発明の一実施形態による、ディスプレイ画面34上に提示された2D画像50の概略詳細図である。画像50は、3D CT画像48から処理ユニット26によってレンダリングされており、したがって、患者14の顔部の真の及び現実的な画像である。3D CT画像48から画像50をレンダリングするために、処理ユニット26は、マーチングキューブアルゴリズムなどのアルゴリズムをCT画像に適用する。アルゴリズムは、ハウンスフィールドユニットでの放射線密度が非ゼロであるCT画像48の各点に、1の値を割り当て、(空気に対応する)ゼロのハウンスフィールド値を有する点に、ゼロの値を割り当てる。アルゴリズムは、画像48を通って進み、一度に8つの隣接する場所を取り(したがって、仮想立方体を形成し)、この立方体を通過するいわゆる等値面の一部分を表すために必要な多角形を判定する。(等値面は、ゼロの値と立方体頂点のうちの1つとの間の境界を線形近似で表す表面である。)次いで、個々の多角形は、ディスプレイ画面34の平面に対応する平面上に投影される3D表面に融合される。
処理ユニット26は、顔部ランドマークに対応する2D画像50上の点にアイコン54を重ね合わせている。レンダリングプロセスに基づいて、各アイコン54は、CT基準フレーム内の対応する3D座標に自動的に結合される。内科医20は、例えば、制御部32を使用して、ディスプレイ画面34上のカーソルを適宜に見える場所に移動させ、次いで、マウスのクリックによってこれらの場所を処理ユニット26に示すことによって、画像50上のアイコン54の位置を画定し得る。本実施例では、内科医20は、比較的堅い、すなわちプローブ16からの穏やかな圧力下で有意に圧縮されない顔部の領域内で、これらの場所を選択している。そのような領域には、例えば、額、鼻の先端、及び突出している頬骨が含まれる。代替的又は追加的に、アイコン54の一部又は全部の位置は、処理ユニット26によって自動的に選択され得る。
図3は、本発明の一実施形態による、3D画像48と位置追跡システム12との間の位置合わせ手順を概略的に示すフローチャート100である。フローチャート100に示される位置合わせ手順は、図1~図2に示される要素を指す。代替的に、この手順の原理は、他の種類の3D画像及び追跡システムに関連して適用され得る。
手順は、開始ステップ102において開始する。3D画像ステップ104において、患者14の顔部の3D CT画像48が、処理ユニット26によって受信される。レンダリングステップ106において、処理ユニット26は、図2に関連して説明したように、3D CT画像48に基づいて2D画像50をレンダリングする。重ね合わせステップ108において、処理ユニット26は、画像50上に、患者14の顔部のランドマークを表すアイコン54を重ね合わせる。表示ステップ110において、処理ユニット26は、ディスプレイ画面34上で、アイコン54と共に画像50を表示する。
座標収集開始ステップ112において、内科医20は、プローブ16で患者14の顔部にタッチすることにより、3D座標の収集のプロセスを開始する。ここで、プロセスは、タッチステップ114、記録ステップ117、決定ステップ116、及び次のアイコンステップ118を含む、ループ115に入る。タッチステップ114において、内科医20は、アイコン54によって示される場所で、プローブ16で患者14の顔部にタッチする。内科医20と処理ユニット26との間の通信は、上記の図1を参照しながら説明されており、ここでは更に詳述されない。位置追跡システム12によって感知されたプローブ16の3D座標は、記録ステップ117において処理ユニット26によって記録される。3D座標を記録した後、処理ユニット26は、決定ステップ116において、更なる場所にタッチする必要があるかどうかを判定する。答えが肯定である場合、次の場所(アイコン)は、上で説明されるように、内科医20によって、又は処理ユニット26によって選択され、内科医は、ステップ114において次の場所にタッチする。
全ての必要な場所(アイコン)が使い果たされると、プロセスは、決定ステップ116から計算ステップ120に出る。ここで、処理ユニット26は、典型的には、記録ステップ117において記録された3D座標と、アイコン54に対応する3D画像48の3D座標との間の相関を最大化するように、2つの基準フレーム間の相対的な拡大縮小、回転、及び並進を計算する。
2組の3D座標間の相関を最大化するためのアルゴリズムの一例は、米国特許第7,855,723号によって提供される。相関は、累積距離メトリックDを最小化するために、拡大縮小、回転、及び変換の係数を反復的に更新することによって最大化され、Dは、次式のように定義され、
Figure 2023504703000002

式中、dは、2組の座標のそれぞれのi番目の点の間で計算された三次元ユークリッド距離であり、wは、例えば、各点に割り当てられ得る信頼レベルを記述する、任意選択的な重みである。
代替的又は追加的に、上記で参照した米国特許出願公開第2019/0046272号に引用されている反復最近接点(ICP)アルゴリズムが使用され得る。ICPアルゴリズムはまた、累積距離を更に最小化するために、3D点の対に使用される点を切り替える追加のオプションと共に、累積距離メトリックDを最小化することに基づく。説明された実施形態に適用されるICPアルゴリズムは、以下のステップを含むことができる。
1.位置追跡システム12の各3D座標点(記録ステップ117において記録された点)を、3D CT画像48の最も近い3D座標点に一致させ、一対の点の近接度は、それらの間の3Dユークリッド距離dによって判定される。
2.累積距離メトリックDを最小化することになる拡大縮小、回転、及び並進の組み合わせを推定する。このステップはまた、点を重み付けること(すなわち、非ユニティ値をwに割り当てること)と、アライメント前に外れ値を拒否すること(すなわち、予め設定された閾値をdが超える点対を拒否すること)と、を含み得る。このステップは、例えば、拡大縮小、回転、及び並進の初期推定値を、点対の小さいグループにわたって計算し、次いで、追加の点対を組み込みながら推定値を反復的に精緻化することによって実行され得る。
3.取得された拡大縮小、回転、及び並進の変換を使用することによって、位置追跡システム12の3D座標点を変換する。
4.位置追跡システム12の3D座標点を画像48の3D座標点と再関連付けすることにより、ステップ1に戻ってプロセスを反復する。再関連付けがRMS距離メトリックを低減しない場合、位置追跡システム12の座標系とCTシステムとの間の座標変換として最後の変換を受け入れる。
相関を最大化するプロセスは反復的であり得るため、最大化された相関を受け入れるための基準は、例えば、反復の後続のステップが所定の閾値未満だけ相関を増加させる(又は累積距離メトリックDを低減させる)とき、相関を最大値として受け入れることによって設定され得る。最大相関に達すると、2つの基準フレーム間の相対的な回転及び変換は、位置合わせステップ122において、フレーム間の位置合わせとして保存される。次いで、プロセスは、終了ステップ124において終了する。
代替的な実施形態では、上で説明されるように、相関は、最初の数個の記録された3D座標から開始して計算され、計算ステップ120は、ループ115(ここには図示せず)内に移動される。
位置合わせプロセスが完了すると、内科医20は、システム10を使用して患者14に対して侵襲的処置を行うことに進み得る。この目的のために、内科医は、その遠位端に又はその近くに位置センサを有するプローブ(図示せず)を患者の頭部に、例えば、副鼻腔の通路に挿入する。プロセッサ24は、プローブの位置を追跡し、ステップ122において見出される変換を使用して、CT画像に対してこの位置を位置合わせして、患者の解剖学的構造に対するプローブの場所の正確な指標を内科医に提供する。
上に記載される実施形態は例として挙げたものであり、本発明は本明細書の上記で具体的に図示及び説明されるものに限定されない点が理解されよう。むしろ、本発明の範囲は、前述の本明細書に記載される様々な特徴の組み合わせ及び部分的組み合わせの両方、並びに前述の記載を読むと当業者に着想されるであろう、先行技術に開示されていないその変形及び修正を含む。
〔実施の態様〕
(1) 医療装置であって、
位置センサを備え、かつ患者の身体の一部分の表面と接触するように構成されている、位置合わせツールと、
位置追跡システムであって、前記患者の前記身体の前記一部分の近傍において、前記位置追跡システムによって画定された第1の基準フレーム内の前記位置センサの位置座標を取得するように構成されている、位置追跡システムと、
ディスプレイ画面と、
処理ユニットであって、
第2の基準フレーム内の前記患者の前記身体の少なくとも前記一部分に関する三次元(3D)画像データを受信することと、
前記3D画像データに基づいて、前記患者の前記身体の前記一部分の前記表面の二次元(2D)画像を生成することと、
前記2D画像を前記ディスプレイ画面にレンダリングすることと、
前記表示された2D画像上に、前記身体の前記一部分の前記表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせることと、
前記位置合わせツールが、前記ディスプレイ上の前記アイコンに対応する前記患者の前記身体の前記一部分の前記表面上の前記場所に接触する間に、前記位置追跡システムによって取得された前記位置座標を受信することと、
前記位置座標を前記三次元画像データ内の前記対応する場所と比較することによって、前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることと、
を行うように構成された処理ユニットと、
を備える、医療装置。
(2) 前記位置追跡システムが、磁気位置追跡システムを備える、実施態様1に記載の医療装置。
(3) 前記三次元画像データが、コンピュータ断層撮影(CT)システムからのデータを含む、実施態様1に記載の医療装置。
(4) 前記三次元画像データが、磁気共鳴撮像(MRI)システムからのデータを含む、実施態様1に記載の医療装置。
(5) 前記患者の前記身体の前記一部分が、前記患者の頭部を含み、前記2D画像が、前記患者の顔部を示す、実施態様1に記載の医療装置。
(6) 前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることが、前記位置座標と前記三次元画像データ内の前記対応する場所との間の相関を最大化するように、前記第1の基準フレームと前記第2の基準フレームとの間の相対的な拡大縮小、回転、及び並進を適用することを含む、実施態様1に記載の医療装置。
(7) 前記処理ユニットが、前記2D画像上の前記場所をマーキングするユーザから前記ランドマーク場所を受信する、実施態様1に記載の医療装置。
(8) 前記処理ユニットが、前記位置合わせされた基準フレームを使用して、前記身体の前記一部分の内側の侵襲的プローブの場所を追跡及び表示するように構成されている、実施態様1~7のいずれかに記載の装置。
(9) 医療画像を位置合わせするための方法であって、前記方法が、
患者の身体の一部分の近傍において、位置追跡システムによって画定された第1の基準フレーム内の位置合わせツール内の位置センサの位置座標を、前記位置合わせツールが前記身体の前記一部分の表面と接触するときに取得することと、
第2の基準フレーム内の前記患者の前記身体の少なくとも前記一部分に関する三次元(3D)画像データを受信することと、
前記3D画像データに基づいて、前記患者の前記身体の前記一部分の前記表面の二次元(2D)画像を生成することと、
前記2D画像をディスプレイ画面にレンダリングすることと、
前記表示された2D画像上に、前記身体の前記一部分の前記表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせることと、
前記位置合わせツールが、前記ディスプレイ上の前記アイコンに対応する前記患者の前記身体の前記一部分の前記表面上の前記場所に接触する間に、前記位置追跡システムによって取得された前記位置座標を受信することと、
前記位置座標を前記三次元画像データ内の前記対応する場所と比較することによって、前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることと、
を含む、方法。
(10) 前記位置追跡システムが、磁気位置追跡システムを備える、実施態様9に記載の方法。
(11) 前記3D画像データを受信することが、コンピュータ断層撮影(CT)画像を受信することを含む、実施態様9に記載の方法。
(12) 前記3D画像データを受信することが、磁気共鳴撮像(MRI)データを含む、実施態様9に記載の方法。
(13) 前記患者の前記身体の前記一部分が、前記患者の頭部を含み、前記2D画像を生成することが、前記患者の顔部の2D画像を生成することを含む、実施態様9に記載の方法。
(14) 前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることが、前記位置座標と前記三次元画像データ内の前記対応する場所との間の相関を最大化するように、前記第1の基準フレームと前記第2の基準フレームとの間の相対的な拡大縮小、回転、及び並進を適用することを含む、実施態様9~13のいずれかに記載の方法。
(15) 前記アイコンを重ね合わせることが、前記2D画像上の前記場所をマーキングするユーザから前記ランドマーク場所を受信することを含む、実施態様9~13のいずれかに記載の方法。
(16) 前記位置合わせされた基準フレームを使用して、前記身体の前記一部分の内側の侵襲的プローブの場所を追跡及び表示することを含む、実施態様9~13のいずれかに記載の方法。

Claims (16)

  1. 医療装置であって、
    位置センサを備え、かつ患者の身体の一部分の表面と接触するように構成されている、位置合わせツールと、
    位置追跡システムであって、前記患者の前記身体の前記一部分の近傍において、前記位置追跡システムによって画定された第1の基準フレーム内の前記位置センサの位置座標を取得するように構成されている、位置追跡システムと、
    ディスプレイ画面と、
    処理ユニットであって、
    第2の基準フレーム内の前記患者の前記身体の少なくとも前記一部分に関する三次元(3D)画像データを受信することと、
    前記3D画像データに基づいて、前記患者の前記身体の前記一部分の前記表面の二次元(2D)画像を生成することと、
    前記2D画像を前記ディスプレイ画面にレンダリングすることと、
    前記表示された2D画像上に、前記身体の前記一部分の前記表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせることと、
    前記位置合わせツールが、前記ディスプレイ上の前記アイコンに対応する前記患者の前記身体の前記一部分の前記表面上の前記場所に接触する間に、前記位置追跡システムによって取得された前記位置座標を受信することと、
    前記位置座標を前記三次元画像データ内の前記対応する場所と比較することによって、前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることと、
    を行うように構成された処理ユニットと、
    を備える、医療装置。
  2. 前記位置追跡システムが、磁気位置追跡システムを備える、請求項1に記載の医療装置。
  3. 前記三次元画像データが、コンピュータ断層撮影(CT)システムからのデータを含む、請求項1に記載の医療装置。
  4. 前記三次元画像データが、磁気共鳴撮像(MRI)システムからのデータを含む、請求項1に記載の医療装置。
  5. 前記患者の前記身体の前記一部分が、前記患者の頭部を含み、前記2D画像が、前記患者の顔部を示す、請求項1に記載の医療装置。
  6. 前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることが、前記位置座標と前記三次元画像データ内の前記対応する場所との間の相関を最大化するように、前記第1の基準フレームと前記第2の基準フレームとの間の相対的な拡大縮小、回転、及び並進を適用することを含む、請求項1に記載の医療装置。
  7. 前記処理ユニットが、前記2D画像上の前記場所をマーキングするユーザから前記ランドマーク場所を受信する、請求項1に記載の医療装置。
  8. 前記処理ユニットが、前記位置合わせされた基準フレームを使用して、前記身体の前記一部分の内側の侵襲的プローブの場所を追跡及び表示するように構成されている、請求項1~7のいずれか一項に記載の装置。
  9. 医療画像を位置合わせするための方法であって、前記方法が、
    患者の身体の一部分の近傍において、位置追跡システムによって画定された第1の基準フレーム内の位置合わせツール内の位置センサの位置座標を、前記位置合わせツールが前記身体の前記一部分の表面と接触するときに取得することと、
    第2の基準フレーム内の前記患者の前記身体の少なくとも前記一部分に関する三次元(3D)画像データを受信することと、
    前記3D画像データに基づいて、前記患者の前記身体の前記一部分の前記表面の二次元(2D)画像を生成することと、
    前記2D画像をディスプレイ画面にレンダリングすることと、
    前記表示された2D画像上に、前記身体の前記一部分の前記表面上のそれぞれのランドマークの場所を示す複数のアイコンを重ね合わせることと、
    前記位置合わせツールが、前記ディスプレイ上の前記アイコンに対応する前記患者の前記身体の前記一部分の前記表面上の前記場所に接触する間に、前記位置追跡システムによって取得された前記位置座標を受信することと、
    前記位置座標を前記三次元画像データ内の前記対応する場所と比較することによって、前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることと、
    を含む、方法。
  10. 前記位置追跡システムが、磁気位置追跡システムを備える、請求項9に記載の方法。
  11. 前記3D画像データを受信することが、コンピュータ断層撮影(CT)画像を受信することを含む、請求項9に記載の方法。
  12. 前記3D画像データを受信することが、磁気共鳴撮像(MRI)データを含む、請求項9に記載の方法。
  13. 前記患者の前記身体の前記一部分が、前記患者の頭部を含み、前記2D画像を生成することが、前記患者の顔部の2D画像を生成することを含む、請求項9に記載の方法。
  14. 前記第1の基準フレーム及び前記第2の基準フレームを位置合わせすることが、前記位置座標と前記三次元画像データ内の前記対応する場所との間の相関を最大化するように、前記第1の基準フレームと前記第2の基準フレームとの間の相対的な拡大縮小、回転、及び並進を適用することを含む、請求項9~13のいずれか一項に記載の方法。
  15. 前記アイコンを重ね合わせることが、前記2D画像上の前記場所をマーキングするユーザから前記ランドマーク場所を受信することを含む、請求項9~13のいずれか一項に記載の方法。
  16. 前記位置合わせされた基準フレームを使用して、前記身体の前記一部分の内側の侵襲的プローブの場所を追跡及び表示することを含む、請求項9~13のいずれか一項に記載の方法。
JP2022533519A 2019-12-05 2020-11-17 追跡システムとの画像の位置合わせ Pending JP2023504703A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/704,042 2019-12-05
US16/704,042 US11527002B2 (en) 2019-12-05 2019-12-05 Registration of an image with a tracking system
PCT/IB2020/060804 WO2021111223A1 (en) 2019-12-05 2020-11-17 Registration of an image with a tracking system

Publications (1)

Publication Number Publication Date
JP2023504703A true JP2023504703A (ja) 2023-02-06

Family

ID=74125563

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022533519A Pending JP2023504703A (ja) 2019-12-05 2020-11-17 追跡システムとの画像の位置合わせ

Country Status (6)

Country Link
US (2) US11527002B2 (ja)
EP (1) EP4070283A1 (ja)
JP (1) JP2023504703A (ja)
CN (1) CN114746901A (ja)
IL (1) IL293233A (ja)
WO (1) WO2021111223A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11087557B1 (en) * 2020-06-03 2021-08-10 Tovy Kamine Methods and systems for remote augmented reality communication for guided surgery
EP4059435A1 (en) * 2021-03-15 2022-09-21 Koninklijke Philips N.V. Patient preparation for medical imaging

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040015176A1 (en) 1994-06-20 2004-01-22 Cosman Eric R. Stereotactic localizer system with dental impression
US6470207B1 (en) 1999-03-23 2002-10-22 Surgical Navigation Technologies, Inc. Navigational guidance via computer-assisted fluoroscopic imaging
DE60015320T2 (de) 1999-04-22 2005-10-27 Medtronic Surgical Navigation Technologies, Louisville Vorrichtung und verfahren für bildgesteuerte chirurgie
US8644907B2 (en) 1999-10-28 2014-02-04 Medtronic Navigaton, Inc. Method and apparatus for surgical navigation
US7697972B2 (en) 2002-11-19 2010-04-13 Medtronic Navigation, Inc. Navigation system for cardiac therapies
US7855723B2 (en) 2006-03-21 2010-12-21 Biosense Webster, Inc. Image registration using locally-weighted fitting
US20090105579A1 (en) * 2007-10-19 2009-04-23 Garibaldi Jeffrey M Method and apparatus for remotely controlled navigation using diagnostically enhanced intra-operative three-dimensional image data
WO2015022022A1 (en) 2013-08-13 2015-02-19 Brainlab Ag Digital tool and method for planning knee replacement
EP3111438B1 (en) 2014-01-17 2018-12-19 Truinject Medical Corp. Injection site training system
US10674933B2 (en) * 2014-10-22 2020-06-09 Biosense Webster (Israel) Ltd. Enlargement of tracking volume by movement of imaging bed
US10548564B2 (en) * 2015-02-26 2020-02-04 Rivanna Medical, LLC System and method for ultrasound imaging of regions containing bone structure
US11986252B2 (en) 2017-08-10 2024-05-21 Biosense Webster (Israel) Ltd. ENT image registration
EP4241725A3 (en) * 2017-03-20 2023-11-01 Align Technology, Inc. Generating a virtual depiction of an orthodontic treatment of a patient
US10452263B2 (en) 2017-09-13 2019-10-22 Biosense Webster (Israel) Ltd. Patient face as touchpad user interface

Also Published As

Publication number Publication date
US11527002B2 (en) 2022-12-13
US20210174522A1 (en) 2021-06-10
CN114746901A (zh) 2022-07-12
US20230102908A1 (en) 2023-03-30
WO2021111223A1 (en) 2021-06-10
EP4070283A1 (en) 2022-10-12
IL293233A (en) 2022-07-01
US11790543B2 (en) 2023-10-17

Similar Documents

Publication Publication Date Title
CN108720862B (zh) 基于与骨组织的接近度配准解剖图像与位置跟踪坐标系
US8942455B2 (en) 2D/3D image registration method
JP6511050B2 (ja) イメージング装置を追跡装置と位置合わせする位置合わせシステム、イメージングシステム、介入システム、位置合わせ方法、イメージングシステムの作動方法、位置合わせコンピュータプログラム、及びイメージングコンピュータプログラム
US11790543B2 (en) Registration of an image with a tracking system
US9265468B2 (en) Fluoroscopy-based surgical device tracking method
US11026747B2 (en) Endoscopic view of invasive procedures in narrow passages
WO2019157294A1 (en) System and method for pose estimation of an imaging device and for determining the location of a medical device with respect to a target
JP5896737B2 (ja) 呼吸測定器、呼吸測定器の作動方法、及び呼吸測定コンピュータプログラム
EP3494548B1 (en) System and method of generating and updating a three dimensional model of a luminal network
CN110123449A (zh) 使用标准荧光镜进行局部三维体积重建的系统和方法
JP2014509895A (ja) 血管インターベンションプロシージャにおいてインターベンション装置の正確な誘導を支援する画像表示を提供する画像診断システム及び方法
JP6806655B2 (ja) 放射線撮像装置、画像データ処理装置及び画像処理プログラム
KR20190078853A (ko) 레이저 표적 투영장치 및 그 제어방법, 레이저 표적 투영장치를 포함하는 레이저 수술 유도 시스템
EP3501398B1 (en) Ent bone distance color coded face maps
Deligianni et al. Nonrigid 2-D/3-D registration for patient specific bronchoscopy simulation with statistical shape modeling: Phantom validation
JP2019505271A (ja) 投影データセットの提供
EP4091570B1 (en) Probe for improving registration accuracy between a tomographic image and a tracking system
Yang et al. Augmented Reality Navigation System for Biliary Interventional Procedures With Dynamic Respiratory Motion Correction
KR20240067034A (ko) 기계적으로 획득된 조직 표면 데이터에 기초하여 표면 정합을 결정하기 위한 기술
CN118234422A (zh) 用于经皮手术期间的配准和跟踪的方法和装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20231018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240529