JP2023512203A - 構造的心臓修復又は置換プロダクトの配備のためのリアルタイム融合ホログラフィック可視化及び誘導 - Google Patents

Abstract

患者に対して構造的心臓修復又は置換処置を実施するためのシステム１００及び方法２００は、拡張現実システム１０２と、追跡対象器具１０４と、第１の画像取得システム１０８と、コンピュータ・システム１０６とを含む。方法は、患者から第１のホログラフィック画像データセット１２２を取得するステップを含む。コンピュータ・システム１０６は、次のステップで、追跡対象器具データセット１３２を提供するために、複数のセンサー１１５、１１７、１１９、１２１を使用して追跡対象器具１０４を追跡する。方法２００は、第１のホログラフィック画像データセット１２２及び追跡対象器具データセット１３２を患者とレジストレーションするステップをも含む。拡張現実システム１０２は、次いで、次のステップで、実施者による閲覧のために、患者からの第１のホログラフィック画像データセット１２２に基づいて、第１のホログラム１３４をレンダリングする。実施者は、それにより、拡張現実システム１０２を用いて患者及び第１のホログラム１３４を閲覧しながら、患者に対して処置を実施することを可能にされる。

Description

本出願は、２０２０年２月１日に出願された、米国特許仮出願第６２／９６９，０３５号の利益を主張する。上記の出願の開示全体は、参照により本明細書に組み込まれる。

本開示は、ホログラフィック拡張現実の適用例に関し、より詳細には、ホログラフィック拡張現実を採用する医療適用例に関する。

このセクションは、必ずしも従来技術とは限らない、本開示に関係する背景情報を提供する。

画像誘導式手術は、構造的心臓修復など、多くの異なる処置のための標準的な慣行になった。画像誘導式手術は、手術中データを手術前データと視覚的に相関させる。画像誘導式手術の使用は、これらの処置の安全性及び成功を増加させることが示されている。しかしながら、画像誘導式手術中に生じることがある、多くの知られている困難がある。

たとえば、手術中データ及び手術前データが実施者にどのように示されるかは、実施者の外科的パフォーマンスに直接的に相関することがある。一般的に、この情報は、患者の周りに位置を決められた２次元（２Ｄ：ｔｗｏ ｄｉｍｅｎｓｉｏｎａｌ）ディスプレイ上に示される。望ましくないことに、これは、患者から２Ｄディスプレイに実施者の注目をシフトする。また、これは、実施者が、処置を実施しながら、絶えず顔を上げて２Ｄディスプレイを見なければならないことにより、実施者の首に追加の負荷をかけることがある。

加えて、器具挿入の最適な角度を決定することは、手術中データ及び手術前データがどのように表示されるかにより、困難であることがある。前に述べられたように、このデータは、一般的に２Ｄで示され、実施者が２Ｄディスプレイ上に示されたデータに対して器具の位置及び軌道を頭の中で変換しなければならないことを意味する。これは、位置及び軌道が２Ｄに十分に変換されないことにより、望ましくなく混乱及び誤りにつながることがある。

ホログラフィック拡張現実を伴い、実施者が同じ視野内で操作データ及び患者を閲覧することを可能にする、構造的心臓修復又は置換のための可視化、誘導、及びナビゲーション方法並びにシステムに対する継続的なニーズがある。望ましくは、システム及び方法は、実施者が処置中に、より容易に器具の位置及び軌道を決定することを可能にする。

米国特許出願公開第２０１８／０３０３５６３号 米国特許出願第１７／１１０，９９１号 米国特許出願第１７／１１７，８４１号

本開示によれば、ホログラフィック拡張現実を伴い、実施者が同じ視野内で操作データ及び患者を閲覧することを可能にする、構造的心臓修復又は置換のための可視化、誘導、及びナビゲーション方法並びにシステムであって、実施者が処置中に、より容易に器具の位置及び軌道を決定することを可能にする可視化、誘導、及びナビゲーション・システム並びに方法が、驚いたことに発見された。

一実施例において、患者に対して構造的心臓修復又は置換処置を実施するための方法は、拡張現実システムと、追跡対象器具と、第１の画像取得システムと、コンピュータ・システムとを設けるステップを含む。コンピュータ・システムは、プロセッサ及びメモリを有する。追跡対象器具は、複数のセンサーを有する。第１の画像取得システムは、患者から第１のホログラフィック画像データセットを取得するために構成される。コンピュータ・システムは、拡張現実システム、追跡対象器具、及び第１の画像取得システムと通信している。方法は、第１の画像取得システムによって、患者から第１のホログラフィック画像データセットを取得することを含み得る。方法は、コンピュータ・システムによって、追跡対象器具データセットを提供するために、複数のセンサーを使用して追跡対象器具を追跡することをも含み得る。方法は、コンピュータ・システムによって、第１のホログラフィック画像データセット及び追跡対象器具データセットを患者とレジストレーションすることをさらに含み得る。方法は、追加として、拡張現実システムによって、実施者による閲覧のために、患者からの第１のホログラフィック画像データセットに基づいて、第１のホログラムをレンダリングすることを含み得る。方法は、実施者によって、拡張現実システムを用いて患者及び第１のホログラムを閲覧しながら、患者に対して構造的心臓修復又は置換処置を実施することをも含み得る。実施者は、それにより、構造的心臓修復又は置換処置中の追跡対象器具の可視化、誘導、及びナビゲーションのうちの少なくとも１つのために、拡張現実システムを採用する。

さらなる実施例では、患者に対して構造的心臓修復又は置換処置を実施するためのシステムは、拡張現実システムと、追跡対象器具と、第１の画像取得システムと、コンピュータ・システムとを含む。追跡対象器具は、コンピュータ・システムによる追跡対象器具の場所及び配向の検出のために採用された、複数のセンサーを有する。第１の画像取得システムは、患者から第１のホログラフィック画像データセットを取得するように構成される。コンピュータ・システムは、プロセッサ及びメモリを有し、拡張現実システム、追跡対象器具、及び第１の画像取得システムと通信している。コンピュータ・システムは、追跡対象器具データセットを提供するために、複数のセンサーを使用して追跡対象器具を追跡することと、第１のホログラフィック画像データセット及び追跡対象器具データセットを患者とレジストレーションすることとを行うように機械可読命令によって構成される。拡張現実システムは、実施者による閲覧のために、患者からの第１のホログラフィック画像データセットに基づいて、第１のホログラムをレンダリングするように構成される。実施者は、それにより、拡張現実システムを用いて患者及び第１のホログラムを閲覧しながら、患者に対して構造的心臓修復又は置換処置を実施することを可能にされる。特に、実施者は、構造的心臓修復又は置換処置中の追跡対象器具の可視化、誘導、及びナビゲーションのうちの少なくとも１つのために、拡張現実システムを採用する。

例示的な実施例では、本開示は、追跡対象器具の意図された軌道を模倣するためのホログラフィック光線を生成するために、空間コンピューティング、拡張現実、及び人工知能（ＡＩ：ａｒｔｉｆｉｃｉａｌ ｉｎｔｅｌｌｉｇｅｎｃｅ）を使用することによって、追跡対象器具の意図された軌道のホログラフィック表示を可能にする。システム及び方法は、任意の拡張現実ディスプレイとともに使用され得、随意に電磁又は光学追跡を使用する。これは、ホログラフィック光線が、設計によって任意の器具に適応され、任意の所望の角度に調整され、任意の所望の針、カテーテル、又はトロカール・サイズを収容するようにサイズ決定されることを可能にする。

本開示は、構造的心臓修復又は置換プロダクトのナビゲーション、誘導及び位置に関連する重大な問題を解決することを認識されたい。療法及びツールの可視化及び配向は、ホログラフィック可視化、及び経心尖又は経大動脈アプローチ技術或いは経大腿アプローチを介した心臓へのアクセスを介して可能にされる。本開示は、経食道心エコー検査、経腹部心エコー検査、ＣＴ、又はＭＲＩ画像をワイヤード及びワイヤレス電磁又は光学追跡システムからのデータとマージするか又は融合させることによって、インプラント又は療法送達、経皮的入口点、及びリアルタイム・ナビゲーション並びに誘導を計画し、サイズ決定し、事前配向することのうちの少なくとも１つのための包括的なツールを提供する。

本開示はまた、器具又はインプラント挿入の最適な角度の事前計画を可能にする。治療の知られている標準は、療法又はデバイスの適切なアクセス、誘導及び送達を達成するために、２Ｄ画像取得の使用に依拠している。本開示のホログラフィは、有利に、手術前のイメージングを、ホログラフィ的に表示され、電磁追跡又は光学追跡を使用して患者に正確にレジストレーションされたリアルタイム心エコー検査と融合させることによって、リアルタイムのビューを提供する。心臓ゲーティングのホログラフィック表現は、心臓の全動き範囲のより深い医療行為者理解をも可能にし得る。心臓周期に関連する心臓の動きをモデル化するための、手術中Ｘ線透視イメージングへのＣＴ画像のホログラフィック融合も企図される。

適用性のさらなるエリアが、本明細書で提供される説明から明らかになろう。説明及び特定の実例は、例証の目的のためのものにすぎず、本開示の範囲を限定するものではないことを理解されたい。

本明細書で説明される図面は、例証目的のためのものにすぎず、いかなるやり方でも本開示の範囲を限定するものではない。

本開示の一実施例による、構造的心臓修復又は置換のためのホログラフィック拡張現実可視化及び誘導システムの概略図であり、コンピュータ・ネットワークを介して互いと通信している拡張現実システム、追跡対象器具、コンピュータ・システム、第１の画像取得システム、及び第２の画像取得システムをさらに示す図である。 本開示の一実施例による、図１に示されている追跡対象器具の概略図である。 本開示の一実施例による、構造的心臓修復又は置換処置を実施するための方法を示すフローチャートである。 図３に示されている構造的心臓修復又は置換処置を実施するための方法の追加のステップを示す別のフローチャートである。 図３に示されている構造的心臓修復又は置換処置を実施するための方法の追加のステップを示す、また別のフローチャートである。

以下のテクノロジーの説明は、１つ又は複数の発明の主題、製造及び使用の本質の例示にすぎず、本出願において、或いは本出願に対する優先権を主張する出願済みであり得る他の出願、又はそれから発行された特許において主張される任意の特定の発明の範囲、適用例、又は使用を限定するものではない。開示される方法に関して、提示されるステップの順序は、別段に開示されていない限り、本質的に例示的であり、これにより、あるステップが同時に実施され得る場合を含めて、ステップの順序は様々な実施例において異なり得る。

Ｉ．定義
別段に定義されていない限り、本明細書で使用されるすべての技術用語は、本開示が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。

本明細書で使用される「１つの（ａ）」及び「１つの（ａｎ）」という用語は、そのアイテムが「少なくとも１つ」存在することを指し示し、可能な場合、複数のそのようなアイテムが存在し得る。別段に明確に指し示された場合を除いて、この説明におけるすべての数値量は、単語「約」によって修飾されると理解されるべきであり、すべての幾何学的及び空間記述子は、テクノロジーの最も広い範囲を説明する際に、単語「実質的に」によって修飾されると理解されるべきである。「約」は、数値に適用されたとき、計算又は測定が、（値の正確さへのある程度の接近、値に近似的に又は合理的に近い、ほぼを伴う）値の何らかのわずかな不正確さを許容することを指し示す。何らかの理由で、「約」及び／又は「実質的に」によって提供される不正確さが、この通常の意味を用いて当技術分野において別段に理解されない場合、本明細書で使用される「約」及び／又は「実質的に」は、測定の通常の方法から又はそのようなパラメータを使用して生じ得る変形形態を少なくとも指し示す。

含むこと（ｉｎｃｌｕｄｉｎｇ）、含んでいること（ｃｏｎｔａｉｎｉｎｇ）、又は有すること（ｈａｖｉｎｇ）などの非限定的用語の類義語として、「備えること（ｃｏｍｐｒｉｓｉｎｇ）」というオープンエンドの用語が、本テクノロジーの実施例を説明及び主張するために本明細書で使用されるが、実施例は、代替的に「からなる（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」又は「から主としてなる（ｃｏｎｓｉｓｔｉｎｇ ｅｓｓｅｎｔｉａｌｌｙ ｏｆ）」などのより限定的な用語を使用して説明され得る。これにより、材料、構成要素、又はプロセス・ステップを具陳する所与の実施例について、本テクノロジーは、具体的に、そのような追加の材料、構成要素又はプロセスが、本出願おいて明示的に具陳されないにもかかわらず、（それらからなるための）追加の材料、構成要素又はプロセスを除く、及び（それらから主としてなるための）実施例の重大な性質に影響を及ぼす追加の材料、構成要素又はプロセスを除くそのような材料、構成要素、又はプロセス・ステップからなる又はそれらから主としてなる実施例をも含む。たとえば、要素Ａ、Ｂ及びＣを具陳するプロセスの具陳は、具体的に、要素Ｄが、本明細書で除外されていると明示的に説明されないにもかかわらず、当技術分野において具陳され得る要素Ｄを除く、Ａ、Ｂ及びＣからなる、及びそれらから主としてなる実施例を想定する。

本明細書で言及されるとき、範囲の開示は、別段に規定されていない限り、終了点を含み、範囲全体内のすべての別個の値及びさらなる分割された範囲を含む。これにより、たとえば、「ＡからＢまで」又は「約Ａから約Ｂまで」の範囲は、Ａ及びＢを含む。（量、重量パーセンテージなど）特定のパラメータのための値及び値の範囲の開示は、本明細書で有用な他の値及び値の範囲を除かない。所与のパラメータのための２つ又はそれ以上の特定の例示された値は、パラメータのために主張され得る値の範囲のための終了点を定義し得ることが想定される。たとえば、パラメータＸが、値Ａを有するように本明細書で例示され、値Ｚを有するようにも例示された場合、パラメータＸは、約Ａから約Ｚまでの値の範囲を有し得ることが想定される。同様に、パラメータのための値の２つ又はそれ以上の範囲の開示は（そのような範囲が、入れ子になっているのか、重複しているのか、別個であるのかにかかわらず）、開示される範囲の終了点を使用して主張され得る値のための範囲のすべての可能な組合せを包括することが想定される。たとえば、パラメータＸが、１～１０、若しくは２～９、又は３～８の範囲内の値を有すると本明細書で例示された場合、パラメータＸは、１～９、１～８、１～３、１～２、２～１０、２～８、２～３、３～１０、３～９などを含む値の他の範囲を有し得ることも想定される。

要素又は層が、別の要素又は層「の上にある（ｏｎ）」か、それ「に係合される（ｅｎｇａｇｅｄ ｔｏ）」か、それ「に接続される（ｃｏｎｎｅｃｔｅｄ ｔｏ）」か、又はそれ「に結合される（ｃｏｕｐｌｅｄ ｔｏ）」と言及されたとき、要素又は層は、直接的に別の要素又は層の上にあるか、それに係合されるか、それに接続されるか、又はそれに結合され得るか、或いは介在要素又は層が存在し得る。対照的に、要素が、別の要素又は層「の直接上にある（ｄｉｒｅｃｔｌｙ ｏｎ）」か、それ「に直接的に係合される（ｄｉｒｅｃｔｌｙ ｅｎｇａｇｅｄ ｔｏ）」か、それ「に直接的に接続される（ｄｉｒｅｃｔｌｙ ｃｏｎｎｅｃｔｅｄ ｔｏ）」か、又はそれ「に直接的に結合される（ｄｉｒｅｃｔｌｙ ｃｏｕｐｌｅｄ ｔｏ）」と言及されたとき、存在する介入要素又は層がないことがある。要素の間の関係を説明するために使用される他の単語は、同様の仕方で解釈されるべきである（たとえば、「の間（ｂｅｔｗｅｅｎ）」対「の直接的間（ｄｉｒｅｃｔｌｙ ｂｅｔｗｅｅｎ）」、「隣接する（ａｄｊａｃｅｎｔ）」対「直接的に隣接する（ｄｉｒｅｃｔｌｙ ａｄｊａｃｅｎｔ）」など）。本明細書で使用される「及び／又は」という用語は、関連する列挙されたアイテムのうちの１つ又は複数の任意の及びすべての組合せを含む。

第１の、第２の、第３のなどという用語は、様々な要素、構成要素、領域、層及び／又はセクションを説明するために本明細書で使用され得るが、これらの要素、構成要素、領域、層及び／又はセクションは、これらの用語によって限定されるべきではない。これらの用語は、ある要素、構成要素、領域、層又はセクションを別の領域、層、又はセクションから区別するために使用されるにすぎないことがある。「第１の」、「第２の」などの用語及び他の数値用語は、本明細書で使用されるとき、コンテキストによって明確に指し示されない限り、配列又は順序を暗示しない。これにより、以下で論じられる第１の要素、構成要素、領域、層、又はセクションは、実例の実施例の教示から逸脱することなく、第２の要素、構成要素、領域、層、又はセクションと呼ばれ得る。

「内側（ｉｎｎｅｒ）」、「外側（ｏｕｔｅｒ）」、「の下に（ｂｅｎｅａｔｈ）」、「の下方に（ｂｅｌｏｗ）」、「下側（ｌｏｗｅｒ）」、「の上方に（ａｂｏｖｅ）」、「上側（ｕｐｐｅｒ）」など、空間的相対用語は、図中に図示されている、ある要素又は特徴の、別の要素又は特徴との関係を説明するために、説明しやすいように本明細書で使用され得る。空間的相対用語は、図中に描かれている配向に加えて、使用又は動作中のデバイスの異なる配向を包含するものであり得る。たとえば、図中のデバイスが裏返された場合、他の要素又は特徴「の下方に」又はそれ「の下に」あると説明された要素は、他の要素又は特徴「の上方に」配向されることになる。これにより、「の下方に」という実例の用語は、上方及び下方の配向の両方を包含することができる。デバイスは、別段に配向される（９０度回転される又は他の配向状態にある）ことがあり、本明細書で使用される空間的相対記述子は、相応に解釈されるべきである。

本明細書で使用される「経皮的（ｐｅｒｃｕｔａｎｅｏｕｓ）」という用語は、皮膚を通してなされるか、行われるか、又は遂行される何らかのものを指す。

本明細書で使用される「経皮的医療処置（ｐｅｒｃｕｔａｎｅｏｕｓ ｍｅｄｉｃａｌ ｐｒｏｃｅｄｕｒｅ）」という用語は、内部臓器又は組織が（一般的に外科用メスを用いて）露出されるオープン・アプローチを使用することによってではなく、皮膚の針穿刺を介して内部臓器又は組織にアクセスすることを指す。

本明細書で使用される「非血管」という用語は、「経皮的医療処置」とともに使用されるとき、経皮的にアクセスされる血管系とは別個の被術者の体の任意の部分に対して実施される医療処置を指す。経皮的医療処置の実例は、生検、組織アブレーション、寒冷療法処置、近接照射療法処置、血管内処置、排液処置、整形外科処置、疼痛管理処置、椎骨形成処置、茎／ねじ配置処置（ｐｅｄｉｃｌｅ／ｓｃｒｅｗ ｐｌａｃｅｍｅｎｔ ｐｒｏｃｅｄｕｒｅ）、ガイドワイヤ配置処置、ＳＩ関節固定処置、訓練処置などを含むことができる。

本明細書で使用される「血管内」という用語は、「経皮的医療処置」とともに使用されるとき、経皮的にアクセスされる血管（又はリンパ系）に対して実施される医療処置を指す。血管内経皮的医療処置の実例は、動脈瘤修復、ステント・グラフト／配置、血管内人工器官の配置、ワイヤの配置、カテーテル法、フィルタ配置、血管形成術などを含むことができる。

本明細書で使用される「介入デバイス」又は「追跡対象器具」という用語は、非血管経皮的医療処置中に使用される医療機器を指す。

本明細書で使用される「追跡システム」という用語は、動きを受ける１つ又は複数のオブジェクトを観測し、さらなる処理のために追跡座標系における追跡データ（たとえば、場所データ、配向データなど）の時間的に順序付けされたシーケンスを供給するために使用される何らかのものを指す。実例として、追跡システムは、介入デバイスが患者の体を通って移動するとき、センサーコイルを装備した介入デバイスを観測することができる電磁追跡システムであり得る。

本明細書で使用される「追跡データ」という用語は、動きを受ける１つ又は複数のオブジェクトの観測に関係する追跡システムによって記録された情報を指す。

本明細書で使用される「追跡座標系」という用語は、特定の追跡システムに固有の点又は他の幾何学的要素の位置を決定するために１つ又は複数の数を使用する、３Ｄ直交座標系を指す。たとえば、追跡座標系は、標準的な３Ｄ直交座標系から回転、スケーリングなどされ得る。

本明細書で使用される「ヘッドマウント・デバイス」若しくは「ヘッドセット」又は「ＨＭＤ」という用語は、１つ又は複数の眼の前に（レンズを含む）１つ又は複数のディスプレイ・オプティクスを有する、頭に装着されるように構成されたディスプレイ・デバイスを指す。これらの用語は、「拡張現実システム」という用語によってなお一層概括的に指され得るが、「拡張現実システム」という用語は、頭に装着されるように構成されたディスプレイ・デバイスに限定されないことを認識されたい。いくつかの事例では、ヘッドマウント・デバイスは、非一時的メモリ及び処理ユニットをも含むことができる。好適なヘッドマウント・デバイスの実例は、マイクロソフト・ホロレンズ（Ｍｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓ）（登録商標）である。

本明細書で使用される「イメージング・システム」、「画像取得装置」、「画像取得システム」などという用語は、患者の体の内部の視覚表現を作成するテクノロジーを指す。たとえば、イメージング・システムは、コンピュータ断層撮影（ＣＴ：ｃｏｍｐｕｔｅｄ ｔｏｍｏｇｒａｐｈｙ）システム、Ｘ線透視システム、磁気共鳴イメージング（ＭＲＩ：ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｃｅ ｉｍａｇｉｎｇ）システム、超音波（ＵＳ：ｕｌｔｒａｓｏｕｎｄ）システムなどであり得る。

本明細書で使用される「座標系」又は「拡張現実システム座標系」という用語は、特定の拡張現実システム、又はそれが属する画像取得システムに固有の点又は他の幾何学的要素の位置を決定するために１つ又は複数の数を使用する、３Ｄ直交座標系を指す。たとえば、ヘッドセット座標系は、標準的な３Ｄ直交座標系から回転、スケーリングなどされ得る。

本明細書で使用される「画像データ」若しくは「画像データセット」又は「イメージング・データ」という用語は、患者の体の内部の観測に関係するイメージング・システムによって３Ｄに記録された情報を指す。たとえば、「画像データ」又は「画像データセット」は、たとえば、医療におけるデジタル・イメージング及び通信（ＤＩＣＯＭ：Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）規格又は他の関連するイメージング規格に従ってフォーマットされたデータによって表現された、断層画像など、処理された２次元若しくは３次元画像又はモデルを含むことができる。

本明細書で使用される「イメージング座標系」又は「画像取得システム座標系」という用語は、特定のイメージング・システムに固有の点又は他の幾何学的要素の位置を決定するために１つ又は複数の数を使用する、３Ｄ直交座標系を指す。たとえば、イメージング座標系は、標準的な３Ｄ直交座標系から回転、スケーリングなどされ得る。

本明細書で使用される「ホログラム」、「ホログラフィック」、「ホログラフィック・プロジェクション」、又は「ホログラフィック表現」という用語は、ヘッドセットのレンズに投影されたコンピュータ生成された画像を指す。概括的に、ホログラムは、（拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）において）合成的に生成され得、物理的現実に関係しない。

本明細書で使用される「物理的」という用語は、実在的な何らかのものを指す。物理的である何らかのものは、ホログラフィックではない（又はコンピュータ生成されていない）。

本明細書で使用される「２次元」又は「２Ｄ」という用語は、２つの物理的寸法で表現された何らかのものを指す。

本明細書で使用される「３次元」又は「３Ｄ」という用語は、３つの物理的寸法で表現された何らかのものを指す。「４Ｄ」（たとえば、３Ｄ＋時間及び／又は動き次元）である要素は、３次元又は３Ｄの定義に包含される。

本明細書で使用される「統合された」というという用語は、リンク又は協調させられている２つの物を指すことができる。たとえば、コイルセンサーは、介入デバイスと統合され得る。

本明細書で使用される「自由度」又は「ＤＯＦ」という用語は、いくつかの単独で変動するファクタを指す。たとえば、追跡システムは、６つの自由度（又は６ＤＯＦ）、すなわち、３Ｄ点及び回転の３次元を有することができる。

本明細書で使用される「リアルタイム」という用語は、プロセス又はイベントがその間に起こる実際の時間を指す。言い換えれば、リアルタイム・イベントは、（結果がフィードバックとして直ちに利用可能であるようにミリ秒内で）ライブで行われる。たとえば、リアルタイム・イベントは、イベントが起こってから１００ミリ秒以内に表現され得る。

本明細書で使用される「被術者」及び「患者」という用語は、互換的に使用され、任意の脊椎動物を指すことができる。

本明細書で使用される「レジストレーション」という用語は、追跡データ及び身体画像データを共通座標系に変えるステップと、処置中に物理的な患者の体に対して画像及び情報のホログラフィック表示を作成するステップとを指し、たとえば、Ｗｅｓｔらの米国特許出願公開第２０１８／０３０３５６３号、また出願人の共有の、Ｂｌａｃｋらの米国特許出願第１７／１１０，９９１号及びＭａｒｔｉｎ ＩＩＩらの米国特許出願第１７／１１７，８４１号においてもさらに説明されており、それらの開示全体は、参照により本明細書に組み込まれる。

ＩＩ．構造心臓修復又は置換のためのシステム
図１に示されているように、患者に対して構造的心臓修復又は置換処置（図２に示されている２００）を実施するためのホログラフィック拡張現実可視化及び誘導システム１００は、拡張現実システム１０２、追跡対象器具１０４、コンピュータ・システム１０６、及び第１の画像取得システム１０８を含む。ある実例では、ホログラフィック拡張現実可視化及び誘導システム１００は、第２の画像取得システム１１０をさらに含み得る。拡張現実システム１０２、追跡対象器具１０４、第１の画像取得システム１０８、及び第２の画像取得システム１１０の各々は、たとえば、コンピュータ・ネットワーク１１２を介してコンピュータ・システム１０６と選択的に又は永続的に通信していることがある。ホログラフィック拡張現実可視化及び誘導システム１００とともに使用するための他の好適な器具、ツール、機器、サブシステムなど、並びにホログラフィック拡張現実可視化及び誘導システム１００の構成要素の間の通信のワイヤード及びワイヤレス手段を含む他のネットワーク手段も、必要に応じて当業者によって採用され得る。

図２を参照すると、追跡対象器具１０４は、追跡対象器具１０４の場所及び配向の両方がコンピュータ・システム１０６によって決定され得るようにセンサー化（ｓｅｎｓｏｒｉｚｅ）された、介入デバイスである。特に、追跡対象器具は、長いフレキシブル管など、細長い本体を有し、複数の部分１１４、１１６、１１８、１２０が、細長い本体の長さに沿って配設され得、複数の部分１１４、１１６、１１８、１２０は、各々、複数のセンサー１１５、１１７、１１９、１２１のうちの１つを有する。たとえば、追跡対象器具１０４は、先端部分１１４、上部部分１１６、中間部分１１８、及び下部部分１２０を有し得る。先端センサー１１５は、追跡対象器具１０４の先端部分１１４に配設され得る。上部部分センサー１１７は、追跡対象器具１０４の上部部分１１６に配設され得る。中間部分センサー１１９は、追跡対象器具１０４の中間部分１１８に配設され得る。下部部分センサー１２１は、追跡対象器具１０４の下部部分１２０に配設され得る。センサー１１５、１１７、１１９、１２１の各々は、コンピュータ・システム１０６と通信しているか、又はその他の方法でコンピュータ・システム１０６によって検出可能である。

先端センサー１１５によって提供される追跡は、これが、追跡対象器具１０４のためのあらかじめ選択された基準点として実施者によって使用され得るので、ことのほか有益であることを認識されたい。あらかじめ選択された基準点は、拡張現実システム１０２によって生成され得るホログラフィック光線など、（図１に示されており、「１４２」として本明細書で説明される）軌道ホログラムのためのアンカリング点となるように構成される。ホログラフィック光線は、本明細書でさらに説明されるように、実施者の、好ましい経路又は軌道に沿った追跡対象器具１０４の位置合わせ及び移動を支援し得る。当業者はまた、本開示の範囲内で任意の数のあらかじめ選択された基準点を選択し得ることを認識されたい。さらなる実施例では、あらかじめ選択された基準点は、医療処置中に実施者によってリアルタイムで調整され得、代替的に、必要に応じて他のセンサー１１５、１１７、１１９、１２１のうちの１つ又は複数に基づき得る。

ある実例では、センサー１１５、１１７、１１９、１２１は、コンピュータ・システム１０６の部分であり、及び／又は物理的追跡対象器具１０４の場所及び配向を検出するためにコンピュータ・システム１０６によって使用され得る、電磁（ＥＭ：ｅｌｅｃｔｒｏｍａｇｎｅｔｉｃ）追跡システムの部分であり得る。たとえば、センサー１１５、１１７、１１９、１２１は、１つ又は複数のセンサーコイルを含み得る。コンピュータ・システム１０６は、１つ又は複数のセンサーコイルを検出し、検出に応答して（たとえば、６つの自由度をもつ）追跡データを提供することができる。たとえば、追跡データは、リアルタイム３Ｄ位置データ及びリアルタイム３Ｄ配向データを含むことができる。コンピュータ・システム１０６の追跡システムはまた、物理的な介入デバイス上に位置決めされない（たとえば、基準マーカー又は他のイメージング・ターゲット上に位置決めされた）コイルセンサーを検出することができる。

さらに、複数の位置センサー１１５、１１７、１１９、１２１は、追跡対象器具１０４の角速度及び加速度など、追跡対象器具１０４の様々な追加情報を査定するように構成される。角速度及び加速度を決定することに好適な複数の位置センサー１１５、１１７、１１９、１２１の非限定的な実例は、加速度計、ジャイロスコープ、電磁センサー、及び光学追跡センサーを含む。とりわけ、電磁センサーは、見通し線制限がない小さいオブジェクトのより正確なリアルタイム・オブジェクト追跡を可能にする。

拡張現実システム１０２及びコンピュータ・システム１０６と連携して使用される光学追跡システムなど、他の好適な追跡システムが、具体的に企図される。追跡対象器具１０４が、ワイヤレスに、又は拡張現実システム１０２及びコンピュータ・システム１０６とのワイヤード接続を通して送信によって通信し得る実施例が、さらに企図される。当業者は、必要に応じて異なるタイプの複数の位置センサー１１５、１１７、１１９、１２１を採用し得ることも認識されたい。

追跡対象器具１０４は、患者の心臓の中に挿入されるように構成されたインプラント又はツールをさらに含んでいることがある。追跡対象器具１０４及び関連するインプラントの非限定的な実例は、針、カテーテル、ステント、機械的心臓弁、又は生物学的心臓弁を含む。他の実例では、インプラントそれら自体が、それらの追跡を容易にするために処置中に少なくとも一時的にセンサー化され得る。

たいていの特定の実例では、追跡対象器具１０４は、患者の心臓の中への、置換弁など、心臓インプラントの挿入のために構成されたカテーテルである。他の実例では、追跡対象器具１０４は、心臓アブレーション処置において使用するために構成されたカテーテルである。しかしながら、当業者は、本開示の範囲内で、所望の処置に応じて、追跡対象器具１０４のために他の好適な介入デバイスを採用し得る。

改めて図１を参照すると、第１の画像取得システム１０８は、患者から第１のホログラフィック画像データセット１２２を取得するように構成される。特に、第１の画像取得システム１０８は、手術前様式で患者から第１のホログラフィック画像データセット１２２を取得するように構成され得る。ある実施例では、第１の画像取得システム１０８は、磁気共鳴イメージング（ＭＲＩ）装置及びコンピュータ断層撮影（ＣＴ）装置のうちの１つである。第１の画像取得システム１０８のための他の好適なタイプの器具類も、必要に応じて採用され得る。

同じように、第２の画像取得システム１１０は、患者から第２のホログラフィック画像データセット１２４を取得するように構成される。特に、第２の画像取得システム１１０は、手術中様式で、最も特に、処置が着手されているときにリアルタイムで、患者から第２のホログラフィック画像データセット１２４を取得するように構成され得る。ある実施例では、第２の画像取得システム１１０は、超音波心エコー図（ＥＣＧ：ｕｌｔｒａｓｏｕｎｄ ｅｃｈｏｃａｒｄｉｏｇｒａｍ）イメージング装置である。最も特に、第２のホログラフィック画像データセット１２４は、経胸壁心エコー図（ＴＴＥ：ｔｒａｎｓｔｈｏｒａｃｉｃ ｅｃｈｏｃａｒｄｉｏｇｒａｍ）、経食道心エコー図（ＴＥＥ：ｔｒａｎｓｅｓｏｐｈａｇｅａｌ ｅｃｈｏｃａｒｄｉｏｇｒａｍ）、及び心臓内心エコー図（ＩＣＥ：ｉｎｔｒａｃａｒｄｉａｃ ｅｃｈｏｃａｒｄｉｏｇｒａｍ）のうちの１つを含む所定のモダリティによって取得され得る。第２の画像取得システム１１０のための他の好適なタイプの器具類及びモダリティが、必要に応じて採用されてもよい。

第１の画像取得システム１０８及び第２の画像取得システム１１０の両方の使用が示され、本明細書で説明されるが、第１の画像取得システム１０８及び第２の画像取得システム１１０のうちの一方又は他方のみが採用される実施例が、本開示の範囲内に入ると見なされる。

引き続き図１を参照すると、本開示のコンピュータ・システム１０６は、少なくとも１つのプロセッサ１２６と、有形で非一時的な機械可読命令１３０が記憶された少なくとも１つのメモリ１２８とを有する。

１つ又は複数のプロセッサ１２６は、ホログラフィック拡張現実可視化及び誘導システム１００の動作に関連する機能を実施し得る。１つ又は複数のプロセッサ１２６は、任意のタイプの汎用又は専用プロセッサであり得る。いくつかの場合には、複数のプロセッサ１２６が、他の実施例に従って利用され得る。実際、１つ又は複数のプロセッサ１２６は、非限定的な実例として、汎用コンピュータ、専用コンピュータ、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、フィールドプログラマブル・ゲート・アレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ－ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、及びマルチコア・プロセッサ・アーキテクチャに基づくプロセッサのうちの１つ又は複数を含み得る。

メモリ１２８は、１つ又は複数のメモリであり、ローカル・アプリケーション環境に適した任意のタイプのものであり得、半導体ベースのメモリ・デバイス、磁気メモリ・デバイス及びシステム、光学メモリ・デバイス及びシステム、固定メモリ、並びに取外し可能なメモリなど、任意の好適な揮発性又は不揮発性データ記憶テクノロジーを使用して実装され得る。たとえば、メモリ１２８は、ランダム・アクセス・メモリ（ＲＡＭ：ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読取り専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、磁気ディスク又は光ディスクなどのスタティック・ストレージ、ハード・ディスク・ドライブ（ＨＤＤ：ｈａｒｄ ｄｉｓｋ ｄｒｉｖｅ）、或いは任意の他のタイプの非一時的機械又はコンピュータ可読媒体の任意の組合せからなり得る。メモリに記憶された命令１２８は、１つ又は複数のプロセッサ１２６によって実行されたとき、ホログラフィック拡張現実可視化及び誘導システム１００が本明細書で説明されるタスクを実施することを可能にする、プログラム命令又はコンピュータ・プログラム・コードを含み得る。

機械可読命令１３０は、モジュールを含み得る。モジュールは、機能的論理、ハードウェア論理、電子回路、ソフトウェア・モジュールなどのうちの１つ又は複数として実装され得る。モジュールは、必要に応じて、拡張現実システム・モジュール、画像取得モジュール、器具追跡モジュール、画像データセットレジストレーションモジュール、ホログラム・レンダリング・モジュール、画像レジストレーションモジュール、軌道ホログラム・レンダリング・モジュール、及び／又は他の好適なモジュールのうちの１つ又は複数を含み得る。

コンピュータ・システム１０６は、たとえば、ネットワーク１１２を介して拡張現実システム１０２、追跡対象器具１０４、第１の画像取得システム１０８、及び第２の画像取得システム１１０と通信しており、本明細書でさらに説明される方法２００に従って動作するように機械可読命令１３０によって構成される。コンピュータ・システム１０６は、拡張現実システム１０２とは別々に設けられ、拡張現実システム１０２から離間していることがあるか、又は必要に応じて単一の一体型ユニットとして拡張現実システム１０２とともに設けられ得る。

ホログラフィック拡張現実可視化及び誘導システム１００のネットワーク１１２は、非限定的な実例として、ＬＴＥ又は５Ｇなどの無線アクセス・ネットワーク、ローカル・エリア・ネットワーク（ＬＡＮ：ｌｏｃａｌ ａｒｅａ ｎｅｔｗｏｒｋ）、インターネットなどのワイド・エリア・ネットワーク（ＷＡＮ：ｗｉｄｅ ａｒｅａ ｎｅｔｗｏｒｋ）、或いはワイヤレスＬＡＮ（ＷＬＡＮ：ｗｉｒｅｌｅｓｓ ＬＡＮ）を含み得ることを認識されたい。これは限定するものではないこと、並びに本開示の範囲は、ホログラフィック拡張現実可視化及び誘導システム１００の１つ又は複数のコンピューティング・プラットフォームが、何らかの他の通信結合を介して動作可能にリンクされ得る実装形態を含むことが認識されよう。１つ又は複数のコンピューティング・プラットフォームは、ワイヤレス又はワイヤード接続を介してネットワーク化された環境と通信するように構成され得る。加えて、実施例では、１つ又は複数のコンピューティング・プラットフォームは、ワイヤレス又はワイヤード接続を介して互いと直接的に通信するように構成され得る。１つ又は複数のコンピューティング・プラットフォームの実例は、限定はしないが、スマートフォン、装着可能なデバイス、タブレット、ラップトップ・コンピュータ、デスクトップ・コンピュータ、モノのインターネット（ＩｏＴ：Ｉｎｔｅｒｎｅｔ ｏｆ Ｔｈｉｎｇｓ）デバイス、若しくは他のモバイル・デバイス又はスタンドアロン・サーバ、ネットワーク化されたサーバ、又はサーバのアレイなどの定常デバイスを含み得る。

特定の実施例では、コンピュータ・システム１０６は、追跡対象器具データセット１３２を提供するために、複数のセンサー１１５、１１７、１１９、１２１を使用して追跡対象器具１０４を追跡するように構成され得る。追跡対象器具データセット１３２は、メモリ１２８に記憶され得る。特に、物理的空間における追跡対象器具１０４の場所及び配向は、たとえば、追跡対象器具データセット１３２として記憶される。

コンピュータ・システム１０６は、同じく本明細書でさらに説明されるように、第１の画像取得システム１０８からの第１のホログラフィック画像データセット１２２、及びコンピュータ・システム１０６によって取得された追跡対象器具データセット１３２を、患者とレジストレーションするようにさらに構成され得る。

引き続き図１を参照すると、拡張現実システム１０２は、本開示の方法２００に従って複数のホログラム１３４、１３６、１３８、１４０、１４２をレンダリングするように構成される。特に、拡張現実システム１０２は、複合現実（ＭＲ：ｍｉｘｅｄ ｒｅａｌｉｔｙ）ディスプレイ、たとえば、ＭＲスマート・グラス又はＭＲヘッドマウント・ディスプレイであり得る。拡張現実システム１０２の非限定的な実例は、マジック・リープ・ワン（Ｍａｇｉｃ Ｌｅａｐ Ｏｎｅ）（登録商標）又はマイクロソフト・ホロレンズ（登録商標）を含む。他のタイプのＭＲディスプレイが、それらが現実世界オブジェクトの上にコンピュータ生成された像を重畳することが可能である限り、拡張現実システム１０２のために使用され得ることを認識されたい。追加として、拡張現実システム１０２は、ヘッドマウント・ディスプレイであると本明細書で主に説明されるが、ヘッドマウントではないが、ホログラム１３４、１３６、１３８、１４０を生成し、現実世界のビューの上にそれらを重畳することが可能である他のタイプのディスプレイが必要に応じて採用されてもよいことを理解されたい。

拡張現実システム１０２が、コンピュータ・システム１００を含んでいない事例では、拡張現実システム１０２は、追加の非一時的メモリと、ホログラム１３４、１３６、１３８、１４０、１４２のレンダリング又は生成を補助することができる（１つ又は複数のハードウェア・プロセッサを含み得る）処理ユニットとをさらに含み得ることを認識されたい。拡張現実システム１０２は、１つ又は複数の画像を記録するためのカメラ、ホログラム１３４、１３６、１３８、１４０、１４２の可視化を生成／表示するための１つ又は複数の画像生成構成要素、並びに／若しくは他の可視化及び／又は記録要素をも含むことができる。

またさらなる実例では、拡張現実システム１０２は、複数の位置センサー１４４をも含み得ることを認識されたい。拡張現実システム１０２の複数の位置センサー１４４は、拡張現実システム１０２の３次元（３Ｄ：ｔｈｒｅｅ－ｄｉｍｅｎｓｉｏｎａｌ）空間における近似された位置、配向、角速度、及び加速度など、拡張現実システム１０２のための様々な位置情報を決定するように構成される。特に、これは、ホログラフィック像が手術中に実施者の視野上に正確に表示されることを可能にすることを理解されたい。

複数の位置センサー１４４の非限定的な実例は、加速度計、ジャイロスコープ、電磁センサー、及び光学追跡センサーを含む。当業者は、たとえば、拡張現実システム１０２が使用されている処置又は状況によって必要とされる、拡張現実システム１０２の異なるタイプ及び数の複数の位置センサー１４４を採用し得ることをさらに認識されたい。

図１に示されているように、たとえば、拡張現実システム１０２によって生成されたホログラム１３４、１３６、１３８、１４０、１４２は、第１のホログラム１３４、追跡対象器具ホログラム１３６、第２のホログラム１３８、アニメーション化されたホログラム１４０、及び軌道ホログラム１４２を含み得る。拡張現実システム１０２によって生成された第１のホログラム１３４は、患者からの第１のホログラフィック画像データセット１２２に基づき得る。拡張現実システム１０２によって生成された追跡対象器具ホログラム１３６は、追跡対象器具データセット１３２に基づき得る。拡張現実システム１０２によって生成された第２のホログラム１３８は、第２のホログラフィック画像データセット１２４に基づき得る。アニメーション化されたホログラム１４０は、本明細書でさらに説明されるアニメーション化されたホログラム・データセット１４８を提供するための、第２のホログラフィック画像データセット１２４のコンピュータ・システム１０６による処理に基づき得る。軌道ホログラム１４２は、本明細書でさらに説明されるように、手動で又は自動的にのいずれかで選択され、コンピュータ・システム１０６のメモリ１２８に記憶され得る、軌道データセット１４６に基づき得る。

拡張現実システム１０２は、様々なホログラム１３４、１３６、１３８、１４０、１４２をレンダリング又は生成することに加えて、実施者に複数の操作情報又は詳細を示すようにさらに構成され得る。たとえば、拡張現実システム１０２は、患者など、現実世界オブジェクトの上に複数の操作情報を投影し得る。操作情報は、たとえば、採用されるべき軌道のためのリアルタイム・ナビゲーション命令又は誘導を含み得る。拡張現実システム１０２は、必要に応じて、追跡対象器具１０４などの様々な現実世界オブジェクトの上に、並びにレンダリングされた様々なホログラム１３４、１３６、１３８、１４０、１４２の上に複数の操作情報を投影し得ることを認識されたい。

望ましくは、操作情報又は詳細のこの生成は、実施者が同じ視野において患者及び複数の操作情報を同時に閲覧することを可能にする。また、様々なホログラム１３４、１３６、１３８、１４０、１４２とともに操作情報又は詳細を生成することは、実施者が手術中に追跡対象器具１０４を計画するか、サイズ決定するか、又は事前配向することを可能にする。

図１に示されているように、コンピュータ・システム１０６は、拡張現実システム１０２及び追跡対象器具１０４と通信している。コンピュータ・システム１０６は、実施者又は他の医療専門家による手動介入を通して、或いはメモリ１２８上に符号化された機械可読命令１３０に基づいて自動的にのいずれかで、複数の操作情報を記憶及び生成するように構成される。たとえば、複数の操作情報は、アルゴリズム、人工知能（ＡＩ）プロトコル、若しくは他の実施者入力データ又はしきい値によってなど、追跡対象器具１０４のセンサー決定位置又は配向に応じて拡張現実システム１０２において生成され得る。

加えて、コンピュータ・システム１０６は、実施者がリアルタイムで複数の操作情報を選択的に調整することを可能にするようにさらに構成される。たとえば、実施者は、軌道ホログラム１４２の位置又は配向を調整することが可能であり得る。加えて、実施者は、複数の操作データのうちのいずれが実施者にアクティブに示されているかを決めることが可能であり得る。複数の操作情報の他の設定及び属性が、本開示の範囲内で、リアルタイムで実施者によって調整され得ることを認識されたい。

特に、本開示の拡張現実システム１０２は、有利に、実施者が、拡張現実システム１０２を用いて患者及び第１のホログラム１３４並びに随意に器具ホログラム１３６を閲覧しながら、患者に対して構造的心臓修復又は置換のための方法２００を実施することを可能にすることを理解されたい。同じように、実施者は、有利に、本開示の方法２００に関して本明細書でさらに説明されるように、構造的心臓修復又は置換処置中の追跡対象器具１０４の可視化、誘導、及びナビゲーションのうちの少なくとも１つのために拡張現実システム１０２を採用することを可能にされる。

ＩＩＩ．構造心臓修復又は置換のための方法
図３は、本開示の一実施例による、方法２００の実例のフロー図を図示する。方法２００は、本明細書で説明されるホログラフィック拡張現実可視化及び誘導システム１００を設ける第１のステップ２０２を含み得る。

第２のステップ２０４で、方法２００は、次いで、第１の画像取得システム１０８によって、患者から第１のホログラフィック画像データセット１２２を取得することを含み得る。方法２００は、コンピュータ・システム１０６によって、追跡対象器具データセット１３２を提供するために、複数のセンサー１１５、１１７、１１９、１２１を使用して追跡対象器具１０４を追跡する第３のステップ２０６を含み得る。

方法２００は、次いで、コンピュータ・システム１０６によって、第１のホログラフィック画像データセット１２２及び追跡対象器具データセット１３２を患者とレジストレーションする第４のステップ２０８を含み得る。

第５のステップ２１０で、方法２００は、次いで、拡張現実システム１０２によって、実施者による閲覧のために、患者からの第１のホログラフィック画像データセット１２２に基づいて、第１のホログラム１３４をレンダリングすることを含み得る。随意に、追跡対象器具ホログラム１３６も、同じく実施者による閲覧のために、追跡対象器具データセット１３２に基づいて、第５のステップ２１０でレンダリングされ得る。器具ホログラム１３４が示される場合、実施者は、現実世界追跡対象器具１０４のポジショニングを支援するために、それの可視化を採用し得ることを認識されたい。

方法２００は、次いで、実施者によって、拡張現実システム１０２を用いて患者及び第１のホログラム１３４、並びに随意に器具ホログラム１３６を閲覧しながら、患者に対して構造的心臓修復又は置換処置を実施する第６のステップ２１２を含み得る。第６のステップ２１２の下で、実施者は、構造的心臓修復又は置換処置中の追跡対象器具１０４の可視化、誘導、及びナビゲーションのうちの少なくとも１つのために、拡張現実システム１０２を採用する。

構造的心臓修復又は置換処置中の追跡対象器具１０４の可視化、誘導、及びナビゲーションのうちの少なくとも１つは、有利に、処置中の患者の処置中移動を考慮するさらなるステップをも伴い得ることを認識されたい。

一実例では、図４に示されているように、方法２００は、第２の画像取得システム１１０によって、患者から第２のホログラフィック画像データセット１２４を取得する第７のステップ２１４をさらに含み得る。特に、第２のホログラフィック画像データセット１２４は、手術中のものであり、構造的心臓修復又は置換処置中にリアルタイムで取得され得る。第２のホログラフィック画像データセット１２４が取得されると、方法は、コンピュータ・システム１０６によって、第２のホログラフィック画像データセット１２４を患者とレジストレーションする第８のステップ２１６をさらに含み得る。第２のホログラフィック画像データセット１２４のレジストレーションに続いて、方法は、拡張現実システム１０２によって、患者からの第２のホログラフィック画像データセット１２４に基づいて、第２のホログラム１３８をレンダリングする第９のステップ２１８を含み得る。

方法２００は、次いで、コンピュータ・システム１０６によって、たとえば、コンピュータ・システム１０６のメモリ１２８に記憶された機械可読命令１３０に従って、アニメーション化されるべき第１のホログラム１３４及び第２のホログラム１３８のうちの少なくとも１つの所定の部分（図示せず）を自動的に又は手動でのいずれかで選択する第１０のステップ２２０をさらに含み得る。非限定的な実例として、コンピュータ・システム１０６はまた、実施者がアニメーションのための複合されたホログラムの所定の部分をコンピュータ・システム１０６を用いて選択し得るように融合又は複合ホログラムを提供するために、自動的に又は手動でのいずれかで、第１のホログラム１３４及び第２のホログラム１３８をマージするか、スティッチするか、又はその他の方法でデジタル的に組み合わせ得る。ある実施例では、所定の部分は、患者の心臓及び胸部のうちの１つに関連する。所定の部分が、患者の心臓に関連する場合、コンピュータ・システム１０６によって生成されたアニメーション化されたホログラム１４０が、心臓の鼓動リズム運動を描き得る。所定の部分が患者の胸部に関連する場合、コンピュータ・システム１０６によって生成されたアニメーション化されたホログラム１４０は、胸部の呼吸周期運動を描き得る。

特定の実例では、アニメーションは、アニメーション化されたホログラム１４０がリアルタイムで患者の心臓と一緒のリズムで鼓動することを可能にするために、超音波ＥＣＧなど、第２の画像取得システム１１０を介した心臓のリアルタイム・イメージングに基づき得る。また別の実例では、アニメーションは、たとえば、心臓周期の開始（心房収縮期）及び終了（心房拡張期）に対して呼吸周期を測定するゲーテッドＣＴスキャンからの心臓ゲーティングのホログラフィック表現に基づき得る。これは、患者の心臓の全動き範囲のより完全な理解を可能にし得る。

図４をさらに参照すると、方法は、コンピュータ・システム１０６によって、リアルタイムで取得された第２のホログラフィック画像データセット１２４に基づいて、第１のホログラム１３４及び第２のホログラム１３８のうちの少なくとも１つの所定の部分に対してアニメーション化されたホログラム・データセット１４８を生成する第１１のステップ２２２をさらに含み得る。アニメーション化されたホログラム・データセット１４８の生成に続いて、方法２００は、拡張現実システム１０２によって、構造的心臓修復又は置換処置中に実施者による閲覧のために、アニメーション化されたホログラム・データセットから、アニメーション化されたホログラム１４０をレンダリングする第１２のステップ２２４をさらに含み得る。

有利に、第１のホログラム１３４及び第２のホログラム１３８の定常又はさもなければ静止形態に加えて又はそれらの代わりにのいずれかで、実施者がアニメーション化されたホログラム１４０を閲覧することを可能にすることによって、実施者は、システム１００を用いない従来の処置と比較してより確信をもって、患者の中に追跡対象器具１０４を挿入し、及び／又は関連するインプラントを配備し得る。

構造的心臓修復又は置換処置中の追跡対象器具１０４の可視化、誘導、及びナビゲーションのうちの少なくとも１つは、有利に、処置より前の及び／又は処置の間の経皮的入口点及び追跡対象器具の軌道の両方の事前決定又は計画及び最適化を可能にするさらなるステップを伴い得ることを認識されたい。

別の実例では、図５に示されているように、方法２００は、コンピュータ・システム１０６を使用して、所定の軌道データセット１４６を提供するために、患者の中への追跡対象器具１０４の挿入の所定の軌道を計画する第１３のステップ２２６をさらに含み得る。計画が完了すると、方法２００は、拡張現実システム１０２によって、所定の軌道データセット１４６に基づいて、軌道ホログラム１４２をレンダリングする第１４のステップ２２８をさらに含み得る。

本開示の軌道ホログラム１４２は、たとえば、追跡対象器具１０４の所定の軌道を図示するホログラフィック光線を含み得る。ホログラフィック光線は、直線又は曲線であり得るか、或いは１つ又は複数の角度を有し得、追跡対象器具１０４のための最適なパスを描き得る。軌道ホログラム１４２はまた、患者上の経皮的入口点、及び配備されるべきインプラントのための患者の心臓の構造の好ましいランディング・ゾーンなど、追跡対象器具１０４のための患者内の脈管内ランディング・ポイントを明確に識別するために使用され得る。

拡張現実システム１０２によって生成された軌道ホログラム１４２の全体的なサイズ、形状、及び配向は、手術前データ及び手術中データを含む、コンピュータ・システム１０６からの操作情報に基づき得ることを認識されたい。操作情報は、操作領域中の他のセンサーからの追加のデータと、拡張現実システム１０２によって生成されている他のホログラフィック・プロジェクション１３４、１３６、１３８、１４０とを含み得ることも認識されたい。

手術前データは、たとえば、第１のホログラフィック画像取得システム１０８を使用して医療処置より前に得られた患者に関係する情報を含み得る。手術前データの非限定的な実例は、経食道心エコー図、経腹部心エコー検査器、経胸壁心エコー図、コンピュータ断層撮影（ＣＴ）スキャン、磁気共鳴イメージング（ＭＲＩ）スキャン、又はＸ線からの静止画像又は記録を含む。手術前データは、必要に応じて他の診断医療処置からの情報を含み得ることを認識されたい。

手術中データは、たとえば、第２のホログラフィック画像取得システム１１０を用いて医療処置中にリアルタイムで得られた患者に関係する情報を含み得る。たとえば、上記で列挙された診断医療処置は、現在の医療処置と同時に実施され得る。

さらなる実施例では、複数の操作情報は、融合された手術前及び手術中データを含む。融合された手術前及び手術中データは、より簡潔で近似された画像及びアニメーションを実施者に提示するようなやり方で、手術前データと手術中データとをマージする。いくつかの事例では、融合は手動で行われる。他の事例では、融合は、たとえば、機械可読命令１３０で記述された複数のアルゴリズムのうちの少なくとも１つを使用して、又は人工知能（ＡＩ）を介してコンピュータ・システム１０６によって行われる。

上記で説明されたように、ある実施例では、ホログラフィック光線は、追跡対象器具１０４のあらかじめ選択された基準点上にアンカリングされ得る。またさらなる実例では、意図された軌道は、たとえば、処置中に生じ得る予期しない厄介な問題に対処するために、実施者によってリアルタイムでコンピュータ・システム１０６を介して調整されてもよい。

軌道ホログラム１４２は、他のホログラフィック・プロジェクションとともに、経心尖アプローチ処置に関連する厄介な問題のリスクを最小にし得ると考えられる。たとえば、心臓、動脈、又は静脈の切開の全体的なサイズは、実施者が、ホログラフィック光線などの軌道ホログラム１４２を介して追跡対象器具１０４の意図された軌道を用いてより正確であることが可能であるので、最小にされ得る。

加えて、軌道ホログラム１４２は、実施者が弁移植又は弁傍漏洩（ＰＶＬ：ｐａｒａｖａｌｖｕｌａｒ ｌｅａｋ）閉止のための最適なアプローチ角度をより容易に見つけることを可能にすると考えられる。また、実施者が最適なアプローチ角度をより容易に見つけることを可能にすることは、実施者が、肺組織、冠状動脈、及び左前下行動脈など、重要な構造を回避するのを助ける。

たとえば、リアルタイムの手術中スキャンのホログラフィック表示は、手術前スキャンのホログラフィック表示と重ね合わされ得る。また、融合された手術前及び手術中データは、ＣＴスキャン画像と手術中Ｘ線透視イメージングとのホログラフィック融合をさらに含み、それにより、心臓周期に関連する心臓の動きをモデル化し得る。加えて、融合された手術前及び手術中データは、追跡対象器具１０４に接触すべきではない、患者の体中のセンシティブ・エリアを実施者に警告するオーバーレイをさらに含み得る。融合された手術前及び手術中データの異なる適用例が、本開示の範囲内で当業者によって採用され得ることを認識されたい。

また別の実施例では、ホログラフィック拡張現実可視化及び誘導システム１００のコンピュータ・システム１０６は、インプラントが追跡対象器具１０４によって配備された後の、弁など、インプラントの形状を予測するように構成され得る。インプラントの予測された形状も、たとえば、拡張現実システム１０２によってさらに生成されたホログラムの形態で可視化され得る。

またさらなる実施例では、ホログラフィック拡張現実可視化及び誘導システム１００のコンピュータ・システム１０６は、追跡対象器具１０４を用いて、同軸の配備、言い換えれば、血管内構造内での弁のセンタリングを容易にするように構成され得る。拡張現実システム１０２は、処置中に同軸配備において実施者を誘導するために、「エラー・バー」又は色付け（たとえば、許容できる場合に「緑色」、及び許容できない場合に「赤色」）を生成するために採用され得る。

さらに追加の実施例では、ホログラフィック拡張現実可視化及び誘導システム１００のコンピュータ・システム１０６は、時間とともにインプラントの配備された位置から生じることが予想される、血管内又は心臓構造のリモデリングを予測するために採用され得る。特に、コンピュータ・システム１０６は、心臓が、特定の配置で時間とともにどのように除去されるかを推定又は予測し、これにより、時間とともに起こり得るリモデリングを最小にする様式で配置の計画を可能にし得る。

さらに他の実施例では、ホログラフィック拡張現実可視化及び誘導システム１００のコンピュータ・システム１０６は、処置の完了より前の人工器官又はインプラントのサイズ選択を助けるために使用され得る。適切なサイジングを選択するためのホログラフィック拡張現実可視化及び誘導システム１００の採用は、移植された人工弁が患者に対して小さすぎるか又は大きすぎるかのいずれかであるときに場合によっては起こり得る、患者－人工器官不整合（ＰＰＭ：ｐａｔｉｅｎｔ－ｐｒｏｓｔｈｅｓｉｓ ｍｉｓｍａｔｃｈ）の可能性を最小にし得る。

有利に、構造的心臓修復又は置換のためのホログラフィック拡張現実可視化及び誘導システム１００及び方法２００は、実施者が拡張現実システム１０２を介して同じ視野内で操作データ及び患者を同時に閲覧することを可能にする。加えて、ホログラフィック光線は、実施者が追跡対象器具１０４の意図された軌道を容易に決定することを可能にする。

方法２００は、実施者が、重要な操作情報のうちのどれくらいが拡張現実システム１０２において示されるかをカスタマイズすることを可能にし得ることも認識されたい。加えて、実施者は、たとえば、コンピュータ・システム１０６を使用して操作情報の設定及び属性をカスタマイズし得る。方法２００は、さらに、実施者が任意の所望の角度において及び追加の使い捨ての物理的器具ガイドの必要なしに器具挿入を実施することを可能にする。

本開示のシステム１００及び方法２００は、ことのほか、機械的大動脈及び僧帽弁人工器官を必要とする、又は心内膜アブレーション処置の再発生する必要がある患者に使用するのにうまく適応されることをさらに認識されたい。

ある代表的な実施例及び詳細が、本発明を例証する目的で示されたが、様々な変更が、以下の添付の特許請求の範囲でさらに説明される本開示の範囲から逸脱することなくなされ得ることが当業者には明らかであろう。

Claims (20)

1. 患者に対して構造的心臓修復又は置換処置を実施するための方法であって、前記方法は、
   拡張現実システムと、追跡対象器具と、第１の画像取得システムと、プロセッサ及びメモリをもつコンピュータ・システムとを設けるステップであって、前記追跡対象器具が、複数のセンサーを有し、前記第１の画像取得システムが、前記患者から第１のホログラフィック画像データセットを取得するために構成され、前記コンピュータ・システムが、前記拡張現実システム、前記追跡対象器具、及び前記第１の画像取得システムと通信している、設けるステップと、
   前記第１の画像取得システムによって、前記患者から前記第１のホログラフィック画像データセットを取得するステップと、
   前記コンピュータ・システムによって、追跡対象器具データセットを提供するために、前記複数のセンサーを使用して前記追跡対象器具を追跡するステップと、
   前記コンピュータ・システムによって、前記第１のホログラフィック画像データセット及び前記追跡対象器具データセットを前記患者とレジストレーションするステップと、
   前記拡張現実システムによって、実施者による閲覧のために、前記患者からの前記第１のホログラフィック画像データセットに基づいて、第１のホログラムをレンダリングするステップと、
   前記実施者によって、前記拡張現実システムを用いて前記患者及び前記第１のホログラムを閲覧しながら、前記患者に対して前記構造的心臓修復又は置換処置を実施するステップであって、それによって、前記実施者が、前記構造的心臓修復又は置換処置中の前記追跡対象器具の可視化、誘導、及びナビゲーションのうちの少なくとも１つのために、前記拡張現実システムを採用する、実施するステップと
   を備える、方法。
2. 前記第１の画像取得システムが、磁気共鳴イメージング（ＭＲＩ）装置及びコンピュータ断層撮影（ＣＴ）装置のうちの１つである、請求項１に記載の方法。
3. 前記患者からの前記第１のホログラフィック画像データセットが、手術前のものである、請求項２に記載の方法。
4. 前記コンピュータ・システムと通信しており、前記患者から第２のホログラフィック画像データセットを取得するために構成された第２の画像取得システムを設けるステップをさらに備える、請求項１に記載の方法。
5. 前記第２の画像取得システムによって、前記患者から前記第２のホログラフィック画像データセットを取得するステップであって、前記第２のホログラフィック画像データセットが、手術中のものであり、前記構造的心臓修復又は置換処置中にリアルタイムで取得される、取得するステップと、
   前記コンピュータ・システムによって、前記第２のホログラフィック画像データセットを前記患者とレジストレーションするステップと、
   前記拡張現実システムによって、前記患者からの前記第２のホログラフィック画像データセットに基づいて、第２のホログラムをレンダリングするステップと
   をさらに備える、請求項４に記載の方法。
6. 前記第２の画像取得システムが、超音波心エコー図（ＥＣＧ）イメージング装置である、請求項５に記載の方法。
7. 前記第２のホログラフィック画像データセットが、経胸壁心エコー図（ＴＴＥ）、経食道心エコー図（ＴＥＥ）、及び心臓内心エコー図（ＩＣＥ）のうちの１つを含む所定のモダリティによって取得される、請求項６に記載の方法。
8. 前記コンピュータ・システムによって、リアルタイムで取得された前記第２のホログラフィック画像データセットに基づいて、前記第１のホログラム及び前記第２のホログラムのうちの少なくとも１つの所定の部分に対してアニメーション化されたホログラム・データセットを生成するステップと、
   前記拡張現実システムによって、前記構造的心臓修復又は置換処置中に前記実施者による閲覧のために、前記アニメーション化されたホログラム・データセットから、アニメーション化されたホログラムをレンダリングするステップと
   をさらに備える、請求項５に記載の方法。
9. 前記コンピュータ・システムによって、アニメーション化されるべき前記第１のホログラム及び前記第２のホログラムのうちの少なくとも１つの前記所定の部分を選択するステップをさらに備える、請求項８に記載の方法。
10. 前記所定の部分が、前記患者の心臓及び胸部のうちの１つに関連する、請求項９に記載の方法。
11. 前記所定の部分が、前記患者の前記心臓に関連し、前記アニメーション化されたホログラムが、前記心臓の鼓動リズム運動を描く、請求項１０に記載の方法。
12. 前記所定の部分が、前記患者の前記胸部に関連し、前記アニメーション化されたホログラムが、前記胸部の呼吸周期運動を描く、請求項１０に記載の方法。
13. 前記追跡対象器具が、先端部分、上部部分、下部部分、及び中間部分をもつ細長い本体を有する、請求項１に記載の方法。
14. 前記複数のセンサーが、前記追跡対象器具の前記先端部分に配設された先端センサーを含む、請求項１３に記載の方法。
15. 前記複数のセンサーが、前記上部部分に配設された上部部分センサーと、前記下部部分に配設された下部部分センサーと、前記中間部分に配設された中間部分センサーとを含む、請求項１４に記載の方法。
16. 前記コンピュータ・システムによって、所定の軌道データセットを提供するために、前記患者の中への前記追跡対象器具の挿入の所定の軌道を計画するステップと、
    前記拡張現実システムによって、前記所定の軌道データセットに基づいて、軌道ホログラムをレンダリングするステップと
    をさらに備える、請求項１４に記載の方法。
17. 前記軌道ホログラムが、前記追跡対象器具の前記所定の軌道を図示するホログラフィック光線である、請求項１６に記載の方法。
18. 前記追跡対象器具が、心臓インプラントの挿入のために構成されたカテーテルである、請求項１に記載の方法。
19. 前記心臓インプラントが置換弁である、請求項１８に記載の方法。
20. 患者に対して構造的心臓修復又は置換処置を実施するためのシステムであって、
    拡張現実システムと、
    複数のセンサーを有する追跡対象器具と、
    前記患者から第１のホログラフィック画像データセットを取得するように構成された第１の画像取得システムと、
    プロセッサ及びメモリをもつコンピュータ・システムであって、前記コンピュータ・システムが、前記拡張現実システム、前記追跡対象器具、及び前記第１の画像取得システムと通信しており、
    追跡対象器具データセットを提供するために、前記複数のセンサーを使用して前記追跡対象器具を追跡することと、
    前記第１のホログラフィック画像データセットを前記患者とレジストレーションすることと、
    を行うように機械可読命令によって構成された、コンピュータ・システムと
    を備え、
    前記拡張現実システムが、実施者による閲覧のために、前記患者からの前記第１のホログラフィック画像データセットに基づいて、第１のホログラムをレンダリングするように構成され、
    それによって、前記実施者が、前記拡張現実システムを用いて前記患者及び前記第１のホログラムを閲覧しながら、前記患者に対して前記構造的心臓修復又は置換処置を実施することと、前記構造的心臓修復又は置換処置中の前記追跡対象器具の可視化、誘導、及びナビゲーションのうちの少なくとも１つのために、前記拡張現実システムを採用することとを可能にされる、
    システム。

Images