JP2024518392A - 医療イメージングのための拡張現実ヘッドセット及びプローブ - Google Patents

Abstract

医療処置中に患者から測定値を取得して表示するための拡張現実（ＡＲ）システム及び方法が提供される。本システムは、測定値が収集された患者に対する位置で、患者の組織の外科医の視界に重ね合わされた測定値を表示するためのニアアイディスプレイを備えるＡＲヘッドセットと、患者の位置を追跡するための少なくとも１つのセンサと、測定値及びそれに関連付けられた位置を記憶するためのメモリと、プロセッサとを備え、本システムは、医療処置中に、以下のステップ、すなわち、ａ．患者の組織から収集された測定値を受け取るステップであって、測定値が患者の組織の様々な領域に隣接して位置決めされたプローブによって収集される、ステップと、ｂ．プローブが測定値を収集している間にプローブの位置を追跡して、測定値が収集される位置を決定するステップと、ｃ．ステップａ及びｂを実行するのと同時に、少なくとも１つのセンサを使用して、患者上の生物学的ランドマークの位置を追跡して、生物学的ランドマークの位置と測定値が収集された位置との間の関係を決定することができるようにするステップと、ｄ．ある位置での測定値をニアアイディスプレイ上に表示するステップであって、医療処置全体を通して、生物学的ランドマークの位置を継続的に追跡してその現在位置を取得することと、生物学的ランドマークの現在位置に基づいてディスプレイ上の測定値の位置を更新することとによって、医療処置全体を通して、測定値が収集された患者に対する位置で、測定値が患者の組織の外科医の視界内で整列するように、表示するステップと、を実行するように構成されている。

Description

本発明は、医療処置において使用するための拡張現実システムに関する。

癌手術は、腫瘍の摘出からなる。完全な摘出を確実にするために、外科医は、腫瘍の周囲の健康な組織の一部を摘出する。腫瘍の再発を防ぐためには完全な摘出が重要であるが、手術費用並びに罹患率及び死亡率の増加を伴う。完全な摘出を確実にするために、腫瘍を正しく識別し、正確にマッピングする必要がある。

腫瘍の識別及びマッピングのための現在の技術には、以下のものが含まれる。
・生検、すなわち、検査室での事後病理学的分析のために針を使用して組織サンプルを得ること。
・患者のスキャン、すなわち、腫瘍の辺縁部を患者の医療画像で評価すること。
・サーマルイメージング、すなわち、赤外線サーマルイメージングを使用して癌の検出を行うこと。
・ラマン分光法、すなわち、生体組織の化学組成を分析することが可能な技術であり、過去１０年間、癌のスクリーニング、診断、及び術中の外科的ガイダンスに広く使用されてきた。

腫瘍の識別及びマッピングのためのラマン分光法は、外科医が手術中に健康な組織と癌組織とを区別することを可能にする一方で、生検よりも侵襲性が低いため、強力な技術である。しかしながら、一度に分析される組織の面積が非常に小さい（約１ｍｍ）ため、外科医が癌組織の完全なマップを得るには、プローブを用いて数回の測定を行う必要があるため、既知のラマン技術には、重要な限界がある。これは、外科医が、手術中にプローブ測定によって決定された癌組織の複数の位置を思い出すか、又はステッカなどの物理的マーカを使用して検出された癌組織の領域をマーキングしなければならないことを意味する。第１の方法は、精度の低下につながり、一方、後者は、外科医が立ち止まって物理的マーカを正しい位置に配置しなければならないため、手術時間が長くなる。

この問題に対するさらなる解決策は、手術室のモニタ上に表示された患者の身体の画像上で癌組織の位置を観察することである。しかしながら、外科医は、その前にこの情報を実際の患者の身体と照合しなければならない。これは、この照合が、モニタ上に示される位置を患者に当てはめる外科医の能力に依存する人為的ミスを起こしやすいため、手術精度の低下をもたらす可能性がある。加えて、これにより、外科医が絶えず患者から目をそらしてモニタを見なければならないため、手術時間が長くなる可能性がある。

本発明は、現在の処置に伴う上述の問題を解決することを目的とする。

第１の態様によると、医療処置中に患者から測定値を取得して表示するための拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）システムが提供され、本システムは、測定値が収集された患者に対する位置で、患者の組織の外科医の視界に重ね合わされた測定値を表示するためのニアアイディスプレイを備えるＡＲヘッドセットと、患者の位置を追跡するための少なくとも１つのセンサと、測定値及びそれに関連付けられた位置を記憶するためのメモリと、プロセッサと、を備え、本システムは、医療処置中に、以下のステップ、すなわち、（ａ）患者の組織から収集された測定値を受け取るステップであって、測定値が患者の組織の様々な領域に隣接して位置決めされたプローブによって収集される、ステップと、（ｂ）プローブが測定値を収集している間にプローブの位置を追跡して、測定値が収集された位置を決定するステップと、（ｃ）ステップ（ａ）及び（ｂ）を実行するのと同時に、少なくとも１つのセンサを使用して、患者の生物学的ランドマークの位置を追跡して、生物学的ランドマークの位置と測定値が収集される位置との間の関係を決定することができるようにするステップと、（ｄ）ある位置での測定値をニアアイディスプレイ上に表示するステップであって、医療処置全体を通して、生物学的ランドマークの位置を継続的に追跡してその現在位置を取得することと、生物学的ランドマークの現在位置に基づいてディスプレイ上の測定値の位置を更新することとによって、医療処置全体を通して、測定値が収集された患者に対する位置で、測定値が患者の組織の外科医の視界内で整列するように、表示するステップと、を実行するように構成されている。

このようにして、プローブ測定値が得られるのと同時に生物学的ランドマークの位置が分かるため、両者の相対位置間の関係を決定することができる。したがって、生物学的ランドマークの位置を継続的に追跡することによって、測定値は、後の時点でディスプレイ上に表示される際に、患者の身体から得られた場所に対して正しい位置でディスプレイに重ね合わせられ得る。

生物学的ランドマークが追跡に使用されるため、患者に又は患者の周囲に物理的マーカを配置する必要がなく、その結果、物理的マーカのない処置となる。これは、生物学的ランドマークが、物理的に取り付けられたマーカのように患者から外れることがないため有利である。加えて、外科医は、立ち止まってマーカを患者に取り付ける必要がないため、手術時間が短縮され、又は患者に生じる危害及びリスクが軽減される可能性がある。

外科医は、患者の身体がリアルタイムで追跡されるため、患者を視線に入れて拡張現実ディスプレイ上の測定値を直接見ることができる。言い換えると、測定値は、その測定値が対応する位置で患者の現実世界のビューに重ね合わされる。これは、外部モニタを見るために患者の身体から絶えず目をそらす必要がないことを意味する。これにより、外科医がモニタ上で見たものを患者の実際の身体に主観的に変換することに伴う誤差も低減する。

生物学的ランドマークの現在位置に基づいてディスプレイ上の測定値の位置を更新するステップには、生物学的ランドマークの位置と測定値が収集された位置との間の関係を使用することが含まれる。

測定値が収集される位置は、測定値のそれぞれが収集される患者の位置である。換言すれば、プローブが測定を行った患者上の点である。この関係は、生物学的ランドマークの位置と、各測定が行われる位置を追跡することによって決定される各測定が行われる位置との間の関係であってもよい。患者組織に隣接するという用語は、プローブの性質及び行われる測定に応じて、患者組織の隣、上、又は中を意味すると解釈されてもよい。

好ましくは、生物学的ランドマークは、生物学的ランドマークの１つ又は複数の特徴である。このように、追跡は、生物学的ランドマークの１つ又は複数の特徴の追跡である。例えば、この追跡には、少なくとも１つのセンサを使用して、患者上の生物学的ランドマークの１つ又は複数の特徴の位置を追跡して、生物学的ランドマークの１つ又は複数の特徴の位置と測定値が収集される位置との間の関係を決定することができるようにすることが含まれてもよい。本方法は、医療処置全体を通して生物学的ランドマークの１つ又は複数の特徴の位置を継続的に追跡してその現在位置を取得するステップと、生物学的ランドマークの現在位置の１つ又は複数の特徴に基づいて、ディスプレイ上の測定値の位置を更新するステップとをさらに含むことができる。

生物学的ランドマークの１つ又は複数の特徴は、生物学的ランドマークのエッジ又は交点を含むことができる。これらは、識別され得る生物学的ランドマークの要素であってもよい。有利には、交点又はエッジは、生物学的ランドマーク上の識別しやすい基準点を提供することができる。この特徴は、センサによって取得された生データから抽出されてもよい。

センサは、患者の位置（すなわち、位置と向き）を追跡することができる。現在位置は、患者の位置が、患者の動き及びＡＲヘッドセットの互いに対する動きに起因して、処置全体を通して変化する可能性があるという事実のために、現時点における生物学的ランドマークの位置である。

本方法は、測定値の仮想マップを作成するステップをさらに含むことができ、測定値をニアアイディスプレイ上に表示するステップは、仮想マップを表示するステップを含む。仮想マップは、外科医に患者組織の癌性領域に関する視覚的ガイドを提供することができる。仮想マップは、外科医に直感的で解釈しやすい視界を提供する測定値の空間マップであってもよい。

仮想マップは、異なる測定値の領域が異なる色によって示される色分けされたデータマップであってもよい。例えば、癌組織は、非癌組織の領域とは異なる色で示されてもよい。代替として、又は加えて、癌組織の量を仮想マップの色によって示すことができる。癌組織の割合が高い領域は、癌組織の割合が低い領域とは色が異なっていてもよい。

好ましくは、患者上の生物学的ランドマークの位置を追跡するステップは、特定の波長の光を使用して患者の領域を照明するステップと、照明に応答して生物学的ランドマークによって放出される蛍光信号をセンサによって検出するステップとをさらに含むことができる。手術前に、患者の静脈系に蛍光色素が注入されてもよい。その後、色素は、目的とする生物学的ランドマークに蓄積することができる。例えば、生物学的ランドマークは患者の血管であってもよい。有利には、蛍光色素を使用することによって、患者の体内に位置する患者の内部領域を追跡することができる。蛍光色素は、追跡点を可能な限り関心点に近づけることができるため、有利である。加えて、蛍光色素は、検出位置の近くに物理的マーカを挿入するという外科的侵襲的処置を必要としない。患者の身体は所定の位置に固定されておらず、処置全体を通して、例えば呼吸しているときに動くため、生物学的ランドマークを追跡することによって、マーカが患者の身体とともに動くことになり、これにより追跡が改善され、これにより、ディスプレイ上の測定値の重なりが改善される。

蛍光マーカは、任意の既知の蛍光色素又は造影剤であってもよい。例えば、蛍光マーカは、インドシアニングリーン（ＩＣＧ）であってもよい。患者を照明することには、近赤外（ＮＩＲ：ｎｅａｒ－ｉｎｆｒａｒｅｄ）光源を使用することが含まれてもよい。光源は、生物学的ランドマーク中の分子リガンドを励起し、それに反応して、分子リガンドが特定の波長を有する光を放出する。この範囲の光スペクトルに感度のあるカメラを使用して、光を検出することができる。検出された光は、生物学的ランドマークを明確に示す画像を形成するために使用され得る生データの形態であってもよい。ＮＩＲの波長は、使用される色素に応じて選択されてもよい。蛍光信号は、それ自体が特定の医療測定を示すのではなく、位置追跡の目的で使用される。ＮＩＲカメラ及びＮＩＲ光源は、ＡＲヘッドセット上に配置されてもよい。他の構成では、ＮＩＲカメラ及び／又はＮＩＲ光源は、ＡＲヘッドセットとは別に配置されてもよい。或いは、メチレンブルー、アラニンブルー、及び可視スペクトルの光に感度のある他の蛍光マーカなど、任意の他のタイプの蛍光マーカを使用することができる。カメラ及び光源は、可視波長、ＮＩＲ波長、又はＩＲ波長のいずれかで使用される造影剤のタイプに基づいて選択されてもよい。

ＡＲシステムは、プローブをさらに備えることができる。好ましくは、プローブはラマンプローブである。有利なことに、ラマン分光法は、癌組織を識別及びマッピングするための非侵襲的処置を提供する。これらの測定値をニアアイディスプレイ上に提示することによって、外科医は、測定値を直接視線に入れて患者に対して正しい位置で見ることができる。プローブは手持ち式プローブであってもよい。例えば、プローブは、患者から測定値を収集するための手持ち式ツールであってもよい。ラマンプローブは、組織を励起するためのダイオードレーザと、組織からのラマン散乱測定値を検出するためのセンサとを備えることができる。しかしながら、ラマンプローブの他の構成が使用されてもよい。

或いは、プローブは、患者から温度測定値を取得することができる温度プローブであってもよい。温度測定値は、この測定値が取得された場所に対する、外科医の視界の正しい位置で仮想マップとしてディスプレイ上に表示されてもよい。他の構成では、プローブは電磁プローブであってもよい。例えば、電磁プローブは、電磁脈動プローブであってもよい。電磁脈動プローブは、侵襲的処置において患者の脳から測定を行うために、又は患者の脳にインパルスを与えるために使用されることがある。或いは、例えばＰＨプローブなどの任意の他のタイプのプローブが使用されてもよい。

ＡＲシステムがプローブを備える場合、ＡＲシステムは、プローブを使用して測定値を収集するステップを行うことをさらに含むことができる。しかしながら、プローブは、代わりに、ＡＲシステムとは別個のものと考えることができることも理解されるであろう。

医療処置は、外科的処置であってもよい。具体的には、癌の手術であってもよい。これは、患者から腫瘍などの癌組織を摘出するための手術であってもよい。本発明は、外科的処置中に測定値を収集することを可能にすると同時に、前記処置全体を通して外科医が測定値を視覚化することを可能にする。或いは、他の構成では、測定値は、外科的処置の前に収集され、後で外科的処置中に表示されてもよい。測定値は、手術全体を通して外科医のためのガイドとして機能することができる。

好ましくは、少なくとも１つのセンサは、ＲＧＢカメラを含むことができる。例えば、ＲＧＢカメラは、処置全体を通して生物学的ランドマークの画像を取得することができる。一部の構成では、単一のＲＧＢカメラが設けられてもよい。他の構成では、複数のＲＧＢカメラがあってもよい。他の構成では、カメラは、１つ又は複数の近赤外線（ＮＩＲ）若しくは赤外線（ＩＲ：ｉｎｆｒａｒｅｄ）カメラであってもよい。或いは、複数のカメラを組み合わせることができ、又はマルチスペクトル及びハイパースペクトルセンサを使用することができる。カメラの性質の選択は、追跡されている生物学的ランドマークの性質に依存する。単一のカメラでは、（３Ｄボリュームを位置合わせ及び作成するために移動させない限り）２Ｄ画像を生成することができるのに対し、複数のカメラでは、３Ｄ画像／モデルを生成することができる。

加えて、ヘッドセットは、深度センサを備えることができる。例えば、深度センサは飛行時間センサであってもよい。或いは、深度センサは、ステレオカメラ、ＬＩＤＡＲ、ＲＡＤＡＲ、ハイパースペクトルカメラ、又はセンサの組合せ、或いは距離及びスケールを測定することができる他の既知のタイプのセンサであってもよい。深度センサは、ヘッドセットから患者までの距離を測定することができる。このようにして、処置全体を通して、患者に対するヘッドセットの相対位置を決定することができ、これにより、ディスプレイ上の仮想マップの位置決めの精度が向上する。例えば、深度センサは、処置全体を通して、決定されるべき患者に対するヘッドセットの相対位置及び／又は向き（姿勢）を推定することができる。これは、手術部位の点群又は深度画像を生成することによるものであってもよい。これは、患者座標とヘッドセット座標との間の変換を行うのに役立つ場合がある。深度センサは、生物学的ランドマークの深度マップ又は点群を生成することができる。プローブの測定位置は３Ｄデータである可能性があるため、生物学的ランドマーク（例えば、特徴）の位置との関係を決定するためには、生物学的ランドマーク（例えば、特徴）の３Ｄ位置を決定する必要がある。この決定は、深度マップ又は点群を取得することによって達成することができる。

医療処置全体を通して生物学的ランドマークの位置を継続的に追跡してその現在位置を取得するステップは、センサによって、患者の画像を捕捉するステップと、生物学的ランドマークの画像から１つ又は複数の特徴を抽出するステップと、画像の連続するフレームにわたって１つ又は複数の特徴間の対応関係を決定するステップと、変換行列を使用して画像の連続するフレームにわたって１つ又は複数の特徴の動きを推定するステップと、をさらに含むことができる。変換行列は、好ましくは既に計算されており、センサの較正パラメータに基づいている。１つ又は複数の特徴を抽出するステップは、前記特徴を抽出するためのアルゴリズムを適用することによるものであってもよい。この抽出は、生画像データからのものであってもよい。

患者の画像は、蛍光から放出された光などの生データであってもよい。経時的な連続画像は、一連の画像フレームを形成することができる。特徴は、取得された生画像データの性質に応じて、２Ｄ又は３Ｄ特徴であってもよい。ロバストなアルゴリズムを使用して、２Ｄ／３Ｄ特徴を識別することができる。この識別は、例えば、生物学的ランドマークのサイズ、形状及び色強度に基づいてもよい。画像の連続するフレームにわたる特徴間の対応関係を使用して、特徴を追跡することができる。

手術中のリアルタイム追跡を可能にするために、処置全体を通して変換の連続計算が行われる。

本方法は、変換行列を計算する前に、最適化手順を適用してノイズの多い又は不完全なデータを除去することをさらに含むことができる。これには、大域的最適化を使用することが含まれてもよい。代替として、又は加えて、外れ値除外アルゴリズム又は最適化フィルタが使用されてもよい。例えば、最適化されたランダムサンプルコンセンサス（ＲＡＮＳＡＣ）又は反復最近接点アルゴリズムである。有利なことに、これらの技法は、ノイズ及びスペックルを除去するのに役立つため、ノイズの多いデータに起因する追跡ドリフトによって引き起こされる可能性がある誤照合を低減することができる。例えば、環境の照明に起因するものである。

変換行列を使用することによって画像の連続するフレームにわたって特徴の動きを推定するステップは、剛体レジストレーション又は非剛体レジストレーションを適用するステップをさらに含むことができる。患者の身体は動的な物体であるため（例えば、呼吸運動又は軟組織の変形に起因する）、数フレームにわたって２Ｄ／３Ｄ特徴の変位が生じることがある。変換行列を計算し、これを使用することによって、２Ｄ／３Ｄ特徴の動きを、連続するフレームにわたって推定することができる。非剛体レジストレーション及び弾性変形補正を使用して、２Ｄ／３Ｄ特徴の位置をリアルタイムで推定することができる。非剛性体推定を行っている間、関心領域は、収縮又は膨張する可能性があり、その結果生データが動的になる。このため、弾性変形補正が必要な場合がある。この補正により、患者の身体の変化及び動きにもかかわらず、画像フレーム間の正確な照合が可能になる。

システムの動的な性質に起因して、特徴の形状も、フレームにわたって変化する可能性があり、その結果、画像が不均一になることがある。一部の構成では、３Ｄデータに対する画像勾配演算を使用して、フレーム間の特徴の位置間の変位を決定することができる。このために、許容基準と、これに関連付けられたしきい値とが定義されてもよい。しきい値に達すると、プローブの座標系が患者の座標系に位置合わせされる。

上記で概説したように、生物学的ランドマークの１つ又は複数の特徴は、生物学的ランドマークのエッジ又は交点を含むことができる。有利には、交点又はエッジは、生物学的ランドマーク上の識別しやすい基準点を提供することができる。これにより、フレーム間のランドマークの追跡の精度を向上させることができる。或いは、生物学的ランドマークの特徴を使用するのではなく、生物学的ランドマークの構造全体を追跡してもよい。例えば、生物学的ランドマークが母斑などの皮膚痕である場合、特徴は生物学的ランドマークの形状であってもよい。

好ましくは、生物学的ランドマークは、患者の血管を含むことができる。患者の血管は患者の身体全体にわたって位置するため、患者の身体全体にわたってどの場所でも追跡を行うことができる。血管は、血管の表面下検出を可能にするために、ＮＩＲ光によって照明されてもよい。或いは、生物学的ランドマークは、患者のリンパ節、患者の神経系、患者の臓器表面のうちの少なくとも１つであってもよい。

或いは、他の生物学的ランドマークが使用されてもよい。例えば、皮膚痕、ほくろ、母斑、関節、筋肉、臓器、又は患者組織のあらゆる他の領域である。或いは、生物学的ランドマークは、目尻又は胸骨上切痕などの解剖学的ランドマークを含んでもよい。

一部の構成では、複数の生物学的ランドマークが追跡に使用されてもよい。例えば、複数の血管を使用し、血管の特徴のそれぞれを追跡してもよい。他の構成では、複数の異なるタイプの生物学的ランドマークが使用されてもよい。例えば、血管と皮膚痕の両方である。使用する生物学的ランドマークの数を増やすことにより、患者追跡の精度を向上させることができる。

プローブの位置を追跡するステップは、センサを介して、プローブ上のマーカを検出することと、測定値が収集された位置を表すプローブの先端部の位置を計算することとを含むことができる。このようにして、プローブ自体を、測定が行われた位置を示すプローブの先端部の位置で追跡することができる。したがって、測定が行われた位置を高い精度で決定することができる。プローブ先端部の位置とマーカとの間の関係は、既知のプローブの幾何学的形状に従って計算される。単一のマーカ又は複数のマーカがあってもよい。

プローブマーカは、プローブ上の幾何学的形状などの目に見える基準であってもよい。或いは、プローブマーカは、電磁放射線を能動的に放出するマーカであってもよい。

プローブマーカは、ヘッドセットの追跡システムによって検出されてもよい。例えば、１つ又は複数のセンサがプローブマーカを追跡してもよい。例えば、これは、電磁センサであってもよい。センサは、マーカの画像を検出するための赤外線カメラ又はＲＧＢカメラであってもよい。センサは、プローブ人工マーカの画像を検出し、それにより画像パターン認識を行ってマーカの位置を識別することができる。これは、例えば、Ａｒｕｃｏ、Ａｐｒｉｌタグを使用すること、又は既知のパターンを使用することであってもよい。他の構成では、プローブの位置を追跡するために機械学習アルゴリズムが使用されてもよい。機械学習アルゴリズム（例えば、ＡＩ）は、プローブの位置を追跡するように訓練されてもよい。

或いは、追跡システムは、ヘッドセットの外部にあってもよく、これにより、外部追跡を行うことができる。この構成では、プローブの位置に加えて、ヘッドセットの位置も追跡される。

他の構成では、プローブの幾何学的形状は、ステレオ構成の複数のカメラを使用することによって追跡されてもよい。これにより、カメラのそれぞれからのプローブの画像を比較することによって、及びプローブの幾何学的形状を知ることによって、プローブの位置を追跡することができる。さらなる構成では、プローブ上に配置されたセンサが、プローブ位置を追跡する役割を果たすことができる。例えば、プローブ位置は、オドメトリを使用することによって推定されてもよい。例えば、プローブ上に配置されたセンサは、慣性測定ユニット（ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ）であってもよい。有利なことに、ＩＭＵを使用することで、追跡の精度を向上させることができ、また、仮想マップを現実世界に対して固定位置に固定することができる。

或いは、プローブは、患者の下のテーブルに配置された電磁発生装置（例えば、マット）を使用することによって追跡されてもよい。この構成では、プローブ及びヘッドセットは、これらの上に配置された磁気マーカを備え、ＡＲシステムは、電磁場を生成するように構成された装置を備える。このようにして、前記装置によって生成された磁場が、電磁場内のこれらの小さな磁気ユニットの動きを検出し、これにより、その動きを追跡して、その空間的位置を取得する。この構成では、プローブを追跡するために使用されるＲＧＢカメラは必要でない場合がある。好ましくは、プローブの位置を追跡するステップは、プローブ上の磁気マーカの移動によって引き起こされる磁場の変化を検出するステップを含むことができ、磁場の変化によりプローブの位置が識別される。

測定値は、癌組織を示す領域を示すためのものであってもよい。各測定値は、強度を含むことができ、測定値を取得する点におけるプローブの位置がその強度に関連付けられている。強度は、測定値が取得される組織が癌性であることを示すことができる。この強度を、仮想マップに示すことで癌組織の領域を示すことができる。

生物学的ランドマーク（例えば、１つ又は複数の特徴）の位置と測定値が収集された位置との間の関係は、両方の位置を同じ座標系に変換することによって決定することができる。特に、生物学的ランドマークの特徴の位置と、測定値が収集された位置を共通の座標系に変換することである。測定値の座標系を、測定値が取得された時点での生物学的ランドマークの座標系と位置合わせすることによって、生物学的ランドマークと測定値との間の相対位置を同じ基準フレームにおいて容易に決定することができ、これにより、関係の決定が可能になる。このようにして、特徴又は測定値が存在する各点は、座標ベクトルによって表される。有利には、この位置合わせにより、測定値（又は仮想マップ）が、外科医が見たときに患者の身体に正しく整列する。この位置合わせは、手術全体を通して継続的に行われる。これは、仮想マップと生物学的ランドマークの画像とが互いに比較され、これにより、決定された関係に基づいてディスプレイ上で正確に位置合わせされ得ることを確実にするために、座標系を共通の座標系に変換することを含むことができる。この変換は、相対位置を決定することができるように、ヘッドセット基準フレームにおける測定値の座標を生物学的ランドマーク基準フレームの座標に変換することによるものであってもよい。

好ましくは、ある位置での測定値をニアアイディスプレイ上に表示するステップであって、医療処置全体を通して、測定値が収集された患者に対する位置で、測定値が患者の組織の外科医の視界内で整列するように、表示するステップが、外科医の眼の位置を追跡するステップと、外科医の眼の現在位置に基づいてニアアイディスプレイ上の測定値の位置を調整するステップとをさらに含むことができる。有利なことに、これは、ディスプレイ上の仮想マップの位置決めが、外科医の眼の位置を考慮に入れることによってより正確になる可能性があることを意味する。医療処置全体を通してその位置を追跡することで、リアルタイム調整を確実にすることができる。

医療処置全体を通して、装着者の眼の位置は固定されておらず、視界及び視線は処置全体を通して変化する。装着者の視界上での生成された画像の位置決めの精度は、装着者の眼の位置及びヘッドセットに対する眼の相対位置を継続的に決定することによって向上させることができる。視線追跡センサは、装着者の眼の焦点、すなわち、装着者が任意の特定の時間に焦点を合わせている位置を決定することもできる。このようにして、仮想マップは、患者に対する装着者の視界に常に焦点が合って表示されるように表示され得る。

視線追跡センサは、複数の視線追跡センサであってもよい。例えば、各眼を追跡する単一のセンサがあってもよい。或いは、単一の追跡センサが両眼の位置を追跡してもよい。視線追跡センサは、ＩＲ光源と、各眼の位置を走査してその位置を決定する検出器とを備えることができる。光源は、ＬＥＤ又はレーザの形態であってもよい。代替として、又は加えて、視線追跡センサは、電位視線追跡センサであってもよい。電位視線追跡センサは、眼の周囲に配置された電極を使用して、眼の動きを測定する。

プロセッサは、装着者の眼の位置を受け取ることができる。好ましくは、プロセッサは、装着者の眼の瞳孔間距離を取得することによって装着者の眼の位置を取得するようにさらに構成されている。

ニアアイディスプレイは、単一のディスプレイであってもよい。或いは、ニアアイディスプレイは、１つのディスプレイが各眼に画像を表示する２つのディスプレイであってもよい。ニアアイディスプレイは導波路であってもよい。或いは、ディスプレイは、ビームスプリッタディスプレイ又はレーザ反射ディスプレイであってもよい。ディスプレイは、鏡を利用して、装着者の視界に画像を投影することができる。ディスプレイは、ガラス及び／又はプラスチックで作られていてもよい。このように、ディスプレイは、透明である。ニアアイディスプレイは、代替としてレンズであってもよい。又は、ニアアイディスプレイは、画像が網膜上に表示されるように、画像を装着者の眼に投影するビームであってもよい。このように、ニアアイディスプレイは仮想網膜ディスプレイであってもよい。

本装置は、ＡＲヘッドセットを較正するための較正手順を実行するようにさらに構成されてもよい。較正手順は、ヘッドセット上のセンサの互いに対する相対位置を取得することを含むことができる。表示するステップは、前記較正に基づいて更新されてもよい。プロセッサは、センサ及びディスプレイの互いに対する相対位置を決定することができる。センサのパラメータも決定することができる。例えば、アルゴリズムによって使用されるピンホールカメラモデルのためのパラメータ、又はセンサの前方にある光学系によってもたらされる歪みを補正するためのパラメータを決定することができる。外科医の瞳孔間距離（ＩＰＤ：ｉｎｔｅｒｐｕｐｉｌｌａｒｙ ｄｉｓｔａｎｃｅ）（すなわち、外科医の眼の間の距離）を決定するために、さらなる較正も行われる。これは、ＩＰＤを決定するために視線追跡センサを使用して測定を行うことによって取得されてもよい。或いは、ＩＰＤは、外科医によってソフトウェアに手動で入力されてもよい。ディスプレイに対する外科医の眼の位置も決定することができる。この較正により、得られたプローブ測定値と、プローブ測定値が収集された患者の正しい位置との正確な重ね合わせが保証される。変換行列は、取得された較正パラメータの詳細を含むことができる。

さらなる態様によると、拡張現実（ＡＲ）システムを使用して、医療処置中に患者からの測定値を取得して外科医に表示する方法であって、（ａ）患者の組織から収集された測定値を受け取るステップであり、測定値が患者の組織の様々な領域に隣接して位置決めされたプローブによって収集される、ステップと、（ｂ）プローブが測定値を収集している間にプローブの位置を追跡して、測定値が収集される位置を決定するステップと、（ｃ）ステップ（ａ）及び（ｂ）を実行するのと同時に、少なくとも１つのセンサを使用して、患者上の生物学的ランドマークの位置を追跡して、患者上の生物学的ランドマークの位置と測定値が収集される位置との間の関係を決定することができるようにするステップと、（ｄ）ある位置での測定値を外科医によって装着されたＡＲヘッドセットのニアアイディスプレイ上に表示するステップであり、医療処置全体を通して生物学的ランドマークの位置を継続的に追跡してその現在位置を取得することと、生物学的ランドマークの現在位置に基づいてニアアイディスプレイ上の測定値の位置を更新することとによって、医療処置全体を通して、測定値が収集された患者に対する位置で、測定値が患者の組織の外科医の視界内で整列するように、表示するステップと、を含む方法が提供される。

本態様の拡張現実システムは、上記態様の拡張現実システムであってもよい。

さらなる態様によると、プログラムがコンピュータによって実行されると、コンピュータに、（ａ）患者の組織から収集された測定値を受け取るステップであって、測定値が患者の組織の様々な領域に隣接して位置決めされたプローブによって収集される、ステップと、（ｂ）プローブが測定値を収集している間にプローブの位置を追跡して、測定値が収集される位置を決定するステップと、（ｃ）ステップ（ａ）及び（ｂ）を実行するのと同時に、少なくとも１つのセンサを使用して、患者上の生物学的ランドマークの位置を追跡して、生物学的ランドマークの位置と測定値が収集された位置との間の関係を決定することができるようにするステップと、（ｄ）ある位置での測定値を外科医によって装着されたＡＲヘッドセットのニアアイディスプレイ上に表示するステップであって、医療処置全体を通して生物学的ランドマークの位置を継続的に追跡してその現在位置を取得することと、生物学的ランドマークの現在位置に基づいてニアアイディスプレイ上の測定値の位置を更新することとによって、医療処置全体を通して、測定値が収集された患者に対する位置で、測定値が患者の組織の外科医の視界内で整列するように、表示するステップと、を実行させる命令を含むコンピュータプログラム製品が提供される。

さらなる態様によると、プロセッサ上で実行されると、上記の方法を実行するように構成された非一過性コンピュータ可読媒体が提供される。

生体組織の化学組成を分析するための従来のラマンシステムの概略図である。 本発明の実施例による例示的な拡張現実（ＡＲ）ヘッドセットの概略図である。 測定値を取得し視覚化するための、本発明の一実施例による例示的な拡張現実（ＡＲ）システムの概略図である。 図３に示すような例示的なＡＲシステムを使用して、患者から測定値を取得し、それらをユーザの視界に正確に表示するために行われるステップの流れ図である。 図３のＡＲシステムを使用して取得された、図２のＡＲヘッドセット上に表示された例示的な仮想マップである。

図１は、腫瘍を検出しマッピングするためなど、生体組織の化学組成を分析するための従来のラマンシステム２００を示す。システム２００は、光ファイバケーブル２０６を介してラマンプローブ２０２に取り付けられたダイオードレーザ２０４を備える。ラマンプローブ２０２は、光ファイバケーブル２１２によって分光器２１６にも取り付けられている。分光器２１６は、ＣＣＤカメラ２２０に結合された体積位相技術（ＶＰＴ：ｖｏｌｕｍｅ ｐｈａｓｅ ｔｅｃｈｎｏｌｏｇｙ）格子を有することができる。ＣＣＤカメラ２２０は、コンピュータ処理ユニット２２２と通信する。

ラマン分光法手順の間、プローブ２０２は、図１に見られるように、レーザ２０４からの低出力レーザビームが、分析される組織２１０の領域に入射するように、分析対象の患者２０８の組織２１０に隣接して配置される。組織に入射するこの光により、組織はラマン散乱を通じて光を放出し、次いで、この光がプローブ２０２によって検出され、分光器２１６（すなわち、入射光をその波長に応じて検出及び分析し、結果として生じるスペクトルを記録する装置）に送られる。

分光器２１６の出力データは、ＣＣＤカメラ２２０及びコンピュータ処理ユニット２２２によって処理される。癌組織は特定のスペクトル内の光を放出するため、癌組織に適合する値をグラフィック表現（すなわち、仮想マップ）に変換することができる。この仮想マップを患者の組織２０８の画像と整列させることができるため、癌組織の領域が強調される。画像は、仮想マップとマージされ、次いで、手術室に設定されたモニタ上に表示される。外科医は、この視覚化をガイダンスとして使用して、手術中に癌組織の領域の位置を特定する。

しかしながら、手術室において患者から遠く離れたモニタ上に画像を表示することには欠点がある。外科医は、モニタ上に表示されたこの情報を、目の前の実際の患者の身体と照合しなければならない。これは、この照合が、モニタ上に示される位置を患者に当てはめる外科医の能力に依存する人為的ミスを起こしやすいため、手術精度の低下をもたらす可能性がある。加えて、これにより、外科医が絶えず患者から目をそらしてモニタを見なければならないため、手術時間が長くなる可能性がある。

図２は、本発明の一実施例による拡張現実（ＡＲ）システム１００を示す。ＡＲシステム１００は、ＡＲヘッドセット２及びプロセッサ１２を含む。

拡張現実ヘッドセット２は、第１のディスプレイ４ａ及び第２のディスプレイ４ｂの２つのディスプレイを有し、第１のディスプレイ４ａは、ヘッドセットの装着者の右目に画像を表示するためのものであり、第２のディスプレイ４ｂは、ヘッドセット２の装着者の左目に画像を表示するためのものである。ディスプレイ４ａ及び４ｂは、ヘッドセット２のハウジング１６に取り付けられている。

ヘッドセットのハウジング１６には、２つのカメラ６ａ、６ｂが配置されている。カメラ６ａは第１のディスプレイ４ａの上方に配置され、カメラ６ｂは第２のディスプレイ４ｂの上方に配置されている。カメラ６ａ、６ｂは、近赤外（ＮＩＲ）光及びＲＧＢ光を検出することができる（すなわち、マルチスペクトルカメラ）。これらは、２つのカメラとして示されているが、任意の数のカメラが使用されてもよい。加えて、別々のカメラで、可視光及びＮＩＲ光を検出してもよい。

またハウジング１６には光源８が配置されている。光源８は、ＮＩＲ光を放出するＮＩＲ光源である。光源８は、カメラ６ａと６ｂとの間に配置されているが、ＡＲヘッドセット２上の任意の位置に配置することができる。代替として、光源８は、ＡＲヘッドセット２の外部に配置されてもよい（又は、特定のタイプの設定では、これらは、全く必要でない場合がある）。

２つの深度センサ１０ａ及び１０ｂがヘッドセット２のハウジング１６上に配置されている。深度センサは、ヘッドセット２から物体までの深度を決定するように構成された飛行時間センサであるが、任意のタイプの深度センサが使用されてもよい。

ヘッドセット２は、視線追跡センサ１８をさらに含む。視線追跡センサは、ヘッドセットの、装着者の頭部に面する側に配置されている。視線追跡センサは、ヘッドセット２の装着者の眼の位置を決定するように構成されている。視線追跡センサ１８は、装着者の眼がどの方向を見ているかを決定することもできる。

プロセッサ１２は、ＡＲヘッドセット２の外部に配置されている。プロセッサは、コンピュータ又は他のデータ処理装置のプロセッサであってもよい。ＡＲヘッドセット２は、ケーブル１４を介してプロセッサ１２に接続されている。ケーブル１４は、ヘッドセットとプロセッサ１２との間で信号を送信するためのものである。例えば、カメラ６ａ、６ｂ、視線追跡センサ１８、及び深度センサ１０ａ、１０ｂから取得されたデータは、ケーブル１４を介してプロセッサ１２に送信されてもよい。ケーブル１４は、プロセッサ１２とヘッドセット２との間で通信信号を送信して、カメラ６ａ、６ｂ、深度センサ１０ａ、１０ｂ、光源８、及び視線追跡センサ１８を制御して、それらの機能を実行するためのものでもある。

ＡＲシステム１００は、癌組織を摘出する処置などの外科的処置の間、ラマンプローブ（図示せず）と組み合わせて使用されてもよい。ＡＲシステムは、患者の組織の癌性領域の測定値を取得し、その測定値をディスプレイ４ａ、４ｂ上に表示し、外科医の視線上で外科医に表示するために使用され、これにより、外科医に手術中のガイダンスを提供することができる。

図３は、本発明の一実施例による別の例示的な拡張現実（ＡＲ）システム１０１を示す。図３のＡＲシステム１０１は、ＡＲヘッドセット３を有する。ＡＲヘッドセット３は、複数のカメラ６、光源８、及び複数の距離センサ１０を備えたセンサ一式２０を有する図２のＡＲヘッドセット２と同じ特徴を有する（しかしながら、複数のカメラ及び距離センサは図３には明示的に示されていない）。

ＡＲシステム１０１は、ラマンプローブ２２をさらに含む。ラマンプローブ２２は、図１に関連して上述したような構造を有し、分光器（図示せず）を介してプロセッサに接続されている。プローブは、測定値を収集するプローブの領域である測定先端部２６から構成されている。プローブ２２は、患者及びＡＲヘッドセット３に対するプローブ２２の相対位置を追跡するために使用することができるマーカ２４も含む。

プロセッサ１２は図３には示されていないが、ＡＲシステム１０１は、処理ステップを実行するためにＡＲヘッドセット３及びプローブ２２と通信するプロセッサを有する。

プローブ２２は、図３では、患者組織２８の領域に隣接して示されている。患者組織２８は、プローブ２２によって測定値が収集される領域、例えば、癌の疑いのある部位である。患者組織２８上には、以下で詳細に説明するように、患者の位置を追跡するための特徴を抽出するために使用される生物学的ランドマーク３０が配置されている。

ここで、図３のＡＲシステムの１つの特定の例示的な使用方法について説明する。本例示的な処置は、蛍光マーカが収集された脳表面上の血管である生物学的ランドマーク３０を用いて脳の皮質から測定値を取得することを対象とする。しかしながら、本方法は、患者の身体のどの部分にも適用可能であってもよいことが理解されるであろう。本例示的な処置では、患者は、最初に、静脈系などに蛍光色素を注入される。色素は、患者の血管又は組織に蓄積し、蛍光発光することによって、図３に示すように生物学的ランドマーク３０として機能することができる。

外科的処置中、外科医は、ＡＲヘッドセット３を着用し、ラマンプローブ２２を分析対象の患者組織２８の隣に配置する。ＲＧＢカメラ６は、プローブ２２がＲＧＢカメラ６の視線内にあるときにプローブマーカ２４を検出する。次いで、プロセッサは、パターン認識アルゴリズムを実施して、マーカ２４の姿勢（すなわち、その位置及び向き）を推定する。次いで、この姿勢を使用して、プローブ先端部２６の位置、すなわちラマン測定値が収集される場所を推定することができる。プロセッサがプローブ２２の幾何学的形状を知っているため、プローブの幾何学的形状を考慮した変換を使用して、プローブマーカの位置の追跡からプローブ先端部２６の位置を推定することができる。次いで、ヘッドセット座標系が設定される。ヘッドセット座標系内では、癌組織の領域の位置と一致するプローブの先端部の位置が指定される。

外科医は、患者組織から測定値を取得するために、ラマンプローブ２２を患者の隣に配置する。収集された測定値は分析され、癌組織を示すものを記憶することができる。測定値は、マーカ２４を介した追跡を通じて、プローブ２２の対応する位置とともに記憶される。これらの記憶された測定値は、それらに関連付けられた強度値と、（ｘ，ｙ，ｚ）として記憶された位置座標とを有することができる。これにより、３Ｄ仮想マップを生成することができる。

上記と同時に、ＮＩＲ光源１０が患者組織を照明し、患者に注入された蛍光色素を蛍光発光させる。注入の位置は、プローブ測定の関心領域近傍の特定の血管などの患者の特定の領域に色素が蓄積するように選択されてもよい。これらの血管は、患者を追跡するための特徴を抽出するために使用される生物学的ランドマーク３０として機能することができる。血管から放出された蛍光光は、ＮＩＲカメラ６によって一連の画像として検出される。生物学的ランドマークの２Ｄ又は３Ｄ特徴は、これらの生データ画像から抽出される。患者座標系が設定され、２Ｄ／３Ｄ特徴がこの座標系に保存される。

特徴とプローブ測定位置との間の相対位置を計算して、それらの位置間の関係を決定することができ、この関係は、特徴の位置を追跡することによってディスプレイ上の測定結果の仮想マップの位置を更新するために、処置全体を通して使用することができる。この決定は、患者座標系とヘッドセット座標系との間の変換によるものであってもよい。

連続するフレームにわたる（生物学的ランドマークの）特徴の位置（すなわち、その動き）が、追跡プロセス中に推定される（以下でさらに詳細に説明する）。

上で概説したように、プローブ測定値から仮想マップが生成される。仮想マップは、癌性である組織の領域を示す。次いで、位置合わせを実行して、患者の座標系がヘッドセットの座標系にマッピングされるようにする。このようにして、仮想マップを、患者に対して正しい位置でＡＲヘッドセットディスプレイ上に表示することができる。これにより、外科医は、（例えば）患者と明確に整列した癌組織を示し、これによって、患者に対する外科医の視界に正しい位置で重ね合わされたガイドとして機能する仮想マップを用いて手術処置を行うことができる。これは、処置全体を通して生物学的ランドマーク（例えば、血管）からのＮＩＲ蛍光信号を継続的に検出することによって特徴の位置を継続的に追跡し、これにより一連の画像フレームを形成することによって達成される。

加えて、視線追跡を使用して、ディスプレイ上の仮想マップを外科医にとっての正しい視界にさらに向けることもできる。１つ又は複数の視線追跡センサは、患者の眼の座標を追跡することができる。外科医の眼の座標をヘッドセット座標系に変換することで、仮想マップの位置を各ディスプレイ上で更新することができる。

図５は、図３のＡＲシステムを使用して取得された、ＡＲヘッドセット上に表示された上述したような例示的な仮想マップ５００を示す。仮想マップは、測定が行われた位置における患者に対する外科医の視界に対して正しい位置でディスプレイ６ａ、６ｂ上に重ね合わされてもよい。図５に示す仮想マップ５００は、マップの領域の色又は陰影によって示される異なる強度を有する３つの領域を有する。強度は、記録された測定値の強度を示す。例えば、本明細書に記載される実例では、強度が高い（すなわち、濃い領域）ほど、癌組織の濃度が高いことを示すことができる。領域５０１は、強度が最も低く、癌組織のない領域を示す。領域５０１内に位置する領域５０３は、領域５０１よりも強度が高く、低レベルの癌組織を示す。領域５０３内に位置する領域５０５は、領域５０３及び領域５０１よりも強度が高く、高レベルの癌組織を示す。例えば、領域５０５は腫瘍部位を示すことができる。

図５に示す仮想マップは、２Ｄマップとして図示されており、このマップは、ディスプレイ４ａ、４ｂ上に表示される際に外科医が見る見え方である。しかしながら、仮想マップは、実際には、組織部位から得られた測定値の３Ｄマップから構成されてもよく、前記３Ｄマップからの２Ｄ投影がディスプレイ上に表示される。各ディスプレイ４ａ、４ｂ上に表示される仮想マップは、前記３Ｄマップの異なる投影であってもよい。この投影は、外科医の眼の位置が異なることを考慮に入れる。

図４は、患者から測定値を取得し、測定値を図３に示すようなＡＲシステムのユーザの視界に正確に表示するために行われる上述の方法４００の流れ図を示す。

ステップ４０１において、ＡＲヘッドセットを較正するための較正手順が実行される。これには、ヘッドセットのセンサの互いに対する関係を考慮に入れるためにこれらセンサの較正が含まれてもよい。プロセッサは、センサ６、８、１０とディスプレイ４との互いに対する相対位置を決定する。センサのパラメータも決定することができる。例えば、アルゴリズムによって使用されるピンホールカメラモデルのためのパラメータ、又はセンサの前方にある光学系によってもたらされる歪みを補正するためのパラメータを決定することができる。外科医の瞳孔間距離（ＩＰＤ：ｉｎｔｅｒｐｕｐｉｌｌａｒｙ ｄｉｓｔａｎｃｅ）（すなわち、外科医の眼の間の距離）を決定するために、さらなる較正も行われる。これは、ＩＰＤを決定するために視線追跡センサを使用して測定を行うことによって取得されてもよい。或いは、ＩＰＤは、外科医によってソフトウェアに手動で入力されてもよい。ディスプレイに対する外科医の眼の位置も決定することができる。この較正により、プローブ測定値が収集された患者の正しい位置と取得されたプローブ測定値との正確な重ね合わせが保証される。視線追跡に関連する較正は、装置の使用中、継続的に実行することができる。

ステップ４０３において、任意選択のプローブ較正が実行される。この較正により、プローブの幾何学的形状を決定することができ、プローブの先端部２６の位置をプローブマーカ２４の位置に対して決定することができる。

ステップ４０５において、ラマンプローブが患者組織に隣接して配置され、測定値が取得される。プローブは、癌組織の領域を検出するなど、関心のある組織領域から測定値を決定することができる。測定値は、外科医がプローブを患者組織の隣に置くだけで、又は外科医が関心領域を指しながらプローブのボタンを押して測定値の取得をアクティブにすることによって、継続的に取得することができる。

ステップ４０７において、測定が行われた位置を決定するために、プローブの位置が追跡される。ステップ４０３で概説されたように、プローブ先端部又は測定構成要素２６の位置は、プローブマーカ２４に対して既知であってもよい。ヘッドセット３のＲＧＢカメラ６は、プローブマーカ２４の画像を捕捉することができる。座標系（ヘッドセット座標系）内のプローブ先端部２６に座標を割り当てることができる。この割り当ては、画像パターン認識などの検出アルゴリズムを通じて達成されてもよい。座標は、プロセッサに送られ、癌組織の領域を強調する仮想マップが作成される。

ステップ４０９において、１つ又は複数の生物学的ランドマークが追跡され、外科的処置中に各時点におけるこれらの位置が決定される。生物学的ランドマークを使用することで、物理的マーカを使用する必要なしに、処置全体を通して患者を追跡する手法が提供される。

追跡ステップ４０９は、いくつかのサブステップを含むことができる。上記で概説したように、生物学的ランドマーク（血管など）は、外科的処置中又はその前に造影剤が注入された後に、蛍光信号を放出する生物学的ランドマークを通して追跡することができる。ヘッドセット３のＮＩＲ光源８は、蛍光を引き起こすことが知られている１つ又は複数の波長で患者の関心組織の領域を照明する。患者から放出された蛍光光は、ＮＩＲカメラ６によって捕捉される。次いで、信号は、不要なノイズを除去するためにフィルタリングされてもよい。捕捉されたＮＩＲ光から形成された生データ画像は、較正ステップ４０１中に得られた較正パラメータを使用して補正又は修正される。

次いで、生物学的ランドマークの特徴が検出（すなわち、識別）され、その結果、生物学的ランドマークの特徴が、画像フレームを介して追跡するための容易に識別可能な基準点を提供することができる。これらの特徴は、例えば、血管のエッジ又は交点を含むことができる。例えば、ロバストなアルゴリズムを使用して、生物学的ランドマークのサイズ、形状及び色強度に基づいてこれらの特徴が識別される。特徴は、２Ｄ又は３Ｄ特徴として識別されてもよい。例えば、複数のＮＩＲカメラを使用する場合、各フレームの３Ｄモデルを決定することができる場合がある。しかしながら、単一のカメラのみを使用する（深度センサを使用しない）場合、２Ｄ画像が代わりに使用されてもよい。各フレームから特徴が抽出される。特徴の位置はＣＳ２内で設定される。

生物学的ランドマークの特徴とプローブ測定位置との間の相対位置を計算して、これらの位置間の関係を決定することができ、この関係は、生物学的ランドマークの特徴の位置を追跡することによってディスプレイ上の仮想マップの位置を更新するために、処置全体を通して使用することができる。これは、患者座標系とヘッドセット座標系（ＣＳ１）との間の相対位置を容易に決定することができる、患者座標系とヘッドセット座標系との間の変換によるものであってもよい。

次いで、連続するフレーム間で特徴を追跡して、動きを推定する。この推定は、連続する時点で取得された連続するフレームにわたって２Ｄ／３Ｄ特徴間の対応関係を見つけることによるものである。

連続するフレームにわたる生物学的ランドマークの特徴の動きを推定するために、変換行列が計算される。これは、追跡された特徴が２Ｄであるか３Ｄであるかに応じて、２Ｄ又は３Ｄ変換であってもよい。各連続するフレーム間の動きを推定するために別個の変換が計算されてもよく、したがって、フレーム間の変換を提供することができる。患者の身体は動的であり、呼吸運動及び軟組織の変形により常に動いているという事実のため、生物学的ランドマーク特徴は、連続するフレームにわたって変位する可能性がある。この変位を補正するために、非剛体レジストレーション及び弾性変形補正を使用して、生物学的特徴の（２Ｄ又は３Ｄでの）位置をリアルタイムで推定することができる。（動的オブジェクトの場合、剛性体レジストレーションが感度、再現性、ロバスト性又は複数のビューに関連付けられた問題を引き起こすため、剛性体レジストレーションと比較すると非剛体レジストレーション及び弾性変形補正の方が好ましい。）弾性変形モデルは、位置合わせの精度を最大化するのに役立つように生成されてもよい。さらに、このような患者の動きに起因して特徴の形状がフレームにわたって変化する可能性もあり、その結果、特徴を比較する際に不均一性が生じる可能性がある。特徴の変位値は、３Ｄデータに対する画像勾配演算で確認することができる。このために、許容基準に基づいてしきい値レベルが割り当てられる。そのしきい値に達すると、仮想マップは、セクション４１１で後述するように位置合わせされる。例えば、これは、特徴が約８０～９０％一致した場合であってもよい。変換行列は、生物学的マーカの継続的な追跡を提供するために、外科的処置全体を通して継続的に推定されてもよい。

変換行列を計算する前に、最適化手順を適用して、ノイズの多い又は不完全なデータを除去することができる。これには、大域的最適化を使用することが含まれてもよい。代替として、又は加えて、外れ値除外アルゴリズム又は最適化フィルタが使用されてもよい。例えば、最適化されたランダムサンプルコンセンサス（ＲＡＮＳＡＣ）又は反復最近接点アルゴリズムである。有利なことに、これらの技法は、ノイズ及びスペックルを除去するのに役立ち、これにより、ノイズの多いデータに由来するドリフトを追跡することによって引き起こされることがある誤一致を低減することができる。

ステップ４０５は、ステップ４０７と同時に行われ、したがって、プローブで得られた測定値を、収集されたデータ座標に関連付ける。ステップ４０５及び４０７も、ステップ４０９と同時に行われ、それにより、プローブ測定の位置を、測定が行われるときだけでなく、外科的処置の残りの期間全体にわたって、生物学的ランドマークの特徴に対して追跡することができる。

ステップ４１１において、プローブ測定値の座標を生物学的ランドマークの特徴の座標にマッピングすることができるように、位置合わせが行われる。これにより、ディスプレイ上で見たときに、仮想マップを確実に患者の身体の領域と正しく整列させることができる。

ステップ４１２において、外科医の眼の位置が追跡され、ディスプレイに対する外科医の視線が決定される。ヘッドセット３には、外科医の眼の位置を追跡することができる１つ又は複数の視線追跡センサが配置されていてもよい。この追跡は、視線追跡センサが外科医の網膜上の点を追跡することによって達成されてもよい。ディスプレイ上の測定値の正確な配置を確実にするために、ユーザのＩＰＤ（瞳孔間距離）を外科医の眼の位置と併せて使用することもできる。

外科医の両方の眼を追跡するために、１つ又は複数のセンサが使用されてもよい。代替として、別々の追跡センサが、各眼の位置を追跡してもよい。視線追跡センサは、各眼の位置を走査してその位置を決定するＩＲ光源と検出器とを備えることができる。光源は、ＬＥＤ又はレーザの形態であってもよい。代替として、又は加えて、視線追跡センサは、電位視線追跡センサであってもよい。電位視線追跡センサは、眼の周囲に配置された電極を使用して、眼の動きを測定する。

ステップ４１４において、プローブ測定値を、測定値が取得された患者の位置に対して重ね合わせてディスプレイ上に表示する。プロセッサは、仮想マップをディスプレイ４ａ、４ｂ上に表示する。各ディスプレイ４ａ、４ｂは、関連付けられた外科医の眼及び患者に対する視野に対して正しく位置決めされた仮想マップを表示する。仮想マップの位置、向き、及びスケールは、継続的に追跡される患者に対するＡＲヘッドセット３の相対位置に基づいてリアルタイムで動的に調整される。ＡＲヘッドセットを装着した外科医は、仮想マップが患者の身体に重ね合わされていると知覚するため、仮想マップを視覚的ガイダンスとして手術中に使用することができる。

ステップ４０９、４１１、４１２及び４１４は、処置全体を通して患者の動きを考慮に入れ、測定値が確実に正しい位置でディスプレイ上に重ね合わされるように、処置を通して繰り返し実行される。

ステップ４０５及び４０７は、処置全体を通して追加の測定値を取得するために、任意選択で、繰り返し行われることもある。

仮想マップが、確実に、正しい位置、向き、及びスケールでリアルタイムに表示されるように、ターゲットに対するヘッドセットの相対位置を、処置中、継続的に追跡しなければならない。上記で概説したように、この追跡は、処置全体を通して患者の生物学的ランドマークの位置を追跡することによるものであってもよい。しかしながら、ヘッドセットと患者との間の距離を追跡することは、外科的処置全体を通して行うこともできる。この追跡は、飛行時間センサなどのヘッドセット上に配置された１つ又は複数の深度センサによるものであってもよい。例えば、深度センサにより、処置全体を通して、患者に対するヘッドセットの相対位置及び／又は向き（姿勢）を決定することが可能である場合がある。これは、手術部位の点群又は深度画像を生成することによるものであってもよい。これにより、患者からの距離を考慮して、ディスプレイ上の画像のスケールを適宜調整することができる。これは、患者座標とヘッドセット座標との間の変換を行うのに役立つ場合がある。例えば、深度センサにより、処置全体を通して、患者に対するヘッドセットの相対位置及び／又は向き（姿勢）を決定することが可能である場合がある。これにより、生物学的ランドマークとヘッドセットとの間の距離を知ることで、生物学的ランドマーク追跡に追加のパラメータを追加することができる。プローブデータは３Ｄデータとして取得されることがあるため、点群又は深度画像を使用することで、生物学的ランドマークの特徴の３Ｄデータを取得することができる場合があり、その結果、これらの特徴を比較して、２つの位置間の関係を決定することができる。

プロセッサは、データ処理デバイスにおいて命令を実行するためのプロセッサであってもよい。命令は、例えばメモリに記憶されていてもよい。プロセッサは、命令を実行するための（例えば、マルチコア構成の）１つ又は複数の処理ユニットを含むことができる。命令は、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ、Ｍｉｃｒｏｓｏｆｔ Ｗｉｎｄｏｗｓ（登録商標）などの、データ処理デバイス上の様々な異なるオペレーティングシステム内で実行することができる。より具体的には、命令は、メモリに記憶されたデータに対する様々なデータ操作（例えば、作成、読み取り、更新、及び削除手順）を引き起こすことができる。コンピュータ実装方法が開始されると、初期化中に様々な命令が実行されることがあることも理解されるべきである。一部の動作は、本明細書に記載される１つ又は複数の方法を実行するために必要とされる場合があるが、他の動作は、特定のプログラミング言語（例えば、Ｃ、Ｃ＃、Ｃ＋＋、Ｊａｖａ（登録商標）、Ｐｙｔｈｏｎ、又は他の適切なプログラミング言語など）に対してより一般的及び／又は固有である場合がある。

本開示の態様を詳細に説明してきたが、添付の特許請求の範囲に定義される本開示の態様の範囲から逸脱することなく、修正及び変形が可能であることは明らかであろう。本開示の態様の範囲から逸脱することなく、上記の構成、製品、及び方法において様々な変更を行うことができるため、上記の説明に含まれ、添付の図面に示されるすべての事項は、限定的な意味ではなく、例示的なものとして解釈されるべきであることが意図されている。

ヘッドセット上のＲＧＢカメラ１０及びプローブ上の可視マーカを使用するステップ４０７で上述した手順以外の代替の方法を使用して、プローブの位置を追跡することができる。例えば、追跡のために代わりに赤外線カメラ（又はＮＩＲ）を使用することができる。これは、プローブによって検出される赤外線信号を放出するプローブマーカによるものであってもよい。代替として、プローブ位置を追跡するために、任意のタイプの電磁エミッタ（送信機）及びセンサが使用されてもよい。代替として、又は加えて、機械学習ベースのカスタム訓練モデルが使用されてもよい。

上述のプローブ追跡は、ヘッドセット上のセンサによって行われるものとして説明されている。代替として、センサ６、１０（例えば、カメラ）は、ヘッドセット３とは別に配置されていてもよい。この構成では、外部追跡システムに対するヘッドセット３の相対位置も確実に分かるように、ヘッドセット３上のマーカも追跡される。他の構成では、プローブ２２はまた、又は代わりに、それ自身の位置を追跡し、その位置をプロセッサに通信することを可能にする１つ又は複数のセンサを含むことができる。例えば、プローブ２２は、その位置及び／又は向きの詳細を追跡することを可能にする慣性測定ユニット（ＩＭＵ）を備えることができる。

或いは、プローブは、患者及び手術場面の下で、又はその近傍で生成される電磁場を使用することによって追跡されてもよい。この構成では、プローブ及びヘッドセットは、これらの上に配置された磁気マーカを備える。このようにして、前記マットによって生成された磁場は、電磁場内のこれらの小さな磁気ユニットの動きを検出し、これにより、その動きを追跡して、その空間的な位置を取得する。この構成では、プローブを追跡するために使用されるＲＧＢカメラは必要でない場合がある。

生物学的マーカを追跡するセンサは、上記と同様にヘッドセット３の外部に配置することもできる。生体ランドマークを照明して蛍光を発生させる光源８は、ＡＲヘッドセット３上に特に配置されるのではなく、前記ヘッドセット３から遠く離れて配置されてもよい。

一部の構成では、プロセッサ及びそれに関連付けられたメモリは、ＡＲヘッドセット上に配置されてもよい。他の構成では、プロセッサ及びメモリは、ＡＲヘッドセットに対して遠隔に配置されてもよい。ヘッドセット上に配置される場合、プロセッサは、装着者の後頭部に配置されていてもよい。他の構成では、プロセッサは、ヘッドセットのハウジング（すなわち、装着者の頭部の前方部分）に配置されてもよい。しかしながら、プロセッサの任意の他の位置が可能であってもよい。

上記の説明はラマン分光法に焦点を当てているが、上記のシステム及び方法は、他の目的にも使用することができる。例えば、プローブは必ずしもラマンプローブに限定されない。代替として、プローブは、患者から温度測定値を取得することができる温度プローブであってもよい。温度測定値は、この測定値が取得された場所に対する、外科医の視界の正しい位置で仮想マップとしてディスプレイ上に表示されてもよい。プローブ２２は、患者の身体の任意の領域から測定を行うために使用することができる。例えば、この領域は、脳表面上の血管パターンの生物学的ランドマークを有する脳の皮質であってもよい。或いは、肝臓近くの血管パターンである生物学的ランドマークを有する患者の肝臓を観察することであってもよい。上述の外科的処置は、癌手術、すなわち癌組織の摘出のためのものである。仮想マップは、前記手術中に外科医をガイドするのに役立つ。しかしながら、上記のシステムは、どのようなタイプの手術にも使用することができることが理解されるであろう。他の構成では、プローブは電磁プローブであってもよい。例えば、電磁プローブは、電磁脈動プローブであってもよい。電磁脈動プローブは、侵襲的処置において患者の脳機能の測定又は評価を行うために使用することができる。或いは、例えばＰＨプローブなどの任意の他のタイプのプローブが使用されてもよい。他の構成では、プローブを使用して、ユーザの顔に仮想マークを配置して、後で手術中に使用することができる仮想マップを作成することができる。

外科医という用語は、本明細書では、ＡＲヘッドセット３を装着している人を示すために使用されている。しかしながら、理解されるように、その人物は、必ずしも外科医である必要はなく、装置を使用するあらゆる人物であり得る。外科医、装着者、及びユーザという用語は、本明細書では交換可能に使用されることがある。本明細書で使用される座標系という用語は、座標系を意味すると理解されてもよい。

画像の検出及び関連付けられたアクションは、カメラによって実行されるものとして説明されている。しかしながら、どのようなタイプのイメージセンサ／イメージセンシングデバイスでも使用することができる。カメラは、静止画像又は動画を検出するように構成されてもよい。

ＡＲヘッドセットは、２つのアーム（テンプル）を有するハウジングに取り付けられた２つのディスプレイを有するものとして図に示されている。しかしながら、本発明のＡＲヘッドセットは、このような構成に限定されず、装着者にヘッドマウントディスプレイ（ＨＭＤ：ｈｅａｄ ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）を取り付ける従来のあらゆる手段が想定され得ることが理解されるであろう。この手段には、ヘッドセットを定位置に保持するために、頭の周り及び／又は上を通るストラップを使用することが含まれてもよい。或いは、帽子などの、装置を頭頂部全体にわたって取り付ける取り付け手段が使用されてもよい。加えて、図示されるハウジングの特定の構成は、単なる実例であり、どのようなタイプのハウジングが使用されてもよい。他の構成では、ＡＲシステムは、ＡＲヘッドセットではなく、患者の上に配置することができる１つ又は複数のガラスディスプレイを備えてもよい。これにより、上記の方法は、上記の実施例で説明したように、測定値を前記ディスプレイ上に表示するために使用される。

本明細書に記載されるような視線追跡を使用するステップにより、仮想マップをディスプレイ上で整列させる精度が向上する。しかしながら、これはオプションのステップであり、視線追跡を使用せずに適切な整列を達成することができる。加えて、視線追跡センサは、必ずしも、ＡＲヘッドセット３上に配置する必要はなく、ヘッドセット３とは別の外部センシングシステム内に配置されてもよい。

本明細書では、蛍光ベースの処置を行うためのＮＩＲカメラ及びＮＩＲ光源が記載されているが、必ずしもそのような波長帯域に限定されるものではない。他の波長の光を使用してもよい。例えば、どのような範囲の赤外線波長でも使用することができる。他の構成では、可視光を使用することができる。例えば、ＩＲ光を使用して、蛍光色素を注入しなくても血管を見ることができる。

上述したカメラ及びセンサのタイプ及び数は限定されないことが理解されるであろう。単一若しくは複数のカメラ及び／又は距離センサが使用されてもよい。飛行時間によるモーショントラッカ及び立体カメラシステムは、正確な位置決めを提供するためのそのような実例の１つである場合がある。

上述の方法では、生物学的ランドマーク３０の特徴は、生物学的ランドマーク３０に対するプローブ２２の相対位置を決定する際の主要な基準として使用することができる。しかしながら、代替として、生物学的ランドマーク３０の特徴ではなく、プローブ位置が主要な基準点として使用されてもよいことが理解されるであろう。

他の構成では、生物学的ランドマークを使用するのではなく、手術台上の人工マーカが使用されてもよい。このマーカは、追跡の精度を向上させるために、生物学的ランドマークに加えて使用することもできる。

生物学的ランドマークは、本明細書の方法において追跡されるものとして説明されている。この追跡は、標的組織（すなわち、血管及び他の記載例ではなく）の追跡であってもよいことが理解されよう。

図２及び図３に関連して説明したセンサは、利用することができるセンサのタイプ及び数の一実例にすぎない。多くの構成では、プローブ及び患者追跡の精度を最大化するために、複数のセンサを使用することができる。

上記の実例に示されるように、２つのディスプレイ４ａ、４ｂがあってもよい。しかしながら、他の構成では、両眼用の単一のディスプレイが使用されてもよい。代替として、ＡＲヘッドセットは、単眼の上に、すなわち、両眼ではなく、４ａ及び／又は４ｂのみを有する単一のニアアイディスプレイを備えてもよい。

１つ又は複数のケーブルを通して異なる構成要素間でデータを通信することができることが上記で示されたが、接続は必ずしも有線である必要はないことが理解されよう。例えば、あらゆるタイプの無線通信手段を使用して、例えば、プローブ、ヘッドセット、及びプロセッサから信号を送信することができる。この手段には、例えば、ＵＳＢ、Ｗｉ－Ｆｉ、又はブルートゥース（登録商標）が含まれてもよい。

一部の構成では、以前に取得された医療画像も仮想マップに含めることができる。例えば、これは、ＣＴ又はＭＲＩスキャンなどの患者のスキャンからのデータであってもよい。加えて、仮想マップに加えて、視野内の追加情報を表示することができる。例えば、患者固有の情報である。この固有の情報は、患者のファイルからの情報であってもよい。ＡＲヘッドセットはまた、外科医が遠隔測定プロセス（ｔｅｌｅｍｅｎｔｏｒｉｎｇ ｐｒｏｃｅｓｓ）を行うことができるように、外科医にオーディオ信号又はビデオ信号を提供することが可能な通信手段を有するなど、他の機能を実装するように構成することもできる。

他の代替の構成では、追加のアプリケーションが予見されてもよく、仮想マップを患者固有のデジタルデータ（すなわち、癌組織の領域を取り囲む高リスク解剖学的構造の患者固有の３Ｄモデル）と位置合わせすることを可能にする。これは、以下によって達成され得る。

■生物学的マーカを検出するＡＲヘッドセットに統合されたセンサを使用すること。センサによって収集されたデータは、生物学的マーカに基づいてこの構造の患者固有の３Ｄモデルを作成するために使用される（例えば、生物学的マーカは、仮想マップに加えて表示される高リスクの解剖学的構造を示すことができる）。システムは、上述したような処置で使用するために、３Ｄモデルの座標系を患者座標系に一致させる、すなわち３Ｄモデルを形成する測定値とプローブ測定値の両方を表示する。

■物理的マーカを患者の身体に取り付け、患者をスキャンする。次いで、医療スキャンから患者固有の３Ｄモデルを取得し、マーカに対するそれらの相対位置をシステムにインポートする。３Ｄモデルの座標系を患者の座標系に一致させる。このようにして、プローブ測定値に加えて、患者スキャン（ＭＲＩ ＣＴ、超音波など）及び／又はカメラの測定値を表示することができる。

Claims (15)

1. 医療処置中に患者から測定値を取得して表示するための拡張現実（ＡＲ）システムであって、
   前記測定値が収集された前記患者に対する位置で、前記患者の組織の外科医の視界に重ね合わされた前記測定値を表示するためのニアアイディスプレイを備えるＡＲヘッドセットと、
   前記患者の前記位置を追跡するための少なくとも１つのセンサと、
   前記測定値及びそれに関連付けられた位置を記憶するためのメモリと、
   プロセッサと
   を備え、
   前記医療処置中に以下のステップ、すなわち、
   （ａ）前記患者の組織から収集された測定値を受け取るステップであり、前記測定値が前記患者の組織の様々な領域に隣接して位置決めされたプローブによって収集される、ステップと、
   （ｂ）前記プローブが測定値を収集している間に前記プローブの位置を追跡して、前記測定値が収集される位置を決定するステップと、
   （ｃ）ステップ（ａ）及び（ｂ）を実行するのと同時に、前記少なくとも１つのセンサを使用して、前記患者上の生物学的ランドマークの位置を追跡して、前記生物学的ランドマークの前記位置と前記測定値が収集される前記位置との間の関係を決定することができるようにするステップと、
   （ｄ）ある位置での前記測定値を前記ニアアイディスプレイ上に表示して、
   前記医療処置全体を通して前記生物学的ランドマークの前記位置を継続的に追跡してその現在位置を取得することと、
   前記生物学的ランドマークの現在位置に基づいて前記ディスプレイ上の前記測定値の前記位置を更新することと
   によって、前記医療処置全体を通して、前記測定値が収集された前記患者に対する前記位置で、前記測定値が前記患者の組織の前記外科医の視界内で整列されるようにするステップと
   を実行するように構成されている、拡張現実（ＡＲ）システム。
2. 前記測定値の仮想マップを作成するステップをさらに含み、前記測定値を前記ニアアイディスプレイ上に表示するステップが、前記仮想マップを表示するステップを含む、請求項１に記載のＡＲシステム。
3. 前記患者上の前記生物学的ランドマークの前記位置を追跡するステップが、特定の波長の光を使用して前記患者の領域を照明するステップと、前記照明に応答して前記生物学的ランドマークによって放出される蛍光信号を前記センサによって検出するステップとをさらに含む、請求項１又は２に記載のＡＲシステム。
4. プローブをさらに備える、請求項１から３までのいずれか一項に記載のＡＲシステム。
5. 前記プローブが、ラマンプローブである、請求項４に記載のＡＲシステム。
6. 前記生物学的ランドマークが、前記生物学的ランドマークの１つ又は複数の特徴である、請求項１から５までのいずれか一項に記載のＡＲシステム。
7. 前記医療処置全体を通して前記特徴の前記位置を継続的に追跡してその現在位置を取得することが、
   前記センサによって、前記患者の画像を捕捉し、
   前記画像から前記生物学的ランドマークの前記１つ又は複数の特徴を抽出し、
   前記画像の連続するフレームにわたって前記１つ又は複数の特徴間の対応関係を決定し、
   変換行列を使用することによって、前記画像の連続するフレームにわたって前記１つ又は複数の特徴の動きを推定する
   ことをさらに含む、請求項６に記載のＡＲシステム。
8. 変換行列を使用することによって画像の連続するフレームにわたって前記１つ又は複数の特徴の動きを推定するステップが、剛体又は非剛体レジストレーションを適用するステップをさらに含む、請求項７に記載のＡＲシステム。
9. 前記生物学的ランドマークの１つ又は複数の特徴が、前記生物学的ランドマークのエッジ又は交点を含む、請求項６、７、又は８に記載のＡＲシステム。
10. 前記生物学的ランドマークが、前記患者の血管、前記患者のリンパ節、前記患者の神経系、前記患者の臓器表面のうちの少なくとも１つを含む、請求項１から９までのいずれか一項に記載のＡＲシステム。
11. 前記プローブの位置を追跡するステップが、
    前記センサを介して、前記プローブ上のマーカを検出し、前記測定値が収集される前記位置を表す前記プローブの先端部の位置を計算するステップ、又は
    前記プローブ上の磁気マーカの移動によって引き起こされる磁場の変化を検出するステップであって、磁場の前記変化が、前記プローブの位置を識別する、ステップ
    を含む、請求項１から１０までのいずれか一項に記載のＡＲシステム。
12. 前記生物学的ランドマークの前記位置と前記測定値が収集される前記位置との間の前記関係が、前記生物学的ランドマークの前記位置と前記測定値が収集される前記位置とを共通の座標系に変換することによって決定される、請求項１から１１までのいずれか一項に記載のＡＲシステム。
13. ある位置での前記測定値を前記ニアアイディスプレイ上に表示して、前記医療処置全体を通して、前記測定値が収集された前記患者に対する前記位置で、前記測定値が前記患者の組織の前記外科医の視界内で整列されるようにするステップが、
    前記外科医の眼の位置を追跡し、前記外科医の眼の前記現在位置に基づいて前記ニアアイディスプレイ上の前記測定値の前記位置を調整するステップ
    をさらに含む、請求項１から１２までのいずれか一項に記載のＡＲシステム。
14. 拡張現実（ＡＲ）システムを使用して医療処置中に患者から測定値を取得して外科医に表示する方法であって、
    （ａ）患者の組織から収集された測定値を受け取るステップであり、前記測定値が前記患者の組織の様々な領域に隣接して位置決めされたプローブによって収集される、ステップと、
    （ｂ）前記プローブが測定値を収集している間に前記プローブの位置を追跡して、前記測定値が収集される位置を決定するステップと、
    （ｃ）ステップ（ａ）及び（ｂ）を実行するのと同時に、前記少なくとも１つのセンサを使用して、前記患者上の生物学的ランドマークの位置を追跡して、前記生物学的ランドマークの前記位置と前記測定値が収集される前記位置との間の関係を決定することができるようにするステップと、
    （ｄ）ある位置での前記測定値を前記外科医によって装着されたＡＲヘッドセットのニアアイディスプレイ上に表示して、
    前記医療処置全体を通して、前記生物学的ランドマークの前記位置を継続的に追跡してその現在位置を取得することと、
    前記生物学的ランドマークの現在位置に基づいて前記ニアアイディスプレイ上の前記測定値の前記位置を更新することと
    によって、前記医療処置全体を通して、前記測定値が収集された前記患者に対する前記位置で、前記測定値が前記患者の組織の前記外科医の視界内で整列されるようにするステップと
    を含む、方法。
15. 命令を含むコンピュータプログラム製品であって、前記プログラムがコンピュータによって実行されると、前記命令が、前記コンピュータに、
    （ａ）患者の組織から収集された測定値を受け取るステップであり、前記測定値が前記患者の組織の様々な領域に隣接して位置決めされたプローブによって収集される、ステップと、
    （ｂ）前記プローブが測定値を収集している間に前記プローブの位置を追跡して、前記測定値が収集される位置を決定するステップと、
    （ｃ）ステップ（ａ）及び（ｂ）を実行するのと同時に、前記少なくとも１つのセンサを使用して、前記患者上の生物学的ランドマークの位置を追跡して、前記生物学的ランドマークの前記位置と前記測定値が収集される前記位置との間の関係を決定することができるようにするステップと、
    （ｄ）ある位置での前記測定値を前記外科医によって装着されたＡＲヘッドセットのニアアイディスプレイ上に表示して、
    前記医療処置全体を通して前記生物学的ランドマークの前記位置を継続的に追跡してその現在位置を取得することと、
    前記生物学的ランドマークの現在位置の前記位置に基づいて前記ニアアイディスプレイ上の前記測定値の前記位置を更新することと
    によって、前記医療処置全体を通して、前記測定値が収集された前記患者に対する前記位置で、前記測定値が前記患者の組織の前記外科医の視界内で整列されるようにするステップと
    を行わせる、コンピュータプログラム製品。

Images