JP2023526716A - 外科手術ナビゲーションシステムおよびそのアプリケーション - Google Patents

Abstract

本開示の態様は、外科手術ナビゲーション用に構成され、異なるロケーションで使用するためにポータブルである多機能プラットフォームのために提示される。システムは、ハードウェアコンポーネントおよびソフトウェアコンポーネントを含む。ハードウェアコンポーネントは、外科手術状況のリモート可視化において使用可能な複数タイプの入力データを得ることができるポータブルまたは装着可能デバイスを含むことができる。ハードウェアはヘッドセットを含むことができ、ヘッドセットは、２Ｄおよび３Ｄデータを取り込むための位置カメラおよび可視カメラ等の種々のタイプのカメラならびに２Ｄおよび３Ｄ画像を一緒に融合またはオーバーレイするための回路部を有する。他の場合、ハードウェアは、複数のカメラセンサが組み込まれている、スマートパッド等のモバイルデバイスに対するバーアタッチメントを含むことができる。幾つかの実施形態において、ハードウェアは、外科手術ナビゲーションおよび外科手術顕微鏡の両方の機能を果たすことができるポータブルナビゲーションシステムも含む。

Description

関連出願の相互参照
本出願は、２０２０年２月２８日に出願され、「ＭＵＬＴＩＦＵＮＣＴＩＯＮＡＬ ＳＵＲＧＩＣＡＬ ＮＡＶＩＧＡＴＩＯＮ ＡＰＰＡＲＡＴＵＳ ＯＲ ＰＬＡＴＦＯＲＭ ＡＮＤ ＡＰＰＬＩＣＡＴＩＯＮＳ ＴＨＥＲＥＯＦ」という名称の米国仮出願第６２／９８３，４０５号；２０２０年２月２８日に出願され、「ＳＵＲＧＩＣＡＬ ＮＡＶＩＧＡＴＩＯＮ ＳＹＳＴＥＭ ＳＯＦＴＷＡＲＥ ＡＮＤ ＡＰＰＬＩＣＡＴＩＯＮＳ ＴＨＥＲＥＯＦ」という名称の米国仮出願第６２／９８３，４２７号；および２０２０年２月２８日に出願され、「ＳＵＲＧＩＣＡＬ ＮＡＶＩＧＡＴＩＯＮ ＳＹＳＴＥＭ ＡＮＤ ＡＰＰＬＩＣＡＴＩＯＮＳ ＴＨＥＲＥＯＦ」という名称の米国仮出願第６２／９８３，４３２の利益を主張し、それらの開示は、その全体がまた全ての目的で参照により本明細書に組み込まれる。

外科手術ナビゲーションおよび外科手術顕微鏡（マイクロスコープ）機械は、互いにほぼ独立している２つのかさばるデバイスであるが、多くの外科手術において現在使用されている。神経外科手術中にこれらのデバイス間でシフトすることは外科医の時間をとる。外科手術ナビゲーション機械は、手術室空間の平均１０～１５％を占め、外科手術顕微鏡は、その空間の平均１５～２０％を占める。図１は、外科手術手技中に非常に有用であるとすることができるが、使用するのが非常に面倒であるこれらのタイプの機械の例である。

これらのデバイスは共に、ホイール付きの重いカートであるという意味でのみポータブルである。それらは、容易に２００ｋｇ以上の重量があるため、これらを、緊急または外科ＩＣＵ内等、手術室の外で使用することは単に実用的でない。これらのデバイスは、手術室内にあると、それらの使用寿命の間、そこに留まる傾向がある。これらのデバイスが手術室内でおよびその周りで移動する場合、それらの重量故に医療従事者からの支援が必要とされる。

手術室において、外科医は、通常一度に１つのデバイスを使用する傾向があり、その後、外科医は、外科手術顕微鏡または外科手術ナビゲーションの間を、手技中のそれらの機能に応じて行き来し続けなければならない。この行き来は、外科医にとって不便を生じ、また同様に、外科手術時間を長くしてシステム非効率性を生じさせ、また、長い外科手術時間は長時間の麻酔を意味するためにより高濃度の麻酔の使用が増える。

外科医および介入専門医等の手技内科医（Ｐｒｏｃｅｄｕｒａｌ ｐｈｙｓｈｉｓｈｉａｎ）は、筋骨格系疾患（ＭＳＤ：ｍｕｓｃｕｌｏｓｋｅｌｅｔａｌ ｄｉｓｏｒｄｅｒ）等の作業関連損傷について高リスクを有する。これは、反復移動を含む長い作業時間、静的かつぎこちない姿勢、および、特に多様化する要員の状況における急速な革新を考慮した器具デザインに関する課題に起因する。

人間工学者は、外科医の作業環境および作業条件を、特定の産業労働者のそれと同じ、時としてより過酷であると説明してきた。

この観察結果は、一般住民、ならびに、炭鉱夫、製造業労働者、および理学療法士等のさらに労働集約的な職業と比較した、リスクのある内科医の間での作業関連損傷のより高い頻度を立証する研究と矛盾しない。

疾病の負担を低減するために、産業人間工学は急速な進歩を遂げたが、医療は独特な難題であることが実証されており、このグループへの介入の欠如が、今や明らかになりつつある。

伝統的なシステムに関する見通し線の問題（line of sight issue）が存在するため、外科医は、ナビゲーションシステムと共に外科器具を使用するときも制限がある。外科器具がどんな理由であれ妨害される場合、ナビゲーションは停止する。光学追跡カメラは、典型的には、外科器具に対する直接見通し線を有する必要がある。

画像ガイド式外科手術を行う標準的な方法は、外科手術部位を見ることによるのではなく、ナビゲーションスクリーンを見、その後、スクリーンベース２Ｄディスプレイを見ることによって外科器具をターゲットロケーションに移動させることによる－これは、豊富な外科手術経験のみから得られる極めて注意深い操縦性を必要とする。

既存のナビゲーションシステムは、３つの角度（横断面（Transverse plane）、矢状面（Sagittal Plane）、および冠状面（Coronal Plane））から２Ｄ画像ビューを提供する。外科医は、その後、これの全てを患者器官内の３Ｄポイントに相関させる。外科医は、その後、自分の経験からこの２Ｄ情報を３Ｄ情報にマインドマッピングするという大変なタスクを有する。したがって、このプロセスは、適切な３Ｄ可視化が現在利用可能でないため、一貫性を欠く。

コレジストレーションを行うときに紛れ込む可能性がある手作業のエラーが存在する。コレジストレーションプロセスは、最初にソフトウェア上で、次に患者上で相関ポイントを選択することである。人的要素のせいで、ポイント選択にエラーがあることは一般的である。

現在の外科手術ナビゲーションおよび顕微鏡システムは、手術室の内部に留め置かれ、したがって、外科手術プランおよび術前プラニング議論が必要なので、セットアップ時にさらなるＯＲ（オペ室）時間をとる。

現在のシステムは、単一機能－外科手術ナビゲーション、外科手術顕微鏡検査、蛍光可視化（Fluorescencevisualization）、ラマン分光法、共焦点顕微鏡検査を実施する。デバイス間で切り換える必要がないことで外科医の効率を大幅に上げる、これの全てを行うことができる１つのデバイスは存在しない。

介入治療スイートまたは外科ＩＣＵ室は、脊椎の硬膜外注入および肝臓への標的注入のような患者の転帰および満足を大幅に改善できるそれらの手技の一部のためにこれらのナビゲーションシステムにアクセスできない。

したがって、複数の医療手技コンテキストを支援するよりモバイル性のあるナビゲーションシステムを提供することが望ましいであろう。外科医等のユーザが、改良型ナビゲーションシステムインターフェースの使用によってリモートで自分のタスクをより容易に実施することができることを可能にすることも望ましいであろう。

本開示の態様は、異なるロケーションで使用するためにポータブルである、外科手術ナビゲーション、外科手術顕微鏡、ルーペ、および／または蛍光可視化のために構成されている多機能プラットフォームのために提示される。幾つかの実装態様において、プラットフォームは１３０ポンド未満の重量である。システムは、ハードウェアコンポーネントおよびソフトウェアコンポーネントを含む。ハードウェアコンポーネントは、外科手術状況のリモート可視化において使用可能な複数タイプの入力データを得ることができるポータブルまたは装着可能（ウェアラブル）デバイスを含むことができる。幾つかの場合、ハードウェアはヘッドセットを含み、ヘッドセットは、２Ｄおよび３Ｄデータを取り込むための位置カメラおよび可視カメラ等の種々のタイプのカメラならびに２Ｄおよび３Ｄ画像を一緒に融合またはオーバーレイするための回路部を有する。他の場合、ハードウェアは、複数のカメラセンサが組み込まれている、スマートパッドまたはラップトップ等のモバイルデバイスに対するバーアタッチメントを含むことができる。幾つかの実施形態において、ハードウェアは、外科手術ナビゲーションおよび外科手術顕微鏡の両方の機能を果たすことができるポータブルナビゲーションシステムも含む。

本開示のソフトウェアは、ハードウェアコンポーネントのうちの１つまたは複数から受信される入力データを処理し、そのデータを、リモートユーザが外科手術手技の少なくとも一部を実施するのに利用可能な拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）または仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）体験に変換するためのモジュールを含むことができる。

幾つかの実施形態において、拡張現実デバイスが提示される。ＡＲデバイスは、ハウジングと、ハウジングに結合され、３次元コンポーネントを有する画像データを提供するように構成される深度カメラと、ハウジングに結合され、人間ユーザが自然に見ることができない超感覚的画像データを提供するように構成される可視カメラと、画像データの少なくとも２つのセットを受信し、画像データの少なくとも２つのセットの両方を、ユーザの視野内の共通参照ポイント上にオーバーレイするように構成されているオーバーレイディスプレイコンポーネントとを含むことができる。

幾つかの実施形態において、拡張現実デバイスは、ハウジングを支持するように構成されているヘッドセットをさらに含む。

拡張現実デバイスの幾つかの実施形態において、深度カメラおよび可視カメラは、ユーザの視野が深度カメラの視野および可視カメラの視野の両方に一致するように、ヘッドセット上に位置決めされている。

拡張現実デバイスの幾つかの実施形態において、オーバーレイディスプレイコンポーネントは、ユーザがヘッドセットを装着するときにユーザの視野上に位置決めされている。

幾つかの実施形態において、拡張現実デバイスは、モバイルデバイスに取り付けるように構成されているバーアタッチメントをさらに含む。

拡張現実デバイスの幾つかの実施形態において、オーバーレイディスプレイコンポーネントは、モバイルデバイスの可視ディスプレイを利用する。

幾つかの実施形態において、外科手術ナビゲーションのためのシステムが提示される。システムは、ローカル地理的ロケーションに位置決めされた第１の拡張現実（ＡＲ）デバイスと、リモート地理的ロケーションに位置決めされ、第１のＡＲデバイスと有線または無線で結合された第２の拡張現実デバイスと、ソフトウェアシステムであって、第１のＡＲデバイスおよび第２のＡＲデバイスの両方に結合され、第１のＡＲデバイスによって生成されるリアルタイム画像データを処理し、前もって記録された固定医療画像データにアクセスし、リアルタイム画像データおよびリアルタイム画像データ上に重ね合わせた固定医療画像データを第２のＡＲデバイスが表示するようにさせるように構成されている、ソフトウェアシステムとを含む。

システムの幾つかの実施形態において、第１のＡＲデバイスは、視野内で固定参照マーカを識別し、固定参照マーカに関する画像データを第２のＡＲデバイスに送信するように構成されている。

システムの幾つかの実施形態において、ソフトウェアシステムは、固定参照マーカに関する画像データを使用して、固定医療画像データをリアルタイム画像データに対して方向付けるように構成されている。

システムの幾つかの実施形態において、固定医療画像データは、２Ｄおよび３Ｄ画像データを含む。

システムの幾つかの実施形態において、ソフトウェアシステムは、リアルタイム画像データ上に重ね合わされた患者に関する２Ｄ画像データおよび３Ｄ画像データの両方を同時に表示させるように構成されている。

システムの幾つかの実施形態において、リアルタイム画像データ上の重ね合わされた２Ｄおよび３Ｄデータは、リアルタイム画像データのオブジェクト内部、または内側の物理的コンテンツの１つまたは複数のビューを示す。

幾つかの実施形態においては、オブジェクトのデジタル画像データをオブジェクトのリアルタイムビューに融合させる拡張現実（ＡＲ）の方法が提示される。方法は、オブジェクトのビューにリアルタイムにアクセスすることと、オブジェクトのデジタル画像データにアクセスすることを含み、オブジェクトのデジタル画像データは、オブジェクトの１つまたは複数の静的デジタル画像として予め取り込まれ記憶されたものであり、方法はさらに、拡張現実ディスプレイスクリーンを使用し、オブジェクトのビューが拡張現実ディスプレイスクリーン内で位置または方向が変化するとき、デジタル画像データがオブジェクトのビューにリアルタイムで固着されたままであるように、デジタル画像データをオブジェクトのビューにリアルタイムに固着させる融合技法を実施することを含む。

方法の幾つかの実施形態において、デジタル画像データはオブジェクトの３Ｄデジタル画像データを含む。

方法の幾つかの実施形態において、デジタル画像データはオブジェクトの２Ｄデジタル画像データを含む。

幾つかの実施形態において、方法は、オブジェクトの２Ｄデジタル画像データにアクセスすることと、３Ｄレンダリング技法を実施することにより、２Ｄデジタル画像データをオブジェクトの３Ｄデジタル画像データに変換することとをさらに含み、融合技法は、オブジェクトの３Ｄデジタル画像データをオブジェクトのビューにリアルタイムで固着させることを含む。

方法の幾つかの実施形態において、融合技法は、３Ｄデジタル画像データのサイズがオブジェクトのサイズに正しく比例して表示されるように、３Ｄデジタル画像データのサイズにオブジェクトのビューのサイズをリアルタイムで一致させることを含む。

方法の幾つかの実施形態において、融合技法は、３Ｄデジタル画像データの形状がオブジェクトの形状に正しく比例して表示されるように、３Ｄデジタル画像データの形状にオブジェクトのビューの形状をリアルタイムで一致させることを含む。

幾つかの実施形態において、方法は、オブジェクトのビューに近い固定参照マーカにリアルタイムでアクセスすることをさらに含み、固定参照マーカにより、オブジェクトのビューの位置または方向が変化するときでも、オブジェクトのビューの一意な３次元方向および深度を提供するのに十分なデータが提供される。

方法の幾つかの実施形態において、融合技法を実施することは、固定参照マーカを利用することにより、デジタル画像データをオブジェクトのビューにリアルタイムで固着させることを含む。

添付図面は、一定比例尺に従って描かれていることを意図されない。種々の図面における同様の参照数字および指定は、同様の要素を示す。明確にするために、全てのコンポーネントが全ての図面においてラベル付け可能であるわけではない。

外科手術手技中に非常に有用であるとすることができるが、使用するのが非常に面倒である従来技術の機械の例を示す図である。

幾つかの実施形態による、幾つかの場合、ＡＲ要素を使用する、また、幾つかの場合、ＶＲを通した外科手術部位のリモート観察を容易にする、外科手術ナビゲーションを支援するためのシステムの高レベルブロック図である。

幾つかの実施形態による、例示的な外科手術ナビゲーションシステムの概略図である。

幾つかの実施形態による、ナビゲーションシステムがリモートロケーションに機能性を提供する態様の例のブロック図である。

幾つかの実施形態による、外科手術ナビゲーションシステムを利用する例の外科手術室の写真画像である。

種々の実施形態による、外科手術ナビゲーションシステムの一部であるＡＲスクリーンを使用しながら外科手術が実施される例の外科手術プラットフォームの図である。

幾つかの実施形態による、図６のＡＲスクリーンのより接近したビューの図である。

ＡＲ要素が表示されることも可能にしながら、スクリーンが、透明であるか、または透明の外観を提供可能である態様の例を示す図である。

種々の実施形態による、外科手術ナビゲーションシステム装置またはプラットフォーム等のオールインワン多機能装置の種々のモジュールを示す概略図である。

種々の実施形態による、外科手術ナビゲーションシステム装置またはプラットフォームの例の概略図である。

種々の実施形態による、さらなる特徴を有する外科手術ナビゲーションシステム装置またはプラットフォームの例の概略図である。

種々の実施形態による、さらなる特徴を有する外科手術ナビゲーションシステム装置またはプラットフォームの例の別の概略図である。

種々の実施形態による、使用事例を図示して外科手術ナビゲーションシステム装置またはプラットフォームの例を示す概略図である。

幾つかの実施形態による、専門家または非専門家がヘッドセットナビゲーションシステムを装着する例のシナリオを示す図である。

幾つかの実施形態による、ナビゲーションシステムの例のアプリケーションを示す図である。

幾つかの実施形態による、高レベルの外科手術ナビゲーションシステムソフトウェアのブロック図である。

種々の実施形態による、レジストレーションプロセスに対するハイブリッドアプローチである、外科手術ナビゲーションシステムソフトウェアのレジストレーションモジュールを示す図である。

種々の実施形態による、シーン内で剛体／固定マーカに基づいて拡張現実ナビゲーションを実現する外科手術ナビゲーションシステムソフトウェアの例のデータフローおよび作業、ならびに、システムが複数のホログラフィデバイスと同時に通信可能である態様を示す図である。

組み合わせアルゴリズムを使用して、ホログラフィ投影がリアルシーン上に重ね合わされる態様のデータフローおよび作業を示す図である。

種々の実施形態による、ホログラフィモードで可能にされる高度可視化機能の例のセットを示す図である。

種々の実施形態による、器具（マーカを有する）がナビゲーションに使用される態様のデータフローおよび作業を示す図である。

幾つかの実施形態による、本開示のナビゲーションシステムを使用してユーザが見ることができるものの例の図である。

幾つかの実施形態による、通常、視野内にある、頭蓋骨上に重ね合わされた画像データのセットのうちの１つのセットの不透明度の種々の程度の例を示す図である。

幾つかの実施形態による、複数のオーバーレイを提供するナビゲーションシステムの別の例を提供する図である。

ターゲット患者の近くの一定位置に配置可能である、非対称に配列された４つのマーカを有するデバイスを示す図である。

患者または手術テーブルの固定位置上に取り付け可能である、やはり４つのポイントを固定視覚的キューとして有する器具を示す図である。

以下の開示が、本開示の異なる特徴を実装するために、多くの異なる実施形態または例を提供することを理解されたい。コンポーネントおよび配置構成の特定の実施形態または例は、本開示を簡略化するために以下で説明される。これらは、もちろん、単に例であり、制限的であることを意図されない。例えば、要素の寸法は、開示される範囲または値に制限されるのではなく、プロセス条件および／またはデバイスの所望の特性に依存し得る。さらに、以下に続く説明における第２の特徴を覆うかまたはその上の第１の特徴の形成は、第１および第２の特徴が直接接触状態で形成される実施形態を含むことができ、第１および第２の特徴が直接接触状態でないように、さらなる特徴が、第１および第２の特徴に介在して形成可能である実施形態を含むこともできる。種々の特徴は、単純さおよび明確さのために、異なるスケールで任意に描かれることができる。

さらに、「の下に（ｂｅｎｅａｔｈ）」、「の下方に（ｂｅｌｏｗ）」、「下部の（ｌｏｗｅｒ）」、「の上方に（ａｂｏｖｅ）」、「上部の（ｕｐｐｅｒ）」および同様なもの等の空間的な相対語は、図に示すように、１つの要素または特徴の別の要素または特徴に対する関係を説明するために説明の容易さのために本明細書で使用可能である。空間的に相対的な用語は、図に示す方向に加えて、使用または作業時のデバイスの異なる方向を包含することを意図される。デバイスは、他の方向に（９０度回転してまたは他の方向に）方向付けることができ、本明細書で使用される空間的な相対関係の説明は、同様に、相応して解釈可能である。さらに、用語「で作られる（ｍａｄｅ ｏｆ）」は、「を備える（ｃｏｍｐｒｉｓｉｎｇ）」または「からなる（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」を意味することができる。

外科手術ナビゲーションを支援するための全体のハードウェアおよびソフトウェアシステムが開示される。システムは、リモートロケーションでの外科手術手技のＡＲ／ＶＲレンダリングを容易にするように構成され得る。システムには、１つまたは複数のハードウェアコンポーネントが含まれ、幾つかの実施形態において、それは、ヘッドセット等の装着可能デバイスの形で示される。他の実施形態において、それは、スマートパッドまたはラップトップ等のモバイルコンピュータに対するバーアタッチメントの形で示される。幾つかの実施形態において、ハードウェアは、１つの外科手術室から別の外科手術室へ容易に移動することができるポータブル外科手術ナビゲーションツールを含む。さらに、システムは、ハードウェアによって受信される入力データを変換または融合し、リモートロケーションのＡＲまたはＶＲ環境のために画像形成データを供給するように構成されるソフトウェアを含む。システムの種々のコンポーネントは、以下でより詳細に説明される。

システム概要

図２を参照すると、幾つかの実施形態による、幾つかの場合ではＡＲ要素を使用し、幾つかの場合ではＶＲを通した外科手術部位のリモート観察を容易にする、外科手術ナビゲーションを支援するためのシステムの高レベルブロック図が示される。ローカル側（例えば、手術が実施されているロケーション）で、本開示の態様は、位置情報を収集する位置カメラ（例えば、深度カメラ）および可視またはＩＲカメラを有するヘッドセット等のデータ取り込みハードウェアを含む。収集された位置および可視情報を使用して、オーバーレイマネジャーは、画像をローカルでレンダリング処理し、画像を手術上にオーバーレイさせることができる。他の場合、データ取り込みハードウェアは、位置カメラおよび可視カメラ等の複数のセンサを有する、モバイルコンピュータに対するアタッチメントを含むことができる。他の場合、データ取り込みハードウェアは、配備可能外科手術ナビゲーションシステムを含むことができる。

データ取り込みハードウェアおよびオーバーレイマネジャーは、レンダリングされた画像をクラウドにアップロードすることができる。リモートロケーションにおいて、レンダリングされたＡＲ画像は、リモートＶＲヘッドセットに送信可能である。リモートＶＲヘッドセットは、送信されたＡＲ画像を、３次元（３Ｄ）仮想現実空間にレンダリングすることができる。リモートに位置する外科医等のリモート専門家は、ＶＲディスプレイ空間と相互作用することができる。リモート外科医は、ＶＲ画像上で切開の程度および深さを指示することができる。リモート外科医によって提供され、指示された位置入力は、クラウドに送信され、医療学生やローカルデータ取り込みハードウェアを操作する技術者等のローカル非専門家に中継可能である。次いでローカルオーバーレイマネジャーは、非専門家が手技または手術においてＶＲ位置入力を使用できるように、レンダリングされたＡＲ画像にＶＲ位置入力を付加することができる。

本開示のナビゲーションシステムの用途の１つは、一般に、医療手技のコンテキストにおいてであるが、これらのデバイスおよび手技が、専門家がローカル非専門家からリモートである、または、その逆である任意の作業について利用可能であることが理解されるべきである。幾つかの実施形態において、作業は任意のリモート作業とすることができる。例えば、作業は、ローカル製造業者が、特定の幾何形状を有するデバイスを製造するために専門家の命令を必要とする場合がある製造作業とすることができる。幾つかの例において、作業は、装薬をどこにどのように配置するかに関する命令を受信するローカル非専門家による破壊または掘削作業とすることができる。幾つかの例において、作業は、ＡＲ受信機に送信される、正確で、精密で、リアルタイムの空間的なまたは他の命令から利益を得る場合がある任意の他の特殊作業とすることができる。

図３は、例示的な外科手術ナビゲーションシステムの概略図である。種々の実施形態によれば、例示的な外科手術ナビゲーションシステムは、外科手術ナビゲーションシステム装置またはプラットフォーム、コンピュータデバイス、ディスプレイユニット、リアルタイムリモートガイド式精密外科手術（ＲＴＲＧＰＳ：ｒｅａｌ ｔｉｍｅ ｒｅｍｏｔｅ ｇｕｉｄｅｄ ｐｒｅｃｉｓｉｏｎ ｓｕｒｇｅｒｙ）、および／または、クラウドコンピューティングネットワークを含むことができる。

外科手術ナビゲーションシステムは、外科手術ナビゲーション、拡大、蛍光可視化、およびその他の機能を実現する多機能ポータブルデバイス、つまりオールインワンデバイスを含む。

幾つかの実施形態において、外科手術ナビゲーションシステムの重量は、例えば１３０ｌｂｓ以下とすることができるが、その他のサイズまたは重量を、それぞれの個々の状況に基づいて企図することができる。製品は、必要である場合、病院の他のエリアに非常に容易に輸送可能な小さいカートの形態であるとすることができる。他の場合、製品は、バーアタッチメント等の、モバイルコンピュータに対するアタッチメントの形態であるとすることができる。他の場合、製品は、外科手術手技中にユーザが装着することができるヘッドセットの形態であるとすることができる。

以下は、種々の実施形態に従って、外科手術ナビゲーションシステム装置またはプラットフォームによって達成可能である機能の一部である。

デバイスは、種々の実施形態に従って、マーカの助けを借りてまたは顔検出を用いて、外科手術ナビゲーションを行うことが可能である。

デバイスは、種々の実施形態に従って、光学ズームレンズによって、最大２０倍外科手術ターゲットエリアの拡大を行うことが可能である。

デバイスは、種々の実施形態に従って、蛍光可視化を行うことが可能である。

デバイスは、例えば、共焦点顕微鏡およびラマン分光法等の高度機能性を装備することができる。

多機能性は、外科医（ユーザ）が、好都合にかつ複雑な位置の身体的ストレスなく、外科手術手技を実施することを可能にする。

拡張現実ベースオーバーレイは、外科医が患者を見て外科手術を実施することを可能にするので、外科手術のための時間を低減し、患者の転帰（アウトカム）を改善する。

デバイスは、種々の実施形態による、外科手術視野内で拡張現実オーバーレイのために使用されることになる透明ディスプレイを有することができる。

デバイスはまた、種々の実施形態に従って、器官の解剖学的構造の人工知能ベースのセグメント化（セグメンテーション）を使用することができ、それを外科手術ナビゲーションで用いることにより、手技の効率を上げることができる。

図４は、幾つかの実施形態による、ナビゲーションシステムがリモートロケーションに機能性を提供する態様の例のブロック図を示す。図４は種々のモジュールの例を含み、本開示のハードウェアおよびソフトウェアの特定のバージョンにおいて利用可能とすることができる別々の機能性の群を示す。利用可能なモジュールの種類のより包括的な説明は図９に関して以下で述べられる。

ここで、ナビゲーションデバイスは、種々の実施形態に従って、クラウドまたはＰＡＣＳシステムに接続される。

ユーザは、種々の実施形態に従って、サムドライブまたはＣＤあるいはさらにクラウドまたはＰＡＣＳシステムのような一般的なファイル記憶システムの任意のシステムを使用してスキャンをロードする。

スキャンがロードされると、ユーザは、種々の実施形態に従って、プラニングを開始すること、またはコレジストレーションを開始すること、またはスキャンが他のナビゲーションシステム上で存続できるように他の形態にエキスポートすることを選択することができる。

ユーザは、種々の実施形態に従って、ユーザが行おうとプランしている手技をプランするために、プラニングオプションを選択し、ポイント選択、ウィンドウイング、着色画像処理、およびＡＩのような全てのツールを使用することによってプラニングを開始することができる。

ユーザは、種々の実施形態に従って、プランを承認させるために、プランを、自身の同僚または専門家と共有することもできる。

ユーザが、ＡＲモジュールを最初に開始したいと思うと、ユーザは、種々の実施形態に従って、ポイントの初期セットが選択されるようにコレジストレーションモジュールを経ることができ、ＡＲモジュールを開始しボリュームにオーバーレイすることができる（図１６および関連説明を参照）。

ＡＲモジュールが開始されると、ユーザは、プラニング、コレジストレーション、または拡張のような全てのモジュールの間で切り換えることができる。

ＡＲモードにおいて、ユーザは、種々の実施形態に従って、提供されたオプションを使用して、ボリュームを患者上に０．１ｍｍの高い精度で位置合わせすることができる。

全てのセットアップが行われると、ユーザは、種々の実施形態に従って、プロシージャを継続するために、システムを使用し続けるかまたはＨｏｌｏＬｅｎｓもしくはＭａｇｉｃ ＬｅａｐのようなＡＲデバイスの任意のデバイスに接続することができる。

システムは、種々の実施形態に従って、ロケーション２のユーザがロケーション１の厳密なコピーを得ることができるようにＲＴＲＧＰＳシステムにも接続可能である。

ＲＴＲＧＰＳシステムとのこの接続を用いることよって、種々の実施形態に従って、アプリケーションの任意の部分と同期することができる。

図４に示すように、ＲＴＲＧＰＳソフトウェアモジュールは、例えば、ロケーション２において深度認識を有するロケーションシーンを再現するために、ロケーションシーン１からデータを取得し、このデータを、エッジコンピューティングプロトコル（ＭＱＴＴ）を通じて転送することができる。ＲＴＲＧＰＳ機能性を含む本開示のソフトウェアコンポーネントのさらなる説明は、以下でさらに述べられる。

ロケーション１は、外科手術ナビゲーションシステムまたは以下のモジュール／コンポーネントを最低限有する任意の他のシステムを有することができる：

ａ．モジュール１：ステレオカメラ；

ｂ．モジュール２：ホログラフィ投影；

ｃ．剛体／マーカ；

ｄ．マーカを有する外科器具。

ロケーション２は、外科手術ナビゲーションシステムまたは以下のモジュール／コンポーネントを最低限有する任意の他のシステムを有することができる：

ａ．モジュール１：ステレオカメラ；

ｂ．モジュール２：ホログラフィ投影；

ｃ．マーカを有する外科器具。

ロケーション１からのデータは、ＲＴＲＧＰＳソフトウェアを介してエッジコンピューティングプロトコル（ＭＱＴＴ）で転送される。

データは最低限以下のものを含むが、それらに限定される訳ではない。

ａ．ロケーション１システム方向（オリエンテーション）、並進情報であってモジュール１によって取り込まれるもの。
これは、モジュール１が剛体／マーカを識別すると、ＲＴＲＧＰＳソフトウェアによって取り出される。

ｂ．モジュール１によって見られるとおりのロケーション１ビデオストリーム。

ｃ．ロケーション１：方向、並進情報であってモジュール２が剛体／マーカを識別するときにモジュール２によって取り込まれるもの。

ｄ．方向、変換情報であってマーカを有する外科器具がロケーション１シーンに入るときにモジュール１またはモジュール２によって取り込まれるもの。

ｅ．ロケーション１シーンは、ユーザがタスクを実施しようとしているエリアである。

このデータは、その後、ＲＴＲＧＰＳソフトウェアを介してエッジコンピューティングプロトコル（ＭＱＴＴ）でロケーション２に転送される。

ロケーション２において、このデータをＲＴＲＧＰＳソフトウェアはモジュール１およびモジュール２にロードし、モジュール２ホログラフィ投影をロケーション２のユーザに対してリアルな真の深度認識を提供するリアルライブ供給物と組み合わせて使用することにより、ロケーション１からのシーンを全深度認識付きで再現する。

任意の外科手術プラニングソフトウェアまたは外科手術ナビゲーションシステムソフトウェアは、外科手術プランに関連する全てのデータを提供する。外科手術プランは、患者スキャンおよび軌跡詳細（trajectory details）を含むが、それに限定されない。

このシナリオを継続することにより、２つのロケーションが同期される。同期は、５Ｇ速度に関して０レイテンシーであり、システム全体は、５Ｇ速度において６０ｆｐｓより速いレンダリング速度を有することができる。

幾つかのシナリオにおいて、ロケーション１のユーザは、例えば、シミュレーションで、ロケーション２のユーザをガイドしている。

幾つかのシナリオにおいて、ロケーション２のユーザは、例えば、予見（prevision）付きのリモートガイダンス状況で、ロケーション１のユーザをガイドしている。

ロケーション１において：マーカを有する外科器具は、ロケーション１でのタスクを実行するためにユーザによって使用される。

各マーカ／剛体は、一意なマーカとすることができる。マーカ付きの外科器具さえも一意でなければならない。同じタイプの２つのマーカが、単一ロケーションに存在してはならない。一意性は、互いに一意な距離に配置された４つのポイントの組み合わせを有することで得られる。

ＲＴＲＧＰＳは、両方のロケーションから、連続的にデータを送信し、データを受信しており、同時にそれらを同期させている。

幾つかのシナリオにおいて、外科器具は、空間内のポイントＰ（ｐ１、ｐ２、ｐ３）で交差する。

空間は、ロケーション１またはロケーション２内のシーンである。このポイント座標は、モジュール１およびモジュール２によって精密に獲得される。同じポイントが他のロケーションではガイダンスのためにバーチャルでハイライトされる。精度は、空間内でポイント座標を識別する際のモジュール２の精度と同程度である。

幾つかのシナリオにおいて、３つ以上のロケーションが存在する可能性がある。ＲＴＲＧＰＳソフトウェを通して接続可能なロケーションの数に対する制限は存在しない。

ロケーション１マーカ：マーカまたは剛体は、モジュール１およびモジュール２にとって常に見ることができなければならない。

幾つかのシナリオにおいて、ロケーション１での変化しないシーンの一意な特徴（フィーチャー）および輪郭も、剛体／マーカとして使用可能である。

可視化を利用できないロボティクスシステムでは、マーカを有する外科手術ナビゲーションシステムは、患者の内側でのロボティックアームの動作を可視化するのにも使用できる。これにより、ロボティクスシステムに追加の３Ｄ深度可視化が付加される。

研修生または医療学生のチームは、外科手術の際にロケーション１の外科医の、またはロケーション１の外科医をガイドしているロケーション２の外科医のガイダンスの下で、外科手術手技中に外科手術アプローチとニュアンスをリアルタイムで学ぶことができる。

ロケーション１およびロケーション２は、ＲＴＲＧＰＳシステムによって、事前にセグメント化／ラベル付け／マーク付けされている必要はない。システムは、ホログラフィ深度投影および１シーン内のマーカを使用して、両方のロケーションでのリアルタイム深度シーンレンダリングおよび精密なガイダンスを可能にする。

これを用いてユーザは、本明細書で開示する種々の実施形態に従って、プラニングまたは外科手術で協働したり、或は、外科手術の教育やガイドを行うことができる。

固定マーカがシステムのビュー内に存在する限り、本明細書で開示する種々の実施形態に従って、ＡＲ追跡が可能である。

器具のうちの任意のものが使用される場合、本明細書で開示する種々の実施形態に従って、器具マーカを用いることにより、追跡後の器具を追跡可能である。

図５、６、７、および８は、本開示の外科手術ナビゲーションシステムが外科手術手技のコンテキストにおいて使用可能である態様の種々の例のシナリオを示す。図５は、外科手術室の一例の写真画像である。ナビゲーションシステムハードウェアは、従来のナビゲーションおよび顕微鏡機械と比較してより容易に異なる部屋に配備可能であることができるカートの形態をとる（図１を参照）。図６は、種々の実施形態による、外科手術が実施される外科手術プラットフォームの一例の図である。ここで、本開示のハードウェアは、外科医と患者との間に介在するスクリーンを含む。スクリーンによって、ＡＲ要素を患者のビュー上に付加することが可能になる。図７は、幾つかの実施形態による、ＡＲスクリーンのより接近したビューの図である。図８は、ＡＲ要素が表示されることを可能にしつつも、スクリーンが透明であるか、または透明の外観を提供可能である態様の例を提示する。

ナビゲーションシステムのコンポーネント例のより具体的な詳細が、ここで提供される。この説明は、本明細書で説明する全体システムを確立する種々のハードウェアの例およびソフトウェアコンポーネントに的を絞る。

全体的なハードウェア説明

幾つかの実施形態において、本開示のハードウェアは、外科手術ナビゲーション、拡大、蛍光可視化、その他様々なものを実現する多機能ポータブルデバイス、つまりオールインワンデバイスを含む。

本明細書で開示する技術および方法は、例えば図９に示すように、外科手術ナビゲーション、外科手術顕微鏡、ルーペ、蛍光可視化、事前手術プラニングおよび／またはシミュレーションを含むが、それに限定されない複数の機能を実現可能な多機能ポータブルオールインワンデバイスに関する。

図９は、種々の実施形態による、外科手術ナビゲーションシステム装置またはプラットフォーム等のオールインワン多機能装置の種々のモジュールを示す概略図である。図９に示すように、外科手術ナビゲーションシステム装置またはプラットフォームは、最大６個のモジュール１～６を含むことができる。種々の実施形態において、モジュール１は、ナビゲーション機能性を実現するように構成されるステレオカメラを含むことができる。種々の実施形態において、モジュール２は、限定はしないが、Ｍｉｃｒｏｓｏｆｔ Ｈｏｌｏｌｅｎｓ、Ｍａｇｉｃ Ｌｅａｐ等のようなホログラフィ投影システムを含むことができる。種々の実施形態において、モジュール３は、カメラ、光学レンズ、および／またはＬＥＤ光を含み、外科手術顕微鏡として機能する、かつ／または、例えば非常な細部を見るために拡大するルーペ機能を提供するように構成可能である。種々の実施形態において、モジュール４は、赤外線（ＩＲ）フィルタ付きのカメラを含むことができ、蛍光可視化のために構成される。

種々の実施形態において、モジュール５は、共焦点顕微鏡のため、または共焦点顕微鏡検査のために構成可能である。種々の実施形態において、モジュール６は、ラマン分光器を含むか、またはラマン分光法のために構成することができる。

バーアタッチメントハードウェア

種々の実施形態において、図９に示すような外科手術ナビゲーションシステム装置またはプラットフォームのモジュールを組み合わせて、単一デバイス内のミニマルの水平バーフォームファクタに収めることにより、上記で論じたような種々の高度機能性の達成を助けることができる。種々の実施形態において、外科手術ナビゲーションシステム装置またはプラットフォームの種々のモジュールは、単一のラップトップ／デスクトップ／タブレット／高性能システムから給電可能である。種々の実施形態において、外科手術ナビゲーションシステム装置またはプラットフォームをフルカスタマイズ可能にして、全部のハードウェアモジュールを含めることができる。種々の実施形態において、外科手術ナビゲーションシステム装置またはプラットフォームには、ユーザ要件に応じて、一部のハードウェアモジュールだけを含めることができる。バーアタッチメントの形態の外科手術ナビゲーションシステム装置またはプラットフォームは、その立体形状故に人間工学的に優れており、かつデザインが非常に美的であり、ディスプレイまたはタブレット／ラップトップにラッチして／取り付けて機能させることができる。外科手術ナビゲーションシステム装置またはプラットフォームの独特なデザインは、外科手術視野内で全く制限なしに外科医が手術することを可能にし、外科手術視野内での器具の自由な動きを可能にする。

図１０は、種々の実施形態による、外科手術ナビゲーションシステム装置またはプラットフォームの一例の概略図である。図１０に示すように、バーアタッチメントは、ラップトップまたはタブレットの上部に接続することができる。このバーアタッチメントフォームファクタの外科手術ナビゲーションシステム装置またはプラットフォームは、モジュール１、３、および４を含む。種々の実施形態において、外科手術ナビゲーションシステム装置またはプラットフォームは、ディスプレイまたはラップトップまたはタブレットの任意の側に取り付けられるが、人間工学的に、ディスプレイ、ラップトップ、またはタブレットの上部は、取り付けたり、ラッチしたりするのにより直感的な場所であり得る。

図１１は、種々の実施形態による、外科手術ナビゲーションシステム装置またはプラットフォームの一例の概略図である。図１１に示すように、この例におけるバーアタッチメントの形態の外科手術ナビゲーションシステム装置またはプラットフォームは、例えば限定はしないがラップトップ、タブレット、またはディスプレイデバイスに取り付けられたモジュール１、例えば、ステレオカメラを含む。

図１２は、種々の実施形態による、外科手術ナビゲーションシステム装置またはプラットフォームの一例の概略図である。図１２に示すように、ナビゲーションシステムは、手術の様々なビューを示すラップトップを含むことができる。図１２に示すように、バーアタッチメント部分は、例えば限定はしないがラップトップもしくはタブレットに取り付けたり、またはラッチすることができる。

図１３は、種々の実施形態による、外科手術ナビゲーションシステム装置またはプラットフォームの一例の概略図である。図１３に示すように、バーアタッチメントの形態の外科手術ナビゲーションシステム装置またはプラットフォームは、ディスプレイユニット、例えば、透明ディスプレイまたは不透明ディスプレイを含むことができ、手術の種々のビューを示す。図１３に示すように、外科手術ナビゲーションシステム装置またはプラットフォームは、ディスプレイユニットに取り付け、またはラッチ可能である。

種々の実施形態において、外科手術ナビゲーションシステム装置またはプラットフォームは、種々のハードウェアモジュールを、ＵＳＢまたは他の通信ポートを通して、図１０、１１、および１２に示すようなコンピューティングデバイスに接続するように構成可能である。上記で述べたように、コンピューティングデバイスは、例えば限定はしないが、ラップトップ、タブレット、デスクトップ、または高性能コンピュータシステムとすることができる。代替的に、バーアタッチメントは、図１３に示すように、表示のみのシステム（ｄｉｓｐｌａｙ ｏｎｌｙ ｓｙｓｔｅｍ）に取り付けられることもできる。種々の実施形態において、ディスプレイと、外科手術ナビゲーションシステム装置またはプラットフォームは、高性能コンピュータシステムに接続される。

ヘッドセットハードウェア

幾つかの実施形態において、外科手術ナビゲーションシステム装置またはプラットフォームは、手術室において装着可能なヘッドセットの形で示すことができる。リモート専門家によるローカル非専門家のリモート命令を容易にするのを助けるために、幾つかの実施形態によるヘッドセットナビゲーションシステムは、空間データと、可視または近ＩＲデータとを収集するように構成可能である。データを収集するために、１つまたは複数のカメラを、ヘッドセットに取り付けることができる。ヘッドセットは、視野内にＡＲ要素を表示するように構成可能である。カメラは、リモート非専門家が向いている方向で位置データと可視または近ＩＲデータとを収集するように方向付けることができる。

図１４は、幾つかの実施形態による、専門家または非専門家がヘッドセットナビゲーションシステムを装着する一例のシナリオを示す。ヘッドセット装着者は、ヘッドセットを通して表示されるとおりに視野内のＡＲ要素も見ながら、手術テーブル上の患者を見ることができる。幾つかの実施形態において、カメラセンサの方向に基づいて、ヘッドセットによって取り込まれる画像データはユーザが見るものを反映可能である。これらの画像データは、例えばクラウドを通してリモートロケーションに送信され、ＯＲ内で見られているもののＶＲ描出を、リモートロケーションの他のユーザに表示するために使用可能である。

図１５は、幾つかの実施形態による、ナビゲーションシステムのアプリケーション例を示す。左の例のシナリオは、ヘッドセットの形態のナビゲーションシステムを装着しながら、患者の世話をする専門家を示す。専門家は、患者を見るが、他の要素を見ることもできる。右に示されるのは、ＡＲ要素も含む、ヘッドセットを通しての専門家の一人称ビューの例である。ここで、患者の脳のおおよその位置は、脳があると測定された、患者の他の参照ポイントとの相対的な位置で、患者上にオーバーレイされる。患者の脳のオーバーレイを３Ｄレンダリングすることができ、それにより、ヘッドセットを装着する専門家は患者の周りを歩き回ることができ、患者に対するヘッドセットの方向に従って脳の角度が様々にリアルタイムで変化することになる。このオーバーレイを達成するための実装態様例は、以下でさらに説明されるであろう。

幾つかの実施形態において、患者の画像データと、Ｘ線またはＭＲＩ等の他の形態での患者の１つまたは複数のスキャンとは全て、リモートロケーションに送信可能である。リモートロケーションのユーザは、ヘッドセットまたはバーアタッチメントの形態の本開示によるナビゲーションシステムを利用し、患者に対して精密に配置することで、患者の上部で１つまたは複数のスキャンのオーバーレイを見ることができる。これにより、リモートユーザが、リモートロケーションからであっても、患者をどのように処置するかに関してよりよい決定を行うことが可能になる。

ＡＲヘッドセットに取り付けられたカメラは、任意のタイプの位置および／または可視もしくは近ＩＲデータ検知カメラとすることができる。例えば、既存のカメラがＡＲヘッドセットに接続可能である。幾つかの実施形態において、位置カメラは、位置および深度データを収集することができる任意のタイプのカメラとすることができる。例えば、位置カメラは、ＬＩＤＡＲセンサまたは任意の他のタイプの位置カメラとすることができる。

幾つかの実施形態において、可視または近ＩＲカメラは任意のタイプの可視カメラとすることができる。例えば、可視または近ＩＲカメラは標準的な可視カメラとすることができ、１つまたは複数のフィルタを、近ＩＲ情報を収集するために可視カメラ上に配置することができる。幾つかの例において、カメラは、ＩＲデータを特に収集するように構成可能である。

幾つかの実施形態において、ＡＲヘッドセットにカメラを付加することは、ＡＲヘッドセットにさらなる重量を付加する場合がある。ＡＲヘッドセットに重量を付加することは、ユーザの快適さを減ずる場合がある。例えば、さらなる重量はユーザの首の疲労を増加させる場合がある。さらに、重量の増加により、ユーザの頭部上でのＡＲヘッドセットの安定性が減じることによって、ヘッドセットがスリップし、収集されたデータの品質を低下させることがある。

幾つかの実施形態において、単一カメラまたは各カメラ用のカメラハウジングはヘッドセットに組み込まれ、位置データと可視または近ＩＲデータとを収集するために使用可能である。ヘッドセットは、単一レンズを通してデータを収集する、同じハウジング内の２つのカメラを含むことができる。これにより、ＡＲヘッドセットの重量を減らすことができる。ＡＲヘッドセットの重量を減らすことは、ユーザの快適さを改善し、ユーザの頭部上のＡＲヘッドセットがスリップすることを減らすのに役立つことができる。

種々の実施形態において、バーアタッチメントまたはヘッドセットまたは他の変形の形態の外科手術ナビゲーションシステム装置またはプラットフォームは、可搬性を極めて、例えば、小さな介入が非手術室のセッティングでユーザにより実施されるようにモジュール１（または、モジュール１のみ、図９を参照）を含むことができる。この構成は、ユーザ、例えば、外科医にナビゲーション機能性を提供する。種々の実施形態によれば、外科手術ナビゲーションシステム装置またはプラットフォームは、ナビゲーション機能のみを実施するように構成される。

医療介入の種々の場合に、ホログラフィ投影を提供するためにモジュール２（図９を参照）も外科手術ナビゲーションシステム装置またはプラットフォームに含めることができる。種々の実施形態において、ユーザまたは外科医は、ナビゲーション機能のために拡張現実オーバーレイを使用することができる。

例えば、ユーザが手術室にいて、外科手術を効果的に実施するために複数の機能のほとんどを要求する場合には、外科手術ナビゲーションシステム装置またはプラットフォームが全部のモジュール１～６を含むように構成可能である。

全部のまたは一部のモジュールのコンポーネントは、小型フォームファクタ化して可搬であるように製造された従来品を用いるものが入手できるが、これらのコンポーネントを直感的なフォームファクタになるように組み合わせ、これらの高度機能性を１つのデバイスで達成させることが可能である。例えば、バーアタッチメントは、単一ラップトップ／デスクトップ／タブレット／高性能システムから給電可能である。バーは、その形状故に人間工学的に優れており、かつデザインが非常に美的であり、ＡＲ頭部搭載式ディスプレイにラッチして／取り付けて機能させることができる。説明した実施形態でのモジュールの配置は、外科手術視野内で全く制限なしに外科医が手術することを可能にし、外科手術視野内での器具の自由な動きを可能にする。

画像収集およびレンダリングのためのソフトウェア

外科手術ナビゲーションシステムの一部として、幾つかの実施形態によれば、開示されたプラニングおよび処理ソフトウェアが、受信したステレオカメラデータ等のハードウェア入力データを、複数のデータセットを一緒にオーバーレイするより有用な視覚表示に変換するソリューションを提供する。さらに、本明細書で説明するソフトウェアは、手術室内のローカルビューへのリモート接続を可能にする。

幾つかの実施形態において、外科手術ナビゲーションシステムソフトウェアはプラニングソフトウェアを含む。任意の手技に先立って、プランが必要とされる。このプランは、手技を実施する外科医によって生成され承認される。プラニングソフトウェアは、患者の３Ｄスキャン（例えば、磁気共鳴（ＭＲ：ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｓｅ）およびコンピュータ断層撮影（ＣＴ：ｃｏｍｐｕｔｅｒｉｚｅｄ ｔｏｍｏｇｒａｐｈｙ））および／または２Ｄスキャン（例えば、Ｘ線および超音波）をしばしば必要とする。

全てのＭＲおよびＣＴスキャンは、一例として、国際的に認められたフォーマットである、医療におけるデジタル画像および通信（ＤＩＣＯＭ：Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）フォーマットで提供可能である。

幾つかの事例におけるソフトウェアは、ローカルシステム（例えば、ラップトップ、デスクトップ、タブレット）上でまたはクラウド上で利用可能とすることができる。

ソフトウェアは、医療画像を記憶するＰＡＣＳ（Ｐｉｃｔｕｒｅ ａｎｄ Ａｒｃｈｉｖｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ、画像保存通信システム）に接続可能である。ソフトウェアは、ＰＡＣＳシステムに問い合わせを行い、患者３Ｄ画像をダウンロードすることができる。

ユーザは、ここで、ナビゲーションシステムの一部であってよいデバイス（例えば、ラップトップ、デスクトップ、タブレット）上で３Ｄスキャンを観察するオプションを有する。ユーザは、例えば、ウィンドウイング、ズーム、パン、スクロール、ライン、ポイント選択等の、ＤＩＣＯＭ画像を操作する標準的な画像処理ツールにアクセスすることができる。

ユーザがターゲットおよびエントリポイントを選択して軌跡を作成することにより、手技を支援するチームによる軌跡の検討ができる。

さらに、幾つかの実施形態において、ソフトウェアは、手術室内で患者のリアルタイム撮像データを処理し、３Ｄおよび／または２Ｄ画像を患者のリアルタイム画像データと組み合わせ、且つ３Ｄおよび２Ｄ画像を患者の身体の適切なロケーションコンテキスト内で示されるべき場所に精密にオーバーレイさせることができる。

このプランは、ＨＩＰＡＡ適合データベースに保存可能であり、ＨＩＰＡＡ適合データベースは、デバイス上でローカルであるとしたり、或いは、ＨＩＰＡＡ適合クラウド上に保存したりすることができる。

プランは、ローカルデバイスからリムーバル記憶媒体にエキスポートして他の外科手術ナビゲーションプラニングステーションで使用できるようにしたり、或いは、他の外科手術ナビゲーションプラニングステーション上のクラウドから直接アクセスしたりすることができる。データベースに保存されたプランは、それをユーザによって保存されたとおりに再ロードするのに必要な全てのデータを有するので、手術室内で同じタスクを反復するのにかかる時間が節約される。

開示される外科手術ナビゲーションシステムソフトウェアは、医療画像処理のための幾つかの高度機能を有しており、ユーザ／外科医が精緻かつより迅速にプラニングするのを助ける。

図１６は、幾つかの実施形態による、高レベルの外科手術ナビゲーションシステムソフトウェアのブロック図を示す。図１６は、ソフトウェアシステム内のデータが、本明細書で開示される種々の実施形態に従って、システムの異なるモジュール間でどのように流れるかを示す。

図１６を参照すると、幾つかの実施形態において、ソフトウェアは、その処理アルゴリズムの一部としてレジストレーションプロセスを実施する。レジストレーションは、同じ患者の２つのスキャンが、同じ座標系を有する（融合）ように重ね合わされ、それにより、２つのスキャンの特徴（フィーチャー）が重ね合わされるよう、プロセスを記述するのに用いることができる。例えばＴ１ ＭＲＩ、Ｔ２ ＭＲＩ、ＤＷＩ ＭＲＩ、ＣＴ ＰＬＡＩＮ、ＣＴ ＣＯＮＴＲＡＳＴ、ＦＭＲＩ、ＤＴＩ ＭＲＩ等のように、スキャン毎に取得プロトコルが異なり得るため、取得されるスキャンは多数存在する。コレジストレーションは、患者に対する１つ、２つ、または３つ以上の共通参照ポイントにおいて連係（コーディネーション）されるように複数のデータセットを連係させることであると言える。ソフトウェアは、外科手術手技をどのように実施するかのプランと組み合わせて、患者上の外科手術部位のコンテキストでコレジストレーション済みデータの種々のセットを配置することができる。次いでソフトウェアが主にこのエリアに処理を向けるため、ユーザは、外科医またはナビゲーションシステムハードウェアの他のユーザに利用可能なＡＲディスプレイを通して、外科手術部位に関連する種々のコレジストレーション済みデータセットを見ることができる。剛体マーカおよび／または硬質外科器具マーカは、コレジストレーションプロセス中に種々のデータセットを客観的に方向付けるのに使用できるので、リアルタイムＡＲディスプレイを実施する間、信頼し続けることができる。

図１７は、種々の実施形態による外科手術ナビゲーションシステムソフトウェアのレジストレーションモジュールを示し、これはレジストレーションプロセスのためのハイブリッドアプローチである。ここで、ソフトウェアは、記録された２Ｄまたは３Ｄ画像から固定画像にアクセスし、それらを、ナビゲーションシステムハードウェアを通して観察されるリアルタイムデータ等の可動画像と組み合わせることができる。ソフトウェアの用語では、融合される２つの患者スキャンが存在する場合、一方のスキャンが固定スキャンと呼ばれ、他のスキャンは可動スキャンであるのが一般的ある。可動スキャンは、典型的には、固定スキャンと融合されるように、アルゴリズムで導出される回転および並進（または共に変換とも呼ばれる）の適用対象となるスキャンである。

特徴抽出が両方の画像で実施可能されることにより、旋回基部となる（to pivotoff of）主要な特徴が識別される。変換は、高忠実度および低忠実度共に、画像を共通データセットに変換するのに実施される。次いでソフトウェアは可動画像に対して微細変換を適用し、画像は最も近いことが知られている固定画像によりよく調整（キャリブレーション）される。可動画像のリサンプリングは、固定画像とのベストマッチを見出すために実施される。リサンプリングされた画像はロードされ、固定画像と比較され、次いで、固定画像とブレンドされる。幾つかの実施形態に従って、所望により、ブレンドされた画像のうちの１つの画像の他の画像に対する不透明度を変更することができる。

レジストレーションプロセスのために使用されるアルゴリズムは、例えば、外科手術ナビゲーションシステムによって使用されるカスタムハイブリッドアルゴリズムとすることができる。例えば、２ステッププロセスにおいて、第１のステップは、２つのスキャンが同じ座標系に近づけるようにできる粗いレジストレーション法である。しかし、特定の状況において、この方法の出力は、このステップが特徴の小さいセットに対して実行され、粗い推定を行わなければならないだけであるので、要する時間は少ないが、この方法では先に進むための精密な結果は得られない。

第２のステップは、微調整レジストレーション法であり、できる限り近づくように２つのスキャンを微調整することにより、２つのスキャンが同じ座標系を共有し、特徴を重ね合わせることが可能になる。このステップは、２つのスキャン間でマッチしなければならない特徴の大きいセットを用いて実行される。

典型的なレジストレーションプロセスは３～４分かかるのに対し、本明細書で論じるレジストレーションプロセスは、種々の実施形態によれば、要する時間が平均計算で最大６０％も低減する。

リアライメント：幾つかのシナリオにおいて、前述の方向で取得されたスキャンを、ユーザは別の好ましい方向に再整列させたいと思う。３Ｄ世界において、方向は、世界が認識される方法を変化させる。最も先進的なユーザでさえも、異なるアライメントから同じ器官／シーンを見ると、混乱する傾向がある。リアライメントは、平面の概念を用いて行われる。ユーザが提供する参照平面を使用することにより、３Ｄスキャンの再整列（リアライメント）が行われる。平面は、最小限の３つのポイントを用いて規定可能である。

外科手術ナビゲーションシステムリアライメントでは、２つのポイントをユーザから求めることができる。第３のポイントは、選択された２つのポイントの中間ポイントをｚ軸方向に０．１ｍｍ増分させたものとして、ソフトウェアにより自動的に選択可能である。ポイント１が、座標ｐ１、ｐ２、ｐ３によって参照され、ポイント２が、座標ａ１、ａ２、ａ３によって参照される場合、平面を形成するための第３のポイントは、（（ｐ１＋ａ１）／２、（ｐ２＋ａ２）／２、（ｐ３＋ａ３）／２＋０．１ ｍｍ）の計算を行うことによって自動的に選択可能である。このアプローチにより、平面が非常に精密に得られる。

拡張現実オーバーレイを効果的に生成するために、コレジストレーションを用いて、ホログラムをリアルシーン上に重ね合わせることがしばしば行われる。図１８は、種々の実施形態による、シーン中の剛体／固定マーカに基づいて拡張現実ナビゲーションを実現する外科手術ナビゲーションシステムソフトウェアのデータフローおよび作業の一例、ならびに、システムが複数のホログラフィデバイスと同時に通信可能である態様を示す。

コレジストレーションは、ポイントの２つのセットを入力としてとることができ、ポイントの第１のセットはスキャン上で選択されたポイントを含み、第２のセットは、拡張モジュールの助けを借りて選択されるリアル世界のポイントを含む。

ポイントが選択された後、システムは、３Ｄボリュームを０．１ｍｍに近い高精度でオーバーレイする２つのステップをとることができる。

第１のステップではポイントがゆるく選択されるため、システムは、種々の実施形態に従って、ポイントの２つのセットを用いて粗い推定を行うことによって、３Ｄボリュームをできる限り近づける。

精緻化（ｒｅｆｉｎｅｍｅｎｔ）ステップと呼ぶことができる第２のステップで、システムは、種々の実施形態に従って、拡張モジュールからの３Ｄポイントクラウド生成と、スキャンからの３Ｄポイントクラウド生成を行い、これを用いてコレジストレーションを精緻化することにより、オーバーレイの高い精度を得る。

ユーザが拡張オーバーレイを制御するために与えられる種々のオプションが存在する。これらのオプションは、例えば、不透明度、サイズのクリッピング、着色、ウィンドウイング、レジストレーションの精緻化、ＡＲモードを含む。図２１は、種々の実施形態に従って、器具（マーカを有する）がナビゲーションに使用される態様のデータフローおよび作業を示す。

ホログラフィモードでは、スキャンを用いてより詳細な３Ｄボリュームを作成することにより、スキャンの異なる部分を強調し、それらを異なるように着色することができる。これにより、種々の実施形態に従って、一部のユーザが解剖学的構造の異なる部分をより明瞭に可視化するのを助けることができる。

プランが作成され、３Ｄボリュームが精密にオーバーレイされると、システムは、種々の実施形態に従って、プランを自動的にロードし、３Ｄボリュームと共にそれもオーバーレイすることができる。

これが行われる間、固定３Ｄマーカが視野内に留まるのが通常であり、システムは、種々の実施形態に従って、固定マーカに対するオーバーレイの相対的な方向を用いて、オーバーレイを固定マーカのサブシステムにすることができる。

するとユーザは、種々の実施形態に従って、固定マーカに対するホログラフィオーバーレイの方向をシステムが更新している間に、固定マーカの周りを動き回ることができる。固定マーカの例は、図２５および２６に示され、後述する。

ユーザは、観察と手技の実施によい位置を選択すると、種々の実施形態に従って、ユーザが使用したいと思う器具に器具追跡マーカを固定することができる。これらの固定マーカは、例えば、図２５または２６に示すマーカと同様とすることができる。

システムは、器具をリアルタイムで追跡することができ、ホログラフィオーバーレイを相応して更新することができる。図２１を参照。

このようにして、ユーザは、種々の実施形態に従って、患者の内側でのユーザの位置決めをより明瞭に見ることができる。

任意の時点で、ホログラフィオーバーレイが正しく整列しなくなる場合、ユーザが補正を始動させると、システムは問題を迅速に解決し、精度をほぼ０．１ｍｍに戻す。

図１９は、組み合わせアルゴリズムを使用してホログラフィ投影がリアルシーン上に重ね合わされる態様のデータフローおよび作業を示す。例えば、ＣＰＤ（：Ｃｏｒｒｅｌａｔｉｎｇ ｐｏｉｎｔ ｄｒｉｆｔ ａｌｇｏｒｉｔｈｍ、コリレーティングポイントドリフトアルゴリズム）およびＩＣＰ（：Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ ａｌｇｏｒｉｔｈｍ、反復最接近点アルゴリズム）が、種々の実施形態に従って利用可能である。

図２０は、種々の実施形態による、ホログラフィモードで可能にされる高度可視化機能セットの例を示す。本開示のソフトウェアは、これらの種々のセッティングに従って、ＡＲ環境内のセッティングも調整するように構成可能である。

ユーザはここで、ＨｏｌｏＬｅｎｓまたはＭａｇｉｃ Ｌｅａｐ（図１８）のような、任意の数の他のＡＲデバイスを接続し、且つ固定マーカを参照として使用することにより、利用可能なＡＲオーバーレイを有意の補助として用いて手技を継続することができる。

図２２は、幾つかの実施形態に従って、本開示のナビゲーションシステムを使用してユーザが見ることができるものの例を提示する。ここでテーブル上に、外科医等のユーザが普通に見ることができる頭蓋骨が示されている。次いで、ナビゲーションシステムハードウェアを使用し、バーアタッチメント付きディスプレイを通して、またはナビゲーションシステムヘッドセットを通して、ユーザは、前もって記録された画像データを用いることにより、頭蓋骨の内側に存在していた可能性があるもののスライスのオーバーレイされた画像を見ることができる。ここで、データは、磁気共鳴撮像を通して得られたであろう脳および内部通路（internal passageways）の断面を含む。さらに、本開示のナビゲーションシステムによれば、さらにより多くの撮像データセットを同時に一緒にオーバーレイすることが可能である。例えば、頭蓋骨のＸ線データをＭＲデータと共に重ね合わせることもできる。ユーザが従来のように頭部の異なるビューを、並んだこれらの３つの異なるビューで見るのではなく、本開示のナビゲーションシステムによれば、ビューが存在するだろう場所で精密に互いに重ね合わせることによって、全てのビューがスムーズに関連している様をユーザが理解することが可能になる。

図２３は、幾つかの実施形態による、通常は視野内にある頭蓋骨上に重ね合わされた画像データセットのうちの１セットの不透明度の種々の程度の例を示す。図示するように、１セットのビューの透明度は、本開示のソフトウェアを使用して、所望に応じて増減可能である。

図２４は、幾つかの実施形態による、複数のオーバーレイを提供するナビゲーションシステムの別の例を提供する。この例において、患者は手術室内にいて持ち上げられている。患者の頭部は、左に示すように、支持体上に載っている。患者の残りの部分は隠されている。本開示のナビゲーションシステムを使用する外科医は、左に示すように、患者の頭蓋骨の撮像データを患者の頭部のライブビュー上に重ね合わせて用いることができる。さらに、外科医は、右に示すように、患者の脳の断面の撮像データの一部分だけを同じビュー上に重ね合わすこともできる。指定された脳内物質のロケーションは、それが患者の頭部の内部に存在する場所のロケーションに精密に配置されるため、外科医は、患者の頭蓋骨の位置が、患者の脳の所望の部分にどのように関連しているかを理解することができる。上記ソフトウェアの節で論じたように、これら種々のコレジストレーション済みデータセットは、ＭＲＩおよびＸ線スキャンからのようにまず固定撮像技法から得ることができる。スキャンが２Ｄスライスで得られる場合でも、種々の３Ｄソフトウェア画像形成技法を先立って実施することで、２Ｄ画像データの３Ｄレンダリングを生成することができる。すると、画像データの３Ｄレンダリングを患者の通常ビューに対して正しい位置で重ね合わることができるので、外科医が患者の周りを動き回って異なる角度からデータセットの全てを観察することが可能になる。

図２５および２６は、幾つかの実施形態による、画像データの複数のセットが患者上に重ね合わされることを可能にするための、ユニバーサル参照ポイントを提供する固定マーカ例を提示する。図２５では、ターゲット患者の近くの一定位置に配置可能な、非対称に並べられた４つのマーカを有するデバイスが示される。ソフトウェアは、視覚的キューとしてこれらの４つのポイントを探し、画像データの他のセットでこれらの同じ４つのポイントを再び参照することによって、画像を正しく方向付けることができる。別の例として、図２６では、患者または手術テーブルの固定位置に取り付け可能な固定視覚的キューとしてやはり４つのポイントを有する器具が示される。これらは、ＡＲ画像が配置されるべき場所を較正（キャリブレーション）するために、ナビゲーションソフトウェアによって参照される。

幾つかの実施形態において、本開示のナビゲーションソフトウェアは、画像データ内および／またはユーザ、例えば外科医のリアルタイムビュー内の一意な特徴によって、固定参照ポイントを見出すことができる。例えば、ナビゲーションソフトウェアは、患者の眼または眼窩を、患者の頭蓋骨に対する参照ポイントとして識別してよい。これらの種類のキューは、患者の一部が隠されていて、人工的に配置された参照マーカのビューを維持することが常に保証となる訳ではない場合に有用であり得る。同様に、患者上の、または患者の近くにあるタイプの参照ポイントは、移動する外科医をソフトウェアが連続的に処理しているときに変更可能である。

図２２、２３、および２４の例に示すように、本開示のナビゲーションシステムは、デジタル画像をライブ画像上にリアルタイムにオーバーレイし、観察者がオブジェクトの周りをリアルタイムに動き回るときでも、デジタル画像をライブオブジェクトの同じ位置に固定することが可能である。これは融合プロセスと呼ばれるものであり、ヘッドギアまたはバーアタッチメントを含むモバイルコンピュータ等のナビゲーションシステムハードウェアによりリアルタイムで実施される。図１６～２１、特に図１７で説明するソフトウェアアルゴリズムと矛盾せずに、ナビゲーションシステムはまず、ＭＲスキャンまたはＣＴスキャンの複合スライスの３Ｄレンダリング等の、オブジェクトに関連するデジタルコンテンツを受信することができる。ナビゲーションシステムは、デジタル画像の形状を、ライブオブジェクトのリアルタイムで見られるものにマッチさせることを含む３Ｄ融合技法を実施することができる。一例として、ナビゲーションシステムは、患者の頭蓋骨のＸ線データおよび患者の脳のＭＲデータにアクセスしながら、患者の頭部をリアルタイムで眺めることができる。現在眺めている患者の頭部のサイズを用いてデジタルコンテンツを正しくサイズ決定するために、ソフトウェアにより１つ以上の変換を行うことが必要な場合がある。

幾つかの場合、ナビゲーションシステムソフトウェアは、デジタル画像の２Ｄ融合プロセスを１つ以上実施することもできる。ナビゲーションシステムソフトウェアは、ライブオブジェクトの角度にマッチさせるために２Ｄ画像の１回または複数回の回転を実施することによってこれを達成することができる。そうすると、ナビゲーションシステムソフトウェアは、ライブオブジェクト上への３Ｄおよび２Ｄ画像の一方または両方のオーバーレイを表示するとともに、観察者がオブジェクトの周りを動き回る間、３Ｄおよび２Ｄ画像の適切な方向を絶えず保つことができるように、ライブオブジェクトの観察者の角度および位置を追跡することができる。上記で論じたように、融合を所望するオブジェクト毎の一意な参照マーカを用いることにより、ナビゲーションシステムはオブジェクトのその視野に対する現在の角度および位置がどのようなものかを識別することが可能である。これらのマーカの例は、図２５および２６に示される。上記で述べたように、本開示のナビゲーションシステムは、観察者がリアルタイムライブオブジェクトの周りを動き回るときの方向の正確さと、０．１ｍｍ以内の配置精度とで、これらのデジタル画像をリアルタイムライブオブジェクトに融合することができる。

幾つかの実施形態において、参照マーカは、患者の医療手技に伴われる外科または医療器具上にも含まれる。このため、ナビゲーションシステムが本明細書で説明する技法を用いて医療デバイスの動きを組み込むことにより、医療デバイスとライブオブジェクトおよびオーバーレイとの拡張現実相互作用が提供可能になる。こうして、リモートユーザは、患者から物理的に遠くにいても、医療デバイスが、患者および患者の内側の関連する部分とどのように相互作用可能であるか、または相互作用すべきかを示すことができる。これらの技法は、リモートロケーションからの練習または準備にも使用できる。したがって、本明細書の開示によれば、練習に患者データの精密なレプリカを提供することによって、および／または、他者を訓練する教育ツールを提供することによって、医療手技の準備を改善するための強力なツールが提供可能となる。

本明細書は多くの特定の実装態様詳細を含むが、これらは、任意の発明のまたは特許請求可能であるものの範囲に対する制限としてではなく、むしろ、特定の発明の特定の実装態様に固有の特徴の説明として解釈されるべきである。別個の実装態様のコンテキストにおいて本明細書で説明される或る特定の特徴は、単一実装態様のコンビネーションの形でも実装可能である。逆に、単一実装態様のコンテキストで説明される種々の特徴は、複数の実装態様の形で別々に、または任意の適切なサブコンビネーションの形でも実装可能である。さらに、特徴が特定のコンビネーションの形で作用するものとして上記で説明され、さらにまずはそのようなものとして特許請求されるとしても、特許請求されるコンビネーションからの１つまたは複数の特徴は、幾つかの場合、そのコンビネーションから切り出すことができるのであり、特許請求されるコンビネーションは、サブコンビネーションまたはサブコンビネーションの変形を対象とすることができる。

同様に、作業は、特定の順序で図面に示されるが、これは、望ましい結果を達成するために、そのような作業が、示す特定の順序でもしくは順番に実施されること、または、全ての示す作業が実施されることが必要であると理解されるべきではない。特定の状況において、マルチタスキングおよび並列処理が有利であり得る。さらに、上記で説明する実装態様における種々のシステムコンポーネントの分離は、全ての実装態様においてそのような分離を必要とするものとして理解されるべきでなく、説明するプログラムコンポーネントおよびシステムは、一般に、単一ソフトウェア製品への統合、または複数のソフトウェア製品へのパケージ化が可能であることが理解されるべきである。

「または（ｏｒ）」への言及は、「または」を使用して説明される任意の用語が、説明される用語の単一、２つ以上、および全てのうちの任意のものであることができるように、包含的（ｉｎｃｌｕｓｉｖｅ）なものとして解釈可能である。「第１の（ｆｉｒｓｔ）」、「第２の（ｓｅｃｏｎｄ）」、「第３の（ｔｈｉｒｄ）」等のラベルは、順序付けを示すことを必ずしも意味せず、一般的に単に同様のまたは類似のアイテムまたは要素を区別するために使用されている。

本開示で説明する実装態様に対する種々の変更は、当業者に容易に明らかになることができ、本明細書で規定される一般原理は、本開示の趣旨または範囲から逸脱することなく、他の実装態様に適用可能である。そのため、特許請求の範囲は、本明細書に示す実装態様に限定されることを意図されるのではなく、本開示、原理、および本明細書で開示される新規な特徴と矛盾しない最も広い範囲が与えられるべきである。

別段に特に述べられない限り、「処理する（ｐｒｏｃｅｓｓｉｎｇ）」、「計算する（ｃｏｍｐｕｔｉｎｇ）」、「計算する（ｃａｌｃｕｌａｔｉｎｇ）」、「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」、「提示する（ｐｒｅｓｅｎｔｉｎｇ）」、「表示する（ｄｉｓｐｌａｙｉｎｇ）」または同様なもの等の語を使用する本明細書の考察は、１つまたは複数のメモリ（例えば、揮発性メモリ、不揮発性メモリ、またはその任意の適切な組み合わせ）、レジスター、あるいは、情報を受信する、記憶する、送信する、または表示する他の機械コンポーネント内の物理的（例えば、電子、磁気、または光）量として表現されるデータを操作または変換する機械（例えば、コンピュータ）の行為またはプロセスを指すことができる。さらに、別段に特に述べられない限り、用語「１つの（ａ）」または「１つの（ａｎ）」は、特許文書において一般的であるように、１つまたは２つ以上のインスタンスを含むために本明細書で使用される。最後に、本明細書で使用するとき、接続詞「または」は、別段に特に述べられない限り、非排他的な「または」を指す。

本開示は、例証的であり、制限的でない。さらなる変更は、本開示に照らして当業者に明らかになることになり、添付特許請求項の範囲内に入ることを意図される。

関連出願の相互参照
本出願は、２０２０年２月２８日に出願され、「ＭＵＬＴＩＦＵＮＣＴＩＯＮＡＬ ＳＵＲＧＩＣＡＬ ＮＡＶＩＧＡＴＩＯＮ ＡＰＰＡＲＡＴＵＳ ＯＲ ＰＬＡＴＦＯＲＭ ＡＮＤ ＡＰＰＬＩＣＡＴＩＯＮＳ ＴＨＥＲＥＯＦ」という名称の米国仮出願第６２／９８３，４０５号；２０２０年２月２８日に出願され、「ＳＵＲＧＩＣＡＬ ＮＡＶＩＧＡＴＩＯＮ ＳＹＳＴＥＭ ＳＯＦＴＷＡＲＥ ＡＮＤ ＡＰＰＬＩＣＡＴＩＯＮＳ ＴＨＥＲＥＯＦ」という名称の米国仮出願第６２／９８３，４２７号；および２０２０年２月２８日に出願され、「ＳＵＲＧＩＣＡＬ ＮＡＶＩＧＡＴＩＯＮ ＳＹＳＴＥＭ ＡＮＤ ＡＰＰＬＩＣＡＴＩＯＮＳ ＴＨＥＲＥＯＦ」という名称の米国仮出願第６２／９８３，４３２の利益を主張し、それらの開示は、その全体がまた全ての目的で参照により本明細書に組み込まれる。

外科手術ナビゲーションおよび外科手術顕微鏡（マイクロスコープ）機械は、互いにほぼ独立している２つのかさばるデバイスであるが、多くの外科手術において現在使用されている。神経外科手術中にこれらのデバイス間でシフトすることは外科医の時間をとる。外科手術ナビゲーション機械は、手術室空間の平均１０～１５％を占め、外科手術顕微鏡は、その空間の平均１５～２０％を占める。図１は、外科手術手技中に非常に有用であるとすることができるが、使用するのが非常に面倒であるこれらのタイプの機械の例である。

これらのデバイスは共に、ホイール付きの重いカートであるという意味でのみポータブルである。それらは、容易に２００ｋｇ以上の重量があるため、これらを、緊急または外科ＩＣＵ内等、手術室の外で使用することは単に実用的でない。これらのデバイスは、手術室内にあると、それらの使用寿命の間、そこに留まる傾向がある。これらのデバイスが手術室内でおよびその周りで移動する場合、それらの重量故に医療従事者からの支援が必要とされる。

手術室において、外科医は、通常一度に１つのデバイスを使用する傾向があり、その後、外科医は、外科手術顕微鏡または外科手術ナビゲーションの間を、手技中のそれらの機能に応じて行き来し続けなければならない。この行き来は、外科医にとって不便を生じ、また同様に、外科手術時間を長くしてシステム非効率性を生じさせ、また、長い外科手術時間は長時間の麻酔を意味するためにより高濃度の麻酔の使用が増える。

外科医および介入専門医等の手技内科医（Ｐｒｏｃｅｄｕｒａｌ ｐｈｙｓｈｉｓｈｉａｎ）は、筋骨格系疾患（ＭＳＤ：ｍｕｓｃｕｌｏｓｋｅｌｅｔａｌ ｄｉｓｏｒｄｅｒ）等の作業関連損傷について高リスクを有する。これは、反復移動を含む長い作業時間、静的かつぎこちない姿勢、および、特に多様化する要員の状況における急速な革新を考慮した器具デザインに関する課題に起因する。

人間工学者は、外科医の作業環境および作業条件を、特定の産業労働者のそれと同じ、時としてより過酷であると説明してきた。

この観察結果は、一般住民、ならびに、炭鉱夫、製造業労働者、および理学療法士等のさらに労働集約的な職業と比較した、リスクのある内科医の間での作業関連損傷のより高い頻度を立証する研究と矛盾しない。

疾病の負担を低減するために、産業人間工学は急速な進歩を遂げたが、医療は独特な難題であることが実証されており、このグループへの介入の欠如が、今や明らかになりつつある。

伝統的なシステムに関する見通し線の問題（line of sight issue）が存在するため、外科医は、ナビゲーションシステムと共に外科器具を使用するときも制限がある。外科器具がどんな理由であれ妨害される場合、ナビゲーションは停止する。光学追跡カメラは、典型的には、外科器具に対する直接見通し線を有する必要がある。

画像ガイド式外科手術を行う標準的な方法は、外科手術部位を見ることによるのではなく、ナビゲーションスクリーンを見、その後、スクリーンベース２Ｄディスプレイを見ることによって外科器具をターゲットロケーションに移動させることによる－これは、豊富な外科手術経験のみから得られる極めて注意深い操縦性を必要とする。

既存のナビゲーションシステムは、３つの角度（横断面（Transverse plane）、矢状面（Sagittal Plane）、および冠状面（Coronal Plane））から２Ｄ画像ビューを提供する。外科医は、その後、これの全てを患者器官内の３Ｄポイントに相関させる。外科医は、その後、自分の経験からこの２Ｄ情報を３Ｄ情報にマインドマッピングするという大変なタスクを有する。したがって、このプロセスは、適切な３Ｄ可視化が現在利用可能でないため、一貫性を欠く。

コレジストレーションを行うときに紛れ込む可能性がある手作業のエラーが存在する。コレジストレーションプロセスは、最初にソフトウェア上で、次に患者上で相関ポイントを選択することである。人的要素のせいで、ポイント選択にエラーがあることは一般的である。

現在の外科手術ナビゲーションおよび顕微鏡システムは、手術室の内部に留め置かれ、したがって、外科手術プランおよび術前プラニング議論が必要なので、セットアップ時にさらなるＯＲ（オペ室）時間をとる。

現在のシステムは、単一機能－外科手術ナビゲーション、外科手術顕微鏡検査、蛍光可視化（Fluorescence visualization）、ラマン分光法、共焦点顕微鏡検査を実施する。デバイス間で切り換える必要がないことで外科医の効率を大幅に上げる、これの全てを行うことができる１つのデバイスは存在しない。

介入治療スイートまたは外科ＩＣＵ室は、脊椎の硬膜外注入および肝臓への標的注入のような患者の転帰および満足を大幅に改善できるそれらの手技の一部のためにこれらのナビゲーションシステムにアクセスできない。

したがって、複数の医療手技コンテキストを支援するよりモバイル性のあるナビゲーションシステムを提供することが望ましいであろう。外科医等のユーザが、改良型ナビゲーションシステムインターフェースの使用によってリモートで自分のタスクをより容易に実施することができることを可能にすることも望ましいであろう。

本開示の態様は、異なるロケーションで使用するためにポータブルである、外科手術ナビゲーション、外科手術顕微鏡、ルーペ、および／または蛍光可視化のために構成されている多機能プラットフォームのために提示される。幾つかの実装態様において、プラットフォームは１３０ポンド未満の重量である。システムは、ハードウェアコンポーネントおよびソフトウェアコンポーネントを含む。ハードウェアコンポーネントは、外科手術状況のリモート可視化において使用可能な複数タイプの入力データを得ることができるポータブルまたは装着可能（ウェアラブル）デバイスを含むことができる。幾つかの場合、ハードウェアはヘッドセットを含み、ヘッドセットは、２Ｄおよび３Ｄデータを取り込むための位置カメラおよび可視カメラ等の種々のタイプのカメラならびに２Ｄおよび３Ｄ画像を一緒に融合またはオーバーレイするための回路部を有する。他の場合、ハードウェアは、複数のカメラセンサが組み込まれている、スマートパッドまたはラップトップ等のモバイルデバイスに対するバーアタッチメントを含むことができる。幾つかの実施形態において、ハードウェアは、外科手術ナビゲーションおよび外科手術顕微鏡の両方の機能を果たすことができるポータブルナビゲーションシステムも含む。

本開示のソフトウェアは、ハードウェアコンポーネントのうちの１つまたは複数から受信される入力データを処理し、そのデータを、リモートユーザが外科手術手技の少なくとも一部を実施するのに利用可能な拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）または仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）体験に変換するためのモジュールを含むことができる。

幾つかの実施形態において、拡張現実デバイスが提示される。ＡＲデバイスは、ハウジングと、ハウジングに結合され、３次元コンポーネントを有する画像データを提供するように構成される深度カメラと、ハウジングに結合され、人間ユーザが自然に見ることができない超感覚的画像データを提供するように構成される可視カメラと、画像データの少なくとも２つのセットを受信し、画像データの少なくとも２つのセットの両方を、ユーザの視野内の共通参照ポイント上にオーバーレイするように構成されているオーバーレイディスプレイコンポーネントとを含むことができる。

幾つかの実施形態において、拡張現実デバイスは、ハウジングを支持するように構成されているヘッドセットをさらに含む。

拡張現実デバイスの幾つかの実施形態において、深度カメラおよび可視カメラは、ユーザの視野が深度カメラの視野および可視カメラの視野の両方に一致するように、ヘッドセット上に位置決めされている。

拡張現実デバイスの幾つかの実施形態において、オーバーレイディスプレイコンポーネントは、ユーザがヘッドセットを装着するときにユーザの視野上に位置決めされている。

幾つかの実施形態において、拡張現実デバイスは、モバイルデバイスに取り付けるように構成されているバーアタッチメントをさらに含む。

拡張現実デバイスの幾つかの実施形態において、オーバーレイディスプレイコンポーネントは、モバイルデバイスの可視ディスプレイを利用する。

幾つかの実施形態において、外科手術ナビゲーションのためのシステムが提示される。システムは、ローカル地理的ロケーションに位置決めされた第１の拡張現実（ＡＲ）デバイスと、リモート地理的ロケーションに位置決めされ、第１のＡＲデバイスと有線または無線で結合された第２の拡張現実デバイスと、ソフトウェアシステムであって、第１のＡＲデバイスおよび第２のＡＲデバイスの両方に結合され、第１のＡＲデバイスによって生成されるリアルタイム画像データを処理し、前もって記録された固定医療画像データにアクセスし、リアルタイム画像データおよびリアルタイム画像データ上に重ね合わせた固定医療画像データを第２のＡＲデバイスが表示するようにさせるように構成されている、ソフトウェアシステムとを含む。

システムの幾つかの実施形態において、第１のＡＲデバイスは、視野内で固定参照マーカを識別し、固定参照マーカに関する画像データを第２のＡＲデバイスに送信するように構成されている。

システムの幾つかの実施形態において、ソフトウェアシステムは、固定参照マーカに関する画像データを使用して、固定医療画像データをリアルタイム画像データに対して方向付けるように構成されている。

システムの幾つかの実施形態において、固定医療画像データは、２Ｄおよび３Ｄ画像データを含む。

システムの幾つかの実施形態において、ソフトウェアシステムは、リアルタイム画像データ上に重ね合わされた患者に関する２Ｄ画像データおよび３Ｄ画像データの両方を同時に表示させるように構成されている。

システムの幾つかの実施形態において、リアルタイム画像データ上の重ね合わされた２Ｄおよび３Ｄデータは、リアルタイム画像データのオブジェクト内部、または内側の物理的コンテンツの１つまたは複数のビューを示す。

幾つかの実施形態においては、オブジェクトのデジタル画像データをオブジェクトのリアルタイムビューに融合させる拡張現実（ＡＲ）の方法が提示される。方法は、オブジェクトのビューにリアルタイムにアクセスすることと、オブジェクトのデジタル画像データにアクセスすることを含み、オブジェクトのデジタル画像データは、オブジェクトの１つまたは複数の静的デジタル画像として予め取り込まれ記憶されたものであり、方法はさらに、拡張現実ディスプレイスクリーンを使用し、オブジェクトのビューが拡張現実ディスプレイスクリーン内で位置または方向が変化するとき、デジタル画像データがオブジェクトのビューにリアルタイムで固着されたままであるように、デジタル画像データをオブジェクトのビューにリアルタイムに固着させる融合技法を実施することを含む。

方法の幾つかの実施形態において、デジタル画像データはオブジェクトの３Ｄデジタル画像データを含む。

方法の幾つかの実施形態において、デジタル画像データはオブジェクトの２Ｄデジタル画像データを含む。

幾つかの実施形態において、方法は、オブジェクトの２Ｄデジタル画像データにアクセスすることと、３Ｄレンダリング技法を実施することにより、２Ｄデジタル画像データをオブジェクトの３Ｄデジタル画像データに変換することとをさらに含み、融合技法は、オブジェクトの３Ｄデジタル画像データをオブジェクトのビューにリアルタイムで固着させることを含む。

方法の幾つかの実施形態において、融合技法は、３Ｄデジタル画像データのサイズがオブジェクトのサイズに正しく比例して表示されるように、３Ｄデジタル画像データのサイズにオブジェクトのビューのサイズをリアルタイムで一致させることを含む。

方法の幾つかの実施形態において、融合技法は、３Ｄデジタル画像データの形状がオブジェクトの形状に正しく比例して表示されるように、３Ｄデジタル画像データの形状にオブジェクトのビューの形状をリアルタイムで一致させることを含む。

幾つかの実施形態において、方法は、オブジェクトのビューに近い固定参照マーカにリアルタイムでアクセスすることをさらに含み、固定参照マーカにより、オブジェクトのビューの位置または方向が変化するときでも、オブジェクトのビューの一意な３次元方向および深度を提供するのに十分なデータが提供される。

方法の幾つかの実施形態において、融合技法を実施することは、固定参照マーカを利用することにより、デジタル画像データをオブジェクトのビューにリアルタイムで固着させることを含む。

添付図面は、一定比例尺に従って描かれていることを意図されない。種々の図面における同様の参照数字および指定は、同様の要素を示す。明確にするために、全てのコンポーネントが全ての図面においてラベル付け可能であるわけではない。

外科手術手技中に非常に有用であるとすることができるが、使用するのが非常に面倒である従来技術の機械の例を示す図である。

幾つかの実施形態による、幾つかの場合、ＡＲ要素を使用する、また、幾つかの場合、ＶＲを通した外科手術部位のリモート観察を容易にする、外科手術ナビゲーションを支援するためのシステムの高レベルブロック図である。

幾つかの実施形態による、例示的な外科手術ナビゲーションシステムの概略図である。

幾つかの実施形態による、ナビゲーションシステムがリモートロケーションに機能性を提供する態様の例のブロック図である。

幾つかの実施形態による、外科手術ナビゲーションシステムを利用する例の外科手術室の写真画像である。

種々の実施形態による、外科手術ナビゲーションシステムの一部であるＡＲスクリーンを使用しながら外科手術が実施される例の外科手術プラットフォームの図である。

幾つかの実施形態による、図６のＡＲスクリーンのより接近したビューの図である。

ＡＲ要素が表示されることも可能にしながら、スクリーンが、透明であるか、または透明の外観を提供可能である態様の例を示す図である。

種々の実施形態による、外科手術ナビゲーションシステム装置またはプラットフォーム等のオールインワン多機能装置の種々のモジュールを示す概略図である。

種々の実施形態による、外科手術ナビゲーションシステム装置またはプラットフォームの例の概略図である。

種々の実施形態による、さらなる特徴を有する外科手術ナビゲーションシステム装置またはプラットフォームの例の概略図である。

種々の実施形態による、さらなる特徴を有する外科手術ナビゲーションシステム装置またはプラットフォームの例の別の概略図である。

種々の実施形態による、使用事例を図示して外科手術ナビゲーションシステム装置またはプラットフォームの例を示す概略図である。

幾つかの実施形態による、専門家または非専門家がヘッドセットナビゲーションシステムを装着する例のシナリオを示す図である。

幾つかの実施形態による、ナビゲーションシステムの例のアプリケーションを示す図である。

幾つかの実施形態による、高レベルの外科手術ナビゲーションシステムソフトウェアのブロック図である。

種々の実施形態による、レジストレーションプロセスに対するハイブリッドアプローチである、外科手術ナビゲーションシステムソフトウェアのレジストレーションモジュールを示す図である。

種々の実施形態による、シーン内で剛体／固定マーカに基づいて拡張現実ナビゲーションを実現する外科手術ナビゲーションシステムソフトウェアの例のデータフローおよび作業、ならびに、システムが複数のホログラフィデバイスと同時に通信可能である態様を示す図である。

組み合わせアルゴリズムを使用して、ホログラフィ投影がリアルシーン上に重ね合わされる態様のデータフローおよび作業を示す図である。

種々の実施形態による、ホログラフィモードで可能にされる高度可視化機能の例のセットを示す図である。

種々の実施形態による、器具（マーカを有する）がナビゲーションに使用される態様のデータフローおよび作業を示す図である。

幾つかの実施形態による、本開示のナビゲーションシステムを使用してユーザが見ることができるものの例の図である。

幾つかの実施形態による、通常、視野内にある、頭蓋骨上に重ね合わされた画像データのセットのうちの１つのセットの不透明度の種々の程度の例を示す図である。

幾つかの実施形態による、複数のオーバーレイを提供するナビゲーションシステムの別の例を提供する図である。

ターゲット患者の近くの一定位置に配置可能である、非対称に配列された４つのマーカを有するデバイスを示す図である。

患者または手術テーブルの固定位置上に取り付け可能である、やはり４つのポイントを固定視覚的キューとして有する器具を示す図である。

以下の開示が、本開示の異なる特徴を実装するために、多くの異なる実施形態または例を提供することを理解されたい。コンポーネントおよび配置構成の特定の実施形態または例は、本開示を簡略化するために以下で説明される。これらは、もちろん、単に例であり、制限的であることを意図されない。例えば、要素の寸法は、開示される範囲または値に制限されるのではなく、プロセス条件および／またはデバイスの所望の特性に依存し得る。さらに、以下に続く説明における第２の特徴を覆うかまたはその上の第１の特徴の形成は、第１および第２の特徴が直接接触状態で形成される実施形態を含むことができ、第１および第２の特徴が直接接触状態でないように、さらなる特徴が、第１および第２の特徴に介在して形成可能である実施形態を含むこともできる。種々の特徴は、単純さおよび明確さのために、異なるスケールで任意に描かれることができる。

さらに、「の下に（ｂｅｎｅａｔｈ）」、「の下方に（ｂｅｌｏｗ）」、「下部の（ｌｏｗｅｒ）」、「の上方に（ａｂｏｖｅ）」、「上部の（ｕｐｐｅｒ）」および同様なもの等の空間的な相対語は、図に示すように、１つの要素または特徴の別の要素または特徴に対する関係を説明するために説明の容易さのために本明細書で使用可能である。空間的に相対的な用語は、図に示す方向に加えて、使用または作業時のデバイスの異なる方向を包含することを意図される。デバイスは、他の方向に（９０度回転してまたは他の方向に）方向付けることができ、本明細書で使用される空間的な相対関係の説明は、同様に、相応して解釈可能である。さらに、用語「で作られる（ｍａｄｅ ｏｆ）」は、「を備える（ｃｏｍｐｒｉｓｉｎｇ）」または「からなる（ｃｏｎｓｉｓｔｉｎｇ ｏｆ）」を意味することができる。

外科手術ナビゲーションを支援するための全体のハードウェアおよびソフトウェアシステムが開示される。システムは、リモートロケーションでの外科手術手技のＡＲ／ＶＲレンダリングを容易にするように構成され得る。システムには、１つまたは複数のハードウェアコンポーネントが含まれ、幾つかの実施形態において、それは、ヘッドセット等の装着可能デバイスの形で示される。他の実施形態において、それは、スマートパッドまたはラップトップ等のモバイルコンピュータに対するバーアタッチメントの形で示される。幾つかの実施形態において、ハードウェアは、１つの外科手術室から別の外科手術室へ容易に移動することができるポータブル外科手術ナビゲーションツールを含む。さらに、システムは、ハードウェアによって受信される入力データを変換または融合し、リモートロケーションのＡＲまたはＶＲ環境のために画像形成データを供給するように構成されるソフトウェアを含む。システムの種々のコンポーネントは、以下でより詳細に説明される。

システム概要

図２を参照すると、幾つかの実施形態による、幾つかの場合ではＡＲ要素を使用し、幾つかの場合ではＶＲを通した外科手術部位のリモート観察を容易にする、外科手術ナビゲーションを支援するためのシステム２００の高レベルブロック図が示される。ローカル側（例えば、手術が実施されているロケーション）で、本開示の態様は、位置情報を収集する位置カメラ（例えば、深度カメラ）２０８および可視またはＩＲカメラ２１０を有するヘッドセット等のデータ取り込みハードウェアを含む。収集された位置および可視情報を使用して、オーバーレイマネジャー２１１は、画像をローカルでレンダリング処理し、画像を手術上にオーバーレイさせることができる。他の場合、データ取り込みハードウェアは、位置カメラおよび可視カメラ等の複数のセンサを有する、モバイルコンピュータに対するアタッチメントを含むことができる。他の場合、データ取り込みハードウェアは、配備可能外科手術ナビゲーションシステムを含むことができる。

データ取り込みハードウェア２０８、２１０およびオーバーレイマネジャー２１１は、レンダリングされた画像をクラウド２０４にアップロードすることができる。リモートロケーションにおいて、レンダリングされたＡＲ画像は、リモートＶＲヘッドセット２１８に送信可能である。リモートＶＲヘッドセット２１８は、送信されたＡＲ画像を、３次元（３Ｄ）仮想現実空間にレンダリングすることができる。リモートに位置する外科医等のリモート専門家は、ＶＲディスプレイ空間と相互作用することができる。リモート外科医は、ＶＲ画像上で切開の程度および深さを指示することができる。リモート外科医によって提供され、指示された位置入力は、クラウド２０４に送信され、医療学生やローカルデータ取り込みハードウェアを操作する技術者等のローカル非専門家に中継可能である。次いでローカルオーバーレイマネジャーは、非専門家が手技または手術においてＶＲ位置入力を使用できるように、レンダリングされたＡＲ画像にＶＲ位置入力を付加することができる。

本開示のナビゲーションシステムの用途の１つは、一般に、医療手技のコンテキストにおいてであるが、これらのデバイスおよび手技が、専門家がローカル非専門家からリモートである、または、その逆である任意の作業について利用可能であることが理解されるべきである。幾つかの実施形態において、作業は任意のリモート作業とすることができる。例えば、作業は、ローカル製造業者が、特定の幾何形状を有するデバイスを製造するために専門家の命令を必要とする場合がある製造作業とすることができる。幾つかの例において、作業は、装薬をどこにどのように配置するかに関する命令を受信するローカル非専門家による破壊または掘削作業とすることができる。幾つかの例において、作業は、ＡＲ受信機に送信される、正確で、精密で、リアルタイムの空間的なまたは他の命令から利益を得る場合がある任意の他の特殊作業とすることができる。

図３は、例示的な外科手術ナビゲーションシステム３００の概略図である。種々の実施形態によれば、例示的な外科手術ナビゲーションシステム３００は、外科手術ナビゲーションシステム装置またはプラットフォーム３０２、コンピュータデバイス３０４、ディスプレイユニット３０６、リアルタイムリモートガイド式精密外科手術（ＲＴＲＧＰＳ：ｒｅａｌ ｔｉｍｅ ｒｅｍｏｔｅ ｇｕｉｄｅｄ ｐｒｅｃｉｓｉｏｎ ｓｕｒｇｅｒｙ）３０８、および／または、クラウドコンピューティングネットワーク３１０を含むことができる。

外科手術ナビゲーションシステム３００は、外科手術ナビゲーション、拡大、蛍光可視化、およびその他の機能を実現する多機能ポータブルデバイス３１２、つまりオールインワンデバイスを含む。

幾つかの実施形態において、外科手術ナビゲーションシステム３００の重量は、例えば１３０ｌｂｓ以下とすることができるが、その他のサイズまたは重量を、それぞれの個々の状況に基づいて企図することができる。製品３００は、必要である場合、病院の他のエリアに非常に容易に輸送可能な小さいカートの形態であるとすることができる。他の場合、製品は、バーアタッチメント等の、モバイルコンピュータに対するアタッチメントの形態であるとすることができる。他の場合、製品は、外科手術手技中にユーザが装着することができるヘッドセットの形態であるとすることができる。

以下は、種々の実施形態に従って、外科手術ナビゲーションシステム装置またはプラットフォームによって達成可能である機能の一部である。

デバイス３００は、種々の実施形態に従って、マーカの助けを借りてまたは顔検出を用いて、外科手術ナビゲーションを行うことが可能である。

デバイス３００は、種々の実施形態に従って、光学ズームレンズによって、最大２０倍外科手術ターゲットエリアの拡大を行うことが可能である。

デバイス３００は、種々の実施形態に従って、蛍光可視化を行うことが可能である。

デバイス３００は、例えば、共焦点顕微鏡およびラマン分光法等の高度機能性を装備することができる。

多機能性は、外科医（ユーザ）が、好都合にかつ複雑な位置の身体的ストレスなく、外科手術手技を実施することを可能にする。

拡張現実ベースオーバーレイ３１６は、外科医が患者を見て外科手術を実施することを可能にするので、外科手術のための時間を低減し、患者の転帰（アウトカム）を改善する。

デバイス３００は、種々の実施形態による、外科手術視野内で拡張現実オーバーレイのために使用されることになる透明ディスプレイを有することができる。

デバイス３００はまた、種々の実施形態に従って、器官の解剖学的構造の人工知能ベースのセグメント化（セグメンテーション）を使用することができ、それを外科手術ナビゲーションで用いることにより、手技の効率を上げることができる。

図４は、幾つかの実施形態による、ナビゲーションシステム３００（図３）がリモートロケーションに機能性を提供する態様の例のブロック図４００を示す。図４は種々のモジュール４０２、４０３の例を含み、本開示のハードウェアおよびソフトウェアの特定のバージョンにおいて利用可能とすることができる別々の機能性の群を示す。利用可能なモジュールの種類のより包括的な説明は図９に関して以下で述べられる。

ここで、ナビゲーションデバイス３００（図３）は、種々の実施形態に従って、クラウドまたはＰＡＣＳシステムに接続される。

ユーザは、種々の実施形態に従って、サムドライブまたはＣＤあるいはさらにクラウドまたはＰＡＣＳシステムのような一般的なファイル記憶システムの任意のシステムを使用してスキャンをロードする。

スキャンがロードされると、ユーザは、種々の実施形態に従って、プラニングを開始すること、またはコレジストレーションを開始すること、またはスキャンが他のナビゲーションシステム上で存続できるように他の形態にエキスポートすることを選択することができる。

ユーザは、種々の実施形態に従って、ユーザが行おうとプランしている手技をプランするために、プラニングオプションを選択し、ポイント選択、ウィンドウイング、着色画像処理、およびＡＩのような全てのツールを使用することによってプラニングを開始することができる。

ユーザは、種々の実施形態に従って、プランを承認させるために、プランを、自身の同僚または専門家と共有することもできる。

ユーザが、ＡＲモジュール３１６（図３）を最初に開始したいと思うと、ユーザは、種々の実施形態に従って、ポイントの初期セットが選択されるようにコレジストレーションモジュールを経ることができ、ＡＲモジュールを開始しボリュームにオーバーレイすることができる（図１６および関連説明を参照）。

ＡＲモジュールが開始されると、ユーザは、プラニング、コレジストレーション、または拡張３１６（図３）のような全てのモジュールの間で切り換えることができる。

ＡＲモードにおいて、ユーザは、種々の実施形態に従って、提供されたオプションを使用して、ボリュームを患者上に０．１ｍｍの高い精度で位置合わせすることができる。

全てのセットアップが行われると、ユーザは、種々の実施形態に従って、プロシージャを継続するために、システム３００（図３）を使用し続けるかまたはＨｏｌｏＬｅｎｓもしくはＭａｇｉｃ ＬｅａｐのようなＡＲデバイス４０２の任意のデバイスに接続することができる。

システムは、種々の実施形態に従って、ロケーション２のユーザがロケーション１（４００）の厳密なコピーを得ることができるようにＲＴＲＧＰＳシステム３０８にも接続可能である。

ＲＴＲＧＰＳシステム３０８とのこの接続を用いることよって、種々の実施形態に従って、アプリケーションの任意の部分と同期することができる。

図４に示すように、ＲＴＲＧＰＳ３０８ソフトウェアモジュールは、例えば、ロケーション２（４０２）において深度認識を有するロケーションシーンを再現するために、ロケーションシーン１（４００）からデータを取得し、このデータを、エッジコンピューティングプロトコル（ＭＱＴＴ）を通じて転送することができる。ＲＴＲＧＰＳ機能性を含む本開示のソフトウェアコンポーネントのさらなる説明は、以下でさらに述べられる。

ロケーション１（４００）は、外科手術ナビゲーションシステム３００または以下のモジュール／コンポーネントを最低限有する任意の他のシステムを有することができる：

ａ．モジュール１（４０３）：ステレオカメラ；

ｂ．モジュール２（４０２）：ホログラフィ投影；

ｃ．剛体／マーカ３１８ａ；

ｄ．マーカを有する外科器具３１８ｂ。

ロケーション２（４０４）は、外科手術ナビゲーションシステムまたは以下のモジュール／コンポーネントを最低限有する任意の他のシステムを有することができる：

ａ．モジュール１（４０６）：ステレオカメラ；

ｂ．モジュール２（４０８）：ホログラフィ投影；

ｃ．マーカを有する外科器具４１０。

ロケーション１からのデータは、ＲＴＲＧＰＳソフトウェアを介してエッジコンピューティングプロトコル（ＭＱＴＴ）で転送される。

データは最低限以下のものを含むが、それらに限定される訳ではない。

ａ．ロケーション１（４０１）システム方向（オリエンテーション）、並進情報であってモジュール１（４０３）によって取り込まれるもの。
これは、モジュール１が剛体／マーカを識別すると、ＲＴＲＧＰＳソフトウェアによって取り出される。

ｂ．モジュール１（４０６）によって見られるとおりのロケーション１（４０１）ビデオストリーム。

ｃ．ロケーション１（４０１）：方向、並進情報であってモジュール２が剛体／マーカ３１４ａを識別するときにモジュール２（４０２）によって取り込まれるもの。

ｄ．方向、変換情報であってマーカを有する外科器具３１４ｂがロケーション１（４０１）シーンに入るときにモジュール１（４０３）またはモジュール２（４０２）によって取り込まれるもの。

ｅ．ロケーション１（４０１）シーンは、ユーザがタスクを実施しようとしているエリアである。

このデータは、その後、ＲＴＲＧＰＳ３０８ソフトウェアを介してエッジコンピューティングプロトコル（ＭＱＴＴ）でロケーション２（４０４）に転送される。

ロケーション２（４０４）において、このデータをＲＴＲＧＰＳ３０８ソフトウェアはモジュール１（４０６）およびモジュール２（４０８）にロードし、モジュール２（４０８）ホログラフィ投影をロケーション２（４０４）のユーザに対してリアルな真の深度認識を提供するリアルライブ供給物と組み合わせて使用することにより、ロケーション１（４０１）からのシーンを全深度認識付きで再現する。

任意の外科手術プラニングソフトウェアまたは外科手術ナビゲーションシステム３００（図３）ソフトウェアは、外科手術プランに関連する全てのデータを提供する。外科手術プランは、患者スキャンおよび軌跡詳細（trajectory details）を含むが、それに限定されない。

このシナリオを継続することにより、２つのロケーション４０１、４０４が同期される。同期は、５Ｇ速度に関して０レイテンシーであり、システム全体は、５Ｇ速度において６０ｆｐｓより速いレンダリング速度を有することができる。

幾つかのシナリオにおいて、ロケーション１（４０１）のユーザは、例えば、シミュレーションで、ロケーション２のユーザをガイドしている。

幾つかのシナリオにおいて、ロケーション２（４０４）のユーザは、例えば、予見（prevision）付きのリモートガイダンス状況で、ロケーション１のユーザをガイドしている。

ロケーション１において：マーカを有する外科器具３１４ａは、ロケーション１（４０１）でのタスクを実行するためにユーザによって使用される。

各マーカ／剛体３１４ａは、一意なマーカとすることができる。マーカ付きの外科器具３１４ｂさえも一意でなければならない。同じタイプの２つのマーカ３１４が、単一ロケーションに存在してはならない。一意性は、互いに一意な距離に配置された４つのポイントの組み合わせを有することで得られる。

ＲＴＲＧＰＳ３０８は、両方のロケーション４０１、４０４から、連続的にデータを送信し、データを受信しており、同時にそれらを同期させている。

幾つかのシナリオにおいて、外科器具は、空間内のポイントＰ（ｐ１、ｐ２、ｐ３）で交差する。

空間は、ロケーション１（４０１）またはロケーション２（４０４）内のシーンである。このポイント座標は、モジュール１（４０３、４０６）およびモジュール２（４０２、４０８）によって精密に獲得される。同じポイントが他のロケーションではガイダンスのためにバーチャルでハイライトされる。精度は、空間内でポイント座標を識別する際のモジュール２（４０２、４０８）の精度と同程度である。

幾つかのシナリオにおいて、３つ以上のロケーションが存在する可能性がある。ＲＴＲＧＰＳ３０８ソフトウェを通して接続可能なロケーションの数に対する制限は存在しない。

ロケーション１（４０１）マーカ：マーカまたは剛体３１４ａ、３１４ｂは、モジュール１（４０４）およびモジュール２（４０２）にとって常に見ることができなければならない。

幾つかのシナリオにおいて、ロケーション１での変化しないシーンの一意な特徴（フィーチャー）および輪郭も、剛体／マーカ３１４ａ、３１４ｂとして使用可能である。

可視化を利用できないロボティクスシステムでは、マーカ３１４ａ、３１４ｂを有する外科手術ナビゲーションシステム３００（図３）は、患者の内側でのロボティックアームの動作を可視化するのにも使用できる。これにより、ロボティクスシステムに追加の３Ｄ深度可視化が付加される。

研修生または医療学生のチームは、外科手術の際にロケーション１の外科医の、またはロケーション１（４０１）の外科医をガイドしているロケーション２（４０４）の外科医のガイダンスの下で、外科手術手技中に外科手術アプローチとニュアンスをリアルタイムで学ぶことができる。

ロケーション１（４０１）およびロケーション２（４０４）は、ＲＴＲＧＰＳシステム３０８によって、事前にセグメント化／ラベル付け／マーク付けされている必要はない。システム３００（図３）は、ホログラフィ深度投影および１シーン内のマーカを使用して、両方のロケーションでのリアルタイム深度シーンレンダリングおよび精密なガイダンスを可能にする。

これを用いてユーザは、本明細書で開示する種々の実施形態に従って、プラニングまたは外科手術で協働したり、或は、外科手術の教育やガイドを行うことができる。

固定マーカがシステムのビュー内に存在する限り、本明細書で開示する種々の実施形態に従って、ＡＲ追跡が可能である。

器具のうちの任意のものが使用される場合、本明細書で開示する種々の実施形態に従って、器具マーカを用いることにより、追跡後の器具を追跡可能である。

図５、６、７、および８は、本開示の外科手術ナビゲーションシステムが外科手術手技のコンテキストにおいて使用可能である態様の種々の例のシナリオを示す。図５は、外科手術室の一例の写真画像５００である。ナビゲーションシステム３００（図３）ハードウェアは、従来のナビゲーションおよび顕微鏡機械と比較してより容易に異なる部屋に配備可能であることができるカート５０２の形態をとる（図１を参照）。図６は、種々の実施形態による、外科手術が実施される外科手術プラットフォームの一例の図６００である。ここで、本開示のハードウェアは、外科医６０４と患者６０６との間に介在するスクリーン６０２を含む。スクリーンによって、ＡＲ要素を患者６０６のビュー上に付加することが可能になる。図７は、幾つかの実施形態による、ＡＲスクリーン６０２のより接近したビューの図である。図８は、ＡＲ要素が表示されることを可能にしつつも、スクリーン６０２が透明であるか、または透明の外観を提供可能である態様の例を提示する。

ナビゲーションシステム３００（図３）のコンポーネント例のより具体的な詳細が、ここで提供される。この説明は、本明細書で説明する全体システムを確立する種々のハードウェアの例およびソフトウェアコンポーネントに的を絞る。

全体的なハードウェア説明

幾つかの実施形態において、本開示のハードウェアは、外科手術ナビゲーション、拡大、蛍光可視化、その他様々なものを実現する多機能ポータブルデバイス、つまりオールインワンデバイスを含む。

本明細書で開示する技術および方法は、例えば図９に示すように、外科手術ナビゲーション、外科手術顕微鏡、ルーペ、蛍光可視化、事前手術プラニングおよび／またはシミュレーションを含むが、それに限定されない複数の機能を実現可能な多機能ポータブルオールインワンデバイスに関する。

図９は、種々の実施形態による、外科手術ナビゲーションシステム装置またはプラットフォーム等のオールインワン多機能装置の種々のモジュール９０２、９０４、９０６、９０８、９１０、９１２を示す概略図９００である。図９に示すように、外科手術ナビゲーションシステム装置またはプラットフォームは、最大６個のモジュール１～６（９０２、９０４、９０６、９０８、９１０、９１２）を含むことができる。種々の実施形態において、モジュール１（９１２）は、ナビゲーション機能性を実現するように構成されるステレオカメラを含むことができる。種々の実施形態において、モジュール２（９０６）は、限定はしないが、Ｍｉｃｒｏｓｏｆｔ Ｈｏｌｏｌｅｎｓ、Ｍａｇｉｃ Ｌｅａｐ等のようなホログラフィ投影システムを含むことができる。種々の実施形態において、モジュール３（９０４）は、カメラ、光学レンズ、および／またはＬＥＤ光を含み、外科手術顕微鏡として機能する、かつ／または、例えば非常な細部を見るために拡大するルーペ機能を提供するように構成可能である。種々の実施形態において、モジュール４（９１０）は、赤外線（ＩＲ）フィルタ付きのカメラを含むことができ、蛍光可視化のために構成される。

種々の実施形態において、モジュール５（９０２）は、共焦点顕微鏡のため、または共焦点顕微鏡検査のために構成可能である。種々の実施形態において、モジュール６（９０８）は、ラマン分光器を含むか、またはラマン分光法のために構成することができる。

バーアタッチメントハードウェア

種々の実施形態において、図９に示すような外科手術ナビゲーションシステム３００（図３）装置またはプラットフォームのモジュール９０２、９０４、９０６、９０８、９１０、９１２を組み合わせて、単一デバイス内のミニマルの水平バーフォームファクタに収めることにより、上記で論じたような種々の高度機能性の達成を助けることができる。種々の実施形態において、外科手術ナビゲーションシステム３００（図３）装置またはプラットフォームの種々のモジュール９０２、９０４、９０６、９０８、９１０、９１２は、単一のラップトップ／デスクトップ／タブレット／高性能システムから給電可能である。種々の実施形態において、外科手術ナビゲーションシステム３００（図３）装置またはプラットフォームをフルカスタマイズ可能にして、全部のハードウェアモジュール９０２、９０４、９０６、９０８、９１０、９１２を含めることができる。種々の実施形態において、外科手術ナビゲーションシステム装置３００（図３）またはプラットフォームには、ユーザ要件に応じて、一部のハードウェアモジュール９０２、９０４、９０６、９０８、９１０、９１２だけを含めることができる。バーアタッチメントの形態の外科手術ナビゲーションシステム３００装置またはプラットフォームは、その立体形状故に人間工学的に優れており、かつデザインが非常に美的であり、ディスプレイ６０２（図６－８）またはタブレット／ラップトップにラッチして／取り付けて機能させることができる。外科手術ナビゲーションシステム３００（図３）装置またはプラットフォームの独特なデザインは、外科手術視野内で全く制限なしに外科医が手術することを可能にし、外科手術視野内での器具の自由な動きを可能にする。

図１０は、種々の実施形態による、外科手術ナビゲーションシステム装置またはプラットフォーム１０００の一例の概略図である。図１０に示すように、バーアタッチメント１００２は、ラップトップまたはタブレットの上部に接続することができる。このバーアタッチメント１００２フォームファクタの外科手術ナビゲーションシステム装置またはプラットフォーム１０００は、モジュール１、３、および４（９１２、９０４、９１０）を含む。種々の実施形態において、外科手術ナビゲーションシステム装置またはプラットフォーム１０００は、ディスプレイ６０２（図６－８）またはラップトップまたはタブレットの任意の側に取り付けられるが、人間工学的に、ディスプレイ６０２（図６－８）、ラップトップ、またはタブレットの上部は、取り付けたり、ラッチしたりするのにより直感的な場所であり得る。

図１１は、種々の実施形態による、外科手術ナビゲーションシステム装置またはプラットフォーム１１００の一例の概略図である。図１１に示すように、この例におけるバーアタッチメント１１０２の形態の外科手術ナビゲーションシステム装置またはプラットフォーム１１００は、例えば限定はしないがラップトップ、タブレット、またはディスプレイデバイスに取り付けられたモジュール１（９１２）、例えば、ステレオカメラを含む。

図１２は、種々の実施形態による、外科手術ナビゲーションシステム装置またはプラットフォーム１２００の一例の概略図である。図１２に示すように、ナビゲーションシステム１２００は、手術の様々なビューを示すラップトップ１２０２を含むことができる。図１２に示すように、バーアタッチメント部分１２０４は、例えば限定はしないがラップトップもしくはタブレット１２０２に取り付けたり、またはラッチすることができる。

図１３は、種々の実施形態による、外科手術ナビゲーションシステム装置またはプラットフォーム１３００の一例の概略図である。図１３に示すように、バーアタッチメント１３０４の形態の外科手術ナビゲーションシステム装置またはプラットフォーム１３００は、ディスプレイユニット１３０２、例えば、透明ディスプレイまたは不透明ディスプレイを含むことができ、手術の種々のビューを示す。図１３に示すように、外科手術ナビゲーションシステム装置またはプラットフォーム１３００は、ディスプレイユニット１３０２に取り付け、またはラッチ可能である。

種々の実施形態において、外科手術ナビゲーションシステム装置またはプラットフォーム１３００は、種々のハードウェアモジュールを、ＵＳＢまたは他の通信ポートを通して、図１０、１１、および１２に示すようなコンピューティングデバイス３０４（図３）に接続するように構成可能である。上記で述べたように、コンピューティングデバイス３０４（図３）は、例えば限定はしないが、ラップトップ、タブレット、デスクトップ、または高性能コンピュータシステムとすることができる。代替的に、バーアタッチメントは、図１３に示すように、表示１３０２のみのシステム（ｄｉｓｐｌａｙ ｏｎｌｙ ｓｙｓｔｅｍ）に取り付けられることもできる。種々の実施形態において、ディスプレイと、外科手術ナビゲーションシステム装置またはプラットフォーム１３００は、高性能コンピュータシステムに接続される。

ヘッドセットハードウェア

幾つかの実施形態において、外科手術ナビゲーションシステム装置またはプラットフォームは、手術室において装着可能なヘッドセットの形で示すことができる。リモート専門家によるローカル非専門家のリモート命令を容易にするのを助けるために、幾つかの実施形態によるヘッドセットナビゲーションシステムは、空間データと、可視または近ＩＲデータとを収集するように構成可能である。データを収集するために、１つまたは複数のカメラを、ヘッドセットに取り付けることができる。ヘッドセットは、視野内にＡＲ要素を表示するように構成可能である。カメラは、リモート非専門家が向いている方向で位置データと可視または近ＩＲデータとを収集するように方向付けることができる。

図１４は、幾つかの実施形態による、専門家または非専門家１４０２がヘッドセットナビゲーションシステム１４０４を装着する一例のシナリオ１４００を示す。ヘッドセット装着者１４０２は、ヘッドセット１４０４を通して表示されるとおりに視野内のＡＲ要素も見ながら、手術テーブル１４０８上の患者１４０６を見ることができる。幾つかの実施形態において、カメラセンサ１４１０の方向に基づいて、ヘッドセットによって取り込まれる画像データはユーザが見るものを反映可能である。これらの画像データは、例えばクラウドを通してリモートロケーションに送信され、ＯＲ内で見られているもののＶＲ描出を、リモートロケーションの他のユーザに表示するために使用可能である。

図１５は、幾つかの実施形態による、ナビゲーションシステムのアプリケーション１５００例を示す。左の例のシナリオは、ヘッドセット１５０６の形態のナビゲーションシステムを装着しながら、患者１５０４の世話をする専門家１５０２を示す。専門家１５０２は、患者１５０４を見るが、他の要素を見ることもできる。右に示されるのは、ＡＲ要素１５１０も含む、ヘッドセット１５０６を通しての専門家１５０２の一人称ビュー１５０８の例である。ここで、患者の脳１５１０のおおよその位置は、脳１５１０があると測定された、患者１５０４の他の参照ポイントとの相対的な位置で、患者１５０４上にオーバーレイされる。患者の脳１５１０のオーバーレイを３Ｄレンダリングすることができ、それにより、ヘッドセット１５０６を装着する専門家１５０２は患者１５０４の周りを歩き回ることができ、患者１５０４に対するヘッドセット１５０６の方向に従って脳１５１０の角度が様々にリアルタイムで変化することになる。このオーバーレイ１５０８を達成するための実装態様例は、以下でさらに説明されるであろう。

幾つかの実施形態において、患者１５０４の画像データと、Ｘ線またはＭＲＩ等の他の形態での患者１５０４の１つまたは複数のスキャンとは全て、リモートロケーション（例えば図４のロケーション２（４０４））に送信可能である。リモートロケーションのユーザは、ヘッドセット１５０６またはバーアタッチメント（図１０－１２）の形態の本開示によるナビゲーションシステム（例えば図３のシステム３００）を利用し、患者１５０４に対して精密に配置することで、患者１５０４の上部で１つまたは複数のスキャンのオーバーレイ（例えばオーバーレイ１５０８）を見ることができる。これにより、リモートユーザが、リモートロケーションからであっても、患者１５０４をどのように処置するかに関してよりよい決定を行うことが可能になる。

ＡＲヘッドセット１５０６に取り付けられたカメラは、任意のタイプの位置および／または可視もしくは近ＩＲデータ検知カメラとすることができる。例えば、既存のカメラがＡＲヘッドセット１５０６に接続可能である。幾つかの実施形態において、位置カメラは、位置および深度データを収集することができる任意のタイプのカメラとすることができる。例えば、位置カメラは、ＬＩＤＡＲセンサまたは任意の他のタイプの位置カメラとすることができる。

幾つかの実施形態において、可視または近ＩＲカメラは任意のタイプの可視カメラとすることができる。例えば、可視または近ＩＲカメラは標準的な可視カメラとすることができ、１つまたは複数のフィルタを、近ＩＲ情報を収集するために可視カメラ上に配置することができる。幾つかの例において、カメラは、ＩＲデータを特に収集するように構成可能である。

幾つかの実施形態において、ＡＲヘッドセット１５０６にカメラを付加することは、ＡＲヘッドセット１５０６にさらなる重量を付加する場合がある。ＡＲヘッドセット１５０６に重量を付加することは、ユーザの快適さを減ずる場合がある。例えば、さらなる重量はユーザの首の疲労を増加させる場合がある。さらに、重量の増加により、ユーザの頭部上でのＡＲヘッドセット１５０６の安定性が減じることによって、ヘッドセットがスリップし、収集されたデータの品質を低下させることがある。

幾つかの実施形態において、単一カメラまたは各カメラ用のカメラハウジングはヘッドセット１５０６に組み込まれ、位置データと可視または近ＩＲデータとを収集するために使用可能である。ヘッドセットは、単一レンズを通してデータを収集する、同じハウジング内の２つのカメラを含むことができる。これにより、ＡＲヘッドセット１５０６の重量を減らすことができる。ＡＲヘッドセット１５０６の重量を減らすことは、ユーザの快適さを改善し、ユーザの頭部上のＡＲヘッドセット１５０６がスリップすることを減らすのに役立つことができる。

種々の実施形態において、バーアタッチメント（図１０－１２）またはヘッドセット１５０６または他の変形の形態の外科手術ナビゲーションシステム装置またはプラットフォーム（例えば図３のシステム３００）は、可搬性を極めて、例えば、小さな介入が非手術室のセッティングでユーザにより実施されるようにモジュール１（または、モジュール１のみ、図９を参照）を含むことができる。この構成は、ユーザ、例えば、外科医にナビゲーション機能性を提供する。種々の実施形態によれば、外科手術ナビゲーションシステム装置またはプラットフォーム（例えば図３のシステム３００）は、ナビゲーション機能のみを実施するように構成される。

医療介入の種々の場合に、ホログラフィ投影を提供するためにモジュール２（図９を参照）も外科手術ナビゲーションシステム装置またはプラットフォーム（例えば図３のシステム３００）に含めることができる。種々の実施形態において、ユーザまたは外科医１５０２は、ナビゲーション機能のために拡張現実オーバーレイを使用することができる。

例えば、ユーザが手術室にいて、外科手術を効果的に実施するために複数の機能のほとんどを要求する場合には、外科手術ナビゲーションシステム装置またはプラットフォームが全部のモジュール１～６を含むように構成可能である。

全部のまたは一部のモジュールのコンポーネントは、小型フォームファクタ化して可搬であるように製造された従来品を用いるものが入手できるが、これらのコンポーネントを直感的なフォームファクタになるように組み合わせ、これらの高度機能性を１つのデバイスで達成させることが可能である。例えば、バーアタッチメント（図１０－１２）は、単一ラップトップ／デスクトップ／タブレット／高性能システムから給電可能である。バー（図１０－１２）は、その形状故に人間工学的に優れており、かつデザインが非常に美的であり、ＡＲ頭部搭載式ディスプレイにラッチして／取り付けて機能させることができる。説明した実施形態でのモジュールの配置は、外科手術視野内で全く制限なしに外科医１５０２が手術することを可能にし、外科手術視野内での器具の自由な動きを可能にする。

画像収集およびレンダリングのためのソフトウェア

外科手術ナビゲーションシステムの一部として、幾つかの実施形態によれば、開示されたプラニングおよび処理ソフトウェアが、受信したステレオカメラデータ等のハードウェア入力データを、複数のデータセットを一緒にオーバーレイするより有用な視覚表示に変換するソリューションを提供する。さらに、本明細書で説明するソフトウェアは、手術室内のローカルビューへのリモート接続を可能にする。

幾つかの実施形態において、外科手術ナビゲーションシステムソフトウェアはプラニングソフトウェアを含む。任意の手技に先立って、プランが必要とされる。このプランは、手技を実施する外科医によって生成され承認される。プラニングソフトウェアは、患者の３Ｄスキャン（例えば、磁気共鳴（ＭＲ：ｍａｇｎｅｔｉｃ ｒｅｓｏｎａｎｓｅ）およびコンピュータ断層撮影（ＣＴ：ｃｏｍｐｕｔｅｒｉｚｅｄ ｔｏｍｏｇｒａｐｈｙ））および／または２Ｄスキャン（例えば、Ｘ線および超音波）をしばしば必要とする。

全てのＭＲおよびＣＴスキャンは、一例として、国際的に認められたフォーマットである、医療におけるデジタル画像および通信（ＤＩＣＯＭ：Ｄｉｇｉｔａｌ Ｉｍａｇｉｎｇ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ ｉｎ Ｍｅｄｉｃｉｎｅ）フォーマットで提供可能である。

幾つかの事例におけるソフトウェアは、ローカルシステム（例えば、ラップトップ、デスクトップ、タブレット）上でまたはクラウド上で利用可能とすることができる。

ソフトウェアは、医療画像を記憶するＰＡＣＳ（Ｐｉｃｔｕｒｅ ａｎｄ Ａｒｃｈｉｖｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｙｓｔｅｍ、画像保存通信システム）に接続可能である。ソフトウェアは、ＰＡＣＳシステムに問い合わせを行い、患者３Ｄ画像をダウンロードすることができる。

ユーザは、ここで、ナビゲーションシステムの一部であってよいデバイス（例えば、ラップトップ、デスクトップ、タブレット）上で３Ｄスキャンを観察するオプションを有する。ユーザは、例えば、ウィンドウイング、ズーム、パン、スクロール、ライン、ポイント選択等の、ＤＩＣＯＭ画像を操作する標準的な画像処理ツールにアクセスすることができる。

ユーザがターゲットおよびエントリポイントを選択して軌跡を作成することにより、手技を支援するチームによる軌跡の検討ができる。

さらに、幾つかの実施形態において、ソフトウェアは、手術室内で患者のリアルタイム撮像データを処理し、３Ｄおよび／または２Ｄ画像を患者のリアルタイム画像データと組み合わせ、且つ３Ｄおよび２Ｄ画像を患者の身体の適切なロケーションコンテキスト内で示されるべき場所に精密にオーバーレイさせることができる。

このプランは、ＨＩＰＡＡ適合データベースに保存可能であり、ＨＩＰＡＡ適合データベースは、デバイス上でローカルであるとしたり、或いは、ＨＩＰＡＡ適合クラウド上に保存したりすることができる。

プランは、ローカルデバイスからリムーバル記憶媒体にエキスポートして他の外科手術ナビゲーションプラニングステーションで使用できるようにしたり、或いは、他の外科手術ナビゲーションプラニングステーション上のクラウドから直接アクセスしたりすることができる。データベースに保存されたプランは、それをユーザによって保存されたとおりに再ロードするのに必要な全てのデータを有するので、手術室内で同じタスクを反復するのにかかる時間が節約される。

開示される外科手術ナビゲーションシステムソフトウェアは、医療画像処理のための幾つかの高度機能を有しており、ユーザ／外科医が精緻かつより迅速にプラニングするのを助ける。

図１６は、幾つかの実施形態による、高レベルの外科手術ナビゲーションシステム（例えば図３のシステム３００）ソフトウェアのブロック図を示す。図１６は、ソフトウェアシステム内のデータが、本明細書で開示される種々の実施形態に従って、システムの異なるモジュール間でどのように流れるかを示す。

図１６を参照すると、幾つかの実施形態において、ソフトウェアは、その処理アルゴリズムの一部としてレジストレーションプロセス１６００を実施する。レジストレーション１６００は、同じ患者の２つのスキャンが、同じ座標系を有する（融合）ように重ね合わされ、それにより、２つのスキャンの特徴（フィーチャー）が重ね合わされるよう、プロセスを記述するのに用いることができる。例えばＴ１ ＭＲＩ、Ｔ２ ＭＲＩ、ＤＷＩ ＭＲＩ、ＣＴ ＰＬＡＩＮ、ＣＴ ＣＯＮＴＲＡＳＴ、ＦＭＲＩ、ＤＴＩ ＭＲＩ等のように、スキャン毎に取得プロトコルが異なり得るため、取得されるスキャンは多数存在する。コレジストレーション１６０２は、患者に対する１つ、２つ、または３つ以上の共通参照ポイントにおいて連係（コーディネーション）されるように複数のデータセットを連係させることであると言える。ソフトウェアは、外科手術手技をどのように実施するかのプラン１６０４と組み合わせて、患者上の外科手術部位のコンテキストでコレジストレーション済みデータの種々のセットを配置することができる。次いでソフトウェアが主にこのエリアに処理を向けるため、ユーザは、外科医またはナビゲーションシステムハードウェアの他のユーザに利用可能なＡＲディスプレイ１５０６（図１５）を通して、外科手術部位に関連する種々のコレジストレーション済みデータセットを見ることができる。剛体マーカおよび／または硬質外科器具マーカは、コレジストレーションプロセス１６０２中に種々のデータセットを客観的に方向付けるのに使用できるので、リアルタイムＡＲディスプレイを実施する間、信頼し続けることができる。

図１７は、種々の実施形態による外科手術ナビゲーションシステムソフトウェアのレジストレーションモジュールを示し、これはレジストレーションプロセス１７００のためのハイブリッドアプローチである。ここで、ソフトウェアは、記録された２Ｄまたは３Ｄ画像から固定画像１７０２にアクセスし、それらを、ナビゲーションシステムハードウェア（例えば図１５のヘッドセット１５０６）を通して観察されるリアルタイムデータ等の可動画像１７０４と組み合わせることができる。ソフトウェアの用語では、融合される２つの患者スキャンが存在する場合、一方のスキャンが固定スキャンと呼ばれ、他のスキャンは可動スキャンであるのが一般的ある。可動スキャンは、典型的には、固定スキャンと融合されるように、アルゴリズムで導出される回転および並進（または共に変換とも呼ばれる）の適用対象となるスキャンである。

特徴抽出１７０６が両方の画像で実施可能されることにより、旋回基部となる（to pivot off of）主要な特徴が識別される。変換１７０８、１７１０は、高忠実度および低忠実度共に、画像を共通データセットに変換するのに実施される。次いでソフトウェア１７００は可動画像１７０４に対して微細変換１７１２を適用し、画像は最も近いことが知られている固定画像によりよく調整（キャリブレーション）される。可動画像１７０４のリサンプリング１７１４は、固定画像とのベストマッチを見出すために実施される。リサンプリングされた画像はロードされ（１７１６）、固定画像１７０２と比較され、次いで、固定画像１７０２とブレンドされる（１７１８）。幾つかの実施形態に従って、所望により、ブレンドされた画像のうちの１つの画像の他の画像に対する不透明度を変更する（１７２０）ことができる。

レジストレーションプロセス１７００のために使用されるアルゴリズムは、例えば、外科手術ナビゲーションシステムによって使用されるカスタムハイブリッドアルゴリズムとすることができる。例えば、２ステッププロセスにおいて、第１のステップは、２つのスキャンが同じ座標系に近づけるようにできる粗いレジストレーション法１７００である。しかし、特定の状況において、この方法１７００の出力は、このステップが特徴の小さいセットに対して実行され、粗い推定を行わなければならないだけであるので、要する時間は少ないが、この方法では先に進むための精密な結果は得られない。

第２のステップは、微調整レジストレーション法１７１０であり、できる限り近づくように２つのスキャンを微調整することにより、２つのスキャンが同じ座標系を共有し、特徴を重ね合わせることが可能になる。このステップは、２つのスキャン間でマッチしなければならない特徴の大きいセットを用いて実行される。

典型的なレジストレーションプロセスは３～４分かかるのに対し、本明細書で論じるレジストレーションプロセスは、種々の実施形態によれば、要する時間が平均計算で最大６０％も低減する。

リアライメント：幾つかのシナリオにおいて、前述の方向で取得されたスキャンを、ユーザは別の好ましい方向に再整列させたいと思う。３Ｄ世界において、方向は、世界が認識される方法を変化させる。最も先進的なユーザでさえも、異なるアライメントから同じ器官／シーンを見ると、混乱する傾向がある。リアライメントは、平面の概念を用いて行われる。ユーザが提供する参照平面を使用することにより、３Ｄスキャンの再整列（リアライメント）が行われる。平面は、最小限の３つのポイントを用いて規定可能である。

外科手術ナビゲーションシステム（例えば図３のシステム３００）リアライメントでは、２つのポイントをユーザから求めることができる。第３のポイントは、選択された２つのポイントの中間ポイントをｚ軸方向に０．１ｍｍ増分させたものとして、ソフトウェアにより自動的に選択可能である。ポイント１が、座標ｐ１、ｐ２、ｐ３によって参照され、ポイント２が、座標ａ１、ａ２、ａ３によって参照される場合、平面を形成するための第３のポイントは、（（ｐ１＋ａ１）／２、（ｐ２＋ａ２）／２、（ｐ３＋ａ３）／２＋０．１ ｍｍ）の計算を行うことによって自動的に選択可能である。このアプローチにより、平面が非常に精密に得られる。

拡張現実オーバーレイを効果的に生成するために、コレジストレーションを用いて、ホログラムをリアルシーン上に重ね合わせることがしばしば行われる。図１８は、種々の実施形態による、シーン中の剛体／固定マーカに基づいて拡張現実ナビゲーションを実現する外科手術ナビゲーションシステムソフトウェアのデータフローおよび作業の一例、ならびに、システムが複数のホログラフィデバイスと同時に通信可能である態様を示す。

コレジストレーション（例えば図１６の１６０２）は、ポイントの２つのセットを入力としてとることができ、ポイントの第１のセットはスキャン上で選択されたポイントを含み、第２のセットは、拡張モジュールの助けを借りて選択されるリアル世界のポイントを含む。

ポイントが選択された後、システム（例えば図３のシステム３００）は、３Ｄボリュームを０．１ｍｍに近い高精度でオーバーレイする２つのステップをとることができる。

第１のステップではポイントがゆるく選択されるため、システム（例えば図３のシステム３００）は、種々の実施形態に従って、ポイントの２つのセットを用いて粗い推定を行うことによって、３Ｄボリュームをできる限り近づける。

精緻化（ｒｅｆｉｎｅｍｅｎｔ）ステップと呼ぶことができる第２のステップで、システム（例えば図３のシステム３００）は、種々の実施形態に従って、拡張モジュールからの３Ｄポイントクラウド生成と、スキャンからの３Ｄポイントクラウド生成を行い、これを用いてコレジストレーションを精緻化することにより、オーバーレイの高い精度を得る。

ユーザが拡張オーバーレイを制御するために与えられる種々のオプションが存在する。これらのオプションは、例えば、不透明度、サイズのクリッピング、着色、ウィンドウイング、レジストレーションの精緻化、ＡＲモードを含む。図２１は、種々の実施形態に従って、器具（マーカを有する）がナビゲーションに使用される態様のデータフローおよび作業を示す。

ホログラフィモードでは、スキャンを用いてより詳細な３Ｄボリュームを作成することにより、スキャンの異なる部分を強調し、それらを異なるように着色することができる。これにより、種々の実施形態に従って、一部のユーザが解剖学的構造の異なる部分をより明瞭に可視化するのを助けることができる。

プランが作成され、３Ｄボリュームが精密にオーバーレイされると、システム（例えば図３のシステム３００）は、種々の実施形態に従って、プランを自動的にロードし、３Ｄボリュームと共にそれもオーバーレイすることができる。

これが行われる間、固定３Ｄマーカが視野内に留まるのが通常であり、システムは、種々の実施形態に従って、固定マーカに対するオーバーレイの相対的な方向を用いて、オーバーレイを固定マーカのサブシステムにすることができる。

するとユーザは、種々の実施形態に従って、固定マーカに対するホログラフィオーバーレイの方向をシステムが更新している間に、固定マーカの周りを動き回ることができる。固定マーカの例は、図２５および２６に示され、後述する。

ユーザは、観察と手技の実施によい位置を選択すると、種々の実施形態に従って、ユーザが使用したいと思う器具に器具追跡マーカを固定することができる。これらの固定マーカは、例えば、図２５または２６に示すマーカと同様とすることができる。

システムは、器具をリアルタイムで追跡することができ、ホログラフィオーバーレイを相応して更新することができる。図２１を参照。

このようにして、ユーザは、種々の実施形態に従って、患者の内側でのユーザの位置決めをより明瞭に見ることができる。

任意の時点で、ホログラフィオーバーレイが正しく整列しなくなる場合、ユーザが補正を始動させると、システムは問題を迅速に解決し、精度をほぼ０．１ｍｍに戻す。

図１９は、組み合わせアルゴリズムを使用してホログラフィ投影がリアルシーン上に重ね合わされる態様のデータフロー１９００および作業を示す。例えば、ＣＰＤ（：Ｃｏｒｒｅｌａｔｉｎｇ ｐｏｉｎｔ ｄｒｉｆｔ ａｌｇｏｒｉｔｈｍ、コリレーティングポイントドリフトアルゴリズム）およびＩＣＰ（：Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ ａｌｇｏｒｉｔｈｍ、反復最接近点アルゴリズム）が、種々の実施形態に従って利用可能である。

図２０は、種々の実施形態による、ホログラフィモードで可能にされる高度可視化機能セットの例を示す。本開示のソフトウェアは、これらの種々のセッティングに従って、ＡＲ環境内のセッティングも調整するように構成可能である。

ユーザはここで、ＨｏｌｏＬｅｎｓまたはＭａｇｉｃ Ｌｅａｐ（図１８）のような、任意の数の他のＡＲデバイスを接続し、且つ固定マーカを参照として使用することにより、利用可能なＡＲオーバーレイを有意の補助として用いて手技を継続することができる。

図２２は、幾つかの実施形態に従って、本開示のナビゲーションシステム（例えば図３のシステム３００）を使用してユーザが見ることができるものの例２２００を提示する。ここでテーブル上に、外科医等のユーザが普通に見ることができる頭蓋骨２２０２が示されている。次いで、ナビゲーションシステムハードウェアを使用し、バーアタッチメント（図１０－１２）付きディスプレイを通して、またはナビゲーションシステムヘッドセット（例えば図１５のヘッドセット１５０６）を通して、ユーザは、前もって記録された画像データを用いることにより、頭蓋骨２２０２の内側に存在していた可能性があるもののスライスのオーバーレイされた画像を見ることができる。ここで、データは、磁気共鳴撮像を通して得られたであろう脳および内部通路（internal passageways）の断面を含む。さらに、本開示のナビゲーションシステム（例えば図３のシステム３００）によれば、さらにより多くの撮像データセットを同時に一緒にオーバーレイすることが可能である。例えば、頭蓋骨２２０２のＸ線データをＭＲデータと共に重ね合わせることもできる。ユーザが従来のように頭部の異なるビューを、並んだこれらの３つの異なるビューで見るのではなく、本開示のナビゲーションシステム（例えば図３のシステム３００）によれば、ビューが存在するだろう場所で精密に互いに重ね合わせることによって、全てのビューがスムーズに関連している様をユーザが理解することが可能になる。

図２３は、幾つかの実施形態による、通常は視野内にある頭蓋骨２３０２上に重ね合わされた画像データセットのうちの１セットの不透明度の種々の程度の例２３００を示す。図示するように、１セットのビューの透明度は、本開示のソフトウェアを使用して、所望に応じて増減可能である。

図２４は、幾つかの実施形態による、複数のオーバーレイを提供するナビゲーションシステムの別の例２４００を提供する。この例において、患者は手術室内にいて持ち上げられている。患者の頭部２４０２は、左に示すように、支持体上に載っている。患者の残りの部分は隠されている。本開示のナビゲーションシステムを使用する外科医は、左に示すように、患者の頭蓋骨の撮像データを患者の頭部のライブビュー上に重ね合わせて用いることができる。さらに、外科医は、右に示すように、患者の脳２４０４の断面の撮像データの一部分だけを同じビュー上に重ね合わすこともできる。指定された脳内物質２４０４のロケーションは、それが患者の頭部２４０２の内部に存在する場所のロケーションに精密に配置されるため、外科医は、患者の頭蓋骨２４０２の位置が、患者の脳２４０４の所望の部分にどのように関連しているかを理解することができる。上記ソフトウェアの節で論じたように、これら種々のコレジストレーション済みデータセットは、ＭＲＩおよびＸ線スキャンからのようにまず固定撮像技法から得ることができる。スキャンが２Ｄスライスで得られる場合でも、種々の３Ｄソフトウェア画像形成技法を先立って実施することで、２Ｄ画像データの３Ｄレンダリングを生成することができる。すると、画像データの３Ｄレンダリングを患者の通常ビューに対して正しい位置で重ね合わることができるので、外科医が患者の周りを動き回って異なる角度からデータセットの全てを観察することが可能になる。

図２５および２６は、幾つかの実施形態による、画像データの複数のセットが患者上に重ね合わされることを可能にするための、ユニバーサル参照ポイントを提供する固定マーカ例２５００、２６００を提示する。図２５では、ターゲット患者の近くの一定位置に配置可能な、非対称に並べられた４つのマーカ２５０２を有するデバイスが示される。ソフトウェアは、視覚的キューとしてこれらの４つのポイント２５０２を探し、画像データの他のセットでこれらの同じ４つのポイント２５０２を再び参照することによって、画像を正しく方向付けることができる。別の例として、図２６では、患者または手術テーブルの固定位置に取り付け可能な固定視覚的キューとしてやはり４つのポイント２６０２を有する器具２６００が示される。これらは、ＡＲ画像が配置されるべき場所を較正（キャリブレーション）するために、ナビゲーションソフトウェアによって参照される。

幾つかの実施形態において、本開示のナビゲーションソフトウェアは、画像データ内および／またはユーザ、例えば外科医のリアルタイムビュー内の一意な特徴によって、固定参照ポイントを見出すことができる。例えば、ナビゲーションソフトウェアは、患者の眼または眼窩を、患者の頭蓋骨に対する参照ポイントとして識別してよい。これらの種類のキューは、患者の一部が隠されていて、人工的に配置された参照マーカのビューを維持することが常に保証となる訳ではない場合に有用であり得る。同様に、患者上の、または患者の近くにあるタイプの参照ポイントは、移動する外科医をソフトウェアが連続的に処理しているときに変更可能である。

図２２、２３、および２４の例に示すように、本開示のナビゲーションシステムは、デジタル画像をライブ画像上にリアルタイムにオーバーレイし、観察者がオブジェクトの周りをリアルタイムに動き回るときでも、デジタル画像をライブオブジェクトの同じ位置に固定することが可能である。これは融合プロセスと呼ばれるものであり、ヘッドギア（例えば図１５のヘッドセット１５０６）またはバーアタッチメント（図１０－１２）を含むモバイルコンピュータ等のナビゲーションシステムハードウェアによりリアルタイムで実施される。図１６～２１、特に図１７で説明するソフトウェアアルゴリズムと矛盾せずに、ナビゲーションシステム（例えば図３のシステム３００）はまず、ＭＲスキャンまたはＣＴスキャンの複合スライスの３Ｄレンダリング等の、オブジェクトに関連するデジタルコンテンツを受信することができる。ナビゲーションシステム（例えば図３のシステム３００）は、デジタル画像の形状を、ライブオブジェクトのリアルタイムで見られるものにマッチさせることを含む３Ｄ融合技法を実施することができる。一例として、ナビゲーションシステム（例えば図３のシステム３００）は、患者の頭蓋骨のＸ線データおよび患者の脳のＭＲデータにアクセスしながら、患者の頭部をリアルタイムで眺めることができる。現在眺めている患者の頭部のサイズを用いてデジタルコンテンツを正しくサイズ決定するために、ソフトウェアにより１つ以上の変換を行うことが必要な場合がある。

幾つかの場合、ナビゲーションシステム（例えば図３のシステム３００）ソフトウェアは、デジタル画像の２Ｄ融合プロセスを１つ以上実施することもできる。ナビゲーションシステム（例えば図３のシステム３００）ソフトウェアは、ライブオブジェクトの角度にマッチさせるために２Ｄ画像の１回または複数回の回転を実施することによってこれを達成することができる。そうすると、ナビゲーションシステム（例えば図３のシステム３００）ソフトウェアは、ライブオブジェクト上への３Ｄおよび２Ｄ画像の一方または両方のオーバーレイを表示するとともに、観察者がオブジェクトの周りを動き回る間、３Ｄおよび２Ｄ画像の適切な方向を絶えず保つことができるように、ライブオブジェクトの観察者の角度および位置を追跡することができる。上記で論じたように、融合を所望するオブジェクト毎の一意な参照マーカを用いることにより、ナビゲーションシステムはオブジェクトのその視野に対する現在の角度および位置がどのようなものかを識別することが可能である。これらのマーカ２５０２、２６０２の例は、図２５および２６に示される。上記で述べたように、本開示のナビゲーションシステム（例えば図３のシステム３００）は、観察者がリアルタイムライブオブジェクトの周りを動き回るときの方向の正確さと、０．１ｍｍ以内の配置精度とで、これらのデジタル画像をリアルタイムライブオブジェクトに融合することができる。

幾つかの実施形態において、参照マーカ（例えば図２５、２６のマーカ２５０２、２６０２）は、患者の医療手技に伴われる外科または医療器具上にも含まれる。このため、ナビゲーションシステム（例えば図３のシステム３００）が本明細書で説明する技法を用いて医療デバイスの動きを組み込むことにより、医療デバイスとライブオブジェクトおよびオーバーレイとの拡張現実相互作用が提供可能になる。こうして、リモートユーザは、患者から物理的に遠くにいても、医療デバイスが、患者および患者の内側の関連する部分とどのように相互作用可能であるか、または相互作用すべきかを示すことができる。これらの技法は、リモートロケーションからの練習または準備にも使用できる。したがって、本明細書の開示によれば、練習に患者データの精密なレプリカを提供することによって、および／または、他者を訓練する教育ツールを提供することによって、医療手技の準備を改善するための強力なツールが提供可能となる。

本明細書は多くの特定の実装態様詳細を含むが、これらは、任意の発明のまたは特許請求可能であるものの範囲に対する制限としてではなく、むしろ、特定の発明の特定の実装態様に固有の特徴の説明として解釈されるべきである。別個の実装態様のコンテキストにおいて本明細書で説明される或る特定の特徴は、単一実装態様のコンビネーションの形でも実装可能である。逆に、単一実装態様のコンテキストで説明される種々の特徴は、複数の実装態様の形で別々に、または任意の適切なサブコンビネーションの形でも実装可能である。さらに、特徴が特定のコンビネーションの形で作用するものとして上記で説明され、さらにまずはそのようなものとして特許請求されるとしても、特許請求されるコンビネーションからの１つまたは複数の特徴は、幾つかの場合、そのコンビネーションから切り出すことができるのであり、特許請求されるコンビネーションは、サブコンビネーションまたはサブコンビネーションの変形を対象とすることができる。

同様に、作業は、特定の順序で図面に示されるが、これは、望ましい結果を達成するために、そのような作業が、示す特定の順序でもしくは順番に実施されること、または、全ての示す作業が実施されることが必要であると理解されるべきではない。特定の状況において、マルチタスキングおよび並列処理が有利であり得る。さらに、上記で説明する実装態様における種々のシステムコンポーネントの分離は、全ての実装態様においてそのような分離を必要とするものとして理解されるべきでなく、説明するプログラムコンポーネントおよびシステムは、一般に、単一ソフトウェア製品への統合、または複数のソフトウェア製品へのパケージ化が可能であることが理解されるべきである。

「または（ｏｒ）」への言及は、「または」を使用して説明される任意の用語が、説明される用語の単一、２つ以上、および全てのうちの任意のものであることができるように、包含的（ｉｎｃｌｕｓｉｖｅ）なものとして解釈可能である。「第１の（ｆｉｒｓｔ）」、「第２の（ｓｅｃｏｎｄ）」、「第３の（ｔｈｉｒｄ）」等のラベルは、順序付けを示すことを必ずしも意味せず、一般的に単に同様のまたは類似のアイテムまたは要素を区別するために使用されている。

本開示で説明する実装態様に対する種々の変更は、当業者に容易に明らかになることができ、本明細書で規定される一般原理は、本開示の趣旨または範囲から逸脱することなく、他の実装態様に適用可能である。そのため、特許請求の範囲は、本明細書に示す実装態様に限定されることを意図されるのではなく、本開示、原理、および本明細書で開示される新規な特徴と矛盾しない最も広い範囲が与えられるべきである。

別段に特に述べられない限り、「処理する（ｐｒｏｃｅｓｓｉｎｇ）」、「計算する（ｃｏｍｐｕｔｉｎｇ）」、「計算する（ｃａｌｃｕｌａｔｉｎｇ）」、「決定する（ｄｅｔｅｒｍｉｎｉｎｇ）」、「提示する（ｐｒｅｓｅｎｔｉｎｇ）」、「表示する（ｄｉｓｐｌａｙｉｎｇ）」または同様なもの等の語を使用する本明細書の考察は、１つまたは複数のメモリ（例えば、揮発性メモリ、不揮発性メモリ、またはその任意の適切な組み合わせ）、レジスター、あるいは、情報を受信する、記憶する、送信する、または表示する他の機械コンポーネント内の物理的（例えば、電子、磁気、または光）量として表現されるデータを操作または変換する機械（例えば、コンピュータ）の行為またはプロセスを指すことができる。さらに、別段に特に述べられない限り、用語「１つの（ａ）」または「１つの（ａｎ）」は、特許文書において一般的であるように、１つまたは２つ以上のインスタンスを含むために本明細書で使用される。最後に、本明細書で使用するとき、接続詞「または」は、別段に特に述べられない限り、非排他的な「または」を指す。

本開示は、例証的であり、制限的でない。さらなる変更は、本開示に照らして当業者に明らかになることになり、添付特許請求項の範囲内に入ることを意図される。

Claims (20)

1. 拡張現実デバイスであって、
   ハウジングと、
   前記ハウジングに結合され、３次元コンポーネントを有する画像データを提供するように構成される深度カメラと、
   前記ハウジングに結合され、人間ユーザが自然に見ることができない超感覚的画像データを提供するように構成される可視カメラと、
   画像データの少なくとも２つのセットを受信し、画像データの該少なくとも２つのセットの両方を、ユーザの視野内の共通参照点上にオーバーレイするように構成されているオーバーレイディスプレイコンポーネントと
   を備える、拡張現実デバイス。
2. 前記ハウジングを支持するように構成されているヘッドセットをさらに備える、請求項１に記載の拡張現実デバイス。
3. 前記深度カメラおよび前記可視カメラは、前記ユーザの視野が該深度カメラの視野および該可視カメラの視野の両方に一致するように、前記ヘッドセット上に位置決めされている、請求項２に記載の拡張現実デバイス。
4. 前記オーバーレイディスプレイコンポーネントは、前記ユーザが前記ヘッドセットを装着するときに該ユーザの視野上に位置決めされている、請求項２に記載の拡張現実デバイス。
5. モバイルデバイスに取り付けるように構成されているバーアタッチメントをさらに備える、請求項１に記載の拡張現実デバイス。
6. 前記オーバーレイディスプレイコンポーネントは、前記モバイルデバイスの可視ディスプレイを利用する、請求項５に記載の拡張現実デバイス。
7. 外科手術ナビゲーションのためのシステムであって、
   ローカル地理的ロケーションに位置決めされた第１の拡張現実（ＡＲ）デバイスと、
   リモート地理的ロケーションに位置決めされ、前記第１のＡＲデバイスと有線または無線で結合された第２の拡張現実デバイスと、
   ソフトウェアシステムであって、前記第１のＡＲデバイスおよび前記第２のＡＲデバイスの両方に結合され、
   前記第１のＡＲデバイスによって生成されるリアルタイム画像データを処理し、
   前もって記録された固定医療画像データにアクセスし、
   前記第２のＡＲデバイスに、前記リアルタイム画像データおよび該リアルタイム画像データ上に重ね合わせた前記固定医療画像データを表示させる
   ように構成されている、ソフトウェアシステムと
   を備える、システム。
8. 前記第１のＡＲデバイスは、前記視野内で固定参照マーカを識別し、該固定参照マーカに関する画像データを前記第２のＡＲデバイスに送信するように構成されている、請求項７に記載のシステム。
9. 前記ソフトウェアシステムは、前記固定参照マーカに関する前記画像データを使用して、前記固定医療画像データを前記リアルタイム画像データに対して方向付けるように構成されている、請求項８に記載のシステム。
10. 前記固定医療画像データは、２Ｄおよび３Ｄ画像データを含む、請求項７に記載のシステム。
11. 前記ソフトウェアシステムは、前記リアルタイム画像データ上に重ね合わされた前記２Ｄ画像データおよび前記３Ｄ画像データの両方を同時に表示させるように構成されている、請求項７に記載のシステム。
12. 前記リアルタイム画像データ上の前記重ね合わされた２Ｄおよび３Ｄデータは、前記リアルタイム画像データのオブジェクト内部、または内側の物理的コンテンツの１つまたは複数のビューを示す、請求項７に記載のシステム。
13. オブジェクトのデジタル画像データを該オブジェクトのリアルタイムビューに融合させる拡張現実（ＡＲ）の方法であって、
    前記オブジェクトのビューにリアルタイムにアクセスすることと、
    前記オブジェクトの前記デジタル画像データにアクセスすることとを含み、前記オブジェクトの前記デジタル画像データは、前記オブジェクトの１つまたは複数の静的デジタル画像として予め取り込まれ記憶されたものであり、
    前記方法がさらに、
    拡張現実ディスプレイスクリーンを使用し、前記オブジェクトの前記ビューの前記拡張現実ディスプレイスクリーン内での位置または方向が変化するとき、前記デジタル画像データが前記オブジェクトの前記ビューにリアルタイムで固着されたままであるように、前記デジタル画像データを前記オブジェクトの前記ビューにリアルタイムに固着させる融合技法を実施することを含む、
    方法。
14. 前記デジタル画像データは前記オブジェクトの３Ｄデジタル画像データを含む、請求項１３に記載の方法。
15. 前記デジタル画像データは前記オブジェクトの２Ｄデジタル画像データを含む、請求項１３に記載の方法。
16. 前記オブジェクトの２Ｄデジタル画像データにアクセスすることと、
    ３Ｄレンダリング技法を実施することにより、前記２Ｄデジタル画像データを前記オブジェクトの３Ｄデジタル画像データに変換することと
    をさらに含み、
    前記融合技法は、前記オブジェクトの前記３Ｄデジタル画像データを前記オブジェクトの前記ビューにリアルタイムで固着させることを含む、請求項１３に記載の方法。
17. 前記融合技法は、前記３Ｄデジタル画像データの前記サイズが前記オブジェクトの前記サイズに正しく比例して表示されるように、前記３Ｄデジタル画像データのサイズに前記オブジェクトの前記ビューのサイズをリアルタイムで一致させることを含む、請求項１４に記載の方法。
18. 前記融合技法は、前記３Ｄデジタル画像データの前記形状が前記オブジェクトの前記形状に正しく比例して表示されるように、前記３Ｄデジタル画像データの形状に前記オブジェクトの前記ビューの形状をリアルタイムで一致させることを含む、請求項１４に記載の方法。
19. 前記オブジェクトの前記ビューに近い固定参照マーカにリアルタイムでアクセスすることをさらに含み、前記固定参照マーカは、前記オブジェクトの前記ビューの前記位置または方向が変化するときでも、前記オブジェクトの前記ビューの一意な３次元方向および深度を提供するのに十分なデータが提供される、請求項１３に記載の方法。
20. 前記融合技法を実施することは、前記固定参照マーカを利用することにより、前記デジタル画像データを前記オブジェクトの前記ビューにリアルタイムで固着させることを含む、請求項１９に記載の方法。
    
    

Images