JP7247234B2 - 整形外科手術のための仮想チェックリスト - Google Patents

Description

本特許出願は、２０１８年６月１９日出願の米国仮特許出願番号第６２／６８７，０１４号、２０１８年１０月１日出願の米国仮特許出願番号第６２／７３９，４０６号、２０１８年１２月１２日出願の米国仮特許出願番号第６２／７７８，７７４号、２０１８年１２月１２日出願の米国仮特許出願番号第６２／７７８，７８９号、２０１８年１２月１２日出願の米国仮特許出願番号第６２／７７８，７６４号、２０１８年１２月１２日出願の米国仮特許出願番号第６２／７７８，７９７号、２０１８年１２月１２日出願の米国仮特許出願番号第６２／７７８，７７８号、２０１８年１２月１２日出願の米国仮特許出願番号第６２／７７８，７８８号、２０１８年１２月１２日出願の米国仮特許出願番号第６２／７７８，７６０号、２０１８年１２月１２日出願の米国仮特許出願番号第６２／７７８，７７２号、２０１８年１２月１２日出願の米国仮特許出願番号第６２／７７８，７９６号、２０１８年１２月１２日出願の米国仮特許出願番号第６２／７７８，７８２号、２０１８年１２月１２日出願の米国仮特許出願番号第６２／７７８，７９１号、２０１９年２月１２日出願の米国仮特許出願番号第６２／８０４，３８３号、２０１９年２月１２日出願の米国仮特許出願番号第６２／８０４，３９２号、及び、２０１９年２月１２日出願の米国仮特許出願番号第６２／８０４，４０２号の利益を主張する。

関節修復手術は、損傷した関節または罹患関節の修復及び／または置換を伴う。多くの場合、例えば、関節形成術などの関節修復手術は、患者の骨に埋め込む人工装具で損傷した関節を置き換えることを伴う。最適な手術結果を確実に得るために適切なサイズ及び形状の人口装具を適切に選択し、その人工装具を適切に配置することは、困難な場合がある。配置を支援するために、手術は、人工装具を受け入れるために損傷した骨の表面の成形と骨の切断もしくはドリルによる穴開けとを制御する手術器具の使用を伴うことが多い。

今日、関節の修復及び置換の術前計画を容易にする骨形状の３次元モデリングを使用する仮想可視化ツールを外科医は利用することができる。これらのツールは、患者の解剖学的構造に厳密に適合する手術ガイド及びインプラントを外科医が設計及び／または選択するのを支援でき、各患者の手術計画をカスタマイズすることによって手術結果を改善することができる。

本開示は、術前計画、医療インプラントの設計及び製造、術中ガイダンス、術後分析、及び／または関節修復手術の訓練及び教育を提供するための様々な技術を記載する。技術は、関節修復手術の特定のフェーズもしくは環境をサポートするために、または、関節修復手術の支援に多面的なエコシステムを提供するために個々に、または、様々な組み合わせで使用されてよい。様々な例において、本開示は、複合現実（ＭＲ）ベースの可視化を使用した、術前手術計画、術中手術計画、術中手術ガイダンス、術中手術追跡、及び術後分析の技術を記載する。いくつかの例では、本開示はまた、関節修復手術を行うための手術アイテム及び／または方法を記載する。いくつかの例では、本開示はまた、整形外科手術に関する教育を、複合現実を使用して提供するように構成された技術及び可視化デバイスを記載する。

本開示の様々な例の詳細を、添付図面と以下の説明に記載する。様々な特徴、目的及び長所は、説明、図面及び請求項から明らかとなろう。

本開示の例による、整形外科手術システムのブロック図である。 本開示の例による、複合現実（ＭＲ）システムを含む整形外科手術システムのブロック図である。 手術ライフサイクルの例示のフェーズを示すフローチャートである。 整形外科手術を支援する術前、術中、及び術後のワークフローを示すフローチャートである。 本開示の例による、複合現実（ＭＲ）システムで使用する可視化デバイスの概略図である。 本開示の例による、複合現実（ＭＲ）システムで使用する可視化デバイスの例示の構成要素を示すブロック図である。 ユーザの集合が術前フェーズで整形外科手術システムの複合現実（ＭＲ）システムを使用する例示の環境を示す概念図である。 手術ライフサイクルの術前フェーズの例示のステップを示すフローチャートである。 本開示の例による、手術症例を選択するための例示のウェルカム画面を示す。 本開示の例による、複合現実（ＭＲ）システムのユーザインタフェースのページの例を示す。 図１０のユーザインタフェースのページに表示することができる情報の例である。 本開示の技術による、手術パラメータ選択を支援する例示の動作を示すフローチャートである。 図１０のナビゲーションバーのアイコンの選択解除の効果を示す。 本開示の例による、図１０のユーザインタフェースの様々なページに表示される拡張（Ａｕｇｍｅｎｔ）手術モードウィジェットの例である。 図１０のユーザインタフェースのワークフローページに表示される情報の例を示す概念図である。 Ａは、本開示の例による、図１０のユーザインタフェースの上腕骨切断ページの例である。Ｂ～Ｄは、本開示の例による、Ａの上腕骨切断ページの隠れている仮想物体の例である。 本開示の例による、図１０のユーザインタフェースの取付ガイドページの例である。 本開示の例による、図１０のユーザインタフェースのインプラント取付ページの例である。 ユーザの集合が術中フェーズ中に整形外科手術システムのＭＲシステムを使用する例示の環境を示す概念図である。 肩関節修復手術の例示の段階を示すフローチャートである。 ３次元仮想骨モデルを関節修復手術中の患者の観察される現実の骨構造に位置合わせする例示の技術を示す。 ３次元仮想骨モデルを関節修復手術中の患者の観察される現実の骨構造に位置合わせする例示の技術を示す。 肩関節形成術の例示の位置合わせプロセスのステップを示す概念図である。 図２１の肩関節形成術の例示の位置合わせプロセスの追加のステップを示す概念図である。 肩関節形成術の例示の位置合わせプロセスをさらに示す概念図である。 肩関節形成術の例示の位置合わせプロセスをさらに示す概念図である。 仮想マーカを使用した例示の位置合わせ手順を示す概念図である。 仮想マーカを使用した図２５の例示の位置合わせ手順の追加のステップを示す概念図である。 本開示の例による、複合現実（ＭＲ）システムの拡張手術モードの時、ユーザが認識できる画像を示す。 複合現実（ＭＲ）システムの拡張手術モードで、外科医がインプラントコンポーネントを見ることができる仮想画像の例を示す。 複合現実（ＭＲ）システムの拡張手術モードにおいて、外科医がインプラントコンポーネントを見ることができる仮想画像の例を示す。 本開示の例による、図１の複合現実（ＭＲ）システムで採用することができる物理的マーカの例を示す。 本開示の例による、図１の複合現実（ＭＲ）システムで採用することができる物理的マーカの例を示す。 本開示の例による、図１の複合現実（ＭＲ）システムで採用することができる物理的マーカの例を示す。 本開示の例による、図１の複合現実（ＭＲ）システムで採用することができる物理的マーカの例を示す。 本開示の例による、図１の複合現実（ＭＲ）システムで採用することができる物理的マーカの例を示す。 本開示の例による、複合現実（ＭＲ）システムの拡張手術モードにおける追跡のためのプロセスフローの例である。 Ａ～Ｃは、外科医が、肩関節形成術において上腕骨の上腕骨頭の切除を行い得るステップを示す。 肩関節形成術における上腕骨頭切除のための機械的ガイドを示す。 本開示の１つまたは複数の技術による、肩関節形成術における上腕骨頭への機械的ガイドの取付のための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における上腕骨頭への機械的ガイドの取付のための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 Ａ～Ｄは、ＭＲシステムが表示し得る仮想マーカの例を示す。 本開示の１つまたは複数の技術による、肩関節形成術における上腕骨頭の移植片のリーミングのための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における上腕骨頭の移植片のリーミングのための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における上腕骨頭の移植片のドリルによる穴開けのための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における上腕骨頭の移植片のドリルによる穴開けのための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における上腕骨頭の移植片の切断のための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 Ａ～Ｃは、本開示の１つまたは複数の技術による、肩関節形成術における上腕骨頭の切除のための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術において仮想ガイダンスを使用して、上腕骨頭切除のために配置される物理的ガイドを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における上腕骨にパイロット穴を作成するための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における上腕骨にパイロット穴を作成するための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における上腕骨の測深（ｓｏｕｎｄｉｎｇ）のための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における上腕骨の穿孔（ｐｕｎｃｈｉｎｇ）のための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における上腕骨の圧縮（ｃｏｍｐａｃｔｉｎｇ）のための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における上腕骨の表面を準備するための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における上腕骨にインプラントを取り付けるための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における肩甲骨の関節窩へのガイドの取付のためにユーザに仮想ガイダンスを提供するＭＲシステムを示す概念図である。 肩関節形成術における関節窩に取り付けられる例示のガイドを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における関節窩をリーミングするための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における関節窩（例えば、リーミング後）に中心穴を作成するための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における関節窩（例えば、リーミング後）に中心穴を作成するための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 キール型固定具を有する関節窩プロテーゼを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における関節窩にキール型固定位置を作成するための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における関節窩にキール型固定位置を作成するための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における関節窩にキール型固定位置を作成するための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 ペグ型の固定具を有する関節窩プロテーゼを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における関節窩にペグ型固定位置を作成するための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における関節窩にペグ型固定位置を作成するための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 本開示の１つまたは複数の技術による、肩関節形成術における関節窩にインプラントを取り付けるための仮想ガイダンスを提供するＭＲシステムを示す概念図である。 肩関節形成術における、関節窩にプロテーゼを取り付けるために使用され得るネジ及び中心ステムを示す。 肩関節形成術における、関節窩にプロテーゼを取り付けるために使用され得るネジ及び中心ステムを示す。 本開示の１つまたは複数の技術による、肩関節形成術におけるＭＲシステムによって提供され得る仮想ガイダンスの概念図である。 本開示の１つまたは複数の技術による、肩関節形成術におけるＭＲシステムによって提供され得る、二次ビューウィンドウを提供する例示的ビューの概念図である。 ＭＲシステムが、肩関節形成術における肩甲骨に対するドリルの位置を示す図を含むグラフィック深さガイダンスを表示する概念図である。 欠損領域が対象領域を囲む例示の仮想モデルを示す概念図である。 欠損領域が対象領域を囲む例示の仮想モデルを示す概念図である。 欠損領域が対象領域を囲む例示の仮想モデルを示す概念図である。 本開示の１つまたは複数の技術による、手術における閉ループのツール制御のための例示の技術を示すフロー図である。 本開示の例に一致する医療デバイス及びデプスカメラの一部分の側面概念図である。 本開示に一致する医療デバイスの一部分の側面概念図である。 本開示の例に一致する複合現実（ＭＲ）システムと、深さ支援要素を含む例示のリーミングツールの概念斜視図である。 本開示の例に一致する深さ支援要素を含む例示のリーミングツールを使用する複合現実システムの概念斜視図である。 本開示の例に一致する例示のプロセスを示すフロー図である。 特別に設計された深さ支援要素の必要性を排除し得る別の深さ追跡の例の側面図である。 リーマに対する固定位置に取り付けられた深さ支援要素の例を示す別の側面図である。 深さ支援要素の位置を合わせる１つの例示の位置合わせプロセスを示す追加の図である。 深さ支援要素の位置を合わせる１つの例示の位置合わせプロセスを示す追加の図である。 深さ支援要素の位置を合わせる１つの例示の位置合わせプロセスを示す追加の図である。 本開示の例による、手術アイテムのセットと処理デバイスとを含むシステムを示すブロック図である。 本開示の例による、手術アイテムのセットとＭＲ可視化デバイスの形態の処理デバイスとを含む医療デバイスシステムを示す概念ブロック図である。 本開示の例による、手術アイテムのセットとＭＲ可視化デバイスの形態の処理デバイスとを含む医療デバイスシステムを示す別の概念ブロック図である。 肩関節形成術における例示の測深手順の図である。 肩関節形成術における例示の穿孔手順の図である。 肩関節形成術における例示の圧縮またはラスピング手順の図である。 肩関節形成術における例示の表面プレーニング手順の図である。 肩関節形成術における例示の保護手順の図である。 肩関節形成術における例示のトライアル手順の図である。 肩関節形成術における例示のトライアル手順の図である。 例示の肩関節形成術における例示のインプラント手順の図である。 例示の肩関節形成術における例示のインプラント手順の図である。 肩関節形成術における、測深器（ｓｏｕｎｄｅｒ）を患者の上腕骨に挿入する人間の上腕骨に対して行われている測深手順の側面概念図である。 図９５に示す手術手順で使用するための様々なサイズの医療用測深器の図である。 徐々に大きくなる測深器のセットを含むツールのセットの図である。 人間の上腕骨に対して行われている圧縮またはラスピング手順の側面概念図である。 徐々に大きくなる圧縮ツールのセットを含むツールセットの図である。 人間の上腕骨に対して行われている表面プレーニング手順の側面概念図である。 徐々に大きくなる表面プレーニングツールを含むツールセットの図である。 手術においてツールを識別する技術を示すフロー図である。 手術においてツールを識別し、手術の段階に基づいてこのようなツールの識別を変更する方法を示すフロー図である。 本開示に記載される手術アイテムの１つまたは複数に対応し得る手術アイテムのより詳細なブロック図である。 セットから特定の手術アイテムを識別するために仮想要素が提示された、図９７に示す手術アイテムのセットに類似する手術アイテムのセットの図である。 セットから特定の手術アイテムを識別するために仮想要素が提示された、図９７に示す手術アイテムのセットに類似する手術アイテムのセットの別の図である。 手術に必要なアイテムを識別し、アセンブリを必要とするアイテムを識別し、且つ、両面のあるアイテムの使用する面を識別するために仮想要素が提示された、図９９に示す手術アイテムのセットに類似する手術アイテムのセットの図である。 手術アイテムのセットを識別し、且つ、所与の手術アイテムと他の識別済みの手術アイテムを区別するために仮想要素が提示された、図１０１に示す手術アイテムのセットに類似する手術アイテムのセットの図である。 本開示の技術による、患者の手足の可動域のエクステンデッドリアリティ（ＸＲ）可視化を生成する例示のシステムを示すブロック図である。 患者の肩で生じる患者の右腕の例示の動きを示す概念図である。 本開示の技術による、可動域の例示のエクステンデッドリアリティ可視化を示す概念図である。 本開示の技術による、動きの分析及び可視化の範囲のためのシステムの例示の動作を示すフローチャートである。 本開示の技術による、システムの例示の動作を示すフローチャートである。 ユーザの集合が教育目的でＭＲシステムを使用する例示の設定を示す概念図である。 互いに通信する複数のＭＲデバイスを含むシステムのブロック図である。 リモート環境の１人または複数のユーザと通信しているローカル環境の１人または複数のユーザを含む分散ＭＲシステムを示すブロック図である。 リモート環境の１人または複数のユーザと通信しているローカル環境の１人または複数のユーザを含むＭＲシステムを示す別のブロック図である。 本開示の技術による、整形外科手術のワークフローステップのステップを通して、外科医、看護師、または他の医療技師等のユーザを支援し得る例示のシステムを示すブロック図である。 本開示の技術による、整形外科手術のワークフローステップのステップを通して、外科医、看護師、または他の医療技師等のユーザを支援する例示の動作を示すフローチャートである。 患者の肩に整形外科手術を行いながら、外科医、看護師、または他の医療技師等のユーザが見る、１つまたは複数の仮想チェックリスト項目のセットを含む例示のＸＲ可視化を示す概念図である。 本開示の技術による、第１の手術計画を術中フェーズ中に修正して、第２の手術計画を生成する例示のシステムを示す概念図である。 本開示の技術による、第１の手術計画を術中フェーズ中に修正して、第２の手術計画を生成する例示の動作のフローチャートである。 本開示の技術による、患者の肩の状態の分類を決定するために使用可能なＤＮＮを実施する例示のコンピューティングシステムを示すブロック図である。 図１２２のシステムを用いてコンピューティングシステムによって実施され得る例示のディープニューラルネットワーク（ＤＮＮ）を示す。 本開示の技術による、ＤＮＮを使用して肩の状態の分類を決定する時のコンピューティングシステムの例示の動作を示すフローチャートである。 本開示の技術による、ＤＮＮを使用して、肩の状態に対して推奨される手術を決定するためのコンピューティングシステムの例示の機能コンポーネントを示すブロック図である。 本開示の技術による、ＤＮＮを使用して、患者に対して推奨されるタイプの肩の手術を決定するコンピューティングシステムの例示の動作を示すフローチャートである。 整形外科手術教育のための教師用ＭＲデバイスと生徒用ＭＲデバイスとを含む教育システムの概念ブロック図である。 整形外科手術教育用の教師用ＭＲデバイスと複数の生徒用ＭＲデバイスとを含む教育システムの概念ブロック図である。 現実の教師無しで生徒によって使用される整形外科手術教育用教育システムの概念ブロック図である。 生徒に対してリモートにいる教師によって使用される整形外科手術教育用教育システムの概念ブロック図である。 生徒の１人または複数が教師に対してリモートにいる、生徒と複数の生徒によって使用される整形外科手術教育用教育システムの概念ブロック図である。 整形外科手術教育用のＭＲ及び／またはＶＲを使用する他の教育システムの概念ブロック図である。 整形外科手術教育用のＭＲ及び／またはＶＲを使用する他の教育システムの概念ブロック図である。 教師及び生徒が仮想情報を含む様々な仮想モデルを操作できる整形外科手術教育用のＭＲ及び／またはＶＲを使用する教育システムの概念ブロック図である。 生徒が仮想モデルを操作できるように仮想モデルの操作権を教師が割り当てることができる整形外科手術教育用のＭＲ及び／またはＶＲを使用する教育システムの概念ブロック図である。 ＭＲ及び／またはＶＲの支援を受けて行うことができる教育技術を示すフロー図である。 ＭＲ及び／またはＶＲの支援を受けて行うことができる教育技術を示すフロー図である。 ＭＲ及び／またはＶＲの支援を受けて行うことができる教育技術を示すフロー図である。 ＭＲ及び／またはＶＲの支援を受けて行うことができる教育技術を示すフロー図である。 ユーザが仮想モデルの操作可能なコピーを起動できる整形外科手術教育用のＭＲ及び／またはＶＲを使用する教育システムの概念ブロック図である。 生徒及び教師が幾つかの異なる仮想モデルを見て比較できる整形外科手術教育用のＭＲ及び／またはＶＲを使用する教育システムの概念ブロック図である。 教師がＭＲ／ＶＲ教育コンテンツを制御するための仮想制御メニューを有する整形外科手術教育用のＭＲ及び／またはＶＲを使用する教育システムの概念ブロック図である。 教師及び生徒がＭＲ／ＶＲ教育コンテンツを制御するための仮想制御要素を有する整形外科手術教育用のＭＲ及び／またはＶＲを使用する教育システムの概念ブロック図である。 ＭＲ及び／またはＶＲの支援を受けて実行できる教育技術を示すフロー図である。 進行中の手術の特定の詳細に関してリモートユーザの教育を支援する機能を含む教育システムの概念ブロック図である。 進行中の手術の特定の詳細に関してリモートユーザの教育を支援する術中の教育技術を示すフロー図である。 進行中の手術の特定の詳細に関してリモートユーザの教育を支援する術中の教育技術を示すフロー図である。 例示の仮想肩の仮想教師モデルと教師モデルに類似した仮想コンテンツを有する複数の生徒モデルとを示す１つの概念例である。 本開示の１つまたは複数の技術による、解剖学的構造の準備のＭＲ支援検証の例示の技術を示すフロー図である。 足関節修復手術の例示の段階を示すフローチャートである。 Ａ及びＢは、脛骨へのガイドピンの例示の取付を示す概念図である。 脛骨への例示のドリルによる穴開けを示す概念図である。 脛骨の例示の切除を示す概念図である。 Ａ及びＢは、距骨準備プロセス中に距骨に取り付けられた例示のガイドピンを示す概念図である。 距骨の例示の切除を示す概念図である。 脛骨切除と距骨切除を行った後の例示の足首の概念図である。 Ａ～Ｃは、脛骨トレイトライアルの例を示す概念図である。 脛骨インプラント固定具の例示の作成を示す概念図である。 Ａ及びＢは、距骨へのガイドピンの例示の取付を示す概念図である。 距骨上の例示の距骨切除ガイドの概念図である。 例示の後方距骨の面取り切除（ｃｈａｍｆｅｒ ｒｅｓｅｃｔｉｏｎ）の概念図である。 例示の前方距骨の面取り切除（ｃｈａｍｆｅｒ ｒｅｓｅｃｔｉｏｎ）の概念図である。 例示の前方距骨の面取り切除（ｃｈａｍｆｅｒ ｒｅｓｅｃｔｉｏｎ）の概念図である。 距骨インプラント固定具の例示の作成を示す概念図である。 距骨インプラント固定具の例示の作成を示す概念図である。 例示の脛骨インプラントを示す概念図である。 準備された脛骨の例を示す概念図である。 脛骨インプラントの脛骨内への例示の打ち込み（ｉｍｐａｃｔｉｏｎ）を示す概念図である。 例示の距骨インプラントを示す概念図である。 距骨インプラントの距骨内への例示の打ち込みを示す概念図である。 脛骨インプラントと距骨インプラントの間に埋め込まれた例示のベアリングを示す概念図である。 本開示の１つまたは複数の技術による、ＭＲ支援手術の例示の技術を示すフロー図である。

本開示のある特定の例を、添付図面を参照して記載する。図面中、類似の参照番号は類似の要素を表す。しかしながら、添付図面は、本明細書に記載する様々な実施態様だけを示し、本明細書に記載の様々な技術の範囲を制限する意図はないことを理解されたい。図面は、本開示の様々な例を示し、記載する。

以下の記載において、本発明の理解のために多くの詳細が記載されている。しかしながら、これらの詳細が無くても本発明を実践してよく、記載の例から多くの変形または修正が可能であり得ることを当業者は理解されよう。

整形外科手術は、患者の損傷した関節または罹患関節を修復または置換するために１つまたは複数の人工装具デバイスを埋め込むことを伴い得る。今日では、罹患関節または損傷した関節の画像データを使用して、外科医が術前に見て操作できるような正確な３次元骨モデルを生成する仮想の手術計画ツールが利用できる。これらのツールによって、外科医は、手術をシミュレーションし、患者の実際の骨の輪郭により厳密に一致したインプラントを選択もしくは設計し、且つ、特定の患者の骨の修復に特に適合された手術器具及びガイドツールを選択もしくは設計して、手術結果を向上させることができる。これらの計画ツールを使用すると、典型的に、個々の患者に合わせて選択または製造されるインプラント及び手術器具を完備した術前手術計画が生成される。実際の手術環境になると、外科医は、患者の実際の骨に対して術中に術前手術計画を検証したいことが多い。この検証によって、異なるインプラント、インプラントの異なる位置もしくは向き、及び／または手術計画を行うための異なる手術ガイドなど、術前手術計画への調整が必要であると判断される場合がある。さらに、外科医は、インプラントコンポーネントの位置及び向きをより効率的且つ正確に決めるために、実際の処置中に患者の現実の骨に対する術前手術計画の詳細を見たい場合がある。例えば、外科医は、インプラントコンポーネントの位置決め及び向きのガイダンス、インプラントコンポーネントを受け入れる骨もしくは組織の準備のガイダンス、手順もしくは手順のステップの詳細の見直しのガイダンス、及び／またはツールもしくはインプラントの選択及び手術ワークフローの追跡のガイダンスを提供する術中の可視化を得たい場合がある。

従って、本開示は、手術前及び手術中に複合現実（ＭＲ）可視化システムを用いて手術計画の作成、実施、検証及び／または修正を支援するシステム及び方法を記載する。ＭＲ、または、いくつかの例では、ＶＲを使用して手術計画とやりとりし得るので、本開示では、手術計画を「仮想の」手術計画と呼ぶ場合もある。複合現実可視化システム以外の、または、それらに追加する可視化ツールが、本開示の技術に従って使用されてよい。手術計画、例えば、ＢＬＵＥＰＲＩＮＴ（商標）システムまたは他の手術計画プラットフォームによって生成される手術計画は、例えば、骨もしくは組織準備ステップ及び／またはインプラントコンポーネントの選択、修正及び／または配置ステップを含む手術計画に従って外科医が患者に対して行う特定の手術ステップの特徴など、手術の様々な特徴を規定する情報を含み得る。このような情報は、様々な例において、外科医が選択もしくは修正するインプラントコンポーネントの寸法、形状、角度、表面輪郭及び／または向き、骨もしくは組織準備ステップにおいて外科医が規定した骨もしくは組織の寸法、形状、角度、表面輪郭及び／または向き、及び／または、患者の骨もしくは組織に対してインプラントコンポーネントの外科医による配置を規定する位置、軸、平面、角度及び／または進入点を含んでよい。患者の解剖学的特徴の寸法、形状、角度、表面輪郭及び／または向き等の情報は、イメージング（例えば、ｘ線、ＣＴ、ＭＲＩ、超音波または他の画像）、直接観察、または他の技術から導出されてよい。

本開示において、「複合現実」（ＭＲ）という用語は、現実の物理的な物体と仮想物体との両方を含む画像がユーザに見えるように仮想物体を提示することを指す。仮想物体は、物理的な現実世界の環境に実際に存在しないが、共存しているとして提示されるテキスト、２次元表面、３次元モデル、またはユーザが認識できる他の要素を含み得る。さらに、本開示の様々な例に記載される仮想物体は、例えば、３Ｄ仮想物体または２Ｄ仮想物体として提示されるグラフィックス、画像、アニメーションまたはビデオを含み得る。仮想物体は、仮想要素とも呼ばれてよい。このような要素は、現実世界の物体に類似していてもよく、類似してなくてもよい。いくつかの例では、複合現実において、カメラが、現実世界の画像をキャプチャして、現実世界の文脈で仮想物体を提示するように画像を修正してよい。このような例では、修正された画像は、ヘッドマウント、ハンドヘルドまたは他の方法でユーザが視聴可能な画面に表示されてよい。このタイプの複合現実は、ユーザがスマートフォンのカメラを外国語で書かれた標識に向け、カメラがキャプチャしたシーンの残りと共に標識に重ねてユーザ自身の言語で標識の翻訳をスマートフォンの画面で見ることができる等、スマートフォンでますます一般的になっている。いくつかの例では、複合現実において、導波路と呼ばれて得るシースルーの（例えば、透明な）ホログラフィックレンズは、ユーザが、現実世界の物体、すなわち、現実の解剖学的構造等、現実世界の実際の物体を、ホログラフィックレンズを通して見ながら、同時に仮想物体を見ることを可能にし得る。

ワシントン州レドモンドのマイクロソフト社製のＭｉｃｒｏｓｏｆｔ ＨＯＬＯＬＥＮＳ（商標）ヘッドセットは、ユーザがレンズを通して現実世界の物体を見ながら、同時に投影された３Ｄホログラフィックオブジェクトを見ることを可能にする、導波路と呼ばれ得るシースルーのホログラフィックレンズを含むＭＲデバイスの一例である。Ｍｉｃｒｏｓｏｆｔ ＨＯＬＯＬＥＮＳ（商標）ヘッドセット、または、類似の導波路ベースの可視化デバイスは、本開示のいくつかの例に従って使用され得るＭＲ可視化デバイスの例である。いくつかのホログラフィックレンズは、シースルーのホログラフィックレンズを通してある程度の透明さでホログラフィックオブジェクトを提示してよく、結果として、ユーザは、現実世界の物体と、仮想のホログラフィックオブジェクトが見える。いくつかの例では、いくつかのホログラフィックレンズは、時には、ユーザが現実世界の物体を見るのを完全に防ぎ、代わりに、ユーザが完全な仮想環境を見ることを可能にし得る。複合現実という用語は、１人または複数のユーザがホログラフィック投影によって生成された１つまたは複数の仮想物体を認識できるシナリオも含み得る。言い換えると、「複合現実」は、ユーザの現実の物理的環境に存在するようにユーザに見える要素のホログラムをホログラフィックプロジェクタが生成する場合を含み得る。

いくつかの例では、複合現実において、いくつかまたは全ての提示された仮想物体の位置は、現実世界の物理的物体の位置に関連する。例えば、仮想物体は、現実世界のテーブルに束縛されてよく、その結果、ユーザは、ユーザがテーブルの方向を見るとき仮想物体が見えるが、テーブルがユーザの視野に無い時は仮想物体が見えない。いくつかの例では、複合現実において、いくつかまたは全ての提示された仮想物体の位置は、現実世界の物理的物体の位置に関連付けられていない。例えば、仮想アイテムは常に、ユーザが見ている場所に関わらず、ユーザの視野の右上に現れてよい。

拡張現実（ＡＲ）は、現実世界と仮想要素の両方の提示ではＭＲに類似しているが、ＡＲは一般に、提示されるものはほとんど現実であり、現実世界の提示を「拡張」するために数個の仮想の追加があることを指す。本開示の目的のために、ＭＲは、ＡＲを含むとみなす。例えば、ＡＲにおいて、陰になっているユーザの物理的環境の一部を、ユーザの物理的環境の他のエリアを明るくすること無しに、選択的に明るくすることができる。この例も、選択的に明るくされるエリアは、陰になっているユーザの物理的環境の一部に重ね合わされた仮想物体であるとみなされてよいという点で、ＭＲの例である。

さらに、本開示において、「仮想現実」（ＶＲ）という用語は、ユーザがコンピュータによって提供される感覚刺激（視覚及び音等）を体験する没入型の人工環境を指す。従って、仮想現実においては、物理的物体が現実世界に存在している時、ユーザは、いかなる物理的物体も、現実世界に存在しているように見えない場合がある。仮想世界に設定されたビデオゲームが、ＶＲの一般的な例である。「ＶＲ」という用語は、ユーザに完全な人工環境を提示するシナリオも含んでよく、そのシナリオでは、いくつかの仮想物体の場所が、ユーザに関連するように、対応する物理的物体の場所に基づく。ウォークスルーＶＲアトラクションは、このタイプのＶＲの例である。

「エクステンデッドリアリティ」（ＸＲ）という用語は、仮想現実、複合現実、拡張現実、及びユーザの現実世界環境に存在しない少なくともいくつかの認識できる要素をユーザの環境に存在するように提示することを伴う他のユーザ体験を含む、様々なユーザ体験を含む用語である。従って、「エクステンデッドリアリティ」という用語はＭＲ及びＶＲの属と見なされてよい。ＸＲ可視化は、本開示の他の場所に記載する複合現実を提示する技術のいずれかで提示されてよい、または、ＶＲゴーグル等のＶＲを提示する技術を使用して提示されてよい。

これらの複合現実システム及び方法は、手術結果の向上に使用することができる複数のサブシステムを含むインテリジェントな手術計画システムの一部であってよい。上記の術前及び術中の適用に加えて、インテリジェントな手術計画システムは、患者の回復を支援する術後ツールを含むことができ、将来の手術のための改正、または、他の患者のための手術例の支援及び計画に使用できる情報を提供することができる。

従って、計画を支援する人工知能システム、ヘルスケア提供者及び人工知能システムが使用するための術後フィードバックを提供する埋め込まれたセンサを有するインプラント（例えば、スマートインプラント）、並びに、情報をモニタリングし、リアルタイムで、または、リアルタイムに近く患者及びヘルスケア提供者に情報を提供するモバイルアプリケーションなどの、インテリジェントな手術計画システムに組み込むことができるシステム及び方法も本明細書に記載する。

患者の画像データを利用して、関節の修復及び置換のための術前計画を容易にする骨の輪郭の３次元モデルを生成する可視化ツールも利用できる。これらのツールは、外科医が、手術ガイド、及び患者の解剖学的構造に厳密に一致するインプラントコンポーネントを設計及び／または選択するのを可能にする。これらのツールは、各患者に合わせて手術計画をカスタマイズすることによって、手術結果を向上させることができる。肩の修復のためのこのような可視化ツールの例は、Ｗｒｉｇｈｔ Ｍｅｄｉｃａｌ Ｔｅｃｈｎｏｌｏｇｙ社製のＢＬＵＥＰＲＩＮＴ（商標）システムである。ＢＬＵＥＰＲＩＮＴ（商標）システムは、骨の修復領域の２次元の平面図と、修復領域の３次元仮想モデルとを外科医に提供する。外科医は、ＢＬＵＥＰＲＩＮＴ（商標）システムを使用して、適切なインプラントコンポーネントを選択、設計もしくは修正し、インプラントコンポーネントの最良の位置及び向きとコンポーネントを受け入れる骨の表面の成形の仕方とを決定し、手術計画を実行する手術ガイドツール（複数可）または器具を設計、選択、もしくは修正することができる。ＢＬＵＥＰＲＩＮＴ（商標）システムによって生成された情報は、患者の術前手術計画で蓄積され、適切な場所（例えば、広域ネットワーク、ローカルエリアネットワーク、またはグローバルネットワークのサーバ上）のデータベースに記憶され、実際の手術の前または手術中など、外科医または他のケア提供者がデータベースの情報にアクセスできる。

図１は、本開示の例による、整形外科手術システム１００のブロック図である。整形外科手術システム１００は、サブシステムのセットを含む。図１の例では、サブシステムは、仮想計画システム１０２、計画支援システム１０４、製造及び送達システム１０６、術中ガイダンスシステム１０８、医療教育システム１１０、モニタリングシステム１１２、予測分析システム１１４、及び通信ネットワーク１１６を含む。他の例では、整形外科手術システム１００は、より多くの、より少ない、または、異なるサブシステムを含み得る。例えば、整形外科手術システム１００は、医療教育システム１１０、モニタリングシステム１１２、予測分析システム１１４、及び／または他のサブシステムを省略してよい。いくつかの例では、整形外科手術システム１００は、手術追跡に使用されてよく、この場合、整形外科手術システム１００は、手術追跡システムと呼ばれてよい。他の場合には、整形外科手術システム１００は一般に医療デバイスシステムと呼ばれてよい。

整形外科手術システム１００のユーザは、仮想計画システム１０２を使用して、整形外科手術を計画してよい。整形外科手術システム１００のユーザは、計画支援システム１０４を使用して、整形外科手術システム１００を使用して生成された手術計画を見直してよい。製造及び送達システム１０６は、整形外科手術を行うのに必要なアイテムの製造及び送達を支援してよい。術中ガイダンスシステム１０８は、整形外科手術を行う際に、整形外科手術システム１００のユーザにガイダンスを提供する。医療教育システム１１０は、ヘルスケア専門家、患者、及び他のタイプの個人等のユーザの教育を支援してよい。術前及び術後モニタリングシステム１１２は、患者が手術を受ける前及び受けた後の患者のモニタリングを支援してよい。予測分析システム１１４は、様々なタイプの予測についてヘルスケア専門家を支援してよい。例えば、予測分析システム１１４は、整形外科が対象とする関節の状態の分類、例えば、診断を決定し、患者にどのタイプの手術を行うべきか及び／または手術でどのタイプのインプラントを使用するべきかを決定し、手術中に必要となり得るアイテムのタイプを決定するために人工知能技術を適用してよい。

整形外科手術システム１００のサブシステム（すなわち、仮想計画システム１０２、計画支援システム１０４、製造及び送達システム１０６、術中ガイダンスシステム１０８、医療教育システム１１０、術前及び術後モニタリングシステム１１２、及び、予測分析システム１１４）は、様々なシステムを含み得る。整形外科手術システム１００のサブシステム内のシステムは、様々なタイプのコンピューティングシステム、サーバコンピュータ、パーソナルコンピュータ、タブレットコンピュータ、スマートフォン、ディスプレイデバイス、インターネットオブシングズ（ＩｏＴ）デバイス、可視化デバイス（例えば、複合現実（ＭＲ）可視化デバイス、仮想現実（ＶＲ）可視化デバイス、ホログラフィックプロジェクタ、またはエクステンデッドリアリティ（ＸＲ）可視化を提示する他のデバイス）含むコンピューティングデバイス、手術用ツール等を含み得る。ホログラフィックプロジェクタは、いくつかの例では、ヘッドセットを着用したユーザのみが見るのではなく、ヘッドセット無しの複数のユーザまたは１人のユーザが一般に見るためのホログラムを投影してよい。例えば、仮想計画システム１０２は、ＭＲ可視化デバイスと１つまたは複数のサーバデバイスとを含んでよく、計画支援システム１０４は、１つまたは複数のパーソナルコンピュータと１つまたは複数のサーバデバイス等を含んでよい。コンピューティングシステムは、あるシステムとして動作するように構成された１つまたは複数のコンピューティングシステムのセットである。いくつかの例では、１つまたは複数のデバイスが、整形外科手術システム１００のサブシステムの２つ以上の間で共有されてよい。例えば、上記の例では、仮想計画システム１０２と計画支援システム１０４は、同じサーバデバイスを含んでよい。

図１の例では、整形外科手術システム１００のサブシステムに含まれるデバイスは、通信ネットワーク１１６と通信してよい。通信ネットワーク１１６は、インターネット等の１つまたは複数の広域ネットワーク、ローカルエリアネットワークなどを含む様々なタイプの通信ネットワークを含んでよい。いくつかの例では、通信ネットワーク１１６は、有線及び／または無線の通信リンクを含んでよい。

整形外科手術システム１００の多くの変形が、本開示の技術によると可能である。このような変形は、図１に示す整形外科手術システム１００のバージョンより多いまたは少ないサブシステムを含んでよい。例えば、図２は、本開示の例による、１つまたは複数の複合現実（ＭＲ）システムを含む整形外科手術システム２００のブロック図である。整形外科手術システム２００は、手術計画の作成、検証、更新、修正及び／または実施に使用されてよい。いくつかの例では、手術計画は、仮想手術計画システム（例えば、ＢＬＵＥＰＲＩＮＴ（商標）システム）等を使用して、術前に作成することができ、その後、例えば、手術計画のＭＲ可視化を用いて、術中に検証、修正、変更及び見ることができる。他の例では、整形外科手術システム２００を使用して、必要に応じて手術の直前または手術中に、手術計画を作成することができる。いくつかの例では、整形外科手術システム２００は、手術追跡に使用されてよく、その場合、整形外科手術システム２００は、手術追跡システムと呼ばれてよい。他の場合には、整形外科手術システム２００は一般に医療デバイスシステムと呼ばれてよい。

図２の例において、整形外科手術システム２００は、術前手術計画システム２０２、ヘルスケア施設２０４（例えば、外科センターまたは病院）、ストレージシステム２０６、及び、ヘルスケア施設２０４のユーザが、病歴等の記憶された患者情報、損傷した関節もしくは骨に対応する画像データ、及び、術前に（例として）作成された手術計画に対応する様々なパラメータにアクセスするのを可能にするネットワーク２０８を含む。術前手術計画システム２０２は、図１の仮想計画システム１０２に相当してよく、いくつかの例では、一般に、ＢＬＵＥＰＲＩＮＴ（商標）システムと類似のまたは同じ仮想計画システムに対応してよい。

図２の例において、ヘルスケア施設２０４は、複合現実（ＭＲ）システム２１２を含む。本開示のいくつかの例では、ＭＲシステム２１２は、以下でさらに詳細に記載する機能を提供する１つまたは複数の処理デバイス（複数可）（Ｐ）２１０を含む。処理デバイス（複数可）２１０は、プロセッサ（複数可）とも呼ばれてよい。さらに、ＭＲシステム２１２の１人または複数のユーザ（例えば、外科医、看護師、または他のケア提供者）は、処理デバイス（複数可）（Ｐ）２１０を使用して、特定の手術計画または他の患者情報の要求を生成することができ、要求は、ネットワーク２０８を介してストレージシステム２０６に送信される。応答して、ストレージシステム２０６は、要求された患者情報をＭＲシステム２１２に返信する。いくつかの例では、ユーザは、ＭＲシステム２１２の一部であるが可視化デバイスの一部ではない１つまたは複数の処理デバイス、または、ＭＲシステム２１２の可視化デバイス（例えば、可視化デバイス２１３）の一部である１つまたは複数の処理デバイス、または、ＭＲシステム２１２の一部であるが可視化デバイスの一部ではない１つまたは複数の処理デバイスとＭＲシステム２１２の一部である可視化デバイス（例えば、可視化デバイス２１３）の一部である１つまたは複数の処理デバイスの組み合わせなど、他の処理デバイス（複数可）を使用して、情報を要求及び受信することができる。

いくつかの例では、複数のユーザが、ＭＲシステム２１２を同時に使用することができる。例えば、ＭＲシステム２１２は、複数のユーザがそれぞれ、自分の可視化デバイスを使用することによって、ユーザは同時に同じ視点から同じ情報を見ることができる第三者モードで使用することができる。いくつかの例では、ＭＲシステム２１２は、複数のユーザがそれぞれ、自分の可視化デバイスを使用することによって、ユーザが異なる視点から同じ情報を見ることができるモードで使用されてよい。

いくつかの例では、処理デバイス（複数可）２１０は、データを表示し、ヘルスケア施設２０４のユーザからの入力を受信するためのユーザインタフェースを提供することができる。処理デバイス（複数可）２１０は、ユーザインタフェースを提示するように可視化デバイス２１３を制御するように構成されてよい。さらに、処理デバイス（複数可）２１０は、３Ｄ仮想モデル、２Ｄ画像等の仮想画像を提示するように可視化デバイス２１３を制御するように構成されてよい。処理デバイス（複数可）２１０は、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレット、携帯電話及び他の電子コンピューティングデバイス、または、このようなデバイス内のプロセッサ等、様々な異なる処理デバイスまたはコンピューティングデバイスを含むことができる。いくつかの例では、処理デバイス（複数可）２１０の１つまたは複数は、ヘルスケア施設２０４からリモートに位置してよい。いくつかの例では、処理デバイス（複数可）２１０は、可視化デバイス２１３内に存在する。いくつかの例では、処理デバイス（複数可）２１０の少なくとも１つが可視化デバイス２１３の外部にある。いくつかの例では、１つまたは複数の処理デバイス（複数可）２１０が可視化デバイス２１３内に存在し、処理デバイス（複数可）２１０の１つまたは複数が可視化デバイス２１３の外部にある。

図２の例において、ＭＲシステム２１２は、データ、及び処理デバイス（複数可）２１０が実行できるソフトウェアの命令を記憶するための１つまたは複数のメモリまたはストレージデバイス（複数可）（Ｍ）２１５も含む。ソフトウェアの命令は、本明細書に記載のＭＲシステム２１２の機能に対応し得る。いくつかの例では、ＢＬＵＥＰＲＩＮＴ（商標）システム等の仮想手術計画アプリケーションの機能も記憶することができ、メモリまたはストレージデバイス（複数可）（Ｍ）２１５と共に処理デバイス（複数可）２１０によって実行することができる。例えば、メモリまたはストレージデバイス２１５は、仮想手術計画の少なくとも一部分に対応するデータを記憶するように構成されてよい。いくつかの例では、ストレージシステム２０６は、仮想手術計画の少なくとも一部分に対応するデータを記憶するように構成されてよい。いくつかの例では、メモリまたはストレージデバイス（複数可）（Ｍ）２１５は、可視化デバイス２１３内に存在する。いくつかの例では、メモリまたはストレージデバイス（複数可）（Ｍ）２１５は、可視化デバイス２１３の外部にある。いくつかの例では、メモリまたはストレージデバイス（複数可）（Ｍ）２１５は、可視化デバイス２１３内の１つまたは複数のメモリまたはストレージデバイスと、可視化デバイスの外部の１つまたは複数のメモリまたはストレージデバイスとの組み合わせを含む。

ネットワーク２０８は、ネットワーク１１６に相当し得る。ネットワーク２０８は、術前手術計画システム２０２及びＭＲシステム２１２をストレージシステム２０６に接続する１つまたは複数の広域ネットワーク、ローカルエリアネットワーク、及び／またはグローバルネットワーク（例えば、インターネット）を含むことができる。ストレージシステム２０６は、患者情報、医療情報、患者画像データ、及び、手術計画を規定するパラメータを含み得る１つまたは複数のデータベースを含むことができる。例えば、患者の罹患または損傷した骨の医療画像が一般的に、整形外科手術の準備時に、術前に生成される。医療画像は、患者の身体の矢状面と冠状面とに沿った関連する骨（複数可）の画像を含み得る。医療画像は、Ｘ線画像、磁気共鳴イメージング（ＭＲＩ）画像、コンピュータ断層撮影（ＣＴ）画像、超音波画像、及び／または関連する手術領域に関する情報を提供する任意の他のタイプの２Ｄもしくは３Ｄ画像を含み得る。ストレージシステム２０６はまた、特定の患者に合わせて選択されたインプラントコンポーネント（例えば、タイプ、サイズ等）、特定の患者に合わせて選択された手術ガイド、及び、進入点、切断面、ドリル軸、リーミング深さ等の手術の詳細を識別するデータを含み得る。ストレージシステム２０６は、クラウドベースのストレージシステム（図示せず）であってよい、または、ヘルスケア施設２０４、または、術前手術計画システム２０２の場所に位置してよい、または、例として、ＭＲシステム２１２もしくは可視化デバイス（ＶＤ）２１３の一部であってよい。

ＭＲシステム２１２は、手術の前（例えば、術前）または手術中（例えば、術中）に外科医によって使用されて、手術計画を作成、見直し、検証、更新、修正、及び／または実施することができる。いくつかの例では、ＭＲシステム２１２はまた、手術の結果を見直し、改正が必要かどうかを評価し、または、他の術後タスクを行うために手術の後（例えば、術後）に使用されてよい。この目的のために、ＭＲシステム２１２は、外科医によって着用されてよく、（以下にさらに詳細に示すように）様々なタイプの情報を表示するように動作可能な可視化デバイス２１３を含んでよい。様々なタイプの情報には、患者の罹患した、損傷した、または、手術後の関節の３Ｄ仮想画像及び手術計画に合わせて選択された人工インプラントコンポーネントの３Ｄ仮想画像等の手術計画の詳細と、手術中に人工コンポーネントを正確な向き及び位置で配置するための人工コンポーネントを配置するための進入点、骨表面を成形するための切断ツールもしくはリーミングツール、または骨表面に１つまたは複数の穴を画定するためのドリルツールを整列させるためのアライメント軸及び切断面の３Ｄ仮想画像と、手術ガイド及び器具及びそれらの損傷した関節への配置、並びに、外科医が手術計画を実施するために有用であり得る任意の他の情報が含まれる。ＭＲシステム２１２は、この情報の画像を生成することができ、可視化デバイス２１３のユーザは、この画像を手術前及び／または手術中に認識できる。

いくつかの例では、ＭＲシステム２１２は、複数の可視化デバイス（例えば、可視化デバイス２１３の複数のインスタンス）を含み、その結果、複数のユーザが、同時に同じ画像を見て、同じ３Ｄシーンを共有することができる。いくつかのこのような例では、可視化デバイスの１つを、マスタデバイスとして設計することができ、他の可視化デバイスは、オブサーバまたは第三者として設計できる。ＭＲシステム２１２のユーザが望むと、任意のオブサーバデバイスを任意の時にマスタデバイスとして再指定できる。

このように、図２は、特定の患者の対象とする解剖学的構造を修復するようにカスタマイズされた仮想手術計画を生成するための術前手術計画システム２０２を含む手術計画システムを示す。例えば、仮想手術計画は、標準的な全肩関節形成または逆肩関節形成の計画等、（例えば、患者の解剖学的構造に人工装具を取り付けるための）整形外科的関節修復手術の計画を含んでよい。この例では、仮想手術計画の詳細は、人工装具の取付のための解剖学的構造の準備または人工装具の解剖学的構造への取付の少なくとも１つに関する詳細を含み得る。例えば、仮想手術計画の詳細は、関節窩骨の準備、上腕骨の準備、人工装具の関節窩骨への取付、または、人工装具の上腕骨への取付の少なくとも１つに関する詳細を含み得る。いくつかの例では、整形外科的関節修復手術は、ステムレスの標準的な全肩関節形成、ステムを使用する標準的な全肩関節形成、ステムレスの逆肩関節形成、ステムを使用する逆肩関節形成、補強関節窩による標準的な全肩関節形成、及び補強関節窩による逆肩関節形成の１つである。

仮想手術計画は、特定の患者の対象とする解剖学的構造に対応する３Ｄ仮想モデルと、対象とする解剖学的構造の修復のために特定の患者に適合された、または、対象とする解剖学的構造の修復のために選択された人工装具コンポーネントの３Ｄモデルとを含み得る。さらに、図２の例において、手術計画システムは、仮想手術計画に対応するデータを記憶するためのストレージシステム２０６を含む。図２の手術計画システムはまた、ＭＲシステム２１２を含み、ＭＲシステム２１２は、可視化デバイス２１３を含み得る。いくつかの例では、可視化デバイス２１３はユーザによって着用可能である。いくつかの例では、可視化デバイス２１３は、ユーザが手に持つ、または、ユーザがアクセス可能な平面の表面に置かれる。ＭＲシステム２１２は、可視化デバイス２１３を介してユーザインタフェースを提示するように構成されてよい。ユーザインタフェースは、特定の患者の仮想手術計画の詳細を提示してよい。例えば、仮想手術計画の詳細は、特定の患者の対象とする解剖学的構造の３Ｄ仮想モデルを含んでよい。ユーザが可視化デバイス２１３を使用している時、ユーザはユーザインタフェースを視覚的に認識できる。例えば、一例では、可視化デバイス２１３の画面が、現実世界の画像とユーザインタフェースとを画面に表示してよい。いくつかの例では、可視化デバイス２１３は、仮想のホログラフィック画像をシースルーのホログラフィックレンズ上に投影してよく、また、ユーザが、レンズを通して現実世界環境の現実世界の物体を見るのを可能にする。言い換えると、可視化デバイス２１３は、１つまたは複数のシースルーのホログラフィックレンズと、ユーザインタフェースをユーザに提示するためにホログラフィックレンズを介してユーザに画像を提示する１つまたは複数のディスプレイデバイスとを含んでよい。

いくつかの例では、可視化デバイス２１３は、ユーザが、（ユーザが可視化デバイス２１３を着用または別の方法で使用している時、ユーザが視覚的に認識できる）ユーザインタフェースを操作して、対象とする解剖学的構造の３Ｄ仮想モデル（例えば、関節窩骨または上腕骨等、対象とする解剖学的構造の３Ｄ仮想骨モデル）及び／または対象とする解剖学的構造を修復するために選択された人工コンポーネントの３Ｄモデルを含む、特定の患者のための仮想手術計画の詳細を要求及び見ることができるように構成される。いくつかのこのような例では、可視化デバイス２１３は、ユーザが（少なくともいくつかの例では）対象とする解剖学的構造の３Ｄ仮想モデル（例えば、対象とする解剖学的構造の３Ｄ仮想骨モデル）を含む仮想手術計画を術中に見ることができるようにユーザがユーザインタフェースを操作できるように構成される。いくつかの例では、ＭＲシステム２１２は、拡張手術モードで動作させることができる。拡張手術モードでは、ユーザが、術中にユーザインタフェースを操作することができ、その結果、ユーザは、現実環境に、例えば、特定の患者の対象とする現実の解剖学的構造上に、投影された仮想手術計画の詳細を視覚的に認識できる。本開示では、現実及び現実世界という用語は、同様に使用されてよい。例えば、ＭＲシステム２１２は、骨表面準備及び骨表面への人工インプラントの配置のためのガイダンスを提供する１つまたは複数の仮想物体を提供してよい。可視化デバイス２１３は、例えば、ホログラフィックレンズを通してユーザが見る実際の現実世界の患者の解剖学的構造と共に仮想物体（複数可）を表示することによって、仮想物体が現実世界環境内で患者の実際の現実の解剖学的物体上に重なって見えるように、１つまたは複数の仮想物体を提示してよい。例えば、仮想物体は、実際の現実の解剖学的物体と共に現実世界環境内に存在するように見える３Ｄ仮想物体であってよい。

図３は、手術ライフサイクル３００の例示のフェーズを示すフローチャートである。図３の例では、手術ライフサイクル３００は、術前フェーズ（３０２）で開始する。術前フェーズ中、手術計画が開発される。術前フェーズに製造及び送達フェーズ（３０４）が続く。製造及び送達フェーズ中、部品及び機器等、手術計画の実施に必要な患者に固有のアイテムが製造され、手術場所に届けられる。いくつかの例では、手術計画を実行するために、患者に固有のアイテムを製造する必要はない。製造及び送達フェーズに術中フェーズ（３０６）が続く。手術計画は、術中フェーズ中に実行される。言い換えると、１人または複数の人が、術中フェーズ中に患者に対して手術を行う。術中フェーズに術後フェーズ（３０８）が続く。術後フェーズは、手術計画が完了した後に発生する行動を含む。例えば、患者は、合併症について、術後フェーズ中、モニタリングされてよい。

本開示に記載するように、整形外科手術システム１００（図１）は、術前フェーズ３０２、製造及び送達フェーズ３０４、術中フェーズ３０６及び術後フェーズ３０８の１つまたは複数で使用されてよい。例えば、仮想計画システム１０２及び計画支援システム１０４は、術前フェーズ３０２で使用されてよい。製造及び送達システム１０６は、製造及び送達フェーズ３０４で使用されてよい。術中ガイダンスシステム１０８は、術中フェーズ３０６で使用されてよい。図１のシステムのいくつかは、図３の複数のフェーズで使用されてよい。例えば、医療教育システム１１０は、術前フェーズ３０２、術中フェーズ３０６及び術後フェーズ３０８の１つまたは複数で使用されてよく、術前及び術後モニタリングシステム１１２は、術前フェーズ３０２及び術後フェーズ３０８で使用されてよい。予測分析システム１１４は、術前フェーズ３０２及び術後フェーズ３０８で使用されてよい。

様々なワークフローが、図３の手術プロセス内に存在してよい。例えば、図３の手術プロセス内の異なるワークフローは、異なるタイプの手術に対して適切であってよい。図４は、整形外科手術を支援する術前、術中、及び術後のワークフローを示すフローチャートである。図４の例では、手術プロセスは、医療相談（４００）で開始する。医療相談（４００）中、ヘルスケア専門家は、患者の病状を評価する。例えば、ヘルスケア専門家は、患者の症状について患者と話し合ってよい。医療相談（４００）中、ヘルスケア専門家はまた、様々な治療選択肢を患者と話し合ってよい。例えば、ヘルスケア専門家は、患者の症状に対応する１つまたは複数の異なる手術を説明してよい。

さらに、図４の例は、症例作成ステップ（４０２）を含む。他の例では、症例作成ステップは、医療相談ステップ前に生じる。症例作成ステップ中、医療専門家または他のユーザは、患者の電子症例ファイルを構築する。患者の電子症例ファイルは、患者の症状に関するデータ、患者の可動域の観察、患者の手術計画に関するデータ、患者の医療画像、患者に関する注意書き、患者に関する支払い情報など、患者に関する情報を含んでよい。

図４の例は、術前患者モニタリングフェーズ（４０４）を含む。術前患者モニタリングフェーズ中、患者の症状がモニタリングされてよい。例えば、患者は、患者の肩の関節炎に伴う痛みを患っている場合がある。この例では、患者の症状は、患者の肩を置換行う関節形成を必要とするレベルには至っていない場合がある。しかしながら、関節炎は通常、時間の経過と共に悪化する。従って、患者の肩に手術を行う時が来たかどうかを決定するために患者の症状をモニタリングしてよい。術前患者モニタリングフェーズの観察結果は、患者の電子症例ファイルに記憶されてよい。いくつかの例では、予測分析システム１１４が、患者が手術を必要とする時を予測し、手術を遅らせるもしくは回避する一連の治療を予測する、または、患者の健康状態に関する他の予測を行うために使用されてよい。

さらに、図４の例では、医療画像取得ステップが、術前フェーズ中に生じる（４０６）。画像取得ステップ中、患者の医療画像が生成される。医療画像は、様々な方法で生成されてよい。例えば、画像は、コンピュータ断層撮影（ＣＴ）プロセス、磁気共鳴イメージング（ＭＲＩ）プロセス、超音波プロセス、または、別のイメージングプロセスを使用して生成されてよい。画像取得ステップ中に生成された医療画像は、患者の対象とする解剖学的構造の画像を含む。例えば、患者の症状が患者の肩に関わる場合、患者の肩の医療画像を生成してよい。医療画像は、患者の電子症例ファイルに追加されてよい。ヘルスケア専門家は、術前、術中、及び術後のフェーズの１つまたは複数で医療画像を使用でき得る。

さらに、図４の例では、自動処理ステップが生じてよい（４０８）。自動処理ステップ中、仮想計画システム１０２（図１）は、自動的に患者の手術予備計画を開発してよい。本開示のいくつかの例では、仮想計画システム１０２は、機械学習技術を使用し、患者の仮想症例ファイルの情報に基づいて手術予備計画を開発してよい。

図４の例はまた、手動訂正ステップ（４１０）を含む。手動訂正ステップ中、１人または複数の人間ユーザが、自動処理ステップ中に行われた決定をチェックして訂正してよい。本開示のいくつかの例では、１人または複数のユーザは、手動訂正ステップ中、複合現実または仮想現実の可視化デバイスを使用してよい。いくつかの例では、手動訂正ステップ中に行われた変更は、自動処理ステップ中に仮想計画システム１０２によって適用される機械学習技術を改良するための訓練データとして使用されてよい。

図４では、仮想計画ステップ（４１２）が、手動訂正ステップに続いてよい。仮想計画ステップ中、ヘルスケア専門家は、患者の手術計画を開発してよい。本開示のいくつかの例では、１人または複数のユーザは、患者の手術計画の開発中、複合現実または仮想現実の可視化デバイスを使用してよい。

さらに、図４の例では、術中ガイダンスが生成されてよい（４１４）。術中ガイダンスは、手術計画の実行の仕方に関する外科医へのガイダンスを含んでよい。本開示のいくつかの例では、仮想計画システム１０２は、術中ガイダンスの少なくとも一部を生成してよい。いくつかの例では、外科医または他のユーザが、術中ガイダンスに寄与してよい。

さらに、図４の例では、手術アイテムを選択及び製造するステップが行われる（４１６）。手術アイテムを選択及び製造するステップ中、製造及び送達システム１０６（図１）が、手術計画が記載する手術中に使用される手術アイテムを製造してよい。例えば、手術アイテムは、外科用インプラント、手術用ツール、及び手術計画が記載する手術を行うために必要な他のアイテムを含んでよい。

図４の例では、手術は、術中システム１０８（図１）からのガイダンスを用いて行われてよい（４１８）。例えば、外科医は、術中システム１０８のヘッドマウントのＭＲ可視化デバイスを着用して手術を行ってよく、ＭＲ可視化デバイスは外科医にガイダンス情報を提示する。ガイダンス情報は、手術を通して外科医をガイドする支援をしてよく、手術ワークフローにおける、ステップの順序、個々のステップの詳細、ツールもしくはインプラントの選択、インプラントの配置と位置、及び様々なステップのための骨表面の準備を含む、手術ワークフローの様々なステップのガイダンスを提供する。

術後の患者モニタリングが、手術完了後に生じてよい（４２０）。術後の患者モニタリングステップ中、患者のヘルスケアの結果がモニタリングされてよい。ヘルスケアの結果は、症状の緩和、可動域、合併症、埋め込まれた手術アイテムの性能等を含み得る。術前及び術後モニタリングシステム１１２（図１）が、術後の患者モニタリングステップを支援してよい。

図４の医療相談、症例作成、術前の患者モニタリング、画像取得、自動処理、手動訂正、及び仮想計画ステップは、図３の術前フェーズ３０２の一部である。図４のガイダンスステップを用いた手術は、図３の術中フェーズ３０６の一部である。図４の術後の患者モニタリングステップは、図３の術後フェーズ３０８の一部である。

上記のように、整形外科手術システム１００のサブシステムの１つまたは複数は、ＭＲシステム２１２（図２）等、１つまたは複数の複合現実（ＭＲ）システムを含んでよい。各ＭＲシステムは、可視化デバイスを含んでよい。例えば、図２の例において、ＭＲシステム２１２は、可視化デバイス２１３を含む。いくつかの例では、可視化デバイスを含むことに加えて、ＭＲシステムは、可視化デバイスの動作を支援する外部コンピューティングリソースを含んでよい。例えば、ＭＲシステムの可視化デバイスは、外部コンピューティングリソースを提供するコンピューティングデバイス（例えば、パーソナルコンピュータ、バックパックコンピュータ、スマートフォン等）に通信可能に結合されてよい。あるいは、可視化デバイスの必要な機能を行うために可視化デバイス２１３上、または、可視化デバイス２１３内に十分なコンピューティングリソースが備えられてよい。

図５は、本開示の例による、図２のＭＲシステム２１２等、ＭＲシステムで使用される可視化デバイス２１３の概略図である。図５の例に示すように、可視化デバイス２１３は、１つまたは複数のプロセッサ５１４（例えば、マイクロプロセッサまたは他のタイプの処理ユニット）、メモリ５１６等、フレーム５１８上またはフレーム５１８内に取り付けられてよい、コンピューティングシステムに備えられる様々な電子コンポーネントを含み得る。さらに、図５の例では、可視化デバイス２１３は、ユーザが可視化デバイス２１３を着用すると、目の高さ位置にある透明な画面５２０を備えてよい。いくつかのの例では、画面５２０は、１つまたは複数の液晶ディスプレイ（ＬＣＤ）または他のタイプのディスプレイ画面を含むことができ、可視化デバイス２１３を着用している、または、他の方法で使用している外科医が、画面５２０を介して画像を認識できる。他のディスプレイの例は、有機発光ダイオード（ＯＬＥＤ）ディスプレイを含む。いくつかの例では、可視化デバイス２１３は、当分野で既知の技術を用いて、ユーザの網膜上に３Ｄ画像を投影するように動作することができる。

いくつかの例では、画面５２０は、導波路とも呼ばれるシースルーのホログラフィックレンズを含んでよく、ホログラフィックレンズは、液晶オンシリコン（ＬＣＯＳ）ディスプレイデバイス等のディスプレイによって、レンズを通して（例えば、その向こうに）現実世界の物体を見ながら、レンズ内及びユーザの網膜上に投影されたホログラフィック画像を見ることができる。エルコスは、光エンジンまたはプロジェクタとも呼ばれ、可視化デバイス２１３内のホログラフィック投影システム５３８の例として動作する。言い換えると、可視化デバイス２１３は、仮想画像をユーザに提示するための１つまたは複数のシースルーのホログラフィックレンズを含んでよい。よって、いくつかの例では、可視化デバイス２１３は、例えば、ホログラフィックレンズによって形成された３Ｄ画像を画面５２０を介してユーザの網膜上に投影するように動作することができる。このようにして、可視化デバイス２１３は、例えば、仮想画像が現実世界環境の一部を形成して見えるように、画面５２０を通して見られる現実世界ビュー内で、ユーザに３Ｄ仮想画像を提示するように構成されてよい。いくつかの例では、可視化デバイス２１３は、米国ワシントン州レドモンドのマイクロソフト社製のＭｉｃｒｏｓｏｆｔ ＨＯＬＯＬＥＮＳ（商標）ヘッドセット、または、例えば、導波路を含む類似のＭＲ可視化デバイス等の類似のデバイスであってよい。ＨＯＬＯＬＥＮＳ（商標）デバイスを使用すると、ホログラフィックレンズを通して、ユーザが現実世界シーン、すなわち、現実世界環境の実際の物体を見ることを可能にしながら、ホログラフィックレンズまたは導波路を介して３Ｄ仮想物体を提示できる。

図５の例は、ヘッドウェアラブルデバイスとして可視化デバイス２１３を示すが、可視化デバイス２１３は、他の形態及びフォームファクタを有してよい。例えば、いくつかの例では、可視化デバイス２１３は、ハンドヘルドのスマートフォンまたはタブレットであってよい。

可視化デバイス２１３はまた、例えば、上記のようにシースルーのホログラフィックレンズに投影されたホログラフィック画像としてユーザに見えるユーザインタフェース（ＵＩ）５２２を生成できる。例えば、ＵＩ５２２は、様々な選択可能なウィジェット５２４を含むことができ、ウィジェットは、図２のＭＲシステム２１２等の複合現実（ＭＲ）システムとユーザがやりとりするのを可能にする。可視化デバイス２１３によって提示される画像は、例えば、１つまたは複数の３Ｄ仮想物体を含んでよい。ＵＩ５２２の例の詳細は、本開示の他の場所に記載される。可視化デバイス２１３はまた、ユーザの耳の近くに配置し得るスピーカまたは他の知覚デバイス５２６を含むことができる。知覚デバイス５２６は、可視化デバイス２１３のユーザを支援するために、可聴情報または他の知覚情報（例えば、振動）を伝えることができる。

可視化デバイス２１３はまた、有線通信プロトコル、または例えば、Ｗｉ－Ｆｉ、ブルートゥース（登録商標）等の無線プロトコルなどを介して、可視化デバイス２１３を処理デバイス５１０に、ならびに／または、ネットワーク２０８及び／もしくはコンピューティングクラウドに接続する送受信機５２８を含むことができる。可視化デバイス２１３はまた、フレーム５１８に、フレーム５１８上に、または、フレーム５１８内に取り付けられた、１つまたは複数の光学カメラ（複数可）５３０（または、他の光学センサ）及び１つまたは複数のデプスカメラ（複数可）５３２（または、他のデプスセンサ）等、センサデータを集めるための様々なセンサを含む。いくつかの例では、光学センサ（複数可）５３０は、ＭＲシステム２１２のユーザがいる物理的環境（例えば、手術室）の形状をスキャンし、２次元（２Ｄ）光学画像データ（モノクロまたはカラー）を収集するように動作可能である。デプスセンサ（複数可）５３２は、飛行時間型、ステレオ、または深さを決定するための他の既知のもしくは今後開発される技術を採用する等によって、３Ｄ画像データを提供し、それによって、３次元の画像データを生成するように動作可能である。他のセンサは、動きの追跡を支援するモーションセンサ５３３（例えば、慣性質量単位（ＩＭＵ）センサ、加速度計等）を含むことができる。

ＭＲシステム２１２は、センサデータを処理することによって、ユーザの環境または「シーン」の幾何学的、環境的、テキスト、または、他のタイプのランドマーク（例えば、角、端、または他の線、壁、床、物体）を規定でき、シーン内の動きを検出できる。例として、様々なタイプのセンサデータを組み合わせる、または融合することができ、その結果、可視化デバイス２１３のユーザは、シーン内に位置、固定、及び／または移動させることができる３Ｄ画像を認識できる。３Ｄ画像がシーンに固定される時、ユーザは、３Ｄ画像を歩き回り、異なる視点から３Ｄ画像を見て、ハンドジェスチャ、音声コマンド、視線（または、方向）、及び／または他の制御入力を用いて、シーン内の３Ｄ画像を操作することができる。別の例として、センサデータは、シーン内に見られる物理的物体（例えば、表面、患者の現実の骨等）上に３Ｄ仮想物体（例えば、骨モデル）を配置することができ、及び／または、３Ｄ仮想物体をシーン内に表示された他の仮想画像と向きを合わせるように処理することができる。いくつかの例では、センサデータは、ユーザが手術室の壁等の表面上に手術計画（または、他のウィジェット、画像または情報）の仮想表現を配置及び固定できるように、処理することができる。さらに、いくつかの例では、センサデータを使用して、手術器具と、手術器具の位置及び／または場所を認識できる。

可視化デバイス２１３は、例えば、可視化デバイスのフレーム５１８内に、１つまたは複数のプロセッサ５１４とメモリ５１６とを備えてよい。いくつかの例では、１つまたは複数の外部コンピューティングリソース５３６が、フレーム内プロセッサ（複数可）５１４及びメモリ５１６の代わりに、または、それらに加えて、センサデータ等の情報を処理及び記憶する。このように、データの処理及び記憶は、可視化デバイス２１３内の１つまたは複数のプロセッサ５１４とメモリ５１６とによって行われてよい、及び／または、処理要件及び記憶要件の一部は、可視化デバイス２１３からオフロードされてよい。よって、いくつかの例では、可視化デバイス２１３の動作を制御する１つまたは複数のプロセッサは、例えば、プロセッサ（複数可）５１４として、可視化デバイス２１３内にあってよい。あるいは、いくつかの例では、可視化デバイス２１３の動作を制御するプロセッサの少なくとも１つは、例えば、プロセッサ（複数可）２１０として、可視化デバイス２１３の外部にあってよい。同様に、可視化デバイス２１３の動作は、いくつかの例では、可視化デバイス内の１つまたは複数のプロセッサ５１４と、可視化デバイス２１３の外部の１つまたは複数のプロセッサ２１０との組み合わせによって部分的に制御されてよい。

例えば、いくつかの例では、可視化デバイス２１３が図２の文脈にある時、センサデータの処理は、メモリまたはストレージデバイス（複数可）（M）２１５と共に、処理デバイス（複数可）２１０によって行うことができる。いくつかの例では、フレーム５１８に取り付けられたプロセッサ（複数可）５１４及びメモリ５１６は、カメラ５３０、５３２とモーションセンサ５３３とによって収集されたセンサデータを処理するための十分なコンピューティングリソースを提供し得る。いくつかの例では、センサデータは、同時位置決め地図作成（ＳＬＡＭ）アルゴリズム、または３Ｄシーンに２Ｄ及び３Ｄの画像データを処理及びマッピングし、可視化デバイス２１３の位置を追跡するための他の既知のもしくは今後開発されるアルゴリズムを使用して、処理することができる。いくつかの例では、画像追跡は、Ｍｉｃｒｏｓｏｆｔ ＨＯＬＯＬＥＮＳ（商標）システムによって提供されるセンサ処理及び追跡機能を使用して、例えば、Ｍｉｃｒｏｓｏｆｔ ＨＯＬＯＬＥＮＳ（商標）デバイスに実質的に準拠する可視化デバイス２１３、または類似の複合現実（ＭＲ）可視化デバイス内の１つまたは複数のセンサ及びプロセッサ５１４によって行われてよい。

いくつかの例では、ＭＲシステム２１２は、ユーザが操作する制御デバイス（複数可）５３４を含むことができ、制御デバイス５３４によって、ユーザは、ＭＲシステム２１２を操作でき、（マスタまたはオブサーバとして）第三者モードでＭＲシステム２１２を使用でき、ＵＩ５２２とやりとりでき、及び／または他の方法で、処理デバイス（複数可）２１０またはネットワーク２０８に接続された他のシステムのコマンドまたは要求を提供できる。例として、制御デバイス（複数可）５３４は、マイクロフォン、タッチパッド、制御パネル、モーションセンサ、またはユーザがやりとりできる他のタイプの制御入力デバイスを含むことができる。

図６は、ＭＲシステムで使用される可視化デバイス２１３の例示のコンポーネントを示すブロック図である。図６の例では、可視化デバイス２１３は、プロセッサ５１４、電源６００、ディスプレイデバイス（複数可）６０２、スピーカ６０４、マイクロフォン（複数可）６０６、入力デバイス（複数可）６０８、出力デバイス（複数可）６１０、ストレージデバイス（複数可）６１２、センサ（複数可）６１４及び通信デバイス６１６を含む。図６の例では、センサ（複数可）６１６は、デプスセンサ（複数可）５３２、光学センサ（複数可）５３０、モーションセンサ（複数可）５３３、及び配向センサ（複数可）６１８を含んでよい。光学センサ（複数可）５３０は、赤緑青（ＲＧＢ）ビデオカメラ、赤外線カメラ、または光から画像を形成する他のタイプのセンサ等のカメラを含んでよい。ディスプレイデバイス（複数可）６０２は、ユーザにユーザインタフェースを提示するための画像を表示してよい。

スピーカ６０４は、いくつかの例では、図５に示す知覚デバイス５２６の一部を形成してよい。いくつかの例では、ディスプレイデバイス６０２は、図５に示す画面５２０を含んでよい。例えば、図５を参照して記載するように、ディスプレイデバイス（複数可）６０２は、シースルーのホログラフィックレンズを含んでよく、ホログラフィックレンズは、プロジェクタとの組み合わせで、現実世界環境で現実世界の物体を、レンズを通して見ながら、例えば、ホログラフィック投影システムによってレンズ内及びユーザの網膜上に投影された仮想３Ｄホログラフィック画像を見ることができる。この例では、仮想３Ｄホログラフィックオブジェクトは、現実世界環境内に配置されているように見えてよい。いくつかの例では、ディスプレイデバイス６０２は、ＬＣＤディスプレイ画面、ＯＬＥＤディスプレイ画面などの１つまたは複数のディスプレイ画面を含む。ユーザインタフェースは、特定の患者の仮想手術計画の詳細の仮想画像を提示してよい。

いくつかの例では、ユーザは、様々な方法で、可視化デバイス２１３とやりとりしてよく、可視化デバイス２１３を制御してよい。例えば、マイクロフォン６０６と、関連する音声認識処理回路またはソフトウェアが、ユーザが話す音声コマンドを認識してよく、応答して、手術計画、術中ガイダンス等に関連する様々な機能の選択、起動、または停止等の様々な動作のいずれかを行ってよい。別の例として、センサ６１４の１つまたは複数のカメラまたは他の光学センサ５３０は、ジェスチャを検出し、解釈して、上記のような動作を行ってよい。さらなる例として、センサ６１４は、視線方向を感知し、本開示の他の場所に記載するような様々な動作を行ってよい。いくつかの例では、入力デバイス６０８は、例えば、１つまたは複数のボタン、キーパッド、タッチスクリーン、ジョイスティック、トラックボール、及び／または他の手動の入力媒体を含むハンドヘルドコントローラを介してユーザから手動入力を受信してよく、手動のユーザ入力に応答して、上記のような様々な動作を行ってよい。

上記のように、手術ライフサイクル３００は、術前フェーズ３０２を含んでよい（図３）。１人または複数のユーザが、術前フェーズ３０２で整形外科手術システム１００を使用してよい。例えば、整形外科手術システム１００は、特定の患者の対象とする解剖学的構造に合わせてカスタマイズされ得る仮想手術計画を１人または複数のユーザが生成するのを支援するための仮想計画システム１０２を含んでよい。本明細書に記載のように、仮想手術計画は、特定の患者の対象とする解剖学的構造に対応する３次元仮想モデルと、対象とする解剖学的構造を修復するために特定の患者に適合された、または、対象とする解剖学的構造を修復するために選択された１つまたは複数の人工コンポーネントの３次元モデルとを含んでよい。仮想手術計画はまた、手術を行う時に、例えば、骨表面または組織の準備をし、このような骨表面または組織に対して埋め込み可能な人工ハードウェアを配置する時に、外科医をガイドするガイダンス情報の３次元仮想モデルを含んでよい。

図７は、ユーザの集合が術前フェーズ３０２中、整形外科手術システム１００のＭＲシステムを使用する例示の環境を示す概念図である。図７の例において、外科医が、第１のＭＲシステム７００Ａ（例えば、ＭＲシステム２１２）の可視化デバイス（例えば、可視化デバイス２１３）を使用（例えば、着用）してよい。ＭＲシステム７００Ａの可視化デバイスは、術前フェーズ３０２中、ＭＲ術前計画コンテンツ７０２を外科医に提示してよい。本開示の他の箇所に詳述するように、ＭＲ術前計画コンテンツ７０２は、外科医が手術を計画するのを支援してよい。

さらに、図７の例において、１人または複数の他のユーザが、整形外科手術システム１００のＭＲシステムの可視化デバイスを使用して、ＭＲ術前計画コンテンツ７０２を見てよい。例えば、患者が、術前フェーズ３０２中、第２のＭＲシステム７００Ｂの可視化デバイスを使用してよい。ＭＲシステム７００Ｂの可視化デバイスは、ＭＲ術前計画コンテンツ７０２を患者に提示してよい。例えば、本開示の他の箇所に詳述するように、ＭＲ術前計画コンテンツ７０２は、仮想３Ｄモデル情報を含んでよく、仮想モデル情報は、患者の現在の状態及び患者に行われる手術の１つまたは複数を患者が理解するのを支援するためにＭＲを用いて提示される。

図７の例において、看護師または他のヘルスケア専門家が、術前フェーズ３０２中、第３のＭＲシステム７００Ｃの可視化デバイスを使用してよい。ＭＲシステム７００Ｃの可視化デバイスは、ＭＲ術前計画コンテンツ７０２を看護師または他のヘルスケア専門家に提示してよい。例えば、一例では、ＭＲ術前計画コンテンツ７０２は、手術を行う前に看護師が手術を理解するのを支援してよい。

さらに、図７の例において、第２の外科医が、第４のＭＲシステム７００Ｄの可視化デバイスを使用してよい。ＭＲシステム７００Ｄの可視化デバイスは、ＭＲ術前計画コンテンツ７０２を第２の外科医に提示してよい。これは、外科医たちが協働して、患者の手術計画を開発及び見直すのを可能にし得る。例えば、外科医は、同じ術前計画コンテンツ７０２を同じ時または異なる時に見て、操作してよい。ＭＲシステム７００Ａ、７００Ｂ、７００Ｃ及び７００Ｄは、本明細書では集合的に「ＭＲシステム７００」と呼ばれてよい。

従って、上記例に記載されるように、上記個人の２人以上は、（例えば、第１の外科医、患者、看護師及び第２の外科医）は、同じまたは異なるＭＲ術前計画コンテンツ７０２を同時に見ることができる。２人以上の個人が同じＭＲ術前計画コンテンツ７０２を同時に見ている例では、２人以上の個人は、同じＭＲ術前ガイダンスコンテンツ７０２を同じまたは異なる視点から同時に見てよい。さらに、いくつかの例では、上記の個人の２人以上は、同じまたは異なるＭＲ術前計画コンテンツ７０２を異なる時に見ることができる。術前計画コンテンツ７０２は、手術計画の情報モデルと、骨及び／または組織等の患者の解剖学的構造を表す仮想３Ｄモデル情報を単独で、または、手術ステップ及び／またはインプラントの配置と位置決めを表す仮想３Ｄモデル情報と組み合わせて含んでよい。術前計画コンテンツ７０２の例は、肩関節形成の手術計画と、肩甲骨及び／または関節窩骨を表すまたは上腕骨を表す仮想３Ｄモデル情報とを、骨、または、骨上もしくは骨内に配置されるインプラントに適用される器具の仮想３Ｄモデル情報と共に含んでよい。いくつかの例では、複数のユーザが、術前計画コンテンツ７０２を変更及び操作可能であってよい。

図８は、手術ライフサイクル３００の術前フェーズ３０２の例示のステップを示すフローチャートである。他の例では、術前フェーズ３０２は、より多くの、より少ない、または異なるステップを含んでよい。さらに、他の例では、図８のステップの１つまたは複数は、異なる順番で行われてよい。いくつかの例では、ステップの１つまたは複数は、仮想計画システム１０２（図１）または２０２（図２）等の手術計画システム内で自動的に行われてよい。

図８の例では、対象領域のモデルが生成される（８００）。例えば、対象領域のスキャン（例えば、ＣＴスキャン、ＭＲＩスキャン、または他のタイプのスキャン）が行われてよい。例えば、対象領域が患者の肩である場合、患者の肩のスキャンが行われてよい。さらに、対象領域の病変が分類されてよい（８０２）。いくつかの例では、対象領域の病変は、対象領域のスキャンに基づいて分類されてよい。例えば、対象領域がユーザの肩である場合、外科医は、患者の肩のスキャンに基づいて、患者の肩の何が悪いかを決定してよく、例えば、一次性変形性肩関節症（ＰＧＨＯＡ）、腱板断裂関節症（ＲＣＴＡ）の不安定性、重度腱板断裂（ＭＲＣＴ）、リウマチ性関節炎、外傷後関節炎、及び変形性関節症などの、分類または診断を示す肩分類を提供してよい。

さらに、手術計画が、病変に基づいて選択されてよい（８０４）。手術計画は、病変に対処する計画である。例えば、対象領域が患者の肩である例では、手術計画は、解剖学的肩関節形成、逆肩関節形成、外傷後の肩関節形成、または以前の肩関節形成に対する訂正から選択されてよい。次に、手術計画を患者に合わせて調整してよい（８０６）。例えば、手術計画を調整することは、選択された手術計画の実行に必要な手術アイテムの選択及び／またはサイジングを伴ってよい。さらに、手術計画は、骨棘の存在など、患者に固有の問題に対処するために、患者に合わせて調整されてよい。本開示の他の箇所に詳述するように、１人または複数のユーザが、整形外科手術システム１００の複合現実システムを使用して、手術計画を患者に合わせて調整してよい。

次に、手術計画を見直してよい（８０８）。例えば、手術計画を実行する前に、顧問外科医が、手術計画を見直してよい。本開示の他の箇所に詳述するように、１人または複数のユーザが、整形外科手術システム１００の複合現実（ＭＲ）システムを使用して、手術計画を見直してよい。いくつかの例では、外科医は、ＭＲシステムを使用して、ＵＩ及び表示された要素とやりとりして、例えば、異なる手順を選択する、インプラントのサイジング、形状もしくは位置を変更する、または、インプラントを収容する骨表面の切断もしくはリーミングの角度、深さもしくは量を変更することによって、手術計画を修正してよい。

さらに、図８の例では、手術計画の実行に必要な手術アイテムが要求されてよい（８１０）。

本開示の以下のセクションに記載されるように、整形外科手術システム１００は、図８の術前ステップの１つまたは複数を行う時に様々なユーザを支援してよい。

図９は、本開示の例による、手術症例を選択するための例示のウェルカム画面を示す。ウェルカム画面は、ＭＲ可視化デバイス２１３によってユーザに提示されてよく、メニュー９０４を表示する。メニューは、ユーザがシステム２００のストレージシステム２０６（図２）またはＭＲ可視化デバイス２１３のメモリもしくはストレージデバイス２１５（図２）に記憶され、そこから読み出される特定の患者の手術計画をスクロールし、選択するのを可能にする。

図１０は、例えば、図９のウェルカム画面から選択された特定の患者の手術計画に対して生成される、本開示の例による、複合現実システムのユーザインタフェースのページの例を示す。可視化デバイス２１３を使用して、ユーザは、ＵＩ５２２を認識でき、ＵＩ５２２とやりとりできる。図１０に示す例では、ＵＩ５２２は、肩関節形成術における上腕骨及び関節窩への動作の様々な手術ステップにわたる選択可能なボタン１００２を有する手術ワークフローを表すワークフローバー１０００を含む。ボタン１００２の選択は、ハンドジェスチャ、音声コマンド、視線方向、接続されたレンズ、及び／または他の制御入力等を使用して、ユーザがやりとりできる様々な選択可能なウィジェットの表示につながり得る。ウィジェットの選択により、ＭＲシステム２１２の動作の様々なモードを起動でき、ＭＲシステム２１２によって生成された情報もしくは画像を表示でき、ユーザが情報及び画像をさらに制御及び／または操作するのを可能にでき、さらなる選択可能なメニューもしくはウィジェットにつながり得る。

ユーザはまた、可視化デバイス２１３、または視線方向、ハンドジェスチャ及び／または音声コマンドを検出する他のデバイス等によって、ユーザの好みに従って、表示されたウィジェットのいずれかを操作し、移動し、方向付けることによって、ＵＩ５２２を編集またはカスタマイズできる。さらに、ユーザに表示されるウィジェットの場所は、シーンに対して固定できる。従って、ユーザの視線（すなわち、目の方向）は、ユーザインタフェース５２２、他の仮想画像、及び／またはシーンに物理的に存在する現実の物体（例えば、患者、器具セット等）の他の特徴を見るために移動し、ウィジェットは固定されたままで、他の特徴及び物体のユーザのビューを邪魔しない。さらに別の例として、ユーザは、ウィジェットまたは任意の他の表示された画像もしくは情報の不透明度もしくは透明度を制御できる。ユーザはまた、ＭＲシステム２１２の使用中はいつでも、ワークフローバー１０００のボタン１００２間を任意の方向にナビゲートでき、任意のボタン１００２を選択できる。ウィジェット、情報、画像、または他の表示された特徴の選択及び操作は、可視化デバイス２１３、またはユーザの視線方向、手の動き、音声コマンドもしくはこれらの任意の組み合わせを検出する他のデバイスに基づいて実施することができる。

図１０の例では、ＵＩ５２２は、肩修復手術で使用するように構成され、例として、「ウェルカム」ページ、「計画」ページ、「移植片」ページ、「上腕骨切断」ページ、「ガイド取付」ページ、「関節窩リーミング」ページ、及び「関節窩インプラント」ページに対応するワークフローバー１０００上のボタン１００２を含む。「ガイド取付」ページの提示は、いくつかの例ではオプションであってよく、関節窩リーミングは、仮想ガイダンスを使用して、関節窩ガイドを適用することなく、達成されてよい。

図１０に示すように、ＵＩ５２２のこの例における「計画」ページは、（術前及び術後の情報を含む）選択された計画に対応する手術計画ファイル（例えば、ｐｄｆファイルまたは他の適切な媒体フォーマット）の画像１００６を含む選択された手術計画に対応する様々な情報及び画像、３Ｄ仮想骨モデル１００８及び３Ｄ仮想インプラントモデル１０１０並びに３Ｄ仮想モデル１００８、１０１０（３Ｄ画像と呼ばれてよい）を操作するための３Ｄ画像ナビゲーションバー１０１２、選択された手術計画に関連付けられた複数の平面のビューを見るためのビューアー１０１４及びビューアーナビゲーションバー１０１６を表示する。ＭＲシステム２１２は、術前フェーズ３０２中、ユーザに仮想ＭＲ物体として「計画」ページを提示してよい（図３）。例えば、ＭＲシステム２１２は、図８のステップ８０２、８０４、８０６、８０８に記載されるように、ユーザが病変を分類し、手術計画を選択し、手術計画を患者に合わせて調整し、手術計画を訂正し、手術計画を見直すのを支援するためにユーザに「計画」ページを提示してよい。

手術計画画像１００６は、ストレージシステム２０６のデータベースに記憶された患者の術前（及び、オプションで、術後）の患者情報及び手術計画を集めたものであってよい。いくつかの例では、手術計画画像１００６は、ユーザが閲覧できる複数ページのドキュメントに対応し得る。例えば、ページのさらなる画像は、患者情報、対象とする解剖学的構造に関する情報、術後の測定値、及び対象とする解剖学的構造の様々な２Ｄ画像を表示できる。さらなるページ画像は、例として、解剖学的構造の測定値、並びに、インプラントのサイズ、タイプ及び寸法など、患者に対して選択されたインプラントに関連する計画情報、対象とする解剖学的構造の平面画像、手術計画の実行を支援する患者に合わせて選択された手術ガイドの位置決め及び向きを示す３Ｄモデルの画像等を含み得る。

手術計画画像１００６は、任意の適切なフォーマット及び配置で表示することができ、本明細書に記載のシステム及び技術の他の実施態様は、計画画像１００６を使用する用途のニーズに応じて異なる情報を含み得ることを理解すべきである。

図１０を再び参照すると、ＵＩ５２２の計画ページはまた、３Ｄ仮想骨モデル１００８及びインプラントコンポーネントの３Ｄモデル１０１０の画像と、３Ｄ仮想モデル１００８、１０１０を操作するためのナビゲーションバー１０１２とを提供し得る。例えば、ナビゲーションバー１０１２のアイコンを選択または選択を解除すると、ユーザが、様々なインプラントコンポーネント１０１０と共に、またはそれ無しに、３Ｄ仮想骨モデル１００８の異なる部分を選択的に見るのを可能にする。例えば、仮想骨モデル１００８の肩甲骨とインプラントモデル１０１０の関節窩インプラントとの選択が解除されて、上腕骨と上腕骨インプラントコンポーネントのみが見える。他のアイコンは、ユーザがズームインまたはズームアウトするのを可能にすることができ、ユーザはまた、例えば、視線方向、ハンドジェスチャ及び／または音声コマンドを使用して、３Ｄ仮想モデル１００８、１０１０を回転させることができ、向きを変えることができる。

ＵＩ５２２の計画ページはまた、３Ｄ仮想骨モデル１００８及びインプラントコンポーネントの３Ｄモデル１０１０の画像と、３Ｄ仮想モデル１００８、１０１０を操作するためのナビゲーションバー１０１２とを提供する。例えば、図１２に示すように、ナビゲーションバー１０１２上のアイコン１２１８の選択または選択解除（図１２）によって、ユーザは、様々なインプラントコンポーネント１０１０と共に、またはそれ無しに、３Ｄ仮想骨モデル１００８の異なる部分を選択的に見ることができる。この例では、仮想骨モデル１００８の肩甲骨とインプラントモデル１０１０の関節窩インプラントとの選択が解除されて、上腕骨と上腕骨インプラントコンポーネントのみが見える。アイコン１２２０（図１２）は、ユーザがズームインまたはズームアウトするのを可能にし、ユーザはまた、視線方向、ハンドジェスチャ及び／または音声コマンドを使用して、３Ｄ仮想モデル１００８、１０１０を回転させることができ、向きを変えることができる。

図１１Ａの例では、「計画」ページのナビゲーションバー１０１２の可動域アイコン１１０２を選択すると、可動域モードが起動する。可動域モードでは、ユーザは、患者のための術前手術計画に従って埋め込まれた人工インプラントと共に解剖学的構造の様々な異なる動きをシミュレーションすることによって、インプラントコンポーネント１０１０の選択、配置及び／または位置決めをテストまたは確認できる。この例では、視線方向、モーションセンサもしくは他の制御デバイスによって検出される手の動き、及び／または音声コマンドを使用することによって、ユーザは、内転、外転、内／外旋、挙上、屈曲もしくは伸展、または日常の機能的タスクに対応する動き等の任意の他の関節の動きのシミュレーション等の解剖学的動きを選択することができる。図１１Ａの例では、可動域メニュー１１０４は、異なるタイプの動きに対応する選択可能な要素を含む。

動き（すなわち、「内転」「外転」「内旋０度」「外旋０度」「伸展」及び「屈曲」）の１つを選択するためのユーザ入力の指示を受信することに応答して、ＭＲシステム２１２は、選択された動きのタイプを示す３Ｄ仮想モデル１００８のＭＲアニメーションを提示してよい。例えば、ユーザが外転を選択した場合、ＭＲシステム２１２は、３Ｄ仮想モデル１００８の上腕骨が３Ｄ仮想モデル１００８の肩甲骨に対して垂直に回転するアニメーションを提示してよい。さらに、図１１Ａの例では、可動域メニュー１１０４は、「全ての動きを再生」要素１１２５を含む。要素１１２５を選択するユーザ入力の指示を受信することに応答して、ＭＲシステム２１２は、３Ｄ仮想モデル１００８の上腕骨が可動域メニュー１１０４に列挙された動きのタイプのそれぞれで動くアニメーションを提示してよい。

可動域メニュー１１０４はまた、動きのタイプのそれぞれに対してインピンジメント角度を列挙している。図１１Ａの例では、動きのタイプのインピンジメント角度は、そのタイプの動きを行う時、骨のインピンジメントが生じる角度である。骨のインピンジメントは、ある骨が他の骨に接触する時、または、移動する埋め込まれた外科的コンポーネント（例えば、上腕骨、距骨インプラント、脛骨インプラント等に接続されたカップ部材）が骨に接触する時に生じる。骨のインピンジメントは、痛みを伴う場合があり、骨の摩耗を引き起こす場合がある。骨のインピンジメントは、２つの硬い表面間の接触を表すので、可動域に対する理論的な制限も表す。図１１Ａの例では、インピンジメント角度は、仮想手術計画で指定されたコンポーネントのサイズ、位置及び角度と共に、インプラントコンポーネントを含む所与の仮想手術計画に対して決定された角度を表す。

ＭＲシステム２１２を用いたシミュレーションされた可動域の可視化は、外科医が手術計画を確認するのを支援することができる、または、外科医が術前手術計画を更新もしくは修正することにつながる場合がある。例えば、図１１Ａにおいて、ユーザは、可動域メニュー１１０４の内転ボタンを選択した。内転シミュレーション中の肩甲骨と上腕骨取付カップコンポーネントの間の衝突１１０６が可視化デバイス２１３によるＭＲ可視化において、（例えば、赤で）強調表示される。別の例では、距骨と脛骨インプラント間または距骨インプラントと脛骨の間の衝突が、可視化デバイス２１３によるＭＲ可視化において強調表示されてよい。ユーザをさらに支援するために、ＭＲシステム２１２は、３Ｄモデルを回転させてよく、３Ｄモデルの周りを巡ってよく、３Ｄモデルの一部を隠すもしくは見せてよく、または、３Ｄモデルを観察するための他のアクションを行ってよい。

骨のインピンジメント（すなわち、衝突）が患者の通常の可動域内の角度で生じる場合、これは、手術計画の一定のパラメータ（例えば、インプラントコンポーネントのサイズ、タイプ、位置または向き）における変更が必要な可能性があることを外科医に示し得る。しかしながら、このような衝突が患者の通常の可動域外の角度で生じる場合、外科医が手術計画のパラメータを変更する必要が無いことがある。むしろ、衝突が生じる前に患者の他の組織が、動きを止める場合がある。例えば、図１１Ａの例では、上腕骨に付着した患者の体側または腱が、衝突１１０６が実際に生じるのを防ぎ得る。しかしながら、外転の通常の可動域は１８０°で、メニュー１１０４は、骨のインピンジメントが６０°の角度で生じるであろうことを示している。従って、図１１Ａに示す手術計画の現在のパラメータでは、患者は、水平位置に腕を上げることさえできないであろう。本開示は、「早すぎる衝突」という用語を使用して、通常の可動域内で生じる骨のインピンジメントを指し得る。

衝突１１０６等の衝突を可動域のアニメーションのＭＲ提示の一部として見せることによって、外科医が手術計画の一定のパラメータの変更の仕方を理解するのを支援してよい。例えば、上腕骨と肩峰または烏口突起のいずれかとの間の骨のインピンジメントは、外転中に患者の可動域を制限し得る。従って、この例では、外科医は、外転中に患者の上腕骨と肩峰の間で早すぎる骨の衝突が生じるが、外転中に患者の上腕骨と烏口突起の間では衝突が生じないことを見ることによって、ボールコンポーネントを後方にオフセットすべきであると決定でき得る。しかしながら、上腕骨と、肩峰及び烏口突起の両方との間で早すぎる骨の衝突がある場合、外科医は、異なるサイズのボールコンポーネントまたはウェッジが必要であると決定し得る。外科医が３Ｄ仮想骨モデル及び３Ｄ仮想インプラントモデルを見る、回転させる、それらの周りを巡る、または他の方法でそれらとやりとりすることを可能にすると、外科医がこの決定を行うのを支援し得る。

図１１Ｂは、本開示の技術による、手術パラメータ選択を支援する例示の動作を示すフローチャートである。従って、本開示の技術によると、ＭＲシステム２１２または術前手術計画システム２０２（図２）等のコンピューティングシステムは、患者の医療画像に基づいて、患者の関節の３次元（３Ｄ）仮想モデルを生成してよい（１１０８）。関節は、肩関節、足首、膝、肘または手首等の様々なタイプの関節であってよい。

さらに、コンピューティングシステムはまた、手術パラメータのセットに基づいて、関節の３Ｄ仮想インプラントモデルを生成してよい（１１１０）。関節が肩関節である例では、３Ｄ仮想インプラントモデルは、図１１Ａに示すように、ボールコンポーネント、カップコンポーネント、及び上腕骨ステムコンポーネントを含んでよい。他の関節または肩関節への他の手術の仮想インプラントモデルは異なるコンポーネントを含んでよい。手術パラメータのセットは、関節のインプラントの１つまたは複数のコンポーネントのサイズ、形状、位置、またはコンポーネントの他の側面を示してよい。３Ｄ仮想インプラントモデルを生成することは、手術パラメータのセットが示すサイズを有するインプラントのコンポーネントに対応する仮想物体を選択及び配置することを含んでよい。

さらに、コンピューティングシステムは、３Ｄ仮想骨モデル及び３Ｄ仮想インプラントモデルに基づいて複数のインピンジメント角度を決定してよい（１１１２）。複数のインピンジメント角度の各インピンジメント角度は、関節の複数の動きのタイプのうちの異なる動きのタイプに対応する。複数のインピンジメント角度の各インピンジメント角度につて、各インピンジメント角度は、各インピンジメント角度に対応する動きのタイプ中に骨のインピンジメントが生じる角度を示す。いくつかの例では、コンピューティングシステムは、３Ｄ仮想骨モデル及び３Ｄ仮想インプラントモデルのコンポーネントを動かすことと、３Ｄ仮想骨モデルと３Ｄ仮想インプラントモデルの仮想物体間の衝突が生じる場所を検出することによって、インピンジメント角度を決定してよい。関節が肩関節である例では、動きのタイプは、内転、外転、内旋、外旋、伸展及び屈曲を含んでよい。関節が足関節である例では、動きのタイプは、底屈及び背屈を含んでよい。

可視化デバイス２１３（図２）等のＭＲ可視化デバイスは、３Ｄ仮想骨モデル、３Ｄ仮想インプラントモデル、及び複数のインピンジメント角度を示す視覚的要素を含むＭＲ可視化を提示してよい（１１１４）。図１１Ａは、このようなＭＲ可視化の例を示す。ＭＲ可視化デバイスは、手術ライフサイクル中の様々な時にＭＲ可視化を提示してよい。例えば、ＭＲ可視化デバイスは、術前フェーズ３０２（図３）、術中フェーズ３０６、または術後フェーズ３０８中にＭＲ可視化を提示してよい。よって、外科医または他のユーザが、手術を計画している時にＭＲの可動域の可視化を、手術の過程中に、例えば仮想モデルとして、例えば、仮想モデルとして単独で、または、実際の患者の解剖学的構造を見ることと仮想の術中ガイダンス要素の提示とを組み合わせて、または、手術完了後に、例えば、仮想モデルとして、見てよい。

さらに、ＭＲ可視化デバイスは、３Ｄ仮想骨モデルと３Ｄ仮想インプラントモデルの２つ以上のコンポーネントが衝突する、例えば、インピンジメント１１０６を生み出す、１つまたは複数の点をＭＲ可視化で視覚的に提示してよい（１１１６）。いくつかの例では、ＭＲ可視化デバイスは、ＭＲ可視化において、１つまたは複数の点の領域に１つまたは複数のインピンジメント識別子を提示することによって衝突点を示してよい。インピンジメント識別子は、輝く領域、矢印、強調表示された領域、色、点滅する要素、幾何学的図形、輪郭線を含んでよく、または他のタイプのインジケータを使用して衝突点を視覚的に示してよい。

いくつかの例では、ＭＲ可視化デバイスは、３Ｄ仮想骨モデル及び３Ｄ仮想インプラントモデルが複数の動きのタイプのある動きのタイプに従って動くアニメーションを提示してよい。いくつかの例では、ＭＲ可視化デバイスは、３Ｄ仮想骨モデル及び３Ｄ仮想インプラントモデルが複数の動きのタイプの各動きに従って動くアニメーションを提示してよい。いずれの例でも、ＭＲ可視化デバイスは、メニュー１１０４の動きのタイプに対応する要素を選択するハンドジェスチャ、または音声コマンド等のユーザ入力の指示を受信することに応答して、アニメーションを提示してよい。例えば、図１１Ａに関して、ＭＲ可視化デバイスは、メニュー１１０４の内転要素、メニュー１１０４の外転要素、または、メニュー１１０４の「全ての動きを再生」要素を選択するユーザ入力の指示を受信することに応答して、外転／内転の動きのタイプに従って肩甲骨に対して上腕骨が動くアニメーションを提示してよい。ＭＲ可視化デバイスがアニメーションを提示する例では、ＭＲ可視化デバイスは、アニメーション中、３Ｄ仮想骨モデル及び３Ｄ仮想インプラントモデルの２つ以上のコンポーネントが衝突する１つまたは複数の点を視覚的に示してよい。さらに、いくつかの例では、ＭＲ可視化デバイスは、アニメーション中、３Ｄ仮想骨モデル及び３Ｄ仮想インプラントモデルの２つ以上のコンポーネントが衝突する時に可聴または触覚通知を生成してよい。例えば、ＭＲ可視化デバイスのスピーカが、アニメーションが衝突が生じるフレームを示す時、可聴通知を（例えば、ビープまたはクリック音として）出力してよい。ＭＲ可視化デバイスの振動ユニットは、衝突が生じる時、振動として触覚通知を生成してよい。

本開示の他の箇所に記載するように、ユーザは、ＭＲ可視化におけるインピンジメント角度及び衝突点に関する情報を使用して、手術パラメータを調整するかどうかを決定してよい。

図１０の例に戻ると、可視化デバイス２１３が提示する計画ページはまた、ユーザが患者画像データを見て、表示されたスライスと向きの間を切り替えるのを可能にする複数平面の画像ビューアー１０１４（例えば、ＤＩＣＯＭビューアー）とナビゲーションバー１０１６とを含む。例えば、ユーザは、ユーザが複数平面の画像ビューアー１０１４で患者の身体の２Ｄの矢状面と冠状面を見ることができるように、ナビゲーションバー１０１６の２Ｄ平面アイコン１０２６を選択できる。

図１０のワークフローバー１０００は、特定の整形外科手術（ここでは、肩修復手術）の手術ワークフローのステップに対応するさらなるページを含む。図１０の例では、ワークフローバー１０００は、肩修復手術の手術ワークフローのステップのワークフローページに対応する「移植片」「上腕骨切断」「ガイド取付」「関節窩リーミング」及び「関節窩インプラント」とラベル付けされた要素を含む。一般的に、これらのワークフローページは、手術の計画中または実行中にヘルスケア専門家にとって有用であり得る情報を含み、これらのページを選択すると提示される情報は、手術中の外科医を妨害したり注意力を奪ったりすることを最小限にするように、選択及び編成される。従って、表示される情報の量は、最適化され、表示される情報の有用性は最大にされる。これらのワークフローページは、手術のステップを通して外科医、看護師または他の医療技師をガイドするように術中フェーズ３０６（図３）の一部として使用されてよい。いくつかの例では、これらのワークフローページは、手術ワークフローの様々なステップに関与する物体の３次元モデルをユーザが可視化できるように術前フェーズ３０２（図３）の一部として使用されてよい。

図示の例においては、ユーザ（例えば、外科医）が選択できる各ワークフローページは、（図１３に示す）拡張手術ウィジェット１３００等の拡張手術ウィジェットを含むことができる。拡張手術ウィジェットは、選択されると、ＭＲシステム２１２の動作モードを起動し、動作モードにおいて、可視化デバイス２１３（図２）を使用している（例えば、着用している）ユーザは、患者の骨上に投影及び適合された手術計画の詳細（例えば、詳細の仮想画像）を見ることができ、術中に手術を支援する計画を使用することができる。一般に、拡張手術モードによって、外科医は、対象とする患者の解剖学的構造（例えば、関節窩）の仮想３Ｄモデルを観察される現実の解剖学的構造に位置合わせすることができ、それによって、外科医は、以下により詳細に記載するように、仮想手術計画を使用して、現実の手術の実施を支援することができる。外科医が実際の手術中に使用する、手術の各ステップのための異なる拡張手術ウィジェットがあってよい。異なるステップのための拡張手術ウィジェットは、異なるテキスト、コントロール、アイコン、グラフィック等を含んでよい。

肩修復手術のこの例では、図１０を参照すると、外科医が使用できるＵＩ５２２のワークフローページは、「移植片」「上腕骨切断」「ガイド取付」「関節窩リーミング」及び「関節窩インプラント」を含む。「移植片」ステップ及び「ガイド取付」ステップは、オプションであってよい。例えば、あらゆる処置で移植片が必要なわけではなく、ＭＲリーミング軸ガイダンスが可視化デバイス２１３によってユーザに提示される場合、関節窩リーミングガイドの使用が必要でない場合がある。ユーザは、術前フェーズ３０２中、術中フェーズ３０６中、または、他の時に、ワークフローページを見てよい。患者に対して手術計画を調整し、手術計画のステップを見直し、他のタスクを行うために、術前フェーズ３０２中にワークフローページを見ることは外科医にとって有用であり得る。術中フェーズ３０６のワークフローページを見て、対応する手術ステップに関与する患者の解剖学的構造に関して外科医の記憶を新たにし、対応する手術ステップ中のある特定のアクションの実行方法に関する情報を取得し、手術ステップに必要な手術器具、インプラント、または他の手術アイテムの在庫を調べることは外科医にとって有用であり得る。上記のように、各ワークフローページは一般に、特定の手術のワークフローのステップに対応する。従って、例えば、移植片ページは、特定の患者に適合された骨移植片１４０２（図１４）をユーザが可視化するのを可能にし、必要に応じて、骨移植片１４０２の形状及び寸法を選択、設計及び／または修正するための十分な情報をユーザに提供する。例として、骨移植片１４０２は、上腕骨または他の骨からとった骨移植片であってよい。

別の例として、図１５Ａを参照すると、上腕骨切断ページは、上腕骨の３Ｄモデル１５０４及び上腕骨インプラントコンポーネントの３Ｄモデル１５０６と、例えば、上腕骨頭の一部分を取り除くための回転鋸または往復鋸等の切断ツールを適用する上腕骨頭の切断面１５０８とをユーザに提示する。このページのメニュー１５１０上の他のアイテムを選択することに応答して、可視化デバイス２１３は、上腕骨インプラントコンポーネントの３Ｄモデル１５０６を現在の画像から取り除くことができ、例として、切断前及び切断後の上腕骨頭の画像を提供できる。

図１５Ｂ～１５Ｄは、本開示の例による、図１５Ａの上腕骨切断ページの隠れている仮想物体の例である。上記のように、図１５Ａのメニュー１５１０は、患者の上腕骨のコンポーネント及びインプラントコンポーネント１５０６の３Ｄモデルをユーザが選択的に追加または取り除くのを可能にする。例えば、図１５Ｂ～１５Ｄの例では、ユーザは、インプラントコンポーネント１５０６の３Ｄモデルを取り除いている。図１５Ｂにおいて、ユーザは、上腕骨及び上腕骨頭を見る選択をした。図１５Ｃにおいて、ユーザは、上腕骨を見るが上腕骨頭を見ない選択をした。図１５Ｄにおいて、ユーザは、上腕骨頭を見るが上腕骨を見ない選択をした。この例では、上腕骨頭無しの上腕骨の提示は、手術の途中で、例えば、上腕骨ボールまたはプレートコンポーネント等のインプラントコンポーネントを上腕骨上に配置できるように、仮想手術計画に従って上腕骨頭の一部を除去するために上腕骨切断面が見えるように選択され得る。

別の例として（図示せず）、骨棘アイテムが、可視化デバイス２１３によるメニューページに選択のために提示されてよい。選択されると、骨棘評価機能が有効にされ、可視化デバイス２１３によってユーザに提示されるＭＲ可視化において、患者の骨上の骨棘が、識別、投影、強調表示または隠され得る。

図１６を参照すると、ガイド取付ページは、実際の手術中、ガイド１６００の効率的で正確な配置を支援するために、例えば、患者の関節窩１６０２上で、関節窩骨にリーミングガイドピンを配置するためのドリルのガイダンスのために、ユーザが、患者固有のまたは患者に適合したガイド１６００の物理的位置を可視化するのを可能にする。例えば、音声コマンド、視線方向及び／またはハンドジェスチャの選択によって、メニュー１６０４上でアイテムを選択することによって、３Ｄ画像から特徴を取り除くことができる、またはリーミング軸１６０６等の手術計画の他のパラメータを追加することができる。ガイド１６００の配置は、可視化デバイス２１３が、物理的ガイドではなく、仮想リーミング軸または他の仮想ガイダンスを提示して、関節窩骨にリーミングガイドピンを配置するためにドリルをガイドする手順では不要である。可視化デバイス２１３によって提示される仮想ガイダンスまたは他の仮想物体は、例えば、１つまたは複数の３Ｄ仮想物体を含んでよい。いくつかの例では、仮想ガイダンスは、２Ｄ仮想物体を含んでよい。いくつかの例では、仮想ガイダンスは、３Ｄと２Ｄの仮想物体の組み合わせを含んでよい。

図１７を参照すると、関節窩インプラントページは、ユーザが、関節窩１６０２上の関節窩インプラント１７００及び骨移植片１４０２の向き及び配置を可視化するのを可能にする。

本明細書に図示及び記載されたワークフローページは例であり、ＵＩ５２２がより少ない、より多い、または異なるページを含むことができることを理解されたい。例えば、足首、足、膝、股関節または肘等、患者の他の解剖学的構造が関与する手術のためのＭＲシステム２１２の使用では、ＵＩ５２２は、それらの手術の手術ワークフローに固有の特定のステップに対応するページを含み得る。

ＭＲシステム２１２のＵＩ５２２に表示される画像は、手術環境外または手術環境内で、第三者モードで見ることができ、手術環境外または手術環境内で複数のユーザが同時に見ることができる。手術環境等、状況によっては、外科医にとって、制御デバイス５３４を使用して、例として手術室の壁または他の表面に一定の情報を固定することにより、情報が手術中に外科医の視野を邪魔しないように、可視化デバイス２１３を方向付けることが有用な場合がある。例えば、手術計画の関連する手術ステップがて選択的に表示されて、外科医または他のケア提供者によって使用され、手術をガイドすることができる。

様々ないくつかの例において、手術ステップの表示は、関連するステップのみが手術中の適切な時に表示されるように自動的に制御することができる。

上記のように、手術ライフサイクル３００は、手術が行われる術中フェーズ３０６を含んでよい。１人または複数のユーザが、術中フェーズ３０６に整形外科手術システム１００を使用してよい。

図１８は、１人または複数のユーザの集合が術中フェーズ３０６中に整形外科手術システム１００のＭＲシステムを使用する例示の環境を示す概念図である。図１８の例では、外科医が、第１のＭＲシステム１８００Ａ（例えば、ＭＲシステム２１２）の可視化デバイス（例えば、可視化デバイス２１３）を着用してよい。ＭＲシステム１８００Ａの可視化デバイスは、術中フェーズ３０６中にＭＲ術中ガイダンスコンテンツ１８０２を外科医に提示してよい。本開示の他の箇所に詳述するように、ＭＲ術中ガイダンスコンテンツ１８０２は、外科医が手術を行うのを支援し得る。

さらに、図１８の例では、１人または複数の他のユーザが、整形外科手術システム１００のＭＲシステムの可視化デバイスを使用して、ＭＲ術中ガイダンスコンテンツ１８０２を見てよい。例えば、看護師が、整形外科手術システム１００のＭＲシステム１８００Ｂの可視化デバイスを使用してよい。さらに、図１８の例では、技師が、整形外科手術システム１００のＭＲシステム１８００Ｃの可視化デバイスを使用してよい。図１８の例では、第２の外科医が、整形外科手術システム１００のＭＲシステム１８００Ｄの可視化デバイスを使用してよい。ＭＲシステム１８００Ａ、１８００Ｂ、１８００Ｃ及び１８００Ｄは、本明細書では集合的に「ＭＲシステム１８００」と呼ばれてよい。いくつかの例では、テレビまたは他のディスプレイデバイスが、仮想物体を含み得る外科医のビューを看護師、外科医または技師等の１人または複数の他の個人に提示してよい。

上記個人の２人以上（例えば、第１の外科医、看護師、技師、第２の外科医）は、同じまたは異なるＭＲ術中ガイダンスコンテンツ１８０２を同時に見てよい。個人の２人以上が同じＭＲ術中ガイダンスコンテンツ１８０２を同時に見ている例では、２人以上の個人は、同じＭＲ術中ガイダンスコンテンツ１８０２を同じまたは異なる視点から同時に見てよい。

１人または複数のユーザが、術中環境で整形外科手術システム１００を使用してよい。例えば、ユーザは、ユーザが術中に仮想手術計画を見ることができるように、ＭＲシステム１８００によって提示されるユーザインタフェースを操作してよい。例えば、この例では、ユーザは、対象とする解剖学的構造の３Ｄ仮想モデル（例えば、対象とする解剖学的構造の３次元仮想骨モデル）を見てよい。

いくつかの例では、少なくとも１人の外科医を含む１人または複数のユーザが、術中設定で整形外科手術システム１００を使用して肩の手術を行ってよい。図１９は、肩関節修復手術の例示の段階を示すフローチャートである。上記のように、図１９は、肩の手術の例示の手術プロセスを記載する。外科医は、図１０の手術プロセスの各ステップ中、可視化デバイス２１３を着用、または、他の方法で使用してよい。他の例では、肩の手術は、より多い、より少ない、または異なるステップを含んでよい。例えば、肩の手術は、骨移植片を追加するステップ、セメントを追加するステップ、及び／または他のステップを含んでよい。いくつかの例では、可視化デバイス２１３は、手術ワークフローのステップを通して、外科医、看護師、または他のユーザをガイドする仮想ガイダンスを提示してよい。

図１９の例では、外科医が切開プロセスを行う（１９００）。切開プロセス中、外科医は、患者の肩関節を露出するための一連の切開を行う。いくつかの例では、ＭＲシステム（例えば、ＭＲシステム２１２、ＭＲシステム１８００Ａ等）が、例えば、どこをどのように切開するべきかを示す仮想ガイダンス画像を表示することによって、外科医が切開プロセスを行うのを支援してよい。

さらに、図１９の例では、外科医は、上腕骨切断プロセスを行ってよい（１９０２）。上腕骨切断プロセス中、外科医は、患者の上腕骨の上腕骨頭の一部を取り除いてよい。上腕骨頭の一部を取り除くことは、外科医が患者の関節窩にアクセスするのを可能にし得る。さらに、上腕骨頭の一部を取り除くことによって、続いて、外科医は、外科医が患者の関節窩に埋め込む計画の関節窩インプラントに適合する上腕骨インプラントで、上腕骨頭の一部を置き換えることが可能になる。

上記のように、上腕骨準備プロセスによって、外科医が患者の関節窩にアクセスできるようになる。図１９の例では、上腕骨準備プロセスを行った後、外科医は、可視化デバイス２１３によって外科医に提示される視野で、仮想関節窩物体を患者の実際の関節窩骨に位置合わせする位置合わせプロセスを行ってよい（１９０４）。

図２０Ａは、３Ｄ仮想骨モデル１００８を患者の現実に観察される骨構造２２００に位置合わせする技術２０００の例を示す。言い換えると、図２０Ａは、図２の複合現実システム２１２等の複合現実システムで実施される、仮想骨モデルを観察される骨に位置合わせするために、例えば、可視化デバイス２１３によって行われるプロセスフローの例である。以下に説明される図２０Ｂは、物理的位置合わせマーカを用いて、３Ｄ仮想骨モデル１００８を骨構造２２００に位置合わせする別の技術２０１８を示す。

図２０Ａをさらに参照すると、３Ｄ仮想骨モデル１００８は、１つまたは複数の骨の全てまたは一部のモデルであってよい。図２０Ａのプロセスフローは、図１９のステップ１９０４の位置合わせプロセスの一部として行われてよい。位置合わせプロセスは、初期化及び最適化（例えば、最小化）の２つのステップで行われてよい。初期化中、ＭＲシステム２１２のユーザは、術前仮想計画システム１０２から得た情報、（（「注視」または「視線」とも呼ばれる）ユーザの目の方向を示す）ユーザの頭部の向き、ユーザの頭部の複数の方向への回転、センサ５３０、５３２及び／または５３３（または他の取得センサ）によって収集されたセンサデータ、及び／または、音声コマンド及び／またはハンドジェスチャと共に、可視化デバイス２１３を使用して、３Ｄ仮想骨モデル１００８と観察された骨構造２２００との実質的なアライメントを視覚的に達成する。より詳細には、ブロック２００２で、仮想骨モデル１００８の表面の対象点または領域と、領域の表面の対象点（または、領域）への仮想法線ベクトルとを仮想計画システム１０２を使用して、術前計画中に識別する。

ブロック２００４で、ＭＲシステム２１２は、識別された対象点（または、領域）をユーザの注視点（例えば、可視化デバイス２１３の視野の中央の点）につなげる。従って、可視化デバイス２１３のユーザの頭部がその後、動くまたは回転すると、仮想骨モデル１００８も空間内で動くまたは回転する。

肩関節形成術の例では、仮想骨モデル１００８の表面の対象点は、ＢＬＵＥＰＲＩＮＴ（商標）計画システム等の仮想計画システム１０２を使用して決定することができる仮想関節窩のほぼ中心であってよい。いくつかの例では、仮想関節窩のほぼ中心は、機械学習アルゴリズムまたは人工知能システムの支援を受けて、または、別のタイプのアルゴリズムを用いて、重心発見アルゴリズムを使用して決定することができる。他のタイプの骨修復／置換術については、骨の他の点または領域が、識別され、次に、ユーザの視線または注視点につながれてよい。

ユーザの注視点を中心に空間で仮想骨モデル１００８を移動及び回転させる能力だけでは一般的に、仮想骨モデル１００８を観察される骨と同じ向きにするには不十分である。従って、初期化手順の一部として、ＭＲシステム２１２はまた、デプスセンサ、光学センサ、及びモーションセンサ５３０、５３２、５３３から収集されたセンサデータを使用して、可視化デバイス２１３と可視化デバイス２１３の視野で観察される骨の点（複数可）との間の距離と、その表面の向きとを決定する（ブロック２００８）。例えば、関節窩は、局所的に、平面によって近似され得るので、比較的単純な表面である。従って、関節窩表面の向きは、その表面上の点（例えば、中心点）に対して垂直（すなわち、直角な）ベクトルを決定することによって近似することができる。この法線ベクトルは、本明細書では「観察法線ベクトル」と呼ばれる。しかしながら、上腕骨または膝等の他の骨は、より多くの複雑な表面を有し得ることは理解されたい。これらのより複雑な症例では、他の表面記述子を使用して、向きを決定してよい。

特定の骨に関わらず、距離情報は、デプスカメラ（複数可）５３２からＭＲシステム２１２によって得ることができる。この距離情報を使用して、観察される骨の表面の幾何学的形状を得ることができる。すなわち、デプスカメラ（複数可）５３２は、デプスカメラ（複数可）５３２の視野の任意の点に対応する距離データを提供するので、観察される骨上のユーザの注視点までの距離を決定することができる。この情報を用いて、ユーザは次に、空間で３Ｄ仮想骨モデル１００８を動かすことができ、注視点を用いて対象点または領域で３Ｄ仮想骨モデル１００８を観察される骨とほぼ整列させることができる（図２０Ａのブロック２０１０）。すなわち、ユーザが観察された骨構造２２００（図２０Ａのブロック２００６）に注視をシフトすると、（ユーザの視線に接続された）仮想骨モデル１００８は、ユーザの注視と共に移動する。次に、ユーザは、ユーザの頭部（及び、従って、視線）を動かして、ハンドジェスチャを使用して、音声コマンドを使用して、及び／または、仮想インタフェースを使用して、３Ｄ仮想骨モデル１００８を観察された骨構造２２００と整列させて、仮想骨モデル１００８の位置を調整することができる。例えば、３Ｄ仮想骨モデル１００８が観察された骨構造２２００とほぼ整列すると、ユーザは、ＭＲシステム２１２に最初のアライメントをキャプチャさせる音声コマンド（例えば、「セット」）を提供してよい。３Ｄモデルの向き（「ヨー」及び「ピッチ」）は、ユーザの頭部を回転すること、ハンドジェスチャを使用すること、音声コマンドを使用すること、及び／または、仮想の物体及び観察された物体の最初の（または、おおよその）アライメントが達成できるようにユーザの視線を中心に３Ｄ仮想骨モデル１００８を回転させる（図２０Ａのブロック２０１２）仮想インタフェースを使用することによって調整することができる。このように、仮想骨モデル１００８は、仮想の法線ベクトルと観察法線ベクトルを整列させることによって、観察される骨と向きを合わせられる。最初のアライメントの追加の調整を、必要に応じて行うことができる。例えば、音声コマンドを提供した後、ユーザは、追加のユーザ入力を提供して、仮想骨モデル１００８の観察された骨構造２２００に対する向きまたは位置を調整してよい。この最初のアライメントプロセスは、術中に（または、リアルタイムで）行われ、それによって、外科医は、仮想の骨と観察される骨をほぼ整列させることができる。外科医が最初のアライメントが不十分であると判断する等のいくつかの例では、外科医は、点２１０６が再びユーザの視線にロックされるようにＭＲシステム２１２に最初のアライメントを解除させるユーザ入力（例えば、「リセット」等の音声コマンド）を提供してよい。

図２０Ａのブロック２０１４で、３Ｄ仮想骨モデル１００８と観察された骨構造２２００との最初のアライメントが（少なくとも大体）達成されたことをユーザが検出（例えば、見る）と、ユーザは、可聴のまたは他の知覚可能な指示を提供して、細かい位置合わせプロセス（すなわち、最適化（例えば、最小化）アルゴリズムの実行）を開始できることをＭＲシステム２１２に知らせることができる。例えば、ユーザは、ＭＲシステム２１２に最小化アルゴリズムを実行させて細かい位置合わせプロセスを行うように音声コマンド（例えば、「マッチ」）を提供してよい。最適化プロセスは、任意の適切な最適化アルゴリズム（例えば、反復最近傍点または遺伝的アルゴリズム等の最小化アルゴリズム）を採用して、仮想骨モデル１００８と観察された骨構造２２００とのアライメントを完全にすることができる。図２０Ａのブロック２０１６で、最適化アルゴリズムの実行を完了すると、位置合わせ手順は完了する。

図２１は、肩関節形成術の例示の位置合わせプロセスのステップを示す概念図である。図２２は、図２１の肩関節形成術の例示の位置合わせプロセスの追加のステップを示す概念図である。図２１において、可視化デバイス２１３のユーザの視線２１０４は、３Ｄ仮想骨モデル１００８（関節窩）の表面２１０８上の事前に識別された対象点（または、注視点）２１０６と接続される。図２１はまた、表面２１０８上の点２１０６への仮想法線ベクトル（Ｎｖ）２１１０を示す。図２２において、可視化デバイス２１３のユーザは、観察された骨構造２２００の表面２２０４の対象領域２２０２に視線２１０４をシフトする。視線２１０４は、仮想骨モデル１００８の中心点２１０６に接続されているので、視線２１０４をシフトすることによって、仮想骨モデル１００８の中心点２１０６が、観察された対象領域２２０２と整列する。しかしながら、図２２に示すように、単に視点をシフトすることによって、中心点／領域２１０６、２２０２を整列させるが、（破線で示される）仮想骨モデル１００８は、観察された骨構造２２００とは適切に同じ向きにならない場合がある。観察法線ベクトル（ＮＯ）２２０６が上記のように決定されると、可視化デバイス２１３は、適切な向きが達成され（点線で示される）、仮想法線ベクトル（ＶＮ）２１１０が観察法線ベクトル２２０６と整列するまで、仮想骨モデル１００８の向き（ピッチ及びヨー）を調整することができる。ユーザは、仮想骨モデル１００８が対応する現実の骨と適切なアライメントになるように関節窩を通る整列された軸を中心に仮想骨モデル１００８を回転させてよい。

図２３及び図２４は、肩関節形成術の例示の位置合わせプロセスを示す概念図である。図２１に示す位置合わせプロセスと同様に、図２３は、可視化デバイス２１３のユーザの視点を示す。図２３に示すように、対象点２１０６が、仮想骨モデル１００８上に示される。上記のように、ユーザの注視が点２１０６に接続されるので、ユーザは、視線をシフトすることによって仮想骨モデル１００８を動かしてよく、この場合、可視化デバイス２１３は、注視のシフトを検出して、それに対応するように仮想骨モデルを移動させる。図２４に示すように、仮想骨モデル１００８を観察された骨構造２２００と整列させるために、ユーザは、注視を矢印２４００が示す方向にシフトさせてよい。

肩関節形成等のいくつかの骨修復手順については、ユーザの注視のみを使用した仮想の骨と観察される骨とのアライメント及び方向付けは困難な場合がある。これらの問題は、骨（例えば、関節窩）が皮膚のかなり深くに位置するので、外科的切開を行った後でさえ、可視化デバイス２１３を骨の近くに配置することが難しい場合があること、影が骨を見えなくする場合があること、対象とする骨表面全てが見えるわけではないこと、ユーザが一定の安定した注視を維持することが困難な場合があり、それによって、仮想の骨の位置決めを不安定にし得ることなどを含む、多くの要因が原因で生じる。いくつかの例では、これらの問題に対処するために、位置合わせ手順は、骨の特定の箇所（複数可）（例えば、肩関節形成術に関しては関節窩の中心）に配置された仮想ランドマーク（複数可）の使用を通して容易にすることができる。このような例では、仮想ランドマークが配置された箇所と、その箇所に垂直な表面とを使用して、自動的に仮想の骨及び観察される骨に対する初期化変換（または、位置合わせ変換）を決定することができる。必要に応じて、仮想ランドマークを使用して仮想の骨と観察される骨の間で達成されるアライメントは、音声コマンド、ハンドジェスチャ、仮想インタフェースボタンを使用して、及び／または、骨表面の様々な箇所に追加の仮想マーカを配置することによって、ユーザによってさらに調整することができる。

図２５は、仮想マーカ２５００を使用した例示の位置合わせ手順を示す。図２６は、仮想マーカを使用した図２０Ａの例示の位置合わせ手順の追加のステップを示す概念図である。図２５及び図２６の例において、可視化デバイス２１３のユーザは、観察された骨構造２２００の中心領域２２０２（例えば、中心点）に仮想マーカ２５００を設定するように視線２１０４をシフトする。仮想で配置されたマーカ２５００、仮想法線ベクトル２１１０及び観察法線ベクトル２２０６の支援で、仮想骨モデル１００８と観察された骨構造２２００の間の初期化変換を決定することができる。次に、仮想骨モデル１００８と観察された骨構造２２００の間の最適の位置合わせを取得するために、上記のように最適化アルゴリズム（または、位置合わせアルゴリズム）が実行される。

いくつかの例では、初期化手順は、対象点の代わりに、骨表面の対象領域に基づいて実施することができる。このような例では、可視化デバイス２１３のデプスカメラ及び／または光学カメラ（複数可）５３０、５３２（図５）によって収集された画像データを処理して、観察される骨の位置と向きの識別を容易にする表面記述子を検出し、仮想の骨と観察される骨の間の初期化変換を決定することができる。

上記のように、いくつかの例では、初期化は、ユーザによって支援（例えば、ユーザが観察された骨構造２２００の中心領域２２０２に仮想マーカ２５００を設定するように視線２１０４をシフトすることによって支援）されてよい。いくつかの例では、ＭＲシステム２１２は、ユーザからの最小の支援で、または、支援なく、（例えば、任意の初期化ステップを含む）位置合わせプロセス全体を行ってよい。例えば、ＭＲシステム２１２は、デプスカメラ及び／または光学カメラ（複数可）５３０、５３２（図５）によって収集された画像データを処理して、対象とする解剖学的構造（例えば、観察された骨構造２２００）の場所を自動的に識別してよい。従って、ＭＲシステム２１２は、解剖学的構造の一部分の仮想モデルを、解剖学的構造の対応する観察された部分へ、ユーザが解剖学的構造のその部分を見ることに応答して（例えば、外科医が、可視化デバイス２１３を着用して、解剖学的構造のその部分を単に見るだけでよい）位置合わせし得る。ＭＲシステム２１２は、任意の適切な技術を使用して、自動的に場所を識別し得る。例えば、ＭＲシステム２１２は、機械学習モデルを使用して（すなわち、ランダムフォレストアルゴリズム等の機械学習を使用して）画像データを処理し、対象とする解剖学的構造の場所を識別し得る。

より一般的に言うと、図２０Ａ及び図２０Ｂを参照して記載した位置合わせ方法は、３Ｄ仮想モデルに対して第１のローカル基準座標系を決定し、観察された現実の解剖学的構造に対して第２のローカル基準座標系を決定することと見なされる。いくつかの例では、ＭＲシステム２１２はまた、光学カメラ５３０及び／またはデプスカメラ５３２及び／またはモーションセンサ５３３（または、任意の他の取得センサ）から収集された光学画像データを使用して、ユーザがいる環境（例えば、手術室）に対して、グローバル基準座標系を決定することができる。他の例では、グローバル基準座標系は、他の方法で規定できる。いくつかの例では、デプスカメラ５３２は、可視化デバイス２１３に外部で結合され、可視化デバイス２１３は、Ｍｉｃｒｏｓｏｆｔ ＨＯＬＯＬＥＮＳ（商標）ヘッドセット等の複合現実ヘッドセット、または類似のＭＲ可視化デバイスであってよい。例えば、デプスカメラ５３２は、可視化デバイス２１３から取り外し可能であってよい。いくつかの例では、デプスカメラ５３２は可視化デバイス２１３の一部であり、可視化デバイス２１３は、ここでも複合現実ヘッドセットであってよい。例えば、デプスカメラ５３２は、可視化デバイス２１３の外側ハウジング内に収容されてよい。

位置合わせプロセスは、仮想の骨と観察される骨の間のアライメントを達成及び維持するために、３Ｄ仮想骨モデルのｘ軸、ｙ軸及びｚ軸に沿った平行移動と、ｘ軸、ｙ軸及びｚ軸を中心にした回転とを可能にする変換行列を生成してよい。

いくつかの例では、仮想マーカの１つまたは複数は、例を挙げると、光学マーカまたは電磁マーカ等の１つまたは複数の物理的マーカで置き換えることができる、及び／または補うことができる。図３０Ａ～３０Ｅは、現実の観察された骨構造２２００のまわりに配置された物理的マーカの例を示す。一般に、１つまたは複数の物理的マーカは、位置合わせされている物体（例えば、現実の観察された骨構造２２００またはツール）上またはまわりの様々な位置に置かれてよい。図３０Ａ及び図３０Ｂの例に示すように、固定された光学マーカ３０１０が、肩関節形成術で使用されて、現実の観察された骨構造２２００上の肩甲骨の肩峰の場所を規定してよい。図３０Ａの例では、固定された光学マーカ３０１０は、光学マーカの１つの面に平面の基準マーカ３０１０Ａを含んでよい。図３０Ｂの例では、固定された光学マーカ３０１０は、光学マーカの複数の面に平面の基準マーカ３０１０Ａを含んでよい。物理的マーカが複数の面に基準マーカを含む場合、基準マーカは、あらゆる面で同じであってよい、または、異なる面が、異なる基準マーカを含んでよい。図３０Ａ及び図３０Ｂに示すように、基準マーカは、マーカ３０１０の先端３０１０Ｂに近い物理的マーカの部分に配置されてよい。いくつかの例では、ＭＲシステム２１２は、基準マーカの特徴部（例えば、セントロイドまたは中心点）と物理的マーカの先端の間の距離を取得してよい。一例として、距離は、既定であってよく、ＭＲシステム２１２のメモリに記憶されてよい。別の例として、ＭＲシステム２１２は、基準マーカの光学的特性に基づいて距離を決定してよい（すなわち、距離は、基準マーカにエンコードされてよい）。

図３０Ｃの例に示すように、物理的マーカ３０１２Ａ～３０１２Ｄ（集合的に、「物理的マーカ３０１２」）は、現実の観察された骨構造２２００のまわりの様々な位置に配置することができる。いくつかの例では、物理的マーカの様々な位置は、図１６の患者に適合したガイド１６００の位置（例えば、取付点）に対応してよい。肩峰位置と関節窩の中心の位置（仮想で設定されてよい）が分かると、ユーザが頭部の動き及び回転を用いる必要なく、ＭＲシステム２１２が自動的に仮想の骨を初期化／位置合わせするのが可能になり得る。

一般に、物理的マーカはどこに置かれてもよい。例えば、物理的マーカは、患者（例えば、非滅菌野）、外科的に露出された解剖学的構造（滅菌野）、器具、外科的視野のどこか、または任意の他の適切な箇所に取り付けることができる。

物理的マーカは、現実の観察される物体（例えば、骨構造２２００）に対して特定の箇所を識別することができる任意のタイプのマーカであってよい。物理的マーカの例は、受動的な物理的マーカ及び能動的な物理的マーカを含むが、必ずしもこれらに限らない。受動的な物理的マーカは、ＭＲシステム２１２による物理的マーカの識別を支援する物理的パラメータを有してよい。例えば、物理的マーカは、ＭＲシステム２１２による識別を支援するある特定の形状（例えば、現実の観察された骨構造２２００に取り付けられてよい球形のマーカ）、及び／または光学的特性（例えば、反射性材料、色（例えば、手術環境でより見やすい緑などの色）、（ＱＲコード（登録商標）等の１次元または２次元のバーを含む）バーコードなど）を有してよい。受動的な物理的マーカは、３次元または２次元であってよい。受動的な物理的マーカは、その存在／位置がＭＲシステム２１２によって受動的に検出されるという点で受動的と見なされてよい。受動的な物理的マーカは、例えば、剥離層を除去すると露出される接着剤層を介して骨、ツールまたは他の構造に接着して取り付けることができる平面の基準マーカを有する平らなまたは柔軟な２次元ステッカであってよい。あるいは、受動的な物理的マーカは、例えば、外科用の接着剤、ネジ、くぎ、クランプ及び／または他の固定機構を用いて骨に固定されてよい。

図３０Ｄの例に示すように、平面の基準マーカを含むステッカ３０１６Ａ～３０１６Ｃが、観察される足首３０１４にまたはまわりに取り付けられているとして示されている。さらに、平面の基準マーカを含むステッカ３０１８は、ドリル３０２０に取り付けられていると示されている。

能動的な物理的マーカは、ＭＲシステム２１２による識別を支援する１つまたは複数の動作を行ってよい。例えば、能動的な物理的マーカは、ＭＲシステム２１２による識別を支援する信号（例えば、電磁信号）を出力してよい。能動的な物理的マーカの例は、Ｎｏｒｔｈｅｒｎ Ｄｉｇｉｔａｌ社製のｔｒａｋＳＴＡＲ（商標）システム及び／またはｄｒｉｖｅＢＡＹ（商標）システム用のセンサまたは送信機を含むが、これらに限らない。

電磁追跡（すなわち、「ＥＭ追跡」と呼ばれる電磁物理的マーカを使用する追跡）は、磁場発生器（ＦＧ）によって作成され得る既知の形状の磁場内にセンサを配置することによって達成されてよい。センサは、磁束または磁場を測定してよい。追跡デバイスは、ＦＧを制御してよく、センサからの測定値を受信してよい。受信した測定値に基づいて、追跡デバイスは、センサの場所／位置を決定してよい。ＥＭ追跡に関しては、Ａｌｆｒｅｄ Ｍ． Ｆｒａｎｚ等の「Ｅｌｅｃｔｒｏｍａｇｎｅｔｉｃ Ｔｒａｃｋｉｎｇ ｉｎ Ｍｅｄｉｃｉｎｅ－Ａ Ｒｅｖｉｅｗ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｖａｌｉｄａｔｉｏｎ，ａｎd Ａｐｐｌｉｃａｔｉｏｎｓ，“ＩＥＥＥ ＴＲＡＮＳＡＣＴＩＯＮＳ ＯＮ ＭＥＤＩＣＡＬ ＩＭＡＧＩＮＧ，ＶＯＬ．３３，ＮＯ．８、２０１４年８月により詳細に記載されている。

図３０Ｅは、現実の観察された骨構造２２００のまわりに配置された電磁物理的マーカの例を示す。図３０Ｅに示すように、電磁（ＥＭ）追跡システム３０２２（図２のＭＲシステム２０４内に含まれてよい）は、電磁（ＥＭ）トラッカ３０２４、磁場発生器３００４、及び１つまたは複数のＥＭ物理的マーカ３０２８Ａ及び３０２８Ｂ（集合的に「ＥＭ物理的マーカ３０２８」）を含む。ＥＭ物理的マーカ３００６は、上記技術を用いて追跡される物体（例えば、観察される骨構造２２００、器具等）の近くに配置及び／または追跡される物体に取り付けられてよい。例えば、ＥＭ物理的マーカ３００６は、外科用の接着剤、ネジ、くぎ、クランプ及び／または他の固定機構を用いて取り付けられてよい。

磁場発生器３００４は、既知の形状を有する磁場を出力／生成するように構成されてよい。磁場発生器３００４の例は、永久磁石、または、電磁気力を含むが、必ずしもこれらに限らない。電磁気力の場合は、磁気基準場の構造は、ビオ・サバールの法則によって支配されてよい。放射コイルアセンブリの形状及びコイルを通して送られる電流のタイプが、上記磁場の形状及び幾何学的特性を決定する。

ＥＭトラッカ３０２４は、磁場発生器３００４の動作を制御するように構成されてよい。例えば、ＥＭトラッカ３０２４は、磁場発生器３００４によって生成されるＥＭ場のパラメータを磁場発生器３００４のコイルを流れる電流を調整することによって制御してよい。ＥＭトラッカ３０２４は、ＥＭ物理的マーカ３００６から信号を受信してよい。例えば、ＥＭトラッカは、ＥＭ物理的マーカ３００６から磁束及び／または磁場の測定値を受信してよい。ＥＭトラッカ３０２４は、受信した測定値に基づいてＥＭ物理的マーカ３００６の位置／向き／場所を決定してよい。

ＥＭトラッカ３０２４及び磁場発生器３００４は、それぞれ、スタンドアロンコンポーネントであってよい、１つのコンポーネントに統合されてよい、または、他のコンポーネント内に含まれてよい。例えば、ＥＭトラッカ３０２４は、図２のＭＲシステム２１２内に含まれてよい。ＥＭトラッカ３０２４は、ＭＲシステム２０４の１つまたは複数の他のコンポーネント（例えば、処理デバイス２１０）にＥＭ物理的マーカ３００６の決定された位置／向き／場所を出力してよい。

ＥＭ追跡システム３０２２を利用して、他のマーカを使用してまたは使用せずに位置合わせを行ってよい。一例として、ＥＭ追跡システム３０２２を利用して、他の物理的マーカまたは仮想マーカを使用せずに、骨の仮想モデルを対応する観察される骨へ位置合わせしてよい。別の例として、ＥＭ追跡システム３０２２を利用して、他の物理的マーカ及び／または仮想マーカと併用して、骨の仮想モデルを対応する観察される骨へ位置合わせしてよい。

図２０Ｂは、物理的マーカ（例えば、受動的物理的マーカと能動的物理的マーカの任意の組み合わせ）を使用して、３Ｄ仮想骨モデル１００８を患者の現実の観察された骨構造２２００に位置合わせする技術２０１８の例を示す。言い換えると、図２０Ｂは、図２の複合現実システム２１２等の複合現実システムで実施される、仮想骨モデルを観察される骨に位置合わせするために、例えば、可視化デバイス２１３によって行われるプロセスフローの例である。３Ｄ仮想骨モデル１００８は、１つまたは複数の骨の全てまたは一部のモデルであってよい。図２０Ｂのプロセスフローは、図１９のステップ１９０４の位置合わせプロセスの一部として行われてよい。以下に記載するように、図２０Ｂの位置合わせプロセスは、図２０Ａの位置合わせプロセスに加えて、または、その代わりに使用されてよい。

手術時、施術者は、特定の位置に１つまたは複数の物理的マーカを配置してよい。いくつかの例では、ＭＲシステム２１２は、施術者が物理的マーカをどこに配置すべきかに関する指図を出力してよい。規定の場所は、観察される骨構造２２００に対応する仮想モデル上の特定の位置に対応してよい。例えば、一例では、可視化デバイス２１３は、（例えば、患者に適合したガイド１６００が使用できるかどうかにかかわらず）図１６の患者に適合したガイド１６００の位置に対応する場所に（例えば、外科用の接着剤、ネジ、くぎ、クランプ及び／または他の固定機構を用いて）施術者が物理的マーカを取り付けるための指図を表示してよい。言い換えると、施術者は、患者に適合したガイド１６００が存在しない場合でさえ、患者に適合したガイド１６００を取り付ける場所に物理的マーカを取り付けてよい。他の例では、マーカの取付または他の配置のために物理的な骨またはツール（複数可）上の対応する場所を外科医に選択させるように、規定の場所がテキスト、グラフィックまたは可聴の情報によって示されてよい。例えば、ＭＲシステム２１２は、図３０Ａの光学マーカ３０１０の先端３０１０Ｂを肩甲骨の肩峰に取り付ける時に外科医をガイドするグラフィック情報を出力してよい。

ＭＲシステム２１２は、１つまたは複数のセンサ（例えば、図６の可視化デバイス２１３のセンサ６１４の１つまたは複数）からのデータを利用して、物理的マーカの場所を識別してよい（２０２０）。例えば、ＭＲシステム２１２は、デプスセンサ５３２及び／または光学センサ５３０の任意の組み合わせによって生成されたデータを使用して、各物理的マーカの特定の位置（例えば、座標）を識別してよい。１つの具体的な例として、ＭＲシステム２１２は、光学センサ５３０によって生成された光学データを利用して、図３０Ａの光学マーカ３０１０Ａのセントロイドを識別してよい。ＭＲシステム２１２は次に、デプスセンサ５３２によって生成された深さデータ及び／または光学センサ５３０によって生成された光学データを利用して、識別されたセントロイドの位置及び／または向きを決定してよい。ＭＲシステム２１２は、物理的マーカのセントロイドと取付点の間の距離を決定してよい。例えば、ＭＲシステム２１２は、図３０Ａの基準マーカ３０１０Ａのセントロイドと光学マーカ３０１０の先端３０１０Ｂの間の距離を決定してよい。決定された（すなわち、セントロイドと取付点の間の）距離とセントロイドの決定された位置／向きとに基づいて、ＭＲシステム２１２は、取付点の位置／向きを決定してよい。

ＭＲシステム２１２は、物理的マーカの識別された位置に基づいて、仮想モデルを観察された解剖学的構造に位置合わせしてよい（２０２２）。例えば、物理的マーカが、観察される骨構造２２００に対応する仮想モデル上の特定の場所（複数可）に対応する場所で観察される骨構造２２００上に配置される場合、ＭＲシステム２１２は、仮想モデルと観察される骨構造２１２の間の変換行列を生成してよい。この変換行列は、仮想の骨と観察される骨との間のアライメントを達成及び維持するために仮想モデルのｘ軸、ｙ軸及びｚ軸に沿った平行移動と、ｘ軸、ｙ軸及びｚ軸を中心とした回転とを可能にするという点で、上記の変換行列と類似し得る。いくつかの例では、位置合わせ完了後、ＭＲシステム２１２は、位置合わせの結果を利用して、同時位置決め地図作成（ＳＬＡＭ）を行い、仮想モデルの対応する観察される物体へのアライメントを維持する。

以下にさらに詳細に記載するように、ＭＲシステム２１２は、位置合わせに基づいて、人工装具の取付のために観察される解剖学的構造を準備するための仮想ガイダンス、または、人工装具を観察される解剖学的構造に取り付けるための仮想ガイダンスを表示してよい（２０２４）。例えば、ＭＲシステム２１２は、図３４～図７１の任意の組み合わせを参照して以下に記載する仮想ガイダンスを提供し得る。

上記のように、仮想マーカ（例えば、仮想マーカ２５００）に加えて、または、その代わりに物理的マーカを使用してよい。言い換えると、ＭＲシステム２１２は、物理的マーカ及び仮想マーカの任意の組み合わせを使用して、骨の仮想モデルの対応する観察される骨への位置合わせを行ってよい。いくつかの例では、物理的マーカを（単独で、または仮想マーカと共に）使用することによって、ＭＲシステム２１２が、位置合わせを行うために必要な時間量を削減する、及び／またはより正確に位置合わせすることが可能となる。

いくつかの例では、ＭＲシステム２１２は、仮想マーカまたは物理的マーカのうちの一方を第１の位置合わせマーカとして使用してよく、他方を副次または補助的な位置合わせマーカとして使用してよい。一例として、ＭＲシステム２１２は、第１の位置合わせマーカを使用して位置合わせの実行を試みることによって位置合わせプロセスを開始してよい。このような例では、ＭＲシステム２１２が、第１の位置合わせマーカのみを使用して位置合わせを十分に完了することができない（例えば、仮想の解剖学的構造と観察される解剖学的構造の間で、変換行列等のマッピングを生成できない）場合、ＭＲシステム２１２は、副次位置合わせマーカのみ、または、第１の位置合わせマーカと副次位置合わせマーカの組み合わせを使用して位置合わせの実行を試みてよい。１つの具体的な例では、ＭＲシステム２１２が仮想マーカ（複数可）のみを使用して十分に位置合わせを完了できない場合、ＭＲシステム２１２は、物理的マーカ（複数可）のみ、または、仮想位置合わせマーカ（複数可）と物理的位置合わせマーカ（複数可）の組み合わせを使用して、位置合わせの実行を試みてよい。

ＭＲシステム２１２が、第１の位置合わせマーカのみを使用して十分に位置合わせを完了できない状況では、ＭＲシステム２１２は、副次位置合わせマーカを使用して位置合わせできるように１つまたは複数の動作を行うように施術者に対して要求を出力してよい。一例として、副次位置合わせマーカが物理的マーカである場合、ＭＲシステム２１２は、観察される解剖学的構造に対して特定の場所に物理的マーカを配置するように施術者に対して要求を出力してよい。別の例として、副次位置合わせマーカが仮想マーカである場合、ＭＲシステム２１２は、図２０Ａを参照して上述した最初のアライメント手順を行うように施術者に対して要求と、対応するグラフィックユーザインタフェース（例えば、３Ｄ仮想骨モデル１００８）とを出力してよい。

いくつかの例では、施術者は、（例えば、位置合わせ完了後）、物理的マーカを取り除いてよい。例えば、ＭＲシステム２１２が物理的マーカを使用して位置合わせプロセスを完了した後、ＭＲシステム２１２は、物理的マーカを取り除いてよいという指示を出力してよい。物理的マーカが取り除かれる例では、ＭＲシステム２１２は、仮想マーカまたは任意の他の適切な追跡システムを使用して、仮想骨モデルの観察される骨への位置合わせを維持してよい。

いくつかの例では、施術者は、手術の後の時点まで物理的マーカを取り除かない場合がある。例えば、仮想モデルの観察される骨への位置合わせがもはや必要無くなる（例えば、位置合わせを使用する全ての仮想ガイダンスが表示され、対応する手術ステップが完了した後）まで、施術者は、物理的マーカを取り除かない場合がある。

いくつかの例では、ＭＲシステム２１２は、仮想骨モデルと観察される骨（例えば、関節窩、上腕骨、または他の骨構造）の間の位置合わせを、手術中、終始維持することができ得る。しかしながら、場合によっては、ＭＲシステム２１２は、仮想骨モデルと観察される骨の間の位置合わせを失う場合がある、または、維持できない場合がある。例えば、ＭＲシステム２１２は、マーカの１つまたは複数（例えば、仮想、物理的、または両方）を見失う場合がある。見失うのは、体液（例えば、血液）がマーカを塞ぐ、マーカが外れる（例えば、物理的マーカが適所からはずれる）などを含むが、これらに限らない任意の数の要因の結果であり得る。従って、ＭＲシステム２１２は、位置合わせが失われていないかどうかを定期的に判定してよい（２０２６）。

いくつかの例では、ＭＲシステム２１２は、仮想点と対応する物理的点の間の信頼距離が閾値信頼距離（例えば、臨床的値）を超える場合、位置合わせが失われたと決定してよい。ＭＲシステム２１２は、現在の位置合わせの正確性を表す値として、定期的に信頼距離を決定してよい。例えば、ＭＲシステム２１２は、仮想点と対応する物理的点の間の距離が３ｍｍ未満であると決定してよい。

いくつかの例では、ＭＲシステム２１２は、信頼距離の表現を出力してよい。一例として、ＭＲシステム２１２は、可視化デバイス２１３に信頼距離の数値を表示させてよい。別の例として、ＭＲシステム２１２は、可視化デバイス２１３に閾値信頼距離に対する信頼距離のグラフィック表現を表示させてよい（例えば、信頼距離が閾値信頼距離の半分未満の場合、緑の丸を表示、信頼距離が閾値信頼距離の半分と閾値信頼距離の間にある場合、黄色の丸を表示、及び、信頼距離が閾値信頼距離より大きい場合、赤い丸を表示）。

いくつかの例では、ＭＲシステム２１２は、手術を通して同じ閾値信頼距離を利用してよい。例えば、ＭＲシステム２１２は、（例えば、図３４～図７１を参照して以下に記載する）上腕骨及び肩甲骨の全ての作業ステップに対して特定の閾値信頼距離を利用してよい。いくつかの例では、ＭＲシステム２１２は、手術の様々な部分に対して異なる閾値信頼距離を利用してよい。例えば、ＭＲシステム２１２は、第１の閾値信頼距離を作業ステップの第１のセットに対して利用してよく、作業ステップの第１のセットの（第１の閾値信頼距離とは異なる）第２の閾値信頼距離を作業ステップの第２のセットに対して利用してよい。

位置合わせが失われていない場合（２０２６の「Ｎｏ」分岐）、ＭＲシステム２１２は、仮想ガイダンスの表示を続けてよい（２０２４）。しかしながら、ＭＲシステム２１２が位置合わせを失った場合（２０２６の「Ｙｅｓ」分岐）、ＭＲシステム２１２は、仮想骨モデルを観察される骨へ再位置合わせするための１つまたは複数の動作を行ってよい。一例として、ＭＲシステム２１２は、施術者がさらなる動作を行うことなく、自動的に位置合わせプロセスの実行を試みてよい。例えば、物理的マーカが取り除かれていない場合、ＭＲシステム２１２は、物理的マーカを使用して位置合わせプロセスを行ってよい。あるいは、物理的マーカが取り除かれている場合（または、配置されていない場合）、ＭＲシステム２１２は、施術者に対して物理的マーカを配置する要求を出力してよい。従って、ＭＲシステム２１２は、仮想モデルを観察される骨に定期的に位置合わせすると見なされてよい。

いくつかの例では、位置合わせが失われた場合、自動的に再位置合わせを試みるのではなく、ＭＲシステム２１２は、位置合わせがまだ必要かどうかに基づいて選択的に再位置合わせを行ってよい（２０２８）。いくつかの例では、ＭＲシステム２１２は、追加の仮想ガイダンスが表示される場合、位置合わせがまだ必要であると判断してよい。ＭＲシステム２１２が位置合わせはもう必要ないと判断する場合（２０２８の「Ｎｏ」分岐）、ＭＲシステム２１２は、位置合わせ手順を終了してよい。

上記のように、ＭＲシステム２１２は、仮想マーカと物理的マーカとの任意の組み合わせを利用して、仮想モデルの対応する観察される構造への位置合わせを可能にしてよい。ＭＲシステム２１２は、マーカのいずれかを使用して最初の位置合わせを行ってよく、必要な場合、ＭＲシステム２１２は、マーカのいずれかを使用して再位置合わせを行ってよい。最初の位置合わせに使用されたマーカは、任意の再位置合わせに使用されたマーカと同じであってもよく、異なっていてもよい。

いくつかの例では、位置合わせの正確さと質を向上させるために、位置合わせプロセスの初期化段階中、ＭＲシステム２１２は、ユーザの頭部の姿勢と向きに対する空間的制約を計算及び表示することができる。これらの制約は、リアルタイムで計算することができ、ユーザの位置、及び／または、向き、及び／または、観察される骨までの距離、及び／または、デプスカメラ特性に依存し得る。例えば、ＭＲシステム２１２は、観察される骨に近付くように、ユーザの視線が観察される骨の対象表面に垂直になるように頭の位置を調整するように、または、位置合わせプロセスを向上させるのに有用であり得る、また、特定の手術用途及び／または特定の対象とする解剖学的構造の属性及び／またはＭＲシステム２１２で採用される光学センサ及びデプスセンサの特性に依存し得る任意の他の調整を行うように、ユーザを促してよい。

いくつかの例では、デプスカメラ（複数可）５３２が、適切な波長を有する光信号の構造化された光アプローチまたは飛行時間を使用することによって距離を検出する。一般に、光信号の波長は、デプスカメラ（複数可）５３２によって送られる光信号による観察される解剖学的構造の表面への浸透が最小限になるように選択される。しかしながら、距離を検出するための他の既知のまたは今後開発される技術を採用することができることを理解されたい。

以下に記載するように、本明細書に記載の位置合わせ技術は、仮想モデルと観察される物体との任意の対に対して行われてよい。一例として、ＭＲシステムは、位置合わせ技術を利用して、骨の仮想モデルを観察される骨へ位置合わせしてよい。例えば、ＭＲシステムは、位置合わせ技術を利用して関節窩／上腕骨／足首の仮想モデルを対応する観察される関節窩／上腕骨／足首へ位置合わせしてよい。別の例として、ＭＲシステムは、位置合わせ技術を利用してインプラントの仮想モデルを観察されるインプラントへ位置合わせしてよい。ＭＲシステムは、位置合わせ技術を利用して、ツールの仮想モデルを観察されるツールへ位置合わせしてよい。例えば、ＭＲシステムは、位置合わせ技術を利用して、ドリルの仮想モデルを対応する観察されるドリルへ位置合わせしてよい。

いくつかの例では、ＭＲシステムは、（例えば、特定の手術内で）仮想モデルと観察される物体との特定の対に対して一度、位置合わせ技術を行ってよい。例えば、ＭＲシステムは、関節窩の仮想モデルを観察される関節窩に位置合わせしてよく、位置合わせを利用して、手術の複数のステップの仮想ガイダンスを提供してよい。いくつかの例では、ＭＲシステムは、（例えば、特定の手術内で）仮想モデルと観察される物体との特定の対に対して複数回、位置合わせ技術を行ってよい。例えば、ＭＲシステムは、最初に関節窩の仮想モデルを観察される関節窩に位置合わせしてよく、位置合わせを利用して、手術の１つまたは複数のステップの仮想ガイダンスを提供してよい。次に、例えば、物質が関節窩から（例えば、リーミングによって）取り除かれた後、ＭＲシステムは、（取り除かれた物質を考慮に入れる）関節窩の別の仮想モデルを観察される関節窩に位置合わせしてよく、後続の位置合わせを使用して、手術の１つまたは複数の他のステップの仮想ガイダンスを提供してよい。

位置合わせが完了すると、ＭＲシステム２１２の拡張手術モードを使用して手術計画を実行することができる。例えば、図２７は、本開示の例による、複合現実システムの拡張手術モード時にユーザが認識できる画像を示す。図２７の例に示すように、外科医は、観察される骨構造２２００上に仮想で計画された進入点２７００とドリル軸２７０２を可視化することができ、これらの仮想画像を使用して、手術用ツールの位置及びアライメントを支援することができる。ドリル軸２７０２は、リーミング軸と呼ばれてもよく、リーミングプロセスをガイドするガイドピンを配置するために関節窩にドリルで穴を開けるための仮想ガイドを提供する。場合によっては、ドリルで穴を開けることと、ガイドピンを配置することは、ドリルで穴を開けてガイドピンを配置するワンステッププロセスを含む（例えば、ガイドピンは、「セルフタッピング」であってよい）。

図２８は、外科医が可視化デバイス２１３を用いてインプラントコンポーネントを見ることができる仮想画像の例を示す。同様に、図２９は、外科医がインプラントコンポーネントを見ることができる仮想画像の例を示す。図２８及び図２９の例では、外科医は、観察される骨構造２２００に重ね合わせられた移植片１４０２を含むインプラントコンポーネントの仮想画像（例えば、仮想骨モデル１００８）も見ることができる。また、外科医は、骨棘と、骨のどの部分が骨棘を表すかを見ることができる。

位置合わせプロセスは、本開示の他の箇所に記載の仮想計画プロセス及び／または術中ガイダンスと併用して使用されてよい。従って、一例では、特定の患者の対象とする解剖学的構造（例えば、特定の患者の肩関節）を修復するための仮想手術計画が、生成される、または、他の方法で取得される。仮想手術計画が取得される例では、他のコンピューティングシステムが、仮想手術計画及びＭＲシステム（例えば、ＭＲシステム２１２）を生成してよい、または、他のコンピューティングシステムは、通信媒体または非一時的記憶媒体等のコンピュータ可読媒体から仮想手術計画の少なくとも一部を取得する。この例では、仮想手術計画は、術前画像データに基づいて生成された対象とする解剖学的構造の３Ｄ仮想モデルと、対象とする解剖学的構造を修復するために特定の患者に合わせて選択された人工コンポーネントとを含んでよい。さらに、この例では、ユーザが、ＭＲシステム（例えば、ＭＲシステム２１２）を使用して仮想手術計画を実施してよい。この例では、ＭＲシステムを使用する一部として、ユーザは、特定の患者の仮想手術計画を要求してよい。

さらに、ユーザは、現実環境内に投影された手術計画の仮想画像を見てよい。例えば、ＭＲシステム２１２は、本開示の様々な例において記載されるように、３Ｄ仮想物体を、その物体が、例えば、患者の現実の解剖学的構造と共に現実環境内に存在するように見えるように提示してよい。言い換えると、ＭＲシステム２１２は、ユーザが見るために、現実環境内に投影された仮想手術計画の仮想画像を出力してよく、ここで、仮想手術計画の仮想画像は、対象とする解剖学的構造の３Ｄ仮想モデルを含む。この例では、手術計画の仮想画像は、対象とする解剖学的構造の３Ｄ仮想モデル、対象とする解剖学的構造を修復するために選択された人工コンポーネントの３Ｄモデル、及び、対象とする解剖学的構造を修復するための手術ワークフローの仮想画像の１つまたは複数を含んでよい。手術ワークフローの仮想画像は、対象とする解剖学的構造を修復する手術を行うことの一部として、１つまたは複数のステップを示すテキスト、グラフィックまたはアニメーションを含んでよい。さらに、この例では、ユーザは、３Ｄ仮想モデルを特定の患者の現実の対象とする解剖学的構造に位置合わせしてよい。ユーザは次に、仮想で生成された手術計画を使用して、位置合わせに基づいて現実の対象とする解剖学的構造を修復してよい。言い換えると、拡張手術モードにおいて、ユーザは、可視化デバイスを使用して、対象とする解剖学的構造の３Ｄ仮想モデルを現実の対象とする解剖学的構造と整列させることができる。

このような例では、ＭＲシステムは、位置合わせプロセスを実施することによって、３Ｄ仮想モデルを現実の対象とする解剖学的構造と整列（例えば、最適に整列）させる。この例では、ユーザは、仮想マーカや物理的マーカを使用することなく、３Ｄ仮想モデルを現実の対象とする解剖学的構造に位置合わせしてよい。言い換えると、３Ｄ仮想モデルは、（例えば、）仮想マーカまたは物理的マーカを使用することなく、現実の対象とする解剖学的構造と整列（例えば、最適に整列）されてよい。ＭＲシステムは、現実の対象とする解剖学的構造に対する仮想手術計画の実施中、位置合わせを使用して現実の対象とする解剖学的構造の動きを追跡してよい。いくつかの例では、ＭＲシステムは、追跡マーカを使用することなく、現実の対象とする解剖学的構造の動きを追跡してよい。

いくつかの例では、３Ｄ仮想モデルを現実の対象とする解剖学的構造に位置合わせすることの一部として、３Ｄ仮想モデルは、（例えば、ユーザによって）現実の対象とする解剖学的構造と整列させることができ、アライメントに基づいて、３Ｄ仮想モデルと現実の対象とする解剖学的構造との間の変換行列を生成することができる。変換行列は、仮想生成された手術計画を解剖学的構造に置き換えるための座標系を提供する。例えば、位置合わせプロセスは、患者の手術中に、仮想手術計画のステップに関連する解剖学的特徴の３Ｄ仮想モデルを、対応する現実の対象とする解剖学的特徴上に投影してユーザが見るのを可能にし得る。現実の対象とする解剖学的構造上に投影される仮想手術計画のステップは、現実の対象とする解剖学的特徴を修復する人工インプラントを配置するための進入点の識別を含む。いくつかの例では、３Ｄ仮想モデルと現実の対象とする解剖学的構造とのアライメントによって、現実の対象とする解剖学的構造上に投影された仮想手術計画のステップ（例えば、現実の対象とする解剖学的構造を修復する人工インプラントを配置するための進入点の識別）をユーザが見るのを可能にし得る変換行列を生成してよい。

いくつかの例では、位置合わせプロセス（例えば、位置合わせプロセスを使用して生成される変換行列）は、マーカの追跡を使用せずに、現実の対象とする解剖学的構造に対してユーザが仮想手術計画を使用するのを可能にし得る。いくつかの例では、３Ｄ仮想モデルを現実の対象とする解剖学的構造と整列させることは、３Ｄ仮想モデルの表面上の対象点を、現実の対象とする解剖学的構造の表面上の対応する対象点の場所に配置することと、対象点に垂直な仮想表面が対応する対象点に垂直な現実表面と整列するように３Ｄ仮想モデルの向きを調整することとを含む。いくつかのこのような例では、対象点は、関節窩の中心点である。

図１９を引き続き参照すると、位置合わせプロセスを行った後、外科医は、リーミング軸ドリルプロセスを行ってよい（１９０６）。リーミング軸ドリルプロセス中、外科医は、リーミングガイドピンを受けるために、リーミング軸ガイドピン穴を患者の関節窩にドリルで開けてよい。いくつかの例では、肩の手術のその後の段階で、外科医は、リーミング軸ピンをリーミング軸ガイドピン穴に挿入してよい。いくつかの例では、リーミング軸ピン自体が、リーミング軸ガイドピン穴をドリルで開けるために使用されるドリルビットであってよい（例えば、リーミング軸ピンは、セルフタッピングであってよい）。従って、このような例では、リーミング軸ピンを挿入する別個のステップを行うことは不要な場合がある。いくつかの例では、ＭＲシステム（例えば、ＭＲシステム２１２、ＭＲシステム１８００Ａ等）は、外科医がリーミング軸と整列するようにドリルで穴を開けるのを支援するために仮想リーミング軸を提示してよく、それによって、正確な場所に正確な向きでリーミングガイドピンを配置し得る。

外科医は、様々な方法の１つでリーミング軸ドリルプロセスを行ってよい。例えば、外科医は、リーミング軸ピン穴をドリルで開けるガイドベースのプロセスを行ってよい。この場合、物理的ガイドが、リーミング軸ピン穴をドリルで開けることをガイドするために関節窩に配置される。他の例では、外科医は、例えば、外科医が適切なアライメントでリーミング軸ピン穴をドリルで開けるのをガイドする仮想リーミング軸を提示して、ガイドを使わないプロセスを行ってよい。ＭＲシステム（例えば、ＭＲシステム２１２、ＭＲシステム１８００Ａ等）は、外科医がこれらのプロセスのいずれかを行って、リーミング軸ピン穴をドリルで開けるのを支援してよい。

さらに、図１９の手術プロセスでは、外科医は、リーミング軸ピン挿入プロセスを行ってよい（１９０８）。リーミング軸ピン挿入プロセス中、外科医は、患者の肩甲骨にドリルで開けられたリーミング軸ピン穴内にリーミング軸ピンを挿入する。いくつかの例では、ＭＲシステム（例えば、ＭＲシステム２１２、ＭＲシステム１８００Ａ等）は、外科医がリーミング軸ピン挿入プロセスを行うのを支援するために仮想ガイダンス情報を提示してよい。

リーミング軸挿入プロセスを行った後、外科医は、関節窩リーミングプロセスを行ってよい（１９１０）。関節窩リーミングプロセス中、外科医は、患者の関節窩をリーミングする。患者の関節窩をリーミングすると、関節窩インプラントの取付に適した表面が得られる。いくつかの例では、患者の関節窩をリーミングするために、外科医は、外科用ドリルにリーミングビットを取り付けてよい。リーミングビットは、リーミングビットの回転軸に沿った軸空洞を画定する。軸空洞は、リーミング軸ピンの外径に対応する内径を有する。リーミングビットを外科用ドリルに取り付けた後、外科医は、リーミング軸ピンがリーミングビットの軸空洞にあるようにリーミングビットを配置してよい。従って、関節窩リーミングプロセス中、リーミングビットは、リーミング軸ピンを中心に回転してよい。このようにして、リーミング軸ピンは、関節窩リーミングプロセス中、リーミングビットが逸れるのを防止し得る。いくつかの例では、複数のツールを使用して患者の関節窩をリーミングしてよい。ＭＲシステム（例えば、ＭＲシステム２１２、ＭＲシステム１８００Ａ等）は、外科医または他のユーザが関節窩リーミングプロセスを行うのを支援するために仮想ガイダンスを提示してよい。例えば、ＭＲシステムは、外科医等のユーザが、関節窩リーミングプロセスで使用するリーミングビットを選択するのを支援してよい。いくつかの例では、ＭＲシステムは、外科医がユーザの関節窩をリーミングする深さを外科医が制御するのを支援するために仮想ガイダンスを提示する。いくつかの例では、関節窩リーミングプロセスは、患者の関節窩の異なる部分をリーミングするために、旧リーミングステップと新リーミングステップとを含む。

さらに、図１９の手術プロセスでは、外科医は、関節窩インプラント取付プロセスを行ってよい（１９１２）。関節窩インプラント取付プロセス中、外科医は、関節窩インプラントを患者の関節窩に取り付けてよい。いくつかの例では、外科医が解剖学的肩関節形成を行っている時、関節窩インプラントは、ユーザの天然の関節窩の代わりとして働く凹面を有する。他の例では、外科医が逆肩関節形成を行っている時、関節窩インプラントは、ユーザの天然の上腕骨頭の代わりとして働く凸面を有する。この逆肩関節形成において、外科医は、関節窩インプラントの凸面上をスライドする凹面を有する上腕骨インプラントを取り付けてよい。図１９の肩の手術の他のステップにおいてのように、ＭＲシステム（例えば、ＭＲシステム２１２、ＭＲシステム１８００Ａ等）は、外科医が関節窩取付プロセスを行うのを支援するために仮想ガイダンスを提示してよい。

いくつかの例では、関節窩取付プロセスは、関節窩インプラントを患者の肩甲骨に取り付けるプロセスを含む（１９１４）。いくつかの例では、関節窩インプラントを患者の肩甲骨に取り付けるプロセスは、１つまたは複数のアンカー穴または１つまたは複数のネジ穴を患者の肩甲骨にドリルで開けること、インプラントの１つまたは複数のペグまたはキールなどのアンカーをアンカー穴（複数可）に配置すること、及び／または、場合によっては、セメントまたは他の接着剤を使用して関節窩インプラント及びネジ穴を通してネジを挿入することを含む。ＭＲシステム（例えば、ＭＲシステム２１２、ＭＲシステム１８００Ａ等）は、関節窩インプラントを関節窩骨に固定するプロセスで外科医を支援するために仮想ガイダンスを提示してよく、それは例えば、ドリルまたは他の方法で関節窩に形成されるアンカーまたはネジ穴と、アンカーまたはネジの穴への配置とを示す仮想ガイダンスを含む。

さらに、図１９の例では、外科医は、上腕骨準備プロセスを行ってよい（１９１６）。上腕骨準備プロセス中、外科医は、上腕骨インプラントの取付のために上腕骨の準備をする。外科医が解剖学的肩関節形成を行っている例では、上腕骨インプラントは、患者の天然の上腕骨頭の代わりとして働く凸面を有してよい。上腕骨インプラントの凸面は、関節窩インプラントの凹面内をスライドする。外科医が逆肩関節形成を行っている例では、上腕骨インプラントは、凹面を有してよく、関節窩インプラントは、対応する凸面を有する。本開示の他の箇所に記載するように、ＭＲシステム（例えば、ＭＲシステム２１２、ＭＲシステム１８００Ａ等）は、外科医が上腕骨準備プロセスを行うのを支援するために仮想ガイダンス情報を提示してよい。

さらに、図１９の例示の手術プロセスでは、外科医は、上腕骨インプラント取付プロセスを行ってよい（１９１８）。上腕骨インプラント取付プロセス中、外科医は、患者の上腕骨上に上腕骨インプラントを取り付ける。本開示の他の箇所に記載するように、ＭＲシステム（例えば、ＭＲシステム２１２、ＭＲシステム１８００Ａ等）は、外科医が上腕骨準備プロセスを行うのを支援するために仮想ガイダンスを提示してよい。

上腕骨インプラント取付プロセスを行った後、外科医は、取り付けられた関節窩インプラントと取り付けられた上腕骨インプラントを整列させるインプラントアライメントプロセスを行ってよい（１９２０）。例えば、外科医が解剖学的肩関節形成を行っている例では、外科医は、上腕骨インプラントの凸面を関節窩インプラントの凹面内に入れ子にしてよい。外科医が逆肩関節形成を行っている例では、外科医は、関節窩インプラントの凸面を上腕骨インプラントの凹面内に入れ子にしてよい。その後、外科医は、創縫合プロセスを行ってよい（１９２２）。創縫合プロセス中、外科医は、患者の肩の創を閉じるために、切開プロセス中に切断した組織を再度つないでよい。

本開示の他の箇所に記載するように、ＭＲシステム２１２のユーザインタフェースは、ワークフローバー１０００を含んでよい。ワークフローバー１０００は、ワークフローページに対応するアイコンを含む。いくつかの例では、ユーザ（例えば、外科医）が選択できる各ワークフローページは、拡張手術ウィジェット１３００（図１３に示すもの等）を含むことができる。拡張手術ウィジェット１３００は、選択されると、ＭＲシステム２１２の動作モードを起動し、可視化デバイス２１３を着用または他の方法で使用しているユーザは、患者の骨に投影され、患者の骨に適合された手術計画の詳細（例えば、詳細の仮想画像）を見ることができ、手術を支援する計画を術中に使用することができる。一般に、拡張手術モードは、外科医が、患者の対象とする解剖学的構造（例えば、関節窩）の仮想３Ｄモデルを観察される現実の解剖学的構造に位置合わせすることを可能にし、その結果、外科医は、仮想手術計画を使用して、現実の手術の実施を支援することができる。これについて、以下により詳細に記載する。

拡張手術ウィジェット１３００の例を図１３に示す。ウィジェット１３００を選択すると、ＭＲシステム２１２の動作の拡張手術モードが開始される。拡張手術モードが開始されると、患者の関連する骨構造の３Ｄ仮想骨モデル１００８が、観察される骨構造（すなわち、患者の現実の骨）に位置合わせされて、仮想で計画された手順の詳細が可視化されて、観察される骨の上に重ね合わされる。例えば、肩関節形成術については、これらの詳細は、例を挙げると、進入点、ドリル軸、骨棘、及び、切断表面／平面を含み得る。図１３に示すように、拡張手術ウィジェット１３００は、ユーザが、例えば、音声コマンドキーワードを用いて、肩甲骨を表示するかどうか（肩甲骨オン／オフ）、表示する場合、肩甲骨を不透明で表示するか透明で表示するか（肩甲骨不透明／透明）を選択するのを可能にしてよい。さらに、ユーザは、例えば、音声コマンドキーワードを用いて、関節窩リーミング軸を表示するかどうか（リーミング軸オン／オフ）、全てを表示しないかどうか（全てオフ）、表示された仮想物体を左に回転させるか右に回転させるか（左に／右に回転）、回転をストップするかどうか（ストップと言って止める）を選択してよい。

上記のように、拡張手術ウィジェット１３００は、肩甲骨を不透明に表示するか透明に表示するか（肩甲骨不透明／透明）をユーザが選択するのを可能にし得る。いくつかの例では、ユーザは、音声コマンド、ハンドジェスチャ、または他のタイプのコマンドを使用して、肩甲骨を不透明に表示するか透明に表示するかを選択してよい。ユーザが肩甲骨は不透明か透明かを制御する要素を選択する時、可視化デバイス２１３は、肩甲骨のモデルの不透明度を増減してよい。いくつかの例では、可視化デバイス２１３は、可視化デバイス２１３が不透明度の変更を止める、音声コマンド等のユーザ入力の指示を受信するまで、モデルの不透明度の変更を続けてよい。肩甲骨のモデル、特に、肩甲骨の関節窩部分の不透明度の変更は、異なる照明条件で、ユーザが肩甲骨のモデルを見るのを支援し得る。

肩関節形成アプリケーションでは、位置合わせプロセスは、手術計画システム１０２によって、例えば、患者の解剖学的構造の術前画像から生成された患者の肩甲骨及び関節窩の３Ｄ仮想骨モデル１００８を可視化デバイス２１３がユーザに提示することによって開始する。ユーザは次に、ユーザが手術環境で見ている患者の現実の肩甲骨及び関節窩に３Ｄ仮想骨モデル１００８の向きを合わせて整列させるように、３Ｄ仮想骨モデル１００８を操作することができる。従って、いくつかの例では、ＭＲシステムは、初期化及び／または位置合わせを支援するユーザ入力を受信してよい。しかしながら、上記のように、いくつかの例では、ＭＲシステムは、（例えば、３Ｄ骨モデルを配置するユーザ入力を受信することなく）初期化及び／または位置合わせプロセスを自動的に行ってよい。膝、股関節、足、足首または肘等に関する、他のタイプの関節形成術については、異なる関連する骨構造が、仮想３Ｄ画像として表示されてよく、患者の実際の現実の解剖学的構造と同じような向きに整列されてよい。

関与する関節または解剖学的構造の特定のタイプに関わらず、拡張手術モードを選択すると、３Ｄ仮想骨モデル１００８が観察される骨構造に位置合わせされる手順が開始される。一般に、位置合わせ手順は、古典的な最適化問題（例えば、最小化または最大化）と見なすことができる。肩関節形成術については、最適化（例えば、最小化）分析への既知の入力は、（デプスカメラ（複数可）５３２からの深さデータを含む、可視化デバイス２１３からのセンサデータから導出された）観察される患者の骨の３Ｄ形状と、（ＢＬＵＥＰＲＩＮＴ（商標）システムを使用するなどによって）仮想手術計画過程中に得られた３Ｄの仮想の骨の形状とである。他の入力は、進入点、切断面、リーミング軸及び／またはドリル軸の位置及び向きと、骨構造を成形するリーミングまたはドリル深さ、人工コンポーネントのタイプ、サイズ及び形状、人工コンポーネントが配置される位置及び向き、または、骨折の場合は、骨構造が再建される方法等、（ＢＬＵＥＰＲＩＮＴ（商標）システム等を使用等によって、これも仮想手術計画段階中に得られた）手術計画の詳細を含む。

ＭＲシステム２１２のＵＩ５２２（図５）のウェルカム画面から特定の患者を選択すると、患者に関連する手術計画パラメータは、例えば、可視化デバイス２１３の１つまたは複数のプロセッサによって患者の３Ｄ仮想骨モデル１００８に接続される。拡張手術モードにおいて、可視化デバイス２１３による（接続された計画前パラメータを有する）３Ｄ仮想骨モデル１００８の観察される骨との位置合わせによって、外科医は、患者に関する手術計画パラメータの仮想表現を可視化できる。

３Ｄ仮想骨モデル１００８の現実の骨との位置合わせを達成するために実施される最適化（例えば、最小化）分析は一般に、初期化段階と最適化（例えば、最小化）段階という２段階で行われる。初期化段階中、ユーザは、視線方向、ハンドジェスチャ及び／または音声コマンドを使用して、仮想の骨と観察された現実の骨とのアライメントを配置及び方向付け、または、他の方法で調整すること等によって、３Ｄ仮想骨モデル１００８を患者の実際の骨とほぼ整列させる。初期化段階について以下にさらに詳細に記載する。以下にさらに詳細に記載する最適化（例えば、最小化）段階中、光学カメラ（複数可）５３０及び／またはデプスカメラ（複数可）５３２及び／または任意の他の取得センサ（例えば、モーションセンサ５３３）からの情報を使用する最適化（例えば、最小化）アルゴリズムを実行して、３Ｄモデルの観察される対象とする解剖学的構造とのアライメントをさらに改善する。いくつかの例では、最適化（例えば、最小化）アルゴリズムは、例を挙げると、反復最近傍点アルゴリズムまたは遺伝的アルゴリズム等、任意の既知のまたは今後開発される最小化アルゴリズムを含む、最小化アルゴリズムであってよい。

このように、一例では、複合現実手術計画方法は、特定の患者の対象とする解剖学的構造を修復する仮想手術計画を生成することを含む。対象とする解剖学的構造の３Ｄ仮想モデルを含む仮想手術計画は、術前画像データと、対象とする解剖学的構造を修復するために特定の患者のために選択された人工コンポーネントとに基づいて生成される。さらに、この例では、ＭＲ可視化システムを使用して、仮想手術計画を実施してよい。この例では、ＭＲシステムを使用することは、特定の患者のための仮想手術計画を要求することを含み得る。ＭＲシステムを使用することはまた、現実環境内に投影された手術計画の仮想画像を見ることを含む。例えば、可視化デバイス２１３は、例えば、仮想画像（複数可）が現実環境の一部を形成して見えるように、現実環境内に投影された手術計画の詳細の１つまたは複数の３Ｄ仮想画像を提示するように構成されてよい。手術計画の仮想画像は、対象とする解剖学的構造の３Ｄ仮想モデル、人工コンポーネントの３Ｄモデル、及び対象とする解剖学的構造を修復する手術ワークフローの仮想画像を含み得る。ＭＲシステムを使用することはまた、３Ｄ仮想モデルを特定の患者の現実の対象とする解剖学的構造に位置合わせすることを含んでよい。さらに、この例では、ＭＲシステムを使用することは、仮想で生成された手術計画を実施して、位置合わせに基づいて現実の対象とする解剖学的構造を修復することを含んでよい。

さらに、いくつかの例では、方法は、仮想マーカも物理的マーカも使用することなく、３Ｄ仮想モデルを現実の対象とする解剖学的構造に位置合わせすることを含む。方法はまた、現実の対象とする解剖学的構造に対して仮想手術計画を実施中、位置合わせを使用して、現実の対象とする解剖学的構造の動きを追跡することを含み得る。現実の対象とする解剖学的構造の動きは、追跡マーカを使用することなしに追跡されてよい。いくつかの例では、３Ｄ仮想モデルを現実の対象とする解剖学的構造に位置合わせすることは、３Ｄ仮想モデルを現実の対象とする解剖学的構造と整列させることと、３Ｄ仮想モデルと現実の対象とする解剖学的構造の間の変換行列をアライメントに基づいて生成することとを含み得る。変換行列は、仮想で生成された手術計画を現実の対象とする解剖学的構造に置き換えるための座標系を提供する。いくつかの例では、整列させることは、現実の対象とする解剖学的構造の表面上の対応する対象領域内に３Ｄ仮想モデルの表面上の対象点を仮想で配置することと、対象点に関連付けられた仮想表面形状が対応する対象領域に関連付けられた現実表面形状と整列するように３Ｄ仮想モデルの向きを調整することとを含んでよい。いくつかの例では、整列させることは、ユーザの視線を中心に３Ｄ仮想モデルを回転させることをさらに含んでよい。対象領域は、対象とする解剖学的構造の解剖学的ランドマークであってよい。対象とする解剖学的構造は、肩関節であってよい。いくつかの例では、解剖学的ランドマークは、関節窩の中心領域である。

いくつかの例では、位置合わせプロセス完了後、拡張手術モード中、３Ｄ仮想骨モデル１００８と観察される骨構造２２００の間の位置合わせを連続的及び自動的に検証する追跡プロセスを開始することができる。手術中、３Ｄ解剖学的モデルと対応する観察される患者の解剖学的構造の間の位置合わせを妨害し得る、または、モデルと観察される解剖学的構造の間の位置合わせを維持するＭＲシステム２１２の能力を妨げ得る多くの出来事（例えば、患者の動き、器具の動き、追跡の喪失等）が生じ得る。よって、追跡機能を実施することによって、ＭＲシステム２１２は、位置合わせを連続的または定期的に検証することができ、必要に応じて位置合わせパラメータを調整することができる。ＭＲシステム２１２が不適切な位置合わせ（閾値量を超える患者の動き等）を検出する場合、ユーザは、位置合わせプロセスの再開を求められてよい。

いくつかの例では、追跡は、解剖学的構造の特定の箇所に固定された、図３０に示すマーカ３０１０等、１つまたは複数の光学マーカを使用して実施することができる。ＭＲシステム２１２は、３Ｄ空間で、関連する解剖学的構造の位置及び向きを追跡するために、光学マーカ（複数可）をモニタリングする。マーカの動きが検出される場合、ＭＲシステム２１２は、動きの量を検出することができ、次に、それに従って、位置合わせプロセスを繰り返すことなく、３Ｄモデルと観察される解剖学的構造の間のアライメントを維持するように、位置合わせパラメータを変換することができる。

他の例では、追跡は、マーカ無しである。例えば、ＭＲシステム２１２は、光学マーカを用いるのではなく、観察される対象とする解剖学的構造の形状に基づいて、マーカ無し追跡を実施する。いくつかの例では、マーカ無し追跡は、アルゴリズムを追跡するための明確に規定されたアンカーポイントを提供する骨の解剖学的ランドマークの場所に依存してよい。明確に規定されたランドマークが利用できない状況またはアプリケーションでは、目に見える骨形状または他の解剖学的構造の形状を使用する追跡アルゴリズムを実施することができる。このような状況では、光学カメラ（複数可）５３０及び／またはデプスカメラ（複数可）５３２及び／またはモーションセンサ５３３（例えば、ＩＭＵセンサ）からの画像データを使用して、目に見える解剖学的構造の形状及び動きに関する情報を得ることができる。マーカ無し追跡に使用できる追跡アルゴリズムの例は、Ｄａｖｉｄ Ｊ．Ｔａｎらの「６Ｄ Ｏｂｊｅｃｔ Ｐｏｓｅ Ｅｓｔｉｍａｔｉｏｎ ｗｉｔｈ Ｄｅｐｔｈ Ｉｍａｇｅｓ：Ａ Ｓｅａｍｌｅｓｓ Ａｐｐｒｏａｃｈ ｆｏｒ Ｒｏｂｏｔｉｃ Ｉｎｔｅｒａｃｔｉｏｎ ａｎｄ Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ」ａｒＸｉｖ：１７０９．０１４５９ｖ１（ｃｓ，ＣＶ）（２０１７年９月５日）に記載されているが、任意の適切な追跡アルゴリズムを使用することができる。いくつかの例では、ＭＲシステム２１２のマーカ無し追跡モードは、追跡アルゴリズムが、追跡が開始される前に、目に見える解剖学的構造の形状を学習する学習段階を含むことができる。学習段階によって、追跡の性能を強化することができ、限られた処理能力でリアルタイムにて追跡を行うことができる。

図３１は、本開示の例による、ＭＲシステム２１２の拡張手術モードで追跡を行うプロセスフロー３１００の例を示す。図３１のプロセスは、ＭＲシステム２１２の可視化デバイス２１３によって行われてよい。ブロック３１０２で、追跡アルゴリズムが仮想骨モデルに基づいて対象とする解剖学的構造の形状を学習する学習プロセスが行われる。いくつかの例では、学習は、オフラインで（すなわち、手術前に）行われる。ブロック３１０４で、拡張手術モード中に追跡が開始される。ブロック３１０６で、対象とする解剖学的構造の動きが、連続的（または、定期的に）モニタリングされる。ブロック３１０８で、検出された動きが閾値量を超える場合、ユーザは、図２０Ａまたは図２０Ｂの位置合わせプロセスを再開始するように促されてよい（ブロック３１１２）。上記のように、いくつかの例では、ＭＲシステム２１２は、検出された動きが閾値量を超える場合、位置合わせプロセスを自動的に再開始及び／または行ってよい。そうでない場合、動きの量を使用して、必要に応じて、位置合わせパラメータを変換してよい（ブロック３１１０）。

いくつかの例では、マーカ追跡及びマーカ無し追跡の両方を実施することができる。例えば、光学マーカは、マーカ無し追跡アルゴリズムのバックアップとして、または、追跡アルゴリズムの検証として使用することができる。さらに、マーカ追跡及び／またはマーカ無し追跡を実施する選択は、ユーザの裁量に委ねられてよい、または、特定の手術と目に見える特定の解剖学的特徴に依存してよい。

いくつかの例では、手術計画に従って外科医をガイドするために、手術器具またはツール（マーカ（例えば、可視、赤外線等）またはマーカ無し（例えば、ツール形状））を上記の同じ追跡技術のいずれかを使用して追跡して、器具の姿勢及び向きが正しいことを確実にすることができる。外科医による手術器具の使用をガイドするために、ＭＲシステム２１２は、可視インジケータを表示できる、または、器具を一定の方向に動かすように外科医を促す他の近く可能な指示（例えば、振動、可聴ビープ等）を提供できる。例えば、ＭＲシステム２１２は、同心のとき、手術計画に従ってツールが整列されていることを示す外科医に見える丸を生成することができる。

手術中、時には、外科医が、術前手術計画を修正する必要があると判断する場合がある。ＭＲシステム２１２は、手術計画の術中の修正を可能にし、その手術計画を拡張手術モードで実行できる。例えば、いくつかの例では、ユーザは、ユーザインタフェースを操作することができ、それによって、ユーザは、少なくとも対象とする３Ｄの仮想の骨の解剖学的構造を含む仮想手術計画を術中に見ることができる。このような例では、ユーザは、ユーザが術中に仮想手術計画を修正できるように、ユーザインタフェースを操作することができる。例として、図１０に示すＵＩ５２２のワークフローバー１０００で計画ページを選択すると、患者の解剖学的構造の３Ｄ仮想骨モデル１００８と人工インプラントコンポーネント１０１０とを外科医が見て操作するのを可能にする。ＵＩ５２２を使用して、外科医は、インプラントコンポーネント１０１０を回転及び平行移動させることができ、必要に応じて、そのタイプ及びサイズを変更することができる。変更が行われた場合、仮想手術計画は、新しいパラメータで自動的に更新され、その後、拡張手術モード時に、３Ｄ仮想骨モデル１００８に接続することができる。前のバージョンの仮想手術計画で事前に位置合わせが完了している場合、計画パラメータを更新することができる。仮想手術計画に対する修正によって、外科医が位置合わせプロセスを繰り返すことが必要になる場合、ＭＲシステム２１２は、外科医に位置合わせプロセスの繰り返しを促すことができる。

本開示の他の箇所に記載するように、整形外科手術は、患者の解剖学的構造に対して様々な作業を行うことを伴ってよい。行われ得る作業のいくつかの例は、切断、ドリル、リーミング、ネジ留め、接着、及び打ち込みを含むが、必ずしもこれらに限らない。一般に、施術者、（例えば、外科医、医師の助手、看護師等）が、できる限り正確に作業を行うことが望ましい。例えば、特定の患者への人工装具の埋め込みの手術計画が患者の解剖学的構造の一部を特定の直径で特定の深さまでリーミングすべきであると指定している場合、（例えば、人工装具が計画通りに適合して機能し、それによって患者にとって良好な健康結果を促進する可能性を向上させるために）外科医が、その特定の直径及びその特定の深さに可能な限り近く、解剖学的構造のその部分をリーミングすることが望ましい。

いくつかの例では、外科医は、「フリーハンド」で（すなわち、ツールに対する機械的または視覚的ガイド／支援無しで、ツールを適用または他の方法で使用して）１つまたは複数の作業を行う場合がある。例えば、図３２Ａ～図３２Ｃに示すように、肩関節形成術の途中で、外科医は、上腕骨３２００の解剖頸３２０２を目で見て判断して（例えば、「目側で」）マークすることによって、上腕骨３２００の上腕骨頭３２０４切除の手術ステップを行う場合がある。外科医は次に、外科医のフリーハンドで、すなわち、機械的または視覚的ガイダンス無しで、切断ツール３２０６（例えば、振動鋸の刃）をマークした解剖頸３２０２に沿って導くことによって上腕骨頭３２０４の切除を行ってよい。しかしながら、これらのタイプの作業を伴う手術ステップを全てフリーハンドで行うことは、望まない誤りを招く場合があり、整形外科手術の結果を台無しにする可能性がある。

いくつかの例では、整形外科手術の途中で、外科医は、手術ステップとも呼ばれる１つまたは複数の作業を機械的ガイドの支援を受けて行う場合がある。例えば、図３３に示すように、外科医は、（例えば、図１９のステップ１９０２の上腕骨切断プロセスを行う一部として）上腕骨頭３２０４の切除を行う前に機械的ガイド３３００を上腕骨３２００に取り付けてよい。外科医は、機械的ガイド３３００の上面３３０２が上腕骨３２００の解剖頸３２０２と同一平面になるように機械的ガイド３３００の１つまたは複数のコンポーネントを調整してよい（説明のために、解剖頸３２０２を破線で示す）。機械的ガイド３３００を上腕骨頭３２０４に取り付け、機械的ガイドを調整した後、外科医は、切断ツール（例えば、振動鋸の刃）を上面３３０２に沿って導くことによって上腕骨頭３２０４の切除を行ってよい。しかしながら、機械的ガイドを利用することは望ましくない場合がある。一例として、機械的ガイドの取付及び／または調整によって、手術に追加の時間がかかる。別の例として、機械的ガイドは、追加のツールであり、結果として、（例えば、手術中及び期末前在庫中）機械的ガイドの追加コスト及び／または機械的ガイドを滅菌及び追跡するための追加の時間がかかり得る。

本開示の１つまたは複数の技術によると、ＭＲ可視化システム２１２等の可視化システムは、患者の解剖学的構造の一部に作業を行うための１つまたは複数の仮想ガイドを含む、仮想ガイダンスを表示するように構成されてよい。例えば、可視化システムは、患者の上腕骨の解剖頸に重ね合わされた仮想切断面を表示してよい。いくつかの例では、外科医等のユーザは、現実世界シーンの現実世界の物体を見ている場合がある。現実世界シーンは、手術室等の現実世界環境であってよい。本開示において、現実という用語と現実世界という用語は同じように用いられてよい。現実世界シーンでユーザが見る現実世界の物体は、手術中に露出される、実際の関節窩または上腕骨等、患者の実際の現実の解剖学的構造を含み得る。ユーザは、可視化デバイス２１３等のヘッドマウントのＭＲ可視化デバイスのシースルーのホログラフィックレンズ等のシースルー（例えば、透明）画面を介して現実世界の物体を見てよく、また、ＭＲガイダンス物体（複数可）が現実世界シーンの一部であるように、例えば、仮想物体が実際の現実世界シーンに一体化されてユーザに見えるように、画面上または現実世界シーン内に投影されて現れる仮想ＭＲ物体等の仮想ガイダンスを見てよい。例えば、仮想切断面／線は、切断面が、透明画面を通して、例えば、シースルーのホログラフィックレンズを通して、外科医が見る患者の実際の上腕骨の実際の観察ビューに重ね合わせられ、そのビュー内に位置して見えるように、可視化デバイス２１３等のＭＲ可視化デバイスの画面に投影されてよい。よって、この例では、仮想切断面／線は、実際の現実世界の物体と共に、現実世界環境の一部のように見える仮想３Ｄ物体であってよい。

外科医が実際の現実の解剖学的構造を見ながら、仮想の解剖学的構造及び／または仮想の手術ガイダンス等の仮想物体も観察する画面は、１つまたは複数のシースルーのホログラフィックレンズを含んでよい。「導波路」とも呼ばれることもあるホログラフィックレンズは、ユーザが、レンズを通して現実世界の物体を見るのを可能にしてよく、ユーザが見るために投影されたホログラフィックオブジェクトを表示してよい。上記のように、可視化デバイス２１３の適切なヘッドマウントＭＲデバイスの例は、米国ワシントン州レドモンドのマイクロソフト社製のＭｉｃｒｏｓｏｆｔ ＨＯＬＯＬＥＮＳ（商標）ヘッドセットである。ＨＯＬＯＬＥＮＳ（商標）ヘッドセットは、投影された画像がユーザに提示される導波路とも呼ばれるシースルーのホログラフィックレンズを含む。ＨＯＬＯＬＥＮＳ（商標）ヘッドセットはまた、内蔵のコンピュータ、カメラ及びセンサと、ホログラフィックレンズを介してユーザが見るためのホログラフィックコンテンツを投影する投影システムとを含む。一般に、Ｍｉｃｒｏｓｏｆｔ ＨＯＬＯＬＥＮＳ（商標）ヘッドセットまたは類似のＭＲ可視化デバイスは、上記のように、例えば、ディスプレイデバイスからの光を光導波路に結合する光学コンポーネントを介して、導波路とも呼ばれるホログラフィックレンズ内に画像を投影するＬＣｏＳディスプレイデバイスを含んでよい。導波路は、ユーザが、導波路を介してユーザに提示された３Ｄ仮想画像を見ながら、導波路を通して現実世界シーンを見るのを可能にし得る。いくつかの例では、導波路は回折導波路であってよい。

仮想切断面等の提示仮想ガイダンスは、例えば、外科医が実際の上腕骨頭を見ながら可視化システムを介して表示された仮想切断面に沿って鋸を導くことによって、機械的ガイドを必要とせずに、外科医が上腕骨頭を正確に切除するのを可能にし得る。このように、可視化デバイス２１３を有するＭＲシステム２１２等の可視化システムは、（例えば、機械的ガイドの正確さを有するが、機械的ガイドを使用する短所無く）外科医が正確な作業を行うのを可能にし得る。この「ガイド無し」手術は、いくつかの例では、コスト及び複雑性を低減し得る。

可視化システム（例えば、ＭＲシステム２１２／可視化デバイス２１３）は、異なるタイプの仮想ガイドを表示するように構成されてよい。仮想ガイドの例は、仮想点、仮想軸、仮想角度、仮想パス、仮想平面、及び仮想表面もしくは輪郭を含むが、これらに限らない。上記のように、可視化システム（例えば、ＭＲシステム２１２／可視化デバイス２１３）は、仮想ガイドを表示、例えば、投影するレンズを介して、患者の解剖学的構造をユーザが直接見るのを可能にし得る。仮想ガイドは、手術の様々な側面をガイドまたは支援し得る。例えば、仮想ガイドは、人工装具の取付のための解剖学的構造の準備または人工装具の解剖学的構造への取付の少なくとも１つをガイドしてよい。

可視化システムは、本明細書に記載の仮想手術計画等の仮想手術計画から仮想ガイドのパラメータを取得してよい。例示の仮想ガイドのパラメータは、ガイドの位置、ガイドの向き、ガイドのタイプ、ガイドの色等を含むが、必ずしもこれらに限らない。

可視化システムは、例えば、ホログラフィックレンズを通してユーザが見る実際の現実世界の患者の解剖学的構造（例えば、患者の解剖学的構造の少なくとも一部分）と仮想ガイド（複数可）とを表示することによって、現実世界環境内で、患者の実際の現実の解剖学的物体上に仮想ガイドが重なって見えるように、仮想ガイドを表示してよい。例えば、仮想ガイドは、実際の現実の解剖学的物体と共に、現実世界環境内に存在するように見える３Ｄ仮想物体であってよい。

本開示の技術は、肩関節形成術に関して以下に記載される。肩関節形成の例は、逆関節形成、補強使用逆関節形成、標準的な全肩関節形成、補強使用全肩関節形成、及び半関節形成を含むが、これらに限らない。しかしながら、技術は、これらに制限されず、可視化システムを使用して、任意のタイプの手術で仮想ガイドを含む仮想ガイダンス情報を提供してよい。ＭＲシステム２１２等の可視化システムを使用して仮想ガイドを提供し得る他の例示の処置は、他のタイプの整形外科手術、接尾辞「形成術（ｐｌａｓｔｙ）」「開口術（ｓｔｏｍｙ）」「切除（ｅｃｔｏｍｙ）」「崩壊（ｃｌａｓｉａ）」または「穿刺（ｃｅｎｔｅｓｉｓ）」を伴う任意のタイプの手術、肘、手首、指、股関節、膝、足首もしくは足指等の他の関節の整形外科手術、または、精密ガイダンスが望ましい任意の他の整形外科手術を含むが、これらに限らない。

典型的な肩関節形成は、患者の肩甲骨に対する様々な作業と、患者の上腕骨に対する様々な作業とを行うことを含む。肩甲骨に対する作業は一般に、プロテーゼを取り付けるために肩甲骨（例えば、肩甲骨の関節窩空洞）の準備を行うことと、準備された肩甲骨にプロテーゼを取り付けることとして記載されてよい。同様に、上腕骨に対する作業は通常、プロテーゼを取り付けるために上腕骨の準備を行うことと、準備された上腕骨にプロテーゼを取り付けることとして記載されてよい。本明細書に記載のように、可視化システムは、このような関節形成術で行われる任意または全ての作業のガイダンスを提供し得る。

上記のように、ＭＲシステム（例えば、ＭＲシステム２１２、図１８のＭＲシステム１８００Ａ等）は、人工装具を患者に取り付けるための、及び／または、人工装具を受け入れるために患者の骨、軟組織または他の解剖学的構造の準備をするための仮想手術計画を受信してよい。仮想手術計画は、行うべき様々な作業と、行うべき作業のための様々なパラメータを指定してよい。一例として、仮想手術計画は、リーミングを行う患者の関節窩上の箇所と、リーミングの深さを指定してよい。別の例として、仮想手術計画は、患者の上腕骨頭を切除する表面を指定してよい。別の例として、仮想手術計画は、１つまたは複数の固定具位置（例えば、ネジ、ステム、ペグ、キール等）の場所及び／または向きを指定してよい。

いくつかの例では、ＭＲシステム２１２は、患者の上腕骨に対する作業を行う時、外科医を支援する仮想ガイダンスを提供してよい。図３４～図４１に示すように、ＭＲシステム２１２は、患者の上腕骨を準備し、上腕骨頭から骨移植片を取り除く時に、外科医を支援する仮想ガイダンスを提供してよい。図４２Ａ～４９に示すように、ＭＲシステム２１２は、上腕骨頭の全てまたは一部を取り除くための切断等、上腕骨の準備の時に外科医を支援する仮想ガイダンスを提供してよい。図５０は、本開示の１つまたは複数の技術による、上腕骨にインプラントを取り付けるための仮想ガイダンスを提供するＭＲシステム２１２を示す概念図である。ツールを使用して、上腕骨３２００にインプラントを取り付けてよい。例えば、外科医は、ハンドル４８０２を利用して、プロテーゼ５０００を準備された上腕骨３２００に挿入してよい。いくつかの例では、１つまたは複数の接着剤（例えば、膠、セメント等）が、挿入前に、プロテーゼ５０００及び／または上腕骨３２００に適用されてよい。図５０に示すように、ＭＲシステム２１２は、上腕骨内にインプラントを受け、インプラントを配置するための上腕骨の準備等、上腕骨インプラント配置において、外科医を支援する仮想ガイダンスを提供してよい。

いくつかの例では、ＭＲシステム２１２は、患者の肩甲骨に対する作業を行う時、外科医を支援する仮想ガイダンスを提供してよい。図５１～図６２に示すように、ＭＲシステムは、肩甲骨の準備（例えば、図１９のステップ１９０６のリーミング軸ドリルプロセスを行う一部として、図１９のステップ１９０８のリーミング軸ガイドピン挿入プロセスを行う一部として、及び／または、図１９のステップ１９１０の関節窩リーミングプロセスを行う一部として）、外科医を支援する仮想ガイダンスを提供してよい。図６３～図６５に示すように、ＭＲシステムは、肩甲骨インプラント配置において（例えば、図１９のステップ１９１２の関節窩インプラント取付プロセスを行う一部として）外科医を支援する仮想ガイダンスを提供してよい。

プロテーゼ取付のために上腕骨を準備し、実際のプロテーゼ取付を行うために多くの異なる技術を使用してよい。使用する技術に関わらず、ＭＲシステム２１２は、準備及び取付の一方または両方を支援する仮想ガイダンスを提供してよい。従って、以下の技術は、ＭＲシステム２１２が仮想ガイダンスを提供する例であるが、ＭＲシステム２１２は、他の技術にも仮想ガイダンスを提供してよい。

例示の技術では、作業ステップは、上腕骨頭の切除、パイロット穴の作成、上腕骨に対する測深、穿孔、圧縮、表面準備、及び、インプラントの上腕骨への取付を含む。さらに、いくつかの技術では、作業ステップは、例えば、インプラントの配置のために、例えば、関節窩等の骨表面に対するインプラントの補強のために、ガイドの上腕骨頭への取付、移植片のリーミング、移植片へのドリルによる穴開け、移植片の切断、及び、移植片の除去等の骨移植片作業ステップを含み得る。

外科医は、患者の上腕骨を露出するための１つまたは複数のステップを行ってよい。例えば、外科医は、上腕骨頭を含む上腕骨の上部を露出させるために１つまたは複数の切開を行ってよい。外科医は、１つまたは複数の開創器を配置して露出を維持してよい。いくつかの例では、ＭＲシステム２１２は、例えば、切開の実行及び／または開創器の配置によって上腕骨の露出を支援するガイダンスを提供してよい。

図３４及び図３５は、本開示の１つまたは複数の技術による、上腕骨頭への機械的ガイドの取付の仮想ガイダンスを提供するＭＲシステムを示す概念図である。説明目的で、周囲の組織及び一部の骨が、図３４及び図３５、並びに他の図面から省略されていることに注意されたい。図３４に示すように、ＭＲシステム２１２は、上腕骨３２００の上腕骨頭３２０４上に仮想軸３４００を表示してよい。図３４とそれに続く図面は、外科医または他のユーザが可視化デバイス２１３を介して見ている時に見える物を示す。詳細には、可視化デバイス２１３を介して見ている時、外科医は、上腕骨３２００の一部と、上腕骨３２００の一部の上に重ね合わせられた仮想軸３４００（及び／または他の仮想ガイダンス）とが見える。

仮想軸３４００を表示するために、ＭＲシステム２１２は、ガイドを取り付ける上腕骨３２００の仮想モデル上の箇所を決定してよい。ＭＲシステム２１２は、仮想手術計画（例えば、仮想計画システム２０２によって生成された上記の仮想手術計画）から箇所を取得してよい。ＭＲシステム２１２によって取得された場所は、仮想モデル上の点の座標とベクトルの一方または両方を指定してよい。点は、ガイドを取り付ける位置であってよく、ベクトルは、ガイドを取り付ける角度／傾斜を示してよい。従って、ＭＲシステム２１２は、仮想手術計画から取得したパラメータを有する仮想ドリル軸を表示してよく、仮想ドリル軸は、（例えば、ガイドピンを肩甲骨に取り付けるための）関節窩へのドリルによる１つまたは複数の穴開けをガイドするように構成される。

上記のように、上腕骨３２００の仮想モデルは、仮想モデルの座標が上腕骨３２００の座標とほぼ対応するように、上腕骨３２００に位置合わせされてよい。従って、仮想モデルの決定された箇所に仮想軸３４００を表示することによって、ＭＲシステム２１２は、上腕骨３２００の計画した位置に仮想軸３４００を表示してよい。

外科医は、表示された仮想ガイダンスを使用して物理的ガイドを取り付けてよい。例えば、ガイドが、セルフタッピングのねじ付き遠位端を有するガイドピンである場合、外科医は、ガイドピンを表示された仮想軸３４００に整列させ、ドリルまたは他の器具を利用してガイドピンを取り付けてよい。いくつかの例では、ＭＲシステム２１２は、外科医がガイドピンを計画した深さに取り付けることができるように、深さガイダンス情報を表示してよい。深さガイダンス情報の例については、図６６～図６８を参照して本明細書にさらに詳細に考察する。

図３５は、上腕骨頭３２０４に取り付けられたガイド３５００を示す概念図である。ガイド３５００は、上腕骨頭に形成された穴に取り付けられる細長いピンの形態を取ってよい。図３４及び図３５に示すように、仮想軸３４００を表示することによって、外科医は、上腕骨頭３２０４の計画した位置にガイド３５００を取り付け得る。このように、ＭＲシステム２１２は、追加の機械的ガイドを必要とすることなく、ガイドを取り付けることを可能にし得る。

上記のように、ＭＲシステム２１２は、仮想マーカ等の仮想ガイダンスを提供して、ガイドピンの取付で外科医を支援してよい。例えば、図３４の例では、ＭＲシステム２１２は、ガイドピンの取付で外科医を支援するために仮想軸３４００を表示してよい。ＭＲシステム２１２が表示し得る仮想マーカの他の例は、軸、点、丸、リング、多角形、Ｘ形、十字、または任意の他の形状もしくは形状の組み合わせを含むが、これらに限らない。ＭＲシステム２１２は、仮想マーカを、静止したものとして、または、様々なアニメーションもしくは他の効果を有するものとして表示してよい。

図３６Ａ～図３６Ｄは、ＭＲシステム２１２が表示し得る仮想マーカの例を示す。図３６Ａは、ＭＲシステム２１２が仮想マーカ３６００Ａを点として表示する例を示す。図３６Ｂは、ＭＲシステム２１２が仮想マーカ３６００Ｂを十字／Ｘ形として表示する例を示す。図３６Ｃは、ＭＲシステム２１２が仮想マーカ３６００Ｃを十字線として表示する例を示す。図３６Ｄは、ＭＲシステム２１２が仮想マーカ３６００Ｄを十字線と軸の組み合わせとして表示する例を示す。

上記のように、いくつかの例では、ＭＲシステム２１２は、様々なアニメーションまたは他の効果を有する仮想マーカを表示してよい。一例として、ＭＲシステム２１２は、回転するリングを有する十字線として仮想マーカを表示してよい。別の例として、ＭＲシステム２１２は、点滅する十字／Ｘ形として仮想マーカを表示してよい。

ＭＲシステム２１２は、特定の色を有する仮想マーカを表示してよい。例えば、いくつかの例では、ＭＲシステム２１２は、緑、青、黄色等の赤以外の色で仮想マーカを表示することが好ましい場合がある。仮想マーカを赤以外の色（複数可）で表示することは、１つまたは複数の利点を提供し得る。例えば、血液は赤く見え、血液が対象とする解剖学的構造に、またはそのまわりに存在する場合、赤い色の仮想マーカは見えない可能性がある。

上記の様々なタイプの仮想マーカの使用は、ガイドピンの取付に制限されない。例えば、ＭＲシステム２１２は、上記仮想マーカのいずれかを表示して、任意の作業を行う外科医を支援してよい。一例として、ＭＲシステム２１２は、上記仮想マーカのいずれかを表示して上腕骨３２００に対して任意の作業を行う外科医を支援してよい。別の例として、ＭＲシステム２１２は、上記仮想マーカのいずれかを表示して肩甲骨５１００に対して任意の作業を行う外科医を支援してよい。

図３７及び図３８は、本開示の１つまたは複数の技術による、上腕骨頭の移植片をリーミングするための仮想ガイダンスを提供するＭＲシステムを示す概念図である。図３７及び図３８に示すように、移植片リーミングツール３７００を使用して、上腕骨頭３２０４の表面をリーミングし、（図３８に示すように）輪郭線３８００を切り取ってよい。

外科医は、移植片リーミングツール３７００をドリルまたは他の器具に接続してよく、ＭＲシステム２１２は、上腕骨頭３２０４の表面のリーミングと輪郭線３８００の切り取りを支援する仮想ガイダンスを表示してよい。例えば、ＭＲシステム２１２は、外科医が上腕骨頭３２０４の表面をリーミングし、輪郭線３８００を目標深さまで切り取るのを可能にする深さガイダンス（例えば、図６６～図６８を参照して以下に記載する深さガイダンスと類似した深さガイダンス）を表示してよい。別の例として、ＭＲシステム２１２は、ターゲッティングガイダンスを提供してよい。例えば、ＭＲシステム２１２は、（例えば、図３６Ａ～図３６Ｄを参照して前述した）リーミングの中心点または規定の軸を識別する仮想マーカ、及び／または移植片リーミングツール３７００が規定の軸と整列しているかどうかを示すものの一方または両方を表示してよい。図３８に示すように、外科医は、リーミングを行った後、移植片リーミングツール３７００をガイド３５００から取り除いてよい。

この例では、移植片リーミングツール３７００は、ガイド３５００等のガイドピンによって配置及び／またはガイドされるように構成されるカニューレ付きリーミングツールであってよい。他の例では、移植片リーミングツール３７００は、カニューレ付きでなくてよく、物理的ガイドピンの支援でガイドされてよい。例えば、ＭＲシステム２１２は、外科医が、ガイド３５００を使用することなく、上腕骨頭３２０４から移植片をリーミングするのを可能にする仮想ガイダンス（例えば、表示された仮想マーカ等の深さガイダンス及び／またはターゲッティングガイダンス）を提供してよい。従って、ＭＲシステム２１２は、仮想手術計画から取得されるパラメータ（例えば、肩甲骨の仮想モデルに対する位置、サイズ及び／または向き）を有する仮想リーミング軸を表示してよい。表示された仮想リーミング軸は、上腕骨頭及び／または上腕骨頭からの移植片のリーミングをガイドするように構成されてよい。

図３９及び図４０は、本開示の１つまたは複数の技術による、上腕骨頭の移植片にドリルで穴を開けるための仮想ガイダンスを提供するＭＲシステム２１２等のＭＲシステムを示す概念図である。図３９及び図４０に示すように、ドリルビット３９００を使用して、上腕骨頭３２０４に中心穴４０００を開けてよい。

外科医は、ドリルビット３９００をドリルまたは他の器具に接続してよく、ＭＲシステム２１２は、中心穴４０００の作成を支援する仮想ガイダンスを表示してよい。例えば、ＭＲシステム２１２は、外科医が目標深さまで中心穴４０００を開けるのを可能にする深さガイダンス（例えば、図６６～図６８を参照して以下に記載する深さガイダンスと類似した深さガイダンス）を表示してよい。別の例として、ＭＲシステム２１２は、ターゲッティングガイダンスを提供してよい。例えば、ＭＲシステム２１２は、（例えば、図３６Ａ～図３６Ｄを参照して前述した）ドリルによる穴開けの中心点または規定の軸を識別する仮想マーカ、及び／またはドリルビット３９００が規定の軸上にあるかどうかを示すものの一方または両方を表示してよい。

この例では、リルビット３９００は、ガイド３５００等のガイドピンによって配置及び／またはガイドされるように構成されたカニューレ付きリーミングツールであってよい。他の例では、ドリルビット３９００は、カニューレ付きでなくてよく、物理的ガイドピンの支援でガイドされてよい。例えば、ＭＲシステム２１２は、外科医がガイド３５００を使用することなく中心穴４０００を開けることを可能にする仮想ガイダンス（例えば、仮想マーカ等の深さガイダンス及び／またはターゲッティングガイダンス）を提供してよい。

図４１は、本開示の１つまたは複数の技術による、上腕骨頭の移植片の切断のための仮想ガイダンスを提供するＭＲシステムを示す概念図である。図４１に示すように、上記リーミングとドリルによる穴開けの作業ステップによって、底面がまだ上腕骨３２００に付いた状態のトロイド形状を有する移植片４１０２となり得る。外科医は、振動鋸４１０４等のツールを使用して、上腕骨３２００から移植片４１０２を切断してよい。

ＭＲシステム２１２は、仮想ガイダンスを表示して、切断プロセスを支援してよい。一例として、ＭＲシステム２１２は、ターゲッティングガイダンスを提供してよい。例えば、ＭＲシステム２１２は、仮想切断表面４１００（例えば、図３６Ａ～図３６Ｄを参照して上述した仮想切断面または仮想マーカのいずれか）等の仮想マーカを表示してよく、仮想切断表面４１００は、ツールを使用して外科医が切断する場所及び／またはツール（例えば、振動鋸４１０４）が仮想切断表面と整列しているかどうかを示すものを示す。ＭＲシステム２１２は、仮想切断面の位置及び向きを仮想手術計画から取得してよい。従って、ＭＲシステム２１２は、上腕骨頭からの移植片の切断をガイドする仮想手術計画から取得されたパラメータ（例えば、上腕骨頭の仮想モデルに対する位置、サイズ及び／または向き）を有する仮想切断面を表示してよい。図４１に示すように、ＭＲシステム２１２は、移植片４１０２の底部と平行なまたは同じ平面上に仮想切断表面４１００を表示してよい。別の例として、ＭＲシステム２１２は、移植片４１０２の仮想モデルを表示してよい。例えば、ＭＲシステム２１２は、移植片４１０２の輪郭線を表示してよい。別の例として、ＭＲシステム２１２は、深さガイダンス（例えば、図６６～図６８を参照して以下に記載する深さガイダンスと類似した深さガイダンス）を提供してよい。例えば、ＭＲシステム２１２は、外科医が目標深さまで切断するのを可能にする深さガイダンスを表示してよい。

外科医は、任意の目的で移植片を利用してよい。例えば、外科医は、プロテーゼと患者の関節窩の間の空の空間を埋めるために、及び／または、プロテーゼを患者の関節窩に取り付ける時オフセットを提供／増加させるために移植片を利用してよい。

プロテーゼの埋め込みのために上腕骨を準備するために、外科医は、上腕骨頭を切除、切断、または他の方法で取り除いてよい。移植片の除去を伴う上腕骨頭の切断、及び、移植片の除去のない上腕骨頭の切断を含む、上腕骨頭切除のための幾つかのＭＲ支援技術が企図される。第１の例示の技術において、ＭＲシステム２１２は、例えば、移植片を採取すること無しに、上腕骨頭を切除する時に、外科医をガイドする仮想切断面等の仮想切断表面を表示してよい。この場合、機械的ガイドの必要性が無くなり、手順の複雑さを減らし、場合によっては手順のコストも減らしながら、正確性を維持し得る。第１の例示の技術の更なる詳細は、図４２Ａ～図４２Ｃを参照して以下に記載する。第２の例示の技術においては、ＭＲシステム２１２は、上腕骨上に物理的ガイド、すなわち、機械的ガイドを取り付ける時に外科医をガイドする仮想軸を表示してよく、物理的ガイド、すなわち、機械的ガイドは、その後、上腕骨頭を切除する時に外科医をガイドする。第２の例示の技術の更なる詳細は、図４３を参照して以下に記載する。

図４２Ａ～図４２Ｃは、本開示の１つまたは複数の技術による、上腕骨頭切除のための仮想ガイダンスを提供するＭＲシステムを示す概念図である。図４２Ａ及び図４２Ｂに示すように、ＭＲシステム２１２は、上腕骨３２００上の計画した位置に仮想切断面４２００を表示してよい。仮想切断面４２００を表示するために、ＭＲシステム２１２は、上腕骨３２００の仮想モデル上の、上腕骨頭３２０４を切除すべき箇所を決定してよい。ＭＲシステム２１２は、仮想手術計画（例えば、上記の仮想手術計画）からその箇所を取得してよい。従って、ＭＲシステム２１２は、上腕骨頭の一部の切除をガイドする仮想手術計画から取得されたパラメータ（例えば、上腕骨の仮想モデルに対する位置、サイズ及び／または向き）を有する仮想切断表面（例えば、切断面）を表示してよい。

上記のように、上腕骨３２００の仮想モデルは、仮想モデルの座標が上腕骨３２００の座標とほぼ対応するように、上腕骨３２００に位置合わせされてよい。従って、仮想切断面４２００を仮想モデルの決定された箇所に表示することによって、ＭＲシステム２１２は、上腕骨３２００の計画した位置に、仮想切断面４２００を表示してよい。

外科医は、表示された仮想ガイダンスを使用して、上腕骨頭３２０４を切除してよい。例えば、外科医は、振動鋸４１０４を利用して仮想切断面４２００に沿って切断することによって上腕骨頭３２０４を切除してよい。いくつかの例では、ＭＲシステム２１２は、ツール（例えば、振動鋸４１０４）が規定の平面上にあるかどうかを示すターゲッティングガイダンスを表示してよい。

図４３は、本開示の１つまたは複数の技術による、仮想ガイダンスを使用して配置された上腕骨頭切除のための物理的ガイドを示す概念図である。上記のように、第２の例示の技術において、ＭＲシステム２１２は、物理的ガイドを取り付ける時に外科医をガイドする仮想軸を表示してよく、物理的ガイドは、上腕骨頭を切除する時に外科医をガイドする。例えば、ＭＲシステム２１２は、図３４及び図３５を参照して前述した技術と類似する技術を用いて、仮想軸等の仮想マーカを表示してよい。外科医は、物理的ガイド３５００（例えば、ガイドピン）の取付をガイドする仮想軸を使用してよい。従って、ＭＲシステム２１２は、ガイドピンの上腕骨への取付をガイドする仮想手術計画から取得されたパラメータ（例えば、上腕骨の仮想モデルに対する位置、サイズ及び／または向き）を有する仮想ドリル軸を表示してよい。上記のように、ガイドピンは、切除ガイドの上腕骨への取付をガイドするように構成されてよい。

外科医は、ガイド３５００を使用して、切除ガイド４３００の取付を支援してよい（例えば、ガイドピンは、上腕骨への切除ガイドの取付をガイドするように構成されてよい）。一般に、切除ガイド４３００は、上腕骨頭を切除するためのツール（例えば、振動鋸）を物理的にガイドするように構成された物理的アセンブリであってよい。図４３の例では、切除ガイド４３００は、プレート４３０２Ａ及び４３０２Ｂ（集合的に、「プレート４３０２」）、上部プレート４３０８、調整ネジ４３０６Ａ及び４３０６Ｂ（集合的に、「調整ネジ４３０６」）、及びガイド受容部４３１０を含む。

ガイド受容部４３１０は、切除ガイド４３００がガイド３５００上を通るように、ガイド３５００を受け入れるサイズであってよい。プレート４３０２は、スロット４３０４を画定し、スロット４３０４は、プレート４３０２間を切断面４３１２にわたって、物理的ガイドツール（例えば、振動鋸）を受け入れ、ガイドするサイズであってよい。上部プレート４３０８は、（本来の、または、移植片を取り除く作業が行われた後の）上腕骨頭３２０４の最上部に載るように構成されてよい。調整ネジ４３０６は、プレート４３０２を、従って、切断面４３１２を上部プレート４３０８に対して位置決めするように集合的にまたは独立して調整されてよい。

ＭＲシステム２１２は、切除ガイド４３００の位置決めを支援する仮想ガイダンスを提供してよい。一例として、ＭＲシステム２１２は、切断面４３１２の所望の箇所に仮想切断面を表示してよい。外科医は、スロット４３０４が仮想切断面と整列するまで調整ネジ４３０６を調整してよい。いくつかの例では、ＭＲシステム２１２は、どの調整ネジ４３０６を締めるまたは緩めるべきかに関するガイダンスを提供してよい。切除ガイド４３００が適切に構成される（例えば、スロット４３０４が仮想切断面と整列する）と、外科医は、ツールを操作して、上腕骨頭３２０４を切除してよい。

図４４及び図４５は、本開示の１つまたは複数の技術による、上腕骨にパイロット穴を作成するための仮想ガイダンスを提供するＭＲシステムを示す概念図である。図４４及び図４５に示すように、スタータの錐４４００を使用して、切除のヒンジ点に上腕骨管と一直線になるパイロット穴を作成してよい。

ＭＲシステム２１２は、パイロット穴の作成を支援する仮想ガイダンスを提供してよい。一例として、ＭＲシステム２１２は、外科医がパイロット穴を作成すべき箇所を表す仮想マーカ（例えば、仮想点４４０２）等のターゲッティングガイダンスを表示してよい。例えば、ＭＲシステム２１２は、上腕骨頭を切除した後、上腕骨へのパイロット穴作成をガイドする仮想手術計画から取得されたパラメータ（例えば、上腕骨の仮想モデルに対する位置、サイズ及び／または向き）を有する仮想軸を表示してよい。別の例として、ＭＲシステム２１２は、深さガイダンス、例えば、図６６～図６８を参照して以下に記載する深さガイダンスを表示して、外科医がパイロット穴を規定の深さまで作成するのを支援してよい。

図４６は、本開示の１つまたは複数の技術による、上腕骨の測深のための仮想ガイダンスを提供するＭＲシステムを示す概念図である。図４６に示すように、測深器４６００は、上腕骨３２００の遠位部の上限サイズを決定してよい。いくつかの例では、本明細書に記載するように、上限サイズまで異なるサイズの複数の測深器を使用してよい。

ＭＲシステム２１２は、測深を支援する仮想ガイダンスを提供してよい。一例として、ＭＲシステム２１２は、測深器４６００のための仮想ターゲッティングガイダンスを表示してよい。例えば、ＭＲシステム２１２は、（例えば、図３６Ａ～図３６Ｄを参照して前述したように）測深器４６００を挿入すべき箇所を示す仮想マーカを表示してよい。

図４７は、本開示の１つまたは複数の技術による、上腕骨の穿孔のための仮想ガイダンスを提供するＭＲシステムを示す概念図である。図４７に示すように、外科医は、穿孔テンプレート４７００を測深器４６００（または、測深ステップ中に決定された最終的な測深器）に取り付けてよい。外科医は、４７０２がテンプレート４７００の底に達するまで、パンチ４７０２をテンプレート４７００に挿入してよい。外科医は次に、測深器４６００、テンプレート４７００及びパンチ４７０２を上腕骨３２００から引き出すことによって切れ目を入れられた骨を取り除いてよい。

ＭＲシステム２１２は、穿孔を支援する仮想ガイダンスを提供してよい。一例として、ＭＲシステム２１２は、パンチ４７０２がテンプレート４７００に適切に配置されているかどうかを示すものを表示してよい。例えば、パンチ４７０２がテンプレート４７００に適切に配置されている場合、ＭＲシステム２１２は、適切な位置を示す仮想マーカ（例えば、チェックマーク）を表示してよい。同様に、パンチ４７０２がテンプレート４７００に適切に配置されていない場合、ＭＲシステム２１２は、不適切な位置を示す仮想マーカ（例えば、Ｘ）を表示してよい。

図４８は、本開示の１つまたは複数の技術による、上腕骨を圧縮するための仮想ガイダンスを提供するＭＲシステムを示す概念図である。図４８に示すように、コンパクタ４８００は、ハンドル４８０２に取り付けられて、上腕骨３２００に挿入されてよい。いくつかの例では、複数のコンパクタを使用してよい。例えば、外科医は、最終的な測深器のサイズ未満の３つのサイズのコンパクタで開始してよく、満足のいく固定を達成するまで、順次、圧縮してよい。十分に固定されているかは、ハンドル４８０２のわずかなトルク運動によって評価することができる。十分に固定されている場合、コンパクタ４８００は、このテスト中、上腕骨内で移動しないはずである。

ＭＲシステム２１２は、圧縮を支援するための仮想ガイダンスを提供してよい。一例として、ＭＲシステム２１２は、十分に固定されているかどうかを示すものを表示してよい。例えば、十分に固定されているとＭＲシステム２１２が判断する場合、ＭＲシステム２１２は、十分な固定を示す仮想マーカ（例えば、チェックマーク）を表示してよい。同様に、十分に固定されていないとＭＲシステム２１２が判断する場合、ＭＲシステム２１２は、固定不十分を示す仮想マーカ（例えば、Ｘ）を表示してよい。

外科医は、コンパクタ４８００（例えば、最終的なコンパクタ）をハンドル４８０２から取り外してよい。外科医は次に、１つまたは複数の表面処理ステップを行ってよい。

図４９は、本開示の１つまたは複数の技術による、上腕骨の表面の準備をするための仮想ガイダンスを提供するＭＲシステムを示す概念図である。図４９に示すように、外科医は、（例えば、プロテーゼにとって正しい平らな切除を確実にするために）表面プレーナ４９００を使用して、上腕骨３２００の表面を準備してよい。

ＭＲシステム２１２は、表面の準備を支援する仮想ガイダンスを提供してよい。例えば、ＭＲシステム２１２は、（図６６～図６８を参照して以下に記載するターゲッティングガイダンスと類似した）ターゲッティングガイダンスを提供して、外科医が計画した／規定の軸上に表面プレーナ４９００を維持するのを支援してよい。

多くの異なる技術を使用して、プロテーゼ取付のための肩甲骨の準備と、実際のプロテーゼ取付を行ってよい。使用する技術に関わらず、ＭＲシステム２１２は、準備及び取付の一方または両方を支援する仮想ガイダンスを提供してよい。従って、以下の技術は、ＭＲシステム２１２が仮想ガイダンスを提供する例であるが、ＭＲシステム２１２は、他の技術に対して仮想ガイダンスを提供してよい。

例示の技術では、手術ステップは、肩甲骨の関節窩へのガイドの取付、関節窩のリーミング、関節窩に中心穴を作成、関節窩に追加の固定位置を作成、及び、準備した関節窩へのインプラントの取付を含む。ガイドピンを使用するので、例示の技術は、カニューレ技術と見なされてよい。しかしながら、技術は、カニューレを使わない技術にも同様に適用可能である。

外科医は、患者の関節窩を露出する１つまたは複数のステップを行ってよい。例えば、患者の腕を外転及び内旋して、外科医は、関節窩を露出するための１つまたは複数の切開を行ってよい。外科医は、露出を維持するように１つまたは複数の開創器を配置してよい。いくつかの例では、ＭＲシステム２１２は、露出及び／または開創器の配置を支援するガイダンスを提供してよい。

図５１は、本開示の１つまたは複数の技術による、肩甲骨の関節窩にガイドを取り付けるためにユーザに仮想ガイダンスを提供するＭＲシステムを示す概念図である。図５１に示すように、ＭＲシステム２１２は、肩甲骨５１００の関節窩５１０２上に、例えば、仮想軸５１０４の形態で仮想ガイダンスを表示してよい。仮想軸５１０４を表示するために、ＭＲシステム２１２は、関節窩５１０２の仮想モデル上に、ガイドを取り付ける箇所を決定してよい。ＭＲシステム２１２は、仮想手術計画（例えば、上記仮想手術計画）からその箇所を取得してよい。ＭＲシステム２１２が取得した箇所は、仮想モデル上の点の座標及びベクトルの一方または両方を指定してよい。点は、ガイドを取り付ける位置であってよく、ベクトルは、ガイドを取り付ける角度／傾斜を示してよい。従って、ＭＲシステム２１２は、仮想手術計画から取得されたパラメータ（例えば、肩甲骨の仮想モデルに対する位置、サイズ及び／または向き）を有する仮想リーミング軸を表示してよい。表示された仮想リーミング軸は、関節窩のリーミングをガイドするように構成されてよい。

上記のように、関節窩５１０２の仮想モデルは、仮想モデルの座標が関節窩５１０２上の座標とほぼ対応するように、関節窩５１０２に位置合わせされてよい。従って、仮想モデルの決定された箇所に仮想軸５１０４を表示することによって、ＭＲシステム２１２は、関節窩５１０２の計画した位置に仮想軸５１０４を表示してよい。

これも前述したように、関節窩５１０２の仮想モデルは、位置合わせ後、選択的に表示されてよい。例えば、関節窩５１０２の仮想モデルが関節窩５１０２に位置合わせされた後、ＭＲシステム２１２は、仮想モデルの表示を停止してよい。あるいは、ＭＲシステム２１２は、位置合わせ後、仮想モデルを関節窩５１０２に重ね合わせて表示するのを継続してよい。仮想モデルの表示は、外科医が仮想モデルの表示を有効または無効にし得るという点で選択的であってよい。

ＭＲシステム２１２は、仮想モデル及び／または仮想ガイドを様々な不透明度（例えば、透明度）で表示してよい。不透明度は、自動的に、手動で、またはその両方で調整されてよい。一例として、外科医は、ユーザ入力をＭＲシステム２１２に提供して、仮想モデル及び／または仮想ガイドの不透明度を手動で調整してよい。別の例として、ＭＲシステム２１２は、視野の光の量（例えば、外科医が見ている光の量）に基づいて、自動的に不透明度を調整してよい。例えば、ＭＲシステム２１２は、仮想モデル及び／または仮想ガイドの不透明度を調整（例えば、透明度を増加）して、視野の光の量と積極的に相関してよい（例えば、光が明るくなると、不透明度が増加／透明度が減少し、光が薄暗くなると、不透明度が減少／透明度が増加する）。

外科医は、表示された仮想ガイダンスを使用して、物理的ガイドを取り付けてよい。一例として、セルフタッピングのねじ付き遠位端を有するガイドピンの場合、外科医は、ガイドピンを表示された仮想軸５１０４に整列させ、ドリルまたは他の器具を利用して、ガイドピンを取り付けてよい。別の例として、ガイドが、セルフタッピングの先端を持たないガイドピンの場合、外科医は、ドリルのドリルビットを表示された仮想軸５１０４に整列させて、ドリルを操作してガイドピンを受ける穴を形成し、次に、ガイドピンをその穴に取り付けてよい。いくつかの例では、ＭＲシステム２１２は、外科医がガイドピンを計画した深さに取り付けるのを可能にする深さガイダンス情報を表示してよい。深さガイダンス情報の例を、図６６を参照して、本明細書により詳細に記載する。

図５２は、ガイド５２００、すなわち、この例では、関節窩５１０２に取り付けられたガイドピンを示す概念図である。図５１及び図５２に示すように、仮想軸５１０４を表示することによって、外科医は、リーミング軸とも呼ばれてよい仮想軸に整列するようにドリルで穴を開けることによって、関節窩５１０２の計画した位置にガイド５２００を取り付けるための穴を形成してよい。このように、ＭＲシステム２１２は、追加の機械的ガイドを必要とせずに、ガイドの取付を可能にし得る。

図５３は、本開示の１つまたは複数の技術による、関節窩をリーミングするための仮想ガイダンスを提供するＭＲシステムを示す概念図である。図５３に示すように、リーミングツール５３００を使用して関節窩５１０２の表面をリーミングしてよい。この例では、リーミングツール５３００は、ガイド５２００等のガイドピンによって配置及び／またはガイドされるように構成されたカニューレ付きリーミングツールであってよい。例えば、カニューレ付きリーミングツールのシャフトは、ツールのシャフトがピンとほぼ同心円状に取り付けられるように、ガイド５２００を受けてよい。他の例では、リーミングツール５３００は、カニューレ付きでなくてよく、物理的ガイドピンの支援無しでガイドされててよい。

外科医は、リーミングツール５３００をガイド５２００に取り付けてよく（例えば、ガイド５２００の近位端をリーミングツール５３００に挿入してよく）、ドリルまたは他の器具を、リーミングツール５３００を回転させるように取り付けてよい。リーミングを行うために、外科医は、リーミングが完了するまで、リーミングツール５３００を回転させながら、ガイド５２００に沿って下りるようにリーミングツール５３００を進めてよい。

ＭＲシステム２１２は、リーミングプロセスを支援する仮想ガイダンスを表示してよい。一例として、ＭＲシステム２１２は、深さガイダンスを提供してよい。例えば、ＭＲシステム２１２は、外科医が目標深さまでリーミングするのを可能にする深さガイダンスを表示してよい。別の例として、ＭＲシステム２１２は、ターゲッティングガイダンスを提供してよい。例えば、ＭＲシステム２１２は、リーミングツール５３００が仮想リーミング軸と整列しているかどうかを示すものを表示してよい。

一度のリーミングステップとして本明細書に記載しているが、手術は、複数のリーミングステップを含んでよい。様々なリーミングステップは、同じ軸／ガイドピンを使用してよい、または、異なる軸／ガイドピンを使用してよい。異なるリーミングステップが異なる軸を使用する例では、ＭＲシステム２１２は、異なる軸を使用するリーミングのための仮想ガイダンスを提供してよい。

図５４及び図５５は、本開示の１つまたは複数の技術による、（例えば、リーミング後に）関節窩に中心穴を作成するための仮想ガイダンスを提供するＭＲシステムを示す概念図である。図５４及び図５５に示すように、ドリルビット５４００を使用して、関節窩５１０２に中心穴５５００を開けてよい。この例では、ドリルビット５４００は、ガイド５２００等のガイドピンによって配置及び／またはガイドされるように構成されたカニューレ付きのドリルビットであってよい。他の例では、ドリルビット５４００は、カニューレ付きでなくてよく、物理的ガイドピンの支援無しにガイドされてよい。例えば、ＭＲシステム２１２は、外科医がガイド５２００を使用せずに、関節窩５１０２にドリルで穴を開けるのを可能にする仮想ガイダンス（例えば、図６６～図６８を参照して以下に記載するような仮想マーカ、深さガイダンス、及び／またはターゲッティングガイダンスの任意の組み合わせ）を提供してよい。以下にさらに詳細に記載するように、中心穴５５００は、例えば、１つまたは複数のアンカーを介して、プロテーゼの関節窩５１０２への取付を容易にし得る。

ＭＲシステム２１２は、中心穴５５００の作成を支援する仮想ガイダンスを表示してよい。例えば、ＭＲシステム２１２は、外科医がドリルで中心穴５５００を目標深さまで開けるのを可能にする深さガイダンスを表示してよい。別の例として、ＭＲシステム２１２は、ターゲッティングガイダンス（例えば、図６６～図６８を参照して以下に記載する仮想マーカ及び／またはターゲッティングガイダンスの任意の組み合わせ）を提供してよい。例えば、ＭＲシステム２１２は、ドリルビットツール５４００が適切な位置に適切な向きで中心穴５５００を形成するように選択された規定の軸上にあるかどうかを示すものを表示してよい。

中心穴（例えば、中心穴５５００）に加えて、外科医が、関節窩に追加の固定位置を作成するのが望ましい場合がある。この追加の固定位置は、プロテーゼと関節窩の間の固定を向上させ得る。例えば、追加の固定位置は、プロテーゼと関節窩の間の回転防止サポートを提供し得る。取り付けるプロテーゼのタイプに応じて、幾つかの異なるスタイルの固定具を使用してよい。固定具のいくつかの例は、キール及びペグアンカーを含むが、必ずしもこれらに限らない。しかしながら、本明細書に記載の仮想ガイダンス技術は、任意のタイプの固定具に適用可能であってよい。キール型固定具のための例示のＭＲガイダンスについて、図５６～図５９を参照して以下に記載する。ペグ型の固定具のための例示のＭＲガイダンスについて、図６０～図６２を参照して以下に記載する。各場合において、固定具は、解剖学的関節形成のための関節窩ベースプレート、または、逆関節形成のための関節窩ベースプレート及び関節窩球等、関節窩インプラントを関節窩上に配置し、適切な位置に固定するのを支援し得る。

図５６は、キール型固定具を有する関節窩プロテーゼを示す概念図である。図５６に示すように、関節窩プロテーゼ５６００は、関節窩５１０２の処理された表面（例えば、リーミングされた表面）に係合するように構成された後部表面５６０２と、関節窩５１０２に作成されたキールスロット（例えば、図５９のキールスロット５９０２）に挿入されるように構成されたキールアンカー５６０４とを含む。

図５７～図５９は、本開示の１つまたは複数の技術による、関節窩にキール型固定位置を作成するための仮想ガイダンスを提供するＭＲシステムを示す概念図である。図５７に示すように、ＭＲシステム２１２は、関節窩５１０２にドリルで追加の穴を開けるための仮想ガイダンスを提供してよい。ＭＲシステム２１２は、様々な方法のいずれかで、ドリルで追加の穴を開けるための仮想ガイダンスを提供してよい。一例として、ＭＲシステム２１２は、指定された形状（例えば、軸、矢印、点、丸、Ｘ形状、十字、ターゲット等）、サイズ及び／または色を有する仮想マーカ等の仮想ガイダンスを、ドリルで追加の穴を開けるべき箇所に表示してよい。例えば、図５７の例では、ＭＲシステム２１２は、仮想マーカ５７００Ａ及び５７００Ｂを、ドリルで追加の穴を開けるべき箇所に表示してよい。別の例として、ＭＲシステム２１２は、ドリルで追加の穴を開けるべき箇所に仮想軸を表示して、外科医が関節窩骨に穴を開けるためにドリルビットを適切に整列させるのを支援してよい。例えば、ＭＲシステム２１２は、（例えば、ドリルで追加の穴を開けるべき箇所に）仮想手術計画から取得された各パラメータを有する複数の仮想ドリル軸を表示してよく、複数の仮想ドリル軸の各仮想ドリル軸は、関節窩に各穴をドリルで開けることをガイドするように構成される。

ＭＲシステム２１２は、仮想手術計画に基づいて、追加の穴の箇所を決定してよい。例えば、図５１の仮想軸５１０４と同様に、ＭＲシステム２１２は、関節窩５１０２の仮想モデル上で、ドリルで追加の穴を開けるべき箇所（複数可）を仮想手術計画から取得してよい。従って、仮想モデルの決定された箇所に仮想マーカ５７００Ａ及び５７００Ｂを表示することによって、ＭＲシステム２１２は、関節窩５１０２上の計画した位置に仮想マーカ５７００Ａ及び５７００Ｂを表示してよい。上記のように、仮想手術計画は、計画が特定の患者に対して特別に開発され得るという点で、患者固有であってよい。従って、ＭＲシステム２１２が仮想マーカ５７００Ａ及び５７００Ｂを表示する関節窩５１０２上の計画した位置は、患者固有の計画した位置と見なされてよい。よって、計画した位置の箇所は、個々の患者固有の手術計画に従って、患者によって異なる。

外科医は、ドリルビット及びドリルを利用して、ＭＲシステム２１２が示す箇所（複数可）に追加の穴（複数可）を作成してよい。例えば、図５８に示すように、外科医は、仮想マーカ５７００Ａの箇所にドリルで穴５８００Ａをあけてよく、仮想マーカ５７００Ｂの箇所にドリルで穴５８００Ｂを開けてよい。外科医は、各穴に同じドリルビットを使用してよく、異なる穴に異なるドリルビットを使用してよい。

ＭＲシステム２１２は、ドリルで追加の穴を開けるべき箇所を示す上記の仮想マーカ等の仮想マーカに追加して、または、その代わりに、ドリルで穴を開けるための仮想ガイダンスを提供してよい。一例として、ＭＲシステム２１２は、ドリルがターゲット軸上にあるかどうかを示すターゲッティングガイダンスを提供してよい。この場合、仮想マーカの追加または代替として、ＭＲシステム２１２は、ドリルで開けるべき各穴の箇所から外方向に延びるガイド軸を表示してよい。別の例として、ＭＲシステム２１２は、ドリルで穴を開けるべき箇所に対応する穴をマスクに有するマスクを表示してよい。別の例として、ＭＲシステム２１２は、外科医が目標深さまでドリルで穴５８００Ａ及び５８００Ｂを開けるのを可能にする深さガイダンス（例えば、図６６～図６８を参照して以下に記載する深さガイダンス）を表示してよい。

ＭＲシステム２１２は、穴を関節窩プロテーゼ５６００のキールアンカー５６０４を受け入れることができるキールスロットにするための仮想ガイダンスを提供してよい。例として、ＭＲシステム２１２は、穴５８００Ａ、５５００及び５８００Ｂの周りに仮想輪郭線５８０２を表示してよい。例えば、ＭＲシステム２１２は、作成する所望のキールスロットの最終的な輪郭線にほぼ対応するように、仮想輪郭線５８０２を表示してよい。

外科医は、ツールを利用して穴５８００Ａ、５５００及び５８００Ｂをキールスロット５９０２にしてよい。図５９に示すように、外科医は、キールパンチ５９００を利用して、穴５８００Ａ、５５００及び５８００Ｂをキールスロット５９０２にしてよい。例えば、外科医は、仮想輪郭線５８０２によって示される領域にキールパンチ５９００を打ち込んでよい。この場合、仮想輪郭線５８０２は、所望のキールスロット５９０２の形状及び寸法を画定し、外科医が穴をキールスロットの表示された仮想の輪郭線に視覚的に一致または近似する形態にするのを可能にする。

ＭＲシステム２１２は、キールスロット５９０２を作成するための追加のまたは代替の仮想ガイダンスを提供してよい。一例として、ＭＲシステム２１２は、外科医が、キールパンチ５９００を目標深さまで打ち込むのを可能にする深さガイダンス（例えば、図６６～図６８を参照して以下に記載する深さガイダンスに類似した深さガイダンス）を表示してよい。別の例として、ＭＲシステム２１２は、キールパンチ５９００がターゲット軸上にあるかどうかを示すターゲッティングガイダンス（例えば、図６６～図６８を参照して以下に記載するターゲッティングガイダンスと類似のターゲッティングガイダンス）を提供してよい。別の例として、ＭＲシステム２１２は、仮想輪郭線５８０２のための切り抜きを有するマスクを表示してよい。

図６０は、ペグ型固定具を有する関節窩プロテーゼを示す概念図である。図６０に示すように、関節窩プロテーゼ６０００は、関節窩５１０２の処理された表面（例えば、リーミングされた表面）と係合するように構成された後部表面６００２、関節窩５１０２に作成された中心穴に挿入されるように構成された中心ペグアンカー６００４、及び、それぞれ、関節窩５１０２に作成された追加の穴に挿入されるように構成された１つまたは複数のペグアンカー６００６Ａ～６００６Ｃ（集合的に、「ペグアンカー６００６」）を含む。

図６１及び図６２は、本開示の１つまたは複数の技術による、関節窩にペグ型固定位置を作成するための仮想ガイダンスを提供するＭＲシステムを示す概念図である。図６1に示すように、ＭＲシステム２１２は、関節窩５１０２にドリルで追加の穴を開けるための仮想ガイダンスを提供してよい。ＭＲシステム２１２は、様々な方法のいずれかでドリルで追加の穴を開けるための仮想ガイダンスを提供してよい。一例として、ＭＲシステム２１２は、ドリルで追加の穴を開けるべき箇所に仮想マーカ（例えば、軸、点、丸、Ｘ形状等）を表示してよい。例えば、図６１の例では、ＭＲシステム２１２は、ドリルで追加の穴を開けるべき箇所に仮想マーカ５７００Ａ～５７００Ｃを表示してよい。別の例として、ＭＲシステム２１２は、ドリルで追加の穴を開けるべき箇所から延びる仮想軸を表示してよい。別の例として、ＭＲシステム２１２は、ドリルで穴を開けるべき場所を示すマスク（実質的に、仮想マーカの逆）を表示してよい。

ＭＲシステム２１２は、仮想手術計画に基づいて、追加の穴の箇所を決定してよい。例えば、図５１の仮想軸５１０４同様に、ＭＲシステム２１２は、関節窩５１０２の仮想モデル上にドリルで追加の穴を開ける箇所（複数可）を、患者固有であってよい仮想手術計画から取得してよい。従って仮想マーカマーカ５７００Ａ～５７００Ｃを仮想モデル上の決定された箇所に表示することによって、ＭＲシステム２１２は、仮想マーカ５７００Ａ～５７００Ｃを関節窩５１０２上の計画した位置に表示してよい。

外科医は、ドリルビット（または、複数のドリルビット）及びドリルを利用して、ＭＲシステム２１２が示す箇所（複数可）に追加の穴（複数可）を作成してよい。例えば、図６２に示すように、外科医は、仮想マーカ５７００Ａの箇所にドリルで穴５８００Ａを開けてよく、仮想マーカ５７００Ｂの箇所にドリルで穴５８００Ｂを開けてよく、仮想マーカ５７００Ｃの箇所にドリルで穴５８００Ｃを開けてよい。

ＭＲシステム２１２は、ドリルで追加の穴を開けるべき箇所を示す仮想マーカに加えて、または、その代わりにドリルで穴を開けるための仮想ガイダンスを提供してよい。一例として、ＭＲシステム２１２は、ドリルがターゲット軸上にあるかどうかを示すターゲッティングガイダンスを提供してよい。別の例として、ＭＲシステム２１２は、外科医がドリルで穴５８００Ａ～５８００Ｃを目標深さまで開けるのを可能にする深さガイダンスを表示してよい。

異なるインプラントは、補強使用プロファイル等、異なるプロファイルを有し得ることに注意されたい。さらに、本明細書に記載するように、いくつかのインプラントは、骨移植片等、患者から採取された追加の材料と共に埋め込まれてよい。このような例のいくつかでは、ＭＲシステム２１２は、追加の材料を配置するための仮想ガイダンスを提供してよい。例えば、ＭＲシステム２１２は、骨移植片をインプラントに取り付けるための仮想ガイダンスと、移植片／インプラントアセンブリを患者に取り付けるためのガイダンスとを提供してよい。

いくつかの例では、使用される固定具のタイプに関わらず、外科医は、トライアルコンポーネントを利用して、関節窩５１０２が適切に準備されているかどうかを判断してよい。トライアルコンポーネントは、埋め込まれるプロテーゼの後部表面及びアンカーと同じサイズ及び位置の後部表面及びアンカーを有してよい。

図１４９は、本開示の１つまたは複数の技術による、解剖学的構造の準備のＭＲ支援検証の例示の技術を示すフロー図である。上記のように、いくつかの例では、トライアルコンポーネントを使用して、患者の解剖学的構造の一部が適切に準備されたかどうかを判断してよい。例えば、埋め込まれる人工装具の表面に一致する表面を有するトライアルコンポーネントが、準備された解剖学的構造に／のまわりに／に接触して／等配置されてよい。トライアルコンポーネントの表面が、準備された解剖学的構造の表面と合致する場合、外科医は、解剖学的構造は適切に準備されたと判断してよい。しかしながら、いくつかの例では、トライアルコンポーネントの使用を必要とせずに、解剖学的構造が適切に準備されたかどうかを判断することが望ましい場合がある。

本開示の１つまたは複数の技術によると、ＭＲシステム２１２は、仮想トライアルを行って、関節窩５１０２が適切に準備されているかどうかを判断してよい。例えば、ＭＲシステム２１２は、関節窩が人工装具の取付のために準備された後、肩甲骨の関節窩の１つまたは複数の寸法を取得してよい（１４９０２）。一例として、ＭＲシステム２１２の１つまたは複数のセンサ（例えば、１つまたは複数のデプスカメラ及び／または１つまたは複数のＲＧＢカメラ）が、準備した関節窩５１０２のデータをキャプチャしてよい。ＭＲシステム２１２は、キャプチャされたデータに基づいて、準備した関節窩５１０２の１つまたは複数の寸法を決定してよい。

ＭＲシステム２１２は、埋め込まれる人工装具の寸法を取得してよい（１４９０４）。例えば、ＭＲシステム２１２は、仮想手術計画、人工装具寸法のデータベース、または任意の他の適切なソースから人工装具の寸法を取得してよい。

ＭＲシステム２１２は、決定された寸法を埋め込まれる人工装具の取得された寸法と比較して（１４９０６）、解剖学的構造が適切に準備されたかどうかを決定してよい（１４９０８）。例えば、ＭＲシステム２１２は、決定された寸法と埋め込まれる人工装具の寸法の差が閾値未満の場合、解剖学的構造は適切に準備されたと判断してよい。同様に、ＭＲシステム２１２は、決定された寸法と埋め込まれる人工装具の寸法の差が閾値より大きい場合、解剖学的構造は適切に準備されていないと判断してよい。一例として、決定された寸法と埋め込まれる人工装具の寸法の差が閾値未満の場合、ＭＲシステム２１２は、関節窩５１０２が（例えば、人工装具を受け入れるために）適切に準備されたと判断してよい。同様に、決定された寸法と埋め込まれる人工装具の寸法の差が閾値より大きい場合、ＭＲシステム２１２は、関節窩５１０２は適切に準備されていないと判断してよい。

ＭＲシステム２１２は、人工装具とも呼ばれるインプラントを受け入れるために関節窩５１０２が適切に準備されているかどうかを示すものを出力してよい（１４９１０／１４９１２）。一例として、ＭＲシステム２１２は、関節窩５１０２は人工装具を受け入れる適切な準備がされたというグラフィック表示が出力されてよい。別の例として、ＭＲシステム２１２は、関節窩５１０２は人工装具を受け入れる適切な準備がされたという触覚または可聴の指示を（例えば、知覚デバイス５２６を介して）出力してよい。ＭＲシステム２１２が関節窩５１０２は適切に準備されていないと判断する状況では、ＭＲシステム２１２は、関節窩５１０２を適切に準備するために、外科医が追加の作業を行うための仮想ガイダンスを提供してよい。

上記ＭＲ支援検証技術は、例えば、様々な関節修復手術のいずれかで、任意のタイプの解剖学的構造に対して支援されてよい。一例として、上記のように、ＭＲ支援検証技術を使用して、関節窩が適切に準備されたかどうかを判断してよい。別の例として、ＭＲ支援検証技術を使用して、上腕骨が適切に準備されたかどうかを判断してよい。別の例として、ＭＲ支援検証技術を使用して、脛骨が適切に準備されたかどうかを判断してよい。別の例として、ＭＲ支援検証技術を使用して、距骨が適切に準備されたかどうかを判断してよい。別の例として、ＭＲ支援検証技術を使用して、大腿骨が適切に準備されたかどうかを判断してよい。

図６３は、本開示の１つまたは複数の技術による、関節窩にインプラントを取り付けるための仮想ガイダンスを提供するＭＲシステムを示す概念図である。ツールを使用して、インプラント（例えば、ペグ固定インプラント、キール固定インプラント、または任意の他のタイプのインプラント）を関節窩５１０２に取り付けてよい。例えば、外科医は、インパクタ６３０２を利用して、プロテーゼ６３００を準備した関節窩５１０２に挿入してよい。いくつかの例では、１つまたは複数の接着剤（例えば、膠、セメント等）を、打ち込みの前にプロテーゼ６３００及び／または関節窩５１０２に適用してよい。

いくつかの例では、１つまたは複数の締め具を使用して、プロテーゼを関節窩５１０２に取り付けてよい。例えば、図６４及び図６５に示すように、ネジ６４００Ａ～６４００Ｄ（集合的に、「ネジ６４００」）及び中心ステム６４０２を使用して、プロテーゼ６３００を関節窩５１０２に取り付けてよい。プロテーゼに含まれる任意の固定具（例えば、ペグ、キール等）に加えて、または、その代わりに、これらの締め具を使用してよい。

ＭＲシステム２１２は、追加の締め具の取付を容易にする仮想ガイダンスを提供してよい。例えば、図６５に示すように、ＭＲシステム２１２は、「仮想ネジ軸」と呼ばれてよい仮想軸６５００Ａ～６５００Ｄ（集合的に、「仮想軸６５００」）を表示して、ネジ６４００の（例えば、関節窩５１０２への）取付において外科医をガイドしてよい。ネジ６４００が「セルフタッピング」である例では、ＭＲシステム２１２は、ネジ６４００の挿入をガイドする仮想ガイダンス（例えば、仮想軸）を表示してよい。例えば、ＭＲシステム２１２は、関節窩へのネジの挿入をガイドする仮想手術計画から取得されたパラメータ（例えば、肩甲骨の仮想モデルに対する位置、サイズ及び／または向き）を有する仮想ネジ軸を表示してよい。ネジ６４００が「セルフタッピング」でない例では、ＭＲシステム２１２は、ネジ６４００のためのパイロット穴をドリルで開けることをガイドする仮想ガイダンス（例えば、仮想軸）を表示してよい。例えば、ＭＲシステム２１２は、（例えば、ネジ６４００のネジのための）１つまたは複数の穴（例えば、１つまたは複数のパイロット穴及び／または１つまたは複数のばか穴）を関節窩にドリルで開けることをガイドするパラメータ（例えば、肩甲骨の仮想モデルに対する位置、サイズ及び／または向き）を有する仮想ドリル軸を表示してよい。

締め具を取り付けるための仮想ガイドを表示するために、ＭＲシステム２１２は、プロテーゼの仮想モデルを実際の観察されるプロテーゼに位置合わせしてよい。例えば、ＭＲシステム２１２は、プロテーゼ６３００の仮想モデルを仮想手術計画から取得してよく、図１７～図２０を参照して前述した位置合わせプロセスと類似の方法で位置合わせを行ってよい。

ＭＲシステム２１２は、取り付ける各締め具の箇所を取得してよい。例えば、ＭＲシステム２１２は、各締め具について、プロテーゼの仮想モデルの座標とベクトルとを仮想手術計画から取得してよい。いくつかの例では、ＭＲシステム２１２は、各締め具の座標がプロテーゼの対応する穴のセントロイドであると判断してよい。例えば、ＭＲシステム２１２は、ネジ６４００Ａの座標は穴６５０２のセントロイドであると判断してよい。

外科医は、表示された仮想ガイダンスを使用して締め具を取り付けてよい。例えば、外科医は、ネジ回しまたは他の器具を使用してネジ６４００を取り付けてよい。

ＭＲシステム２１２は、締め具の取付を支援する仮想ガイダンスを表示してよい。一例として、ＭＲシステム２１２は、深さガイダンスを提供してよい。例えば、ＭＲシステム２１２は、外科医がネジ６４００のそれぞれを目標深さまで取り付けるのを可能にする深さガイダンスを表示してよい。別の例として、ＭＲシステム２１２は、ターゲッティングガイダンスを提供してよい。例えば、ＭＲシステム２１２は、ネジ６４００のそれぞれが規定の軸上に取り付けられているかどうかを示すものを表示してよい。別の例として、ＭＲシステム２１２は、ネジ６４００を締める順番に関するガイダンスを提供してよい。例えば、ＭＲシステム２１２は、ネジ６４００の締めるべき特定のネジ上に仮想マーカを表示してよい。

上記のように、ＭＲシステム２１２は、多種多様な仮想ガイダンスを提供してよい。ＭＲシステム２１２が提供し得る仮想ガイダンスの例は、ターゲッティングガイダンス及び深さガイダンスを含むが、これらに限らない。ＭＲシステム２１２は、特定の軸に沿って作業（例えば、ドリルで穴を開けること、リーミング、ネジの取付等）を行う時に外科医を支援するターゲッティングガイダンスを提供してよい。ＭＲシステム２１２は、所望の深さまで作業（例えば、ドリルで穴を開けること、リーミング、ネジの取付等）を行う時に外科医を支援する深さガイダンスを提供してよい。

図６６は、本開示の１つまたは複数の技術による、ＭＲシステムによって提供され得る仮想ガイダンスの概念図である。図６６に示すように、外科医は、可視化デバイス２１３を通して肩甲骨５１００の一部を見てよい。

上記のように、いくつかの例では、外科医は、１つまたは複数のツールを利用して、患者の解剖学的構造の一部（例えば、肩甲骨５１００、上腕骨３２００等）に対する作業を行ってよい。例えば、外科医は、ガイド５２００を取り付け、リーミングツール５３００を操作し、ドリルビット５４００を操作し、及び／またはネジ６４００を取り付けるために、ドリル６６００等のドリルを利用してよい。しかしながら、図６６に示すように、ドリル６６００は、外科医が作業を行っている肩甲骨５１００の少なくとも一部分を妨害し得る。

本開示の１つまたは複数の技術によると、ＭＲシステム２１２は、外科医が肩甲骨５１００の一部（または、上腕骨３２００）に対して行っている作業のためのグラフィックターゲッティングガイダンス６６０２及びグラフィックによる深さガイダンス６６０４を外科医に提供する可視化デバイス２１３を利用してよい。例えば、グラフィックターゲッティングガイダンス６６０２を表示するために、ＭＲシステム２１２は、使用しているツール（例えば、ドリル６６００またはドリルに取り付けられているビット／器具）の現在の向きと、目標の向き（例えば、仮想手術計画を介して取得される目標ベクトル）とを決定してよい。ＭＲシステム２１２は、使用しているツールの現在の向きを任意の数の技術を使用して決定してよい。一例として、ＭＲシステム２１２は、ツールに取り付けられた１つまたは複数のセンサ（例えば、加速度計、ジャイロスコープ等）から受信した向きデータに基づいて、使用しているツールの現在の向きを決定してよい。別の例として、ＭＲシステム２１２は、可視化デバイス２１３の１つまたは複数のセンサ（例えば、光学カメラ５３０、デプスカメラ５３２等）によってキャプチャされたデータに基づいて、使用しているツールの現在の向きを決定してよい。

いくつかの例では、ＭＲシステム２１２は、（外科医の視点に加えて）１つまたは複数の視点のグラフィック表現としてグラフィックターゲッティングガイダンス６６０２を表示してよい。グラフィック表現は、合成されたビューと呼ばれてよい。例えば、図６６に示すように、ＭＲシステム２１２は、矢印６６０６によって示される視点からの側面図のグラフィック表現と、矢印６６０６によって示される視点からの上面図のグラフィック表現とを表示してよい。側面図は、左側面図または右側面図であってよい。同様に、上面図は、底面図であってよい。いくつかの例では、上面図／底面図／左側面図／右側面図の表示は、外科医によって選択可能であってよい。追加でまたは代替的に、ＭＲシステム２１２は、手術を患者の左側に行っているかまたは右側に行っているかに基づいて、どのビューを表示するか自動的に選択（例えば、デフォルトビューを選択）してよい。

図６６において、追加の視点のグラフィック表現は、使用しているツール（例えば、ドリル６６００またはドリルに取り付けられているビット／器具）の現在の向きと目標の向き（例えば、目標ベクトル）との間の相対的角度差を示す。ＭＲシステム２１２が表示し得る他のグラフィック表現は、十字線、数値（例えば、相対的角度差の数値）、記号表現（例えば、チェックマーク／Ｘ、色シェーディング等）、または、使用しているツールの現在の向きと骨（例えば、肩甲骨の関節窩、上腕骨、または任意の他の骨）上の目標位置に延びる目標ベクトルの間の関係の任意の他のグラフィック表現を含むが、これらに限らない。ＭＲシステム２１２は他の仮想ガイダンスに加えて、または仮想ガイダンスの代わりに追加の視点を表示してよいことは理解されたい。例えば、ＭＲシステム２１２は、追加の視点と、仮想軸／切断面を同時に表示してよい。

例えば、グラフィックによる深さガイダンス６６０４を表示するために、ＭＲシステム２１２は、使用しているツール（例えば、ドリル６６００またはドリルに取り付けられているビット／器具）の現在深さと、目標深さ（例えば、仮想手術計画を介して取得される目標深さ）とを決定してよい。ＭＲシステム２１２は、任意の数の技術を使用して、使用しているツールの現在深さを決定してよい。一例として、ＭＲシステム２１２は、ツールに取り付けられた１つまたは複数のセンサ（例えば、加速度計、ジャイロスコープ等）から受信した向きデータに基づいて、使用しているツールの現在深さを決定してよい。別の例として、ＭＲシステム２１２は、可視化デバイス２１３の１つまたは複数のセンサ（例えば、光学カメラ５３０、デプスカメラ５３２等）によってキャプチャされたデータに基づいて、使用しているツールの現在深さを決定してよい。別の例として、ＭＲシステム２１２は、図７３～図７９を参照して本明細書に記載のように、ツールの現在深さを決定してよい。

ＭＲシステム２１２は、グラフィックによる深さガイダンス６６０４を現在深さと目標深さの間の関係のグラフィック表現として表示してよい。図６６においては、現在深さと目標深さの間の関係のグラフィック表現は、（この例では、白丸として示される）開始深さから（この例では、黒丸で示される）目標深さに進む矢印として示される。ＭＲシステム２１２によって表示され得る他のグラフィック表現は、数値（例えば、残りの深さの数値、現在深さの数値、及び目標深さの数値等）、記号表現（例えば、目標深さに達した時のチェックマーク、色シェーディング等）、または現在深さと目標深さの間の関係の任意の他のグラフィック表現を含むが、これらに限らない。

本明細書に記載するように、ＭＲシステム２１２の可視化デバイス２１３は、外科医が患者の解剖学的構造を見ているレンズ上に仮想ガイダンスを表示してよい。従って、いくつかの例では、仮想ガイダンスは、複合現実（ＭＲ）ガイダンスと見なされてよい。

ＭＲシステム２１２は、グラフィックガイダンス（ターゲッティング及び／または深さ）に加えて、または、その代わりに他の形態のガイダンスを出力してよい。例えば、ＭＲシステム２１２は、ターゲッティング及び深さの一方または両方に対して可聴及び／または触覚ガイダンスを出力してよい。一例として、ＭＲシステム２１２は、目標深さに達した時、現在使用しているツール及び／または可視化デバイス２１３の一方または両方を振動させることによって、触覚深さガイダンスを出力してよい。別の例として、ＭＲシステム２１２は、現在使用しているツールの向きが閾値量を超えて目標の向きから逸脱した時、ツール及び／または可視化デバイス２１３の一方または両方を振動させることによって、触覚ターゲッティングガイダンスを出力してよい。

別の例として、ＭＲシステム２１２は、可視化デバイス２１３に現在深さと目標深さの差の可聴表現を出力させることによって、可聴深さガイダンスを出力してよい。例えば、可視化デバイス２１３は、目標深さに近付くと音量が上がり、目標深さに達すると、周波数が変わるトーンを出力してよい。別の例として、ＭＲシステム２１２は、ツールの向きが目標の向きから閾値量を超えて逸脱する時を示す音声を可視化デバイス２１３に出力させることによって、可聴ターゲッティングガイダンスを出力してよい。

例えば、可視化デバイス２１３は、ツールが目標の向きから左に逸脱していると判断することに応答して、外科医の左耳にトーンを、また、ツールが目標の向きから右に逸脱していると判断することに応答して、外科医の右耳にトーンを出力してよい。同様に、可視化デバイス２１３は、ツールが目標の向きから上に逸脱していると判断することに応答して、上にあると外科医が認識できるトーンを、また、ツールが目標の向きから下に逸脱していると判断することに応答して、下にあると外科医が認識できるトーンを出力してよい。

いくつかの例では、可視化デバイス２１３は、（例えば、知覚デバイス５２６の１つまたは複数を介して）３次元音声を使用して可聴ターゲッティングガイダンスを出力してよい。例えば、可視化デバイス２１３は、ツールが対応する方向に逸脱していると判断することに応答して、外科医の正面／左側／右側／後ろ／上／下にあると認識されるトーンを出力してよい。

ある特定の視角及び向きからのものとして示しているが、本明細書に記載の仮想ガイダンスは、任意のビュー角度及び向きから表示されてよいことに注意されたい。例えば、可視化デバイス２１３のユーザが頭を動かす及び／または患者の解剖学的構造のまわりを移動しても、観察される解剖学的物体に対する仮想ガイドの相対的位置（例えば、軸、点、表面等）は、維持されてよい。

上記のように、ＭＲシステム２１２は、患者の解剖学的構造の仮想モデルを対応する観察される解剖学的構造に位置合わせしてよい。一例として、ＭＲシステム２１２は、患者の関節窩の仮想モデルを可視化デバイス２１３の１つまたは複数のセンサによって観察される患者の実際の関節窩に位置合わせしてよい。別の例として、ＭＲシステム２１２は、患者の上腕骨の仮想モデルを可視化デバイス２１３の１つまたは複数のセンサによって観察される患者の実際の上腕骨に位置合わせしてよい。

いくつかの例では、最初の位置合わせで、解剖学的構造の特定の構造に対して行われる全ての作業ステップに対して仮想ガイダンスを提供するＭＲシステム２１２をサポートするのに十分な場合がある。例えば、患者の関節窩の仮想モデルを可視化デバイス２１３の１つまたは複数のセンサによって観察される患者の実際の関節窩に最初の位置合わせを行うと、ＭＲシステム２１２が、関節窩に対して行われる全ての作業ステップ（例えば、ガイドピンの取付、リーミング、固定点の作成等）に仮想ガイダンスを提供するのを可能にするのに十分であってよい。

しかしながら、いくつかの例では、ＭＲシステム２１２は、追加の位置合わせを行ってよい。例えば、特定の作業ステップをある解剖学的構造に対して行った後、ＭＲシステム２１２は、行われた作業ステップを考慮に入れてその解剖学的構造の仮想モデル（例えば、計画した作業を組み込んだ追加の仮想モデル）を再位置合わせしてよい。一例として、外科医が患者の関節窩をリーミングした後、ＭＲシステム２１２は、計画したリーミングを含む関節窩の次の仮想モデルを取得してよく、次の仮想モデルを観察されるリーミングされた関節窩へ、図１７～図２０を参照して前述した位置合わせプロセスと類似の方法で位置合わせしてよい。

いくつかの例では、ＭＲシステム２１２は、外科医がワークフローのステップをどのように行うべきかの指示を提供するように構成されてよい。例えば、ユーザ入力（例えば、音声コマンド、ジェスチャ等）に応答して、ＭＲシステム２１２は、特定のステップ（複数可）をどのように行うべきかを説明するアニメーション、ビデオまたはテキストを表示してよい。指示は一般的であってよい、または、患者に固有であってよい。

上記のように、ＭＲシステム２１２は、患者に作業を行うための仮想ガイダンスを提供してよい。例えば、可視化デバイス２１３は、可視化デバイス２１３を使用する外科医に仮想ガイダンスを表示してよい。さらに、本明細書に記載するように、他の個人が可視化デバイスを使用してよい。ＭＲシステム２１２は、それぞれの可視化デバイスを使用する複数の個人に仮想ガイダンスを提供してよい。仮想ガイダンスは、全ての個人に対して同じであってもよく、異なってもよい。例えば、ＭＲシステム２１２は、異なる個人に対して、手術室でのその個人の役割に合わせた異なる仮想ガイダンスを提供してよい。

説明目的で、幾つかの図面は、手術中に実際に見える患者の解剖学的構造より多く（例えば、組織によって隠れている部分）を示している。例えば、図３４は、手術中に実際に見えるより多くの上腕骨３２００の部分を示し、図５１は、手術中に実際に見えるより多くの肩甲骨５１００の部分を示す。

上記のように、いくつかの例では、ＭＲシステム２１２は、患者の解剖学的構造の観察される部分に重ね合わされた患者の解剖学的構造の一部の仮想モデルを表示してよい。例えば、位置合わせ手順中、可視化デバイス２１３は、患者の実際の関節窩に重ね合わされた患者の関節窩の３Ｄ仮想モデルを表示してよい。３Ｄ仮想モデルは、例えば、現実世界環境内に実際の関節窩と共に存在するように見えてよい。いくつかの例では、ＭＲシステム２１２は、位置合わせプロセス中、仮想モデルのみを表示してよい。他の例では、ＭＲシステム２１２は、手術の他の部分の間、仮想モデルを表示してよい。例えば、ＭＲシステム２１２は、外科医が患者の解剖学的構造の実際の部分に作業（例えば、切断、ドリル、リーミング、プロテーゼ取付、トライアル等）を行っている間、患者の解剖学的構造の一部の仮想モデルを患者の解剖学的構造の実際の部分に重ね合わせて表示してよい。

いくつかの例では、ＭＲシステム２１２は、仮想モデルが患者の解剖学的構造の対応する部分を覆い隠すように、仮想モデルを表示してよい。いくつかの例では、ＭＲシステム２１２は、仮想モデルが患者の解剖学的構造の対応する部分を完全には覆い隠さないように仮想モデルを表示（例えば、患者の解剖学的構造の対応する部分に仮想モデルの少なくとも一部が重ね合わされて表示）してよい。一例として、ＭＲシステム２１２は、患者の解剖学的構造の実際の部分上の対象領域（例えば、患者の解剖学的構造の作業を行うべき箇所）が仮想モデルによって覆い隠されないように（少なくとも全体的には覆い隠されないように）、仮想モデルを表示してよい。例えば、ＭＲシステム２１２は、（例えば、患者の解剖学的構造の実際の部分上の対象領域に対応する）仮想ガイドによって示される解剖学的構造上の箇所が表示された仮想モデルによって完全には覆い隠されないように仮想モデルを表示してよい。例えば、ＭＲシステム２１２は、「穴」またはガイドピンを取り付ける領域を囲む欠損領域を有する関節窩の仮想モデルを表示してよい。「穴」または欠損領域は、仮想モデルの仮想穴と呼ばれてよい。別の例として、ＭＲシステム２１２は、仮想モデルの輪郭線を表示してよい。

図６９及び図７０は、対象領域を囲む欠損領域を有する例示の仮想モデルを示す概念図である。図５１と同様、図６９及び図７０は、ガイドピンを取り付ける時に外科医を支援する仮想ガイダンスの他の例である。図６９及び図７０に示すように、ＭＲシステム２１２は、仮想軸５１０４等の仮想ガイドを含む領域（すなわち、仮想ガイドが示す解剖学的構造上の箇所に対応する領域）を囲む仮想穴６９００を含むように、仮想骨モデル１００８を表示してよい。図から分かるように、仮想骨モデル１００８の少なくとも一部は依然として表示されているが、関節窩５１０２の一部が、仮想穴６９００を含めることによって、仮想骨モデル１００８によって覆い隠されている。

いくつかの例では、仮想穴は、はっきりした境界を有してよい。いくつかの例では、ＭＲシステム２１２は、仮想ガイドが示す解剖学的構造上の箇所に近付くにつれて（例えば、不透明度が）薄くなるように仮想モデルを表示してよい。例えば、ＭＲシステム２１２は、特定の不透明度で仮想モデルの外周を表示してよく、解剖学的構造上の箇所の方向で不透明度を低減して（例えば、仮想モデルがフェードアウトして）よい。

図７１は、対象領域を囲む欠損領域を有する例示の仮想モデルを示す概念図である。図５７と同様に、図７１は、外科医が固定点を作成するのを支援する仮想ガイダンスの別の例である。図７１に示すように、ＭＲシステム２１２は、関節窩５１０２の周囲の外周として仮想骨モデル１００８を表示してよい。図から分かるように、仮想骨モデル１００８の少なくとも一部分は依然として表示されているが、関節窩５１０２の一部を仮想骨モデル１００８で覆い隠されている。

仮想モデルに仮想穴を提示することによって、骨表面等の実際の現実の解剖学的表面のより良いビューを外科医に提供してよく、外科医が人工インプラントを受けるために表面を準備する作業、または、人工インプラントを表面上に配置するための作業を行う時、表面の可視性を高める。作業が行われている間、仮想モデルの少なくとも一部の表示を維持することは、１つまたは複数の長所を提供し得る。例えば、仮想ガイダンスの支援を伴って作業を行っている間、仮想モデルの少なくとも一部（例えば、外周、輪郭線、穴を有する仮想モデル等）を表示すると、外科医は、ＭＲシステム２１２が仮想ガイダンスを適切な箇所（複数可）に表示していることを確信することができる。詳細には、外科医は、仮想モデルの表示された部分が観察される解剖学的構造と適切に整列し、仮想ガイダンスが仮想モデルの位置に基づいて表示されるのを見ることができるようになるので、外科医は、ＭＲシステム２１２が適切な位置に（複数可）仮想ガイダンスを表示していることを確信するであろう。

上記のように、いくつかの例では、外科医は、１つまたは複数のツールを利用して、患者の解剖学的構造の一部（例えば、肩甲骨５１００、上腕骨３２００等）に対して作業を行ってよい。例えば、外科医は、ガイド５２００を取り付けるために、リーミングツール５３００を操作するために、ドリルビット５４００を操作するために、及び／またはネジ６４００を取り付けるために、ドリル６６００等のドリルを利用してよい。このようなツールは、例えば、手動のボタン、トリガまたはスイッチによって電源を入れられてよく、制御可能であってよい。これも前述したように、いくつかの例では、ＭＲシステム２１２は、作業の実行を支援する仮想ガイダンスを提供してよい。例えば、ＭＲシステム２１２は、ターゲッティングガイダンス、深さガイダンス等を提供してよい。

本開示の１つまたは複数の技術によると、ＭＲシステムは、作業を行うために使用される１つまたは複数のツールの動作を積極的に制御するように構成されてよい。例えば、ＭＲシステム２１２は、ドリルが正確に仮想軸上に位置するかどうかに基づいて、ドリル６６００等のドリルの動作を選択的に調整してよい。動作の調整は、ツールの電源を入れること、ツールの電源を切ること、外科医が手動でツールに電源を入れるのを可能にすること、外科医が手動でツールの電源を切るのを不可能にすること、及び／またはツールの、回転スピード、トルクまたは力等、スピード、トルクもしくは力を制御することを含んでよい。このように、ＭＲシステム２１２は、１つまたは複数のツールに対して閉ループ制御を行ってよい。いくつかの例では、閉ループ制御は、ツールもしくはツールの一部の所定の軸、位置、角度等に対するモニタリングによる位置決めの機能であってよく、それらは、いくつかの例では、仮想ガイダンスの表示によって外科医に対して視覚的にも示され得る。

図７２は、本開示の１つまたは複数の技術による、手術における閉ループのツール制御の例示の技術を示すフロー図である。動作において、ＭＲシステム２１２は、ツールを用いて患者の解剖学的構造の一部に行う修正のパラメータの目標値を仮想手術計画から取得してよい（７２００）。パラメータの例は、ドリルで穴を開ける箇所、深さ（例えば、ドリル深さ、リーミング深さ等）、切断面の箇所等を含む。１つの具体的な例として、ＭＲシステム２１２は、ガイドピンを取り付ける関節窩の箇所（例えば、図５１にＭＲシステム２１２が仮想軸５１０４を表示するとして記載されている関節窩５１０２の箇所）を取得してよい。別の具体的な例としては、ＭＲシステム２１２は、関節窩をリーミングする深さを決定してよい。

ＭＲシステム２１２は、パラメータの現在値を取得してよい（７２０２）。一例として、ＭＲシステム２１２は、ツールに取り付けられた１つまたは複数のセンサ（例えば、加速度計、ジャイロスコープ等）から受信した向きデータに基づいて、使用しているツールの現在の箇所／深さを決定してよい。例えば、ＭＲシステム２１２は、ツールに取り付けられた加速度計によって測定されるデータに基づいて、ツールの現在の向きを決定してよい。別の例として、ＭＲシステム２１２は、可視化デバイス２１３の１つまたは複数のセンサ（例えば、光学カメラ５３０、デプスカメラ５３２等）によってキャプチャされたデータに基づいて、使用しているツールの現在の箇所／深さを決定してよい。例えば、ＭＲシステム２１２は、観察されるツールにツールの仮想モデルを位置合わせしてよい。別の例として、ＭＲシステム２１２は、図７３～図７９を参照して本明細書に記載するように、ツールの現在の箇所／深さを決定してよい。

ＭＲシステム２１２は、パラメータの現在値とパラメータの目標値を比較してよい（７２０４）。一例として、ＭＲシステム２１２は、ツールの現在の向き／軸とターゲット軸との差を決定してよい。いくつかの例では、ターゲット軸は、外科医が見るためにＭＲシステム２１２によって表示される仮想ガイダンス軸によって示されて、例えば、外科医がツール（例えば、ドリルビットリーミングシャフト等）を手術計画で規定された軸に整列させるのを支援してよい。同様に、仮想配置マーカ、角度表示、もしくは深さ表示等の他の仮想ガイダンス、及び／または他の仮想ガイダンスが、ツールのパラメータの検出及び修正中、仮想ガイダンスとして表示されてよい。他の例では、ツールのパラメータ（複数可）は、例えば、ＭＲシステム２１２によって制御されてよく、パラメータは、仮想ガイダンス軸、仮想配置マーカ、仮想角度表示、仮想深さ表示、及び／または他の仮想ガイダンスを表示することなしにモニタリングされてよい。例えば、ＭＲシステム２１２は、ツールの現在の向き／軸がターゲット軸から５度離れていることを判断してよい（例えば、ＭＲシステム２１２は、（ツールに取り付けられた加速度計が測定したデータに基づいて決定される）ツールの現在の向きと所定の軸との差が５度であることを決定してよい）。別の例として、ＭＲシステム２１２は、ツールの現在深さと目標深さとの差を決定してよい。例えば、現在深さが最初のドリル表面から、例えば３ｍｍであり、目標深さが７ｍｍの場合、ＭＲシステム２１２は、現在深さが目標深さより４ｍｍ短いと決定してよい。

ＭＲシステム２１２は、比較に基づいてツールの状態を自動的及び選択的に調整してよい（７２０６）。一例として、ＭＲシステム２１２は、比較に基づいてツールの動作をゲート制御してよい。例えば、ＭＲシステム２１２は、目標値と現在値の差が閾値未満の場合、ツールの動作を可能にしてよい。例えば、ＭＲシステム２１２は、ツールを作動させてよい、または、外科医が手動でツールを作動させることができるように電源を有効にしてよい。同様に、ＭＲシステム２１２は、目標値と現在値の差が閾値を超える場合、ツールの動作を防いでよい。例えば、ＭＲシステム２１２は、ツールを停止してよい、または、外科医が手動でツールを作動させることができないように電源を停止してよい。別の例として、ＭＲシステム２１２は、比較に基づいて、スピード、トルク、力または別の動作パラメータをスロットル調整してよい、または、別の方法でツールの動作を制限してよい。例えば、ＭＲシステム２１２は、目標値と現在値の差が閾値未満の場合、ツールの動作を全出力にしてよい。同様に、ＭＲシステム２１２は、目標値と現在値の差が閾値を超える場合、ツールの動作出力（例えば、回転スピード、トルク出力等）を低下させてよい。例えば、ＭＲシステム２１２は、目標値と現在値の差の関数によって動作出力を低下させてよい。

ＭＲシステム２１２は、ツールの状態を自動的及び選択的に調整するとして記載されるが、ツールの実際の作動／停止は、外科医によって手動で行われてよい。例えば、ＭＲシステム２１２がツールの動作を可能にしている場合、ツールは、外科医がトリガを引く、または、ボタンもしくはツールの他の制御入力、例えば、ツールのドリルモータのトリガもしくはボタンを作動させるまで、実際には作動しない。さらに、いくつかの例では、ＭＲシステム２１２及び／またはツールは、ＭＲシステム２１２が現在、ツールの動作を可能にしているかどうかに関わらず、外科医がツールを作動させるのを可能にするオーバーライドを含んでよい。

ＭＲシステム２１２及びツールは、任意の適切な方法を用いて通信してよい。有線及び無線の両方の通信リンクが企図される。例えば、ＭＲシステム２１２及びツールは、ブルートゥースリンク、（例えば、ＩＥＥＥ８０２．１１規格のいずれかに従った）Ｗｉ－Ｆｉリンクリンク、有線シリアル接続（例えば、ＲＳ－２３２またはＵＳＢ）、３Ｇ、４Ｇもしくは５Ｇ、または任意の他の適切な通信リンクを介して、通信してよい。

ＭＲシステム２１２は、通信リンクまたは任意の他の技術を介してツールに対する積極的な制御を行ってよい。一例として、ＭＲシステム２１２は、通信リンクを介して、ツールの動作がゲート制御されているか、スロットル調整されているかを示すデータをツールに出力してよい。別の例として、ＭＲシステム２１２は、ツールの動作がゲート制御またはスロットル調整されている時、ＭＲシステム２１２は、ツールが電力を受け取らない（または、受け取る電力量を調整する）ようにツールの電源を制御してよい。例えば、ツールは、「スマートプラグ」を介して電力を供給されてよく、ＭＲシステム２１２は、ツールの動作がゲート制御またはスロットル調整されている時、スマートプラグの作動を制御してよい。さらに、ツールの作動、停止、または他の調整された状態は、例えば、音声で、または拡張現実（ＡＲ）もしくはＭＲシステム２１２によって表示されたＭＲコンテンツを介して視覚的に外科医に通信されてよい。

ツールは、外科医が使用可能な任意のタイプのツールであってよい。ツールの例は、ドリル、鋸、レーザ、及び手術中に使用される任意の他のタイプのツールを含むが、これらに限らない。このようなツールは、手動で外科医によって駆動、または、回転もしくは往復モータまたは振動モータ等のモータ、圧電発電機等によって動力を供給されてよい。ツールは、ツールの位置／向き／箇所がツールを移動及び／または回転させることによって外科医によって制御可能であるという点で、手動で誘導可能であると見なされてよい。従って、いくつかの例では、ツールは、例えば、ドリルモータとドリルビット等の加工ビット、リーミング要素、または他の加工要素を有するシャフトを受けるチャックもしくは他のインタフェースとを有するハンドヘルドドリル等のハンドヘルドツールであると見なされてよい。

ツールの積極的な制御は、本開示の任意の他の技術と併用して使用されてよい。例えば、ＭＲシステム２１２は、上記のように視覚的グラフィックガイダンスと積極的ツール制御の両方を提供してよい。１つの具体的な例として、ＭＲシステム２１２は、ＭＲシステム２１２は閉ループのツール制御を行っているのと同時に、図６６を参照して前述した視覚的グラフィックガイダンスを提供してよい。

図６７は、本開示の１つまたは複数の技術による、ＭＲシステムによって提供されてよく、二次ビューウィンドウを提供する例示のビュー６７００の概念図である。図６７の例は、整形外科の肩の手術中、ＭＲ可視化デバイス（例えば、可視化デバイス２１３）を使用しながら、外科医に見えるものを示す。詳細には、図６７の例では、外科医は、肩甲骨５１００の露出部分と、肩甲骨５１００の露出部分を囲む組織６７０２の領域とを見てよい。

図６６を参照して前述したように、外科医は、１つまたは複数のツールを使用して、患者の解剖学的構造の一部（例えば、肩甲骨５１００、上腕骨３２００等）に対して作業を行ってよい。例えば、外科医は、ガイド５２００を取り付けるために、リーミングツール５３００を操作するために、ドリルビット５４００を操作するために、及び／またはネジ６４００を取り付けるために、ドリル６６００等のドリルを使用してよい。しかしながら、図６７に示すように、ドリル６６００は、外科医が作業を行っている肩甲骨５１００の部分の少なくとも一部を覆い隠す場合がある。さらに、ドリル６６００のビット等のツールがどのくらい深く組織または骨に侵入したかを外科医が評価することは難しい場合がある。これは、外科医がドリル６６００等のドリルの長さを見下ろしている時、特に難しい。

よって、本開示の１つまたは複数の技術によると、ＭＲシステム２１２の可視化デバイス２１３は、二次ビューウィンドウ６７０４を含むＭＲ可視化を生成してよく、二次ビューウィンドウ６７０４は、メインウィンドウの他の仮想ガイダンス等、任意のコンテンツに重ね合わされた、または、任意のコンテンツと共に構成されたサブウィンドウであってよい。二次ビューウィンドウ６７０４は、他の仮想ガイダンス（例えば、仮想マーカ、深さガイダンス等）と共に、外科医の視野に物理的な現実世界の物体と共に現れてよい。従って、図６７の例では、外科医は、肩甲骨５１００の露出部分、組織６７０２、及びドリル６６００と、仮想軸または仮想進入点等の任意の仮想ガイダンスと共に、二次ビューウィンドウ６７０４を見てよい。いくつかの例では、外科医または他のユーザは、二次ビューウィンドウ６７０４のサイズを変更または位置を変更してよい。

二次ビューウィンドウ６７０４は、手術部位の異なる視点を表す画像を含む。例えば、図６７の例では、手術部位は、患者の関節窩であり、外科医は、患者の肩甲骨５１００の露出された関節窩部分にドリルで穴を開けている。さらに、図６７の例では、外科医の視点は、実質的にドリル６６００の軸方向で見下げるものである。患者に対して、図６７の外科医の視点は、患者の正面軸である。従って、図６７の例では、二次ビューウィンドウ６７０４は、ドリル６６００の軸で見下げる以外の視点からの患者の肩甲骨の関節窩部分を表す画像を含む。すなわち、図６７の例では、二次ビューウィンドウ６７０４の画像は、患者のいずれの正面軸でもない。むしろ、図６７の例では、二次ビューウィンドウ６７０４に提示された画像は、外科医の視点から９０度回転した視点からである。例えば、患者に対して、二次ビューウィンドウ６７０４に提示された画像は、矢状軸にあってよい。

外科医は、二次ビューウィンドウ６７０４を使用して、ツールを侵入させた深さをチェックしてよい。例えば、図６７の例では、外科医は、二次ビューウィンドウ６７０４を使用して、ドリル６６００のビットがどの程度まで肩甲骨５１００に侵入したかを判断してよい。

二次ビューウィンドウ６７０４に提示された画像は、様々な方法で生成されてよい。例えば、一例では、二次ビューウィンドウ６７０４に提示された画像は、ビデオカメラでキャプチャされてよい。一部のこのような例では、ビデオカメラは、看護師等、外科医以外の人によって着用または手に持たれてよい。例えば、ビデオカメラは、看護師が着用する可視化デバイス（例えば、ＭＲシステム１８００Ｂの可視化デバイス（図１８）に取り付けられていてよい。いくつかの例では、ビデオカメラは、固定された壁、メカニカルアーム、ロボット、または他の物理的物体上に固定されていてよい。

他の例では、二次ビューウィンドウ６７０４に提示された画像は、仮想物体を含んでよい、または、仮想物体からなってよい。例えば、二次ビューウィンドウ６７０４に提示された画像は、患者の解剖学的構造の仮想３次元モデルを含んでよい。さらに、二次ビューウィンドウ６７０４に提示された画像は、外科医が使用しているツールの仮想３次元モデルを含んでよい。従って、図６７の例では、二次ビューウィンドウ６７０４は、患者の肩甲骨５１００の仮想３次元モデルとドリル６６００の仮想３次元モデルとを含んでよい。患者の解剖学的構造の仮想３次元モデルは、手術の術前計画中に使用されるのと同じであってよい。さらに、いくつかの例では、二次ビューウィンドウ６７０４は、仮想のリーミングまたはドリル軸、仮想切断面、仮想進入点等、仮想ガイダンスを含んでよい。

二次ビューウィンドウ６７０４に提示された画像が仮想物体を含む、または、仮想物体からなる例では、患者の解剖学的構造は、本開示の他の箇所に記載するように、患者の解剖学的構造の対応する仮想モデルに位置合わせされてよい。例えば、患者の関節窩は、患者の関節窩の仮想モデルへ位置合わせされてよい。従って、コンピューティングシステム（例えば、ＭＲシステム２１２（図２））は、患者の解剖学的構造の位置及び向きを３次元空間で決定可能であり得る。さらに、コンピューティングシステムは、コンピューティングシステムが、同じ３次元空間でツール（例えば、ドリル６６００）の箇所を決定するのを可能にする情報を１つまたは複数のセンサ（例えば、カメラ、モーションセンサ等）から受信してよい。ツール上の１つまたは複数のマーカは、コンピューティングシステムがツールの箇所を識別するのを支援してよい。従って、コンピューティングシステムは、患者の解剖学的構造に対するツールの位置を決定してよい。コンピューティングシステムは、患者の解剖学的構造とツールの相対的位置に基づいて、二次ビューウィンドウ６７０４の画像を生成してよい。従って、図６７の例では、コンピューティングシステムは、患者の肩甲骨５１００とドリル６６００のビットとの仮想３次元モデルの相対的位置を示す二次ビューウィンドウ６７０４のＭＲ可視化を生成してよい。

患者の解剖学的構造と外科医が使用するツールとの仮想３次元モデルを提示すると、ある特定の組の問題に対処し得る。例えば、画像を二次ビューウィンドウ６７０４にフィードするカメラを看護師が手に持つまたは着用する例では、看護師の自然の動きによってカメラが揺れる場合があり、外科医の気が散ることがある。カメラの揺れを補正するために、コンピューティングシステムは、画像安定化を適用することが必要になり得る、これは、計算的に高価となって、電池を消耗させる可能性があり、視野が低下し得る。さらに、二次ビューウィンドウ６７０４の仮想３次元モデルは、このようにカメラの揺れを経験することなく、これは、本来は画像安定化に費やされる計算リソースを節約し得る、また、視野を向上させ、外科医の注意をそらすことを削減し得る。

仮想３次元モデルを使用することの他の可能性のある利点は、不要な背景情報を二次ビューウィンドウ６７０４から省略してよいことである。例えば、図６７の例では、組織６７０２は、二次ビューウィンドウ６７０４に提示される画像から省略されてよい。不要な背景情報を省略することによって、外科医の視覚的ノイズをさらに減らし得る。さらに、外科医は、二次ビューウィンドウ６７０４に示す仮想３次元モデルの視点を、人間の看護師がハンドヘルドまたは頭部に着用するカメラを用いて取得するのが実現困難な角度に、回転または他の方法で変更することができ得る。従って、固定位置のビデオカメラまたはメカニカルアームに取り付けられたカメラを使用して、外科医が望む視点を達成することが必要な場合がある。仮想３次元モデルの使用によって、このようなカメラ及び取付システムに病院のリソースを消費する必要を取り除き得る。

いくつかの例では、ＭＲシステム２１２は、解剖学的構造の一部の箇所と、解剖学的構造の一部に対するツールの箇所とを示したものを表示することによって、グラフィックによる深さガイダンスを表示してよい。例えば、図６８に示すように、ＭＲシステム２１２は、画像６８０２を含む二次ビューウィンドウ６７０４を表示してよく、画像６８０２は、肩甲骨５１００に対するドリル６６００の箇所を示す。図６８に示すように、画像６８０２は、現在深さ６８０４及び目標深さ６８０６をさらに示してよい。上記のように、深さガイダンスは、現在深さ６８０４と目標深さ６８０６の差の数値（すなわち、「残り３ｍｍ」）を含んでよい。

ＭＲシステム２１２は、解剖学的構造の一部の箇所と解剖学的構造の一部に対するツールの箇所とを任意の視点（例えば、上面図、左側面図、右側面図、上面図、底面図等）からレンダリングしてよい。図６８の例では、ＭＲシステム２１２は、矢印６８００で示す側面図から画像をレンダリングする。

本開示の他の箇所に記載するように、コンピューティングシステム（例えば、仮想計画システム１０２）は、手術の情報モデルを生成してよい。手術の情報モデルは、手術を完了するために外科医が行う一連のステップを含む手術ワークフローを記載する。例えば、手術ワークフローは、図１９の例に示す一連のステップを含んでよい。さらに、本開示の他の箇所に記載するように、コンピューティングシステム（例えば、術中ガイダンスシステム１０８（図１）、コンピューティングシステム１１７０６（図１１７）等）は、外科医が手術ワークフローを進めていくと、手術ワークフローのステップに完了のマーク付けをしてよい。

本開示の技術によると、ＭＲシステム２１２は、手術ワークフローの適切なステップで二次ビューウィンドウ６７０４を自動的に表示してよく、手術ワークフローの他のステップで二次ビューウィンドウ６７０４を隠してよい。例えば、ＭＲシステム２１２は、外科医がドリルを使用する手術ワークフローのステップで二次ビューウィンドウ６７０４を表示してよく、それ以外は、二次ビューウィンドウ６７０４を隠してよい。さらに、いくつかの例では、仮想３次元モデルを示す時、二次ビューウィンドウ６７０４のデフォルト視点は、手術ワークフローのステップに関連していてよい。例えば、一例では、二次ビューウィンドウ６７０４は、手術ワークフローの１つのステップでは、患者の正面軸に沿ったデフォルト視点を有してよく、手術ワークフローの別のステップでは、患者の縦軸に沿ったデフォルト視点を有してよい。デフォルト視点は、ユーザが二次ビューウィンドウ６７０４の視点を修正する前に提示される二次ビューウィンドウ６７０４の視点であってよい。

本開示の別の態様は、医療処置でツールビットの深さを追跡及び提示するための複合現実（ＭＲ）ベースの技術に関する。この技術は、肩の手術、足首の手術、膝の手術、股関節手術、または任意の関節修復手術もしくは補強等の整形外科手術に特に有用であり得る。この技術は、多種多様な整形外科手術で使用可能であり得るが、解剖学的及び逆解剖学的（ｒｅｖｅｒｓｅ－ａｎａｔｏｍｉｃａｌ）肩再建手術の両方で特に有用であり得る。実際、この技術は、逆関節形成、補強使用逆関節形成、標準的な全肩関節形成、補強使用全肩関節形成、半球肩手術、または任意の他のタイプの肩の手術に役立ち得る。より詳細には、この技術は、関節窩リーミング、例えば、解剖学的肩再建手術においてインプラントを受け入れるために骨表面を調整する関節窩骨のリーミングのための複合現実（ＭＲ）ベースの技術において特に有用であり得る。

一般に、深さ追跡のために追跡されるツールビットは、ドリルビット、リーミング要素、研磨要素、または、回転シャフト上で回転するように構成された任意の要素を含む、任意のタイプの医療ツールを含んでよい。この技術は、例えば、ドリル、リーミングまたは研磨のプロセス開始時のツールビットの開始点等、固定のまたは既知の箇所に対する所望の深さまでのドリル、リーミングまたは研磨に使用されてよい。いくつかの例では、開始点は、ドリル、リーミングまたは研磨のプロセスを開始するためにユーザによって選択され得る仮想平面によって規定される。開始点規定後、深さ支援要素の軸に沿った下方への動きを使用して、ツールビットの下向きの深さを追跡することができる。

例えば、解剖学的肩再建手術について、本明細書に記載の技術及びツールは、患者の関節窩骨にリーミングを行う時にリーミングツールの深さの追跡に非常に適している場合がある。いくつかの例では、ＭＲシステム２１２の可視化デバイス２１３等の複合現実（ＭＲ）デバイス（例えば、複合現実ヘッドセット）を使用して、本開示による１つまたは複数のデプスカメラを実施してよい。可視化デバイス２１３等のＭＲデバイスは、ＭＲシステム２１２の例であってよい。例えば、ＭＲデバイスは、ハウジング内に収容されたＭＲシステムであってよい。１つまたは複数のデプスカメラを備えたＭＲデバイスは、目標深さに対するツールビットの深さ点を検出及び追跡するように構成されてよい。いくつかの例では、ＭＲデバイスは、開始点に対する変位を追跡することができ、これは位置合わせプロセスによって決定され得る。例えば、ドリルで穴を開けてガイドピンを挿入した後、ガイドピンのリーミング箇所にリーミング要素を配置すると、深さ追跡要素に対して位置合わせプロセスを行ってよく、その後、深さ追跡要素の深さ追跡が、リーミング要素の深さ追跡のプロキシとして使用されてよい。

ツールビットの深さ追跡は、ツールビットに関連付けられた回転軸に沿ったツールビットから固定の及び既知の距離に配置された他の要素の深さ追跡に基づいてよい。いくつかの例では、この技術は、複合現実を使用して、ツールビットと同軸で動く何かの深さを追跡する。例えば、この技術は、ツールビットに対して固定の既知の箇所にある深さ支援要素を使用してよい。あるいは、深さ支援要素を追加せずに、この技術は、医療ドリルハウジング、または医療デバイスの他の要素を追跡してよい。さらに他の例においては、この技術は、リーミング要素の裏側でもあり得るツールビットの裏側を追跡してよい。

複合現実が追跡に使用されてよく、仮想要素を医療デバイスへ位置合わせする位置合わせプロセスが行われてよい。例えば、仮想要素は、デバイスの深さ支援要素に、場合によっては、外科用ドリルの医療デバイスハウジング、または、場合によっては、ツールビットの裏側へ位置合わせされてよい。仮想要素は、デバイスの一部の形状もしくは深さ支援要素の形状に対応してよく、場合によっては、仮想要素は、ツールビットの軸に直交し、ツールビットから固定の既知の距離に位置する深さ平面を単に含んでよい。本開示は、デプスカメラを用いた深さ追跡を企図している。いくつかの場合には、デプスカメラは、ＭＲシステム２１２等の複合現実システムの一部であるが、他の場合には、デプスカメラは、複合現実環境の外で動作してよい。

図７３は、本開示の例に一致する医療デバイス７３００の一部とデプスカメラ７３１４の側面概念図である。いくつかの例では、ドリル６６００（図６６、図６７）は、医療デバイス７３００の例である。医療デバイス７３００は、回転シャフト７３０２と回転シャフト７３０２の遠位端にあるツールビット７３０４とを含む。この例では、ツールビット７３０４は、例えば、患者の骨にドリルで穴を開けるように設計されたドリル要素、または、例えば、患者の骨をリーミングするように設計されたリーミング要素を含んでよい。回転シャフト７３０２の反対側の近位端７３０８は、医療処置中、シャフト７３０２を回転させる医療用ドリルに結合される。医療用ドリルは、電動ドリルを含んでよく、電動ドリルは、トリガまたは他のユーザ入力をユーザが作動させることによって手動で制御される、または、例えば、ツールビットの検出された深さに応じて生成される制御信号等の制御信号に応答して、コントローラによって自動で制御される。医療用ドリルは、シャフト７３０２に結合されてシャフトを回転させる外科用モータを含んでよい。

図７３に示すように、医療デバイス７３００は、回転シャフト７３０２の軸に対して固定の箇所に位置する深さ支援要素７３１２を含む。深さ支援要素７３１２は、回転シャフト７３０２の軸に沿ってツールビット７３０４に対して固定の箇所に位置するので、ツールビット７３０４と軸に沿って同じ直線上で移動する。言い換えると、深さ支援要素７３１２は、回転シャフト７３０２に沿ってツールビット７３０４から既知の固定の距離に位置する。よって、軸に沿った深さ支援要素７３１２の箇所の追跡を、ツールビット７３０４の箇所の追跡のプロキシとして使用することができる。従って、ツールビット７３０４を患者の所望のツール使用箇所に配置すると、システムは深さ支援要素７３１２の箇所を追跡して、ツールビット７３０４のドリル深さをモニタリングできる。

デプスカメラ７３１４は、深さ支援要素７３１２の１つまたは複数の画像をキャプチャするように構成される。例えば、デプスカメラ７３１４は、互いに対して固定の既知の箇所に位置する複数のカメラからの複数の画像を使用してよく、視差計算を行って、深さ支援要素７３１２の深さを決定することができる。このような深さ追跡の前に、デプスカメラ７３１４が深さ支援要素７３１２へ適切に位置合わせされるように、位置合わせプロセスが行われてよい。深さ支援位置合わせプロセスに関する追加の詳細については、以下により詳細に記載される。いずれの場合でも、深さ支援要素７３１２の深さは、ツールビット７３０４の深さを決定するためのプロキシとして決定及び使用することができる。（図７３に示されない）１つまたは複数のプロセッサを、回転軸に沿ったツールビット７３０４の深さを、デプスカメラ７３１４によってキャプチャされた画像の分析に基づいて、例えば、上記視差計算または他の深さ決定処理を行うことによって決定するように構成することができる。

一例として、ツールビット７３０４から既知の固定の距離に深さ支援要素７３１２を配置するために、回転シャフト７３０２が、第２の部分７３１０とは異なる直径を有する第１の部分７３０６を含むように構成されてよい。第１の部分７３０６と第２の部分７３１０の直径が異なることによって、深さ支援要素７３１２の位置を固定するための機械的な止めを作成することができる。例えば、深さ支援要素７３１２は、第１の部分７３０６の直径と類似（及び、少し大きい）サイズで、第２の部分７３１０より小さい穴を含んでよい。このように、深さ支援要素７３１２は、回転シャフト７３０２に沿ってツールビット７３０４から既知の固定の距離に留まるように適切に配置することができる。他の例では、しかしながら、多種多様な他の構造及び技術を使用して、深さ支援要素７３１２がツールビット７３０４から回転シャフト７３０２に沿って既知の固定の距離に固定されることを確実にしてよい。いくつかの例では、深さ支援要素７３１２と第２の部分７３１０との相互作用の物理的点に、深さ支援要素７３１２と第２の部分７３１０の間の摩擦を低減または実質的に除去するように、ボールベアリングのリングが配置されてよい。いくつか場合には、深さ支援要素７３１２は、回転が固定されてよく、他の場合には、深さ支援要素７３１２は、回転シャフト７３０２と共に回転してよい。

デプスカメラ７３１４による深さ支援要素７３１２の良好な深さ追跡を容易にするために、深さ支援要素７３１２は、１つまたは複数の球形に形作られた要素（すなわち、１つまたは複数の球形要素）及び／または１つまたは複数の円筒形に形作られた要素（すなわち、１つまたは複数の円筒形要素）を含むように設計されてよい。深さ支援要素７３１２のいくつかまたは全てが、球形もしくは円筒形の要素を含んでよく、または、場合によっては、複数の球形及び／または円筒形要素が、深さ支援要素７３１２上に含まれてよい。大幅に大型の球形要素及び／または円筒形要素は、他の形状より良好な深さ追跡を容易にし得るが、他の形状及びサイズを使用してよい。球形及び／または円筒形要素は、部分的に球形、部分的に円筒形、完全に円筒形、完全に球形であってよい。深さ支援要素にとって望ましい形状の他の例は、円錐形を含み得る。円錐形、球形及び／または円筒形は、回転シャフト７３０２に平行な方向に延びてよい。

また、深さ支援要素７３１２が良好な深さ追跡を確実に提供できるように、深さ支援要素７３１２が比較的大きいことが望ましい場合がある。例えば、深さ支援要素７３１２が深さ追跡を支援するために大型の要素にすることが有利であり得る。例えば、回転シャフト７３０２の直径及びツールビット７３０４の直径等、医療デバイス７３００の他のコンポーネントより大きくするのが通常である。深さ支援要素７３１２の追加の詳細及び望ましい形状をより詳しく以下に記載する。

他の例では、デプスカメラ７３１４による深さ支援要素７３１２の良好な深さ追跡を容易にするために、深さ支援要素７３１２は、回転シャフト７３０２に平行な軸に垂直な面を画定する平らな表面を含むように設計されてよい。いくつかの例では、平らな表面は、深さ追跡のための良好な特徴を規定し得、いくつかの例では、平らな表面は、球形または円筒形より良好に機能し得る。いくつかの例では、深さ支援要素７３１２は、回転シャフト７３０２に平行な軸に垂直な１つまたは複数の面に、１つまたは複数の平らな表面を含んでよい。いくつかの例では、深さ支援要素７３１２は、１つまたは複数の円筒形及び／または１つまたは複数の球形と組み合わせて、１つまたは複数の平らな表面を含んでよい。非制限的な例として、深さ平面または深さ支援要素は、約１５～３０ｍｍの範囲のサイズであってよい。

図７４は、本開示の例に一致する医療デバイス７４００の一部の側面概念図である。医療デバイス７４００は、回転シャフト７４０２と回転シャフト７４０２の遠位端に配置されたツールビット７４１０とを含む。この例では、ツールビット７４１０は、例えば、骨を取り除き、解剖学的肩再建手術のために関節窩表面を準備するために患者の関節窩骨をリーミングするために設計されたリーミング要素を含んでよい。回転シャフト７４０２の反対側の近位端７４０８は、手術中、シャフト７４０２を回転させる医療用リーミングツールに結合されてよい。

図７４に示すように、医療デバイス７４００は、回転シャフト７４０２の軸に対して固定の箇所に位置する深さ支援要素７４１２を含む。図７３と同様、図７４では、深さ支援要素７４１２が回転シャフト７４０２の軸に沿ってツールビット７４１０に対して固定の箇所にあるので、深さ支援要素７４１２は、ツールビット７４１０と軸に沿って同じ直線上を移動する。言い換えると、深さ支援要素７４１２は、回転シャフト７４０２に沿ってツールビット７４１０から既知の固定の距離に位置する。よって、深さ支援要素７４１２の箇所を軸に沿って追跡することは、ツールビット７４１０の箇所の追跡のプロキシとして使用することができる。従って、ツールビット７４１０が、患者の所望のツール使用箇所に、例えば、関節窩リーミングの目的で患者の関節窩骨の箇所に配置すると、システムは、深さ支援要素７４１２の箇所を追跡して、ツールビット７４１０のリーミング深さをモニタリングすることができる。場合によっては、ガイドピンは、（例えば、図１９のアクション１９１０のリーミングガイドピン挿入プロセスで）リーミングプロセスを方向付け、ガイドするために患者の関節窩骨上に取り付けられてよい。リーミング深さは、例えば、関節窩から骨が取り除かれる深さに対応し得る。

デプスカメラは、図７４には示されていないが、図７３と同様、そのようなデプスカメラを使用して、図７３に関して前述したように、深さ支援要素７４１２の１つまたは複数の画像をキャプチャしてよい。１つまたは複数のプロセッサ（図７３には示さず）は、デプスカメラがキャプチャした画像の分析に基づいて、回転軸に沿ったツールビット７４１０の深さを決定するように構成することができる。プロセッサは、例えば、本明細書に記載のＭＲシステム２１２の可視化デバイス２１３のマイクロプロセッサ５１５等、ＭＲデバイスのプロセッサであってよい。あるいは、ネットワークによってデプスカメラに接続されたローカルもしくはリモートコンピュータ、または、いわゆる「クラウドコンピュータ」によってリモートで処理を行うことができる。

図７４の例では、ツールビット７４１０から既知の固定の距離に深さ支援要素７４１２を配置するために、回転シャフト７４０２は、回転シャフト７４０２の残りの部分より大きい直径を有するストッパ７４０４を含むように構成されてよい。ストッパ７４０４は、回転シャフト７４０２に沿って深さ支援要素７４１２の位置を固定するための機械的な止めを作成する。例えば、深さ支援要素７４１２は、回転シャフト７４０２の直径と類似（及び少し大きい）サイズの穴を含む機械的接続部７４０６を含んでよい。ストッパ７４０４は、重力の支援で、またはロック機構の追加の支援（図示せず）で、深さ支援要素７４１２を適所に保持する。このように、深さ支援要素７４１２は、回転シャフト７４０２に沿ってツールビット７４１０から既知の固定の距離にとどまるように適切に配置することができる。

回転シャフト７４０２は、深さ支援要素７４１２を通して画定された穴内で自由に回転してよく、それによって、深さ支援要素７４１２は、回転が固定されたまま、回転シャフト７４０２が回転する時に回転しない。または、場合によっては、深さ支援要素７４１２は、シャフト７４０２の回転と共に回転してよい。しかしながら、深さ支援要素７４１２の回転は望ましくない場合があるので、シャフト７４０２が回転する時、深さ支援要素７４１２を回転させないことを確実にする追加の機械要素またはストップ（図示せず）も使用されてよい。いくつかの例では、ボールベアリングのリングまたは他のタイプの摩擦低減要素が、特に、回転シャフト７４０２が回転している時に深さ支援要素７４１２とストッパ７４０４の間の摩擦を低減または実質的に取り除くように、深さ支援要素７４１２とストッパ７４０４の間の相互作用の物理的点に配置されてよい。

図７５は、本開示の例に一致する複合現実（ＭＲ）システムと深さ支援要素７５０２を含む例示のリーミングツール７５００との概念斜視図である。リーミングツール７５００は、回転シャフト７５０６によって規定される軸を中心に回転するリーミングビット７５０４を含んでよい。シャフト７５０６は、スリーブ７５０８内で回転してよい。深さ支援要素７５０２は、リーミングビット７５０４のリーミング表面から既知の距離に固定されるように、スリーブ７５０８に固定されてよい。スリーブ７５０８は、外科用ドリルのハウジングに接続されてよく、従って、スリーブ７５０８は、このような外科用ドリルのハウジングの一部と見なされてよい。深さ支援要素７５０２をスリーブ７５０８に固定することによって、深さ支援要素は、シャフト７５０６が回転する時、回が固定されたままであってよい。同時に、深さ支援要素７５０２は、リーミングプロセス中、リーミングビット７５０４のリーミング表面から固定距離にとどまる。

デプスカメラ７５１０は、深さ支援要素７５０２の１つまたは複数の画像をキャプチャするように構成される。例えば、上記例と同様に、デプスカメラ７５１０は、互いに対して固定の既知の箇所に配置された複数のカメラからの複数の画像を使用してよく、視差計算を行って、深さ支援要素７５０２の深さを決定することができる。このように、深さ支援要素７５０２の深さは、リーミングビット７５０４のリーミング表面の深さを決定するためのプロキシとして決定及び使用することができる。１つまたは複数のプロセッサ（図７５には示されない）が、デプスカメラ７５１０がキャプチャした画像の分析に基づいて、視差計算を行ってシャフト７５０６によって規定される回転軸に沿ったリーミングビット７５０４のリーミング表面の深さを決定するように構成することができる。プロセッサは、例えば、本明細書に記載の可視化デバイス２１３のマイクロプロセッサ５１５等、ＭＲデバイスのプロセッサであってよい。このようにして、患者の関節窩骨７５１４の表面７５１２をリーミングする時、リーミングビット７５０４の深さベースの追跡を容易にすることができる。可視化デバイス２１３が深さ追跡に使用されるいくつかの例では、例えば、可聴、触覚または視覚フィードバックが深さを示してよい。

オプションで、手術は、患者の関節窩７５１４に固定されるガイドピンであってよい機械的ジグ７５１６も利用してよい。機械的ジグ７５１６は、外科用ドリルの支援で挿入されてよく、リーミングプロセスをガイドするため、場合によっては、リーミングビット７５０４のリーミング深さを制御するための機械的機構を提供してよい。いくつかの例では、深さ支援要素７５０２は、（図７５に示すように）関節窩リーミングにジグベースのアプローチで使用されてよい。他の例では、しかしながら、深さ支援要素７５０２は、機械的な制限ではなく、深さ検出のみに基づいた制御を選択して、ジグ７５１６の除去を容易にし得る。言い換えると、深さ支援要素７５０２の使用は、機械的ジグ７５１６を必要とすることなく、関節窩リーミング処置及び深さ制御を容易にし得る。

図７６は、本開示の例と一致する深さ支援要素７６０４を含む例示のリーミングツール７６０２を利用する複合現実システム１０５１の概念斜視図である。リーミングツール７６０２は、回転シャフト７６０８によって規定される軸を中心に回転するリーミングビット７６０６を含んでよい。シャフト７６０８は、スリーブ７６１０内で回転してよい。深さ追跡要素７６０４は、リーミングビット７６０６のリーミング表面から既知の距離に固定されるように、スリーブ７６１０に固定されてよい。スリーブ７６１０は、外科用ドリルのハウジングに接続されてよく、従って、スリーブ７６１０は、このような外科用ドリルハウジングの一部であると見なされてよい。深さ支援要素７６０４をスリーブ７６１０に固定することによって、深さ支援要素は、シャフト７６０８が回転する時、回転が固定されたままであることができる。同時に、深さ支援要素７６０４は、リーミングプロセス中、リーミングビット７６０６のリーミング表面から固定距離に留まる。

図７６に示す例は、可視化デバイス２１３を利用してよく、可視化デバイス２１３は、追加のデプスカメラを含む、外科医または他のユーザが着用する複合現実ヘッドセットまたはゴーグル等の複合現実（ＭＲ）デバイスを含んでよい。いくつかの例では、デプスカメラは、可視化デバイス２１３の内部部品として備えられてよく、他の例では、デプスカメラは、より良好な深さ追跡能力を提供するように、可視化デバイスの外部にあってよい。

本開示によると、可視化デバイス２１３のデプスカメラ５３２（図５）または他のデプスセンサは、深さ支援要素７６０４の１つまたは複数の画像をキャプチャするように構成される。例えば、本明細書に記載の他の例と同様に、デプスカメラ５３２は、互いに対して固定の既知の箇所に配置された複数のカメラからの複数の画像を使用してよく、視差計算を行って、深さ支援要素７６０４の深さを決定することができる。このように、深さ支援要素７６０４の深さは、リーミングビット７６０６のリーミング表面の深さを決定するためのプロキシとして決定及び使用することができる。可視化デバイス２１３のマイクロプロセッサ５１５（図５）は、デプスカメラ５３２がキャプチャした画像の分析に基づいて、シャフト７６０８によって規定される回転軸に沿ってリーミングビット７６０６のリーミング表面の深さを決定するように構成されてよい。デプスカメラ５３２がキャプチャした画像は、深さ情報を含んでよい。詳細には、マイクロプロセッサ５１５は、深さ支援要素７６０４の深さを決定するために、デプスカメラ５３２がキャプチャした画像の分析に基づいて、視差計算を行ってよい。このように、患者の関節窩７６１４の表面７６１２に対するリーミング処置を行う時に、（深さ支援要素７６０４の追跡による）リーミングビット７６０６の深さベースの追跡は、複合現実環境で容易にすることができる。可視化デバイス２１３が深さ追跡に使用されるいくつかの例で、例えば、可聴、触覚または視覚フィードバックが深さを示してよい。例えば、可視化デバイス２１３は、ユーザに対してアラートを提供または発出してよく、このようなアラートは、深さを示してよい。アラートは、グラフィック、色ベース、色変化、記号、形状もしくはサイズが変化する記号、テキスト、視覚的、可聴、触覚、または他のタイプのアラートであってよい。

さらに別の例では、医療デバイスシステムは、医療処置のためのツールビットの所望の深さに対する軸に沿ったツールビットの深さに基づいて、回転シャフトの回転を制限するように医療デバイスを自動的に制御するように構成されてよい。例えば、ドリルによる穴開け、リーミング、または医療デバイスによるツール使用は、システムがツールビットの深さが所望の深さに達したことを検出すると、自動的に停止されてよい。いくつかの例では、医療デバイスシステムは、図７２に関して本開示の他の箇所に記載された閉ループ制御技術を用いて、医療デバイス、または他の医療デバイスを制御するように構成されてよい。

上記のように、手術は、患者の関節窩７６１４に固定された機械的ジグ７６１６も利用してよい。機械的ジグ７６１６は、ガイドピンを含んでよく、リーミングビット７６１６をガイドするために、オプションで、リーミングビット７６１６のリーミング深さを制御もしくは制限するための機械的機構を提供してよい。いくつかの例では、深さ支援要素７６０４が、ジグベースのアプローチと組み合わせて、（図７６に示す）関節窩リーミングに使用されてよい。しかしながら、他の例では、深さ支援要素７６０４は、複合現実システム７６００において、ジグ７６１６の除去も容易にし得る。言い換えると、深さ支援要素７６０４と、デプスカメラ５３２を備えた複合現実可視化デバイス２１３とを使用すると、機械的ジグ７６１６を必要とせずに、関節窩リーミング処置及び深さ制御を容易にし得る。

図７７は、本開示の例に一致する例示のプロセスを示すフロー図である。図７７は、図７３に示すシステムの視点から記載されるが、同じ原理が、本明細書に記載の他のシステムに適用されてよい。図７７に示すように、外科医は、患者内の作業箇所にツールビット７３０４を配置してよい（７７００）。上記のように、ツールビット７３０４は、ドリル要素、リーミング要素、または、軸を中心に回転するように設計された多種多様なツール要素のいずれかを含み得る。実際、図７７の技術は、複合現実システムの支援で、患者の関節窩骨に対して行われるリーミング処置に特に適し得る。

場合によっては、機械的ジグ（例えば、ガイドピン）が、患者の関節窩に挿入されてツールビット７３０４の位置決めを規定してよい。いずれの場合でも、ツールビット７３０４が所望の箇所、例えば、開始箇所に配置される（７７００）と、回転シャフト７３０２の軸に沿った深さ支援要素７３１２の深さが、デプスカメラ７３１４によって記録されてよい（７７０２）。位置合わせプロセスは、単に、深さ支援要素７３１２の開始箇所を識別するプロセスであってよく、または、いくつかの例では、位置合わせプロセスは、仮想要素を深さ支援要素７３１２へ位置合わせするプロセスを含んでよい。ツール使用箇所でツールビット７３０４の開始箇所を規定した後、その開始箇所は、本明細書に記載の位置合わせプロセス等、可視化デバイス２１３が行う位置合わせプロセスを介して深さ支援要素７３１２に対しても設定または規定することができる。次に、位置合わせプロセスの後、可視化デバイス２１３は、ツールビット７３０４の深さを規定するためのプロキシとして、深さ支援要素７３１２の深さを追跡することができる。

位置合わせプロセス（１１０４）は、深さ支援要素７３１２に関連付けられた深さ平面を規定するように３つ以上の点を識別するプロセスであってよい。例えば、可視化デバイス２１３を使用するユーザは、空間の３つ以上の点を選択して、平面を規定してよく、次に、可視化デバイス２１３による点マッチングアルゴリズムを開始して、仮想平面として平面を規定してよい。いくつかの例では、ユーザは、ハンドジェスチャ、仮想インタフェース、注視選択、音声コマンド、または他の入力技術のうちの１つまたは複数等、様々な方法で点を選択してよい。

可視化デバイス２１３が、点マッチングアルゴリズムを行って平面を規定した後、可視化デバイス２１３は、３つ以上の識別された点を、デプスカメラを用いて追跡することによって、その平面を追跡でき得る。

図８０、図８１及び図８２は、深さ支援要素の箇所を位置合わせする１つの例示の位置合わせプロセスを示す追加の図である。詳細には、図８０は、線に沿った観察点８０００が最良適合に従った線を規定できる「最良直線フィッティング」の例示の図である。ｄ_０、ｄ_１、ｄ_２・・・ｄ_ｎによって表され得る観察される点８０００を識別すると、可視化デバイス２１３は、関数

を最小化する線を探してよい。深さ平面を規定するために、最良直線フィッティングと類似の方法で、平面を規定する３つ以上の観察される点を識別すると、可視化デバイス２１３は、平面関数を最小にする平面を探してよい。

図８１は、取り付けられたリーマ８１０２と平面８１０４としての深さ支援要素を有する上腕骨８１００の（概略的な）シーンを示す。例示のデプスカメラ（複数可）８１０６も示されており、デプスカメラ８１０６は、いくつかの例では、可視化デバイス２１３の一部であるか、または可視化デバイス２１３と一体化されてよい。デプスカメラ（複数可）８１０６は、その視野内のあらゆるピクセルまでの距離を測定し、このようにして、デプスカメラ（複数可）８１０６は、観察されるシーンの形状を表す点群を取得することができる。

デプスカメラ（複数可）８１０６は、可視化デバイス２１３への出力として、点群を生成できる（この段階では分類は行われなくてよい）。可視化デバイス２１３がこの点群を有すると、可視化デバイス２１３は、点群の点を分類するアルゴリズムを適用することができる。説明的な例として、図８２は、デプスカメラ（複数可）８１０６で観察することができ、可視化デバイス２１３で規定することができる様々な点群を示す。図８２に示された点群は、デプスカメラで観察された点群を含み、これらは、観察された上腕骨頭に属する点であってよい。図８２に示す点群は、リーマ軸に属する点群、リーマの裏側に属する点群、及び深さ支援要素（平面）に属する点群も含んでよい。

可視化デバイス２１３は、分類を精緻化して、深さ支援要素（平面）に属する点のみを決定するように構成されてよい。可視化デバイス２１３が深さ支援要素（平面）に属するこれらの点を決定すると、可視化デバイス２１３は、（例えば、最良適合平面関数または方程式に従って）平面をこれらの点に適合することができる。再び、図８０は、線に沿った観察される点８０００が最良適合に従う線を規定できる「最良直線フィッティング」の例示の図である。最良適合平面を、同様に規定することができる。可視化デバイス２１３が、最良適合平面を決定すると、可視化デバイス２１３は、デプスカメラ（複数可）に由来する各フレームで最良適合平面を決定する簡単な追跡アルゴリズムを行うことができる。

深さ支援位置合わせの別の可能な例では、深さ支援要素７３１２の開始箇所を位置合わせするための位置合わせプロセスは、本開示の他の箇所に記載するように、患者の関節窩骨の仮想画像を患者の実際の関節窩骨へ位置合わせする類似の位置合わせプロセスであってよい。図７７によると、この例では、図７３のデプスカメラ７３１４は、深さ支援要素７３１２の位置合わせプロセスを行う複合現実システムの一部であってよい。いくつかの例では、深さ支援要素７３１２の深さ追跡は、深さ支援要素７３１２を位置合わせすることによって識別された開始箇所に対して生じ、他の場合には、深さ追跡は、デプスカメラに対する深さ支援要素７３１２の実際の深さをモニタリングするために行われてよく、これは、深さ支援要素７３１２の位置合わせを必ずしも必要としない場合がある。さらに、患者の肩の手術と関節窩骨のリーミングの文脈で主に記載したが、本開示の深さ追跡技術は、足首の手術の１つまたは複数のステップ等、他の手術にも使用されてよい。

いくつかの例では、位置合わせプロセスは、本開示の他の箇所に記載した技術と類似の「設定（ＳＥＴ）」及び「調整（ＡＤＪＵＳＴ）」技術を用いて仮想要素を設定及び調整してよい。可視化デバイス２１３を使用すると、ユーザは、「設定（ＳＥＴ）」を開始して、仮想要素を提示してよく、仮想要素は、深さ平面を規定する深さ支援要素の仮想バージョン、深さ平面を規定するリーミングビットの裏側の仮想バージョン、深さ平面を規定する医療デバイスハウジングもしくは外科用ドリルの仮想バージョン、深さ平面を規定する医療用ドリルの別の部分の仮想バージョン、または、場合によっては、ツールビットの軸の垂直なただの深さ平面であってよい。ユーザは、「調整（ＡＤＪＵＳＴ）」技術を実施して、例えば、複合現実システムにおいてジェスチャベースの制御を用いて、仮想要素の位置を調整してよい。所望の箇所に配置及び調整されると、プロセスは次に、マッチングアルゴリズムを実施して、仮想要素を対応する現実世界要素に「マッチ（ＭＡＴＣＨ）」させてよい。このようにして、深さ追跡に有用な仮想要素は、深さ支援要素７３１２等の現実世界要素へ位置合わせすることができる。

位置合わせがどのように行われるかに関わらず、深さ支援要素７３１２の深さがツールビットがツール使用箇所に配置されて位置合わせされると（７７０２）、外科医は次に、シャフト７３０２を回転させて、ツールビット７３０４によるツール使用を行うように、回転シャフト７３０２の近位端７３０８に取り付けられた医療デバイスを作動させてよい（７７０４）。外科医は、回転シャフト７３０２の軸に下向きの圧力をかけて、ツールビット７３０４によるドリルによる穴開けまたはリーミングを行わせてよい。再び、システムは、解剖学的肩再建手術中に、患者の関節窩骨のリーミングに特に有用であり得る、この場合、ツールビット７３０４は、ドリルビットではなく、リーミング要素となる。本開示の一部の態様は、リーミング深さに焦点を当てているが、ガイドピンを受ける穴をドリルで開ける時の深さ、例えば、リーミングピンを配置するためのドリル深さの深さ追跡をモニタリングするのにも役立ち得る。ガイドピンは次に、穴に配置されてよく、リーミングツールがガイドピンと共に使用されてよい。例えば、関節窩プレートの取付ペグを受ける穴をドリルで開けるために、または、足首の手術の距骨及び／または脛骨のドリルによる穴開け、リーミング、または他のツール使用のために、ドリル深さ追跡の他のインスタンスも望ましい場合がある。

いずれの場合でも、ツール使用プロセスによる作業を行っている間（７７０４）、デプスカメラ７３１４を使用して、回転シャフト７３０２の軸に対する深さ支援要素７３１２の位置を追跡することができる（７７０６）。このようにして、ツールビット７３０４のリーミング深さ（または、ドリル深さ）は、深さ支援要素７３１２の位置を追跡することによって、追跡及びモニタリングすることができる。

いくつかの例では、プロセスはまた、深さ支援要素７３１２の深さ追跡に基づいて、ツールビット７３０４の所望の深さを識別してよい（７７０８）。例えば、図７６を参照すると、可視化デバイス２１３のデプスカメラ５３２による深さ追跡が、ユーザインタフェース５２２の支援で行われてよく、ユーザインタフェース５２２は、医療処置中、ツールビット（リーミング要素７６０６等）の深さを示す複合現実情報をユーザに提示してよい。いくつかの例では、ユーザインタフェース５２２は、リーミング要素７６０６の現在の実際の深さを示すものを提示してよい。いくつかの例では、ユーザインタフェース５２２は、術前計画によって決定され得るリーミング要素７６０６の所望の深さを示すものを提示してよい。所望の深さは、実際の現在の深さに対して示されてよく、いくつかの例では、ユーザインタフェース５２２が、所望の深さに達するために必要な残りの深さを示すものを提示してよい。例えば、可聴、触覚、または視覚フィードバックが深さを示してよい。

（本開示の他の箇所に記載するような）医療デバイスツール制御の他の機構も、外科医が所望の深さを達成するのを支援し、過剰なドリルによる穴開けまたは過剰なリーミングを避けるのを支援するために使用されてよい。例えば、可聴の指示または視覚的な指示が、深さ支援要素７６０４の深さ追跡に基づいて、可視化デバイス２１３を介して外科医に提示されてよい。医療デバイスのスマート制御も深さ支援要素７６０４の深さ追跡に基づいて実施されてよい。ある例では、医療用リーミングデバイスは、リーミング深さが術前計画で決定された所望の深さになるまたは超えると判断される場合、停止されてよい。医療処置を改善するために、これらの、または他の指示または制御は、深さ支援要素７６０４の追跡に基づいて使用されてよい。

図７８は、特別に設計された深さ支援要素の必要性を除去し得る他の深さ追跡の例の側面図である。この例では、可視化デバイス２１３等の可視化デバイス（図７８には示さず）が、リーミング要素の裏面（すなわち、非リーミング表面）の深さをモニタリングしてよい。システムは、リーミング要素の裏側の位置を追跡（場合によっては、制御）するように設計されてよい。この例では、深さ平面は、例えば、深さ支援要素を位置合わせするための、または、患者の関節窩骨に３Ｄモデルを位置合わせするための、本明細書に記載した位置合わせプロセスと類似の位置合わせプロセスを介して、リーミング要素の裏側に位置合わせされてよい。この例では、位置合わせプロセスは、（例えば、リーミング要素の仮想平面または仮想バージョンを実際のリーミング要素の裏側に位置合わせすることによって）仮想要素をリーミング要素に位置合わせすることを伴ってよい。

図７８に示すように、リーミング要素の裏側へ深さ平面を位置合わせすることによって、リーミング要素の深さ追跡を次に達成し得る。しかしながら、リーミングが患者に対して行われている時、血液または他の物質がリーミング要素の裏側を正確に追跡する能力を阻害する場合があるので、リーミング要素の裏側の追跡に対しては、本明細書に記載のような深さ支援要素の使用が望ましい。

さらに別の例において、再び、図７８を参照すると、深さ追跡が、外科用モータ（または、外科用モータを含む医療デバイス）に対して行われてよく、外科用モータ（または、医療デバイス）の深さは、リーミング要素の深さのプロキシとして使用することができる。本明細書に記載の深さ支援要素と同様に、図７８に示す外科用モータは、リーミング要素の遠位端から固定の既知の距離に位置してよい。従って、（外科用モータの仮想要素の現実の外科用モータへの位置合わせを伴い得る）外科用モータの深さを位置合わせ及び追跡すると、深さ支援要素に対する本明細書に記載の深さ追跡と同様に、リーミング要素の追跡を達成することができる。この例では、深さ平面は、上記のように、位置合わせプロセスを介して外科用モータへ位置合わせされてよい。深さ平面を外科用モータへ位置合わせすることによって、次に、リーミング要素の深さ追跡が達成されてよい。深さ支援要素７６０４がスリーブ７６１０に固定される図７６に示す例は、深さ支援要素７６０４が手術用ツールのハウジングに取り付けられる例と見なされてよい。例えば、スリーブ７６１０は、いくつかの例では、外科用ドリルのハウジングの一部を形成してよい。

図７９は、リーマ７９００に対して固定の箇所に取り付けられた深さ支援要素７９０２の例を示す別の側面図である。図７９の例は、取り付けられた深さ支援要素を使用する他の例と一致し得る。この例によると、リーマの遠位端の深さを追跡及び制御するために、可視化デバイス２１３等の可視化デバイス（図７９には示さず）を使用して、平面マーカ（または、他のタイプの仮想マーカ要素）をリーマ７９００に追加してよい。仮想要素は、深さ支援要素７９０２へ位置合わせされる仮想平面を含んでよい。可視化デバイス２１３を使用して、システムは、デプスカメラで平面上の点を検出することができ、平面をリーマ７９００に取り付けられた物理的な深さ支援要素７９０２に適合させることができる。この例では、深さ平面は、例えば、３Ｄモデルを患者の関節窩骨へ位置合わせするための上記の、また、本開示の他の箇所に記載の位置合わせプロセスに類似した位置合わせプロセスを介して、深さ支援要素７９０２へ位置合わせされてよい。深さ平面を深さ支援要素７９０２へ位置合わせすることによって、リーマ７９００の深さ追跡を達成することができる。

いくつかの例では、本開示は、外科的な術中のワークフローガイダンスに関する幾つかの自動ベースの支援機能及び技術に関し、それらの一部は、肩修復手術等の整形外科的関節修復手術等の整形外科手術で看護師（または、他の医療助手、技師、または外科医）を支援するように設計されてよい。特に、手術室の看護師が定期的に手術の補助をしていない場合、看護師が、次の手術ステップ、または、次の手術ステップに必要な次の器具はどれか等、手術の詳細の全てを知ることは難しいことがある。例えば、看護師は、手術ステップ及び器具、それらのステップで使用されるインプラントもしくは他の手術アイテムについて異なる要件及び詳細を有する様々な手術を支援する場合がある。本開示の技術及びデバイスは、看護師を支援するプロセスの自動化を助け、手術での間違いを減らすことを助け得る。

いくつかの例では、技術は、センサ、加速度計及び／または光源等、拡張機能を用いて設計された手術アイテムを活用する。ＭＲシステム２１２に関連付けられた処理デバイス等の１つまたは複数の処理デバイス、または他のコンピューティングシステムは、手術中に手術アイテムを追跡してよく、その使用をモニタリングしてよい。さらに、１つまたは複数の処理デバイスは、処置が行われている時に看護師の手術アイテム選択を支援する手術アイテムの拡張機能の制御を助けてよい。例えば、手術アイテムのセットは、このようなツールが手術に必要であることを看護師に知らせるために、このような手術アイテム内に常駐する光源（例えば、発光ダイオード）によって光らされてよい。さらに、照明は、例えば、整形外科手術の途中の特定の時点でこのような手術アイテムが必要である時、手術アイテムが光るように、手順と同期されてよい。いくつかの例では、選択された手術アイテムの光源は、手術に関連付けられた手術計画で規定された手術アイテムの指定された用途に基づいて光ってよい。

他の場合には、手術アイテムは、照明によって、または、ＭＲシステム２１２の可視化デバイス２１３等、可視化デバイス上に複合現実によって提示された仮想要素によって、看護師に対して識別される。手術アイテムを識別するためにＭＲを介して提示される仮想要素の例は、半透明色の領域を使用した識別される手術アイテムの強調表示、識別される手術アイテムを囲む仮想の円、識別される手術アイテムを指す仮想の矢印、識別される手術アイテムの周囲の仮想の輪郭線、他の特定されない手術アイテムのビューを遮る仮想物体、他の特定されない手術アイテム上の不透明度を増加させることを含み得る。いくつかの例では、手術の１つまたは複数の手術アイテムは、コントローラ（例えば、手術アイテム上のライトまたは複合現実システムを制御するデバイス）に接続されてよい。このような接続性は、ＭＲを使用して手術アイテムを識別する例では必要ない場合がある。手術アイテムを使用した後、処置に必要な次の器具が、自動で、強調表示、点灯、ＭＲに提示される１つまたは複数の仮想要素によって識別、または、他の方法で看護師に対して識別されてよい。手術アイテムの自動識別は、手術アイテムが、このような手術アイテムが必要な時、例えば、整形外科手術の途中の特定の時点で、識別されるように、手術のワークフローのステップと同期されてよい。このように、本開示の技術及びデバイスは、看護師を支援するプロセスの自動化を助けてよく、手術中の間違いを減らす助けをしてよい。

場合によっては、手術アイテムのセットは、（例えば、ＭＲ可視化を使用して、手術アイテム上のライトを使用して、トレイのライトを使用して、または、他の方法もしくは方法の組み合わせを使用して）手術中に光らされて、看護師の手術アイテム選択を支援してよい、また、特定のタイプの照明が、セット中の異なる手術アイテムに対して使用されてよい。例えば、手術において以前に使用した手術アイテム、現在使用している手術アイテム、及び今後必要な手術アイテムは、異なる色もしくは色効果、または、異なるライトまたは空間的もしくは時間的点灯パターンで光らされてよい。光源を手術アイテムに直接組み込むことによって、バックライト、またはトレイもしくはテーブルの照明を使用する他の技術に対してより照明の正確性を確実にすることができる。他の技術では、手術アイテムが移動すると、照明が不正確になる可能性がある。さらに、アイテム追跡はまた、手術中、アイテム識別が正確であり、十分にドキュメンテーションされることを確実にすることを支援し得る。手術で使用中の手術アイテムの自動ドキュメンテーションは、このようなドキュメンテーションを物理的に追跡し、ドキュメンテーションに集中する必要をなくすことができ、外科医または看護師が、手術の他の側面に集中することを可能にする。

実際、アイテム追跡はまた、手術のドキュメンテーション及びログの支援と、例えば、術前計画に対して正確な手術アイテムが使用されていることを確実するための安全点検を提供するために使用されてよい。術前計画は、特定の患者に合わせて特別に規定された１つまたは複数の特徴を有する患者固有の手術計画であってよい。手術アイテムのオブジェクトベースの複合現実（ＭＲ）検出は、手術アイテム検証を支援してよい。いくつかの例では、手術アイテムの使用はまた、手術アイテムの加速度計の加速度計データをモニタリングするアイテム追跡で、モニタリングまたは検証されてよい。場合によっては、アイテム追跡は、例えば、光学コードスキャナ、ＲＦＩＤリーダ、または他の機械自動化ツールを使用した、バーコードもしくは他の光学コードスキャン、ＲＦＩＤ読取または他の自動化等の、他のアイテム追跡または他のアイテム位置合わせ技術と組み合わせて使用されてよい。場合によっては、光学コード読取、ＲＦＩＤ読取、または他の機械自動化は、追加のバーコードリーダもＲＦＩＤリーダも必要とすることなく、ＭＲ環境でこのような自動化を可能にするために、可視化デバイス２１３のような可視化デバイスに組み込まれてよい。このように、手術のドキュメンテーションは、正確な手術アイテムが手術の適切な過程で使用されることを追跡し、検証することによって改善されてよい。可視化デバイス２１３による手術アイテムの光学コードスキャンを容易にするために、手術アイテムの一部または全ては、手術アイテム上に印刷または貼られてよい１次元バーコードまたは２次元バーコード等の光学的にスキャン可能なコードを含み得る。可視化デバイス２１３は、光学的にスキャン可能なコードを検出することに基づいて、特定の手術アイテムを検出してよく、その使用を医療処置に記録してよい。同様に、手術アイテムの箱またはトレイは、可視化デバイス２１３によってスキャンされ得る光学的にスキャン可能なバーコードを含んでよい。いくつかの例では、光学コードの使用の代わりに、または、それに加えて、可視化デバイス２１３は、コンピュータ画像認識及び／または光学式文字認識を使用して、手術アイテムを識別してよい。

いくつかの例では、本開示の技術の一部または全ては、複合現実（ＭＲ）可視化の支援で実施されてよい。例えば、手術アイテム自体に組み込まれたライトを使用するのではなく、仮想情報は、手術中、看護師が着用している複合現実ヘッドセット等の可視化デバイスによってユーザが見ることができる現実世界の手術アイテム上の位置に、または、その隣に可視化デバイスによって提示されてよい。このようなＭＲヘッドセットの例は、例えば、図２及び図５に示すＭＲシステム２１２の可視化デバイス２１３である。さらに、ＭＲの使用は、埋め込み可能なデバイス、創縫合製品、及び他のタイプの手術アイテム等、ライトを組み込むのが実現困難である手術アイテムの識別を可能にし得る。これは、手術アイテム自体内の照明の必要性を取り除く場合があるが、一定の手術アイテム内の照明は、ＭＲを使用する時でさえ望ましい。言い換えると、いくつかの例では、ＭＲの実施態様は、手術アイテムの物理的ライトの代わりに使用されてよいが、他の例では、複合現実実施態様は、手術アイテムの物理的ライトと組み合わせて使用されてよい。さらに、複合現実は、ライト、センサ、加速度計、または他の追跡機能等、手術アイテムの他の拡張機能と共に使用されてよい。

いくつかの例では、ユーザは、手術室の環境、患者の実際の解剖学的構造、すなわち、手術中に露出される実際の骨または軟組織の解剖学的構造（例えば、肩関節形成における関節窩または上腕骨）等の現実の解剖学的構造を含む、現実世界シーンを見てよい。ユーザは、例えば、本開示に記載の可視化デバイス２１３等、ヘッドマウントＭＲデバイスのシースルーの透明ホログラフィックレンズによって、透明な画面を通してこのシーンを見てよく、ユーザはまた、例えば、仮想物体が、実際の現実世界シーン内に重ね合わせて、または他の方法で組み込まれてユーザに見えて、ＭＲ物体（複数可）が現実世界シーンの一部に見えるように、仮想ＭＲ物体、または、画面上もしくは画面内に投影される物体を見てよい。例えば、上記のように、仮想情報は、手術中に手術アイテムのステータスを、例えば、手術の現在のステップで使用される手術アイテム、以前に使用された手術アイテム、または手術の次のステップもしくは今後のステップで使用する手術アイテムとして識別するために、特定の現実世界の手術アイテムに重ねられて、またはその隣に提示されてよい。仮想情報は、可視化デバイス２１３等のＭＲ可視化デバイスの画面上に、例えば、ホログラフィックレンズを介して、ホログラフィック画像が画面を通して見える現実世界の手術アイテム上に重ねられてホログラフィック画像として投影されてよい。

看護師の手術アイテム選択を支援することに加えて、本明細書に記載の技術及び特徴はまた、手術アイテム追跡及び手術のドキュメンテーションを改善し得る。上記のように、手術アイテムは、ツール、埋め込み可能なデバイス、他の手術アイテムのトレイ、または、手術中に使用し得る他の物理的物体を含んでよい。さらに、システムは、利用可能な手術アイテムの在庫に通信可能に結合されてよい。この場合、外科医が存在しない手術アイテムを必要とする場合、または、外科医が術前計画に対して手術の１つまたは複数のステップを変更する必要がある場合、本明細書に記載の特徴は、手術に使用するために他の手術アイテムがすぐに入手可能かどうかを調べるために看護師が病院の在庫をチェックするのを可能にする。その場合、看護師は、別の助手に必要な手術アイテムを在庫から取ってくるように指示してよく、手術アイテムの入手可能性を手作業でチェックするために助手を派遣する必要を回避する。これによって、手術中、重要な時間を節約することができ、不要なダウンタイムの回避を支援できる。

いくつかの例では、本開示の技術は、手術のより正確なドキュメンテーションと、手術中に使用される手術アイテムのより正確なドキュメンテーションとを容易にしてよい。可視化デバイスと複合現実とを使用することにより、看護師は、自動的に手術アイテムの使用をドキュメンテーションすることが可能になり得る。手術アイテムの物体識別及び物体追跡が、可視化デバイスのコンピューティングシステムによって行われて、手術アイテム選択と手術アイテム使用との追跡を支援してよい。例えば、外科医が使用する最初の手術アイテムを取ると、システムは、例えば、手術アイテムからのセンサデータ、画像ベースの物体検出、または手術アイテム上のスキャンされた印に基づいて、手術アイテムは外科医の手にあることを検出してよい。（例えば、手術アイテムの視覚的形状検出もしくは手術アイテム上の印の視覚的検出、または、手術アイテムからのセンサデータを使用することによる）このような物体追跡は、光学コードスキャン、ＲＦＩＤ読取、または他のアイテム追跡自動化等、他の自動化の代わりに、または、それらと組み合わせて使用されてよい。いくつかの例では、物体検出ベースのアイテム追跡は、例えば、光学コードスキャン、ＲＦＩＤ読取、または、他のアイテム追跡自動化に加えて、アイテム使用の検証及びさらなるドキュメンテーションとして使用されてよい。再び、場合によっては、光学コードスキャン、ＲＦＩＤ読取、または他のアイテム追跡自動化機能は、可視化デバイス２１３等のＭＲデバイスに組み込まれてよい。可視化デバイス２１３は、手術アイテム使用のドキュメンテーションを行ってよく、このドキュメンテーションを記録管理及び術後分析のために保存してよい。再び、図６を参照すると、例えば、可視化デバイス２１３は、手術アイテム使用に関連付けられた追跡情報をドキュメンテーション及び後の読み出しのために、ストレージデバイス（複数可）６１２に記録してよい。例えば、手術アイテム、または手術アイテムに任意の特定の使用を可視化デバイス２１３によって検出すると、このような検出のタイムスタンプと、検出のタイプ（ＲＦＩＤスキャン、バーコードスキャン、手術アイテムの物体検出、または他の自動化手術アイテム検出）、検出された手術アイテム、及び検出に関連付けられたタイムスタンプは、手術のドキュメンテーションと後の読み出しのためにストレージデバイス（複数可）６１２に記憶することができる。また、いくつかの例では、１つまたは複数の手術アイテムは、手術中の手術アイテム使用のドキュメンテーションのために、また、後に読み出すために、センサ情報、加速度計データ、照明（及び、任意のこのような情報またはデータと関連付けられるタイムスタンプ）を可視化デバイス２１３に伝えるように、例えば、通信デバイス（複数可）６１６、及び手術アイテムの対応する通信デバイスまたはモジュールを介して、可視化デバイス２１３と通信してよい。このようにして、手術の正確なドキュメンテーションが達成されてよく、手術自体が改善され得る。加速度計データをモニタリングすることによって手術アイテムが手術で使用される時を検証及びドキュメンテーションするように、センサ及び加速度計等の手術アイテムの拡張機能を使用して、アイテム追跡を支援してよい。

図８３は、本開示の例による、手術アイテムのセット８３０２と処理デバイス８３０４とを含むシステム８３００を示すブロック図である。手術アイテム８３０２は、本開示のアイテム追跡技術を用いて追跡されてよい。この例では、手術アイテム８３０２はそれぞれ、「Ｌ（複数可）」で示す１つまたは複数の光源を含む。光源Ｌ（複数可）は、発光ダイオード（ＬＥＤ）を含んでよいが、他のタイプの半導体光要素または他のタイプの光源も光源Ｌ（複数可）に使用されてよい。ＬＥＤ等の半導体照明は、低エネルギー使用、高効率、長寿命、及び高光度等の要因のために望ましい。さらに、異なる色、強さ、または、パルスもしくは点滅効果等の照明効果は、ＬＥＤを用いると制御及び達成しやすく、ＬＥＤは、異なる色の光を発することができる複数色のＬＥＤを含み得る。いくつかの例では、色は、所与の環境に対して手術アイテムの識別に使用するために選択されてよい。例えば、手術室については、赤色を避けることが望ましく、緑色は、アイテム識別のために非常に見やすい場合がある。ＬＥＤは、ＬＥＤを駆動するように構成された関連するＬＥＤコントローラを有してよい。

光源Ｌ（複数可）は、手術アイテムのセット８３０２内の各手術アイテム上または各手術アイテム内に取り付けられてよい。各手術アイテムは、例えば、ライトに電力を供給し、処理デバイス８３０４との通信能力を提供するために、各手術アイテム内に、電池、アンテナ及び通信回路を含んでよい。ライトは、手術アイテムのハウジングの空洞またはコンパートメント内に配置されてよい。ライトは、通信回路、アンテナ及び電池を含むライトモジュールの一部であってよい。ライトは、各手術アイテムの効果的な照明のために、手術中、例えば、上側、下側、または任意の所望の箇所に位置付けられてよい、または、配置されてよい。いくつかの例では、照明モジュールは、使い捨て可能に、または、取り外せないように手術アイテムに取り付けられてよい。ライトまたは照明モジュールは、滅菌に耐えるように設計されてよい。ライトに加えて、または、ライトの代わりに、音響または振動フィードバックモジュール（例えば、触覚フィードバックを用いて手術アイテムを「ブーンとする」または、音声フィードバックを用いて手術アイテムが「ビーと音を発する」）も使用されてよい。必要に応じて、手術アイテムはまた、手術アイテムを使用する時、選択可能な照明を有効にし、手術アイテムを使用しない時、照明を停止するオン／オフスイッチを含んでよい。

図１０４は、本開示に記載の手術アイテムの１つまたは複数に対応し得る手術アイテム１０４００のより詳細なブロック図である。手術アイテム１０４００は、１つまたは複数のプロセッサ１０４０２と、通信バス１０４２４を介して通信可能に結合された１つまたは複数のストレージデバイス１０４２２とを含んでよい。手術アイテム１０４００は、手術アイテム用途、手術アイテム自動化、またはアイテム追跡のために、本明細書に記載のセンサのいずれか等の１つまたは複数のセンサ１０４０４をさらに含んでよい。いくつかの例では、手術アイテム１０４００は、１つまたは複数の温度センサ１０４０６、１つまたは複数の圧力センサ（複数可）１０４０８、１つまたは複数のモーションセンサ（複数可）１０４１０、及び１つまたは複数の配向センサ（複数可）１０４１２を含むとして示されている。手術アイテム１０４００は、１つまたは複数の発光ダイオード（複数可）１０４２０と１つまたは複数の加速度計（複数可）１０４１８とをさらに含んでよい。手術アイテム１０４００はまた、手術アイテム１０４００に示すコンポーネントに電力を供給する電池等の電源１０４１６を含んでよい。さらに、手術アイテム１０４００はまた、通信デバイス１０４１４を含んでよく、通信デバイス１０４１４は、可視化デバイス２１３の通信デバイス（複数可）６１６等の外部デバイスと通信するための（例えば、アンテナを有する）無線通信デバイスを含んでよい。センサ１０４０４は、手術アイテム使用を示すものとして様々なもの（例えば、温度、動き、圧力、向き等）を感知してよく、感知されたデータ（及び、感知されたデータと関連付けられたタイムスタンプ等の、関連付けられたタイミング情報）は、ストレージデバイス（複数可）１０４２２に記憶することができ、場合によっては、例えば、手術アイテム１０４００の通信デバイス（複数可）１０４１４と可視化デバイス２１３の通信デバイス（複数可）６１６の間の無線通信を介して、可視化デバイス２１３に通信されてよい。

一般に、デバイスは、手術で使用するための手術アイテムと、手術アイテム上または手術アイテム内のライトとを含んでよく、ここで、ライトは、手術で使用する手術アイテムを識別するように、外部デバイスから制御可能である。いくつかの例では、デバイスは、加速度計及び／または１つまたは複数のセンサをさらに含んでよい。例として、手術アイテムは、測深器、コンパクタ、穿孔ツール、ラスピングツール、または表面プレーニングツールを含み得る。あるいは、手術アイテムは、関節窩インプラント、上腕骨インプラント、固定デバイス、または固定ハードウェア等の外科用インプラントを含む。手術アイテムは、特定の患者の解剖学的構造に合わせて設計された１つまたは複数の特徴を含む患者固有の手術アイテムであってよい。

いくつかの例では、手術アイテムのセット８３０２は、手術に使用可能な手術アイテムのキットを規定してよい。例えば、キットは、手術で使用するための複数の手術アイテムと、複数の手術アイテムのそれぞれの上または中にライトとを含んでよく、ここで、ライトは、手術で使用する複数の手術アイテムのそれぞれを選択的に識別するように外部デバイスによって制御可能である。いくつかの例では、複数の手術アイテムのそれぞれは、加速度計及び／または１つまたは複数のセンサを含んでよい。例として、キットは、複数の測深器、複数のコンパクタ、複数の穿孔ツール、複数のラスピングツール、複数の表面プレーニングツールを含んでよい。また、場合によっては、手術アイテムの少なくとも１つは、関節窩インプラント、上腕骨インプラント、固定デバイス、または固定ハードウェア等、外科用インプラントを含んでよい。手術アイテムは、特定の患者の解剖学的構造に合わせて設計された１つまたは複数の特徴を含む患者固有の手術アイテムを含んでよい。手術アイテム８３０２は、特定のタイプの肩の手術、または特定のタイプの足首の手術等、所与の手術に対して規定されてよい。従って、手術アイテム８３０２内のアイテムは、行われる手術に応じて様々であってよい。

「医療ツール」という用語は、例えば、測深器、コンパクタ、穿孔ツール、ラスピングツール、表面プレーニングツール、及び表面準備及びインプラント埋め込みに使用される他のツールを含む、整形外科手術で使用される広範なツールのいずれかを含んでよい。さらに、「手術アイテム」という用語は、本明細書に記載の医療ツール、外科用インプラント、及び手術で使用され得る他のアイテムを含んでよい。いくつかの例では、手術アイテムは、患者固有であってよい。言い換えると、（例えば、ＭＲを使用した、拡張機能及び光または他の特徴を使用した）本明細書に記載のアイテム追跡技術はまた、例えば、肩関節修復手術の例で、関節窩もしくは上腕骨インプラント等のものを含む外科用インプラント、及び関連する固定デバイス、固定ハードウェア、または他のインプラント、もしくはこのようなデバイスを埋め込むために使用されるツールの形態の手術アイテムに適用し得る。

図８３に示すように、処理デバイス８３０４は、手術アイテムのセットの外部にある。処理デバイス８３０４は、手術アイテムのセットと通信し、手術に基づいて、各手術アイテムの光源を制御するように構成される。このような通信について、処理デバイス８３０４と手術アイテムのセット８３０２の各手術アイテムとは、例えば、送信機、受信機及びモデム等、無線通信ハードウェアコンポーネントによってサポートされる無線通信能力を含んでよい。広範な通信技術のいずれかを使用してよいが、ブルートゥース、ジグビー、無線ＵＳＢ、または他の高速短距離通信プロトコル等の高速短距離通信プロトコルが特に有用であってよい。手術アイテムのセット及び処理デバイス８３０４内の無線通信コンポーネントは、説明を簡単で容易にするために図８３には示していない。

全ての例にとって必要なわけではないが、手術アイテムのセット８３０２内の各手術アイテムはまた、加速度計（Ａ（複数可）として示す）及び他のセンサ（Ｓ（複数可）として示す）等、他の拡張機能を含んでよい。手術アイテム内の加速度計Ａ（複数可）及び他のセンサＳ（複数可）は、いくつかの例では、例えば、手術アイテムの場所及び動きを識別する能力を促進することによって、物体追跡を容易にし、向上させてよい。他のセンサＳ（複数可）は、ジャイロスコープ、アイテム使用中の周囲室温または患者の体温を追跡するための１つまたは複数の温度センサ、手術アイテムにかかる圧力を検出するための圧力センサ、血液等の流体を検出するための流体センサ、追加の加速度計、または手術アイテムのために望ましい任意のタイプのセンサを含んでよい。例えば、加速度計Ａ（複数可）及び他のセンサＳ（複数可）は、特定の手術アイテムを医師が使用している時を、センサデータ及び加速度計データに基づいて、処理デバイス８３０４が判断するのを可能にし得る。センサＳ（複数可）はまた、手術中、例えば、圧力、温度、または他の感知されたパラメータに基づいて、手術アイテムの使用に関してより高度な情報を提供してよい。このような感知されたデータは、手術アイテムに記憶されててよい、または、場合によっては、手術アイテムから処理デバイス８３０４、可視化デバイス２１３、または他の外部デバイス等、外部デバイスに通信されてよい。

いくつかの例では、手術アイテムのセット８３０２内の各手術アイテム内の光源Ｌ（複数可）は、手術で医師が必要とする一連の手術アイテムを看護師が識別するのを支援することができる。処理デバイス８３０４は、異なる手術アイテムが異なる時に光るように、各手術アイテム（例えば、アイテム１、アイテム２、アイテム３、・・・アイテムＮ）の光源Ｌ（複数可）を作動または停止するように構成されてよい。また、場合によっては、処理デバイス８３０４は、異なる手術アイテムが異なる色で（及び、場合によっては異なる時に）光るように、各手術アイテム（例えば、アイテム１、アイテム２、アイテム３、・・・アイテムＮ）の光源Ｌ（複数可）を作動または停止するように構成されてよい。色調整スキームが規定されてよく、それによって、看護師は、色を使用して、手術において、どの手術アイテムが使用されているか、どの手術アイテムが既に使用されたか、及び、どの手術アイテムが医師が必要な次の手術アイテムかを識別することができる。手術の途中で必要な一連の手術アイテムは、患者のための仮想手術計画に規定されてよく、仮想手術計画はまた、患者固有であってよく、患者に合わせて特に規定されたツール、インプラント、及び手術シーケンスを含み得る。

いくつかの例では、処理デバイス８３０４は、手術アイテムのセットの全ての手術アイテムを識別するように、且つ、手術アイテムの１つを特に区別するように、各手術アイテム（アイテム１～アイテムＮ）のセットの光源Ｌ（複数可）を制御するように構成される。言い換えると、全ての手術アイテム（アイテム１～アイテムＮ）が照らされてよいが、手術アイテムの特定の１つ（例えば、アイテム２）は、何らかの方法で区別されてよい。このようにして、看護師は、アイテムのセット全体と、現在必要な特定の手術アイテムとを識別可能であってよい。手術アイテムのセット（アイテム１～アイテムＮ）は、より大きい手術アイテムの集まりに含まれてよく、手術アイテムのセット（アイテム１～アイテムＮ）を照らすことによって、その手術アイテムのセットが手術アイテムのより大きい集まりから区別され、特定の手術アイテム（例えば、アイテム２）の区別された照明によって、セット内の特定の手術アイテムを看護師がより迅速に識別するのを可能にし得る。

いくつかの例では、異なる光の色を使用して、手術アイテムの１つを手術アイテムのセットから区別してよい。いくつかの例では、照明効果（例えば、アイテムごとに時間的な閃光パターンまたはレートを規定し得る点滅または閃光ライト）を使用して、手術アイテムの１つを区別してよい。いくつかの例では、照度を使用して手術アイテムの１つを区別してよい。他の例では、複数のライトが手術アイテムに備えられる場合、手術アイテム上の幾つかのライトの照明またはライトのパターンを使用して、手術アイテムを区別してよい。これらのまたは他の例（及び、このような区別される照明の任意の組み合わせ）を使用して、看護師がセット内の特定の手術アイテムを迅速及び正確に識別するのを支援してよい。

いくつかの例では、各手術アイテムの光源Ｌ（複数可）は、手術アイテムの第１のサブセット、手術アイテムの第２のサブセット、及び手術アイテムの第３のサブセットを区別するように制御される。例えば、手術アイテムの第１のサブセットは、既に使用された手術アイテムに対応してよく、手術アイテムの第２のサブセットは、現在使用している手術アイテムに対応してよく、手術アイテムの第３のサブセットは、今後必要な手術アイテムに対応してよい。

いくつかの例では、手術アイテムのセット８３０２（アイテム１～アイテムＮ）は、異なるサイズまたは形状の類似の手術アイテムを規定してよく、これらは、手術において連続して使用されてよい。例えば、手術アイテムのセット８３０２（アイテム１～アイテムＮ）は、整形外科的肩再建手術用の連続したサイズまたは形状の（例えば、上腕骨管を測深するための）整形外科用測深器のセットに対応してよい。いくつかの例では、手術アイテムのセット８３０２（アイテム１～アイテムＮ）は、整形外科的肩再建手術用の連続したサイズまたは形状の１つまたは複数の穿孔ツールをさらに含んでよい。いくつかの例では、手術アイテムのセット８３０２（アイテム１～アイテムＮ）は、整形外科的肩再建手術用の連続したサイズまたは形状の１つまたは複数の圧縮ツールをさらに含んでよい。さらに別の例では、手術アイテムのセット８３０２（アイテム１～アイテムＮ）は、整形外科的肩再建手術用の連続したサイズまたは形状の１つまたは複数の表面プレーニングツールをさらに含んでよい。これらのまたは他の例では、異なるサイズまたは形状の手術アイテムのセット８３０２（アイテム１～アイテムＮ）は照らされてよいが、照明は、このような手術アイテムが以前に使用されているか、このような手術アイテムが現在使用中か、または、このような手術アイテムが今後使用する計画があるかに応じて、異なってよい。セット全体が照らされてよいが、看護師または他のユーザが、以前に使用された手術アイテムを現在使用中の手術アイテムから区別できるように、且つ、今後必要な手術アイテムを現在使用中の手術アイテムと以前に使用された手術アイテムとから区別できるように、照明は目立つようにコード化されてよい。異なるタイプの光の色、異なるタイプの照度、または異なるタイプの照明効果を使用して（場合によっては、組み合わせて）看護師の手術アイテム選択を支援してよい。手術中に使用される手術アイテムのセットは、術前計画によって規定されてよく、本開示の技術は、手術の全ての手術アイテムを識別してよく、また、例えば、仮想の患者固有の手術計画によって規定されるような、術前計画に従った手術で現在必要とされる手術アイテムである特定の手術アイテムも識別してよい。場合によっては、手術アイテムは、例えば、１～１０のサイズ範囲であってよく、システムは、例えば、術前計画に従って、これらのサイズのサブセットを識別するように設計されてよい。場合によっては、手術アイテムのセット全体に対するライトが１つと、そのセットから使用する特定の手術アイテムに対して別のライトがあってよい。

上記のように、いくつかの例では、本開示の技術の一部または全ては、複合現実の支援で実施されてよい。例えば、手術アイテム自体に組み込まれたライトを使用するのではなく、手術中に看護師が着用するＭＲヘッドセット等、可視化デバイスによって、仮想情報が手術アイテム上に重ね合わせられてよい。これによって、手術アイテムのライトの必要性を取り除いてよいが、複合現実を使用する時でさえ、ライトは望ましい。言い換えると、ある例では、複合現実の実施態様は、手術アイテムの物理的ライトの代わりに使用されてよいが、他の例では、複合現実の実施態様は、手術アイテムの物理的ライトと組み合わせて使用されてよい。さらに、複合現実は、ライト、センサ、加速度計、または他のアイテム追跡機能等、手術アイテムの他の拡張機能と組み合わせて使用されてよい。

図８４は、本開示の例による、手術アイテムのセット８４０２と、ＭＲ可視化デバイス２１３の形態の処理デバイスとを含む医療デバイスシステム８４００を示す概念ブロック図である。この例では、セット８４０２の各手術アイテムは、「Ｖ（複数可）」として示される重ね合わされた仮想要素と共に示されている。仮想要素Ｖ（複数可）は、複合現実提示の仮想要素として、可視化デバイス２１３のユーザに提示されてよい。仮想要素Ｖ（複数可）は、図８３に示し、記載される光源Ｌ（複数可）と同様に機能してよい。しかしながら、仮想要素Ｖ（複数可）は、現実には、手術アイテムのセット８４０２の一部ではない。そうではなく、仮想要素Ｖ（複数可）は、手術アイテムのセット８４０２の各手術アイテムに関連付けられて見えるように、可視化デバイス２１３によって提示される要素である。このようにして、手術アイテム自体に組み込まれたライトを使用するのではなく、複合現実を使用して、可視化デバイス２１３によって手術アイテム上に提示または、場合によっては、重ね合わされた仮想情報を提示する。可視化デバイス２１３は、術中ガイダンス及びワークフローガイダンスも提供しながら、例えば、看護師の手術アイテム識別に使用されてよい。可視化デバイス２１３上に見えるビューは、看護師にとって、外科医のビューとは異なってよい。可視化デバイス２１３上のアイテム識別機能または提示は、看護師に提示されてよいが、外科医には提示されないが、本開示の他の箇所により詳細に記載するように、ビュー共有技術も使用することによって、外科医は、看護師のビューから画像または物体を選択して、見ることができる。

本開示によると、可視化デバイス２１３は、手術において医師が必要とする一連の手術アイテムを看護師が識別するのを支援できるように、手術アイテムのセット８４０２内の各手術アイテム上、または、そのまわりに仮想情報Ｖ（複数可）を提示する。このような仮想情報は、手術アイテムを区別するための仮想のハロー、輪郭線、強調表示、マーク、テキスト（レタリング及び数字を含む）、または、他のタイプの仮想要素を含んでよい。可視化デバイス２１３は、異なる手術アイテムが異なる色で照らされて見えるように、手術アイテムのセット８４０２の各手術アイテム（例えば、例えば、アイテム１、アイテム２、アイテム３、・・・アイテムＮ）の仮想要素Ｖ（複数可）をアクティブまたは非アクティブにするように構成されてよい。例えば、異なる色の仮想のハロー、輪郭線、または強調表示を使用して、手術アイテムを照らしてよい。色調整スキームが、手術中、どの手術アイテムが使用されているか、どの手術アイテムが既に使用されたか、及び、どの手術アイテムが次に医師が必要な手術アイテムかを看護師が色を使用して識別できるように、規定されてよい。手術の過程で必要な一連の手術アイテムは、術前計画で規定されてよい。

いくつかの例では、可視化デバイス２１３は、手術アイテムのセット内の全ての手術アイテムを識別するように、且つ、手術アイテムの１つを特に区別するように、手術アイテムのセット８４０２内の各手術アイテム（アイテム１～アイテムＮ）に関連付けられた仮想情報Ｖ（複数可）を制御するように構成される。言い換えると、セット８４０２内の全ての手術アイテム（アイテム１～アイテムＮ）は、仮想情報Ｖ（複数可）によって識別されてよいが、アイテムの特定の１つ（例えば、セット８４０２内のアイテム２）は、それに関連する仮想情報Ｖ（複数可）によって区別されてよい。仮想情報Ｖ（複数可）は、手術アイテムを区別するための本開示の他の箇所に記載される仮想情報のタイプのいずれかを含んでよい。このように、複合現実を使用して、手術アイテムのセット全体と、現在必要な特定の手術アイテムとを看護師が識別するのを支援してよい。手術アイテムのセット８４０２（アイテム１～アイテムＮ）は、手術アイテムのより大きい集まりに含まれてよく、仮想情報Ｖ（複数可）を用いた手術アイテムのセット（アイテム１～アイテムＮ）の仮想識別が手術アイテムのより大きい集まりから手術アイテムのセットを区別し、特定の手術アイテムの区別された仮想情報（例えば、アイテム２のV（複数可））が、看護師がセット内の特定の手術アイテムをより迅速に識別するのを可能にしてよい。

いくつかの例では、手術アイテムのセット８４０２の各手術アイテムに重ね合わされた仮想要素Ｖ（複数可）は、手術アイテムの１つを手術アイテムのセットから区別するように、異なる色を含んでよい。いくつかの例では、仮想要素Ｖ（複数可）と共にＭＲ照明効果（例えば、点滅または閃光ライト）を使用して、手術アイテムの１つを区別してよい。いくつかの例では、仮想要素Ｖ（複数可）に適用される照度で、手術アイテムの１つを区別する。これらのまたは他の例（及び、仮想要素Ｖ（複数可）によるこのような区別された照明の任意の組み合わせ）を使用して、セット内の特定の手術アイテムを看護師が迅速及び正確に識別するのを支援してよい。

いくつかの例では、医療デバイスシステムは、複数の手術アイテムと、ユーザへのＭＲ提示を提示するように構成された可視化デバイスと、手術に基づいて複数の手術アイテムから手術アイテムを選択するように構成された１つまたは複数のプロセッサとを含む。１つまたは複数のプロセッサは、複数の手術アイテムの中から選択された手術アイテムを識別する仮想情報を、ＭＲ提示において、提示するようにさらに構成されてよい。仮想情報は、可視化デバイスを介して見える選択された手術アイテムの位置上、または、その隣に提示されてよい。プロセッサは、ＭＲ可視化デバイスの一部であってよい、または、プロセッサは、ＭＲ可視化デバイスの外部にあってよい。本開示の他の箇所により詳細に記載するように、ＭＲ可視化デバイスは、仮想モデル及び仮想ガイドをユーザに提示するために、１つまたは複数のシースルーのホログラフィックレンズと、ホログラフィックレンズを介した画像を表示する１つまたは複数のディスプレイデバイスとを含んでよい。

例えば、可視化デバイス２１３によってユーザに提示されるＭＲコンテンツのさらなる例として、仮想要素Ｖ（複数可）は、識別する手術アイテムに外接する識別ループまたは円、矢印、Ｘ、十字線、括弧、形状（点滅し得るまたは他の効果を有し得る円、長方形、四角形、楕円形、数、文字、言葉または記号）、色または強度と組み合わせた異なる背景の網掛けまたはパターンを含む。これらの、及び広範な他のタイプのＭＲコンテンツは、ＭＲの支援で所与の手術アイテムを強調表示（または、区別）する視覚的要素Ｖ（複数可）として追加されてよい。

いくつかの例では、各手術アイテムと関連付けられた仮想要素Ｖ（複数可）は、手術アイテムの第１のサブセット、手術アイテムの第２のサブセット、及び手術アイテムの第３のサブセットを区別するように、可視化デバイス２１３を介してユーザに表示される。例えば、手術アイテムの第１のサブセットは、既に使用された手術アイテムに対応してよく、手術アイテムの第２のサブセットは、現在使用している手術アイテムに対応してよく、手術アイテムの第３のサブセットは、今後必要な手術アイテムに対応してよい。

いくつかの例では、セット８４０２の手術アイテムのセット（アイテム１～アイテムＮ）は、異なるサイズまたは形状の類似の手術アイテムを規定してよく、これらは、手術において連続して使用されてよい。例えば、手術アイテムのセット８４０２（アイテム１～アイテムＮ）は、整形外科的肩再建手術用の連続したサイズまたは形状の測深器のセットに対応してよい。さらに、手術アイテムのセット８４０２（アイテム１～アイテムＮ）は、整形外科的肩再建手術用の連続したサイズまたは形状の１つまたは複数の穿孔ツールをさらに含んでよい。さらに、手術アイテムのセット８４０２（アイテム１～アイテムＮ）はまた、整形外科的肩再建手術用の連続したサイズまたは形状の１つまたは複数の圧縮ツールを含んでよい。さらに、手術アイテムのセット８４０２（アイテム１～アイテムＮ）はまた、整形外科的肩再建手術用の連続したサイズまたは形状の１つまたは複数の表面プレーニングツールを含んでよい。

これらのまたは他の例では、異なるサイズまたは形状の手術アイテムのセット８４０２（アイテム１～アイテムＮ）は、仮想要素Ｖ（複数可）で識別されてよい。いくつかの例では、各手術アイテムが、その手術アイテムが使用される時に識別される。しかしながら、いくつかの例では、複数の手術アイテムが識別されてよい。いくつかの例では、仮想要素Ｖ（複数可）の要素のタイプ、色または形状は、このような手術アイテムが以前に使用されたか、このような手術アイテムが現在使用中か、または、このような手術アイテムが今後使用する計画があるかに応じて異なってよい。セット全体が、仮想要素Ｖ（複数可）によって識別されてよいが、仮想要素Ｖ（複数可）は、看護師が、以前に使用された手術アイテムを現在使用中の手術アイテムから区別できるように、また、今後必要な手術アイテムを現在使用中の手術アイテムと以前に使用された手術アイテムとから区別できるように、目立つように規定されてよい。異なるタイプの色、異なるタイプの照度、または異なるタイプの効果を仮想要素Ｖ（複数可）と共に（場合によっては、組み合わせて）看護師の手術アイテム選択を支援するために使用してよい。

手術中に使用される手術アイテムのセットは、術前計画によって規定されてよく、本開示の技術は、手術の全ての手術アイテムを識別してよく、術前計画に従った手術で現在必要とされる特定の手術アイテムも識別してよい。再び、可視化デバイス２１３は、術中ガイダンス及びワークフローガイダンスも提供しながら、例えば、看護師の手術アイテム識別に使用されてよい。可視化デバイス２１３上に見えるビューは、看護師にとっては、外科医のビューと異なってよい。可視化デバイス２１３上のアイテム識別機能または提示は、看護師に提示されてよいが、外科医には提示されない。しかし、本開示の他の箇所により詳細に記載するように、ビュー共有技術も使用されてよく、それによって、外科医は、看護師のビューから画像または物体を選択し、見ることができる。

図８５は、本開示の例による、手術アイテムのセット８５０２と、可視化デバイス２１３の形態の処理デバイスとを含む医療デバイスシステム８５００を示す別の概念ブロック図である。この例では、医療デバイスシステム８５００は、図８５のシステム８５００に関して前述した特徴の一部または全てと組み合わせて、図８３のシステム８３００に関して前述した特徴の一部または全てを含んでよい。セット８５０２の各手術アイテムは、光源Ｌ（複数可）、加速度計Ａ（複数可）、他のセンサＳ（複数可）と、「Ｖ（複数可）」として示す１つまたは複数の仮想要素とを含んでよい。仮想要素Ｖ（複数可）は、複合現実提示の仮想要素として、可視化デバイス２１３のユーザに提示されてよい。このようにして、光源Ｌ（複数可）、加速度計Ａ（複数可）、他のセンサＳ（複数可）等の拡張機能を有する手術アイテムは、複合現実及び仮想要素Ｖ（複数可）と共に使用されて、複合現実制御、アイテム追跡及び手術追跡を有する高度な手術アイテムのセットを提供し得る。仮想要素Ｖ（複数可）を光源Ｌ（複数可）と組み合わせて使用することで、可視化デバイスを着用または他の方法で使用している人と、可視化デバイスを使用していない人とによるアイテム識別を可能にし得る。または、光源Ｌ（複数可）が、アイテム識別、または、異なる照明もしくは識別効果を改善するために、仮想要素Ｖ（複数可）と組み合わせて使用されてよい。

いくつかの例では、ＭＲシステム２１２は、複合現実の支援でアイテム追跡を可能にするように構成されてよい。さらに、ＭＲシステム２１２はまた、複合現実を使用して手術の追跡及びドキュメンテーションを可能にしてよい。例えば、アイテム追跡は、ＭＲシステム２１２によって行われて、手術のドキュメンテーション及びログを支援し、且つ、例えば、術前計画に対して正確な手術アイテムが使用されていることを確実にする安全点検を提供してよい。ＭＲシステム２１２は、手術アイテムのオブジェクトベースの検出を利用してよい。

例えば、医師が手術アイテムのセット８５０２の手術アイテムの１つを与えられると、ＭＲシステム２１２は、正確な手術アイテムを使用していることを確認するための検証として、視覚的な物体検出を行ってよい。視覚的な物体検出は、物体の形状の検出（または、場合によっては、バーコード、テキスト、文字、数字を表す語、または手術アイテムに関連付けられた他の識別のための印の検出）を指してよい。このような視覚的な物体検出は、バーコードスキャン、ＲＦＩＤ読取、または他のアイテム追跡技術に加えて使用されてよい。さらに、選択された手術アイテムの加速度計Ａ（複数可）に関連付けられた加速度計データは、手術アイテム使用のさらなる検証及びドキュメンテーションとして使用されてよい。例えば、加速度計Ａ（複数可）に関連付けられた加速度計データは、手術アイテムの使用、手術アイテムが静止していること、特定のタイプの手術アイテムの位置決めを示してよい。このようなデータは、手術アイテムの使用（または、使用していないこと）を識別及びドキュメンテーションするのに有用であり得る。

アイテム追跡技術の組み合わせの使用によって、手術中のアイテム追跡及びドキュメンテーションの正確さの改善を支援し得る。本開示によると、手術アイテムのＲＦＩＤもしくは光学コードスキャン、または他の追跡技術で手術アイテム使用の可能性のある時を識別するように、加速度計データ、ＭＲ可視化デバイスのカメラを用いた手術アイテムの視覚的な物体検出、使用中に手術アイテムがトレイに存在しないことを追跡及びモニタリングすることによるＭＲ可視化デバイスによるトレイ追跡の技術の２つ以上を使用して、手術アイテムの使用を検証してよい。トレイ追跡は、カメラを使用して手術アイテムがトレイに無いことを識別してよく、手術アイテムがトレイに無いことを使用して、手術アイテムが使用中の可能性が高いと推論してよい。いくつかの例では、これらのアイテム追跡技術の３つ以上、４つ以上、または５つ以上を使用して、手術中、アイテム追跡が正確で、良好にドキュメンテーションされていることを確実にする支援を行ってよい。

アイテム追跡情報は、手術の記録として、手術中に可視化デバイス２１３によって記録されてよい。記録されたアイテム追跡情報は、手術アイテムがどのように使用されるかのビデオ、どの手術アイテムが使用されたかの記録、個々の手術アイテムがいつ使用されたかの記録等、を含み得る。例えば、どの手術アイテムが使用されたかに関する情報は、手術アイテムのこのようなマルチモード追跡を容易にすることであってよく、場合によっては、光学コード読取、カメラの使用による物体検出、ＲＦＩＤ読取または他の機械自動化を、追加のバーコードリーダやＲＦＩＤリーダを必要とせずに、ＭＲ環境でこのような自動化を可能にするために、可視化デバイス２１３などの可視化デバイスに組み込んでよい。このようにして、手術のドキュメンテーションは、正確な手術アイテムが手術の適切な過程で使用されていることを追跡及び検証することによって、改善されてよい。

システム８５００は、アイテム使用を追跡して、手術で使用する次の手術アイテムを勧めるように構成されてよい。例えば、システム８５００は、事前に規定された手術計画等の手術計画に基づいて、手術アイテムを制御するように構成されてよい。この例では、手術計画は、手術計画によって規定された手術の様々なステップでどの手術アイテムが使用されるかを指定する情報を含んでよい。従って、システム８５００は、手術計画のこのような情報を使用して、手術計画に基づいて、手術アイテムを選択してよい。さらに、手術アイテムのセット８５０２の手術アイテムの全て（アイテム１～アイテムＮ）を使用した後、システム８５００は、手術の次の段階、例えば、場合によっては、例えば、次のステップのための異なるトレイまたはボックスの手術アイテムの新しいセット全体を識別することに移るように構成されてよい。いくつかの例では、アイテム追跡及びアイテム識別機能は、可視化デバイス２１３等のＭＲデバイスを着用しているまたは他の方法で使用している看護師に固有であってよい。

外科医も、類似のＭＲデバイスを着用または他の方法で使用している場合があるが、外科医のＭＲデバイスは、看護師のＭＲデバイスが行うアイテム追跡及びアイテム識別機能を含まなくてよい。言い換えると、いくつかの例では、外科医のＭＲデバイスは、看護師のＭＲデバイスの機能の全てを提供するように構成されてよいが、他の例では、外科医のＭＲデバイスは、特定の手術アイテムを識別する仮想画像を提示するように構成されない場合があり、手術アイテムまたは手術アイテムの使用を識別するための視覚的検出機能も加速度計データを処理する機能も含まない場合がある。

いくつかの例では、本開示の他の箇所に記載されるビュー共有技術を使用して、外科医は、看護師のビューを見ることができるが、典型的に、外科医は、整形外科手術と、行っている手術の骨もしくは組織の部位とに注意を集中し得るので、その外科医固有のＭＲ提示を見ていて、看護師が見ているアイテム追跡ＭＲ要素を見ていない場合がある。アイテム識別のために看護師が見ているＭＲ要素は、看護師が手術アイテムのセットを見ている時、その看護師にだけ見えてよい。

手術の記録は、安全追跡、品質管理、法令順守、手術の分析、器具もしくは他の手術アイテムを何回使用したかの追跡、器具の使用年数、器具の寿命、または他の理由のために、非常に役に立つまたは重要であり得る。手術アイテム使用の追跡に加えて、可視化デバイス２１３（または、場合によっては、ＭＲが手術で使用されない場合は、他のデバイス）は、手術中に手術アイテムの使用に関連付けられた時間をログするように、各手術アイテム使用のカウンタをログするように、手術のステップ間の時間、または、他のタイミングもしくは追跡を記録するように構成されてよい。例えば、手術アイテムの使用及び手術アイテムモニタリングを使用して、外科医が測深を行った時間量、外科医がラスピングを行った時間量、外科医が圧縮を行った時間量、外科医が表面プレーニングを行った時間量等を記録してよい。手術アイテム使用を用いて、手術の各ステップを追跡することによって、また、各手術アイテムが使用される時間を記録することによって、システムは、手術全体の非常に正確な実態を記録し得る。

追跡に有用であり得る他の事は、手術アイテムに対して行った滅菌の回数、手術アイテムを移動した回数、手術で手術アイテムを使用した回数もしくは時間量、手術アイテムが床に落ちたことを示すもの、または、手術アイテム固有のタイプの他の使用もしくは誤用を含み得る。手術ログに手術のステップを記録するために、光源Ｌ（複数可）、加速度計Ａ（複数可）、他のセンサＳ（複数可）等の高度な手術アイテム機能が、単独で、または、視覚的要素Ｖ（複数可）を使用したＭＲベースのアイテム追跡、ＭＲ可視化デバイスに取り付けられたセンサを使用した視覚的な物体検出、及び、仮想情報Ｖ（複数可）の看護師への提示を含む、複合現実技術との組み合わせで使用されてよい。

例えば、手術記録管理及び手術アイテム追跡は、手術の段階に分割されてよい。図８６～図９４は、手術の各段階について、アイテム追跡、アイテム選択及び識別、並びに、手術アイテム使用のドキュメンテーションを行い、記録する解剖学的関節形成の段階の一例を示す。図８６～図９４に記載する例は、説明目的で、肩関節形成における上腕骨とインプラントの準備を示すが、本明細書に記載の技術と類似の技術は、関節窩準備及びインプラント等の肩関節形成や、他の整形外科手術の他のステップに適用することができる。図８６～図９４及び図９５～図１０８は、特定の肩の手術ステップの態様を記載しているが、本開示の技術は、他のタイプの手術に適用されてよい。さらに、足首の手術は、患者の距骨及び脛骨のドリルによる穴開け、切断、インプラント部位の準備、インプラントの取付のための複数のツール及びジグの使用とを伴ってよく、本開示のツール追跡技術は、特に、手術で様々な異なるツールを使用する足首の手術に利用されてよい。

図８６～図９４に示す例においては、手順は、図８６に示す測深手順、図８７に示す穿孔手順、図８８に示す圧縮もしくはラスピング手順、図８９に示す表面プレーニング手順、図９０に示す保護手順、図９１及び図９２に示すトライアル手順、及び、図９３及び図９４に示すインプラント手順等の段階に分けられてよい。各段階は、複数の手術アイテムの使用を伴ってよく、本開示の技術は、各段階で使用する複数の手術アイテムの手術アイテム選択と手術アイテム識別とを支援してよい。いくつかの例では、手術アイテムのセットは、全手順に対して規定され、他の例では、手術アイテムのセットは、全手順の各段階に対して規定される。いずれの場合でも、例えば、術前計画によって規定されるように、手術アイテムのセットが規定されて、手術の現在のステップで使用される特定の手術アイテムも区別されてよい。または、この技術は、例えば、手術のステップまたは段階に対して、手術アイテムのセットの他の手術アイテムを識別することなしに一度に１つの手術アイテムを識別して、手術アイテムのセットの単一の手術アイテムを区別することができる。図８６に示す測深手順は、患者の上腕骨８６０２内の軟組織への１つまたは複数の測深器８６００の挿入を伴ってよい。図８７に示す穿孔手順は、（例えば、図８６に示す）測深器が挿入された領域の患者の上腕骨８７０２内に穿孔ツール８７００の接続及び挿入を伴ってよい。図８８に示す圧縮またはラスピング手順は、患者の上腕骨８８０２に作成された穴への１つまたは複数の圧縮ツール８８００の挿入を含んでよい。圧縮またはラスピングは、状況に応じて、長いステムまたは短いステムを用いて行われてよい。図８９に示す表面プレーニング手順は、プレーニングツール８９００を用いた患者の上腕骨８９０２上の表面プレーニングを含んでよい。図９０に示す保護手順は、保護ハードウェア９０００の患者の上腕骨９００２への取付を含んでよい。図９１及び図９２に示すトライアル手順は、追加のインプラントハードウェア９１００または９２００の患者の上腕骨９１０２または９２０２への取付を伴ってよく、図９３及び図９４に示すインプラント手順は、最後のインプラント９３００または９４００の患者の上腕骨９３０２または９４０２への取付を含んでよい。

手順が段階に分けられる場合、任意の所与の段階の最後の手術アイテムの使用を識別すると、可視化デバイス２１３は、手順の段階と共にプログラムされてよく、所与の段階が完了し、次の段階のための準備をする時であることを看護師に警告するように構成されてよい。この場合、看護師は、手術アイテムの次のセットを、手術で使用する手術アイテムの次のセットとして準備するように促されてよい。例えば、図８６に示す測深手順は、本明細書に記載のように識別及び追跡できる複数の異なるサイズの測深器の使用を伴い得るが、その測深手順終了後、看護師は、図８７に示す穿孔手順に使用する穿孔ツールのセットを準備するように可視化デバイス２１３によって促されてよい。

同様に、図８７に示す穿孔手順は、本明細書に記載のように識別及び追跡できる１つまたは複数の穿孔ツールの使用を伴い得るが、その穿孔手順終了後、看護師は、手術アイテムの次のセット、すなわち、図８８に示す圧縮に使用されるまたはラスピング手順に使用される圧縮ツールのセットを準備するように可視化デバイス２１３によって促されてよい。次に、図８８に示す圧縮またはラスピング手順も本明細書に記載のように識別及び追跡できる複数の異なるサイズの圧縮ツールの使用を伴い得るが、その圧縮またはラスピング手順終了後、看護師は、手術アイテムの次のセット、すなわち、図８９に示す表面プレーニング手順に使用される表面プレーニングツールのセットを準備するように可視化デバイス２１３によって促されてよい。可視化デバイス２１３は、手術アイテム選択、手術アイテム準備、及び手術の各ステップまたはサブステップの手順追跡を支援してよい。各ステップに対して看護師を促すことは、視覚的キュー、仮想要素または他のＭＲコンテンツの可視化デバイス２１３上への提示を含んでよい。

図９５は、測深器９５００が患者の上腕骨９５０２内に挿入される人間の上腕骨で行われる測深手順の側面概念図である。図９６は、図９５に示す手術手順で使用される異なるサイズの医療用測深器のセット９６００の図である。典型的に、測深器は、最小の測深器から最大の測深器に連続して使用される。術前計画に応じて、測深器の一部は使用されなくてよい。例えば、場合によっては、使用される最初の測深器は、手術アイテムのセットのうち最小の測深器ではない場合がある。その場合、最小の測深器は、手順で使用されなくてよい。同様に、場合によっては、使用される最後の測深器が、最大の測深器でない場合がある。その場合、最大の測深器は、手順で使用されなくてよい。使用される具体的な測深器は、術前計画によって規定されてよく、手術アイテム識別技術は、術前計画に従って手術アイテムを識別してよい。場合によっては、術前手術計画は、手術手順の所与のステップに対して使用される手術アイテムを識別してよく、可視化デバイス２１３は、手順の所与のステップの最後の手術アイテムを識別してよい。次に、最後の手術アイテムの使用を検出すると、可視化デバイス２１３は、手術手順の次のステップをユーザに対して自動的に識別してよい。

本開示によると、拡張機能（加速度計、光源、または他のセンサ等）が、本明細書に記載のアイテム識別及びアイテム追跡を可能にするために図９６に示す各測深器に含まれてよい。さらに、場合によっては、ＭＲシステム２１２は、例えば、図９６に示す各測深器上、そのまわり、またはその隣に重ねられた仮想要素を提示して、本明細書に記載のアイテム識別及びアイテム追跡を可能にしてよい。手順追跡、使用のタイミング、及び、手術アイテム使用のドキュメンテーションはまた、自動の手術アイテム識別、手順追跡、及び手術手順記録を可能にするように、ＭＲシステム２１２によって記録されてよい。

図９７は、徐々に大きくなる測深器のセット９７００を含む手術アイテムのセットの図である。本開示の技術は、測深器９７００のそれぞれで拡張機能（加速度計、光源、または他のセンサ等）を利用して、本明細書に記載のアイテム識別及びアイテム追跡を可能にしてよい。さらに、場合によっては、ＭＲシステム２１２は、測深器９７００のそれぞれで仮想要素を提示して、本明細書に記載のアイテム識別及びアイテム追跡を可能にしてよい。

図９７に示す手術アイテムのセットはまた、各サイズの測深器９７００の隣に穿孔ツールを含んでよい。手術手順に従って、特定の穿孔ツール（例えば、穿孔ツール９７０２）が、術前計画に従って使用される最大の測深器サイズに対応するとして、術前手術計画によって規定されてよい。言い換えると、図９７に示す手術アイテムのセットは、徐々にサイズが変わる穿孔ツールを含むが、穿孔ツールの１つのみが、例えば、使用される最大の測深器に対応する手順で使用されてよい。この理由のために、穿孔ステップに必要な特定の穿孔ツールのみを区別するための、例えば、可視化デバイス２１３による手術アイテム識別は、正確な手術アイテムが確実に使用されることを支援するために非常に望ましい場合がある。さらに、本明細書に記載の手術アイテム追跡及び検証は、不正確なサイズの穿孔ツールを使用するシナリオを回避するのを助け得る。図１０５は、図９７に示す手術アイテムのセットと類似の手術アイテムのセットの図である。図１０５は、例えば、手術ステップに必要な特定の手術アイテムを識別または区別するために、オーバーレイとして可視化デバイス２１３によって提示され得る１つの例示的な仮想要素１０５００を示す。図１０６は、図９７に示す手術アイテムのセットと類似の手術アイテムのセットの別の例示的な図である。図１０６は、手術手順の次のステップに必要な手術アイテムを識別または区別するために、例えば、所与の手術アイテムの矢印及び／または輪郭線として、可視化デバイス２１３によって提示される別の例示的な仮想要素１０６００を示す。図１０５及び図１０６は、仮想要素１０５００及び１０６００の２つの例を示すが、多くの他のタイプの仮想要素が、手術アイテムを識別するために可視化デバイス２１３によって使用及び提示されてよい。

図９８は、人間の上腕骨に対して行われる圧縮またはラスピング手順の側面概念図である。図９９は、徐々に大きくなる圧縮ツールのセット９９００を含む手術アイテムのセットの図である。本開示の技術は、各圧縮ツール９９００で拡張機能（加速度計、光源、または他のセンサ等）を使用して、本明細書に記載のアイテム識別及びアイテム追跡を可能にしてよい。さらに、場合によっては、ＭＲシステム２１２は、各圧縮ツール９９００上に仮想要素を提示して、本明細書に記載のアイテム識別及びアイテム追跡を可能にしてよい。

アイテムはまた、例えば、圧縮ツール９９００のハンドル９９０２への取付を必要とするアセンブリを必要とし得る。アイテムのアセンブリは、看護師が着用している可視化デバイス２１３に示される取扱説明の図、アニメーション、またはビデオによって、看護師に示されてよい。取扱説明の図、アニメーション、またはビデオの表示は、ＭＲまたはＡＲディスプレイのウィジェットまたはアイコンを選択することによって開始されてよく、その結果、このような説明がリアルタイムで必要な場合、アイテムの適切なアセンブルの仕方を看護師に示すことができる。取扱説明の図、アニメーション、またはビデオは、手順のステップを示すように提示されてよく、アイテムのアセンブリを示す取扱説明の図、アニメーション、またはビデオは、看護師にとって非常に役に立ち得る。

ラスピングツール９９００は、長いステムのラスピング要素と短いステムのラスピング要素との両方を有する両面があるツールを含んでよい。従って、（例えば、複合現実で照明による、または、仮想要素の仮想のオーバーレイによる）アイテム識別は、手順で使用すべきラスピング側（例えば、長いステムまたは短いステム）も識別してよい。これは、長いステムのラスピングが術前計画で規定されている時は長いステムのラスピングを使用するのを確実にするために、または、短いステムのラスピングが術前計画で規定されている時は短いステムのラスピングを使用するのを確実にするために、看護師にとって非常に役立ち得る。各ラスピングツールが両面を有し、手順で片側のみを使用する時、例えば、ラスピングツール内の照明または複合現実情報を介して、ラスピングツールだけでなく、ラスピングツールの使用する部分を識別することは非常に望ましい場合がある。従って、ラスピングツールは、ラスピングツールの一方の側を、ラスピングに適した側であるとして識別するように選択的に点灯するように構成されてよい、または、可視化デバイス２１３は、ラスピングツールの特定の側をラスピングに適した側であるとして識別する仮想情報を提示するように構成されてよい。手術アイテムのアセンブリも、短いステムのラスピングまたは長いステムのラスピングに関するラスピングツールのアセンブリを明瞭に示すように、（例えば、看護師の複合現実提示の取扱説明の図、アニメーション、またはビデオを介して）示されてよい。

いくつかの例では、例えば、術前計画に従って、本明細書に記載のアイテム識別技術は、測深プロセスで使用される最後の測深器より小さい３つのサイズの特定のラスピングツールを識別してよい。ラスピングは、十分な固定が達成されるまで順次行われてよい。十分な固定は、インサータのハンドルのわずかなトルク運動によって評価することができる。コンパクタまたはラスピングツールは、患者の骨の中で動くべきではない。従って、最後のラスピングツールのサイズは、術前手術計画によっては規定されず、術中プロセスの間に規定または選択され得るので、一連のラスピングツールは、可視化デバイス２１３等のＭＲデバイスを介した固有の色、視覚的効果、またはテキストオーバーレイを用いて、本開示の技術によって識別されてよい。さらに、ラスピングのためのアイテム識別技術は、手順中、十分なレベルの固定を達成し、医師によって決定され得る最後のラスピングツールのサイズを看護師に（仮想要素を介して）（テキスト、アニメーションまたはビデオで）説明または識別してよい。図１０７は、図９９に示す手術アイテムのセットと類似の手術アイテムのセットの図である。図１０７は、手術ステップに必要な特定の手術アイテムを識別または区別するために、例えば、オーバーレイとして可視化デバイス２１３によって提示され得る仮想要素１０７００及び１０７０２の１つの例示のセットを示す。仮想要素１０７００及び１０７０２は、アセンブリを必要とする場合があり、場合によっては、可視化デバイス２１３が、（看護師よって選択可能であり、必要な場合のみ示され得る）アセンブリプロセスのデモンストレーションを行う説明のビデオを提示してよい。さらに、仮想要素１０７０２は、両面のある手術要素の手術手順で使用すべき側を看護師に知らせるように、手術アイテムを識別するだけでなく、手術アイテムの側（この場合、ラスピングツールの長いステム）を識別するように構成されてよい。

図１００は、人間の上腕骨に対して行われる表面プレーニング手順の側面概念図 である。図１０１は、徐々に大きくなる表面プレーニングツール１０１００のセットを含む手術アイテムのセットの図である。本開示の技術は、各表面プレーニングツール１０１００で拡張機能（加速度計、光源、または他のセンサ等）を利用して、本明細書に記載の手術アイテム識別及び手術アイテム追跡を可能にしてよい。さらに、場合によっては、追加でまたは代替的に、可視化デバイス２１３は、各圧縮ツール９９００上に仮想要素を提示して、本明細書に記載の手術アイテム識別及び手術アイテム追跡を可能にしてよい。

表面プレーニングは、例えば、最後の測深器として使用される同様に最大サイズの測深器に対応し、且つ、使用される穿孔ツールに対応する表面プレーニングツール１０１００の１つだけの使用を伴ってよい。この理由のために、表面プレーニングステップに必要なその特定の表面プレーニングツールのみを区別する手術アイテム識別は、正確な手術アイテムが使用されることを確実にすることを支援するために非常に望ましい場合がある。さらに、本明細書に記載のアイテム追跡及び検証は、不正確なサイズの穿孔ツールが使用されるシナリオの回避を助け得る。図１０８は、図１０１に示す手術アイテムのセットと類似の手術アイテムのセットの図である。図１０８は、手術手順に必要な手術アイテムのセットを識別または区別するために、例えば、オーバーレイとして、可視化デバイス２１３によって提示され得る仮想要素１０８００及び１０８０２の１つの例示のセットを示す。この例では、仮想要素１０８０２は、所与の手術アイテムを、手術手順の現在の手術ステップで必要な手術アイテムであるとして、その手術アイテムを識別するために、他の識別される手術アイテム１０８００から区別するように構成されてよい。

図１０２は、手術手順で手術アイテムを識別する技術を示すフロー図である。図１０２の方法は、例えば、仮想要素を提示する可視化デバイス２１３を用いて、または、本明細書に記載の組み込み照明を含む手術アイテムを使用して、行われてよい。図１０２に示すように、方法は、手術アイテムのセットを視覚的に識別すること（１０２００）と、手術アイテムのセット内の特定の手術アイテムを視覚的に区別すること（１０２０２）とを含む。いくつかの例では、手術アイテムのセットを視覚的に識別することは、各手術アイテムの光源を制御することを含んでよく、特定の手術アイテムを視覚的に区別することは、特定の手術アイテムの特定の光源を含んでよい。この場合、特定の手術アイテムを視覚的に区別することは、特定の光源を固有の色で制御すること、特定の光源を固有の照明効果で制御すること、または、特定の光源を固有の照度で制御することの１つまたは複数を含んでよい。

他の例では、手術アイテムのセットを視覚的に識別することは、第１の複合現実情報を可視化デバイスに提示することを含んでよく、この場合、特定の手術アイテムを視覚的に区別することは、第２の複合現実情報を可視化デバイスに提示することを含んでよい。この例では、特定の手術アイテムを視覚的に区別することは、第２の複合現実情報を固有の色で提示すること、第２の複合現実情報を固有の効果で提示すること、または、第２の複合現実情報を固有の照度で提示することの１つまたは複数を含んでよい。上記のように、他の視覚的効果も使用されてよい。しかしながら、より一般的には、手術アイテムのセットを識別することと、特定の手術アイテムを視覚的に区別することとは、複合現実情報を提示することを含んでよい。

いくつかの例では、可視化デバイス２１３によって手術アイテム上に提示された複合現実情報は、手術アイテムの第１のサブセット、手術アイテムの第２のサブセット、及び手術アイテムの第３のサブセットを区別し、手術アイテムの第１のサブセットは、既に使用された手術アイテムに対応し、手術アイテムの第２のサブセットは、現在使用している手術アイテムに対応し、手術アイテムの第３のサブセットは、今後必要な手術アイテムに対応する。本明細書に記載のように、手術アイテムのセットは、整形外科的肩修復手術用の測深器を含んでよく、手術アイテムは、現在使用する測深器を含んでよい。

いくつかの例では、手術アイテムのセットは、整形外科的肩修復手術用の測深器と、整形外科的肩修復手術用の１つまたは複数の穿孔ツールとを含む。いくつかの例では、手術アイテムのセットは、整形外科的肩修復手術用の測深器と、整形外科的肩修復手術用の１つまたは複数の穿孔ツールと、整形外科的肩修復手術用の１つまたは複数の圧縮ツールとを含んでよい。いくつかの例では、手術アイテムのセットは、整形外科的肩修復手術用の測深器と、整形外科的肩修復手術用の１つまたは複数の穿孔ツールと、整形外科的肩修復手術用の１つまたは複数の圧縮ツールと、整形外科的肩修復手術の１つまたは複数のプレーニングツールとを含んでよい。

さらに他の例では、可視化デバイス２１３は、仮想要素を提示してよく、または、手術アイテムは、必ずしもセット全体を照らさずに、アイテムベースで本明細書に記載の組み込み照明によって識別されてよい。例えば、可視化デバイス２１３は、手順において各手術アイテムを（アイテムごとに）順次、識別するために、手術プロセスと共に順次、仮想要素を提示してよい。または、組み込まれた照明は、手順において各手術アイテムを（アイテムごとに）順次、識別するために、手術プロセスに従って各手術アイテムを順次、照らすように、外部処理デバイスによって制御されてよい。

図１０３は、手術手順において手術アイテムを識別し、手術の段階に基づいて、このような手術アイテムの識別を変更するための方法を示すフロー図である。図１０３の方法は、例えば、仮想要素を提示する可視化デバイス２１３を使用して、または、本明細書に記載の組み込み照明を含む手術アイテムを使用して、行われてよい。図１０３に示すように、方法は、手術アイテムの第１のサブセットを、手術手順で以前使用したとして視覚的に識別すること（１０３００）と、手術アイテムの第２のサブセットを、手術手順で現在使用しているとして視覚的に識別すること（１０３０２）とを含む。例えば、ＭＲを使用して可視化デバイス２１３によって、または、組み込み照明を有する手術アイテムによって行われる方法は、手術アイテムの第３のサブセットを、手術手順で今後使用するために必要であるとして視覚的に識別すること（１０３０４）をさらに含んでよい。

図１０３の例によると、医療手術の次のステップで（１０３０６の「はい」分岐）、「現在の手術アイテム」は、第２のサブセットから第１のサブセットに移動し、次の「後続の手術アイテム」が、第３のサブセットから第２のサブセットに移動する（１０３０８）。例えば、可視化デバイス２１３の１つまたは複数のプロセッサは、看護師によるフィードバック及び／または視覚的アイコン選択に基づいて手順を追跡してよく、このようなフィードバックまたはアイコン選択は、可視化デバイス２１３に、１つのセットから次のセットに手術アイテムの割当を移動させてよい。または、手術アイテムに組み込まれた照明を制御する外部プロセッサが、看護師によるフィードバックに基づいて手順を追跡するように構成されてよく、このようなフィードバックによって、外部プロセッサは、１つのセットから別のセットに手術アイテムの割当を移動させることができる。

このように、手術の段階が変わると、現在使用するために、新しい手術アイテム（すなわち、次の「後続の手術アイテム」）を看護師に対して識別するように、アイテム識別（すなわち、アイテム識別のための照明または仮想要素の提示）も同様に、変わってよい。手術アイテムを視覚的に識別する方法は、手術アイテム内のライトの使用、可視化デバイス２１３によって提示される複合現実情報の使用、または、その両方を含む本明細書に記載の例のいずれかに対応してよい。

様々な例を記載してきた。例えば、センサ、加速度計及び光源等の拡張機能を備えて設計された手術アイテムを活用する手術手順に関して、アイテム識別及び追跡技術を記載した。さらに、手術手順中のアイテム追跡及びアイテム識別に使用する複合現実技術も記載した。自動化を使用する手術手順の記録及びドキュメンテーションの技術も記載した。

本開示のアイテム識別技術は、術前計画に従って外部デバイスによって制御し得るライトを手術アイテム（例えば、ツール）上自体に使用するとして記載した。代替的にまたは追加で、複合現実を使用、例えば、可視化デバイス２１３上に１つまたは複数の仮想要素を提示して、術前計画に従って規定し得る手術手順で必要な手術アイテムを識別する本開示のアイテム識別技術を記載した。一部の状況では、しかしながら、外科医は、術前計画から外れる場合がある。この場合、本開示の技術は、外科医が行った変更に従って、アイテム識別プロセスを適合または調整してよい。さらに、手術アイテム選択及び／または手術アイテム使用を用いて、術前計画からのこのような逸脱を識別してよい。言い換えると、いくつかの例では、現在使用している手術アイテムを使用して、次に使用する可能性が高い手術アイテムを識別してよい。言い換えると、処理デバイス８３０４は、現在使用している手術アイテムに基づいて、次の手術アイテムを選択するように、且つ、次の手術アイテムを識別する仮想情報を提示するように構成されてよい。例えば、コンパクタサイズ３を使用している場合、システムはこの情報を使用して、次の手術アイテムとしてコンパクタサイズ４を勧めてよい、または、場合によっては、穿孔ツールサイズ３を使用するよう勧めてよい、または、場合によっては、外科医が次に必要とする２つの代替の手術アイテムとして強調表示してよい。手術手順で現在使用している手術アイテムは、次に使用する可能性が高い手術アイテムを高度に示す場合があり、図８３に示す例の処理デバイス８３０４または図８４に示す例の可視化デバイス２１３は、可能性の高い次の手術アイテム（または、幾つかの可能性のある手術アイテム）を現在使用中の手術アイテムに基づいて識別するように構成されてよい。

さらに、手術手順が、手術室において術前手術計画から外れる時、図８３に示す例の処理デバイス８３０４または図８４に示す例の可視化デバイス２１３は、手術プロセスが手術室において医師によって変更されたと仮定して、手術プロセスに必要となる可能性の高い異なる手術アイテムを識別するように、アイテム識別プロセスを変更または適合してよい。

例えば、図８３に示す例の処理デバイス８３０４または図８４に示す例の可視化デバイス２１３は、（例えば、可視化または外科医の仮想ガイダンスとのインタラクションによって）行っているステップを追跡し、次はどの手術ステップであるかを予測するために情報モデルを記憶してよい。次に、図８３に示す例の処理デバイス８３０４または図８４に示す例の可視化デバイス２１３は、この予測に基づいて、次に使用する手術アイテムを識別してよい。情報モデルは、ステップからの分岐を考慮する決定木を含んでよい（例えば、ステップ４は、ステップ３でどちらが起こるかに応じて、ステップ４ａまたはステップ４ｂになる）。分岐に対する手術アイテムは、異なってよく、手術アイテムは、どちらの分岐が予測されるかに従って、手術アイテム上の照明によって、または、このような手術アイテム上または、そのまわりに提示される仮想情報によって識別されてよい。このようにして、仮想ガイダンスシステムまたは照明の使用（及び、関連する情報モデル及び予測）によって、リアルタイムでの手術手順の変更により適応できるアイテム追跡方法を提供することができる。さらに、アイテム追跡は、本明細書に記載の仮想ガイダンスと同期されて、例えば、仮想ガイダンスステップに基づいてアイテム予測を提供してよい。異なる仮想ガイダンスステップに対する手術アイテム予測は、可視化デバイス２１３のメモリに（または、処理デバイス８３０４のメモリに）記憶することができる。

いくつかの例では、（手術計画の現在のステップを識別することによって）次のステップを予測するために、且つ、（現在のステップまたは現在使用している手術アイテムに基づいて）次に必要な手術アイテムを予測するために、カメラまたは他のセンサ入力に基づいて、例えば、場合によっては、機械学習を使用して外科医が所与の手術手順内のどこ（例えば、どのステップ）にいるかを学習及び予測して、アイテム予測及びアイテム識別を規定する情報モデルを規定することができる。情報モデルは、一連のステップを含んでよい、または、手術中に生じる異なるイベントに基づいて異なるシナリオを記述できるという点で、より高度な情報を含んでよい。いくつかの例では、情報モデルは、手順の次のステップを（現在のステップを識別することによって）予測するのを支援する、及び／または、次に必要な手術アイテムを（現在のステップまたは現在使用している手術アイテムに基づいて）予測するのを支援する決定木構造を規定してよい。決定木は、可視化デバイス２１３のメモリに（または、処理デバイス８３０４のメモリに）記憶することができ、この決定木に基づいて、可視化デバイス２１３は、次の手術ステップの予測を提示してよく、または、可視化デバイス２１３もしくは処理デバイス８３０４は、手術手順に必要な次の（または、可能な次のセットの）手術アイテム（複数可）の予測を提示または識別してよい。

いくつかの例では、処理デバイス８３０４は、手術手順の検出された変更に基づいて、及び、機械学習に基づいて、次の手術アイテムを選択してよく、次の手術アイテムを識別する第２の仮想情報を提示してよい。例えば、処理デバイス８３０４（または可視化デバイス２１３）は、多くの手術手順に機械学習を適用してよく、過去の手術手順で行われた決定及び変更を使用して、機械学習を駆動し、それによって、次の手術アイテムを予測してよい。場合によっては、機械学習は、特定の外科医によって行われた過去の手術手順、決定及び変更に基づいてよい。言い換えると、特定の外科医によって行われた過去の手術手順、決定及び変更は、メモリに記憶されてよく、次の手術アイテムの予測を支援できる機械学習アルゴリズムを駆動するためのデータとして使用されてよい。このようにして、機械学習は、所与の手順に対して必要な次の手術アイテムの予測を支援することができ、予測は、特定の外科医によって行われた過去の手術手順、決定及び変更等、履歴データに基づいてよい。場合によっては、様々な外科医の履歴データが、この機械学習に使用されてよい、例えば、それによって、多くの外科医によって行われた過去の手術手順、決定及び変更を使用して、次の手術アイテムの予測を支援できる機械学習アルゴリズムを駆動することができる。例えば、特定の変更が、手術室で手術計画に対して行われ、同様の変更が、１つまたは複数の以前の手術で手術計画に対して行われていた場合、（外科医が変更を行った後）以前の手順の後続のステップで使用された手術アイテムは、現在の手術手順の同様の後続のステップで必要とされる手術アイテムの十分な予測となり得る。機械学習アルゴリズムを実施することによって、処理デバイス８３０４（または、可視化デバイス２１３）は、手順に必要な手術アイテムを、その手順が術中に変更された後、予測するように構成されてよい。

一例として、決定木は、上腕骨準備に対して規定されてよく、解剖学的準備のための仮想ガイダンス及び手術アイテム選択には、逆解剖学的準備（reverse anatomical preparation）とは異なる分岐を提供してよい。外科医が、手術室で計画を変更、例えば、解剖学的修復のための術前手術計画から逆解剖学的修復に変更する場合、可視化デバイス２１３は、次の手術ステップの予測を調整してよい、または、可視化デバイス２１３または処理デバイス８３０４は、手術に必要な次の（または、次の可能なセットの）手術アイテム（複数可）の予測を調整してよい。

別の例として、可視化デバイス２１３及びセンサを備えた高度な手術アイテムは、実際の手術パラメータを外科医が実際に行ったことに基づいて、ドキュメンテーションしてよく、仮想ガイダンス及び／または手術アイテム選択の予測は、術前手術計画に規定されたものから手術室で実際に行われているものに変更されてよい。

さらに別の例として、アイテム予測は、使用している手術アイテムのサイズにリンクされてよい。従って、特定のサイズが以前のステップで使用された場合、次の手術アイテムは、同じサイズの異なる手術アイテムまたは異なるサイズの類似の手術アイテムが選択される必要がある。手術アイテム予測は、現在使用されている手術アイテムに基づいてよく、場合によっては、現在使用中の手術アイテムのサイズに基づいてよい。さらに、使用される手術アイテムまたは手術アイテムサイズが、術前計画で規定された手術アイテム及びサイズに対して手術室で変更される場合、可視化デバイス２１３は、次の手術ステップの予測を調整してよい、または、可視化デバイス２１３もしくは処理デバイス８３０４は、手術に必要な次の（または、可能な次のセットの）手術アイテム（複数可）の予測を調整してよい。可視化デバイス２１３上の仮想ガイダンスの及び仮想提示のこれらの及び他の例は、Ｗｒｉｇｈｔ Ｍｅｄｉｃａｌ社製のＢＬＵＥＰＲＩＮＴ（商標）システムのようなソフトウェアシステムを介して実施されてよい。

手術アイテムの特定のセットは、例示目的で記載及び示した。しかしながら、この技術は、広範な手術手順及び広範な手術アイテムに有用であり得る。この技術は、肩の手術、足首の手術、膝の手術、股関節手術、手首の手術、手もしくは指の手術、足もしくは足指の手術、または、任意の関節修復手術またはオーグメント使用（augmentation）等の整形外科手術にとって特に有用であり得る。この技術は、広範な整形外科手術で有用であり得るが、解剖学的または逆解剖学的肩再建手術の両方で特に有用であり得る。実際、この技術は、逆肩関節形成、オーグメント使用（augmented）逆肩関節形成、標準的な全肩関節形成、オーグメント使用（augmented）全肩関節形成、半球肩手術（hemispherical shoulder surgery）、または他のタイプの肩の手術に役立ち得る。図８６～図１０８は、特定の肩の手術ステップの態様を記載するが、本開示の技術は、他のタイプの肩の手術に適用されてよい。さらに、足首の手術は、ドリルによる穴開け、切断、インプラント部位の準備と、インプラントを患者の距骨及び脛骨に取り付けるために複数のツール及びジグの使用を伴い得るので、本開示のツール追跡技術が、特に、様々な異なるツールが手順で使用される足首の手術に利用されてよい。これらの及び他の例は、本開示の範囲内にある。

関節を損傷した患者は、関節に関連する手足の可動域に制限を受けることが多い。例えば、左肩を損傷した患者は典型的に、肩を損傷していない人にとって一般的な角度及び位置の範囲まで左腕を動かすことができない。別の例では、足首を損傷した患者は、患者の下腿に対して特定の角度以上に足を上げ下ろしできない場合がある。このような損傷は、関節炎、スポーツによる怪我、外傷等の様々な状態及び出来事によって引き起こされ得る。

術前フェーズ３０２中（図３）、ヘルスケア専門家は、患者の状態の評価の一部として、関節に関連する手足の可動域を評価してよい。例えば、ヘルスケア専門家は、関節に関連する手足の可動域に基づいて、患者の関節の損傷の重症度または損傷のタイプを判断できる場合がある。さらに、ヘルスケア専門家は、手足の可動域で、手足に関連する関節の患者が痛みを感じる点を特定するために、患者に質問を行ってよい。

患者が手足に関連する関節に手術を受けた後（すなわち、術後フェーズ３０８中、ヘルスケア専門家は、手足の可動域を調べたい場合がある。例えば、手足は一般的に、術後直ぐは可動性が制限されるが、手足の可動域は、患者が治るにつれて、増加しなければならない。特定の時間ウィンドウ内で患者の手足が期待される可動域に達しないことは、追加の介入または理学療法が必要な可能性があるというサインであり得る。従って、追加の介入または理学療法が必要であるかどうかをチェックするために、患者は一般的に、ヘルスケア専門家を訪れ、ヘルスケア専門家は、手足の可動域を診察してよい。

ある例では、手足の可動域が完全になるチャンスを増やすのを助けるために、患者は、患者が特定の方法で手足を動かすことを必要とする理学療法を受ける場合がある。例えば、理学療法士は、患者に特定の可動域で手足を動かすように要求する場合がある。いくつかの例では、術後フェーズ中、患者は、理学療法士または他のヘルスケア専門家が存在する場所以外に理学療法の運動を家庭でも行うことを要求される場合がある。例えば、患者が左肩に肩関節形成術を受けた例では、患者は、患者が患者の矢状面、前頭面、または横断面に対して特定の角度まで左腕を動かそうと試みることを伴う理学療法運動を指示される場合がある。

関節に関連する手足の可動域の評価を行う時にヘルスケア専門家と患者は、様々な問題に直面する。例えば、術前フェーズ３０２及び術後フェーズ３０８中（図３）、ヘルスケア専門家が手足の可動域を正確に測定し評価することは難しい場合がある。さらに、患者が手足に関連する関節に痛みを感じる手足の位置をヘルスケア専門家が正確に記録することは難しい場合がある。同様に、患者が決められた可動域で手足を動かしているかどうかを患者が知ることは難しい場合がある。さらに、理学療法、または、ヘルスケア専門家による診察に頻繁に通院することは、患者にとって不便であり、費用がかかる場合がある。しかしながら、このような通院をインタラクティブな遠隔治療セッションまたは遠隔モニタリングによって回避することは困難であり得る。なぜならば、訓練された身体介助なく、患者が指定された角度に正確に手足を動かすことは難しい場合があり、患者が可動域を正確に説明することは難しい場合があり、且つ、患者が痛みを感じる手足の位置を説明することも難しい場合があるからである。さらに、患者が提供した可動域及び痛みに関する情報をヘルスケア専門家が解釈及び検証することも困難な場合がある。例えば、ヘルスケア専門家が患者が提供した情報から、患者が提供した情報が間違っているかどうか、または、実際に介入の必要があるかどうかを知ることも難しい場合がある。

本開示は、これらの問題の１つまたは複数に対処し得る技術を記載する。例えば、本開示の例によると、コンピューティングシステムは、患者の手足に接続された動作追跡デバイスの動きを記述する動作データを取得してよい。この例では、コンピューティングシステムは、動作データに基づいて、手足の可動域を決定してよい。さらに、この例では、コンピューティングシステムは、患者または患者のアバタに重ね合わせられた手足の可動域のエクステンデッドリアリティ可視化を生成してよい。手足の可動域のエクステンデッドリアリティ可視化を見ることによって、患者とは別個のユーザ、または、患者に加えてユーザが、手足の可動域を可視化及び説明することができ得る。可動域のエクステンデッドリアリティ可視化は、複合現実（ＭＲ）可視化または仮想現実（ＶＲ）可視化であってよい。

図１０９は、本開示の技術による、患者の手足の可動域のエクステンデッドリアリティ可視化を生成するための例示のシステム１０９００を示すブロック図である。図１０９の例に示すように、システム１０９００は、コンピューティングシステム１０９０２と、１つまたは複数のエクステンデッドリアリティ（ＸＲ）可視化デバイス１０９０４Ａ～１０９０４Ｎのセット（集合的に、「ＸＲ可視化デバイス１０９０４」）と、動作追跡デバイス１０９０６とを含む。他の例では、システム１０９００は、より多い、より少ない、または異なるデバイス及びシステムを含んでよい。いくつかの例では、コンピューティングシステム１０９０２、ＸＲ可視化デバイス１０９０４、及び動作追跡デバイス１０９０６は、インターネット等の１つまたは複数の通信ネットワークを介して通信してよい。いくつかの例では、動作追跡デバイス１０９０６は、コンピューティングシステム及び／または１つまたは複数のＸＲ可視化デバイス１０９０４と直接無線通信リンクを介して通信してよい。

コンピューティングシステム１０９０２は、サーバコンピュータ、パーソナルコンピュータ、スマートフォン、ラップトップコンピュータ、及び他のタイプのコンピューティングデバイス等、様々なタイプのコンピューティングデバイスを含んでよい。図１０９の例では、コンピューティングシステム１０９０２は、１つまたは複数の処理回路１０９０８、データストレージシステム１０９１０、及び１つまたは複数の通信インタフェース１０９１２Ａ～１０９１２Ｎのセット（集合的に、「通信インタフェース１０９１２」）を含む。データストア１０９１０は、動作データ等のデータを記憶するように構成される。通信インタフェース１０９１２は、コンピューティングシステム１０９０２が、ＸＲ可視化デバイス１０９０４及び動作追跡デバイス１０９０６等、他のコンピューティングシステム及びデバイスに（例えば、無線または有線で）通信するのを可能にし得る。説明を簡単にするために、本開示は、処理回路１０９０８、データストア１０９１０、及び通信インタフェース１０９１２が行うアクションを、コンピューティングシステム１０９０２が全体として行うとして記載する場合がある。

整形外科手術システム１００（図１）の様々なコンピューティングシステムは、コンピューティングシステム１０９０２を含んでよい。例えば、仮想計画システム１０２、術前及び術後モニタリングシステム１１２、及び／または整形外科手術システム１００の他のサブシステムは、コンピューティングシステム１０９０２を含んでよい。いくつかの例では、ＸＲ可視化デバイス１０９０４の１つまたは複数は、コンピューティングシステム１０９０２の１つまたは複数のコンポーネントを含む。例えば、ＸＲ可視化デバイス１０９０４の１つまたは複数は、コンピューティングシステム１０９０２の処理回路１０９０８の１つまたは複数を含んでよい。従って、いくつかの例では、コンピューティングシステム１０９０２によって行われているとして本開示に記載されているアクションの一部または全ては、ＸＲ可視化デバイス１０９０４の１つまたは複数の処理回路によって行われてよい。いくつかの例では、ＸＲ可視化デバイス１０９０４は、ＭＲ可視化デバイス２１３（図２）等のＭＲ可視化デバイスを含む。いくつかの例では、ＸＲ可視化デバイス１０９０４は、ＶＲ可視化デバイスを含む。

動作追跡デバイス１０９０６は、患者の手足の動きを検出するように構成されたデバイスである。例えば、いくつかの例では、動作追跡デバイス１０９０６は、患者の手足に接続され、動作追跡デバイス１０９０６の動きを検出するデバイスを含んでよい。動作追跡デバイス１０９０６は、例えば、複数の次元（例えば、３次元）で動作追跡デバイス１０９０６の加速を追跡する慣性計測装置（ＩＭＵ）を有するデバイスであってよい。いくつかの例では、ＩＭＵはまた、（例えば、重力ベクトルまたは磁極に対する）動作追跡デバイス１０９０６の向きを追跡してよい。動作追跡デバイス１０９０６は、様々なタイプのデバイスであってよい、または、それらを含んでよい。例えば、動作追跡デバイス１０９０６は、スマートウォッチ、スマートフォン、リング、ブレスレット、アンクレット、ヘッドマウントデバイス、眼鏡、特殊用途の動作追跡デバイス、またはデバイスの動きを検出するように構成された他のタイプのデバイスであってよい、または、これらを含んでよい。

動作追跡デバイス１０９０６が、患者の手足に接続され、動作追跡デバイス１０９０６の動きを検出するデバイスである、または、それを含む例では、動作追跡デバイス１０９０６は、様々な方法で患者の手足に接続されてよい。例えば、動作追跡デバイス１０９０６は、手首、足首、大腿部、足、足指、指、頭、膝、ふくらはぎ、上腕、手、顎、または患者の他の身体の部分に接続されてよい。動作追跡デバイス１０９０６は、様々な方法で患者の手足に接続されてよい。例えば、動作追跡デバイス１０９０６は、患者が手に持ってよい（例えば、患者が患者の片方の手に動作追跡デバイス１０９０６を持っている場合である）、患者にストラップで留めてよい（例えば、動作追跡デバイス１０９０６が、患者の手首または足首に着用されている時である）、接着剤で取り付けられてよい、重力及び／または圧迫によって患者に載せられていてよい（例えば、動作追跡デバイス１０９０６が眼鏡またはヘッドウェアを含む時である）、圧迫によって適所に保持されてよい（例えば、リングまたはクランプとして着用されている時である）、または、動作追跡デバイス１０９０６が患者の手足と共に動くように他の方法で患者の手足に接続されてよい。いくつかの例では、動作追跡デバイス１０９０６は、較正位置（例えば、腕を真っ直ぐ下ろす）で動きを開始し、較正位置に対する動きを追跡するように患者に指示してよい。

いくつかの例では、動作追跡デバイス１０９０６は、１つまたは複数のカメラまたは手足の動きを視覚的に検出する他のデバイスを含んでよい。例えば、いくつかの例では、１つまたは複数のカメラは、患者が着用するＸＲ可視化デバイスに組み込まれてよい。１つまたは複数のカメラが患者が着用するＸＲ可視化デバイスに組み込まれたいくつかの例では、患者は、カメラが患者の手足の動きの画像をキャプチャできるように、鏡の前にいる必要があり得る。

本開示の例によると、コンピューティングシステム１０９０２は、患者の手足の動きを記述する動作データを取得してよい。例えば、コンピューティングシステム１０９０２は、患者の手足の動きの間、動作追跡デバイス１０９０６のＩＭＵによって生成されたＩＭＵ信号を含む動作データを取得してよい。いくつかの例では、コンピューティングシステム１０９０２は、患者の手足の動きを示すビデオデータを取得してよい。いくつかの例では、ストレージシステム（例えば、ストレージシステム２０６、メモリ２１５等）は、動作データを記憶してよい。

コンピューティングシステム１０９０２は、動作データに基づいて、手足の可動域を決定してよい。例えば、コンピューティングシステム１０９０２は、ＩＭＵ信号に基づいて、手足の動作中、動作追跡デバイス１０９０６がどのくらい移動するかを決定してよい。この例では、動作追跡デバイス１０９０６の手足に関連する関節からの事前に決定した距離に基づいて、コンピューティングシステム１０９０６は、手足の可動域を次式のように決定してよい

上記等式において、ｌは、動作追跡デバイス１０９０６が手足の動作中に移動した距離、ｒは、手足に関連する関節から動作追跡デバイス１０９０６までの距離である。コンピューティングシステム１０９０２が患者の手足の動きを示すビデオデータを取得する例では、コンピューティングシステム１０９０２は、手足の主軸を識別するために、いくつかの例では、患者の適用可能な軸（例えば、前頭軸、左右軸、矢状軸等）を識別するために、ビデオデータに画像分析を適用してよい。例えば、コンピューティングシステム１０９０２は、訓練されたニューラルネットワーク（例えば、畳み込みニューラルネットワーク）を適用して、手足を含む画像内の領域を認識してよい。この例では、コンピューティングシステム１０９０２は次に、認識された領域の最も長い寸法を手足の主軸として決定してよい。いくつかの例では、コンピューティングシステム１０９０２は、適用可能な軸を示すユーザ入力を示すものを受信してよい。いくつかの例では、コンピューティングシステム１０９０２は、ニューラルネットワーク（例えば、畳み込みニューラルネットワーク）を適用して、適用可能な軸を決定してよい。このような例では、コンピューティングシステム１０９０２は、これらの軸を比較して可動域を画定する角度を決定してよい。

手足の異なる動きの範囲が、重要な場合がある。例えば、図１１０は、患者の肩で生じる患者の右腕の例示的な動作を示す概念図である。図１１０に示すように、患者が腕を矢状面で上方に上げると屈曲が生じ、患者が腕を矢状面で下方に下げると、伸展が生じる。患者が肩関節を通る前頭面を超えて矢状面で腕を動かすと、過伸展が生じる。さらに、図１１０に示すように、外転は、前頭面で身体の中心から離れるように腕を上げる。内転は、前頭面で身体の中心に向かうように腕を動かす。図１１０に示すように、内旋／内側への回転と外旋／外側への回転とは、腕を肩で回転させた時に生じる。

いくつかの例では、患者は、（例えば、動作追跡デバイス１０９０６によって）あるタイプの動きを行うように指示されてよく、患者は、あるタイプの動きを行うように促されたことに応答して、動きを行ってよい。例えば、動きのタイプは、手足に関連する関節を通る面での手足の動きであってよい。例として、肩の可動域に関して、患者は、（例えば、動作追跡デバイス１０９０６によって）第１の運動で、屈曲点から伸展点まで、可能な場合は、過伸展点まで腕を動かすように指示され、第２の運動で、外転点から内転点まで腕を動かすように指示され、第３の運動で、外旋点／外側への回転点から内旋点／内側への回転点まで腕を動かすように指示されてよい。別の例では。足首の可動域について、患者は、（例えば、動作追跡デバイス１０９０６によって）１つの運動で、底屈点から背屈点まで足を動かすように指示されてよい。

各運動の間、動作追跡デバイス１０９０６は、これらの点を追跡して、患者の可動域の表現を形成してよい。例えば、外転から内転、または、その逆の動きを行うように患者に指示すると、動作追跡デバイス１０９０６は、整形外科医、理学療法士、または他のユーザが見直すために、外転の最大点と内転の最大点を示すデータを記録してよい。別の例では、底屈から背屈への動きを行うように患者に指示すると、動作追跡デバイス１０９０６は、底屈の最大点と背屈の最大点を示すデータを見直しのために記録してよい。例えば、動作追跡デバイス１０９０６は、特定の面に対する最大点の角度、最大点の極座標、最大点の球座標、最大点のデカルト座標、または最大点を示す他のタイプのデータを記録してよい。例えば、一例では、動作追跡デバイス１０９０６が移動する距離と動作追跡デバイス１０９０６の手足に関連する関節からの距離とに基づいて、動作追跡デバイス１０９０６は、適用可能な平面に対する角度を（例えば、上記等式を用いて）決定してよく、それによって、動作追跡デバイス１０９０６の手足に関連する関節からの距離と角度とによって規定される一対の極座標を決定してよい。動作追跡デバイス１０９０６は同様に、整形外科医、理学療法士、または他のユーザが見直すために、動作追跡デバイス１０９０６の指示で患者が行う対応する運動中の屈曲及び伸展の最大点の相対座標または絶対座標と、外旋／外側への回転及び内旋／内側への回転の最大点の相対座標または絶対座標とを記録してよい。

患者は、複数の次元で手足に関連する関節（articulation of a joint）を必要とするタイプの動きを行うように（例えば、動作追跡デバイス１０９０６によって）指示されてよい。例えば、患者は、手を反対側の位置に動かす、腕を髪を解くように動かす（または、他の方法で手を頭に持って来る）、または動きを行っている関連する腕の近くの患者の身体の後ろポケット（または、臀部）に手を置く等、日常の活動に関連する動きを行うように指示されてよい。これらの一般的な動きのそれぞれについて、動作追跡デバイス１０９０６は、整形外科医、理学療法士、または他のユーザが見直すために、これらの動きのそれぞれに関連付けられた相対座標または絶対座標を記録してよい。患者の他の関節もしくは手足または他の身体の部分の類似の一般的な動きに関連付けられた可動域を評価してよい。

さらに、コンピューティングシステム１０９０２は、手足の可動域のＸＲ可視化（例えば、ＭＲ、ＡＲまたはＶＲ可視化）を生成してよい。ＸＲ可視化デバイス１０９０４は、ユーザに表示するために、手足の可動域のＸＲ可視化を出力してよい。ＸＲ可視化デバイス１０９０４は、手足の可動域のＸＲ可視化が患者または患者のアバタの画像に重ね合わせられるように、手足の可動域のＸＲ可視化を出力してよい。いくつかの例では、患者の画像は、患者に直接または間接に反射する光によって形成された画像である。患者に間接的に反射する光によって形成された画像は、患者に反射した後、ＸＲ可視化デバイス１０９０４の１つまたは複数の１つまたは複数のカメラによって検出される前に、鏡によって反射されてよい。いくつかの例では、患者の画像は、患者の以前キャプチャされた２次元または３次元の画像である。患者のアバタは、患者を表す仮想の人間の姿であってよい。

いくつかの例では、可動域のＸＲ可視化は、可動域のＸＲ可視化の一部の目に見える部分が患者の画像または患者のアバタに重なるようにユーザに見えるように、患者の画像または患者のアバタに重ね合わせられる。いくつかの例では、ＸＲ可視化の任意の目に見える部分が患者の画像または患者のアバタに重なるようにユーザに見えるかどうかに関わらず、患者の画像または患者のアバタを含むシーンに可動域のＸＲ可視化が重ねられるという意味で、可動域のＸＲ可視化は、患者の画像または患者のアバタに重ね合わせられる。

手足の可動域のエクステンデッドリアリティ可視化は、様々な形態を有してよい。例えば、一例では、手足の可動域のＸＲ可視化は、手足の可動域の最も遠い点の間の角度にわたる仮想弧を含んでよい。いくつかの例では、仮想弧の焦点は、手足に関連する関節に位置してよい。この例では、手足が患者の左腕である場合、仮想弧は、患者の左肩のまわりの空間領域と重なって見えてよく、仮想弧の焦点は、患者の左肩関節に位置してよい。仮想弧の両端は、患者の身体の前頭面（例えば、外転及び内転中）、矢状面（例えば、屈曲及び伸展中、または内旋及び外旋中）、または患者の身体の他の平面等、患者の身体の特定の面で患者が左腕を動かすことができる限界に対応し得る。

手足の可動域のＸＲ可視化がこのような仮想弧を含むいくつかの例では、仮想弧は、ラベル付きの角度を有する仮想分度器と関連付けられてよい。一部のこのような例では、仮想分度器のラベル付きの角度は、患者の身体の面または軸に対してであってよい。例えば、手足が患者の左腕であり、可動域が患者の前頭面である場合（例えば、外転及び内転中）、角度は、患者の左肩関節を通る前頭軸に対する角度であってよい。手足が患者の左腕であり、可動域が患者の矢状面である場合（例えば、屈曲及び伸展中）、角度は、患者の左肩関節を通る縦軸に対する角度であってよい。

仮想？分度器のラベル付きの角度は、仮想弧の両端の角度を含んでよい。いくつかの例では、仮想分度器のラベル付きの角度は、仮想弧の両端の角度の間の中間の角度を含んでよい。いくつかの例では、ラベル付きの角度は、ＸＲ可視化で目に見えてよいが、仮想弧自体は、ＸＲ可視化で目に見えない。いくつかの例では、仮想分度器は、仮想弧に組み込まれる、または、仮想弧とは別個である。複数の仮想弧があるいくつかの例では、仮想弧の全てに対して１つの仮想分度器があってよい、または、仮想弧の２つ以上に対して別個の仮想分度器があってよい。

さらに、手足の可動域のＸＲ可視化が仮想弧を含むいくつかの例では、１つまたは複数のＸＲ可視化デバイス１０９０４は、仮想弧の焦点から半径上にあり、且つ仮想弧の平面上にある現在の線を出力してよい。このような例では、コンピューティングシステム１０９０２は、現在の線が患者が仮想弧の平面で手足を動かすと、手足の主軸とリアルタイムで整列したままになるように、現在の線を更新する。このようにして、患者は、仮想弧に対する手足の現在の角度をより良く可視化できてよい。コンピューティングシステム１０９０２は、現在の線のＸＲ可視化を生成する時、ＩＭＵ信号及び／またはビデオデータ等、動作データを使用して、手足の現在の位置を決定してよい。いくつかの例では、コンピューティングシステム１０９０２は、患者が手足を動かすと、現在の線の位置を記録してよい。

ＸＲ可視化デバイス１０９０４は、可動域のＸＲ可視化を様々なユーザに提示してよい。例えば、いくつかの例では、ＸＲ可視化デバイス１０９０４の１つは、可動域のＸＲ可視化を患者に提示してよい。例えば、患者は、ＭＲ、ＡＲまたはＶＲ可視化デバイス等、ＸＲ可視化デバイスを着用、または他の方法で使用してよい。患者が使用するＸＲ可視化デバイスがＭＲ可視化デバイスである場合、ＭＲ可視化デバイスは、可視化デバイス２１３であってよい。この例では、患者がＸＲ可視化デバイスを着用または他の方法で使用しながら、関節を見ると、ＸＲ可視化デバイスは、手足に関連する関節の可動域のＸＲ可視化を提示する。患者がＸＲ可視化デバイスを着用または他の方法で使用する別の例では、患者は、鏡の前に立ってよい。この例では、ＸＲ可視化デバイスは、患者の反射像、または患者の反射像に基づいて作成された患者のアバタに重ね合わせられた可動域のＸＲ可視化を提示してよい。これは、患者の肩または首に関する場合のように、ユーザが関節または関節の可動域を特定の方向で直接見るのが難しい時、特に有用であり得る。

ＸＲ可視化デバイスがＸＲ可視化を患者に提示する例では、エクステンデッドリアリティ可視化は、患者が達成する手足の実際の可動域の最も遠い点の間の角度にわたる第１の仮想弧を含んでよい。この例では、ＸＲ可視化はまた、手足の目標可動域の最も遠い点の間の角度にわたる第２の仮想弧を含んでよい。例えば、患者の左肩関節を通る前頭面で患者の左腕の以前記録された可動域は、患者の左肩関節を通る前頭軸に対して、－９０度～１０度の範囲であってよい。

従って、この例では、第１の仮想弧は、－９０度～１０度にわたってよい。この例では、－９０度は、患者の左腕が体側でだらりと垂れ下がっていることに対応してよく、１０度は、患者の左腕が水平よりわずかに上であることに対応してよい。しかしながら,患者の術後のリハビリテーションまたは術後評価の一部として、患者は、患者の左腕を前頭面で－９０度～２０度の範囲を動かそうと試みるように促されている場合がある。従って、この例では、第２の弧は、－９０度～２０度にわたってよい。いくつかの例では、第１の仮想弧と第２の仮想弧は色が異なっている。いくつかの例では、第１の仮想弧は、第２の仮想弧のセグメントとして、ＸＲ可視化で提示されてよい。

いくつかの例では、手足の目標可動域は、健康な人の一般的な可動域である。いくつかの例では、手足の目標可動域は、術後回復プロセスの特定の時点での患者の一般的な可動域である。いくつかの例では、手足の目標可動域は、ヘルスケア専門家、またはＷｒｉｇｈｔ Ｍｅｄｉｃａｌ社製のＢＬＵＥＰＲＩＮＴ（商標）等のプラニングソフトウェアによって決定され得る患者固有の可動域である。患者は、ＸＲ可視化で第２の仮想弧を認識できるので、目標可動域の最大の角度を書面または口頭で告げられるだけよりも、自分が目標可動域を達成できるかどうかをより良く判断し得る。

上記のように、目標可動域は、患者に固有であってよい。従って、一例では、第１の患者に固有の第１の目標可動域があってよい。この例では、コンピューティングシステム１０９０２は、第２の患者の手足の動きを記述する動作データを取得してよい。さらに、この例では、コンピューティングシステム１０９０２は、動作データに基づいて、第２の患者の手足の可動域を決定してよい。コンピューティングシステム１０９０２はまた、この例では、第２の患者が着用するエクステンデッドリアリティ可視化デバイスに表示するために、第２の患者または第２の患者のアバタの画像に重ね合わせられる第２の患者の手足の可動域の第２のＸＲ可視化を生成してよい。第２のＸＲ可視化は、第２の患者の手足の第２の目標可動域の最も遠い点の間の角度にわたる仮想弧を含んでよい。第２の目標可動域は、第１の目標可動域と異なる。

いくつかの例では、患者は、上記例の第２の仮想弧によって表される目標可動域等、手足の目標可動域の最も遠い点まで手足を動かそうと試みるように促されてよい。患者は、様々な方法で目標範囲の最も遠い点に達するように手足を動かそうと試みるように促されてよい。例えば、コンピューティングシステム１０９０２は、患者が着用するＸＲ可視化デバイスの１つまたは複数のスピーカに目標可動域で手足を動かすように患者を促す音を出力させてよい。いくつかの例では、コンピューティングシステム１０９０２は、書かれたプロンプトが、患者に提示するＸＲ可視化に現れるようにしてよい。

いくつかの例では、患者は、ヘルスケア専門家を積極的に関与させない事前にプログラムされた診断または理学療法セッションの一部として促されてよい。いくつかの例では、スマートフォン、または患者が使用する他のデバイスが、理学療法運動を行うように患者を促してよい、または、目標可動域を指定してよい。スマートフォン、スマートウォッチ、または他のデバイスはまた、可動域の記録に使用される動作追跡デバイス１０９０６であってよく、よって、可動域運動を行うプロンプトまたは指示を患者に発することと、結果としての動作を表すデータを記録することの二重の目的を行う。詳細には、指定された可動域運動の手足の動き中、スマートフォンは患者が手に持ってよい、または、スマートウォッチまたは他のウェアラブルは、患者が着用してよい。

患者は、様々なイベントに応答して、目標範囲の最も遠い点に達するように手足を動かそうと試みるように促されてよい。例えば、患者及びヘルスケア専門家を含むインタラクティブなセッション中、コンピューティングシステム１０９０２は、手足の目標範囲の最も遠い点に達するように手足を動かそうと試みるように患者を促すユーザ入力（例えば、音声コマンド、マウスクリック、タップ等）の指示をヘルスケア専門家から受信してよい。この例では、コンピューティングシステム１０９０２は、ヘルスケア専門家からのユーザ入力の指示に応答して、目標範囲の最も遠い点に達するように手足を動かそうと試みるように患者に促してよい。いくつかの例では、患者及びヘルスケア専門家を含むインタラクティブな対面または遠隔の治療セッション中、ヘルスケア提供者は、口頭で患者を促してよい。

患者は、様々なデバイスからプロンプトを受信してよい。例えば、動作追跡デバイス１０９０６は、患者を促してよい。例えば、動作追跡デバイス１０９０６がスマートフォンまたはスマートウォッチである例では、動作追跡デバイス１０９０６は、プロンプトを含む画面上メッセージを表示してよい。いくつかの例では、動作追跡デバイス１０９０６は、手足の動きのタイプを行うように患者を促す音声を出力生成してよい。さらに、いくつかの例では、患者が着用するＸＲ可視化デバイスが、患者を促してよい。一部のこのような例では、動作追跡デバイス１０９０６及び／またはＸＲ可視化デバイスは、コンピューティングシステム１０９０２によって生成された信号に応答して、このようなプロンプトを生成してよい。

患者が受信するプロンプトは、様々なタイプの情報を含んでよい。例えば、プロンプトは、患者が行うべき運動を説明するテキスト、ビデオ及び／または音声を含んでよい。患者が着用するＸＲ可視化デバイスがプロンプトを提示する例では、ＭＲまたはＡＲ可視化はプロンプトを含んでよい。

上記のように、患者及びヘルスケア提供者が直面する問題の１つは、患者が可動域で手足を動かす時、痛みを感じる点を患者が正確に言い表のは難しい場合があることである。患者が痛みを感じる点を知ることは、ヘルスケア提供者（及び／またはＡＩベースの診断ツール）が患者の状態に関して知ることを支援し得る。このような問題に対処するために、コンピューティングシステム１０９０２は、ＸＲ可視化を患者に提示するいくつかの例で、可動域内の１つまたは複数の痛み点を示すユーザ入力の指示を受信してよい。患者は、手足が痛み点にある時、痛みを感じ得る。従って、患者は、手足が患者が痛みを感じる可動域内のポイントにある時、ユーザ入力による指示を提供してよい。ユーザ入力の指示を受信することに応答して、コンピューティングシステム１０９０２は、動作データに基づいて、痛み点を示すデータを生成してよい。ここで、痛み点とは、患者が痛みを感じる患者の手足の位置（複数可）である。

例えば、手足が患者の左腕であり、コンピューティングシステム１０９０２が、患者が左腕を左肩関節を通る前頭軸の上に１０度上げた時にユーザ入力の指示を受信する場合、コンピューティングシステム１０９０２は、患者の左腕が冠状軸より１０度上にある時、患者は痛み点を有すると判断してよい。この例では、患者は、患者の左腕が前頭軸より１０度上にある時、痛みが生じると指定する必要はない。そうではなく、患者は、患者が痛みを感じる時、入力するだけでよく、コンピューティングシステム１０９０２が、患者が痛みを感じた時、患者の左腕の角度が１０度であったと決定する。この技術を用いなければ、患者の左腕が前頭軸より１０度上にある時、痛み点が生じると患者が正確に言う事は難しい場合がある。コンピューティングシステム１０９０２は、（例えば、コンピューティングシステム１０９０２のデータストレージシステム１０９１０に）痛み点を示すデータを記憶してよい。

コンピューティングシステム１０９０２は、１つまたは複数の方法で、痛み点に対するユーザ入力の指示を受信してよい。例えば、コンピューティングシステム１０９０２は、患者が痛みを感じるポイント手足を動かした時、（例えば、患者が着用するＸＲ可視化デバイスのマイクロフォン、動作追跡デバイス１０９０６のマイクロフォン、または他のデバイスのマイクロフォンを介して）患者から口頭による指示を受信してよい。例えば、この例では、患者が痛みを感じるポイントに手足を動かした時、患者は、「痛い」と言ってよい。別の例では、コンピューティングシステム１０９０２は、可動域の現在のポイントでユーザが痛みを感じたことを示すジェスチャ（例えば、ハンドジェスチャ、ヘッドジェスチャ等）をユーザが行っていることを示すビデオデータを（例えば、患者が着用するＸＲ可視化デバイスの１つまたは複数のカメラを介して）受信してよい。他の例では、コンピューティングシステム１０９０２は、タッピングジェスチャ、ボタン押し下げ、または他の形式のユーザ入力等、ユーザ入力の指示を受信してよい。

いくつかの例では、ＸＲ可視化デバイス１０９０４の１つまたは複数は、可動域のエクステンデッドリアリティ可視化を、医師、外科医または看護師等、１人または複数のヘルスケア専門家に提示してよい。言い換えると、ＸＲ可視化デバイスは、ヘルスケア専門家によって着用されてよい。例えば、ヘルスケア専門家及び患者は、ヘルスケア専門家が１つまたは複数のＸＲ可視化デバイス１０９０４を着用または他の方法で使用しているインタラクティブなセッションに参加してよい。この例では、ヘルスケア専門家及び患者は、別々の場所にいてよい。言い換えると、遠隔治療セッション中の場合のように、ヘルスケア専門家及び患者が別々の場所にいる患者とのインタラクティブなセッション中、ＸＲ可視化デバイスは、エクステンデッドリアリティ可視化をヘルスケア専門家に提示してよい。

あるいは、この例では、ヘルスケア専門家と患者は、通院中等、同じ場所にいてよく、ヘルスケア専門家及び患者は、互いに直接、話してよい。言い換えると、ヘルスケア専門家と患者が同じ場所にいる患者とのインタラクティブなセッション中、ＸＲ可視化デバイスは、ＸＲ可視化をヘルスケア専門家に提示してよい。いずれの場合でも、ＸＲ可視化デバイスは、可動域のＸＲ可視化をヘルスケア専門家にリアルタイムで提示してよく、その結果、ヘルスケア専門家は、患者が達成可能な可動域を可視化することができる。

この例では、ヘルスケア専門家は、（例えば、ヘルスケア専門家が着用するＸＲ可視化デバイス及び患者が着用するＸＲ可視化デバイスを介して、１つまたは複数の他の通信デバイスを介して、または対面で直接）患者と通信して、様々な目標可動域で手足を動かそうと試みるように患者に指示してよい。いくつかの例では、ヘルスケア専門家に提示されるＸＲ可視化は、１つまたは複数の目標可動域を示す。

ＸＲ可視化デバイス１０９０４の１つがエクステンデッドリアリティ可視化をヘルスケア提供者に提示するいくつかの例では、他のＸＲ可視化デバイス１０９０４の１つは、他のＸＲ可視化を患者に提示してよい。例えば、遠隔治療セッション中、または、通院中、ヘルスケア専門家及び患者の両方が、ＸＲ可視化デバイスを着用または他の方法で使用してよい。この例では、ＸＲ可視化デバイスは、患者の手足の達成された可動域、目標可動域、痛み点等の１つまたは複数を示すＸＲ可視化をヘルスケア専門家及び患者に提示してよい。

ＸＲ可視化をヘルスケア専門家に提示するいくつかの例では、ヘルスケア専門家は、患者とのインタラクティブなセッションの文脈外で、ＸＲ可視化を見る。言い換えると、ＸＲ可視化デバイスは、患者が関与していないセッション中、ＸＲ可視化をヘルスケア専門家に提示してよい。例えば、患者は、手足の可動域をテストする様々な運動を行ってよく、コンピューティングシステム１０９０２は、（例えば、データストレージシステム１０９１０に）手足の可動域を示すデータを記憶してよい。

この例では、コンピューティングシステム１０９０２は、記憶されたデータを使用して、後に手足の可動域のＸＲ可視化を生成してよい。この例では、ヘルスケア提供者が着用するＸＲ可視化デバイスが、患者が運動を行った後、任意の時に、エクステンデッドリアリティ可視化をヘルスケア提供者に提示してよい。このように、ヘルスケア提供者が可動域の角度を示す記載だけを見ている場合は困難であるような方法で、ヘルスケア提供者は、患者の手足の可動域を効果的に可視化または概念化できてよい。

いくつかの例では、コンピューティングシステム１０９０２が新しい可動域データを受信したこと、または、患者が可動域運動を行っていることを示す情報をコンピューティングシステム１０９０２が受信した時、コンピューティングシステム１０９０２は、ヘルスケア提供者に通知を送信してよい。いくつかの例では、コンピューティングシステム１０９０２は、患者が割り当てられた理学療法運動を行ったかどうかを示す情報をヘルスケア提供者に提供してよい。

さらに、いくつかの例では、コンピューティングシステム１０９０２は、患者の可動域の経時的な進化を示す情報をヘルスケア提供者に提示してよい。例えば、コンピューティングシステム１０９０２は、様々な時のその患者の可動域に対応する仮想弧をＸＲ可視化デバイスが表示するのを可能にする情報をＸＲ可視化デバイスに提供してよい。いくつかの例では、ＸＲ可視化デバイスは、患者の可動域の変化をデモンストレーションするのをさらに助けるように仮想弧をアニメーションにしてよい。いくつかの例では、患者が着用するＸＲ可視化デバイスは、患者の可動域の進化に関して患者に教育するのを助けるように類似の仮想弧を表示してよい。

ヘルスケア専門家に提示されたＸＲ可視化は、様々な仮想物体を含んでよい。ＸＲ可視化をヘルスケア専門家に提示するいくつかの例では、ＸＲ可視化は、本開示の他の箇所に記載するように、仮想分度器を含んでよい。さらに、いくつかの例では、可動域及び目標可動域の１つまたは複数の仮想弧が、本開示の他の箇所に記載するように、可視化で提示されてよい。従って、一例では、ヘルスケア提供者に提示されるＸＲ可視化は、手足の可動域の最も遠い点の間の角度にわたる第１の仮想弧を含んでよい。この例では、ＸＲ可視化はさらにまたは代替的に、手足の目標可動域の最も遠い点の間の角度にわたる仮想弧を含む。

いくつかの例では、ヘルスケア専門家に提示されるＸＲ可視化は、患者が感じる痛み点の指示を含んでよい。すなわち、痛み点は、可動域のＸＲ可視化にマークされてよい。例えば、一例では、ヘルスケア専門家に提示されるＸＲ可視化は、患者の手足の達成された、または目標の可動域に対応する仮想弧を含んでよく、患者が痛みを感じるポイントを示す仮想弧上の仮想インジケータも含んでよい。言い換えると、手足の可動域のＸＲ可視化は、手足の可動域の最も遠い点の間の角度にわたる仮想弧を含んでよく、痛み点が仮想弧上にマーク付けされる。

さらに、手足の動作の不規則性は、有用な診断情報を提供し得る。例えば、患者は、可動域の第１の部分を通して制御可能な方法で手足を下げることが可能であり得るが、可動域の第２の部分で手足の動作の制御が容易にできず、手足がすぐに垂れ下がる。この例では、この情報が、特定の筋肉の断裂、または、埋め込まれた関節置換表面のずれ等、特定のタイプの健康状態の診断となり得る。別の例では、可動域内の一定の点での手足の動作の突然または普通でない加速または減速は、価値ある診断情報を提供してよい。ある例では、手足の動作のこれらの不規則性は、患者には知覚できない場合がある。このような診断情報は、術前フェーズ３０２及び術後フェーズ３０８中等、手術ライフサイクルの様々な時点で有用であり得る。

従って、コンピューティングシステム１０９０２は、動作データに基づいて、患者の手足の動きに不規則性があるかどうかを判断してよい。例えば、コンピューティングシステム１０９０２は、可動域での手足の複数の動きから生成された動作データの動きのセットを比較して、一貫性のある動作パターンがあるかどうかを判断してよい。例えば、コンピューティングシステム１０９０２は、動的タイムワープアルゴリズムを適用して、可動域で手足を動かした異なる時点の動作信号のセットに基づいて、可動域での手足の加速を表す信号を生成してよい。コンピューティングシステム１０９０２は、次に、結果として生じる信号を典型的な人の可動域での手足の加速を表す信号と比較してよい。

いくつかの例では、可動域のエクステンデッドリアリティ可視化は、手足の動作の不規則性に関する情報を含んでよい。従って、コンピューティングシステム１０９０２は、手足の不規則な動きが生じる手足の可動域の点を動作データに基づいて決定してよく、エクステンデッドリアリティ可視化が手足の不規則な動きが生じる可動域の決定された点を示すように、可動域のエクステンデッドリアリティ可視化を生成してよい。

例えば、ＸＲ可視化は、手足の可動域内で手足の動作の不規則性があるかどうかを示す仮想点、仮想弧、または他の仮想物体を含んでよい。手足の動作の不規則性に関する情報は、患者、ヘルスケア専門家、または整形外科手術システム１００の他のユーザに提示されてよい。例えば、手足の動作の不規則性に関する情報が患者に提示される例では、患者は、不規則性が生じないように手足を動かそうと試みるように（例えば、患者が着用するＸＲ可視化デバイス、患者が使用するスマートフォン、動作追跡デバイス１０９０６等によって）促されてよい。

この例では、手足を規則的に動かすように促されているにもかかわらず、患者がそうできない場合、不規則性が確認されてよい。手足の動作の不規則性に関する情報が（例えば、ＸＲ可視化デバイス１０９０４、モニタ、または他の可視化デバイスの１つによって）ヘルスケア専門家に提示される例では、手足の動作の不規則性に関する情報を示すＸＲ可視化は、ヘルスケア専門家による診断または理学療法を支援してよい。

図１１１は、本開示の技術による、可動域の例示のエクステンデッドリアリティ可視化を示す概念図である。図１１１の例に示すＸＲ可視化は、ＸＲ可視化デバイス（例えば、ＸＲ可視化デバイス１０９０４の１つ）を着用しているまたは他の方法で使用しているヘルスケア提供者によって認識されてよい。あるいは、図１１１の例に示すＸＲ可視化は、ＸＲ可視化デバイス（例えば、ＸＲ可視化デバイス１０９０４の１つ）を着用しているまたは他の方法で使用している患者が鏡を見ている時、患者によって認識されてよい。

図１１１のＸＲ可視化は、患者または患者の一部分の画像またはアバタ１１１００を含む。さらに、図１１１のエクステンデッドリアリティ可視化は、（例えば、内転及び外転を行う時）患者の左肩関節を通る前頭面での患者の左腕の実際の可動域に対応する角度にわたる仮想弧１１１０２を含む。さらに、図１１１の例では、ＸＲ可視化は、横断面での患者の左腕の目標可動域に対応する角度にわたる仮想弧１１１０４を含む。

他の例では、仮想弧１１１０２及び仮想弧１１１０４は、他の面にあってよい。マーカ１１１０６は、痛み点に対応してよい。マーカ１１１１０は、患者の左腕の不規則な動きの点または領域に対応してよい。さらに、図１１１の例では、エクステンデッドリアリティ可視化は、仮想弧１１１０２及び仮想弧１１１０４の焦点から半径上にあり、且つ仮想弧平面にある現在の線１１１０８を含む。コンピューティングシステム１０９０２は、現在の線１１１０８が患者の左腕の主軸と整列したままになるように、現在の線１１１０８を更新してよい。

図１１２Ａは、本開示の技術による、可動域分析及び可視化のシステム１０９００の例示の動作を示すフローチャートである。図１１２Ａの例では、コンピューティングシステム１０９０２は、患者の手足の動きを記述する動作データを取得してよい（１１２００）。例えば、コンピューティングデバイス１０９０２は、本開示に記載するように、動作追跡デバイス、カメラのセット、またはこれらの組み合わせから、動作データを取得してよい。

さらに、図１１２Ａの例では、コンピューティングシステム１０９０２は、動作データに基づいて、手足の可動域を決定してよい（１１２０２）。コンピューティングシステム１０９０２は、本開示の他の箇所に提供する例の任意の１つまたは組み合わせに従って、手足の可動域を決定してよい。

コンピューティングシステム１０９０２は、患者または患者のアバタに重ね合わされる手足の可動域のＸＲ可視化を生成してよい（１１２０４）。コンピューティングシステム１０９０２は、本開示の他の箇所に提供する例の任意の１つまたは組み合わせに従って、ＸＲ可視化を生成してよい。

図１１２Ｂは、本開示の技術によるシステム１０９００の例示の動作を示すフローチャートである。図１１２Ｂの例では、患者の動作追跡デバイス１０９０６は、手足の目標可動域の最も遠い点に達するように患者の手足を動かそうと試みるようにというプロンプトを出力してよい（１１２４０）。例えば、動作追跡デバイス１０９０６は、音声またはビデオによる手足の動かし方の説明を出力してよい。本開示の他の箇所に記載するように、動作追跡デバイス１０９０６は、ヘルスケア専門家からのユーザ入力の指示に応答して等、様々な出来事に応答して、プロンプトを出力してよい。

さらに、図１１２Ｂの例では、動作追跡デバイス１０９０６は、患者の手足の動きを記述する動作データを生成してよい（１１２４２）。例えば、動作追跡デバイス１０９０６のＩＭＵは、動きを記述する動作データを生成してよい。動作追跡デバイス１０９０６は、動作データに基づいて、患者の手足の達成された可動域を示すデータを生成してよい（１１２４４）。例えば、動作追跡デバイス１０９０６は、達成された可動域の開始点お及び停止点の座標を示すデータを生成してよい。いくつかの例では、動作追跡デバイス１０９０６は、患者データのリモートデータベース（例えば、データストレージシステム１０９１０）に達成された可動域を示すデータを送信してよい。

さらに、いくつかの例では、動作追跡デバイス１０９０６は、患者の手足が可動域内の患者が痛みを感じる点にある時、ユーザ入力の指示を受信してよい。このような例では、ユーザ入力の指示を受信することに応答して、動作追跡デバイスは、動作データに基づいて、痛み点を示すデータを生成してよい。痛み点は、患者が痛みを感じる患者の手足の位置であってよい。

図１１３は、ユーザの集合が教育目的でＭＲシステムを使用する例示の設定を示す概念図である。図１１３の例では、外科医は、第１のＭＲシステム１１３００（例えば、ＭＲシステム２１２の可視化デバイス（例えば、可視化デバイス２１３）を着用または他の方法で使用してよい。ＭＲシステム１１３００の可視化デバイスは、ＭＲ教育コンテンツ１１３０２をトレーナに提示してよい。さらに、図１１３の例では、別の外科医が、第２のＭＲシステム１１３０４の可視化デバイスを着用または他の方法で使用してよい、医療デバイスメーカの担当者が、第３のＭＲシステム１１３０６の可視化デバイスを着用または他の方法で使用してよい、及び／または看護師が、第４のＭＲシステム１１３０８の可視化デバイスを着用または他の方法で使用してよい。一例では、外科医がＭＲシステム１１３００の可視化デバイスを着用または他の方法で使用している間、医療デバイスメーカの担当者は、ＭＲシステム１１３０６の可視化デバイスを着用または他の方法で使用してよい。この例では、ＭＲシステム１１３００及びＭＲシステム１１３０６の可視化デバイスは、同じＭＲ教育コンテンツ１１３０２を医療デバイスメーカの担当者と外科医に提示してよい。この例では、医療デバイスメーカ及び外科医が同じＭＲ術前コンテンツを見ながら、医療デバイスメーカは医療デバイスの使用を外科医に説明してよい。

本開示は、複合現実（ＭＲ）を使用する整形外科医療処置の幾つかのマルチユーザ協力技術を記載する。この技術は、広範な整形外科手術で有用であり得るが、解剖学的及び逆解剖学的肩再建手術の両方で特に有用であり得る。実際に、この技術は、逆関節形成、オーグメント使用（augmented）逆関節形成、標準的な全肩関節形成、オーグメント使用（augmented）全肩関節形成、半球（hemispherical）肩手術、または他のタイプの肩手術に役立ち得る。しかしながら、より一般的には、この技術は、手術に複数の人が参加する任意の整形外科医療処置に有用に適用可能である。

手術室内で使用される複合現実デバイスに関して、ユーザが手術室の他のユーザの複合現実提示（または、その一部）を見ることができる様々なビュー共有技術及び制御を記載する。手術室のユーザ、及びリモートユーザは、例えば、１人または複数の外科医、１人または複数の看護師、１人または複数の支援要員（医療デバイス器具、インプラント、機器または医療用品のメーカの技術支援担当者等）、麻酔医、及び他の手術室要員等、医療提供者を含んでよい。

いくつかの例では、他のユーザ（または、場合によっては、固定カメラ）のビューに関連付けられたＭＲコンテンツが、他のユーザまたは視点からのビューを見たいユーザの提示内のウィンドウビューとして提示されてよい。ユーザのビューは、ユーザがユーザ自身の視点から見えるものの少なくとも一部であってよい。いくつかの例では、他のユーザのビューは、他のユーザまたは視点によって見られるビューを見たいユーザのメインビューとして選択的に提示されてよい。よって、ユーザは、メインビューと、例えば、サブウィンドウで１つまたは複数の追加のビューとを見てよく、提示されるビューのいずれかをメインビューとして選択してよい。例えば、整形外科手術を行っている医師は、自身の視点からの複合現実ビューをメインビューとして提示されてよいが、例えば、ビューに関連付けられたサブウィンドウまたは他の情報のうちの１つを、人、ビュー名、または他の情報に基づいて選択することによって、手術室内の他の人（または、固定カメラ）のビューを選択して見ることができてよい。これによって、医師は、自身の視点をメインビューとして見るが、サブウィンドウ及び／またはサブウィンドウの１つを一時的にメインビューとして見ることによって、手術室内の他の視点を素早く獲得することができる。いくつかの例では、ユーザがメインビュー上に提示されたウィンドウで他の人の他のビューを同時に見ながら、自身のメインビューを見ることができるように、他の人のビューが、ユーザのメインビュー上にウィンドウとして提示されてよい。外科医は、例えば、手術ステップを行いながら、異なる角度または視点の看護師のビューにアクセスしてよく、看護師のビューは、外科医のメインビュー上のウィンドウで外科医に示されてよい。

さらに、本開示はまた、手術室内の異なるユーザにとって異なり得る複合現実提示を記載する。例えば、看護師と医師は手術室で役割が異なり、複合現実は、医療処置で各ユーザの役割を支援するようにユーザごとにオンにされてよいので、看護師に対する複合現実提示は、医師の複合現実提示と異なってよい。他の参加者は、他の役割を有してよく、他の参加者の複合現実提示は、このような異なる役割を提供するように規定されてよい。他の例として、医療デバイスの担当者、助手、異なる看護師、及び異なる医師に対する複合現実提示は、互いに異なってよい。他の人のビューにアクセスする時、その人のビューは、現実世界の物体（患者の骨または他の解剖学的構造のビュー等）と仮想物体（ＭＲ提示において提示される仮想要素等）の両方を含んでよい。従って、医師が、看護師のビューにアクセスまたは観察する時、医師は、看護師が見ている現実世界の物体と看護師に提示される仮想物体との両方を看護師のＭＲ提示で見てよい。

いくつかの例では、ある複合現実情報（例えば、複合現実提示の仮想要素）は、全ての参加者にとって共通であってよいが、他の複合現実情報は、医療処置における参加者の役割に基づいて、特定の参加者に固有で、特定の参加者のみに提示されてよい。本開示はまた、他のユーザからの複合現実情報を物体毎に有効または無効にする能力を企図しており、例えば、医師のＭＲ提示で同じ要素が見えるように、看護師のＭＲ提示の一部である仮想要素を医師が有効または無効にするのを可能にする。従って、ビュー共有は、他のユーザのビュー全体（他のユーザが見た現実の観察される物体と他のユーザに提示される仮想要素とを含む）を見る能力、または、物体毎に他の人に対して示される仮想物体を有効または無効にする能力を含み得る。有効または無効にし得る仮想物体は、複合現実ガイダンス機能、ユーザインタフェース、ウィジェット、またはＭＲ提示に含まれる任意の仮想情報を含み得る。

さらに他の例では、本開示は、場合によっては、仮想現実を使用して、１人または複数のリモート参加者による医療処置への参加を容易にし得る技術を記載する。異なる例では、記載されたシステム及び技術は、能動的及び受動的参加者、手術室の異なる役割に対して規定されたユーザ固有の複合現実ガイダンス、ビュー共有及びビュー共有の制御、並びに以下により詳細に記載する他の有用な特徴を容易にしてよい。能動的参加者は、例えば、仮想コンテンツ、ビュー共有、及び他のビューのＭＲ提示に対して何らかのレベルの制御を有してよく、受動的参加者は、ＭＲ提示及び仮想コンテンツに対して制御を行うことなく、ＭＲ提示及び仮想コンテンツを見る能力を有してよい。

本開示の他の箇所に記載するように、複数のユーザは、ＭＲシステムを同時に使用することができる。例えば、ＭＲシステムは、ユーザが同じ情報を同時に見ることができるように、複数のユーザがそれぞれ、可視化デバイスを有する第三者モードを支援することができる。このようにして、１人または複数の第三者は、術前、術中、及び術後手順の能動的または受動的参加者であってよい。

能動的及び受動的参加者を手順に含める能力は、非常に望ましい場合がある。いくつかの例では、医療処置または医療体験中、受動的役割が、割り当てられてよい、または、再割り当てされてよい。他の例では、様々なレベルの受動的役割が規定されてよい。実際、異なるＭＲ体験及び機能が、ＭＲシステムを用いて異なる人に提供されてよい。例えば、医師は、第１のＭＲインタフェースを提示されてよく、看護師は、第１のＭＲインタフェースとは異なる第２のＭＲインタフェースを提示されてよい。例えば、可視化デバイス２１３のＭＲ画面５２０に示されるユーザインタフェース５２２の選択可能なウィジェット５２４（図５）は、医師に対して規定されてよく、異なる選択可能なウィジェット５２４は、医師が使用する処理デバイスとは異なる処理デバイス（複数可）２１０（図２）を使用する看護師（または、他のユーザ）に対して規定されてよい。第１のユーザのＭＲ体験と第２のユーザのＭＲ体験の間の他の変化も、ユーザに基づいて規定されてよい。例えば、受動的参加者ユーザは、選択可能な制御ウィジェットの無い視聴可能なＭＲ要素を提示されてよく、これは、生徒、または手順の他の受動的オブサーバには望ましい場合がある。このような受動的ＭＲ参加者は、手順のＭＲ要素を見ることから利益を得てよいが、ＭＲ世界のものを選択または修正することはできなくてよい。

図１１４は、互いに通信する複数のＭＲデバイスを含むシステム１１４００のブロック図である。図示の各ＭＲデバイスは、本明細書に記載の可視化デバイス２１３（図２、図５）と類似の可視化デバイスを含んでよい。図１１４は、４つのＭＲデバイス（１１４０２、１１４０６、１１４０８及び１１４１０）を示すが、より多いまたはより少ないデバイスを使用することができる。ＭＲデバイス（１１４０２、１１４０６、１１４０８及び１１４１０）の可視化デバイスは例えば、手術等の、整形外科医療処置中、手術室のユーザによって着用されてよい。図示のように、ＭＲデバイス１（１１４０２）は、ビュー共有ウィンドウ１１４０４を含む。本開示によると、ＭＲデバイス１（１１４０２）は、ＭＲデバイス１（１１４０２）上に、他のＭＲデバイスのビューの１つまたは複数を提示するように構成される。ビュー共有ウィンドウ（１１４０４）として示されているが、ビュー共有は他の方法で提示されてよい。

ＭＲデバイス１（１１４０２）は、特定のユーザに対して構成されてよく、ＭＲデバイス２（１１４０６）、ＭＲデバイス３（１１４０８）及びＭＲデバイス４（１１４１０）は、他のユーザに対して構成されてよい。このようにして、ユーザ固有の役割が、手術室で規定されてよく、複合現実提示が、各参加者に対して規定されてよい。参加者は、手術室で異なる役割を有しているので、ＭＲ提示は、異なるユーザに対して異なってよい。この理由のために、ビュー共有は、例えば、医師が、手術室でより協力を可能にするように、看護師のビューまたは技師のビューを見ることを可能にすることが望ましい。ビュー共有はまた、手術室でビューの異なる角度または異なる視点を可能にすることが望ましい場合がある。ビュー共有は、異なるＭＲデバイス間で、場合によっては、１つまたは複数の追加の固定カメラ（図１１４には示さず）から生じてよい。場合によっては、ＭＲデバイス（１１４０２、１１４０６、１１４０８、１１４１０）の１つまたは複数は、手術手順に対してリモートに位置してよい。この場合、リモート参加者は、他の参加者と同じ仮想要素を見ることができてよいが、現実世界ビューは、ＭＲデバイスが異なる場所で使用されることによって異なってよい。ビュー共有は、リモート参加者がローカル参加者のビューを見ることを可能にするように、このタイプの設定で特に有用であってよい。

異なるレベルの能動的参加及び受動的参加はまた、足首の手術手順または肩の手術手順等の整形外科手術への異なる能動的参加者に対して規定されてよい。例えば、医師は、医療処置中、ＭＲ提示の表示された要素の特定のレベルの制御を与えられてよく、看護師または助手は、異なるレベルの制御を与えられてよい。また、ＭＲインタフェースは、異なるユーザに対して異なってよい。従って、医師は、医師の手順を支援する仮想ガイダンス（手順で医師を支援する仮想ガイダンス機能等）を提供するように設計された医師のためのＭＲインタフェースを提示されてよく、看護師は、看護師の特定のタスク（ツール選択及び追跡と、手順のドキュメンテーション等）で看護師を支援するように設計された異なるＭＲインタフェースを提示されてよい。医療デバイス要員、追加の医師、麻酔医、医師の助手、看護師の助手、医療技師、または他のユーザ等、他のタイプのユーザも規定されてよい。いくつかの例では、マスタの役割は、プロセスに対する全体的な制御を提供するように規定されてよく、場合によっては、マスタの役割は、ユーザ間で委託されてよい。例えば、図１１４を再び、参照すると、ＭＲデバイス１（１１４０２）は、マスタデバイスに指定されてよく、ＭＲデバイス２～４（１１４０６、１１４０８及び１１４１０）に関連付けられた他のユーザは、ＭＲデバイス１（１１４０２）より少ない制御を有してよい。場合によっては、しかしながら、マスタの役割は、ユーザ間で割り当てまたは変更されてよい。

いくつかの例では、本開示は、第１のＭＲ提示を介して第１のユーザに第１の医療情報を提供するように構成された第１のＭＲデバイス（例えば、ＭＲデバイス１ １１４０２）と、第２のＭＲ提示を介して第２のユーザに第２の医療情報を提供するように構成された第２のＭＲデバイス（例えば、ＭＲデバイス１１４０６）とを含むＭＲシステム（例えば、ＭＲシステム１１４００）を記載する。第１及び第２のＭＲデバイスは、本開示の他の箇所に記載するように可視化デバイスを含んでよい。いくつかの例では、第１の医療情報は、第２の医療情報と同じである。いくつかの例では、第１の医療情報及び第２の医療情報は異なる。第１のＭＲデバイスは、第１のユーザに対して第２のＭＲ提示を提示するように制御可能であってよい。例えば、第１のＭＲデバイスは、第１のＭＲ提示内の可視ウィンドウとして、第１のユーザに第２のＭＲ提示を提示するように構成されてよい。別の例では、第１のＭＲデバイスは、第１のユーザが第１のＭＲ提示または第２のＭＲ提示を選択及び見ることができるように構成されてよい。各ＭＲ提示は、現実世界の物体と１つまたは複数の仮想要素とのビューを含んでよい。

いくつかの例では、ＭＲシステム（例えば、ＭＲシステム１１４００）は、整形外科医療処置に関する第１の医療情報を第１のＭＲ提示を介して医師に提供するように構成された第１のＭＲデバイス（例えば、可視化デバイス２１３）を含んでよく、ここで、第１のＭＲ提示は、整形外科医療処置に関連付けられた医師固有の情報を含む。ＭＲシステムは、第２のＭＲ提示を介して第２の医療情報を第２のユーザに提供するように構成された第２のＭＲデバイス（例えば、別の可視化デバイス２１３）をさらに含んでよく、ここで、第２のＭＲ提示は、第１のＭＲ提示とは異なる情報を含む。いくつかの例では、第１の医療情報は、第２の医療情報と同じである。いくつかの例では、第１の医療情報と第２の医療情報は異なる。第１のＭＲデバイスは、第２のＭＲ提示を医師に提示するように制御可能であってよい。例えば、第１のＭＲデバイスは、第１のＭＲ提示内の可視ウィンドウとして、第２のＭＲ提示を第１のユーザに提示するように構成されてよい。いくつかの例では、第１のＭＲデバイスは、第１のＭＲ提示または第２のＭＲ提示を第１のユーザが選択できるように構成されてよい。医師固有の情報は、手術ガイダンス情報を含んでよい。さらに、いくつかの例では、第２のＭＲ提示は、整形外科医療処置と関連付けられた看護師固有の情報を含んでよい。例えば、看護師固有の情報は、手術アイテム情報を含んでよい。他の例では、第２のＭＲ提示は、整形外科医療処置に関連付けられた技師固有の情報を含んでよい。例えば、技師固有の情報は、第２のＭＲ提示に１つまたは複数の仮想要素を位置合わせするための位置合わせガイダンスを含んでよい。例えば、位置合わせガイダンスは、骨等の現実世界の物体に仮想要素（例えば、骨の仮想３Ｄモデル）を位置合わせする方法のガイダンスを含んでよい。

いくつかの例では、本開示の方法は、第１の可視化デバイス上に第１のＭＲ提示を介して第１の医療情報を第１のユーザに対して提示することと、第２の可視化デバイス上に第２のＭＲ提示を介して第２の医療情報を第２のユーザに提示することとを含んでよい。この例では、第１の可視化デバイスは、第２のＭＲ提示を第１のユーザに提示するように制御可能であってよい。第２のＭＲ提示は、現実世界の物体と、１つまたは複数の仮想要素のビューを含んでよい。

いくつかの例では、本開示の方法は、第１の可視化デバイス上に第１のＭＲ提示を介して第１の医療情報を第１のユーザに提示することと、第２のＭＲ提示を含む第２の医療情報を第２の可視化デバイスから受信することと、第１の可視化デバイスを制御して、第１の可視化デバイス上に第２のＭＲ提示を選択的に提示することとを含んでよい。いくつかの例では、第１の医療情報は、第２の医療情報と同じである。いくつかの例では、第１の医療情報と第２の医療情報は異なる。本開示に記載のこれらの及び他の方法は、１つまたは複数のプロセッサによって実行されてよく、この場合、技術は、コンピュータ可読媒体に記憶されたプロセッサ実行可能命令で具体化されてよい。１つまたは複数のプロセッサは、可視化デバイス２１３の１つまたは複数のプロセッサを含んでよく、コンピュータ可読媒体は、可視化デバイス２１３のメモリを含んでよい。

ワークフロー管理ツール及びチェックリストも手術プロセスの追加のチェック及び制御を提供するために使用されてよい。例えば、複数のＭＲ参加者が手術に関与する時、異なる人が異なるステップの承認に割り当てられてよい。システムが手術を次のステップに進めるのを可能にする前に、１人の人が、第１の医療処置ステップを承認する必要があってよく、場合によっては、システムが手術をさらに別のステップに進めるのを可能にする前に、異なる人が、第２の医療処置ステップを承認する必要があってよい。このようにして、手術ステップのチェックと承認が、手術の異なる参加者（または、オブサーバ）間で分散されてよい。ワークフロー管理ツール及びチェックリストは、肩関節形成、足関節形成、または多くの異なるステップを必要とする任意のタイプの整形外科手術等、複雑なマルチステップ手術手順で特に役立ち得る。

いくつかの例では、医師は、第１のＭＲインタフェースを提示されてよく、看護師は、第１のＭＲインタフェースとは異なる第２のＭＲインタフェースを提示されてよい。例えば、図１１４を参照すると、ＭＲデバイス１（１１４０２）は、医師に第１のＭＲインタフェースを提示してよく、ＭＲデバイス２（１１４０６）は、看護師に第２のＭＲインタフェースを提示してよい。さらに、助手または医療デバイス技師等の他のユーザは、さらに他のタイプのＭＲインタフェースを提示されてよい。このように、各ユーザに提示されるＭＲインタフェースは、その参加者の手順内での特定の役割を支援するように特に規定または調整されてよい。例えば、手術手順で手術ステップをガイドするのに使用するＭＲベースの術中ガイダンス機能（切断軸、ドリル軸、リーミング軸、仮想ジグ、インプラント位置決め目標、または他の術中支援）が、このようなステップを担当する外科医に提示されてよいが、これらの術中ガイダンス機能の一部は、看護師、助手または医療デバイス技師等、他のユーザには提示されなくてよい。さらに、このような術中ガイダンス機能のためのメニューまたは制御は、医師に対してその医師のＭＲデバイス上に提示されてよいが、このようなメニューまたは制御は、他のユーザのＭＲデバイス（複数可）上の他のユーザのビューからは取り除かれてよい。同様に、ツール選択プロンプト、医療デバイス在庫追跡、及び医療処置ドキュメンテーション機能が、看護師（並びに、メニュー及び制御）に提示されてよいが、これらの機能の一部または全ては、外科医のビューからは除かれてよい。また、仮想要素をＭＲ提示へ位置合わせする機能等、他の機能及びコントロールが、医療デバイス技師に提示されてよいが、技師のためのこのような技師固有のＭＲは、外科医及び看護師のビューからは除かれてよい。場合によっては、ユーザは、他のユーザに示す仮想要素の有効化または無効化を選択することを許可されてよい。例えば、外科医が、一般的に看護師には示されるが、医師には示されない仮想要素を見る必要がある、または見たい場合、看護師固有の仮想要素は、外科医によって選択的に有効または無効にされてよい。

一部の仮想要素は、全ての参加者に視聴可能であってよく、他の仮想要素またはコントロールは、限定的な参加者のみが視聴可能であってよい。このようにして、ＭＲシステムは、医療処置の参加者の役割に合わせて調整されたツール及び機能で、各参加者をガイドする支援をすることができる。さらに、所与の参加者の役割に関連の無い機能及びコントロールを除くことによって、ＭＲ体験を向上させることができ、且つ、ＭＲ体験の視覚的混乱を取り除く助けをすることができる。例えば、ツール選択プロンプトは、看護師が、ツールと、手順におけるこのようなツールの計画された使用の連続及び順序を識別する際の支援を行うために非常に望ましい場合がある。しかし、特に、外科医が患者の手術組織または骨の部位に集中している間、外科医は、ツール選択プロンプトは注意をそらすものであると感じる場合があり、医師は、看護師が、例えば、外科医が要求するように、及び／または、ツール選択及び順序と全体的な手術ワークフローとに関する看護師に提供される仮想ガイダンスが示すように、手順の適切な順番でツールを提供するのに頼るだけの場合がある。これらのまたは他の理由のために、各ＭＲ体験が手順のその参加者の役割により適したものになるように、可視化デバイス２１３のＭＲ画面５２０に示されるユーザインタフェース５２２の選択可能なウィジェット５２４が、医師に対して規定されてよく、異なる選択可能なウィジェット５２４が、看護師（または、他のユーザ）に対して規定されてよい。

能動的参加者及び第三者を含むＭＲデバイスのユーザは、ＭＲ可視化デバイスを用いて、手順中、物理的に存在してよい。あるいは、１人または複数のユーザまたは第三者は、手順の場所に対して物理的にリモートにいてよい。１人または複数のユーザまたは第三者は、リモートにいる時、ラップトップコンピュータ、デスクトップコンピュータ、スマートフォン、または他のタイプのディスプレイ画面上等、リモートのディスプレイ画面を介して、手順に参加、または手順を見てよい。他の例では、リモート参加者は、複合現実（ＭＲ）可視化デバイスを介して、ＭＲではなく仮想現実（ＶＲ）を用いて、手順を見てよい。ＭＲがリモート参加者に対して使用される場合、リモート参加者は、他の参加者と同じ仮想要素を見ることができてよいが、ＭＲデバイスが異なる場所で使用されているという理由で、現実世界ビューは異なり得る。ビュー共有は、リモート参加者がローカル参加者のビューを見ること可能にするように、このタイプの設定で特に有用であり得る。

いくつかの例では、システムは、ＶＲデバイス及びＭＲデバイスの両方を含んでよい。この場合、リモートユーザに提示されるＶＲ環境は、ローカル参加者が使用するＭＲシステムによってキャプチャ及び提示される画像及び物体を含んでよい。このように、現実世界の物体を含むＭＲ環境は、キャプチャされて、ＶＲ環境としてリモートユーザに提示されてよい。ＶＲ可視化は、ＶＲ環境の画像を含んでよい。ＶＲ環境において、ＭＲ参加者が見る現実世界の物体は、上記の現実世界の物体のＶＲ画像によって表されてよい。いくつかの例では、ＶＲユーザに提示されるＶＲ提示は、ＭＲ参加者の１人のＭＲビューの１つを含んでよい。しかしながら、他の例では、ＶＲユーザに提示されるＶＲ提示は、２人以上のＭＲ参加者の２つ以上のＭＲビューからの情報を含んでよい。複数のＭＲビューを使用すると、単一のＭＲビューを使用してＶＲ提示をレンダリングするのに比べて、手順の正確なＭＲ表現の作成が強化され得る。例えば、ＭＲ参加者は、部屋をマッピングし、仮想環境としてＶＲ参加者に対して提示することができるように、ルームマッピングのための入力を提供してよい。

図１１５は、リモート環境１１５０２の１人または複数のユーザと通信するローカル環境１１５０８の１人または複数のユーザを含む分散ＭＲシステム１１５００を示すブロック図である。通信は、（例えば、ネットワーク１１５１６として示す）任意のタイプのネットワークを介して生じてよい。ある例では、ローカル環境１１５０８は、手術室を含んでよい。ＭＲデバイス１～３（１１５１０、１１５１２及び１１５１４）は、医師、看護師、医療技師、麻酔医または他のユーザ等、手術室のユーザに対応してよい。

一般に、ローカル環境１１５０８は、ユーザが患者の近くで視聴できる環境であってよく、リモート環境１１５０２は、ユーザが患者の近くで視聴できない場所に対応してよい。リモート環境１１５０２は、ローカル環境１１５０８と同じ場所ではないので、リモート環境１１５０２のシステム１１５００のユーザはいずれも、純粋な仮想現実で操作してよい。ＶＲデバイス１１５０４は、この仮想現実環境を促進してよく、仮想現実環境は、ローカル環境１１５０８のＭＲデバイスの１つまたは複数からのビュー及びデータに基づいて生成された仮想現実世界（例えば、ルームマッピング）であってよい。

図１１５に示すように、ＶＲデバイス１（１１５０４）は、ビュー共有ウィンドウ１１５０６を含む。本開示によると、ＶＲデバイス１（１１５０４）は、ローカル環境１１５０８のＭＲデバイスのビューの１つまたは複数をビュー共有ウィンドウ１１５０６に提示するように構成される。ビュー共有ウィンドウとして示されるが（１１４０４）、ローカル環境１１５０８のＭＲデバイスの選択された１つのビューを前提として、ビュー共有ウィンドウを有するリモートにあるＭＲデバイスを介して、または、ＶＲデバイス１１５０４によってなど、ビュー共有は他の方法で提示されてよい。

いくつかの例では、外科医は、手術室において、ＭＲの支援で、患者に対して１つまたは複数の手順を行ってよい。手順中、ＭＲ環境が、キャプチャされてよく、ディスプレイ画面を介して、または、ＶＲ環境としてリモートユーザに提示されてよい。外科医は、可視化デバイス２１３を用いて等、ＭＲデバイスを介して、手術室で患者を直接、見ることができてよい。ＭＲユーザは、複合または拡張現実をユーザに配信する可視化デバイスを利用してよく、リモートのＶＲユーザは、純粋な仮想現実である可視化デバイスを利用してよい。

あるいは、ＶＲを使用するのではなく、リモートユーザは、リモートにあるＭＲデバイスを使用してよい、または、カメラからのカメラフィード、またはローカル参加者が使用するＭＲデバイスを含むディスプレイ画面（デスクトップコンピュータ、ラップトップコンピュータまたはスマートフォン等）を単に見てよい。いくつかの例では、１人または複数のリモートユーザによって使用されるリモートディスプレイ画面は、ローカルのＭＲ参加者に表示する同じ仮想要素を表示する。リモート参加者は、ＭＲビュー間で選択できてよく、ＭＲビューを随意に切り替えることができてよい、また、リモート参加者が選択するビューは、リモート参加者が選択するローカルビューに対応する同じものを有するローカルのＭＲ参加者に表示される仮想要素を含んでよい。

いくつかの例では、ＭＲシステムは、外科医が見る画像をキャプチャすることができ、次に、そのキャプチャした画像を使用して、リモートの第三者にＶＲを介して表示できるＶＲ画像をレンダリングすることができる。このようにして、リモートの第三者は、ローカルの外科医が見るＭＲ環境と類似または同じＶＲ環境を提示されてよい。当然、ＶＲ参加者は一般的に手術室にいないので、ＶＲ参加者のビューは、ＭＲ参加者には入手できなくてよい。

１人または複数のＭＲ参加者と１人または複数のＶＲ参加者がシステムを使用している時、ＭＲ参加者及びＶＲ参加者は、ＭＲ及びＶＲ環境で、互いに提示されてよい。例えば、手術室でＭＲの支援で働いている外科医は、ＭＲ環境にＭＲ物体（例えば、アバタ）として示され得る１人または複数のＶＲ参加者を含むＭＲ環境を提示されてよい。同様に、ＶＲ参加者は、ＭＲ環境に示される同じ物体及び画像を含むＶＲ環境を提示されてよい。従って、ＭＲユーザに示されるＭＲ環境の現実の物体は、ＶＲ環境のＶＲ物体としてＶＲユーザに提示されてよい。このように、ＭＲの世界とＶＲの世界は、ＭＲ参加者がＭＲ世界でＶＲ物体としてＶＲ参加者を見ることができるように、結び付けることができる。同様に、ＶＲ参加者は、ＭＲ物体、ＭＲ参加者（例えば、アバタ）と、ＶＲ世界のＶＲ物体として現実世界の物体とを見ることができる。物体がＭＲ世界で動くと、物体の動きが、ＭＲ参加者の１人または複数によってキャプチャされる。次に、ＶＲ世界は、ＭＲ参加者がキャプチャするＭＲ世界の変化を反映するように調整される。このように、ＶＲ参加者は、ＭＲ世界に基づくＶＲ世界をリアルタイムで見ることができる。再び、いくつかの例では、ＶＲユーザへのＶＲ提示は、ＭＲ参加者のうちの1人のＭＲビューの１つを含んでよい。しかしながら、他の例では、ＶＲユーザに対するＶＲ提示は、２人以上のＭＲ参加者の２つ以上のＭＲビューからの情報を含んでよい。複数のＭＲビューを用いて、手順の正確なＶＲ表現の作成は、ＶＲのレンダリングに単一のＭＲビューを使用することに比べて強化され得る。例えば、複数のＭＲ参加者が、部屋をマッピングし、仮想環境としてＶＲ参加者に対して提示することができるように、ルームマッピングのための入力を提供してよい。

上記のように、ＶＲ参加者の１人または複数は、手術室または患者とインタラクションするためのリモート位置等、ＭＲ設定に対してリモートにいてよい。これは、ＶＲ参加者が、患者とのやりとり、手順、または手術の場所に対してリモート参加者であることを可能にし得る。ＶＲ参加者を引き受ける能力は、多くの状況及び設定にとって非常に望ましい場合がある。例えば、外科専門医は、手術室のＭＲ手順で、ＶＲ参加者として相談されてよく、それによって、リモートにいるＶＲ参加者によって、その手順により専門知識を提供し得る。例えば、この例では、手術室にいるＭＲ可視化デバイスのユーザは、リモートの外科専門医に手術中の助言を要求してよい。この例では、リモートの外科専門医は、ＶＲ可視化デバイスを使用して、手術室のシーンのＶＲ可視化を取得してよい。そうすると、ＭＲを使用しているローカルの医師は、医療プロセスの向上の助けになるように、質問をすることができる、またはリモートのＶＲ参加者からガイダンスを受信することができる。リモートのＶＲ参加者は、例えば、リモートのＶＲ参加者のＶＲビューとして外科医のＭＲビューを選択することによって、ローカルのＭＲ外科医が見ているものを見ることができてよい。いくつかの例では、リモートのＶＲ参加者は、手順に対する識見またはアドバイスを得るために、医療処置中、呼び出される外科専門医であってよい。

いくつかの例では、ＭＲシステムは、整形外科医療処置に関する第１の医療情報を第１のＭＲ提示を介して第１のユーザに提供するように構成された第１のＭＲデバイス（例えば、可視化デバイス２１３）と、整形外科医療処置に関する第２の医療情報を第２のＭＲ提示を介して第２のユーザに提示するように構成された第２のＭＲデバイス（例えば、別の可視化デバイス２１３）とを含む。第１及び第２の医療情報は、例えば、第１または第２のＭＲ提示に提示される１つまたは複数の仮想要素の形態で手術ガイダンス情報を含んでよい。いくつかの例では、第１の医療情報は、第２の医療情報と同じである。いくつかの例では、第１の医療情報と第２の医療情報は異なる。仮想要素は、例えば、仮想平面、仮想軸、仮想メニューもしくはウィジェット等、本開示に記載する仮想情報のいずれか、または、手術で有用であり得る任意の仮想情報を含んでよい。ＭＲシステムは、整形外科医療処置に関する第１または第２の医療情報の少なくとも一部を第３のユーザに提供するＶＲ提示を提示するように構成されたＶＲデバイスをさらに含んでよい。ＶＲ提示は、第１のＭＲ提示または第２のＭＲ提示に少なくとも部分的に基づいてよい。いくつかの例では、ＶＲ提示は、第１のＭＲ提示及び第２のＭＲ提示のうちの１つを含み、いくつかの例では、ＶＲ提示は、第１のＭＲ提示と第２のＭＲ提示の間でＶＲデバイスで選択可能である。第１のユーザ及び第２のユーザは、患者の近くの見える場所にいてよく、第３のユーザは、患者に対してリモートにいてよい。ＶＲデバイスは、ＭＲ提示とほぼリアルタイムで、第３のユーザにＶＲ提示を提示するように構成されてよい。第１のＭＲデバイスは、第１のＭＲ提示で第３のユーザにアバタを提示するように構成されて、第２のＭＲデバイスは、第２のＭＲ提示で第３のユーザにアバタを提示するように構成される。さらに、ＶＲデバイスは、第１及び第２のユーザをＶＲ提示でアバタとして提示するように構成されてよい。

いくつかの例では、本開示は、リモートの医療専門家が使用するＶＲデバイスを記載する。このＶＲデバイスは、患者に関連する医療情報をリモートの医療専門家に提供するＶＲ提示を提示するように構成されたディスプレイを含み、ここで、ＶＲ提示は、ＭＲ提示と、ディスプレイを制御する１つまたは複数のプロセッサとに少なくとも基づき、ＭＲ提示は、患者に近くの見える場所にいるＭＲデバイスのローカルユーザによってローカルでキャプチャされる。

いくつかの例では、ＭＲシステムは、第１の医療情報及び第１の現実世界情報を第１のＭＲ提示を介して第１のユーザに提示するように構成された第１のＭＲデバイスと、第２の医療情報及び第２の現実世界情報を第２のＭＲ提示を介して第２のユーザに提供するように構成された第２のＭＲデバイスと、第３の情報を第３のユーザに提供するように構成された第３のデバイスとを含み、ここで、第３の情報は、第１のＭＲ提示または第２のＭＲ提示に少なくとも部分的に基づく。いくつかの例では、第１の医療情報は、第２の医療情報と同じである。いくつかの例では、第１の医療情報と第２の医療情報は異なる。第３のデバイスは、第１のＭＲ提示と第２のＭＲ提示との間の選択を第３のデバイスで可能にするように構成されてよい。第１のユーザ及び第２のユーザは、患者に近くの見える場所にいてよく、第３のユーザは、患者に対してリモートにいてよい。いくつかの例では、第３のデバイスは、第１のＭＲデバイス上での第１のＭＲ提示及び第２のデバイス上での第２のＭＲ提示に対して、第３の情報を第３のユーザにリアルタイムで提示する。第３のデバイスは、第３の情報を提示するディスプレイ画面を含んでよい、または、代替的に、第３のデバイスは、第３の情報を提示するＶＲデバイスを含んでよい。

いくつかの例では、本開示の方法は、第１の可視化デバイス上に第１の複合現実提示を介して、整形外科医療処置に関する第１の医療情報を第１のユーザに提示することと、第２の可視化デバイス上で第２のＭＲ提示を介して、整形外科医療処置に関する第２の医療情報を第２のユーザに提示することと、整形外科医療処置に関する第１または第２の医療情報の少なくとも一部を提供するＶＲ提示を、ＶＲデバイスの第３のユーザに提示することとを含んでよく、ここで、ＶＲ提示は、第１のＭＲ提示または第２のＭＲ提示に少なくとも部分的に基づく。いくつかの例では、第１の医療情報は、第２の医療情報と同じである。いくつかの例では、第１の医療情報と第２の医療情報は異なる。

本開示に記載のこれらの及び他の方法は、１つまたは複数のプロセッサによって実行されてよく、この場合、技術は、コンピュータ可読媒体に記憶されたプロセッサ実行可能命令で具体化されてよい。１つまたは複数のプロセッサは、可視化デバイス２１３の１つまたは複数のプロセッサを含んでよく、コンピュータ可読媒体は、可視化デバイス２１３のメモリを含んでよい。

ビュー共有と、手順へのリモート参加者の参加の例の多くを本開示に手術プロセスの文脈で記載した。しかしながら、ビュー共有及びリモート参加者の使用は、患者との術前のやり取り、術後のやり取り、または他の設定等、他の設定でも使用されてよい。例えば、術前または術後のやり取りで、リモート参加者は、そのリモート参加者の専門知識を活用するために、（例えば、ＭＲ、ＶＲ、または本明細書に記載の他の技術の支援で）相談を受ける場合がある。リモート参加者は、医療専門家、医療デバイス技師、外科専門医、看護師、または相談する必要があり得る任意の他の人であってよい。一般に、ビュー共有と、医療処置へのリモート参加者の参加は、手術室設定、教育設定、術前会議もしくは設定、術後会議もしくは設定、理学療法設定、または他の設定を含む、広範な設定で望ましい場合がある。

別の例として、ＭＲは、患者の住居で患者のリモート健康診断のため、または、救急治療のため等、患者とのやり取り、健康診断、または現場救急に現場でローカルに使用されてよい。例えば、図１１５に示すように、ローカル環境１１５０８は、患者のケアが必要な任意の場所を含み得る。これらのタイプの例では、リモート参加者は、このリモートの健康診断または救急治療中、ＶＲデバイス１１５０４を使用してリアルタイムで相談される場合がある。このような例では、ＭＲ参加者（複数可）は、医師、看護師、または例えば、患者の家で、患者とローカルに対話する他の人を含み得る。ＭＲ参加者が見る物体及び画像は、仮想物体と混合された実際の物体であってよい。これらの同じ物体及び画像はまた、ＶＲを使用して物体を仮想物体としてリモート参加者に提示することによって、リモート参加者に提示されてよい。これは、（ＡＲを使用して働いている）医療要員が、リモートのＶＲ参加者の意見及び専門知識をリアルタイムで活用するのを可能にし得る。このように、ＶＲ参加者は、患者の治療を見るために、診断及び支援するために、患者の場所にいる必要はない。他の例では、リモート参加者は、ＭＲ参加者または他のカメラがキャプチャした情報を含み得る１つまたは複数のディスプレイ画面を見るだけでよい。

いくつかの例では、１人または複数のＭＲ参加者がキャプチャしたビュー及び画像は、リモートのＶＲ参加者によって見られてよい。例えば、ＶＲを使用している医師は、手順へのＭＲ参加者がローカルに見るビュー及び画像にアクセスすることができてよい。ＶＲを使用して、医師は、ＭＲ参加者がローカルに見たビュー及び画像を提示されてよい。このように、医師は、患者に対してリモートにいてよいが、ＶＲを使用している医師によるリモートの診断及び治療を支援及び容易にするように、患者及び患者の環境のリアルタイムの物体及び画像を見てよい。

いくつかの例では、１つまたは複数のＭＲユーザのビューは、１人または複数のリモートユーザの選択可能な選択肢であってよい。このように、複数の異なるＭＲ視点に関連付けられた複数の異なるビューのオプションが、リモートユーザによってアクセスされてよい。例えば、ＶＲを使用しているリモートの医師は、第１のＭＲ参加者または第２のＭＲ参加者のビューを選択して見ることができてよい。このように、リモートユーザが見るＶＲ世界は、手順へのローカルのＭＲ参加者が示す同じＭＲビューを含み得る。さらに、リモートのＶＲユーザは、手順への異なるＭＲ参加者に関連付けられた異なるＭＲビューを提示するようにビューを変更することができてよい。ＶＲ参加者の選択可能なビューは、手術室環境と、リモートの患者の健康診断と、リモートの現場救急とにとって望ましい場合がある。

他のユーザのビューを選択するために、ユーザは、アバタ、サブウィンドウ、視線、アイコン、またはドロップダウンメニューからの選択肢を選択してよい。これらのまたは他のタイプの制御機構は、ユーザのＭＲまたはＶＲ提示で、可視化デバイス上に提示された仮想物体として実施されてよい。次に、第１のユーザが第２のユーザのビューを選択するとき、その第２のユーザのビューが、第１のユーザに提示されてよい。このように、ビュー共有と、他のユーザのビューの選択可能性は、より多くの情報をＭＲユーザに提供し得る。

ローカルプロセッサ手順と比べて、ＶＲ参加者は、ＭＲ参加者に表示されるＭＲ世界にＭＲ物体（例えば、アバタ）として提示されてよい。このように、ＶＲ参加者は、ＭＲ参加者に対して「部屋の中に」いるとして提示されてよい。従って、ＶＲ参加者は、ＭＲ参加者とプロセスにより組み込まれてるように見えて、ＶＲ参加者が例えば、手術室に、または、治療の場所にいるという印象をＭＲ参加者に与えることができる。ＭＲ参加者及びＶＲ参加者は、同じ部屋で対話しているかのように、互いに対話及び会ってよい。ＭＲ参加者は、しかしながら、物体（例えば、アバタ）を見ているだけであり、逆も同じである。

いくつかの例では、ＶＲ参加者は、複数のＭＲ参加者に関連付けられたビューとやりとりまたはそれらのビューを選択することができる。ＶＲ参加者は、第１のＭＲ参加者のビューによって規定された第１のＶＲ世界を見ることができてよく、ＶＲ参加者は次に、第２のＭＲ参加者がキャプチャしたビューを変更できてよい。このように、例えば、ＶＲ参加者は、リアルタイムで見るビューに対してより多くの制御を与えられてよい。また、さらに追加の例では、複数のローカルユーザからの複数のＭＲビューに基づいて、部屋が、マッピングされてよく、ＶＲ世界のＶＲ参加者に提示されてよい。このように、ＶＲ世界は、複数のＭＲユーザが見るＭＲ世界と現実世界をより正確に反映してものであってよい。ＶＲ世界での物体の演出は、複数のＭＲユーザが見る物体がただ１人のＭＲユーザが見る物体よりもＶＲ世界に表示される可能性が高くなるように、投票スキームまたは他の優先順位付けスキームで決定されてよい。

いくつかの例では、ＶＲ参加者は、ローカルのＭＲ医師が行った作業のチェックを含んでよい。この例では、ＶＲ参加者は、ローカルのＭＲ医師が行った医療プロセスを見てよい、またはモニタリングしてよい。ＶＲ参加者は、ローカルのＭＲ医師のビューをリアルタイムで観察しながら、ローカルのＭＲ医師と通信して、口頭でフィードバックを行ってよい。ローカルのＭＲ医師の作業に対するＶＲ参加者によるこのタイプの協力及び安全点検は、前向きな患者結果のために役立ち得る。ＭＲまたはＶＲユーザよって音声入力が提供されてよく、全てのユーザが、同じ部屋にいるかのように、その音声入力を聞いてよい。これは、ＶＲユーザの存在に対して、患者及びＭＲユーザのより親しい体験を提供することができる。

リモートのＶＲ参加者に与えられる制御のレベルは、異なるシナリオ及び設定で様々であってよい。いくつかの例では、ＶＲ参加者は、手術等、手順の１つまたは複数のステップに対するチェックを提供されてよい。この例では、手順のステップの完了は、ＶＲ参加者が手順のステップの完了の承認を与えるという条件であってよい。このように、ＭＲを使用しているローカルの外科医は、ＶＲを使用しているリモートの医師の専門知識によってガイド及び支援されてよい。いくつかの例では、ＭＲシステムは、ＭＲを使用しているローカルの医師がローカルで行った手順またはステップをリモートの医師が承認する必要があるように、ＶＲを使用しているリモートの医師からの入力を要求してよい。ＶＲを使用しているリモートの医師は、リアルタイムでプロセスを見ることができ、フィードバックを提供することができ、プロセスまたはステップがローカルの外科医によって適切に行われたかどうかを決定することができる。

さらに他の例では、ＭＲシステムは、患者の場所にローカルのＭＲユーザを含んでよく、リモートのオブザーバは、１つまたは複数のリモートディスプレイ画面を介してＭＲ環境を見ることができてよい。この場合、リモートのオブザーバは、ローカルのＭＲユーザのビューを選択できてよく、場合によっては、患者の場所の静止したカメラに関連付けられたビューを選択できてよい。このように、リモート参加者は、異なるビューを選択できてよく、それによって、手順を評価及び理解できてよい。例えば、リモート参加者は、手順中、相談を受けることがある医師を含んでよい。別の例として、リモート参加者は、デバイスまたはインプラント埋め込み手順の情報に関して相談を受けることがある医療デバイス技師等、医療技師を含んでよい。一般に、「ローカルの」ＭＲユーザは、患者または手順の近くの見える所にいるユーザであってよく、「リモートの」ユーザは、患者または手順の近くの見える所にいないユーザであってよい。いくつかの例では、システムは、医療デバイス技師からの支援の必要性を低減することができ、場合によっては、一部の手術で、医療デバイス技師の支援の必要を無くすことができる。

図１１６は、リモート環境１１６０２の１人または複数のユーザと通信するローカル環境１１６０８の１人または複数のユーザを含むＭＲシステム１１６００を示す別のブロック図である。通信は、（例えば、ネットワーク１１６１６として示す）任意のタイプのネットワークを介して生じてよい。いくつかの例では、ローカル環境１１５０８は、手術室を含んでよい。ＭＲデバイス１～３（１１６１０、１１６１２及び１１６１４）は、医師、看護師、医療技師、麻酔医または他のユーザ等、手術室のユーザに対応してよい。いくつかの例では、図１１６は、複数のユーザが同じＭＲ術中ガイダンスコンテンツ１８０２を見ている場合がある図１８のシナリオのインスタンスと見なされてよい。

図１１５の例と同じように、図１１６では、ローカル環境１１６０８は、ユーザが患者に近くの見える場所にいる環境であり、リモート環境１１６０２は、患者の近くの見える場所にいない位置に対応し得る。リモート環境１１６０２は、ローカル環境１１６０８と同じ場所ではないので、リモート環境１１５０２にいるシステム１１６００のユーザはいずれも、ローカル環境１１６０８のＭＲデバイスからのビューまたはデータへのアクセスを必要とし得る。

図１１６に示すように、リモート環境１１６０２のユーザは、ビュー共有ウィンドウ１１６０６を含むように構成されたディスプレイ１１６０４を利用してよい。ディスプレイ１１６０４及びビュー共有ウィンドウ１１６０６は、１つまたは複数のプロセッサ（図示せず）によって制御または駆動されてよい。いずれの場合でも、ディスプレイ１１６０４は、ビュー共有ウィンドウ１１６０６で、ローカル環境１１６０８のＭＲデバイスのビューの１つまたは複数を提示するように構成される。ビュー共有ウィンドウとして示されるが（１１４０４）、ビュー共有は、ローカル環境１１６０８のＭＲデバイスの選択されたビューと仮定すると、ディスプレイ１１６０４等、他の方法で提示されてよい。図１１６は一般に、仮想現実を必要とせずに、リモート参加者がビュー共有を使用する方法を示す。実際、この例では、リモート環境１１６０２は単に、１つまたは複数のディスプレイ画面を使用して、ローカル環境１１６０８から、リモート環境１１６０２の１人または複数のユーザに情報を伝えてよい。

別の例では、ＭＲユーザとリモートユーザの両方（例えば、１つまたは複数のディスプレイ画面を見るＶＲユーザまたはリモートユーザ）を含むＭＲシステムを使用して、リモートの患者の健康診断を容易にしてよい。この場合、リモートユーザは、ＭＲユーザのローカルの患者とのやり取りをＭＲシステムを介して支援するように活用されてよい。例えば、ＭＲを使用している看護師が、ＶＲまたはリモートディスプレイ画面を使用しているリモートの医師を、患者とのやり取りの支援に関与させてよい。ＭＲ環境は、ＭＲを使用する看護師及び患者と、ＶＲ（図１１６に示される等）またはローカルにキャプチャされたＭＲビューを表示するディスプレイ画面（図１１６に示される等）を使用するリモートにいる医師を含んでよい。ＶＲを使用しているリモートの医師の場合（図１１６に示される等）、患者は、リモートの医師が看護師及び患者と部屋にいるかのように、医師と対話してよい。このような場合、医師は、患者に医療的なアドバイスを行うために、看護師のＭＲビューを活用してよい。

さらに別の例では、ＭＲユーザとリモートユーザ（ＶＲユーザまたは他の人のＭＲビューを表示するディスプレイ画面を有するユーザ等）の両方を含むＭＲシステムを使用して、救急治療を容易にし得る。この場合、リモートユーザは、ＭＲシステムを介してＭＲユーザの救急治療を支援するために活用されてよい。例えば、ＭＲを使用する救急医療技師（ＥＭＴ）は、（ＶＲまたはローカルのＭＲビューを表示するディスプレイ画面を用いる）リモートの医師を救急患者のやり取りの支援に関与させてよい。医師は、患者の即時の医療診断を行うためにＥＭＴのＭＲビューを活用してよい。ＭＲ環境は、リモートの医師が救急治療のために「現場にいる」という感覚を与えるために、ＭＲを使用するＥＭＴと、リモートにいる医師とを含んでよい。

本開示の他の箇所に記載するように、ＭＲシステムは、複数のユーザが同時に同じ画像を見ることができ、ＭＲ術中ガイダンスコンテンツ１８０２等の同じ３Ｄシーンを共有することができるように（図１８）、複数の可視化デバイスを含み得る。このような例では、可視化デバイスの１つは、マスタデバイスとして指定することができ、他の可視化デバイスは、オブサーバとして指定することができる。いずれのオブサーバデバイスも、ＭＲシステムのユーザが望めば、いつでもマスタデバイスとして再指定することができる。

本明細書に記載の例のいずれかを使用して、１つのマスタデバイスと多くのオブサーバデバイスとを有することも望ましい。さらに、マスタデバイスの割当は変わり得るので、マスタの役割は、特に部屋にいる人の間でマスタの役割を渡すように、異なるオブサーバに再割り当てされてよい。整形外科的肩再建手術の一例では、ある人が患者の関節窩骨の箇所を正確に示すためのドリル作業を行ってよく、別の人が、患者の関節窩骨へのリーミング作業を行ってよく、次に、第３の人が、患者の関節窩骨の識別及びリーミングされた箇所にインプラントを配置してよい。複数の参加者を伴うこの例または他の手術例では、それぞれの人は、自分が行う医療処置の１つまたは複数のステップに関してマスタとして割り当てられてよく、それぞれの人は、他の人が行う他のステップに関してオブサーバとして割り当てられてよい。一例では、マスタは、ＭＲシステムに対するマスタ制御を自発的に受け入れることができてよい、または放棄してよい。別の例では、特定のユーザをマスタに変更するために、マスタ制御は、ＭＲ参加者の２人以上（または、場合によっては大半）の承認を必要とする手順等、特定のマスタ割当手順に基づいて、自動的に割り当てまたは再割り当てされてよい。

さらに他の例においては、ローカルの外科医は、外科的切断を行ってよく、（ＶＲを使用する）他のローカルまたはリモートの人は、物理的な解剖学的物体に位置合わせするために視野にＭＲ物体を配置するために、本開示に記載の、例えば、「設定（ＳＥＴ）」「調整（ＡＤＪＵＳＴ）」及び「マッチ（ＭＡＴＣＨ）」等、手順の１つまたは複数の位置合わせステップを行ってよい。言い換えると、３Ｄモデルの位置合わせは、ＭＲ参加者としての専門家によってローカルに、または、場合によっては、ＶＲ参加者としての専門家によってリモートでも行われてよい。これらの例においては、専門家は、医療デバイス担当者であってよく、専門家は、患者の現実の骨もしくは組織で、３Ｄモデルの初期化段階を行うように割り当てられたＭＲまたはＶＲ参加者であってよい。

専門家がＶＲ参加者である場合、専門家は、患者の骨構造に重ね合わせられる３Ｄモデルに対して患者の骨構造のリアルタイム画像を見るために、ＭＲ参加者の１人または複数からの画像を見てよい。専門家の参加者は、コマンド、ハンドジェスチャ、視線、または他の制御機構を使用して、ＶＲ要素としてリモートの医師に見せる患者の骨構造に対して３Ｄモデルを方向付けてよい。リモート参加者を受け入れるＶＲの使用によって、より適任の医師が初期化段階を行うことが可能になってよい。あるいは、専門家は、ローカルのＭＲ参加者であってよく、その場合も、位置合わせプロセスの初期化プロセスをその専門家に割り当てると有利であり得る。次に、初期化後、ＭＲまたはＶＲユーザの１人が、３Ｄモデルを患者の現実の骨とより正確にマッチさせるための最小化アルゴリズム等の最適化アルゴリズムを開始してよい。リモートの専門家を手術手順に関与させる能力は、肩関節形成、足関節形成、または１つまたは複数の複雑なステップを必要とする任意の他のタイプの整形外科手術等、複雑なマルチステップ手術手順で特に役立ち得る。

コンピュータ支援ステップは、リモートの医師に特によく適し、物理的ステップ（切断、リーミング、ドリルまたは他のステップ等）は、医師の物理的存在を必要とし得る。例えば、初期化ステップは、医療デバイス技師等、ＶＲ参加者またはローカルの専門家がリモートで実行するのによく適し得る。いくつかの例では、本開示に記載の、例えば、「設定（ＳＥＴ）」「調整（ＡＤＪＵＳＴ）」及び「マッチ（ＭＡＴＣＨ）」の仮想物体位置合わせステップの１つまたは全ては、医療デバイス技師等、手順で使用されるＭＲシステムまたは医療デバイスの専門家であるＶＲ参加者またはローカル参加者がリモートで実行するのによく適し得る。

さらに、本開示の他の箇所に記載するように、ＭＲシステムのＵＩ（例えば、図５のＵＩ５２２）上に表示された画像は、手術環境外または手術環境内で見ることができ、第三者モードで、手術環境外または手術環境内で複数のユーザによって同時に見ることができる。

いくつかの例では、ＭＲシステム２１２等のＭＲシステムは、手術室内の異なる参加者が着用するＭＲデバイス間でビューを共有する能力をサポートしてよい。さらに、ビュー共有はまた、手術室の１つまたは複数の固定カメラで実施されて、例えば、医師が固定カメラまたは他のユーザの特定のビューにすぐに繰り返しアクセスするのを可能にしてよい。このように、例えば、医師は、動き回ったり、自分のビューを変化させたりする必要無く、視覚情報を非常に素早く手に入れることが可能であってよい。

例えば、整形外科手術に関与する医師（または、他のユーザ）は、自分の視点からの複合現実ビューを提示され得るが、そのユーザは、手術室内の他の人（または、固定カメラ）のビューを選択及び見ることができてよい。これは、医師が手術室内の他の視点を素早く得るのを可能にし得る。他の人のビューは、そのユーザの複合現実提示の一部として、現実の物体と重ね合わされた仮想物体を含む複合現実ビューを含んでよい。医師（または、他のユーザ）が、例えば、可視化デバイス２１３での医師の複合現実提示で、他の人のビューを選択すると、他の人のビューが、例えば、ディスプレイウィンドウとして、またはＭＲデバイス上の全ビューとして、医師のＭＲデバイス上で医師に提示されてよい。

共有されたビューは、１つまたは複数の現実の物体と１つまたは複数の仮想物体とを含んでよい。異なるユーザは医療処置で異なる役割を有するので、各ユーザのＭＲ可視化デバイス２１３に示される仮想物体は異なってよいが、ビュー共有を実施すると、１人のユーザのビューの仮想物体が、他のユーザと共有されてよい。このように、ビュー共有は、ビュー共有を利用しなければ、あるユーザが視聴できないであろう仮想要素を含む固有のＭＲ提示をユーザたちが共有するのを可能にし得る。

例えば、看護師及び医師は、異なるＭＲ提示を提示されてよいが、医師が看護師のビューを選択すると、看護師のビューが医師に提示されてよく、そのビューは、ビュー共有をしなければ、医師のＭＲ提示に提示されない看護師固有の仮想要素を含み得る。従って、他のユーザのビューを提示することによって、医師は、異なる視点、異なる視野角、及びビューに提示される異なる仮想要素を得ることができてよい。

異なるユーザが異なるＭＲ提示を提示される時、このようなユーザに提示される仮想要素は異なってよい。これによって、１人のユーザが見る仮想要素を、そのユーザに特定のものにすることができ、別のユーザが見る仮想要素をその別のユーザに特定のものにすることができる。ここで再び、例えば、医師及び看護師は、医師に規定された仮想要素を含むＭＲ提示と看護師に規定された仮想要素を含む異なるＭＲ提示を提示されてよい。いくつかの例では、ビュー共有によって、医師は看護師のＭＲ提示を見ることができてよい。または、いくつかの例では、ビュー共有は、要素ごとに実施されてよい。言い換えると、看護師に提示される１つまたは複数の仮想要素は、医師が特定の仮想要素に関して看護師と選択的にビュー共有を行うことができるように、医師によって有効または無効にされてよい。

例えば、ツール識別要素が、看護師のＭＲ提示で看護師に提示されて、看護師のツール選択及びツール追跡を支援してよい。このようなツール識別要素（または、他の看護師固有の要素）は、最初、医師には隠されていてよい。しかしながら、物体固有ビュー共有を用いると、医師は、看護師の仮想要素を医師のＭＲ提示で有効または無効にすることができてよい。従って、医師（または、他のユーザ）は、医師（または、他のＭＲユーザ）のＭＲ提示をカスタマイズするように、他のユーザが見る仮想要素を有効、無効にすることができてよい。

いくつかの例では、ＭＲシステムは、術前、術中または術後の教育目的に使用されてよい。教育の利益は、患者に提供されてよい、または、場合によっては、教育の利益は、医学生または他の医師等、第三者オブサーバに提供されてよい。例えば、ＭＲシステムを使用して、そのプロセスのリモートのオブザーバに教育を提供してよい。この例では、リモートのオブザーバは、本明細書に記載のＶＲデバイス等、ＶＲデバイスを実施してよい。あるいは、リモートのオブザーバは、ローカルのＭＲ参加者のＭＲフィードを見る能力のみを有してよい。

ＭＲ可視化デバイスは、外科医が、３Ｄコンテンツを見て、手順中ステップごとに何が起こるかを正確に可視化するのを可能にしてよい。ステップごとの説明は、医師が使用するＭＲ可視化デバイスに提供される仮想コンテンツであってよい。医師に提供される情報は、一般的な患者集団からの情報に基づいた一般的な患者情報を含んでよい、または、所与の手順が行われる特定の患者に関連する患者固有の情報であってよい。

いくつかの例では、可視化デバイス２１３等のＭＲ可視化デバイスは、医師、患者または他のユーザが使用するＭＲ可視化デバイスに仮想の人を提示するように構成することができ、仮想の人が、行われる手術または他の医療処置に関する１つまたは複数の詳細を説明してよい。仮想の人は、自動記録であってよい、または、リモートにいて、手術室のＭＲ可視化デバイスとやりとりするリモートＶＲデバイスを用いて操作している実際の医師を含んでよい。ビデオまたは命令キューは、ＭＲ可視化デバイスのユーザに選択可能なウィジェットであってよく、このようなビデオまたは命令キューは、医療処置の異なるステップまたは段階に対して規定されてよい。このタイプのインタラクティブな選択可能なリアルタイムの術中命令は、処置を、定期的、頻繁、または、より大量に行っていない外科医の支援に特に有用であり得る。

いくつかの例では、ＭＲ可視化デバイス（例えば、可視化デバイス２１３）は、教育または計画目的で、医師が、仮想の骨、仮想のインプラント、または他の仮想要素を患者に配置するのを可能にし得る。例えば、実際の患者の画像、または患者の骨もしくは物理的特徴のセグメンテーションが、ＡＲで提示されてよく、仮想のインプラント、ジグ、または他の要素が、医師によって仮想で患者に配置されてよい。患者に対するインプラントまたはジグの仮想配置は、インプラントまたはジグのサイジング及び選択を向上させ得る、または、患者の固有の解剖学的特徴に合わせた患者固有のインプラントまたはジグを促進または改善し得る。

医師は、インプラント、ジグまたは他の要素の仮想３Ｄ画像を異なる視点から見てよく、ハンドジェスチャ、音声コマンド、視線方向、及び／または他の制御入力を使用して、患者の画像またはセグメンテーションに対して３Ｄ画像を操作してよい。例えば、医師は、患者のインプラント埋め込み箇所に、例えば、患者の肩に、インプラントまたはジグの仮想表現を配置してよい。配置は、例えば、関節窩骨処置のＭＲベースの術中ガイダンスの例に関して本開示の他の箇所に記載するように、「設定（ＳＥＴ）」及び「調整（ＡＤＪＵＳＴ）」技術によって仮想インプラントを設定及び調整することを伴ってよい。初期化プロセスで配置されると、マッチングアルゴリズムを実施して、例えば、関節窩骨処置のＭＲベースの術中ガイダンスの例に関して本開示の他の箇所に記載するように、コンピュータアルゴリズムを介して患者の解剖学的構造へのインプラント埋め込みを「マッチ（ＭＡＴＣＨ）」させてよい。

さらに、本開示の他の箇所に記載するように、仮想３次元表現が、ＭＲ提示において医師の手順を支援するように規定されてよい。仮想３Ｄ表現は、肩再建手術の上腕骨上の切断軸等、解剖学的要素に対する切断軸を示してよい。別の例として、仮想３Ｄ表現は、肩再建手術の患者の関節窩骨に対するリーミング軸等、解剖学的要素に対するリーミングアクセスを示してよい。さらに別の例として、３次元表現は、解剖学的要素に対するドリル軸を示してよい。当然、仮想３Ｄ表現は、行われる手術手順によって規定されてよい。足首の手術においては、例えば、仮想３Ｄ表現は、仮想の足首モデル、または距骨及び／または脛骨のモデルに対して提示される仮想要素を含んでよい。

さらに別の例として、３次元表現は、解剖学的要素に対する仮想ジグの配置を示してよく、この場合、３次元表現は、仮想ジグに対する軸（例えば、リーミング軸）も含んでよい。これらの例においては、解剖学的要素は、患者の現実の骨であってよい、または、患者の解剖学的特徴の１つまたは複数の現実の画像に基づいて生成された患者の解剖学的特徴の３Ｄ仮想表現を含んでよい。解剖学的特徴の３Ｄ仮想表現は、患者の実際の解剖学的要素、すなわち、患者の現実の解剖学的構造へ位置合わせされてよく、その結果、実際の物理的解剖学的要素のＭＲビューにオーバーレイとして示される。このように、３Ｄ仮想表現（例えば、切断軸、リーミング軸、ドリル軸、仮想ジグ、または他の特徴）に関連付けられた術前計画は、３Ｄ仮想表現に関して規定されてよく、その結果、３Ｄ仮想表現が患者の現実の解剖学的特徴へ位置合わせされると、術前計画の特徴（例えば、切断軸、リーミング軸、ドリル軸、仮想ジグ、または他の特徴）も、患者の現実の解剖学的特徴に対して適切に整列される。

いくつかの例では、ＭＲシステムは、患者または他の医療専門家との教育的協力を可能にし得る。ＭＲベースの協力は、ＭＲの支援で患者への手順を説明するために患者との術前会議中に行われてよい。ＭＲベースの協力は、患者への手順の詳細を説明するために、実際の患者の画像をインプラント、ジグまたは他の医療デバイスの仮想表現と組み合わせて使用してよい。

他の例では、ＭＲシステムは、術後の症例分析を可能にし得る。この場合、手術結果の実際の画像は、他の患者の他の手術結果の画像と比較されてよい。別の例として、手術結果の実際の画像は、術後評価を提供するために、仮想画像と比較されてよい。術後協力は、術前協力と同様、本明細書に記載するようなＭＲ可視化デバイスまたはＶＲ可視化デバイスを用いて、患者、または、複合現実に参加する他の全ての医療専門家と行われてよい。

さらに他の例では、ＭＲシステムは、医療処置または手術中の教育訓練を可能にし得る。言い換えると、医療処置の１人または複数の受動的視聴者は、ＭＲ環境に対する制御無しに、ＭＲ環境のビューをユーザに提供する受動的ＭＲ可視化デバイスを有してよい。このような受動的視聴者は、手術室に、または、手術室の隣の視聴室、または、手術室からリモートにいてよい。あるいは、場合によっては、受動的視聴者は、リモートで、手術室の人が見るＭＲ提示の１つまたは複数を主に見てよい。手術室の一員の存在も手術窒の一員との協力も無いリモート位置からのこのような受動的視聴は、訓練及び教育目的で使用されてよい。このようなＭＲ視聴ツールは、医療処置のリアルタイムビューまたは遅延ビューでの使用に非常に有用であり得る。

いくつかの例では、ＭＲシステムは、例えば、可視化デバイス２１３のストレージシステムに記憶された、または、可視化デバイス２１３に通信可能に結合されたデータベース（例えば、図２のストレージシステム２０６）に記憶された以前の患者または以前の手術に関連する情報のデータベースを維持してよい。この場合、情報のデータベースは、現在の手術または処置に密接に関連する知識または情報を伝え得る以前の手術または処置の状況または事情を識別するために使用されてよい。患者の測定値、解剖学的特徴のサイズ、形状もしくは奇形、インプラントもしくはジグのサイズ、または他のパラメータ等、特定のパラメータが、データベースに記憶された以前の手術または処置と現在の処置との間の類似または一致を識別するために使用されてよい。

このように、ＭＲシステムは、現在の患者に関連する現在の処置と、過去の患者に行われた過去の処置との間の症例の類似性を医師が識別することを支援するために使用することができる。場合によっては、ＭＲシステムは、手術の推奨（インプラントのサイズ及び形状、インプラントのタイプ、解剖学的または逆解剖学的処置の推奨、または、他のタイプの推奨等）をユーザである医師に提示するように構成されてよい。推奨は、例えば、データベースに記憶されたデータを活用する機械学習技術によって規定されてよい。

術中フェーズ３０６（図３）中、外科医は、複雑な一連のワークフローステップに従う整形外科手術を行う場合があり、ステップの一部または全ては、所定の順に従って進み得る。外科医は一般的に、整形外科手術のステップを行う訓練を十分に受けているが、整形外科手術の１つまたは複数のステップが誤って省略されたり、不正確な方法で行われたりするインシデントが生じる場合がある。さらに、外科医は、整形外科手術のステップを行うことを覚えているが、ステップの１つまたは複数の態様の実行の仕方を間違えて覚えているというインシデント、または、ステップの実行方法のリマインダもしくはステップの１つまたは複数の態様に関するガイダンスから利益を受けるが、それらの一部が、特定の患者のために生成された特定の手術計画に従って変更されているというインシデントが生じ得る。

このようなインシデントは、手術の効率、手術の有効性または患者の結果に影響を与え得る。書面のチェックリストを使用して、手術のステップを行う外科医及び手術室（ＯＲ）のスタッフに思い出させてよい。しかしながら、書面のチェックリストの使用には多くの欠点がある。例えば、特に、外科医が手術用ツールを手に持っている時、外科医が書面のチェックリストを見ることは容易でない場合がある。さらに、外科医は無菌状態を保たなければならないので、書面のチェックリストの項目に外科医が自分の手でチェックを付けることは不可能である。さらに、書面のチェックリストは、完了したステップと今後のステップに関する視覚的混乱があり、書面のチェックリストの処理は外科医の貴重な時間を奪い得る。さらに、書面のチェックリストの視覚的混乱によって、外科医が、手術のステップを飛ばして読む可能性がある。看護師がチェックリストを保持して、外科医に復唱するというアプローチは、この目的のために専用の看護師が必要になるので、コストが増加し得る。さらに、書面のチェックリストでは、書面自体で提供される情報以上の情報に外科医がアクセスすることはできない。

ＯＲのコンピュータ画面に書面のチェックリストのコンピュータバージョンを提示することは、従来の書面のチェックリストと同じ問題の多くを有し得る。例えば、手術の全てのステップをコンピュータ画面上に提示すると、視覚的混乱を生じさせて、外科医を遅れさせたり混乱させ得る、また、手術部位から外科医が眼をそらす必要が生じ得る。さらに、コンピュータ画面に提示されたチェックリストを制御するために専用の看護師が必要となり得る。さらに、書面のチェックリストのコンピュータバージョンは、原則として、外科医が手術中により多くの情報にアクセスするのを可能にし得るが、外科医は、このような情報の表示を要求するのが困難な場合がある。例えば、無菌状態を保つ必要があるため、外科医は、マウスまたはキーボードを使用してコンピュータを制御することができない場合がある。外科医は、音声による指示をコンピュータまたは看護師に行うことができてよいが、音声コマンドは、コンピュータ及び看護師によって間違って解釈される場合があり、その結果、時間を失ったり、ここでも、外科医がコンピュータに追加情報を表示させたい場合に備えて、コンピュータを制御するために利用できる専用の看護師を必要とし得る。

コンピュータ画面に提示されるチェックリストの追加の問題は、整形外科医及び他のヘルスケア専門家が患者のまわりで作業する十分な空間を確保するために、手術中、コンピュータ画面が整形外科医からいくらか遠くなることが多いということである。例えば、コンピュータモニタは、手術室の壁に取り付けられている場合がある。しかしながら、これだけで、整形外科医にとっては一定の問題が起こり得る。例えば、一例では、患者の手術部位がよく見えるように外科医を助ける拡大ルーペ眼鏡または標準的な矯正用眼鏡をかけている整形外科医がいる。しかしながら、患者の手術部位は一般的に、コンピュータモニタがある場所よりも整形外科医にずっと近いので、外科医の眼鏡は、かなり遠い距離にあるコンピュータモニタを見るのを困難にし得る。言い換えると、手術場所とコンピュータモニタの間の焦点距離の差が大きすぎて、整形外科医が、特定の眼鏡を着用している（または、着用していない）時、手術場所とコンピュータモニタの両方を見ることができない場合がある。従って、外科医は、コンピュータモニタを見るために、眼鏡をはずすまたは変えることが必要な場合がある。眼鏡をはずすまたは変えることは、時間を費やし、細菌の広がりや他のタイプの汚染の他の潜在的な媒介物を導入し得る。

本開示は、上記の問題等の問題に対処し得るように、整形外科手術のワークフローステップを通してエクステンデッドリアリティ（ＸＲ）を使用してユーザ（例えば、外科医または他のタイプの人）を支援する技術を記載する。本開示の他の箇所に記載するように、ＸＲは、ＶＲ、ＭＲ及びＡＲを含み得る。整形外科手術のワークフローステップを通してユーザを支援するためにＸＲを使用し、ＸＲがＶＲの形態を取る例では、ユーザは、整形外科手術のシミュレーションを行っていてよい、または、整形外科手術をリモートで行っていてよい。整形外科手術のワークフローステップを通してユーザを支援するためにＸＲを使用し、ＸＲがＭＲまたはＡＲの形態を取る例では、外科医は、整形外科手術中、現実世界の物体と仮想物体とを同時に認識してよい。

例えば、図１１７は、本開示の技術による、整形外科手術のワークフローステップのステップを通して、外科医、看護師、または他の医療技師等のユーザを支援し得る例示のシステム１１７００を示すブロック図である。図１１７の例では、システム１１７００は、ＸＲ可視化デバイス１１７０２、通信ネットワーク１１７０４、及び、１つまたは複数のコンピューティングシステム１１７０６Ａ～１１７０６Ｎ（集合的に、「コンピューティングシステム１１７０６」）を含む。他の例では、システム１１７００は、より多い、より少ない、または異なるデバイス及びシステムを含んでよい。

コンピューティングシステム１１７０６は、サーバコンピュータ、パーソナルコンピュータ、スマートフォン、ラップトップコンピュータ、及び他のタイプのコンピューティングデバイス等、様々なタイプのコンピューティングデバイスを含んでよい。説明を簡単にするために、本開示は、ＸＲ可視化デバイス１１７０２及びコンピューティングシステム１１７０６の処理回路、データストレージシステム、及び通信インタフェースによって行われているアクションを、全体としてＸＲ可視化デバイス１１７０２及びコンピューティングシステム１１７０６によって行われているとして記載している場合がある。通信ネットワーク１１７０４は、ローカルエリアネットワーク、インターネット、及び／または他のタイプの通信ネットワーク等、様々なタイプのネットワークを含んでよい。整形外科手術システム１００（図１）の様々なコンピューティングシステムは、システム１１７００を含んでよい。例えば、術中ガイダンスシステム１０８は、システム１１７００を含んでよい。いくつかの例では、ＸＲ可視化デバイス１１７０２は、図５の例に示すように実施されてよい。

図１１７の例では、ＸＲ可視化デバイス１１７０２は、整形外科医によって着用されてよく、表示のためにＸＲ可視化を出力してよい。いくつかの例では、ＸＲ可視化デバイス１１７０２は、他のタイプのユーザ（例えば、看護師、医療技師、または他のタイプのユーザ）によって着用され、表示のためにＸＲ可視化を出力してよい。ＸＲ可視化デバイス１１７０２は、コンピューティングシステム１１７０６の１つまたは複数から整形外科手術のワークフローステップに関する情報にアクセスしてよい。ＸＲ可視化デバイス１１７０２とほぼ類似のまたは同じＸＲ可視化デバイスが、１人または複数の人が整形外科手術のワークフローステップに関するガイダンスを提供するＡＲ、ＭＲ及び／またはＶＲ画像を観察可能なように、１人または複数の看護師、１人または複数の医療技師、または１人または複数の追加の外科医等の手術室の他の人によって着用されてよい。

ある例では、ＸＲ可視化は、１つまたは複数の仮想チェックリスト項目のセットを含む。１つまたは複数の仮想チェックリスト項目のそれぞれは、整形外科手術（例えば、肩関節形成、足関節形成、または他のタイプの整形外科手術）のステップのチェックリストの項目に対応する。ステップは、手順のステップの物理的または機能的特性に従って、ステップが行われる順番に従って順に配置されてよい、または、局所的にステップの主題にまとめられてよい。さらに、この例では、ＸＲ可視化デバイス１１７０２のカメラまたは他のセンサは、仮想チェックリスト項目のセットの仮想チェックリスト項目を選択する整形外科医または他のユーザのコマンドを検出してよい。いくつかの例では、ＸＲ可視化デバイス１１７０２とは別個の１つまたは複数のデバイスが、コマンドを検出してよい。例えば、１つまたは複数のカメラ、マイクロフォン、または手術室に配置された他のタイプのデバイスが、コマンドを検出してよい。しかし、説明を簡単にするために、本開示は、コマンドを検出するとしてＸＲ可視化デバイス１１７０２を記載する。しかしながら、コマンドを検出するＸＲ可視化デバイス１１７０２の記載は、コマンドを検出する１つまたは複数の他のタイプのデバイスに該当し得る。非接触型コマンドの検出に応答して、ＸＲ可視化デバイス１１７０２は、選択された仮想チェックリスト項目に対応する整形外科手術のステップに関する追加情報を含むようにＸＲ可視化を更新してよい。

いくつかの例では、コマンドは非接触型コマンドである。非接触型コマンドは、整形外科医または他のユーザがいずれの固体物体にも触れることなく行われる。例えば、非接触型コマンドは、空中で行われるハンドジェスチャであってよい。例えば、非接触型コマンドは、ＸＲ可視化の仮想要素に向けられたつまむジェスチャであってよい。いくつかの例では、非接触型コマンドは音声コマンドである。

他の例では、ＸＲ可視化デバイス１１７０２は、接触を伴うコマンドを検出してよい。例えば、ＸＲ可視化デバイス１１７０２は、ユーザ（例えば、整形外科医または他のタイプのユーザ）がユーザの右手の甲をユーザの左手の１つまたは複数の指でタップするハンドジェスチャの形態の第１のコマンドを検出してよい。この例では、ＸＲ可視化デバイス１１７０２は、ユーザがユーザの左手の甲をユーザの右手の１つまたは複数の指でタップするハンドジェスチャの形態の第２のコマンドを検出してよい。別の例では、ユーザは、手術台の隅または手術アイテム等、表面（例えば、滅菌された表面）をタップしてよい。

コマンドが非接触型コマンドである例では、整形外科医または他のユーザは、いずれの固体物体にも触れることなく、追加情報を見ることができるので、マウス、キーボードまたはタッチスクリーン等の物理的コンピュータユーザインタフェースデバイスに整形外科医または他のユーザが触れることによる汚染という追加の危険が無い。汚染の危険を減らすことに関する類似の考慮事項は、外科医自身の手または滅菌された手術アイテム等、既に滅菌された表面への接触ベースのコマンドにも適用され得る。さらに、コマンド（例えば、非接触型コマンド）がハンドジェスチャである例では、情報にアクセスするためのハンドジェスチャの使用は、上記音声コマンドに伴う問題を回避し得るが、音声コマンドもいくつかの例で使用されてよい。このように、整形外科手術のワークフローチェックリストを取り扱うコンピューティングシステム（例えば、ＸＲ可視化デバイス１１７０２、コンピューティングシステム１１７０６のうちの１つ等）は、汚染を広げる媒介物として働くコンピューティングシステムのリスクを低減することによって改善されてよい。さらに、仮想チェックリスト項目は、手術場所の焦点面に比較的近い焦点面にＸＲ可視化で提示され得るので、整形外科医は、仮想チェックリスト項目を見るために眼鏡を変えたり、外したりする必要が無い。従って、様々な例において、本開示の技術は、視力障害のある整形外科医または他のユーザにとって特に、コンピューティングシステムのアクセス可能性を向上させ得る、また、整形外科医または他のユーザが、本開示の技術が無ければ仮想チェックリスト項目へのアクセスに必要であったステップをスキップすることを可能にして、コンピューティングシステムの使用の効率を向上させ得る。

ＸＲ可視化デバイス１１７０２は、ＸＲ可視化で様々な仮想チェックリスト項目を提示してよい。例えば、ＸＲ可視化は、整形外科医が行っている整形外科手術の現在のステップに対応する仮想チェックリスト項目を含んでよい。この例では、ＸＲ可視化は、整形外科手術の完了したステップに対応する仮想チェックリスト項目を除外してよい。さらに、いくつかの例では、ＸＲ可視化は、整形外科手術の現在のステップの後に生じる整形外科手術の１つまたは複数のステップに対応する仮想チェックリスト項目を除外してよい。例えば、一例において、ＸＲ可視化デバイス１１７０２は、現在のステップの後に生じる整形外科手術の全てのステップに対応する仮想チェックリスト項目を除外してよい。別の例では、ＸＲ可視化は、整形外科手術の次のステップを除く整形外科手術の全てのステップに対応するチェックリスト項目を除外してよい。いくつかの例では、ＸＲ可視化の仮想チェックリスト項目の表示されるセットは、ユーザ設定可能である。

異なる整形外科手術には異なるステップがある。例えば、膝関節形成を行う一連のステップは、逆肩関節形成を行うために必要な一連のステップとは異なる。一例では、肩関節形成の一連のステップは、切開ステップ、上腕骨頭を切断するステップ、リーミングガイドピンのためにドリルで穴を開けるステップ、関節窩リーミングプロセスを行うステップ、関節窩インプラントを取り付けるステップ、上腕骨を準備するステップ、上腕骨インプラントを取り付けるステップ、及び切開を縫合するステップを含んでよい。いくつかの例では、ステップは、ネスト化されたサブステップを含んでよい。いくつかの例では、一連のステップは、図１０の移植、上腕骨切断、ガイド取付、関節窩リーミング、及び関節窩インプラントのステップを含んでよい。一部のこのような例では、整形外科手術の次のステップは、サブステップであってよい。上記ステップ等のステップは、例えば、ＡＲ、ＭＲまたはＶＲ可視化を使用して、チェックリスト項目として提示されてよい。当然、足関節形成のステップは、他のタイプの整形外科手術のステップとも異なってよく、仮想ワークフローガイダンス及び仮想チェックリストは、所与のタイプの足関節形成または他の整形外科手術に対して規定された特定のステップをガイド及び追跡するように規定されてよい。

さらに、整形外科手術は、特定の患者に合わせてカスタマイズされてよい。例えば、骨棘を取り除く追加のステップが、ある患者の肩関節形成術に必要な場合があるが、他の患者の肩関節形成術では必要でない場合がある。異なる患者に対する同じ手術内でばらつきがあり得るという事実は、外科医及び手術室要員の精神的負担を増加させ得る。従って、ＸＲ可視化は、特定の患者に合わせてカスタマイズされた整形外科手術の患者固有のステップまたはサブステップに対応する仮想チェックリスト項目を含んでよい。患者固有のステップまたはサブステップに対応する仮想チェックリスト項目を含むことは、個々の患者に対してどのように整形外科手術を行うかを手術要員に思い出させるのに役立ち得る。

ＸＲ可視化は、仮想チェックリスト項目の様々なタイプの情報を提示してよい。例えば、一例では、ＸＲ可視化の仮想チェックリスト項目は、整形外科手術の対応するステップを識別するテキストを含んでよい。いくつかの例では、ＸＲ可視化の仮想チェックリスト項目は、整形外科手術の対応するステップを表すアイコンまたは他のテキストでないグラフィックを含んでよい。いくつかの例では、仮想チェックリスト項目は、整形外科手術の対応するステップでどの手術アイテム（例えば、ツール、インプラント等）を使用すべきかを指定してよい。ＸＲ可視化は、様々なフォーマットの仮想チェックリスト項目を提示してよい。例えば、ＸＲ可視化は、仮想チェックリスト項目を項目の行または列として提示してよく、各行または各列は、テキスト、アイコン、または他の情報を含み得る。いくつかの例では、ＸＲ可視化は、３次元のカードスタックフォーマットで仮想チェックリスト項目を提示してよく、この場合、仮想チェックリスト項目は、スタックから除去またはスタックに追加し得る異なる仮想カードの形である。

いくつかの例では、仮想チェックリスト項目は、個々の患者に固有の整形外科手術のステップに対応してよい。言い換えると、仮想チェックリスト項目は、他の患者の整形外科手術のバージョンに含まれない患者固有の整形外科手術のバージョンに含まれるステップに対応してよい。例えば、上記肩関節形成術の例では、ＸＲ可視化は、第１の患者の手術中、骨棘を取り除くステップに対応する仮想チェックリスト項目を含んでよいが、骨棘を取り除く必要のない第２の患者の手術ではこの仮想チェックリスト項目を含まない。

ＸＲ可視化デバイス１１７０２は、様々なタイプの追加情報をＸＲ可視化で提示してよい。一例では、追加情報は、整形外科手術のステップを記載する追加のテキストを含んでよい。例えば、追加情報は、整形外科医または他の人が以前に書いた覚書を含んでよい。いくつかの例では、以前に書いた覚書は、整形外科医が手術をしている患者に固有であってよい。例えば、患者固有の以前に書かれた覚書は、第１の患者の骨の特定の位置にある嚢胞を避けるように特定の方法でネジを取り付けるように整形外科医に知らせてよい。この例では、他の患者は、第１の患者と同じ位置に嚢胞を有してない場合がある。いくつかの例では、以前に書かれた覚書は、患者に共通であり得るが、個々の外科医、病院、ケアネットワーク、または他のグループに固有であってよい。例えば、外科医は常に、手術の特定のステップに関して自分個人の覚書にアクセスしたい可能性がある。

いくつかの例では、追加情報は、整形外科手術のステップに関連する１つまたは複数の仮想３次元物体を含んでよい。言い換えると、ＸＲ可視化デバイス１１７０２は、整形外科手術のステップに関連する１つまたは複数の仮想３次元物体を含むようにＸＲ可視化を更新してよい。３次元物体は、整形外科手術のステップに関与する骨の１つまたは複数の仮想３次元モデルを含んでよい。例えば、本開示の他の箇所に記載される肩関節形成術の文脈で、３次元物体は、患者の肩甲骨の３次元モデルを含んでよい。この例では、ＸＲ可視化は、現実世界の物体に対応しない１つまたは複数の仮想３次元物体を含んでよい。例えば、仮想３次元物体は、仮想リーミング軸を含んでよい。手術中にＸＲ可視化に示される仮想３次元モデルは、術前フェーズ３０２中に示される仮想３次元モデルと同じであってよい。従って、整形外科医または他のユーザは、整形外科医が術前計画フェーズ中、仮想３次元モデルを使用している場合があるので、その仮想３次元モデルを既によく知っていてよい。従って、いくつかの例では、ＸＲ可視化は、図１５Ａ、図１５Ｂ、図１５Ｃ、図１５Ｄ、図１６、図１７、図２７、図２８、図２９、図３０等に示される仮想３次元モデル等、仮想３次元モデルを含んでよい。いくつかの例では、３次元モデルの１つまたは複数は、手術を行っている個々の患者に固有である。いくつかの例では、３次元モデルの１つまたは複数は、患者に汎用である。

いくつかの例では、ＸＲ可視化はまた、仮想３次元物体を制御する仮想コントロールを含んでよい。整形外科医または他のユーザは、非接触型コマンド（例えば、ハンドジェスチャまたは音声コマンド）または接触ベースのコマンドを使用して、仮想コントロールを選択してよい。仮想コントロールは、整形外科医または他のユーザが、個々の仮想３次元物体を隠すまたは表示する、仮想３次元物体を回転させる、仮想３次元物体をスケール調整する、または仮想３次元物体を他の方法で制御するのを可能にし得る。本開示の他の箇所で詳細に説明した図１３は、整形外科手術のステップに関連付けられた仮想３次元物体を制御する仮想コントロールを含むＸＲ可視化のインタフェースの例である。詳細には、図１３は、肩関節形成術の関節窩リーミングステップに関連付けられた仮想３次元物体を制御する仮想コントロールを含むＸＲ可視化のインタフェースの例である。いくつかの例では、ＸＲ可視化デバイス１１７０２は、整形外科医または他のユーザからのコマンドに応答して、１つまたは複数の仮想３次元物体を回転またはスケール調整するようにＸＲ可視化を更新してよい。いくつかのこのような例では、コマンドは、ハンドジェスチャまたは音声コマンド等、非接触型コマンドであってよい。

さらに、いくつかの例では、ＸＲ可視化デバイス１１７０２は、１つまたは複数の仮想３次元物体に適用される整形外科手術のステップのアニメーションを、整形外科医または他のユーザに見せるようにＸＲ可視化を更新してよい。アニメーションは、ツールまたはインプラント等の１つまたは複数の仮想３Ｄ物体が最初の位置から、中間の位置、及び最後の位置に徐々に動くのを見せて、手順のステップを完了するのに必要な動作を表してよい。例えば、肩関節形成の文脈で、ＸＲ可視化は、上腕骨頭を切断するステップの方法のアニメーションを見せてよい。これは、整形外科手術のステップの行い方、または、患者固有の手術計画に従った特定の方法でのステップの行い方を整形外科医または他のユーザが思い出すのを支援してよい。いくつかの例では、アニメーションは、個々の患者に固有である。いくつかの例では、アニメーションは、患者の集合にわたって汎用である。

いくつかの例では、ＸＲ可視化デバイス１１７０２は、整形外科医または他のユーザからの、整形外科手術のステップに完了のマークを付けるコマンド（例えば、非接触型コマンドまたは接触ベースのコマンド）を検出してよい。コマンドが非接触型コマンドである例では、非接触型コマンドは、ハンドジェスチャまたは音声コマンドであってよい。ステップに完了のマークを付けることは、ステップが完了したことを示すデータを（例えば、コンピューティングシステム１１７０６の１つによって）記憶することを含んでよい。さらに、コマンドに基づいて、ＸＲ可視化デバイス１１７０２は、整形外科手術のステップのチェックリストの次のステップに対応する仮想チェックリスト項目を含むようにＸＲ可視化を更新してよい。例えば、ＸＲ可視化デバイス１１７０２は、整形外科医からのコマンドを検出することに応答して、整形外科手術の現在のステップに完了のマークを付けるようにＸＲ可視化を更新してよい。

いくつかの例では、コンピューティングシステム１１７０６の１つまたは複数は、整形外科医以外の１人または複数の人に仮想チェックリスト項目を表示してよい。例えば、ＸＲ可視化デバイスまたはコンピュータは、ＸＲ可視化デバイス１１７０２が整形外科医に表示するのと同じ仮想チェックリスト項目を表示してよい。これによって、他の人が、手術の進行を追跡するのを可能にし得る。このような他の人は、看護師、製品担当者、生徒、他の外科医等を含み得る。術中協力及び教育のための技術は、本開示の他の箇所に記載する。

いくつかの例では、外科医以外の人が、整形外科手術のステップに完了のマークを付けることに関わってよい。例えば、整形外科医からの、整形外科手術のステップに完了のマークを付けるコマンドを検出することに応答して、第２の人に関連付けられたコンピューティングデバイス（例えば、コンピューティングシステム１１７０６の１つ）は、整形外科手術のステップが完了したことを確認するように第２の人に促してよい。この例では、第２の人に関連付けられたコンピューティングデバイスは、ＸＲ可視化デバイス（例えば、ＭＲまたはＶＲ可視化デバイス）に通信可能に結合される。従って、手術室のスタッフ（例えば、外科医、看護師等）は、仮想チェックリスト項目を見ることができ得るリモートユーザに通信及び／または相談してよい。

例えば、第２の人に関連付けられたコンピューティングデバイスは、第２の人が着用するＸＲ可視化デバイス、第２の人のスマートフォン、第２の人が使用するコンピュータ等であってよい。第２の人に関連付けられたコンピューティングデバイスは、ＸＲ可視化デバイスに通信ネットワーク１１７０４を介して通信可能に結合されてよい。いくつかの例では、１つまたは複数の他のコンピューティングデバイス（例えば、コンピューティングシステム１１７０６の他のコンピューティングデバイス）が、ＸＲ可視化デバイス１１７０２または他のデバイスからの情報を処理して、第２の人に関連付けられたコンピューティングデバイスに送信する情報を生成してよい。このような情報を受信すると、第２の人に関連付けられたコンピューティングデバイスに、プロンプトを生成させてよい。

この例では、整形外科手術のステップのチェックリストの次のステップに対応する仮想チェックリスト項目を含むようにＸＲ可視化を更新する一部として、ＸＲ可視化デバイス１１７０２は、整形外科手術のステップが実際に完了していることを第２の人が確認したことに応答して、整形外科手術のステップのチェックリストの次のステップに対応する仮想チェックリスト項目を含むようにＸＲ可視化を更新してよい。このように、第２の人は、整形外科手術のステップが実際に完了していることを検証する機会を有する。これによって、手術手順のステップを誤ってスキップすることを防ぐことを支援し得、及び／またはケアの一般基準または患者に固有の要件に従ってステップが行われることを確実にすることを支援し得る。他の例では、整形外科医以外の人が、整形外科手術のステップに完了のマークを付ける最初のコマンドを行ってよく、外科医または他の人が、ステップが実際に完了したことを確認してよい。

いくつかの例では、ステップが完了したことを第２の人が検証するのを可能にするために、第２の人に関連付けられたコンピューティングデバイスは、手術部位を見るように配置されたカメラからのビデオフィードを表示してよい。例えば、一例では、カメラは、整形外科医が着用するＸＲ可視化デバイス１１７０２に一体化されてよい。別の例では、カメラは、手術室のフレームまたは壁に取り付けられる。

いくつかの例では、コンピューティングシステム１１７０６の１つは、手術手順のどのステップが手術手順の現在のステップであるかに基づいて、様々な手術用ツールを制御してよい。例えば、コンピューティングシステムは、特定のツールが現在のステップ中に使用されないはずである場合、そのツールを停止してよい。例えば、肩関節形成術の文脈で、コンピューティングシステムは、リーミングドリルが患者の上腕骨頭の切断のステップ中に使用されないはずである場合、患者の上腕骨頭を切断するステップ中リーミングドリルを停止してよい。これによって、外科医が整形外科手術のステップをスキップするのを防ぐのを支援し得る。特定のステップでどの手術用ツールを使用してよいかを制御するために、コンピューティングシステム１１７０６は、手術手順の特定のステップで使用され得る手術用ツールの所定のリストにアクセスしてよい。

いくつかの例では、本明細書に記載のワークフロー管理プロセスは、本開示の他の箇所に記載するように、看護師が正しいツールを外科医に渡すのを支援するプロセスをガイドしてよい。例えば、看護師に提示されるＸＲ可視化の仮想物体は、整形外科手術の次のステップのためにどのツールを外科医に渡すべきかを看護師に示してよい。別の例では、手術用ツール内またはトレイに組み込まれたライトが、整形外科手術の次のステップでどのツールが使用されるかを看護師に示してよい。このような例は、本開示の他の箇所により詳細に記載されている。

いくつかの例では、コンピューティングシステム（例えば、コンピューティングシステム１１７０６の１つ）は、看護師または他の個人に対して表示するためにチェックリスト項目を出力する。いくつかのこのような例では、ＸＲ可視化デバイス１１７０２が整形外科手術のステップに完了のマークを付けるコマンドを検出するのではなく、看護師が整形外科手術の次のステップで使用される手術アイテム（例えば、手術用ツール、インプラント、手術アイテムのボックス等）のコード（例えば、バーコード）をコンピューティングシステムのデバイスを使用して光学スキャンすると、コンピューティングシステムが、整形外科手術のステップに完了のマークを付けてよい。これは、チェックリストを前に進めることと、使用可能な手術アイテムの残りを更新することの複合効果を有し得る。この例では、看護師が整形外科手術の次のステップのための予測される手術アイテムをスキャンしなかった場合、コンピューティングシステムが、看護師に警告してよい。

いくつかの例では、システム１１７００のコンピューティングシステムは、手術ノートを記録して、手術ノートを整形外科手術のステップに自動的に関連付けてよい。例えば、外科医は、整形外科手術の途中でノートを口述してよい。この例では、ＸＲ可視化デバイス１１７０２またはコンピューティングシステム１１７０６のうちの１つのマイクロフォンが、外科医の声を検出及び記録してよい。コンピューティングシステム１１７０６の１つは、口述されたノートを記憶してよい（及び、いくつかの例では、音写してよい）。いくつかの例では、看護師が、外科医が口述したノートを書き写してよい。さらに、コンピューティングシステムは、整形外科手術の特定のステップが現在のステップである間、口述されたノートを特定のステップに関連付けてよい。言い換えると、手術中に口述されたノートは、ノートが口述された手術のステップに関連付けられてよい。従って、整形外科手術の特定のステップのノートは、整形外科手術のステップに基づいて読み出されてよい。

同様に、いくつかの例では、１つまたは複数のコンピューティングシステム１１７０６は、手術のビデオの一部を手術の対応するステップに自動的に関連付けてよい。これによって、ユーザの関心のある手術のステップに対応するビデオの部分にユーザが素早くジャンプするのを可能にし得る。

図１１８は、本開示の技術による、整形外科手術のワークフローのステップを通して、外科医、看護師、または他の医療技師等のユーザを支援する例示の動作を示すフローチャートである。図１１８の例では、整形外科医が着用するＸＲ可視化デバイス１１７０２は、表示のためにＸＲ可視化を出力してよい（１１８００）。ＸＲ可視化は、１つまたは複数の仮想チェックリスト項目のセットを含む。１つまたは複数の仮想チェックリスト項目のそれぞれの項目は、足関節形成または肩関節形成等、整形外科手術のステップのチェックリストの項目に対応する。

さらに、ＸＲ可視化デバイス１１７０２は、整形外科医の非接触型コマンド（例えば、ハンドジェスチャまたは音声コマンド）を検出して、仮想チェックリスト項目のセットの仮想チェックリスト項目を選択してよい（１１８０２）。非接触型コマンドは、整形外科医が固体物体のいずれにも触れることなく実行され、カメラ、マイクロフォン、または外科医が着用するＸＲ可視化デバイス、１１７０２手術室の他の人が着用するＸＲ可視化デバイスに関連付けられた他のセンサ、またはＸＲ可視化デバイスに搭載されていない他のセンサによって検出されてよい。さらに、非接触型コマンドを検出することに応答して、ＸＲ可視化デバイス１１７０２は、選択された仮想チェックリスト項目に対応する整形外科手術のステップに関する追加情報を含むようにＸＲ可視化を更新してよい（１１８０４）。

いくつかの例では、ＸＲ可視化デバイス１１７０２は、整形外科医が手術中、着用または他の方法で使用するＭＲ可視化デバイスまたはＡＲ可視化デバイスである。いくつかの例では、ＸＲ可視化デバイス１１７０２はＶＲ可視化デバイスである。このような例では、整形外科医は、ＶＲ可視化デバイスを使用して、整形外科手術のシミュレーションを行ってよい。このようなシミュレーション中、整形外科医がＭＲ可視化デバイスまたはＡＲ可視化デバイスで仮想チェックリスト項目を見るであろうものと同じように、整形外科医が仮想チェックリスト項目を見ることが役立ち得る。

図１１９は、患者の肩に整形外科手術を行いながら、整形外科医、看護師、または他の医療技師のユーザが見る１つまたは複数の仮想チェックリスト項目のセットを含む例示のＸＲ可視化１１９００を示す概念図である。図１１９の例では、患者は、手術台に横たわっており、整形外科医は、患者を上から見ている。整形外科医は、患者の肩に既に切開１１９０２を行い、関節窩表面１１９０４を露出させている。

本開示の技術によると、ＸＲ可視化１１９００は、仮想チェックリスト項目１１９０６のセットを含む。仮想チェックリスト項目１１９０６は、整形外科医が患者に対して行っている整形外科手術のステップのチェックリストの項目に対応する。図１１９の例では、仮想チェックリスト項目１１９０６が、仮想カードのスタックの形態で提示され、各カードは、整形外科手術のステップ（または、サブステップ）に対応する。他の例では、１つまたは複数の仮想チェックリスト項目１１９０６は、ＸＲ可視化において列の形態で提示されてよい。いくつかの例では、１つまたは複数の仮想チェックリスト項目１１９０６は、図１０の選択可能なボタン１００２の配置と類似した行の形態である。

仮想チェックリスト項目１１９０８は、整形外科手術のステップを記載するテキストと、そのステップに対応するグラフィックとを含む。詳細には、仮想チェックリスト項目１１９０８は、リーミングガイドピンを取り付けるステップを記載するテキストを含む。さらに、図１１９の例に示すように、仮想チェックリスト項目１１９０８は、患者固有のコンテンツ、すなわち、患者が烏口突起に骨嚢胞を有し、誤って接触することを避けるべきことを含む。このような患者固有のコンテンツは、全ての患者に存在するわけではない。いくつかの例では、仮想チェックリスト項目１１９０８は、現在のステップに関連付けられた１つまたは複数の警告を含んでよい。例えば、図１６１の固定ネジ１６１０２Ａ及び１６１０２Ｂを取り付けるステップに関連付けられた仮想チェックリスト項目は、過剰なトルクを固定ネジ１６１０２Ａ及び１６１０２Ｂにかけることに対するテキストまたはグラフィックでの警告を含み得る。

本開示の他の箇所に記載するように、術前フェーズ３０２中（図３）に整形外科手術の手術計画が開発されてよい。例えば、手術計画は、ＢＬＵＥＰＲＩＮＴ（商標）システムを使用して開発されてよい。しかしながら、外科医は、整形外科手術を行っている時に手術計画から外れる場合がある。言い換えると、術中フェーズ３０６（図３）中の外科医の動作が、術前フェーズ３０２（図３）中に規定された手術計画に記載の動作と異なる場合がある。

外科医が手術計画から外れる多くの理由がある。例えば、術前フェーズ３０２中に開発された手術計画は、患者の解剖学的構造に関して不正確な推定または仮定に基づいている場合がある。例えば、一例では、術前フェーズ３０２中に開発された手術計画は、骨棘の位置またはサイズの不正確な推定に基づいている場合がある。

外科医が術前フェーズ３０２中に開発された手術計画から外れ得る理由の別の例では、手術計画は、患者の病変の不正確な推定に基づき得る。例えば、外科医は、患者の肩関節を開いた時に、患者の肩関節の関節窩びらんのレベルが、患者の肩関節の以前の画像で理解したのとはＷａｌｃｈ変形性肩関節症分類システムで異なるカテゴリに一致することを見出す場合がある。肩修復手術の場合、患者の病変の不正確な推定によって、外科医が、標準的な解剖学的肩関節形成ではなく、逆肩関節形成を行うことが必要となる場合がある、または、逆の場合もある。

外科医が術前フェーズ３０２中に開発された手術計画から外れる理由の別の例では、手術計画が、骨密度の不正確な推定に基づいている場合がある。例えば、この例では、骨密度が、上腕骨または肩甲骨等、骨の特定の領域で低すぎる場合、骨が、術前フェーズ３０２中に計画したインプラントタイプ等のインプラントを十分に支えることができない場合がある。骨がインプラントを十分に支えることができない場合、骨折することがある、または、インプラントを骨に固定することが不可能な場合がある。結果として、外科医は、手術計画とは異なるように骨を切断、ドリル、またはリーミングしてインプラントの着座面を改良しなければならない、または異なるインプラントタイプを使用しなければならない場合がある。例えば、一例では、最初の手術計画は、ステムレス上腕骨インプラントの使用を要求しているが、上腕骨の骨密度が一定の領域で低すぎる場合、外科医は、ステム付き上腕骨インプラントに切り替えたい場合がある。

外科医が術前フェーズ３０２中に開発された手術計画から外れる理由の別の例では、単に手術計画に誤りがあったと外科医が気付く場合がある。外科医はまた、不注意で手術計画から外れる場合がある。例えば、外科医は、手術計画が示した角度と幾分異なる角度で骨を切断する場合がある。例えば、外科医は、上腕骨頭を切除し過ぎる場合がある。いくつかの例では、切断の角度が異なる結果として、異なるインプラントを使用して補償しないと、可能な可動域が異なることになり得る。

本開示の技術によると、コンピューティングシステムが、第１の手術計画を指定する情報モデルを取得してよい。第１の手術計画は、術前に規定された手術計画であってよい。コンピューティングシステムは、整形外科手術の術中フェーズ３０６中に第１の手術計画を修正して、第２の手術計画を生成してよい（図３）。さらに、本開示の技術によると、ＸＲシステムは、第２の手術計画に基づいた表示のためのＸＲ可視化を提示してよい。これによって、外科医は、ＸＲ可視化の使用を開始して、外科医が第２の手術計画を実行するのを支援するのが可能になる。

図１２０は、本開示の技術による、第１の手術計画を術中フェーズ３０６中に修正して、第２の手術計画を生成する例示のシステム１２０００を示す概念図である。システム１２０００は、コンピューティングシステム１２００２、ＸＲシステム１２００４、ストレージシステム１２００６、及びネットワーク１２００８を含む。図１２０の例では、ＸＲシステム１２００４は、可視化デバイス１２０１０を含む。図２のＭＲシステム２１２と同様、ＸＲシステム１２００４は、可視化デバイス１２０１０とは別個の１つまたは複数のプロセッサ及びストレージデバイス等、他のコンポーネントも含んでよい。図１２０の例に示すように、可視化デバイス１２０１０は、ヘッドマウントの可視化デバイスであってよい。他の例では、可視化デバイス１２０１０は、ホログラフィックプロジェクタ、またはユーザがＭＲ可視化を可視化するのを可能にする他のタイプのデバイスであってよい。いくつかの例では、コンピューティングシステム１２００２の機能は、可視化デバイス１２０１０またはＸＲシステム１２００４に含まれる１つまたは複数のプロセッサによって行われる。他の例では、コンピューティングシステム１２００２の機能の一部または全ての機能は、可視化デバイス１２０１０の外部のプロセッサによって行われる。

本開示の他の箇所に記載するように、コンピューティングシステム１２００２は、システムとして動作する１つまたは複数のコンピューティングデバイスを含んでよい。いくつかの例では、コンピューティングシステム１２００２は、仮想計画システム１０２（図１）または術中ガイダンスシステム１０８（図１）の一部である。コンピューティングシステム１２００２は、手術計画を記述する情報モデルを取得してよい。例えば、コンピューティングシステム１２００２は、例えば、ＢＬＵＥＰＲＩＮＴ（商標）等の手術計画ソフトウェアを使用して、情報モデルを生成してよい。いくつかの例では、コンピューティングシステム１２００２は、通信媒体または非一時的コンピュータ可読媒体等のコンピュータ可読媒体から情報モデルを取得してよい。ストレージシステム１２００６は、情報モデルを記憶してよい。

図１２１は、本開示の技術による、第１の手術計画を術中フェーズ３０６中に修正して、第２の手術計画を生成する例示の動作のフローチャートである。図１２１の例では、コンピューティングシステム１２００２は、患者に対して行われる整形外科手術の第１の手術計画を指定する情報モデルを取得してよい（１２１００）。例えば、コンピューティングシステム１２００２は、本開示の他の箇所に記載するように、第１の手術計画を生成または受信してよい。さらに、図１２１の例では、コンピューティングシステム１２００２は、整形外科手術の術中フェーズ３０６（図３）中に第１の手術計画を修正して第２の手術計画を生成してよい（１２１０２）。可視化デバイス１２０１０は、整形外科手術の術中フェーズ３０６中、第２の手術計画の基づいた表示のための可視化を提示してよい（１２１０４）。可視化は、ＭＲ可視化またはＶＲ可視化等のＸＲ可視化であってよい。

いくつかの例では、第１の手術計画は、患者に対して行われる整形外科手術の術前に規定された手術計画である。言い換えると、第１の手術計画は、術前フェーズ３０２（図３）中に規定されてよい。いくつかの例では、第１の手術計画は、患者に対して行われる整形外科手術の術中に規定された手術計画である。例えば、一例では、術前に規定された手術計画が、整形外科手術の途中で修正されて第１の手術計画が生成されていて、第１の手術計画はさらに修正されて、第２の手術計画が生成されてよい。

第１の手術計画は、様々な点で第２の手術計画と異なってよい。例えば、第１の手術計画は、手術用ツールまたはインプラント等、第１の手術アイテムの使用を指定してよい。この例では、コンピューティングシステム１２００２は、第２の手術計画が第１の手術アイテムの代わりに第２の手術アイテムの使用を指定するように、第１の手術計画を修正してよい。この例では、第２の手術アイテムは、第１の手術アイテムとは異なる。例えば、第１の手術アイテムと第２の手術アイテムは、サイズの異なる同じタイプのアイテムであってよい、または、全く異なるタイプのアイテムであってよい。例えば、第１の手術アイテムは、ステムレス上腕骨インプラントであってよく、第２の手術アイテムは、ステム付き上腕骨インプラントであってよい、または、その逆でもよい。いくつかの例では、第１の手術計画は、切断角度または位置（例えば、上腕骨頭の切除の切断角度または位置）という点で第２の手術計画と異なってよい。

いくつかの例では、第１の手術計画は、第１のタイプの手術の実行を指定してよい。この例では、コンピューティングシステム１２００２は、第２の手術計画が第１のタイプの手術とは異なる第２のタイプの手術を指定するように、第１の手術計画を修正してよい。例えば、第１のタイプの手術と第２のタイプの手術は、ステムレスの標準的全肩関節形成、ステム付きの標準的全肩関節形成、ステムレスの逆肩関節形成、ステム付きの逆肩関節形成、補強関節窩使用標準的全肩関節形成、または補強関節窩使用逆肩関節形成のうちの異なる手術であってよい。他の例では、第１のタイプの手術と第２のタイプの手術は、異なるタイプの足首の手術または他のタイプの関節の手術であってよい。肩の手術手順を参照して技術を記載したが、手術計画に対する類似の術中変更は、足関節形成術等、他のタイプの整形外科手術手順に関しても生じ得る。

整形外科手術が肩修復手術であるいくつかの例では、第１の手術計画は、患者の関節窩の第１のリーミング軸を指定してよい。この例では、第２の手術計画は、第１のリーミング軸とは異なる、患者の関節窩の第２のリーミング軸を指定してよい。例えば、第１のリーミング軸と第２のリーミング軸は、角度、進入点等のパラメータが異なってよい。整形外科手術が肩修復手術であるいくつかの例では、第１の手術計画は、患者の関節窩の第１のリーミング深さを指定してよい。この例では、第２の手術計画は、第１のリーミング深とは異なる、患者の関節窩の第２のリーミング深さを指定してよい。

さらに、整形外科手術が肩修復手術であるいくつかの例では、第１の手術計画は、第１の上腕骨の切断深さを指定してよく、第２の手術計画は、第１の上腕骨の切断深さとは異なる第２の上腕骨の切断深さを指定してよい。整形外科手術が肩修復手術であるいくつかの例では、第１の手術計画は、第１の上腕骨の切断角度を指定し、第２の手術計画、第１の上腕骨の切断角度とは異なる第２の上腕骨の切断角度を指定する。

いくつかの例では、第１の手術計画は、第１のインプラント位置を指定してよく、第２の手術計画は、第１のインプラント位置とは異なる第２のインプラント位置を指定する。例えば、一例では、第１のインプラント位置と第２のインプラント位置は、骨にインプラントを取り付ける異なる位置であってよい。別の例では、第１のインプラント位置と第２のインプラント位置は、上腕骨インプラント等、インプラントのステムの異なる深さであってよい。

コンピューティングシステム１２００２は、第２の手術計画を生成するために第１の手術計画を修正するかどうかと修正の仕方とを決定する様々な動作を行ってよい。例えば、コンピューティングシステム１２００２は、整形外科手術のステップが第１の手術計画に従って行われる場合、患者の骨の表面が整形外科手術のステップの実行の後に有する３次元形状を表す計画した深さマップを第１の手術計画に基づいて生成してよい。さらに、コンピューティングシステム１２００２は、外科医が整形外科手術のステップを実際の行った後の患者の骨の表面の３次元形状を表す実現された深さマップを生成してよい。この例では、コンピューティングシステム１２００２は、可視化デバイス１２０１０の１つまたは複数のデプスカメラ（例えば、デプスカメラ（複数可）５３２（図５））によって提供された情報を使用して、深さマップ（例えば、実現された深さマップ）を生成してよい。コンピューティングシステム１２００２は、実現された深さマップと計画した深さマップの間の差を決定してよい。例えば、コンピューティングシステム１２００２は、実現された深さマップと計画した深さマップの間の角度と深さの差を決定してよい。コンピューティングシステム１２００２は、実現された深さマップと計画した深さマップの間の決定された差に基づいて、第２の手術計画を生成してよい。例えば、コンピューティングシステム１２００２は、実現された深さマップと計画した深さマップの間の差を所与として、異なるタイプの手術または異なる手術アイテムが好ましいことを決定してよい。いくつかの例では、コンピューティングシステム１２００２は、マーカ（例えば、図３０のマーカ３０１０）を使用して、骨及び手術用ツール等、物体の深さ及び向きを決定する。

いくつかの例では、整形外科手術は、振動鋸ツールを用いて上腕骨頭を切断する（例えば、上腕骨頭を切除する）ステップを含む肩修復手術である。このような例では、計画された切断面は、上腕骨頭を切断するステップが第１の手術計画に従って行われる場合、振動鋸ツールが上腕骨頭を切断する平面である。さらに、この例では、実現された切断面は、上腕骨頭を切断するステップの実行中、振動鋸ツールが実際に上腕骨頭を切断した平面である。この例では、コンピューティングシステム１２００２は、計画された切断面と実現された切断面の間の差を決定してよい。さらに、コンピューティングシステム１２００２は、実現された切断面と計画された切断面の間の決定された差に基づいて、第２の手術計画を生成してよい。

整形外科手術が振動鋸ツールを用いて上腕骨頭を切断するステップを含む肩修復手術であるいくつかの例では、コンピューティングシステム１２００２は、上腕骨頭と振動鋸ツールとを含むシーン内に３次元形状を表す深さマップを生成してよい。このような例では、コンピューティングシステム１２００２は、深さマップに基づいて、実現された切断面を決定してよい。いくつかの例では、マーカが振動鋸ツールに固定され、コンピューティングシステム１２００２は、上腕骨頭を切断するステップの実行中にキャプチャされたマーカのビデオ画像（例えば、ＲＧＢ画像）に基づいて、実現された切断面を決定する。

さらに、整形外科手術が振動鋸ツールを用いて上腕骨頭を切断するステップを含む肩修復手術である一例では、第１の手術計画は、第１の上腕骨インプラントの使用を指定する。この例では、コンピューティングシステム１２００２は、第１の上腕骨インプラントを使用することから生じる第１の可動域を、実現された切断面に基づいて決定してよい。さらに、コンピューティングシステム１２００２は、第２の上腕骨インプラントの使用の結果、実現された切断面を所与として、第１の可動域ではなく第２の可動域を生じることを決定してよく、ここで、第２の上腕骨インプラントは、第１の上腕骨インプラントとは異なる。この例では、コンピューティングシステム１２００２は、実現された切断面を可動域にマッピングするケーススタディのデータベースを使用して、数学モデルを使用して、または、他のアルゴリズムに基づいて、第１の可動域を決定してよい。さらに、この例では、コンピューティングシステム１２００２は、第２の手術計画が第１の上腕骨インプラントの代わりに、第２の上腕骨インプラントの使用を指定するように、第２の手術計画を生成してよい。

整形外科手術がリーミングツールを用いた患者の関節窩をリーミングするステップを含む肩修復手術であるいくつかの例では、計画されたリーミング深さは、関節窩をリーミングするステップが第１の手術計画に従って行われる場合、リーミングツールが関節窩をリーミングする深さである。このような例では、実現されたリーミング深さが、関節窩をリーミングするステップの実行中にリーミングツールが関節窩を実際にリーミングした深さである。１つのこのような例では、コンピューティングシステム１２００２は、計画されたリーミング深さと実現されたリーミング深さの差を決定してよい。さらに、この例では、コンピューティングシステム１２００２は、実現されたリーミング深さと計画したリーミング深さの決定された差に基づいて、第２の手術計画を生成してよい。

さらに、整形外科手術が、患者の関節窩をリーミングするステップを含む肩修復手術である一例では、コンピューティングシステム１２００２は、関節窩とリーミングツールとを含むシーン内の３次元形状を表す深さマップを生成してよい。この例では、コンピューティングシステム１２００２は、深さマップに基づいて、実現されたリーミング深さを決定してよい。例えば、コンピューティングシステム１２００２は、リーミング後の関節窩に対応する深さマップの深さ値を使用して、関節窩がどのくらい深くリーミングされたかを決定してよい。いくつかの例では、第１のマーカがリーミングツールに固定され、第２のマーカが関節窩を有する肩甲骨に固定される。このような例では、コンピューティングシステム１２００２は、関節窩をリーミングするステップの実行中にキャプチャされた第１のマーカ及び第２のマーカのビデオ画像に基づいて、実現されたリーミング深さを決定してよい。

さらに、整形外科手術が、関節窩をリーミングするステップを含む肩修復手術である一例では、第１の手術計画は、第１の関節窩インプラントの使用を指定してよい。この例では、コンピューティングシステム１２００２は、第１の関節窩インプラントを使用することから生じる第１の可動域を、実現されたリーミング深さに基づいて、決定してよい。さらに、この例では、コンピューティングシステム１２００２は、第２の関節窩インプラントの使用の結果、実現されたリーミング深さを所与として、第１の可動域の代わりに、第２の可動域を生じることを決定してよく、ここで、第２の関節窩インプラントは、第１の関節窩インプラントとは異なる。コンピューティングシステム１２００２は、可動域を決定するための本開示の他の箇所に提供された例のいずれかに従って、可動域を決定してよい。さらに、コンピューティングシステム１２００２は、第２の手術計画が第１の関節窩インプラントの代わりに第２の関節窩インプラントの使用を指定するように、第２の手術計画を生成してよい。いくつかの例では、第２の可動域は、第１の可動域より大きい。

上記のように、可視化デバイス１２０１０は、第２の手術計画に基づいてＸＲ可視化を提示してよい。第２の手術計画に基づいたＸＲ可視化は、本開示の他の箇所に記載される術前ＭＲコンテンツのいずれか等、様々なタイプのコンテンツを含んでよい。例えば、ＸＲ可視化は、第２の手術計画に一致する整形外科手術のステップのチェックリストの項目に対応する１つまたは複数の仮想チェックリスト項目を含んでよい。可視化がＭＲ可視化である例では、ＭＲ可視化は、仮想チェックリスト項目を含んでよく、現実世界の物体の画像も含んでよい。このような例では、現実世界の物体の画像は、可視化デバイス１２０１０のシースルーのホログラフィックレンズを通して外科医が見る、または、可視化デバイス１２０１０の画面で外科医が見る患者及び手術室の画像であってよい。

いくつかの例では、システム１２０００は、外科医が手術計画から外れる前に、手術計画から外れた結果を外科医が評価するのを可能にし得る。例えば、外科医は、ある骨棘、予測とは異なる骨密度、または他の要因を発見したために、手術計画で指定されたのと異なる切断角度もしくは深さ、異なるリーミング深さ、または異なる手術アイテムを使用する場合の結果を評価したい場合がある。システム１２０００が手術計画から外れた結果を外科医が評価するのを可能にするいくつかの例では、コンピューティングシステム１２００２は、術中フェーズ３０６（図３）中、手術計画からの提案された逸脱に基づいて、修正された手術計画を生成してよい。そうすると、外科医は、修正された手術計画を術中に検討する機会を有し得る。例えば、可視化デバイス１２０１０は、修正された手術計画に基づいて、ＸＲ可視化を提示してよい。いくつかの例では、システム１２０００は、手術計画から外れたことによって生じ得る１つまたは複数の可動域を決定してよい。可動域は、症例履歴のデータベースのデータに基づいて、数学モデルに基づいて、ニューラルネットワークモデルに基づいて、または、他のタイプのアルゴリズムを使用して、決定されてよい。ＸＲ可視化は、可動域を提示してよい。例えば、システム１２０００は、図１１Ａ及び図１１Ｂに関して記載したように、修正された手術計画から生じる可動域を提示してよい。

外科医は、様々な点で手術計画からの提案された逸脱を指定してよい。例えば、外科医が振動鋸ツールを使用している例では、外科医は、骨の手術計画で指定された切断面に対して特定の角度で振動鋸ツールを持っていてよい。この例では、外科医は次に、特定の角度で骨を切断した結果を決定するようにシステム１２０００に求める入力を提供してよい。例えば、外科医は、「代わりにこの切断面を使用するとどうなる？」と言う音声コマンドを提供してよい。外科医がドリルツールを使用している例では、外科医がドリル穴の位置または深さを変更することをどのように提案するかを示す音声コマンドを発してよい。同様に、外科医がリーミングツールを使用している場合、外科医は、提案する代替のリーミング深さを示す音声コマンドを発してよい。

コンピューティングシステム１２００２が手術計画を修正する時、コンピューティングシステム１２００２は、手術計画からの逸脱によって課される制約を所与として、整形外科手術の１つまたは複数の手術パラメータの最適化を試みてよい。例えば、コンピューティングシステム１２００２は、予測される可動域の最適化、皮質骨との接触の最適化、骨の高品質（例えば、高密度）の部分とインプラントの接触点の最適化、または他の要因の最適化を試みてよい。これらの要因は、インプラントの位置、インプラントのステムサイズ、インプラントの表面サイズ、及び他の手術パラメータを駆動し得る。さらに、いくつかの例では、コンピューティングシステム１２００２が手術計画を修正する時、コンピューティングシステム１２００２または他のコンピューティングシステムの一部であってよい処理デバイス８３０４（図８３）は、修正された手術計画に基づいて次の手術アイテムを識別してよく、また、次の手術アイテムを識別する仮想情報をＭＲ提示で提示してよい。

本開示は、ニューラルネットワーク等の人工知能（ＡＩ）技術を用いた整形外科分類と手術計画を記載する。いくつかの例では、このようなＡＩ技術は、術前フェーズ３０２（図３）または手術ライフサイクルの他のフェーズ中に採用されてよい。ディープニューラルネットワーク（ＤＮＮ）を含む人工ニューラルネットワーク（ＡＮＮ）は、分類ツールとして非常に有望である。ＤＮＮは、入力層、出力層、及び入力層と出力層の間に１つまたは複数の隠れ層を含む。ＡＮＮ及びＤＮＮはまた、プール層等、１つまたは複数の他のタイプの層を含んでよい。

各層は、単に「ニューロン」と呼ばれることが多い人工ニューロンのセットを含んでよい。入力層の各ニューロンは、入力ベクトルから入力値を受け取る。入力層のニューロンの出力は、ＡＮＮの次の層への入力として提供される。入力層の後の層の各ニューロンは、前の層の１つまたは複数のニューロンの出力に伝搬関数を適用して、ニューロンへの入力値を生成してよい。ニューロンは次に、入力に活性化関数を適用して、活性化値を計算してよい。ニューロンは次に、活性化値に出力関数を適用して、ニューロンの出力値を生成してよい。ＡＮＮの出力ベクトルは、ＡＮＮの出力層の出力値を含む。

特に、肩の病変に関しては、整形外科手術の計画へのＡＮＮの適用に関していくつかの問題がある。例えば、いくつかの問題は、ＡＮＮが肩の病変に関して意味のある出力を提供できるように、ＡＮＮを構築及び訓練する方法に関する。整形外科手術の計画へのＡＮＮの適用に関する問題の別の例では、患者及びヘルスケア専門家は、コンピュータが行った決定を、特に、コンピュータがどのように決定を行ったかが明らかでない場合、信用したがらないことが理解できる。よって、患者及びヘルスケア専門家がＡＮＮの出力を安心して信用することを確実にするのを支援するように出力を生成する方法に関する問題がある。

本開示は、これらの問題を解決し、肩の病変に関する意味のある出力を提供するＡＮＮ構造を提供し得る技術を記載する。例えば、ＤＮＮ等の人工ニューラルネットワーク（ＡＮＮ）は、入力層、出力層、及び入力層と出力層の間の１つまたは複数の隠れ層を有する。入力層は、複数の入力層ニューロンを含む。複数の入力層ニューロンの各入力層ニューロンは、複数の入力要素の異なる入力要素に対応する。出力層は、複数の出力層ニューロンを含む。

複数の出力層ニューロンの各出力層ニューロンは、複数の出力要素の異なる出力要素に対応する。複数の出力要素の各出力要素は、１つまたは複数の肩病変分類システムの異なる分類に対応する。この例では、コンピューティングシステムは、過去の肩の手術症例から複数の訓練データセットを生成してよい。各訓練データセットは、複数の訓練データ患者の異なる訓練データ患者に対応し、各訓練入力ベクトルと各目標出力ベクトルとを含む。

各訓練データセットについて、各訓練データセットの訓練入力ベクトルは、複数の入力要素の各要素の値を含む。各訓練データセットについて、各訓練データセットの目標出力ベクトルは、複数の出力要素の各要素の値を含む。この例では、コンピューティングシステムは、複数の訓練データセットを使用して、ニューラルネットワークを訓練してよい。さらに、この例では、コンピューティングシステムは、現在の患者に対応する現在の入力ベクトルを取得してよい。コンピューティングシステムは、ＤＮＮを現在の入力ベクトルに適用して、現在の出力ベクトルを生成してよい。コンピューティングシステムは次に、現在の出力ベクトルに基づいて、現在の患者の、肩分類とも呼ばれる肩の状態の分類を決定してよい。ある例では、分類は診断である。

この例では、１つまたは複数の肩の病変分類システムの異なるクラスに対応する複数の出力要素に異なる出力要素を有することによって、ＤＮＮは、患者の肩の状態の分類に使用できる意味のある出力情報を提供でき得る。例えば、これは、出力層のニューロンの異なる値が異なるクラスに対応するシステムより計算的に、また訓練時間という点で効率が良い。さらに、いくつかの例では、出力層のニューロンの出力値は、患者の分類された肩の状態が肩の病変分類システムの１つの対応するクラスに属することの信頼の尺度を示す。このような信頼値は、ＤＮＮを使用してコンピューティングシステムが決定したのと異なる肩の状態のクラスを患者が有する可能性をユーザが考慮するのを支援し得る。さらに、同じ出力層ニューロンの出力が、信頼レベルを表し、且つ患者の肩の状態の分類（例えば、診断）を決定するための根拠となることは、計算的に効率が良い場合がある。

図１２２は、本開示の技術による、患者の肩の状態の分類を決定するために使用可能なＤＮＮを実施する例示のコンピューティングシステム１２２０２を示すブロック図である。コンピューティングシステム１２２０２は、整形外科手術システム１００（図１）の一部であり得る。コンピューティングシステム１２２０２は、ＤＮＮを使用して、図８のステップ８０２で病変を分類する一部として患者の肩の状態を分類してよい。いくつかの例では、コンピューティングシステム１２２０２は、コンピューティングシステム１２２０２の動作を行う１つまたは複数のプロセッサを含むＸＲ可視化デバイス（例えば、ＭＲ可視化デバイスまたはＶＲ可視化デバイス）を含む。

図１２２の例に示すように、システム１０９００は、コンピューティングシステム１２２０２と、１つまたは複数のクライアントデバイスのセット（集合的に、「クライアントデバイス１２２０４」）とを含む。他の例では、システム１２２００は、より多い、より少ない、または異なるデバイス及びシステムを含んでよい。いくつかの例では、コンピューティングシステム１２２０２及びクライアントデバイス１２２０４は、インターネット等、１つまたは複数の通信ネットワークを介して通信してよい。

コンピューティングシステム１２２０２は、１つまたは複数のコンピューティングデバイスを含んでよい。コンピューティングシステム１２２０２及びクライアントデバイス１２２０４は、サーバコンピュータ、パーソナルコンピュータ、スマートフォン、ラップトップコンピュータ、及び他のタイプのコンピューティングデバイス等、様々なタイプのコンピューティングデバイスを含んでよい。図１２２の例では、コンピューティングシステム１２２０２は、１つまたは複数の処理回路１２２０６と、データストレージシステム１２２０８と、１つまたは複数の通信インタフェースのセット１２２１０Ａ～１２２１０Ｎ（集合的に、「通信インタフェース１２２１０」）とを含む。データストア１２２０８は、データを記憶するように構成される。通信インタフェース１２２１０は、コンピューティングシステム１２２０２がクライアントデバイス１２２０４等の他のコンピューティングシステム及びデバイスに（例えば、無線で、または有線で）通信するのを可能にし得る。説明を簡単にするために、本開示は、処理回路１２２０６、データストア１２２０８、及び通信インタフェース１２２１０によって行われる動作を、まとめてコンピューティングシステム１０９０２によって行われるとして記載してよい。整形外科手術システム１００（図１）の１つまたは複数のサブシステムは、コンピューティングシステム１２２０２及びクライアントデバイス１２２０４を含んでよい。例えば、仮想計画システム１０２は、コンピューティングシステム１２２０２及びクライアントデバイス１２２０４を含んでよい。

ユーザは、クライアントデバイス１２２０４を使用して、コンピューティングシステム１２２０２によって生成された情報にアクセスしてよい。例えば、コンピューティングシステム１２２０２は、現在の患者の肩の状態の分類を決定してよい。分類は、肩の病変分類システムの複数の肩のクラスの中のある肩のクラスによって表されてよい。この例では、ユーザは、クライアントデバイス１２２０４を使用して、分類に関する情報にアクセスしてよい。コンピューティングシステム１２２０２は、クライアントデバイス１２２０４からリモートにあってよいので、クライアントデバイス１２２０４のユーザは、コンピューティングシステム１２２０２をクラウドベースのコンピューティングシステム内にあると考えてよい。他の例では、コンピューティングシステム１２２０２の一部または全ての機能が、クライアントデバイス１２２０４の１つまたは複数によって行われてよい。

コンピューティングシステム１２２０２は、ＤＮＮ等のニューラルネットワーク（ＮＮ）を実施してよい。ストレージシステム１２２０８は、１つまたは複数のコンピュータ可読データ記憶媒体を含んでよい。ストレージシステム１２２０８は、ＮＮのパラメータを記憶してよい。例えば、ストレージシステム１２２０８は、ＮＮのニューロンの重み、ＮＮのニューロンのバイアス値等を記憶してよい。

コンピューティングシステム１２２０２は、ＮＮの出力に基づいて、患者の肩の状態の分類を決定してよい。本開示の技術によると、ＮＮの出力要素は、１つまたは複数の肩の病変分類システムの異なるクラスに対応する出力要素を含む。肩の病変分類システムは、一次性変形性肩関節症分類システム、腱板分類システム、及び他の肩の病変の分類システムを含んでよい。例えば、Ｗａｌｃｈ分類システム及びＦａｖａｒｄ分類システムは、２つの異なる一次性変形性肩関節症分類システムである。Ｗａｒｎｅｒ分類システム及びＧｏｕｔａｌｉｅｒ分類システムは、２つの異なる腱板分類システムである。いくつかの例では、肩の病変分類システムは、一次性関節窩上腕骨変形性関節症（ＰＧＨＯＡ）、腱板断裂関節症（ＲＣＴＡ）の不安定性、重度腱板断裂（ＭＲＣＴ）、リウマチ性関節炎、外傷後関節炎、及び変形性関節症の１つまたは複数等、肩の病変のより一般的なカテゴリのクラスを含んでよい。

例えば、Ｗａｌｃｈ分類システムは、１Ａ、１Ｂ、２Ａ、２Ｂ及び３の５つのクラスを指定する。別の例として、Ｆａｖａｒｄ分類システムは、Ｅ０、Ｅ１、Ｅ２、Ｅ３及びＥ４の５つのクラスを指定する。さらなる例として、Ｗａｒｎｅｒ分類システムは、腱板萎縮の４つのクラスとして、無し、軽度、中等度及び重度を指定する。さらなる例として、Ｇｏｕｔａｌｉｅｒ分類システムは、５つのクラスとして、０（完全に正常な筋肉）、Ｉ（いくらかの脂肪線条）、ＩＩ（筋肉量が脂肪浸潤より多い）、ＩＩＩ（筋肉量が脂肪浸潤と等しい）、ＩＶ（脂肪浸潤量が筋肉より多い）を指定する。

いくつかの例では、コンピューティングシステム１２２０２は、ＮＮが生成した出力要素の値の比較に基づいて、患者の肩の状態の分類を決定してよい。例えば、出力要素の値は、患者の肩の状態が、値を生成した出力層ニューロンに対応するクラスに属する信頼レベルを示す信頼値に対応してよい。例えば、出力要素の値は、信頼値であってよい、または、コンピューティングシステム１２２０２が、出力要素の値に基づいて、信頼値を計算してよい。

いくつかの例では、出力層ニューロンの出力関数が、信頼値を生成する。さらに、コンピューティングシステム１２２０２は、信頼値のどれが最も高いかを識別してよい。この例では、コンピューティングシステム１２２０２は、最も高い信頼値に対応する肩の病変クラスが現在の患者の肩の状態の分類であると決定してよい。いくつかの例では、信頼値のいずれも閾値を超えない場合、コンピューティングシステム１２２０２は、コンピューティングシステム１２２０２が信頼できる分類を行うことができないことを示す出力を生成してよい。

上記のように、いくつかの例では、ＮＮの出力要素は、信頼値を含む。１つのこのような例では、信頼値関数が信頼値を出力する。信頼値関数は、ＮＮの出力層ニューロンの出力関数であってよい。この例では、信頼値関数が出力する全ての可能な信頼値は、所定の範囲内にある。さらに、この例では、コンピューティングシステム１２２０２は、ＮＮを入力ベクトルに適用して、出力ベクトルを生成してよい。ＮＮを適用する一部として、コンピューティングシステム１２２０２は、複数の出力層ニューロン各出力層ニューロンについて、各出力層ニューロンの出力値を計算してよい。

コンピューティングシステム１２２０２は次に、各出力層ニューロンの出力値の信頼値関数を信頼値関数への入力として適用してよい。信頼値関数は、各出力層ニューロンの信頼値を出力する。この例では、複数の出力層ニューロンの各出力層ニューロンについて、各出力層ニューロンに対応する出力要素が、各出力層ニューロンの信頼値を指定する。さらに、複数の出力層ニューロンの各出力層ニューロンについて、各出力層ニューロンの信頼値は、現在の患者の肩の状態が各出力層ニューロンに対応する出力要素に対応する１つまたは複数の肩の病変分類システムのクラスに属することの信頼の尺度である。

コンピューティングシステム１２２０２は、様々な信頼値関数を使用してよい。例えば、コンピューティングシステム１２２０２は、双曲正接関数、シグモイド関数、または所定の範囲内にある値を出力する他のタイプの関数を適用してよい。双曲正接関数（ｔａｎｈ）は、γ（ｃ）＝ｔａｎｈ（ｃ）＝（ｅ^ｃ－ｅ^－ｃ）／（ｅ^ｃ＋ｅ^－ｃ）の形式を有する。双曲正接関数は、出力層ニューロンの出力値等、実数値の独立変数を取り、それらを範囲（－１，１）に変換する。シグモイド関数は、γ（ｃ）＝１／（１＋ｅ^－ｃ）の形式を有する。シグモイド関数は、出力層ニューロンの出力値等、実数値の独立変数を取り、それらを範囲（０，１）に変換する。

コンピューティングシステム１２２０２は、複数の訓練データセットを使用して、ＮＮを訓練してよい。各訓練データセットは、複数の以前に分類された訓練データ患者の異なる訓練データ患者に対応してよい。例えば、第１の訓練データセットは、第１の訓練データ患者に対応してよく、第２の訓練データセットは、第２の訓練データ患者に対応してよい等である。訓練データセットは、訓練データセットが患者に関する情報を含み得るという意味で、訓練データ患者に対応してよい。訓練データ患者は、肩の状態を分類した現実の患者であってよい。いくつかの例では、訓練データ患者は、シミュレーションされた患者を含んでよい。

各訓練データセットは、各訓練入力ベクトル及び各目標出力ベクトルを含んでよい。各訓練データセットについて、各訓練データセットの訓練入力ベクトルは、複数の入力要素の各入力要素の値を含む。言い換えると、訓練入力ベクトルは、ＮＮの各入力層ニューロンの値を含んでよい。各訓練データセットについて、各訓練データセットの目標出力ベクトルは、複数の出力要素の各要素の値を含んでよい。言い換えると、目標出力ベクトルは、ＮＮの各出力層ニューロンの値を含んでよい。

いくつかの例では、目標出力ベクトルの値は、信頼値に基づく。このような信頼値は次に、整形外科医等の１人または複数の訓練されたヘルスケア専門家によって表された信頼レベルに基づいてよい。例えば、訓練されたヘルスケア専門家は、訓練データセットの訓練入力ベクトルの情報（または、訓練データセットの訓練入力ベクトルを導出する情報）を与えられてよく、訓練データ患者が肩の病変分類システムのそれぞれの各クラスに属する肩の状態を有することの信頼レベルを提供するように求められてよい。

例えば、肩の病変分類システムがＷａｌｃｈ分類システムを含む例では、ヘルスケア専門家は、訓練データ患者の肩の状態がクラスＡ１に属することを信頼レベルが０であることを示してよい（訓練データ患者の肩の状態がクラスＡ１に属することをヘルスケア専門家は全く信じていないことを意味する）、訓練データ患者の肩の状態がクラスＡ２に属することの信頼レベルが０であることを示してよい、訓練データ患者の肩の状態がクラスＢ１に属することの信頼レベルが０．７５であることを示してよい（訓練データ患者の肩の状態がクラスＢ１に属することをヘルスケア専門家はかなり自信があることを意味する）、訓練データ患者の肩の状態がクラスＢ２に属することの信頼レベルが０．２５であることを示してよい（訓練データ患者の肩の状態がクラスＢ２に属する可能性はより少ないとヘルスケア専門家は思っていることを意味する）、また、訓練データ患者の肩の状態がクラスＣに属することの信頼レベルが０であることを示してよい。いくつかの例では、コンピューティングシステム１２２０２は、ヘルスケア専門家が提供した信頼値に信頼値関数の逆数を適用して、目標出力ベクトルに含むべき値を生成してよい。いくつかの例では、ヘルスケア専門家が提供した信頼値は、目標出力ベクトルに含まれる値である。

異なるヘルスケア専門家は、同じ訓練データ患者が肩の病変分類システムのそれぞれの各クラスに属する肩の状態を有することに異なる信頼レベルを有してよい。よって、いくつかの例では、目標出力ベクトルの値の元となる信頼値は、平均値であってよい、または、複数のヘルスケア専門家が提供した信頼レベルから他の方法で決定されてよい。

いくつかのこのような例では、何人かのヘルスケア専門家の信頼レベルは、他のヘルスケア専門家の信頼レベルより信頼レベルの加重平均でより大きい重みを与えられてよい。例えば、傑出した整形外科医の信頼レベルが、他の整形外科医の信頼レベルより大きい重みを与えられてよい。別の例では、特定の地域または病院のヘルスケア専門家または訓練データ患者の信頼レベルが、他の地域または病院のヘルスケア専門家または訓練データ患者より大きい重みを与えられてよい。このような加重平均は、様々な基準及びプリファレンスに従ってＮＮを調整することを可能にし得るので、有利である。

例えば、ヘルスケア専門家は、信頼レベルが特定の方法で重み付けされるように訓練されたＮＮを使用する方を好む場合がある。訓練データセットが、ヘルスケア専門家自身の症例に基づいた訓練データセットを含むいくつかの例では、ヘルスケア専門家（例えば、整形外科医）は、ヘルスケア専門家自身の症例がヘルスケア専門家自身の症例を用いてより重くまたは独占的に重み付けされる訓練データセットを用いて訓練されたＮＮを使用する方を好み得る。このように、ＮＮは、ヘルスケア専門家自身の実践スタイルに合わせて出力を生成してよい。さらに、上記のように、ヘルスケア専門家及び患者は、コンピューティングシステムの出力を信頼するのが困難な場合がある。従って、いくつかの例では、コンピューティングシステム１２２０２は、ヘルスケア専門家自身及び／または特に信頼された整形外科医の決定を模倣するようにＮＮが訓練されたことを示す情報を提供してよい。

いくつかの例では、同じ訓練データ患者に対する異なるヘルスケア専門家の信頼レベルが、異なる訓練データセットの生成で使用されてよい。例えば、特定の訓練データ患者に関する第１のヘルスケア専門家の信頼レベルを使用して、第１の訓練データセットを生成してよく、同じ訓練データ患者に関する第２のヘルスケア専門家の信頼レベルを使用して、第２の訓練データセットを生成してよい。

さらに、いくつかの例では、コンピューティングシステム１２２０２は、１人または複数のユーザに出力するために信頼値を提供してよい。例えば、コンピューティングシステム１２２０２は、１人または複数のユーザに表示するために信頼値をクライアントデバイス１２２０４に提供してよい。このように、１人または複数のユーザは、患者の肩の状態の分類にコンピューティングシステム１２２０２がどのようにして辿りついたかをより良く理解でき得る。

いくつかの例では、訓練データセットの母集団を広げるために、コンピューティングシステム１２２０２は、電子カルテから信頼値を自動的に生成してよい。例えば、一例では、患者の電子カルテは、コンピューティングシステム１２２０２が入力ベクトルを形成し得る元になるデータを含んでよく、患者の肩の状態の外科医による分類を示すデータを含んでよい。この例では、コンピューティングシステム１２２０２は、分類からデフォルトの信頼レベルを推測してよい。デフォルトの信頼レベルは、様々な値（例えば、０．７５、０．８等）を有してよい。このようなデフォルトの信頼レベルは、外科医による実際の信頼レベルを反映していない場合があるが、信頼レベルに帰属させることは、利用可能な訓練データセットの数の増加を助けることができ、これは、ＮＮの精度を高め得る。

いくつかの例では、訓練データセットは、訓練データ患者の健康結果に基づいて重み付けされる。例えば、訓練データセットは、訓練データセットに関連付けられた訓練データ患者が全て肯定的な健康結果を有する場合、より大きい重みを与えられてよい。しかしながら、訓練データセットは、関連付けられた訓練データ患者があまり肯定的でない健康結果を有する場合、より低い重みを与えられてよい。訓練中、コンピューティングシステム１２２０２は、訓練データセットに与えられた重みに基づいて、訓練データセットに重み付けする損失関数を使用してよい。

いくつかの例では、訓練データセットを生成する一部として、コンピューティングシステム１２２０２は、１つまたは複数の訓練データセット選択基準に基づいて、訓練データセットのデータベースから複数の訓練データセットを選択してよい。言い換えると、コンピューティングシステム１２２０２は、一定の訓練データセットを、その訓練データセットが訓練データセット選択基準を満たさない場合、ＮＮの訓練プロセスから除外してよい。図１２２の例では、データストレージシステム１２２０８は、過去の肩の手術症例からの訓練データセットを含むデータベース１２２１２を記憶する。

多種多様な訓練データセット選択基準があってよい。例えば、一例では、１つまたは複数の訓練データセット選択基準は、複数の訓練データ患者に対して手術を行った外科医を含んでよい。いくつかの例では、１つまたは複数の訓練データセット選択基準は、訓練データ患者が住んでいる地域を含む。いくつかの例では、１つまたは複数の訓練データセット選択基準は、１人または複数の外科医に関連する地域（例えば、１人または複数の外科医が医療を行っている、住んでいる、免許を与えられた、訓練された等の地域）を含む。

いくつかの例では、１つまたは複数の訓練データセット選択基準は、訓練データ患者の術後健康結果を含む。このような例では、訓練データ患者の術後健康結果は、術後可動域、術後感染の存在、または術後の痛みの１つまたは複数を含んでよい。従って、このような例では、ＮＮを訓練する訓練データセットは、有害な健康結果が生じた訓練データセットを除外してよい。

追加の訓練データセットが、データベースに時を経て追加されてよく、コンピューティングシステム１２２０２は、追加の訓練データセットを使用してＮＮを訓練してよい。従って、ＮＮは、より多くの訓練データセットがデータベースに追加されると、経時的に向上し続け得る。

コンピューティングシステム１２２０２は、様々な技術の１つを適用して、訓練データセットを使用し、ＮＮを訓練してよい。例えば、コンピューティングシステム１２２０２は、当分野で既知の様々な標準的逆伝搬アルゴリズムの１つを使用してよい。例えば、ＮＮを訓練する一部として、コンピューティングシステム１２２０２は、費用関数を適用して、ＮＮが生成した出力ベクトルと目標出力ベクトルの間の差に基づいて、費用値を決定してよい。コンピューティングシステム１２２０２は次に、逆伝搬アルゴリズムで費用値を使用して、ＮＮのニューロンの重みを更新してよい。

図１２３は、図１２２のシステムで、コンピューティングシステム１２２０２によって実施され得る例示のＮＮ１２３００を示す。図１２３の例では、ＮＮ１２３００は、入力層１２３０２、出力層１２３０４、及び入力層１２３０２と出力層１２３０４の間に１つまたは複数の隠れ層１２３０６を含む。図１２３の例では、ニューロンは、丸で表される。図１２３の例では、各層は、６つのニューロンを含むとして示されるが、ＮＮ１２３００の層は、より多いまたはより少ないニューロンを含んでよい。さらに、ＮＮ１２３００は、完全に接続されたネットワークとして図１２３に示されるが、ＮＮ１２３００は、異なるアーキテクチャを有してよい。例えば、ＮＮ１２３００は、完全に接続されたネットワークでなくてもよい、１つまたは複数の畳み込み層を有してよい、または図１２３に示すアーキテクチャとは異なるアーキテクチャを有してよい。

一部の実施態様では、ＮＮ１２３００は、１つまたは複数の人工ニューラルネットワーク（単に、ニューラルネットワークとも呼ばれる）であってよい、または、１つまたは複数の人工ニューラルネットワークを含むことができる。ニューラルネットワークは、ニューロンまたはパーセプトロンとも呼ばれ得る接続されたノードのグループを含むことができる。ニューラルネットワークは、１つまたは複数の層に編成することができる。複数の層を含むニューラルネットワークは、「ディープ」ネットワークと呼ぶことができる。ディープネットワークは、入力層、出力層、及び入力層と出力層の間に位置する１つまたは複数の隠れ層を含み得る。ニューラルネットワークのノードは、接続することができる、または、完全には接続されなくてよい。

ＮＮ１２３００は、１つまたは複数のフィードフォワードニューラルネットワークであってよい、または１つまたは複数のフィードフォワードニューラルネットワークを含むことができる。フィードフォワードネットワークでは、ノード間の接続は、サイクルを形成しない。例えば、各接続によって、前の層のノードを後の層のノードに接続することができる。

ある例では、ＮＮ１２３００は、１つまたは複数の回帰ニューラルネットワークであってよい、または１つまたは複数の回帰ニューラルネットワークを含むことができる。いくつかの場合には、回帰ニューラルネットワークのノードの少なくともいくつかは、サイクルを形成することができる。回帰ニューラルネットワークは、本来、順次である入力データを処理するのに特に有用であり得る。詳細には、いくつかの場合には、回帰ニューラルネットワークは、回帰または直接的な循環ノード接続を使用して、入力データシーケンスの前の部分からの情報を入力データシーケンスの次の部分に伝えることができる、または保持できる。

いくつかの例では、順次入力データは、時系列データ（例えば、時間に対するセンサデータ、または異なる時点にキャプチャされた画像）を含むことができる。例えば、回帰ニューラルネットワークは、時間に対するセンサデータを分析して、スワイプ方向を検出または予測、手書き文字認識等を行う等ができる。順次入力データは、（例えば、自然言語処理、音声検出または処理等のための）文の中の単語、楽曲の音符、（例えば、アプリケーションの順次使用を検出または予測するための）ユーザが行った連続した動作、物体の順次の状態等を含んでよい。例示の回帰ニューラルネットワークは、長・短期記憶（ＬＳＴＭ）回帰ニューラルネットワーク、ゲート付き回帰型ユニット、双方向回帰ニューラルネットワーク、連続時間回帰ニューラルネットワーク、ニューラルヒストリコンプレッサ（ｎｅｕｒａｌ ｈｉｓｔｏｒｙ ｃｏｍｐｒｅｓｓｏｒｓ）、エコーステートネットワーク、エルマンネットワーク、ジョーダンネットワーク、再帰ニューラルネットワーク、ホップフィールドネットワーク、完全回帰型（ｆｕｌｌｙ ｒｅｃｕｒｒｅｎｔ）ネットワーク、シーケンス・ツー・シーケンス構成等を含む。

一部の実施態様では、ＮＮ１２３００は、１つまたは複数の畳み込みニューラルネットワークであってよい、または１つまたは複数の畳み込みニューラルネットワークを含むことができる。いくつかの場合には、畳み込みニューラルネットワークは、学習されたフィルタを使用して入力データに畳み込みを行う１つまたは複数の畳み込み層を含むことができる。フィルタは、カーネルとも呼ぶことができる。畳み込みニューラルネットワークは、入力データが静止画像またはビデオ等の画像を含む時等、視覚的問題にとって特に有用であり得る。しかしながら、畳み込みニューラルネットワークは、自然言語処理にも適用できる。

ＮＮ１２３００は、例えば、ディープボルツマンマシン、ディープビリーフネットワーク、積層自己符号化器等、１つまたは複数の他の形態の人工ニューラルネットワークであってよい、または、１つまたは複数の他の形態の人工ニューラルネットワークを含んでよい。本明細書に記載のニューラルネットワークの任意のネットワークが、組み合わされて（例えば、積層されて）より複雑なネットワークを形成することができる。

図１２３の例では、入力ベクトル１２３０８は、複数の入力要素を含む。各入力要素は、数値であってよい。入力層１２３０２は、複数の入力層ニューロンを含む。入力層１２３０２に含まれる複数の入力層ニューロンの各入力層ニューロンは、複数の入力要素の異なる入力要素に対応してよい。言い換えると、入力層１２３０２は、入力ベクトル１２３０８の各入力要素に対して異なるニューロンを含んでよい。

さらに、図１２３の例では、出力ベクトル１２３１０は、複数の出力要素を含む。各出力要素は、数値であってよい。出力層１２３０４は、複数の出力層ニューロンを含む。複数の出力層ニューロンの各出力層ニューロンは、複数の出力要素の異なる出力要素に対応する。言い換えると、出力層１２３０４の各出力層ニューロンは、出力ベクトル１２３１０の異なる出力要素に対応する。

入力ベクトル１２３０８は、多種多様なな情報を含んでよい。例えば、入力ベクトル１２３０８は、患者の形態学的測定値を含んでよい。入力ベクトル１２３０８が患者の形態の測定値を含むいくつかの例では、入力ベクトル１２３０８は、ＣＴ画像、ＭＲＩ画像、または他のタイプの画像等、患者の医療画像に基づいて、測定値を決定してよい。例えば、コンピューティングシステム１２２０２は、現在の患者の医療画像を取得してよい。例えば、コンピューティングシステム１２２０２は、撮像装置（例えば、ＣＴ装置、ＭＲＩ装置、または他のタイプの撮像装置）、患者の電子カルテ、または他のデータソースから医療画像を取得してよい。この例では、コンピューティングシステム１２２０２は、医療画像をセグメント化して、軟組織及び骨等、現在の患者の内部構造を識別してよい。例えば、一例では、コンピューティングシステム１２２０２は、骨または軟組織に対応する医療画像の部分を識別するように訓練された人工ニューラルネットワークを適用してよい。さらに、この例では、コンピューティングシステム１２２０２は、現在の患者の識別された内部構造の相対位置に基づいて、複数の測定値を決定してよい。この例では、複数の入力要素は、複数の測定値の各測定値の入力要素を含んでよい。

本開示の他の箇所に記載するように、コンピューティングシステム１２２０２は、１つまたは複数のコンピューティングデバイスを含んでよい。よって、コンピューティングシステム１２２０２の様々な機能が、コンピューティングシステム１２２０２のコンピューティングデバイスの様々な組み合わせによって行われてよい。例えば、いくつかの例では、コンピューティングシステム１２２０２の第１のコンピューティングデバイスが、画像をセグメント化してよく、コンピューティングシステム１２２０２の第２のコンピューティングデバイスが、ＤＮＮを訓練してよく、コンピューティングシステム１２２０２の第３のコンピューティングデバイスが、ＤＮＮを適用してよい等である。他の例では、コンピューティングシステム１２２０２の１つのコンピューティングデバイスが、画像のセグメント化、ＤＮＮの訓練、及びＤＮＮの適用を行ってよい。

上記のように、コンピューティングシステム１２２０２は、患者の形態学的特性の複数の測定値を決定してよい。このような測定値は、距離測定値、角度測定値、及び患者の構造の及び／または患者の構造間の測定可能な関係の他のタイプの数値的特性を含んでよい。例えば、測定値は、下記の１つまたは複数の任意の組み合わせを含んでよい。
・関節窩バージョン：肩甲骨の左右軸に対する関節窩関節面の軸の角度方向
・関節窩の傾き：肩甲骨に対する関節窩の上部／下部の傾き
・関節窩の向き／方向：３次元空間の関節窩の３次元の向き
・関節窩の最良適合の球の半径：患者の関節窩への最良適合の球の半径。最良適合の球は、球のある部分が患者の関節窩に可能な限り同一平面で収まるようなサイズの概念的な球である。
・関節窩の最良適合の球の二乗平均平方根誤差：患者の関節窩と最良適合の球の一部分との差の平均平方誤差
・逆肩角度：関節窩の下部の傾き
・臨界肩角度：関節窩面と肩峰の最も下外側の点につながる線との間の角度
・肩峰上腕骨空間：肩峰と上腕骨最上部の間の空間
・関節窩上腕骨空間：関節窩と上腕骨の間の空間
・上腕骨バージョン：上腕骨の向きと上顆軸の間の角度
・上腕骨頸軸角度：上腕骨解剖頸法線ベクトルと髄内軸の間の角度
・上腕骨頭の最良適合球半径と二乗平均平方根誤差：患者の上腕骨頭の最良適合球の半径。最良適合球は、球のある部分が上腕骨頭表面にできる限り一致するようなサイズの概念的な球である。二乗平均平方根誤差は、最良適合球と患者の実際の上腕骨頭の間の誤差を示す。
・上腕骨亜脱臼：関節窩に対する上腕骨の亜脱臼の測定値
・上腕骨の向き／方向：３次元空間での上腕骨頭の向き
・患者の上腕骨の骨端の測定値
・患者の上腕骨の骨幹端の測定値
・患者の上腕骨の骨幹の測定値
・骨後捻

いくつかの例では、入力ベクトル１２３０８は、患者の腱板評価に基づいた情報を（例えば、本明細書に記載の他の例示のタイプの入力データと組み合わせて、または組み合わせずに）含んでよい。例えば、入力ベクトル１２３０８は、腱板の脂肪浸潤、腱板の萎縮、及び／または患者の腱板の他の情報に関して、単独の情報、または上記の形態学的な入力と組み合わせた情報を含んでよい。いくつかの例では、ニューラルネットワークへの入力として使用される軟組織の脂肪浸潤の尺度及び萎縮の尺度は、例えば、本出願で記載する軟組織モデリング技術のいずれかによって導出されてよい。いくつかの例では、患者の腱板に関する情報は、Ｗａｒｎｅｒ分類システムまたはＧｏｕｔａｌｉｅｒ分類システム等、肩の病変分類システムのクラスで表されてよい。

いくつかの例では、入力ベクトル１２３０８は、（例えば、本明細書に記載の他の例示のタイプの入力データと組み合わせて、または組み合わせずに）患者の可動域情報を含んでよい。いくつかの例では、患者の可動域情報は、本開示の他の箇所に記載するように、動作追跡デバイスを使用して生成されてよい。

さらに、いくつかの例では、入力ベクトル１２３０８は、（例えば、本明細書に記載の他の例示のタイプの入力データと組み合わせて、または組み合わせずに）１つまたは複数の肩の病変分類システムのクラスを指定する情報を含んでよい。このような例では、出力ベクトルは、１つまたは複数の異なる肩の病変分類システムのクラスに対応する出力要素を含んでよい。例えば、入力ベクトル１２３０８は、腱板分類システムのクラスを指定する情報を含んでよく、出力ベクトル１２３１０は、変形性肩関節症分類システムのクラスに対応する出力要素を含んでよい。

いくつかの例では、入力ベクトル１２３０８は、（例えば、形態学的な入力及び／または腱板の入力を含む、本明細書に記載の他の例示のタイプの入力データと組み合わせて、または組み合わせずに）上腕骨及び／または関節窩の骨密度スコアを指定する情報を含んでよい。入力ベクトル１２３０８に含まれる他の情報は、患者の年齢、患者の活動、患者の性別、患者の肥満度指数（ＢＭＩ）等、デモグラフィック情報を含んでよい。いくつかの例では、入力ベクトル１２３０８は、症状の発現の速さに関する情報（例えば、徐々に、または、突然）を含んでよい。入力ベクトル１２３０８の複数の入力要素は、特定の運動／スポーツタイプ等の活動への参加の患者の目的、可動域等も含んでよい。

図１２４は、本開示の技術による、ＤＮＮを使用して肩の状態の分類を決定する際のコンピューティングシステム１２２０２の例示の動作を示すフローチャートである。図１２４の例では、コンピューティングシステム１２２０２は、過去の肩の手術症例から複数の訓練データセットを生成する（１２４００）。いくつかの例では、複数の訓練データセットを生成することは、肩の症例の履歴データベースから選択した訓練データセットを読み出すことを含む。図１２４の例では、ＮＮ１２３００（図１２３）等のＮＮは、入力層、出力層、及び入力層と出力層の間の１つまたは複数の隠れ層を有する。入力層は、複数の入力層ニューロンを含む。複数の入力層ニューロンの各入力層ニューロンは、複数の入力要素の異なる入力要素に対応する。出力層は、複数の出力層ニューロンを含む。複数の出力層ニューロンの各出力層ニューロンは、複数の出力要素の異なる出力要素に対応する。複数の出力要素の各出力要素は、１つまたは複数の肩の病変分類システムの異なるクラスに対応する。

各訓練データセットは、過去の肩の手術症例の複数の訓練データ患者の異なる訓練データ患者に対応し、各訓練入力ベクトル及び各目標出力ベクトルを含む。各訓練について、各訓練データセットの訓練入力ベクトルは、複数の入力要素の各入力要素の値を含む。各訓練データセットについて、各訓練データセットの目標出力ベクトルは、複数の出力要素の各要素の値を含む。

さらに、図１２４の例では、コンピューティングシステム１２２０２は、複数の訓練データセットを使用してＮＮを訓練する（１２４０２）。さらに、コンピューティングシステム１２２０２は、上記のように、例えば、様々な患者の入力の組み合わせを含む、現在の患者に対応する現在の入力ベクトルを取得してよい（１２４０４）。コンピューティングシステム１２２０２は、ＮＮを現在の入力ベクトルに適用して、現在の出力ベクトルを生成してよい（１２４０６）。例えば、コンピューティングシステム１２２０２は、現在の入力ベクトルをＮＮの入力層に提供してよく、ＮＮを通してフォワード伝搬を行って、現在の出力ベクトルを生成してよい。

さらに、コンピューティングシステム１２２０２は、現在の出力ベクトルに基づいて、現在の患者の肩の状態の分類を決定してよい（１２４０８）。いくつかの例では、現在の患者の肩の状態の分類は診断であってよい。上記のように、肩の状態は、選択された肩分類システムからの分類によって表されてよい。さらに、肩の状態は、信頼尺度、値、または他の表示を伴ってよい。コンピューティングシステム１２２０２は、本開示の他の箇所に記載の例または例の組み合わせのいずれかに従って、これらの動作を行ってよい。

ヘルスケア専門家は、様々な方法で、肩の状態の分類を使用してよい。例えば、外科医は、分類を使用して患者に対して行う手術のタイプを選択してよい。いくつかの例では、外科医は、分類を使用して、患者に対して手術を行うために使用する手術アイテム（例えば、インプラント、ツール等）を選択してよい。いくつかの例では、理学療法士または他のヘルスケア専門家は、分類を使用して、患者のリハビリテーション計画を決定してよい。

ある例では、開示は、ニューラルネットワーク等の人工知能技術を使用した、手術タイプ選択を含む整形外科手術計画に関する。先行研究では、ＮＮが肩の病変に関する意味のある出力を提供できるようにＮＮを構築及び訓練する方法に関する質問を解決しておらず、先行研究では、ＮＮが患者に対してどのタイプの肩の手術を行うかに関する意味のある出力を提供できるようにＮＮを構築及び訓練する方法に関する質問を解決していない。肩の手術の例示のタイプは、標準的全肩関節形成と、逆肩関節形成を含み得る。整形外科手術を計画することにＮＮを適用することに関連する課題の別の例では、患者及びヘルスケア専門家が、コンピュータが行った決定を、特に、コンピュータがどのようにその決定を行ったかが明らかでない場合、信用したがらないということが理解できる。よって、患者及びヘルスケア専門家がＮＮの出力を安心して信頼できることを確実にすることを支援するような出力の生成の仕方に関する課題がある。

本開示は、これらの問題を解決し、患者に対して推奨されるタイプの肩の手術に関して意味のある出力を行うＮＮ構造を提供し得る技術を記載する。本開示の技術によると、ＮＮ（例えば、ＤＮＮ）は、入力層、出力層、及び入力層と出力層の間の１つまたは複数の隠れ層を有してよい。入力層は、複数の入力層ニューロンを含む。複数の入力層ニューロンの各入力層ニューロンは、複数の入力要素の異なる入力要素に対応する。出力層は、複数の出力層ニューロンを含む。複数の出力層ニューロンの各出力層ニューロンは、複数の出力要素の異なる出力要素に対応する。複数の出力要素は、複数の手術タイプの出力要素を含む。

本開示の技術によると、複数の手術タイプの出力要素の各手術タイプは、複数のタイプの肩の手術の異なるタイプの肩の手術に対応する。さらに、この技術によると、コンピューティングシステムは、複数の訓練データセットを生成してよい。各訓練データセットは、複数の訓練データ患者の異なる訓練データ患者に対応し、各訓練入力ベクトル及び各目標出力ベクトルを含む。各訓練データセットについて、各訓練データセットの訓練入力ベクトルは、複数の入力要素の各要素の値を含む。各訓練データセットについて、各訓練データセットの目標出力ベクトルは、複数の出力要素の各要素の値を含む。コンピューティングシステムは、複数の訓練データセットを使用してＮＮを訓練してよい。

さらに、コンピューティングシステムは、現在の患者に対応する現在の入力ベクトルを取得してよい。コンピューティングシステムは、ＮＮを現在の入力ベクトルに適用して、現在の出力ベクトルを生成してよい。さらに、コンピューティングシステムは、現在の出力ベクトルに基づいて、現在の患者に対して推奨されるタイプの肩の手術を決定してよい。コンピューティングシステムは、図８のステップ８０４の患者の手術計画を選択する一部として、ＮＮを使用して、現在の患者に推奨されるタイプの肩の手術を決定してよい。

この例では、異なる肩のタイプの肩の手術に対応する複数の出力要素の異なる出力要素を有することによって、ＮＮは、患者の肩の状態の治療に使用する肩の手術手順のタイプの選択に使用できる意味のある出力情報を提供できてよい。さらに、いくつかの例では、出力層のニューロンの出力値は、患者が特定のタイプの肩の手術を受けるべきであることの信頼の尺度を示す。このような信頼値は、患者が代わりに異なるタイプの肩の手術を受けるべき可能性をユーザが考慮する助けになり得る。さらに、同じ出力層ニューロンの出力が、信頼レベルを表し、且つ、患者に特定のタイプの肩の手術を推奨する根拠として使用されると、計算的に効率が良い場合がある。

図１２５は、本開示の技術による、ＮＮを使用して、肩の状態に対して推奨される手術を決定するためのコンピューティングシステム１２５００の例示の機能コンポーネントを示すブロック図である。コンピューティングシステム１２５００は、コンピューティングシステム１２２０２（図１２２）と同じ方法で実施されてよく、整形外科手術システム１００（図１）の一部を形成してよい。いくつかの例では、同じコンピューティングシステムが、コンピューティングシステム１２２０２とコンピューティングシステム１２５００の両方の役割を行う。いくつかの例では、コンピューティングシステム１２５００は、コンピューティングシステム１２５００の動作を行う１つまたは複数のプロセッサを含むＸＲ可視化デバイス（例えば、ＭＲ可視化デバイスまたはＶＲ可視化デバイス）を含む。

図１２５の例では、コンピューティングシステム１２５００は、ＮＮ１２５０２及びストレージシステム１２５０４を含む。ストレージシステム１２５０４は、データベース１２５０６を記憶してよい。ＮＮ１２５０２は、図１２３のＮＮ１２３００と類似した方法で実施されてよい。すなわち、ＮＮ１２５０２は、入力層、出力層、及び入力層と出力層の間の１つまたは複数の隠れ層を含んでよい。さらに、ＮＮ１２５０２の入力層の複数の入力層ニューロンの各入力層ニューロンは、入力ベクトルの複数の入力要素の異なる入力要素に対応してよい。ＮＮ１２５０２の出力層の複数の出力層ニューロンの各出力層ニューロンは、出力ベクトルの複数の出力要素の異なる出力要素に対応してよい。しかしながら、ＮＮ１２５０２は、異なる数の隠れ層、異なる数の入力層ニューロン、異なる数の出力層ニューロン等、異なるパラメータを有してよい。

ストレージシステム１２５０４は、１つまたは複数のコンピュータ可読データ記憶媒体を含んでよい。ストレージシステム１２５０４は、ＮＮ１２５０２のパラメータを記憶してよい。例えば、ストレージシステム１２５０４は、ＮＮ１２５０２のニューロンの重み、ＮＮ１２５０２のニューロンのバイアス値等を記憶してよい。データベース１２２１２と同様、データベース１２５０６は、過去の肩の手術症例からの訓練データセットを含んでよい。

コンピューティングシステム１２５００は、ＮＮ１２５０２を入力ベクトルに適用して、出力ベクトルを生成してよい。例えば、ＮＮ１２５０２の出力層は、複数の出力層ニューロンを含んでよい（及び、いくつかの例では、それに限定されてよい）。各出力層ニューロンは、複数の手術タイプ出力要素の異なる出力要素に対応してよい。出力ベクトルは、複数の手術タイプ出力要素を含んでよい。各タイプの出力要素は、異なるタイプの肩の手術に対応してよい。出力として提示され得る肩の手術のタイプの例示のタイプは、ステムレスの標準的全肩関節形成、ステム付きの標準的全肩関節形成、ステムレスの逆肩関節形成、ステム付きの逆肩関節形成、オーグメント関節窩を使用する（ａｕｇｍｅｎｔｅｄ ｇｌｅｎｏｉｄ）標準的全肩関節形成、補強関節窩使用逆肩関節形成、及び他のタイプの整形外科の肩の手術を含んでよい。肩の手術は、手術後、患者の肩関節が、肩関節の肩甲骨側が凹面を有し、肩関節の上腕骨側が凸面を有する標準的な解剖学的構成を有するという意味で「標準的」であってよい。他方、「逆の」肩の手術は、凸面が肩甲骨に取り付けられ、凹面が上腕骨に取り付けられるという逆の構成となる。いくつかの例では、肩の手術のタイプは、患者の肩に対する複数の再置換術を含む。患者の肩に対する再置換術の例は、以下を含む。

さらに、コンピューティングシステム１２５００は、現在の出力ベクトルに基づいて、患者に推奨されるタイプの肩の手術を決定してよい。例えば、コンピューティングシステム１２５００は、出力ベクトルのどの出力要素が最大の信頼値を有する肩の手術のタイプに対応するかを決定してよい。

ＮＮ１２５０２の入力ベクトルは、コンピューティングシステム１２２０２及びＮＮ１２３００に関して前述された入力要素のいくつか、組み合わせ、または全てを含んでよい。例えば、入力要素は、（軟組織モデリング及び骨モデリングを含む）患者の形態学的特性の測定値、患者に関するデモグラフィック情報、患者に関する可動域情報等の１つまたは複数を含んでよい。さらに、ＮＮ１２５０２の訓練に使用される訓練データセットは、患者の肩の状態を分類するＮＮに関して上記の例に従って選択及び生成されてよい。例えば、訓練データセットは、１つまたは複数の訓練データセット選択基準に基づいて選択されてよい。本開示の他の箇所に記載するように、このような訓練データセット選択基準は、複数の訓練データ患者に手術を行った外科医、訓練データ患者が住んでいる地域、１人または複数の外科医に関連付けられた地域、訓練データ患者の術後健康結果等を含んでよい。ＮＮ１２５０２は、患者の肩の状態を分類するためにＮＮに関して前述した例と同じように訓練されてよい。例えば、訓練データセットＮＮ１２５０２の目標出力ベクトルは、特定のタイプの肩の手術が患者に対して行われるべきであることの信頼レベルを示す出力要素を含んでよい。

図１２６は、本開示の技術による、ＮＮを使用して、患者に対して推奨されるタイプの肩の手術を決定するコンピューティングシステムの例示の動作を示すフローチャートである。図１２６の例では、コンピューティングシステム１２５００は、複数の訓練データセットを生成する（１２６００）。この例では、ＮＮは、入力層、出力層、及び入力層と出力層の間の１つまたは複数の隠れ層を有する。入力層は、複数の入力層ニューロンを含む。複数の入力層ニューロンの各入力層ニューロンは、複数の入力要素の異なる入力要素に対応する。出力層は、複数の出力層ニューロンを含む。

複数の出力層ニューロンの各出力層ニューロンは、複数の出力要素の異なる出力要素に対応する。複数の出力要素は、複数の手術タイプの出力要素を含む。複数の手術タイプの出力要素の各手術タイプは、複数のタイプの肩の手術の異なるタイプの肩の手術に対応する。各訓練データセットは、複数の訓練データ患者の異なる訓練データ患者に対応し、各訓練入力ベクトル及び各目標出力ベクトルを含む。各訓練データセットについて、各訓練データセットの訓練入力ベクトルは、複数の入力要素の各要素の値を含む。各訓練データセットについて、各訓練データセットの目標出力ベクトルは、複数の出力要素の各要素の値を含む。

さらに、図１２６の例では、コンピューティングシステム１２５００は、複数の訓練データセットを使用してＮＮを訓練する（１２６０２）。さらに、コンピューティングシステム１２５００は、現在の患者に対応する現在の入力ベクトルを取得してよい（１２６０４）。コンピューティングシステム１２５００は、ＮＮを現在の入力ベクトルに適用して、現在の出力ベクトルを生成してよい（１２６０６）。コンピューティングシステム１２５００は、現在の出力ベクトルに基づいて、現在の患者に対して推奨されるタイプの肩の手術を決定してよい（１２６０８）。コンピューティングシステム１２５００は、本開示の他の箇所に提供された例に従ってこれらの動作を行ってよい。

ＭＲシステム２１２は、肩の外科的修復手術を計画及び実施するために使用するシステムの文脈で記載したが、ＭＲシステム２１２の適用はこれに限らない。例えば、ＭＲシステム２１２及び拡張手術モードは、他の関節の置換または他の骨の修復もしくは再建を容易にするために使用することができる。従って、上記特徴のいずれも、肘、足首、膝、股関節または足を含む手順を含むがこれらに限らない、任意の整形外科手術手順の支援に使用することができる。ＭＲシステム２１２及びその機能は、足に関連するシャルコー手術等、外部の固定デバイスを使用して骨を固定または修復する手術手順で使用することができることも理解されたい。さらに、ＭＲシステム２１２及びその機能は、骨構造のみに関与する適用に限定されない。例として、ＣＴ画像及びＭＲＩ画像等、ある特定のタイプの画像データは、皮膚を含む軟組織構造に関する情報を提供することができるので、ＭＲシステム２１２を使用して、最適な切開箇所を可視化及び突き止めることができ、従って、侵襲性が最小の手術をさらに強化することができる。

ＭＲシステム２１２及びその拡張手術機能は、外科医または他のケア提供者の使用に制限されない。例として、位置合わせ及び追跡を含む、ＭＲシステム２１２によって生成される情報を、手術環境に存在し得るロボットアームを制御するために使用することができる。

ＭＲシステム２１２は、手術結果を向上させる高度な手術システムの１つのコンポーネントであってよい。仮想計画と手術を行うための複合現実の使用とに加えて、インプラントは、手術後の情報を提供するための様々なセンサと、センサが集めるデータの収集を容易にする送受信機（例えば、ＲＦ送受信機）を含むことができる。このようなデータを使用して、（例えば、一例として、患者が使用するモバイルデバイスにインストールされたアプリケーションを介して等、患者に関節を動かすように促すことによって）例えば、患者の回復をモニタリングし、且つ、患者の回復を支援することができる。センサによって集められたデータはまた、データベースに入力することができ、データベースで、外科医または人工知能システムによって使用されて、今後の手術例の計画を支援することができる。

本開示の例の多くは、肩関節修復手術に関して記載したが、本開示の多くの技術は、他のタイプの整形外科手術に適用可能である。例えば、本開示の多くの技術は、足首の手術（例えば、全足関節形成）に適用可能であり得る。全足関節形成の例では、外科医は、遠位脛骨切断、近位踵骨切断、及び２つの他の内側／外側切断を行ってよい。それを行うために、外科医は、足関節に切断ガイドを配置することが必要となり得る。切断ガイドは、切断が脛骨の機能軸に垂直になるように配置される。次に、切断ガイドの配置は、３つの解剖学的平面（軸、矢状、及び冠状）に対する３つの角度を調整することによって精緻化される。外科医は、これらの切断を、切断ジグを使用して行うことができる、または、振動鋸を用いて直接、これらの切断を行うことができる。次に、外科医は、後方及び前方の距骨の面取り切断を行う。

切断及びドリルによる穴開けに関して前述した例の多くは、全足関節形成中に行われる切断手技及びドリル操作に適用可能である。例えば、術前フェーズ３０２（図３）及び術中フェーズ３０６（図３）中、整形外科手術システム１００（図１）は、患者の足首の解剖学的構造の患者固有の仮想３Ｄモデルを含むＸＲ可視化（例えば、ＭＲ可視化またはＶＲ可視化）を提供してよい。これは、外科医が全足関節形成を計画及び実行するのを支援し得る。

さらに、全足関節形成の術中フェーズ３０６（図３）中、ＭＲシステム２１２の可視化デバイス２１３は、外科医が正確な切断を行い、ドリルで穴を開け、且つ、人工コンポーネントを配置するのを支援する、仮想切断面、仮想ドリル軸、及び仮想進入点等、仮想ガイダンスを含むＭＲ可視化を提示してよい。例えば、ＭＲ可視化は、遠位脛骨切断、近位踵骨切断等の切断面を含んでよい。足関節形成のための人口インプラントコンポーネントは、一例では、距骨ドーム、脛骨トレイ、及び関連するペグまたはアンカーコンポーネントを含んでよい。さらに、肩修復手術に関して本開示の他の箇所に記載される位置合わせプロセスと類似の位置合わせプロセスが、全足関節形成の文脈で使用されてよい。例えば、仮想３Ｄモデルを患者の現実の解剖学的構造と整列させるためにランドマークとして関節窩の中心を使用する代わりに、患者の足首上の別のランドマーク（例えば、脛骨の下部）を使用してよい。

図１５０は、足関節修復手術の例示の段階を示すフローチャートである。外科医は、図１５０の手術のプロセスのステップの一部または全ての間、可視化デバイス２１３等の可視化デバイスを着用してよい、または他の方法で使用してよい。他の例では、足首の手術は、より多い、より少ない、または異なるステップを含んでよい。例えば、足首の手術は、セメントを追加するステップ及び／または他のステップを含んでよい。いくつかの例では、可視化デバイス２１３は、手術ワークフローのステップを通して、仮想ガイダンスを提示して、外科医、看護師、または他のユーザをガイドしてよい。

図１５０の例では、外科医は、切開プロセスを行う（１５００２）。切開プロセス中、外科医は、一連の切開を行って患者の足関節を露出させる（例えば、患者の脛骨の少なくとも一部と患者の距骨の少なくとも一部とを露出させる）。いくつかの例では、ＭＲシステム（例えば、ＭＲシステム２１２、ＭＲシステム１８００Ａ等）は、例えば、切開の方法及び／または場所を示す仮想ガイダンス画像を表示することによって、外科医が切開プロセスを行うのを支援してよい。上記のように、ＭＲシステム２１２は、仮想チェックリストを表示してよく、チェックリスト項目の各項目は整形外科手術のステップのチェックリストの項目に対応する。例えば、ＭＲシステム２１２は、切開プロセスを行う現在のステップを指定するチェックリスト項目を有する仮想チェックリストを表示してよい。

外科医は、可視化デバイス２１３によって外科医に提示される視野に、仮想脛骨物体を患者の実際の脛骨に位置合わせする位置合わせプロセス（１５００４）を行ってよい。例えば、ＭＲシステム２１２は、図２のストレージシステム２０６から仮想脛骨物体を取得してよい。上記仮想関節窩物体と同様に、仮想脛骨物体は、患者の脛骨の術前撮像（例えば、ＣＴ撮像）に基づいて生成されてよい。ＭＲシステム２１２は、任意の適切なプロセスを使用して位置合わせを行ってよい。例えば、ＭＲシステム２１２は、図２０Ａ～図３１を参照して前述した位置合わせ技術のいずれかを使用して、仮想脛骨物体の患者の実際の脛骨との位置合わせを行ってよい。上記のように、位置合わせは、仮想脛骨物体と患者の実際の脛骨の間の変換行列を作成してよい。上記のように、ＭＲシステム２１２は、特定のステップ（複数可）を行う方法を説明するアニメーション、ビデオまたはテキストを表示してよい。例えば、ＭＲシステム２１２は、位置合わせプロセスを行う方法を示す図またはアニメーションを可視化デバイス２１３に表示させてよい。上記のように、ＭＲシステム２１２は、仮想チェックリストを表示してよく、チェックリスト項目の各項目は整形外科手術のステップのチェックリストの項目に対応する。例えば、ＭＲシステム２１２は、仮想脛骨物体を患者の実際の脛骨に位置合わせする現在のステップを指定するチェックリスト項目を有する仮想チェックリストを表示してよい。

外科医は、脛骨を準備する様々な作業ステップを行ってよい（１５００６）。脛骨を準備する例示の作業ステップは、１つまたは複数のガイドピンを脛骨に取り付けること、脛骨にドリルで１つまたは複数の穴を開けること、及び／または１つまたは複数のガイドを脛骨に取り付けることを含むが、これらに限らない。ＭＲシステム２１２は、脛骨を準備する様々な作業ステップで外科医を支援する仮想ガイダンスを提供してよい。上記のように、ＭＲシステム２１２は、特定のステップ（複数可）を行う方法を説明するアニメーション、ビデオまたはテキストを表示してよい。例えば、ＭＲシステム２１２は、脛骨を準備する方法を示す図またはアニメーションを可視化デバイス２１３に表示させてよい。これも前述したように、ＭＲシステム２１２は、仮想チェックリストを表示してよく、チェックリスト項目の各項目が整形外科手術のステップのチェックリストの項目に対応する。例えば、ＭＲシステム２１２は、脛骨を準備する現在のステップまたはステップのシーケンスを指定するチェックリスト項目を有する仮想チェックリストを表示してよい。

図１５１Ａ及び図１５１Ｂは、ガイドピンの脛骨への例示の取付を示す概念図である。切開プロセスは、脛骨１５１０２、腓骨１５１１０、及び足首１５１００の距骨１５１０８の少なくとも一部を露出させてよい。切開プロセスを行った後、外科医は、ガイドピン１５１０４Ａ、１５１０４Ｂ、１５１０６Ａ及び１５１０６Ｂを脛骨１５１０２に取り付けてよい。

図１５１Ｂの例等、いくつかの例では、外科医は、物理的ガイドを使用してガイドピン１５１０４Ａ、１５１０４Ｂ、１５１０６Ａ及び１５１０６Ｂを取り付けてよい。例えば、外科医は、脛骨ガイド１５１１２を脛骨１５１０２に配置し、脛骨ガイド１５１１２の１つまたは複数の穴を利用して、ガイドピン１５１０４Ａ、１５１０４Ｂ、１５１０６Ａ及び１５１０６Ｂの取付をガイドしてよい。いくつかの例では、脛骨ガイド１５１１２は、脛骨１５１０２の輪郭と一致するように設計された表面を有するように製造された患者固有のガイドであってよい。このような患者固有のガイドの一例は、Ｗｒｉｇｈｔ Ｍｅｄｉｃａｌ Ｇｒｏｕｐ Ｎ．Ｖ．社製のＰｒｏｐｈｅｃｙ（登録商標）Ｉｎｆｉｎｉｔｙ（登録商標）Ｔｏｔａｌ ＡｎｋｌｅシステムのＰｒｏｐｈｅｃｙ Ｔｉｂｉａｌ Ａｌｉｇｈｍｅｎｔ Ｇｕｉｄｅである。

脛骨ガイド１５１１２に加えて、または、その代わりに、ＭＲシステム２１２は、ガイドピン１５１０４Ａ、１５１０４Ｂ、１５１０６Ａ及び１５１０６Ｂの取付で外科医を支援する仮想ガイダンスを提供してよい。例えば、可視化デバイス２１３は、外科医がガイドピンを取り付けるのをガイドする仮想マーカを表示してよい。可視化デバイス２１３は、（例えば、ガイドピンを取り付ける位置及び／または向きを示すために）脛骨１５１０２に重ね合わせた外観でマーカを表示してよい。仮想マーカは、外科医がガイドピンを取り付けるのをガイドする脛骨１５１０２上の点の（例えば、図３４の軸３４００と類似の）仮想軸であってよい。例えば、図１５１Ａに示すように、可視化デバイス２１３は、仮想軸１５１１４Ａ、１５１１４Ｂ、１５１１６Ａ及び１５１１６Ｂを表示して、例えば、軸に沿ってガイドピン１５１０４Ａ、１５１０４Ｂ、１５１０６Ａ及び１５１０６Ｂの取付をそれぞれガイドしてよい。仮想軸１５１１４Ａ、１５１１４Ｂ、１５１１６Ａ及び１５１１６Ｂは、図１５１Ｂのガイドピン１５１０４Ａ、１５１０４Ｂ、１５１０６Ａ及び１５１０６Ｂに類似した外観で図１５１Ａに表示されているが、ガイドピン（例えば、ガイドピン１５１０４Ａ、１５１０４Ｂ、１５１０６Ａ及び１５１０６Ｂ）の取付をガイドする仮想マーカの表示はそのように限定されるものではない。ＭＲシステム２１２が表示し得る仮想マーカの他の例は、軸、矢印、点、丸、リング、多角形、Ｘ形状、十字、ターゲット、または任意の他の形状もしくは形状の組み合わせを含むが、これらに限らない。ＭＲシステム２１２は、静的特徴として、または、様々なアニメーションまたは他の効果を有するように、仮想マーカを表示してよい。

ＭＲシステム２１２は、物理的ガイドも使用するかどうかに応じて、異なるタイプの仮想マーカも利用してよい。一例として、脛骨ガイド１５１１２を使用する図１５１Ｂの例では、ＭＲシステム２１２は、矢印を利用して、取り付けるガイドピンの取付をガイドしてよい。図１５１Ｂに示すように、可視化デバイス２１３は、脛骨ガイド１５１１２の特定の穴を介してガイドピン１５１０６Ａの取付をガイドする矢印を表示してよい。別の例として、脛骨ガイド１５１１２を使用しない図１５１Ａの例では、ＭＲシステム２１２は、仮想軸を利用して、ガイドピンの取付をガイドしてよい。図１５１Ａに示すように、可視化デバイス２１３は、仮想軸１５１１６Ａを表示して、ガイドピン１５１０６Ａの取付をガイドしてよい。

複数のガイドピンを取り付ける例では、可視化デバイス２１３は、各ガイドピンに対して各仮想マーカを表示してよい。図１５１の例では、可視化デバイス２１３は、ガイドピン１５１０４Ａ、１５１０４Ｂ、１５１０６Ａ及び１５１０６Ｂの取付をガイドする複数の仮想マーカを表示してよい。いくつかの例では、可視化デバイス２１３は、仮想マーカを同時に表示してよい。例えば、可視化デバイス２１３は、例えば、ガイドピンのアライメントのために、仮想軸１５１１４Ａ、１５１１４Ｂ、１５１１６Ａ及び１５１１６Ｂを同時に表示してよい。他の例では、可視化デバイス２１３は、特定の時点で仮想マーカの全てより少ない仮想マーカを表示してよい。例えば、可視化デバイス２１３は、仮想マーカを順次、表示してよい。一例として、第１の時点で、可視化デバイス２１３は、第１のガイドピン（例えば、ガイドピン１５１０４Ａ）の取付をガイドする第１の仮想マーカを表示してよい。第１の時点の後（例えば、ガイドピン１５１０４Ａを取り付けた後）の第２の時点で、可視化デバイス２１３は、第２のガイドピン（例えば、ガイドピン１５１０４Ｂ）の取付をガイドする第２の仮想マーカを表示してよい。言い換えると、ガイドピン１５４０４Ａが取り付けられたと判断することに応答して、可視化デバイス２１３は、ガイドピン１５４０４Ａの取付をガイドした仮想マーカの表示を停止し、次に取り付けるガイドピンの仮想マーカを表示してよい。可視化デバイス２１３は、全ての必要なガイドピンを取り付けるまで（例えば、ガイドピン１５１０４Ａ、１５１０４Ｂ、１５１０６Ａ及び１５１０６Ｂを取り付けるまで）、仮想マーカの表示を順次、続けてよい。このように、ＭＲシステム２１２は、複数の仮想軸を表示してよく、各仮想軸は、仮想手術計画から取得されたパラメータを有し、各仮想軸は、複数のピンの各ガイドピンの脛骨への取付をガイドするように構成される。

ＭＲシステム２１２は、仮想マーカを特定の色で表示してよい。例えば、いくつかの例では、ＭＲシステム２１２は、緑、青、黄色等、赤以外の色で仮想マーカを表示することが好ましい。赤以外の色（複数可）で仮想マーカを表示することは、１つまたは複数の利点を提供し得る。例えば、血液は赤く見え、血液は関心のある解剖学的構造上もしくはそのまわりに存在し得るので、赤色の仮想マーカは見えない場合がある。

可視化システム２１３が複数の仮想マーカを同時に表示する場合等、いくつかの例では、可視化システム２１３は、外科医が対応する作業ステップを完了した後、仮想マーカの表示を変更または修正してよい。仮想マーカの表示の変更は、色を変えること、マーカタイプを変えること、アニメーション化（例えば、点滅または閃光）、追加の要素（例えば、仮想マーカ上またはその近くにＸまたはチェックマーク）を表示すること、または任意の他の視覚的に認識できる変更を含むが、これらに限らない。例えば、可視化システム２１３は、ガイドピン１５１０４Ａの取付をガイドする第１の仮想マーカを仮想軸として、また、ガイドピン１５１０４Ｂの取付をガイドする第２の仮想マーカを仮想軸として最初に表示してよい。外科医がガイドピン１５１０４Ａを取り付けた後、可視化システム２１３は、第２の仮想マーカの表示を仮想軸として維持したまま、ガイドピン１５１０４Ａの取付をガイドするために表示された第１の仮想マーカを（例えば、仮想軸から十字線に変更するように）修正してよい。

ＭＲシステム２１２は、仮想マーカに加えて、または、仮想マーカの代わりに、他の仮想ガイダンスを提供してよい。例えば、ＭＲシステム２１２は、外科医がガイドピンを目標深さまで取り付けることを可能にする深さガイダンス（例えば、図６６～図６８を参照して前述した深さガイダンスと類似の深さガイダンス）を表示してよい。別の例として、ＭＲシステム２１２は、ターゲッティングガイダンスを提供してよい。例えば、ＭＲシステム２１２は、（例えば、図３６Ａ～図３６Ｄを参照して前述したような）ピン取付の中心点または規定の軸を識別する仮想マーカ、及び／またはガイドピンが規定の軸と整列しているかどうかを示すものの一方または両方を表示してよい。上記のように、ＭＲシステム２１２は、ガイドピン及び／またはガイドピンを駆動するドリルの位置／向きをモニタリングして、モニタリングした位置／向きを規定の軸と比較することによって、ガイドピンが規定の軸と整列しているかどうかを判断してよい。

外科医は、仮想ガイダンスを使用して、ガイドピン１５１０４Ａ、１５１０４Ｂ、１５１０６Ａ及び１５１０６Ｂを取り付けてよい。脛骨ガイド１５１１２を使用した例では、外科医は、ガイドピン１５１０４Ａ、１５１０４Ｂ、１５１０６Ａ及び１５１０６Ｂの取付後、脛骨ガイド１５１１２を取り除いてよい。

図１５２は、脛骨にドリルで穴を開ける例を示す概念図である。図１５２に示すように、外科医は、ガイドピン１５１０４Ａ、１５１０４Ｂ、１５１０６Ａ及び１５１０６Ｂを使用して、ドリルガイド１５２０２を脛骨１５１０２に取り付けてよい。ドリルガイド１５２０２は、脛骨１５１０２へのドリルでの穴開けをガイドする１つまたは複数のチャネルを含む。例えば、図１５２に示すように、ドリルガイド１５２０２は、第１のチャネル１５２０４Ａ及び第２のチャネル１５２０４Ｂを含む。外科医は、ドリル（例えば、脛骨コーナードリルビットを有する外科用モータ）を利用して、第１のチャネル１５２０４Ａ及び第２のチャネル１５２０４Ｂのそれぞれを用いてドリルで穴を開けてよい。このように、外科医は、脛骨１５１０２の近位の角部の両方にバイコーティカルにドリルで穴を開けてよい。

ドリルガイド１５２０２に加えて、または、その代わりに、ＭＲシステム２１２は、脛骨１５１０２の近位の角部のドリルによる穴開けで外科医を支援する仮想ガイダンスを提供してよい。例えば、可視化デバイス２１３は、外科医が脛骨１５１０２にドリルで穴を開けるのをガイドする仮想マーカを表示してよい。可視化デバイス２１３は、（例えば、ドリルで穴を開ける位置及び／または向きを示すように）仮想マーカを脛骨１５１０２上に重ね合わせて表示してよい。仮想マーカは、外科医がドリルによる穴開けを行うのをガイドする脛骨１５１０２の点にある（例えば、図３４の軸３４００に類似した）仮想ドリル軸であってよい。ガイドピンの取付をガイドする上記仮想マーカと同様、可視化デバイス２１３は、同時にまたは順次、脛骨１５１０２の近位の両方の角部のドリルによる穴開けをガイドする仮想マーカを表示してよく、ドリルによる穴開けをガイドする仮想マーカは、脛骨の近位の各角部にあってよい。

ＭＲシステム２１２は、仮想マーカに加えて、または仮想マーカの代わりに、他の仮想ガイダンスを提供してよい。例えば、ＭＲシステム２１２は、外科医が目標深さまでドリルで穴を開けることができるように深さガイダンス（例えば、図６６～図６８を参照して前述した深さガイダンスと類似の深さガイダンス）を表示してよい。別の例として、ＭＲシステム２１２は、ターゲッティングガイダンスを提供してよい。例えば、ＭＲシステム２１２は、（例えば、図３６Ａ～図３６Ｄを参照して前述したように）、例えば、脛骨または距骨へのドリルによる穴開けの中心点または規定の軸を識別する仮想マーカ、及び／またはドリルビットが規定の軸と整列しているかどうかを示すものの一方または両方を表示してよい。上記のように、ＭＲシステム２１２は、ドリルビット及び／またはドリルビットを駆動するドリルの位置／向きをモニタリングし、モニタリングした位置／向きを規定の軸と比較することによって、ドリルビットが規定の軸と整列しているかどうかを判断してよい。

いくつかの例では、ＭＲシステム２１２は、（例えば、図８３～図１０８を参照して）本開示に記載した手術アイテム追跡技術を利用して、足関節形成を支援してよい。例えば、ＭＲシステム２１２は、複数の手術アイテムから手術アイテムを選択してよい。複数の手術アイテムは、足関節形成術を行うための１つまたは複数のトレイに含まれてよい。例示の手術アイテムは、ツール、器具、インプラント、関連するハードウェアを含むが、これらに限らない。ＭＲシステム２１２は、（例えば、看護師、または外科医以外の人が着用している）第２の可視化デバイスに、複数の手術アイテムの中から選択された手術アイテムを識別する仮想情報を表示させてよく、仮想情報は、第２の可視化デバイスを介して見ることができる選択された手術アイテムの位置上、またはその近くに存在する。ＭＲシステム２１２は、足関節形成術の現在のステップに関連付けられた手術アイテムとして手術アイテムを選択してよい。例えば、外科医がドリルガイド１５２０２を使用して脛骨の角部にドリルで穴を開けてよい図１５２の例では、ＭＲシステム２１２は、ドリルガイド１５２０２を選択された手術アイテムとして選択してよい。第２の可視化デバイスは、ドリルガイド１５２０２を識別する（例えば、図１０５～図１０８と類似の方法でドリルガイド１５２０２を強調表示、または他の方法で識別する）仮想情報を表示してよい。

図１５０の足関節修復手術の段階を引き続き参照すると、外科医は、脛骨切除プロセスを行ってよい（１５００８）。例えば、外科医は、脛骨インプラントをその後に取り付けるスペースを作るために脛骨１５１０２の一部を取り除いてよい。いくつかの例では、外科医は、脛骨１５１０２に３つの切断（例えば、近位切断、内側切断、及び外側切断）を行うことによって、脛骨切除を行って、脛骨１５１０２の一部を取り除き、脛骨インプラントのその後の取付のためのスペースを作成してよい。上記のように、ＭＲシステム２１２は、特定のステップ（複数可）を行う方法を説明するアニメーション、ビデオまたはテキストを表示してよい。例えば、ＭＲシステム２１２は、脛骨切除の方法を示す図またはアニメーションを可視化デバイス２１３に表示させてよい。これも前述のように、ＭＲシステム２１２は、仮想チェックリストを表示してよく、チェックリスト項目の各項目が整形外科手術のステップのチェックリストの項目に対応する。例えば、ＭＲシステム２１２は、脛骨切除を行う現在のステップまたはステップのシーケンスを指定するチェックリスト項目を有する仮想チェックリストを表示してよい。

図１５３は、脛骨の例示の切除を示す概念図である。図１５３に示すように、外科医は、ガイドピン１５１０４Ａ、１５１０４Ｂ、１５１０６Ａ及び１５１０６Ｂを使用して、切除ガイド１５３０２を脛骨１５１０２上に取り付けてよい。切除ガイド１５３０２は、脛骨１５１０２内への切断の実行をガイドする１つまたは複数のチャネルを含む。例えば、図１５３に示すように、切除ガイド１５２０２は、内側切断の実行をガイドする第１のチャネル１５３０６Ａと、近位切断の実行をガイドする第２のチャネル１５３０６Ｂと、外側切断の実行をガイドする第３のチャネル１５３０６Ｃとを含む。いくつかの例では、切除ガイド１５３０２は、距骨１５１０８の切除の実行をガイドする第４のチャネルを含んでよい。例えば、図１５３に示すように、切除ガイド１５３０２は、第４のチャネル１５３０４を含んでよい。外科医は、鋸刃（例えば、振動骨鋸）を利用して、チャネル１５３０６Ａ～１５３０６Ｃを用いて、内側切断、外側切断、及び近位切断を行ってよい。このように、外科医は、脛骨１５１０２の切除を行ってよい。

切除ガイド１５３０２に加えて、またはその代わりに、ＭＲシステム２１２は、脛骨１５１０２の切除を行う外科医を支援する仮想ガイダンスを提供してよい。例えば、可視化デバイス２１３は、脛骨１５１０２に切断を行う外科医をガイドする仮想マーカを表示してよい。可視化デバイス２１３は、（例えば、切断が行われる位置及び／または向きを示す）脛骨１５１０２に重ね合わされたマーカを表示してよい。仮想マーカは、外科医が切断を行うのをガイドする脛骨１５１０２の点の仮想切断線、仮想切断表面、または（例えば、図４２Ａ及び図４２Ｂの仮想切断面４２００と類似の）仮想切断面であってよい。ガイドピンの取付をガイドする上記仮想マーカと同様に、可視化デバイス２１３は、近位切断、内側切断、及び外側切断の実行をガイドする仮想マーカを同時にまたは順次表示してよい。このように、ＭＲシステム２１２は、複数の仮想切断表面を表示してよく、各仮想切断表面は、仮想手術計画から取得されたパラメータを有し、複数の仮想切断表面は、脛骨の切除をガイドするように構成される。

ＭＲシステム２１２は、仮想マーカに加えて、または仮想マーカの代わりに、他の仮想ガイダンスを提供してよい。例えば、ＭＲシステム２１２は、外科医が目標深さまで切断を行うのを可能にする深さガイダンス（例えば、図６６～図６８を参照して前述した深さガイダンスと類似の深さガイダンス）を表示してよい。別の例として、ＭＲシステム２１２は、ターゲッティングガイダンスを提供してよい。例えば、ＭＲシステム２１２は、（例えば、図３６Ａ～図３６Ｄを参照して前述した）切断の規定された平面を識別する仮想マーカ、及び／または鋸刃が規定された平面と整列しているかどうかを示すものの一方または両方を表示してよい。上記のように、ＭＲシステム２１２は、鋸刃及び／または鋸刃を駆動するモータの位置／向きをモニタリングし、モニタリングされた位置／向きを規定された平面と比較することによって、鋸刃が規定された平面と整列しているかどうかを判断してよい。

外科医は、切除部分（すなわち、切断によって切り離された脛骨１５１０２の部分）を取り除いてよい。ガイドピン１５１０４Ａ及び１５１０４Ｂは、切除部分に取り付けられてよく、切除部分を除去すると、取り除かれてよい。

上記のように、ＭＲシステム２１２は、足関節形成術の現在のステップのために選択された手術アイテムを識別する仮想情報を第２の可視化デバイスに表示させてよい。例えば、外科医が切除ガイド１５３０２を使用して脛骨切除を行ってよい図１５３の例では、ＭＲシステム２１２は、選択された手術アイテムとして切除ガイド１５３０２を選択してよい。

さらに、図１５０の足関節修復手術の段階を参照すると、外科医は、可視化デバイス２１３によって外科医に提示される視野に仮想距骨物体を患者の実際の距骨に位置合わせする位置合わせプロセス（１５０１０）を行ってよい。例えば、ＭＲシステム２１２は、図２のストレージシステム２０６から仮想距骨物体を取得してよい。上記仮想脛骨物体と同様に、仮想距骨物体は、患者の距骨の術前撮像（例えば、ＣＴ撮像）に基づいて生成してよい。ＭＲシステム２１２は、任意の適切なプロセスを用いて位置合わせを行ってよい。例えば、ＭＲシステム２１２は、図２０Ａ～図３１を参照して前述した位置合わせ技術のいずれかを使用して、仮想距骨物体の患者の実際の距骨との位置合わせを行ってよい。上記のように、位置合わせは、仮想距骨物体と患者の実際の距骨の間の変換行列を生成してよい。これも前述したように、ＭＲシステム２１２は、仮想チェックリストを表示してよく、チェックリスト項目の各項目は整形外科手術のステップのチェックリストの項目に対応する。例えば、ＭＲシステム２１２は、仮想距骨物体を患者の実際の距骨に位置合わせする現在のステップ、またはステップのシーケンスを指定するチェックリスト項目を有する仮想チェックリストを表示してよい。

さらに、図１５０の例では、外科医は、距骨を準備する様々な作業ステップを行ってよい（１５０１２）。距骨を準備する例示の作業ステップは、１つまたは複数のガイドピンを距骨に取り付けること、距骨に１つまたは複数の穴をドリルで開けること、及び／または１つまたは複数のガイド（例えば、切断ガイド、ドリルガイド、リーミングガイド等）を距骨に取り付けることを含むが、これらに限らない。ＭＲシステム２１２は、距骨を準備する様々な作業ステップで外科医を支援する仮想ガイダンスを提供してよい。上記のように、ＭＲシステム２１２は、特定のステップ（複数可）を行う方法を説明するアニメーション、ビデオまたはテキストを表示してよい。例えば、ＭＲシステム２１２は、距骨をどのように準備するかを示す図またはアニメーションを可視化デバイス２１３に表示させてよい。これも前述したように、ＭＲシステム２１２は、仮想チェックリストを表示してよく、チェックリスト項目の各項目は整形外科手術のステップのチェックリストの項目に対応する。例えば、ＭＲシステム２１２は、距骨を準備する現在のステップ、またはステップのシーケンスを指定するチェックリスト項目を有する仮想チェックリストを表示してよい。

図１５４Ａ及び図１５４Ｂは、距骨準備プロセス中に距骨に取り付けられた例示のガイドピンを示す概念図である。図１５４Ａ及び図１５４Ｂに示すように、外科医は、ガイドピン１５４０２Ａ及び１５４０２Ｂを距骨１５１０８内に取り付けてよい。

図１５４Ｂの例等、いくつかの例では、外科医は、物理的ガイドを使用してガイドピン１５４０２Ａ及び１５４０２Ｂを取り付けてよい。例えば、外科医は、距骨ガイド１５４０４を距骨１５１０８に配置して、距骨ガイド１５４０４の１つまたは複数の穴を利用して、ガイドピン１５４０２Ａ及び１５４０２Ｂの取付をガイドしてよい。いくつかの例では、距骨ガイド１５４０は、距骨１５１０８の輪郭に一致するように設計された表面を有するように製造された患者固有のガイドであってよい。このような患者固有のガイドの一例は、Ｗｒｉｇｈｔ Ｍｅｄｉｃａｌ Ｇｒｏｕｐ Ｎ．Ｖ．社製のＰｒｏｐｈｅｃｙ（登録商標）Ｉｎｆｉｎｉｔｙ（登録商標）Ｔｏｔａｌ ＡｎｋｌｅシステムのＰｒｏｐｈｅｃｙ Ｔａｌｕｓ Ａｌｉｇｈｍｅｎｔ Ｇｕｉｄｅである。

距骨ガイド１５４０４に加えて、またはその代わりに、ＭＲシステム２１２は、ガイドピン１５４０２Ａ及び１５４０２Ｂの取付で外科医を支援する仮想ガイダンスを提供してよい。例えば、可視化デバイス２１３は、外科医がガイドピン１５４０２Ａ及び１５４０２Ｂを取り付けるのを支援する１つまたは複数の仮想マーカを表示してよい。例えば、図１５４Ａに示すように、可視化デバイス２１３は、ガイドピン１５４０２Ａ及び１５４０２Ｂの取付をそれぞれガイドする仮想軸１５４０６Ａ及び１５４０６Ｂを表示してよい。可視化デバイス２１３は、図１５１Ａ及び図１５１Ｂを参照して前述したのと同様に、仮想マーカを表示してよい。ＭＲシステム２１２は、仮想マーカに加えて、または仮想マーカの代わりに、ガイドピン１５４０２Ａ及び１５４０２Ｂの取付を支援する他の仮想ガイダンスを提供してよい。例えば、ＭＲシステム２１２は、上記の追加の仮想ガイダンス（例えば、深さガイダンス、ターゲッティングガイダンス等）のいずれかを提供してよい。このように、ＭＲシステム２１２は、それぞれが仮想手術計画から取得されたパラメータを有する複数の仮想軸を表示してよく、各仮想軸は、距骨への各ガイドピンの取付をガイドするように構成される。仮想軸は、ガイドピンの取付中、外科医が物理的ガイドピンを整列させ得る目視基準を提供することによって、対応するガイドピンの取付をガイドしてよい。本明細書に記載するように、いくつかの例では、ＭＲシステム２１２は、物理的ガイドピンが実際に仮想軸と整列しているかどうかに関してフィードバックを提供してよい。

外科医は、仮想ガイダンスを使用してガイドピン１５４０２Ａ及び１５４０２Ｂを取り付けてよい。例えば、外科医は、ガイドピン１５４０２Ａ及び１５４０２Ｂの縦軸を各仮想軸と整列させて、骨にピンを配置してよい。距骨ガイド１５４０４を使用した例では、外科医は、ガイドピン１５４０２Ａ及び１５４０２Ｂの取付後、距骨ガイド１５４０４を取り除いてよい。

上記のように、ＭＲシステム２１２は、足関節形成術の現在のステップに対して選択した手術アイテムを識別する仮想情報を第２の可視化デバイスに表示させてよい。例えば、外科医が距骨ガイド１５４０４を使用してガイドピン１５４０２Ａ及び１５４０２Ｂを取り付けてよい図１５４Ｂの例では、ＭＲシステム２１２は、選択された手術アイテムとして距骨ガイド１５４０４を選択してよい。

図１５０を引き続き参照すると、距骨準備プロセスを行った後、外科医は、様々な距骨切除プロセスを行ってよい（１５０１４）。例えば、外科医は、距骨インプラントをその後取り付けるスペースを作るために距骨１５１０８の一部を取り除いてよい。いくつかの例では、外科医は、距骨１５１０８に単一の切断を行うことによって距骨切除を行って、距骨１５１０８の一部を取り除き、距骨インプラントをその後取り付けるスペースを作成してよい。上記のように、ＭＲシステム２１２は、特定のステップ（複数可）を行う方法を説明するアニメーション、ビデオまたはテキストを表示してよい。例えば、ＭＲシステム２１２は、距骨切除を行う方法を示す図またはアニメーションを可視化デバイス２１３に表示させてよい。これも前述したように、ＭＲシステム２１２は、仮想チェックリストを表示してよく、チェックリスト項目の各項目は整形外科手術のステップのチェックリストの項目に対応する。例えば、ＭＲシステム２１２は、距骨切除を行う現在のステップ、またはステップのシーケンスを指定するチェックリスト項目を有する仮想チェックリストを表示してよい。

図１５５は、距骨の例示の切除を示す概念図である。図１５５に示すように、外科医は、ガイドピン１５４０２Ａ及び１５４０２Ｂを使用して距骨１５１０８上に切除ガイド１５３０２を取り付けてよい。図１５５の例では、外科医は、脛骨切除を行った時に使用したのと同じ切除ガイド（すなわち、切除ガイド１５３０２）を利用してよい。他の例では、距骨固有の切除ガイドを使用してよい。外科医は、切除ガイド１５３０２を使用して距骨切除を行ってよい。例えば、外科医は、鋸刃（例えば、振動骨鋸）を利用して、チャネル１５３０４を使用した切断を行ってよい。このようにして、外科医は、距骨１５１０８の切除を行ってよい。

切除ガイド１５３０２に加えて、またはその代わりに、ＭＲシステム２１２は、外科医が距骨１５３０８の切除を行うのを支援する仮想ガイダンスを提供してよい。例えば、可視化デバイス２１３は、外科医が距骨１５１０８に切断を行うのをガイドする仮想マーカを表示してよい。可視化デバイス２１３は、（例えば、切断を行う位置及び／または向きを示す）マーカを距骨１５１０８に重ね合わせて表示してよい。仮想マーカは、外科医が切断を行うのをガイドする距骨１５１０８上の点にある仮想切断線、仮想切断表面、または（例えば、図４２Ａ及び図４２Ｂの仮想切断面４２００と類似した）仮想切断面であってよい。このように、ＭＲシステム２１２は、仮想手術計画から取得されたパラメータを有する仮想切断表面を表示してよく、仮想切断表面は、距骨の一次切除をガイドするように構成される。

ＭＲシステム２１２は、仮想マーカに加えて、または仮想マーカの代わりに、他の仮想ガイダンスを提供してよい。例えば、ＭＲシステム２１２は、外科医が目標深さまで切断を行うのを可能にする深さガイダンス（例えば、図６６～図６８を参照して前述した深さガイダンスに類似した深さガイダンス）を表示してよい。別の例として、ＭＲシステム２１２は、ターゲッティングガイダンスを提供してよい。例えば、ＭＲシステム２１２は、（例えば、図３６Ａ～図３６Ｄを参照して前述した）切断の規定された平面を識別する仮想マーカ、及び／または鋸刃が規定された平面と整列しているかどうかを示すものの一方または両方を表示してよい。上記のように、いくつかの例では、ＭＲシステム２１２は、鋸刃または鋸刃に接続されたもの（例えば、鋸モータ本体、鋸ハンドル、物理的登録マーカ等）を対応する仮想モデルに位置合わせし、対応する仮想モデルの位置を規定された平面と比較することによって、鋸刃が規定された平面と整列しているかどうかを判断してよい。

外科医は、切除部分（すなわち、切断によって切り離された距骨１５１０８の部分）を取り除いてよい。いくつかの例では、外科医は、様々なツール（例えば、往復鋸または骨やすり）を使用して、切除部分が取り除かれた後に残った余分な骨を取り除いてよい。図１５６は、脛骨切除及び距骨切除の実行後の例示の足首の概念図である。

外科医は、脛骨１５１０２及び／または距骨１５１０８がインプラントを受け入れる準備をするために脛骨１５１０２及び／または距骨１５１０８の一方または両方に１つまたは複数の追加の作業ステップを行ってよい。例示の追加の作業ステップは、脛骨トレイトライアル、脛骨ペグのブローチ加工、距骨の面取り切除、及び距骨ペグのドリルによる穴開けを含むが、これらに限らない。

図１５７Ａ～図１５７Ｃは、脛骨トレイトライアルの例を示す概念図である。いくつかの例で、取り付けられた時に、脛骨インプラントの後方端が脛骨１５１０２の後方部分に少なくとも達することを確実にすることが望ましい。さらに、いくつかの例では、利用可能な複数のサイズの脛骨インプラントがあってよい。従って、どのサイズの脛骨インプラントを利用すべきかを外科医が決定するのが望ましい。脛骨インプラントの後方端が脛骨１５１０２の後方部分に少なくとも達することを確実にするために、及び／またはどのサイズの脛骨インプラントを利用するかを決定するために、外科医は、脛骨トレイトライアルを行ってよい。

脛骨トレイトライアルを行うために、外科医は、脛骨トレイトライアル１５７０２を脛骨１５１０２に取り付けてよい。図１５７Ａに示すように、脛骨トレイトライアル１５７０２は、後方端１５７０４、インジケータ１５７１０、ガイドピン穴１５７１２Ａ及び１５７１２Ｂ、ブローチ加工穴１５７１４Ａ及び１５７１４Ｂ（追加の前方ブローチ加工穴１５７１４Ｃは図示されていない）、並びに前方表面１５７１６を含んでよい。外科医は、ガイドピン１５１０６Ａ及び１５１０６Ｂを対応するガイドピン穴１５７１２Ａ及び１５７１２Ｂにスライドさせることによって、脛骨トレイトライアル１５７０２を脛骨１５１０２に取り付けてよい。いくつかの例では、脛骨トレイトライアル１５７０２を取り付けた後、外科医は、（例えば、図１５８に示すように）脛骨トレイトライアル１５７０２の前方表面１５７１６と同一平面になるようにガイドピン１５１０６Ａ及び１５１０６Ｂを切り整えてよい。

いくつかの例では、外科医は、蛍光透視法を利用して、脛骨トレイトライアルを行ってよい。例えば、外科医は、蛍光透視法を利用して、脛骨トレイトライアル１５７０２と脛骨１５１０２の相対位置を決定してよい。

ＭＲシステム２１２は、脛骨トレイトライアルを支援する仮想ガイダンスを提供してよい。一例として、可視化デバイス２１３は、脛骨トレイトライアル１５７０２と脛骨１５１０２の相対位置を示す合成されたビューを表示してよい。可視化デバイス２１３は、図６６～図６８を参照して前述したのと類似の方法で合成されたビューを表示してよい。例えば、ＭＲシステム２１２は、脛骨トレイトライアル１５７０２を脛骨トレイトライアルの対応する仮想モデルに位置合わせしてよく、脛骨トレイトライアル１５７０２及び脛骨１５１０２の位置合わせされた仮想モデルを利用して、脛骨トレイトライアル１５７０２及び脛骨１５１０２の仮想モデルの相対位置を示すビューを合成してよい。脛骨トレイトライアル１５７０２及び脛骨１５１０２の仮想モデルはそれぞれ、脛骨トレイトライアル１５７０２及び脛骨１５１０２に位置合わせされるので、脛骨トレイトライアル１５７０２及び脛骨１５１０２の仮想モデルの相対位置は、脛骨トレイトライアル１５７０２及び脛骨１５１０２の相対位置に対応する。合成されたビューは、図１５７Ｂ及び図１５７Ｃの概念図に類似して見え得る。

外科医は、合成されたビューを利用して、脛骨トレイトライアル１５７０２に対して１つまたは複数の調整を行ってよい。例えば、脛骨トレイトライアル１５７０２の後方端１５７０４が脛骨１５１０２の後方端１５７０６を超えて延びていることを合成されたビューが示す場合、外科医は、脛骨トレイトライアル１５７０２を脛骨トレイトライアル１５７０２の後方端１５７０４の方に前方に進めるように調整してよい。例えば、外科医は、ツール１５７０８を利用して、脛骨トレイトライアル１５７０２を前方に平行移動させてよい。

外科医は、合成されたビューを利用して、どのサイズの脛骨インプラントを利用すべきかを決定してよい。例えば、脛骨トレイトライアル１５７０２の（切り込みとして図１５７Ｃに示す）インジケータ１５７１０が脛骨１５１０２の後方端１５７０６を超えて延びていることを合成されたビューが示す場合、外科医は、第１のサイズの脛骨インプラント（例えば、標準サイズ）を利用すべきであると決定してよい。脛骨トレイトライアル１５７０２のインジケータ１５７１０が脛骨１５１０２の後方端１５７０６を超えて延びていないことを合成されたビューが示す場合、外科医は、第２のサイズの脛骨インプラント（例えば、長いサイズ）を利用すべきであると決定してよい。

上記のように、ＭＲシステム２１２は、外科医が仮想ガイダンスを使用して脛骨トレイトライアルを行うのを可能にし得る。いくつかの例では、ＭＲシステム２１２は、外科医が蛍光透視法を用いずに脛骨トレイトライアルを行うのを可能にし得る。

上記のように、ＭＲシステム２１２は、足関節形成術の現在のステップのために選択された手術アイテムを識別する仮想情報を第２の可視化デバイスに表示させてよい。例えば、外科医が脛骨トレイトライアル１５７０２を使用してよい図１５７Ａ～１５７Ｃの例では、ＭＲシステム２１２は、選択された手術アイテムとして脛骨トレイトライアル１５７０２を選択してよい。

外科医は、脛骨インプラントの固定点を作成してよい。例えば、外科医は脛骨トレイトライアルを利用して脛骨ペグのブローチ加工を行ってよい。図１５８は、脛骨インプラント固定具の例示の作成を示す概念図である。図１５８に示すように、外科医は、前方脛骨ペグブローチ１５８０２Ａを利用して、ブローチ加工穴１５７１４Ａを使用して、脛骨１５１０２の第１の前方穴をブローチ加工してよく、前方脛骨ペグブローチ１５８０２Ａを利用して、ブローチ加工穴１５７１４Ｃを使用して脛骨１５１０２の第２の前方穴をブローチ加工してよく、後方脛骨ペグブローチ１５８０２Ｂを利用して、ブローチ加工穴１５７１４Ｂを使用して脛骨１５１０２の穴をブローチ加工してよい。脛骨１５１０２でブローチ加工された穴は、脛骨インプラントの固定点を構成してよい。

上記のように、ＭＲシステム２１２は、足関節形成術の現在のステップのために選択された手術アイテムを識別する仮想情報を第２の可視化デバイスに表示させてよい。例えば、外科医が前方脛骨ペグブローチ１５８０２Ａ及び後方脛骨ペグブローチ１５８０２Ｂを使用してよい図１５８の例では、ＭＲシステム２１２は、前方脛骨ペグブローチ１５８０２Ａ及び後方脛骨ペグブローチ１５８０２Ｂを選択された手術アイテム（複数可）として選択してよい。上記のように、ＭＲシステム２１２は、第２の可視化デバイス及び／または可視化デバイス２１３に、選択された手術アイテム（すなわち、前方脛骨ペグブローチ１５８０２Ａ及び後方脛骨ペグブローチ１５８０２Ｂ）を視覚的に区別させてよい。

外科医は、１つまたは複数の距骨の面取り切除を行って、距骨インプラントを受け入れる距骨１５１０８をさらに準備してよい。いくつかの例では、外科医は、前方距骨の面取り切除と後方距骨の面取り切除とを行ってよい。１つまたは複数の距骨切除を行うために、外科医は、１つまたは複数のガイドピンを距骨１５１０８に取り付けてよい。

図１５９Ａ及び図１５９Ｂは、ガイドピンの距骨１５１０８への例示の取付を示す概念図である。ＭＲシステム２１２は、外科医がガイドピン１５９０４Ａ及び１５９０４Ｂを距骨１５１０８に取り付けるのをガイドする仮想ガイダンスを提供してよい。例えば、図１５９Ａに示すように、可視化デバイス２１３は、距骨１５１０８に重ね合わせられた仮想軸１５９０２Ａ及び１５９０２Ｂを表示して、ガイドピン１５９０４Ａ及び１５９０４Ｂの距骨１５１０８への取付をガイドしてよい。図１５９Ａに仮想軸として示すが、可視化デバイス２１３は、本明細書に記載の仮想マーカのいずれかを表示して、ガイドピン１５９０４Ａ及び１５９０４Ｂへの距骨１５１０８への取付をガイドしてよい。

いくつかの例では、外科医は、ガイドピン１５９０４Ａ及び１５９０４Ｂの距骨１５１０８への取付を支援する物理的ガイドを利用してよい。例えば、外科医は、蛍光透視法を利用して、距骨ドームトライアルコンポーネントを配置してよい。距骨ドームトライアルコンポーネントを配置すると、外科医は、距骨ドームトライアルコンポーネントの穴を利用して、ガイドピン１５９０４Ａ及び１５９０４Ｂの取付をガイドしてよい。

外科医は、ガイドピン１５９０４Ａ及び１５９０４Ｂを使用して距骨の面取り切除を行ってよい。例えば、図１６０に示すように、外科医は、ガイドピン１５９０４Ａ及び１５９０４Ｂを使用して、距骨切除ガイドベース１６００２を距骨１５１０８上に配置してよい。外科医は、１つまたは複数のコンポーネントを利用して、距骨切除ガイドベース１６００２を距骨１５１０８に固定してよい。例えば、図１６１に示すように、外科医は、固定ネジ１６１０２Ａ及び１６１０２Ｂを、切除ガイドベース１６００２を通して距骨１５１０８に取り付けてよい。

ＭＲシステム２１２は、外科医が固定ネジ１６１０２Ａ及び１６１０２Ｂを取り付けるのを支援する仮想ガイダンスを提供してよい。一例として、可視化デバイス２１３は、固定ネジ１６１０２Ａ及び１６１０２Ｂを取り付ける箇所及び軸を示す仮想マーカを表示してよい。別の例として、可視化デバイス２１３は、外科医が固定ネジ１６１０２Ａ及び１６１０２Ｂを目標深さに取り付けるのを可能にする深さガイダンス（例えば、例えば、図６６～図６８を参照して前述した深さガイダンスに類似した深さガイダンス）を提供してよい。いくつかの例では、ＭＲシステム２１２は、閉ループのツール制御を利用して、固定ネジ１６１０２Ａ及び１６１０２Ｂを取り付けるのに使用されるドリルを積極的に制御してよい。例えば、ＭＲシステム２１２は、上記の閉ループのツール制御技術を利用して、例えば、図７２を参照すると、所望の深さ及び／またはトルクに達すると、固定ネジ１６１０２Ａ及び１６１０２Ｂの取付に使用するドリルの速度を低減及び／または停止してよい。

外科医は、距骨切除ガイドベース１６００２を利用して、後方距骨の面取り切除を行ってよい。例えば、図１６１に示すように、外科医は、鋸刃１６１０４を距骨切除ガイドベース１６００２のスロット１６００４内に挿入して、後方距骨の面取り切除を行ってよい。

上記のように、ＭＲシステム２１２は、足関節形成術の現在のステップのために選択された手術アイテムを識別する仮想情報を第２の可視化デバイスに表示させてよい。例えば、外科医が距骨切除ガイドベース１６００２を使用してよい図１６１の例では、ＭＲシステム２１２は、選択された手術アイテムとして距骨切除ガイドベース１６００２を選択してよい。

距骨切除ガイドベース１６００２に加えて、またはその代わりに、ＭＲシステム２１２は、外科医が後方距骨の面取り切除を行うのを支援する仮想ガイダンスを提供してよい。例えば、可視化デバイス２１３は、外科医が後方距骨の面取り切除を行うのを支援する仮想マーカを表示してよい。可視化デバイス２１３は、（例えば、切断を行う位置及び／または向きを示す）マーカを距骨１５１０８上に重ね合わせて表示してよい。仮想マーカは、外科医が切断を行うのをガイドする距骨１５１０８の点にある仮想表面または（例えば、図４２Ａ及び図４２Ｂの仮想切断面４２００と類似した）仮想切断面であってよい。

外科医は、距骨切除ガイドベース１６００２を利用して、前方距骨の面取り切除を行ってよい。例えば、図１６２に示すように、外科医は、前方距骨ガイド１６２０２を距骨切除ガイドベース１６００２に取り付けてよい。外科医は、距骨リーマ１６２０４を有するドリルを利用して、距骨１５１０８の前方表面をリーミングしてよい。例えば、外科医は、距骨リーマ１６２０４を、前方距骨ガイド１６２０２を通して水平方向にスライドして、距骨インプラントの前方平面に合わせて距骨１５１０８の表面を準備してよい。図１６２に示すように、距骨リーマ１６２０４は、深さ止め１６２０６を含んでよく、深さ止め１６２０６は、前方距骨ガイド１６２０２の表面１６２０８と係合して、リーミング深さを制御する。外科医は、距骨ガイド１６２０２を１８０度回転させ、（今や、回転された）前方距骨ガイド１６２０２を通して距骨リーマ１６２０４を再び、水平方向にスライドさせて、距骨インプラントの前方の面取りのために距骨１５１０８の表面を準備してよい。上記のように、距骨リーマ１６２０４は、深さ止め１６２０６を含んでよく、深さ止め１６２０６は、前方距骨ガイド１６２０２の表面１６２０８と係合してリーミング深さを制御する。

いくつかの例では、前方平面と前方面取りの準備の一方または両方のために、外科医は、（例えば、距骨リーマ１６２０４を用いて）プランジ切断を行って、リーミングのために距骨１５１０８を準備してよい。例えば、外科医は、プランジ切断の実行をガイドする穴を有するパイロットガイドを取り付けてよい。距骨リーマ１６２０４の深さ止め１６２０６は、プランジ深さを制御するパイロットガイドの表面と係合してよい。

距骨切除ガイドベース１６００２に加えて、またはその代わりに、ＭＲシステム２１２は、外科医が前方距骨の面取り切除を行うのを支援する仮想ガイダンスを提供してよい。例えば、可視化デバイス２１３は、外科医がプランジ切断及び／または水平リーミングを行うのをガイドする１つまたは複数の仮想マーカを表示してよい。一例として、可視化デバイス２１３は、各プランジ切断に対して各仮想軸を表示してよい。ＭＲシステム２１２は、仮想マーカに加えて、または仮想マーカの代わりに、プランジ切断及び／または水平リーミングを行うのを支援する他の仮想ガイダンスを提供してよい。例えば、ＭＲシステム２１２は、上記追加の仮想ガイダンス（例えば、深さガイダンス、ターゲッティングガイダンス等）のいずれかを提供してよい。

外科医は、距骨ペグドリルによる穴開けを行って、距骨インプラントのために距骨１５１０８に固定点を作成してよい。ＭＲシステム２１２は、外科医が前方距骨の面取り切除を行うのを支援する仮想ガイダンスを提供してよい。例えば、可視化デバイス２１３は、外科医が距骨１５１０８にドリルで穴を開けるのをガイドする１つまたは複数の仮想マーカを表示してよい。図１６４に示すように、可視化デバイス２１３は、図１６５のペグ穴１６５０２Ａ及び１６５０２Ｂのドリルによる穴開けをガイドする仮想軸１６４０２Ａ及び１６４０２Ｂを表示してよい。ＭＲシステム２１２は、仮想マーカに加えて、または仮想マーカの代わりに、固定具の作成を支援する他の仮想ガイダンスを提供してよい。例えば、ＭＲシステム２１２は、上記追加の仮想ガイダンス（例えば、深さガイダンス、ターゲッティングガイダンス等）のいずれかを提供してよい。このように、ＭＲシステム２１２は、複数の仮想ドリル軸を表示してよく、各仮想ドリル軸は、仮想手術計画から取得されたパラメータを有し、各仮想ドリル軸は、距骨の固定点のドリルによる穴開けをガイドするように構成される。

図１５０を引き続き参照すると、外科医は、脛骨インプラント取付プロセスを行ってよい（１５０１６）。図１６６は、例示の脛骨インプラントを示す概念図である。図１６６に示すように、脛骨インプラント１６６０２は、後方ペグ１６６０４Ａと、前方ペグ１６６０４Ｂ及び１６６０４Ｃとを備える。図１６７は、上記ステップを使用して準備した例示の脛骨を示す概念図である。図１６７に示すように、脛骨１５１０２は、図１５８を参照して前述したブローチ加工プロセス中に作成したペグ穴１６７０２Ａ～１６７０２Ｃを含む。

外科医は、脛骨インプラント１６６０２の後方ペグ１６６０４Ａと前方ペグ１６６０４Ｂ及び１６６０４Ｃとが、脛骨１５１０２のペグ穴１６７０２Ａ～１６７０２Ｃと係合するように、脛骨インプラント１６６０２を取り付けてよい。例えば、外科医は、後方ペグ１６６０４Ａがペグ穴１６７０２Ａとぴったり一致し、前方ペグ１６６０４Ｂがペグ穴１６７０２Ｂとぴったり一致し、前方ペグ１６６０４Ｃがペグ穴１６７０２Ｃとぴったり一致するように脛骨インプラント１６６０２を配置してよい。ペグが対応するペグ穴とぴったり一致すると、外科医は、脛骨インプラント１６６０２を脛骨１５１０２内に打ち込んでよい。上記のように、ＭＲシステム２１２は、特定のステップ（複数可）を行う方法を説明するアニメーション、ビデオまたはテキストを表示してよい。例えば、ＭＲシステム２１２は、脛骨インプラント１６６０２をどのように取り付けるべきかを示す図またはアニメーションを可視化デバイス２１３に表示させてよい。これも前述したように、ＭＲシステム２１２は、仮想チェックリストを表示してよく、チェックリスト項目の各項目は整形外科手術のステップのチェックリストの項目に対応する。例えば、ＭＲシステム２１２は、脛骨インプラントを取り付ける現在のステップ、またはステップのシーケンスを指定するチェックリスト項目を有する仮想チェックリストを表示してよい。

図１６８は、脛骨インプラントの脛骨への例示の打ち込みを示す概念図である。図１６８に示すように、外科医は、トレイインパクタ１６８０２を利用して、脛骨インプラント１６６０２を脛骨１５１０２内に打ち込んでよい。例えば、外科医は、トレイインパクタ１６８０２の先端１６８０６を脛骨インプラント１６６０２上に配置し、打ち込み点１６８０４Ａ及び／または１６８０４Ｂの一方または両方を、インパクタ（例えば、ハンマ）を用いて叩いてよい。

図１５０を引き続き参照すると、外科医は、距骨インプラント取付プロセスを行ってよい（１５０１８）。図１６９は、例示の距骨インプラントを示す概念図である。図１６９に示すように、距骨インプラント１６９０２は、第１のペグ１６９０４Ａ及び第２のペグ１６９０４Ｂを備える。

外科医は、距骨インプラント１６９０２の第１のペグ１６９０４Ａ及び第２のペグ１６９０４Ｂが距骨１５１０８のペグ穴１６５０２Ａ及び１６５０２Ｂに係合するように、距骨インプラント１６９０２を取り付けてよい。例えば、外科医は、第１のペグ１６９０４Ａがペグ穴１６５０２Ａとぴったり一致し、距骨インプラント１６９０２の第２のペグ１６９０４Ｂがペグ穴１６５０２Ｂとぴったり一致するように距骨インプラント１６９０２を配置してよい。ペグが対応するペグ穴とぴったり一致すると、外科医は、距骨インプラント１６９０２を距骨１５１０８内に打ち込んでよい。

上記のように、ＭＲシステム２１２は、足関節形成術の現在のステップのために選択された手術アイテムを識別する仮想情報を第２の可視化デバイスに表示させてよい。例えば、外科医がトレイインパクタ１６８０２を使用してよい図１６８の例では、ＭＲシステム２１２は、トレイインパクタ１６８０２を選択された手術アイテムとして選択してよい。

図１７０は、距骨インプラントの距骨への例示の打ち込みを示す概念図である。図１７０に示すように、外科医は、距骨インパクタ１７００２を利用して、距骨インプラント１６９０２を距骨１５１０８内に打ち込んでよい。例えば、外科医は、距骨インパクタ１７００２の先端１７００４を距骨インプラント１６９０２上に配置し、インパクタ（例えば、ハンマ）を用いて、距骨インパクタ１７００２の打ち込み点を叩いてよい。

上記のように、ＭＲシステム２１２は、足関節形成術の現在のステップのために選択された手術アイテムを識別する仮想情報を第２の可視化デバイスに表示させてよい。例えば、外科医が距骨インパクタ１７００２を使用してよい図１６８の例では、ＭＲシステム２１２は、距骨インパクタ１７００２を選択された手術アイテムとして選択してよい。上記のように、ＭＲシステム２１２は、特定のステップ（複数可）を行う方法を説明するアニメーション、ビデオまたはテキストを表示してよい。例えば、ＭＲシステム２１２は、距骨インプラント１６９０２をどのように取り付けるべきかを示す図またはアニメーションを可視化デバイス２１３に表示させてよい。これも前述したように、ＭＲシステム２１２は、仮想チェックリストを表示してよく、チェックリスト項目の各項目は整形外科手術のステップのチェックリストの項目に対応する。例えば、ＭＲシステム２１２は、距骨インプラントを取り付ける現在のステップ、またはステップのシーケンスを指定するチェックリスト項目を有する仮想チェックリストを表示してよい。

図１５０を引き続き参照すると、外科医は、ベアリング取付プロセスを行ってよい（１５０２０）。外科医は、脛骨インプラント１６６０２と距骨インプラント１６９０２の間にベアリングを取り付けてよい。例えば、図１７１に示すように、外科医は、脛骨インプラント１６６０２と距骨インプラント１６９０２の間にベアリング１７１０２を取り付けてよい。上記のように、ＭＲシステム２１２は、特定のステップ（複数可）を行う方法を説明するアニメーション、ビデオまたはテキストを表示してよい。例えば、ＭＲシステム２１２は、ベアリング１７１０２をどのように取り付けるかを示す図またはアニメーションを可視化デバイス２１３に表示させてよい。これも前述したように、ＭＲシステム２１２は、仮想チェックリストを表示してよく、チェックリスト項目の各項目は整形外科手術のステップのチェックリストの項目に対応する。例えば、ＭＲシステム２１２は、ベアリングを取り付ける現在のステップ、またはステップのシーケンスを指定するチェックリスト項目を有する仮想チェックリストを表示してよい。

その後、図１５０の例では、外科医は、創縫合プロセスを行ってよい（１５０２２）。創縫合プロセス中、外科医は、患者の足首の創を縫合するために、切開プロセス中に切断した組織を再びつないでよい。上記のように、ＭＲシステム２１２は、特定のステップ（複数可）を行う方法を説明するアニメーション、ビデオまたはテキストを表示してよい。例えば、ＭＲシステム２１２は、どのように創を縫合するかを示す図またはアニメーションを可視化デバイス２１３に表示させてよい。これも前述したように、ＭＲシステム２１２は、仮想チェックリストを表示してよく、チェックリスト項目の各項目は整形外科手術のステップのチェックリストの項目に対応する。例えば、ＭＲシステム２１２は、創を縫合する現在のステップ、またはステップのシーケンスを指定するチェックリスト項目を有する仮想チェックリストを表示してよい。

図１７２は、本開示の１つまたは複数の技術による、ＭＲ支援手術の例示の技術を示すフロー図である。上記のように、外科医は、ＭＲシステム２１２の可視化デバイス２１３等、ＭＲシステムの可視化デバイスを着用してよい。

ＭＲシステム２１２は、可視化デバイスを介して、患者の解剖学的構造の一部分の仮想モデルを可視化デバイスによって見ることができる解剖学的構造の対応する部分へ位置合わせしてよい（１７２０２）。例えば、ＭＲシステム２１２は、図２０Ａ～図３１を参照して前述した位置合わせ技術のいずれかを使用して、仮想脛骨物体の可視化デバイス２１３を介して見ることができる患者の実際の脛骨との位置合わせを行ってよい。上記のように、ＭＲシステム２１２は、人工装具を解剖学的構造に取り付ける手術手順の仮想手術計画から仮想モデルを取得してよい。

上記のように、可視化デバイス２１３は、解剖学的構造の一部分の仮想モデルを解剖学的構造の対応する部分への位置合わせ中、仮想モデルの少なくとも一部分を表示してよい。例えば、図２４に示すように、可視化デバイス２１３は、仮想モデル（例えば、仮想骨モデル）を表示してよく、ユーザ（すなわち、可視化デバイス２１３を着用している人）は、仮想モデルを解剖学的構造の対応する部分と整列させるように注視をシフトしてよい。いくつかの例では、可視化デバイス２１３は、位置合わせプロセス後、仮想モデルの表示を停止してよい。いくつかの例では、可視化デバイス２１３は、位置合わせプロセス後、仮想モデルの表示を維持してよい、及び／または手術中の後の時点で仮想モデルを再表示してよい。

ＭＲシステム２１２は、人工装具の取付のための解剖学的構造の準備または人工装具の解剖学的構造への取付の少なくとも１つをガイドする仮想ガイドを解剖学的構造の部分に重ね合わせて、可視化デバイスを介して表示してよい（１７２０４）。例えば、ＭＲシステム２１２は、上記の仮想ガイダンス／ガイドのいずれかを可視化デバイス２１３に表示させてよい。上記のように、例示の仮想ガイドは、仮想軸、仮想切断表面等を含むが、これらに限らない。これも前述したように、仮想ガイドが現実世界シーンの一部に見えるように、例えば、仮想ガイドがオーバーレイで、または他の方法で実際の現実世界シーン内に一体化してユーザに見えるように、可視化デバイス２１３は、解剖学的構造の一部上に仮想ガイドを重ね合わせて表示してよい。

上記のように、いくつかの例では、可視化デバイス２１３は、位置合わせプロセス後、仮想モデルの表示を停止してよい。従って、いくつかの例では、可視化デバイス２１３は、仮想モデルの表示と異なる時に（例えば、同時ではなく）、仮想ガイドを表示してよい。これも前述したように、いくつかの例では、可視化デバイス２１３は、位置合わせプロセス後、仮想モデルの表示を維持してよい、及び／または手術中の後の時点で仮想モデルを再表示してよい。従って、いくつかの例では、可視化デバイス２１３は、仮想ガイドを仮想モデルの表示と同じ時に（例えば、同時に）表示してよい。

本開示の他の箇所に記載される閉ループのツール制御技術がまた、全足関節形成の文脈で使用されてよい。例えば、一例では、閉ループ制御は、全足関節形成中、遠位脛骨切断、近位踵骨切断、内側切断、及び外側切断を行う時に使用される鋸に適用されてよい。別の例では、本開示の他の箇所に記載される深さ制御技術が、全足関節形成の文脈に適用されて、外科医がドリルで穴を深く開けすぎないことを確実にすることを助けてよい。例えば、上記のように、本開示の他の箇所に記載される深さ制御技術が、脛骨切除を行う時、適用されて外科医を支援してよい。

肩関節修復手術に対して本開示の他の箇所に記載される手術アイテム追跡技術は、全足関節形成にも適用されて、ヘルスケア専門家が手術アイテムを選択し、手術アイテムの使用を追跡するのを助けてよい。さらに、本開示の他の箇所に記載されるワークフロー管理プロセスが、全足関節形成での使用に適合されてよい。例えば、ＸＲ可視化デバイス（例えば、ＸＲ可視化デバイス１１７０２）が、全足関節形成のステップのチェックリストの項目に対応する仮想チェックリスト項目のセットを含むＸＲ可視化（例えば、ＭＲ可視化またはＶＲ可視化）を出力してよい。例えば、図１９のステップに対応する仮想チェックリスト項目の代わりに、ＸＲ可視化は、図１５０のステップまたは足関節形成の任意の他のステップに対応する仮想チェックリスト項目を含んでよい。

本開示の他の箇所に記載される協力及び教育技術が、全足関節形成等、足首の手術の文脈でも使用されてよい。例えば、一例では、外科医は、全足関節形成または他のタイプの足首の手術中、ＭＲ及び／またはＶＲを使用して、リモートの外科医と相談してよい。別の例では、可視化デバイス２１３は、例えば、他の人の可視化デバイスのカメラによって撮影された実際の解剖学的物体、すなわち、現実の患者の解剖学的構造と、他の人の可視化デバイスによってＭＲ可視化として生成された仮想物体との両方を含む、患者の足首の他の人のビューを含む二次ビューウィンドウを含むＭＲ可視化を外科医に提示してよい。本開示の他の箇所に記載される可動域追跡技術が、患者の肩の代わりに、患者の足首の文脈にも適用されてよい。

いくつかの例では、本明細書に記載の技術、デバイスまたは方法のいずれも、医療教育及び手術教育の目的で使用されてよい。例えば、複合現実物体または情報を提示する可視化デバイスを使用して、整形外科手術手順、または整形外科手術手順の１つまたは複数のステップもしくは段階について生徒を教育してよい。整形外科手術手順に関して教育される生徒は、手順で訓練される医師、または手順で一般的または具体的に訓練される医学生を含んでよい。あるいは、場合によっては、整形外科医療処置に関して教育される生徒は、処置が行われる患者、または、患者のヘルパー、保護者もしくは家族であってよい。この場合、教師は、患者生徒を訓練する外科医または他の医療専門家を含んでよい。また、医療技師、看護師、医師助手、医療研究者、または任意の他の人が、本明細書に記載の技術及び方法に従うと、生徒であってよい。いくつかの例では、１人または複数の教師が、複合現実の使用を通して説明的指示（及び、場合によっては、デモンストレーション）を１人または複数の生徒に提供してよい。その上、さらに他の例では、生徒（複数可）は、可視化デバイスを使用して、整形外科医療処置の実践技術または訓練技術を複合現実の支援で行ってよい。さらに他の場合では、生徒及び教師は、協力環境で作業する専門家のパネルを含んでよく、この場合、生徒及び教師の役割は、授業中、変わってよい。一般に、複合現実（または、仮想現実）の支援で教えられている人はいずれも、本開示に従うと、生徒であってよく、同様に、複合現実（または、仮想現実）の支援で教えている人はいずれも、本開示に従うと、教師であってよい。

図１２７は、ＭＲ教師デバイス１２７０２とＭＲ生徒デバイス１２７０４とを含む教育システム１２７０１の概念ブロック図である。ＭＲ教師デバイス１２７０２及びＭＲ生徒デバイス１２７０４はそれぞれ、本開示を通して詳細に記載している可視化デバイス２１３を含んでよい。ＭＲ教師デバイス１２７０２は、整形外科手術教育１２７０６のＭＲ教育コンテンツを教師に提示してよい。同様に、ＭＲ生徒デバイス１２７０４は、整形外科手術教育１２７０６の類似のＭＲ教育コンテンツを生徒に提示してよい。ＭＲ教育コンテンツ１２７０６は、ＭＲ教師デバイス１２７０２を着用している教師の指導と共に、ＭＲ生徒デバイス１２７０４を着用する生徒を教育することを支援してよい。大抵の場合、ＭＲ教師デバイス及びＭＲ生徒デバイスは、同じ物理的場所で動作してよいが、本開示の技術は、この点に限らない。例えば、ＭＲ教師デバイス１２７０２及びＭＲ生徒デバイス１２７０４が、互いにリモートにある物理的場所で動作することも可能であり、この場合、ユーザは、異なる現実世界の背景を見ながら、ＭＲ教育コンテンツ１２７０６を共有してよい。

ＭＲ教育コンテンツ１２７０６は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む１つまたは複数の仮想要素を含んでよい。例えば、教育コンテンツ１２７０６内の１つまたは複数の解剖学的特徴の３Ｄ仮想表現は、例えば、図１０の３Ｄ仮想モデル１００８、１０１０として示される等、人間の肩の３Ｄ仮想モデルを含んでよい。いくつかの例では、教育コンテンツ１２７０６内の１つまたは複数の解剖学的特徴の仮想表現は、上腕骨頭の３Ｄ仮想図、肩甲骨の仮想図、上腕骨の３Ｄ仮想図、または関節窩の３Ｄ仮想図を含んでよい。さらに他の例では、教育コンテンツ１２７０６内の１つまたは複数の解剖学的特徴の仮想表現は、足首の３Ｄ仮想図、距骨の仮想図、または、脛骨もしくは脛骨頭の３Ｄ仮想図を含んでよい。以下の多くの教育的詳細は、肩の解剖学的構造の３Ｄ仮想表現の文脈で記載されるが、技術は、他の解剖学的構造、足首の解剖学的構造等、特に複雑な解剖学的要素にとって非常に有用でもある。

さらに、１つまたは複数の解剖学的特徴の３Ｄ仮想表現に加えて、教育コンテンツ１２７０６は、整形外科手術の少なくとも１つの側面をデモンストレーションする追加の仮想要素をさらに含んでよい。これらの追加の要素は、例えば、整形外科手術の少なくとも１つの態様をデモンストレーションするように、３Ｄ仮想表現に対する仮想術前計画要素、３Ｄ仮想表現に対する１つまたは複数の仮想手術ガイダンス機能、または、３Ｄ仮想表現上に仮想で示された１つまたは複数の手術結果を含んでよい。

教育システム１２７０１のユーザ（例えば、ＭＲ生徒デバイス１２７０４及びＭＲ教師デバイス１２７０２を着用している教師及び生徒）は、仮想３Ｄ要素を見て、ジェスチャ、注視ベースコントロール、音声入力、または複合現実または仮想現実で有用な任意の制御技術を介して等、仮想コントロールを通して、仮想３Ｄ要素を操作してよい。例えば、生徒または教師は、３Ｄ仮想肩モデルの仮想の動きを制御してよく、且つ、仮想要素が整形外科手術の１つまたは複数の側面（術前、術中、及び／または術後）をデモンストレーションするのを有効または無効にしてよい。また、手動キーパッド入力、タッチスクリーン入力、ポインタコントロール、任意の仮想制御機構の組み合わせ、または他のタイプのコントロールを教師が使用して、教育コンテンツ１２７０６内の仮想３Ｄ要素を操作してよい。

場合によっては、ＭＲ生徒デバイス１２７０４及び／またはＭＲ教師デバイス１２７０２は、触覚デバイスを含んでよく、触覚デバイスは、タッチベースの情報をユーザに提供して、ユーザが仮想要素の物理的特性を学習し、仮想要素を操作するのを支援する。触覚デバイスは、例えば、１つまたは複数の触覚グローブ、１つまたは複数の触覚リストバンド、触覚ペンタイプのデバイス、または他の触覚デバイスを含んでよい。触覚デバイスは、可視化デバイスと共に動作して、触覚フィードバックをユーザに提供してよく、触覚フィードバックは、可視化デバイスによってユーザに提示される１つまたは複数の仮想要素に関連付けられてよい。このような触覚フィードバックは、ＭＲ生徒デバイス１２７０４よって行われる手術シミュレーションにとって特に有用であり得る。この場合、ＭＲ生徒デバイス１２７０４は、１つまたは複数の仮想要素を提示する可視化デバイスと、触覚フィードバックを提供する触覚デバイスとを含んでよい。場合によっては、触覚フィードバックは、可視化デバイスによって提示される１つまたは複数の仮想要素に対してユーザが行う操作と同期されてよい、または連動してよい。

ＭＲ生徒デバイス１２７０４またはＭＲ教師デバイス１２７０２等のＭＲデバイスを使用して、教師または生徒は、教育理由で、空間内において仮想３Ｄ要素を回転、サイズ変更、位置変更、または他の方法で移動させてよい。ＭＲ生徒デバイス１２７０４またはＭＲ教師デバイス１２７０２は、仮想の肩モデルの異なるセグメントのビューを有効または無効にしてよく、３Ｄ仮想モデル上の仮想のインプラントを示す仮想要素、３Ｄ仮想モデル上での仮想手術計画、３Ｄ仮想モデル上での仮想手術ガイダンス、及び／または３Ｄモデル上での仮想術後結果を有効または無効にしてよい。

さらに、教師または生徒は、肩関節窩内または人間の足首内の骨の解剖学的動きを示してよい。図１１に示す例示の教師モデル１００８は、例えば、肩のインプラントコンポーネント１０１０の仮想３Ｄ表現を示す仮想要素と、肩のインプラントコンポーネント１０１０によって引き起こされ得るインピンジメント点１１０６を示す仮想要素と共に、肩の３Ｄモデルを示す。ＭＲ生徒デバイス１２７０４またはＭＲ教師デバイス１２７０２等のＭＲデバイスを用いて、教師または生徒は、関節窩に対して仮想上腕骨を回転させて、肩の動きを示すことができてよい。さらに、教師または生徒はまた、セグメント化していてよい異なる図示の要素のビューを有効または無効にしてよい。上腕骨の部分は、セグメント化されてよく、例えば、上腕骨切断面と、上腕骨上の１つまたは複数の肩インプラントコンポーネントの箇所を見せるために選択的に有効または無効にされてよい。また、肩甲骨または関節窩の部分は、セグメント化されてよく、例えば、肩甲骨または関節窩上の１つまたは複数の肩インプラントコンポーネントの箇所を見せるために選択的に有効または無効にされてよい。

１つまたは複数の解剖学的特徴の３Ｄ仮想表現は実際の患者画像に基づいてよい、または、１人または複数の患者の画像に基づいてよい。３Ｄ仮想表現は、異なるサブコンポーネントに分割されてよく、サブコンポーネントは、ユーザによって有効または無効にされてよい。場合によっては、３Ｄ仮想表現は、コンピュータによって生成されてよい。場合によっては、３Ｄ仮想表現は、（例えば、ＭＲ生徒デバイス１２７０４またはＭＲ教師デバイス１２７０２のメモリに記憶された、またはリモートに記憶された）３Ｄ仮想表現のカタログから選択されてよい。カタログ内の異なる３Ｄ仮想表現は、整形外科的修復を必要とし得る多種多様な異なる肩の状態をデモンストレーションしてよい。ＭＲ教師デバイス１２７０２を使用する教師は、ＭＲ生徒デバイス１２７０４を着用している生徒に教育的デモンストレーションを行うために、例えば、１つまたは複数の３Ｄ仮想表現を３Ｄ画像のカタログから選択してよい。

３Ｄ仮想表現は、特定のレッスンに関して教師によって生徒に対して選択されてよい。ＭＲ教師デバイス１２７０２は、例えば、ＭＲ教育コンテンツ１２７０６内の３Ｄ肩モデルを提示して、特定のタイプの分類（例えば、Ｗａｌｃｈ分類のタイプ）を有する肩を示してよく、特定のタイプの分類は、特定のタイプの手術、または特定のサイズ、角度、及びインプラント位置を有するインプラントコンポーネントの選択を必要とし得る。他のレッスンについては、ＭＲ教師デバイス１２７０２は、異なる分類を有する異なる肩モデルを提示してよく、それによって、異なるタイプの手術または異なるインプラントコンポーネント、サイズ、角度及び／またはインプラント位置が必要となる。

１つまたは複数の解剖学的要素の仮想表現等、１つまたは複数の解剖学的要素の３Ｄ仮想表現に加えて、ＭＲ教育コンテンツ１２７０６は、ＭＲ手術ガイダンス情報、ＭＲ位置合わせコンテンツ、ＭＲベースの軸、平面もしくはマーカ、ＭＲベースのジグもしくはガイド、ＭＲベースの骨モデルもしくは軟組織モデル、手術用ツールに関するＭＲベースガイダンス、仮想インプラント、ＭＲベースのワークフローチェックリスト、可動域情報、術前アニメーション、または他のＭＲベースの情報等、本明細書に記載の多種多様なＭＲコンテンツのいずれをも含んでよい。任意の所与の教育的設定で使用される特定のＭＲコンテンツは、しかしながら、教育される生徒に応じて決まり得る。例えば、教育システム１２７０１は、医師、医学生、技師、看護師、医師助手、または整形外科医療処置に関与し得る任意の他の人の教育または訓練に使用されてよい。あるいは、教育システム１２７０１は、行う処置に関して、患者（または、ヘルパー、保護者、患者の家族、及び／または患者の友人）に教えるために使用されてよい。さらに他のケースでは、教育システム１２７０１は、研究者、または整形外科手術に関する１つまたは複数の詳細を学ぶことに関心または理由を有し得る任意の他の人に教えるために使用されてよい。整形外科手術教育１２７０６のＭＲ教育コンテンツは、異なる教育環境に対して選択または規定されてよい。

ＭＲ教育コンテンツ１２７０６は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む１つまたは複数の仮想要素を含んでよい。１つまたは複数の解剖学的特徴の３Ｄ仮想表現は、例えば、上腕骨頭の３Ｄ仮想図または関節窩の３Ｄ仮想図等、人間の肩または、場合によっては人間の肩のセグメントの３Ｄ仮想モデルを含んでよい。仮想要素は、ＭＲ教師デバイス１２７０２及び／またはＭＲ生徒デバイス１２７０４によって制御可能であってよい。ＭＲ教師デバイス１２７０２が一般的に、仮想要素を制御してよいが、場合によっては、仮想コントロールが、ＭＲ生徒デバイス１２７０４の１つを着用している生徒に与えられてよい。仮想要素の制御は、ＭＲ教師デバイス１２７０２（または、ＭＲ生徒デバイス１２７０４）のユーザによって、ジェスチャ、注視、音声入力、ジェスチャ、注視もしくは音声入力の組み合わせ、または、仮想コンテンツのＭＲまたはＶＲコントロール及び操作に使用される他の技術を用いて、行われてよい。

いくつかの例では、ＭＲ教育コンテンツ１２７０６は、手術ガイダンス情報を含んでよく、この手術ガイダンス情報は、ＭＲ教師デバイス１２７０２のユーザが、ＭＲ生徒デバイス１２７０４のユーザに対して手術の訓練を行うのを可能にし得る。このようなケースでは、ＭＲ教育コンテンツ１２７０６は、１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む１つまたは複数の仮想要素、ならびに１つまたは複数の解剖学的特徴の３Ｄ仮想表現に対して示されるまたは例示される手術ステップをユーザにガイドするための仮想ガイダンス要素または情報とを含んでよい。他の例では、ＭＲ教育コンテンツ１２７０６は、物理的な（例えば、合成の）解剖学的モデル、または死体の解剖学的構造に対して配置された１つまたは複数の仮想要素を含んでよい。例示の物理的な解剖学的モデルは、米国ワシントン州バション島Ｓａｗｂｏｎｅｓ ＵＳＡ社から市販されている。死体の解剖学的構造は、死体全体または死体検体を含んでよい。

一例として、ＭＲ教育コンテンツ１２７０６は、関節窩の仮想３Ｄ表現に対して、または、物理的モデルもしくは死体の関節窩骨に対して配置された仮想リーミング軸を含んでよい。場合によっては、仮想リーミング輪郭も、ＭＲ教育コンテンツ１２７０６に含まれてよい。別の例として、ＭＲ教育コンテンツ１２７０６は、上腕骨頭の３Ｄ仮想表現に対して示される仮想上腕骨切断面、または上腕骨の物理的モデルもしくは死体の上腕骨に対する仮想切断面等、仮想切断面を含んでよい。他の例では、ＭＲ教育コンテンツ１２７０６は、仮想ジグまたはガイドを含んでよく、１つまたは複数の解剖学的特徴（仮想関節窩等）の３Ｄ仮想表現に対する、または、物理的モデルもしくは死体の解剖学的構造に対して位置決めされた仮想ジグまたはガイドの配置を示してよい。他の例では、ＭＲ教育コンテンツ１２７０６は、関節窩の３Ｄ仮想表現（または、他の仮想の解剖学的モデル）にガイドポストを挿入するための、または、物理的な解剖学的モデルもしくは死体にガイドポストを挿入するための仮想ドリル点または仮想ドリル軸を示してよい。このような例では、ＭＲ教育コンテンツ１２７０６はまた、仮想ジグまたはガイドに対して仮想軸を示してよい。さらに他の例では、ＭＲ教育コンテンツ１２７０６は、１つまたは複数の解剖学的特徴の３Ｄ仮想表現（例えば、仮想モデル）に対する、または、物理的モデルもしくは死体の解剖学的構造に対する、仮想マーカを含んでよい。仮想マーカは、ドリルによる穴開け、リーミング、研削、インプラントのための準備、インプラントの取付、または患者の解剖学的構造に関する術中手術ガイダンスに示され得る任意のものに対する箇所、点または軸を指定してよい。実際、本開示の他の箇所に記載される手術ガイダンス機能のいずれかを、仮想の解剖学的モデル（または、物理的モデルもしくは死体）に対して、ＭＲ教師デバイス１２７０２及びＭＲ生徒デバイス１２７０４によって仮想で提示することによって手術に対する訓練を容易にしてもよい。

物理的モデルは、Ｓａｗｂｏｎｅｓ ＵＳＡ社または他の供給源から市販されている物理的骨モデル等、物理的骨モデルを含んでよい。複合現実の支援で、生徒は、リーミングまたは他の手術ステップを物理的骨モデルに対して実践してよい。他の例では、仮想組織モデルを生徒にして提示して、生徒が、ＭＲ生徒デバイス１２７０４を介して仮想組織モデルに対する手術による切断または他の手技をシミュレーションするのを可能にすることができる。ユーザの指によるジェスチャが、ＭＲ生徒デバイス１２７０４を介して仮想組織モデルに対して切断をシミュレーションしてよく、それによって、生徒は、組織を切断し、解剖学的特徴（関節窩等）を露出させ、仮想組織モデルに対して仮想のインプラントもしくは他のコンポーネントを配置することができる。指ベースの切断ジェスチャ等のジェスチャによって、生徒は、皮膚層、脂肪、筋肉、骨または他の解剖学的構造を露出させるように仮想組織モデルを操作してよい。仮想組織モデルは、セグメント化されてよく、仮想組織モデルの異なる層（皮膚、脂肪、筋肉、及び骨）が見え、露出され、ＭＲ生徒デバイス１２７０４を着用している生徒またはＭＲ教師デバイス１２７０２を着用している教師が操作できるようにしてよい。ＭＲ生徒デバイス１２７０４は、指追跡及び手追跡を行って、仮想組織モデルに対する仮想切断または他の操作を示してよい。人間の肩の物理的モデルまたは仮想組織モデルが、肩の手術の教育に使用されてよく、同様に、人間の足首の物理的モデルまたは仮想組織モデルが、足首の手術の教育に使用されてよい。他のタイプの物理的モデルまたは仮想組織モデル（指、肘、膝、背中、首等）も、身体の他の部分に対する整形外科手術教育の促進に使用されてよい。

仮想要素が、物理的モデル、死体、または仮想組織モデルに対して提示される時、仮想要素が物理的モデル、死体、または仮想モデルの要素に一致するのを確実にすることが望ましい。従って、物理的モデル、死体、または仮想組織モデルの実際の物理的寸法を知ることが望ましく、物理的寸法は、スキャンまたは撮像によって取得されてよい。従って、物理的モデルのスキャンまたは画像に基づいて生成または規定された仮想要素を有することが望ましい。これによって、仮想要素が物理的モデル、死体、または仮想モデルに一致し、それらへ適切に位置合わせできることを確実にし得る。また、教師環境において、物理的モデルに一致する対応する仮想要素を有する多くの同一の物理的モデルを有することは有用であり得る。この場合、異なる生徒は、同一の物理的モデルの解剖学的構造に基づいて正確に規定された仮想要素及び仮想ガイダンスの支援を受けて、別々の同一の物理的モデルに対して実際の操作を行ってよい。

いくつかの例では、システムは、解剖学的要素の複数の物理的モデルであって、複数の物理的モデルは、実質的に同一である、複数の物理的モデル、及び可視化デバイスによって実行されると、物理的モデルの１つに対して解剖学的整形外科手術に関連付けられた仮想要素を可視化デバイスに提示させる命令を含むコンピュータ可読媒体であって、仮想要素は、サイズ及び形状が物理的モデルにおいて実質的に同一の解剖学的要素の仮想表現を含む、コンピュータ可読媒体を含む。

いくつかの例では、システムは、異なる生徒または教師によって複合現実の支援で物理的に使用される複数の物理的モデルを含んでよい。例えば、システムは、解剖学的要素の複数の物理的モデルを含んでよく、複数の物理的モデルは、実質的に同一である。システムは、第１の複合現実提示を第１のユーザに表示するように構成された第１の可視化デバイスを含んでよく、ここで、第１の複合現実提示は、第１のユーザが第１のデバイスを着用している間、第１のユーザによって制御可能な１つまたは複数の第１の仮想要素を含み、１つまたは複数の第１の仮想要素は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の第１の３Ｄ仮想表現を含み、第１の３Ｄ仮想表現は、複数の物理的モデルの第１の物理的モデルに対して配置される。さらに、システムは、第２の複合現実提示を第２のユーザに表示するように構成された第２の可視化デバイスを含んでよく、ここで、第２の複合現実提示は、第２のユーザが第２のデバイスを着用している間、第２のユーザによって制御可能な１つまたは複数の第２の仮想要素を含み、１つまたは複数の第２の仮想要素は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の第２の３Ｄ仮想表現を含み、第２の３Ｄ仮想表現は、複数の物理的モデルの第２の物理的モデルに対して配置される。この例では、第１及び第２の可視化デバイスは、生徒または教師によって使用されてよく、各ユーザ（生徒及び／または教師）は、自身の物理的モデルと、自身の物理的モデルに関して示される自身の複合現実提示とを有してよい。いくつかの例では、物理的モデルは、実際の患者または死体の解剖学的要素の画像またはセグメント化に基づいて作成されてよい。この場合、物理的モデルは、複数の同一の３Ｄモデルを生成するように３Ｄ印刷されてよく、仮想要素は、実際の患者または死体の解剖学的要素の同じ画像またはセグメント化に基づいて規定することができる。生徒及び教師は、（実際の患者または死体の解剖学的構造の３Ｄ表現である）自身の物理的モデルに対してトライアル手術ステップを行うことができ、複合現実の仮想要素または仮想モデルは、生徒及び教師が着用している可視化デバイスによって異なる物理的モデルに対して提示することができる。

これらのまたは他の例では、ＭＲ教育コンテンツ１２７０６は、様々な肩の手術手順（例えば、解剖学的または逆肩関節形成術等）のいずれか、または様々な足首の手術手順（例えば、足関節形成術等）のいずれか等、整形外科的関節修復処置のステップの行い方に関して、医師を訓練するために有用であり得る。従って、これらの例においては、ＭＲ生徒デバイス１２７０４を着用する生徒は、典型的に外科医であってよいが、他の生徒もＭＲベースの教育から恩恵を受けることができる。

他の例では、ＭＲ教育コンテンツ１２７０６は、仮想モデルを患者の実際の解剖学的特徴、物理的な骨もしくは軟組織モデル、または死体の特徴へ位置合わせする位置合わせプロセスを示す仮想コンテンツを含んでよい。例えば、ＭＲ教師デバイス１２７０２及びＭＲ生徒デバイス１２７０４は、仮想モデルを実際の解剖学的特徴へ位置合わせする登録プロセス、例えば、関節窩の仮想モデルを、それぞれ、死体もしくは合成骨モデル等からの実際の関節窩もしくは物理的モデルへ位置合わせする位置合わせプロセスを行うように構成されてよい。この場合、ＭＲ教師デバイス１２７０２を着用している教師は、医療デバイス技師を含んでよい。仮想モデルを実際の関節窩モデルまたは物理的モデルに位置合わせするために、教師は、仮想モデルを患者の実際の解剖学的特徴へ位置合わせするための本開示の他の箇所により詳細に記載する「設定（ＳＥＴ）」「マッチ（ＭＡＴＣＨ）」及び「リセット（ＲＥＳＥＴ）」の位置合わせステップに関して、ＭＲ生徒デバイス１２７０４を着用している生徒（例えば、外科医）に指導してよい。

さらに他の例では、ＭＲ教育コンテンツ１２７０６は、例えば、リーミングされた骨の仮想モデルをインプラントの仮想モデルと比較して、リーミングされた骨の仮想モデルがインプラントを適切に受ける形状になっているかどうかを見るための仮想トライアル情報を含んでよい。言い換えると、ＭＲ教育コンテンツ１２７０６は、仮想インプラントが仮想のリーミングされた関節窩骨、物理的モデル、または死体の骨に適合するかどうかを見るために、３Ｄ仮想モデル（例えば、仮想関節窩）に対して、または、関節窩の物理的モデルもしくは死体に対して配置することができるインプラントコンポーネントの仮想モデルの形態の仮想要素を含んでよい。この場合、ＭＲ教師デバイス１２７０２を着用している教師は、ＭＲ生徒デバイス１２７０４を着用している生徒にリーミングプロセスに関して指導してよい。いくつかの場合には、生徒は、リーミングされた骨の仮想モデルに対する仮想インプラントを見てよい。他の場合には、生徒は、例えば、ＭＲ生徒デバイス１２７０４を介して提供される仮想術中ガイダンスを用いて、死体の関節窩骨またはモデルの関節窩骨に対して実際にリーミングプロセスを行ってよく、次に、ＭＲ生徒デバイス１２７０４及びＭＲ教師デバイス１２７０２は、インプラントの仮想モデルを提示することができる。生徒または教師は次に、リーミングされた骨またはリーミングされたモデルに対するインプラントの仮想モデルの位置を操作して、インプラントが適切に適合しているかどうかを見ることができる。このプロセスは、整形外科手術タスクの一例として、肩の手術のリーミングプロセスに関して、生徒に有用な訓練を提供することができ、この例では、生徒は、医学生、外科医、または、手術の訓練を受けている任意の人を含んでよい。類似の訓練は、足首手術、または他の相対的に複雑な整形外科手術に対しても使用されて、生徒がＭＲによってガイドされる手術または手術のステップを死体の距骨及び／または脛骨に対して実践するのを可能にし得る。

他の例では、ＭＲ教育コンテンツ１２７０６は、本開示の他の箇所により詳細に記載するような深さ支援要素の位置合わせプロセスを支援する情報を含んでよい。例えば、本開示の他の箇所に詳述するように、深さ支援要素が、リーミング要素、ドリル要素、または他のツールビット等、ツールビットの深さ計算を支援するために使用されてよい。例えば、図８０～図８２を参照して示し説明した位置合わせプロセスは、位置合わせプロセスの実行の仕方を生徒（例えば、外科医）に訓練するために、ＭＲ生徒デバイス１２７０４及びＭＲ教師デバイス１２７０２によって実施されてよい。場合によっては、ＭＲ教師デバイス１２７０２を着用している教師は、深さ支援要素に対する位置合わせプロセスの実行の仕方を外科医に訓練し得る医療デバイス技師を含んでよい。

他の例では、ＭＲ教育コンテンツ１２７０６は、手術用ツールもしくはインプラントコンポーネントの選択、または整形外科手術で使用するツールもしくはインプラントコンポーネントを識別する仮想要素等の仮想支援に関する仮想情報を含んでよい。実際に、本開示は、看護師または他の手術参加者のツール選択を支援するために、可視化デバイスが提示することができる仮想要素の多くの例を記載する。このような技術及びツールは、教育システム１２７０１でも有用であり得る。このような場合では、ＭＲ生徒デバイス１２７０４は、看護師または医療助手が着用してよく、ＭＲ教師デバイス１２７０２は、手術及びツール選択に関して看護師を訓練している人が着用してよい。ＭＲ生徒デバイス１２７０４及びＭＲ教師デバイス１２７０２は、看護師の訓練にＭＲ可視化を提示してよく、そのＭＲ可視化は、本開示の他の箇所に記載される、実際の手術で看護師が使用するものと類似している。看護師のツール選択訓練を含む手術手順に関する教育訓練は、手術手順の向上を支援し得る。

いくつかの例では、ＭＲ教育コンテンツ１２７０６は、手術計画に関してよく、インプラントのコンポーネント、サイズ、位置、角度、リーミング軸、リーミング輪郭、切断面、または他の特徴を含んでよく、それによって、生徒は、（例えば、解剖学的または逆肩関節形成等、異なる手術の）関節窩リーミング、上腕骨の切断を伴う特定のインプラントの配置、及び、選択されたサイズ、位置、角度での上腕骨インプラントの配置を可視化することができる。ＭＲ生徒デバイス１２７０４を着用する生徒は、特定のタイプの問題を有する特定の仮想の肩モデルに対して手術手順を計画することを練習してよく、ＭＲ教師デバイス１２７０２を着用している教師は、異なる肩の問題、異なる肩分類、及び／または異なるタイプの手術計画を表す複数の異なる肩モデルに関して生徒を訓練してよい。

他の例では、ＭＲ教育コンテンツ１２７０６は、閉ループ制御を含む自動ツールの使用に関する仮想訓練情報または仮想視覚支援を含んでよい。例えば、ツールの使用に基づいてツールを自動的に有効または無効にできる整形外科手術で使用される自動ツールを本明細書に記載した。一例として、ツールがツールの機能の実行を終えると自動的に停止にされ得る閉ループ制御ツールを記載した（所望のリーミング深さに達すると無効にされるリーマ等）。このようなツールの使用に関する教育訓練は、外科医にとって役立ち得る。従って、いくつかの例では、ＭＲ生徒デバイス１２７０４及びＭＲ教師デバイス１２７０２は、ツール使用、ならびにツールがその機能を完了するとツールを停止することを図示またはデモンストレーションする仮想要素を提示してよい。

さらに他の例では、ＭＲ教育コンテンツ１２７０６は、ＭＲ生徒デバイス１２７０４及びＭＲ教師デバイス１２７０２によって提示される、ステップバイステップのワークフローまたはチェックリスト等、ＭＲ手術ワークフローガイダンス情報を含んでよい。ＭＲ生徒デバイス１２７０４を着用している生徒は、ＭＲ教師デバイス１２７０２を着用している外科医が手順を行っているとして提示される仮想ワークフローを見てよい。例えば、ＭＲ生徒デバイス１２７０２は、仮想チェックリスト項目を含むＭＲ可視化を生成してよい。場合によっては、ＭＲ生徒デバイス１２７０４を着用する生徒に提示される仮想ワークフローは、ＭＲ教師デバイス１２７０２を着用している外科医に提示される仮想ワークフローと異なって（場合によっては、よりはっきり見えて）よい。これによって、生徒は、手術が行われている時に手術に関してより十分に情報を得て、教育を受けることが可能になり得る。この例では、生徒は、他の外科医（すなわち、教師である外科医）が訓練している医学生、または、場合によっては外科医（すなわち、生徒である外科医）であってよい。

他の例では、ＭＲ教育コンテンツ１２７０６は、可動域に関する仮想情報を含んでよい。この場合、ＭＲ教師デバイス１２７０２を着用している医師または外科医は、肩の手術等、整形外科手術に関連付けられた可動域情報の仮想デモンストレーションを見せることによって、ＭＲ生徒デバイス１２７０４を着用している患者を教育してよい。また、可動域情報を含むＭＲ教育コンテンツ１２７０６はまた、手術ステップに関連付けられた可動域の影響に関して外科医、医学生、または他の人を訓練するのに有用であり得る。例えば、ＭＲ教育コンテンツ１２７０６は、特定のインプラントの埋め込みに関連する可動域（または、可動域の損失）を示す可動域情報を含んでよい。例えば、不正確なサイズまたは位置のインプラントが患者に埋め込まれた場合、これは、可動域に対してマイナスの結果を有し得る。ＭＲ教師デバイス１２７０２及びＭＲ生徒デバイス１２７０４は、特定のインプラントに関連付けられた起こり得る可動域の結果を示す可動域の可視化を提示してよい。この場合、例えば、ＭＲ教育コンテンツ１２７０６は、所望の可動域にわたって起こり得るインピンジメント点を仮想で示す可動域情報または可動域デモンストレーションを含んでよい。ここで、インピンジメントは、不正確なサイズまたは位置のインプラントによって引き起こされ得る。場合によっては、ＭＲ教育コンテンツ１２７０６は、患者へのインプラント配置によって起こり得るインピンジメント点の仮想マーカを含んでよい。

さらに他の例において、ＭＲ教育コンテンツ１２７０６は、例えば、任意の所与のインプラント埋め込みまたはインプラント埋め込み手順に関連する所望の結果または問題を示し得る仮想術前アニメーションを含んでよい。例えば、ＭＲ教師デバイス１２７０２及びＭＲ生徒デバイス１２７０４は、不正確なサイズのインプラントの埋め込みに関連する起こり得るインピンジメントを示す仮想アニメーションを提示してよい。同様に、ＭＲ教師デバイス１２７０２及びＭＲ生徒デバイス１２７０４は、正確なサイズのインプラントの埋め込みに関連する所望の結果を示す仮想アニメーションを提示してよい。場合によっては、ＭＲ教師デバイス１２７０２及びＭＲ生徒デバイス１２７０４は、特定のインプラントまたは特定のインプラント埋め込み手順に関連する影響（例えば、所望の結果、または望ましくないインピンジメントもしくは可動域の減少）をデモンストレーションまたは示す即時仮想フィードバックを教師及び生徒に提示してよい。

図１２７の教育システム１２７０１は、整形外科手術の少なくとも１つの側面をデモンストレーションできるシステムの一例である。第１のデバイス（例えば、ＭＲ教師デバイス１２７０２）は、第１のユーザ（すなわち、教師）への提示を表示するように構成することができ、その提示は、第１のユーザが第１のデバイスを着用している間、第１のユーザによって制御可能な１つまたは複数の仮想要素を含み、１つまたは複数の仮想要素は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む。第２のデバイス（例えば、ＭＲ生徒デバイス１２７０４）もまた、第２のユーザへの提示を表示するように構成されてよく、１つまたは複数の仮想要素は、整形外科手術の少なくとも１つの側面をデモンストレーションするように、３Ｄ仮想表現に対する１つまたは複数の仮想術前計画要素、３Ｄ仮想表現に対する１つまたは複数の仮想手術ガイダンス機能、３Ｄ仮想表現上に仮想で示された１つまたは複数の手術結果をさらに含む。整形外科手術の少なくとも１つの側面をデモンストレーションすることは、例えば、整形外科手術の少なくとも１つの側面をデモンストレーションするように、３Ｄ仮想表現に対する仮想術前計画要素を提示すること、３Ｄ仮想表現に対する１つまたは複数の仮想手術ガイダンス機能を提示すること、及び／または、３Ｄ仮想表現上に仮想で示された１つまたは複数の手術結果を提示することを含んでよい。

第１のユーザが第１のデバイスを着用している間、第１のユーザによって制御可能であり、第２のユーザが第２のデバイスを着用している間、第２のユーザが見ることができる１つまたは複数の仮想要素は、整形外科手術に関する教育を容易にし得る。ＭＲ教育コンテンツ１２７０６は、第１のユーザが第１のデバイス（例えば、ＭＲ教師デバイス１２７０２）を着用している間、第１のユーザによって制御可能であり、第２のユーザが第２のデバイス（例えば、ＭＲ生徒デバイス１２７０４）を着用している間、第２のユーザが見ることができる１つまたは複数の仮想要素を含んでよい。１つまたは複数の仮想要素は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含んでよい。いくつかの例では、１つまたは複数の仮想要素は、３Ｄ仮想表現に対する仮想切断軸を示してよい。いくつかの例では、１つまたは複数の仮想要素は、３Ｄ仮想表現に対する仮想リーミング軸を示してよい。いくつかの例では、１つまたは複数の仮想要素は、３Ｄ仮想表現に対する仮想ドリル軸を示してよい。いくつかの例では、１つまたは複数の仮想要素は、３Ｄ仮想表現に対する仮想ジグまたはガイドの配置を示してよい。いくつかの例では、１つまたは複数の仮想要素は、仮想ジグまたはガイドに対する仮想軸を示してよい。いくつかの例では、１つまたは複数の仮想要素は、３Ｄ仮想表現に対して提示される手術ガイダンス情報を含んでよい。いくつかの例では、１つまたは複数の仮想要素は、３Ｄ仮想表現を物理的モデルまたは死体の対応する特徴へ位置合わせする位置合わせプロセスを示してよい。いくつかの例では、１つまたは複数の仮想要素は、インプラントコンポーネントの準備された埋め込み箇所に関連付けられたトライアル情報を含んでよい。いくつかの例では、１つまたは複数の仮想要素は、深さ支援要素を位置合わせする位置合わせプロセスを示してよい。いくつかの例では、１つまたは複数の仮想要素は、閉ループ制御を含む自動ツールの使用に関する仮想訓練情報または仮想視覚支援を含んでよい。いくつかの例では、１つまたは複数の仮想要素は、可動域に関する仮想情報を含んでよい。いくつかの例では、１つまたは複数の仮想要素は、仮想術前アニメーションを含んでよい。いくつかの例では、１つまたは複数の仮想要素は、３Ｄ仮想表現に対する１つまたは複数の仮想インプラントコンポーネントを示してよい。

図１２８は、ＭＲ教師デバイス１２８０２と、複数のＭＲ生徒デバイス１２８０４Ａ及び１２８０４Ｂ～１２８０４Ｎ（集合的に、生徒デバイス１２８０４）とを含む教育システム１２８０１の概念ブロック図である。ＭＲ教師デバイス１２８０２及びＭＲ生徒デバイス１２８０４はそれぞれ、可視化デバイス２１３を含んでよく、これについては、本開示を通して詳細に記載する。ＭＲ教師デバイス１２８０２は、整形外科手術教育のＭＲ教育コンテンツ１２８０６を教師に提示してよい。同様に、ＭＲ生徒デバイス１２８０４は、整形外科手術教育の類似のＭＲ教育コンテンツ１２８０６を生徒に提示してよい。ＭＲ教育コンテンツ１２８０６は、ＭＲ教師デバイス１２８０２を着用している教師の指導とともに、ＭＲ生徒デバイス１２８０４を着用している生徒の教育を支援し得る。

ＭＲ教育コンテンツ１２８０６は、図１２７に示し、記載したＭＲ教育コンテンツ１２７０６と類似または同じコンテンツを含んでよい。さらに、ＭＲ教育コンテンツ１２８０６は、手術ガイダンス、手術計画、術後分析、または他の理由のために使用されてよい本開示の他の箇所に開示したＭＲコンテンツのいずれをも含んでよい。実際、ＭＲ教育コンテンツ１２８０６は、本明細書に記載の多種多様なＭＲコンテンツのいずれをも含んでよい。場合によっては、ＭＲ生徒デバイス１２８０４及び／またはＭＲ教師デバイス１２８０２は、仮想要素をユーザに提示する可視化デバイスとタッチベースの情報をユーザに提供する触覚デバイスの両方を含んでよい。

他の例と同様、任意の所与の教育的設定で使用される実際のＭＲコンテンツは、しかしながら、教育される生徒に応じて決められ得る。例えば、教育システム１２８０１は、医師、医学生、技師、看護師、医師助手、または整形外科医療処置に関与し得る任意の他の人（患者、介護者、保護者、家族またはその他の人等）を教育または訓練するために使用されてよい。あるいは、教育システム１２８０１は、患者に対して行う処置に関して患者、家族及び友人を教育するために使用されてよい。さらに他の場合では、教育システム１２８０１は、研究者、または整形外科手術に関して１つまたは複数の詳細を学ぶことに関心または理由を有し得る任意の他の人を教育するために使用されてよい。図１２８によると、ＭＲ生徒デバイス１２８０４に関連付けられた複数の生徒が、ＭＲ教師デバイス１２８０２を使用する教師の授業から恩恵を受け得る。

図１２８の教育システム１２８０１は、整形外科手術の少なくとも１つの側面をデモンストレーションできるシステムの別の例である。第１のデバイス（例えば、ＭＲ教師デバイス１２８０２）は、第１のユーザ （すなわち、教師）に対する提示を表示するように構成することができ、ここで、提示は、第１のユーザが第１のデバイスを着用している間、第１のユーザが制御可能な１つまたは複数の仮想要素を含み、１つまたは複数の仮想要素は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む。第２のデバイス（例えば、ＭＲ生徒デバイス１２８０４の１つ）はまた、第２のユーザに提示を表示するように構成されてよい。１つまたは複数の仮想要素は、整形外科手術の少なくとも１つの側面をデモンストレーションするように、３Ｄ仮想表現に対する１つまたは複数の仮想術前計画要素、３Ｄ仮想表現に対する１つまたは複数の仮想手術ガイダンス機能、または、３Ｄ仮想表現上に仮想で示された１つまたは複数の手術結果をさらに含んでよい。

肩の手術の教育の例について、ＭＲ教育コンテンツ１２８０６の一部を形成する１つまたは複数の解剖学的特徴の仮想表現は、人間の肩の３Ｄ仮想モデルを含んでよい。別の例として、ＭＲ教育コンテンツ１２８０６の一部を形成する１つまたは複数の解剖学的特徴の仮想表現は、上腕骨頭の３Ｄ仮想図または関節窩の３Ｄ仮想図を含んでよい。しかしながら、他のタイプの整形外科手術の教育の例については、解剖学的特徴の異なるタイプの仮想３Ｄモデルが、ＭＲ教育コンテンツ１２８０６で提示されてよい。例えば、足首の手術の教育は、人間の足首の３Ｄ仮想図、または距骨及び／または脛骨の３Ｄ仮想図の提示を伴ってよい。

第１のユーザが第１のデバイスを着用している間、第１のユーザによって制御可能であり、第２のユーザが第２のデバイスを着用している間、第２のユーザが見ることができる１つまたは複数の仮想要素は、整形外科手術に関する教育を容易にし得る。ＭＲ教育コンテンツ１２８０６は、第１のユーザが第１のデバイス（例えば、ＭＲ教師デバイス１２８０２）を着用している間、第１のユーザによって制御可能であり、第２のユーザが第２のデバイス（例えば、ＭＲ生徒デバイス１２８０４の１つ）を着用している間、第２のユーザが見ることができる１つまたは複数の仮想要素を含んでよい。１つまたは複数の仮想要素は、図１２７のＭＲ教育コンテンツ１２７０６に関して前述した仮想要素（または、前述した仮想要素の組み合わせ）のいずれかを含んでよい。

図１２９は、教育システム１２９０１の概念ブロック図である。教育システム１２９０１は、ＭＲ／ＶＲ生徒デバイス１２９０４を含み、ＭＲ／ＶＲ生徒デバイス１２９０４はそれぞれ、本開示を通して詳細に記載する可視化デバイス２１３等の複合現実デバイス、または、現実世界ビューを提示せずに仮想情報のみを提示する仮想現実デバイスを含んでよい。ＭＲ／ＶＲ生徒デバイス１２９０４は、整形外科手術教育のＭＲ／ＶＲ（複合現実または仮想現実）教育コンテンツ１２９０６を生徒に提示してよい。この例では、しかしながら、ＭＲ／ＶＲ教育コンテンツ１２９０６は、アバタ教師１２９０２を含む。

図１２９の例では、ＭＲ／ＶＲ教育コンテンツは、事前に記録されたアバタ教師１２９０２が提示する事前に記録されたコンテンツを含んでよい。ＭＲ生徒デバイス１２９０４のユーザは、メニューまたはリストからコンテンツを選択してよく、ＭＲ生徒デバイス１２９０４を介してコンテンツを見てよい。場合によっては、ＭＲ生徒デバイス１２９０４は、仮想要素をユーザに提示する可視化デバイスとタッチベースの情報をユーザに提供する触覚デバイスとを含んでよい。

図１２７のＭＲ教育コンテンツ１２７０６及び図１２８のＭＲ教育コンテンツ１２８０６同様、図１２９に示すＭＲ／ＶＲ教育コンテンツ１２９０６は、本開示の他の箇所に開示の仮想コンテンツのいずれをも含んでよい。例えば、ＭＲ／ＶＲ教育コンテンツ１２９０６は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む１つまたは複数の仮想要素等、本明細書に記載の多種多様なコンテンツのいずれをも含んでよい。３Ｄ仮想表現（例えば、人間の肩の仮想モデル、関節窩表面もしくは関節窩の仮想モデル、または、上腕骨もしくは上腕骨頭の仮想モデル）に加えて、ＭＲ／ＶＲ教育コンテンツ１２９０６は、追加の仮想コンテンツを含んでよい。この追加の仮想コンテンツは、図１２７のＭＲ教育コンテンツ１２７０６に関して前述した仮想コンテンツまたは仮想要素（またはこのような仮想要素の組み合わせ）のいずれかを含んでよい。

他の例と同様、任意の所与の教育的環境で使用される実際のコンテンツは、しかしながら、教育される生徒に応じて決められ得る。例えば、教育システム１２９０１は、医師、医学生、技師、看護師、医師助手、または整形外科医療処置に関与し得る任意の他の人（患者、介護者、保護者、家族またはその他の人等）を教育または訓練するために使用されてよい。多くの場合、しかしながら、教育システム１２９０１は、患者に対して行われる手術に関して患者、家族及び友人を教育するのに有用であり得る。例えば、ＭＲ／ＶＲ教育コンテンツ１２９０６は、ＭＲ／ＶＲ生徒デバイス１２９０４を着用しているユーザがアクセス可能なサーバに記憶された仮想情報を含んでよい。予め記録された整形外科手術コンテンツは、患者、患者の家族及び友人等、専門家でないユーザを教育するのに特に有用であり得る。

図１３０は、リモート教師環境に有用であり得る教育システム１３００１の概念ブロック図である。図１３０に示す例においては、教師は、生徒に対してリモートにいてよく、教師は、仮想現実デバイスを含み得るＶＲ教師デバイス１３００２を着用してよい。生徒は、ＭＲ／ＶＲ生徒デバイス１３００４Ａ及び１３００４Ｂ～１３００４Ｎ（集合的に、ＭＲ／ＶＲ生徒デバイス１３００４）を介して教師と対話してよい。

ＭＲ／ＶＲ生徒デバイス１３００４はそれぞれ、本開示を通して詳細に記載している可視化デバイス２１３等の複合現実デバイス、または仮想情報のみを提示し、現実世界ビューを提示しない仮想現実デバイスを含んでよい。ＭＲ／ＶＲ生徒デバイス１３００４は、整形外科手術教育のＭＲ／ＶＲ（複合現実または仮想現実）教育コンテンツ１３００６を各生徒に提示してよい。図１２７のＭＲ教育コンテンツ１２７０６、図１２８のＭＲ教育コンテンツ１２８０６、及び図１２８のＭＲ／ＶＲ教育コンテンツ１２９０６同様、図１３０のＭＲ／ＶＲ教育コンテンツ１３００６は、本開示の他の箇所に開示の仮想コンテンツのいずれをも含んでよい。場合によっては, ＭＲ／ＶＲ生徒デバイス１３００４及び／またはＶＲ教師デバイス１３００２は、仮想要素をユーザに提示する可視化デバイスと、タッチベースの情報を同じユーザに提供する触覚デバイスの両方を含んでよい。

整形外科手術教育のＭＲ／ＶＲ教育コンテンツ１３００６は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含んでよい。３Ｄ仮想表現（例えば、人間の肩の仮想モデル、関節窩表面もしくは関節窩の仮想モデル、または、上腕骨もしくは上腕骨頭の仮想モデル）に加えて、ＭＲ／ＶＲ教育コンテンツ１３００６は、追加の仮想コンテンツを含んでよい。この追加の仮想コンテンツは、図１２７のＭＲ教育コンテンツ１２７０６に関して前述した仮想要素（または、前述した仮想要素の組み合わせ）のいずれか等、１つまたは複数の追加の仮想要素を含んでよい。

他の例と同様、任意の所与の教育的環境で使用される実際のコンテンツは、しかしながら、教育される生徒に応じて決められ得る。例えば、教育システム１３００１は、医師、医学生、技師、看護師、医師助手、または整形外科医療処置に関与し得る任意の他の人（患者、介護者、保護者、家族またはその他の人等）を教育または訓練するために使用されてよい。さらに、仮想現実（例えば、ＶＲ教師デバイス１３００２）の使用は、生徒に対して教師がリモートにいるのを可能にし得る。この例では、生徒は、複合現実または仮想現実（例えば、ＭＲ／ＶＲ生徒デバイス１３００４）のいずれかを使用して、ＶＲ教師デバイス１３００２を着用している教師と対話してよく、ＭＲ／ＶＲ教育コンテンツ１３００６を見てよい。ＭＲ／ＶＲ教育コンテンツ１３００６は、教師によって、選択、提示、または他の方法で生徒に割り当てられてよい。

図１３０の教育システム１３００１は、整形外科手術の少なくとも１つの側面をデモンストレーションできるシステムの別の例である。第１のデバイス（例えば、ＶＲ教師デバイス１３００２）は、第１のユーザ（すなわち、教師）に提示を表示するように構成することができ、ここで、提示は、第１のデバイスを着用している第１のユーザによって制御可能な１つまたは複数の仮想要素を含み、１つまたは複数の仮想要素は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む。第２のデバイス（例えば、ＭＲ／ＶＲ生徒デバイス１３００４の１つ）はまた、第２のユーザに提示を表示するように構成されてよい。１つまたは複数の仮想要素は、整形外科手術手順の少なくとも１つの側面をデモンストレーションするように、３Ｄ仮想表現に対して示される１つまたは複数の仮想術前計画要素、３Ｄ仮想表現に対して示される１つまたは複数の仮想手術ガイダンス機能、または３Ｄ仮想表現上に仮想で示された１つまたは複数の手術結果をさらに含んでよい。

第１のデバイスを着用している第１のユーザによって制御可能で、第２のデバイスを着用している第２のユーザが見ることができる１つまたは複数の仮想要素は、整形外科手術手順に関する教育を容易にし得る。例えば、ＭＲ／ＶＲ教育コンテンツ１３００６は、本明細書に記載の広範なコンテンツのいずれをも含んでよく、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含んでよい。３Ｄ仮想表現（例えば、人間の肩の仮想モデル、関節窩表面もしくは関節窩の仮想モデル、または、上腕骨もしくは上腕骨頭の仮想モデル）に加えて、ＭＲ／ＶＲ教育コンテンツ１３００６は、追加の仮想コンテンツを含んでよい。この追加の仮想コンテンツは、図１２７のＭＲ教育コンテンツ１２７０６に関して記載される仮想要素（または、組み合わせ）のいずれをも含んでよい。

図１３１は、リモート教師環境に使用し得る教育システム、例えば、教育システム１３１０１の別の概念ブロック図である。この例では、教師は、ＭＲ教師デバイス１３１０２を着用して、ＭＲ／ＶＲ教育コンテンツ１３１０６を様々な生徒に提示してよい。第１の生徒は、本開示を通して詳細に記載している可視化デバイス２１３等、ＭＲ生徒デバイス１３１０４Ａを着用してよい。第１の生徒及び教師は、物理的に同じ部屋にいて、ＭＲ体験の共有を容易にしてよい。第２の生徒は、しかしながら、教師に対してリモートに位置してよく、ＶＲ生徒デバイス１３１０４Ｂを着用して、授業練習に参加してよい。ＶＲ生徒デバイス１３１０４Ｂは、現実世界ビューを提示せず、仮想情報のみを提示してよい。場合によっては、教師及び他の生徒（例えば、ＭＲ教師デバイス１３１０２を着用している教師、及びＭＲ生徒デバイス１３１０４Ａを着用している第１の生徒）は、ＶＲ生徒デバイス１３１０４ＢのＶＲ提示にアバタとして提示されてよく、ＶＲ生徒デバイス１３１０４Ｂに関連付けられた生徒はリモートに位置しているが、生徒及び教師が全て同じ部屋にいる感覚を与える。同様に、第２の生徒も、ＭＲ教師デバイス１３１０２を着用している教師及びＭＲ生徒デバイス１３１０４Ａを着用している第１の生徒にアバタとして提示されてよい。図１３１はまた、ＭＲ／ＶＲ生徒デバイスＮ（１３１０４Ｎ）を示し、任意の数のＭＲまたはＶＲ参加者が教育セッションに存在してよいことを一般的に示す。場合によっては、ＭＲデバイスは、互いにリモートにいる参加者によって使用されてよく、その場合、ユーザは、同じ現実世界ビューを共有することなく、仮想要素のビューを共有してよい。

図１２７、図１２８、図１２９及び図１３０の例と同様、図１３１の例では、ＭＲ／ＶＲ教育コンテンツ１３１０６は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む１つまたは複数の仮想要素等、本開示の他の箇所に開示の仮想コンテンツのいずれをも含んでよい。３Ｄ仮想表現（例えば、人間の肩の仮想モデル、関節窩表面もしくは関節窩の仮想モデル、または、上腕骨もしくは上腕骨頭の仮想モデル）に加えて、ＭＲ／ＶＲ教育コンテンツ１３００６は、追加の仮想コンテンツを含んでよい。この追加の仮想コンテンツは、３Ｄ仮想表現に対して提示される１つまたは複数の仮想要素を含んでよく、図１２７のＭＲ教育コンテンツ１２７０６に関して上記の仮想要素（または、上記仮想要素の組み合わせ）のいずれをも含んでよい。また、場合によっては、生徒デバイス１３１０４及び／またはＭＲ教師デバイス１３１０２は、仮想要素をユーザに提示する可視化デバイスとタッチベースの情報をユーザに提供する触覚デバイスの両方を含んでよい。

他の例と同様、任意の所与の教育的環境で使用される実際のコンテンツは、しかしながら、教育される生徒に応じて決められ得る。例えば、教育システム１３１０１は、医師、医学生、技師、看護師、医師助手、または整形外科医療処置に関与し得る任意の他の人（患者、介護者、保護者、家族またはその他の人等）を教育または訓練するために使用されてよい。さらに、仮想現実（例えば、ＶＲ生徒デバイス１３１０４Ｂ）の使用によって、この例では、ＭＲ教師デバイス１３１０２を着用する教師に対して生徒の１人または複数がリモートにいることを可能にし得る。同時に、しかしながら、教師は、ＭＲ生徒デバイス１３１０４Ｂを着用している生徒等、任意のローカルの生徒を見て、任意のローカルの生徒と対話できてよい。

図１３１の教育システム１３１０１は、整形外科手術の少なくとも１つの側面をデモンストレーションすることができるシステムの別の例である。第１のデバイス（例えば、ＭＲ教師デバイス１３１０２）は、第１のユーザ（すなわち、教師）に提示を表示するように構成することができる。ここで、提示は、第１のデバイスを着用している第１のユーザが制御可能な１つまたは複数の仮想要素を含み、１つまたは複数の仮想要素は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む。第２のデバイス（例えば、ＭＲ生徒デバイス１３１０４ＡまたはＶＲ生徒デバイス１３１０４Ｂ）もまた、第２のユーザに提示を表示するように構成されてよい。１つまたは複数の仮想要素は、整形外科手術の少なくとも１つの側面をデモンストレーションするように、３Ｄ仮想表現に対して示される１つまたは複数の仮想術前計画要素、３Ｄ仮想表現に対して示される１つまたは複数の仮想手術ガイダンス機能、または３Ｄ仮想表現上に仮想で示された１つまたは複数の手術結果をさらに含んでよい。

第１のデバイスを着用している第１のユーザによって制御可能で、第２のデバイスを着用している第２のユーザが見ることができる１つまたは複数の仮想要素は、整形外科手術に関する教育を容易にし得る。ＭＲ教育コンテンツ１３１０６は、第１のデバイス（例えば、ＭＲ教師デバイス１３１０２）を着用している第１のユーザが制御可能であり、第２のデバイス（例えば、ＭＲ生徒デバイス１３１０４ＡまたはＭＲ生徒デバイス１３１０４Ｂ）を着用している第２のユーザが見ることができる１つまたは複数の仮想要素を含んでよい。

図１３２及び図１３３は、整形外科手術教育の複合現実及び仮想現実を使用する他の教育システム１３２０１及び１３３０１の概念ブロック図である。図１３２の例では、複数の教師が、ＭＲ／ＶＲ教師デバイス１３２０２Ａ及び１３２０２Ｂ～１３２０２Ｎ（集合的に、ＭＲ／ＶＲ教師デバイス１３２０２）を着用する。さらに、図１３２の例では、複数の生徒が、ＭＲ／ＶＲ生徒デバイス１３２０４Ａ及び１３２０４Ｂ～１３２０４Ｎ（集合的に、ＭＲ／ＶＲ生徒デバイス１３２０４）を着用する。この例では、参加者（教師または生徒）のいずれも、複合現実または仮想現実を使用して、授業セッションに参加してよい。言い換えると、ＭＲ／ＶＲ教師デバイス１３２０２及びＭＲ／ＶＲ生徒デバイス１３２０４のいずれもが、可視化デバイス２１３等の複合現実デバイスを含んでよい、あるいは、ＭＲ／ＶＲ教師デバイス１３２０２及びＭＲ／ＶＲ生徒デバイス１３２０４は、仮想情報のみを提示する仮想現実デバイスを含んでよい。この場合、複合現実デバイスを着用しているユーザに提示される現実世界情報は、仮想現実デバイスを着用しているユーザに仮想情報として提示されてよい。さらに、複合現実デバイスを着用しているＭＲユーザは、仮想現実デバイスを着用しているＶＲユーザにアバタとして提示されてよく、仮想現実デバイスを着用しているＶＲユーザは、複合現実デバイスを着用しているＭＲユーザにアバタとして提示されてよい。

図１３３の例は、図１３２の例に幾分、類似している。図１３３の例では、第１の教師は、ＭＲ教師デバイス１３３０２Ａを着用し、第２の教師は、ＶＲ教師デバイス１３３０２Ｂを着用する。さらに、図１３３の例では、第１の生徒は、ＭＲ生徒デバイス１３３０４Ａを着用し、第２の生徒は、ＶＲ生徒デバイス１３３０４Ｂを着用する。追加の教師または生徒も、ＭＲ／ＶＲ教師デバイスＮ（１３３０２Ｎ）及びＭＲ／ＶＲ生徒デバイスＮ（１３３０４Ｎ）によって一般的に示されるように、複合現実または仮想現実を使用して参加していてよい。一般に、任意のＭＲデバイス（例えば、ＭＲ教師デバイス１３３０２Ａ及びＭＲ生徒デバイス１３３０４Ｂ）は、複合現実を使用し、任意のＶＲデバイス（例えば、ＶＲ教師デバイス１３３０２ＢまたはＶＲ生徒デバイス１３３０４）は、仮想現実を使用する。

図１３３に示す例によると、複合現実デバイス（ＭＲ教師デバイス１３３０２Ａ及びＭＲ生徒デバイス１３３０４Ａ等）を着用しているユーザが見る現実世界情報または物体は、仮想現実デバイス（ＶＲ教師デバイス１３３０２Ｂ及びＶＲ生徒デバイス１３３０４Ｂ等）を着用しているユーザに仮想情報として提示されてよい。例えば、ＭＲ教師デバイス１３３０２Ａのユーザは、現実世界の物体（死体等）を見てよく、その現実世界の物体は、ＶＲデバイス（ＶＲ教師デバイス１３３０２Ｂ及びＶＲ生徒デバイス１３３０４Ｂ等）に仮想物体として提示されてよい。さらに、複合現実デバイスを着用しているＭＲユーザは、仮想現実デバイスを着用しているＶＲユーザにアバタとして提示されてよく、仮想現実デバイスを着用しているＶＲユーザは、複合現実デバイスを着用しているＭＲユーザにアバタとして提示されてよい。

図１２７、図１２８、図１２９、図１３０及び図１３１に示す他の例と同様、図１３２及び図１３３の例では、ＭＲ／ＶＲ教育コンテンツ１３２０６または１３３０６は、本開示の他の箇所に開示の仮想コンテンツのいずれをも含んでよい。例えば、ＭＲ／ＶＲ教育コンテンツ１３２０６は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む１つまたは複数の仮想要素等、本明細書に記載の多種多様なコンテンツのいずれをも含んでよい。３Ｄ仮想表現（例えば、人間の肩の仮想モデル、関節窩表面もしくは関節窩の仮想モデル、または、上腕骨もしくは上腕骨頭の仮想モデル）に加えて、ＭＲ／ＶＲ教育コンテンツ１３２０６は、追加の仮想コンテンツを含んでよい。この追加の仮想コンテンツは、図１２７のＭＲ教育コンテンツ１２７０６に関して前述された仮想要素（または、前述された仮想要素の組み合わせ）のいずれをも含んでよい。また、場合によっては、生徒デバイス１３３０４、１３４０４及び／または教師デバイス１３３０２、１３４０２はそれぞれ、仮想要素をユーザに提示する可視化デバイスと、タッチベースの情報をユーザに提供する触覚デバイスの両方を含んでよい。

ここでも、任意の所与の教育的環境で使用される実際のコンテンツは、しかしながら、教育される生徒に応じて決められ得る。例えば、教育システム１３２０１または１３３０１は、医師、医学生、技師、看護師、医師助手、または整形外科医療処置に関与し得る任意の他の人（患者、介護者、保護者、家族またはその他の人等）を教育または訓練するために使用されてよい。さらに、仮想現実（例えば、ＶＲ教師デバイス１３３０２ＢまたはＶＲ生徒デバイス１３３０４Ｂ）の使用によって、生徒及び教師の１人または複数が互いに対してリモートにいるのを可能にし得る。同時に、複合現実（例えば、ＭＲ教師デバイス１３３０２ＡまたはＭＲ生徒デバイス１３３０４Ａ）の任意のユーザが、複合現実を使用して、他のローカル参加者を見ることができてよく、他のローカル参加者と対話できてよい。

図１３２の教育システム１３２０１は、整形外科手術の少なくとも１つの側面をデモンストレーションできるシステムの別の例である。第１のデバイス（例えば、ＭＲ／ＶＲ教師デバイス１３２０２の１つ）は、第１のユーザ（すなわち、教師）に提示を表示するように構成することができ、ここで、提示は、第１のデバイスを着用している第１のユーザによって制御可能な１つまたは複数の仮想要素を含み、１つまたは複数の仮想要素は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む。第２のデバイス（例えば、ＭＲ／ＶＲ生徒デバイス１３２０４の１つ）もまた、第２のユーザに提示を表示するように構成されてよい。１つまたは複数の仮想要素は、整形外科手術の少なくとも１つの側面をデモンストレーションするように、３Ｄ仮想表現に対して示される１つまたは複数の仮想術前計画要素、３Ｄ仮想表現に対して示される１つまたは複数の仮想手術ガイダンス機能、または、３Ｄ仮想表現上に仮想で示された１つまたは複数の手術結果をさらに含んでよい。

第１のデバイスを着用している第１のユーザによって制御可能で、第２のデバイスを着用している第２のユーザが見ることができる１つまたは複数の仮想要素は、整形外科手術に関する教育を容易にし得る。ＭＲ教育コンテンツ１３２０６は、第１のデバイス（例えば、ＭＲ／ＶＲ教師デバイス１３２０２の１つ）を着用している第１のユーザによって制御可能であり、第２のデバイス（例えば、ＭＲ／ＶＲ生徒デバイス１３２０４の１つ）を着用している第２のユーザが見ることができる１つまたは複数の仮想要素を含んでよい。

図１３３の教育システム１３３０１は、整形外科手術の少なくとも１つの側面をデモンストレーションできるシステムの別の例である。第１のデバイス（例えば、ＭＲ教師デバイス１３３０２ＡまたはＶＲ教師デバイス１３３０２Ｂ）は、第１のユーザ（すなわち、教師）に提示を表示するように構成することができ、ここで、提示は、第１のデバイスを着用している第１のユーザが制御可能な１つまたは複数の仮想要素を含み、１つまたは複数の仮想要素は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む。第２のデバイス（例えば、ＭＲ生徒デバイス１３３０４ＡまたはＶＲ生徒デバイス１３３０４Ｂ）もまた、第２のユーザに提示を表示するように構成されてよい。１つまたは複数の仮想要素は、整形外科手術の少なくとも１つの側面をデモンストレーションするように、３Ｄ仮想表現に対して図示または例示される１つまたは複数の仮想術前計画要素、３Ｄ仮想表現に対して図示または例示される１つまたは複数の仮想手術ガイダンス機能、または３Ｄ仮想表現上に仮想で示された１つまたは複数の手術結果をさらに含んでよい。

第１のデバイスを着用している第１のユーザによって制御可能で、第２のデバイスを着用している第２のユーザが見ることができる１つまたは複数の仮想要素は、整形外科手術に関する教育を容易にし得る。ＭＲ教育コンテンツ１３３０６は、第１のデバイス（例えば、ＭＲ教師デバイス１３３０２ＡまたはＶＲ教師デバイス１３３０２Ｂ）を着用している第１のユーザによって制御可能であり、第２のデバイス（例えば、ＭＲ生徒デバイス１３３０４ＡまたはＶＲ生徒デバイス１３３０４）を着用している第２のユーザが見ることができる１つまたは複数の仮想要素を含んでよい。様々な例において、１つまたは複数の仮想要素は、図１２７のＭＲ教育コンテンツ１２７０６に関して前述した仮想要素（または、前述した仮想要素の組み合わせ）のいずれをも含んでよい。

図１３４は、整形外科手術教育に複合現実及び／または仮想現実を使用する教育システム、例えば、教育システム１３４０１の別の概念ブロック図である。図１３４の例では、教師は、ＭＲ／ＶＲ教師デバイス１３４０２を着用し、複数の生徒が、ＭＲ／ＶＲ生徒デバイス１３４０４Ａ及び１３４０４Ｂ～１３４０４Ｎ（集合的に、ＭＲ／ＶＲ生徒デバイス１３４０４）を着用する。この例では、参加者（教師または生徒）のいずれもが、複合現実または仮想現実を使用して、授業セッションに参加してよい。言い換えると、ＭＲ／ＶＲ教師デバイス１３４０２及びＭＲ／ＶＲ生徒デバイス１３４０４のいずれもが、可視化デバイス２１３等の複合現実デバイスを含んでよい、あるいは、ＭＲ／ＶＲ教師デバイス１３４０２及びＭＲ／ＶＲ生徒デバイス１３４０４は、仮想情報のみを提示する仮想現実デバイスを含んでよい。この場合、複合現実デバイスを着用しているユーザに提示される現実世界情報は、仮想現実デバイスを着用しているユーザに仮想情報として提示されてよく、仮想情報は、ＭＲデバイスのユーザが見た現実世界の物体に基づいてよい。ＭＲ／ＶＲ教育コンテンツ１３４０６は、図１２７～図１３３または本開示の他の箇所に記載する教育コンテンツのいずれか等、本開示の他の箇所に開示される仮想コンテンツのいずれをも含んでよい。さらに、図１３４に示す例では、ＭＲ／ＶＲ教育コンテンツ１３４０６は、図１３４に教師モデル１３４０８と生徒モデル１３４０５Ａ及び１３４０５Ｂ～１３４０５Ｎ（集合的に、生徒モデル１３４０５と呼ばれる）として示される、生徒及び教師が使用及び操作する複数の様々な仮想モデルを含んでよい。生徒及び教師用の別々の仮想モデルは、仮想モデルの生徒及び教師用コピー（例えば、人間の肩の３Ｄ仮想モデルの生徒及び教師用コピー、人間の肩のセグメントの３Ｄ仮想モデルの生徒及び教師用コピー、上腕骨頭の３Ｄ仮想図の生徒及び教師用コピー、または、関節窩の３Ｄ仮想図の生徒及び教師用コピー）等、仮想コンテンツを含んでよい。さらに、仮想の生徒及び教師コンテンツは、このような仮想モデル１３４０８及び１３４０５に対して提示される追加の仮想要素を含んでよい。

教育システム１３４０１は、整形外科手術の少なくとも１つの側面をデモンストレーションする時に有用であり得る。システム１３４０１は、第１のユーザに提示を表示するように構成された第１のデバイス（例えば、ＭＲ／ＶＲ教師デバイス１３４０２）を含んでよく、ここで、提示は、解剖学的要素の３Ｄ仮想図の形態の教師モデル１３４０８を含み、教師モデル１３４０８は、第１のデバイスを着用している第１のユーザ（すなわち、教師）によって制御可能である。システム１３４０１は、第２のユーザ（例えば、生徒の１人）に提示を表示するように構成された第２のデバイス（例えば、ＭＲ／ＶＲ生徒デバイス１３４０４の１つ）をさらに含んでよく、ここでも、提示は、解剖学的要素の追加の３Ｄ仮想図の形態の生徒モデル１３４０５の１つであり、生徒モデル（モデル１３４０５の１つ）は、第１のデバイスを着用している第２のユーザ（すなわち、生徒の１人）によって制御可能である。

解剖学的要素の３Ｄ仮想図に加えて、教師モデル１３４０８は、整形外科手術の少なくとも１つの側面をデモンストレーションする追加の仮想要素（図１２７～図１３３に関して前述した仮想要素の１つまたは複数等）を含んでよい。さらに、生徒モデル１３４０５Ａ、１３４０５Ｂまたは１３４０５Ｎは、このような追加の仮想要素（図１２７～図１３３に関して前述した仮想要素の１つまたは複数のような）を同様に含んでよい。言い換えると、追加の仮想要素は、生徒モデル１３４０５Ａ、１３４０５Ｂまたは１３４０５Ｎ及び教師モデル１３４０８に対して提示されてよく、このような仮想要素は、図１２７のＭＲ教育コンテンツ１２７０６に関して前述された仮想要素（または、前述された仮想要素の組み合わせ）、または、本開示の他の箇所に記載される仮想要素等、本開示の他の箇所に開示及び記載される仮想要素のいずれかを含んでよい。また、いくつかの例では、ＭＲ／ＶＲ生徒デバイス１３４０４及び／またはＭＲ／ＶＲ教師デバイス１３４０２は、仮想要素をユーザに提示する可視化デバイスとタッチベースの情報をユーザに提供する触覚デバイスの両方を含んでよい。

異なる生徒に対する別個の仮想モデルの使用は、整形外科手術教育には非常に有用であり得る。いくつかの例では、教師モデル１３４０８は、解剖学的特徴の仮想モデルを含んでよく、解剖学的特徴の仮想モデルは、実際の骨または軟組織モデル（骨の人工モデル、または死体の実際の骨等）へ位置合わせされてよい。同様に、いくつかの例では、生徒モデル１３４０５は、解剖学的特徴の仮想モデルを含んでよく、解剖学的特徴の仮想モデルは、対応する物理的モデルまたは死体の骨へ位置合わせされてよい。他の例では、しかしながら、教師モデル１３４０８及び生徒モデル１３４０５は、物理的モデルも死体も必要無く、教育に使用されてよい。仮想モデルが実際の物理的モデルまたは死体へ位置合わせされている場合、典型的に、ＭＲを使用して、実際の物理的モデルまたは死体を含む現実世界ビューと共に仮想要素（仮想モデル等）を組み合わせてよい。

ＭＲ／ＶＲ教師デバイス１３４０２を着用している教師は、ガイダンス及び指示を生徒に提供するように教師モデル１３４０９を操作してよい。生徒は次に、教師の例及び指導に基づいて生徒モデル１３４０５を適切に操作するように試みてよい。ＭＲ／ＶＲ教師デバイス１３４０２を着用している教師は、ＭＲ教師デバイス１３４０２を介して各生徒モデル１３４０５を見ることができる。ＭＲ生徒デバイス１３４０４を着用している生徒は、そのデバイスに対応する生徒モデルを見ることができてよい（例えば、生徒デバイス１（１３４０４Ａ）は、生徒モデル１３４０５Ａを見ることができてよく、生徒デバイス２（１３４０４Ｂ）は、生徒モデル１３４０５Ｂを見ることができてよい）。いくつかの場合には、生徒デバイス１３４０４は、他の生徒に関連付けられた生徒モデルを見ることができてよく、他の場合には、生徒デバイス１３４０４は、他の生徒の生徒モデルを見ることができない場合がある。いずれの場合でも、教師及び生徒に仮想モデルの異なるコピーを使用することは、各生徒が対応する仮想コンテンツに対して自分で操作するのを可能にすることによって、整形外科手術教育に非常に有用となり得る。操作は、仮想３Ｄ要素の回転、サイズ変更、位置変更、または他の動き等、本明細書に記載の制御のいずれかを含んでよい。さらに、操作は、インプラントの選択、インプラントサイズ、手術タイプ、肩タイプ、肩分類、または他の選択等、手術計画選択を含んでよい。また、操作は、術前、術中、または術後のアニメーションを有効にすること、または無効にすることを含んでよい。任意のタイプの仮想コントロール、動き、または仮想選択は、仮想コンテンツの操作と見なされてよい。場合によっては、生徒及び／または教師は、教師モデル１３４０８を生徒モデル１３４０５の１つまたは複数と比較して、生徒が正確なステップを行っているかどうかを評価してよく、生徒コンテンツ１３４０５の操作を訂正してよい。

ＭＲ／ＶＲ生徒デバイス１３４０４は、ジェスチャ、注視ベースコントロール、音声入力、このような仮想コントロールの組み合わせ、または複合現実に有用な任意の制御技術等を介して、仮想コントロールを通して生徒の各生徒モデル１３４０５を生徒が操作及び制御するのを可能にし得る。また、手動キーパッド入力、タッチスクリーン入力、ポインタコントロール、または他のタイプのコントロールを生徒が使用して、各生徒モデル１３４０５を操作してよい。同様に、ＭＲ／ＶＲ教師デバイス１３４０２は、生徒が教師モデル１３４０８を操作及び制御するのを可能にし得る。

上記のように、教師モデル１３４０８及び生徒モデル１３４０５は、例示の関節窩骨または例示の上腕骨の仮想モデル等、解剖学的特徴の仮想モデルを含んでよい。さらに、教師モデル１３４０８及び生徒コンテンツ１３４０５は、解剖学的特徴に対して行われ得る手術ステップを支援するように設計された追加の仮想コンテンツを含んでよい。例えば、各コンテンツは、手術ガイダンス情報、位置合わせコンテンツ、仮想の軸、平面もしくはマーカ、仮想ジグ、手術用ツールに関する仮想ガイダンス、仮想インプラント、仮想ワークフロー情報、仮想可動域情報、仮想手術アニメーション、または他の仮想情報を含んでよい。ＭＲ／ＶＲ生徒デバイス１３４０４を使用して、各生徒は、例えば、手術ステップの実行、手術準備、位置合わせ、ドリルによる穴開けもしくはリーミングのための軸設定、切断面の設定、仮想ジグの配置、ツールの選択、仮想インプラントの配置、仮想ワークフローの選択、選択が可動域に与える影響を見ること等、自分の各生徒モデルを操作することが可能にされてよい。ＭＲ／ＶＲ教師デバイス１３４０２を着用している教師は、教師モデル１３４０８に関する教示のための例を提供してよく、ＭＲ／ＶＲ生徒デバイス１３４０４を着用している生徒は、教師が行ったステップを、生徒自身の各生徒コンテンツ（１３４０５Ａ、１３４０５Ｂまたは１３４０５Ｎ）を使用して、まねるように試みる。このような「実際に操作できる」訓練は、生徒を有効に組織し、スケジュールし、訓練するために非常に役立ち得る。モデル（ならびに、仮想可動域情報によって示される等の結果）は比較されて、教師モデル１３４０８での教師の操作の効力及び有効性に対して各生徒モデル１３４０５の生徒の操作の効力及び有効性を評価することができる。

図１３４に示す生徒モデル及び教師モデルはまた、手術計画と、手術決定もしくは選択に焦点を当てた教育設定で非常に有用であり得る。異なる生徒は、手術タイプ（例えば、解剖学的関節形成か逆肩関節形成か）を選択してよい、または、異なるサイズの手術用ツール、または異なるサイズの外科用インプラントの間で選択を行ってよい。教師は、教師モデル１３４０２を使用して、教示ガイダンスと指導を行ってよく、生徒の選択と結果は、生徒モデル１３４０５を観察及び批評することによって、教師が評価することができる。

図１４８は、仮想教師モデルと複数の生徒モデルを示す概念図であり、いくつかの例では図１３４に示す教師モデル及び生徒モデルに対応し得る。ここでも、図１４８は、肩モデルの例を示すが、類似の教育技術が、足首等、他の関節に使用されてよく、この場合、教師及び生徒が使用するモデルは、足首、または足首の一部の３Ｄ仮想モデルとなる。図１４８に示すように、ＭＲまたはＶＲデバイスを使用して、教師は、ジェスチャ、注視ベースコントロール、音声入力、または複合現実もしくは仮想現実で有用な任意の制御技術を介して等、仮想コントロールを通して教師モデル１４８０１を見て、操作することができる。また、手動キーパッド入力、タッチスクリーン入力、ポインタコントロール、任意の仮想制御機構の組み合わせ、または他のタイプのコントロールを教師が使用して、教師モデル１４８０１を操作してよい。ＭＲまたはＶＲデバイスを使用して、例えば、教師は、教師モデル１４８０１を空間で、回転、サイズ変更、位置変更、または他の方法で動かしてよい。さらに、教師は、肩関節窩内での骨の解剖学的動きを見せてよい。例示の教師モデル１４８０１は、肩のインプラントコンポーネント１４８０３の仮想３Ｄ表現を示す仮想要素と、肩のインプラントコンポーネント１４８０３によって引き起こされる可能性の高いインピンジメント点１４８０５を示す仮想要素と併せて、肩の３Ｄモデルを含む。教師は、仮想上腕骨を関節窩に対して回転させて、肩の動きを見せることができてよい。教師はまた、セグメント化されてよい異なる図示の要素のビューを有効または無効のすることができてよい。図１４８は、インプラントを有する肩の図の形態でモデルを示すが、任意のタイプの解剖学的要素、仮想手術計画、または仮想結果が、整形外科手術に関する教育を達成するために、本開示による教師モデル及び生徒モデルとして提示されてよい。

教師モデル１４８０１を操作及び制御する教師の能力と同じように、ＭＲまたはＶＲデバイスを使用して、生徒は、仮想コントロール、ジェスチャ、注視ベースコントロール、音声入力、手動キーパッド入力、タッチスクリーン入力、ポインタコントロール、このような仮想コントロールの組み合わせ、または複合現実または仮想現実で有用な任意の制御技術を介して、生徒モデル１４８０２Ａ、１４８０２Ｂ及び１４８０２Ｎ（集合的に、生徒モデル１４８０２）を操作することができる。教師と同じように、例えば、生徒は、生徒モデル１４８０２を空間で、回転、サイズ変更、位置変更、または他の方法で動かしてよい。さらに、生徒は、生徒モデル１４８０２の異なるコンポーネントまたはセグメント化のビューを有効または無効にしてよい、肩を動かしてよい、インプラント１４８０４Ａ、１４２０４Ｂ及び１４２０４Ｎのビューを有効または無効にしてよい、他のインプラントを提示してよい、インピンジメント１４８０６Ａ、１４８０６Ｂ及び１４８０６Ｎのビューを有効または無効にしてよい、または、他の方法で生徒モデル１４８０２を操作してよい。ここでも、図１４８に示すモデルは、例示の教師モデル１４８０１及び生徒モデル１４８０２を形成するいくつかの特定の仮想要素である。本開示は、本開示を通して記載する３Ｄモデルのいずれかを含むが、それらに限らない整形外科手術教育に有用であり得る広範な３Ｄモデルを企図する。図１３４及び図１４８によると、教師及び生徒の異なるモデルの提示及び使用は、整形外科手術、整形外科手術計画、及び、予測される結果に関して生徒を教育するのに非常に有用であり得る。

図１３５は、整形外科手術教育の複合現実及び／または仮想現実を使用する教育システム、例えば、教育システム１３５０１の別の概念ブロック図である。図１３５の例では、教師は、ＭＲ／ＶＲ教師デバイス１３５０２を着用し、複数の生徒は、ＭＲ／ＶＲ生徒デバイス１３５０４Ａ及び１３４０５Ｂ～１３４０５Ｎ（集合的に、ＭＲ／ＶＲ生徒デバイス１３５０４）を着用する。この例では、参加者（教師または生徒）のいずれも、複合現実または仮想現実を使用して、授業セッションに参加してよい。言い換えると、ＭＲ／ＶＲ教師デバイス１３５０２及びＭＲ／ＶＲ生徒デバイス１３５０４のいずれもが、可視化デバイス２１３等の複合現実デバイスを含んでよい、あるいは、ＭＲ／ＶＲ教師デバイス１３５０２及びＭＲ／ＶＲ生徒デバイス１３５０４は、仮想情報のみを提示する仮想現実デバイスを含んでよく、この場合、複合現実デバイスを着用しているユーザに提示される現実世界情報は、仮想現実デバイスを着用しているユーザに仮想情報として提示されてよい。ＭＲ／ＶＲ教育コンテンツ１３５０６は、図１２７～図１３３に関して、または本開示の他の箇所に記載される教育コンテンツのいずれか等、本開示の他の箇所に開示の仮想コンテンツのいずれを含んでもよい。また、場合によっては、ＭＲ／ＶＲ生徒デバイス１３５０４及び／またはＭＲ／ＶＲ教師デバイス１３５０２は、仮想要素をユーザに提示する可視化デバイスとタッチベースの情報をユーザに提供する触覚デバイスの両方を含んでよい。

図１３５に示す例では、ＭＲ教育コンテンツ１３４０６は、割当可能なモデル１３５０８を含んでよい。例えば、ＭＲ／ＶＲ教師デバイス１３５０２を着用している教師は、割当可能なモデル１３５０８を制御してよく、一般的なまたは特定の操作権を１人または複数の生徒に割り当てることができてよく、１人または複数の生徒は、操作権を割り当てられると、割当可能なモデル１３５０８を制御及び操作できる。従って、この例では、別個の教師モデル及び生徒モデルを用いずに、１つの割当可能なモデル１３５０８が、複合現実または仮想現実提示で提示される。ＭＲ／ＶＲ教師デバイス１３５０２を使用して、教師は、割当可能なモデル１３５０８を操作することができ、必要に応じて、教師は、割当可能なモデル１３５０８の制御をＭＲ／ＶＲ生徒デバイス１３５０４の１つに関連付けられた生徒に割り当ててよい。いくつかの場合には、教師は、割当可能なモデル１３５０８の完全な制御権を提供してよく、他の場合には、限られた操作権のみが生徒に割り当てられてよい。例えば、場合によっては、教師は、インプラントを選択する権利、または、一部の他の術前、術中、または術後の選択を行う権利を生徒に割り当ててよいが、仮想モデルの移動、整列、またはサイズ変更の能力は、生徒に割り当てられず、教師が保持してよい。このような限定的な操作権の割当は、同じ３Ｄ仮想モデルを見ている複数の生徒がいる教育環境には特に有用であり得る。

教育システム１３５０１は、整形外科手術の少なくとも１つの側面をデモンストレーションする時、有用であり得る。システム１３５０１は、第１のユーザ（すなわち、教師）に提示を表示するように構成された第１のデバイス（例えば、ＭＲ／ＶＲ教師デバイス１３５０２）を含んでよく、ここで、提示は、１つまたは複数の割当可能な仮想要素（例えば、割当可能なモデル１３５０８）を含む。システム１３５０１は、第２のユーザ（すなわち、生徒の１人）に提示を表示するように構成された第２のデバイス（例えば、ＭＲ／ＶＲ生徒デバイス１３５０４の１つ）をさらに含んでよい。この例によると、１つまたは複数の割当可能な仮想要素（例えば、割当可能なモデル１３５０８）は、整形外科手術の少なくとも１つの側面をデモンストレーションし、１つまたは複数の仮想要素の制御は、第１のデバイス（例えば、ＭＲ／ＶＲ教師デバイス１３５０２）から第２のデバイス（例えば、ＭＲ／ＶＲ生徒デバイス１３５０４の１つ）に割当可能である。割当可能なモデル１３５０８は、例えば、肩もしくは肩の一部、他の３Ｄ仮想表現のいずれか、または本明細書に記載の仮想モデル等、１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含んでよい。

割当可能なモデル１３５０８は、教育環境に有用であり得る。ＭＲ／ＶＲ教師デバイス１３５０２を着用している教師は、割当可能なモデル１３５０８を操作して、ガイダンス及び指示を生徒に提供してよい。ＭＲ／ＶＲ教師デバイス１３５０２を使用して、教師は次に、割当アイコンを選択して、または、注視及び／またはハンドジェスチャを使用して、割り当てられる生徒を識別すること等によって、割当可能なモデル１３５０８の操作権をＭＲ／ＶＲ生徒デバイス１３５０４を着用している１人または複数の生徒に割り当ててよい。操作権が１人または複数の生徒に割り当てられると、生徒（複数可）は、割当可能なモデル１３５０８を操作できてよい。ＭＲ／ＶＲ教師デバイス１３５０２を着用している教師、及びＭＲ／ＶＲ生徒デバイス１３５０４を着用している各生徒は、割当可能なモデル１３５０８を見ることができてよいが、教師によって操作権を与えられた生徒（または、限定的な操作権または操作権のサブセットを与えられた生徒）のみが、割当可能なモデル１３５０８を制御及び操作することができる。操作権を生徒に割り当てると、生徒による操作及び制御が、クラス全体に見えるようになってよい、または、場合によっては、教師デバイスと操作権を与えられた生徒の生徒デバイスとからだけ見えてよい。

割当可能なモデル１３５０８の割当可能な制御は、生徒が、教師及び他の生徒のガイダンスの下、割当可能なモデルに対する操作を行うのを可能にすることによって、整形外科手術教育に非常に有用であり得る。これは、クラスが見ている中で、異なる生徒が割当可能なモデル１３５０８を操作するチャンスを与えられる、グループ授業練習をもたらし得る。

本明細書に記載の他の例と同様、割当可能なモデル１３５０８は、例示の関節窩骨もしくは例示の上腕骨、または肩全体の仮想モデル等、解剖学的特徴の仮想モデルを含んでよい。さらに、割当可能なモデル１３５０４は、解剖学的特徴に対して行い得る手術計画、手術ステップまたは術後分析を支援するように設計された追加の仮想コンテンツを含んでよい。例えば、割当可能なモデル１３５０８は、図１２７のＭＲ教育コンテンツ１２７０６に関して前述した仮想要素（または、前述した仮想要素の組み合わせ）のいずれをも含んでよい。

ＭＲ／ＶＲ生徒デバイス１３５０４を使用して、ＭＲ／ＶＲ教師デバイス１３５０２が制御を許可すると、生徒（複数可）は、クラスの前で、割当可能なモデル１３５０８の操作、例えば、手術ステップ、手術準備、位置合わせ、ドリルによる穴開けもしくはリーミングのための軸設定、切断面の設定、仮想ジグの配置、ツールの選択、仮想インプラントの配置、仮想ワークフローの選択、選択が可動域に与える影響を見ること等の実行を許可されてよい。ＭＲ／ＶＲ教師デバイス１３４０２を着用している教師は、生徒を効果的に訓練するように教示ガイダンスを提供し得る。割当可能なモデル１３５０８は、各所与の生徒の操作が完了及び分析された後、ＭＲ／ＶＲ教師デバイス１３５０２によってリセットされてよい。（仮想可動域情報等によって示される）結果は、割当可能なモデル１３５０８に対する生徒の操作の効力及び有効性を割当可能なモデル１３５０８に対する他の生徒の操作の効力及び有効性に対して評価して、生徒間で比較することができる。

場合によっては、割当可能なモデル１３５０８を割り当てる行為は、クラスで生徒に発言を求めることに似ている。ＭＲ／ＶＲ教師デバイス１３５０２を着用している教師は、ＭＲ／ＶＲ教師デバイス１３５０２のユーザインタフェースから「割当」ウィジェットを選択することによって、または、ハンドジェスチャ、注視ベース選択、または、これらの選択技術の組み合わせを使用すること等によって、ユーザコントロールまたは編集権を所与の生徒に許可してよい。場合によっては、ＭＲ／ＶＲ教師デバイスを着用している教師は、割当可能なモデル１３５０８への制御と、割当可能なモデル１３５０８を操作する能力とを維持する。同時に、しかしながら、ＭＲ／ＶＲ教師デバイスを着用している教師は、１人または複数の生徒にアクセスを許可してよく、その結果、１人または複数の生徒は、仮想クラスの前で、ステップまたは手順を割当可能なモデル１３５０８に対して行うことができる。

いくつかの例では、整形外科手術に関する教育で教師を支援するように構成された可視化デバイス２１３は、１つまたは複数の仮想要素を生成するように構成された１つまたは複数のプロセッサ５１４を含んでよく、ここで、１つまたは複数の仮想要素は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現と画面５２０とを含み、画面５２０は、１つまたは複数の仮想要素を複合現実提示の一部として、教師が１人または複数の生徒に提示するように構成された透明の複合現実ディスプレイ画面（シースルーのホログラフィックレンズ等）を含んでよい。複合現実提示は、他の可視化デバイスを着用している１人または複数の生徒の整形外科手術に関する教示を促進するように構成され、ここで、プロセッサ５１４は、１つまたは複数の仮想要素を制御するように構成され、プロセッサ５１４は、１つまたは複数の仮想要素の制御を他の可視化デバイスの他のユーザの１人に割り当てるようにさらに構成される。場合によっては、プロセッサ５１４は、教師からの入力に応答して、生徒に制御を割り当ててよい。他の例では、プロセッサ５１４は、１人または複数の生徒からの入力に基づいて、（生徒が着用する）他の可視化デバイスの１つに制御を割り当てるように構成されてよく、（生徒が着用する）他の可視化デバイスは、教師が着用する可視化デバイス２１３に入力を通信する。

様々な例において、プロセッサ５１４によって生成された１つまたは複数の仮想要素は、図１２７のＭＲ教育コンテンツ１２７０６に関して前述した仮想要素（または、前述した仮想要素の組み合わせ）のいずれをも含んでよい。

いくつかの例では、可視化デバイス２１３は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む１つまたは複数の仮想要素を生成してよく、整形外科手術に関する教育のために１つまたは複数の仮想要素を制御するユーザ入力を受信してよく、仮想要素の少なくとも一部の制御を他のデバイスに割り当てるユーザ入力を受信してよい。例として、１つまたは複数の解剖学的特徴の仮想表現は、人間の肩の３Ｄ仮想モデル、または上腕骨頭の３Ｄ仮想図、または関節窩の３Ｄ仮想図を含んでよく、１つまたは複数の仮想要素を制御するユーザ入力を受信することは、可視化デバイス２１３が教師によって制御されることと、３Ｄ仮想表現に対する手術計画の１つまたは複数のステップを提示することとを含んでよい。次いで、ユーザ入力を受信した後、可視化デバイス２１３は、仮想要素の少なくともいくつかの制御を他のデバイスに割り当ててよく、３Ｄ仮想表現に対する手術計画の１つまたは複数のステップを調整する他のデバイス（例えば、生徒デバイス）からの追加の入力を受信してよい。

図１３６は、本開示による、可視化デバイスが実行し得る一般的な教育技術を示すフロー図である。可視化デバイスは、本開示に詳細に記載される可視化デバイス２１３を含んでよく、患者、外科医、医師、医学生、技師、看護師、医師助手、患者の親類、研究者、または整形外科医療処置に関する教育を望み得る任意の他の人等、任意のタイプの生徒によって着用されてよい。

図１３６に示すように、可視化デバイス２１３は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む１つまたは複数の仮想要素を提示する（１３６０１）。例えば、可視化デバイス２１３を着用している人は、仮想の肩モデル、関節窩モデル、上腕骨モデル、または他の解剖学的３Ｄモデル等、患者の解剖学的特徴の仮想モデルを見てよい。可視化デバイス２１３は次に、整形外科手術の少なくとも１つの側面を、可視化デバイス２１３を着用している人に対してデモンストレーションしてよい（１３６０２）。ある場合には、１つまたは複数の仮想要素を可視化デバイス２１３に提示する行為（１３６０１）は、整形外科手術の少なくとも１つの側面をデモンストレーションするように、ユーザにとって教育的なものであり得る（１３６０２）。他の場合には、整形外科手術の少なくとも１つの側面を可視化デバイス２１３でデモンストレーションするステップ（１３６０２）は、可視化デバイス２１３上の１つまたは複数の仮想要素の何らかのタイプの変更または操作を伴ってよい。このような場合では、可視化デバイス２１３上の１つまたは複数の仮想要素のこれらの変更または操作は、異なる可視化デバイスまたは仮想現実デバイスを着用している教師によるアニメーション、可視化、または、場合によってはデモンストレーションを含んでよい。可視化デバイス２１３を着用している生徒は、教師によって行われるこのようなアニメーション、可視化、または、デモンストレーションを見てよく、可視化デバイス２１３に提示される１つまたは複数の仮想要素の支援で、生徒は、手術の１つまたは複数の側面に関する教育を受けることができる。

３Ｄ仮想表現を提示することに加えて、例として、１つまたは複数の仮想要素を提示する行為（１３６０１）は、仮想の術前計画情報を提示すること、仮想術中手術ガイダンス情報を提示すること、または術後分析を提示することをさらに含んでよい。可視化デバイス２１３は、図１２７のＭＲ教育コンテンツ１２７０６に関して前述した仮想要素（または、前述した仮想要素の組み合わせ）のいずれかを含む１つまたは複数の仮想要素を提示するように構成されてよい。可視化デバイス２１３によって提示されたこの仮想情報は、術前計画または術前計画の一部をデモンストレーションすること、術中手術ステップをデモンストレーションすること、または、術前、術中もしくは術後の分析を提供すること等によって、整形外科手術の少なくとも１つの側面のデモンストレーションを支援してよい（１３６０２）。

一例では、可視化デバイス２１３は、解剖学的モデル、または死体の解剖学的特徴に対して提示されたガイダンス情報の形式で、１つまたは複数の仮想要素を提示してよい（１３６０１）。この場合、手術ガイダンス情報は、他の可視化デバイスのユーザが、可視化デバイス２１３を着用している生徒が見るデモンストレーションを使用して、手術手順に関して可視化デバイス２１３を着用している生徒を訓練するのを可能にする。手術手順の少なくとも１つの側面をデモンストレーションするために提示する（１３６０１）のに有用であり得る例示の仮想要素は、合成モデル関節窩、または死体の関節窩に対して配置されるリーミング軸を含んでよい。

さらに他の例において、可視化デバイス２１３は、例えば、任意の所与のインプラント埋め込みまたはインプラント埋め込み手順に関連付けられた所望の結果または問題を示し得る術前アニメーションを含む１つまたは複数の仮想要素を提示してよい（１３６０１）。例えば、可視化デバイス２１３は、不正確なサイズのインプラントの埋め込みに関連付けられた起こり得るインピンジメントを示すアニメーション、または正確なサイズのインプラントの埋め込みに関連付けられた所望の結果を示すアニメーションを提示してよい。場合によっては、可視化デバイス２１３は、特定のインプラントまたは特定のインプラント埋め込み手順に関連する影響（例えば、所望の結果、または望ましくないインピンジメントもしくは可動域の減少）をデモンストレーションまたは示す即時フィードバックをユーザに提示してよい。

図１３７は、本開示による、２つの異なるデバイス（例えば、教師デバイス及び生徒デバイス）によって行われ得る一般的な教育技術を示すフロー図である。第１のデバイス及び第２のデバイスは、それぞれ、本開示に詳細に記載した可視化デバイス２１３を含んでよい。あるいは、第１のデバイス及び第２のデバイスの一方または両方は、仮想現実（ＶＲ）デバイスを含んでよい。図１３７に示すように、１つまたは複数の仮想要素が、第１のデバイスに提示され、１つまたは複数の仮想要素は、整形外科手術の少なくとも１つの側面をデモンストレーションするように第１のユーザ（例えば、教師）によって制御可能である（１３７０１）。１つまたは複数の仮想要素はまた、整形外科手術に関して第２のユーザ（例えば、生徒）を教育するために第２のデバイスに提示される（１３７０２）。一般に、複合現実（または、仮想現実）の支援で教えられる人はいずれも、本開示によると、生徒であってよく、同様に、複合現実（または、仮想現実）の支援で教える人はいずれも、本開示によると、教師であってよい。

他の例と同様、図１３７の例示のプロセスでは、第１のデバイスを着用している第１のユーザによって制御可能で、第２のデバイスを着用している第２のユーザが見ることができる１つまたは複数の仮想要素は、整形外科手術に関する教育を容易にし得る。例えば、術前ステップ、術中ガイダンスステップ、または手術結果を示す１つまたは複数の解剖学的特徴の３Ｄ仮想表現及び追加の仮想要素を含む、多種多様なこのような仮想要素を上に記載する。

複合現実が使用されるいくつかの例では、本明細書に記載のＭＲ生徒デバイスのいずれも、整形外科手術に関してユーザに教育するように構成された可視化デバイス（可視化デバイス２１３等）を含んでよい。可視化デバイス２１３は、１つまたは複数の仮想要素を生成するように構成された１つまたは複数のプロセッサ５１４と、画面５２０を含んでよく、画面５２０は、ユーザに提示を提示するように構成された透明の複合現実ディスプレイ画面（シースルーのホログラフィックレンズ等）を含んでよく、ここで、複合現実提示は、１つまたは複数の仮想要素を含み、１つまたは複数の仮想要素は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含み、１つまたは複数の仮想要素は、複合現実提示が整形外科手術に関してユーザを教育するように構成されるように、３Ｄ仮想表現に対して図示または例示される１つまたは複数の仮想術前計画要素、３Ｄ仮想表現に対して図示または例示される１つまたは複数の仮想手術ガイダンス機能、または、３Ｄ仮想表現上に仮想で示された１つまたは複数の手術結果をさらに含む。

ここでも、非制限的な例として、１つまたは複数の解剖学的特徴の仮想表現は、人間の肩の３Ｄ仮想モデル、上腕骨頭の３Ｄ仮想図、または関節窩の３Ｄ仮想図を含んでよい。さらに、１つまたは複数の仮想要素は、図１２７のＭＲ教育コンテンツ１２７０６に関して前述した仮想要素（または、前述した仮想要素の組み合わせ）のいずれかを含んでよい。

さらに他の例では、可視化デバイス２１３は、３Ｄ仮想表現を解剖学的要素の物理的モデル、または死体の対応する解剖学的特徴に位置合わせする位置合わせプロセスをデモンストレーションするように構成されてよい。いくつかの例では、１つまたは複数の仮想要素は、手術ガイダンス情報を含み、インプラントコンポーネントのために準備されたインプラント埋め込み箇所に関連付けられたトライアル情報を含む、深さ支援要素を位置合わせする位置合わせプロセスを示す、閉ループ制御を含む自動ツールの使用に関する仮想訓練情報もしくは仮想視覚支援を含む、可動域に関する仮想情報を含む、仮想術前アニメーションを含む、３Ｄ仮想表現に対して配置された１つまたは複数の仮想インプラントコンポーネントを含む、または、整形外科手術に関する教育的な他の特徴を提供する。

図１３８は、複合現実及び／または仮想現実の支援で行うことができる教育的技術を示す別のフロー図である。図３４の教育システム１３４０１を再び参照して、図１３８を説明する。教育システム１３４０１は、整形外科手術の少なくとも１つの側面のデモンストレーションで有用であり得る。しかしながら、他の教育システムも、図１３８に示す技術と類似の技術を実施してよい。図１３８に示すように、第１のデバイス（例えば、ＭＲ／ＶＲ教師デバイス１３４０２）は、教師モデル１３４０８を含む１つまたは複数の仮想要素を表示してよい（１３８０１）。ＭＲ／ＶＲ教師デバイス１３４０２を着用している教師は、整形外科手術手順または手術計画の１つまたは複数の側面を、教師モデル１３４０８を使用してデモンストレーションする（１３８０２）。同様に、第２のデバイス（例えば、ＭＲ／ＶＲ生徒デバイス１３４０４の１つ）は、生徒モデル１３４０５を含む１つまたは複数の仮想要素を提示してよい（１３８０３）。第２のデバイスは、手術手順または手術計画の少なくとも１つの側面を、生徒モデル１３４０５を使用して実行する生徒からの入力を受信してよい（１３８０４）。このように、教師モデル１３４０８を含む仮想要素の第１のセットは、教師によって操作されて、整形外科手術または手術計画の少なくとも１つの側面をデモンストレーションしてよく、教師モデル１３４０８と類似し得る生徒モデル１３４０５Ａ、１３４０５Ｂまたは１３４０５Ｎを含む仮想要素の追加のセットは、異なる生徒によって操作されてよい。ある場合には、生徒は、教師が行う手術ステップをまねることを試みてよく、（教師が使用する教師固有の仮想要素に類似した）各生徒のための生徒固有の仮想要素の使用は、整形外科手術教育の非常に有用な教育システムを提供し得る。他の場合には、生徒は、手術計画の選択もしくは規定、インプラントサイズの選択、手術タイプの選択、または、他の手術計画決定を生徒モデル１３４０５に基づいて試みてよく、各生徒が行った計画及び選択は、教師の計画、または、場合によっては、コンピュータアルゴリズムが規定した計画と比較することができる。

いくつかの例では、教師モデル１３４０８は、物理的モデルまたは死体の解剖学的特徴に対して教師デバイス１３４０２によって配置されてよく、生徒モデル１３４０５Ａ、１３４０５Ｂまたは１３４０５Ｎは、第２の解剖学的モデルまたは第２の死体の解剖学的特徴に対して生徒デバイス１３４０４の１つによって配置されてよい。言い換えると、教師及び生徒は、異なるモデルまたは異なる死体に対して配置された仮想要素を操作してよい。さらに、追加のガイダンスベースの仮想要素が、死体に対するトライアル手術プロセスを支援するように、生徒モデル及び教師モデルに対して提示されてよい。

図１３９は、図１３５のＭＲ／ＶＲ教師デバイス１３５０２としても示され得る、例えば、可視化デバイス２１３によって行われてよい教育技術を示す別のフロー図である。図１３９に示すように、可視化デバイス２１３は、１つまたは複数の仮想要素をユーザ（例えば、教師）に提示し、仮想要素は、解剖学的特徴の仮想３Ｄモデルを含む（１３９０１）。可視化デバイス２１３を使用して、教師は、例えば、仮想３Ｄモデルを使用及び操作することによって、且つ、仮想３Ｄモデルに対する他の仮想の特徴を選択もしくは提示することによって、整形外科手術手順または整形外科手術計画の少なくとも１つの側面をデモンストレーションする（１３９０２）。教師は次に、仮想要素の仮想コントロール（または、このような仮想コントロールのサブセット）を、教師が着用するのとは異なる可視化デバイス２１３を使用した生徒の１人に割り当ててよい（１３９０３）。割当可能な仮想要素の仮想コントロールが生徒に許可されると、生徒が着用する可視化デバイス２１３は次に、仮想３Ｄモデルを使用して、整形外科手術の少なくとも１つの側面を行う、または、手術計画の１つまたは複数の側面を規定する生徒入力を受信してよい（１３９０４）。このように、教師は、可視化デバイス２１３を使用して、仮想要素を生成及び制御し、次に生徒に制御を割り当ててよい（ここで、生徒は他の可視化デバイス２１３を使用する）。教師は、教師が行った整形外科手術ステップを生徒がまねる能力を観察及び評価してよい、または、手術計画のための術前の決定及び選択を良好に行う生徒の能力を評価してよい。

図１４０は、整形外科手術教育の複合現実及び／または仮想現実を使用する教育システム、例えば、教育システム１４００１の概念ブロック図である。この教育システムでは、ユーザは、仮想要素を含む仮想コンテンツの操作可能なコピーを起動できる。図１４０の例では、教師が、ＭＲ／ＶＲ教師デバイス１４００２を着用し、複数の生徒が、ＭＲ／ＶＲ生徒デバイス１４００４Ａ及び１４００４Ｂ～１４００４Ｎ（集合的に、ＭＲ／ＶＲ生徒デバイス１４００４）を着用する。この例では、参加者（教師または生徒）のいずれも、複合現実または仮想現実を使用して授業セッションに参加してよい。言い換えると、ＭＲ／ＶＲ教師デバイス１４００２及びＭＲ／ＶＲ生徒デバイス１４００４のいずれも、可視化デバイス２１３等の複合現実デバイスを含んでよい、あるいは、ＭＲ／ＶＲ教師デバイス１４００２及びＭＲ／ＶＲ生徒デバイス１４００４は、仮想情報のみを提示する仮想現実デバイスを含んでよく、この場合、複合現実デバイスを着用しているユーザに提示される現実世界情報は、仮想現実デバイスを着用しているユーザに仮想情報として提示されてよい。

ＭＲ／ＶＲ教育コンテンツ１４００６は、図１２７～図１３３に関して、または本開示の他の箇所に記載される教育コンテンツのいずれか等、本開示の他の箇所に開示の仮想コンテンツのいずれをも含んでよい。さらに、図１４０に示す例では、ＭＲ教育コンテンツ１４００６は、仮想モデル１４００８、ならびに仮想モデルのコピー１４００９とを含んでよく、仮想モデルのコピー１４００９は、教育セッション中、ＭＲ／ＶＲ生徒デバイス１４００４（または、ＭＲ／ＶＲ教師デバイス１４００２）の１つによって起動されてよい。仮想モデル１４００８及び仮想モデルのコピー１４００９はそれぞれ、人間の肩の３Ｄ仮想モデル、上腕骨頭の３Ｄ仮想図、関節窩の３Ｄ仮想図、または整形外科手術手順に関連付けられた解剖学的特徴の他の３Ｄモデル等、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含んでよい。場合によっては、ＭＲ／ＶＲ生徒デバイス１４００４及び／またはＭＲ／ＶＲ教師デバイス１４００２は、仮想要素をユーザに提示する可視化デバイスとタッチベースの情報をユーザに提供する触覚デバイスの両方を含んでよい。

教育セッション中、仮想モデルのコピー、例えば、仮想モデルコピー１４００９を生徒（または、教師）が起動する能力は、整形外科手術教育にとって非常に有用であり得る。仮想モデルコピー１４００９は、例えば、ＭＲ／ＶＲ教師デバイス１４００２を使用して仮想モデル１４００８を操作した後、教育セッションの途中で、起動されてよい。いくつかの場合には、仮想モデルコピー１４００９は、術中手術ステップを示す仮想コンテンツを含んでよく、教師は以前の手術に関連する何らかの操作を仮想モデル１４００８に対して既に行っている。他の場合には、手術計画ステップ、インプラント選択、手術タイプ（例えば、逆か解剖学的か）の選択、インプラントの配置、インプラントサイズの選択、手術用ツールの選択、または他の手術計画ステップもしくは決定を生徒が行うのを可能にし得る仮想モデルコピー１４００９を起動してよい。

教育システム１４００１は、手術ステップまたは手術計画等、整形外科手術の少なくとも１つの側面をデモンストレーションする時、有用であり得る。ＭＲ／ＶＲ教師デバイス１４００２を着用している教師は、手術ステップまたは手術計画の１つまたは複数の側面をデモンストレーションしてよい。デモンストレーション中、または任意の時に、ＭＲ／ＶＲ生徒デバイス１４００４（または、ＭＲ／ＶＲ教師デバイス１４００２）の１つは、場合によっては、教師が１つまたは複数の手術に関連する操作を仮想モデル１４００８に対して、または、何らかの前の手術計画ステップを仮想モデルに対して行った後、仮想モデル１４００８のコピーであってよい仮想モデルコピー１４００９を起動してよい。このように、生徒は、特定の計画段階、または手術中の特定の術中手術ステップに焦点を当てることができ得る。ある場合には、仮想モデルコピー１４００９は、生徒による操作と教師による見直しの後、廃棄されてよいが、他の場合には、仮想モデルコピー１４００９は、仮想モデル１４００８と置き換えるために教師によって採用されてよい。この後者の例では、仮想モデルコピー１４００９の生徒操作は、教師は、整形外科手術の次のステップまたは手術計画の次のステップに関して生徒を引き続き教育するので、仮想モデル１４００８として教師に認められ、採用されてよい。

いくつかの例では、システム１４００１は、第１のユーザ（すなわち、教師）に対して提示を表示するように構成された第１のデバイス（例えば、ＭＲ／ＶＲ教師デバイス１４００２）を含んでよく、ここで、提示は、第１のデバイスを着用している第１のユーザが制御可能な１つまたは複数の仮想要素を含む仮想モデル１４００８を含み、１つまたは複数の仮想要素は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む。さらに、システム１４００１は、第２のユーザ（すなわち、生徒の１人）に提示を表示するように構成された第２のデバイス（例えば、ＭＲ／ＶＲ生徒デバイス１４００４の１つ）を含んでよい。１つまたは複数の仮想要素を含む仮想モデル１４００８は、整形外科手術手順の手術ステップ、または整形外科手術手順の手術計画ステップ等、整形外科手術手順の少なくとも１つの態様をデモンストレーションしてよい。第２のデバイス（例えば、ＭＲ／ＶＲ生徒デバイス１４００４の１つ）または第１のデバイス（例えば、ＭＲ／ＶＲ教師デバイス１４００２）は、第２のユーザ（すなわち、生徒の１人）または第１のユーザ（すなわち、教師）からの入力に応答して、仮想モデルのコピー１４００９を生成するように構成されてよい。そして、仮想モデルのコピー１４００９は、第２のデバイスを着用している第２のユーザによって制御可能であってよい。場合によっては、第１のデバイスは、仮想モデルのコピー１４００９が第２のデバイスを着用している第２のユーザによって操作された後、仮想モデル１４００８を仮想モデルのコピー１４００９で置き換えるようにさらに構成されてよい。言い換えると、例えば、生徒が、仮想コンテンツの生徒のコピーに対して正確なステップまたは操作を行う場合、教師は、このような生徒操作の後、仮想モデルの生徒のコピーバージョンを全ての生徒に対して新しい教師コンテンツとして採用してよく、教師は次に、整形外科手術手順のその後の手術ステップまたは手術計画ステップをデモンストレーションするように教育セッションを続けてよい。

例として、仮想モデル１４００８（及び、仮想モデルコピー１４００９）は、３Ｄ仮想表現に対して術前計画要素を示す追加の仮想要素、３Ｄ仮想表現に対して示された１つまたは複数の仮想手術ガイダンス機能、または、３Ｄ仮想表現上に仮想で示された１つまたは複数の手術結果を含んでよい。多種多様なこのような追加の仮想要素が、本開示を通して記載される。

いくつかの例では、整形外科手術手順に関してユーザを教育するように構成された可視化デバイス２１３は、画面５２０を含んでよく、画面５２０は、複合現実提示をユーザに提示するように構成された透明な複合現実ディスプレイ画面（シースルーのホログラフィックレンズ等）を含んでよく、ここで、複合現実提示は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む１つまたは複数の仮想要素を含む。言い換えると、生徒が着用する可視化デバイス２１３は、教師が着用する異なる可視化デバイスによって生成及び制御される整形外科手術手順（例えば、手術ステップまたは手術計画）に関して複合現実提示を見てよい。生徒が着用する（または、教師が着用する）可視化デバイス２１３は、教師が示す仮想モデルのコピーを生成するように構成されたプロセッサ５１４を含んでよく、コピーは、生徒が着用する可視化デバイス２１３によって制御可能である。このように、生徒（または、教師）は、教師による提示中、教師が提示する仮想コンテンツのコピーを起動及び操作することができてよい。生徒が起動及び操作する仮想コンテンツのコピーは、教師が、仮想コンテンツに関して、このようなコンテンツが生徒によって起動及び操作される前に、既に行った手術計画（または、手術ステップ）を含んでよい。このように、仮想モデルの生徒コピーは、特定の手術計画ステップまたは特定の手術動作ステップを教えるために設計されてよい。

例として、教師モデルのコピーとして生徒が起動及び操作し得る仮想モデルは、手術計画ステップまたは手術動作ステップに対して教育を容易にするために、本明細書に記載の追加の仮想情報のいずれをも含んでよい。このような追加の仮想情報は、例えば、３Ｄ仮想表現に対して示された、もしくは例示された仮想切断軸、３Ｄ仮想表現に対して示された、もしくは例示された仮想ドリル軸、３Ｄ仮想表現に対する仮想ジグまたはガイドの配置もしくは選択、仮想ジグまたはガイド対して示された、もしくは例示された仮想軸、３Ｄ仮想表現に対して提示された手術ガイダンス情報、３Ｄ仮想表現を物理的モデルもしくは死体の対応する特徴へ位置合わせする位置合わせプロセスの図、インプラントコンポーネントの準備された埋め込み箇所に関連付けられたトライアル情報、深さ支援要素を位置合わせする位置合わせプロセスを示す情報、閉ループ制御を含む自動ツールの使用に関する仮想訓練情報もしくは仮想視覚支援、可動域に関する仮想情報、仮想術前アニメーション、３Ｄ仮想表現に対する１つまたは複数の仮想インプラントコンポーネントの図、手術計画の決定の選択、インプラントもしくはインプラントサイズの選択、手術用ツールもしくはツールサイズの選択、手術タイプの選択もしくは決定、または手術計画もしくは手術ガイダンスに関連する他の要素等のものを含んでよい。

いくつかの例では、方法は、生徒デバイス及び教師デバイス上に整形外科手術の複合現実提示を表示することを含んでよく、ここで、複合現実提示は、教師デバイスによって制御される仮想要素の教師コピーを含み、仮想要素は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む。

場合によっては、ＭＲ／ＶＲ教師デバイス１４００２は常に、仮想モデル１４００８のマスタモデルを含んでよい。１つまたは複数のコピー（例えば、仮想モデルコピー１４００９）は、ＭＲ／ＶＲ生徒デバイス１４００４の１つによる生徒の使用のために生成されてよく、場合によっては、このようなコピー（例えば、仮想モデルコピー１４００９）は、ＭＲ／ＶＲ教師デバイス１４００２によって制御されるマスタモデル（例えば、仮想モデル１４００８）との比較として提示されてよい。場合によっては、仮想モデルコピー１４００９は、仮想モデル１４００８上に、場合によっては、生徒の操作後、重ね合わされて、仮想モデル１４００８と仮想モデルコピー１４００９との正確な比較を可能にしてよい。場合によっては、各生徒は、対応する仮想モデルコピー１４００９を有してよい。いくつかの場合には、各生徒の仮想モデルコピー１４００９は、その対応するＭＲ／ＶＲ生徒デバイス１４００４によってのみ見ることができてよく、他の場合には、ＭＲ／ＶＲ生徒デバイスのそれぞれは、ＭＲ／ＶＲ生徒デバイス１４００４の他のＭＲ／ＶＲ生徒デバイス１４００４に関連付けられた仮想モデルコピー１４００９を見ることができてよい。

図１４１は、整形外科手術教育の複合現実及び／または仮想現実を使用する教育システム、例えば、教育システム１４１０１の概念ブロック図である。教育システム１４１０１では、生徒及び教師は、本明細書に記載の追加の仮想要素を含み得るいくつかの異なる３Ｄ仮想モデルを見て、比較することができる。図１４１の例では、教師が、ＭＲ／ＶＲ教師デバイス１４１０２を着用し、複数の生徒が、ＭＲ／ＶＲ生徒デバイス１４１０４Ａ及び１４１０４Ｂ～１４１０４Ｎ（集合的に、ＭＲ／ＶＲ生徒デバイス１４１０４）を着用する。この例では、参加者（教師または生徒）のいずれも、複合現実または仮想現実を使用して授業セッションに参加してよい。言い換えると、ＭＲ／ＶＲ教師デバイス１４１０２及びＭＲ／ＶＲ生徒デバイス１４１０４のいずれも、可視化デバイス２１３等の複合現実デバイスを含んでよい、あるいは、ＭＲ／ＶＲ教師デバイス１４１０２及びＭＲ／ＶＲ生徒デバイス１４１０４は、仮想情報のみを提示する仮想現実デバイスを含んでよく、この場合、複合現実デバイスを着用しているユーザに提示される現実世界情報は、仮想現実デバイスを着用しているユーザに仮想情報として提示されてよい。ＭＲ／ＶＲ教育コンテンツ１４１０６は、図１２７～図１３３に関して、または本開示の他の箇所に記載される教育コンテンツのいずれか等、本開示の他の箇所に開示される仮想コンテンツのいずれをも含んでよい。また、場合によっては、ＭＲ／ＶＲ生徒デバイス１４１０４及び／またはＭＲ／ＶＲ教師デバイス１４１０２は、仮想要素をユーザに提示する可視化デバイスとタッチベースの情報をユーザに提供する触覚デバイスの両方を含んでよい。

図１４１の例に示すように、ＭＲ／ＶＲ教育コンテンツ１４１０６は、複数のモデル（例えば、モデル１（１４１０８Ａ）及びモデル２（１４１０８Ｂ）～モデルＮ（１４１０８Ｎ））を含む。場合によっては、複数のモデル（集合的に、モデル１４１０８）は、同じ解剖学的構造で異なる手術計画を示してよい。複数のモデル１４１０８を集合的提示の一部として提示することは、整形外科手術手順または手術計画の教育を促進するために非常に有用であり得る。これは、現在の手術計画の他の例に対する対照比較を提示してよい。例えば、モデル１（１４１０８Ａ）は、手術のために計画された現在の患者モデルを含んでよく、他のモデル（モデル２（１４１０８Ｂ）～モデルＮ（１４１０８Ｎ））は、同じ解剖学的構造に基づいて他の人によって計画されたモデル、達成されたケーススタディに関連付けられたモデル、理論的ケースのモデル、コンピュータアルゴリズムによって生成されたモデル、またはモデル１（１４１０８Ｂ）との比較に有用であり得る任意のケーススタディを含んでよい。他の例では、複数のモデル１４１０８は、教師モデルに対する生徒モデルを含んでよく、これらは、例えば、教育的整形外科手術プロセスの異なる段階で提示及び比較されてよい、または、手術計画の異なる態様の異なる手術計画を示すように提示されてよい。場合によっては、ＭＲ／ＶＲ生徒デバイス１４１０４は、ＭＲまたはＶＲ提示内に異なるモデルを対照比較で提示することによって互いに協力し、体験を共有する外科医によって着用されてよい。場合によっては、ＭＲ／ＶＲ生徒デバイス１４１０４は、「クラウドソーシング」セッションに参加してよく、「クラウドソーシング」セッションでは、様々な生徒が、ＭＲまたはＶＲを使用して、類似の問題または課題に関して協力して特定の患者のケーススタディ、または特定のケーススタディの特定の課題の提示を紹介する。

場合によっては、複数のモデル１４１０８は、（例えば、ＭＲ／ＶＲ生徒デバイス１４１０４もしくはＭＲ教師デバイス１４１０２のメモリに記憶された、またはリモートに記憶された）３Ｄ仮想表現のカタログから選択されてよい。カタログの異なるモデルは、整形外科的修復を必要とし得る多種多様な異なる肩の状態をデモンストレーションしてよい。ＭＲ／ＶＲ教師デバイス１４１０２を着用している教師は、例えば、ＭＲ／ＶＲ生徒デバイス１４１０４の１つを着用している生徒に教育的デモンストレーションを行うために、３Ｄ画像のカタログから１つまたは複数の３Ｄ仮想表現を選択してよい。場合によっては、患者の解剖学的構造の３Ｄ仮想モデルが、対照比較のためにカタログの３Ｄ仮想モデルと比較されてよく、これは、ユーザが患者の解剖学的構造と、１つまたは複数の肩の問題を示すカタログからの他の例示の解剖学的構造の間の類似性を識別するのを支援し得る。

さらに他の場合では、複数のモデル１４１０８を選択して、異なるタイプの分類（例えば、異なるタイプのＷａｌｃｈ分類）を有する肩を示してよい。異なる分類は、異なるタイプの手術、または特定のサイズ、角度、及びインプラント位置を有する異なるインプラントコンポーネントの選択を必要とし得る。異なるタイプの肩分類にとって望ましい手順の相違を示すために、術前、術中、または、術後のステップが、複数のモデル１４１０８を並べてデモンストレーションされてよい。さらに他の場合には、複数のモデル１４１０８は、整形外科的足首手術の１つまたは複数の態様をデモンストレーションするために使用される足首モデルを含んでよい。

場合によっては、モデル１４１０８の異なるモデルは、例えば、ＭＲ教師デバイス１４１０２及びＭＲ生徒デバイス１４１０４のユーザが所与の肩分類の最も望ましい手術手順または計画を識別するのを支援するために、共通の患者に関連付けられた異なる手術手順または異なる手術計画を示してよい。例えば、モデル１（１４１０８Ａ）は、解剖学的外科用インプラントのモデルを提示してよく、モデル２（１４１０８Ｂ）は、逆外科用インプラントのモデルを提示してよい。このように、ＭＲ教師デバイス１４１０２及びＭＲ生徒デバイス１４１０４は、所与の肩分類の最適の手術手順のタイプを識別するために、場合によっては、術前の決定のためにインプラントを比較してよい。いくつかの例では、ＭＲ教師デバイス１４１０２及びＭＲ生徒デバイス１４１０４は、教える役割を交換または共有する専門家のパネルまたはインストラクタのパネルによって着用されてよい。場合によっては、各ユーザは、制御能力を有してよい、または制御を許可されてＭＲ教師デバイス１４１０２になってよい。

図１４２は、整形外科手術教育の複合現実及び／または仮想現実を使用する教育システム、例えば、教育システム１４２０１の概念ブロック図であり、教育システム１４２０１では、教師は、教師がＭＲ／ＶＲ教育コンテンツを制御するのを可能にする仮想制御要素を含む教師制御メニューを有する。他の例と同様、図１４２の例では、教師は、ＭＲ／ＶＲ教師デバイス１４２０２を着用し、複数の生徒は、ＭＲ／ＶＲ生徒デバイス１４２０４Ａ及び１４２０４Ｂ～１４２０４Ｎ（集合的に、ＭＲ／ＶＲ生徒デバイス１４２０４）を着用する。この例では、参加者（教師または生徒）のいずれも、複合現実または仮想現実を使用して授業セッションに参加してよい。言い換えると、ＭＲ／ＶＲ教師デバイス１４２０２及びＭＲ／ＶＲ生徒デバイス１４２０４のいずれも、可視化デバイス２１３等の複合現実デバイスを含んでよい、あるいは、ＭＲ／ＶＲ教師デバイス１４２０２及びＭＲ／ＶＲ生徒デバイス１４２０４は、仮想情報のみを提示する仮想現実デバイスを含んでよく、この場合、複合現実デバイスを着用しているユーザに提示される現実世界情報は、仮想現実デバイスを着用しているユーザに仮想情報として提示されてよい。ＭＲ／ＶＲ教育コンテンツ１４２０６は、図１２７～図１３３に関して、または本開示の他の箇所に記載される教育コンテンツのいずれか等、本開示の他の箇所に開示の仮想コンテンツのいずれをも含んでよい。また、場合によっては、ＭＲ／ＶＲ生徒デバイス１４２０４及び／またはＭＲ／ＶＲ教師デバイス１４２０２は、仮想要素をユーザに提示する可視化デバイスとタッチベースの情報をユーザに提供する触覚デバイスの両方を含んでよい。

図１４２の例に示すように、ＭＲ／ＶＲ教育コンテンツ１４２０６は、教師制御メニュー１４２０５を含み、メニュー１４２０５は、整形外科手術手順に関するＭＲまたはＶＲ提示を制御する仮想制御要素を含んでよい。場合によっては、教師制御メニュー１４２０５は、ＭＲ／ＶＲ教師デバイス１４２０２を着用している教師にだけ見えてよく、ＭＲ／ＶＲ生徒デバイス１４２０４に示されるＭＲ／ＶＲ教育コンテンツから隠されてよい。

教師制御メニュー１４２０５は、注視、ウィジェットに向かってのジェスチャ、音声コマンド、または他の方法の選択を使用してＭＲまたはＶＲ提示を制御するために、ＭＲ／ＶＲ教師デバイス１４２０２を着用している教師が選択できる、仮想コントロールウィジェット等、選択可能な要素を含んでよい。詳細には、教師制御メニュー１４２０５は、本開示に記載されるＭＲまたはＶＲ特徴または要素を制御または起動するための要素を提示してよく、ユーザは、注視、ジェスチャ、音声コントロール、または複合現実または仮想現実で使用される他の選択を使用して、このような要素を選択してよい。例えば、教師制御メニュー１４２０５は、ＭＲ／ＶＲ教育コンテンツ１４２０６を提示及び／または操作するための１つまたは複数の要素を含んでよく、要素は、整形外科手術手順または整形外科手術手順教育で使用する本明細書に記載の仮想コンテンツのいずれをも含んでよい。教師制御メニュー１４２０５は、ビデオ、画像、提示（パワーポイント提示等）、スプレッドシート、または複合現実または仮想現実教師環境で有用であり得る任意のものを起動するためのアイコン等の教育ツールを含んでよい。

一例として、教師制御メニュー１４２０５は、ＭＲ／ＶＲ教育コンテンツ１４２０４の仮想コントロールをＭＲ／ＶＲ生徒デバイス１４２０４の１つに割り当てるための仮想要素またはアイコンを含んでよい。別の例では、教師制御メニュー１４２０５は、特定のＭＲ／ＶＲ生徒デバイスの仮想コンテンツの生徒コピーを起動するために、または、ＭＲ／ＶＲ生徒デバイス１４２０４の全ての仮想コンテンツの複数のコピーを起動するための仮想要素またはアイコンを含んでよい。より一般的には、教師制御メニュー１４２０５は、ＭＲ／ＶＲ教師デバイス１４２０２を着用している教師によって操作可能な教師コンテンツを提示するために、または、ＭＲ／ＶＲ生徒デバイス１４２０４を着用している生徒によって操作可能な生徒コンテンツを提示するために、１つまたは複数の仮想要素またはアイコンを含んでよい。仮想要素またはアイコンは、注視、ジェスチャ、音声コントロール、または複合現実もしくは仮想現実で使用される他の選択を介して選択されてよい。

他の例では、教師制御メニュー１４２０５は、協力的及び比較的ビューのための複数のモデルを提示するための１つまたは複数の仮想要素またはアイコンを含んでよい。他の例では、教師制御メニュー１４２０５は、ビデオを提示するための、ＣＴスキャン、画像、もしくはセグメント化を提示するための、術前画像もしくはビデオを提示するための、提示もしくは提示ツール（パワーポイント提示等）を選択及び起動するための１つまたは複数の仮想要素またはアイコンを含んでよい。他の例では、教師制御メニュー１４２０５は、ノートを取るためのメモ帳、教育セッションを記録、もしくは、教育セッションの一部を記録するための記録アイコンを含んでよい。他の例では、教師制御メニュー１４２０５は、所与の教育セッションのコンテンツをアーカイブにするための、他の症例の記録ビデオを評価するための、または、クラスデモンストレーションまたはディスカッションのために以前の例もしくは以前のモデルをロードするための仮想要素またはアイコンを含んでよい。

さらに他の例では、教師制御メニュー１４２０５は、仮想コンテンツを見る能力を共有するための、または、このような仮想コンテンツを制御する能力を共有するための１つまたは複数の仮想要素またはアイコンを含んでよい。共有要素またはアイコンは、ＭＲ／ＶＲ生徒デバイス１４２０４の特定のデバイスと共有すること、または、全てのＭＲ／ＶＲ生徒デバイス１４２０４と共有することを可能にし得る。

他の例では、教師制御メニュー１４２０５は、例えば、クラスセッションを編成するためのファイルキューを含んでよい。また、教師制御メニュー１４２０５は、教育単位に関するコンテンツ（医療継続教育単位等）を、このような単位の入手可能性を提示するために、または、生徒の出席を検証するために生徒の応答を求める等のために、含んでよい。

いくつかの例では、教師制御メニュー１４２０５は、いくつかまたは全ての仮想要素の編集権を割り当てるための選択可能な要素またはアイコンを含んでよい。いくつかの例では、教師制御メニュー１４２０５は、参加者のドロップダウンメニューを含むことによって、ＭＲ／ＶＲ生徒デバイス１４２０４を着用している他の参加者を選択または指名するＭＲ／ＶＲ教師デバイス１４００２の能力を促進してよい。他の例では、教師制御メニュー１４２０５は、選択可能なアイコンまたはアバタを含んでよく、選択可能なアイコンまたはアバタは、ＭＲ／ＶＲ教師デバイス１４２０２のユーザによって、例えば、ハンドジェスチャまたは注視ベースのユーザコントロールを用いて選択されて、生徒を指名することができる、または、仮想コントロールを生徒に割り当てることができる。

教師制御メニュー１４２０５は、例えば対象の手順またはステップに類似し得る１つまたは複数の手順または手順のステップを見つける、手順の類似性によって類似の症例を特定するフィルタのための要素またはアイコンを含んでよい。教師が特定のフィルタアイコンを選択すると、ＭＲ／ＶＲ教師デバイス１４２０２は、（ローカルまたはリモートにある）データベースにアクセスして、１つまたは複数の例示のケーススタディ、または現在のケーススタディによく適合する以前の手術を特定してよい。ＭＲ／ＶＲ教師デバイス１４２０２は次に、アーカイブに保管されたモデルまたは例を、生徒に提示するためにＭＲ／ＶＲ教育コンテンツ１４２０６にロードしてよい。現在のケーススタディと類似性を有するアーカイブに保管されたケーススタディまたは例示の手順を特定する能力は、教育に非常に役立ち得る、また、生徒が（例えば、クラウドソーシングセッションで）一緒に作業して現在のケーススタディへの最適の対処法に関してブレインストーミングする協力的な教育セッションで特に使用されてよい。

教師制御メニュー１４２０５に提示された要素またはアイコンは、ハンドジェスチャ、注視ベースコントロール、顔の表情を介して、または、場合によっては、選択ツール（指示棒（wand）またはレーザポインタ等）を使用して、ＭＲ／ＶＲ教師デバイス１４２０２を着用している教師によって選択可能であってよい。教師は、教師制御メニュー１４２０５からアイコンまたは要素を選択して、ＭＲ／ＶＲ提示してよく、仮想コンテンツを制御及び操作してよい。仮想コンテンツは、３Ｄ仮想表現（例えば、人間の肩の仮想モデル、関節窩表面もしくは関節窩の仮想モデル、または、上腕骨もしくは上腕骨頭の仮想モデル）、及び／または図１２７のＭＲ教育コンテンツ１２７０６に関して記載された仮想要素（または、組み合わせ）のいずれか等、追加の仮想コンテンツを含むが、それらに限らない整形外科手術または整形外科手術教育で使用される本明細書に記載の仮想コンテンツのいずれかを含んでよい。

さらに他の例では、教師制御メニュー１４２０５は、保存された手術計画のセット、または、逆肩関節形成か解剖学的肩関節形成か等、異なる手順を選択及びデモンストレーションする図を含んでよい。

図１４３は、教師及び生徒の両方がＭＲ／ＶＲ教育コンテンツを制御する仮想制御要素を有する整形外科手術教育の複合現実及び／または仮想現実を使用する教育システム、例えば、教育システム１４３０１の別の概念ブロック図である。他の例と同様、図１４３の例では、教師が、ＭＲ／ＶＲ教師デバイス１４３０２を着用し、複数の生徒が、ＭＲ／ＶＲ生徒デバイス１４３０４Ａ及び１４３０４Ｂ～１４３０４Ｎ（集合的に、ＭＲ／ＶＲ生徒デバイス１４３０４）を着用する。この例では、参加者（教師または生徒）のいずれも、複合現実または仮想現実を使用して授業セッションに参加してよい。言い換えると、ＭＲ／ＶＲ教師デバイス１４３０２及びＭＲ／ＶＲ生徒デバイス１４３０４のいずれも、可視化デバイス２１３等の複合現実デバイスを含んでよい、あるいは、ＭＲ／ＶＲ教師デバイス１４３０２及びＭＲ／ＶＲ生徒デバイス１４３０４は、仮想情報のみを提示する仮想現実デバイスを含んでよく、この場合、複合現実デバイスを着用しているユーザに提示される現実世界情報は、仮想現実デバイスを着用しているユーザに仮想情報として提示されてよい。ＭＲ／ＶＲ教育コンテンツ１４３０６は、図１２７～図１３３に関して、または本開示の他の箇所に開示の仮想コンテンツのいずれをも含んでよい。また、場合によっては、ＭＲ／ＶＲ生徒デバイス１４３０４及び／またはＭＲ／ＶＲ教師デバイス１４３０２は、仮想要素をユーザに提示する可視化デバイスとタッチベースの情報をユーザに提供する触覚デバイスの両方を含んでよい。

教師制御要素１４３０５は、図１４３に示すシステム１４２０２の教師制御要素１４２０５に関して記載した特徴、要素、アイコン、またはコントロールのいずれをも含んでよい。図１４３の例では、しかしながら、ＭＲ／ＶＲ生徒デバイス１４３０４はまた、ＭＲ／ＶＲ教育コンテンツ１４２０６の一部として仮想コントロールを提示される。例えば、ＭＲ／ＶＲ生徒デバイス１（１４３０４Ａ）は、生徒１の制御要素１４３０７を提示するように構成されてよく、ＭＲ／ＶＲ生徒デバイス２（１４３０４Ｂ）は、対応する生徒２の制御要素１４３０７Ｂを提示するように構成されてよい。複数の生徒デバイスのそれぞれは、対応する仮想コントロールを有し、各デバイスの仮想コントロールは、そのデバイスのユーザによってのみ見ることができ得る。言い換えると、生徒１の制御要素１４３０７Ａは、ＭＲ／ＶＲ生徒デバイス１（１４３０４Ａ）によって見え得るが、生徒１の制御要素１４３０７Ａは、ＭＲ／ＶＲ生徒デバイス２（１４３０４Ｂ）によっては見えなくてよい。同様に、生徒２の制御要素１４３０７Ｂは、ＭＲ／ＶＲ生徒デバイス２（１４３０４Ｂ）によって見え得るが、生徒２の制御要素１４３０７Ｂは、ＭＲ／ＶＲ生徒デバイス１（１４３０４Ａ）によっては見えなくてよい。いくつかの場合には、ＭＲ／ＶＲ教師デバイス１４３０２は、教師制御要素１４３０５だけを見ることができてよく、生徒制御要素１４３０７は見ることができなくてよいが、他の場合には、ＭＲ／ＶＲ教師デバイス１４３０２は、生徒デバイス１４３０４に関連付けられた生徒制御要素１４３０７を含むコントロールの全てを見ることができ得る。場合によっては、教師制御要素１４３０５は、生徒制御要素１４３０７の視認性をＭＲ／ＶＲ教師デバイス１４３０２によって有効または無効にするためのアイコンまたは要素を含んでよく、これは、教師がこのようなコントロールの使用法を生徒に説明する必要がある時、有用であり得る。

一般に、各生徒制御要素１４３０７は、教師制御要素１４３０５内に含まれる特徴、要素、アイコン、またはコントロールのいずれをも含んでよい。さらに、各生徒制御要素１４３０７は、図１４３に示すシステム１４２０２の教師制御要素１４２０５に関して記載した特徴、要素、アイコン、またはコントロールのいずれをも含んでよい。大抵の場合、しかしながら、生徒制御要素１４３０７は、教師制御要素１４３０５と比較して、より限られた数の制御要素を含んでよい。大抵の場合、例えば、教師制御要素１４３０５は、ＭＲ／ＶＲ教育コンテンツ１４２０６に対する全体的な制御を提供してよく、生徒制御要素１４３０７は、ＭＲ／ＶＲ教育コンテンツ１４２０６に対してより限られた制御を有してよい。さらに他の場合では、ＭＲ／ＶＲ生徒デバイス１４３０４の異なるＭＲ／ＶＲ生徒デバイス１４３０４は、ＭＲ／ＶＲ教育コンテンツに対して異なるレベルの制御を与えられてよく、場合によっては、ＭＲ／ＶＲ教師デバイス１４３０２は、このような異なるレベルの制御をＭＲ／ＶＲ生徒デバイス１４３０４に割り当てたり、割当を解除するように構成されてよい。

いくつかの例では、教師制御要素１４３０５及び／または生徒制御要素１４３０７は、異なるユーザのノートを記録するノート取り機能を含んでよい。また、訓練セッション及び生徒または教師によって行われた任意の仮想操作の記録が、ＭＲ／ＶＲ教育コンテンツ１４３０６の一部として記録及び文書記録されてよい。

図１４４は、複合現実及び／または仮想現実の支援で行うことができる別の教育技術を示すフロー図である。図１４４は、図１４０のシステム１４００１の視点から記載されるが、他のシステムは類似の技術を使用でき得る。図１４４に示すように、ＭＲ／ＶＲデバイス（ＭＲ／ＶＲ教師デバイス１４００２、またはＭＲ／ＶＲ生徒デバイス１４００４の１つ等）は、ＭＲ／ＶＲ教師デバイス１４００２（１４４０１）によって制御される仮想要素（例えば、仮想モデル１４００８）を含む整形外科手術手順に関するＭＲまたはＶＲ提示を表示する。ＭＲ／ＶＲデバイス（ＭＲ／ＶＲ教師デバイス１４００２、またはＭＲ／ＶＲ生徒デバイス１４００４の１つ等）は次に、仮想要素の生徒コピー（例えば、仮想モデルコピー１４００９）を提示し、ここで、生徒コピーは、生徒デバイス（例えば、ＭＲ／ＶＲ生徒デバイス１４００４の１つ）によって制御可能である（１４４０２）。場合によっては、ＭＲ／ＶＲ教師デバイス１４００２は、各生徒に生徒コピーを生成し、場合によっては、ＭＲ／ＶＲ生徒デバイス１４００４は、仮想要素の各生徒コピーを生成することができる。場合によっては、コピーは、仮想要素の元のバージョンではなく、むしろ、コピーは、教師による何らかの最初の操作後の仮想要素のバージョンを含んでよい。例えば、教師または生徒は、進行中の仮想提示中、仮想コンテンツのコピーを生成して、整形外科手術手順の異なる段階または手術計画セッションの異なる段階で生徒コピーを生成可能にすることができてよく、その結果、生徒は、特定の手術ステップをまねる、もしくは練習することができる、または特定の手術計画ステップに関連する手術計画決定を行うことができる。さらに、場合によっては、ＭＲ／ＶＲ教師デバイス１４００２は、生徒がコピー１４００９を操作した後、仮想モデル１４００８を仮想モデルのコピー１４００９で置き換えてよい。

いくつかの例では、システム１４００１は、整形外科手術の少なくとも１つの側面をデモンストレーションし、第１のユーザに提示を表示するように構成された第１のデバイス（例えば、ＭＲ／ＶＲ教師デバイス１４００２）を含む。ここで、提示は、第１のデバイスを着用している第１のユーザが制御可能な１つまたは複数の仮想要素を含み、１つまたは複数の仮想要素は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む。さらに、システム１４００１は、第２のユーザに提示を表示するように構成された第２のデバイス（例えば、ＭＲ／ＶＲ生徒デバイス１４００４の１つ）を含む。１つまたは複数の仮想要素は、整形外科手術の少なくとも１つの態様をデモンストレーションする。いくつかの場合には、第２のデバイス（例えば、ＭＲ／ＶＲ生徒デバイス１４００４の１つ）または第１のデバイス（例えば、ＭＲ／ＶＲ教師デバイス１４００２）は、第１のユーザまたは第２のユーザからの入力に応答して、１つまたは複数の仮想要素のコピーを生成するように構成されてよく、１つまたは複数の仮想要素のコピーは、第２のデバイスを着用している第２のユーザによって制御可能である。他の場合には、しかしながら、ＭＲ／ＶＲ教師デバイス１４００２は、コピーを生成して、ＭＲ／ＶＲ生徒デバイス１４００４Aに割り当ててよい。いくつかの例では、第１のデバイスは、１つまたは複数の仮想要素のコピーを１つまたは複数の仮想要素のコピーが第２のデバイスを着用している第２のユーザによって操作された後に提示される１つまたは複数の仮想要素のコピーで置き換えるようにさらに構成されてよい。

例として、仮想モデル１４００８として表される１つまたは複数の仮想要素（ならびに、仮想モデルコピー１４００９として表される仮想要素生徒コピー（複数可））は、１つまたは複数の解剖学的特徴の３Ｄ仮想表現と、３Ｄ仮想表現の追加の手術ガイダンス情報または手術計画情報とを含んでよい。

いくつかの例では、可視化デバイス２１３は、整形外科手術手順に関してユーザを教育するように構成されてよく、可視化デバイス２１３は、画面５２０を含んでよく、画面５２０は、複合現実提示をユーザに提示を表示するように構成された透明の複合現実ディスプレイ画面（シースルーのホログラフィックレンズ等）を含んでよく、ここで、複合現実提示は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む１つまたは複数の仮想要素を含む。さらに、可視化デバイス２１３は、１つまたは複数の仮想要素のコピーを生成するように構成された１つまたは複数のプロセッサ５１４をさらに含んでよく、ここで、コピーは、可視化デバイスで制御可能である。いくつかの場合には、元の複合現実提示が、他の可視化デバイス（例えば、教師デバイス）の他のユーザによって生成及び制御され、コピーは、生徒が着用する可視化デバイス２１３によって生成及び制御される。他の場合には、しかしながら、コピーは、ＭＲ／ＶＲ教師デバイス１４００２によって生成されて、ＭＲ／ＶＲ生徒デバイス１４００４の１つに割り当てられてよい。いくつかの例では、方法は、生徒デバイス及び教師デバイス上に整形外科手術の複合現実提示を表示することであって、複合現実提示は、教師デバイスによって制御される仮想要素の教師コピーを含み、仮想要素は、整形外科手術手順に関連付けられた１つまたは複数の解剖学的特徴の３Ｄ仮想表現を含む、整形外科手術の複合現実提示を表示することと、仮想要素の生徒コピーを生成することとを含み、生徒コピーは、生徒デバイスによって制御可能である。

図１４５は、進行中の手術手順の特定の詳細に関してリモートユーザの教育を支援する機能を含む教育システムの概念ブロック図である。教育システム１４５０１は、術中環境に特に関連する整形外科手術教育の特定の教育シナリオを規定する。本開示の他のセクションで、術中のやりとりが異なるユーザ間で行われ、多くの協力的状況において、１人または複数の手術参加者がＭＲ、または、場合によっては、ＶＲの使用を通して手術室の参加者とやりとりするリモート参加者であってよい様々なシナリオ及び設定を記載する。いくつかの場合には、手術支援は、手術室内にあってよく、他の場合には、手術支援はリモートであってよい。いずれにせよ、図１４５は、ＭＲ手術デバイス１４５０４を着用している手術参加者（外科医等）がＭＲ／ＶＲ手術支援デバイス１４５０８を着用しているまたは他の方法で使用している別の人（外科専門医等）からの手術支援を引き出す教育シナリオを示す。

ＭＲ手術デバイス１４５０４は、本開示を通して詳細に記載している可視化デバイス２１３等、複合現実デバイスを含んでよい。例えば、ＭＲ手術デバイス１４５０４は、仮想の術中支援を外科医に提供する外科医が着用する可視化デバイスを含んでよい。ＭＲ手術デバイス１４５０４は、本開示に記載の特徴のいずれをも使用して、整形外科手術ステップでユーザ（例えば、外科医、または、場合によっては、他の手術参加者）を支援してよい。

ＶＲ／ＭＲ手術支援デバイス１４５０８は、可視化デバイス２１３等の複合現実デバイスを含んでよい、あるいは、ＶＲ／ＭＲ手術支援デバイス１４５０８は、仮想現実デバイスを含んでよい。いずれの場合でも、ＭＲ手術支援デバイス１４５０４のユーザは、手順中、専門家の支援を引き出してよく、それを行うために、ＭＲ手術デバイス１４５０４は、ＶＲ／ＭＲ手術支援デバイス１４５０８との通信セッションを開始するように構成されてよい。または、他の例では、専門家の支援は、電話、Ｅメール、テキストメッセージ、または任意の他のメッセージを介して等、他の方法で連絡されてよく、連絡に応答して、外科専門医は、ＶＲ／ＭＲ手術支援デバイス１４５０８を介して、（物理的にまたはリモートで）手術室で行われている手順に参加してよい。場合によっては、ＭＲ手術デバイス１４５０４及びＶＲ／ＭＲ手術支援デバイス１４５０８は、直接、またはネットワークを介して互いに通信してよい。

ＭＲ手術デバイス１４５０４を着用している外科医は、多種多様な状況の手術手順に関して専門家の支援の恩恵を受けてよい。外科医が、困難、合併症、または予測外の状況に直面する時はいつでも、ＭＲ手術デバイス１４５０４を着用している外科医は、専門家の支援の恩恵を受けてよい。例えば、肩または足首を開き、インプラントを取り付けようとすると、ＭＲ手術デバイス１４５０４を着用している外科医は、患者の骨の質がインプラントには不十分すぎることを発見する場合がある。この場合、ＭＲ手術デバイス１４５０４を着用している外科医は、計画通りの固定を実施することが困難または不可能であると判断する場合があり、この場合、専門家に連絡し、患者のＣＴ画像及び患者の解剖学的構造の３Ｄ再構成を、（例えば、ＭＲ手術デバイス１４５０４を介して取得された）現実シーンの画像と共に専門家に見せると有益であり得る。これらの場合及び他の場合で、ＶＲ／ＭＲ手術支援デバイス１４５０８を着用している外科専門医が手術に参加すると非常に有益であり得る。

しかしながら、手術手順に参加すると、ＶＲ／ＭＲ手術支援デバイス１４５０８を着用している外科専門医は、「情報提供」機能１４５０５として示される教育機能から恩恵を受け得る。「情報提供」機能１４５０５は、整形外科手術手順の１つまたは複数の以前に実行されたステップに関してＶＲ／ＭＲ手術支援デバイス１４５０８のユーザに情報を与えてよい。例えば、ＶＲ／ＭＲ手術支援デバイス１４５０８のユーザが参加した時にＭＲ手術デバイス１４５０４のユーザに有用な支援を提供するために、ＶＲ／ＭＲ手術支援デバイス１４５０８のユーザは、手順で既に行われた以前のステップに関して、教育され、基本的な「情報提供」を受けることが必要な場合がある。実際に、進行中の手術の問題または課題を分類するために、ＶＲ／ＭＲ手術支援デバイスのユーザは、既に行われた手順のステップに関して知識を必要とし得る。従って、整形外科手術支援のコンテンツ１４５０６は、素早く、効率的な方法で特定の術中教育を提供する「情報提供」機能１４５０５を含んでよい。さらに、場合によっては、例えば、ＶＲ／ＭＲ手術支援デバイス１４５０８のユーザへの視覚支援として、視覚支援１４５０７も提供されてよい。

一例では、手術システム１４５０１は、進行中の手術中、ＶＲ／ＭＲ手術支援デバイス１４５０８に術中教育を提供するように構成される。システム１４５０１は、第１のユーザ（例えば、外科医または他の手術参加者）に第１の提示を表示するように構成された第１のデバイス（例えば、ＭＲ手術デバイス１４５０４）を含む。第１の提示は、整形外科手術手順で第１のユーザを支援するように構成された１つまたは複数の仮想要素を含む。システム１４５０１は、第２のユーザ（例えば、専門外科医、または整形外科手術プロセスの１つまたは複数のステップに関連付けられた他の専門家）に第２の提示を表示するように構成された第２のデバイス（例えば、ＶＲ／ＭＲ手術支援デバイス１４５０８）をさらに含んでよい。第２のユーザは、整形外科手術手順に関する手術支援を提供するために手順中に連絡を受けてよい。本開示によると、第２のデバイスのユーザを十分に教育するために、第２のデバイスは、整形外科手術手順の１つまたは複数の、前に実行されたステップに関して第２のユーザに情報を与える、または教育するコンテンツを表示するようにさらに構成される。

場合によっては、第１のデバイス（例えば、ＭＲ手術デバイス１４５０４）は、第２のデバイス（例えば、ＶＲ／ＭＲ手術支援デバイス１４５０８）の第２のユーザから手術支援を引き出すように構成される。しかしながら、手術支援は、電話、Ｅメール、テキスト、または任意の他のメッセージを介して等、他の方法で引き出すこともできる。例として、「情報提供」機能１４５０５は、患者のスキャンもしくは患者の画像データのセグメント化、整形外科手術手順の１つまたは複数の、前に実行されたステップに関連する情報、前に使用された手術用ツールに関連する情報、埋め込まれるデバイスに関連する情報、整形外科手術手順で使用されるジグもしくはガイドに関連する情報、術前計画に関連する情報、整形外科手術手順の前に実行されたステップの１つまたは複数のタイミングに関連する情報、または整形外科手術手順の前に実行されたステップの１つまたは複数に関連する患者データ、のうちの１つまたは複数を含んでよい。場合によっては、「情報提供」機能１４５０５は、ＣＴスキャン、患者の解剖学的構造の３Ｄ再構成、手術計画もしくは計画情報、患者の年齢、患者の体重、患者のバイタル情報、または任意の他の患者データ等、手術の前に取得された患者データを含んでよい。場合によっては、ＭＲ手術デバイス１４５０４は、手術のステップを自動的に追跡してよく、この場合、「情報提供」機能は、手術手順の現在のステップと前に実行されたステップとを識別する情報を含んでよい。

さらに、上記のように、視覚支援１４５０７は、術中教育も支援してよく、教育プロセスの加速に特に有用であり得る。これは、進行中の手術中、重要となり得る。従って、整形外科手術支援教育コンテンツ１４５０６は、前に実行した手術ステップの１つまたは複数に関連付けられた１つまたは複数の画像、前に実行した手術ステップの１つまたは複数の１つまたは複数のビデオ、インプラントのために準備された患者の準備された解剖学的表面の１つまたは複数の画像またはビデオ、計画された手術ステップのアニメーションまたは図、手術計画の１つまたは複数の画像またはビデオ、及び、整形外科手術手順の１つまたは複数の画像またはビデオ等の視覚支援１４５０７を含んでよい。

いくつかの例では、「情報提供」機能１４５０５及び／または視覚支援１４７は、整形外科手術手順の１つまたは複数の画像またはビデオを含んでよく、これらの画像またはビデオは、整形外科手術手順中にＭＲ手術デバイスによってキャプチャされてよい、または、整形外科手術手順中、手術室にある他のカメラもしくは他のＭＲデバイスによってキャプチャされてよい。ＶＲ／ＭＲ手術支援デバイス１４５０８のユーザによる素早く効率的な確認を容易にするために、画像またはビデオは、時間インデックスを付けられてよい。または、場合によっては、画像またはビデオは、ＶＲ／ＭＲ手術支援デバイス１４５０８が特定の手術ステップまたは段階を選択して、そのステップまたは段階で記録された画像またはビデオを見ることができるように、手術ステップまたは段階に基づいてインデックス付けされてよい。ステップまたは段階は、典型的に画像で示される術前計画ステップと、ビデオまたは画像で示され得る術中ステップとを含んでよい。

いくつかの例では、コンテンツ１４５０６が、ＶＲ／ＭＲ手術支援デバイス１４５０８が、外科医（または、看護師もしくは技術者等、部屋にいる他の人）の視点、または部屋のカメラからの視点で見ることができるように、手術室にあるカメラによって、または、ＭＲ手術デバイス１４５０４上の１つまたは複数のカメラによって取得されてよい。このようなコンテンツはまた、手順中、外科医に提示された任意の仮想画像を含んでよく、いくつかの例では、ＶＲ／ＭＲ手術支援デバイス１４５０８は、患者の肩の解剖学的構造、または患者の肩の解剖学的構造及び仮想画像を見るために、仮想画像を有効または無効にすることができる。また、仮想の解剖学的モデルは、仮想手術計画を示すために提示することができ、ＶＲ／ＭＲ手術支援デバイス１４５０８はまた、仮想手術計画、骨モデルのみ、骨モデルに加えて仮想ガイダンス（例えば、リーミング、切断、ドリルによる穴開け、ネジ留め、または他の配置マーカを支援する仮想要素）を選択的に見ることができてよい。さらに他の場合では、ＶＲ／ＭＲ手術支援デバイス１４５０８は、仮想手術計画と骨モデルと仮想ガイダンス機能とを選択的に見ることができてよい。このようなコンテンツは、手順または計画段階中、記録されてよく、画像及びビデオとして記憶されてよく、時間インデックスまたはタスクインデックスを付ける（例えば、関節窩リーミング、関節窩インプラント配置等、ワークフローの時点にインデックスを付ける）ことができる。このようなコンテンツはまた、解剖学的手順のためのプレート、または、逆解剖学的手順、上腕骨切断、上腕骨インプラント配置のためのヘミ（hemi）（例えば、解剖学的手順のためのステム付きもしくはステムレスのヘミ、または、逆解剖学的手順のためのステム付きもしくはステムレスのプレート）のような物、及び／または他の物を識別してよい。

「情報提供」機能１４５０５及び／または視覚支援１４７は、リモートの外科医またはＶＲ／ＭＲ手術支援デバイス１４５０８を着用している他の術中手術参加者に情報を与えるまたは教育する機能を含んでよい。さらに、場合によっては、教育コンテンツ１４５０６はまた、ＭＲ手術デバイス１４５０４を着用している人を教育するためにＭＲ／ＶＲ手術支援デバイス１４５０８の着用者を支援できる機能を含んでよい。言い換えると、手術の以前のステップに関して「情報提供」され、十分に教育された後、ＶＲ／ＭＲ手術支援デバイス１４５０８は、専門家の支援をＭＲ手術デバイス１４５０４のユーザに提供するのを支援できる機能を提示してよい。例えば、教育コンテンツ１４５０６は、ＭＲ／ＶＲ手術支援デバイス１４５０８によってアクセスできて、ＭＲ手術デバイス１４５０４に提示することができるビデオクリップ（手術のビデオクリップまたは類似の手術のビデオクリップ等）のアーカイブを含んでよい。さらに、視覚支援１４５０７は、このようなビデオクリップ、または、場合によっては、問題解決ビデオのアーカイブを含んでよい。場合によっては、ＶＲ／ＭＲ手術支援デバイス１４５０８は、ＶＲ／ＭＲ手術支援デバイス１４５０８の着用者がＭＲ手術デバイス１４５０４のユーザを支援するデモンストレーションを提示できるように、仮想モデルまたは他の仮想要素に対する制御を与えられてよい。例えば、ＭＲ手術デバイス１４５０４が、患者の現実の解剖学的構造へ位置合わせされた解剖学的要素の仮想モデル（例えば、実際の患者の関節窩骨へ位置合わせされた患者の関節窩の仮想モデル）を提示する場合、ＶＲ／ＭＲ手術支援デバイス１４５０８は、ＶＲ／ＭＲ手術支援デバイス１４５０８が仮想モデルを操作できる（例えば、ドリル穴の箇所またはリーミング軸の箇所をデモンストレーションする）ように仮想モデルに対する制御を与えられてよい。場合によっては、ＶＲ／ＭＲ手術支援デバイス１４５０８がモデルに対して行う操作はいずれも、患者の解剖学的構造へ位置合わせされた対応する位置合わせされたモデルに対する操作としてＭＲ手術デバイス１４５０４に示されてよい。従って、ＶＲ／ＭＲ手術支援デバイスは、ＶＲ／ＭＲ手術支援デバイス１４５０８に提示された仮想モデルを空間で操作してよく、操作は、ＭＲ手術デバイス１４５０４で見ることができる他の仮想モデルに関してＭＲ手術デバイス１４５０４に提示されてよく、手術室にあり、ＭＲ手術デバイス１４５０４によって見ることができる患者の解剖学的構造へも位置合わせされてよい。このように、例えば、ＶＲ／ＭＲ手術支援デバイス１４５０８は、仮想モデルに対して仮想要素を提示することができ、このような仮想要素は、手術室の実際の患者の解剖学的構造に対して見えるように、ＭＲ手術デバイス１４５０４に見えてよい。いくつかの例では、コンテンツ１４５０８内に提示された仮想要素は、図１２７のＭＲ教育コンテンツ１２７０６に関して前述した仮想要素（または、前述した仮想要素の組み合わせ）のいずれをも含んでよい。

場合によっては、ＶＲ／ＭＲ手術支援デバイス１４５０８は、ＶＲ／ＭＲ手術支援デバイス１４５０８のユーザの術中教育を支援する選択可能な要素のメニューと共に構成されてよい。例えば、ＶＲ／ＭＲ手術支援デバイス１４５０８は、進行中の手術に関連付けられた複数の教育コンテンツ要素に対応する複数の選択可能な仮想要素を提示するように構成されてよく、仮想要素の１つを選択すると、第２のデバイスは、手術手順に関連付けられた前に実行されたステップの１つまたは複数に関して第２のユーザを教育するように構成される。

さらに、場合によっては、患者の解剖学的構造の仮想モデルに対するＶＲ／ＭＲ手術支援デバイス１４５０８による空間での操作は、手術室の患者の解剖学的構造へ位置合わせされた、位置合わせ済み仮想モデルに対する仮想操作としてＭＲ手術デバイス１４５０４には見えてよい。例えば、ＶＲ／ＭＲ手術支援デバイス１４５０８のユーザは、仮想モデルに対して仮想リーミング軸の所望の箇所を空間でデモンストレーションしてよく、このデモンストレーションは、ＭＲ手術デバイス１４５０４が見ると、仮想モデルは患者の解剖学的構造へ位置合わせされているので、患者の解剖学的構造に対して正確に配置されている仮想リーミング軸として、ＭＲ手術デバイス１４５０４に表示される。このタイプのデモンストレーションは、ＶＲ／ＭＲ手術支援デバイス１４５０８のユーザが、ＭＲ手術支援デバイス１４５０４のユーザに専門家の支援を提供するために非常に有用であり得る。

いくつかの例では、可視化デバイス２１３は、整形外科手術の前に実行されたステップに関してユーザを教育するように構成されてよい。この例では、可視化デバイスは、ＶＲ／ＭＲ手術支援デバイス１４５０８に対応してよく、１つまたは複数の仮想要素を生成するように構成された１つまたは複数のプロセッサ５１４と、画面５２０とを含んでよく、画面５２０は、複合現実提示の一部としてユーザに１つまたは複数の仮想要素を提示するように構成された透明な複合現実ディスプレイ画面（シースルーのホログラフィックレンズ等）を含んでよく、１つまたは複数の仮想要素は、整形外科手術手順の１つまたは複数の前に実行されたステップに関してユーザを教育する教育コンテンツを規定する。場合によっては、可視化デバイス２１３は、支援の要求に応答して、整形外科手術手順の前に実行されたステップに関してユーザを教育するように構成されてよい。

非制限的な例として、術中手術教育が、手術手順中、専門手術支援者（リモートにいて、連絡を受けて支援を提供する専門外科医等）を教育するのに有用であり得る教育コンテンツは、患者のスキャンもしくは患者の画像データのセグメント化、前に実行した手術ステップに関連する情報、前に使用された手術用ツールに関連する情報、埋め込まれるデバイスに関連する情報、整形外科手術手順で使用されるジグもしくはガイドに関連する情報、インプラントのために準備された患者の準備された解剖学的表面の１つまたは複数の画像またはビデオ、術前計画に関連する情報、前に実行した手術ステップに関連する１つまたは複数の画像、前に実行した手術ステップの１つまたは複数のビデオ、前に実行した手術ステップのタイミングに関連する情報、前に実行した手術ステップに関連する患者データ、計画された手術ステップのアニメーションまたは図、手術計画の１つまたは複数の画像またはビデオ、及び、整形外科手術手順の１つまたは複数の画像またはビデオのようなものを含んでよい。

場合によっては、可視化デバイス２１３の画面５２０は、複数の教育コンテンツ要素に対応する複数の選択可能な仮想要素を提示するように構成されてよく、仮想要素の１つを選択すると、可視化デバイス２１３は、手術に関連する前に実行されたステップの１つまたは複数に関してユーザに情報を与えるように構成されてよい。画面５２０は、例えば、シースルーのホログラフィックレンズ等、透明の複合現実ディスプレイ画面を含んでよい。

いくつかの例では、方法は、整形外科手術手順のステップで第１のユーザを支援するように第１のデバイスに第１の複合現実提示を提示することと、整形外科手術に関して手術支援を引き出すことと、手術支援を引き出すことに応答して、第２の複合現実デバイスまたは仮想現実デバイスを介して教育コンテンツを提示することとを含んでよく、ここで、教育コンテンツは、整形外科手術手順の１つまたは複数の前に実行されたステップに関する情報を含む。

ＶＲ／ＭＲ手術支援デバイス１４５０８の視点から、方法は、整形外科手術手順の支援の要求を受信することと、要求の受信に応答して、複合現実デバイスまたは仮想現実デバイスを介して教育コンテンツを提示することとを含んでよく、ここで、教育コンテンツは、整形外科手術手順の１つまたは複数の前に実行されたステップに関する情報を含む。教育コンテンツを受信し、学ぶと、ＶＲ／ＭＲ手術支援デバイス１４５０８のユーザは、整形外科手術手順に関してる教育された専門家の支援を与えるのに必要なものをより十分に備えることになる。

場合によっては、ＶＲ／ＭＲ手術支援デバイス１４５０８のリモートユーザは、手術ワークフローの一部として、ＭＲ手術デバイス１４５０４または手術室にある他のデバイスによって連絡されてよく、場合によっては、手術ワークフローの規定されたステップで自動的に連絡されてよい。ローカルのＭＲデバイスは、手術ワークフローの現在の段階を検出してよく、手順の特定のステップに関してＶＲ／ＭＲ手術支援デバイス１４５０８のユーザに手術支援を要求してよい。この場合、ＶＲ／ＭＲ手術支援デバイス１４５０８は、手術ワークフローの現在の段階に基づいて自動的に連絡されてよい。このように、ＶＲ／ＭＲ手術支援デバイス１４５０８を使用する大勢の外科専門医が、専門家の手術支援が必要な時のみ、外科専門医が関与できるように、手術手順の規定の段階で相談を受けることができる。

場合によっては、ＶＲ／ＭＲ手術支援デバイス１４５０８のユーザは、手順の特定のステップで手術セッション中にＭＲ手術デバイス１４５０４に接続されてよい。ローカルの手術参加者は、特定のステップでＶＲ／ＭＲ手術支援デバイス１４５０８のユーザに支援を求めて手動で呼び出すことができる、または、ＶＲ／ＭＲ手術支援デバイス１４５０８に連絡するための呼び出しもしくは他の方法は、手術ワークフローの現在の段階またはステップに基づいてＭＲ手術デバイス１４５０４によって自動的であってよい。

また、手術ワークフロープロセスが、ＭＲ手術デバイス１４５０４によって使用されて、ＶＲ／ＭＲ手術支援デバイス１４５０８に支援を求める場合、場合によっては、ＶＲ／ＭＲ手術支援デバイス１４５０８は、近い将来、支援を必要とするという事前通告をＭＲ手術デバイス１４５０４によって与えられてよい。例えば、手術の現在のワークフローに基づいて、１つまたは複数のローカルのＭＲデバイス（ＭＲ手術デバイス１４５０４等によって）は、ＶＲ／ＭＲ手術支援デバイス１４５０８に連絡して、今後、支援が必要であることを示してよい。ＭＲ手術デバイス１４５０４による支援のこの要求の一部として、ＶＲ／ＭＲ手術支援デバイス１４５０８は、支援が必要となる時の通知を与えるカウントダウン等、事前支援が必要となる時の警告または通知をＭＲ手術デバイス１４５０４によって与えられてよい。人工知能を使用して、現在進行中の手術支援の現在のステップまたは段階に基づいて（且つ、以前行われた手術手順に関する情報に基づいて）（手順の規定のステップまたは段階の）支援が必要な時の予測を提供してよい。今後のステップまたは段階が生じる時のより良い推定を提供し（それによって、ＶＲ／ＭＲ手術支援デバイス１４５０８のユーザによる今後の手術支援を要求、要望、または計画する）ように、画像検出及び音声検出が、ＭＲ手術デバイス１４５０４によって使用されて、手術手順の現在のステップまたは段階を規定または確認してよい。人工知能が、ＭＲ手術デバイス１４５０４が、例えば、現在進行している手術手順の現在のステップまたは段階に基づいて手術手順の今後のステップまたは段階のプロセスを学習し、タイミングを予測するＭＲ手術デバイス１４５０４が、ＶＲ／ＭＲ手術支援デバイス１４５０８のユーザを呼び出すタイミングをガイドし予測するのを支援してよい。手順を記録することと、音声、画像、作業ステップ、または手順の他の側面を識別することにより、ＭＲ手術デバイス１４５０４によって実施される人工知能がＶＲ／ＭＲ手術支援デバイス１４５０８からの支援が必要または要望される時を予測するのを可能にし得る。入力（音声、画像、作業ステップ等）が、現在の手術のワークフローステップと相関されてよく、これは次に、ＭＲ手術デバイス１４５０４によって使用されて、今後のワークフローステップのタイミングを予測してよい。これは、ＶＲ／ＭＲ手術支援デバイス１４５０８のユーザに通知またはスケジューリングを提供するのを支援することができ、リモート参加者からの支援を必要とする時、手術手順のダウンタイムを回避することができる。

図１４６及び図１４７は、進行中の手術手順の特定の詳細に関してリモートユーザの教育を支援する術中教育技術を示すフロー図である。図１４６に示すように、外科医または他の手術参加者が着用する可視化デバイス２１３は、整形外科手術手順のステップでユーザを支援する複合現実を提示してよい（１４６０１）。可視化デバイス２１３（または、他の手段）は、整形外科手術手順に対する手術支援を引き出してよい（１４６０２）。術中教育コンテンツが次に、ＭＲデバイスまたはＶＲデバイスを介して手術支援に提供されて、整形外科手術手順の前のステップに関して外科専門医を教育してよい（１４６０３）。このように、外科専門医（例えば、ＭＲまたはＶＲを使用して術中に相談を受ける専門外科医）は、手順に関する情報を教育的に提供されて、手術支援が有用及び正確であることを確実にすることができる。

図１４７は、図１４５に示す手術システム１４５０１の例示のＶＲ／ＭＲ手術支援デバイス１４５０８の視点から例示の方法を示す。図１４７に示すように、ＶＲ／ＭＲ手術支援デバイス１４５０８（または、ＶＲ／ＭＲ手術支援デバイス１４５０８のユーザ）は、整形外科手術手順の支援の要求を受信する（１４７０１）。いくつかの例では、ＶＲ／ＭＲ手術支援デバイス１４５０８は、ＭＲ手術デバイス１４５０４から支援の要求を受信する。他の例では、支援の要求は、ＭＲ手術デバイス１４５０４からＶＲ／ＭＲ手術支援デバイス１４５０８のユーザへの電話、Ｅメール、テキストメッセージ、または任意の他のメッセージを介して等、ＶＲ／ＭＲ手術支援デバイス１４５０８のユーザへの要求を含んでよい。また、いくつかの例では、ＭＲ手術デバイス１４５０４のユーザ（例えば、ローカルの外科医）による発言に応答して、ＭＲ手術デバイス１４５０４が、音声をテキストに変換する技術を使用して、テキストベースの要求をＶＲ／ＭＲ手術支援デバイス１４５０８のユーザに送信することが望ましい場合がある。音声をテキストに変換する技術は、ローカルの外科医が手を使ってＶＲ／ＭＲ手術支援デバイス１４５０８のユーザと通信することができない時特に、有用であり得る。場合によっては、音声をテキストに変換する技術が、文書による要約、現在の状態もしくは手順、手順の１つまたは複数の事象、手術の進行、及び／または手術手順中に起こった問題を伝えるために、ＭＲ手術デバイス１４５０４によって使用されてよい。

いくつかの例では、ＭＲ手術デバイス１４５０４は、ＭＲ手術デバイス１４５０４のユーザからユーザ入力の指示を受信することに応答して、ＶＲ／ＭＲ手術支援デバイス１４５０８に支援の要求を自動的に送信するように構成されてよい。例えば、ＭＲ手術デバイス１４５０４のユーザは、仮想アイコンまたはウィジェットを選択して、ＭＲ手術デバイス１４５０４に、支援の要求をＶＲ／ＭＲ手術支援デバイス１４５０８に送信させてよい。いくつかの例では、ＭＲ手術デバイス１４５０４は、ＭＲ手術デバイス１４５０４のユーザが「専門家に連絡したい」と言う発話、または何らかの他のトリガフレーズの発話を検出することに応答して、支援の要求をＶＲ／ＭＲ手術支援デバイス１４５０８に送信してよい。ＭＲ手術デバイス１４５０４が自動的に支援の要求を送信する例では、本明細書に記載の「情報提供」機能のいくつかまたは全てが、同様に、ＶＲ／ＭＲ手術支援デバイス１４５０８に自動的に通信されてよい。

例えば、支援の要求に応答して、ＶＲ／ＭＲ手術支援デバイス１４５０８は、整形外科手術手順の前のステップに関する術中教育コンテンツを提示するように構成される（１４７０２）。前のステップは、例えば、整形外科手術手順に関して既に行われた手術の、または術前ステップのいずれかを含んでよい。ＶＲ／ＭＲ手術支援デバイス１４５０８を使用して、専門家は次に、整形外科手術手順に関して教育された専門家の支援を伝えてよい（１４７０３）。

ここでも、手術手順中に専門手術支援者（リモートにいて支援を提供するように連絡を受けた専門外科医等）に情報を与えるための術中手術教育に有用であり得るコンテンツのいくつかの非制限的で非包括的な例には、患者のスキャンもしくは患者の画像データのセグメント化、進行中の整形外科手術手順の前に実行されたステップに関連する情報、前に使用された手術用ツールに関連する情報、埋め込まれるデバイスに関連する情報、整形外科手術手順で使用されるジグもしくはガイドに関連付けられた情報、インプラントのために準備された患者の準備された解剖学的表面の１つまたは複数の画像またはビデオ、術前計画に関連する情報、進行中の整形外科手術手順の前に実行されたステップに関連する１つまたは複数の画像、進行中の整形外科手術手順の前に実行されたステップの１つまたは複数のビデオ、進行中の整形外科手術手順の前に実行されたステップのタイミングに関連する情報、前に実行した手術ステップに関連する患者データ、計画された手術ステップのアニメーションまたは図、手術計画の１つまたは複数の画像またはビデオ、及び、整形外科手術手順の１つまたは複数の画像またはビデオ等のものが含まれてよい。

また、いくつかの例では、コンテンツ１４５０６は、整形外科手術手順の１つまたは複数の画像またはビデオを含んでよく、これらの画像またはビデオは、整形外科手術手順中にＭＲ手術デバイス１４５０４によってキャプチャされてよい、または、整形外科手術手順中に手術室にある別のカメラもしくは別のＭＲデバイスによってキャプチャされてよい。画像またはビデオは時間インデックスを付けられてよい。または、場合によっては、画像またはビデオは、ＶＲ／ＭＲ手術支援デバイス１４５０８が、特定の手術ステップまたは段階を選択して、これらのステップまたは段階で記録された画像またはビデオを見ることができるように、手術ステップまたは段階に基づいてインデックスを付けられてよい。ステップまたは段階は、典型的に画像と共に示される術前計画ステップと、ビデオまたは画像と共に示され得る術中ステップとを含んでよい。いくつかの例では、ＶＲ／ＭＲ手術支援デバイス１４５０８は、ＭＲ手術デバイス１４５０４が見る仮想要素またはビューを提示してよい。このような例では、ＶＲ／ＭＲ手術支援デバイス１４５０８はまた、（例えば、ＶＲ／ＭＲ手術支援デバイス１４５０８が見た提示上に、上または側面図で）ＭＲ術前計画モデルを提示してよい。

ＶＲ／ＭＲ手術支援デバイス１４５０８は、１つのデバイスとして示されるが、複数のＶＲ／ＭＲ手術支援デバイス１４５０８を有することも可能で、各ＶＲ／ＭＲ手術支援デバイス１４５０８は、手術手順の異なる段階で必要とされる異なる外科専門医に関連付けられてよい。複数のＶＲ／ＭＲ手術支援デバイス１４５０８は、専門家のチームまたはコミュニティが支援を提供するのを可能にし得る。複数の専門家は、特定の課題で集合的に支援してよい、または、課題は、チームの特定のメンバーに割り当てられてよい、または、課題は、専門家のコミュニティに割り当てられてよい。例えば、ローカルの外科医は、リモート外科医のチームから支援を引き出してよく、チームのメンバーは、ＶＲ／ＭＲ手術支援デバイス１４５０８の１つを介して支援を提供する要求を受け入れてよい。いくつかの例では、支援の要求は、先着順で、ＭＲ手術デバイス１４５０４によってリモート参加者に割り当てられてよい。いくつかの例では、支援の要求は、支援チームの特定のメンバーの専門知識に基づいて、ＭＲ手術デバイス１４５０４によって支援チームの特定のメンバーに割り当てられてよい。

いくつかの例では、整形外科手術手順に関して教育された専門家の支援を伝えること（１４７０３）は、仮想情報を提示することを含む。さらに、いくつかの例では、仮想情報は、支援を提供する人に関連付けられた第１のデバイス（ＶＲ／ＭＲ手術支援デバイス１４５０８）によって見ることができ、操作可能である、また、仮想情報は、支援を要求する人に関連付けられた第２のデバイス（例えば、ＭＲ手術デバイス１４５０４）によって患者の解剖学的構造に対して見ることができる。例えば、ＶＲ／ＭＲ手術支援デバイス１４５０８は、仮想モデルを自由空間に提示し、仮想モデルは、支援を提供しているユーザによって操作され、この仮想モデルは、ＭＲ手術デバイス１４５０４に見えてよく、ＭＲ手術デバイス１４５０４の視点からの患者の解剖学的構造によって位置合わせされてよい。より一般的に言うと、図１２７のＭＲ教育コンテンツ１２７０６に関して前述した任意の仮想コンテンツ、仮想モデルまたは仮想要素が、例えば、ＶＲ／ＭＲ手術支援デバイス１４５０８のユーザに情報を与えるために、または、ＶＲ／ＭＲ手術支援デバイス１４５０８のユーザからＭＲ手術デバイス１４５０４のユーザに仮想支援による支援を提供するために、整形外科手術支援のコンテンツ１４５０６内に含まれてよい。

技術を限られた数の例に関して開示したが、本開示の恩恵を有する当業者は、これらの例から多くの修正及び変形を理解されよう。例えば、記載した任意の理にかなった任意の組み合わせを行ってよいことが企図される。添付の請求項は、発明の真の原理及び範囲内に入るとして、このような修正及び変形を対象に含めることを意図している。

例に応じて、本明細書に記載の技術のいずれのある特定の行為または事象も、異なる順で行うことができ、追加、統合、または、完全に取り除いてよい（例えば、記載した全ての行為または事象が、技術の実践に必要なわけではない）ことを認識されたい。さらに、ある特定の例では、行為または事象は、順次ではなく、同時に、例えば、マルチスレッド処理、インタラプト処理、または複数のプロセッサを通して行われてよい。

１つまたは複数の例において、記載の機能は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの任意の組み合わせで実施されてよい。ソフトウェアで実施される場合、機能は、コンピュータ可読媒体上で１つまたは複数の命令またはコードとして記憶または送信されてよく、ハードウェアベースの処理ユニットによって実行されてよい。コンピュータ可読媒体は、コンピュータ可読記憶媒体を含んでよく、コンピュータ可読記憶媒体は、例えば、通信プロトコルに従ってコンピュータプログラムの１つの場所から他の場所への転送を容易にする任意の媒体を含むデータ記憶媒体または通信媒体等の有形媒体に対応する。このように、コンピュータ可読媒体は一般に、（１）非一時的な有形のコンピュータ可読記憶媒体、または（２）信号もしくは搬送波等の通信媒体に対応してよい。データ記憶媒体は、本開示に記載の技術を実施するための命令、コード及び／またはデータ構造を読み出すために１つまたは複数のコンピュータまたは１つまたは複数のプロセッサによってアクセス可能な任意の入手可能な媒体であってよい。コンピュータプログラム製品は、コンピュータ可読媒体を含んでよい。

制限ではなく、例示として、このようなコンピュータ可読記憶媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＣＤ－ＲＯＭ、もしくは他の光学ディスクストレージ、磁気ディスクストレージ、もしくは他の磁気ストレージデバイス、フラッシュメモリ、または、所望のプログラムコードを命令またはデータ構造の形態で記憶するように使用でき、且つ、コンピュータによってアクセスできる任意の他の媒体を含み得る。また、任意の接続が、コンピュータ可読媒体と呼ばれて適切である。例えば、命令が、同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者線（ＤＳＬ）、または、赤外線、ラジオ、及びマイクロ波等の無線技術を用いて、ウェブサイト、サーバ、または他のリモートソースから送信される場合、同軸ケーブル、光ファイバケーブル、ツイストペア、ＤＳＬ、または赤外線、ラジオ、及びマイクロ波等の無線技術は、媒体という定義に含まれる。しかしながら、コンピュータ可読記憶媒体及びデータ記憶媒体は、接続、搬送波、信号、または他の一時的媒体を含まず、非一時的な有形媒体を対象にすることを理解されたい。本明細書に記載される場合、ディスク（ｄｉｓｋ）及び（ｄｉｓｃ）は、コンパクトディスク（ＣＤ）、レーザーディスク（登録商標）、光ディスク、デジタル多用途ディスク（ＤＶＤ）、フロッピー（登録商標）ディスク、及びブルーレイディスクを含み、ここで、ディスク（ｄｉｓｋ）は通常、データを磁気的に再生し、ディスク（ｄｉｓｃ）は、レーザを用いてデータを光学的に再生する。上述の媒体の組み合わせも、コンピュータ可読媒体の範囲内に含まれるものとする。

本開示に記載の動作は、１つまたは複数のプロセッサによって行われてよく、１つまたは複数のプロセッサは、１つまたは複数のデジタル信号プロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の同等の集積もしくは別個の論理回路等、固定機能処理回路、プログラム可能回路、または、これらの組み合わせとして実施されてよい。固定機能回路は、特定の機能を提供し、実行できる動作に関して前もってセットされた回路を指す。プログラム可能回路は、様々なタスクを行うようにプログラムすることができ、実行できる動作において柔軟な機能を提供する回路を指す。例えば、プログラム可能回路は、ソフトウェアまたはファームウェアの命令によって規定された方法でプログラム可能回路を動作させるソフトウェアまたはファームウェアによって指定された命令を実行してよい。固定機能回路は、ソフトウェア命令を実行して、（例えば、パラメータを受信、またはパラメータを出力）してよいが、固定機能回路が行う動作のタイプは一般的に変化しない。従って、「プロセッサ」及び「処理回路」という用語は、本明細書で使用される場合、前述の構造のいずれか、または、本明細書に記載の技術の実施に適した任意の他の構造を指してよい。

様々な例を記載した。これらの例及び他の例は、次の請求項の範囲内にある。
以下に、出願当初の特許請求の範囲に記載の事項を、そのまま、付記しておく。
［Ｃ１］
整形外科医が着用するエクステンデッドリアリティ（ＸＲ）可視化デバイスにより、表示のためのＸＲ可視化を出力することであって、前記ＸＲ可視化は、１つまたは複数の仮想チェックリスト項目のセットを含み、前記１つまたは複数の仮想チェックリスト項目のそれぞれは、整形外科手術のステップのチェックリストの項目に対応する、前記ＸＲ可視化を出力すること、
前記ＸＲ可視化デバイスにより、前記仮想チェックリスト項目のセットの仮想チェックリスト項目を選択する前記整形外科医のコマンドを検出すること、及び
前記コマンドを検出することに応答して、前記ＸＲ可視化デバイスにより、前記選択された仮想チェックリスト項目に対応する前記整形外科手術のステップに関する追加情報を含むように前記ＸＲ可視化を更新すること
を含む、方法。
［Ｃ２］
前記コマンドは、第１のコマンドであり、前記方法は、
前記ＸＲ可視化デバイスにより、前記整形外科医からの、前記整形外科手術の前記ステップに完了のマークを付ける第２のコマンドを検出すること、及び
前記第２のコマンドに基づいて、前記ＸＲ可視化デバイスにより、前記整形外科手術のステップの前記チェックリストの次のステップに対応する仮想チェックリスト項目を含むように前記ＸＲ可視化を更新すること
をさらに含む、Ｃ１に記載の方法。
［Ｃ３］
前記整形外科医は、第１の人であり、
前記方法は、
前記整形外科医からの、前記整形外科手術の前記ステップに完了のマークを付ける前記第２のコマンドに応答して、第２の人に関連付けられたコンピューティングデバイスにより、前記整形外科手術の前記ステップが完了したことを確認するように前記第２の人に促すことであって、前記第２の人に関連付けられた前記コンピューティングデバイスは、前記ＸＲ可視化デバイスに通信可能に結合されている、前記第２の人に促すこと
をさらに含み、
前記整形外科手術の前記ステップの前記チェックリストの前記次のステップに対応する前記仮想チェックリスト項目を含むように前記ＸＲ可視化を更新することは、前記整形外科手術の前記ステップが実際に完了していると前記第２の人が確認することに応答して、前記ＸＲ可視化デバイスにより、前記整形外科手術のステップの前記チェックリストの前記次のステップに対応する前記仮想チェックリスト項目を含むように前記ＸＲ可視化を更新することを含む、
Ｃ２に記載の方法。
［Ｃ４］
前記追加情報を含むように前記ＸＲ可視化を更新することは、前記ＸＲ可視化デバイスにより、前記整形外科手術の前記ステップに関連付けられた１つまたは複数の仮想３次元物体を含むように前記ＸＲ可視化を更新することを含む、Ｃ１～３のいずれかに記載の方法。
［Ｃ５］
前記１つまたは複数の仮想３次元物体は、前記整形外科手術の前記ステップに関与する骨の１つまたは複数の仮想３次元モデルを含む、Ｃ４に記載の方法。
［Ｃ６］
前記整形外科手術の前記ステップに関連付けられた前記１つまたは複数の仮想３次元物体を含むように前記ＸＲ可視化を更新することは、前記ＸＲ可視化デバイスにより、前記１つまたは複数の仮想３次元物体に適用される前記整形外科手術の前記ステップのアニメーションを前記整形外科医に見せるように前記ＸＲ可視化を更新することを含む、Ｃ４～６のいずれかに記載の方法。
［Ｃ７］
前記コマンドは、第１のコマンドであり、
前記方法は、
前記整形外科医からの第２のコマンドに応答して、前記ＸＲ可視化デバイスにより、前記１つまたは複数の仮想３次元物体を回転またはスケール調整するように前記ＸＲ可視化を更新すること
をさらに含む、Ｃ４～６のいずれかに記載の方法。
［Ｃ８］
前記整形外科手術の前記ステップは、前記患者に固有である、Ｃ１～７のいずれかに記載の方法。
［Ｃ９］
前記ＸＲ可視化デバイスは、複合現実（ＭＲ）可視化デバイスであり、前記ＸＲ可視化は、ＭＲ可視化である、Ｃ１～８のいずれかに記載の方法。
［Ｃ１０］
前記整形外科手術は、整形外科的関節修復手術である、Ｃ１～９のいずれかに記載の方法。
［Ｃ１１］
前記整形外科的関節修復手術は、標準的全肩関節形成または逆肩関節形成のうちの１つを含む、Ｃ１０に記載の方法。
［Ｃ１２］
前記整形外科手術の前記ステップは、関節窩骨の準備及び／または上腕骨の準備に関する１つまたは複数の詳細を含む、Ｃ１１に記載の方法。
［Ｃ１３］
前記コマンドは、非接触型コマンドであり、
前記コマンドは、前記整形外科医がいずれの固体物体にも触れずに実行される、
Ｃ１～１１のいずれかに記載の方法。
［Ｃ１４］
エクステンデッドリアリティ（ＸＲ）可視化デバイスを含むシステムであって、前記ＸＲ可視化デバイスは、
整形外科医に表示するためにＸＲ可視化を出力するように構成されたディスプレイデバイスであって、前記ＸＲ可視化は、１つまたは複数の仮想チェックリスト項目のセットを含み、前記１つまたは複数の仮想チェックリスト項目のそれぞれは、整形外科手術のステップのチェックリストの項目に対応する、前記ディスプレイデバイス、
前記整形外科医の、前記仮想チェックリスト項目のセットの仮想チェックリスト項目を選択するコマンドを検出するように構成された１つまたは複数のセンサであって、前記コマンドは、前記整形外科医がいずれの固体物体にも触れずに実行される、前記１つまたは複数のセンサ、及び
前記コマンドを検出することに応答して、前記選択された仮想チェックリスト項目に対応する前記整形外科手術のステップに関する追加情報を含むように前記ＸＲ可視化を更新するように構成された１つまたは複数の処理回路
を含む、前記システム。
［Ｃ１５］
前記コマンドは、第１のコマンドであり、前記１つまたは複数のセンサは、前記整形外科医からの、前記整形外科手術の前記ステップに完了のマークを付ける第２のコマンドを検出するようにさらに構成され、
１つまたは複数の処理回路が、前記第２のコマンドに基づいて、前記整形外科手術のステップの前記チェックリストの次のステップに対応する仮想チェックリスト項目を含むように前記ＸＲ可視化を更新するように構成される、
Ｃ１４に記載のシステム。
［Ｃ１６］
前記整形外科医は、第１の人であり、
前記システムは、
第２の人に関連付けられたコンピューティングデバイスをさらに含み、前記コンピューティングデバイスは、前記整形外科医からの、前記整形外科手術の前記ステップに完了のマークを付ける前記第２のコマンドに応答して、前記整形外科手術の前記ステップが完了したことを確認するように前記第２の人に促すように構成された１つまたは複数の処理回路を含み、前記第２の人に関連付けられた前記コンピューティングデバイスは、前記ＸＲ可視化デバイスに通信可能に結合されており、
前記ＸＲ可視化デバイスの前記１つまたは複数の処理回路は、前記整形外科手術のステップの前記チェックリストの前記次のステップに対応する前記仮想チェックリスト項目を含むように前記ＸＲ可視化を更新する一部として、前記ＸＲ可視化デバイスの前記１つまたは複数の処理回路が、前記整形外科手術の前記ステップが実際に完了していると前記第２の人が確認することに応答して、前記整形外科手術のステップの前記チェックリストの前記次のステップに対応する前記仮想チェックリスト項目を含むように前記ＸＲ可視化を更新するように、構成される、
Ｃ１５に記載のシステム。
［Ｃ１７］
前記ＸＲ可視化デバイスの前記１つまたは複数の処理回路は、前記追加情報を含むように前記ＸＲ可視化を更新することの一部として、前記ＸＲ可視化デバイスの前記１つまたは複数の処理回路が、前記整形外科手術の前記ステップに関連付けられた１つまたは複数の仮想３次元物体を含むように前記ＸＲ可視化を更新するように構成される、Ｃ１４～１６のいずれかに記載のシステム。
［Ｃ１８］
前記１つまたは複数の仮想３次元物体は、前記整形外科手術の前記ステップに関与する骨の１つまたは複数の仮想３次元モデルを含む、Ｃ１７に記載のシステム。
［Ｃ１９］
前記ＸＲ可視化デバイスの前記１つまたは複数の処理回路は、前記整形外科手術の前記ステップに関連付けられた前記１つまたは複数の仮想３次元物体を含むように前記ＸＲ可視化を更新する一部として、前記１つまたは複数の処理回路が、前記１つまたは複数の仮想３次元物体に適用される前記整形外科手術の前記ステップのアニメーションを前記整形外科医に見せるように前記ＸＲ可視化を更新するように構成されるように、構成される、Ｃ１７～１８のいずれかに記載のシステム。
［Ｃ２０］
前記コマンドは、第１のコマンドであり、
前記ＸＲ可視化デバイスの前記１つまたは複数の処理回路は、前記整形外科医からの第２のコマンドに応答して、前記１つまたは複数の仮想３次元物体を回転またはスケール調整するように前記ＸＲ可視化を更新するようにさらに構成される
Ｃ１７～１９のいずれかに記載のシステム。
［Ｃ２１］
前記整形外科手術の前記ステップは、前記患者に固有である、Ｃ１４～２０のいずれかに記載のシステム。
［Ｃ２２］
前記ＸＲ可視化デバイスは、複合現実（ＭＲ）可視化デバイスであり、前記ＸＲ可視化は、ＭＲ可視化である、Ｃ１４～２１のいずれかに記載のシステム。
［Ｃ２３］
前記整形外科手術は、整形外科的関節修復手術である、Ｃ１４～２のいずれかに記載のシステム。
［Ｃ２４］
前記整形外科的関節修復手術は、標準的全肩関節形成または逆肩関節形成の１つを含む、Ｃ２３に記載のシステム。
［Ｃ２５］
前記整形外科手術の前記ステップは、関節窩骨の準備及び／または上腕骨の準備に関する１つまたは複数の詳細を含む、Ｃ２４に記載のシステム。
［Ｃ２６］
前記コマンドは、非接触型コマンドであり、前記コマンドは、前記整形外科医がいずれの固体物体にも触れずに実行される、Ｃ１４～２５のいずれかに記載のシステム。
［Ｃ２７］
Ｃ１～１３のいずれかに記載の方法を実行する手段を含むシステム。
［Ｃ２８］
実行されると、エクステンデッドリアリティ（ＸＲ）可視化デバイスにＣ１～１３のいずれかに記載の方法を実行させる命令を記憶するコンピュータ可読媒体。

Claims (13)

1. 整形外科医が着用するエクステンドリアリティ（ＸＲ）可視化デバイスにより、表示のためにＸＲ可視化を出力することであって、前記ＸＲ可視化は、整形外科手術のステップのチェックリストにおける第１の仮想チェックリスト項目を含み、前記第１の仮想チェックリスト項目は、前記整形外科手術の第１のステップを説明するテキストを含む、前記ＸＲ可視化を出力すること、ここにおいて、前記整形外科医は、第１の人であり、
   前記ＸＲ可視化デバイスにより、前記整形外科医の、前記整形外科手術の前記第１のステップに完了のマークを付けるコマンドを検出すること、ならびに
   前記コマンドに基づいて、
   前記第１のステップが完了したことを示すデータを記憶すること、及び
   前記ＸＲ可視化デバイスにより、前記チェックリストにおける第２の仮想チェックリスト項目を含むように前記ＸＲ可視化を更新することであって、前記第２の仮想チェックリスト項目は、前記整形外科手術の次のステップを説明するテキストを含む、前記ＸＲ可視化を更新すること
   前記整形外科医からの、前記整形外科手術の前記第１のステップに完了のマークを付ける前記コマンドに応答して、第２の人に関連付けられたコンピューティングデバイスにより、前記整形外科手術の前記第１のステップが完了したことを確認するように前記第２の人に促すこと、前記第２の人に関連付けられた前記コンピューティングデバイスは、前記ＸＲ可視化デバイスに通信可能に結合されており、
   前記第２の仮想チェックリスト項目を含むように前記ＸＲ可視化を更新することは、前記整形外科手術の前記第１のステップが実際に完了したことを前記第２の人が確認することに応答して、前記ＸＲ可視化デバイスにより、前記第２の仮想チェックリスト項目を含むように前記ＸＲ可視化を更新することを含む
   を含む、方法。
2. 前記コマンドは、第１のコマンドであり、前記方法は、
   前記第１のコマンドを検出する前に、前記ＸＲ可視化デバイスにより、前記第１の仮想チェックリスト項目を選択する第２のコマンドを検出すること、及び
   前記第２のコマンドに基づいて、前記ＸＲ可視化デバイスにより、前記整形外科手術の前記第１のステップに関する追加情報を含むように前記ＸＲ可視化を更新すること
   をさらに含む、請求項１に記載の方法。
3. 前記方法は、前記ＸＲ可視化デバイスにより、前記整形外科手術の前記第１のステップに関連付けられた１つまたは複数の仮想３次元物体を含むように前記ＸＲ可視化を更新することを、さらに含む、請求項１～２のいずれかに記載の方法。
4. 前記１つまたは複数の仮想３次元物体は、前記整形外科手術の前記ステップに関与する骨の前記１つまたは複数の仮想３次元モデルを含む、請求項３に記載の方法。
5. 前記整形外科手術の前記第１のステップは、前記患者に固有である、請求項１～４のいずれかに記載の方法。
6. 前記ＸＲ可視化デバイスは、複合現実（ＭＲ）可視化デバイスであり、前記ＸＲ可視化は、ＭＲ可視化である、請求項１～５のいずれかに記載の方法。
7. 前記整形外科手術は、解剖学的全肩形成、または逆肩形成のうちの１つを含む、請求項１～６のいずれかに記載の方法。
8. 前記コマンドは、非接触型コマンドであり、前記コマンドは、前記整形外科医がいずれの固体物体にも触れることなく実行される、請求項１～７のいずれかに記載の方法。
9. 仮想手術計画が、前記整形外科手術の前記ステップを規定する情報を含み、前記整形外科手術の前記ステップは、患者の解剖学的構造への人工装具の取付のための前記患者の前記解剖学的構造の準備、または前記患者の前記解剖学的構造への前記人工装具の取付のうちの少なくとも１つを含む、請求項１～８のいずれかに記載の方法。
10. 整形外科医が着用するエクステンドリアリティ（ＸＲ）可視化デバイスによって、表示のためにＸＲ可視化を出力する手段であって、前記ＸＲ可視化は、整形外科手術のステップのチェックリストにおける第１の仮想チェックリスト項目を含み、前記第１の仮想チェックリスト項目は、前記整形外科手術の第１のステップを説明するテキストを含む、前記ＸＲ可視化を出力する手段、ここにおいて、前記整形外科医は、第１の人であり、
    前記ＸＲ可視化デバイスにより、前記整形外科医の、前記第１のステップに完了のマークを付けるコマンドを検出する手段、
    前記コマンドに基づいて、前記第１のステップが完了したことを示すデータを記憶する手段、及び
    前記コマンドに基づいて、前記ＸＲ可視化デバイスにより、前記チェックリストにおける第２の仮想チェックリスト項目を含むように前記ＸＲ可視化を更新する手段であって、前記第２の仮想チェックリスト項目は、前記整形外科手術の次のステップを説明するテキストを含む、前記ＸＲ可視化を更新する手段
    前記整形外科医からの、前記整形外科手術の前記第１のステップに完了のマークを付ける前記コマンドに応答して、第２の人に関連付けられたコンピューティングデバイスにより、前記整形外科手術の前記第１のステップが完了したことを確認するように前記第２の人に促す手段、前記第２の人に関連付けられた前記コンピューティングデバイスは、前記ＸＲ可視化デバイスに通信可能に結合されており、
    前記第２の仮想チェックリスト項目を含むように前記ＸＲ可視化を更新する手段は、前記整形外科手術の前記第１のステップが実際に完了したことを前記第２の人が確認することに応答して、前記ＸＲ可視化デバイスにより、前記第２の仮想チェックリスト項目を含むように前記ＸＲ可視化を更新する手段を含む
    を含む、システム。
11. 請求項２～９のいずれかに記載の方法を行う手段をさらに含む、請求項１０に記載のシステム。
12. 命令を記憶するコンピュータ可読記憶媒体であって、前記命令は、実行されると、整形外科医が着用するエクステンドリアリティ（ＸＲ）可視化デバイスに、
    表示のためにＸＲ可視化を出力させることであって、前記ＸＲ可視化は、整形外科手術のステップのチェックリストにおける第１の仮想チェックリスト項目を含み、前記第１の仮想チェックリスト項目は、前記整形外科手術の第１のステップを説明するテキストを含む、前記ＸＲ可視化を出力させること、ここにおいて、前記整形外科医は、第１の人であり、
    前記整形外科医の、前記第１のステップに完了のマークを付けるコマンドを検出すること、ならびに
    前記コマンドに基づいて
    前記第１のステップが完了したことを示すデータを記憶すること、及び
    前記チェックリストにおける第２の仮想チェックリスト項目を含むように前記ＸＲ可視化を更新することであって、前記第２の仮想チェックリスト項目は、前記整形外科手術の次のステップを説明するテキストを含む、前記ＸＲ可視化を更新すること、
    前記整形外科医からの、前記整形外科手術の前記第１のステップに完了のマークを付ける前記コマンドに応答して、第２の人に関連付けられたコンピューティングデバイスにより、前記整形外科手術の前記第１のステップが完了したことを確認するように前記第２の人に促すこと、前記第２の人に関連付けられた前記コンピューティングデバイスは、前記ＸＲ可視化デバイスに通信可能に結合されており、
    前記第２の仮想チェックリスト項目を含むように前記ＸＲ可視化を更新することは、前記整形外科手術の前記第１のステップが実際に完了したことを前記第２の人が確認することに応答して、前記ＸＲ可視化デバイスにより、前記第２の仮想チェックリスト項目を含むように前記ＸＲ可視化を更新することを含む
    を行わせる、前記コンピュータ可読記憶媒体。
13. 実行されると、前記ＸＲ可視化デバイスに、請求項２～９のいずれかの方法を行わせる命令をさらに記憶する、請求項１２に記載のコンピュータ可読記憶媒体。

Images