JP2024514637A - 外科用情報を表示する頻度間隔を予測するための１つ以上の外科用デバイスのコンテキストパラメータの利用 - Google Patents

Abstract

拡張ディスプレイを仮想要素で過飽和にすることなく、関連する拡張現実（ＡＲ）コンテンツを外科職員に表示するためのシステム、方法、及びデバイス。外科職員（例えば、医師、看護師、外科医、技術者等）は、外科医の注意をそらすことなく有用な情報を表示することの間で微妙にバランスのとれたＡＲコンテンツを必要とする。外科用ハブは、外科的環境に関する複数の入力を受信し、判定されたトリガイベントに基づいて、外科医が患者に効果的なケアを提供することを可能にするために必要な情報のみを表示する。

Description

（関連出願の相互参照）
本出願は、米国特許法第１１９条（ｅ）の下で、２０２１年４月１４日に出願された「ＨＥＡＤＳ ＵＰ ＤＩＳＰＬＡＹ」と題する米国仮特許出願第６３／１７４，６７４号、及び２０２１年１１月３０日に出願された「ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国仮特許出願第６３／２８４，３２６号に対する利益を主張するものであり、これらの各々の開示は、その全体が参照により本明細書に組み込まれる。

本開示は、外科的処置中に拡張現実インタラクティブ体験を提供するための装置、システム、及び方法に関する。外科的処置中に、実世界に存在するオブジェクトが、時には視覚、聴覚、触覚、体性感覚、及び嗅覚を含む複数の感覚モダリティにわたって、コンピュータ生成された知覚情報をオーバーレイすることによって強化される、実世界環境の拡張現実インタラクティブ体験を提供することが望ましいであろう。本開示の文脈では、術野並びに術野に現れる外科用器具及び他のオブジェクトの画像は、コンピュータ生成された視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚情報を、術野並びに術野に現れる器具又は他のオブジェクトの実世界画像上にオーバーレイすることによって強化される。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。

実世界の外科用器具は、エネルギー、ステープラ、又はエネルギーとステープラとの組み合わせを含む、種々の外科用デバイスを含む。エネルギーベースの医療デバイスは、限定ではないが、とりわけ、無線周波数（ＲＦ）ベースの単極及び双極電気外科用器具、超音波外科用器具、ＲＦ電気外科用器具と超音波器具との組み合わせ、ＲＦ電気外科用ステープラと機械的ステープラとの組み合わせを含む。外科用ステープラデバイスは、肥満、胸部、結腸直腸、産婦人科、泌尿器科、及び一般外科を含む、種々の外科的処置において組織を切断及びステープル留めするために使用される外科用器具である。

様々な例において、本開示は、外科用システムであって、遠隔サーバと、拡張現実（ＡＲ）出力デバイスと、１つ以上の外科用デバイスと、遠隔サーバ、１つ以上の外科用デバイス、及びＡＲ出力デバイスに通信可能に連結された外科用ハブであって、メモリに連結された制御回路を備える外科用ハブと、を備え、制御回路は、外科的環境からコンテキストパラメータを判定することと、コンテキストパラメータから、手術室で実行されている特定の外科的処置を判定することと、遠隔サーバから、処置データを受信することであって、処置データが、特定の外科的処置に関連付けられたステップ及び外科用器具を示す、ことと、処置データ及びコンテキストパラメータに基づいて、トリガイベントが予想されると判定することと、外科用器具及び処置データに従って、予想されるトリガイベントに対する応答を開始することと、を行うように構成されている、外科用システムを提供する。

様々な例において、本開示は、外科的処置中の外科用デバイスの相互作用を管理するための方法であって、外科用ハブによって、外科的環境からコンテキストパラメータを判定することと、外科用ハブによって、コンテキストパラメータに基づいて手術室内で行われている特定の外科的処置を判定することと、外科用ハブによって、遠隔サーバから処置データを受信することであって、処置データが、特定の外科的処置に関連付けられたステップ及び外科用器具を示す、ことと、外科用ハブによって、処置データ及びコンテキストパラメータに基づいてトリガイベントが予想されると判定することと、外科用ハブによって、外科用器具及び処置データに従って応答を開始することと、を含む方法を提供する。

構成及び操作方法の両方に関して本明細書で説明する様々な態様は、それらの更なる目的及び利点とともに、以下の説明を以下の添付図面と併せて参照することで最良に理解され得る。
本開示の一態様による、コンピュータ実装インタラクティブ外科用システムのブロック図である。 本開示の一態様による、手術室内で外科的処置を実行するために使用される外科用システムの図である。 本開示の一態様による、可視化システム、ロボットシステム、及びインテリジェント器具とペアリングされた外科用ハブである。 本開示の一態様による、医療施設の１つ以上の手術現場、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置しているモジュール式デバイスをクラウドに接続するように構成されたモジュール式通信ハブを含む外科用データネットワークを示す図である。 本開示の一態様による、コンピュータ実装インタラクティブ外科用システムを示す図である。 本開示の一態様による、モジュール式制御タワーに連結された複数のモジュールを含む外科用ハブを示す図である。 本開示の一態様による、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実（ＡＲ）システムを示す図である。 本開示の一態様による、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実（ＡＲ）システムを示す図である。 本開示の一態様による、外科用ハブにデータを通信するために外科医によって装着される拡張現実（ＡＲ）デバイスを示す図である。 本開示の一態様による、拡張現実ディスプレイを使用して外科用器具情報を拡張するためのシステムを示す図である。 本開示の一態様による、状況認識外科的処置のタイムラインを示す図である。 本開示の一態様による、予想される信号干渉に対する外科用ハブによる周波数シフト応答のグラフィカル表現を示す図である。 本開示の一態様による、外科用ハブによってスケジュールされたデバイス起動及び通信送信のタイムラインを示す図である。 本開示の一態様による、複数のファクタを評価し、通信及びデバイス起動の階層を判定するためのフロー図である。 本開示の一態様による、エンドエフェクタが組織をクランプし、発射の過程にあるときのエンドエフェクタ信号及び雑音のグラフィカル表現を示す図である。 本開示の一態様による、トリガイベントの予測又は検出に基づく外科用ハブの応答のフロー図である。 本開示の一態様による、外科的処置中の外科用デバイス相互作用を管理するためのシステムを示す図である。 本開示の一態様による、外科的処置中の外科用デバイス相互作用を管理するための方法の論理図である。

複数の図面を通して、対応する参照符号は対応する部分を示す。本明細書に記載された例示は、様々な開示された実施形態を一形態で示しており、そのような例示は、その範囲を限定するものとして決して解釈されるべきではない。

本出願の出願人は、各開示の全体が参照により本明細書に組み込まれる、同時に出願された以下の米国特許出願を所有する。
●「ＭＥＴＨＯＤ ＦＯＲ ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１／２１０１２０－１Ｍ、
●「Ｕｔｉｌｉｚａｔｉｏｎ ｏｆ ｓｕｒｇｉｃａｌ ｄａｔａ ｖａｌｕｅｓ ａｎｄ ｓｉｔｕａｔｉｏｎａｌ ａｗａｒｅｎｅｓｓ ｔｏ ｃｏｎｔｒｏｌ ｔｈｅ ｏｖｅｒｌａｙ ｉｎ ｓｕｒｇｉｃａｌ ｆｉｅｌｄ ｖｉｅｗ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ２／２１０１２０－２、
●「ＳＥＬＥＣＴＩＶＥ ＡＮＤ ＡＤＪＵＳＴＡＢＬＥ ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＯＶＥＲＬＡＹ ＩＮ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ３／２１０１２０－３、
●「ＲＩＳＫ ＢＡＳＥＤ ＰＲＩＯＲＩＴＩＺＡＴＩＯＮ ＯＦ ＤＩＳＰＬＡＹ ＡＳＰＥＣＴＳ ＩＮ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ４／２１０１２０－４、
●「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＳＵＲＧＩＣＡＬ ＤＡＴＡ ＯＶＥＲＬＡＹ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ５／２１０１２０－５、
●「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＨＡＮＧＩＮＧ ＤＩＳＰＬＡＹ ＯＶＥＲＬＡＹ ＯＦ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ ＢＡＳＥＤ ＯＮ ＴＲＩＧＧＥＲＩＮＧ ＥＶＥＮＴＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ６／２１０１２０－６、
●「ＣＵＳＴＯＭＩＺＡＴＩＯＮ ＯＦ ＯＶＥＲＬＡＩＤ ＤＡＴＡ ＡＮＤ ＣＯＮＦＩＧＵＲＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ７／２１０１２０－７、
●「ＩＮＤＩＣＡＴＩＯＮ ＯＦ ＴＨＥ ＣＯＵＰＬＥ ＰＡＩＲ ＯＦ ＲＥＭＯＴＥ ＣＯＮＴＲＯＬＳ ＷＩＴＨ ＲＥＭＯＴＥ ＤＥＶＩＣＥＳ ＦＵＮＣＴＩＯＮＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ８／２１０１２０－８、
●「ＣＯＯＰＥＲＡＴＩＶＥ ＯＶＥＲＬＡＹＳ ＯＦ ＩＮＴＥＲＡＣＴＩＮＧ ＩＮＳＴＲＵＭＥＮＴＳ ＷＨＩＣＨ ＲＥＳＵＬＴ ＩＮ ＢＯＴＨ ＯＶＥＲＬＡＹＳ ＢＥＩＮＧ ＥＦＦＥＣＴＥＤ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ９／２１０１２０－９、
●「ＡＮＴＩＣＩＰＡＴＩＯＮ ＯＦ ＩＮＴＥＲＡＣＴＩＶＥ ＵＴＩＬＩＺＡＴＩＯＮ ＯＦ ＣＯＭＭＯＮ ＤＡＴＡ ＯＶＥＲＬＡＹＳ ＢＹ ＤＩＦＦＥＲＥＮＴ ＵＳＥＲＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１０／２１０１２０－１０、
●「ＭＩＸＩＮＧ ＤＩＲＥＣＴＬＹ ＶＩＳＵＡＬＩＺＥＤ ＷＩＴＨ ＲＥＮＤＥＲＥＤ ＥＬＥＭＥＮＴＳ ＴＯ ＤＩＳＰＬＡＹ ＢＬＥＮＤＥＤ ＥＬＥＭＥＮＴＳ ＡＮＤ ＡＣＴＩＯＮＳ ＨＡＰＰＥＮＩＮＧ ＯＮ－ＳＣＲＥＥＮ ＡＮＤ ＯＦＦ－ＳＣＲＥＥＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１１／２１０１２０－１１、
●「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＴＲＡＣＫＩＮＧ Ａ ＰＯＲＴＩＯＮ ＯＦ ＴＨＥ ＵＳＥＲ ＡＳ Ａ ＰＲＯＸＹ ＦＯＲ ＮＯＮ－ＭＯＮＩＴＯＲＥＤ ＩＮＳＴＲＵＭＥＮＴ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１２／２１０１２０－１２、
●「ＣＯＯＰＥＲＡＴＩＯＮ ＡＭＯＮＧ ＭＵＬＴＩＰＬＥ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ ＴＯ ＰＲＯＶＩＤＥ Ａ ＨＥＡＬＴＨＣＡＲＥ ＵＳＥＲ ＣＵＳＴＯＭＩＺＥＤ ＩＮＦＯＲＭＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１４／２１０１２０－１４、
●「ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１５／２１０１２０－１５、
●「ＡＤＡＰＴＡＴＩＯＮ ＡＮＤ ＡＤＪＵＳＴＡＢＩＬＩＴＹ ＯＲ ＯＶＥＲＬＡＩＤ ＩＮＳＴＲＵＭＥＮＴ ＩＮＦＯＲＭＡＴＩＯＮ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１６／２１０１２０－１６、及び、
●「ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＦＥＥＤＢＡＣＫ ＳＹＳＴＥＭＳ ＴＨＡＴ ＣＯＯＰＥＲＡＴＥ ＴＯ ＩＮＣＲＥＡＳＥ ＥＦＦＩＣＩＥＮＴ ＰＥＲＣＥＰＴＩＯＮ ＯＦ ＣＯＭＰＬＥＸ ＤＡＴＡ ＦＥＥＤＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１７／２１０１２０－１７。

本出願の出願人は、各開示の全体が参照により本明細書に組み込まれる、以下の米国特許出願を所有する。
●「ＭＥＴＨＯＤ ＯＦ ＣＯＭＰＲＥＳＳＩＮＧ ＴＩＳＳＵＥ ＷＩＴＨＩＮ Ａ ＳＴＡＰＬＩＮＧ ＤＥＶＩＣＥ ＡＮＤ ＳＩＭＵＬＴＡＮＥＯＵＳＬＹ ＤＩＳＰＬＡＹＩＮＧ ＴＨＥ ＬＯＣＡＴＩＯＮ ＯＦ ＴＨＥ ＴＩＳＳＵＥ ＷＩＴＨＩＮ ＴＨＥ ＪＡＷＳ」と題する米国特許出願第１６／２０９，４２３号（現在は、米国特許出願公開第２０１９／０２００９８１（Ａ１）号）、
●「ＭＥＴＨＯＤ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＳＭＡＲＴ ＥＮＥＲＧＹ ＤＥＶＩＣＥＳ」と題する米国特許出願第１６／２０９，４５３号（現在は、米国特許出願公開第２０１９／０２０１０４６（Ａ１）号）。

外科用装置及び発生器の様々な態様を詳細に説明する前に、例解的な実施例は、適用又は用途において、添付の図面及び説明において例解される部品の構造及び配置の詳細に限定されないことに留意されたい。例示の実施例は、他の態様、変形形態、及び修正形態で実装されるか、又はそれらに組み込まれてもよく、様々な方法で実施又は実行されてもよい。更に、特に明記しない限り、本明細書で用いられる用語及び表現は、読者の便宜のために例示の実施例を説明する目的で選択されたものであり、それらを限定するためのものではない。更に、以下に記述される態様、態様の表現、及び／又は実施例のうち１つ以上を、以下に記述される他の態様、態様の表現、及び／又は実施例のうち任意の１つ以上と組み合わせることができるものと理解されたい。

様々な態様は、様々なエネルギー及び外科用ステープラベースの医療デバイスのための外科用システムのための画面上表示を対象とする。エネルギーベースの医療デバイスは、限定ではないが、とりわけ、無線周波数（ＲＦ）ベースの単極及び双極電気外科用器具、超音波外科用器具、ＲＦ電気外科用器具と超音波器具との組み合わせ、ＲＦ電気外科用ステープラと機械的ステープラとの組み合わせを含む。外科用ステープラデバイスは、電気外科用デバイス及び／又は超音波デバイスと組み合わされた外科用ステープラを含む。超音波外科用デバイスの態様は、例えば、外科的処置中に組織を横切開及び／又は凝固するように構成され得る。電気外科用デバイスの態様は、例えば、外科的処置中に、組織を横切開、凝固、封止、溶接及び／又は乾燥させるように構成され得る。外科用ステープラデバイスの態様は、外科的処置中に組織を横切開してステープル留めするように構成することができ、いくつかの態様では、外科用ステープラデバイスは、外科的処置中に組織にＲＦエネルギーを送達するように構成することができる。電気外科用デバイスは、治療用及び／又は非治療用ＲＦエネルギーを組織に送達するように構成されている。外科用ステープラ、電気外科用デバイス、及び超音波デバイスの要素は、単一の外科用器具において組み合わせて使用され得る。

様々な態様では、本開示は、外科的処置中にＯＲチームにリアルタイム情報の画面上表示を提供する。本開示の様々な態様によれば、様々な視覚情報フィードバックを画面上でＯＲチームに表示するために、多くの新しい固有の画面上表示が提供される。本開示によれば、視覚情報は、音を伴う又は伴わない様々な視覚媒体のうちの１つ以上を含むことができる。一般に、視覚情報は、静止写真、動画写真、ビデオ又はオーディオ記録、グラフィックアート、視覚補助、モデル、表示、視覚表現サービス、及びサポートプロセスを含む。視覚情報は、例えば、とりわけ、一次ＯＲスクリーン、エネルギー又は外科用ステープラデバイス自体、タブレット、拡張現実眼鏡等の任意の数の表示オプション上で通信することができる。

様々な態様では、本開示は、ＯＲチームをあまりに多くの視覚情報で圧倒することなく、視覚情報をリアルタイムでＯＲチームに通信するための潜在的オプションの多くのリストを提供する。例えば、種々の態様では、本開示は、外科医、又はＯＲチームの他のメンバーが、豊富な視覚情報を管理するために、画面オプションを取り囲むアイコン等の画面上表示を選択的に起動することを可能にする、視覚情報の画面上表示を提供する。要因のうちの１つ又は組み合わせが、アクティブ表示を決定するために使用することができ、これらは、とりわけ、使用中のエネルギーベース（例えば、電気外科、超音波）又は機械ベース（例えば、ステープラ）外科用デバイス、所与の表示と関連付けられる推定リスク、外科医の経験レベル、及び外科医の選択を含んでもよい。他の態様では、視覚情報は、視覚情報を管理するために手術視野にオーバーレイ又は重畳された豊富なデータを含んでもよい。以下に説明する様々な態様では、データを適切にオーバーレイするためにビデオ解析及び追跡を必要とする重畳画像を含む。このように通信された視覚情報データは、静的アイコンとは対照的に、ＯＲチームに対してより簡潔で理解しやすい方法で追加の有用な視覚情報を提供することができる。

様々な態様では、本開示は、外科的処置中に視覚情報を管理するために、スクリーンを取り囲むアイコン等の画面上表示を選択的に起動するための技術を提供する。他の態様では、本開示は、要因のうちの１つ又は組み合わせを使用してアクティブ表示を決定するための技術を提供する。様々な態様では、本開示による技術は、とりわけ、アクティブ表示として使用中のエネルギーベース又は機械ベースの外科用デバイスを選択すること、所与の表示に関連付けられたリスクを推定すること、選択を行う外科医又はＯＲチームの経験レベルを利用することを含み得る。

他の態様では、本開示による技術は、視覚情報を管理するために、豊富なデータを手術視野上にオーバーレイ又は重畳することを含んでもよい。本開示によって説明されるいくつかの表示配置は、術野のライブストリーム上に外科用データの種々の視覚表現をオーバーレイすることを伴う。本明細書で使用される場合、オーバーレイという用語は、半透明オーバーレイ、部分的オーバーレイ、及び／又は移動オーバーレイを含む。グラフィカルオーバーレイは、透明グラフィック、半透明グラフィック、又は不透明グラフィック、あるいは透明、半透明、及び不透明の要素又は効果の組み合わせの形態であってもよい。更に、オーバーレイは、例えば、エンドエフェクタ及び／又は重要な外科用構造等の、術野におけるオブジェクト上に、又は少なくとも部分的にその上に、又はその近くに配置され得る。特定の表示配置は、表示優先度値の変化に基づいて、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はそれらの組み合わせの変化を含む、オーバーレイの１つ以上の表示要素の変化を含み得る。グラフィカルオーバーレイは、アクティブ表示モニタの上にレンダリングされ、重要な情報を迅速かつ効率的にＯＲチームに伝達する。

他の態様では、本開示による技術は、視覚情報データを適切にオーバーレイするためにビデオ解析及び追跡することを必要とする画像を重畳することを含み得る。他の態様では、本開示による技術は、単純な静的アイコンとは対照的に、豊富な視覚情報を通信して、より簡潔で理解しやすい方法で追加の視覚情報をＯＲチームに提供することを含むことができる。他の態様では、視覚オーバーレイは、聴覚及び／又は体性感覚オーバーレイ、例えば、熱的、化学的、及び機械的デバイス、並びにそれらの組み合わせと組み合わせて使用することができる。

以下の説明は、概して、外科的処置中に拡張現実（ＡＲ）インタラクティブ体験を提供する装置、システム、及び方法に関する。この文脈では、術野並びに術野に現れる外科用器具及び他のオブジェクトの画像は、コンピュータ生成された視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚情報を、術野、術野に現れる器具及び／又は他のオブジェクトの実世界画像上にオーバーレイすることによって強化される。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。拡張現実は、実環境上にオーバーレイされる仮想又は「拡張」仮想オブジェクト、データ、又は視覚効果をレンダリング及び表示するための技術である。実環境は、術野を含んでもよい。実環境上にオーバーレイされた仮想オブジェクトは、実環境の１つ以上の態様に対して固定された位置、又は設定された位置で表され得る。非限定的な例では、実世界オブジェクトが実環境の視野から出る場合、実世界オブジェクトに固定された仮想オブジェクトも拡張現実の視野から出る。

本開示によって説明されるいくつかの表示配置は、術野のライブストリーム上に外科用データの種々の視覚表現をオーバーレイすることを伴う。本明細書で使用される場合、オーバーレイという用語は、半透明オーバーレイ、部分的オーバーレイ、及び／又は移動オーバーレイを含む。更に、オーバーレイは、例えば、エンドエフェクタ及び／又は重要な外科用構造等の、術野におけるオブジェクト上に、又は少なくとも部分的にその上に、又はその近くに配置され得る。特定の表示配置は、表示優先度値の変化に基づいて、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はそれらの組み合わせの変化を含む、オーバーレイの１つ以上の表示要素の変化を含み得る。

本明細書で説明されるように、ＡＲは、技術を介して送達されるデジタル視覚要素、音、又は他の感覚刺激の使用を通して達成される、現実の物理世界の拡張バージョンである。仮想現実（ＶＲ）は、現実であるように見えるシーン及びオブジェクトを有するコンピュータ生成環境であり、ユーザがそれらの周囲に没入しているように感じさせる。この環境は、仮想現実ヘッドセット又はヘルメットとして知られるデバイスを通して知覚される。複合現実（ＭＲ）及びＡＲは両方とも没入型技術と考えられているが、それらは同じではない。ＭＲは、現実及び仮想要素が環境内で相互作用することを可能にする複合現実の拡張である。ＡＲは、多くの場合、カメラを使用することによってライブビューにデジタル要素を追加するが、ＭＲ体験は、実世界及びデジタルオブジェクトが相互作用するＡＲ及びＶＲの両方の要素を組み合わせる。

ＡＲ環境では、１つ以上のコンピュータ生成仮想オブジェクトが、１つ以上の現実（すなわち、いわゆる「実世界」）要素とともに表示されてもよい。例えば、周囲環境のリアルタイム画像又はビデオは、１つ以上のオーバーレイ仮想オブジェクトとともにコンピュータスクリーンディスプレイ上に示されてもよい。そのような仮想オブジェクトは、環境に関する補足的な情報を提供することができ、又は一般に、ユーザの知覚及び環境との関与を向上させることができる。逆に、周囲環境のリアルタイム画像又はビデオは、加えて又は代替的に、ディスプレイ上に示される仮想オブジェクトとのユーザの関与を向上させることができる。

本開示の文脈における装置、システム、及び方法は、外科的処置中に１つ以上の撮像デバイスから受信された画像を向上させる。撮像デバイスは、非侵襲性及び低侵襲性外科的処置中に使用される種々のスコープ、ＡＲデバイス、及び／又は切開外科的処置中に画像を提供するカメラを含んでもよい。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。装置、システム、及び方法は、仮想オブジェクト又はデータ及び／又は現実オブジェクトの表現を現実外科的環境上にオーバーレイすることによって、実世界外科的環境の画像を向上させることによって、拡張現実インタラクティブ体験を提供する。拡張現実体験は、ユーザが実世界外科的環境上にオーバーレイされた仮想オブジェクトを視認することを可能にする、ディスプレイ及び／又はＡＲデバイス上で視認されてもよい。ディスプレイは、手術室内に配置されてもよいし、手術室から離れてもよい。ＡＲデバイスは、外科医又は他の手術室人員の頭部に装着され、典型的には、ユーザの各目に対して１つを含む、２つの立体ディスプレイレンズ又はスクリーンを含む。自然光は、ＡＲデバイスのユーザに仮想オブジェクトを可視にするために光を投影しながら、実環境の態様が可視であるように、２つの透明又は半透明ディスプレイレンズを通過することができる。

２つ以上のディスプレイ及びＡＲデバイスは、例えば、定義された役割を有するシステム内の１つ以上の追加のディスプレイ又はＡＲデバイスを制御する第１のディスプレイ又はＡＲデバイスと協調して使用されてもよい。例えば、ディスプレイ又はＡＲデバイスを起動するとき、ユーザは、役割（例えば、外科的処置中の外科医、外科助手、看護師等）を選択してもよく、ディスプレイ又はＡＲデバイスは、その役割に関連する情報を表示してもよい。例えば、外科助手は、外科医が外科的処置の次のステップのために行う必要がある器具の仮想表現を表示させてもよい。現在のステップに対する外科医の焦点は、手術助手とは異なる表示された情報を見る場合がある。

多くの既知の画面上表示及びアラートが存在するが、本開示は、外科的処置中に多くの新規かつ固有の拡張現実インタラクティブ体験を提供する。そのような拡張現実インタラクティブ体験は、手術室の内側又は外側の手術チームへの視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚フィードバック情報を含む。実世界外科的環境上にオーバーレイされる仮想フィードバック情報は、例えば、限定ではないが、とりわけ、手術外科医、外科医の助手、スクラブ着衣者、麻酔医、及び外回り看護師を含む、ＯＲ内の人員を含む、手術室（ＯＲ）チームに提供されてもよい。仮想フィードバック情報は、一次ＯＲスクリーンディスプレイ、ＡＲデバイス、エネルギー又は外科用ステープラ器具、タブレット、拡張現実眼鏡、デバイス等の任意の数の表示オプション上で通信することができる。

図１は、１つ以上の外科用システム２及びクラウドベースのシステム４を含むコンピュータ実装インタラクティブ外科用システム１を示す。クラウドベースシステム４は、ストレージデバイス５に連結された遠隔サーバ１３を含み得る。各外科用システム２は、クラウド４と通信する少なくとも１つの外科用ハブ６を備える。例えば、外科用システム２は、可視化システム８と、ロボットシステム１０と、手持ち式インテリジェント外科用器具１２とを備えてもよく、それぞれが、互いに、及び／又はハブ６と通信するように構成されている。いくつかの態様では、外科用システム２は、Ｍ個のハブ６と、Ｎ個の可視化システム８と、Ｏ個のロボットシステム１０と、Ｐ個の手持ち式インテリジェント外科用器具１２とを備えてもよく、Ｍ、Ｎ、Ｏ及びＰは１以上の整数である。コンピュータ実装インタラクティブ外科用システム１は、本明細書で説明されるように、外科的処置中に拡張現実インタラクティブ体験を提供するように構成されてもよい。

図２は、外科手術室１６内の手術台１４上に横たわっている患者に対して外科的処置を実行するための外科用システム２の例を示す。ロボットシステム１０は、外科的処置において外科用システム２の一部として使用される。ロボットシステム１０は、外科医のコンソール１８と、患者側カート２０（外科用ロボット）と、外科用ロボットハブ２２とを含む。患者側カート２０は、外科医が外科医のコンソール１８又は外科医によって装着された拡張現実（ＡＲ）デバイス６６を通して手術部位を視認しながら、患者の身体の低侵襲切開を通じて、少なくとも１つの着脱可能に連結された外科用ツール１７を操作することができる。低侵襲処置中の手術部位の画像（例えば、リアルタイムでストリーミングされる静止画像又はライブ画像）は、医療用撮像デバイス２４によって取得することができる。患者側カート２０は、撮像デバイス２４を操作して、撮像デバイス２４を配向することができる。切開外科的処置の画像は、医療用撮像デバイス９６によって取得することができる。ロボットハブ２２は、外科医のコンソール１８、又は外科医若しくは外科手術室１６内の他の人によって装着されたＡＲデバイス６６上にその後表示するために手術部位の画像を処理する。

撮像デバイス２４、９６又はＡＲデバイス６６の光学構成要素は、１つ以上の照明源、及び／又は１つ以上のレンズを含み得る。１つ以上の照明源は、術野の一部分を照明するように方向付けられ得る。１つ以上の画像センサは、術野内の組織及び器具から反射又は屈折された光を受信し得る。

様々な態様では、撮像デバイス２４は、低侵襲外科的処置において使用するように構成されている。本開示とともに使用するために適切な撮像デバイスの例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃カメラ）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。様々な態様では、撮像デバイス９６は、切開（侵襲）外科的処置において使用するように構成されている。

様々な態様では、可視化システム８は、滅菌野に対して戦略的に配置される１つ以上の撮像センサと、１つ以上の画像処理装置と、１つ以上のストレージアレイと、１つ以上のディスプレイとを備える。一態様では、可視化システム８は、ＨＬ７、ＰＡＣＳ及びＥＭＲ用のインターフェースを備える。一態様では、撮像デバイス２４は、トポグラフィと下にある構造とを区別するためにマルチスペクトルモニタリングを採用し得る。マルチスペクトル画像は、電磁スペクトルにおいて特定の波長範囲内の画像データを捕捉する。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、ＩＲ、及び紫外からの光を含む特定の波長に対する感度を有する器具によって分離される。スペクトル撮像は、人間の目には見えない情報を抽出することができる。マルチスペクトルモニタリングは、処置された組織に対して試験を実行するための外科用タスクが完了した後に術野を再配置することができる。

図２は、手術台１４のオペレータに見えるように滅菌野に配置される一次ディスプレイ１９を示す。可視化タワー１１は、滅菌野の外側に配置され、互いに反対側を向いている第１の非滅菌ディスプレイ７及び第２の非滅菌ディスプレイ９を含む。ハブ６によって誘導される可視化システム８は、ディスプレイ７、９、１９を利用して、滅菌野の内側及び外側のオペレータへの情報フローを調整するように構成されている。例えば、ハブ６は、可視化システム８に、一次ディスプレイ１９又はＡＲデバイス６６上に手術部位のライブ映像を維持しながら、撮像デバイス２４、９６によって記録される手術部位のＡＲ画像を非滅菌ディスプレイ７、９又はＡＲデバイス６６を通じて表示させることができる。非滅菌ディスプレイ７、９は、例えば、非滅菌オペレータが、外科的処置に関連する診断ステップを実行することを可能にすることできる。

図３は、可視化システム８、ロボットシステム１０及び手持ち式インテリジェント外科用器具１２と通信するハブ６を示す。ハブ６は、ハブディスプレイ３５、撮像モジュール３８、発電機モジュール４０、通信モジュール３０、プロセッサモジュール３２、ストレージアレイ３４、及び手術室マッピングモジュール３３を含む。ハブ６は、排煙モジュール２６及び／又は吸引／灌注モジュール２８を更に含む。様々な態様では、撮像モジュール３８は、ＡＲデバイス６６を含み、プロセッサモジュール３２は統合ビデオプロセッサ及び拡張現実モデラ（例えば、図１０に示すようなもの）を含む。モジュール式光源は、様々な撮像デバイスとともに使用するように適合され得る。様々な例では、複数の撮像デバイスを術野の異なる位置に配置して、複数のビューを提供することができる（例えば、非侵襲的、低侵襲的、侵襲的、又は切開外科的処置）。撮像モジュール３８は、最適なビューを提供するために撮像デバイス間を切り替えるように構成することができる。種々の態様では、撮像モジュール３８は、異なる撮像デバイスからの画像を統合し、本明細書に説明されるような外科的処置の間、拡張現実インタラクティブ体験を提供するように構成することができる。

図４は、医療施設の１つ以上の手術現場／部屋に位置するモジュール式デバイスをクラウドベースのシステムに接続するように構成されたモジュール式通信ハブ５３を含む外科用データネットワーク５１を示す。クラウド５４は、ストレージデバイス５５に連結された遠隔サーバ６３（図５）を含むことができる。モジュール式通信ハブ５３は、ネットワークルータ６１と通信するネットワークハブ５７及び／又はネットワークスイッチ５９を含む。モジュール式通信ハブ５３は、データを処理するためにローカルコンピュータシステム６０に連結される。手術現場のモジュール式デバイス１ａ～１ｎは、モジュール式通信ハブ５３に連結され得る。ネットワークハブ５７及び／又はネットワークスイッチ５９は、ネットワークルータ６１に連結されて、デバイス１ａ～１ｎをクラウド５４又はローカルコンピュータシステム６０に接続することができる。デバイス１ａ～１ｎに関連付けられたデータは、リモートデータ処理及び操作のためにルータを介してクラウドベースのコンピュータに転送されてもよい。手術現場デバイス１ａ～１ｎは、有線チャネル又は無線チャネルを介してモジュール式通信ハブ５３に接続され得る。外科用データネットワーク５１環境は、本明細書で説明されるように、外科的処置中に拡張現実インタラクティブ体験を提供するために、特に、術野の拡張画像を１つ以上のリモートディスプレイ５８に提供するために採用されてもよい。

図５は、コンピュータ実装インタラクティブ外科用システム５０を示す。コンピュータ実装インタラクティブ外科用システム５０は、多くの点で、コンピュータ実装インタラクティブ外科用システム１と類似している。コンピュータ実装インタラクティブ外科用システム５０は、多くの点で外科用システム２と類似する１つ以上の外科用システム５２を含む。各外科用システム５２は、遠隔サーバ６３を含み得るクラウド５４と通信する少なくとも１つの外科用ハブ５６を備える。一態様では、コンピュータ実装インタラクティブ外科用システム５０は、例えば、インテリジェント外科用器具、ロボット及び手術現場内に位置する他のコンピュータ化デバイス等の複数の手術現場デバイスに接続されたモジュール式制御タワー２３を備える。図６に示すように、モジュール式制御タワー２３は、コンピュータシステム６０に連結されたモジュール式通信ハブ５３を含む。

図５に戻ると、モジュール式制御タワー２３は、内視鏡９８に連結された撮像モジュール３８、エネルギーデバイス９９に連結された発電機モジュール２７、排煙器モジュール７６、吸引／灌注モジュール７８、通信モジュール１３、プロセッサモジュール１５、ストレージアレイ１６、任意選択的にディスプレイ３９に連結されたスマートデバイス／器具２１及びセンサモジュール２９に連結されている。手術現場デバイスは、モジュール式制御タワー２３を介して、サーバ６３、データストレージ５５及びディスプレイ５８等のクラウドコンピューティングリソースに連結されている。ロボットハブ７２もまた、モジュール式制御タワー２３、及びサーバ６３、データストレージ５５、並びにディスプレイ５８に接続されてもよい。とりわけ、デバイス／器具２１、可視化システム５８が、本明細書に記載されるように、有線又は無線通信規格又はプロトコルを介して、モジュール式制御タワー２３に連結されてもよい。モジュール式制御タワー２３は、撮像モジュール３８、デバイス／器具ディスプレイ３９及び／又は他の可視化システム５８から受信した、現実外科世界上のオーバーレイされた仮想オブジェクトを含む、受信された拡張画像を表示するためにハブディスプレイ６５（例えば、モニタ、スクリーン）に連結されてもよい。ハブディスプレイ６５はまた、画像及びオーバーレイ画像とともにモジュール式制御タワー２３に接続されたデバイスから受信したデータを表示し得る。

図６は、モジュール式制御タワー２３に連結された複数のモジュールを含む外科用ハブ５６を示す。モジュール式制御タワー２３は、例えばネットワーク接続デバイス等のモジュール式通信ハブ５３と、例えば拡張外科用情報のローカルでの処理、可視化及び撮像を行うためのコンピュータシステム６０とを含む。モジュール式通信ハブ５３は、モジュール式通信ハブ５３に接続されてもよいモジュール（例えば、デバイス）の数を拡張するために階層化構成で接続されて、モジュールに関連付けられたデータをコンピュータシステム６０、クラウドコンピューティングリソース、又はその両方に転送してもよい。モジュール式通信ハブ５３内のネットワークハブ／スイッチ５７／５９の各々は、３つの下流ポート及び１つの上流ポートを含み得る。上流のネットワークハブ／スイッチ５７、５９は、クラウドコンピューティングリソース及びローカルディスプレイ６７への通信接続を提供するためにプロセッサ３１に接続されている。クラウド５４への通信は、有線通信チャネル又は無線通信チャネルのいずれかを介して行うことができる。

コンピュータシステム６０は、プロセッサ３１と、ネットワークインターフェース３７とを含む。プロセッサ３１は、システムバスを介して、通信モジュール４１、ストレージ４５、メモリ４６、不揮発性メモリ４７、及び入力／出力インターフェース４８に連結される。システムバスは、様々な利用可能なバスアーキテクチャを使用した、メモリバス若しくはメモリコントローラ、周辺バス若しくは外部バス、及び／又はローカルバスを含む、いくつかのタイプのバス構造のいずれかであってもよい。

プロセッサ３１は、拡張現実モデラ（例えば、図１０に示されるような）を含み、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓによる商標名ＡＲＭ Ｃｏｒｔｅｘで知られているもの等のシングルコア又はマルチコアプロセッサとして実装されてもよい。一態様では、プロセッサは、例えば、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ４Ｆ２３０Ｈ５ＱＲ ＡＲＭ Ｃｏｒｔｅｘ－Ｍ４Ｆプロセッサコアであってもよい。このプロセッサコアは、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルシリアルランダムアクセスメモリ（ＳＲＡＭ）、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部読み出し専用メモリ（ＲＯＭ）、２ＫＢの電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）及び／又は、１つ以上のパルス幅変調（ＰＷＭ）モジュール、１つ以上の直交エンコーダ入力（ＱＥＩ）アナログ、１２個のアナログ入力チャネルを備える１つ以上の１２ビットアナログ－デジタル変換器（ＡＤＣ）を含む。なお、その詳細は、製品データシートで入手可能である。

システムメモリとしては、揮発性メモリ及び不揮発性メモリが挙げられる。起動中などにコンピュータシステム内の要素間で情報を転送するための基本ルーチンを含む基本入出力システム（ＢＩＯＳ）は、不揮発性メモリに記憶される。例えば、不揮発性メモリとしては、ＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、ＥＥＰＲＯＭ又はフラッシュメモリが挙げられ得る。揮発性メモリとしては、外部キャッシュメモリとして機能するランダムアクセスメモリ（ＲＡＭ）が挙げられる。更に、ＲＡＭは、ＳＲＡＭ、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（ＳＬＤＲＡＭ）及びダイレクトランバスＲＡＭ（ＤＲＲＡＭ）などの多くの形態で利用可能である。

コンピュータシステム６０はまた、取り外し可能／取り外し不可能な揮発性／不揮発性のコンピュータストレージ媒体、例えばディスクストレージ等を含む。ディスク記憶装置としては、磁気ディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ－６０ドライブ、フラッシュメモリカード又はメモリスティックのような装置が挙げられるが、これらに限定されない。加えて、ディスク記憶装置は、上記の記憶媒体を、独立して、又は他の記憶媒体との組み合わせで含むことができる。他の記憶媒体としては、コンパクトディスクＲＯＭ装置（ＣＤ－ＲＯＭ）、コンパクトディスク記録可能ドライブ（ＣＤ－Ｒドライブ）、コンパクトディスク書き換え可能ドライブ（ＣＤ－ＲＷドライブ）若しくはデジタル多用途ディスクＲＯＭドライブ（ＤＶＤ－ＲＯＭ）などの光ディスクドライブが挙げられるがこれらに限定されない。ディスク記憶装置のシステムバスへの接続を容易にするために、取り外し可能な又は取り外し不可能なインターフェースが用いられてもよい。

様々な態様では、図６のコンピュータシステム６０、図４～図６の撮像モジュール３８、及び／又は可視化システム５８、及び／又はプロセッサモジュール１５は、画像プロセッサ、画像処理エンジン、画像処理装置（ＧＰＵ）、メディアプロセッサ、又はデジタル画像の処理に使用される任意の専用デジタル信号プロセッサ（ＤＳＰ）を含んでもよい。画像プロセッサは、単一命令複数データ（ＳＩＭＤ）、又は複数命令複数データ（ＭＩＭＤ）技術を用いた並列コンピューティングを用いて速度及び効率を高めることができる。デジタル画像処理エンジンは、様々なタスクを実施することができる。画像プロセッサは、マルチコアプロセッサアーキテクチャを備えるチップ上のシステムであってもよい。

図７は、撮像モジュール３８と外科用ハブディスプレイ６７との間の通信経路内に配置された中間信号結合器６４を含む拡張現実システム２６３を示す。信号結合器６４は、撮像モジュール３８及び／又はＡＲデバイス６６から受信された音声及び／又は画像データを組み合わせる。外科用ハブ５６は、結合器６４から組み合わされたデータを受信し、ディスプレイ６７に提供されたデータをオーバーレイし、オーバーレイされたデータが表示される。撮像デバイス６８はデジタルビデオカメラであってもよく、オーディオデバイス６９はマイクロフォンであってもよい。信号結合器６４は、外科用ハブ５６がディスプレイ６７上にデータをオーバーレイすることを可能にするコンソールへのディスプレイ６７の通信経路内に配置されたＡＲデバイス６６に連結するための無線ヘッドアップディスプレイアダプタを含み得る。

図８は、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実（ＡＲ）システムを示す。図８は、外科用ハブ５６にデータを通信するために外科医７３によって装着されるＡＲデバイス６６を示す。ＡＲデバイス６６の周辺情報は、アクティブ映像を含まない。むしろ、周辺情報は、デバイス設定、又はリフレッシュレートの同じ要求を有さない信号のみを含む。相互作用は、術前コンピュータ断層撮影（ＣＴ）又は外科用ハブ５６内でリンクされた他のデータとのリンクに基づいて、外科医７３の情報を拡張させ得る。ＡＲデバイス６６は、構造を識別することができ、例えば、器具が神経、血管、又は癒着に触れているかどうかを尋ねることができる。ＡＲデバイス６６は、術前スキャンデータ、光学ビュー、処置全体を通して取得される組織調査特性、及び／又は回答を提供するために使用される外科用ハブ５６における処理を含み得る。外科医７３は、報告又はフォローアップにおける後の使用のためにハブストレージ４５内に患者データとともに保存されるように、ＡＲデバイス６６にメモを書き取ることができる。

外科医７３によって装着されるＡＲデバイス６６は、オーバーレイの必要性を回避するために、聴覚及び視覚情報を用いて外科用ハブ５６にリンクし、視野の周辺の周りに表示される情報のカスタマイズを可能にする。ＡＲデバイス６６は、デバイス（例えば、器具）からの信号を提供し、デバイス設定又は象限若しくは位置を識別するためにビデオとリンクされた位置情報に関するクエリに回答する。ＡＲデバイス６６は、ＡＲデバイス６６からの音声制御及び音声フィードバックを有する。ＡＲデバイス６６は、手術現場内の他のシステムと相互作用することができ、外科医７３がどこを視認しても利用可能なフィードバック及び相互作用を有することができる。例えば、ＡＲデバイス６６は、外科医から音声又はジェスチャ開始コマンド及びクエリを受信してもよく、ＡＲデバイス６６は、音声、視覚、又は触覚タッチを含む１つ以上のモダリティの形態でフィードバックを提供してもよい。

図９は、ＡＲデバイス６６を装着している外科医７３、患者７４を示し、手術室７５内にカメラ９６を含んでもよい。外科医７３によって装着されるＡＲデバイス６６は、拡張現実ディスプレイ８９を通して、又はハブ接続ディスプレイ６７を通して、術野のリアルタイム画像上にオーバーレイされる仮想オブジェクトを外科医７３に提示するために使用されてもよい。リアルタイム画像は、外科用器具７７の一部を含んでもよい。仮想オブジェクトは、手術室７５内の他者（例えば、外科助手又は看護師）には可視でない場合があるが、彼らもまた、ＡＲデバイス６６を装着し得る。別の人がＡＲデバイス６６を用いて手術室７５を視認している場合であっても、その人は、仮想オブジェクトを見ることができない場合があるか、又は外科医７３と共有される拡張現実において仮想オブジェクトを見ることができる場合があるか、又は（例えば、外科医７３に固有のカスタマイゼーションに従って）仮想オブジェクトの修正バージョンを見ることができる場合があるか、又は異なる仮想オブジェクトを見る場合がある。

仮想オブジェクト及び／又はデータは、外科用器具７７の一部上に、又は撮像モジュール３８、低侵襲外科的処置中の撮像デバイス６８、及び／又は切開外科的処置中のカメラ９６によって捕捉された手術視野内に現れるように構成され得る。図示の例では、撮像モジュール３８は、低侵襲外科的処置中に外科領域のライブ映像を提供する腹腔鏡カメラである。ＡＲシステムは、ＡＲシステムの１人又は複数の視認者（例えば、外科医７３）の視点に関係なく、実オブジェクトに固定される仮想オブジェクトを提示してもよい。例えば、仮想オブジェクトは、手術室７５内のＡＲシステムの視認者に可視であってもよく、手術室７５外のＡＲシステムの視認者に可視でなくてもよい。仮想オブジェクトは、視認者が手術室７５に入ったときに、手術室７５外の視認者に表示されてもよい。拡張画像は、外科用ハブディスプレイ６７又は拡張現実ディスプレイ８９に表示されてもよい。

ＡＲデバイス６６は、単一スクリーン又は２つのスクリーン（例えば、ユーザの目毎に１つ）等の１つ以上のスクリーン又はレンズを含んでもよい。スクリーンは、仮想オブジェクトを表示している間に実環境の態様が可視であるように、光がスクリーンを通過することを可能にし得る。仮想オブジェクトは、光を投影することによって外科医７３に可視になり得る。仮想オブジェクトは、ある程度の透明度を有するように見えてもよく、又は不透明であってもよい（すなわち、実環境の態様を遮断する）。

ＡＲシステムは、１人以上の視認者に可視であってもよく、ビュー間で共通のいくつかの態様を保持しながら、１人以上の視認者に利用可能なビュー間の差異を含んでもよい。例えば、ヘッドアップディスプレイは、２つのビューの間で変化し得るが、仮想オブジェクト及び／又はデータは、両方のビュー内の実オブジェクト又は領域に固定され得る。オブジェクトの色、照明、又は他の変更等の態様は、少なくとも１つの仮想オブジェクトの固定位置を変更することなくビュー間で行われ得る。

ユーザは、ＡＲシステム内に提示される仮想オブジェクト及び／又はデータを、不透明として、又はあるレベルの透明度を含むものとして見ることができる。一例では、ユーザは、仮想オブジェクトを第１の位置から第２の位置に移動させること等によって、仮想オブジェクトと相互作用することができる。例えば、ユーザは、自身の手でオブジェクトを動かしてもよい。これは、（例えば、ＡＲデバイスカメラ７９又は別個の９６等のＡＲデバイス６６上に搭載されてもよく、静的であってもよく、又は移動するように制御されてもよい、１つ以上のカメラを使用して）手がオブジェクトと一致又は隣接する位置に移動したことを判定し、それに応じてオブジェクトを移動させることによって、ＡＲシステムにおいて仮想的に行われてもよい。仮想態様は、実世界オブジェクトの仮想表現を含んでもよく、又は照明効果等の視覚効果を含んでもよい。ＡＲシステムは、仮想オブジェクトを重力又は摩擦に曝す等、仮想オブジェクトの挙動を支配するための規則を含んでもよく、又は実世界の物理的制約（例えば、浮遊オブジェクト、永久運動等）を否定する他の事前定義された規則を含んでもよい。ＡＲデバイス６６は、ＡＲデバイス６６上にカメラ７９を含み得る（ＡＲデバイス６６とは別個のカメラ９６と混同されるべきではない）。ＡＲデバイスカメラ７９又はカメラ９６は、赤外線カメラ、赤外線フィルタ、可視光フィルタ、複数のカメラ、深度カメラ等を含み得る。ＡＲデバイス６６は、ユーザが視認することができる実環境の表現の上に仮想アイテムを投影し得る。

ＡＲデバイス６６は、例えば、外科医７３によって患者７４に対して行われる外科的処置中に手術室７５内で使用され得る。ＡＲデバイス６６は、外科医の視覚を拡張するために、外科的処置中の仮想オブジェクト等の仮想オブジェクトを投影又は表示してもよい。外科医７３は、ＡＲデバイス６６、ＡＲデバイス６６のためのリモートコントローラを使用して仮想オブジェクトを視認してもよく、又は、例えば、ＡＲデバイス６６のカメラ７９によって認識される仮想オブジェクト又はジェスチャと「相互作用」するために手を使用して、仮想オブジェクトと相互作用してもよい。仮想オブジェクトは、外科用器具７７等の外科用ツールを拡張することができる。例えば、仮想オブジェクトは、（ＡＲデバイス６６を通して仮想オブジェクトを視認する外科医７３に対して）外科用器具７７と連結されるように、又は外科用器具７７から固定距離のままであるように見えてもよい。別の例では、仮想オブジェクトは、外科用器具７７を案内するために使用されてもよく、患者７４に固定されているように見えてもよい。特定の例では、仮想オブジェクトは、術野における他の仮想又は実世界のオブジェクトの動きに反応し得る。例えば、仮想オブジェクトは、外科医が仮想オブジェクトに近接して外科用器具を操作しているときに変更され得る。

拡張現実ディスプレイシステム撮像デバイス３８は、外科的処置の間、外科領域の実画像を捕捉する。拡張現実ディスプレイ８９、６７は、外科領域の実画像上への外科用器具７７の動作態様のオーバーレイを提示する。外科用器具７７は、ＡＲデバイス６６上の通信回路２３３を介して外科用器具７７からＡＲデバイス６６に動作態様及び機能データを通信するための通信回路２３１を含む。外科用器具７７及びＡＲデバイス６６は、矢印Ｂ、Ｃによって示されるように、回路２３１、２３３の間のＲＦ無線通信において示されているが、他の通信技術（例えば、有線、超音波、赤外線等）が採用されてもよい。オーバーレイは、アクティブに可視化されている外科用器具７７の動作態様に関連する。オーバーレイは、外科領域における組織相互作用の態様を外科用器具７７からの機能データと組み合わせる。ＡＲデバイス６６のプロセッサ部分は、外科用器具７７から動作態様及び機能データを受信し、外科用器具７７の動作に関連するオーバーレイを決定し、外科領域内の組織の態様を外科用器具７７からの機能データと組み合わせるように構成される。拡張画像は、デバイス性能考慮事項に関するアラート、不適合な使用のアラート、不完全な捕捉に関するアラートを示す。不適合な使用には、範囲外の組織状態及びエンドエフェクタのジョー内で不正確にバランスされた組織が含まれる。追加の拡張画像は、組織張力のインジケーション及び異物検出のインジケーションを含む付随事象のインジケーションを提供する。他の拡張画像は、デバイス状況オーバーレイ及び器具インジケーションを示す。

図１０は、本開示の少なくとも一態様による、ＡＲディスプレイ８９を使用して情報とともに術野の画像を拡張するためのシステム８３を示す。システム８３は、例えば、プロセッサ８５を使用することによって、以下で説明される技術を実行するために使用され得る。システム８３は、データベース９３と通信することができるＡＲデバイス６６の一態様を含む。ＡＲデバイス６６は、プロセッサ８５、メモリ８７、ＡＲディスプレイ８９、及びカメラ７９を含む。ＡＲデバイス６６は、センサ９０、スピーカ９１、及び／又は触覚コントローラ９２を含んでもよい。データベース９３は、画像ストレージ９４又は術前計画ストレージ９５を含んでもよい。

ＡＲデバイス６６のプロセッサ８５は、拡張現実モデラ８６を含む。拡張現実モデラ８６は、拡張現実環境を作成するために、プロセッサ８５によって使用され得る。例えば、拡張現実モデラ８６は、カメラ７９又はセンサ９０等から、術野内の器具の画像を受信し、手術視野の表示画像内に収まるように拡張現実環境を作成してもよい。別の例では、物理的オブジェクト及び／又はデータは、手術視野及び／又は外科用器具画像上にオーバーレイされてもよく、拡張現実モデラ８６は、物理的オブジェクト及びデータを使用して、仮想オブジェクト及び／又はデータの拡張現実ディスプレイを拡張現実環境内に提示してもよい。例えば、拡張現実モデラ８６は、患者の手術部位で器具を使用又は検出し、外科用器具上の仮想オブジェクト及び／又はデータ、及び／又はカメラ７９によって捕捉された手術視野内の手術部位の画像を提示してもよい。ＡＲディスプレイ８９は、実環境にオーバーレイされたＡＲ環境を表示してもよい。ディスプレイ８９は、ＡＲ環境内の固定位置等にあるＡＲデバイス６６を使用して、仮想オブジェクト及び／又はデータを示すことができる。

ＡＲデバイス６６は、赤外線センサ等のセンサ９０を含むことができる。カメラ７９又はセンサ９０は、外科医又は他のユーザによるジェスチャ等の動きを検出するために使用されてもよく、動きは、プロセッサ８５によって、ユーザによる仮想ターゲットとの試みられた又は意図された相互作用として解釈されてもよい。プロセッサ８５は、カメラ７９を使用して受信された情報を処理すること等によって、実環境内のオブジェクトを識別することができる。他の態様では、センサ９０は、拡張環境を作成するために様々なデータフィードと組み合わされ得る対応する信号を生成するための触覚センサ、可聴センサ、化学センサ、又は熱センサであり得る。センサ９０は、バイノーラルオーディオセンサ（空間音）、慣性測定（加速度計、ジャイロスコープ、磁力計）センサ、環境センサ、深度カメラセンサ、手及び視線追跡センサ、並びに音声コマンド認識機能を含み得る。

ＡＲディスプレイ８９は、例えば、外科的処置中に、術野がＡＲディスプレイ８９を通して視認されることを可能にしながら、術野内等に、患者の解剖学的態様によって隠される物理的特徴に対応する仮想特徴を提示してもよい。仮想特徴は、物理的特徴の第１の物理的位置又は配向に対応する仮想位置又は配向を有し得る。一例では、仮想特徴の仮想位置又は配向は、物理的特徴の第１の物理的位置又は配向からのオフセットを含み得る。オフセットは、拡張現実ディスプレイからの所定の距離、拡張現実ディスプレイから解剖学的態様までの相対距離等を含んでもよい。

一例では、ＡＲデバイス６６は、個々のＡＲデバイスであり得る。一態様では、ＡＲデバイス６６は、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔによって製造されたＨｏｌｏＬｅｎｓ ２ ＡＲデバイスであってもよい。このＡＲデバイス６６は、レンズ及びバイノーラルオーディオ特徴（空間音）を伴うバイザと、慣性測定（加速度計、ジャイロスコープ、磁力計）と、環境センサと、深度カメラと、ビデオカメラと、手及び視線追跡と、音声コマンド認識機能とを含む。それは、鏡を使用して導波路を着用者の目の前に向けることによって、高解像度で改善された視野を提供する。画像は、ミラーの角度を変えることによって拡大することができる。それはまた、ユーザを認識し、特定のユーザのためにレンズ幅を調整するための視線追跡を提供する。

別の例では、ＡＲデバイス６６は、Ｓｎａｐｃｈａｔ Ｓｐｅｃｔａｃｌｅｓ ３ ＡＲデバイスであり得る。このＡＲデバイスは、ペア画像を捕捉し、３Ｄ深度マッピングを再作成し、仮想効果を追加し、３Ｄビデオを再生する能力を提供する。ＡＲデバイスは、６０ｆｐｓで３Ｄ写真及びビデオを捕捉するための２つのＨＤカメラを含み、一方、４つの内蔵マイクロフォンは、没入型高忠実度オーディオを記録する。両方のカメラからの画像を組み合わせて、ユーザの周りの実世界の幾何学的マップを構築し、奥行き知覚の新しい感覚を提供する。写真及びビデオは、外部ディスプレイデバイスに無線で同期され得る。

更に別の例では、ＡＲデバイス６６は、ＧｏｏｇｌｅによるＧｌａｓｓ ２ ＡＲデバイスであり得る。このＡＲデバイスは、情報を補足するためにレンズ（視野外）上にオーバーレイされた慣性測定（加速度計、ジャイロスコープ、磁力計）情報を提供する。

別の例では、ＡＲデバイス６６は、ＡｍａｚｏｎによるＥｃｈｏ Ｆｒａｍｅｓ ＡＲデバイスであり得る。このＡＲデバイスは、カメラ／ディスプレイを有しない。マイクロフォン及びスピーカはＡｌｅｘａにリンクされる。このＡＲデバイスは、ヘッドアップディスプレイよりも機能が少ない。

更に別の例では、ＡＲデバイス６６は、Ｎｏｒｔｈ（Ｇｏｏｇｌｅ）によるＦｏｃａｌｓ ＡＲデバイスであり得る。このＡＲデバイスは、通知プッシャ／スマートウォッチアナログ、慣性測定、情報（天気、カレンダ、メッセージ）のスクリーンオーバーレイ、音声制御（Ａｌｅｘａ）統合を提供する。このＡＲデバイスは、基本的なヘッドアップディスプレイ機能を提供する。

別の例では、ＡＲデバイス６６は、Ｎｒｅａｌ ＡＲデバイスであり得る。このＡＲデバイスは、空間音、２つの環境カメラ、写真カメラ、ＩＭＵ（加速度計、ジャイロスコープ）、周辺光センサ、近接センサ機能を含む。ｎｅｂｕｌａは、アプリケーション情報をレンズ上に投影する。

様々な他の例では、ＡＲデバイス６６は、以下の市販のＡＲデバイス、すなわち、Ｍａｇｉｃ Ｌｅａｐ １、Ｅｐｓｏｎ Ｍｏｖｅｒｉｏ、Ｖｕｚｉｘ Ｂｌａｄｅ ＡＲ、ＺｅｎＦｏｎｅ ＡＲ、Ｍｉｃｒｏｓｏｆｔ ＡＲ眼鏡プロトタイプ、ＥｙｅＴａｐのうちのいずれか１つであってもよく、これにより、環境の光と同一直線上の光を直接網膜に作成する。ビームスプリッタは、例えば、情報を処理しオーバーレイするために、コンピュータに目に見える同じ光を利用可能にする。ＡＲ可視化システムは、ＨＵＤ、コンタクトレンズ、眼鏡、仮想現実（ＶＲ）ヘッドセット、仮想網膜ディスプレイ、手術室内ディスプレイ、及び／又はスマートコンタクトレンズ（バイオニックレンズ）を含む。

ＡＲデバイス６６のためのマルチユーザインターフェースは、目の前のスクリーン上ではなく網膜上に直接描画されるラスタディスプレイ等の仮想網膜ディスプレイ、スマートテレビ、スマートフォン、及び／又はＳｏｎｙ空間ディスプレイシステム等の空間ディスプレイを含む。

他のＡＲ技術は、例えば、ＡＲ捕捉デバイス及びソフトウェアアプリケーション、ＡＲ作成デバイス及びソフトウェアアプリケーション、並びにＡＲクラウドデバイス及びソフトウェアアプリケーションを含んでもよい。ＡＲ捕捉デバイス及びソフトウェアアプリケーションは、例えば、Ａｐｐｌｅ Ｐｏｌｙｃａｍ ａｐｐ、Ｕｂｉｑｕｉｔｙ ６（Ｄｉｓｐｌａｙ．ｌａｎｄ ａｐｐを使用するＭｉｒｒｏｒｗｏｒｌｄ）を含み、ユーザは、（３Ｄモデルを作成するために）実世界の３ｄ画像をスキャンし、取得することができる。ＡＲ作成デバイス及びソフトウェアアプリケーションは、例えば、Ａｄｏｂｅ Ａｅｒｏ、Ｖｕｆｏｒｉａ、ＡＲＴｏｏｌＫｉｔ、Ｇｏｏｇｌｅ ＡＲＣｏｒｅ、Ａｐｐｌｅ ＡＲＫｉｔ、ＭＡＸＳＴ、Ａｕｒａｓｍａ、Ｚａｐｐａｒ、Ｂｌｉｐｐａｒを含む。ＡＲクラウドデバイス及びソフトウェアアプリケーションは、例えば、Ｆａｃｅｂｏｏｋ、Ｇｏｏｇｌｅ（ｗｏｒｌｄ ｇｅｏｍｅｔｒｙ、ｏｂｊｅｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ、ｐｒｅｄｉｃｔｉｖｅ ｄａｔａ）、Ａｍａｚｏｎ ＡＲ Ｃｌｏｕｄ（ｃｏｍｍｅｒｃｅ）、Ｍｉｃｒｏｓｏｆｔ Ａｚｕｒｅ、Ｓａｍｓｕｎｇ Ｐｒｏｊｅｃｔ Ｗｈａｒｅ、Ｎｉａｎｔｉｃ、Ｍａｇｉｃ Ｌｅａｐを含む。

状況認識は、データベース及び／又は器具から受信したデータから外科的処置に関連する情報を判定又は推測するための、外科用システムのいくつかの態様の能力である。情報は、実行されている処置のタイプ、手術されている組織のタイプ、又は処置の対象である体腔を含むことができる。外科的処置に関するコンテキスト情報によると、外科用システムは、例えば、外科用システムが、それに接続されるモジュール式デバイス（例えば、ロボットアーム及び／又はロボット外科用ツール）を制御し、外科的処置の過程で外科医にコンテキスト化された情報又は提案を提供する様式で改善し得る。

図１１は、状況認識外科的処置のタイムラインを示す。図１１は、例示的な外科的処置のタイムライン５２００と、外科的処置の各ステップでデータソース５１２６から受信されたデータから外科用ハブ５１０４が導出することができるコンテキスト情報とを示す。タイムライン５２００は、手術現場のセットアップで始まり、患者を術後回復室に移送することで終了する肺区域切除処置の過程中に、看護師、外科医及び他の医療従事者がとるであろう一般的なステップを示す。状況認識外科用ハブ５１０４は、外科的処置の過程全体にわたって、医療関係者が外科用ハブ５１０４とペアリングされたモジュール式デバイス５１０２を使用するたびに生成されるデータを含むデータを、データソース５１２６から受信する。外科用ハブ５１０４は、ペアリングされたモジュール式デバイス５１０２及び他のデータソース５１２６からこのデータを受信して、任意の所与の時間に処置のどのステップが行われているかなどの新しいデータが受信されると、進行中の処置に関する推定（すなわち、コンテキスト情報）を継続的に導出することができる。外科用ハブ５１０４の状況認識システムは、例えば、報告を生成するために処置に関するデータを記録すること、医療従事者によってとられているステップを検証すること、特定の処置ステップに関連し得るデータ又はプロンプトを（例えば、表示画面を介して）提供すること、コンテキストに基づいてモジュール式デバイス５１０２を調整する（例えば、モニタを起動する、医療用撮像デバイスのＦＯＶを調整する、又は超音波外科用器具若しくはＲＦ電気外科用器具のエネルギーレベルを変更する）こと、及び上述される任意の他のこうした動作を行うことが可能である。

第１の５２０２では、病院職員は、病院のＥＭＲデータベースから、患者のＥＭＲを取り出す。ＥＭＲにおいて選択された患者データに基づいて、外科用ハブ５１０４は、実施される処置が胸部手術であることを判定する。

第２の５２０４では、職員は、処置のために入来する医療用品をスキャンする。外科用ハブ５１０４は、スキャンされた物資を様々なタイプの処置において利用される物資のリストと相互参照し、物資の混合物が、胸部処置に対応することを確認する。更に、外科用ハブ５１０４はまた、処置が楔形切除術ではないと判定することができる（入来する用品が、胸部楔形切除術に必要な特定の用品を含まないか、又は別の点で胸部楔形切除術に対応していないかのいずれかであるため）。

第３の５２０６では、医療従事者は、外科用ハブ５１０４に通信可能に接続されたスキャナ５１２８を介して患者バンドをスキャンする。次いで、外科用ハブ５１０４は、スキャンされたデータに基づいて患者の身元を確認することができる。

第４の５２０８では、医療職員が補助装置をオンにする。利用されている補助機器は、外科的処置の種類、及び外科医が使用する技術に従って変動し得るが、この例示的なケースでは、排煙器、送気器及び医療用撮像デバイスが挙げられる。起動されると、モジュール式デバイス５１０２である補助装置は、その初期化プロセスの一部として、モジュール式デバイス５１０２の特定の近傍内に位置する外科用ハブ５１０４と自動的にペアリングすることができる。次いで、外科用ハブ５１０４は、この術前又は初期化段階中にそれとペアリングされるモジュール式デバイス５１０２の種類を検出することによって、外科的処置に関するコンテキスト情報を導出することができる。この特定の実施例では、外科用ハブ５１０４は、ペアリングされたモジュール式デバイス５１０２のこの特定の組み合わせに基づいて、外科的処置がＶＡＴＳ手術であると判定する。患者のＥＭＲからのデータの組み合わせ、処置に用いられる医療用品のリスト、及びハブに接続するモジュール式デバイス５１０２の種類に基づいて、外科用ハブ５１０４は、外科チームが実施する特定の処置を概ね推定することができる。外科用ハブ５１０４が、何の特定の処置が行われているかを知ると、次いで外科用ハブ５１０４は、メモリから、又はクラウドからその処置のステップを読み出し、次いで接続されたデータソース５１２６（例えば、モジュール式デバイス５１０２及び患者モニタリングデバイス５１２４）からその後受信したデータを相互参照して、外科的処置のどのステップを外科チームが実行しているかを推定することができる。

第５の５２１０では、職員は、ＥＫＧ電極及び他の患者モニタリングデバイス５１２４を患者に取り付ける。ＥＫＧ電極及び他の患者モニタリングデバイス５１２４は、外科用ハブ５１０４とペアリングすることができる。外科用ハブ５１０４が患者モニタリングデバイス５１２４からデータの受信を開始すると、外科用ハブ５１０４は患者が手術現場にいることを確認する。

第６の５２１２では、医療関係者は患者において麻酔を誘発する。外科用ハブ５１０４は、例えば、ＥＫＧデータ、血圧データ、人工呼吸器データ又はこれらの組み合わせを含む、モジュール式デバイス５１０２、及び／又は患者モニタリングデバイス５１２４からのデータに基づいて、患者が麻酔下にあることを推測することができる。第６ステップ５２１２が完了すると、肺区域切除手術の術前部分が完了し、手術部が開始する。

第７の５２１４では、手術されている患者の肺が虚脱される（換気が対側肺に切り替えられる間に）。外科用ハブ５１０４は、患者の肺が虚脱されたことを人工呼吸器データから推測することができる。外科用ハブ５１０４は、患者の肺が虚脱したのを検出したことを、処置の予期されるステップ（事前にアクセス又は読み出すことができる）と比較することができるため、処置の手術部分が開始したことを推定して、それによって肺を虚脱させることがこの特定の処置における第１の手術ステップであると判定することができる。

第８の５２１６では、医療用撮像デバイス５１０８（例えば、スコープ）が挿入され、医療用撮像デバイスからのビデオ映像が開始される。外科用ハブ５１０４は、医療用撮像デバイスへの接続を通じて医療用撮像デバイスデータ（すなわち、静止画像データ又はリアルタイムのライブストリーミングビデオ）を受信する。医療用撮像デバイスデータを受信すると、外科用ハブ５１０４は、外科的処置の腹腔鏡部分が開始したことを判定することができる。更に、外科用ハブ５１０４は、行われている特定の処置が、肺葉切除術とは対照的に区域切除術であると判定することができる（処置の第２のステップ５２０４で受信したデータに基づいて、楔形切除術は外科用ハブ５１０４によって既に考慮に入れられていないことに留意されたい）。医療用撮像デバイス１２４（図２）からのデータを利用して、様々な方法で、例えば、患者の解剖学的構造の可視化に対して向けられている医療用撮像デバイスの角度を判定することによって、利用されている（すなわち、起動されており、外科用ハブ５１０４とペアリングされている）数又は医療用撮像デバイスを監視することによって、及び利用されている可視化装置の種類を監視することによって、行われている処置の種類に関するコンテキスト情報を判定することができる。

例えば、ＶＡＴＳ肺葉切除術を実行するための１つの技術は、カメラを患者の胸腔の前下方角部の横隔膜上方に配置するが、他方、ＶＡＴＳ区域切除術を実行するための１つの技術は、カメラを、区域裂に対して前方の肋間位置に配置する。状況認識システムは、例えば、パターン認識技術又は機械学習技術を使用して、患者の解剖学的構造の可視化に従って、医療用撮像デバイスの位置を認識するように訓練することができる。別の例として、ＶＡＴＳ肺葉切除術を実行するための１つの技術は、単一の医療用撮像デバイスを利用するが、ＶＡＴＳ区域切除術を実行するための別の技術は複数のカメラを利用する。更に別の例として、ＶＡＴＳ区域切除術を実行するための１つの技術は、区域裂を可視化するために赤外線光源（可視化システムの一部として外科用ハブへと通信可能に連結できる）を利用するが、これはＶＡＴＳ肺葉切除術では利用されない。医療用撮像デバイス５１０８からのこのデータのいずれか又は全てを追跡することによって、外科用ハブ５１０４は、行われている特定の種類の外科的処置、及び／又は特定の種類の外科的処置に使用されている技術を判定することができる。

第９のステップ５２１８では、外科チームは、処置の切開ステップを開始する。外科用ハブ５１０４は、エネルギー器具が発射されていることを示すＲＦ又は超音波発生器からのデータを受信するため、外科医が患者の肺を切開して分離するプロセスにあると推定することができる。外科用ハブ５１０４は、受信したデータを外科的処置の読み出しされたステップと相互参照して、プロセスのこの時点（すなわち、上述された処置のステップが完了した後）で発射されているエネルギー器具が切開ステップに対応していると判定することができる。

第１０のステップ５２２０では、外科チームは、処置の結紮ステップに進む。外科用ハブ５１０４は、器具が発射されていることを示すデータを外科用ステープル留め及び切断器具から受信するため、外科医が動脈及び静脈を結紮していると推定することができる。前ステップと同様に、外科用ハブ５１０４は、外科用ステープル留め及び切断器具からのデータの受信を、読み出しされたプロセス内のステップと相互参照することによって、この推定を導出することができる。

第１１のステップ５２２２では、処置の区域切除術の部分が行われる。外科用ハブ５１０４は、ステープルカートリッジからのデータを含む、外科用器具からのデータに基づいて、外科医が実質組織を横切開していると推定する。カートリッジデータは、例えば、器具によって発射されているステープルのサイズ又はタイプに対応し得る。カートリッジデータは、異なるタイプの組織に利用される異なるタイプのステープルに対して、ステープル留め及び／又は横切開されている組織のタイプを示し得る。発射されているステープルのタイプは実質組織又は他の同様の組織タイプに利用され、外科用ハブ５１０４は、区域切除処置が行われていると推定することができる。

続いて第１２のステップ５２２４で、結節切開ステップが行われる。外科用ハブ５１０４は、ＲＦ又は超音波器具が発射されていることを示す、発生器から受信したデータに基づいて、外科チームが結節を切開し、漏れ試験を行っていると推定することができる。この特定の処置の場合、実質組織が横切開された後に利用されるＲＦ又は超音波器具は結節切開ステップに対応しており、これにより外科用ハブ５１０４がこの推定を行うことができる。異なる器具が特定のタスクに対してより良好に適合するので、外科医が、処置中の特定のステップに応じて、手術用ステープリング／切断器具と手術用エネルギー（すなわち、ＲＦ又は超音波）器具とを、定期的に交互に切り替えることに留意されたい。したがって、ステープル留め器具／切断器具及び手術用エネルギー器具が使用される特定のシーケンスは、外科医が処置のどのステップを実行しているかを示すことができる。第１２のステップ５２２４が完了すると、切開部が閉鎖され、処置の術後部分が開始する。

第１３のステップ５２２６では、患者の麻酔を解く。外科用ハブ５１０４は、例えば、ベンチレータデータに基づいて（すなわち、患者の呼吸速度が増加し始める）、患者が麻酔から覚醒しつつあると推定することができる。

最後に、第１４の５２２８では、医療従事者が患者から様々な患者モニタリングデバイス５１２４を除去する。したがって、外科用ハブ５１０４は、ハブがＥＫＧ、ＢＰ、及び患者モニタリングデバイス５１２４からの他のデータを喪失したとき、患者が回復室に移送されていると推定することができる。外科用ハブ５１０４と通信可能に連結された各種データソース５１２６から受信したデータに従って、外科用ハブ５１０４は、所与の外科的処置の各ステップが発生しているときを判定又は推定することができる。

図１１に示されるタイムライン５２００の第１のステップ５２０２に示されるように、ＥＭＲデータベース（複数の場合もある）からの患者データを利用して、行われる外科的処置のタイプを推定することに加えて、患者データはまた、状況認識外科用ハブ５１０４によって利用されて、ペアリングされたモジュール式デバイス５１０２の制御調整を生成することができる。

本開示は、拡張ディスプレイを仮想要素で過飽和にすることなく、関連する拡張現実（ＡＲ）コンテンツを外科職員に表示するためのシステム、方法、及びデバイスを提供する。外科職員（例えば、医師、看護師、外科医、技術者など）は、外科医の注意をそらすことなく有用な情報を表示することの間で微妙にバランスがとられたＡＲコンテンツを必要とする。外科用ハブは、外科的環境に関連する複数の入力を受信し、外科医が患者に効果的なケアを提供することを可能にするために必要な情報のみを表示する。

様々な態様では、外科用ハブは、状況認識システムによって受信されたトリガイベント又はコンテキストパラメータの評価に応答して表示される仮想要素を生成する（図１１）。外科用ハブは、現在の外科的処置、外科的処置における予想される次のステップ、及び／又はアクティブな外科用器具を含む外科的処置及び環境のコンテキスト情報を判定し得る。外科用ハブは、コンテキスト情報を評価し、情報が関連するかどうかを判定し、必要な又は緊急の情報を外科医に提供する。外科医に情報が殺到している場合、外科医は通知を無視し始めるか、又はモニタリングされている情報と緊急通知とを区別するのが困難な時間を有する可能性がある。

加えて、外科用ハブは、外科医にとって有用であるが、遅れ、ジッタ、又は遅延を生成しないリフレッシュレートで、情報を選択的に表示又は更新し得る。ＡＲコンテンツの本質的な構成要素は、ユーザによってリアルタイムで消費されることである。緊急通知は、即座に表示されなければならず、したがって、処理の遅れ及び遅延は、外科的環境において容認できない。ネットワーク及び処理遅延を防止するために、あるトラフィック及び仮想要素が他のものよりも優先され得る。一態様では、特定のパラメータは、外科用ハブによって連続的にモニタリングされ得るが、所定の閾値又はトリガイベントに応答してのみ表示され得る。トリガイベントは、可聴雑音干渉、帯域幅の低又は高可用性、及び医療システムの起動、予期せぬ医療イベントなどを含み得る。

種々の態様では、トリガイベントは、単極又は双極エネルギーシステムなどの外科用システムの結果である、予想される信号中断を含み得る。トリガイベントに応答して、外科用ハブは、ＡＲデバイス上に警告を自動的に表示するか、又は是正措置をとり、ＡＲデバイスを通じて外科職員に通知するように構成され得る。

一態様では、外科用ハブは、高強靭性通信のために冗長通信プロトコルを使用することができる。冗長通信は、ユーザデータグラムプロトコル（ＵＤＰ）のような低重みパケットよりも高いパケットペイロードを有するが、パケット受信を保証するために、チェックサムなどの内蔵冗長性を備える。外科用ハブは、外科用デバイスが干渉を受けやすい通信プロトコルを用いて外科用ハブに接続されていると判定してもよく、外科用デバイスが低通信スループットＢｌｕｅｔｏｏｔｈ（登録商標）などのより強靭な通信プロトコルに移動することを提案する。外科用デバイスが通信転送中に干渉を受ける場合、デバイスは、転送を開始し、外科用ハブによって受信されたデータが正確であったことを確認するために、処置後に再走査することができる。

様々な態様では、外科用ハブは、信号干渉を判定及び防止するために、外科的処置の間に存在する複数の外科用システム及び信号を評価する。図１２は、予想される信号干渉に対する外科用ハブ６、５６（図１～図３、図５～図８）による周波数シフト応答のグラフ表現１７１００を示す。第１の外科用デバイスによる信号１７１０６の生成に先立って、外科用ハブは、第１の外科用デバイスの使用中に干渉又は信号中断を経験し得る第２の外科用デバイスが信号１７１０４を生成することを外科職員に通知し得る。外科用ハブは、通信信号を第１の外科用デバイスの周波数スペクトル外の異なる周波数にシフトするように第２の外科用デバイスに促し得る。加えて、外科用ハブが、第２の外科用デバイスによる通信が重要な通信であるとみなす場合、外科用ハブは、信号１７１０４の周波数を１７１０２における周波数に自動的にシフトし得る。一例では、２．４ＧＨｚ周波数帯域は、ワイヤレス通信のためにＩＥＥＥ ８０２．１１の下で一般に使用されるが、電気機械機器によっても使用される。バイオポーラ又はモノポーラエネルギーシステムは、高いパケット損失、したがって通信遅延をもたらす、２．４ＧＨｚ周波数帯域内の信号雑音を生成する。信号干渉及び通信遅延を回避するために、外科用ハブは、５．０ＧＨｚ周波数帯域などの別の周波数帯域を探す。次いで、第２の外科用デバイスは、外科用ハブによって送信されたトリガ通信に基づいて、動的にチャネルホップ又はチャネルホップすることを可能にされ得る。外科的処置の開始前に、外科用ハブは、２つのデバイス間の潜在的な通信干渉を認識することができ、手術の開始時にプロンプトを開始するか、又は予防措置としてチャネルホッピングを自動的に有効にすることができる。

外科用ハブは、実行される特定の処置、処置中に使用される外科用器具、外科用器具を起動しなければならない外科用器具であるときの状況、器具を起動し得るときの柔軟な時間間隔、器具作動による干渉の可能性、及び干渉のタイプを示すコンテキストデータを受信する。この情報に基づいて、外科用ハブは、予想される干渉を回避するために、外科用システムの起動及び通信を自動的にスケジュールすることができる。

図１３は、外科用ハブ６、５６（図１～図３、図５～図８）によってスケジュールされたデバイス起動及び通信送信のタイムライン１７２００を示す。外科用ハブは、１７２０２ａで外科用システムの起動後まで通信信号１７２０４ａを遅延し得る。外科用ハブは、１７２０２ｂで外科用システムの起動後まで、信号１７２０４ｂの通信を遅延させることによって、このシーケンスを繰り返す。外科手術は、通信及びデバイス起動の階層に基づいて、通信信号１７２０４が重要な通信であり、他の全てのデバイスが非アクティブ化されることを判定する。典型的には、外科用システム１７２０２は起動されるが、重要な通信のために遅延される。信号送信１７２０４が完了すると、外科用システムは、１７２０２ｃで起動を再開する。

図１４は、複数の要因を評価し、通信及びデバイス起動の階層を判定するためのフロー図１７３００を示す。外科用ハブ６、５６（図１～図３、図５～図８）は、外科的処置におけるデバイス起動のスケジュール及び予想される干渉に基づいて階層を判定し得る（１７３０２）。外科用ハブはまた、重要な要因（例えば、生死の状況）に基づいて、リアルタイムで、特定の通信を優先し得る。外科用ハブは、デバイス又はシステムの有効性を阻害し得る干渉のタイプ、及び干渉が知覚可能である程度を判定する（１７３０４）。例えば、外科用ハブ６、５６は、デバイスが、潜在的な干渉を引き起こす信号によって生成され得る干渉／雑音のタイプの影響を受けやすいかどうかを判定する（１７３０４ｂ）。外科用ハブ６、５６は、追跡及び位置情報を使用して、第１のデバイスが患者の体内に位置するか又は配置されているかどうかを判定する（１７３０６）。例えば、外科用ハブ６、５６は、デバイスが患者の体内に位置しているかどうかを判定する（１７３０６ａ）。外科用デバイスは、患者及び他のデバイスに対するデバイスの種々の端部の場所を追跡システムが判定することを可能にする近接マーカを備え得る。患者への近接は、デバイスのアクティブな使用又は差し迫った使用を示すことができる。外科用ハブ６、５６は、デバイスとシステムとの間の近接関係を判定して、干渉システムの可能性を評価するように構成され得る。外科用ハブ６、５６は、潜在的な干渉を引き起こすデバイスに対する第１のデバイスの場所又は近接を判定する（１７３０８）。例えば、外科用ハブ６、５６は、デバイスが潜在的な干渉を引き起こすデバイスから所定の距離内に位置するかどうかを判定する（１７３０８ａ）。更に、外科用ハブ６、５６は、潜在的な干渉を引き起こすデバイスによって生成された干渉／雑音タイプに基づいて、影響を受けた近接を判定する（１７３０８ｂ）。外科用ハブ６、５６は更に、干渉が伝播することができる所定の範囲を評価することができる。外科用ハブは、状況認識システムに基づいて、通信スケジュール又は起動スケジュールが柔軟であるかどうかを示すコンテキストパラメータを評価する。外科用ハブ６、５６は、第１のデバイスがアクティブな使用状態にある／現在機能を実行しているかどうかを判定する（１７３１０）。例えば、外科用ハブ６、５６は、デバイスがアクティブ動作モードにあるかどうかを判定する（１７３１０ａ）。更に、外科用ハブ６、５６は、場所、位置、ユーザ入力、電力レベルの変化が、デバイスがアクティブ動作中であるか、又は非アクティブ動作になることを示すかどうかを判定する（１７３１０ｂ）。

第１の外科用デバイスの起動に先立って、第１の外科用デバイスは、潜在的な雑音／干渉誘発イベントが発生しようとしているという通信を外科用ハブに送信する。通信に応答して、外科用ハブは、予想される干渉を緩和するために１つ以上の設定を変更する。一例では、双極アブレーションシステム及び単極アブレーションシステムが、同じ外科的処置中に使用される。単極システムの起動は、双極システムのインピーダンス制御に干渉する。双極が既にサイクル内にあり、単極が起動されている場合、外科用ハブは、両方のデバイスの併用を禁止するのではなく、起動の直前の方法で動作し続けるように、双極制御ループを変更する。インターフェースが停止すると、双極は通常の閉ループ使用に戻る。

別の態様では、外科用ハブは、全ての外科用デバイスの設定又は現在の動作のスナップショットを撮るように構成される。設定のスナップショットは、外科用デバイスのうちの１つ以上が、外科用ハブを再設定し、外科用ハブに再接続するように要求される場合の予防措置として使用される。加えて、スナップショットは、ネットワーク通信設定（例えば、ＳＳＩＤ、ネットワークドメイン、無線通信許可）及び潜在的なサブデバイス設定を（データをデバイスに再送信することによって）再確立するために使用され得る。

図１５は、エンドエフェクタが組織をクランプし、発射プロセスにあるときのエンドエフェクタ信号及び雑音のグラフィカル表現１７４００を示す。単極又はマイクロ波アブレーションシステムが起動され、エンドエフェクタの閉ループ発射制御の内部機能に干渉する。信号１７４０６は、干渉信号を表す。マイクロ波アブレーションシステムは、ＲＦ過負荷又は飽和イベントを生成し、エンドエフェクタの制御信号に干渉する可能性がある。単極アブレーションシステムは、ＲＦエネルギーを生成し、このＲＦエネルギーは、雑音を金属シャフト上に伝播して接点に入り込み、同様のＲＦ飽和イベントを引き起こす可能性がある。信号１７４０２は、エンドエフェクタの所望の結果を示し、信号１７４０４は、制御ループセンサの故障を示し、エンドエフェクタを停止させる。干渉イベントが終了すると、外科用ハブは、ＰＷＭの誤差項及びレートセルを再ポピュレートし、エンドエフェクタが、停止した場所を再開し、動作を終了することを可能にし得る。

様々な態様では、外科用ハブは、設定及び誤差項の再ポピュレーションが禁止されていると判定し得る。一例では、モータ制御のサブ機能だけでなく、ＡＲＭプロセッサ自体が干渉の影響を受ける場合があり、よって、外科用ハブは再ポピュレーションを禁止する。別の実施例では、外科用ハブは、インターフェースの開始から所定の時間量が経過したと判定し、次いで、システムは、再始動されるのではなく、リセットされ得る。他の場合には、外科用ハブは、再ポピュレーションプロセスの一部として追加のステップを開始する必要がある場合がある。肺動脈又は肺静脈切断の場合、システムは、エンドエフェクタが切断を完了することを可能にする前に、組織がクランプ解除され、チェックされ、増強され、又はレビューされることを必要とし得る。

様々な態様では、外科用ハブは、予想される干渉イベントによって直接影響を受ける可能性があるサブデバイスに通知する。警告は、サブデバイスが予想される干渉に対する内部防御を準備することを可能にする。内部防御は、信号干渉の期間を通してデバイスが動作し続けることを可能にする雑音フィルタを有効にすることを含み得る。信号雑音フィルタは、内部信号処理であってもよく、デバイスに組み込まれてもよい。

種々の態様では、外科用ハブは、外部雑音をモニタリングし、次いで、警告を１つ以上の外科用デバイスに通信する、雑音受信機を備える。外部雑音（例えば、可聴、インピーダンス、周波数、又は他の電気信号）が感知され、発生器／デバイス信号（すなわち、音量出力、周波数出力）は、補償するために特定の干渉に従って調整され得る。

様々な態様では、外科用ハブは、互いに競合するか又は潜在的に干渉すると識別されたシステムの組み合わされた起動又は利用を禁止する。外科用ハブは、警告を生成し、次いで、干渉の階層に従って、雑音イベントが有効である間に使用されている間に誤動作し得る任意のデバイスを阻止する（図１４）。更に、階層要素は、重要な生命維持処置、デバイスに基づく通信の優先順位付け、及び患者の止血を維持することを含む（図１４）。外科用ハブは、通信及びデバイス起動のスケジューリングが外科職員に感知されないように、システムの協調相互作用を優先する。したがって、重要な通信及び重要な生命維持処置が常に優先され得る。

図１６は、トリガイベントの予測又は検出に基づく外科用ハブ応答のフロー図１７５００を示す。外科用ハブは、１つ以上のデバイスに、検出された又は予想された干渉を通知する（１７５０２）。外科用ハブは、全てのデバイス設定のスナップショット１７５０４をとり、デバイスが問題なくリセット及び再ポピュレートされ得るかどうかを判定する。デバイスが許可する場合、外科用ハブは、再ポピュレーションイベントを開始する（１７５０８）。追加的又は代替的に、外科用ハブは、干渉のタイプを判定し（１７５１０）、予想される干渉タイプをサブデバイスシステムに通知する（１７５１２）。サブデバイスは、干渉に対する防御（例えば、チャネルホッピング）を開始する（１７５１４）ことによって応答する。外科用ハブは、重要なシステムの階層に従って、システムの通信及び起動を評価及び判定し得る（１７５１６）。外科用ハブは、システムが同時動作のために協働して相互作用し得るか、又はシステムが順次動作のために優先される必要があるかを判定する（１７５１８）。システムの干渉タイプ及びスケジュールに応答して、外科用ハブは、１つ以上のシステムの動作を防止する（１７５２０）。

様々な態様では、外科用ハブは、開創中に組織に及ぼされる力又は運動の変化に基づいてトリガイベントを判定する。それに応答して、外科用ハブは、ＡＶディスプレイ上に、仮想要素として、組織張力又は開創のリアルタイム測定を提供する同様の測定基準を表示する先制の警告を生成する。加えて、外科用ハブは、患者又は地面に対する変位及び力の測定値を表示し得る。この情報は、外科医が、意図された重力、組織張力、及び把持力を、過度の付随的損傷、又は隣接する接続のために意図されなかった力を生成することなく均衡させるために有用である。

様々な態様では、外科用ハブは、組織上で外科用器具によって生成される力、方向、及び大きさを含む複数の外科用パラメータを連続的にモニタリングし得る。加えて、外科用ハブは、力が特定の場所において所定の閾値を満たすか又は超えることを判定し得る。これに応答して、外科用ハブは、仮想要素の表示を開始し得る。

外科用ハブは、外科的処置の一部として１つ以上の臓器に加えられる力を連続的にモニタリングするように構成され、臓器は、腹腔鏡処置において外科医の視力を補助するために開創させられる。器官を開創したままであることができない場合、外科医の視力が妨げられ得るか、又は器官に損傷がもたらされ得る。外科用ハブは、臓器の位置、動き、及び力の変化を評価するために予測アルゴリズムを使用し得る。予測アルゴリズムは、特定の場所で所定量を超える組織張力の増加の可能性を識別し、外科医に警告を自動的に表示し得る。

警告は、警報、通知、音声若しくは視覚キュー、又はディスプレイ上のメッセージの形態で提供され得る。外科用器具によって生成される組織張力は、ＯＲディスプレイ上にリアルタイムで表示され得る。システムは、患者及び／又は地面に関連する力、張力、及び／又は力若しくは張力の変化を測定及びモニタリングするように構成される。システムは、力の開始、力が開始された時間を検出し、張力又は力の予想量と比較し得る。リアルタイムディスプレイは、組織張力が意図されるレベルを超えたときに警告を提供して、意図されない組織損傷及び過度の付随的結果を防止するように構成される。

ここで図１７及び図１８を参照して、本開示は、外科的処置中の外科用デバイス２１の相互作用を管理するための方法１７２６０の説明に移る。図１８に示される方法１７２６０は、図１７に示されるシステム１７２５０によって実施され得る。方法１７２６０によれば、外科用ハブ５６は、外科的環境からコンテキストパラメータを判定する（１７２６２）。図１７に示され、図６により詳細に示されるように、外科用ハブ５６は、他の構成要素の中でも特に、メモリ４５に連結された制御回路３１（例えば、プロセッサ）を含むコンピュータ６０を備える。外科用ハブ５６は、コンテキストパラメータに基づいて、手術室で行われている特定の外科的処置を判定する（１７２６４）。外科用ハブ５６は、遠隔サーバ６３から処置データを受信する（１７２６６）。処置データは、特定の外科的処置に関連するステップ及び外科用器具２１を示す。外科用ハブ５６は、処置データ及びコンテキストパラメータに基づいて、トリガイベントが予想されることを判定する（１７２６８）。外科用ハブ５６は、外科用器具２１及び処置データに従って応答を開始する（１７２７０）。

方法１７２６０の他の態様では、外科用ハブ５６は、外科的処置の現在の処置ステップを更に判定し得る。現在の処置ステップは、第１の外科用デバイス２１を起動させ、外科用ハブ５６は、第１の外科用デバイス２１が第２の外科用デバイス２１の通信に干渉すると予想されることを判定する。したがって、外科用ハブ５６は、予想される干渉を第２の外科用デバイス２１に通知し、第２の外科用デバイス２１に対する干渉防御を可能にする。一態様では、外科用ハブ５６によって可能にされる干渉防御は、予想される干渉周波数帯域の外側の通信信号からシフトするように構成された周波数シフトプロトコルである。

方法１７２６０の他の態様では、外科用ハブ５６は、外科的処置の現在の処置ステップを更に判定し得る。現在の処置ステップは、第１の外科用デバイス２１を起動させる。外科用ハブ５６は、第１の外科用デバイス２１が第２の外科用デバイス２１の通信に干渉することが予想されると判定する。外科用ハブ５６は、第１の外科用デバイス２１及び第２の外科用デバイス２１が協調スケジュールで動作可能であると判定する。次いで、外科用ハブ５６は、第１の外科用デバイス２１を起動し、第１の外科用デバイスの起動を完了したことに応答して、外科用ハブは、第２の外科用デバイス２１の通信を開始し得る。

方法１７２６０の他の態様では、トリガイベントは、組織が開創されている間に組織上に呈される力の変化に関連付けられる。力の変化は、外科用デバイス２１からの読み取り値に基づいて外科用ハブ５６によって判定され、所定の組織張力を超えることに基づく。更に、方法１７２６０によれば、外科用ハブ５６は、拡張現実（ＡＲ）デバイス６６上に表示する仮想要素を生成する。仮想要素は、開創された組織のモニタリング情報を提供する。

本明細書に記載される主題の様々な追加的態様は、以下の番号付けされた実施例において説明される。
実施例１：外科用システムであって、遠隔サーバと、拡張現実（ＡＲ）出力デバイスと、１つ以上の外科用デバイスと、遠隔サーバ、１つ以上の外科用デバイス、及びＡＲ出力デバイスに通信可能に連結された外科用ハブであって、メモリに連結された制御回路を備える外科用ハブと、を備え、制御回路は、外科的環境からコンテキストパラメータを判定することと、コンテキストパラメータから、手術室で実行されている特定の外科的処置を判定することと、遠隔サーバから、処置データを受信することであって、処置データが、特定の外科的処置に関連付けられたステップ及び外科用器具を示す、ことと、処置データ及びコンテキストパラメータに基づいて、トリガイベントが予想されると判定することと、外科用器具及び処置データに従って、予想されるトリガイベントに対する応答を開始することと、を行うように構成されている、外科用システム。

実施例２：制御回路は、外科的処置の現在の処置ステップを判定することであって、現在の処置ステップが第１の外科用デバイスを起動させる、ことと、第１の外科用デバイスが第２の外科用デバイスの通信に干渉することが予想されると判定することと、予想される干渉を第２の外科用デバイスに通知することと、第２の外科用デバイスに対する干渉防御を可能にすることと、を行うように更に構成されている、実施例１に記載のシステム。

実施例３：干渉防御は、予想される干渉周波数帯域の外側の通信信号からシフトするように構成された周波数シフトプロトコルである、実施例２に記載のシステム。

実施例４：制御回路は、外科的処置の現在の処置ステップを判定することであって、現在の処置ステップが第１の外科用デバイスを起動させる、ことと、第１の外科用デバイスが第２の外科用デバイスの通信に干渉することが予想されると判定することと、第１の外科用デバイス及び第２の外科用デバイスが協調スケジュールで動作可能であると判定することと、を行うように更に構成されている、実施例１～３のいずれか１つに記載のシステム。

実施例５：制御回路は、第１の外科用デバイスを起動し、第１の外科用デバイスの起動が完了したことに応答して、第２の外科用デバイスの通信を開始するように更に構成されている、実施例４に記載のシステム。

実施例６：制御回路は、優先順位の階層に従って外科的処置に関連付けられた複数の外科用デバイスを評価し、優先順位の階層に基づいて協調スケジュールを判定するように更に構成されている、実施例１～５のいずれか１つに記載のシステム。

実施例７：制御回路は、第１の外科用デバイスが重大な健康機能に関連付けられていると判定し、第１の外科用デバイスからの通信送信中に他の全てのデバイスの起動を禁止するように更に構成されている、実施例１～６のいずれか１つに記載のシステム。

実施例８：トリガイベントは、組織上に呈される力の変化と関連付けられ、組織は開創されている、実施例１～７のいずれか１つに記載のシステム。

実施例９：応答は、ＡＲデバイス上に表示する仮想要素を生成する、実施例１～８のいずれか１つに記載のシステム。

実施例１０：力の変化は、所定の組織張力を超えることに基づいて判定される、実施例９に記載のシステム。

実施例１１：外科用ハブは、ＡＲデバイス上に表示する仮想要素を生成し、仮想要素は、開創された組織に関するモニタリング情報を提供する、実施例９に記載のシステム。

実施例１２：仮想要素は、開創された組織に固定される、実施例１１に記載のシステム。

実施例１３：外科的処置中の外科用デバイスの相互作用を管理するための方法であって、外科用ハブによって、外科的環境からコンテキストパラメータを判定することと、外科用ハブによって、コンテキストパラメータに基づいて手術室内で行われている特定の外科的処置を判定することと、外科用ハブによって、遠隔サーバから処置データであって、処置データが、特定の外科的処置に関連付けられたステップ及び外科用器具を示す処置データを受信することと、外科用ハブによって、処置データ及びコンテキストパラメータに基づいてトリガイベントが予想されると判定することと、外科用ハブによって、外科用器具及び処置データに従って応答を開始することと、を含む方法。

実施例１４：外科用ハブによって、外科的処置の現在の処置ステップを判定することであって、現在の処置ステップが第１の外科用デバイスを起動させる、ことと、外科用ハブによって、第１の外科用デバイスが第２の外科用デバイスの通信に干渉することが予想されると判定することと、外科用ハブによって、予想される干渉を第２の外科用デバイスに通知することと、外科用ハブによって、第２の外科用デバイスに対する干渉防御を可能にすることと、を更に含む、実施例１３に記載の方法。

実施例１５：干渉防御は、予想される干渉周波数帯域の外側の通信信号からシフトするように構成された周波数シフトプロトコルである、実施例１４に記載の方法。

実施例１６：外科用ハブによって、外科的処置の現在の処置ステップを判定することであって、現在の処置ステップが第１の外科用デバイスを起動させる、ことと、外科用ハブによって、第１の外科用デバイスが第２の外科用デバイスの通信に干渉することが予想されると判定することと、外科用ハブによって、第１の外科用デバイス及び第２の外科用デバイスが協調スケジュールで動作可能であると判定することと、を更に含む、実施例１３～１５のいずれか１つに記載の方法。

実施例１７：外科用ハブによって、第１の外科用デバイスを起動することと、第１の外科用デバイスの起動を完了したことに応答して、外科用ハブによって、第２の外科用デバイスの通信を開始することと、を更に含む、実施例１６に記載の方法。

実施例１８：トリガイベントは、組織上に呈される力の変化と関連付けられ、組織は開創されている、実施例１３～１７のいずれか１つに記載の方法。

実施例１９：力の変化は、所定の組織張力を超えることに基づいて判定される、実施例１８に記載の方法。

実施例２０：外科用ハブは、拡張現実（ＡＲ）デバイス上に表示する仮想要素を生成し、仮想要素は、開創された組織に関するモニタリング情報を提供する、実施例１８に記載の方法。

いくつかの形態が示され説明されてきたが、添付の特許請求の範囲をそのような詳細に制限又は限定することは、本出願人が意図するところではない。多くの修正、変形、変更、置換、組み合わせ及びこれらの形態の等価物を実装することができ、本開示の範囲から逸脱することなく当業者により想到されるであろう。更に、記述する形態に関連した各要素の構造は、その要素によって実施される機能を提供するための手段として代替的に説明することができる。また、材料が特定の構成要素に関して開示されているが、他の材料が使用されてもよい。したがって、上記の説明文及び添付の特許請求の範囲は、全てのそのような修正、組み合わせ、及び変形を、開示される形態の範囲に含まれるものとして網羅することを意図としたものである点を理解されたい。添付の特許請求の範囲は、全てのそのような修正、変形、変更、置換、修正、及び等価物を網羅することを意図する。

上記の詳細な説明は、ブロック図、フロー図及び／又は実施例を用いて、装置及び／又はプロセスの様々な形態について記載してきた。そのようなブロック図、フロー図及び／又は実施例が１つ以上の機能及び／又は動作を含む限り、当業者に理解されたいこととして、そのようなブロック図、フロー図及び／又は実施例に含まれる各機能及び／又は動作は、多様なハードウェア、ソフトウェア、ファームウェア又はこれらの事実上の任意の組み合わせによって、個々にかつ／又は集合的に実装することができる。当業者には、本明細書で開示される形態のうちのいくつかの態様の全部又は一部が、１台以上のコンピュータ上で稼働する１つ以上のコンピュータプログラムとして（例えば、１台以上のコンピュータシステム上で稼働する１つ以上のプログラムとして）、１つ以上のプロセッサ上で稼働する１つ以上のプログラムとして（例えば、１つ以上のマイクロプロセッサ上で稼働する１つ以上のプログラムとして）、ファームウェアとして、又はこれらの実質的に任意の組み合わせとして集積回路上で等価に実装することができ、回路を設計すること、並びに／又はソフトウェア及び／若しくはファームウェアのコードを記述することは、本開示を鑑みれば当業者の技能の範囲内に含まれることが理解されよう。加えて、当業者には理解されることとして、本明細書に記載した主題の機構は、多様な形態で１つ以上のプログラム製品として配布されることが可能であり、本明細書に記載した主題の具体的な形態は、配布を実際に実行するために使用される信号搬送媒体の特定のタイプにかかわらず適用される。

様々な開示された態様を実施するように論理をプログラムするために使用される命令は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、キャッシュ、フラッシュメモリ又は他のストレージなどのシステム内メモリに記憶され得る。更に、命令は、ネットワークを介して、又は他のコンピュータ可読媒体によって配布され得る。したがって、機械可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で情報を記憶又は送信するための任意の機構が挙げられ得るが、フロッピーディスケット、光ディスク、コンパクトディスク、読み出し専用メモリ（ＣＤ－ＲＯＭ）、並びに磁気光学ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、磁気若しくは光カード、フラッシュメモリ又は、電気的、光学的、音響的、若しくは他の形態の伝播信号（例えば、搬送波、赤外線信号、デジタル信号など）を介してインターネットを介した情報の送信に使用される有形機械可読ストレージに限定されない。したがって、非一時的コンピュータ可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で電子命令又は情報を記憶又は送信するのに好適な任意のタイプの有形機械可読媒体が挙げられる。

本明細書の任意の態様で使用されるとき、「制御回路」という用語は、例えば、ハードワイヤード回路、プログラマブル回路（例えば、１つ以上の個々の命令処理コアを含むコンピュータプロセッサ、処理ユニット、プロセッサ、マイクロコントローラ、マイクロコントローラユニット、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブル論理装置（ＰＬＤ）、プログラマブル論理アレイ（ＰＬＡ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ））、状態機械回路、プログラマブル回路によって実行される命令を記憶するファームウェア、及びこれらの任意の組み合わせを指すことができる。制御回路は、集合的に又は個別に、例えば、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、スマートフォンなどの、より大きなシステムの一部を形成する回路として具現化され得る。したがって、本明細書で使用されるとき、「制御回路」は、少なくとも１つの個別の電気回路を有する電気回路、少なくとも１つの集積回路を有する電気回路、少なくとも１つの特定用途向け集積回路を有する電気回路、コンピュータプログラムによって構成された汎用コンピューティング装置（例えば、本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成された汎用コンピュータ、又は本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成されたマイクロプロセッサ）を形成する電気回路、メモリ装置（例えば、ランダムアクセスメモリの形態）を形成する電気回路及び／又は通信装置（例えばモデム、通信スイッチ、又は光－電気設備）を形成する電気回路を含むが、これらに限定されない。当業者は、本明細書で述べた主題が、アナログ形式若しくはデジタル形式、又はこれらのいくつかの組み合わせで実装されてもよいことを認識するであろう。

本明細書の任意の態様で使用されるとき、「論理」という用語は、前述の動作のいずれかを実施するように構成されたアプリケーション、ソフトウェア、ファームウェア、及び／又は回路を指し得る。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に記録されたソフトウェアパッケージ、コード、命令、命令セット、及び／又はデータとして具現化されてもよい。ファームウェアは、メモリ装置内のコード、命令、若しくは命令セット、及び／又はハードコードされた（例えば、不揮発性の）データとして具現化されてもよい。

本明細書の任意の態様で使用されるとき、「構成要素」、「システム」、「モジュール」等という用語は、制御回路、コンピュータ関連エンティティ、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、又は実行中のソフトウェアのいずれかを指すことができる。

本明細書の任意の態様で使用されるとき、「アルゴリズム」とは、所望の結果につながるステップの自己無撞着シーケンスを指し、「ステップ」とは、必ずしも必要ではないが、記憶、転送、組み合わせ、比較、及び別様に操作されることが可能な電気信号又は磁気信号の形態をとることができる物理量及び／又は論理状態の操作を指す。これらの信号を、ビット、値、要素、記号、文字、用語、番号などとして言及することが一般的な扱い方である。これらの及び類似の用語は、適切な物理量と関連付けられてもよく、また単に、これらの量及び／又は状態に適用される便利な標識である。

ネットワークとしては、パケット交換ネットワークが挙げられ得る。通信デバイスは、選択されたパケット交換ネットワーク通信プロトコルを使用して、互いに通信することができる。１つの例示的な通信プロトコルとしては、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）を使用して通信を可能にすることができるイーサネット通信プロトコルを挙げることができる。イーサネットプロトコルは、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）によって発行された２００８年１２月発行の表題「ＩＥＥＥ８０２．３ Ｓｔａｎｄａｒｄ」、及び／又は本規格の後のバージョンのイーサネット規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信デバイスは、Ｘ．２５通信プロトコルを使用して互いに通信することができる。Ｘ．２５通信プロトコルは、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ－Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（ＩＴＵ－Ｔ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信デバイスは、フレームリレー通信プロトコルを使用して互いに通信することができる。フレームリレー通信プロトコルは、Ｃｏｎｓｕｌｔａｔｉｖｅ Ｃｏｍｍｉｔｔｅｅ ｆｏｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｇｒａｐｈ ａｎｄ Ｔｅｌｅｐｈｏｎｅ（ＣＣＩＴＴ）及び／又はｔｈｅ Ａｍｅｒｉｃａｎ Ｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｓ Ｉｎｓｔｉｔｕｔｅ（ＡＮＳＩ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、送受信機は、非同期転送モード（ＡＴＭ）通信プロトコルを使用して互いに通信することが可能であり得る。ＡＴＭ通信プロトコルは、ＡＴＭ Ｆｏｒｕｍによって「ＡＴＭ－ＭＰＬＳ Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｗｏｒｋｉｎｇ ２．０」という題で２００１年８月に公開されたＡＴＭ規格及び／又は本規格の後のバージョンに準拠するか、又は互換性があり得る。当然のことながら、異なる及び／又は後に開発されたコネクション型ネットワーク通信プロトコルは、本明細書で等しく企図される。

別段の明確な定めがない限り、前述の開示から明らかなように、前述の開示全体を通じて、「処理すること（processing）」、「計算すること（computing）」、「算出すること（calculating）」、「判定すること（determining）」、「表示すること（displaying）」などの用語を使用する考察は、コンピュータシステムのレジスタ及びメモリ内で物理（電子的）量として表現されるデータを、コンピュータシステムのメモリ若しくはレジスタ又は他のそのような情報記憶、伝送、若しくは表示装置内で物理量として同様に表現される他のデータへと操作し変換する、コンピュータシステム又は類似の電子計算装置のアクション及び処理を指していることが理解されよう。

１つ以上の構成要素が、本明細書中で、「ように構成されている（configured to）」、「ように構成可能である（configurable to）」、「動作可能である／ように動作する（operable/operative to）」、「適合される／適合可能である（adapted/adaptable）」、「ことが可能である（able to）」、「準拠可能である／準拠する（conformable/conformed to）」などと言及され得る。当業者は、「ように構成されている」は、一般に、文脈上他の意味に解釈すべき場合を除き、アクティブ状態の構成要素及び／又は非アクティブ状態の構成要素及び／又はスタンバイ状態の構成要素を包含し得ることを理解するであろう。

「近位」及び「遠位」という用語は、本明細書では、外科用器具のハンドル部分を操作する臨床医を基準として使用される。「近位」という用語は、臨床医に最も近い部分を指し、「遠位」という用語は、臨床医から離れた位置にある部分を指す。便宜上及び明確性のために、「垂直」、「水平」、「上」、及び「下」などの空間的用語が、本明細書において図面に対して使用され得ることが更に理解されよう。しかしながら、外科用器具は、多くの向き及び位置で使用されるものであり、これらの用語は限定的及び／又は絶対的であることを意図したものではない。

当業者は、一般に、本明細書で使用され、かつ特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）で使用される用語は、概して「オープンな」用語として意図されるものである（例えば、「含む（including）」という用語は、「～を含むが、それらに限定されない（including but not limited to）」と解釈されるべきであり、「有する（having）」という用語は「～を少なくとも有する（having at least）」と解釈されるべきであり、「含む（includes）」という用語は「～を含むが、それらに限定されない（includes but is not limited to）」と解釈されるべきであるなど）ことを理解するであろう。更に、導入された請求項記載（introduced claim recitation）において特定の数が意図される場合、かかる意図は当該請求項中に明確に記載され、またかかる記載がない場合は、かかる意図は存在しないことが、当業者には理解されるであろう。例えば、理解を助けるものとして、後続の添付の特許請求の範囲は、「少なくとも１つの（at least one）」及び「１つ以上の（one or more）」という導入句を、請求項記載を導入するために含むことがある。しかしながら、かかる句の使用は、「ａ」又は「ａｎ」という不定冠詞によって請求項記載を導入した場合に、たとえ同一の請求項内に「１つ以上の」又は「少なくとも１つの」といった導入句及び「ａ」又は「ａｎ」という不定冠詞が含まれる場合であっても、かかる導入された請求項記載を含むいかなる特定の請求項も、かかる記載事項を１つのみ含む請求項に限定されると示唆されるものと解釈されるべきではない（例えば、「ａ」及び／又は「ａｎ」は通常、「少なくとも１つの」又は「１つ以上の」を意味するものと解釈されるべきである）。定冠詞を使用して請求項記載を導入する場合にも、同様のことが当てはまる。

加えて、導入された請求項記載において特定の数が明示されている場合であっても、かかる記載は、典型的には、少なくとも記載された数を意味するものと解釈されるべきであることが、当業者には認識されるであろう（例えば、他に修飾語のない、単なる「２つの記載事項」という記載がある場合、一般的に、少なくとも２つの記載事項、又は２つ以上の記載事項を意味する）。更に、「Ａ、Ｂ及びＣなどのうちの少なくとも１つ」に類する表記が使用される場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。「Ａ、Ｂ又はＣなどのうちの少なくとも１つ」に類する表記が用いられる場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、又はＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。更に、典型的には、２つ以上の選択的な用語を表すあらゆる選言的な語及び／又は句は、文脈上他の意味に解釈すべき場合を除いて、明細書内であろうと、請求の範囲内であろうと、あるいは図面内であろうと、それら用語のうちの１つ、それらの用語のうちのいずれか、又はそれらの用語の両方を含む可能性を意図すると理解されるべきであることが、当業者には理解されよう。例えば、「Ａ又はＢ」という句は、典型的には、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むものと理解されよう。

添付の特許請求の範囲に関して、当業者は、本明細書における引用した動作は一般に、任意の順序で実施され得ることを理解するであろう。また、様々な動作のフロー図がシーケンス（複数可）で示されているが、様々な動作は、示されたもの以外の順序で実施されてもよく、又は同時に実施されてもよいことが理解されるべきである。かかる代替の順序付けの例は、文脈上他の意味に解釈すべき場合を除いて、重複、交互配置、割り込み、再順序付け、増加的、予備的、追加的、同時、逆又は他の異なる順序付けを含んでもよい。更に、「～に応答する（responsive to）」、「～に関連する（related to）」といった用語、又は他の過去時制の形容詞は、一般に、文脈上他の意味に解釈すべき場合を除き、かかる変化形を除外することが意図されるものではない。

「一態様」、「態様」、「例示」、「一例示」などへの任意の参照は、その態様に関連して記載される特定の特徴部、構造又は特性が少なくとも１つの態様に含まれると意味することは特記に値する。したがって、本明細書の全体を通じて様々な場所に見られる語句「一態様では」、「態様では」、「例示では」及び「一例示では」は、必ずしも全てが同じ態様を指すものではない。更に、特定の特徴、構造、又は特性は、１つ以上の態様において任意の好適な様態で組み合わせることができる。

本明細書で参照され、かつ／又は任意の出願データシートに列挙される任意の特許出願、特許、非特許刊行物、又は他の開示資料は、組み込まれる資料が本明細書と矛盾しない範囲で、参照により本明細書に組み込まれる。それ自体、また必要な範囲で、本明細書に明瞭に記載される開示は、参照により本明細書に組み込まれるあらゆる矛盾する記載に優先するものとする。参照により本明細書に組み込まれると言及されているが、現行の定義、見解、又は本明細書に記載される他の開示内容と矛盾するあらゆる内容、又はそれらの部分は、組み込まれた内容と現行の開示内容との間に矛盾が生じない範囲においてのみ、組み込まれるものとする。

要約すると、本明細書に記載した構想を用いる結果として得られる多くの利益が記載されてきた。１つ以上の形態の上述の記載は、例示及び説明を目的として提示されているものである。包括的であることも、開示された厳密な形態に限定することも意図されていない。上記の教示を鑑みて、修正又は変形が可能である。１つ以上の形態は、原理及び実際の応用について例示し、それによって、様々な形態を様々な修正例とともに、想到される特定の用途に適するものとして当業者が利用することを可能にするようにするために、選択及び記載されたものである。本明細書とともに提示される特許請求の範囲が全体的な範囲を定義することが意図される。

〔実施の態様〕
（１） 外科用システムであって、
遠隔サーバと、
拡張現実（ＡＲ）出力デバイスと、
１つ以上の外科用デバイスと、
前記遠隔サーバ、前記１つ以上の外科用デバイス、及び前記ＡＲ出力デバイスに通信可能に連結された外科用ハブであって、メモリに連結された制御回路を備える、外科用ハブと、を備え、前記制御回路は、
外科的環境からコンテキストパラメータを判定することと、
前記コンテキストパラメータから、手術室で実行されている特定の外科的処置を判定することと、
前記遠隔サーバから、処置データを受信することであって、前記処置データが、前記特定の外科的処置に関連付けられたステップ及び外科用器具を示す、ことと、
前記処置データ及び前記コンテキストパラメータに基づいて、トリガイベントが予想されると判定することと、
前記外科用器具及び前記処置データに従って、前記予想されるトリガイベントに対する応答を開始することと、を行うように構成されている、外科用システム。
（２） 前記制御回路は、
前記外科的処置の現在の処置ステップを判定することであって、前記現在の処置ステップが第１の外科用デバイスを起動させる、ことと、
前記第１の外科用デバイスが第２の外科用デバイスの通信に干渉することが予想されると判定することと、
前記予想される干渉を前記第２の外科用デバイスに通知することと、
前記第２の外科用デバイスに対する干渉防御を可能にすることと、を行うように更に構成されている、実施態様１に記載の外科用システム。
（３） 前記干渉防御は、予想される干渉周波数帯域の外側の通信信号からシフトするように構成された周波数シフトプロトコルである、実施態様２に記載の外科用システム。
（４） 前記制御回路は、
前記外科的処置の現在の処置ステップを判定することであって、前記現在の処置ステップが第１の外科用デバイスを起動させる、ことと、
前記第１の外科用デバイスが第２の外科用デバイスの通信に干渉することが予想されると判定することと、
前記第１の外科用デバイス及び前記第２の外科用デバイスが協調スケジュールで動作可能であると判定することと、を行うように更に構成されている、実施態様１に記載の外科用システム。
（５） 前記制御回路は、
前記第１の外科用デバイスを起動し、
第１の外科用デバイスの起動が完了したことに応答して、前記第２の外科用デバイスの前記通信を開始するように更に構成されている、実施態様４に記載の外科用システム。

（６） 前記制御回路は、
優先順位の階層に従って、前記外科的処置に関連付けられた複数の外科用デバイスを評価し、
前記優先順位の階層に基づいて協調スケジュールを判定するように更に構成されている、実施態様１に記載の外科用システム。
（７） 前記制御回路は、
第１の外科用デバイスが重大な健康機能に関連付けられていると判定し、
前記第１の外科用デバイスからの通信送信中に他の全てのデバイスの起動を禁止するように更に構成されている、実施態様１に記載の外科用システム。
（８） 前記トリガイベントは、組織上に呈される力の変化と関連付けられ、前記組織は開創されている、実施態様１に記載の外科用システム。
（９） 前記応答は、前記ＡＲデバイス上に表示する仮想要素を生成する、実施態様１に記載の外科用システム。
（１０） 力の変化は、所定の組織張力を超えることに基づいて判定される、実施態様９に記載の外科用システム。

（１１） 前記外科用ハブは、前記ＡＲデバイス上に表示する仮想要素を生成し、前記仮想要素は、開創された組織に関するモニタリング情報を提供する、実施態様９に記載の外科用システム。
（１２） 前記仮想要素は、前記開創された組織に固定される、実施態様１１に記載の外科用システム。
（１３） 外科的処置中に外科用デバイスの相互作用を管理するための方法であって、
外科用ハブによって、外科的環境からコンテキストパラメータを判定することと、
前記外科用ハブによって、前記コンテキストパラメータに基づいて手術室内で行われている特定の外科的処置を判定することと、
前記外科用ハブによって、遠隔サーバから処置データを受信することであって、前記処置データが、前記特定の外科的処置に関連付けられたステップ及び外科用器具を示す、ことと、
前記外科用ハブによって、前記処置データ及び前記コンテキストパラメータに基づいてトリガイベントが予想されると判定することと、
前記外科用ハブによって、前記外科用器具及び前記処置データに従って応答を開始することと、を含む、方法。
（１４） 前記外科用ハブによって、前記外科的処置の現在の処置ステップを判定することであって、前記現在の処置ステップが第１の外科用デバイスを起動させる、ことと、
前記外科用ハブによって、前記第１の外科用デバイスが第２の外科用デバイスの通信に干渉することが予想されると判定することと、
前記外科用ハブによって、前記予想される干渉を前記第２の外科用デバイスに通知することと、
前記外科用ハブによって、前記第２の外科用デバイスに対する干渉防御を可能にすることと、を更に含む、実施態様１３に記載の方法。
（１５） 前記干渉防御は、予想される干渉周波数帯域の外側の通信信号からシフトするように構成された周波数シフトプロトコルである、実施態様１４に記載の方法。

（１６） 前記外科用ハブによって、前記外科的処置の現在の処置ステップを判定することであって、前記現在の処置ステップが第１の外科用デバイスを起動させる、ことと、
前記外科用ハブによって、前記第１の外科用デバイスが第２の外科用デバイスの通信に干渉することが予想されると判定することと、
前記外科用ハブによって、前記第１の外科用デバイス及び前記第２の外科用デバイスが協調スケジュールで動作可能であると判定することと、を更に含む、実施態様１３に記載の方法。
（１７） 前記外科用ハブによって、前記第１の外科用デバイスを起動することと、
第１の外科用デバイスの起動を完了したことに応答して、前記外科用ハブによって、前記第２の外科用デバイスの通信を開始することと、を更に含む、実施態様１６に記載の方法。
（１８） 前記トリガイベントは、組織上に呈される力の変化と関連付けられ、前記組織は開創されている、実施態様１３に記載の方法。
（１９） 前記力の変化は、所定の組織張力を超えることに基づいて判定される、実施態様１８に記載の方法。
（２０） 前記外科用ハブは、拡張現実（ＡＲ）デバイス上に表示する仮想要素を生成し、前記仮想要素は、開創された組織に関するモニタリング情報を提供する、実施態様１８に記載の方法。

Claims (20)

1. 外科用システムであって、
   遠隔サーバと、
   拡張現実（ＡＲ）出力デバイスと、
   １つ以上の外科用デバイスと、
   前記遠隔サーバ、前記１つ以上の外科用デバイス、及び前記ＡＲ出力デバイスに通信可能に連結された外科用ハブであって、メモリに連結された制御回路を備える、外科用ハブと、を備え、前記制御回路は、
   外科的環境からコンテキストパラメータを判定することと、
   前記コンテキストパラメータから、手術室で実行されている特定の外科的処置を判定することと、
   前記遠隔サーバから、処置データを受信することであって、前記処置データが、前記特定の外科的処置に関連付けられたステップ及び外科用器具を示す、ことと、
   前記処置データ及び前記コンテキストパラメータに基づいて、トリガイベントが予想されると判定することと、
   前記外科用器具及び前記処置データに従って、前記予想されるトリガイベントに対する応答を開始することと、を行うように構成されている、外科用システム。
2. 前記制御回路は、
   前記外科的処置の現在の処置ステップを判定することであって、前記現在の処置ステップが第１の外科用デバイスを起動させる、ことと、
   前記第１の外科用デバイスが第２の外科用デバイスの通信に干渉することが予想されると判定することと、
   前記予想される干渉を前記第２の外科用デバイスに通知することと、
   前記第２の外科用デバイスに対する干渉防御を可能にすることと、を行うように更に構成されている、請求項１に記載の外科用システム。
3. 前記干渉防御は、予想される干渉周波数帯域の外側の通信信号からシフトするように構成された周波数シフトプロトコルである、請求項２に記載の外科用システム。
4. 前記制御回路は、
   前記外科的処置の現在の処置ステップを判定することであって、前記現在の処置ステップが第１の外科用デバイスを起動させる、ことと、
   前記第１の外科用デバイスが第２の外科用デバイスの通信に干渉することが予想されると判定することと、
   前記第１の外科用デバイス及び前記第２の外科用デバイスが協調スケジュールで動作可能であると判定することと、を行うように更に構成されている、請求項１に記載の外科用システム。
5. 前記制御回路は、
   前記第１の外科用デバイスを起動し、
   第１の外科用デバイスの起動が完了したことに応答して、前記第２の外科用デバイスの前記通信を開始するように更に構成されている、請求項４に記載の外科用システム。
6. 前記制御回路は、
   優先順位の階層に従って、前記外科的処置に関連付けられた複数の外科用デバイスを評価し、
   前記優先順位の階層に基づいて協調スケジュールを判定するように更に構成されている、請求項１に記載の外科用システム。
7. 前記制御回路は、
   第１の外科用デバイスが重大な健康機能に関連付けられていると判定し、
   前記第１の外科用デバイスからの通信送信中に他の全てのデバイスの起動を禁止するように更に構成されている、請求項１に記載の外科用システム。
8. 前記トリガイベントは、組織上に呈される力の変化と関連付けられ、前記組織は開創されている、請求項１に記載の外科用システム。
9. 前記応答は、前記ＡＲデバイス上に表示する仮想要素を生成する、請求項１に記載の外科用システム。
10. 力の変化は、所定の組織張力を超えることに基づいて判定される、請求項９に記載の外科用システム。
11. 前記外科用ハブは、前記ＡＲデバイス上に表示する仮想要素を生成し、前記仮想要素は、開創された組織に関するモニタリング情報を提供する、請求項９に記載の外科用システム。
12. 前記仮想要素は、前記開創された組織に固定される、請求項１１に記載の外科用システム。
13. 外科的処置中に外科用デバイスの相互作用を管理するための方法であって、
    外科用ハブによって、外科的環境からコンテキストパラメータを判定することと、
    前記外科用ハブによって、前記コンテキストパラメータに基づいて手術室内で行われている特定の外科的処置を判定することと、
    前記外科用ハブによって、遠隔サーバから処置データを受信することであって、前記処置データが、前記特定の外科的処置に関連付けられたステップ及び外科用器具を示す、ことと、
    前記外科用ハブによって、前記処置データ及び前記コンテキストパラメータに基づいてトリガイベントが予想されると判定することと、
    前記外科用ハブによって、前記外科用器具及び前記処置データに従って応答を開始することと、を含む、方法。
14. 前記外科用ハブによって、前記外科的処置の現在の処置ステップを判定することであって、前記現在の処置ステップが第１の外科用デバイスを起動させる、ことと、
    前記外科用ハブによって、前記第１の外科用デバイスが第２の外科用デバイスの通信に干渉することが予想されると判定することと、
    前記外科用ハブによって、前記予想される干渉を前記第２の外科用デバイスに通知することと、
    前記外科用ハブによって、前記第２の外科用デバイスに対する干渉防御を可能にすることと、を更に含む、請求項１３に記載の方法。
15. 前記干渉防御は、予想される干渉周波数帯域の外側の通信信号からシフトするように構成された周波数シフトプロトコルである、請求項１４に記載の方法。
16. 前記外科用ハブによって、前記外科的処置の現在の処置ステップを判定することであって、前記現在の処置ステップが第１の外科用デバイスを起動させる、ことと、
    前記外科用ハブによって、前記第１の外科用デバイスが第２の外科用デバイスの通信に干渉することが予想されると判定することと、
    前記外科用ハブによって、前記第１の外科用デバイス及び前記第２の外科用デバイスが協調スケジュールで動作可能であると判定することと、を更に含む、請求項１３に記載の方法。
17. 前記外科用ハブによって、前記第１の外科用デバイスを起動することと、
    第１の外科用デバイスの起動を完了したことに応答して、前記外科用ハブによって、前記第２の外科用デバイスの通信を開始することと、を更に含む、請求項１６に記載の方法。
18. 前記トリガイベントは、組織上に呈される力の変化と関連付けられ、前記組織は開創されている、請求項１３に記載の方法。
19. 前記力の変化は、所定の組織張力を超えることに基づいて判定される、請求項１８に記載の方法。
20. 前記外科用ハブは、拡張現実（ＡＲ）デバイス上に表示する仮想要素を生成し、前記仮想要素は、開創された組織に関するモニタリング情報を提供する、請求項１８に記載の方法。

Images