JP2024514635A - 両方のオーバーレイが実行されることになる相互作用する器具の協調的オーバーレイ - Google Patents

Abstract

相互作用する機器に基づく協調的オーバーレイを表示するための装置、システム、及び方法が本明細書で開示される。一態様では、協調的オーバーレイを表示するための方法は、第１の拡張現実ディスプレイデバイスを外科用ハブに通信可能に連結することと、第１の拡張現実ディスプレイデバイスによって、術野の第１の術中ディスプレイを生成することと、第１の術中ディスプレイによって、第１の外科用器具の動作に基づく第１のデータオーバーレイを表示することと、第１の外科用器具を第２の外科用器具と相互作用させることと、第１の術中ディスプレイによって、第１の外科用器具と第２の外科用器具との間の相互作用に基づく相互作用のインジケータを表示することと、を含む。

Description

（関連出願の相互参照）
本出願は、米国特許法第１１９条（ｅ）の下で、２０２１年４月１４日に出願された「ＨＥＡＤＳ ＵＰ ＤＩＳＰＬＡＹ」と題する米国仮特許出願第６３／１７４，６７４号、及び２０２１年１１月３０日に出願された「ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国仮特許出願第６３／２８４，３２６号に対する利益を主張するものであり、これらの各々の開示は、その全体が参照により本明細書に組み込まれる。

本開示は、外科的処置中に拡張現実インタラクティブ体験を提供するための装置、システム、及び方法に関する。外科的処置中に、実世界に存在するオブジェクトが、時には視覚、聴覚、触覚、体性感覚、及び嗅覚を含む複数の感覚モダリティにわたって、コンピュータ生成された知覚情報をオーバーレイすることによって強化される、実世界環境の拡張現実インタラクティブ体験を提供することが望ましいであろう。本開示の文脈では、術野並びに術野に現れる外科用器具及び他のオブジェクトの画像は、コンピュータ生成された視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚情報を、術野並びに術野に現れる器具又は他のオブジェクトの実世界画像上にオーバーレイすることによって強化される。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。

実世界の外科用器具は、エネルギー、ステープラ、又はエネルギーとステープラとの組合せを含む、種々の外科用デバイスを含む。エネルギーベースの医療デバイスは、限定ではないが、とりわけ、無線周波数（ＲＦ）ベースの単極及び双極電気外科用器具、超音波外科用器具、ＲＦ電気外科用器具と超音波器具との組合せ、ＲＦ電気外科用ステープラと機械的ステープラとの組合せを含む。外科用ステープラデバイスは、肥満、胸部、結腸直腸、産婦人科、泌尿器科、及び一般外科を含む、種々の外科的処置において組織を切断及びステープル留めするために使用される外科用器具である。

様々な態様では、本開示は、相互作用する器具の協調的オーバーレイを表示するための方法を提供する。いくつかの態様では、本方法は、第１の拡張現実ディスプレイデバイスを外科用ハブに通信可能に連結することと、第１の拡張現実ディスプレイデバイスによって、術野の第１の術中ディスプレイを生成することと、第１の術中ディスプレイによって、第１の外科用器具の動作に基づく第１のデータオーバーレイを表示することと、第１の外科用器具を第２の外科用器具と相互作用させることと、第１の術中ディスプレイによって、第１の外科用器具と第２の外科用器具との間の相互作用に基づく相互作用のインジケータを表示することと、を含む。

様々な態様では、本開示は、相互作用する器具の協調的オーバーレイを表示するためのシステムを提供する。いくつかの態様では、システムは、術野の第１の術中ディスプレイを生成するように構成された第１の拡張現実ディスプレイデバイスと、第１の外科用器具と、第２の外科用器具と、第１のディスプレイデバイスに通信可能に連結された外科用ハブと、を備える。一態様では、第１の術中ディスプレイは、第１の外科用器具の動作に基づく第１のデータオーバーレイを表示する。別の態様では、第１の外科用器具と第２の外科用器具との相互作用により、第１の術中ディスプレイが相互作用のインジケータを表示する。

構成及び操作方法の両方に関して本明細書で説明する様々な態様は、それらの更なる目的及び利点とともに、以下の説明を以下の添付図面と併せて参照することで最良に理解され得る。
本開示の一態様による、コンピュータ実装インタラクティブ外科用システムのブロック図である。 本開示の一態様による、手術室内で外科的処置を実行するために使用される外科用システムの図である。 本開示の一態様による、可視化システム、ロボットシステム、及びインテリジェント器具とペアリングされた外科用ハブである。 本開示の一態様による、医療施設の１つ以上の手術現場、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置しているモジュール式デバイスをクラウドに接続するように構成されたモジュール式通信ハブを含む外科用データネットワークを示す図である。 本開示の一態様による、コンピュータ実装インタラクティブ外科用システムを示す図である。 本開示の一態様による、モジュール式制御タワーに連結された複数のモジュールを含む外科用ハブを示す図である。 本開示の一態様による、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実（ＡＲ）システムを示す図である。 本開示の一態様による、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実（ＡＲ）システムを示す図である。 本開示の一態様による、外科用ハブにデータを通信するために外科医によって装着される拡張現実（ＡＲ）デバイスを示す図である。 本開示の一態様による、拡張現実ディスプレイを使用して外科用器具情報を拡張するためのシステムを示す図である。 本開示の一態様による、状況認識外科的処置のタイムラインを示す図である。 本開示の一態様による、本開示の一態様による、接続された外科用デバイスの組合せに基づいて機能を有効にするための方法のフローチャートである。 本開示の一態様による、複数の外科用器具が互いに近接して使用されることが意図されているかどうかを決定するための方法のフローチャートである。 本開示の一態様による、識別コード並びに対応する識別コードテーブルを含む外科用器具を示す図である。 本開示の一態様による、術野内の組織と相互作用するエンドカッタ及び外科用把持具を表示する例示的な術中ディスプレイを示す図である。 本開示の一態様による、術野内の組織と相互作用するエンドカッタ及び外科用把持具を表示する例示的な術中ディスプレイを示す図である。 本開示の一態様による、アンビル及びデバイスデッキを使用した吻合処置の性能を表示する例示的な術中ディスプレイを示す図である。 本開示の一態様による、アンビル及びデバイスデッキを使用した吻合処置の性能を表示する例示的な術中ディスプレイを示す図である。 本開示の一態様による、アンビル及びデバイスデッキを使用した吻合処置の性能を表示する例示的な術中ディスプレイを示す図である。 本開示の一態様による、アンビル及びデバイスデッキを使用した吻合処置の性能を表示する例示的な術中ディスプレイを示す図である。 本開示の一態様による、相互作用する器具の協調的オーバーレイを表示するための方法のフローチャートである。

複数の図面を通して、対応する参照符号は対応する部分を示す。本明細書に記載された例示は、様々な開示された実施形態を一形態で示しており、そのような例示は、その範囲を限定するものとして決して解釈されるべきではない。

本出願の出願人は、各開示の全体が参照により本明細書に組み込まれる、同時に出願された以下の米国特許出願を所有する。
●「ＭＥＴＨＯＤ ＦＯＲ ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題された米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１／２１０１２０－１Ｍ、
●「ＵＴＩＬＩＺＡＴＩＯＮ ＯＦ ＳＵＲＧＩＣＡＬ ＤＡＴＡ ＶＡＬＵＥＳ ＡＮＤ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ ＴＯ ＣＯＮＴＲＯＬ ＴＨＥ ＯＶＥＲＬＡＹ ＩＮ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ」と題された米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ２／２１０１２０－２、
●「ＳＥＬＥＣＴＩＶＥ ＡＮＤ ＡＤＪＵＳＴＡＢＬＥ ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＯＶＥＲＬＡＹ ＩＮ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ３／２１０１２０－３、
●「ＲＩＳＫ ＢＡＳＥＤ ＰＲＩＯＲＩＴＩＺＡＴＩＯＮ ＯＦ ＤＩＳＰＬＡＹ ＡＳＰＥＣＴＳ ＩＮ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ４／２１０１２０－４、
●「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＳＵＲＧＩＣＡＬ ＤＡＴＡ ＯＶＥＲＬＡＹ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ５／２１０１２０－５、
●「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＨＡＮＧＩＮＧ ＤＩＳＰＬＡＹ ＯＶＥＲＬＡＹ ＯＦ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ ＢＡＳＥＤ ＯＮ ＴＲＩＧＧＥＲＩＮＧ ＥＶＥＮＴＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ６／２１０１２０－６、
●「ＣＵＳＴＯＭＩＺＡＴＩＯＮ ＯＦ ＯＶＥＲＬＡＩＤ ＤＡＴＡ ＡＮＤ ＣＯＮＦＩＧＵＲＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ７／２１０１２０－７、
●「ＩＮＤＩＣＡＴＩＯＮ ＯＦ ＴＨＥ ＣＯＵＰＬＥ ＰＡＩＲ ＯＦ ＲＥＭＯＴＥ ＣＯＮＴＲＯＬＳ ＷＩＴＨ ＲＥＭＯＴＥ ＤＥＶＩＣＥＳ ＦＵＮＣＴＩＯＮＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ８／２１０１２０－８、
●「ＡＮＴＩＣＩＰＡＴＩＯＮ ＯＦ ＩＮＴＥＲＡＣＴＩＶＥ ＵＴＩＬＩＺＡＴＩＯＮ ＯＦ ＣＯＭＭＯＮ ＤＡＴＡ ＯＶＥＲＬＡＹＳ ＢＹ ＤＩＦＦＥＲＥＮＴ ＵＳＥＲＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１０／２１０１２０－１０、
●「ＭＩＸＩＮＧ ＤＩＲＥＣＴＬＹ ＶＩＳＵＡＬＩＺＥＤ ＷＩＴＨ ＲＥＮＤＥＲＥＤ ＥＬＥＭＥＮＴＳ ＴＯ ＤＩＳＰＬＡＹ ＢＬＥＮＤＥＤ ＥＬＥＭＥＮＴＳ ＡＮＤ ＡＣＴＩＯＮＳ ＨＡＰＰＥＮＩＮＧ ＯＮ－ＳＣＲＥＥＮ ＡＮＤ ＯＦＦ－ＳＣＲＥＥＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１１／２１０１２０－１１、
●「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＴＲＡＣＫＩＮＧ Ａ ＰＯＲＴＩＯＮ ＯＦ ＴＨＥ ＵＳＥＲ ＡＳ Ａ ＰＲＯＸＹ ＦＯＲ ＮＯＮ－ＭＯＮＩＴＯＲＥＤ ＩＮＳＴＲＵＭＥＮＴ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１２／２１０１２０－１２、
●「ＵＴＩＬＩＺＩＮＧ ＣＯＮＴＥＸＴＵＡＬ ＰＡＲＡＭＥＴＥＲＳ ＯＦ ＯＮＥ ＯＲ ＭＯＲＥ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥＳ ＴＯ ＰＲＥＤＩＣＴ Ａ ＦＲＥＱＵＥＮＣＹ ＩＮＴＥＲＶＡＬ ＦＯＲ ＤＩＳＰＬＡＹＩＮＧ ＳＵＲＧＩＣＡＬ ＩＮＦＯＲＭＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１３／２１０１２０－１３、
●「ＣＯＯＰＥＲＡＴＩＯＮ ＡＭＯＮＧ ＭＵＬＴＩＰＬＥ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ ＴＯ ＰＲＯＶＩＤＥ Ａ ＨＥＡＬＴＨＣＡＲＥ ＵＳＥＲ ＣＵＳＴＯＭＩＺＥＤ ＩＮＦＯＲＭＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１４／２１０１２０－１４、
●「ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１５／２１０１２０－１５、
●「ＡＤＡＰＴＡＴＩＯＮ ＡＮＤ ＡＤＪＵＳＴＡＢＩＬＩＴＹ ＯＲ ＯＶＥＲＬＡＩＤ ＩＮＳＴＲＵＭＥＮＴ ＩＮＦＯＲＭＡＴＩＯＮ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１６／２１０１２０－１６、及び、
●「ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＦＥＥＤＢＡＣＫ ＳＹＳＴＥＭＳ ＴＨＡＴ ＣＯＯＰＥＲＡＴＥ ＴＯ ＩＮＣＲＥＡＳＥ ＥＦＦＩＣＩＥＮＴ ＰＥＲＣＥＰＴＩＯＮ ＯＦ ＣＯＭＰＬＥＸ ＤＡＴＡ ＦＥＥＤＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１７／２１０１２０－１７。

本出願の出願人は、各開示の全体が参照により本明細書に組み込まれる、以下の米国特許出願を所有する。
●「ＭＥＴＨＯＤ ＯＦ ＣＯＭＰＲＥＳＳＩＮＧ ＴＩＳＳＵＥ ＷＩＴＨＩＮ Ａ ＳＴＡＰＬＩＮＧ ＤＥＶＩＣＥ ＡＮＤ ＳＩＭＵＬＴＡＮＥＯＵＳＬＹ ＤＩＳＰＬＡＹＩＮＧ ＴＨＥ ＬＯＣＡＴＩＯＮ ＯＦ ＴＨＥ ＴＩＳＳＵＥ ＷＩＴＨＩＮ ＴＨＥ ＪＡＷＳ」と題する米国特許出願第１６／２０９，４２３号（現在は、米国特許出願公開第２０１９／０２００９８１（Ａ１）号）、
●「ＭＥＴＨＯＤ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＳＭＡＲＴ ＥＮＥＲＧＹ ＤＥＶＩＣＥＳ」と題する米国特許出願第１６／２０９，４５３号（現在は、米国特許出願公開第２０１９／０２０１０４６（Ａ１）号）。

外科用装置及び発生器の様々な態様を詳細に説明する前に、例解的な実施例は、適用又は用途において、添付の図面及び説明において例解される部品の構造及び配置の詳細に限定されないことに留意されたい。例示の実施例は、他の態様、変形形態、及び修正形態で実装されるか、又はそれらに組み込まれてもよく、様々な方法で実施又は実行されてもよい。更に、特に明記しない限り、本明細書で用いられる用語及び表現は、読者の便宜のために例示の実施例を説明する目的で選択されたものであり、それらを限定するためのものではない。更に、以下に記述される態様、態様の表現、及び／又は実施例のうち１つ以上を、以下に記述される他の態様、態様の表現、及び／又は実施例のうち任意の１つ以上と組み合わせることができるものと理解されたい。

様々な態様は、様々なエネルギー及び外科用ステープラベースの医療デバイスのための外科用システムのための画面上表示を対象とする。エネルギーベースの医療デバイスは、限定ではないが、とりわけ、無線周波数（ＲＦ）ベースの単極及び双極電気外科用器具、超音波外科用器具、ＲＦ電気外科用器具と超音波器具との組合せ、ＲＦ電気外科用ステープラと機械的ステープラとの組合せを含む。外科用ステープラデバイスは、電気外科用デバイス及び／又は超音波デバイスと組み合わされた外科用ステープラを含む。超音波外科用デバイスの態様は、例えば、外科的処置中に組織を横切開及び／又は凝固するように構成され得る。電気外科用デバイスの態様は、例えば、外科的処置中に、組織を横切開、凝固、封止、溶接及び／又は乾燥させるように構成され得る。外科用ステープラデバイスの態様は、外科処置中に組織を横切開してステープル留めするように構成することができ、いくつかの態様では、外科用ステープラデバイスは、外科的処置中に組織にＲＦエネルギーを送達するように構成することができる。電気外科用デバイスは、治療用及び／又は非治療用ＲＦエネルギーを組織に送達するように構成されている。外科用ステープラ、電気外科用デバイス、及び超音波デバイスの要素は、単一の外科用器具において組み合わせて使用され得る。

様々な態様では、本開示は、外科的処置中にＯＲチームにリアルタイム情報の画面上表示を提供する。本開示の様々な態様によれば、様々な視覚情報フィードバックを画面上でＯＲチームに表示するために、多くの新しい固有の画面上表示が提供される。本開示によれば、視覚情報は、音を伴う又は伴わない様々な視覚媒体のうちの１つ以上を含むことができる。一般に、視覚情報は、静止写真、動画写真、ビデオ又はオーディオ記録、グラフィックアート、視覚補助、モデル、表示、視覚表現サービス、及びサポートプロセスを含む。視覚情報は、例えば、とりわけ、一次ＯＲスクリーン、エネルギー又は外科用ステープラデバイス自体、タブレット、拡張現実眼鏡等の任意の数の表示オプション上で通信することができる。

様々な態様では、本開示は、ＯＲチームをあまりに多くの視覚情報で圧倒することなく、視覚情報をリアルタイムでＯＲチームに通信するための潜在的オプションの多くのリストを提供する。例えば、種々の態様では、本開示は、外科医、又はＯＲチームの他のメンバーが、豊富な視覚情報を管理するために、画面オプションを取り囲むアイコン等の画面上表示を選択的に起動することを可能にする、視覚情報の画面上表示を提供する。要因のうちの１つ又は組合せが、アクティブ表示を決定するために使用することができ、これらは、とりわけ、使用中のエネルギーベース（例えば、電気外科、超音波）又は機械ベース（例えば、ステープラ）外科用デバイス、所与の表示と関連付けられる推定リスク、外科医の経験レベル、及び外科医の選択を含んでもよい。他の態様では、視覚情報は、視覚情報を管理するために手術視野にオーバーレイ又は重畳された豊富なデータを含んでもよい。以下に説明する様々な態様では、データを適切にオーバーレイするためにビデオ解析及び追跡を必要とする重畳画像を含む。このように通信された視覚情報データは、静的アイコンとは対照的に、ＯＲチームに対してより簡潔で理解しやすい方法で追加の有用な視覚情報を提供することができる。

様々な態様では、本開示は、外科的処置中に視覚情報を管理するために、スクリーンを取り囲むアイコン等の画面上表示を選択的に起動するための技術を提供する。他の態様では、本開示は、要因のうちの１つ又は組合せを使用してアクティブ表示を決定するための技術を提供する。様々な態様では、本開示による技術は、とりわけ、アクティブ表示として使用中のエネルギーベース又は機械ベースの外科用デバイスを選択すること、所与の表示に関連付けられたリスクを推定すること、選択を行う外科医又はＯＲチームの経験レベルを利用することを含み得る。

他の態様では、本開示による技術は、視覚情報を管理するために、豊富なデータを手術視野上にオーバーレイ又は重畳することを含んでもよい。本開示によって説明されるいくつかの表示配置は、術野のライブストリーム上に外科用データの種々の視覚表現をオーバーレイすることを伴う。本明細書で使用される場合、オーバーレイという用語は、半透明オーバーレイ、部分的オーバーレイ、及び／又は移動オーバーレイを含む。グラフィカルオーバーレイは、透明グラフィック、半透明グラフィック、又は不透明グラフィック、あるいは透明、半透明、及び不透明の要素又は効果の組合せの形態であってもよい。更に、オーバーレイは、例えば、エンドエフェクタ及び／又は重要な外科用構造等の、術野におけるオブジェクト上に、又は少なくとも部分的にその上に、又はその近くに配置され得る。特定の表示配置は、表示優先度値の変化に基づいて、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はそれらの組合せの変化を含む、オーバーレイの１つ以上の表示要素の変化を含み得る。グラフィカルオーバーレイは、アクティブ表示モニタの上にレンダリングされ、重要な情報を迅速かつ効率的にＯＲチームに伝達する。

他の態様では、本開示による技術は、視覚情報データを適切にオーバーレイするためにビデオ解析及び追跡することを必要とする画像を重畳することを含み得る。他の態様では、本開示による技術は、単純な静的アイコンとは対照的に、豊富な視覚情報を通信して、より簡潔で理解しやすい方法で追加の視覚情報をＯＲチームに提供することを含むことができる。他の態様では、視覚オーバーレイは、聴覚及び／又は体性感覚オーバーレイ、例えば、熱的、化学的、及び機械的デバイス、並びにそれらの組合せと組み合わせて使用することができる。

以下の説明は、概して、外科的処置中に拡張現実（ＡＲ）インタラクティブ体験を提供する装置、システム、及び方法に関する。この文脈では、術野並びに術野に現れる外科用器具及び他のオブジェクトの画像は、コンピュータ生成された視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚情報を、術野、術野に現れる器具及び／又は他のオブジェクトの実世界画像上にオーバーレイすることによって強化される。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。拡張現実は、実環境上にオーバーレイされる仮想又は「拡張」仮想オブジェクト、データ、又は視覚効果をレンダリング及び表示するための技術である。実環境は、術野を含んでもよい。実環境上にオーバーレイされた仮想オブジェクトは、実環境の１つ以上の態様に対して固定された位置、又は設定された位置で表され得る。非限定的な例では、実世界オブジェクトが実環境の視野から出る場合、実世界オブジェクトに固定された仮想オブジェクトも拡張現実の視野から出る。

本開示によって説明されるいくつかの表示配置は、術野のライブストリーム上に外科用データの種々の視覚表現をオーバーレイすることを伴う。本明細書で使用される場合、オーバーレイという用語は、半透明オーバーレイ、部分的オーバーレイ、及び／又は移動オーバーレイを含む。更に、オーバーレイは、例えば、エンドエフェクタ及び／又は重要な外科用構造等の、術野におけるオブジェクト上に、又は少なくとも部分的にその上に、又はその近くに配置され得る。特定の表示配置は、表示優先度値の変化に基づいて、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はそれらの組合せの変化を含む、オーバーレイの１つ以上の表示要素の変化を含み得る。

本明細書で説明されるように、ＡＲは、技術を介して送達されるデジタル視覚要素、音、又は他の感覚刺激の使用を通して達成される、現実の物理世界の拡張バージョンである。仮想現実（ＶＲ）は、現実であるように見えるシーン及びオブジェクトを有するコンピュータ生成環境であり、ユーザがそれらの周囲に没入しているように感じさせる。この環境は、仮想現実ヘッドセット又はヘルメットとして知られるデバイスを通して知覚される。複合現実（ＭＲ）及びＡＲは両方とも没入型技術と考えられているが、それらは同じではない。ＭＲは、現実及び仮想要素が環境内で相互作用することを可能にする複合現実の拡張である。ＡＲは、多くの場合、カメラを使用することによってライブビューにデジタル要素を追加するが、ＭＲ体験は、実世界及びデジタルオブジェクトが相互作用するＡＲ及びＶＲの両方の要素を組み合わせる。

ＡＲ環境では、１つ以上のコンピュータ生成仮想オブジェクトが、１つ以上の現実（すなわち、いわゆる「実世界」）要素とともに表示されてもよい。例えば、周囲環境のリアルタイム画像又はビデオは、１つ以上のオーバーレイ仮想オブジェクトとともにコンピュータスクリーンディスプレイ上に示されてもよい。そのような仮想オブジェクトは、環境に関する補足的な情報を提供することができ、又は一般に、ユーザの知覚及び環境との関与を向上させることができる。逆に、周囲環境のリアルタイム画像又はビデオは、加えて又は代替的に、ディスプレイ上に示される仮想オブジェクトとのユーザの関与を向上させることができる。

本開示の文脈における装置、システム、及び方法は、外科的処置中に１つ以上の撮像デバイスから受信された画像を向上させる。撮像デバイスは、非侵襲性及び低侵襲性外科的処置中に使用される種々のスコープ、ＡＲデバイス、及び／又は切開外科的処置中に画像を提供するカメラを含んでもよい。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。装置、システム、及び方法は、仮想オブジェクト又はデータ及び／又は現実オブジェクトの表現を現実外科用環境上にオーバーレイすることによって、実世界外科用環境の画像を向上させることによって、拡張現実インタラクティブ体験を提供する。拡張現実体験は、ユーザが実世界外科用環境上にオーバーレイされた仮想オブジェクトを視認することを可能にする、ディスプレイ及び／又はＡＲデバイス上で視認されてもよい。ディスプレイは、手術室内に配置されてもよいし、手術室から離れてもよい。ＡＲデバイスは、外科医又は他の手術室人員の頭部に装着され、典型的には、ユーザの各目に対して１つを含む、２つの立体ディスプレイレンズ又はスクリーンを含む。自然光は、ＡＲデバイスのユーザに仮想オブジェクトを可視にするために光を投影しながら、実環境の態様が可視であるように、２つの透明又は半透明ディスプレイレンズを通過することができる。

２つ以上のディスプレイ及びＡＲデバイスは、例えば、定義された役割を有するシステム内の１つ以上の追加のディスプレイ又はＡＲデバイスを制御する第１のディスプレイ又はＡＲデバイスと協調して使用されてもよい。例えば、ディスプレイ又はＡＲデバイスを起動するとき、ユーザは、役割（例えば、外科的処置中の外科医、外科助手、看護師等）を選択してもよく、ディスプレイ又はＡＲデバイスは、その役割に関連する情報を表示してもよい。例えば、外科助手は、外科医が外科的処置の次の工程のために行う必要がある器具の仮想表現を表示させてもよい。現在の工程に対する外科医の焦点は、手術助手とは異なる表示された情報を見る場合がある。

多くの既知の画面上表示及びアラートが存在するが、本開示は、外科的処置中に多くの新規かつ固有の拡張現実インタラクティブ体験を提供する。そのような拡張現実インタラクティブ体験は、手術室の内側又は外側の手術チームへの視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚フィードバック情報を含む。実世界外科用環境上にオーバーレイされる仮想フィードバック情報は、例えば、限定ではないが、とりわけ、手術外科医、外科医の助手、スクラブ着衣者、麻酔医、及び外回り看護師を含む、ＯＲ内の人員を含む、手術室（ＯＲ）チームに提供されてもよい。仮想フィードバック情報は、一次ＯＲスクリーンディスプレイ、ＡＲデバイス、エネルギー又は外科用ステープラ器具、タブレット、拡張現実眼鏡、デバイス等の任意の数の表示オプション上で通信することができる。

図１は、１つ以上の外科用システム２及びクラウドベースのシステム４を含むコンピュータ実装インタラクティブ外科用システム１を示す。クラウドベースシステム４は、リモートストレージ５に連結されたリモートサーバ１３を含み得る。各外科用システム２は、クラウド４と通信する少なくとも１つの外科用ハブ６を備える。例えば、外科用システム２は、可視化システム８と、ロボットシステム１０と、手持ち式インテリジェント外科用器具１２とを備えてもよく、それぞれが、互いに、及び／又はハブ６と通信するように構成されている。いくつかの態様では、外科用システム２は、Ｍ個のハブ６と、Ｎ個の可視化システム８と、Ｏ個のロボットシステム１０と、Ｐ個の手持ち式インテリジェント外科用器具１２とを備えてもよく、Ｍ、Ｎ、Ｏ及びＰは１以上の整数である。コンピュータ実装インタラクティブ外科用システム１は、本明細書で説明されるように、外科的処置中に拡張現実インタラクティブ体験を提供するように構成されてもよい。

図２は、外科手術室１６内の手術台１４上に横たわっている患者に対して外科的処置を実行するための外科用システム２の例を示す。ロボットシステム１０は、外科的処置において外科用システム２の一部として使用される。ロボットシステム１０は、外科医のコンソール１８と、患者側カート２０（外科用ロボット）と、外科用ロボットハブ２２とを含む。患者側カート２０は、外科医が外科医のコンソール１８又は外科医によって装着された拡張現実（ＡＲ）デバイス６６を通して手術部位を視認しながら、患者の身体の低侵襲切開を通じて、少なくとも１つの着脱可能に連結された外科用ツール１７を操作することができる。低侵襲処置中の手術部位の画像（例えば、リアルタイムでストリーミングされる静止画像又はライブ画像）は、医療用撮像デバイス２４によって取得することができる。患者側カート２０は、撮像デバイス２４を操作して、撮像デバイス２４を配向することができる。切開外科的処置の画像は、医療用撮像デバイス９６によって取得することができる。ロボットハブ２２は、外科医のコンソール１８、又は外科医若しくは外科手術室１６内の他の人によって装着されたＡＲデバイス６６上にその後表示するために手術部位の画像を処理する。

撮像デバイス２４、９６又はＡＲデバイス６６の光学構成要素は、１つ以上の照明源、及び／又は１つ以上のレンズを含み得る。１つ以上の照明源は、術野の一部分を照明するように方向付けられ得る。１つ以上の画像センサは、術野内の組織及び器具から反射又は屈折された光を受信し得る。

様々な態様では、撮像デバイス２４は、低侵襲外科的処置において使用するように構成されている。本開示とともに使用するために適切な撮像デバイスの例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃カメラ）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。様々な態様では、撮像デバイス９６は、切開（侵襲）外科的処置において使用するように構成されている。

様々な態様では、可視化システム８は、滅菌野に対して戦略的に配置される１つ以上の撮像センサと、１つ以上の画像処理装置と、１つ以上のストレージアレイと、１つ以上のディスプレイとを備える。一態様では、可視化システム８は、ＨＬ７、ＰＡＣＳ及びＥＭＲ用のインターフェースを備える。一態様では、撮像デバイス２４は、トポグラフィと下にある構造とを区別するためにマルチスペクトルモニタリングを採用し得る。マルチスペクトル画像は、電磁スペクトルにおいて特定の波長範囲内の画像データを捕捉する。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、ＩＲ、及び紫外からの光を含む特定の波長に対する感度を有する器具によって分離される。スペクトル撮像は、人間の目には見えない情報を抽出することができる。マルチスペクトルモニタリングは、処置された組織に対して試験を実行するための外科用タスクが完了した後に術野を再配置することができる。

図２は、手術台１４のオペレータに見えるように滅菌野に配置される一次ディスプレイ１９を示す。可視化タワー１１は、滅菌野の外側に配置され、互いに反対側を向いている第１の非滅菌ディスプレイ７及び第２の非滅菌ディスプレイ９を含む。ハブ６によって誘導される可視化システム８は、ディスプレイ７、９、１９を利用して、滅菌野の内側及び外側のオペレータへの情報フローを調整するように構成されている。例えば、ハブ６は、可視化システム８に、一次ディスプレイ１９又はＡＲデバイス６６上に手術部位のライブ映像を維持しながら、撮像デバイス２４、９６によって記録される手術部位のＡＲ画像を非滅菌ディスプレイ７、９又はＡＲデバイス６６を通じて表示させることができる。非滅菌ディスプレイ７、９は、例えば、非滅菌オペレータが、外科的処置に関連する診断工程を実行することを可能にすることできる。

図３は、可視化システム８、ロボットシステム１０及び手持ち式インテリジェント外科用器具１２と通信するハブ６を示す。ハブ６は、ハブディスプレイ３５、撮像モジュール３８、発電機モジュール４０、通信モジュール３０、プロセッサモジュール３２、ストレージアレイ３４、及び手術室マッピングモジュール３３を含む。ハブ６は、排煙モジュール２６及び／又は吸引／灌注モジュール２８を更に含む。様々な態様では、撮像モジュール３８は、ＡＲデバイス６６を含み、プロセッサモジュール３２は統合ビデオプロセッサ及び拡張現実モデラ（例えば、図１０に示すようなもの）を含む。モジュール式光源は、様々な撮像デバイスとともに使用するように適合され得る。様々な例では、複数の撮像デバイスを術野の異なる位置に配置して、複数のビューを提供することができる（例えば、非侵襲的、低侵襲的、侵襲的、又は切開外科的処置）。撮像モジュール３８は、最適なビューを提供するために撮像デバイス間を切り替えるように構成することができる。種々の態様では、撮像モジュール３８は、異なる撮像デバイスからの画像を統合し、本明細書に説明されるような外科的処置の間、拡張現実インタラクティブ体験を提供するように構成することができる。

図４は、医療施設の１つ以上の手術現場／部屋に位置するモジュール式デバイスをクラウドベースのシステムに接続するように構成されたモジュール式通信ハブ５３を含む外科用データネットワーク５１を示す。クラウド５４は、ストレージデバイス５５に連結されたリモートサーバ６３（図５）を含むことができる。モジュール式通信ハブ５３は、ネットワークルータ６１と通信するネットワークハブ５７及び／又はネットワークスイッチ５９を含む。モジュール式通信ハブ５３は、データを処理するためにローカルコンピュータシステム６０に連結される。手術現場のモジュール式デバイス１ａ～１ｎは、モジュール式通信ハブ５３に連結され得る。ネットワークハブ５７及び／又はネットワークスイッチ５９は、ネットワークルータ６１に連結されて、デバイス１ａ～１ｎをクラウド５４又はローカルコンピュータシステム６０に接続することができる。デバイス１ａ～１ｎに関連付けられたデータは、リモートデータ処理及び操作のためにルータを介してクラウドベースのコンピュータに転送されてもよい。手術現場デバイス１ａ～１ｎは、有線チャネル又は無線チャネルを介してモジュール式通信ハブ５３に接続され得る。外科用データネットワーク５１環境は、本明細書で説明されるように、外科的処置中に拡張現実インタラクティブ体験を提供するために、特に、術野の拡張画像を１つ以上のリモートディスプレイ５８に提供するために採用されてもよい。

図５は、コンピュータ実装インタラクティブ外科用システム５０を示す。コンピュータ実装インタラクティブ外科用システム５０は、多くの点で、コンピュータ実装インタラクティブ外科用システム１と類似している。コンピュータ実装インタラクティブ外科用システム５０は、多くの点で外科用システム２と類似する１つ以上の外科用システム５２を含む。各外科用システム５２は、リモートサーバ６３を含み得るクラウド５４と通信する少なくとも１つの外科用ハブ５６を備える。一態様では、コンピュータ実装インタラクティブ外科用システム５０は、例えば、インテリジェント外科用器具、ロボット及び手術現場内に位置する他のコンピュータ化デバイス等の複数の手術現場デバイスに接続されたモジュール式制御タワー２３を備える。図６に示すように、モジュール式制御タワー２３は、コンピュータシステム６０に連結されたモジュール式通信ハブ５３を含む。

図５に戻ると、モジュール式制御タワー２３は、内視鏡９８に連結された撮像モジュール３８、エネルギーデバイス９９に連結された発電機モジュール２７、排煙器モジュール７６、吸引／灌注モジュール７８、通信モジュール１３、プロセッサモジュール１５、ストレージアレイ１６、任意選択的にディスプレイ３９に連結されたスマートデバイス／器具２１及びセンサモジュール２９に連結されている。手術現場デバイスは、モジュール式制御タワー２３を介して、サーバ６３、データストレージ５５及びディスプレイ５８等のクラウドコンピューティングリソースに連結されている。ロボットハブ７２もまた、モジュール式制御タワー２３、及びサーバ６３、データストレージ５５、並びにディスプレイ５８に接続されてもよい。とりわけ、デバイス／器具２１、可視化システム５８が、本明細書に記載されるように、有線又は無線通信規格又はプロトコルを介して、モジュール式制御タワー２３に連結されてもよい。モジュール式制御タワー２３は、撮像モジュール３８、デバイス／器具ディスプレイ３９及び／又は他の可視化システム５８から受信した、現実術野上のオーバーレイされた仮想オブジェクトを含む、受信された拡張画像を表示するためにハブディスプレイ６５（例えば、モニタ、スクリーン）に連結されてもよい。ハブディスプレイ６５はまた、画像及びオーバーレイ画像とともにモジュール式制御タワー２３に接続されたデバイスから受信したデータを表示し得る。

図６は、モジュール式制御タワー２３に連結された複数のモジュールを含む外科用ハブ５６を示す。モジュール式制御タワー２３は、例えばネットワーク接続デバイス等のモジュール式通信ハブ５３と、例えば拡張外科用情報のローカルでの処理、可視化及び撮像を行うためのコンピュータシステム６０とを含む。モジュール式通信ハブ５３は、モジュール式通信ハブ５３に接続されてもよいモジュール（例えば、デバイス）の数を拡張するために階層化構成で接続されて、モジュールに関連付けられたデータをコンピュータシステム６０、クラウドコンピューティングリソース、又はその両方に転送してもよい。モジュール式通信ハブ５３内のネットワークハブ／スイッチ５７／５９の各々は、３つの下流ポート及び１つの上流ポートを含み得る。上流のネットワークハブ／スイッチ５７、５９は、クラウドコンピューティングリソース及びローカルディスプレイ６７への通信接続を提供するためにプロセッサ３１に接続されている。クラウド５４への通信は、有線通信チャネル又は無線通信チャネルのいずれかを介して行うことができる。

コンピュータシステム６０は、プロセッサ３１と、ネットワークインターフェース３７とを含む。プロセッサ３１は、システムバスを介して、通信モジュール４１、ストレージ４５、メモリ４６、不揮発性メモリ４７、及び入力／出力インターフェース４８に連結される。システムバスは、様々な利用可能なバスアーキテクチャを使用した、メモリバス若しくはメモリコントローラ、周辺バス若しくは外部バス、及び／又はローカルバスを含む、いくつかのタイプのバス構造のいずれかであってもよい。

プロセッサ３１は、拡張現実モデラ（例えば、図１０に示されるような）を含み、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓによる商標名ＡＲＭ Ｃｏｒｔｅｘで知られているもの等のシングルコア又はマルチコアプロセッサとして実装されてもよい。一態様では、プロセッサは、例えば、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ４Ｆ２３０Ｈ５ＱＲ ＡＲＭ Ｃｏｒｔｅｘ－Ｍ４Ｆプロセッサコアであってもよい。このプロセッサコアは、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルシリアルランダムアクセスメモリ（ＳＲＡＭ）、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部読み出し専用メモリ（ＲＯＭ）、２ＫＢの電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）及び／又は、１つ以上のパルス幅変調（ＰＷＭ）モジュール、１つ以上の直交エンコーダ入力（ＱＥＩ）アナログ、１２個のアナログ入力チャネルを備える１つ以上の１２ビットアナログ－デジタル変換器（ＡＤＣ）を含む。なお、その詳細は、製品データシートで入手可能である。

システムメモリとしては、揮発性メモリ及び不揮発性メモリが挙げられる。起動中などにコンピュータシステム内の要素間で情報を転送するための基本ルーチンを含む基本入出力システム（ＢＩＯＳ）は、不揮発性メモリに記憶される。例えば、不揮発性メモリとしては、ＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、ＥＥＰＲＯＭ又はフラッシュメモリが挙げられ得る。揮発性メモリとしては、外部キャッシュメモリとして機能するランダムアクセスメモリ（ＲＡＭ）が挙げられる。更に、ＲＡＭは、ＳＲＡＭ、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（ＳＬＤＲＡＭ）及びダイレクトランバスＲＡＭ（ＤＲＲＡＭ）などの多くの形態で利用可能である。

コンピュータシステム６０はまた、取り外し可能／取り外し不可能な揮発性／不揮発性のコンピュータストレージ媒体、例えばディスクストレージ等を含む。ディスク記憶装置としては、磁気ディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ－６０ドライブ、フラッシュメモリカード又はメモリスティックのような装置が挙げられるが、これらに限定されない。加えて、ディスク記憶装置は、上記の記憶媒体を、独立して、又は他の記憶媒体との組み合わせで含むことができる。他の記憶媒体としては、コンパクトディスクＲＯＭ装置（ＣＤ－ＲＯＭ）、コンパクトディスク記録可能ドライブ（ＣＤ－Ｒドライブ）、コンパクトディスク書き換え可能ドライブ（ＣＤ－ＲＷドライブ）若しくはデジタル多用途ディスクＲＯＭドライブ（ＤＶＤ－ＲＯＭ）などの光ディスクドライブが挙げられるがこれらに限定されない。ディスク記憶装置のシステムバスへの接続を容易にするために、取り外し可能な又は取り外し不可能なインターフェースが用いられてもよい。

様々な態様では、図６のコンピュータシステム６０、図４～図６の撮像モジュール３８、及び／又は可視化システム５８、及び／又はプロセッサモジュール１５は、画像プロセッサ、画像処理エンジン、画像処理装置（ＧＰＵ）、メディアプロセッサ、又はデジタル画像の処理に使用される任意の専用デジタル信号プロセッサ（ＤＳＰ）を含んでもよい。画像プロセッサは、単一命令複数データ（ＳＩＭＤ）、又は複数命令複数データ（ＭＩＭＤ）技術を用いた並列コンピューティングを用いて速度及び効率を高めることができる。デジタル画像処理エンジンは、様々なタスクを実施することができる。画像プロセッサは、マルチコアプロセッサアーキテクチャを備えるチップ上のシステムであってもよい。

図７は、撮像モジュール３８と外科用ハブディスプレイ６７との間の通信経路内に配置された中間信号結合器６４を含む拡張現実システム２６３を示す。信号結合器６４は、撮像モジュール３８及び／又はＡＲデバイス６６から受信された音声及び／又は画像データを組み合わせる。外科用ハブ５６は、結合器６４から組み合わされたデータを受信し、ディスプレイ６７に提供されたデータをオーバーレイし、オーバーレイされたデータが表示される。撮像デバイス６８はデジタルビデオカメラであってもよく、オーディオデバイス６９はマイクロフォンであってもよい。信号結合器６４は、外科用ハブ５６がディスプレイ６７上にデータをオーバーレイすることを可能にするコンソールへのディスプレイ６７の通信経路内に配置されたＡＲデバイス６６に連結するための無線ヘッドアップディスプレイアダプタを含み得る。

図８は、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実（ＡＲ）システムを示す。図８は、外科用ハブ５６にデータを通信するために外科医７３によって装着されるＡＲデバイス６６を示す。ＡＲデバイス６６の周辺情報は、アクティブ映像を含まない。むしろ、周辺情報は、デバイス設定、又はリフレッシュレートの同じ要求を有さない信号のみを含む。相互作用は、術前コンピュータ断層撮影（ＣＴ）又は外科用ハブ５６内でリンクされた他のデータとのリンクに基づいて、外科医７３の情報を拡張させ得る。ＡＲデバイス６６は、構造を識別することができ、例えば、器具が神経、血管、又は癒着に触れているかどうかを尋ねることができる。ＡＲデバイス６６は、術前スキャンデータ、光学ビュー、処置全体を通して取得される組織調査特性、及び／又は回答を提供するために使用される外科用ハブ５６における処理を含み得る。外科医７３は、報告又はフォローアップにおける後の使用のためにハブストレージ４５内に患者データとともに保存されるように、ＡＲデバイス６６にメモを書き取ることができる。

外科医７３によって装着されるＡＲデバイス６６は、オーバーレイの必要性を回避するために、聴覚及び視覚情報を用いて外科用ハブ５６にリンクし、視野の周辺の周りに表示される情報のカスタマイズを可能にする。ＡＲデバイス６６は、デバイス（例えば、器具）からの信号を提供し、デバイス設定又は象限若しくは位置を識別するためにビデオとリンクされた位置情報に関するクエリに回答する。ＡＲデバイス６６は、ＡＲデバイス６６からの音声制御及び音声フィードバックを有する。ＡＲデバイス６６は、手術現場内の他のシステムと相互作用することができ、外科医７３がどこを視認しても利用可能なフィードバック及び相互作用を有することができる。例えば、ＡＲデバイス６６は、外科医から音声又はジェスチャ開始コマンド及びクエリを受信してもよく、ＡＲデバイス６６は、音声、視覚、又は触覚タッチを含む１つ以上のモダリティの形態でフィードバックを提供してもよい。

図９は、ＡＲデバイス６６を装着している外科医７３、患者７４を示し、手術室７５内にカメラ９６を含んでもよい。外科医７３によって装着されるＡＲデバイス６６は、拡張現実ディスプレイ８９を通して、又はハブ接続ディスプレイ６７を通して、術野のリアルタイム画像上にオーバーレイされる仮想オブジェクトを外科医７３に提示するために使用されてもよい。リアルタイム画像は、外科用器具７７の一部を含んでもよい。仮想オブジェクトは、手術室７５内の他者（例えば、外科助手又は看護師）には可視でない場合があるが、彼らもまた、ＡＲデバイス６６を装着し得る。別の人がＡＲデバイス６６を用いて手術室７５を視認している場合であっても、その人は、仮想オブジェクトを見ることができない場合があるか、又は外科医７３と共有される拡張現実において仮想オブジェクトを見ることができる場合があるか、又は（例えば、外科医７３に固有のカスタマイゼーションに従って）仮想オブジェクトの修正バージョンを見ることができる場合があるか、又は異なる仮想オブジェクトを見る場合がある。

仮想オブジェクト及び／又はデータは、外科用器具７７の一部上に、又は撮像モジュール３８、低侵襲外科的処置中の撮像デバイス６８、及び／又は切開外科的処置中のカメラ９６によって捕捉された手術視野内に現れるように構成され得る。図示の例では、撮像モジュール３８は、低侵襲外科的処置中に外科領域のライブ映像を提供する腹腔鏡カメラである。ＡＲシステムは、ＡＲシステムの１人又は複数の視認者（例えば、外科医７３）の視点に関係なく、実オブジェクトに固定される仮想オブジェクトを提示してもよい。例えば、仮想オブジェクトは、手術室７５内のＡＲシステムの視認者に可視であってもよく、手術室７５外のＡＲシステムの視認者に可視でなくてもよい。仮想オブジェクトは、視認者が手術室７５に入ったときに、手術室７５外の視認者に表示されてもよい。拡張画像は、外科用ハブディスプレイ６７又は拡張現実ディスプレイ８９に表示されてもよい。

ＡＲデバイス６６は、単一スクリーン又は２つのスクリーン（例えば、ユーザの目毎に１つ）等の１つ以上のスクリーン又はレンズを含んでもよい。スクリーンは、仮想オブジェクトを表示している間に実環境の態様が可視であるように、光がスクリーンを通過することを可能にし得る。仮想オブジェクトは、光を投影することによって外科医７３に可視になり得る。仮想オブジェクトは、ある程度の透明度を有するように見えてもよく、又は不透明であってもよい（すなわち、実環境の態様を遮断する）。

ＡＲシステムは、１人以上の視認者に可視であってもよく、ビュー間で共通のいくつかの態様を保持しながら、１人以上の視認者に利用可能なビュー間の差異を含んでもよい。例えば、ヘッドアップディスプレイは、２つのビューの間で変化し得るが、仮想オブジェクト及び／又はデータは、両方のビュー内の実オブジェクト又は領域に固定され得る。オブジェクトの色、照明、又は他の変更等の態様は、少なくとも１つの仮想オブジェクトの固定位置を変更することなくビュー間で行われ得る。

ユーザは、ＡＲシステム内に提示される仮想オブジェクト及び／又はデータを、不透明として、又はあるレベルの透明度を含むものとして見ることができる。一例では、ユーザは、仮想オブジェクトを第１の位置から第２の位置に移動させること等によって、仮想オブジェクトと相互作用することができる。例えば、ユーザは、自身の手でオブジェクトを動かしてもよい。これは、（例えば、ＡＲデバイスカメラ７９又は別個の９６等のＡＲデバイス６６上に搭載されてもよく、静的であってもよく、又は移動するように制御されてもよい、１つ以上のカメラを使用して）手がオブジェクトと一致又は隣接する位置に移動したことを判定し、それに応じてオブジェクトを移動させることによって、ＡＲシステムにおいて仮想的に行われてもよい。仮想態様は、実世界オブジェクトの仮想表現を含んでもよく、又は照明効果等の視覚効果を含んでもよい。ＡＲシステムは、仮想オブジェクトを重力又は摩擦に曝す等、仮想オブジェクトの挙動を支配するための規則を含んでもよく、又は実世界の物理的制約（例えば、浮遊オブジェクト、永久運動等）を否定する他の事前定義された規則を含んでもよい。ＡＲデバイス６６は、ＡＲデバイス６６上にカメラ７９を含み得る（ＡＲデバイス６６とは別個のカメラ９６と混同されるべきではない）。ＡＲデバイスカメラ７９又はカメラ９６は、赤外線カメラ、赤外線フィルタ、可視光フィルタ、複数のカメラ、深度カメラ等を含み得る。ＡＲデバイス６６は、ユーザが視認することができる実環境の表現の上に仮想アイテムを投影し得る。

ＡＲデバイス６６は、例えば、外科医７３によって患者７４に対して行われる外科的処置中に手術室７５内で使用され得る。ＡＲデバイス６６は、外科医の視覚を拡張するために、外科的処置中の仮想オブジェクト等の仮想オブジェクトを投影又は表示してもよい。外科医７３は、ＡＲデバイス６６、ＡＲデバイス６６のためのリモートコントローラを使用して仮想オブジェクトを視認してもよく、又は、例えば、ＡＲデバイス６６のカメラ７９によって認識される仮想オブジェクト又はジェスチャと「相互作用」するために手を使用して、仮想オブジェクトと相互作用してもよい。仮想オブジェクトは、外科用器具７７等の外科用ツールを拡張することができる。例えば、仮想オブジェクトは、（ＡＲデバイス６６を通して仮想オブジェクトを視認する外科医７３に対して）外科用器具７７と連結されるように、又は外科用器具７７から固定距離のままであるように見えてもよい。別の例では、仮想オブジェクトは、外科用器具７７を案内するために使用されてもよく、患者７４に固定されているように見えてもよい。特定の例では、仮想オブジェクトは、術野における他の仮想又は実世界のオブジェクトの動きに反応し得る。例えば、仮想オブジェクトは、外科医が仮想オブジェクトに近接して外科用器具を操作しているときに変更され得る。

拡張現実ディスプレイシステム撮像デバイス３８は、外科的処置の間、外科領域の実画像を捕捉する。拡張現実ディスプレイ８９、６７は、外科領域の実画像上への外科用器具７７の動作態様のオーバーレイを提示する。外科用器具７７は、ＡＲデバイス６６上の通信回路２３３を介して外科用器具７７からＡＲデバイス６６に動作態様及び機能データを通信するための通信回路２３１を含む。外科用器具７７及びＡＲデバイス６６は、矢印Ｂ、Ｃによって示されるように、回路２３１、２３３の間のＲＦ無線通信において示されているが、他の通信技術（例えば、有線、超音波、赤外線等）が採用されてもよい。オーバーレイは、アクティブに可視化されている外科用器具７７の動作態様に関連する。オーバーレイは、外科領域における組織相互作用の態様を外科用器具７７からの機能データと組み合わせる。ＡＲデバイス６６のプロセッサ部分は、外科用器具７７から動作態様及び機能データを受信し、外科用器具７７の動作に関連するオーバーレイを決定し、外科領域内の組織の態様を外科用器具７７からの機能データと組み合わせるように構成される。拡張画像は、デバイス性能考慮事項に関するアラート、不適合な使用のアラート、不完全な捕捉に関するアラートを示す。不適合な使用には、範囲外の組織状態及びエンドエフェクタのジョー内で不正確にバランスされた組織が含まれる。追加の拡張画像は、組織張力のインジケーション及び異物検出のインジケーションを含む付随事象のインジケーションを提供する。他の拡張画像は、デバイス状況オーバーレイ及び器具インジケーションを示す。

図１０は、本開示の少なくとも一態様による、ＡＲディスプレイ８９を使用して情報とともに術野の画像を拡張するためのシステム８３を示す。システム８３は、例えば、プロセッサ８５を使用することによって、以下で説明される技術を実行するために使用され得る。システム８３は、データベース９３と通信することができるＡＲデバイス６６の一態様を含む。ＡＲデバイス６６は、プロセッサ８５、メモリ８７、ＡＲディスプレイ８９、及びカメラ７９を含む。ＡＲデバイス６６は、センサ９０、スピーカ９１、及び／又は触覚コントローラ９２を含んでもよい。データベース９３は、画像ストレージ９４又は術前計画ストレージ９５を含んでもよい。

ＡＲデバイス６６のプロセッサ８５は、拡張現実モデラ８６を含む。拡張現実モデラ８６は、拡張現実環境を作成するために、プロセッサ８５によって使用され得る。例えば、拡張現実モデラ８６は、カメラ７９又はセンサ９０等から、術野内の器具の画像を受信し、手術視野の表示画像内に収まるように拡張現実環境を作成してもよい。別の例では、物理的オブジェクト及び／又はデータは、手術視野及び／又は外科用器具画像上にオーバーレイされてもよく、拡張現実モデラ８６は、物理的オブジェクト及びデータを使用して、仮想オブジェクト及び／又はデータの拡張現実ディスプレイを拡張現実環境内に提示してもよい。例えば、拡張現実モデラ８６は、患者の手術部位で器具を使用又は検出し、外科用器具上の仮想オブジェクト及び／又はデータ、及び／又はカメラ７９によって捕捉された手術視野内の手術部位の画像を提示してもよい。ＡＲディスプレイ８９は、実環境にオーバーレイされたＡＲ環境を表示してもよい。ディスプレイ８９は、ＡＲ環境内の固定位置等にあるＡＲデバイス６６を使用して、仮想オブジェクト及び／又はデータを示すことができる。

ＡＲデバイス６６は、赤外線センサ等のセンサ９０を含むことができる。カメラ７９又はセンサ９０は、外科医又は他のユーザによるジェスチャ等の動きを検出するために使用されてもよく、動きは、プロセッサ８５によって、ユーザによる仮想ターゲットとの試みられた又は意図された相互作用として解釈されてもよい。プロセッサ８５は、カメラ７９を使用して受信された情報を処理すること等によって、実環境内のオブジェクトを識別することができる。他の態様では、センサ９０は、拡張環境を作成するために様々なデータフィードと組み合わされ得る対応する信号を生成するための触覚センサ、可聴センサ、化学センサ、又は熱センサであり得る。センサ９０は、バイノーラルオーディオセンサ（空間音）、慣性測定（加速度計、ジャイロスコープ、磁力計）センサ、環境センサ、深度カメラセンサ、手及び視線追跡センサ、並びに音声コマンド認識機能を含み得る。

ＡＲディスプレイ８９は、例えば、外科的処置中に、術野がＡＲディスプレイ８９を通して視認されることを可能にしながら、術野内等に、患者の解剖学的態様によって隠される物理的特徴に対応する仮想特徴を提示してもよい。仮想特徴は、物理的特徴の第１の物理的位置又は配向に対応する仮想位置又は配向を有し得る。一例では、仮想特徴の仮想位置又は配向は、物理的特徴の第１の物理的位置又は配向からのオフセットを含み得る。オフセットは、拡張現実ディスプレイからの所定の距離、拡張現実ディスプレイから解剖学的態様までの相対距離等を含んでもよい。

一例では、ＡＲデバイス６６は、個々のＡＲデバイスであり得る。一態様では、ＡＲデバイス６６は、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔによって製造されたＨｏｌｏＬｅｎｓ ２ ＡＲデバイスであってもよい。このＡＲデバイス６６は、レンズ及びバイノーラルオーディオ特徴（空間音）を伴うバイザと、慣性測定（加速度計、ジャイロスコープ、磁力計）と、環境センサと、深度カメラと、ビデオカメラと、手及び視線追跡と、音声コマンド認識機能とを含む。それは、鏡を使用して導波路を着用者の目の前に向けることによって、高解像度で改善された視野を提供する。画像は、ミラーの角度を変えることによって拡大することができる。それはまた、ユーザを認識し、特定のユーザのためにレンズ幅を調整するための視線追跡を提供する。

別の例では、ＡＲデバイス６６は、Ｓｎａｐｃｈａｔ Ｓｐｅｃｔａｃｌｅｓ ３ ＡＲデバイスであり得る。このＡＲデバイスは、ペア画像を捕捉し、３Ｄ深度マッピングを再作成し、仮想効果を追加し、３Ｄビデオを再生する能力を提供する。ＡＲデバイスは、６０ｆｐｓで３Ｄ写真及びビデオを捕捉するための２つのＨＤカメラを含み、一方、４つの内蔵マイクロフォンは、没入型高忠実度オーディオを記録する。両方のカメラからの画像を組み合わせて、ユーザの周りの実世界の幾何学的マップを構築し、奥行き知覚の新しい感覚を提供する。写真及びビデオは、外部ディスプレイデバイスに無線で同期され得る。

更に別の例では、ＡＲデバイス６６は、ＧｏｏｇｌｅによるＧｌａｓｓ ２ ＡＲデバイスであり得る。このＡＲデバイスは、情報を補足するためにレンズ（視野外）上にオーバーレイされた慣性測定（加速度計、ジャイロスコープ、磁力計）情報を提供する。

別の例では、ＡＲデバイス６６は、ＡｍａｚｏｎによるＥｃｈｏ Ｆｒａｍｅｓ ＡＲデバイスであり得る。このＡＲデバイスは、カメラ／ディスプレイを有しない。マイクロフォン及びスピーカはＡｌｅｘａにリンクされる。このＡＲデバイスは、ヘッドアップディスプレイよりも機能が少ない。

更に別の例では、ＡＲデバイス６６は、Ｎｏｒｔｈ（Ｇｏｏｇｌｅ）によるＦｏｃａｌｓ ＡＲデバイスであり得る。このＡＲデバイスは、通知プッシャ／スマートウォッチアナログ、慣性測定、情報（天気、カレンダ、メッセージ）のスクリーンオーバーレイ、音声制御（Ａｌｅｘａ）統合を提供する。このＡＲデバイスは、基本的なヘッドアップディスプレイ機能を提供する。

別の例では、ＡＲデバイス６６は、Ｎｒｅａｌ ＡＲデバイスであり得る。このＡＲデバイスは、空間音、２つの環境カメラ、写真カメラ、ＩＭＵ（加速度計、ジャイロスコープ）、周辺光センサ、近接センサ機能を含む。ｎｅｂｕｌａは、アプリケーション情報をレンズ上に投影する。

様々な他の例では、ＡＲデバイス６６は、以下の市販のＡＲデバイス、すなわち、Ｍａｇｉｃ Ｌｅａｐ １、Ｅｐｓｏｎ Ｍｏｖｅｒｉｏ、Ｖｕｚｉｘ Ｂｌａｄｅ ＡＲ、ＺｅｎＦｏｎｅ ＡＲ、Ｍｉｃｒｏｓｏｆｔ ＡＲ眼鏡プロトタイプ、ＥｙｅＴａｐのうちのいずれか１つであってもよく、これにより、環境の光と同一直線上の光を直接網膜に作成する。ビームスプリッタは、例えば、情報を処理しオーバーレイするために、コンピュータに目に見える同じ光を利用可能にする。ＡＲ可視化システムは、ＨＵＤ、コンタクトレンズ、眼鏡、仮想現実（ＶＲ）ヘッドセット、仮想網膜ディスプレイ、手術室内ディスプレイ、及び／又はスマートコンタクトレンズ（バイオニックレンズ）を含む。

ＡＲデバイス６６のためのマルチユーザインターフェースは、目の前のスクリーン上ではなく網膜上に直接描画されるラスタディスプレイ等の仮想網膜ディスプレイ、スマートテレビ、スマートフォン、及び／又はＳｏｎｙ空間ディスプレイシステム等の空間ディスプレイを含む。

他のＡＲ技術は、例えば、ＡＲ捕捉デバイス及びソフトウェアアプリケーション、ＡＲ作成デバイス及びソフトウェアアプリケーション、並びにＡＲクラウドデバイス及びソフトウェアアプリケーションを含んでもよい。ＡＲ捕捉デバイス及びソフトウェアアプリケーションは、例えば、Ａｐｐｌｅ Ｐｏｌｙｃａｍ ａｐｐ、Ｕｂｉｑｕｉｔｙ ６（Ｄｉｓｐｌａｙ．ｌａｎｄ ａｐｐを使用するＭｉｒｒｏｒｗｏｒｌｄ）を含み、ユーザは、（３Ｄモデルを作成するために）実世界の３ｄ画像をスキャンし、取得することができる。ＡＲ作成デバイス及びソフトウェアアプリケーションは、例えば、Ａｄｏｂｅ Ａｅｒｏ、Ｖｕｆｏｒｉａ、ＡＲＴｏｏｌＫｉｔ、Ｇｏｏｇｌｅ ＡＲＣｏｒｅ、Ａｐｐｌｅ ＡＲＫｉｔ、ＭＡＸＳＴ、Ａｕｒａｓｍａ、Ｚａｐｐａｒ、Ｂｌｉｐｐａｒを含む。ＡＲクラウドデバイス及びソフトウェアアプリケーションは、例えば、Ｆａｃｅｂｏｏｋ、Ｇｏｏｇｌｅ（ｗｏｒｌｄ ｇｅｏｍｅｔｒｙ、ｏｂｊｅｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ、ｐｒｅｄｉｃｔｉｖｅ ｄａｔａ）、Ａｍａｚｏｎ ＡＲ Ｃｌｏｕｄ（ｃｏｍｍｅｒｃｅ）、Ｍｉｃｒｏｓｏｆｔ Ａｚｕｒｅ、Ｓａｍｓｕｎｇ Ｐｒｏｊｅｃｔ Ｗｈａｒｅ、Ｎｉａｎｔｉｃ、Ｍａｇｉｃ Ｌｅａｐを含む。

状況認識は、データベース及び／又は器具から受信したデータから外科処置に関連する情報を判定又は推測するための、外科システムのいくつかの態様の能力である。情報は、実行されている処置のタイプ、手術されている組織のタイプ、又は処置の対象である体腔を含むことができる。外科処置に関するコンテキスト情報によると、外科システムは、例えば、外科システムが、それに接続されるモジュール式デバイス（例えば、ロボットアーム及び／又はロボット外科用ツール）を制御し、外科処置の過程で外科医にコンテキスト化された情報又は提案を提供する様式で改善し得る。

図１１は、状況認識外科的処置のタイムラインを示す。図１１は、例示的な外科的処置のタイムライン５２００と、外科的処置の各工程でデータソース５１２６から受信されたデータから外科用ハブ５１０４が導出することができるコンテキスト情報とを示す。タイムライン５２００は、手術現場のセットアップで始まり、患者を術後回復室に移送することで終了する肺区域切除処置の過程中に、看護師、外科医及び他の医療従事者がとるであろう一般的な工程を示す。状況認識外科用ハブ５１０４は、外科処置の過程全体にわたって、医療関係者が外科用ハブ５１０４とペアリングされたモジュール式デバイス５１０２を使用するたびに生成されるデータを含むデータを、データソース５１２６から受信する。外科用ハブ５１０４は、ペアリングされたモジュール式デバイス５１０２及び他のデータソース５１２６からこのデータを受信して、任意の所与の時間に処置のどの工程が行われているかなどの新しいデータが受信されると、進行中の処置に関する推定（すなわち、コンテキスト情報）を継続的に導出することができる。外科用ハブ５１０４の状況認識システムは、例えば、報告を生成するために処置に関するデータを記録すること、医療従事者によってとられている工程を検証すること、特定の処置工程に関連し得るデータ又はプロンプトを（例えば、表示画面を介して）提供すること、コンテキストに基づいてモジュール式デバイス５１０２を調整する（例えば、モニタを起動する、医療用撮像デバイスのＦＯＶを調整する、又は超音波外科用器具若しくはＲＦ電気外科用器具のエネルギーレベルを変更する）こと、及び上述される任意の他のこうした動作を行うことが可能である。

第１の５２０２では、病院職員は、病院のＥＭＲデータベースから、患者のＥＭＲを取り出す。ＥＭＲにおいて選択された患者データに基づいて、外科用ハブ５１０４は、実施される処置が胸部手術であることを判定する。

第２の５２０４では、職員は、処置のために入来する医療用品をスキャンする。外科用ハブ５１０４は、スキャンされた物資を様々なタイプの処置において利用される物資のリストと相互参照し、物資の混合物が、胸部処置に対応することを確認する。更に、外科用ハブ５１０４はまた、処置が楔形切除術ではないと判定することができる（入来する用品が、胸部楔形切除術に必要な特定の用品を含まないか、又は別の点で胸部楔形切除術に対応していないかのいずれかであるため）。

第３の５２０６では、医療従事者は、外科用ハブ５１０４に通信可能に接続されたスキャナ５１２８を介して患者バンドをスキャンする。次いで、外科用ハブ５１０４は、スキャンされたデータに基づいて患者の身元を確認することができる。

第４の５２０８では、医療職員が補助装置をオンにする。利用されている補助機器は、外科手術の種類、及び外科医が使用する技術に従って変動し得るが、この例示的なケースでは、排煙器、送気器及び医療用撮像デバイスが挙げられる。起動されると、モジュール式デバイス５１０２である補助装置は、その初期化プロセスの一部として、モジュール式デバイス５１０２の特定の近傍内に位置する外科用ハブ５１０４と自動的にペアリングすることができる。次いで、外科用ハブ５１０４は、この術前又は初期化段階中にそれとペアリングされるモジュール式デバイス５１０２の種類を検出することによって、外科処置に関するコンテキスト情報を導出することができる。この特定の実施例では、外科用ハブ５１０４は、ペアリングされたモジュール式デバイス５１０２のこの特定の組み合わせに基づいて、外科処置がＶＡＴＳ手術であると判定する。患者のＥＭＲからのデータの組み合わせ、処置に用いられる医療用品のリスト、及びハブに接続するモジュール式デバイス５１０２の種類に基づいて、外科用ハブ５１０４は、外科チームが実施する特定の処置を概ね推定することができる。外科用ハブ５１０４が、何の特定の処置が行われているかを知ると、次いで外科用ハブ５１０４は、メモリから、又はクラウドからその処置の工程を読み出し、次いで接続されたデータソース５１２６（例えば、モジュール式デバイス５１０２及び患者モニタリングデバイス５１２４）からその後受信したデータを相互参照して、外科処置のどの工程を外科チームが実行しているかを推定することができる。

第５の５２１０では、職員は、ＥＫＧ電極及び他の患者モニタリングデバイス５１２４を患者に取り付ける。ＥＫＧ電極及び他の患者モニタリングデバイス５１２４は、外科用ハブ５１０４とペアリングすることができる。外科用ハブ５１０４が患者モニタリングデバイス５１２４からデータの受信を開始すると、外科用ハブ５１０４は患者が手術現場にいることを確認する。

第６の５２１２では、医療関係者は患者において麻酔を誘発する。外科用ハブ５１０４は、例えば、ＥＫＧデータ、血圧データ、人工呼吸器データ又はこれらの組合せを含む、モジュール式デバイス５１０２、及び／又は患者モニタリングデバイス５１２４からのデータに基づいて、患者が麻酔下にあることを推測することができる。第６工程５２１２が完了すると、肺区域切除手術の術前部分が完了し、手術部が開始する。

第７の５２１４では、手術されている患者の肺が虚脱される（換気が対側肺に切り替えられる間に）。外科用ハブ５１０４は、患者の肺が虚脱されたことを人工呼吸器データから推測することができる。外科用ハブ５１０４は、患者の肺が虚脱したのを検出したことを、処置の予期される工程（事前にアクセス又は読み出すことができる）と比較することができるため、処置の手術部分が開始したことを推定して、それによって肺を虚脱させることがこの特定の処置における第１の手術工程であると判定することができる。

第８の５２１６では、医療用撮像装置５１０８（例えば、スコープ）が挿入され、医療用撮像装置からのビデオ映像が開始される。外科用ハブ５１０４は、医療用撮像デバイスへの接続を通じて医療用撮像デバイスデータ（すなわち、静止画像データ又はリアルタイムのライブストリーミングビデオ）を受信する。医療用撮像装置データを受信すると、外科用ハブ５１０４は、外科処置の腹腔鏡部分が開始したことを判定することができる。更に、外科用ハブ５１０４は、行われている特定の処置が、肺葉切除術とは対照的に区域切除術であると判定することができる（処置の第２の工程５２０４で受信したデータに基づいて、楔形切除術は外科用ハブ５１０４によって既に考慮に入れられていないことに留意されたい）。医療用撮像デバイス１２４（図２）からのデータを利用して、様々な方法で、例えば、患者の解剖学的構造の可視化に対して向けられている医療用撮像装置の角度を判定することによって、利用されている（すなわち、起動されており、外科用ハブ５１０４とペアリングされている）数又は医療用撮像装置を監視することによって、及び利用されている可視化装置の種類を監視することによって、行われている処置の種類に関するコンテキスト情報を判定することができる。

例えば、ＶＡＴＳ肺葉切除術を実行するための１つの技術は、カメラを患者の胸腔の前下方角部の横隔膜上方に配置するが、他方、ＶＡＴＳ区域切除術を実行するための１つの技術は、カメラを、区域裂に対して前方の肋間位置に配置する。状況認識システムは、例えば、パターン認識技術又は機械学習技術を使用して、患者の解剖学的構造の可視化に従って、医療用撮像デバイスの位置を認識するように訓練することができる。別の例として、ＶＡＴＳ肺葉切除術を実行するための１つの技術は、単一の医療用撮像デバイスを利用するが、ＶＡＴＳ区域切除術を実行するための別の技術は複数のカメラを利用する。更に別の例として、ＶＡＴＳ区域切除術を実行するための１つの技術は、区域裂を可視化するために赤外線光源（可視化システムの一部として外科用ハブへと通信可能に連結できる）を利用するが、これはＶＡＴＳ肺葉切除術では利用されない。医療用撮像装置５１０８からのこのデータのいずれか又は全てを追跡することによって、外科用ハブ５１０４は、行われている特定の種類の外科処置、及び／又は特定の種類の外科処置に使用されている技術を判定することができる。

第９の工程５２１８では、外科チームは、処置の切開工程を開始する。外科用ハブ５１０４は、エネルギー器具が発射されていることを示すＲＦ又は超音波発生器からのデータを受信するため、外科医が患者の肺を切開して分離するプロセスにあると推定することができる。外科用ハブ５１０４は、受信したデータを外科処置の読み出しされた工程と相互参照して、プロセスのこの時点（すなわち、上述された処置の工程が完了した後）で発射されているエネルギー器具が切開工程に対応していると判定することができる。

第１０の工程５２２０では、外科チームは、処置の結紮工程に進む。外科用ハブ５１０４は、器具が発射されていることを示すデータを外科用ステープル留め及び切断器具から受信するため、外科医が動脈及び静脈を結紮していると推定することができる。前工程と同様に、外科用ハブ５１０４は、外科用ステープル留め及び切断器具からのデータの受信を、読み出しされたプロセス内の工程と相互参照することによって、この推定を導出することができる。

第１１の５２２２では、処置の区域切除術の部分が行われる。外科用ハブ５１０４は、ステープルカートリッジからのデータを含む、外科用器具からのデータに基づいて、外科医が実質組織を横切開していると推定する。カートリッジデータは、例えば、器具によって発射されているステープルのサイズ又はタイプに対応し得る。カートリッジデータは、異なるタイプの組織に利用される異なるタイプのステープルに対して、ステープル留め及び／又は横切開されている組織のタイプを示し得る。発射されているステープルのタイプは実質組織又は他の同様の組織タイプに利用され、外科用ハブ５１０４は、区域切除処置が行われていると推定することができる。

続いて第１２の工程５２２４で、結節切開工程が行われる。外科用ハブ５１０４は、ＲＦ又は超音波器具が発射されていることを示す、発生器から受信したデータに基づいて、外科チームが結節を切開し、漏れ試験を行っていると推定することができる。この特定の処置の場合、実質組織が横切開された後に利用されるＲＦ又は超音波器具は結節切開工程に対応しており、これにより外科用ハブ５１０４がこの推定を行うことができる。異なる器具が特定のタスクに対してより良好に適合するので、外科医が、処置中の特定の工程に応じて、手術用ステープリング／切断器具と手術用エネルギー（すなわち、ＲＦ又は超音波）器具とを、定期的に交互に切り替えることに留意されたい。したがって、ステープル留め器具／切断器具及び手術用エネルギー器具が使用される特定のシーケンスは、外科医が処置のどの工程を実行しているかを示すことができる。第１２の工程５２２４が完了すると、切開部が閉鎖され、処置の術後部分が開始する。

第１３の５２２６では、患者の麻酔を解く。外科用ハブ５１０４は、例えば、ベンチレータデータに基づいて（すなわち、患者の呼吸速度が増加し始める）、患者が麻酔から覚醒しつつあると推定することができる。

最後に、第１４の５２２８では、医療従事者が患者から様々な患者モニタリングデバイス５１２４を除去する。したがって、外科用ハブ５１０４は、ハブがＥＫＧ、ＢＰ、及び患者モニタリングデバイス５１２４からの他のデータを喪失したとき、患者が回復室に移送されていると推定することができる。外科用ハブ５１０４と通信可能に連結された各種データソース５１２６から受信したデータに従って、外科用ハブ５１０４は、所与の外科的処置の各工程が発生しているときを判定又は推定することができる。

図１１に描写されるタイムライン５２００の第１の工程５２０２に示されるように、ＥＭＲデータベース（複数の場合もある）からの患者データを利用して、実行されている外科的処置のタイプを推定することに加えて、患者データはまた、状況認識外科用ハブ５１０４によって利用されて、ペアリングされたモジュール式デバイス５１０２の制御調整を生成することができる。

相互作用する器具の協調的オーバーレイ
外科用システム１、２、５０、５２、外科用ハブ６、５６、５１０４、通信システム６３、拡張システム８３、及びＡＲデバイス６６、８４等の本明細書に開示される種々の外科用システム、外科用ハブ、通信システム、拡張システム、及び拡張現実デバイスの一般的実装を説明してきたが、本開示は、次に、システム、ハブ、及びデバイスの種々の他の埋め込みを説明する。簡潔にするために、以下のセクションで説明されるシステム、ハブ、及びデバイスの様々な詳細及び実装形態は、上述の様々なシステム、ハブ、及びデバイスと同様であり、本明細書では繰り返さない。以下で説明されるシステム、ハブ、及びデバイスの任意の態様は、上記のシステム、ハブ、及びデバイスに持ち込むことができ、及び／又はそれらによって実装され得る。

複数の外科用器具が、外科的処置中に手術室（ＯＲ）内に存在することが多い。存在する外科用器具は、異なる機能、異なる動作パラメータ、及び異なる意図された用途を有することができる。例えば、実行されている外科的処置又は外科的処置の工程に応じて、複数の外科用器具を同時に使用することがしばしば望ましいか、又は必要とされる。したがって、外科的処置中のＯＲ内の外科用器具のうちのいくつかは、同時に及び／又は互いに近接して使用されることが意図され得る。例えば、円形ステープル留め器具は、特定のアンビルデバイスとともに使用されることが意図され得る。別の例として、バットレスデバイスは、特定のタイプのエンドカッタ器具とともに使用されることが意図され得る。更に別の例として、ステープルカートリッジは、特定のタイプの外科用ステープル留め器具とともに使用されることが意図され得る。更に、複数の外科用器具の同時使用は、器具が組み合わせて使用されないときに利用可能でない様々な推奨される機能と関連付けられ得る。

しかしながら、他の事例では、ＯＲ内に存在するいくつかの外科用器具は、同時に、又は互いに近接して使用されることを意図されていない（例えば、外科用器具の種々の組合せの使用により、１つ以上の器具が機能不全になり得るため）。例えば、エネルギーデバイスに近接して金属器具を使用することは、エネルギーデバイスから金属器具へのアーク放電を引き起こし得る。別の例として、エネルギーデバイスに近接して金属器具を使用することは、エネルギーデバイスの通常の熱拡散の変化を引き起こし、不完全なシール又はデバイス故障につながる可能性がある。更に別の例として、ステープルカートリッジは偽造品である場合があり、したがって、特定の外科用ステープル留め器具とともに使用されるべきではない。更に、外科用器具が一緒に使用されるべきか否かは、使用されている外科用器具の特定のタイプ及び実行されている特定の外科的処置に依存し得る。

ＯＲ内に存在し得る異なるタイプの外科用器具の多種多様な組合せ、及び実行され得る多種多様な異なる外科的処置を考慮すると、ＯＲスタッフが、外科用器具のどの組合せが様々な機能に関連付けられているか、外科用器具のどの組合せが同時に及び／又は互いに近接して使用されるべきか、並びに外科用器具のどの組合せが同時に及び／又は互いに近接して使用されるべきでないかを追跡することは困難であり得る。したがって、ＯＲ内の様々な組合せの外科用器具の存在及び／又は使用を決定するため、決定された組合せに基づいて利用可能であり得る追加の機能を識別するため、外科用器具が互いに近接して使用されることが意図されていることを決定するため、及び／又は外科用器具が互いに近接して使用されることが意図されていないことを決定するための装置、システム、及び方法が必要とされている。

更に、外科的処置又は外科的処置の工程中に複数の外科用器具が同時に使用される場合、外科用器具は、互いに及び／又は術野内の共通のオブジェクトと相互作用することが多い。例えば、外科用把持デバイスは、組織を保持又は安定させるために使用されてもよく、一方、内部機械外科用デバイスは、同じ組織を切断するために使用される。上記で説明したように、拡張現実（ＡＲ）デバイスは、術野の画像上にオーバーレイされた仮想オブジェクト、データ、又は視覚効果を表示するために使用され得る。したがって、例示的な外科用把持デバイス及び内部機械外科用デバイスの場合、ＡＲデバイスを使用して、各外科用デバイスの組織との個々の相互作用（例えば、組織に及ぼされる力）に関連する情報を有するオーバーレイを表示することができる。しかしながら、複数の外科用器具が互いに及び／又は共通のオブジェクトと相互作用しているとき、相互作用は、多くの場合、個々の外科用器具のうちのいずれか１つによって引き起こされる効果とは異なる何らかの複合効果をもたらす。この複合効果の知識は、外科的処置の実行中にＯＲスタッフを支援するのに有用であり得る。したがって、ＯＲ内の様々な組合せの外科用器具の存在及び／又は使用を決定するための装置、システム、及び方法の必要性に加えて、複数の外科用器具間の相互作用に基づく協調的ＡＲオーバーレイを表示するための装置、システム、及び方法の必要性も存在する。

ＯＲ内の様々な組合せの外科用器具の存在及び／又は使用を決定するための装置、システム、及び方法が本明細書に開示される。また、本明細書に開示されるのは、外科的処置中に存在する及び／又は使用中である外科用器具の決定された組合せに基づいて利用可能であり得る機能を決定するための装置、システム、及び方法である。上述したように、様々な外科用システム構成は、ＯＲ（例えば、手術現場）内の複数の外科用器具を１つ以上の外科用ハブに通信可能に連結するように実装され得る。例えば、図５及び図６を再び参照すると、コンピュータ実装インタラクティブ外科用システム５０は、複数の手術現場デバイス（例えば、ＯＲ内の複数の外科用器具２１、９８、９９等）に通信可能に連結された少なくとも１つの外科用ハブ５６を備えることができる。外科用ハブ５６は、それに接続される特定の外科用器具（器具タイプ、器具モデル、器具設定及び機能等）の組合せ、及び／又は特定のＯＲとともに存在する特定の外科用器具の組合せを決定するように構成され得る。更に、外科用ハブ５６は、所与の外科的処置に使用されている特定の外科用器具の組合せを決定するように構成され得る。外科用システム５０及び外科用ハブ５６は、このセクションでは例示的な外科用システム及び外科用ハブとして参照されるが、本明細書に開示される外科用システム及びハブのいずれも、外科用器具の特定の組合せの存在及び使用を決定するように構成され得ることに留意されたい。

様々な態様では、特定の外科用器具及び／又は外科用器具の特定の組合せの接続及び／又は起動は、ハブ及び／又は外科用器具に関連する機能を有効にすることができる。一態様では、特定の外科用器具（外科用デバイス）の接続及び／又は起動は、ハブ上の機能を有効にすることができる。別の態様では、外科用器具の特定の組合せの接続及び／又は起動は、ハブ上の機能を有効にすることができる。ハブ機能は、それに接続される単数又は複数の外科用器具のメモリ内に記憶された情報に基づいて有効にされ得る。更に、有効にされたハブ機能は、ハブによって実行され得る追加のモード及び／又は特徴をロック解除することを伴い得る。これらの追加のモード及び／又は特徴は、外科用ハブへの接続によってハブ機能を有効にする特定の器具又は器具の組合せに関連し得る。例えば、エネルギーデバイスの特定のモデル及び／又は改正版等の特定の外科用器具は、外科用ハブへの接続時に読み取られる、その電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）内にマッピングされる情報を含んでもよい。ＥＥＰＲＯＭに記憶された情報は、追加の特徴及び／又はモードをハブ上でロック解除させることができる。別の例として、エネルギーデバイスの特定のモデルと内視鏡の特定のモデルとの組合せの接続は、追加の特徴及び／又はモードをハブ上でロック解除させてもよい。

別の態様では、特定の外科用器具（外科用デバイス）又は外科用器具の特定の組合せの接続及び／又は起動は、単数及び／又は複数の外科用器具上の機能を有効にすることができる。外科用ハブによって有効にされる器具機能は、外科用ハブによって単数及び／又は複数の外科用器具を構成することを含み得る。例えば、接続時に、外科用ハブは、外科用器具に、接続された器具又は器具の組合せに関連する設定選択又はユーザプロファイルを入力するようにユーザを促すようにさせることができる。外科用ハブへの外科用器具又は器具の組合せの接続によって有効にされる器具機能は、外科用ハブの設定に基づいて、単数及び／又は複数の外科用器具の構成を自動的に更新することを含み得る。例えば、接続時に、外科用ハブの設定に基づいて、外科用ハブは、外科用器具に、追加のボタン（例えば、タッチスクリーンボタン）を含ませてもよい。追加のボタンは、外科用ハブに接続された外科用器具の組合せに基づいて利用可能な器具の追加の動作又は機能に関連し得る。

更に別の態様では、特定の外科用器具（外科用デバイス）又は外科用器具の特定の組合せの接続及び／又は起動により、ハブが、単数及び／又は複数の外科用器具のパラメータを変更することができる。例えば、外科用器具の特定の組合せを外科用ハブに接続することは、ハブに、接続された外科用器具のうちの１つのエンドエフェクタのクランプ圧力、ナイフ速度、最大関節角度、及び／又は発射ストローク設定を調整させ得る。ハブによって調整される外科用器具パラメータのいずれも、ユーザによって調整又はカスタマイズされてもよい。

更に別の態様では、特定の外科用器具（外科用デバイス）又は外科用器具の特定の組合せの接続及び／又は起動により、外科用ハブのパラメータを調整することができる。例えば、外科用ハブは、スリーブ胃切除術等の特定の外科的処置についての理想的及び／又は標的化された発射並びに角度を最適化するためのアルゴリズムを含んでもよい。ハブは、処置中に起動される特定の外科用器具に応じてアルゴリズムを更新するように構成され得る（例えば、アルゴリズムは、アクティブな線形エンドカッタが４５ｍｍエンドカッタであるか又は６０ｍｍエンドカッタであるかに応じて更新され得る）。

図１２は、本開示のいくつかの非限定的な態様による、接続された外科用デバイスの組合せに基づいて機能を有効にするための方法１３０００を示す。方法１３０００は、第１の外科用デバイスを外科用ハブに接続すること（１３００２）と、第２の外科用デバイスを外科用ハブに接続すること（１３００４）とを含むことができる。更に、方法１３０００は、外科用ハブによって、第１の外科用デバイスの接続１３００２及び第２の外科用デバイスの接続１３００４に基づいて、そこに接続されたデバイスの組合せを識別すること（１３００６）を含むことができる。方法１３０００は、外科用ハブに接続されたデバイスの識別された組合せ１３００６に基づいて、第１の外科用デバイス、第２の外科用デバイス、外科用ハブ、又はそれらの組合せの機能を有効にすること（１３００８）を更に含むことができる。

外科用器具が一緒に使用されることが意図されていることを決定するため（例えば、互いに近接している）、及び外科用器具が一緒に使用されることが意図されていないことを決定するための装置、システム、及び方法が本明細書に開示される。上記で説明したように、様々な外科用システム構成は、ＯＲ（例えば、手術現場）内の複数の外科用器具を１つ以上の外科用ハブに通信可能に連結するように実装されてもよい。例えば、図５及び図６を再び参照すると、コンピュータ実装インタラクティブ外科用システム５０は、複数の手術現場デバイス（例えば、ＯＲ内の複数の外科用器具２１、９８、９９等）に通信可能に連結された少なくとも１つの外科用ハブ５６を含むことができる。外科用ハブ５６は、それに接続される特定の外科用器具の組合せを決定するように構成することができる。更に、外科用ハブ５６は、所与の外科的処置に使用されている特定の外科用器具の組合せを決定するように構成され得る。一態様では、外科用ハブ５６は、様々なタイプの外科用器具及び／又は様々なタイプの外科用器具の組合せの意図された使用に関する情報を記憶してもよい。別の態様では、外科用ハブ５６は、様々なタイプの外科用器具及び／又は様々なタイプの外科用器具の組合せの意図された使用に関連する情報を記憶するサーバ又は他のデバイスと通信し得る。したがって、外科用ハブ５６は、それに接続された外科用器具の決定された組合せに基づいて、接続された外科用器具が一緒に使用されることが意図されていること、及び／又は接続された外科用器具が一緒に使用されることが意図されていないことを決定するように構成され得る。外科用ハブは、接続された外科用器具が一緒に使用されることが意図されているか否かの決定に基づいて、１人以上のユーザ（例えば、ＯＲスタッフ）に通知を提供し得る。この通知は、ＡＲオーバーレイの形態であってもよい。

しかしながら、いくつかの外科用器具は、外科用ハブに接続する能力を有していない場合がある（例えば、外科用器具はスマートデバイス／器具ではない場合がある）。したがって、様々な態様では、外科用ハブに接続することができる本明細書に開示される外科用器具のいずれかは、他の外科用器具を検出及び／又は識別するように構成されたセンサを含んでもよい。センサを含むハブ接続外科用器具は、以下では「スマートセンシング器具」と呼ばれる場合がある。一態様では、外科用ハブは、スマートセンシング器具に、スマートセンシング器具によって検出及び／又は識別された器具に関する情報を外科用ハブに送信させるように構成されてもよい。外科用ハブは、この情報を使用して、検出された器具がスマートセンシング器具とともに使用されることが意図されているか否かを決定することができる。別の態様では、外科用ハブは、この情報を使用して、検出された器具に関連するＡＲオーバーレイを生成するために使用される場所データを強化することができる。

様々な態様では、スマートセンシング器具及び／又は外科用ハブに接続できない器具等の外科用器具は、他の器具を検出するための近接センサを含むことができる。いくつかの態様では、近接センサは、第１の器具の機能を記述するデータセットを含む信号を送出する第１の器具の近接ビーコンであり得る。第２の外科用器具の近接センサは、着信信号を読み取り、データセットに基づいて、第１の器具及び第２の外科用器具が互いに近接して使用されることが意図されているか否かを決定し得る。一態様では、第２の外科用器具は、決定に基づいてＯＲスタッフに通知を提供し得る。別の態様では、第２の外科用器具は、決定に関連するデータを外科用ハブに送信して、外科用ハブに、第１及び第２の外科用器具が一緒に使用されることが意図されているか否かを示す通知を１人以上のユーザ（例えば、ＯＲスタッフ）に提供させてもよい。この通知は、ＡＲオーバーレイの形態であってもよい。

様々な態様では、いくつかの外科用器具は、信号を送出することができるが、他の器具からの着信信号を読み取ることができない近接ビーコンを含み得る。例えば、上述の第１の外科用器具は、信号を送出することができるが、着信信号を読み取ることができない近接ビーコンを有する外科用把持具であってもよい。この場合、第２の外科用器具、例えば、エネルギーデバイスは、第１の外科用器具からの着信信号を読み取ることができる近接ビーコンを含んでもよい。したがって、第２の外科用器具は、第１及び第２の器具が一緒に使用されることが意図されているかどうかを決定するように構成され得る。

図１３は、本開示のいくつかの非限定的な態様による、複数の外科用器具が互いに近接して使用されることが意図されているか否かを決定するための方法１３０１０を示す。方法１３０１０は、第１の外科用デバイスの近接ビーコンによって、第２の外科用デバイスの近接ビーコンに信号を送信すること（１３０１３）を含むことができる。更に、方法１３０１０は、第２の外科用デバイスを外科用ハブに接続すること（１３０１４）を含むことができる。また更に、一態様では、方法１３０１０は、第２の外科用デバイス、外科用ハブ、又はこれらの組合せによって、第１の外科用デバイス及び第２の外科用デバイスが互いに近接して使用されることが意図されていると決定すること（１３０１６Ａ）を含むことができる。別の態様では、方法１３０１０は、第２の外科用デバイス、外科用ハブ、又はこれらの組合せによって、第１の外科用デバイス及び第２の外科用デバイスが互いに近接して使用されることが意図されていないと決定すること（１３０１６Ｂ）を含むことができる。いくつかの態様では、方法１３０１０はまた、第２の外科用デバイス、外科用ハブ、外科用ハブに接続されたＡＲデバイス、又はそれらの組合せによって、決定１３０１６Ａ及び／又は決定１３０１６Ｂに基づいて、ユーザ（例えば、ＯＲスタッフ）に通知を提供すること（１３０１８）を含むことができる。

いくつかの態様では、複数の外科用器具が一緒に使用されることが意図されているか否かの決定は、器具のうちの少なくとも１つの識別コードに基づき得る。例えば、図１４は、本開示の少なくとも非限定的な一態様による、識別コード１３０２２及び対応する識別コードテーブル１３０２６を含む外科用器具１３０２０を示す。識別コード１３０２２は、器具１３０２０の表面１３０２４上に印刷又は他の方法で表示された一組の文字であり得る。一態様では、識別コード１３０２２は、識別コードを複数の角度から見ることができるように、器具１３０２０の複数の表面上に表示されてもよい（図１４には図示せず）。識別コード１３０２２は、５つのバイナリ文字１３０２８を含んでもよく、外科用器具の各特定のタイプ及び／又はモデル１３０２９は、５つのバイナリ文字の固有の組合せと関連付けられる。識別コードテーブル１３０２６を使用して、５つのバイナリ文字１３０２８の固有の組合せを外科用器具のタイプ及び／又はモデル１３０２９と相関させることができる。一態様では、識別コード１３０２２は、外科用ハブの撮像モジュールに関連付けられた撮像デバイス（例えば、図２に関して参照される撮像デバイス２４、９６、ＡＲデバイス６６、図３に関して参照される撮像モジュール３８）によって検出され得る。別の態様では、ユーザ（例えば、ＯＲスタッフ）が、識別コード１３０２２を外科用ハブに手動で提供してもよい。したがって、外科用ハブは、識別コード１３０２２２に基づいて外科用器具１３０２０を識別し、識別された外科用器具１３０２０が他の検出された器具とともに使用されることが意図されているかどうかを決定することが可能であり得る。

様々な態様では、複数の外科用器具間の相互作用に基づく協調的ＡＲオーバーレイを表示するための装置、システム、及び方法が本明細書で開示される。上記で説明されたように、拡張現実（ＡＲ）デバイス（例えば、ＡＲデバイス６６）は、例えば、外科用システムの１つ以上の撮像デバイス（例えば、図２に関して参照される撮像デバイス２４、９６、ＡＲデバイス６６、図３に関して参照される撮像モジュール３８）によって捕捉された術野の画像に基づいて、外科的処置中に術野の画像を生成するために使用され得る。ＡＲデバイスによって生成される画像は、術野の静止画像又はライブフィードであり得る。更に、ＡＲデバイスによって生成された術野の画像は、以下で術中ディスプレイと呼ばれる場合がある。

上記でより詳細に説明されるように、本明細書に開示される外科用システム及び／又は外科用ハブ（外科用システム１、２、５０、５２、外科用ハブ６、５６、５１０４等）は、ＡＲデバイスに、術中ディスプレイ上にオーバーレイされる仮想オブジェクト、データ、又は視覚効果を表示させるように構成することができる。これらの仮想オブジェクト、データ、及び視覚効果は、例えば、外科用器具が術野において外科的処置を実行しているときに、外科用器具の様々な属性に基づくことができる。換言すれば、術中ディスプレイは、術野における外科用器具の使用に関連するオブジェクト、データ、及び／又は視覚効果を含む仮想データオーバーレイを表示することができる。例えば、術中ディスプレイは、外科用器具が術野内の組織と相互作用する際に外科用器具が組織に及ぼす影響に関するデータを表示することができる。

また、上記でより詳細に説明されるように、外科的処置を実行するとき、複数の外科用器具が同時に使用されてもよい。更に、外科用ハブ及び／又は個々の器具は、使用中の外科用器具の組合せ特有の組合せを検出するように構成することができる。他の態様では、外科用ハブ及び／又は個々の器具は、器具の組合せ間の相互作用を検出するように構成することができる。一態様では、検出された相互作用は、互いに相互作用する外科用器具を含み得る。別の態様では、検出された相互作用は、例えば組織等の術野内の共通構造と相互作用する器具を含むことができる。したがって、術中ディスプレイは、外科用器具の組合せ間の相互作用に基づくデータオーバーレイを表示するように構成することができる。

いくつかの態様では、術中ディスプレイは、複数の器具の使用に基づく複数のデータオーバーレイを表示するように構成され得る。例えば、第１の外科用器具は、第２の外科用器具と同時に術野に存在してもよい。外科用ハブは、第１の外科用器具の動作に関連するデータ及び第２の外科用器具の動作に関連するデータを受信し得る。第１の外科用器具の動作に関連するデータを使用して、第１のデータオーバーレイを表示生成することができ、第２の外科用器具の動作に関連するデータを使用して、第２のデータオーバーレイを生成することができる。第１のデータオーバーレイ及び第２のデータオーバーレイは、術中ディスプレイによって同時に表示することができる。したがって、ＡＲデバイスを使用する外科医は、両方の器具に関連する情報を同時に受信することが可能であり得る。

いくつかの態様では、複数のユーザ（例えば、複数のＯＲスタッフメンバー）が各々、ＡＲデバイスを使用している場合がある。他の態様では、複数のユーザが各々外科用器具を使用している場合がある。本明細書に開示される外科用システム及び／又は外科用ハブは、異なるＡＲデバイスの任意の組合せに、複数の外科用器具の使用に基づいて、異なるデータオーバーレイの任意の数及び組合せを表示させるように構成され得る。例えば、第１のユーザは、第１の術中ディスプレイを生成する第１のＡＲデバイスを使用している場合がある。外科用ハブは、第１のＡＲデバイスを第１のユーザにリンクするように構成することができる。第２のユーザは、第２の術中ディスプレイを生成する第２のＡＲデバイスを使用している場合がある。外科用ハブは、第２のＡＲデバイスを第２のユーザにリンクするように構成することができる。更に、第１のユーザは、第１の外科用器具を使用してもよく、第２のユーザは、第２の外科用器具を使用してもよい。第１のインタラクティブディスプレイは、第１の器具に基づく第１のデータオーバーレイと、第２の器具に基づく第２のデータオーバーレイとを表示するように構成され得る。同様に、第２のインタラクティブディスプレイは、第１の器具に基づく第１のデータオーバーレイを表示し、第２の器具に基づく第２のデータオーバーレイを表示するように構成することができる。別の例では、第１の術中ディスプレイは、第２の器具ではなく第１のユーザによる第１の器具の使用に基づく第１のデータオーバーレイのみを表示してもよい。したがって、各術中ディスプレイによって表示されるデータオーバーレイは、どのユーザにＡＲデバイスがリンクされるか、ユーザの選好、ユーザが使用している外科用器具、又はそれらの任意の組合せに基づいてカスタマイズされ得る。

更に、外科用器具を組み合わせて使用するとき、外科用器具の併用の様々な属性に関連するデータは、外科用ハブ、個々の器具、外科用システムの他の構成要素、又はこれらの組合せによって検出、計算、及び／又は他の方法で決定することができる。したがって、術中ディスプレイは、外科用器具の併用に関連する属性に基づくデータオーバーレイを表示するように構成することができる。このタイプのデータオーバーレイは、本明細書では協調的データオーバーレイと呼ばれる場合がある。外科用器具の併用に関連する属性は、例えば、器具によって及ぼされる組み合わされた力、器具間の距離、器具とオブジェクトとの間の距離、器具の組み合わされたパラメータ、又は複数の外科用器具の相互作用に基づいて検出、計算、若しくは別様に決定され得る任意の他の属性を含むことができる。協調的データオーバーレイは、他のデータオーバーレイとともに表示されてもよく、他のデータオーバーレイの組合せであってもよい。

図１５Ａ及び図１５Ｂは、本開示のいくつかの非限定的な態様による、術野１３０３２内の組織１３０３８と相互作用するエンドカッタ１３０３４及び外科用把持具１３０３６を表示する例示的な術中ディスプレイ１３０３０を示す。ここで図１５Ａを参照すると、組織１３０３８を把持するエンドカッタ１３０３４を見ることができる。この把持動作により、組織１３０３８に張力がかかる。いくつかの態様では、張力は外科用ハブによって決定することができる。外科用把持具１３０３６と組織１３０３８との相互作用に基づいて、第１のデータオーバーレイ１３０４０が術中ディスプレイ１３０３０によって表示される。第１のデータオーバーレイ１３０４０は、外科用把持具１３０３６によって組織１３０３８に印加された張力（５．７）及び張力の方向を描写するベクトル矢印を含む。図１５Ａはまた、組織１３０３８を把持するエンドカッタ１３０３４を描写する。またこの把持動作により、いくつかの態様では、外科用ハブによって決定することができる、組織１３０３８に張力がかかる。エンドカッタ１３０３４と組織１３０３８との相互作用に基づいて、第２のデータオーバーレイ１３０４２が術中ディスプレイ１３０３０によって表示される。第２のデータオーバーレイ１３０４２は、外科用把持具１３０３６によって組織１３０３８に印加された張力（７．８）及び張力の方向を描写するベクトル矢印を含む。

ここで図１５Ｂを参照すると、協調的データオーバーレイ１３０４４が術中ディスプレイ１３０３０によって表示されている。協調的データオーバーレイ１３０４４は、組み合わされた張力（１３．５）と、エンドカッタ１３０３４と外科用把持具１３０３６との組み合わされた相互作用によって組織１３０３８に印加される張力の方向とを描写するベクトル矢印を含む。協調的データオーバーレイ１３０４４によって示される組み合わされた張力及び張力の方向は、外科用ハブによって計算又は別様に決定することができる。したがって、協調的データオーバーレイ１３０４４を含む術中ディスプレイ１３０３０を見ているユーザは、エンドカッタ１３０３４及び外科用把持具１３０３６が組織１３０３８にもたらしている複合効果を容易に視覚化することができる。

図１６Ａ、図１６Ｂ、図１６Ｃ、及び図１６Ｄは、本開示のいくつかの非限定的な態様による、アンビル１３０５２及びデバイスデッキ１３０５４を使用した吻合処置の性能を表示する、例示的な術中ディスプレイ１３０５０を示す。ここで図１６Ａを参照すると、アンビル１３０５２は、結腸の第１のセクション１３０５６とインターフェースしていることが分かる。結腸の第１のセクション１３０５６がデバイスデッキ１３０５４に向かって前進する（１３０６３）と、アンビル１３０５６は、結腸の第１のセクション１３０５６の周囲組織に引張力Ｆ１を及ぼす。この力は、外科用ハブによって決定することができる。アンビル１３０５６と結腸の第１のセクション１３０５６との相互作用に基づいて、第１のデータオーバーレイ１３０６０が術中ディスプレイ１３０５０によって表示される。第１のデータオーバーレイ１３０６０は、結腸の第１のセクション１３０５６上のアンビル１３５２の引張力及び力の方向性を示すグラフィックを含むことができる。図１６Ａはまた、結腸の第２のセクション１３０５８とインターフェースするデバイスデッキ１３０５４を描写する。結腸の第２のセクション１３０５８がアンビル１３０５２に向かって前進する（１３０６３）と、デバイスデッキ１３０５４は、結腸の第２のセクション１３０５８の周囲組織に引張力Ｆ２を及ぼす。この力は、外科用ハブによって決定することができる。デバイスデッキ１３０５４と結腸の第２のセクション１３０５８との相互作用に基づいて、第２のデータオーバーレイ１３０６２が術中ディスプレイ１３０５０によって表示される。第２のデータオーバーレイ１３０６２は、結腸の第２のセクション１３０５８上のデバイス１３０６０の引張力及び力の方向性を示すグラフィックを含むことができる。

ここで図１６Ｂを参照すると、術中ディスプレイ１３０５０は、ここで、取り付けに近づいているときのアンビル１３０５２及びデバイスデッキ１３０５４を描写する。外科用ハブは、アンビル１３０５２とデバイスデッキ１３０５４との近接を感知するように構成され得る。更に、外科用ハブは、感知された近接に基づく第１の協調的オーバーレイ１３０６４を表示するように構成することができる。第１の協調的オーバーレイ１３０６４は、アンビル１３０５２とデバイスデッキ１３０５４との間の取り付けが達成されたか否かを図式的に示すことができる。例えば、図１６Ｂに示されるような第１の協調的オーバーレイ１３０５４は、アンビル１３０５２とデバイスデッキ１３０５４との間の取り付けがまだ達成されていないことを示すことができる。第１のデータオーバーレイ１３０６０、第２のデータオーバーレイ１３０６２、及び第１の協調的オーバーレイ１３０６４は、ユーザが術中ディスプレイ１３０５０を見るのを支援することができる。いくつかの態様では、術中ディスプレイ１３０５０は、結腸組織に印加される力の予測される変化を示すための追加のデータオーバーレイも含むことができる。他の態様では、術中ディスプレイ１３０５０は、最適なアプローチ角度を示すために追加のデータオーバーレイを含むことができる。これらのデータオーバーレイは、ユーザが吻合処置の最適な結果を達成することを支援し得る。

ここで図１６Ｃを参照すると、術中ディスプレイ１３０５０は、ここで、デバイス１３０６８によるアンビル１３０５２及びデバイスデッキ１３０５４の取り付けを描写する。外科用ハブは、この取り付けを決定するように構成することができる。取り付けに基づいて、第１の協調的オーバーレイ１３０６４は、ここで、取り付けを図式的に示す。取り付けの結果として、術中ディスプレイ１３０５０は、ここで、第２の協調的オーバーレイ１３０６６を描写する。第２の協調的オーバーレイ１３０６６は、アンビル１３０５２及びデバイスデッキ１３０５４の組み合わされた引張力ＦＴを示すグラフィックを含むことができる。図１６Ｃの非限定的な態様では、アンビル１３０５２及びデバイスデッキ１３０５４の取り付けにより、第１のデータオーバーレイ１３０６０及び第２のデータオーバーレイ１３０６２が術中ディスプレイによってもはや表示されなくなる。他の態様では、第１のデータオーバーレイ１３０６０及び第２のデータオーバーレイ１３０６２は、デバイスデッキ１３０５４へのアンビル１３０５２の取り付け時に表示されたままであってもよい。

ここで図１６Ｄを参照すると、術中ディスプレイ１３０５０は、ここで、吻合中の結腸の第１のセクション１３０５６及び結腸の第２のセクション１３０５８の圧縮を描写する。外科用ハブは、処置のこの部分の間、結腸の第１のセクション１３０５６及び結腸の第２のセクション１３０５８上の圧縮力ＦＣを決定するように構成することができる。圧縮力は、アンビル１３０５２とデバイスデッキ１３０５４との間の組織の圧縮によって引き起こされる力であり得る。したがって、術中ディスプレイ１３０５０は、圧縮力ＦＣを図式的に描写する第３の協調的オーバーレイ１３０７０を表示することができる。第３の協調的オーバーレイ１３０７０は、結腸の第１のセクション１３０５６及び結腸の第２のセクション１３０５８にわたって良好なシール及び許容可能なステープル形成があることを確実にするために、ユーザによって使用され得る。

図１７は、本開示のいくつかの非限定的な態様による、相互作用する器具の協調的オーバーレイを表示するための方法１３２００を示す。方法１３２００は、外科用システム１、２、５０、５２、外科用ハブ６、５６、５１０４、通信システム６３、拡張システム８３、及びＡＲデバイス６６、８４等の、外科用システム、外科用ハブ、通信システム、拡張システム、ＡＲデバイス、それらの構成要素のいずれか、並びに本明細書に開示される任意の他のデバイス及びシステムの任意の組合せによって実施され得る。

方法１３２００によれば、第１の拡張現実ディスプレイデバイスは、外科用ハブに通信可能に連結され得る（１３２０２）。第１の拡張現実デバイスは、術野の第１の術中ディスプレイを生成することができる（１３２０４）。第１の術中ディスプレイは、第１の外科用器具の動作に基づく第１のデータオーバーレイを表示することができる（１３２０６）。第１の外科用器具は、第２の外科用器具と相互作用することができ（１３２０８）、第１及び第２の外科用器具の相互作用１３２０８に基づいて、第１の術中ディスプレイは、相互作用のインジケータを表示することができる（１３２１０）。

方法１３２００の一態様によれば、第１の外科用器具と第２の外科用器具との相互作用１３２０８は、術野における共通構造と相互作用する第１の外科用器具及び第２の外科用器具を含み得る。別の態様では、第１の術中ディスプレイは、第１の外科用器具の動作に基づく第１のデータオーバーレイと、第２の外科用器具の動作に基づく第２のデータオーバーレイとを同時に表示することができる。更に別の態様では、第１の術中ディスプレイは、第１の外科用器具と第２の外科用器具との相互作用に基づく協調的データオーバーレイを表示することができる。更に別の態様では、第１の外科用器具及び第２の外科用器具と術野における共通構造との相互作用は、第１の外科用器具及び第２の外科用器具と組織との相互作用を含むことができる。更に、第１の術中ディスプレイは、第１の外科用器具及び第２の外科用器具によって組織に印加された組み合わされた力を表示することができる。

方法１３２００の一態様によれば、第２の拡張現実ディスプレイデバイスは、外科用ハブに通信可能に連結され得る。第２の拡張現実ディスプレイデバイスは、術野の第２の術中ディスプレイを生成することができる。第２の術中ディスプレイは、第２の外科用器具の動作に基づく第２のデータオーバーレイを表示することができる。更に、第２の術中ディスプレイは、第１の外科用器具と第２の外科用器具との間の相互作用に基づくインジケータを表示することができる。方法１３２００の別の態様では、外科用ハブは、第１の外科用器具及び第１のディスプレイデバイスを第１のユーザにリンクし、第２の外科用器具及び第２のディスプレイデバイスを第２のユーザにリンクすることができる。

方法１３２００の一態様によれば、外科用ハブは、第１の外科用器具及び第２の外科用器具が互いに近接して操作されることが意図されていることを識別することができる。別の態様では、外科用ハブは、第１の外科用器具及び第２の外科用器具が互いに近接して操作されることが意図されていないことを識別することができる。更に別の態様では、第１の外科用器具の近接センサは、第２の外科用器具を検出することができる。

本明細書に記載される主題の様々な追加的態様は、以下の番号付けされた実施例において説明される。

実施例１：相互作用する器具の協調的オーバーレイを表示するための方法であって、第１の拡張現実ディスプレイデバイスを外科用ハブに通信可能に連結することと、第１の拡張現実ディスプレイデバイスによって、術野の第１の術中ディスプレイを生成することと、第１の術中ディスプレイによって、第１の外科用器具の動作に基づく第１のデータオーバーレイを表示することと、第１の外科用器具を第２の外科用器具と相互作用させることと、第１の術中ディスプレイによって、第１の外科用器具と第２の外科用器具との間の相互作用に基づく相互作用のインジケータを表示することと、を含む、方法。

実施例２：第１の外科用器具を第２の外科用器具と相互作用させることが、第１の外科用器具及び第２の外科用器具を、術野内の共通構造と相互作用させることを含む、実施例１に記載の方法。

実施例３：第１の術中ディスプレイによって、第１の外科用器具の動作に基づく第１のデータオーバーレイと、第２の外科用器具の動作に基づく第２のデータオーバーレイと、を同時に表示することを更に含む、実施例１～２のいずれか１つに記載の方法。

実施例４：第１の術中ディスプレイによって、第１の外科用器具と第２の外科用器具との間の相互作用に基づく協調的データオーバーレイを表示することを更に含む、実施例１～３のいずれか１つに記載の方法。

実施例５：第１の外科用器具及び第２の外科用器具を術野内の共通構造と相互作用させることが、第１の外科用器具及び第２の外科用器具を組織と相互作用させることを含み、協調的データオーバーレイを表示することが、第１の外科用器具及び第２の外科用器具によって組織に印加された、組み合わされた力を表示することを含む、実施例１～４のいずれか１つに記載の方法。

実施例６：第２の拡張現実ディスプレイデバイスを外科用ハブに通信可能に連結することと、第２の拡張現実ディスプレイデバイスによって、術野の第２の術中ディスプレイを生成することと、第２の術中ディスプレイによって、第２の外科用器具の動作に基づく第２のデータオーバーレイを表示することと、第２の術中ディスプレイによって、第１の外科用器具と第２の外科用器具との間の相互作用に基づく相互作用のインジケータを表示することと、を更に含む、実施例１～５のいずれか１つに記載の方法。

実施例７：外科用ハブによって、第１の外科用器具及び第１のディスプレイデバイスを第１のユーザにリンクすることと、外科用ハブによって、第２の外科用器具及び第２のディスプレイデバイスを第２のユーザにリンクすることと、を更に含む、実施例１～６のいずれか１つに記載の方法。

実施例８：外科用ハブによって、第１の外科用器具及び第２の外科用器具が互いに近接して操作されることが意図されていることを決定することを更に含む、実施例１～７のいずれか１つに記載の方法。

実施例９：外科用ハブによって、第１の外科用器具及び第２の外科用器具が互いに近接して操作されることが意図されていないことを決定することを更に含む、実施例１～８のいずれか１つに記載の方法。

実施例１０：第１の外科用器具の近接センサによって、第２の外科用器具を検出することを更に含む、実施例１～９のいずれか１つに記載の方法。

実施例１１：相互作用する器具の協調的オーバーレイを表示するためのシステムであって、術野の第１の術中ディスプレイを生成するように構成された第１の拡張現実ディスプレイデバイスと、第１の外科用器具と、第２の外科用器具と、第１のディスプレイデバイスに通信可能に連結された外科用ハブと、を備え、第１の術中ディスプレイが、第１の外科用器具の動作に基づく第１のデータオーバーレイを表示し、第１の外科用器具と第２の外科用器具との相互作用により、第１の術中ディスプレイが相互作用のインジケータを表示する、システム。

実施例１２：第１の外科用器具及び第２の外科用器具の相互作用が、第１の外科用器具及び第２の外科用器具と、術野における共通構造との相互作用を含む、実施例１１に記載のシステム。

実施例１３：第１の術中ディスプレイが、第１の外科用器具の動作に基づく第１のデータオーバーレイと、第２の外科用器具の動作に基づく第２のデータオーバーレイと、を同時に表示する、実施例１１～１２のいずれか１つに記載のシステム。

実施例１４：第１の外科用器具と第２の外科用器具との相互作用により、第１の術中ディスプレイが、相互作用に基づく協調的データオーバーレイを表示する、実施例１１～１３のいずれか１つに記載のシステム。

実施例１５：共通構造が組織であり、協調的データオーバーレイが、第１の外科用器具及び第２の外科用器具によって組織に印加された、組み合わされた力を含む、実施例１１～１４のいずれか１つに記載のシステム。

実施例１６：術野の第２の術中ディスプレイを生成するように構成された第２の拡張現実ディスプレイデバイスを更に備え、第２のディスプレイデバイスは外科用ハブに通信可能に連結されており、第２の術中ディスプレイが、第２の外科用器具の動作に基づく第２のデータオーバーレイを表示し、第１の外科用器具と第２の外科用器具との相互作用により、第２の術中ディスプレイが、相互作用についてのインジケータを表示する、実施例１１～１５のいずれか１つに記載のシステム。

実施例１７：第１の外科用器具及び第１のディスプレイデバイスが、第１のユーザにリンクされ、第２の外科用器具及び第２のディスプレイデバイスが、第２のユーザにリンクされる、実施例１１～１６のいずれか１つに記載のシステム。

実施例１８：外科用ハブが、第１の外科用器具及び第２の外科用器具が互いに近接して操作されることが意図されていることを識別するように構成されている、実施例１１～１７のいずれか１つに記載のシステム。

実施例１９：外科用ハブが、第１の外科用器具及び第２の外科用器具が互いに近接して操作されることが意図されていないことを識別するように構成されている、実施例１１～１８のいずれか１つに記載のシステム。

実施例２０：第１の外科用器具が、第２の外科用器具を検出するための近接センサを備える、実施例１１～１９のいずれか１つに記載のシステム。

いくつかの形態が示され説明されてきたが、添付の特許請求の範囲をそのような詳細に制限又は限定することは、本出願人が意図するところではない。多くの修正、変形、変更、置換、組み合わせ及びこれらの形態の等価物を実装することができ、本開示の範囲から逸脱することなく当業者により想到されるであろう。更に、記述する形態に関連した各要素の構造は、その要素によって実施される機能を提供するための手段として代替的に説明することができる。また、材料が特定の構成要素に関して開示されているが、他の材料が使用されてもよい。したがって、上記の説明文及び添付の特許請求の範囲は、全てのそのような修正、組み合わせ、及び変形を、開示される形態の範囲に含まれるものとして網羅することを意図としたものである点を理解されたい。添付の特許請求の範囲は、全てのそのような修正、変形、変更、置換、修正、及び等価物を網羅することを意図する。

上記の詳細な説明は、ブロック図、フロー図及び／又は実施例を用いて、装置及び／又はプロセスの様々な形態について記載してきた。そのようなブロック図、フロー図及び／又は実施例が１つ以上の機能及び／又は動作を含む限り、当業者に理解されたいこととして、そのようなブロック図、フロー図及び／又は実施例に含まれる各機能及び／又は動作は、多様なハードウェア、ソフトウェア、ファームウェア又はこれらの事実上の任意の組み合わせによって、個々にかつ／又は集合的に実装することができる。当業者には、本明細書で開示される形態のうちのいくつかの態様の全部又は一部が、１台以上のコンピュータ上で稼働する１つ以上のコンピュータプログラムとして（例えば、１台以上のコンピュータシステム上で稼働する１つ以上のプログラムとして）、１つ以上のプロセッサ上で稼働する１つ以上のプログラムとして（例えば、１つ以上のマイクロプロセッサ上で稼働する１つ以上のプログラムとして）、ファームウェアとして、又はこれらの実質的に任意の組合せとして集積回路上で等価に実装することができ、回路を設計すること、並びに／又はソフトウェア及び／若しくはファームウェアのコードを記述することは、本開示を鑑みれば当業者の技能の範囲内に含まれることが理解されよう。加えて、当業者には理解されることとして、本明細書に記載した主題の機構は、多様な形態で１つ以上のプログラム製品として配布されることが可能であり、本明細書に記載した主題の具体的な形態は、配布を実際に実行するために使用される信号搬送媒体の特定のタイプにかかわらず適用される。

様々な開示された態様を実施するように論理をプログラムするために使用される命令は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、キャッシュ、フラッシュメモリ又は他のストレージなどのシステム内メモリに記憶され得る。更に、命令は、ネットワークを介して、又は他のコンピュータ可読媒体によって配布され得る。したがって、機械可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で情報を記憶又は送信するための任意の機構が挙げられ得るが、フロッピーディスケット、光ディスク、コンパクトディスク、読み出し専用メモリ（ＣＤ－ＲＯＭ）、並びに磁気光学ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、磁気若しくは光カード、フラッシュメモリ又は、電気的、光学的、音響的、若しくは他の形態の伝播信号（例えば、搬送波、赤外線信号、デジタル信号など）を介してインターネットを介した情報の送信に使用される有形機械可読ストレージに限定されない。したがって、非一時的コンピュータ可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で電子命令又は情報を記憶又は送信するのに好適な任意のタイプの有形機械可読媒体が挙げられる。

本明細書の任意の態様で使用されるとき、「制御回路」という用語は、例えば、ハードワイヤード回路、プログラマブル回路（例えば、１つ以上の個々の命令処理コアを含むコンピュータプロセッサ、処理ユニット、プロセッサ、マイクロコントローラ、マイクロコントローラユニット、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブル論理装置（ＰＬＤ）、プログラマブル論理アレイ（ＰＬＡ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ））、状態機械回路、プログラマブル回路によって実行される命令を記憶するファームウェア、及びこれらの任意の組み合わせを指すことができる。制御回路は、集合的に又は個別に、例えば、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、スマートフォンなどの、より大きなシステムの一部を形成する回路として具現化され得る。したがって、本明細書で使用されるとき、「制御回路」は、少なくとも１つの個別の電気回路を有する電気回路、少なくとも１つの集積回路を有する電気回路、少なくとも１つの特定用途向け集積回路を有する電気回路、コンピュータプログラムによって構成された汎用コンピューティング装置（例えば、本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成された汎用コンピュータ、又は本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成されたマイクロプロセッサ）を形成する電気回路、メモリ装置（例えば、ランダムアクセスメモリの形態）を形成する電気回路及び／又は通信装置（例えばモデム、通信スイッチ、又は光－電気設備）を形成する電気回路を含むが、これらに限定されない。当業者は、本明細書で述べた主題が、アナログ形式若しくはデジタル形式、又はこれらのいくつかの組み合わせで実装されてもよいことを認識するであろう。

本明細書の任意の態様で使用されるとき、「論理」という用語は、前述の動作のいずれかを実施するように構成されたアプリケーション、ソフトウェア、ファームウェア、及び／又は回路を指し得る。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に記録されたソフトウェアパッケージ、コード、命令、命令セット、及び／又はデータとして具現化されてもよい。ファームウェアは、メモリ装置内のコード、命令、若しくは命令セット、及び／又はハードコードされた（例えば、不揮発性の）データとして具現化されてもよい。

本明細書の任意の態様で使用されるとき、「構成要素」、「システム」、「モジュール」等という用語は、制御回路、コンピュータ関連エンティティ、ハードウェア、ハードウェアとソフトウェアとの組合せ、ソフトウェア、又は実行中のソフトウェアのいずれかを指すことができる。

本明細書の任意の態様で使用されるとき、「アルゴリズム」とは、所望の結果につながる工程の自己無撞着シーケンスを指し、「工程」とは、必ずしも必要ではないが、記憶、転送、組み合わせ、比較、及び別様に操作されることが可能な電気信号又は磁気信号の形態をとることができる物理量及び／又は論理状態の操作を指す。これらの信号を、ビット、値、要素、記号、文字、用語、番号などとして言及することが一般的な扱い方である。これらの及び類似の用語は、適切な物理量と関連付けられてもよく、また単に、これらの量及び／又は状態に適用される便利な標識である。

ネットワークとしては、パケット交換ネットワークが挙げられ得る。通信デバイスは、選択されたパケット交換ネットワーク通信プロトコルを使用して、互いに通信することができる。１つの例示的な通信プロトコルとしては、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）を使用して通信を可能にすることができるイーサネット通信プロトコルを挙げることができる。イーサネットプロトコルは、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）によって発行された２００８年１２月発行の表題「ＩＥＥＥ８０２．３ Ｓｔａｎｄａｒｄ」、及び／又は本規格の後のバージョンのイーサネット規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信デバイスは、Ｘ．２５通信プロトコルを使用して互いに通信することができる。Ｘ．２５通信プロトコルは、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ－Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（ＩＴＵ－Ｔ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信デバイスは、フレームリレー通信プロトコルを使用して互いに通信することができる。フレームリレー通信プロトコルは、Ｃｏｎｓｕｌｔａｔｉｖｅ Ｃｏｍｍｉｔｔｅｅ ｆｏｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｇｒａｐｈ ａｎｄ Ｔｅｌｅｐｈｏｎｅ（ＣＣＩＴＴ）及び／又はｔｈｅ Ａｍｅｒｉｃａｎ Ｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｓ Ｉｎｓｔｉｔｕｔｅ（ＡＮＳＩ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、送受信機は、非同期転送モード（ＡＴＭ）通信プロトコルを使用して互いに通信することが可能であり得る。ＡＴＭ通信プロトコルは、ＡＴＭ Ｆｏｒｕｍによって「ＡＴＭ－ＭＰＬＳ Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｗｏｒｋｉｎｇ ２．０」という題で２００１年８月に公開されたＡＴＭ規格及び／又は本規格の後のバージョンに準拠するか、又は互換性があり得る。当然のことながら、異なる及び／又は後に開発されたコネクション型ネットワーク通信プロトコルは、本明細書で等しく企図される。

別段の明確な定めがない限り、前述の開示から明らかなように、前述の開示全体を通じて、「処理すること（processing）」、「計算すること（computing）」、「算出すること（calculating）」、「判定すること（determining）」、「表示すること（displaying）」などの用語を使用する考察は、コンピュータシステムのレジスタ及びメモリ内で物理（電子的）量として表現されるデータを、コンピュータシステムのメモリ若しくはレジスタ又は他のそのような情報記憶、伝送、若しくはディスプレイデバイス内で物理量として同様に表現される他のデータへと操作し変換する、コンピュータシステム又は類似の電子計算装置のアクション及び処理を指していることが理解されよう。

１つ以上の構成要素が、本明細書中で、「ように構成されている（configured to）」、「ように構成可能である（configurable to）」、「動作可能である／ように動作する（operable/operative to）」、「適合される／適合可能である（adapted/adaptable）」、「ことが可能である（able to）」、「準拠可能である／準拠する（conformable/conformed to）」などと言及され得る。当業者は、「ように構成されている」は、一般に、文脈上他の意味に解釈すべき場合を除き、アクティブ状態の構成要素及び／又は非アクティブ状態の構成要素及び／又はスタンバイ状態の構成要素を包含し得ることを理解するであろう。

「近位」及び「遠位」という用語は、本明細書では、外科用器具のハンドル部分を操作する臨床医を基準として使用される。「近位」という用語は、臨床医に最も近い部分を指し、「遠位」という用語は、臨床医から離れた位置にある部分を指す。便宜上及び明確性のために、「垂直」、「水平」、「上」、及び「下」などの空間的用語が、本明細書において図面に対して使用され得ることが更に理解されよう。しかしながら、外科用器具は、多くの向き及び位置で使用されるものであり、これらの用語は限定的及び／又は絶対的であることを意図したものではない。

当業者は、一般に、本明細書で使用され、かつ特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）で使用される用語は、概して「オープンな」用語として意図されるものである（例えば、「含む（including）」という用語は、「～を含むが、それらに限定されない（including but not limited to）」と解釈されるべきであり、「有する（having）」という用語は「～を少なくとも有する（having at least）」と解釈されるべきであり、「含む（includes）」という用語は「～を含むが、それらに限定されない（includes but is not limited to）」と解釈されるべきであるなど）ことを理解するであろう。更に、導入された請求項記載（introduced claim recitation）において特定の数が意図される場合、かかる意図は当該請求項中に明確に記載され、またかかる記載がない場合は、かかる意図は存在しないことが、当業者には理解されるであろう。例えば、理解を助けるものとして、後続の添付の特許請求の範囲は、「少なくとも１つの（at least one）」及び「１つ以上の（one or more）」という導入句を、請求項記載を導入するために含むことがある。しかしながら、かかる句の使用は、「ａ」又は「ａｎ」という不定冠詞によって請求項記載を導入した場合に、たとえ同一の請求項内に「１つ以上の」又は「少なくとも１つの」といった導入句及び「ａ」又は「ａｎ」という不定冠詞が含まれる場合であっても、かかる導入された請求項記載を含むいかなる特定の請求項も、かかる記載事項を１つのみ含む請求項に限定されると示唆されるものと解釈されるべきではない（例えば、「ａ」及び／又は「ａｎ」は通常、「少なくとも１つの」又は「１つ以上の」を意味するものと解釈されるべきである）。定冠詞を使用して請求項記載を導入する場合にも、同様のことが当てはまる。

加えて、導入された請求項記載において特定の数が明示されている場合であっても、かかる記載は、典型的には、少なくとも記載された数を意味するものと解釈されるべきであることが、当業者には認識されるであろう（例えば、他に修飾語のない、単なる「２つの記載事項」という記載がある場合、一般的に、少なくとも２つの記載事項、又は２つ以上の記載事項を意味する）。更に、「Ａ、Ｂ及びＣなどのうちの少なくとも１つ」に類する表記が使用される場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。「Ａ、Ｂ又はＣなどのうちの少なくとも１つ」に類する表記が用いられる場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、又はＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。更に、典型的には、２つ以上の選択的な用語を表すあらゆる選言的な語及び／又は句は、文脈上他の意味に解釈すべき場合を除いて、明細書内であろうと、請求の範囲内であろうと、あるいは図面内であろうと、それら用語のうちの１つ、それらの用語のうちのいずれか、又はそれらの用語の両方を含む可能性を意図すると理解されるべきであることが、当業者には理解されよう。例えば、「Ａ又はＢ」という句は、典型的には、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むものと理解されよう。

添付の特許請求の範囲に関して、当業者は、本明細書における引用した動作は一般に、任意の順序で実施され得ることを理解するであろう。また、様々な動作のフロー図がシーケンス（複数可）で示されているが、様々な動作は、示されたもの以外の順序で実施されてもよく、又は同時に実施されてもよいことが理解されるべきである。かかる代替の順序付けの例は、文脈上他の意味に解釈すべき場合を除いて、重複、交互配置、割り込み、再順序付け、増加的、予備的、追加的、同時、逆又は他の異なる順序付けを含んでもよい。更に、「～に応答する（responsive to）」、「～に関連する（related to）」といった用語、又は他の過去時制の形容詞は、一般に、文脈上他の意味に解釈すべき場合を除き、かかる変化形を除外することが意図されるものではない。

「一態様」、「態様」、「例示」、「一例示」などへの任意の参照は、その態様に関連して記載される特定の特徴部、構造又は特性が少なくとも１つの態様に含まれると意味することは特記に値する。したがって、本明細書の全体を通じて様々な場所に見られる語句「一態様では」、「態様では」、「例示では」及び「一例示では」は、必ずしも全てが同じ態様を指すものではない。更に、特定の特徴、構造、又は特性は、１つ以上の態様において任意の好適な様態で組み合わせることができる。

本明細書で参照され、かつ／又は任意の出願データシートに列挙される任意の特許出願、特許、非特許刊行物、又は他の開示資料は、組み込まれる資料が本明細書と矛盾しない範囲で、参照により本明細書に組み込まれる。それ自体、また必要な範囲で、本明細書に明瞭に記載される開示は、参照により本明細書に組み込まれるあらゆる矛盾する記載に優先するものとする。参照により本明細書に組み込まれると言及されているが、現行の定義、見解、又は本明細書に記載される他の開示内容と矛盾するあらゆる内容、又はそれらの部分は、組み込まれた内容と現行の開示内容との間に矛盾が生じない範囲においてのみ、組み込まれるものとする。

要約すると、本明細書に記載した構想を用いる結果として得られる多くの利益が記載されてきた。１つ以上の形態の上述の記載は、例示及び説明を目的として提示されているものである。包括的であることも、開示された厳密な形態に限定することも意図されていない。上記の教示を鑑みて、修正又は変形が可能である。１つ以上の形態は、原理及び実際の応用について例示し、それによって、様々な形態を様々な修正例とともに、想到される特定の用途に適するものとして当業者が利用することを可能にするようにするために、選択及び記載されたものである。本明細書とともに提示される特許請求の範囲が全体的な範囲を定義することが意図される。

〔実施の態様〕
（１） 相互作用する器具の協調的オーバーレイを表示するための方法であって、
第１の拡張現実ディスプレイデバイスを外科用ハブに通信可能に連結することと、
前記第１の拡張現実ディスプレイデバイスによって、術野の第１の術中ディスプレイを生成することと、
前記第１の術中ディスプレイによって、第１の外科用器具の動作に基づく第１のデータオーバーレイを表示することと、
前記第１の外科用器具を第２の外科用器具と相互作用させることと、
前記第１の術中ディスプレイによって、前記第１の外科用器具と前記第２の外科用器具との間の前記相互作用に基づく前記相互作用のインジケータを表示することと、を含む、方法。
（２） 前記第１の外科用器具を第２の外科用器具と相互作用させることが、
前記第１の外科用器具及び前記第２の外科用器具を、前記術野内の共通構造と相互作用させることを含む、実施態様１に記載の方法。
（３） 前記第１の術中ディスプレイによって、前記第１の外科用器具の動作に基づく前記第１のデータオーバーレイと、前記第２の外科用器具の動作に基づく第２のデータオーバーレイと、を同時に表示することを更に含む、実施態様２に記載の方法。
（４） 前記第１の術中ディスプレイによって、前記第１の外科用器具と前記第２の外科用器具との間の前記相互作用に基づく協調的データオーバーレイを表示することを更に含む、実施態様３に記載の方法。
（５） 前記第１の外科用器具及び前記第２の外科用器具を前記術野における前記共通構造と相互作用させることが、前記第１の外科用器具及び前記第２の外科用器具を組織と相互作用させることを含み、
前記協調的データオーバーレイを表示することが、前記第１の外科用器具及び前記第２の外科用器具によって前記組織に印加された、組み合わされた力を表示することを含む、実施態様４に記載の方法。

（６） 第２の拡張現実ディスプレイデバイスを外科用ハブに通信可能に連結することと、
前記第２の拡張現実ディスプレイデバイスによって、前記術野の第２の術中ディスプレイを生成することと、
前記第２の術中ディスプレイによって、前記第２の外科用器具の動作に基づく第２のデータオーバーレイを表示することと、
前記第２の術中ディスプレイによって、前記第１の外科用器具と前記第２の外科用器具との間の前記相互作用に基づく前記相互作用のインジケータを表示することと、を更に含む、実施態様１に記載の方法。
（７） 前記外科用ハブによって、前記第１の外科用器具及び前記第１のディスプレイデバイスを第１のユーザにリンクすることと、
前記外科用ハブによって、前記第２の外科用器具及び前記第２のディスプレイデバイスを第２のユーザにリンクすることと、を更に含む、実施態様６に記載の方法。
（８） 前記外科用ハブによって、前記第１の外科用器具及び前記第２の外科用器具が互いに近接して操作されることが意図されていることを決定することを更に含む、実施態様１に記載の方法。
（９） 前記外科用ハブによって、前記第１の外科用器具及び前記第２の外科用器具が互いに近接して操作されることが意図されていないことを決定することを更に含む、実施態様１に記載の方法。
（１０） 前記第１の外科用器具の近接センサによって、前記第２の外科用器具を検出することを更に含む、実施態様１に記載の方法。

（１１） 相互作用する器具の協調的オーバーレイを表示するためのシステムであって、
術野の第１の術中ディスプレイを生成するように構成された第１の拡張現実ディスプレイデバイスと、
第１の外科用器具と、
第２の外科用器具と、
前記第１のディスプレイデバイスに通信可能に連結された外科用ハブと、を備え、
前記第１の術中ディスプレイが、前記第１の外科用器具の動作に基づく第１のデータオーバーレイを表示し、
前記第１の外科用器具と前記第２の外科用器具との相互作用により、前記第１の術中ディスプレイが前記相互作用のインジケータを表示する、システム。
（１２） 前記第１の外科用器具及び前記第２の外科用器具の前記相互作用が、前記第１の外科用器具及び前記第２の外科用器具と、前記術野における共通構造との相互作用を含む、実施態様１１に記載のシステム。
（１３） 前記第１の術中ディスプレイが、前記第１の外科用器具の動作に基づく前記第１のデータオーバーレイと、前記第２の外科用器具の動作に基づく第２のデータオーバーレイと、を同時に表示する、実施態様１２に記載のシステム。
（１４） 前記第１の外科用器具と前記第２の外科用器具との前記相互作用により、前記第１の術中ディスプレイが、前記相互作用に基づく協調的データオーバーレイを表示する、実施態様１３に記載のシステム。
（１５） 前記共通構造が組織であり、
前記協調的データオーバーレイが、前記第１の外科用器具及び前記第２の外科用器具によって前記組織に印加された、組み合わされた力を含む、実施態様１４に記載のシステム。

（１６） 術野の第２の術中ディスプレイを生成するように構成された第２の拡張現実ディスプレイデバイスを更に備え、前記第２のディスプレイデバイスは前記外科用ハブに通信可能に連結されており、
前記第２の術中ディスプレイが、前記第２の外科用器具の動作に基づく第２のデータオーバーレイを表示し、
前記第１の外科用器具と前記第２の外科用器具との前記相互作用により、前記第２の術中ディスプレイが、前記相互作用についてのインジケータを表示する、実施態様１１に記載のシステム。
（１７） 前記第１の外科用器具及び前記第１のディスプレイデバイスが、第１のユーザにリンクされ、
前記第２の外科用器具及び前記第２のディスプレイデバイスが、第２のユーザにリンクされる、実施態様１６に記載のシステム。
（１８） 前記外科用ハブが、前記第１の外科用器具及び前記第２の外科用器具が互いに近接して操作されることが意図されていることを識別するように構成されている、実施態様１１に記載のシステム。
（１９） 前記外科用ハブが、前記第１の外科用器具及び前記第２の外科用器具が互いに近接して操作されることが意図されていないことを識別するように構成されている、実施態様１１に記載のシステム。
（２０） 前記第１の外科用器具が、前記第２の外科用器具を検出するための近接センサを含む、実施態様１１に記載のシステム。

Claims (20)

1. 相互作用する器具の協調的オーバーレイを表示するための方法であって、
   第１の拡張現実ディスプレイデバイスを外科用ハブに通信可能に連結することと、
   前記第１の拡張現実ディスプレイデバイスによって、術野の第１の術中ディスプレイを生成することと、
   前記第１の術中ディスプレイによって、第１の外科用器具の動作に基づく第１のデータオーバーレイを表示することと、
   前記第１の外科用器具を第２の外科用器具と相互作用させることと、
   前記第１の術中ディスプレイによって、前記第１の外科用器具と前記第２の外科用器具との間の前記相互作用に基づく前記相互作用のインジケータを表示することと、を含む、方法。
2. 前記第１の外科用器具を第２の外科用器具と相互作用させることが、
   前記第１の外科用器具及び前記第２の外科用器具を、前記術野内の共通構造と相互作用させることを含む、請求項１に記載の方法。
3. 前記第１の術中ディスプレイによって、前記第１の外科用器具の動作に基づく前記第１のデータオーバーレイと、前記第２の外科用器具の動作に基づく第２のデータオーバーレイと、を同時に表示することを更に含む、請求項２に記載の方法。
4. 前記第１の術中ディスプレイによって、前記第１の外科用器具と前記第２の外科用器具との間の前記相互作用に基づく協調的データオーバーレイを表示することを更に含む、請求項３に記載の方法。
5. 前記第１の外科用器具及び前記第２の外科用器具を前記術野における前記共通構造と相互作用させることが、前記第１の外科用器具及び前記第２の外科用器具を組織と相互作用させることを含み、
   前記協調的データオーバーレイを表示することが、前記第１の外科用器具及び前記第２の外科用器具によって前記組織に印加された、組み合わされた力を表示することを含む、請求項４に記載の方法。
6. 第２の拡張現実ディスプレイデバイスを外科用ハブに通信可能に連結することと、
   前記第２の拡張現実ディスプレイデバイスによって、前記術野の第２の術中ディスプレイを生成することと、
   前記第２の術中ディスプレイによって、前記第２の外科用器具の動作に基づく第２のデータオーバーレイを表示することと、
   前記第２の術中ディスプレイによって、前記第１の外科用器具と前記第２の外科用器具との間の前記相互作用に基づく前記相互作用のインジケータを表示することと、を更に含む、請求項１に記載の方法。
7. 前記外科用ハブによって、前記第１の外科用器具及び前記第１のディスプレイデバイスを第１のユーザにリンクすることと、
   前記外科用ハブによって、前記第２の外科用器具及び前記第２のディスプレイデバイスを第２のユーザにリンクすることと、を更に含む、請求項６に記載の方法。
8. 前記外科用ハブによって、前記第１の外科用器具及び前記第２の外科用器具が互いに近接して操作されることが意図されていることを決定することを更に含む、請求項１に記載の方法。
9. 前記外科用ハブによって、前記第１の外科用器具及び前記第２の外科用器具が互いに近接して操作されることが意図されていないことを決定することを更に含む、請求項１に記載の方法。
10. 前記第１の外科用器具の近接センサによって、前記第２の外科用器具を検出することを更に含む、請求項１に記載の方法。
11. 相互作用する器具の協調的オーバーレイを表示するためのシステムであって、
    術野の第１の術中ディスプレイを生成するように構成された第１の拡張現実ディスプレイデバイスと、
    第１の外科用器具と、
    第２の外科用器具と、
    前記第１のディスプレイデバイスに通信可能に連結された外科用ハブと、を備え、
    前記第１の術中ディスプレイが、前記第１の外科用器具の動作に基づく第１のデータオーバーレイを表示し、
    前記第１の外科用器具と前記第２の外科用器具との相互作用により、前記第１の術中ディスプレイが前記相互作用のインジケータを表示する、システム。
12. 前記第１の外科用器具及び前記第２の外科用器具の前記相互作用が、前記第１の外科用器具及び前記第２の外科用器具と、前記術野における共通構造との相互作用を含む、請求項１１に記載のシステム。
13. 前記第１の術中ディスプレイが、前記第１の外科用器具の動作に基づく前記第１のデータオーバーレイと、前記第２の外科用器具の動作に基づく第２のデータオーバーレイと、を同時に表示する、請求項１２に記載のシステム。
14. 前記第１の外科用器具と前記第２の外科用器具との前記相互作用により、前記第１の術中ディスプレイが、前記相互作用に基づく協調的データオーバーレイを表示する、請求項１３に記載のシステム。
15. 前記共通構造が組織であり、
    前記協調的データオーバーレイが、前記第１の外科用器具及び前記第２の外科用器具によって前記組織に印加された、組み合わされた力を含む、請求項１４に記載のシステム。
16. 術野の第２の術中ディスプレイを生成するように構成された第２の拡張現実ディスプレイデバイスを更に備え、前記第２のディスプレイデバイスは前記外科用ハブに通信可能に連結されており、
    前記第２の術中ディスプレイが、前記第２の外科用器具の動作に基づく第２のデータオーバーレイを表示し、
    前記第１の外科用器具と前記第２の外科用器具との前記相互作用により、前記第２の術中ディスプレイが、前記相互作用についてのインジケータを表示する、請求項１１に記載のシステム。
17. 前記第１の外科用器具及び前記第１のディスプレイデバイスが、第１のユーザにリンクされ、
    前記第２の外科用器具及び前記第２のディスプレイデバイスが、第２のユーザにリンクされる、請求項１６に記載のシステム。
18. 前記外科用ハブが、前記第１の外科用器具及び前記第２の外科用器具が互いに近接して操作されることが意図されていることを識別するように構成されている、請求項１１に記載のシステム。
19. 前記外科用ハブが、前記第１の外科用器具及び前記第２の外科用器具が互いに近接して操作されることが意図されていないことを識別するように構成されている、請求項１１に記載のシステム。
20. 前記第１の外科用器具が、前記第２の外科用器具を検出するための近接センサを含む、請求項１１に記載のシステム。

Images