JP2024514640A - 画面上及び画面外で発生する混合された要素及びアクションを表示するレンダリングされた要素で直接視覚化される混合 - Google Patents

Abstract

複合現実可視化のための装置、システム、及び方法が、本明細書に開示される。一態様では、複合現実可視化のための方法は、第１の可視化システムの第１のカメラによって、術野内のオブジェクトの画像を捕捉することであって、オブジェクトの第１の部分が第１のカメラの視野の外側にある、ことと、追跡システムによって、オブジェクトの第２の部分の位置を追跡することと、外科用ハブによって、オブジェクトの第２の部分の追跡された位置に基づいてオブジェクトの属性を判定することであって、オブジェクトの属性がカメラの視野の外側のオブジェクトの第１の部分に関連する、ことと、拡張現実ディスプレイデバイスによって、術野内のオブジェクトの捕捉された画像と、オブジェクトの属性に基づくグラフィックとを表示することと、を含む。

Description

（関連出願の相互参照）
本出願は、米国特許法第１１９条（ｅ）の下で、２０２１年４月１４日に出願された「ＨＥＡＤＳ ＵＰ ＤＩＳＰＬＡＹ」と題する米国仮特許出願第６３／１７４，６７４号、及び２０２１年１１月３０日に出願された「ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国仮特許出願第６３／２８４，３２６号に対する利益を主張するものであり、これらの各々の開示は、その全体が参照により本明細書に組み込まれる。

本開示は、外科的処置中に拡張現実インタラクティブ体験を提供するための装置、システム、及び方法に関する。外科的処置中に、実世界に存在するオブジェクトが、時には視覚、聴覚、触覚、体性感覚、及び嗅覚を含む複数の感覚モダリティにわたって、コンピュータ生成された知覚情報をオーバーレイすることによって強化される、実世界環境の拡張現実インタラクティブ体験を提供することが望ましいであろう。本開示の文脈では、術野並びに術野に現れる外科用器具及び他のオブジェクトの画像は、コンピュータ生成された視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚情報を、術野並びに術野に現れる器具又は他のオブジェクトの実世界画像上にオーバーレイすることによって強化される。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。

実世界の外科用器具は、エネルギー、ステープラ、又はエネルギーとステープラとの組み合わせを含む、種々の外科用デバイスを含む。エネルギーベースの医療デバイスは、限定ではないが、とりわけ、無線周波数（ＲＦ）ベースの単極及び双極電気外科用器具、超音波外科用器具、ＲＦ電気外科用器具と超音波器具との組み合わせ、ＲＦ電気外科用ステープラと機械的ステープラとの組み合わせを含む。外科用ステープラデバイスは、肥満、胸部、結腸直腸、産婦人科、泌尿器科、及び一般外科を含む、種々の外科的処置において組織を切断及びステープル留めするために使用される外科用器具である。

様々な態様では、本開示は、外科用システムの複合現実可視化のための方法を提供する。いくつかの態様では、本方法は、第１の可視化システムの第１のカメラによって、術野内のオブジェクトの画像を捕捉することであって、オブジェクトの第１の部分が第１のカメラの視野の外側にある、ことと、追跡システムによって、オブジェクトの第２の部分の位置を追跡することと、外科用ハブによって、オブジェクトの第２の部分の追跡された位置に基づいてオブジェクトの属性を判定することであって、オブジェクトの属性がカメラの視野の外側のオブジェクトの第１の部分に関連する、ことと、拡張現実ディスプレイデバイスによって、術野内のオブジェクトの捕捉された画像と、オブジェクトの属性に基づくグラフィックとを表示することと、を含む。一態様では、オブジェクトは、外科用器具、患者組織、若しくはユーザ、又はそれらの組み合わせを含む。

様々な態様において、本開示は、複合現実可視化のための外科用システムを提供する。いくつかの態様では、本システムは、術野内のオブジェクトの画像を捕捉するように構成された第１のカメラを備える第１の可視化システムであって、オブジェクトの第１の部分がカメラの視野の外側にある、第１の可視化システムと、オブジェクトの第２の部分の位置を追跡するように構成された第１の追跡システムと、オブジェクトの第２の部分の追跡された位置に基づいてオブジェクトの属性を判定するように構成された外科用ハブであって、オブジェクトの属性がカメラの視野の外側のオブジェクトの第１の部分に関連する、外科用ハブと、術野内のオブジェクトの捕捉された画像と、オブジェクトの属性に基づくグラフィックとを表示するように構成された拡張現実ディスプレイデバイスと、を備える。一態様では、オブジェクトは、外科用器具、患者組織、ユーザ、又はそれらの組み合わせを含む。

構成及び操作方法の両方に関して本明細書で説明する様々な態様は、それらの更なる目的及び利点とともに、以下の説明を以下の添付図面と併せて参照することで最良に理解され得る。
本開示の一態様による、コンピュータ実装インタラクティブ外科用システムのブロック図である。 本開示の一態様による、手術室内で外科的処置を実行するために使用される外科用システムの図である。 本開示の一態様による、可視化システム、ロボットシステム、及びインテリジェント器具とペアリングされた外科用ハブである。 本開示の一態様による、医療施設の１つ以上の手術現場、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置しているモジュール式デバイスをクラウドに接続するように構成されたモジュール式通信ハブを含む外科用データネットワークを示す図である。 本開示の一態様による、コンピュータ実装インタラクティブ外科用システムを示す図である。 本開示の一態様による、モジュール式制御タワーに連結された複数のモジュールを含む外科用ハブを示す図である。 本開示の一態様による、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実（ＡＲ）システムを示す図である。 本開示の一態様による、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実（ＡＲ）システムを示す図である。 本開示の一態様による、外科用ハブにデータを通信するために外科医によって装着される拡張現実（ＡＲ）デバイスを示す図である。 本開示の一態様による、拡張現実ディスプレイを使用して外科用器具情報を拡張するためのシステムを示す図である。 本開示の一態様による、状況認識外科的処置のタイムラインを示す図である。 本開示の一態様による、手術室内のオブジェクトを追跡するように構成された追跡システムを含む外科用システムを示す図である。 本開示の一態様による、手術室内の図１２の追跡システムの例示的な実装形態の概略側面図である。 本開示の一態様による、手術室マッピングモジュールによって生成される例示的な手術室マップの概略平面図である。 本開示の一態様による、追跡システムによって生成されたデータに基づいて外科用ハブによって判定される例示的な追跡されたオブジェクト相互作用の表である。 は、本開示の一態様による、術野内の外科用器具の画像と、視野の外側の外科用器具の一部を表すグラフィックとを含む例示的な術中ディスプレイを示す図である。 は、本開示の一態様による、術野内の外科用器具の画像と、視野の外側の外科用器具の一部を表すグラフィックとを含む例示的な術中ディスプレイを示す図である。 は、本開示の一態様による、外科医がエンドカッタを使用して胃組織に切断線を作るときの胃組織の画像を含む例示的な術中ディスプレイを示す図である。 は、本開示の一態様による、外科医がエンドカッタを使用して胃組織に切断線を作るときの胃組織の画像を含む例示的な術中ディスプレイを示す図である。 本開示の一態様による、外科用システムの複合現実可視化の方法を示す図である。

複数の図面を通して、対応する参照符号は対応する部分を示す。本明細書に記載された例示は、様々な開示された実施形態を一形態で示しており、そのような例示は、その範囲を限定するものとして決して解釈されるべきではない。

本出願の出願人は、各開示の全体が参照により本明細書に組み込まれる、同時に出願された以下の米国特許出願を所有する。
・「ＭＥＴＨＯＤ ＦＯＲ ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題された米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１／２１０１２０－１Ｍ、
・「Ｕｔｉｌｉｚａｔｉｏｎ ｏｆ ｓｕｒｇｉｃａｌ ｄａｔａ ｖａｌｕｅｓ ａｎｄ ｓｉｔｕａｔｉｏｎａｌ ａｗａｒｅｎｅｓｓ ｔｏ ｃｏｎｔｒｏｌ ｔｈｅ ｏｖｅｒｌａｙ ｉｎ ｓｕｒｇｉｃａｌ ｆｉｅｌｄ ｖｉｅｗ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ２／２１０１２０－２、
・「ＳＥＬＥＣＴＩＶＥ ＡＮＤ ＡＤＪＵＳＴＡＢＬＥ ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＯＶＥＲＬＡＹ ＩＮ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ３／２１０１２０－３、
・「ＲＩＳＫ ＢＡＳＥＤ ＰＲＩＯＲＩＴＩＺＡＴＩＯＮ ＯＦ ＤＩＳＰＬＡＹ ＡＳＰＥＣＴＳ ＩＮ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ４／２１０１２０－４、
・「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＳＵＲＧＩＣＡＬ ＤＡＴＡ ＯＶＥＲＬＡＹ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ５／２１０１２０－５、
・「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＨＡＮＧＩＮＧ ＤＩＳＰＬＡＹ ＯＶＥＲＬＡＹ ＯＦ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ ＢＡＳＥＤ ＯＮ ＴＲＩＧＧＥＲＩＮＧ ＥＶＥＮＴＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ６／２１０１２０－６、
・「ＣＵＳＴＯＭＩＺＡＴＩＯＮ ＯＦ ＯＶＥＲＬＡＩＤ ＤＡＴＡ ＡＮＤ ＣＯＮＦＩＧＵＲＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ７／２１０１２０－７、
・「ＩＮＤＩＣＡＴＩＯＮ ＯＦ ＴＨＥ ＣＯＵＰＬＥ ＰＡＩＲ ＯＦ ＲＥＭＯＴＥ ＣＯＮＴＲＯＬＳ ＷＩＴＨ ＲＥＭＯＴＥ ＤＥＶＩＣＥＳ ＦＵＮＣＴＩＯＮＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ８／２１０１２０－８、
・「ＣＯＯＰＥＲＡＴＩＶＥ ＯＶＥＲＬＡＹＳ ＯＦ ＩＮＴＥＲＡＣＴＩＮＧ ＩＮＳＴＲＵＭＥＮＴＳ ＷＨＩＣＨ ＲＥＳＵＬＴ ＩＮ ＢＯＴＨ ＯＶＥＲＬＡＹＳ ＢＥＩＮＧ ＥＦＦＥＣＴＥＤ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ９／２１０１２０－９、
・「ＡＮＴＩＣＩＰＡＴＩＯＮ ＯＦ ＩＮＴＥＲＡＣＴＩＶＥ ＵＴＩＬＩＺＡＴＩＯＮ ＯＦ ＣＯＭＭＯＮ ＤＡＴＡ ＯＶＥＲＬＡＹＳ ＢＹ ＤＩＦＦＥＲＥＮＴ ＵＳＥＲＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１０／２１０１２０－１０、
・「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＴＲＡＣＫＩＮＧ Ａ ＰＯＲＴＩＯＮ ＯＦ ＴＨＥ ＵＳＥＲ ＡＳ Ａ ＰＲＯＸＹ ＦＯＲ ＮＯＮ－ＭＯＮＩＴＯＲＥＤ ＩＮＳＴＲＵＭＥＮＴ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１２／２１０１２０－１２、
・「ＵＴＩＬＩＺＩＮＧ ＣＯＮＴＥＸＴＵＡＬ ＰＡＲＡＭＥＴＥＲＳ ＯＦ ＯＮＥ ＯＲ ＭＯＲＥ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥＳ ＴＯ ＰＲＥＤＩＣＴ Ａ ＦＲＥＱＵＥＮＣＹ ＩＮＴＥＲＶＡＬ ＦＯＲ ＤＩＳＰＬＡＹＩＮＧ ＳＵＲＧＩＣＡＬ ＩＮＦＯＲＭＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１３／２１０１２０－１３、
・「ＣＯＯＰＥＲＡＴＩＯＮ ＡＭＯＮＧ ＭＵＬＴＩＰＬＥ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ ＴＯ ＰＲＯＶＩＤＥ Ａ ＨＥＡＬＴＨＣＡＲＥ ＵＳＥＲ ＣＵＳＴＯＭＩＺＥＤ ＩＮＦＯＲＭＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１４／２１０１２０－１４、
・「ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１５／２１０１２０－１５、
・「ＡＤＡＰＴＡＴＩＯＮ ＡＮＤ ＡＤＪＵＳＴＡＢＩＬＩＴＹ ＯＲ ＯＶＥＲＬＡＩＤ ＩＮＳＴＲＵＭＥＮＴ ＩＮＦＯＲＭＡＴＩＯＮ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１６／２１０１２０－１６、及び、
・「ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＦＥＥＤＢＡＣＫ ＳＹＳＴＥＭＳ ＴＨＡＴ ＣＯＯＰＥＲＡＴＥ ＴＯ ＩＮＣＲＥＡＳＥ ＥＦＦＩＣＩＥＮＴ ＰＥＲＣＥＰＴＩＯＮ ＯＦ ＣＯＭＰＬＥＸ ＤＡＴＡ ＦＥＥＤＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１７／２１０１２０－１７。

本出願の出願人は、各開示の全体が参照により本明細書に組み込まれる、以下の米国特許出願を所有する。
・「ＭＥＴＨＯＤ ＯＦ ＣＯＭＰＲＥＳＳＩＮＧ ＴＩＳＳＵＥ ＷＩＴＨＩＮ Ａ ＳＴＡＰＬＩＮＧ ＤＥＶＩＣＥ ＡＮＤ ＳＩＭＵＬＴＡＮＥＯＵＳＬＹ ＤＩＳＰＬＡＹＩＮＧ ＴＨＥ ＬＯＣＡＴＩＯＮ ＯＦ ＴＨＥ ＴＩＳＳＵＥ ＷＩＴＨＩＮ ＴＨＥ ＪＡＷＳ」と題する米国特許出願第１６／２０９，４２３号（現在は、米国特許出願公開第２０１９／０２００９８１－Ａ１号）、
・「ＭＥＴＨＯＤ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＳＭＡＲＴ ＥＮＥＲＧＹ ＤＥＶＩＣＥＳ」と題する米国特許出願第１６／２０９，４５３号（現在は、米国特許出願公開第２０１９／０２０１０４６－Ａ１号）。

外科用装置及び発生器の様々な態様を詳細に説明する前に、例解的な実施例は、適用又は用途において、添付の図面及び説明において例解される部品の構造及び配置の詳細に限定されないことに留意されたい。例示の実施例は、他の態様、変形形態、及び修正形態で実装されるか、又はそれらに組み込まれてもよく、様々な方法で実施又は実行されてもよい。更に、特に明記しない限り、本明細書で用いられる用語及び表現は、読者の便宜のために例示の実施例を説明する目的で選択されたものであり、それらを限定するためのものではない。更に、以下に記述される態様、態様の表現、及び／又は実施例のうち１つ以上を、以下に記述される他の態様、態様の表現、及び／又は実施例のうち任意の１つ以上と組み合わせることができるものと理解されたい。

様々な態様は、様々なエネルギー及び外科用ステープラベースの医療デバイスのための外科用システムのための画面上表示を対象とする。エネルギーベースの医療デバイスは、限定ではないが、とりわけ、無線周波数（ＲＦ）ベースの単極及び双極電気外科用器具、超音波外科用器具、ＲＦ電気外科用器具と超音波器具との組み合わせ、ＲＦ電気外科用ステープラと機械的ステープラとの組み合わせを含む。外科用ステープラデバイスは、電気外科用デバイス及び／又は超音波デバイスと組み合わされた外科用ステープラを含む。超音波外科用デバイスの態様は、例えば、外科的処置中に組織を横切開及び／又は凝固するように構成され得る。電気外科用デバイスの態様は、例えば、外科的処置中に、組織を横切開、凝固、封止、溶接及び／又は乾燥させるように構成され得る。外科用ステープラデバイスの態様は、外科処置中に組織を横切開してステープル留めするように構成することができ、いくつかの態様では、外科用ステープラデバイスは、外科的処置中に組織にＲＦエネルギーを送達するように構成することができる。電気外科用デバイスは、治療用及び／又は非治療用ＲＦエネルギーを組織に送達するように構成されている。外科用ステープラ、電気外科用デバイス、及び超音波デバイスの要素は、単一の外科用器具において組み合わせて使用され得る。

様々な態様では、本開示は、外科的処置中にＯＲチームにリアルタイム情報の画面上表示を提供する。本開示の様々な態様によれば、様々な視覚情報フィードバックを画面上でＯＲチームに表示するために、多くの新しい固有の画面上表示が提供される。本開示によれば、視覚情報は、音を伴う又は伴わない様々な視覚媒体のうちの１つ以上を含むことができる。一般に、視覚情報は、静止写真、動画写真、ビデオ又はオーディオ記録、グラフィックアート、視覚補助、モデル、表示、視覚表現サービス、及びサポートプロセスを含む。視覚情報は、例えば、とりわけ、一次ＯＲスクリーン、エネルギー又は外科用ステープラデバイス自体、タブレット、拡張現実眼鏡等の任意の数の表示オプション上で通信することができる。

様々な態様では、本開示は、ＯＲチームをあまりに多くの視覚情報で圧倒することなく、視覚情報をリアルタイムでＯＲチームに通信するための潜在的オプションの多くのリストを提供する。例えば、種々の態様では、本開示は、外科医、又はＯＲチームの他のメンバーが、豊富な視覚情報を管理するために、画面オプションを取り囲むアイコン等の画面上表示を選択的に起動することを可能にする、視覚情報の画面上表示を提供する。要因のうちの１つ又は組み合わせが、アクティブ表示を決定するために使用することができ、これらは、とりわけ、使用中のエネルギーベース（例えば、電気外科、超音波）又は機械ベース（例えば、ステープラ）外科用デバイス、所与の表示と関連付けられる推定リスク、外科医の経験レベル、及び外科医の選択を含んでもよい。他の態様では、視覚情報は、視覚情報を管理するために手術視野にオーバーレイ又は重畳された豊富なデータを含んでもよい。以下に説明する様々な態様では、データを適切にオーバーレイするためにビデオ解析及び追跡を必要とする重畳画像を含む。このように通信された視覚情報データは、静的アイコンとは対照的に、ＯＲチームに対してより簡潔で理解しやすい方法で追加の有用な視覚情報を提供することができる。

様々な態様では、本開示は、外科的処置中に視覚情報を管理するために、スクリーンを取り囲むアイコン等の画面上表示を選択的に起動するための技術を提供する。他の態様では、本開示は、要因のうちの１つ又は組み合わせを使用してアクティブ表示を決定するための技術を提供する。様々な態様では、本開示による技術は、とりわけ、アクティブ表示として使用中のエネルギーベース又は機械ベースの外科用デバイスを選択すること、所与の表示に関連付けられたリスクを推定すること、選択を行う外科医又はＯＲチームの経験レベルを利用することを含み得る。

他の態様では、本開示による技術は、視覚情報を管理するために、豊富なデータを手術視野上にオーバーレイ又は重畳することを含んでもよい。本開示によって説明されるいくつかの表示配置は、術野のライブストリーム上に外科用データの種々の視覚表現をオーバーレイすることを伴う。本明細書で使用される場合、オーバーレイという用語は、半透明オーバーレイ、部分的オーバーレイ、及び／又は移動オーバーレイを含む。グラフィカルオーバーレイは、透明グラフィック、半透明グラフィック、又は不透明グラフィック、あるいは透明、半透明、及び不透明の要素又は効果の組み合わせの形態であってもよい。更に、オーバーレイは、例えば、エンドエフェクタ及び／又は重要な外科用構造等の、術野におけるオブジェクト上に、又は少なくとも部分的にその上に、又はその近くに配置され得る。特定の表示配置は、表示優先度値の変化に基づいて、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はそれらの組み合わせの変化を含む、オーバーレイの１つ以上の表示要素の変化を含み得る。グラフィカルオーバーレイは、アクティブ表示モニタの上にレンダリングされ、重要な情報を迅速かつ効率的にＯＲチームに伝達する。

他の態様では、本開示による技術は、視覚情報データを適切にオーバーレイするためにビデオ解析及び追跡することを必要とする画像を重畳することを含み得る。他の態様では、本開示による技術は、単純な静的アイコンとは対照的に、豊富な視覚情報を通信して、より簡潔で理解しやすい方法で追加の視覚情報をＯＲチームに提供することを含むことができる。他の態様では、視覚オーバーレイは、聴覚及び／又は体性感覚オーバーレイ、例えば、熱的、化学的、及び機械的デバイス、並びにそれらの組み合わせと組み合わせて使用することができる。

以下の説明は、概して、外科的処置中に拡張現実（ＡＲ）インタラクティブ体験を提供する装置、システム、及び方法に関する。この文脈では、術野並びに術野に現れる外科用器具及び他のオブジェクトの画像は、コンピュータ生成された視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚情報を、術野、術野に現れる器具及び／又は他のオブジェクトの実世界画像上にオーバーレイすることによって強化される。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。拡張現実は、実環境上にオーバーレイされる仮想又は「拡張」仮想オブジェクト、データ、又は視覚効果をレンダリング及び表示するための技術である。実環境は、術野を含んでもよい。実環境上にオーバーレイされた仮想オブジェクトは、実環境の１つ以上の態様に対して固定された位置、又は設定された位置で表され得る。非限定的な例では、実世界オブジェクトが実環境の視野から出る場合、実世界オブジェクトに固定された仮想オブジェクトも拡張現実の視野から出る。

本開示によって説明されるいくつかの表示配置は、術野のライブストリーム上に外科用データの種々の視覚表現をオーバーレイすることを伴う。本明細書で使用される場合、オーバーレイという用語は、半透明オーバーレイ、部分的オーバーレイ、及び／又は移動オーバーレイを含む。更に、オーバーレイは、例えば、エンドエフェクタ及び／又は重要な外科用構造等の、術野におけるオブジェクト上に、又は少なくとも部分的にその上に、又はその近くに配置され得る。特定の表示配置は、表示優先度値の変化に基づいて、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はそれらの組み合わせの変化を含む、オーバーレイの１つ以上の表示要素の変化を含み得る。

本明細書で説明されるように、ＡＲは、技術を介して送達されるデジタル視覚要素、音、又は他の感覚刺激の使用を通して達成される、現実の物理世界の拡張バージョンである。仮想現実（ＶＲ）は、現実であるように見えるシーン及びオブジェクトを有するコンピュータ生成環境であり、ユーザがそれらの周囲に没入しているように感じさせる。この環境は、仮想現実ヘッドセット又はヘルメットとして知られるデバイスを通して知覚される。複合現実（ＭＲ）及びＡＲは両方とも没入型技術と考えられているが、それらは同じではない。ＭＲは、現実及び仮想要素が環境内で相互作用することを可能にする複合現実の拡張である。ＡＲは、多くの場合、カメラを使用することによってライブビューにデジタル要素を追加するが、ＭＲ体験は、実世界及びデジタルオブジェクトが相互作用するＡＲ及びＶＲの両方の要素を組み合わせる。

ＡＲ環境では、１つ以上のコンピュータ生成仮想オブジェクトが、１つ以上の現実（すなわち、いわゆる「実世界」）要素とともに表示されてもよい。例えば、周囲環境のリアルタイム画像又はビデオは、１つ以上のオーバーレイ仮想オブジェクトとともにコンピュータスクリーンディスプレイ上に示されてもよい。そのような仮想オブジェクトは、環境に関する補足的な情報を提供することができ、又は一般に、ユーザの知覚及び環境との関与を向上させることができる。逆に、周囲環境のリアルタイム画像又はビデオは、加えて又は代替的に、ディスプレイ上に示される仮想オブジェクトとのユーザの関与を向上させることができる。

本開示の文脈における装置、システム、及び方法は、外科的処置中に１つ以上の撮像デバイスから受信された画像を向上させる。撮像デバイスは、非侵襲性及び低侵襲性外科的処置中に使用される種々のスコープ、ＡＲデバイス、及び／又は切開外科的処置中に画像を提供するカメラを含んでもよい。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。装置、システム、及び方法は、仮想オブジェクト又はデータ及び／又は現実オブジェクトの表現を現実外科用環境上にオーバーレイすることによって、実世界外科用環境の画像を向上させることによって、拡張現実インタラクティブ体験を提供する。拡張現実体験は、ユーザが実世界外科用環境上にオーバーレイされた仮想オブジェクトを視認することを可能にする、ディスプレイ及び／又はＡＲデバイス上で視認されてもよい。ディスプレイは、手術室内に配置されてもよいし、手術室から離れてもよい。ＡＲデバイスは、外科医又は他の手術室人員の頭部に装着され、典型的には、ユーザの各目に対して１つを含む、２つの立体ディスプレイレンズ又はスクリーンを含む。自然光は、ＡＲデバイスのユーザに仮想オブジェクトを可視にするために光を投影しながら、実環境の態様が可視であるように、２つの透明又は半透明ディスプレイレンズを通過することができる。

２つ以上のディスプレイ及びＡＲデバイスは、例えば、定義された役割を有するシステム内の１つ以上の追加のディスプレイ又はＡＲデバイスを制御する第１のディスプレイ又はＡＲデバイスと協調して使用されてもよい。例えば、ディスプレイ又はＡＲデバイスを起動するとき、ユーザは、役割（例えば、外科的処置中の外科医、外科助手、看護師等）を選択してもよく、ディスプレイ又はＡＲデバイスは、その役割に関連する情報を表示してもよい。例えば、外科助手は、外科医が外科的処置の次のステップのために行う必要がある器具の仮想表現を表示させてもよい。現在のステップに対する外科医の焦点は、手術助手とは異なる表示された情報を見る場合がある。

多くの既知の画面上表示及びアラートが存在するが、本開示は、外科的処置中に多くの新規かつ固有の拡張現実インタラクティブ体験を提供する。そのような拡張現実インタラクティブ体験は、手術室の内側又は外側の手術チームへの視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚フィードバック情報を含む。実世界外科用環境上にオーバーレイされる仮想フィードバック情報は、例えば、限定ではないが、とりわけ、手術外科医、外科医の助手、スクラブ着衣者、麻酔医、及び外回り看護師を含む、ＯＲ内の人員を含む、手術室（ＯＲ）チームに提供されてもよい。仮想フィードバック情報は、一次ＯＲスクリーンディスプレイ、ＡＲデバイス、エネルギー又は外科用ステープラ器具、タブレット、拡張現実眼鏡、デバイス等の任意の数の表示オプション上で通信することができる。

図１は、１つ以上の外科用システム２及びクラウドベースのシステム４を含むコンピュータ実装インタラクティブ外科用システム１を示す。クラウドベースシステム４は、リモートストレージ５に連結されたリモートサーバ１３を含み得る。各外科用システム２は、クラウド４と通信する少なくとも１つの外科用ハブ６を備える。例えば、外科用システム２は、可視化システム８と、ロボットシステム１０と、手持ち式インテリジェント外科用器具１２とを備えてもよく、それぞれが、互いに、及び／又はハブ６と通信するように構成されている。いくつかの態様では、外科用システム２は、Ｍ個のハブ６と、Ｎ個の可視化システム８と、Ｏ個のロボットシステム１０と、Ｐ個の手持ち式インテリジェント外科用器具１２とを備えてもよく、Ｍ、Ｎ、Ｏ及びＰは１以上の整数である。コンピュータ実装インタラクティブ外科用システム１は、本明細書で説明されるように、外科的処置中に拡張現実インタラクティブ体験を提供するように構成されてもよい。

図２は、外科手術室１６内の手術台１４上に横たわっている患者に対して外科的処置を実行するための外科用システム２の例を示す。ロボットシステム１０は、外科的処置において外科用システム２の一部として使用される。ロボットシステム１０は、外科医のコンソール１８と、患者側カート２０（外科用ロボット）と、外科用ロボットハブ２２とを含む。患者側カート２０は、外科医が外科医のコンソール１８又は外科医によって装着された拡張現実（ＡＲ）デバイス６６を通して手術部位を視認しながら、患者の身体の低侵襲切開を通じて、少なくとも１つの着脱可能に連結された外科用ツール１７を操作することができる。低侵襲処置中の手術部位の画像（例えば、リアルタイムでストリーミングされる静止画像又はライブ画像）は、医療用撮像デバイス２４によって取得することができる。患者側カート２０は、撮像デバイス２４を操作して、撮像デバイス２４を配向することができる。切開外科的処置の画像は、医療用撮像デバイス９６によって取得することができる。ロボットハブ２２は、外科医のコンソール１８、又は外科医若しくは外科手術室１６内の他の人によって装着されたＡＲデバイス６６上にその後表示するために手術部位の画像を処理する。

撮像デバイス２４、９６又はＡＲデバイス６６の光学構成要素は、１つ以上の照明源、及び／又は１つ以上のレンズを含み得る。１つ以上の照明源は、術野の一部分を照明するように方向付けられ得る。１つ以上の画像センサは、術野内の組織及び器具から反射又は屈折された光を受信し得る。

様々な態様では、撮像デバイス２４は、低侵襲外科的処置において使用するように構成されている。本開示とともに使用するために適切な撮像デバイスの例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃カメラ）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。様々な態様では、撮像デバイス９６は、切開（侵襲）外科的処置において使用するように構成されている。

様々な態様では、可視化システム８は、滅菌野に対して戦略的に配置される１つ以上の撮像センサと、１つ以上の画像処理装置と、１つ以上のストレージアレイと、１つ以上のディスプレイとを備える。一態様では、可視化システム８は、ＨＬ７、ＰＡＣＳ及びＥＭＲ用のインターフェースを備える。一態様では、撮像デバイス２４は、トポグラフィと下にある構造とを区別するためにマルチスペクトルモニタリングを採用し得る。マルチスペクトル画像は、電磁スペクトルにおいて特定の波長範囲内の画像データを捕捉する。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、ＩＲ、及び紫外からの光を含む特定の波長に対する感度を有する器具によって分離される。スペクトル撮像は、人間の目には見えない情報を抽出することができる。マルチスペクトルモニタリングは、処置された組織に対して試験を実行するための外科用タスクが完了した後に術野を再配置することができる。

図２は、手術台１４のオペレータに見えるように滅菌野に配置される一次ディスプレイ１９を示す。可視化タワー１１は、滅菌野の外側に配置され、互いに反対側を向いている第１の非滅菌ディスプレイ７及び第２の非滅菌ディスプレイ９を含む。ハブ６によって誘導される可視化システム８は、ディスプレイ７、９、１９を利用して、滅菌野の内側及び外側のオペレータへの情報フローを調整するように構成されている。例えば、ハブ６は、可視化システム８に、一次ディスプレイ１９又はＡＲデバイス６６上に手術部位のライブ映像を維持しながら、撮像デバイス２４、９６によって記録される手術部位のＡＲ画像を非滅菌ディスプレイ７、９又はＡＲデバイス６６を通じて表示させることができる。非滅菌ディスプレイ７、９は、例えば、非滅菌オペレータが、外科的処置に関連する診断ステップを実行することを可能にすることできる。

図３は、可視化システム８、ロボットシステム１０及び手持ち式インテリジェント外科用器具１２と通信するハブ６を示す。ハブ６は、ハブディスプレイ３５、撮像モジュール３８、発電機モジュール４０、通信モジュール３０、プロセッサモジュール３２、ストレージアレイ３４、及び手術室マッピングモジュール３３を含む。ハブ６は、排煙モジュール２６及び／又は吸引／灌注モジュール２８を更に含む。様々な態様では、撮像モジュール３８は、ＡＲデバイス６６を含み、プロセッサモジュール３２は統合ビデオプロセッサ及び拡張現実モデラ（例えば、図１０に示すようなもの）を含む。モジュール式光源は、様々な撮像デバイスとともに使用するように適合され得る。様々な例では、複数の撮像デバイスを術野の異なる位置に配置して、複数のビューを提供することができる（例えば、非侵襲的、低侵襲的、侵襲的、又は切開外科的処置）。撮像モジュール３８は、最適なビューを提供するために撮像デバイス間を切り替えるように構成することができる。種々の態様では、撮像モジュール３８は、異なる撮像デバイスからの画像を統合し、本明細書に説明されるような外科的処置の間、拡張現実インタラクティブ体験を提供するように構成することができる。

図４は、医療施設の１つ以上の手術現場／部屋に位置するモジュール式デバイスをクラウドベースのシステムに接続するように構成されたモジュール式通信ハブ５３を含む外科用データネットワーク５１を示す。クラウド５４は、ストレージデバイス５５に連結されたリモートサーバ６３（図５）を含むことができる。モジュール式通信ハブ５３は、ネットワークルータ６１と通信するネットワークハブ５７及び／又はネットワークスイッチ５９を含む。モジュール式通信ハブ５３は、データを処理するためにローカルコンピュータシステム６０に連結される。手術現場のモジュール式デバイス１ａ～１ｎは、モジュール式通信ハブ５３に連結され得る。ネットワークハブ５７及び／又はネットワークスイッチ５９は、ネットワークルータ６１に連結されて、デバイス１ａ～１ｎをクラウド５４又はローカルコンピュータシステム６０に接続することができる。デバイス１ａ～１ｎに関連付けられたデータは、リモートデータ処理及び操作のためにルータを介してクラウドベースのコンピュータに転送されてもよい。手術現場デバイス１ａ～１ｎは、有線チャネル又は無線チャネルを介してモジュール式通信ハブ５３に接続され得る。外科用データネットワーク５１環境は、本明細書で説明されるように、外科的処置中に拡張現実インタラクティブ体験を提供するために、特に、術野の拡張画像を１つ以上のリモートディスプレイ５８に提供するために採用されてもよい。

図５は、コンピュータ実装インタラクティブ外科用システム５０を示す。コンピュータ実装インタラクティブ外科用システム５０は、多くの点で、コンピュータ実装インタラクティブ外科用システム１と類似している。コンピュータ実装インタラクティブ外科用システム５０は、多くの点で外科用システム２と類似する１つ以上の外科用システム５２を含む。各外科用システム５２は、リモートサーバ６３を含み得るクラウド５４と通信する少なくとも１つの外科用ハブ５６を備える。一態様では、コンピュータ実装インタラクティブ外科用システム５０は、例えば、インテリジェント外科用器具、ロボット及び手術現場内に位置する他のコンピュータ化デバイス等の複数の手術現場デバイスに接続されたモジュール式制御タワー２３を備える。図６に示すように、モジュール式制御タワー２３は、コンピュータシステム６０に連結されたモジュール式通信ハブ５３を含む。

図５に戻ると、モジュール式制御タワー２３は、内視鏡９８に連結された撮像モジュール３８、エネルギーデバイス９９に連結された発電機モジュール２７、排煙器モジュール７６、吸引／灌注モジュール７８、通信モジュール１３、プロセッサモジュール１５、ストレージアレイ１６、任意選択的にディスプレイ３９に連結されたスマートデバイス／器具２１及びセンサモジュール２９に連結されている。手術現場デバイスは、モジュール式制御タワー２３を介して、サーバ６３、データストレージ５５及びディスプレイ５８等のクラウドコンピューティングリソースに連結されている。ロボットハブ７２もまた、モジュール式制御タワー２３、及びサーバ６３、データストレージ５５、並びにディスプレイ５８に接続されてもよい。とりわけ、デバイス／器具２１、可視化システム５８が、本明細書に記載されるように、有線又は無線通信規格又はプロトコルを介して、モジュール式制御タワー２３に連結されてもよい。モジュール式制御タワー２３は、撮像モジュール３８、デバイス／器具ディスプレイ３９及び／又は他の可視化システム５８から受信した、現実術野上のオーバーレイされた仮想オブジェクトを含む、受信された拡張画像を表示するためにハブディスプレイ６５（例えば、モニタ、スクリーン）に連結されてもよい。ハブディスプレイ６５はまた、画像及びオーバーレイ画像とともにモジュール式制御タワー２３に接続されたデバイスから受信したデータを表示し得る。

図６は、モジュール式制御タワー２３に連結された複数のモジュールを含む外科用ハブ５６を示す。モジュール式制御タワー２３は、例えばネットワーク接続デバイス等のモジュール式通信ハブ５３と、例えば拡張外科用情報のローカルでの処理、可視化及び撮像を行うためのコンピュータシステム６０とを含む。モジュール式通信ハブ５３は、モジュール式通信ハブ５３に接続されてもよいモジュール（例えば、デバイス）の数を拡張するために階層化構成で接続されて、モジュールに関連付けられたデータをコンピュータシステム６０、クラウドコンピューティングリソース、又はその両方に転送してもよい。モジュール式通信ハブ５３内のネットワークハブ／スイッチ５７／５９の各々は、３つの下流ポート及び１つの上流ポートを含み得る。上流のネットワークハブ／スイッチ５７、５９は、クラウドコンピューティングリソース及びローカルディスプレイ６７への通信接続を提供するためにプロセッサ３１に接続されている。クラウド５４への通信は、有線通信チャネル又は無線通信チャネルのいずれかを介して行うことができる。

コンピュータシステム６０は、プロセッサ３１と、ネットワークインターフェース３７とを含む。プロセッサ３１は、システムバスを介して、通信モジュール４１、ストレージ４５、メモリ４６、不揮発性メモリ４７、及び入力／出力インターフェース４８に連結される。システムバスは、様々な利用可能なバスアーキテクチャを使用した、メモリバス若しくはメモリコントローラ、周辺バス若しくは外部バス、及び／又はローカルバスを含む、いくつかのタイプのバス構造のいずれかであってもよい。

プロセッサ３１は、拡張現実モデラ（例えば、図１０に示されるような）を含み、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓによる商標名ＡＲＭ Ｃｏｒｔｅｘで知られているもの等のシングルコア又はマルチコアプロセッサとして実装されてもよい。一態様では、プロセッサは、例えば、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ４Ｆ２３０Ｈ５ＱＲ ＡＲＭ Ｃｏｒｔｅｘ－Ｍ４Ｆプロセッサコアであってもよい。このプロセッサコアは、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルシリアルランダムアクセスメモリ（ＳＲＡＭ）、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部読み出し専用メモリ（ＲＯＭ）、２ＫＢの電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）及び／又は、１つ以上のパルス幅変調（ＰＷＭ）モジュール、１つ以上の直交エンコーダ入力（ＱＥＩ）アナログ、１２個のアナログ入力チャネルを備える１つ以上の１２ビットアナログ－デジタル変換器（ＡＤＣ）を含む。なお、その詳細は、製品データシートで入手可能である。

システムメモリとしては、揮発性メモリ及び不揮発性メモリが挙げられる。起動中などにコンピュータシステム内の要素間で情報を転送するための基本ルーチンを含む基本入出力システム（ＢＩＯＳ）は、不揮発性メモリに記憶される。例えば、不揮発性メモリとしては、ＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、ＥＥＰＲＯＭ又はフラッシュメモリが挙げられ得る。揮発性メモリとしては、外部キャッシュメモリとして機能するランダムアクセスメモリ（ＲＡＭ）が挙げられる。更に、ＲＡＭは、ＳＲＡＭ、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（ＳＬＤＲＡＭ）及びダイレクトランバスＲＡＭ（ＤＲＲＡＭ）などの多くの形態で利用可能である。

コンピュータシステム６０はまた、取り外し可能／取り外し不可能な揮発性／不揮発性のコンピュータストレージ媒体、例えばディスクストレージ等を含む。ディスク記憶装置としては、磁気ディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ－６０ドライブ、フラッシュメモリカード又はメモリスティックのような装置が挙げられるが、これらに限定されない。加えて、ディスク記憶装置は、上記の記憶媒体を、独立して、又は他の記憶媒体との組み合わせで含むことができる。他の記憶媒体としては、コンパクトディスクＲＯＭ装置（ＣＤ－ＲＯＭ）、コンパクトディスク記録可能ドライブ（ＣＤ－Ｒドライブ）、コンパクトディスク書き換え可能ドライブ（ＣＤ－ＲＷドライブ）若しくはデジタル多用途ディスクＲＯＭドライブ（ＤＶＤ－ＲＯＭ）などの光ディスクドライブが挙げられるがこれらに限定されない。ディスク記憶装置のシステムバスへの接続を容易にするために、取り外し可能な又は取り外し不可能なインターフェースが用いられてもよい。

様々な態様では、図６のコンピュータシステム６０、図４～図６の撮像モジュール３８、及び／又は可視化システム５８、及び／又はプロセッサモジュール１５は、画像プロセッサ、画像処理エンジン、グラフィック処理装置（ＧＰＵ）、メディアプロセッサ、又はデジタル画像の処理に使用される任意の専用デジタル信号プロセッサ（ＤＳＰ）を含んでもよい。画像プロセッサは、単一命令複数データ（ＳＩＭＤ）、又は複数命令複数データ（ＭＩＭＤ）技術を用いた並列コンピューティングを用いて速度及び効率を高めることができる。デジタル画像処理エンジンは、様々なタスクを実施することができる。画像プロセッサは、マルチコアプロセッサアーキテクチャを備えるチップ上のシステムであってもよい。

図７は、撮像モジュール３８と外科用ハブディスプレイ６７との間の通信経路内に配置された中間信号結合器６４を含む拡張現実システム２６３を示す。信号結合器６４は、撮像モジュール３８及び／又はＡＲデバイス６６から受信された音声及び／又は画像データを組み合わせる。外科用ハブ５６は、結合器６４から組み合わされたデータを受信し、ディスプレイ６７に提供されたデータをオーバーレイし、オーバーレイされたデータが表示される。撮像デバイス６８はデジタルビデオカメラであってもよく、オーディオデバイス６９はマイクロフォンであってもよい。信号結合器６４は、外科用ハブ５６がディスプレイ６７上にデータをオーバーレイすることを可能にするコンソールへのディスプレイ６７の通信経路内に配置されたＡＲデバイス６６に連結するための無線ヘッドアップディスプレイアダプタを含み得る。

図８は、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実（ＡＲ）システムを示す。図８は、外科用ハブ５６にデータを通信するために外科医７３によって装着されるＡＲデバイス６６を示す。ＡＲデバイス６６の周辺情報は、アクティブ映像を含まない。むしろ、周辺情報は、デバイス設定、又はリフレッシュレートの同じ要求を有さない信号のみを含む。相互作用は、術前コンピュータ断層撮影（ＣＴ）又は外科用ハブ５６内でリンクされた他のデータとのリンクに基づいて、外科医７３の情報を拡張させ得る。ＡＲデバイス６６は、構造を識別することができ、例えば、器具が神経、血管、又は癒着に触れているかどうかを尋ねることができる。ＡＲデバイス６６は、術前スキャンデータ、光学ビュー、処置全体を通して取得される組織調査特性、及び／又は回答を提供するために使用される外科用ハブ５６における処理を含み得る。外科医７３は、報告又はフォローアップにおける後の使用のためにハブストレージ４５内に患者データとともに保存されるように、ＡＲデバイス６６にメモを書き取ることができる。

外科医７３によって装着されるＡＲデバイス６６は、オーバーレイの必要性を回避するために、聴覚及び視覚情報を用いて外科用ハブ５６にリンクし、視野の周辺の周りに表示される情報のカスタマイズを可能にする。ＡＲデバイス６６は、デバイス（例えば、器具）からの信号を提供し、デバイス設定又は象限若しくは位置を識別するためにビデオとリンクされた位置情報に関するクエリに回答する。ＡＲデバイス６６は、ＡＲデバイス６６からの音声制御及び音声フィードバックを有する。ＡＲデバイス６６は、手術現場内の他のシステムと相互作用することができ、外科医７３がどこを視認しても利用可能なフィードバック及び相互作用を有することができる。例えば、ＡＲデバイス６６は、外科医から音声又はジェスチャ開始コマンド及びクエリを受信してもよく、ＡＲデバイス６６は、音声、視覚、又は触覚タッチを含む１つ以上のモダリティの形態でフィードバックを提供してもよい。

図９は、ＡＲデバイス６６を装着している外科医７３、患者７４を示し、手術室７５内にカメラ９６を含んでもよい。外科医７３によって装着されるＡＲデバイス６６は、拡張現実ディスプレイ８９を通して、又はハブ接続ディスプレイ６７を通して、術野のリアルタイム画像上にオーバーレイされる仮想オブジェクトを外科医７３に提示するために使用されてもよい。リアルタイム画像は、外科用器具７７の一部を含んでもよい。仮想オブジェクトは、手術室７５内の他者（例えば、外科助手又は看護師）には可視でない場合があるが、彼らもまた、ＡＲデバイス６６を装着し得る。別の人がＡＲデバイス６６を用いて手術室７５を視認している場合であっても、その人は、仮想オブジェクトを見ることができない場合があるか、又は外科医７３と共有される拡張現実において仮想オブジェクトを見ることができる場合があるか、又は（例えば、外科医７３に固有のカスタマイゼーションに従って）仮想オブジェクトの修正バージョンを見ることができる場合があるか、又は異なる仮想オブジェクトを見る場合がある。

仮想オブジェクト及び／又はデータは、外科用器具７７の一部上に、又は撮像モジュール３８、低侵襲外科的処置中の撮像デバイス６８、及び／又は切開外科的処置中のカメラ９６によって捕捉された手術視野内に現れるように構成され得る。図示の例では、撮像モジュール３８は、低侵襲外科的処置中に外科領域のライブ映像を提供する腹腔鏡カメラである。ＡＲシステムは、ＡＲシステムの１人又は複数の視認者（例えば、外科医７３）の視点に関係なく、実オブジェクトに固定される仮想オブジェクトを提示してもよい。例えば、仮想オブジェクトは、手術室７５内のＡＲシステムの視認者に可視であってもよく、手術室７５外のＡＲシステムの視認者に可視でなくてもよい。仮想オブジェクトは、視認者が手術室７５に入ったときに、手術室７５外の視認者に表示されてもよい。拡張画像は、外科用ハブディスプレイ６７又は拡張現実ディスプレイ８９に表示されてもよい。

ＡＲデバイス６６は、単一スクリーン又は２つのスクリーン（例えば、ユーザの目毎に１つ）等の１つ以上のスクリーン又はレンズを含んでもよい。スクリーンは、仮想オブジェクトを表示している間に実環境の態様が可視であるように、光がスクリーンを通過することを可能にし得る。仮想オブジェクトは、光を投影することによって外科医７３に可視になり得る。仮想オブジェクトは、或る程度の透明度を有するように見えてもよく、又は不透明であってもよい（すなわち、実環境の態様を遮断する）。

ＡＲシステムは、１人以上の視認者に可視であってもよく、ビュー間で共通のいくつかの態様を保持しながら、１人以上の視認者に利用可能なビュー間の差異を含んでもよい。例えば、ヘッドアップディスプレイは、２つのビューの間で変化し得るが、仮想オブジェクト及び／又はデータは、両方のビュー内の実オブジェクト又は領域に固定され得る。オブジェクトの色、照明、又は他の変更等の態様は、少なくとも１つの仮想オブジェクトの固定位置を変更することなくビュー間で行われ得る。

ユーザは、ＡＲシステム内に提示される仮想オブジェクト及び／又はデータを、不透明として、又は或るレベルの透明度を含むものとして見ることができる。一例では、ユーザは、仮想オブジェクトを第１の位置から第２の位置に移動させること等によって、仮想オブジェクトと相互作用することができる。例えば、ユーザは、自身の手でオブジェクトを動かしてもよい。これは、（例えば、ＡＲデバイスカメラ７９又は別個の９６等のＡＲデバイス６６上に搭載されてもよく、静的であってもよく、又は移動するように制御されてもよい、１つ以上のカメラを使用して）手がオブジェクトと一致又は隣接する位置に移動したことを判定し、それに応じてオブジェクトを移動させることによって、ＡＲシステムにおいて仮想的に行われてもよい。仮想態様は、実世界オブジェクトの仮想表現を含んでもよく、又は照明効果等の視覚効果を含んでもよい。ＡＲシステムは、仮想オブジェクトを重力又は摩擦に曝す等、仮想オブジェクトの挙動を支配するための規則を含んでもよく、又は実世界の物理的制約（例えば、浮遊オブジェクト、永久運動等）を否定する他の事前定義された規則を含んでもよい。ＡＲデバイス６６は、ＡＲデバイス６６上にカメラ７９を含み得る（ＡＲデバイス６６とは別個のカメラ９６と混同されるべきではない）。ＡＲデバイスカメラ７９又はカメラ９６は、赤外線カメラ、赤外線フィルタ、可視光フィルタ、複数のカメラ、深度カメラ等を含み得る。ＡＲデバイス６６は、ユーザが視認することができる実環境の表現の上に仮想アイテムを投影し得る。

ＡＲデバイス６６は、例えば、外科医７３によって患者７４に対して行われる外科的処置中に手術室７５内で使用され得る。ＡＲデバイス６６は、外科医の視覚を拡張するために、外科的処置中の仮想オブジェクト等の仮想オブジェクトを投影又は表示してもよい。外科医７３は、ＡＲデバイス６６、ＡＲデバイス６６のためのリモートコントローラを使用して仮想オブジェクトを視認してもよく、又は、例えば、ＡＲデバイス６６のカメラ７９によって認識される仮想オブジェクト又はジェスチャと「相互作用」するために手を使用して、仮想オブジェクトと相互作用してもよい。仮想オブジェクトは、外科用器具７７等の外科用ツールを拡張することができる。例えば、仮想オブジェクトは、（ＡＲデバイス６６を通して仮想オブジェクトを視認する外科医７３に対して）外科用器具７７と連結されるように、又は外科用器具７７から固定距離のままであるように見えてもよい。別の例では、仮想オブジェクトは、外科用器具７７を案内するために使用されてもよく、患者７４に固定されているように見えてもよい。特定の例では、仮想オブジェクトは、術野における他の仮想又は実世界のオブジェクトの動きに反応し得る。例えば、仮想オブジェクトは、外科医が仮想オブジェクトに近接して外科用器具を操作しているときに変更され得る。

拡張現実ディスプレイシステム撮像デバイス３８は、外科的処置の間、外科領域の実画像を捕捉する。拡張現実ディスプレイ８９、６７は、外科領域の実画像上への外科用器具７７の動作態様のオーバーレイを提示する。外科用器具７７は、ＡＲデバイス６６上の通信回路２３３を介して外科用器具７７からＡＲデバイス６６に動作態様及び機能データを通信するための通信回路２３１を含む。外科用器具７７及びＡＲデバイス６６は、矢印Ｂ、Ｃによって示されるように、回路２３１、２３３の間のＲＦ無線通信において示されているが、他の通信技術（例えば、有線、超音波、赤外線等）が採用されてもよい。オーバーレイは、アクティブに可視化されている外科用器具７７の動作態様に関連する。オーバーレイは、外科領域における組織相互作用の態様を外科用器具７７からの機能データと組み合わせる。ＡＲデバイス６６のプロセッサ部分は、外科用器具７７から動作態様及び機能データを受信し、外科用器具７７の動作に関連するオーバーレイを決定し、外科領域内の組織の態様を外科用器具７７からの機能データと組み合わせるように構成される。拡張画像は、デバイス性能考慮事項に関するアラート、不適合な使用のアラート、不完全な捕捉に関するアラートを示す。不適合な使用には、範囲外の組織状態及びエンドエフェクタのジョー内で不正確にバランスされた組織が含まれる。追加の拡張画像は、組織張力の表示及び異物検出の表示を含む付随事象の表示を提供する。他の拡張画像は、デバイス状況オーバーレイ及び器具表示を示す。

図１０は、本開示の少なくとも一態様による、ＡＲディスプレイ８９を使用して情報とともに術野の画像を拡張するためのシステム８３を示す。システム８３は、例えば、プロセッサ８５を使用することによって、以下で説明される技術を実行するために使用され得る。システム８３は、データベース９３と通信することができるＡＲデバイス６６の一態様を含む。ＡＲデバイス６６は、プロセッサ８５、メモリ８７、ＡＲディスプレイ８９、及びカメラ７９を含む。ＡＲデバイス６６は、センサ９０、スピーカ９１、及び／又は触覚コントローラ９２を含んでもよい。データベース９３は、画像ストレージ９４又は術前計画ストレージ９５を含んでもよい。

ＡＲデバイス６６のプロセッサ８５は、拡張現実モデラ８６を含む。拡張現実モデラ８６は、拡張現実環境を作成するために、プロセッサ８５によって使用され得る。例えば、拡張現実モデラ８６は、カメラ７９又はセンサ９０等から、術野内の器具の画像を受信し、手術視野の表示画像内に収まるように拡張現実環境を作成してもよい。別の例では、物理的オブジェクト及び／又はデータは、手術視野及び／又は外科用器具画像上にオーバーレイされてもよく、拡張現実モデラ８６は、物理的オブジェクト及びデータを使用して、仮想オブジェクト及び／又はデータの拡張現実ディスプレイを拡張現実環境内に提示してもよい。例えば、拡張現実モデラ８６は、患者の手術部位で器具を使用又は検出し、外科用器具上の仮想オブジェクト及び／又はデータ、及び／又はカメラ７９によって捕捉された手術視野内の手術部位の画像を提示してもよい。ＡＲディスプレイ８９は、実環境にオーバーレイされたＡＲ環境を表示してもよい。ディスプレイ８９は、ＡＲ環境内の固定位置等にあるＡＲデバイス６６を使用して、仮想オブジェクト及び／又はデータを示すことができる。

ＡＲデバイス６６は、赤外線センサ等のセンサ９０を含むことができる。カメラ７９又はセンサ９０は、外科医又は他のユーザによるジェスチャ等の動きを検出するために使用されてもよく、動きは、プロセッサ８５によって、ユーザによる仮想ターゲットとの試みられた又は意図された相互作用として解釈されてもよい。プロセッサ８５は、カメラ７９を使用して受信された情報を処理すること等によって、実環境内のオブジェクトを識別することができる。他の態様では、センサ９０は、拡張環境を作成するために様々なデータフィードと組み合わされ得る対応する信号を生成するための触覚センサ、可聴センサ、化学センサ、又は熱センサであり得る。センサ９０は、バイノーラルオーディオセンサ（空間音）、慣性測定（加速度計、ジャイロスコープ、磁力計）センサ、環境センサ、深度カメラセンサ、手及び視線追跡センサ、並びに音声コマンド認識機能を含み得る。

ＡＲディスプレイ８９は、例えば、外科的処置中に、術野がＡＲディスプレイ８９を通して視認されることを可能にしながら、術野内等に、患者の解剖学的態様によって隠される物理的特徴に対応する仮想特徴を提示してもよい。仮想特徴は、物理的特徴の第１の物理的位置又は配向に対応する仮想位置又は配向を有し得る。一例では、仮想特徴の仮想位置又は配向は、物理的特徴の第１の物理的位置又は配向からのオフセットを含み得る。オフセットは、拡張現実ディスプレイからの所定の距離、拡張現実ディスプレイから解剖学的態様までの相対距離等を含んでもよい。

一例では、ＡＲデバイス６６は、個々のＡＲデバイスであり得る。一態様では、ＡＲデバイス６６は、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔによって製造されたＨｏｌｏＬｅｎｓ ２ ＡＲデバイスであってもよい。このＡＲデバイス６６は、レンズ及びバイノーラルオーディオ特徴（空間音）を伴うバイザと、慣性測定（加速度計、ジャイロスコープ、磁力計）と、環境センサと、深度カメラと、ビデオカメラと、手及び視線追跡と、音声コマンド認識機能とを含む。それは、鏡を使用して導波路を着用者の目の前に向けることによって、高解像度で改善された視野を提供する。画像は、ミラーの角度を変えることによって拡大することができる。それはまた、ユーザを認識し、特定のユーザのためにレンズ幅を調整するための視線追跡を提供する。

別の例では、ＡＲデバイス６６は、Ｓｎａｐｃｈａｔ Ｓｐｅｃｔａｃｌｅｓ ３ ＡＲデバイスであり得る。このＡＲデバイスは、ペア画像を捕捉し、３Ｄ深度マッピングを再作成し、仮想効果を追加し、３Ｄビデオを再生する能力を提供する。ＡＲデバイスは、６０ｆｐｓで３Ｄ写真及びビデオを捕捉するための２つのＨＤカメラを含み、一方、４つの内蔵マイクロフォンは、没入型高忠実度オーディオを記録する。両方のカメラからの画像を組み合わせて、ユーザの周りの実世界の幾何学的マップを構築し、奥行き知覚の新しい感覚を提供する。写真及びビデオは、外部ディスプレイデバイスに無線で同期され得る。

更に別の例では、ＡＲデバイス６６は、ＧｏｏｇｌｅによるＧｌａｓｓ ２ ＡＲデバイスであり得る。このＡＲデバイスは、情報を補足するためにレンズ（視野外）上にオーバーレイされた慣性測定（加速度計、ジャイロスコープ、磁力計）情報を提供する。

別の例では、ＡＲデバイス６６は、ＡｍａｚｏｎによるＥｃｈｏ Ｆｒａｍｅｓ ＡＲデバイスであり得る。このＡＲデバイスは、カメラ／ディスプレイを有しない。マイクロフォン及びスピーカはＡｌｅｘａにリンクされる。このＡＲデバイスは、ヘッドアップディスプレイよりも機能が少ない。

更に別の例では、ＡＲデバイス６６は、Ｎｏｒｔｈ（Ｇｏｏｇｌｅ）によるＦｏｃａｌｓ ＡＲデバイスであり得る。このＡＲデバイスは、通知プッシャ／スマートウォッチアナログ、慣性測定、情報（天気、カレンダ、メッセージ）のスクリーンオーバーレイ、音声制御（Ａｌｅｘａ）統合を提供する。このＡＲデバイスは、基本的なヘッドアップディスプレイ機能を提供する。

別の例では、ＡＲデバイス６６は、Ｎｒｅａｌ ＡＲデバイスであり得る。このＡＲデバイスは、空間音、２つの環境カメラ、写真カメラ、ＩＭＵ（加速度計、ジャイロスコープ）、周辺光センサ、近接センサ機能を含む。ｎｅｂｕｌａは、アプリケーション情報をレンズ上に投影する。

様々な他の例では、ＡＲデバイス６６は、以下の市販のＡＲデバイス、すなわち、Ｍａｇｉｃ Ｌｅａｐ １、Ｅｐｓｏｎ Ｍｏｖｅｒｉｏ、Ｖｕｚｉｘ Ｂｌａｄｅ ＡＲ、ＺｅｎＦｏｎｅ ＡＲ、Ｍｉｃｒｏｓｏｆｔ ＡＲ眼鏡プロトタイプ、ＥｙｅＴａｐのうちのいずれか１つであってもよく、これにより、環境の光と同一直線上の光を直接網膜に作成する。ビームスプリッタは、例えば、情報を処理しオーバーレイするために、コンピュータに目に見える同じ光を利用可能にする。ＡＲ可視化システムは、ＨＵＤ、コンタクトレンズ、眼鏡、仮想現実（ＶＲ）ヘッドセット、仮想網膜ディスプレイ、手術室内ディスプレイ、及び／又はスマートコンタクトレンズ（バイオニックレンズ）を含む。

ＡＲデバイス６６のためのマルチユーザインターフェースは、目の前のスクリーン上ではなく網膜上に直接描画されるラスタディスプレイ等の仮想網膜ディスプレイ、スマートテレビ、スマートフォン、及び／又はＳｏｎｙ空間ディスプレイシステム等の空間ディスプレイを含む。

他のＡＲ技術は、例えば、ＡＲ捕捉デバイス及びソフトウェアアプリケーション、ＡＲ作成デバイス及びソフトウェアアプリケーション、並びにＡＲクラウドデバイス及びソフトウェアアプリケーションを含んでもよい。ＡＲ捕捉デバイス及びソフトウェアアプリケーションは、例えば、Ａｐｐｌｅ Ｐｏｌｙｃａｍ ａｐｐ、Ｕｂｉｑｕｉｔｙ ６（Ｄｉｓｐｌａｙ．ｌａｎｄ ａｐｐを使用するＭｉｒｒｏｒｗｏｒｌｄ）を含み、ユーザは、（３Ｄモデルを作成するために）実世界の３ｄ画像をスキャンし、取得することができる。ＡＲ作成デバイス及びソフトウェアアプリケーションは、例えば、Ａｄｏｂｅ Ａｅｒｏ、Ｖｕｆｏｒｉａ、ＡＲＴｏｏｌＫｉｔ、Ｇｏｏｇｌｅ ＡＲＣｏｒｅ、Ａｐｐｌｅ ＡＲＫｉｔ、ＭＡＸＳＴ、Ａｕｒａｓｍａ、Ｚａｐｐａｒ、Ｂｌｉｐｐａｒを含む。ＡＲクラウドデバイス及びソフトウェアアプリケーションは、例えば、Ｆａｃｅｂｏｏｋ、Ｇｏｏｇｌｅ（ｗｏｒｌｄ ｇｅｏｍｅｔｒｙ、ｏｂｊｅｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ、ｐｒｅｄｉｃｔｉｖｅ ｄａｔａ）、Ａｍａｚｏｎ ＡＲ Ｃｌｏｕｄ（ｃｏｍｍｅｒｃｅ）、Ｍｉｃｒｏｓｏｆｔ Ａｚｕｒｅ、Ｓａｍｓｕｎｇ Ｐｒｏｊｅｃｔ Ｗｈａｒｅ、Ｎｉａｎｔｉｃ、Ｍａｇｉｃ Ｌｅａｐを含む。

状況認識は、データベース及び／又は器具から受信したデータから外科処置に関連する情報を判定又は推測するための、外科用システムのいくつかの態様の能力である。情報は、実行されている処置のタイプ、手術されている組織のタイプ、又は処置の対象である体腔を含むことができる。外科処置に関するコンテキスト情報によると、外科用システムは、例えば、外科用システムが、それに接続されるモジュール式デバイス（例えば、ロボットアーム及び／又はロボット外科用ツール）を制御し、外科処置の過程で外科医にコンテキスト化された情報又は提案を提供する様式で改善し得る。

図１１は、状況認識外科的処置のタイムラインを示す。図１１は、例示的な外科的処置のタイムライン５２００と、外科的処置の各ステップでデータソース５１２６から受信されたデータから外科用ハブ５１０４が導出することができるコンテキスト情報とを示す。タイムライン５２００は、手術現場のセットアップで始まり、患者を術後回復室に移送することで終了する肺区域切除処置の過程中に、看護師、外科医及び他の医療従事者がとるであろう一般的なステップを示す。状況認識外科用ハブ５１０４は、外科処置の過程全体にわたって、医療関係者が外科用ハブ５１０４とペアリングされたモジュール式デバイス５１０２を使用するたびに生成されるデータを含むデータを、データソース５１２６から受信する。外科用ハブ５１０４は、ペアリングされたモジュール式デバイス５１０２及び他のデータソース５１２６からこのデータを受信して、任意の所与の時間に処置のどのステップが行われているかなどの新しいデータが受信されると、進行中の処置に関する推定（すなわち、コンテキスト情報）を継続的に導出することができる。外科用ハブ５１０４の状況認識システムは、例えば、報告を生成するために処置に関するデータを記録すること、医療従事者によってとられているステップを検証すること、特定の処置ステップに関連し得るデータ又はプロンプトを（例えば、表示画面を介して）提供すること、コンテキストに基づいてモジュール式デバイス５１０２を調整する（例えば、モニタを起動する、医療用撮像デバイスのＦＯＶを調整する、又は超音波外科用器具若しくはＲＦ電気外科用器具のエネルギーレベルを変更する）こと、及び上述される任意の他のこうした動作を行うことが可能である。

第１の５２０２では、病院職員は、病院のＥＭＲデータベースから、患者のＥＭＲを取り出す。ＥＭＲにおいて選択された患者データに基づいて、外科用ハブ５１０４は、実施される処置が胸部手術であることを判定する。

第２の５２０４では、職員は、処置のために入来する医療用品をスキャンする。外科用ハブ５１０４は、スキャンされた物資を様々なタイプの処置において利用される物資のリストと相互参照し、物資の混合物が、胸部処置に対応することを確認する。更に、外科用ハブ５１０４はまた、処置が楔形切除術ではないと判定することができる（入来する用品が、胸部楔形切除術に必要な特定の用品を含まないか、又は別の点で胸部楔形切除術に対応していないかのいずれかであるため）。

第３の５２０６では、医療従事者は、外科用ハブ５１０４に通信可能に接続されたスキャナ５１２８を介して患者バンドをスキャンする。次いで、外科用ハブ５１０４は、スキャンされたデータに基づいて患者の身元を確認することができる。

第４の５２０８では、医療職員が補助装置をオンにする。利用されている補助機器は、外科手術の種類、及び外科医が使用する技術に従って変動し得るが、この例示的なケースでは、排煙器、送気器及び医療用撮像デバイスが挙げられる。起動されると、モジュール式デバイス５１０２である補助装置は、その初期化プロセスの一部として、モジュール式デバイス５１０２の特定の近傍内に位置する外科用ハブ５１０４と自動的にペアリングすることができる。次いで、外科用ハブ５１０４は、この術前又は初期化段階中にそれとペアリングされるモジュール式デバイス５１０２の種類を検出することによって、外科処置に関するコンテキスト情報を導出することができる。この特定の実施例では、外科用ハブ５１０４は、ペアリングされたモジュール式デバイス５１０２のこの特定の組み合わせに基づいて、外科処置がＶＡＴＳ手術であると判定する。患者のＥＭＲからのデータの組み合わせ、処置に用いられる医療用品のリスト、及びハブに接続するモジュール式デバイス５１０２の種類に基づいて、外科用ハブ５１０４は、外科チームが実施する特定の処置を概ね推定することができる。外科用ハブ５１０４が、何の特定の処置が行われているかを知ると、次いで外科用ハブ５１０４は、メモリから、又はクラウドからその処置のステップを読み出し、次いで接続されたデータソース５１２６（例えば、モジュール式デバイス５１０２及び患者監視デバイス５１２４）からその後受信したデータを相互参照して、外科処置のどのステップを外科チームが実行しているかを推定することができる。

第５の５２１０では、職員は、ＥＫＧ電極及び他の患者監視デバイス５１２４を患者に取り付ける。ＥＫＧ電極及び他の患者監視デバイス５１２４は、外科用ハブ５１０４とペアリングすることができる。外科用ハブ５１０４が患者モニタリングデバイス５１２４からデータの受信を開始すると、外科用ハブ５１０４は患者が手術現場にいることを確認する。

第６の５２１２では、医療関係者は患者において麻酔を誘発する。外科用ハブ５１０４は、例えば、ＥＫＧデータ、血圧データ、人工呼吸器データ又はこれらの組み合わせを含む、モジュール式デバイス５１０２、及び／又は患者モニタリングデバイス５１２４からのデータに基づいて、患者が麻酔下にあることを推測することができる。第６のステップ５２１２が完了すると、肺区域切除手術の術前部分が完了し、手術部が開始する。

第７の５２１４では、手術されている患者の肺が虚脱される（換気が対側肺に切り替えられる間に）。外科用ハブ５１０４は、患者の肺が虚脱されたことを人工呼吸器データから推測することができる。外科用ハブ５１０４は、患者の肺が虚脱したのを検出したことを、処置の予期されるステップ（事前にアクセス又は読み出すことができる）と比較することができるため、処置の手術部分が開始したことを推定して、それによって肺を虚脱させることがこの特定の処置における第１の手術ステップであると判定することができる。

第８の５２１６では、医療用撮像デバイス５１０８（例えば、スコープ）が挿入され、医療用撮像デバイスからのビデオ映像が開始される。外科用ハブ５１０４は、医療用撮像デバイスへの接続を通じて医療用撮像デバイスデータ（すなわち、静止画像データ又はリアルタイムのライブストリーミングビデオ）を受信する。医療用撮像デバイスデータを受信すると、外科用ハブ５１０４は、外科処置の腹腔鏡部分が開始したことを判定することができる。更に、外科用ハブ５１０４は、行われている特定の処置が、肺葉切除術とは対照的に区域切除術であると判定することができる（処置の第２のステップ５２０４で受信したデータに基づいて、楔形切除術は外科用ハブ５１０４によって既に考慮に入れられていないことに留意されたい）。医療用撮像デバイス１２４（図２）からのデータを利用して、様々な方法で、例えば、患者の解剖学的構造の可視化に対して向けられている医療用撮像デバイスの角度を判定することによって、利用されている（すなわち、起動されており、外科用ハブ５１０４とペアリングされている）数又は医療用撮像デバイスを監視することによって、及び利用されている可視化装置の種類を監視することによって、行われている処置の種類に関するコンテキスト情報を判定することができる。

例えば、ＶＡＴＳ肺葉切除術を実行するための１つの技術は、カメラを患者の胸腔の前下方角部の横隔膜上方に配置するが、他方、ＶＡＴＳ区域切除術を実行するための１つの技術は、カメラを、区域裂に対して前方の肋間位置に配置する。状況認識システムは、例えば、パターン認識技術又は機械学習技術を使用して、患者の解剖学的構造の可視化に従って、医療用撮像デバイスの位置を認識するように訓練することができる。別の例として、ＶＡＴＳ肺葉切除術を実行するための１つの技術は、単一の医療用撮像デバイスを利用するが、ＶＡＴＳ区域切除術を実行するための別の技術は複数のカメラを利用する。更に別の例として、ＶＡＴＳ区域切除術を実行するための１つの技術は、区域裂を可視化するために赤外線光源（可視化システムの一部として外科用ハブへと通信可能に連結できる）を利用するが、これはＶＡＴＳ肺葉切除術では利用されない。医療用撮像デバイス５１０８からのこのデータのいずれか又は全てを追跡することによって、外科用ハブ５１０４は、行われている特定の種類の外科処置、及び／又は特定の種類の外科処置に使用されている技術を判定することができる。

第９のステップ５２１８では、外科チームは、処置の切開ステップを開始する。外科用ハブ５１０４は、エネルギー器具が発射されていることを示すＲＦ又は超音波発生器からのデータを受信するため、外科医が患者の肺を切開して分離するプロセスにあると推定することができる。外科用ハブ５１０４は、受信したデータを外科処置の読み出しされたステップと相互参照して、プロセスのこの時点（すなわち、上述された処置のステップが完了した後）で発射されているエネルギー器具が切開ステップに対応していると判定することができる。

第１０のステップ５２２０では、外科チームは、処置の結紮ステップに進む。外科用ハブ５１０４は、器具が発射されていることを示すデータを外科用ステープル留め及び切断器具から受信するため、外科医が動脈及び静脈を結紮していると推定することができる。前ステップと同様に、外科用ハブ５１０４は、外科用ステープル留め及び切断器具からのデータの受信を、読み出しされたプロセス内のステップと相互参照することによって、この推定を導出することができる。

第１１のステップ５２２２では、処置の区域切除術の部分が行われる。外科用ハブ５１０４は、ステープルカートリッジからのデータを含む、外科用器具からのデータに基づいて、外科医が実質組織を横切開していると推定する。カートリッジデータは、例えば、器具によって発射されているステープルのサイズ又はタイプに対応し得る。カートリッジデータは、異なるタイプの組織に利用される異なるタイプのステープルに対して、ステープル留め及び／又は横切開されている組織のタイプを示し得る。発射されているステープルのタイプは実質組織又は他の同様の組織タイプに利用され、外科用ハブ５１０４は、区域切除処置が行われていると推定することができる。

続いて第１２のステップ５２２４で、結節切開ステップが行われる。外科用ハブ５１０４は、ＲＦ又は超音波器具が発射されていることを示す、発生器から受信したデータに基づいて、外科チームが結節を切開し、漏れ試験を行っていると推定することができる。この特定の処置の場合、実質組織が横切開された後に利用されるＲＦ又は超音波器具は結節切開ステップに対応しており、これにより外科用ハブ５１０４がこの推定を行うことができる。異なる器具が特定のタスクに対してより良好に適合するので、外科医が、処置中の特定のステップに応じて、手術用ステープリング／切断器具と手術用エネルギー（すなわち、ＲＦ又は超音波）器具とを、定期的に交互に切り替えることに留意されたい。したがって、ステープル留め器具／切断器具及び手術用エネルギー器具が使用される特定のシーケンスは、外科医が処置のどのステップを実行しているかを示すことができる。第１２のステップ５２２４が完了すると、切開部が閉鎖され、処置の術後部分が開始する。

第１３のステップ５２２６では、患者の麻酔を解く。外科用ハブ５１０４は、例えば、ベンチレータデータに基づいて（すなわち、患者の呼吸速度が増加し始める）、患者が麻酔から覚醒しつつあると推定することができる。

最後に、第１４の５２２８では、医療従事者が患者から様々な患者モニタリングデバイス５１２４を除去する。したがって、外科用ハブ５１０４は、ハブがＥＫＧ、ＢＰ、及び患者監視デバイス５１２４からの他のデータを喪失したとき、患者が回復室に移送されていると推定することができる。外科用ハブ５１０４と通信可能に連結された各種データソース５１２６から受信したデータに従って、外科用ハブ５１０４は、所与の外科的処置の各ステップが発生しているときを判定又は推定することができる。

図１１に示されるタイムライン５２００の第１のステップ５２０２に示されるように、ＥＭＲデータベース（複数可）からの患者データを利用して、行われる外科的処置の種類を推定することに加えて、患者データはまた、状況認識外科用ハブ５１０４によって利用されて、ペアリングされたモジュール式デバイス５１０２の制御調整を生成することができる。

画面上及び画面外で発生する混合された要素及びアクションを表示するためにレンダリングされた要素を用いて直接可視化される混合
外科用システム１、２、５０、５２、外科用ハブ６、５６、５１０４、通信システム６３、可視化システム８、拡張システム８３、撮像デバイス２４、９６、及びＡＲデバイス６６、８４などの、本明細書に開示される様々な外科用システム、外科用ハブ、通信システム、拡張システム、及び拡張現実デバイスの一般的な実装形態を説明してきたが、次に、本開示は、システム、ハブ、及びデバイスの様々な他の埋め込みを説明する。簡潔にするために、以下のセクションで説明するシステム、ハブ、及びデバイスの様々な詳細及び実装形態は、上記で説明した様々なシステム、ハブ、及びデバイスと同様であり、本明細書では繰り返さない。以下で説明されるシステム、ハブ、及びデバイスの任意の態様は、上記のシステム、ハブ、及びデバイスに持ち込む、及び／又はそれらによって実装することができる。

上記で説明したように、拡張現実ディスプレイデバイス及び他の種類のディスプレイデバイスを使用して、外科的処置中に手術室（ＯＲ）職員に情報のオーバーレイを提供することができる。いくつかの態様では、これらのオーバーレイは、ＯＲ職員が実行している処置のステップに関連する情報を含むことができる。したがって、オーバーレイによって表示される情報は、職員が使用している外科用器具、又は職員が作業している術野の領域に基づく必要があり得る。しかしながら、外科的処置中に、多種多様な外科用器具及び他のオブジェクトと相互作用する複数のＯＲ職員がいることが多い。更に、外科医、看護師、及び助手は全員、様々な時間に術野の中及び周囲で作業している可能性がある。したがって、各職員は、手術室内を移動して複数の外科用器具を操作し、互いに器械出しし、器具が使用されていないときに器具を脇に置いておく場合がある。ＯＲ内の絶えず変化する状況を前提とすると、外科用システムが、外科的処置全体を通じて種々のデバイス上に様々な職員に対して表示される必要がある情報を追跡し、まとめることは困難であり得る。したがって、関連情報を様々な拡張現実及び他のディスプレイデバイスによって適切に表示することができるように、ＯＲ内の複数のユーザ及びオブジェクトを追跡するための装置、システム、及び方法が必要とされている。

更に、外科的処置中の様々な時点で、職員、器具、及び他のオブジェクトが、術野の画像を捕捉するように構成された撮像デバイスなどの外科用システムの様々な撮像デバイスの視野に出入りする場合がある。その結果、拡張現実及び術野の捕捉された画像を表示している他のディスプレイデバイスに頼っている職員は、活発に使用されている器具の一部を見ることができない場合がある。したがって、職員は、器具の重要な属性を正確に知覚することができない場合がある。例えば、エンドカッタを使用して横切開を行う外科医は、エンドカッタが内視鏡の視野の外側を通過する際にエンドカッタの一部を見ることができない場合がある。視界が遮られるため、外科医は、エンドカッタのエンドエフェクタの関節運動範囲を知覚することができない場合がある。あるいは、別の例では、外科医は、エンドエフェクタの位置を知覚することができない場合がある。したがって、外科医は、トランザクションを正確に実行することに苦労することがある。したがって、撮像デバイスの視野の外側の外科用器具の属性を追跡し、拡張現実デバイス及び他のディスプレイデバイス上のオーバーレイを使用して、追跡された属性を表示するための装置、システム、及び方法が必要とされている。

また更に、外科的処置中の様々な時点で、外科用器具及び他のオブジェクトは、様々な撮像デバイスの視野の外側にあり得る。したがって、拡張現実及び他のディスプレイデバイスに頼る職員は、外科用器具と視野の外側の他のオブジェクトとの潜在的な相互作用を知覚することができない場合がある。例えば、外科医は、外科的処置のステップのためにエネルギーデバイスを使用している場合がある。しかしながら、外科医は、内視鏡によって捕捉された術野のライブ画像を示すディスプレイデバイスを見ながら、エネルギーデバイスが内視鏡の視野の外側の金属器具に近接していることを知覚することができない場合がある。したがって、外科医が金属器具に近接してエネルギーデバイスを起動させ、エネルギーデバイスの誤動作（例えば、電気アーク）を引き起こす可能性があるというリスクがある。別の例として、円形ステープラを使用して処置を行うことを試みる外科医は、撮像デバイスの視野内にあるステープラのデバイスデッキを視認することができるが、視野の外側にあるアンビルを視認することができない場合がある。したがって、外科医は、デバイスデッキ及びアンビルの取付けを最適化するために経路を定め組織を操作することが困難な場合がある。更に別の例として、デバイスを動作させる外科医は、外科用器具と撮像デバイスの視野の外側にあるオブジェクトとの間の潜在的な衝突又は意図しない相互作用を知覚することができない場合がある。したがって、外科用器具と撮像デバイスの視野の外側にあるオブジェクトとの相互作用を予測し、潜在的な相互作用に関連する外科用器具の属性を表示するための装置、システム、及び方法が必要とされている。

オブジェクトのリアルタイム位置追跡
様々な態様では、ＯＲ内の複数のユーザ及びオブジェクトを追跡するための装置、システム、及び方法が本明細書で開示される。いくつかの態様では、複数のユーザ及びオブジェクトを追跡するためのこれらの装置、システム、及び方法は、追跡されたオブジェクトに関係する関連情報が、本明細書で開示される様々な拡張現実及び他のディスプレイデバイスを使用して特定のユーザ（複数可）に表示され得ることを保証するように採用することができる。

図１２は、本開示のいくつかの非限定的態様による、ＯＲ内のオブジェクトの場所を追跡するための外科用システム１５０００の例を示す。外科用システム１５０００は、追跡システム１５００６及び少なくとも１つのＡＲデバイス６６と通信する外科用ハブ１５００２を含むことができる。いくつかの態様では、追跡システム１５００６は、可視化システム１５００８を含むことができる。外科用システム１５０００、外科用ハブ１５００２、及び可視化システム１５００８は、多くの態様において、それぞれ、上述の外科用システム、外科用ハブ、及び可視化システムのいずれか（例えば、外科用システム１、２、５０、５２；外科用ハブ６、５６、５１０４；可視化システム８、５８）のいずれかと同様であり得る。図１２の非限定的な態様では、追跡システム１５００６は、外科用ハブ１５００２と通信する。他の態様では、外科用ハブは、追跡システム１５００６を備えるモジュールを含むことができる。外科用ハブ１５００２は、以下でより詳細に説明するように、追跡システム１５００６から受信したデータに基づいて、ＯＲ内の様々なオブジェクトの位置及び／又は状態をマッピングするように構成された手術室マッピングモジュール１５００４を含むことができる。

追跡システム１５００６は、１つ以上の異なる種類の追跡方法に基づいて、ＯＲ内の様々なオブジェクトの位置及び／又は他の属性を追跡するように構成することができる。一態様では、追跡システム１５００６（及び／又は可視化システム１５００８）は、１つ以上の撮像デバイス１５０１０を含むことができる。撮像デバイス（複数可）１５０１０は、多くの態様において、可視化システム８に関して上述した撮像デバイス２４、９６、ＡＲデバイス６６及び／又は他の撮像センサと同様であり得る。したがって、撮像デバイス（複数可）１５０１０は、ＯＲ内の画像を捕捉するか、又は別様にオブジェクトを追跡するためのカメラ及び他の種類の可視及び非可視センサを含むことができる。例えば、撮像デバイス（複数可）１５０１０は、視覚、赤外線、及び／又は他のより高い波長の画像認識技術を採用して、ＯＲ内のオブジェクトの位置移動及び場所を確立し得る。撮像デバイス（複数可）１５０１０は、ＯＲ内のオブジェクトの画像が複数の角度から捕捉及び追跡されることができるように、重複する視野を伴って、手術室全体にわたって複数の場所に設置され得る。更に、複数の撮像デバイス１５０１０は、ＯＲ内のオブジェクトが第１の撮像デバイス１５０１０（例えば、第１のカメラ１５０１０）の視野から出るときに、そのオブジェクトを少なくとも第２の撮像デバイス１５０１０（例えば、第２のカメラ１５０１０）によって追跡することができるように実装され得る。

別の態様では、追跡システム１５００６は、ＯＲ内のオブジェクトを追跡するように構成された１つ以上の構造化光センサ１５０１２（例えば、構造化光スキャナ）を含むことができる。構造化光センサ（複数可）１５０１２は、オブジェクトによって引き起こされるパターンの歪みに基づいてＯＲ内のオブジェクトの位置を三角測量するために、例えば複数の角度から光の定義されたパターンを投影するように構成することができる。構造化光センサ（複数可）１５０１２は、Ｍｉｃｒｏｓｏｆｔ Ｋｉｎｅｃｔ、Ｉｎｔｅｌ Ｆ２００、Ｉｎｔｅｌ Ｒ２００、及び／又はＯｃｃｉｐｉｔａｌ Ｓｔｒｕｃｔｕｒｅなどのデバイスと同様であり得る、及び／又はそれらを含み得る。

別の態様では、追跡システム１５００６は、ＯＲ内のオブジェクトを追跡するように構成された１つ以上のＬＩＤＡＲ（光検出及び測距）センサ１５０１４を含むことができる。他の態様では、ＬＩＤＡＲと同様の技術を使用するセンサが、ＯＲ内のオブジェクトを追跡するために追跡システム１５００６によって採用され得る。

別の態様では、追跡システム１５００６は、ＯＲ内のオブジェクトを追跡するように構成された１つ以上の床センサ１５０１６を含むことができる。床センサ１５０１６は、重量センサを含むことができる。一態様では、追跡システムは、機器がＯＲ内のどこに配置されているかを判定するように構成された床センサ１５０１６のアレイを含むことができる。例えば、ここで図２及び図１２を参照すると、床センサ１５０１６は、手術台１４、外科医コンソール１８、ロボットハブ２２、サイドカート２０などの場所及び／又は位置を判定するように構成することができる。別の態様では、床センサ１５０１６は、ＯＲ内の職員の場所及び／又は位置をモニタリングするように構成することができる。

床センサ１５００６によって生成されたデータは、外科用ハブ１５００２によって処理されて、外科的処置の様々な態様に関連する判定を行い得る。例えば、床センサ１５００６によって測定された重量は、（例えば、デバイスが配置されたときの重量の変化を認識することによって）デバイスがサイドカート又はＯＲ機器の他の部品上に配置されたかどうかを判定するために使用され得る。別の例として、床センサ１５００６は、ＯＲ職員の移動（例えば、揺れ、体重分布など）に基づいてＯＲ職員の疲労を検出するために使用することができる。別の例として、床センサを使用して、手術中に患者の体重を追跡することができる。患者の体重は、患者に投与される薬物の用量が、追跡システム１５００６によって追跡されるように、その患者の体重の許容範囲内であることを確実にするためなどの種々の理由で、処置全体を通じて外科用ハブ１５００２によって検証され得る。更に別の例として、床センサ１５０１６は、処置中に床に落ちる医療廃棄物、デバイス、機器などを追跡するために使用することができる。

更に図１２を参照すると、別の態様では、追跡システム１５００６は、ＯＲ内のオブジェクトの位置、場所、及び／又は移動をモニタリングするように構成された１つ以上の音響センサ１５０１８を含むことができる。例えば、音響センサ１５０１８は、ＯＲ内のオブジェクトの位置移動を確立するために、音声ビーコン技術、位相コヒーレント追跡、及び／又は飛行時間三角測量を採用し得る。

別の態様では、追跡システム１５００６は、１つ以上の基準マーカ１５０２０を含むことができる。一態様では、基準マーカ１５０２０は、撮像デバイス１５０１０の視野に対して、及び／又は追跡システム１５００６の他のデバイス／センサのいずれかによって追跡される場所、位置、及び／若しくは移動データに対して、オブジェクトの場所、位置、及び／又は移動を追跡することを支援するように構成された任意の種類のマーカであり得る。例えば、基準マーカ（複数可）１５０２０は、ＲＦＩＤ（無線周波数識別）チップが取り付けられたオブジェクトの場所及び／又は位置を追跡するように構成されたＲＦＩＤチップを含むことができる。したがって、いくつかの態様では、基準マーカ（複数可）１５０２０は、外科用デバイス、手術室機器、ＯＲ職員によって装着されるオブジェクト、又は追跡システム１５００６によって追跡され得る任意の他のオブジェクトの中及び／又は上に配置することができる。いくつかの態様では、追跡システム１５００６による基準マーカ１５０２０の追跡は、例えば、基準マーカ１５０２０を含むオブジェクト（例えば、デバイス）のパッケージからの取り外し、基準マーカ１５０２０を含むオブジェクト（例えば、デバイス）へのバッテリの挿入、及び／又は基準マーカ１５０２０を含むオブジェクトがＯＲに入ったときなどのイベントの発生に基づいて開始するようにトリガすることができる。基準マーカ１５０２０は、以下でより詳細に論じられるように、拡張現実オーバーレイの生成を支援するために使用することができる。

別の態様では、追跡システム１５００６は、ＯＲ内のＯＲ職員及び／又はデバイスの位置、場所、及び／又は移動を識別及びモニタリングするように構成された１つ以上のユーザ／デバイスセンサ１５０２２を含むことができる。一態様では、ユーザ／デバイスセンサ１５０２２は、ＯＲ職員によって装着されるデバイス又は機器に含めることができる。ユーザ／デバイスセンサ１５０２２は、例えば、ＯＲ職員及び／又はデバイスの３次元移動を追跡するための加速度計、ジャイロスコープ、及び／又は磁力計を含むことができる。他の態様では、ユーザ／デバイスセンサ１５０２２は、ＯＲ職員によって装着されるＲＦＩＤブレスレットを含むことができる。一態様では、ユーザ／デバイスセンサ１５０２２からのデータは、外科用ハブ１５００２及び／又は追跡システム１５００６によって使用されて、外科的処置中の所与の時間にＯＲ内の特定のユーザにデバイス（例えば、外科用器具）を関連付けることができる。例えば、追跡システム１５００６及び／又は外科用ハブ１５００２は、複数のユーザ／デバイスセンサ１５０２２を使用して、ＯＲ職員及びデバイスの移動を別々に追跡するように構成されてもよい。追跡システム１５００６が、ＯＲ職員によって装着されたユーザ／デバイスセンサ１５０２２が外科用器具に関連付けられたユーザ／デバイスセンサ１５０２２に近接していることを検出すると、外科用ハブ１５００６は、ＯＲ職員が外科用器具に関連付けられている（例えば、リンクされている、使用している）ことを識別することができる。職員と器具との識別された関連付けに基づいて、外科用ハブ１５００２は、図１２～図１４に関して以下でより詳細に説明されるように、職員及び／又は外科用器具に固有の拡張現実オーバーレイの生成を引き起こすことができる。別の態様では、ユーザ／デバイスセンサ１５０２２は、器具及び／又はデバイスを識別するために使用することができる。ユーザ／デバイスセンサ１５０２２は、処置中に使用されている特定の種類のデバイスを識別するためのＲＦＩＤタグを含むことができる。一例として、ユーザ／デバイスセンサ１５０２２は、使用されているトロカールの種類を識別するためのトロカール上のＲＦＩＤタグであり得る。

別の態様では、追跡システム１５００６は、ＯＲ内のオブジェクトの位置、場所、及び／又は移動をモニタリングするために、ＧＰＳ（例えば、衛星）追跡技術を使用して追跡される１つ以上のＧＰＳ（全地球測位システム）センサ１５０２４を含むことができる。図１２の追跡システム１５００６は、撮像デバイス（複数可）１５０１０、構造化光センサ（複数可）１５０１２、ＬＩＤＡＲセンサ（複数可）１５０１４、床センサ１５０１６、音響センサ（複数可）１５０１８、基準マーカ（複数可）１５０２０、ユーザ／デバイスセンサ（複数可）１５０２２、及びＧＰＳ１５０２４を含む追跡技術を実装するように示されているが、追跡システム１５００６は、これらの技術の任意の組み合わせを使用するように構成することができる（例えば、これらの技術のうちのいくつかのみを含む）ことに留意されたい。更に、いくつかの態様では、ＯＲ内のオブジェクトの場所、位置、移動、及び／又は他の属性を追跡するように構成された他の追跡技術が、追跡システム１５００６によって実装され得る。

図１３は、本開示のいくつかの非限定的な態様による、手術室（ＯＲ）１５０５０内の追跡システム１５００６の例示的な実装形態の概略側面図である。ＯＲ１５０５０は、ＯＲの任意の部分であり得る。例えば、いくつかの態様では、図１３は、ＯＲ１５０５０の全体側面図を示すことができる。他の態様では、図１３は、術野の側断面を示すことができる。追跡システム１５００６は、第１の追跡デバイス１５０５４と、第２の追跡デバイス１５０５６とを含むことができる。第１の追跡デバイス１５０５６及び／又は第２の追跡デバイス１５０５４は、図１２に関して上記で言及された追跡技術（例えば、撮像デバイス（複数可）１５０１０、構造化光センサ（複数可）１５０１２、ＬＩＤＡＲセンサ（複数可）１５０１４、音響センサ（複数可）１５０１８など）の任意の組み合わせを使用して実装され得る。第１の追跡デバイス１５０５６及び第２の追跡デバイス１５０５４は、同じ追跡技術又は異なる追跡技術を実装し得る。

主に図１３を参照し、また図１２も参照すると、いくつかの態様では、第１の追跡デバイス１５０５４及び／又は第２の追跡デバイス１５０５６は、標的オブジェクト１５０６２の第１の部分１５０５８及び第２の部分１５０６０を追跡するように構成することができる。標的オブジェクト１５０６２は、例えば、術野内のオブジェクト、無菌バリア内の領域、患者、組織、ＯＲ機器、外科用デバイス、ＯＲ職員などのオブジェクト又は領域であってもよい。第１の追跡デバイス１５０５４は、標的オブジェクト１５０６２の第１の部分１５０５８及び第２の部分１５０６０を直接追跡する（１５０５５Ａ、１５０５５Ｂ）ことが可能であってもよい。例えば、第１の追跡デバイス１５０５４は、標的オブジェクト１５０６２の第１の部分１５０５８及び第２の部分１５０６０がカメラの視野内に直接ある（１５０５５Ａ、１５０５５Ｂ）カメラ（例えば、撮像デバイス１５０１０）であってもよい。第２の追跡デバイス１５０５６は、標的オブジェクト１５０６２の第１の部分１５０５８を直接追跡することができる（１５０５７Ａ）。しかしながら、第２の追跡デバイス１５０５６は、第２の部分１５０６０を追跡することができない場合がある（１５０５７Ｂ）。例えば、第２の追跡デバイスは、カメラ（例えば、撮像デバイス１５０１０）であってもよく、第２の部分１５０６０は、カメラの視野の外側にあってもよい。これは、妨害オブジェクト１５０６４（例えば、ＯＲ職員、外科用器具、組織など）が、標的オブジェクト１５０６２の第２の部分１５０６０の追跡１５０５７Ｂを遮断しているためであり得る。妨害オブジェクト１５０６４が第２の追跡デバイス１５０５６による標的オブジェクト１５０６２の第２の部分１５０６０の追跡（１５０５７Ｂ）を遮断しているにもかかわらず、第１の追跡デバイス１５０５４が第２の部分１５０６０を直接追跡する（１５０５５Ｂ）ため、追跡システム１５００６は依然として第２の部分１５０６０を追跡することができる。したがって、追跡システム１５０６０は、標的オブジェクト又は標的オブジェクトの一部が追跡デバイスのうちの１つの視野の外側にあるときに標的オブジェクトを追跡することができるように、重複する追跡エリアを追跡する追跡デバイス（例えば、重複する視野を有する複数の撮像デバイス／システム）を有するように構成することができる。したがって、外科用ハブ１５００２は、標的オブジェクト又はその一部が追跡デバイスのうちの１つの視野の外側にあるときであっても、標的オブジェクトに関連する情報（例えば、画像、オーバーレイ、通知など）をディスプレイデバイスに表示させることができる。

やはり主に図１３を参照し、図１２も参照すると、他の態様では、第１の追跡デバイス１５０５４及び／又は第２の追跡デバイス１５０５６は、標的オブジェクト１５０６２の第１の部分１５０５８及び第２の部分１５０６０を直接追跡する（１５０５５Ａ、１５０５５Ｂ、１５０５７Ａ）及び／又は間接的に追跡する（１５０５７Ｃ、１５０５７Ｄ）ように構成された追跡デバイスを含むことができる。例えば、第２の追跡デバイス１５０５６は、反射追跡技術（例えば、音響センサ（複数可）１５０１８）を実装するデバイスとすることができ、それにより、妨害オブジェクト１５０６４が直接追跡（１５０５７Ｂ）を禁止するとき、第２の追跡デバイス１５０５６は、（例えば、オブジェクト１５０６６を使用する反射に基づいて）標的オブジェクト１５０６２を間接的に追跡する（１５０５７Ｃ、１５０５７Ｄ）ことができる。したがって、追跡システム１５０６０は、標的オブジェクトの場所、位置、移動、及び／又は他の属性を追跡するために、重複する追跡領域（例えば、非画像技術、反射技術、音声ビーコン、ＧＰＳ、ＲＦＩＤなどを使用して追跡される領域を含む）を伴う追跡デバイスを有するように構成することができる。

図１４は、本開示の少なくとも１つの非限定的な態様による、図１２の手術室マッピングモジュール１５００４によって生成された例示的な手術室マップ１５０７０の概略平面図を示す。主に図１４を参照し、図１２～図１５も参照すると、追跡システム１５００６は、追跡技術（例えば、撮像デバイス（複数可）１５０１０、構造化光センサ（複数可）１５０１２、ＬＩＤＡＲセンサ（複数可）１５０１４、床センサ（複数可）１５０１６、音響センサ（複数可）１５０１８、基準マーカ（複数可）１５０２０、ユーザ／デバイスセンサ（複数可）１５０２２、及びＧＰＳ１５０２４）の任意の組み合わせを使用して生成された追跡データを外科用ハブ１５００２の手術室マッピングモジュール１５００４に送信することができる。追跡データに基づいて、手術室マッピングモジュール１５００４は、手術室１５０６０の手術室マップ１５０７０を生成することができる。マップ１５０７０は、手術室１５０６０内の複数のオブジェクト（例えば、１５０７２Ａ～１５０７２Ｌ）の場所、位置、運動、及び／又は他の属性に関する情報を含むことができる。例えば、マップ１５０７０のオブジェクト１５０７２Ａ～１５０７２Ｌは、手術室に存在する様々なデバイス、機器、ＯＲ職員に対応することができる。地図１５０７０は、追跡システム１５００６からの追跡データに基づいてリアルタイムで更新することができる。いくつかの態様では、マップ１５０７０は、本明細書で開示するディスプレイデバイスのいずれかによって表示することができる。他の態様では、外科用ハブ１５００２は、マップ１５０７０に基づいてオブジェクトの近接性及び／又は相互作用を判定することができる。

マルチユーザ追跡及び情報の関連付け
図１２～１４を参照すると、他の態様では、拡張現実オーバーレイ並びに他の通知及びアラートは、手術室マッピングモジュール１５００４によって判定されるようなオブジェクト（例えば、１５０７２Ａ－１５０７２Ｌ）の場所、位置、及び／又は運動に基づいて生成することができる。いくつかの態様では、ユーザ及びデバイスは、ユーザ／デバイスセンサ１５０２２及び他の感知技術（例えば、撮像デバイス（複数可）１５０１０、構造化光センサ（複数可）１５０１２、ＬＩＤＡＲセンサ（複数可）１５０１４、床センサ（複数可）１５０１６、音響センサ（複数可）１５０１８、ＧＰＳ１５０２４など）の両方に基づいて、追跡システム１５００６を使用して追跡することができる。いくつかの態様では、上述のように、ユーザ及びデバイスセンサデータは、外科用ハブ１５００２（例えば、手術室マッピングモジュール１５００４）及び／又は追跡システム１５００６によって使用されて、デバイス（例えば、外科用器具）を、外科的処置中の所与の時間にＯＲ内の特定のユーザに関連付けることができる。この態様では、ＯＲスイート内のデバイス及び職員の位置をマッピングする（１５０７０）ために、追跡システム１５００６及び手術室マッピングモジュール１５００４によって、能動的（ウェアラブル）及び受動的（カメラ）追跡方法の両方を使用することができる。例えば、ユーザ（外科医及び他のＯＲ職員）は、ユーザ／デバイスセンサ１５０２２を含む手袋を着用し得る。一態様では、外科用ハブ１５００２は、手袋がユーザの右手及び左手にリンクされていると識別するように構成することができる。

いくつかの態様では、手術室マッピングモジュール１５００４は、ユーザを手術室マップ１５０７０内の特定の位置に関連付けるように構成することができる。例えば、手術室マップ１５０７０は、ＯＲ１５０６０を特定のエリアに分割し得る。追跡システム１５００６からのデータに基づいて、手術室マッピングモジュール１５００４は、デバイスに対して優先される及び／又は制御を有するユーザを識別することができる。ユーザがデバイスを交換する（例えば、デバイスに対する物理的制御を異なるユーザに移す）と、センサ（例えば、デバイス／ユーザセンサ１５０２２）は、交換を検出することができ、それによって、外科用ハブ１５００２が、どのユーザがデバイスに関連付けられているかを識別することができる。例えば、ユーザによって着用される手袋は、指の圧力及び位置を追跡するセンサを備えて構成され得る。外科用ハブ１５００２（例えば、手術室マッピングモジュール１５００４）は、手袋センサデータ、デバイスセンサデータ、及び／又は撮像デバイス１５０１０からのデータに基づいて、誰がデバイスを制御しているかを判定して、誰がデバイスを導いているかの尤度を計算することができる。

様々な態様では、外科用ハブ１５００２は、本明細書で説明されるディスプレイ及び／又はＡＲデバイス（ディスプレイ７、９、１９；ＡＲデバイス６６、８４）のいずれかに、追跡システム１５００６、手術室マッピングモジュール１５００４、及び／又は外科用ハブ１５００２からのデータに基づいて、通知、アラート、及び／又はオーバーレイを表示させることができる。一態様では、ユーザが外科用器具を制御しているという手術室マッピングモジュール１５００４による判定に基づいて、通知を１人以上のユーザに表示することができる。例えば、外科医が装着しているＡＲデバイスは、外科医が別のＯＲ職員によって外科医に手渡された外科用器具を制御したことを示す通知を表示することができる。別の例として、外科医が装着している第１のＡＲデバイス及びＯＲ職員が装着している第２のＡＲデバイスの両方が、外科医がＯＲ職員から外科用器具に対する制御を取得したことを示す通知を表示することができる。いくつかの態様では、特定のユーザのＡＲデバイスが通知を表示するか否かは、追跡システム１５００６によって追跡されるデータ及び／又は外科用ハブ１５００２によって判定される情報に関連する優先度レベルに基づくことができる。

一態様では、外科用デバイスは、複数のユーザによって同時に使用されるように意図され得る。この態様では、外科用デバイスの部分（例えば、セクション）は、追跡システム１５００６によって個々に追跡することができる。例えば、円形ステープル留めデバイスは、調節可能なノブによって制御可能な格納式トロカールを有するデバイス部分を含むことができる。円形ステープル留めデバイスはまた、取り付け可能なアンビル部分を含むことができる。円形ステープルデバイスの異なる部分は、異なるユーザによって制御され、追跡システム１５００６によって別々に追跡することができる。追跡システム１５００６からのデータに基づいて、各ユーザに関連付けられたディスプレイデバイス（例えば、ＡＲデバイス）は、ユーザが制御を有するデバイスの部分（複数可）に基づいて、異なるオーバーレイを表示するように構成することができる。例えば、調節可能なトロカールを制御するユーザに関連付けられたディスプレイは、ユーザがノブを調節するときのダイヤル圧力に基づいてオーバーレイを表示することができる。両方のユーザに関連付けられたディスプレイは、アンビルがトロカールに取り付けられている状態を表示し得る。

いくつかの態様では、ユーザは、追跡可能センサ（例えば、ユーザ／デバイスセンサ１５０２２）を装着していない場合がある。追跡システム１５００６は、受動的追跡を使用して（例えば、撮像デバイス１５０１０を使用して）、ユーザ及び／又はユーザによって制御されるデバイスのアクションを追跡するように構成することができる。例えば、看護師が追跡可能なセンサを装着していない場合がある。看護師は、エンドカッタにステープルカートリッジを再装填し得る。特定のカートリッジの種類を色分けすることができる。看護師によって実行される再装填交換は、追跡システムのカメラに基づいて検出することができる。更に、カメラによって検出された再装填交換に基づく通知は、外科用ハブ１５００２が最後にデバイスを使用したと判定したユーザ（例えば、能動追跡デバイスを装着している外科医）に表示することができる。通知は、追跡システム１５００６のカメラによって検出されたカートリッジの色に基づいて再装填されたカートリッジの種類を示すオーバーレイを含むことができる。この追跡は、誤った種類のステープルカートリッジのエンドカッタへの装填などの潜在的なミスの検出を可能にすることができる。この追跡はまた、これらの検出に基づく警告の発行（例えば、表示通知）を可能にすることができる。更に、この追跡は、ユーザが直接観察することができないアクションの認識をユーザに提供することができる。

図１５は、本開示の少なくとも１つの非限定的な態様による、追跡システム１５００６によって生成されたデータに基づいて外科用ハブ１５００２によって判定された例示的な追跡対象オブジェクト相互作用の表１５１００である。各追跡オブジェクト相互作用１５１０２は、相互作用中のオブジェクト（複数可）のタイムスタンプ１５１０４及び位置１５１０６に関連付けられる。適用可能な場合、オブジェクト相互作用は、（例えば、ユーザ／デバイスセンサ１５０２２、撮像デバイス１５０１０などに基づいて判定されるような）オブジェクト相互作用に関与するユーザ及び／又はデバイスに基づいて、手袋ＩＤ１５１０８及びデバイスＩＤ１５１１０に関連付けられる。デバイスの複数の部分が追跡される場合、オブジェクト相互作用は、デバイス部分識別子１５１１２も含む。表はまた、オブジェクト相互作用（複数可）に関連付けられた追跡された情報に基づいて外科用ハブ１５００２によって判定されるアクションの種類１５１１４を含む。表はまた、追跡ソース１５１１６（例えば、撮像デバイス１５０１０（複数可）（カメラ）；ユーザ／デバイスセンサ１５０２２（ウェアラブル））を含む。したがって、追跡システム１５００６からのデータに基づいて、外科用ハブ１５００６は、デバイスハンドオフ、デバイス動作など、外科的処置中に発生する様々なアクションを識別することができる。

様々な態様では、図１５の例示的なテーブルに示される情報は、非リレーショナルデータベースに、又はＪＳＯＮアレイなどのフォーマットで記憶することができ、それによって、追加の情報が、（例えば、図１のストレージデバイス５、図５のストレージデバイス５５などによって記憶された）エントリに関連付けられることを可能にする。例えば、検出されたオブジェクト相互作用は、タイムスタンプ、デバイス位置／回転、機器／デバイスＩＤ、及び判定されたアクションなどの様々なデバイス関連情報を含むイベントログに入力され得る。いくつかの態様では、情報は、追跡された力／応力、指の位置、及び他の関連する診断データなど、デバイスによって感知されたデータに関連付けることができる。

予測に基づいて作成されるレンダリングされた画像との画面外相互作用
様々な態様では、撮像デバイスの視野の外側の外科用器具の属性を追跡し、拡張現実デバイス及び他のディスプレイデバイス上のオーバーレイを使用して追跡された属性を表示するための装置、システム、及び方法が本明細書で開示される。再び図１２を参照すると、外科用システム１５０００は、手術室内の様々なオブジェクトを可視化及び／又は追跡するように構成された追跡システム１５００６を含むことができる。上記で説明したように、いくつかの態様では、追跡システム１５００６は、可視化システム１５００８及び１つ以上の撮像デバイス１５０１０を含むことができる。可視化システム１５００８は、多くの態様において、本明細書に説明される可視化システム８、５８に類似することができ、撮像デバイス（複数可）１５０１０は、多くの態様において、撮像デバイス２４、９６、ＡＲデバイス６６、及び／又は本明細書に説明される他の撮像センサに類似することができる。したがって、可視化システム１５００８は、外科的処置中に術野の画像（例えば、ライブフィード）を捕捉するように構成することができる。例えば、可視化システムは、外科的処置のステップを実行するために外科用器具が使用されるときに、術野内の外科用器具の画像を捕捉することができる。可視化システム１５００８によって捕捉された画像は、拡張現実（ＡＲ）ディスプレイデバイスなどの本明細書に開示されるディスプレイデバイスのうちのいずれかによって表示され、外科的処置中に外科職員を支援することができる。

また、上記で説明されるように、いくつかの態様では、追跡システム１５００６は、外科用デバイスの種々の属性を追跡するために、基準マーカ（複数可）１５０２０を利用することができる。基準マーカ１５０２０は、撮像デバイス（複数可）１５０１０の視野に対する、及び／又は追跡システム１５００６の他のセンサ／デバイスによって検出される場所、位置、及び／又は移動に対するオブジェクトの場所、位置、及び／又は移動の追跡を支援するように構成される、任意の種類のマーカであることができる。例えば、基準マーカ（複数可）１５０２０は、ＲＦＩＤ（無線周波数識別）チップが取り付けられたオブジェクトの場所及び／又は位置を追跡するように構成されたＲＦＩＤチップを含むことができる。したがって、いくつかの態様では、基準マーカ（複数可）１５０２０は、外科用デバイス、手術室機器、ＯＲ職員によって装着されるオブジェクト、又は追跡システム１５００６によって追跡され得る任意の他のオブジェクトの中及び／又は上に配置することができる。

種々の態様では、外科用ハブ１５００２は、外科用システム１５０００（例えば、ＡＲデバイス６６）のディスプレイに、撮像デバイス１５０１０（複数可）に基づいて、術野内のオブジェクトの捕捉された画像を、基準マーカ１５０２０に基づいて判定されたオブジェクトの属性を表すグラフィックと重ね合わせて表示させるように構成することができる。いくつかの態様では、基準マーカ１５０２０は、外科用器具上／内に含まれ得る。基準マーカ（複数可）に基づいて、追跡システム１５００６は、基準マーカ（複数可）１５０２０に関連付けられた外科用器具の種類及び／又は外科用器具の様々な他の属性を識別するように構成することができる。

一態様では、追跡システム１５００６は、基準マーカ１５０２０の位置及び向きを検出することができる。基準マーカは、外科用器具の第１の部分上に位置することができる。基準マーカ１５０２０の検出された位置及び向きに基づいて、外科用ハブ１５００２は、撮像デバイス１５０１０によって捕捉された術野の画像に対する外科用器具の第２の部分の位置及び向きを判定することができる。したがって、外科用ハブ１５００２は、ＡＲデバイス６６に、基準マーカ１５０２０に基づいて、術野の画像上にオーバーレイされた、外科用器具の第２の部分の位置及び向きに関連するグラフィックを表示させることができる。別の態様では、外科用器具の第２の部分は、撮像デバイス１５０１０の視野の外側にあってもよい。そのため、撮像デバイス１５０１０によって捕捉された画像のみに基づいて外科用器具の第２の部分を観察することはできない。この態様では、外科用器具の第２の部分に関連するグラフィックは、外科用器具の第２の部分の位置及び向きを表す際のオーバーレイとしてＡＲデバイス６６によって表示することができる。したがって、ＡＲデバイス６６を見ているユーザは、外科用器具の第２の部分が撮像デバイス１５０１０の視野の外側にある場合であっても、外科用器具の第２の部分の位置及び向きを知覚することができる。

例えば、エンドカッタは、エンドカッタのハンドル上に基準マーカ１５０２０を含み得る。基準マーカ１５０２０に基づいて、外科用ハブ１５００２は、エンドエフェクタ又はエンドカッタの位置を判定することができる。ＡＲデバイス６６を使用して、撮像デバイス１５０１０外科医によって捕捉された術野の画像を視認する外科医が、エンドカッタを操作している場合がある。エンドエフェクタは、撮像デバイス１５０１０の視野内になくてもよい。したがって、外科医がエンドエフェクタの位置及び向きを知覚するのを支援するために、ＡＲデバイス６６は、エンドエフェクタの位置及び向きに関連するグラフィックを表示することができる。このグラフィックは、例えば、エンドエフェクタのレンダリングされた画像、又はエンドエフェクタの位置を指し示すグラフィックオブジェクトであり得る。

いくつかの態様では、追跡システム１５００６及び／又は外科用ハブ１５００２は、基準マーカ１５０２０に基づいてオブジェクトの様々な他の属性を判定することができる。一態様では、基準マーカ１５０２０は、画定された運動範囲（例えば、画定された動作容積及び／又は面積、関節運動範囲、回転範囲など）を有する外科用器具に関連付けることができる。したがって、基準マーカ１５０２０に基づいて、外科用ハブ１５００２は、術野の画像に対する器具の運動範囲を判定することができる。例えば、上の段落で言及したエンドカッタは、関節運動範囲及び／又は回転運動範囲を有することができる。したがって、基準マーカ１５０２０の追跡に基づいて、外科用ハブ１５００２は、エンドカッタの運動範囲を判定し、術野の画像に対する判定された運動範囲を表すオーバーレイグラフィックを表示することができる。

いくつかの態様では、追跡システム１５００６及び／又は外科用ハブ１５００２は、基準マーカ１５０２０を使用して、外科用器具の識別及び／又は種類などのオブジェクトの識別情報を検証することができる。例えば、上記で説明したように、外科用器具は、外科用ハブ（例えば、図５のデバイス／器具２１及び外科用ハブ５６）に通信可能に接続され得る。この接続に基づいて、外科用ハブは、器具を識別するように構成することができる。識別は、器具の種類（例えば、４５ｍｍステープラ、６０ｍｍステープラなど）を含むことができる。したがって、追跡システム１５００６及び基準マーカ１５０２０は、外科用器具を識別する代替及び／又は冗長手段として使用することができる。一態様では、基準マーカ１５０２０に基づいて器具を識別することは、器具がアクティブであるか、及び／又は使用可能であるかを判定することを含むことができる。

いくつかの態様では、追跡システム１５００６及び／又は外科用ハブ１５００２は、０基準点を提供するために、ＯＲ内のマーカとして基準マーカ１５０２０を使用することができる。別の態様では、基準マーカ１５０２０は、追跡システム１５００６によって追跡される他のオブジェクトを方向付けるために追跡システム１５００６及び／又は外科用ハブ１５００２によって使用され得る基準系を提供するために、ＯＲの周りの様々な場所に位置決めされ得る。例えば、基準マーカ１５０２０は、患者／又は器具上に配置して、患者及び器具の互いに対する相対位置を判定することができる。別の例として、基準マーカ１５０２０を器具上に配置して、器具の互いに対する近接度及び／又は相対距離を判定することができる。更に別の例として、基準マーカ１５０２０は、器具がテーブル上に配置されているかどうかを判断するために、テーブル又はカートなどの手術室内の器具及び他の機器上に配置することができる。

いくつかの態様では、追跡システム１５００６及び／又は外科用ハブ１５００２は、基準マーカ１５０２０を使用して、オブジェクトの移動に関連する潜在的な事故及び／又は安全上の懸念を検出することができる。検出された潜在的な事故及び／又は安全上の懸念は、ＡＲオーバーレイを介して通知として表示され得る。一態様では、基準マーカ１５０２０は、０基準点及び／又は安全ゾーンを指定するために様々な部分に位置決めすることができる。追跡システム１５００６は、オブジェクトが安全ゾーンに近づいているとき、又はオブジェクトが安全ゾーンの外側にあるときを検出するように構成することができる。例えば、外科的処置は、腹腔鏡器具と併せたロボットシステムの使用を含み得る。基準マーカ１５０２０は、ロボットシステムが腹腔鏡器具を安全に操作することができる安全ゾーンを指定するように位置決めすることができる。追跡システム１５００６及び／又は外科用ハブ１５００２は、腹腔鏡器具が安全ゾーンの外側にあることを識別し、ユーザに警告を提供する、及び／又はロボットシステムの動作を調整するように構成することができる。

図１６Ａ及び図１６Ｂは、本開示の少なくとも１つの非限定的な態様による、術野１５２０２内の外科用器具１５２０４の画像と、視野の外側の外科用器具１５２０４の部分１５２１０を表すグラフィック１５２１２、１５２１４とを含む例示的な術中ディスプレイ１５２００を示す。術中ディスプレイ１５００２は、本明細書に開示されるディスプレイデバイス（例えば、ＡＲデバイス６６）のいずれかによって表示することができる。主に図１６Ａ及び１６Ｂ並びに図１２も参照すると、術野１５２０２の画像は、撮像デバイス１５０１０によって捕捉することができる。撮像デバイス１５０１０によって捕捉された術野１５２０２の画像に基づいて、外科用器具１５２０４の第１の部分１５２０８（例えば、把持具部分）が、組織１５２０６と相互作用しているのを見ることができる。しかしながら、外科用器具１５２０４の第２の部分１５２１０（例えば、シャフト部分）は、撮像デバイス１５０１０の視野の外側にあり、したがって、術野１５２０２の画像内に見ることができない。外科用器具１５２０４は、基準マーカ１５０２０（図１６Ａ及び図１６Ｂには示さず）を含むことができる。基準マーカ１５０２０に基づいて、追跡システム１５００６及び／又は外科用ハブ１５００２は、術野に対する外科用器具１５２０４の第２の部分１５２１０の位置を判定することができる。したがって、外科用ハブ１５００２は、術中ディスプレイ１５２００に、第２の部分１５２１０の位置を表すグラフィック１５２１２、１５２１４を含めることができる。図１６Ａの非限定的な態様では、グラフィック１５２１２は、外科用器具１５２０４の第２の部分１５２１０のレンダリングされた画像１５２１２である。図１６Ｂの非限定的な態様では、グラフィック１５２１４は、術野１５２０２の画像に対する外科用器具１５２０４の第２の部分１５２１０の位置を表すグラフィックオブジェクトである。

したがって、外科用システム１５０００は、外科用器具の属性を追跡し、ＡＲディスプレイデバイス（例えば、ＡＲデバイス６６）及び本明細書に開示される他のディスプレイデバイスによって表示されるオーバーレイを使用して、追跡された属性を表示することができる。ＯＲ職員は、撮像デバイスによって捕捉された術野の画像を表示する拡張現実及び他のディスプレイデバイスに依存し得る。外科用システム１５０００は、職員が、撮像デバイスの視野の外側にあり得る外科用器具の部分を知覚することを可能にすることができる。更に、外科用システム１５０００は、ＯＲ職員が、器具の運動範囲及び／又は他の追跡されるオブジェクトに対する器具の位置など、単一の撮像デバイスに基づいて視認可能でない場合がある器具の重要な属性をより正確に知覚することを可能にすることができる。

視野内にないオブジェクトの相互作用及び相互関係の予測
様々な態様では、撮像デバイスの視野の外側にあるオブジェクトの相互作用を予測し、予測された相互作用に基づいてオブジェクトの属性を表示するための装置、システム、及び方法が本明細書で開示される。再び図１２を参照すると、外科用システム１５０００は、手術室内の様々なオブジェクトを可視化及び／又は追跡するように構成された追跡システム１５００６を含むことができる。上記で説明したように、いくつかの態様では、追跡システム１５００６は、可視化システム１５００８及び１つ以上の撮像デバイス１５０１０を含むことができる。可視化システム１５００８は、多くの態様において、上述の可視化システム８、５８と同様であり得、撮像デバイス（複数可）１５０１０は、多くの態様において、撮像デバイス２４、９６、ＡＲデバイス６６、及び／又は上述の他の撮像センサと同様であり得る。したがって、可視化システム１５００８は、外科的処置中に術野の画像（例えば、ライブフィード）を捕捉するように構成することができる。例えば、可視化システムは、外科用器具が外科的処置のステップを実行しているときに、術野内の外科用器具の画像を捕捉することができる。可視化システム１５００８によって捕捉された画像は、拡張現実（ＡＲ）ディスプレイデバイスなどの本明細書に開示されるディスプレイデバイスのうちのいずれかによって表示され、外科的処置中に外科職員を支援することができる。

いくつかの態様では、上記で説明したように、外科用器具は、外科用ハブに通信可能に接続され得る（例えば、デバイス／器具２１は、図５の外科用ハブ５６に接続することができる）。したがって、外科用ハブ１５００２は、器具の様々な感知されたパラメータ及び動作設定に関連する器具データを外科用器具から受信するように構成することができる。外科用ハブ１５００２によって受信された器具データに基づいて、外科用ハブ１５００２は、器具の動作パラメータを判定することができる。例えば、本明細書に開示される様々な外科用器具から受信された器具データに基づいて、外科用ハブ１５００２は、速度、力、発射速度、発射力、起動状態、電力レベル、起動時間、エネルギーモードなどの動作パラメータを判定することができる。

いくつかの態様では、外科用ハブ１５００２は、追跡システム１５００６からのデータに基づいて、及び／又は外科用器具から受信した器具データに基づいて、外科用器具及び他のオブジェクトの相互作用及び潜在的相互作用を識別するように構成することができる。更に、外科用器具と他のオブジェクト（複数可）との潜在的な相互作用は、可視化システム１５００８の撮像デバイス１５０１０によって捕捉された画像のみに基づいて知覚可能でない場合がある。したがって、撮像デバイス１５０１０からの捕捉された画像のみを表示するディスプレイデバイス（例えば、ＡＲデバイス６６）に依存するユーザは、潜在的な相互作用に正確に応答することができない場合がある。したがって、ユーザを支援するために、外科用ハブ１５００２は、ディスプレイデバイスに、外科用ハブによって検出された相互作用及び／又は潜在的な相互作用に関連する様々な通知及び他のグラフィカルインジケータ（例えば、オーバーレイ）を表示させるように構成することができる。

一態様では、追跡システム１５００６からのデータに基づいて、外科用ハブ１５００２は、追跡されるオブジェクトの衝突又は潜在的な衝突を検出することができる。例えば、本明細書に開示される様々な追跡技術（例えば、撮像デバイス（複数可）１５０１０、構造化光センサ（複数可）１５０１２、ＬＩＤＡＲセンサ（複数可）１５０１４、床センサ（複数可）１５０１６、音響センサ（複数可）１５０１８、基準マーカ（複数可）１５０２０、ユーザ／デバイスセンサ（複数可）１５０２２、及びＧＰＳ１５０２４）の任意の組み合わせを使用して、外科用ハブ１５００２は、外科用器具の一部と術野内の重要構造との間の潜在的な衝突を検出することができる。別の例として、外科用ハブ１５００２は、複数の外科用器具間の潜在的な衝突を検出するように構成することができる。更に別の例として、外科用ハブ１５００２は、術野内の様々な他のオブジェクト間の潜在的な衝突を検出するように構成することができる。検出された潜在的衝突及び／又は検出された衝突は、撮像デバイス（複数可）１５０１０の視野内にない場合があり、したがって、ＯＲ職員が見ることができない場合がある。検出された潜在的衝突及び／又は検出された衝突に基づいて、外科用ハブ１５００２は、ディスプレイデバイス（例えば、ＡＲデバイス６６）に、衝突に関する情報を有するオーバーレイなどの通知を表示させることができる。一態様では、通知は、衝突を回避するための警告及び／又は他の命令を含むことができる。別の態様では、通知は、衝突に関与するオブジェクトのグラフィカル表現とのオーバーレイを含むことができる。したがって、ＯＲ職員は、潜在的な衝突及び撮像デバイス（複数可）１５０１０の視野内にない衝突を知覚し、それに作用することができる。

別の態様では、追跡システム１５００６からのデータに基づいて、外科用ハブ１５００２は、追跡されたオブジェクトの意図しない相互作用を検出することができる。例えば、潜在的な衝突を検出することと同様に、外科用ハブ１５００２は、外科用器具の一部と術野内の重要構造との間の意図しない相互作用を検出することができる。別の例として、外科用ハブ１５００２は、複数の外科用器具間の意図しない相互作用を検出することができる。更に別の例として、外科用ハブ１５００２は、術野内の様々な他のオブジェクト間の意図しない相互作用を検出することができる。検出された意図しない相互作用は、撮像デバイス（複数可）１５０１０の視野内にない場合があり、したがって、ＯＲ職員によって見ることができない場合がある。検出された意図しない相互作用に基づいて、外科用ハブ１５００２は、ディスプレイデバイス（例えば、ＡＲデバイス６６）に、意図しない相互作用に関する情報とのオーバーレイ、相互作用を回避するための警告及び／若しくは他の命令、並びに／又は相互作用に関与するオブジェクトのグラフィカル表現とのオーバーレイなどの通知を表示させることができる。したがって、ＯＲ職員は、撮像デバイス（複数可）１５０１０の視野内にない意図しない相互作用を知覚し、それに作用することができる。いくつかの態様では、外科用ハブ１５００２は、検出された意図しない相互作用に基づいて器具の動作を防止することができる。

例えば、ユーザは、単極エネルギーデバイスを使用している場合がある。追跡システム１５００６及び／又は外科用ハブ１５００２は、単極エネルギーデバイスが金属オブジェクト（例えば、別の外科用器具、術野内のオブジェクトなど）に近接していることを検出してもよい。金属オブジェクトに近接して単極デバイスを起動させることは、アーク放電を引き起こす可能性があるため、外科用ハブ１５００２は、単極デバイスと金属オブジェクトとの間に潜在的な意図しない相互作用が存在することを判定することができる。検出された意図しない相互作用に基づいて、外科用ハブ１５００２は、ＡＲディスプレイデバイス６６に、相互作用のオーバーレイ警告を表示させ得る。別の態様では、外科用ハブ１５００２は、単極エネルギーデバイスの起動を防止することができる。更に別の態様では、外科用ハブ１５００２は、オーバーレイを表示させて、エネルギー方向を意図された治療ゾーンに向け直すようにユーザに指示することができる。

いくつかの態様では、検出された潜在的衝突、検出された衝突、検出された意図しない相互作用、及び他の検出されたオブジェクト間の相互作用に基づいて表示される通知、警告、及び／又はオーバーレイは、相互作用に関与するオブジェクトの属性を含むことができる。オブジェクトの属性は、外科用ハブ１５００２によって受信された器具データに基づいてもよく、及び／又は追跡システム１５００６からの追跡データに基づいてもよい。例えば、オブジェクト間の相互作用の力、速度、衝突、及び／又は物理的大きさが、オーバーレイとして表示されてもよい。他の態様では、通知、警告、及び／又はオーバーレイは、相互作用の位置を示すグラフィックを含むことができる。したがって、このグラフィックを見ているユーザは、相互作用を見るために撮像デバイスの視野を調整することができる。

別の態様では、追跡システム１５００６からのデータに基づいて、外科用ハブ１５００２は、ディスプレイデバイス（例えば、ＡＲデバイス６６）によってグラフィックオーバーレイを表示させて、ユーザが外科的処置のステップを実行するのを支援することができる。一態様では、オーバーレイは、術野の画像を捕捉する撮像デバイス１５０１０の視野の外側にあるオブジェクトについてのグラフィカル表現及び／又はインジケータを含むことができる。グラフィックオーバーレイは、視野外にあるオブジェクトの位置及び／又は他の属性に関する情報を提供することができる。例えば、外科医は、円形ステープラを使用して処置を行っている場合がある。処置は、ステープラのデバイスデッキを別個のアンビル部分に取り付けることを含み得る。ステープラのデバイスデッキは、視野内にあってもよく、アンビルは、視野の外側にあってもよい（例えば、カメラ角度に基づく視野外、組織がアンビルの視野を妨害しているため視野外など）。外科用ハブ１５００２は、ディスプレイデバイスに、アンビルのレンダリングされた画像又は他のグラフィカル表現を表示させることができる（例えば、アンビルのオフ画像位置を示すこと、アンビルのレンダリングされた画像を妨害組織の上にオーバーレイすることなど）。別の態様では、外科用ハブ１５００２は、デバイスデッキへのアンビルの取り付けを最適化するために組織が操作され得る方向及び／又は経路を示す方向インジケータオーバーレイをディスプレイデバイスに表示させることができる。したがって、オーバーレイは、外科的処置のステップの所望の結果をより容易に達成するために、撮像デバイス１５０１０の視野の外側のオブジェクトがどのように操作され得るかを外科医が知覚することを支援することができる。

別の態様では、追跡システム１５００６からのデータに基づいて、外科用ハブ１５００２は、様々な器具を使用する必要性を置き換え得るディスプレイデバイス（例えば、ＡＲデバイス６６）によってグラフィックオーバーレイを表示させることができる。例えば、図１７Ａ及び１７Ｂは、本開示の少なくとも１つの非限定的な態様による、胃組織１５３０６の切断中の術野１５３０２を示す例示的な術中ディスプレイ１５３００を示す。術中ディスプレイ１５０００は、本明細書に開示されるディスプレイデバイス（例えば、ＡＲデバイス６６）のいずれかによって表示することができる。図１７Ａを参照すると、ブジー管１５３１０が患者に挿入されており、外科医が外科用把持具１５３０４によって補助されたエンドカッタ１５３１２を使用して胃組織１５３０６に切断線１５３０８を作るときのガイドを提供している。ここで図１７Ｂを参照すると、ブジー管１５３１０はもはや使用されていない。代わりに、一態様では、仮想ブジー１５３１６のグラフィカルオーバーレイを術中ディスプレイ１５３００によって表示して、胃組織１５３０６を切断するためのガイドを外科医に提供することができる。別の態様では、切断線ガイド１５３１４のグラフィカルオーバーレイを術中ディスプレイ１５３００によって表示して、外科医にガイドを提供することができる。したがって、グラフィカルオーバーレイ１５３１４、１５３１６は、ブジー管１５３１０を患者内に物理的に設置する必要性に取って代わることができる。

図１８は、本開示のいくつかの非限定的な態様による、外科用システムの複合現実可視化のための方法１５４００を示す。方法１５４００は、外科用システム１、２、５０、５２、１５０００、外科用ハブ６、５６、５１０４、１５００２、追跡システム１５００６、可視化システム８、１５００８、通信システム６３、拡張システム８３、及びＡＲデバイス６６、８４などの、外科用システム、外科用ハブ、追跡システム、可視化システム、拡張システム、ＡＲデバイス、それらの構成要素のいずれか、並びに本明細書に開示される任意の他のデバイス及びシステムの任意の組み合わせによって実施され得る。

方法１５４００によれば、第１の可視化システムの第１のカメラは、術野におけるオブジェクトの画像を捕捉することができ（１５４０２）、オブジェクトの第１の部分は、第１のカメラの視野の外側にある。追跡システムは、オブジェクトの第２の部分の位置を追跡することができる（１５４０４）。外科用ハブは、オブジェクトの第２の部分の追跡された位置に基づいてオブジェクトの属性を判定することができ（１５４０６）、オブジェクトの属性は、カメラの視野の外側のオブジェクトの第１の部分に関連する。拡張現実ディスプレイデバイスは、術野内のオブジェクトの捕捉された画像と、オブジェクトの属性に基づくグラフィックとを表示することができる（１５４０８）。一態様では、オブジェクトは、外科用器具、患者組織、ユーザ、又はそれらの組み合わせを含むことができる。

方法１５４００の一態様によれば、オブジェクトの第２の部分の追跡された位置に基づいてオブジェクトの属性を判定すること（１５４０６）は、オブジェクトの第１の部分の位置を判定することを含むことができる。更に、グラフィックを表示すること（１５４０８）は、拡張現実ディスプレイデバイスが、オブジェクトの第１の部分のレンダリングされた画像を表示することを含むことができる。

方法１５４００の別の態様では、追跡システムは可視化システムを含むことができる。更に、可視化システムは、第２のカメラを含むことができる。オブジェクトの第２の部分の位置を追跡すること（１５４０４）は、第２のカメラがオブジェクトの第２の部分の画像を捕捉することを含むことができる。オブジェクトの第２の部分は、第１のカメラの視野の外側にあり得る。方法１５４００の別の態様では、オブジェクトの第２の部分の位置を追跡すること（１５４０４）は、構造化光センサ、光検出及び測距（ＬＩＤＡＲ）センサ、無線周波数識別（ＲＦＩＤ）、全地球測位システム（ＧＰＳ）追跡、音声ビーコン、非視覚的光追跡、又はそれらの組み合わせを使用してオブジェクトの第２の部分を追跡することを含むことができる。

方法１５４００の別の態様では、追跡システムは、術野内の構造の位置を追跡することができる。更に、オブジェクトの第２の部分の追跡された位置に基づいてオブジェクトの属性を判定すること（１５４０６）は、外科用ハブが、オブジェクトの第１の部分と構造との相互作用を識別することを含むことができる。一態様では、拡張現実ディスプレイデバイスは、構造の位置に基づくグラフィックを表示することができる。別の態様では、構造の位置に基づくグラフィックを表示することは、オブジェクトの第１の部分と構造との識別された相互作用に基づくアラートを表示することを含むことができる。更に別の態様では、構造の位置に基づくグラフィックを表示することは、相互作用の力、相互作用の速度、オブジェクトの第１の部分及び構造の衝突の表示、オブジェクトの通電状態、時間、又はそれらの組み合わせを表示することを含むことができる。

方法１５４００の別の態様では、オブジェクトは、基準マーカを含む外科用器具を含むことができる。この態様では、オブジェクトの第２の部分の位置を追跡すること（１５４０４）は、追跡システムが基準マーカを追跡することを含むことができる。別の態様では、外科用ハブは、追跡された基準マーカに基づいて外科用器具の運動範囲を判定することができる。更に、グラフィックを表示すること（１５４０８）は、拡張現実ディスプレイデバイスが、外科用器具の運動範囲を表すレンダリングされた画像を表示することを含むことができる。

ネットワークを介したデバイス固有情報の表示及びデバイス使用の管理
本開示を通して説明されるように、種々のデバイス及び器具を、外科的処置を行うために使用することができる。これらのデバイスは、広範に変化し得る。例えば、デバイスは、異なるデバイス種類及び異なるデバイスバージョンを有することができ、それぞれが異なる特徴及び用途を有する。場合によっては、デバイスの特徴及び用途は、デバイス製造業者によって更新され得る。更に、デバイス製造業者は、既存のデバイスのための新しい技術を開発し得るか、又はデバイス動作に関連するソフトウェア更新をリリースし得る。他の場合には、デバイスは、製造業者によって回収され得る。更に他の場合には、使用されるべきではない偽造デバイス又は偽造デバイスの構成要素が存在し得る。したがって、ＯＲ職員が外科的処置のためにデバイスを使用するときに知る必要があるデバイス識別関連情報が豊富に存在する。

更に、ＯＲ職員がデバイスを使用する際に考慮しなければならないデバイス操作関連情報が豊富に存在する。例えば、デバイス性能は、繰り返し使用に基づいて経時的に劣化する場合がある。別の例として、デバイスは、外科的処置の過程中に過剰使用又は誤用される可能性がある。更に、デバイスは、ユーザが容易にアクセスする方法を認識していないか、又は知っていない可能性がある情報を感知し得る。したがって、デバイス関連情報を管理し、ユーザが関連するデバイス関連情報に容易にアクセスできるようにするための装置、システム、及び方法が必要とされている。

様々な態様では、デバイス関連情報を管理するための装置、システム、及び方法が本明細書で開示される。上記で説明したように、デバイス及び外科用器具は、外科用ハブに通信可能に接続され得る（例えば、デバイス／器具２１は、図５の外科用ハブ５６に接続することができる）。したがって、外科用ハブは、種々の外科用システムとともに使用される種々のデバイスからデバイス関連情報を受信するように構成することができる。更に、外科用ハブは、病院ネットワーク及び／又はデバイス製造業者のネットワークに通信可能に結合され得る。例えば、図５を参照すると、コンピュータ実装インタラクティブ外科用システム５０は、遠隔サーバ６３を含み得るクラウド５４と通信する少なくとも１つの外科用ハブ５６を含む、１つ以上の外科用システム５２を含むことができる。一態様では、クラウド５４及び／又は遠隔サーバ６３は、病院ネットワークに関連付けることができる。病院ネットワークは、デバイス製造業者データベースと通信し得る。別の態様では、クラウド５４及び／又はリモートサーバ６３は、デバイス製造業者データベースに関連付けることができる。

いくつかの態様では、外科用ハブ５６に接続されたデバイス／器具２１は、病院ネットワーク及び／又はデバイス製造業者データベースとの通信に基づいて認可することができる。病院ネットワークは、接続されたデバイス／器具２１が認可されているかどうかを判定するように構成することができる。例えば、外科用ハブ５６に接続しようとしている偽造デバイスは、認可されない場合がある。一態様では、病院ネットワークは、製造業者データベースと通信して、偽造デバイスが許可されていないと判定することができる。別の例として、外科用ハブ５６に接続しようと試みるリコールされたデバイスは、許可され得ない。認可されていないデバイス／器具２１は、例えば外科用ハブ５６によって、使用が阻止され得る。

一態様では、デバイス／デバイスの器具２１の認可は、外科的処置中に検証することができる。別の態様では、デバイス／器具の認可は、デバイス／器具２１及び／又はデバイスの構成要素（例えば、再装填カートリッジ、交換構成要素）がストックされる時点で検証することができる。更に別の態様では、外科用ハブ５６は、デバイス／器具２１が認可されていない場合であっても、処置を進めることを可能にするように構成され得る。例えば、認可の欠如が病院ネットワークがダウンしていることに起因する場合、デバイス／器具の認可なしで処置を進めることが許可され得る。

いくつかの態様では、接続されたデバイス／器具２１は、デバイスを使用するための技術、用途、及び／又はソフトウェア更新に関連する情報を記憶することができる。この情報は、外科用ハブ５６に通信され、病院ネットワーク（例えば、サーバ６３）によって記憶され得る。他の態様では、デバイスを使用するための技術、用途、及び／又はソフトウェア更新に関する情報は、デバイスの接続時にデバイス製造業者のデータベース上でアクセスされ得る。デバイス／器具のための命令及び／又は意図される使用は、ディスプレイデバイス（例えば、ＡＲデバイス６６）を介して、デバイスのユーザに提示され得る。

いくつかの態様では、病院ネットワーク及び／又はデバイス製造業者データベースは、推奨される及び／又は意図されるデバイス使用に関する情報を記憶することができる。このデバイス使用情報は、特定のデバイス／器具２１が推奨される使用を超えたかどうかを判定するために使用することができる。例えば、デバイス使用情報は、特定の期間中の最大推奨使用を含むことができる（例えば、デバイスが、指定期間よりも長く使用されることを意図されていない場合がある、デバイスが、特定の期間にわたって指定回数を超えて起動されることを意図されていない場合がある、など）。別の例として、デバイス使用情報は、デバイスの寿命の過程にわたる最大推奨起動回数及び／又は最大使用時間を含むことができる。別の例として、デバイス使用情報は、特定のデバイス／器具２１の用途を含むことができる。このデバイス使用情報に基づいて、外科用ハブ５６は、検出された酷使及び／又は誤用をユーザにアラートする（例えば、ＡＲデバイス６６などのディスプレイデバイスを介して）ように構成することができる。他の態様では、外科用ハブ５６は、病院ネットワーク及び／又はデバイス製造業者データベースによって記憶されたデバイス使用情報に基づいて、デバイスの更なる使用を防止するように構成することができる。

様々な態様では、ユーザが関連するデバイス関連情報に容易にアクセスすることを可能にするための装置、システム、及び方法が本明細書で開示される。依然として図５を参照し、また図８も参照すると、外科用ハブ５６に接続されたデバイス／器具２１を使用するユーザは、ディスプレイデバイス（例えば、ハブディスプレイ６５、器具ディスプレイ５０、ＡＲデバイス６６など）が、デバイス／器具２１に関連するデバイス情報を表示するように要求することができる。例えば、外科医は、外科用ハブ５６に関連付けられたマイクロフォンによって検出される口頭プロンプトを提供して、デバイス情報が表示されるように要求することができる（例えば、外科医は「情報を見せてください」と言うことができる）。デバイス情報を表示させるというユーザの要求は、外科用ハブ５６に、ディスプレイデバイスにデバイス／器具２１に関連する情報を表示させることができる。

様々な態様では、デバイス／器具２１に関連して表示される情報は、デバイスの使用履歴に関連する情報、及びデバイスの現在の動作に関連する他の情報を含むことができる。いくつかの態様では、表示される情報は、デバイスの種類に応じて変化し得る。一態様では、デバイス／器具２１がエネルギーデバイスである場合、表示される情報は、例えば、起動の数、起動の総時間、ジョーにおける残留温度、デバイスの推定装着状態、最良使用に影響を及ぼし得るデバイス固有較正及び／又は特徴付け情報、対象のデバイスパラメータ、又はそれらの組み合わせを含むことができる。別の態様では、デバイス／器具２１がエンドカッタである場合、表示される情報は、例えば、発射回数、推定アンビル反り矯正情報、構築中の試験皮膚上の発射に基づく組織間隙の高／低、対象のデバイスパラメータ（例えば、最大関節角度、ジョー温度など）、又はこれらの組み合わせを含むことができる。したがって、デバイスのユーザは、（例えば、表示された使用履歴に基づいて）デバイスがその推奨寿命に近づいているか又はそれを超えているかどうかを容易に判定することが可能であり得る。ユーザはまた、外科的処置中の意思判定を支援するために、デバイスの動作に関連する重要なパラメータに容易にアクセスすることが可能であり得る。

本明細書に記載される主題の様々な追加的態様は、以下の番号付けされた実施例において説明される。
実施例１：外科用システムの複合現実可視化のための方法であって、第１の可視化システムの第１のカメラによって、術野内のオブジェクトの画像を捕捉することであって、オブジェクトの第１の部分が第１のカメラの視野の外側にある、ことと、追跡システムによって、オブジェクトの第２の部分の位置を追跡することと、外科用ハブによって、オブジェクトの第２の部分の追跡された位置に基づいてオブジェクトの属性を判定することであって、オブジェクトの属性がカメラの視野の外側のオブジェクトの第１の部分に関連する、ことと、拡張現実ディスプレイデバイスによって、術野内のオブジェクトの捕捉された画像と、オブジェクトの属性に基づくグラフィックとを表示することと、を含み、オブジェクトは、外科用器具、患者組織、若しくはユーザ、又はこれらの組み合わせを含む、方法。

実施例２：オブジェクトの第２の部分の追跡された位置に基づいてオブジェクトの属性を判定することは、オブジェクトの第１の部分の位置を判定することを含み、グラフィックを表示することは、拡張現実ディスプレイデバイスによって、オブジェクトの第１の部分のレンダリングされた画像を表示することを含む、実施例１に記載の方法。

実施例３：追跡システムは、可視化システムを備え、可視化システムは、第２のカメラを備え、オブジェクトの第２の部分の位置を追跡することは、第２のカメラによって、オブジェクトの第２の部分の画像を捕捉することを含み、オブジェクトの第２の部分は、第１のカメラの視野の外側にある、実施例１～２のいずれか１つに記載の方法。

実施例４：追跡システムによって、オブジェクトの第２の部分の位置を追跡することは、構造化光センサ、光検出及び測距（ＬＩＤＡＲ）センサ、無線周波数識別（ＲＦＩＤ）、全地球測位システム（ＧＰＳ）追跡、音声ビーコン、非視覚的光追跡、又はこれらの組み合わせを使用してオブジェクトの第２の部分を追跡することを含む、実施例１～３のいずれか１つに記載の方法。

実施例５：追跡システムによって、術野内の構造の位置を追跡することを更に含み、オブジェクトの第２の部分の追跡された位置に基づいてオブジェクトの属性を判定することは、外科用ハブによって、オブジェクトの第１の部分と構造との相互作用を識別することを含む、実施例１～４のいずれか１つに記載の方法。

実施例６：拡張現実ディスプレイデバイスによって、構造の位置に基づくグラフィックを表示することを更に含む、実施例１～５のいずれか１つに記載の方法。

実施例７：オブジェクトの属性に基づくグラフィックを表示することは、拡張現実ディスプレイデバイスによって、識別された相互作用に基づくアラートを表示することを含む、実施例１～６のいずれか１つに記載の方法。

実施例８：オブジェクトの属性に基づくグラフィックを表示することは、拡張現実ディスプレイデバイスによって、相互作用の力、相互作用の速度、オブジェクトの第１の部分及び構造の衝突の表示、オブジェクトの通電状態、時間、又はそれらの組み合わせを表示することを含む、実施例１～７のいずれか１つに記載の方法。

実施例９：オブジェクトは、基準マーカを含む外科用器具を含み、オブジェクトの第２の部分の位置を追跡することは、追跡システムによって基準マーカを追跡することを含む、実施例１～８のいずれか１つに記載の方法。

実施例１０：外科用ハブによって、追跡された基準マーカに基づいて外科用器具の運動範囲を判定することを更に含み、グラフィックを表示することは、拡張現実ディスプレイデバイスによって、外科用器具の運動範囲を表すグラフィックを表示することを含む、実施例１～９のいずれか１つに記載の方法。

実施例１１：複合現実可視化のための外科用システムであって、術野内のオブジェクトの画像を捕捉するように構成される第１のカメラを備える第１の可視化システムであって、オブジェクトの第１の部分は、カメラの視野の外側にある、第１の可視化システムと、オブジェクトの第２の部分の位置を追跡するように構成された第１の追跡システムと、オブジェクトの第２の部分の追跡された位置に基づいてオブジェクトの属性を判定するように構成された外科用ハブであって、オブジェクトの属性がカメラの視野の外側のオブジェクトの第１の部分に関連する、外科用ハブと、術野内のオブジェクトの捕捉された画像と、オブジェクトの属性に基づくグラフィックとを表示するように構成された拡張現実ディスプレイデバイスと、を備え、オブジェクトは、外科用器具、患者組織、ユーザ、又はそれらの組み合わせを含む、外科用システム。

実施例１２：オブジェクトの属性は、オブジェクトの第１の部分の位置を含み、グラフィックは、オブジェクトの第１の部分のレンダリングされた画像を含む、実施例１１に記載のシステム。

実施例１３：追跡システムは、可視化システムを備え、可視化システムは、オブジェクトの第２の部分の画像を捕捉するように構成された第２のカメラを備え、オブジェクトの第２の部分は、第１の可視化システムの第１のカメラの視野の外側にある、実施例１１～１２のいずれか１つに記載のシステム。

実施例１４：追跡システムは、構造化光センサ、光検出及び測距（ＬＩＤＡＲ）センサ、無線周波数識別（ＲＦＩＤ）、全地球測位システム（ＧＰＳ）追跡、音声ビーコン、非視覚的光追跡、又はこれらの組み合わせを使用する、実施例１１～１３のいずれか１つのシステム。

実施例１５：追跡システムは、術野内の構造の位置を追跡するように構成され、外科用ハブは、オブジェクトの第１の部分と構造との相互作用を識別するように構成され、オブジェクトの属性は、識別された相互作用を含む、実施例１１～１４のいずれか１つに記載のシステム。

実施例１６：拡張現実ディスプレイデバイスは、構造の位置に基づくグラフィックを表示するように構成されている、実施例１１～１５のいずれか１つに記載のシステム。

実施例１７：オブジェクトの属性に基づくグラフィックは、識別された相互作用に基づくアラートを含む、実施例１１～１６のいずれか１つに記載のシステム。

実施例１８：オブジェクトの属性に基づくグラフィックは、相互作用の力、相互作用の速度、オブジェクトの第１の部分及び構造の衝突の表示、オブジェクトの通電状態、時間、又はそれらの組み合わせを含む、実施例１１～１７のいずれか１つに記載のシステム。

実施例１９：オブジェクトは、別の外科用器具を含み、外科用器具は、基準マーカを備え、追跡システムは、基準マーカを追跡するように構成されている、実施例１１～１８のいずれか１つに記載のシステム。

実施例２０：外科用ハブは、追跡された基準マーカに基づいて外科用器具の運動範囲を判定するように構成され、オブジェクトの属性は、外科用器具の運動範囲を含み、オブジェクトの属性に基づくグラフィックは、外科用器具の運動範囲を表すグラフィックを含む、実施例１１～１９のいずれか１つに記載のシステム。

いくつかの形態が示され説明されてきたが、添付の特許請求の範囲をそのような詳細に制限又は限定することは、本出願人が意図するところではない。多くの修正、変形、変更、置換、組み合わせ及びこれらの形態の等価物を実装することができ、本開示の範囲から逸脱することなく当業者により想到されるであろう。更に、記述する形態に関連した各要素の構造は、その要素によって実施される機能を提供するための手段として代替的に説明することができる。また、材料が特定の構成要素に関して開示されているが、他の材料が使用されてもよい。したがって、上記の説明文及び添付の特許請求の範囲は、全てのそのような修正、組み合わせ、及び変形を、開示される形態の範囲に含まれるものとして網羅することを意図としたものである点を理解されたい。添付の特許請求の範囲は、全てのそのような修正、変形、変更、置換、修正、及び等価物を網羅することを意図する。

上記の詳細な説明は、ブロック図、フロー図及び／又は実施例を用いて、装置及び／又はプロセスの様々な形態について記載してきた。そのようなブロック図、フロー図及び／又は実施例が１つ以上の機能及び／又は動作を含む限り、当業者に理解されたいこととして、そのようなブロック図、フロー図及び／又は実施例に含まれる各機能及び／又は動作は、多様なハードウェア、ソフトウェア、ファームウェア又はこれらの事実上の任意の組み合わせによって、個々にかつ／又は集合的に実装することができる。当業者には、本明細書で開示される形態のうちのいくつかの態様の全部又は一部が、１台以上のコンピュータ上で稼働する１つ以上のコンピュータプログラムとして（例えば、１つ以上のコンピュータシステム上で稼働する１つ以上のプログラムとして）、１つ以上のプロセッサ上で稼働する１つ以上のプログラムとして（例えば、１つ以上のマイクロプロセッサ上で稼働する１つ以上のプログラムとして）、ファームウェアとして、又はこれらの実質的に任意の組み合わせとして集積回路上で等価に実装することができ、回路を設計すること、並びに／又はソフトウェア及び／若しくはファームウェアのコードを記述することは、本開示を鑑みれば当業者の技能の範囲内に含まれることが理解されよう。加えて、当業者には理解されることとして、本明細書に記載した主題の機構は、多様な形態で１つ以上のプログラム製品として配布されることが可能であり、本明細書に記載した主題の具体的な形態は、配布を実際に実行するために使用される信号搬送媒体の特定のタイプにかかわらず適用される。

様々な開示された態様を実施するように論理をプログラムするために使用される命令は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、キャッシュ、フラッシュメモリ又は他のストレージなどのシステム内メモリに記憶され得る。更に、命令は、ネットワークを介して、又は他のコンピュータ可読媒体によって配布され得る。したがって、機械可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で情報を記憶又は送信するための任意の機構が挙げられ得るが、フロッピーディスケット、光ディスク、コンパクトディスク、読み出し専用メモリ（ＣＤ－ＲＯＭ）、並びに磁気光学ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、磁気若しくは光カード、フラッシュメモリ又は、電気的、光学的、音響的、若しくは他の形態の伝播信号（例えば、搬送波、赤外線信号、デジタル信号など）を介してインターネットを介した情報の送信に使用される有形機械可読ストレージに限定されない。したがって、非一時的コンピュータ可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で電子命令又は情報を記憶又は送信するのに好適な任意のタイプの有形機械可読媒体が挙げられる。

本明細書の任意の態様で使用されるとき、「制御回路」という用語は、例えば、ハードワイヤード回路、プログラマブル回路（例えば、１つ以上の個々の命令処理コアを含むコンピュータプロセッサ、処理ユニット、プロセッサ、マイクロコントローラ、マイクロコントローラユニット、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブル論理装置（ＰＬＤ）、プログラマブル論理アレイ（ＰＬＡ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ））、状態機械回路、プログラマブル回路によって実行される命令を記憶するファームウェア、及びこれらの任意の組み合わせを指すことができる。制御回路は、集合的に又は個別に、例えば、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、スマートフォンなどの、より大きなシステムの一部を形成する回路として具現化され得る。したがって、本明細書で使用されるとき、「制御回路」は、少なくとも１つの個別の電気回路を有する電気回路、少なくとも１つの集積回路を有する電気回路、少なくとも１つの特定用途向け集積回路を有する電気回路、コンピュータプログラムによって構成された汎用コンピューティング装置（例えば、本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成された汎用コンピュータ、又は本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成されたマイクロプロセッサ）を形成する電気回路、メモリ装置（例えば、ランダムアクセスメモリの形態）を形成する電気回路及び／又は通信装置（例えばモデム、通信スイッチ、又は光－電気設備）を形成する電気回路を含むが、これらに限定されない。当業者は、本明細書で述べた主題が、アナログ形式若しくはデジタル形式、又はこれらのいくつかの組み合わせで実装されてもよいことを認識するであろう。

本明細書の任意の態様で使用されるとき、「論理」という用語は、前述の動作のいずれかを実施するように構成されたアプリケーション、ソフトウェア、ファームウェア、及び／又は回路を指し得る。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に記録されたソフトウェアパッケージ、コード、命令、命令セット、及び／又はデータとして具現化されてもよい。ファームウェアは、メモリ装置内のコード、命令、若しくは命令セット、及び／又はハードコードされた（例えば、不揮発性の）データとして具現化されてもよい。

本明細書の任意の態様で使用されるとき、「構成要素」、「システム」、「モジュール」等という用語は、制御回路、コンピュータ関連エンティティ、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、又は実行中のソフトウェアのいずれかを指すことができる。

本明細書の任意の態様で使用されるとき、「アルゴリズム」とは、所望の結果につながるステップの自己無撞着シーケンスを指し、「ステップ」とは、必ずしも必要ではないが、記憶、転送、組み合わせ、比較、及び別様に操作されることが可能な電気信号又は磁気信号の形態をとることができる物理量及び／又は論理状態の操作を指す。これらの信号を、ビット、値、要素、記号、文字、用語、番号などとして言及することが一般的な扱い方である。これらの及び類似の用語は、適切な物理量と関連付けられてもよく、また単に、これらの量及び／又は状態に適用される便利な標識である。

ネットワークとしては、パケット交換ネットワークが挙げられ得る。通信デバイスは、選択されたパケット交換ネットワーク通信プロトコルを使用して、互いに通信することができる。１つの例示的な通信プロトコルとしては、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）を使用して通信を可能にすることができるイーサネット通信プロトコルを挙げることができる。イーサネットプロトコルは、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）によって発行された２００８年１２月発行の表題「ＩＥＥＥ８０２．３ Ｓｔａｎｄａｒｄ」、及び／又は本規格の後のバージョンのイーサネット規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信デバイスは、Ｘ．２５通信プロトコルを使用して互いに通信することができる。Ｘ．２５通信プロトコルは、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ－Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（ＩＴＵ－Ｔ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信デバイスは、フレームリレー通信プロトコルを使用して互いに通信することができる。フレームリレー通信プロトコルは、Ｃｏｎｓｕｌｔａｔｉｖｅ Ｃｏｍｍｉｔｔｅｅ ｆｏｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｇｒａｐｈ ａｎｄ Ｔｅｌｅｐｈｏｎｅ（ＣＣＩＴＴ）及び／又はｔｈｅ Ａｍｅｒｉｃａｎ Ｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｓ Ｉｎｓｔｉｔｕｔｅ（ＡＮＳＩ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、送受信機は、非同期転送モード（ＡＴＭ）通信プロトコルを使用して互いに通信することが可能であり得る。ＡＴＭ通信プロトコルは、ＡＴＭ Ｆｏｒｕｍによって「ＡＴＭ－ＭＰＬＳ Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｗｏｒｋｉｎｇ ２．０」という題で２００１年８月に公開されたＡＴＭ規格及び／又は本規格の後のバージョンに準拠するか、又は互換性があり得る。当然のことながら、異なる及び／又は後に開発されたコネクション型ネットワーク通信プロトコルは、本明細書で等しく企図される。

別段の明確な定めがない限り、前述の開示から明らかなように、前述の開示全体を通じて、「処理すること（processing）」、「計算すること（computing）」、「算出すること（calculating）」、「判定すること（determining）」、「表示すること（displaying）」などの用語を使用する考察は、コンピュータシステムのレジスタ及びメモリ内で物理（電子的）量として表現されるデータを、コンピュータシステムのメモリ若しくはレジスタ又は他のそのような情報記憶、伝送、若しくは表示装置内で物理量として同様に表現される他のデータへと操作し変換する、コンピュータシステム又は類似の電子計算装置のアクション及び処理を指していることが理解されよう。

１つ以上の構成要素が、本明細書中で、「ように構成されている（configured to）」、「ように構成可能である（configurable to）」、「動作可能である／ように動作する（operable/operative to）」、「適合される／適合可能である（adapted/adaptable）」、「ことが可能である（able to）」、「準拠可能である／準拠する（conformable/conformed to）」などと言及され得る。当業者は、「ように構成されている」は、一般に、文脈上他の意味に解釈すべき場合を除き、アクティブ状態の構成要素及び／又は非アクティブ状態の構成要素及び／又はスタンバイ状態の構成要素を包含し得ることを理解するであろう。

「近位」及び「遠位」という用語は、本明細書では、外科用器具のハンドル部分を操作する臨床医を基準として使用される。「近位」という用語は、臨床医に最も近い部分を指し、「遠位」という用語は、臨床医から離れた位置にある部分を指す。便宜上及び明確性のために、「垂直」、「水平」、「上」、及び「下」などの空間的用語が、本明細書において図面に対して使用され得ることが更に理解されよう。しかしながら、外科用器具は、多くの向き及び位置で使用されるものであり、これらの用語は限定的及び／又は絶対的であることを意図したものではない。

当業者は、一般に、本明細書で使用され、かつ特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）で使用される用語は、概して「オープンな」用語として意図されるものである（例えば、「含む（including）」という用語は、「～を含むが、それらに限定されない（including but not limited to）」と解釈されるべきであり、「有する（having）」という用語は「～を少なくとも有する（having at least）」と解釈されるべきであり、「含む（includes）」という用語は「～を含むが、それらに限定されない（includes but is not limited to）」と解釈されるべきであるなど）ことを理解するであろう。更に、導入された請求項記載（introduced claim recitation）において特定の数が意図される場合、かかる意図は当該請求項中に明確に記載され、またかかる記載がない場合は、かかる意図は存在しないことが、当業者には理解されるであろう。例えば、理解を助けるものとして、後続の添付の特許請求の範囲は、「少なくとも１つの（at least one）」及び「１つ以上の（one or more）」という導入句を、請求項記載を導入するために含むことがある。しかしながら、かかる句の使用は、「ａ」又は「ａｎ」という不定冠詞によって請求項記載を導入した場合に、たとえ同一の請求項内に「１つ以上の」又は「少なくとも１つの」といった導入句及び「ａ」又は「ａｎ」という不定冠詞が含まれる場合であっても、かかる導入された請求項記載を含むいかなる特定の請求項も、かかる記載事項を１つのみ含む請求項に限定されると示唆されるものと解釈されるべきではない（例えば、「ａ」及び／又は「ａｎ」は通常、「少なくとも１つの」又は「１つ以上の」を意味するものと解釈されるべきである）。定冠詞を使用して請求項記載を導入する場合にも、同様のことが当てはまる。

加えて、導入された請求項記載において特定の数が明示されている場合であっても、かかる記載は、典型的には、少なくとも記載された数を意味するものと解釈されるべきであることが、当業者には認識されるであろう（例えば、他に修飾語のない、単なる「２つの記載事項」という記載がある場合、一般的に、少なくとも２つの記載事項、又は２つ以上の記載事項を意味する）。更に、「Ａ、Ｂ及びＣなどのうちの少なくとも１つ」に類する表記が使用される場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。「Ａ、Ｂ又はＣなどのうちの少なくとも１つ」に類する表記が用いられる場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、又はＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。更に、典型的には、２つ以上の選択的な用語を表すあらゆる選言的な語及び／又は句は、文脈上他の意味に解釈すべき場合を除いて、明細書内であろうと、請求の範囲内であろうと、あるいは図面内であろうと、それら用語のうちの１つ、それらの用語のうちのいずれか、又はそれらの用語の両方を含む可能性を意図すると理解されるべきであることが、当業者には理解されよう。例えば、「Ａ又はＢ」という句は、典型的には、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むものと理解されよう。

添付の特許請求の範囲に関して、当業者は、本明細書における引用した動作は一般に、任意の順序で実施され得ることを理解するであろう。また、様々な動作のフロー図がシーケンス（複数可）で示されているが、様々な動作は、示されたもの以外の順序で実施されてもよく、又は同時に実施されてもよいことが理解されるべきである。かかる代替の順序付けの例は、文脈上他の意味に解釈すべき場合を除いて、重複、交互配置、割り込み、再順序付け、増加的、予備的、追加的、同時、逆又は他の異なる順序付けを含んでもよい。更に、「～に応答する（responsive to）」、「～に関連する（related to）」といった用語、又は他の過去時制の形容詞は、一般に、文脈上他の意味に解釈すべき場合を除き、かかる変化形を除外することが意図されるものではない。

「一態様」、「態様」、「例示」、「一例示」などへの任意の参照は、その態様に関連して記載される特定の特徴部、構造又は特性が少なくとも１つの態様に含まれると意味することは特記に値する。したがって、本明細書の全体を通じて様々な場所に見られる語句「一態様では」、「態様では」、「例示では」及び「一例示では」は、必ずしも全てが同じ態様を指すものではない。更に、特定の特徴、構造、又は特性は、１つ以上の態様において任意の好適な様態で組み合わせることができる。

本明細書で参照され、かつ／又は任意の出願データシートに列挙される任意の特許出願、特許、非特許刊行物、又は他の開示資料は、組み込まれる資料が本明細書と矛盾しない範囲で、参照により本明細書に組み込まれる。それ自体、また必要な範囲で、本明細書に明瞭に記載される開示は、参照により本明細書に組み込まれるあらゆる矛盾する記載に優先するものとする。参照により本明細書に組み込まれると言及されているが、現行の定義、見解、又は本明細書に記載される他の開示内容と矛盾するあらゆる内容、又はそれらの部分は、組み込まれた内容と現行の開示内容との間に矛盾が生じない範囲においてのみ、組み込まれるものとする。

要約すると、本明細書に記載した構想を用いる結果として得られる多くの利益が記載されてきた。１つ以上の形態の上述の記載は、例示及び説明を目的として提示されているものである。包括的であることも、開示された厳密な形態に限定することも意図されていない。上記の教示を鑑みて、修正又は変形が可能である。１つ以上の形態は、原理及び実際の応用について例示し、それによって、様々な形態を様々な修正例とともに、想到される特定の用途に適するものとして当業者が利用することを可能にするようにするために、選択及び記載されたものである。本明細書とともに提示される特許請求の範囲が全体的な範囲を定義することが意図される。

〔実施の態様〕
（１） 外科用システムの複合現実可視化のための方法であって、
第１の可視化システムの第１のカメラによって、術野内のオブジェクトの画像を捕捉することであって、前記オブジェクトの第１の部分が前記第１のカメラの視野の外側にある、ことと、
追跡システムによって、前記オブジェクトの第２の部分の位置を追跡することと、
外科用ハブによって、前記オブジェクトの前記第２の部分の前記追跡された位置に基づいて、前記オブジェクトの属性を判定することであって、前記オブジェクトの前記属性が前記カメラの視野の外側の前記オブジェクトの前記第１の部分に関連する、ことと、
拡張現実ディスプレイデバイスによって、前記術野内の前記オブジェクトの前記捕捉された画像と、前記オブジェクトの前記属性に基づくグラフィックとを表示することと、を含み、
前記オブジェクトは、外科用器具、患者組織、若しくはユーザ、又はこれらの組み合わせを含む、方法。
（２） 前記オブジェクトの前記第２の部分の前記追跡された位置に基づいて前記オブジェクトの前記属性を判定することは、前記オブジェクトの前記第１の部分の位置を判定することを含み、
前記グラフィックを表示することは、前記拡張現実ディスプレイデバイスによって、前記オブジェクトの前記第１の部分のレンダリングされた画像を表示することを含む、実施態様１に記載の方法。
（３） 前記追跡システムは、前記可視化システムを備え、
前記可視化システムは、第２のカメラを備え、
前記オブジェクトの前記第２の部分の前記位置を追跡することは、前記第２のカメラによって、前記オブジェクトの前記第２の部分の画像を捕捉することを含み、
前記オブジェクトの前記第２の部分は、前記第１のカメラの前記視野の外側にある、実施態様１に記載の方法。
（４） 前記追跡システムによって、前記オブジェクトの前記第２の部分の前記位置を追跡することは、構造化光センサ、光検出及び測距（ＬＩＤＡＲ）センサ、無線周波数識別（ＲＦＩＤ）、全地球測位システム（ＧＰＳ）追跡、音声ビーコン、非視覚的光追跡、又はこれらの組み合わせを使用して前記オブジェクトの前記第２の部分を追跡することを含む、実施態様１に記載の方法。
（５） 前記追跡システムによって、前記術野内の構造の位置を追跡することを更に含み、
前記オブジェクトの前記第２の部分の前記追跡された位置に基づいて前記オブジェクトの前記属性を判定することは、前記外科用ハブによって、前記オブジェクトの前記第１の部分と前記構造との相互作用を識別することを含む、実施態様１に記載の方法。

（６） 前記拡張現実ディスプレイデバイスによって、前記構造の前記位置に基づくグラフィックを表示することを更に含む、実施態様５に記載の方法。
（７） 前記オブジェクトの前記属性に基づく前記グラフィックを表示することは、前記拡張現実ディスプレイデバイスによって、前記識別された相互作用に基づくアラートを表示することを含む、実施態様５に記載の方法。
（８） 前記オブジェクトの前記属性に基づく前記グラフィックを表示することは、前記拡張現実ディスプレイデバイスによって、前記相互作用の力、前記相互作用の速度、前記オブジェクトの前記第１の部分及び前記構造の衝突の表示、前記オブジェクトの通電状態、時間、又はそれらの組み合わせを表示することを含む、実施態様５に記載の方法。
（９） 前記オブジェクトは、基準マーカを含む外科用器具を備え、
前記オブジェクトの前記第２の部分の前記位置を追跡することは、前記追跡システムによって、前記基準マーカを追跡することを含む、実施態様１に記載の方法。
（１０） 前記外科用ハブによって、前記追跡された基準マーカに基づいて前記外科用器具の運動範囲を判定することを更に含み、
前記グラフィックを表示することは、前記拡張現実ディスプレイデバイスによって、前記外科用器具の前記運動範囲を表すグラフィックを表示することを含む、実施態様９に記載の方法。

（１１） 複合現実可視化のための外科用システムであって、
術野内のオブジェクトの画像を捕捉するように構成された第１のカメラを備える第１の可視化システムであって、前記オブジェクトの第１の部分が前記カメラの視野の外側にある、第１の可視化システムと、
前記オブジェクトの第２の部分の位置を追跡するように構成された第１の追跡システムと、
前記オブジェクトの前記第２の部分の前記追跡された位置に基づいて前記オブジェクトの属性を判定するように構成された外科用ハブであって、前記オブジェクトの前記属性が前記カメラの視野の外側の前記オブジェクトの前記第１の部分に関連する、外科用ハブと、
前記術野内の前記オブジェクトの前記捕捉された画像と、前記オブジェクトの前記属性に基づくグラフィックとを表示するように構成された拡張現実ディスプレイデバイスと、を備え、
前記オブジェクトは、外科用器具、患者組織、ユーザ、又はそれらの組み合わせを含む、外科用システム。
（１２） 前記オブジェクトの前記属性は、前記オブジェクトの前記第１の部分の位置を含み、
前記グラフィックは、前記オブジェクトの前記第１の部分のレンダリングされた画像を含む、実施態様１１に記載の外科用システム。
（１３） 前記追跡システムは、前記可視化システムを備え、
前記可視化システムは、前記オブジェクトの前記第２の部分の画像を捕捉するように構成された第２のカメラを備え、
前記オブジェクトの前記第２の部分は、前記第１の可視化システムの前記第１のカメラの前記視野の外側にある、実施態様１１に記載の外科用システム。
（１４） 前記追跡システムは、構造化光センサ、光検出及び測距（ＬＩＤＡＲ）センサ、無線周波数識別（ＲＦＩＤ）、全地球測位システム（ＧＰＳ）追跡、音声ビーコン、非視覚的光追跡、又はこれらの組み合わせを使用する、実施態様１１に記載の外科用システム。
（１５） 前記追跡システムは、前記術野内の構造の位置を追跡するように構成され、
前記外科用ハブは、前記オブジェクトの前記第１の部分と前記構造との相互作用を識別するように構成され、
前記オブジェクトの前記属性は、前記識別された相互作用を含む、実施態様１１に記載の外科用システム。

（１６） 前記拡張現実ディスプレイデバイスは、前記構造の前記位置に基づくグラフィックを表示するように構成されている、実施態様１５に記載の外科用システム。
（１７） 前記オブジェクトの前記属性に基づく前記グラフィックは、前記識別された相互作用に基づくアラートを含む、実施態様１５に記載の外科用システム。
（１８） 前記オブジェクトの前記属性に基づく前記グラフィックは、前記相互作用の力、前記相互作用の速度、前記オブジェクトの前記第１の部分及び前記構造の衝突の表示、前記オブジェクトの通電状態、時間、又はこれらの組み合わせを含む、実施態様１５に記載の外科用システム。
（１９） 前記オブジェクトは、前記外科用器具を含み、
前記外科用器具は、基準マーカを含み、
前記追跡システムは、前記基準マーカを追跡するように構成されている、実施態様１１に記載の外科用システム。
（２０） 前記外科用ハブは、前記追跡された基準マーカに基づいて前記外科用器具の運動範囲を判定するように構成され、
前記オブジェクトの前記属性は、前記外科用器具の前記運動範囲を含み、
前記オブジェクトの前記属性に基づく前記グラフィックは、前記外科用器具の前記運動範囲を表すグラフィックを含む、実施態様１９に記載の外科用システム。

Claims (20)

1. 外科用システムの複合現実可視化のための方法であって、
   第１の可視化システムの第１のカメラによって、術野内のオブジェクトの画像を捕捉することであって、前記オブジェクトの第１の部分が前記第１のカメラの視野の外側にある、ことと、
   追跡システムによって、前記オブジェクトの第２の部分の位置を追跡することと、
   外科用ハブによって、前記オブジェクトの前記第２の部分の前記追跡された位置に基づいて、前記オブジェクトの属性を判定することであって、前記オブジェクトの前記属性が前記カメラの視野の外側の前記オブジェクトの前記第１の部分に関連する、ことと、
   拡張現実ディスプレイデバイスによって、前記術野内の前記オブジェクトの前記捕捉された画像と、前記オブジェクトの前記属性に基づくグラフィックとを表示することと、を含み、
   前記オブジェクトは、外科用器具、患者組織、若しくはユーザ、又はこれらの組み合わせを含む、方法。
2. 前記オブジェクトの前記第２の部分の前記追跡された位置に基づいて前記オブジェクトの前記属性を判定することは、前記オブジェクトの前記第１の部分の位置を判定することを含み、
   前記グラフィックを表示することは、前記拡張現実ディスプレイデバイスによって、前記オブジェクトの前記第１の部分のレンダリングされた画像を表示することを含む、請求項１に記載の方法。
3. 前記追跡システムは、前記可視化システムを備え、
   前記可視化システムは、第２のカメラを備え、
   前記オブジェクトの前記第２の部分の前記位置を追跡することは、前記第２のカメラによって、前記オブジェクトの前記第２の部分の画像を捕捉することを含み、
   前記オブジェクトの前記第２の部分は、前記第１のカメラの前記視野の外側にある、請求項１に記載の方法。
4. 前記追跡システムによって、前記オブジェクトの前記第２の部分の前記位置を追跡することは、構造化光センサ、光検出及び測距（ＬＩＤＡＲ）センサ、無線周波数識別（ＲＦＩＤ）、全地球測位システム（ＧＰＳ）追跡、音声ビーコン、非視覚的光追跡、又はこれらの組み合わせを使用して前記オブジェクトの前記第２の部分を追跡することを含む、請求項１に記載の方法。
5. 前記追跡システムによって、前記術野内の構造の位置を追跡することを更に含み、
   前記オブジェクトの前記第２の部分の前記追跡された位置に基づいて前記オブジェクトの前記属性を判定することは、前記外科用ハブによって、前記オブジェクトの前記第１の部分と前記構造との相互作用を識別することを含む、請求項１に記載の方法。
6. 前記拡張現実ディスプレイデバイスによって、前記構造の前記位置に基づくグラフィックを表示することを更に含む、請求項５に記載の方法。
7. 前記オブジェクトの前記属性に基づく前記グラフィックを表示することは、前記拡張現実ディスプレイデバイスによって、前記識別された相互作用に基づくアラートを表示することを含む、請求項５に記載の方法。
8. 前記オブジェクトの前記属性に基づく前記グラフィックを表示することは、前記拡張現実ディスプレイデバイスによって、前記相互作用の力、前記相互作用の速度、前記オブジェクトの前記第１の部分及び前記構造の衝突の表示、前記オブジェクトの通電状態、時間、又はそれらの組み合わせを表示することを含む、請求項５に記載の方法。
9. 前記オブジェクトは、基準マーカを含む外科用器具を備え、
   前記オブジェクトの前記第２の部分の前記位置を追跡することは、前記追跡システムによって、前記基準マーカを追跡することを含む、請求項１に記載の方法。
10. 前記外科用ハブによって、前記追跡された基準マーカに基づいて前記外科用器具の運動範囲を判定することを更に含み、
    前記グラフィックを表示することは、前記拡張現実ディスプレイデバイスによって、前記外科用器具の前記運動範囲を表すグラフィックを表示することを含む、請求項９に記載の方法。
11. 複合現実可視化のための外科用システムであって、
    術野内のオブジェクトの画像を捕捉するように構成された第１のカメラを備える第１の可視化システムであって、前記オブジェクトの第１の部分が前記カメラの視野の外側にある、第１の可視化システムと、
    前記オブジェクトの第２の部分の位置を追跡するように構成された第１の追跡システムと、
    前記オブジェクトの前記第２の部分の前記追跡された位置に基づいて前記オブジェクトの属性を判定するように構成された外科用ハブであって、前記オブジェクトの前記属性が前記カメラの視野の外側の前記オブジェクトの前記第１の部分に関連する、外科用ハブと、
    前記術野内の前記オブジェクトの前記捕捉された画像と、前記オブジェクトの前記属性に基づくグラフィックとを表示するように構成された拡張現実ディスプレイデバイスと、を備え、
    前記オブジェクトは、外科用器具、患者組織、ユーザ、又はそれらの組み合わせを含む、外科用システム。
12. 前記オブジェクトの前記属性は、前記オブジェクトの前記第１の部分の位置を含み、
    前記グラフィックは、前記オブジェクトの前記第１の部分のレンダリングされた画像を含む、請求項１１に記載の外科用システム。
13. 前記追跡システムは、前記可視化システムを備え、
    前記可視化システムは、前記オブジェクトの前記第２の部分の画像を捕捉するように構成された第２のカメラを備え、
    前記オブジェクトの前記第２の部分は、前記第１の可視化システムの前記第１のカメラの前記視野の外側にある、請求項１１に記載の外科用システム。
14. 前記追跡システムは、構造化光センサ、光検出及び測距（ＬＩＤＡＲ）センサ、無線周波数識別（ＲＦＩＤ）、全地球測位システム（ＧＰＳ）追跡、音声ビーコン、非視覚的光追跡、又はこれらの組み合わせを使用する、請求項１１に記載の外科用システム。
15. 前記追跡システムは、前記術野内の構造の位置を追跡するように構成され、
    前記外科用ハブは、前記オブジェクトの前記第１の部分と前記構造との相互作用を識別するように構成され、
    前記オブジェクトの前記属性は、前記識別された相互作用を含む、請求項１１に記載の外科用システム。
16. 前記拡張現実ディスプレイデバイスは、前記構造の前記位置に基づくグラフィックを表示するように構成されている、請求項１５に記載の外科用システム。
17. 前記オブジェクトの前記属性に基づく前記グラフィックは、前記識別された相互作用に基づくアラートを含む、請求項１５に記載の外科用システム。
18. 前記オブジェクトの前記属性に基づく前記グラフィックは、前記相互作用の力、前記相互作用の速度、前記オブジェクトの前記第１の部分及び前記構造の衝突の表示、前記オブジェクトの通電状態、時間、又はこれらの組み合わせを含む、請求項１５に記載の外科用システム。
19. 前記オブジェクトは、前記外科用器具を含み、
    前記外科用器具は、基準マーカを含み、
    前記追跡システムは、前記基準マーカを追跡するように構成されている、請求項１１に記載の外科用システム。
20. 前記外科用ハブは、前記追跡された基準マーカに基づいて前記外科用器具の運動範囲を判定するように構成され、
    前記オブジェクトの前記属性は、前記外科用器具の前記運動範囲を含み、
    前記オブジェクトの前記属性に基づく前記グラフィックは、前記外科用器具の前記運動範囲を表すグラフィックを含む、請求項１９に記載の外科用システム。

Images