JP2024514638A - 外科用システムのための術中ディスプレイ - Google Patents

Abstract

外科的処置中に使用される拡張現実ディスプレイシステムが開示される。拡張現実ディスプレイシステムは、外科的処置中に外科領域の実画像を捕捉するための撮像デバイスを含む。拡張現実ディスプレイは、外科領域の実画像上にアクティブに可視化されている外科用器具の動作態様のオーバーレイを提示する。オーバーレイは、外科領域内の組織相互作用の態様を外科用器具から受信した機能データと組み合わせる。プロセッサは、外科用器具から機能データを受信し、外科用器具の動作態様に関連するオーバーレイを決定し、外科領域内の組織の態様を外科用器具から受信した機能データと組み合わせる。

Description

（関連出願の相互参照）
本出願は、米国特許法第１１９条（ｅ）の下で、２０２１年４月１４日に出願された「ＨＥＡＤＳ ＵＰ ＤＩＳＰＬＡＹ」と題する米国仮特許出願第６３／１７４，６７４号、及び２０２１年１１月３０日に出願された「ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国仮特許出願第６３／２８４，３２６号に対する利益を主張するものであり、これらの各々の開示は、その全体が参照により本明細書に組み込まれる。

本開示は、外科的処置中に拡張現実インタラクティブ体験を提供するための装置、システム、及び方法に関する。外科的処置中に、実世界に存在するオブジェクトが、時には視覚、聴覚、触覚、体性感覚、及び嗅覚を含む複数の感覚モダリティにわたって、コンピュータ生成された知覚情報をオーバーレイすることによって強化される、実世界環境の拡張現実インタラクティブ体験を提供することが望ましいであろう。本開示の文脈では、術野並びに術野に現れる外科用器具及び他のオブジェクトの画像は、コンピュータ生成された視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚情報を、術野並びに術野に現れる器具又は他のオブジェクトの実世界画像上にオーバーレイすることによって強化される。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。

現実世界の外科用器具は、様々な外科用デバイスを含む。エネルギーベースの外科用デバイスは、限定ではないが、とりわけ、無線周波数（ＲＦ）ベースの単極及び双極電気外科用器具、超音波外科用器具、ＲＦ電気外科用器具と超音波器具との組み合わせ、ＲＦ電気外科用ステープラと機械的ステープラとの組み合わせを含む。外科用ステープラデバイスは、肥満、胸部、結腸直腸、産婦人科、泌尿器科、及び一般外科を含む、種々の外科的処置において組織を切断及びステープル留めするために使用される外科用器具である。

様々な事例において、本開示は、外科的処置中に使用するための拡張現実ディスプレイシステムを提供する。拡張現実ディスプレイシステムは、外科的処置中に外科領域の実画像を捕捉するための撮像デバイスを備える。拡張現実ディスプレイは、外科領域の実画像上にアクティブに可視化されている外科用器具の動作態様のオーバーレイを提示する。オーバーレイは、外科領域内の組織相互作用の態様を外科用器具から受信した機能データと組み合わせる。プロセッサは、外科用器具から機能データを受信し、外科用器具の動作態様に関連するオーバーレイを決定し、外科領域内の組織の態様を外科用器具から受信した機能データと組み合わせる。

様々な事例において、本開示は、外科的処置中に使用するための拡張現実ディスプレイシステムを提供する。拡張現実ディスプレイシステムは、外科的処置中に外科領域の実画像を捕捉するための撮像デバイスを備える。拡張現実ディスプレイは、外科領域の実画像上にアクティブに可視化されている外科用器具の動作態様のオーバーレイを提示する。オーバーレイは、外科領域における組織相互作用の態様を外科用器具からの機能データと組み合わせる。プロセッサは、外科用器具から機能データを受信し、外科用器具の動作態様に関連するオーバーレイを決定し、外科領域内の組織の態様を外科用器具から受信した機能データと組み合わせ、オーバーレイを構成する。

様々な事例において、本開示は、外科的処置中に使用するための拡張現実ディスプレイシステムを提供する。拡張現実ディスプレイシステムは、外科的処置中に外科領域の実画像を捕捉するための撮像デバイスを備える。拡張現実ディスプレイは、外科領域の実画像上にアクティブに可視化されている外科用器具の動作態様のオーバーレイを提示する。オーバーレイは、外科領域における組織相互作用の態様を外科用器具からの機能データと組み合わせる。プロセッサは、外科用器具から機能データを受信し、外科用器具の動作態様に関連するオーバーレイを決定し、外科領域内の組織の態様を外科用器具から受信した機能データと組み合わせ、外科用器具の動的状態を表示する。

構成及び操作方法の両方に関して本明細書で説明する様々な態様は、それらの更なる目的及び利点と共に、以下の説明を以下の添付図面と併せて参照することで最良に理解され得る。
本開示の一態様による、コンピュータ実装インタラクティブ外科用システムのブロック図である。 本開示の一態様による、手術室内で外科的処置を実行するために使用される外科用システムの図である。 本開示の一態様による、可視化システム、ロボットシステム、及びインテリジェント器具とペアリングされた外科用ハブである。 本開示の一態様による、医療施設の１つ以上の手術現場、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置しているモジュール式デバイスをクラウドに接続するように構成されたモジュール式通信ハブを含む外科用データネットワークを示す図である。 本開示の一態様による、コンピュータ実装インタラクティブ外科用システムを示す図である。 本開示の一態様による、モジュール式制御タワーに連結された複数のモジュールを含む外科用ハブを示す図である。 本開示の一態様による、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実（ＡＲ）システムを示す図である。 本開示の一態様による、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実（ＡＲ）システムを示す図である。 本開示の一態様による、外科用ハブにデータを通信するために外科医によって装着される拡張現実（ＡＲ）デバイスを示す図である。 本開示の一態様による、拡張現実ディスプレイを使用して外科用器具情報を拡張するためのシステムを示す図である。 本開示の一態様による、組織態様として外科用器具エンドエフェクタのジョーの間に補足された適切な組織を示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域のライブ映像の拡張画像である。 本開示の一態様による、組織態様として外科用器具エンドエフェクタの間で近位に捕捉された組織位置を示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域のライブ映像の拡張画像である。 本開示の一態様による、組織態様として外科用器具エンドエフェクタのジョーの間で不十分に捕捉された組織を示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域のライブ映像の拡張画像である。 本開示の一態様による、組織態様として外科用器具エンドエフェクタのジョーの間で不十分に捕捉された組織を示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域のライブ映像の別の拡張画像である。 本開示の一態様による、組織態様として外科用器具エンドエフェクタのジョーの間で不十分に捕捉された組織を示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域のライブ映像の別の拡張画像である。 本開示の少なくとも１つの態様による、組織態様として組織張力を示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域のライブ映像の拡張画像である。 本開示の一態様による、組織態様として組織張力を示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域のライブ映像の別の拡張画像である。 本開示の一態様による、図１１～図１７に示される外科用器具の動作態様としてジョー閉鎖位置を示す、複数のグラフィック画像である。 本開示の一態様による、外科用器具の動作態様としてジョー閉鎖位置を示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域のライブ映像の拡張画像である。 本開示の一態様による、完全に閉鎖された外科用器具エンドエフェクタと、エンドエフェクタ上に重畳されたジョー閉鎖位置を示すグラフィカルアラートオーバーレイとを示す、図１９に示される外科領域のライブ映像の拡張画像である。 本開示の一態様による、外科用器具の動作態様として金属又は異物上のクランプを示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域のライブ映像の拡張画像である。 本開示の一態様による、過熱が外科用器具の動作態様であるデバイス余熱警告を示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域のライブ映像の拡張画像である。 本開示の一態様による、組織の移動及び流動が組織態様であることを示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域のライブ映像の拡張画像である。 本開示の一態様による、組織に対する、及び他の発射に対する、横切開の幾何学的関係が組織態様であることを示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域のライブ映像の拡張画像である。 本開示の一態様による、外科用器具の動作態様としてアンビル配向通信を示す画像である。 本開示の一態様による、組織厚さが組織態様である外科用器具エンドエフェクタのジョーにおいて検出された組織厚さを示す画像である。 本開示の一態様による、超音波器具の温度勾配表示グラフィックスの画像である。 本開示の一態様による、超音波器具の温度アイコン表示グラフィックスの画像である。 本開示の一態様による、エンドエフェクタジョー位置にマッピングされた超音波ブレード温度グラフィック要素の画像である。 本開示の一態様による、超音波発生器電力レベル表示グラフィックの画像である。 本開示の一態様による、超音波エンドエフェクタジョーが過充電されていることを示すポップアップ警告グラフィックを有する超音波発生器電力レベル表示グラフィックの画像である。 本開示の一態様による、超音波エンドエフェクタジョー熱を示すポップアップ警告グラフィックを有する超音波発生器電力レベル表示グラフィックの画像である。 本開示の一態様による、電気外科用シール品質予測を示すポップアップ警告グラフィックを有する電気外科発電機表示グラフィックの画像である。 本開示の一態様による、外科用ステープラリロードフィードバックの画像である。 本開示の一態様による、外科用ステープラ予圧カウントダウンの画像である。 本開示の一態様による、外科領域の術中データディスプレイを有する手術モニタを備える手術室のシステム図である。 本開示の一態様による、術中データディスプレイ上に表示された、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域のライブ映像の拡張画像である。 本開示の一態様による、図３７に示される症例情報パネルオーバーレイの詳細図である。 本開示の一態様による、図３７に示されるシステム通知パネルオーバーレイの詳細図である。 本開示の一態様による、システム通知パネルオーバーレイのいくつかの例の画像である。 本開示の一態様による、図３７に示されるデバイスパネルオーバーレイの詳細図である。 本開示の一態様による、術中データディスプレイ上に表示された、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域のライブ映像の拡張画像である。 本開示の一態様による、エネルギーデバイス画像パネルアーキテクチャの概略図である。 本開示の一態様による、スタック構成の補足デバイスアラート／警告／情報の画像である。 本開示の一態様による、拡大構成の補足デバイスアラート／警告／情報の画像である。 本開示の一態様による、デバイス起動又は電力レベル調整などの状態変化を示すために器具パネル状態がどのように動的に変化するかを示す、器具状態画像パネルである。 本開示の一態様による、発電機アラート及び警告を腹腔鏡モニタに変換し、ローカルインターフェース上に表示するシステム図である。 本開示の一態様による、外科用ハブに伝送される電流発生器上に示される既存のアラートの一連の画面の図であり、外科用ハブはその後、ローカルインターフェース上の一連の画面としてこれらを表示する。 本開示の一態様による、デジタルハブと通信する発電機を備えるシステムの概略図であり、デジタルハブはその後、腹腔鏡画面などのローカルインターフェース上に画面データ及びアラートデータを表示する。 本開示の一態様による、術中データディスプレイ上に表示された、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域のライブ映像の拡張画像である。 本開示の一態様による、二次底縁構成可能パネルを備える術中データディスプレイを示す表示画面である。 本開示の一態様による、代替底縁構成可能パネルである。 本開示の一態様による、二次左上隅構成可能パネルを備える術中データディスプレイを示す表示画面である。 本開示の一態様による、二次上部中央構成可能パネルを備える術中データディスプレイを示す表示画面である。 本開示の一態様による、二次側縁構成可能パネルを備える術中データディスプレイを示す表示画面である。 本開示の一態様による、デバイストラブルシューティング情報を表示する一連の画像パネルである。 本開示の一態様による、関節式外科用ステープラ特徴を表示する一連の画像パネルである。 本開示の一態様による、関節限界に到達したことを表示するアラート／警告／情報画像パネルである。 本開示の一態様による、デバイスがロックアウトモードにあることを表示するアラート／警告／情報画像パネルである。 本開示の一態様による、ジョーが閉鎖されているときにデバイスが関節運動することができないことを表示するアラート／警告／情報画像パネルである。 本開示の一態様による、関節式外科用ステープラ特徴を示すデバイス画像パネルである。 本開示の一態様による、関節限界に到達したことを表示するデバイスアラートを有するスタック構成で表示されたスタックアラート／警告／情報画像パネルである。 本開示の一態様による、図５７及び図６１に示されるカウントダウンタイマ画像パネルのためのアルゴリズムを実行するために、Ｂｌｕｅｔｏｏｔｈを介してデジタルハブと通信する外科用ステープラを備えるシステムの概略図である。 本開示の一態様による、超音波器具特徴を表示する一連のデバイス画像パネル／アラートである。 本開示の一態様による、外科用ステープラ器具のペアリングを説明するチャートである。 本開示の一態様による、ペアリングデバイス情報を表示する画面の画像である。 本開示の一態様による、無線デバイスをペアリングするための一意の識別子を含む無線外科用デバイスの画像である。 本開示の一態様による、最適デバイス性能（ＯＤＰ）ガイド画像又は他の電子取扱説明（ｅ－ＩＦＵ）へのリンクを表示する画面の画像である。 本開示の一態様による、外科的処置中に使用するための外科用器具及び拡張現実ディスプレイを用いる拡張現実方法の図である。 本開示の一態様による、外科的処置中に使用するための外科用器具及び拡張現実ディスプレイを用いる拡張現実方法の図である。 本開示の一態様による、カスタマイズされたオーバーレイ情報を表示するスタッフビュー画面の画像である。 本開示の一態様による、詳細なカスタマイズポップアップ情報を表示するスタッフビュー画面の画像である。 本開示の一態様による、スタッフビュートラブルシューティングポップアップ情報を表示するスタッフビュー画面の画像である。 本開示の一態様による、主外科用ディスプレイ相互作用を表示する主外科用ディスプレイ相互作用画面の画像である。 本開示の一態様による、状況認識外科的処置のタイムラインを示す図である。

複数の図面を通して、対応する参照符号は対応する部分を示す。本明細書に記載された例示は、様々な開示された実施形態を一形態で示しており、そのような例示は、その範囲を限定するものとして決して解釈されるべきではない。

本出願の出願人は、各開示の全体が参照により本明細書に組み込まれる、同時に出願された以下の米国特許出願を所有する。
・「ＭＥＴＨＯＤ ＦＯＲ ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１／２１０１２０－１Ｍ、
・「Ｕｔｉｌｉｚａｔｉｏｎ ｏｆ ｓｕｒｇｉｃａｌ ｄａｔａ ｖａｌｕｅｓ ａｎｄ ｓｉｔｕａｔｉｏｎａｌ ａｗａｒｅｎｅｓｓ ｔｏ ｃｏｎｔｒｏｌ ｔｈｅ ｏｖｅｒｌａｙ ｉｎ ｓｕｒｇｉｃａｌ ｆｉｅｌｄ ｖｉｅｗ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ２／２１０１２０－２、
・「Ｓｅｌｅｃｔｉｖｅ ａｎｄ ａｄｊｕｓｔａｂｌｅ ｍｉｘｅｄ ｒｅａｌｉｔｙ ｏｖｅｒｌａｙ ｉｎ ｓｕｒｇｉｃａｌ ｆｉｅｌｄ ｖｉｅｗ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ３／２１０１２０－３、
・「Ｒｉｓｋ ｂａｓｅｄ ｐｒｉｏｒｉｔｉｚａｔｉｏｎ ｏｆ ｄｉｓｐｌａｙ ａｓｐｅｃｔｓ ｉｎ ｓｕｒｇｉｃａｌ ｆｉｅｌｄ ｖｉｅｗ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ４／２１０１２０－４、
・「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＳＵＲＧＩＣＡＬ ＤＡＴＡ ＯＶＥＲＬＡＹ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ５／２１０１２０－５、
・「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＨＡＮＧＩＮＧ ＤＩＳＰＬＡＹ ＯＶＥＲＬＡＹ ＯＦ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ ＢＡＳＥＤ ＯＮ ＴＲＩＧＧＥＲＩＮＧ ＥＶＥＮＴＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ６／２１０１２０－６、
・「ＣＵＳＴＯＭＩＺＡＴＩＯＮ ＯＦ ＯＶＥＲＬＡＩＤ ＤＡＴＡ ＡＮＤ ＣＯＮＦＩＧＵＲＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ７／２１０１２０－７、
・「ＩＮＤＩＣＡＴＩＯＮ ＯＦ ＴＨＥ ＣＯＵＰＬＥ ＰＡＩＲ ＯＦ ＲＥＭＯＴＥ ＣＯＮＴＲＯＬＳ ＷＩＴＨ ＲＥＭＯＴＥ ＤＥＶＩＣＥＳ ＦＵＮＣＴＩＯＮＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ８／２１０１２０－８、
・「ＣＯＯＰＥＲＡＴＩＶＥ ＯＶＥＲＬＡＹＳ ＯＦ ＩＮＴＥＲＡＣＴＩＮＧ ＩＮＳＴＲＵＭＥＮＴＳ ＷＨＩＣＨ ＲＥＳＵＬＴ ＩＮ ＢＯＴＨ ＯＶＥＲＬＡＹＳ ＢＥＩＮＧ ＥＦＦＥＣＴＥＤ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ９／２１０１２０－９、
・「ＡＮＴＩＣＩＰＡＴＩＯＮ ＯＦ ＩＮＴＥＲＡＣＴＩＶＥ ＵＴＩＬＩＺＡＴＩＯＮ ＯＦ ＣＯＭＭＯＮ ＤＡＴＡ ＯＶＥＲＬＡＹＳ ＢＹ ＤＩＦＦＥＲＥＮＴ ＵＳＥＲＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１０／２１０１２０－１０、
・「ＭＩＸＩＮＧ ＤＩＲＥＣＴＬＹ ＶＩＳＵＡＬＩＺＥＤ ＷＩＴＨ ＲＥＮＤＥＲＥＤ ＥＬＥＭＥＮＴＳ ＴＯ ＤＩＳＰＬＡＹ ＢＬＥＮＤＥＤ ＥＬＥＭＥＮＴＳ ＡＮＤ ＡＣＴＩＯＮＳ ＨＡＰＰＥＮＩＮＧ ＯＮ－ＳＣＲＥＥＮ ＡＮＤ ＯＦＦ－ＳＣＲＥＥＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１１／２１０１２０－１１、
・「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＴＲＡＣＫＩＮＧ Ａ ＰＯＲＴＩＯＮ ＯＦ ＴＨＥ ＵＳＥＲ ＡＳ Ａ ＰＲＯＸＹ ＦＯＲ ＮＯＮ－ＭＯＮＩＴＯＲＥＤ ＩＮＳＴＲＵＭＥＮＴ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１２／２１０１２０－１２、
・「ＵＴＩＬＩＺＩＮＧ ＣＯＮＴＥＸＴＵＡＬ ＰＡＲＡＭＥＴＥＲＳ ＯＦ ＯＮＥ ＯＲ ＭＯＲＥ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥＳ ＴＯ ＰＲＥＤＩＣＴ Ａ ＦＲＥＱＵＥＮＣＹ ＩＮＴＥＲＶＡＬ ＦＯＲ ＤＩＳＰＬＡＹＩＮＧ ＳＵＲＧＩＣＡＬ ＩＮＦＯＲＭＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１３／２１０１２０－１３、
・「ＣＯＯＰＥＲＡＴＩＯＮ ＡＭＯＮＧ ＭＵＬＴＩＰＬＥ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ ＴＯ ＰＲＯＶＩＤＥ Ａ ＨＥＡＬＴＨＣＡＲＥ ＵＳＥＲ ＣＵＳＴＯＭＩＺＥＤ ＩＮＦＯＲＭＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１４／２１０１２０－１４、
・「ＡＤＡＰＴＡＴＩＯＮ ＡＮＤ ＡＤＪＵＳＴＡＢＩＬＩＴＹ ＯＲ ＯＶＥＲＬＡＩＤ ＩＮＳＴＲＵＭＥＮＴ ＩＮＦＯＲＭＡＴＩＯＮ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１６／２１０１２０－１６、及び、
・「ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＦＥＥＤＢＡＣＫ ＳＹＳＴＥＭＳ ＴＨＡＴ ＣＯＯＰＥＲＡＴＥ ＴＯ ＩＮＣＲＥＡＳＥ ＥＦＦＩＣＩＥＮＴ ＰＥＲＣＥＰＴＩＯＮ ＯＦ ＣＯＭＰＬＥＸ ＤＡＴＡ ＦＥＥＤＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１７／２１０１２０－１７。

本出願の出願人は、各開示の全体が参照により本明細書に組み込まれる、以下の米国特許出願を所有する。
・「ＭＥＴＨＯＤ ＯＦ ＣＯＭＰＲＥＳＳＩＮＧ ＴＩＳＳＵＥ ＷＩＴＨＩＮ Ａ ＳＴＡＰＬＩＮＧ ＤＥＶＩＣＥ ＡＮＤ ＳＩＭＵＬＴＡＮＥＯＵＳＬＹ ＤＩＳＰＬＡＹＩＮＧ ＴＨＥ ＬＯＣＡＴＩＯＮ ＯＦ ＴＨＥ ＴＩＳＳＵＥ ＷＩＴＨＩＮ ＴＨＥ ＪＡＷＳ」と題する米国特許出願第１６／２０９，４２３号（現在は、米国特許出願公開第２０１９／０２００９８１－Ａ１号）、
・「ＭＥＴＨＯＤ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＳＭＡＲＴ ＥＮＥＲＧＹ ＤＥＶＩＣＥＳ」と題する米国特許出願第１６／２０９，４５３号（現在は、米国特許出願公開第２０１９／０２０１０４６－Ａ１号）。

外科用装置及び発生器の様々な態様を詳細に説明する前に、例解的な実施例は、適用又は用途において、添付の図面及び説明において例解される部品の構造及び配置の詳細に限定されないことに留意されたい。例示の実施例は、他の態様、変形形態、及び修正形態で実装されるか、又はそれらに組み込まれてもよく、様々な方法で実施又は実行されてもよい。更に、特に明記しない限り、本明細書で用いられる用語及び表現は、読者の便宜のために例示の実施例を説明する目的で選択されたものであり、それらを限定するためのものではない。更に、以下に記述される態様、態様の表現、及び／又は実施例のうち１つ以上を、以下に記述される他の態様、態様の表現、及び／又は実施例のうち任意の１つ以上と組み合わせることができるものと理解されたい。

様々な態様は、様々なエネルギー及び外科用ステープラベースの医療デバイスのための外科用システムのための画面上表示を対象とする。エネルギーベースの医療デバイスは、限定ではないが、とりわけ、無線周波数（ＲＦ）ベースの単極及び双極電気外科用器具、超音波外科用器具、ＲＦ電気外科用器具と超音波器具との組み合わせ、ＲＦ電気外科用ステープラと機械的ステープラとの組み合わせを含む。外科用ステープラデバイスは、電気外科用デバイス及び／又は超音波デバイスと組み合わされた外科用ステープラを含む。超音波外科用デバイスの態様は、例えば、外科的処置中に組織を横切開及び／又は凝固するように構成され得る。電気外科用デバイスの態様は、例えば、外科的処置中に、組織を横切開、凝固、封止、溶接及び／又は乾燥させるように構成され得る。外科用ステープラデバイスの態様は、外科的処置中に組織を横切開してステープル留めするように構成することができ、いくつかの態様では、外科用ステープラデバイスは、外科的処置中に組織にＲＦエネルギーを送達するように構成することができる。電気外科用デバイスは、治療用及び／又は非治療用ＲＦエネルギーを組織に送達するように構成されている。外科用ステープラ、電気外科用デバイス、及び超音波デバイスの要素は、単一の外科用器具において組み合わせて使用され得る。

様々な態様では、本開示は、外科的処置中にＯＲチームにリアルタイム情報の画面上表示を提供する。本開示の様々な態様によれば、様々な視覚情報フィードバックを画面上でＯＲチームに表示するために、多くの新しい固有の画面上表示が提供される。本開示によれば、視覚情報は、音を伴う又は伴わない様々な視覚媒体のうちの１つ以上を含むことができる。一般に、視覚情報は、静止写真、動画写真、ビデオ又はオーディオ記録、グラフィックアート、視覚補助、モデル、表示、視覚表現サービス、及びサポートプロセスを含む。視覚情報は、例えば、とりわけ、一次ＯＲスクリーン、エネルギー又は外科用ステープラデバイス自体、タブレット、拡張現実眼鏡等の任意の数の表示オプション上で通信することができる。

様々な態様では、本開示は、ＯＲチームをあまりに多くの視覚情報で圧倒することなく、視覚情報をリアルタイムでＯＲチームに通信するための潜在的オプションの多くのリストを提供する。例えば、種々の態様では、本開示は、外科医、又はＯＲチームの他のメンバーが、豊富な視覚情報を管理するために、画面オプションを取り囲むアイコン等の画面上表示を選択的に起動することを可能にする、視覚情報の画面上表示を提供する。要因のうちの１つ又は組み合わせが、アクティブ表示を決定するために使用することができ、これらは、とりわけ、使用中のエネルギーベース（例えば、電気外科、超音波）又は機械ベース（例えば、ステープラ）外科用デバイス、所与の表示と関連付けられる推定リスク、外科医の経験レベル、及び外科医の選択を含んでもよい。他の態様では、視覚情報は、視覚情報を管理するために手術視野にオーバーレイ又は重畳された豊富なデータを含んでもよい。以下に説明する様々な態様では、データを適切にオーバーレイするためにビデオ解析及び追跡を必要とする重畳画像を含む。このように通信された視覚情報データは、静的アイコンとは対照的に、ＯＲチームに対してより簡潔で理解しやすい方法で追加の有用な視覚情報を提供することができる。

様々な態様では、本開示は、外科的処置中に視覚情報を管理するために、スクリーンを取り囲むアイコン等の画面上表示を選択的に起動するための技術を提供する。他の態様では、本開示は、要因のうちの１つ又は組み合わせを使用してアクティブ表示を決定するための技術を提供する。様々な態様では、本開示による技術は、とりわけ、アクティブ表示として使用中のエネルギーベース又は機械ベースの外科用デバイスを選択すること、所与の表示に関連付けられたリスクを推定すること、選択を行う外科医又はＯＲチームの経験レベルを利用することを含み得る。

他の態様では、本開示による技術は、視覚情報を管理するために、豊富なデータを手術視野上にオーバーレイ又は重畳することを含んでもよい。本開示によって説明されるいくつかの表示配置は、術野のライブストリーム上に外科用データの種々の視覚表現をオーバーレイすることを伴う。本明細書で使用される場合、オーバーレイという用語は、半透明オーバーレイ、部分的オーバーレイ、及び／又は移動オーバーレイを含む。グラフィカルオーバーレイは、透明グラフィック、半透明グラフィック、又は不透明グラフィック、あるいは透明、半透明、及び不透明の要素又は効果の組み合わせの形態であってもよい。更に、オーバーレイは、例えば、エンドエフェクタ及び／又は重要な外科用構造等の、術野におけるオブジェクト上に、又は少なくとも部分的にその上に、又はその近くに配置され得る。特定の表示配置は、表示優先度値の変化に基づいて、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はそれらの組み合わせの変化を含む、オーバーレイの１つ以上の表示要素の変化を含み得る。グラフィカルオーバーレイは、アクティブ表示モニタの上にレンダリングされ、重要な情報を迅速かつ効率的にＯＲチームに伝達する。

他の態様では、本開示による技術は、視覚情報データを適切にオーバーレイするためにビデオ解析及び追跡することを必要とする画像を重畳することを含み得る。他の態様では、本開示による技術は、単純な静的アイコンとは対照的に、豊富な視覚情報を通信して、より簡潔で理解しやすい方法で追加の視覚情報をＯＲチームに提供することを含むことができる。他の態様では、視覚オーバーレイは、聴覚及び／又は体性感覚オーバーレイ、例えば、熱的、化学的、及び機械的デバイス、並びにそれらの組み合わせと組み合わせて使用することができる。

以下の説明は、概して、外科的処置中に拡張現実（ＡＲ）インタラクティブ体験を提供する装置、システム、及び方法に関する。この文脈では、術野並びに術野に現れる外科用器具及び他のオブジェクトの画像は、コンピュータ生成された視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚情報を、術野、術野に現れる器具及び／又は他のオブジェクトの実世界画像上にオーバーレイすることによって強化される。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。拡張現実は、実環境上にオーバーレイされる仮想又は「拡張」仮想オブジェクト、データ、又は視覚効果をレンダリング及び表示するための技術である。実環境は、術野を含んでもよい。実環境上にオーバーレイされた仮想オブジェクトは、実環境の１つ以上の態様に対して固定された位置、又は設定された位置で表され得る。非限定的な例では、実世界オブジェクトが実環境の視野から出る場合、実世界オブジェクトに固定された仮想オブジェクトも拡張現実の視野から出る。

本開示によって説明されるいくつかの表示配置は、術野のライブストリーム上に外科用データの種々の視覚表現をオーバーレイすることを伴う。本明細書で使用される場合、オーバーレイという用語は、半透明オーバーレイ、部分的オーバーレイ、及び／又は移動オーバーレイを含む。更に、オーバーレイは、例えば、エンドエフェクタ及び／又は重要な外科用構造等の、術野におけるオブジェクト上に、又は少なくとも部分的にその上に、又はその近くに配置され得る。特定の表示配置は、表示優先度値の変化に基づいて、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はそれらの組み合わせの変化を含む、オーバーレイの１つ以上の表示要素の変化を含み得る。

本明細書で説明されるように、ＡＲは、技術を介して送達されるデジタル視覚要素、音、又は他の感覚刺激の使用を通して達成される、現実の物理世界の拡張バージョンである。仮想現実（ＶＲ）は、現実であるように見えるシーン及びオブジェクトを有するコンピュータ生成環境であり、ユーザがそれらの周囲に没入しているように感じさせる。この環境は、仮想現実ヘッドセット又はヘルメットとして知られるデバイスを通して知覚される。複合現実（ＭＲ）及びＡＲは両方とも没入型技術と考えられているが、それらは同じではない。ＭＲは、現実及び仮想要素が環境内で相互作用することを可能にする複合現実の拡張である。ＡＲは、多くの場合、カメラを使用することによってライブビューにデジタル要素を追加するが、ＭＲ体験は、実世界及びデジタルオブジェクトが相互作用するＡＲ及びＶＲの両方の要素を組み合わせる。

ＡＲ環境では、１つ以上のコンピュータ生成仮想オブジェクトが、１つ以上の現実（すなわち、いわゆる「実世界」）要素と共に表示されてもよい。例えば、周囲環境のリアルタイム画像又はビデオは、１つ以上のオーバーレイ仮想オブジェクトと共にコンピュータスクリーンディスプレイ上に示されてもよい。そのような仮想オブジェクトは、環境に関する補足的な情報を提供することができ、又は一般に、ユーザの知覚及び環境との関与を向上させることができる。逆に、周囲環境のリアルタイム画像又はビデオは、加えて又は代替的に、ディスプレイ上に示される仮想オブジェクトとのユーザの関与を向上させることができる。

本開示の文脈における装置、システム、及び方法は、外科的処置中に１つ以上の撮像デバイスから受信された画像を向上させる。撮像デバイスは、非侵襲性及び低侵襲性外科的処置中に使用される種々のスコープ、ＡＲデバイス、及び／又は切開外科的処置中に画像を提供するカメラを含んでもよい。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。装置、システム、及び方法は、仮想オブジェクト又はデータ及び／又は現実オブジェクトの表現を現実外科用環境上にオーバーレイすることによって、実世界外科用環境の画像を向上させることによって、拡張現実インタラクティブ体験を提供する。拡張現実体験は、ユーザが実世界外科用環境上にオーバーレイされた仮想オブジェクトを視認することを可能にする、ディスプレイ及び／又はＡＲデバイス上で視認されてもよい。ディスプレイは、手術室内に配置されてもよいし、手術室から離れてもよい。ＡＲデバイスは、外科医又は他の手術室人員の頭部に装着され、典型的には、ユーザの各目に対して１つを含む、２つの立体ディスプレイレンズ又はスクリーンを含む。自然光は、ＡＲデバイスのユーザに仮想オブジェクトを可視にするために光を投影しながら、実環境の態様が可視であるように、２つの透明又は半透明ディスプレイレンズを通過することができる。

２つ以上のディスプレイ及びＡＲデバイスは、例えば、定義された役割を有するシステム内の１つ以上の追加のディスプレイ又はＡＲデバイスを制御する第１のディスプレイ又はＡＲデバイスと協調して使用されてもよい。例えば、ディスプレイ又はＡＲデバイスを起動するとき、ユーザは、役割（例えば、外科的処置中の外科医、外科助手、看護師等）を選択してもよく、ディスプレイ又はＡＲデバイスは、その役割に関連する情報を表示してもよい。例えば、外科助手は、外科医が外科的処置の次のステップのために行う必要がある器具の仮想表現を表示させてもよい。現在のステップに対する外科医の焦点は、手術助手とは異なる表示された情報を見る場合がある。

多くの既知の画面上表示及びアラートが存在するが、本開示は、外科的処置中に多くの新規かつ固有の拡張現実インタラクティブ体験を提供する。そのような拡張現実インタラクティブ体験は、手術室の内側又は外側の手術チームへの視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚フィードバック情報を含む。実世界外科用環境上にオーバーレイされる仮想フィードバック情報は、例えば、限定ではないが、とりわけ、手術外科医、外科医の助手、スクラブ着衣者、麻酔医、及び外回り看護師を含む、ＯＲ内の人員を含む、手術室（ＯＲ）チームに提供されてもよい。仮想フィードバック情報は、一次ＯＲスクリーンディスプレイ、ＡＲデバイス、エネルギー又は外科用ステープラ器具、タブレット、拡張現実眼鏡、デバイス等の任意の数の表示オプション上で通信することができる。

図１は、１つ以上の外科用システム２及びクラウドベースのシステム４を含むコンピュータ実装インタラクティブ外科用システム１を示す。クラウドベースシステム４は、リモートストレージ５に連結されたリモートサーバ１３を含み得る。各外科用システム２は、クラウド４と通信する少なくとも１つの外科用ハブ６を備える。例えば、外科用システム２は、可視化システム８と、ロボットシステム１０と、手持ち式インテリジェント外科用器具１２とを備えてもよく、それぞれが、互いに、及び／又はハブ６と通信するように構成されている。いくつかの態様では、外科用システム２は、Ｍ個のハブ６と、Ｎ個の可視化システム８と、Ｏ個のロボットシステム１０と、Ｐ個の手持ち式インテリジェント外科用器具１２とを備えてもよく、Ｍ、Ｎ、Ｏ及びＰは１以上の整数である。コンピュータ実装インタラクティブ外科用システム１は、本明細書で説明されるように、外科的処置中に拡張現実インタラクティブ体験を提供するように構成されてもよい。

図２は、外科手術室１６内の手術台１４上に横たわっている患者に対して外科的処置を実行するための外科用システム２の例を示す。ロボットシステム１０は、外科的処置において外科用システム２の一部として使用される。ロボットシステム１０は、外科医のコンソール１８と、患者側カート２０（外科用ロボット）と、外科用ロボットハブ２２とを含む。患者側カート２０は、外科医が外科医のコンソール１８又は外科医によって装着された拡張現実（ＡＲ）デバイス６６を通して手術部位を視認しながら、患者の身体の低侵襲切開を通じて、少なくとも１つの着脱可能に連結された外科用ツール１７を操作することができる。低侵襲処置中の手術部位の画像（例えば、リアルタイムでストリーミングされる静止画像又はライブ画像）は、医療用撮像デバイス２４によって取得することができる。患者側カート２０は、撮像デバイス２４を操作して、撮像デバイス２４を配向することができる。切開外科的処置の画像は、医療用撮像デバイス９６によって取得することができる。ロボットハブ２２は、外科医のコンソール１８、又は外科医若しくは外科手術室１６内の他の人によって装着されたＡＲデバイス６６上にその後表示するために手術部位の画像を処理する。

撮像デバイス２４、９６又はＡＲデバイス６６の光学構成要素は、１つ以上の照明源、及び／又は１つ以上のレンズを含み得る。１つ以上の照明源は、術野の一部分を照明するように方向付けられ得る。１つ以上の画像センサは、術野内の組織及び器具から反射又は屈折された光を受信し得る。

様々な態様では、撮像デバイス２４は、低侵襲外科的処置において使用するように構成されている。本開示と共に使用するために適切な撮像デバイスの例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃カメラ）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。様々な態様では、撮像デバイス９６は、切開（侵襲）外科的処置において使用するように構成されている。

様々な態様では、可視化システム８は、滅菌野に対して戦略的に配置される１つ以上の撮像センサと、１つ以上の画像処理装置と、１つ以上のストレージアレイと、１つ以上のディスプレイとを備える。一態様では、可視化システム８は、ＨＬ７、ＰＡＣＳ及びＥＭＲ用のインターフェースを備える。一態様では、撮像デバイス２４は、トポグラフィと下にある構造とを区別するためにマルチスペクトルモニタリングを採用し得る。マルチスペクトル画像は、電磁スペクトルにおいて特定の波長範囲内の画像データを捕捉する。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、ＩＲ、及び紫外からの光を含む特定の波長に対する感度を有する器具によって分離される。スペクトル撮像は、人間の目には見えない情報を抽出することができる。マルチスペクトルモニタリングは、処置された組織に対して試験を実行するための外科用タスクが完了した後に術野を再配置することができる。

図２は、手術台１４のオペレータに見えるように滅菌野に配置される一次ディスプレイ１９を示す。可視化タワー１１は、滅菌野の外側に配置され、互いに反対側を向いている第１の非滅菌ディスプレイ７及び第２の非滅菌ディスプレイ９を含む。ハブ６によって誘導される可視化システム８は、ディスプレイ７、９、１９を利用して、滅菌野の内側及び外側のオペレータへの情報フローを調整するように構成されている。例えば、ハブ６は、可視化システム８に、一次ディスプレイ１９又はＡＲデバイス６６上に手術部位のライブ映像を維持しながら、撮像デバイス２４、９６によって記録される手術部位のＡＲ画像を非滅菌ディスプレイ７、９又はＡＲデバイス６６を通じて表示させることができる。非滅菌ディスプレイ７、９は、例えば、非滅菌オペレータが、外科的処置に関連する診断ステップを実行することを可能にすることできる。

図３は、可視化システム８、ロボットシステム１０及び手持ち式インテリジェント外科用器具１２と通信するハブ６を示す。ハブ６は、ハブディスプレイ３５、撮像モジュール３８、発電機モジュール４０、通信モジュール３０、プロセッサモジュール３２、ストレージアレイ３４、及び手術室マッピングモジュール３３を含む。ハブ６は、排煙モジュール２６及び／又は吸引／灌注モジュール２８を更に含む。様々な態様では、撮像モジュール３８は、ＡＲデバイス６６を含み、プロセッサモジュール３２は統合ビデオプロセッサ及び拡張現実モデラ（例えば、図１０に示すようなもの）を含む。モジュール式光源は、様々な撮像デバイスと共に使用するように適合され得る。様々な例では、複数の撮像デバイスを術野の異なる位置に配置して、複数のビューを提供することができる（例えば、非侵襲的、低侵襲的、侵襲的、又は切開外科的処置）。撮像モジュール３８は、最適なビューを提供するために撮像デバイス間を切り替えるように構成することができる。種々の態様では、撮像モジュール３８は、異なる撮像デバイスからの画像を統合し、本明細書に説明されるような外科的処置の間、拡張現実インタラクティブ体験を提供するように構成することができる。

図４は、医療施設の１つ以上の手術現場／部屋に位置するモジュール式デバイスをクラウドベースのシステムに接続するように構成されたモジュール式通信ハブ５３を含む外科用データネットワーク５１を示す。クラウド５４は、ストレージデバイス５５に連結されたリモートサーバ６３（図５）を含むことができる。モジュール式通信ハブ５３は、ネットワークルータ６１と通信するネットワークハブ５７及び／又はネットワークスイッチ５９を含む。モジュール式通信ハブ５３は、データを処理するためにローカルコンピュータシステム６０に連結される。手術現場のモジュール式デバイス１ａ～１ｎは、モジュール式通信ハブ５３に連結され得る。ネットワークハブ５７及び／又はネットワークスイッチ５９は、ネットワークルータ６１に連結されて、デバイス１ａ～１ｎをクラウド５４又はローカルコンピュータシステム６０に接続することができる。デバイス１ａ～１ｎに関連付けられたデータは、リモートデータ処理及び操作のためにルータを介してクラウドベースのコンピュータに転送されてもよい。手術現場デバイス１ａ～１ｎは、有線チャネル又は無線チャネルを介してモジュール式通信ハブ５３に接続され得る。外科用データネットワーク５１環境は、本明細書で説明されるように、外科的処置中に拡張現実インタラクティブ体験を提供するために、特に、術野の拡張画像を１つ以上のリモートディスプレイ５８に提供するために採用されてもよい。

図５は、コンピュータ実装インタラクティブ外科用システム５０を示す。コンピュータ実装インタラクティブ外科用システム５０は、多くの点で、コンピュータ実装インタラクティブ外科用システム１と類似している。コンピュータ実装インタラクティブ外科用システム５０は、多くの点で外科用システム２と類似する１つ以上の外科用システム５２を含む。各外科用システム５２は、リモートサーバ６３を含み得るクラウド５４と通信する少なくとも１つの外科用ハブ５６を備える。一態様では、コンピュータ実装インタラクティブ外科用システム５０は、例えば、インテリジェント外科用器具、ロボット及び手術現場内に位置する他のコンピュータ化デバイス等の複数の手術現場デバイスに接続されたモジュール式制御タワー２３を備える。図６に示すように、モジュール式制御タワー２３は、コンピュータシステム６０に連結されたモジュール式通信ハブ５３を含む。

図５に戻ると、モジュール式制御タワー２３は、内視鏡９８に連結された撮像モジュール３８、エネルギーデバイス９９に連結された発電機モジュール２７、排煙器モジュール７６、吸引／灌注モジュール７８、通信モジュール１３、プロセッサモジュール１５、ストレージアレイ１６、任意選択的にディスプレイ３９に連結されたスマートデバイス／器具２１及びセンサモジュール２９に連結されている。手術現場デバイスは、モジュール式制御タワー２３を介して、サーバ６３、データストレージ５５及びディスプレイ５８等のクラウドコンピューティングリソースに連結されている。ロボットハブ７２もまた、モジュール式制御タワー２３、及びサーバ６３、データストレージ５５、並びにディスプレイ５８に接続されてもよい。とりわけ、デバイス／器具２１、可視化システム５８が、本明細書に記載されるように、有線又は無線通信規格又はプロトコルを介して、モジュール式制御タワー２３に連結されてもよい。モジュール式制御タワー２３は、撮像モジュール３８、デバイス／器具ディスプレイ３９及び／又は他の可視化システム５８から受信した、現実外科世界上のオーバーレイされた仮想オブジェクトを含む、受信された拡張画像を表示するためにハブディスプレイ６５（例えば、モニタ、スクリーン）に連結されてもよい。ハブディスプレイ６５はまた、画像及びオーバーレイ画像と共にモジュール式制御タワー２３に接続されたデバイスから受信したデータを表示し得る。

図６は、モジュール式制御タワー２３に連結された複数のモジュールを含む外科用ハブ５６を示す。モジュール式制御タワー２３は、例えばネットワーク接続デバイス等のモジュール式通信ハブ５３と、例えば拡張外科用情報のローカルでの処理、可視化及び撮像を行うためのコンピュータシステム６０とを含む。モジュール式通信ハブ５３は、モジュール式通信ハブ５３に接続されてもよいモジュール（例えば、デバイス）の数を拡張するために階層化構成で接続されて、モジュールに関連付けられたデータをコンピュータシステム６０、クラウドコンピューティングリソース、又はその両方に転送してもよい。モジュール式通信ハブ５３内のネットワークハブ／スイッチ５７／５９の各々は、３つの下流ポート及び１つの上流ポートを含み得る。上流のネットワークハブ／スイッチ５７、５９は、クラウドコンピューティングリソース及びローカルディスプレイ６７への通信接続を提供するためにプロセッサ３１に接続されている。クラウド５４への通信は、有線通信チャネル又は無線通信チャネルのいずれかを介して行うことができる。

コンピュータシステム６０は、プロセッサ３１と、ネットワークインターフェース３７とを含む。プロセッサ３１は、システムバスを介して、通信モジュール４１、ストレージ４５、メモリ４６、不揮発性メモリ４７、及び入力／出力インターフェース４８に連結される。システムバスは、様々な利用可能なバスアーキテクチャを使用した、メモリバス若しくはメモリコントローラ、周辺バス若しくは外部バス、及び／又はローカルバスを含む、いくつかのタイプのバス構造のいずれかであってもよい。

プロセッサ３１は、拡張現実モデラ（例えば、図１０に示されるような）を含み、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓによる商標名ＡＲＭ Ｃｏｒｔｅｘで知られているもの等のシングルコア又はマルチコアプロセッサとして実装されてもよい。一態様では、プロセッサは、例えば、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ４Ｆ２３０Ｈ５ＱＲ ＡＲＭ Ｃｏｒｔｅｘ－Ｍ４Ｆプロセッサコアであってもよい。このプロセッサコアは、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルシリアルランダムアクセスメモリ（ＳＲＡＭ）、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部読み出し専用メモリ（ＲＯＭ）、２ＫＢの電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）及び／又は、１つ以上のパルス幅変調（ＰＷＭ）モジュール、１つ以上の直交エンコーダ入力（ＱＥＩ）アナログ、１２個のアナログ入力チャネルを備える１つ以上の１２ビットアナログ－デジタル変換器（ＡＤＣ）を含む。なお、その詳細は、製品データシートで入手可能である。

システムメモリとしては、揮発性メモリ及び不揮発性メモリが挙げられる。起動中などにコンピュータシステム内の要素間で情報を転送するための基本ルーチンを含む基本入出力システム（ＢＩＯＳ）は、不揮発性メモリに記憶される。例えば、不揮発性メモリとしては、ＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、ＥＥＰＲＯＭ又はフラッシュメモリが挙げられ得る。揮発性メモリとしては、外部キャッシュメモリとして機能するランダムアクセスメモリ（ＲＡＭ）が挙げられる。更に、ＲＡＭは、ＳＲＡＭ、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（ＳＬＤＲＡＭ）及びダイレクトランバスＲＡＭ（ＤＲＲＡＭ）などの多くの形態で利用可能である。

コンピュータシステム６０はまた、取り外し可能／取り外し不可能な揮発性／不揮発性のコンピュータストレージ媒体、例えばディスクストレージ等を含む。ディスク記憶装置としては、磁気ディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ－６０ドライブ、フラッシュメモリカード又はメモリスティックのような装置が挙げられるが、これらに限定されない。加えて、ディスク記憶装置は、上記の記憶媒体を、独立して、又は他の記憶媒体との組み合わせで含むことができる。他の記憶媒体としては、コンパクトディスクＲＯＭ装置（ＣＤ－ＲＯＭ）、コンパクトディスク記録可能ドライブ（ＣＤ－Ｒドライブ）、コンパクトディスク書き換え可能ドライブ（ＣＤ－ＲＷドライブ）若しくはデジタル多用途ディスクＲＯＭドライブ（ＤＶＤ－ＲＯＭ）などの光ディスクドライブが挙げられるがこれらに限定されない。ディスク記憶装置のシステムバスへの接続を容易にするために、取り外し可能な又は取り外し不可能なインターフェースが用いられてもよい。

様々な態様では、図６のコンピュータシステム６０、図４～図６の撮像モジュール３８、及び／又は可視化システム５８、及び／又はプロセッサモジュール１５は、画像プロセッサ、画像処理エンジン、画像処理装置（ＧＰＵ）、メディアプロセッサ、又はデジタル画像の処理に使用される任意の専用デジタル信号プロセッサ（ＤＳＰ）を含んでもよい。画像プロセッサは、単一命令複数データ（ＳＩＭＤ）、又は複数命令複数データ（ＭＩＭＤ）技術を用いた並列コンピューティングを用いて速度及び効率を高めることができる。デジタル画像処理エンジンは、様々なタスクを実施することができる。画像プロセッサは、マルチコアプロセッサアーキテクチャを備えるチップ上のシステムであってもよい。

図７は、撮像モジュール３８と外科用ハブディスプレイ６７との間の通信経路内に配置された中間信号結合器６４を含む拡張現実システム２６３を示す。信号結合器６４は、撮像モジュール３８及び／又はＡＲデバイス６６から受信された音声及び／又は画像データを組み合わせる。外科用ハブ５６は、結合器６４から組み合わされたデータを受信し、ディスプレイ６７に提供されたデータをオーバーレイし、オーバーレイされたデータが表示される。撮像デバイス６８はデジタルビデオカメラであってもよく、オーディオデバイス６９はマイクロフォンであってもよい。信号結合器６４は、外科用ハブ５６がディスプレイ６７上にデータをオーバーレイすることを可能にするコンソールへのディスプレイ６７の通信経路内に配置されたＡＲデバイス６６に連結するための無線ヘッドアップディスプレイアダプタを含み得る。

図８は、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実（ＡＲ）システムを示す。図８は、外科用ハブ５６にデータを通信するために外科医７３によって装着されるＡＲデバイス６６を示す。ＡＲデバイス６６の周辺情報は、アクティブ映像を含まない。むしろ、周辺情報は、デバイス設定、又はリフレッシュレートの同じ要求を有さない信号のみを含む。相互作用は、術前コンピュータ断層撮影（ＣＴ）又は外科用ハブ５６内でリンクされた他のデータとのリンクに基づいて、外科医７３の情報を拡張させ得る。ＡＲデバイス６６は、構造を識別することができ、例えば、器具が神経、血管、又は癒着に触れているかどうかを尋ねることができる。ＡＲデバイス６６は、術前スキャンデータ、光学ビュー、処置全体を通して取得される組織調査特性、及び／又は回答を提供するために使用される外科用ハブ５６における処理を含み得る。外科医７３は、報告又はフォローアップにおける後の使用のためにハブストレージ４５内に患者データと共に保存されるように、ＡＲデバイス６６にメモを書き取ることができる。

外科医７３によって装着されるＡＲデバイス６６は、オーバーレイの必要性を回避するために、聴覚及び視覚情報を用いて外科用ハブ５６にリンクし、視野の周辺の周りに表示される情報のカスタマイズを可能にする。ＡＲデバイス６６は、デバイス（例えば、器具）からの信号を提供し、デバイス設定又は象限若しくは位置を識別するためにビデオとリンクされた位置情報に関するクエリに回答する。ＡＲデバイス６６は、ＡＲデバイス６６からの音声制御及び音声フィードバックを有する。ＡＲデバイス６６は、手術現場内の他のシステムと相互作用することができ、外科医７３がどこを視認しても利用可能なフィードバック及び相互作用を有することができる。例えば、ＡＲデバイス６６は、外科医から音声又はジェスチャ開始コマンド及びクエリを受信してもよく、ＡＲデバイス６６は、音声、視覚、又は触覚タッチを含む１つ以上のモダリティの形態でフィードバックを提供してもよい。

図９は、ＡＲデバイス６６を装着している外科医７３、患者７４を示し、手術室７５内にカメラ９６を含んでもよい。外科医７３によって装着されるＡＲデバイス６６は、拡張現実ディスプレイ８９を通して、又はハブ接続ディスプレイ６７を通して、術野のリアルタイム画像上にオーバーレイされる仮想オブジェクトを外科医７３に提示するために使用されてもよい。リアルタイム画像は、外科用器具７７の一部を含んでもよい。仮想オブジェクトは、手術室７５内の他者（例えば、外科助手又は看護師）には可視でない場合があるが、彼らもまた、ＡＲデバイス６６を装着し得る。別の人がＡＲデバイス６６を用いて手術室７５を視認している場合であっても、その人は、仮想オブジェクトを見ることができない場合があるか、又は外科医７３と共有される拡張現実において仮想オブジェクトを見ることができる場合があるか、又は（例えば、外科医７３に固有のカスタマイゼーションに従って）仮想オブジェクトの修正バージョンを見ることができる場合があるか、又は異なる仮想オブジェクトを見る場合がある。

仮想オブジェクト及び／又はデータは、外科用器具７７の一部上に、又は撮像モジュール３８、低侵襲外科的処置中の撮像デバイス６８、及び／又は切開外科的処置中のカメラ９６によって捕捉された手術視野内に現れるように構成され得る。図示の例では、撮像モジュール３８は、低侵襲外科的処置中に外科領域のライブ映像を提供する腹腔鏡カメラである。ＡＲシステムは、ＡＲシステムの１人又は複数の視認者（例えば、外科医７３）の視点に関係なく、実オブジェクトに固定される仮想オブジェクトを提示してもよい。例えば、仮想オブジェクトは、手術室７５内のＡＲシステムの視認者に可視であってもよく、手術室７５外のＡＲシステムの視認者に可視でなくてもよい。仮想オブジェクトは、視認者が手術室７５に入ったときに、手術室７５外の視認者に表示されてもよい。拡張画像は、外科用ハブディスプレイ６７又は拡張現実ディスプレイ８９に表示されてもよい。

ＡＲデバイス６６は、単一スクリーン又は２つのスクリーン（例えば、ユーザの目毎に１つ）等の１つ以上のスクリーン又はレンズを含んでもよい。スクリーンは、仮想オブジェクトを表示している間に実環境の態様が可視であるように、光がスクリーンを通過することを可能にし得る。仮想オブジェクトは、光を投影することによって外科医７３に可視になり得る。仮想オブジェクトは、ある程度の透明度を有するように見えてもよく、又は不透明であってもよい（すなわち、実環境の態様を遮断する）。

ＡＲシステムは、１人以上の視認者に可視であってもよく、ビュー間で共通のいくつかの態様を保持しながら、１人以上の視認者に利用可能なビュー間の差異を含んでもよい。例えば、ヘッドアップディスプレイは、２つのビューの間で変化し得るが、仮想オブジェクト及び／又はデータは、両方のビュー内の実オブジェクト又は領域に固定され得る。オブジェクトの色、照明、又は他の変更等の態様は、少なくとも１つの仮想オブジェクトの固定位置を変更することなくビュー間で行われ得る。

ユーザは、ＡＲシステム内に提示される仮想オブジェクト及び／又はデータを、不透明として、又はあるレベルの透明度を含むものとして見ることができる。一例では、ユーザは、仮想オブジェクトを第１の位置から第２の位置に移動させること等によって、仮想オブジェクトと相互作用することができる。例えば、ユーザは、自身の手でオブジェクトを動かしてもよい。これは、（例えば、ＡＲデバイスカメラ７９又は別個の９６等のＡＲデバイス６６上に搭載されてもよく、静的であってもよく、又は移動するように制御されてもよい、１つ以上のカメラを使用して）手がオブジェクトと一致又は隣接する位置に移動したことを判定し、それに応じてオブジェクトを移動させることによって、ＡＲシステムにおいて仮想的に行われてもよい。仮想態様は、実世界オブジェクトの仮想表現を含んでもよく、又は照明効果等の視覚効果を含んでもよい。ＡＲシステムは、仮想オブジェクトを重力又は摩擦に曝す等、仮想オブジェクトの挙動を支配するための規則を含んでもよく、又は実世界の物理的制約（例えば、浮遊オブジェクト、永久運動等）を否定する他の事前定義された規則を含んでもよい。ＡＲデバイス６６は、ＡＲデバイス６６上にカメラ７９を含み得る（ＡＲデバイス６６とは別個のカメラ９６と混同されるべきではない）。ＡＲデバイスカメラ７９又はカメラ９６は、赤外線カメラ、赤外線フィルタ、可視光フィルタ、複数のカメラ、深度カメラ等を含み得る。ＡＲデバイス６６は、ユーザが視認することができる実環境の表現の上に仮想アイテムを投影し得る。

ＡＲデバイス６６は、例えば、外科医７３によって患者７４に対して行われる外科的処置中に手術室７５内で使用され得る。ＡＲデバイス６６は、外科医の視覚を拡張するために、外科的処置中の仮想オブジェクト等の仮想オブジェクトを投影又は表示してもよい。外科医７３は、ＡＲデバイス６６、ＡＲデバイス６６のためのリモートコントローラを使用して仮想オブジェクトを視認してもよく、又は、例えば、ＡＲデバイス６６のカメラ７９によって認識される仮想オブジェクト又はジェスチャと「相互作用」するために手を使用して、仮想オブジェクトと相互作用してもよい。仮想オブジェクトは、外科用器具７７等の外科用ツールを拡張することができる。例えば、仮想オブジェクトは、（ＡＲデバイス６６を通して仮想オブジェクトを視認する外科医７３に対して）外科用器具７７と連結されるように、又は外科用器具７７から固定距離のままであるように見えてもよい。別の例では、仮想オブジェクトは、外科用器具７７を案内するために使用されてもよく、患者７４に固定されているように見えてもよい。特定の例では、仮想オブジェクトは、術野における他の仮想又は実世界のオブジェクトの動きに反応し得る。例えば、仮想オブジェクトは、外科医が仮想オブジェクトに近接して外科用器具を操作しているときに変更され得る。

拡張現実ディスプレイシステム撮像デバイス３８は、外科的処置の間、外科領域の実画像を捕捉する。拡張現実ディスプレイ８９、６７は、外科領域の実画像上への外科用器具７７の動作態様のオーバーレイを提示する。外科用器具７７は、ＡＲデバイス６６上の通信回路２３３を介して外科用器具７７からＡＲデバイス６６に動作態様及び機能データを通信するための通信回路２３１を含む。外科用器具７７及びＡＲデバイス６６は、矢印Ｂ、Ｃによって示されるように、回路２３１、２３３の間のＲＦ無線通信において示されているが、他の通信技術（例えば、有線、超音波、赤外線等）が採用されてもよい。オーバーレイは、アクティブに可視化されている外科用器具７７の動作態様に関連する。オーバーレイは、外科領域における組織相互作用の態様を外科用器具７７からの機能データと組み合わせる。ＡＲデバイス６６のプロセッサ部分は、外科用器具７７から動作態様及び機能データを受信し、外科用器具７７の動作に関連するオーバーレイを決定し、外科領域内の組織の態様を外科用器具７７からの機能データと組み合わせるように構成される。拡張画像は、デバイス性能考慮事項に関するアラート、不適合な使用のアラート、不完全な捕捉に関するアラートを示す。不適合な使用には、範囲外の組織状態及びエンドエフェクタのジョー内の誤ってバランスされた組織が含まれる。追加の拡張画像は、組織張力のインジケーション及び異物検出のインジケーションを含む付随事象のインジケーションを提供する。他の拡張画像は、デバイス状況オーバーレイ及び器具インジケーションを示す。

図１０は、本開示の少なくとも一態様による、ＡＲディスプレイ８９を使用して情報と共に術野の画像を拡張するためのシステム８３を示す。システム８３は、例えば、プロセッサ８５を使用することによって、以下で説明される技術を実行するために使用され得る。システム８３は、データベース９３と通信することができるＡＲデバイス６６の一態様を含む。ＡＲデバイス６６は、プロセッサ８５、メモリ８７、ＡＲディスプレイ８９、及びカメラ７９を含む。ＡＲデバイス６６は、センサ９０、スピーカ９１、及び／又は触覚コントローラ９２を含んでもよい。データベース９３は、画像ストレージ９４又は術前計画ストレージ９５を含んでもよい。

ＡＲデバイス６６のプロセッサ８５は、拡張現実モデラ８６を含む。拡張現実モデラ８６は、拡張現実環境を作成するために、プロセッサ８５によって使用され得る。例えば、拡張現実モデラ８６は、カメラ７９又はセンサ９０等から、術野内の器具の画像を受信し、手術視野の表示画像内に収まるように拡張現実環境を作成してもよい。別の例では、物理的オブジェクト及び／又はデータは、手術視野及び／又は外科用器具画像上にオーバーレイされてもよく、拡張現実モデラ８６は、物理的オブジェクト及びデータを使用して、仮想オブジェクト及び／又はデータの拡張現実ディスプレイを拡張現実環境内に提示してもよい。例えば、拡張現実モデラ８６は、患者の手術部位で器具を使用又は検出し、外科用器具上の仮想オブジェクト及び／又はデータ、及び／又はカメラ７９によって捕捉された手術視野内の手術部位の画像を提示してもよい。ＡＲディスプレイ８９は、実環境にオーバーレイされたＡＲ環境を表示してもよい。ディスプレイ８９は、ＡＲ環境内の固定位置等にあるＡＲデバイス６６を使用して、仮想オブジェクト及び／又はデータを示すことができる。

ＡＲデバイス６６は、赤外線センサ等のセンサ９０を含むことができる。カメラ７９又はセンサ９０は、外科医又は他のユーザによるジェスチャ等の動きを検出するために使用されてもよく、動きは、プロセッサ８５によって、ユーザによる仮想ターゲットとの試みられた又は意図された相互作用として解釈されてもよい。プロセッサ８５は、カメラ７９を使用して受信された情報を処理すること等によって、実環境内のオブジェクトを識別することができる。他の態様では、センサ９０は、拡張環境を作成するために様々なデータフィードと組み合わされ得る対応する信号を生成するための触覚センサ、可聴センサ、化学センサ、又は熱センサであり得る。センサ９０は、バイノーラルオーディオセンサ（空間音）、慣性測定（加速度計、ジャイロスコープ、磁力計）センサ、環境センサ、深度カメラセンサ、手及び視線追跡センサ、並びに音声コマンド認識機能を含み得る。

ＡＲディスプレイ８９は、例えば、外科的処置中に、術野がＡＲディスプレイ８９を通して視認されることを可能にしながら、術野内等に、患者の解剖学的態様によって隠される物理的特徴に対応する仮想特徴を提示してもよい。仮想特徴は、物理的特徴の第１の物理的位置又は配向に対応する仮想位置又は配向を有し得る。一例では、仮想特徴の仮想位置又は配向は、物理的特徴の第１の物理的位置又は配向からのオフセットを含み得る。オフセットは、拡張現実ディスプレイからの所定の距離、拡張現実ディスプレイから解剖学的態様までの相対距離等を含んでもよい。

一例では、ＡＲデバイス６６は、個々のＡＲデバイスであり得る。一態様では、ＡＲデバイス６６は、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔによって製造されたＨｏｌｏＬｅｎｓ ２ ＡＲデバイスであってもよい。このＡＲデバイス６６は、レンズ及びバイノーラルオーディオ特徴（空間音）を伴うバイザと、慣性測定（加速度計、ジャイロスコープ、磁力計）と、環境センサと、深度カメラと、ビデオカメラと、手及び視線追跡と、音声コマンド認識機能とを含む。それは、鏡を使用して導波路を着用者の目の前に向けることによって、高解像度で改善された視野を提供する。画像は、ミラーの角度を変えることによって拡大することができる。それはまた、ユーザを認識し、特定のユーザのためにレンズ幅を調整するための視線追跡を提供する。

別の例では、ＡＲデバイス６６は、Ｓｎａｐｃｈａｔ Ｓｐｅｃｔａｃｌｅｓ ３ ＡＲデバイスであり得る。このＡＲデバイスは、ペア画像を捕捉し、３Ｄ深度マッピングを再作成し、仮想効果を追加し、３Ｄビデオを再生する能力を提供する。ＡＲデバイスは、６０ｆｐｓで３Ｄ写真及びビデオを捕捉するための２つのＨＤカメラを含み、一方、４つの内蔵マイクロフォンは、没入型高忠実度オーディオを記録する。両方のカメラからの画像を組み合わせて、ユーザの周りの実世界の幾何学的マップを構築し、奥行き知覚の新しい感覚を提供する。写真及びビデオは、外部ディスプレイデバイスに無線で同期され得る。

更に別の例では、ＡＲデバイス６６は、ＧｏｏｇｌｅによるＧｌａｓｓ ２ ＡＲデバイスであり得る。このＡＲデバイスは、情報を補足するためにレンズ（視野外）上にオーバーレイされた慣性測定（加速度計、ジャイロスコープ、磁力計）情報を提供する。

別の例では、ＡＲデバイス６６は、ＡｍａｚｏｎによるＥｃｈｏ Ｆｒａｍｅｓ ＡＲデバイスであり得る。このＡＲデバイスは、カメラ／ディスプレイを有しない。マイクロフォン及びスピーカはＡｌｅｘａにリンクされる。このＡＲデバイスは、ヘッドアップディスプレイよりも機能が少ない。

更に別の例では、ＡＲデバイス６６は、Ｎｏｒｔｈ（Ｇｏｏｇｌｅ）によるＦｏｃａｌｓ ＡＲデバイスであり得る。このＡＲデバイスは、通知プッシャ／スマートウォッチアナログ、慣性測定、情報（天気、カレンダ、メッセージ）のスクリーンオーバーレイ、音声制御（Ａｌｅｘａ）統合を提供する。このＡＲデバイスは、基本的なヘッドアップディスプレイ機能を提供する。

別の例では、ＡＲデバイス６６は、Ｎｒｅａｌ ＡＲデバイスであり得る。このＡＲデバイスは、空間音、２つの環境カメラ、写真カメラ、ＩＭＵ（加速度計、ジャイロスコープ）、周辺光センサ、近接センサ機能を含む。ｎｅｂｕｌａは、アプリケーション情報をレンズ上に投影する。

様々な他の例では、ＡＲデバイス６６は、以下の市販のＡＲデバイス、すなわち、Ｍａｇｉｃ Ｌｅａｐ １、Ｅｐｓｏｎ Ｍｏｖｅｒｉｏ、Ｖｕｚｉｘ Ｂｌａｄｅ ＡＲ、ＺｅｎＦｏｎｅ ＡＲ、Ｍｉｃｒｏｓｏｆｔ ＡＲ眼鏡プロトタイプ、ＥｙｅＴａｐのうちのいずれか１つであってもよく、これにより、環境の光と同一直線上の光を直接網膜に作成する。ビームスプリッタは、例えば、情報を処理しオーバーレイするために、コンピュータに目に見える同じ光を利用可能にする。ＡＲ可視化システムは、ＨＵＤ、コンタクトレンズ、眼鏡、仮想現実（ＶＲ）ヘッドセット、仮想網膜ディスプレイ、手術室内ディスプレイ、及び／又はスマートコンタクトレンズ（バイオニックレンズ）を含む。

ＡＲデバイス６６のためのマルチユーザインターフェースは、目の前のスクリーン上ではなく網膜上に直接描画されるラスタディスプレイ等の仮想網膜ディスプレイ、スマートテレビ、スマートフォン、及び／又はＳｏｎｙ空間ディスプレイシステム等の空間ディスプレイを含む。

他のＡＲ技術は、例えば、ＡＲ捕捉デバイス及びソフトウェアアプリケーション、ＡＲ作成デバイス及びソフトウェアアプリケーション、並びにＡＲクラウドデバイス及びソフトウェアアプリケーションを含んでもよい。ＡＲ捕捉デバイス及びソフトウェアアプリケーションは、例えば、Ａｐｐｌｅ Ｐｏｌｙｃａｍ ａｐｐ、Ｕｂｉｑｕｉｔｙ ６（Ｄｉｓｐｌａｙ．ｌａｎｄ ａｐｐを使用するＭｉｒｒｏｒｗｏｒｌｄ）を含み、ユーザは、（３Ｄモデルを作成するために）実世界の３ｄ画像をスキャンし、取得することができる。ＡＲ作成デバイス及びソフトウェアアプリケーションは、例えば、Ａｄｏｂｅ Ａｅｒｏ、Ｖｕｆｏｒｉａ、ＡＲＴｏｏｌＫｉｔ、Ｇｏｏｇｌｅ ＡＲＣｏｒｅ、Ａｐｐｌｅ ＡＲＫｉｔ、ＭＡＸＳＴ、Ａｕｒａｓｍａ、Ｚａｐｐａｒ、Ｂｌｉｐｐａｒを含む。ＡＲクラウドデバイス及びソフトウェアアプリケーションは、例えば、Ｆａｃｅｂｏｏｋ、Ｇｏｏｇｌｅ（ｗｏｒｌｄ ｇｅｏｍｅｔｒｙ、ｏｂｊｅｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ、ｐｒｅｄｉｃｔｉｖｅ ｄａｔａ）、Ａｍａｚｏｎ ＡＲ Ｃｌｏｕｄ（ｃｏｍｍｅｒｃｅ）、Ｍｉｃｒｏｓｏｆｔ Ａｚｕｒｅ、Ｓａｍｓｕｎｇ Ｐｒｏｊｅｃｔ Ｗｈａｒｅ、Ｎｉａｎｔｉｃ、Ｍａｇｉｃ Ｌｅａｐを含む。

以下の開示の一態様は、低侵襲外科的処置中に腹腔鏡カメラ手術視野を通して可視化された外科領域のライブビデオストリーム上への外科用器具動作態様又は機能の様々なオーバーレイを説明する。オーバーレイは、アクティブに可視化されている外科用器具又はデバイスのうちの１つの動作に関連する。オーバーレイは、組織／器官相互作用の態様を、外科的処置で使用される外科用器具から受信した機能データと組み合わせる。外科用器具は、グラスパ、クランプ、ステープラ、超音波、ＲＦ、又はこれらの器具の各々の組み合わせを含み得る。グラスパ及びクランプに関して、組織パラメータの態様は、クランプの状態又はクランプの大きさと共に、組織の不完全な捕捉を含み得る。外科用ステープラに関して、組織パラメータの態様は、外科用ステープラの組織捕捉位置、組織圧縮、クランプ、又は発射充足性を含み得る。超音波又はＲＦデバイスなどの高度エネルギーデバイスに関して、組織パラメータの態様は、インピーダンス、焼灼状態、出血の大きさを含んでもよく、器具機能の態様は、例えば、とりわけ、エネルギーレベル、タイミング、クランプ圧力を含み得る。以下の図１１～図３５に示される拡張画像は、図１～図１０に関連して上述したように、ローカルディスプレイ、リモートディスプレイ、及び／又はＡＲデバイス上で視認され得る。拡張画像は、低侵襲外科的処置中に腹腔鏡カメラを通して可視化されるものとして説明されるが、画像は、この文脈において本開示の範囲を限定することなく、非侵襲及び侵襲（例えば、開腹）外科的処置中に捕捉されてもよい。これらの態様を以下に説明する。

図１１～図７５は低侵襲外科的処置中に腹腔鏡カメラを通して可視化される様々な拡張画像を説明する。拡張現実ディスプレイシステムは、外科的処置中に使用される。拡張現実ディスプレイシステムは、外科的処置中に外科領域の実画像を捕捉するための撮像デバイスと、外科用器具の動作態様のオーバーレイを外科領域の実画像上に提示するための拡張現実ディスプレイと、プロセッサとを備える。オーバーレイは、アクティブに可視化されている外科用器具の動作態様に関連する。オーバーレイは、外科領域における組織相互作用の態様を外科用器具からの機能データと組み合わせる。プロセッサは、外科用器具のための機能データを受信し、外科用器具の動作に関連するオーバーレイを決定し、外科領域内の組織の態様を外科用器具からの機能データと組み合わせるように構成される。拡張画像は、デバイス性能考慮事項に関するアラート、不適合な使用のアラート、不完全な捕捉に関するアラートを示す。不適合な使用には、範囲外の組織状態及びエンドエフェクタのジョー内の誤ってバランスされた組織が含まれる。追加の拡張画像は、組織張力のインジケーション及び異物検出のインジケーションを含む付随事象のインジケーションを提供する。他の拡張画像は、デバイス状況オーバーレイ及び器具インジケーションを示す。

図１１～図７５はまた、外科用ステープラ、エネルギーデバイス、又はその相互作用の態様を明確に表すための器具の重要動作又はパラメータの機能的オーバーレイも説明する。一態様では、オーバーレイデータは、コンテキストを追加するためにソース器具によって単に検出された情報からオーバーレイを修正するように、外科用ハブによって検出された態様によって調整される。他の態様では、ディスプレイは、ユーザによって調整又は修正されてもよく、その結果、監視されている外科用器具の動作の修正ももたらし得る。

図１１は、外科用器具エンドエフェクタ１０８のジョー１１０の間に捕捉された適切な組織１１２を示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域１１８のライブ映像の拡張画像１００である。外科用器具の動作態様は、エンドエフェクタ１０８のジョー１１０の間に組織１１２をクランプすることである。組織１１２の態様は、エンドエフェクタ１０８のジョー１１０の間の組織１１２の適切な捕捉である。外科領域１１８の腹腔鏡視野１０２は、そのジョー１１０において組織１１２を捕捉する外科用器具エンドエフェクタ１０８を示す。拡張画像１００は、エンドエフェクタ１０８のアンビル１１０上に重畳された仮想グラフィカルアラートオーバーレイ１０６を示す。仮想重畳グラフィカルアラートオーバーレイ１０６は、ステープル留め、エネルギーのための組織の過負荷などのためのステープルカートリッジリロード選択をＯＲチームに知らせるために、エンドエフェクタ１０８のジョー１１０において把持された組織の量を示す。第１の重畳アラート１０４は、エンドエフェクタ１０８の近位端においてジョー１１０で把持された組織１１２が範囲外であることを知らせる。第２の重畳アラート１１６は、エンドエフェクタ１０８の中間部分においてジョー１１０で把持された組織１１２がリロード範囲内であることを知らせる。第３の重畳アラート１１４は、エンドエフェクタ１０８の遠位端においてジョーで把持された組織１１２が切断線の上にあることを知らせる。重畳されたグラフィカルアラートオーバーレイ１０６は、エネルギーベースの外科用器具、ステープラベースの外科用器具、操作ツールなどに適用される。

図１２は、組織態様として外科用器具エンドエフェクタ２０４のジョー２１０の間で近位に捕捉された組織２０６位置を示す、低侵襲外科的処置中に腹腔鏡カメラを通して可視化された外科領域２１２のライブ映像の拡張画像２００である。組織の態様は、エンドエフェクタ２０４のジョー２１０の間の誤って捕捉又は配置された組織２０６を含む。外科領域２１２の腹腔鏡視野２０２は、エンドエフェクタ２０４のジョー２１０の間で組織２０６を把持する外科用器具エンドエフェクタ２０４を示す。拡張画像２００は、組織２０６がエンドエフェクタ２０４のジョー２１０で過剰に近位に２０６把持されていることを示すために、エンドエフェクタ２０４のジョー２１０のうちの１つに重畳されたグラフィカルアラートオーバーレイ２０８を示す。重畳アラート２０８は、主にエネルギーベースの外科用器具に適用されるが、例えば、同様のアラートが外科用ステープラ器具において重畳されてもよい。

図１３は、組織態様として外科用器具エンドエフェクタ３２０のジョー３１８の間の不十分に捕捉された組織３２２を示す、低侵襲外科的処置中に腹腔鏡カメラを通して可視化された外科領域３２４のライブ映像の拡張画像３００である。外科領域３２４の腹腔鏡視野３０２は、エンドエフェクタ３２０のジョー３１８で組織３２２を把持する外科用器具エンドエフェクタ３２０を示す。拡張画像３００は、エンドエフェクタ３２０のジョー３１８における切断の終端に対して不十分に捕捉された組織３２２を示すために、外科領域３２４の画像上に重畳されたグラフィカルアラートオーバーレイ３０４を示す。

拡張画像３００はまた、手術視野３０２上に又はこれに隣接して重畳された一般的な解剖学的構造のグラフィック画像３０６と手術視野３０２上に又はこれに隣接して重畳された実際の解剖学的構造の参照フレーム３１０とを示す第１のサブ画像３０８も含む。拡張画像３００はまた、使用中の外科用器具のタイプ、適用可能であればエネルギーレベル、及び現在の外科的処置を示す第２のサブ画像３１２も含む。第２のサブ画像３１２は、手術視野３０２上に重畳されるか、又はこれに隣接して位置してもよい。拡張画像３００は、高度な止血を達成するために最大５に設定されたエネルギーレベルで外科的処置において使用されている超音波外科用器具を示す。外科用器具のグラフィック画像３１６は、不完全組織捕捉アラートオーバーレイ３０４のグラフィック画像３１４上に重畳されて示されている。したがって、拡張画像３００は、切断の終端に対して不十分に捕捉された組織３２２をＯＲチームに知らせるいくつかの仮想オブジェクトを提供する。重畳された不完全組織捕捉アラートオーバーレイ３０４は、エネルギーベースの外科用器具並びに外科用ステープラ器具などに適用される。

図１４は、組織態様として外科用器具エンドエフェクタ３５４のジョー３５８の間の不十分に捕捉された組織３４８を示す、低侵襲外科的処置中に腹腔鏡カメラを通して可視化された外科領域３５９のライブ映像の別の拡張画像３３０である。外科領域３５９の腹腔鏡視野３３２は、エンドエフェクタ３５４のジョー３５９、３５８における切断の終端に対して不十分に捕捉された組織３５２を有する外科用器具エンドエフェクタ３５４を示す。拡張画像３３０は、不完全組織捕捉を示すために組織３４８上に重畳されたグラフィカルアラートオーバーレイ３５２を示す。図示された例では、エンドエフェクタ３５４のジョー３５８、例えばアンビルは、エンドエフェクタ３５４のジョー３５０、３５８で把持された組織３５２の位置を示すための一連の発光ダイオード（ＬＥＤ）インジケータ３５６を含む。手術視野３３２には、組織３５２の以前にステープル留めされた部分の２列のステープル３３４も示されている。

拡張画像３３０は、腹腔鏡視野３３２に示された一般的な解剖学的構造のグラフィック画像３３６と腹腔鏡視野３３２に示された実際の解剖学的構造の参照フレーム３４０とを示す第１のサブ画像３３８を含む。拡張画像３３０は、使用されている器具のタイプ及び外科的処置を示す第２のサブ画像３４２を含む。図示された例では、動力式血管外科用ステープラが血管外科的処置において使用されている。第２のサブ画像３４２には、動力式外科用ステープラのステープラカートリッジ３４６のグラフィック画像、及び動力式外科用ステープラの切断線を示すためにステープラカートリッジ３４６のグラフィック画像上に重畳されたグラフィック３４４も示されている。

図１５は、組織態様として外科用器具エンドエフェクタ３６８のジョー３７０の間の不十分に捕捉された組織３７２を示す、低侵襲外科的処置中に腹腔鏡カメラを通して可視化された外科領域３７４のライブ映像の別の拡張画像３６０である。外科領域３７４の腹腔鏡視野３６２は、エンドエフェクタ３６８のジョー３７０における切断の終端に対して不十分に捕捉された組織３７２を有する外科用器具エンドエフェクタ３６８を示す。拡張画像３６０は、不完全組織捕捉を示すためにエンドエフェクタ３６８のアンビル上に重畳されたグラフィカルアラートオーバーレイ３６６を示す。第１の重畳アラート３６４は、エンドエフェクタ３６８のジョー３７０の近位端で把持された組織３７２が範囲外であることを知らせる。第２の重畳アラート３７８は、エンドエフェクタ３６８のジョー３７０の中間部分で把持された組織３７２がリロード範囲内であることを知らせる。第３の重畳アラート３７６は、エンドエフェクタ３６８のジョー３７０の遠位端で把持された組織３７２が切断線の上にあることを知らせる。

図１６は、組織態様として組織４２０張力を示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域４２２のライブ映像の拡張画像４００である。腹腔鏡視野４０２は、外科用器具エンドエフェクタ４１８のジョー４２４の間に把持された組織４２０を示す。拡張画像４００は、把持された組織４２０が張力下にあることを警告するために、外科領域４２２内に重畳されたグラフィカルアラートオーバーレイ４０４と、組織４２０の着色とを示す。重畳された組織張力アラート４０４及びエンドエフェクタ４１８のジョー４２４で把持された組織４２０の着色は、把持された組織４２０が」張力下にあることを知らせる。重畳された組織張力アラートオーバーレイ４０４及び張力下の組織４２０の着色は、エネルギーベースの外科用器具、外科用ステープラ器具、並びに操作ツールに適用される。

拡張画像４００は、腹腔鏡視野４０２に示された一般的な解剖学的構造のグラフィック画像４０６と腹腔鏡視野４０２に示された実際の解剖学的構造の参照フレーム４１０とを示す第１のサブ画像４０８を含む。拡張画像４００はまた、使用中の外科用器具のタイプ、適用可能であれば印加されているエネルギーレベル、及び現在の外科的処置を示す第２のサブ画像４１２も含む。拡張画像４００は、高度な止血を達成するために最大５のエネルギーレベルで外科的処置において使用されている超音波外科用器具を示す。外科用器具のグラフィック画像４１６は、張力低下アラートオーバーレイ４０４のグラフィック画像４１４上に重畳されて示されている。したがって、拡張画像４００は、切断の終端に対して捕捉された組織４２０の張力を低減するようにＯＲチームに知らせるためのいくつかのオプションを提供する。重畳された張力低下アラートオーバーレイ４０４は、エネルギーベースの外科用器具並びに外科用ステープラ器具などに適用される。

図１７は、組織態様として組織４４４張力を示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域４４２のライブ映像の別の拡張画像４３０である。腹腔鏡視野４３２は、エンドエフェクタ４３６のジョー４３８の間に組織４４４を把持する外科用器具エンドエフェクタ４３６を示す。拡張画像４３０では、把持された組織４４４が張力下にあることを示すために、把持された組織４４４に着色が加えられる。エンドエフェクタ４３６のジョー４３８で把持された組織４４４は、組織４４４が張力下にあることを示すために着色されている。腹腔鏡視野４３２には、以前に適用されたステープル４３４の列も示されている。エンドエフェクタ４３６のジョー４３８で把持された組織４４４の位置を示すための、１組のＬＥＤ４４０も示されている。

図１８は、図１１～図１７に示される外科用器具の動作態様としてジョー閉鎖位置を示す、複数のグラフィック画像５００である。複数のグラフィック画像５００は、外科領域の画像に重畳された、及び／又はエンドエフェクタ自体のジョーに重畳された、静的グラフィック及びアラートを含む。重畳されたグラフィック画像５００は、エネルギーベースの外科用器具、ステープラベースの外科用器具、操作ツールなどに適用される。

第１の画像５０２は、患者情報、処置、及び症例ＩＤを示す第１のグラフィカルオーバーレイ５０４を含む。第２のオーバーレイ５０６は、外科的処置において使用中の外科用ステープラ器具、例えば図示されるように１．５ｍｍの閉じたステープル高さを有する外科用ステープラのタイプを知らせる。第３のグラフィカルオーバーレイ５０８は、外科用ステープラの関節運動度を知らせる。第４のグラフィカルオーバーレイ５１０は、ポップアップエラー表示である。最後に、第５のグラフィカルオーバーレイ５１２は、外科的処置において使用中のエネルギー外科用器具、例えば最小３から最大５までのエネルギーレベルで動作する超音波器具を知らせる。

第２の画像５１４は、外科用ステープラのジョーが閉鎖されていることを知らせる第６のグラフィカルオーバーレイ５１６が追加された、第１の画像５０２の説明で説明されたグラフィカルオーバーレイ５０６、５０８、５１０、５１２の全てを含む。

第３の画像５１８は、外科用ステープラのジョーが部分的に閉鎖されていることを知らせる第６のグラフィカルオーバーレイ５２０が追加された、第１の画像５０２の説明で説明されたグラフィカルオーバーレイ５０６、５０８、５１０、５１２の全てを含む。

第４の画像５２２は、外科用ステープラのジョーが開放されていることを示す第６のグラフィカルオーバーレイ５２４が追加された、第１の画像５０２の説明で説明されたグラフィカルオーバーレイ５０６、５０８、５１０、５１２の全てを含む。

図１９は、外科用器具の動作態様としてジョー５３６、５４２閉鎖位置を示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域５４４のライブ映像の拡張画像５３０である。腹腔鏡視野５３２は、エンドエフェクタ５４０のジョー５３６、５４２の間に把持された組織５３４を有する部分的に閉鎖された外科用器具エンドエフェクタ５４０と、組織把持プロセスを支援するために使用される組織操作ツール５４６とを示す。拡張画像５３０は、部分的な閉鎖を示すエンドエフェクタ５４０上に重畳されたグラフィカルアラートオーバーレイ５３８を示す。

図２０は、完全に閉鎖された外科用器具エンドエフェクタ５４０と、エンドエフェクタ５４０上に重畳されたジョー閉鎖位置を示すグラフィカルアラートオーバーレイ５４６とを示す、図１９に示される外科領域５４４のライブ映像の拡張画像５５０である。外科領域５４４の腹腔鏡視野は、エンドエフェクタ５４０のジョー５３６、５４２に把持された組織５３４を示す。

図２１は、外科用器具の動作態様として金属又は異物上のクランプを示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域６１０のライブ映像の拡張画像６００である。外科領域６１０の腹腔鏡視野６０２は、組織６０８に埋め込まれた金属又は異物上にクランプされた外科用器具エンドエフェクタ６０４を示す。拡張画像６００は、エンドエフェクタ６０４のジョーの間にクランプされた異物を示す、エンドエフェクタ６０４の上側ジョー６０６のグラフィカルオーバーレイ６１２上に重畳されたグラフィカルアラートオーバーレイ６１４を示す。

図２２は、過熱が外科用器具の動作態様であるデバイス余熱警告を示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域７１４のライブ映像の拡張画像７００である。外科領域７１４の腹腔鏡視野は、超音波ブレード７１０とクランプアーム７０４との間にクランプされた組織７１０を有する外科用器具エンドエフェクタ７０６を示す。エンドエフェクタ７０６は、高温超音波ブレード７１０を示す。拡張画像７００は、高温超音波ブレード７１０上に重畳されたグラフィカルアラートオーバーレイ７０８を含む。グラフィカルアラートオーバーレイ７０８は、超音波ブレード７１０が余熱を蓄積していることをユーザに警告し、余熱は、超音波ブレード７１０と、これに枢動可能に結合されたクランプアーム７０４との間に捕捉された周囲の組織７１２に伝達される。

図２３は、組織態様として組織８２８の移動及び流動を示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域８２２のライブ映像の拡張画像８００である。外科領域８２２の腹腔鏡ビューは、組織８２８がエンドエフェクタ８１２のジョー８２４及び組織グラスパ８０４、８２４のジョーに把持された状態で、組織グラスパ８０４、８２４及び外科用器具エンドエフェクタ８１２に対する組織８２８の移動及び流動を示す。拡張画像８００は、外科領域８２２上に重畳されたグラフィカル画像８１４、８２０を示す。第１のグラフィカル画像８１４は、外科用ステープラのアイコン８１６と、「ステープラ」として外科用器具を識別するテキストとを含む。第２の画像８２０は、グラスパ８１８のアイコンを含む。サブ画像８１０は、ステープラカートリッジ８０６の輪郭の上に表示された切断線８０８の上の潜在的な組織の移動をＯＲチーム（例えば、外科医）に警告する。

図２４は、組織９１２に対する、及び他の発射に対する、横切開の幾何学的関係が組織態様であることを示す、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域９１８のライブ映像の拡張画像９００である。外科領域９１８の腹腔鏡ビューは、外科用器具エンドエフェクタ９１０と、エンドエフェクタ９１０のジョー９１４、９１６の間に把持された組織９１２に対する、及び他の発射に対する、横切開の幾何学的関係とを示す。拡張画像９００は、外科領域９１８上に重畳されたグラフィカル画像を示す。サブ画像９０８は、アクティブ配置ステープルライン９０４及び完全ステープルライン９０６としてグラフィカルに示される２つのステープルラインによる完全な横切開を予測するグラフィックスを含む。

図２５は、外科用器具の動作態様としての動作としてアンビル配向通信を示す画像１０００である。第１の画像１００２は、アンビルアップ／ダウンインジケータグラフィック１００４が追加された、図１８に示される第１の画像５０２の説明で説明されたグラフィカルオーバーレイ５０４、５０６、５０８、５１０、５１２の全てを示す。図示される例では、アップ／ダウンインジケータグラフィック１００４は、アンビルがアップ（例えば、開放）位置にあることを示している。別の画像１００６は、解剖学的構造を示す。第２の画像１００８は、図１８に示される第１の画像５０２の説明で説明されたグラフィカルオーバーレイ５０４、５０６、５０８、５１０、５１２の全てと、アンビルアップ／ダウンインジケータグラフィック１０１０が追加された解剖学的構造の画像１００６とを示す。図示される例では、アップ／ダウンインジケータグラフィック１０１０は、アンビルがダウン（例えば、閉鎖）位置にあることを示している。

図２６は、組織厚さが組織態様である外科用器具エンドエフェクタのジョーにおいて検出された組織厚さを示す画像１１００である。画像１１００は、ステープルカートリッジを変更することを考慮する推奨及び警告アイコン１１１２と共に、組織厚さがリロードの範囲外であるというテキスト１１１４を有するグラフィック画面１１０２を示す。グラフィック画面１１０２は、検出された組織厚さを示すスケール１１０６に沿って配置された検出された厚さマーカ１１０４を示す。グラフィック画面１１０２は、使用中の外科用器具のタイプも示す。使用中の外科用器具のタイプは、１．５ｍｍの閉じたステープルの高さ１１０８を有する外科用ステープラ１１１０である。

図２７は、超音波器具の温度勾配表示グラフィックス１２０２、１２０４、１２０６の画像１２００である。第１、第２、及び第３の表示グラフィック１２０２、１２０４、１２０６は、図１１～図２６で説明されたディスプレイ上に表示された手術視野の外科領域上に重畳されてもよく、器具タイプ、最小及び最大出力エネルギーレベルを知らせ、表示グラフィック１２０２、１２０４、１２０６の一部に温度勾配要素１２０８、１２１０、１２１２を表示する。第１の表示グラフィック１２０２では、超音波器具がオフであるか、又は超音波ブレード温度が常温で動作しており、「緑色」勾配バーは表示されていないか又はかろうじて視認可能である。第２の表示グラフィック１２０４では、緑色から黄色の範囲の温度勾配要素１２１０の「ヒートマップバー」は、超音波ブレードが正常を上回る温度に近づいていることを示している。第３の表示グラフィック１２０６では、緑色から赤色の範囲の温度勾配要素１２１２の「ヒートマップバー」は、超音波ブレード温度が過熱状態で正常を上回ることを示している。

図２８は、超音波器具の温度アイコン表示グラフィックス１３０２、１３０４、１３０６の画像１３００である。第１、第２、及び第３の表示グラフィックス１３０２、１３０４、１３０６は、図１１～図２６で説明されたディスプレイ上に表示された手術視野の外科領域上に重畳されてもよく、器具タイプ、最小及び最大出力エネルギーレベルを知らせ、表示グラフィック１３０２、１３０４、１３０６の一部に温度緑色、黄色、及び赤色アイコン１３０８、１３１０、１３１０を表示する。第１の表示グラフィック１３０２では、超音波器具は正常状態で動作しており、超音波ブレードの温度は、緑色アイコン１３０８によって示され、緑色半円温度計要素１３１４によっても示されるように、正常範囲内である。第２の表示グラフィック１３０４では、黄色温度アイコン１３１０は、黄色半円温度計要素１３１６によっても示されるように、正常を上回る温度に近づいていることを示している。第３の表示グラフィック１３０６では、赤色温度アイコン１３１２は、超音波ブレード温度が正常を上回り、赤色半円温度計要素１３１８によって示されるように過熱状態にあることを示している。

図２９は、エンドエフェクタ１４１８ジョー１４２０位置にマッピングされた超音波ブレード温度グラフィック要素１４１０、１４１２、１４１４の画像１４００である。第１、第２、及び第３の表示グラフィック要素１４１０、１４１２、１４１４は、図１１～図２６で説明されたディスプレイ上に表示された手術視野の外科領域内の超音波エンドエフェクタ１４１８のジョー１４２０上に重畳されてもよい。第１の温度グラフィック要素１４１０は、超音波ブレードが、緑色温度グラフィック要素１４１０によって示されるように、正常範囲内で動作していることを示している。第２の温度グラフィック要素１４１２は、超音波ブレードが、黄色温度グラフィック要素１４１２によって示されるように、加熱温度状態に近づいていることを示している。第３の温度グラフィック要素１４１４は、超音波ブレードが、赤色温度グラフィック要素１４１４によって示されるように、過熱温度状態にあることを示している。

図３０は、超音波発生器電力レベル表示グラフィック１５０２の画像１５００である。表示グラフィック１５０２は、発電機タイプと、最小及び最大電力レベルとを知らせる。画像１５００の１つ以上のグラフィック要素は、超音波エンドエフェクタのジョーに、又は図１１～図２６で説明されたディスプレイ上に表示された手術視野の外科領域内の任意の箇所に、オーバーレイされてもよい。

図３１は、超音波エンドエフェクタジョーが過充電されていることを示すポップアップ警告グラフィック１６０２を有する超音波発生器電力レベル表示グラフィック１５０２の画像１６００である。ポップアップ警告グラフィック１６０２は、多すぎる組織がジョー内にあり、不完全な横切開をもたらす可能性があることを示す言語を含み得る。画像１６００の１つ以上のグラフィック要素は、超音波エンドエフェクタのジョーに、又は図１１～図２６で説明されたディスプレイ上に表示された手術視野の外科領域内の任意の箇所に、オーバーレイされてもよい。

図３２は、超音波エンドエフェクタジョー熱を示すポップアップ警告グラフィック１７０２を有する超音波発生器電力レベル表示グラフィック１５０２の画像１７００である。ポップアップ警告グラフィック１７０２は、器具温度が高温であることを示す言語を含んでもよく、一態様では、高温という単語は赤色で示されてもよい。画像１７００の１つ以上のグラフィック要素は、超音波エンドエフェクタのジョーに、又は図１１～図２６で説明されたディスプレイ上に表示された手術視野の外科領域内の任意の箇所に、オーバーレイされてもよい。

図３３は、電気外科用シール品質予測を示すポップアップ警告グラフィック１８０２を有する電気外科発電機表示グラフィック１８０２の画像１８００である。ポップアップ警告グラフィック１８０４は、警告：不完全なシールという言語を含んでもよく、電気外科発電機表示グラフィック１８０２は、不完全なシールが予測されることを示すために、エラーという言語を含んでもよい。画像１８００の１つ以上のグラフィック要素は、電気外科用エンドエフェクタのジョーに、又は図１１～図２６で説明されたディスプレイ上に表示された手術視野の外科領域内の任意の箇所に、オーバーレイされてもよい。

図３４は、外科用ステープラリロードフィードバックの画像１９００である。画像１９００は、使用中の外科用ステープラに適した組織厚さ範囲を示す第１の表示グラフィック１９０２を含む。図示される例では、適切な外科用ステープラ組織厚さ範囲は、１．５ｍｍ～２．４ｍｍである。第２の表示グラフィック１９０４は、検出された組織厚さを示す。図示される例では、検出された組織厚さは２．６ｍｍである。第３のポップアップ表示グラフィック１９０６は、組織厚さが２．６ｍｍであり、選択されたリロードよりも厚いことを示し、２．０ｍｍ～３．３ｍｍの範囲内のリロードを検討する提案を提供する。画像１８００は、電気外科用エンドエフェクタのジョーに、又はモニタ若しくは画面上に表示された手術視野の外科領域内の任意の箇所に、オーバーレイされてもよい。画像１９００の１つ以上のグラフィック要素は、外科用ステープラエンドエフェクタのジョー／アンビルに、又は図１１～図２６で説明されたディスプレイ上に表示された手術視野の外科領域内の任意の箇所に、オーバーレイされてもよい。

図３５は、外科用ステープラ予圧カウントダウンの画像２０００である。画像２０００は、１．５ｍｍ～２．４ｍｍの外科用ステープラ組織厚さ範囲を示す、図３４に示される第１の表示グラフィック１９０２を含む。第２のポップアップ表示グラフィック２００２は、外科用ステープラ動作の予圧段階における残り時間を示すための外科用ステープラ予圧カウントダウン要素を示す。画像２０００の１つ以上のグラフィック要素は、外科用ステープラエンドエフェクタのジョー／アンビルに、又は図１１～図２６で説明されたディスプレイ上に表示された手術視野の外科領域内の任意の箇所に、オーバーレイされてもよい。

以下の説明は、適合及び調整可能性又はオーバーレイ器具情報を提供するための、外科用システムのための術中ディスプレイを提供する。一態様は、外科用ステープラ又はエネルギーデバイス、若しくは外科的処置中の組織とのその相互作用の各々の態様を明確に表すための器具の重要動作又はパラメータの機能的オーバーレイを提供する。オーバーレイデータは、コンテキストを追加するためにソース器具によって単に検出された情報からオーバーレイを修正するように、外科用ハブによって検出された態様によって調整され得る。ディスプレイは、ユーザによって調整又は修正されてもよく、その結果、監視されている器具の動作の修正ももたらす。

図３６～図６８は、外科的処置中に使用するための術中ディスプレイシステムを説明する。システムは、外科領域の術中データディスプレイを有する手術モニタを備える。高度エネルギー発生器は、高度エネルギー外科用器具に結合される。高度エネルギー外科用器具は、患者に対する外科的処置中に、無線周波数（ＲＦ）エネルギー及び超音波エネルギーを用いる。外科用ハブは、高度エネルギー発生器及び手術モニタに結合される。外科用ハブは、術中データディスプレイによって外科領域のライブ映像を表示するために、外科領域のライブ映像を提供する。術中データディスプレイは、組織を把持する高度エネルギー外科用器具と、高度エネルギー外科用器具に固有の情報を表示するパネルオーバーレイとを含む、外科領域のビューを表示する。

一態様では、術中データディスプレイは、組織を把持する外科用器具のエンドエフェクタと、ライブ手術映像上にオーバーレイされた症例情報、システム通知、又はデバイスパネル、又はこれらの任意の組み合わせを表示するパネルオーバーレイとを示す。パネルオーバーレイの位置、不透明度、サイズ、及び配置は、カスタマイズされる。パネルオーバーレイが、個別にオン／オフされるように、又はグループとしてオン／オフされるように構成される。パネルオーバーレイは、デバイス起動又は電力レベル調整などの状態変化を示すために動的に変化するように、更に構成される。パネルオーバーレイは、最適デバイス性能（ＯＤＰ）ガイド画像又は他の取扱説明（ＩＦＵ）／情報源を示す。

様々な態様では、パネルオーバーレイは、資本設備、発電機、通気器、排煙機、電子健康記録、腹腔鏡、コンピュータ、外科用デバイス、有線及び無線接続デバイス、保存、呼び出し、若しくは編集され得る外科医プロファイル選好、又はこれらの任意の組み合わせからのデータ入力情報のうちの少なくとも１つを備える。パネルオーバーレイは、患者名、外科医名、症例時間、若しくは器具起動のうちの少なくとも１つ、又はこれらの組み合わせを含む症例情報を含み得る。パネルオーバーレイは、接続器具状態、軽度エラーアラート、中度エラーアラート、又は重大エラーアラートのうちの少なくとも１つ、若しくはこれらの組み合わせを含むシステム通知を含み得る。パネルオーバーレイは、高度な止血を提供するために、システムに接続された外科用器具に関連付けられた情報を含み得る。パネルオーバーレイは、可視患者パネルオーバーレイを含み得る。パネルオーバーレイは、デバイス名、デバイス設定、又はデバイス補足的特徴のうちの少なくとも１つ、若しくはこれらの任意の組み合わせを含むデバイスパネルオーバーレイを含み得る。パネルオーバーレイは、スタック構成の複数のパネルオーバーレイを含み得る。パネルオーバーレイは、拡大構成の複数のパネルオーバーレイを含み得る。パネルオーバーレイは、デバイストラブルシューティング情報を表示し得る。パネルオーバーレイは、アラート、警告、デバイス情報、又はデバイス特徴のうちの少なくとも１つ、若しくはこれらの任意の組み合わせを表示し得る。

他の態様では、術中データディスプレイは、二次構成可能パネルを備える。二次構成可能パネルは、術中データディスプレイのライブ手術映像領域の手術視野に表示された、選択されカスタマイズされた腹腔鏡オーバーレイフィールドに基づいて動的に変化する。カスタマイズされた腹腔鏡オーバーレイフィールドが、底縁パネル、左上隅パネル、上部中央パネル、又は側縁パネルのうちの少なくとも１つ、若しくはこれらの任意の組み合わせを備える。

図３６は、外科領域の術中データディスプレイ３００２を有する手術モニタを備える手術室のシステム図３０００である。高度エネルギー発生器３００４は、外科用ハブ３００６及び高度エネルギー外科用器具３００８に結合される。高度エネルギー外科用器具３００８は、患者３０１０に対する外科的処置中に、ＲＦエネルギー及び超音波エネルギーを用いる。外科用ハブ３００６は、術中データディスプレイ３００２によって表示される、外科領域のライブ映像３０１４を提供する。術中データディスプレイ３００２は、組織を把持する高度エネルギー外科用器具３００８と、高度エネルギー外科用器具３００８に固有の情報を表示するパネルオーバーレイ３０１２とを含む、外科領域のビューを表示する。

図３７は、術中データディスプレイ３００２上に表示された、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域のライブ映像の拡張画像３１００である。腹腔鏡視野は、組織３１１０を把持する外科用器具３００８のエンドエフェクタ３１０８を示す。拡張画像３１００は、ライブ手術映像の上にオーバーレイされた、症例情報３１０２、システム通知３１０４、及びデバイスパネル３１０６を表示する３つのパネルオーバーレイを示す。

パネルオーバーレイ３１０２、３１０４、３１０６は、ライブ手術映像上に表示される。パネルオーバーレイ３１０２、３１０４、３１０６の位置、不透明度、サイズ、及び配置は、カスタマイズすることができる。パネルオーバーレイ３１０２、３１０４、３１０６は、個別にオン／オフされてもよく、又はグループとしてオン／オフされてもよい。パネルオーバーレイ３１０２、３１０４、３１０６は不透明であってもよく、又は様々なレベルの透明度を有してもよい。パネルオーバーレイ３１０２、３１０４、３１０６は、資本設備、発電機、通気器、排煙機、電子健康記録、腹腔鏡、コンピュータ、外科用デバイス、有線及び無線接続デバイスからのデータ入力情報を含み得る。外科医プロファイル選好は、保存、呼び出し、又はされてもよい。他の態様では、パネルオーバーレイ３１０２、３１０４、３１０６のサイジングのための全体的な画面設定フォントを含む一般的な画面設定は、スタッフコンソールを介して外科医の選好に基づいて構成可能であってもよい。全ての画面表示上のパネルオーバーレイ３１０２、３１０４、３１０６の特徴は、例えば、専用物理スイッチを通じて有効化／無効化、又はバイパスされてもよい。

図３８は、図３７に示される症例情報パネルオーバーレイ３１０２の詳細図である。症例情報パネルオーバーレイ３１０２は、スタッフコンソールを介して選択的に有効化／無効化され得る。患者名、外科医名、症例時間、器具起動等を含む症例情報パネルオーバーレイ３１０２は、スタッフコンソールを介して選択的に有効化／無効化され得る。症例情報パネルオーバーレイ３１０２の他の態様は、例えば、手術の開始時に画面を有効化し、特定の基準（経過した手術時間、デバイス起動の回数など）が満たされた後に画面を無効化することを含み得る。

図３９は、図３７に示されるシステム通知パネルオーバーレイ３１０４の詳細図である。システム通知パネル表示オーバーレイ３１０４は、警告／アラート／情報の重大性に基づいて変動可能な警告シンボルを含み得る。メッセージは、潜在的に、接続された資本設備、接続されたデバイス（医療、有線、無線など）、又は外科用ハブデバイス（このデバイス）の任意の組み合わせに基づいてもよい。通知は、通知滞留時間又はアラート状態解決に基づいて消える。

図４０は、システム通知パネルオーバーレイ３１０４のいくつかの例の画像である。システム通知パネルオーバーレイ３１０４は、例えば、接続器具３１１２、軽度エラーアラート３１１４、中度エラーアラート３１１６、及び重大エラーアラート３１１８を含み得る。

図４１は、図３７に示されるデバイスパネルオーバーレイ３１０６の詳細図である。図４１に示される例示的なデバイスパネルオーバーレイ３１０６は、高度な止血を提供するためにシステム３０００（図３６）に接続された超音波／ＲＦ結合器具に関連付けられた情報を表示する。デバイスパネルオーバーレイ３１０６は、例えば、熱インジケーション及び準備完了インジケーションを提供する。

様々な態様では、デバイスパネルオーバーレイ３１０６は、オタワフレームワークの影響を受けた視覚的概念を提供し、スタッフコンソールを介して選択的に有効化／無効化され得る。スタッフコンソールはまた、例えば、エネルギー及び外科用ステープラなどの個々のパネルを選択的に有効化／無効化することもできる。一態様では、デバイスパネルオーバーレイ３１０６は、関連する器具がシステム３０００（図３６）に接続されている場合にのみ現れる。デバイスパネルオーバーレイ３１０６は、システム３０００（図３６）に何も接続されていない場合には視認不可能である。デバイスパネルオーバーレイ３１０６によって占有される空間は、構成可能である（例えば、左、中央、右揃え）。デバイスパネルオーバーレイ３１０６はまた、手持ち式器具への接続性を表示するように構成されてもよい。他の態様では、デバイスパネルオーバーレイ３１０６は、ディスプレイの上部／底部に沿った空間内で構成可能であってもよい。デバイスパネルオーバーレイ３１０６は、同時に接続された複数の器具デバイスを表示し得る。一態様では、デバイスパネルオーバーレイ３１０６は、接続されているが非アクティブなデバイスディスプレイが隠されるように、外科医によってアクティブに使用されているデバイスのみの情報を表示してもよい。

一態様では、デバイスパネルオーバーレイ３１０６のサイズは、本明細書に記載される熱の例など、有効化された特徴に基づいて構成可能であってもよい。これらの特徴は、固有のデバイス設計（例えば、将来のモデル）に基づいて有効化又は無効化されてもよく、並びに外科医又は有料サブスクリプションによって有効化／無効化されてもよい。

図４２は、本開示の少なくとも１つの態様による、組織３１１０を把持する外科用器具３００８のエンドエフェクタ３１０８と、可視患者パネルオーバーレイ３１２４を有する画面とを示す、術中データディスプレイ３１２２上に表示された低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域のライブ映像の拡張画像３１２０である。可視患者パネルオーバーレイ３１２４は、コンテンツを表示するために追加のアプリケーションを必要とする場合がある。術中データディスプレイ３１２２は、症例情報パネルオーバーレイ３１０２及びデバイスパネルオーバーレイ３１０６も表示する。図示される例では、システム通知パネルオーバーレイ３１０４は隠されている。

図４３は、エネルギーデバイス画像パネル３１０６アーキテクチャの概略図である。一態様では、エネルギーデバイス画像パネル３１０６は、例えば、デバイス名３１３２、デバイス設定３１３４、及びデバイス補足的特徴３１３６を含む。

図４４は、スタック構成の補足デバイスアラート／警告／情報の画像３１４０である。補足デバイスアラート／警告／情報表示は、スタックされてもよい。補足デバイスアラート／警告／情報表示はまた、主デバイスパネルを覆うように垂直にスタックされてもよく、又は水平に拡大されてもよい。図４４の例に示されるように、エネルギーデバイスパネルオーバーレイ３１０６は、システム準備完了３１４２表示の下に垂直にスタックされている。

図４５は、拡大構成の補足デバイスアラート／警告／情報の画像３１５０である。補足デバイスアラート／警告／情報表示は、拡大されてもよい。拡大表示３１４４は、垂直に又は水平に拡大されてもよい。図４５の例に示されるように、拡大表示３１４４は、器具デバイスに関する追加の情報を提供する。図４５の例に示されるように、拡大表示３１４４は、外科用器具の画像と、試験を実行するために器具を２秒間起動させる命令とを示す。

図４６は、デバイス起動又は電力レベル調整などの状態変化を示すために器具パネル状態がどのように動的に変化するかを示す、器具状態画像パネル３１６０である。器具状態画像パネル３１６０の左側３１６２は、器具のデフォルト状態を示す。器具状態画像パネル３１６０の右側３１６４は、器具のアクティブ状態を示す。図４６に示される例では、器具状態画像パネル３１６０の右側３１６４の第１のパネル３１６６は、器具起動における動的変化を示し、器具状態画像パネル３１６０の右側３１６４の第２のパネル３１６８は、器具電力レベルにおける動的変化を示す。

図４７は、発電機３０６６アラート及び警告３１７４を腹腔鏡モニタ３１７２に変換し、ローカルインターフェース上に表示するシステム図３１７０である。

図４８は、外科用ハブに伝送される電流発生器上に示される既存のアラートの一連の画面３１８２の図３１８０であり、外科用ハブはその後、ローカルインターフェース上の一連の画面３１８４としてこれらを表示する。

図４９は、デジタルハブ３２０４と通信する発電機３２０２を備えるシステム３２００の概略図であり、デジタルハブはその後、腹腔鏡画面３２１６などのローカルインターフェース３２０６上に画面データ及びアラートデータ３２２０を表示する。発電機３２０２は、コントローラ３２０８及び画面３２１０を備える。発電機３２０２のコントローラ３２０８は、データ３２１８をデジタルハブ３２０４のコントローラ３２１２に送信する。デジタルハブ３２０４は、画面３２１４も備える。デジタルハブ３２０４のコントローラ３２１２は、画面データ及びアラートデータ３２２０をローカルインターフェース３２０６の腹腔鏡画面３２１６に送信する。

図５０は、術中データディスプレイ３２３２上に表示された、低侵襲外科的処置中の腹腔鏡カメラを通して可視化された外科領域のライブ映像の拡張画像３２３０である。外科領域の腹腔鏡視野は、最適デバイス性能（ＯＤＰ）ガイド画像又は他の取扱説明（ＩＦＵ）／情報源を示すオーバーレイパネル３２３４を示す。拡張画像３２３０は、グリップハウジング３２４４、トリガ３２４２、シャフト３２３８、及び組織パッド３２３６を有するブレードを備える外科用デバイス３２５０を示すオンスクリーンディスプレイオーバーレイパネル３２３４を示す。シャフト３２３８は、回転ノブ３２４８によって回転する。外科用デバイス３２５０はまた、エネルギーボタン３２４０と、高度な止血を伴うエネルギーボタン３２４６とを含む。

オーバーレイパネル３２３４は、外科用デバイス３２５０の画像及びＯＤＰガイド画像又は他のＩＦＵ／情報源を表示する。画像は、外科用デバイス情報と共に外科医に提示されてもよい。画像は、静止画又は動画であってもよい。画像は、一般的な外科用デバイス３２５０情報（図示の通り）、又はコンテキスト固有の外科用デバイス情報を提供し得る。例えば、外科用デバイス３２５０の緊急離脱ドアは、取り外しを検出するためのセンサを含み得る。緊急離脱ドアが取り外されると、オンスクリーンディスプレイオーバーレイパネル３２３４は、緊急離脱機構の適切な使用に関する指示を提供する画像を示す。別の例として、外科医は、外科用デバイス技術に関連する超音波エネルギーを使用している間にアラートに遭遇する。オンスクリーンディスプレイオーバーレイパネル３２３４は、そのアラートを回避するために外科用デバイス３２５０を最良に使用する方法に特有の情報を示す。

図５１は、二次底縁構成可能パネル３３１２を備える術中データディスプレイ３３０２を示す表示画面３３００である。術中データディスプレイ３３０２は、カスタマイズされた腹腔鏡オーバーレイフィールド３３１８、３３２０、３３２２及び二次底縁構成可能パネル３３１２を有するライブ手術映像３３０３の手術視野を含む。術中データディスプレイ３３０２は、ホーム画面に戻るためのナビゲーションボタン３３０４を表示する。術中データディスプレイ３３０２は、選択可能な外科医プロファイル３３０６も提供する。外科医プロファイル選好は、保存、呼び出し、又は編集されてもよい。術中データディスプレイ３３０２は、いくつかの接続状態インジケータ３３０８も提供する。術中データディスプレイオーバーレイフィールド３３１８、３３２０、３３２２に関連付けられたオーバーレイは、ディスプレイオーバーレイトグルボタン３３１０でトグルされ得る。

術中データディスプレイ３３０２はまた、ディスプレイオーバーレイトグルボタン３３１０がオン位置にトグルされると、術中データディスプレイ３３０２のライブ手術映像３３０３領域の手術視野に表示された、選択されカスタマイズされた腹腔鏡オーバーレイフィールド３３１８、３３２０、３３２２に基づいて動的に変化する、二次構成可能パネルも含む。図５１に示される例では、底縁構成可能パネル３３１２は、術中データディスプレイ３３０２のライブ手術映像３３０３部分の手術視野内の底縁選択フィールド３３２２を選択することによって表示される。例えば、左上隅選択フィールド３３１８、上部中央選択フィールド３３２０、及び底縁選択フィールド３３２２を含む、ディスプレイの異なる部分が選択され得る。

底縁構成可能パネル３３１２は、底縁構成可能パネル３３１２を左、中央、又は右位置に位置合わせするためのパネル位置合わせバー３３１４を含み、ここでは左位置で示されている。ヘルプインジケータ３３１６は、関連するトグルボタン３３２４、３３２６、３３２８、３３３０にコンテキスト情報を提供する。底縁選択フィールド３３２２は、底縁位置合わせを左、中央、及び右にシフトする、構成可能パネル位置合わせボタン３３１４を使用して構成されてもよい。他の態様では、底縁選択フィールド３３２２は、例えば、上下に移動し得る。構成可能パネル位置合わせボタン３３１４に加えて、底縁構成可能パネル３３１２は、ここではオン位置で示されている、アラートを含む、超音波／ＲＦエネルギーツールデバイスのためのエネルギーパネルディスプレイを有効化／無効化する、第１のトグルボタン３３２４を備える。第２のトグルボタン３３２６は、ここではオフ位置で示されている、超音波／ＲＦエネルギーツールデバイスのみのためのアラートの表示を有効化／無効化する。第３のトグルボタン３３２８は、ここではオフ位置で示されている、アラートを含む、外科用ステープラツールデバイスのディスプレイを有効化／無効化する。第４のトグルボタン３３３０は、ここではオン位置で示されている、外科用ステープラツールデバイスのみのための表示アラートを有効化／無効化する。

図５２は、代替底縁構成可能パネル３４００である。代替底縁構成可能パネル３４００は、図５１の術中データディスプレイ３２６２のライブ手術映像３２６３部分の手術視野内の底縁選択フィールド３２８２を選択することによって表示される。代替底縁構成可能パネル３４００は、エネルギー状態及びアラートのカスタマイズのために構成されてもよい。図示される例では、代替底縁構成可能パネル３４００は、モニタトグルボタン３４０２上のディスプレイをオン位置にトグルすることによって表示される。第１のトグルボタン３４０４は、ここではオン位置で示されている、エネルギーデバイスパネル状態を有効化／無効化する。第２のトグルボタン３４０６は、ここではオフ位置で示されている、エネルギーデバイスパネルアラートを有効化／無効化する。第３のトグルボタン３４０８は、ここではオフ位置で示されている、外科用ステープラデバイス状態を有効化／無効化する。第４のトグルボタン３４１０は、ここではオフ位置で示されている、外科用ステープラアラートを有効化／無効化する。代替底縁構成可能パネル３４００は、代替底縁構成可能パネル３４００を左、中央、又は右位置に位置合わせするためのパネル位置合わせバー３４１２を含み、ここでは中央位置で示されている。以下に説明される図５３～図５５は、術中データディスプレイのライブ手術映像部分の手術視野内の他の選択フィールドを選択することによって表示される、追加の構成可能パネルを説明する。

図５３は、二次左上隅構成可能パネル３５２２を備える術中データディスプレイ３５０２を示す表示画面３５００である。術中データディスプレイ３５０２は、カスタマイズされた腹腔鏡オーバーレイフィールド３３１８、３３２０、３３２２及び二次左上隅構成可能パネル３５２２を有するライブ手術映像３５０３の手術視野を含む。術中データディスプレイ３５０２は、図５１に関連して説明されたように、ホーム画面に戻るためのナビゲーションボタン、選択可能な外科医プロファイル、及び接続状態インジケータを含む。術中データディスプレイオーバーレイフィールド３３１８、３３２０、３３２２に関連付けられたオーバーレイは、ディスプレイオーバーレイトグルボタン３３１０でトグルされ得る。

術中データディスプレイ３５０２はまた、ディスプレイオーバーレイトグルボタン３３１０がオン位置にトグルされると、術中データディスプレイ３５０２のライブ手術映像３５０３領域の手術視野に表示された、選択されカスタマイズされた腹腔鏡オーバーレイフィールド３３１８、３３２０、３３２２に基づいて動的に変化する、二次構成可能パネルも含む。図５３に示される例では、左上隅構成可能パネル３５２２は、術中データディスプレイ３５０２のライブ手術映像３５０３部分の手術視野内の左上隅選択フィールド３３１８を選択することによって表示される。

左上隅選択フィールド３３１８を選択することで、視覚表示が動的に変化する。例えば、左上隅選択フィールド３３１８を選択することで、この例では図３７及び図３８に示される症例情報パネルオーバーレイ画面３１０２である、症例情報オーバーレイ３５０４を表示する。様々なトグルボタンが、二次左上隅構成可能パネル３５２２の右垂直部分と並んで示されている。前述されたように、ディスプレイオーバーレイトグルボタン３３１０は、症例情報オーバーレイ３５０４などのオーバーレイ画面の表示を有効化／無効化する。第１のトグルボタン３５０６は、ここではオン位置で示されている、症例情報オーバーレイ３５０４からの全ての症例情報を有効化／無効化する。第２のトグルボタン３５０８は、ここではオン位置で示されている、症例情報オーバーレイ３５０４からの患者名情報を有効化／無効化する。第３のトグルボタン３５１０は、ここではオン位置で示されている、症例情報オーバーレイ３５０４からの外科医名情報を有効化／無効化する。第４のトグルボタン３５１２は、ここではオン位置で示されている、症例情報オーバーレイ３５０４からの症例データ情報を有効化／無効化する。第５のトグルボタン３５１４は、ここではオン位置で示されている、症例情報オーバーレイ３５０４からの症例情報の合計時間を有効化／無効化する。第６のトグルボタン３５１６は、ここではオン位置で示されている、症例情報オーバーレイ３５０４からの、デバイス起動、使用、又は他のデバイスメトリックの総数を含み得る、症例メトリックを有効化／無効化する。

図５４は、二次上部中央構成可能パネル３６２２を備える術中データディスプレイ３６０２を示す表示画面３６００である。術中データディスプレイ３６０２は、カスタマイズされた腹腔鏡オーバーレイフィールド３３１８、３３２０、３３２２及び二次上部中央構成可能パネル３６２２を有するライブ手術映像３６０３の手術視野を含む。術中データディスプレイ３６０２は、図５１に関連して説明されたように、ホーム画面に戻るためのナビゲーションボタン、選択可能な外科医プロファイル、及び接続状態インジケータを含む。術中データディスプレイオーバーレイフィールド３３１８、３３２０、３３２２に関連付けられたオーバーレイは、ディスプレイオーバーレイトグルボタン３３１０でトグルされ得る。

術中データディスプレイ３６０２はまた、ディスプレイオーバーレイトグルボタン３３１０がオン位置にトグルされると、術中データディスプレイ３６０２のライブ手術映像３６０３領域の手術視野に表示された、選択されカスタマイズされた腹腔鏡オーバーレイフィールド３３１８、３３２０、３３２２に基づいて動的に変化する、二次構成可能パネルも含む。図５４に示される例では、上部中央構成可能パネル３６２２は、術中データディスプレイ３６０２のライブ手術映像３６０３部分の手術視野内の上部中央選択フィールド３３２０を選択することによって表示される。

上部中央選択フィールド３３２０を選択することで、視覚表示が動的に変化する。例えば、上部中央選択フィールド３３２０を選択することで、この例では図４０に示されるシステム通知パネルオーバーレイ３１０４である、システム通知パネルオーバーレイ３６０４を表示する。様々なトグルボタンが、二次上部中央構成可能パネル３６２２の右垂直部分と並んで示されている。前述されたように、ディスプレイオーバーレイトグルボタン３３１０は、システム通知パネルオーバーレイ３６０４などのオーバーレイ画面の表示を有効化／無効化する。第１のトグルボタン３５０６は、ここではオン位置で示されている、システム通知パネルオーバーレイ３６０４のための全てのアラートを有効化／無効化する。第２のトグルボタン３６０８は、ここではオン位置で示されている、システム通知パネルオーバーレイ３６０４の情報通知バー３６１６のための情報アラートを有効化／無効化する。第３のトグルボタン３６１０は、ここではオン位置で示されている、システム通知パネルオーバーレイ３６０４の軽度エラーアラートバー３６１８のための軽度アラートを有効化／無効化する。第４のトグルボタン３６１２は、ここではオン位置で示されている、システム通知パネルオーバーレイ３６０４の中度エラーアラートバー３６２０のための中度アラートを有効化／無効化する。第５のトグルボタン３６１４は、ここではオン位置で示されている、システム通知パネルオーバーレイ３６０４の重大エラーアラートバー３６２２のための重大アラートを有効化／無効化する。トグルボタン、例えば図示されるような第５のトグルボタン３６１４の動的なシェーディングは、選択状態に基づいて視覚的なキューを提供する。

図５５は、二次側縁構成可能パネル３７２２を備える術中データディスプレイ３７０２を示す表示画面３７００である。術中データディスプレイ３７０２は、カスタマイズされた腹腔鏡オーバーレイフィールド３３１８、３３２０、３３２２、３７１６及び二次側縁構成可能パネル３７２２を有するライブ手術映像３７０３の手術視野を含む。術中データディスプレイ３７０２は、図５１に関連して説明されたように、ホーム画面に戻るためのナビゲーションボタン、選択可能な外科医プロファイル、及び接続状態インジケータを含む。術中データディスプレイオーバーレイフィールド３３１８、３３２０、３３２２、３７１６に関連付けられたオーバーレイは、ディスプレイオーバーレイトグルボタン３３１０でトグルされ得る。

術中データディスプレイ３７０２はまた、ディスプレイオーバーレイトグルボタン３３１０がオン位置にトグルされると、術中データディスプレイ３７０２のライブ手術映像３７０３領域の手術視野に表示された、選択されカスタマイズされた腹腔鏡オーバーレイフィールド３３１８、３３２０、３３２２、３７１６に基づいて動的に変化する、二次構成可能パネルも含む。図５５に示される例では、側縁構成可能パネル３７２２は、術中データディスプレイ３７０２のライブ手術映像３７０３部分の手術視野内の側縁選択部フィールド３７１６を選択することによって表示される。

側縁選択部フィールド３７１６を選択することで、視覚表示が動的に変化する。例えば、側縁選択部フィールド３７１６を選択することで、この例では図４２に示される可視患者パネルオーバーレイ３１２４である、可視患者パネルオーバーレイ３７０４を表示する。様々なトグルボタンが、二次側縁構成可能パネル３７２２の右垂直部分と並んで示されている。前述されたように、ディスプレイオーバーレイトグルボタン３３１０は、可視患者パネルオーバーレイ３７０４などのオーバーレイ画面の表示を有効化／無効化する。第１のトグルボタン３７０６は、ここではオン位置で示されている、可視患者パネルオーバーレイ３７０４情報のための全てのアラートを有効化／無効化する。第２のトグルボタン３７０８は、ここではオン位置で示されている、可視患者パネルオーバーレイ３７０４のための気体情報を有効化／無効化する。第３のトグルボタン３７１０は、ここではオン位置で示されている、可視患者パネルオーバーレイ３７０４のための可視患者情報を有効化／無効化する。第４のトグルボタン３７１２は、ここではオン位置で示されている、可視患者パネルオーバーレイ３７０４のための別のモジュール（モジュール３）からの情報を有効化／無効化する。第５のトグルボタン３７１４は、ここではオン位置で示されている、可視患者パネルオーバーレイ３７０４のための更に別のモジュール（モジュール４）からの情報を有効化／無効化する。

図５６は、デバイストラブルシューティング情報を表示する一連の画像パネル３８００である。第１の画像パネル３８０２は、器具を試験するための命令を表示する。図示される例では、器具への命令は、「試験を実行するために器具を２秒間起動」である。第２の画像パネル３８０４は、試験が進行中であることを示し、第３の画像パネル３８０６は試験状態を示す。第４の画像パネル３８０８は、静止画像、アニメーション、ＧＩＦ、又はビデオによるトラブルシューティングのための命令を提供する。図示される例では、画像パネル３８０８は、「アセンブリを締める」ためのアニメーションを表示する。第５の画像パネル３８１０は、試験中の器具のための動作を示し、図示される例では、「試験中にジョーを開放」するように知らせる。

図５７は、関節式外科用ステープラ特徴を表示する一連の画像パネル３９００である。第１の画像パネル３９０２は、外科用ステープラデバイスの外科用ステープラ関節角度を示す。角度は、数値的に又は視覚的に示されてもよい。第２及び第３の画像パネル３９０４、３９０６は、デバイス状態に基づく関節角度の更新を示し、関節方向も示す。一態様では、関節ボタンが押されるか又は関節角度が変化するたびに、更新された測定値がデジタルハブ３２０４（図４９）、３００６（図３６）に送信される。デジタルハブ３２０４（図４９）、３００６（図３６）はその後、画像パネル３９０２、３９０４、３９０６に示されるように、反射角を更新するために、更新された測定値を使用する。

第４の画像パネル３９０８は、外科用ステープラジョーが閉鎖されているときに現れる、標準化されたカウントダウンインジケータである。カウントダウンは、時間に基づいて動的に変化する。デバイスは、カウントダウンシーケンス中の任意の時間に発射され得る。第５の画像パネル３９１０は、デバイスが発射する準備ができていることを示す。第６、第７、及び第８の画像パネル３９１２、３９１４、３９１６は、スレッドに沿ったナイフ位置を示す。ナイフ位置は、カートリッジ３９１８の図の上に灰色で示され、デバイスに基づいて動的に変化する。カートリッジ３９１８の図は、一般的であるか、又は外科用ステープラに設置されたカートリッジに固有であってもよい。ナイフ位置／外科用ステープラ画像パネル３９１２、３９１４、３９１６は、無線接続された外科用ステープラのタイプ及びサイズに基づいて動的に変化し得る。ナイフ位置アルゴリズムは、外科用ステープラの発射トリガが押下された後、又は押下されたときに実行され、外科用ステープラが発射を開始すると、ナイフ及びスレッドは、外科用ステープラの長さに沿って移動し始める。第９の画像パネル３９２０は、動作が完了したことを示す。

接続されたデバイスの対応する画像パネル３９０２～３９２０によって表示される補足的特徴の各々は、デバイスの現在の状態に基づいて動的に更新される。

図５８は、関節限界に到達したことを表示するアラート／警告／情報画像パネル３９２２である。

図５９は、デバイスがロックアウトモードにあることを表示するアラート／警告／情報画像パネル３９２４である。

図６０は、ジョーが閉鎖されているときにデバイスが関節運動することができないことを表示するアラート／警告／情報画像パネル３９２６である。

図６１は、関節式外科用ステープラ特徴を示すデバイス画像パネル４０００である。デバイス画像パネル４０００は、ここでは外科用ステープラ３０００として示されるデバイスパネル名４００２と、ここではカウントダウンインジケータとして示されるデバイスパネル補足的特徴４００４とを含む。

図６２は、関節限界に到達したことを表示するデバイスアラートを有するスタック構成で表示されたスタックアラート／警告／情報画像パネル４０１０である。スタック画像パネル４０１０は、関節限界に到達したことを示す上部画像パネル４０１２を含む。スタック画像パネル４０１０は、デバイスの名称及びタイプ、関節角度、並びに関節方向を示す底部画像パネル４０１４を含む。

図６３は、図５７及び図６１に示されるカウントダウンタイマ画像パネル４０００のためのアルゴリズムを実行するために、Ｂｌｕｅｔｏｏｔｈを介してデジタルハブと通信する外科用ステープラを備えるシステム４０２０の概略図である。外科用ステープラ４０２２は、例えばＢｌｕｅｔｏｏｔｈなどの無線ネットワークを介してデジタルハブ４０２４と通信する。外科用ステープラコントローラ４０２８を備え、デジタルハブ４０２４はコントローラ４０３０を備える。外科用ステープラコントローラ４０２８は、無線データ４０２６をデジタルハブコントローラ４０３０に送信する。外科用ステープラ４０２２がクランプし、クランプ状態メッセージをデジタルハブ４０２４に送信すると、デジタルハブ４０２４は、カウントダウンタイマを開始するための開始コマンドとしてクランプ状態メッセージを使用する。クランプ解除メッセージが受信された場合、タイマは０に再スタートし、インクリメントを停止する。タイマが設定時間に到達した場合、タイマは停止され、フラグが設定される。

図６４は、超音波器具特徴を表示する一連のデバイス画像パネル／アラート４０３０である。デバイス画像パネルは、ユーザによって有効化又は無効化される特徴、及び／又は接続されたデバイスによって有効化又は無効化される特徴に応じて、拡張可能又は折り畳み可能である。例として、第１のデバイス画像パネル４０３２は、デフォルト熱画像パネル４０３６及び高熱画像パネル４０３８を表示する第２のデバイス画像パネル４０３４に拡張することができる。高熱画像パネル４０３８は、直接的な手段（温度感知）によって、又は他の方法（時間又は他の方法に基づくアルゴリズム）を介して間接的に、デバイス温度の状態を表示する。デフォルト熱画像パネル４０３６を参照すると、熱アルゴリズムは、デバイス起動状態及び総経過時間、並びに最後の起動から経過した時間に基づいてもよい。他の実装形態では、熱アルゴリズムは、共振周波数、デバイスの推測状態、又は直接測定などのデバイス特性及び／又は状態に基づいてもよい。熱状態は、デバイスが現在起動していない間にのみ表示される。デバイスが非アクティブである間、ディスプレイはグレーアウトされる。熱状態は、常に高熱画像パネル４０３８に表示され、デバイスの現在の状態に対応する。図示される例では、デバイスは超音波器具である。

第３の画像パネル４０４０は、内部画像パネル４０４２、４０４４、４０４６によって示されるように、デバイスがデバイス動作のモードを示すために使用されているときに色を変化させる。第４のデバイス画像パネル４０４８は、アラート画像パネル４０５０に示されるように、器具アラート及び関連する画像、並びにそのアラートのためのテキストを表示する。アラート画像パネル４０５０は、アラートのための視覚インジケータを提供し得る。アラートは、テキストのみ、画像のみ、又はテキストと画像の組み合わせで構成されてもよい。

図６５は、外科用ステープラ器具のペアリングを説明するチャート４０６０である。外科用ステープラペアリングは、ユーザ選択可能なペアリング、電源投入時接続、ボタン押下による電源投入時接続、又はＲＦＩＤトークンとして実装されてもよい。ユーザ選択可能なペアリングでは、ユーザは、タッチスクリーンを介して資本設備上でペアリングモードを開始する。次いで、資本設備は、領域内のそのタイプの全ての有効なデバイスを識別使用と試み、ユーザは、接続したいデバイスを単に選択する。放送は、時間が経過した後でも継続する。電源投入時接続ペアリングは、電源投入時にＢｌｕｅｔｏｏｔｈ無線を有効化することができ、所定の時間内にクライアントに接続されない場合にはオフにすることができる。資本設備は、新しいデバイスを常にスキャンし、これらを接続する。ボタン押下による電源投入時接続は、電源投入時にＢｌｕｅｔｏｏｔｈ無線を有効化する必要があり、所定の時間内にクライアントに接続されない場合には、無線をオフにする。資本設備は、一旦押下されるとデバイスをスキャン／接続するペアリングボタンを有する。ＲＦＩＤトークンペアリングでは、ユーザは、新しいデバイスをスキャンして資本設備とペアリングするための方法として、各デバイスと共にパッケージされたＲＦＩＤカードを利用する。

図６６は、ペアリングデバイス情報を表示する画面４０７０の画像である。画面４０７０は、様々な有線及び無線デバイス／機器を接続／切断するシステム全体の能力を提供する。

図６７は、無線デバイス４０８０をペアリングするための一意の識別子を含む無線外科用デバイスの画像である。

図６８は、最適デバイス性能（ＯＤＰ）ガイド画像又は他の電子取扱説明（ｅ－ＩＦＵ）へのリンクを表示する画面３０９０の画像である。ユーザマニュアル４０９２は、ｅ－ＩＦＵ又はＯＤＰにリンクしてもよい。

図１～図６８も参照すると、図６９は、本開示の一態様による、外科的処置中に使用するための外科用器具７７及び拡張現実ディスプレイ８９を用いる拡張現実方法５０００の図である。方法５０００は、図１１～図４８、図５０～図６２、図６４～図６６、及び図６８に示される拡張ディスプレイのいずれかと併せて採用されてもよく、図１～図１０、図４９、及び図６３に示されるシステムのいずれかと共に実装されてもよい。一態様では、方法５００は、外科腹腔鏡ビデオストリームへの外科用器具７７の動作態様又は機能のオーバーレイを提供する。オーバーレイは、アクティブに可視化されている外科用器具７７のうちの１つの動作に関連してもよく、オーバーレイは、組織／器官相互作用の態様を外科用器具７７から受信した機能データと組み合わせる。他の態様では、外科用器具７７は、グラスパ又はクランプであってもよく、組織の態様は、クランプ状態又はクランプの大きさと共に組織の不完全な捕捉であり得る。他の態様では、外科用器具７７は外科用ステープラであってもよく、組織の態様は組織捕捉位置又は組織圧縮であってもよく、外科用ステープラの態様は、クランプ又は発射充足性、若しくは他のパラメータであってもよい。他の態様では、外科用器具７７は高度エネルギーデバイスであってもよく、組織パラメータはインピーダンス、焼灼状態、出血の大きさであってもよく、外科用器具７７の機能は、他のパラメータの中でもとりわけエネルギーレベル、タイミング、クランプ圧力であり得る。

一態様では、方法５０００は、外科用器具７７の利用に従ったデータのオーバーレイを対象とする。方法５０００によれば、撮像デバイス３８は、外科的処置中に外科領域の実画像を捕捉する５００２。プロセッサ８５は、外科用器具７７から機能データを受信し５００４、外科用器具７７の動作態様に関連するオーバーレイを決定し５００６、外科領域内の組織の態様を外科用器具７７から受信した機能データと組み合わせる５００８。拡張現実ディスプレイ８９、又はローカルディスプレイ６７は、外科領域の実画像上への外科用器具７７の動作態様のオーバーレイを提示する５０１０。外科用器具７７の機能データは、外科用器具７７から直接、又は外科用ハブ結合プロセッサ若しくはサーバから受信されてもよい。

図１～図６８も参照すると、図７０は、本開示の一態様による、外科的処置中に使用するための外科用器具７７及び拡張現実ディスプレイ８９を用いる拡張現実方法５１００の図である。方法５１００は、図１１～図４８、図５０～図６２、図６４～図６６、及び図６８に示される拡張ディスプレイのいずれかと併せて採用されてもよく、図１～図１０、図４９、及び図６３に示されるシステムのいずれかと共に実装されてもよい。

一態様では、方法５１００は、外科用器具７７の利用に従ったデータのオーバーレイを対象とする。プロセッサ８５は、外科的処置中に外科用器具７７の性能を監視する５１０２。プロセッサ８５は、外科用器具７７の使用を決定する５１０４。拡張現実ディスプレイ８９は、外科用器具７７の性能考慮事項に関するアラートを表示する５１１２。プロセッサ８５は、付随事象を判定し５１２２、外科用器具７７の状態オーバーレイを表示し５１３２、拡張現実ディスプレイ８９上に外科用器具７７のインジケーションを表示する５１３４。

プロセッサ８５が外科用器具７７の使用を決定すると５１０４、プロセッサ８５は、外科用器具７７のジョーに把持された組織がジョーの範囲内にあるか否かを判定し５１０６、組織が外科用器具７７のジョー内で適切にバランスされているか否かを判定し５１０８、外科用器具７７の使用の状態に従って不適合使用アラートを表示する５１１８。組織が範囲外である場合、プロセッサ８５は、拡張現実ディスプレイ８上に組織範囲外アラートを表示する５１１６。組織が外科用器具７７のジョー内の誤ってバランスされている場合、プロセッサ８５は、拡張現実ディスプレイ８９上に不正確バランスアラートを表示する５１１８。外科用器具７７の使用を決定すること５１０４の一部として、プロセッサ８５は、外科用器具７７のジョーの間の組織捕捉が完了したか否かを判定し、完了していない場合、不完全組織捕捉のアラートを表示する５１１０。

方法５０００によれば、プロセッサ８５は、組織張力及び異物検出などの付随事象を判定する５１２２。組織張力が高すぎるとプロセッサ８５が判定した場合５１２４、拡張現実ディスプレイ８９は、組織張力アラートを表示する５１２６。プロセッサ８５が外科用器具７７のジョー内に異物を検出した場合５１２８、拡張現実ディスプレイ８９は、異物検出アラートを表示する５１３０。いずれの場合も、拡張現実ディスプレイ８９は、組織張力及び異物検出の上述の判定の結果に従って、外科用器具７７状態オーバーレイを表示する５１３２。最後に、拡張現実ディスプレイ８９は、外科用器具７７インジケーションを表示する５１３４。

図６９～図７０に示される方法５０００、５１００のいずれかに従って、プロセッサは、上記の図３６～図６８に示されるように、拡張現実ディスプレイ８９によって表示されるデータオーバーレイを構成する。また、拡張現実ディスプレイ８９は、図３６～図６８に示されるように、外科用器具７７機能の動的状態を表示する。

図７１は、カスタマイズされたオーバーレイ情報を表示するスタッフビュー画面５６００の画像である。スタッフビュー画面５６００は、外科用オーバーレイのカスタマイズを可能にし、３つの主画面部分を含む主外科用ディスプレイ５６０２を表示する。第１の画面部分５６０４は、保存、変更、又は削除することができる外科医プリセット又はデフォルト設定を入力することを可能にするための外科医プリセットを表示する。第１の画面部分５６０４はまた、表示オーバーレイをオン又はオフにすること可能にするセクションと、小、中、大の３つの設定において小さい方から大きい方への主外科用ディスプレイ５６０２の調整を可能にするオーバーレイサイズ部分とを含む。

主外科用ディスプレイ５６０２の第２の画面部分５６０６は、第１の画面部分の右側に表示される。第２の画面部分５６０６は、症例情報及びデバイス全体の使用日を表示し、症例情報の表示を編集することを可能にする。右シェブロン５６１２は、個々のオーバーレイをオン／オフするためのより粒度の高い能力にアクセスするためにタップすることができる。仮想スイッチスライダボタン５６１２は、オーバーレイのグループをオン／オフするために使用される。

主外科用ディスプレイ５６０２の第３の画面部分５６０８は、第２の画面部分５６０６の下に表示される。第３の画面部分５６０８は、エネルギーパネル及びデバイスアラートを表示し、デバイスパネルの表示を編集することを可能にする。第２の画面部分５６０６と同様に、第３の画面部分５６０８は、個々のオーバーレイをオン／オフするためのより粒度の高い能力にアクセスするためにタップすることができる右シェブロン５６１６と、オーバーレイのグループをオン／オフするための仮想スイッチスライダボタン５６１８とを含む。

主外科用ディスプレイ５６０２の第４の画面部分５６１０は、第３の画面部分５６０８の下に表示される。第４の画面部分５６１０は、全てのシステム通知を表示し、システム通知の編集を可能にする。第２及び第３の画面部分５６０６、５６０８と同様に、第４の画面部分５６１０は、個々のオーバーレイをオン／オフするためのより粒度の高い能力にアクセスするためにタップすることができる右シェブロン５６２０と、オーバーレイのグループをオン／オフするための仮想スイッチスライダボタン５６２２とを含む。

追加の機能を提供するために、主外科用ディスプレイ５６０２の底部にタップ可能なアイコンが設けられる。例えば、あるタップ可能なアイコン５６２４は、スタッフビュー画面のナビゲーションを可能にする。

図７２は、詳細なカスタマイズポップアップ情報を表示するスタッフビュー画面５７００の画像である。スタッフビュー画面５７００は、主外科用ディスプレイ５６０２画面上に編集症例オーバーレイ画面５７０２を表示する。編集症例情報オーバーレイ画面５７０２は、個々のオーバーレイ構成要素をオン／オフする能力を可能にする。編集症例情報オーバーレイ画面５７０２は、例えば、患者の姓名、外科医の姓名、症例（例えば、外科的処置）の日時、症例時間、器具起動の回数、又はステープル発射を編集することを可能にするための、一連の仮想スイッチスライダボタン５７０４を含む。

図７３は、スタッフビュートラブルシューティングポップアップ情報を表示するスタッフビュー画面５８００の画像である。スタッフビュー画面５８００は、システムデバイス及び構成要素に関するトラブルシューティング情報を提供するために、タッフビュートラブルシューティングポップアップ画面５８０２を表示する。タップ可能なアイコン５０８４は、デバイス接続状態を提供し、システムが他の資本設備又はデバイスに適切に接続されているか否かを示す。トラブルシューティングポップアップ画面５８０２は、超音波発生器５８０８の静止画像５８０６を有するチェック超音波接続発生器エラー画面を示す。静止画像、ｇｉｆ、又はアニメーションを有する追加のトラブルシューティング画面が提供されてもよい。トラブルシューティング画面は、ユーザが進めることができる複数のステップ又は複数の画面（図示せず）を有してもよい。

図７４は、主外科用ディスプレイ相互作用を表示する主外科用ディスプレイ相互作用画面５９００の画像である。主外科用ディスプレイ相互作用画面５９００は、３つのセクションを備えるオーバーレイ画面５９０４を有する器具パネル挙動画面５９０２を示す。オーバーレイ画面５９０４の第１のセクションは、器具起動デフォルトパネル５９０６及び器具最小アクティブパネル５９０８を含むデバイス起動情報を示す。情報は、例えば、暗色テキストで示されるアクティブ状態及びアクティブモード、並びに不透明度が低下して示される非アクティブモードの、暗から明へのパネル背景の変化を含む。

オーバーレイ画面５９０４の第２のセクションは、器具無効化起動パネル５９１０、アラーム状態パネル５９１２、及び無効化器具パネル５９１４を含む器具無効化起動情報を示す。特定のアラームがトリガされると、器具パネルは、起動が無効化されたことを示すためにグレーアウトされる。これは、ユーザがアラーム状態によってデバイスからロックアウトされたときにのみ適用され得る。

オーバーレイ画面５９０４の第３のセクションは、汎用器具デフォルトパネル５９１６及び最小化パネル５９１８を含む最小化情報を示す。パネルは、所定の期間後に所定のサイズに最小化される。器具タイプはパネル上に残り、パネルは、起動又は通知が発生するとデフォルトに戻る。

状況認識は、データベース及び／又は器具から受信したデータから外科的処置に関連する情報を判定又は推測するための、外科システムのいくつかの態様の能力である。情報は、実行されている処置のタイプ、手術されている組織のタイプ、又は処置の対象である体腔を含むことができる。外科的処置に関するコンテキスト情報によると、外科システムは、例えば、外科システムが、それに接続されるモジュール式デバイス（例えば、ロボットアーム及び／又はロボット外科用ツール）を制御し、外科的処置の過程で外科医にコンテキスト化された情報又は提案を提供する様式で改善し得る。

図７５は、状況認識外科的処置のタイムラインを示す図である。図７５は、例示的な外科的処置のタイムライン５２００と、外科的処置の各ステップでデータソース５１２６から受信されたデータから外科用ハブ５１０４が導出することができるコンテキスト情報とを示す。タイムライン５２００は、手術現場のセットアップで始まり、患者を術後回復室に移送することで終了する肺区域切除処置の過程中に、看護師、外科医及び他の医療従事者がとるであろう一般的なステップを示す。状況認識外科用ハブ５１０４は、外科的処置の過程全体にわたって、医療関係者が外科用ハブ５１０４とペアリングされたモジュール式デバイス５１０２を使用するたびに生成されるデータを含むデータを、データソース５１２６から受信する。外科用ハブ５１０４は、ペアリングされたモジュール式デバイス５１０２及び他のデータソース５１２６からこのデータを受信して、任意の所与の時間に処置のどのステップが行われているかなどの新しいデータが受信されると、進行中の処置に関する推定（すなわち、コンテキスト情報）を継続的に導出することができる。外科用ハブ５１０４の状況認識システムは、例えば、報告を生成するために処置に関するデータを記録すること、医療従事者によってとられているステップを検証すること、特定の処置ステップに関連し得るデータ又はプロンプトを（例えば、表示画面を介して）提供すること、コンテキストに基づいてモジュール式デバイス５１０２を調整する（例えば、モニタを起動する、医療用撮像デバイスのＦＯＶを調整する、又は超音波外科用器具若しくはＲＦ電気外科用器具のエネルギーレベルを変更する）こと、及び上述される任意の他のこうした動作を行うことが可能である。

第１の５２０２では、病院職員は、病院のＥＭＲデータベースから、患者のＥＭＲを取り出す。ＥＭＲにおいて選択された患者データに基づいて、外科用ハブ５１０４は、実施される処置が胸部手術であることを判定する。

第２の５２０４では、職員は、処置のために入来する医療用品をスキャンする。外科用ハブ５１０４は、スキャンされた物資を様々なタイプの処置において利用される物資のリストと相互参照し、物資の混合物が、胸部処置に対応することを確認する。更に、外科用ハブ５１０４はまた、処置が楔形切除術ではないと判定することができる（入来する用品が、胸部楔形切除術に必要な特定の用品を含まないか、又は別の点で胸部楔形切除術に対応していないかのいずれかであるため）。

第３の５２０６では、医療従事者は、外科用ハブ５１０４に通信可能に接続されたスキャナ５１２８を介して患者バンドをスキャンする。次いで、外科用ハブ５１０４は、スキャンされたデータに基づいて患者の身元を確認することができる。

第４の５２０８では、医療職員が補助装置をオンにする。利用されている補助機器は、外科的処置の種類、及び外科医が使用する技術に従って変動し得るが、この例示的なケースでは、排煙器、送気器及び医療用撮像デバイスが挙げられる。起動されると、モジュール式デバイス５１０２である補助装置は、その初期化プロセスの一部として、モジュール式デバイス５１０２の特定の近傍内に位置する外科用ハブ５１０４と自動的にペアリングすることができる。次いで、外科用ハブ５１０４は、この術前又は初期化段階中にそれとペアリングされるモジュール式デバイス５１０２の種類を検出することによって、外科的処置に関するコンテキスト情報を導出することができる。この特定の実施例では、外科用ハブ５１０４は、ペアリングされたモジュール式デバイス５１０２のこの特定の組み合わせに基づいて、外科的処置がＶＡＴＳ手術であると判定する。患者のＥＭＲからのデータの組み合わせ、処置に用いられる医療用品のリスト、及びハブに接続するモジュール式デバイス５１０２の種類に基づいて、外科用ハブ５１０４は、外科チームが実施する特定の処置を概ね推定することができる。外科用ハブ５１０４が、何の特定の処置が行われているかを知ると、次いで外科用ハブ５１０４は、メモリから、又はクラウドからその処置のステップを読み出し、次いで接続されたデータソース５１２６（例えば、モジュール式デバイス５１０２及び患者モニタリングデバイス５１２４）からその後受信したデータを相互参照して、外科的処置のどのステップを外科チームが実行しているかを推定することができる。

第５の５２１０では、職員は、ＥＫＧ電極及び他の患者モニタリングデバイス５１２４を患者に取り付ける。ＥＫＧ電極及び他の患者モニタリングデバイス５１２４は、外科用ハブ５１０４とペアリングすることができる。外科用ハブ５１０４が患者モニタリングデバイス５１２４からデータの受信を開始すると、外科用ハブ５１０４は患者が手術現場にいることを確認する。

第６の５２１２では、医療関係者は患者において麻酔を誘発する。外科用ハブ５１０４は、例えば、ＥＫＧデータ、血圧データ、人工呼吸器データ又はこれらの組み合わせを含む、モジュール式デバイス５１０２、及び／又は患者モニタリングデバイス５１２４からのデータに基づいて、患者が麻酔下にあることを推測することができる。第６のステップ５２１２が完了すると、肺区域切除手術の術前部分が完了し、手術部が開始する。

第７の５２１４では、手術されている患者の肺が虚脱される（換気が対側肺に切り替えられる間に）。外科用ハブ５１０４は、患者の肺が虚脱されたことを人工呼吸器データから推測することができる。外科用ハブ５１０４は、患者の肺が虚脱したのを検出したことを、処置の予期されるステップ（事前にアクセス又は読み出すことができる）と比較することができるため、処置の手術部分が開始したことを推定して、それによって肺を虚脱させることがこの特定の処置における第１の手術ステップであると判定することができる。

第８の５２１６では、医療用撮像デバイス５１０８（例えば、スコープ）が挿入され、医療用撮像デバイスからのビデオ映像が開始される。外科用ハブ５１０４は、医療用撮像デバイスへの接続を通じて医療用撮像デバイスデータ（すなわち、静止画像データ又はリアルタイムのライブストリーミングビデオ）を受信する。医療用撮像デバイスデータを受信すると、外科用ハブ５１０４は、外科的処置の腹腔鏡部分が開始したことを判定することができる。更に、外科用ハブ５１０４は、行われている特定の処置が、肺葉切除術とは対照的に区域切除術であると判定することができる（処置の第２のステップ５２０４で受信したデータに基づいて、楔形切除術は外科用ハブ５１０４によって既に考慮に入れられていないことに留意されたい）。医療用撮像デバイス１２４（図２）からのデータを利用して、様々な方法で、例えば、患者の解剖学的構造の可視化に対して向けられている医療用撮像デバイスの角度を判定することによって、利用されている（すなわち、起動されており、外科用ハブ５１０４とペアリングされている）数又は医療用撮像デバイスを監視することによって、及び利用されている可視化装置の種類を監視することによって、行われている処置の種類に関するコンテキスト情報を判定することができる。

例えば、ＶＡＴＳ肺葉切除術を実行するための１つの技術は、カメラを患者の胸腔の前下方角部の横隔膜上方に配置するが、他方、ＶＡＴＳ区域切除術を実行するための１つの技術は、カメラを、区域裂に対して前方の肋間位置に配置する。状況認識システムは、例えば、パターン認識技術又は機械学習技術を使用して、患者の解剖学的構造の可視化に従って、医療用撮像デバイスの位置を認識するように訓練することができる。別の例として、ＶＡＴＳ肺葉切除術を実行するための１つの技術は、単一の医療用撮像デバイスを利用するが、ＶＡＴＳ区域切除術を実行するための別の技術は複数のカメラを利用する。更に別の例として、ＶＡＴＳ区域切除術を実行するための１つの技術は、区域裂を可視化するために赤外線光源（可視化システムの一部として手術用ハブへと通信可能に連結できる）を利用するが、これはＶＡＴＳ肺葉切除術では利用されない。医療用撮像デバイス５１０８からのこのデータのいずれか又は全てを追跡することによって、外科用ハブ５１０４は、行われている特定の種類の外科的処置、及び／又は特定の種類の外科的処置に使用されている技術を判定することができる。

第９のステップ５２１８では、外科チームは、処置の切開ステップを開始する。外科用ハブ５１０４は、エネルギー器具が発射されていることを示すＲＦ又は超音波発生器からのデータを受信するため、外科医が患者の肺を切開して分離するプロセスにあると推定することができる。外科用ハブ５１０４は、受信したデータを外科的処置の読み出しされたステップと相互参照して、プロセスのこの時点（すなわち、上述された処置のステップが完了した後）で発射されているエネルギー器具が切開ステップに対応していると判定することができる。

第１０のステップ５２２０では、外科チームは、処置の結紮ステップに進む。外科用ハブ５１０４は、器具が発射されていることを示すデータを外科用ステープル留め及び切断器具から受信するため、外科医が動脈及び静脈を結紮していると推定することができる。前ステップと同様に、外科用ハブ５１０４は、外科用ステープル留め及び切断器具からのデータの受信を、読み出しされたプロセス内のステップと相互参照することによって、この推定を導出することができる。

第１１の５２２２では、処置の区域切除術の部分が行われる。外科用ハブ５１０４は、ステープルカートリッジからのデータを含む、外科用器具からのデータに基づいて、外科医が実質組織を横切開していると推定する。カートリッジデータは、例えば、器具によって発射されているステープルのサイズ又はタイプに対応し得る。カートリッジデータは、異なるタイプの組織に利用される異なるタイプのステープルに対して、ステープル留め及び／又は横切開されている組織のタイプを示し得る。発射されているステープルのタイプは実質組織又は他の同様の組織タイプに利用され、外科用ハブ５１０４は、区域切除処置が行われていると推定することができる。

続いて第１２のステップ５２２４で、結節切開ステップが行われる。外科用ハブ５１０４は、ＲＦ又は超音波器具が発射されていることを示す、発生器から受信したデータに基づいて、外科チームが結節を切開し、漏れ試験を行っていると推定することができる。この特定の処置の場合、実質組織が横切開された後に利用されるＲＦ又は超音波器具は結節切開ステップに対応しており、これにより外科用ハブ５１０４がこの推定を行うことができる。異なる器具が特定のタスクに対してより良好に適合するので、外科医が、処置中の特定のステップに応じて、手術用ステープリング／切断器具と手術用エネルギー（すなわち、ＲＦ又は超音波）器具とを、定期的に交互に切り替えることに留意されたい。したがって、ステープル留め器具／切断器具及び手術用エネルギー器具が使用される特定のシーケンスは、外科医が処置のどのステップを実行しているかを示すことができる。第１２のステップ５２２４が完了すると、切開部が閉鎖され、処置の術後部分が開始する。

第１３の５２２６では、患者の麻酔を解く。外科用ハブ５１０４は、例えば、ベンチレータデータに基づいて（すなわち、患者の呼吸速度が増加し始める）、患者が麻酔から覚醒しつつあると推定することができる。

最後に、第１４の５２２８では、医療従事者が患者から様々な患者モニタリングデバイス５１２４を除去する。したがって、外科用ハブ５１０４は、ハブがＥＫＧ、ＢＰ、及び患者モニタリングデバイス５１２４からの他のデータを喪失したとき、患者が回復室に移送されていると推定することができる。外科用ハブ５１０４と通信可能に連結された各種データソース５１２６から受信したデータに従って、外科用ハブ５１０４は、所与の外科的処置の各ステップが発生しているときを判定又は推定することができる。

図７５に示されるタイムライン５２００の第１のステップ５２０２に示されるように、ＥＭＲデータベース（複数の場合もある）からの患者データを利用して、行われる外科的処置のタイプを推定することに加えて、患者データはまた、状況認識外科用ハブ５１０４によって利用されて、ペアリングされたモジュール式デバイス５１０２の制御調整を生成することができる。

本明細書に記載される主題の様々な追加的態様は、以下の番号付けされた実施例において説明される。

実施例１：外科的処置中に使用するための拡張現実ディスプレイシステムであって、拡張現実ディスプレイシステムが、外科的処置中に外科領域の実画像を捕捉するための撮像デバイスと、外科領域の実画像上にアクティブに可視化されている外科用器具の動作態様のオーバーレイを提示するための拡張現実ディスプレイであって、オーバーレイが、外科領域内の組織相互作用の態様を外科用器具から受信した機能データと組み合わせる、拡張現実ディスプレイと、プロセッサであって、外科用器具から機能データを受信し、外科用器具の動作態様に関連するオーバーレイを決定し、外科領域内の組織の態様を外科用器具から受信した機能データと組み合わせる、プロセッサと、を備える、拡張現実ディスプレイシステム。

実施例２：外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、外科用器具の動作態様が、エンドエフェクタのジョーの間に組織をクランプすることである、実施例１に記載の拡張現実ディスプレイシステム。

実施例３：組織の前記態様が、エンドエフェクタのジョーの間の組織の適切な捕捉である、実施例２に記載の拡張現実ディスプレイシステム。

実施例４：組織の態様が、エンドエフェクタの前記ジョーの間の誤って配置された組織である、実施例２～３のいずれか１つに記載の拡張現実ディスプレイシステム。

実施例５：組織の態様が、エンドエフェクタのジョーの間の不十分に捕捉された組織である、実施例２～４のいずれか１つに記載の拡張現実ディスプレイシステム。

実施例６：組織の態様が、エンドエフェクタのジョーの間の組織の張力である、実施例２～５のいずれか１つに記載の拡張現実ディスプレイシステム。

実施例７：外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、外科用器具の動作態様が過熱である、実施例１に記載の拡張現実ディスプレイシステム。

実施例８：外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、外科用器具の動作態様がジョー閉鎖位置である、実施例１に記載の拡張現実ディスプレイシステム。

実施例９：組織の態様が、ジョーの間の組織の移動又は流動である、実施例８に記載の拡張現実ディスプレイシステム。

実施例１０：外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、外科用器具の動作態様が、ジョーの間に金属又は異物をクランプすることである、実施例１に記載の拡張現実ディスプレイシステム。

実施例１１：組織の態様が、組織に対する、及び他の発射に対する、横切開の幾何学的関係である、実施例１０に記載の拡張現実ディスプレイシステム。

実施例１２：外科用器具の動作態様がアンビル配向である、実施例１０～１１のいずれか１つに記載の拡張現実ディスプレイシステム。

実施例１３：組織の態様が組織厚さである、実施例１０～１２のいずれか１つに記載の拡張現実ディスプレイシステム。

実施例１４：外科用器具の動作態様が、ジョーのクランプ状態である、実施例１０～１３のいずれか１つに記載の拡張現実ディスプレイシステム。

実施例１５：外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、外科用器具の動作態様が、前記ジョーのクランプ状態の大きさである、実施例１に記載の拡張現実ディスプレイシステム。

実施例１６：組織の態様が組織圧縮である、実施例１５に記載の拡張現実ディスプレイシステム。

実施例１７：外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、外科用器具の動作態様が、ジョーのクランプの充足性である、実施例１に記載の拡張現実ディスプレイシステム。

実施例１８：外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、外科用器具の動作態様が発射充足性である、実施例１に記載の拡張現実ディスプレイシステム。

実施例１９：外科用器具がエネルギーデバイスであり、組織パラメータが、インピーダンス、焼灼状態、出血、又は大きさのうちのいずれか１つであり、エネルギーデバイスの機能態様が、エネルギーレベル、タイミング、又はクランプ圧力のうちのいずれか１つである、実施例１に記載の拡張現実ディスプレイシステム。

実施例２０：外科的処置中に使用するための拡張現実ディスプレイシステムであって、拡張現実ディスプレイシステムが、外科的処置中に外科領域の実画像を捕捉するための撮像デバイスと、外科領域の実画像上にアクティブに可視化されている外科用器具の動作態様のオーバーレイを提示するための拡張現実ディスプレイであって、オーバーレイが、外科領域内の組織相互作用の態様を外科用器具からの機能データと組み合わせる、拡張現実ディスプレイと、プロセッサであって、外科用器具から機能データを受信し、外科用器具の動作態様に関連するオーバーレイを決定し、外科領域内の組織の前記態様を外科用器具から受信した機能データと組み合わせ、オーバーレイを構成する、プロセッサと、を備える、拡張現実ディスプレイシステム。

実施例２１：外科的処置中に使用するための拡張現実ディスプレイシステムであって、拡張現実ディスプレイシステムが、外科的処置中に外科領域の実画像を捕捉するための撮像デバイスと、外科領域の実画像上にアクティブに可視化されている外科用器具の動作態様のオーバーレイを提示するための拡張現実ディスプレイであって、オーバーレイが、外科領域内の組織相互作用の態様を外科用器具からの機能データと組み合わせる、拡張現実ディスプレイと、プロセッサであって、外科用器具から機能データを受信し、外科用器具の動作態様に関連するオーバーレイを決定し、外科領域内の組織の態様を外科用器具から受信した機能データと組み合わせ、外科用器具の動的状態を表示する、プロセッサと、を備える、拡張現実ディスプレイシステム。

いくつかの形態が示され説明されてきたが、添付の特許請求の範囲をそのような詳細に制限又は限定することは、本出願人が意図するところではない。多くの修正、変形、変更、置換、組み合わせ及びこれらの形態の等価物を実装することができ、その開示の範囲から逸脱することなく当業者により想到されるであろう。更に、記述する形態に関連した各要素の構造は、その要素によって実施される機能を提供するための手段として代替的に説明することができる。また、材料が特定の構成要素に関して開示されているが、他の材料が使用されてもよい。したがって、上記の説明文及び添付の特許請求の範囲は、全てのそのような修正、組み合わせ、及び変形を、開示される形態の範囲に含まれるものとして網羅することを意図としたものである点を理解されたい。添付の特許請求の範囲は、全てのそのような修正、変形、変更、置換、修正、及び等価物を網羅することを意図する。

上記の詳細な説明は、ブロック図、フロー図及び／又は実施例を用いて、装置及び／又はプロセスの様々な形態について記載してきた。そのようなブロック図、フロー図及び／又は実施例が１つ以上の機能及び／又は動作を含む限り、当業者に理解されたいこととして、そのようなブロック図、フロー図及び／又は実施例に含まれる各機能及び／又は動作は、多様なハードウェア、ソフトウェア、ファームウェア又はこれらの事実上の任意の組み合わせによって、個々にかつ／又は集合的に実装することができる。当業者は、本明細書に開示された形態のいくつかの態様が、全体的又は部分的に、１つ以上のコンピュータ上で動作する１つ以上のコンピュータプログラムとして（例えば、１つ以上のコンピュータプログラム上で動作する１つ以上のプログラムとして）、１つ以上のプロセッサ上で動作する１つ以上のプログラムとして（例えば、１つ以上のマイクロプロセッサ上で動作する１つ以上のプログラムとして）、ファームウェアとして、又は事実上これらの任意の組み合わせとして、集積回路内に同等に実装することができること、並びにソフトウェア及び又はファームウェアのために回路を設計すること及び／又はコードを記述することが、本開示に照らして当業者の技能の範囲内であることを、認識するであろう。加えて、当業者には理解されることとして、本明細書に記載した主題の機構は、多様な形態で１つ以上のプログラム製品として配布されることが可能であり、本明細書に記載した主題の具体的な形態は、配布を実際に実行するために使用される信号搬送媒体の特定のタイプにかかわらず適用される。

様々な開示された態様を実施するように論理をプログラムするために使用される命令は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、キャッシュ、フラッシュメモリ又は他のストレージなどのシステム内メモリに記憶され得る。更に、命令は、ネットワークを介して、又は他のコンピュータ可読媒体によって配布され得る。したがって、機械可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で情報を記憶又は送信するための任意の機構が挙げられ得るが、フロッピーディスケット、光ディスク、コンパクトディスク、読み出し専用メモリ（ＣＤ－ＲＯＭ）、並びに磁気光学ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、磁気若しくは光カード、フラッシュメモリ又は、電気的、光学的、音響的、若しくは他の形態の伝播信号（例えば、搬送波、赤外線信号、デジタル信号など）を介してインターネットを介した情報の送信に使用される有形機械可読ストレージに限定されない。したがって、非一時的コンピュータ可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で電子命令又は情報を記憶又は送信するのに好適な任意のタイプの有形機械可読媒体が挙げられる。

本明細書の任意の態様で使用されるとき、「制御回路」という用語は、例えば、ハードワイヤード回路、プログラマブル回路（例えば、１つ以上の個々の命令処理コアを含むコンピュータプロセッサ、処理ユニット、プロセッサ、マイクロコントローラ、マイクロコントローラユニット、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブル論理装置（ＰＬＤ）、プログラマブル論理アレイ（ＰＬＡ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ））、状態機械回路、プログラマブル回路によって実行される命令を記憶するファームウェア、及びこれらの任意の組み合わせを指すことができる。制御回路は、集合的に又は個別に、例えば、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、スマートフォンなどの、より大きなシステムの一部を形成する回路として具現化され得る。したがって、本明細書で使用されるとき、「制御回路」は、少なくとも１つの個別の電気回路を有する電気回路、少なくとも１つの集積回路を有する電気回路、少なくとも１つの特定用途向け集積回路を有する電気回路、コンピュータプログラムによって構成された汎用コンピューティング装置（例えば、本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成された汎用コンピュータ、又は本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成されたマイクロプロセッサ）を形成する電気回路、メモリ装置（例えば、ランダムアクセスメモリの形態）を形成する電気回路及び／又は通信装置（例えばモデム、通信スイッチ、又は光－電気設備）を形成する電気回路を含むが、これらに限定されない。当業者は、本明細書で述べた主題が、アナログ形式若しくはデジタル形式、又はこれらのいくつかの組み合わせで実装されてもよいことを認識するであろう。

本明細書の任意の態様で使用されるとき、「論理」という用語は、前述の動作のいずれかを実施するように構成されたアプリケーション、ソフトウェア、ファームウェア、及び／又は回路を指し得る。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に記録されたソフトウェアパッケージ、コード、命令、命令セット、及び／又はデータとして具現化されてもよい。ファームウェアは、メモリ装置内のコード、命令、若しくは命令セット、及び／又はハードコードされた（例えば、不揮発性の）データとして具現化されてもよい。

本明細書の任意の態様で使用されるとき、「構成要素」、「システム」、「モジュール」等という用語は、制御回路、コンピュータ関連エンティティ、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、又は実行中のソフトウェアのいずれかを指すことができる。

本明細書の任意の態様で使用されるとき、「アルゴリズム」とは、所望の結果につながるステップの自己無撞着シーケンスを指し、「ステップ」とは、必ずしも必要ではないが、記憶、転送、組み合わせ、比較、及び別様に操作されることが可能な電気信号又は磁気信号の形態をとることができる物理量及び／又は論理状態の操作を指す。これらの信号を、ビット、値、要素、記号、文字、用語、番号などとして言及することが一般的な扱い方である。これらの及び類似の用語は、適切な物理量と関連付けられてもよく、また単に、これらの量及び／又は状態に適用される便利な標識である。

ネットワークとしては、パケット交換ネットワークが挙げられ得る。通信デバイスは、選択されたパケット交換ネットワーク通信プロトコルを使用して、互いに通信することができる。１つの例示的な通信プロトコルとしては、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）を使用して通信を可能にすることができるイーサネット通信プロトコルを挙げることができる。イーサネットプロトコルは、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）によって発行された２００８年１２月発行の表題「ＩＥＥＥ８０２．３ Ｓｔａｎｄａｒｄ」、及び／又は本規格の後のバージョンのイーサネット規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信デバイスは、Ｘ．２５通信プロトコルを使用して互いに通信することができる。Ｘ．２５通信プロトコルは、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ－Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（ＩＴＵ－Ｔ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信デバイスは、フレームリレー通信プロトコルを使用して互いに通信することができる。フレームリレー通信プロトコルは、Ｃｏｎｓｕｌｔａｔｉｖｅ Ｃｏｍｍｉｔｔｅｅ ｆｏｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｇｒａｐｈ ａｎｄ Ｔｅｌｅｐｈｏｎｅ（ＣＣＩＴＴ）及び／又はｔｈｅ Ａｍｅｒｉｃａｎ Ｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｓ Ｉｎｓｔｉｔｕｔｅ（ＡＮＳＩ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、送受信機は、非同期転送モード（ＡＴＭ）通信プロトコルを使用して互いに通信することが可能であり得る。ＡＴＭ通信プロトコルは、ＡＴＭ Ｆｏｒｕｍによって「ＡＴＭ－ＭＰＬＳ Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｗｏｒｋｉｎｇ ２．０」という題で２００１年８月に公開されたＡＴＭ規格及び／又は本規格の後のバージョンに準拠するか、又は互換性があり得る。当然のことながら、異なる及び／又は後に開発されたコネクション型ネットワーク通信プロトコルは、本明細書で等しく企図される。

別段の明確な定めがない限り、前述の開示から明らかなように、前述の開示全体を通じて、「処理すること（processing）」、「計算すること（computing）」、「算出すること（calculating）」、「判定すること（determining）」、「表示すること（displaying）」などの用語を使用する考察は、コンピュータシステムのレジスタ及びメモリ内で物理（電子的）量として表現されるデータを、コンピュータシステムのメモリ若しくはレジスタ又は他のそのような情報記憶、伝送、若しくは表示装置内で物理量として同様に表現される他のデータへと操作し変換する、コンピュータシステム又は類似の電子計算装置のアクション及び処理を指していることが理解されよう。

１つ以上の構成要素が、本明細書中で、「ように構成されている（configured to）」、「ように構成可能である（configurable to）」、「動作可能である／ように動作する（operable/operative to）」、「適合される／適合可能である（adapted/adaptable）」、「ことが可能である（able to）」、「準拠可能である／準拠する（conformable/conformed to）」などと言及され得る。当業者は、「ように構成されている」は、一般に、文脈上他の意味に解釈すべき場合を除き、アクティブ状態の構成要素及び／又は非アクティブ状態の構成要素及び／又はスタンバイ状態の構成要素を包含し得ることを理解するであろう。

「近位」及び「遠位」という用語は、本明細書では、外科用器具のハンドル部分を操作する臨床医を基準として使用される。「近位」という用語は、臨床医に最も近い部分を指し、「遠位」という用語は、臨床医から離れた位置にある部分を指す。便宜上及び明確性のために、「垂直」、「水平」、「上」、及び「下」などの空間的用語が、本明細書において図面に対して使用され得ることが更に理解されよう。しかしながら、外科用器具は、多くの向き及び位置で使用されるものであり、これらの用語は限定的及び／又は絶対的であることを意図したものではない。

当業者は、一般に、本明細書で使用され、かつ特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）で使用される用語は、概して「オープンな」用語として意図されるものである（例えば、「含む（including）」という用語は、「～を含むが、それらに限定されない（including but not limited to）」と解釈されるべきであり、「有する（having）」という用語は「～を少なくとも有する（having at least）」と解釈されるべきであり、「含む（includes）」という用語は「～を含むが、それらに限定されない（includes but is not limited to）」と解釈されるべきであるなど）ことを理解するであろう。更に、導入された請求項記載（introduced claim recitation）において特定の数が意図される場合、かかる意図は当該請求項中に明確に記載され、またかかる記載がない場合は、かかる意図は存在しないことが、当業者には理解されるであろう。例えば、理解を助けるものとして、後続の添付の特許請求の範囲は、「少なくとも１つの（at least one）」及び「１つ以上の（one or more）」という導入句を、請求項記載を導入するために含むことがある。しかしながら、かかる句の使用は、「ａ」又は「ａｎ」という不定冠詞によって請求項記載を導入した場合に、たとえ同一の請求項内に「１つ以上の」又は「少なくとも１つの」といった導入句及び「ａ」又は「ａｎ」という不定冠詞が含まれる場合であっても、かかる導入された請求項記載を含むいかなる特定の請求項も、かかる記載事項を１つのみ含む請求項に限定されると示唆されるものと解釈されるべきではない（例えば、「ａ」及び／又は「ａｎ」は通常、「少なくとも１つの」又は「１つ以上の」を意味するものと解釈されるべきである）。定冠詞を使用して請求項記載を導入する場合にも、同様のことが当てはまる。

加えて、導入された請求項記載において特定の数が明示されている場合であっても、かかる記載は、典型的には、少なくとも記載された数を意味するものと解釈されるべきであることが、当業者には認識されるであろう（例えば、他に修飾語のない、単なる「２つの記載事項」という記載がある場合、一般的に、少なくとも２つの記載事項、又は２つ以上の記載事項を意味する）。更に、「Ａ、Ｂ及びＣなどのうちの少なくとも１つ」に類する表記が使用される場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。「Ａ、Ｂ又はＣなどのうちの少なくとも１つ」に類する表記が用いられる場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、又はＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。更に、典型的には、２つ以上の選択的な用語を表すあらゆる選言的な語及び／又は句は、文脈上他の意味に解釈すべき場合を除いて、明細書内であろうと、請求の範囲内であろうと、あるいは図面内であろうと、それら用語のうちの１つ、それらの用語のうちのいずれか、又はそれらの用語の両方を含む可能性を意図すると理解されるべきであることが、当業者には理解されよう。例えば、「Ａ又はＢ」という句は、典型的には、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むものと理解されよう。

添付の特許請求の範囲に関して、当業者は、本明細書における引用した動作は一般に、任意の順序で実施され得ることを理解するであろう。また、様々な動作のフロー図がシーケンス（複数可）で示されているが、様々な動作は、示されたもの以外の順序で実施されてもよく、又は同時に実施されてもよいことが理解されるべきである。かかる代替の順序付けの例は、文脈上他の意味に解釈すべき場合を除いて、重複、交互配置、割り込み、再順序付け、増加的、予備的、追加的、同時、逆又は他の異なる順序付けを含んでもよい。更に、「～に応答する（responsive to）」、「～に関連する（related to）」といった用語、又は他の過去時制の形容詞は、一般に、文脈上他の意味に解釈すべき場合を除き、かかる変化形を除外することが意図されるものではない。

「一態様」、「態様」、「例示」、「一例示」などへの任意の参照は、その態様に関連して記載される特定の特徴部、構造又は特性が少なくとも１つの態様に含まれると意味することは特記に値する。したがって、本明細書の全体を通じて様々な場所に見られる語句「一態様では」、「態様では」、「例示では」及び「一例示では」は、必ずしも全てが同じ態様を指すものではない。更に、特定の特徴、構造、又は特性は、１つ以上の態様において任意の好適な様態で組み合わせることができる。

本明細書で参照され、かつ／又は任意の出願データシートに列挙される任意の特許出願、特許、非特許刊行物、又は他の開示資料は、組み込まれる資料が本明細書と矛盾しない範囲で、参照により本明細書に組み込まれる。それ自体、また必要な範囲で、本明細書に明瞭に記載される開示は、参照により本明細書に組み込まれるあらゆる矛盾する記載に優先するものとする。参照により本明細書に組み込まれると言及されているが、現行の定義、見解、又は本明細書に記載される他の開示内容と矛盾するあらゆる内容、又はそれらの部分は、組み込まれた内容と現行の開示内容との間に矛盾が生じない範囲においてのみ、組み込まれるものとする。

要約すると、本明細書に記載した構想を用いる結果として得られる多くの利益が記載されてきた。１つ以上の形態の上述の記載は、例示及び説明を目的として提示されているものである。包括的であることも、開示された厳密な形態に限定することも意図されていない。上記の教示を鑑みて、修正又は変形が可能である。１つ以上の形態は、原理及び実際の応用について例示し、それによって、様々な形態を様々な修正例と共に、想到される特定の用途に適するものとして当業者が利用することを可能にするようにするために、選択及び記載されたものである。本明細書と共に提示される特許請求の範囲が全体的な範囲を定義することが意図される。

〔実施の態様〕
（１） 外科的処置中に使用するための拡張現実ディスプレイシステムであって、前記拡張現実ディスプレイシステムが、
前記外科的処置中に外科領域の実画像を捕捉するための撮像デバイスと、
前記外科領域の前記実画像上にアクティブに可視化されている外科用器具の動作態様のオーバーレイを提示するための拡張現実ディスプレイであって、前記オーバーレイが、前記外科領域内の組織相互作用の態様を前記外科用器具から受信した機能データと組み合わせる、拡張現実ディスプレイと、
プロセッサであって、
前記外科用器具から前記機能データを受信し、
前記外科用器具の前記動作態様に関連する前記オーバーレイを決定し、
前記外科領域内の前記組織の前記態様を前記外科用器具から受信した前記機能データと組み合わせる、プロセッサと
を備える、拡張現実ディスプレイシステム。
（２） 前記外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、前記外科用器具の前記動作態様が、前記エンドエフェクタの前記ジョーの間に組織をクランプすることである、実施態様１に記載の拡張現実ディスプレイシステム。
（３） 前記組織の前記態様が、前記エンドエフェクタの前記ジョーの間の前記組織の適切な捕捉である、実施態様２に記載の拡張現実ディスプレイシステム。
（４） 前記組織の前記態様が、前記エンドエフェクタの前記ジョーの間の誤って配置された組織である、実施態様２に記載の拡張現実ディスプレイシステム。
（５） 前記組織の前記態様が、前記エンドエフェクタの前記ジョーの間の不十分に捕捉された組織である、実施態様２に記載の拡張現実ディスプレイシステム。

（６） 前記組織の前記態様が、前記エンドエフェクタの前記ジョーの間の前記組織の張力である、実施態様２に記載の拡張現実ディスプレイシステム。
（７） 前記外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、前記外科用器具の前記動作態様が過熱である、実施態様１に記載の拡張現実ディスプレイシステム。
（８） 前記外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、前記外科用器具の前記動作態様がジョー閉鎖位置である、実施態様１に記載の拡張現実ディスプレイシステム。
（９） 前記組織の前記態様が、前記ジョーの間の前記組織の移動又は流動である、実施態様８に記載の拡張現実ディスプレイシステム。
（１０） 前記外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、前記外科用器具の前記動作態様が、前記ジョーの間に金属又は異物をクランプすることである、実施態様１に記載の拡張現実ディスプレイシステム。

（１１） 前記組織の前記態様が、前記組織に対する、及び他の発射に対する、横切開の幾何学的関係である、実施態様１０に記載の拡張現実ディスプレイシステム。
（１２） 前記外科用器具の前記動作態様がアンビル配向である、実施態様１０に記載の拡張現実ディスプレイシステム。
（１３） 前記組織の前記態様が組織厚さである、実施態様１０に記載の拡張現実ディスプレイシステム。
（１４） 前記外科用器具の前記動作態様が、前記ジョーのクランプ状態である、実施態様１０に記載の拡張現実ディスプレイシステム。
（１５） 前記外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、前記外科用器具の前記動作態様が、前記ジョーの前記クランプ状態の大きさである、実施態様１に記載の拡張現実ディスプレイシステム。

（１６） 前記組織の前記態様が組織圧縮である、実施態様１５に記載の拡張現実ディスプレイシステム。
（１７） 前記外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、前記外科用器具の前記動作態様が、前記ジョーのクランプの充足性である、実施態様１に記載の拡張現実ディスプレイシステム。
（１８） 前記外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、前記外科用器具の前記動作態様が発射充足性である、実施態様１に記載の拡張現実ディスプレイシステム。
（１９） 前記外科用器具がエネルギーデバイスであり、組織パラメータが、インピーダンス、焼灼状態、出血、又は大きさのうちのいずれか１つであり、前記エネルギーデバイスの機能態様が、エネルギーレベル、タイミング、又はクランプ圧力のうちのいずれか１つである、実施態様１に記載の拡張現実ディスプレイシステム。
（２０） 外科的処置中に使用するための拡張現実ディスプレイシステムであって、前記拡張現実ディスプレイシステムが、
前記外科的処置中に外科領域の実画像を捕捉するための撮像デバイスと、
前記外科領域の前記実画像上にアクティブに可視化されている外科用器具の動作態様のオーバーレイを提示するための拡張現実ディスプレイであって、前記オーバーレイが、前記外科領域内の組織相互作用の態様を前記外科用器具からの機能データと組み合わせる、拡張現実ディスプレイと、
プロセッサであって、
前記外科用器具から前記機能データを受信し、
前記外科用器具の前記動作態様に関連する前記オーバーレイを決定し、
前記外科領域内の前記組織の前記態様を前記外科用器具から受信した前記機能データと組み合わせ、
前記オーバーレイを構成する、プロセッサと
を備える、拡張現実ディスプレイシステム。

（２１） 外科的処置中に使用するための拡張現実ディスプレイシステムであって、前記拡張現実ディスプレイシステムが、
前記外科的処置中に外科領域の実画像を捕捉するための撮像デバイスと、
前記外科領域の前記実画像上にアクティブに可視化されている外科用器具の動作態様のオーバーレイを提示するための拡張現実ディスプレイであって、前記オーバーレイが、前記外科領域内の組織相互作用の態様を前記外科用器具からの機能データと組み合わせる、拡張現実ディスプレイと、
プロセッサであって、
前記外科用器具から前記機能データを受信し、
前記外科用器具の前記動作態様に関連する前記オーバーレイを決定し、
前記外科領域内の前記組織の前記態様を前記外科用器具から受信した前記機能データと組み合わせ、
前記外科用器具の動的状態を表示する、プロセッサと
を備える、拡張現実ディスプレイシステム。

Claims (21)

1. 外科的処置中に使用するための拡張現実ディスプレイシステムであって、前記拡張現実ディスプレイシステムが、
   前記外科的処置中に外科領域の実画像を捕捉するための撮像デバイスと、
   前記外科領域の前記実画像上にアクティブに可視化されている外科用器具の動作態様のオーバーレイを提示するための拡張現実ディスプレイであって、前記オーバーレイが、前記外科領域内の組織相互作用の態様を前記外科用器具から受信した機能データと組み合わせる、拡張現実ディスプレイと、
   プロセッサであって、
   前記外科用器具から前記機能データを受信し、
   前記外科用器具の前記動作態様に関連する前記オーバーレイを決定し、
   前記外科領域内の前記組織の前記態様を前記外科用器具から受信した前記機能データと組み合わせる、プロセッサと
   を備える、拡張現実ディスプレイシステム。
2. 前記外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、前記外科用器具の前記動作態様が、前記エンドエフェクタの前記ジョーの間に組織をクランプすることである、請求項１に記載の拡張現実ディスプレイシステム。
3. 前記組織の前記態様が、前記エンドエフェクタの前記ジョーの間の前記組織の適切な捕捉である、請求項２に記載の拡張現実ディスプレイシステム。
4. 前記組織の前記態様が、前記エンドエフェクタの前記ジョーの間の誤って配置された組織である、請求項２に記載の拡張現実ディスプレイシステム。
5. 前記組織の前記態様が、前記エンドエフェクタの前記ジョーの間の不十分に捕捉された組織である、請求項２に記載の拡張現実ディスプレイシステム。
6. 前記組織の前記態様が、前記エンドエフェクタの前記ジョーの間の前記組織の張力である、請求項２に記載の拡張現実ディスプレイシステム。
7. 前記外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、前記外科用器具の前記動作態様が過熱である、請求項１に記載の拡張現実ディスプレイシステム。
8. 前記外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、前記外科用器具の前記動作態様がジョー閉鎖位置である、請求項１に記載の拡張現実ディスプレイシステム。
9. 前記組織の前記態様が、前記ジョーの間の前記組織の移動又は流動である、請求項８に記載の拡張現実ディスプレイシステム。
10. 前記外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、前記外科用器具の前記動作態様が、前記ジョーの間に金属又は異物をクランプすることである、請求項１に記載の拡張現実ディスプレイシステム。
11. 前記組織の前記態様が、前記組織に対する、及び他の発射に対する、横切開の幾何学的関係である、請求項１０に記載の拡張現実ディスプレイシステム。
12. 前記外科用器具の前記動作態様がアンビル配向である、請求項１０に記載の拡張現実ディスプレイシステム。
13. 前記組織の前記態様が組織厚さである、請求項１０に記載の拡張現実ディスプレイシステム。
14. 前記外科用器具の前記動作態様が、前記ジョーのクランプ状態である、請求項１０に記載の拡張現実ディスプレイシステム。
15. 前記外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、前記外科用器具の前記動作態様が、前記ジョーの前記クランプ状態の大きさである、請求項１に記載の拡張現実ディスプレイシステム。
16. 前記組織の前記態様が組織圧縮である、請求項１５に記載の拡張現実ディスプレイシステム。
17. 前記外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、前記外科用器具の前記動作態様が、前記ジョーのクランプの充足性である、請求項１に記載の拡張現実ディスプレイシステム。
18. 前記外科用器具が、間に組織を捕捉するためのジョーを有するエンドエフェクタを備え、前記外科用器具の前記動作態様が発射充足性である、請求項１に記載の拡張現実ディスプレイシステム。
19. 前記外科用器具がエネルギーデバイスであり、組織パラメータが、インピーダンス、焼灼状態、出血、又は大きさのうちのいずれか１つであり、前記エネルギーデバイスの機能態様が、エネルギーレベル、タイミング、又はクランプ圧力のうちのいずれか１つである、請求項１に記載の拡張現実ディスプレイシステム。
20. 外科的処置中に使用するための拡張現実ディスプレイシステムであって、前記拡張現実ディスプレイシステムが、
    前記外科的処置中に外科領域の実画像を捕捉するための撮像デバイスと、
    前記外科領域の前記実画像上にアクティブに可視化されている外科用器具の動作態様のオーバーレイを提示するための拡張現実ディスプレイであって、前記オーバーレイが、前記外科領域内の組織相互作用の態様を前記外科用器具からの機能データと組み合わせる、拡張現実ディスプレイと、
    プロセッサであって、
    前記外科用器具から前記機能データを受信し、
    前記外科用器具の前記動作態様に関連する前記オーバーレイを決定し、
    前記外科領域内の前記組織の前記態様を前記外科用器具から受信した前記機能データと組み合わせ、
    前記オーバーレイを構成する、プロセッサと
    を備える、拡張現実ディスプレイシステム。
21. 外科的処置中に使用するための拡張現実ディスプレイシステムであって、前記拡張現実ディスプレイシステムが、
    前記外科的処置中に外科領域の実画像を捕捉するための撮像デバイスと、
    前記外科領域の前記実画像上にアクティブに可視化されている外科用器具の動作態様のオーバーレイを提示するための拡張現実ディスプレイであって、前記オーバーレイが、前記外科領域内の組織相互作用の態様を前記外科用器具からの機能データと組み合わせる、拡張現実ディスプレイと、
    プロセッサであって、
    前記外科用器具から前記機能データを受信し、
    前記外科用器具の前記動作態様に関連する前記オーバーレイを決定し、
    前記外科領域内の前記組織の前記態様を前記外科用器具から受信した前記機能データと組み合わせ、
    前記外科用器具の動的状態を表示する、プロセッサと
    を備える、拡張現実ディスプレイシステム。

Images