JP2024521722A

JP2024521722A - 手術シミュレーションナビゲーションシステム

Info

Publication number: JP2024521722A
Application number: JP2023571927A
Authority: JP
Inventors: シェルトン・ザ・フォース・フレデリック・イー; シャイブ・チャールズ・ジェイ; メグラン・ドワイト・アラン
Original assignee: Cilag GmbH International
Current assignee: Cilag GmbH International
Priority date: 2021-05-21
Filing date: 2022-05-20
Publication date: 2024-06-04

Abstract

インタラクティブかつ動的な手術シミュレーションシステムは、コンピュータ実装インタラクティブ手術システムとの関連で使用され得る。手術シミュレーションシステムは、例えば、ライブ外科処置中にシミュレーション支援を提供するために、強化されたナビゲーションを可能にし得る。プロセッサは、ライブ外科処置のための処置計画を識別し、処置計画に対応する外科処置の記憶されたシミュレーションを識別するように構成されてもよい。プロセッサは、ライブ外科処置中に受信された情報から、ライブ外科処置の現在の部分を決定することができる。また、プロセッサは、記憶されたシミュレーションから、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分を検索してもよい。次いで、ライブ外科処置の現在の部分に対応するシミュレーションの部分が、ユーザ相互作用のために提示され得る。

Description

（関連出願の相互参照）
本出願は、２０２１年５月２１日出願の米国特許仮出願第６３／１９１，６８１号の利益を主張し、参照によりその開示の全体が本書に組み込まれる。

本出願は、同時に出願された以下の出願に関連し、その各々の内容は、参照により本明細書に組み込まれる。
・２０２１年５月２７日出願の「ＭＥＴＨＯＤＳＦＯＲＳＵＲＧＩＣＡＬＳＩＭＵＬＡＴＩＯＮ」と題する米国特許出願第１７／３３２，５９４号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ１）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬＳＩＭＵＬＡＴＩＯＮＯＢＪＥＣＴＲＥＣＴＩＦＩＣＡＴＩＯＮＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，５２４号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ２）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬＳＩＭＵＬＡＴＩＯＮＳＹＳＴＥＭＷＩＴＨＣＯＯＲＤＩＮＡＴＥＤＩＭＡＧＩＮＩＮＧ」と題する米国特許出願第１７／３３２，４４１号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ４）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬＳＩＭＵＬＡＴＩＯＮＳＹＳＴＥＭＷＩＴＨＳＩＭＵＬＡＴＥＤＳＵＲＧＩＣＡＬＥＱＵＩＰＭＥＮＴＣＯＯＲＤＩＮＡＴＩＯＮ」と題する米国特許出願第１７／３３２，４６２号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ５）
・２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤＳＵＲＧＩＣＡＬＰＲＯＣＥＤＵＲＥＰＬＡＮＮＩＮＧＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，１９７号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ６）
・２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤＤＩＲＥＣＴＥＤＳＵＲＧＩＣＡＬＤＥＶＥＬＯＰＭＥＮＴＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，４０７号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ７）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬＡＤＶＥＲＳＥＥＶＥＮＴＳＩＭＵＬＡＴＩＯＮＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，４４９号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ８）
・２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤＳＵＲＧＩＣＡＬＡＮＡＬＹＳＩＳＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，４９６号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ９）
・２０２１年５月２７日出願の「ＤＹＮＡＭＩＣＡＤＡＰＴＡＴＩＯＮＳＹＳＴＥＭＦＯＲＳＵＲＧＩＣＡＬＳＩＭＵＬＡＴＩＯＮ」と題する米国特許出願第１７／３３２，４８０号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ１０）

例えば、手術環境及び／又は外科処置のコンピュータベースの３次元シミュレーションなど手術シミュレーションは、手術技術を進歩させる機会を提示する。手術シミュレーションは、手術訓練、計画、開発などに役立つ可能性を有する。例えば、手術シミュレーションは、新たな処置で外科医を訓練するために、及び／又は外科医に既知の処置の実行を向上させるために使用され得る。手術シミュレーションは、外科医が次の処置の準備を支援するための仮想「最終リハーサル」として使用され得る。また、手術シミュレーションは、実証されていない処置及び技法を用いた実験に使用され得る。

しかしながら、手術シミュレーションプラットフォームは、能力、範囲、及び適用可能性において多くの制限に直面する複合システムである。例えば、多くのプラットフォームは、特定の学習目的に対処するように、又は手術ロボットの動作をシミュレートするなど、単一の機器の動作をシミュレートするように特別にプログラムされ、調整された技術「サイロ」である。これらのような制限は、手術技術を進歩させるためのツールとしてのプラットフォームの有効性を低減させ得る。また、そのような制限は、術前計画、術中サポート、術後分析など手術プロセスの他の側面へのシミュレーションベースの適用の統合に対する重大な技術的障害を表し得る。

したがって、例えば、手術シミュレーション能力、範囲、及び適用可能性に対処する技術的進歩など手術シミュレーション技術における革新は、手術分野における更なる進歩を加速させ得る。

インタラクティブかつ動的な手術シミュレーションシステムが開示される。手術シミュレーションシステムは、コンピュータ実装インタラクティブ手術システムとの関連で使用され得る。手術シミュレーションシステムにより、強化されたナビゲーションが可能となり得る。例えば、デバイスは、外科処置中にシミュレーション支援を提供するために使用されてもよい。

デバイスは、プロセッサを備えていてもよい。プロセッサは、ライブ外科処置のための処置計画を識別し、処置計画に対応する外科処置の記憶されたシミュレーションを識別するように構成されてもよい。プロセッサは、ライブ外科処置中に受信された情報から、ライブ外科処置の現在の部分を決定することができる。また、プロセッサは、記憶されたシミュレーションから、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分を検索してもよい。次いで、ライブ外科処置の現在の部分に対応するシミュレーションの部分が、ユーザ相互作用のために提示され得る。

処置計画は、タスクのセットを含み得る。また、記憶されたシミュレーションは、タスクのセットに従ってインデックス付けされた模擬活動を示す情報を含んでもよい。プロセッサは、処置計画から現在のタスクを決定することによって、ライブ外科処置の現在の部分を決定してもよい。プロセッサは、現在のタスクにインデックス付けされた模擬活動を示す情報の選択された部分を検索することによって、ライブ外科処置の現在の部分に対応するシミュレーションの部分を検索することができる。

したがって、ライブ外科処置の現在の部分の視覚化は、ライブ外科処置の現在の部分に対応するシミュレーションの部分の提示と同時に提示され得る。

本発明によれば、ライブ外科処置におけるシミュレーション支援を提供するためのデバイスが提供され、このデバイスは、プロセッサを備え、プロセッサは、ライブ外科処置のための処置計画を識別し、処置計画に対応する外科処置の記憶されたシミュレーションを識別し、ライブ外科処置の間に受信された情報から、ライブ外科処置の現在の部分を決定し、記憶されたシミュレーションから、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分を検索し、ユーザ相互作用のために、ライブ外科処置の現在の部分に対応するシミュレーションの部分を提示するように構成される。

「シミュレーション支援」は、手術中に外科医に能動的なガイダンスを提供するために、ライブ外科処置中の手術シミュレーションの使用を指し得る。いくつかの実施形態では、「シミュレーション支援」は、ライブ外科処置と同時にかつ連続的に実行されるシミュレーション環境を有することを指し得る。あるいは、「シミュレーション支援」は、ライブ外科処置と同時にアクティブに実行されているシミュレーションではなく、少なくとも１回実行されたシミュレーションの一部を提示するように問い合わせることができるシミュレーションを指すことができる。これらの実施形態の各々は、実際の外科処置中に外科医に支援又はガイダンスを提供すると考えることができる。

「ユーザ相互作用」は、「ユーザガイダンス」を指してもよい。換言すれば、シミュレーションの部分は、手術をガイドする目的で外科医に提示又は表示され得る。

「ライブ外科処置」は、リアルタイムで行われている外科処置を指すことが理解され得る。換言すれば、ライブ外科処置は、シミュレーションの動作と同時に行われ得る。

プロセッサは、受信された情報を通して（例えば、画像処理を通して、又は外科的コンテキストを決定するように構成されている、手術用ハブから受信された情報を通して）、ライブ外科処置の部分を決定するように構成される。この状況認識の１つの利点は、プロセッサが、記憶されたシミュレーションから情報を検索して、最適な手術を行う際に外科医をガイドすることができることである。

この実施形態の１つの技術的効果は、ガイドされた相互作用を通じて手術を行う際にユーザが支援されることである。このガイダンスは、患者の転帰を改善し、手術時間を短縮することにつながり、その両方が患者にとって有利である。

いくつかの実施形態では、処置計画は、タスクのセットを含み、記憶されたシミュレーションは、タスクのセットに従ってインデックス付けされた模擬活動を示す情報を含む。

いくつかの実施形態では、プロセッサは、処置計画から現在のタスクを決定することによって、ライブ外科処置の現在の部分を決定するように更に構成される。

いくつかの実施形態では、プロセッサは、現在のタスクにインデックス付けされた模擬活動を示す情報の選択された部分を検索することによって、ライブ外科処置の現在の部分に対応するシミュレーションの部分を検索するように更に構成される。

いくつかの実施形態では、プロセッサは、ライブ外科処置の現在の部分の視覚化を、ライブ外科処置の現在の部分に対応するシミュレーションの部分の提示と同時に提示するように更に構成される。

いくつかの実施形態では、ユーザ相互作用は、ライブ外科処置の現在の部分に対応する時間以外の時間に記憶されたシミュレーションを見るためのタイムラインユーザ制御を含む。

そのような実施形態の機能は、外科医が将来の行動の潜在的な結果を見ることを可能にし、それにより彼らの決定に影響を与え、それによって手術結果を改善することができる。

この改善されたガイダンスは、特に、不確かな状況において将来の行動を予測することが患者の健康にとって有益となり得る場合に、外科医にとって利点をもたらすことができる。

いくつかの実施形態では、プロセッサは、タイムライン制御のユーザの選択に基づいて、記憶されたシミュレーションの異なる部分を検索するように構成される。

いくつかの実施形態では、ユーザ相互作用は、処置計画ユーザ制御によって選択されたものに対応する記憶されたシミュレーションの異なる部分を見るための処置計画ユーザ制御を含む。

いくつかの実施形態では、プロセッサは、処置計画制御のユーザの選択に基づいて、記憶されたシミュレーションの異なる部分を検索するように構成される。

いくつかの実施形態では、プロセッサは、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分について、ライブ処置中に制御入力を受信し、制御入力を用いて、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分に対応するライブシミュレーションを実行するように更に構成される。

いくつかの実施形態では、制御入力は、記憶されたシミュレーションにおけるユーザ活動の修正である。

いくつかの実施形態では、ユーザ活動は、機器選択、機器構成、技法選択、又はアプリケーション位置のいずれかを含む。

いくつかの実施形態では、制御入力は、シミュレーションの設定の修正である。

いくつかの実施形態では、制御入力は、模擬解剖学的構造の修正である。

また、ライブ外科処置においてシミュレーション支援を提供するためのコンピュータ実装方法が提供され、当該方法は、ライブ外科処置のための処置計画を識別することと、処置計画に対応する外科処置の記憶されたシミュレーションを識別することと、ライブ外科処置の間に受信された情報から、ライブ外科処置の現在の部分を決定することと、記憶されたシミュレーションから、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分を検索することと、ユーザ相互作用のために、ライブ外科処置の現在の部分に対応するシミュレーションの部分を提示することと、を含む。

いくつかの実施形態では、方法は、処置計画から現在のタスクを決定することによって、ライブ外科処置の現在の部分を決定することを更に含む。

いくつかの実施形態では、方法は、現在のタスクにインデックス付けされた模擬活動を示す情報の選択された部分を検索することによって、ライブ外科処置の現在の部分に対応するシミュレーションの部分を検索することを更に含む。

いくつかの実施形態では、方法は、ライブ外科処置の現在の部分の視覚化を、ライブ外科処置の現在の部分に対応するシミュレーションの部分の提示と同時に提示することを更に含む。

いくつかの実施形態では、方法は、タイムライン制御のユーザの選択に基づいて、記憶されたシミュレーションの異なる部分を検索することを更に含む。

いくつかの実施形態では、方法は、処置計画制御のユーザの選択に基づいて、記憶されたシミュレーションの異なる部分を検索することを更に含む。

いくつかの実施形態では、方法は、ライブ外科処置の現在の部分に対応するシミュレーションの部分について、ライブ処置中に制御入力を受信することと、制御入力を用いて、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分に対応するライブシミュレーションを実行することとを更に含む。

また、ライブ外科処置におけるシミュレーション支援を提供するためのデバイスが提供され、このデバイスは、プロセッサを備え、プロセッサは、ライブ外科処置のための処置計画を識別し、処置計画に対応する外科処置の記憶されたシミュレーションを識別し、記憶されたシミュレーションから、ライブ外科処置の一部分に対応する記憶されたシミュレーションの部分を検索し、ユーザ相互作用のために、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分を提示し、ライブ処置中に制御入力を受信し、制御入力を用いて、ライブ外科処置の一部分に対応する記憶されたシミュレーションの部分に対応するライブシミュレーションを実行するように構成される。

いくつかの実施形態では、制御入力は、記憶されたシミュレーションにおけるユーザ活動の修正、シミュレーションの設定の修正、又は模擬解剖学的構造の修正のいずれかである。

また、コンピュータによって実行されると、本発明による方法をコンピュータに実行させる命令を含むコンピュータ可読媒体が提供される。

コンピュータ実装インタラクティブ外科用システムのブロック図である。手術室で外科的処置を実施するために使用されている例示的外科用システムを示す。本開示の少なくとも１つの態様による、可視化システム、ロボットシステム、及びインテリジェント器具とペアリングされた例示的な外科用ハブを示す。本開示の少なくとも１つの態様による、医療施設の１つ以上の手術現場、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置しているモジュール式デバイスをクラウドに接続するように構成された通信ハブを有する外科用データネットワークを示す。例示的コンピュータ実装インタラクティブ外科用システムを示す図である。モジュール式制御タワーに連結された複数のモジュールを含む例示的な外科用ハブを示す。例示的手術シミュレータシステムのブロック図である。例示的手術シミュレータシステムのブロック図である。例示的手術シミュレータのユーザインターフェースデバイスを描写するブロック図である。例示的手術シミュレータの動作のフロー図である。コンピュータ実装インタラクティブ手術システム及び／又は手術シミュレータで使用するための例示的外科処置計画のデータ構造を示す。コンピュータ実装インタラクティブ手術システム及び／又は手術シミュレータで使用するための例示的外科処置計画のデータ構造を示す。ライブ外科処置においてシミュレーション支援を提供するためのシステムを示す。時間ベースの手術データ及びシミュレーションデータを示す。時間ベースの手術データ及びシミュレーションデータのタスクベースのインデックス付けを示す。ライブ外科処置においてシミュレーション支援を提供するための例示的なプロセスのフロー図である。

手術シミュレーションシステム、デバイス、及び方法は、他の医療機器、データソース、プロセス、及び機関との統合の態様を含み得る。手術シミュレーションシステム、デバイス、及び方法は、例えば、コンピュータ実装インタラクティブ手術システム及び／又はコンピュータ実装インタラクティブ手術システムの１つ以上の要素との統合の態様を含み得る。

図１を参照すると、コンピュータ実装インタラクティブ外科用システム１００は、１つ以上の外科用システム１０２と、クラウドベースのシステム（例えば、ストレージデバイス１０５に連結されたリモートサーバ１１３を含み得るクラウド１０４）とを備え得る。各外科用システム１０２は、リモートサーバ１１３を含み得るクラウド１０４と通信する、少なくとも１つの外科用ハブ１０６を備え得る。

１つ以上のシミュレーションデバイス１０３、１１１は、コンピュータ実装インタラクティブ手術システム１００と通信し得、及び／又はその一部として統合され得る。例えば、シミュレーションデバイス１０３は、１つ以上の手術システム１０２の要素であり得る。例えば、シミュレーションデバイス１０３は、１つ以上の手術用ハブ１０６と通信し得る。例えば、シミュレーションデバイス１１１は、クラウド１０４を介してコンピュータ実装インタラクティブ手術システム１００と通信し得る。

一例では、図１に示すように、外科用システム１０２は、可視化システム１０８と、ロボットシステム１１０と、手持ち式インテリジェント外科用器具１１２とを含み、これらは、互いに、及び／又はハブ１０６と通信するように構成されている。いくつかの態様では、外科用システム１０２は、Ｍ個のハブ１０６と、Ｎ個の可視化システム１０８と、Ｏ個のロボットシステム１１０と、Ｐ個の手持ち式インテリジェント外科用器具１１２とを備えてもよく、Ｍ、Ｎ、Ｏ及びＰは１以上の整数であり得る。

様々な態様では、可視化システム１０８は、図２に示すように、滅菌野に対して戦略的に配置される１つ以上の撮像センサと、１つ以上の画像処理ユニットと、１つ以上のストレージアレイと、１つ以上のディスプレイとを備え得る。一態様では、可視化システム１０８は、ＨＬ７、ＰＡＣＳ及びＥＭＲ用のインターフェースを備え得る。視覚化システム１０８の様々な構成要素については、２０１８年１２月４日出願の「ＭＥＴＨＯＤＯＦＨＵＢＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥＡＮＤＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において「ＡｄｖａｎｃｅｄＩｍａｇｉｎｇＡｃｑｕｉｓｉｔｉｏｎＭｏｄｕｌｅ」という見出しの下で説明されており、その開示は、参照によりその全体が本明細書に組み込まれる。

図２に示すように、一次ディスプレイ１１９は、手術台１１４のオペレータに見えるように滅菌野に配置される。加えて、可視化タワー１１１が、滅菌野の外に配置される。可視化タワー１１１は、互いに反対側を向いている第１非滅菌ディスプレイ１０７、及び第２非滅菌ディスプレイ１０９を備え得る。ハブ１０６によって誘導される可視化システム１０８は、ディスプレイ１０７、１０９及び１１９を利用して、滅菌野の内側及び外側のオペレータへの情報フローを調整するように構成されている。例えば、ハブ１０６は、可視化システム１０８に、一次ディスプレイ１１９上に手術部位のライブ映像を維持しながら、撮像デバイス１２４によって記録される手術部位のスナップショットを非滅菌ディスプレイ１０７又は１０９に表示させることができる。非滅菌ディスプレイ１０７又は１０９上のスナップショットにより、例えば、非滅菌オペレータが、外科処置に関連する診断ステップを実施し得る。

一態様では、ハブ１０６は、可視化タワー１１１にいる非滅菌オペレータによって入力された診断入力又はフィードバックを滅菌野内の一次ディスプレイ１１９に送り、これを手術台にいる滅菌オペレータが見ることができるようにも構成することができる。一例では、入力は、ハブ１０６によって一次ディスプレイ１１９に送ることができる、非滅菌ディスプレイ１０７又は１０９上に表示されるスナップショットへの修正の形態であり得る。

図２を参照すると、外科用器具１１２は、外科処置において外科用システム１０２の一部として使用されている。ハブ１０６はまた、外科用器具１１２のディスプレイへの情報フローを調整するようにも構成することができる。例えば、その開示が参照によりその全体が本明細書に組み込まれる、２０１８年１２月４日出願の「ＭＥＴＨＯＤＯＦＨＵＢＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥＡＮＤＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において。可視化タワー１１１にいる非滅菌オペレータによって入力される診断入力又はフィードバックは、ハブ１０６によって滅菌野内の外科用器具ディスプレイ１１５に送ることができ、これを外科用器具１１２のオペレータが見ることができる。手術用システム１０２で使用するために好適な例示的外科用器具については、例えば、２０１８年１２月４日出願の「ＭＥＴＨＯＤＯＦＨＵＢＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥＡＮＤＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において「ＳｕｒｇｉｃａｌＩｎｓｔｒｕｍｅｎｔＨａｒｄｗａｒｅ」という見出しの下で記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。

図２は、手術室１１６内の手術台１１４上に横たわっている患者に対して外科処置を実行するために使用されている外科用システム１０２の例を示す。ロボットシステム１１０は、外科処置において手術システム１０２の一部として使用され得る。ロボットシステム１１０は、外科医のコンソール１１８と、患者側カート１２０（手術ロボット）と、手術ロボットハブ１２２と、を含み得る。外科医が外科医のコンソール１１８を通して手術部位を見る間、患者側カート１２０は、患者の身体の低侵襲切開部を通して、少なくとも１つの着脱可能に連結された外科用ツール１１７を操作し得る。手術部位の画像は、撮像デバイス１２４の向きを変えるために、患者側カート１２０によって操作され得る医療撮像デバイス１２４によって取得され得る。ロボットハブ１２２を使用して、手術部位の画像を処理し、その後、外科医のコンソール１１８を通して、外科医に表示し得る。

他のタイプのロボットシステムが、外科用システム１０２と共に使用するように容易に適合され得る。本開示と共に使用するのに好適なロボットシステム及び外科用ツールの様々な例は、２０１８年１２月４日出願の「ＭＥＴＨＯＤＯＦＲＯＢＯＴＩＣＨＵＢＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＤＥＴＥＣＴＩＯＮ，ＡＮＤＣＯＮＴＲＯＬ」と題する米国特許出願公開第２０１９－０２０１１３７（Ａ１）号（米国特許出願第１６／２０９，４０７号）に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。

クラウド１０４によって実施され、本開示と共に使用するのに好適なクラウドベース分析法の様々な例は、２０１８年１２月４日出願の「ＭＥＴＨＯＤＯＦＣＬＯＵＤＢＡＳＥＤＤＡＴＡＡＮＡＬＹＴＩＣＳＦＯＲＵＳＥＷＩＴＨＴＨＥＨＵＢ」と題する米国特許出願公開第２０１９－０２０６５６９（Ａ１）号（米国特許出願第１６／２０９，４０３号）に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。

様々な態様では、撮像デバイス１２４は、少なくとも１つの画像センサと、１つ以上の光学構成要素と、を含み得る。好適な画像センサとしては、電荷結合素子（ＣＣＤ）センサ及び相補型金属酸化膜半導体（ＣＭＯＳ）センサを挙げることができるが、これらに限定されない。

撮像デバイス１２４の光学構成要素は、１つ以上の照明源、及び／又は１つ以上のレンズを含んでもよい。１つ以上の照明源は、術野の一部分を照明するように方向付けられてもよい。１つ以上の画像センサは、組織及び／又は外科用器具から反射又は屈折された光を含む、術野から反射又は屈折された光を受信することができる。

１つ以上の照明源は、可視スペクトル並びに不可視スペクトル内の電磁エネルギーを照射するように構成され得る。可視スペクトルは、場合によっては、光スペクトルや発光スペクトルとも称され、人間の目に見える（すなわち、人間の目によって検出することができる）電磁スペクトルの一部分であり、可視光、又は単に光と称されることがある。典型的な人間の目は、空気中の約３８０ｎｍ～約７５０ｎｍの波長に応答する。

不可視スペクトル（例えば、非発光スペクトル）は、可視スペクトルの下方及び上方に位置する（すなわち、約３８０ｎｍ未満及び約７５０ｎｍ超の波長の）電磁スペクトルの一部分である。不可視スペクトルは、人間の目で検出可能ではない。約７５０ｎｍを超える波長は、赤色可視スペクトルよりも長く、これらは不可視赤外線（ＩＲ）、マイクロ波及び無線電磁放射線になる。約３８０ｎｍ未満の波長は、紫色スペクトルよりも短く、これらは不可視紫外線、Ｘ線及びガンマ線電磁放射線になる。

様々な態様では、撮像デバイス１２４は、低侵襲性処置において使用するように構成されている。本開示と共に使用するために好適な撮像デバイスの例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃カメラ）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。

撮像装置は、トポグラフィーと下層構造とを区別するために、マルチスペクトルモニタリンスを採用してもよい。マルチスペクトル画像は、電磁スペクトル全体から特定の波長範囲内の画像データを取り込むものである。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、ＩＲ、及び紫外からの光を含む特定の波長に対する感度を有する器具を使用することによって分離することができる。スペクトル撮像により、人間の目がもつ赤、緑、青の受容体では取り込むことができない追加情報を抽出することが可能である。マルチスペクトル撮像の使用については、２０１８年１２月４日に出願された、「ＭＥＴＨＯＤＯＦＨＵＢＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥＡＮＤＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において、「ＡｄｖａｎｃｅｄＩｍａｇｉｎｇＡｃｑｕｉｓｉｔｉｏｎＭｏｄｕｌｅ」という見出しの下でより詳細に記載されており、その開示は、その全体が参照により本明細書に組み込まれる。マルチスペクトルモニタリングは、処置された組織に対して上述の試験のうちの１つ以上を実行するための手術タスクが完了した後に術野を再配置するのに有用なツールであり得る。いかなる外科手術においても、手術室及び手術機器の厳格な滅菌が必要であることは自明である。「手術現場」、すなわち、手術室又は処置室において要求される厳格な衛生条件及び滅菌条件は、全ての医療装置及び機器の可能な最も高い滅菌性を必要とする。滅菌プロセスの一部としては、撮像デバイス１２４並びにその付属品及び構成要素を含む、患者と接触する、又は滅菌野に侵入するあらゆるものを滅菌する必要性が挙げられる。滅菌野は、トレイ内又は滅菌タオル上などの微生物を含まないと見なされる特定の領域と見なされ得ること、あるいは滅菌野は、外科処置の準備が整った患者の直ぐ周囲の領域と見なされ得ることは理解されよう。滅菌野は、適切な衣類を着用した洗浄済みのチーム構成員、並びにその領域内の全ての備品及び固定具を含み得る。

ここで図３を参照すると、可視化システム１０８、ロボットシステム１１０及びハンドヘルド式インテリジェント外科用器具１１２と通信するハブ１０６が示されている。ハブ１０６は、ハブディスプレイ１３５、撮像モジュール１３８、発生器モジュール１４０、通信モジュール１３０、プロセッサモジュール１３２、ストレージアレイ１３４、及び手術室マッピングモジュール１３３を含む。特定の態様では、図３に示されるように、ハブ１０６は、排煙モジュール１２６及び／又は吸引／灌注モジュール１２８を更に含む。外科処置中、封止及び／又は切断のために、組織へエネルギーを印加することは、一般に、排煙、過剰な流体の吸引、及び／又は組織の灌注と関連付けられる。異なる供給源からの流体ライン、電力ライン及び／又はデータラインは、外科処置中に絡まり合うことが多い。外科処置中にこの問題に対処することで貴重な時間が失われる場合がある。ラインの絡まりをほどくには、それらの対応するモジュールからラインを抜くことが必要となる場合があり、そのためにはモジュールをリセットすることが必要となる場合がある。ハブモジュール式エンクロージャ１３６は、電力ライン、データライン、及び流体ラインを管理するための統合環境を提供し、このようなライン間の絡まりの頻度を低減させる。本開示の態様は、手術部位における組織へのエネルギー印加を伴う外科処置において使用するための外科用ハブを提示する。外科用ハブは、ハブエンクロージャと、ハブエンクロージャのドッキングステーション内に摺動可能に受容可能な組み合わせ発生器モジュールと、を含む。ドッキングステーションはデータ接点及び電力接点を含む。組み合わせ発生器モジュールは、単一ユニット内に収容された、超音波エネルギー発生器構成要素、双極ＲＦエネルギー発生器構成要素、及び単極ＲＦエネルギー発生器構成要素のうちの２つ以上を含む。一態様では、組み合わせ発生器モジュールはまた、排煙構成要素と、組み合わせ発生器モジュールを外科用器具に接続するための少なくとも１つのエネルギー供給ケーブルと、組織への治療エネルギーの印加によって発生した煙、流体及び／又は微粒子を排出するように構成された少なくとも１つの排煙構成要素と、リモート手術部位から排煙構成要素まで延在する流体ラインと、を含む。一態様では、上記の流体ラインは第１の流体ラインであり、第２の流体ラインは、遠隔手術部位から、ハブエンクロージャ内に摺動可能に受容される吸引及び灌注モジュールまで延在している。一態様では、ハブエンクロージャは、流体インターフェースを備える。一部特定の外科処置は、２つ以上のエネルギータイプを組織に印加することを必要とする場合がある。１つのエネルギータイプは、組織を切断するのにより有益であり得るが、別の異なるエネルギータイプは、組織を封止するのにより有益であり得る。例えば、双極発生器は組織を封止するために使用することができ、一方で、超音波発生器は封止された組織を切断するために使用することができる。本開示の態様は、ハブのモジュール式エンクロージャ１３６が様々な発生器を収容して、これらの間のインタラクティブ通信を促進するように構成されているという解決法を提示する。ハブモジュール式エンクロージャ１３６の利点の１つは、様々なモジュールの迅速な取り外し及び／又は交換を可能にすることである。本開示の態様は、組織へのエネルギー印加を伴う外科処置で使用するためのモジュール式外科用エンクロージャを提示する。モジュール式外科用エンクロージャは、組織に印加するための第１のエネルギーを発生させるように構成された第１のエネルギー発生器モジュールと、第１のデータ及び電力接点を含む第１のドッキングポートを備える第１のドッキングステーションと、を含み、第１のエネルギー発生器モジュールは、電力及びデータ接点と電気係合するように摺動可能に移動可能であり、また第１のエネルギー発生器モジュールは、第１の電力及びデータ接点との電気係合から外れるように摺動可能に移動可能である。上記に加えて、モジュール式外科用エンクロージャはまた、第１のエネルギーとは異なる、組織に印加するための第２のエネルギーを発生させるように構成された第２のエネルギー発生器モジュールと、第２のデータ接点及び第２の電力接点を含む第２のドッキングポートを備える第２のドッキングステーションと、を含み、第２のエネルギー発生器モジュールは、電力接点及びデータ接点と電気係合するように摺動可能に移動可能であり、また第２のエネルギー発生器モジュールは、第２の電力接点及び第２のデータ接点との電気係合から外れるように摺動可能に移動可能である。加えて、モジュール式外科用エンクロージャはまた、第１のエネルギー発生器モジュールと第２のエネルギー発生器モジュールとの間の通信を容易にするように構成されている、第１のドッキングポートと第２のドッキングポートとの間の通信バスを含む。図３を参照すると、発生器モジュール１４０、排煙モジュール１２６、及び吸引／灌注モジュール１２８のモジュール式統合を可能にするハブモジュール式エンクロージャ１３６に関する本開示の態様が提示される。ハブモジュール式エンクロージャ１３６は、モジュール１４０とモジュール１２６とモジュール１２８と間のインタラクティブ通信を更に促進する。発生器モジュール１４０は、ハブのモジュール式エンクロージャ１３６に摺動可能に挿入可能な単一のハウジングユニット内に支持される、一体化された単極構成要素、双極構成要素及び超音波構成要素を備える発生器モジュールであってもよい。発生器モジュール１４０は、単極デバイス１４２、双極デバイス１４４、及び超音波デバイス１４６に接続するように構成され得る。代替的に、発生器モジュール１４０は、ハブモジュール式エンクロージャ１３６を介して相互作用する一連の単極発生器モジュール、双極発生器モジュール、及び／又は超音波発生器モジュールを備えてもよい。複数の発生器が単一の発生器として機能するように、ハブモジュール式エンクロージャ１３６は、複数の発生器の挿入と、ハブモジュール式エンクロージャ１３６にドッキングされた発生器間の双方向通信と、を促進するように構成することができる。

図４は、医療施設の１つ以上の手術室、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置するモジュール式デバイスをクラウドベースのシステム（例えばストレージ装置２０５に連結されたリモートサーバ２１３を含み得るクラウド２０４）に接続するように構成されたモジュール式通信ハブ２０３を備える外科用データネットワーク２０１を示す。一態様では、モジュール式通信ハブ２０３は、ネットワークルータと通信するネットワークハブ２０７及び／又はネットワークスイッチ２０９を備える。モジュール式通信ハブ２０３は、ローカルコンピュータシステム２１０に結合して、ローカルコンピュータ処理及びデータ操作を提供することもできる。外科用データネットワーク２０１は、パッシブ、インテリジェント又は切り替え式として構成されてもよい。受動的外科用データネットワークはデータの導管として機能し、データが１つのデバイス（又はセグメント）から別の装置（又はセグメント）に、及びクラウドコンピューティングリソースに行くことを可能にする。インテリジェント手術データネットワークは、トラフィックが監視対象の手術データネットワークを通過することを可能にし、ネットワークハブ２０７又はネットワークスイッチ２０９内の各ポートを構成する追加の特徴部を含む。インテリジェント外科用データネットワークは、管理可能なハブ又はスイッチと称され得る。スイッチングハブは、各パケットの宛先アドレスを読み取り、次いでパケットを正しいポートに転送する。

手術室に配置されたモジュール式デバイス１ａ～１ｎは、モジュール式通信ハブ２０３に連結され得る。ネットワークハブ２０７及び／又はネットワークスイッチ２０９は、ネットワークルータ２１１に連結されて、装置１ａ～１ｎをクラウド２０４又はローカルコンピュータシステム２１０に接続することができる。デバイス１ａ～１ｎに関連付けられたデータは、リモートデータ処理及び操作のためにルータを介してクラウドベースのコンピュータに転送されてもよい。デバイス１ａ～１ｎに関連付けられたデータはまた、ローカルでのデータ処理及び操作のためにローカルコンピュータシステム２１０に転送され得る。同じ手術室に配置されたモジュール式デバイス２ａ～２ｍもまた、ネットワークスイッチ２０９に連結され得る。ネットワークスイッチ２０９は、ネットワークハブ２０７及び／又はネットワークルータ２１１に連結されて、装置２ａ～２ｍをクラウド２０４に接続することができる。装置２ａ～２ｎに関連付けられたデータは、データ処理及び操作のためにネットワークルータ２１１を介してクラウド２０４に転送されてもよい。デバイス２ａ～２ｍに関連付けられたデータはまた、ローカルでのデータ処理及び操作のためにローカルコンピュータシステム２１０に転送され得る。

複数のネットワークハブ２０７及び／又は複数のネットワークスイッチ２０９を複数のネットワークルータ２１１と相互接続することによって、外科用データネットワーク２０１が拡張され得ることが理解されるであろう。モジュール式通信ハブ２０３は、複数のデバイス１ａ～１ｎ／２ａ～２ｍを受け入れるように構成されたモジュール式制御タワー内に収容され得る。ローカルコンピュータシステム２１０はまた、モジュール式制御タワーに収容され得る。モジュール式通信ハブ２０３は、ディスプレイ２１２に接続されて、例えば外科処置中に、装置１ａ～１ｎ／２ａ～２ｍのうちのいくつかによって取得された画像を表示する。様々な態様では、装置１ａ～１ｎ／２ａ～２ｍとしては、外科用データネットワーク２０１のモジュール式通信ハブ２０３に接続され得るモジュール式装置の中でもとりわけ、例えば、内視鏡に連結された撮像モジュール１３８、エネルギーベースの外科用装置に連結された発生器モジュール１４０、排煙モジュール１２６、吸引／灌注モジュール１２８、通信モジュール１３０、プロセッサモジュール１３２、ストレージアレイ１３４、ディスプレイに連結された外科用装置、及び／又は非接触センサモジュールなどの様々なモジュールが挙げられ得る。

一態様では、外科用データネットワーク２０１は、装置１ａ～１ｎ／２ａ～２ｍをクラウドに接続する、ネットワークハブ、ネットワークスイッチ及びネットワークルータとの組み合わせを含んでもよい。ネットワークハブ又はネットワークスイッチに連結された装置１ａ～１ｎ／２ａ～２ｍのいずれか１つ又は全ては、リアルタイムでデータを収集し、データ処理及び操作のためにデータをクラウドコンピュータに転送することができる。クラウドコンピューティングは、ソフトウェアアプリケーションを取り扱うために、ローカルサーバ又はパーソナル装置を有するのではなく、コンピューティングリソースを共有することに依存することは理解されるであろう。「クラウド」という語は、「インターネット」の隠喩として使用され得るが、この用語はそのように限定はされない。したがって、「クラウドコンピューティング」という用語は、本明細書では「インターネットベースのコンピューティングのうちの１つのタイプ」を指すように使用され得、この場合、サーバ、ストレージ及びアプリケーションなど様々なサービスは、手術室（例えば、固定式、移動式、一時的又は現場の手術室又は空間）に配置されたモジュール式通信ハブ２０３及び／又はコンピュータシステム２１０に、並びにインターネットを介して、モジュール式通信ハブ２０３及び／又はコンピュータシステム２１０に接続されたデバイスに配信される。クラウドインフラストラクチャは、クラウドサービスプロバイダによって維持され得る。この文脈において、クラウドサービスプロバイダは、１つ以上の手術室内に位置するデバイス１ａ～１ｎ／２ａ～２ｍの使用及び制御を調整する事業体であり得る。クラウドコンピューティングサービスは、スマート外科用器具、ロボット及び手術室内に位置する他のコンピュータ化装置によって収集されたデータに基づいて多数の計算を実施することができる。ハブハードウェアは、複数のデバイス又は接続部がクラウドコンピューティングリソース及びストレージと通信するコンピュータに接続することを可能にする。

装置１ａ～１ｎ／２ａ～２ｍによって収集されたデータにクラウドコンピュータデータ処理技術を適用することで、外科用データネットワークは、外科的転帰の改善、コスト低減及び患者満足度の改善を提供することができる。組織の封止及び切断処置後に、組織の状態を観察して封止された組織の漏出又は灌流を評価するために、装置１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。クラウドベースのコンピューティングを使用して、身体組織のサンプルの画像を含むデータを診断目的で検査して疾患の影響などの病理を識別するために、装置１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。そのようなデータには、組織の位置特定及びマージン確認並びに表現型が含まれ得る。撮像装置と一体化された様々なセンサを使用し、かつ複数の撮像装置によって捕捉された画像をオーバーレイするなどの技術を使用して、身体の解剖学的構造を識別するために、装置１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。画像データを含む、装置１ａ～１ｎ／２ａ～２ｍによって収集されたデータは、画像処理及び操作を含むデータ処理及び操作のために、クラウド２０４若しくはローカルコンピュータシステム２１０又はその両方に転送されてもよい。データは、組織特異的部位及び状態に対する内視鏡的介入、新興技術、標的化放射線、標的化介入及び精密ロボットの適用などの更なる治療を遂行できるかを判定することによって、外科処置の結果を改善するために分析されてもよい。こうしたデータ分析は、予後分析処理を更に用いてもよく、標準化された手法を使用することは、外科的治療及び外科医の挙動を確認するか、又は外科的治療及び外科医の挙動に対する修正を提案するかのいずれかのために有益なフィードバックを提供することができる。

手術室装置１ａ～１ｎは、ネットワークハブに対する装置１ａ～１ｎの構成に応じて有線チャネル又は無線チャネルを介して、モジュール式通信ハブ２０３に接続されてもよい。ネットワークハブ２０７は、一態様では、開放型システム間相互接続（Open System Interconnection、ＯＳＩ）モデルの物理層上で機能するローカルネットワークブロードキャストデバイスとして実装され得る。ネットワークハブは、同じ手術室ネットワーク内に位置する装置１ａ～１ｎに接続性を提供することができる。ネットワークハブ２０７は、パケットの形態のデータを収集し、それらを半二重モードでルータに送信し得る。ネットワークハブ２０７は、デバイスデータを転送するためにいずれの媒体アクセス制御／インターネットプロトコル（media access control、ＭＡＣ／Internet Protocol、ＩＰ）も記憶することができない。デバイス１ａ～１ｎのうちの１つのみが、ネットワークハブ２０７を介して一度にデータを送信し得る。ネットワークハブ２０７は、情報の送信先に関するルーティングテーブル又はインテリジェンスを有することができず、全てのネットワークデータを各コネクション全体及びクラウド２０４上のリモートサーバ２１３（図４）にブロードキャストする。ネットワークハブ２０７は、コリジョンなど基本的なネットワークエラーを検出することができるが、全ての情報を複数のポートにブロードキャストすることは、セキュリティリスクとなり、ボトルネックを引き起こすおそれがある。

手術室デバイス２ａ～２ｍは、有線チャネル又は無線チャネルを介してネットワークスイッチ２０９に接続され得る。ネットワークスイッチ２０９は、ＯＳＩモデルのデータリンク層内で機能する。ネットワークスイッチ２０９は、同一手術室内に配置されたデバイス２ａ～２ｍをネットワークに接続するためのマルチキャストデバイスであり得る。ネットワークスイッチ２０９は、フレームの形態のデータをネットワークルータ２１１に送信することができ、全二重モードで機能する。複数のデバイス２ａ～２ｍは、ネットワークスイッチ２０９を介して同時にデータを送信し得る。ネットワークスイッチ２０９は、データを転送するためにデバイス２ａ～２ｍのＭＡＣアドレスを記憶し、使用する。

ネットワークハブ２０７及び／又はネットワークスイッチ２０９は、クラウド２０４に接続するためにネットワークルータ２１１に連結され得る。ネットワークルータ２１１は、ＯＳＩモデルのネットワーク層内で機能する。ネットワークルータ２１１は、装置１ａ～１ｎ／２ａ～２ｍのいずれか１つ又は全てによって収集されたデータを更に処理及び操作するために、ネットワークハブ２０７及び／又はネットワークスイッチ２１１から受信したデータパケットをクラウドベースのコンピュータリソースに送信するための経路を作成する。ネットワークルータ２１１は、例えば、同一医療施設の異なる手術室、又は異なる医療施設の異なる手術室に配置された異なるネットワークなど、異なる位置に配置された２つ以上の異なるネットワークを接続するために利用され得る。ネットワークルータ２１１は、パケットの形態のデータをクラウド２０４に送信でき、全二重モードで機能する。複数の装置が同時にデータを送信することができる。ネットワークルータ２１１は、データを転送するためにＩＰアドレスを使用する。

一実施例では、ネットワークハブ２０７は、複数のＵＳＢデバイスをホストコンピュータに接続することを可能にするＵＳＢハブとして実装され得る。ＵＳＢハブは、デバイスをホストシステムコンピュータに接続するために利用可能なポートが多くなるように、単一のＵＳＢポートをいくつかの階層に拡張することができる。

ネットワークハブ２０７は、有線チャネル又は無線チャネルを介して情報を受信するための有線機能又は無線機能を含み得る。一態様では、無線ＵＳＢ短距離高帯域無線通信プロトコルが、手術室内に位置する装置１ａ～１ｎと装置２ａ～２ｍとの間の通信のために用いられてもよい。

例では、手術室装置１ａ～１ｎ／２ａ～２ｍは、固定及びモバイル装置から短距離にわたってデータを交換し（２．４～２．４８５ＧＨｚのＩＳＭ帯域における短波長ＵＨＦ電波を使用して）、かつパーソナルエリアネットワーク（ＰＡＮ）を構築するために、Ｂｌｕｅｔｏｏｔｈ無線技術規格を介してモジュール式通信ハブ２０３と通信することができる。手術室デバイス１ａ～１ｎ／２ａ～２ｍは、いくつかの無線通信規格若しくは有線通信規格又はプロトコルを介してモジュール式通信ハブ２０３と通信してもよく、このような規格又はプロトコルとしては、Ｗｉ－Ｆｉ（ＩＥＥＥ８０２．１１ファミリ）、ＷｉＭＡＸ（ＩＥＥＥ８０２．１６ファミリ）、ＩＥＥＥ８０２．２０、無線（new radio、ＮＲ）、ロングタームエボリューション（long-term evolution、ＬＴＥ）、並びにＥｖ－ＤＯ、ＨＳＰＡ＋、ＨＳＤＰＡ＋、ＨＳＵＰＡ＋、ＥＤＧＥ、ＧＳＭ、ＧＰＲＳ、ＣＤＭＡ、ＴＤＭＡ、ＤＥＣＴ、及びこれらのイーサネット派生物のみならず３Ｇ、４Ｇ、５Ｇ、及びそれ以降と指定される任意の他の無線プロトコル及び有線プロトコルが挙げられるが、これらに限定されない。

コンピューティングモジュールは、複数の通信モジュールを含んでもよい。例えば、第１の通信モジュールは、Ｗｉ－Ｆｉ及びＢｌｕｅｔｏｏｔｈなどのより短距離の無線通信専用であってもよく、第２の通信モジュールは、ＧＰＳ、ＥＤＧＥ、ＧＰＲＳ、ＣＤＭＡ、ＷｉＭＡＸ、ＬＴＥ、Ｅｖ－ＤＯなどのより長距離の無線通信専用であってもよい。

モジュール式通信ハブ２０３は、手術室装置１ａ～１ｎ／２ａ～２ｍの１つ又は全ての中央接続部として機能することができ、フレームとして知られるデータ型を取り扱える。フレームは、装置１ａ～１ｎ／２ａ～２ｍによって生成されたデータを搬送できる。フレームがモジュール式通信ハブ２０３によって受信されると、フレームは増幅されてネットワークルータ２１１へ送信され、ネットワークルータ２１１は本明細書に記載されるように、数多くのワイヤレス又は有線通信規格又はプロトコルを使用することによって、このデータをクラウドコンピューティングリソースに転送する。

モジュール式通信ハブ２０３は、スタンドアロンデバイスとして使用され得るか、又はより大きなネットワークを形成するために互換性のあるネットワークハブ及びネットワークスイッチに接続され得る。モジュール式通信ハブ２０３は、概して設置、構成、及び維持が容易であるため、手術室デバイス１ａ～１ｎ／２ａ～２ｍをネットワーク形成するための良好な選択肢となり得る。

図５は、コンピュータ実装インタラクティブ外科用システム２００を示す。コンピュータ実装インタラクティブ外科用システム２００は、多くの点で、コンピュータ実装インタラクティブ外科用システム１００と類似している。例えば、コンピュータ実装インタラクティブ外科用システム２００は、多くの点で外科用システム１０２と類似する１つ又は２つ以上の外科用システム２０２を含む。各外科用システム２０２は、リモートサーバ２１３を含み得るクラウド２０４と通信する少なくとも１つの外科用ハブ２０６を含む。一態様では、コンピュータ実装インタラクティブ外科用システム２００は、例えば、インテリジェント外科用器具、ロボット及び手術室内に位置する他のコンピュータ化装置などの複数の手術室装置に接続されたモジュール式制御タワー２３６を備える。図６に示すように、モジュール式制御タワー２３６は、コンピュータシステム２１０に連結されたモジュール式通信ハブ２０３を備える。

図５の実施例に示すように、モジュール式制御タワー２３６は、内視鏡２３９に連結され得る撮像モジュール２３８、エネルギー装置２４１に連結され得る発生器モジュール２４０、排煙器モジュール２２６、吸引／灌注モジュール２２８、通信モジュール２３０、プロセッサモジュール２３２、ストレージアレイ２３４、任意選択的にディスプレイ２３７に連結されたスマート装置／器具２３５及び非接触センサモジュール２４２に連結され得る。手術室デバイスは、モジュール式制御タワー２３６を介してクラウドコンピューティングリソース及びデータストレージに連結され得る。ロボットハブ２２２もまた、モジュール式制御タワー２３６及びクラウドコンピューティングリソースに接続されてもよい。とりわけ、装置／器具２３５、可視化システム２０８が、本明細書に記載されるように、有線又は無線通信規格又はプロトコルを介して、モジュール式制御タワー２３６に連結されてもよい。モジュール式制御タワー２３６は、撮像モジュール、装置／器具ディスプレイ及び／又は他の可視化システム２０８から受信した画像を表示及びオーバーレイするためにハブディスプレイ２１５（例えば、モニタ、スクリーン）に連結されてもよい。ハブディスプレイはまた、モジュール式制御タワーに接続されたデバイスから受信されたデータを、画像及び重ね合わせられた画像と共に表示してもよい。

図６は、モジュール式制御タワー２３６に連結された複数のモジュールを備える外科用ハブ２０６を示す。モジュール式制御タワー２３６は、例えばネットワーク接続装置などのモジュール式通信ハブ２０３と、例えばローカルでの処理、可視化及び撮像を行うためのコンピュータシステム２１０と、を備え得る。図６に示すように、モジュール式通信ハブ２０３は、モジュール式通信ハブ２０３に接続されてもよいモジュール（例えば、装置）の数を拡張するために階層化構成で接続されて、モジュールに関連付けられたデータをコンピュータシステム２１０、クラウドコンピューティングリソース、又はその両方に転送してもよい。図６に示すように、モジュール式通信ハブ２０３内のネットワークハブ／スイッチの各々は、３つの下流ポート及び１つの上流ポートを含み得る。上流のネットワークハブ／スイッチは、クラウドコンピューティングリソース及びローカルディスプレイ２１７への通信接続を提供するためにプロセッサに接続され得る。クラウド２０４への通信は、有線通信チャネル又は無線通信チャネルのいずれかを介して行うことができる。

手術用ハブ２０６は、手術室の寸法を測定し、超音波非接触測定デバイス又はレーザタイプ非接触測定デバイスのいずれかを使用して手術室のマップを生成するために、非接触センサモジュール２４２を利用し得る。超音波ベースの非接触センサモジュールは、その全体が参照により本明細書に組み込まれる、２０１８年１２月４日に出願された「ＭＥＴＨＯＤＯＦＨＵＢＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥＡＮＤＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において「ＳｕｒｇｉｃａｌＨｕｂＳｐａｔｉａｌＡｗａｒｅｎｅｓｓＷｉｔｈｉｎａｎＯｐｅｒａｔｉｎｇＲｏｏｍ」という見出しで記載されているように、超音波のバーストを送信し、それが手術室の周囲壁から跳ね返るときのエコーを受信することによって、手術室をスキャンすることができ、センサモジュールは、手術室のサイズを決定し、Ｂｌｕｅｔｏｏｔｈペアリング距離限界を調節するように構成される。レーザベースの非接触センサモジュールは、例えば、レーザ光パルスを送信し、手術室の周囲壁から跳ね返るレーザ光パルスを受信し、送信されたパルスの位相を受信したパルスと比較することによって手術室を走査でき、手術室のサイズを判定し、Ｂｌｕｅｔｏｏｔｈペアリング距離限界を調整する。

コンピュータシステム２１０は、プロセッサ２４４と、ネットワークインターフェース２４５と、を備え得る。プロセッサ２４４は、システムバスを介して、通信モジュール２４７、記憶デバイス２４８、メモリ２４９、不揮発性メモリ２５０、及び入力／出力インターフェース２５１に連結されていてもよい。システムバスは、任意の様々な利用可能なバスアーキテクチャを使用する、メモリバス若しくはメモリコントローラ、ペリフェラルバス若しくは外部バス、及び／又はローカルバスを含むいくつかのタイプのバス構造（複数可）のうちのいずれかとすることができ、それらのアーキテクチャの例としては、９ビットバス、業界標準アーキテクチャ（Industrial Standard Architecture、ＩＳＡ）、マイクロチャネルアーキテクチャ（Micro-Charmel Architecture、ＭＳＡ）、拡張ＩＳＡ（Extended ISA、ＥＩＳＡ）、インテリジェントドライブエレクトロニクス（Intelligent Drive Electronics、ＩＤＥ）、ＶＥＳＡローカルバス（VESA Local Bus、ＶＬＢ）、周辺装置相互接続（Peripheral Component Interconnect、ＰＣＩ）、ＵＳＢ、アドバンスドグラフィックスポート（Advanced Graphics Port、ＡＧＰ）、パーソナルコンピュータメモリカード国際協会バス（Personal Computer Memory Card International Association、ＰＣＭＣＩＡ）、小型計算機システムインターフェース（Small Computer Systems Interface、ＳＣＳＩ）、又は任意の他の独自バスが挙げられるが、これらに限定されない。

プロセッサ２４４は、ＴｅｘａｓＩｎｓｔｒｕｍｅｎｔｓ製のＡＲＭＣｏｒｔｅｘの商品名で知られているものなど、任意のシングルコア又はマルチコアプロセッサであり得る。一態様では、プロセッサは、例えば、ＴｅｘａｓＩｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ４Ｆ２３０Ｈ５ＱＲＡＲＭＣｏｒｔｅｘ－Ｍ４Ｆプロセッサコアであってもよい。このプロセッサコアは、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルシリアルランダムアクセスメモリ（ＳＲＡＭ）、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部読み出し専用メモリ（ＲＯＭ）、２ＫＢの電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）及び／又は、１つ以上のパルス幅変調（ＰＷＭ）モジュール、１つ以上の直交エンコーダ入力（ＱＥＩ）アナログ、１２個のアナログ入力チャネルを備える１つ以上の１２ビットアナログ－デジタル変換器（ＡＤＣ）を含む。なお、その詳細は、製品データシートで入手可能である。

一態様では、プロセッサ２４４は、同じくＴｅｘａｓＩｎｓｔｒｕｍｅｎｔｓ製のＨｅｒｃｕｌｅｓＡＲＭＣｏｒｔｅｘＲ４の商品名で知られるＴＭＳ５７０及びＲＭ４ｘなどの２つのコントローラベースのファミリを含む安全コントローラを含んでもよい。安全コントローラは、拡張性のある性能、接続性及びメモリの選択肢を提供しながら、高度な集積型安全機構を提供するために、とりわけ、ＩＥＣ６１５０８及びＩＳＯ２６２６２の安全限界用途専用に構成されてもよい。

システムメモリとしては、揮発性メモリ及び不揮発性メモリを挙げることができる。起動中などにコンピュータシステム内の要素間で情報を転送するための基本ルーチンを含む基本入出力システム（ＢＩＯＳ）は、不揮発性メモリに記憶される。例えば、不揮発性メモリとしては、ＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、ＥＥＰＲＯＭ又はフラッシュメモリが挙げられ得る。揮発性メモリとしては、外部キャッシュメモリとして機能するランダムアクセスメモリ（ＲＡＭ）が挙げられる。更に、ＲＡＭは、ＳＲＡＭ、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（ＳＬＤＲＡＭ）及びダイレクトランバスＲＡＭ（ＤＲＲＡＭ）などの多くの形態で利用可能である。

コンピュータシステム２１０はまた、取り外し可能／取り外し不可能な揮発性／不揮発性のコンピュータストレージ媒体、例えばディスクストレージなどを含み得る。ディスク記憶装置としては、磁気ディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ－６０ドライブ、フラッシュメモリカード又はメモリスティックのような装置を挙げることができるが、これらに限定されない。加えて、ディスク記憶装置は、上記の記憶媒体を、独立して、又は他の記憶媒体との組み合わせで含むことができる。他の記憶媒体としては、コンパクトディスクＲＯＭ装置（ＣＤ－ＲＯＭ）、コンパクトディスク記録可能ドライブ（ＣＤ－Ｒドライブ）、コンパクトディスク書き換え可能ドライブ（ＣＤ－ＲＷドライブ）若しくはデジタル多用途ディスクＲＯＭドライブ（ＤＶＤ－ＲＯＭ）などの光ディスクドライブが挙げられるがこれらに限定されない。ディスク記憶装置のシステムバスへの接続を容易にするために、取り外し可能な又は取り外し不可能なインターフェースが用いられてもよい。

コンピュータシステム２１０は、好適な動作環境において、記載したユーザと基本コンピュータリソースとの間で媒介として機能するソフトウェアを含み得ることを理解されたい。このようなソフトウェアとしてはオペレーティングシステムを挙げることができる。ディスク記憶装置上に記憶され得るオペレーティングシステムは、コンピュータシステムのリソースを制御及び割り当てするように機能し得る。システムアプリケーションは、システムメモリ内又はディスク記憶装置上のいずれかに記憶されたプログラムモジュール及びプログラムデータを介して、オペレーティングシステムによるリソース管理を活用し得る。本明細書に記載される様々な構成要素は、様々なオペレーティングシステム又はオペレーティングシステムの組み合わせで実装することができることを理解されたい。

ユーザは、Ｉ／Ｏインターフェース２５１に連結された入力デバイスを介してコンピュータシステム２１０にコマンド又は情報を入力し得る。入力装置としては、マウス、トラックボール、スタイラス、タッチパッドなどのポインティング装置、キーボード、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、ＴＶチューナカード、デジタルカメラ、デジタルビデオカメラ、ウェブカメラなどを挙げることができるが、これらに限定されない。これら及び他の入力装置は、インターフェースポートを介し、システムバスを通じてプロセッサに接続する。インターフェースポートとしては、例えば、シリアルポート、パラレルポート、ゲームポート及びＵＳＢが挙げられる。出力装置は、入力装置と同じタイプのポートのうちのいくつかを使用する。したがって、例えば、ＵＳＢポートを使用して、コンピュータシステムに入力を提供し、コンピュータシステムからの情報を出力装置に出力してもよい。出力アダプタは、特別なアダプタを必要とし得る出力装置の中でもとりわけ、モニタ、ディスプレイ、スピーカ及びプリンタなどのいくつかの出力装置が存在できることを示すために提供され得る。出力アダプタとしては、出力装置とシステムバスとの間の接続手段を提供するビデオ及びサウンドカードを挙げることができるが、これは例示としてのものであり、限定するものではない。リモートコンピュータなどの他の装置及び／又は装置のシステムは、入力及び出力機能の両方を提供できることに留意されたい。

コンピュータシステム２１０は、クラウドコンピュータなどの１つ以上のリモートコンピュータ、又はローカルコンピュータへの論理接続を使用するネットワーク化環境で動作し得る。リモートクラウドコンピュータは、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ワークステーション、マイクロプロセッサベースの機器、ピア装置又は他の一般的なネットワークノードなどであり得るが、典型的には、コンピュータシステムに関して説明される要素の多く又は全てを含む。簡潔にするために、リモートコンピュータと共に、メモリストレージ装置のみが示される。リモートコンピュータは、ネットワークインターフェースを介してコンピュータシステムに論理的に接続され、続いて、通信接続部を介して物理的に接続され得る。ネットワークインターフェースは、ローカルエリアネットワーク（ＬＡＮ）及びワイドエリアネットワーク（ＷＡＮ）などの通信ネットワークを包含し得る。ＬＡＮ技術としては、光ファイバ分散データインターフェース（ＦＤＤＩ）、銅線分散データインターフェース（ＣＤＤＩ）、Ｅｔｈｅｒｎｅｔ／ＩＥＥＥ８０２．３、ＴｏｋｅｎＲｉｎｇ／ＩＥＥＥ８０２．５などを挙げることができる。ＷＡＮ技術は、ポイントツーポイントリンク、
統合サービスデジタルネットワーク（Integrated Services Digital Networks、ＩＳＤＮ）及びその変形のような回線交換ネットワーク、パケット交換ネットワーク、及びデジタル加入者線（Digital Subscriber Lines、ＤＳＬ）を含んでもよいが、これらに限定されない。

様々な態様では、図６のコンピュータシステム２１０、図５、図６の撮像モジュール２３８、及び／又は可視化システム２０８、及び／又はプロセッサモジュール２３２は、画像プロセッサ、画像処理エンジン、メディアプロセッサ、又はデジタル画像の処理に使用される任意の専用デジタル信号プロセッサ（ＤＳＰ）を含んでもよい。画像プロセッサは、単一命令複数データ（ＳＩＭＤ）、又は複数命令複数データ（ＭＩＭＤ）技術を用いた並列コンピューティングを用いて速度及び効率を高めることができる。デジタル画像処理エンジンは、様々なタスクを実施することができる。画像プロセッサは、マルチコアプロセッサアーキテクチャを備えるチップ上のシステムであってもよい。

通信接続部（複数可）とは、ネットワークインターフェースをバスに接続するために用いられるハードウェア／ソフトウェアを指してもよい。例示的な明瞭さのため通信接続部は、コンピュータシステム内部に示されているが、通信接続部は、コンピュータシステム２１０の外部にあってもよい。例示のみを目的として、ネットワークインターフェースへの接続に必要なハードウェア／ソフトウェアとしては、通常の電話グレードモデム、ケーブルモデム及びＤＳＬモデムを含むモデム、ＩＳＤＮアダプタ並びにイーサネットカードなどの内部及び外部技術を挙げることができる。

図７は、例示的手術シミュレータシステムのブロック図である。手術シミュレータシステムは、シミュレーションデバイス３００００を含み得る。手術シミュレータシステムは、アプリケーション作成デバイス３０００２、ヒューマンインターフェースデバイス３０００４、外科医エージェントデバイス３０００６、及び／又は手術データシステム３０００８を含み得る。

シミュレーションデバイス３００００は、コアシミュレーション機能を提供し得る。例えば、１つ以上のシミュレーションのロード／実行、ユーザ制御情報入力の受信及び処理、視覚、聴覚、及び／又は触覚情報出力の生成及び送信、シミュレーション動作及び活動情報の収集、並びに一次シミュレーションサイクル処理は、シミュレーションデバイス３００００によって実行され得る。

アプリケーション作成デバイス３０００２は、シミュレーション作成機能を提供し得る。個々のシミュレーションアプリケーションは、アプリケーションモジュール３００１０としてシミュレーションデバイス３００００に記憶され得る。アプリケーションモジュール３００１０は、アプリケーション作成デバイス３０００２によって作成、変更、及び／又は削除され得る。アプリケーションモジュール３００１０は、シミュレーションデバイス３００００の動作を指示するコンピュータ可読命令及び／又は実行可能命令を含み得る。例えば、アプリケーションモジュール３００１０は、情報を記憶して手術シミュレーションを実行するのに好適な任意のファイルタイプ、例えば、シミュレーションスクリプト、プログラミングコード、拡張マークアップ言語（Extensible Markup Language、ＸＭＬ）ファイルなど構造データファイル、データベースファイルなどを含み得る。

アプリケーション作成デバイス３０００２は、アプリケーションモジュール３００１０を作成するための制御部を伴うグラフィカルユーザインターフェースを含み得る。アプリケーション作成デバイス３００２は、シミュレーションデバイス３００００と通信して、シミュレーション動作のためにアプリケーションモジュール３００１０を検索、変更、及び／又はロードすることができる。例えば、グラフィカルユーザインターフェースは、ユーザがシミュレーション活動を選択し、様々なシミュレーションパラメータを入力し、シミュレーション目的を設定し、シミュレーションの実行を確認することを可能にするインターフェース構造を含み得る。

アプリケーション作成デバイス３０００２は、スタンドアロンデバイスとして提供され得、及び／又は、例えばシミュレーションデバイス３００００と統合されるなど、手術シミュレーションシステムの１つ以上の他のデバイスと統合され得る。

ヒューマンインターフェースデバイス３０００４は、人間のユーザがシミュレーションデバイス３００００によって提供されるシミュレーションと相互作用することを可能にする、任意のハードウェア、ソフトウェア、及び／又はそれらの組み合わせを含み得る。ヒューマンインターフェースデバイス３０００４は、ユーザがシミュレーションデバイス３０００００に制御入力を提供すること、及び／又はシミュレーションデバイス３００００から出力情報（視覚、聴覚、及び／又は触覚情報など）を受信することを可能にし得る。一実施例では、ヒューマンインターフェースデバイス３０００４は、従来のデスクトップコンピュータを含み得る。

ヒューマンインターフェースデバイス３０００４は、好適な物理的機器を含み得る。例えば、ヒューマンインターフェースデバイス３０００４は、外科処置の態様を物理的に、及び／又は仮想的に模倣する物理的機器を含み得る。例えば、そのような機器としては、卓上ユニット、部分タスク仮想現実ユニット、高忠実度仮想現実ユニット、高忠実度フルサイズ患者ユニット、スイートユニット、高忠実度フル手術室ユニット、フル物理仮想現実ユニット、手術ロボットコンソールユニットなどが挙げられ得る。例えば、ヒューマンインターフェースデバイス３０００４は、Ｇａｌｌａｇｅｒｅｔａｌ，「ＳｉｍｕｌａｔｉｏｎｓｆｏｒＰｒｏｃｅｄｕｒａｌＴｒａｉｎｉｎｇ」，ＦｕｎｄａｍｅｎｔａｌｓｏｆＳｕｒｇｉｃａｌＳｉｍｕｌａｔｉｏｎ，ＰｒｉｎｃｉｐｌｅｓａｎｄＰｒａｃｔｉｃｅ，Ｓｐｒｉｎｇｅｒ（２０１２）によって開示されるコンピュータベースのシミュレータインターフェースなどデバイスを含み得る。

ヒューマンインターフェースデバイス３０００４は、外科用器具を物理的に、及び／又は仮想的に模倣する物理的機器を含み得る。例えば、ヒューマンインターフェースデバイス３０００４は、トロカール、ハンドアクセスポート、気腹針、及びガイドシースなどアクセス機器など外科用器具（instruments）、器具（appliances）、及び消耗品を模倣する物理的デバイス；パッチ、ゼラチン、及び粉末など補助止血剤；伸延具及びプレートなど頭蓋顎顔面器具；バルーン及びインフレータ；診断カテーテル、アクセスカテーテル、血管カテーテル、及び治療カテーテルなどカテーテル；組織シーラー、剪断機、ブレード、及び鉗子などエネルギー封止及び解剖用デバイス；引き下げワイヤ、圧縮ねじ、プレート、インプラント、ドリル、バー、ロッド、及びコネクタなど整形外科用器具；切開及び内視鏡クリップアプライヤなど結紮具；マイクロ波アブレーション機器；ドレーン、縫合糸、結紮糸、持針器、回収器、及び縫合クリップなど補助内視鏡器具；オープンステープラ、内視鏡ステープラ、カッターステープラ、電動ステープラ、円形ステープラ、血管用ステープラ、線形ステープラ、ステープルカートリッジ、及びステープルライン補強アプリケータなど外科用ステープル留め機器；縫合糸、接着剤、針、及び結び目のない組織制御デバイスなど創傷閉鎖材料；低侵襲撮像デバイスなど撮像装置などを含み得る。例えば、ヒューマンインターフェースデバイス３０００４は、仮想現実ヘッドセットを用いて動作すると、上記で開示されたものなど外科用器具（instruments）、器具（appliances）、及び消耗品を模倣する、仮想現実ハンドヘルドコントローラを含み得る。

ヒューマンインターフェースデバイス３０００４は、シミュレーションの視覚表現をユーザに伝達するディスプレイを含み得る。ヒューマンインターフェースデバイス３０００４は、コンピュータディスプレイを含み得る。ヒューマンインターフェースデバイス３０００４は、仮想現実ヘッドセットディスプレイを含み得る。例えば、仮想現実ヘッドセットディスプレイは、本明細書の図２に開示されるものなど手術環境を表示するために使用され得る。そのような仮想現実ヘッドセットディスプレイを有するユーザは、例えば、患者、ロボットシステム１１０、外科医のコンソール１１８、手術ロボットハブ１２２、１つ以上の外科用ツール１１７、撮像デバイス１２４、患者側カート１２０、１つ以上のディスプレイ１１９、１０７、１０９など、外科手術室１１６内の要素のうちのいずれかを視認し得る、及び／又はいずれかと相互作用し得る。

ヒューマンインターフェースデバイス３０００６は、外科医の視点を表す視覚情報を提示し得る。ヒューマンインターフェースデバイス３０００６は、関節鏡、血管内視鏡、気管支鏡、胆道鏡、大腸内視鏡、サイトスコープ、十二指腸内視鏡、腸鏡、消化管内視鏡（胃鏡）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡（nasopharyngo-neproscope）、Ｓ状結腸鏡、胸腔鏡、尿管鏡、及びそれらの関連器具、制御部など模擬撮像デバイスからの視覚情報を提示し得る。ヒューマンインターフェースデバイス３０００６は、コンピュータ断層撮影（computed tomography、ＣＴ）ユニット、磁気共鳴撮像（magnetic resonance imaging、ＭＲＩ）ユニット、画像誘導手術ユニット、術中超音波ユニットなど模擬補助術中撮像機器；蛍光透視ユニットなどからの視覚情報を提示し得る。そのような視点視覚情報、手術撮像情報、及び補足術中撮像情報は、シミュレーションの動作に好適な任意の組み合わせでユーザに表示され得る。例えば、そのような情報は、単一のフルスクリーンビュー、タイルウィンドウビュー、ピクチャインピクチャビューとしてユーザに提示され得るか、又は仮想現実ビューの模擬ディスプレイユニットに登録され得る。

ヒューマンインターフェースデバイス３０００４は、物理及び／又は仮想現実手術ロボット外科医コンソールを含み得る。例えば、例示的外科医コンソール様ヒューマンインターフェースデバイス３０００４は、立体視ディスプレイなどディスプレイと、ハンドヘルドマニピュレータ、フットペダルなどを含む制御入力と、を含み得る。例えば、外科医コンソール様ヒューマンインターフェースデバイス３０００４は、本明細書に開示される外科医のコンソール１１８のインターフェースを含み得る。ヒューマンインターフェースデバイス３０００４は、例えば、マイクロフォン及び音声認識機能によって音声制御を可能にし得る。ヒューマンインターフェースデバイス３０００４は、例えばスピーカによって可聴フィードバックを提供し得る。ヒューマンインターフェースデバイス３０００４は、例えば、振動、力フィードバック、ボルテックスリング、及び超音波技法によって触覚フィードバックを提供し得る。

実装される場合、ヒューマンインターフェースデバイス３０００４は、スタンドアロンデバイスとして設けられ得、及び／又は、例えばシミュレーションデバイス３００００と統合されるなど、手術シミュレーションシステムの１つ以上の他のデバイスと統合され得る。シミュレーションデバイス３００００は、ヒューマンインターフェースデバイス３０００４と通信するためのインターフェースモジュール３００１２を含み得る。一実施例では、ヒューマンインターフェースデバイス３０００４は、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素に統合され得る。例えば、ヒューマンインターフェースデバイス３０００４は、コンピュータシステム２１０に統合され得る。例えば、ヒューマンインターフェースデバイス３０００４は、ハブ１０６に統合され得る。例えば、ヒューマンインターフェースデバイス３０００４は、視覚化システム１０８に統合され得る。インターフェースモジュール３００１２は、例えば、手術データシステムインターフェースモジュール３００１４を介してコンピュータ実装インタラクティブ手術システム１００の１つ以上の要素と通信し得る。

一実施形態では、２つ以上のヒューマンインターフェースデバイス３０００４がシミュレーションデバイス３００００と同時に連動し得る。例えば、多人数シミュレーションアプリケーション

外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００の入力及び出力に対するコンピュータベースの制御及び応答を提供するのに好適な任意のハードウェア及び／又はソフトウェアを含み得る。外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００への人間の入力を模倣するコンピュータ処理を含み得る。例えば、外科医エージェントデバイス３０００６は、基本的な器具操作など制御入力を記録し、登録することが可能であり得る。外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００の入力／出力アプリケーションプログラミングインターフェース（application programming interface、ＡＰＩ）にアクセスすることができる、コンピュータ処理を含み得る。例えば、ＡＰＩは、外科医エージェントデバイス３００６に従って指示され得る１つ以上の入力／出力機能を明らかにし得る。機能は、機器の位置及び動きを直接制御する機能など粒度の細かい操作及び物理ベースの入力／出力機能を含み得る。機能は、結紮活動、縫合活動、ステープル留め活動などより粒度の粗い活動ベースの入力／出力機能を含み得る。機能は、外科的アクセス機能、臓器授動機能などより粒度の粗い外手術タスク及び／又はステージベースの入力／出力機能を含み得る。各機能は、粒度のレベルと一致するパラメータを含み得る。パラメータは、シミュレーション内での機能の動作を指示するための特定の詳細を提供し得る。外科医エージェント３０００６は、複数のシミュレーション実行を生成し、操作するための機能を含み得る。例えば、ユーザは、様々な縫合技法の持続時間を推定することを望む場合がある。外科医エージェントデバイス３０００６は、任意の数の異なる技法のシミュレーションを計画するために使用され得、そのそれぞれは、シミュレーションデバイスを介して実行され得、シミュレーションデバイスによって収集されたメトリックは、持続時間の差異を推定するために使用され得る。

外科医エージェントデバイス３０００６は、スタンドアロンデバイスとして提供され得、及び／又は、例えばシミュレーションデバイス３００００と統合されるなど、手術シミュレーションシステムの１つ以上の他のデバイスと統合され得る。シミュレーションデバイス３００００は、外科医エージェントデバイス３０００６と通信するためのインターフェースモジュール３００１２を含み得る。例えば、外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００のモジュールとして統合され得る。例えば、外科医エージェントデバイス３０００６は、シミュレーションデバイスのアプリケーションモジュール３００１０に統合され得る。

手術データシステム３０００８は、外部の構造化された手術情報及び機能をシミュレーションデバイス３００００に提供するのに好適な任意のハードウェア及び／又はソフトウェアを含み得る。手術データシステム３０００８は、本明細書の図１～図６に関連して説明される構造及び／又は機能を含み得る。例えば、手術データシステム３０００８は、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素を含み得る。手術データシステム３０００８は、例えば、手術用ハブ１０６を含み得る。例えば、シミュレーションデバイス３００００は、手術用ハブの通信モジュール１３０を介した手術用ハブ１０６との通信を可能にする手術データシステムインターフェースモジュール３００１４を含む。手術データシステム３０００８は、例えば、１つ以上の手術データリポジトリを含み得る。例えば、手術データシステム３０００８は、手術室に配置されたコンピュータシステム２１０を含み得る。例えば、手術データシステム３０００８は、クラウド２０４内に遠隔サーバ２１３を含み得る。

例えば、手術用ハブ１０６など手術データシステム３０００８は、シミュレーションデバイス３００００及び／又はアプリケーション作成デバイス３０００２にデータを提供し得る。例えば、データは、手術用ハブ１０６によって収集された、及び／又は生成された任意の手術データを含み得る。また例えば、シミュレーションデバイス３００００は、図１～図６に開示されたネットワーク化されたデバイスのいずれかから同様のデータを直接受信し得る。そのようなデータは、例えば、ライブ外科処置に関する情報を含み得る。そのようなデータは、過去の外科処置に関する情報を含み得る。そのようなデータは、将来の予定された外科処置に関する情報を含み得る。

外科処置に関する情報は、患者、スタッフ、計画された処置、経験した処置、及び患者転帰など術後活動に関する情報を含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、患者の記録、患者の画像、患者の解剖学的構造のモデル、患者の検査結果、患者の病歴などを含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、処置のスタッフ名簿、特定のスタッフメンバーの過去の処置に関する詳細、スタッフメトリック、経験、最近の日程及び作業負荷、並びに過去の手術活動（そのような器具の使用統計、処置期間など）を含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、処置計画、機器及び在庫情報、プルリスト、チェックリスト、処置計画分析、並びに推奨を含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、ライブ処置中に収集されたか、又は生成された任意のデータ、例えば、処置の進捗状況、マイルストーン、患者情報、バイタル、手術室のセットアップ、スタッフの動き、画像、器具の使用、手術技法、例えば、ビデオによって取り込まれたもの、手動で記録されたもの、及び／又は例えば、持続時間、異常事象の報告などスマート器具による報告から推測されたものなどを含み得る。ライブ処置中に捕捉されたあらゆるデータもまた、記憶され、過去の処置として利用可能にされ得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、術後記録、患者の回復情報、及び患者の転帰情報、検査、画像など術後診断情報を含み得る。

シミュレーションデバイス３００００は、１つ以上のシミュレーションを実行するのに好適な任意のコンピュータ又は処理プラットフォームを含み得る。シミュレーションは、コンピュータでモデル化された外科処置環境を含み得る。例えば、シミュレーションは、患者の解剖学的構造及び／又は生理学的構造のモデルを含み得る。例えば、シミュレーションは、外科医、看護師、他の医師、技術者などの行動など１人以上の医療従事者の行動及び／又は器具のモデルを含み得る。

シミュレーションデバイス３００００は、１つ以上の追加の機能モジュールを含み得る。各モジュールは、モジュールの機能を可能にするハードウェア、ソフトウェア、又はそれらの組み合わせを含み得る。協調して動作する１つ以上のモジュールは、医療処置のシミュレーションが実行され得るコンピュータフレームワークを表し得る。モジュールは、コンピュータ処理ユニット、グラフィックス処理ユニット、フィールドプログラマブルゲートアレイ（field-programmable gate array、ＦＰＧＡ）、通信ハードウェア、メモリなどハードウェア要素を含み得る。モジュールは、プロセッサによって実行されるとモジュールに特定の機能を実行させるソフトウェア要素を含み得る。

シミュレーションデバイスは、例えば、コアシミュレーションモジュール３００１６、シミュレーションアプリケーションモジュールディレクトリ３００１８、インターフェースモジュール３００１２、物体特性モジュール３００２０、物理モジュール３００２２、生理学的モデル３００２４、テクスチャモデル３００２６、３Ｄグラフィックスパイプライン３００２８、手術データシステムインターフェースモジュール３００１４、メトリック抽出モジュール３００３０、セッション記憶及び管理モジュール３００３２を含み得る。シミュレーションデバイスは、オペレーティングシステムモジュール３００３４を含み得る。

コアシミュレーションモデル３００１６は、シミュレーションデバイス３００００の主要シミュレーション機能を提供し得る。例えば、コアシミュレーションモジュール３００１６は、シミュレーションを初期化するための、シミュレーションデバイス３００００の他のモジュールと通信し、相互作用するための、及び／又はアーキテクチャレベルのシミュレーションパラメータを管理するためのコードを含み得る。例えば、コアシミュレーションモジュール３００１６は、シミュレーションデバイス３００００のモジュールの動作の時間整合及び／又は調整を提供するために、マスタイベントクロックを含み得る。例えば、コアシミュレーションモジュール３００１６は、シミュレーションフレームレート全般を確立し得る。

コアシミュレーションモジュール３００１６は、マスタシミュレーションサイクルを提供するためのコアを含み得る。コアシミュレーションモジュール３００１６は、マスタシミュレーションサイクルの１つ以上の繰り返しを実行し得る。マスタシミュレーションサイクルの各繰り返しは、シミュレーションの個々のタイムスライスを表し得る。一実施例では、コアシミュレーションモジュール３００１６は、図１０に開示されるフローに従ってマスタシミュレーションサイクルを実行し得る。

シミュレーションアプリケーションモジュールディレクトリ３００１８は、１つ以上のアプリケーションモジュール３００１０の記憶、検索、及び／又はリンクを管理し得る。各アプリケーションモジュール３００１０は、シミュレーションのアプリケーションレベルの態様を指示するコードを含み得る。例えば、アプリケーションモジュール３００１０は、特定の解剖学的構造、特定の教示スコープ、特定の機器のシミュレーションなどを提供する機能を含み得る。例示的シミュレーションデバイス３００００では、アプリケーション固有のシミュレーションデバイス３００００は、シミュレーションアプリケーションモジュールディレクトリ３００１０の有無にかかわらず、単一のアプリケーションモジュール３００１０と共に動作し得る。シミュレーションアプリケーションモジュールディレクトリ３００１８は、コアシミュレーションモジュール３００１６及び／又はアプリケーション作成デバイス３０００２との相互作用に基づいて動作し得る。

インターフェースモジュール３００１２は、ヒューマンインターフェースデバイス３０００４及び／又は外科医エージェントデバイス３０００６と相互作用するための機能を提供し得る。例えば、インターフェースモジュール３００１２は、ヒューマンインターフェースデバイス３０００４から受信した情報をソフトウェアコマンド、割り込みなどに変換するための１つ以上のドライバを含み得る。例えば、インターフェースモジュール３００１２は、外科医エージェント３０００６と相互作用するためのソフトウェアアプリケーションプログラミングインターフェース（ＡＰＩ）を含み得る。インターフェースモジュール３００１２は、ヒューマンインターフェースモジュール３０００４及び／又は外科医エージェントデバイス３０００６から受信した情報をシミュレーションデバイス３００００の他のモジュールに提供し得る。例えば、インターフェースモジュール３００１２は、模擬器具の動きを表す制御入力をヒューマンインターフェースモジュール３０００４及び／又は外科医エージェントデバイス３０００６から受信し、当該情報をシミュレーションデバイス３００００の１つ以上の他のモジュールに提供し得、それにより、動きがシミュレーションで表され得る。

インターフェースモジュール３００１２は、外科医エージェントデバイス３０００６とのより粒度の細かい相互作用を可能にするためにＡＰＩを提供し得る。例えば、ＡＰＩは、外科医エージェントデバイス３０００６からシミュレーションパラメータ及びシミュレーション設定を受信するためのインターフェースを提供し得る。そのようなシミュレーションパラメータ及び／又はシミュレーション設定は、例えば、アプリケーション作成デバイス３０００２を介したユーザによるそれらの入力と同様であり得る。例えば、外科医エージェントデバイス３０００６では、シミュレーションデバイス３００００によって１つ以上のコンピュータ制御シミュレーショントライアルを実行することが可能であり得る。例えば、外科医エージェントデバイス３０００６では、それぞれが代替相互作用を伴う、複数のシミュレーションを実行することが可能であり得る。

インターフェースモジュール３００１２は、シミュレーションデバイス３００００からの出力をヒューマンインターフェースデバイス３０００４及び／又は外科医エージェントデバイス３０００６に送信し得る。例えば、出力としては、視覚出力、触覚出力、音声出力、及び／又は構造化データ出力などが挙げられ得る。

物体特性モジュール３００２０は、シミュレーション内の物体の模擬外観及び／又は挙動を管理するための機能を提供し得る。模擬物体としては、解剖学的構造、器具、機器、消耗品、流体など物体が挙げられ得る。物体の外観は、位置、寸法、スケール、材料、親／子関係、頂点、面、対話性、透明度、軌跡、レンダリング特性、テクスチャ、表面反射率、モーションブラー、レイヤリングなど物体特性によって管理され得る。物体の挙動は、物理特性、質量、運動、衝突挙動、弾性、粘度、表面張力、リギング制約、硬度、剪断強度、引き裂き挙動、粒度など物体特性によって管理され得る。

物理モジュール３００２２は、シミュレーション内の物体の物理的応答及び／又は相互作用を計算する機能を提供し得る。物理モジュールは、古典力学、流体力学、軟体力学、ブラウン運動、衝突検出、布挙動、有限要素解析などに従って、そのような応答及び／又は相互作用を決定し得る。物理モジュール３００２２は、ＰｈｙｓＸ（商標）、ＳｉｍｕｌａｔｉｏｎＯｐｅｎＦｒａｍｅｗｏｒｋＡｒｃｈｉｔｅｃｔｕｒｅ（ＳＯＦＡ）（商標）、ＶｉｓＳｉｍ（商標）など商用モジュール及び／又はオープンソースモジュールを含み得る。

生理学的モジュール３００２４は、シミュレーションにおいて解剖学的構造及び／又は患者の生理学的応答及び／又は相互作用全般を計算する機能を提供し得る。生理学的モジュール３００２４は、重要な器官及び／又は系の生理学的モデルを提供し得る。生理学的モデルは、数学モデル、統計モデルなどを含み得る。例えば、生理学的モジュール３００２４は、患者のバイタルをモジュール化して、シミュレーション中に実行された活動に対する患者の反応及び／又は相互作用を計算し得る。

例えば、循環モデルは、シミュレーションにおいて切断された血管に応答して血圧を計算し得る。生理学的モジュール３００２４及び物理モジュール３００２２は、シミュレーションの各状態の計算中に互いに協調し得る。例えば、循環モデルによって計算された血圧は、物理モジュール３００２２によって計算され、物体特性モジュール３００２０によって管理される流体力学特性を決定するために使用され得る。

テクスチャモジュール３００２６は、シミュレーション内の物体の適切な表面を決定、検索、及び／又は生成する機能を提供し得る。テクスチャモジュール３００２６は、シミュレーションのパラメータに従って制御され得る１つ以上の表面モダリティを含み得る。表面モダリティは、人工的に生成された表面、実世界の画像に基づいた表面、及びそれらの組み合わせを含み得る。テクスチャモジュール３００２６は、ユーザインターフェースモジュール３００１２を介してユーザに正確な触覚フィードバックを提供するために物理モジュール３００２２と動作を調整し得る。

３Ｄグラフィックスパイプライン３００２８は、シミュレーション環境の視覚的レンダリングに機能を提供し得る。３Ｄグラフィックスパイプライン３００２８は、物体特性及び奥行を受信し得る。３Ｄグラフィックスパイプライン３００２８は、カメラ視点から見た３Ｄ空間内の物体を表す、ユーザに提示されるべき視覚化を決定し得る。３Ｄグラフィックスパイプライン３００２８は、ライティング、投影、クリッピング、ビュー変換などレンダリングの幾何学的態様を決定し得る。３Ｄグラフィックスパイプライン３００２８は、フラグメンテーション、ピクセルシェーディング、頂点シェーディング、ジオメトリ共有、テクスチャフィルタリングなど、レンダリングのラスタ化態様を決定し得る。３Ｄグラフィックスパイプライン３００２８は、テクスチャモジュール３００２６と協調して、インターフェースモジュール３００１２を介してユーザに正確な視覚フィードバックを提供し得る。

手術データシステムインターフェースモジュール３００１４は、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素にインタラクティブ接続性を提供し得る。

コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素からの情報は、手術データシステムインターフェースモジュール３００１４を介して、シミュレーションデバイス３００００の１つ以上のモジュールに通信され、シミュレーションの動作に影響を及ぼし得る。例えば、手術データシステムインターフェースモジュール３００１４は、外科処置に関する情報を受信し、それを対応するアプリケーションモジュール３００１０に通信し得る。例えば、手術データシステムインターフェースモジュール３００１４は、器具に関する情報を受信し、それを物体特性モジュール３００２０に通信し得る。例えば、手術データシステムインターフェースモジュール３００１４は、患者に関する情報を受信し、生理学的モジュールに通信し得る。例えば、手術データシステムインターフェースモジュール３００１４は、組織画像に関する情報を受信し、それをテクスチャモジュール３００２６に通信し得る。

シミュレーションデバイス３００００のモジュールからの情報は、手術データシステムインターフェース３００１４を介して、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素に提供され得る。例えば、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素は、メトリック抽出モジュール３００３０からの模擬処置計画に関連する統計を受信し得る。例えば、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素は、セッション記憶及び管理モジュール３００３２から、再現されたシミュレーション視覚化処置計画を受信し得る。例えば、手術データシステムインターフェースモジュール３００１４は、インターフェースモジュール３００１２とコンピュータ実装インタラクティブ手術システム１００の１つ以上の要素との間に通信経路を提供し得る。例えば、ライブ外科処置中の外科医は、手術室からシミュレーション情報にアクセスし得る、及び／又はシミュレーションを操作し得る。例えば、外科医は、外科医コンソール１１８を使用して、ライブ外科処置に対応するシミュレーションにアクセスすることができる、及び／又は当該シミュレーションと対話することができる。

メトリック抽出モジュール３００１４は、シミュレーションの動作に関連する様々なパラメータの記録機能を提供し得る。例えば、メトリック抽出モジュール３００１４は、持続時間、活動の数、動きの数、動きの複雑さ、参加したスタッフ、スタッフの動き、機器及び／又は器具の変更などシミュレーション全般に関連するメトリックを記録し得る。例えば、メトリック抽出モジュール３００１４は、模擬患者バイタル、合併症、衝突、出血などシミュレーションの特定側面に関連するメトリックを記録し得る。メトリック抽出モジュール３００１４は、シミュレーション中にメトリック関連事象のマスタログを維持し得る。メトリック抽出モジュール３００１４は、シミュレーションに使用されるアプリケーションモジュール３００１０からの構成に従ってメトリック関連事象を記録し得る。

セッション記憶及び管理モジュール３００３２は、メインシミュレーション実行記録の管理機能を提供し得る。例えば、セッション記憶及び管理モジュール３００３２は、シミュレーションが全体として再実行され、表示され、及び／又は分析されることを可能にする情報を記憶し得る。セッション記憶及び管理モジュール３００３２は、図１０に関して開示される入力、シミュレーション状態、及び出力など各入力、シミュレーション状態、及び出力に関する情報を記憶し得る。セッション記憶及び管理モジュール３００３２は、以前のシミュレーションが、新しいユーザ入力によって呼び出され、コピーされ、初期化されることを可能にし得る。例示すると、訓練中の外科医は、経験豊富な外科医によって実行されたシミュレーションを呼び出し、重要なステップにおいてシミュレーションを一時停止させ、自身でそのステップを試みることができる。セッション記憶及び管理モジュール３００３２は、特定のシミュレーションの様々な実行間でオーバーレイ機能を提供し得る。そのようなオーバーレイは、類似性及び差異を強調し得、訓練を強化し得る。

オペレーティングシステムモジュール３００３４は、シミュレーションデバイス３００００のハードウェアリソース及び／又はソフトウェアリソースを管理し得る。オペレーティングシステムモジュール３００３４は、シミュレーションデバイス３００００の他のモジュールにコンピューティングシステムレベルの共通サービスを提供し得る。例えば、オペレーティングシステムモジュール３００３４は、ハードウェア入出力処理、メモリ割り当て、ハードウェア割込み処理、ソフトウェア割込み処理、スレッド処理、シングルタスク処理、マルチタスク処理などを提供し得る。シミュレーションデバイス３００００は、リアルタイムコンピューティングデバイスであり得る。オペレーティングシステムモジュール３００３４は、リアルタイムオペレーティングシステムを含み得る。例えば、オペレーティングシステムモジュール３００３４は、コアシミュレーションモジュール３００１６によって確立されたイベント及びフレームレートによって駆動され得る。

図８は、例示的手術シミュレータシステムのブロック図である。シミュレーションデバイス３００００は、例示的ハードウェアアーキテクチャと共に示されている。例えば、シミュレーションデバイス３００００は、プロセッサ３００３４、メモリ３００３６、ストレージ３００３８、ディスプレイアダプタ３００４０、操作インターフェースアダプタ３００４２、手術データシステムアダプタ３００４４、及び／又はネットワークアダプタ３００４６を含み得る。プロセッサ３００３４、メモリ３００３６、ストレージ３００３８、ディスプレイアダプタ３００４０、操作インターフェースアダプタ３００４２、手術データシステムアダプタ３００４４、及び／又はネットワークアダプタ３００４６のうちの１つ以上は、本明細書に開示されるシミュレーションデバイス３００００のモジュールの動作を可能にするために使用され得る。

プロセッサ３００４６は、コンピュータ処理ユニット、グラフィックス処理ユニット、任意の適切なマイクロコントローラ、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）など、並びに／又はコンピュータエージェント及び／若しくは人間のユーザとの相互作用のために３Ｄ模擬環境を処理し、提供するのに好適である、それらの任意の組み合わせを含み得る。一実施例では、プロセッサ３００４６は、１つ以上の処理ユニットを含み得る。プロセッサ３００４６は、本明細書に開示されるデジタル処理要件を実施するように、任意の好適な深さのプロセッサであり得る。例えば、プロセッサ３００４６は、３２ビットのプロセッサ、６４ビットのプロセッサ、１２８ビットのプロセッサなど。

そのようなプロセッサは、プロセッサによって実行されると、プロセッサによって実行又は支援されるものとして本明細書に記載されるステップをプロセッサに実行させることができる命令を記憶し得る媒体、例えばコンピュータ可読媒体を備え得るか、又はそれと通信し得る。コンピュータ可読媒体のいくつかの実施形態は、限定するものではないが、ウェブサーバ内のプロセッサなどプロセッサにコンピュータ可読命令を提供することができる電子、光学式、磁気、又は他の記憶デバイスを含み得る。

媒体の他の例は、フロッピーディスク、ＣＤ－ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成されたプロセッサ、全ての光媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取ることができる任意の他の媒体を含むが、これらに限定されない。説明されるプロセッサ及び処理は、１つ以上の構造であり得、１つ以上の構造を介して分散され得る。プロセッサは、本明細書で説明される方法のうちの１つ以上（又は方法の一部）を実行するためのコードを含み得る。

メモリ３００３６は、データを記憶するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、メモリ３００３６は、揮発性メモリ及び／又は不揮発性メモリを含み得る。メモリ３００３６は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（read-only memory、ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（erasable programmable read-only memory、ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（electrically erasable programmable read-only memory、ＥＥＰＲＯＭ）、フラッシュメモリなどを含み得る。

ストレージ３００３８は、大量のデータを記憶するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、ストレージ３００３８は、ハードディスクドライブ（hard disk drive、ＨＤＤ）、ソリッドステートドライブ（solid state drive、ＳＳＤ）、ネットワーク接続ストレージ（network-attached storage、ＮＡＳ）などを含み得る。ストレージ３００３８は、データベース構造及び／又はデータベース管理システム（database management system、ＤＢＭＳ）を含み得る。

ディスプレイアダプタ３００４０は、３Ｄシミュレーション環境の視覚表現を出力するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、ディスプレイアダプタ３００４０は、グラフィックスカード、ディスプレイカード、グラフィックスアダプタなどを含み得る。ディスプレイアダプタ３００４０は、ヒューマンインターフェースデバイス３０００４のディスプレイなどディスプレイデバイスへの出力画像のフィードを生成するために使用され得る。ディスプレイアダプタ３００４０は、グラフィックス処理ユニット（graphics processing unit、ＧＰＵ）を含み得る。ディスプレイアダプタ３００４０は、例えば、グラフィックスパイプラインをレンダリングするためのハードウェアを含み得る。操作インターフェースアダプタ３００４２は、ヒューマンインターフェースデバイスから操作情報を受信し、及び／又はヒューマンインターフェースデバイスにフィードバック情報を出力するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、操作インターフェースアダプタ３００４２は、仮想現実ヘッドセットから動作追跡情報を受信し、次に、ユーザに表示されているビューを操作し得る。例えば、操作インターフェースアダプタ３００４２は、手術器具を操作しているユーザを示す制御入力を受信し、次に、ユーザのハンドヘルドデバイスに触覚フィードバックを出力し得る。例えば、操作インターフェースアダプタ３００４２は、従来のデスクトップキーボード及びマウスから制御情報を受信し得る。操作インターフェースアダプタは、シリアル入力／出力ポート、パラレル入力／出力ポート、ユニバーサル非同期送受信機（universal asynchronous receiver transmitter、ＵＡＲＴ）、ディスクリート論理入力／出力ピン、アナログ－デジタル変換器、デジタル－アナログ変換器、ユニバーサルシリアルバス（universal serial bus、ＵＳＢＩ）ポート、ＵＳＢ－Ｃポート、ＦｉｒｅＷｉｒｅポート、高性能パラレルインターフェース（High Performance Parallel Interface、ＨＩＰＰＩ）、Ｔｈｕｎｄｅｒｂｏｌｔポート、Ｙａｐｂｕｓ、イーサネット、ギガビットイーサネット、及び／又は任意の他の好適な周辺インターフェース技術など入力／出力ハードウェアを含み得る。

手術データシステムアダプタ３００４４は、手術データシステム３０００８と通信するのに好適な任意の構成要素又は構成要素の集合を含み得る。手術データシステムアダプタ３００４４は、シミュレーションデバイス３００００と手術データシステム３０００８との間に物理チャネルを確立するための通信ハードウェアを含み得る。例えば、手術データシステムアダプタ３００４４は、ＵＳＢポート、ＵＳＢ－Ｃポート、ＦｉｒｅＷｉｒｅポート、ＨＩＰＰＩポート、Ｔｈｕｎｄｅｒｂｏｌｔポート、Ｙａｐｂｕｓポート、イーサネットポート、ギガビットイーサネットポート、及び／又は任意の他の好適な周辺インターフェースを含み得る。手術データシステムアダプタ３００４４は、ネットワークアダプタ３００４６及びネットワーク３００４８を介してシミュレーションデバイス３００００と手術データシステム３０００８との間に論理チャネルを確立するためのハードウェア、ソフトウェア、及び／又はそれらの組み合わせを含み得る。

ネットワークアダプタ３００４６は、例えばネットワーク３００４８などネットワークを介した通信に好適な任意の構成要素又は構成要素の集合を含み得る。ネットワークアダプタ３００４６は、ローカルエリアネットワーク（local area network、ＬＡＮ）、ワイドエリアネットワーク（wide area network、ＷＡＮ）、及び／又はモバイルネットワークなどを介した通信を可能にし得る。ＬＡＮ技術としては、光ファイバ分散データインターフェース（ＦＤＤＩ）、銅線分散データインターフェース（ＣＤＤＩ）、Ｅｔｈｅｒｎｅｔ／ＩＥＥＥ８０２．３、ＴｏｋｅｎＲｉｎｇ／ＩＥＥＥ８０２．５、Ｗｉ－Ｆｉ／ＩＥＥＥ８０２．１１などを挙げることができる。ＷＡＮ技術としては、ポイントツーポイントリンク、統合サービスデジタルネットワーク（ＩＳＤＮ）及びその変形などの回路交換ネットワーク、パケット交換ネットワーク並びにデジタル加入者回線（ＤＳＬ）を挙げることができるが、これらに限定されない。モバイルネットワークは、ＧＳＭ／ＧＰＲＳ／ＥＤＧＥ（２Ｇ）、ＵＭＴＳ／ＨＳＰＡ（３Ｇ）、ロングタームエボリューション（ＬＴＥ）又は４Ｇ、ＬＴＥアドバンスト（ＬＴＥ－Ａ）、ニューラジオ（ＮＲ）又は５Ｇなどのモバイル通信プロトコルのうちの１つ以上に基づく通信リンクを含み得る。

一実施形態では、ネットワークアダプタ３００４６は、５Ｇネットワークアダプタなど無線ネットワークアダプタを含み得る。そのような５Ｇネットワークアダプタ３００４６は、５ＧＮｅｗＲａｄｉｏ（ＮＲ）トランシーバを使用して、拡張モバイルブロードバンド（enhanced mobile broadband、ｅＭＢＢ）に超高信頼低遅延通信（ultra-reliable and low latency communication、ＵＲＬＬＣ）を提供し得る。そのような５Ｇネットワークアダプタ３００４６は、３．５ＧＨｚ～７ＧＨｚ及び／又は２４ＧＨｚ～４８ＧＨｚ帯域などより高い無線帯域など無線帯域を使用し得る。そのような５Ｇネットワークアダプタ３００４６にサービス提供するネットワーク３００４８としては、パブリックワイヤレスネットワーク、セミプライベート（例えば、ネットワークスライシングベースの）ネットワーク、及び／又は完全プライベートワイヤレスネットワークが挙げられ得る。

図９は、例示的手術シミュレータのユーザインターフェースデバイス３０００４を描写する、ブロック図である。ヒューマンユーザインターフェースデバイス３０００４は、例示的ハードウェアアーキテクチャと共に示されている。例えば、ヒューマンユーザインターフェースデバイス３０００４は、プロセッサ３００５０、メモリ３００５２、ディスプレイサブシステム３００５４、及び／又は操作サブシステム３００５６を含み得る。

プロセッサ３００５０は、コンピュータ処理ユニット、グラフィックス処理ユニット、任意の好適なマイクロコントローラ、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）など、及び／又はシミュレーションデバイス３００００から受信した視覚情報の表示、シミュレーションデバイスに送信するための操作情報の処理、シミュレーションデバイス３００００から受信したフィードバック情報の処理などに関連する処理を取り扱うのに好適なそれらの任意の組み合わせを含み得る。プロセッサ３００５０は、ユーザからの制御操作を検知するために１つ以上のローカルセンサとインターフェースし、及び／又はユーザからのフィードバックを提供するために１つ以上のローカルアクチュエータとインターフェースするためのマイクロコントローラを含み得る。

そのようなプロセッサは、プロセッサによって実行されると、プロセッサによって実行又は支援されるものとして本明細書に記載されるステップをプロセッサに実行させることができる命令を記憶し得る媒体、例えばコンピュータ可読媒体を備え得るか、又はそれと通信し得る。コンピュータ可読媒体のいくつかの実施形態は、限定するものではないが、ウェブサーバ内のプロセッサなどプロセッサにコンピュータ可読命令を提供することができる電子、光学式、磁気、又は他の記憶デバイスを含み得る。媒体の他の例は、フロッピーディスク、ＣＤ－ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成されたプロセッサ、全ての光媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取ることができる任意の他の媒体を含むが、これらに限定されない。説明されるプロセッサ及び処理は、１つ以上の構造であり得、１つ以上の構造を介して分散され得る。プロセッサは、本明細書で説明される方法のうちの１つ以上（又は方法の一部）を実行するためのコードを含み得る。

メモリ３００３６は、データを記憶するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、メモリ３００３６は、揮発性メモリ及び／又は不揮発性メモリを含み得る。メモリ３００３６は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリなどを含み得る。

ディスプレイサブシステム３００５４は、シミュレーションデバイス３００００からユーザに３Ｄシミュレーションの視覚表現を表示するのに好適な任意の構成要素又は構成要素の集合を含み得る。ディスプレイサブシステムは、モニタ、デジタルプロジェクタ、スマートフォン、デジタルヘッドセット、仮想現実ヘッドセット、立体視ディスプレイ、ロボット手術外科医のコンソールディスプレイ、手術用ディスプレイユニット、手術用顕微鏡などディスプレイハードウェアを含み得る。

操作サブシステム３００５６は、ユーザから操作制御を収集してシミュレーションデバイス３００００に送信し、及び／又はシミュレーションデバイス３００００から受信したフィードバック情報をユーザに提供するのに好適な任意の構成要素又は構成要素の集合を含み得る。ユーザからの操作は、ユーザに関わる、例えば、シミュレーションにおけるユーザの意図を示すために関与する、センサとの任意のインターフェースを含み得る。例えば、インターフェースとしては、キーボード、マウス、ジョイスティック、実際の手術用器具のサイズ、形状、及び動作を模倣する物理的機器、仮想現実ハンドヘルドコントローラ、スマートグローブ、動作検知システム（例えば、手追跡システムなど）、ロボット手術外科医のコンソールマニピュレータ及び／又は制御部、実際のロボット手術外科医のコンソールマニピュレータ並びに／又は制御装置のサイズ、形状、及び動作を模倣する物理的ユニットなどが挙げられ得る。例えば、インターフェースは、シミュレーション内でユーザの視点を示すために、ヘッドセット内に加速度計などの視点センサを含み得る。

シミュレーションデバイス３００００からのフィードバックは、ユーザに感覚入力を提供するアクチュエータとの任意のインターフェースを含み得る。例えば、フィードバックとしては、触覚フィードバック、力フィードバック、温度フィードバック、水分フィードバック、音声フィードバック、嗅覚フィードバックなどが挙げられ得る。例えば、ロボット手術外科医のコンソールのマニピュレータにおける力フィードバック及び／又は触覚アクチュエータを使用して、そのようなマニピュレータをライブ処置で動作させた場合にユーザが感じるであろうフィードバックをシミュレートすることができる。例えば、実際の手術用ステープラのサイズ、形状、及び動作を模倣するユーザデバイスにおける力フィードバック及び／又は触覚アクチュエータを使用して、例えば組織に係合し、ステープラを発射するときの力フィードバックなど、生体組織上でそのようなデバイスを動作させる場合にユーザが感じるであろうフィードバックをシミュレートすることができる。

図１０は、例示的手術シミュレータの動作のフロー図である。３００５８において、シミュレーションアプリケーションがロードされ得る。例えば、コアシミュレーションモジュール３００１６は、特定のアプリケーションモジュール３００１０に関連付けられたデータをメモリ３００３６にロードさせ得る。ロードされたデータは、プロセッサ３００３４が特定のシミュレーションを動作させるための命令を含み得る。ロードされたデータは、シミュレーションの処置計画を含み得る。例えば、処置計画は、例えば、図１１Ａ～図１１Ｂに関して、本明細書に開示されるように構造化され得る。ロードされたデータは、シミュレーションの初期状態を含み得る。

３００６０において、シミュレーション出力が決定され得る、及び／又は送信され得る。例えば、シミュレーション出力は、シミュレーションデバイス３００００によって決定され得る、及び／又は送信され得る。ここで、コアシミュレーションモジュール３００１６は、シミュレーションの現在の状態（例えば、初期状態及び／又は後続の状態）を参照し得る。コアシミュレーションモジュール３００１６は、現在の状態を処理して出力するために１つ以上の他のモジュールに関与し得る。例えば、コアシミュレーションモジュールは、物体特性モジュール３００２０、テクスチャモジュール３００２６、アプリケーションモジュール３００１０、３Ｄグラフィックスパイプライン３００２８、インターフェースモジュール３００１２、及び／又は手術データシステムインターフェースモジュール３００１４のうちのいずれかに関与して、現在のシミュレーション状態を情報に処理して出力し得る。出力に関連する情報は、例えば、メトリック抽出モジュール３００３０並びに／又はセッション記憶及び管理モジュール３００３２によって処理され得る、及び／又は記憶され得る。

例えば、人間が操作するシミュレーションセッションでは、出力情報は、ディスプレイアダプタ３００４０及び／又は操作インターフェースアダプタ３００４２を介して、ヒューマンインターフェースデバイス３０００４のディスプレイサブシステム３００５４及び／又は操作サブシステム３００５６に送信され得る。例えば、コンピュータ制御シミュレーションセッションでは、出力情報は、インターフェースモジュール３００１２を介して外科医エージェント３０００６に送信され得る。また、例えば、コンピュータ制御シミュレーションセッションでは、出力情報は、アプリケーションモジュール３００１０において送信され得る（例えば、ローカルに処理され得る）。例えば、手術データシステム３０００８を介してアクセスされるセッションでは、出力情報は、手術データシステムアダプタ３００４４及び／又はネットワークアダプタ３００４６を介して手術データシステムインターフェースモジュール３００１４によって送信され得る。

３００６２において、シミュレーション入力が受信され得る、及び／又は処理され得る。例えば、シミュレーション入力は、シミュレーションデバイス３００００によって受信され得る、及び／又は処理され得る。ここで、コアシミュレーションモジュールは、インターフェースデバイス、手術データシステムインターフェースモジュール、及び／又はアプリケーションモジュール３００１０に関与して、制御入力を受信し得る。入力に関連する情報は、例えば、メトリック抽出モジュール３００３０並びに／又はセッション記憶及び管理モジュール３００３２によって処理され得る、並びに／又は記憶され得る。

例えば、人間が操作するシミュレーションセッションでは、入力情報は、ヒューマンインターフェースデバイス３０００４の操作サブシステム３００５６から送信され、操作インターフェースアダプタ３００４２を介して受信され得る。例えば、コンピュータ制御シミュレーションセッションにでは、入力情報は、外科医エージェント３０００６から送信され、インターフェースモジュール３００１２を介して受信され得る。また、例えば、コンピュータ制御シミュレーションセッションでは、入力情報は、アプリケーションモジュール３００１０において受信され得る（例えば、ローカルに処理され得る）。例えば、手術データシステム３０００８を介してアクセスされるセッションでは、入力情報は、手術データシステムアダプタ３００４４及び／又はネットワークアダプタ３００４６を介して受信され、最初に手術データシステムインターフェースモジュール３００１４によって処理され得る。

３００６４において、後続のシミュレーション状態が決定され得る。例えば、後続のシミュレーション状態は、現在のシミュレーション状態及び／又は任意の受信された入力から決定され得る。コアシミュレーションモジュール３００１６は、シミュレーションデバイス３００００の他のモジュールのうちの１つ以上に関与して、後続のシミュレーション状態を決定することができる。例えば、コードシミュレーションモジュール３００１６は、アプリケーションモジュール、物体特性モジュール、物理モジュール、生理学的モジュールなどに関与し得る。後続のシミュレーション状態は、プロセッサ３００３４の動作によって決定され得る。入力に関連する情報は、例えば、メトリック抽出モジュール３００３０並びに／又はセッション記憶及び管理モジュール３００３２によって処理され得る、並びに／又は記憶され得る。

このステージでは、プロセスは、３００６０において入力を受信することにループし得る。このフローの各繰り返しは、シミュレーションにおける対応する時間サイクルを表し得る。シミュレーションのフレームレートは、シミュレーションの目標及び手術シミュレーションデバイス３００００の処理能力に好適なレベルに設定され得る。より低いフレームレートは、ライブ人間相互作用シミュレーションを達成する処理を可能にし得る。より高いフレームレートは、より高いシミュレーション忠実度を可能にし得る。例えば、コンピュータ制御シミュレーションを、例えば外科医エージェント３０００６を用いて動作させるとき、より高いフレームレートがシミュレーションの処理時間に、シミュレーションしている実世界時間を超えさせる場合であっても、より高いフレームレートが使用され得る。

図１１Ａ～図１１Ｂは、コンピュータ実装インタラクティブ手術システム及び／又は手術シミュレータで使用するための例示的外科処置計画のデータ構造を示す。外科処置計画は、外科処置を実行するために使用され得るスタッフ、機器、技法、及びステップを概説する情報を含み得る。例えば、処置計画は、処置において関与するべき役割及び／又は特定の医療専門家を示すスタッフ名簿を含み得る。処置計画は、処置中に使用され得る、耐久性のある手術用機器、撮像機器、器具、消耗品など機器のリストを含み得る。例えば、処置計画は、手術室を準備するときに外科医及び手術に好適なツール及び材料を組み立てるために使用する、外科技術師のための候補リストを含み得る。処置計画は、処置の予定される技法に関する情報を含み得る。例えば、同一手術目標の処置計画は、異なるアクセス方法、授動方法、検査方法、組織接合方法、創傷閉鎖方法などを含み得る。

処置計画は、個々の症例に関する外科医の専門家としての判断を反映し得る。処置計画は、特定の技法に対する外科医の選好及び／又は経験を反映し得る。処置計画は、特定の手術タスクを役割及び機器にマッピングし得る。処置計画は、予定処置のタイムラインを提供し得る。

処置計画は、１つ以上の決定点及び／又は分岐を含み得る。そのような決定点及び／又は分岐は、処置の特定の態様に利用可能である外科的選択肢を提供し得、選択肢のうちの１つを選択することは、手術自体からの情報に基づき得る。例えば、１つ以上の選択肢を選択することは、特定患者の解剖学的構造の特定平面に基づいて選択され得、外科医は、ライブ手術中に患者の組織の評価に基づいて選択肢を選択し得る。

処置計画は、１つ以上の不測事態を含み得る。これらは、可能性が低いものの生じ得る、ライブ手術中にあり得る状況に関する情報を含み得る。不測事態は、当該状況が生じた場合に用いられ得る、１つ以上の手術タスクを含み得る。不測事態は、十分な機器、スタッフ、及び／又は消耗品を処置中にいつでも使用できることを保証するために使用され得る。

処置計画は、１つ以上のデータ構造で記録され得る。処置計画データ構造は、将来のライブ手術に関するデータ、完了したライブ手術に関するデータ、将来の模擬手術に関するデータ、完了した模擬手術に関するデータなどを記録するために使用され得る。ライブ手術用の処置計画データ構造は、コンピュータ実装インタラクティブ手術システム１００によって使用され得る。例えば、ライブ手術用の処置計画データ構造は、コンピュータ実装インタラクティブ手術システム１００の状況認識及び／又は動作態様を強化するために、手術用ハブ１０６によって使用され得る。ライブ手術用の処置計画データ構造は、手術用ハブ１０６によって使用されて、構造化分析のためにライブ手術の別個の要素を記録し得る。

処置計画データ構造は、シミュレーションデバイス３００００によって使用され得る。例えば、処置計画データ構造はシミュレーションデバイス３００００によって使用されて、シミュレーションセッションの設定及び／又は１つ以上の目的を確立し得る。例えば、処置計画データ構造は、シミュレーションデバイス３００００によって使用されて、構造化分析のために模擬手術の個別要素を記録し得る。

処置計画データ構造は、処置に関連するデータ要素を捕捉するのに好適な任意の構造を含み得る。例えば、処置計画は、例えば、図１１Ａに示されるものなどツリー状データ構造で記録され得る。ここで、ツリー構造のルートは、コア処置データ３００６６を表す。コア処置データ３００６６は、処置名、処置コード、患者名、日付、時間など、処置全般に関する情報を含み得る。シミュレーションの場合、コア処置データ３００６６は、デバイスＩＤ、ソフトウェアバージョン、ユーザ、シミュレーション実行設定（フレームレート、解像度、接続されたユーザインターフェースデバイスなど）などシミュレーションデバイスに関する情報を含み得る。

処置データは、ツリー構造のリーフを含み得る。第１のレベルのリーフは、処置セットアップ３００６８、１つ以上の処置ステージ３００７０、１つ以上の不測事態３００７２、及び処置の結果３００７４に関するデータなど、処置計画の主要な態様に関するデータを含むことができる。

セットアップデータ３００６８は、処置の準備及び／又は初期状態に関する情報を含み得る。例えば、セットアップデータ３００６８は、スタッフ名簿、スタッフの役割及び／又はスタッフＩＤ、手術室ＩＤ、機器リスト、部屋のレイアウト、当初の手術台位置、術野で準備された器具及び／又は消耗品のリスト、機器に関連する全ての初期設定、術前画像、患者記録など要素を含み得る。シミュレーションの場合には、セットアップデータ３００６８は、模擬解剖学的構造の記録、模擬生理機能の記録、術前画像など模擬環境に関する情報を含み得る。

ステージデータ３００７０は、処置の主要マイルストーンに関連するデータ要素を含み得る。例えば、処置のステージは、アクセスの確立などマイルストーンを含み得る。ステージデータ３００７０は、処置の特定ステージを実行するために使用され得るスタッフ、機器、技法、及びステップに関連する情報を含み得る。ステージデータ３００７０は、ステージＩＤを含み得る。

ステージは、１つ以上の手術タスク３００７６など１つ以上のサブリーフによって更に詳述され得る。手術タスクは、所与のステージ内の別個の手術ステップを表し得る。例えば、アクセスステージにおいて、トロカールを配置することは、手術タスクであり得る。手術タスクデータ３００７６は、タスクＩＤを含み得る。手術タスクデータ３００７６は、タスクを実行しているスタッフ及び／又は外科医、使用される機器、適用される特定の技法、タスク実行中の患者バイタル、他の環境情報、及びリストなど特定のタスクに関連する情報を含み得る。各タスクは、目標データ３００７８、解剖学的構造－器具相互作用に関連するデータ３００８０、及び結果データ３００８２を用いて更に詳述され得る。目標データ３００７８は、タスク実行の相対的成功を示す情報を含み得る。目標データ３００７８は、予定タスク持続時間、許容可能な実行特異度、効率モダリティ、合併症の回避などに関する情報を含み得る。結果データ３００８２は、１つ以上の目標に関連する情報を含み得る。結果データ３００８２は、目標に対する手術実行（例えば、ライブ及び／又は模擬）を記録し得る。

タスクデータ３００７６は、解剖学的構造－器具相互作用データ３００８０の１つ以上の要素を含み得る。解剖学的構造－器具相互作用データ３００８０は、手術実行の粒度の細かい指示を表し得る。解剖学的構造－器具相互作用データ３００８０は、手術タスクの実行に使用される１つ以上の特定の活動を表し得る。解剖学的構造－器具相互作用データ３００８０は、外科医の観察可能な挙動を表し得る。

一実施例では、解剖学的構造－器具相互作用データ３００８０は、外科医によって解剖学的構造に加えられている特定の位置、力、角度などを含み得る。例えば、ライブ手術では、手術用ハブ１０６によってスマート器具から記録されたデータは、解剖学的構造－器具相互作用データ３００８０として捕捉され得る。例えば、コンピュータ実装インタラクティブ手術システム１００の他の要素と協働する手術用スマートステープラは、ステープラの位置、角度、先端力、ジョー力、ステープルカートリッジタイプ、閉鎖圧力、発射速度などを記録し得る。模擬手術では、同様のデータ要素が捕捉され得る。

不測事態データ３００７２は、処置に関連し得る任意の合併症を示し得る。各不測事態データ３００７２は、特定の合併症に対する適切な反応に対処する１つ以上のタスクデータ要素３００８４を含み得る。不測事態データ３００７２は、元の処置計画からの逸脱を示し得る。また、例えば、不測事態データは、１つ以上のタスク３００７８及び／又は解剖学的構造－器具相互作用３００８０と相互参照され得る。例えば、解剖学的構造－器具相互作用３００８０における特定の実行が合併症につながり得る場合、当該実行の性質及び不測事態の相互参照は、当該解剖学的構造－器具相互作用３００８０に関連する結果データ３００８２に含まれ得る。

結果データ３００７４は、処置の結果を示し得る。ここで、手術実行のメトリック全般が記憶され得、実際の及び／若しくは模擬患者回復情報、並びに／又は患者転帰を記録する。例えば、結果データ３００７４は、効率情報、コスト情報、手術期間、作業負荷メトリック、計画された消耗品の使用割合などを含み得る。

図１１Ｂは、特定の処置、タスク、又は活動を完了するための代替ステップの構造を更に確立する、上記で開示された要素を有する処置計画データ構造を示す。示されるように、処置データ３００８６によって表される処置は、２つの代替セットアップを含み得、それぞれのセットアップデータ（第１のセットアップデータ３００８８、３００９０、及び第２のセットアップデータ３００９２）によってそれぞれ示される。第１のセットアップデータ３００８８、３００９０は、２つの代替タスク３００９４、３００９６を含み得る。第２セットアップデータ３００９２は、１つのタスク３００９８を含み得る。この図では、処置データ３００８６によって表される処置は、３つの異なる方法で達成され得る。第１の方法は、第１のセットアップ３００８８及び第１のタスク３００９４を用いる。第２の方法は、第１のセットアップ３００９０及び第２のタスク３００９６を用いる。そして第３の方法は、第２のセットアップ３００９２及びその対応するタスク３００９８を用いる。

ツリー構造の各パスは、処置を実行するための代替方法の特定のセットを表し得る。そのような構造は、特定のライブ及び／又は模擬手術用の特定の処置計画の作成を支援するために有用であり得る。そのような構造は、処置の多くの考えられる代替策をシミュレートして結果の差異を評価するのに有用であり得る。

図１２は、ライブ外科処置においてシミュレーション支援を提供するためのシステムを示す。ライブ外科処置は、シミュレーションデバイス３１５００、手術データシステムなどを採用し得る。特定の外科処置のシミュレーションが記憶され得る。そして、外科医は、その特定の処置を実行するときに、記憶されたシミュレーションを検索し、ライブ処置中にそれと相互作用することから利益を得ることができる。記憶されたシミュレーションは、指導、訓練、記憶及び／又は呼び出しの支援などを提供することができる。記憶されたシミュレーションは、外科医が、ライブでタスク及び／又は技法を実行することに時間的に近接してタスク及び／又は技法をシミュレートすることを可能にし得る。記憶されたシミュレーションは、模擬解剖学的構造及び／又はシミュレーションされた患者の状態が生きている患者と整合する特定のタスク及び／又は技法に関するエキスパートガイダンスを提供することができる。

シミュレーションデバイス３１５００は、本明細書に開示されるようなシミュレーションを記憶、呼び出し、及び／又は実行することが可能なコンピューティングプラットフォームを含んでもよい。例えば、シミュレーションデバイス３１５００は、本明細書に開示されるようなシミュレーションデバイス３００００を含み得る。シミュレーションデバイス３１５００は、手術データシステム３１５０２と通信し得る。例えば、シミュレーションデバイス３１５００は、通信レッグ３１５０４を介して手術データシステム３１５０２と通信してもよい。

手術データシステム３１５０２は、手術状況認識、ライブ撮像、シミュレーション撮像などを提供することができる手術コンピューティングプラットフォームを含むことができる。例えば、手術データシステム３１５０２は、本明細書に開示される手術データシステム３０００８を含んでもよい。例えば、手術データシステム３１５０２は、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素を含み得る。例えば、手術データシステム３１５０２は、本明細書に開示される手術用ハブ１０６を含み得る。

手術データシステム３１５０２は、シミュレーションヒューマンユーザインターフェース３１５０６と通信し得る。例えば、手術データシステム３１５０２は、通信レッグ３１５０８を介してシミュレーションヒューマンユーザインターフェース３１５０６と通信し得る。ヒューマンインターフェースデバイス３１５０６は、本明細書に開示されるヒューマンインターフェースデバイス３０００４を含んでもよい。一例では、ヒューマンインターフェースデバイス３１５０６は、手術室環境に特に適したユーザ制御を含むことができる。例えば、ヒューマンインターフェースデバイス３１５０６は、簡略化された再生制御を含んでもよい。例えば、ヒューマンインターフェースデバイス３１５０６は、同じコンソールを使用してシミュレーションと相互作用し、生きている患者と相互作用することができるように、シミュレーション／ライブカットオーバスイッチを有するロボット手術外科医コンソールを含むことができる。ある実施形態では、そのようなヒューマンインターフェースデバイス３１５０６は、ライブ処置の撮像及びシミュレーションの撮像のビデオオーバーレイを可能にし得る。

手術データシステム３１５０２は、手術用ディスプレイ３１５１０と通信し得る。例えば、手術データシステム３１５０２は、通信レッグ３１５１２を介して手術用ディスプレイ３１５１０と通信し得る。手術用ディスプレイ３１５１０は、本明細書に開示されるコンピュータ実装インタラクティブ手術システム１００の１つ以上の構成要素を含んでもよい。例えば、手術用ディスプレイ３１５１０は、一次ディスプレイ１１９、第１の非滅菌ディスプレイ１０７、第２の非滅菌ディスプレイ１０９などの可視化システム１０８の態様を含むことができる。

手術データシステム３１５０２及び／又はシミュレーションデバイス３１５００は、例えば、術前計画からの予期せぬ逸脱に起因する重要なステップを再設定及び／又は再分析するために、処置中にシミュレーションのアーカイブされた部分にアクセスするために使用されてもよい。一例では、処置計画は、重要な手術ステップにおける外科的選択を用いて作成され得る。この処置計画のシミュレーションは、実際の処置中に記録され、アーカイブされ、及び／又は後に呼び出され得る。例えば、そのような模擬スナップショットは、新しいデータ及び／又は処置中に遭遇する予期せぬ問題を検討及び／又は更新するために、外科医によって呼び出されてもよい。例えば、シミュレーションは、外科医に新しい結果、選択肢、及び／又は影響を提供するために、処置中に再実行されてもよい。また、例えば、シミュレーションは、シミュレートされた患者の解剖学的構造を修正するなど、処置中に学習された情報で更新されてもよい。そのような更新されたシミュレーションは、処置計画（及び、例えば、対応する外科医エージェント）に従って、処置中に再実行され得る。また、そのような更新されたシミュレーションは、例えば、元のシミュレーションよりもライブ処置とより密接に整合させるために使用され得る。

一例では、手術データシステム３１５０２及び／又はシミュレーションデバイス３１５００は、処置の模擬スナップショット及び／又は現実世界のスナップショットをキャプチャするために使用され得る。そのようなスナップショットは、処置の後の時点で、例えば、１つ以上の器官及び／又は陥凹が、外科医の視野を歪曲及び／又は閉塞しているときに、呼び出されてもよい。例えば、手術ビューは、インドシアニングリーンベースの（ＩＣＧベースの）解剖学的描写鮮明度に関連付けられた好ましい時点などの好ましい時点からの１つ以上のスナップショットで拡張されてもよい。そして、重要な構造が識別されると、手術データシステム３１５０２及び／又はシミュレーションデバイス３１５００は、シミュレーションにおいて最後に見られたスナップショットを再適用（例えば、オーバーレイ）するために使用され得る。

一例では、手術データシステム３１５０２及び／又はシミュレーションデバイス３１５００は、アプローチ、後退、器具の使用などの代替的な外科医の選択など、シミュレーションにおける特定の代替的なステップをアーカイブするために使用され得る。そのような模擬代替タスクは、処置中にアクセスされ得る。シミュレーションは、ライブ処置の現在の状態と整合するように更新され、次いで、予期される結果に関連するメトリックを提供するために、選択された代替案と共に再実行されてもよい。そのような再実行シミュレーションは、この新しい情報を用いて自動的に再実行されてもよい。また、手術データシステム３１５０２及び／又はシミュレーションデバイス３１５００は、そのような新しい情報を組み込んで、処置予測を更新することができる。

一例では、新しい及び／又は更新されたシミュレーションは、ライブ処置中に「オンザフライ」で構築され得る。そのようなシミュレーションは、外科医が患者の反応（例えば、微小転帰）を推測し、特定のきめ細かい手術ステップの選択の示唆を調査することを可能にし得る。例えば、そのようなシミュレーションは、外科医が、ライブ処置における活動及び／又は観察された挙動に対する原因及び／又は相関反応を決定することを可能にし得る。

一例では、手術データシステム３１５０２及び／又はシミュレーションデバイス３１５００は、所望の結果から逆方向に作業し、所望の結果に関連付けられる１つ以上のステップ及び／又は境界条件を識別するために比較するために使用され得る。例えば、前方及び後方シミュレーションステップを使用する比較は、外科医が、実際の外科的アプローチと模擬外科的アプローチとの間の類似性、及び特定の目的に対するその関係を推定することを可能にし得る。

ライブ手術と協調したシミュレーションの動作は、例えば、手術データシステム３１５０２によって調整され得る。ライブ手術と協調したシミュレーションの動作は、１つ以上の処置データセットを参照して調整され得る。

手術データシステム３１５０２及び／又はシミュレーションデバイス３１５００の使用を例示すると、手術用ディスプレイ３１５１０は、現在のライブ手術を示し得る。手術用ディスプレイ３１５０２は、胸部大脳葉切断術における上葉操作に関連付けられた現在のタスクを表示していてもよい。示されるように、外科医の現在の技法は、手術用ディスプレイ３１５０２上の肺静脈及び／又は肺動脈構造の不十分な可視化を引き起こしている。この時点で、外科医は、シミュレーションヒューマンユーザインターフェース３１５０６を介して対応するタスクのシミュレーションにアクセスすることができる。記憶されたシミュレーションは、同じ及び／又は類似の解剖学的構造に基づいてシミュレートされたもの、同じ外科医によって実行されたもの、熟練した外科医によって実行されたもの、同じ及び／又は類似の器具を用いてシミュレートされたものなどを含んでもよい。ライブ処置の現在のタスクは、記憶されたシミュレーションの対応する部分と調整され得る（例えば、共通タスクベースのインデックス付けを介して調整される）。要求に応答して、手術データシステム３１５０２及び／又はシミュレーションデバイス３１５００は、シミュレーションの適切な部分を検索し、それを相互作用のために外科医に提示することができる。示されるように、シミュレーションは、シミュレーションヒューマンユーザインターフェース３１５０６を介して技法のシミュレーションを示すことによって、肺静脈及び／又は肺動脈構造の可視化を向上させ得る、改良された器具技法を外科医に知らせ得る。

ライブ外科手術と協調したシミュレーションの動作は、模擬処置のための処置計画、実行された実際のシミュレーションに関連付けられた処置データ、ライブ外科処置のための処置計画データ、ライブ外科処置からの状況認識データなどを参照して調整され得る。

図１３は、時間ベースの手術データ及びシミュレーションデータを示す。ここでは、シミュレートされた処置の例示的な処置計画データ３１５１６、実行された実際のシミュレーションに関連付けられた例示的な処置データ３１５１８、ライブ外科処置の例示的な処置計画データ３１５２０、及びライブ外科処置からの例示的な状況認識データ３１５２２が、タイムライン３１５２４を参照して一連のタスクとして示されている。データセット３１５１６、３１５１８、３１５２０、３１５２２は、同様に構造化することができる。例えば、データセット３１５１６、３１５１８、３１５２０、３１５２２は、図１１Ａを参照して本明細書に開示される例示的なデータ構造などの、共通及び／又は互換性のあるデータ構造に従って構造化され得る。

模擬処置計画３１５１６は、時間Ｔ１においてタスク１が終了し、タスク２が開始するように計画された。同様に、模擬処置が、例えば実際のライブ処置の前にシミュレーションとして実行された場合、シミュレーションデータ３１５１８によって記録されるように、時間Ｔ１において、模擬タスク１が終了し、模擬タスク２が開始した。この例では、ライブ処置のための処置計画データ３１５２０は、時間Ｔ１においてタスク１が終了するように計画され、タスク２が開始するように計画されたことを示した。しかしながら、ライブ外科処置中に、外科状況認識データ３１５２２によって示されるように、時間Ｔ１とは異なる及び／又は時間Ｔ１の後である時間Ｔ２において、タスク１が終了し、タスク２が開始した。

ここで、時間ベースの基準を用いると、ライブ処置中に見る及び／又は相互作用するためにシミュレートされた処置のコピーを検索する外科医は、タイミングの不一致に直面することになる。そのような外科医は、時間Ｔ２におけるライブ手術における対応するタスクに一致したシミュレーションにおける適切な時間Ｔ１を見つけるために、前方及び／又は後方へのジョグ動作によって、シミュレーションの再生をライブ処置に同期させることができる。

図１４は、時間ベースの手術データ及びシミュレーションデータのタスクベースのインデックス付けを示す。ここでは、模擬処置の例示的な処置計画データ３１５２６、実行された実際のシミュレーションに関連付けられた例示的な処置データ３１５２８、ライブ外科処置の例示的な処置計画データ３１５３０、及びライブ外科処置からの例示的な状況認識データ３１５３２が、タスクベースのインデックス３１５３４を参照して一連のタスクとして示されている。データセット３１５２６、３１５２８、３１５３０、３１５３２は、同様に構造化することができる。例えば、データセット３１５２６、３１５２８、３１５３０、３１５３２は、図１１Ａを参照して本明細書に開示される例示的なデータ構造などの、共通及び／又は互換性のあるデータ構造に従って構造化され得る。例えば、データセット３１５２６、３１５２８、３１５３０、３１５３２は、個々のタスクに固有の識別子を提供するタスク識別子フィールドを用いて構造化されてもよい。例えば、データセット３１５２６、３１５２８、３１５３０、３１５３２は、同じタスクの様々な計画されたインスタンス、模擬インスタンス、又は実際のインスタンスに関する情報を含むデータ要素のための共通鍵であるタスクタイプフィールドを用いて構造化され得る。

模擬処置計画３１５２６において、計画されたタスク１が終了するための遷移及び／又は計画されたタスク２が開始するための遷移は、インデックス０１でインデックス付けされ得る。同様に、模擬処置がシミュレーションとして実行されたとき、模擬タスク１の終了及び／又は模擬タスク２の開始は、シミュレーションデータ３１５２８内のインデックス０１においてインデックス付けされ得る。同様に、ライブ処置のための処置計画データ３１５３０は、計画されたタスク１の終了及び計画されたタスク２の開始をインデックス０１でインデックス付けする。そして、ライブ外科処置中に、外科状況認識データ３１５３２によって示されるように、タスク１の終了及び／又はタスク２の開始は、インデックス０１でインデックス付けされ得る。

インデックス付けは、例えば、１つのタスクから後続のタスクへの遷移に基づくことができる。インデックス付けは、タスクの完了に基づくことができる。インデックス付けは、タスクの開始に基づくことができる。インデックス付けは、異なるデータセットにわたって共通であり得る。例えば、タスクは、異なるデータセット内のそのタスクの対応するインスタンスごとに共通のインデックス付けを有することができる。処置データ構造により、そのような共通インデックス付けが可能となり得る。一例では、特定のタスクから後続のタスクへの遷移は、タスクに関連付けられて計画された時間及び／又は実際に経過した時間にかかわらず、他のデータセット内のタスク及び後続のタスクの対応するインスタンスで共通にインデックス付けされ得る。同様に、特定の模擬タスクから後続の模擬タスクへの遷移は、模擬タスクの時間サイクル及び／又はフレームレートにかかわらず、別のデータセット内のライブタスク及び後続のライブタスクの対応するインスタンスで共通にインデックス付けされ得る。

ここで、タスクベースのインデックス付けを用いて、ライブ処置中に見る及び／又は相互作用するためにシミュレートされた処置のコピーを検索する外科医は、共通インデックス、例えばインデックス０１を使用して、ライブ処置中の現在のポイントに対応するシミュレーションの部分など、シミュレーションの適切な部分にスキップすることができる。

一実施形態では、外科医は、１つ以上の代替の模擬タスクを実行及び／又は検索することができる。代替の模擬タスクは、代替の模擬タスク３１５３６のための対応する処置計画データによって示され得る。代替の模擬タスクは、代替の模擬タスク３１５３８のシミュレーションデータによって示され得る。ここで、シミュレーションのために計画された対応する代替タスクの開始は、インデックス０１で同様にインデックス付けされ得る。シミュレートされた対応する代替タスクの開始は、同様にインデックス０１でインデックス付けされ得る。そのような代替は、共通データ構造を介して記録されてもよい。例えば、そのような代替は、例えば、図１１Ｂを参照して本明細書に開示されるデータ構造によって適応され得る。例えば、分岐ポイント及び／又は決定ポイントなどにおいて、互いの代替として機能し得るタスクは、共通にインデックス付けされ得る。

インデックス情報は、例えば、開示されたデータセット３１５２６、３１５２８、３１５３０、３１５３２、３１５３６、３１５３８の一部として記憶されてもよい。インデックス情報は、例えば、開示されたデータセット３１５２６、３１５２８、３１５３０、３１５３２、３１５３６、３１５３８とは別に記憶されてもよい。インデックス情報は、例えば、集中データベースに記憶されてもよい。集中データベース内のインデックス情報は、例えば、開示されたデータセット３１５２６、３１５２８、３１５３０、３１５３２、３１５３６、３１５３８内に存在する一意のタスク識別子への相互参照を提供することができる。

図１５は、ライブ外科処置においてシミュレーション支援を提供するための例示的なプロセスのフロー図である。３１５４０において、ライブ外科処置のための処置計画が識別され得る。例えば、ライブ外科処置のための処置計画は、術前計画プロセスの一部のように、識別され、作成され、コピーされ、修正され得る。ライブ外科処置のためのそのような処置計画は、ライブ外科処置を管理及び／又は支援する際に手術データシステムによって使用され得る。例えば、そのような処置計画は、状況認識機能を支援するために手術データシステムによって使用され得る。

３５１４２において、記憶されたシミュレーションが識別され得る。記憶されたシミュレーションは、例えば、３１５４０で識別された処置計画に対応する外科処置のシミュレーションであってもよい。記憶されたシミュレーションは、例えば、共通のタスクを有することによって処置計画に対応する手術計画のシミュレーションであってもよい。記憶されたシミュレーションは、例えば患者の解剖学的構造などのセットアップを有することによって処置計画に対応する手術計画のシミュレーションであってもよい。記憶されたシミュレーションは、例えば、処置計画に記載されたタスクの代替として機能し得るタスクを有することによって処置計画に対応する手術計画のシミュレーションであってもよい。

一例では、処置計画は、タスクのセットを含み得る。記憶されたシミュレーションは、模擬活動を示す情報を含んでもよい。模擬活動の情報は、処置計画内のタスクのセットに従ってインデックス付けされ得る。

３１５４４において、ライブ外科処置の現在の部分が決定され得る。例えば、ライブ外科処置の現在の部分は、ライブ外科処置中に受信された情報から決定され得る。例えば、ライブ外科処置の現在の部分は、例えば、手術用ハブ１０６等の手術データシステムにおいてライブ外科処置中に受信された情報から決定されてもよい。例えば、ライブ外科処置の現在の部分は、ライブ外科処置中に受信された外科状況認識情報から決定され得る。例えば、ライブ外科処置の現在の部分は、ライブ外科処置中に受信されたタスクインデックス情報から決定され得る。

３１５４６において、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分が検索され得る。例えば、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分は、例えば、３１５４４において、ライブ外科処置中に受信された情報の分析に基づいて検索されてもよい。例えば、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分は、記憶されたシミュレーションの部分とライブ外科処置の現在の部分との間の共通インデックスに基づいて検索され得る。

一例では、ライブ外科処置の現在の部分は、３１５４６において、３１５４２において識別された処置計画からの現在のタスクに従って（現在のタスクのインデックスなどによって）決定され得る。記憶されたシミュレーションの部分（例えば、模擬活動を示す情報の部分）は、現在のタスクのインデックスに基づいて検索され得る。

３１５４６において、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分が検索され得る。例えば、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分は、記憶されたシミュレーションから検索され得る。例えば、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分は、例えば、シミュレーションデバイス３１５００などのシミュレーションデバイス内の記憶されたシミュレーションから検索され得る。

３１５４６において、ライブ外科処置の現在の部分に対応するシミュレーションの部分が、ユーザ相互作用のために提示され得る。例えば、ライブ外科処置の現在の部分に対応するシミュレーションの部分は、ユーザ再生のために提示され得る。例えば、ライブ外科処置の現在の部分に対応するシミュレーションの部分は、ユーザが模擬活動を実行するために提示され得る。例えば、ライブ外科処置の現在の部分に対応するシミュレーションの部分は、ユーザが代替的な手術タスクを考慮するために提示され得る。

ライブ外科処置の現在の部分に対応するシミュレーションの部分は、例えば、手術データシステム３１５０２などの手術データシステムによるユーザ相互作用のために提示され得る。ライブ外科処置の現在の部分に対応するシミュレーションの部分は、例えば、シミュレーションデバイス３１５００などのシミュレーションデバイスによるユーザ相互作用のために提示され得る。ライブ外科処置の現在の部分に対応するシミュレーションの部分は、例えば、手術データシステム３１５０２と協働するシミュレーションデバイス３１５００など、手術データシステムと協働するシミュレーションデバイスによって、ユーザ相互作用のために提示され得る。

例えば、制御入力は、ライブ処置中に受信され得る。制御入力は、ライブ外科処置の現在の部分に対応するシミュレーションの部分のためのものであってもよい。制御入力に基づいて、ライブシミュレーションが実行され得る。ライブシミュレーションは、ライブ処置中に実行され得る。例えば、ライブシミュレーションは、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分に対応し得る。一例では、そのような制御は、記憶されたシミュレーションにおけるユーザ活動の修正を含み得る。例えば、ユーザ活動の修正は、選択、機器構成、技法選択、アプリケーション位置等のうちのいずれかを修正することを含んでもよい。一例では、そのような制御は、記憶されたシミュレーションのシミュレーションの設定の修正を含んでもよい。例えば、設定の修正は、模擬解剖学的構造を修正することを含み得る。

ライブ外科処置の現在の部分の視覚化が提示されてもよい。シミュレーションの検索された部分の提示が提示されてもよい。ライブ外科処置の現在の部分の視覚化は、ライブ外科処置の現在の部分に対応するシミュレーションの部分の提示と同時に提示され得る。一例では、ユーザ制御は、ライブ外科処置の現在の部分に対応する時間以外の時間に記憶されたシミュレーションを見るためのタイムラインユーザ制御を含むことができる。一例では、記憶されたシミュレーションの異なる部分が、タイムライン制御のユーザの選択に基づいて検索され得る。

一例では、ユーザ制御は、ライブ外科処置の現在の部分に対応するタスク以外のタスクにおいて記憶されたシミュレーションを見るためのタスクベースのインデックスユーザ制御を含み得る。一例では、記憶されたシミュレーションの異なる部分が、タスクベースのインデックスユーザ制御のユーザの選択に基づいて検索され得る。一例では、ユーザ制御は、処置計画ユーザ制御を含み得る。ユーザは、処置計画ユーザ制御を使用して、処置計画ユーザ制御によって選択された一部分に対応する記憶されたシミュレーションの異なる部分を見ることができる。例えば、記憶されたシミュレーションの異なる部分は、処置計画制御のユーザの選択に基づいて検索されてもよい。

３１５４０～３１５４８におけるプロセスフローは、手術データシステム３１５０２のプロセッサ、シミュレーションデバイス３１５００のプロセッサ、ヒューマンインターフェースデバイス３１５０６のプロセッサなどの任意の適切に構成されたプロセッサにおいて実行され得る。

シミュレーション支援は、手術中に外科医に能動的なガイダンスを提供するために、ライブ外科処置中の手術シミュレーションの使用を指すことができる。例えば、シミュレーション支援は、ライブ外科処置と同時にかつ連続的に実行されるシミュレーション環境を有することを指し得る。例えば、シミュレーション支援は、ライブ外科処置と同時にアクティブに実行されているシミュレーションではなく、少なくとも１回実行されたシミュレーションの一部を提示するように問い合わせることができるシミュレーションを指すことができる。これらの実施形態の各々は、実際の外科処置中に外科医に支援又はガイダンスを提供すると考えることができる。

ユーザ相互作用は、ユーザガイダンスを指してもよい。換言すれば、シミュレーションの部分は、手術をガイドする目的で外科医に提示又は表示され得る。ライブ外科処置は、リアルタイムで行われている外科処置を指し得ることが理解され得る。換言すれば、ライブ外科処置は、シミュレーションの動作と同時に行われ得る。

プロセッサは、受信された情報を通して（例えば、画像処理を通して、又は外科的コンテキストを決定するように構成されている、手術用ハブから受信された情報を通して）、ライブ外科処置の部分を決定するように構成されてもよい。

以下の実施形態の非包括的な列挙はまた、本開示の一部を形成する。

実施形態１．ライブ外科処置においてシミュレーション支援を提供するためのデバイスであって、当該デバイスは、
プロセッサを備え、プロセッサは、
ライブ外科処置のための処置計画を識別し、
処置計画に対応する外科処置の記憶されたシミュレーションを識別し、
ライブ外科処置の間に受信された情報から、ライブ外科処置の現在の部分を決定し、
記憶されたシミュレーションから、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分を検索し、
ユーザ相互作用のために、ライブ外科処置の現在の部分に対応するシミュレーションの部分を提示するように構成されている、デバイス。

この実施形態では、「シミュレーション支援」は、手術中に外科医に能動的なガイダンスを提供するために、ライブ外科処置中の手術シミュレーションの使用を指すことができる。いくつかの実施形態では、「シミュレーション支援」は、ライブ外科処置と同時にかつ連続的に実行されるシミュレーション環境を有することを指し得る。あるいは、「シミュレーション支援」は、ライブ外科処置と同時にアクティブに実行されているシミュレーションではなく、少なくとも１回実行されたシミュレーションの一部を提示するように問い合わせることができるシミュレーションを指してもよい。これらの実施形態の各々は、実際の外科処置中に外科医に支援又はガイダンスを提供すると考えることができる。

本実施形態のプロセッサは、受信された情報を通して（例えば、画像処理を通して、又は外科的コンテキストを決定するように構成されている、手術用ハブから受信された情報を通して）、ライブ外科処置の部分を決定するように構成される。この状況認識の利点は、プロセッサが、記憶されたシミュレーションから情報を検索して、最適な手術を行う際に外科医をガイドすることができることである。

実施形態２．処置計画は、タスクのセットを含み、記憶されたシミュレーションは、タスクのセットに従ってインデックス付けされた模擬活動を示す情報を含む、実施形態１に記載のデバイス。

実施形態３．プロセッサは、処置計画から現在のタスクを決定することによって、ライブ外科処置の現在の部分を決定するように更に構成されている、実施形態２に記載のデバイス。

実施形態４．プロセッサは、現在のタスクにインデックス付けされた模擬活動を示す情報の選択された部分を検索することによって、ライブ外科処置の現在の部分に対応するシミュレーションの部分を検索するように更に構成されている、実施形態３に記載のデバイス。

実施形態５．プロセッサは、ライブ外科処置の現在の部分の視覚化を、ライブ外科処置の現在の部分に対応するシミュレーションの部分の提示と同時に提示するように更に構成されている、実施形態１～４のいずれか１つに記載のデバイス。

実施形態６．ユーザ相互作用は、ライブ外科処置の現在の部分に対応する時間以外の時間に記憶されたシミュレーションを見るためのタイムラインユーザ制御を含む、実施形態１～５のいずれか１つに記載のデバイス。

この実施形態の機能は、外科医が将来の行動の潜在的な結果を見ることを可能にし、それにより彼らの決定に影響を与え、それによって手術結果を改善することができる。この改善されたガイダンスは、特に、不確かな状況において将来の行動を予測することが患者の健康にとって有益となり得る場合に、外科医にとって利点をもたらすことができる。

実施形態７．プロセッサは、タイムライン制御のユーザの選択に基づいて、記憶されたシミュレーションの異なる部分を検索するように構成されている、実施形態６に記載のデバイス。

実施形態８．ユーザ相互作用は、処置計画ユーザ制御によって選択されたものに対応する記憶されたシミュレーションの異なる部分を見るための処置計画ユーザ制御を含む、実施形態１～８のいずれか１つに記載のデバイス。

実施形態９．プロセッサは、処置計画制御のユーザの選択に基づいて、記憶されたシミュレーションの異なる部分を検索するように構成されている、実施形態８に記載のデバイス。

実施形態１０．プロセッサは、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分について、ライブ処置中に制御入力を受信し、制御入力を用いて、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分に対応するライブシミュレーションを実行するように更に構成されている、実施形態１～９のいずれか１つに記載のデバイス。

実施形態１１．制御入力は、記憶されたシミュレーションにおけるユーザ活動の修正である、実施形態１０に記載のデバイス。

実施形態１２．ユーザ活動は、機器選択、機器構成、技法選択、又はアプリケーション位置のいずれかを含む、実施形態１１に記載のデバイス。

実施形態１３．制御入力は、シミュレーションの設定の修正である、実施形態１０～１２のいずれか１つに記載のデバイス。

実施形態１４．制御入力は、模擬解剖学的構造の修正である、実施形態１０～１３のいずれか１つに記載のデバイス。

実施形態１５．ライブ外科処置におけるシミュレーション支援を提供するためのコンピュータ実装方法であって、当該方法は、
ライブ外科処置のための処置計画を識別することと、
処置計画に対応する外科処置の記憶されたシミュレーションを識別することと、
ライブ外科処置の間に受信された情報から、ライブ外科処置の現在の部分を決定することと、
記憶されたシミュレーションから、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分を検索することと、
ユーザ相互作用のために、ライブ外科処置の現在の部分に対応するシミュレーションの部分を提示することと、を含む、方法。

実施形態１６．処置計画は、タスクのセットを含み、記憶されたシミュレーションは、タスクのセットに従ってインデックス付けされた模擬活動を示す情報を含む、実施形態１５に記載のコンピュータ実装方法。

実施形態１７．処置計画から現在のタスクを決定することによって、ライブ外科処置の現在の部分を決定することを更に含む、実施形態１６に記載のコンピュータ実装方法。

実施形態１８．現在のタスクにインデックス付けされた模擬活動を示す情報の選択された部分を検索することによって、ライブ外科処置の現在の部分に対応するシミュレーションの部分を検索することを更に含む、実施形態１７に記載のコンピュータ実装方法。

実施形態１９．ライブ外科処置の現在の部分の視覚化を、ライブ外科処置の現在の部分に対応するシミュレーションの部分の提示と同時に提示することを更に含む、実施形態１５～１８のいずれか１つに記載のコンピュータ実装方法。

実施形態２０．ユーザ相互作用は、ライブ外科処置の現在の部分に対応する時間以外の時間に記憶されたシミュレーションを見るためのタイムラインユーザ制御を含む、実施形態１５～１９のいずれか１つに記載のコンピュータ実装方法。

実施形態２１．タイムライン制御のユーザの選択に基づいて、記憶されたシミュレーションの異なる部分を検索することを更に含む、実施形態２０に記載のコンピュータ実装方法。

実施形態２２．ユーザ相互作用は、処置計画ユーザ制御によって選択されたものに対応する記憶されたシミュレーションの異なる部分を見るための処置計画ユーザ制御を含む、実施形態１５～２１のいずれか１つに記載のコンピュータ実装方法。

実施形態２３．処置計画制御のユーザの選択に基づいて、記憶されたシミュレーションの異なる部分を検索することを更に含む、実施形態２２に記載のコンピュータ実装方法。

実施形態２４．ライブ外科手術の現在の部分に対応するシミュレーションの部分について、ライブ処置中に制御入力を受信することと、制御入力を用いて、ライブ外科手術の現在の部分に対応する記憶されたシミュレーションの部分に対応するライブシミュレーションを実行することと、を更に含む、実施形態１５～２３のいずれか１つに記載のコンピュータ実装方法。

実施形態２５．制御入力は、記憶されたシミュレーションにおけるユーザ活動の修正である、実施形態２４に記載のコンピュータ実装方法。

実施形態２６．ユーザ活動は、機器選択、機器構成、技法選択、又はアプリケーション位置のいずれかを含む、実施形態２５に記載のコンピュータ実装方法。

実施形態２７．制御入力は、シミュレーションの設定の修正である、実施形態２４～２６のいずれか１つに記載のコンピュータ実装方法。

実施形態２８．制御入力は、模擬解剖学的構造の修正である、実施形態２４～２７のいずれか１つに記載のコンピュータ実装方法。

実施形態２９．ライブ外科処置においてシミュレーション支援を提供するためのデバイスであって、当該デバイスは、
プロセッサを備え、プロセッサは、
ライブ外科処置のための処置計画を識別し、
処置計画に対応する外科処置の記憶されたシミュレーションを識別し、
記憶されたシミュレーションから、ライブ外科処置の一部分に対応する記憶されたシミュレーションの部分を検索し、
ユーザ相互作用のために、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分を提示し、
ライブ処置中に制御入力を受信し、
制御入力を用いて、ライブ外科処置の一部分に対応する記憶されたシミュレーションの部分に対応するライブシミュレーションを実行するように構成されている、デバイス。

実施形態３０．制御入力は、記憶されたシミュレーションにおけるユーザ活動の修正、シミュレーションの設定の修正、又は模擬解剖学的構造の修正のいずれかである、実施形態２９に記載のデバイス。

実施形態３１．コンピュータによって実行されると、コンピュータに実施形態１５～２８のいずれか１つに記載の方法を実行させる命令を含む、コンピュータ可読媒体。

以下の態様の非包括的な列挙はまた、本開示の一部を形成する。

態様１．ライブ外科処置においてシミュレーション支援を提供するためのデバイスであって、当該デバイスは、
プロセッサを備え、プロセッサは、
ライブ外科処置のための処置計画を識別し、
処置計画に対応する外科処置の記憶されたシミュレーションを識別し、
ライブ外科処置の間に受信された情報から、ライブ外科処置の現在の部分を決定し、
記憶されたシミュレーションから、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分を検索し、
ユーザ相互作用のために、ライブ外科処置の現在の部分に対応するシミュレーションの部分を提示するように構成されている、デバイス。

態様２．処置計画は、タスクのセットを含み、記憶されたシミュレーションは、タスクのセットに従ってインデックス付けされた模擬活動を示す情報を含む、態様１のデバイス。

態様３．プロセッサは、処置計画から現在のタスクを決定することによって、ライブ外科処置の現在の部分を決定するように更に構成されている、態様２のデバイス。

態様４．プロセッサは、現在のタスクにインデックス付けされた模擬活動を示す情報の選択された部分を検索することによって、ライブ外科処置の現在の部分に対応するシミュレーションの部分を検索するように更に構成されている、態様３のデバイス。

態様５．プロセッサは、ライブ外科処置の現在の部分の可視化を、ライブ外科処置の現在の部分に対応するシミュレーションの部分の提示と同時に提示するように更に構成されている、態様１のデバイス。

態様６．ユーザ制御は、ライブ外科処置の現在の部分に対応する時間以外の時間に記憶されたシミュレーションを見るためのタイムラインユーザ制御を含む、態様１のデバイス。

態様７．プロセッサは、タイムライン制御のユーザの選択に基づいて、記憶されたシミュレーションの異なる部分を検索するように構成されている、態様６のデバイス。

態様８．ユーザ制御は、処置計画ユーザ制御によって選択されたものに対応する記憶されたシミュレーションの異なる部分を見るための処置計画ユーザ制御を含む、態様１のデバイス。

態様９．プロセッサは、処置計画制御のユーザの選択に基づいて、記憶されたシミュレーションの異なる部分を検索するように構成されている、態様８のデバイス。

態様１０．プロセッサは、ライブ処置中に制御入力を受信し、制御入力を用いて、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分に対応するライブシミュレーションを実行するように更に構成されている、態様１のデバイス。

態様１１．制御入力は、記憶されたシミュレーションにおけるユーザ活動の修正である、態様１０のデバイス。

態様１２．ユーザ活動は、機器選択、機器構成、技法選択、又はアプリケーション位置のいずれかを含む、態様１１のデバイス。

態様１３．制御入力は、シミュレーションの設定の修正である、態様１０のデバイス。

態様１４．制御入力は、模擬解剖学的構造の修正である、態様１０のデバイス。

態様１５．ライブ外科処置においてシミュレーション支援を提供するための方法であって、当該方法は、
ライブ外科処置のための処置計画を識別することと、
処置計画に対応する外科処置の記憶されたシミュレーションを識別することと、
ライブ外科処置の間に受信された情報から、ライブ外科処置の現在の部分を決定することと、
記憶されたシミュレーションから、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分を検索することと、
ユーザ相互作用のために、ライブ外科処置の現在の部分に対応するシミュレーションの部分を提示することと、を含む、方法。

態様１６．処置計画は、タスクのセットを含み、記憶されたシミュレーションは、タスクのセットに従ってインデックス付けされた模擬活動を示す情報を含む、態様１５の方法。

態様１７．処置計画から現在のタスクを決定することによって、ライブ外科処置の現在の部分を決定することを更に含む、態様１６の方法。

態様１８．現在のタスクにインデックス付けされた模擬活動を示す情報の選択された部分を検索することによって、ライブ外科処置の現在の部分に対応するシミュレーションの部分を検索することを更に含む、態様１７の方法。

態様１９．ライブ外科処置においてシミュレーション支援を提供するためのデバイスであって、当該デバイスは、
プロセッサを備え、プロセッサは、
ライブ外科処置のための処置計画を識別し、
処置計画に対応する外科処置の記憶されたシミュレーションを識別し、
記憶されたシミュレーションから、ライブ外科処置の一部分に対応する記憶されたシミュレーションの部分を検索し、
ユーザ相互作用のために、ライブ外科処置の現在の部分に対応する記憶されたシミュレーションの部分を提示し、
ライブ処置中に制御入力を受信し、
制御入力を用いて、ライブ外科処置の一部分に対応する記憶されたシミュレーションの部分に対応するライブシミュレーションを実行するように構成されている、デバイス。

態様２０．制御入力は、記憶されたシミュレーションにおけるユーザ活動の修正、シミュレーションの設定の修正、又は模擬解剖学的構造の修正のいずれかである、態様１９のデバイス。

〔実施の態様〕
（１）ライブ外科処置においてシミュレーション支援を提供するためのデバイスであって、前記デバイスは、
プロセッサを備え、前記プロセッサは、
ライブ外科処置のための処置計画を識別し、
前記処置計画に対応する外科処置の記憶されたシミュレーションを識別し、
前記ライブ外科処置の間に受信された情報から、前記ライブ外科処置の現在の部分を決定し、
前記記憶されたシミュレーションから、前記ライブ外科処置の前記現在の部分に対応する前記記憶されたシミュレーションの部分を検索し、
ユーザ相互作用のために、前記ライブ外科処置の前記現在の部分に対応する前記シミュレーションの前記部分を提示するように構成されている、デバイス。
（２）前記処置計画は、タスクのセットを含み、前記記憶されたシミュレーションは、前記タスクのセットに従ってインデックス付けされた模擬活動を示す情報を含む、実施態様１に記載のデバイス。
（３）前記プロセッサは、前記処置計画から現在のタスクを決定することによって、前記ライブ外科処置の前記現在の部分を決定するように更に構成されている、実施態様２に記載のデバイス。
（４）前記プロセッサは、前記現在のタスクにインデックス付けされた模擬活動を示す前記情報の選択された部分を検索することによって、前記ライブ外科処置の前記現在の部分に対応する前記シミュレーションの部分を検索するように更に構成されている、実施態様３に記載のデバイス。
（５）前記プロセッサは、前記ライブ外科処置の前記現在の部分の視覚化を、前記ライブ外科処置の前記現在の部分に対応する前記シミュレーションの前記部分の提示と同時に提示するように更に構成されている、実施態様１～４のいずれかに記載のデバイス。

（６）前記ユーザ相互作用は、前記ライブ外科処置の前記現在の部分に対応する時間以外の時間に前記記憶されたシミュレーションを見るためのタイムラインユーザ制御を含む、実施態様１に記載のデバイス。
（７）前記プロセッサは、前記タイムライン制御のユーザの選択に基づいて、前記記憶されたシミュレーションの異なる部分を検索するように構成されている、実施態様６に記載のデバイス。
（８）前記ユーザ相互作用は、処置計画ユーザ制御によって選択されたものに対応する記憶されたシミュレーションの異なる部分を見るための前記処置計画ユーザ制御を含む、実施態様１に記載のデバイス。
（９）前記プロセッサは、前記処置計画制御のユーザの選択に基づいて、前記記憶されたシミュレーションの異なる部分を検索するように構成されている、実施態様８に記載のデバイス。
（１０）前記プロセッサは、前記ライブ外科処置の前記現在の部分に対応する前記記憶されたシミュレーションの前記部分について、前記ライブ処置中に制御入力を受信し、前記制御入力を用いて、前記ライブ外科処置の前記現在の部分に対応する前記記憶されたシミュレーションの前記部分に対応するライブシミュレーションを実行するように更に構成されている、実施態様１に記載のデバイス。

（１１）前記制御入力は、前記記憶されたシミュレーションにおけるユーザ活動の修正である、実施態様１０に記載のデバイス。
（１２）前記ユーザ活動は、機器選択、機器構成、技法選択、又はアプリケーション位置のいずれかを含む、実施態様１１に記載のデバイス。
（１３）前記制御入力は、前記シミュレーションの設定の修正である、実施態様１０に記載のデバイス。
（１４）前記制御入力は、模擬解剖学的構造の修正である、実施態様１０に記載のデバイス。
（１５）ライブ外科処置におけるシミュレーション支援を提供するためのコンピュータ実装方法であって、前記方法は、
ライブ外科処置のための処置計画を識別することと、
前記処置計画に対応する外科処置の記憶されたシミュレーションを識別することと、
前記ライブ外科処置の間に受信された情報から、前記ライブ外科処置の現在の部分を決定することと、
前記記憶されたシミュレーションから、前記ライブ外科処置の前記現在の部分に対応する前記記憶されたシミュレーションの部分を検索することと、
ユーザ相互作用のために、前記ライブ外科処置の前記現在の部分に対応する前記シミュレーションの前記部分を提示することと、を含む、方法。

（１６）前記処置計画はタスクのセットを含み、前記記憶されたシミュレーションは、前記タスクのセットに従ってインデックス付けされた模擬活動を示す情報を含む、実施態様１５に記載のコンピュータ実装方法。
（１７）前記処置計画から現在のタスクを決定することによって、前記ライブ外科処置の前記現在の部分を決定することを更に含む、実施態様１６に記載のコンピュータ実装方法。
（１８）前記現在のタスクにインデックス付けされた模擬活動を示す前記情報の選択された部分を検索することによって、前記ライブ外科処置の前記現在の部分に対応する前記シミュレーションの部分を検索することを更に含む、実施態様１７に記載のコンピュータ実装方法。
（１９）前記ライブ外科処置の前記現在の部分の視覚化を、前記ライブ外科処置の前記現在の部分に対応する前記シミュレーションの前記部分の提示と同時に提示することを更に含む、実施態様１５～１８のいずれかに記載のコンピュータ実装方法。
（２０）前記ユーザ相互作用は、前記ライブ外科処置の前記現在の部分に対応する時間以外の時間に前記記憶されたシミュレーションを見るためのタイムラインユーザ制御を含む、実施態様１５に記載のコンピュータ実装方法。

（２１）前記タイムライン制御のユーザの選択に基づいて、前記記憶されたシミュレーションの異なる部分を検索することを更に含む、実施態様２０に記載のコンピュータ実装方法。
（２２）前記ユーザ相互作用は、処置計画ユーザ制御によって選択されたものに対応する記憶されたシミュレーションの異なる部分を見るための前記処置計画ユーザ制御を含む、実施態様１５に記載のコンピュータ実装方法。
（２３）前記処置計画制御のユーザの選択に基づいて、前記記憶されたシミュレーションの異なる部分を検索することを更に含む、実施態様２２に記載のコンピュータ実装方法。
（２４）前記ライブ外科処置の前記現在の部分に対応する前記シミュレーションの前記部分について、前記ライブ処置中に制御入力を受信することと、前記制御入力を用いて、前記ライブ外科処置の前記現在の部分に対応する前記記憶されたシミュレーションの前記部分に対応するライブシミュレーションを実行することとを更に含む、実施態様１５に記載のコンピュータ実装方法。
（２５）前記制御入力は、前記記憶されたシミュレーションにおけるユーザ活動の修正である、実施態様２４に記載のコンピュータ実装方法。

（２６）前記ユーザ活動は、機器選択、機器構成、技法選択、又はアプリケーション位置のいずれかを含む、実施態様２５に記載のコンピュータ実装方法。
（２７）前記制御入力は、前記シミュレーションの設定の修正である、実施態様２４に記載のコンピュータ実装方法。
（２８）前記制御入力は、模擬解剖学的構造の修正である、実施態様２４に記載のコンピュータ実装方法。
（２９）ライブ外科処置においてシミュレーション支援を提供するためのデバイスであって、前記デバイスは、
プロセッサを備え、前記プロセッサは、
ライブ外科処置のための処置計画を識別し、
前記処置計画に対応する外科処置の記憶されたシミュレーションを識別し、
前記記憶されたシミュレーションから、前記ライブ外科処置の一部分に対応する前記記憶されたシミュレーションの部分を検索し、
ユーザ相互作用のために、前記ライブ外科処置の前記現在の部分に対応する前記記憶されたシミュレーションの前記部分を提示し、
前記ライブ処置中に制御入力を受信し、
前記制御入力を用いて、前記ライブ外科処置の前記一部分に対応する前記記憶されたシミュレーションの前記部分に対応するライブシミュレーションを実行するように構成されている、デバイス。
（３０）前記制御入力は、前記記憶されたシミュレーションにおけるユーザ活動の修正、前記シミュレーションの設定の修正、又は模擬解剖学的構造の修正のいずれかである、実施態様２９に記載のデバイス。

（３１）コンピュータによって実行されると、前記コンピュータに実施態様１５に記載の方法を実行させる命令を含む、コンピュータ可読媒体。

Claims

ライブ外科処置においてシミュレーション支援を提供するためのデバイスであって、前記デバイスは、
プロセッサを備え、前記プロセッサは、
ライブ外科処置のための処置計画を識別し、
前記処置計画に対応する外科処置の記憶されたシミュレーションを識別し、
前記ライブ外科処置の間に受信された情報から、前記ライブ外科処置の現在の部分を決定し、
前記記憶されたシミュレーションから、前記ライブ外科処置の前記現在の部分に対応する前記記憶されたシミュレーションの部分を検索し、
ユーザ相互作用のために、前記ライブ外科処置の前記現在の部分に対応する前記シミュレーションの前記部分を提示するように構成されている、デバイス。
前記処置計画は、タスクのセットを含み、前記記憶されたシミュレーションは、前記タスクのセットに従ってインデックス付けされた模擬活動を示す情報を含む、請求項１に記載のデバイス。
前記プロセッサは、前記処置計画から現在のタスクを決定することによって、前記ライブ外科処置の前記現在の部分を決定するように更に構成されている、請求項２に記載のデバイス。
前記プロセッサは、前記現在のタスクにインデックス付けされた模擬活動を示す前記情報の選択された部分を検索することによって、前記ライブ外科処置の前記現在の部分に対応する前記シミュレーションの部分を検索するように更に構成されている、請求項３に記載のデバイス。
前記プロセッサは、前記ライブ外科処置の前記現在の部分の視覚化を、前記ライブ外科処置の前記現在の部分に対応する前記シミュレーションの前記部分の提示と同時に提示するように更に構成されている、請求項１～４のいずれか一項に記載のデバイス。
前記ユーザ相互作用は、前記ライブ外科処置の前記現在の部分に対応する時間以外の時間に前記記憶されたシミュレーションを見るためのタイムラインユーザ制御を含む、請求項１に記載のデバイス。
前記プロセッサは、前記タイムライン制御のユーザの選択に基づいて、前記記憶されたシミュレーションの異なる部分を検索するように構成されている、請求項６に記載のデバイス。
前記ユーザ相互作用は、処置計画ユーザ制御によって選択されたものに対応する記憶されたシミュレーションの異なる部分を見るための前記処置計画ユーザ制御を含む、請求項１に記載のデバイス。
前記プロセッサは、前記処置計画制御のユーザの選択に基づいて、前記記憶されたシミュレーションの異なる部分を検索するように構成されている、請求項８に記載のデバイス。
前記プロセッサは、前記ライブ外科処置の前記現在の部分に対応する前記記憶されたシミュレーションの前記部分について、前記ライブ処置中に制御入力を受信し、前記制御入力を用いて、前記ライブ外科処置の前記現在の部分に対応する前記記憶されたシミュレーションの前記部分に対応するライブシミュレーションを実行するように更に構成されている、請求項１に記載のデバイス。
前記制御入力は、前記記憶されたシミュレーションにおけるユーザ活動の修正である、請求項１０に記載のデバイス。
前記ユーザ活動は、機器選択、機器構成、技法選択、又はアプリケーション位置のいずれかを含む、請求項１１に記載のデバイス。
前記制御入力は、前記シミュレーションの設定の修正である、請求項１０に記載のデバイス。
前記制御入力は、模擬解剖学的構造の修正である、請求項１０に記載のデバイス。
ライブ外科処置におけるシミュレーション支援を提供するためのコンピュータ実装方法であって、前記方法は、
ライブ外科処置のための処置計画を識別することと、
前記処置計画に対応する外科処置の記憶されたシミュレーションを識別することと、
前記ライブ外科処置の間に受信された情報から、前記ライブ外科処置の現在の部分を決定することと、
前記記憶されたシミュレーションから、前記ライブ外科処置の前記現在の部分に対応する前記記憶されたシミュレーションの部分を検索することと、
ユーザ相互作用のために、前記ライブ外科処置の前記現在の部分に対応する前記シミュレーションの前記部分を提示することと、を含む、方法。
前記処置計画はタスクのセットを含み、前記記憶されたシミュレーションは、前記タスクのセットに従ってインデックス付けされた模擬活動を示す情報を含む、請求項１５に記載のコンピュータ実装方法。
前記処置計画から現在のタスクを決定することによって、前記ライブ外科処置の前記現在の部分を決定することを更に含む、請求項１６に記載のコンピュータ実装方法。
前記現在のタスクにインデックス付けされた模擬活動を示す前記情報の選択された部分を検索することによって、前記ライブ外科処置の前記現在の部分に対応する前記シミュレーションの部分を検索することを更に含む、請求項１７に記載のコンピュータ実装方法。
前記ライブ外科処置の前記現在の部分の視覚化を、前記ライブ外科処置の前記現在の部分に対応する前記シミュレーションの前記部分の提示と同時に提示することを更に含む、請求項１５～１８のいずれか一項に記載のコンピュータ実装方法。
前記ユーザ相互作用は、前記ライブ外科処置の前記現在の部分に対応する時間以外の時間に前記記憶されたシミュレーションを見るためのタイムラインユーザ制御を含む、請求項１５に記載のコンピュータ実装方法。
前記タイムライン制御のユーザの選択に基づいて、前記記憶されたシミュレーションの異なる部分を検索することを更に含む、請求項２０に記載のコンピュータ実装方法。
前記ユーザ相互作用は、処置計画ユーザ制御によって選択されたものに対応する記憶されたシミュレーションの異なる部分を見るための前記処置計画ユーザ制御を含む、請求項１５に記載のコンピュータ実装方法。
前記処置計画制御のユーザの選択に基づいて、前記記憶されたシミュレーションの異なる部分を検索することを更に含む、請求項２２に記載のコンピュータ実装方法。
前記ライブ外科処置の前記現在の部分に対応する前記シミュレーションの前記部分について、前記ライブ処置中に制御入力を受信することと、前記制御入力を用いて、前記ライブ外科処置の前記現在の部分に対応する前記記憶されたシミュレーションの前記部分に対応するライブシミュレーションを実行することとを更に含む、請求項１５に記載のコンピュータ実装方法。
前記制御入力は、前記記憶されたシミュレーションにおけるユーザ活動の修正である、請求項２４に記載のコンピュータ実装方法。
前記ユーザ活動は、機器選択、機器構成、技法選択、又はアプリケーション位置のいずれかを含む、請求項２５に記載のコンピュータ実装方法。
前記制御入力は、前記シミュレーションの設定の修正である、請求項２４に記載のコンピュータ実装方法。
前記制御入力は、模擬解剖学的構造の修正である、請求項２４に記載のコンピュータ実装方法。
ライブ外科処置においてシミュレーション支援を提供するためのデバイスであって、前記デバイスは、
プロセッサを備え、前記プロセッサは、
ライブ外科処置のための処置計画を識別し、
前記処置計画に対応する外科処置の記憶されたシミュレーションを識別し、
前記記憶されたシミュレーションから、前記ライブ外科処置の一部分に対応する前記記憶されたシミュレーションの部分を検索し、
ユーザ相互作用のために、前記ライブ外科処置の前記現在の部分に対応する前記記憶されたシミュレーションの前記部分を提示し、
前記ライブ処置中に制御入力を受信し、
前記制御入力を用いて、前記ライブ外科処置の前記一部分に対応する前記記憶されたシミュレーションの前記部分に対応するライブシミュレーションを実行するように構成されている、デバイス。
前記制御入力は、前記記憶されたシミュレーションにおけるユーザ活動の修正、前記シミュレーションの設定の修正、又は模擬解剖学的構造の修正のいずれかである、請求項２９に記載のデバイス。
コンピュータによって実行されると、前記コンピュータに請求項１５に記載の方法を実行させる命令を含む、コンピュータ可読媒体。