JP7455965B2 - 患者モデルとカスタマイズ可能な手術室とを用いた外科手術作業フローをシミュレートするための仮想現実システム - Google Patents

Description

（関連出願の相互参照）
本ＰＣＴ出願は、米国特許出願公開第１６／６６７，２３７号（Ｖ００６０－ＵＳ１）及び米国特許出願公開第１６／６６７，２４１号（Ｖ００６０－ＵＳ２）による、本出願以前の出願日の利益を主張する。

（発明の分野）
本発明は、概して、外科手術用ロボットシステムに関し、より具体的には、ロボット外科手術を計画するためのシステム及び方法に関する。

腹腔鏡手術などの低侵襲手術（ＭＩＳ）は、外科手術中の組織損傷を低減することを意図した技術を伴う。例えば、腹腔鏡手術は、典型的には、患者に（例えば、腹部に）いくつかの小さな切開部を作成することと、切開部を通して患者に、１つ以上のツール及び少なくとも１つのカメラを導入することと、を伴う。次いで、導入された外科手術用ツールを使用し、カメラによって提供される視覚化補助を用いて、外科手術が実行され得る。

一般に、低侵襲手術は、患者に残る傷跡が小さく、患者の疼痛が少なく、患者の回復期間が短縮され、患者の回復に関連する医療コストが低減できるなど、複数の利点を提供する。低侵襲手術は、外科手術用ロボットシステムを用いて実行することができ、その外科手術用ロボットシステムは、遠隔オペレータからのコマンドに基づいて外科手術用ツールを操作するための、１本以上のロボットアームを含む。ロボットアームはその遠位端において、例えば、外科手術用エンドエフェクタ、撮像デバイス、患者の体腔及び器官にアクセスするためのカニューレなどの様々なデバイスを支持し得る。このようにして外科手術用ロボットアームは、手術の遂行を支援することができる。

そのようなロボットシステムを制御するには、ユーザ（例えば、外科医又は他のオペレータ）からの制御入力が必要となり得るが、そのような制御入力は、ユーザからの操作又はコマンドをロボットシステムの制御へと翻訳する、１つ以上のユーザインターフェースデバイスを介してなされる。例えば、ユーザからのコマンドに応答して、１つ以上のモータを有するツールドライバは、外科手術用ツールが患者の手術部位に位置決めされたときに、外科手術用ツールの１つ以上の自由度を作動させることができる。

手術を実施する前に外科手術用ロボットアームの配置を記載する外科手術用ロボット作業フローを計画立案することが望ましい場合があり得る。本明細書で論じられるプロセスを用いて手術前の配置を決定することにより、手術の成功の再現性を改善し、しかも有益なことには、どのような物理的環境（例えば、医療施設内の手術室）が、ある特定の外科手術用ロボット環境に適切であるかを決定することができる。外科手術用ロボットシステム（例えば、外科手術用ロボットアーム、外科手術用ロボットプラットフォーム、ユーザコンソール、制御タワー、及び他の外科手術用ロボット機器）の配置（例えば、場所及び配向）は、本明細書で論じられるプロセスに基づいて計画立案及び最適化され得る。

一部の実施形態では、外科手術用ロボットシステムを用いた外科手術用ロボット作業フローを計画立案するためのシステム及びプロセスが記載されている。１本以上の仮想外科手術用ロボットアームと、仮想患者と、を有する仮想外科手術環境が生成される。作業空間が、仮想患者において決定される。その作業空間に基づいて、１つ以上の仮想ツールの各々の位置が決定される。作業空間内での仮想ツールの到達範囲を維持するように、仮想ツールの位置に基づいて、１本以上の仮想外科手術用ロボットアームの各々の位置が決定される。

一部の実施形態では、ロボット外科手術の外科手術用ロボット作業フロー及びレイアウトを決定することは、段階的に改善され得る。仮想外科手術機器の作業フロー及びレイアウトが決定される。レイアウトは、物理的レイアウトを配置するための参照として使用される。次いで、物理的レイアウトを参照として使用して、仮想外科手術用ロボット機器を再配置することができる。このように、双方向の改善プロセスが、物理的環境における外科手術用ロボットシステムの設定を助けることができる。例えば、仮想手術室（ＯＲ）及び仮想外科手術機器を、既存の手術室モデル及び既存の機器モデルに基づいて生成することができる。物理的手術室を定義するセンサフィードバックが受信されるが、その物理的手術室は、物理的手術室内の外科手術用ロボットシステムを含む物理的機器を有する。仮想手術室及び仮想外科用手術機器は、センサフィードバックに基づいて更新される。仮想外科手術機器のレイアウトが、仮想手術室で最適化される。仮想外科手術機器の最適化されたレイアウトが、ディスプレイ上に表され得るが、これは、物理的手術室内の物理的外科手術機器を再配置するための参照として使用され得る。このプロセスは繰り返し実施され得る。

一実施形態による外科手術用ロボットシステムを示す。 一実施形態による外科手術用ロボットシステムのための作業フローを示す。 一実施形態による、作業フロー設定を生成及び最適化するためのシステムを示す。 一実施形態による、仮想外科手術環境を最適化するためのプロセスを示す。 一実施形態による、最適化された仮想外科手術環境を示す。 一実施形態による、物理的手術室からのフィードバックによって仮想外科手術環境を生成するフロー図を示す。

本発明の様々な態様及び変形形態の例が本明細書に記載され、添付の図面に例示される。以下の説明は、本発明をこれらの実施形態に限定することを意図するものではなく、むしろ、当業者が本発明を作製及び使用することを可能にすることを意図するものである。

以下の説明及び図面は、本開示を例示するものであり、本開示を限定するものとして解釈されるべきではない。本開示の様々な実施形態の完全な理解を提供するために、多数の具体的な詳細が記載されている。しかしながら、一部特定の例では、本開示の実施形態の簡潔な議論を提供するために、周知の又は従来と同じ詳細は説明されない。

本明細書において「一実施形態」又は「ある実施形態」への言及は、その実施形態に関連して説明された特定の特徴、構造又は特性が、本開示の少なくとも１つの実施形態に含まれ得ることを意味する。「一実施形態では」という句が本明細書の様々な箇所に見られるが、これらは必ずしも全てが同じ実施形態を指すというわけではない。

図１を参照すると、同図は、手術室内の例示的な外科手術用ロボットシステム１を描いた図である。ロボットシステム１は、ユーザコンソール２と、制御タワー３と、外科手術用ロボットプラットフォーム５（例えばテーブル、ベッドなどにある）１つ以上の外科手術用ロボットアーム４と、を含む。システム１は、患者６に対して手術を行うために使用される、任意の数のデバイス、ツール、又は付属品を組み込むことができる。例えば、システム１は、手術を行うために使用される１つ以上の外科手術用ツール７を含み得る。外科手術用ツール７は、外科手術を実行するために外科手術用アーム４の遠位端に取り付けられたエンドエフェクタであってもよい。

各外科手術用ツール７は、手術中に、手動で、ロボットで、又はその両方で操作され得る。例えば、外科手術用ツール７は、患者６の内部解剖学的構造に進入し、それを見る又は操作するために使用されるツールであってもよい。一実施形態では、外科手術用ツール７は、患者の組織を把持することができる把持器である。外科手術用ツール７は、ベッドの傍にいる操作者８によって手動で制御されてよく、又はそれが取り付けられた外科手術用ロボットアーム４の作動動作によってロボット制御され得る。ロボットアーム４は、テーブルに装着されたシステムとして示されているが、他の構成では、アーム４は、カート、天井、若しくは側壁、又は別の好適な構造的支持体に装着され得る。

一般に、外科医又は他の操作者などの遠隔操作者９が、ユーザコンソール２を使用して、アーム４及び／又は取り付けられた外科手術用ツール７を遠隔操作し得る（例えば、テレオペレーション）。ユーザコンソール２は、図１に示すように、システム１の残りの部分と同じ手術室内に位置していてもよい。しかしながら、他の環境では、ユーザコンソール２は、隣接する部屋若しくは近くの部屋に位置し得るか、又は遠く離れた場所、例えば、異なる建物、異なる都市、若しくは異なる国にあってもよい。ユーザコンソール２は、シート１０と、足踏み式制御部１３と、１つ以上の手持ち式ユーザ入力装置（ＵＩＤ）１４と、例えば、患者６内の手術部位を見た画像を表示するように構成された、少なくとも１つのユーザディスプレイ１５と、を備え得る。例示的なユーザコンソール２では、遠隔操作者９は、シート１０に座ってユーザディスプレイ１５を見ながら、足踏み式制御部１３及び手持ち式ユーザ入力装置１４を操作して、アーム４及び（アーム４の遠位端に装着された）外科手術用ツール７を遠隔制御している。

いくつかの変形例では、ベッドの傍にいる操作者８もまた、「ベッド対面」モードでシステム１を操作し得る。このモードでは、ベッドの傍にいる操作者８（ユーザ）が、同図の状況では患者６の側面にいて、例えば、片手に保持した手持ち式ユーザ入力装置１４でロボット駆動型ツール（アーム４に取り付けられたエンドエフェクタ）を、手動式の腹腔鏡ツールと同時に操作している。例えば、ベッドの傍にいる操作者の左手は、手持ち式ユーザ入力装置を操作して、ロボット構成要素を制御し、一方、ベッドの傍にいる操作者の右手は、手動式腹腔鏡ツールを操作していてもよい。このように、これらの変形例では、ベッドの傍にいる操作者８は、患者６に対して、ロボット支援型低侵襲手術と手動式腹腔鏡手術との両方を実施し得る。

例示的な手術（外科手術）の間、患者６は、滅菌状態で準備されドレープで覆われて、麻酔をかけられる。手術部位への当初のアクセスは、手動で実行され得るが、その間、ロボットシステム１のアームは、収容構成又は撤収構成にある（それによって、手術部位へのアクセスを容易にする）。アクセスが完了すると、アーム４を含むロボットシステム１の初期配置又は準備が実行され得る。次に、ユーザコンソール２の傍の遠隔操作者９が、足踏み式制御部１３及び手持ち式ユーザ入力装置１４を利用して、様々なエンドエフェクタ及びおそらくは、手術を行うための撮像システムを操作することで手術が進行する。手動による支援はまた、滅菌ガウンを着たベッドの傍にいる要員、例えば、ベッドの傍にいる操作者８によって、手術用ベッド又はテーブルで提供され得るが、この要員は、組織を退避させたり、手動再配置を実行したり、及びロボットアーム４のうちの１本以上に対してツールを交換したりなどの、タスクを実行し得る。また、ユーザコンソール２の傍にいる遠隔操作者９を支援するために、非滅菌状態の要員が存在していてもよい。手術又は外科手術が完了すると、システム１及びユーザコンソール２は、様々な術後の処置、例えば、洗浄又は滅菌、及びユーザコンソール２を介した医療記録の入力又は印刷などを容易にする状態に構成又は設定することができる。

一実施形態では、遠隔操作者９は、手持ち式ユーザ入力装置１４を保持し、動かして、ロボットシステム１のロボットアームアクチュエータ１７を動かすための入力コマンドを提供する。手持ち式ユーザ入力装置１４は、例えば、コンソールコンピュータシステム１６を介して、ロボットシステム１の残りの部分に通信可能に連結され得る。手持ち式ユーザ入力装置１４は、手持ち式ユーザ入力装置１４の動作、例えば、手持ち式ユーザ入力装置の手持ち式ハウジングの位置及び配向に対応する空間状態信号を生成することができ、その空間状態信号は、ロボットアームアクチュエータ１７の動きを制御するための入力信号となってもよい。ロボットシステム１は、空間状態信号から導出された制御信号を使用して、アクチュエータ１７の比例的動作を制御し得る。一実施形態では、コンソールコンピュータシステム１６のコンソールプロセッサは、空間状態信号を受信し、対応する制御信号を生成する。これらの制御信号、すなわちアーム４のセグメント又はリンクを動かすためにアクチュエータ１７がどのように通電されるかを制御する信号に基づいて、アームに取り付けられた対応する外科手術用ツールの動作は、手持ち式ユーザ入力装置１４の動作を模倣し得る。同様に、遠隔操作者９と手持ち式ユーザ入力装置１４との間の相互作用により、例えば、外科手術用ツール７の把持器のジョーを閉鎖させて患者６の組織を把持させる、把持制御信号を生成することができる。

外科手術用ロボットシステム１は、数個の手持ち式ユーザ入力装置１４を含み得るが、その場合、各手持ち式ユーザ入力装置についてそれぞれのアーム４のアクチュエータと外科手術用ツール（エンドエフェクタ）とを制御する、それぞれの制御信号が生成される。例えば、遠隔操作者９は、第１の手持ち式ユーザ入力装置１４を動かして、左ロボットアーム内にあるアクチュエータ１７の動作を制御し得るが、その場合、そのアクチュエータは、そのアーム４内の連結部、ギアなどを動作させることによって応答することになる。同様に、遠隔操作者９によって第２の手持ち式ユーザ入力装置１４を動かすと、別のアクチュエータ１７の動作を制御することになり、この動きは、ロボットシステム１の他の連結部、ギアなどを動作させることになる。ロボットシステム１は、患者の右側のベッド又はテーブルに固定された右アーム４と、患者の左側にある左アーム４と、を含み得る。アクチュエータ１７は、アーム４の関節の回転を駆動するように制御される、１つ以上のモータを含み得るが、その回転により、例えば、患者に対して、そのアームに取り付けられた外科手術用ツール７の内視鏡又は把持器の配向を変更させる。同じアーム４内のいくつかのアクチュエータ１７の動作は、ある特定の手持ち式ユーザ入力装置１４から生成された空間状態信号によって制御することができる。手持ち式ユーザ入力装置１４はまた、それぞれの外科手術用ツール把持器の動作を制御することができる。例えば、各手持ち式ユーザ入力装置１４は、それぞれの把持信号を生成することができ、この把持信号は、外科手術用ツール７の遠位端にある把持器のジョーを開放及び閉鎖するアクチュエータ、例えばリニアアクチュエータの動きを制御して、患者６内の組織を把持させるためものである。

一部の実施形態では、プラットフォーム５とユーザコンソール２との間の通信は、制御タワー３を介し得るが、制御タワー３は、ユーザコンソール２から（より具体的には、コンソールコンピュータシステム１６から）受信したユーザコマンドを、ロボットプラットフォーム５上のアーム４に送信されるロボット制御コマンドに変換し得る。制御タワー３はまた、プラットフォーム５からユーザコンソール２に戻る、ステータス信号及びフィードバックを送信し得る。ロボットプラットフォーム５、ユーザコンソール２、及び制御タワー３間の通信接続は、様々なデータ通信プロトコルの任意の好適なものを使用して、有線及び／又は無線リンクを介し得る。任意の有線接続が、手術室の床及び／若しくは壁又は天井に任意選択的に埋め込まれ得る。ロボットシステム１は、手術室内のディスプレイ、及びインターネット又は他のネットワークを介してアクセス可能である遠隔ディスプレイを含む、１つ以上のディスプレイにビデオ出力を提供し得る。ビデオ出力又はフィードはまた、プライバシーを確保するために暗号化され得るが、ビデオ出力の全て又は部分は、サーバ又は電子医療記録システムに保存され得る。

外科手術用ロボットアームは、可動性を有し、関節接合され、かつ／又はモータ付きの部材を有することができ、その部材は、複数の自由度を有し、遠位端において様々なツール又は付属物を保持することができるものである。例示的なシステムとしては、ｄａＶｉｎｃｉ（登録商標）外科システムが挙げられる。このｄａＶｉｎｃｉ（登録商標）外科システムは、低侵襲手術（例えば、泌尿器科外科手術、一般的腹腔鏡外科手術、婦人科腹腔鏡外科手術、一般的非心血管胸腔鏡外科手術、及び胸腔鏡支援心臓切開術）に使用することができる。「仮想外科手術用ロボットアーム」は、ユーザ設定のキャプチャされた動画上に表された、ロボットアームのコンピュータ生成表現物であり得る。仮想外科手術用ロボットアームは、実際のロボットアームの合成３Ｄモデルであり得る。代替的又は追加的に、仮想外科手術用ロボットアームは、視覚的補助を含むことができる。その例としては、矢印、ツール先端、又はロボットアームに関する姿勢情報を提供することに関連する他の表現（例えば、実際のロボットアームの幾何学的に簡略化された変形物）などが挙げられる。

作業フロー設定を生成及び最適化するためのシステム
外科手術用ロボットシステムの作業フローは、作業空間として既知の患者の領域において手術を実行することができるようにするための手術機器の準備について記載している。作業フローの最適化は、外科手術の準備をするために、作業空間、ツールの配置、ポートの場所、及び外科手術用ロボットアームの設定を決定することを含み得る。図２を参照すると、衝突のリスクを低減し、作業空間内のツールの到達可能性を最大化するように、作業フローが仮想環境３００内で最適化され得る。本明細書で使用される場合、「仮想」とは、２次元又は３次元空間におけるオブジェクト（例えば、外科手術機器、部屋、及び／又は人々）の、コンピュータによって生成される表現物を記載し得るということを理解されたい。現実での対応するものを表す仮想機器が生成され得るが、これはサイズ及び形状を定義している。例えば、仮想外科手術用ロボットアームは実際の外科手術用ロボットアームを表すことができ、仮想対象は現実の患者を表すことができ、仮想手術室は、実際の手術室を表すことができる。オブジェクトのコンピュータモデルは、例えば外科手術機器及び患者など（ただし、それらに限定されない）の、物理的オブジェクトの属性を説明するデータをグループ化したものである。仮想オブジェクトは、コンピュータモデルに基づいて生成することができる。

仮想患者内の作業空間３１０は、例えば、手術のタイプ、患者の解剖学的構造、患者のサイズなどに基づいて定義することができる。ツール３０４の位置は、作業空間及び／又は作業空間内の外科手術用ツールの到達範囲３０６に基づいて決定することができる。ツールは、トロカール及び／又は追加の外科手術用ツール（例えば、ステープラ、把持器、はさみ、及びカメラ）を含むことができる。ポート３１２は、トロカールが仮想患者の腹部３０８を通る場所に基づいて決定することができる。仮想外科手術用ロボットアーム３０２の位置は、ポートの場所、トロカールの位置、及び／又は作業空間に基づいて決定することができる。

各ロボットアームの初期設定は、例えば、各ロボットアームが収納位置にあるか、ドレープで覆われているか、又はドッキングされているかによって決定することができる。手術の前に各ロボットアームを適切に設定することにより、アーム及び取り付けられたツールを作業空間に進入させ、この作業空間上で操作する位置に配置する。不適切な設定をすると、手術中に遅延を引き起こし、患者に対して過誤を犯す、かつ／又は危害を与えるリスクを高める可能性がある。アーム設定を決定する際には、各アームが行うことができる機械的動作が考慮され、作業空間内に外科手術用ツールが到達することを可能にする。

手術は、外科手術用ロボットアームのうちの１本以上が、手術の様々な段階で作業空間３１０に到達することができるということを必要とし得る。作業フローを最適化することは、トロカールを介したツールの到達範囲３０６が作業空間において十分であるように、トロカールの配置を決定することを含むことができる。場合によっては、作業フローの最適化では、作業空間内で２本以上のロボット及び対応するツールの到達範囲が重複するように、トロカール、ポート、及び外科手術用ロボットアームの位置を決定することができる。本明細書で使用される場合の最適化とは、ソフトウェア及びハードウェアにサポートされたアルゴリズムを指すことができ、そのアルゴリズムは、作業空間の場所、作業空間内での到達範囲及び動作、利便性、並びに衝突のリスクなど、本明細書に記載される１つ以上の基準及び入力に基づいて、仮想外科手術機器を手配する（例えば、作業フロー及び／又はレイアウトを整える）ものである。最適化では、最適な手配が実現する必要はない。むしろ、仮想機器及び／又は仮想手術室の手配は、基準に基づき、時には段階的に改善される。

図３を参照すると、作業フロー設定を生成しかつ最適化するためのシステム２０が示されている。そのシステムは、手術室及び外科手術機器の仮想現実（ＶＲ）シミュレーション１００を生成することができるが、その仮想現実（ＶＲ）シミュレーション１００は、本明細書においては、仮想外科手術環境としても記載される。そのようなシミュレーションは、仮想患者１１４と、図１に記載の外科手術用ロボットシステムを表す仮想外科手術機器（１本以上の仮想ロボットアーム１０３を含む）とを含むことができる。仮想外科手術用ロボット機器及び仮想患者は、仮想手術室に配置されて、ロボット外科手術（例えば、腹腔鏡手術）の計画立案の助けとすることができる。

外科手術ロボット運動学プロセッサ１０６は、物理的外科手術用ロボットアームの動作に関する制約と能力とを定義する、運動学的パラメータを生成することができる。例えば、各ロボットアームは、様々な相互接続部材を有することができ、それらの各々は、１つ以上の画定された方向、平面又は軸で、動作し、回転し又は移動することができる。運動は、例えば移動の角度又は移動距離によって制約され得る。したがって、運動学的パラメータは、外科手術用ロボットアーム及び外科手術用ロボットツールがいかに動作することができるか、又は動作することができないかを定義することができ、これにより、作業空間内でのツールの到達範囲及び動作能力が決定されることになる。

一実施形態では、運動学的パラメータは、ロボットモデル１０２（例えば、コンピュータ支援製図（ＣＡＤ）モデル又は統合ロボット記述形式（ＵＲＤＦ）モデル）で定義される。運動学プロセッサは、仮想現実シミュレーションにおいて仮想外科手術用ロボットアーム又は仮想ツールの設定を決定する際に使用されるモデルから、これらのパラメータを抽出することができる。

代替的又は追加的に、運動学プロセッサは、ロボット制御部１１２によって生成されたロボット制御データ（例えば、モータ／アクチュエータに関するコマンド及びフィードバック、サーボコマンド、位置データ、及び速度データ）に基づいて、運動学的パラメータを生成することができる。ロボット制御データは、実際の外科手術用ロボットアーム及び／若しくは外科手術用ツール１０８を使用する実際の外科手術中、又は、やはり実際の外科手術用ロボットアーム及び／若しくは外科手術用ツールを使用するシミュレートされた外科手術（例えば、テストラン）中に生成され得る。

一実施形態では、運動学的パラメータは、ロボットモデルに基づいて、かつロボット制御データに基づいて生成される。運動学的パラメータは、ロボットモデル１０２から抽出されることができ、更にロボット制御部１１２から受信した実際の世界データに基づいて修正することができる。

一実施形態では、運動学的パラメータはまた、ロボットアームの質量、慣性、重力、力、及びトルクなどの動態情報を含むことができる。動態情報は、実際のロボット制御部１１２及び／又はロボットモデルからの入力に基づいて生成することができる。これらの入力は、実際の外科手術用ロボットアーム１０８の制御フィードバック、モータ制御データ、及びセンサデータを含むことができる。

したがって、運動学モデリングは、物理的フィードバック、及びコンピュータによって生成される制約から助けを得て、現実のロボットアームの運動学に似た運動学モデルを生成する。有益なことに、物理的ロボットアームからの実際のデータを使用することにより、運動学的パラメータは、作業空間及び仮想患者に対する仮想ロボットアームの配置をより正確に決定することができる。したがって、物理的外科手術用ロボットアーム及び／又はツールの動作に関する制約及び動作能力に基づいて、仮想ロボットアームは、特定の外科手術によって必要とされる、仮想患者の作業空間内における適切な動作を可能にするように、仮想現実シミュレーションにおける仮想患者に対して配置され得る。

一実施形態では、最適化手順１１０は、１つ以上の入力及び入力への変更に基づいて、仮想オブジェクト（例えば、患者、ロボットアーム及びロボットツール、プラットフォーム、ユーザコンソール、制御タワー、並びに他の外科手術機器）を配置するように実行される。例えば、入力としては、作業空間、患者の幾何学的形状、手術室、手術のタイプ、プラットフォームの高さなどであり得る。入力への変更としては、仮想患者への修正、手術の変更、手術室の変更、プラットフォームの高さの変更、及び／又は仮想患者内の作業空間の場所若しくはサイズを修正するような任意の変更であり得る。場合によっては、ユーザインターフェースによって、ユーザが、ヘッドアップディスプレイを有するヘッドセットを着用している間に、仮想オブジェクトを仮想現実シミュレーション内において手動で動かすことが可能となり得る。ユーザは、仮想現実シミュレーションに没頭することができる。１つ以上の入力に基づいて、最適化手順は仮想オブジェクトを再配置し、再最適化することができる。

一実施形態では、最適化手順１１０は、外科手術用ロボットシステムを用いた外科手術用ロボット作業フローを計画立案するための操作を含む。その操作は、仮想外科手術用ロボットアーム及び仮想患者を含む、仮想外科手術環境を生成することを含む。仮想患者内の作業空間が、（例えば、手術のタイプ及び仮想患者に基づいて）決定され得る。仮想ツール（例えば、トロカール及びトロカールを介して導入された他のツール）の位置は、上記の作業空間に基づいて決定され得る。仮想ツールが取り付けられる仮想外科手術用ロボットアームの位置は、上記の仮想ツールの位置に基づいて、作業空間内の仮想ツールの到達範囲を維持するように決定される。

一実施形態では、それぞれのタイプの手術で使用される外科手術用ロボットアームの動作制約を定義する、運動学的パラメータを生成することができる。例えば、運動学的パラメータは、ロボットのある部材が動く方向、各部材が移動することができる最大又は最小の距離又は角度、各部材の質量、各部材の剛性、並びに／又は部材が動く速度及び力を定義することができる。したがって、仮想外科手術用ロボットアーム又は仮想ツールの配置は、仮想外科手術用ロボットアームが、運動学的パラメータを参照し、外科手術作業空間内でそれぞれのタイプの外科手術を実行できるようにするように、仮想ロボットアームの運動学的パラメータに更に基づき得る。

一実施形態では、仮想現実シミュレーションは仮想機器１１５を含むことができる。その仮想機器１１５としては、外科手術用ロボットプラットフォーム、制御タワー、ユーザコンソール、スキャン機器（例えば、モバイルＸ線機（Ｃアーム）又は超音波撮像機）、スタンド、スツール、トレイ、及び外科手術室に配置されるであろう他の機器などが挙げられる。仮想機器は、様々な機器の形状及びサイズなどのパラメータを定義するコンピュータモデルに基づいて生成することができる。

一実施形態では、手術室は仮想現実シミュレーションで生成され得る。他の仮想オブジェクトを仮想手術室に配置して、特定の手術室での手術に関するレイアウト及び作業フローを計画立案することができる。仮想手術室１１６は、物理的手術室に基づき、物理的手術室における手術を計画立案することができる。仮想手術室は、電子メモリに記憶された多くの手術室モデルのうちの１つから表し得る。仮想手術室は、ａ）物理的部屋の３次元スキャンから生成され、ｂ）１つ以上の手術室モデルを含むデータベースから選択されたモデルに基づいて生成され、ｃ）部屋パラメータ（例えば、壁、天井、床、出入口、窓などの長さ及び幅）に基づいて生成され得る。

１人以上の仮想患者１１４は、実際の患者をスキャンすることによって生成され得る。仮想患者１１４は、手術中にキャプチャされたデータに基づいて調整又は改善され得る。一実施形態では、仮想患者１１４は、モデル化された臓器を有し得る。作業空間は、臓器の場所及び幾何学的形状を特定するデータに基づいて決定され得る。

仮想患者及び作業空間は、患者モデルを使用して、仮想環境で決定され得る。外科手術用作業空間は、外科手術のタイプに基づいて仮想患者内に定義され得る。例えば、特定の外科手術は、へその下の領域、腸、肝臓、胆嚢などとして、仮想患者の外科手術用作業空間を定義し得る。このように、患者の解剖学的構造（例えば、器官の場所）を理解することは、ロボットアーム及びツール、並びにポート位置の設定を決定する際に非常に重要であり得る。実際の患者のスキャンを介して、更に実際の外科的データを使用して、仮想患者及び仮想患者内の作業空間の場所の正確さを改善することができ、それによって外科手術作業フローの計画立案を改善することができる。ポートの位置は正確に決定されることができ、作業空間内のツールの到達範囲を改善することができる。

仮想患者の幾何学的形状及び解剖学的構造は、１つ以上の外科手術からキャプチャされたセンサ情報又は外科手術ロボットの動作データに基づいて決定することができる。外科手術は、実際の外科手術、又は実際の患者若しくはダミー患者を用いてシミュレートされた手術であり得る。仮想患者の生成又は修正は、仮想患者の内部体積及び／又は解剖学的構造を推定することを含み得るが、その推定は、ａ）患者の内部で撮影されたカメラ画像、及び／又はｂ）１つ以上の外科手術中にキャプチャされた外科手術用ロボットツールの動作などのセンサデータに基づく。

追加的又は代替的に、仮想患者の生成又は修正は、１つ以上の外科手術中にキャプチャされた内視鏡データに基づいて、患者モデルの内部体積を再構築することを含み得る。患者モデルは、実際の患者の３Ｄスキャンに基づいて生成することができる。追加的又は代替的に、患者モデルは、センサデータ（例えば、カメラ及び他の医療用撮像技術で得たデータ）に基づいて生成することができる。３Ｄスキャンが実行される場合、患者モデルは、センサ情報（例えば、外科手術用ツールによってキャプチャされたもの）又は外科手術ロボットの動作データに基づいて修正することができる。有益なことに、患者モデルの再構築は、例えば、３Ｄスキャンが十分な情報を提供しなかった場合には、患者モデルの欠落部又は欠損した定義を充足することができる。

患者モデルが欠損していると判定される場合、患者モデルの様々な領域を再構築して、欠落又は欠損のある患者モデル情報を補足することができる。例えば、３Ｄスキャンに基づいての患者モデルの肝臓の場所が不明確である場合、センサ情報又は外科手術ロボット動作データを使用して、患者モデルの当該領域を再構築することができる。情報及びデータは、手術中にキャプチャされ、実際の外科手術ログに記憶され得る。例えば、実際の外科的手術中に、患者の内部の解剖学的構造（例えば、器官のサイズ及び壁の厚さ、並びにそれ以上）、患者の内部体積に関して、データを生成することができるが、そのデータ生成は、遠くの動心（ＲＣＭ）メカニズム、カメラによって生成された画像、他の画像、及び／又は他の外科手術ロボットツールの運動に基づいて行われ得る。

一実施形態では、仮想現実シミュレーション１００は、例えば、ユーザコンソール１２０上のディスプレイを通じて通信又は出力することができる。視点生成器は、仮想現実シミュレーションの１つ以上の視点１１８、例えば、鳥瞰図又は一人称視点を生成することができる。そのような視点は、ユーザによって使用されて、オプティマイザ２０への入力を更に生成することができる。例えば、ユーザは、ユーザコンソール１２０を使用して、仮想患者、作業空間、仮想外科手術機器、及び／又は仮想手術室を修正又は置換することができる。仮想現実シミュレーションは、ユーザによって行われた調整に基づいて、ブロック１１０で最適化することができる。次いで、シミュレーションの視点をユーザのために再生成して、そのユーザ生成入力に基づいて作業フローの調整及び最適化を提供することができる。このようにして、ユーザは、特定の患者及び特定の手術タイプに合うように、作業フロー及びレイアウトの最適化を調整することができる。これは、異なる患者、異なる手術についてロボットアームの設定を合理化し、かかる手術を容易にするように手術室を選択するのを助けることができる。

一部の実施形態では、仮想現実シミュ－レーションは、２Ｄモデルとして生成され得る。例えば、仮想現実シミュレーションは平面図として生成することができる。これは、有益なことに、手術室内の各オブジェクトの場所及びモデルどうし間の間隔の即時の理解を提供することができる。

一実施形態では、図４に示すように、最適化プロセス１１０は、１つ以上の入力１３８に基づいて、部屋レイアウト１５２及び外科手術用ロボットアーム構成１５４を最適化することができる。その入力は、以下の要因のうちの１つ以上への変更を含むことができる：手術タイプ、外科手術作業空間、仮想患者、ツールの位置、及び運動学的パラメータ。

例えば、図２に関して述べたように、初期入力は、仮想対象３０８内の作業空間３１０の場所を含むことができる。トロカール３０４の位置は、作業空間と、作業空間内でのツール（例えば、はさみ、ステープラ、把持器、又は針）の到達範囲３０６とに基づいて、決定することができる。ポートの場所３１２は、トロカールの位置及び／又は作業空間に基づいて決定することができる。外科手術用ロボットアームの位置は、ポートの場所、作業空間、及び／又はトロカールの位置に基づいて決定することができる。

患者モデル、外科手術用ツールの位置、ロボット運動学、又は外科手術用作業空間における変更によって、ロボットアームの設定に対する調整を開始することができる。例えば、仮想患者のサイズが変更される場合、これは、作業空間の場所の変更を引き起こす可能性がある。トロカールの位置は、変更された作業空間の場所内で、ツールの到達範囲を最大化するように調整される。ポートの場所及び外科手術用ロボットアームの位置は、それに応じて調整することができる。ロボットアーム及びツールに関連して論じられる「設定」、「構成」、及び「配置」は、ロボットアーム及び／又はツールの部材どうしが、互いに絶対的に又は互いに相対的に位置付けられる様式を記載することができるということを理解されたい。したがって、ロボットアームの「設定」又は「構成」は、ロボットアームの特定の姿勢及びロボットアームに取り付けられたツールの位置を記載することができる。

一実施形態では、仮想外科手術機器（例えば、ユーザコンソール、スキャン機器、制御タワー）又はスタッフ要員モデルの場所又は配向の変更により、仮想外科手術機器の再配置を開始することができる。同様に、手術タイプの変更により、仮想患者内の外科手術用作業空間の変更を開始することができ、その作業空間の変更により、ツールのデフォルトの位置（例えば、トロカールのデフォルトの位置）、ポートのデフォルトの場所、及び外科手術用ロボットアームのデフォルトの位置の変更がもたらされ得る。同様に、仮想患者の変更（例えば、より背の高い又はより体重の重い体格の患者に変更）により、仮想患者の外科手術用作業空間の変更を開始することができる。こうすることで、ツールの位置、ポートの場所、及び外科手術用ロボットアーム構成に波及効果がもたらされ得る。同様に、プラットフォーム位置の変更（例えば、テーブルの高さ、角度、又は傾きの変更）により、仮想患者が仮想手術中にプラットフォーム上に寝かされているという条件の下で、ツールの位置、ポートの場所、及びロボットアームの構成の変更を同様に開始することができる。

図４を参照すると、最適化プロセス１１０は、最適化された部屋レイアウト１５２と、最適化された外科手術用ロボットアーム構成１５４とを生成することができ、定義された作業空間内に十分な到達範囲を有するような位置にツールを支持することができる。最適化プロセスは、重要度のランクによる順序に基づき操作の階層を有することができる。ブロック１４０、１４２、１４４、及び１４６は、この示される順序で順次実行することができる。

例えば、ブロック１４０において、仮想患者及び／又はロボット外科手術タイプが、最も高い重要度のランクを有することができる。患者内の作業空間を、手術のタイプに基づいて決定することができ、かつ／又は仮想患者によって、患者内の作業空間（例えば、仮想患者の腹部の下の何らかの領域）を、決定することができる。作業空間領域は、手術が行われる仮想患者内の場所、そのサイズ及び／又は形状を定義することができる。

次に、ブロック１４２において、外科手術用ロボットツールの位置（例えば、ツールのデフォルトの位置）を定義及び調整することができる。外科手術用ツールの位置は、外科手術用作業空間に基づいていてよい。例えば、図２に示されるように、１つ以上のツール３０４の位置（例えば、場所及び配向）は、各ツールの到達範囲３０６及び作業空間の場所３１０に基づいて決定され得る。１つ以上のポートの場所３１２は、ツールの位置、例えば、ツールが仮想患者の腹部３０８を通る場所に基づいて決定され得る。ツールの位置は、作業空間内のツールの十分な動作及び到達範囲を提供するように決定することができる。

次に、ブロック１４４において、１本以上の仮想外科手術用ロボットアーム及び／又は外科手術用ロボットプラットフォームの位置（場所及び／又は配向を含む）は、ツールの位置、作業空間、及び／又はポートの位置に基づいて、仮想外科手術室に配置され得る。ツールが取り付けられている外科手術用ロボットアームの位置は、作業空間内での到達範囲及び動作を十分とするため、仮想ツールの各々を適切な位置に保持するように決定することができる。プラットフォームの高さ及びピッチ角を調整することができる。

ブロック１４６において、最適化は、仮想制御タワー、仮想ユーザコンソール、及び他の外科手術用ロボット機器の場所又は配向を調整することを含み得る。これは、例えば、関連するツールをクラスタ化することによって要員の移動を最小化すること、それぞれの特定のツール及び機器を関連する要員の近くに配置すること、医療従事者及び他の医療機器のための空間を提供すること、及び衝突のリスクを最小限に抑えることなどの様々な要因に基づいて行われ得る。作業空間内の到達範囲及び動作は、手術にとって非常に重要であるが、これが優先される。利便性及び適合性に合わせた医療機器のレイアウトなどの残りの考慮事項は、作業空間内に十分な到達範囲及び動作を提供する外科手術用ロボットアームの位置を変更することなく決定することができる。

一実施形態では、ブロック１４４で仮想手術室を生成することができる。仮想ロボットアーム及びプラットフォームは、仮想手術室に配置される。この場合、次に機器は、ブロック１４６において、仮想手術室に配置することができる。別の実施形態では、仮想手術室は、全ての仮想外科手術機器が配置された後、ブロック１４６で生成され得る。このようにして、仮想手術室が施設内で利用可能であり得る実際の手術室を表すと仮定すると、手術室の利用可能性が高い場合、仮想患者及び仮想外科手術機器の配置を最初に実行することができ、次に、物理的手術室を表す仮想手術室を、配置を変更することなく最適化された配置に最も適合するように選択することができる。一方、手術室の利用可能性が低い場合、ブロック１４４で手術室を選択することができ、機器の場所及び配向を、利用可能な操作室の幾何学的形状又はサイズに固有の制約に基づいて、調整及び最適化することができる。このように、仮想手術室が決定される順序は、物理的手術室の利用可能性に応じてシフトすることができる。

一実施形態では、上記の最適化プロセスに基づいて、当該プロセスは、最適化された部屋レイアウト１５２（例えば、外科手術用ロボットアーム、プラットフォーム、ユーザコンソール、制御タワー、並びに他の外科手術機器の場所及び配向）と、最適化された外科手術用ロボットアーム構成／作業フロー１５４とを出力することができる。記載したように、最適化された作業フローは、１つ以上のトロカール／ツールのデフォルトの位置、ポートのデフォルトの場所、並びに外科手術用ロボットアームの各メンバーの位置及び配向を定義することができる。

図５を参照すると、最適化された部屋レイアウトの一例が平面図で示されている。仮想オブジェクト（例えば仮想患者２２６、外科手術用ロボットプラットフォーム２２２、外科手術用ロボットアーム及び取り付けられたツール２２４、仮想制御タワー２２８、ユーザコンソール２３２、並びに他の仮想外科手術機器２３０などだが、ただしそれらに限られない）のうち任意のものの場所を、仮想外科手術環境２２０内に配置することができる。仮想オブジェクトの配置は、ｘ軸、ｙ軸、及び／又はｚ軸などの座標（ただしこれに限定されない）で記載されることができる。配向は、オブジェクトの任意のものの方向を記載することができる。

物理的手術室を用いた仮想外科手術環境の計画立案
慎重な計画立案と視覚化とは、外科手術用ロボットシステムの設定が、再現性及び成功の可能性が高い作業フローをサポートするのに役立ち得る。外科手術用ロボットシステムと適合性がない手術室を、仮想環境の助けを借りて識別することができる。

一実施形態では、図６のフロー図は、物理的手術室からのフィードバックに基づいて外科手術機器のレイアウトを決定するのに役立つ方法及びシステムを示す。ブロック２７２において、仮想外科手術機器を含む仮想手術室が生成される。仮想外科手術機器は、図１に示される機器の仮想表現を含むことができる。仮想手術室及び仮想外科手術機器は、既存の手術室モデル及び既存の機器モデルに基づいて生成することができる。これらのモデルは、ローカルの又はネットワーク化されたものといった、１つ以上のコンピューティングデバイスによってサポートされた１つ以上のデータベース２７０から読み出すことができる。手術室モデル及び／又は既存の機器モデルは、幾何学的形状、サイズ、名称、外科手術用ロボットシステム構成、及び手術タイプのうちの１つ以上を含むことができる。例えば、外科手術用ロボットアームのモデルは、アームの幾何学的形状及びサイズを記載することができる。モデルは名称を有し、また何がアームに好適な種類の外科手術かを記述しているメタデータを有し得る。外科手術用ロボットシステム構成は、何本かのロボットアーム、ツール（例えば、把持器、ステープラなど）、及びロボットアームの姿勢のうちの１つ以上を定義することができる。一部の実施形態では、仮想患者は、１つ以上のデータベースから読み出され得る患者モデルに基づいて、仮想手術室内に生成される。

センサフィードバックは、動作２８４で受信され得る。センサフィードバックは、物理的手術室の幾何学的形状及び／又は物理的手術室内での物理的手術機器の位置を定義することができる。物理的手術室の幾何学的形状は、部屋の形状及びサイズを示す。物理的機器の位置は、部屋内の機器の場所及び配向を記載することができる。センサフィードバックは、１つ以上のセンサによって生成することができ、そのようなセンサとしては、カメラ、赤外線センサ、３Ｄスキャンカメラ、ロボットセンサ、及び人間追跡デバイスなどが挙げられるが、それらに限られない。これらのセンサは、壁上、及びハンドヘルド装置内に配置されることができ、又は外科手術用ロボット機器と統合されることができる。

ブロック２７２では、仮想手術室及び／又は仮想手術室内の仮想外科手術機器は、センサフィードバックに基づいて更新される。例えば、仮想手術室の幾何学的形状は、物理的手術室に一致するように更新され得る。同様に、仮想外科手術機器の場所及び配向は、物理的手術室内の物理的外科手術機器に一致するように更新され得る。オブジェクト検出及び他の既知のコンピュータビジョン技術を使用して、センサフィードバック内の機器及びオブジェクトを認識することができる。このようにして、プロセスは、物理的手術室内の物理的手術機器を自動的に検出し、物理的外科手術機器の位置を反映するために仮想外科手術機器を同期させることができる。

動作２８６では、仮想外科手術機器のレイアウトを最適化することができる。最適化は、例えば、ケーブル及び流体ラインを適切に配設して、歩行ゾーンの配線やラインを低減することを含み得る。最適化は、１つ以上の基準に基づいて実施され得るが、その基準としては、最適化された作業フロー、仮想外科手術機器のクリアランス、妨害されない歩行経路、関連する機器どうしを近くに配置すること、ケーブル及び流体ラインの長さを短くすること、散らかっているものを片付けること、及び衝突のリスクの低減が挙げられるが、それらに限られない。基準に重み付けをすることもできる。例えば、作業フローは、外科手術用作業空間における外科手術の適切な実行を可能にする。したがって、作業フローには、利便性や、散らかったものが片付けられていることなどの利便性に基づく基準よりも、より大きな重みを割り当てることができる。最適化は、仮想外科手術機器を１つ以上の配置で仮想手術室に配置すること、及びどのくらい基準が満たされているかに基づき、１つ以上の配置のうち最も好ましいものを選択することを含み得る。

一部の実施形態では、仮想外科手術機器のレイアウトを最適化することは、仮想手術室の形状又はサイズを変更させるなど、仮想手術室の改善された幾何学的形状を決定することを含む。幾何学的形状は、例えば、機器間のクリアランスの増加又は他の因子に基づいて変更することができる。最適化は、図３及び図４の最適化プロセス１１０に関連して記載されたシステム及びプロセスによって実行することができる。

動作２８０では、仮想手術室及び仮想外科手術機器の最適化された構成をディスプレイ上に表すことができる。ブロック２７４では、物理的手術室は、人員によって適切に調整することができる。最適化された構成は、調整のための参照として使用することができる。

このプロセス（ブロック２７４、２８４、２７２、２８６、及び２８０）を繰り返して、物理的手術室における外科手術機器の設定を改良する閉ループを形成することができる。例えば、物理的手術室が調整された後、動作２８４で追加のセンサフィードバックが再び受信される。追加のセンサフィードバックは、物理的手術室内の物理的機器の再配置を示すことができる。仮想手術室及び／又は仮想外科手術機器のレイアウトは、上記の追加のフィードバックに基づいて更新され得る。更に、最適化操作を再度実行することもできる。更新された最適化済の構成を表示させ、更なる再配置のための参照として使用することができる。どこかの時点で、最適化操作は、仮想手術室に変更を加えなくてもよい。そのような場合、システム及びプロセスは、外科手術機器のレイアウトに関する何らかの追加の提案を有さない場合があり得る。

そのようなプロセスは、外科手術用ロボットシステム（例えば、図１に示されるもの）を使用するロボット外科手術の計画立案に有益であり得る。というのは、そのような外科手術用ロボットシステムの設定は、様々な部分（例えば、外科手術用ロボットアーム、プラットフォーム、ユーザコンソール、制御タワー、人員、センサ、及び他の機器）に起因して困難であり得るからである。このように、外科手術の実行中に問題を引き起こす可能性があり得る手術室の幾何学的形状における空間欠如又は欠陥のいずれかに起因して、全ての手術室がそのような外科手術に適しているとは限らない場合があり得る。

一部の実施形態では、物理的手術室内のセンサ位置は、仮想化手術室内でシミュレートすることができる。例えば、ある外科手術用ロボットシステムは、壁に取り付けられたカメラを使用し得る。カメラが設置される後まで、そのカメラの視線を塞ぐ閉塞を感知することが困難であることから、カメラの配置は計画することが困難である。物理的カメラの適切な場所及び視線を決定するのを助けるために、仮想カメラが仮想手術室に生成され得る。

例えば、動作２８４で受信されたセンサフィードバックは、物理的手術室にある物理的カメラからのカメラデータ（例えば、１つ以上の画像）を含むことができる。ブロック２７２では、システムは、物理的カメラの場所及び視線に対応する場所及び視線を有する仮想カメラを生成及び／又は更新することができる。ブロック２８６では、システムは、仮想カメラの視線を塞ぐ閉塞（視野をブロックするオブジェクト）が存在するかどうかを判定することができる。そのような閉塞が存在する場合、システムは、仮想カメラの場所又は視線を修正して、閉塞を最小限に抑えるか、又は排除することができる。仮想カメラは、最適化された構成で示され得るが、これは、その後、物理的カメラを調整するための参照として使用され得る。

一実施形態では、センサのフィードバックは、物理的手術室内の物理的外科手術用ロボットアームの制御データ及びセンサデータ（例えば、エンコーダデータ、運動学的データ）を含む。このように、物理的外科手術用ロボットアームからのフィードバックを使用して、仮想手術室レイアウトを最適化することができる。例えば、センサデータ（例えば、画像）が物理的患者の正確な表現を含まない場合、プロセッサは、他のセンサデータ（例えば、ロボットアームからのエンコーダデータ）を使用して、一般化された患者モデルをパラメータ化し、続いて、その患者モデルに基づいて、手術室レイアウトの仮想モデルを作成することができる。次に、手術室レイアウト及び作業フローの改善は、記載された通りに計算され得る。

一実施形態では、システムは、最適化されたレイアウトを有する仮想手術室を、１つ以上のデータベース２７０内に記憶することができる。記憶されたレイアウトは、物理的手術室を調整するのを助けるために将来的に呼び出され、再使用されてもよく、その結果、同じ最適化プロセスを繰り返す必要がなくなる。

一実施形態では、センサフィードバック（例えば、物理的手術室の３Ｄスキャン）に基づいて、システムは、受信したデータに基づいて、仮想手術室内に新しい仮想機器を追加することができる。新しいモデルを生成し、データベースに記憶することができる。このようにして、システムは、３Ｄスキャナからのフィードバックに基づいて仮想手術室に新しく未知の仮想オブジェクトを追加し、それらを仮想手術室にはめ込むことができる。

システムは、仮想手術室内の機器モデルのレイアウト情報を含むレポートを生成することができる。レポートは、斜視図や平面図などの写真を含むことができる。システムは、ある物理的手術室が、ある外科手術で使用される機器モデル又は外科手術用ロボットシステムをサポートする能力を有するかどうかを判定することができる。例えば、部屋のサイズ及び幾何学的形状並びに機器の互いの近接性に基づいて、物理的手術室はそのような機器及び手術に適していないと見なされ得る。

一部の実施形態では、あるロボット外科手術及び機器に対する、ある手術室の適合性を決定することができる。仮想手術室は、物理的手術室の幾何学的形状に基づいて生成することができる。仮想手術室は、既存の手術室モデル及び機器モデルに基づいて、かつ／又は物理的手術室のサイズ及び形状と物理的手術室におけるオブジェクトとを決定するために分析され得る感知されたフィードバックに基づいて、ブロック２７２で生成され得る。動作２８６では、記載されたように、仮想外科手術機器のレイアウトを最適化することができる。

動作２７８では、適合性判定を実行して、ある物理的手術室が外科手術用ロボットシステム及び／又は手術にどの程度適合するかを記載することができる。判定は、手術室が、仮想外科手術用ロボットシステムをサポートするためにどれだけの能力を有しているかを示すことができる。一実施形態では、判定は、仮想機器が仮想手術室に確実に出入りさせ得るかどうかに基づくことができる。これは、物理的機器が物理的手術室に確実に出入りさせ得るかどうかを反映するものである。適合性スコアもまた、仮想機器（例えば、仮想ロボットアーム、プラットフォーム、ユーザコンソール、及び制御タワー）のサイズを仮想手術室の入口又は経路と比較することに基づくものである。

適合性の判定もまた、仮想外科手術機器どうしの間、仮想外科手術機器と物理的手術室の壁との間、又は仮想外科手術機器と仮想人員との間に十分なクリアランスが存在するかどうかに基づいて行うことができる。したがって、適合性の判定はまた、手術室がどの程度狭く窮屈かを考慮することができる。

ブロック２７６では、ユーザは、適合性判定をレビューして、現在の物理的手術室を手術のために使用するか、又は異なる手術室を使用するかを決定することができる。例えば、適合性スコアが低い場合には、ユーザには、現在の物理的手術室が小さすぎるか、又は機器を出し入れするのに十分な入口を有さないことが示され得る。そのような場合、ユーザは、異なる手術室で同じプロセスを実行するように決定をすることができる。

一実施形態では、プロセッサは、仮想手術室の改善された幾何学的形状を決定することができる。これは、現在の仮想手術室の形状又はサイズの変更を決定することを含み得るが、この決定は、物理的手術室のスキャンに基づくことができる。改善された幾何学的形状は、ディスプレイ又はレポートを通じて示され得るが、それによって、手術により好適な手術室に関する提案を提供することができる。

一実施形態では、プロセッサは、仮想手術室内で（例えば、機器モデルどうしの間、及び／又はモデルと電気コンセントとの間で）仮想ケーブルを配線することができる。同様に、静脈注射用のライン若しくは他の医療用チューブ又はケーブルを、仮想手術室内に配線することができる。プロセッサは、ロボット外科手術の設定及び計画立案を支援し、スタッフを訓練するのを助けるために、ケーブルが「立ち入り不許可」ゾーンとして置かれている、要注意の経路を識別することができる。

一実施形態では、本方法は、仮想外科手術環境を表示させることを含む。例えば、仮想外科手術環境は、（図１に示されるように）ユーザコンソール上のユーザディスプレイ、又はローカル若しくはリモートである任意のディスプレイ上に表示され得る。仮想外科手術環境は、鳥瞰図、平面図、一人称視点、又は他の視点として表示され得る。ディスプレイは、ネットワーク（例えば、ＴＣＰ／ＩＰ、イーサネット、ＵＤＰなど）上のノード（例えば、コンピューティングデバイス）間のデータ転送プロトコルによって駆動することができる。一実施形態では、仮想外科手術環境は、ヘッドマウントディスプレイに表示される。ヘッドマウントディスプレイの着用者は、着用者が仮想外科手術環境全体を介して移動し、様々な機器の場所及び配向の３次元理解、並びに仮想外科手術環境内の非占有空間及び歩行路の３次元理解を得ることができるように追跡することができる。一実施形態では、仮想外科手術環境は、ユーザが仮想外科手術環境内におけるオブジェクトの配向及び／又は場所（例えば、仮想外科手術用ロボットアーム、制御タワー、外科手術ロボットプラットフォームの角度又は高さ、ディスプレイの角度など）を調整することができるように、相互作用する。

一実施形態では、システムのプロセッサ（例えば、最適化プロセッサ、運動学プロセッサ、ロボットコントローラ、カメラ、ディスプレイ、及びロボットアーム）は、マイクロプロセッサ及びメモリを含むことができる。各プロセッサは、その中に単一のプロセッサコア又は複数のプロセッサコアを有する、単一のプロセッサ又は複数のプロセッサを含んでもよい。各プロセッサは、マイクロプロセッサ、中央処理ユニット（ＣＰＵ）などの１つ以上の汎用プロセッサを表すことができる。より具体的には、各プロセッサは、複雑命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、又は他の命令セットを実行するプロセッサ若しくは命令セットの組み合わせを実行する複数のプロセッサであってもよい。各プロセッサはまた、特定用途向け集積回路（ＡＳＩＣ）、セルラープロセッサ又はベースバンドプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサ、グラフィックスプロセッサ、通信プロセッサ、暗号プロセッサ、コプロセッサ、埋め込みプロセッサ、又は命令を処理することができる任意の他のタイプの論理などの、１つ以上の専用プロセッサでもあり得る。

本明細書に記載のモジュール、構成要素、及びアルゴリズム又は方法のステップなどの他の特徴は、マイクロプロセッサにより、又は個別のハードウェア構成要素によって実装されてもよく、あるいはＡＳＩＣＳ、ＦＰＧＡ、ＤＳＰ、又は同様のデバイスなどのハードウェア構成要素の機能に統合されてもよい。更に、そのような特徴及び構成要素は、ハードウェアデバイス内にファームウェア又は機能回路として実装することができるが、そのような詳細は、本開示の実施形態に密接に関連してはいない。また、ネットワークコンピュータ、手持ち式コンピュータ、モバイルコンピューティングデバイス、サーバ、及び／又はより少ない構成要素又はおそらくより多くの構成要素を有する他のデータ処理システムも、本開示の実施形態で使用され得ることが理解されよう。

上記の詳細な説明のいくつかの部分は、コンピュータメモリ内のデータビットに対する演算のアルゴリズム及び記号的表現に関して提示される。これらのアルゴリズム的記述及び表現は、データ処理技術の当業者が自身の仕事の実体を他の当業者に最も効果的に伝達するための方法である。アルゴリズムは、本明細書において、また一般的に、所望の結果に結び付く、セルフコンシステントな一連の演算と考えられる。その演算は物理量の物理的操作を要するものである。

しかしながら、これら及び類似の用語の全てが適切な物理量に関連付けられるべきであり、これらの量に適用される単に便利な標識であることを念頭に置かれたい。別段の明確な定めがない限り、上述の開示から明らかなように、説明全体を通じて、後述の請求項において規定される用語を使用する議論は、コンピュータシステムのレジスタ及びメモリ内で物理（電子的）量として表現されるデータを、コンピュータシステムのメモリ若しくはレジスタ又は他のそのような情報記憶、伝送、若しくは表示装置内で物理量として同様に表現される他のデータへと操作し変換する、コンピュータシステム又は類似の電子計算装置のアクション及び処理を指しているということが理解されよう。

本開示の実施形態はまた、本明細書の動作を行うための装置に関する。そのようなコンピュータプログラムは、非一時的なコンピュータ可読媒体に記憶される。機械可読媒体は、機械（例えば、コンピュータ）によって読み取り可能な形態で情報を記憶するための任意の機構を含む。例えば、機械可読（例えばコンピュータ可読）媒体は、機械（例えばコンピュータ）可読記憶媒体（例えば、読み取り専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光学記憶媒体、フラッシュメモリデバイスなど）を含む。

既に示した図に示されるプロセス又は方法は、ハードウェア（例えば、回路、専用ロジックなど）、ソフトウェア（例えば、非一時的コンピュータ可読媒体上に具現化される）、又は両方の組み合わせを含む処理ロジックによって実行され得る。プロセス又は方法は、いくつかの連続操作に関して上述されているが、説明された動作のうちのいくつかは、異なる順序で実行され得るということを理解されたい。更に、いくつかの動作は、順次ではなく並列に実行され得る。

本開示の実施形態は、いずれの特定のプログラミング言語をも参照して説明されているものではない。本明細書に記載される本開示の実施形態の教示を実装するために、様々なプログラミング言語が使用され得るということが理解されよう。

ここまでの明細書では、具体的で例示的な実施形態を参照しながら、本開示の実施形態を記載してきた。以下の特許請求の範囲に記載される本開示のより広範な趣旨及び範囲から逸脱することなく、様々な修正がなされ得ることが明らかになるであろう。したがって、本明細書及び図面は、限定的な意味ではなく、例示的な意味であると見なされるべきである。前述の説明は、説明の目的で、説明された実施形態の完全な理解を提供するために特定の用語体系を使用した。しかしながら、本発明を実施するためには、具体的な詳細の多くが必要とされないことは、当業者には明らかであろう。したがって、本発明の具体的な実施形態の前述の説明は、例示及び説明の目的で提示してきたものである。それらは、網羅的であること、及び開示した正確な形態に本発明を制限することを意図するものではない。明確に、上記の教示に照らして、多くの修正及び変形が可能である。本明細書に記載の実施形態は、本発明の原理及びその実際的な用途の最良の説明を提供し、それによって当業者が本発明を様々な実施形態で、また企図される特定の用途に適するように様々な修正を行って最良に利用できるように、選択され説明された。以下の特許請求の範囲及びそれらの等価物が、本発明の範囲を定義することが意図される。

〔実施の態様〕
（１） 外科手術用ロボットシステムを用いた外科手術用ロボット作業フローを計画するための方法であって、
仮想外科手術用ロボットアーム及び仮想患者を含む仮想外科手術環境を生成することと、
前記仮想患者内の作業空間を決定することと、
前記作業空間に基づいて仮想ツールの位置を決定することと、
前記仮想ツールの前記位置に基づいて、前記仮想ツールが取り付けられている前記仮想外科手術用ロボットアームの位置を、前記作業空間内の前記仮想ツールの到達範囲を保つように決定することと、
を含む、方法。
（２） 前記作業空間が、手術タイプ及び前記仮想患者に基づいて決定される、実施態様１に記載の方法。
（３） 前記仮想外科手術用ロボットアーム又は前記仮想ツールの前記位置が、前記仮想外科手術用ロボットアームの動作制約を定義する運動学的パラメータに更に基づく、実施態様１に記載の方法。
（４） 前記運動学的パラメータが、物理的外科手術用ロボットアームの幾何学的形状と動作制約とを定義するコンピュータモデルから抽出される、実施態様３に記載の方法。
（５） 前記運動学的パラメータが、物理的外科手術又は物理的シミュレーション中にキャプチャされた物理的外科手術用ロボットアームのモータ制御データに基づいて決定される、実施態様３に記載の方法。

（６） 前記仮想ツールの前記位置に基づいて前記仮想患者上の進入ポイントを決定することを更に含み、前記仮想ツールがトロカールを含む、実施態様３に記載の方法。
（７） 前記仮想外科手術環境内での、仮想制御タワー又は仮想ユーザコンソールの場所又は配向を、
医療者及び他の医療機器に十分なクリアランスを提供することと、
衝突のリスクを最小化することと、
に基づいて決定することを更に含む、実施態様６に記載の方法。
（８） 前記仮想患者又は手術への変更を定義する受信した入力に基づいて、前記仮想外科手術環境を更新するために前記方法を繰り返すことを更に含む、実施態様７に記載の方法。
（９） 操作が、順序にしたがって実施され、前記順序が、ａ）第１に、前記仮想患者及び外科手術タイプに基づいて、前記作業空間を決定することと、ｂ）第２に、前記作業空間に基づいて、前記仮想ツールの前記位置を決定することと、ｃ）第３に、前記仮想ツールの前記位置に基づいて前記仮想外科手術用ロボットアームの前記位置を決定することと、ｄ）第４に、残りの仮想外科手術用ロボット機器の場所及び配向を決定することと、
を含む、実施態様１に記載の方法。
（１０） 前記仮想外科手術環境を、鳥瞰図（stadium view）として、又は一人称視点として表示させることを更に含む、実施態様１に記載の方法。

（１１） ヘッドマウントディスプレイを通じて前記仮想外科手術環境を表示させることを更に含む、実施態様１に記載の方法。
（１２） 前記仮想患者が、物理的患者の３次元スキャンから生成される、又はデータベースから選択される、実施態様１に記載の方法。
（１３） 前記仮想患者が、１つ以上の物理的外科手術からキャプチャされたセンサ情報又は外科手術ロボット動作データに基づいて生成又は修正される、実施態様１に記載の方法。
（１４） 前記仮想患者を生成又は修正することが、前記１つ以上の物理的外科手術中にキャプチャされた、ａ）物理的患者の内部のカメラ画像、又はｂ）外科手術用ロボットツールの動作に基づいて、前記仮想患者の内部体積を推定することを含む、実施態様１３に記載の方法。
（１５） 前記仮想患者を生成又は修正することが、前記１つ以上の物理的外科手術中にキャプチャされた内視鏡データに基づいて、前記仮想患者の内部体積を再構築することを含む、実施態様１３に記載の方法。

（１６） 外科手術用ロボットシステムの外科手術作業フローを計画するためのシステムであって、
仮想外科手術用ロボットアーム及び仮想患者を含む仮想外科手術環境を生成することと、
前記仮想患者内の作業空間を決定することと、
前記作業空間に基づいて仮想ツールの位置を決定することと、
前記仮想ツールの前記位置に基づいて、前記仮想ツールが取り付けられている前記仮想外科手術用ロボットアームの位置を、前記作業空間内の前記仮想ツールの到達範囲を保つように決定することと、
を含む操作を実行するように構成されている仮想現実プロセッサ、を備える、システム。
（１７） 前記操作が、重要度に基づいた順序で実行され、前記順序が、ａ）前記仮想患者及び外科手術タイプに基づいて、前記作業空間を決定することと、ｂ）次に、前記作業空間に基づいて、前記仮想ツールの前記位置を決定することと、ｃ）次に、前記仮想ツールの前記位置に基づいて前記仮想外科手術用ロボットアームの前記位置を決定することと、ｄ）次に、残りの仮想外科手術用ロボット機器の場所及び配向を決定することと、
を含む、実施態様１６に記載のシステム。
（１８） 前記作業空間が、前記１つ以上の物理的外科手術中にキャプチャされた、ａ）物理的患者の内部のカメラ画像、又はｂ）物理的外科手術用ロボットアーム又はツールの動作、に基づいて決定された前記仮想患者の内部体積に基づく、実施態様１６に記載のシステム。
（１９） 前記仮想患者が、物理的患者の３次元スキャンから生成される、実施態様１６に記載のシステム。
（２０） ディスプレイを更に備え、前記仮想外科手術環境が前記ディスプレイ上に出力される、実施態様１６に記載のシステム。

（２１） １つ以上のプロセッサによって実行される方法であって、
既存の手術室（ＯＲ）モデル及び既存の機器モデルに基づいて、仮想外科手術機器を含む仮想手術室を生成することと、
物理的手術室内の外科手術用ロボットシステムを含む物理的機器を有する前記物理的手術室を定義する、センサフィードバックを受信することと、
前記センサフィードバックに基づいて、前記仮想手術室及び前記仮想外科手術機器を更新することと、
前記仮想手術室内の前記仮想外科手術機器のレイアウトを最適化することと、
前記仮想手術室及び前記仮想外科手術機器をディスプレイ上に表すことと、
を含む、方法。
（２２） 前記既存の手術室モデル及び前記既存の機器モデルが、データベースから読み出される、実施態様２１に記載の方法。
（２３） 前記既存の手術室モデル又は前記既存の機器モデルが、幾何学的形状、サイズ、名称、外科手術用ロボットシステム構成、及び手術タイプのうちの１つ以上を含む、実施態様２１に記載の方法。
（２４） 前記外科手術用ロボットシステム構成が、何本かのロボットアーム、ツール、及び前記ロボットアームの姿勢のうちの１つ以上を定義する、実施態様２３に記載の方法。
（２５） 仮想患者が、患者モデルに基づいて前記仮想手術室内で生成される、実施態様２１に記載の方法。

（２６） 前記センサフィードバックが、カメラ、赤外線センサ、３Ｄスキャンカメラ、ロボットセンサ、及び人間追跡デバイスのうちの１つ以上のセンサによって生成される、実施態様２１に記載の方法。
（２７） 前記センサフィードバックが、前記物理的手術室における前記外科手術用ロボットシステムの運動学的データを含む、実施態様２１に記載の方法。
（２８） 前記センサフィードバックが、前記仮想手術室内の仮想カメラの場所及び視線に対応する場所及び視線を、前記物理的手術室内に有するカメラからのカメラデータを含む、実施態様２１に記載の方法。
（２９） 前記仮想カメラの前記視線内に閉塞が存在するかどうかを判定することと、
前記閉塞が存在する場合に、前記仮想カメラの前記場所又は前記視線を修正して、前記閉塞を最小化又は排除することと、
を更に含む、実施態様２８に記載の方法。
（３０） 前記仮想手術室内の前記仮想外科手術機器の前記レイアウトを最適化することが、前記仮想手術室の改善された幾何学的形状を決定することを含み、前記改善された幾何学的形状が、前記仮想手術室の形状又はサイズの変更を含む、実施態様２１に記載の方法。

（３１） 前記仮想手術室内の前記仮想外科手術機器の前記レイアウトを最適化することが、作業フロー、前記仮想外科手術機器のクリアランス、及び衝突のリスクのうちの１つ以上の基準に基づく、実施態様２１に記載の方法。
（３２） 前記基準が、重要度に基づいて重み付けされている、実施態様３１に記載の方法。
（３３） 前記仮想手術室内の前記仮想外科手術機器の前記レイアウトを最適化することが、前記仮想手術室内に仮想ケーブルを配線することを含む、実施態様２１に記載の方法。
（３４） 前記仮想手術室に基づいて、前記物理的手術室の前記物理的機器の適合性スコアを決定することを更に含み、前記適合性スコアが、ａ）前記仮想手術室が、前記仮想外科手術機器をサポートする能力を有するかどうか、ｂ）前記仮想外科手術機器を前記仮想手術室に確実に出入りさせることができるかどうか、ｃ）前記仮想外科手術機器のうちの１つ以上のサイズの、前記仮想手術室の入口若しくは通路との比較、又はｄ）前記仮想外科手術機器どうしの間、前記仮想外科手術機器と前記物理的手術室の壁との間、若しくは前記仮想外科手術機器と仮想人員との間に、十分なクリアランスが存在するかどうか、
を含む１つ以上の適合性因子に基づく、実施態様２１に記載の方法。
（３５） 前記仮想外科手術機器の前記最適化されたレイアウトを有する前記仮想手術室を、コンピュータのメモリ中のデータベースに記憶することを更に含む、実施態様２１に記載の方法。

（３６） 仮想外科手術用ロボットシステムを備える仮想手術室（ＯＲ）を生成するためのシステムであって、
仮想現実プロセッサであって、
物理的手術室の幾何学的形状に基づいて、物理的外科手術機器を表す仮想外科手術機器を内部に有する仮想手術室を生成し、
前記仮想手術室内の前記仮想外科手術機器のレイアウトを最適化し、かつ
前記仮想手術室内の前記仮想外科手術機器の前記最適化されたレイアウトに基づいて、前記物理的手術室と前記物理的外科手術機器との間の適合性を決定する、ように構成されている仮想現実プロセッサを備える、システム。
（３７） 前記適合性を決定することが、ａ）前記仮想手術室が、前記仮想外科手術機器をサポートする能力を有するかどうか、ｂ）前記仮想外科手術機器を前記仮想手術室に確実に出入りさせ得るかどうか、ｃ）前記仮想外科手術機器のうちの１つ以上のサイズの、前記仮想手術室の入口若しくは通路との比較、又はｄ）前記仮想外科手術機器どうしの間、前記仮想外科手術機器と前記物理的手術室の壁との間、若しくは前記仮想外科手術機器と仮想人員との間に、十分なクリアランスが存在するかどうか、
のうちの１つ以上に基づく、実施態様３６に記載のシステム。
（３８） 前記仮想手術室内の前記仮想外科手術機器の前記レイアウトを最適化することが、前記仮想手術室の形状又はサイズの変更を含む前記仮想手術室の改善された幾何学的形状を決定することを含む、実施態様３６に記載のシステム。
（３９） 前記仮想外科手術機器の前記レイアウトを最適化することが、作業フロー、前記仮想外科手術機器のクリアランス、又は衝突のリスクのうちの１つ以上に基づく、実施態様３６に記載のシステム。
（４０） 前記仮想手術室内の前記仮想外科手術機器の前記レイアウトを最適化することが、前記仮想手術室内に仮想ケーブルを配線することを含む、実施態様３６に記載のシステム。

Claims (20)

1. 外科手術用ロボットシステムの外科手術作業フローを計画するためのシステムであって、
   仮想外科手術用ロボットアーム及び仮想患者を含む仮想外科手術環境を生成することと、
   前記仮想患者内の作業空間を決定することと、
   前記作業空間に基づいて仮想ツールの位置を決定することと、
   前記仮想ツールの前記位置に基づいて、前記仮想ツールが取り付けられている前記仮想外科手術用ロボットアームの位置を、前記作業空間内の前記仮想ツールの到達範囲を保つように決定することと、
   を含む操作を実行するように構成されている仮想現実プロセッサ、を備える、システム。
2. 前記操作が、重要度に基づいた順序で実行され、前記順序が、ａ）前記仮想患者及び外科手術タイプに基づいて、前記作業空間を決定することと、ｂ）次に、前記作業空間に基づいて、前記仮想ツールの前記位置を決定することと、ｃ）次に、前記仮想ツールの前記位置に基づいて前記仮想外科手術用ロボットアームの前記位置を決定することと、ｄ）次に、残りの仮想外科手術用ロボット機器の場所及び配向を決定することと、
   を含む、請求項１に記載のシステム。
3. 前記作業空間が、前記１つ以上の物理的外科手術中にキャプチャされた、ａ）物理的患者の内部のカメラ画像、又はｂ）物理的外科手術用ロボットアーム又はツールの動作、に基づいて決定された前記仮想患者の内部体積に基づく、請求項１に記載のシステム。
4. 前記仮想患者が、物理的患者の３次元スキャンから生成される、請求項１に記載のシステム。
5. ディスプレイを更に備え、前記仮想外科手術環境が前記ディスプレイ上に出力される、請求項１に記載のシステム。
6. 外科手術用ロボットシステムを用いた外科手術用ロボット作業フローを計画するための方法であって、
   仮想外科手術用ロボットアーム及び仮想患者を含む仮想外科手術環境を生成することと、
   前記仮想患者内の作業空間を決定することと、
   前記作業空間に基づいて仮想ツールの位置を決定することと、
   前記仮想ツールの前記位置に基づいて、前記仮想ツールが取り付けられている前記仮想外科手術用ロボットアームの位置を、前記作業空間内の前記仮想ツールの到達範囲を保つように決定することと、
   を含む、方法。
7. 前記作業空間が、手術タイプ及び前記仮想患者に基づいて決定される、請求項６に記載の方法。
8. 前記仮想外科手術用ロボットアーム又は前記仮想ツールの前記位置が、前記仮想外科手術用ロボットアームの動作制約を定義する運動学的パラメータに更に基づく、請求項６に記載の方法。
9. 前記運動学的パラメータが、物理的外科手術用ロボットアームの幾何学的形状と動作制約とを定義するコンピュータモデルから抽出される、請求項８に記載の方法。
10. 前記運動学的パラメータが、物理的外科手術又は物理的シミュレーション中にキャプチャされた物理的外科手術用ロボットアームのモータ制御データに基づいて決定される、請求項８に記載の方法。
11. 前記仮想ツールの前記位置に基づいて前記仮想患者上の進入ポイントを決定することを更に含み、前記仮想ツールがトロカールを含む、請求項８に記載の方法。
12. 前記仮想外科手術環境内での、仮想制御タワー又は仮想ユーザコンソールの場所又は配向を、
    医療者及び他の医療機器に十分なクリアランスを提供することと、
    衝突のリスクを最小化することと、
    に基づいて決定することを更に含む、請求項１１に記載の方法。
13. 前記仮想患者又は手術への変更を定義する受信した入力に基づいて、前記仮想外科手術環境を更新するために前記方法を繰り返すことを更に含む、請求項１２に記載の方法。
14. 操作が、順序にしたがって実施され、前記順序が、ａ）第１に、前記仮想患者及び外科手術タイプに基づいて、前記作業空間を決定することと、ｂ）第２に、前記作業空間に基づいて、前記仮想ツールの前記位置を決定することと、ｃ）第３に、前記仮想ツールの前記位置に基づいて前記仮想外科手術用ロボットアームの前記位置を決定することと、ｄ）第４に、残りの仮想外科手術用ロボット機器の場所及び配向を決定することと、
    を含む、請求項６に記載の方法。
15. 前記仮想外科手術環境を、鳥瞰図として、又は一人称視点として表示させることを更に含む、請求項６に記載の方法。
16. ヘッドマウントディスプレイを通じて前記仮想外科手術環境を表示させることを更に含む、請求項６に記載の方法。
17. 前記仮想患者が、物理的患者の３次元スキャンから生成される、又はデータベースから選択される、請求項６に記載の方法。
18. 前記仮想患者が、１つ以上の物理的外科手術からキャプチャされたセンサ情報又は外科手術ロボット動作データに基づいて生成又は修正される、請求項６に記載の方法。
19. 前記仮想患者を生成又は修正することが、前記１つ以上の物理的外科手術中にキャプチャされた、ａ）物理的患者の内部のカメラ画像、又はｂ）外科手術用ロボットツールの動作に基づいて、前記仮想患者の内部体積を推定することを含む、請求項１８に記載の方法。
20. 前記仮想患者を生成又は修正することが、前記１つ以上の物理的外科手術中にキャプチャされた内視鏡データに基づいて、前記仮想患者の内部体積を再構築することを含む、請求項１８に記載の方法。

Images