JP5840121B2 - 手術ロボットの合成表現 - Google Patents

Description

ロボット手術システムによって行われる低侵襲手術が知られており、遠隔環境または他の環境において一般的に使用され、この場合、人が手術を行わないことが利点である。このような遠隔ロボット手術システムの一例として、本出願人による米国特許第７，１５５，３１５号に説明する低侵襲ロボット手術システムが挙げられる。Ｉｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ，Ｉｎｃ．ｏｆ Ｓｕｎｎｙｖａｌｅ，Ｃａｌｉｆｏｒｎｉａが製造するｄａ Ｖｉｎｃｉ（登録商標） Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓは、低侵襲ロボット手術システム（例えば、遠隔操作型；遠隔手術型）の例示的な実装である。

低侵襲手術の一般的な形式は、内視鏡検査である。低侵襲医療技術における内視鏡手術器具は、概して、手術野を視認するための内視鏡と、エンドエフェクタを含む作業ツールとを含む。一般的な手術エンドエフェクタには、例として、クランプ、グラスパ、ハサミ、ステープラ、または持針器が含まれる。作業ツールは、従来の（観血的）手術に使用される作業ツールに類似するが、各ツールのエンドエフェクタが、例えば、約１２インチの長さの延長チューブの端部上に支持されることは例外とする。

エンドエフェクタを操作するために、人の操作者、一般的には、外科医は、局所的に提供されるマスタマニピュレータを操作するか、あるいはこれにコマンドを送る。マスタマニピュレータからのコマンドは、適宜変換され、遠隔配備されたスレーブマニピュレータに送信される。次いで、スレーブマニピュレータは、操作者のコマンドに従って、エンドエフェクタを操作する。

力フィードバックが、低侵襲ロボット手術システムに含まれ得る。このようなフィードバックを提供するために、遠隔スレーブマニピュレータは、一般的には、力情報をマスタマニピュレータに提供し、スレーブマニピュレータに作用する力を感知する知覚が外科医に与えられるように、力情報を利用して、力フィードバックを外科医に提供する。いくつかの力フィードバック実装では、触覚フィードバックが、作業ツールおよびそのエンドエフェクタに対する組織反力の人工的な感触を外科医に提供し得る。

しばしば、一般的には外科医コンソールに位置するマスタ制御は、患者の部位における作業ツールのうちの１つを解放するためのクラッチまたは他のデバイスを含む。この特徴は、例えば、３つ以上の作業ツールが存在するシステムにおいて使用され得る。このようなシステムでは、外科医は、１つのマスタによって１つの作業ツールの制御を解放し、そのマスタで別の作業ツールに対する制御を確立し得る。

外科医は、一般的には、内視鏡の視野内にある作業ツールの遠位端のみの画像を視認する。外科医は、視野外にあるツールの部分またはツール全体を見ることができない。したがって、外科医は、２つ以上のツールが視野外で相互に干渉する場合に、ツールを見ることができない。さらに、内視鏡は、手術部位に関して、および外科医の身体の基準枠に関して、種々の位置および配向にあるように操作され得るので、外科医は、ツールの概略位置に関して混乱する場合がある。結果として、外科医は、ツール間干渉を回避するために、または手術部位に関して１つ以上のツールを再配向するために、マスタマニピュレータを最良に移動させる方法を理解することができない。

以下は、本発明の基本的な理解を提供するために、本発明のいくつかの側面および実施形態に関する簡略化された要約を提示する。本要約は、本発明に関する広範囲に及ぶ概説ではない。本発明の主要／重要な要素を識別すること、または本発明の範囲を説明することを意図しない。その唯一の目的は、後に提示されるより詳細な説明に対する序文として、本発明のいくつかの側面および実施形態を、簡略化された形式で提示することにある。

ある実施形態では、ロボット手術システムが提供される。本システムは、患者に手術を実行するための少なくとも１つのツールを支持するリンク装置を含むロボットと、リンク装置からの接合状態情報を取得するためにロボットに連結された運動構成要素と、ディスプレイと、リンク装置に関するリンク装置構造データ、および接合状態情報に基づいて、リンク装置の少なくとも一部分のグラフィック表現を含むロボットの合成表現を表示するために、ディスプレイを運動構成要素と連結する第１の構成要素とを含む。

別の実施形態では、ロボット手術システムが提供される。本システムは、視野を有する画像取込み機器と、患者に手術を実行するための少なくとも１つのツールを支持するリンク装置とを含むロボットと、リンク装置に関する接合状態情報を取得するように、リンク装置に連結された運動構成要素と、第１のリンク装置および少なくとも１つのツールの構造に関するデータと、警告を生成するように、データおよび運動構成要素に連結された衝突検出構成要素とを含む。

さらに別の実施形態では、ロボットシステムにおいてツールの位置を制御する方法が提供される。本方法は、第１の画像をディスプレイ上に表示するステップであって、第１の画像は視野内におけるロボットのツールまたはリンク装置の映像供給物を含む、ステップと、第２の画像をディスプレイ上に表示するステップであって、第２の画像は、ツールまたはリンク装置の３次元モデルを表し、３次元モデルの第２の画像は、ツールまたはリンク装置の第１の画像と整列させられるステップと、ツールまたはリンク装置の動きを制御するために、ディスプレイ上の第１および第２の画像に関して、入力機器を移動させるステップとを含む方法。

またさらに別の実施形態では、ロボットシステムのツールの移動領域を提供する方法が提供される。本方法は、ツールの位置を表す第１の画像を表示するステップと、ツールの移動の限界を表す第２の画像を第１の画像に重ね合わせるステップとを含む。

また別の実施形態では、ロボットシステムが提供される。本方法は、ロボットシステムのツールの位置に関する情報を保持するステップと、ツールが、ツールの移動の限界から閾値距離以内にある結果として、信号を生成するステップとを含む。

別の実施形態では、ロボット手術システムが提供される。本システムは、患者に手術を実行するための少なくとも１つのツールを支持するリンク装置を含むロボットと、ツールを包囲する視野を有する画像取込み機器と、リンク装置から接合状態情報を取得するためにロボットに連結された運動構成要素と、視野を表示するために画像取込み機器に連結されたディスプレイと、視野に表されたツールに関する情報を表示するためにディスプレイを運動構成要素と連結する第１の構成要素であって、情報の位置は、リンク装置に関するリンク装置構造データ、および接合状態情報に基づいている、第１の構成要素とを含む。

さらに別の実施形態では、ロボットシステムにおける方法が提供される。本方法は、視野内のロボットによって支持されたツールの映像供給物を含む第１の画像を表示するステップと、ツールを含むロボットの合成３次元表現を表示するステップとを含む。

別の実施形態では、ロボットシステムにおける方法が提供される。本方法は、視野内におけるロボットにより支持されたツールの映像供給物を含む第１の画像を表示するステップであって、第１の画像は、ロボットの第１の部分から成るステップと、ツールを含むロボットの合成３次元表現を表示するステップであって、合成３次元表現は、第１の部分より大きいロボットの第２の部分を含むステップとを含む。

また別の実施形態では、方法がロボットシステムにおいて提供され、本方法は、視野内におけるロボットにより支持されたツールの映像供給物を含む第１の画像を表示するステップであって、第１の画像は、第１の方向から視認されたロボットの第１の部分から成るステップと、ツールを含むロボットの合成３次元表現を表示するステップであって、合成３次元表現は、第２の方向から視認されるステップとを含む。
例えば、本発明は以下の項目を提供する。
（項目１）
少なくとも１つの手術ツールを支持するリンクを含むロボットと、
該リンクと関連付けられた運動位置情報を取得するように、該ロボットに連結された運動構成要素と、
ディスプレイと、
第１の構成要素であって、該ディスプレイを該運動構成要素と連結して、
該リンクに関するリンク構造データと、
該運動位置情報と
に基づいて、該リンクの少なくとも一部分のグラフィック３次元モデルを含む該ロボットの合成表現を表示する、第１の構成要素と
を備える、ロボット手術システム。
（項目２）
前記ツールを包囲する視野を有する画像取込み機器と、
ディスプレイ、および該ツールを移動させるコマンドを受信するために配置される入力部を備える外科医コンソールと
をさらに備え、
該ディスプレイは、該画像取込み機器の該視野内の画像を受信するように連結される、項目１に記載のシステム。
（項目３）
第２のディスプレイをさらに備え、
該第２のディスプレイは、前記外科医コンソールの遠隔にあり、
該第２のディスプレイは、前記ロボットの前記合成表現を表示する、
項目２に記載のシステム。
（項目４）
前記第２のディスプレイを前記運動構成要素と連結する第２の構成要素をさらに備え、それにより、前記リンクに関する前記リンク構造データ、および前記運動位置情報に基づいて、該リンクの少なくとも一部分のグラフィック表現を含む前記ロボットの合成表現を前記第２のディスプレイ上に表示する、項目３に記載のシステム。
（項目５）
前記合成表現は、前記ツールのモデルを含む、項目１に記載のシステム。
（項目６）
前記モデルは、前記ツールの３次元モデルを含む、項目５に記載のシステム。
（項目７）
前記画像取込み機器の視野内の前記ツールの画像を取り込む画像取込み機器と、
該画像取込み機器を前記ディスプレイに連結して、該画像取込み機器からの該画像を該ディスプレイ上に表示する第２の構成要素と
をさらに備える、項目１に記載のシステム。
（項目８）
前記合成表現は、前記取込み機器からの前記表示された画像の外部の前記ディスプレイ上に見えるように表示される、項目７に記載のシステム。
（項目９）
手術を実行するツールを含むロボットと、
該ツールを包囲する視野を取り込む画像取込み機器と、
該ロボットの少なくとも一部分の合成表現を提供するデータであって、該一部分は、該画像取込み機器を含む、データと、
ディスプレイと、
該データを該ディスプレイに連結して、該画像取込み機器の該視野の３次元表現を含む該ロボットの該合成表現を表示する、第１の構成要素と
を備える、ロボット手術システム。
（項目１０）
前記ディスプレイは、前記ロボット手術システムの外科医コンソールのビューアを含む、項目９に記載のシステム。
（項目１１）
前記合成表現は、前記ツールのモデルを含む、項目９に記載のシステム。
（項目１２）
前記モデルは、前記ツールの３次元モデルを含む、項目１１に記載のシステム。
（項目１３）
第１の手術ツールを支持する第１のリンク、および第２の手術ツールまたは画像取込み機器を支持する第２のリンクを含むロボットと、
該第１のリンクおよび該第２のリンクに連結されて、該リンクに関する接合状態情報を取得する運動構成要素と、
該第１のリンク、該第２のリンク、該第１の手術ツール、および該第２の手術ツールまたは該画像取込み機器の構造に関するデータと、
該データおよび該運動構成要素に連結されて、（ｉ）該第１のリンクまたは第１の手術ツールと、（ｉｉ）該第２のリンクまたは該第２の手術ツールまたは該画像取込み機器との起こりうる衝突または実際の衝突に関する警告信号を生成する、衝突検出構成要素と
を備える、ロボット手術システム。
（項目１４）
前記衝突検出構成要素は、前記データおよび前記運動構成要素によって決定されるとき、前記第１のリンクまたは前記第１の手術ツールと、前記第２のリンクまたは前記第２の手術ツールまたは前記画像取込み機器との近接の結果として警告信号を生成するように構成される、項目１３に記載のシステム。
（項目１５）
ディスプレイをさらに備え、前記衝突検出構成要素は、前記信号を該ディスプレイに伝送して、前記起こりうる衝突または実際の衝突に関する情報を表示するように構成される、項目１３に記載のシステム。
（項目１６）
前記起こりうる衝突または実際の衝突に関する前記情報は、（ｉ）前記第１のリンクまたは前記第１の手術ツールと、（ｉｉ）前記第２のリンクまたは前記第２の手術ツールまたは前記画像取込み機器との間の該起こりうる衝突または実際の衝突の合成表現を含む、項目１５に記載のシステム。
（項目１７）
前記起こりうる衝突または実際の衝突に関する前記情報は、衝突を回避または是正することに関する情報を含む、項目１５に記載のシステム。
（項目１８）
前記起こりうる衝突または実際の衝突に関する前記情報は、該起こりうる衝突または実際の衝突の場所をハイライトすることを含む、項目１５に記載のシステム。
（項目１９）
前記起こりうる衝突または実際の衝突に関する前記情報は、前記場所に隣接するテキストメッセージを含む、項目１８に記載のシステム。
（項目２０）
ロボットシステムにおいてツールの位置を制御する方法であって、該方法は、
第１の画像をディスプレイ上に表示することであって、該第１の画像は、画像取込み機器の視野内におけるロボットのツールまたはリンクの映像供給物を含むことと、
第２の画像を該ディスプレイ上に表示することであって、該第２の画像は、該ツールまたはリンクの３次元モデルを表し、該第２の画像に表された該ツールまたはリンクは、該第１の画像における該ツールまたはリンクと整列させられることと、
該ディスプレイ上の該第１および第２の画像に関して移動させられる入力機器からコマンドを受信して、該ツールまたはリンクの動きを制御することと
を含む、方法。
（項目２１）
ロボットシステムのツールのための移動領域の標示を提供する方法であって、
該ツールの位置を表す第１の画像を表示することと、
該ツールの移動の限界を表す第２の画像を該第１の画像に重ね合わせることと
を含む、方法。
（項目２２）
ロボットシステムにおいて、
ロボットシステムのツールの位置に関する情報を保持することと、
該ツールが、該ツールの移動の限界から閾値距離以内にある結果として信号を生成することと
を含む、方法。
（項目２３）
少なくとも１つの手術ツールを支持するリンクを含むロボットと、
該ツールを包囲する視野を有する画像取込み機器と、
該ロボットに連結されて、該リンクに関連付けられた運動位置情報を取得する運動構成要素と、
該画像取込み機器の該視野内における画像を受信および表示するように連結されたディスプレイと、
該ディスプレイを該運動構成要素と連結して、該表示された画像において表わされた該ツールと結び付けられた情報を表示する第１の構成要素であって、該情報の位置は、
該リンクに関するリンク構造データと、
該運動位置情報と
に基づいている、第１の構成要素と
を備える、ロボット手術システム。
（項目２４）
前記画像取込み機器および前記ディスプレイに連結されて、該画像取込み機器の前記視野における前記ツールの３次元ビューを生成する、立体画像システムと、
前記第１の構成要素および該ディスプレイに連結されて、該ツールの該３次元ビューに一致する前記表示情報の３次元外観を提供する、較正カメラモデルと
をさらに備える、項目２３に記載のシステム。
（項目２５）
前記ツールと結び付けられた前記情報は、テキストを含む、項目２３に記載のシステム。
（項目２６）
ロボットシステムにおいて、
画像取込み機器の視野内のロボットによって支持されたツールの映像供給物を含む第１の画像を第１のディスプレイに表示することと、
該ツールを含む該ロボットの少なくとも一部分の合成３次元表現を該第１のディスプレイに表示することと
を含む、方法。
（項目２７）
前記３次元表現は、前記画像取込み機器の前記表示された視野の外に見えるように表示される、項目２６に記載のシステム。
（項目２８）
ロボットシステムにおいて、
画像取込み機器の視野内のロボットによって支持されたツールの映像供給物を含む第１の画像を表示することであって、該第１の画像は、該ロボットの第１の部分を含む、ことと、
該ツールを含む該ロボットの少なくとも一部分の合成３次元表現を表示することであって、該合成３次元表現は、該第１の部分よりも大きい該ロボットの第２の部分を含む、ことと
を含む、方法。
（項目２９）
ロボットシステムにおいて、
画像取込み機器の視野内のロボットによって支持されたツールの映像供給物を含む第１の画像を表示することであって、該第１の画像は、第１の方向から視認されるように該ロボットの第１の部分を含む、ことと、
該ツールを含む該ロボットの少なくとも一部分の合成３次元表現を表示することであって、該表示された合成３次元表現は、該第１の方向とは異なる第２の方向から視認されるように見える、ことと
を含む、方法。
（項目３０）
前記３次元表現の前記表示を変更することをさらに含むことにより、前記第１および前記第２の方向とは異なる第３の方向から視認されるように見える、項目２９に記載のシステム。
（項目３１）
前記３次元表現の前記表示を変更することをさらに含むことにより、前記第１の方向から視認されるように見える、項目２９に記載のシステム。
（項目３２）
少なくとも１つのツールまたは画像取込み機器を支持するリンクを含むロボットと、
該リンクに連結されて、該リンクに関連付けられた運動位置情報を取得する運動構成要素と、
該リンクおよび該少なくとも１つのツールまたは画像取込み機器の構造に関する第１のデータと、
患者の位置に関する患者データと、
衝突検出構成要素であって、該衝突検出構成要素は、該第１のデータを受信するように連結され、該患者データを受信するように連結され、および該運動構成要素に連結されることにより、該リンクの該患者との起こりうる衝突または実際の衝突、または該少なくとも１つのツールまたは画像取込み機器の該患者との起こりうる衝突または実際の衝突に関する警告信号を生成する、衝突検出構成要素と
を備える、ロボット手術システム。
（項目３３）
ディスプレイをさらに備え、前記衝突検出構成要素は、前記信号を該ディスプレイに伝送して、前記起こりうる衝突または実際の衝突に関する情報を表示するように構成される、項目３２に記載のシステム。
（項目３４）
前記起こりうる衝突または実際の衝突に関する前記情報は、前記リンクまたは前記少なくとも１つのツールの前記患者との該起こりうる衝突または実際の衝突の合成表現を含む、項目３３に記載のシステム。
（項目３５）
前記起こりうる衝突または実際の衝突に関する前記情報は、衝突を回避または是正することに関する情報を含む、項目３４に記載のシステム。
（項目３６）
ロボットシステムにおけるツールに対してツール移動を教示する方法であって、
第１の画像をディスプレイ上に表示することであって、該第１の画像は、画像取込み機器の視野内のロボットのツールまたはリンクの映像供給物を含む、ことと、
第２の画像を該ディスプレイ上に表示することであって、該第２の画像は、該ツールまたはリンクのモデルを表す、ことと、
第１の制御器からの入力に応答して、該第２の画像を移動させることと、
第２の制御器からの入力に応答して、該ツールを移動させることと
を含む、方法。
（項目３７）
リアルタイム映像画像が取り込まれる視野を有する画像取込み機器と、
手術ツールを支持するリンクと、
ディスプレイと、
モデル化構成要素と
を備える、手術ロボットシステムであって、
該モデル化構成要素は、該視野の３次元レンダリングを生成し、該視野の外の該手術ツールの少なくとも一部分の３次元レンダリングを生成し、
該ディスプレイは、該視野のレンダリング、該視野の外の該手術ツールの該少なくとも一部分のレンダリング、および該リアルタイム映像画像を同時に表示し、
該手術ツールの該少なくとも一部分のレンダリングは、該視野の該レンダリングに関して、該画像取込み機器の該視野に関して該手術ツールが有する場所と実質的に同じ場所に位置して見えるように表示され、
該リアルタイム映像画像は、該視野の該レンダリングに関して、該リアルタイム映像画像が、該画像取込み機器の該視野内に取り込まれた場所と実質的に同じ場所に位置して見えるように表示される、手術ロボットシステム。
（項目３８）
前記視野の前記レンダリングに関して、前記リアルタイム映像画像の前記表示された場所は、該視野の該レンダリングの表示されるビュー角度が前記ディスプレイにおいて変更される際に、実質的に一定のままである、項目３７に記載の手術ロボットシステム。

図１は、低侵襲遠隔手術システムを含む手術室の上面図を示す。 図２は、図１の低侵襲遠隔手術システムの患者カートの正面図である。 図３は、図１の低侵襲遠隔手術システムの構成要素を表すブロック図である。 図４は、図１の低侵襲遠隔手術システムで使用するためのコンピュータの構成要素を表すブロック図である。 図５は、マスタ制御器の側面斜視図である。 図６は、ロボットの合成画像のビューである。 図７は、合成画像のレンダリングを更新するためのプロセスを表すフローチャートである。 図８は、内視鏡の視野と、内視鏡を支持するロボットの合成画像との両方を提供するディスプレイにより提供されたビューである。 図９は、ロボットの合成画像の一部分を視認するための代替角度を表示するタイルウィンドウを示す。 図１０は、２つのツールが衝突している視野を示す。 図１１は、衝突情報を提供するためのプロセスを示すフローチャートである。 図１２は、消失ツール回復のためのプロセスを表すフローチャートである。 図１３は、ロボットの合成画像を含むウィンドウタイルの上に投影された視野を示す。 図１４は、モデル化構成要素を利用して情報を表示するためのプロセスを表すフローチャートである。

以下の説明では、本発明の種々の側面および実施形態について説明する。説明する目的で、実施形態について十分な理解を提供するために、具体的な構成および詳細について記述する。しかしながら、具体的な詳細が無くても本発明を実施することができることも当業者に明らかである。さらに、周知の特徴を、本説明から省略してもよく、または説明される実施形態を曖昧にしないように簡略化してもよい。

次に、同様の参照番号がいくつかの図面において同様の部分を表す図面を参照すると、図１は、ある実施形態に従う、操作者ステーションまたは外科医コンソール３０を有する低侵襲遠隔手術システム２０を示す。外科医コンソール３０は、手術部位の画像が外科医Ｓに表示されるビューア３２を含む。既知であるように、外科医Ｓが自身の前腕を置くことができるとともに、２つのマスタ制御７００（図５）を片手に１つ把持することができる支持体（図示せず）が提供される。より多くのエンドエフェクタが利用可能である場合、より多くの制御を提供してもよいが、一般的には、外科医は、一度に２つの制御のみを操作し、複数のツールを使用する場合、外科医は、マスタ制御７００によって１つのツールを解放し、同じマスタ制御で別のツールを把持する。外科医コンソール３０を使用する場合、外科医Ｓは、一般的には、外科医コンソールの前の椅子に座り、自身の両目をビューア３２の前に合わせ、マスタ制御７００を片手に一つ把持するとともに、自身の前腕を支持体上に置く。

遠隔手術システム２０の患者側カート４０は、患者Ｐに隣接して設置される。使用中、患者側カート４０は、手術を必要とする患者Ｐの近くに設置される。患者側カート４０は、一般的には、外科手術中は固定されており、移動できるように車輪またはキャスタを含む。外科医コンソール３０は、一般的には、患者側カート４０から遠隔に設置され、患者側カートから遠く離れて（何マイルも離れて）分離され得るが、一般的には、患者側カートと同じ手術室内において使用される。

図２においてより詳細に示す患者側カート４０は、一般的には、２つ以上のロボットアーム組立体を含む。図２に示す実施形態では、患者側カート４０は、４つのロボットアーム組立体４２、４４、４６、４８を含むが、より多くのまたはより少ないロボットアーム組立体を提供してもよい。各ロボットアーム組立体４２、４４、４６、４８は、通常、外科医コンソール３０のマスタ制御のうちの１つに動作可能に接続される。したがって、ロボットアーム組立体４４、４６、４８のマニピュレータ部分の動きは、マスタ制御の操作によって制御される。

参照数字４２により示されるロボットアーム組立体のうちの１つは、画像取込み機器５０、例えば、内視鏡またはその同等物を保持するように配置される。内視鏡または画像取込み機器５０は、細長いシャフト５４の遠隔端部に視認端部５６を含む。細長いシャフト５４によって、患者Ｐの手術侵入ポートを通して視認端部５６を挿入することが可能になる。画像取込み機器５０は、その視認端部５６において取り込まれた画像を表示するために、外科医コンソール３０のビューア３２に動作可能に接続される。

他のロボットアーム組立体４４、４６、４８のうちの各々は、着脱可能な手術器具またはツール６０、６２、６４をそれぞれ支持および含むリンク装置である。ロボットアーム組立体４４、４６、４８のツール６０、６２、６４は、それぞれエンドエフェクタ６６、６８、７０を含む。エンドエフェクタ６６、６８、７０は、当技術分野において既知であるように、ツールの細長いシャフトの遠位端上に装着されるリスト部材上に装着される。ツール６０、６２、６４は、患者Ｐの手術侵入ポートを通してエンドエフェクタ６６、６８、７０を挿入することを可能にするように、細長いシャフトを有する。ツール６０、６２、６４のシャフトの端部に対するエンドエフェクタ６６、６８、７０の動きは、外科医コンソール３０のマスタ制御によって制御される。

示される遠隔手術システム２０は、視覚カート８０を含み、視覚カート８０は、画像取込み機器に関連する設備を含む。別の実施形態では、視覚カート８０は、遠隔手術システム２０を動作させるためのコンピュータ設備または他の制御（「コア」データ処理設備）の大部分を含む他の設備と組み合わせられることができる。例として、外科医コンソール３０のマスタ制御器により送信された信号は、視覚／コアカート８０に送信され得、次いで、視覚／コアカート８０は、信号を解釈し、エンドエフェクタ６６、６８、７０および／またはロボットアーム組立体４４、４６、４８のためのコマンドを生成する。加えて、画像取込み機器５０からビューア３４に送信された映像は、視覚カート８０によって処理され得るか、または視覚カート８０によって単に転送され得る。

図３は、遠隔手術システム２０の図表示である。示されるように、システムは、外科医コンソール３０、患者側カート４０、および視覚カート８０を含む。加えて、ある実施形態によると、追加のコンピュータ８２およびディスプレイ８４が提供される。これらの構成要素は、外科医コンソール３０、患者側カート４０、および／または視覚カート８０のうちの１つ以上に組み込まれてもよい。例えば、コンピュータ８２の特徴は、視覚カート８０に組み込まれてもよい。加えて、ディスプレイ８４の特徴は、外科医コンソール３０、例えば、ビューア３２に組み込まれてもよく、または外科医コンソールもしくは別の位置の完全に別個のディスプレイによって提供されてもよい。加えて、ある実施形態によると、コンピュータ８２は、ディスプレイ８４等のディスプレイを含まずに利用され得る情報を生成してもよい。

「コンピュータ」として説明されるが、コンピュータ８２は、本明細書に説明する機能を実行することができるコンピュータシステムの構成要素または任意の他のソフトウェアもしくはハードウェアであってもよい。さらに、上述のように、コンピュータ８２の機能および特徴は、いくつかの機器またはソフトウェア構成要素に分散されてもよい。したがって、図示するコンピュータ８２は、論議の利便性のためのものであり、制御器によって置換されてもよく、またはその機能は、１つ以上の他の構成要素によって提供されてもよい。

図４は、ある実施形態に従うコンピュータ８２の構成要素を示す。位置構成要素が、コンピュータ８２に含まれるか、あるいはコンピュータ８２に関連付けられる。位置構成要素は、エンドエフェクタ６６、６８、７０のうちの１つ等のエンドエフェクタの位置に関する情報を提供する。図示する実施形態では、ツール追跡構成要素９０が、位置構成要素のために使用され、エンドエフェクタ６６、６８、７０等のエンドエフェクタの位置に関する情報を提供する。本明細書で使用する際、「位置」は、エンドエフェクタの場所および／または配向のうちの少なくとも１つを意味する。多種多様な異なる技術を使用して、エンドエフェクタの位置に関する情報を提供してもよく、このような技術は、考察されるツール追跡機器であってもよく、またはそうでなくてもよい。単純な実施形態では、位置構成要素は、画像取込み機器５０からの映像供給物を利用して、エンドエフェクタの位置に関する情報を提供するが、この視覚情報の代わりに、またはこの視覚情報に加えて、他の情報を使用してもよく、他の情報には、センサ情報、運動情報、これらの任意の組み合わせ、またはエンドエフェクタ６６、６８、７０の位置および／もしくは配向を提供し得る追加の情報が含まれる。ツール追跡構成要素９０に使用され得るシステムの例は、米国特許第５，９５０，６２９号（１９９４年４月２８日出願）、米国特許第６，４６８，２６５号（１９９９年１１月９日出願）、米国特許出願公報第ＵＳ２００６／０２５８９３８Ａｌ号（２００５年５月１６日出願）、および米国特許出願公報第ＵＳ２００８／０００４６０３Ａｌ号（２００６年６月２９日出願）に開示される。ある実施形態によると、ツール追跡構成要素９０は、本出願人による米国特許出願第６１／２０４，０８４号（２００８年１２月３１日出願）に説明するシステムおよび方法を利用する。概して、位置構成要素は、エンドエフェクタの実際の位置および配向に関する情報を保持する。この情報は、情報が利用可能である時に依存して更新され、例えば、非同期情報であり得る。

運動構成要素９２は、概して、位置、本明細書では、エンドエフェクタの「運動位置」を、遠隔手術システム２０を介して利用可能である情報を利用して推定する任意の機器である。ある実施形態では、運動構成要素９２は、エンドエフェクタに対するリンク装置の接合状態からの運動位置情報を利用する。例えば、運動構成要素９２は、遠隔手術システム２０のマスタ／スレーブアーキテクチャを利用して、ツール６０、６２、６４の各々のリンク装置における接合についてのエンコーダ信号に基づいて、エンドエフェクタ６６、６８、７０の対象のデカルト位置を計算し得る。例として、運動構成要素は、スレーブエンコーダ１０２および／またはマスタマニピュレータエンコーダを利用して、ツールの位置を推定し得る。運動構成要素のある実施形態を利用するシステムの例は、参照により本明細書に組み込まれる米国特許第７，１５５，３１５号に説明されるが、他の例を利用してもよい。また、エンドエフェクタまたはリンク装置および／もしくはツールの任意の部分の運動位置情報は、他の方式で提供されてもよく、例えば、光ファイバ形状検知、リンク装置、ツール、またはエンドエフェクタに沿った種々の場所に埋め込まれた構成要素（例えば、電磁構成要素）の位置の検知、種々の映像ツール追跡方法等の使用が挙げられる。

図示する実施形態では、誤差訂正構成要素９４が提供される。概して、誤差訂正構成要素は、ツール追跡構成要素９０が提供するツールの場所および／または配向を、運動構成要素９２が提供するツールの場所および／または配向と比べた差異を計算する。接合および可動の部品が多数あるので、現在の運動測定は、一般的には、空間における手術用エンドエフェクタの場所について正確な情報を提供しない。十分な剛性および検知を有するシステムであれば、論理的に、ほぼ正確な動力学的情報を提供することができる。しかしながら、現在の低侵襲ロボット手術システムでは、しばしば、運動情報が空間において採取される場合に、任意の方向に最大１インチ不正確である場合がある。したがって、ある実施形態によると、オフセットが、誤差訂正構成要素９４によって生成され得る。このオフセットは、運動構成要素が提供する運動情報と、ツール追跡構成要素が提供する実際の位置情報との差異に関する情報を提供する。オフセットを利用して、運動情報および実際の位置情報は、同じ場所および／または配向に位置合わせされ得る。

ある実施形態によると、モデル化構成要素１０８が、患者側カート４０等の患者側カートまたはその任意の部分の合成画像１２０（図６）を生成するために提供される。図示する実施形態では、合成画像１２０は、患者側カート４０とは異なる患者側カート構成を有する（３つのアームを有するｄａ Ｖｉｎｃｉ（登録商標） Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｍｏｄｅｌ ＩＳ２０００患者側カートの例示的モデルが示される）が、患者側カート４０が追加のロボットアーム組立体およびツールを含むこと以外は、２つの患者側カートの基本構成要素は同じである。ある実施形態によると、合成画像１２０は、ディスプレイ８４またはビューア３２上に表示され得る。このために、視覚カート８０および／またはコンピュータ８２に関連付けられるモデル化データ１０４（図３）が提供され得る。モデル化データ１０４は、例えば、患者側カート４０またはその任意の部分の画像等の、２次元（２−Ｄ）または３次元（３−Ｄ）表現であってもよい。ある実施形態では、このような表現は、患者側カート４０またはその任意の部分の３−Ｄモデルであるため、患者側カート４０またはその任意の部分の実際のソリッドモデルを表し得る。モデル化データ１０４は、例えば、患者側カート４０の構成要素を表すＣＡＤデータまたは他の３−Ｄソリッドモデルデータであってもよい。ある実施形態では、３−Ｄモデルは、患者側カートの動きが患者側カート４０の合成画像１２０によって模倣され得るように、患者側カート４０の各接合において操作可能である。モデル化データは、患者側カート全体、または患者側カートのツールのみ等のその任意の部分を表してもよい。

接合場所および配向は、概して、例えば、運動構成要素９２が提供する運動データから既知である。この情報を利用して、患者側カートの各構成要素は、外科医に対して３−Ｄで見える患者側カートの画像を生成するように、場所にレンダリングされ得る。したがって、ある実施形態では、モデル化データ１０４は、患者側カートロボットの構成要素またはリンク装置毎に個別情報を含む。

ある実施形態によると、モデル化構成要素１０８は、ツール追跡構成要素９０および／または運動構成要素９２が提供する情報に従って、合成画像１２０の構成要素の場所および／または配向を絶えず更新する。例えば、患者側カートの１つ以上のエンドエフェクタの位置を含む運動構成要素９２の初期状態が決定され得る。これらの位置は、ツール追跡構成要素９０が提供する位置情報と比較され得る。上述のように、ツール追跡構成要素９０が決定する実際の位置と、運動構成要素９２が提供するエンドエフェクタの推定位置との差異は、結果としてオフセットされ得、このオフセットは、誤差訂正構成要素９４に格納され得るか、あるいは誤差訂正構成要素９４によって使用され得る。このオフセットを使用して、ツール追跡構成要素９０が決定するエンドエフェクタの位置および配向を、運動構成要素９２が推定する位置および配向に位置合わせし得る。

データが、ツール追跡構成要素９０から利用可能である場合、エンドエフェクタの実際の位置が追跡され、運動構成要素９２が提供する情報と位置合わせされ得る。ツール追跡情報がツール追跡構成要素９０から利用不可能である場合、運動構成要素９２が提供する運動情報における任意の変化が、エンドエフェクタによる実際の動きを標示することが仮定され得る。すなわち、ツール追跡が利用不可能である場合、エンドエフェクタの位置は、運動構成要素９２が計算する現在の位置と最後に既知であった位置との間の座標位置の変化によって正確に決定され得る。ここで、位置の変化が、ツール追跡情報を使用せずに、運動データのみを使用して正確に計算され得ることが仮定される。運動情報は、空間におけるエンドエフェクタの位置を計算するためにはしばしば不正確であるが、一般的には、その運動情報は、特に短時間において、または少量の動きについて一旦位置が把握されると、位置の変化を計算するには正確であることから、この仮定は、合理的である。したがって、非同期データが、ツール追跡構成要素９０によって提供され得、同期データが、運動構成要素９２によって提供され得る。この情報の組み合わせによって、患者側カート４０の構成要素の位置および配向に関するデータが提供される。

ロボットアーム組立体の構成要素の位置は、運動構成要素が提供する接合状態を利用して決定され得る。これらの接合状態は、上述のように、その位置が既知であるエンドエフェクタから逆行して計算される。加えて、患者側カートのロボットアーム組立体１２２の接合部におけるスレーブエンコーダ１０２が、接合部毎の状態情報の変化を提供することから、ロボットアーム組立体の各区画の相対位置が、正確に推定および追跡され得る。したがって、ロボットアーム組立体の端部におけるツール１２４またはロボットアーム組立体のうちの１つの端部における内視鏡１２６を含むロボットアーム組立体１２２の区画の各々の位置により、モデル化構成要素１０８がモデル化データ１０４を利用して合成画像１２０を生成することができることに十分である情報を、モデル化構成要素１０８に提供することができる。

再び図６を参照すると、ある実施形態では、患者側カートの合成画像１２０に加えて、内視鏡の視体積１３０が提供される。視体積１３０は、内視鏡１２６の視野の投影を表す。視野は、内視鏡によって可視であるビューであり、視体積は、視野の境界の投影である。すなわち、視体積１３０は、内視鏡１２６によって可視である３−Ｄ空間を表す。必要に応じて、図４に示すように、カメラ情報１３２が、モデル化構成要素１０８に提供され得る。カメラ情報は、カメラに関する較正された組の固有パラメータおよび外的パラメータを含む。固有パラメータには、例えば、光学の透視マッピングをモデル化する焦点距離および主点が含まれる。加えて、固有パラメータは、レンズ歪みの要因となり得る。外的パラメータは、例えば、立体的な内視鏡ビュー間の相対位置および配向の要因となり得る。理解できるように、内視鏡のズーム等のパラメータを変更することによって、視体積を狭くまたは広くする等の内視鏡の視体積が変更される。加えて、内視鏡１２６が移動すると、視体積１３０は、適宜移動する。カメラ情報によって、後述するように、画像取込み機器からのエンドエフェクタの立体的ビューに重ね合わされ得る３−Ｄ立体的レンダリングの作成が可能になる。

図７は、ある実施形態に従う、合成画像１２０のレンダリングを更新するためのプロセスを表すフローチャートである。４０１で開始して、患者側カートまたはその任意の部分の位置および配向が検知される。この検知は、上述のように、例えば、ツール追跡構成要素９０および／または運動構成要素９２を介して発生し得る。

４０２において、４０１からの位置および配向情報を使用して、モデル（例えば、合成画像１２０）を生成する。上述のように、モデル化構成要素１０８は、モデル化データ１０４を使用してモデルを生成する。４０１から提供された位置および配向情報を利用して、患者側カートの位置および配向に一致するように、合成モデルの位置および配向を正確に配置する。

４０４において、患者側カートの移動の結果として、情報が受信される。動きは、例えば、ロボットアーム組立体のうちの１つの動き、内視鏡の動き、内視鏡の焦点の変化、またはエンドエフェクタのうちの１つによる動きであってもよい。エンドエフェクタの動きは、例えば、ペンチの閉鎖またはエンドエフェクタの他の操作上の動きを含む、場所または配向の変化であってもよい。

４０６において、ツール追跡情報が利用可能であるか否かの決定が行われる。図４に示す実施形態では、内視鏡１２６の視野（例えば、視体積１３０）にあるエンドエフェクタまたはツールの任意の部分の実際の位置がツール追跡構成要素９０を使用して探索され得るために、画像が利用可能であるか否かの決定が行われる。一側面では、ツール追跡が利用可能である場合、４０６は、４０８に分岐し、４０８において、ツール追跡情報を利用して、ツールおよび／またはエンドエフェクタの位置および配向に関する情報を更新する。

４１０において、運動情報を使用して、患者側カートのロボットの各リンク装置の接合部の場所および配合に関する情報を更新する。４１２において、必要に応じてオフセットが更新される。４１４において、合成画像１２０の表示が更新され、プロセスは、分岐して４０４に戻る。

４０６において、ツール追跡情報が利用不可能である場合、プロセスは、４１６に分岐して、４１６において、運動構成要素９２が提供する運動情報を利用して、エンドエフェクタの位置を決定する。次いで、プロセスは、４１０に進み、続いて、プロセスを通るが、ツール追跡情報が本ループにおいて利用不可能であるので、オフセットは、おそらく更新されず、４１２は省略される。

図７に示す方法を利用して、合成画像１２０の３−Ｄレンダリングが生成され、合成画像は、外科手術における任意の時点において、患者側カートの物理的構成を正確に表す。この情報を、外科医Ｓまたは他の誰かが利用および視認して、患者側カートの状態を評価することができる。後述するように、ビューア３４またはディスプレイ８４は、内視鏡の視点と同じ視点からか、または別の角度もしくは距離からの合成画像１２０を示してもよい。合成画像１２０によって、ビューア３２を介して患者ビューカートの全ての部分の観測が可能になるので、外科医Ｓは、ロボットおよびツールの動きを監視することが可能になる。加えて、ある実施形態によると、これらの構成要素の視認は、視体積１３０に関連して利用可能であり、外科医は、空間に対する内視鏡の視野の場所に関する良好な透視を有することが可能になる。視体積１３０は、ビューア３２内を見ている場合に、外科医Ｓが見えるものの３次元表現を提供する。

必要に応じて、内視鏡の視野および合成画像１２０の両方を示すための単一表示が提供され得る。例えば、図８に示すように、ビューア３２またはディスプレイ８４により提供されたビュー２００は、内視鏡１２６の実際の視野画像２０２および合成画像１２０の両方を提供する。合成画像１２０は、別のタイルウィンドウ２０４で示される。図８に示す実施形態では、タイル２０４は、視野２０２とほぼ同じサイズであるが、必要に応じて、タイルウィンドウは、視野２０２よりも小さくてもまたは大きくてもよい。また、必要に応じて、合成画像１２０または視野２０２のより大きい提示を外科医が交互に切り替えることができるように、トグルまたは他の特徴を提供してもよい。加えて、合成画像１２０および／またはタイルウィンドウ２０４は、継続的ベースまたは要求に応じて、視野の一部分の上に部分的に重ね合わされてもよい。

合成画像１２０または視野２０２のより大きな提示を交互にトグルで切り替える例として、マスタマニピュレータに接続されるカメラ制御が提供され得る。例えば、使用者は、内視鏡ビューを見始め、カメラ制御モード中に、自身に向かって自身の手を引くことによって内視鏡を後方に引っ張ってもよい。ある点において、内視鏡をこれ以上引っ張ることができなくなり、視野は、最大範囲を包囲する。マスタ制御（触覚戻り止めまたは他の標示を含むまたは含まない）を引っ張り続けると、現実の画像（例えば、視野２０２に取り込まれた画像）の境界に沿って合成画像１２０の区画を示すビューが露呈される。マスタ制御（触覚戻り止めまたは他の標示を含むまたは含まない）をまたさらに引っ張ると、視野２０２に取り込まれた画像が画面の中心区画のみであるビューが提供され得る。制御（触覚戻り止めまたは他の標示を含むまたは含まない）をまたさらに引っ張ると、全体の合成画像１２０が提供され得る。マスタ制御方向を逆行させることを使用して、このような現実から合成へのズームアウト機能を逆行させて、合成から現実へのズームイン機能を制御することができる。マスタマニピュレータの動きを使用するカメラ制御の代替として、システムは、別の制御入力（例えば、足踏みペダル、マニピュレータ上の指ボタン、マスタマニピュレータグリップのロール、およびその同等物）を使用して、ズーム機能を制御するように構成されてもよい。

図９は、合成画像１２０の一部分を視認するための代替角度を表示するタイルウィンドウ２０８を示す。図示する実施形態では、視体積１３０は、内視鏡の実際の視野から若干傾けられるが、視体積１３０のビューの特定の角度は、視体積に関連するツール１２４の構成に関する関連情報を示す。

合成画像１２０の特徴によって、低侵襲遠隔手術システム２０の使用者に別の便益が提供される。これらの利点のうちのいくつかについて以下に記載する。

（衝突検出）
一般的には、低侵襲遠隔手術システムでは、ツール１２４等の手術ツールの最遠位部分のみが、常に、内視鏡１２６の視野において外科医に可視的であり得る。患者側カートの構成に依存して、視野において外科医に非可視的であるロボット組立体の可動部品間の衝突が発生し得る可能性がある。これらの衝突のうちのいくつか（内視鏡１２６の視野外であることから「外側衝突」）は、ツールに至るロボットアーム組立体のリンク装置の間で発生し得るか、衝突は、２つのツールの間で発生し得るか、またはツールとリンク装置との間で発生し得る。このような外側衝突は、身体の外部または身体の内部で発生し得るが、視野内では発生し得ない。加えて、外側衝突は、視野にある一方のツールと視野の若干外部にある別のツールとの間で発生し得る。身体の内部および内視鏡の視野において発生する衝突は、「内側衝突」である。

ある実施形態によると、モデル化構成要素１２８が生成する合成画像１２０および／または情報を、衝突検出に利用してもよい。例として、ビューア３２を視認する外科医、またはディスプレイ８４を視認する別の個人は、差し迫った衝突または実際の衝突の標示を見るために合成画像１２０を視認し得る。

衝突検出は、衝突の視覚画像のみではなくそれ以上のものに関与し得る。ロボットリンク装置およびツールの相対場所に関する情報は、モデル化構成要素１２８によって維持され、この情報を使用して、２つの構成要素が相互に接近し過ぎであると検知される場合に、信号を生成してもよい。例えば、各ツールは、ツールの表面の外部に特定の半径または緩衝帯を有するカプセルまたはシリンダのように処理され得る。ツール追跡構成要素からの実際の位置情報および／または運動構成要素９２からの運動情報を使用して、モデル化構成要素１０８は、衝突を予測または警告し得る。例えば、２つのツール１２４が各々半インチの半径を有すると想定される場合、ツールのうちの一方の中心線が第２のツールの中心線の１インチ以内に近づく場合に、モデル化構成要素１０８は、衝突が発生したことを仮定し得る。２つのツールが相互に接近しているが、接触していないと計算される場合、別の信号が生成されてもよい。上記例では、この距離は、１．２０インチのツールの間の中心線距離であってもよい。

図１０は、２つのツール２５２、２５４が衝突していることを実際の視野画像２５０が示すディスプレイタイルウィンドウを下側に示す。図１０における衝突は視野２５０内にあるが、上述のように、衝突は、視野外または患者の身体外でも発生し得る。視野内であっても、ツール２５２、２５４は、必ずしも可視的であるとは限らず、これは、ツールが、例として、焼灼の煙、血液、または器官によって妨害される場合があるからである。図１０では、内側衝突が視野２５０に見られるが、内部衝突は、モデル化構成要素１０８によっても検出される。

図１０の上側に、合成画像１２０を表すディスプレイタイルウィンドウ２６０が存在する。図１０に示す実施形態では、タイルウィンドウ２６０は、視野２５０と同じ視点から取られるが、上述のように、異なる視点を提供してもよい。加えて、上述のように、外側衝突および内側衝突が検出されてもよい。

図１１は、ある実施形態に従う、衝突情報を提供するための例示的プロセスを示すフローチャートである。本プロセスは、１１００から開始する。１１０２において、合成画像１２０等のモデルが生成される。この生成プロセスについては、図７を参照して説明される。１１０４において、患者側カートのロボットが移動させられる。１１０５において、ロボットアーム組立体１２２のリンク装置および／またはツールの近接が計算される。１１０６において、近接が高閾値内にあるか否かの決定が行われる。高閾値は、衝突の警告が発せられるツール間またはリンク装置間の間隔を表す。例えば、上述のように、２つのツールが半インチの半径を有することが仮定される場合、高閾値は、１．２インチの中心線の離間距離であり得る。患者側カートの構成要素が高閾値内にない場合、１１０６は、分岐して１１０４に戻り、ロボットは引き続き移動する。

患者側カートの２つの構成要素が高閾値内にある場合、１１０６は、１１０８に分岐し、１１０８において、警告が生成される。この警告は、可聴警告、視覚警告（例えば、ビューア３２内またはディスプレイ８４上に提供される）、または別の適切な衝突近接標示であってもよい。視覚警告である場合、警告は、例えば、視野２５０（図１０）において提示されてもよい。図１０に示す実施形態では、実際の衝突を標示する単語の「内側衝突エラー」が示される。代替として、警告メッセージでは、ツールが接近し過ぎであること、または類似の状態であることを記述するメッセージが提供され得る。加えて、合成画像１２０のビューでは、ツール１２４の色は、警告を発するように変化してもよく、例えば、金属色から警告のための黄色に変化する。

外科医は、１１０８において警告が生成された後に、ロボットを再配置するように選択してもよく、または選択しなくてもよい。いずれの場合であっても、プロセスは、１１１０に進み、１１１０において、ロボットは再び移動している。１１１２において、ロボットが低閾値内にあるか否かの決定が行われる。ある実施形態では、低閾値は、衝突が仮定される中心線距離等の距離を表す。低閾値を満たさない場合、プロセスは、分岐して１１０４に戻り、ループし続け、おそらくは、１１０６において高閾値外まで患者側カートの構成要素が移動しない限り、警告メッセージを生成し続ける。

構成要素が低閾値内にある場合、１１１２は、１１１４に分岐し、１１１４において、衝突警告またはメッセージ等の衝突情報が生成される。例として、図１０において、衝突エラー警告は、視野２５０に提供される。（近似の衝突警告および実際の衝突警告の両方は、同じまたは異なる標示を使用してもよい。）類似の衝突エラー警告をタイルウィンドウ２６０に提供してもよく、ツール１２４は、衝突エラーを示すために、赤色等の色に変化してもよい。次いで、プロセスは、ループして１１０４に戻る。

上述のように、衝突検出では、構成要素は、ビューア３２の視野にある必要はない。したがって、患者側カートの構成要素が不適切に整列させられ、衝突が迫っている場合、または実際に衝突している場合、視覚形式または警告もしくはエラーメッセージの形式のどちらかで、情報が提供され得る。警告は、使用者がロボットの動作に不慣れであり、ツールまたはロボットアーム組立体を不自然な位置に置く可能性のある場合に特に役立ち得る。ビューア３２を視認する者は、２つのロボットマニピュレータ間の近似の衝突点または実際の衝突点を決定するために、ロボットの異なる合成ビュー角度および距離を選択し得る。操作者が衝突点を視認すると、操作者は、ロボットの運動アーム（受動的「設定」部分または能動的に制御されるマニピュレータ部分のいずれか）のうちの１つ以上を調整して、実際の衝突状態または近似の衝突状態を是正し、さらなる衝突を回避し得る。一側面では、操作者が内視鏡の視野に対応する合成ビューを視認している場合、衝突警告または実際の衝突が発生している場合に、合成ビューは、衝突点を示すように自動的に変更され得る。

ある実施形態では、患者および／または患者の組織構造の部分の場所（例えば、術前撮像からの、または組織構造場所を位置合わせする他の適切な方法による）が、システムに提供され得、位置合わせされた患者場所データは、ロボットと、患者または患者における指定組織構造との間の実際の衝突または起こりうる衝突を検出、警告、および表示するためのものであり得る。衝突は、上述のように検出され得る。

また、ある実施形態では、視覚インジケータ、可聴インジケータ、または他のインジケータを提供して、衝突状態の低減または是正を支援してもよい。例えば、上述の警告状態では、情報を外科医に提供して、外科医が衝突を回避することを支援し得る。例えば、視覚インジケータは、衝突が発生する可能性のある動き方向に関する情報を提供してもよく、または衝突を回避もしくは是正するために外科医が行う動き方向を標示してもよい。

（消失ツール回復）
低侵襲手術では、内視鏡カメラの視体積の外部に器具を設置することが可能である。この可能性によって、器具をビューに戻すように内視鏡を移動させる方法、または器具を内視鏡の視野に戻す方法を外科医が必ずしも把握する必要が無いので、ツールを事実上見失う状況がもたらされ得る。さらに、観測不可能である器具を外科医が移動させることができるので、この状況は、患者の安全性を危険にさらす可能性がある。

合成画像１２０は、各ツール１２４の位置の正確な表示とともに、内視鏡の視体積１３０のより広いビューを外科医に提示することによって、この問題に対する解決策を提供する。このようなより広いビューとツール表示とは、種々の視点から提供されてもよい。ある実施形態では、広いビューおよびツール表示は、内視鏡視野と同じ視点または方向から提供される。この方向に広いビューを提供することによって、外科医は、実際の内視鏡画像を視認する際に自身が通常遭遇する直感的なツールの動きを保持するともに、ツールが視体積１３０に戻るようにツールを適切な位置に移動させることができる。代替として、他の角度から視体積１３０を視認してもよく、これによって、外科医は、内視鏡１２６が視認するものについて異なる透視を有することが可能になる。例として、図８および図９は、合成画像１２０のために示され得るビューのうち、異なる角度および面で取られた３つの異なるビューを示す。図８の下側部分は、実際の画像を示すが、合成画像１２０が、同じ方向から提供されてもよく、合成のツールが実際のツールの映像供給物の代わりに示され得ること以外は類似して見え得る。視野によって確立されたビューが、図８の下側に示され、合成画像の前側から取られたビュー（患者側カートの大部分を示すように外側にズームされる）が、図８の上部に示される。内視鏡の視野の方向の若干後方および前方で取られ、かつ視体積１３０を示すように外側にズームされたビューが、図９に示される。このビューにおける若干の変動によって、ツール１２４が視体積１３０に対してある場所の良好な透視が提供される。外科医は、図９に示すように、視野に一致するビューと、視野から少し離れたビューとをトグルで切り替えることができる。このために、合成画像１２０の異なるビューを外科医がトグルで切り替えることを可能にするために、制御器または他の機器を提供してもよい。代替として、別々の制御器またはマスタ制御器を利用して、合成画像１２０の無限の位置決め（例えば、種々の面、傾き、回転、当て盤、トラック、クレーン、およびズーム画像動作）を可能にしてもよい。

図１２は、ある実施形態に従う、消失ツール回復のためのプロセスを表すフローチャートである。本プロセスは、１２００から開始する。１２０２において、合成画像１２０が上述のように生成される。１２０４において、患者側カートまたはロボットが移動させられる。

１２０６において、ツールのうちの１つ以上が視野外にあるか否かの決定が行われる。視野外にない場合、プロセスはループして１２０４に戻る。ツールのうちの１つ以上が視野外にある場合、プロセスは、１２０８に移動し得、１２０８において、合成画像が示される。合成画像は、自動的に示されてもよく、または示されなくてもよく、合成画像表示は、外科医によって選択され得る。このために、１２０８は、外科医または別の操作者による要求を受けて行われてもよく、ツールが視野外にあることによってトリガされてもよく、またはトリガされなくてもよい。しかしながら、必要に応じて、合成画像は、ツールの画像の消失を受けて自動的に示されてもよい。しかしながら、このようなある実施形態では、外科医から離れた視野を取る代わりに、視野に加えて、タイルウィンドウに合成画像を示すことが望ましくあり得る。

消失ツール表示オプションが利用可能である場合、１２０８において、合成ビュー１２０が要求あるいは提供され得る。１２０８において提供された合成画像は、上述のように、内視鏡１２６の視野またはモデル化システムの任意の数の透視と実質的に同じであり得る。所望の角度が示されない場合、外科医は、異なるビューを示すことを１２１０において選択し得る。外科医が異なるビューを示すことを選択する場合、１２１０は、１２１２に分岐し、１２１２において、合成画像１２０は、例えば、異なるビューを示すように回転する。必要に応じて、この動きの一部として、ビューが表示されている位置に対してビューが開始した位置に関して外科医が把握することができるように、合成画像は、空間において回転し得る。加えて、ある実施形態によると、合成画像１２０のビューが視野と同じ視点と一致しない場合、自身が視野の方向とは異なる方向から視体積１３０を見ていることを外科医が理解することができるように、警告メッセージまたは他のインジケータが外科医に提供され得る。

１２１０において、外科医が異なるビューを要求しなかった場合、プロセスは、ループして１２０４に戻る。

上述のように、合成画像１２０は、視体積１３０よりも大きく、かつ視体積１３０の外部にある患者側カートの画像を提供する。したがって、内視鏡１２６の視野と同じ視点に沿っていたとしても、外科医は、視体積１３０の少し外部にあるツールを見ることができるように外側にズームしてもよい。次いで、外科医は、これらのツールまたは内視鏡を、視野内に入るように所望の位置に移動させ得る。

（映像およびレンダリングビューの混合）
上述のように、システムがロボットの合成画像１２０を外科医に提示し得る多数の方式が存在する。図８に関連して説明された第１のオプションは、視野画像２０２の上に合成ビューを示すタイルウィンドウ２０４を含み、両方ともが同時に示される。図９に示す別のオプションは、合成画像１２０のみを示す。

ある実施形態によると、内視鏡からの映像表示が合成画像１２０の上に、位置を一致させた状態で重ね合わされる第３のオプションが提供され、映像画像は、患者側カート全体の合成画像１２０の背景にレンダリングされる。このビューによって、患者カートの構成要素の相対位置が外科医に提供され、外科医は、空間に対する外科医の場所を理解することが可能になる。また、ビューは、映像表示のみと合成画像１２０のみとの間の移行時に十分適している。移行中、外科医は、ロボットのそれぞれの位置と、内視鏡からの映像画像とを関連付けることができる。

本特徴の簡略化バージョンが図１３に示され、本図面において、視野３００内の画像は、合成画像１２０を含むウィンドウタイル３０６の上に投影される。視野画像３００は、動作を実行する２つのツール３０２、３０４を含む。ウィンドウタイル３０６は、視野３００により提供されたビューを拡張し、ツール３０２、３０４の追加の区画（それぞれ参照数字３０８、３１０によって示される）が提供される。外科医は、患者側カートの他の部分に対するツールの場所に関する追加の情報を提供するようにズームインおよびズームアウトし得る。加えて、図１３に示す実施形態に関して説明する特徴を利用して、視野のすぐ外部にある消失したツールを、例えば、ウィンドウタイル３０６において探索し得るが、視野３００において探索し得ない。

（視覚トラブルシューティングインジケータ）
ある実施形態によると、合成画像１２０の代わりに、または合成画像１２０に追加して、モデル化データ１０４を利用して、患者側カートの部分の視覚表現以外の画像を投影してもよい。例えば、ツール追跡構成要素９０および／または運動構成要素９２が提供する位置情報を使用して、モデル化構成要素１０８は、異なる色で合成画像１２０の一部分を表示し得るか、またはモデル化構成要素１０８は、合成画像の一部分の上に、または合成画像の代わりに、テキストを表示し得る。このようなある実施形態では、テキストは、視野における実際のツールの上に重ね合わされて、そのツールに注目するか、または他の情報を提供するようにし得る。例として、図１３におけるツール３０４では、モデル化構成要素１０８を利用して、ツールのクランプが閉鎖していることを標示するために、ツール３０４の映像画像の上に配列されたテキストメッセージ「閉鎖」３２０を表示し得る。カメラ情報によって、上述のように、画像取込み機器からのツール３０４の立体的ビューに重ね合わされ得る３−Ｄ立体的レンダリングの作成が可能になる。また、エラーメッセージも提供してもよい。

図１４は、ある実施形態に従う、モデル化構成要素１０８を利用して情報を表示するためのプロセスを表すフローチャートである。１４００から開始して、患者側カートの構成要素の場所、例えば、ツール１２４の場所が決定される。１４０２において、モデル化構成要素１０８は、上述のようにツールと整列させられる。１４０４において、所望の情報が、ツールの上に表示される。例えば、上述のように、単語をツールの上に表示してもよい。加えて、必要に応じて、情報をツールまたは他の特徴の周囲またはそれに隣接して表示してもよい。

理解できるように、メッセージを視野における実際のツールの上に重ね合わせるために、モデル化データ１０４は、ツールの外周に関する情報のみを含む必要がある。患者側カートの他の構成要素は、本実施形態に必要とされない。

（通信支援）
合成画像１２０は、患者側カートの動作の遠隔画像を提供する際に有用であり得る。例えば、いくつかの状況では、患者側カートから遠隔にいる個人が、患者側カートの動作を視認することを望む場合がある。このような状況では、合成画像１２０は、ビューア３２および遠隔ディスプレイ（例えば、ディスプレイ８４）の両方にレンダリングされ得る。このような状況では、一実施形態によると、モデル化データは、全て１つの場所に保持され得、合成画像１２０は、遠隔場所において表示するために遠隔場所に送信される。

代替実施形態では、ツール追跡構成要素９０および／または運動構成要素９２が提供する位置および配向情報は、遠隔コンピュータに送信されてもよい。次いで、遠隔コンピュータは、モデル化構成要素１０８およびモデル化データ１０４を含む。本実施形態では、合成画像１２０は、ビューア３２のための合成画像１２０を生成することとは別の動作で、遠隔場所において生成される。

遠隔場所に合成画像１２０を提供することができることによって、外科医のコンソールを視認する操作外科医が、支援モニターを視認する手術の助手と通信することが可能になる。加えて、一方の外科医コンソールにおける実習外科医は、別の外科医コンソールにおける遠隔監督官と通信してもよい。

別の実施形態によると、遠隔使用者または監督官は、合成画像１２０等の合成画像の動きについて制御してもよい。合成画像の動きは、外科医コンソールにおいて外科医または実習生によって観察されてもよく、これによって、使用者は、外科手術および動作を習得すること、および外科医または実習生の制御（ひいてはツール）によりこれらの動作を模倣することが可能になる。

（移動領域の限界）
患者側カートのロボットアーム組立体のリンク装置は、動作領域の限界を有し、各アームまたはリンク装置により支持されたツールの動作を限界する。患者のロボットが移動領域の限界に直面する場合、ロボットが継続して移動することができない理由が、常に外科医（新人または熟練）に明白になるわけではない。遠隔手術システムでは、一般的には、２つの移動領域限界源、つまり、マスタマニピュレータの接合限界およびスレーブマニピュレータの接合限界が存在する。

ある実施形態によると、モデル化構成要素１０８は、ツールの動作領域の限界が接近していることを標示するために信号を生成する。信号を使用して、例えば、限界に到達した部品の色分け等の視覚的合図を外科医に生成してもよい。代替として、仮想壁３４０（図６）としての合成幾何学的形状により限界を表してもよく、仮想壁３４０は、合成モデル１２０とともに示されてもよく、または代替として、視野の上に重ね合わされてもよい。仮想壁３４０は、最右ツール１２４のためのものであり、凹状、平坦、あるいは運動領域の曲線に一致する形状として示されてもよい。仮想壁３４０は、器具先端の妨げられた運動方向に対して垂直である位置および方向に表示される。

他の変形は、本発明の精神の中に存在する。したがって、本発明は、種々の修正および代替構成の影響を受けやすいが、本発明の一定の図示する実施形態は、図面に示され、詳細に上述されている。しかしながら、本発明を特定の１つまたは複数の開示された形式に限界することを意図せず、反対に、添付の請求項に規定される本発明の精神および範囲内に入る全ての修正、代替構成、および同等物を含めることを意図することを理解されたい。

本明細書に引用された出版物、特許出願、および特許を含む全ての参考文献は、各参考文献が個々にかつ具体的に参照により組み込まれるように標示され、かつその全体が本明細書に組み込まれるかのように、同程度に参照により本明細書に組み込まれる。

本発明の説明の内容において（特に、以下の請求項の内容において）、用語の「ある」および「前記」ならびに類似の指示語を使用することは、別途本明細書において指示または内容により明確に否定されない限り、単数形および複数形の両方を含むように解釈される。用語の「備える」、「有する」、「含む」、および「含有する」は、別途記述されない限り、無限界の用語として解釈されるべきである（すなわち、「含むが、これらに限定されない」を意味する）。用語の「接続される」は、介在する何かが存在する場合であっても、部分的または全体的にその中に含有されるか、取り付けられるか、一緒に接合されるように解釈されるべきである。本明細書における値の範囲の記述は、別途本明細書に指示されない限り、単に、その範囲にある各別々の値を個々に言及する省略方法としての役割を果たすように意図されるだけであり、各別々の値は、本明細書に個々に記述されるかのように本明細書に組み込まれる。本明細書に説明する全ての方法は、別途本明細書に指定されない限り、または別途内容により明確に否定されない限り、任意の適切な順番で実行されることができる。本明細書に提供するあらゆる例または例示的言語（例えば、「等」）の使用は、単に、本発明の実施形態をより明らかにするように意図されるだけであり、別途主張されない限り、本発明の範囲に限界を課さない。明細書におけるいかなる言語も、本発明の実施に必須であるものとして任意の請求されない要素を標示するように解釈されるべきである。

本発明を実行するために発明者に既知である最良の形態を含む本発明の好適な実施形態について本明細書に説明する。これらの好適な実施形態の変形は、前述の説明を熟読することによって、当業者に明らかになり得る。発明者は、当業者がこのような変形を適宜用いることを予測し、発明者は、本発明が、本明細書に具体的に説明するものとは違って実施されることを意図する。したがって、本発明は、適用法が認めるように、本明細書に添付される請求項において列挙する主題に関する全ての修正および同等物を含む。さらに、その全ての可能な変形における上述の要素の任意の組み合わせは、別途本明細書に指定されない限り、または別途内容により明確に否定されない限り、本発明によって包含される。

Claims (17)

1. ロボット手術システムであって、
   内部手術部位において手術手順を実行することにおいて用いるために患者の中に挿入するための第１手術ツール（６０）を支持するリンク装置を含む第１ロボットアーム組立体（４４）と、
   前記手術手順の間に前記内部手術部位の画像をキャプチャするために前記患者の中に挿入するための画像キャプチャデバイス（５０）を支持するリンク装置を含む第２ロボットアーム組立体（４２）と、
   前記第１および第２ロボットアーム組立体（４２、４４）の前記リンク装置に関連付けられた運動位置情報を獲得するように、前記第１および第２ロボットアーム組立体（４２、４４）に結合された運動構成要素（９２）と、
   前記手術手順の間に前記画像キャプチャデバイス（５０）によってキャプチャされた画像を外科医に表示するためのディスプレイ（３２）と、前記手術手順を実行するために前記第１ロボットアーム組立体（４４）および前記第１手術ツール（６０）の動きを制御する前記外科医からの制御入力を受信するための入力部とを含む外科医コンソール（３０）と、
   前記第１および第２ロボットアーム組立体（４２、４４）の前記リンク装置のグラフィカル３次元モデルを含む前記第１および第２ロボットアーム組立体（４２、４４）の合成表現を表示するように、前記運動構成要素（９２）と前記ディスプレイ（３２）とを結合するモデル化構成要素（１０８）と
   を含み、
   前記合成表現は、
   前記第１および第２ロボットアーム組立体（４２、４４）の前記リンク装置に関するリンク装置構造データと、
   前記第１および第２ロボットアーム組立体（４２、４４）の前記リンク装置に関連付けられた前記運動位置情報と
   に基づいている、システム。
2. 前記モデル化構成要素は（１０８)は、前記第１および第２ロボットアーム組立体（４２、４４）の相対位置に関する情報を維持することと、前記第１および第２ロボットアーム組立体（４２、４４）の間の衝突を予測することと、前記第１および第２ロボットアーム組立体（４２、４４）が第１近接閾値に到達した際に第１警告信号を生成することとを行うように構成されている、請求項１に記載のシステム。
3. 前記ディスプレイ（３２）は、第１および第２ウィンドウエリア（２０２、２０４）を有しており、前記第１ウィンドウエリア（２０２）は、前記画像キャプチャデバイス（５０）の視野内に前記画像キャプチャデバイス（５０）によってキャプチャされた画像を表示するためのものであり、前記第２ウィンドウエリア（２０４）は、前記画像キャプチャデバイス（５０）の前記視野の外部の前記第１および第２ロボットアーム組立体（４２、４４）の可動部分の近接が視認可能であるように、前記第１および第２ロボットアーム組立体（４２、４４）の前記合成表現を表示するためのものである、請求項２に記載のシステム。
4. アシスタントによって視認可能な第２ディスプレイ（８４）をさらに含み、前記第１および第２ロボットアーム組立体（４２、４４）の前記合成表現は、前記アシスタントが、前記第１および第２ロボットアーム組立体（４２、４４）の間の起こりうる衝突を知らされ得るように、前記第２ディスプレイ（８４）上に表示される、請求項２に記載のシステム。
5. 前記第１警告信号は、可聴警告をもたらす、請求項２に記載のシステム。
6. 前記内部手術部位において前記手術手順を実行することにおいて用いるために前記患者の中に挿入するための第２手術ツール（６２）を支持するリンク装置を含む第３ロボットアーム組立体（４６）をさらに含み、
   前記モデル化構成要素（１０８）は、前記第１および第３ロボットアーム組立体（４４、４６）によって支持される前記第１および第２手術ツール（６０、６２）の合成画像（１２０）を生成することと、前記第１および第２手術ツール（６０、６２）の相対位置に関する情報を維持することと、前記第１および第２手術ツール（６０、６２）の間の衝突を予測することと、前記第１および第２手術ツール（６０、６２）が第２近接閾値に到達した際に第２警告信号を生成することとを行うように構成されている、請求項２に記載のシステム。
7. 前記第２警告信号は、前記ディスプレイ（３２）上に表示される視覚警告をもたらす、請求項６に記載のシステム。
8. 前記視覚警告は、前記第１および第２手術ツール（６０、６２）の色を変化させることを含む、請求項７に記載のシステム。
9. 前記第１および第２手術ツール（６０、６２）の前記色は、前記第１および第２手術ツール（６０、６２）の間の差し迫った衝突を示すために、金属色から黄色に変化するように構成されている、請求項８に記載のシステム。
10. 前記第１および第２手術ツール（６０、６２）の前記色は、前記第１および第２手術ツール（６０、６２）の間の実際の衝突を示すために、金属色から赤色に変化するように構成されている、請求項８に記載のシステム。
11. 前記視覚警告は、前記第１および第２手術ツール（６０、６２）の画像に隣接したテキストメッセージを含む、請求項７に記載のシステム。
12. 前記入力部は、前記外科医コンソール（３０）の操作者によって移動可能であり、前記外科医コンソール（３０）は、前記入力部が前記操作者によって移動される間、第１の画像、第２の画像、第３の画像を順番に表示するように構成されており、前記第１の画像は、前記手術部位における前記第１手術ツール（６０）のキャプチャされた画像であり、前記第２の画像は、前記ディスプレイ（３２）の中央エリアにおいて、前記手術部位における前記第１手術ツール（６０）の前記キャプチャされた画像を含み、かつ、前記ディスプレイ（３２）の前記中央エリアの外部において、前記第１手術ツール（６０）の部分の合成画像（１２０）を含み、前記部分は、前記画像キャプチャデバイス（５０）の前記視野の外部にあり、前記第３の画像は、前記第１手術ツール（６０）の合成画像（１２０）である、請求項１に記載のシステム。
13. 前記外科医コンソール（３０）は、前記入力部が前記操作者によって移動されるときに前記第１の画像の表示と前記第２の画像の表示との間で前記入力部に対して第１触覚戻り止めを提供するように構成されており、前記外科医コンソール（３０）は、前記入力部が前記操作者によって移動されるときに前記第２の画像の表示と前記第３の画像の表示との間で前記入力部に対して第２触覚戻り止めを提供するように構成されている、請求項１２に記載のシステム。
14. 前記入力部は、前記外科医コンソール（３０）の操作者によって手動で移動可能であり、前記外科医コンソール（３０）は、前記入力部が前記操作者によって前記操作者に向かって手動で移動されるときに前記第１の画像、前記第２の画像、前記第３の画像を順番に表示するように構成されている、請求項１２に記載のシステム。
15. 前記モデル化構成要素（１０８）は、前記第１ロボットアーム組立体（４４）、前記第１手術ツール（６０）、前記第２ロボットアーム組立体（４２）、前記画像キャプチャデバイス（５０）、および前記画像キャプチャデバイス（５０）の視野の境界の投影としての視体積（１３０）の合成画像（１２０）を生成し、その結果、前記視体積（１３０）が前記画像キャプチャデバイス（５０）の画像キャプチャ端部（５６）から発せられ、かつ前記画像キャプチャデバイス（５０）の前記視野にある前記第１手術ツール（６０）の遠位端（６６）が前記視体積（１３０）内で空間的に正確であるようにするように構成されており、前記外科医コンソール（３０）は、前記画像キャプチャデバイス（５０）によってキャプチャされたリアルタイム映像画像と、前記第１ロボットアーム組立体（４４）、前記手術ツール（６０）、前記第２ロボットアーム組立体（４２）、前記画像キャプチャデバイス（５０）、および前記視体積（１３０）の前記合成画像（１２０）とを、前記ディスプレイ（３２）上に表示するように構成されている、請求項１に記載のシステム。
16. 前記ディスプレイ（３２）は、第１および第２ウィンドウ（２０２、２０４）を有しており、前記画像キャプチャデバイス（５０）によってキャプチャされた前記リアルタイム画像は、前記第１ウィンドウ（２０２）に表示され、前記第１ロボットアーム組立体（４４）、前記手術ツール（６０）、前記第２ロボットアーム組立体（４２）、前記画像キャプチャデバイス（５０）、および前記視体積（１３０）の前記合成画像（１２０）は、前記第２ウィンドウ（２０４）に表示される、請求項１５に記載のシステム。
17. 前記外科医コンソール（３０）は、前記画像キャプチャデバイス（５０）によってキャプチャされた前記リアルタイム画像と、前記第１ロボットアーム組立体（４４）、前記手術ツール（６０）、前記第２ロボットアーム組立体（４２）、前記画像キャプチャデバイス（５０）、および前記視体積（１３０）の前記合成画像（１２０）との表示が前記ディスプレイ（３２）上で前後にトグルされ得るように構成されている、請求項１５に記載のシステム。

Images