JP5791203B2 - 進入ガイド遠位端から延在する関節運動可能器具の補助視野を提供する医療ロボットシステム - Google Patents

Description

（発明の分野）
本発明は、概して、医療ロボットシステムに関し、特に、進入ガイドの遠位端から外に延在する関節運動可能な器具の補助視野を提供する医療ロボットシステムに関する。

（発明の背景）
最小侵襲性の手術手順を行う際に使用される遠隔操作可能なシステム等の医療ロボットシステムは、伝統的な観血手術技法よりも多くの利益を提供し、痛みの軽減、短期間の入院、日常生活への早い復帰、最小限の創傷、短い回復期間、および組織への損傷の低減を含む。結果として、そのような医療ロボットシステムに対する要求が強く、高まっている。

そのような医療ロボットシステムの一実施例は、最小侵襲性ロボット手術システムである、Ｉｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ，Ｉｎｃ．（カリフォルニア州サニーベール）のｄａ Ｖｉｎｃｉ（登録商標）手術システムである。ｄａ Ｖｉｎｃｉ（登録商標）手術システムは、手術部位の画像撮影装置によって撮影された画像を見ている外科医による入力装置の運動に応答して、画像撮影装置およびＩｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌの特許ＥｎｄｏＷｒｉｓｔ（登録商標）関節運動手術器具等の付属の医療装置を動かす、多数のロボットアームを有する。医療装置の各々は、その独自の最小侵襲性切開を通して、患者の中に挿入され、手術部位において医療手技を行う。切開は、患者の体の周囲に施され、手術器具を使用して、医療手技を共同して行い、それらのロボットアームが処置中に衝突することなく、画像撮影装置がそれを見ることができるようにする。

ある医療手技を行うために、最小侵襲性切開または生来の身体開口部等の単一の進入開口を使用して、患者の体内に入り、医療手技を行うことが有利であり得る。例えば、最初に進入ガイドを挿入し、位置付けて、進入開口内の所定の位置に保持し得る。次に、医療手技を行うために使用される、関節運動可能なカメラ等の器具および複数の関節運動可能な手術ツールを、進入ガイドの近位端に挿入し、その遠位端から外に延在するようにし得る。したがって、進入ガイドは、単一の進入開口を複数の器具に提供する一方で、それらを作業部位に向けてガイドしながら、器具を束にしておく。

進入ガイドは、最小侵襲性切開または生来の身体開口部を通り抜けるように、概して比較的小さい直径を有するので、手術ツールを遠隔操作して医療手技を行い、カメラを遠隔操作してそれを見る間に、多数の問題が生じ得る。例えば、カメラは、手術ツールに搭載されるので、手術ツールに関するその位置付けに、したがって、手術ツールのその視野に限定される。

したがって、関節運動可能な手術ツールの先端は、カメラの視野の中に保持され得るが、手術ツールの関節運動可能性を亢進する制御可能なリンクは、カメラの視野の中にない場合がある。結果として、医療手技の実行中に、手術ツールの制御可能なリンクが、相互に（またはカメラのリンクと）偶発的に衝突する場合があり、結果として、患者に危害を加えるか、または別様に医療手技の実行に悪影響を及ぼす。

また、関節運動可能なカメラは、概して、それ自身の制御可能なリンクを見ることができないので、手術ツールリンクとの衝突を回避すべき場合、オペレータのカメラの運動が特に懸念される。さらに、オペレータが、手術ツールおよびカメラを遠隔操作で運動させることを支援するために直観的な制御が提供される場合、ツールおよびカメラの先端のそのような直観的な運動をもたらすために必要なリンクの運動は、オペレータには明らかでないか、または直観的ではない場合があり、したがって、オペレータが、カメラの視野の外側にあるリンク間の衝突を回避することをさらに一層困難にする。

したがって、本発明の１つ以上の態様の１つの対象は、患者の単一の進入開口を通して挿入される進入ガイドの遠位端から外に延在する、関節運動可能な器具を伴う医療ロボットシステムを使用して、オペレータが患者に医療手技を行うことを支援するために、オペレータに補助視野を提供する方法である。

本発明の１つ以上の態様の別の対象は、関節運動可能な器具の制御可能なリンクが、衝突し得ることを示す視覚表示をオペレータに提供する、そのような医療ロボットシステムにおいて実装される方法である。

本発明の１つ以上の態様の別の対象は、関節運動可能な器具の接合部および／またはリンクおよび／またはその部分が、望ましくない、もしくは望ましい事象または状態に近づいていることを示す視覚表示をオペレータに提供する、医療ロボットシステムにおいて実装される方法である。

本発明の１つ以上の態様の別の対象は、カメラの視野の外側にある関節運動可能な器具のリンクの配置に関するオペレータの理解を向上させる、そのような医療ロボットシステムにおいて実装される方法である。

これらの対象、および追加の対象は、本発明の様々な態様によって達成され、つまり、一態様は、コンピュータ処理した視野を提供するための方法であって、進入ガイドの遠位端から外に延在する１つ以上の関節運動可能な器具の状態に関する情報を受信するステップと、１つ以上の関節運動可能な器具に関する受信情報および順運動学を使用して、視野を生成するステップと、生成した視野を表示画面に表示するステップとを含む。

別の態様は、進入ガイドと、進入ガイドの遠位端を通って外に延在する複数の器具と、複数の器具の関節運動要素の状態を感知するように適合される複数のセンサと、表示画面と、関節運動要素の感知した状態を含む情報を複数のセンサから受信し、受信した情報を使用して視野を生成し、生成した視野を表示画面に表示するように構成されるコントローラとを含む、医療ロボットシステムである。

本発明の様々な態様の追加の対象、特徴、および利点は、その好適な実施形態に関する以下の説明から明らかとなり、説明は、添付の図面と併せて理解されるべきである。
例えば、本発明は以下の項目を提供する。
（項目１）
コンピュータ生成視野を提供するための方法であって、
進入ガイドの遠位端から外に延在する１つ以上の関節運動可能な器具の状態についての情報を受信することと、
該１つ以上の関節運動可能な器具についての該受信情報および順運動学を用いて、視野を生成することと、
表示画面上に該生成視野を表示することと
を含む、方法。
（項目２）
上記表示視野は、上記１つ以上の関節運動可能な器具の少なくとも１つの遠位端を視認するカメラによって撮影された画像を補足する働きをする、項目１に記載の方法。
（項目３）
上記１つ以上の関節運動可能な器具は、関節運動可能なカメラを含み、上記表示視野は、該関節運動可能なカメラによって撮影された画像を補足する働きをする、項目１に記載の方法。
（項目４）
上記受信情報は、上記関節運動可能な器具を関節運動するためのアクチュエータの活動を感知するセンサによって提供される、項目１に記載の方法。
（項目５）
上記受信情報は、上記１つ以上の関節運動可能な器具の上記状態を感知するセンサによって提供される、項目１に記載の方法。
（項目６）
上記センサは、上記１つ以上の関節運動可能な器具の接合部の回転状態を感知する回転センサを含む、項目５に記載の方法。
（項目７）
上記センサは、上記１つ以上の関節運動可能な器具の直進ジョイント部の直線状態を感知する変位センサを含む、項目５に記載の方法。
（項目８）
上記センサは、上記１つ以上の関節運動可能な器具に含まれる、項目５に記載の方法。
（項目９）
上記センサは、上記１つ以上の関節運動可能な器具の外部にあることにより、該１つ以上の関節運動可能な器具上の重要な地点に配置される追跡可能な要素の位置を感知する、項目５に記載の方法。
（項目１０）
上記追跡可能な要素は、能動要素である、項目９に記載の方法。
（項目１１）
上記追跡可能な要素は、上記１つ以上の関節運動可能な器具の先端に位置し、上記視野の生成は、
該追跡可能な要素の感知位置を該１つ以上の関節運動可能な器具の逆運動学に適用することによって、該１つ以上の関節運動可能な器具の接合位置を決定することと、
該追跡可能な要素の感知位置を該１つ以上の関節運動可能な器具の順運動学に適用することによって、該１つ以上の関節運動可能な器具のリンク位置および配向を決定することと
を含む、項目１０に記載の方法。
（項目１２）
上記追跡可能な要素は、受動要素である、項目９に記載の方法。
（項目１３）
上記視野の生成は、
上記受信情報を使用して、上記１つ以上の関節運動可能な器具のコンピュータモデルを生成することと、
該コンピュータモデルを選択可能な視点の透視図に変換することと、
該変換したモデルをレンダリングすることと
を含む、項目１に記載の方法。
（項目１４）
上記コンピュータモデルの生成は、固定基準点に関する上記１つ以上の関節運動可能な器具の順運動学を使用することを含む、項目１３に記載の方法。
（項目１５）
上記固定基準点は、その周りを上記進入ガイドが旋回可能である、遠隔中心である。項目１４に記載の方法。
（項目１６）
上記選択可能な視点の上記透視図への上記コンピュータモデルの変換は、
上記固定基準点から該選択可能な視点までの距離を計算することと、
該コンピュータモデルを該選択可能な視点の該透視図に変換および配向するために、該計算した距離を使用することと
を含む、項目１４に記載の方法。
（項目１７）
上記１つ以上の関節運動可能な器具は、関節運動可能なカメラと、１つ以上の関節運動可能な手術ツールとを備え、上記変換したコンピュータモデルのレンダリングは、該関節運動可能なカメラが、上記表示画面上に表示されている上記視野の中において容易に区別され得るように、該１つ以上の関節運動可能な手術ツールとは異なる色で、該関節運動可能なカメラをレンダリングすることを含む、項目１３に記載の方法。
（項目１８）
上記変換したコンピュータモデルのレンダリングは、上記１つ以上の関節運動可能な器具のうちの少なくとも１つが事象の閾値に到達すると、該１つ以上の関節運動可能な器具のうちの少なくとも１つの少なくとも一部分の色を変化させることを含む、項目１３に記載の方法。
（項目１９）
上記閾値は、警告閾値であり、上記事象は、回避すべき状態である、項目１８に記載の方法。
（項目２０）
上記警告閾値は、上記１つ以上の関節運動可能な器具のうちの上記少なくとも１つの一部分の可動域に基づく、項目１９に記載の方法。
（項目２１）
上記回避すべき状態は、上記１つ以上の関節運動可能な器具のうちの上記少なくとも１つの一部分の上記可動域の制限である、項目２０に記載の方法。
（項目２２）
上記警告閾値は、上記１つ以上の関節運動可能な器具のうちの上記少なくとも１つの一部分と、該１つ以上の関節運動可能な器具のうちの別の一部分との間の距離に基づく、項目１９に記載の方法。
（項目２３）
上記回避すべき状態は、上記１つ以上の関節運動可能な器具のうちの上記少なくとも１つの一部分と、該１つ以上の関節運動可能な器具のうちの別の一部分との間の衝突である、項目２２に記載の方法。
（項目２４）
上記１つ以上の関節運動可能な器具のうちの上記別の一部分は、該１つ以上の関節運動可能な器具のうちの上記少なくとも１つの一部分が上記警告閾値に到達するにつれて、色を変化させる、項目２３に記載の方法。
（項目２５）
上記１つ以上の関節運動可能な器具のうちの上記少なくとも１つの一部分が、上記警告閾値に到達するにつれて、球体が、該１つ以上の関節運動可能な器具のうちの該少なくとも１つの一部分、および該１つ以上の関節運動可能な器具のうちの上記別の一部分の周囲に表示される、項目２３に記載の方法。
（項目２６）
上記１つ以上の関節運動可能な器具のうちの上記少なくとも１つの一部分が、上記回避すべき事象に向かって上記警告閾値を越えて運動するにつれて、上記色の強度が変化する、項目１９に記載の方法。
（項目２７）
上記色は、上記１つ以上の関節運動可能な器具のうちの上記少なくとも１つの一部分が、上記回避すべき事象に向かって上記警告閾値を越えて運動するにつれて、増加する頻度で点滅する、項目１９に記載の方法。
（項目２８）
上記色は、上記１つ以上の関節運動可能な器具のうちの上記少なくとも１つの一部分が、上記警告閾値に到達すると、第１の色から第２の色に変化し、該１つ以上の関節運動可能な器具のうちの該少なくとも１つの一部分が、上記回避すべき事象に到達するにつれて、該第２の色から第３の色に変化する、項目１９に記載の方法。
（項目２９）
上記閾値は、警告閾値であり、上記事象は、上記１つ以上の関節運動可能な器具のうちの上記少なくとも１つにとって望ましい位置である、項目１８に記載の方法。
（項目３０）
上記閾値は、警告閾値であり、上記事象は、上記１つ以上の関節運動可能な器具のうちの上記少なくとも１つにとって望ましい構成である、項目１８に記載の方法。
（項目３１）
上記１つ以上の関節運動可能な器具は、関節運動可能なカメラを含み、上記コンピュータモデルの上記生成は、該関節運動可能なカメラの先端から外に延在し、該関節運動可能なカメラの上記視認範囲を示すように、錐台を生成することを含む、項目１３に記載の方法。
（項目３２）
上記変換したコンピュータモデルの上記レンダリングは、上記関節運動可能なカメラによって撮影された画像を、上記錐台の基盤上にレンダリングすることを含む、項目３１に記載の方法。
（項目３３）
上記１つ以上の関節運動可能な器具の重心を計算することをさらに含み、上記表示画面上の上記視野の表示は、上記進入ガイドが再位置付けされる必要があるか否かの指示を提供するように、該重心を該表示画面上に表示することを含む、項目１３に記載の方法。
（項目３４）
上記選択可能な視点の指示を、オペレータ制御の入力機構から受信することをさらに含む、項目１３に記載の方法。
（項目３５）
上記１つ以上の関節運動可能な器具は、関節運動可能なカメラと、１つ以上の関節運動可能な手術ツールとを含み、上記選択可能な視点は、該関節運動可能なカメラの視点と一致し、上記生成視野の上記表示画面上の表示は、画像中に撮影された該１つ以上の関節運動可能な手術ツールが、該視野の中の該１つ以上の関節運動可能な手術ツールと一致および重複するように、該関節運動可能なカメラによって撮影された画像を該表示画面上に表示することを含む、項目１３に記載の方法。
（項目３６）
上記１つ以上の関節運動可能な器具は、関節運動可能なカメラを含み、上記選択可能な視点は、該関節運動可能なカメラの視点と一致し、上記生成視野の上記表示画面上の上記表示は、該関節運動可能なカメラによって撮影された画像を該表示画面上に表示することと、該画像に隣接して、該画像中に示されていない上記レンダリングおよび変換したモデルの整合部分をモザイク処理することによって、該画像を補強することとを含む、項目１３に記載の方法。
（項目３７）
上記１つ以上の関節運動可能な器具は、関節運動可能なカメラと、１つ以上の関節運動可能な手術ツールとを含み、該関節運動可能なカメラは、立体カメラを含み、該関節運動可能なカメラによって撮影された画像は、該関節運動可能なカメラおよび上記進入ガイドの上記遠位端から外に延在する該１つ以上の関節運動可能な手術ツールの上記表示視野に隣接して、上記表示画面上に３次元画像として表示される、項目１３に記載の方法。
（項目３８）
上記関節運動可能なカメラおよび上記進入ガイドの上記遠位端から外に延在する上記１つ以上の関節運動可能な手術ツールの上記表示視野は、３次元視野である、項目３７に記載の方法。
（項目３９）
上記１つ以上の関節運動可能な器具は、関節運動可能なカメラと、１つ以上の関節運動可能な手術ツールとを含み、上記選択可能な視野は、上記進入ガイドを再位置付けするために、１つ以上の入力装置が該進入ガイドと関連付けられると、第１の位置および配向に由来し、該選択可能な視野は、該ツールを使用して手技を行うために、該１つ以上の入力装置が該１つ以上の関節運動可能なツールと関連付けられると、第２の位置および配向に由来し、該選択可能な視野は、異なる視点から画像を撮影するように、該関節運動可能なカメラを運動させるために、該１つ以上の入力装置が該関節運動可能なカメラと関連付けられると、第３の位置および配向に由来する、項目１３に記載の方法。
（項目４０）
医療ロボットシステムであって、
進入ガイドと、
該進入ガイドの遠位端を通り、該遠位端から外に延在する複数の器具と、
該複数の器具の関節運動要素の状態を感知するように適合される複数のセンサと、
表示画面と、
該複数のセンサからの該関節運動要素の該感知状態を含む情報を受信し、該受信情報を用いて視野を生成し、該表示画面上に該生成視野を表示するように構成されるコントローラと
を備える、システム。
（項目４１）
上記関節運動要素は、上記複数の器具を関節運動するためのアクチュエータを含む、項目４０に記載の医療ロボットシステム。
（項目４２）
上記関節運動要素は、接合部を含み、上記複数のセンサは、該接合部の回転運動を感知する回転センサを含む、項目４０に記載の医療ロボットシステム。
（項目４３）
上記関節運動要素は、リンクを含み、上記複数のセンサは、該リンクの直線運動を感知する変換センサを含む、項目４０に記載の医療ロボットシステム。
（項目４４）
上記複数のセンサは、上記複数の器具内に配置される、項目４０に記載の医療ロボットシステム。
（項目４５）
上記複数のセンサは、上記複数の器具上の重要な地点に配置される追跡可能な要素の状態を感知するように、該複数の器具の外部にある、項目４０に記載の医療ロボットシステム。
（項目４６）
上記コントローラは、上記受信情報を使用して、上記複数の器具のコンピュータモデルを生成し、該コンピュータモデルを選択可能な視点の透視図に変換し、該変換モデルをレンダリングすることによって、上記視野を生成する、項目４０に記載の医療ロボットシステム。
（項目４７）
上記コントローラは、固定基準点に関する上記複数の器具の順運動学を計算することによって、上記コンピュータモデルを生成する、項目４６に記載の医療ロボットシステム。（項目４８）
上記固定基準点は、遠隔中心であって、該遠隔中心の周りを上記進入ガイドが回転可能である、項目４７に記載の医療ロボットシステム。
（項目４９）
上記コントローラは、上記固定基準点から上記選択可能な視点までの距離を計算し、該計算した距離を使用して、上記コンピュータモデルを該選択可能な視点の上記透視図に変換および配向することによって、該コンピュータモデルを該選択可能な視点の該透視図に変換する、項目４６に記載の医療ロボットシステム。
（項目５０）
上記複数の器具は、関節運動可能なカメラを含み、上記コントローラは、該関節運動可能なカメラが、上記表示画面上に表示されている上記視野の中に、容易に区別され得るように、該関節運動可能なカメラを該複数の器具のうちの他のものとは異なる色でレンダリングすることによって、上記変換コンピュータモデルをレンダリングする、項目４６に記載の医療ロボットシステム。
（項目５１）
上記コントローラは、上記複数の器具のうちの上記少なくとも１つが事象の閾値に到達すると、該複数の器具のうちの少なくとも１つの少なくとも一部分の色を変化させることによって、上記変換したコンピュータモデルをレンダリングする、項目４６に記載の医療ロボットシステム。
（項目５２）
上記閾値は、警告閾値であり、上記事象は、回避すべき状態である、項目５１に記載の医療ロボットシステム。
（項目５３）
上記警告閾値は、上記複数の器具のうちの上記少なくとも１つの一部分の可動域に基づく、項目５２に記載の医療ロボットシステム。
（項目５４）
上記回避すべき状態は、上記複数の器具のうちの上記少なくとも１つの一部分の上記可動域の制限である、項目５３に記載の医療ロボットシステム。
（項目５５）
上記警告閾値は、上記複数の器具のうちの上記少なくとも１つの一部分と、該複数の器具のうちの別の一部分との間の距離に基づく、項目５２に記載の医療ロボットシステム。
（項目５６）
上記回避すべき状態は、上記複数の器具のうちの上記少なくとも１つの一部分と、該複数の器具のうちの上記別の一部分との間の衝突である、項目５５に記載の医療ロボットシステム。
（項目５７）
上記複数の器具のうちの上記別の一部分は、該複数の器具のうちの上記少なくとも１つの一部分が上記警告閾値に到達するにつれて、色を変化させる、項目５６に記載の医療ロボットシステム。
（項目５８）
上記複数の器具のうちの上記少なくとも１つの一部分が、上記警告閾値に到達するにつれて、球体が、該複数の器具のうちの該少なくとも１つの一部分、および該複数の器具の上記別の一部分の周囲に表示される、項目５７に記載の医療ロボットシステム。
（項目５９）
上記複数の器具のうちの上記少なくとも１つの一部分が、上記回避すべき事象に向かって上記警告閾値を越えて運動するにつれて、上記色の強度が変化する、項目５２に記載の医療ロボットシステム。
（項目６０）
上記色は、上記複数の器具のうちの上記少なくとも１つの一部分が、上記回避すべき事象に向かって上記警告閾値を越えて運動するにつれて、増加する頻度で点滅する、項目５２に記載の医療ロボットシステム。
（項目６１）
上記色は、上記複数の器具のうちの上記少なくとも１つの一部分が、上記警告閾値に到達すると、第１の色から第２の色に変化し、該複数の器具のうちの該少なくとも１つの一部分が、上記回避すべき事象に到達するにつれて、該第２の色から第３の色に変化する、項目５２に記載の医療ロボットシステム。
（項目６２）
上記閾値は、警告閾値であり、上記事象は、上記１つ以上の関節運動可能な器具のうちの上記少なくとも１つにとって望ましい位置である、項目５１に記載の医療ロボットシステム。
（項目６３）
上記閾値は警告閾値であり、上記事象は、上記１つ以上の関節運動可能な器具のうちの上記少なくとも１つにとって望ましい構成である、項目５１に記載の医療ロボットシステム。
（項目６４）
上記複数の器具は、関節運動可能なカメラを含み、上記コントローラは、該関節運動可能なカメラの先端から外に延在し、該関節運動可能なカメラの上記視認範囲を示すように、錐台を生成することによって、上記コンピュータモデルを生成する、項目４６に記載の医療ロボットシステム。
（項目６５）
上記コントローラは、上記関節運動可能なカメラによって撮影された画像を、上記錐台の基盤上にレンダリングすることによって、上記変換コンピュータをレンダリングする、項目６４に記載の医療ロボットシステム。
（項目６６）
上記コントローラは、上記複数の器具の重心を計算し、上記進入ガイドが再位置付けされる必要があるか否かの指示を提供するように、該重心を上記表示画面上に表示することによって、上記視野を該表示画面上に表示するように構成される、項目４６に記載の医療ロボットシステム。
（項目６７）
入力機構をさらに備え、
上記コントローラは、該入力機構から上記選択可能な視点の表示を受信するように構成される、項目４６に記載の医療ロボットシステム。
（項目６８）
上記複数の器具は、関節運動可能なカメラと、１つ以上の関節運動可能な手術ツールとを含み、上記選択可能な視点は、該関節運動可能なカメラの視点と一致し、上記コントローラは、画像中に撮影された該１つ以上の関節運動可能な手術ツールが、該視野の中の該１つ以上の関節運動可能な手術ツールと一致および重複するように、該関節運動可能なカメラによって撮影された画像を上記ディスプレイ画面上に表示することによって、該生成視野を該表示画面上に表示する、項目４６に記載の医療ロボットシステム。
（項目６９）
上記複数の器具は、関節運動可能なカメラと、１つ以上の関節運動可能な手術ツールとを含み、上記選択可能な視点は、該関節運動可能なカメラの視点と一致し、上記コントローラは、該関節運動可能なカメラによって撮影された画像をディスプレイ画面上に表示し、該画像に隣接して、該画面に示さていれない上記レンダリングおよび変換したモデルの整合部分をモザイク処理することにより該画像を補強することによって、上記生成視野を該表示画面上に表示する、項目４６に記載の医療ロボットシステム。
（項目７０）
上記複数の器具は、関節運動可能なカメラと、１つ以上の関節運動可能な手術ツールを含み、該関節運動可能なカメラは、立体カメラを含み、該関節運動可能なカメラによって撮影された画像は、上記進入ガイドの上記遠位端から外に延在する該１つ以上の手術ツールの上記表示視野に隣接して、上記ディスプレイ画面上に３次元画像として表示される、項目４６に記載の医療ロボットシステム。
（項目７１）
上記進入ガイドの上記遠位端から外に延在する上記１つ以上の手術ツールの上記表示視野は、３次元視野である、項目７０に記載の医療ロボットシステム。
（項目７２）
１つ以上の入力装置をさらに含み、上記選択可能な視野は、上記進入ガイドを再位置付けするために、該１つ以上の入力装置が該進入ガイドと関連付けられると、第１の位置および配向に由来し、該選択可能な視野は、上記ツールを使用して手技を行うために、該１つ以上の入力装置が上記１つ以上の関節運動可能な手術ツールと関連付けられると、第２の位置および配向に由来し、該選択可能な視野は、異なる視点から画像を撮影するように、上記関節運動可能なカメラを運動させるために、該１つ以上の入力装置が該関節運動可能なカメラと関連付けられると、第３の位置および配向に由来する、項目４６に記載の医療ロボットシステム。

図１は、本発明の態様を利用する医療ロボットシステムを用いる、手術室の上面図を示す。 図２は、本発明の態様を利用する医療ロボットシステムにおける装置マニピュレータを左右の手で操作可能な入力装置を制御し、選択的に関連付けるための構成要素のブロック図を示す。 図３−４は、本発明の態様を利用する医療ロボットシステムにおいて使用されるような、関節運動可能なカメラ、および進入ガイドの遠位端から外に延在する、一対の関節運動可能な手術ツールの上面図および側面図を各々示す。 図３−４は、本発明の態様を利用する医療ロボットシステムにおいて使用されるような、関節運動可能なカメラ、および進入ガイドの遠位端から外に延在する、一対の関節運動可能な手術ツールの上面図および側面図を各々示す。 図５は、本発明の態様を利用する医療ロボットシステムにおいて使用されるような、進入ガイドの透視図、およびその４自由度の運動を示す。 図６は、本発明の態様を利用する医療ロボットシステムにおいて使用されるような、その近位端と遠位端との間に延在する、そこに定義される通路を有する、進入ガイドの断面図を示す。 図７は、本発明の態様を利用する医療ロボットシステムにおいて使用されるような、進入ガイドマニピュレータの相互作用構成要素のブロック図を示す。 図８は、本発明の態様を利用する医療ロボットシステムにおいて使用されるような、関節運動可能な器具マニピュレータおよび関節運動可能な器具の相互作用構成要素のブロック図を示す。 図９は、本発明の態様を利用する、コンピュータ処理した補助視野を提供するための方法のフロー図を示す。 図１０は、本発明の態様を利用する、医療ロボットシステムにおいて使用されるように、器具接合位置および順運動学を使用して、器具のリンク位置および配向を決定するためのデータおよび処理フロー図を示す。 図１１は、本発明の態様を利用する、医療ロボットシステムにおいて使用されるように、感知した器具先端位置および逆運動学を使用して、器具の接合位置を決定するためのデータおよび処理フロー図を示す。 図１２−１３は、本発明の態様を利用する医療ロボットシステムにおいて実装される方法によって生成され、表示画面上に表示されるような、上面および側面補助図を各々示す。 図１２−１３は、本発明の態様を利用する医療ロボットシステムにおいて実装される方法によって生成され、表示画面上に表示されるような、上面および側面補助図を各々示す。 図１４は、本発明の態様を利用する医療ロボットシステムにおいて実装される方法によって生成され、表示画面上の個別のウィンドウに表示されるような、上面および側面補助図を各々示す。 図１５は、本発明の態様を利用する医療ロボットシステムにおいて、モニタ上の関節運動可能なカメラによって撮影される画像に隣接して表示される、補助視野を示す。 図１６は、本発明の態様を利用する医療ロボットシステムにおいて実装される方法によって生成され、表示画面上に表示される錐台を有する、関節運動可能なカメラの補助側面図を示す。 図１７は、カメラの視点からの一対の関節運動可能な手術ツールの補助視野の組み合わせ表示を、本発明の態様を使用する医療ロボットシステムにおいて実装される方法によって生成され、表示画面上に表示されるように、カメラによって撮影された画像とともに示す。 図１８は、本発明の態様を利用する、医療ロボットシステムにおいて、装置制御モードに対応する補助視野モードを提供するための方法のフロー図を示す。

図１は、実施例として、手術室の上面図を示し、医療ロボットシステム１００は、手術台５０に顔を上にして横たわっている患者４０に医療手技を行うために、外科医２０によって利用されている。１人以上のアシスタント３０が患者４０の近くに位置して、手技を支援してもよく、一方、外科医２０は、外科医コンソール１０上の入力装置１０８、１０９を操作することによって、遠隔操作で手技を行う。

本実施例では、進入ガイド（ＥＧ）２００は、単一の進入開口１５０を通して患者４０に挿入される。進入開口１５０は、本実施例では最小侵襲性切開であり、他の医療手技の実行においては、代わりに、生来の身体開口部であり得る。進入ガイド２００は、ロボットアームアセンブリ１３０によって保持および操作される。

医療ロボットシステム１００の他の部分に関して、ロボットアームアセンブリ１３０の図は、図１において簡略化されている。医療ロボットシステム１００の一実施例では、ロボットアームアセンブリ１３０は、セットアップアームおよび進入ガイドマニピュレータを含む。セットアップアームを使用して、進入ガイド２００を進入開口１５０に位置付けることにより、進入開口１５０に適正に進入する。次に、進入ガイドマニピュレータを使用して、ロボット制御で進入ガイド２００を進入開口１５０の中に挿入し、および外に引き出す。進入ガイドマニピュレータは、進入開口１５０に位置する旋回点の周りに、進入ガイド２００をロボット制御でピッチ、ロール、およびヨーにおいて旋回させるために使用され得る。そのような進入ガイドマニピュレータの実施例は、図２の進入ガイドマニピュレータ２０２であり、それを用いて進入ガイド２００を操作する４自由度運動の実施例が、図５に示される。

コンソール１０は、手術部位の３次元画像を外科医に表示するための３次元モニタ１０４、左手および右手で操作可能な入力装置１０８、１０９、およびプロセッサ（本明細書では「コントローラ」とも称される）１０２を含む。入力装置１０８、１０９は、ジョイスティック、グローブ、トリガガン、手動コントローラ等の様々な入力装置のうちの任意の１つ以上を含み得る。外科医が医療ロボットシステム１００と相互作用することを可能にするために提供される他の入力装置は、フットペダル１０５、従来の音声認識システム１６０、およびグラフィカルユーザインターフェース（ＧＵＩ）１７０を含む。

補助表示画面１４０は、外科医に補助視野を提供し、モニタ１０４上に示されるそれらを補足するために、コンソール１０（およびプロセッサ１０２）に連結される。第２の補助表示画面１４０’は、補助視野をアシスタント（単数または複数）に提供するために、コンソール１０（およびプロセッサ１０２）に連結される。入力装置１８０もコンソールに連結されることにより、アシスタント（単数または複数）が第２の補助表示画面１４０’上に表示するために使用可能な補助視野を選択することを可能にする。

コンソール１０は、通常、外科医が直接手技を監視し得るように、患者と同室内に位置し、必要に応じて物理的に使用可能であり、そして、電話または他の通信媒体を介さずに、直接アシスタントに話しかけることができる。しかしながら、外科医は、患者とは異なる部屋、完全に異なる建物、または他の遠隔位置に位置することも可能であり、そして遠隔手術手技を可能にすることを理解されたい。そのような場合では、コンソール１０は、ローカルエリアネットワーク、広域エリアネットワーク、またはインターネット等のネットワーク接続を介して、第２の補助表示画面１４０’および入力装置１８０に接続され得る。

図３〜４に示されるように、進入ガイド２００は、関節運動可能な手術ツール２３１、２４１、およびその遠位端から外に延在する関節運動可能なステレオカメラ２１１等の関節運動可能な器具を有する。２つのツール２３１、２４１のみが示されているが、進入ガイド２００は、患者における作業部位において医療手技を行うために、必要に応じて追加のツールをガイドし得る。例えば、図４に示されるように、通路３５１は、別の関節運動可能な手術ツールを進入ガイド２００を通してその遠位端から外に延在させるために使用可能である。手術ツール２３１、２４１の各々は、ツール追従モードにおいて、入力装置１０８、１０９の一方と関連付けられる。外科医は、入力装置１０８、１０９を操作することによって医療手技を行い、コントローラ１０２が、それらの各々関連付けられた手術ツール２３１、２４１の対応する運動をもたらす一方で、作業部位の画像が関節運動可能なカメラ２１１によって撮影されるので、外科医は、コンソールモニタ１０４上で作業部位を３次元で視認する。

好ましくは、入力装置１０８、１０９は、それらの関連ツール２３１、２４１と、少なくとも同程度の自由度を提供されることにより、外科医にテレプレゼンス、または入力装置１０８、１０９がツール２３１、２４１と一体であるという認識を提供し、その結果、外科医は、ツール２３１、２４１を直接制御しているという強い感覚を持つ。この目的を達成するために、モニタ１０４は、また、外科医の手の付近に位置付けられ、それにより、外科医が、実際に、作業部位を真下に見ていると感じ、ツール２３１、２４１の画像が、外科医の手が位置する場所に実質的に位置するように見えるように配向される投影画像を表示する。

さらに、モニタ１０４上のリアルタイム画像が、好ましくは、透視画像の中に投影されることにより、外科医は、それらの対応する入力装置１０８、１０９を通して、実質的に実在する作業部位を見ているかのように、ツール２３１、２４１のエンドエフェクタ３３１、３４１を操作できる。実在とは、画像の表示が、エンドエフェクタ３３１、３４１を物理的に操作しているオペレータの視点を刺激する、実際の透視画像であることを意味する。したがって、プロセッサ１０２は、エンドエフェクタ３３１、３４１の座標を認識される位置に移行させて、モニタ１０４上に示されている透視画像が、外科医が、自身がエンドエフェクタ３３１、３４１の真後ろに位置しているか否かを決定する画像であるようにし得る。

プロセッサ１０２は、システム１００において様々な機能を実行する。システムが実行する１つの重要な機能は、入力装置１０８、１０９の機械的な運動をバス上の制御信号によって変換することであり、外科医が、ツール２３１、２４１、カメラ２１１、および進入ガイド２００等の、その時に入力装置１０８、１０９と選択的に関連付けられる装置を効率的に操作することができるようにする。別の機能は、本明細書に説明される、様々な方法およびコントローラ機能を実行することである。

プロセッサとして説明されるが、プロセッサ１０２は、ハードウェア、ソフトウェア、およびファームウェアの任意の組み合わせによって、実際に実装され得ることを理解されたい。また本明細書に説明されるようなその機能は、各々ハードウェア、ソフトウェア、およびファームウェアの任意の組み合わせによって順に実装され得る、異なる構成要素の中で、１つのユニットによって実行されるか、または分割され得る。さらに、プロセッサ１０２は、コンソール１０の一部として、または物理的に隣接するように示されているが、システム全体に分散される多数のサブユニットを含み得る。

本明細書に説明されるような医療ロボットシステムの様々な態様の構造および操作に関する追加の詳細については、参照することによって本明細書に組み込まれる、例えば、米国特許第６，４９３，６０８号「Ａｓｐｅｃｔｓ ｏｆ ａ Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍ ｏｆ ａ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｓｕｒｇｉｃａｌ Ａｐｐａｒａｔｕｓ」および米国特許第６，６７１，５８１号「Ｃａｍｅｒａ Ｒｅｆｅｒｅｎｃｅｄ Ｃｏｎｔｒｏｌ ｉｎ ａ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｓｕｒｇｉｃａｌ Ａｐｐａｒａｔｕｓ」を参照されたい。

図２は、実施例として、装置マニピュレータを制御し、入力装置１０８、１０９と選択的に関連付けるための構成要素のブロック図を示す。グラスパー、カッター、およびニードル等の様々な手術ツールを使用して、患者の体内の作業部位において医療手技を行い得る。この実施例では、２つの手術ツール２３１、２４１を使用して、ロボット制御で手技を実行し、カメラ２１１を使用して手技を見る。ツール２３１、２４１およびカメラ２１１は、進入ガイド２００内の通路を通して挿入される。図１を参照して説明されるように、進入ガイド２００は、ロボットアームアセンブリ１３０のセットアップ部分を使用して、進入開口１５０を通して患者の中に挿入され、ロボットアームアセンブリ１３０の進入ガイドマニピュレータ（ＥＧＭ）２０２によって、医療手技を行うべき作業部位に向かって操作される。

デバイス２３１、２４１、２１１、２００の各々は、その自身のマニピュレータによって操作される。特に、カメラ２１１は、カメラマニュピレータ（ＥＣＭ）２１２によって操作され、第１の手術ツール２３１は、第１のツールマニピュレータ（ＰＳＭ１）２３２によって操作され、第１の手術ツール２４１は、第２のツールマニピュレータ（ＰＳＭ２）２４２によって操作され、進入ガイド２００は、進入ガイドマニピュレータ（ＥＧＭ）２０２によって操作される。図を過度に妨げないように、装置２３１、２４１、２１１、２００は示されず、それらの各々のマニピュレータ２３２、２４２、２１２、２０２のみが図に示される。

器具マニピュレータ２３２、２４２、２１２の各々は、アクチュエータを担持し、機械的滅菌インターフェースを提供して、その各々の関節運動可能な器具に運動を移行させる機械アセンブリである。各器具２３１、２４１、２１１は、ケーブル伝達によって、そのマニピュレータから運動を受け取り、運動をその遠位関節運動部（例えば、接合部）に伝播する機械アセンブリである。そのような接合部は、プリズム的（例えば、直線運動）または回転的（例えば、機械軸の周りを旋回する）であり得る。さらに、器具は、複数の接合部を所定の様式で一緒に運動させる、内部機械的拘束（例えば、ケーブル、ギアリング、カム、ベルト等）を有し得る。機械的に拘束された接合部の各組は、運動の特定軸を実装し、拘束は、回転接合（例えば、ジョグル接合）を組にするように考案され得る。このように、器具は、使用可能なアクチュエータよりも多くの接合部を有し得ることも留意されたい。

対照的に、進入ガイドマニピュレータ２０２は、異なる構成および動作を有する。進入ガイドマニピュレータ２０２の部品および動作に関する説明は、図７を参照して以下に説明される。

本実施例では、入力装置１０８、１０９の各々は、装置２１１、２３１、２４１、２００のうちの１つと選択的に関連付けられ得、関連付けた装置が、そのコントローラおよびマニピュレータを介して、入力装置によって制御され得るようにする。例えば、スイッチ２５８、２５９を各々ツール追従モード「Ｔ２」および「Ｔ１」にすることによって、左右の入力装置１０８、１０９は、それらの各々のコントローラ２３３、２４３（好ましくは、プロセッサ１０２において実装される）およびマニピュレータ２３２、２４２を介して遠隔ロボット制御される、各々第１および第２の手術ツール２３１、２４１と関連付けられてもよく、外科医が患者に医療手技を施し得る一方で、進入ガイド２００が所定の位置に固定されるようにする。

カメラ２１１または進入ガイド２００が、外科医によって再位置付けされる場合、左右の入力装置１０８、１０９の一方または両方を、カメラ２１１または進入ガイド２００と関連付け得、それにより、外科医は、その各々のコントローラ（２１３または２０３）およびマニピュレータ（２１２または２０２）を介して、カメラ２１１または進入ガイド２００を運動させ得る。この場合において、手術ツール２３１、２４１のうちの関連付けられていない方（単数または複数）を、そのコントローラによって、進入ガイド２００に対して所定の位置に固定する。例えば、スイッチ２５８、２５９を各々カメラ位置付けモード「Ｃ２」および「Ｃ１」にすることによって、左右の入力装置１０８、１０９は、そのコントローラ２１３（好ましくは、プロセッサ１０２において実装される）およびマニピュレータ２１２を介してテレロボティックス的に制御される、カメラ２１１と関連付けられ得、外科医がカメラ２１１を位置付け得る一方で、手術ツール２３１、２４１および進入ガイド２００が、それらの各々のコントローラ２３３、２４３、２０３によって所定の位置に固定されるようにする。カメラを位置付けるために１つの入力装置のみが使用される場合は、次に、スイッチ２５８、２５９の一方のみをそのカメラ位置付けモードにし、スイッチ２５８、２５９の他方を、そのツール追従モードに維持して、その各々の入力装置が、その関連付けられた手術ツールを制御し続け得るようにする。

一方、スイッチ２５８、２５９を各々進入ガイド位置付けモード「Ｇ２」および「Ｇ１」にすることによって、左右の入力装置１０８、１０９は、そのコントローラ２０３（好ましくは、プロセッサ１０２において実装される）およびマニピュレータ２０２を介してテレロボティックス的に制御される、進入ガイド２００と関連付けられ得、外科医が進入ガイド２００を位置付け得る一方で、手術ツール２３１、２４１およびカメラ２１１が、それらの各々のコントローラ２３３、２４３、２１３によって進入ガイド２００に対して所定の位置に固定されるようにする。カメラ位置付けモードに関して、進入ガイドを位置付けるために１つの入力装置のみが使用される場合は、次に、スイッチ２５８、２５９の一方のみをその進入ガイド位置付けモードにし、スイッチ２５８、２５９の他方をそのツール追従モードに維持して、その各々の入力装置が、その関連付けられた手術ツールを制御し続け得るようにする。

本実施例において、他の装置に対する入力装置１０８、１０９の選択的関連付けは、外科医が、ＧＵＩ１７０または音声認識システム１６０を従来の様式で使用することによって実行され得る。代替として、入力装置１０８、１０９の関連付けは、外科医が、入力装置１０８、１０９の一方にあるボタンを押すか、またはフットペダル１０５を押すか、または任意の他のよく知られたモード切り替え手技を使用することによって変更され得る。

図３〜４は、各々、実施例として、カメラ２１１および外側に延在する手術ツール２３１、２４１とともに、進入ガイド２００の遠位端の上面図および右側面図を示す。図５の簡素化した（実物大ではない）進入ガイド２００の斜視図において示されるように、進入ガイド２００は、概して円筒形状であり、その長さに沿って中心を走る縦軸Ｘ’を有する。遠隔中心「ＲＣ」とも称される旋回点は、図示されるようなＸ、Ｙ、およびＺ軸を有する固定基準系、および図示されるようなＸ’、Ｙ’、およびＺ’軸を有する進入ガイド基準系の両方の起点として機能する。システム１００が進入ガイド位置付けモードにある場合、進入ガイドマニピュレータ２０２は、ヨーψで遠隔中心「ＲＣ」におけるＺ軸（空間内に固定されている）の周りに１つ以上の関連付けられた入力装置の運動に応答して、進入ガイド２００を旋回させることができる。さらに、進入ガイドマニピュレータ２０２は、ピッチθでＹ’軸（進入ガイド２００の縦軸Ｘ’に直角である）の周りに１つ以上の装置の運動に応答して、進入ガイド２００を旋回させることができ、ロールΦで縦軸Ｘ’の周りに進入ガイド２００を回転させることができ、１つ以上の関連付けられた入力装置に応答して、その縦軸Ｘ’に沿って、進入ガイド２００を挿入／引出または入／出「Ｉ／Ｏ」方向に直線運動させることができる。空間に固定されるＺ軸とは異なり、Ｘ’およびＹ’軸は、進入ガイド２００とともに運動することに留意されたい。

図７に示されるように、進入ガイドマニピュレータ（ＥＧＭ）２０２は、進入ガイド２００の４自由度運動（すなわち、ピッチθ、ヨーψ、ロールΦ、および入／出（Ｉ／Ｏ））を作動させるための４つのアクチュエータ７０１〜７０４、およびそれらを実装するための４つの対応するアセンブリ７１１〜７１４を有する。

再度、図３〜４を参照して、関節運動可能なカメラ２１１は通路３２１を通って延在し、関節運動可能な手術ツール２３１、２４１は、各々進入ガイド２００の通路４３１、４４１を通って延在する。カメラ２１１は、先端３１１（カメラコントローラに接続されるステレオカメラおよび外部光源に接続される光ファイバーケーブルを収容する）、第１、第２、および第３のリンク３２２、３２４、３２６、第１および第２の接合アセンブリ（本明細書では、単に「接合部」とも称される）３２３、３２５、およびリストアセンブリ３２７を含む。第１の接合アセンブリ３２３は、第１のリンク３２２と第２のリンク３２４とを連結し、第２の接合アセンブリ３２５は、第２のリンク３２４と第３のリンク３２６とを連結して、第２のリンク３２４が、ピッチおよびヨーにおいて、第１の接合アセンブリ３２３の周りを旋回し得る一方で、第１のリンク３２２と第３のリンク３２６とは、相互に平行なままである。

第１および第２の接合部３２３、３２５は、第２のリンク３２４が、ピッチおよび／またはヨーにおいて、第１の接合部３２３の周りを旋回するように、共同して一緒に動作するので、「ジョグル接合部」と称され、第３のリンク３２６は、第１のリンク３２２と第３のリンク３２６とが、常に相互に平行状態にあるように、第２の接合部３２５の周りを相補態様で旋回する。第１のリンク３２２は、ロールにおいて、その縦軸の周りを回転し得、ならびに、通路３２１を通って内外に運動し得る（例えば、作業部位に向けた挿入および作業部位からの引出し）。リストアセンブリ３２７は、カメラの先端３１１が、上下および左右、ならびにそれらの組み合わせに配向され得るように、ピッチおよびヨーの角運動能力を有し得る。

ツール２３１、２４１の接合部およびリンクは、構成および動作において、カメラ２１１のそれらと類似する。特に、ツール２３１は、エンドエフェクタ３３１（顎部３３８、３３９を有する）、第１、第２、および第３のリンク３３２、３３４、３３６、第１および第２の接合アセンブリ３３３、３３５、および図８を参照して説明されるようなアクチュエータによって駆動される、リストアセンブリ３３７（加えてエンドエフェクタ３３１を作動させるための追加のアクチュエータ）を含む。同様に、ツール２４１は、エンドエフェクタ３４１（顎部３４８、３４９を有する）、第１、第２、および第３のリンク３４２、３４４、３４６、第１および第２の接合アセンブリ３４３、３４５、および図８を参照して説明されるようなアクチュエータによっても駆動される、リストアセンブリ３４７（加えてエンドエフェクタ３４１を作動させるための追加のアクチュエータ）を含む。

図８は、実施例として、関節運動可能な器具（例えば、関節運動可能なカメラ２１１および関節運動可能な手術ツール２３１、２４１）およびその対応する器具マニピュレータ（カメラマニピュレータ２１２およびツールマニピュレータ２３２、２４２）の相互作用する部品の図を示す。器具の各々は、器具の関節運動をもたらすために多数の作動可能なアセンブリ８２１−８２３、８３１−８３３、８７０（そのエンドエフェクタを含む）を含み、その対応するマニピュレータは、作動可能なアセンブリを作動させるための多数のアクチュエータ８０１−８０３、８１１−８１３、８６０を含む。

さらに、多数のインターフェース機構が提供され得る。例えば、ピッチ／ヨー連結機構８４０、８５０（それぞれジョグル接合ピッチ／ヨーおよびリストピッチ／ヨー用）およびギア比８４５、８５５（それぞれ器具ロールおよびエンドエフェクタ作動用）は、滅菌マニピュレータ／器具インターフェースにおいて提供され、器具接合空間における器具接合部の運動の必要範囲を達成するが、いずれもマニピュレータアクチュエータ空間の小型化制約を満たし、インターフェース全体の正確な運動の伝達を維持する。単一ブロック８４０として示されるが、ジョグル接合アクチュエータ８０１、８０２（＃１および＃２として分化される）と、ジョグル接合ピッチ／ヨーアセンブリ８２１、８２２との間の連結は、滅菌インターフェースの各側面に１つ（すなわち、インターフェースのマニピュレータ側に１つ、およびインターフェースの器具側に１つ）、一対の連結機構を含み得る。同様に、単一ブロック８５０として示されるが、リストアクチュエータ８１２、８１３（＃１および＃２として分化される）と、リストピッチ／ヨー接合アセンブリ８３２、８３３との間の連結は、滅菌インターフェースの各側面に１つ、一対の連結機構を備え得る。

ジョグル接合ピッチアセンブリ８２１およびジョグル接合ヨーアセンブリ８２２の両者は、第１、第２、および第３のリンク（例えば、関節運動可能なカメラ２１１のリンク３２２、３２４、３２６）および第１および第２の結合部（例えば、関節運動可能なカメラ２１１の接合部３２２、３２５）を共有する。これらの共有構成要素に加えて、ジョグル接合のピッチおよびヨーアセンブリ８２１、８２２は、第１および第２の接合部を（ジョグル連結８４０を介して）ジョグル接合ピッチおよびヨーアクチュエータ８０１、８０２に連結する機械的連結も含み、それにより、第２のリンクが、第１の接合部を通過する線の周りに、第１のリンク（例えば、関節運動可能なカメラ２１１のリンク３２２）の縦軸に対して横方向の軸に沿って、制御可能に旋回し、第２のリンクが、第１の接合部を通過する線の周りに、第１のリンクの横軸および縦軸の両方に垂直な軸に沿って、制御可能に旋回し得る。

入／出（Ｉ／Ｏ）アセンブリ８２３は、第１のリンク（例えば、関節運動可能なカメラ２１１のリンク３２２）を含み、入／出（Ｉ／Ｏ）アクチュエータ８０３を第１のリンクに連結する駆動トレイを介してインターフェースすることにより、第１のリンクは、入／出（Ｉ／Ｏ）アクチュエータ８０３の作動によって、その縦軸に沿って制御可能に直線運動させられる。ロールアセンブリ８３１は、第１のリンクを含み、ロールアクチュエータ８１１（例えば、モータのロータ）の回転要素を第１のリンクに連結する１つ以上のギア（すなわち、ギア比８４５を有する）を介してインターフェースすることにより、第１のリンクは、ロールアクチュエータ８１１の作動によって、その縦軸の周りに制御可能に回転させられる。

器具マニピュレータ（例えば、カメラマニピュレータ２１２）は、リストアセンブリ（例えば、関節運動可能なカメラ２１１のリスト３２７）のリスト連結８５０を介してピッチおよびヨー接合部８３２、８３３を作動する、リストアクチュエータ８１２、８１３を含み、それにより、器具の先端（例えば、カメラの先端３１１）をリストアセンブリに対して、上下（すなわち、ピッチ）および左右（すなわち、ヨー）方向に制御可能に旋回させる。グリップアセンブリ８７０は、エンドエフェクタ（例えば、手術ツール２３１のエンドエフェクタ３３１）を含み、グリップアクチュエータ８６０をエンドエフェクタに連結する１つ以上のギア（すなわち、ギア比８５５を有する）を介してインターフェースすることにより、エンドエフェクタを制御可能に作動させる。

図９は、実施例として、医療ロボットシステム１００のコントローラ１０２に実装される方法のフロー図を示し、この方法は、関節運動可能なカメラ２１１等の関節運動可能な器具、および／または進入ガイド２００の遠位端から外に延在する関節運動可能な手術ツールの２３１、２４１うちの１つ以上を含む、コンピュータ生成された補助視野を提供する。本実施例の目的のために、関節運動可能なカメラ２１１および手術ツール２３１、２４１は、進入ガイド２００の遠位端から外に延在し、補助視野に含まれると想定される。しかしながら、方法は、関節運動可能なカメラを有しないもの、および／または代替的な種類の画像撮影装置、例えば、超音波プローブを有するものを含む、関節運動可能な器具の任意の組み合わせに適用可能であることを理解されたい。

９０１において、方法は、補助視野を生成すべきか否かを決定する。９０１での決定がＮＯ（いいえ）である場合は、次に、方法は元に戻り、状況が変化したか否かを決定するために、定期的にチェックする。一方、９０１での決定がＹＥＳ（はい）である場合は、次に、方法は９０２に進む。補助視野を生成すべきであるという指示は、コントローラ１０２の中にプログラム化されるか、自動的に作成されるか、またはオペレータの命令によって作成され得る。

９０２において、方法は、器具２１１、２３１、２４１および進入ガイド２００の各々に対する、位置および配向等の状態情報を受信する。この情報は、それらのそれぞれのマニピュレータ２１２、２３２、２４２、２０２におけるアクチュエータに連結される、エンコーダによって提供され得る。代替として、情報は、器具２１１、２３１、２４１および進入ガイドマニピュレータ２０２の接合部および／またはリンクに連結されるセンサ、または対応するマニピュレータと器具との間のインターフェースの連結機構、ギア、および駆動トレインによって提供され得、それにより、それらの運動を測定する。この第２の場合では、センサは、器具２１１、２３１、２４１および進入ガイドマニピュレータ２０２に含まれ得、例えば、回転接合部の回転運動を感知する回転センサ、および器具２１１、２３１、２４１および進入ガイドマニピュレータ２０２における直進ジョイントの直線運動を感知する直線センサである。追跡可能な要素を感知および追跡する外部センサのような他のセンサが、器具２１１、２３１、２４１および進入ガイド２００の位置および配向に関する情報を提供するために使用され得、追跡可能な要素は、能動要素（例えば、無線周波、電磁式等）または受動要素（例えば、磁性式等）であり得、器具２１１、２３１、２４１、進入ガイド２００、および／または進入ガイドマニピュレータ２０２上の重要な地点（それらの接合点、結合点、および／または先端上等）に配置される。

９０３において、方法は、９０２において受信した、器具２１１、２３１、２４１、進入ガイド２００、および進入ガイドマニピュレータ２０２に関する情報および順運動学、ならびに公知の構造を使用して、進入ガイド２００の遠位端から外に延在する、関節運動可能なカメラ２１１および関節運動可能な手術ツール２３１、２４１の３次元コンピュータモデルを生成する。本実施例において生成されるコンピュータモデルは、図５に示される遠隔中心基準系（Ｘ、Ｙ、Ｚ軸）を参照し得る。代替として、生成されるコンピュータモデルは、進入ガイド２００の遠位端において定義される基準系を参照し得る。この後者の例において、遠隔中心からの進入ガイド２００の配向および範囲が、方法によって生成されている補助視野において考慮される必要がないならば、進入ガイド２００の位置および配向情報は、９０２において省略され得る。

例えば、図１０を参照して、９０２において受信される状態情報が器具の接合位置１００１である場合、次に、器具の運動学的モデル１００３を使用して、本情報を器具の順運動学１００２に適用し、それにより、基準系１００４に対する器具のリンク位置および配向１００５を生成し得る。９０２において受信される状態情報が、マニピュレータ／器具インターフェースにおけるジョグル連結およびギア機構の感知された状態である場合に、同一のプロセスが、概して、適用され得る。

一方、図１１を参照すると、９０２において受信される状態情報が、器具の先端位置１１０１である場合（基準系１００４において）、次に、本情報は、器具の運動学モデル１００３およびセンサの基準系を使用して、器具の逆運動学１１０２に適用され、それにより、器具の接合位置１００１を生成し得る。次に、器具の接合位置１００１は、図１０を参照して説明されるように適用され、それにより、基準系１００４に対する器具の連結位置および配向１００５を生成し得る。

代替として、また図１１を参照して、９０２において提供される状態情報が、カメラの先端位置のみに限定される場合、次に、手術ツール２３１、２４１の先端の位置は、従来の画像処理技術を使用した後に、それらの位置を基準系１００４に変換して、カメラ２１１により撮影された画像において先端を識別することによって、カメラの基準系に対して決定され得、それにより、図１０、１１を参照して説明されるように、カメラおよびツール先端の位置を適用して、基準系１００４に対する器具のリンク位置および配向１００５を生成し得る。

９０４において、方法は、特定の視点に対する基準系の３次元空間において、関節運動可能なカメラ２１１および進入ガイド２００の遠位端から外に延在する、関節運動可能な手術ツール２３１、２４１のコンピュータモデルの視野を調整する（「視点」という用語は、本明細書において、位置および配向を含むと理解される）。例えば、図１２は、関節運動可能なカメラ２１１および進入ガイド２００の遠位端の上およびわずかに後ろにある視点に対応する、進入ガイド２００の遠位端から外に延在する、関節運動可能な手術ツール２３１、２４１の上面図を示す。別の実施例として、図１３は、進入ガイド２００の遠位端の右およびわずかに正面に対する視点に対応する、関節運動可能なカメラ２１１および進入ガイド２００の遠位端から外に延在する、関節運動可能な手術ツール２３１、２４１の側面図を示す。図１２〜１３に表される補助視野は２次元であるが、生成したコンピュータモデルから３次元情報が入手可能であるため、それらは３次元視野であってもよいことに留意されたい。この後者の例では、それらが表示されている補助表示画面１４０は、モニタ１０４等の３次元表示画面である必要がある。

視点は、固定点に設定され得、それは、例えば、図１２に示される透視図から等角（３次元）図を提供する視点である。この透視図は、ツール２３１、２４１が、図示されるように曲げられて「肘を突き出す」と、関節運動可能なカメラ２１１および関節運動可能な手術ツール２３１、２４１のはっきりとした視野を外科医に提供する（これは、手術ツール２３１、２４１を使用して医療手技を行うための典型的な構成である）。一方、第３の手術ツールが使用されている場合（例えば、図６に示される通路３５１に挿入される場合）、図１３の透視図からの側面図は、第３の手術ツールが関節運動可能なカメラ２１１の下にあってもよく、したがって、図１２に示される透視図において、それによって覆い隠されるため、付加的に有用であり得る。

視点を常に固定点に設定するのではなく、視点は、その時点で作動している制御モード（すなわち、図２を参照して説明されるモードのうちの１つ）に応じて、自動的に変換され得る。実施例として、図１８は、医療ロボットシステム１００において現在作動している制御モードに応じて、補助視野モードを自動的に変更するための方法を示す。特に、医療ロボットシステム１００が、１８０１において、ツール追従モードであると決定されると、本方法を使用して、１８０２において第１の補助視野モードが実行され、医療ロボットシステム１００が、１８０３において、進入ガイド位置付けモードであると決定されると、１８０４において第２の補助視野モードが実行され、医療ロボットシステム１００が、１８０５において、カメラ位置付けモードであると決定されると、１８０６において第３の補助視野モードが実行される。各制御モードの視野モードは、当該モードの間に動作を行うために、外科医にとって最も有益となるように選択される。例えば、ツール追従およびカメラ位置付けモードでは、手術ツール２３１、２４１およびカメラ２１１のいずれか、または両方がその時点で運動させられ、したがって、図１２および１３に表されるような、関節運動可能なカメラ２１１および進入ガイド２００の遠位端から外に延在する関節運動可能な手術ツール２３１、２４１の補助視野は、カメラ２１１の視野から外にあるリンクの間の衝突を回避するために有用である。一方、進入ガイド位置付けモードでは、関節運動可能なカメラ２１１および関節運動可能な手術ツール２３１、２４１は、進入ガイド２００に対して所定の位置に固定され、したがって、図１６および１７に表されるような他のものに関する情報を提供する補助視野が有用であり得る。

代替として、医療処置の遂行中に、視点を変更するためのオペレータ選択可能な手段が提供され得る。例えば、ＧＵＩ１７０または音声認識システム１６０を適合して、外科医に相互作用手段を提供し、関節運動可能なカメラ２１１および／または関節運動可能な手術ツール２３１、２４１が、進入ガイド２００の遠位端から外に延在するにつれて、補助視野の視野モードを選択および／または視点を変更し得る。入力装置１０８、１０９またはフットペダル１０５上のボタンは、外科医の視野モード選択に使用され得る。アシスタントの場合、入力装置１８０は、視野モードの選択のための表示画面１４０’と関連したＧＵＩとともに使用され得る。したがって、外科医およびアシスタントがその時点で見る視野モードは、その時点のそれらの特定のタスクに対して最適化され得る。そのようなオペレータ選択可能な視野モードおよび視野角度の実施例が、図１２〜１７に表される。

９０５において、方法は、コンピュータモデルをレンダリングする。この例において、レンダリングは、器具２１１、２３１、２４１および進入ガイド２００の遠位端の既知の構造特徴等の３次元特性をモデルに追加するステップと、任意のギャップを満たして立体モデルを形成するステップと、生来のカラーリングおよびシェーディングを提供するステップとを含む。さらに、レンダリングは、器具２１１、２３１、２４１のうちの１つ以上（またはそれらの接合部またはリンクあるいはその部分のうちの１つ以上）の色または強度を変更するステップを含み得、器具（またはその接合部、リンクもしくはその部分）は、識別の目的で目立つようにする。

代替として、器具２１１、２３１、２４１（またはそれらの接合部、リンク、もしくはその部分）のうちの１つ以上の点滅（例えば、フラッシュ）の色、強度、または頻度の変更は、器具（またはその接合部、リンクもしくはその部分）が、望ましくない事象または状態に近づいている、例えば、その運動範囲の限界に近づいているか、または別の器具に近づき過ぎているか、あるいは衝突するという警告として機能し得る。色が警告として使用される場合、回避すべき事象の警告閾値（例えば、可動域の限界または衝突）に到達すると、色は第１の色（例えば、緑）から第２の色（例えば、黄）に変わり得、回避すべき事象に到達すると、第２の色から第３の色（例えば、赤）に変わり得る。強度が警告として使用される場合、色の強度は、器具（またはその部分）が、警告閾値を越えて、回避すべき事象に向って運動するにつれて変化し、最大強度は、事象に到達すると提供される。色の点滅が警告として使用される場合、点滅の頻度は、器具（またはその部分）が、警告閾値を越えて回避すべき事象に向って運動するにつれて変化し、最大頻度は、事象に到達すると提供される。警告閾値は、器具（またはその部分、例えば、その接合部）の可動域、または器具（またはその部分）とそれが衝突し得る別の器具（またはその部分）との間の距離に基づき得る。器具の運動速度も、警告閾値を決定する際の要素であり得る。警告閾値は、ＧＵＩ１７０を使用して、オペレータによってプログラム化されるか、またはプロセッサ１０２においてプログラム化アルゴリズムによって自動的に決定され得、器具の運動速度等の他の要素を考慮する。

代替として、器具２１１、２３１、２４１（またはそれらの接合部、リンク、もしくはその部分）のうちの１つ以上の色、強度、または点滅（例えば、フラッシュ）頻度の変更は、器具（または接合部、リンクもしくはその部分）が、医療手技を遂行または見るための最適な位置または構成等の望ましい事象または状態に近づいているという警告として機能し得る。この例では、警告閾値は、器具２１１、２３１、２４１（またはそれらの接合部、リンク、またはその部分）１つ以上の色、強度、および／または点滅が、警告閾値および望ましくない事象または状態に関して前述のとおり、この例では、警告閾値に到達すると変化が開始し、望ましい事象または状態に到達するか、または別様に達成されると、最大化またはそうでなければ終了することを除いて、同様の様式で変更し得るように定義され得る。警告閾値は、オペレータによってプログラム化されるか、またはプログラム化アルゴリズムによって、警告閾値と概念的に同様の様式で、自動的に決定され得る。

識別、警告、または警報を目的とする、器具のそのような強調表示の実施例として、図１５は、ウィンドウ１５０２において、カメラ２１１および手術ツールの２３１、２４１の補助視野を示し、ここでカメラ２１１は強調表示されている。識別、警告、または警報を目的とする、器具の接合部のそのような強調表示の実施例として、図１２は、強調表示されている手術ツール２３１、２４１の接合部を示す。警告の目的で器具の強調表示部分の実施例として、図１４は、これらの部分が危険なほど近づいて衝突しそうであることを示すように強調表示される、手術ツール２４１の部分１４０２およびカメラ２１１の部分１４０３を示す。

レンダリングは、補助画像の視点が、カメラ２１１の視点と同一であるか、または真後ろにある場合に、カメラ２１１によって撮影された画像を補助視野に重ね合わせるステップを含み得る。実施例として、図１７は、カメラ２１１の視点（または右後ろ）から生成された、手術ツール２３１、２４１のオーバーレイとして、レンダリングされるカメラ２１１の撮影された画像１７００を示す。本実施例では、補助表示画面１４０（および／または補助表示画面１４０’）に表示されている手術ツール２３１、２４１の補助視野は、オーバーレイ撮影画像１７００における部分（例えば、１７３１、１７４１）およびオーバーレイ撮影画像１７００の外側の部分（例えば、１７３２、１７４２）を含む。したがって、撮影された画像１７００の外側にある手術ツール２３１、２４１の部分は、外科医に、カメラ２１１の視野の外にある、それらの各々のリンクまたは接合アームに関する追加の情報を提供する。撮影された画像１７００の外側にある器具部分（例えば、１７３２、１７４２）の強調表示は、識別目的で行われ得、または上述のように、警告または警報を表示するために行われ得る。撮影した画像１７００を補助視野に重ね合わせることは、また、そうでなければ通常は補助視野にはない、手術ツール２３１、２４１の正面にある解剖学的構造３６０を示すこの例において利点を有する。本実施例は、表示画面１４０上で補助視野を重ね合わせる撮影画像１７００を示すが、別のレンダリングスキームでは、補助視野は、モニタ１０４上に表示されている撮影された画像を重ね合わせ得る。

撮影した画像を重ね合わせるのではなく、レンダリングは、また、カメラ２１１によって撮影された画像を補強するために補助視野を使用することを含み、それは、撮影された画像に見られない器具２３１、２４１の部分（すなわち、図１７における器具２３１、２４１の点線部分）のみを、適正な配列で、撮影された画像に隣接して、モザイク様式で表示することによって行われる。

撮影された画像を補助視野に重ね合わせるステップ、または撮影された画像を補助視野によって補強するステップの追加として、または代わりに、レンダリングは、他の有用な情報を補助視野に提供するステップを含み得る。実施例として、図１６は、カメラの先端３１１から発し、それとともに運動するにつれて補助表示１４０上に表示されるように補助視野上にレンダリングされる錐台１６０１とともに、関節運動可能なカメラ２１１の補助側面図を示す。錐台１６０１は、図面において、円錐台として示されるが、モニタ１０４上に示される撮影された画像に対応するように、角錐台として現れ得ることに留意されたい。錐台１６０１の側面は、カメラ２１１の視野範囲を示し、錐台１６０１の底面１６０２は、カメラ２１１によって撮影された画像１６５０を表示する。簡略化の目的で、この実施例の場合、通常、補助視野において、手術ツール２３１、２４１は除去されていることに留意されたい。別の実施例として、図１４は、半透明の球体またはバブル１４０１（好ましくは赤色）を示し、これは、警告閾値に到達すると、手術ツール２４１とカメラ２１１の強調表示部分１４０２、１４０３とが、危険なほど近づいて衝突しそうであることをオペレータに示すために、レンダリング過程の一部としての方法によって表示される。この場合、強調表示部分１４０２、１４０３は、好ましくは球体内の中心にある。さらに別の実施例として、図１４は、手術ツール２３１、２４１のエンドエフェクタを使用して医療手技を遂行している時に、それらを見るためのカメラ先端３１１の最適な位置を示すマーカーまたは他の指標１４１０を示す。最適な位置は、例えば、エンドエフェクタの複数の先端が、撮影された画像の中心から等間隔にある位置を見出すことによって判定され得る。

９０６においては、方法は、レンダリングされるコンピュータモデル（すなわち、補助視野）を、選択した視点の透視図から、１つ以上の表示画面（例えば、１４０および１４０’）上に表示させる。図１２〜１４および１６〜１７に示されるように、補助視野は、補助表示画面１４０上に表示される。図１４に示されるように、１つ以上の補助視野は、一度に表示され得る（例えば、上面および側面透視図は、ウィンドウ１４２１および１４２２において、各々同時に提供され得る）。図１５に示されるように、補助視野は、別のウィンドウ１５０１に示されている、関節運動可能なカメラ２１１によって撮影される画像に隣接する、ウィンドウ１５０２における第１モニタ１０４上に表示され得る。ウィンドウ１５０１および１５０２は、本実施例では、同一サイズであるように見えるが、補助視野ウィンドウ１５０２の位置およびサイズは異なり得、依然として本発明の範囲内であることを理解されたい。また、前述されたように、補助視野は、その独自の個別ウィンドウ１５０２の代わりに、ウィンドウ１５０１において、撮影された画像を重ね合わせ得る。そのような場合において、重ね合わせた補助視野は、外科医がスイッチを切り替えて、医療手技の遂行中に、撮影された画像が混乱しないようにし得る。この例におけるスイッチの切り替えは、入力装置１０８、１０９のうちの１つにあるボタンを押すか、またはフットペダル１０５を押すことによって行われ得る。代替として、それは、音声認識システム１６０を使用して、または外科医とＧＵＩ１７０との相互作用を介して、あるいは任意の他の従来機能切り替え手段を使用して、音声作動によって行われ得る。

９０６の完了後、次いで方法は９０１に戻り、コントローラ１０２の次の処理サイクルに対して、９０１〜９０６を反復する。

本発明の様々な態様は、好適な実施形態に関して説明されたが、本発明は、添付の請求項の全範囲内で完全な保護を得る権利があることを理解されたい。

Claims (15)

1. 医療システムであって、
   進入ガイドと、
   前記進入ガイドの遠位端を介して前記遠位端の外に延在する複数の器具であって、前記複数の器具は、画像撮影器具を含む、複数の器具と、
   前記複数の器具の関節運動要素の状態を感知することにより、状態情報を生成するように適合された複数のセンサと、
   入力機構と、
   表示画面と、
   コントローラであって、
   前記状態情報を受信することと、
   前記受信された状態情報を用いて前記複数の器具のコンピュータモデルを生成することと、
   前記コントローラに視点を自動的に調整させる制御モードのユーザ選択のユーザ入力を受信することにより前記入力機構からユーザ選択された視点の指示を受信することであって、前記ユーザ選択された視点は、前記画像撮影器具によって撮影された画像に対する視点とは独立している、ことと、
   前記コンピュータモデルを前記ユーザ選択された視点の透視図に変換することと、
   前記変換されたコンピュータモデルをレンダリングすることと、
   前記変換されレンダリングされたコンピュータモデルを前記表示画面上に表示させることと
   を行うように構成されたコントローラと
   を含み、
   前記コントローラは、前記複数の器具に対する重心を計算するように構成されており、前記コントローラは、前記進入ガイドが再位置付けされる必要があるか否かの指示を提供するように、前記重心の指示を前記表示画面上に表示するように構成されている、医療システム。
2. 前記関節運動要素は、前記複数の器具の関節運動のためのアクチュエータを含み、前記複数のセンサは、前記アクチュエータの活動を感知するか、または、
   前記関節運動要素は、接合部を含み、前記複数のセンサは、前記接合部の回転運動を感知する回転センサを含む、請求項１に記載の医療システム。
3. 少なくとも２つの直交方向において前記進入ガイドのポーズを操作するための進入ガイドマニピュレータをさらに含み、前記関節運動要素は、接合部およびリンクを含み、前記複数のセンサは、前記接合部および前記リンクおよび前記進入ガイドマニピュレータに結合されている、請求項１に記載の医療システム。
4. 前記コントローラは、固定基準点に関する前記複数の器具の順運動学を計算することによって前記コンピュータモデルを生成する、請求項１に記載の医療システム。
5. 前記固定基準点は、その周りを前記進入ガイドが少なくとも２つの直交方向において旋回可能である遠隔中心である、請求項４に記載の医療システム。
6. 前記コントローラは、前記固定基準点から前記ユーザ選択された視点までの距離を計算し、前記計算された距離を用いて前記コンピュータモデルを前記ユーザ選択された視点の前記透視図に変換および配向することによって、前記コンピュータモデルを前記ユーザ選択された視点の前記透視図に変換する、請求項４に記載の医療システム。
7. 前記画像撮影器具は、関節運動可能なカメラを含み、前記コントローラは、前記関節運動可能なカメラが、前記表示画面上に表示されている前記変換されレンダリングされたコンピュータモデルにおいて容易に区別され得るように、前記複数の器具のうちの他の器具の前記コンピュータモデルとは異なる色で前記関節運動可能なカメラの前記コンピュータモデルをレンダリングすることにより、前記変換されたコンピュータモデルをレンダリングするように構成されている、請求項１に記載の医療システム。
8. 前記コントローラは、前記複数の器具のうちの少なくとも１つの器具が事象の閾値に到達すると、前記複数の器具のうちの前記少なくとも１つの器具の前記コンピュータモデルの少なくとも一部分の色を変化させることによって、前記変換されたコンピュータモデルをレンダリングするように構成されており、
   前記閾値は、警告閾値であり、前記事象は、回避すべき状態である、請求項１に記載の医療システム。
9. 前記警告閾値は、前記複数の器具のうちの前記少なくとも１つの器具の一部分の可動域に基づいており、前記回避すべき状態は、前記複数の器具のうちの前記少なくとも１つの器具の一部分の前記可動域の制限であるか、または、
   前記警告閾値は、前記複数の器具のうちの前記少なくとも１つの器具の一部分と、前記複数の器具のうちの別の器具の一部分との間の距離に基づいており、前記回避すべき状態は、前記複数の器具のうちの前記少なくとも１つの器具の一部分と、前記複数の器具のうちの前記別の器具の一部分との間の衝突である、請求項８に記載の医療システム。
10. 前記コントローラは、前記複数の器具のうちの前記少なくとも１つの器具の一部分が前記警告閾値に到達する、前記警告閾値に近づく、または前記警告閾値を超えて運動すると、前記複数の器具のうちの別の器具の前記コンピュータモデルの一部分の色または強度を変化させるように、前記コンピュータモデルをレンダリングするように構成されているか、または、
    前記コントローラは、前記複数の器具のうちの前記少なくとも１つの器具の一部分が、前記警告閾値に到達すると、前記複数の器具のうちの前記少なくとも１つの器具の前記コンピュータモデルの一部分、および前記複数の器具のうちの前記別の器具の一部分の周囲に球体を表示するように構成されている、請求項８に記載の医療システム。
11. 前記閾値は、警告閾値であり、前記事象は、１つ以上の関節運動可能な器具のうちの少なくとも１つの器具にとって望ましい位置または構成である、請求項１０に記載の医療システム。
12. 医療システムであって、
    進入ガイドと、
    前記進入ガイドの遠位端を介して前記遠位端の外に延在する複数の器具であって、前記複数の器具は、画像撮影器具を含む、複数の器具と、
    前記複数の器具の関節運動要素の状態を感知することにより、状態情報を生成するように適合された複数のセンサと、
    入力機構と、
    表示画面と、
    コントローラであって、
    前記状態情報を受信することと、
    前記受信された状態情報を用いて前記複数の器具のコンピュータモデルを生成することと、
    前記コントローラに視点を自動的に調整させる制御モードのユーザ選択のユーザ入力を受信することにより前記入力機構からユーザ選択された視点の指示を受信することであって、前記ユーザ選択された視点は、前記画像撮影器具によって撮影された画像に対する視点とは独立している、ことと、
    前記コンピュータモデルを前記ユーザ選択された視点の透視図に変換することと、
    前記変換されたコンピュータモデルをレンダリングすることと、
    前記変換されレンダリングされたコンピュータモデルを前記表示画面上に表示させることと
    を行うように構成されたコントローラと
    を含み、
    前記画像撮影器具は、関節運動可能なカメラを含み、前記コントローラは、前記関節運動可能なカメラの視認範囲を示すように、前記関節運動可能なカメラの前記コンピュータモデルの先端から外に延在する錐台のコンピュータモデルを生成することによって、前記コンピュータモデルを生成するように構成されており、前記コントローラは、前記錐台の前記コンピュータモデルを前記ユーザ選択された視点の前記透視図に変換するように構成されており、前記コントローラは、前記変換された錐台を前記表示画面上に表示させるように構成されている、医療システム。
13. 前記コントローラは、前記関節運動可能なカメラによって撮影された画像を前記錐台の基盤上にレンダリングすることによって、前記錐台の前記変換されたコンピュータモデルをレンダリングするように構成されており、前記コントローラは、前記変換されレンダリングされた錐台を前記表示画面上に表示させるように構成されている、請求項１２に記載の医療システム。
14. 前記画像撮影器具は、関節運動可能なカメラを含み、前記複数の器具は、１つ以上の関節運動可能な手術ツールを含み、前記関節運動可能なカメラは、立体カメラを含み、前記コントローラは、前記表示された変換されレンダリングされたコンピュータモデルとともに、前記関節運動可能なカメラによって撮影された画像を３次元画像として前記表示画面上に表示させるように構成されている、請求項１に記載の医療システム。
15. 前記コントローラは、前記変換されレンダリングされたコンピュータモデルを前記コンピュータモデルの３次元視野として表示させるように構成されている、請求項１４に記載の医療システム。