JP5675621B2 - 医療用ロボットシステムおよび該医療用ロボットシステムの作動方法 - Google Patents

Description

（関連出願の相互参照）
本願は、米国仮特許出願第６１／１０１，３８４号（２００８年９月３０日出願、発明者Ｎｉｃｏｌａ Ｄｉｏｌａｉｔｉら、名称「ＭＥＤＩＣＡＬ ＲＯＢＯＴＩＣ ＳＹＳＴＥＭ ＰＲＯＶＩＤＩＮＧ ＣＯＭＰＵＴＥＲ ＧＥＮＥＲＡＴＥＤ ＡＵＸＩＬＩＡＲＹ ＶＩＥＷＳ ＯＦ Ａ ＣＡＭＥＲＡ ＩＮＳＴＲＵＭＥＮＴ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＴＨＥ ＰＯＳＩＴＩＯＮＩＮＧ ＡＮＤ ＯＲＩＥＮＴＩＮＧ ＯＦ ＩＴＳ ＴＩＰ」）の利益を主張し、米国特許出願第１２／１６３，０８７号の一部継続出願であり、これらの出願は、本明細書に参考として援用される。

（発明の分野）
本発明は、概して、医療用ロボットシステムに関し、具体的には、カメラ機器の先端部の配置および配向を制御するための、カメラ機器のコンピュータ生成された補助的ビューを提供する医療用ロボットシステムに関する。

低侵襲外科手技を行う際に使用されるシステム等の医療用ロボットシステムは、従来の観血的な外科的技法と比較すると、疼痛が少ないこと、入院期間が短縮されること、通常の活動に早く戻れること、瘢痕が最小であること、回復期間が短縮されること、および組織への損傷が少ないことを含む、多くの利点を提供する。そのため、そのような医療用ロボットシステムの需要が強く、また高まっている。
ＷＯ２００８／１０３３８３Ａ１は、エンドスコープシステムについて記載し、このシステムにおいては、エンドスコープがカメラおよび機器を自身の遠位端に配置するように配置され得る。エンドスコープ上に設置された基準は、事前に規定された定位の空間内における遠位先端の追跡を可能にし、それにより、カメラによって捕らえられた画像は、記録され得、三次元の事前操作スキャンデータと組み合わされ、それは、モニター上に表示するためにプロセッサによって拡大、回転および／または、概して処理され得る。

そのような医療用ロボットシステムの１つの実施例は、カリフォルニア州サニーベール所在Ｉｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ，Ｉｎｃ．社製の低侵襲ロボット手術システムである、ｄａ Ｖｉｎｃｉ（登録商標）Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍである。ｄａ Ｖｉｎｃｉ（登録商標）Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍは、画像撮影デバイスによって撮影された手術部位の画像を視認している外科医による入力デバイスの動きに応じて、画像撮影デバイスおよびＩｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ社の特許製品であるＥｎｄｏＷｒｉｓｔ（登録商標）関節運動型手術用機器等の付属医療デバイスを動かす多くのロボットアームを有する。医療用デバイスの各々は、その独自の低侵襲切開を介して患者に挿入され、手術部位で医療手技を行うために位置付けられる。手術用機器を使用して連携して医療手技を行えるように、また画像撮影デバイスが、それらのロボットアームが手技の最中に衝突することなく手技を視認できるように、切開が患者の身体周辺に設けられる。

特定の医療手技を行うために、低侵襲切開または自然の身体開口部等の単一進入開口部を使用することが有利である可能性がある。例えば、最初に、進入ガイドが進入開口部に挿入され、位置付けられ、そして所定の場所に保持されてもよい。次いで、関節運動可能なカメラおよび医療手技を行うために使用される複数の関節運動可能な手術用器具等の機器が、進入ガイドの遠位端から延在するようにその近位端に挿入されてもよい。このように、進入ガイドは、複数機器のための単一進入開口部を提供する一方で、作業部位に向かって機器を誘導する際にそれらをまとまった状態で維持する。

進入ガイドは、通常、低侵襲切開または自然の身体開口部を通り抜けられるように比較的小さな直径を有するため、医療手技を行うための手術用器具およびそれを視認するためのカメラを遠隔操作する際に多くの問題が生じる可能性がある。例えば、カメラ機器は手術用器具と一緒にまとめられているため、手術用器具に対する配置において限界があり、その結果として、手術用器具のビューに限界がある。

したがって、関節運動可能な手術用器具の先端部はカメラの視界内に維持できても、手術用器具の関節運動能力を容易にする制御可能な継手によって連結されたリンクがカメラの視界内には入らない可能性がある。その結果として、手術用器具のリンクは、医療手技を行う際に不注意で互いに（または、カメラ機器のリンクと）衝突し、結果的に、患者に危害を加えるか、または別様に医療手技の性能に有害な影響を及ぼす可能性がある。

また、通常、関節運動可能なカメラ機器が、それ自体の制御可能なリンケージを視認することは不可能であるため、手術用器具のリンクとの衝突を回避する上で、操作者によるカメラ先端部の動きは特に懸念される点である。さらに、手術用器具およびカメラを遠隔操作可能に動かす際に操作者を補助するために直感的制御が提供される場合は、器具の先端部およびカメラのそのような直感的動作をもたらすために必要とされるリンケージの動作が、操作者にとって明白または直感的ではない可能性があり、したがって、操作者がカメラの視界外でリンク間の衝突を回避することをより一層困難にしている。

したがって、本発明の１つ以上の態様の１つの目的は、カメラを配置および配向するための、カメラのコンピュータ生成された補助的ビューを提供する医療用ロボットシステムにおいて実装される方法である。

本発明の１つ以上の態様の別の目的は、カメラの補助的ビューを視認しながら、カメラの配置および配向を制御する操作者に直感的制御を提供する、医療用ロボットシステムにおいて実装される方法である。

本発明の１つ以上の態様の別の目的は、カメラの配置および配向を制御しながら、カメラの視界外の関節運動可能な機器のリンケージの構成について操作者が理解し易くする、医療用ロボットシステムにおいて実装される方法である。

これらのおよびさらなる目的は、本発明の種々の態様によって達成され、簡潔に述べると、一態様は、カメラ先端部（すなわち、カメラの視認用または画像撮影用の端部）を配置および配向するための方法であって、上記方法は、カメラ先端部を配置および配向するために使用される機械的要素の位置を決定するステップと；機械的要素の決定された位置を使用して、カメラ先端部の位置および方向を決定するステップと；仮想カメラのパースペクティブに対応するカメラのコンピュータモデルのビューを生成するステップと；表示画面上にビューを表示するステップと；カメラのコンピュータモデルの表示されたビューに対応する表示画面を視認しながら、カメラ先端部の配置および配向が、入力デバイスを操作している操作者に直感的に見えるように、入力デバイスの操作に応じて機械的要素を動かすことによって、カメラ先端部の配置および配向を制御するステップと、を含む、方法である。

別の態様は、カメラと、カメラの先端部を配置および配向するために使用される機械的要素と、表示画面と、入力デバイスと、コントローラと、を備える、医療用ロボットシステムである。コントローラは、機械的要素の位置を決定する；機械的要素の決定された位置を使用して、カメラ先端部の位置および方向を決定する；仮想カメラのパースペクティブに対応するカメラのコンピュータモデルのビューを生成する；表示画面にビューを表示する；および、カメラのコンピュータモデルの表示されたビューに対応する表示画面を視認しながら、カメラ先端部の配置および配向が、入力デバイスを操作している操作者に直感的に見えるように、入力デバイスの操作に応じて機械的要素を動かすことによって、カメラ先端部の配置および配向を制御するように構成される。

本発明の種々の態様のさらなる目的、特性、および利点は、添付の図面とともに考慮されるべき、その好ましい実施形態についての以下の記載によって、明らかになるであろう。
例えば、本発明は、以下の項目を提供する。
（項目１）
カメラ先端部を配置および配向する方法であって、
該カメラ先端部を配置および配向するために使用される機械的要素の位置を決定することと、
該機械的要素の該決定された位置を使用して、該カメラ先端部の位置および方向を決定することと、
仮想カメラのパースペクティブに対応する該カメラのコンピュータモデルのビューを生成することと、
表示画面上に該ビューを表示することと、
入力デバイスの操作に応じて該機械的要素を動かすことによって、該カメラ先端部の該配置および配向を制御することであって、これにより、該カメラの該コンピュータモデルの該表示されたビューに対応する該表示画面を視認しながら、該カメラ先端部の前記配置および配向が、該入力デバイスを操作している操作者に直感的に見える、ことと
を含む、方法。
（項目２）
前記機械的要素の前記位置の前記決定は、該位置を感知するセンサによって提供される情報を使用して、該機械的要素の該位置を決定することを含む、項目１に記載の方法。
（項目３）
前記機械的要素は、前記カメラ先端部を配置および配向するために使用されるマニピュレータの継手を含む、項目２に記載の方法。
（項目４）
前記機械的要素は、前記カメラ先端部を配置および配向するために使用されるマニピュレータのリンクを含む、項目２に記載の方法。
（項目５）
前記機械的要素の前記位置の前記決定は、該機械的要素を配置するために使用されるアクチュエータの作動を感知するエンコーダによって提供される情報を使用して、該機械的要素の該位置を決定することを含む、項目１に記載の方法。
（項目６）
前記機械的要素は、前記カメラ先端部を配置および配向するために使用されるマニピュレータに含まれ、該機械的要素の前記位置の前記決定は、
該カメラ先端部上に配置されたセンサから情報を受信することと、
該センサから受信された該情報を該マニピュレータの逆運動学に適用することによって、該機械的要素の該位置を算出することと
を含む、項目１に記載の方法。
（項目７）
前記機械的要素は、前記カメラ先端部を配置および配向するために使用されるマニピュレータに含まれ、該機械的要素の前記決定された位置を使用する、該カメラ先端部の前記位置および方向の前記決定は、該機械的要素の該決定された位置を該マニピュレータの順運動学に適用することによって、該カメラ先端部の該位置および方向を算出することを含む、項目１に記載の方法。
（項目８）
前記仮想カメラの前記パースペクティブに対応する、前記カメラの前記コンピュータモデルの前記ビューの前記生成は、
該カメラの３次元コンピュータモデルを生成することと、
該コンピュータモデルを該仮想カメラの該パースペクティブに変換することと
を含む、項目１に記載の方法。
（項目９）
前記カメラは、進入ガイドの外に延在する関節運動可能なカメラ機器であり、該仮想カメラは、該カメラと同一の特徴を有し、該仮想カメラの前記パースペクティブは、該カメラ機器が該進入ガイドの外に延在する位置および方向にあり、該位置および方向は、該仮想カメラの視界内にある、項目８に記載の方法。
（項目１０）
少なくとも１つの関節運動可能な機器は、前記関節運動可能なカメラ機器とともに前記進入ガイドの外に延在し、前記仮想カメラの前記パースペクティブは、該少なくとも１つの関節運動可能な機器および該カメラ機器が前記進入ガイドの外に延在する位置および方向にあり、該位置および方向は、少なくとも部分的に該仮想カメラの前記視界内にある、項目９に記載の方法。
（項目１１）
前記カメラは、進入ガイドの外に延在する関節運動可能なカメラ機器であり、前記カメラ先端部の前記位置および方向を前記制御することは、
前記仮想カメラの前記位置に始点を有し、基準座標系の１つの軸が該進入ガイドの近位端と遠位端との間に延在する長手軸上の焦点に向かうように配向されるデカルト基準座標系を画定することと、
前記入力デバイスの前記操作者による操作に応じて該カメラ先端部の該位置および方向を制御することであって、それにより、該入力デバイスと関連付けられたデカルト基準座標系における該入力デバイスの動きが、該仮想カメラの該デカルト基準座標系に対する該カメラ先端部の対応するスケールされた動きをもたらす、ことと
を含む、項目１に記載の方法。
（項目１２）
前記カメラは、進入ガイドの外に延在する関節運動可能なカメラ機器であり、前記カメラ先端部の前記位置および方向を前記制御することは、
始点を有するデカルト基準座標系を画定することであって、該始点において、該進入ガイドの中央長手軸が該進入ガイドの遠位端で直交面と交差し、該カメラ機器が該進入ガイドの外に延在し、該基準座標系の１つの軸が該中央長手軸と平行であるように配向される、ことと、
前記入力デバイスの前記操作者による操作に応じて該カメラ先端部の該位置および方向を制御することであって、それにより、該入力デバイスと関連付けられたデカルト基準座標系における該入力デバイスの動きが、該進入ガイドの該遠位端で画定される該デカルト基準座標系に対する該カメラ先端部の対応するスケールされた動きをもたらす、ことと
を含む、項目１に記載の方法。
（項目１３）
前記カメラ先端部の前記位置および方向を制御することの前に、
前記入力デバイスと関連付けられた機器の制御を関与解除して、該機器を適所に保持することと、
該カメラ先端部の方向に対して該入力デバイスの方向を整列させることと、
該入力デバイスを用いて該カメラ先端部の制御に関与することと
をさらに含む、項目１に記載の方法。
（項目１４）
前記カメラの前記位置および方向を制御することの後に、
前記入力デバイスを用いて前記カメラ先端部の制御を関与解除して、該カメラ先端部を適所に保持することと、
前記機器の先端の方向に対して、該入力デバイスの前記方向を整列させることと、
前記入力デバイスを用いて前記機器の制御に関与することと
をさらに含む、項目１３に記載の方法。
（項目１５）
医療用ロボットシステムであって、
カメラと、
カメラ先端部を配置および配向するために使用される機械的要素と、
表示画面と、
入力デバイスと、
コントローラであって、
該機械的要素の位置を決定すること、該機械的要素の該決定された位置を使用して該カメラ先端部の位置および方向を決定すること、仮想カメラのパースペクティブに対応する該カメラのコンピュータモデルのビューを生成すること、該表示画面に該ビューを表示すること、および、該入力デバイスの操作に応じて該機械的要素を動かすことによって該カメラ先端部の該配置および配向を制御することを実行するように構成されることにより、該カメラの該コンピュータモデルの該表示されたビューに対応する該表示画面を視認しながら、該カメラ先端部の該配置および配向が入力デバイスを操作している操作者に直感的に見える、コントローラと
を備える、医療用ロボットシステム。
（項目１６）
前記コントローラは、前記位置を感知するセンサによって提供される情報を使用して、前記機械的要素の前記位置を決定するように構成される、項目１５に記載の医療用ロボットシステム。
（項目１７）
前記機械的要素は、前記カメラ先端部を配置および配向するために使用されるマニピュレータの継手を含む、項目１５に記載の医療用ロボットシステム。
（項目１８）
前記機械的要素は、前記カメラ先端部を配置および配向するために使用されるマニピュレータのリンクを含む、項目１５に記載の医療用ロボットシステム。
（項目１９）
前記機械的要素を配置するために使用されるアクチュエータをさらに備え、前記コントローラは、該アクチュエータの作動を感知するエンコーダによって提供される情報を使用して、該機械的要素の該位置を決定するように構成される、項目１５に記載の医療用ロボットシステム。
（項目２０）
前記機械的要素は、前記カメラ先端部を配置および配向するために使用されるマニピュレータに含まれ、前記コントローラは、該カメラ先端部上に配置されたセンサから情報を受信することと、該センサから受信した該情報を該マニピュレータの逆運動学に適用することによって、該機械的要素の前記位置を算出することとによって、該機械的要素の該位置を決定するように構成される、項目１５に記載の医療用ロボットシステム。
（項目２１）
前記機械的要素は、前記カメラ先端部を配置および配向するために使用されるマニピュレータに含まれ、前記コントローラは、該機械的要素の前記決定された位置を該マニピュレータの順運動学に適用することによって、該カメラ先端部の該位置および方向を算出するように構成される、項目１５に記載の医療用ロボットシステム。
（項目２２）
前記コントローラは、前記カメラの３次元コンピュータモデルを生成し、該コンピュータモデルを前記仮想カメラの前記パースペクティブに変換することによって、該仮想カメラの該パースペクティブに対応する該カメラの該コンピュータモデルの前記ビューを生成するように構成される、項目１５に記載の医療用ロボットシステム。
（項目２３）
進入ガイドをさらに備え、前記カメラは、該進入ガイドの外に延在する関節運動可能なカメラ機器であり、前記仮想カメラは、該カメラと同一の特徴を有し、該仮想カメラの前記パースペクティブは、該カメラ機器が該進入ガイドの外に延在する位置および方向にあり、該位置および方向は、該仮想カメラの視界内にある、項目２２に記載の医療用ロボットシステム。
（項目２４）
少なくとも１つの関節運動可能な機器をさらに備え、該少なくとも１つの関節運動可能な機器は、前記関節運動可能なカメラ機器とともに前記進入ガイドの外に延在し、前記仮想カメラの前記パースペクティブは、該少なくとも１つの関節運動可能な機器および該進入ガイドの外に延在する位置および方向にあり、該位置および方向は、少なくとも部分的に前記仮想カメラの前記視界内にある、項目２３に記載の医療用ロボットシステム。
（項目２５）
進入ガイドをさらに備え、前記カメラは、該進入ガイドの外に延在する関節運動可能なカメラ機器であり、前記コントローラは、
前記仮想カメラの前記位置に始点を有し、基準座標系の１つの軸が該進入ガイドの近位端と遠位端との間に延在する長手軸上の焦点に向かうように配向される、デカルト基準座標系を画定することと、
該入力デバイスと関連付けられたデカルト基準座標系における該入力デバイスの動きが、該仮想カメラの該デカルト基準座標系に対する前記カメラ先端部の対応するスケールされた動きをもたらすように、該入力デバイスの操作者による操作に応じて該カメラ先端部の前記位置および方向を制御することと
を実行するように構成される、項目１５に記載の医療用ロボットシステム。
（項目２６）
進入ガイドをさらに備え、前記カメラは、該進入ガイドの外に延在する関節運動可能なカメラ機器であり、前記コントローラは、
該進入ガイドの中央長手軸が該進入ガイドの遠位端で直交面と交差している始点を有し、前記カメラ機器が該進入ガイドの外に延在し、前記基準座標系の１つの軸が該中央長手軸と平行であるように配向される、デカルト基準座標系を画定することと、
前記入力デバイスと関連付けられたデカルト基準座標系における該入力デバイスの動きが、該進入ガイドの該遠位端で画定される該デカルト基準座標系に対する前記カメラ先端部の対応するスケールされた動きをもたらすように、該入力デバイスの前記操作者による操作に応じて該カメラ先端部の前記位置および方向を制御することと
を実行するように構成される、項目１５に記載の医療用ロボットシステム。
（項目２７）
前記コントローラは、
前記カメラ先端部の前記配置および配向を制御する前に、
前記入力デバイスと関連付けられた機器の制御を関与解除して、該機器を適所に保持することと、
該カメラ先端部の方向に対して該入力デバイスの方向を整列させることと、
該入力デバイスを用いて該カメラ先端部の制御に関与することと
を実行するように構成される、項目１５に記載の医療用ロボットシステム。
（項目２８）
コントローラは、前記カメラの前記位置および方向を制御した後に、
前記入力デバイスを用いて前記カメラ先端部の制御を関与解除して、該カメラ先端部を適所に保持することと、
前記機器の先端の方向に対して該入力デバイスの前記方向を整合させることと、
該入力デバイスを用いて該機器の制御に関与することと
を実行するように構成される、項目２７に記載の医療用ロボットシステム。

図１は、本発明の態様を用いた医療用ロボットシステムを採用した手術室の上面図である。 図２は、本発明の態様を用いた医療用ロボットシステムにおいて、デバイスマニピュレータを制御し、左右に手動操作可能な入力デバイスと選択的に関連付けるための構成要素のブロック図である。 図３〜４は、本発明の態様を用いた医療用ロボットシステムにおいて使用される進入ガイドの遠位端の外に延在する関節運動可能なカメラおよび一対の関節運動可能な手術用器具の、それぞれ上面図および側面図である。 図３〜４は、本発明の態様を用いた医療用ロボットシステムにおいて使用される進入ガイドの遠位端の外に延在する関節運動可能なカメラおよび一対の関節運動可能な手術用器具の、それぞれ上面図および側面図である。 図５は、本発明の態様を用いた医療用ロボットシステムにおいて使用される進入ガイドおよびその４自由度の動きを示す図である。 図６は、本発明の態様を用いた医療用ロボットシステムにおいて使用される、近位端と遠位端との間に延在する画定された経路を伴う進入ガイドの断面図である。 図７は、本発明の態様を用いた医療用ロボットシステムにおいて使用される進入ガイドマニピュレータの相互作用する構成要素のブロック図である。 図８は、本発明の態様を用いた医療用ロボットシステムにおいて使用される、関節運動可能な機器マニピュレータおよび関節運動可能な機器の相互作用する構成要素のブロック図である。 図９は、本発明の態様を用いてコンピュータが生成する補助的ビューを提供するための方法のフロー図である。 図１０は、本発明の態様を用いた医療用ロボットシステムにおいて使用される、機器の継手の位置および順運動学（ｆｏｒｗａｒｄ ｋｉｎｅｍａｔｉｃｓ）を使用して機器のリンクの位置および方向を決定するためのデータおよびプロセスのフロー図である。 図１１は、本発明の態様を用いた医療用ロボットシステムにおいて使用される、感知された機器先端部の位置および逆運動学（ｉｎｖｅｒｓｅ ｋｉｎｅｍａｔｉｃｓ）を使用して機器の継手の位置を決定するためのデータおよびプロセスのフロー図である。 図１２〜１３は、本発明の態様を用いた医療用ロボットシステムに実装された方法によって生成され、表示画面上に表示された、上面および側面の補助的ビューをそれぞれ示す図である。 図１２〜１３は、本発明の態様を用いた医療用ロボットシステムに実装された方法によって生成され、表示画面上に表示された、上面および側面の補助的ビューをそれぞれ示す図である。 図１４は、本発明の態様を用いた医療用ロボットシステムに実装された方法によって生成され、表示画面上の別個のウィンドウ内に表示された、上面および側面の補助的ビューを示す図である 図１５は、本発明の態様を用いた医療用ロボットシステムのモニタ上で、関節運動可能なカメラによって取得された画像の隣に表示された補助的ビューを示す図である。 図１６は、本発明の態様を用いた医療用ロボットシステムに実装された方法によって生成され、表示画面上に表示された、錐台を有する関節運動可能なカメラの補助的な側面図である。 図１７は、本発明の態様を用いた医療用ロボットシステムに実装された方法によって生成され、表示画面上に表示された、カメラの視点からの一対の関節運動可能な手術用器具の補助的ビューと、カメラによって取得された画像とを組み合わせた表示を示す図である。 図１８は、本発明の態様を用いた医療用ロボットシステムのデバイス制御モードに対応する補助的ビューモードを提供するための方法のフロー図である。 図１９は、本発明の態様を用いたカメラ先端部を配置および配向するための方法のフロー図である。 図２０は、本発明の態様を用いた医療用ロボットシステムにおいて使用される、コンピュータ生成された補助的ビューに対して示されるゼロ位置の基準座標系にある進入ガイドの遠位端の外に延在する関節運動可能なカメラおよび関節運動可能な手術用器具の側面図である。 図２１は、本発明の態様を用いた医療用ロボットシステムにおいて使用される、コンピュータ生成された補助的ビューに対して示される等角補助的ビューの基準座標系にある進入ガイドの遠位端の外に延在する関節運動可能なカメラおよび関節運動可能な手術用器具の側面図である。 図２２は、本発明の態様を用いた医療用ロボットシステムにおいて使用されるカメラのコントローラのブロック図である。

図１は、一実施例として手術室の上面図を示しており、手術台５０の上に仰向けに横たわる患者４０に対して外科医２０が医療手技を行うために医療用ロボットシステム１００が用いられている。外科医２０が、外科医用コンソール１０上の入力デバイス１０８、１０９を操作することによって遠隔操作可能に手技を行う間、その手技を補助するために、患者４０の近くに１人以上の助手３０が配置されてもよい。

本実施例において、進入ガイド（ＥＧ）２００は、単一進入開口部１５０を介して患者４０内に挿入される。本実施例において、進入開口部１５０は患者における低侵襲切開であるが、他の医療手技を実行する際には、代わりに自然の身体開口部であってもよい。進入ガイド２００は、ロボットアームアセンブリ１３０によって保持および操作される。

医療用ロボットシステム１００の他の部分と同様に、図１ではロボットアームアセンブリ１３０の図は簡略化されている。医療用ロボットシステム１００の一実施例において、ロボットアームアセンブリ１３０は、設定アームおよび進入ガイドマニピュレータを含む。設定アームは、進入ガイド２００が進入開口部１５０に適切に進入するように、進入ガイド２００を進入開口部１５０に配置するために使用される。次いで、進入ガイド２００をロボット操作により進入開口部１５０に挿入し、抜去するために、進入ガイドマニピュレータが使用される。マニピュレータは、進入開口部１５０に位置する枢着点の周囲で、進入ガイド２００をピッチ、ロール、およびヨー方向にロボット操作により旋回させるために使用されてもよい。そのような進入ガイドマニピュレータの実施例は図２の進入ガイドマニピュレータ２０２であり、該マニピュレータが進入ガイド２００を操作する４自由度の動きの実施例は図５に示される。

コンソール１０は、外科医に手術部位の３Ｄ画像を表示する３Ｄモニタ１０４と、左右に手動操作可能な入力デバイス１０８、１０９と、プロセッサ（本明細書において「コントローラ」とも称される）１０２とを含む。入力デバイス１０８、１０９は、ジョイスティック、グローブ、トリガーガン、手動コントローラ等の多様な入力デバイスのうちのいずれか１つ以上を含むことができる。外科医が医療用ロボットシステム１００と対話できるように設けられる他の入力デバイスは、フットペダル１０５、従来型音声認識システム１６０、およびグラフィカルユーザインターフェース（ＧＵＩ）１７０を含む。

補助表示画面１４０は、モニタ１０４上に表示されるビューを補完するための補助的ビューを外科医に提供するために、コンソール１０（およびプロセッサ１０２）に連結される。また、第２の補助表示画面１４０’も、助手（複数可）に補助的ビューを提供するためにコンソール１０（およびプロセッサ１０２）に連結される。また、入力デバイス１８０も、助手（複数可）が、第２の補助表示画面１４０’上での表示に利用可能な補助的ビューの中から選択できるようにコンソールに連結される。

通常、コンソール１０は、外科医が手技を直接監視できるように、必要のある場合は物理的に対応できるように、そして、電話または他の通信媒体を介してではなく直接助手（複数可）と話ができるように、患者と同じ部屋に設置される。しかしながら、外科医は、遠隔の外科手技が可能である異なる部屋、全く異なる建物、または患者から離れた他の場所にいてもよいことを理解されたい。そのような場合、コンソール１０は、ローカルエリアネットワーク、ワイドエリアネットワーク、またはインターネット等のネットワーク通信を介して、第２の補助表示画面１４０’および入力デバイス１８０に接続されてもよい。

図３〜４に示されるように、進入ガイド２００は、その遠位端の外に延在する関節運動可能な手術用器具２３１、２４１および関節運動可能なステレオカメラ２１１等の関節運動可能な機器を有する。２つの器具２３１、２４１のみが示されているが、進入ガイド２００は、患者の作業部位で医療手技を行うために、必要に応じて追加の器具を誘導することができる。例えば、図４に示されるように、経路３５１は、別の関節運動可能な手術用器具を進入ガイド２００に通し、その遠位端から延在させるために利用可能である。手術用器具２３１、２４１の各々は、器具追従モードで入力デバイス１０８、１０９のうちの１つと関連付けられる。外科医は、作業部位の画像が関節運動可能なカメラ２１１によって取得されると、コンソールモニタ１０４上で作業部位を３Ｄで見ながら、外科医が入力デバイス１０８、１０９を操作することによって、コントローラ１０２が、それらがそれぞれ関連付けられた手術用器具２３１、２４１の対応する動きを引き起こすように医療手技を行う。

好ましくは、外科医が、器具２３１、２４１を直接制御しているという強い感覚を持つように、テレプレゼンス、または入力デバイス１０８、１０９が器具２３１、２４１と一体化しているという知覚を外科医にもたらすために、入力デバイス１０８、１０９は、それらが関連付けられた器具２３１、２４１と少なくとも同じ自由度で提供される。その目的のために、外科医が実際に作業部位を直接見下ろしていると感じるように配向された投影画像を表示するように、また、器具２３１、２４１の画像が、実質的に外科医の手が位置する場所に配置されているように見えるように、モニタ１０４も外科医の手の近くに配置される。

また、モニタ１０４上のリアルタイム画像は、外科医が、実質的に実際通りに作業部位を見ているかのように、対応する入力デバイス１０８、１０９を介して器具２３１、２４１のエンドエフェクタ３３１、３４１を操作できるように、透視画像として投影されることが好ましい。実際通りとは、画像の表現が、エンドエフェクタ３３１、３４１を物理的に操作している操作者の視点をシミュレートする実際の透視画像であることを意味する。したがって、モニタ１０４に表示されている透視画像が、外科医がエンドエフェクタ３３１、３４１の直ぐ後ろに位置した場合に外科医が見るような画像となるように、プロセッサ１０２は、エンドエフェクタ３３１、３４１の座標を知覚位置に変換することができる。

プロセッサ１０２は、システム１００において種々の機能を実行する。プロセッサが実行する１つの重要な機能は、外科医が、その時に入力デバイス１０８、１０９と選択的に関連付けられた器具２３１、２４１、カメラ２１１、および進入ガイド２００等のデバイスを効率的に操作できるように、バス１１０上の制御信号を介して入力デバイス１０８、１０９の機械的動作を変換および伝達することである。別の機能は、本明細書に記載される種々の方法およびコントローラの機能を実行することである。

プロセッサ１０２は、プロセッサとして記載されているが、実際は、ハードウェア、ソフトウェア、およびファームウェアの任意の組み合わせによって実装されてもよいことを理解されたい。また、本明細書に記載されるその機能は、１つのユニットとして実行されるか、または異なる構成要素に分割されてもよく、それらの各々は、同様にハードウェア、ソフトウェア、およびファームウェアの任意の組み合わせによって実装されてもよい。さらに、コンソール１０の一部として、またはそれに物理的に隣接して示されているが、プロセッサ１０２は、システム中に分布される多くのサブユニットを含むこともできる。

本明細書に記載されるような医療用ロボットシステムの種々の態様の構造および動作の詳細については、例えば、参照により本明細書に組み込まれる米国特許第６，４９３，６０８号「Ａｓｐｅｃｔｓ ｏｆ ａ Ｃｏｎｔｒｏｌ Ｓｙｓｔｅｍ ｏｆ ａ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｓｕｒｇｉｃａｌ Ａｐｐａｒａｔｕｓ」および米国特許第６，６７１，５８１号「Ｃａｍｅｒａ Ｒｅｆｅｒｅｎｃｅｄ Ｃｏｎｔｒｏｌ ｉｎ ａ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｓｕｒｇｉｃａｌ Ａｐｐａｒａｔｕｓ」を参照されたい。

図２は、一実施例として、デバイスマニピュレータを制御するため、および入力デバイス１０８、１０９と選択的に関連付けるための構成要素のブロック図を示す。患者の作業部位で医療手技を行うために、把持具、カッター、および針等の種々の手術用器具が使用されてもよい。この実施例では、ロボット操作により手技を行うために２つの手術用器具２３１、２４１が使用され、手技を視認するためにカメラ２１１が使用される。器具２３１、２４１、およびカメラ２１１は、進入ガイド２００の経路を通って挿入される。図１を参照して記載されるように、進入ガイド２００は、ロボットアームアセンブリ１３０の設定部を使用して進入開口部１５０を介して患者に挿入され、ロボットアームアセンブリ１３０の進入ガイドマニピュレータ（ＥＧＭ）２０２によって、医療手技が行われる作業部位に向かって移動させられる。

デバイス２３１、２４１、２１１、２００の各々は、その独自のマニピュレータによって操作される。具体的には、カメラ２１１はカメラマニピュレータ（ＥＣＭ）２１２によって操作され、第１の手術用器具２３１は第１の器具マニピュレータ（ＰＳＭｌ）２３２によって操作され、第２の手術用器具２４１は、第２の器具マニピュレータ（ＰＳＭ２）２４２によって操作され、進入ガイド２００は進入ガイドマニピュレータ（ＥＧＭ）２０２によって操作される。図があまり見難くならないように、デバイス２３１、２４１、２１１、２００は示されておらず、それらのそれぞれのマニピュレータ２３２、２４２、２１２、２０２のみが図示されている。

機器マニピュレータ２３２、２４２、２１２の各々は、アクチュエータを担持する機械的アセンブリであり、そのそれぞれの関節運動可能な機器に動作を伝えるための機械的な滅菌されたインターフェースを提供する。各機器２３１、２４１、２１１は、そのマニピュレータから動作を受信する機械的アセンブリであり、ケーブル伝送によって、その遠位関節（例えば、継手）に動作を伝播する。そのような継手は、直進式（例えば、直線的な動作）または回転式（例えば、それらが機械軸の周囲で旋回する）であってもよい。さらに機器は、複数の継手を所定の様式で一緒に動かす内部機械的制約（例えば、ケーブル、ギアリング、カム等）を有することができる。機械的に制約された継手の各セットは特定の運動軸を実装し、制約は、回転式継手（例えば、せぎり継手）を組み合わせるために考案されてもよい。このように、機器は、利用可能なアクチュエータよりも多くの継手を有することができることにも留意されたい。

対照的に、進入ガイドマニピュレータ２０２は異なる構造および動作を有する。進入ガイドマニピュレータ２０２の部分および動作についての記載は、図７を参照して後に記載する。

この実施例では、関連付けられたデバイスが、そのコントローラおよびマニピュレータを介して入力デバイスによって制御され得るように、入力デバイス１０８、１０９の各々が、デバイス２１１、２３１、２４１、２００のうちの１つと選択的に関連付けられてもよい。例えば、スイッチ２５８、２５９を、それぞれ、機器追従モード「Ｔ２」および「Ｔ１」にすることにより、左右の入力デバイス１０８、１０９が、それぞれ、それらのそれぞれのコントローラ２３３、２４３（好ましくは、プロセッサ１０２に実装される）およびマニピュレータ２３２、２４２を介して遠隔ロボット操作により制御される第１および第２の手術用器具２３１、２４１と関連付けられてもよく、そうすることにより、進入ガイド２００が適所に固定された状態で、外科医が患者に対して医療手技を行うことができる。

カメラ２１１または進入ガイド２００が外科医によって再度位置付けされる場合は、外科医が、それぞれのコントローラ（２１３または２０３）およびマニピュレータ（２１２または２０２）を介してカメラ２１１または進入ガイド２００を動かすことができるように、左右の入力デバイス１０８、１０９のうちの一方または両方が、カメラ２１１または進入ガイド２００と関連付けられてもよい。この場合、手術用器具２３１、２４１のうちの関連付けられていない器具（複数化）は、そのコントローラによって進入ガイド２００に対して適所に固定される。例えば、スイッチ２５８、２５９をそれぞれカメラ配置モード「Ｃ２」および「Ｃ１」にすることにより、左右の入力デバイス１０８、１０９が、そのコントローラ２１３（好ましくは、プロセッサ１０２に実装される）およびマニピュレータ２１２を介して遠隔ロボット操作により制御されるカメラ２１１と関連付けられてもよく、そうすることにより、外科医は、手術用器具２３１、２４１、および進入ガイド２００が、それらのそれぞれのコントローラ２３３、２４３、２０３によって適所に固定された状態で、カメラ２１１を配置することができる。カメラを配置するために１つの入力デバイスのみが使用される場合は、スイッチ２５８、２５９のうちの一方のみがカメラ配置モードにされ、スイッチ２５８、２５９のうちの他方は依然として器具追従モードのままであるため、それぞれの入力デバイスは、関連付けられた手術用器具の制御を継続することができる。

その一方で、スイッチ２５８、２５９を、それぞれ、進入ガイド配置モード「Ｇ２」および「Ｇ１」にすることによって、左右の入力デバイス１０８、１０９は、コントローラ２０３（好ましくは、プロセッサ１０２に実装される）およびマニピュレータ２０２を介して遠隔ロボット操作により制御される進入ガイド２００と関連付けられてもよく、そうすることにより、外科医は、手術用器具２３１、２４１、およびカメラ２１１が、それらのそれぞれのコントローラ２３３、２４３、２１３によって進入ガイド２００に対して適所に固定された状態で、進入ガイド２００を配置することができる。カメラ配置モードと同様に、進入ガイドを配置するために１つの入力デバイスのみが使用される場合は、スイッチ２５８、２５９のうちの一方のみがその進入ガイド配置モードにされ、スイッチ２５８、２５９のうちの他方は依然として器具追従モードのままであるため、そのそれぞれの入力デバイスが、その関連付けられた手術用器具の制御を継続することができる。

本実施例における入力デバイス１０８、１０９の他のデバイスに対する選択的な関連付けは、従来の様式でＧＵＩ１７０または音声認識システム１６０を使用して、外科医によって行われてもよい。代替として、入力デバイス１０８、１０９の関連付けは、入力デバイス１０８、１０９のうちの一方のボタンを押下することによって、またはフットペダル１０５を押下することによって、または任意の他の周知のモード切替技術を使用して、外科医によって変更されてもよい。

図３〜４は、実施例として、外側に延在するカメラ２１１および手術用器具２３１、２４１を伴う進入ガイド２００の遠位端の上面図および側面図を示す。図５の簡略化された（スケール通りではない）進入ガイド２００の透視図に示すように、進入ガイド２００は概して円筒形状であり、その長さに沿って中心に延びる長手軸Ｘ’を有する。枢着点は、遠隔中心「ＲＣ」とも称され、図示されるようにＸ、Ｙ、およびＺ軸を有する固定基準座標系と、図示されるようにＸ’、Ｙ’、およびＺ’軸を有する進入ガイドの基準座標系との両方の始点としての役割を果たす。システム１００が進入ガイド配置モードにある時、進入ガイドマニピュレータ２０２は、１つ以上の関連付けられた入力デバイスの動きに応じて、遠隔中心「ＲＣ」で進入ガイド２００をＺ軸（空間に固定されたままの状態にある）の周りにヨーΨ方向に旋回させることが可能である。また、進入ガイドマニピュレータ２０２は、１つ以上の入力デバイスの動きに応じて、進入ガイド２００をＹ’軸（進入ガイド２００の長手軸Ｘ’に直交する）の周りにピッチθ方向に旋回させることが可能であり、１つ以上の関連付けられた入力デバイスの動きに応じて、進入ガイド２００をその長手軸Ｘ’の周りにロールΦ方向に回転させること、および進入ガイド２００をその長手軸Ｘ’の周りに、挿入／抜去またはイン／アウト（「Ｉ／Ｏ」）方向に直線的に移動させることが可能である。空間に固定されたＺ軸とは異なり、Ｘ’およびＹ’軸は進入ガイド２００とともに移動することに留意されたい。

図７に示されるように、進入ガイドマニピュレータ（ＥＧＭ）２０２は、進入ガイド２００の４自由度の動き（すなわち、ピッチθ、ヨーΨ、ロールΦ、およびイン／アウトＩ／Ｏ）を作動させるための４つのアクチュエータ７０１〜７０４と、それらを実装するための４つの対応するアセンブリ７１１〜７１４とを有する。

再度図３〜４を参照すると、関節運動可能なカメラ２１１は経路３２１を通って延在し、関節運動可能な手術用器具２３１、２４１は、それぞれ、進入ガイド２００の経路４３１、４４１を通って延在する。カメラ２１１は、先端部３１１（カメラコントローラに接続されたステレオカメラおよび外部光源に接続された光ファイバーケーブルを収容する）と、第１、第２、および第３のリンク３２２、３２４、３２６と、第１および第２の継手アセンブリ（本明細書では単に「継手」とも称される）３２３、３２５と、リストアセンブリ３２７とを含む。第１および第３のリンク３２２、３２６が互いに平行な状態を維持しながら、第２のリンク３２４が第１の継手アセンブリ３２３の周囲でピッチおよびヨー方向に旋回することができるように、第１の継手アセンブリ３２３は、第１および第２のリンク３２２、３２４を連結し、第２の継手アセンブリ３２５は、第２および第３のリンク３２４、３２６を連結する。

第１および第３のリンク３２２、３２６が常に互いに平行な状態を維持するように、第２のリンク３２４が第１の継手３２３の周囲でピッチおよび／またはヨー方向に回転すると、第３のリンク３２６が第２の継手３２５の周囲で相補的な様式で回転するように連携して動作するため、第１および第２の継手３２３、３２５は「せぎり継手」と称される。また第１のリンク３２２は、その長手軸の周りにロール方向に回転することもでき、経路３２１を通って行き来する（例えば、作業部位への挿入および作業部位からの抜去）こともできる。リストアセンブリ３２７も、カメラの先端部３１１が、上下および左右、ならびにそれらの組み合わせに配向され得るように、ピッチ角およびヨー角の運動能力を有する。

器具２３１、２４１の継手およびリンクは、カメラ２１１のものと構造および動作において類似する。具体的には、器具２３１は、エンドエフェクタ３３１（顎部３３８、３３９を有する）と、第１、第２、および第３のリンク３３２、３３４、３３６と、第１および第２の継手アセンブリ３３３、３３５と、図８を参照して記載されるようなアクチュエータによって駆動されるリストアセンブリ３３７（それに加えて、エンドエフェクタ３３１を作動させるための追加のアクチュエータ）とを含む。同様に、器具２４１は、エンドエフェクタ３４１（顎部３４８、３４９を有する）と、第１、第２、および第３のリンク３４２、３４４、３４６と、第１および第２の継手アセンブリ３４３、３４５と、同じく図８を参照して記載されるようなアクチュエータによって駆動されるリストアセンブリ３４７（それに加えて、エンドエフェクタ３４１を作動させるための追加のアクチュエータ）とを含む。

図８は、一実施例として、関節運動可能な機器の相互作用する部品（関節運動可能なカメラ２１１および関節運動可能な手術用器具２３１、２４１等）と、それに対応する機器マニピュレータ（カメラマニピュレータ２１２および器具マニピュレータ２３２、２４２）の図を示す。機器の各々は、機器（そのエンドエフェクタを含む）の関節運動を達成するための多数の作動可能なアセンブリ８２１〜８２３、８３１〜８３３、８７０を含み、それに対応するマニピュレータは、作動可能なアセンブリを作動させるための多数のアクチュエータ８０１〜８０３、８１１〜８１３、８６０を含む。

また、多くのインターフェース機構が設けられてもよい。例えば、マニピュレータのアクチュエータ空間における小型化の制約を満足させ、かつ、インターフェースを横断する動作の正確な伝達を維持しながら、機器の継手空間において必要とされる機器の継手の可動域を達成するように、ピッチ／ヨー連結機構８４０、８５０（それぞれ、せぎり継手のピッチ／ヨーおよびリストのピッチ／ヨーのため）およびギア比８４５、８５５（それぞれ、機器のロールおよびエンドエフェクタの作動のため）が、滅菌されたマニピュレータ／機器インターフェースに提供される。単一ブロック８４０として示されているが、せぎり継手アクチュエータ８０１、８０２（１番および２番として区別される）と、せぎり継手ピッチ／ヨーアセンブリ８２１、８２２との間の連結は、インターフェースの各側に１つずつ（すなわち、インターフェースのマニピュレータ側に１つ、およびインターフェースの機器側に１つ）、一対の連結機構を含むことができる。同様に、単一のブロック８５０として示されているが、リストアクチュエータ８１２、８１３（１番および２番として区別される）と、リストピッチ／ヨー継手アセンブリ８３２、８３３との間の連結も、インターフェースの各側に１つずつ、一対の連結機構を含むことができる。

せぎり継手ピッチアセンブリ８２１およびせぎり継手ヨーアセンブリ８２２の両方は、第１、第２、および第３のリンク（例えば、関節運動可能なカメラ２１１のリンク３２２、３２４、３２６）ならびに第１および第２の継手（例えば、関節運動可能なカメラ２１１の継手３２２、３２５）を共有する。これらの共有された構成要素に加えて、せぎり継手ピッチおよびヨーアセンブリ８２１、８２２は、第２のリンクが、第１の継手を通って、第１のリンク（例えば、関節運動可能なカメラ２１１のリンク３２２）の長手軸に対して南北方向である軸に沿った線の周囲で制御可能に旋回することができ、第２のリンクが、第１の継手を通って、第１のリンクの横軸および長手軸の両方に直交する軸に沿った線の周囲で制御可能に旋回することができるように、第１および第２の継手（せぎり連結８４０を介して）をせぎり継手ピッチおよびヨーアクチュエータ８０１、８０２に連結する機械的連結部も含む。

イン／アウト（Ｉ／Ｏ）アセンブリ８２３は、第１のリンク（例えば、関節運動可能なカメラ２１１のリンク３２２）と、Ｉ／Ｏアクチュエータ８０３の作動により、第１のリンクがその長手軸に沿って直線的に、制御可能に移動されるようにイン／アウト（Ｉ／Ｏ）アクチュエータ８０３を第１のリンクに連結するドライブトレインを通るインターフェースとを含む。ロールアセンブリ８３１は、第１のリンクと、ロールアクチュエータ８１１の作動により、第１のリンクがその長手軸の周囲で制御可能に回転されるようにロールアクチュエータ８１１の回転要素（モータの回転子等）を第１のリンクに連結する１つ以上のギア（すなわち、ギア比８４５を有する）を通るインターフェースとを含む。

機器マニピュレータ（例えば、カメラマニピュレータ２１２）は、機器先端部（例えば、カメラ先端部３１１）をリストアセンブリに対して上下（すなわち、ピッチ）および左右（すなわち、ヨー）方向に制御可能に旋回させるように、リストアセンブリ（例えば、関節運動可能なカメラ２１１のリスト３２７）のピッチおよびヨー継手８３２、８３３のリスト結合８５０を介して作動するリストアクチュエータ８１２、８１３を含む。把持アセンブリ８７０は、エンドエフェクタ（例えば、手術用器具２３１のエンドエフェクタ３３１）と、エンドエフェクタを制御可能に作動させるために把持アクチュエータ８６０をエンドエフェクタに連結する１つ以上のギア（すなわち、ギア比８５５を有する）を通るインターフェースとを含む。

図９は、一実施例として、進入ガイド２００の遠位端の外に延在する関節運動可能なカメラ２１１および／または関節運動可能な手術用器具２３１、２４１のうちの１つ以上等の、関節運動可能な機器を含むコンピュータ生成された補助的ビューを提供するための医療用ロボットシステム１００のコントローラ１０２において実装される方法のフロー図を示す。この実施例の目的のために、進入ガイド２００の遠位端の外に延在する関節運動可能なカメラ２１１および手術用器具２３１、２４１は、補助的ビュー内に含まれると想定される。しかしながら、本方法は、関節運動可能なカメラを有さないものおよび／または超音波探触子等の代替の種類の画像撮影デバイスを有するものを含む、関節運動可能な機器の任意の組み合わせに適用可能であることを理解されたい。

９０１において、本方法は、補助的ビューが生成されるべきかどうかを決定する。９０１における決定が「いいえ」である場合、本方法は、ループバックして、状況が変わったかどうかを定期的に確認する。一方、９０１における決定が「はい」である場合、本方法は９０２へと進む。補助的ビューが生成されるべきであるという指示は、コントローラ１０２内にプログラムされてもよいか、自動的に作成されてもよいか、または操作者の指令によって作成されてもよい。

９０２において、本方法は、器具２１１、２３１、２４１の各々および進入ガイド２００について、位置および方向等の状態情報を受信する。この情報は、それらのそれぞれのマニピュレータ２１２、２３２、２４２、２０２内のアクチュエータに連結されたエンコーダによって提供されてもよい。代替として、それらの動きを測定するために、機器２１１、２３１、２４１の継手および／もしくはリンクならびに進入ガイドマニピュレータ２０２に連結されたセンサによって、または、対応するマニピュレータと機器との間のインターフェースの連結機構、ギア、およびドライブトレインによって、情報が提供されてもよい。この２番目の場合には、機器２１１、２３１、２４１および進入ガイドマニピュレータ２０２内の回転式継手の回転運動を感知する回転センサおよび直進継手の直線運動を感知する線形センサ等のセンサが、機器２１１、２３１、２４１および進入ガイドマニピュレータ２０２に含まれてもよい。また、機器２１１、２３１、２４１、進入ガイド２００および／または進入ガイドマニピュレータ２０２上の極めて重要なポイント（それらの継手、リンク、および／または先端部等）に設置される能動素子（例えば、無線周波数、電磁気等）または受動素子（例えば、磁気等）であってもよい追跡可能な素子を感知および追跡する外部センサ等の他のセンサが、機器２１１、２３１、２４１および進入ガイド２００の位置および方向の情報を提供するために使用されてもよい。

９０３において、本方法は、９０２で受信された情報と、機器２１１、２３１、２４１、進入ガイド２００、および進入ガイドマニピュレータ２０２の順運動学および既知の構造とを使用して、進入ガイド２００の遠位端の外に延在する関節運動可能なカメラ２１１および関節運動可能な手術用器具２３１、２４１の３次元コンピュータモデルを生成する。この実施例において生成されるコンピュータモデルは、図５に示される遠隔中心基準座標系（Ｘ、Ｙ、Ｚ軸）を基準とする。代替として、生成されたコンピュータモデルは、進入ガイド２００の遠位端で画定される基準座標系を基準としてもよい。後者の場合、遠隔中心からの進入ガイド２００の方向および延在が、本方法によって生成される補助的ビューの考慮に入れられる必要がない場合は、進入ガイド２００についての位置および方向の情報は９０２において省略されてもよい。

例えば、図１０を参照すると、９０２で受信される状態情報が機器の継手位置１００１である場合は、この情報は、基準座標系１００４に対する機器のリンク位置および方向１００５を生成するために、機器の運動学モデル１００３を使用して機器の順運動学１００２に適用されてもよい。９０２において受信される状態情報が、マニピュレータ／機器インターフェースのせぎり連結およびギア機構の感知された状態である場合は、同じプロセスが一般的に適用されてもよい。

その一方で、図１１を参照すると、９０２で受信される９０２が機器の先端部の位置１１０１（基準座標系１００４において）である場合は、この情報は、機器の継手位置１００１を生成するために、機器の運動学モデル１００３およびセンサ基準座標系を使用して機器の逆運動学１１０２に適用されてもよい。次いで、機器の継手位置１００１は、基準座標系１００４に対する機器のリンク位置および方向１００５を生成するために、図１０を参照して記載されるように適用されてもよい。

代替として、同じく図１１を参照すると、９０２で提供される状態情報がカメラの先端部の位置のみに限定される場合は、基準座標系１００４に対する機器のリンクの位置および方向１００５を生成するために、図１０、１１を参照して記載されるようにカメラおよび器具の先端部の位置が適用され得るように、手術用器具２３１、２４１の先端部の位置は、従来の画像処理技術を使用してカメラ２１１によって撮影された画像における先端部を同定し、それらの位置を基準座標系１００４に変換することによって、カメラ基準座標系に相対的に決定されてもよい。

９０４において、本方法は、進入ガイド２００の遠位端の外に延在する関節運動可能なカメラ２１１および関節運動可能な手術用器具２３１、２４１のコンピュータモデルのビューを、基準座標系の３次元空間において特定の視点に調節する（「視点」という用語は、本明細書において位置および方向を含むことを理解されたい）。例えば、図１２は、進入ガイド２００の遠位端の上およびやや後ろからの視点に相当する、進入ガイド２００の遠位端の外に延在する関節運動可能なカメラ２１１および関節運動可能な手術用器具２３１、２４１の上面図を示す。別の実施例として、図１３は、進入ガイド２００の遠位端の右側およびやや前方からの視点に相当する、進入ガイド２００の遠位端の外に延在する関節運動可能なカメラ２１１および関節運動可能な手術用器具２３１、２４１の側面図を示す。図１２〜１３に示される補助的ビューは２次元であるが、生成されたコンピュータモデルからの３次元情報が利用可能であるため、それらは３次元のビューであってもよいことに留意されたい。後者の場合、それらが表示された補助表示画面１４０は、モニタ１０４のような３次元表示画面でなければならないであろう。

ビューは、図１２に示されるパースペクティブからの等角ビュー（３次元）を提供する視点等の固定点に設定されてもよい。このパースペクティブは、図示されるように器具２３１、２４１が「肘を外側に」曲げられた時（手術用器具２３１、２４１を使用して医療手技を行うための典型的な構成である）に、関節運動可能なカメラ２１１および関節運動可能な手術用器具２３１、２４１のはっきりした視界を外科医に提供する。その一方で、第３の手術用器具、（例えば、図６に示される経路３５１に挿入される）が使用されている時には、第３の手術用器具が関節運動可能なカメラ２１１の下にあり、図１２に示されるパースペクティブではそれによって遮られる可能性があるため、図１３のパースペクティブからの側面ビューがさらに有用である可能性がある。

常に固定点に視点を設定するのではなく、視点は、その時に動作可能な制御モード（すなわち、図２を参照して記載されるモードのうちの１つ）に依存して自動的に変更されてもよい。一実施例として、図１８は、医療用ロボットシステム１００において現在動作可能な制御モードに依存して、補助的視認モードを自動的に変更するための方法を示す。具体的には、この方法を使用して、１８０１で医療用ロボットシステム１００が器具追従モードにあると判定された場合は、１８０２で第１の補助的視認モードが実行され、１８０３で医療用ロボットシステム１００が進入ガイド配置モードにあると判定された場合は、１８０４で第２の補助的視認モードが実行され、１８０５で医療用ロボットシステム１００がカメラ配置モードにあると判定された場合は、１８０６で第３の補助的視認モードが実行される。各制御モードの視認モードは、そのモードの最中に作業を行う上で外科医にとって最も役立つように選択される。例えば、器具追従モードおよびカメラ配置モードでは、その時に手術用器具２３１、２４１、およびカメラ２１１のいずれかまたは両方が動かされるため、図１２および１３に示されるような進入ガイド２００の遠位端の外に延在する関節運動可能なカメラ２１１および関節運動可能な手術用器具２３１、２４１の補助的ビューは、カメラ２１１の視界外にあるリンク間の衝突を回避するために有用である。一方、進入ガイド配置モードでは、関節運動可能なカメラ２１１および関節運動可能な手術用器具２３１、２４１が進入ガイド２００に対する適所で固定されるため、図１６および１７に示されるような他の物に関する情報を提供する補助的ビューが有用である可能性がある。

代替として、医療手技を実行する際に視点を変更するための、操作者が選択可能な手段が設けられてもよい。例えば、視認モードを選択するため、ならびに／または、関節運動可能なカメラ２１１および／もしくは関節運動可能な手術用器具２３１、２４１が進入ガイド２００の遠位端の外に延在するにつれて、それらの補助的ビューの視点を変更するために、ＧＵＩ１７０または音声認識システム１６０が外科医に対話手段を提供するように適合されてもよい。また、入力デバイス１０８、１０９上のボタンまたはフットペダル１０５が、外科医が視認モードを選択するために使用されてもよい。助手（複数可）が視認モードを選択するために、表示画面１４０’と関連付けられたＧＵＩとともに入力デバイス１８０が使用されてもよい。このように、外科医および助手（複数可）がその時に見る視認モードは、彼らのその時の特定のタスクのために最適化され得る。そのような操作者が選択可能な視認モードおよび視認角度の実施例を図１２〜１７に示す。

９０５において、本方法は、コンピュータモデルをレンダリングする。この場合のレンダリングとは、機器２１１、２３１、２４１、および進入ガイド２００の遠位端の既知の構造特性等の３次元の性質をモデルに加えること、立体モデルを作成するために任意のギャップを埋めること、および自然の色彩および形状を提供することを含む。また、レンダリングは、同定目的のために機器（あるいは、継手もしくはリンクまたはその一部）が目立つように、機器２１１、２３１、２４１のうちの１つ以上（あるいは、それらの継手もしくはリンクまたはその一部のうちの１つ以上）の色彩または明度を変更することを含むことができる。

代替として、機器２１１、２３１、２４１のうちの１つ以上（あるいは、それらの継手もしくはリンクまたはその一部）の色彩、明度、またはブリンク頻度（例えば、点滅）を変更することは、機器（あるいは、継手もしくはリンクまたはその一部）が、その可動域の限界に近づいている、または機器のうちの別の１つに接近し過ぎている、もしくは衝突していること等の、望ましくない事象または状態に近付いていると警告する役割を果たすことができる。警告として色彩が使用される場合、回避されるべきある事象（例えば、可動域の限界および衝突）の警告閾値に近くなると、色は、第１の色（例えば、緑色）から第２の色（例えば、黄色）に変化することができ、回避されるべき事象に至ると、第２の色から第３の色（例えば、赤色）に変化することができる。警告として明度が使用される場合は、機器（またはその一部）が回避されるべき事象までの警告閾値を超えて移動すると色の明度が変化し、その事象に至ると最大明度がもたらされる。警告として色のブリンクが使用される場合は、機器（またはその一部）が回避されるべき事象までの警告閾値を超えて移動するとブリンクの頻度が変化し、その事象に至ると最大頻度がもたらされる。警告閾値は、機器（または、その継手等のその一部）の可動域に基づいてもよいか、または機器（もしくはその一部）と衝突する可能性のある別の機器（もしくはその一部）との間の距離に基づいてもよい。また、機器が動く速度も、警告閾値を決定する上での要因となり得る。警告閾値は、例えば、ＧＵＩ１７０を使用して操作者によってプログラムされてもよいか、または機器が動く速度等の他の要因を考慮するプロセッサ１０２内にプログラムされたアルゴリズムによって自動的に決定されてもよい。

代替として、機器２１１、２３１、２４１のうちの１つ以上（または、それらの継手、リンクもしくはその一部）の色彩、明度、またはブリンク頻度（例えば、点滅）の変更は、機器（あるいは、継手もしくはリンクまたはその一部）が医療手技を行うためまたは視認するために最適な位置または構成等の望ましい事象または状態に近付いていることをアラートする役割を果たすこともできる。この場合、アラート閾値は、機器２１１、２３１、２４１のうちの１つ以上（または、それらの継手、リンクもしくはその一部）の色彩、明度、および／またはブリンクが、警告閾値および望ましくない事象または状態に関して前述したのと同様の様式で変更することができるように定義されてもよいが、但し、この場合、変化は、アラート閾値に到達した時に開始し、望ましい事象もしくは状態に達した時または別様にそれに達成した時に、最大値に達するかまたは別様に終了する。またアラート閾値は、操作者によってプログラムされてもよいか、または警告閾値と概念的に同様の様式で、プログラムされたアルゴリズムによって自動的に決定されてもよい。

同定、警告、またはアラート目的のための機器のそのような強調の一実施例として、図１５は、ウィンドウ１５０２内にカメラ２１１および手術用器具２３１、２４１の補助的ビューを示しており、カメラ２１１が強調されている。同定、警告、またはアラート目的のための機器の継手のそのような強調の一実施例として、図１２は、強調された手術用器具２３１、２４１の継手を示す。警告目的のための機器の強調部分の一実施例として、図１４は、手術用器具２４１の部分１４０２およびカメラ２１１の部分１４０３を示しており、これらの部分が衝突寸前の危険な状態であることを示すために強調されている。

またレンダリングは、補助画像の視点がカメラ２１１と同じかまたはそのすぐ後ろである場合に、カメラ２１１によって撮影された画像を補助的ビューの上にオーバーレイすることを含んでもよい。一実施例として、図１７は、カメラ２１１の視点（またはそのすぐ後ろ）から生成された手術用器具２３１、２４１の補助的ビューに対するオーバーレイとしてレンダリングされた、カメラ２１１の撮影された画像１７００を示す。この実施例では、補助表示画面１４０（および／または補助表示画面１４０’）上に表示されている手術用器具２３１、２４１の補助的ビューは、オーバーレイしている撮影された画像１７００内の部分（例えば、１７３１、１７４１）およびオーバーレイしている撮影された画像１７００外の部分（例えば、１７３２、１７４２）を含む。したがって、撮影された画像１７００外の手術用器具２３１、２４１の部分は、カメラ２１１の視界外にあるそれらのそれぞれのリンクまたは関節運動可能なアームについての追加情報を外科医に提供する。また、撮影された画像１７００外の機器の部分（例えば、１７３２、１７４２）を強調することは、同定目的のために、または上記のような警告またはアラート条件を示すために行われてもよい。また、撮影された画像１７００を補助的ビューの上にオーバーレイすることは、この場合、通常であれば補助的ビュー内に入らない、手術用器具２３１、２４１の前にある解剖学的構造３６０を示すという利点も有する。この実施例は、補助表示画面１４０上の補助的ビューにオーバーレイしている撮影された画像１７００を示しているが、別のレンダリングスキームにおいては、補助的ビューは、モニタ１０４上に表示されている撮影された画像をオーバーレイすることができる。

撮影された画像をオーバーレイするのではなく、レンダリングはまた、撮影された画像（すなわち、図１７における機器２３１、２４１の破線部分）において適切なアラインメントで表示されず、モザイク状の撮影された画像に隣接する機器２３１、２４１の部分のみを表示することによって、カメラ２１１によって撮影された画像を拡大するために補助的ビューを使用することを含むことができる。

撮影された画像を補助的ビューにオーバーレイすること、もしくは補助的ビューを用いて撮影された画像を拡大することに加えて、またはその代わりに、レンダリングは、補助的ビュー内の他の有用な情報を提供することも含むことができる。一実施例として、図１６は、関節運動可能なカメラ２１１の補助的側面ビューを示し、錐台１６０１が、カメラ先端部３１１から放射し、それとともに移動するよう、補助的ディスプレイ１４０上に表示されるように補助的ビュー上にレンダリングされる。錐台１６０１は、先端を切り取った円錐として図示されているが、モニタ１０４上に表示される撮影された画像に応じて先端を切り取ったピラミッドとして見える可能性もあることに留意されたい。錐台１６０１の側面はカメラ２１１の視認範囲を示し、錐台１６０１の基部１６０２は、カメラ２１１によって撮影された画像１６５０を表示する。簡略化の目的のために、通常は補助的ビューにある手術用器具２３１、２４１がこの実施例から削除されていることに留意されたい。別の実施例として、図１４は、手術用器具２４１の強調された部分１４０２、１４０３およびカメラ２１１が衝突寸前の危険な状態であることを操作者に示すように、加熱閾値に到達するとレンダリングプロセスの一環として本方法によって表示される、半透明の球体またはバブル１４０１（好ましくは赤く着色されている）を示す。この場合、強調された部分１４０２、１４０３は、球体内で中心にあることが好ましい。さらに別の実施例として、図１４はまた、医療手技を行うために手術用器具２３１、２４１のエンドエフェクタが使用される際にそれらを視認するためのカメラ先端部３１１の最適な位置を示唆するマーカーまたは他のインジケータ１４１０も示す。最適な位置は、例えば、エンドエフェクタの先端部が撮影された画像の中心から等距離にある場所を探すことによって決定されてもよい。

９０６において、本方法は、選択された視点のパースペクティブから、レンダリングされたコンピュータモデル（すなわち、補助的ビュー）を１つ以上の表示された画面（例えば、１４０および１４０’）上に表示させる。図１２〜１４および１６〜１７に示されるように、補助的ビューは補助表示画面１４０上に表示される。図１４に示されるように、１つより多くの補助的ビューが一度に表示されてもよい（例えば、上部および側部のパースペクティブが、それぞれウィンドウ１４２１および１４２２内に同時に提供されてもよい）。図１５に示されるように、補助的ビューはまた、別のウィンドウ１５０１内に表示されている関節運動可能なカメラ２１１によって撮影された画像に隣接する、ウィンドウ１５０２内の一次モニタ１０４上に表示されてもよい。この例において、ウィンドウ１５０１および１５０２は同じサイズであるように見えるが、補助的ビューウィンドウ１５０２の位置およびサイズは異なっていてもよく、なお本発明の範囲内であることを理解されたい。また、前述したように、補助的ビューは、その独自の別個のウィンドウ１５０２の代わりに、ウィンドウ１５０１内の撮影された画像にオーバーレイされてもよい。そのような場合は、医療手技を実行する際に撮影された画像を見難くしないように、オーバーレイされた補助的ビューは、外科医によってオンとオフが切り替えられてもよい。この場合のオンとオフの切替とは、入力デバイス１０８、１０９のうちの一方のボタンを押下することによって、またはフットペダル１０５を押下することによって実行されてもよい。代替として、切替は、音声認識システム１６０を使用した音声起動によって、または外科医のＧＵＩ１７０との対話を通して、または任意の他の会話機能を持つ切替手段を使用して実行されてもよい。

９０６の終了後、本方法は、次いで９０１にループバックし、コントローラ１０２の次の処理サイクルの間に９０１〜９０６を繰り返す。

外科医が、患者の作業部位で行われているまたは行われようとしている医療手技を視認するために、より有利な位置および／または方向にカメラ先端部３１１を再度配置したいと希望する場合には、入力デバイス１０８、１０９のうちの一方または両方をカメラマニピュレータ２１２と一時的に関連付けることによって、それ／それらを使用して行うことができる。外科医がそのような再度配置を行うことができる１つの様式は、図１５のウィンドウ１５０１に表示された画像等の、カメラ先端部３１１内の立体カメラによって撮影された３Ｄモニタ１０４上の画像を視認し、撮影された画像を使用して、入力デバイスの操作を誘導することである。カメラの動き（すなわち、撮影された画像に対するカメラ先端部３１１の動作に応じた入力デバイス１０８の動作）を制御するために、外科医がカメラ２１１によって撮影された画像を参照として使用するため、この種類のカメラ制御は、「画像参照制御」と称される。画像参照制御は、外科医がカメラ先端部３１１の位置および／または方向を微調整する際には有用であり得るが、より大規模な動きについては、カメラ２１１の視界外での機器リンク間の不測の衝突の結果として問題が生じる可能性がある。この後者の場合は、「機器参照制御」がより望ましい可能性があり、図１５のウィンドウ１５０２に示すような、進入ガイド２００の遠位端の外に延在するカメラ２１１および器具２３１、２４１の補助的画像が、外科医の入力デバイスの操作（すなわち、補助的画像に対するカメラ先端部３１１の動作に応じた入力デバイス１０８の動作）を誘導する上で好ましい可能性がある。

図１９は、「機器参照制御」の一実施例として、操作者が表示画面１４０またはコンソールモニタ１０４のいずれかでカメラ２１１のコンピュータ生成された補助的ビューを視認しながら、操作者による入力デバイス１０８の操作に応じて、関節運動可能なカメラ機器２１１の先端部３１１を（カメラ配置モードにおいて）配置および配向するための、医療用ロボットシステム１００において実装される方法のフロー図を示す。カメラ２１１を配置および配向するために、自転車の「ハンドル」のような制御部である両方の入力デバイス１０８、１０９が使用されてもよいが、本実施例は、他方の入力デバイス１０９が、依然としてその器具２３１と関連付けられ、制御できるように、一方の入力デバイス１０８（本明細書において「マスター」または「マスターマニピュレータ」とも称される）のみが使用されることを想定している。

１９０１では、医療用ロボットシステムがカメラ配置モードにあるかどうかの判定が行われる。図２を参照して前述したように、これは、スイッチ２５８の状態を確認することによって、左の入力デバイス１０８について判定されてもよい。スイッチ２５８が「Ｃ２」の位置にある場合は、入力デバイス１０８はカメラ配置モードにある。そうでない場合は、入力デバイス１０８は、カメラ配置モードにはない。

１９０１における判定が「いいえ」である場合、本方法は、（例えば、各処理サイクルで、またはプログラム可能な複数の処理サイクルで）定期的にループバックして、スイッチ２５８の現在の状態を確認する。一方、１９０１における判定が「はい」である場合、本方法は、１９０７において入力デバイス１０８によるカメラ先端部３１１の配置および配向の制御を可能にする前に、予備タスク１９０２〜１９０６を実行する。

１９０２では、入力デバイス１０８と関連付けられた他の医療デバイス２４１、２００が軽度に係止され、そのため、それらのコントローラ２４２、２０２によって、それらの現在の静止状態に留まるように指令される。

１９０３において、本方法は、制御目的に使用される基準座標系（「制御基準座標系」）を算出する。この基準座標系は、マスター１０８のデカルト運動とカメラ先端部３１１のデカルト運動との間でマッピングを行うために必要である。基準座標系は、算出を容易にするために、カメラ配置モードの間は空間に固定されるのが好ましい。このように、カメラ配置モードではカメラ先端部３１１が動いているため、例えその状態が判定可能であったとしても、その体勢が外科医によってはっきりと知覚されないため、器具追従モード等においてカメラ先端部３１１によって確定された基準座標系は、カメラ配置モードにおいては望ましくない。したがって、外科医は、マスター１０８を使用して患者の解剖学的形態に対してカメラ先端部３１１を所望の場所に配置することをより困難であると感じる可能性がある。

使用されてもよい１つの可能な基準座標系として、図２０は、リンク３２１、３２４、３２６が一直線上にあり、それらの挿入位置が完全に抜去した位置である（すなわち、カメラ先端部３１１が、進入ガイド２００の経路３２１のすぐ内側にある）ように継手３２３、３２５、３２７が回転される位置および方向に相等する、いわゆる「ゼロ位置」の基準座標系２００２を示す。この位置では、カメラ先端部で確定される基準座標系（すなわち、カメラ基準座標系２０１０）は、「ゼロ位置」の基準座標系２００２と一致する。この座標系は、進入ガイド２００に整合された特性を有し、カメラ先端部３１１の作業空間に対して中心にある。したがって、その可動域限界（入力デバイス１０８上の触角フィードバックを介して操作者によって感知される）は、カメラ先端部３１１の中心位置を見出すために使用することができ、操作者は、自分の腕／手の動作に応じてカメラ機器２１１がどのように動くかを容易に理解することができる。換言すると、ユーザの腕／手とカメラ先端部３１１との間の運動感覚マッピングは、コンソール１０４および／または補助的ディスプレイ１４０で外科医によって見られるカメラの動作と補助的ビューとの間の視覚的マッピングと整合される。

使用されてもよい別の可能な基準座標系として、図２１は、補助ディスプレイ１４０（図１２に示されるような）および／またはモニタ１０４（図１５のウィンドウ１５０２に示されるような）上に表示される補助的ビューの視点に相等する、「等角補助的ビュー」の基準座標系２１０２を示す。この場合の視点は、仮想カメラ２１０３のパースペクティブから見たビューと考えられてもよく、カメラ配置モードの間、その位置および方向は空間に固定されるのが好ましい。基準座標系２１０２は、仮想カメラ２１０３の先端部（すなわち、視認端部）で画定され、その中を通ってカメラ機器２１１が延在する進入ガイド２００の経路３２１の中央長手軸２１０１上の焦点２１０４（仮想カメラ２１０３の）に対してアジマス角αを有するように、その位置および方向が算出される。具体的には、カメラ配置モードの間に、仮想カメラ２１０３が、補助的ビューの等角レンダリングにおいて十分な奥行き知覚を提供するわずかな仰角を有し、その視界２１０６がカメラ機器２１１および手術用器具２３１のリンクを含むように、長手軸２１０１に沿った焦点２１０４の場所およびアジマス角αのサイズが選択される。ユーザスタディは、およそ２５度の角度αが、この目的のために特に望ましいことを示している。また「ゼロ位置」の基準座標系の対称特性は、「補助的ビュー」の基準座標系においても適用可能であり、操作者が等角ビューを使用してカメラ先端部３１１の位置および方向を駆動することができ、その座標系において完全に一貫した触覚フィードバックを有するという潜在的利点を有する。

１９０４において、入力デバイス１０８の手で把持可能な部分の方向（本明細書において「マスター方向」と称される）は、表示画面１４０および／または３Ｄモニタ１０４上に表示されているカメラ先端部３１１の補助的ビューに対するマスター方向が、カメラ制御のために１９０３において算出された基準座標系に対するカメラ先端３１１の現在の方向と同じになるように整列させられる。代替として、最初の方向に対するマスター角運動を使用してカメラ先端部３１１の動きを指令するように、例えば、現在のマスター方向と現在のカメラ方向との間のオフセットを算出して考慮することによって、この方向の整列は回避され得る。

１９０５では、並進運動オフセットをキャンセルするために、入力デバイス１０８の手で把持可能な部分の現在位置がカメラ先端部３１１の現在位置にマッピングされ、１９０６では、入力デバイス１０８とカメラ２１１の作業空間との間にユーザが選択可能なスケーリングファクタが設定される。

１９０７では、入力デバイス１０８が、今度はカメラコントローラ（ＣＴＲＬＣ）２１３およびマニピュレータ（ＥＣＭ）２１２を介して関節運動可能なカメラ機器２１１の配置および配向を制御するように、カメラコントローラ（ＣＴＲＬＣ）２１３が有効にされ、１９０８では、カメラ先端部３１１が所望の位置および／または方向に移動される。制御基準座標系を使用するカメラコントローラ２１３についての記載は、図２２を参照して後に提供される。

一旦、カメラ先端部３１１が所望のように配置されるおよび／または配向されると、次いで、本方法は、１９１１において入力デバイス１０８による器具２４１の制御を可能にする前に、予備タスク１９０９〜１９１０を実行する。具体的には、１９０９では、カメラコントローラ２１３によって、その現在の静止状態（すなわち、所望の位置および方向）に留まるよう指令されるように、カメラ２１１が軽度に係止され、１９１０では、マスター方向が器具２４１の方向と整列される。

図２２は、一実施例として、外科医による入力デバイス１０８（本明細書において「マスターマニピュレータ」または「マスター」とも称される）の動きによって指令されると、カメラマニピュレータ（ＥＣＭ）２１２（本明細書において「スレーブマニピュレータ」または「スレーブ」とも称される）の動きを制御し、その結果、カメラ機器２１１の先端３１１の位置および方向を制御するための、カメラコントローラ（ＣＴＲＬＣ）２１３のブロック図を示す。

入力デバイス１０８は、複数自由度の動きを容易にするために、継手によって接続された多数のリンクを含む。例えば、外科医が入力デバイス１０８をある位置から別の位置へと動かすと、入力デバイス１０８の継手と関連付けられたセンサがそのような動きをサンプリング間隔で感知し（コントローラ１０２およびカメラを制御する目的の処理スピードに適切である）、継手空間においてサンプリングされたそのような動きを示すデジタル情報を入力処理ブロック２２１０に提供する。

入力処理ブロック２２１０は、継手位置情報からの継手速度を算出し、周知の変換技術を使用してヤコビ行列と目に関連する情報を使用して変換を実施することにより、外科医の目の位置と関連付けられた基準座標系（「目参照座標系」）に対するそのデカルト空間において、入力デバイス１０８の継手センサから受信された情報を処理し、その情報をカメラ先端３１１の対応する所望の位置および速度に情報を変換する。

スケールおよびオフセット処理ブロック２２０１は、入力処理ブロック２２１０から処理された情報２２１１を受信し、スケールおよびオフセット調節をその情報に適用し、それによって、カメラ先端部３１１の得られる動きと、その結果としての、モニタ１０４および／または補助ディスプレイ１４０上でその時に外科医によって視認されているそのコンピュータ生成された補助的ビューとが、自然に、かつ、外科医によって予想される通りに見えるようになる。カメラ先端部３１１が作業部位を視認した時に、そのより正確な動きを可能にするために、入力デバイス１０８の大規模な動きと比較してカメラ先端部３１１の細かい動きが所望される場合に、スケール調節が有用である。モニタ１０４および／または補助ディスプレイ１４０上にその時に表示されている補助的ビューを介してカメラ先端部３１１の動きを指令するために外科医が入力デバイス１０８を操作する際に、外科医の目に対して入力デバイス１０８を整列させるために、オフセット調節が適用される。

シミュレートされたカメラブロック２２０４は、スケールおよびオフセット処理ブロック２２０１の出力２２２１を受信し、その逆運動学を使用して、カメラ先端部３１１の指令された位置および速度を、目の基準座標系のデカルト空間からカメラマニピュレータ２１２の継手空間に変換する一方で、患者の組織または他の部分との有害な接触を回避する等、物理的限界または他の制約を回避するために、その動作において特異点を回避し、指令された継手の位置および速度を制限する。そのような変換を行うために、目の座標系と制御基準座標系との間でマッピングが行われ（基準座標系算出ブロック２２５０によって提供される）、マスター１０８の先端の手で把持可能な部分とカメラ先端部３１１との間で別のマッピングが行われる。スケールおよびオフセットブロック２２０１においてオフセットは相殺されるが、これらのマッピングは配向を保存することに留意されたい。マッピングは、制御基準座標系に対するマスターおよびカメラ先端の位置および方向を表すため、一旦、マッピングが確立されると、逆運動学ブロックおよび順運動学ブロック２２０４、２２０６は、この情報を使用してそれらの計算を実行する。

次いで、シミュレートされたカメラブロック２２０４の出力２２２４が、継手コントローラブロック２２０５および順運動学ブロック２２０６に提供される。継手コントローラブロック２２０５は、カメラ機器２１１（図８を参照して示され、記載される並進運動および配向アセンブリ等）のそれぞれの制御された継手（または「せぎり継手」等の動作可能に連結された継手）のための継手制御システムを含む。シミュレートされたカメラブロック２２０４の出力２２２４は、カメラ機器２１１の各継手に指令値を提供する。フィードバック制御の目的のために、カメラ機器２１１の制御された継手の各々と関連付けられたセンサは、カメラ機器２１１の各継手の現在の位置および／または速度を示唆するセンサデータ２２３２を継手コントローラブロック２２０５に提供し返す。センサは、この継手情報を直接的（例えば、カメラ機器２１１上の継手から）または間接的（例えば、継手を駆動するカメラマニピュレータ２１２内のアクチュエータから）のいずれかで感知することができる。次いで、継手コントローラ２２０５内の各継手制御システムは、従来のフィードバック制御システムの様式で、指令値と感知された継手の値との間の差をゼロにするために、カメラマニピュレータ２１２内のそのそれぞれのアクチュエータに対するトルク指令を生成する。

順運動学ブロック２２０６は、制御基準座標系（基準座標系算出ブロック２２５０によって提供される）に対するカメラ機器２１１の順運動学を使用して、シミュレートされたカメラブロック２２０４の出力２２２４を継手空間から目の基準座標系に対するデカルト空間に変換する。スケールおよびオフセットブロック２２０１は、出力２２１１と入力２２１２との間でエラー値が算出される入力処理ブロック２２１０に出力２２１２を送る前に、順運動学ブロック２２０６の出力２２４２に対してスケールおよびオフセットの逆関数を実行する。シミュレートされたカメラブロック２２０４への入力２２２１に対して制限または他の制約が課せられていない場合は、算出されるエラー値はゼロになるであろう。一方で、制限または他の制約が課せられている場合は、エラー値はゼロにならず、外科医の手によって感じられる力フィードバックを提供するために、入力デバイス１０８においてアクチュエータを駆動するトルク指令に変換される。したがって、外科医は、自分がその方向に入力デバイス１０８を動かすのに抵抗する力を感じることよって、制限または制約が課せられていることに気付く。この力フィードバックに加えて、他のセンサまたはアルゴリズムからの力（例えば、衝突を防止するための手術用器具の作業量を回避するための力／圧力センサまたはアルゴリズム）が、力フィードバックに重ねられてもよい。

また、順運動学ブロック２２０６の出力２２４１が、制御目的のためにシミュレートされたカメラブロック２２０４に提供されてもよい。例えば、シミュレートされた位置の出力は、フィードバックされて、指令位置と比較されてもよい。

これまで、好ましい実施形態に関して本発明の種々の態様を記載してきたが、本発明は、添付の特許請求の範囲の完全な範囲内における完全な保護に対する権利を有することを理解されたい。

Claims (18)

1. 医療用ロボットシステムの作動方法であって、該方法は、
   該医療用ロボットシステムのコントローラによって実行され、そして、以下：
   関節運動可能なカメラ機器（２１１）の機械的要素（３２２−３２７）であって、該関節運動可能なカメラ機器（２１１）のカメラ先端部（３１１）を配置および配向するために用いられる機械的要素（３２２−３２７）の位置を決定することと、
   該機械的要素（３２２−３２７）の該決定された位置を使用して、該カメラ先端部（３１１）の位置および配向を決定することと、
   仮想カメラ（２１０３）のパースペクティブに対応する該関節運動可能なカメラ機器（２１１）のコンピュータモデルのビューを生成することであって、該仮想カメラ（２１０３）が、該カメラ先端部（３１１）が該仮想カメラ（２１０３）の視野内にあるように該関節運動可能なカメラ機器（２１１）とは異なって位置決めされ、かつ配向されるように構成されることと、
   入力デバイス（１０８、１０９）の操作に応じて該機械的要素（３２２−３２７）を動かすことによって該カメラ先端部（３１１）の該配置および配向を制御することであって、これにより、該入力デバイス（１０８、１０９）と関連付けられた基準座標系における該入力デバイス（１０８、１０９）の動きが、該仮想カメラ（２１０３）と関連付けられた基準座標系に対する該カメラ先端部（３１１）の対応するスケールされた動きをもたらし、その結果、該関節運動可能なカメラ機器（２１１）の該コンピュータモデルの該表示されたビューに対応する該表示画面（１４０、１０４）を視認しながら、該カメラ先端部（３１１）の該配置および配向が、該入力デバイス（１０８、１０９）を操作している操作者に直感的に見える、ことと
   を含む、作動方法。
2. 前記入力デバイス（１０８、１０９）の操作に応じて前記機械的要素（３２２−３２７）を動かすことによって前記カメラ先端部（３１１）の前記配置および配向を制御することの前に実施される以下の実施：
   前記表示画面（１４０、１０４）上に表示される生成された前記関節運動可能なカメラ機器（２１１）のコンピュータモデルのビューにおける前記カメラ先端部に対する前記入力デバイス（１０８、１０９）の現在の配向と、前記仮想カメラ（２１０３）と関連付けられた基準座標系に対する前記カメラ先端部（３１１）の現在の配向との間のオフセットを算出すること；
   並進運動オフセットをキャンセルするために、該入力デバイス（１０８、１０９）の現在の位置を、該カメラ先端部（３１１）の現在の位置にマッピングすること；および
   該入力デバイス（１０８、１０９）の作業空間と該カメラ先端部（３１１）との間にユーザが選択可能なスケーリングファクタを設定すること、をさらに包含する、請求項１に記載の作動方法。
3. 前記機械的要素（３２２−３２７）の前記位置の前記決定は、該機械的要素の該位置を感知するセンサによって、または該機械的要素を位置決めするために用いられるアクチュエータ（８０１−８０３、８１１−８１３）の作動を感知するエンコーダのいずれかによって提供される情報を使用して、該機械的要素（３２２−３２７）の該位置を決定することを含む、請求項１に記載の作動方法。
4. 前記機械的要素（３２２−３２７）の前記位置の前記決定は、
   該カメラ先端部（３１１）の状態情報を受信することと、
   受信された該状態情報を該関節運動可能なカメラ機器の逆運動学に適用することによって、該機械的要素（３２２−３２７）の該位置を算出することと
   を含む、請求項１に記載の作動方法。
5. 前記機械的要素はリンクおよび継手を含み、該機械的要素の前記決定された位置を使用する該カメラ先端部（３１１）の前記位置および配向の決定は、該機械的要素（３２２−３２７）の継手の該決定された位置を該関節運動可能なカメラ機器の順運動学に適用することによって、および該関節運動可能なカメラ機器の運動学モデルを使用することによって、前記仮想カメラのパースペクティブに対する該リンクの位置および配向を算出することを含む、請求項１に記載の作動方法。
6. 前記仮想カメラ（２１０３）の前記パースペクティブに対応する前記カメラの前記コンピュータモデルの前記ビューの前記生成は、
   該関節運動可能なカメラ機器（２１１）の３次元コンピュータモデルを生成することと、
   該コンピュータモデルを該仮想カメラ（２１０３）の該パースペクティブに変換することと
   を含む、請求項１に記載の作動方法。
7. 前記関節運動可能なカメラ機器（２１１）は、進入ガイド（２００）の外に延在し、前記仮想カメラ（２１０３）と関連付けられた前記基準座標系は、デカルト基準座標系として画定され、該進入ガイド（２００）の近位端と遠位端との間に延在する長手軸上の焦点に該基準座標系の１つの軸が向かうように配向され、該デカルト基準座標系は、該仮想カメラ（２１０３）の前記位置に始点を有する、請求項１に記載の作動方法。
8. 前記カメラ先端部（３１１）の前記位置および配向を制御することの前に、
   前記入力デバイス（１０８、１０９）と関連付けられた機器（２３１、２４１）の制御を関与解除して、該機器を適所に保持することと、
   該カメラ先端部（３１１）の配向に対して該入力デバイス（１０８、１０９）の配向を整列させることと、
   該入力デバイス（１０８、１０９）を用いて該カメラ先端部（３１１）の制御に関与することと
   をさらに含む、請求項１に記載の作動方法。
9. 前記関節運動可能なカメラ機器（２１１）の前記位置および配向を制御することの後に、
   前記入力デバイス（１０８、１０９）を用いる前記カメラ先端部（３１１）の制御を関与解除して、該カメラ先端部（３１１）を適所に保持することと、
   前記機器（２３１、２４１）の先端の配向に対して該入力デバイス（１０８、１０９）の前記配向を整列させることと、
   前記入力デバイス（１０８、１０９）を用いて該機器（２３１、２４１）の制御に関与することと
   をさらに含む、請求項８に記載の作動方法。
10. 関節運動可能なカメラ機器（２１１）であって、該関節運動可能なカメラ機器（２１１）の先端部（３１１）を配置および配向するために使用される機械的要素（３２２−３２７）を有する関節運動可能なカメラ機器と、表示画面（１４０、１０４）と、入力デバイス（１０８、１０９）とを有する医療用ロボットシステム（１００）であって、該医療用ロボットシステム（１００）は、
    該機械的要素（３２２−３２７）の位置を決定することと、該機械的要素（３２２−３２７）の該決定された位置を使用して該カメラ先端部（３１１）の位置および配向を決定することと、仮想カメラ（２１０３）のパースペクティブに対応する該関節運動可能なカメラ機器（２１１）のコンピュータモデルのビューを生成することと、該表示画面（１４０、１０４）に該ビューを表示することと、該入力デバイス（１０８，１０９）の操作に応じて該機械的要素（３２２―３２７）を動かすことによって、該カメラ先端部（３１１）の配置および配向を制御することであって、これにより、該入力デバイス（１０８、１０９）と関連付けられた基準座標系における該入力デバイス（１０８、１０９）の動きが、該仮想カメラ（２１０３）と関連付けられた基準座標系に対する該カメラ先端部（３１１）の対応するスケールされた動きをもたらし、その結果、該関節運動可能なカメラ機器（２１１）の該コンピュータモデルの該表示されたビューに対応する該表示画面（１４０，１０４）を視認しながら、該カメラ先端部（３１１）の該配置および配向が該入力デバイス（１０８、１０９）を操作している操作者に直感的に見えることとを実行するように構成されたコントローラ（１０２）を特徴とし、
    該仮想カメラ（２１０３）が、該カメラ先端部（３１１）が該仮想カメラ（２１０３）の視野内にあるように該関節運動可能なカメラ機器（２１１）とは異なって位置決めされ、かつ配向されるように構成されている、医療用ロボットシステム（１００）。
11. 請求項１０に記載の医療用ロボットシステム（１００）であって、
    前記コントローラが、前記入力デバイス（１０８、１０９）の操作に応じて前記機械的要素（３２２−３２７）を動かすことによって前記カメラ先端部（３１１）の前記配置および配向を制御することの前に実施される以下の実施：
    前記表示画面（１４０、１０４）上に表示される生成された前記関節運動可能なカメラ機器のコンピュータモデルのビューにおける前記カメラ先端部に対する前記入力デバイス（１０８、１０９）の現在の配向と、前記仮想カメラ（２１０３）と関連付けられた基準座標系に対する前記カメラ先端部（３１１）の現在の配向との間のオフセットを算出すること；
    並進運動オフセットをキャンセルするために、該入力デバイス（１０８、１０９）の現在の位置を、該カメラ先端部（３１１）の現在の位置にマッピングすること；および
    該入力デバイス（１０８、１０９）の作業空間と該カメラ先端部（３１１）との間にユーザが選択可能なスケーリングファクタを設定することを実施するように構成されている、医療用ロボットシステム（１００）。
12. 前記コントローラ（１０２）は、前記機械的要素の位置を感知するセンサまたは前記アクチュエータ（８０１−８０３、８１１−８１３）の作動を感知するエンコーダのいずれかによって提供される情報を使用することにより、前記機械的要素（３２２−３２７）の前記位置を決定するように構成される、請求項１０に記載の医療用ロボットシステム（１００）。
13. 前記コントローラ（１０２）は、該カメラ先端部（３１１）の状態情報を受信することと、受信した状態情報を該関節運動可能なカメラ機器の逆運動学に適用することによって、該機械的要素（３２２−３２７）の前記位置を算出することとによって、該機械的要素（３２２−３２７）の該位置を決定するように構成される、請求項１０に記載の医療用ロボットシステム（１００）。
14. 前記機械的要素はリンクおよび継手を含み、前記コントローラ（１０２）は、該機械的要素（３２２−３２７）の継手の前記決定された位置を該関節運動可能なカメラ機器の順運動学に適用することによって、および該関節運動可能なカメラ機器の運動学モデルを用いることによって前記仮想カメラのパースペクティブに対する該リンクの位置および配向を算出するように構成される、請求項１０に記載の医療用ロボットシステム（１００）。
15. 前記コントローラ（１０２）は、前記関節運動可能なカメラ機器（２１１）の３次元コンピュータモデルを生成し、該コンピュータモデルを前記仮想カメラ（２１０３）の前記パースペクティブに変換することによって、該仮想カメラ（２１０３）の該パースペクティブに対応する該関節運動可能なカメラ機器（２１１）の該コンピュータモデルの前記ビューを生成するように構成される、請求項１０に記載の医療用ロボットシステム（１００）。
16. 進入ガイド（２００）をさらに備え、前記関節運動可能なカメラ機器は、該進入ガイド（２００）から延在し、前記仮想カメラ（２１０３）と関連付けられた前記基準座標軸は、デカルト基準座標系として画定され、該進入ガイド（２００）の近位端と遠位端との間に延在する長手軸上の焦点に該基準座標系の１つの軸が向かうように配向され、該デカルト基準座標系は、該仮想カメラ（２１０３）の前記位置に始点を有する、請求項１０に記載の医療用ロボットシステム（１００）。
17. 前記コントローラ（１０２）は、
    前記カメラ先端部（３１１）の前記配置および配向を制御する前に、
    前記入力デバイス（１０８、１０９）と関連付けられた機器（２３１、２４１）の制御を関与解除して、該機器（２３１、２４１）を適所に保持することと、
    該カメラ先端部（３１１）の配向に対して該入力デバイス（１０８、１０９）の配向を整列させることと、
    該入力デバイス（１０８、１０９）を用いて該カメラ先端部（３１１）の制御に関与することと
    を実行するように構成される、請求項１０に記載の医療用ロボットシステム（１００）。
18. 前記コントローラ（１０２）は、前記カメラ先端部（３１１）の前記位置および配向を制御した後に、
    前記入力デバイス（１０８、１０９）を用いて前記カメラ先端部（３１１）の制御を関与解除して、該カメラ先端部（３１１）を適所に保持することと、
    前記機器（２３１、２４１）の先端の配向に対して該入力デバイス（１０８、１０９）の前記配向を整列させることと、
    該入力デバイス（１０８、１０９）を用いて該機器（２３１、２４１）の制御に関与することと
    を実行するように構成される、請求項１７に記載の医療用ロボットシステム（１００）。

Images