JP6134336B2 - 入力装置の操作者が視認可能なディスプレイ領域に器具が入ったときのその器具の制御権限の入力装置への切り換え - Google Patents

Description

この出願は、参照により本書に援用される（２０１２年２月１５日に出願された）米国仮出願第６１／５９９，２０８号に関する優先権を主張する。

本発明は概してロボットシステムに関し、特に、入力装置の操作者が視認可能なディスプレイ領域に器具が入るとすぐに器具の制御権限（control）を入力装置に切り換える方法に関する。

ロボットシステムでは、作業場所における対象物に処理を施すために、操作者によって複数の器具が遠隔ロボット的に制御される。カメラは、処置を施すためにそれら複数の器具がその対象物と相互に作用するときに、それら複数の器具のエンドエフェクタの画像を取得するために作業場所に提供される。そして、関連の入力装置を通じてそれら複数の器具を制御しながら、操作者がディスプレイスクリーン上でそれら複数の器具の動きを見ることができるようにする。

その処置を施す間、必要とされる機能を実行するために新たな器具をその作業場所に導入すること、既にそこにある器具を新たな器具で置き換えること、既にそこにある器具上のエンドエフェクタを新たなエンドエフェクタで置き換えること、何らかのアクセサリアイテムを器具に取り付け且つその器具を作業場所に挿入することによってその処置を施すための作業場所に何らかのアクセサリアイテムを導入すること、又は、アイテムを器具に取り付け、その器具を引き戻してそのアイテムをその器具から取り外し、且つ、その器具がもう一度その作業場所での使用のために利用可能となるようにその器具を再び作業場所まで挿入することによってその作業場所からアイテムを排除することが必要となり得る。

これらの適用のそれぞれにおいて、これらの作業の全部又は一部をアシスタントに制御してもらい、一方で、残りの器具を用いる処置の実行を主要な操作者が継続することは有利となり得る。一旦、新品の器具、又は、引き戻された器具若しくは再挿入された器具が作業場所で利用可能となると、作業場所での主要な操作者による使用のためにその器具が利用可能となるように、その制御権限は主要な操作者に移されてもよい。

しかしながら、新品の器具、又は、引き戻された器具及び再挿入された器具を作業場所に挿入することは、アシスタントにとって時間のかかる困難な仕事となり得る。また、器具の制御権限を主要な操作者に切り換える前にディスプレイスクリーンで主要な操作者がその新品の器具又は再挿入された器具を見られるように、アシスタントがその新品の器具又は再挿入された器具を現場カメラの視野内に持って行くことは困難となり得る。また、その新品の器具又は再挿入された器具の挿入深さをアシスタントが見誤り且つその遠位端を作業場所の過度に深いところに配置してしまうこともあり得、それは器具と作業場所にある対象物との意図しない接触をもたらし得る。そのような意図しないそしておそらくは有害な接触を避けるために、アシスタントは、その新品の器具又は再挿入された器具を作業場所まで極めてゆっくりと動かす可能性がある。

参照により本書に援用される米国特許第６，６４５，１９６号は、ツール交換作業の後に、当初のツールの作業場所からの撤去前のその当初のツールの作業位置に近いところまで、新品のツールを迅速且つ正確にガイドするための医療ロボットシステムで採用可能なガイド付きツール交換作業を説明する。

米国特許第６，６４５，１９６号明細書 米国特許第６，６５９，９３９号明細書 米国特許出願公開第２００８／００６５１０８号明細書 特許出願公開第２０１１／００４０３０５号明細書 米国特許第６，６７１，５８１号明細書 米国特許第６，７２０，９８８号明細書 米国特許出願公開第２００８／０００４６０３号明細書

しかしながら、処置の実施中、作業場所で対象物に処置を施している間に器具が動いたときに器具の作業端のより良い像（view）をカメラが得られるようにカメラ姿勢は変化し得る。そのような状況では、交換品を挿入すること、又は、元の器具を以前の位置に再挿入することは望ましくないこととなり得る。新品の器具にとって良好な位置ではないかもしれないためであり、さらには、カメラの現在の視野の外側になっているかもしれないためである。また、新品の器具を用いる処置の継続実施を過度に遅らせないようできるだけ早く主要な操作者がその新品の器具の制御権限を握ることができるようにすることは望ましいものとなり得る。

したがって、本発明の１又は複数の態様の１つの目的は、入力装置の操作者が視認可能なディスプレイ領域に器具が入るとその器具の制御権限を入力装置に切り換えるロボットシステム及びそのシステムで実行される方法である。

本発明の１又は複数の態様の別の目的は、器具又はツールの交換作業に適合するロボットシステム及びそのシステムで実行される方法である。

本発明の１又は複数の態様の別の目的は、器具が作業場所までガイドされている間にその作業場所での対象物に対する損傷を防止するロボットシステム及びそのシステムで実行される方法である。

本発明の１又は複数の態様の別の目的は、ディスプレイスクリーンにおける操作者が視認可能なディスプレイ領域に器具が進入することなくその器具の作業場所への挿入が最大挿入距離に達した場合にロボットシステムの操作者に警告するロボットシステム及びそのシステムで実行される方法である。

これらの及び追加の目的は本発明の様々な態様によって実現され、手短に言うと、一態様は、カメラと、器具と、入力装置と、カメラの視野の領域に器具が入ったと判定すると器具の制御権限を入力装置に切り換えるように構成されるプロセッサとを有するロボットシステムである。

別の態様は、器具の制御権限を入力装置に切り換えるためにロボットシステムで実行される方法であり、その方法は、カメラの視野の領域に器具が入ったと判定すると器具の制御権限を入力装置に切り換える工程を有する。

本発明の様々な態様の追加的な目的、特徴、及び利点は、その望ましい実施例に関する以下の説明から明らかとなるであろう。なお、その説明は、添付図面と共に考慮されるべきである。

本発明の複数の態様を利用するロボットシステムのブロック図を示す。

本発明の複数の態様を利用する、器具の制御権限を入力装置に切り換える方法のフロー図を示す。

本発明の複数の態様を利用する図２の方法で使用され得る、ディスプレイスクリーンの表示領域内に器具があるかを判定する方法のフロー図を示す。

カメラ基準座標系における１つの点の左右の像を示す。

コンピュータモニタの左側表示領域に表示されている最大限の左側カメラビューを示す。 コンピュータモニタの左側表示領域に表示されている部分的な左側カメラビューを示す。

本発明の複数の態様を利用する複数開口式医療ロボットシステムで実行されるガイド付きツール交換作業の様々な段階における作業場所での器具の概略図を示す。 本発明の複数の態様を利用する複数開口式医療ロボットシステムで実行されるガイド付きツール交換作業の様々な段階における作業場所での器具の概略図を示す。 本発明の複数の態様を利用する複数開口式医療ロボットシステムで実行されるガイド付きツール交換作業の様々な段階における作業場所での器具の概略図を示す。 本発明の複数の態様を利用する複数開口式医療ロボットシステムで実行されるガイド付きツール交換作業の様々な段階における作業場所での器具の概略図を示す。

本発明の複数の態様を利用する単一開口式医療ロボットシステムで実行されるガイド付きツール交換作業の種々の段階における作業場所での多関節器具の概略図を示す。 本発明の複数の態様を利用する単一開口式医療ロボットシステムで実行されるガイド付きツール交換作業の種々の段階における作業場所での多関節器具の概略図を示す。 本発明の複数の態様を利用する単一開口式医療ロボットシステムで実行されるガイド付きツール交換作業の種々の段階における作業場所での多関節器具の概略図を示す。

本発明の複数の態様を利用する複数開口式医療ロボットシステムを採用する手術室の上面図を示す。

本発明の複数の態様を利用する複数開口式医療ロボットシステムのための患者側カートの正面図を示す。

本発明の複数の態様を利用する複数開口式医療ロボットシステムで使用可能な器具の斜視図を示す。

本発明の複数の態様を利用する単一開口式医療ロボットシステムを採用する手術室の上面図を示す。

本発明の複数の態様を利用する単一開口式医療ロボットシステムにおいて進入ガイドの外に延びる多関節器具を伴う進入ガイドの遠位端の斜視図を示す。

本発明の複数の態様を利用する単一開口式医療ロボットシステムで有用な進入ガイドの断面図を示す。

本発明の複数の態様を利用する単一開口式医療ロボットシステムにおけるロボットアームアセンブリに結合されるプラットフォームに搭載される多関節器具アセンブリの斜視図を示す。

本発明の複数の態様を利用するロボットシステムで使用可能なコンソールの正面図を示す。

図１は、入力装置の操作者が視認可能な表示領域に（“ツール”とも呼ばれる）器具が入るとその器具の制御権限を入力装置に切り換えるロボットシステム１０００で実行される方法で用いられる様々な構成要素のブロック図を一例として示す。図２−８は、その方法を説明するフローチャート及び他のアイテムを示す。図９−１１は、作業場所に入るための複数の開口を用いる第１の典型的なロボットシステム２０００の詳細を示す。図１２−１５は、作業場所に入るための単一の開口を用いる第２の典型的なロボットシステム３０００の詳細を示す。図１６は、ロボットシステム２０００及び３０００の双方と共に使用され得る典型的な操作者用コンソールを示す。

図１−８に示すような発明の詳細を説明する前に、典型的なロボットシステム２０００及び３０００は、ロボットシステム１０００の典型的な実施に関する追加的な詳細及び背景を提供するために最初に説明される。本書では医療ロボットシステムがロボットシステム１０００の例として説明されるが、当然ながら、本書でクレームされるような発明の種々の態様がそのようなタイプのロボットシステムに限定されることはない。

図９を参照すると、患者（“Ｐ”）に医療処置を施すために複数開口式医療ロボットシステム２０００が医師（“Ｓ”）に採用されているある手術室の上面図が示される。この場合の医療ロボットシステムは、患者が手術台（“Ｏ”）に載っている間に１又は複数のアシスタント（“Ａ”）からの支援を受けて医師が低侵襲的な診断又は手術処置を患者に施しながら利用するコンソール（“Ｃ”）を含む低侵襲ロボット手術（ＭＩＲＳ）システムである。

そのコンソールは、図１６を参照してより詳細に説明されるように、バス１１０を介して患者側カート１５０とやりとりするプロセッサ４３を含む。複数のロボットアーム３４、３６、３８がカート１５０に含まれる。器具３３がロボットアーム３４に保持され且つ操作され、別の器具３５がロボットアーム３６に保持され且つ操作され、内視鏡３７がロボットアーム３８に保持され且つ操作される。医療ロボットシステム２０００は、複数開口式医療ロボットシステムとして参照される。それらの器具のそれぞれが患者におけるそれ自身の進入開口を通じて患者の体内に導入されるように複数の開口が用いられるためである。一例として、器具３５は、患者内に入るために開口１６６に挿入される。

医師は、コンソールにおける（“ディスプレイスクリーン”とも呼ばれる）ステレオビジョンディスプレイ４５で作業場所のリアルタイム画像を三次元（“３Ｄ”）で見ながら、入力装置４１、４２を操作することによって医療処置を施す。そして、プロセッサ４３が、ロボットアーム３４、３６のそれぞれに取り外し可能に取り付けられる器具３３、３５を、入力装置４１、４２のそれぞれに関連するロボットアーム３４、３６にそれ相応に操作させるようにする。（左右のステレオビューを取得するための左右のカメラを有する）立体視内視鏡３７は作業場所のステレオ画像を取得する。プロセッサ４３は、ステレオビジョンディスプレイ４５にステレオ画像が適切に表示されるようにステレオ画像を処理する。

ロボットアーム３４、３６、３８のそれぞれは、通常、リンク１６２等の複数のリンクで構成される。それら複数のリンクは、ジョイント１６３等の作動可能なジョイントに一緒に結合され且つそれらジョイントを通じて操作される。ロボットアームのそれぞれは、セットアップアーム及び器具マニピュレータを含む。セットアップアームは、それに保持される器具を位置付け、患者へのその進入開口のところに回転中心が来るようにする。そして、器具マニピュレータは、それに保持される器具がその回転中心の回りで回転させられ、進入開口に挿入され且つ進入開口の外に引き戻され、且つ、その軸中心線の回りで回転させられるようにその器具を操作してもよい。ロボットアーム３４、３６、３８は、患者側カート１５０を用いて手術室に運び込まれてよく、或いは、それらは、手術室の壁又は天井にあるスライダに取り付けられてもよい。

図１０は、典型的な患者側カート１５０の正面図を示す。図９に示すロボットアーム３４、３６、３８に加え、図１０は第４ロボットアーム３２を示す。第４ロボットアーム３２は、器具３３、３５及び内視鏡３７と共に別の器具３１が作業場所で導入されるように利用可能である。ロボットアーム３２、３４、３６、３８のそれぞれは、ロボットアーム又はそれに関する状態及び／又は他の情報を示すための発光ダイオード（“ＬＥＤ”）アレイ１０９１又は他の可視的表示器に適合されてもよい。また、ロボットアームが保持する器具をアシスタントが手作業で患者における対応する進入開口から引き戻し且つ／或いはその進入開口に挿入できるようにアシスタントがロボットアームの制御権限を握るといったような様々な目的のために、１若しくは複数のボタン１０９２又は他のタイプのスイッチ機構がロボットアーム上に或いはその近くに備えられてもよい。

図１１は、器具３３又は３５の何れかのために使用され得る典型的な器具１００を示す。器具１００は、インタフェース・ハウジング１０８、シャフト１０４、エンドエフェクタ１０２、及び、１又は複数の手首ジョイントを含む手首機構１０６を有する。インタフェース・ハウジング１０８は、取り付けられるロボットアームの器具マニピュレータにおける（モータ等の）アクチュエータに機械的に結合されるように、ロボットアームに取り外し可能に取り付けられる。器具マニピュレータにおけるアクチュエータに結合され且つシャフト１０４を通じてインタフェース・ハウジング１０８から手首機構１０６における１又は複数の手首ジョイントまで延び且つその器具のエンドエフェクタ１０２の顎部まで延びるケーブル又はロッドは、従来の方法でそれら手首ジョイント及び顎部を作動させる。また、器具マニピュレータは、プロセッサ４３の命令に応じ、進入開口におけるその回転中心の回りのピッチ角度回転及びヨー角度回転でその器具を操作してもよく、その器具の軸中心線の回りのロール角度回転でその器具を操作してもよく、また、ロボットアーム上のレールに沿ってその器具を挿入し或いは引き戻してもよい。

一度に用いられる手術ツールの数、ひいては、システム２０００で使用されるロボットアームの数は、概して、数ある要因の中でも特に、診断又は手術の処置、及び、手術室内のスペースの制約に依存する。ある処置中に使用されている１又は複数のツールを取り換える必要がある場合、医師は、もはや使用されていない器具をそのロボットアームから取り外し、そして、手術室にあるトレイ（“Ｔ”）からの別の器具１３１に取り換えるようにアシスタントに指示する。取り換え対象の器具をアシスタントが特定するのを支援するために、その器具を保持するロボットアームの上にあるＬＥＤカラーアレイにおける１又は複数のＬＥＤを点灯させてもよい。同様に、交換品である器具１３１をアシスタントが特定するのを支援するために、その交換品である器具に隣接するＬＥＤが活性化されてもよい。或いは、アシスタントが視認可能なローカルディスプレイスクリーンに情報を提供する、或いは、音声通信システムを通じた医師からのアシスタントに対する音声命令によるとった、そのような情報を伝えるための他のよく知られた手段が用いられてもよい。器具（及びそのマニピュレータ）の制御権限を医師からアシスタントに移すために、医師がその器具に関連する入力装置上にある或いはその入力装置に隣接するボタン（図１６に見られるような入力装置４２に隣接するボタン４９等）を活性化させてもよく、或いは、アシスタントがその器具を保持するロボットアーム上にある機構１０９２のようなボタンを活性化させてもよい。アシスタントが器具の制御権限を得た後、アシスタントは、そのロボットアームの上にあるレールに沿って手作業でその器具を後方にスライドさせることでその器具を患者の外に引き戻してもよく、或いは、そのレールに沿って手作業でその器具を前方にスライドさせることでその器具を患者内に挿入してもよい。

参照により本書に援用される“Cooperative Minimally Invasive Telesurgical System”というタイトルの米国特許第６，６５９，９３９号は、本書に記載されるような複数開口式医療ロボットシステムに関する追加的な詳細を提供する。

ロボットシステム１０００の第２例として、図１２は、患者（“Ｐ”）に医療処置を施すために単一開口式医療ロボットシステム３０００が医師（“Ｓ”）によって採用されている手術室の上面図を示す。この場合の医療ロボットシステムは、患者が手術台（“Ｏ”）に載っている間に１又は複数のアシスタント（“Ａ”）からの支援を受けて医師が低侵襲的な診断又は手術処置を患者に施しながら利用するコンソール（“Ｃ”）を含む低侵襲ロボット手術（ＭＩＲＳ）システムである。

単一開口式医療ロボットシステム３０００では、進入ガイド（ＥＧ）２００によって患者の単一進入開口１１０１を通じて複数の多関節器具が作業場所に導入される。開口１１０１は、低侵襲的な切開であってもよく、或いは、自然の身体開口部であってもよい。進入ガイド２００は、ロボットアーム２５１４によって保持され且つ操作される円筒構造である。ロボットアーム２５１４は、セットアップアーム及び進入ガイドマニピュレータを含む。セットアップアームは、回転中心が開口１１０１のところに来るように開口１１０１のところで進入ガイド２００を位置付けるために用いられる。そして、進入ガイドマニピュレータは、ロボット制御で開口１１０１内に進入ガイド２００を挿入し、或いは、開口１１０１の外に進入ガイド２００を引き戻すために用いられる。また、進入ガイドマニピュレータは、ロボット制御によりその回転中心回りのピッチ角度回転及びヨー角度回転で進入ガイド２００（及びそのときに進入ガイド内に配置される多関節器具）を旋回させるために用いられてもよい。また、進入ガイドマニピュレータは、進入ガイド２００の長手軸回りのロール方向に進入ガイド２００（及びそのときに進入ガイド内に配置される多関節器具）を回転させてもよい。ロボットアーム２５１４の遠位端に取り付けられるのはプラットフォーム２５１２であり、その上には器具アセンブリ２５１６が取り付けられる。そして、それらの個々の器具が進入ガイド２００を通じて延びるようにする。各器具アセンブリは、多関節器具及びその器具マニピュレータを有する。

図１３に示すように、進入ガイド２００は、その遠位端から出て延びる多関節手術ツール器具２３１、２４１及び多関節ステレオカメラ器具２１１（又は他の画像取得装置器具）といった複数の多関節器具を有する。カメラ器具２１１は、一対のステレオ画像取得装置３１１、３１２とその先端に収容される（その近位端のところで光源に結合される）光ファイバケーブル３１３とを有する。手術ツール２３１、２４１は、エンドエフェクタ３３１、３４１を有する。２つのツール２３１、２４１のみが示されているが、進入ガイド２００は、患者内の作業場所で医療処置を施すために必要な追加的なツールをガイドしてもよい。例えば、図１４における進入ガイド２００の断面図で示すように、通路３５１は、進入ガイド２００を通じて別の多関節手術ツールを延ばし、その遠位端を通じて外に出すのに利用可能である。通路４３１、４４１はそれぞれ多関節手術ツール器具２３１、２４１によって用いられ、また、通路３２１は多関節カメラ器具２１１のために用いられる。

多関節器具のそれぞれは、複数の作動可能なジョイントとそれらジョイントに結合される複数のリンクとを有する。一例として図１３に示されるように、第２多関節器具２４１は、第１リンク３２２、第２リンク３２４、及び第３リンク３２６と、第１ジョイント３２３及び第２ジョイント３２５と、手首アセンブリ３２７とを有する。第１ジョイント３２３は、第１リンク３２２と第２リンク３２４とを結合し、第２ジョイント３２５は、第２リンク３２４と第３リンク３２６とを結合する。そして、第１リンク３２２と第３リンク３２６とを互いに平行にしたまま、第１ジョイント３２３回りにピッチ及びヨー方向に第２リンク３２４が旋回できるようにする。第１多関節器具２３１、第３多関節器具２５１、及びカメラ多関節器具２１１は、同じように構成され且つ操作されてもよい。

図１５は、一例として、ロボットアーム２５１４の遠位端にあるプラットフォーム２５１２に取り付けられる多関節器具アセンブリ２５１６を示す。進入ガイド２００は、上述のように進入ガイドマニピュレータによって進入ガイド２００が（プラットフォーム２５１２と一緒に）操作されるように、プラットフォーム２５１２に取り付けられる。各多関節器具アセンブリは、多関節器具とその器具マニピュレータとを含む。例えば、典型的な多関節器具２５０２ａは、多関節器具における複数のジョイントを作動させるための複数のアクチュエータを含むアクチュエータアセンブリ２５０４に取り付けられる。器具２５０２ａは、そのアクチュエータアセンブリ２５０４を過ぎて延び且つ進入ガイド２００に進入する本体管２５０６を有する。アクチュエータアセンブリ２５０４は、本体管２５０６の進入ガイド２００への挿入及び進入ガイド２００からの引き戻しを制御するリニアアクチュエータ２５１０（例えばサーボ制御の送りねじ・ナットアセンブリ又はボールねじ・ナットアセンブリ）に取り付けられる。この場合の器具マニピュレータ２５２０はアクチュエータアセンブリ２５０４及びリニアアクチュエータ２５１０を有する。器具２５０２ａが多関節器具２４１である場合、本体管２５０６の遠位端は、図１３に示す第１リンク３２２である。第２器具２５０２ｂは、図示されるような同様の機構を用いて取り付けられる。また、多関節カメラ器具が同じように取り付けられてもよい。

図１６は、医療ロボットシステム２０００及び３０００の双方で使用され得るコンソールの正面図を一例として示す。コンソールは、進入ガイド及び多関節器具といった関連の装置を望ましくは６自由度（“ＤＯＦ”）で操作するためにユーザが左手及び右手のそれぞれで握ることができる左側入力装置４１及び右側入力装置４２を有する。つま先コントロール及びかかとコントロールを有する足踏みペダル４４がコンソールに備えられ、その足踏みペダルに関連する装置の動き及び／又は作動をユーザが制御できるようにする。また、プロセッサ４３は制御目的及び他の目的のためにコンソール内に備えられる。また、内視鏡３７又は多関節カメラ器具２１１における立体視カメラが取得する画像からユーザがステレオビジョンで作業場所を視認できるようにステレオビジョンディスプレイ４５がコンソールに備えられる。左側アイピース４６及び右側アイピース４７は、ユーザが左目でディスプレイ４５内にある左側の２次元（“２Ｄ”）ディスプレイスクリーンを視認し、且つ、右目でディスプレイ４５内にある右側の２Ｄディスプレイスクリーンを視認できるように、ステレオビジョンディスプレイ４５に備えられる。

プロセッサ４３は、医療ロボットシステムにおける様々な機能を実行する。プロセッサ４３が実行する１つの重要な機能は、ツール器具２３１、２４１、カメラ器具２１１、及び進入ガイド２００等の装置を医師が効率的に操作できるように、入力装置４１、４２に関連するマニピュレータにおける各ジョイントを作動させるべく、それら関連するマニピュレータにおけるアクチュエータに指令を出すために、入力装置４１、４２の機械的な動きを解釈し且つバス１１０上の制御信号を通じてそれらの動きを伝えることである。別の機能は、本書に記載される様々な方法を実行することである。

プロセッサ４３は、プロセッサとして説明されたが、当然のことながら、ハードウェア、ソフトウェア、及びファームウェアの任意の組み合わせで実現されてもよい。また、本書に記載されるようなその機能は、１つのユニットで実行されてもよく、或いは、それぞれがハードウェア、ソフトウェア、及びファームウェアの任意の組み合わせによって実現され得る別々の構成要素の間で分配されてもよい。さらに、プロセッサ４３は、コンソールの一部として或いはコンソールに物理的に隣接するものとして示されたが、システム全体に分布する多くのサブユニットで構成されてもよい。

参照により本書に援用される“Minimally Invasive Surgical System”というタイトルの米国特許出願公開第２００８／００６５１０８号は、本書に記載されるような単一開口式医療ロボットシステムに関する追加的な詳細を提供する。

ここで再び図１を参照すると、本発明の様々な態様を説明するために、ロボットシステム１０００の構成要素のブロック図が示されている。この例では、ロボットシステム１０００は、２つのツールと１つのカメラとを有する。第１ツールの作業端の姿勢（すなわち位置及び幾何学的配置）は、第１の複数のジョイントセンサ１００２によってその位置及び／又は速度が感知される第１の複数の作動可能なジョイント１００１によって可動であり、第２ツールの作業端の姿勢は、第２の複数のジョイントセンサ１００５によってその位置及び／又は速度が感知される第２の複数の作動可能なジョイント１００４によって可動であり、且つ、カメラ３７の画像取得端の姿勢は、第３の複数のジョイントセンサ１００８によってその位置及び／又は速度が感知される第３の複数の作動可能なジョイント１００７によって可動である。カメラ３７が取得する画像は、ビデオプロセッサ１０１０及び／又はプロセッサ４３で処理され、処理された画像はステレオビジョンディスプレイ４５に表示される。

（“ツール追跡”モードと呼ばれる）通常の動作モードでは、システム１０００の操作者は、現場のカメラがそれらツールの作業端の画像を取得している間、作業場所にある対象物に処置を施すためにそれらツールを制御する。このモードでは、入力装置４１は第１ツールに関連づけられ、第１の複数のジョイントセンサ１００２によってもたらされる感知されたジョイントの位置及び／又は速度が、その時点で入力装置４１によって指令されたジョイントの位置及び／又は速度に合致するように、プロセッサ４３が第１の複数のジョイントアクチュエータ１００３に第１の複数のジョイント１００１を作動させるようにする。また、入力装置４２は第２ツールに関連付けられ、第２の複数のジョイントセンサ１００５によってもたらされる感知されたジョイントの位置及び／又は速度が、その時点で入力装置４２によって指令されたジョイントの位置及び／又は速度に合致するように、プロセッサ４３が第２の複数のジョイントアクチュエータ１００６に第２の複数のジョイント１００４を作動させるようにする。一方で、第３の複数のジョイント１００７をそれらの現在の位置に維持するように第３の複数のジョイントアクチュエータ１００９に指令を出すプロセッサ４３によってカメラ３７は適切な位置に保持され得る。或いは、第１ツール及び第２ツールの作業端がカメラ３７の視野（“ＦＯＶ”）内に留まるように第３の複数のジョイント１００７を作動させるべく第３の複数のジョイントアクチュエータ１００９に指令を出すプロセッサ４３によってカメラ３７は第１ツール及び第２ツールの動きを追跡してもよい。

１又は複数のスイッチ１０１１は、それらツールのうちの１つの制御権限がアシスタント操作者又はプロセッサ４３に切り換えられるべきであることを示すために備えられてもよい。それらスイッチ１０１１の一部又は全部は、アシスタントがそれらスイッチのうちの指定された１つを活性化し且つプロセッサ４３を通じて対応するツールの制御権限を握ることができるように、それらツールを保持するロボットアーム上に備えられてもよい。代替的に或いは追加的に、スイッチ１０１１の一部又は全部は、入力装置４１、４２上に或いは（図１６で示すようなアームレスト上のスイッチ４０のように）入力装置４１、４２に隣接して備えられてもよい。そして、操作者がそれらスイッチのうちの指定された１つを活性化し且つそれに関連するツールの制御権限を、手動動作のためにプロセッサ４３を通じてアシスタントに移し、或いは、自動動作のために直接的にプロセッサ４３に移すことができるようにする。また、（ＬＥＤ等の）１又は複数の表示器１０１２は、それらツールのうちの何れのツールの制御権限がプロセッサ４３によってアシスタントに切り換えられているのかをアシスタントに示すために備えられる。１又は複数の表示器１０１２は、それらツールのうちの何れのツールが現時点においてアシスタントの制御下にあるのかをアシスタントが理解できるように、それらツールを保持するロボットアーム上に備えられてもよい。また、１又は複数の表示器１０１２は、プロセッサ４３によって、あるツールがその作業場所に導入される新品の或いは交換品のツールとして示されるように、構造上に備えられてもよい。メモリ１０１３は、プログラム命令及びデータを保存するために備えられる。

図２は、器具の制御権限を入力装置に切り換えるためにロボットシステム１０００のプロセッサ４３で実行される方法のフロー図を示す。ブロック１０２１において、操作者は、上述のように、器具に関連する入力装置を通じてその器具の制御権限を操作者が握るところの通常モードで操作している。ブロック１０２２において、その方法は、アシスタントがマニピュレータを動かすことでその器具の動きを手動で制御できるようにその器具の制御権限がアシスタントに切り換えられるべきか、或いは、プログラム命令にしたがってプロセッサ４３がその器具の動きを制御できるようにその器具の制御権限がプロセッサ４３に切り換えられるべきかをチェックする。上述のように、そのような切り換えは、複数のスイッチ１０１１のうちの１つの活性化によって示されてもよい。ブロック１０２２における判定がＮＯであれば、その方法は、ブロック１０２１に戻り、そして、操作者はその器具の制御権限を維持する。一方、ブロック１０２２における判定がＹＥＳであれば、その方法はブロック１０２３においてその器具の制御権限をアシスタント又はプロセッサ４３に切り換える。

ブロック１０２４及びブロック１０２６では、その方法は、その器具が引き戻し方向に動いているか或いは挿入方向に動いているかをそれぞれ判定する。その器具が引き戻し方向（すなわち作業場所から離れるように移動する器具をもたらす方向）に動いている場合、その方法は、そのような動作を許容し、且つ、ブロック１０２４を繰り返すためにループして戻るか、或いは、引き戻し姿勢を取るように且つ／或いはその器具の引き戻し中に他の器具若しくは物体との衝突を避けるように多関節器具に指令を出す引き戻しモードアルゴリズムを実行するためのオプションのブロック１０２５を実行する。多関節器具に関するそのような引き戻しアルゴリズムについての追加的な詳細は、例えば、参照により本書に援用される“Controller Assisted Reconfiguration of an Articulated Instrument during Movement Into and Out of an Entry Guide”というタイトルの米国特許出願公開第２０１１／００４０３０５号に見出される。一方で、その器具が挿入方向（すなわち作業場所に向かって移動する方向）に動いている場合、その方法は、そのような動作を許容し、且つ、ブロック１０２８に直接進むか、或いは、その器具の作業端が途中で他の器具及び物体と衝突するのを避けながらカメラ３７の視野（ＦＯＶ）に向かって移動するようにツールジョイントを作動させるようカメラ視野標的アルゴリズムがツールジョイントアクチュエータに指令を出すところであるオプションのブロック１０２７を実行する。このように、カメラ３７が作業中に動く場合、器具の作業端は、作業場所に向かって挿入されているときにそれにしたがうようにその方向を自動的に変化させてもよい。

それら器具の作業端がカメラ３７の視野内に維持されるようにカメラ３７の姿勢がそれら器具の指令動作に応じて自動的に変えられるところの結合制御モードがプロセッサ４３によって実行される場合、カメラ３７は作業中に動き得る。カメラ３７は、関連する入力装置を通じた操作者による直接的な指令に応じて動いてもよい。この後者の場合、操作者は、アシスタントによって挿入されている器具の配置を、作業場所における所望の位置に効率的にガイドし得る。

視野標的アルゴリズムの簡単な例として、図７ａ−図７ｄは、複数開口式医療ロボットシステム２０００を用いたガイド付きツール交換作業の様々な段階で作業場所における開口１６６、１６７のそれぞれから出て延びる器具３３、３５の概略図を示す。図７ａでは、それら器具の作業端は、内視鏡３７の視野（ＦＯＶ）２１２０内にあるものとして示される。図７ｂでは、図７ａに対応する時刻以後に３つのイベントが発生している。第１に、器具３３はツール交換のために引き戻されており、そのため、器具３３はこの図では見えなくなっている。第２に、器具３５の作業端は、点線で示す器具の以前の位置と運動方向を示す矢印を伴う実線で示す新たな位置とによって表されるように動いている。第３に、内視鏡３７の画像取得端及びその視野２１２０もまた、器具３５の作業端をカメラの視野２１２０内に維持するために動いている。図７ｃでは、器具３３（又はその交換品）はその当初の引き戻し経路を通じて延びる線に沿って再び挿入されている。しかしながら、内視鏡３７の視野２１２０が動いてしまっているので、この場合、器具３３の作業端は視野２１２０内には入らない。それ故に、この状況が発生するのを防止するために、図７ｄでは、視野標的アルゴリズムは、器具３３の挿入中に器具３３を旋回させ、再配置された視野２１２０内に器具３３の作業端が来るようにする。この場合の旋回は、器具の当初の位置を点線で示し且つ挿入モードアルゴリズムに応じて実行される旋回の方向を示す矢印と共に修正後の位置を実線で示すことで表される。当然ながら、作業場所で或いは作業場所に至る途中で他の器具と衝突すること及び／又は物体を突いてしまうことを避けるために、器具３３の旋回中は注意が払われなければならない。そのような災難を防止するために、それら物体及び他の器具の現在の配置に関する情報を用いる視野標的アルゴリズムによって従来の衝突回避技術が採用されてもよい。

図２に戻って参照すると、ブロック１０２８では、その方法は、その時点においてステレオビジョンディスプレイ４５に表示されている作業場所の像にその器具が入ったか否かを判定する。ブロック１０２８における判定がＮＯであれば、その方法は、再びブロック１０２４及びブロック１０２６を実行するために戻る。一方、ブロック１０２８における判定がＹＥＳであれば、ブロック１０２９において、その方法は器具の制御権限をアシスタントから操作者に戻し、且つ、ブロック１０２１にループして戻る。

フロー図には示されていないが、その方法は、アシスタント又は操作者の何れかがどのような場合であってもその器具の制御権限を操作者に切り換えるために図２のフローを無効に(over-ride)できるように実装されてもよい。例えば、スイッチ１０１１のうちの１つは、通常のプロセスが中断され且つ器具の制御権限が即座に操作者に戻るべきであることを示すために活性化されてもよい。このことが行われ得る１つの方法は、器具の制御権限を操作者から切り換えるために以前に活性化されたスイッチを不活性化させることによる。

図３は、図２のブロック１０２８を実行する方法のフロー図を一例として示す。ブロック１０３１では、その方法は、現在アシスタントによって制御されている器具のツールジョイントセンサからデータを受信する。同時に、ブロック１０３２では、その方法は、カメラジョイントセンサからデータを受信する。ブロック１０３３では、その方法は、例えばその器具に関する逆運動学アルゴリズムを用いてツールジョイントデータをツール基準座標系における姿勢にマッピングすることでツール基準座標系における器具の作業端の姿勢を決定する。なお、ツール基準座標系は、例えば、その原点がその器具上の１点に固定されるデカルト基準座標系である。ブロック１０３４では、その方法は、例えばそのカメラ器具に関する逆運動学アルゴリズムを用いてカメラジョイントデータをカメラ基準座標系における姿勢にマッピングすることでカメラ基準座標系におけるカメラ３７の画像取得端の姿勢を決定する。なお、カメラ基準座標系は、例えば、その原点がカメラ器具上の１点に固定されるデカルト基準座標系である。

ブロック１０３５では、その方法は、カメラ基準座標系におけるその器具の作業端の姿勢を決定する。それは、ツール基準座標系と世界基準座標系との間の既知の変換、及び、カメラ基準座標系とその世界基準座標系との間の既知の変換を用いるだけでこれを行うことができる。なお、世界基準座標系は、例えば、その原点を作業場所の１静止点に有するデカルト基準座標系である。その後、カメラ基準座標系におけるその器具の作業端の決定された姿勢は、事前に決定されたエラー変換（error transform）を用いて補正されてもよい。なお、エラー変換は、逆運動学アルゴリズムを用いて決定されたツール姿勢とビデオ画像処理を用いて決定されるツール姿勢との間の差から決定されてもよい。エラー変換は、最初に術前校正ステップで決定され、その器具の作業端がカメラ３７の視野内にあるときに周期的に更新されてもよい。そのような基準座標系と変換についての追加的な詳細に関しては、例えば、参照により本書で援用される“Camera Referenced Control in a Minimally Invasive Surgical Apparatus”というタイトルの米国特許第６，６７１，５８１号を参照されたい。

ブロック１０３６では、その方法は、カメラビューに対するディスプレイビューを決定する。なお、ディスプレイビューはその時点でステレオビジョンディスプレイ４５に表示されているものであり、また、カメラビューはその時点でステレオカメラが取得しているステレオ画像である。

図４を参照すると、説明に役立つ実例として、ステレオカメラは、ベースライン距離“ｂ”だけ隔てられる２つのカメラＣ１及びＣ２を含む。また、２つのカメラＣ１及びＣ２は、それらカメラの焦点距離“ｆ”で定められる画像平面Ｉ１及びＩ２を有する。画像平面Ｉ１及びＩ２は、内部及び外部のカメラ幾何学（camera geometries）の違いによる影響を取り除くために、従来のステレオ平行化（stereo rectification）アルゴリズムを用いて(warp)曲げられる。

カメラ基準座標系における点Ｐは、点ＰとカメラＣ１及びＣ２の２つの光学中心と画像点Ｐ１及びＰ２とを含むエピポーラ面によって画像平面Ｉ１及びＩ２の画像点Ｐ１及びＰ２に投影される。その後、点Ｐの位置は、ベースライン距離“ｂ”及び焦点距離“ｆ”に関する既知の値と、各画像平面中心点（すなわちｘ軸とｙ１軸及びｙ２軸との交点）から画像点Ｐ１及びＰ２までの距離から計算される視差（disparity）“ｄ”とを用い、カメラ基準座標系において決定されてもよい。

ディスプレイビューがカメラビュー（すなわちカメラの視野）と同じである場合、左側画像平面Ｉ１はステレオディスプレイ４５の左側アイピース４６に表示され、且つ、右側画像平面Ｉ２はステレオディスプレイ４５の右側アイピース４７に表示される。図５に示すように、この場合の左側アイピース４６に関するディスプレイビューは、ディスプレイビュー１０６２−Ｌとして図に示されるように、カメラＣ１から出て左側画像平面Ｉ１を通過する左側カメラＣ１の錘台である。また、表示領域１０８２−Ｌもその錘台を説明するために図５に示され、表示領域１０８２−Ｌは、左側画像平面Ｉ１よりもカメラＣ１からさらに遠いところにあるが左側画像平面Ｉ１に平行な錘台のスライスである。右側アイピース４７に関するディスプレイビューは、右側画像平面Ｉ２から出る同様の錘台である。

しかしながら、図６の領域１０７１で表されるように、カメラ３７の視野の一部のみがステレオビジョンディスプレイ４５に表示されている場合、左側アイピース４６に関するディスプレイビューは、ディスプレイビュー１０６１−Ｌとして図に示されるように、カメラＣ１から出る、より小さい錘台である。そのようなより小さいディスプレイビューは、例えば、その時点でステレオビジョンディスプレイ４５に表示されている画像を“ズームイン”するように操作者がステレオビジョンディスプレイ４５に指令を出したときに生じ得る。また、プロセッサ４３は、その時点で関連画像がステレオビジョンディスプレイ４５で見られているツールをそれらツールに関連する入力装置４１、４２で制御するときに直感的な関連性を与えるために、ディスプレイビューを右又は左にシフトさせ、上又は下にシフトさせ、或いは、回転させることでディスプレイビューをさらに調整してもよい。図５及び図６では左側カメラビューＩ１のみが示されているが、当然ながら、３Ｄディスプレイのためには、図４を参照して説明されるような対応する右側カメラビューＩ２も必要である。しかし、説明を簡単にするため、図５及び図６では右側カメラビューＩ２は示されていない。本書で用いられるようなステレオ画像化システムについての追加的な詳細は、例えば、参照により本書に援用される“Stereo Imaging System and Method for Use in Telerobotic Systems”というタイトルの米国特許第６，７２０，９８８号に見出される。

ここで図３に戻って参照すると、ブロック１０３７において、その方法は、（ブロック１０３５で決定された）その器具の作業端の姿勢が少なくとも部分的には（ブロック１０３６で決定された）ディスプレイビュー内にあるかを判定する。ブロック１０３７における判定がＮＯであれば、その方法は、図２に示すようにブロック１０２４に戻る。一方、ブロック１０３７における判定がＹＥＳであれば、その方法は、図２に示すようにブロック１０２９に進む。ブロック１０３７において運動学的に決定されたその器具の作業端の姿勢を用いるのみであることに対する改良として、その時点でステレオビジョンディスプレイ４５の左側アイピース４６及び右側アイピース４７に表示されている左側画像及び右側画像における作業端を特定するためのテンプレートとしてその作業端のコンピュータモデルが用いられてもよい。この場合の画像マッチングは、プロセッサ４３が不必要な処理を実行しなくても済むように、運動学的に決定されたその器具の作業端の姿勢がディスプレイビューからの閾値距離に達した場合にのみ実行されてもよい。

その器具の挿入中には、最小挿入距離及び最大挿入距離を特定することによってその器具のための“目標位置”を特定することが望ましい。一例として、図８ａは、単一開口式医療ロボットシステム３０００における進入ガイド２００の遠位端を出て延びる多関節ツール器具２３１、２４１及び多関節カメラ器具２１１の簡略化された概略図を示す。この概略図では、物体５００とカメラ２１１の視野（ＦＯＶ）２１１０も示されている。また、便宜的に、ＦＯＶ２１１０は、図２におけるブロック１０２８の目的のためのディスプレイビューであると仮定される。

図８ｂでは、多関節ツール器具２４１は、その挿入軸（点線）に沿って挿入されるものとして示される。最小挿入距離２１１１は、器具２４１の作業端がカメラ２１１のＦＯＶ２１１０に入ると期待されるところである最小挿入点を表すものとして特定される。また、最大挿入距離２１１２は、（安全マージンを伴う）最大挿入点を表すものとして特定される。なお、器具２４１の作業端は、最大挿入距離を超えると、物体５００を突く場合がある。何らかの理由で器具２４１がカメラ２１１のＦＯＶ２１１０に入ることなく最大挿入距離２１１２に達した場合には、安全目的のため、アシスタントによる器具２４１のさらなる挿入は、その器具を適切な場所でロックすることによって防止される。

図８ｃでは、多関節ツール器具２４１は、その挿入軸（点線）に沿って挿入されるものとして示されるが、カメラ２１１は（また、場合によっては進入ガイド２００も）操作者によってその当初の位置から動かされてしまっている。この場合、操作者は、器具２４１の制御権限をその挿入中により早く得ることができる。また、最小挿入距離２１１３及び最大挿入距離２１１４は、カメラ２１１の視野（ＦＯＶ）２１１０が動くにつれて調整される。特に、最小挿入距離２１１３は、器具２４１の作業端がカメラのＦＯＶ２１１０に入ると期待されるところの最小挿入点をなおも表すように調整される。しかしながら、最大挿入距離２１１４は、現時点では、ＦＯＶ２１１０が器具２４１の挿入面と交差するところの近く（又はその境界上）にある挿入距離を表す。この場合に留意すべきは、最大挿入距離２１１４は物体５００の手前にあるという点である。物体５００はカメラのＦＯＶ２１１０をはるかに超えたところにあるためである。物体５００がカメラのＦＯＶ２１１０内にある場合、最大挿入距離は、図８ｂを参照して説明されたように、物体５００までの距離に基づく。

器具２４１が挿入されており且つ器具２４１がステレオビジョンディスプレイ４５のビューに入る前に最大挿入距離に達した場合、安全目的のために適切な場所で器具２４１がロックされることに加え、望ましくは警告メッセージがステレオビジョンディスプレイ４５上に提供される。器具２４１が表示領域の外側にあり適切な場所でロックされることを操作者に知らせるためである。また、アシスタントは、例えば器具マニピュレータ上にあるＬＥＤの点灯によって警告されてもよい。これらの視覚的な警告の代わりに或いはそれに加え、操作者及び／又はアシスタントが聞こえるように音声による警告が提供されてもよい。それらの警告に加え、ツール位置・認証インジケータが、ステレオビジョンディスプレイ４５における表示領域の周りに広がる境界領域に表示されてもよい。器具２４１が現時点においておおよそどの程度離れているか或いはどの方向に存在するかを操作者が分かるようにするためである。そのようなツール位置・認証インジケータについての詳細は、参照により本書に援用される“Tool Position and Identification Indicator Displayed in a Boundary Area of a Computer Display Screen”というタイトルの米国特許出願公開第２００８／０００４６０３号に見出される。器具２４１のおおよその位置についてのそのような情報を利用して、操作者は、器具２４１の作業端がステレオビジョンディスプレイ４５のビュー内に来るまでカメラ器具２１１を器具２４１の作業端のほうに動かしてもよい。そのとき、器具２４１の制御権限は、図２を参照して説明した方法にしたがって操作者に移される。

望ましい実施例を参照して本発明の様々な態様が説明されたが、当然のことながら、本発明は添付の請求項の最大限の範囲内で最大限の保護を得る権利がある。

Claims (29)

1. カメラ；
   器具；
   前記器具の制御権限が与えられた後で前記器具を操作するための指令を出すための入力装置；並びに
   前記カメラの視野の領域に前記器具が入ったと判定すると該器具の制御権限を前記入力装置に与えるよう構成されるプロセッサであり、ハードウェア、ソフトウェア、及び、ファームウェアのうちの少なくとも１つで実現されるプロセッサ；
   を有する手術システム。
2. 前記器具を操作するための器具マニピュレータをさらに有し、
   前記器具マニピュレータは、手動で動かすことができ且つ遠隔的に作動させられるように構成され、
   前記プロセッサは、第１操作者が前記器具マニピュレータの手動制御の権限を有するべきとの指示を受け、且つ、該指示に応じてそのような手動制御の権限を与えるように構成され、且つ、
   前記プロセッサは、前記器具が前記カメラの視野の領域に入ったと判定すると前記第１操作者による手動制御から前記入力装置を通じた遠隔制御に前記器具マニピュレータの制御を切り換えることで、前記器具の制御の権限を前記入力装置に与えるように構成される、
   請求項１の手術システム。
3. 前記第１操作者が前記器具マニピュレータの手動制御の権限を有するべきとの指示を提供する手段をさらに有する、
   請求項２の手術システム。
4. 前記プロセッサが前記器具の制御の権限を前記入力装置に与えたときに感知指示を提供する手段をさらに有する、
   請求項１の手術システム。
5. 前記プロセッサは、メモリに記憶されたプログラム命令に前記プロセッサが応答するプログラム制御モードから、前記入力装置の操作者による操作に前記プロセッサが応答する操作者制御モードに、前記器具の制御権限を切り換えることによって、前記器具の制御権限を前記入力装置に与えるように構成される、
   請求項１の手術システム。
6. 前記入力装置と情報をやりとりする操作者が視認可能なディスプレイスクリーンをさらに有し、
   前記カメラの視野の領域は、前記ディスプレイスクリーンに表示されているビューに対応する、
   請求項１の手術システム。
7. 前記カメラはステレオカメラであり、
   前記ディスプレイスクリーンは３次元ディスプレイスクリーンであり、
   前記ステレオカメラの視野は３次元ボリュームであり、且つ、
   前記視野の領域は前記３次元ボリュームの部分空間である、
   請求項６の手術システム。
8. 前記プロセッサは、世界基準座標系における前記器具の姿勢及び前記カメラの姿勢を判定し、前記器具の姿勢を前記カメラの基準座標系に変換し、且つ、前記カメラの視野の領域内に前記器具の遠位端があるかを判定することによって、前記器具が前記カメラの視野の領域に入ったことを判定するように構成される、
   請求項１の手術システム。
9. 前記器具の遠位端の動きをもたらすように構成される第１の複数のジョイント；及び
   前記第１の複数のジョイントの状態を感知するために前記第１の複数のジョイントに結合される第１の複数のセンサ；をさらに有し、
   前記プロセッサは、前記第１の複数のセンサから情報を受け、前記世界基準座標系における前記器具の姿勢に関する運動学的に導き出される推定値を生成するために該情報を１又は複数の順運動学方程式に適用することによって前記世界基準座標系における前記器具の姿勢を決定するように構成される、
   請求項８の手術システム。
10. 前記器具を操作するための器具マニピュレータをさらに有し、
    前記器具は少なくとも１つの手首ジョイントを有し、
    前記器具マニピュレータは前記器具を操作するための複数のジョイントを有し、且つ、
    前記第１の複数のジョイントは前記少なくとも１つの手首ジョイントと前記器具マニピュレータの前記複数のジョイントとを含む、
    請求項９の手術システム。
11. 前記器具を操作するための器具マニピュレータをさらに有し、
    前記器具は、複数の器具ジョイントを有する多関節ツール器具であり、
    前記器具マニピュレータは少なくとも１つのマニピュレータジョイントを有し、且つ、
    前記第１の複数のジョイントは前記複数の器具ジョイントと前記少なくとも１つのマニピュレータジョイントとを含む、
    請求項９の手術システム。
12. 進入ガイドをさらに有し、
    前記カメラは多関節カメラ器具であり、且つ、
    前記多関節ツール器具の遠位端及び前記多関節カメラ器具の遠位端は前記進入ガイドの遠位端を出て延びる、
    請求項１１の手術システム。
13. 前記カメラの画像取得端の動きをもたらすように構成される第２の複数のジョイントと、
    前記第２の複数のジョイントの状態を感知するために前記第２の複数のジョイントに結合される第２の複数のセンサとをさらに有し、
    前記プロセッサは、前記第２の複数のセンサからジョイント状態情報を受け、該ジョイント状態情報を１又は複数の順運動学方程式に適用することによって前記世界基準座標系における前記カメラの姿勢を決定するように構成される、
    請求項９の手術システム。
14. 前記プロセッサは、前記カメラが取得する画像の領域における前記器具の遠位端を特定することによって前記カメラの視野の領域に前記器具が入ったことを判定するように構成され、
    前記画像の領域は前記カメラの視野の領域に対応する、
    請求項１の手術システム。
15. 前記プロセッサは、前記器具が最大挿入距離に達した場合に前記器具のさらなる挿入を防止するように構成される、
    請求項１の手術システム。
16. 前記プロセッサは、前記器具の挿入が前記カメラの視野の範囲に入ることなく前記最大挿入距離に達した場合に前記入力装置の操作者に警告を発するように構成される、
    請求項１５の手術システム。
17. カメラ、器具、前記器具の制御権限が与えられた後で前記器具を操作するための指令を出すための入力装置、並びに、ハードウェア、ソフトウェア、及び、ファームウェアのうちの少なくとも１つで実現されるプロセッサを有する手術システムにおいて、前記プロセッサが前記器具の制御権限を前記入力装置に与える、前記手術システムの作動方法であって、
    前記器具が前記カメラの視野の領域に入ったと前記プロセッサが判定すると、前記プロセッサが該器具の制御権限を前記入力装置に自動的に与える工程、
    を有する、方法。
18. 前記プロセッサが、前記器具の動作の手動制御の権限を与えるべきとの指示を受け、該指示に応じてそのような手動制御の権限を与える工程、をさらに有し、
    前記プロセッサが前記器具の制御権限を前記入力装置に自動的に与える工程は、前記プロセッサが、前記カメラの視野の領域に前記器具が入ったと判定すると、前記手動制御から、前記入力装置を介した遠隔制御に、前記器具の制御権限を切り換える工程を有する、
    請求項１７の方法。
19. 前記プロセッサが前記器具の制御権限を前記入力装置に自動的に与える工程は、前記プロセッサが、前記カメラの視野の領域に前記器具が入ったと判定すると、メモリに記憶されたプログラム命令に前記プロセッサが応答するプログラム制御モードから、前記入力装置からの命令に前記プロセッサが応答する操作者制御モードに、前記器具の制御権限を切り換える工程を有する、
    請求項１７の方法。
20. 前記カメラの視野の領域は、前記入力装置と情報をやりとりする操作者が視認可能なディスプレイスクリーンに表示されているビューに対応する、
    請求項１７の方法。
21. 前記カメラはステレオカメラであり、
    前記ディスプレイスクリーンは３次元ディスプレイスクリーンであり、
    前記ステレオカメラの視野は３次元ボリュームであり、且つ、
    前記視野の領域は前記３次元ボリュームの部分空間である、
    請求項２０の方法。
22. 前記プロセッサが、世界基準座標系における前記器具の姿勢と前記カメラの姿勢とを決定することによって前記器具が前記カメラの視野の領域に入ったことを判定する工程と、
    前記プロセッサが、前記器具の姿勢を前記カメラの基準座標系に変換する工程と、
    前記プロセッサが、前記器具の遠位端が前記カメラの視野の領域内にあるかを判定する工程と、
    をさらに有する、
    請求項１７の方法。
23. 前記プロセッサが前記世界基準座標系における前記器具の姿勢を決定することは、前記プロセッサが、前記器具の遠位端を動かすジョイントに関する情報を受ける工程、及び、前記プロセッサが、前記世界基準座標系における前記器具の姿勢に関する運動学的に導き出される推定値を生成するために前記ジョイントに関する情報を順運動学方程式に適用する工程を有する、
    請求項２２の方法。
24. 前記器具は器具マニピュレータによって操作可能であり、
    前記器具は少なくとも１つの手首ジョイントを有し、
    前記器具マニピュレータは前記器具を操作するための複数のジョイントを有し、且つ、
    前記器具の遠位端を動かすジョイントは、前記少なくとも１つの手首ジョイントと前記器具マニピュレータの複数のジョイントとを含む、
    請求項２３の方法。
25. 前記器具は器具マニピュレータによって操作可能であり、
    前記器具は、複数の器具ジョイントを有する多関節器具であり、
    前記器具マニピュレータは少なくとも１つのマニピュレータジョイントを有し、且つ、
    前記器具の遠位端を動かすジョイントは、前記複数の器具ジョイントと前記少なくとも１つのマニピュレータジョイントとを含む、
    請求項２３の方法。
26. 前記プロセッサが前記世界基準座標系における前記カメラの姿勢を決定することは、前記プロセッサが、前記カメラの画像取得端を動かすジョイントに関する情報を受ける工程、及び、前記プロセッサが、前記ジョイントに関する情報を順運動学方程式に適用する工程を有する、
    請求項２３の方法。
27. 前記プロセッサが、前記カメラが取得する画像の領域における前記器具の遠位端を特定することによって前記器具が前記カメラの視野の領域に入ったことを判定する工程をさらに有し、
    前記画像の領域は、前記カメラの視野の領域に対応する、
    請求項１７の方法。
28. 前記プロセッサが、前記器具が最大挿入距離に達した場合に前記器具のさらなる挿入を防止する工程をさらに有する、
    請求項１７の方法。
29. 前記器具の挿入が、前記カメラの視野の領域に入ることなく、前記最大挿入距離に達した場合に、前記プロセッサが、前記入力装置の操作者に警告を発する工程をさらに有する、
    請求項２８の方法。

Images