JP7191031B2 - 手術ロボットを制御する制御システム - Google Patents

Description

本発明は、手術ロボットなどのロボットを制御する制御システムに関する。

ロボットは一般に様々な産業的なタスクに用いられ、手術を行なうためにも用いられている。ロボットは、完全にプログラム制御下で動作させることも、ユーザインターフェースからのリアルタイムの入力に応答するように構成することも可能である。手術などの最も複雑かつ最も重要なタスクにおいては、通常、ロボットはオペレータのリアルタイム指令下で動作する。このため、オペレータには適切な入力装置が提供される。通常、こうした入力装置は、オペレータが三次元内で移動させることができる物理的な機構である。ロボットの制御システムは、この入力装置の形態を検出する。制御システムは、検出された制御機構の形態に応じてロボットアーム／マニピュレータを移動させるようにプログラムされている。また、通常、上記ロボットは、オペレータを補助して、特定のタスクを実行するために必要な入力を把握できるようにするために、ユーザに対して、ロボットの状態についての視覚的表示を提示する。この視覚的表示は、ロボットアーム上またはその近傍のカメラによって撮像されてオペレータに対して画面上に表示されるビデオストリームであってもよい。

当該ロボットはアームを複数有していてもよい。各アームは、所望のタスクを行なうためにオペレータが操作できるアームの先端部に器具を有していてもよい。

２つ以上のアームがある場合、上記ロボットは、制御下にあるアームをオペレータに示すことができる。例えば、２つのアームについて、上記ロボットは、オペレータの左手によって（つまり、左手側コントローラによって）制御されているアームと、オペレータの右手によって（つまり、右手側コントローラによって）制御されているアームとをオペレータに示すことができる。このための１つの方法としては、ロボットに、オペレータによって操作されている器具の画像を画面上に表示させることが挙げられる。この画像は、左手と右手（または、左側の入力装置と右側の入力装置）のいずれによって制御されているのかを示すために、画面の左側または右側に表示することができる。

いくつかの状況においては、オペレータは、アームまたは器具のステータスを確認するために、および、制御している器具を変更しようとする場合には、ビデオストリームから注意をそらす必要がある。つまり、その時オペレータはビデオストリームに十分な注意を払っていないといえる。これにより、オペレータがロボットを制御するにあたりその操作を誤るおそれがある。

改良された制御システムが必要とされている。

本発明の一態様によると、手術ロボットから離れた外科医コンソールによって前記手術ロボットを制御する制御システムであって、前記制御システムは、複数の器具に関連付けられた１つ以上の状態信号を受信し、前記複数の器具はそれぞれ前記手術ロボットに取り付け可能であり、前記１つ以上の状態信号は、前記外科医コンソールによる制御について前記複数の器具のそれぞれの選択可能性と、一群のモードから、前記複数の器具のそれぞれの制御モードとを示し、前記一群のモードは、前記複数の器具のうちの１つの器具が前記外科医コンソールによって制御可能である操作モードと、前記複数の器具のうちの１つの器具が前記外科医コンソールによる制御に選択可能である選択モードとを含み；表示用のグラフィックアイコン配列であって、受信した前記１つ以上の状態信号に応じて、各アイコンが前記複数の器具のそれぞれを表すグラフィックアイコン配列を決定し、かつ、表示信号を出力して前記グラフィックアイコン配列を表示させ；前記選択モードへのモード変更を示すモード変更信号を受信し；前記受信したモード変更信号に応じて前記グラフィックアイコン配列を変更して、前記複数の器具のうちの選択可能な器具の識別を可能とし；前記選択可能な器具のうちの１つの器具の選択を示す選択信号を前記外科医コンソールから受信し；受信した前記選択信号に応じて前記グラフィックアイコン配列を変更して、選択された前記器具の識別を可能とし；前記外科医コンソールによる、選択された前記器具の制御を可能とするように構成されている制御システムが提供される。

好適には、前記グラフィックアイコン配列は、前記複数の器具のうちの１つを表すアイコンが、前記選択モードへの前記モード変更前に表示されるリスト領域と、前記選択モードにおいて、前記複数の器具のうちの選択可能な器具を表すアイコンが表示される選択領域とを含み、前記リスト領域および前記選択領域は、少なくとも部分的に重なり合っていない。

前記グラフィックアイコン配列は、手術部位の画像を表示する画像領域を含み、前記画像領域は前記グラフィックアイコン配列の中央付近に配置され、前記選択領域は、前記画像領域と少なくとも部分的に重なるように配置されていてもよい。好適には、前記リスト領域は、前記グラフィックアイコン配列の周縁および周縁付近のいずれか一方に配置されている。好適には、前記リスト領域は、前記画像領域と少なくとも部分的に重なっていない。

好適には、前記リスト領域は、新たに追加された器具を表すアイコンが表示される新規器具領域を含み、前記新規器具領域は、前記画像領域と少なくとも部分的に重なるように配置されている。

好適には、前記制御システムは、前記モード変更信号を受信すると、前記選択可能な器具を表す前記アイコンを前記選択領域へ移行させて、当該器具がそれぞれ選択可能であることを示すように構成されている。好適には、前記制御システムは、前記移行を連続的な移行とするように構成されている。

好適には、前記制御システムは、前記外科医コンソールおよび前記手術ロボットの少なくとも一方から前記モード変更信号を受信するように構成されている。好適には、前記制御システムは、前記モード変更信号を受信すると、前記複数の器具のうちの１つの器具が前記外科医コンソールに操作可能に連結されるようにセットアップされるセットアップモードおよび前記操作モードのうちの一方から、前記選択モードに変更するように構成されている。

好適には、前記制御システムは、前記外科医コンソールの複数の入力装置のそれぞれから入力信号を受信するように構成されており、前記グラフィックアイコン配列は複数の選択領域を含み、各前記入力装置は前記複数の選択領域の１つとそれぞれ関連付けられており、前記制御システムは、前記モード変更信号を受信すると、各前記入力装置によって選択可能な器具を表すアイコンを当該入力装置の前記選択領域にそれぞれ表示させるように構成されている。

好適には、前記グラフィックアイコン配列を変更して前記選択可能な器具の識別を可能とすることには、アイコンの色の変更、前記アイコンのサイズの変更、前記アイコンの背景の変更、二次元的アイコンから三次元的アイコンへの前記アイコンの変更、三次元的アイコンから二次元的アイコンへの前記アイコンの変更、前記アイコンの明滅、および変調させた周波数での前記アイコンの明滅の１つ以上が含まれる。

好適には、前記制御システムは、手術部位からの画像を示す画像信号を受信し、かつ前記画像領域に当該画像を表示させるように構成されており、表示された前記画像は、前記手術部位における器具の器具画像を含み、前記制御システムは、前記モード変更信号を受信すると前記器具画像を変更するように構成されている。

好適には、前記制御システムは、前記画像領域にグラフィックスを重ね合わせること、前記画像領域に重ね合わされたグラフィックスを変更すること、および前記画像領域に重ね合わされたグラフィックスを削除することの少なくとも１つによって前記器具画像を変更するように構成されている。好適には、前記制御システムは、前記器具画像を変更して前記グラフィックアイコン配列に対する変更に対応させることで、前記選択可能な器具の識別を可能とするように構成されている。

好適には、前記リスト領域、前記選択領域および前記新規器具領域の少なくとも１つは、その周縁の少なくとも一部に境界線を有し、前記制御システムは、前記モード変更信号を受信すると、前記境界線を変更して前記モード変更の識別を可能とするように構成されている。

好適には、前記制御システムは、前記複数の器具に関連付けられた前記１つ以上の状態信号に応じてインターフェース状態を判断するように構成された運動学コントローラを備え、前記インターフェース状態は、表示用の前記グラフィックアイコン配列と関連付けられたデータを含む。

好適には、前記制御システムは、前記運動学コントローラから前記インターフェース状態を受信し、かつ、表示用の前記グラフィックアイコン配列をレンダリングするように構成された視覚プロセッサを備え、前記運動学コントローラは、前記視覚プロセッサよりも高い周波数で操作可能である。

好適には、前記グラフィックアイコン配列のアイコンは、アイコンのクラスタを含む。

本発明の他の態様によると、手術ロボットから離れた外科医コンソールによって前記手術ロボットを制御する方法であって、前記方法は、複数の器具に関連付けられた１つ以上の状態信号を受信することであって、前記複数の器具はそれぞれ前記手術ロボットに取り付け可能であり、前記１つ以上の状態信号は、前記外科医コンソールによる制御について前記複数の器具のそれぞれの選択可能性と、一群のモードから、前記複数の器具のそれぞれの制御モードとを示し、前記一群のモードは、前記複数の器具のうちの１つの器具が前記外科医コンソールによって制御可能である操作モードと、前記複数の器具のうちの１つの器具が前記外科医コンソールによる制御に選択可能である選択モードとを含む、ことと；表示用のグラフィックアイコン配列であって、受信した前記１つ以上の状態信号に応じて、各アイコンが前記複数の器具のそれぞれを表すグラフィックアイコン配列を決定し、かつ、表示信号を出力して前記グラフィックアイコン配列を表示させることと；前記選択モードへのモード変更を示すモード変更信号を受信することと；前記受信したモード変更信号に応じて前記グラフィックアイコン配列を変更して、前記複数の器具のうちの選択可能な器具の識別を可能とすることと；前記選択可能な器具のうちの１つの器具の選択を示す選択信号を前記外科医コンソールから受信することと；受信した前記選択信号に応じて前記グラフィックアイコン配列を変更して、選択された前記器具の識別を可能とすることと；前記外科医コンソールによる、選択された前記器具の制御を可能とすることとを含む方法が提供される。

本発明の他の態様によると、本明細書に定められる方法を実装するための機械可読コードが提供される。

上記の態様の任意の１つ以上の構成を、上記の他の構成の任意の１つ以上の構成と組み合わせてもよい。可能な場合には、装置の構成を方法の構成として記載することができ、方法の構成を装置の構成として記載することもできる。本明細書においては、単に簡潔性のため、このような内容の全ては記載していない。

本概要は、下記の詳細な説明においてさらに説明する内容の一部を簡潔な形式で導入するために記載されている。本概要で言及した構成は、それらが本発明または請求の範囲に記載される主題の重要または不可欠な構成であることを示すものではなく、請求の範囲に記載される主題の範囲を限定するとして解釈されるべきでもない。

以下では、本発明について添付の図面を参照しながらあくまでも例示的に説明を行う。

手術ロボットアームの図である。 図１のアームで使用する器具の図である。 ロボット手術システムの模式図である。 ロボット手術システムを使用する例示的な方法を示す。 外科医コンソールの図である。 手術ロボットの図である。 グラフィックアイコン配列を表示する画面の例である。 グラフィックアイコン配列を表示する画面の他の例である。 グラフィックアイコン配列を表示する画面の他の例である。 コンピュータベースの装置を模式的に示す図である グラフィックアイコン配列を表示する画面の別の例である。 グラフィックアイコン配列を表示する画面の他の例である。 グラフィックアイコン配列を表示する画面の他の例である。 グラフィックアイコン配列を表示する画面の他の例である。 グラフィックアイコン配列を表示する画面の他の例である。

以下の説明では、本願の技術について手術ロボットシステムの場合において説明しているが、下記の構成はそうしたシステムに限定されるものではなく、より一般にロボットシステムに適用可能である。

ロボットシステムとしては、車両製造システムなどの製造システム、部品取扱システム、実験システム、および危険物質用などのマニュピレータまたは手術用マニュピレータが含まれる。

図１には、基台１０１から延びるアーム１００を有する手術ロボットが図示されている。前記アームは複数の剛体リム１０２を備える。前記リムは回転ジョイント１０３によって連結されている。最も基端側のリム１０２ａは基端側のジョイント１０３ａによって基台に連結されている。当該リムおよび他のリムは、さらなるジョイント１０３によって直列に連結されている。好適には、手首部１０４は４つの個別の回転ジョイントから構成されている。手首部１０４は、１つのリム１０２ｂをアームの最も先端側のリム１０２ｃに連結している。最も先端側のリム１０２ｃは、手術器具１０６用のアタッチメント１０５を保持している。アームの各ジョイント１０３は、各ジョイントにおいて回転動作を生じさせるように作動させることができる１つ以上のモータ１０７と、現在の形態および／またはそのジョイントにおける負荷に関する情報を提供する１つ以上の位置および／またはトルクセンサ１０８とを有する。好適には、前記モータは、動作の駆動を行うジョイントの近くに配置されることで重量分散を向上させる。明瞭性のため、図１には一部のモータおよびセンサのみが示されてる。前記アームは、一般に、本出願人による同時係属中の特許出願ＰＣＴ／ＧＢ２０１４／０５３５２３（公表番号ＷＯ／２０１５／１３２５４９）に記載されるようなものであってもよい。

前記アームは、器具１０６とインターフェース接続するアタッチメント１０５において終端する。好適には、器具１０６は図２に記載の形状を有する。図２にはロボット腹腔鏡手術を行なうための典型的な手術器具２００が示されている。当該手術器具は、ロボットアームに手術器具を接続するベース２０１を備える。シャフト２０２はベース２０１と関節部２０３との間を延びている。関節部２０３はエンドエフェクタ２０４で終端する。図２では、エンドエフェクタ２０４として一対の凸凹状のジョーが示されている。関節部２０３により、エンドエフェクタ２０４はシャフト２０２に対して移動することができる。当該関節部により、エンドエフェクタ２０４の動作に少なくとも２の自由度が付与されるのが望ましい。

前記器具の直径は８ｍｍ未満である。好適には、前記器具の直径は５ｍｍである。前記器具の直径は５ｍｍ未満であってもよい。前記器具の直径は前記シャフトの直径であってもよい。前記器具の直径は関節部のプロファイルの直径であってもよい。好適には、関節部のプロファイルの直径は、シャフトの直径と一致しても、それより小さくてもよい。アタッチメント１０５は、前記器具の関節部を駆動するための駆動アセンブリを備える。

器具１０６は、手術を実行するためのエンドエフェクタを備える。当該エンドエフェクタは任意の適切な構成を有していてもよい。例えば、当該エンドエフェクタは、平らなジョー、凸凹状のジョー、グリッパ、一対の鋏、縫合用の針、カメラ、レーザ、ナイフ、ステープラー、焼灼器、吸引器等であり得る。前記器具は、図２に関して説明したように前記器具シャフトと前記エンドエフェクタとの間に関節部を備える。当該関節部は、前記エンドエフェクタが前記器具の前記シャフトに対して動くことを可能にする複数のジョイントを含む。

前記ロボットアームには、前記モータのコントローラ、トルクセンサのコントローラ及びエンコーダのコントローラが分散配置されている。これらのコントローラは、通信バスを介して制御部１０９に接続されている。制御部１０９は、プロセッサ１１０およびメモリ１１１を含む。メモリ１１１は、モータ１０７の動作を制御してアーム１００を動作させるための、前記プロセッサにより実行可能なソフトウェアを非過渡的に記憶する。具体的に述べると、当該ソフトウェアはプロセッサ１１０を制御して、センサ１０８からの入力及び外科医指令インターフェース１１２からの入力に応じて前記モータを（例えば、分散配置されたコントローラ等を介して）駆動させることが可能である。制御部１０９はモータ１０７に接続されており、前記ソフトウェアの実行で生じる出力に従って当該モータを駆動する。制御部１０９はセンサ１０８に接続されており、当該センサからの検出入力を受信する。また、制御部１０９は指令インターフェース１１２に接続されており、当該指令インターフェースからの入力を受信する。これらの各接続は、例えば、それぞれ電気ケーブル又は光ケーブルであってもよいし、あるいは、無線接続により提供されるものであってもよい。指令インターフェース１１２は少なくとも１つの入力装置を有しており、ユーザは、当該入力装置により前記エンドエフェクタの動作を所望に合わせて要求することができる。前記入力装置（または入力コントローラ）は、例えば、制御ハンドルもしくはジョイスティックなどの手動で作動可能な機械的入力装置、タッチスクリーンなどの接触式の入力装置、または光学ジェスチャセンサもしくは音声センサなどの非接触式の入力装置等であり得る。これらの入力装置は、眼球運動を監視して入力を受け取るものであってもよい。前記入力装置は、例えば、これらの形式の入力装置の何らかの組み合わせとすることも可能である。前記入力装置により入力される指令は、例えば、特定の方法で前記器具を移動（横移動および／または回転など）させるための移動指令を含んでいてもよい。そうした指令は、例えば、前記器具の先端部に連結されたエンドエフェクタを制御して、グリッパのジョーの開閉や電気手術エンドエフェクタの操作（オンオフ操作）など、当該エンドエフェクタを動作させるためのエンドエフェクタ指令を含んでいてもよい。

好適には、外科医コンソールなどのユーザコンソールは指令インターフェース１１２を備える。好適には、前記ユーザコンソールは２つの入力装置を備える。

前記入力装置は、左手用制御部および右手用制御部の一方と関連付けられていてもよい。好適には、複数の入力装置がある場合、それらの入力装置のうちの１つが左手用制御部に関連付けられており、別の入力装置が右手用制御部に関連付けられている。換言すれば、前記入力装置のうちの１つ（好適にはユーザコンソールの右手側に設けられている右手側制御部）がユーザの右手で操作されるように構成され、かつ別の入力装置（好適にはユーザコンソールの左手側に設けられている左手側制御部）がユーザの左手で操作されるように構成されてもよい。

メモリ１１１に記憶された前記ソフトウェアは、それらの入力に応答して前記アームや器具のジョイントを、予め決められた制御方針に準じて相応に動かすように構成されている。当該制御方針は、指令入力に応答して前記アームや器具の動作を抑制するセーフティー機能を含み得る。つまり、まとめると、外科医は、好適には指令インターフェース１１２を備える外科医コンソールにて、所望の手術を行うように器具１０６の動きを制御することができる。制御部１０９および／または指令インターフェース１１２は、アーム１００から離れた場所にあってもよい。

ロボット手術システムの概略について、図３Ａを参照しながら説明を行う。ロボット手術システム３００は、複数のロボットアーム３０２と、複数（通常２つ）の入力装置３０４と、スクリーンなどの表示装置３０６と、制御システム３０８とを備える手術ロボットを含む。制御システム３０８は好適には制御装置１０９を含む。制御システム３０８は複数のプロセッサを含んでいてもよい。好適には、前記制御システムは、運動学コントローラ３１０および視覚プロセッサ３１２を含む。ロボットアーム３０２は、その先端部に、グリッパ、カッター、焼灼器、針、撮像装置（例えば、内視鏡などのカメラ）等の手術器具および／または他の器具３２０を備えている。ロボットアーム３０２、入力装置３０４およびスクリーン３０６は、制御システム３０８に動作可能に接続される。制御システム３０８は、外科医コンソール（入力装置３０４など）、ロボットアーム３０２および器具３２０から受信した信号に応答し、ロボットアーム３０２、器具３２０およびスクリーン３０６に信号を送ることが可能である。制御システム３０８は外科医コンソールから信号を受信し、この信号を処理して１つ以上のロボットアーム３０２および／または１つ以上の器具３２０を駆動するための駆動信号を出力する。前記駆動信号は、前記制御システムによってロボットアーム３０２および器具３２０のそれぞれに送信される。

好適には、前記撮像装置は画像信号を出力するように構成されている。好適には、前記画像信号は画像を含む。好適には、前記画像信号はビデオ信号を含む。

上記の説明では表示装置として１つのスクリーンに言及しているものの、いくつかの例においては、前記ロボット手術システムは、複数の表示装置または複数のスクリーンを備える。前記スクリーンは、好適には、前記画像を二次元画像としておよび／または三次元画像として表示するように構成されている。前記スクリーンは１つのユーザコンソールに設けてもよいし、２つ以上のコンソールがそれぞれ少なくとも１つのスクリーンを備えてもよい。これにより付加的なスクリーンで見られるようになるので、例えば研修のために、コンソールユーザ以外の人が手術部位を見ることができるようにし、かつ／または手術室にいる他の人に見えるようにするために有益である。

図４には、外科医コンソール４００などのユーザコンソールが例示的に示されている。外科医などのユーザは、ロボットアーム３０２に連結されたロボットアーム３０２および器具３２０を、外科医コンソール４００にて入力装置３０４を介して制御することが可能であり、当該ロボットアームおよび／または器具を所望するように操作することが可能である。図４に示されるように、外科医コンソール４００は、ジェスチャセンサ（光学ジェスチャセンサなど）および音声センサの少なくとも１つを有する非接触式の入力装置４１０を備える。外科医コンソール４００はタッチスクリーン式の入力装置４２０を備える。付加的または代替的に、ディスプレイ３０６はタッチスクリーン式の入力部を備えてもよい。外科医コンソール４００は、フットペダルなどの足で操作可能な入力装置４３０を備える。図４には装置４１０，４２０，４３０がそれぞれ１つずつ示されているが、他の例においては、これらの装置の任意の組み合わせを任意の数で設けてもよいと理解されたい。全ての入力装置または全ての種類の入力装置を、全ての例において設ける必要はない。

器具３２０の操作には、当該器具のエンドエフェクタの操作または操縦が含まれる。換言すれば、エンドエフェクタのジョーの開閉または焼灼器などの電気手術器具の起動もしくは停止が含まれる。

好適には、ロボットアーム３０２および／または器具３２０は制御システム３０８に信号を送るように構成されている。いくつかの例では、この信号は１つ以上の状態信号を含む。いくつかの例では、この信号は、ロボットアーム３０２または器具３２０のそれぞれの位置および／または向きを示す位置および／または向き信号を含む。前記信号は、ロボットアーム３０２および器具３２０の一方または両方に対する力をそれぞれ示す１つ以上の力信号を含んでいてもよい。

上記において、前記ロボットシステムは有線接続によって信号の送受信を行うように構成されていてもよい。好適には、前記ロボットシステムは、信号の送信および／または受信を無線で行うための１つ以上の無線送受信器を備えている。これにより、当該ロボットシステムを通る有線接続の必要性を抑えることが可能である。好適には、前記ロボットシステムは、無線および／または有線信号により信号の送受信を行うように構成されている。

好適には、入力装置３０４およびロボットアーム３０２の少なくとも一方は、第１の無線発信器、第１の無線受信器および／または第１の無線送受信器を備える。好適には、前記制御システムは、前記第１の無線受信器、第１の無線発信器および／または第１の無線送受信器のそれぞれと通信するための、第２の無線発信器、第２の無線受信機および／または第２の無線送受信器を備える。好適には、器具３２０は、第１の無線発信器、第１の無線受信機および／または第１の無線送受信器をそれぞれ１つ備える。

ユーザはアーム３０２および器具３２０から離れた場所にいてもよく、このことから、前記アームおよび器具を直接見ることができなくてもよい。器具３２０は手術部位に埋め込まれて直接観察できないようになっていてもよい。そうしたセットアップの一例が図５に示されている。図５には、基台５０８、アーム５０２および器具５０５で構成される典型的な手術ロボット５００が示されている。前記基台は、当該ロボットを支持し、かつ、それ自体も例えば手術室の床、手術室の天井、トロリー等に強固に取り付けられる。前記アームは、前記基台と前記器具との間に延びている。前記アームは当該アームの長さに沿って、前記手術器具を患者に対する所望の位置に配置するように用いられる複数のフレキシブルジョイント５０３によって回動される。前記手術器具は、このロボットアームの先端部５０４に取り付けられている。前記手術器具は、ポート５０７で、手術部位にアクセスするように患者５０１の体内に進入する。前記器具は当該器具の先端部に、医療処置を行うためのエンドエフェクタ５０６を備えている。

図５には１つの器具を有する１つのアームが示されているものの、実際には、複数のアームおよび器具が使用されると考えられる。１つのアームは、手術部位を示す画像信号を提供する撮像装置に連結されている。例えば、前記撮像装置は内視鏡とすることが可能である。前記内視鏡は、手術部位からビデオストリームなどの画像フィードを提供することができる。前記撮像装置によって提供される画像により、ユーザは、例えば表示装置３０６を介して、手術部位のエンドエフェクタを見ることが可能である。これにより、ロボット手術システム３００のユーザまたはオペレータ（外科医など）は、前記器具を制御して手術を行うことが可能である。

多くの手術においては、ユーザが２つ以上の器具３２０の中から選択可能であることが望ましい。例えば、入力装置３０４は複数の器具３２０を制御するために使用可能である。入力装置３０４は、１つの器具に連結されたとき当該１つの器具を制御するために使用可能であり、他の器具に連結されたときには当該他の器具を制御するために使用可能である。換言すれば、入力装置３０４は、当該入力装置が操作可能に連結される器具３２０を制御するために使用可能である。入力装置と器具との間の連結は交換可能である。１つの器具を複数の入力装置によって制御することが可能である。前記器具は、１つの入力装置による当該器具の制御を可能とするために当該１つの入力装置に連結可能である。前記１つの入力装置から取り外されたとき、前記器具は、他の入力装置による当該器具の制御を可能とするために当該他の入力装置に連結することができる。２つ以上の器具３２０を１つの入力装置３０４に操作可能に関連付けることが可能である。

一般に、前記外科医コンソールは、当該外科医コンソールによる器具の制御を可能または有効とするために、１つ以上の器具に操作可能に連結可能である。好適には、前記外科医コンソールは、同時に２つ以上の器具の制御を可能とするために複数の器具に操作可能に連結可能である。例えば、前記外科医コンソールは３つ以上の器具に操作可能に連結可能であり、それらの器具のうちの２つの器具を同時に制御することを可能にする。他の例において、より多くの器具を同時に制御することが可能である。前記外科医コンソールは、例えば、２つの手術用器具および１つの内視鏡の同時制御を可能にすることができる。

前記器具または複数の器具は１つ以上の状態信号と関連付けられている。一例では、各器具はそれぞれの状態信号出力するように構成されている。前記１つ以上の状態信号は、複数の器具の状態を示す信号を含んでいてもよい。前記１つ以上の状態信号は、１つの器具の状態を示す信号を含んでいてもよい。制御システム３０８は前記１つ以上の状態信号を受信するように構成されている（方法のステップを示す図３Ｂの３５０を参照）。

前記１つ以上の状態信号は、前記外科医コンソールによる制御について、１つ器具または複数の器具のそれぞれの選択可能性を示す。つまり、前記制御システムは、前記器具または前記各器具の選択可能性を判断することが可能である（ステップ３５２）。一例において、前記１つ以上の状態信号は、器具が前記手術ロボットに連結されており、前記制御システムから指令（前記制御システムを介した前記外科医コンソールからの指令など）を受信することができるということを示し、また、前記器具がそれらの指令に相応に応答可能であるということを示すことができる。

いくつかの例において、前記器具の状態は、器具の識別、器具の電力状態（バッテリおよび／または他の部品の内部電力状態など）、電動ツール（焼灼器など）の電力状態の少なくとも１つを含む。好適には、前記器具の状態が、電動ツールに電力を供給できないことを示している場合、当該器具は前記制御システムによって選択不能である。

前記器具の状態には、前記器具の温度または前記器具の一部の温度が含まれていてもよい。好適には、前記器具の状態が、前記温度が動作範囲外にある（例えば、前記器具が過熱している可能性がある）ことを示す場合、当該器具は前記制御システムによって選択不能である。前記温度の動作範囲は、適宜予め定められ範囲および／またはユーザが選択可能な範囲である。

好適には、前記器具の状態には、当該器具のこれまでの使用回数もしくは当該器具の使用時間（累積時間など）、当該器具の残りの使用回数、および／または当該器具の残り寿命が含まれていてもよい。好適には、前記器具の状態が、（例えば、所定の使用回数または所定の使用時間（累積時間など）を超過するなどしたことにより）当該器具をこれ以上使用するべきではないということを示す場合、当該器具は制御システムによって選択不能である。

好適には、前記器具の状態には故障状況が含まれる。好適には、前記故障状況は、前記アームおよび／または器具の動作における故障の発生を示す。この故障は現在または過去のものであってもよい。すなわち、故障を生じさせる状況が進行中であってもよいし、停止していてもよい。例えば、前記アームおよび／または器具は閾値力を超える力を受けてもよい。前記閾値力を超える力は、ケーブルの伸張が発生したことまたは発生した可能性が高いことを示してもよい。前記故障状況は、前記アームおよび／または器具が前記閾値力を超える力を受けているということを示すことができる。前記故障状況は、前記アームおよび／または器具が、例えば前記システムに連結されてからこれまでに（すなわち、過去の特定の時点において）前記閾値力を超える力を受けたことを示すことができる。

好適には、前記制御システムは、１つ以上の状態信号に応じて、前記器具が選択可能であるかどうかを判断するように構成されている。

前記器具の状態には、ジョイントの状態信号およびエンドエフェクタの信号の１つ以上を含む前記器具の形態が含まれていてもよい。前記ジョイントの状態信号は、好適にはジョイントの向きおよび／またはトルク、および／またはジョイントにかかる力を示す。前記エンドエフェクタ信号は、好適には、前記器具のエンドエフェクタの向きおよび／または形態（グリッパのジョーの開閉状態など）、および／またはエンドエフェクタにかかる力を示す。

いくつかの例において、前記複数の器具のうちの少なくとも１つの器具は、前記１つ以上の状態信号を出力するように構成されている。好適には、前記少なくとも１つの器具は、前記器具または前記複数の器具の状態に応じて前記１つ以上の状態信号を出力するように構成されている。前記器具の状態には、（エンドエフェクタが移動可能である場合には）前記エンドエフェクタの配置が含まれていてもよい。換言すれば、前記エンドエフェクタがグリッパである場合、前記器具の状態には、当該グリッパの状態（開状態、閉状態、または特定の中間形態であるなど）が含まれていてもよい。例えば、前記器具の状態には、前記グリッパのジョーの離間角度が含まれる。好適には、前記エンドエフェクタがジョーなどの別個の要素を備える場合、この別個の要素は個別に制御可能である。例えば、一対のジョーのそれぞれは独立に制御可能である。好適には、前記器具の状態には、ジョーなどの別個の要素のそれぞれの状態が含まれる。前記エンドエフェクタが電気手術ツールを備える場合、前記器具の状態には、好適には、当該電気手術ツールの起動状態（例えば、当該ツールが電気的に起動されていること、電気的に起動されていないこと）、および／または当該ツールの温度などの他の関連情報（なお、電気的に起動した後、前記ツールの温度は所定時間上昇したままになる）が含まれる。好適には、前記器具の状態には、電気手術ツールが「切開」モードまたは「凝固」モードにあるという表示が含まれる。

好適には、前記器具または各器具は、当該器具の状態の少なくとも一部を判断するために１つ以上のセンサを備える。前記少なくとも１つの器具は、好適には、前記制御システムに前記１つ以上の状態信号を送信するように構成されている。

前記１つ以上の状態信号は、いくつかの例において、前記外科医コンソールおよび／または手術ロボットとの前記器具の適合性を示す適合性信号を含む。この適合性信号を用いて、前記器具が前記外科医コンソールおよび／または手術ロボットと適合性を有することを確認し、かつ、前記器具が適合性を有するとの判断に応じて前記器具を前記制御システムによって選択可能としてもよい。

器具は、当該器具が前記手術ロボットに連結または取り付けられている場合、前記外科医コンソールによる制御のために選択可能であってもよい。前記器具は、任意の１つ以上の必要な連結後確認（ソフトウェア初期化ルーチン、セットアップ確認、構成確認など）がなされ、ポートに再挿入され、手術部位へと進入したときに、前記外科医コンソールによって選択可能であってもよい。器具は、前記手術ロボットへの連結後直ちに選択可能でなくてもよい。好適な例において、連結後確認は、好適には３０秒未満で完了し、好ましくは２０秒未満で完了し、例えば１０秒未満で完了してもよい。

器具は制御モードと関連付けられている。前記制御モードは、前記器具の制御または動作のモードを示す。好適には、複数の制御モードを含む一群のモードが存在する。

前記一群のモードには、前記外科医コンソールによって器具が制御可能である操作モードが含まれる。前記器具は、前記外科医コンソールに操作可能に連結されたとき、前記外科医コンソールによって制御可能であってもよい。好適には、前記操作モードにおいて、前記外科医コンソールで入力された入力指令（入力装置からの信号など）により、前記器具の制御が行われる。例えば、入力装置における、器具を横方向に移動させるための入力信号により、前記制御システムに制御信号を前記手術ロボットへと出力させて、対応する横方向の移動を各前記器具に生じさせることが可能である。前記操作モードにおいて、前記制御システムは、前記外科医コンソールを器具に操作可能に連結する。

前記一群のモードには、前記外科医コンソールによる制御に器具が選択可能である選択モードが含まれる。好適には、前記選択モードにおいて、前記外科医コンソールによる制御に複数の器具が選択可能である。

前記１つ以上の状態信号は、前記一群のモードのうち、１つの器具または複数の器具のそれぞれの制御モードを示し、前記一群のモードには前記操作モードおよび前記選択モードが含まれる。すなわち、前記制御システムは、器具の制御モードを判断することが可能である。好適には、前記制御システムは、前記複数の器具のそれぞれの制御モードを判断するように構成されている（ステップ３５４）。

好適には、上記関連付けまたは連結が前記外科医コンソールにおいてユーザに示される。これは表示装置３０６を介して行ってもよい。好適には、制御システム３０８は、特に、いずれの器具が前記システムに接続されているか、それらの器具のうちのいずれが外科医コンソール４００による制御に利用可能であるか、いずれの器具が前記外科医コンソールによって現在選択されているか（または、２つ以上の入力装置が設けられている場合に、いずれの器具が前記外科医コンソールによって現在選択されているか）、および、器具が、前記外科医コンソールによって当該器具を操作もしくは制御できる操作モードにあるか、または前記器具が、前記外科医コンソールによる制御に当該器具を選択できる選択モードにあるかについて、前記器具のグラフィック表現を表示装置に表示させてユーザに識別可能とするように構成されている。好適には、制御システム３０８は、前記操作モードにおいて、いずれの器具または複数の器具が前記外科医コンソールによって制御可能かであるかについて、前記器具のグラフィック表現を前記表示装置に表示させてユーザに識別可能とするように構成されている。好適には、制御システム３０８は、前記選択モードにおいて、いずれの器具または複数の器具が前記外科医コンソールによって選択可能であるかについて、前記器具のグラフィック表現を前記表示装置に表示させてユーザに識別可能とするように構成されている。

制御システム３０８は、受信した前記１つ以上の状態信号に応じて、表示用のグラフィックアイコン配列を決定するように構成されている（ステップ３５６）。各アイコンは前記複数の器具のそれぞれを表す。例えば、第１のアイコンは第１の器具を表わし、第２のアイコンは第２の器具を表す。同様に、１つ以上の他のアイコンが、１つ以上の他の器具をそれぞれ表す。制御システム３０８は、表示信号を出力して前記グラフィックアイコン配列を表示させるように構成されている。

外科医コンソール４００が２つ以上の入力装置を含む場合、制御システム３０８は、好適には、前記入力装置のうちの１つによっていずれの器具または複数の器具が制御可能であるかについて、前記グラフィックアイコン配列を表示装置３０６に表示させてユーザに識別可能とするように構成されている。例えば、左手側および右手側の入力装置が設けられる場合、前記制御システムは、前記器具のどちらが前記左手側の入力装置によって選択可能であり、前記器具のどちらが前記右手側の入力装置によって選択可能であるかを示してもよい。

好適には、前記アイコンまたは各アイコンには、画像、絵文字および表意文字の少なくとも１つが含まれる。好適には、前記制御システムは、前記アイコンに画像、絵文字および表意文字の少なくとも１つが含まれるように構成されている。前記アイコンは二次元または三次元のアイコンとすることができる。前記アイコンには、好適には前記器具のエンドエフェクタの表現が含まれる。前記アイコンには、前記器具および／またはエンドエフェクタの静的表現が含まれてもよい。前記アイコンには、前記器具および／またはエンドエフェクタの動的表現が含まれてもよい。動的表現の一例としては、前記器具および／またはエンドエフェクタ自体が画像フィードに示されている向きと同一の向きに示される表現が挙げられる。この表現は、経時的な変化が可能であるので動的表現である。

好適には、前記アイコンには、前記エンドエフェクタ、前記器具、および当該器具が取り付けられる前記ロボットアームの少なくとも１つの色と一致する色が付されている。前記器具は、好適には、前記エンドエフェクタから（または、前記エンドエフェクタが連結されている関節部から）当該器具のベースへと延びるシャフトを備える。前記エンドエフェクタは手術部位に挿入可能である。前記器具のベースはロボットアームに連結される。したがって、前記ベースは前記手術部位にはない。前記器具のシャフトは、外部から前記手術部位へと延び、患者の内部へと手術部位に向かって延びている。したがって、前記器具の異なる部分が異なる方法で視認できてもよい。例えば、前記器具のベースは、手術室（ＯＲ）のスタッフが直接視認できる。また、患者の外部にある器具シャフトの部分についても、ＯＲスタッフが直接視認できる。前記エンドエフェクタは（患者内部の手術部位にあるとき）直接視認できないものの、前記撮像装置によって撮像されることにより、ディスプレイ上に表示された画像によって視認できる。患者内部にある器具シャフトの部分は直接視認できないものの、ディスプレイ上に表示された画像によって視認できる。好適には、前記アイコンには、前記器具の１つ以上の部分（すなわち、前記ベース、前記シャフトの一部、前記関節部および前記エンドエフェクタ）の色と一致する色が付されている。この点については下記でより詳細に説明する。よって、前記グラフィックアイコン配列に表示されたアイコンにより、そのアイコンが表す器具の識別が可能である。

上述のとおり、前記一群のモードには操作モードおよび選択モードが含まれる。制御システム３０８は、好適には、モード変更信号を受信すると選択モードへのモード変更を制御するように構成されている。制御システム３０８は、前記外科医コンソールおよびロボットアームの一方または両方からモード変更信号を受信するように構成されている（ステップ３５８）。前記ロボットアームは、好適には、例えば、前記ロボットアームにおける制御または入力装置（ボタンまたはスイッチなど）の動作に応答して、モード変更信号を出力するように構成されている。これにより、ＯＲスタッフの一人が、前記ロボットアームにモード変更信号を出力させる制御を行うことが可能である。好適には、外科医コンソール４００はモード変更信号を出力するように構成されている。例えば、前記外科医コンソールは、ユーザなどによる前記外科医コンソールの制御の操作に基づいてモード変更信号を出力するように構成されている。好適には、入力装置３０４はモード変更信号を出力するように構成されている。例えば、入力装置３０４のボタンまたは他の制御部は、前記外科医コンソールにモード変更信号を出力させるように構成されている。これにより、外科医は、前記外科医コンソールにおいて、ボタンを押すことまたは他の制御部を操作することによって前記選択モードに入ることを選択できる。前記外科医コンソールの外科医は、前記外科医コンソールによるモード変更信号の出力を行わせる指令を、前記外科医コンソールに入力することができる。

器具は、制御システム３０８で受信したモード変更信号に応じて選択モードに入ってもよい。前記器具は、前記操作モードから、または一群のモードに含まれる他のモードから選択モードに入ってもよい。前記器具は、セットアップまたはスタートアップモードから前記選択モードに入ってもよい。好適には、前記セットアップまたはスタートアップモードは、前記手術ロボット、外科医コンソール、制御システム、および／または器具に対して、操作の準備または前記システムの少なくとも１つの他の部分への操作可能な連結を行う際にスタートアップルーチンが行われるモードである。好適には、前記セットアップモードは、前記複数の器具のうちの１つの器具を前記外科医コンソールに操作可能に連結するためにセットアップするモードである。好適には、前記一群のモードには前記セットアップモードが含まれる。前記器具は、前記システムに器具が新たに追加される新規器具モードから前記選択モードに入ってもよい。この点については下記でより詳細に説明する。好適には、前記一群のモードには前記新規器具モードが含まれる。

制御システム３０８は、受信した前記モード変更信号に応じて、前記グラフィックアイコン配列を変更するように構成されている（ステップ３６０）。前記変更は、選択可能な１つの器具または選択可能な複数の器具の識別を可能にするような変更である。前記グラフィックアイコン配列の変更は、前記アイコンのレイアウトのみの変更に限定されず、アイコン自体の変更、および／または表示された画像の他の態様（アイコンの表示方法やアイコンの向きなど）の変更も含まれる。この点については、そうした変更の例に照らして、下記でより詳細に説明する。

好適には、制御システム３０８は、受信した前記モード変更信号に応じて、いずれの器具または複数の器具が外科医コンソール４００による制御に選択可能であるかを判断するように構成されている。

前記外科医コンソールは、好適には、前記制御システムに選択信号を送ることにより、選択可能な器具を選択または選択可能な器具間で選択するように構成されている。前記選択信号は、選択可能な器具のいずれが、前記外科医コンソールによる操作可能な制御のために選択されるのかを示す。前記選択信号は、好適には、前記外科医コンソールの入力装置（例えば、手動で操作される入力装置３０４）から送られる。ユーザは、好適には、入力装置３０４（例えば、ジョイスティック式制御部、ボタン式制御部、タッチ式制御部および／またはトリガー式制御部）において制御を行って、前記外科医コンソールに選択信号を出力させてもよい。前記外科医コンソールは、好適には、前記制御システムに選択信号を出力するように構成されている。前記制御システムは、好適には、選択信号を受信するように構成されている（ステップ３６２）。

前記選択は、外科医コンソール４００において行って、前記選択領域から所望の器具に関連付けられたアイコンを選択することができる。入力装置３０４自体はこの選択をするために使用する必要がない。入力装置３０４に代えて、またはそれに加えて、他のボタンまたは制御部（外科医コンソール４００のフットペダル４３０またはスイッチなど）を使用することも可能である。これにより、前記器具の選択に柔軟性が与えられる。典型的なシステムでは、入力装置３０４と同数の器具を同時にアクティブとすることが可能である。例えば、２つの入力装置３０４が設けられている場合、最大で同時に２つのアクティブな器具３２０があってもよい。

制御システム３０８は、各入力装置３０４が、当該入力装置３０４に操作可能に連結される器具３２０を選択できるように構成されていてもよい。制御システム３０８は、入力装置３０４が、他の入力装置３０４に操作可能に連結される器具３２０を選択できるように構成されていてもよい。

前記選択可能な器具の選択は、都合のよい任意の方法で行うことができる。例えば、選択される前記器具は、その器具を表すアイコンを強調することで示すことができる。このアイコンは、例えば、色、サイズおよび／または背景などといったアイコンの態様を変更することによって強調することができる。例えば、前記アイコンは明滅させてもよい。前記アイコンは、ディスプレイ内での位置を変更することによって、例えば、アイコンのリストのトップ（または予め定められた位置）に移動させることによって強調することができる。一例では、強調されたアイコンは、そのアイコンによって表わされる器具が選択されるということを示すために、「選択ボックス」内に配置することが可能であり、この選択ボックスは、表示された前記グラフィックアイコン配列において一か所に留まってもよい。好適には、前記外科医コンソールは、選択可能な器具を表す複数のアイコンについて、順次繰り返してアイコンの強調を行うことが可能である。これにより、所望の器具を選択することが可能である。好適には、アイコンの近くにインジケータ（矢印など）を表示することにより、そのアイコンを強調することが可能である。前記インジケータは、強調されるアイコンを変更するためにユーザ入力に応じて移動させることができる。前記インジケータは、好適には、強調された前記アイコンが前記右手側の入力装置について強調されているのか、または前記左手側の入力装置について強調されているのかを示す。好適には、アイコンの左側に表示されるインジケータは、そのアイコンが左手側の入力装置について強調されていることを示す。好適には、アイコンの右側に表示されるインジケータは、そのアイコンが右手側の入力装置について強調されていることを示す。

所望の器具が強調または他の方法で表示されると、その器具の選択を確認することが可能である。好適には、前記選択信号には、選択される器具を示す第１の選択信号と、この選択を確認する第２の選択信号とが含まれる。これにより、外科医などのユーザは、前記外科医コンソールにおいて、前記選択可能な器具の間を移動して所望の器具を選択することができる。制御システム３０８は、受信した前記選択信号に応じてグラフィックアイコン配列を変更するように構成されている（ステップ３６４）。この変更は、選択された前記器具の識別を可能にするための変更である。そうした変更の例については以下で説明する。

制御システム３０８は、前記選択信号を受信すると、外科医コンソール４００よる、選択された前記器具の制御を可能とするように構成されている（ステップ３６６）。これは、選択された前記器具と前記外科医コンソールとの間における操作可能な連結を可能にすることにより実現できる。選択された前記器具と前記外科医コンソールとの間の操作可能な連結は、選択された前記器具と外科医コンソール４００の入力装置３０４との間であってもよい。好適には、前記選択信号により、選択された前記器具が操作可能に連結される入力装置の識別が可能である。例えば、前記選択信号には、前記器具が操作可能に連結される入力装置を識別するための入力装置識別子が含まれてもよい。好適には、制御システム３０８は、入力装置識別子によって識別される入力装置３０４によって、選択された前記器具の制御を可能にするように構成されている。前記選択信号は入力装置識別子を含んでいなくてもよい。例えば、１つの入力装置が当該入力装置に操作可能に連結される器具を選択する場合、前記制御システムは、前記選択信号が由来する入力装置と選択された前記器具の間で操作可能な制御を可能にすることができる。

入力装置３０４は、同時に１つの器具３２０に関連付けることまたは操作可能に連結することが可能である。当該関連付けまたは連結は、一例では、制御システム３０８によって制御される。前記関連付けまたは連結はソフトウェア制御で実現されてもよい。好適には、入力装置３０４は、器具が前記操作モードと関連付けられている場合に、その器具と関連付けることまたは操作可能に連結することができる。制御システム３０８は、受信した前記選択信号に応じて、選択された前記器具に操作モードに入らせるように構成されていてもよい。

図６を参照すると、グラフィックアイコン配列の一例が示されている。前記グラフィックアイコン配列はディスプレイ３０６に表示される。ディスプレイ３０６は長方形のスクリーンを備える。他の例において、他の寸法のスクリーンを使用してもよい。好適には、前記グラフィックアイコン配列にはリスト領域および選択領域が含まれる。前記リスト領域は、例えば、前記選択モードへのモード変更の前に、前記複数の器具のうちの１つを表すアイコンが表示される領域である。前記選択領域は、前記選択モードにおいて、前記複数の器具のうちの選択可能な器具を表すアイコンが表示される領域である。好適には、前記リスト領域および選択領域は少なくとも部分的に重なっていない。

前記グラフィックアイコン配列は、好適には、受信した画像フィード（例えば、手術部位から受信した画像フィード）を重ね合わせるように表示装置上に提供される。これにより、ユーザは前記画像フィードと共にアイコンを見ることができる。前記グラフィックアイコン配列により、例えば、各器具が制御に利用可能または選択可能であるか、前記器具が制御されているかどうか、例えば、前記器具は前記操作モードにあるかどうか、および／またはいずれの入力装置が前記器具に操作可能に連結されているのかといった前記システムの状態の１つ以上の態様を、ユーザが識別することが可能である。

図６に示された例において、画像フィード６０２はディスプレイ３０６の中央に提供されている。この画像フィードは略円形の画像として示されているが、任意の形状とすることができる。通常、内視鏡などの撮像装置からの画像は長方形である。他の寸法の画像フィードが提供されてもよい。図面に示された円形画像は、好適には、手術部位の画像の中央部分、または手術部位の画像において最も重要もしくは最も関心のある部分を表す。図面に示されているように、前記画像は、任意の適切な形状とすることができる。画像フィード６０２は実質的にディスプレイの全高さを占めているが、図示された例においてはディスプレイの全幅を占めていない。つまり、外科医が前記画像フィードを見ることを妨げることなくグラフィック表示を提供することが可能な領域が、表示された画像フィードのいずれかの側にも存在している。図６では、これらの領域がボックス領域６０４および６０６によって示されている。好適には、各ボックス領域６０４および６０６はそれぞれの入力装置に対応する。前記ボックス領域は前記ディスプレイ上でボックスとして示す必要はないが、領域の範囲を示すことは必要である。いくつかの例において、外科医が前記画像フィードを見ることを妨げることなくグラフィック表示を提供することが可能な領域が、表示された前記画像フィードのトップおよび／または底部に存在してもよい。

１つのボックス領域６０４が前記ディスプレイの左側に配置されており、好適には左手側の入力装置に対応する。他のボックス領域６０６が前記ディスプレイの右側に配置されており、好適には右手側の入力装置に対応する。各ボックス領域には、前記ロボットシステムに接続されている器具を表すアイコン６０８が含まれる。左側のボックス領域６０４には、好適には、前記左手側の入力装置に操作可能に連結または前記左手側の入力装置に最も近い時点で連結された器具のアイコンが含まれる。右側のボックス領域６０６には、好適には、前記右手側の入力装置に操作可能に連結または前記右手側の入力装置に最も新しく連結された器具のアイコンが含まれる。

好適には、前記リスト領域はボックス領域６０４，６０６を含む。制御システム３０８は、好適には、器具が前記一群のモードのうちの少なくとも１つのモード（操作モードなど）にあるとき、それらの器具を表すアイコンをリスト領域６０４，６０６に表示させるように構成されている。

各入力装置３０４（または、より一般的にいえば外科医コンソール４００）が１つの器具に操作可能に連結されている場合、各ボックス領域６０４，６０６のアイコン６０８のうちの１つは、好適には、そのボックス領域内の他のアイコンから区別され、その入力装置３０４（または外科医コンソール４００）によって制御されている前記器具を識別することができる。制御されている前記器具は、アクティブな器具と称してもよい。制御されていない他の器具は非アクティブな器具と称してもよい。

好適には、前記システムは、現在アクティブな器具に対応するアイコンについて、サイズ、位置、他のアイコンのリストにおける位置、色、明暗、背景、輪郭線、強調画像、およびグロー効果などの視覚的効果のうちの少なくとも１つを変更することにより、いずれの器具が当該現在アクティブな器具であるかをユーザに対して強調するように構成されている。付加的または代替的に、前記システムは、前記アクティブな器具に対応するアイコンを二次元から三次元に、または三次元から二次元に変更することにより、ユーザに対して当該アクティブな器具を強調するように構成されていてもよい。これにより、画像が三次元的に表示される場合、前記アクティブなエンドエフェクタの表現と、当該画像に視覚化された各エンドエフェクタとの対応関係をユーザがより自然に理解できるので、特に効果的となり得る。

背景の変更方法の例としては、円または多角形などの形状で前記アイコンを囲むことが挙げられる。前記アクティブな器具のアイコンを囲む形状は、他のアイコン用のものよりも大きくしてもよく、かつ／または境界線の幅が異なっていてもよい。例えば、前記アクティブな器具のアイコンを囲む形状は、好適には、他の形状よりも境界線が太い。いくつかの例において、前記アクティブな器具のアイコンを囲む形状は、他のアイコンを囲む形状とは異なる。好適には、他のアイコンを囲む形状は全て同一の形状である。例えば、前記アクティブな器具のアイコンを円で囲み、他の全てのアイコンは正方形で囲むことができる。他の形状および形状の組み合わせを使用することも可能である。いくつかの例において、前記アクティブな器具のアイコンと他のアイコンの背景の色を相違させることができる。例えば、前記アクティブな器具のアイコンの背景を緑とし、他のアイコンの背景をオレンジとすることができる。

いくつかの例において、アクティブな器具のアイコンは、非アクティブな器具のアイコンよりも大きくてもよい。アクティブな器具のアイコンは、非アクティブな器具のアイコンの位置と比較すると、前記ディスプレイの端からインデントされていてもよい（または前記ディスプレイの端により接近させてもよい）。アクティブな器具のアイコンは、１つ以上の非アクティブな器具と比較すると、考え得る器具のリストにおいて、上下方向のリストなどではより高い位置もしくはより低い位置に配置することができ、または、水平方向のリストなどでは右側もしくは左側に配置することができる。好適には、前記リストは上下方向のリストであり、前記アクティブな器具のアイコンはこのリストのトップに位置する。同様に、アイコンのリストが水平方向および／またはディスプレイの底部に向かって配置される他の例においては、前記アクティブな器具のアイコンは、前記ディスプレイの角（または他の容易に判断できる箇所）に最も近くなるように配置してもよい。これにより、前記アクティブな器具を速やかに識別することができる。好適には、前記アイコンは、前記ディスプレイの右縁もしくは左縁もしくはその付近、かつ／または前記ディスプレイの上縁もしくは下縁もしくはその付近に配置されることで、前記画像フィードとこれらのアイコンとの干渉を低減または最小限にする。

アクティブなエンドエフェクタを表すアイコンは、非アクティブなエンドエフェクタを表すものとは異なる色（より明るく且つ／又はより目立つ色など）が付されていてもよい。一例において、非アクティブなエンドエフェクタを表すアイコンは白黒となっており、アクティブなエンドエフェクタを表すアイコンはフルカラーとなっている。

アイコンの透明度の差を用いて、アクティブなエンドエフェクタを表すアイコンと非アクティブなエンドエフェクタを表すアイコンとを区別することも可能である。アクティブなエンドエフェクタを表すアイコンは比較的透明度の低いアイコンとして、非アクティブなエンドエフェクタを表すアイコンは比較的透明度の高いアイコンとすることができる。例えば、アクティブなエンドエフェクタを表すアイコンは、ソリッドなアイコンとして、非アクティブなエンドエフェクタを表すアイコンは、透明、部分的に透明、またはグレーアウトされたアイコンとすることができる。図１２から図１４を参照すると、比較的透明度の高いアイコンは破線で示されている。また、ディスプレイ上のアイコンを破線で示すことも可能であるが、そのようにしなくてもよい。

いくつかの例において、これらのアプローチを組み合わせることも可能である。

図６の例に示されているように、ディスプレイの周縁付近にアイコンを配置することにより、外科医などのユーザがそのディスプレイを見るとき、それらのアイコンは当該ユーザの周辺視野に表示されることになる。したがって、アイコンを適切に見るために、および、前記手術ロボットの状態を十分に評価できるようにするためには、ユーザが見ている箇所または注意を向ける箇所を変える必要が生じるおそれがある。この理由としては、ユーザの周辺視野においては視力が著しく減少することがいえる。この点は、特に、手術の間、外科医の注意が手術部位により適切に集中する手術ロボットの場合に望ましくない。したがって、前記手術ロボットの操作および前記外科医コンソールとの対話を行う際に、ユーザの周辺視野に依らずに、かつユーザの注意を手術部位からそらさずに、前記システムを動作させることが可能であると望ましい。

図６のグラフィックアイコン配列には選択領域６１０が含まれる。好適には、前記選択モードにおいて、前記１つ以上の選択可能な器具に関連付けられたアイコンが選択領域６１０に表示される。好適には、図６に示されるように、器具選択領域６１０はリスト領域６０４，６０６と重なりあっていない。例えば、器具選択領域６１０は、前記ディスプレイにおいてリスト領域６０４，６０６とは異なる部分に配置されている。これにより、アイコンが前記リスト領域に配置されているのか、前記選択領域に配置されているのかを容易に識別することができる。また、これにより、手術の間前記アイコンが外科医の視覚を阻害しない位置に前記リスト領域を配置し、外科医が周辺視野を使用することなくまたは手術部位の画像から注意をそらすことなく容易にアイコンを識別できる位置に前記選択領域を配置することができる。

好適には、前記リスト領域は、前記グラフィックアイコン配列の周縁およびその付近の一方に配置される。前記リスト領域は、例えば、ディスプレイ３０６の中央部分（画像フィード６０２を表示する部分など）を見ているユーザの周辺視野の領域に配置されるように、前記ディスプレイの周縁付近に配置されることが好ましい。

好適には、前記グラフィックアイコン配列には手術部位の画像を表示する画像領域が含まれる。前記画像領域は、前記グラフィックアイコン配列の中心付近に配置されている。好適には、前記リスト領域は、前記画像領域と少なくとも部分的に重なっていない。これにより、前記画像領域内に示された画像と前記リスト領域内のアイコンとの干渉を抑えることができる。

好適には、選択領域６１０は、ディスプレイ３０６の中心付近に配置される。選択領域６１０は、画像領域６０２と少なくとも部分的に重なるように配置されてもよい。これにより、前記画像フィードに集中しているユーザは、当該画像フィードから注意を逸らさずに前記選択領域を見ることができる。一例では、制御システム３０８は、図６に模式的に示されるように、選択領域６１０をディスプレイ３０６の中央に表示させるように構成されている。

そうした例では、前記操作モードにあるとき、ユーザに対して、このユーザが画像フィードを見ることを阻害しないリスト領域内にアイコン６０８が表示される。前記選択モードにおいては、ユーザに対して、このユーザが画像領域６０２を見つつも所望の器具を選択できるように、容易に識別可能な選択領域６１０内にアイコン６１２，６１４が表示される。

一例では、前記システムが前記操作モードにある場合、器具３２０は、（例えば、外科医コンソール４００の入力装置３０４に操作可能に連結されることにより）外科医コンソール４００に操作可能に連結される。そうした例において、制御システム３０８は、当該器具のアイコン６０８をリスト領域６０４，６０６に表示させるように構成されている。他の例において、前記システムがセットアップまたはスタートアップモードにある場合、器具３２０は外科医コンソール４００に連結されていてもよいが、この連結は、当該外科医コンソールによる前記器具の操作可能な制御を可能としなくてもよい。例えば、器具３２０が、前記手術ロボットに新たに連結されてもよい。この場合、前記器具は、外科医コンソール４００に直ちに操作可能に連結できなくてもよい。前記器具は、後から、例えばセットアップ確認が行なわれた後に、外科医コンソールに操作可能に連結することが可能であってもよい。この例において、制御システム３０８は、前記器具のアイコンをリスト領域に表示させるように構成されていてもよい。

好適には、前記リスト領域には、新たに追加された器具を表すアイコンが表示される新規器具領域が含まれる。好適には、前記新規器具領域は、前記画像領域と少なくとも部分的に重なるように配置される。器具は、特定のタイムフレーム内で前記手術ロボットに追加または連結された場合、新たに追加されたと認識させることが可能である。この特定のタイムフレームは、直前の５秒間、直前の３０秒間、直前の１分間、またはユーザが選択可能なタイムフレームなどの任意の他のタイムフレームであってもよい。好適には、前記ユーザが選択可能なタイムフレームは、前記外科医コンソールで選択可能である。前記タイムフレームは、前記外科医コンソール、手術ロボットおよび／または器具のスタートアップルーチンで指定してもよい。好適には、器具は、前記手術ロボットに連結されてから使用するために選択されていない場合、新たに追加されたと認識される。好適には、器具は、前記手術ロボットに連結されてから選択モードに入っていない場合、新たに追加されたと認識される。

図７に示された例について、制御システム３０８は、新規器具領域７２０を設けるように構成されている。制御システム３０８は、新たに追加された器具のアイコンを新規器具領域７２０に表示させるように構成されている。好適には、新規器具領域７２０は、前記リスト領域の一部（例えば符号７０４，７０６で示された部分）と重なっていない。好適には、新規器具領域７２０は、前記ディスプレイの周縁およびその付近の一方に設けられている。図示された例において、新規器具領域７２０は、画像領域７０２と少なくとも部分的に重なるように配置される。例えば、新規器具領域７２０は画像領域７０２の底部分に配置されてもよい。新規器具領域７２０にアイコンを配置することにより、ユーザに対して、関連付けられた器具３２０が利用可能であること、例えば、外科医コンソールによる制御に選択可能であることを示す。これらの器具のアイコンを（前記ディスプレイの左右の部分ではなく）前記ディスプレイの中央部分に表示させることにより、ユーザに対して、これらの器具が特定の入力装置３０４と関連付けられていない（または関連付けられていなかった）ということを示すことができる。これらのアイコンを中央部分に表示することにより、ユーザに対して、関連付けられた器具が左手側の入力装置および右手側の入力装置の一方または他方と関連付けられていない（または関連付けられていなかった）ということを示すことができる。新規器具領域７２０の中央位置は、例えば入力装置に対する関連器具の「中立性」を示すことができる。

前記選択モードへのモード変更を示す、外科医コンソールからのモード変更信号を受信すると、制御システム３０８は、好適には、グラフィックアイコン配列を変更して、選択可能な器具に関連付けられたアイコンを、リスト領域６０４，６０６，７０４，７０６，７２０ではなく、選択領域６１０，７１０に表示させるように構成されている。この変更により、ユーザに対して選択可能な器具が示される。さらに、前記選択可能な器具のアイコンが、好適には画像領域７０２と重なるように設けられる選択領域７１０に表示されるので、ユーザは、前記画像領域から視線をそらす必要なく器具３２０を選択することができる。これにより、外科医などのユーザは、器具選択プロセスの間に前記画像フィードに対する集中を維持することができる。したがって、手術の間に外科医の注意が手術部位の画像フィードから逸れてしまうこと関するリスクを抑えるのに役立つ。

好適には、新規器具領域７２０は選択領域７１０と重なっている。これにより、制御システムによるグラフィックアイコン配列を変更して、選択可能な器具に関連付けられたアイコンを、前記新規器具領域ではなく前記選択領域内に表示する際に、各アイコンを移動させる必要がない。一例では、選択可能な器具を表す特定のアイコンが、前記ディスプレイの前記新規器具領域内の特定の位置に表示される。前記選択モードに入ると、前記制御システムは、当該特定のアイコンを、前記新規器具領域の代わりに前記選択領域に関連付けることができる。当該アイコンが表示される領域の変更（または当該アイコンが関連づけられる領域の変更）は、当該アイコンが表示されるディスプレイ上の位置の変更を生じさせる必要がない。

選択不能な器具を表すアイコンは、グラフィックアイコン配列における以前の位置に、例えば新規器具領域などのリスト領域に留まってもよい、

好適には、制御システム３０８は、モード変更信号を受信すると、選択可能な器具を表すアイコンを選択領域７１０に移行させて、各器具が選択可能であることを示すように構成されている。前記アイコンの移行は、前記リスト領域から前記選択領域までであってもよい。

前記移行には、例えば、緩やかまたは滑らかな移行が含まれてもよい。前記移行は連続的な移行であってもよい。前記移行はアニメーションであってもよい。このような移行の一例としては、前記アイコンが選択領域７１０に向かって前記ディスプレイを横切って移動することが挙げられる。これにより、ユーザが、いずれの器具が選択に利用可能であるかを把握するのを補助することができる。よって、右手側のリスト７０６からのアイコンが選択領域７２０に移行する場合、ユーザは、例えば、右手側の入力装置と関連付けられた器具が選択可能であると理解することができる。

このことは図８に模式的に示されている。図８にはディスプレイ３０６が示されており、このディスプレイ上に、制御システム３０８が、手術部位などからの画像フィードを見られるようにするための画像領域８０２を表示させる。アイコン８０８は、左手側のリスト領域および右手側のリスト領域８０６内に配置されている。前記選択モードに変更すると、選択可能な器具に関連付けられたアイコン８３０は、右手側のリスト領域８０６から選択領域８１０へと移行する。前記移行は、破線８３２によって模式的に示されている。同様に、図７を参照すると、新規器具領域７２０内のアイコンは、（図７において破線７３２で模式的に示されるように）選択領域７１０へと移行させることができる。これにより、ユーザは、まだ使用および／または選択がされていない新たな器具が選択可能であることを把握することができる。このような移行により、ユーザに対して、いずれの器具が選択可能であるかについて直観的な表示を提供することができる。

好適には、制御システム３０８は、前記外科医コンソールの複数の入力装置のそれぞれから入力信号を受信するように構成されている。好適には、前記グラフィックアイコン配列は複数の選択領域を含み、各入力装置は前記複数の選択領域のそれぞれに関連付けられている。例えば、前記グラフィックアイコン配列は、左手側の入力装置と関連付けられた左手側の選択領域と、右手側の入力装置と関連付けられた右手選択領域とを含んでいてもよい。好適には、前記制御システムは、モード変更信号を受信すると、各入力装置によって選択可能な器具を表すアイコンを、その入力装置の各選択領域に表示させるように構成されている。例えば、モード変更信号を受信すると、制御システム３０８は、左手側の入力装置によって選択可能な器具を表すアイコンを左手側の選択領域に表示し、かつ右手側の入力装置によって選択可能な器具を表すアイコンを右手側の選択領域に表示させるように構成されている。

なお、各選択領域にそれぞれ表示させることができるアイコンがあってもよい。例えば、１つの器具を、左手側の入力装置および右手側の入力装置のいずれによっても制御可能とすることができる。一例では、制御システム３０８は、そのような器具を表すアイコンを、各選択領域にそれぞれ表示させるように構成されている。前記選択領域の一方において選択をすると、前記アイコンは他方の選択領域または他の複数の選択領域において選択不能となる。このことは、前記アイコンをグレーアウトさせること、他方の選択領域または他の複数の選択領域から前記アイコンを削除すること、または他の任意の適切な方法でユーザに示すことができる。

例えば、アイコンの透明度により、そのアイコンが選択不能となったことを示すことができる。つまり、前記アイコンは、選択可能である場合にはソリッドなものとして示し、選択不能となった場合には少なくとも部分的に透明にしてもよい。

好適には、前記制御システムは、前記グラフィックアイコン配列を変更して前記選択可能な器具の識別を可能とすることには、アイコンの色の変更、前記アイコンのサイズの変更、前記アイコンの背景の変更、二次元的アイコンから三次元的アイコンへの前記アイコンの変更、三次元的アイコンから二次元的アイコンへの前記アイコンの変更、前記アイコンの明滅、および変調させた周波数での前記アイコンの明滅の１つ以上が含まれるように構成されている。アイコンを区別する任意の都合のよい方法（例えば、アクティブな器具のアイコンを区別する場合について上述した方法）を使用することができる。好適には、選択可能な器具のアイコンは、アクティブな器具のアイコンとは異なる方法で区別される。そうした変更により、ユーザは、前記選択可能な器具を容易に識別することができる。

いくつかの例において、制御システム３０８は、手術部位からの画像を示す画像信号を受信し、かつ前記画像を前記画像領域内に表示させるように構成されている。表示された前記画像は、好適には、前記手術部位における器具の器具画像を含む。前記制御システムは、好適には、モード変更信号を受信すると前記器具画像を変更するように構成されている。これにより、変更された前記器具画像に対応する器具を容易に識別することができる。

例えば、選択可能な器具に対応する器具画像を変更することができる。これにより、前記外科医コンソールのユーザは、注意をそらさずとも、手術部位の画像を見ながら選択可能な器具を識別することができる。前記器具画像または複数の器具画像の前記変更は、アイコンの強調および／または移行に加えて、またはアイコンの強調および／または移行の代わりに行うことができる。

好適には、制御システム３０８は、前記画像領域にグラフィックを重ね合わせること、前記画像領域に重ね合わされたグラフィックを変更すること、および前記画像領域に重ね合わされたグラフィックを削除することの少なくとも１つによって前記器具画像を変更するように構成されている。一例では、表示された前記器具画像の少なくとも一部に色を重ね合わせることにより、前記器具画像に視覚的に「偽色」を適用することが可能である。この色の重ね合わせは、前記器具画像に対して連続的に適用する必要はない。一例では、前記色の重ね合わせは、ユーザがユーザ制御を行うことに応答して適用される。ユーザは、同じ制御を再度行なうか、他の制御を行うことにより、色の重ね合わせを消去することができる。前記色の重ね合わせは、特定時間の経過後自動的に消去されてもよい。前記特定時間は、ユーザなどが選択可能であってもよい。前記特定時間は、例えば、２秒、５秒、１０秒、または任意の他の適当な時間とすることができる。

前記色の重ね合わせが適用される前記器具画像の部分は、（前記画像領域で視認できる範囲の）前記器具のシャフト（またはその一部）であってもよい。これにより、重ね合わせを用いずに前記器具のエンドエフェクタを見ることができる。このことは、外科医がエンドエフェクタを見るときの明瞭性の向上に役立つ。

好適には、制御システム３０８は、前記器具画像を変更して、前記選択可能な器具の識別を可能とする前記グラフィックアイコン配列に対する変更に対応させるように構成されている。これにより、ユーザは、前記アイコンおよび器具画像の一方または両方から前記選択可能な器具を識別することが可能である。これにより、ユーザは、状況に応じて前記ディスプレイの最も適切な部分に対する集中を維持することが可能である。

いくつかの例において、制御システム３０８は、選択信号を受信すると、選択された器具に関連付けられたアイコンをリスト領域６０４，６０６，７０４，７０６，８０６に表示させるように構成されている。例えば、制御システム３０８は、各入力装置と関連付けられたリスト領域に、関連アイコンを表示させるように構成されていてもよい。

少なくとも一部の例において、制御システム３０８は、選択されたアイコンを選択領域６１０，７１０，８１０から前記リスト領域に移行させるように構成されている。例えば、前記移行は、アニメーション化された移行（アイコンが前記ディスプレイを横切って移動するなど）であってもよい。前記移行により、ユーザは、関連付けられた器具の選択を直感的に理解することができる。前記移行により、ユーザは、関連付けられた器具が特定の入力装置と操作可能に連結されたことを直感的に理解することができる。例えば、アイコンが左へ（左手側の入力装置と関連付けられたリスト領域などへ）移行する場合、ユーザは、関連付けられた器具が前記左手側の入力装置に操作可能に連結されているということを容易に把握することができる。

好適には、前記リスト領域、選択領域および新規器具領域の少なくとも１つは、その周縁の少なくとも一部の周囲に境界線を有する。好適には、前記制御システムは、モード変更信号を受信するとこの境界線を変更して、モード変更の識別を可能とするように構成されている。好適には、前記境界線は、前記ディスプレイの境界線から離間している。前記境界線の変更は、はっきりした明るく目立つ色で行うことができる。これにより、外科医が前記ディスプレイ上に示された手術部位の画像に集中しているときにその周辺視野にある領域に境界線（前記リスト領域の境界線など）が表示された場合であっても、この変更を目立たせることが可能である。このことは、前記ロボットシステムの状態を外科医に通知する際に貢献する。

好適には、前記制御システムは、前記ロボットシステムの状態の態様に応じて境界線を変更するように構成されている。例えば、前記境界線はカラーバーを含んでいてもよく、前記制御システムは前記カラーバーを変更して電気手術ツールのステータスを示すように構成することができる。例えば、前記カラーバーは、電気手術ツールの電力状態および／または温度を示すことができる。これにより、外科医は、「切断」状態の電気手術ツールと、「凝固」状態の電気手術ツールとを区別することが可能である。例えば、青い境界線を用いて切断状態および凝固状態の一方を示してもよく、黄色の境界線を用いて切断状態および凝固状態の他方を示してもよい。

好適には、アイコンはアイコン境界線を含む。前記アイコン境界線は、各器具および／またはエンドエフェクタのステータスの態様を示すために着色または網掛けなどがされていてもよい。例えば、電気手術ツールは切断モードおよび凝固モードを有していてもよい。そのような電気手術ツールを表すアイコンは、着色されたアイコン境界線を含んでいてもよい。好適には、前記アイコン境界線は、これらのモードの識別を可能なものとすることができる。例えば、黄色のアイコン境界線はその器具が切断モードにあることを示し、青いアイコン境界線はその器具が凝固モードにあることを示してもよい。いくつかの例において、前記境界線は、前記器具が切断モードおよび凝固モードのいずれでもない場合、第３の色（例えば、白色）であってもよい。この理由としては、前記器具の電源が切られている（または、まだ電源が入れられていない）こと、および／または電気手術エンドエフェクタに電力が供給されていないことが挙げられる。

いずれの例においても、前記リスト領域は前記ディスプレイの側縁付近に配置する必要はない。図７を参照すると、一例において、リスト領域７０５はディスプレイ３０６の上部付近に配置されている。上記と同様に、制御システム３０８は、好適には、前記選択モードへのモード変更を示すモード変更信号を受信すると、選択可能な器具に関連付けられたリスト領域７０５内のアイコンを選択領域７１０へと移行させるように構成されている。

以下において、前記制御システムの動作の例を簡潔に説明する。この例では、最初に使用する前に、つまり、初期セットアップフェーズにおいて、当該システムに連結されている器具のアイコンが全て選択領域７１０に表示され、好適にはディスプレイの中央に表示される。このとき、外科医コンソールの外科医は、左手側の入力装置と関連付けられた器具のリストに入れることを所望する器具と、右手側の入力装置と関連付けられた器具のリストに入れることを所望する器具とを選択することができる。

左手側の入力装置における制御（例えば、ジョイスティック制御）は、好適には、前記選択領域からアイコンを選択することができる。左手側の入力装置と関連付けられたインジケータとして、例えば、アイコンの左側にあり右側を指している矢印（または三角形）を、左手側の入力装置における制御によって移動させることができる。ボタン（例えば、左手側の入力装置のボタン）を操作してアイコンを選択することができる。右手側の入力装置での制御（例えば、ジョイスティック制御）により、好適には、選択領域からアイコンを選択することができる。右手側の入力装置と関連付けられたインジケータとして、例えば、アイコンの右側にあり左側を指している矢印（または三角形）を、右手側の入力装置における制御によって移動させることができる。ボタン（例えば、右手側の入力装置のボタン）を操作してアイコンを選択することができる。

選択が行われると、前記アイコンは好適にはリスト領域７０４，７０６に移動する。左手側の入力装置によって選択されたアイコンは、好適には、前記ディスプレイの左側のリスト領域７０４部分に移動する。右手側の入力装置によって選択されたアイコンは、好適には、前記ディスプレイの右側のリスト領域７０６部分に移動する。第１のアクティブな器具は各入力装置によって同様の方法で選択することができる。その後、選択されたアクティブな器具のアイコンは、好適には、リスト領域７０４，７０６内のアイコンのリストにおいて強調される。例えば、前記アクティブな器具のアイコンは、より大きくしてもよいし、かつ／または前記リストのトップに移動させてもよい。

好適には、前記制御システムは、前記入力装置からの信号に応答して、前記入力装置を独立して動作可能とするように構成されている。すなわち、外科医は、両方の入力装置を同時または連続的に使用してアイコンを選択することができる。

その後、（アクティブな器具に関連付けられた）アクティブなアイコンはそれぞれ、各入力装置と関連付けられる。前記選択モードに入ると、前記制御システムは、好適には、他の入力装置に操作可能に連結されている器具を除く、１つの入力装置による任意の器具の選択を可能にするように構成されている（すなわち、アクティブなアイコンまたは器具を除く、任意のアイコンまたは器具を選択できる）。好適には、他のアイコンを選択するために入力装置が操作可能である前記器具変更プロセスは、各入力装置に対して連続的に行われる。一例では、外科医は、まず、前記左手側の入力装置と関連付けられたリスト領域７０４部分に特定のアイコンを移動させつつ、アクティブなアイコンとして選択しないことが可能である。その後、前記選択モードに入ったとき、前記右手側の入力装置が当該特定のアイコンを選択することができる。選択を行う際、当該特定のアイコンは、好適には、右手側の入力装置と関連付けられたリスト領域７０６の部分に移動する。この特定のアイコンを強調して、当該アイコンがアクティブなアイコンであること、すなわち、アクティブな器具と関連付けられていることを示すことが可能である。

前記制御システムは、好適には、（外科医がリスト領域７０４，７０６の左右の部分にアイコンを振り分ける）初期フェーズの後に前記システムに追加された新しい器具のアイコンが、前記ディスプレイの中央に（例えば、リスト領域７０５におけるディスプレイの上部付近の部分および新規器具領域７２０の一方に）表示されるように構成されている。前記制御システムは、好適には、外科医が上記と同様の方法で、いずれの領域からでもリスト領域７０４，７０６の左右の部分のいずれかにアイコンを振り分けることができるように構成されている。

以下において、アイコンのグラフィック配置のさらなる例を説明する。図１０を参照すると、グラフィックアイコン配列１０００は、前記ロボットシステムに連結された４つのロボットアームのそれぞれを表すアイコン１００２，１００４，１００６，１００８を含む。これらのアイコンは、ディスプレイの上中央部分に配置されている。

好適には、前記アイコンは、前記システムに連結された各アームに関連付けられている。好適には、アイコンとアームとを関連付けるために色が用いられる。例えば、アイコンの背景は、特定のアームと関連付けられた色であってもよい（または含んでいてもよい）。例えば、４つの器具を連結するための４つのアームが設けられている場合、これらのアームは、アームと関連付けられた異なる色（黄、青、赤および紫など）をそれぞれ有していてもよい。各アイコンの背景はこれらの４つの色の１色とすることができる。当然ながら、任意の色および／または任意の色の組み合わせを使用することができる。この色および／または色の組み合わせを用いることで、アイコン／アームを互いに区別することが可能である。

グラフィックアイコン配列１０００はメニューアイコン１０１０を含み、このメニューアイコンは、この例では、前記ディスプレイの左下部分に配置されている。前記グラフィックアイコン配列は撮像装置アイコン１０１２を含み、この撮像装置アイコンは、この例では、前記ディスプレイの右下部分に配置されている。好適には、メニューアイコン１０１０および撮像装置アイコン１０１２は、前記ディスプレイにおいて互いに異なる領域に配置されている。

メニューアイコン１０１０を用いて、様々なオプションを提示させることまたは様々なオプションにアクセスすることが可能である。好適には、前記メニューアイコンを介して全てのオプションにアクセス可能である。例えば、前記メニューアイコンを選択することで、オプションのリストまたは表を提示させることが可能である。１つ以上のメニューオプションを介してサブオプションにアクセス可能であってもよい。このようなメニュー構造は当業者にとって周知と考えられる。前記メニューは、好適には、前記入力装置における１つ以上の制御部を用いてナビゲートされる。好適には、前記左手側の入力装置および右手側の入力装置の少なくとも一方のサムスティックを用いて、前記メニューをナビゲートする。

前記グラフィックアイコン配列の少なくとも１つのアイコンは、複数のサブアイコンを含んでいてもよい。これらのサブアイコンは、アイコンのクラスタを形成することができる。図１０を参照すると、アイコン１００２、１００４、１００６、１００８および撮像装置アイコン１０１２は、３つの円形のサブアイコンのクラスタを有する。各サブアイコンは、好適には、各アームと関連付けられたステータスを提供する。例えば、各サブアイコンは、好適には、そのアイコンが表す器具またはアームの異なる態様のステータスを提供する。１つのサブアイコンは、前記複数のサブアイコンの他のアイコンから区別してもよい。前記１つのサブアイコンは、好適には、前記複数のサブアイコンの他のアイコンよりも大きいことにより区別される。前記１つのサブアイコンは、任意の都合のよい方法で他のサブアイコンから区別することができ、例えば、本明細書に記載するように、色、形状、透明度、強度が異なることや、明滅などにより区別することができる。

好適には、前記アイコンのクラスタは、前記セットアップモード、選択モードおよび新規器具モードの少なくとも１つの間視認できる。好適には、器具の通常動作または制御の間、各アイコンは単一のアイコンからなる。好適には、サブアイコンのクラスタが視認できるときに他のサブアイコンから区別される前記サブアイコンは、通常動作の間に表示されるアイコンである。好適には、このサブアイコンは器具の種類を示す。したがって、通常動作において、表示される前記アイコンは、前記ロボットアームに操作可能に連結されている特定の器具および／またはエンドエフェクタを示すアイコンである。

図１０に示された例において、前記アイコンのクラスタは３つのサブアイコンを含む。１つのサブアイコンはバッテリアイコン１０１４を含む。このアイコンは、各アームのバッテリレベルを示す。付加的または代替的に、このアイコンは、残存電力量、アームが電源に接続されているかどうか、および／または、アームバッテリが充電中であるかどうかを示してもよい。

他のサブアイコンは方向アイコン１０１６を含む。方向アイコン１０１６は、ロボットアームが２つ以上の向きに取り付けることができる場合に有用となり得る。この向きは、手術室または患者のベッドなどの基準フレームに対する向きであってもよい。一般に、方向アイコン１０１６は、アームが向けられる可能性のある方向（またはアームを配置できる向き）の数に対応する複数の方向インジケータ（矢印など）を含んでいてもよい。考え得る方向または向きの数は、好適には、複数の考え得る有効な方向または向きと関係している。好適には、手術の間に使用するためにアームを有効に取り付けることができる複数の方向または向きが存在する。図示された例には、等間隔で離間した有効な方向または向きが４つ存在する。この例では、方向アイコン１０１６は４つの方向インジケータを含む。いくつかの例において、これら４つの向きは、ベッドの左側、右側、頭側および足側に配置されているアームに対応する。例えば、ベッドの左側に配置されたアームは右側を向いており、ベッドの右側に配置されたアームは左側を向いており、ベッドの頭側に配置されたアームは下側を向いており、ベッドの足側に配置されたアームは上側を向いているといえる。

２つのロボットアームが患者のベッドの１つの側に設置または配置され、２つのロボットアームが患者のベッドの反対側に設置される形態において、２つのアームのアイコンの方向アイコン１０１６は、例えば、方向アイコン１０１６の右側の矢印が強調されていることによって、または、表示されているただ一つの矢印であることによって、これらのアームが右側を向いているということを示す。他の２つのアームアイコンの方向アイコン１０１６は、例えば、方向アイコン１０１６の左側の矢印が強調されていることによって、または、表示されているただ一つの矢印であることによって、これらのアームが左側を向いているということを示す。

アームの向きは、設置先の取付部の位置および／または向きが既知である場合、当該アームがこの設置先の取付部に取り付けられた時に自動的に決定され得る。アームの向きは、ユーザが選択することができる。このような選択は、（例えば、ユーザにより、アームが配置される場所が選択された場合）前記アームが前記設置先の取付部に取り付けられる前に、または（例えば、自動的に行われない場合）前記設置先の取付部に取り付けた後に行なうことができる。この向きは、例えば、入力装置の制御入力部（サムスティックなど）を用いて、かつ／または、アームおよび／または設置先の取付部の制御入力部（ボタンなど）を用いて選択することができる。いくつかの例において、前記制御入力部は、方向アイコン１０１６に示された方向インジケータのレイアウトと同様のレイアウトで配置された複数のボタンを備えていてもよい。

各アイコンのクラスタの方向アイコン１０１６により、外科医などのユーザは、どのアームがどの方向に向けられているのかを把握することができる。これにより、器具を適切なアームに取り付けることを補助することができる。

再び図１０を参照すると、各アイコン１００２，１００４，１００６，１００８の大きい方のサブアイコン１０１８には水平方向の線が示されている。他の例において、前記大きい方のサブアイコンは、ブランクまたは空白であってもよい。つまり、各アームに器具が連結されていないことを示している。図１０のグラフィックアイコン配列は、４つのアームがシステムに連結されているものの、それらのアームのいずれにもまだ器具が連結されていない状態を示している。この状態は、例えば、セットアップフェーズの例を示している。好適には、アームに器具が連結されると、大きい方のサブアイコン１０１８はその器具の表示を含む。

２つのアイコン１００２，１００８は矢印を有し、最も左側のアイコン１００２は、右側を向く矢印１０２０を有し、最も右側のアイコン１００８は、左側を向く矢印１０２１を有する。上述のとおり、これらの矢印１０２０，１０２１は、前記システムが、入力装置（左手側の入力装置および右手側の入力装置の一方など）に操作可能に連結するアームをユーザが選択できる選択モードにあることを示す。

好適には、ユーザは、アームに器具が取り付けられていない場合であっても、そのアームを、左手側制御部および右手側制御部のうちの一方に振り分けることができる。好適には、前記制御システムにより、ユーザによるアーム選択と同時に器具をアームに連結させることが可能である。

さらに、方向アイコン１０１６は、各アームの向きがまだ選択または判断されていないということを示す。

４つのアイコン１００２，１００４，１００６，１００８はそれぞれ、各アイコンの上方に円弧１０２２を有する。前記円弧はマーカー１０２４を含む。前記円弧は、前記器具および／もしくはアーム（または、器具および／もしくはアームの１つ以上のジョイント）の回転範囲内での現在の位置を示す。例えば、前記円弧におけるマーカーの位置は、その器具の末端ジョイントの回転位置を示すことができる。このジョイントは、±３６０度の範囲（すなわち、完全に２回転する範囲）を有していてもよい。前記マーカーは、円弧の一端（例えば、最も左端）に配置することで、このジョイントが－３６０度まで回転していることを示すことができる。前記マーカーは、円弧の他端（例えば、最も右端）に配置することで、このジョイントが＋３６０度まで回転していることを示すことができる。図１０に示されるように、各マーカー１０２４はそれぞれのアームが回転範囲の中間にあることを示す。

撮像装置アイコン１０１２は、アイコンのクラスタを含む。図１０に示されるように、撮像装置アイコン１０１２は、バッテリアイコンおよび方向アイコンも有している。大きい方の（または、メインの）サブアイコン１０２６は、内視鏡などの撮像装置の表示を提供する。図示された例では、内視鏡が存在しないことおよび／または操作可能に制御することができないことを示す三角形の警告が存在する。この警告の表示は、必ずしもすべての例において必要ではない。また、前記ディスプレイ上に画像が存在しないことにより、前記撮像装置が存在していないこと（または問題があること）を示すことができる。

本願のシステムは手動の腹腔鏡と共に使用することが可能である。例えば、前記腹腔鏡をロボットアームから取り外し、手動で操作することができる。そのような場合、撮像装置アイコンは、前記撮像装置が、前記外科医コンソールを用いた制御に利用可能でない（すなわち、腹腔鏡は、手動で使用されている場合にはロボットにより制御可能ではないことがある）ことを示すことができる。

好適には、メニューアイコン１０１０および撮像装置アイコン１０１２の少なくとも一方は、常に、前記グラフィックアイコン配列に表示されている。好適には、メニューアイコン１０１０および撮像装置アイコン１０１２の少なくとも一方は、常に、前記グラフィックアイコン配列における同一の位置に表示される。

いくつかの例において、前記サブアイコンはバッテリおよび向き情報を示すことに限定されない。いくつかの例において、前記サブアイコンは、好適には、バッテリステータス、向きステータス、前記アームのモード、警告状況、ユーザアクションの要求などの少なくとも１つを示す。

前記サブアイコンは、ユーザが所望する場合、例えば、前記サブアイコンを視認できるようにする制御が行われることによって表示されてもよい。前記サブアイコンは、前記システムのモードに応じて表示されてもよい。例えば、前記アイコンのクラスタ（つまり、サブアイコンの表示）は、前記選択モードにおいて表示されてもよい。少なくとも１つのサブアイコンは、必要な場合（例えば、警告状態またはユーザアクションの要求がある場合）に表示されてもよい。好適には、前記制御システムは、前記サブアイコンがいつ表示されるのかを判断する。好適には、前記制御システムは、各アームのステータスおよび／またはそのアームに連結された器具のステータス、前記外科医コンソールからの制御信号、ならびに前記手術ロボットからの制御信号少なくとも１つに応じてこの判断を行うように構成されている。好適には、前記制御システムは、前記器具に関する警告をメインのサブアイコン（すなわち、通常動作時に表示されるサブアイコン）に表示するように構成されている。好適には、前記警告は、前記メインのサブアイコン（または、表示された単一のアイコン）において器具の種類の表示を置き換える。

好適には、前記ディスプレイの中央下部におけるグラフィックアイコン配列の領域は、システム自体（例えば、アームの１つではなく、システム全体）に関するアイコンに使用される。前記制御システムは、好適には、１つ以上のアイコンおよび／もしくはシステムステータスまたは前記システムに関する詳細を前記システム領域に表示させるように構成されている。前記制御システムは、好適には、システムスタートアップ時、手術中の所定の時点、手術の完了時、システムのシャットダウン時、および／または（例えば、前記外科医コンソールから）要求があったときに、前記アイコンおよび／もしくはシステムステータスまたは詳細を表示させるように構成されている。この点については、図１４を参照しながら下記でより詳細に検討する。

図１１には、前記システムに器具が連結されている場合のグラフィックアイコン配列が示されている。４つのアームが設けられており（好適には、内視鏡などの撮像装置連結するための付加的なアームが設けられている）、各アームが１つの器具に連結されている。前記器具のうちの２つを表すアイコンが前記ディスプレイの左側に配置されており、他の２つの器具を表すアイコンが前記ディスプレイの右側に配置されている。電気手術器具を表す（アイコン内の「稲妻」によって示される）アイコンが、前記ディスプレイの各側に配置されている。

撮像装置アイコン１１０２にカメラが示されており、このシステムに撮像装置が連結されていることを示している。

図１１は、前記選択モードにあるシステムを示す。全てのアイコンがソリッドなアイコンとして示されている。つまり、全てのアイコンがユーザによって選択可能であるということである。この撮像装置は選択可能である。例えば、前記撮像装置は、カーソルによって選択することができる。これにより、前記撮像装置は、器具を制御せずとも制御可能である。前記撮像装置は、両方の入力装置によって同時に選択可能である。

矢印１１０４は、右手側および左手側の入力装置によって選択されるアイコンを示す。前記右手側の入力装置と関連付けられた矢印（すなわち、左側を向く矢印）は、グリッパツール１１０６を強調している。前記左手側の入力装置と関連付けられた矢印（すなわち、右側を向く矢印）は、電気手術ツール１１０８を強調している。

好適には、追加のオプションを有する器具が選択矢印で強調されている場合、追加のオプションが選択のために表示される。このとき、バイポーラ型電気手術ツールなどの電気手術ツールは、切断モードおよび凝固モードを有する。前記切断モードは、（図示された例において）左側のアイコン１１０８によって示される。このアイコンは、好適には、黄色の境界線または周縁を有する（より一般にいえば、当該アイコンの少なくとも一部が黄色に着色されている）。前記凝固モードは、（同様に、図示された例において）右側のアイコン１１１０によって示される。このアイコンは、好適には、青色の境界線または周縁を有する（より一般にいえば、当該アイコンの少なくとも一部が青色に着色されている）。前記境界線は、付加的または代替的に、網掛けまたは他の都合のよい方法で区別してもよい。現在選択されているモードまたはオプションは、関連アイコンが他のモードまたはオプションのアイコンよりも大きいことによって示すことができる。付加的または代替的に、選択されたアイコンを強調する他の方法（本明細書で述べた方法など）を使用することも可能である。前記矢印は、選択されたアイコン（例えば、前記大きい方のアイコン）と、選択されていないアイコンまたは複数のアイコン（例えば、小さい方のアイコンまたは複数のアイコン）との間で、所望するように移動させることができる。各入力装置などにおける選択動作により、強調または選択されたオプションを現在のオプションとすること、または現在のオプションとして維持することが可能である。利用可能なモードまたはオプションを表すアイコンは、例えば、前記利用可能なモードまたはオプションから、直前に使用されたもの、最後に使用されたもの、最も頻繁に使用されたもの、デフォルト、および／またはユーザの好みを示すように前記制御システムによって並べ替えることができる。

前記右手側の入力装置によりグリッパツールが選択されると、各アイコン１１０６は、このグリッパツールが選択されたことを示すために他のアイコンから区別される。図１２に示されるように、当該ツールのアイコン１２０６は、他のツールのアイコン１１１１よりも大きい。選択されたツールのアイコン１２０６は、ソリッドカラーで示されている。前記入力装置によって選択可能であった他の器具を表すアイコン１１１２は、グレーアウトまたは部分的に透明にされる。これにより、このアイコンが選択不能になったことを示すことができる。この状態は、図１２の１２１２に示されている。

前記左手側の入力装置によって電気手術ツールの切断モードが選択されると、各アイコン１１０８は、このツールが選択されたことを示すために他のアイコンから区別される。図１２に示されるように、当該ツールのアイコン１２０８は、他のツールのアイコン１２１１よりも大きい。選択された前記ツールと関連付けられた非選択のオプションまたはモードに関するアイコン（ここでは、凝固モードを表すもの）は消去される。非選択のオプションを表すアイコンが消去される代わりに、これらのアイコンは、選択されたアイコンの「下」にあるかのように、かつ、そのアイコンの下から少なくとも部分的に突出させた状態で表示されるように構成してもよい。選択されたツールのアイコン１２０８はソリッドカラーで示されている。当該入力装置によって選択可能であった他の器具を表すアイコン１１１１は、グレーアウトまたは部分的に透明にされる。これにより、このアイコンが選択不能となったことを示すことができる。この状態は、図１２の１２１１に示されている。

図１１および１２に示された例において、メニューアイコン１１２０および撮像装置アイコン１１０２は、それらが選択可能であることを示すために図１１にソリッドカラーで示されている。これらのアイコン１２０２，１２２０は、それらが選択不能であることを示すために図１２に部分的に透明な状態で示されている。

いくつかの形態例において、前記撮像装置（内視鏡など）は、前記左手側の入力装置および右手側の入力装置の両方における制御入力によって制御可能である。例えば、前記左手側の入力装置のサムスティックは、ズームおよび／または回転を制御することができ、前記右手側の入力装置のサムスティックは、前記内視鏡のパンニングまたに移動を制御することができる。いくつかの例において、これらの制御は逆であってもよい。

好適には、前記選択モードにおいて、前記入力装置のサムスティックを用いて、前記器具（および／またはその器具に関連付けられたオプションまたはモード、例えば、電気手術ツールの場合には、当該ツールが切断モードもしくは凝固モードのいずれで使用されるかなど）が選択される。したがって、これらの例では、前記サムスティックは、前記選択モードにおいて、前記撮像装置を制御するために利用可能ではない。したがって、これらの例では、前記システムが前記選択モードにある場合、前記撮像装置はユーザ制御可能でない。いくつかの例において、前記撮像装置は部分的に制御可能なままにすることが可能である。例えば、前記右手側の入力装置が選択モードに入り、前記左手側の入力装置が器具に動作可能に連結されたままである場合、前記左手側の入力装置は、好適には、依然として前記撮像装置を制御することができる。上記の例において、前記左手側の入力装置は、撮像装置のズームおよび／または回転を制御するために使用される。従って、前記撮像装置の前記制御は、器具選択の間に前記右手側の入力装置を用いることで依然として行うことができる。逆もまた同様に、前記左手側の入力装置が前記選択モードにある場合、前記右手側の入力装置は、好適には、依然として前記撮像装置のパンニングの制御を行うことができる。上記のとおり、各サムスティックによって行われる前記制御は、所望のように選択することができる。

他の例において、前記制御システムは、前記入力装置のいずれかが選択モードにある場合、前記撮像装置が前記入力装置のいずれかによって制御不能であるように構成されている。これにより、取り違えや前記撮像装置の意図しない動作を回避することが可能である。同様に、前記メニューにアクセスする場合、このメニューは、少なくとも１つのサムスティックによってナビゲートすることができる。したがって、好適には、前記制御システムは、少なくとも１つの前記サムスティックが、前記撮像装置ではなくメニューナビゲーションを制御するように構成されている。好適には、１つのサムスティックのみが前記メニューをナビゲートするために使用される場合、他のサムスティックは、前記撮像装置の制御を行うことができない。これにより、前記メニューをナビゲートする際に前記撮像装置の意図しない動作を回避することが可能である。

図１３には、前記右手側の入力コントローラと関連付けられたクラッチがアクティブまたは係合状態にあるグラフィックアイコン配列の例が示されている。クラッチが係合状態にある場合、前記右手側の入力コントローラは、アイコンの選択または器具の制御を行うことができない。この形態では、前記右手側の入力コントローラは、当該入力装置にこれまで操作可能に連結されていた器具を移動させなくても、例えばより都合のよい位置へと移動させることができる。右手側の入力装置１３０２，１３０４，１３０６と関連付けられたアイコンは、前記右手側の入力装置のクラッチが係合されることにより、グレーアウトまたは部分的に透明にされる。

前記右手側の入力装置のクラッチが係合状態にあるとき、前記左手側の入力装置は、各器具に操作可能に連結されたままにすることができる。この状態は、図１３において、（前記左手側の入力装置に操作可能に連結された器具に対する）アクティブなアイコン１３０８がソリッドカラーで表示されていることによって示されている。好適には、前記左手側の入力装置のクラッチが係合状態にある場合にも同様であり、つまり、前記右手側の入力装置は、器具に操作可能に接続されたままにされる。他の例において、前記左手側の入力装置および右手側の入力装置の両方にクラッチを同時に係合させることが可能である。この理由としては、それぞれの入力装置に対して別個のクラッチが同時に係合すること若しくは係合されられること、または両方の入力装置に対して１つのクラッチが係合可能であることがいえる。

好適には、前記制御システムは、ユーザが入力装置を保持しているかどうかを判断するように構成されている。例えば、入力装置３０４は、好適には、ユーザが前記入力装置を保持しているかどうかを判断するためのセンサ４４０を備える。このセンサは、タッチセンサ（例えば容量式センサ）、温度センサ、光センサ、赤外線センサなどの任意の適切なセンサや、スイッチとすることができる。これらの種類のセンサの任意の組み合わせを使用することもできる。

好適には、前記制御システムは、入力装置が保持されていないという表示を前記グラフィックアイコン配列に提供させるように構成されている。例えば、図１４に示されるように、前記グラフィックアイコン配列は、入力装置が保持されていないことを示す警告アイコン１４０２，１４０４を含んでいてもよい。前記左手側の入力装置が保持されていないことを示す左手側の警告アイコン１４０２は、左手の表示を含んでいてもよい（または、前記警告アイコンは、前記ディスプレイの左手側に表示されることに加えてまたはそれに代えて、左手および／または左手側の入力装置と関係していることを何らかの方法で示してもよい）。前記右手側の入力装置が保持されていないことを示す右手側警告アイコン１４０４は、右手の表示を含んでいてもよい（または、前記警告アイコンは、前記ディスプレイの右手側に表示されることに加えてまたはそれに代えて、右手および／または右手側の入力装置と関係していることを何らかの方法で示してもよい）。

前記制御システムは、好適には、警告状態が入力されたことを判断するように構成されている。前記制御システムは、好適には、この判断に応答して、前記システムと関連付けられたグラフィックアイコン配列の領域（例えば、上述のシステム領域）に警告アイコン（または、他の方法で警告状態を表すアイコン）を表示させるように構成されている。前記警告アイコンは三角形の警告１４０６を含んでもよい。この警告は図１４に示されている。これにより、警告状態の存在についてユーザにアラートを通知することができる。警告状態に関連する基準は、所望のように選択することができる。好適には、前記警告状態は、コンソールの故障またはシステムレベルの故障を示すものである。前記制御システムは、好適には、そうした基準を監視し、それに応じて警告アイコンを表示するように構成されている

より一般的にいえば、システム全体の状況またはアラート（例えば、警告状態）が存在する場合、前記制御システムは、前記システム領域にアイコン（例えば、警告アイコン）を表示させることができる。当該領域に表示されたアイコンはシステム全般に関係するので、前記メニューアイコンおよび撮像装置アイコンよりも大きいことが好適である。好適には、前記システム領域に表示されるアイコンは、単一のアイコンを含む。

制御システム３０８は、好適には、前記複数の器具に関連付けられた１つ以上の状態信号に応じて、インターフェース状態を判断するように構成された運動学コントローラ３１０を備える。このインターフェース状態は、表示用の前記グラフィックアイコン配列と関連付けられたデータを含む。

好適には、運動学コントローラ３１０は、テレメトリデータを処理してアイコンのレンダリングを行うように構成されている。換言すれば、前記テレメトリデータは制御システム３０８によって通常通り処理される。これにより、前記グラフィックアイコン配列のレンダリングに関連する処理が、前記システムの他の部分が依拠するデータに影響を与えないようにすることができる。好適には、前記グラフィックアイコン配列をレンダリングする目的で行われる処理の出力は、前記グラフィックアイコン配列をレンダリングするためだけに使用される。好適には、他のものはアイコンデータに依拠していない。したがって、前記ロボットシステムの動作に重要なデータは、アイコンの処理またはレンダリングによって影響されない。前記アイコンのレンダリングまたは処理は、標準データ処理に下流で行うことができる。これにより、動作の安全性を維持することが可能である。

好適には、制御システム３０８は、運動学コントローラ３１０からインターフェース状態を受信し、表示用のグラフィックアイコン配列をレンダリングするように構成された視覚プロセッサ３１２を備える。運動学コントローラ３１０は、好適には、視覚プロセッサ３１２よりも高い周波数で操作可能である。好適な例において、表示装置３０６に表示するためのインターフェースは、視覚プロセッサ３１２によって生成される。前記視覚プロセッサは、好適には、運動学コントローラ３１０とは別体である。前記視覚プロセッサは画像出力にのみ関係していてもよい。すなわち、前記ロボットシステム内の重要なシステムは、前記視覚プロセッサの出力に依らない。

前記制御システムは連続的に操作可能であってもよい。好適には、前記視覚プロセッサは連続的に操作可能である。好適には、前記視覚プロセッサは、連続的に表示するためのインターフェースを生成するように構成されている。したがって、前記運動学コントローラは、連続的にデータを出力するように構成することができ、かつ、前記インターフェースは、前記運動学コントローラによって出力される前記データに応じて連続的に生成することができる。いくつかの例において、前記視覚プロセッサは連続的に動作しなくてもよい。前記視覚プロセッサが、当該視覚プロセッサによって生成されたインターフェースが表示されるフレームレートで動作すれば十分な場合もある。

視覚プロセッサ３１２は、制御システム３０８および／または運動学コントローラ３１０と同一の周波数で動作しなくてもよい。前記視覚プロセッサは、前記制御システムおよび／または運動学コントローラよりも低い周波数で動作するように構成することができる。前記視覚プロセッサが動作するように構成される周波数は、好適には、表示される画像に所望するフレームリフレッシュレートに依存する。好適には、前記視覚プロセッサが動作するように構成される周波数は、前記所望するフレームリフレッシュレート以上である。

前記制御システムおよび／または運動学コントローラは、安全要件を満たすように比較的高い周波数（数百Ｈｚ程度であってもよい）で動作するように求められる場合がある。表示された前記画像のフレームリフレッシュレートは、これよりもはるかに低い場合が多く、一例では約１２０Ｈｚまたは６０Ｈｚである。処理の観点からみると、前記視覚プロセッサをより遅い動作周波数で操作することが、より効率的になり得る。つまり、より遅いプロセッサを前記視覚プロセッサとして使用することが可能であるといえる。好適には、視覚プロセッサ３１２の動作の周波数および／または表示された前記画像のフレームリフレッシュレートは、人間の知覚限界値よりも高いので、前記アイコンのレンダリングおよび変更はスムーズに見える。

上述のとおり、前記運動学コントローラは、入力データに対して分析および演算を行い、前記アイコンのレンダリングが依拠することが可能なデータを出力するように構成されている。

すなわち、前記運動学コントローラは、表示された前記画像の一部として前記表示装置に表示されるべき内容に対応するデータを出力する。前記運動学コントローラは、好適には、１つ以上の器具の状態示すデータ、１つ以上の器具の選択可能性を示すデータ、１つ以上の器具の制御モードを示すデータ、および／またはグラフィックアイコン配列に関係するデータを出力するように構成されている。したがって、前記運動学コントローラはインターフェース状態に対処する。前記インターフェース状態には、前記グラフィックアイコン配列を含む表示のレンダリングに必要な情報が含まれる。前記視覚プロセッサは、前記運動学コントローラによって出力される前記情報に必要な処理を行って、前記グラフィックアイコン配列を含む表示画像を生成するように構成されている。前記視覚プロセッサは、前記処理およびレンダリングを行い、前記運動学コントローラによって出力されたインターフェース状態に応じてインターフェースを生成する。これにより、画像処理を視覚プロセッサにシフトすることで、前記運動学コントローラに対する負担を軽減することができる。前記運動学コントローラからの出力は、特に、前記グラフィックアイコン配列および／またはインターフェースを生成する目的で演算を行う必要はない。好適には、前記視覚プロセッサは、通常動作の間に（すなわち、前記インターフェースをレンダリングする目的に関連して、かつ／またはこの目的のためだけに付加的な動作を行わずとも）前記運動学コントローラによって出力されたデータに応じて前記インターフェースを生成するように構成されている。

上記のとおり、前記グラフィックアイコン配列に含まれるアイコンは、前記エンドエフェクタ、前記器具、および当該器具が連結されるロボットアームのうちの少なくとも１つの色と一致するように色が付されていてもよい。前記視覚プロセッサは、好適には、前記エンドエフェクタ、前記器具および前記ロボットアームの少なくとも１つと一致するように、前記グラフィックアイコン配列に含まれるアイコンを生成するように構成されている。例えば、前記視覚プロセッサは、パターン、向き、プロファイルおよび／または色などの視覚的表示を一致させるように構成されている。いくつかの例において、前記器具、または少なくとも前記器具のうちの、前記撮像装置によって撮像された画像に表示される部分（エンドエフェクタおよび／または器具シャフトの先端部など）に色を適用することが可能である。前記アイコンは、レンダリングにより、これらの色と一致させることが可能である。したがって、特定の器具シャフトに緑色を付し、当該器具に対応するディスプレイ上のアイコンにも緑色を付すことが可能である。これにより、前記器具とアイコンとの間の対応関係を速やかかつ直観的に識別することができる。上記の色は器具の種類に応じて選択することができ、例えば、全てのグリッパ器具に緑色を付すことが可能である。代替的に、各器具の種類に対して一連の異なる色を選択することが可能である。好適には、１つの種類の器具に対して選択された色は、他の種類の器具に対して選択された色とは異なるが、必ずしもそうしなくてもよい。例えば、１つの電気手術器具が２つのグリッパ器具と共に使用される場合、前記電気手術器具には白色が付され、一方のグリッパ器具には緑色が付され、他方のグリッパ器具には青色が付されてもよい。ステンレス鋼を着色する物理蒸着処理やアルミニウムを着色する陽極酸化処理などの任意の適切な着色プロセスによって、所望する色で器具を着色することが可能である。

前記ディスプレイ上のアイコンに適用する色は、器具の無線周波数識別（ＲＦＩＤ）タグに保存されたデータに基づいて判断することができる。前記制御システムは、好適には、前記ＲＦＩＤタグに保存されたデータについてクエリを行うように構成されている。好適には、保存されたデータは当該器具に対応する色を含む。これにより、前記制御システムは、保存されたデータに応じて、アイコンの色を器具の色と一致させることができる。

前記器具自体は着色されていなくてもよい。前記色は、仮想的に、例えば表示された画像に付すことも可能である。これにより、前記制御システムは、好適には、器具のＲＦＩＤタグに保存されたデータに基づいて、または任意の他の適切な方法で色を判断して前記器具と関連させ、かつ、表示された画像上に、または表示された画像の一部として重なり合いを生成して前記器具を着色するように構成されている。表示された前記画像において視認できる前記器具の全体を仮想的に着色する必要はない。好適には、前記エンドエフェクタの動作がわかりにくくなることを回避するために、前記エンドエフェクタは仮想的に着色されない。好適には、前記制御システムは、前記エンドエフェクタから離れた器具に関連付けられた、より限定的な領域（例えば、器具シャフトにおける円形の範囲などの範囲）に色を適用するように構成されている。より一般にいえば、前記仮想的な色は、前記器具に関連付けられたフラグに付されてもよく、このフラグは、ディスプレイ上で視認できる前記器具の外形と完全に整合していなくてもよい。前記重ね合わせの生成または仮想的な色の適用は、好適には、前記視覚プロセッサによって行われる。

一例では、前記ロボットアームまたは器具の少なくとも一部の色は、動的に変更可能である。例えば、前記ロボットアームまたは器具は、カラーバンドを有していてもよい。前記カラーバンドは、着色された材料（プラスチックまたは金属など）の部分を含んでもよい。前記カラーバンドは、前記器具またはロボットアームに着脱可能に取り付けられていてもよい。前記カラーバンドは、色を表示するように構成された表示部を有していてもよい。この表示部は、好適には、スクリーン、ＬＥＤ、またはＬＥＤアレイなどのアレイである。前記ＬＥＤはマルチカラーＬＥＤであってもよい。前記ＬＥＤアレイは、複数の単色ＬＥＤ、複数のマルチカラーＬＥＤ、または、１つ以上の単色ＬＥＤおよび１つ以上のマルチカラーＬＥＤを含んでいてもよい。前記表示部は、好適には、例えばＲＦＩＤタグに保存されたデータに基づいて、色制御信号に応答して、前記表示部によって表示される色を制御する。

以下では、図９に言及する。図９には、ロボット手術システム３００を実装することができるコンピュータベースの装置９００が示されている。前記コンピュータベースの装置は電子機器であってもよい。前記コンピュータベースの装置は、１つ以上の状態信号、モード変更信号および選択信号を受信する機能を示している。前記コンピュータベースの装置は、受信した前記信号を記憶し、表示用のグラフィックアイコン配列を決定し、かつ表示信号を出力して前記グラフィックアイコン配列を表示させる機能を示している。前記コンピュータベースの装置は、好適には、前記外科医コンソールによって選択された器具の制御を可能とする機能を含む。

コンピュータベースの装置９００は、本明細書で述べた方法を実施するために、当該装置の動作を制御するように構成された、コンピュータで実行可能な指示を処理するプロセッサ９０２を備える。前記コンピュータで実行可能な指示は、メモリ９０４などの任意のコンピュータ可読媒体を用いて提供することができる。コンピュータベースの装置９００に提供することができる更なるソフトウェアは、前記グラフィックアイコン配列を決定するロジック９０６を含む。代替的に、ロジック９０６は、部分的にまたは全体的にハードウェアに実装される。データ記憶部９０７は、１つ以上の状態信号、モード変更信号および／または選択信号などのデータを記憶してもよい。

コンピュータベースの装置９００は、前記１つ以上の状態信号、モード変更信号および／または選択信号を受信する受信インターフェース９１０をさらに備える。コンピュータベースの装置９００は、判断された前記グラフィックアイコン配列を、表示を行うための前記表示装置に出力し、かつ／または制御信号を出力して前記外科医コンソールによって選択された前記器具の制御を実現する出力インターフェース９１２をさらに備える。図９には、ロボット手術システム３００が実装される単一のコンピュータベースの装置が示されている。しかしながら、ロボット手術システム３００の機能は、別個のコンピュータベースの装置に実装されてもよい。

本明細書において、出願人は、本明細書で述べた各構成について個別に、およびそうした構成の２つ以上の組み合わせとして、上記構成またはその組み合わせが当業者の技術常識に照らして本明細書全体に基づいて実施可能な範囲において開示している。上記構成またはその組み合わせは、本明細書に開示された課題を解決するかにかかわらず、かつ、請求の範囲を限定するものではない。出願人は、本発明の態様は、任意の上記構成またはその組み合わせとしてもよいということを表明する。上記の説明を考慮すると、当業者にとって、本発明の範囲内で様々な変更を施すことができるということは明白であろう。
なお、本発明は、実施の態様として以下の内容を含む。
［態様１］
手術ロボットから離れた外科医コンソールによって前記手術ロボットを制御する制御システムであって、
前記制御システムは、
複数の器具に関連付けられた１つ以上の状態信号を受信し、前記複数の器具はそれぞれ前記手術ロボットに取り付け可能であり、前記１つ以上の状態信号は、
前記外科医コンソールによって制御されるための前記複数の器具のそれぞれの選択可能性と、
一群のモードから、前記複数の器具のそれぞれの制御モードと、
を示す信号であり、前記一群のモードは、
前記複数の器具のうちの１つの器具が前記外科医コンソールによって制御可能である操作モードと、
前記複数の器具のうちの１つの器具が前記外科医コンソールによって制御されるために選択可能である選択モードとを含み；
表示用のグラフィックアイコン配列であって、受信した前記１つ以上の状態信号に応じて、各アイコンが前記複数の器具のそれぞれを表すグラフィックアイコン配列を決定し、かつ、表示信号を出力して前記グラフィックアイコン配列を表示させ；
前記選択モードへのモード変更を示すモード変更信号を受信し；
前記受信したモード変更信号に応じて前記グラフィックアイコン配列を変更して、前記複数の器具のうちの選択可能な器具の識別を可能とし；
前記選択可能な器具のうちの１つの器具の選択を示す選択信号を前記外科医コンソールから受信し；
受信した前記選択信号に応じて前記グラフィックアイコン配列を変更して、選択された前記器具の識別を可能とし；
前記外科医コンソールによる、選択された前記器具の制御を可能とする、
ように構成されている制御システム。
［態様２］
態様１に記載の制御システムにおいて、前記グラフィックアイコン配列は、
前記複数の器具のうちの１つを表すアイコンが、前記選択モードへの前記モード変更前に表示されるリスト領域と、
前記選択モードにおいて、前記複数の器具のうちの選択可能な器具を表すアイコンが表示される選択領域とを含み、
前記リスト領域および前記選択領域は、少なくとも部分的に重なり合っていない制御システム。
［態様３］
態様２に記載の制御システムにおいて、前記グラフィックアイコン配列は、手術部位の画像を表示する画像領域を含み、前記画像領域は前記グラフィックアイコン配列の中央付近に配置され、前記選択領域は、前記画像領域と少なくとも部分的に重なるように配置されている制御システム。
［態様４］
態様２または３に記載の制御システムにおいて、前記リスト領域は、前記グラフィックアイコン配列の周縁および周縁付近のいずれか一方に配置されている制御システム。
［態様５］
態様３または４に記載の制御システムにおいて、前記リスト領域は、前記画像領域と少なくとも部分的に重なっていない制御システム。
［態様６］
態様３から５のいずれかに記載の制御システムにおいて、前記リスト領域は、新たに追加された器具を表すアイコンが表示される新規器具領域を含み、前記新規器具領域は、前記画像領域と少なくとも部分的に重なるように配置されている制御システム。
［態様７］
態様２から６のいずれかに記載の制御システムにおいて、前記モード変更信号を受信すると、前記選択可能な器具を表す前記アイコンを前記選択領域へ移行させて、当該器具がそれぞれ選択可能であることを示すように構成されており、任意で、前記制御システムは、前記移行を連続的な移行とするように構成されている制御システム。
［態様８］
態様１から７のいずれかに記載の制御システムにおいて、前記外科医コンソールおよび前記手術ロボットの少なくとも一方から前記モード変更信号を受信するように構成されている制御システム。
［態様９］
態様１から８のいずれかに記載の制御システムにおいて、前記モード変更信号を受信すると、前記複数の器具のうちの１つの器具が前記外科医コンソールに操作可能に連結されるようにセットアップされるセットアップモードおよび前記操作モードのうちの一方から、前記選択モードに変更するように構成されている制御システム。
［態様１０］
態様２から９のいずれかに記載の制御システムにおいて、前記外科医コンソールの複数の入力装置のそれぞれから入力信号を受信するように構成されており、前記グラフィックアイコン配列は複数の選択領域を含み、各前記入力装置は前記複数の選択領域の１つとそれぞれ関連付けられており、前記制御システムは、前記モード変更信号を受信すると、各前記入力装置によって選択可能な器具を表すアイコンを当該入力装置の前記選択領域にそれぞれ表示させるように構成されている制御システム。
［態様１１］
態様１から１０のいずれかに記載の制御システムにおいて、前記グラフィックアイコン配列を変更して前記選択可能な器具の識別を可能とすることには、
アイコンの色の変更、
前記アイコンのサイズの変更、
前記アイコンの背景の変更、
二次元的アイコンから三次元的アイコンへの前記アイコンの変更、
三次元的アイコンから二次元的アイコンへの前記アイコンの変更、
前記アイコンの明滅、および
変調させた周波数での前記アイコンの明滅
の１つ以上が含まれる制御システム。
［態様１２］
態様３から１１のいずれかに記載の制御システムにおいて、手術部位からの画像を示す画像信号を受信し、かつ前記画像領域に当該画像を表示させるように構成されており、表示された前記画像は、前記手術部位における器具の器具画像を含み、前記制御システムは、前記モード変更信号を受信すると前記器具画像を変更するように構成されている制御システム。
［態様１３］
態様１２に記載の制御システムにおいて、前記画像領域にグラフィックスを重ね合わせること、前記画像領域に重ね合わされたグラフィックスを変更すること、および前記画像領域に重ね合わされたグラフィックスを削除することの少なくとも１つによって前記器具画像を変更するように構成されている制御システム。
［態様１４］
態様１２または１３に記載の制御システムにおいて、前記器具画像を変更して前記グラフィックアイコン配列に対する変更に対応させることで、前記選択可能な器具の識別を可能とするように構成されている制御システム。
［態様１５］
態様２から１４のいずれかに記載の制御システムにおいて、前記リスト領域、前記選択領域および前記新規器具領域の少なくとも１つは、その周縁の少なくとも一部に境界線を有し、前記制御システムは、前記モード変更信号を受信すると、前記境界線を変更して前記モード変更の識別を可能とするように構成されている制御システム。
［態様１６］
態様１から１５のいずれかに記載の制御システムにおいて、前記複数の器具に関連付けられた前記１つ以上の状態信号に応じてインターフェース状態を判断するように構成された運動学コントローラを備え、前記インターフェース状態は、表示用の前記グラフィックアイコン配列と関連付けられたデータを含む制御システム。
［態様１７］
態様１６に記載の制御システムにおいて、前記運動学コントローラから前記インターフェース状態を受信し、かつ、表示用の前記グラフィックアイコン配列をレンダリングするように構成された視覚プロセッサを備え、前記運動学コントローラは、前記視覚プロセッサよりも高い周波数で操作可能である制御システム。
［態様１８］
態様１から１７のいずれかに記載の制御システムにおいて、前記グラフィックアイコン配列のアイコンは、アイコンのクラスタを含む制御システム。
［態様１９］
手術ロボットから離れた外科医コンソールによって前記手術ロボットを制御する方法であって、前記方法は、
複数の器具に関連付けられた１つ以上の状態信号を受信することであって、前記複数の器具はそれぞれ前記手術ロボットに取り付け可能であり、前記１つ以上の状態信号は、
前記外科医コンソールによって制御されるための前記複数の器具のそれぞれの選択可能性と、
一群のモードから、前記複数の器具のそれぞれの制御モードとを示し、前記一群のモードは、
前記複数の器具のうちの１つの器具が前記外科医コンソールによって制御可能である操作モードと、
前記複数の器具のうちの１つの器具が前記外科医コンソールによって制御されるために選択可能である選択モードとを含む、ことと；
表示用のグラフィックアイコン配列であって、受信した前記１つ以上の状態信号に応じて、各アイコンが前記複数の器具のそれぞれを表すグラフィックアイコン配列を決定し、かつ、表示信号を出力して前記グラフィックアイコン配列を表示させることと；
前記選択モードへのモード変更を示すモード変更信号を受信することと；
前記受信したモード変更信号に応じて前記グラフィックアイコン配列を変更して、前記複数の器具のうちの選択可能な器具の識別を可能とすることと；
前記選択可能な器具のうちの１つの器具の選択を示す選択信号を前記外科医コンソールから受信することと；
受信した前記選択信号に応じて前記グラフィックアイコン配列を変更して、選択された前記器具の識別を可能とすることと；
前記外科医コンソールによる、選択された前記器具の制御を可能とすることとを含む方法。
［態様２０］
態様１９に記載の方法を実装するための機械可読コード。

Claims (20)

1. 手術ロボットから離れた外科医コンソールによって前記手術ロボットを制御する制御システムであって、
   前記制御システムは、
   複数の器具に関連付けられた１つ以上の状態信号を受信し、前記複数の器具はそれぞれ前記手術ロボットに取り付け可能であり、前記１つ以上の状態信号は、
   前記外科医コンソールによって制御されるための前記複数の器具のそれぞれの選択可能性と、
   一群のモードから、前記複数の器具のそれぞれの制御モードと、
   を示す信号であり、前記一群のモードは、
   前記複数の器具のうちの１つの器具が前記外科医コンソールによって制御可能である操作モードと、
   前記複数の器具のうちの１つの器具が前記外科医コンソールによって制御されるために選択可能である選択モードとを含み；
   表示用のグラフィックアイコン配列であって、受信した前記１つ以上の状態信号に応じて、各アイコンが前記複数の器具のそれぞれを表すグラフィックアイコン配列を決定し、かつ、表示信号を出力して前記グラフィックアイコン配列を表示させ；
   前記選択モードへのモード変更を示すモード変更信号を受信し；
   前記受信したモード変更信号に応じて前記グラフィックアイコン配列を変更して、前記複数の器具のうちの選択可能な器具の識別を可能とし；
   前記選択可能な器具のうちの１つの器具の選択を示す選択信号を前記外科医コンソールから受信し；
   受信した前記選択信号に応じて前記グラフィックアイコン配列を変更して、選択された前記器具の識別を可能とし；
   前記外科医コンソールによる、選択された前記器具の制御を可能とする、
   ように構成されている制御システム。
2. 請求項１に記載の制御システムにおいて、前記グラフィックアイコン配列は、
   前記複数の器具のうちの１つを表すアイコンが、前記選択モードへの前記モード変更前に表示されるリスト領域と、
   前記選択モードにおいて、前記複数の器具のうちの選択可能な器具を表すアイコンが表示される選択領域とを含み、
   前記リスト領域および前記選択領域は、少なくとも部分的に重なり合っていない制御システム。
3. 請求項２に記載の制御システムにおいて、前記グラフィックアイコン配列は、手術部位の画像を表示する画像領域を含み、前記画像領域は前記グラフィックアイコン配列の中央付近に配置され、前記選択領域は、前記画像領域と少なくとも部分的に重なるように配置されている制御システム。
4. 請求項２または３に記載の制御システムにおいて、前記リスト領域は、前記グラフィックアイコン配列の周縁および周縁付近のいずれか一方に配置されている制御システム。
5. 請求項３または請求項３を引用する請求項４に記載の制御システムにおいて、前記リスト領域は、前記画像領域と少なくとも部分的に重なっていない制御システム。
6. 請求項３，請求項３を引用する請求項４および請求項５のいずれか一項に記載の制御システムにおいて、前記リスト領域は、新たに追加された器具を表すアイコンが表示される新規器具領域を含み、前記新規器具領域は、前記画像領域と少なくとも部分的に重なるように配置されている制御システム。
7. 請求項２から６のいずれか一項に記載の制御システムにおいて、前記モード変更信号を受信すると、前記選択可能な器具を表す前記アイコンを前記選択領域へ移行させて、当該器具がそれぞれ選択可能であることを示すように構成されており、任意で、前記制御システムは、前記移行を連続的な移行とするように構成されている制御システム。
8. 請求項１から７のいずれか一項に記載の制御システムにおいて、前記外科医コンソールおよび前記手術ロボットの少なくとも一方から前記モード変更信号を受信するように構成されている制御システム。
9. 請求項１から８のいずれか一項に記載の制御システムにおいて、前記モード変更信号を受信すると、前記複数の器具のうちの１つの器具が前記外科医コンソールに操作可能に連結されるようにセットアップされるセットアップモードおよび前記操作モードのうちの一方から、前記選択モードに変更するように構成されている制御システム。
10. 請求項２から９のいずれか一項に記載の制御システムにおいて、前記外科医コンソールの複数の入力装置のそれぞれから入力信号を受信するように構成されており、前記グラフィックアイコン配列は複数の選択領域を含み、各前記入力装置は前記複数の選択領域の１つとそれぞれ関連付けられており、前記制御システムは、前記モード変更信号を受信すると、各前記入力装置によって選択可能な器具を表すアイコンを当該入力装置の前記選択領域にそれぞれ表示させるように構成されている制御システム。
11. 請求項１から１０のいずれか一項に記載の制御システムにおいて、前記グラフィックアイコン配列を変更して前記選択可能な器具の識別を可能とすることには、
    アイコンの色の変更、
    前記アイコンのサイズの変更、
    前記アイコンの背景の変更、
    二次元的アイコンから三次元的アイコンへの前記アイコンの変更、
    三次元的アイコンから二次元的アイコンへの前記アイコンの変更、
    前記アイコンの明滅、および
    変調させた周波数での前記アイコンの明滅
    の１つ以上が含まれる制御システム。
12. 請求項３および請求項３を引用する請求項４から１１のいずれか一項に記載の制御システムにおいて、手術部位からの画像を示す画像信号を受信し、かつ前記画像領域に当該画像を表示させるように構成されており、表示された前記画像は、前記手術部位における器具の器具画像を含み、前記制御システムは、前記モード変更信号を受信すると前記器具画像を変更するように構成されている制御システム。
13. 請求項１２に記載の制御システムにおいて、前記画像領域にグラフィックスを重ね合わせること、前記画像領域に重ね合わされたグラフィックスを変更すること、および前記画像領域に重ね合わされたグラフィックスを削除することの少なくとも１つによって前記器具画像を変更するように構成されている制御システム。
14. 請求項１２または１３に記載の制御システムにおいて、前記器具画像を変更して前記グラフィックアイコン配列に対する変更に対応させることで、前記選択可能な器具の識別を可能とするように構成されている制御システム。
15. 請求項６および請求項６を引用する請求項７から１４のいずれか一項に記載の制御システムにおいて、前記リスト領域、前記選択領域および前記新規器具領域の少なくとも１つは、その周縁の少なくとも一部に境界線を有し、前記制御システムは、前記モード変更信号を受信すると、前記境界線を変更して前記モード変更の識別を可能とするように構成されている制御システム。
16. 請求項１から１５のいずれか一項に記載の制御システムにおいて、前記複数の器具に関連付けられた前記１つ以上の状態信号に応じてインターフェース状態を判断するように構成された運動学コントローラを備え、前記インターフェース状態は、表示用の前記グラフィックアイコン配列と関連付けられたデータを含む制御システム。
17. 請求項１６に記載の制御システムにおいて、前記運動学コントローラから前記インターフェース状態を受信し、かつ、表示用の前記グラフィックアイコン配列をレンダリングするように構成された視覚プロセッサを備え、前記運動学コントローラは、前記視覚プロセッサよりも高い周波数で操作可能である制御システム。
18. 請求項１から１７のいずれか一項に記載の制御システムにおいて、前記グラフィックアイコン配列のアイコンは、アイコンのクラスタを含む制御システム。
19. 手術ロボットから離れた外科医コンソールによって前記手術ロボットを制御する制御システムの作動方法であって、前記作動方法は、
    複数の器具に関連付けられた１つ以上の状態信号を前記制御システムが受信することであって、前記複数の器具はそれぞれ前記手術ロボットに取り付け可能であり、前記１つ以上の状態信号は、
    前記外科医コンソールによって制御されるための前記複数の器具のそれぞれの選択可能性と、
    一群のモードから、前記複数の器具のそれぞれの制御モードとを示し、前記一群のモードは、
    前記複数の器具のうちの１つの器具が前記外科医コンソールによって制御可能である操作モードと、
    前記複数の器具のうちの１つの器具が前記外科医コンソールによって制御されるために選択可能である選択モードとを含む、ことと；
    表示用のグラフィックアイコン配列であって、受信した前記１つ以上の状態信号に応じて、各アイコンが前記複数の器具のそれぞれを表すグラフィックアイコン配列を前記制御システムが決定し、かつ、表示信号を前記制御システムが出力して前記グラフィックアイコン配列を前記制御システムが表示させることと；
    前記選択モードへのモード変更を示すモード変更信号を前記制御システムが受信することと；
    前記受信したモード変更信号に応じて前記グラフィックアイコン配列を前記制御システムが変更して、前記複数の器具のうちの選択可能な器具を前記制御システムが識別することを可能とすることと；
    前記選択可能な器具のうちの１つの器具の選択を示す選択信号を前記外科医コンソールから前記制御システムが受信することと；
    受信した前記選択信号に応じて前記グラフィックアイコン配列を前記制御システムが変更して、選択された前記器具を前記制御システムが識別することを可能とすることと；
    前記外科医コンソールによる、選択された前記器具の制御を前記制御システムが可能とすることとを含む制御システムの作動方法。
20. コンピュータプログラムが記憶されたコンピュータ可読記憶媒体であって、前記コンピュータプログラムは、プロセッサによって実行されたときに、請求項１９に記載の方法を実行するよう構成されていることを特徴とする、コンピュータ可読記憶媒体。

Images