JP6918844B2 - 遠隔操作医療システムにおけるオンスクリーンメニューのためのシステム及び方法 - Google Patents

Description

（関連出願の参照）
この特許出願は、２０１６年７月１４日に出願された「SYSTEMS AND METHODS FOR ONSCREEN MENUS IN A TELEOPERATIONAL MEDICAL SYSTEM」という名称の米国仮特許出願第６２／３６２，３７６号の優先権及び出願日の利益を主張する。

本開示は、遠隔操作医療処置を実行するシステム及び方法に向けられており、より具体的には、外科環境において使用される遠隔操作器具のための機能メニューを表示するシステム及び方法に向けられている。

最小侵襲医療技法は、侵襲医療処置中に損傷される組織の量を減少させることにより、患者の回復時間、不快感及び有害な副作用を減少させることを意図している。そのような最小侵襲技法は、患者の解剖学的構造における自然開口部を通じて或いは１以上（１つ又はそれよりも多く）の外科的切開部を通じて実行されることがある。臨床医は、これらの自然開口部又は切開部を通じて医療器具を挿入して、標的組織場所に到達することがある。最小侵襲医療ツールは、治療器具、診断器具、及び手術器具のような器具を含む。最小侵襲医療器具は、内視鏡器具のような撮像器具（画像化器具）を含むこともある。撮像器具は、患者の解剖学的構造内の視野を使用者に提供する。幾つかの最小侵襲医療ツール及び撮像機器は遠隔操作されることがあり、或いはさもなければ、コンピュータ支援されることがある。遠隔操作医療システムが、追加的な構成及び対話モダリティを伴ってより複雑になると、追加的な物理的制御デバイスを操作者制御ステーションに追加することは、実現可能性がより少なくなる。遠隔操作システムの能力を拡張するためには、操作者が見ることができ且つアクセスすることができるグラフィカルメニューが必要とされる。

本発明の実施形態は、以下に後続する請求項によって要約される。

１つの実施形態では、システムが、操作者制御システムと、操作者制御システムの操作者制御デバイスによる動作のために構成される第１の遠隔操作マニピュレータとを含む、遠隔操作アセンブリを含む。第１の遠隔操作マニピュレータは、手術環境における第１の医療器具の動作を制御するように構成される。システムは、１つ又はそれよりも多くのプロセッサを含む処理ユニットも含む。処理ユニットは、手術環境の視野の画像を表示して、視野の画像中の第１の医療器具の画像に近接してメニューを表示するように構成される。メニューは、第１の医療器具についての機能を表す少なくとも１つのアイコンを含む。

他の実施形態では、方法が、手術環境の視野の画像を表示することを含む。視野内の第１の医療器具が、遠隔操作アセンブリ内の第１のマニピュレータに連結される。方法は、視野の画像中の第１の医療器具の画像に近接してメニューを表示することを更に含む。メニューは、複数のアイコンを含み、各アイコンは、第１の医療器具についての機能と関連付けられる。方法は、遠隔操作される操作者制御システムの操作者制御デバイスの動きに基づいて複数のアイコンから選択されるアイコンを識別することを更に含む。

本開示の態様は、添付の図面と共に読まれるときに、後続の詳細な記述から最良に理解される。業界の標準的な慣例に従って様々な構成は縮尺通りに描かれていないことが強調される。実際には、様々な構成の寸法は議論の明瞭性のために任意に増大され或いは減少されることがある。加えて、本開示は様々な例において参照番号及び／又は文字を繰り返すことがある。この繰返しは簡潔性及び明瞭性の目的のためであり、それ自体は議論する様々な実施形態及び／又は構成間の関係を規定するものでない。

本開示のある実施形態に従った遠隔操作医療システムの概略図である。

本明細書に記載する原理の一例に従った患者側カートの斜視図である。

多くの実施形態に従った遠隔操作医療システムのための外科医制御コンソールの斜視図である。

外科医制御コンソールの入力制御デバイスを例示している。

視野内の医療器具に近接するグラフィカルメニューを備える手術環境の視野図を例示している。

最小化されたグラフィカルメニューを例示している。

医療器具のための構成にアクセスする方法を例示している。

開放されたグラフィカルメニューを例示している。

他のグラフィカルメニューを例示している。

この開示の実施形態に従ったグリップアイコンを例示している。 この開示の実施形態に従ったグリップアイコンを例示している。 この開示の実施形態に従ったグリップアイコンを例示している。

ある機能のアクティブ状態と関連付けられたアイコンを例示している。

ある機能の選択的な状態と関連付けられたアイコンを例示している。

ある機能の有効化された状態と関連付けられたアイコンを例示している。

ある利用不能な機能と関連付けられたアイコンを例示している。

この開示の他の実施形態に従ったグラフィカルユーザインターフェースを例示している。

この開示の他の実施形態に従ったグラフィカルメニューを例示している。

本開示の原理の理解を促進する目的のために、次に、図面に例示する実施形態を参照し、特定の言語を用いて実施形態を記載する。それにも拘わらず、本開示の範囲の限定は意図されていないことが理解されるであろう。本発明の態様の以下の詳細な記述では、開示する実施形態の完全な理解をもたらすために、数多くの具体的な詳細を示す。しかしながら、この開示の実施形態がこれらの具体的な詳細を伴わずに実施される場合があることが当業者に明らかであろう。他の場合には、本発明の実施形態の態様を不必要に不明瞭にしないよう、周知の方法、手順、コンポーネント（構成要素）、及び回路は詳細に記載されていない。

記載するデバイス、器具、方法に対する更なる修正、及び本開示の原理の任意の更なる適用は、本開示が関連する当業者に通常起こるように完全に想定される。具体的には、１つの実施形態に関して記載する構成、コンポーネント、及び／又はステップは、本開示の他の実施形態に関して記載する構成、コンポーネント及び／又はステップと組み合わせられてよいことが完全に想定される。加えて、本明細書で提供される寸法は、具体的な例のためであり、本開示の着想を実施するために、異なるサイズ、寸法、及び／又は比率が利用されてよいことが想定される。不必要な記述の繰返しを避けるために、１つの例示的な実施形態に従って記載する１以上のコンポーネント又は行為（動作）は、他の例示的な実施形態から適用可能であるものとして使用されることができ、或いは省略されることができる。簡潔性のために、これらの組み合わせの数多くの反復は、別々に記載されていない。簡略化のために、幾つかの場合には、同じ又は類似の部分を指すために、図面を通じて同じ参照番号が使用される。

以下の実施形態は、三次元空間内のそれらの状態に関して、様々な器具及び器具の部分を記載する。本明細書において使用するとき、「位置(position)」という用語は、三次元空間（例えば、デカルトＸ，Ｙ，Ｚ座標に沿う３つの並進自由度）における物体又は物体の部分の場所を指す。本明細書において使用するとき、「向き(orientation)」という用語は、物体又は物体の部分の回転配置（３つの回転自由度、例えば、ロール、ピッチ、及びヨー）を指す。本明細書において使用するとき、「姿勢(pose)」という用語は、少なくとも１つの並進自由度における物体又は物体の部分の位置及び少なくとも１つの回転自由度における物体又は物体の部分の向き（最大６つの自由度）を指す。本明細書において使用するとき、「形状(shape)」という用語は、物体に沿って測定された姿勢、位置、又は向きのセットを指す。

図面の図１Ａを参照すると、例えば、診断、治療、又は外科処置を含む医療処置における使用のための遠隔操作医療システムが、参照番号１０によって概ね示されている。以下に記載するように、この開示の遠隔操作医療システムは、外科医の遠隔操作制御の下にある。代替の実施形態において、遠隔操作医療システムは、処置又はサブ処置を実行するようプログラムされたコンピュータの部分的な制御の下にあってよい。更に他の代替実施形態では、処置又はサブ処置を実行するようにプログラムされたコンピュータの完全制御の下で、完全自動化された医療システムを使用して、処置又はサブ処置を実行してよい。図１Ａに示すように、遠隔操作医療システム１０は、一般的に、患者Ｐを位置付ける手術台Ｏに又はその付近に取り付けられる遠隔操作アセンブリ１２を含む。遠隔操作アセンブリ１２を患者側カートと呼ぶことがある。（「医療器具１４」と呼ぶこともある）医療器具システム１４及び（「内視鏡１５」と呼ぶこともある）内視鏡撮像システム１５が、遠隔操作アセンブリ１２に動作可能に連結される。操作者入力システム１６は、外科医又は他のタイプの臨床医Ｓが、手術部位の画像又は手術部位を表す画像を見て、医療器具システム１４及び／又は内視鏡撮像システム１５の動作を制御することを可能にする。

操作者入力システム１６は、通常は手術台Ｏと同じ部屋内に配置される、外科医コンソール又は他の制御コンソールに配置されてよい。しかしながら、外科医Ｓを患者Ｐと異なる部屋又は完全に異なる建物に配置し得ることが理解されるべきである。操作者入力システム１６は、一般的に、医療器具システム１４を制御するための１以上（１つ又はそれよりも多く）の制御デバイスを含む。（複数の）制御デバイスは、ハンドグリップ、ジョイスティック、トラックボール、データグローブ、トリガガン、フットペダル、手動操作コントローラ、音声認識デバイス、タッチスクリーン、身体動作又は存在センサ、及び同等物のような、任意の数の様々な入力装置を含んでよい。幾つかの実施形態において、（複数の）制御デバイスは、テレプレゼンス、即ち、外科医が恰も手術部位に存在するかのように器具を直接制御している強い感覚を有するような、（複数の）制御デバイスが器具と一体であるという知覚を、外科医に提供するよう、遠隔操作アセンブリの医療器具と同じ自由度を備える。他の実施形態において、（複数の）制御デバイスは、関連する医療器具よりも多い又は少ない自由度を有して、依然として外科医にテレプレゼンスを提供してよい。幾つかの実施形態において、（複数の）制御デバイスは、６自由度で動く手動入力デバイスであり、手動入力デバイスは、器具を作動させる（例えば、把持ジョーのエンドエフェクタを閉塞するための、電極に電位を印加するための、医療処置を送達するための、及び同等のことのための）作動可能なハンドルを含んでもよい

遠隔操作アセンブリ１２は、外科医Ｓが操作者入力システム１６を通じて手術部位を見る間に、医療器具システム１４を支持し且つ操作する。立体視内視鏡のような内視鏡撮像システム１５によって手術部位の画像を得ることができ、内視鏡撮像システム１５を操作して内視鏡撮像システム１５を方向付けることができる。（カートとして構成されるか或いはカートの部分として使用可能に構成されるときには「電子機器カート１８」とも呼ぶ）電子機器システム１８を使用して、操作者入力システム１６を含む外科医コンソールを通じた外科医Ｓへの後続の表示のために、手術部位の画像を処理することができる。一度に使用される医療器具システム１４の数は、一般的に、診断又は外科処置及び数ある要因の中でも手術室内の空間制約に依存する。遠隔操作アセンブリ１２は、１以上の非サーボ制御リンク（例えば、一般的にセットアップ構造と呼ぶ、手動で位置決めされて所定の場所にロックされることがある１以上のリンク）の運動学的構造と、遠隔操作マニピュレータとを含んでよい。遠隔操作アセンブリ１２は、医療器具システム１４上の入力部を駆動させる複数のモータを含む。これらのモータは、制御システム（例えば、制御システム２０）からの命令に応答して動く。モータは、医療器具システム１４に連結されるときに、医療器具を自然に又は外科的に創られた解剖学的開口部内に前進させることがある、駆動システムを含む。他の電動駆動システムは、３つの程度の線形運動（例えば、Ｘ，Ｙ，Ｚデカルト軸に沿った線形運動）及び３つの程度の回転運動（例えば、Ｘ，Ｙ，Ｚデカルト軸についての回転）を含んでよい、多数の自由度において、医療器具の遠位端を移動させてよい。加えて、生検デバイス又は類似物のジョー内で組織を把持するために、器具の関節作動可能なエンドエフェクタを作動させるよう、モータを使用することができる。器具１４は、メス、鈍らなブレード、光ファイバ、又は電極のような、単一の作動部材を有する、エンドエフェクタを含んでよい。他のエンドエフェクタは、例えば、鉗子、グラスパ、ハサミ、又はクリップアプライアを含んでよい。

遠隔操作医療システム１０は、制御システム２０も含む。制御システム２０は、医療器具システム１４と、操作者入力システム１６と、電子機器システム１８との間の制御をもたらすために、少なくとも１つのメモリと、少なくとも１つのプロセッサ（図示せず）、典型的には、複数のプロセッサとを含む。制御システム２０は、本明細書に開示する態様に従って記載する方法の一部又は全部を実装するプログラム指令（例えば、指令を格納するコンピュータ可読媒体）も含む。制御システム２０は、図１Ａの簡略化された概略図において単一のブロックとして示されているが、システムは、２以上（２つ又はそれよりも多く）のデータ処理回路を含んでよく、処理の一部は、任意的に、遠隔操作アセンブリ１２で又は遠隔操作アセンブリ１２に隣接して実行され、処理の他の部分は、操作者入力システム１６で実行されるなどである。多種多様な集中型又は分散型のデータ処理アーキテクチャのうちのいずれかが利用されてよい。同様に、プログラムされる指令は多数の別個のプログラム又はサブルーチンとして実装されてよく、或いはそれらは本明細書に記載する遠隔操作システムの多数の他の態様に統合されてよい。１つの実施形態において、制御システム２０は、ブルートゥース（登録商標）、ＩｒＤＡ、ホームＲＦ、ＩＥＥＥ８０２．１１、ＤＥＣＴ、及びワイヤレステレメトリ(Wireless Telemetry)のような無線通信プロトコルをサポートする。

幾つかの実施形態において、制御システム２０は、医療器具システム１４から力及び／又はトルクフィードバックを受信する１以上のサーボコントローラを含んでよい。フィードバックに応答して、サーボコントローラは、操作者入力システム１６に信号を送信する。（複数の）サーボコントローラは、遠隔操作アセンブリ１２を指示する信号を送信して、体にある開口を介して患者の体内の内部手術部位に延びる（複数の）医療器具システム１４及び／又は内視鏡撮像システム１５を移動させてもよい。任意の適切な従来的な又は特殊なサーボコントローラが使用されてよい。サーボコントローラは、遠隔操作アセンブリ１２と別個であってよく、或いは遠隔操作アセンブリ１２と一体であってよい。幾つかの実施形態において、サーボコントローラ及び遠隔操作アセンブリは、患者の体に隣接して位置付けられる遠隔操作アームカートの部分として提供される。

電子機器システム１８は、内視鏡撮像システム１５と連結されることができ、外科医コンソールにある外科医への或いはローカルに及び／又は遠隔に配置される他の適切なディスプレイ上のような後続の表示のために、取り込まれる画像を処理するプロセッサを含むことができる。例えば、立体視内視鏡が使用される場合、電子機器システム１８は、取込んだ画像を処理して、外科医に手術部位の調整された立体画像を提示することができる。そのような調整は、対向する画像間の整列（位置合わせ）を含むことができ、立体視内視鏡の立体作動距離を調節することを含むことができる。他の例として、画像処理は、予め決定されたカメラ較正パラメータを使用して、光学収差のような画像キャプチャデバイスの撮像誤差を補償することを含むことができる。電子機器システム１８は、ディスプレイモニタや、制御システム２０のコンポーネントも含んでよい。

遠隔操作医療システム１０は、照明システム、操縦制御システム、洗浄システム、及び／又は吸引システムのような、任意的な操作及び支持システム（図示せず）を更に含んでよい。代替的な実施形態において、遠隔操作システムは、１つよりも多くの遠隔操作アセンブリ及び／又は１つよりも多くの操作者入力システムを含んでよい。マニピュレータアセンブリの正確な数は、他の要因の中でも、外科処置及び手術室内の空間制約に依存する。操作者入力システムは並置されてよく、或いはそれらは別個の場所に配置されてよい。多数の操作者入力システムは、１人よりも多くの操作者が１つよりも多くのマニピュレータアセンブリを様々な組み合わせにおいて制御することを可能にする。

図１Ｂは、医療処置中に患者付近に配置されるように設計されるときに患者側カート１２と呼ぶことがある、遠隔操作アセンブリ１２の１つの実施形態の斜視図である。図示の遠隔操作アセンブリ１２は、３つの手術器具２６ａ，２６ｂ，２６ｃ（例えば、器具システム１４）及び手術部位の画像の取込みのために使用される立体視内視鏡のような撮像器具２８（例えば、内視鏡撮像１５）の操作をもたらす。撮像デバイス２８を「撮像デバイス２８」と呼ぶこともあり、ケーブル５６を通じて制御システム２０に信号を送信することがある。操作は、多数のジョイント（関節）を有する遠隔操作機構によって提供される。切開部の大きさを最小に抑えるために、運動学的な遠隔中心が切開部に維持されるよう、撮像デバイス２８及び手術器具２６ａ〜２６ｃを、患者の切開部を通じて位置付けて、操作することができる。手術部位の画像は、手術ツール２６ａ〜２６ｃが撮像デバイス２８の視界内に位置付けられるときの手術ツール２６ａ〜２６ｃの遠位端の画像を含むことができる。

患者側カート２２は、駆動可能なベース５８（基部）を含む。駆動可能なベース５８は、伸縮式のコラム５７に接続されており、伸縮式のコラム５７は、アーム５４の高さの調節を可能にする。アーム５４は、回転し且つ上下に動く回転ジョイント５５を含んでよい。アーム５４の各々は、配向プラットフォーム５３に接続されてよい。配向プラットフォーム５３は、３６０度の回転が可能であってよい。患者側カート２２は、配向プラットフォーム５３を水平方向に動かすための伸縮式の水平カンチレバー５２を含んでもよい。

本例において、アーム５４の各々は、マニピュレータアーム５１に繋がっている。マニピュレータアーム５１は、医療器具２６に直接的に繋がってよい。マニピュレータアーム５１は、遠隔操作可能であってよい。幾つかの例において、配向プラットフォームに繋がるアーム５４は、遠隔操作可能でない。むしろ、そのようなアーム５４は、外科医Ｓが遠隔操作コンポーネントで手術を開始する前に所望に位置付けられる。

内視鏡撮像システム（例えば、撮像デバイス１５又は２８を含むシステム）は、剛性の又はフレキシブルな内視鏡を含む様々な構成で提供されてよい。剛性の内視鏡は、内視鏡の遠位端から近位端に画像を送るリレーレンズシステムを収容する剛性のチューブを含む。フレキシブルな内視鏡は、１以上のフレキシブルな光ファイバを使用して画像を送る。デジタル画像ベースの内視鏡は、１以上の電荷結合素子（ＣＣＤ）又は相補型金属酸化膜半導体（ＣＭＯＳ）デバイスのような遠位デジタルセンサが画像データを格納する「先端上のチップ(chip on tip)」設計を有する。内視鏡撮像システムは、二次元又は三次元画像を観察者（見る者）に提供することがある。二次元画像は、限定的な奥行き知覚を提供することがある。三次元立体内視鏡画像は、より正確な奥行き知覚を観察者に提供することがある。立体内視鏡器具は、立体カメラを使用して、患者の解剖学的構造の立体画像を取り込む。内視鏡器具は、内視鏡ケーブル、ハンドル及びシャフトが全て堅固に連結されて密封された、完全に滅菌可能なアセンブリであってよい。

図１Ｃは、操作者入力システム１６を含む外科医コンソールの斜視図である。操作者入力システム１６を含む外科医コンソールは、奥行き知覚を可能にする手術環境の協調させられた立体像(coordinated stereo view)を外科医Ｓに提示する左眼用ディスプレイ３２及び右眼用ディスプレイ３４を含む。操作者入力システム１６を含む外科医コンソールは、１以上の入力制御デバイス３６を更に含み、次に、１以上の入力制御デバイス３６は、遠隔操作アセンブリ１２に１以上の器具又は内視鏡撮像システムを操作させる。入力制御デバイス３６は、それらの関連する器具１４と同じ自由度を提供して、テレプレゼンス、又は外科医が器具１４を直接制御している強い感覚を有するような、入力制御デバイス３６が器具１４と一体であるという知覚を、外科医に提供する。この目的を達成するために、位置、力、及び触覚フィードバックセンサ（図示せず）を利用して、入力制御デバイス３６を通じて器具１４からの位置、力及び触感を外科医の手に戻してよい。入力制御デバイス３７は、使用者の足から入力を受けるフットペダルである。

図２を参照すると、各入力制御デバイス３６は、３つの軸、即ち、軸Ａ１、軸Ａ２、及び軸Ａ３についての作動可能なハンドル７０の回転を可能にする、４つの自由度のジンバル又はリスト（手首部）を含む。ハンドル７０は、ハンドルの連続的な回転を可能にする第１の回転可能なジョイント７４によって第１の肘形状のリンク７２に連結される。第１のリンク７２は、プラットフォーム７６に連結される。各制御デバイス３６は、一般的に、複数の自由度、典型的には、６つの自由度、即ち、３つの回転自由度及び３つの並進自由度で、作業空間制御作業空間内のハンドル７０の動きを可能にする。これは作動可能なハンドル７０がその動作範囲内で任意の位置及び任意の向きに動かされることを可能にする。作動可能なハンドル７０は、操作者がハンドルの動きによって位置決めされる器具２６又は２８を作動させることを可能にするようグリップアクチュエータ７８及び／又はスイッチ８０を含む。指ループ８２がハンドル７０に取り付けられて、操作者の指がハンドル上で滑ることを防止する。

操作者入力システム１６を含む外科医コンソールは、両眼がディスプレイを見ていて、両手が制御デバイス３６と係合したままの状態で、外科医の頭が操作者入力システム１６を含むコンソール内に留まる間に、外科医が医療器具で様々な機能を実行することを可能にする、「ヘッドイン(head-in)」グラフィカルユーザインターフェースを提供する。以下に記載するように、使用者の頭が操作者入力システム１６を含むコンソール内に留まる間に実行されることがある処置の例は、器具交換手順である。遠隔操作システム及び医療器具の構成及び対話モダリティが増加すると、各々の追加的な構成のために追加的な物理的入力制御デバイス（例えば、フットペダル、スイッチ、ボタン）を追加し続けることは実行不可能になる。ユーザインターフェースにグラフィカルメニュー(graphical menus)を含めることは、追加的な物理的ユーザ入力を追加せずに、器具及びシステム能力にアクセスする豊富で拡張可能なプラットフォームを提供する。

図３は、患者Ｐ内の手術環境１００を例示している。手術環境１００内の撮像器具の視野の画像１０２を表示するために、撮像器具（例えば、撮像器具２８）が使用される。画像１０２は、立体視内視鏡によって取得され、右眼用及び左眼用のディスプレイを通じて使用者に見える画像の合成画像として生成される、三次元画像である。視野は、器具２６ａの遠位端部分、器具２６ｂの遠位端部分、及び器具２６ｃの遠位端部分の画像を含む。画像１０２は、臨床医への指示、警告、器具識別情報、状態情報、又は外科処置に関する他の情報を含むことがある、画像の周辺に配置される情報フィールド１０４も含む。

図３に示すような１つの実施形態において、視野内の器具２６ｂの構成及び能力にアクセスすることは、画像１０２の上に重ね合わされるグラフィカルメニュー１１０によって可能にされる。グラフィカルメニュー１１０は、医療器具２６ｂの遠位端の画像に近接して表示されるので、外科医は、同じ場所に配置されるグラフィカルメニュー１１０が医療器具２６ｂに関係することを容易に告げることができる。この実施形態において、グラフィカルメニュー１１０は、器具が連結される遠隔操作アーム（例えば、アーム「３」）の数値識別子のような、医療器具２６ｂに関連付けられる関連情報を含む。「Systems and Methods for Onscreen Identification of Instruments in a Teleoperational Medical System」が、２０１５年３月１７日に出願された米国仮出願第６２／１３４，２９７号に提供されており、その全体を本明細書中に参照として援用する。

幾つかの実施形態では、グラフィカルメニュー１１０の配置のための初期設定場所が、器具２６ｂの遠位端の一部の上に重ね合わせられる。他の実施形態において、グラフィカルメニュー１１０は、遠位端部分に隣接して表示される。メニューについての初期設定場所は、視野内の医療器具２６ｂの遠位端部分のサイズに依存することがある。例えば、画像が接近してズームインされ、エンドエフェクタが画像の大部分を占めるならば、メニューは、ジョーの遠位端で視野を妨げることなく、エンドエフェクタジョーのうちの１つのエンドエフェクタジョーの近位部分に配置されることがある。しかしながら、画像がズームアウトされ、エンドエフェクタジョーが画像中で比較的小さいならば、メニューは、ジョーを不明瞭にするのを避けるために、ジョイント領域又はシャフト上に配置されてよい。メニュー１１０の配置は、臨床医が手術環境に集中したまま器具の構成にアクセスすることを可能にする。

グラフィカルメニュー１１０は、器具２６ｂと関連付けられる機能がセレクタアイコン１１４(selector icon)の周囲について径方向に（放射状に）配置された小さな最小化された機能アイコン１１２ａ，１１２ｂとして提示される、最小化された構成を有する。セレクタアイコン１１４は、ポインタ１１６と、本体１１８とを含む。この実施形態において、遠隔操作アームの数値識別子は、本体１１８の中央領域内に配置される。器具２６ｂと関連付けられる制御デバイス３６の動きに応答して、セレクタアイコン１１４は、本体１１８の中心について枢動してポインタ１１６をダイアル状に動かすよう、アニメ化される(animated)。

図４に示すように、グラフィカルメニュー１１０は、任意的に、器具２６ｂのエンドエフェクタの状態を示すグリップインジケータ１２０と、器具２６ｂのシャフトの方向を示すシャフトインジケータ１２２とを含んでよい。器具２６ｂが２グリップエンドエフェクタを有するならば、グリップは、開いたグリップインジケータ１７０（図８Ａ）又は閉じたグリップインジケータ１７２（図８Ｂ）として示されてよい。器具２６ｂが単一ブレードエンドエフェクタを有するならば、ブレードは、単一の指部１７４として示されてよい（図８Ｃ）。インジケータ１２０，１２２は、グラフィカルメニューがどの器具に関連付けられているかを理解するのを助けることによって観察する外科医を支援する。例えば、メニューと器具との間の関連性に曖昧さがある場合、外科医はインジケータ１２０，１２２を見て、付近の器具遠位端の構成を観察してよい。次に、外科医は、付近の器具を、インジケータ１２０，１２２と一致するエンドエフェクタ及びシャフト構成と関連付けることができる。

図５は、グラフィカルメニュー１１０を介して医療器具２６ｂ又は連結された遠隔操作アーム３の機能にアクセスする方法１５０を例示している。プロセス１５２で、遠隔操作システムが、器具２６ｂを含む器具の動きが関連付けられる制御デバイス３６における使用者の手の動きに追従する、手術器具制御又は「追従(following)」動作モードにある間に、視野画像１０２が表示される。プロセス１５４で、外科医は、遠隔操作システムを、関連付けられる制御デバイス３６における使用者の手の動きが器具２６ｂ及びアーム３の動きから切り離されるメニューモードに入らせる。１つの実施形態において、メニューモードは、外科医が操作者入力システム１６を含むコンソールのクラッチペダル（例えば、入力制御デバイス３７を含むペダル）を踏むときに入力されてよい。クラッチペダルを押し下げた後、制御デバイス３６による医療器具２６ｂの制御は中断される。制御デバイス３６は、医療器具２６ｂの対応する動きを伴わずに自由に動いてよい。メニューモードにおいて、制御デバイス３６のグリップアクチュエータ７８の動きは、器具２６ｂのエンドエフェクタの動きから切り離される。メニューモードに入ると、最小化されたグラフィカルメニュー１１０が現れる。

インジケータ１２０，１２２と関連付けられる機能の各々についてのより大きな情報を提供するために、図６に示すように、拡張グラフィカルメニュー１３０(expanded graphical menu)が表示されてよい。拡張グラフィカルメニュー１３０は、セレクタアイコン１１４を含み、最小化された機能アイコン１１２ａ，１１２を拡張機能アイコン１３２ａ，１３２ｂと置換する。この実施形態において、拡張機能アイコンの各々は、機能アイコンと関連付けられる機能を記述する、絵文字１３４(pictogram)及び機能ラベル１３６(function label)を含む。例えば、拡張機能アイコン１３２ａは、拡張メニュー１３０を最小化されたグラフィカルメニュー１１０のフォーマットに戻す「終了(EXIT)」機能と関連付けられる。拡張機能アイコン１３２ｂは、医療器具２６ｂについての器具排出シーケンスを開始する「排出(EJECT)」機能と関連付けられる。拡張グラフィカルメニュー１３０は、制御デバイス３６のハンドル７０が軸Ａ１について回転させられるときに表示される。任意的に、ハンドル７０が回転させられると、「クリック(click)」感覚をもたらす触覚力が制御デバイス３６を通じて外科医に提供されて、グラフィカルメニュー１３０の起動の確認を提供する。

拡張グラフィカルメニュー１３０を開くために或いはセレクタアイコン１１４を動かすために使用される（軸Ａ１についての）ハンドル７０の回転運動は、システムが手術器具制御モードのような他の手術モードにあるときに器具を操作するために使用されない自由度（即ち、ロール自由度）である。よって、外科医は、制御デバイスの軸についてのロール自由度が切り離されて、器具操作ではなくメニュー選択に使用されることを認識することがある。ロール軸の向きは、メニューモードにおいて（或いは一般的にはクラッチペダルが作動される(engaged)ときに）変化せず、器具エンドエフェクタの最後の向きと整列して維持される。他の実施形態において、セレクタアイコンを制御するために使用される同じ自由度が、手術器具制御モードにおいてツール動作を制御するために使用されてよい。

図５に戻ると、プロセス１５６で、機能アイコン１３２ａ，１３２ｂのうちの１つがメニュー１３０から識別されてよい。より具体的には、拡張グラフィカルメニュー１３０が最初に開かれるときに、ポインタ１１６は、アイコン１３２ａに向かって、上向きのような中立位置に位置付けられる。ポインタのこの中立位置は、制御デバイスの中立位置に対応する。制御デバイスの中立位置は、器具制御モードにおける制御デバイスの最新の位置であってよい。他の実施形態において、ポインタは、中立位置において他の径方向に向けられる。図６の実施形態において、ハンドル７０が軸Ａ１について時計回りに回転させられると、ポインタ１１６は、中立位置から次の機能アイコン１３２ｂに向かって時計回りに回転する。ポインタ１１６を次の機能アイコンに移動させるために、ハンドル７０は、例えば、１８０°より少なく回転させられてよく、或いは９０°より少なく回転させられてさえよい。この例において、ハンドル７０は、約４０°回転させらせる。制御デバイス３６を通じて触覚力、例えば、「クリック」感覚を外科医に提供して、ポインタ１１６が径方向の一連のアイコン内の次の機能アイコン１３２ｂに向けられているという確認を提供してよい。

ハンドル７０の時計回りの回転及び対応する触覚力が適用後、ハンドル７０は、中立位置に戻る或いは「スナップバックする(snaps back)」が、ポインタ１１６は、機能アイコン１３２ｂに向けられたままである。中立位置への復帰は、外科医の手の姿勢の最小限のずれ(deviation)を可能にして、より良い人間工学をもたらす（例えば、外科医の手首は過度に回転することは必要とされない）。ハンドル７０のこの再中心化(recentering)は、器具制御モードへの再入(reentry)をより迅速に進めることを可能にする。２つの機能アイコンのみが示されているが、他の実施形態において、機能アイコンは、セレクタアイコンの円全体の周りに配置されてよい。ハンドル７０の各回転後、ポインタは径方向の連続における次のアイコンに進むが、制御デバイス３６は、中立位置に戻ってよい。ハンドル７０を軸Ａ１について反時計回りに動かして、ポインタ１１６が反時計回りに動くようにさせてもよい。

選択のために利用可能な機能は、アイコンのグラフィック特徴によって識別されてよい。例えば、無効にされた機能は、色（例えば、白い絵文字及び文字）によって、ボックス１８８（図９Ｄ）のようなグラフィック構成によって、或いは絵文字及び／又は文字の上に置かれる「Ｘ」によって示されてよい。有効にされた機能は、色によって及び／又は所定の大きさの隅ブラケット１８６（図９Ｃ）によって示されてよい。

ポインタ１１６が機能アイコン１３２ｂに向けられると、その機能アイコンは「選択された」とみなされる。選択された機能は、機能アイコン１３２ｂの外観の変化によって示されてよい。例えば、隅ブラケット１８４は、有効にされた状態の隅ブラケット１８６と比較して狭い幅を有してよい（図９Ｂ）。

アイコン１３２ｂと関連付けられる機能をアクティブ化させるために、外科医は、操作者入力システム１６を含む制御コンソールにあるグリップアクチュエータ７８又は他のボタン若しくはスイッチを押し下げる。この実施形態において、アイコン１３２ｂは、排出機能と関連付けられ、グリップアクチュエータを押し下げることは、器具排出シーケンスを開始させる。選択された機能がアクティブ化されると、機能アイコン１３２の外観を変更して、機能が選択されたことを示してよい。例えば、二重隅ブラケット１８２は、排出機能がアクティブ化されたことを観察者に示すように見えてよい（図９Ａ）。

器具排出シーケンスは、短いホールドオフ期間(hold-off period)で開始してよい。この期間は、セレクタアイコンの色の漸進的な変化又はセレクタアイコンの縁の周りのリングの増分的な成長のようなグラフィカルメニューの変化によって特徴付けられてよい。次に、器具が２本指グリップエンドエフェクタを有するならば、グリップを開いて組織を解放し、器具のリストを真っ直ぐになって器具シャフトと整列する。シャフトは僅かに後退してよい。排出機能のこれらの段階の間に、セレクタアイコン１１４上の進行インジケータ１３８が、排出機能の現在の段階を示す。例えば、進行インジケータ１３８は、時計回り方向に進みながら色が増分的に変化するグラフィックリングであってよい。グラフィックリングが完全な円を創り出す前に、例えば、制御デバイスのグリップを開くか或いはクラッチペダルを離すことによって、排出機能は取り消されてよい。進行インジケータ１３８が、器具が真っ直ぐになったことを示した後に、器具はカニューレの挿入軸に沿ってアクセスカニューレ内に引っ込められてよい。エンドエフェクタをカニューレ内に至らせる収縮プロセス中に、排出機能は中断されなくてよい。

図６のメニューは、対応する制御デバイス内の外科医の右手によって制御されることがある。左手で制御される楽器について、アイコンは反対の構成に配置されてよい（即ち、排出アイコンは終了アイコンの左にあってよい）。様々な実施形態において、セレクタアイコン１１４の動きは、右手制御デバイスに連結されてよく、或いは、代替的に、左手制御デバイスに連結されてよい。右手が第１のメニューから選択し、左手が第２のメニューから選択するよう、異なるグラフィカルユーザインタフェースメニューが各手に関連付けられてよい。代替的に、メニューは、メニュー項目が反時計回りの回転によって選択されるよう構成されてよい。他の実施形態において、制御デバイスは、メニュー項目を選択するために、時計回り及び反時計回りの両方向に動いてよい。様々な代替実施形態では、２つよりも多くのグラフィカルメニューが、視野の画像内の器具の先端と同じ場所に配置されてよい。

図７は、代替的な実施形態に従ったグラフィカルメニュー１６０を例示している。この実施形態では、セレクタアイコン１６２が、制御デバイスハンドル７０の時計回りの回転に応答して線形経路１６３に沿って下向きに動き、制御デバイスハンドルの反時計回りの回転に応答して上向きに動く。機能アイコン１６４は、線形経路１６３に沿って線形に整列させられる。アイコンが線形に整列させられるこの実施形態の選択及びアクティブ化プロセスは、アイコンが径方向に配置されるときには、上述したものと概ね同じである。

図１０は、この開示の他の実施形態に従ったグラフィカルユーザインターフェース２００を例示している。この実施形態では、グラフィカルメニュー２０２が、特定の器具又は器具駆動装置と関連付けられるというよりもむしろ、グローバル制御モード選択と関連付けられてよい。この実施形態において、グラフィカルメニュー２０２は、遠隔操作システムのコンポーネントを表す器具ナビゲータのグラフィカル画像２０４の上に中心化された、手術像(surgical view)内の固定位置にある。例えば、器具ナビゲータは、システムのエンドエフェクタの構成を表すことがある。メニュー２０２は、外科医が制御コンソール上の制御デバイス（例えば、クラッチフットペダル）を操作することによって調節制御モード(ADJUST-CONTROL mode)に入ると現れる。メニュー２０２は、セレクタアイコン２０６を含み、セレクタアイコン２０６は、この実施形態において、ポインタを備える部分円の形状を含み、径方向に配置された機能アイコン２０８，２１０を含む。初期位置において、セレクタアイコン２０６は、現在のアクティブ制御モードを示すよう、直立して向けられている。セレクタアイコン２０６は、上述のように、ロール軸Ａ１について制御ハンドル７０を回転することによって、枢動させられてよい。ハンドルが時計回りに約４０°回転させられると、セレクタアイコン２０６のポインタは、カメラ制御機能を選択するよう、機能アイコン２０８に向かって方向付けられる。前述のように、触覚力を提供して、セレクタアイコンがアイコン２０８に達するときに外科医に「クリック」感覚を与えてよい。その機能は、グリップアクチュエータ７８を締め付けること(squeezing)によって選択されてよい。ひとたびカメラ制御モードに入ると、セレクタアイコン２０６は見えなくなってよい。外科医がフットペダルを離すときに、カメラ制御モードが終了してよい。前述のように、制御デバイスのハンドル７０は、セレクタアイコン２０６の各クリックの後に中立位置に戻ってよい。図１１は、再配置制御の機能のためのアイコン２１４を更に含む修正グラフィカルメニュー２１２を例示している。この実施形態において、アイコン２１４はアイコン２０８の左側にあるので、外科医はセレクタアイコン２０６を反時計回りに回転させてよい。

本発明の実施形態における１以上の要素は、制御処理システムのようなコンピュータシステムのプロセッサ上で実行するソフトウェア中に実装されてよい。ソフトウェア中に実装されるとき、本発明の実施形態の要素は、本質的に、所要のタスクを実行するコードセグメントである。プログラム又はコードセグメントは、伝送媒体又は通信リンクを通じて搬送波中に具現されるコンピュータデータ信号によってダウンロードされてよいプロセッサ可読記憶媒体又はデバイスに格納されることができる。プロセッサ可読記憶デバイスは、光学媒体、半導体媒体、及び磁気媒体を含む、情報を格納することができる任意の媒体を含んでよい。プロセッサ可読記憶デバイスの例は、電子回路、半導体デバイス、半導体メモリデバイス、読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、消去可能プログラマブル読出し専用メモリ（ＥＰＲＯＭ）、フロッピー（登録商標）ディスケット、ＣＤ−ＲＯＭ、光ディスク、ハードディスク、又は他の記憶デバイスを含む。コードセグメントは、インターネット、イントラネットなどのような、コンピュータネットワークを介してダウンロードされてよい。

提示するプロセス及びディスプレイは本質的に如何なる特定のコンピュータ又は他の装置にも関連しない場合があることに留意のこと。様々な汎用システムが本明細書中の教示に従ったプログラムと共に使用されてよく、或いは記載する動作を実行するためにより特殊化された装置を構築することが便利であることが判明することがある。様々なこれらのシステムのために必要とされる構造は、請求項中に要素として現れる。加えて、本発明の実施形態は、如何なる特定のプログラミング言語をも参照して説明されない。本明細書に記載する本発明の教示を実施するために様々なプログラミング言語が使用されてよいことが理解されるであろう。

本発明の特定の例示的な実施形態を記載し且つ添付の図面に示しているが、そのような実施形態は広い発明の例示に過ぎず、広い発明を制限するものでないこと、並びに、本発明の実施形態は、図示し且つ記載する特定の構造及び配置に限定されないことが理解されるべきである。何故ならば、様々な他の修正が当業者に思い浮かぶことがあるからである。

Claims (14)

1. 遠隔操作アセンブリと、
   １つ又はそれよりも多くのプロセッサを含む処理ユニットとを含み、
   前記遠隔操作アセンブリは、
   操作者制御システムと、
   該操作者制御システムの操作者制御デバイスによる動作のために構成され、手術環境における第１の医療器具の動作を制御するように構成される、第１の遠隔操作マニピュレータとを含み、
   前記処理ユニットは、
   前記手術環境の視野の画像を表示して、
   前記視野の前記画像中の前記第１の医療器具の画像に近接してメニューを表示するように構成され、
   前記メニューは、前記第１の医療器具についての機能を表す少なくとも１つのアイコンを含む、
   システム。
2. 前記処理ユニットは、前記操作者制御デバイスが前記第１の医療器具の動作を制御することを無効にした後に、前記メニューを表示するように更に構成される、請求項１に記載のシステム。
3. 前記処理ユニットは、前記操作者制御システムのクラッチ機構のアクティブ化に応答して、前記操作者制御デバイスを無効にするように更に構成される、請求項２に記載のシステム。
4. 前記メニューは、前記視野内にセレクタアイコンを含み、該セレクタアイコンは、前記第１の医療器具についての機能を表す前記少なくとも１つのアイコンのうちの１つを示すために、前記操作者制御デバイスの動きに応答して前記視野内で移動可能である、請求項１に記載のシステム。
5. 前記セレクタアイコンは、ロール軸についての前記操作者制御デバイスの回転に応答して前記視野内で移動可能である、請求項４に記載のシステム。
6. 器具制御モードにおいて、前記第１の医療器具の前記ロール軸は、使用されない自由度である、請求項５に記載のシステム。
7. 前記少なくとも１つのアイコンは、前記操作者制御デバイスの回転に応答して拡張アイコンを表示するように修正される、請求項１に記載のシステム。
8. 前記メニューは、前記第１の医療器具のエンドエフェクタの構成に対応するエンドエフェクタインジケータを更に含む、請求項１に記載のシステム。
9. 前記第１の医療器具についての前記機能は、前記手術環境からの前記第１の医療器具のための排出機能である、請求項１に記載のシステム。
10. 前記処理ユニットは、前記機能のための進行インジケータを表示するように更に構成される、請求項１に記載のシステム。
11. 前記処理ユニットは、アクティブ化トリガの受信に基づいて前記第１の医療器具の前記機能をアクティブ化させるように更に構成される、請求項１に記載のシステム。
12. 前記アクティブ化トリガは、スイッチのアクティブ化である、請求項１１に記載のシステム。
13. 前記アクティブ化トリガは、前記操作者制御デバイスの把持機構の閉塞である、請求項１１に記載のシステム。
14. 前記処理ユニットは、前記アクティブ化トリガの受信後に、前記第１の医療器具の前記機能をアクティブ化させる前に、ホールドオフ期間を開始させるように更に構成される、請求項１１に記載のシステム。

Images