JP5639223B2 - 医療用ロボットシステムにおけるコンピュータディスプレイ上の補助画像の表示および操作 - Google Patents

Description

（関連出願の引用）
本出願は、２００５年１０月２０日に出願された米国仮出願第６０／７２８，４５０号の優先権を主張し、該出願は参考により援用される。

（発明の分野）
本発明は、概して、医療用ロボットシステムに関し、特に、医療用ロボットシステムにおけるコンピュータディスプレイ上の補助画像の表示および操作に関する。

（発明の背景）
例えば、低侵襲性外科手術を行うときに使用される医療用ロボットシステムは、従来の直視下手術の技術と比べて多くの利点を提供し、例えば、痛みが少なく、入院期間が短く、通常の活動への復帰が迅速であり、瘢痕化が最小限であり、回復時間が短縮され、組織に対する損傷が少ない。その結果、医療用ロボットシステムを使用する低侵襲性手術に対する要望は強く、次第に大きくなりつつある。

医療用ロボットシステムの一例は、カリフォルニア州、サニーベールのＩｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ，Ｉｎｃ．が市販しているｄａＶｉｎｃｉ（登録商標）手術システムである。ｄａＶｉｎｃｉ（登録商標）システムは、外科医コンソールと、患者側チャートと、高性能３−Ｄ視覚システムと、Ｉｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌが所有権を有するＥｎｄｏＷｒｉｓｔ^ＴＭとを備え、ＥｎｄｏＷｒｉｓｔ^ＴＭは、ヒトの手関節に倣ってモデル化されており、手術器具を保持するロボットアーム組立体の運動に追加すると、直視下手術の自然な動きに匹敵する少なくとも完全に６自由度の運動が可能になる。

ｄａＶｉｎｃｉ（登録商標）外科医コンソールは、２つの順次走査陰極線管（「ＣＲＴ」）を含む高解像度立体映像ディスプレイを有する。このシステムは、偏光、シャッターアイグラス、またはその他の技法より高度の忠実度を提供する。各々の眼は、対物レンズおよび一連のミラーを通して、それぞれ左右の眼を表す個々のＣＲＴを見る。外科医は快適に着席して、外科医が術中３−Ｄ像を表示および操作するのに理想的な場所を確保して、手術中にこのディスプレイを覗き込む。

表示画面上に表示される一次像のほかに、時には、より良好な洞察力を得るか、あるいは実施される医療処置を支援するために、補助情報を同時に閲覧することができることも望ましい。補助情報は、テキスト情報、棒グラフ、二次元ピクチャーインピクチャー画像、および二次元または三次元画像など、様々なモードで提供され、一次画像の対に対して登録され、適切にオーバーレイされる。

補助画像の場合、画像は、超音波検査法、磁気共鳴映像法、ＣＴ断層撮影法、およびＸ線透視法などの技術を使用して術前または術中に捕捉され、治療対象の解剖学的構造の内部の詳細を提供する。この情報は、次に、解剖学的構造、例えば、局所的に配置されたカメラによって捕捉された構造の外観を補足するために使用される。

多数の補助情報源、およびその情報を表示する方法があるが、補助画像の表示および操作の改善は、外科医が、医療用ロボットシステムにより医療処置を実行するのをさらに支援するのに役立つ。

したがって、本発明の様々な態様の１つの目的は、手順によるその時点における治療対象の解剖学的構造の画像に対するオーバーレイ、あるいはこの画像に関連するオーバーレイなど、治療手順の効果を含む補助情報を表示する方法である。

本発明の様々な態様のもう１つの目的は、ユーザが指定する体積レンダリング拡大率で、解剖学的構造の補助画像のユーザ選択部分を、解剖学的構造の一次画像に対して登録されたオーバーレイとしてコンピュータ表示画面上に表示する方法である。

本発明のもう１つの目的は、コンピュータディスプレイの三次元空間に画像を手動で登録するために使用されるマスター入力デバイスを有する医療用ロボットシステムである。

本発明の様々な態様のもう１つの目的は、解剖学的構造の体積レンダリングの切断平面をコンピュータディスプレイの三次元空間で規定するために使用されるマスター入力デバイスを有する医療用ロボットシステムである。

本発明の様々な態様のもう１つの目的は、解剖学的構造の体積レンダリングの部分または詳細をコンピュータディスプレイの三次元空間に選択的に修正するために使用されるマスター入力デバイスを有する医療用ロボットシステムである。

本発明の様々な態様のもう１つの目的は、コンピュータ表示画面に表示される解剖学的構造のレンダリングのための表示パラメータを変えるために使用されるマスター入力デバイスを有する医療用ロボットシステムである。

本発明の様々な態様のさらにもう１つの目的は、マスター入力デバイスが、画像捕捉デバイスの動作を制御する画像捕捉モードと、マスター入力デバイスが、画像捕捉デバイスが捕捉した画像をコンピュータ表示画面上に表示および操作するのを制御する画像操作モードとの間で切り換えられるマスター入力デバイスを有する医療用ロボットシステムである。

これらおよび追加の目的は、本発明の様々な態様によって達成され、簡潔に述べると、一態様は、治療器具によって解剖学的構造に適用される治療手順の効果をコンピュータ表示画面上に表示する方法であって、治療器具によって解剖学的構造に適用される治療手順の効果を指示する補助画像を生成するステップと、補助画像でオーバーレイされた解剖学的構造の一次画像を、治療手順時にコンピュータ表示画面に表示するステップとを含む方法である。

別の態様は、解剖学的構造の補助画像の選択部分を解剖学的構造の一次画像に対するオーバーレイとして、コンピュータ表示画面上に表示する方法であって、可動ウィンドウをポインティングデバイスと関連付けて、ポインティングデバイスを使用して、可動ウィンドウをコンピュータ表示画面上に配置可能にするステップと、解剖学的構造の補助画像と解剖学的構造の一次画像とを登録して、共通の基準フレーム内で同じ位置および向きになるようにするステップと、一次画像をコンピュータ表示画面上に表示し、可動ウィンドウと同じ画面座標に対応する登録された補助画像の一部分を、一次画像に対するオーバーレイとして、可動ウィンドウ内に表示するステップとを含む方法である。

さらに別の態様は、医療用ロボットシステムであって、画像を捕捉する画像捕捉デバイスと、画像捕捉デバイスを保持するロボットアームと、コンピュータ表示画面と、ユーザが、複数自由度の動作によって操作可能であるように構成されるマスター入力デバイスと、マスター入力デバイスが画像捕捉モードであるときに、ユーザによるマスター入力デバイスの操作に応じて、画像捕捉デバイスの動作を制御し、マスター入力デバイスが画像操作モードであるときに、ユーザによるマスター入力デバイスの操作に応じて、捕捉画像から生成された画像をコンピュータ表示画面上に表示するのを制御するように構成されたプロセッサとを含む医療用ロボットシステムである。

本発明の様々な態様のその他の目的、特徴、および利点は、好ましい実施態様の以下の説明を、添付の図面に関連して解釈すると明らかになるであろう。
本発明は、例えば、以下を提供する。
（項目１）
治療器具によって解剖学的構造に適用された治療手順の効果をコンピュータ表示画面に表示する方法であって、
該治療器具によって該解剖学的構造に適用される該治療手順の該効果を示す補助画像を生成するステップと、
該補助画像にオーバーレイされた該解剖学的構造の一次画像を、該治療手順時に該コンピュータ表示画面上に表示するステップと
を含む、方法。
（項目２）
上記治療手順が、医療用ロボットシステムを使用して実行され、上記治療器具が、該治療手順を実行するために、外科医が上記医療用ロボットシステムを使用して、ロボット制御で操作可能である、項目１に記載の方法。
（項目３）
上記一次画像が、上記治療手順の前に捕捉される、項目１に記載の方法。
（項目４）
上記一次画像が、超音波により生成される術前画像である、項目３に記載の方法。
（項目５）
上記一次画像が、磁気共鳴映像法によって生成される術前画像である、項目３に記載の方法。
（項目６）
上記一次画像が、ＣＴ断層撮影法によって生成される術前画像である、項目３に記載の方法。
（項目７）
上記補助画像が、上記治療手順時に、上記治療器具によって適用される上記治療効果のコンピュータモデルである、項目３に記載の方法。
（項目８）
上記コンピュータモデルが、上記治療器具の治療端部の幾何学的形状によって少なくとも部分的に決定される体積形状である、項目７に記載の方法。
（項目９）
上記コンピュータモデルが、上記治療器具の治療端部によって上記解剖学的構造に適用される熱レベルによって少なくとも部分的に決定される体積形状である、項目７に記載の方法。
（項目１０）
上記コンピュータモデルが、上記治療手順の対象になる上記解剖学的構造の周囲組織の特徴によって少なくとも部分的に決定される体積形状である、項目７に記載の方法。
（項目１１）
上記一次画像が、上記治療手順時に捕捉される、項目１に記載の方法。
（項目１２）
上記一次画像が、カメラユニットよって捕捉された術中画像である、項目１１に記載の方法。
（項目１３）
上記カメラユニットが、カメラの立体写真を含む、項目１２に記載の方法。
（項目１４）
上記カメラユニットが内視鏡内に含まれる、項目１２に記載の方法。
（項目１５）
上記内視鏡が腹腔鏡である、項目１４に記載の方法。
（項目１６）
上記補助画像が、上記治療手順時に、上記治療器具によって適用される上記治療効果のコンピュータモデルである、項目１１に記載の方法。
（項目１７）
上記コンピュータモデルが、上記治療器具の治療端部の形状によって少なくとも部分的に決定される体積形状である、項目１６に記載の方法。
（項目１８）
上記コンピュータモデルが、上記治療器具の治療端部によって上記解剖学的構造に適用される熱レベルによって少なくとも部分的に決定される体積形状である、項目１６に記載の方法。
（項目１９）
上記コンピュータモデルが、上記治療手順の対象である上記解剖学的構造の周囲組織の特徴によって少なくとも部分的に決定される体積形状である、項目１６に記載の方法。
（項目２０）
上記補助画像が、超音波によって生成された術中画像である、項目１１に記載の方法。
（項目２１）
上記治療手順が、無線周波剥離を使用して上記解剖学的構造の異常組織を破壊する、項目２２に記載の方法。
（項目２２）
上記異常組織が疾患組織を含む、項目２１に記載の方法。
（項目２３）
上記疾患組織が少なくとも１つの腫瘍を含む、項目２２に記載の方法。
（項目２４）
上記異常組織が損傷組織を含む、項目２１に記載の方法。
（項目２５）
上記治療手順が、無線周波剥離、高密度焦点式超音波、および焼灼から成る群の１つである、項目２１に記載の方法。
（項目２６）
解剖学的構造の補助画像の選択部分を該解剖学的構造の一次画像のオーバーレイとしてコンピュータ表示画面上に表示する方法であって、
ポインティングデバイスを使用して、可動ウィンドウを該コンピュータ表示画面上に配置可能であるように、該可動ウィンドウとポインティングデバイスとを関連付けるステップと、
共通参照フレーム内で同じ位置および向きであるように、該解剖学的構造の補助画像と該解剖学的構造の一次画像とを登録するステップと、
該一次画像を該コンピュータ表示画面上に表示し、該可動ウィンドウと同じ該画面座標に対応する、該登録された補助画像の一部分を、該一次画像に対するオーバーレイとして、該可動ウィンドウ内に表示するステップと、
を含む方法。
（項目２７）
上記一次画像が、医療用ロボットシステムを使用して実行される低侵襲性手術手順時に、画像捕捉デバイスによって捕捉され、該画像捕捉デバイスが、医療処置を実行する際に、該医療用ロボットシステムを使用してロボット制御で操作可能である、項目２６に記載の方法。
（項目２８）
上記可動ウィンドウが円形レンズとして上記表示画面上に表示される、項目２６に記載の方法。
（項目２９）
上記可動ウィンドウが矩形レンズとして上記表示画面上に表示される、項目２６に記載の方法。
（項目３０）
上記一次画像が上記解剖学的構造の三次元画像であり、上記コンピュータ表示画面が三次元コンピュータ表示画面である、項目２６に記載の方法。
（項目３１）
上記可動ウィンドウと同じ画面座標に対応する、上記登録された補助画像の全体の部分が上記一次画像に対するオーバーレイとして、該可動ウィンドウ内に表示される、項目２６に記載の方法。
（項目３２）
上記可動ウィンドウと同じ画面座標に対応する、上記登録された補助画像の一部分が上記一次画像に対するオーバーレイとして、上記可動ウィンドウ内に適合して表示され、上記補助画像の拡大図として表示されるように拡大される、項目２６に記載の方法。
（項目３３）
上記コンピュータ表示画面を見るユーザによって選択された拡大率を受信するステップと、
該拡大率を適用して、上記登録された補助画像の上記一部分が、上記一次画像に対するオーバーレイとして上記可動ウィンドウ内に適合して表示されると決定するステップと、をさらに含む、項目３２に記載の方法。
（項目３４）
上記一次画像および補助画像が上記解剖学的構造の三次元画像であり、上記コンピュータ表示画面が三次元コンピュータ表示画面である、項目２６に記載の方法。
（項目３５）
上記可動ウィンドウが上記補助画像のユーザが選択可能な深さに関連付けられ、その結果、ユーザが選択した深さに対応する該補助画像の二次元スライスが、上記一次画像に対するオーバーレイとして上記可動ウィンドウ内に表示される、項目２６に記載の方法。
（項目３６）
上記一次画像が磁気共鳴映像法によって生成された術前画像である、項目２６に記載の方法。
（項目３７）
上記一次画像がＣＴ断層撮影法によって生成された術前画像である、項目２６に記載の方法。
（項目３８）
上記一次画像がカメラユニットによって捕捉された術中画像である、項目２６に記載の方法。
（項目３９）
上記カメラユニットが内視鏡内に含まれる、項目３８に記載の方法。
（項目４０）
上記補助画像が術前の捕捉画像である、項目３８に記載の方法。
（項目４１）
上記術前に捕捉される画像が磁気共鳴映像法によって生成される、項目４０に記載の方法。
（項目４２）
上記術前に捕捉される画像がＣＴ断層撮影法によって生成される、項目４０に記載の方法。
（項目４３）
上記術前に捕捉される画像が超音波によって生成される、項目４０に記載の方法。
（項目４４）
上記補助画像が術中に捕捉される画像である、項目３８に記載の方法。
（項目４５）
上記術中に捕捉される画像が超音波によって生成される、項目４４に記載の方法。
（項目４６）
上記術中に捕捉される画像が第２カメラユニットによって生成される、項目４４に記載の方法。
（項目４７）
医療用ロボットシステムであって、
画像を捕捉するための画像捕捉デバイスと、
該画像捕捉デバイスを保持するロボットアームと、
コンピュータ表示画面と、
ユーザが、複数自由度の動作で操作可能であるように構成されたマスター入力デバイスと、
該マスター入力デバイスが画像捕捉モードであるときに、ユーザによる該マスター入力デバイスの操作に応じて、画像捕捉デバイスの動作を制御し、該マスター入力デバイスが画像操作モードであるときに、ユーザによる該マスター入力デバイスの操作に応じて、該コンピュータ表示画面上における、捕捉画像から生成された画像の表示を制御するように構成されるプロセッサと、
を備える、医療用ロボットシステム。
（項目４８）
上記マスター入力デバイスが６自由度で操作可能であるように構成され、その結果、該マスター入力デバイスが、上記画像操作モードであるときに、三次元マウスとして動作する、項目４７に記載の医療用ロボットシステム。
（項目４９）
上記プロセッサが、ユーザが、上記マスター入力デバイスに関連するカーソルが上記生成画像上に表示されている間に制御入力を作動するときに、上記コンピュータ表示画面上に表示される上記生成画像の１つに対して掴み機能を実行し、該ユーザが、上記画像操作モードにあるときに制御入力が起動された状態を維持しつつ、該マスター入力デバイスを移動するときに、該生成画像に対して移動機能を実行するように構成される、項目４７に記載の医療用ロボットシステム。
（項目５０）
上記プロセッサが、上記生成画像に対して上記移動機能を実行した状態で、触覚フィードバックを上記マスター入力デバイスに提供するようにさらに構成される、項目４９に記載の医療用ロボットシステム。
（項目５１）
上記触覚フィードバックが、仮想質量および慣性特性を上記生成画像に関連付けることによって提供され、その結果、上記プロセッサが、上記画像操作モードにあるときに、ユーザによる上記マスター入力デバイスの操作に応じて、該生成画像に対して掴み機能および移動機能を実行すると、該ユーザが反射力を感知する、項目５０に記載の医療用ロボットシステム。
（項目５２）
上記画像捕捉デバイスが補助画像を捕捉し、上記プロセッサが、上記生成画像の１つの少なくとも一部分が上記一次画像上にオーバーレイされた状態で、一次画像捕捉デバイスによって捕捉された一次画像を上記コンピュータ表示画面上に表示させるように構成される、項目４９に記載の医療用ロボットシステム。
（項目５３）
上記プロセッサが、ユーザが、上記掴み機能および移動機能を上記生成画像に対して実行することによって、該生成画像の１つと上記一次画像との手動登録を促進し、上記画像操作モードにあるときに、該生成画像および該一次画像の両方が、上記コンピュータ表示画面上に表示されている場合に、該生成画像と該一次画像とを登録するように構成される、項目５２に記載の医療用ロボットシステム。
（項目５４）
上記マスター入力デバイスが、ユーザの手によって圧迫され、該マスター入力デバイスが上記画像操作モードにあるときに、制御入力として機能するように構成されたグリッパを有する、項目４７に記載の医療用ロボットシステム。
（項目５５）
上記プロセッサが、上記マスター入力デバイスが上記画像操作モードにあるときに、上記グリッパが圧迫され、該グリッパの軸の周囲で回転するとき、上記生成画像に関連するパラメータを調節するように構成される、項目５４に記載の医療用ロボットシステム。
（項目５６）
上記調節可能なパラメータが上記生成画像の輝度である、項目５５に記載の医療用ロボットシステム。
（項目５７）
上記調節可能なパラメータが上記生成画像の色である、項目５５に記載の医療用ロボットシステム。
（項目５８）
上記調節可能なパラメータが、上記生成画像の詳細のレベルである、項目５５に記載の医療用ロボットシステム。
（項目５９）
上記生成画像の詳細の上記レベルが、上記生成画像を規定するメッシュ構造の粗さのレベルによって決定される、項目５８に記載の医療用ロボットシステム。
（項目６０）
上記生成画像が、上記捕捉された画像から生成された三次元体積であり；上記プロセッサが、該三次元体積および二次元ウィンドウの一方を上記コンピュータ表示画面に表示し、ユーザによる上記マスター入力デバイスの操作に応じて、該コンピュータ表示画面上の上記ウィンドウの位置および向きを操作し、該ウィンドウと該三次元体積との交差によって切断平面を規定し、該三次元体積の二次元スライスを示すようにさらに構成される、項目４７に記載の医療用ロボットシステム。
（項目６１）
上記二次元スライスが上記ウィンドウ内に表示される、項目６０に記載の医療用ロボットシステム。
（項目６２）
上記二次元スライスが、上記コンピュータ表示画面のピクチャーインピクチャーウィンドウ内に表示される、項目６０に記載の医療用ロボットシステム。
（項目６３）
上記プロセッサが、ユーザが選択可能な数の二次元ウィンドウを上記コンピュータ表示画面上に表示し、ユーザによる上記マスター入力デバイスの操作に応じて、該コンピュータ表示画面上の該ウィンドウの位置および向きを個々に操作し、該操作されたウィンドウと上記三次元体積との交差によって切断平面を規定し、上記三次元体積の対応する二次元スライスを示すようにさらに構成される、項目６０に記載の医療用ロボットシステム。
（項目６４）
上記二次元スライスが、上記コンピュータ表示画面の対応するピクチャーインピクチャーウィンドウ内に表示される、項目６３に記載の医療用ロボットシステム。
（項目６５）
上記プロセッサが、上記コンピュータ表示画面上に表示されたメニューに含まれる項目をユーザが選択したことに応じて、上記二次元ウィンドウを該コンピュータ表示画面上に表示するように構成される、項目６０に記載の医療用ロボットシステム。
（項目６６）
上記プロセッサが、上記表示画面上に表示されるアイコンをユーザが選択したことに応じて、上記二次元ウィンドウを上記コンピュータ表示画面上に表示されるように構成される、項目６０に記載の医療用ロボットシステム。
（項目６７）
上記アイコンが、上記コンピュータ表示画面の周囲領域に表示され、上記プロセッサが、ユーザが上記アイコンをクリックし、ユーザが該アイコンを選択したときの周囲領域から離れるように該アイコンをドラッグするというユーザによるマウスタイプの動作を解釈するようにさらに構成される、項目６６に記載の医療用ロボットシステム。
（項目６８）
上記画像捕捉デバイスが超音波プローブであり、上記生成画像が、該超音波プローブによって捕捉された二次元超音波スライスからコンピュータで生成された解剖学的構造の三次元超音波画像である、項目６７に記載の医療用ロボットシステム。
（項目６９）
上記プロセッサが、上記生成画像およびイレーザ画像の一方を上記コンピュータ表示画面上に表示し、ユーザが、上記マスター入力デバイスを操作したことに応じて、該イレーザ画像の少なくとも位置を操作し、該イレーザ画像が該コンピュータ表示画面上で操作されるときに、該イレーザ画像が横断する該コンピュータ表示画面上に表示される上記生成画像の１つの任意の部分を消去するようにさらに構成される、項目４７に記載の医療用ロボットシステム。
（項目７０）
上記プロセッサが、上記イレーザ画像が横断する上記生成画像の部分のすべての詳細を消去するように構成される、項目６９に記載の医療用ロボットシステム。
（項目７１）
上記プロセッサが、上記イレーザ画像が横断する上記生成画像の部分の上記詳細を減少させるように構成される、項目６９に記載の医療用ロボットシステム。
（項目７２）
上記イレーザ画像が横断する上記生成画像の部分の上記詳細の上記減少が、上記生成画像を規定するメッシュ構造の細かさを減少させることを含む、項目７１に記載の医療用ロボットシステム。

図１は、本発明の態様を利用する医療用ロボットシステムを使用する手術室の上面図を示す。 図２は、本発明の態様を利用する医療用ロボットシステムのブロック図を示す。 図３は、本発明の態様を利用する医療用ロボットシステムに有用な腹腔鏡超音波プローブを示す。 図４は、治療用器具により解剖学的構造に適用される治療手順の効果を、本発明の態様を利用してコンピュータ表示画面上に表示する方法のフロー図を示す。 図５は、治療用器具が、治療手順を実施するために解剖学的構造内に挿入されている解剖学的構造の外観を示す。 図６は、治療感知デバイスによって捕捉された認識可能な治療効果が示されている解剖学的構造の内部図を示す。 図７は、治療手順によって治療される解剖学的構造に登録され、本発明の態様を利用する方法によって生成される手順の効果を表示するコンピュータ表示画面を示す。 図８は、本発明の態様を利用して、コンピュータ表示画面上のユーザ可動拡大鏡内に解剖学的構造の補助画像の選択部分を表示する方法のフロー図を示す。 図９は、本発明の態様を利用して、解剖学的構造の内部図の操作可能ウィンドウを指定拡大率で表示する方法のフロー図を示す。 図１０は、解剖学的構造の補助画像、およびこの補助画像の同心領域を示し、本発明の態様を利用する方法によりコンピュータ表示画面上の拡大鏡内に表示する際の異なる拡大率を表している。 図１１は、解剖学的構造の一次画像、および拡大鏡レンズ内に見える解剖学的構造の補助画像のオーバーレイ部分が、本発明の態様を利用する方法によって表示されているコンピュータ表示画面を示す。 図１２は、本発明の態様を利用してコンピュータ表示画面上に表示される対象を操作するために、医療用ロボットシステム内のプロセッサによって実施される方法のフロー図を示す。

（好ましい実施態様の詳細な説明）
図１は、一例として、医療用ロボットシステムを利用する手術室の上面図を示す。この場合の医療用ロボットシステムは、一人または複数のアシスタント（「Ａ」）の助力により、手術台（「Ｏ」）上に横たわっている患者（「Ｐ」）に対して低侵襲性診断または手術手順を行う際に、外科医（「Ｓ」）によって使用されるコンソール（「Ｃ」）を含む低侵襲性ロボット手術（（「ＭＩＲＳ」）システム１００である。

コンソールは、患者内の手術部位の１つまたは複数の画像、およびおそらくその他の情報を外科医に表示するためのマスターディスプレイ１０４（本明細書では、「表示画面」または「コンピュータ表示画面」とも言う）を備える。また、マスター入力デバイス１０７、１０８（本明細書では「マスターマニピュレータ」とも言う）、１つまたは複数のフットペダル１０５、１０６、外科医から音声コマンドを受信するためのマイクロフォン１０３、およびプロセッサ１０２も備える。マスター入力デバイス１０７、１０８は、様々な入力デバイス、例えば、ジョイスティック、グローブ、トリガーガン、手動コントローラ、グリッパなどのうちの任意の１つ以上を備えることができる。プロセッサ１０２は、好ましくは、コンソール内に組み込まれ得るか、あるいは従来の方法でコンソールに接続され得るパーソナルコンピュータである。

外科医は、マスター入力デバイス１０７、１０８を操作することによってＭＩＲＳシステム１００を使用して医療処置を行い、その操作によって、プロセッサ１０２は、それぞれのマスター入力デバイスに関連するスレーブアーム１２１、１２２に、取外し可能に結合および保持された手術器具１３８、１３９（本明細書では「ツール」とも言う）を相応に操作させ、その際、外科医は、マスターディスプレイ１０４上の手術部位の三次元（「３Ｄ」）画像を見ている。

ツール１３８、１３９は、好ましくは、Ｉｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌが所有権を有するＥｎｄｏＷｒｉｓｔ^ＴＭ関節器具であって、ヒトの手関節に倣ってモデル化されており、ツールを保持するロボットアームの運動に追加されると、直視下手術の自然な動きに匹敵する少なくとも完全に６度の自由運動を可能にする関節器具である。このようなツールに関するその他の詳細は、共有にかかる米国特許第５，７９７，９００号、名称「Ｗｒｉｓｔ Ｍｅｃｈａｎｉｓｍ ｆｏｒ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ
ｆｏｒ Ｐｅｒｆｏｒｍｉｎｇ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｓｕｒｇｅｒｙ ｗｉｔｈ Ｅｎｈａｎｃｅｄ Ｄｅｘｔｅｒｉｔｙ ａｎｄ Ｓｅｎｓｉｔｉｖｉｔｙ」に記載されており、該特許は、参考によって本明細書に援用される。各々のツール１３８、１３９の動作端部には、操作可能なエンドエフェクタ、例えば、クランプ、捕捉器具、はさみ、ステープラ、刃、針、針保持具、または活性化可能なプローブがある。

マスターディスプレイ１０４は、２つの順次走査陰極線管（「ＣＲＴ」）を含む高解像度立体映像ディスプレイを有する。このシステムは、偏光、シャッターアイグラス、またはその他の技術より高度の忠実度を提供する。各々の眼は、対物レンズおよび一連のミラーを通した左右の眼の配景を表す別個のＣＲＴを見る。外科医は快適に着席し、外科医が術中３−Ｄ像を表示および操作するのに理想的な場所を確保して、手術中にこのディスプレイを覗き込む。

立体内視鏡１４０は、左右のカメラ視野をプロセッサ１０２に提供し、プロセッサ１０２は、プログラム化された命令に従って情報を処理し、情報をマスターディスプレイ１０４上に表示する。腹腔鏡超音波（「ＬＵＳ」）プローブ１５０は、解剖学的構造の二次元（「２Ｄ」）超音波画像スライスをプロセッサ１０２に提供し、プロセッサ１０２は、解剖学的構造の３Ｄ超音波コンピュータモデル、または体積レンダリングを生成する。

各々のツール１３８、１３９、並びに内視鏡１４０およびＬＵＳプローブ１５０は、好ましくは、カニューレ、トロカール（図示しない）、またはその他のツールガイドを通して患者内に挿入され、切開部１６１などの対応する低侵襲性切開部を通して下方に手術部位に延在する。各々のスレーブアーム１２１〜１２４は、スレーブマニピュレータおよび設定アームを備える。スレーブマニピュレータは、モータ制御ジョイント（「アクティブジョイント」とも言う）を使用してロボット制御で移動され、個々に保持しているツールを操作し、および／または移動させる。設定アームは、スレーブアーム１２１〜１２４を水平および垂直に位置決めするために、正常にブレーキをかけられたジョイント（「設定ジョイント」とも言う）を解放することによって手動で操作され、個々のツールはカニューレ内に挿入され得る。

一度に使用される手術器具の数、ひいてはシステム１００に使用されるスレーブアームの数は、一般に、他の要素の中でも、実施される医療処置、および手術室内の空間的制約によって決まる。手順時に使用される１つまたは複数のツールを変更する必要がある場合、アシスタントは、それ以後使用しないツールをスレーブアームから取り外し、手術室内のトレー（「Ｔ」）にあるツール１３１などの別のツールと交換し得る。

好ましくは、マスターディスプレイ１０４は、外科医の手の付近に配置し、外科医が実際に手術部位を直接見下ろしていると感じるように方向付けられた投影画像を表示する。そのため、ツール１３８、１３９の画像は、観測点（つまり、内視鏡１４０およびＬＵＳプローブ１５０の観測点）が、画像の視野からではあり得ない場合でも、外科医の手が位置する場所に実質的に配置されているように表示されることが好ましい。

さらに、実時間画像は透視画像（ｐｅｒｓｐｅｃｔｉｖｅ ｉｍａｇｅ）として投影され、外科医が実質的に実際どおりに作業空間を見ているかのように、対応するマスター入力デバイス１０７または１０８を通してツール１３８または１３９のエンドエフェクタを操作できることが好ましい。実際どおりとは、画像の表現が、物理的にツールを操作する操作者の視点をシミュレートする実際の透視画像であることを意味する。したがって、プロセッサ１０２はツールの座標を知覚位置に変換し、その結果、透視画像は、開腔手術の際に、内視鏡１４０が外科医の眼の高さからツールを直接見ている場合に見える画像である。

プロセッサ１０２は、システム１００内の様々な機能を実行する。プロセッサ１０２が実行する１つの重要な機能は、外科医が、個々のツール１３８、１３９を効率的に操作することができるように、バス１１０上の制御信号を通して、マスター入力デバイス１０７、１０８の機械的な運動を解釈し、関連するスレーブアーム１２１、１２２に伝達することである。もう１つの重要な機能は、図４〜１２に関して本明細書で説明する様々な方法をインプリメントすることである。

プロセッサ１０２は、プロセッサとして説明されているが、実際上、ハードウェア、ソフトウェア、およびファームウェアの任意の組合せでインプリメントされ得る。また、本明細書で説明されるその機能は、１つのユニットとして実行されるか、または様々な構成要素に分割され得、その結果、各々の構成要素は、ハードウェア、ソフトウェア、およびファームウェアの任意の組合せでインプリメントされ得る。様々な構成要素に分割されると、構成要素は、１箇所に集中化されるか、または分散処理目的の場合はシステム１００全体に分散され得る。

医療処置を実行する前に、ＬＵＳプローブ１５０によって捕捉される超音波画像、立体内視鏡１４０によって捕捉される左右の２Ｄカメラ、並びにスレーブアーム１２１〜１２４およびこれらの感知関節位置の運動学を使用して決定されるエンドエフェクタの位置および向きを較正し、互いに対して登録する。

スレーブアーム１２３、１２４は、スレーブアーム１２１、１２２がツール１３８、１３９を操作するのと同様に、内視鏡１４０およびＬＵＳプローブ１５０を操作し得る。しかし、外科医が、内視鏡１４０またはＬＵＳプローブ１５０のいずれかの動作を手動で制御するために、マスター入力デバイス１０７、１０８などのマスター入力デバイスが、システム１００内に２つしか存在しない場合、マスター入力デバイス１０７、１０８の一方を一時的に、外科医が手動制御を望む内視鏡１４０またはＬＵＳプローブ１５０に関連付け、その前に結合されていたツールおよびスレーブマニピュレータは所定の位置にロックされる必要があり得る。

この例には示されないが、解剖学的構造の一次画像および補助画像のその他のソースは、例えば、超音波、磁気共鳴ＣＴ断層撮影、およびＸ線透視像を捕捉するために通常使用されるシステムなどのシステム１００内に含まれ得る。像のこれらのソースの各々は、術前に使用され、適切かつ実際的である場合は術中に使用され得る。

図２は、一例として、システム１００のブロック図を示す。このシステムには、２つのマスター入力デバイス１０７、１０８がある。マスター入力デバイス１０７は、その制御スイッチ機構２１１がどちらのモードになっているかに応じて、ツール１３８または立体内視鏡１４０のどちらかの動作を制御し、マスター入力デバイス１０８は、その制御スイッチ機構２３１がどちらのモードになっているかに応じて、ツール１３９またはＬＵＳプローブ１５０のどちらかの動作を制御する。

制御スイッチ機構２１１および２３１は、外科医が、音声コマンド、マスター入力デバイス１０７、１０８上もしくはその付近に物理的に配置されたスイッチ、コンソール上のフットペダル１０５、１０６を使用するか、または外科医が、マスターディスプレイ１０４もしくは補助ディスプレイ（図示しない）上に表示される適切なアイコンもしくはその他のグラフィックユーザインターフェース選択手段を選択することにより、第１または第２モードに配置され得る。

制御スイッチ機構２１１が第１モードに配置されると、マスターコントローラ２０２は、スレーブコントローラ２０３と通信し、外科医がマスター入力装置１０７を操作することにより、スレーブアーム１２１によってツール１３８は相応に動作し、その際、内視鏡１４０は所定の位置にロックされた状態を保つ。一方、制御スイッチ機構２１１が第２モードに配置されると、マスターコントローラ２０２は、スレーブコントローラ２３３と通信し、外科医がマスター入力装置１０７を操作することにより、スレーブアーム１２３によって内視鏡１４０は相応に動作し、その際、ツール１３８は所定の位置にロックされた状態を保つ。

同様に、制御スイッチ機構２３１が第１モードに配置されると、マスターコントローラ１０８はスレーブコントローラ２２３と通信し、外科医がマスター入力装置１０８を操作することにより、スレーブアーム１２２によってツール１３９は相応に動作する。しかし、この場合、ＬＵＳプローブ１５０は、所定の位置にロックされる必要はない。その動作は、メモリ２４０内に記憶された命令に従って、補助コントローラ２４２により案内され得る。補助コントローラ２４２は、マスター入力装置１０８を通して外科医に対して、ＬＵＳプローブ力センサ２４７の指示値を表す触覚フィードバックも提供する。一方、制御スイッチ機構２３１が第２モードに配置されると、マスターコントローラ１０８はスレーブコントローラ２４３と通信し、外科医がマスター入力装置１０８を操作することにより、スレーブアーム１２４によってＬＵＳプローブ１５０は相応に動作し、その際、ツール１３９は所定の位置にロックされた状態を保つ。

制御スイッチ機構が、スイッチをその第１モードまたは通常モードに戻す前に、関連するマスター入力デバイスは、スイッチの前に存在していた場所に再配置されることが好ましい。あるいは、マスター入力デバイスは、その現在の位置に留まり得、マスター入力デバイスと関連ツールのスレーブアームとの間の運動学的関係は、制御スイッチ機構が第１または通常モードに戻ったときにツールの急激な動作が生じないように再調節され得る。制御スイッチのその他の詳細に関しては、共有に係る米国特許第６，６５９，９３９号、名称「Ｃｏｏｐｅｒａｔｉｖｅ Ｍｉｎｉｍａｌｌｙ ｉｎｖａｓｉｖｅ Ｔｅｌｅｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」を参照されたい。該特許は、本明細書において、参照することによって援用される。

第３の制御スイッチ機構２４１は、制御スイッチ機構２３１が第２モードにある状態で（つまり、マスター入力デバイス１０８をＬＵＳプローブ１５０に結合して）、ユーザが、画像捕捉モードと画像操作モードとの間で切り換えることを可能にするために設けられる。第１モードまたは通常モード（つまり、画像捕捉モード）では、ＬＵＳプローブ１５０は、通常、上記のとおりマスター入力デバイス１０８によって制御される。第２モード（つまり画像操作モード）では、ＬＵＳプローブ１５０は、マスター入力デバイス１０８によって制御されず、マスター入力デバイス１０８は、補助画像を表示画面１０４上に表示および操作するなどのその他の作業、特に本明細書で説明するように、ユーザが指定する機能を実行することができる。しかし、ＬＵＳプローブ１５０は、制御スイッチ機構２４１のこの第２モードでは、マスター入力デバイス１０８によって制御されないが、それでもなお、メモリ２４０内に記憶されている命令に従って、補助コントローラ２４２の制御下で自動的に揺動するか、あるいは移動することができるため、隣接する解剖学的構造の３Ｄ体積レンダリングは、ＬＵＳプローブ１５０によって捕捉された一連の２Ｄ超音波画像から生成することができることに注意されたい。ＬＵＳプローブ１５０の前記およびその他のプログラム化動作に関するその他の詳細に関しては、２００６年６月６日に出願された、共有に係る米国特許出願第１１／４４７，６６８号、名称「Ｌａｐａｒｏｓｃｏｐｉｃ Ｕｌｔｒａｓｏｕｎｄ Ｒｏｂｏｔｉｃ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」を参照されたい。該出願は、ここで参照することにより本明細書に援用される。

補助コントローラ２４２は、ＬＵＳプローブ１５０および内視鏡１４０に関連するその他の機能も実行する。補助コントローラ２４２は、ＬＵＳプローブ力センサ２４７から出力を受信し、このセンサは、ＬＵＳプローブ１５０に加わる力を感知し、マスターコントローラ２２２を通して、この力の情報をマスター入力デバイス１０８に戻すため、外科医は、自身が、その時点でＬＵＳプローブ１５０の動作を直接制御していない場合でも、これらの力を感じることができる。したがって、外科医は、ＬＵＳプローブ１５０の何らかの動作を直ちに停止する能力、およびその動作の手動制御を引き継ぐ能力を有するため、患者に傷害を与える可能性は最小限にされる。

補助制御装置２４２の別の重要な機能は、ユーザが選択した表示オプションに従って、内視鏡１４０およびＬＵＳプローブ１５０からの処理情報をマスターディスプレイ１０４上に表示させることである。このような処理の例としては、ＬＵＳプローブ１５０から超音波プロセッサ２４６を介して受信された２Ｄ超音波画像スライスから３Ｄ超音波画像を生成することと、選択した位置および向きに対応する３Ｄまたは２Ｄのいずれかの超音波画像をマスターディスプレイ１０４のピクチャーインピクチャー（ｐｉｃｔｕｒｅ−ｉｎ−ｐｉｃｔｕｒｅ）ウィンドウに表示させることと、解剖学的構造の３Ｄまたは２Ｄのいずれかの超音波画像を、カメラが捕捉した、マスターディスプレイ１０４上に表示される解剖学的構造の画像にオーバーレイさせることと、図４〜１２に関して以下に説明する方法を実行することとを含む。

別個の実体として示されているが、マスターコントローラ２０２、２２２、スレーブコントローラ２０３、２３３、２２３、２４３、および補助コントローラ２４２は、プロセッサ１０２、および制御スイッチ機構２１１、２３１、２４１の一定のモード切換え態様によって実行されるソフトウェアモジュールとしてインプリメントされることが好ましい。一方、超音波プロセッサ２４６および映像プロセッサ２３６は、ソフトウェアモジュール、個々のボードまたはカードであり得、これらは、プロセッサ１０２に結合されているか、あるいは組み込まれている適切なスロット内に挿入され、これらの画像捕捉デバイスから受信される信号をマスターディスプレイ１０４上に表示するのに適する信号に変換するか、および／または補助コントローラ２４２によってさらに処理した後に、マスターディスプレイ１０４上に表示する。

この例は、各々のマスター入力デバイスが、１つの予め割り当てられたツールスレーブロボットアーム、および１つの予め割り当てられた画像捕捉デバイスのロボットアームのみによって共用されることを前提としているが、別の装置も実行可能であり、本発明の完全な範囲内であると想定される。例えば、各々のマスター入力デバイスが、ツールおよび画像捕捉デバイスのロボットアームのいずれか一方と選択的に結合される異なる装置であり得、対応性が最大であるという点でさらに好ましい。また、内視鏡ロボットアームは、この実施例では、１つのマスター入力デバイスによって制御されているように示されているが、両方のマスター入力デバイスを使用して、「画像を掴む」ことが可能であるという感覚を与え、その画像を異なる位置または視野に移動させるように制御しても良い。さらに、この実施例には、内視鏡およびプローブのみが示されているが、カメラ、超音波、磁気共鳴、ＣＴ断層撮影、およびＸ線透視像を捕捉するために使用されるようなその他の画像捕捉デバイスも、システム１００内に完全に想定されているが、これらの画像捕捉デバイスの各々は、必ずしも１つのマスター入力デバイスによって操作され得ない。

図３は、ＬＵＳプローブ１５０の一実施態様の側面図を示す。ＬＵＳプローブ１５０は、好ましくは末端自由度２の巧妙なツールである。ＬＵＳセンサ３０１の近位端に物理的に接続され、長形シャフト３１２の内側通路を通って延在する駆動ロッドまたはケーブル（図示しない）の対立する対は、従来のプッシュ−プル（ｐｕｓｈ−ｐｕｌｌ）タイプの動作を使用して、ＬＵＳセンサ３０１の縦揺れおよび横揺れを機械的に制御する。

ＬＵＳセンサ３０１は、隣接する解剖学的構造の２Ｄ超音波スライスを捕捉し、ＬＵＳケーブル３０４を通してこの情報を逆にプロセッサ１０２に送信する。ＬＵＳケーブル３０４は、長形シャフト３１２の外側に通されているように示されているが、このシャフトの内部に延在しても良い。クラムシェルシース３２１は、長形シャフト３１２およびＬＵＳケーブル３０４を囲み、カニューレ３３１（またはトロカール）を通過する良好なシールを提供する。基準マーク３０２および３２２は、映像を追跡するために、ＬＵＳセンサ３０１およびシース３２１上に配置される。

図４は、一例として、治療手順または治療の効果を表示画面１０４上に表示する方法のフロー図を示す。４０１では、解剖学的構造の一次画像は、画像捕捉デバイスによって捕捉される。一例として、図５は、内視鏡１４０によって捕捉された一次画像を示し、解剖学的構造５０１、および解剖学的構造５０１内の治療部位において治療手順を実行するために、解剖学的構造５０１内に部分的に挿入された治療用器具５１１を備える。もう１つの用途では、治療用器具５１１は、治療手順を実行するために、解剖学的構造５０１に接触または接近することのみが必要であり得る。

一次画像は、治療手順以前または治療手順時に捕捉される。手順以前に捕捉された一次画像は「術前」画像と呼ばれ、手順時に捕捉された一次画像は「術中」画像と呼ばれる。一次画像が術前画像である場合、この画像は、一般的には手順時に更新されないため、この方法は、１つの一次画像のみを使用する。一方、一次画像が術中画像である場合、この画像は、好ましくは、手順時に定期的に更新され、その結果、この方法は、この場合に複数の一次画像を使用する。

術前画像は、一般に、超音波検査法、磁気共鳴映像法（ＭＲＩ）、またはＣＴ断層撮影法（ＣＡＴ）を使用して捕捉される。術中画像は、立体内視鏡１４０またはＬＵＳプローブ１５０などの画像捕捉デバイスによって、手術もしくは治療部位において捕捉され得るか、または術前画像を捕捉するために使用される類の技術によって外部から捕捉され得る。

図４の４０２では、治療用器具の電源を入れるか、さもなければ治療用器具を作動させるか、または活性化されて、患者の体内の解剖学的構造に治療を施すことができるようにする。器具は、一般に、疾患または損傷組織などの異常な組織に治療用エネルギーを印加するための先端を有する。こうした治療手順の一例として、無線周波剥離（ＲＦＡ；Ｒａｄｉｏ Ｆｒｅｑｕｅｎｃｙ Ａｂｌａｔｉｏｎ）は、ＲＦＡプローブを使用して、疾患組織部位に熱を加えることによって、肝臓などの解剖学的構造内に位置する腫瘍などの疾患組織を破壊するために使用され得る。その他の手順の例としては、高密度焦点式超音波（ＨＩＦＵ）および焼灼が挙げられる。治療用器具は、スレーブアーム１２１、１２２に取り付けられたツール１３８、１３９の１つであり得、外科医によって、マスター／スレーブ制御システムを通して、治療部位に移動され、操作され得る。

４０３では、補助画像が生成され、この補助画像は、解剖学的構造に対する治療手順の効果を示す。補助画像は、治療手順の効果を感知することが可能な感知デバイスによって捕捉された情報から提供または生成された解剖学的構造の実際の画像であり得る。あるいは、補助画像は、治療効果を示すコンピュータモデルであり得、実験的に生成されるか、さもなければ従来どおり決定されるこのような効果の式を使用して生成される。後者の場合、このコンピュータモデルは、一般に、治療用器具の先端の幾何学的形状、治療用器具の先端によって解剖学的構造に加えられる熱またはエネルギーレベル、および解剖学的構造内で治療手順が施される治療部位の周囲の組織の特徴などの要素によって決定される。

感知デバイスによって捕捉された情報から提供されるか、さもなければ生成される補助画像の一例として、図６は、ＬＵＳプローブ１５０によって捕捉された二次元超音波スライスから従来どおりに生成された解剖学的構造６０１の三次元超音波画像を示す。この実施例では、剥離量６２１が示されており、これは、ＲＦＡプローブ６１２の先端６１３が、解剖学的構造６０１の腫瘍部位に適用された治療手順の効果を表す。この場合の剥離量の増加は、腫瘍部位の周囲組織の加熱および壊死から生じる組織特性の変化によって観察することができる。

４０４では、一次画像および補助画像は、同じスケールであると共に、共通参照フレーム内の同じ位置および向きを参照するように登録される。この種の登録は、周知である。一例として、共有に係る米国特許第６，５２２，９０６号、名称「Ｄｅｖｉｃｅｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｐｒｅｓｅｎｔｉｎｇ ａｎｄ Ｒｅｇｕｌａｔｉｎｇ Ａｕｘｉｌｉａｒｙ Ｉｎｆｏｒｍａｔｉｏｎ ｏｎ ａｎ Ｉｍａｇｅ Ｄｉｓｐｌａｙ ｏｆ ａ Ｔｅｌｅｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ ｔｏ Ａｓｓｉｓｔ ａｎ Ｏｐｅｒａｔｏｒ ｉｎ Ｐｅｒｆｏｒｍｉｎｇ ａ Ｓｕｒｇｉｃａｌ Ｐｒｏｃｅｄｕｒｅ」を参照されたい。該特許は、ここで参照することにより本明細書に援用される。

４０５では、一次画像が表示画面１０４上に表示され、治療手順は、登録された補助画像を好ましくは一次画像上にオーバーレイした状態で実施され、その結果、各々の画像内の対応する構造または物体は、表示画面１０４と同じサイズ、並びに同じ位置および向きであるように表示される。この方法では、治療手順の効果は、手順が施される解剖学的構造上へのオーバーレイとして示される。

一例として、図７は、図示のために点線で区別されている補助画像が、図５の一次画像上にオーバーレイされている例示的な表示画面１０４を示す。補助画像が、感知デバイスによって捕捉された情報から提供されるか、あるいは生成される場合、治療効果５２１、治療用器具５１２、および器具の先端５１３は、捕捉情報から提供されるか、あるいは生成される。一方、治療効果５２１が、実験で決定された式を使用して、体積形状コンピュータモデルとして生成される場合、治療用器具５１２および器具の先端５１３は、少なくとも部分的には、器具の操作スレーブアームの結合位置に基づく従来のツール追跡計算を使用して決定され得る。

図４の４０６では、この方法は次に、治療用器具の電源が切れているかどうかを確認する。電源が切れている場合、治療手順が終了していることを意味し、この方法は終了する。一方、治療用器具にまだ電源が入っている場合、この方法は次に、治療手順がまだ実行されていると想定して、４０７に進み、新しい一次画像が捕捉されたかどうかを判断する。例えば、一次画像は術前画像であるなどの理由で、一次画像が捕捉されていなかった場合、この方法は次に、４０３に戻り、補助画像を更新して、治療用器具の電源が切れたことを検出することによって、治療手順が完了したと判断されるまで、引き続き４０３〜４０７を介してループする。一方、例えば、一次画像が術中画像であるなどの理由で、新しい一次画像が捕捉された場合、この方法は、４０３に戻る前に、４０８で一次画像を更新し、治療用器具の電源が切れたことを検出することによって、治療手順が完了したと判断されるまで、引き続き４０３〜４０８を介してループする。

図８は、表示画面１０４上に表示されるときの位置および向きは、関連するポインティングデバイスを使用して、ユーザが操作可能な拡大鏡のレンズ領域として規定されたウィンドウ内に、解剖学的構造の一次画像に対して登録されたオーバーレイとして、解剖学的構造の補助画像を表示する方法のフロー図を一例として示す。

８０１では、この方法は、ポインティングデバイスが移動するように、拡大鏡をポインティングデバイスと関連させることによって開始し、表示画面１０４上に表示される拡大鏡（および特に、ウィンドウとして考えられるそのレンズ）は、対応する様式で移動する。この場合の関連性は、ポインティングデバイスを使用して、従来の方法で拡大鏡を「掴む」か、または拡大鏡を事実上ポインティングデバイスにすることによって行われ得る。表示画面１０４は、好ましくは三次元ディスプレイなので、ポインティングデバイスは、それに応じて、向き指示機能を有する三次元ポインティングデバイスであることが好ましい。

８０２では、現在の一次画像および補助画像が処理のために使用可能になる。この例の一次画像は、内視鏡１４０によって捕捉され、補助画像は、ＬＵＳプローブ１５０によって捕捉される。しかし、一次画像および補助画像のその他のソースも使用可能であり、本発明の実施において意図されており、例えば、同じソースから捕捉された一次画像および補助画像が挙げられる。後者の場合の一例として、高解像度カメラは、画像を表示画面上に表示するために使用される場合と比べて、さらに高解像度で画像を捕捉することができる。この場合、カメラによって捕捉された高解像度画像は、補助画像として処理され得、表示画面上に表示される縮小画像が一次画像として処理され得る。

８０３では、ユーザが選択可能な拡大率が読み取られる。拡大率は、例えば、ダイアルまたはホイールタイプのコントロールにより、ユーザが選択可能であり得る。あるいは、表示画面１０４上に表示されるメニュー項目をユーザが選択するか、またはその他の何らかの従来のユーザが選択可能なパラメータ値方式もしくは機構によってユーザが選択可能であり得る。ユーザが選択を行わない場合、拡大率１．０などのデフォルト値が使用される。

８０４では、一次画像および補助画像は、同じスケールであり、共通参照フレーム内の同じ位置および向きを参照するように登録され、その結果、２つの画像内の対応する構造および物体は、同じ座標を有する。

８０５では、一次画像は、解剖学的構造の三次元ビューのように表示画面１０４上に表示され、この場合、解剖学的構造の補助画像の二次元スライスの一部分は、拡大鏡のレンズ内にオーバーレイとして表示される。この場合の二次元スライスの部分は、拡大鏡のレンズの中心点と同じ位置および向きを有する中心点を有するウィンドウの面積、並びに拡大率によって決定される面積によって規定され、その結果、二次元スライスの部分は、拡大鏡のレンズ内に適合するように拡大または縮小される。拡大鏡の位置および向きは、位置決めデバイスによって、表示画面１０４の三次元空間内の任意の位置、例えば、解剖学的構造の体積内の位置に操作可能なので、二次元スライスは、解剖学的構造内のユーザが選択可能な任意の深さに対応させることが可能である。物理的な拡大鏡と違って、それを見ることは、解剖学的構造の外側のみの検査に限られない。８０５に関するその他の詳細については、図９に関連して以下の説明を参照されたい。

８０６では、この方法は次に、例えば、ユーザが、拡大鏡の「掴まれた」画像を解放するか、あるいは何らかの種類の従来のスイッチ機構を使用して、拡大鏡とポインティングデバイスとの関連性がオフに切り換えられていることによって、拡大鏡のコマンドがオフになっているかどうかを決定する。オフになっている場合、この方法は終了する。一方、オフになっていない場合、この方法は８０２に戻り、拡大鏡コマンドがオフになっていることが検出されるまで、引き続き８０２〜８０６を介してループする。この方法が８０２〜８０６を介してループするごとに、一次画像および補助画像の更新バージョンがある場合、その更新バージョンが、更新値がある場合、その更新値と共にユーザが選択可能な拡大率で処理される。したがって、この方法が、十分に迅速にループを介して進行する場合、ユーザは、拡大鏡の選択した位置および向きの解剖学的構造を見ながら、ダイアルまたはノブを回して拡大率を調節する場合、著しい遅れに気が付かないであろう。

図９は、例えば、解剖学的構造の補助画像のビューを指定の拡大率で、ユーザ可動拡大鏡のレンズ内の解剖学的構造の一次画像のビューに対するオーバーレイとして表示する方法のフロー図を示す。前に説明したとおり、この方法は、図８の８０５を実行するために使用され得る。

９０１では、拡大鏡のレンズの中心点の現在位置および向きは、表示画面１０４の三次元空間内で決定される。９０２では、補助画像の登録された体積モデルの二次元スライスは、位置および向きの透視画像から取得され、二次元スライスの一部分は、好ましくは同じ位置および向きに中心点を有する補助ビューウィンドウ内で規定されたように取得される。この場合の補助ビューウィンドウの面積は、拡大鏡の現在の拡大率に従ってレンズの面積に反比例する。９０３では、補助ビューウィンドウによって規定される二次元スライスの部分は、拡大鏡のレンズの面積に適合する拡大率で拡大され、９０４では、解剖学的構造の一次画像は表示画面１０４上に表示され、補助画像の二次元スライスの拡大部分は、表示画面１０４上に表示される拡大鏡のレンズの面積内にオーバーレイされる。

９０１〜９０４の図による例として、図１０〜１１には、解剖学的構造の補助画像の二次元スライス１００１が、２つの円形ウィンドウ１０２１、１０２２と共に、図１０に示されている二次元スライス上に示されている。この場合の各々のウィンドウ１０２１、１０２２は、拡大鏡１１２０のレンズ１１２１の形状に対応し、このレンズの中心点と等しい中心点を有し、拡大鏡１１２０は、解剖学的構造の外観１１０１の一次画像と共に、図１１に示す表示画面１０４上に示されている。この実施例では、ウィンドウ１０２１の面積はレンズ１１２１の面積に等しく、拡大率が１．０だった場合、ウィンドウ１０２１が選択され、９０２で使用される。一方、ウィンドウ１０２２の面積はレンズ１１２１の面積未満であるため、拡大率が１．０より大きい場合、ウィンドウ１０２２が選択され得、９０２で使用され得る。拡大鏡１１２０のレンズ１１２１は、円形として示されているが、矩形など、拡大鏡に一般的なその他の形状を有しても良い。

図１２は、医療用ロボットシステム内のプロセッサによって実行される方法であって、マスター入力デバイスが画像操作モードであるときに、関連するマスター入力デバイスの対応する操作に応じて、医療用ロボットシステムのコンピュータ表示画面に表示される画像物体を操作する方法のフロー図を一例として示す。

この方法の前提として、医療用ロボットシステムは、画像を捕捉するための画像捕捉デバイス（内視鏡１４０、またはＬＵＳプローブ１５０など）；画像捕捉デバイスを保持するロボットアーム（それぞれ内視鏡１４０およびＬＵＳプローブ１５０を保持するスレーブアーム１２３、またはスレーブアーム１２４など）；コンピュータ表示画面（表示画面１０４など）；ユーザが、複数自由度の動作で操作可能であるように構成されたマスター入力デバイス（マスター入力デバイス１０７、またはマスター入力デバイス１０８など）；マスター入力デバイスが画像捕捉モードであるときに、ユーザによるマスター入力デバイスの操作に応じて、画像捕捉デバイスの動作を制御し、マスター入力デバイスが画像操作モードであるときに、ユーザによるマスター入力デバイスの操作に応じて、コンピュータ表示画面上における、捕捉画像から生成された画像の表示を制御するように構成されるプロセッサ（補助コントローラ２４２など）を備える。

１２０１では、プロセッサは、ユーザがマスター入力デバイスを画像操作モードにしたことを検出する。これがインプリメントされ得る１つの方法は、医療用ロボットシステム内に設けられたマスタークラッチ機構を使用することであり、このマスタークラッチ機構は、マスター入力デバイスが再配置されるように、関連するロボットアームからのマスター入力デバイスの解放をサポートしている。このモードが、ユーザがマスター入力デバイスのボタンを押す、フットペダルを押す、あるいは音声駆動を使用するなど、何らかの作用によって作動する場合、関連するロボットアームは所定の位置にロックされ、カーソル（一般に手のアイコン、例えば、

）は、コンピュータ表示画面でユーザに対して提示される。ユーザがこのモードを終了すると、このカーソルは隠され、必要に応じてロボットアームの位置が再調節された後、ロボットアームの制御が再開され得る。

１２０２では、プロセッサは、例えば、従来のマウス上のボタンを押すことによって生成された制御入力が、ユーザによって起動されたのかどうかを判断する。この場合の制御入力は、マスター入力デバイス上に設けられたボタンを押すことによって起動され得るか、またはマスター入力デバイス上に設けられたグリッパもしくはペンチ構造を締め付けるなどのその他の何らかの方法で起動され得る。クラッチング、およびマスター入力デバイス上のグリッパまたはペンチ構成に関するその他の詳細は、例えば、共有に係る米国特許第６，６５９，９３９号、名称「Ｃｏｏｐｅｒａｔｉｖｅ Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｔｅｌｅｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」を参照されたい。この特許は、先に参照することによって本明細書に援用されている。制御入力が、１２０２で「オン」である（つまり、起動された）と判断されなかった場合、プロセッサは、「オン」の指示を受信するか、または画像操作モードが終了するまで待機する。

１２０３では、制御入力が「オン」であるという指示を受信した後、プロセッサは、カーソルが、コンピュータ表示画面上に表示される物体上（または所定の距離の範囲内）に位置するかどうかを検査して確認する。位置していない場合、１２０４では、プロセッサは、ユーザが選択可能な項目または動作のメニューをコンピュータ表示画面上に表示させ、１２０５では、プロセッサは、ユーザによって行われたメニューの選択を受信し、これに反応する。

ユーザが選択可能なメニュー項目の例としては、拡大鏡、切断平面、イレーザ、および画像の登録が挙げられる。ユーザが拡大鏡項目を選択した場合、拡大鏡の画像は、コンピュータ表示画面上に表示され、図８に関して説明された方法がプロセッサによって実行され得る。ユーザが、拡大鏡機能を終了すると、ユーザは、従来の方法で機能を終了することを指示し得、プロセッサは１２０２に戻る。

ユーザが、切断平面項目を選択した場合、平面（または、一定であるか、もしくはユーザが調節可能なサイズの矩形ウィンドウ）がコンピュータ表示画面上に表示される。次に、マスター入力デバイスは平面に関連付けられ、ユーザは、ポインティングデバイスのようにマスター入力デバイスを操作することによって、平面を三次元空間内に配置し、方向付けることができる。この平面は、解剖学的構造の体積レンダリングに交差するように操作される場合、体積レンダリングの二次元スライスを交点に規定する切断平面として機能する。あるいは、マスター入力デバイスは、解剖学的構造の体積レンダリングと関連付けられ得、体積レンダリングは、表示された平面と交差して切断平面を規定するように操作され得る。平面または体積レンダリングとポインティングデバイスとの関連付けは、図８の８０１に関する拡大鏡に関連して説明したのと実質的に同様に行われ得る。

次に、二次元スライスは、平面自体に、またはコンピュータ表示画面上の別個のウィンドウ内、例えば、ピクチャーインピクチャーに表示される。ユーザは、切断平面項目を追加の回数さらに選択して、体積レンダリングの追加の二次元スライスを規定し、コンピュータ表示画面上の個々の平面またはピクチャーインピクチャーに同時に表示する。コンピュータ表示画面を望ましくない切断平面スライスで散乱させないため、従来の削除機能が設けられ、その結果、ユーザは任意の切断平面、およびその対応するスライスを選択的に削除することができる。ユーザは、切断平面機能を終了する場合、従来の方法でこの機能を終了するように指示し得、プロセッサは１２０２に戻る。

ユーザがイレーザ項目を選択すると、イレーザがコンピュータ表示画面上に表示される。マスター入力デバイスは、次にイレーザと関連付けられ、ユーザは、マスター入力デバイスをポインティングデバイスのように操作することによって、コンピュータ表示画面の三次元空間内にイレーザを配置し、方向付けることができる。この場合、イレーザとポインティングデバイスとの関連付けは、図８の８０１に関する拡大鏡に関連して説明したのと実質的に同様に行われ得る。イレーザは、解剖学的構造の体積レンダリングと交差するように操作されると、体積レンダリングを横断するときに、このようなレンダリングを完全または部分的に消去するように機能する。ユーザによって、部分的な消去が選択される場合（あるいは、プロセッサ内に予めプログラムされる場合）、イレーザが体積レンダリングを横断するごとに、示され得る解剖学的構造の詳細が減っていく。この場合の減っていく詳細とは、レンダリングの粗さ／精密さを意味するか、または三次元体積レンダリング内のレイヤからのストリッピングを意味する。消去のこのような特性またはオプションはすべて、ユーザが従来の手段を使用して選択することができる。ユーザが、体積レンダリングの一部分を不注意で消去する場合、ユーザが消去を取り消すことを可能にするために従来の取消し機能が設けられる。ユーザが消去機能を終了する場合、ユーザは、従来の何らかの方法でこの機能の終了を指示し得、プロセッサは１２０２に戻る。

上記のイレーザ機能のほかに、その他の空間的に局在化された修正機能も意図されており、本発明の完全な範囲内であると考えられ、例えば、表示画像の部分を選択的に鮮鋭化、高輝度化、または着色して、選択した領域における可視性、あるいは強調表示を強化することが挙げられる。このような空間的に局在化された修正機能は、イレーザ機能に関して上記で説明した方法と実質的に同じ方法を使用して実施され得る。

ユーザが、画像登録項目を選択すると、プロセッサは、１２１２に関して以下で説明するとおり、その選択を今後の動作に備えて記録した後、再びプロセス１２０２に戻る。この場合の画像登録は、一般に、解剖学的構造などの物体の補助画像を、物体の対応する一次画像に対して手動で登録することを含む。

上記のメニューによる方法の代わりに、上記のとおり、選択可能な項目の各々をそれぞれ示すアイコンが、画像操作モードになった後にコンピュータ表示画面上に表示され得、それらのアイコンをユーザがクリックすることによって選択され、その後、プロセッサは、対応するメニュー項目の選択に関連して上記のように実行を続ける。

次に、プロセッサは、図１２に関連して説明する方法を続け、制御入力が１２０１で制御入力がオンであるという指示を受信して、カーソルが、１２０２でコンピュータ表示画面上に表示される物体（アイコン以外）上、またはその付近に位置していると判断した後、好ましくは、カーソルを例えば、手のアイコン表現から、マスター入力デバイスをユーザが操作することにより、物体が「掴まれて」、コンピュータ表示画面の三次元空間内の別の位置および／または向きに移動もしくは「ドラッグ」されることを示す握った手のアイコンに変更する。

１２０６では、プロセッサは、次に、ユーザが、選択した物体の表示パラメータを調節することを指示したかどうかを判断し、ユーザが指示した場合、１２０７で、プロセッサは表示の調節を実行する。一例として、マスター入力デバイス上のダイアルは、ユーザによって回転され得、ダイアルに関連する表示パラメータの表示の調節具合が、選択された物体について、ダイアルの回転量に応じて調節されることを両方に示す。あるいは、マスター入力デバイスにグリッパが装備されている場合、このグリッパは、ダイアルとして機能するように回転し得る。このようにして調節される表示パラメータの例としては、コンピュータ表示画面上に表示される選択物体の輝度、コントラスト、色、および詳細（例えば、メッシュの粗さ／精密さ、ボクセルのサイズおよび／または不透明さ）が挙げられる。

プロセッサは、次に１２０８に進み、１２０３における肯定的な決定の後に、選択された物体が「掴まれた」ことにより、カーソルが移動したかどうかを判断する。カーソルが移動した場合、ユーザが、この時点では選択された物体の表示パラメータの調節のみを望んでいるため、プロセッサは１２０２に戻る。一方、選択された物体が「掴まれて」カーソルが移動した場合、１２０９で、プロセッサは、選択された物体を新しいカーソル位置に移動させる。カーソルは、コンピュータ表示画面の三次元空間内で動作するため、表示画面「内」に移動すると、例えば、サイズを徐々に小さくすることによって、このような動作を指示する。コンピュータ表示画面の三次元の性質が、深さ値を指示する２つのビュー間の共通点が相違している物体の左右の二次元ビューを使用して達成される場合、左右のビューのカーソルの画像の深さ値が減少すると、カーソルが表示画面「内」に移動していることを示す。

任意に、１２１０では、触覚フィードバックは、逆にマスター入力デバイスに提供されるため、ユーザは、「掴まれた」物体が１２０９で移動する際の反射力を感知することができる。一例として、ユーザと物体との相互作用は、仮想質量および慣性特性を物体と関連付けることによって、触覚的にユーザに反射され得るため、ユーザは、物体に接触したとき、または加速／減速されている物体を平行移動もしくは回転させるときに反射力を感じる。この１２１０で実行される触覚フィードバックは、あるタイプの物体に対してのみ実行され得、他の物体に対しては実行されないか、または特定の状況でのみ効果を示し得る。このような触覚フィードバックの使用は、拡大鏡の動作、および／または上記のとおり、切断平面の規定に使用される平面にも適用され得る。しかし、このような場合、触覚フィードバックは、拡大鏡または平面が、関連する解剖学的構造内に入った後にのみ行われるように制限され得る。

１２１１では、プロセッサは、制御入力がまだ「オン」状態かどうかを判断する。制御が「オン」である場合、プロセッサは、１２０８に戻り、カーソルの動作を追跡し、その動作に応答する。一方、例えば、ユーザが、制御を「オン」にすることを指示するために最初に押されたボタンを解放したことによって、制御がオフになった場合、１２１２で、プロセッサは選択された動作を実行する。

例えば、プロセッサが１２０４でメニューを表示する（あるいは、ユーザが項目を示すアイコンをクリックする）のに応じて、画像登録項目が、ユーザによって選択された場合、移動された物体は、現在整列されており、その時点でコンピュータ表示画面上に表示されている物体の別の画像と登録されるため、これらは、コンピュータ表示画面と同様、共通参照フレーム内に同じ座標および向きの値を有する。この特徴は、例えば、解剖学的構造の補助画像（例えば、ＬＵＳプローブ１５０を使用して得られた）と、解剖学的構造の一次画像（例えば、内視鏡１４０を使用して得られた）との手動登録を容易にする。最初の登録後、一次画像内の対応する物体の位置および／または向きの変更は、補助画像内の選択物体に対応する変更が行われ、一次画像に対して相対的な位置／向きを維持するように反転され得る。ユーザが、画像登録機能を終了すると、プロセッサは１２０２に戻る。

本発明の様々な態様について、好ましい実施態様に関して説明してきたが、本発明は、添付の特許請求の範囲の完全な範囲内の完全な保護に対して権利を有することが分かるであろう。

Claims (6)

1. 医療システムであって、前記医療システムは、
   解剖学的構造の外部の一次画像を捕捉するように、前記解剖学的構造に対して配置された第１の画像捕捉デバイスと、
   前記解剖学的構造の内部の補助画像を捕捉するように、前記解剖学的構造に対して配置された第２の画像捕捉デバイスと、
   ポインティングデバイスと、
   コンピュータ表示画面と、
   プロセッサと
   を含み、
   前記プロセッサは、
   前記ポインティングデバイスの移動に応答して前記表示画面上に表示された可動ウィンドウが前記コンピュータ表示画面上を移動するように、前記可動ウィンドウと前記ポインティングデバイスとを関連付けることと、
   前記解剖学的構造の補助画像が前記解剖学的構造の一次画像に整列させられるように前記補助画像の点を前記一次画像の対応する点に空間的に変換することによって、前記補助画像と前記一次画像とをレジストレーションすることと、
   前記一次画像を前記コンピュータ表示画面上に表示することと、
   前記コンピュータ表示画面上の前記可動ウィンドウ内に表示されている前記一次画像の部分と整列させられた、前記レジストレーションされた補助画像の部分として、前記補助画像のユーザ選択部分を定義することと、
   前記一次画像に対するオーバーレイとして、前記補助画像の前記ユーザ選択部分を前記可動ウィンドウ内に表示することと
   を行うようにプログラムされている、医療システム。
2. 前記プロセッサは、前記可動ウィンドウを円形レンズとして前記表示画面上に表示するようにプログラムされている、請求項１に記載の医療システム。
3. 前記プロセッサは、前記可動ウィンドウを矩形レンズとして前記表示画面上に表示するようにプログラムされている、請求項１に記載の医療システム。
4. 前記一次画像は、前記解剖学的構造の前記外部の三次元画像であり、前記コンピュータ表示画面は、三次元コンピュータ表示画面である、請求項１に記載の医療システム。
5. 前記一次画像および前記補助画像は、それぞれ、前記解剖学的構造の外部および内部の三次元画像であり、前記コンピュータ表示画面は、三次元コンピュータ表示画面である、請求項１に記載の医療システム。
6. 前記可動ウィンドウは、前記補助画像のユーザが選択可能な深さに関連付けられ、
   前記プロセッサは、ユーザが選択した深さに対応する前記補助画像の二次元スライスを、前記一次画像に対するオーバーレイとして前記コンピュータ表示画面上の前記可動ウィンドウ内に表示するようにプログラムされている、請求項１に記載の医療システム。