JP2023520191A - 外科手術用ロボットを制御するための仮想コンソール - Google Patents

Abstract

基部、および基部から器具の取り付け部まで延在するアームを有するロボットを備える外科手術用ロボットを制御するためのシステムおよび方法であって、アームが、複数のジョイントを備え、それによって、アームの構成が、変更されることができる、システムおよび方法。システムは、ディスプレイ装置であって、ディスプレイ装置のオペレータに仮想画面を提示するように構成されており、仮想情景が、外科手術部位のリアルタイムビデオストリームの表現が表示される仮想画面を含む、ディスプレイ装置と、空間内の１つ以上の自由空間入力の位置を追跡するように構成された入力追跡システムと、１つ以上の自由空間入力の追跡された位置を１つ以上の制御信号に変換して、外科手術用ロボットのアームの位置を制御するように構成された制御ユニットと、を含む。【選択図】図４

Description

外科手術を補助および実施するためにロボットを使用することが知られている。図１は、基部１０８、アーム１０２、および器具１０５からなる、典型的な外科手術用ロボット１００を例示している。基部は、ロボットを支持し、それ自体が、例えば、手術室の床、手術室の天井、またはトロリーにしっかりと取り付けられている。アームは、基部と器具との間に延在する。アームは、その長さに沿って、外科手術用器具を患者に対して所望の場所に位置特定するために使用される複数の可撓性ジョイント１０３によって関節式に連結されている。外科手術用器具は、ロボットアームの遠位端１０４に取り付けられる。外科手術用器具は、外科手術部位にアクセスするように、ポート１０７で患者１０１の身体を貫通する。その遠位端において、器具は、医療手技に関与するためのエンドエフェクタ１０６を含む。図１の外科手術用ロボット１００は、単一のアームを有するが、他の例では、外科手術用ロボットは、各々が異なる器具に結合することができる複数のアームを備えてもよく、または、各々が１つ以上の器具に結合することができる複数の外科手術用ロボットがあってもよい。

外科手術用ロボット１００は、典型的には、外科手術用ロボット１００と同じ部屋（例えば、手術室）内、またはそこから遠隔に位置し得る、物理的オペレータコンソールを介して、オペレータ（例えば、外科医）によって遠隔制御される。例示の物理的オペレータコンソール２００が図２に示されている。オペレータコンソール２００は、アーム１０２および／またはアーム１０２に取り付けられた器具１０５の状態を制御するための入力装置２０２、２０４を含む。入力装置２０２、２０４は、例えば、ハンドグリップまたはハンドコントローラ（例えば、各手に対して１つ）であってよく、その上に１つ以上のボタンがあり、平行四辺形リンケージ上に装着されていてもよい。制御システムは、ハンドコントローラの動きを制御信号に変換して、外科手術用ロボットのアームジョイントおよび／または器具エンドエフェクタを移動させる。いくつかの場合、制御システムは、ハンドコントローラの空間内の位置およびそれらの配向に基づいて、アームジョイントおよび／または器具エンドエフェクタを移動させる制御信号を生成するように構成される。オペレータコンソール２００はまた、ディスプレイ２０６を備える。ディスプレイ２０６は、入力装置２０２、２０４を操作するオペレータに対して可視であるように配置される。ディスプレイは、外科手術部位のビデオストリーム（例えば、内視鏡によって捕捉されたビデオストリーム、および／もしくは別のカメラまたは顕微鏡（開腹手術で使用されるものなど）を捕捉されたビデオストリーム）ならびに／または他の情報を表示して、外科手術を実施する際にオペレータ（例えば、外科医）を支援するために使用される。ディスプレイは、二次元（２Ｄ）または三次元（３Ｄ）であってもよい。

物理的オペレータコンソールは、外科手術用ロボットから遠隔に位置し得るが、可能な場合、オペレータ（例えば、外科医）が患者および外科手術チームの残りの人員と同じ部屋に（したがって、近い距離に）いることを可能にするように、外科手術用ロボットと同じ部屋（例えば、手術室）に物理的オペレータコンソールを有することが好ましい。一般に、外科手術用ロボット（複数可）は、手術室の中央部分の患者のベッドの周り、典型的には部屋の周辺に向かう、他の場所に位置する物理的オペレータコンソールと共に配置される。外科手術用ロボットを制御するための物理的オペレータコンソールは、外科手術用ロボットの非常に精密な制御を可能にするが、それらは、多くの場合、非常に大きく、かつ嵩張るため、多くの空間を占有する。多くの場合、それらのサイズは、物理的オペレータコンソール、および限定されるものではないが、麻酔カートなどの必要な機器のすべてを収容する、手術室の１つまたは２つの構成のみが存在し得るため、手術室の構成およびセットアップを制限する。また、それらのサイズはまた、病院または外科手術（例えば、異なる手術室の間）内における、または第１の配置における病院または外科手術への移動を困難にし得、そのような物理的オペレータコンソールはまた、典型的には、外科手術用ロボットシステムの実装から、病院または外科手術に障害となり得る非常に高価なものである。

したがって、外科手術用ロボットを正確に制御するための、小さい（例えば、占有面積の観点で）、かつ安価な手段またはシステムに対する望みが存在する。

以下に記載される実施形態は、単に実施例として提供されるものであり、既知の外科手術用ロボットシステムおよび／またはそのための制御システムの不利益の一部またはすべてを解決する実装形態を限定するものではない。

この概要は、以下で詳細な説明でさらに記述される概念の選択を紹介するために提供される。この概要は、特許請求された主題の主要な特徴または必須の特徴を識別することを意図しておらず、特許請求された主題の範囲を制限するために使用することも意図していない。

基部、および基部から器具の取り付け部まで延在するアームを有するロボットを備える外科手術用ロボットを制御するためのシステムおよび方法が本明細書に開示され、アームは、複数のジョイントを備え、それによって、アームの構成が、変更されることができる。システムは、仮想現実ディスプレイ装置であって、仮想現実ディスプレイ装置のオペレータに仮想現実情景を提示するように構成されており、仮想現実情景が、外科手術部位のリアルタイムビデオストリームの表現が表示される仮想画面を含む、ディスプレイ装置と、空間内の１つ以上の自由空間入力の位置および／または配向を追跡するように構成された入力追跡システムと、１つ以上の自由空間入力の追跡された位置および／または配向を１つ以上の制御信号に変換して、外科手術用ロボットのアームの位置を制御するように構成された制御ユニットと、を含む。

第１の態様は、外科手術用ロボットを制御するためのシステムを提供し、外科手術用ロボットが、基部と、基部から器具のための取り付け部に延在するアームと、を備え、アームが、複数のジョイントを備え、それによって、アームの構成が、変更されることができ、システムが、ディスプレイ装置であって、ディスプレイ装置のオペレータに仮想画面を提示するように構成されており、外科手術部位のリアルタイムビデオストリームの表現が、仮想画面上に表示される、ディスプレイ装置と、１つ以上の自由空間入力の位置および／または配向を追跡するように構成された入力追跡システムと、１つ以上の自由空間入力の追跡された位置および／または配向を、外科手術用ロボットのアームの位置を制御する１つ以上の制御信号に変換するように構成された制御ユニットと、を備える。

ディスプレイ装置が、仮想現実ディスプレイ装置であって、仮想現実情景のビューを仮想現実ディスプレイ装置のオペレータに提示するように構成された、仮想現実ディスプレイ装置を含み得、仮想現実情景が、仮想画面を含む。

仮想現実ディスプレイ装置が、仮想現実ヘッドセットを含み得る。

仮想現実ディスプレイ装置は、オペレータがディスプレイ装置を使用しているときに、オペレータの頭部および／またはオペレータの視線の位置を追跡するように構成された１つ以上のセンサを備え得、仮想現実ディスプレイ装置が、１つ以上のセンサから、オペレータの頭部の位置の変化および／またはオペレータの視線の変化を検出することに応答して、オペレータに仮想画面の異なるビューを提示するようにさらに構成され得る。

前記仮想現実ディスプレイ装置は、オペレータの頭部および／またはオペレータの視線が第１の位置にあることを検出することに応答して、仮想画面が可視である仮想現実情景のビューを提示するように構成され得る。

仮想現実ディスプレイ装置は、オペレータの頭部および／またはオペレータの視線が、第１の位置に対して第１の方向に移動していることを検出することに応答して、別の仮想物体が表示される仮想現実情景のビューを提示するように構成され得る。

他の仮想物体が、外科手術用ロボットのリアルタイム表現であり得る。

他の仮想物体が、外科手術用ロボットおよび患者のリアルタイム表現であり得る。

他の仮想物体が、１つ以上の患者術前スキャンの表現であり得る。

仮想現実ディスプレイ装置は、オペレータの頭部および／またはオペレータの視線が、第１の位置に対して第２の方向に移動していることを検出することに応答して、さらなる仮想物体が表示される仮想現実情景のビューを提示するように構成され得る。

ディスプレイ装置が、現実世界内の仮想物体としてオペレータに仮想画面を提示するように構成された拡張現実ディスプレイ装置または複合現実ディスプレイ装置を含み得る。

ディスプレイ装置が、拡張現実ヘッドセットまたは複合現実ヘッドセットを含み得る。

ディスプレイ装置は、オペレータがディスプレイ装置を使用しているときに、オペレータの頭部および／またはオペレータの視線の位置を追跡するように構成された１つ以上のセンサを備え得、ディスプレイ装置が、１つ以上のセンサから、オペレータの頭部の位置の変化および／またはオペレータの視線の変化を検出することに応答して、オペレータに仮想画面の異なるビューを提示するようにさらに構成され得る。

ビデオストリーム内に示される外科手術部位の視野が、オペレータの頭部またはオペレータの視線の動きによって自動的に制御されなくてもよい。

１つ以上の自由空間入力が、ハンドコントローラを含み得る。

制御ユニットは、外科手術用ロボットのアームまたはそれに取り付けられた器具のアームが、その上に及ぼされた力を有していることを検出することに応答して、力フィードバックをオペレータに提供させるようにさらに構成され得る。

制御ユニットが、検出された力の大きさに基づいて、フィードバックのパラメータを調節するようにさらに構成され得る。

外科手術部位のビデオストリームが、内視鏡によって捕捉され得る。

内視鏡が、外科手術用ロボットのアームに取り付けられ得、内視鏡の位置が、外科手術用ロボットによって制御され得る。

ディスプレイ装置が、外科手術部位のビデオストリームを受信し、外科手術部位のビデオストリームから仮想画面を生成するようにさらに構成され得る。

システムが、外科手術用ロボットをさらに備え得る。

外科手術部位のリアルタイムビデオストリームが、画像捕捉装置によって捕捉され得る。制御ユニットが、画像捕捉装置の所望の位置および／または視野を示す１つ以上の自由形式入力のうちの少なくとも１つからオペレータ入力を受信し、受信されたオペレータ入力に応じて、画像捕捉装置の位置および／または視野を制御するようにさらに構成され得る。

第２の態様は、外科手術用ロボットを制御する方法を提供し、外科手術用ロボットが、基部と、基部から器具のための取り付け部に延在するアームと、を備え、アームが、複数のジョイントを備え、それによって、アームの構成が、変更されることができ、方法が、ディスプレイ装置を使用して、外科手術部位のビデオストリームの表現が表示される仮想画面を提示することと、入力追跡システムを使用して、１つ以上の自由空間入力の空間内の位置を追跡することと、１つ以上の入力の追跡された位置を１つ以上の制御信号に変換して、外科手術用ロボットのアームの位置を制御することと、を含む。

方法が、外科手術部位のビデオストリームを受信することと、外科手術部位のビデオストリームから仮想画面を生成することと、をさらに含み得る。

上記の特徴は、当業者に明らかであるように、必要に応じて組み合わされてもよく、本明細書に記載される実施例の態様のうちのいずれかと組み合わされてもよい。

ここで、実施例を、添付の図面を参照しながら詳細に説明する。

例示の外科手術手技を実施する例示の外科手術用ロボットの概略図である。 例示の物理的オペレータコンソールの概略図である。 例示の外科手術用ロボットの概略図である。 外科手術用ロボットを制御するための例示のシステムのブロック図である。 図４のシステムによって生成され得る、第１の例示の仮想現実情景の概略図である。 図４のシステムによって生成され得る、第２の例示の仮想現実情景の概略図である。 図４のシステムで使用され得る、例示のハンドコントローラの概略図である。 外科手術用ロボットを制御するための例示の方法のフロー図である。

添付の図面は、様々な実施例を例示している。当業者は、図面中の示された要素の境界（例えば、箱、箱のグループ、または他の形状）が、境界の一例を表すことを理解するであろう。いくつかの実施例では、１つの要素は、複数の要素として設計され得るか、または複数の要素が、１つの要素として設計され得る場合がある。同様の特徴を示すために、適切な場合、図全体を通して共通の参照番号が使用される。

以下の説明は、当業者が本発明を作製および使用することができるようにするための実施例として提示されている。本発明は、本明細書に記載される実施形態に限定されないが、開示される実施形態に対する様々な修正は、当業者には明らかであろう。実施形態は、例としてのみ説明されている。

本明細書では、仮想コンソールを介して外科手術用ロボットを制御するためのシステムおよび方法が説明される。具体的には、システムは、仮想現実ディスプレイ装置（限定されるものではないが、仮想現実ヘッドセット）であって、仮想現実ディスプレイ装置のオペレータに仮想現実情景を提示するように構成されており、仮想現実情景が、外科手術部位のリアルタイムビデオストリームの表現が表示される仮想画面を含む、ディスプレイ装置と、空間内の１つ以上の自由空間入力の位置および／または配向を追跡するように構成された入力追跡システムと、１つ以上の自由空間入力の追跡された位置および／または配向を１つ以上の制御信号に変換して、外科手術用ロボットのアームの位置を制御するように構成された制御ユニットと、を備える。

外科手術用ロボットを制御するための本明細書に説明されるシステムは、典型的には、外科手術用ロボットを制御するための物理的オペレータコンソールよりも小さく（例えば、占有面積の観点で）、物理的オペレータコンソールよりも多くの手術室構成でそれらが使用されることを可能にする。本明細書に説明されるシステムはまた、オペレータが物理的オペレータコンソールと同じ様式でシステムと対話する（したがって外科手術用ロボットを制御する）ことを可能にするため、外科手術用ロボットを制御するための非常に自然かつ直感的なインターフェースを提供する。また、以下でより詳細に説明されるように、オペレータが外科手術部位に没入する仮想現実情景を提供する代わりに、外科手術部位のビデオストリームの表現が表示される仮想画面を、オペレータに提供することによって、オペレータの頭部の動きをビデオ補足機器（例えば、内視鏡）にマッピングすることに伴う問題を回避する。

ここで、本明細書に説明されるシステムおよび方法によって制御され得る例示の外科手術用ロボット３００を例示する図３を参照する。外科手術用ロボット３００は、外科手術手技が実施されるときに定位置に固定される基部３０４から延在するアーム３０２を備える。いくつかの場合、基部３０４は、シャーシに装着され得る。シャーシは、例えば、ロボットをベッドの高さに装着するためのベッドサイドカートなどのカートであってもよい。代替的に、シャーシは、天井に装着された装置、またはベッドに装着された装置であってもよい。

アーム３０２は、ロボットの基部３０４から外科手術用器具３０８用の取り付け部３０６まで延在する。アームは、可撓性である。アームは、その長さに沿って複数の可撓性ジョイント３１０によって関節式に連結される。ジョイント間にあるのは、剛性アーム部材３１２である。図３のアームは、７つのジョイントを有する。ジョイントは、１つ以上のロールジョイント（ジョイントのいずれかの側上のアーム部材の長手方向に沿った回転軸を有する）、１つ以上のピッチジョイント（前のアーム部材の長手方向に対して横方向の回転軸を有する）、および１つ以上のヨージョイント（また、前のアーム部材の長手方向に対して横方向であり、かつ同じ場所に位置するピッチジョイントの回転軸に対しても横方向の回転軸を有する）を含む。しかしながら、アームは、別様に接合され得る。例えば、アームは、より少ないかまたはより多いジョイントを有する場合がある。アームは、ジョイント、例えば、テレスコピックジョイントのそれぞれの側面の間の回転以外の動きを許容するジョイントを含み得る。ロボットは、ドライバ３１４のセットを含み、各ドライバ３１４は、ジョイント３１０のうちの１つ以上を駆動する。

取り付け部３０６は、外科手術用器具３０８がアームの遠位端に取り外し可能に取り付けられることを可能にする。外科手術用器具３０８は、直線状の剛直なシャフトおよびシャフトの遠位端にある作業チップを有する。作業チップは、医療手技に関与するためのエンドエフェクタを含む。外科手術用器具は、アームの末端ジョイントの回転軸と直線的に平行に延在するように構成されてもよい。例えば、外科手術用器具は、アームの末端ジョイントの回転軸と一致する軸に沿って延在してもよい。外科手術用器具３０８は、例えば、切断装置、把持装置、焼灼装置、または画像捕捉装置（例えば、内視鏡）であってもよい。

ロボットアームは、一連のセンサ３１６、３１８を備える。これらのセンサは、ジョイントごとに、ジョイントの位置を検知するための位置センサ３１６、およびジョイントの回転軸の周りに加えられたトルクを検知するためのトルクセンサ３１８を備える。ジョイントの位置センサおよびトルクセンサのうちの一方または両方を、そのジョイントのモータと一体化させることができる。

ここで、仮想コンソールを介して外科手術用ロボット４０２（図３の外科手術用ロボット３００として実施され得る）の動作を制御するための例示のシステム４００を例示する、図４を参照する。

システム４００は、仮想現実ディスプレイ装置４０４、入力追跡システム４０６、および制御ユニット４０８を備える。

仮想現実ディスプレイ装置４０４は、外科手術部位４１２のビデオストリーム４１０を受信することと、ビデオストリームのリアルタイム表現が表示される仮想画面を含む仮想現実情景を生成することと、仮想現実ディスプレイ装置のオペレータに仮想現実情景のビューを提示することと、を行うように構成されている。外科手術部位４１２のビデオストリーム４１０は、内視鏡４１４または別の好適な画像捕捉装置によって捕捉され得る。当業者に既知であるように、ロボットによって実施される外科手術手技中、内視鏡４１４は、典型的には、身体の小さな切開、または、限定されるものではないが、口または鼻孔などの、自然な開口部を通して挿入される。内視鏡は、外科手術部位に光を提供し、反射光を捕捉する、光ファイバのセットを備える、剛直または可撓性の管である。反射光は、外科手術部位のリアルタイム画像（すなわち、ビデオストリーム）を表す。いくつかの場合、内視鏡自体は、反射された光をリアルタイム画像に変換する小さなカメラをその先端に含み得る。しかしながら、他の場合、内視鏡先端によって捕捉された反射光は、反射光をリアルタイム画像に変換するより大きいカメラに提供される。外科手術用ロボットのオペレータ（例えば、外科医）は、外科手術部位のリアルタイム画像を使用して、どの外科手術ステップが実施されるかを決定し、所望の外科手術ステップを実施するために外科手術用ロボットを制御する。外科手術部位４１２のビデオストリーム４１０は、画像捕捉装置（例えば、内視鏡４１４）から、任意の好適な様式で仮想現実ディスプレイ装置４０４に提供され得る。例えば、外科手術部位のビデオストリームは、直接的または間接的に、限定されるものではないが、イーサネットまたはＷｉ－Ｆｉ（登録商標）接続などの、有線または無線通信接続を介して、画像捕捉装置（例えば、内視鏡４１４）から仮想現実ディスプレイ装置４０４に提供され得る。

いくつかの場合、外科手術部位４１２のビデオストリーム４１０は、外科手術用ロボット４０２のロボットアームのうちの１つに取り付けられ、かつそれによって制御された画像捕捉装置４１５（例えば、内視鏡）によって捕捉されてもよい。しかしながら、他の場合では、外科手術部位４１２のビデオストリーム４１０は、手動で制御された画像捕捉装置（例えば、内視鏡）によって捕捉され得る。いくつかの場合、外科手術用ロボットが複数のロボットアームを有する場合、外科手術用ロボット４０２のオペレータは、動作可能な内視鏡がロボットアームのうちの１つに取り付けられ、かつ制御されない限り、外科手術モードで（すなわち、外科手術手技を実施するために）外科手術用ロボット４０２のロボットアームを操作することができない場合がある。

米国特許出願公開第２０１７／０１８１８０２号に説明されるものなどの、外科手術を実施するための既知の仮想現実ディスプレイ装置とは対照的に、図４の仮想現実ディスプレイ装置４０４は、患者４１６の体内に没入されるようにオペレータ（例えば、外科医）に感じさせる仮想現実情景（ビデオストリームに基づく）を生成しない。具体的には、外科手術を実施する際に使用するための既知の仮想現実ディスプレイ装置は、外科手術部位のビデオストリームを受信し、そこから、オペレータが患者の体内にいるかのようにオペレータに感じさせる仮想現実情景を生成する。これらのシステムの多くでは、没入型体験を完成させるために、オペレータの頭部の位置が追跡され、オペレータがその頭部を動かすと、画像捕捉装置（例えば、内視鏡）の視野がオペレータの頭部に従って自動的に調節されて、外科手術部位の異なる仮想ビューをオペレータに提示する。例えば、オペレータがその頭を右に動かす場合、画像捕捉装置（例えば、内視鏡）は、その視野が以前の視野の右にあるように自動的に調節されて、外科手術部位の以前の視野の右にある外科手術部位の仮想ビューをオペレータに提示することができる。そのようなシステムの利点の１つは、入力装置の位置および／または動きと、ロボットアームに取り付けられたエンドエフェクタの位置および／または動きとの間のマッピングが、オペレータがその頭部を動かす際に変化する必要がないことである。これは、そのようなシステムでは、オペレータに対する入力装置の位置／動きが、仮想現実情景におけるエンドエフェクタの動きと常に一致することになるためである（例えば、一度マッピングされると、入力装置を右に動かすことは、内視鏡の視野またはオペレータの頭部の位置に関係なく、エンドエフェクタを右に動かすことになる）。

しかしながら、そのようなシステムの技術的課題の１つは、内視鏡が、典型的には、オペレータの頭部と同じ様式では動くことができないことであり、オペレータの頭部の位置および／または動きを、内視鏡の位置および／または動きにマッピングすることが困難になることである。具体的には、内視鏡が、典型的には、ポートで支点を通過する長いシャフトの端にレンズを含むため、内視鏡の動きは、オペレータの頭部と類似の様式で動くことができないように制限される。例えば、人員は、その頭部を左右におよそ９０度回すことができるが、内視鏡は、９０度回転することができない。これは、オペレータの頭部の位置および／または動きを内視鏡の位置および／または動きに直接マッピングすることを困難にし、オペレータに真にまたは完全な没入型体験を提供することを困難にする。

したがって、患者の体内にオペレータ（例えば、外科医）を没入させる仮想現実情景を生成するように構成される仮想現実ディスプレイ装置とは対照的に、本明細書に説明されるシステムおよび方法では、仮想現実ディスプレイは、外科手術部位４１２のビデオストリーム４１０の表現が表示される仮想画面を含む仮想現実情景を生成するように構成されており、これは、図２の例示の物理的オペレータコンソール２００内の物理的ディスプレイ２０６がオペレータ（例えば、外科医）に外科手術部位のビデオストリームの表現を表示することとほぼ同じ方式である。外科手術部位のビデオストリームの表現が仮想画面上に提示されるため、オペレータの頭部の動きは、仮想画面のオペレータのビューまたは視点を変化させ得るが、画像捕捉装置の（例えば、内視鏡４１４の）視野または外科手術部位４１２の視点を自動的に変化させない。したがって、本明細書に説明されるシステムおよび方法では、オペレータの頭部の動きは、画像捕捉装置の（例えば、内視鏡４１４の）位置または外科手術部位の視野を自動的に変化させない。対照的に、本明細書に説明されるシステムおよび方法では、画像捕捉装置の（例えば、内視鏡４１４の）位置または視野は、別の様式で（例えば、１つ以上の入力を介して、または手動で）制御される。このようにして、オペレータ（例えば、外科医）は、オペレータが物理的コンソールの物理的ディスプレイと対話するのと同じ方式で、仮想画面と対話し得る。これは、本明細書に説明されるシステム４００が、オペレータに非常に直感的な制御体験を提供することを可能にする。

仮想現実ディスプレイ装置４０４は、外科手術部位４１２のビデオストリーム４１０を受信することと、ビデオストリームの表現が表示される仮想画面を含む仮想現実情景を生成することと、オペレータに仮想現実情景のビューを提示することと、を行うように構成されたプロセッサ（図示せず）を備え得る。オペレータに提示された仮想現実情景のビューの解像度、および／またはそのリアルタイム更新の待ち時間は、仮想現実情景が、外科手術用ロボット４０２を制御して外科手術手技を実施するために使用され得るように構成され得る。仮想現実ディスプレイ装置４０４はまた、オペレータの（例えば、外科医の）頭部および／または視線の位置および配向を追跡するためのセンサシステムを備え得る。次いで、追跡された位置および配向情報は、オペレータに提示された仮想現実情景のビューまたは視点を更新して、オペレータが仮想現実情景に没入しているかのようにオペレータに感じさせるためにプロセッサによって使用され得る。例示の位置および配向センサとしては、限定されるものではないが、ジャイロスコープ、加速度計、構造化光追跡システム（例えば、赤外線追跡センサ）、ならびに位置および／または配向の追跡に好適な任意の他のセンサが挙げられる。

いくつかの場合、図４に示されるように、仮想現実ディスプレイ装置４０４は、ＶＲゴーグルとも呼ばれ得る仮想現実（ＶＲ）ヘッドセットを含み得る。当業者に知られているように、ＶＲヘッドセットは、着用者に仮想現実を提供するように構成されているヘッドマウントディスプレイ（ＨＭＤ）である。具体的には、ＶＲヘッドセットは、ユーザの自然環境を、仮想現実環境の一人称視点（ＦＰＶ）で置換する画像を表示する、着用者の目の前の１つ以上のモニタを有する、頭部に着用される装置である。ＶＲヘッドセットは、典型的には、ユーザの位置、配向、および／または視線を追跡するために、上記に説明されるものなどのセンサを備え、それにより、仮想現実環境のビューまたは視点は、上記に説明されたようにユーザが仮想現実環境内で動いている印象をユーザに与えるために、ユーザが動くと自動的に更新され得る。ＶＲヘッドセットは、限定されるものではないが、Ｏｃｕｌｕｓ Ｒｉｆｔ（登録商標）、ＨＴＣ Ｖｉｖｅ（登録商標）、ＰｌａｙＳｔａｔｉｏｎ（登録商標）ＶＲ、またはＳａｍｓｕｎｇ（登録商標）Ｇｅａｒ ＶＲなどの任意の好適な仮想現実ヘッドセットであってもよい。

仮想現実ディスプレイ装置は、外科手術部位のビデオストリームを受信し、それに基づく仮想現実情景または仮想現実環境を生成するように構成されるものとして上記に説明されているが、他の例では、別の装置は、外科手術部位のビデオストリームを受信し、それに基づく仮想現実情景を生成し、生成された情景を仮想現実ディスプレイ装置に提供するように構成され得る。これらの例では、仮想現実ディスプレイ装置は、仮想現実情景の適切なビューをオペレータに単に提示するように構成され得る。

ここで、図４の仮想現実ディスプレイ装置４０４によって生成され得る例示の仮想現実情景５００を例示する図５を参照する。上記に説明されたように、仮想現実情景５００は、外科手術部位４１２のビデオストリーム４１０の表現５０４が表示される仮想画面５０２を含む。外科手術部位４１２のビデオストリーム４１０は、患者の解剖学的構造５０６の画像を含み得る。外科手術部位４１２のビデオストリーム４１０はまた、外科手術用ロボット４０２に取り付けられ、かつそれによって制御される、器具エンドエフェクタ５０８の画像を含み得る。仮想画面５０２は、オペレータの頭部が第１の位置に位置付けられるとき、オペレータが仮想画面５０２のすべてを見ることができる仮想現実情景５００の第１のビュー５１０を提示され得、オペレータがその頭部を第２の位置に動かすとき、オペレータが仮想情景５０２の一部分のみを見ることができる仮想現実情景５００の第２のビュー５１２を提示され得るように、仮想現実情景内で静止し得る。しかしながら、図５に示されるように、仮想画面に示される外科手術部位の視野は、両方のビュー５１０、５１２で同一であり、仮想画面のビューのみが変化する。当業者には、これが、ユーザに提示された仮想現実情景内の仮想画面５０２上に表示され得る情報の単なる一例であり、仮想画面５０２が、追加のおよび／または異なる情報を表示するために使用され得ることが明白であろう。例えば、外科手術部位のビデオストリームの表現を表示することに加えて、仮想画面５０２は、表示することに限定されないが、器具の状態（例えば、任意の電気外科手術用器具のエネルギー状態など）、外科手術用ロボットアーム、および／もしくはハンドコントローラに関する情報、警報、ならびに／または外科手術手技を実施する際にオペレータに補助を提供する情報を表示するためにも使用され得る。

仮想画面を介して外科手術部位４１２のビデオストリーム４１０の表現を表示するように仮想現実ディスプレイ装置４０４を構成することは、外科手術部位のビデオストリームの表現が没入型仮想現実情景としてオペレータ（例えば、外科医）に提示されたときに生じる、オペレータの頭部位置および／または動きを、画像捕捉装置（例えば、内視鏡）位置および／または動きをマッピングする技術的問題を有していない。仮想画面を介して外科手術部位４１２のビデオストリーム４１０の表現を表示するように仮想現実ディスプレイ装置４０４を構成することはまた、（ｉ）他の情報が仮想現実情景に表示されることを可能にする、および／または（ｉｉ）オペレータの頭部および／または視線の動きがシステムの他の態様を制御するために使用されることを可能にし得る。本明細書に説明される方法およびシステムでは、ユーザの頭部の動きおよび位置は、画像捕捉装置の位置および動きを自動的に制御しないが（例えば、ユーザの頭部の右への動きは、画像捕捉装置の視野が右に動かされるように、画像捕捉装置を自動的に動くようにしない）、いくつかの場合、オペレータは、画像捕捉装置の位置および／または動きを制御することを支援するために、その頭部を依然として使用し得る。例えば、いくつかの場合、オペレータは、その頭部の動きを介して（例えば、左右にうなずくか、または片側に頭を傾けることによって）、画像捕捉装置の動きのためのコマンドを入力することができる場合がある。

具体的には、外科手術部位４１２のビデオストリーム４１０の表現が没入型仮想現実情景としてオペレータに提示される場合、任意の追加情報が外科手術部位のオペレータのビューを妨害し得るため、追加の情報（または顕著な量の追加情報）を表示するために、仮想現実情景内の空間が存在しない場合がある。しかしながら、本明細書に記載のシステムおよび方法では、外科手術部位のビデオストリームの表示が、仮想現実情景の仮想画面を介してオペレータ（例えば、外科医）に提示される場合、他の情報は、仮想画面およびその上に表示される外科手術部位４１２のビデオストリーム４１０の表示に影響を与えずに、仮想現実情景に表示することができる。例えば、仮想画面に加えて、仮想現実ディスプレイ装置によって生成される仮想現実情景は、限定されるものではないが、外科手術用ロボットのリアルタイム表現または外科手術用ロボットおよび患者のリアルタイム表現などの、他の仮想物体を含み得る。外科手術用ロボットのリアルタイム表現は、仮想現実ディスプレイ装置４０４のプロセッサによって、既知のビデオ処理技術を介して、手術室内の１つ以上の追加のカメラによって捕捉された外科手術用ロボットのビデオストリームから生成され得る。代替的に、または追加的に、外科手術用ロボットのリアルタイム表現は、外科手術用ロボットのセンサ（例えば、トルクセンサ）によって捕捉された位置および／または動きデータから生成され得る。同様に、患者のリアルタイム表現は、手術室内の１つ以上の追加のカメラによって捕捉された患者のビデオストリームから、または患者の位置および／もしくは動きを説明する１つ以上の他のセンサから捕捉された位置および／または動きデータから生成され得る。

さらに、画像捕捉装置（例えば、内視鏡）の位置および／または視野を制御するためにオペレータの頭部の動きおよび／または視線が使用されないとき、オペレータの頭部の動きおよび／または視線は、どの仮想物体が可視であるかを制御するなどの、仮想現実情景の他の態様を制御するために使用され得る。例えば、いくつかの場合、仮想現実ディスプレイ装置は、オペレータの頭部および／または視線が第１の位置にあるときに、仮想画面が可視である仮想情景のビューを提示し、オペレータ（例えば、外科医）が第１の位置から特定の方向（例えば、右）に、その頭を動かした、および／または視線を変えたことを仮想現実ディスプレイ装置が検出するとき、異なる仮想物体が表示され得る仮想情景のビューのビューを提示するように構成され得る。いくつかの場合、他の仮想物体は、例えば、外科手術用ロボットのリアルタイム表現であってもよい。他の場合、他の仮想物体は、患者および外科手術用ロボットの表現であってもよい。いくつかの場合、オペレータ（例えば、外科医）は、表現の間で選択することができる場合がある。例えば、オペレータ（例えば、外科医）は、外科手術用ロボットのみの表現と、外科手術用ロボットおよび患者の表現との間で選択することができる場合がある。オペレータ（例えば、外科医）はまた、表現のビューを選択または変更することができる場合がある。例えば、オペレータは、外科手術用ロボットおよび／または患者の垂直上の位置からの表現の平面図と、表現の斜視図との間で選択することができる場合がある。いくつかの場合、オペレータ（例えば、外科医）は、ボタンを押すこと、もしくは入力装置（例えば、ハンドコントローラ）上で入力を別様にアクティブ化することか、その頭部もしくは視線を異なる方向（例えば、上／下）に動かすことか、所定のジェスチャを実施することか、所定の音声コマンドを発話することか、または仮想画面もしくは仮想情景の他の箇所に表示されたメニューシステムを介して表現を選択することによって、表現を選択することができる場合がある。

いくつかの場合、仮想現実ディスプレイ装置４０４は、オペレータがその頭部またはその視線を第１の位置に対して異なる方向に動かしたことを検出することに応答して、仮想現実情景内の他の仮想物体をオペレータ（例えば、外科医）に表示するように構成され得る。仮想現実情景内にあり得る他の仮想物体の例としては、限定されるものではないが、手術室内の他の物体の表現、術前患者画像（例えば、Ｘ線など）の表現、および外科手術計画の表現が挙げられる。当業者には、これらは、単に例であり、仮想現実ディスプレイ装置が、仮想現実情景内に他の仮想物体を含むように構成され得ることが明白であろう。

ここで、仮想現実ディスプレイ４０４によって生成され得る第２の例示の仮想現実情景６００を例示する図６を参照する。仮想現実情景６００は、外科手術部位４１２のビデオストリーム４１０の表現を含み、また外科手術用ロボット４０２の仮想表現６０２および患者４１６の仮想表現６０４と、患者のＸ線の仮想表現６０６とを含む、図５の仮想画面５０２を含む。当業者には、これらが、仮想画面５０２を有する仮想現実情景内にあり得る仮想物体の例であり、他の仮想現実情景が、他のおよび／または追加の仮想物体を含み得ることが明白であろう。この例では、オペレータの頭部が第１の位置にあるとき、仮想現実ディスプレイ装置４０４は、仮想画面５０２が可視である仮想現実情景６００のビュー６０８をオペレータに提示するように構成され得る。オペレータがその頭部を第１の位置から第１の方向６１０に動かすとき、仮想現実ディスプレイ装置４０４は、外科手術用ロボットおよび／または患者の仮想表現６０２、６０４が可視である仮想現実情景６００の第２のビュー６１２をオペレータに提示するように構成され得る。オペレータがその頭部を第１の位置から第２の方向６１４に動かすとき、仮想現実ディスプレイ装置４０４は、患者のＸ線の仮想表現６０６が可視である仮想現実情景６００の第３のビュー６１６をオペレータに提示するように構成され得る。この例では、仮想現実ディスプレイ装置４０４は、オペレータの頭部の動きを検出することに応答して、オペレータに提示される仮想現実情景のビューを調節するように構成されると説明されているが、他の例では、仮想現実ディスプレイ装置４０４は、オペレータの視線の変化を検出することに応答して、またはオペレータの視線もしくはオペレータの頭部位置の変化を検出することに応答して、オペレータに提示される仮想現実情景のビューを調節するように構成され得る。

図４に戻ると、入力追跡システム４０６は、１つ以上の自由空間入力４１８、４２０の位置および／または配向をリアルタイムで追跡し、制御ユニット４０８が、自由空間入力の追跡された位置および／または配向に従って外科手術用ロボット４０２を制御し得るように、リアルタイム位置追跡および／もしくは配向情報またはデータ４２２を制御ユニット４０８に提供するように構成されている。自由空間入力は、自由空間内のどこにでも位置付けられ得る、フリーハンドヘルドコントローラなどの入力である。言い換えると、自由空間入力は、その自由空間内の位置が制約されない入力である。対照的に、リンケージアセンブリに取り付けられたハンドコントローラなどの入力は、ハンドコントローラが取り付けられるリンケージによって位置が制約されるため、自由空間入力ではない。

いくつかの場合、１つ以上の自由空間入力４１８、４２０は、限定されるものではないが、オペレータの手および／または指のうちの１つ以上などの、オペレータの身体部位のうちの１つ以上を含み得る。したがって、これらの場合、入力追跡システム４０６は、リアルタイムで、オペレータの身体部位のうちの１つ以上の位置および／または配向（例えば、３Ｄにおける）を追跡するように構成され得る。入力追跡システム４０６は、限定されるものではないが、光学追跡システムまたは慣性追跡システムなどの、任意の好適な方法および／またはシステムを使用して、オペレータの身体部位のうちの１つ以上の位置および／または配向を追跡することができてもよい。１つ以上の自由空間入力が、オペレータの身体部位のうちの１つ以上を含む場合、オペレータは、任意の好適な手段を使用して外科手術用ロボット４０２を制御するために、追跡された位置および／または配向情報の使用を有効化および無効化することができてもよい。例えば、オペレータは、追跡された身体部位（例えば、手および／または指）で所定のジェスチャまたはジェスチャのセットを実施することによって、外科手術用ロボットを制御するための追跡された位置および／または配向情報の使用を有効化および無効化することができてもよい。

当業者に公知のように、光学追跡システムは、身体部位（例えば、カメラなどの画像センサから）の画像を捕捉し、捕捉された画像から位置および／または配向を決定するように構成されている。いくつかの場合、身体部位は、より多くのマーカであるものを備えてもよく、身体部位の位置は、画像中のマーカの位置から決定される。マーカは、例えば、画像センサによって、またはその近くで生成される光を反射する再帰反射材料で作製されてもよく、および／またはそれらは、１つ以上の光生成装置（例えば、１つ以上のＬＥＤまたは赤外線（ＩＲ）エミッタ）を含み得る。他の場合、身体部位は、いかなるマーカも備えていなくてもよく、光学システムは、画像内の関連する身体部位を識別するように構成される特別なソフトウェアのみを使用して、画像から関連する身体部位の位置を追跡するように構成され得る。対照的に、慣性追跡システムでは、関連する身体部位は、限定されるものではないが、関連する身体部位の運動を説明する運動データを捕捉する、ジャイロスコープ、磁気計、または加速度計などの、１つ以上の運動センサを備える。捕捉された運動データは、運動データから身体部位の位置および配向を決定するコンピューティング装置に提供される。当業者には、これらが位置追跡システムの単なる例であり、任意の好適な位置追跡システムが入力追跡システム４０６を実装するために使用され得ることが明白であろう。

他の例では、図４に示されるように、１つ以上の自由空間入力４１８、４２０は、オペレータによって操作され得る１つ以上の入力装置を備え得る。外科手術用ロボットを制御するために使用され得る入力装置は、限定されるものではないが、ハンドコントローラを含む。いくつかの場合、オペレータの各々の手に対して１つのハンドコントローラが存在し得る。したがって、これらの場合、追跡システムは、１つ以上の入力装置（例えば、ハンドコントローラ）の位置を追跡するように構成され得る。入力追跡システム４０６は、任意の好適な方法またはシステムを使用して、入力装置の位置を追跡するように構成され得る。例えば、入力追跡システム４０６は、上記に説明される光学追跡システムまたは慣性追跡システムを使用して、入力装置（例えば、ハンドコントローラ）の位置を追跡するように構成され得る。しかしながら、これらの場合、それは、任意のマーカおよび／または位置センサを備えることになる入力装置になる。

いくつかの場合、自由空間入力装置４１８、４２０（例えば、ハンドコントローラ）は、オペレータが制御ユニット４０８に追加情報を提供することを可能にする、追加の入力を含み得る。例えば、いくつかの場合、入力装置のうちの１つ以上はまた、ロボットアームを制御するための入力装置（例えば、ハンドコントローラ）の追跡された位置および／または配向の使用をオペレータがアクティブ化／非アクティブ化することを可能にする、１つ以上のボタン、または他の入力を含み得る。当業者には、これが入力装置を介して制御ユニット４０８に提供され得る情報の一例に過ぎないことは明白であろう。

図４のシステム４００の自由空間入力装置４１８、４２０として使用され得る例示のハンドコントローラ７００が図７に示される。図７の例示のハンドコントローラ７００は、オペレータの右手で把持されることが意図されている。鏡像ハンドコントローラは、オペレータの左手で使用され得る。ハンドコントローラ７００は、ヘッド７０４およびグリップ７０６を備える本体７０２を備える。グリップ７０６は、オペレータの手の平に着座するように構成されている。この例では、ハンドコントローラ７００の本体７０２の位置および／または配向は、入力追跡システム４０６によって追跡される。いくつかの場合、本体７０２の位置および／または配向は、上記に説明されたような光学システムを使用して、入力追跡システム４０６によって追跡され得る。他の場合、本体７０２は、加速度計またはジャイロスコープなどの１つ以上の動きセンサを備え得、入力追跡システム４０６は、センサから受信された情報に基づいて、ハンドコントローラ７００の位置および／または配向を決定および追跡するように構成され得る。

図７の例示のハンドコントローラ７００はまた、複数の入力７０８、７１０、７１２、および７１４を備え、これは、オペレータが、外科手術用ロボットを制御するために、制御ユニット４０８に追加の情報を提供することを可能にする。この例では、第１の入力７０８は、１つ以上の方向で基部上を枢動するサムスティックの形態であり、中心位置に対するその位置は、制御ユニット４０８に提供され得、第２の入力７１０は、軸（図示せず）を中心として本体７０２の周りを枢動するレバーの形態であり、第３および第４の入力７１２および７１４は、ボタンの形態である。当業者には、これが単に例であり、入力が任意の好適な形態を取り得ること、および／または異なる数の入力が存在し得ることが明白である。

第１の入力７０８は、ハンドコントローラがオペレータの手の中に把持されているときに、オペレータの親指によって制御され得るように位置付けられる。外科手術用ロボットが複数のアームを有する場合、第１の入力７０８は、オペレータが、別のロボットアームに取り付けられ、かつそれによって制御される、画像捕捉装置（例えば、内視鏡）の位置および／または視野を制御することを可能にし得る。これは、オペレータが、ハンドコントローラの本体を動かすことによって、１つの外科手術用ロボットアームに取り付けられた器具を制御し、ハンドコントローラの本体に対して第１の入力７０８を左、右、前および／または後に動かすことによって、別のロボットアームに取り付けられた画像捕捉装置（例えば、内視鏡）の位置および／または視野を同時にまたは並行に制御することを可能にする。いくつかの場合、第１の入力７０８は、オペレータが入力７０８に関与したときに、ロボットアームに取り付けられた画像捕捉装置の動きを制御するためだけに使用され得る。例えば、入力７０８は、オペレータが入力７０８に関与したときを検出するセンサ（例えば、静電容量センサ）を有し得、オペレータが入力７０８に関与したことをセンサが検出したとき、次いで、入力７０８は、画像捕捉装置の位置および／または視野を制御するために使用され得る。いくつかの場合、ヘッド７０４は、本体７０２に対する入力７０８の位置を感知するために位置センサを備え得る。他の場合、ハンドコントローラ７００は、入力７０８に適用される力を検出するための力および／またはトルクセンサを備えてもよい。他の場合、ハンドコントローラ７００の本体に対して、入力７０８を左、右、前および／または後に動かすことができることに加えて、オペレータは、入力７０８を押し下げることができてもよい。これらの場合、オペレータは、入力７０８を押し下げることによって、選択（例えば、仮想画面上に表示されたメニュー上）を示すことができてもよい。第１の入力７０８の操作およびその利益は、出願人の同時係属中の英国特許出願第１８０２９９２．６号に説明されており、これは、参照によりその全体が本明細書に組み込まれる。

第２の入力７１０は、ハンドコントローラがオペレータの手の中に把持されているときに、オペレータの指（例えば、人差し指）によって制御されるように、ハンドコントローラ７００上に位置付けられる。第２の入力７１０は、対応するロボットアームに取り付けられたエンドエフェクタに、挟むか、または把持するアクションを実施させるように、オペレータによって使用され得る。例えば、オペレータは、オペレータが入力７１０をハンドコントローラ７００の本体に向かって動かしたときに把持器具（ペンチ器具とも呼ばれ得る）が閉じられ、オペレータが入力７１０をハンドコントローラ７００の本体から離れるように動かしたときに把持器具が開かれることを示し得る。第２の入力７１０の操作およびその利益は、出願人の同時係属中の英国特許出願第１６１６０８６．３号に説明されており、これは、参照によりその全体が本明細書に組み込まれる。

第３の入力７１２は、ハンドコントローラ７００がオペレータの手の中で把持されるときに、オペレータの親指によって制御されるように、ハンドコントローラ７００上に位置付けられる。いくつかの場合、第３の入力７１２は、ハンドコントローラをロボットアームと関与および関与解除するために使用され得るため、クラッチと呼ばれ得る。ハンドコントローラがロボットアームと関与するとき、ハンドコントローラは、そのロボットアームおよびそれに取り付けられた任意の器具の動きおよび位置を制御するために使用され得る。対照的に、ハンドコントローラがロボットアームと関与しない（すなわち、関与解除された）とき、ハンドコントローラは、ロボットアームおよびそれに取り付けられた任意の器具の動きおよび位置を制御するために使用されることができない。言い換えると、ハンドコントローラがロボットアームと関与するとき、ハンドコントローラの動きおよび位置は、ロボットアームの動きおよび位置を制御し、ハンドコントローラが関与解除されたとき、ハンドコントローラの動きおよび位置は、ロボットアームの動きおよび位置に影響を与えない。オペレータは、例えば、オペレータが休憩を取りたいときに、ハンドコントローラをロボットアームから関与解除し得る。いくつかの場合、オペレータは、第３の入力７１２を押すことによって、関与モードと関与解除モードとの間を切り替え得、逆もまた同様である。

第４の入力７１４は、ハンドコントローラ７００がオペレータの手の中で把持されるときに、オペレータの親指によって制御されるように、ハンドコントローラ７００上に位置付けられる。いくつかの場合、第４の入力７１４は、選択されたロボットアーム（例えば、ハンドコントローラによって現在制御されているロボットアームに取り付けられた電気外科手術用器具）に取り付けられた電気外科手術用器具を、選択された波形（例えば、ＣＵＴ波形またはＣＯＡＧ波形）でアクティブ化（例えば、電気エネルギーを提供）するために使用され得る。当業者に公知であるように、電気外科手術用器具は、電気外科手術を実施するように適合された外科手術用器具である。電気外科手術は、所望の効果（例えば、組織を切断することまたは組織を凝固させること）を引き起こすために、組織に高周波（すなわち、無線周波数）電流を流すことである。電気外科手術用器具は、電気外科手術発電機、電気外科手術用エンドユニット、電気外科手術エンドユニット、またはＥＳＵとも呼ばれ得る、電気外科手術用発電機から駆動電流（駆動電気外科手術用信号と呼ばれ得る）を受ける。電気外科手術用発電機は、典型的には、異なる外科的効果を達成するために、複数の異なる電流波形を生成するように構成され得る。例えば、多くの標準的な電気外科手術用発電機は、ＣＯＡＧおよびＣＵＴ波形を生成するように構成され得る。ＣＯＡＧ波形は、低電力設定で使用されたときに、乾燥効果を引き起こし、高電力設定で使用されたときに、高周波凝固効果を引き起こす、無線周波数のバーストで構成されている。ＣＵＴ波形は、より低い電圧で連続波形であるが、ＣＯＡＧよりも高電流であり、これは、組織を切断させる。

図７の例示のハンドコントローラ７００はまた、インジケータ７１６、特に、ＬＥＤインジケータを備え、選択されたロボットアームに取り付けられた電気外科手術用器具の現在の電気外科手術モードを示す。例えば、インジケータ７１６は、電気外科手術用器具がＣＵＴモードでアクティブであるときに黄色光を放射し得、インジケータ７１６は、電気外科手術用器具がＣＯＡＧモードでアクティブであるときに青色光を放射し得る。

図４に戻ると、入力追跡システム４０６は、１つ以上のプロセッサ４２４およびメモリ４２６を含み得る。メモリ４２６は、１つ以上のプロセッサ４２４によって実行されて、任意の好適な方法（上述のものなど）を使用して１つ以上の自由空間入力（例えば、自由空間入力装置４１８、４２０）の位置および／または配向を追跡し、１つ以上の自由空間入力（例えば、自由空間入力装置４１８、４２０）のためのリアルタイム位置および／または配向データ４２２を生成し、リアルタイム位置および／または配向データ４２２を制御ユニット４０８に提供し得る、ソフトウェアコードを非一時的な方式で記憶する。

制御ユニット４０８は、１つ以上の入力（例えば、ハンドコントローラ）の位置および／または配向を示す入力追跡システム４０６からデータ４２２を受信するように構成されている。制御ユニット４０８はまた、外科手術用ロボット４０２から入力４２８を受信する。これらの入力４２８は、ロボットアームジョイント上に位置する、位置センサおよびトルクセンサからのセンサデータを含み得る。制御ユニット４０８は、外科手術用器具から、またはそれに関する力フィードバックおよび／またはデータなどの、外科手術用器具からの他の入力を受信し得る。制御ユニット４０８は、それが外科手術用ロボット４０２および入力追跡システム４０６から受信する入力に応答して、外科手術用ロボット４０２を駆動する。いくつかの場合、制御ユニット４０８は、１つ以上の入力（例えば、ハンドコントローラ）の動きを制御信号４３０に変換して、同じ方式で外科手術用ロボット４０２のアームジョイントおよび／または器具エンドエフェクタを動かすように構成されている。例えば、制御ユニット４０８は、アームに取り付けられた器具のエンドエフェクタが対応する入力（例えば、ハンドコントローラ）の動きに従うように構成され得る。

いくつかの場合、アームジョイントおよび／または器具エンドエフェクタを動かす制御信号を生成するために、制御ユニット４０８は、外科手術部位のビデオストリームに示される器具エンドエフェクタの配向および位置と、その器具を制御するために使用される入力（例えば、ハンドコントローラ）の配向および位置との間のマッピングを生成し（またはそれによって構成される）、これは、入力（例えば、ハンドコントローラ）の動きを外科手術部位のビデオストリームに見られる対応する動きに変換するために使用され得る。例えば、マッピングは、オペレータ（例えば、外科医）が入力（例えば、ハンドコントローラ）を右に動かしたときに、次いで、オペレータ（例えば、外科医）が外科手術部位のビデオストリームでエンドエフェクタが右に動くのを見ることになるように生成される。これは、オペレータ（例えば、外科医）が、非常に直感的な方式で入力（例えば、ハンドコントローラ）を動かして、エンドエフェクタの位置および動きを制御することを可能にする。次いで、制御ユニット４０８は、入力（例えば、ハンドコントローラ）の動きを制御信号に変換して、マッピングに従って、入力デカルト座標基準システムにおける入力の位置および配向を、カメラデカルト座標基準システムにおける器具エンドエフェクタの位置および配向に変換することによって、ロボットアームに取り付けられたアームジョイントおよび／または器具エンドエフェクタを動かすように構成され得る。次いで、制御ユニット４０８は、制御信号４３０を生成して、カメラ座標基準内に位置および配向を有するようにエンドエフェクタを動くようにし得る。これらの場合、エンドエフェクタと入力（例えば、ハンドコントローラ）との間のマッピングは、視野および／または画像捕捉装置（例えば、内視鏡）の位置が調節されたときに更新され得る。マッピングの例は、出願人の同時係属中の英国特許出願第１８０２９９２．６号に説明されており、これは、参照によりその全体が本明細書に組み込まれる。

リンケージおよび／またはジンバルもしくは他の固定構造に取り付けられた入力装置を有する、図２の物理的オペレータコンソール２００などの、物理的オペレータコンソールは、リンケージおよび／またはジンバルが、使用中にオペレータに力フィードバックを提供して、対応するエンドエフェクタに及ぼされる力を表示または複製するように駆動され得るように構成され得る。これは、オペレータ（例えば、外科医）が、オペレータによって制御される任意のエンドエフェクタに及ぼされる力について通知されることを可能にし得る。しかしながら、本明細書に説明される例におけるように、入力が自由空間入力である場合、力フィードバックは、この様式で提供されることができない。しかしながら、力フィードバックを提供する代わりに、いくつかの場合、制御ユニット４０８は、対応する器具エンドエフェクタに力が及ぼされたことを外科手術用ロボットから受信された入力４２８から検出することに応答して、オペレータに触覚フィードバックを提供するように構成され得る。触覚フィードバックの存在は、オペレータによって現在制御されている器具エンドエフェクタに力が及ぼされたことをオペレータに示し得る。制御ユニット４０８は、力の相対強度を示すように、触覚フィードバックのパラメータ（例えば、周波数、強度）を調節するように構成され得る。例えば、いくつかの場合、触覚フィードバックは、振動の形態であり得る。これらの場合、オペレータに提供される振動の周波数または強度は、力の強度を示すように変更され得る。

１つ以上の入力が入力装置（例えば、ハンドコントローラ）である場合、触覚フィードバックは、入力装置（例えば、ハンドコントローラ）を介して提供され得る。例えば、いくつかの場合、制御ユニット４０８は、特定の入力装置（例えば、ハンドコントローラ）によって現在制御されている器具エンドエフェクタに力が及ぼされていると検出することに応答して、その入力装置を振動させるように構成され得る。具体的には、これらの場合、入力装置は、アクティブ化されたときに入力装置（例えば、ハンドコントローラ）を振動させる振動装置を備え得る。例示の振動装置としては、限定されるものではないが、偏心回転アクチュエータ（ＥＲＭ）、線形共鳴アクチュエータ（ＬＲＳ）、または圧電アクチュエータが挙げられる。

１つ以上の入力が、オペレータの身体部位のうちの１つ以上である場合、オペレータは、制御ユニット４０８によるアクティブ化時、オペレータに触覚フィードバックを提供し得る装置を備え得る。例えば、これらの場合、追跡されるオペレータの身体部位であるにもかかわらず、オペレータは、触覚フィードバックを提供し得る装置（ハンドコントローラなど）を保持するように構成され得るか、またはオペレータは、触覚フィードバックを提供し得るウェアラブル装置を装備し得る。

制御ユニット４０８は、１つ以上のプロセッサ４３２およびメモリ４３４を備え得る。メモリ４３４は、入力追跡システム４０６から受信された位置および／または配向情報／データ４２２に基づいて、外科手術用ロボットを制御するために、１つ以上のプロセッサ４３２によって実行され得るソフトウェアコードを非一時な方式で記憶する。いくつかの場合、ソフトウェアコードはまた、オペレータによって現在制御されている器具エンドエフェクタに力が及ぼされていないときに外科手術用ロボットから受信された入力４２８から検出し、オペレータによって現在制御されている器具エンドエフェクタに力が及ぼされたと検出することに応答して、オペレータに触覚フィードバックを提供するように構成され得る。

図４のシステム４００は、単一のロボットアームを有する単一の外科手術用ロボット４０２を制御するために使用されるように上記に示され、説明されているが、本明細書に説明される方法およびシステムはまた、各々、少なくとも１つのロボットアームを有する複数の外科手術用ロボット、または複数のロボットアームを有する外科手術用ロボットを備える、外科手術用ロボットシステムを制御するためにも使用され得ることが当業者には明白であろう。具体的には、多くの外科手術手技は、複数の外科手術用ロボットアームの使用を必要とする。例えば、多くの外科手術手技では、内視鏡は、１つのロボットアームに取り付けられ、かつそれによって制御され、１つ以上の他のエンドエフェクタ（例えば、限定されるものではないが、一対の把持具（ペンチとも呼ばれ得る）、メス、および／またははさみなどの外科手術用器具）は、異なるロボットアームに各々取り付けられ、かつそれらによって制御される。ロボットアームは、同じ外科手術用ロボットの一部を形成してもよく、または異なる外科手術用ロボットの一部を形成してもよい。図４のシステム４００が、複数のロボットアームを制御するために使用される場合、システム４００は、どのロボットアームが、任意の時点で、どの入力によって制御されるかを決定するための好適な手段を備え得る。例えば、いくつかの場合、オペレータ（例えば、外科医）は、例えば、入力および／または仮想現実ディスプレイ装置を使用して、ロボットアームのうちのどれが、入力によって現在制御されるべきかを選択することができてもよい。例えば、いくつかの場合、仮想現実ディスプレイ装置は、外科手術部位のビデオストリームの表現に加えて、どのロボットアームおよびどの器具が現在制御されているかを示す情報を仮想画面上に表示するように構成され得、オペレータは、ハンドコントローラ上の１つ以上の入力（例えば、ボタン）をアクティブ化することによって現在制御されているロボットアームおよび器具を変更することができてもよい。

いくつかの場合、オペレータ（例えば、外科医）は、複数のロボットアーム（および複数のエンドエフェクタ）を同時に制御することができてもよい。例えば、複数のオペレータ入力（例えば、複数のハンドコントローラ）がある場合、オペレータ（例えば、外科医）は、入力（例えば、ハンドコントローラ）のうちのどれが、ロボットアーム（および、したがって、エンドエフェクタ）のうちのどれを制御するために使用されるべきかを選択することができてもよい。例えば、２つのハンドコントローラが存在する場合、オペレータは、左ハンドコントローラ（すなわち、オペレータの左手のハンドコントローラ）が、エンドエフェクタ１に取り付けられたロボットアーム１を制御するために使用されるように、かつ右ハンドコントローラ（すなわち、オペレータの右手のハンドコントローラ）が、エンドエフェクタ２に取り付けられたロボットアーム２を制御するために使用されるように指定し得る。

いくつかの場合、画像捕捉装置（例えば、内視鏡）は、他のエンドエフェクタとは異なる様式で制御され得る。例えば、英国特許出願第１８０２９９２．６号に説明されるように、いくつかの場合では、ハンドコントローラの位置および／または配向が、外科手術用ロボットアームに取り付けられた外科手術用器具の位置を制御するために使用され得、ハンドコントローラ上の別の入力（例えば、サムスティック入力）が、異なる外科手術用ロボットアームに取り付けられた画像捕捉装置（例えば、内視鏡）を同時に制御するために使用され得る。

図４は、別々の別個の装置であるように制御ユニット４０８および入力追跡システム４０６を示すが、他の例では、制御ユニット４０８および入力追跡システム４０６によって実施されるように上記に説明された機能は、単一のコンピューティング装置または関連するコンピューティング装置のセットによって実施され得る。

図４のシステム４００によって実施され得る仮想コンソールを使用して外科手術用ロボットを制御する方法８００を説明する図８を参照する。方法８００は、仮想現実ディスプレイ装置（例えば、図４の仮想現実ディスプレイ装置４０４）が、仮想現実ディスプレイ装置のオペレータに仮想現実情景のビューを提示する、ブロック８０２で始まる。仮想情景は、外科手術部位のビデオストリームの表現が表示される仮想画面を含む。ブロック８０４では、入力追跡システム（例えば、図４の入力追跡システム４０６）は、空間内の１つ以上の自由空間入力の位置および／または配向を追跡する。上記に説明されるように、いくつかの場合、１つ以上の自由空間入力は、オペレータの身体部位のうちの１つ以上を含み得、他の場合、１つ以上の自由空間入力は、１つ以上の入力装置（限定されるものではないが、ハンドコントローラなど）を含み得る。ブロック８０６では、制御ユニット（例えば、図４の制御ユニット４０８）は、１つ以上の自由空間入力の追跡された位置を１つ以上の制御信号に変換して、外科手術用ロボットのアームの位置を制御する（８０６）。

いくつかの場合、方法は、外科手術部位のビデオストリームを受信し、そこから仮想現実情景を生成することをさらに含み得る。

図８は、連続的に実行される方法８００のブロック８０２～８０６を例示するが、他の例では、ステップのうちの１つ以上が同時に実行されてもよい。例えば、いくつかの場合、ブロック８０２は、ブロック８０４および８０６と同時に実行され得る。

上記に説明される例では、外科手術部位のビデオストリームの表現が表示される仮想画面が、仮想現実（ＶＲ）ディスプレイ装置を介して、仮想現実情景／環境の一部としてオペレータ（例えば、外科医）に提示され、他の例では、仮想画面は、限定されるものではないが、複合現実（ＭＲ）ディスプレイ装置または拡張現実（ＡＲ）ディスプレイ装置などの、仮想画像をユーザに提示することができる他のディスプレイ装置を使用してユーザに提示され得る。当業者に公知であるように、ＶＲディスプレイ装置は、ユーザの現実世界（ＲＲ）をコンピュータ生成された世界と完全に置換して、ユーザの感覚をだまして、異なる環境または世界にあると思わせる。したがって、ＶＲディスプレイ装置は、ユーザが見ることができるすべてが仮想環境であるように、ユーザのＲＲからユーザを遮断する。上記に説明されるように、ＶＲディスプレイ装置の例としては、限定されるものではないが、Ｏｃｕｌｕｓ Ｒｉｆｔ（登録商標）、ＨＴＣ Ｖｉｖｅ（登録商標）、ＰｌａｙＳｔａｔｉｏｎ（登録商標）ＶＲ、またはＳａｍｓｕｎｇ（登録商標）Ｇｅａｒ ＶＲが挙げられる。対照的に、ＡＲディスプレイ装置は、直接的または間接的に、コンピュータ生成された画像を用いて現実世界を補完または拡張する。これは、例えば、仮想物体を、別の透明な一対のメガネまたはバイザー上に投影し、それらを現実世界上にオーバーレイすることによって、または仮想物体を、カメラから捕捉された情景のライブビュー上にオーバーレイとして注釈付けまたは投影することによって達成され得る。ＡＲディスプレイ装置の例としては、限定されるものではないが、Ｇｏｏｇｌｅ Ｇｌａｓｓ（登録商標）が挙げられる。ＭＲディスプレイ装置は、現実世界および仮想世界を混合して、物理的物体およびデジタル物体が共存する新しい環境を生成する。具体的には、ＭＲディスプレイ装置は、仮想物体を、それらが実際にそこにあるかのように、現実世界に配置する。ユーザは、複合現実環境をナビゲートし、現実物体および仮想物体の両方とリアルタイムで対話し得る。例示のＭＲディスプレイ装置としては、限定されるものではないが、Ｍｉｃｒｏｓｏｆｔ ＨｏｌｏＬｅｎｓ（登録商標）が挙げられる。

具体的には、いくつかの場合、仮想現実ディスプレイ装置（例えば、仮想現実ヘッドセット）を介して、仮想現実情景／環境の一部としてオペレータ（例えば、外科医）に提示される仮想画面の代わりに、仮想画面は、ＡＲディスプレイ装置またはＭＲディスプレイ装置によって、手術室の現実世界ビュー上のオーバーレイまたはその一部として、ユーザに提示され得る。例えば、ＡＲまたはＭＲディスプレイ装置（または現実世界で仮想画面およびその配置を生成するコンピュータ）によって一意に識別され得る材料片が手術室に配置され得、次いで、ＡＲまたはＭＲディスプレイ装置が、現実世界で仮想画面を材料片とマッピングまたは整列させ得る。このようにして、仮想画面は、上記に説明された例の仮想現実情景にアンカー固定されたのと同じ方式で、現実世界において材料片の場所にアンカー固定される。いくつかの場合、材料片は、ＡＲまたはＭＲディスプレイ装置によって仮想画面の場所として識別される特定の色（例えば、白色）を有し得る。材料片は、現実世界における仮想画面の所望の寸法を有するようにサイズ決めされ得る。いくつかの場合、材料片は、長方形であってもよい。異なるサイズの材料片は、例えば、特定の手技または手術のために、手術室内の空間を収容するために、異なる手技のために、または異なる手術室内で使用され得る。いくつかの場合、材料片は、同じサイズのディスプレイ画面またはモニタと比較して、１つの場所から別の場所に容易に動かされ得るように、折り畳み可能または可撓性であってもよい。

ＶＲディスプレイ装置を使用して没入型仮想現実情景／環境の一部として、仮想画面をオペレータ（例えば、外科医）に提示するのではなく、ＡＲディスプレイ装置またはＭＲディスプレイ装置を使用してオペレータ（例えば、外科医）に仮想画面を提示することは、オペレータを仮想現実環境に没入させることに伴う問題のうちのいくつかを軽減し得る。具体的には、オペレータが仮想現実情景／環境内に没入するとき、オペレータは、手術室チームの残りの人員から遮断される。対照的に、現実世界の一部としてオペレータ（例えば、外科医）に仮想画面を提示することは、手技中に手術室チームの残りの人員を見ることができることを可能にし、これは、手術室で起こっていることのより良好な全面的な理解をオペレータに提供する。

さらに他の場合、ディスプレイ装置は、仮想画面を壁、投影画面、または材料片上に投影するように構成されている投影装置（例えば、前方投影もしくは後方投影装置またはプロジェクタ）（いくつかの場合、ポータブルであってもよい）の形態であってもよい。例えば、ＡＲおよびＭＲディスプレイ装置の場合と同様に、手術室に配置され得る材料片が存在してもよく、仮想画面は、この材料片上に投影されてもよい。これは、ユーザに表示される仮想画面が、ＶＲ、ＡＲ、またはＭＲヘッドセットを介して表示される仮想画面よりも大きくなることを可能にし得、これは、仮想画面、特に、外科手術部位のリアルタイムビデオストリームの表現が、より高い解像度で表示されることを可能にし得る。ＡＲおよびＭＲディスプレイ装置の場合と同様に、材料片は、投影装置によって仮想画面の場所として識別される特定の色（例えば、白色）を有し得る。いくつかの場合、材料片は、長方形であってもよい。異なるサイズの材料片は、例えば、特定の手技または手術のために、手術室内の空間を収容するために、異なる手技のために、または異なる手術室内で使用され得る。いくつかの場合、材料片は、同じサイズのディスプレイ画面またはモニタと比較して、１つの場所から別の場所に容易に動かされ得るように、折り畳み可能または可撓性であってもよい。

さらに、上記に説明される例示のシステムは、１つ以上の自由空間入力の位置および／または配向を追跡するように構成された入力追跡システムを備えるが、他の例では、入力追跡システムは、図２を参照して上記に説明されたもの（例えば、平行四辺形リンケージ上に装着されたハンドグリップまたはハンドコントローラ）などの、従来の外科手術用ロボット入力装置の位置および／または配向を追跡するように構成され得る。多くの場合、物理的コンソールのディスプレイが物理的コンソールを嵩張って、大きいものにするため、物理的コンソールが多くの空間を占有し、動かすことが困難であることなどの、物理的コンソールに伴う問題の多くは、ＶＲ、ＡＲまたはＭＲディスプレイ装置を使用して、物理的ディスプレイの代わりに仮想画面をユーザに提示することによって軽減され得る。さらに、従来の外科手術用ロボット入力装置（例えば、ハンドグリップまたは平行四辺形リンケージに装着されたハンドコントローラ）を使用することは、多くの外科医にとって主要な不利益とみなされ得る、自由空間入力を使用するときに、力フィードバックを受けることができない問題を軽減する。したがって、外科手術用ロボットを制御するためのシステムであって、外科手術部位のリアルタイムビデオストリームの表現が表示される際にオペレータに仮想画面を提示するためのＶＲ、ＡＲ、またはＭＲディスプレイと、ロボットアーム（およびそれに取り付けられた任意の器具）の位置および／または配向を制御する従来の入力装置と、を備える、システムは、上記に説明された完全な仮想システムの利点の多くを、その欠点のうちのいくつかなしで、有し得る。

これにより、本出願人は、本明細書に説明される各個々の特徴および２つ以上のかかる特徴の任意の組み合わせを、かかる特徴または組み合わせが、当業者の共通の一般知識に照らして、全体として本明細書に基づいて行うことができるような程度まで、かかる特徴または特徴の組み合わせが、本明細書に開示される任意の問題を解決するかどうかにかかわらず、分離して開示する。前述の説明を考慮すると、本発明の範囲内で様々な修正を行うことができることは当業者には明白であろう。

Claims (20)

1. 外科手術用ロボット（４０２、３００）を制御するためのシステム（４００）であって、前記外科手術用ロボット（４０３、３００）が、基部（３０４）と、前記基部（３０４）から器具のための取り付け部に延在するアーム（３０２）と、を備え、前記アーム（３０２）が、複数のジョイント（３１０）を備え、それによって、前記アーム（３０２）の構成が、変更されることができ、前記システム（４００）が、
   ヘッドマウントディスプレイ装置（４０４）であって、前記ヘッドマウントディスプレイ装置（４０４）のオペレータに仮想画面（５０２）を提示するように構成されており、前記仮想画面（５０２）が、前記オペレータに可視の情景内で静止しており、外科手術部位（４１２）のリアルタイムビデオストリーム（４１０）の表現（５０４）が、前記仮想画面（５０２）上に表示される、ヘッドマウントディスプレイ装置（４０４）と、
   １つ以上の自由空間入力（４１８、４２０）の位置および／または配向を追跡するように構成された入力追跡システム（４０６）と、
   前記１つ以上の自由空間入力（４１８、４２０）の前記追跡された位置および／または配向を、前記外科手術用ロボット（４０２、３００）の前記アーム（３０２）の位置を制御する１つ以上の制御信号に変換するように構成された制御ユニット（４０８）と、を備える、システム。
2. 前記ヘッドマウントディスプレイ装置（４０４）が、仮想現実ヘッドセットであって、仮想現実情景（５００、６００）のビュー（５１０、６０８）を前記仮想現実ヘッドセット（４０４）の前記オペレータに提示するように構成された、仮想現実ヘッドセットを含み、前記仮想現実情景（５００、６００）が、前記仮想画面（５０２）を含む、請求項１に記載のシステム（４００）。
3. 前記仮想現実ヘッドセット（４０４）は、前記オペレータが前記仮想現実ヘッドセット（４０４）を使用しているときに、前記オペレータの頭部および／または前記オペレータの視線の位置を追跡するように構成された１つ以上のセンサを備え、前記仮想現実ヘッドセット（４０４）が、前記１つ以上のセンサから、前記オペレータの頭部の位置の変化および／または前記オペレータの視線の変化を検出することに応答して、前記オペレータに前記仮想現実情景（５００）の異なるビューを提示するようにさらに構成されている、請求項２に記載のシステム（４００）。
4. 前記仮想現実ヘッドセット（４０４）は、前記オペレータの頭部および／または前記オペレータの視線が第１の位置にあることを検出することに応答して、前記仮想画面（５０２）が可視である前記仮想現実情景（５００、６００）のビュー（５１０、６０８）を提示するように構成されている、請求項３に記載のシステム（４００）。
5. 前記仮想現実ヘッドセット（４０４）は、前記オペレータの頭部および／または前記オペレータの視線が、前記第１の位置に対して第１の方向（６１０、６１４）に移動していることを検出することに応答して、別の仮想物体（６０２、６０４、６０６）が表示される前記仮想現実情景（６００）のビュー（６１２）を提示するように構成されている、請求項４に記載のシステム（４００）。
6. 他の仮想物体（６０２）が、前記外科手術用ロボット（４０２、３００）のリアルタイム表現である、請求項５に記載のシステム（４００）。
7. 他の仮想物体（６０２、６０４）が、前記外科手術用ロボット（４０２、３００）および患者のリアルタイム表現（６０２、６０４）である、請求項５に記載のシステム（４００）。
8. 他の仮想物体（６０６）が、１つ以上の患者術前スキャンの表現である、請求項５に記載のシステム（４００）。
9. 前記仮想現実ヘッドセット（４０４）は、前記オペレータの頭部および／または前記オペレータの視線が、前記第１の位置に対して第２の方向（６１４）に移動していることを検出することに応答して、さらなる仮想物体（６０６）が表示される前記仮想現実情景（６００）のビュー（６１６）を提示するように構成されている、請求項５～８のいずれか一項に記載のシステム（４００）。
10. 前記ヘッドマウントディスプレイ装置が、現実世界内の仮想物体として前記オペレータに前記仮想画面を提示するように構成された拡張現実ヘッドセットまたは複合現実ヘッドセットを含む、請求項１に記載のシステム（４００）。
11. 前記ヘッドマウントディスプレイ装置は、前記オペレータが前記ヘッドマウントディスプレイ装置を使用しているときに、前記オペレータの頭部および／または前記オペレータの視線の位置を追跡するように構成された１つ以上のセンサを備え、前記ヘッドマウントディスプレイ装置が、前記１つ以上のセンサから、前記オペレータの頭部の位置の変化および／または前記オペレータの視線の変化を検出することに応答して、前記オペレータに前記仮想画面の異なるビューを提示するようにさらに構成されている、請求項１０に記載のシステム（４００）。
12. 前記ビデオストリーム（４１０）内に示される前記外科手術部位（４１２）の視野が、前記オペレータの頭部または前記オペレータの視線の動きによって自動的に制御されない、請求項１～１１のいずれか一項に記載のシステム（４００）。
13. 前記１つ以上の自由空間入力（４１８、４２０）が、ハンドコントローラ（７００）を含む、請求項１～１２のいずれか一項に記載のシステム（４００）。
14. 前記制御ユニット（４０８）は、前記外科手術用ロボットまたはそれに取り付けられた器具の前記アームが、その上に及ぼされた力を有していることを検出することに応答して、前記及ぼされた力を示すフィードバックを前記オペレータに提供させるようにさらに構成されている、請求項１～１３のいずれか一項に記載のシステム（４００）。
15. 前記制御ユニット（４０８）が、前記検出された力の大きさに基づいて、前記フィードバックのパラメータを調節するようにさらに構成されている、請求項１４に記載のシステム（４００）。
16. 前記外科手術部位（４１２）の前記ビデオストリーム（４１０）が、前記外科手術用ロボット（４０２、３００）のアームに取り付けられた前記内視鏡（４１４）によって捕捉され、前記内視鏡（４１４）の位置が、前記外科手術用ロボット（４０２、３００）によって制御される、請求項１～１５のいずれか一項に記載のシステム（４００）。
17. 前記ヘッドマウントディスプレイ装置（４０４）が、前記外科手術部位（４１２）の前記ビデオストリーム（４１０）を受信し、前記外科手術部位（４１２）の前記ビデオストリーム（４１０）から前記仮想画面を生成するようにさらに構成されている、請求項１～１６のいずれか一項に記載のシステム（４００）。
18. 前記外科手術用ロボット（４０２、３００）をさらに備える、請求項１～１７のいずれか一項に記載のシステム（４００）。
19. 前記外科手術部位（４１２）の前記リアルタイムビデオストリーム（４１０）が、画像捕捉装置（４１４）によって捕捉され、
    前記制御ユニット（４０８）が、前記画像捕捉装置（４１４）の所望の位置および／または視野を示す１つ以上の自由形式入力のうちの少なくとも１つからオペレータ入力を受信し、前記受信されたオペレータ入力に応じて、前記画像捕捉装置（４１４）の前記位置および／または視野を制御するようにさらに構成されている、請求項１～１８のいずれか一項に記載のシステム（４００）。
20. 外科手術用ロボットを制御する方法（８００）であって、前記外科手術用ロボットが、基部、および前記基部から器具の取り付け部まで延在するアームを備え、前記アームが、複数のジョイントを備え、それによって、前記アームの構成が、変更されることができ、前記方法（８００）が、
    ヘッドマウントディスプレイ装置を使用して、外科手術部位のビデオストリームの表現が表示される仮想画面を提示すること（８０２）であって、前記仮想画面が、前記ヘッドマウントディスプレイ装置のオペレータに可視の情景内で静止している、提示することと、
    入力追跡システムを使用して、１つ以上の自由空間入力の空間内の位置を追跡すること（８０４）と、
    前記１つ以上の自由空間入力の前記追跡された位置を１つ以上の制御信号に変換して、前記外科手術用ロボットの前記アームの位置を制御すること（８０６）と、を含む、方法（８００）。

Images