JP6026515B2 - ツールの動作を制御するのに使用されるフレームの位置及び向きの推定 - Google Patents

ツールの動作を制御するのに使用されるフレームの位置及び向きの推定 Download PDF

Info

Publication number
JP6026515B2
JP6026515B2 JP2014510464A JP2014510464A JP6026515B2 JP 6026515 B2 JP6026515 B2 JP 6026515B2 JP 2014510464 A JP2014510464 A JP 2014510464A JP 2014510464 A JP2014510464 A JP 2014510464A JP 6026515 B2 JP6026515 B2 JP 6026515B2
Authority
JP
Japan
Prior art keywords
frame
tool
transformation
image
master
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014510464A
Other languages
English (en)
Other versions
JP2014518775A (ja
Inventor
チャオ,タオ
プリスコ,ジュゼッペ,マリー
ライアン スティーガー,ジョン
ライアン スティーガー,ジョン
キュー ラーキン,デイビッド
キュー ラーキン,デイビッド
Original Assignee
インテュイティブ サージカル オペレーションズ, インコーポレイテッド
インテュイティブ サージカル オペレーションズ, インコーポレイテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by インテュイティブ サージカル オペレーションズ, インコーポレイテッド, インテュイティブ サージカル オペレーションズ, インコーポレイテッド filed Critical インテュイティブ サージカル オペレーションズ, インコーポレイテッド
Publication of JP2014518775A publication Critical patent/JP2014518775A/ja
Application granted granted Critical
Publication of JP6026515B2 publication Critical patent/JP6026515B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25User interfaces for surgical systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/35Surgical robots for telesurgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361Image-producing devices, e.g. surgical cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00Controls for manipulators
    • B25J13/08Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02Sensing devices
    • B25J19/04Viewing devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1679Programme controls characterised by the tasks executed
    • B25J9/1689Teleoperation
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1694Programme controls characterised by use of sensors other than normal servo-feedback from position, speed or acceleration sensors, perception control, multi-sensor controlled systems, sensor fusion
    • B25J9/1697Vision controlled systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition

Description

本発明は概して、ロボットシステム、特に、オペレータが指示したツールの動作を制御するために使用されるフレームの位置及び向きの推定に関する。
低侵襲手術を実行するために使用されるような医療ロボットシステムは、従来の観血手術法に対して、より少ない痛み、より短い入院、通常の活動へのより速い復帰、最小の瘢痕化、減少した回復時間、及び組織のより少ない損傷を含む、多くの利点を提供する。したがって、このような医療ロボットシステムを使用する低侵襲手術に対する需要は強く且つ成長している。
医療ロボットシステムの例は、California州SunnyvaleのIntuitive Surgical, Inc.のda Vinci(登録商標)手術システム Surgical System、da Vinci S(登録商標) Surgical System、及びda Vinci(登録商標) Si HD(商標) Surgical Systemを含む。これらのシステムのそれぞれは、外科医ワークステーション、患者側カート、高性能3次元(「3−D」)視覚システム、及びIntuitive Surgical独自のEndoWrist(登録商標)関節式器具を備える。この関節式器具は、手術器具を保持するスレーブマニピュレータの動きが加えられると、少なくとも完全な6自由度の動きが可能になるように、人間の手首に倣って作られ、この完全な6自由度の動きは、観血手術の自然な動きに匹敵又は超えさえする。
da Vinci(登録商標)外科医ワークステーションは高解像度立体ビデオディスプレイを有する。システムは、偏光、シャッタ眼鏡又は他の3−D表示技法よりも高い忠実度を提示する。それぞれの目は、対物レンズおよび一連の鏡を介して左目または右目の視野を表示する個別のディスプレイを見る。外科医は、手術の間中、楽に座ってこのディスプレイを覗き込み、そこを、外科医にとって3−Dの手術中の像を表示して操作するのに理想的な場所にする。
患者側カートは典型的には、患者内の手術部位で医療処置を行うとともに見るための手術器具及び画像取得装置等の医療装置を保持するとともに操作するための3つ以上のスレーブマニピュレータを含む。これらの医療装置を操作するために、外科医ワークステーションはまた、それらを操作するために医療装置(及び医療装置を保持するスレーブマニピュレータ)に選択的に関連付けられ得る、マスタコントロール装置も含む。
このような医療ロボットシステム、並びに一般の他のロボットシステムでは、マスタコントロール装置のオペレータの操作に応じた手術器具の制御は、1つのフレームのポイントをもう1つのフレームの対応するポイントにマッピングするために、いくつかの定義可能な参照フレーム及び対応するフレーム変換を有し得る。しかし、フレームの1つの位置及び向きが未知であるとき、手術器具の精密な制御は達成することが困難になり得るので、医療ロボットシステムによって治療されているときの患者の安全並びに患者に行われている手術の正常な完了が危うくされ得る。
したがって、本発明の態様の1つの目的は、ロボットシステム及び、その画像がその時取得されるとともにオペレータに表示されるツールのオペレータが指示した動作を制御するために使用されるフレームの位置及び向きを推定するためにロボットシステムに実装される方法である。
この及びさらなる目的は、本発明の様々な態様によって達成され、簡単に述べると、1つの態様は:マスタフレームを有するマスタコントロール装置;固定フレームに対する位置及び向きが1つ又は複数の画像フレーム変換を通じて決定できる画像フレームを有する画像取得システム;画像取得システムの視野内に配置されるとともに固定フレームに対する位置及び向きが1つ又は複数のツールフレーム変換を通じて決定できるツール;及び画像取得システムによって取得された1つ又は複数の画像の情報からツールの姿勢を示すポイントを特定するように、特定された姿勢を示すポイント並びに画像及びツールフレーム変換の既知の1つを使用することによって画像及びツールフレーム変換の未知の1つに関する推定された変換を決定するように、推定された並びに既知の画像及びツールフレーム変換の1つを使用することによってマスタ−ツール変換を更新するように、及び更新されたマスタ−ツール変換を使用することによってマスタコントロール装置の動作に応じてツールの動作を指令するように、プログラムされた少なくとも1つのプロセッサ;を有するロボットシステムである。
他の態様は、マスタフレームを有するマスタコントロール装置、固定フレームに対する位置及び向きが1つ又は複数の画像フレーム変換を通じて決定できる画像フレームを有する画像取得システム、画像取得システムの視野内に配置されるとともに固定フレームに対する位置及び向きが1つ又は複数のツールフレーム変換を通じて決定できるツールフレームを有するツール、を有するロボットシステムに実装される方法であり、方法は:画像取得システムによって取得された1つ又は複数の画像の情報からツールの姿勢を示すポイントを特定するステップ;特定された姿勢を示すポイント並びに画像及びツールフレーム変換の既知の1つを使用することによって画像及びツールフレーム変換の未知の1つに関する推定された変換を決定するステップ;画像及びツールフレーム変換の推定された並びに既知のものを使用することによってマスタ−ツール変換を更新するステップ;及び更新されたマスタ−ツール変換を使用することによってマスタコントロール装置の動作に応じてツールの動作を指令するステップ;を有する。
本発明の多様な態様の追加の目的、特徴及び利点は、以下の好適な実施形態の記述から明らかになり、この記述は添付の図面とともに理解されるべきである。
図1は、本発明の態様を利用する医療ロボットシステムを採用した手術室の上面図を示す。 図2は、内視鏡の観察端部に対するエンドエフェクタの位置及びオペレータの目に対するマスタコントロール装置の対応する位置を示す概略3次元図を示す。 図3は、画像取得システムの画像フレームに対するエンドエフェクタの位置及び向きを示す概略3次元図を示す。 図4は、医療ロボットシステムのオペレータの目に関連付けられた目基準系に対するマスタコントロール装置のピンチャ構造の位置及び向きを示す概略3次元図を示す。 図5は、画像取得システムに関連付けられた画像フレームに対するツールのエンドエフェクタの位置及び向きを決定するためにコントロールシステムによって使用されるフレームの場所を示す手術ステーションの一部の概略側面図を示す。 図6は、外科医の目に関連付けられた目フレームに対するマスタコントロール装置のピンチャ構造の位置及び向きを決定するために、コントロールシステムによって使用されるフレームの場所を示す外科医ワークステーション200の一部の概略側面図を示す。 図7−9は、外科医の手、マスタコントロール装置、及びツールのエンドエフェクタの対応するマッピング場所及びそれらの選択のための方法を示す。 図10は、マスタ/スレーブロボットシステムの高レベル制御アーキテクチャモデルのブロック図を示す。 図11は、ツール及び内視鏡が共通の入口に配置された共通ピボットポイント周りに回転するように、湾曲カニューレを通って内視鏡とともに挿入される左及び右ツールの概略側面図を示す。 図12は、ツールを見るために作業部位に繋ぎ止められた内視鏡の概略側面図を示す。 図13は、作業部位でロボット制御ツール及び画像取得システムをそれぞれ位置決めするための可動構造の概略側面図を示す。 図14は、画像フレームのポイントを固定フレームに変換するために使用される画像フレーム変換及びツールフレームのポイントを固定フレームに変換するために使用されるツールフレーム変換の概略図を示す。 図15は、マスタコントロール装置の動作に応じたツールの動作を指示するための未知のフレーム変換を推定するための方法のフロー図を示す。
以下の例は医療ロボットシステムへの本発明の応用を説明するが、本発明がそれに限定されるべきでないことが理解されるべきである。特に、本発明は、一般的なロボットシステムに適用可能であり、添付の特許請求の範囲に従う全範囲に一致すべきである。
図1は、一例として、医療ロボットシステム100を採用した手術室の上面図を示す。この場合の医療ロボットシステムは、一又は複数の助手(“A”)の補助により、手術台115に仰向けに横たわる患者(“P”)に対して、診断または手術等、医療処置を行いながら、外科医(“S”)によって利用されるワークステーション200を含む。
ワークステーション200は、外科医に対して手術又は作業部位の3−D画像を表示するための3−Dディスプレイ202、左及び右マスタコントロール装置700、700、フットペダル105、及びプロセッサ102を含む。コントロール装置700、700は、ジョイスティック、グローブ、トリガガン、手動コントローラ、または同類のもの等、種々の入力装置のうちのいずれか1つ又は複数を含み得る。本例では、それらは、開閉され得るとともに、それらのそれぞれ関連する手術ツールの所望の動きに対応するように複数の自由度で動かされ得るピンチャ(pinchers)として実装される。プロセッサ102は、ワークステーション200に組み込まれた、隣又はその近くに配置された専用コンピュータであり得る、又は、プロセッサ102は、システム100の全体に渡って分散処理式に分散された幾つかの処理又はコントローラ構成要素に分割され得る。
プロセッサ102が、それらのそれぞれの関連するロボットアーム組立体128,129のスレーブマニピュレータをそれらのそれぞれの取り外し可能に連結されたツール14、14(「手術器具」とも称される)を適宜に操作させるように、マスタコントロール装置700、700(「マスタマニピュレータ」とも称される)を操作することによって外科医が医療処置を行う一方で、外科医は、手術部位が画像取得装置によって撮影されるので、ワークステーション200ディスプレイ202の3−Dの手術部位を見る。この画像取得装置は、本例では、立体視のための対応刷る画像を取得する一対のカメラを有する立体視内視鏡304である。
それぞれのツール14、14、並びに内視鏡304は、従来通りに、この例では、切開部166等の対応する低侵襲切開部を通して手術部位へと下方に延びるよう、ツールガイドを通って患者に挿入される。一度に使用される手術ツールの数及びその結果として、システム100で使用されているロボットアームの数は、概して、いくつかある要因の中で特に、行われる医療処置及び手術室内のスペースの制約に依存する。処置中に使用されているツールを変える必要がある場合、助手は、もはや使用されないツールをそのロボットアーム組立体から取り外し、それを手術室内のトレイ116から他のツール14と交換し得る。
ツール14、14が手術部位で操作され得るように、それらはそれぞれ、手首機構の向きを制御するためのジョイント(又は、歯車、スプール他等の他の駆動可能な機械要素)、及び最終的な把持又はツールのほかのエンドエフェクタジョイントを制御する追加ジョイント(又は他の駆動可能な機械要素)を含む手首機構を有する。このようなツールの手首及びエンドエフェクタの機構(及び機械要素及びそれらを駆動する他のリンケージ)のさらなる詳細に関しては、例えば、米国特許第7,780,651号(2007年11月27日に出願され、“Articulated Surgical Instrument for Performing Minimally Invasive Surgery with Enhanced Dexterity and Sensitivity”と題する)、米国特許第6,936,902号(2002年4月16日に出願され、“Surgical Tools for Use in Minimally Invasive Telesurgical Applications”
と題する)、及び米国特許第7,736,356号(2004年11月1日に出願され、“Surgical Tool Having Positively Positionable Tendon−Actuated Multi−Disk Wrist Joint”と題する)を参照されたい。これらは参照により本願に援用される。
それぞれのロボットアーム組立体122、128、129は、スレーブアーム(「スレーブマニピュレータ」とも称される)及びセットアップアームを含む。スレーブマニピュレータは、それらのそれぞれ保持された医療装置を操作及び/又は動かすために、モータ制御式ジョイント(本願では「能動ジョイント」とも称される)を使用してロボット式に動かされる。セットアップアームは、それらのそれぞれの医療装置がそれらのそれぞれのツールガイドに挿入され得るように、ロボットアーム組立体122、128、129を水平及び垂直に位置決めするために通常ブレーキをかけられたジョイント(本願では「セットアップジョイント」とも称される)を解放することによって手動で操作され得る。代替的には、セットアップアームは、モータ制御式ジョイントを使用して能動的に制御され得る。
ディスプレイ202は、外科医が実際に手術部位を直接見下ろしていると感じるように向けられた映像を表示するように、外科医の手の近くに置かれる。そのために、ツール14、14の画像は、テレプレゼンスの感覚(例えば、マスタコントロール装置が手術ツールと一体であるという知覚)を外科医に与えるために、実質的に外科医の手が位置するところに位置するように見える。
プロセッサ102は、システム100において様々な機能を果たす。それが果たす1つの重要な機能は、外科医がそれらのそれぞれのツール14、14を効果的に操作できるように、制御装置700、700の機械的運動を、バス110を通る制御信号を介して、ロボットアーム組立体128、129のそれらのそれぞれのスレーブマニピュレータに、変換し、伝達することである。別の重要な機能は、本願で説明されるように、様々なコントロールシステムプロセス及び方法を実装することである。
プロセッサとして説明されているが、プロセッサ102は、実際においては、ハードウェア、ソフトウェア、およびファームウェアの任意の組み合わせによって実装され得ることが理解されるべきである。また、本願で説明されるようなプロセッサの機能は、1つのユニットによって行われ得るか、または異なる構成要素間で分担され得る。次に、そのそれぞれは、ハードウェア、ソフトウェア、およびファームウェアの任意の組み合わせによって実装され得る。
本願に記載されたような医療ロボットシステムの構造及び動作のさらなる詳細に関しては、米国特許第6,493,608号(1999年8月13日に出願され、“Camera Referenced Control in a Minimally Invasive Surgical Apparatus”と題する)を参照されたい。これは参照により本願に援用される。
使用中、図2の図面に概略的に示されるように、外科医は、手術部位をディスプレイ202を通じて見る。各ツール14に支持されたエンドエフェクタ58は、その付随するマスタコントロール装置の移動及び動作入力に応じて位置及び向きの動きを実行させられる。マスタコントロール装置は700、700で概略的に示される。手術中、エンドエフェクタ58の画像は、外科医がマスタコントロール装置700、700を用いてこのような移動及び動作を制御するとき、外科医がエンドエフェクタ58の対応する移動及び動作を見るように、手術部位とともに内視鏡304によって取得され、ディスプレイ202に表示されることが理解されるであろう。コントロールシステム(以下に図10を参照して説明される)は、以下により詳細に記載されるように、ディスプレイ202の画像に見られるエンドエフェクタの向き及び位置の動きをマスタコントロール装置のピンチャ構造の向き及び位置の動きにマッピングさせるように構成される。
低侵襲ロボット手術システムのコントロールシステムの動作が今より詳細に記載される。以下の説明では、コントロールシステムは、1つのマスタコントロール装置700並びにそれに付随するロボットアーム及び手術器具14と関連して説明される。マスタコントロール装置700は単に「マスタ」と称されるとともに、それに付随するロボットアーム及び手術器具14は単に「スレーブ」と称される。
マスタ運動と対応するスレーブ運動との間の制御が低侵襲手術システム100のコントロールシステムによって実現される方法が、概説的に図2−4の図面を参照して、説明される。方法は次に図5−15の図面を参照してより詳細に説明される。
マスタとスレーブ運動との間の制御は、アイ(目)デカルト基準座標系(本願では「アイフレーム」とも称される)でのマスタの位置及び向きをカメラデカルト基準座標系(本願では「カメラフレーム」又はより一般的に「画像フレーム」とも称される)でのスレーブの位置及び向きと比較することによって実現される。理解の容易さと語の節約のために、用語「デカルト基準座標系」は、添付の特許請求の範囲を含む本明細書の残りの部分では単に「フレーム」と称される。したがって、マスタが静止しているとき、カメラフレーム内のスレーブの位置及び向きは、アイフレーム内のマスタの位置及び向きと比較され、カメラフレーム内のスレーブの位置及び/又は向きがアイフレーム内のマスタの位置及び/又は向きと対応しない場合、スレーブは、カメラフレーム内のその位置及び/又は向きがアイフレーム内のマスタの位置及び/又は向きに対応しないカメラフレーム内の位置及び/又は向きに動かされる。図3では、カメラフレームは、参照番号610によって概して示され、アイフレームは図4に参照番号612によって概して示される。同様に、マスタアライメントモードでは、スレーブが静止し、マスタがカメラフレームのスレーブ位置及び向きに対応するアイフレームの位置及び/又は向きに動かされる。
マスタがアイフレーム612の新しい位置及び/又は向きに動かされるとき、新しいマスタの位置及び/向きは、カメラフレーム610の以前の対応するスレーブの位置及び/又は向きに対応しない。コントロールシステムは次に、スレーブをカメラフレーム610の新しい位置及び/又は向きに動かし、この新しい位置及び/又は向きでは、カメラフレーム610のその位置及び向きは、アイフレーム612のマスタの新位置及び/又は向きに対応する。
コントロールシステムは、コントロールシステムの処理サイクル速度によって決まる継続的なマスタ動作入力指令に応じたスレーブの新しい対応する位置及び向きを計算する、少なくとも1つ、典型的には複数のプロセッサを含むことが理解される。討議中のコントロールシステムの典型的な処理サイクル速度は約1300Hzである。したがって、マスタがある位置から次に位置に動かされるとき、応答するようにスレーブに望まれる対応する動きは約1300Hzで計算される。当然ながら、コントロールシステムは、コントロールシステムで使用されるプロセッサに応じた任意の適切な処理サイクル速度を有し得る。1つの実装では、全てのリアルタイム・サーボサイクル処理がDSP(デジタルシグナルプロセッサ)チップで行われる。DSPsはこの場合その一定の計算予測性及び再現性のために使用される。MassachusettsのAnalog Devices, Inc.のDSPは、本願で望まれる機能を実行するためのこのようなプロセッサの許容される例である。
カメラフレーム610は、その原点が内視鏡304の観察端部306に位置するように、位置付けられる。好都合には、カメラフレーム610のz軸が内視鏡304の観察軸616に沿って軸方向に延びる。図3では、観察軸616は内視鏡304のシャフト軸と同軸上に示されているが、観察軸616がシャフト軸に対して傾斜され得ることが理解されるべきである。したがって、内視鏡は傾斜スコープの形態であり得る。当然ながら、x及びy軸は、z軸に垂直な平面に位置する。内視鏡は典型的には、そのシャフト軸周りに角変位可能である。x、y及びz軸は、内視鏡304のシャフト軸周りの内視鏡304の角変位に一致するシャフト軸周り角度に変位するように、内視鏡304の観察軸に対して固定される。
コントロールシステムがスレーブの位置及び向きを決定することを可能にするために、フレームがエンドエフェクタ58上で定義される又はエンドエフェクタ58に取り付けられる。このフレームは、エンドエフェクタフレーム又はスレーブ先端フレーム又は単にツールフレームと称され、この明細書の残りの部分では、参照番号618によって概して示される。エンドエフェクタフレーム618は、ピボット接続部60にその原点を有する。好都合には、フレーム618の軸の1つ例えばz軸は、エンドエフェクタ58の対称軸、又は同様のもの、に沿って延びるように定義される。当然ながら、z及びy軸は次にz軸に垂直に延びる。スレーブの向きが次に、カメラフレーム610に対して、ピボット接続部60にその原点を有するフレーム618の向きによって定められることが理解されるであろう。同様に、スレーブの位置は次に、カメラフレーム610に対して60のフレームの原点の位置によって定められる。
今、図4の図面を参照すると、アイフレーム612は、その原点が、外科医がディスプレイ202の手術部位を見ているときに外科医の目が通常位置する位置201に対応するように選択される。z軸は、ディスプレイ202を通じて手術部位を見るときに、軸620によって示される、外科医の視線に沿って延びる。当然、x及びy軸は原点201においてz軸から垂直に延びる。好都合には、y軸はディスプレイ202に関連して概して垂直に延びるように選択され、x軸はディスプレイ202に関連して概して水平に延びるように選択される。
コントロールシステムがディスプレイ612内のマスタの位置及び向きを決定することを可能にするために、参照番号622で示されるマスタ又はマスタ先端フレームの原点を定めるマスタ上のポイントが選択される。このポイントは、マスタの回転の軸が交わる参照番号3Aによって示される交点に選択される。好都合には、マスタのマスタフレーム622のz軸は、回転軸1に沿って同軸に延びるピンチャ構造706の対称軸に沿って延びる。x及びy軸は次に、原点3Aの対称軸1から垂直に延びる。したがって、アイフレーム612内のマスタの向きは、アイフレーム612に対するマスタフレーム622の向きによって定められる。アイフレーム612のマスタの位置は、アイフレーム612に対する原点3Aの位置によって定められる。
どのようにカメラフレーム610内のスレーブの位置及び向きがコントロールシステムによって決定されるかが、今図5の図面を参照して説明される。図5は、患者側カート300に取り付けられたロボットアームの1つ及び手術器具14の概略図を示す。しかし、図5の説明を開始する前に、カメラフレーム610に対するスレーブの向き及び位置の決定に影響を及ぼす患者側カート300のいくつかの前に述べた態様を記載することが適切である。
使用中、低侵襲手術システムを用いて外科手術を行うことが望まれるとき、患者側カート300は外科手術を必要としている患者のすぐそばに動かされる。患者は通常、手術台、又は同様のもの等の表面に支持される。支持面の様々な高さを考慮に入れるため、及び外科手術が行われることになる手術部位に対する患者側カート300の様々な位置を考慮に入れるため、患者側カート300は、初期セットアップ構成を変化させる能力を備える。したがって、ツールスレーブアーム10、12及び内視鏡スレーブアーム302が、カート300のベース99に対して、矢印Kで示されるように、高さ調整可能なキャリッジ97に取り付けられる。さらに、ツールスレーブアーム10、12及び内視鏡スレーブアーム302は、それらのそれぞれのセットアップアーム95を用いてキャリッジ97に取り付けられる。したがって、スレーブアーム10、12、302の横方向の位置及び向きは、セットアップアーム95を動かすことによって選択され得る。したがって、外科手術の始まりでは、カート300は患者に近接した位置に動かされ、キャリッジ97の適切な高さがベース99に対する適切な高さにキャリッジを動かすことによって選択され、手術器具14は、器具14のシャフト及び内視鏡304が、入口を通って、エンドエフェクタ58及び内視鏡304の観察端部306が手術部位において適切に位置決めされるとともに支点(すなわちピボットポイント)が入口と一致する位置に導かれるように、キャリッジ97に対して動かされる。いったん高さ及び位置が選択されると、キャリッジ97はその適切な高さでロックされ、セットアップアーム95はその位置及び向きでロックされる。通常、外科手術中、キャリッジ97は選択された高さに保持され、同様にセットアップアーム95は選択された位置に保持される。しかし、必要に応じて、内視鏡又は、器具の1つ又は両方が、外科手術中に他の入口を通って導入され得る。
カメラフレーム610内のスレーブの位置及び向きのコントロールシステムによる決定が説明される。これは、特定の処理サイクル速度を有する1つ又は複数のプロセッサを用いて実現されることが理解される。したがって、必要に応じて、位置及び向きがこの明細書において参照される場合はいつでも、対応する速度もまた容易に決定されることが留意されるべきである。コントロールシステムは、カートフレーム624に対するスレーブの位置及び向きを決定することによって並びに同じカートフレーム624に対する内視鏡304の向き及び位置を決定することによって、カメラフレーム610内のスレーブの位置及び向きを決定する。カートフレーム624は、図5において参照番号626で示される原点を有する。
カートフレーム624に対するスレーブの位置及び向きを決定するために、支点49に原点を有する支点フレーム630の位置が、破線で矢印628によって示されるように、カートフレーム624内に決定される。支点49の位置は通常、手術の間中、手術部位への入口に一致する、同じ場所に留まることが理解される。(図3に示すように)ピボット接続部60にその原点を有する、スレーブのエンドエフェクタフレーム618の位置は、次に、支点フレーム630に対して決定され、スレーブのエンドエフェクタフレーム618の向きもまた、支点フレーム630に対して決定される。カートフレーム624に対するエンドエフェクタフレーム618の位置及び向きが次に、三角法の関係を使用する所定の計算を用いて決定される。
内視鏡304のスレーブアーム302がツールスレーブアーム10と同様に動くように強制されることが理解される。したがって、内視鏡304もまた、その観察端部306が手術部位に向けられるとき、手術部位への入口に一致する支点を定める。内視鏡スレーブアーム302は、外科医が外科手術の最中に異なる位置から手術部位を見ることができるように、外科手術中、内視鏡304を異なる位置に移動させるように駆動され得る。内視鏡304の観察端部306の動作が、内視鏡304のピボット中心又は支点に対する内視鏡304の向きを変化させることによって行われることが理解される。このような動きのオペレータの制御は、一方又は両方のマスタコントロール装置700、700の関連付けをツール14、14から内視鏡304に切り替えることによって行われ得る。一旦内視鏡304が所望の位置及び向きに移動されると、スレーブアーム304は所定の位置でロックされ得るとともにマスタコントロール装置700、700の関連付けがそれらのそれぞれのツールに切り替えて戻され得る。代替的には、フットペダル105又は他の従来型の手段が内視鏡304を位置決めするために使用され得る。カートフレーム624内のカメラフレーム610の位置及び向きは、カートフレーム624内のスレーブの位置及び向きと同様の方法で決定される。カートフレーム624に対するカメラフレーム610の位置及び向き、並びにカートフレーム624に対するスレーブの位置及び向きが、このような方法で決定されているとき、カメラフレーム610に対するスレーブの位置及び向きは、三角法の関係を使用する所定の計算を通じて容易に決定できる。
どのようにディスプレイフレーム610内のマスタの位置及び向きがコントロールシステムによって決定されるかが、今図6の図面を参照して説明される。図6は、オペレータワークステーション200のマスタコントロール装置700の1つの概略図を示す。
ワークステーション200は、外科医に合うようマスタ700、700の大体の位置が変化されることを可能にするための、632で示されるように、任意選択でセットアップアームも含む。したがって、マスタ700、700の大体の位置は、マスタ700、700が、外科医に対して快適に位置付けられる位置になるように選択的に変化され得る。したがって、マスタ700、700が快適に位置決めされるとき、セットアップアーム632は、所定位置でロックされ、通常、手術中を通してこの位置に保持される。
図6に示されるように、アイフレーム12内でマスタ700の位置及び向きを決定するために、外科医ステーションフレーム634に対するアイフレームの位置及び向き、並びに外科医ステーションフレーム634に対するマスタ700の位置及び向きが決定される。外科医ステーションフレーム634は、その原点を、外科手術中通常静止し、636で示される場所に有する。
ステーションフレーム634に対するマスタ700の位置及び向きを決定するために、ステーションフレーム634に対する、マスタ700が取り付けられるセットアップアーム632の端部のマスタセットアップフレーム640の位置が、破線で矢印638によって示されるように、決定される。原点を3Aに有するマスタ700のマスタフレーム622の位置及び向きが次にマスタセットアップフレーム640に対して決定される。このように、ステーションフレーム634に対するマスタフレーム622の位置及び向きは、三角法の関係を使用する所定の計算を用いて決定され得る。ステーションフレーム634に対するアイフレーム612の位置及び向きは、同様の方法で決定される。外科医のワークステーション200の他の部分に対するディスプレイ202の位置は、外科医に合うように選択的に変化され得ることが理解される。アイフレーム612に対するマスタフレーム622の位置及び向きが次に、三角法の関係を使用する所定の計算を用いて外科医ステーションフレーム634に対するマスタフレーム622及びアイフレーム612の位置及び向きから決定され得る。
上述の方法で、低侵襲手術装置のコントロールシステムは、カメラフレーム610内のエンドエフェクタフレーム618を用いてエンドエフェクタ58の位置及び向きを決定し、同様に、アイフレーム612に対するマスタフレーム622を用いてマスタのピンチャの位置及び向きを決定する。
上述のように、外科医は、親指及び人差し指をピンチャ構造706(図4参照)の上に配置することによってマスタを把持する。外科医の親指及び人差し指がピンチャ構造に配置されているとき、交点3Aは親指及び人差し指先端の内側に位置する。その原点が3Aにあるマスタフレームは、ディスプレイ202で外科医によって見られたとき、その原点をエンドエフェクタ58のピボット接続部60に有する、エンドエフェクタフレーム618に効率的にマッピングされる。したがって、外科手術を実行し、外科医が、エンドエフェクタ58の位置及び向きを従わせるようにピンチャ構造706の位置及び向きを操作するとき、外科医には、外科医の親指及び人差し指がエンドエフェクタ58の指部の上にマッピングされるように及びエンドエフェクタ58のピボット接続部60が、外科医の親指及び人差し指の先端から内側の外科医の親指及び人差し指の仮想的なピボット点に対応するように、見える。ピンチャ構造の実際の構成、特にピンチャ構造706の位置に対する回転軸の交点に応じて、マスタ700のフレーム622は、ピボット接続部60が略対応するポイントを外科医の手に対して近づけるように、交点3Aからオフセットされ(ずらされ)得る。
したがって、外科手術が実行されているとき、エンドエフェクタの指部の位置及び向きは、外科医の親指及び人差し指の位置及び向きの変化を、自然に直感的な又は重ねられる方法で追随する。さらに、エンドエフェクタ58の作動、すなわちエンドエフェクタ指部を選択的に開閉させることは、外科医の親指及び人差し指の開閉に直観的に対応する。したがって、エンドエフェクタ58のピボットポイント60が外科医の親指と人差し指との間の仮想的なピボットポイント上に適切にマッピングされるので、エンドエフェクタ58の作動は、ディスプレイ202で見ると、外科医によって自然に直感的な方法で行われる。
エンドエフェクタフレーム618は、必要に応じて、ピボット接続部60に対してオフセットされ得ることが理解される。したがって、例えば、エンドエフェクタ(ディスプレイに表示されるとき)が比較的長い長さの指部を有する場合、エンドエフェクタフレームの原点は、エンドエフェクタ指に先端に向かう方向にオフセットされ得る。マスタフレーム622と交点3Aとの間の、並びにエンドエフェクタフレーム618とピボット接続部60との間の位置及び/又は向きのオフセットを使用することによって、エンドエフェクタ58上へのピンチャ構造706のマッピングが、例えば、ピンチャ構造の先端をエンドエフェクタの先端上にマッピングするように、移動され得る。これらの代替的なマッピングは図7に示される。
一般的に、第1のピンチャ要素706Aは実質的に第1のエンドエフェクタ要素58.1に結び付けられる一方、第2のピンチャ要素706Bは実質的に第2のエンドエフェクタ要素58.2に結び付けられる。任意選択で、ピンチャ要素の間のピボット接続部に隣接する、ポイント3A(理想的には、マスタ700、706A、及び706Bのジンバル構造の回転中心の近くにある)は、実質的にスレーブのピボット接続部60に結び付けられ得る。これはまた、外科医はしばしば、手の(外科医の指及び親指の基部の)ピボットポイントをピンチャのピボットポイントに沿って配置された状態でマスタを握るので、外科医の手Hのピボットポイントとピボット接続部60との間の実質的な結び付きを提供する。代替的には、ピンチャ要素の先端の間に配置された中間点MP1は、エンドエフェクタ要素の先端の間に配置された中間点MP2に実質的に結び付けられ得る。本願に記載されるより高いレベルの結び付きのそれぞれは、任意選択で、このマッピングによって提供され得る。
図8及び9は、マスタコントローラのハンドルとスレーブのエンドエフェクタとの間の対応するマッピングポイントをより明確に示す一方、図9はこれらの対応するマッピングポイントを選択するための方法ステップを概略的に示す。一般的に、異なるエンドエフェクタ要素長さを有する交換可能なエンドエフェクタは、ハンドル又はエンドエフェクタのマッピングポイントを変化させることによって対応され得る。このようなマッピングポイントの変化はまた、ディスプレイに表示された画像の倍率が著しく変化するときにも使用され得る。例えば、エンドエフェクタのピボット接続部60とハンドルの交点3Aとの実質的な結び付きは、エンドエフェクタが第1の倍率で表示されるときには適切であり得るが、エンドエフェクタの倍率が著しく増加されるとき、又はより長いエンドエフェクタ要素を有する代替エンドエフェクタがスレーブに取り付けられるとき、不適切になり得る。いずれの状況でも、図8に示されるように、マスタの中間点MP2をエンドエフェクタの中間点MP1’に実質的に結び付けるように、マスタ/スレーブ相互作用を変更することが適切であり得る。
予備的な事として、ロボット手術システムにおいて、外科医によって握られることになるハンドルに隣接するジンバルポイントGPを有するマスタコントローラを提供することが有益である。これは、外科手術中にしばしば生じるような、外科医がハンドルを素早く回転させるときの大きいマスタの慣性を避ける。ジンバルポイントGPで交差する多自由度を持つ(理想的にはジンバルポイントで交差する3つの向きの自由度を持つ)マスタを有することによって、及びハンドルに一致するジンバルポイントを有することによって、マスタにおける素早い回転運動の慣性は非常に低くなり得る。
上述のように、スレーブのピボット接続部60の画像が、ピンチャ又は把持要素706A、706Bとの間のピンチャ構造ピボットポイント3Aに実質的に関連付けられて見えるように、スレーブの運動を調整させることはしばしば有益である。しかし、エンドエフェクタ要素58.1、58.2が(マスタコントローラに隣接するディスプレイに表示されるときに)ピボット接続部60を超えてかなりの距離を延びるとき、外科医は、遠位ピボット接続部からのこれらの長いエンドエフェクタの操作が扱いにくくなると感じるかもしれない。同様に、(マスタコントロールステーションに表示されるときに)マスタハンドルよりはるかに長い外科用メス等の1つのエンドエフェクタ要素を操作するとき、外科医は、容易に制御される外科用メスというよりむしろ、長い柄の剣での切断の印象を与えられるかもしれない。上述のようなグリップ/エンドエフェクタの長さにおける相違を克服するための1つの代替は、エンドエフェクタジョー端部の間及びハンドルグリップ部材端部の間の中間点MP1、MP2が実質的に結び付けられるように、手術作業領域及びマスタコントローラ作業領域を一緒にマッピングすることである。中間点が実質的に結び付けられるように手術及びマスタ作業領域をマッピングすることによって、外科医は、エンドエフェクタ要素とグリップ要素との間の長さにおける著しい差にもかかわらず、エンドエフェクタを使用する動作を適合させることができる。
マッピングポイントは如何なる特定のポイントにも限定される必要はない。例示的な実施形態では、グリップ部材の中間軸MAGが、ピンチャ要素706A、706Bの間の中間に定められる一方、同様のエンドエフェクタの中間軸MAEが、エンドエフェクタ要素58.1、58.2の間の中間に定められる。マスタのマッピングポイント(又は実質的な結び付きポイント)は、グリップ中間軸MAGに沿って、理想的には交点3Aから中間ポイントMP2の範囲に配置される。同様に、エンドエフェクタのマッピング又は実質的な結び付きポイントは、中間軸に沿って、理想的にはピボット接続部60から中間ポイントMP1の範囲に配置される。
図9は、ハンドル及びエンドエフェクタに沿った実質的に結び付けられたマッピングポイントの場所を決定するための方法を概略的に示す。最初に、マスタハンドルに沿った外科医の手の場所が、ジンバルポイントGPに対する外科医の指の位置を決定するために再調査される。1つの実施形態では、外科医の指先の場所とジンバルポイントGPとの間のオフセット距離がオフセット距離を定める。このオフセット距離は、倍率を使用して、典型的にはグリップ部材の長さとエンドエフェクタ要素の長さの間の比、ディスプレイの倍率、又は同様のもの等を使用して、拡大/縮小される。例えば、例示的なロボット手術システムに特有の数を使用して、オフセット距離は、グリップ部材が典型的にはエンドエフェクタ要素長さの約3倍の長さを有するので、それに3分の1を掛けることによって縮小される。(より長い又はより短いエンドエフェクタ要素を有するエンドエフェクタが使用されるとき)この倍率は、ツール交換、又は同様のものとともに変化し得る。スレーブ上のマッピングポイントの場所が次に、例えば、拡大/縮小されたオフセット距離だけエンドエフェクタ中間軸MAEに沿って中間点MP1からピボット接続部60に向かった位置に、計算される。エンドエフェクタのこのマッピングポイントは、次に、マスタのジンバルポイントGPに実質的に結び付けられ得る。
カートフレーム624は、その原点がカート300のベース99に対して変化しないカート300上の場所に対応する、任意の都合の良い場所に選択され得ることが理解される。外科医ステーションフレーム634は同様に、その原点がそのベース642に対して変化しない位置に置かれるような任意の都合の良い場所に選択され得る。さらに、カートフレーム624に対するカメラフレーム610の位置及び向きを決定するために、複数の異なる中間フレーム経路が使用され得る。カートフレーム624に対するエンドエフェクタフレーム618の位置及び向きを決定するためにも、複数の異なる中間フレーム経路が使用され得る。
しかし、中間フレーム経路が適切に選択された場合、コントロールシステムは、次に交換されるモジュール部品の特性とは異なる特性を有するモジュール部品のモジュール交換に対応するように容易に適合可能に構成されることが見出されている。中間フレームの選択はまた、マスタ及びスレーブの位置及び向きを含む計算プロセスを容易にすることが理解される。
再び図5を参照すると、既に述べたように、カートフレームが624において選択される。カートフレーム624に対する支点フレーム630の位置を決定することが、ポテンショメータ、エンコーダ、又は同様のもの等、適切な位置センサを通じて達成されることが理解される。好都合には、カートフレーム624に対する支点フレーム位置630は、2つの中間フレームによって決定される。フレームの一方は、それに沿ってキャリッジ97が案内されるガイド上の好都合な場所にその原点を有するキャリッジガイドフレーム644である。他方のフレーム、646で示されるアームプラットフォームフレームは、スレーブアーム10が取り付けられるセットアップジョイントアーム95の端部に位置する。したがって、スレーブの位置及び向きがカートフレーム624に対して決定されるとき、カートフレーム624に対するキャリッジガイドフレーム644位置が決定され、次にキャリッジガイドフレーム644に対する支点フレーム630が決定され、そして支点フレーム630に対するスレーブの向き及び位置が決定され、したがって、カートフレーム624に対するスレーブの位置及び向きを決定する。カートフレーム624に対するスレーブの位置及び向きは、このように各アーム10に対して、及び同様の方法でカメラフレーム610に関して、カートフレーム624に対して、そのアーム302を通じて、決定されることが理解される。
図6を参照すると、マスタコントロールの位置及び向きが外科医ステーションフレーム634に対するベースフレーム648の位置を決定することによって決定され、次にベースフレーム648に対するプラットフォームフレーム640の位置が決定され、そしてプラットフォームフレーム640に対するマスタの位置及び向きを決定する。外科医ステーションフレーム634に対するマスタフレーム622の位置及び向きは次に、三角法の関係を使用する所定の計算を用いて容易に決定される。外科医ワークステーション200フレーム634に対するほかのマスタフレームの位置及び向きは同様の方法で決定されることが理解される。
図5を参照すると、上述のようにフレームを選択することによって、同じロボットアームが使用される間に、セットアップジョイント95は、他のセットアップジョイントと交換され得る。コントロールシステムは次に、新しいセットアップジョイントのみに関する、例えばアーム長さ及び/又は同様のもの等の、情報を用いてプログラムされ得る。同様に、スレーブアーム10は他のアームと交換することができ、コントロールシステムは次に、新しいスレーブアームのみに関する、例えば支点位置及び/又は同様のもの等の、情報を用いてプログラムすることを必要とする。このように内視鏡スレーブアーム302及びそれに付随するセットアップジョイントはまた独立して交換されることもでき、コントロールシステムは次に交換される部品のみに関する情報のプログラミングを必要とすることが理解される。さらに、図6を参照すると、セットアップジョイント及びマスタコントロールもまた独立して交換されることができ、コントロールシステムは新しい部品のみの特性に関する情報のプログラミングを必要とする。
図10は、マスタ/スレーブロボットシステム100の高レベル制御アーキテクチャモデルを概略的に示す。オペレータ入力で開始すると、外科医1002が入力装置に対して手動又は人間の力fを加えることによって、マスタマニピュレータ1004の入力装置を動かす。マスタマニピュレータ1004のエンコーダは、マスタジョイント位置θを決定するために、マスタ入力/出力プロセッサ1006によって解釈されるマスタエンコーダ信号eを生成する。マスタジョイント位置は、マスタ運動学モデル1008を使用してアイフレームに対するマスタの入力装置のデカルト位置xを生成するために使用される。
今手術環境1018からの入力とともにスタートすると、手術作業領域内の組織が、手術エンドエフェクタに対して(及び場合によってツール及び/又はマニピュレータの他の要素に対して)力fをかける。手術環境1018からの環境力fは、スレーブマニピュレータ1016の位置を変えるので、変わっているスレーブエンコーダ値eがスレーブ入力/出力プロセッサ1014に伝達される。スレーブ入力/出力プロセッサ1014は、ジョイント位置θを決定するために、スレーブエンコーダ値を解釈する。このジョイント位置θは次に、スレーブ運動学処理ブロック1012によりカメラフレームに対するデカルトスレーブ位置信号xを生成するために使用される。
マスタ及びスレーブデカルト位置x、xは、バイラテラルコントローラ1010に入力される。このバイラテラルコントローラ1010は、外科医が外科手術を行うために望み通りにスレーブを操作できるように、スレーブによって加えられることになる所望のデカルト力fを発生させるために、これらの入力を使用する。加えて、バイラテラルコントローラ1010は、外科医にフォースフィードバックをもたらすように、マスタによって加えられることになる所望のデカルト力fを発生させるために、デカルトマスタ及びスレーブ位置x、xを使用する。
一般的に、バイラテラルコントローラ1010は、望ましい倍率及びオフセットを考慮するマスタ−ツール変換にしたがって、マスタコントローラ作業領域のマスタのデカルト位置を手術作業領域のエンドエフェクタのデカルト位置にマッピングすることによって、スレーブ及びマスタ力f、fを発生させる。倍率は、マスタコントロール入力動作と応答スレーブ出力動作との間の所望のスケール変化を特定する。オフセットは、カメラフレーム610に対するエンドエフェクタフレーム618の位置及び向きがアイフレーム612に対するマスタフレーム622の位置及び向きに合わせられるように、考慮される。
コントロールシステム100は、ディスプレイのエンドエフェクタの画像が入力装置に実質的に結び付けられているように見えるように、イメージングシステムから提供される状態変数信号に応じてマスターツール変換を導出する。これらの状態変数は一般的に、画像取得装置を支持しているスレーブマニピュレータによって提供されるのだが、画像取得装置からの視野のデカルト位置を示す。したがって、画像取得マニピュレータ及びスレーブエンドエフェクタマニピュレータの結合は、この変換を導出するのに有益である。明らかに、バイラテラルコントローラ1010は、1つより多いスレーブアームを制御するために使用されることができ、及び/又はさらなる入力を備えることができる。
一般にマッピングされた作業領域のマスタとスレーブとの間の位置の差に基づいて、バイラテラルコントローラ1010は、マスタの位置に従うようにスレーブを付勢するためにデカルトスレーブ力fを発生させる。スレーブ運動学1012は、エンドエフェクタにおいて所望の力をもたらすスレーブのジョイントトルクτを発生させるように、デカルトスレーブ力fを解釈するために使用される。スレーブ入力/出力プロセッサ1014は、スレーブモータ電流iを計算するためにこれらのジョイントトルクを使用する。このスレーブモータ電流iは、手術作業領域内でスレーブxを再位置決めする。
バイラテラルコントローラからの所望のフィードバック力は、マスタジョイントトルクτを発生させるためにマスタ運動学1008に基づいてマスタへのデカルト力fから同様に解釈される。マスタジョイントトルクは、マスタマニピュレータ1004へのマスタモータ電流imを供給するために、マスタ入力/出力コントローラ1006によって解釈される。このマスタマニピュレータ1004は外科医の手の中の携帯入力デバイスの位置xを変化させる。
図10に示されたコントロールシステム1000は単純化されたものであることが認識される。例えば、外科医は、マスタコントロール装置に対して力を加えるだけでなく、マスタ作業領域内のハンドルも動かす。同様に、外科医がマスタコントローラの位置を保持する場合、マスタマニピュレータのモータに供給されるモータ電流は、動きをもたらさない。それにもかかわらず、モータ電流は、手術環境によってスレーブに加えられる力に基づいて、外科医への触覚型力フィードバックをもたらす。加えて、デカルト座標マッピングが使用されるが、球状、円柱状、又は他のフレームの使用は、本発明の少なくとも幾つかの利点を提供し得る。
前述では、付随するマスタコントロール装置700の動きに応じてツール14のエンドエフェクタ58の動きを制御するのに使用され得るように、システムの全ての関連する寸法および角度が、マスタ−ツール変換を決定するために知られていることが仮定されている。しかし、幾つかの状況では、運動学構造の1つ又は複数の静的長さ又は角度が知られていない又は容易に決定可能でない可能性がある。
1つ又は複数のこのような長さ及び/又は角度が知られていない1つの例として、図11は、患者の共通の入口428を通って内視鏡112とともに挿入されるツール406a、406bの概略側面図を示す。ツール406a、406bは、図示されるようにそれらのエンドエフェクタ408a、408bが作業領域424で手術を実行するように位置決めされるように、対向して湾曲したカニューレ(又はより一般的にツールガイド)416a、416bを通って挿入されるとともに同カニューレ416a、416bから延びる。他方、内視鏡112は、エンドエフェクタ408a、408b及び作業領域424がその視野430内にあるように、直線カニューレ252を通って挿入されるとともに直線カニューレ252から延びる。それぞれのカニューレ416a、416b、252は、入口428のポート形部432に挿入されるとともにポート形部432によって支持される。
ツール406a、406b及び内視鏡112は、それらのそれぞれの支点(この場合遠隔運動中心とも称される)426に対するそれらの運動を駆動するそれらのそれぞれのマニピュレータ204a、204b及び242(部分的にのみ示される)に結合される。支点のそれぞれは、図示されるように略入口428にあるように位置決めされる。それぞれのツール406a、406bは、剛体の1つの部分の湾曲カニューレを収容するために曲げることができるように、可撓性シャフトを有する。異なる手術を実行するために及び/又は異なるツールを収容するために、異なる曲率及び長さを有する異なるカニューレが使用され得る。それらを使用するこのような湾曲カニューレ及びシステムのさらなる詳細は、例えば、米国特許出願第12/618,583号(2009年11月13日出願、“Curved Cannula Surgical System”と題する)で見ることができ、これは参照により本願に援用される。しかし、異なる曲率及び長さを有するカニューレは、エンドエフェクタがこのような湾曲カニューレの遠位端部から延びるので、ツールのエンドエフェクタフレームの異なる位置及び向きをもたらすことが理解されるべきである。
オペレータは、システムがツールのエンドエフェクタフレームの位置及び向きを決定するためにカニューレの既知の寸法情報を使用できるように、その時使用されている湾曲カニューレの識別をシステムに手動で提供し得るが、時々、オペレータはどのカニューレが使用されているか認識していない可能性がある。したがって、このような場合、エンドエフェクタフレームの未知の位置及び向きが、付随するマスタコントロール装置の動きに応じてツールの動きを適切に制御するために、ある方法でシステムによって決定されなければならない。
1つ又は複数のこのような長さ及び/又は角度が分かっていないもう1つの例として、図12は、エンドエフェクタが作業領域において手術を行うために使用されている間、ツール1230のエンドエフェクタの画像を取得する繋ぎ止められたカメラ1220の概略側面図を示す。コード1202が一端1204においてカメラ1220に、そして他端1203が従来の手段によって患者構造1201に取り付けられる。カメラ先端の位置及び/又は向きは、機械要素1206がカメラのテザー1205を引くことによって変えられ得る。機械要素1206の動きはスレーブマニピュレータによって作動される。この場合、機械要素1206のフレーム1210の位置及び向きは、運動学的チェーン、テザー1205及びコード1202の長さに沿ったセンサによって決定され得るが、テザー1205を引くことから生じるカメラ1220の位置及び向きの変化は外科医又はシステムに分からないかもしれない。したがって、このような場合、カメラフレーム1221の未知の位置及び向きが、付随するマスタコントロール装置の動きに応じてカメラフレーム1221に対するツールの動きを適切に制御するために、ある方法でシステムによって決定されなければならない。カメラ1220からの信号は、テザー1205内又はテザー1205と並んで配置された光ファイバケーブルを通って伝達され得る、又は代替的に、それらは無線で伝達され得る。
1つ又は複数のこのような長さ及び/又は角度が分かっていないさらにもう1つの例として、図13は、ロボット制御式ツール1314及び画像取得システム13−4を作業領域にそれぞれ位置決めするための可動構造1312、1302の概略側面図を示す。この場合、システムは、ジョイント位置センサ及びロボットアーム1303の既知の寸法を使用することによって、可動構造1302に関連付けられたフレーム1301に対する画像取得システム1304の画像基準フレームの位置及び向きを決定することができる。ジョイント位置センサ及びロボットアーム1313の既知の寸法を使用することによって、可動構造1312に関連付けられたフレーム1311に対するツールフレームの位置及び向きも決定することができる。しかし、可動構造1312、1302の間の距離及び/又は相対的な向きは分かっていない可能性がある。したがって、このような場合、可動構造1312、1302の間の又は代替的にそれらのそれぞれのフレーム1311、1301の間の距離及び/又は相対的な向きが、ツール1314の付随するマスタコントロール装置の動きに応じてカメラフレームに対するツール1314の動きを適切に制御するために、ある方法でシステムによって決定されなければならない。
本発明では、マスタ−ツール変換を決定するために未知の長さ及び/又は角度を推定するというよりむしろ、未知の長さ及び/又は角度に対応するフレームの未知の位置及び向きが、他のフレームの既知の位置及び向きから未知の位置及び向きへの変換を推定することによって、代わりに推定される。例えば、図11を参照すると、エンドエフェクタの未知の位置及び向きは、エンドエフェクタフレームのポイントをスレーブマニピュレータの対応するポイントに変換する変換
(外1)
Figure 0006026515
を推定するプロセッサ102によって決定され;図12を参照すると、カメラフレームの未知の位置及び向きは、画像フレーム1221のポイントを機械要素フレーム1210の対応するポイントに変換する変換
(外2)
Figure 0006026515
を推定するプロセッサ102によって決定され;図13を参照すると、可動構造1302、1312巻の未知の距離及び/又は相対的な向きは、可動構造フレーム1301のポイントを、この場合固定フレームであると仮定される可動構造フレーム1311の対応するポイントに変換する変換
(外3)
Figure 0006026515
を推定するプロセッサ102によって決定される。このような変換の計算、操作、及び用語の詳細については、例えば、John J. Craig, Introduction to Robotics Mechanics and Control, 2nd Edition, Addison−Wesley Publishing Company, Inc., 1989.を参照されたい。
本発明を説明するフレームワークが、画像フレーム変換(例えば、
(外4)
Figure 0006026515
)及びツール変換(例えば、
(外5)
Figure 0006026515
)の一般化された概略図を示す図4に示される。画像フレーム変換はこの場合、画像フレーム610、中間フレーム(例えば、1412、1413)、及び固定フレーム1401間のポイントを変換するため又はマッピングするために使用される。同様に、ツールフレーム変換は、ツールフレーム618、中間フレーム(例えば、1402、1403)、及び固定フレーム1401間のポイントを変換するため又はマッピングするために使用される。
図15は、例として、ロボットシステムの付随するマスタコントロール装置の動きに応じてツールの動きを制御するためのマスタ−ツール変換を推定及び周期的に更新するための方法のフロー図を示す。1501では、方法を実行するプロセッサが、図5を参照して示されるように、カート300のセットアップアーム95に関するもののようなセットアップ変換を決定する。このセットアップアーム95は、ツールが作業領域で手術を行うために入口に適切に位置決めされた後、所定の位置でロックされる。これらの変換は、手術がツールによって行われる間、この例では変化しないので、それらが処理ループの一部として連続的に更新される必要はない。
1502では、プロセッサは、内視鏡304等画像取得システムによって取得された画像の情報へのアクセスを受ける。例として、画像情報は、そこからディスプレイ204に画像情報が表示されることになるフレームバッファに記憶される。1503では、視覚測定が実行されるべきかどうかの決定が行われる。フレームバッファはディスプレイ204に表示される画像をリフレッシュするために周期的に更新されるが、視覚測定はフレームバッファが更新される度に実行される必要がないことが理解されるべきである。したがって、視覚測定は、幾つかのフレームバッファリフレッシュ時の後に周期的に実行されてもよい。
1503における決定がNOである場合、プロセッサは1502に戻る。他方、決定がYESである場合、プロセッサは、プロセッサがスレーブアーム10の検知されたジョイント及び/又はリンク位置及び既知の寸法を使用することによって、図5を参照して示されるように、カート300に結合されたスレーブアーム10に関係するもののようなスレーブマニピュレータ変換を決定する1504に進む。1504は、視覚測定が実行される度に実行されるように示されているが、スレーブマニピュレータ変換は、対応するスレーブマニピュレータが、前回そのスレーブマニピュレータ変換が決定されてから(並進的又は向きに関して)動かされた場合にのみ決定される必要があることが理解されるべきである。例えば、ツール14が作業領域において手術を実行するために使用されている間、画像取得装置304の位置及び向きが固定されて保持される場合、それが固定された位置及び向きに保持されている期間中、1度より多くそのスレーブマニピュレータ変換を決定する必要は無い。
1505では、プロセッサは、取得された画像内においてエンドエフェクタ及び/又は運動学的構造の姿勢を示すポイントを識別する。これを行うために、エンドエフェクタ及び/又は運動学的構造の位置及び向き(すなわち姿勢)に関する特徴の測定が画像から行われる。測定は、画像を取得するために使用されるカメラのタイプ(例えば、単眼又はステレオ)及び、画像の特徴又は取得された画像において識別される基準マーカのタイプに応じて異なる形態であり得る。
ステレオカメラが使用される場合、2つのカメラの固有パラメータ及びそれらの相対的な姿勢が与えられると、ポイントの深さが三角測量のプロセスによって決定され得る。顕著な特徴が、それら自体をツール、ロボットアーム、及び背景の別の部分によって生成される他の画像の特徴から分離するために必要とされる。基準マーカは、スペクトル特性(例えば、色)、形、幾何学構成、又はそれらの組合せにおいて独特である。
このようなマーカの例及びそれらの使用は、米国特許出願公開第2010/0168562号(2009年4月23日出願;“Fiducial Marker Design and Detection for Locating Surgical Instrument in Images”と題する)及び米国特許出願公開第2010/0168763号(2009年4月23日出願;“Configuration Marker Design and Detection for Instrument Tracking”と題する)に記載され、いずれも参照により本願に援用される。
単眼カメラが使用される場合、測定は本質的に2次元(2D)画像領域にある。しかし、ツール及び/又はツール上の基準マーカの確かな知識を有することは、3次元(3D)測定をそれにもかかわらず可能にすることができる。カメラの固有パラメータが与えられると、既知の幾何形状の物体の3D姿勢は、姿勢推定と呼ばれる処理によって2Dから3Dへのポイントの対応を使って復元されることができる。例えば、David A. Forsyth and Jean Ponce, Computer Vision: A Modern Approach, Prentice Hall, 2003を参照。特殊な幾何学的形状の姿勢又は部分的な姿勢(例えば、円、球、円筒及び円錐)は、それらの外形から計算され得る。例えば、Yiu C. Shiu and Hanqi Zhuang, “Pose Determination of Cylinders, Cones, and Spheres from Perspective Projections,” Applications of Artificial intelligence X: Machine Vision and Robotics, Proceedings SPIE, Vol. 1708, pp. 771−782, March 1992を参照。このような幾何学的形状は、手術器具又はツールにおいて一般的である。
画像領域の2D測定が上述の技法を用いて3Dに直接変換されることができない場合、3D姿勢はその代わりに推定され得る。この場合、3Dポイント=[の画像投影ベクトルu=[u、vが、
Figure 0006026515
によって計算され、f及びfはそれぞれ撮像装置の水平及び垂直方向の焦点距離であり、u及びvは主点である。
1506では、プロセッサは1504及び1505で決定された変換及び他の情報を使用して未知の変換を推定する。その際に、以下の変換方程式を使用し、
Figure 0006026515
ここで
(外6)
Figure 0006026515
は、画像(又はカメラ“c”)フレームからツール(又はエンドエフェクタ“e”)への変換(これは、1505において画像フレームにおけるエンドエフェクタの姿勢を示すポイントを識別した後に数学的に決定され得る)であり、
(外7)
Figure 0006026515
は、画像フレームから固定(又はワールド“w”)フレーム変換であり、
(外8)
Figure 0006026515
は、ツールフレームから固定フレーム変換の逆である。
両方の変換
(外9)
Figure 0006026515
及び
(外10)
Figure 0006026515
は、変換のチェーンを含む。例として、図14を参照すると、フレーム1401が固定フレーム(すなわち、静止フレーム)である場合、ツールフレームから固定フレームへの変換のチェーン(ここでは「ツールフレーム変換」と正される)は、その開始においてフレーム618からフレーム1403への変換、及びその最後においてフレーム1402からフレーム1401への変換を含む。また、画像フレームから固定フレームへの変換のチェーン(ここでは「画像フレーム変換」と呼ばれる)は、その開始においてフレーム610からフレーム1413への変換、及びその最後においてフレーム1412からフレーム1401への変換を含む。ツールフレーム変換の逆は次に、フレーム1401からフレーム1402への変換で開始し、フレーム1403からフレーム618への変換で終了する。
したがって、未知の変換がフレーム1403からフレーム618への変換
(外11)
Figure 0006026515
である場合、変換方程式(2)を使って以下のように決定され得る:
Figure 0006026515
Figure 0006026515
このような解法は、異なる曲率及び長さのカニューレの図11を必要に応じて参照して、エンドエフェクタの位置及び向きを推定するために使用され得る。
他方、未知の変換がフレーム1413からフレーム610への変換
(外12)
Figure 0006026515
である場合、変換方程式(2)を使って以下のように決定され得る:
Figure 0006026515
Figure 0006026515
このような解法は、繋ぎ止められたカメラの図12を必要に応じて参照して、カメラの位置及び向きを推定するために使用され得る。
さらに、未知の変換がフレーム1402から固定フレームへの変換
(外13)
Figure 0006026515
である場合、方程式(2)を使って以下のように決定され得る:
Figure 0006026515
Figure 0006026515
このような解法は、可動構造の一方のフレームが固定フレームとして選択される2つの可動構造1302、1311に関する図13を必要に応じて参照して、一方の可動構造のもう一方の可動構造に対する位置及び/又は向きを推定するために使用され得る。両構造1302、1311は可動であると仮定されるが、解法はまた、構造1302、1311の一方は、固定基準フレームを定めるために所定の位置に固定される(例えば、天井取り付け式ロボットアームを持つ)一方、構造1302、1311の他方は可動である(患者側カートにある等)ものに適用可能である。
上記例は、
(外14)
Figure 0006026515
が プロセッサが方程式(3)から(8)の計算を実行し得るように、プロセッサによって最初に決定されることを仮定している。

代替アプローチとして、ツールフレームのポイントpが以下の変換によって画像のポイントpと結び付けられ得る:
Figure 0006026515
ここでRは3×3回転行列であり、ベクトルTは3D変換ベクトルであるので:
Figure 0006026515
したがって、方程式(10)の
(外15)
Figure 0006026515
に方程式(2)の右側を代入することによって、画像フレームのポイントは、最初に
(外16)
Figure 0006026515
を決定すること無しに、ツールフレームのポイントに直接マッピングされ得る。ブロック1506を実行するためのこの代替的なアプローチを適用することの例として、方程式(10)は以下のように一般的な形に書き換えられ得る:
Figure 0006026515
今、例として、変換
(外17)
Figure 0006026515
が未知の変換であるとともにその値が時間変化しない場合、方程式(11)は以下のように書き換えられ得る:
Figure 0006026515
この形では、未知の変換
(外18)
Figure 0006026515
(及び、したがって、その逆変換
(外19)
Figure 0006026515
)はポイントのペア
(外20)
Figure 0006026515
のセットによって解かれることができ、ここでi=1...mである。ポイントのペアは、1つの瞬間から又はいくつかの瞬間から導出され得る。方程式(12)を解く方法の例としては、例えば、A. Lorusso, D.W. Eggert, and R.B. Fisher “A Comparison of Four Algorithms for Estimating 3−D Rigid Transformations,” Proceedings BMVC, 1995を参照。
変換
(外21)
Figure 0006026515
のいくつかの情報が既知である(例えば、変換の独立パラメータの数が6より少ない)場合、変換は次のように書き換えられ得る:
Figure 0006026515
ここでΘ={θ,....θ}は自由パラメータである。この場合、最も一般的な形のΘは、標準的な非線形最適化ルーチン(例えば、ガウス−ニュートン法)を使用する以下のコスト関数を最小化することによってとくことができる:
Figure 0006026515
方程式(14)が3Dポイントに適用されることに留意されたい。方程式(1)を適用できる2Dポイントに関して、未知の変換のパラメータは、以下のコスト関数を最適化することによって解かれ得る:
Figure 0006026515
ここでベクトルu’=[u’、v’]はポイントの画像座標であり、ベクトルu=[u、v]は3Dポイント=[の画像投影である。
カメラパラメータが未知である場合、パラメータは、解かれることになる未知の変換とともに推定され得る。レンズが完全ではなく歪み(例えば、半径方向、接線方向)を有する場合、レンズの歪みパラメータもまた、カメラ固有パラメータ(ここには示されない)として同様の方法で推定され得る。例えば、方程式(15)は以下のように変更され得る:
Figure 0006026515
上記例から理解され得るように、画像及びツールフレーム変換の間の1つの未知の変換を決定することは、全ての他の変換が知られているとき、直接的である。1つより多い変換からの未知のパラメータが推定される必要があるとき、パラメータは方程式(14)、(15)及び(16)と同様に最適化することによって推定され得る。
未知の変換をポイントの対応のセットによって解くことに加えて、フィルタリングが変換に適合させるために又は最適化のために使用され得る。カルマンフィルタ族からのフィルタが使用され得る。特に、拡張カルマンフィルタ及びアンセンテッドカルマンフィルタが非線形システムに使用され得る。このような使用に適用可能な反復拡張情報フィルタは、例えば、米国特許出願第12/495,304号(2009年6月30日出願;“Efficient Vision and Kinematic Data Fusion for Robotic Surgical Instruments and Other Applications”と題する)に記載され、これは本願に参照により援用される。フィルタを使用する利点は、時間的な滑らかさ及び計算効率を含む。
フィルタが使用されない場合であっても、推定されたパラメータの時間に対する時間的な平滑化は急激な変化を避けることができる。1507では、プロセッサは任意選択で、マスタ−ツールフレーム変換を更新するためにそれをすぐに適用するよりむしろ、推定された未知の変換の時間的な平滑化を実行し得る。このような平滑化は、その付随するマスタコントロール装置によるツールの制御における急激な変化を避ける。このような平滑化を行う1つの方法は、プロセッサが連続的に1502−1508を実行することによって方法をループするとき、未知の変換に関する推定値の移動平均を維持することである。
1508では、プロセッサは、推定された未知の変換のフィルタリングされたバージョンを使用してマスタ−ツール変換を更新し、マスタコントロール装置の動作に応じたツールの動作指令は更新されたマスタ−ツール変換を使用する。例えば、推定された未知の変換のフィルタリングされたバージョンを使用する修正されたツールフレームからカメラフレームへの変換が決定され得る。次に、マスタフレームからアイフレーム変換が、カメラフレーム610に対するツールフレーム618の位置及び向きがアイフレーム612に対するマスタフレーム622の位置及び向きとそろうように、修正され得る。1508を実行した後、プロセッサは、次のバージョンの測定サイクルを処理するために1502に戻る。
本発明の様々な態様が実施形態に関連して記載されているが、本発明は、添付の特許請求の範囲の全範囲内で完全な保護が与えられることが理解される。

Claims (32)

  1. マスタフレームを有するマスタコントロール装置;
    固定フレームに対する位置及び向きが1つ又は複数の画像フレーム変換を通じて決定できる画像フレームを有する画像取得システム;
    前記画像取得システムの視野内に配置されるとともに前記固定フレームに対する位置及び向きが1つ又は複数のツールフレーム変換を通じて決定できるツールフレームを有する、ツール;並びに
    少なくとも1つのプロセッサであって:
    前記画像取得システムによって取得された1つ又は複数の画像の情報から前記ツールの姿勢を示すポイントを特定すること;
    定された前記姿勢を示すポイント並びに前記画像フレーム変換及び前記ツールフレーム変換の既知のものを使用することによって前記画像フレーム変換及び前記ツールフレーム変換の未知の1つに関する第1のフレームから第2のフレームへの推定された変換を決定することであって、前記推定された変換は、対応するフレームを互いに関連付けるそれぞれの既知の前記画像フレーム変換及び前記ツールフレーム変換並びに前記ツールフレームを前記画像フレームに関連付けるポイントを示す特定された前記姿勢を用いて、前記第1のフレームと前記第2のフレームとの間のフレームの関係のチェーンから決定される、決定すること;
    前記画像フレーム変換及び前記ツールフレーム変換の前記推定された並びに前記既知のものを使用することによってマスタ−ツール変換を更新すること;及び
    前記更新されたマスタ−ツール変換を使用することによって前記マスタコントロール装置の動作に応じて前記ツールの動作を指令すること;
    を含む動作を実行するようにプログラムされた少なくとも1つのプロセッサ;を有する、
    ロボットシステム。
  2. オペレータが見ることができるディスプレイであって、アイフレームが前記オペレータの目において定められる、ディスプレイ;及び
    前記画像取得システムによって取得された画像の情報を前記ディスプレイに表示するように構成された視覚システム;をさらに有し、
    前記少なくとも1つのプロセッサは、アイ−マスタ変換を画像−ツール変換にそろえるオフセットを調整することによって、前記マスタ−ツール変換を更新し、
    前記アイ−マスタ変換は、前記マスタフレームのポイントを前記アイフレームの対応するポイントに変換し、
    前記画像−ツール変換は、前記ツールフレームのポイントを前記画像フレームの対応するポイントに変換する、
    請求項1に記載のロボットシステム。
  3. 前記画像フレーム変換及び前記ツールフレーム変換の前記未知の1つは、1つ又は複数の前記ツールフレーム変換の1つである、
    請求項1に記載のロボットシステム。
  4. 前記ツールは、ピボットポイントフレームを有するピボットポイントに対して動き、前記ツールは、エンドエフェクタフレームを有するエンドエフェクタを有し、前記未知のツールフレーム変換は、前記ピボットポイントフレームのポイントを前記エンドエフェクタフレームの対応するポイントに変換する、
    請求項3に記載のロボットシステム。
  5. 前記未知のツールフレーム変換はツールガイドを特定し、前記エンドエフェクタが前記ツールガイドの遠位端から延びるように前記ツールは前記ツールガイドを通って延び、
    定された前記ツールガイドは、エンドエフェクタ変換への異なるピボットポイントを有する幾つかの候補ツールガイドの1つである、
    請求項4に記載のロボットシステム。
  6. 前記画像フレーム変換及び前記ツールフレーム変換の前記未知の1つは、1つ又は複数の前記画像フレーム変換の1つである、
    請求項1に記載のロボットシステム。
  7. 前記画像取得システムは、機械要素フレームを有する機械要素に繋ぎ止められ、
    前記未知の画像フレーム変換は、前記機械要素フレームのポイントを前記画像フレームの対応するポイントに変換する、
    請求項6に記載のロボットシステム。
  8. 前記画像取得システムに結合された第1のロボットアームを有する第1の構造であって、第1の構造フレームを有する、第1の構造;及び
    前記ツールに結合された第2のロボットアームを有する第2の構造であって、第2の構造フレームを有する、第2の構造;をさらに有し、
    前記第1及び第2の構造フレームの一方は前記固定フレームであり、前記画像フレーム変換及び前記ツールフレーム変換の前記未知の1つは、前記第1及び第2の構造フレームの他方のポイントを前記固定フレームの対応するポイントに変換する変換である、
    請求項1に記載のロボットシステム。
  9. 前記第1及び前記第2の構造フレームの他方に対応する前記第1又は第2の構造は、可動構造である、
    請求項8に記載のロボットシステム。
  10. 前記固定フレームに対応する前記第1又は第2の構造は、可動構造である、
    請求項8に記載のロボットシステム。
  11. 1つ又は複数の前記画像フレーム変換の前記既知のものは、前記画像取得システムに延びる運動学的チェーンに沿って配置された1つ又は複数のセンサを使用して決定される、
    請求項1に記載のロボットシステム。
  12. 1つ又は複数の前記画像フレーム変換の前記既知のものは、三角法を前記画像取得システムに機械的に結合された1つ又は複数の構造の既知の寸法に適用することによって決定される、
    請求項1に記載のロボットシステム。
  13. 1つ又は複数の前記ツールフレーム変換の前記既知のものは、前記ツールに延びる運動学的チェーンに沿って配置された1つ又は複数のセンサを使用して決定される、
    請求項1に記載のロボットシステム。
  14. 1つ又は複数の前記ツールフレーム変換の前記既知のものは、三角法を前記ツールに機械的に結合された1つ又は複数の構造の既知の寸法に適用することによって決定される、
    請求項1に記載のロボットシステム。
  15. 前記少なくとも1つのプロセッサは、前記画像フレーム変換及び前記ツールフレーム変換の前記未知の一方の前記推定された変換を平滑化し、平滑化された前記推定された変換を使用して前記マスタ−ツール変換を更新する、
    請求項1に記載のロボットシステム。
  16. 前記少なくとも1つのプロセッサは、前記画像フレームに対する前記ツールフレームの前記位置及び向きの以前の推定を周期的に更新することによって、前記画像フレームに対する前記ツールフレームの前記位置及び向きを推定するように、前記画像フレーム変換及び前記ツールフレーム変換の前記未知の1つに関する前記推定された変換の以前の決定を更新することによって、前記画像フレーム変換及び前記ツールフレーム変換の前記未知の1つに関する前記推定された変換を決定するように、及び前記画像フレーム変換及び前記ツールフレーム変換の前記未知の1つに関する現在及び以前の前記推定された変換を平均することによって、前記画像フレーム変換及び前記ツールフレーム変換の前記未知の1つに関する前記推定された変換を平滑化するように、プログラムされる、
    請求項15に記載のロボットシステム。
  17. マスタフレームを有するマスタコントロール装置、固定フレームに対する位置及び向きが1つ又は複数の画像フレーム変換を通じて決定できる画像フレームを有する画像取得システム、前記画像取得システムの視野内に配置されるとともに前記固定フレームに対する位置及び向きが1つ又は複数のツールフレーム変換を通じて決定できるツールフレームを有するツール、を有するロボットシステムに実装される方法であって:
    前記画像取得システムによって取得された1つ又は複数の画像の情報から前記ツールの姿勢を示すポイントを特定するステップ;
    定された前記姿勢を示すポイント並びに前記画像フレーム変換及び前記ツールフレーム変換の既知のものを使用することによって前記画像フレーム変換及び前記ツールフレーム変換の未知の1つに関する第1のフレームから第2のフレームへの推定された変換を決定するステップであって、前記推定された変換は、対応するフレームを互いに関連付けるそれぞれの既知の前記画像フレーム変換及び前記ツールフレーム変換並びに前記ツールフレームを前記画像フレームに関連付けるポイントを示す特定された前記姿勢を用いて、前記第1のフレームと前記第2のフレームとの間のフレームの関係のチェーンから決定される、ステップ
    前記画像フレーム変換及び前記ツールフレーム変換の前記推定された並びに前記既知のものを使用することによって、マスタ−ツール変換を更新するステップ;及び
    前記更新されたマスタ−ツール変換を使用することによって前記マスタコントロール装置の動作に応じて前記ツールの動作を指令するステップ;を有する
    方法。
  18. 前記ロボットシステムは、オペレータが見ることができるディスプレイであって、アイフレームが前記オペレータの目において定められる、ディスプレイ、及び前記画像取得システムによって取得された画像の情報を前記ディスプレイに表示するように構成された視覚システム、をさらに有し、
    前記マスタ−ツール変換の前記更新するステップは:
    アイ−マスタ変換を画像−ツール変換にそろえるオフセットを調整するステップを有し、
    前記アイ−マスタ変換は、前記マスタフレームのポイントを前記アイフレームの対応するポイントに変換し、
    前記画像−ツール変換は、前記ツールフレームのポイントを前記画像フレームの対応するポイントに変換する、
    請求項17に記載の方法。
  19. 前記画像フレーム変換及び前記ツールフレーム変換の前記未知の1つは、1つ又は複数の前記ツールフレーム変換の1つである、
    請求項17に記載の方法。
  20. 前記ツールは、ピボットポイントフレームを有するピボットポイントに対して動き、前記ツールは、エンドエフェクタフレームを有するエンドエフェクタを有し、前記未知のツールフレーム変換は、前記ピボットポイントフレームのポイントを前記エンドエフェクタフレームの対応するポイントに変換する、
    請求項19に記載の方法。
  21. 前記未知のツールフレーム変換はツールガイドを特定し、前記エンドエフェクタが前記ツールガイドの遠位端から延びるように前記ツールは前記ツールガイドを通って延び、
    定された前記ツールガイドは、エンドエフェクタ変換への異なるピボットポイントを有する幾つかの候補ツールガイドの1つである、
    請求項20に記載の方法。
  22. 前記画像フレーム変換及び前記ツールフレーム変換の前記未知の1つは、1つ又は複数の前記画像フレーム変換の1つである、
    請求項17に記載の方法。
  23. 前記画像取得システムは、機械要素フレームを有する機械要素に繋ぎ止められ、
    前記未知の画像フレーム変換は、前記機械要素フレームのポイントを前記画像フレームの対応するポイントに変換する、
    請求項22に記載の方法。
  24. 前記ロボットシステムは、前記画像取得システムに結合された第1のロボットアームを有する第1の構造であって、第1の構造フレームを有する、第1の構造、及び前記ツールに結合された第2のロボットアームを有する第2の構造であって、第2の構造フレームを有する、第2の構造、をさらに有し;
    前記第1及び第2の構造フレームの一方は前記固定フレームであり、前記画像フレーム変換及び前記ツールフレーム変換の前記未知の1つは、前記第1及び第2の構造フレームの他方のポイントを前記固定フレームの対応するポイントに変換する変換である、
    請求項17に記載の方法。
  25. 前記第1及び前記第2の構造フレームの他方に対応する前記第1又は第2の構造は、可動構造である、
    請求項24に記載の方法。
  26. 前記固定フレームに対応する前記第1又は第2の構造は、可動構造である、
    請求項24に記載の方法。
  27. 前記画像取得システムに延びる運動学的チェーンに沿って配置された1つ又は複数のセンサを使用して1つ又は複数の前記画像フレーム変換の前記既知のものを決定するステップをさらに含む、
    請求項17に記載の方法。
  28. 三角法を前記画像取得システムに機械的に結合された1つ又は複数の構造の既知の寸法に適用することによって、1つ又は複数の前記画像フレーム変換の前記既知のものを決定するステップをさらに有する、
    請求項17に記載の方法。
  29. 前記ツールに延びる運動学的チェーンに沿って配置された1つ又は複数のセンサを使用することによって、1つ又は複数の前記ツールフレーム変換の前記既知のものを決定するステップをさらに有する、
    請求項17に記載の方法。
  30. 三角法を前記ツールに機械的に結合された1つ又は複数の構造の既知の寸法に適用することによって、1つ又は複数の前記ツールフレーム変換の前記既知のものを決定するステップをさらに有する、
    請求項17に記載の方法。
  31. 前記画像フレーム変換及び前記ツールフレーム変換の前記未知の一方の前記推定された変換を平滑化するステップをさらに有し、
    前記マスタ−ツール変換の前記更新するステップは、平滑化された前記推定された変換を使用する、
    請求項17に記載の方法。
  32. 前記画像フレームに対する前記ツールフレームの前記位置及び向きの前記推定するステップは、前記画像フレームに対する前記ツールフレームの前記位置及び向きの以前の推定を周期的に更新するステップを有し;
    前記画像フレーム変換及び前記ツールフレーム変換の前記未知の1つに関する前記推定された変換の前記決定するステップは、前記画像フレーム変換及び前記ツールフレーム変換の前記未知の1つに関する前記推定された変換の以前の決定を更新するステップを有し;及び
    前記画像フレーム変換及び前記ツールフレーム変換の前記未知の1つに関する前記推定された変換の前記平滑化するステップは、前記画像フレーム変換及び前記ツールフレーム変換の前記未知の1つに関する現在及び以前の前記推定された変換を平均するステップを有する、
    請求項31に記載の方法。
JP2014510464A 2011-05-13 2012-05-10 ツールの動作を制御するのに使用されるフレームの位置及び向きの推定 Active JP6026515B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201161485706P 2011-05-13 2011-05-13
US61/485,706 2011-05-13
US13/360,380 2012-01-27
US13/360,380 US9259289B2 (en) 2011-05-13 2012-01-27 Estimation of a position and orientation of a frame used in controlling movement of a tool
PCT/US2012/037310 WO2012158458A2 (en) 2011-05-13 2012-05-10 Estimation of a position and orientation of a frame used in controlling movement of a tool

Publications (2)

Publication Number Publication Date
JP2014518775A JP2014518775A (ja) 2014-08-07
JP6026515B2 true JP6026515B2 (ja) 2016-11-16

Family

ID=47142423

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014510464A Active JP6026515B2 (ja) 2011-05-13 2012-05-10 ツールの動作を制御するのに使用されるフレームの位置及び向きの推定

Country Status (6)

Country Link
US (6) US9259289B2 (ja)
EP (2) EP2706947B1 (ja)
JP (1) JP6026515B2 (ja)
KR (2) KR101957302B1 (ja)
CN (1) CN103533909B (ja)
WO (1) WO2012158458A2 (ja)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9504527B2 (en) 1999-09-17 2016-11-29 Intuitive Surgical Operations, Inc. Inter-operative switching of tools in a robotic surgical system
CA2816089A1 (en) 2010-10-29 2012-05-03 Richard H. Feins Modular staged reality simulator
US9805625B2 (en) 2010-10-29 2017-10-31 KindHeart, Inc. Surgical simulation assembly
US9259289B2 (en) 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Estimation of a position and orientation of a frame used in controlling movement of a tool
JP5941762B2 (ja) * 2012-06-14 2016-06-29 オリンパス株式会社 マニピュレータシステム
KR102218244B1 (ko) 2012-12-10 2021-02-22 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 영상 포착 장치 및 조작 가능 장치 가동 아암들의 제어된 이동 중의 충돌 회피
DE102012025100A1 (de) * 2012-12-20 2014-06-26 avateramedical GmBH Entkoppeltes Mehrkamerasystem für die minimal-invasive Chirurgie
US11747895B2 (en) * 2013-03-15 2023-09-05 Intuitive Surgical Operations, Inc. Robotic system providing user selectable actions associated with gaze tracking
KR102115447B1 (ko) * 2013-03-27 2020-05-27 한양대학교 에리카산학협력단 내시경 장치
KR20140121581A (ko) * 2013-04-08 2014-10-16 삼성전자주식회사 수술 로봇 시스템
US9424378B2 (en) * 2014-02-03 2016-08-23 Siemens Product Lifecycle Management Software Inc. Simulation using coupling constraints
US10285764B2 (en) * 2014-02-20 2019-05-14 Intuitive Surgical Operations, Inc. Limited movement of a surgical mounting platform controlled by manual motion of robotic arms
CN106456266B (zh) 2014-03-17 2019-10-25 直观外科手术操作公司 用于远程操作医疗装置的引导设置
JP6660302B2 (ja) 2014-03-17 2020-03-11 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 基準目標に合わせるシステム及び方法
KR102332119B1 (ko) 2014-03-17 2021-11-29 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 원격 조종 의료 시스템에서 미리 설정된 암 위치를 가지는 자동화된 구조
DE102014007909A1 (de) 2014-05-27 2015-12-03 Carl Zeiss Meditec Ag Chirurgisches Mikroskop
JP6692301B2 (ja) * 2014-07-15 2020-05-13 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. 低侵襲手術用の再構成可能なロボットアーキテクチャ
USD779678S1 (en) 2014-07-24 2017-02-21 KindHeart, Inc. Surgical tray
CN110236853B (zh) 2014-10-27 2021-06-04 直观外科手术操作公司 用于配准到手术台的系统及方法
KR20230129615A (ko) * 2014-10-27 2023-09-08 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 기기 교란 보상을 위한 시스템 및 방법
JP6676061B2 (ja) * 2014-10-27 2020-04-08 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 統合された手術台運動のためのシステム及び方法
JP6689256B2 (ja) 2014-10-27 2020-04-28 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 反応動作中に制御点を監視するためのシステム及び方法
CN110478036B (zh) 2014-10-27 2022-05-17 直观外科手术操作公司 用于集成手术台的系统和方法
US10433922B2 (en) 2015-03-17 2019-10-08 Intuitive Surgical Operations, Inc. Systems and methods for rendering onscreen identification of instruments in a teleoperational medical system
US20160314711A1 (en) 2015-04-27 2016-10-27 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station and remote surgeon station with display of actual animal tissue images and associated methods
JP2016221166A (ja) * 2015-06-03 2016-12-28 株式会社デンソー 医療行為支援システム
KR20230042405A (ko) * 2015-06-10 2023-03-28 인튜어티브 서지컬 오퍼레이션즈 인코포레이티드 오정렬되었을 때의 마스터 대 슬레이브 배향 매핑
CN105127997B (zh) * 2015-08-10 2017-04-05 深圳百思拓威机器人技术有限公司 药剂师智能机器人系统及其控制方法
JP6407826B2 (ja) * 2015-09-03 2018-10-17 ファナック株式会社 座標系設定方法、座標系設定装置、及び座標系設定装置を備えたロボットシステム
USD773686S1 (en) 2015-09-16 2016-12-06 KindHeart, Inc. Surgical tray
WO2017048922A1 (en) 2015-09-16 2017-03-23 KindHeart, Inc. Surgical simulation system and associated methods
TWI576649B (zh) * 2015-12-09 2017-04-01 榮光 譚 手術用影像擷取裝置及其影像擷取方法
CN105411681B (zh) * 2015-12-22 2018-07-03 哈尔滨工业大学 分体式微创手术机器人的手眼协调控制系统及方法
CN105395254B (zh) * 2015-12-22 2018-03-30 哈尔滨工业大学 一种分体式微创手术机器人的控制系统
WO2017114855A1 (en) * 2015-12-29 2017-07-06 Koninklijke Philips N.V. System, control unit and method for control of a surgical robot
WO2017189317A1 (en) 2016-04-26 2017-11-02 KindHeart, Inc. Telerobotic surgery system for remote surgeon training using robotic surgery station and remote surgeon station and an animating device
JP6520831B2 (ja) * 2016-06-07 2019-05-29 オムロン株式会社 表示制御装置、表示制御システム、表示制御方法、表示制御プログラム、記録媒体
EP3484401A4 (en) * 2016-07-14 2020-03-18 Intuitive Surgical Operations Inc. SYSTEMS AND METHODS FOR CONTROLLING A SURGICAL INSTRUMENT
EP3484402A4 (en) * 2016-07-14 2020-03-25 Intuitive Surgical Operations Inc. SECONDARY INSTRUMENT CONTROL IN A COMPUTER-BASED TELE-OPERATED SYSTEM
DE102016217792A1 (de) * 2016-09-16 2018-03-22 Xion Gmbh Justiersystem
CN110168564B (zh) 2016-11-16 2023-09-05 温克机器人技术公司 评估睫毛的方法和设备
US10244926B2 (en) 2016-12-28 2019-04-02 Auris Health, Inc. Detecting endolumenal buckling of flexible instruments
CN108261167B (zh) * 2017-01-03 2019-12-03 上银科技股份有限公司 内视镜操控系统
US10813710B2 (en) 2017-03-02 2020-10-27 KindHeart, Inc. Telerobotic surgery system using minimally invasive surgical tool with variable force scaling and feedback and relayed communications between remote surgeon and surgery station
JP6445604B2 (ja) * 2017-03-07 2018-12-26 上銀科技股▲フン▼有限公司 ロボットアーム
JP2020512116A (ja) 2017-03-31 2020-04-23 コーニンクレッカ フィリップス エヌ ヴェKoninklijke Philips N.V. マーカーレスロボット追跡システム、制御装置、及び方法
CN106945072B (zh) * 2017-04-21 2023-07-04 哈尔滨思哲睿智能医疗设备股份有限公司 一种医用机器人主从响应测试系统
US10806532B2 (en) 2017-05-24 2020-10-20 KindHeart, Inc. Surgical simulation system using force sensing and optical tracking and robotic surgery system
CN111655115B (zh) 2017-09-14 2023-10-13 维卡瑞斯外科手术股份有限公司 虚拟现实外科手术摄像机系统
EP3709927A4 (en) 2017-11-16 2020-12-23 Intuitive Surgical Operations Inc. MASTER / SLAVE REGISTRATION AND CONTROL FOR REMOTE OPERATION
CN110709024A (zh) * 2017-11-21 2020-01-17 直观外科手术操作公司 用于直观运动的主/工具配准和控制的系统和方法
EP3684562A4 (en) * 2017-12-14 2021-06-30 Auris Health, Inc. SYSTEM AND METHOD OF ESTIMATING THE LOCATION OF AN INSTRUMENT
EP3797931B1 (en) * 2018-05-21 2023-08-02 Telexistence Inc. Remote control system, information processing method, and program
CN110623747B (zh) * 2018-06-22 2021-07-09 深圳市精锋医疗科技有限公司 连接机构、动力机构、操作臂及从操作设备
CN109159115B (zh) * 2018-08-17 2020-11-13 哈尔滨工业大学 一种面向科普的触觉通信装置
WO2020056362A1 (en) 2018-09-13 2020-03-19 The Charles Stark Draper Laboratory, Inc. Food-safe, washable interface for exchanging tools
US20210268659A1 (en) * 2018-09-25 2021-09-02 Visual Robotics Systems Inc. Spatially-Aware Camera and Method Thereof
EP3870409A1 (en) * 2018-10-22 2021-09-01 Intuitive Surgical Operations, Inc. Systems and methods for master/tool registration and control for intuitive motion
EP3870412B1 (en) * 2018-10-25 2023-12-13 Wink Robotics Detachable end effectors for cosmetics robotics
US10926416B2 (en) * 2018-11-21 2021-02-23 Ford Global Technologies, Llc Robotic manipulation using an independently actuated vision system, an adversarial control scheme, and a multi-tasking deep learning architecture
EP3920821A4 (en) * 2019-02-06 2023-01-11 Covidien LP HAND-EYE COORDINATION SYSTEMS FOR SURGICAL ROBOTIC SYSTEM
WO2023052998A1 (en) * 2021-09-30 2023-04-06 Covidien Lp Setting remote center of motion in surgical robotic system
US20230181263A1 (en) * 2021-12-13 2023-06-15 Genesis Medtech (USA) Inc. Dynamic 3d scanning robotic laparoscope
CN117695016A (zh) * 2022-08-24 2024-03-15 上海微创医疗机器人(集团)股份有限公司 机械臂的匹配方法、医生控制台和计算机可读存储介质

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2664205B2 (ja) 1988-06-10 1997-10-15 株式会社日立製作所 マニピュレータ制御システム
US5631973A (en) 1994-05-05 1997-05-20 Sri International Method for telemanipulation with telepresence
CA2632123C (en) * 1992-01-21 2010-03-23 Sri International Teleoperator system and method with telepresence
JP3394322B2 (ja) * 1994-05-19 2003-04-07 ファナック株式会社 視覚センサを用いた座標系設定方法
JP3402021B2 (ja) * 1995-11-07 2003-04-28 株式会社明電舎 ロボット装置の相対位置姿勢検出方法
US5792135A (en) 1996-05-20 1998-08-11 Intuitive Surgical, Inc. Articulated surgical instrument for performing minimally invasive surgery with enhanced dexterity and sensitivity
JP4020994B2 (ja) * 1996-09-24 2007-12-12 ファナック株式会社 ロボットのツール座標系補正設定方法並びに該方法に使用するエンドエフェクタ
JPH1197311A (ja) 1997-09-22 1999-04-09 Isuzu Advanced Engineering Center Ltd 電気二重層コンデンサ、電極及びその製造方法
JPH1190868A (ja) * 1997-09-24 1999-04-06 Toyoda Mach Works Ltd ロボット制御装置
US6493608B1 (en) * 1999-04-07 2002-12-10 Intuitive Surgical, Inc. Aspects of a control system of a minimally invasive surgical apparatus
US6799065B1 (en) 1998-12-08 2004-09-28 Intuitive Surgical, Inc. Image shifting apparatus and method for a telerobotic system
US6394998B1 (en) 1999-01-22 2002-05-28 Intuitive Surgical, Inc. Surgical tools for use in minimally invasive telesurgical applications
US6424885B1 (en) 1999-04-07 2002-07-23 Intuitive Surgical, Inc. Camera referenced control in a minimally invasive surgical apparatus
DE19961578A1 (de) 1999-12-21 2001-06-28 Bosch Gmbh Robert Sensor mit zumindest einer mikromechanischen Struktur und Verfahren zur Herstellung
US6817974B2 (en) 2001-06-29 2004-11-16 Intuitive Surgical, Inc. Surgical tool having positively positionable tendon-actuated multi-disk wrist joint
US8108072B2 (en) 2007-09-30 2012-01-31 Intuitive Surgical Operations, Inc. Methods and systems for robotic instrument tool tracking with adaptive fusion of kinematics information and image information
US8971597B2 (en) 2005-05-16 2015-03-03 Intuitive Surgical Operations, Inc. Efficient vision and kinematic data fusion for robotic surgical instruments and other applications
US10555775B2 (en) 2005-05-16 2020-02-11 Intuitive Surgical Operations, Inc. Methods and system for performing 3-D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery
US9867669B2 (en) 2008-12-31 2018-01-16 Intuitive Surgical Operations, Inc. Configuration marker design and detection for instrument tracking
US9526587B2 (en) 2008-12-31 2016-12-27 Intuitive Surgical Operations, Inc. Fiducial marker design and detection for locating surgical instrument in images
US8419717B2 (en) * 2006-06-13 2013-04-16 Intuitive Surgical Operations, Inc. Control system configured to compensate for non-ideal actuator-to-joint linkage characteristics in a medical robotic system
US7957583B2 (en) 2007-08-02 2011-06-07 Roboticvisiontech Llc System and method of three-dimensional pose estimation
US8000890B2 (en) * 2007-11-30 2011-08-16 General Electric Company Image-guided navigation employing navigated point computation method and system
US8864652B2 (en) 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
WO2010048164A2 (en) 2008-10-20 2010-04-29 University Of South Florida N,n'-di-p-bromophenyl guanidine treatment for stroke at delayed timepoints
CN102238916B (zh) * 2008-10-20 2013-12-04 约翰霍普金斯大学 环境特性估计和图形显示
IT1395018B1 (it) 2009-07-22 2012-09-05 Surgica Robotica S R L Apparecchiatura per procedure chirurgiche minimamente invasive
US8888789B2 (en) * 2009-09-23 2014-11-18 Intuitive Surgical Operations, Inc. Curved cannula surgical system control
US8183520B2 (en) * 2009-11-13 2012-05-22 Intuitive Surgical Operations, Inc. Optical fiber shape sensor calibration
JP5704833B2 (ja) * 2010-05-10 2015-04-22 オリンパス株式会社 操作入力装置およびマニピュレータシステム
US9259289B2 (en) 2011-05-13 2016-02-16 Intuitive Surgical Operations, Inc. Estimation of a position and orientation of a frame used in controlling movement of a tool
US10772703B2 (en) * 2017-08-25 2020-09-15 Titan Medical Inc. Methods and apparatuses for positioning a camera of a surgical robotic system to capture images inside a body cavity of a patient during a medical procedure

Also Published As

Publication number Publication date
JP2014518775A (ja) 2014-08-07
WO2012158458A2 (en) 2012-11-22
US20220175475A1 (en) 2022-06-09
CN103533909A (zh) 2014-01-22
US20180014895A1 (en) 2018-01-18
US20120290134A1 (en) 2012-11-15
US20240016556A1 (en) 2024-01-18
WO2012158458A3 (en) 2013-01-10
US11284952B2 (en) 2022-03-29
US20160206387A1 (en) 2016-07-21
EP2706947A4 (en) 2015-03-04
CN103533909B (zh) 2016-08-17
EP2706947A2 (en) 2014-03-19
KR20180098414A (ko) 2018-09-03
US9259289B2 (en) 2016-02-16
US20200170725A1 (en) 2020-06-04
US9827057B2 (en) 2017-11-28
US10582974B2 (en) 2020-03-10
KR101957302B1 (ko) 2019-03-12
EP3398550A1 (en) 2018-11-07
KR101891162B1 (ko) 2018-08-24
KR20140022907A (ko) 2014-02-25
EP2706947B1 (en) 2018-07-04
EP3398550B1 (en) 2022-11-02
US11801100B2 (en) 2023-10-31

Similar Documents

Publication Publication Date Title
JP6026515B2 (ja) ツールの動作を制御するのに使用されるフレームの位置及び向きの推定
CN111315309B (zh) 用于控制机器人操纵器或相关工具的系统和方法
US8892224B2 (en) Method for graphically providing continuous change of state directions to a user of a medical robotic system
US8335590B2 (en) System and method for adjusting an image capturing device attribute using an unused degree-of-freedom of a master control device
US11672616B2 (en) Secondary instrument control in a computer-assisted teleoperated system
WO2019103954A1 (en) Systems and methods for master/tool registration and control for intuitive motion
US20220401178A1 (en) Robotic surgical navigation using a proprioceptive digital surgical stereoscopic camera system
US20230270510A1 (en) Secondary instrument control in a computer-assisted teleoperated system
CN113440263B (zh) 计算机辅助式远程操作系统中的次级器械控制

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150501

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20151225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160105

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160404

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160531

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160920

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161012

R150 Certificate of patent or registration of utility model

Ref document number: 6026515

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250