JP6787623B2 - 非常に器用なシステムのユーザインタフェース - Google Patents

非常に器用なシステムのユーザインタフェース Download PDF

Info

Publication number
JP6787623B2
JP6787623B2 JP2017544633A JP2017544633A JP6787623B2 JP 6787623 B2 JP6787623 B2 JP 6787623B2 JP 2017544633 A JP2017544633 A JP 2017544633A JP 2017544633 A JP2017544633 A JP 2017544633A JP 6787623 B2 JP6787623 B2 JP 6787623B2
Authority
JP
Japan
Prior art keywords
uid
robot tool
operator
coordinate frame
motion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017544633A
Other languages
English (en)
Other versions
JP2018513711A (ja
Inventor
パブロ エデュアルド ガルシア キルロイ
パブロ エデュアルド ガルシア キルロイ
スンコク ユン
スンコク ユン
カレン シェイクスピア ケーニッヒ
カレン シェイクスピア ケーニッヒ
ジョアン サヴァル
ジョアン サヴァル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SRI International Inc
Original Assignee
SRI International Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SRI International Inc filed Critical SRI International Inc
Publication of JP2018513711A publication Critical patent/JP2018513711A/ja
Application granted granted Critical
Publication of JP6787623B2 publication Critical patent/JP6787623B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017Gesture based interaction, e.g. based on a set of recognized hand gestures
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017Electrical control of surgical instruments
    • A61B2017/00207Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • A61B2034/741Glove like input devices, e.g. "data gloves"
    • GPHYSICS
    • G05CONTROLLING; REGULATING
    • G05BCONTROL OR REGULATING SYSTEMS IN GENERAL; FUNCTIONAL ELEMENTS OF SUCH SYSTEMS; MONITORING OR TESTING ARRANGEMENTS FOR SUCH SYSTEMS OR ELEMENTS
    • G05B19/00Programme-control systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)
  • User Interface Of Digital Computer (AREA)

Description

優先権及び参照による組み込み
本願は、その全体が参照により本明細書に組み込まれ、本明細書の一部として考慮されるべきである、2015年2月24日に出願された米国仮出願第62/120,128号の米国特許法第119条(e)に基づく優先権及び利益を主張する。
本願は、一般に、外科手術を行うため等の非常に器用なロボットシステムに関する。
先行技術の記載
外科手術におけるロボットの使用は、ますます一般的になってきている。かかるロボットシステムでは、典型的に、外科医等の操作者が、マスタ制御と呼ばれる制御を操作する。マスタ制御の動作は、次に、1つ以上の外科手術用ツールまたは器具を制御するために使用され得るスレーブシステム上に再現される。したがって、外科医は、マスタ制御を操作することによって患者に対して外科手術を行う場合があり、スレーブ制御で外科手術用ツールによって実行される対応する動作を生じ得る。
本明細書に開示されたシステム及び方法の実施形態は、非接地型ユーザ入力装置(UID)を用いた非常に器用なロボットシステムを開示している。外科手術を行う外科医等の操作者は、スレーブシステムのロボットツールによって実行される対応する動作を生じするために、マスタ制御を操作する。マスタ制御は非接地型UIDを使用しているため、操作者は、任意の好適な位置から自由空間内でマスタ制御を操作し得る。しかしながら、操作者の動作がユーザコンソールによって制約または配向されないため、ユーザの目の枠に対する非接地型UIDの配向が、スレーブシステムのライブビデオ画像でユーザに表示されるようなカメラ枠に対するロボットツールと位置ずれしている場合がある。ライブビデオ画像は、スレーブシステムと関連する任意の配向及び位置にあり得る。したがって、ユーザの目の枠に対するUID枠及びカメラ枠に対するロボットツールの枠に合致する必要があり得る。
いくつかの実施形態では、非常に器用なシステムは、2つが位置ずれしているときであっても、スレーブ制御がマスタ制御に従うことを可能にする。例えば、少なくとも1つの実施形態では、非接地型ユーザインタフェース装置のロール運動のみが伝達される。いくつかの実施形態では、マスタ及びスレーブが互いの一定の領域内にあるときに、マスタスレーブ制御が可能になるのみである。
いくつかの実施形態では、複数の自由度で生じるマスタ制御の運動が、その構成要素部分へと分離され、かつ別様に処理される。次に、各自由度が、独立して処理され、かつ別様に拡大縮小され得る。いくつかの実施形態では、異方性の拡大縮小が実行される場合があり、非接地型ユーザインタフェース装置の運動は、それが制御するユーザインタフェース装置及びロボットツールの状態に応じて、別様に拡大縮小される。
いくつかの実施形態では、非常に器用なシステムが、ロボットシステムを制御するために操作者が着座することを強いられるコンソールを必ずしも有していない場合があるため、作業空間の中心が画定される。作業空間の中心は、操作者が自身を配向するために特定し、かつ戻ることができる空間内の領域であり得る。この作業空間の中心を用いると、ヒト操作者の自然な動作をロボットツールの特定の動作へと変換する自然な座標系が画定される。自然な座標系は、目または目の角度、手、胴体、及び/または同様のもの等、操作者の1つ以上の体部を含む、操作者の体に対して画定され得る。
一実施形態では、システムが開示されている。本システムは、第1のロボットツールと、操作者によって使用され、かつ第1の座標系を用いて第1のロボットツールを制御するように構成された第1の非接地型ユーザインタフェース装置(UID)とを含み、本制御は、第1のUIDの第1のUID運動を特定することと、第1のUIDの特定された第1のUID運動に少なくとも部分的に基づいて第1のロボットツールの第1のロボットツール動作を実行することと、を含む。本システムは、第2のロボットツールと、操作者によって使用され、かつ第1の座標系から独立した第2の座標系を用いて第2のロボットツールを制御するように構成された第2の非接地型ユーザインタフェース装置(UID)とをさらに含む場合があり、本制御は、第2のUIDの第2のUID運動を特定することと、第2のUIDの特定された第2のUID運動に少なくとも部分的に基づいて第2のロボットツールの第2のロボットツール動作を実行することと、を含む。
いくつかの実施形態では、本システムは、下記のうちの1つ以上を含み得る。第1のロボットツールは、把持具、外科手術用ツール、またはカメラのうちの少なくとも1つを備え得る。第1のUIDは、操作者の第1の手によって制御されるようにさらに構成され得、第2のUIDは、操作者の第2の手によって制御されるようにさらに構成される。第1のツールの制御は、ドライブが係合されたことを判定することと、ドライブが係合されたことの判定に応答して、第1の手と関連する操作者の第1の前腕上のある位置を確定することと、をさらに含み得、第1のUIDのUID運動が、第1の前腕上の位置に関連して測定される。第1のロボットツールの制御は、第1の座標枠に対する第1のUIDの配向を第2の座標枠に対する第1のロボットツールの配向と比較することをさらに含み得、第1の座標枠に対する第1のUIDの配向が第2の座標枠に対する第1のロボットツールに対して一定の領域内にある場合に、第1のUIDが第1のロボットツールを制御する。第1の座標枠は、操作者と関連する自然な座標枠に対応し得、第2の座標枠は、第1のロボットツールと関連するカメラ枠に対応している。本領域は、第1のロボットツールの周りに円錐体を含む場合があり、円錐体は、第1のロボットツールの端に対応する頂点を含む。第1のロボットツールの第1のロボットツール動作の速度は、第1のロボットツールに対する第1のUIDの配向間の計算された差に少なくとも部分的に基づいて調節され得る。第1のロボットツールは、複数の異なる領域と関連する複数の制御方式と関連し得、第1のロボットツールを制御するために第1のUIDによって使用される複数の制御方式のうちの1つは、第2の座標枠に対する第1のロボットツールの配向と関連する第1の座標枠に対する第1のUIDの配向に少なくとも部分的に基づいている。
別の実施形態では、システムが開示されている。本システムは、第1のロボットツールと、第1の座標系を用いて第1のロボットツールを制御するように構成された第1の非接地型ユーザインタフェース装置(UID)とを含み得、本制御は、第1のUIDの第1のUID運動を特定することと、少なくとも第1の構成要素及び第2の構成要素を含む2つ以上の構成要素へと第1のUID運動を切り離すことと、2つ以上の構成要素に対して第1の変換を実行することであって、第1の構成要素及び第2の構成要素が別様に変換される、実行することと、第1の変換に少なくとも部分的に基づいてロボットツールの第1のロボットツール動作を実行することと、を含む。
いくつかの実施形態では、本システムは、下記のうちの1つ以上を含み得る。2つ以上の構成要素は、少なくともロール構成要素と、ピッチ構成要素と、ヨー構成要素とを含み得、第1の変換は、第1のロボットツールの実行された第1のロボットツール動作へとロール構成要素を変換することを含むが、特定された第1のUID運動が確定された基準を満たすとの判定に応答して、ピッチ構成要素またはヨー構成要素を含まない。2つ以上の構成要素は、少なくともロール構成要素と、ピッチ構成要素と、ヨー構成要素とを含み得、第1の変換は、ヨー構成要素及びピッチ構成要素に対して中間変換を実行することであって、中間変換が、修正されたヨー構成要素、修正されたピッチ構成要素、及び中間ロール構成要素を生成する、実行することと、修正されたロール構成要素を判定することであって、修正されたロール構成要素が、ロール構成要素及び中間変換から得られた中間ロール構成要素の合計に少なくとも部分的に基づいている、判定することと、を含み、第1のロボットツールの前記第1のロボットツール動作は、修正されたロール構成要素、修正されたヨー構成要素、または修正されたピッチ構成要素のうちの1つに少なくとも部分的に基づいている。2つ以上の構成要素は、少なくとも回転構成要素と、並進構成要素とを含み得、第1の変換は、並進構成要素がある閾値を満たしているかどうかを自動的に判定し、並進構成要素が閾値を満たしていない場合に、第1のロボットツールの第1のロボットツール動作に対して並進構成要素を0に設定することと、回転構成要素がある閾値を満たしているかどうかを自動的に判定し、回転構成要素が閾値を満たしていない場合に、第1のロボットツールの第1のロボットツール動作に対して回転構成要素を0に設定することと、を含む。第1の変換は、2つ以上の構成要素のうちの少なくとも1つの構成要素を拡大縮小することを含み得、拡大縮小の量は、第1のUIDのある位置に少なくとも部分的に基づいている。第1のUIDは、操作者によって保持されるように構成されたUIDを備え得、その結果、UIDのある位置は、操作者の手首の位置に少なくとも部分的に基づいており、操作者の手首の運動の範囲は、少なくとも快適な領域及び不快な領域へと分けられ、拡大縮小の量は、手首がどちらの領域にあるかに少なくとも部分的に基づいている。第1のUIDが自然な作業空間領域内に位置する場合にのみ、第1のUIDは、第1のロボットツールを制御し得る。第1のロボットツールの制御は、ドライブが係合されたことを判定することと、第1のUIDが自然な作業空間領域内にあることを判定することと、ドライブが係合されたこと及び第1のUIDが自然な作業空間領域内にあることの判定に応答して、第1のロボットツールのある位置に対応する第1のUIDのゼロ位置を確定することと、をさらに含み得る。
また別の実施形態では、コンピュータ実行方法が開示されている。本方法は、少なくとも1つの非接地型ユーザインタフェース装置(UID)の運動を特定することと、少なくとも第1の構成要素及び第2の構成要素を含む2つ以上の構成要素へと特定された運動を切り離すことと、2つ以上の構成要素に対して少なくとも1つの変換を実行することであって、第1の構成要素及び第2の構成要素が別様に変換される、実行することと、少なくとも1つのロボットツール動作を実行することであって、動作が第1の構成要素及び第2の構成要素上で実行された少なくとも1つの変換に少なくとも部分的に基づいている、実行することと、を含むように、特定のコンピュータ実行可能な指示により構成された1つ以上のコンピューティングデバイスによって実行され得る。
いくつかの実施形態では、コンピュータ実行方法は、下記のうちの1つ以上を用いて実行され得る。少なくとも1つのロボットツールは、把持具、外科手術用ツール、またはカメラのうちの少なくとも1つを備え得る。少なくとも1つのUIDは、第1のUID及び第2のUIDを備え得、第1及び第2のUIDは、操作者の第1の手及び第2の手によって制御されるように構成され、第1及び第2のUIDは、独立した座標枠で第1及び第2の手によって動かされ得る。コンピュータ実行方法は、少なくとも1つのUIDの配向を特定の座標枠で少なくとも1つのロボットツールの配向と比較することをさらに含み得、少なくとも1つのUIDは、少なくとも1つのUIDの配向が座標枠で少なくとも1つのロボットツールに対して一定の領域内にある場合に、少なくとも1つのロボットツールを制御する。少なくとも1つのロボットツール動作の速度は、少なくとも1つのロボットツールに対する少なくとも1つのUIDの配向間の計算された差に少なくとも部分的に基づいて調節され得る。
いくつかの実施形態に従った、非常に器用な外科手術システムを図示している。 いくつかの実施形態に従った、座標枠を示す非常に器用な外科手術システムを図示している。 いくつかの実施形態に従った、図2の様々な座標枠を図示している。 いくつかの実施形態に従った、非常に器用な外科手術システムの把持具及び非接地型UIDが整列されたときの動作の伝達を図示している。 いくつかの実施形態に従った、把持具及び非接地型UIDが整列されていないときのロール運動の伝達を図示している。 いくつかの実施形態に従った、絶対制御方式での座標枠を図示している。 いくつかの実施形態に従った、増分制御方式での座標枠を図示している。 いくつかの実施形態に従った、マスタ及びスレーブ制御が位置ずれしているときにロール運動を適用する方法を図示している。 いくつかの実施形態に従った、マスタ及びスレーブ制御が位置ずれしているときにロール運動を適用する別の方法を図示している。 いくつかの実施形態に従った、切り離し及び拡大縮小動作を図示している。 いくつかの実施形態に従った、切り離し及び拡大縮小動作の別の例を図示している。 いくつかの実施形態に従った、異方性の拡大縮小を図示している。 いくつかの実施形態に従った、ドライバビリティ円錐体を図示している。 いくつかの実施形態に従った、ドライバビリティ円錐体を図示している。 いくつかの実施形態に従った、偏差角の機能としての配向角度を示す配置を図示している。 いくつかの実施形態に従った、最小化された誤差駆動スキームを図示している。 いくつかの実施形態に従った、作業空間の中心を図示している。 いくつかの実施形態に従った、作業空間の中心を図示している。 いくつかの実施形態に従った、作業空間の中心を図示している。 いくつかの実施形態に従った、作業空間の中心の利用を図示している。 いくつかの実施形態に従った、作業空間の中心の利用を図示している。 いくつかの実施形態に従った、左右の感覚が一般に操作者に対する左及び右側と一致している、操作者の各腕に対する左右の感覚を図示している。 いくつかの実施形態に従った、左右の感覚が操作者の頭または体の左右の感覚と一致していない、操作者の各腕の左右の感覚を図示している。 いくつかの実施形態に従った、1つが各腕と関連する、2つの独立した座標枠を図示している。 いくつかの実施形態に従った、図14に記載されている2つの独立した座標系に対する座標変換を図示している。 いくつかの実施形態に従った、2つの独立した座標枠を図示している。 いくつかの実施形態に従った、操作者の手の連結運動を切り離すための複数のセンサを有する非常に器用な外科手術システムを図示している。 本明細書で論じられている一定のシステム及び方法が実行され得るコンピュータシステムの実施形態を図示している。
概要
一定の実施形態及び例が下に記載されているが、さらなる主題事項は、他の代替的な実施形態及び/または使用に対して、かつその変形例及び等価物に対して明示的に開示されている実施形態を超えて拡大解釈される。したがって、本開示の範囲は、下に記載されている特定の実施形態のいずれかに限定されない。例えば、本明細書に開示されている任意の方法またはプロセスでは、方法またはプロセスの行動または操作は、任意の好適な順序で実行され得、任意の特定の開示された順序に必ずしも限定されない。様々な操作が、一定の実施形態の理解に役立ち得る方法で、複数の個別の操作として順に記載され得るが、説明の順序は、これらの操作が順序依存型であることを暗に示していると解釈されるべきでない。さらに、本明細書に記載されている構造、システム、及び/または装置は、一体化された構成要素または別個の構成要素として具現化され得る。様々な実施形態を比較する目的で、これらの実施形態の一定の態様及び利点が記載されている。全てのかかる態様または利点は、必ずしも任意の特定の実施形態により達成されるものでない。したがって、例えば、様々な実施形態が、本明細書でまた教示され、または提案され得るような他の態様または利点を必ずしも達成することなく、本明細書で教示されるような一利点または利点の集合を達成し、または最適化する方法で、実行される場合がある。
本開示は例示の目的のために外科手術または他の医療操作に対するロボットシステムを主に参照しているが、本明細書に記載されている方法及びシステムは、任意の種類の非常に器用なロボットシステムに適用され得る。
外科手術におけるロボットの使用は、ますます一般的になってきている。かかるロボットシステムでは、典型的に、外科医等の操作者が、マスタ制御と呼ばれる制御を操作する。マスタ制御の動作は、次に、スレーブシステム上で再現される。典型的に、かかるシステムでは、マスタ制御は、外科医が着座し、または立っている場合があるコンソールに連結されている。コンソールとマスタ制御との間の連結は、いくつかの自由度での動作が可能とされ得るが、コンソール及びマスタ制御を着脱することができないようになっている。これらの種類のマスタ制御は、典型的に、接地型制御と呼ばれている。この種の配置では、外科医は、自身を配向するためにコンソールを使用する。マスタ制御の入力装置及びスレーブ機器の表示されたビデオ画像が整列されているため、外科医の手の動作は、スレーブ機器によって忠実に再現される。しかしながら、かかるシステムは外科医が複雑な外科手術を行うことを可能にするが、外科医は、スレーブロボットツールの表示されたビデオ画像とマスタ入力装置との間のこの整列を実行するコンソールを収容するために、患者及びスレーブロボットシステムからかなりの頻度で何歩も離れた位置に拘束される。
本明細書に記載されているシステム及び方法の実施形態は、外科医がロボット及び手動のツール(腹腔鏡ツール等)により外科手術を行うことを可能にするロボットシステムを開示しており、外科医は、患者に対して有益な位置に自身を位置付けることができる。外科医は、非接地型ユーザインタフェース装置の使用を通してロボットツールを操作し得る。非接地型装置は、接地型装置とは対照的に、自由空間内で操作され得る。非接地型装置は、配線、無線、または非接地であり得、外科医が任意の好適な位置から外科手術工程を行う能力を提供する。例えば、外科医は、ロボットまたは手動の外科手術が実行され得るように手術台の近くの位置を想定し得る。加えて、外科医が患者から遠隔にいる必要がないため、外科医と医療人員との間のより良好な意思疎通が可能となり得る。非常に器用な外科手術システムの実施形態は、2014年9月25日に出願された、発明の名称が「Hyperdexterous Surgical System」の米国特許出願第14/388,180号と、2014年10月9日に出願された、発明の名称が「Hyperdexterous Surgical System」の同第14/510,465号、2014年10月9日に出願された、発明の名称が「Hyperdexterous Surgical System」の同第14/510,474号と、2014年10月9日に出願された、発明の名称が「Hyperdexterous Surgical System」の同第14/510,566号とに開示されており、全てのかかる出願は、それらの全体が参照により本明細書に組み込まれ、かつ本明細書の一部と見なされるべきである。加えて、ユーザインタフェース装置及び関連するシステムの実施形態は、2015年4月15日に出願された、発明の名称が「Hyperdexterous Surgical System User Interface Devices」の米国特許仮出願第62/151,596号に開示されており、その全体が参照により本明細書に組み込まれ、本明細書の一部と見なされるべきである。
しかしながら、非接地型装置を実行するために本システムを制御する新規の枠組み及び新規の方法が有益であり得る。いくつかの実施形態のかかる一利点は、外科医がユーザコンソールにあることを必要としないことによって支持される。上で述べたように、接地型装置は、典型的に、外科医を配向する方法としてコンソールを使用する。コンソールは物理的な装置であるため、それはまた、外科医に、配向の提供時に再び有用である、マスタコンソールを操作する間の自身の腕を置くための位置を提供する。自由空間内で非接地型装置により操作する間、配向基準はもはや存在しない。これらの状況では、マスタ入力装置とスレーブ運動のライブ画像との間の完全な整列を必要とすることにより、本システムがより操作し難くなり得る。したがって、マスタ制御及びスレーブのビデオ画像が一定の範囲内で位置ずれしている場合であっても、本システムを操作することができる必要がある。対照的に、接地型装置を使用するシステムは、典型的に、マスタ入力装置及びスレーブのビデオ画像が位置ずれしているときに操作ができない。さらに、ユーザが腹腔鏡ツール等の手動のツール及びロボットマスタ入力装置の両方を同時に操作する助けとなるために、物理的なスレーブロボットツールの配向対スレーブロボットツールの表示されたビデオ画像の配向と関連するユーザに合図を提供することが有益であり得る。一例として、合図は、ユーザの目の座標枠からスレーブロボットによって保持されたカメラの座標枠に「ズームする」3次元運動を図示している一連の補間枠を描画することによって提供され得る。
いくつかの実施形態の別の態様では、接地型装置を用いたシステムに戻ると、ユーザインタフェースコンソールの物理的な性質により、外科医の手の運動が一定の方法で強いられることが多い。システムの制御が非接地型ユーザ入力装置を介して達成され得るシステムでは、外科医の手の運動が制約されない。いくつかの事例では、非拘束運動が、所望されない運動を生じさせる場合がある。一例として、ヒト(外科医等)の手首は、6つの自由度(DOF)で動く。これらのDOFは、ロール、ピッチ、ヨー、X方向の動作、Y方向の動作、及びZ方向の動作であり、直線的な座標系が手首と関連することを想定している。肘及び肩は、さらなるDOFを提供し得る。しかしながら、本例では、それらは無視され得る。非接地型入力装置を握っている外科医がロール操作を行うために自身の手首を動かすとき、所望されない場合がある他の自由度でも動くことが手首の自然な傾向である。これらの状況では、スレーブが進むように命令される様々なDOFで運動を切り離し、または拡大縮小することが、いくつかの実施形態では有益であり得る。したがって、マスタのいくつかの運動に重点が置かれ、いくつかの運動に重点が置かれないように、それが進むことができる各DOFでスレーブの運動を別様に切り離し、または拡大縮小することが、いくつかの実施形態では有益であり得る。関連する態様では、どの自由度に重点を置き、どの自由度に重点を置かないかを確定することが、いくつかの実施形態ではさらに有益であり得る。したがって、本システムの実施形態は、状況に応じた重点の優先度を確定し得る。例えば、一構成では、外科医は、ピッチ及びヨー運動を適用することより、ロール運動を適用することのほうが容易であると分かる場合があり、加えて、外科医は、並進運動を適用することより、ピッチ及びヨー運動を適用することのほうが容易であると分かる場合がある。この種の優先度が、非接地型UIDを使用するときの使用の容易さを改善し得る。
いくつかの実施形態では、コンソールの代わりに空中でユーザ入力装置を操作する外科医の能力が、また別の必要性を確定する。上に記載されているように、接地型装置を有するシステムでは、外科医は、配向のための手段としてコンソールを使用する。非接地型UIDを用いる場合、この種の配向を提供することができる同様の物理的な構造がない場合がある。非接地型UIDは、例えば、肘掛けまたは椅子等の物理的な構造と関連しているが、非接地型UIDは、所定の領域でのみ動くように機械的に拘束されない場合がある。したがって、いくつかの実施形態では、ユーザが戻ることが自然に感じる、ユーザの周りの空間におけるホーム作業空間を生成することが有益であり得る。外科医が、ホーム作業空間に戻ることによって、自身の手とスレーブロボットツールとの間の関係について不確実である場合、再配向が得られ得る。
本開示では、いくつかのアプローチが記載されている。一実施形態では、マスタ及びスレーブ制御と時に称されるスレーブロボットの表示された画像が整列されていることを必要とするシステムの代わりに、非常に器用なシステムは、2つが位置ずれしているときであっても、スレーブ制御がマスタ制御に従うことを可能にする。本概念のいくつかの変形例及び実施形態が記載されている。一実施形態では、非接地型ユーザインタフェース装置のロール運動のみが伝達される。別の実施形態では、マスタスレーブ制御は、マスタ及びスレーブが互いの一定の領域または複数の領域内にあるときに許容されるのみである。例えば、複数の領域は、0度の位置ずれの周りで中央配置された領域と、180度の位置ずれの周りに中央配置された別の領域(ロール軸の周り)とを含み得る。また別の実施形態では、複数の自由度で生じるマスタ制御の運動は、その構成要素部分へと分離され、かつ別様に処理される。各自由度は、次に、独立して処理され、かつ別様に拡大縮小され得る。本概念の変形例及び実施形態は、異方性の拡大縮小を含む場合があり、非接地型ユーザインタフェース装置の運動は、ユーザインタフェース装置及びそれが制御するロボットツールの状態に応じて別様に拡大縮小される。また別の実施形態では、非常に器用なシステムは、ロボットシステムを制御するために操作者が着座することを強いられるコンソールを必ずしも有する必要がない場合があるため、作業空間の中心が画定される。この作業空間の中心は、操作者が自身を配向するために特定し、かつ戻ることができる空間内の領域である。この作業空間の中心の概念を用いて、またさらなる概念では、ヒト操作者の自然な動作をロボットツールの特定の動作へと変換する自然な座標系が画定される。
図の説明
図1は、いくつかの実施形態に従った、非常に器用なシステム10を示している。図に示されているように、外科医等の操作者20は、ロボット制御されたツール40により患者30上で操作する。ロボット制御されたツールは、非接地型ユーザインタフェース装置(UID)50によって制御される。いくつかの実施形態では、ロボットツール40は、受動アーム75を介して手術台へと連結されるモータ駆動型接合アーム70によって保持される。いくつかの実施形態では、アームは受動的であり、他の実施形態では、アームは能動的である。例えば、モータ駆動型接合アーム70は、能動アームを介して手術台へと連結され得る。
示されている図では、ユーザインタフェース台60は、操作者の後ろにあるが、他の実施形態では、ユーザインタフェース台60は、操作者と関連する他の場所に位置付けられ得、または全体的に存在しない場合がある。操作者は、ユーザインタフェース台60の近辺にいる必要はない。代わりに、操作者は、患者に対する最適な位置に自身を位置付け、非接地型ユーザインタフェース装置50を介してロボットツール40を操作し得る。
いくつかの実施形態において、システム10は、外科医が患者に近接していることに起因して、工程中にロボットツールまたは手動のツールあるいはその両方を使用することを可能にし得る。外科医がロボットツールを使用することを望む場合、ツールを制御するために非接地型UID50を使用し得る。システム10は、外科医の手の動作をロボットツール動作へと変換させるため、自身で外科手術を行うことが可能になる。限定されないが、把持具及びステープラ等の様々な種類のロボットツールが使用され得る。ロボットツールはまた、カメラを含み得る。これらのカメラの助けを借りて、外科医は、外科手術を行うために体の内部の器官及びツールを視覚化し得る。いくつかの実施形態では、非接地型UIDを介したロボットツールの操作は、外科医にとって理解しやすく、自然に感じられる。外科医は、患者の体の内部でのロボットツールの運動を理解するために複数の視覚的な合図を使用し得る。これらの視覚的な合図は、限定されないが、カメラによって見られ、モニタ85上に表示される器官及びツールの画像、患者に対する外科医の位置、ならびに患者の体の外部にあるツールの視認可能な部分の位置及び配向を含み得る。一例として、外科医が自身の手を左右に動かす場合、外科医の理解を助けるために、ツールはまた、モニタ85上で左右に動き得る。別の例として、外科医が自身の手を上下に動かす場合、ツールはまた、モニタ85上で上下に動き得る。手の動作とモニタ上での表示方法との間に上の例以外の様々な種類の関連性が可能であり、ユーザの嗜好または他の手段に応じて選択可能であり、または設定可能であり得る。これらの関連性を確定するために、システム10と関連するコンピュータ(図1及び2に示されていない)が、ユーザの手の運動をロボットツールの運動へと変換する。いくつかの実施形態では、コンピュータは、下にさらに記載されている、図18に示されているようなコンピュータシステムであり得る。
いくつかの実施形態では、これらの変換は、座標枠がシステム10の1つまたはいくつかのセンサと関連していることを必要とする。座標枠は、枠が基準枠に対して関連している体の配向を画定する座標系と考えられ得る。例えば、図2は、いくつかの実施形態に従った、非常に器用なシステム10と関連し得る座標枠を示している。図2では、座標枠は、それぞれ、受動アーム75、ロボットツール40(一例として、把持具であり得る)、カメラ45、非接地型UID50、ユーザインタフェース装置の基部65、及び外科医20の目と関連する110、120、130、140、150、及び160として示されている。システム10の他のセンサがまた、様々な座標枠を画定するために使用され得る。UID基部65は、非接地型UID50からの非接地信号を受信し、これらのUIDの場所をそれと関連する枠と関連する空間座標へと変換するセンサである。したがって、システム10と関連するコンピュータのタスクのうちの1つは、操作者が把握し、かつ理解することができる方法で、操作者が行う運動をロボットツールの運動へと変換することである。
理解を達成するための一技術は、マスタ制御または操作者が使用する制御及びマスタ制御によって制御されるロボットツールを整列させることである。より具体的には、本システムは、(a)操作者の目の枠に対するUID枠、及び(b)ロボットツールの運動を捕捉したカメラ枠に対するロボットツールの枠を整列させることができる。一般に、これらの種類の制御システムは、スレーブ(本事例では、ロボットツール)がマスタの運動に忠実に従うマスタスレーブ制御システムと呼ばれている。例えば、操作者は、コンソールを使用し、かつ自身を配向する方法として、コンソールに電気機械的に連結されているマスタ制御を操作する。しかしながら、図1に示されているようなシステム10等のいくつかの実施形態では、操作者が非接地型UIDを使用している場合があるとき、この種の視覚的な合図及び/または機械的な拘束は、必ずしも存在しない。したがって、いくつかの実施形態では、位置ずれしている運動が許容される。いくつかの実施形態では、操作者の目と関連する非接地型UIDの配向がロボットツールを図示しているカメラ枠(例えば、操作者に提示されているビデオ画像におけるカメラ枠)に対する非接地型UIDによって制御されたロボットツールの配向と整列されていないとき、マスタ制御及びロボットツールは、位置ずれしていると考えられ得る。
不必要な運動を切り離し、またはこれに重点を置かないための方法についての様々な実施形態が使用され得る。特定の例によりこれをさらに説明するために、操作者が自身の手で回転運動を行うときに、単に手の力学に起因して、手が並進運動も被る傾向にある。この並進運動は、所望されず、かつ不必要であり得る。これらの事例において、並進運動を抑制し、または除去することは、いくつかの実施形態では有益であり得る。より一般的には、外科医等の操作者が非接地型UIDを操作しているとき、多くの状況では、所望されない、または不必要な連結運動があり得る。物理的な拘束を有するUIDと違い、非接地型UIDは、操作者にかかる運動を切り離すことを強いることができない。したがって、この連結運動を抑制し、または除去することができることが、いくつかの実施形態では望ましい場合がある。これら及び他の概念が、下に詳細に説明される。しかしながら、本概念をより良好に理解するために、システム10と関連する座標枠の実施形態が、これより、下に詳細に説明される。
座標枠
図2は、いくつかの実施形態に従った、それらが関連し得るシステム10のセンサに対する座標枠を示している。図3は、いくつかの実施形態に従った、それらの間の変換を説明するために使用され得る方法で、図2に示されている座標枠を示している。これらの実施形態において機能する変換の数学に対して、これらの座標枠の全ての位置及び配向が、システム10と関連する制御システムに対するある方法で生成され、計算され、知られ、または入力されるべきである。
例えば、システム10等の多関節ロボットシステムの実施形態では、典型的に、座標枠という用語で呼ばれる基準座標枠が、システムの他の座標枠に対する共有の基準として選択され、かつ使用され得る。基準座標枠に対する他の座標枠の位置及び配向は、様々な方法で制御システムに対して生成され、計算され、知られ、または入力され得る。いくつかの事例では、実際の測定値は、基準枠に対する座標枠の位置及び配向を見つけるために、手動で、または自動的にとられ得る。自動的な測定値は、位置センサ等のセンサを座標枠と関連するセンサに連結することによって取得され得る。その位置及び配向が手動または自動的な測定値を通して知られる座標枠は、「測定された」座標枠と称され得る。
いくつかの実施形態では、座標枠の位置及び配向は、座標枠が関連している1つ以上の追跡対象にセンサを連結することによりこれらのパラメータを感知することによって知られる。電磁位置センサまたはエンコーダ等の様々な種類のセンサが使用され得る。例えば、システムの別の構成要素によって生成された確定された電磁場におけるその場所及び配向を追跡するために、電磁感知コイルが使用され得る。いくつかの実施形態では、光学追跡が使用される場合があり、発光特徴、反射球等の反射特徴、特徴的な表面、及び/または同様のもの等の追跡対象についての特徴を追跡するために、1つ以上のカメラが使用される。カメラは追跡対象上に配置される場合があり、または追跡対象がカメラによって追跡される反射特徴を含む場合がある。いくつかの実施形態では、センサはエンコーダを備える場合があり、エンコーダは、配向情報(例えば、1つの自由度の配向)を提供し得る。これらのセンサからの測定値は、基準座標枠または任意の別の座標枠等のいくつかの他の基準に対して与えられ得る。その位置及び配向が感知を通して知られる座標枠は、本開示内で「感知された」座標枠と称され得る。センサまたはカメラは、操作者の体、UID、ロボットツール、ならびにシステムの他の部分上の様々な場所に配置され得ると認識されている。
いくつかの実施形態では、下にさらに記載されているように、座標枠の位置及び配向に一定の値が割り当てられ得、または別の座標枠と同様もしくは同一であると想定され得る。
図3を参照すると、図の左側は、一般に操作者と関連する3つの座標枠を示しており、右側は、一般にロボットと関連する3つの座標枠を示している。左側上では、目の座標枠160、UID基部の座標枠150、及びUID座標枠140の3つの座標枠が示されている。
目の座標枠160は、操作者と関連しており、操作者に対するその配向は、固定されているが構成可能であり得る。一例として、いくつかの実施形態では、目の座標枠は、操作者の目と関連し得るが、水平に対して30°の角度に設定され得る。これは、医療工程中に、外科医等の操作者が、ある角度で設定され得るモニタ上に表示された画像を見ている場合があるという事実に起因するものであり得る。したがって、外科医は、モニタを見るために、下を向いたり、または上を向いたりしなければならない場合がある。したがって、目の座標枠の角度は、モニタの角度に基づいて設定され得る。
様々な座標枠の議論に戻って参照すると、目の座標枠は、それが一定の配向を有すると想定されている一例である。他の実施形態では、30°以外の角度が同じく使用され得ると理解される。座標枠に関わる数学的な目的のために、目の座標枠は、対象の位置及び配向の観点で自身が見ている対象を認識する方法を定義し得る。加えて、いくつかの他の実施形態では、目の座標枠以外の座標枠が、操作者と関連し得る。
いくつかの実施形態では、目の座標枠は、想定される代わりに、測定される場合がある。例えば、操作者の頭部枠を測定し、かつ目の座標枠を判定するために、3D追跡装置が使用され得る。いくつかの実施形態では、安定的な遠隔操作を維持するために、実時間で追跡される代わりに、3D追跡装置によって定期的に、目の座標枠が測定され得る。
いくつかの実施形態では、UID基部の座標枠150は、UID基部65と呼ばれるシステム10の物理的なセンサと関連し得る。UID基部65は、システム10の環境内のどこにでも配置され得る。UID基部の座標枠の場所及び配向は、直接的な測定によって、世界座標基準システム等の固定座標基準システムに対して知られ得る。したがって、UID基部の座標枠は、測定された座標枠の一例である。UID基部の座標枠は、非接地型UID50の場所及び配向を取得するための基準としてシステム10によって使用され得る。
いくつかの実施形態では、座標枠140は、非接地型UIDと関連し得、非接地型UID自体の動作と呼応して動き回る。非接地型UIDがセンサを有し得るとき、UID基部の座標枠に対するUID座標枠の位置及び配向は、直接的な感知に起因して知られ得る。矢印155は、UID座標枠140がUID基部の座標枠150に対して感知され得ることを示している。UID座標枠は、感知された座標枠の一例である。
いくつかの実施形態では、非接地型UID50は、6つの自由度(DOF)の周りを動く場合があり、そのうちの3つは並進DOFであり、他の3つは回転DOFである。図3の座標枠140を参照すると、並進自由度は、X、Y、及びZ軸の周りにあり得る。慣例によって、ロール、ピッチ、及びヨー軸が、それぞれ、X、Y、及びZ軸に対して整列される。したがって、ロール軸は、本慣例により、座標枠140のX軸と一致している。しかしながら、他の実施形態では、ロール軸がY軸に対して整列され得る等、他の慣例に従われる場合がある。本開示に記載されている概念は、同じく他の実施形態にも等しく当てはまる。本節では、ロール軸がX軸に対して整列されていると想定される。システム10と関連するより多くの実施形態が、下に記載される。
一般にロボットと関連する座標枠は、図3の右側上に示されている。いくつかの実施形態では、カメラの座標枠130は、カメラ45と関連し得る。上に記載されている実施形態を用いて、カメラのロール軸は、カメラの座標枠130のX軸と整列され得る。操作者がカメラによって取得された画像を見ているとき、いくつかの実施形態では、目の座標枠160及びカメラの座標枠130が整列されていることが想定され得る。例えば、いくつかの実施形態では、目の座標枠がカメラの座標枠と合致し、かつUID座標枠が把持具の座標枠と合致するときに、遠隔操作が実行される。いくつかの実施形態では、目の座標枠は、カメラの座標枠に合致するように設定され、または想定されている。いくつかの実施形態では、把持具の座標枠及びUID座標枠は、位置ずれしている場合がある。
アーム基部の座標枠110は、ロボットツールを保持する、特に能動アーム等のアームと関連し得る。この座標枠は、アームに沿った位置のどこにでも配置され得る。例えば、いくつかの実施形態では、アーム基部の座標枠100は、基部または能動アームの第1の関節に配置され得る。能動アームは、受動構成要素のみを有し得る受動アームとは対照的に、他の構成要素と共にモータまたはアクチュエータから構成され得る。いくつかの実施形態では、基準座標系に対するその位置及び配向がまた、直接的な測定に起因して知られ得るため、アーム基部の座標枠は、測定された座標枠の一例である。
把持具の座標枠120は、ロボットツールと関連し得る。いくつかの実施形態では、UIDに対するUID座標枠140と同様に、把持具の座標枠120は、ツールと呼応して動き回る。また、UID座標枠と同様に、把持具の座標枠120は、感知に起因したアーム基部の座標枠110に対して知られ得る。能動アームは、全てのその関節上にエンコーダを有し得、これらのエンコーダは、把持具の座標枠120がアーム基部の座標枠110に対して知られ得る感知された値を提供する。矢印115は、UID座標枠140がUID基部の座標枠150に対して感知される方法と同様に、把持具の座標枠がアーム基部の座標枠に対して知られ得ることを示している。
図2に示されているような、いくつかの実施形態では、特徴的な受動アーム/能動アームの組み合わせによって保持されるカメラが見られる。他の実施形態では、カメラは、ロボットアームのいずれかによって保持され得る。いくつかの実施形態では、カメラの座標枠は、それを保持している能動アームの基部での座標枠に対して知られ得る。しかしながら、全ての能動アームの位置及び場所が世界座標系に対する基準で知られ得るため、いくつかの実施形態では、カメラを保持している能動アームと関連する座標枠を呼び出し、または個々に特定する必要がない場合がある。したがって、本実施形態では、カメラを保持している能動アームと関連する座標枠は、個々に特定されない。
本開示の全体を通して、説明及び図中の「把持具」という用語は、限定されないが、把持具及びステープラ等の任意の種類のロボットツールを含む。「ロボットツール」及び「把持具」という用語は、同義的に使用されている。より容易に特定されるように、ロボットツールは同じくカメラを一般に含むが、本開示では、カメラ及びカメラの座標枠は、個々に特定されている。ロボットツールまたはアームによって保持されるカメラの種類に応じて、UID座標枠の運動をロボットツールまたはカメラの運動に変換する様々な方法があり得る。多くの実施形態におけるアームには、ロボットツールまたはその上に取り付けられるカメラの種類を判定するためのセンサが搭載されている。
いくつかの実施形態に対してこれらの座標枠を画定する目的は、UID入力をロボットツールの出力へと変換することである。言い換えれば、操作者が非接地型UIDの周りを動くときに、こうした動作は、操作者が理解することができる方法で、ロボットツール動作へと変換される。いくつかの実施形態では、この理解を達成するために、目の座標枠及びカメラの座標枠は、操作者が非接地型UIDを操作するときにカメラによって見られ、かつモニタ上に表示されたようなロボットツールの運動が、手の動作に対応するように整列されていると想定される。
いくつかの実施形態では、並進動作ならびにピッチ及びヨー動作は、一般に、ロール運動より理解しやすい。非接地型UID及びロボットツールのロール軸での位置ずれにより、理解し難い場合があるツールの動作が生じる。例えば、位置ずれにより、より予測し難いロボットツールの運動が生じる場合があり、またはUIDにより運動を行うときに操作者が所望するものとは別様の方法でロボットツールが動く場合がある。これにより、操作者への精神的な緊張が増す場合があり、それが操作者の速度を落とさせ得、良好な外科手術工程の実行に支障をきたす場合がある。空間内で自由に動き回る非接地型UIDを用いたシステムでは、UIDをロボットツールに対して正確に整列させることが困難であり得る。またシステム10のシナリオであっても、操作者が理解することができる方法で、非接地型UIDのロール運動を把持具のロール運動へと変換することが達成される必要がある。本開示に記載されているいくつかの概念は、これを達成しており、後の節で説明される。UID(マスタ)からロボットツール(スレーブ)へと回転のずれを伝達する方法、及びマスタからスレーブへのロールの伝達中の位置ずれの問題が、これより記載されている。
回転のずれの伝達
図4は、いくつかの実施形態に従った、UIDの回転がロボットツールに伝達される方法を示している。より容易に特定されるように、ロボットツールはまたロボットカメラを一般的に含むが、座標変換の目的のために、カメラ及びカメラと関連する座標枠が、個々に特定され得る。例えば、図4の200に示されているように、UID座標枠140及び目の座標枠160は、同じ原点で示されている。矢印240は、非接地型UID50がロール、ピッチ、及びヨー構成要素を有する回転運動を経験したことを図示している。操作者は、この運動を自身の座標系(自身が非常に上手くこの運動を生じているため)である目の座標枠160で最終的に理解しなければならない。したがって、UID座標枠内の運動は、目の座標枠へと変換される。矢印215は、この変換を示している。UID座標枠から目の座標枠へと回転を変換するために、2つの変換が生じ得る。第1の変換は、UID座標枠からUID基部の座標枠へと回転を変換することである。第2の変換は、UID基部の座標枠から目の座標枠へと回転を変換することである。
いくつかの実施形態では、数学的に、回転の変換は、回転行列を用いて行われ得る。回転行列を表している本実施形態で行われている慣例は、
であり、Rは、座標枠Bに対する座標枠Aの回転行列である。
言い換えれば、座標枠Aでベクトルを回転させるために、座標枠Bにおけるその配向を見つけるために回転行列によって増分される。したがって、UIDからUID基部への、かつUID基部から目の座標枠への、上を参照した2つの変換が、下記のような一操作として表現され得る。
Tが転置操作を図示している
を認識する際に、式1は、下記のように記載され得る。
次に、図4をまた参照すると、目の座標枠に対するUIDの回転が、カメラの座標枠に対する把持具へと伝達され、かつ矢印225によって示されている。カメラの座標枠に対する把持具の運動は、所望されているものである。数学的に、カメラの座標枠に対する把持具の回転は、下記のように記載され得る。
図2に示されているような把持具は、能動アーム70に連結されており、続いて、受動アーム75へと連結されている。把持具の動作を追跡するために静止座標系を使用することは必ずしも必要ではないが、数学的に便利である。いくつかの実施形態では、「アーム基部」と称される受動アームの基部は、静止座標系を配置するためのかかる便利な場所を提供している。この場所は静止しているものとして記載されているが、システム10の最初の設定中に、受動アームは、手術台の側に沿った好適などこにでも配置され得ると注記される。したがって、カメラの座標枠に対する把持具の動作は、アーム基部の座標枠に対する把持具の動作へと変換され得る。これは図4の矢印235によって示されており、下記のように数学的に図示されている。
したがって、式1〜4は、下記の一式へと組み合わされ得る。
この式は、UID基部の座標枠に対するUID運動のアームの基部に対する把持具の運動への変換の一実施形態を図示している。数量
は、制御入力を形成し、かつ感知され、UID配向は、UID基部に対して感知される。
数量
は、制御出力を形成し、かつ式5で特定されるように計算される。次に、ロボットツールは、計算された値に従ってアーム基部に対して操作され得る。
UID及びロボットツールの位置ずれのロール運動に対する効果
非接地型UID50及びロボットツール40が位置ずれしている場合、または
であるとき、非接地型UIDのロール運動は、理解可能な方法で変換されない場合がある。
図5は、いくつかの実施形態に従った、非接地型UID及びロボットツールが位置ずれしているロール運動の一例を示している。位置ずれの効果を図示する目的のために、目の座標枠160、UID基部の座標枠150、カメラの座標枠130、及びアーム基部の座標枠110が、整列されていると考えられ得る。さらに、また本例の目的のために、UID座標枠140及び把持具の座標枠120は、2つの座標枠が同じ場所でそれらの原点により互いの上部で重ね合わされているグラフ300で明確に示されているような回転整列状態にない。把持具の座標枠120とそれを区別するために、UID座標枠140は破線で示されている。
UIDのロール、ピッチ、及びヨー軸が座標枠のX、Y、及びZ軸と個々に整列されていることを想定するグラフ140上で、UIDがロール運動を経験する場合、運動は、矢印310で図示され得る。上で述べたように、UID座標枠及び把持具を除く全ての座標枠が整列されているため、ロボットツールへと伝達されたときにUIDのこのロール運動は、グラフ300で破線の矢印320に沿って生じる場合があり、その結果、不必要なピッチ及びヨー運動が生じる。ロボットツールのロール軸が把持具の座標枠120のX軸に沿って整列されている場合、ロボットツールは、破線の経路320に沿って回転し、言い換えれば、ロボットツールは、揺動運動を示し得る。さらに、揺動運動は、より大きい位置ずれによって、より顕著になる。ロボットツールの運動は、座標枠の原点から出ている円錐体として視覚化され得る。したがって、ロボットツールは、ロール運動でない運動を被り得る。操作者は、所望された全てがロボットツールのロール運動であったときに、この種の運動が生じる理由を完全には理解し得ない。完全性のために、X、Y、Z位置は位置ずれによって影響を受け得ず、かつUID運動に基づいてロボットツールに必要とされるように適用されると述べられている。したがって、下に記載されている概念では、位置ずれが存在しているときにロール運動を保存するための様々な方法が記載されている。
制御方式
いくつかの実施形態では、ロボットツールの配向は、最初の配向と関連する配向が変化した数量を知ることによって計算され得る。最初の配向は、様々な方法で測定され得る。例えば、「絶対制御方式」と呼ばれる方法では、ユーザがシステム10と関連するドライブ(「クラッチ」とも称され得る)に係合するときに最初の配向が確定される。基準に対して、ドライブへの係合は、非接地型UIDの運動がロボットツール動作へと変換される必要があるとシステム10に通知する。さらに係合解除された状態では、ロボットツールは、安定して保持され、非接地型UIDの運動によって影響をうけない。
絶対制御方式では、アーム基部の座標枠に対するロボットツールの回転行列の一実施形態は、下記のように表現され得、
上付き文字t=0またはt=τは、上付き文字が適用される座標枠が0時間またはτ時間でとられていることを示しており、駆動動作が生じ、かつτ時間が瞬時であるときに瞬間的にt=0が確定されていることに注記されたい。
式6では、右手側の最後の2つの条件
が、ツール及びUIDの最初の位置ずれを示している。この位置ずれは、駆動期間全体を通して維持され得る。
いくつかの実施形態では、ロボットツールの配向を計算するための別の方法において、最初の配向は、直前のサンプリング時点での配向であるようにとられている。この方法は、「増分制御方式」と呼ばれ得る。
したがって、本式は、下記のように表現され得、
τは、瞬時であり、τ−dτは、直前の瞬時を示しており、
は、下記によって与えられる。
さらに、式8の右手側上の2つの回転行列の実施形態は、下記のように記載され得る。
及び、
したがって、式6は、絶対制御方式を用いた非接地型UIDの回転運動のロボットツールの回転運動への変換を可能にする。式7は、増分制御方式を用いた非接地型UIDの回転運動のロボットツールの回転運動への変換を可能にする。これらの2つの制御方式は、マスタ及びスレーブが位置ずれしているときに運動を可能にするという概念を説明するために使用され得る。接地型UIDを用いたシステムは、典型的に、絶対制御方式を使用している。しかしながら、増分制御方式は、システム10等の非接地型UIDを用いたシステムに対して生成された概念である。
オイラー角
オイラー角は、回転行列が生成され得る3つの角度から設定されている。これらの3つ角度は、結果として生じる座標枠を取得するために最初の座標枠が回転され得る方法を通知する。オイラー角は、任意の回転が3つのみのパラメータ(オイラー角と呼ばれる)によって記載され得ると述べている、オイラーの回転の定理から得られる。詳細な説明は、その全体が参照により本明細書に組み込まれ、かつ本明細書の一部と見なされるべきである、Craig,John J.,Introduction to Robotics:Mechanics and Control,1989に見られ得る。しかしながら、本開示の目的に対して、回転行列は、オイラー角によって特徴付けられることができる。この簡単な説明に基づいて、いくつかの実施形態に従った、下に記載されているように使用される2つの関数が定義されている。
第1の機能fEulerYPRは、下記のように定義され得、
第2の機能gEulerYPRは、下記のように定義され得る。
いくつかの実施形態に従った、関数fEulerYPRは、その入力として回転行列Rをとり、かつ
3つのオイラー角のヨー、ピッチ、及びロールを出力する。関数gEulerYPRは、その入力として3つのオイラー角のヨー、ピッチ、及びロールをとり、かつ回転行列Rを出力する。この簡単な説明から、オイラー角及び回転行列が同義的な数学的定義であり、結果として、座標枠の同じ回転を生じると述べられ得る。
ロール運動−振れ抑制方法
より容易に論じられる場合、非接地型UID50(マスタ制御)及びツールが整列していない場合であっても、把持具等のロボットツール(スレーブ)を操作することを可能にすることが、いくつかの実施形態では有益である。またより容易に述べられる場合、操作者は、非接地型UIDのロール運動が所望されない軸に沿った振れまたは回転へと変換される、図5に示されている効果に起因したマスタ及びスレーブのロール軸での位置ずれに最も敏感であり得る。
いくつかの実施形態では、完全な3軸整列の代わりに、例えばロール軸に沿った選択的な整列が、システムの改善された性能を提供し得る。例えば、「振れ抑制」方法の実施形態を使用して、ロボットツールが非接地型UIDのロール運動に起因してその軸に沿って回転することを可能にし得る。いくつかの実施形態では、ロール角の大きさが非接地型UIDのピッチ角及びヨー角の大きさより大きい場合に、ロール運動のみがロボットツールに適用される。ピッチ及びヨーの自由度での動作は無視され得る。
下記の場合、
マスタからのロール角をスレーブに適用する。より一般的な感覚では、ロール角がピッチ及びヨーの関数に対するある定義された基準を満たす場合に、システム10は、ロール角を適用するのみであり得る。
例えば、いくつかの実施形態では、下記の条件を満たす場合に、ロールを適用するのみであることが有益であり得、
k1及びk2は、ユーザの嗜好を介して経験的に見つけられ、または設定された係数であり得る。他の実施形態では、ロールを適用するのみかどうかを判定する様々な方法が使用され得る。加えて、いくつかの実施形態では、ピッチ及びヨーは、1つ以上の基準を満たすことを条件として、無視される代わりに拡大縮小され、または制限され得る。
図7は、いくつかの実施形態に従った「振れ抑制」方法を示している。グラフ400では、2つのUID座標枠140及び140Aが示されている。UID座標枠140は、t=τ−dτ時間で生じ、UID座標枠140Aは、t=τ時間で生じる。列挙140及び140Aは、これらの2つの座標枠が同じセンサと関連していることを強調するために選択され、UID−これらの座標枠間の差は、それらがすぐ上で説明されているように生じるときのものである。ロール、ピッチ、及びヨー軸に沿った矢印430、435、及び440は、それぞれ、非接地型UID50が全ての3つの軸上で運動を経験したことを示している。グラフ450は、把持具の座標枠120が、t=T−dT時間でUID座標枠に対して位置ずれしていることを示している。しかしながら、グラフ450はまた、ロール軸に沿った1つの動作のみがロボットツールに適用されていることを示している。図示されている実施形態では、式13は、非接地型UIDのロール角の大きさがヨー及びピッチ角の大きさの合計より大きく、したがってロール角のみがロボットツールに適用されていることを判定するために適用された。したがって、t=T時間で、グラフ450において、非接地型UIDが経験するロール角のみが適用される。
数学的には、ΔRが式8で定義されるようなものである場合に、ΔRが知られ、または計算され得ることを条件として、関数fEulerYPRを使用して下記の角度を見つけ得る。
次に、「振れ抑制」方法は、下記のように記載され得る。
いくつかの実施形態では、「振れ抑制」方法を用いる利点は、それらの親指と人差し指との間の鉛筆等の対象をヒトが回転させる方法を観察することによって容易に視覚化され得る。ヒトの手は、典型的に、対象を回転させるとき、純粋なロール運動を与えることを意図しているのみであるが、他の自由度で運動を与える。「振れ抑制」は、例えば、純粋なロール運動が意図されているが、手の力学に起因して達成されない場合があるときに、ロボットツールに純粋なロール運動を与える方法を提供する。本時間中に、システム10は、式13を使用してロボットツールの運動を判定し、操作者がロール軸に沿って以外の自由度で意図的に動かすことを望む場合に、意図的な動作が式13を満たさないような所望の方向で実行され得る。式13が満たされていないとき、ヨー及びピッチ軸に沿った運動は、ロボットツールへと変換され得る。他の状況では、振れ抑制は、マスタ及びスレーブが位置ずれしているときに使用され得る。
実際には本方法は頑強であるが、いくつかの実施形態では、UIDの微細なピッチ及びヨー運動が失われる場合がある。本方法はまた、以前の配向と現在の配向との間の差が小さいサンプリング時点に起因して小さいときに、増分制御方式で最適に機能する。絶対制御方式で機能し、かつUIDのピッチ及びヨー回転を保存し得る別の方法が、これより記載される。
位置ずれしているときのロール運動−ロールの投影
図8は、いくつかの実施形態に従った「ロールの投影」方法の適用を示している。本図では、グラフ500は、UIDがロール、ピッチ、及びヨー軸に沿ったUID座標枠140における運動を経験し得、これらの軸に沿った運動が曲線矢印515(ロール)、510(ピッチ)、及び520(ヨー)によって指定される。いくつかの実施形態では、UID運動(任意の並進運動は無視する)が、少なくとも2つの別個であるが平行している工程において把持具の座標枠へと変換され得る。
一工程では、ヨー及びピッチ運動が変換される。図では、これは、グラフ530A及び540Aによって示されている。グラフ540Aにおける把持具の座標枠で変換された運動は、変換がなされたときにロール運動が抑制されたという事実にも関わらず、ピッチ(550)、ヨー(555)、及びロール(557)構成要素を有し得る。
第2の工程では、把持具の座標枠におけるロボットツールのロール角は、上に記載されている工程の結果として得られたロール角にUIDのロール角を加えることによって計算され得る。これは、グラフ530B及び540Bによって示されている。したがって、ロールは、ヨー及びピッチから独立して処理される。いくつかの実施形態では、式6及び7は、UID座標枠からのヨー及びピッチの把持具の座標枠のヨー、ピッチ、及びロールへの変換に対して使用される。いくつかの実施形態では、非接地型UID及びロボットツールの位置ずれによって生じた揺動運動が除去されるため、この方法は有益であり得る。一例として、非接地型UIDがロール運動を経験するのみであるときに、位置ずれにより、本方法の使用を通して除去され得る、振れの原因である不必要なピッチ及びヨー運動が生じる。さらに、本方法は、増分または絶対制御方式のいずれかで機能する。図8を参照すると、グラフ530Aにおける510及び520によって示されている回転が、グラフ540Aの把持具の座標枠130における回転550(ピッチ)、555(ヨー)、及びロール(557)へと変換される。ロール角557は、ロール角515と合計され、結果として、最終的なロール角565を生じる。次に、変形されたヨー及びピッチが、ロボットツールの最終的な運動を演算するために、合計されたロール角と組み合わされる。したがって、本方法において、ピッチ及びヨー運動が保存される。加えて、上で述べたように、本方法は、絶対及び増分制御方式に対して機能する。下の式は、いくつかの実施形態に従った、工程における本方法を数学的に説明している。
工程1:UIDに対するオイラー角の発見
本方法は増分または絶対制御方式のいずれかに対して機能し得るため、ΔRは、いずれかの方式に対して計算され得る。増分方式に対して、ΔRは、式8で定義されているようなものである。絶対制御方式に対して、ドライブが係合されている瞬時である、dτが0に等しくされている、同じ式が使用され得る。
工程2:rollUIDが0に等しく設定された状態での新規のΔRの計算
工程3:ΔRUIDのΔRGrasperへの変換
工程4:把持具に対するオイラー角の発見
工程5:式20及びUIDのロール角から計算されるようなロボットツールのロール角を直接加えることによって計算されたロール角によるΔRGrasperの再演算
式21に見られ得るように、最終的なΔRは、ピッチ及びヨーの事例における変換された運動、ならびにUIDの直接的なロール角をピッチ及びヨーを変換する間に得られたロール角に加えることによって計算されたロール角に基づいて計算され得る。この方法は、位置ずれが+/−30度未満である場合に最も有益に機能し得るが、他の角度が除外されるものではない。
一般に、2つの方法(「振れ抑制」及び「ロールの投影」)のいずれかが、UIDのロール運動を保存するためにいくつかの実施形態に従って使用され得、マスタ及びスレーブ制御が位置ずれしている場合であっても、運動をロボットツールに適用し得る。他の有利な概念が、これより、システム10に対して論じられる。
優先度の適用、UID運動の切り離し及び拡大縮小
いくつかの実施形態では、非接地型UIDの運動が、システム10に対して内部的に分離された方法で処理され得る。ロボットツールの最終的な出力を演算する際に、各DOFにおける入力運動は、別様に分析され、かつ処理され得る。例えば、いくつかの入力運動に、他の入力運動を超える優先順位が与えられる場合があり、優先度のシステムは、最終的な出力運動を演算するために適用され得る。言い換えれば、操作者がシステム10の内部の複雑な方法で非接地型UIDを動かしている間、これらの運動は分離され、いくつかの確定された基準に従って別様に操作され得る。
一例として、操作者が組織に縫合を適用するとき等の動作を行うために非接地型UIDをロールさせる場合に、単にヒトの手首が機能する方法の力学に起因した並進運動を手首が適用する自然な傾向があり得る。かかる事例では、一定の基準を満たす場合に、並進構成要素は、UID動作をロボットツールに変換する間、抑制され、または除去され得る。
例えば、図9Aは、いくつかの実施形態に従った、UID動作をロボットツールに変換するときの並進構成要素の切り離し及び拡大縮小を示している。本図では、グラフ600は、UIDが、UID座標枠140によって示されている最初の位置から座標枠140B(破線によって示されている)によって示されている位置への運動を経験していることを示している。運動は回転及び並進の両方を伴ったことが、図から分かる。図から明らかでないが、回転は、ロール、ピッチ、及びヨー軸のうちの1つまたは複数に沿って生じ得る。
図9Aに示されているように、グラフ630は、ロボットツールの運動を図示している。ここで、ロボットツールの最初の位置は、130として示されている。図示されている実施形態に従って、UID座標枠140Bに対応するロボットツールの新規の位置が、座標枠130Bによって(破線によって)示されている。グラフ600に示されているUIDの並進運動は、グラフ630によって示されているようなロボットツールの変換された運動から除去されている。本例では、並進運動が除去されているが、他の概念では、並進運動が拡大縮小され得る。例えば、拡大縮小要素は0.5であり得、これにより、UIDが経験した並進の半分のみの大きさで並進されるロボットツールの新規の位置が生じ得る。
図9Bは、いくつかの実施形態に従った、切り離し及び拡大縮小の別の例を示している。ここで、グラフ700及び720は、それぞれ、非接地型UIDの最初のかつ最終的な位置を指し、グラフ740及び760は、それぞれ、ロボットツールの最初のかつ最終的な位置を指す。明確化の目的のために、グラフ700及び720は、UID座標枠が700でのその最初の位置から720でのその最終的な位置へと並進され、かつ回転されていることを示すために、世界座標系のXY平面において生じると想定される。並進は、回転と比較して、比較的大きいとみられる。グラフ740及び760では、ロボットツールの最初のかつ最終的な位置が示されている。明確化の目的のために、これらのグラフはまた、同じ世界座標系で示されている。図示されている実施形態では、並進運動のみが保存され、かつUIDとロボットツールとの間で変換され、回転は除去されている。したがって、図9A及び9Bは、この運動をロボットツールへと伝達する間の、非接地型UIDの運動を切り離し、かつ拡大縮小する概念の例を示している。
いくつかの実施形態では、上の例は、下のように一般化され、かつ数学的に表現され得る。
非接地型UIDの全体的な運動が、次に、
によって表される場合、
は、目の座標枠に対するUID座標枠の回転行列である。
は、目の座標枠に対する非接地型UIDの並進を表す位置ベクトルである。
Rが3×3の回転行列であり、Pが3×1の並進行列である場合に、Tの最後の行は、1×4の行列であり、式22における0は、[0 0 0]に対する略式表記法である。
同様に、ロボットツールの全体的な運動が、
によって表されている場合に、
は、アーム基部の座標枠に対する把持具の座標枠の回転行列であり、
は、アーム基部の座標枠に対する把持具の並進を表す位置ベクトルである。
は、
の変換であると認識されている。いくつかの実施形態では、式23の右手側の最後の行は、上に記載されているような式22の右手側の最後の行と同じ方法で解釈され得る。
これより、いくつかの実施形態に従って、最終的に適用されたロボットツールの運動が、下記のような変換された行列
のある一般的な関数φとして記載され得る。
例えば、図9Aに示されているように、
は、0に設定されている。
いくつかの実施形態では、本システムは、大きさ
が閾値未満であるかどうかを確認し得る。閾値は、ユーザによって設定され、またはシステムによって自動的にあるいは半自動的に判定され、もしくは単にシステムで予めプログラムされている場合がある。
いくつかの実施形態では、
の値は、0に設定される代わりに拡大縮小され得る。
限定されないが、
等の任意の他の好適な値が使用され得る。
同様に、図9Bの例では、
は、I(恒等行列)に設定され得る。
本事例では、システム10は、大きさ
が閾値より大きいかどうかを確認し得る。
また、閾値は、ユーザによって設定され、またはシステムによって自動的にあるいは半自動的に判定され、もしくは単にシステムで予めプログラムされている場合がある。
上に加えて、いくつかの実施形態では、
の値がIに設定されることも必要ない。
任意の他の好適な拡大縮小要素が使用され得る。拡大縮小を適用するために、構成要素のヨー、ピッチ、及びロール角は、式17を用いて最初に見つけられ得る。次に、これらの角度が拡大縮小され得、新規の回転行列が式18を用いて見つけられ得る。
いくつかの実施形態では、階級的な変換は、ロール運動が、続いてピッチ及びヨー運動を、続いて並進運動をより容易に行わせるように構成され得る。例えば、この行動を構成するために、式11及び12と共に式24Aが、下のように使用され得る。
最終的に適用された運動は、下記のように記載され得、
また、下記のようであり、
ヨー、ピッチ、及びロールは、下記から計算され得る。
いくつかの実施形態では、係数α、β、γ、δは、ユーザによって調節され、または他の方法での設定または調節中にロボットシステムによって予め設定され得る。それらはまた、並進、またはヨー、ピッチ、及びロール角の値に基づいて調節され得る。
例えば、一構成では、係数は、下のように設定され得る。
本構成は、次に、並進より容易に達成させる(0.25の係数を有する)ピッチ及びロール(0.5の係数を有する)と比較して、ロール運動をより容易に達成させ得る。言い換えれば、並進運動が、ピッチ及びヨーに続いて最も抑制される。ロール運動は、全く抑制されない。
いくつかの実施形態では、係数は、単なる大きさではなく運動の他の特性に基づいている場合がある。例えば、係数は、速度、加速度、または他の好適な特性に基づいて調節され得る。一例として、並進の速度が遅い場合、δは、式24Eにおける低いまたはゼロ値に設定され得る。これは、非接地型UIDの並進の速度が遅い場合、並進運動がツールの最終的な出力を計算するときに抑制される効果を有するだろう。同様に、いくつかの実施形態では、ユーザがロール運動を非接地型UIDに適用する角速度が、高い、またはある予め設定された、もしくはユーザが設定可能な値より高かった場合に、ヨー及びピッチのDOFと関連する係数α、βは、ゼロまたは低い値に設定され得る。これは、ユーザがある高い割合で(ユーザによって設定され、またはシステムによって設定され得るある閾値より高い)非接地型UIDをロールさせるため、ユーザが行うヨー及びピッチ運動を抑制する効果を有するだろう。したがって、係数が速度等の物理的な特性に対して設定され得ることが見られ得る。加速度等の他の特性がまた、使用され得る。
したがって、いくつかの実施形態では、UIDの運動は、分離された手段で処理されることが可能であり、システム10は、各分離された構成要素がある確定された基準に基づいてロボットツールの最終的な運動に適用され得る数量を決定し得る。加えて、係数を調節することによって、運動の各構成要素は、異なる行為を達成するために重点を置かれ、または重点を置かれない場合がある。
異方性の拡大縮小
図10は、いくつかの実施形態に従った、異方性の拡大縮小の一例を示している。いくつかの実施形態では、運動は、様々な条件に応じて別様に拡大縮小され得る。例えば、図10は、非接地型UID50を保持している操作者20のヒトの手810を示している。曲線矢印850は、手首の運動に起因した手の運動の快適な範囲を示している。破線で描かれている曲線矢印860及び870は、手首が延びているが緊張している領域を図示している。操作者は、これらの領域にアクセスしようとするときに不快さを感じ得る。図示されている実施形態では、非接地型UIDから軸方向に延在している円錐体820は、曲線矢印850に沿って手首を動かしている間にアクセスされ得る領域を表しており、破線によって図示されている円錐体830及び840は、曲線矢印860及び870に沿って手首を動かすことによってアクセスされ得る領域を表している。いくつかの実施形態では、システム10の操作をより容易にするために、UIDの運動は、操作者の手首が曲線矢印850に沿って、または860または870に沿って配置されているかどうかに応じて、それがロボットツールの運動へと変換されるときに、別様に拡大縮小され得る。
例えば、特定の実施形態では、手首が円錐体820に対応する曲線矢印850に沿って配置される場合、UID運動とロボットツールとの間の運動の拡大縮小は、1:1であり得る。他方、手首が領域830及び840に対応する860及び870に沿って配置される場合、UID運動とロボットツールとの間の運動の拡大縮小は、代わりに2:1であり得る。これは、曲線矢印860及び870に沿って操作する場合の回転角度(ロール、ピッチ、及びヨー)が二倍になり得ることを意味している。この種類または配置により、手首が緊張され得る領域では、本システムは、かかる領域での動作時の困難を低減する努力における手首の運動を増分させる。
回転のみを考える場合、いくつかの実施形態における異方性の拡大縮小の数学的な説明が下に与えられ得る。ΔRGrasperがUIDの回転に対応する回転行列に対応する場合、オイラー角のyawGrasper、pitchGrasper、rollGrasperは、式20を用いて見つけられ得る。最終的に適用される回転は、下記のように記載され得る。
いくつかの実施形態では、手首が曲線矢印850に沿って配置される場合、α、β、γは、全て1に設定され得る。他方、手首が曲線矢印860及び870に沿っている場合、α、β、γは、例えば、2.0等の異なる値に設定され得る。加えて、いくつかの実施形態では、α、β、γは、同じに設定される必要はない。それらは、異なる値に設定され得る。さらに、それらはまた、各領域で別様に設定され得る。例えば、領域860では、これらの値は、1.5に設定され得、領域870では、これらの値は、2.0に設定され得る。いくつかの実施形態では、非接地型UID50は、異なる拡大縮小値を有する異なる領域と関連し得る。例えば、1つは容易に到達し、他方は到達し難い状態の2つの領域があり得る場合であっても、2つを超える領域があり得る。
図11Aでは、ロボットツール40が示されており、図11Bでは、ロボットカメラによって見られるようなロボットツールの画像を示すスクリーン85が示されている。図11Cは、いくつかの実施形態に従った、α、β、γが手の快適な位置からの偏差の関数として設定され得る方法の一例を示している。偏差角が快適な位置(曲線での第1の曲げによって示されている)を超えて増加するとき、これらのパラメータは、最大値に到達するまで別様に設定され得る。注記されるように、α、β、γは、必ずしも同じ値を有する必要はない場合がある。加えて、γは、1に設定され得、または上で論じられた方法に応じて設定され得る。
いくつかの実施形態では、異方性の拡大縮小の概念は、回転のみに限定されない。例えば、本概念は、下のような式24を用いて一般化され得る。
各係数α、β、γ、δ、ε、μは、非接地型UIDの場所及び配向またはロボットツールの場所及び配向に応じて異なる値に設定され得、XGrasper、YGrasper、ZGrasperは、並進ベクトルのX、Y、及びZ構成要素である。
関節の限度としての異方性の拡大縮小
いくつかの実施形態では、異方性の拡大縮小に対する一般式(式26)は、様々な方法で使用され得る。一例では、システム10の1つ以上の関節が操作のそれらの限度に近づき得るように操作者がUIDを駆動させるときに、式26における拡大縮小は、ユーザが関節の限度への到達を生じ得る領域へとさらに進むことが困難であると分かるように、システム10によって自動的に修正され得る。例えば、各関節は、操作のその限度と関連する関節の位置に少なくとも部分的に基づいて1つ以上の領域と関連し得、到達領域における拡大縮小は、異なる場合がある。いくつかの実施形態では、システム10は、関節または複数の関節がそれらの限度に到達することを防ぐ方向に、ユーザがその限度に近づいているUID及び結果として関節を動かすように促す方法で、他の軸における運動を拡大縮小し得る。
いくつかの実施形態では、ディスプレイ(例えば、ディスプレイ85)は、システム10の1つ以上の関節が操作のそれらの限度に近づいていることをユーザに警告し、かつ関節の限度に到達しないようにUIDを操作する際にユーザの誘導を助けるために、関節の限度を表示するために使用され得る。例えば、システム10の1つ以上の関節が操作の限度から一定の閾値内にあるときに、視覚的な表示がディスプレイ上に提供され得、状況についてユーザに通知し、関節がそれらの限度に到達することを回避する方向に、UIDのそれらの操作を調節するように促す。いくつかの実施形態では、音声表示等の他の種類の表示が提供され得る。
位置ずれしているときの一般的な運動−ドライバビリティ及びゴースト画像
UID及びロボットツールが位置ずれしているときにUIDのロール運動を保存するための技術が上に記載されているが、いくつかの実施形態では、システム10は、位置ずれが一定の閾値内にあるときに、ロボットツールが非接地型UIDに従うことを可能にする。図11A及びBは、ロボットツールが、いくつかの実施形態に従った、位置ずれの量に基づいて非接地型UIDに従い得る例を示している。
図11Aでは、ロボットツール40が示されている。図示されている実施形態では、仮想の円錐体がロボットツールの周りに描かれている場合、ロボットツール及び非接地型UIDが同じ原点を有していたものとまた仮想し、UIDがこの円錐体内にある場合、システム10は、ツールがUIDに従うことを可能にし得る。いくつかの実施形態では、仮想の円錐体が、ロボットツールのロール軸の周りに描かれている。カメラに対するロボットツールのロール軸は、操作者の目に対する非接地型UIDのロール軸と比較され得る。
図11Bでは、ロボットカメラによって見られるようなロボットツールの画像を示すスクリーン85が示されている。図に示されているように、破線は、仮想の円錐体を示している。加えて、非接地型UID50はまた、画像へと描画される。いくつかの実施形態では、描画された画像は、非接地型UID50の3D対象、方式、または、代表図を含み得る。カメラが見るもの及びロボットツールの描画された画像から構成された複合画像が、スクリーン上に表示される。破線が使用されているか否か等の実際の表示方法は、本議論にとって重要でない。基準に対して、ロボットツールの描画された画像は、「ゴースト画像」と呼ばれ、ロボットツールの周りの仮想の円錐体は、「ドライバビリティ円錐体」と呼ばれ得る。いくつかの実施形態では、ロボット画像の「ゴースト画像」及び/または仮想の円錐体は、より容易に見られるように半透明であり得る。いくつかの実施形態では、3Dゴースト画像の重ね合わせの使用により、操作者がUIDの配向と把持具またはロボットツールの配向との間の不一致をより良好に見ることが可能になる。いくつかの実施形態では、仮想の円錐体は、ロボット画像の周りに加えて、またはその代りに、非接地型UID(または「ゴースト画像」もしくは非接地型UID)の周りに描画され得る。
いくつかの実施形態では、スクリーンへの非接地型UIDの描画の場所は、下記の方法で選択され得る。操作者がロボットツールを非接地型UIDに従わせる準備ができていると示すためにドライブに係合した後、システム10は、把持具の座標枠の原点に対する非接地型UIDの場所をマッピングし得る。非接地型UID及びロボットツールの配向は、合致し、または合致しない場合があり、システム10は、2つの座標枠が世界座標枠と呼ばれる同じ基準座標系と最終的に比較され得るように、これを判定することができる。配向に関わらず、非接地型UIDの描画は、図11Bに示されているような把持具の座標枠の原点と一致して配置され得る。例えば、ロボットツール及び非接地型UIDが位置ずれしているが同じ原点を有することが図から見られ得る。非接地型UIDの画像がこの円錐体内に現れている場合、システム10は、2つが正確に整列されていない場合であっても、ロボットツールが非接地型UIDに従うことを可能にし得る。円錐体内に現れている非接地型UIDの画像は、スクリーン上のライブビデオ画像上で操作者に提示されるような非接地型UID及びロボットツールの操作者が認識した配向は、いくらか整列されている。いくつかの実施形態では、操作者の目の枠に対する非接地型UIDは、ロボットツールの視認を操作者に提示するために使用されたカメラ枠に対するロボットツールといくらか整列され得る。他の実施形態では、非接地型UID及びロボットツールは、実際に(例えば、世界座標系と比較して)いくらか整列され得る。円錐体の角度は、操作者によって設定され得、または経験を通して判定され得、かつシステム10内の編集可能な、または編集不能なパラメータとして設定され得る。非接地型UIDにこの円錐体の外部を走行させるとき、システム10は、ロボットツールを非接地型UIDに従わせないことを選択し得る。この状況が生じているとき、ロボットツールは、それが非接地型UIDに従い得る前に再係合されなければならない。
上に記載されているように、いくつかの実施形態では、システム10は、それがドライバビリティ円錐体の外部にあるときに、ロボットツールが非接地型UIDに従うことを可能にしない場合がある。いくつかの実施形態では、ロボットツールに再係合するために、ユーザは、それが円錐体の内部に戻るように、非接地型UIDを操作し得る。いくつかの実施形態では、システム10は、非接地型UID及びロボットツールの座標枠の配向間のベクトル差または誤差を継続的に計算している場合がある。操作者が非接地型UIDの配向をロボットツールの配向に近づければ近づけるほど、誤差はますます小さくなる。操作者が非接地型UIDを整列させ続ける場合、操作者は最終的に、その位置を大きく外し得、誤差はより大きくなる。本例では、システム10は、ロボットツールが非接地型UIDに従うように命令し得る。次に、本方法は、ツール及びUIDが近接して整列されることを可能にする。本領域におけるツールの制御が可能になる。
いくつかの実施形態では、円錐体は、操作されるロボットツールに応じて異なる大きさからなり得る。例えば、把持具またはステープラが操作されている場合、円錐体の角度は、小さい場合があり、位置ずれに対するより低い公差を示す。他方、ロボットカメラが操作されている場合、より大きい位置ずれが許容可能であり、かつ耐えられ得るため、円錐体の角度は、より大きくなり得る。いくつかの実施形態では、円錐体以外の形状が使用され得る。
いくつかの実施形態では、システム10は、非接地型UIDとロボットツールとの間の異なる位置ずれに対応する複数の制御スキームを有し得る。例えば、システム10は、上に開示されているスキームを使用する場合があり、かつ/または本システムは、UIDとロボットツールとの間の位置ずれに応じて異なるスキームを使用し得る。非接地型UIDの運動がロボットツールに変換される方法は、各制御方式に対して異なる場合がある。例えば、システム10は、非接地型UIDがロボットツールと略垂直にある(例えば、ロボットツールのロール軸が非接地型UIDのロール軸に対して垂直である)ときに、制御方式を可能にし得る。いくつかの実施形態では、ロボットツールと関連する180度に配向された非接地型UIDがまた、制御方式と関連し得る。これらの異なる整列は、図11Bに示されている円錐体に対する様々な配向を有する複数の領域または円錐体と考えられ得る。非接地型UIDのロボットツールの運動への異なる自由度(例えば、ロール、ピッチ、及びヨー)の変換は、異なる整列領域の各々に対して異なる場合がある。例えば、ツールのシャフト及び/またはツールの顎に対して垂直な軸を有する円錐体によって表された領域では、非接地型UIDの純粋なピッチ運動がロボットツールの純粋なロール運動に対してマッピングされ得る。
いくつかの実施形態では、非接地型UIDが第1の制御方式に対応するロボットツール等の対象の第1の整列領域に対して位置ずれしている場合(例えば、操作者が入力システムのドライブから係合解除され、ロボットツールがもはやUIDに従わず、制御を再開する前に異なる配向にUIDを移動させる場合)、操作者は、非接地型UIDが第1の制御方式とは異なる第2の制御方式と関連する第2の整列領域内にあると通知され得る。いくつかの実施形態では、ドライバビリティ円錐体は、異なる可能性のある整列の各々と関連し得、特定の整列に対するドライバビリティ円錐体は、かかる整列と関連する制御方式を用いてロボットツールをまだ制御するように非接地型UIDに対して耐えられ得る位置ずれの量を示している。いくつかの実施形態では、特定の整列に対するドライバビリティ円錐体は、UIDのゴースト画像がかる整列に近づくように、スクリーン85上に表示され得る。これらの複数の整列領域は、操作者がより柔軟な方法で本システムを使用することを可能にする。例えば、スクリーン85の左側上に表示されたロボットツールは、180度のオフセットされた整列領域を利用することによって、操作者の右手内のUIDによって制御され得る。UIDとロボットツールとの間の「位置ずれ」を可能にする制御方式を提供することによって、本システムは、操作者がロボットツールのライブビデオ画像の表示に対する、または物理的なロボットツール自体に対する、非最適な配向または位置にあるときであっても、ロボットツールを効率良く使用し続けることを可能にする。この状況は、例えば、手動または腹腔鏡ツールを操作するために、操作者が手術台の近くに位置付けられる場合に、頻繁に生じ得る。
一般に、ある制限された量でマスタ及びスレーブ制御が位置ずれしている場合であっても本システムが駆動され得る概念に由来するこれらの実施形態は、特に、非接地型UIDにより制御され得るシステム等のシステムの使用の容易さを改善し得る。
最小化された誤差駆動スキーム
いくつかの実施形態では、把持具の速度は、ロボットツールがドライバビリティ円錐体内にある限り、非接地型UIDとロボットツールとのベクトル誤差に応じて調節可能であり得る。速度は、ある確定された基準に基づいて調節され得る。例えば、ベクトル誤差が増加していると見られる場合、把持具は、把持具が非接地型UIDに追いつくように速度を上げられ得る。他方、誤差が減少していると見られる場合、把持具は、UIDが把持具に追いつくように、速度が下げられ得る。誤差は、いくつかの方法で計算され得る。例えば、いくつかの実施形態では、下に数学的に記載され得る理由で、UID座標枠のX軸と把持具の座標との間の角度が見つけられる。
上のRが回転行列を表す場合、
は、目の座標枠に対するUID座標枠の回転行列の第1の列であり、
同様に、
は、カメラの座標枠に対する把持具の座標枠の回転行列の第1の列である。
誤差は、下記のように計算され得る。
ロボットツールの配向は、下記を用いることによって調節され得る。
yaw、pitch、rollは、把持具のヨー、ピッチ、及びロールであり、βは、把持具の速度を上げ、または速度を下げるように設定され得る係数である。
図11Dは、いくつかの実施形態に従った、βが設定され得る方法の一例を示している。本図では、X軸は、(Δ(t=τ)−δ(t=τ−dτ))に設定され得る。誤差を増加させるとき、βは、把持具が追いつくように、より大きい正の値に設定され得る。誤差が減少するとき、βは、把持具の速度を下げるように、より小さい値に設定される。いくつかの実施形態では、誤差が0に近いとき、βは、1に設定され得る。したがって、非接地型UID及び把持具は、整列を維持する傾向にある。
作業空間の中心
先に記載されているように、システム10は、操作者が1つまたは複数のロボットツールを制御するために使用し得る非接地型UIDを提供する。操作者が着座し、または立っている場合があるコンソールを提供し得る接地型UIDを有するシステムとは違い、システム10は、操作者が自由に動き回り、かつ患者に対する最適な位置に自身を位置付ける能力を提供する。接地型UIDでは、操作者は、自身を配向するためにコンソールを使用する。しかしながら、システム10がコンソールまたはユーザインタフェース台を提供し得るが、操作者がかかるコンソールまたは台に戻ることを必要とすることで、いくつかの実施形態本システムの利点が損なわれる。
必ずしもコンソールまたはユーザインタフェース台を有する必要がないにも関わらず、いくつかの実施形態では、操作者が配向の感覚を得るために戻り得、かつ容易にアクセスできる空間を提供することが有益であり得る。この空間は、作業空間の中心または自然な作業空間と呼ばれ得る。作業空間の中心の大きさ及び場所は、様々な方法で確定され得る。例えば、作業空間の中心は、操作者の手が自然に戻ることができる胴体の近くの自身の前で、操作者に関連して確定され得る。したがって、一例として、作業空間の中心は、操作者の前の直径約12インチの仮想球として仮想され得る。
図12Aは、いくつかの実施形態に従った、操作者20の前の作業空間1000の中心に対応する仮想球を示している。仮想球の場所は、静的または動的であるように選択され得る。例えば、球の場所が静的であるように選択されている場合、場所は、受動アーム75の基部等のある物理的な対象に対して確定され得る。他の対象が同じく選択される場合がある。他方、仮想球の場所が動的であるように選択されている場合、場所は、操作者等の動く対象に対して確定され得る。上で述べたように、いくつかの実施形態では、仮想球は、操作者の胴体の近くの自身の前で確定され得る。操作者が動き回るとき、仮想球は、操作者に対するその場所を維持する。これは、操作者の場所が追跡されることを必要とする。この追跡は、光学的かつ電磁的な方法を含む様々な方法で実行され得る。一例として、操作者は、ベルト上に配置された位置センサを有するベルトを着用し得る。いくつかの実施形態では、位置センサは、非接地型UIDを追跡する同じ追跡システムにより追跡され得る。
作業空間の中心は、様々な方法で使用され得る。いくつかの実施形態では、操作者の手が仮想球の内部のいずれかの場所にあるとき、かつ操作者がドライブに係合しているとき、非接地型UIDに対するゼロ位置及び配向(以降、単に「ゼロ位置」と称される)が確定される。したがって、このゼロ位置は、ロボットツールまたは複数のツールの現在の位置に対応するように生成され得る。いったんゼロ位置が確定されると、本システムが駆動状態にあるときのルーチン挙動に従われ得る。図12B及び12Cは、いくつかの実施形態に従ったこの挙動を示している。例えば、図12Bでは、本システムが駆動状態にないとき、操作者は、仮想球1000内のいずれかの場所に自身の手を配置し得る。ドライブに係合された後のこの領域内で、UID座標枠140に対するゼロ位置として、特定の場所が確定される。これはまた、ドライブに係合されたときであっても、操作者の手が仮想球1000の外部にある場合、システム10が運転を許容せず、かつ運転行動が生じていないことを操作者に警告する、操作者に対するメッセージを送信することを意味している。操作者は、次に仮想球内に自身の手を位置付けることを必要とされる。しかしながら、手が仮想球内にあり、かつドライブに係合されている場合、ドライブに係合される瞬間の非接地型UIDの特定の場所は、ドライブに係合される期間に対するゼロ位置として確定される。したがって、患者に対する手術の過程中に、それが静的または動的であるかに関わらず、仮想球は、操作者を配向する方法を提供する。これらの実施形態は、正常に係合されたシステムまたは正常に係合解除されたシステムと共に使用され得る。加えて、いくつかの実施形態では、1つ以上の状況を満たさない限り、操作を防ぐ安全な締め出しを提供する二次的ドライブが含まれ得る。例えば、本システムは、表示スクリーンから操作者の目を追跡し得、かつ目がスクリーン上にない場合に、ツールの運転を許容しない。別の例として、本システムは、UID上のセンサ(例えば、圧力センサまたは容量式センサ)からのフィードバックを受信し得、次に、操作者の手がUID上にない場合に運転を許容しない。
いくつかの実施形態では、操作者に対する自然な座標枠が確定され得る。この自然な座標枠の目的は、ロボットツールまたは複数のツールの特定の動作に対する操作者の自然な動作をマッピングすることである。一例として、図12Dでは、手術台35の近くに立っている操作者20が示されている。傾斜して示され、操作者に向かう、かつ操作者から離れる矢印1020は、操作者が自身の手を動かす自然な方法であり得る。この自然な動作は、図12Eに示されているような、カメラ軸に沿ったロボットツールまたは複数のツールの動作へとマッピングされ得、作業空間の中心は、仮想球1000によって示されている。球内のその原点を含む座標系1030は、この座標系のZ軸が、操作者が自身の手を動かし得る方法についての自然な方向1020と整列するように示されている。したがって、1030のZ軸に沿った運動は、カメラ軸に沿ったロボットツールの運動にマッピングされ得る。言い換えれば、ロボットツールの画像がスクリーン85上で見られる場合、1030のZ軸に沿った運動は、スクリーン内外を走行するように現れ得る。いくつかの実施形態では、座標枠1030の配向は、構成可能であり得る。一例として、工程の開始前、または設定プロセス中に、システム10は、操作者が自身の腕を上下に動かすように一定の行動を実行するように指示し得る。腕の位置及び操作者の体の位置を追跡し、かつ記録することによって、座標枠の配向が設定され得る。加えて、いくつかの実施形態では、この同じ工程を使用して、同じく作業空間の中心の場所を確定し得る。いくつかの実施形態では、自然な座標枠に対する上に記載されている変換は、目の座標枠に同じく当てはまり得る。
いくつかの実施形態では、ティスプレイ(例えば、モニタ85)を使用して、非接地型UIDがロボットシステムの使用可能な作業空間の外部にあり、または使用可能な作業空間の縁から一定の距離内にあるかどうかを操作者に警告し、操作者が非接地型UIDを使用可能な作業空間に戻ることを促し得る。
各手に対する独立した座標枠
ヒトが自身の手を動かすとき、動作は、脳によって複雑な方法で解釈される。いくつかの状況では、動作は、内側座標の座標系に対する基準により理解され得る。いくつかの事例では、動作は、他の座標枠に対して理解され得、例えば、動作は、その前腕に取り付けられた座標枠に対して理解され得る。
特定の例によりこれをさらに説明するために、自身の前に腕を伸ばしたヒトが、腕を左または右に動かし得、脳は、この運動を内側の基準枠に対する右の左の運動として理解し得る。しかしながら、この同じヒトが、自身の後ろで同じ腕を揺らし得、腕を左または右に動かし得る。ここで、脳は、前腕等の腕のある部分と関連する座標枠に対して左または右の方向を理解する。加えて、先の内側の基準枠に対して、左右の通知が反転される。この同じ経験が、同じく他の手が後方を指している状態で行われ得る。したがって、この思考実験の一実行は、2つの手が基準の独立した座標枠で動き得ることであり、各座標の基準枠は、腕のある部分へと連結される。例えば、いくつかの実施形態では、操作者は、第1のUIDを制御するために第1の手を使用し得、第2のUIDを制御するために第2の手を使用し得る。第1の手及び第2の手は、第1の座標系及び第2の座標系と関連し得る。いくつかの実施形態では、基準の第1及び第2の枠は、同じであり得る。他の実施形態では、基準の第1及び第2の枠は、互いに異なり得る。基準の第1及び第2の枠は、互いに直交し得、または互いに直交しない場合がある。
独立した座標枠で2つの手を動かすこの挙動を複製することは、操作者が非接地型UIDによりシステム10を制御しているときに、いくつかの実施形態において有益であり得る。図13Aは及びBは、いくつかの実施形態に従った、2つの手と関連する独立した座標枠を示している。図13Aでは、矢印1000及び1010は、操作者20の各腕の左右の位置を示している。いくつかの実施形態では、各腕の右及び左側は、示されているような操作者の右及び左側と一致し得る。図13Bでは、操作者は、自身の腕をある角度で有し、本事例では、各腕の右及び左側は、操作者の右及び左側と一致していない。矢印1020及び1040は、矢印1000及び1010に対する、かつ操作者の右及び左側に対するある角度での各腕の右及び左側を示している。さらに、いくつかの実施形態では、各腕の右及び左側は、互いに、または操作者の右及び左側と同一平面上にさえない場合がある。また、図13Bに示されている状況では、カメラによって見られ、かつスクリーン上に表示されるようなロボットツールの左右の方向に各腕の左右の方向をマッピングすることが、いくつかの実施形態において有益であり得る。
したがって、2つの独立した座標枠において非接地型UIDの操作を可能にすることが、いくつかの実施形態において望ましい場合がある。この概念は、下にかつ図14及び15に数学的に記載されている。いくつかの実施形態では、2つの独立した座標枠の使用により、本システムの改善された性能が提供される。
図14は、いくつかの実施形態に従った、1つは各腕と関連する、2つの独立した座標枠を示している。図14に示されているように、グラフ1100及び1110は、UIDが左手と関連する座標枠1100で動き得る左手によって操作され得ることを示している。いくつかの実施形態では、この座標系は、左の前腕と関連し得る座標系1110に対して測定され得る。グラフ1110は、左の前腕と関連する座標枠が、操作者がドライブに係合するときに確定され得ることを示している。言い換えれば、ドライブに係合されるとき(t=0時間で)の左の前腕の瞬間的な位置及び配向が、運転期間中に左腕によって操作されるUIDに対する基準枠として使用され得る。
同様に、独立した座標枠は、右の前腕上で、ならびにドライブに係合された瞬間に、グラフ1120によって示されているように確定され得る。次に、右手1130によって保持されたUIDと関連する座標枠は、右の前腕と関連する座標枠1120に対して測定され得る。いくつかの実施形態では、前腕の座標枠は、限定されないが、光学追跡装置または磁気追跡装置等のある種類の追跡装置によって追跡され得る。
上で論じられているいくつかの実施形態では、2つの手に対する独立した座標枠の概念に関して、UID基部65は、UID装置を追跡するために使用される装置として使用されていた。独立した座標枠が前腕上で確定されているいくつかの実施形態では、同じUID基部65を使用して、前腕を追跡し得る。前腕または操作者の体の他の部分には、磁気センサまたは光学的に識別可能な特徴等のUID基部65によって追跡されるさらなる器具が装着され得る。したがって、それが関連する前腕に対するUIDの運動は、下記のように記載され得る。
式31は、左または右の指示子がなく記載されているが、両手に適用され得る。
図15は、いくつかの実施形態に従った、図14に記載されているもの等の2つの独立した座標系に対する座標変換を示している。また上で述べたように、左腕及び手ならびに右腕及び手に対する「左」及び「右」という指示子は使用されておらず、したがって、図は、各前腕の座標枠が独立している場合があることを理解した上で、各腕及び手に適用可能である。図15は、右側または「ロボット」側が図3の同じ側と同一であるという事実において、図3と非常に類似している。図3と図15との間の差は、図3では、両手及び両腕は「UID基部」の基準枠という1つの共通の基準枠を参照したことである。しかしながら、図15では、各手と関連する枠は、前腕と関連する座標基準システムに対して追跡され得る。
また上で述べたように、いくつかの実施形態に従って、各前腕と関連する座標枠は、ドライブが適用された瞬間に確定され得る。本システムが駆動状態にある時間中、前腕及び関連する手は、動き回ることができるが、ドライブに係合されたときに確定された位置に対して測定される。いくつかの実施形態では、新規の座標基準枠は、ドライブが係合解除され、再び再係合されたときに確定され得る。したがって、各腕の左右の感覚は、ドライブに係合された瞬間に、かつ前腕に対して確定される。さらに、各腕に対する感覚は、他の腕に対する感覚から独立している場合がある。
図16は、いくつかの実施形態に従った、2つの独立した座標枠を示している。図16に示されているように、操作者は、2つの座標の基準枠1200及び1300と共に見られる。操作者は、これらの2つの平面内で非接地型UIDを動かし得る。いくつかの実施形態では、これらの2つの平面の角度は、互いに独立して設定され得る。例えば、角度は、ドライブ係合時間で設定され得、または他の時間で設定され得る。
平面1200を参照すると、いくつかの実施形態では、矢印1210に沿って非接地型UIDを動かすことが、カメラを介してみられるときのロボットツールの左右の運動へと変換され得る。同様に、矢印1230に沿って非接地型UIDを動かすことが、これもカメラを介してみられるときのロボットツールの上下の運動へと変換され得る。最終的にいくつかの実施形態では、破線1240が、図12Eに対して記載されているような、口等の面上の場所から離れて手が動く自然な方法を図示し得る。この方向は、カメラ軸に沿ったツールの運動へとマッピングされ得る。したがって、左右及び上下の運動が画定される自然な運動に対して垂直であり得る平面と共にツールの出し入れの運動(またはカメラの軸に沿ったツールの動作)へとマッピングするために体の自然な運動を選別することにより、ロボットシステムの使用容易さが増大し得る。平面1200と同様に、平面1300は、同じ運動(例えば、上、下、左、右、入り、及び出し)であるが左腕に対して図示している。
いくつかの実施形態では、ユーザが平面1200で矢印1210に沿って非接地型UIDを動かす場合、ロボットツールは、カメラによって見られるように左右に動かし得る。この運動から独立して、ユーザが平面1300で矢印1310に沿って非接地型UIDを動かす場合、ロボットツールはまた、同じくカメラによって見られるように左右に動き得る。各手によって開始される左右の運動は、平面1200及び1300の角度に関わらず、ツールに適用される。いくつかの実施形態では、座標枠1200及び1300は、操作者が動き回るときに変化し得、または自身の前腕の位置が変わるときに部屋内の配向を変える。いくつかの実施形態では、座標枠1200及び1300への更新が継続的に生じ得る(例えば、ドライブに係合されている間)。更新は、すぐにまたは少し後に生じ得る。いくつかの実施形態では、座標枠1200及び1300への更新は、離散的に(例えば、ドライブの各係合または係合解除で)、または操作者による入力もしくは選択時にのみ(例えば、操作者は、UIDの作業空間をいつ再画定するかを選択する)生じ得る。したがって、操作者が動く場合、これらの平面はまた、操作者と共に動き得る。これは、いくつかの実施形態において有益であり得、操作者が便利かつ快適な方法でロボットを操作することを可能にする。
ハードウエアによる連結された運動の切り離し
操作者の手の連結された運動を切り離すための方法についての上の実施形態が記載されていた。いくつかの実施形態では、切り離しは、追加の追跡装置の使用によって達成され得る。例えば、図17は、いくつかの実施形態に従った、操作者の手の連結された運動を切り離すための複数のセンサを有する非常に器用な外科手術システムを示している。
図17で示されているように、非接地型UID50を有するシステム10を操作している操作者20が見られる。装置1400’及び1400’’に連結された操作者がまた見られ得る。いくつかの実施形態では、これらの装置は、操作者の掌の裏に位置している。他の実施形態では、これらの装置は、操作者の腕に沿ったある他の場所に位置し得る。いくつかの実施形態では、装置1400’及び1400’’は、1つ以上のセンサ(例えば、磁気追跡用センサ、慣性感知用センサ、及び/または同様のもの)を備え得る。光学追跡を使用するもの等の他の実施形態では、装置1400’及び1400’’は、任意のセンサを含有しない場合があり、代わりに、1つ以上の光及び/または反射面を備え得る。
また、2つのカメラ1410’及び1410’’が図に見られる。いくつかの実施形態では、カメラ1410’は、装置1400’に対する直接的な視線を有するように見られ、カメラ1410’’は、装置1400’’に対する直接的な視線を有するように見られる。装置1400’及び1400’’は、カメラ1400’及び1410’’と共に光学追跡システムを形成する反射面、光、ピン、または球を有し得る。したがって、カメラ1410’及び装置1400’は、操作者20の左手の位置を追跡し得、カメラ1410’’及び装置1400’’は、操作者の右手の位置を追跡し得る。装置1400’及び1400’は操作者の手の裏に図示されているが、他の場所が選択され得る(例えば、非接地型UID50上、または操作者の体の他の場所上)。いくつかの実施形態では、装置1400’及び1400’’及びカメラ1410’及び1410’’の場所は、反転され得る(例えば、カメラは操作者の手の裏に配置され、装置はカメラに対する直接的な視線により取り付けられる)。いくつかの実施形態では、操作者の手または体に固定された特定の装置または器具ではなく、操作者の手の形状を認識するように構成された磁気的な追跡システムまたは視覚的な追跡システム等の他の種類のセンサが利用され得る。さらに、1410’及び1410’’等の外部追跡装置の存在を必要としない、慣性感知(加速度計等)が使用され得る。
本実施形態により、操作者が自身の指でUIDを回転させるときに非接地型UIDが被り得る連結された並進運動が、UIDの運動がエンドエフェクタの運動に適用されたときに分離され、かつ低減または除去され得る。これをさらに説明するために、操作者が例えば組織に対する縫合を適用するために非接地型UID50を回転させる場合(いくつかの実施形態では、1つまたは両方の手が使用されているかどうかは重要でない)、上の議論から、ある並進運動が非接地型UIDへと連結し得ることが期待される。しかしながら、上に記載されている補助的な追跡システムまたは他の追跡システムを用いると、並進運動が測定され得る。追跡システムは非接地型UIDが経験する同じ並進運動を測定すると想定すると、連結された並進運動は、エンドエフェクタに適用された運動から取り除かれ、または除去され得る。
数学的な条件では、UIDの任意の1つの運動が
によって図示されている場合、次に、UIDがロール及び並進運動を経験している場合、いくつかの実施形態では、それは下記のように記載され得る。
装置1400’及び1400’’は、それが同じ並進運動を経験し得るが、非接地型UIDが自身の指を用いた操作者による回転運動を被るときに、任意の回転運動を経験し得ない場合がある。それはまた、ヒトの手の運動学によって判定された関数によって非接地型UIDの並進運動に数学的に関連する運動を経験し得る。
したがって、非接地型UIDの並進運動が掌の裏のセンサの並進運動と同じであると想定すると、下記の式は、下記のように記載され得、
は、非接地型UIDの並進運動を表し、
は、センサ1400’または1400’’の並進運動を表している。
ここで、ロボットツールの最終的に適用された運動は、UIDの運動(連結された運動を有する)及び掌の裏のセンサの運動という2つのパラメータのある一般的な関数φとして記載され得る。したがって、
式33で特定されているように、非接地型UIDの並進運動は、掌の裏の装置の並進運動と同じである。式34で最終的な出力を計算しているが、この構成要素は除去され得る。したがって、並進運動のみを経験する独立した装置は、非接地型UID運動からこの運動の切り離しを可能にする。
いくつかの実施形態では、2つのカメラ1410’及び1410’’が図17に示されているが、1つのみのカメラが必要とされ得る。他の実施形態は、性質的に光学的でないセンサを用いることを含み得る。センサ1400’及び1400’’は、限定されないが電磁的なセンサを含む様々な種類からなり得る。加えて、図における非接地型UIDの図は長い管状構造のように見えるが、他の実施形態では、他の形状が可能であると理解される。
したがって、上の概念により、配向のための方法が提供され得ると分かる。加えて、ロボットツールの特定の運動に対して操作者の自然な運動をマッピングする方法が提供されている。これらの方法の実施形態は、有益なことに、システム10の使用の容易さを改善し得る。
実施機構
実施形態に従って、本明細書に記載されている非常に器用なシステムのユーザインタフェース及び他の方法ならびに技術は、1つ以上の特殊な用途のコンピューティングデバイスによって実行され得る。特殊な用途のコンピューティングデバイスは、本技術を実行するように配線され得、または1つ以上の特定用途向け集積回路(ASIC)または本技術を実行するように持続的にプログラムされた現場プログラム可能ゲートアレイ(FPGA)等のデジタル電子装置を含み得、もしくはファームウエア、メモリ、他の記憶装置、またはそれらの組み合わせでプログラムの指示に従った技術を実行するようにプログラムされた1つ以上の汎用ハードウエアプロセッサを含み得る。かかる特殊な用途のコンピューティングデバイスはまた、カスタム配線論理、ASIC、またはFPGAを、本技術を達成するためのカスタムプログラミングと組み合わせ得る。特殊な用途のコンピューティングデバイスは、デスクトップコンピュータシステム、サーバコンピュータシステム、ポータブルコンピュータシステム、手持ち装置、ネットワーキング装置、または本技術を実行するための配線及び/またはプログラム論理を組み込む他の装置または装置の組み合わせであり得る。
コンピューティングデバイスは、一般に、iOS、Android、ChromeOS、WindowsXP、Windows Vista、Windows7、Windows8、Windows Server、WindowsCE、Unix、Linux、SunOS、Solaris、iOS、BlackberryOS、VxWorksまたは他の互換性のある操作システム等の操作システムのソフトウエアによって制御され、かつ協調される。他の実施形態では、コンピューティングデバイスは、専用の操作システムによって制御され得る。従来型の操作システムは、実行に対してコンピュータプロセスを制御し、かつ計画し、メモリ管理を実行し、ファイルシステム、ネットワーキング、I/Oサービスを提供し、かつ他の事項の中でも特に、グラフィカルユーザインタフェース(「GUI」)等のユーザインタフェース機能を提供する。
例えば、図18は、本明細書で論辞されている様々なシステム及び方法が実行され得るコンピュータシステム1800の実施形態を示しているブロック図である。例えば、上に記載されているようなシステム10と関連するコンピュータシステムは、図18で示されているような1つ以上のコンピュータシステム1800またはサーバ1830として実行され得る。
コンピュータシステム1800は、バス1802または情報を通信するための他の通信機構、及びハードウエアプロセッサ、または情報を処理するためのバス1802と連結された複数のプロセッサ1804を含む。ハードウエアプロセッサ1804は、例えば、1つ以上の汎用マイクロプロセッサであり得る。
コンピュータシステム1800はまた、プロセッサ1804によって実行される情報及び指示を記憶するためのバス1802と連結された、ランダムアクセスメモリ(RAM)、キャッシュ及び/または他の動的記憶装置等のメインメモリ1806を含む。メインメモリ1806はまた、プロセッサ1804によって実行される指示の実行中に一時的な変数または他の中間情報を記憶するために使用され得る。プロセッサ1804にアクセス可能な記憶媒体に記憶されたとき、かかる指示は、コンピュータシステム1800を、指示において特定された操作を実行するためにカスタマイズされた特殊な用途の機械へと描画する。
コンピュータシステム1800は、読み出し専用メモリ(ROM)1808またはプロセッサ1804に対する静的な情報及び指示を記憶するためにバス1802に連結された他の静的な記憶装置をさらに含む。磁気ディスク、光学ディスク、またはUSBサムドライブ(フラッシュドライブ)、及び/または任意の他の好適なデータストア等の記憶装置1810が提供され、センサデータ、ロボットツールの制御指示、及び/または同様のもの等の情報及び指示を記憶するためのバス1802に連結される。
コンピュータシステム1800は、バス1802を介して、ユーザに情報を表示し、かつ/またはユーザからの入力を受信するための、陰極線管(CRT)、LCDディスプレイ、またはタッチスクリーンディスプレイ等のディスプレイ1812へと連結され得る。例えば、図1に示されているようなモニタ85は、ディスプレイ1812として実行され得る。英数字及び他のキーを含み得る入力装置1814は、情報及び指令の選択をプロセッサ1804に通信するためにバス1802に連結される。別の種類のユーザ入力装置は、方向情報及び指令の選択をプロセッサ1804に通信するための、かつディスプレイ1812上のカーソル動作を制御するための、マウス、トラックボール、またはカーソル方向キー等のカーソル制御1816である。この入力装置は、典型的に、装置が平面内の位置を特定することを可能にする、第1の軸(例えば、x)及び第2の軸(例えば、y)という2つの軸内で少なくとも2つの自由度を有する。いくつかの実施形態では、カーソル制御と同じ方向の情報及び指令の選択が、カーソルのないタッチスクリーン上のタッチの受容を介して実行され得る。いくつかの実施形態では、図1に示されているようなUID50は、入力装置1812及び/またはカーソルコンソール1816として実行され得る。
コンピュータシステム1800は、上に記載されているような、データ分析システムの1つ以上のグラフィカルユーザインタフェースを実行するためのユーザインタフェースモジュール、及び/または様々な他の種類のモジュールを含み得る。本モジュールは、コンピューティングデバイスによって実行される実行可能なソフトウエアコードとしての大容量記憶装置に格納され得る。この及び他のモジュールは、例示の方法によって、ソフトウエア構成要素、オブジェクト指向ソフトウエア構成要素、クラス構成要素、及びタスク構成要素、プロセス、関数、属性、工程、サブルーチン、プログラムコードのセグメント、ドライバ、ファームウエア、マイクロコード、回路、データ、データベース、データ構造、テーブル、アレイ、及び変数等の構成要素を含み得る。
一般に、本明細書で使用される場合、「モジュール」という用語は、例えば、Java、Lua、C、またはC++等のプログラミング言語で記載された、入口及び出口点を有する可能性のある、ソフトウエア指示の回収を指す。ソフトウエアモジュールは、動的リンクライブラリにインストールされた実行可能なプログラムへとコンパイルされ、かつリンクされる場合があり、または例えば、BASIC、Perl、またはPython等の解釈されたプログラミング言語で記載され得る。ソフトウエアモジュールは、他のモジュールから、またはそれ自体から呼び出し可能であり得、かつ/または検出されたイベントまたは割り込みに応答して想起され得ると理解されるだろう。コンピューティングデバイス上で実行されるためのソフトウエアモジュールは、コンパクトディスク、デジタルビデオディスク、フラッシュドライブ、磁気ディスク、または任意の他の有形的表現媒体等のコンピュータ読み取り可能媒体上に、またはデジタルダウンロード(及び、実行前にインストール、解凍、または暗号解読を必要とする圧縮可能またはインストール可能なフォーマットで元々保存され得る)として提供され得る。かかるソフトウエアコードは、コンピューティングデバイスによって実行されるための実行コンピューティングデバイスのメモリ装置上に部分的に、または完全に記憶され得る。ソフトウエア指示は、EPROM等のファームウエアに埋め込まれ得る。ハードウエア装置(プロセッサ及びCPU等)は、ゲート及びフリップフロップ等の接続された論理ユニットから構成され得、かつ/またはプログラム可能なゲートアレイまたはプロセッサ等のプログラム可能なユニットから構成され得るとさらに理解されるだろう。一般に、本明細書に記載されているモジュールとは、それらの物理的な組織または記憶に関わらず、他のモジュールと組み合わされ、またはサブモジュールへと分割され得る論理モジュールを指す。様々な実施形態において、本明細書に記載されている方法及びシステムの態様は、例えば、論理回路として、1つ以上のハードウエア装置によって実行され得る。様々な実施形態において、本明細書に記載されている方法及びシステムのいくつかの態様は、ソフトウエア指示として実行され得、他方は、任意の組み合わせのハードウエアで実行され得る。
述べられているように、コンピュータシステム1800は、コンピュータシステムと組み合わせて、コンピュータシステム1800が特殊な用途の機械となるようにし、またはそのようにプログラムする、カスタマイズされた配線論理、1つ以上のASICまたはFPGA、ファームウエア及び/またはプログラム論理を用いて、本明細書に記載されている技術を実行し得る。一実施形態に従って、本明細書の技術は、1つ以上のモジュール及び/またはメインメモリ1806に含有された指示の1つ以上の順序を実行するプロセッサ1804に応答するコンピュータシステム1800によって実行される。かかる指示は、記憶装置1810等の別の記憶媒体からメインメモリ1806へと読み出され得る。メインメモリ1806に含有された指示の順序の実行により、プロセッサ1804は本明細書に記載されているプロセス工程を実行する。代替的な実施形態では、配線回路は、ソフトウエア指示の所定位置で、またはこれと組み合わせて使用され得る。
本明細書で使用される場合、「非一時的な媒体」という用語及び同様の条件とは、特定の形態で機械を操作させるデータ及び/または指示を記憶している任意の媒体を指す。かかる非一時的な媒体は、不揮発性の媒体及び/または揮発性の媒体を備え得る。不揮発性の媒体は、例えば、記憶装置1810等の光学または磁気ディスクを含む。揮発性の媒体は、メインメモリ1806等の動的メモリを含む。非一時的な媒体の一般的な形態は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、半導体ドライブ、磁気テープ、または任意の他の磁気データ記憶媒体、CD−ROM、任意の他の光学データ記憶媒体、ホールのパターンを有する任意の物理的な媒体、RAM、PROM、及びEPROM、FLASH−EPROM、NVRAM、任意の他のメモリチップ、またはカートリッジ、及びそのネットワーク化された型を含む。
非一時的な媒体は、伝送メディアとは区別されるが、これと併せて使用され得る。伝送メディアは、非一時的な媒体間の情報の伝達に関与する。例えば、伝送メディアは、バス1802を備える電線を含む、同軸ケーブル、銅線、及び光ファイバーを含む。伝送メディアはまた、電波及び赤外線データ通信中に生成されたもの等の音響または光波の形態をとることができる。
様々な形態の媒体が、実行のためのプロセッサ1804への1つ以上の指示の1つ以上の順序の搬送に関わり得る。例えば、指示は、遠隔コンピュータの磁気ディスクまたは半導体ドライブ上で最初に搬送され得る。遠隔コンピュータは、指示及び/またはモジュールをその動的メモリへと読み込み、モデムを用いた電話線上で指示を送信することができる。コンピュータシステム1800にローカルなモデムは、電話線上でデータを受信し、データを赤外線信号に変換するために赤外線送信器を使用することができる。赤外線検出器は、赤外線信号内で搬送されたデータを受信することができ、好適な回路がデータをバス1802上に配置することができる。バス1802は、メインメモリ1806にデータを搬送し、そこからプロセッサ1804は、指示を検索し、かつ実行する。メインメモリ1806によって受信された指示は、任意に、プロセッサ1804による実行の前または後のいずれかに記憶装置1810上に記憶され得る。
いくつかの実施形態では、コンピュータシステム1800はまた、バス1802に連結された通信インタフェース1818を含み得る。通信インタフェース1818は、ローカルネットワーク1822に接続されたネットワークリンク1820に連結する双方向データ通信を提供する。例えば、通信インタフェース1818は、サービス総合デジタル通信網(ISDN)カード、ケーブルモデム、衛星モデム、またはデータ通信接続を対応する種類の電話線に提供するためのモデムであり得る。別の例として、通信インタフェース1818は、データ通信接続を互換性のあるLAN(または、WANと通信するためのWAN構成要素)に提供するためのローカルエリアネットワーク(LAN)カードであり得る。無線リンクがまた、実行される場合もある。任意のかかる実行において、通信インタフェース1818は、様々な種類の情報を表すデジタルデータストリームを搬送する電気信号、電磁信号または光学信号を送信し、かつ受信する。
ネットワークリンク1820は、典型的に、1つ以上のネットワークを介して他のデータ装置にデータ通信を提供する。例えば、ネットワークリンク1820は、ローカルネットワーク1822を介してホストコンピュータ1824への、またはインターネットサービスプロバイダ(ISP)1826によって操作されたデータ機器への接続を提供し得る。次に、ISP1826は、現在では「インターネット」1828と一般に称されるパケットデータ通信ネットワークを介したデータ通信サービスを提供する。ローカルネットワーク1822及びインターネット1828は共に、デジタルデータストリームを搬送する電気信号、電磁信号または光学信号を使用する。コンピュータシステム1800へと、かつここからデジタルデータを搬送する、様々なネットワークを介した信号及びネットワークリンク1820上の、かつ通信インタフェース1818を介した信号が、伝送メディアの例示的な形態である。
コンピュータシステム1800は、ネットワーク、ネットワークリンク1820、及び通信インタフェース1818を介して、プログラムコードを含む、メッセージを送信し、かつデータを受信することができる。インターネットの例では、サーバ1830は、インターネット1828、ISP1826、ローカルネットワーク1822、及び通信インタフェース1818を介してアプリケーションプログラムに対する要求されたコードを伝達し得る。例えば、実施形態では、データ分析システムの様々な態様が、サーバ1830のうちの1つ以上で実行される場合があり、コンピュータシステム1800へと、かつここから伝達され得る。例えば、データは、コンピュータシステム1800と1つ以上のサーバ1830との間で伝達され得る。一例では、センサデータは、1つ以上のサーバ1830へと伝達され得、次に、ロボットツール制御指示等の分析データは、サーバ1830から伝達し戻り得る。
追加の実施形態
別段記載されない限り、または使用されている文脈内で別段理解されない限り、特に「できる」、「できるだろう」、「し得るだろう」、「し得る」等の条件言語は、一般に、他の実施形態が含まないが、一定の実施形態が一定の特徴、要素及び/または工程を含むことを伝えることを意図している。したがって、かかる条件言語は、一般に、特徴、要素及び/または工程が、1つ以上の実施形態に対して必要とされる任意の方法にあること、または1つ以上の実施形態が、ユーザの入力または指示により、またはこれらなしに、これらの特徴、要素及び/または工程が任意の特定の実施形態に含まれ、もしくはこれで実行されるかどうかを決定するための論理を必ずしも含むことを意図していない。
本明細書に記載され、かつ/または添付の図に示されているフロー図における任意のプロセスの説明、要素、またはブロックは、プロセスにおける特定の論理関数または工程を実行するための1つ以上の実行可能な指示を含むモジュール、セグメント、またはコードの部分を潜在的に表すものと理解されるべきである。代替的な実行は、要素または関数が除去され、かつ当業者によって理解されるような、関連する機能性に応じて、略同時に、または逆の順序で示され、もしくは論じられているものとは異なる順序で実行され得る、本明細書に記載されている実施形態の範囲内に含まれている。
本明細書に記載されている方法及びタスクは、コンピュータシステムによって実行され、かつ完全に自動化され得る。コンピュータシステムは、いくつかの事例では、記載されている関数を実行するためにネットワーク上で電子的に通信し、かつ相互運用する複数の別個のコンピュータまたはコンピューティングデバイス(例えば、物理的なサーバ、ワークステーション、記憶アレイ等)を含み得る。かかる各コンピューティングデバイスは、典型的に、メモリまたは他のコンピュータ読み取り可能な記憶媒体内に記憶されたプログラム指示またはモジュールを実行するプロセッサ(または、複数のプロセッサ)を含む。本システムが複数のコンピューティングデバイスを含む場合、これらの装置は、必要ではないが、同一場所に配置され得る。本開示された方法及びタスクの結果は、半導体メモリチップ及び/または磁気ディスク等の物理的な記憶装置を異なる状態へと変換することによって、持続的に記憶され得る。
上に記載されている方法及びプロセスは、1つ以上の汎用コンピュータによって実行されたソフトウエアコードモジュールに具現化され、かつこれを介して完全に自動化され得る。コードモジュールは、任意の種類のコンピュータ読み取り可能な媒体または他のコンピュータ記憶装置に記憶され得る。方法のいくつかまたは全てが、代替的に、専用のコンピュータハードウエアに具現化され得る。本開示の方法の結果は、磁気ディスク記憶及び/または固体のRAMを使用する関連するデータベース及びフラットファイルシステム等の任意の種類のコンピュータデータリポジトリ内に記憶され得る。
上に記載されている実施形態に対して多くの変形及び変更が行われる場合があり、その要素は、他の許容可能な例の中にあるものとして理解される。全てのかかる変形及び変更は、本明細書で本開示の範囲内に含まれることを意図している。上述の説明は、本発明の一定の実施形態を詳述している。しかしながら、前述のものが文中でいかに詳細に現れようとも、本発明は、多くの方法で実施されることが可能であると理解されるだろう。また上で述べたように、本発明の一定の特徴または態様を記載するときの特定の専門用語の使用は、専門用語が関連する本発明の特徴及び態様の任意の特定の特性を含むことに制限されるように専門用語が本明細書で再定義されることを暗に示しているととられるべきではない。

Claims (7)

  1. システムであって、
    第1のロボットツールと、
    第1の座標系を用いて前記第1のロボットツールを制御するように構成された、操作者によって使用されるための第1の非接地型ユーザインタフェース装置(UID)であって、前記第1のUIDに関連する前記制御は、
    前記第1のUIDの第1のUID運動を特定すること、及び
    前記第1のUIDの前記特定された第1のUID運動に基づいて前記第1のロボットツールの第1のロボットツール動作を実行することを含む、第1の非接地型ユーザインタフェース装置と、を備え、
    前記第1のロボットツールの制御は、
    第1の座標枠に対する前記第1のUIDの配向を第2の座標枠に対する前記第1のロボットツールの配向と比較することをさらに含み、
    前記第1の座標枠に対する前記第1のUIDの前記配向が前記第2の座標枠に対する前記第1のロボットツールに対して一定の領域内にある場合に、前記第1のUIDが前記第1のロボットツールを制御し、
    前記一定の領域は、前記第1のロボットツールの周りに円錐体を備え、前記円錐体は、前記第1のロボットツールの端に対応する頂点を備える、
    システム。
  2. 第2のロボットツールと、前記第1の座標系とは独立した第2の座標系を用いて前記第2のロボットツールを制御するように構成された、前記操作者によって使用されるための第2の非接地型ユーザインタフェース装置(UID)と、をさらに備え、前記第2のUIDに関連する前記制御は、
    前記第2のUIDの第2のUID運動を特定することと、
    前記第2のUIDの前記特定された第2のUID運動に基づいて前記第2のロボットツールの第2のロボットツール動作を実行することと、を含む、請求項1に記載のシステム。
  3. 前記第1のロボットツールは、把持具、外科手術用ツール、またはカメラのうちの少なくとも1つを備える、請求項1に記載のシステム。
  4. 前記第1のUIDは、前記操作者の第1の手によって制御されるようにさらに構成され、前記第2のUIDは、前記操作者の第2の手によって制御されるようにさらに構成されている、請求項2に記載のシステム。
  5. 前記第1のツールの制御は、
    操作者によってドライブが係合されたことを判定することと、
    前記ドライブが係合されたことの判定に応答して、第1の手と関連する前記操作者の第1の前腕上のある位置を確定することと、をさらに含み、前記第1のUIDのUID運動が、前記第1の前腕上の前記位置に関連して測定される、請求項4に記載のシステム。
  6. 記第2の座標枠は、前記第1のロボットツールと関連するカメラ枠に対応している、請求項に記載のシステム。
  7. 前記第1のロボットツールは、複数の異なる領域と関連する複数の制御方式と関連し、前記第1のロボットツールを制御するために前記第1のUIDによって使用される前記複数の制御方式のうちの1つが、第2の座標枠に対する前記第1のロボットツールの配向と関連する第1の座標枠に対する前記第1のUIDの配向に基づいている、請求項1に記載のシステム。
JP2017544633A 2015-02-24 2015-07-30 非常に器用なシステムのユーザインタフェース Active JP6787623B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562120128P 2015-02-24 2015-02-24
US62/120,128 2015-02-24
PCT/US2015/042991 WO2016137527A1 (en) 2015-02-24 2015-07-30 Hyperdexterous system user interface

Publications (2)

Publication Number Publication Date
JP2018513711A JP2018513711A (ja) 2018-05-31
JP6787623B2 true JP6787623B2 (ja) 2020-11-18

Family

ID=56789663

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017544633A Active JP6787623B2 (ja) 2015-02-24 2015-07-30 非常に器用なシステムのユーザインタフェース

Country Status (6)

Country Link
US (1) US10842577B2 (ja)
EP (1) EP3262469B1 (ja)
JP (1) JP6787623B2 (ja)
KR (1) KR20170140179A (ja)
CN (1) CN107430389B (ja)
WO (1) WO2016137527A1 (ja)

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170140179A (ko) 2015-02-24 2017-12-20 에스알아이 인터내셔널 하이퍼덱스테러스 시스템 사용자 인터페이스
JP6552642B2 (ja) * 2015-06-10 2019-07-31 インテュイティブ サージカル オペレーションズ, インコーポレイテッド 不整列時のマスターとスレーブと間の向きマッピング
JP6673684B2 (ja) 2015-12-11 2020-03-25 株式会社メディカロイド 遠隔操作装置及び遠隔手術システム
EP3709927A4 (en) * 2017-11-16 2020-12-23 Intuitive Surgical Operations Inc. MASTER / SLAVE REGISTRATION AND CONTROL FOR REMOTE OPERATION
EP3787852B1 (en) 2018-06-15 2023-10-25 Verb Surgical Inc. User interface device having grip linkages
US11534246B2 (en) * 2018-06-15 2022-12-27 Verb Surgical Inc. User input device for use in robotic surgery
US11135031B2 (en) 2018-06-15 2021-10-05 Verb Surgical Inc. User interface device having grip linkages
US11478318B2 (en) 2018-12-28 2022-10-25 Verb Surgical Inc. Methods for actively engaging and disengaging teleoperation of a surgical robotic system
US11204640B2 (en) 2019-05-17 2021-12-21 Verb Surgical Inc. Methods for determining if teleoperation should be disengaged based on the user's gaze
US11337767B2 (en) 2019-05-17 2022-05-24 Verb Surgical Inc. Interlock mechanisms to disengage and engage a teleoperation mode
CN112057170B (zh) * 2019-09-10 2022-02-15 深圳市精锋医疗科技股份有限公司 手术机器人及其控制方法、控制装置
US11571269B2 (en) 2020-03-11 2023-02-07 Verb Surgical Inc. Surgeon disengagement detection during termination of teleoperation
US11911120B2 (en) 2020-03-27 2024-02-27 Verb Surgical Inc. Training and feedback for a controller workspace boundary
EP4190513A4 (en) * 2020-08-03 2024-01-24 Mitsubishi Electric Corporation REMOTE CONTROL DEVICE
JP2023539864A (ja) * 2020-08-27 2023-09-20 バーブ サージカル インコーポレイテッド 外科用ロボットによる内視鏡の制御
US20220061938A1 (en) * 2020-08-31 2022-03-03 Livsmed Inc. Methods for laparoscopic surgery with assist robot and controlling methods for laparoscopic surgery system with assist robot
IT202100003431A1 (it) * 2021-02-16 2022-08-16 Medical Microinstruments Inc Metodo per controllare una teleoperazione limitata, su un sottoinsieme di gradi libertà, di un sistema robotico di tipo master-slave per teleoperazione medica o chirurgica
CN113842209B (zh) * 2021-08-24 2024-02-09 深圳市德力凯医疗设备股份有限公司 超声设备控制方法、超声设备及计算机可读存储介质
WO2023233279A1 (en) * 2022-06-03 2023-12-07 Medical Microinstruments, Inc. A control method of a robotic system for medical or surgical teleoperation and related robotic system
GB2625105A (en) * 2022-12-06 2024-06-12 Cmr Surgical Ltd Control system for a surgical robotic system
CN117140539B (zh) * 2023-11-01 2024-01-23 成都交大光芒科技股份有限公司 基于空间坐标变换矩阵的机器人三维协同巡检方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US636488A (en) * 1899-07-14 1899-11-07 Giacomo Catanzano Propeller.
JPH0871072A (ja) * 1994-09-01 1996-03-19 Olympus Optical Co Ltd 手術用マニピュレータシステム
CN1155833A (zh) 1995-06-20 1997-07-30 伍云升 用于医疗处理的活节机械手
US5784542A (en) * 1995-09-07 1998-07-21 California Institute Of Technology Decoupled six degree-of-freedom teleoperated robot system
US6364888B1 (en) * 1996-09-09 2002-04-02 Intuitive Surgical, Inc. Alignment of master and slave in a minimally invasive surgical apparatus
CN1100516C (zh) 1997-08-27 2003-02-05 北京航空航天大学 机器人脑外科设备系统及其所采用的图象和坐标处理方法
US8010180B2 (en) * 2002-03-06 2011-08-30 Mako Surgical Corp. Haptic guidance system and method
CN1190171C (zh) * 2003-05-28 2005-02-23 天津大学 用于显微外科手术机器人中的机械臂
CN1299650C (zh) * 2005-03-11 2007-02-14 天津大学 具有力感觉的显微外科手术机器人控制系统
JP2006302019A (ja) * 2005-04-21 2006-11-02 Toyota Motor Corp ロボット制御装置
DE102006010469A1 (de) * 2006-03-07 2007-09-13 GM Global Technology Operations, Inc., Detroit Bördeleinrichtung sowie Verfahren zum Rollbördeln von Werkstücken
US20080248871A1 (en) * 2007-03-15 2008-10-09 Szturm Anthony Interface device
US8282653B2 (en) * 2008-03-24 2012-10-09 Board Of Regents Of The University Of Nebraska System and methods for controlling surgical tool elements
US8935003B2 (en) * 2010-09-21 2015-01-13 Intuitive Surgical Operations Method and system for hand presence detection in a minimally invasive surgical system
US8521331B2 (en) 2009-11-13 2013-08-27 Intuitive Surgical Operations, Inc. Patient-side surgeon interface for a minimally invasive, teleoperated surgical instrument
US8543240B2 (en) * 2009-11-13 2013-09-24 Intuitive Surgical Operations, Inc. Master finger tracking device and method of use in a minimally invasive surgical system
CN102646275B (zh) 2012-02-22 2016-01-20 西安华旅电子科技有限公司 通过跟踪和定位算法实现虚拟三维叠加的方法
US9733727B2 (en) 2012-12-07 2017-08-15 Wen-Chieh Geoffrey Lee Optical mouse with cursor rotating ability
KR102188100B1 (ko) * 2013-03-15 2020-12-07 삼성전자주식회사 로봇 및 그 제어방법
CN109171977A (zh) 2013-03-15 2019-01-11 Sri国际公司 超灵巧型手术系统
CN104252225A (zh) 2013-06-27 2014-12-31 南京迈瑞生物医疗电子有限公司 体感控制医疗设备及医疗设备体感控制方法
KR102206198B1 (ko) * 2013-07-10 2021-01-22 삼성전자주식회사 수술 로봇 시스템 및 그 제어 방법
DE102013110847B3 (de) * 2013-10-01 2015-01-22 gomtec GmbH Steuervorrichtung und Verfahren zum Steuern eines Robotersystems mittels Gestensteuerung
WO2015166487A1 (en) * 2014-04-28 2015-11-05 Mazor Robotics Ltd. Ultrasound guided hand held robot
CN103995592A (zh) 2014-05-21 2014-08-20 上海华勤通讯技术有限公司 穿戴式设备与终端进行信息交互的方法及终端
KR20170140179A (ko) 2015-02-24 2017-12-20 에스알아이 인터내셔널 하이퍼덱스테러스 시스템 사용자 인터페이스
CN105551033B (zh) * 2015-12-09 2019-11-26 广州视源电子科技股份有限公司 元件标记方法、系统和装置

Also Published As

Publication number Publication date
US20180036088A1 (en) 2018-02-08
JP2018513711A (ja) 2018-05-31
EP3262469A1 (en) 2018-01-03
EP3262469B1 (en) 2023-11-22
US10842577B2 (en) 2020-11-24
CN107430389A (zh) 2017-12-01
EP3262469A4 (en) 2018-08-22
KR20170140179A (ko) 2017-12-20
WO2016137527A1 (en) 2016-09-01
CN107430389B (zh) 2020-11-06

Similar Documents

Publication Publication Date Title
JP6787623B2 (ja) 非常に器用なシステムのユーザインタフェース
US9801690B2 (en) Synthetic representation of a surgical instrument
CN109791801B (zh) 机器人外科手术系统中的虚拟现实训练、模拟和协作
CN110800033B (zh) 虚拟现实腹腔镜式工具
EP2148629B1 (en) Frame mapping and force feedback methods, devices and systems
US11376088B2 (en) Systems and methods for haptic feedback in selection of menu items in a teleoperational system
JP2017513549A (ja) モード移行において振動を減衰させる指令形成
US20230064265A1 (en) Moveable display system
US20230028689A1 (en) System and method for inter-arm registration
Bihlmaier et al. Endoscope robots and automated camera guidance
WO2020028777A1 (en) System and method of displaying images from imaging devices
WO2023023186A1 (en) Techniques for following commands of an input device using a constrained proxy
Zhang et al. Direct manipulation of tool‐like masters for controlling a master–slave surgical robotic system
US20220296323A1 (en) Moveable display unit on track
US20230414307A1 (en) Systems and methods for remote mentoring
Xie et al. Development of stereo vision and master-slave controller for a compact surgical robot system
US20210068799A1 (en) Method and apparatus for manipulating tissue
Dawson Design and Evaluation of A Contact-free Interface for Minimally Invasive Robotics Assisted Surgery
CN116528790A (zh) 用于调整观看系统的显示单元的技术
WO2023014732A1 (en) Techniques for adjusting a field of view of an imaging device based on head motion of an operator
WO2024076592A1 (en) Increasing mobility of computer-assisted systems while maintaining a partially constrained field of view

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180719

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190524

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20190828

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200331

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200403

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200929

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201023

R150 Certificate of patent or registration of utility model

Ref document number: 6787623

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150