JP5782515B2 - ロボットの協働制御および音声フィードバックを用いて力覚センサ情報を提示する方法 - Google Patents

ロボットの協働制御および音声フィードバックを用いて力覚センサ情報を提示する方法 Download PDF

Info

Publication number
JP5782515B2
JP5782515B2 JP2013523275A JP2013523275A JP5782515B2 JP 5782515 B2 JP5782515 B2 JP 5782515B2 JP 2013523275 A JP2013523275 A JP 2013523275A JP 2013523275 A JP2013523275 A JP 2013523275A JP 5782515 B2 JP5782515 B2 JP 5782515B2
Authority
JP
Japan
Prior art keywords
force
robot
surgical instrument
audio feedback
instrument
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013523275A
Other languages
English (en)
Other versions
JP2013533063A (ja
Inventor
エイチ テイラー ラッセル
エイチ テイラー ラッセル
アルカディウスズ バリッキー マルシン
アルカディウスズ バリッキー マルシン
タハラ ハンダ ジェームス
タハラ ハンダ ジェームス
ルイス ゲールバッチ ピーター
ルイス ゲールバッチ ピーター
イオーダチタ イウリアン
イオーダチタ イウリアン
ウネリ アリ
ウネリ アリ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Johns Hopkins University
Original Assignee
Johns Hopkins University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Johns Hopkins University filed Critical Johns Hopkins University
Publication of JP2013533063A publication Critical patent/JP2013533063A/ja
Application granted granted Critical
Publication of JP5782515B2 publication Critical patent/JP5782515B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/102—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for optical coherence tomography [OCT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/72—Micromanipulators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/77—Manipulators with motion or force scaling
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • A61F9/00727—Apparatus for retinal reattachment
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J13/00—Controls for manipulators
    • B25J13/08—Controls for manipulators by means of sensing devices, e.g. viewing or touching devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/63—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for local operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00115—Electrical control of surgical instruments with audible or visual output
    • A61B2017/00119—Electrical control of surgical instruments with audible or visual output alarm; indicating an abnormal situation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2061—Tracking techniques using shape-sensors, e.g. fiber shape sensors with Bragg gratings
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/303—Surgical robots specifically adapted for manipulations within body lumens, e.g. within lumen of gut, spine, or blood vessels
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/065—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring contact or contact pressure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/066—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring torque
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/7455—Details of notification to user or communication with user or patient ; user input means characterised by tactile indication, e.g. vibration or electrical stimulation

Description

[関連出願の相互参照]
本出願は、２０１０年８月２日出願の米国仮出願第６１/３７０，０２９号からの利点を主張するものであり、その開示は参照により本明細書に完全に援用される。
[政府権益の声明]
本発明は、アメリカ国立衛生研究所により与えられたグラント番号ＥＢ００７９６９およびアメリカ国立科学財団により与えられたグラント番号ＥＥＣ９７３１４７８の下での米国政府による援助を受けてなされたものであり、米国政府は本発明に対してある一定の権利を有する。
本発明は、外科手術器具の協働制御方法およびシステムに関するものである。特に、本発明は、ロボットの協働制御および音声フィードバックを用いて力覚センサ情報を提示する方法に関する。
網膜顕微鏡手術は最も難しい外科的作業の一つである。なぜなら、ヒトには感覚運動的な限界があり、また精密で微細な器具を必要とし、さらに小規模で脆弱な環境下においてミクロン規模の知覚タスクを行うことが本質的に難しいからである。網膜手術において、外科医は、網膜組織にかかる力が感覚認知閾値を超えないようにしてミクロン規模の動作を行う必要がある。さらに、外科的作業に影響を与えるものとして、器具による誤差、生理的な手の震え、視覚の劣化、一部の組織への接近性の欠如、患者の動き、および長時間にわたる手術による疲労等がある。網膜手術に用いる外科手術器具は、強膜（眼球の壁部を形成する白い可視膜）に貫通させる（通常直径０．５ｍｍ〜０．７ｍｍの）細長い軸を有することを特徴とする。多くの場合、各器具により作用する力はヒトの感覚閾値を大幅に下回る。
したがって、外科医は、視覚的手がかりを頼りに、網膜に過剰な力をかけないようにしなければならない。これらの視覚的手がかりは組織に加えた力から生じた直接的な結果であり、熟練した外科医であれば、手がかりに応じて器具を後退させたり組織を再度捕捉したりすることによって別のアプローチを採ろうとするが、それによって剥離作業は中断し、外科医は再度注意深く対象物に接近することが必要となる。知覚不能な微小力の手がかりを感知してロボットマニピュレータにより先制的な対応を行うことで、剥離作業が継続可能となり、タスク完成にのみ費やせる時間を増加し、合併症の危険性を最小限に抑えることができる。これらの要因はすべて医療過誤および合併症の原因となり、ひいては失明につながることもある。
一例として、網膜上膜を剥離する処置においては、精密な（２０―２５ゲージ（Ｇａ））外科手術器具を用いて網膜の表面から薄膜を注意深く剥離する。多くの場合、網膜組織にかかる力はヒトの感覚閾値を大幅に下回る。現行の運用では、網膜に過剰な力がかからないようにするためには、外科医は視覚的手がかりに頼るほかなく、それが失明のリスクを伴う網膜損傷や出血を引き起こす場合があった。
腹腔鏡手術においては、ダ・ヴィンチ（商標）外科手術用ロボットシステム等のロボットによる支援が広く導入されているが、顕微鏡手術に特化したシステムはまだ研究段階にある。顕微鏡手術システムの例としては、遠隔操作システム、フリーハンドアクティブ振戦除去システム、およびジョンズ・ホプキンス大学による「ステディハンド」ロボット等の協働制御ハンドオーバーハンドシステムがある。ステディハンド制御では、外科医とロボットの双方が手術器具を把持し、ロボットは外科医が器具のハンドルにかけた力を感知し、そこから振戦を除去した後その動きに追従する。網膜顕微鏡手術では、外科医が手術対象の眼球を動かそうとする場合を除き、各器具を通常強膜挿入点上で旋回させる。この旋回の中心点は、機械制約下の遠隔操作性の動心またはソフトウエアにより強制的に決定することもできる。器具軸と強膜との間の相互作用があるため、ロボット制御および器具―網膜間の力の測定がいずれも複雑化する。
器具―網膜間の力を測定するには、超高感度（分解能０．２５ｍＮ）力覚センサが用いられてきた。力覚センサは、強膜挿入点から遠位において器具軸に取り付けられる。力覚センサにより、器具―強膜間の力による干渉を抑制しつつ器具―組織間の力を測定することができる。さらに、外科的用途においては、器具―組織間の力および器具―手間の力のスケーリング差分に基づきロボット応答を生成する、スケーリング協働制御方法による、エンドポイント微小力センサが用いられてきた。
加えて、第一世代ステディハンドロボットは、特に硝子体網膜手術用に設計されたものであった。このステディハンドロボットは、生体外ロボット支援による血管挿入法を実施する際には問題なく用いることができたが、人間工学的な限界があることが分かっていた。例えば、第一世代ステディハンドロボットの器具の旋回限界はわずか±３０％である。この器具旋回限界をさらに拡大するため、旋回限界の範囲を±６０％にまで向上した第二世代ステディハンドロボットが開発された。この第二世代ステディハンドロボットは、第一世代ステディハンドロボットとは異なり、デカルト座標において大きな間節速度を同時発生させることなく機械的なアイソセンタ動作を行う平面６節機構を用いる。
第二世代ステディハンドロボットは、大幅に改良されたマニピュレータと一体型微小力センシングツールの両方を実装することにより、硝子体網膜手術における技術向上を図るものである。しかしながら、硝子体網膜手術は繊細なため、当該技術分野においては、器具操作をさらに改良して無用な合併症を回避することが求められている。例えば、硝子体網膜手術に付随する合併症は、眼組織に過剰および／または不適切な力がかかることによって引き起こされうる。現行の運用では、外科医は、ゆっくりと安定した操作を行うことで、小さく安全な力を作用させることが必要となる。また、外科医はもっぱら視覚フィードバックに頼らざるを得ないため、問題は複雑になる。なぜなら、かすかな手がかりを検出し、評価し、そして、対応するには時間がかかり、また、この作業は経験の浅い外科医にとっては特に難しいからである。
したがって、当該技術分野において、硝子体網膜手術等で用いる外科用器具の制御方法をさらに改善することが求められている。
本発明の第一の態様によれば、外科手術器具の協働制御システムは、
ロボットと外科医とによって把持されるように構成された外科手術器具を受け入れる器具ホルダと、
作業者が入力した力および／または器具先端の力に基づく力を検出するセンサと、
検出された力に基づいてロボット速度を制限して、触覚フィードバックを行うコントローラと、
検出した付加力に基づき、マルチレベルの音声フィードバックの中から１つのレベルを自動的に選択するセレクタであって、該音声フィードバックは付加力の相対的な強度を示す、セレクタと、
触覚フィードバックとともに音声フィードバックを行う音声装置と、
を備える。
本発明の第二の態様によれば、外科手術器具の協働制御システムは、
ロボットと外科医とによって把持されるように構成された外科手術器具を受け入れる器具ホルダと、
外科手術器具と目的とする対象領域との間の距離を検出するセンサと、
検出された距離に基づき音声フィードバックの１つを自動的に選択するセレクタであって、該音声フィードバックは前記目的とする対象領域から前記外科手術器具までの距離についての距離センサ情報を示す、セレクタと、
音声フィードバックを行う音声装置と、
を備える。
本発明の第三の態様によれば、外科手術器具の協働制御方法は、
ロボットと外科医とにより把持されるように構成された外科用器具を受け入れるステップと、
外科手術器具と組織との間の界面における力を検出するステップと、
外科手術器具と組織との間に検出された力に基づきロボット速度を制限して触覚フィードバックを行うステップと、
検出された力に基づいて音声フィードバックを自動的に選択するステップであって、該音声フィードバックは付加力の相対的な強度を示す、ステップと、
選択された音声フィードバックを触覚フィードバックとともに提供するステップと、
を備える。
添付の図面は、本明細書に開示する代表的な実施形態をさらに十分に説明するために用いられうる可視化表現であり、当業者は図面を参照することによりこれらの実施形態およびその利点についてさらによく理解することができるであろう。なお、各図面を通じて、同じ符号は同じ要素を示す。
本発明の特徴による例示的なシステムの模式図である。 本発明の特徴による例示的なシステムの模式図である。 本発明の特徴による例示的な外科手術器具の分解組立図である。 本発明の特徴による、力に対する音声フィードバックのグラフ表示である。 本発明の特徴による、各サンプル剥離再現性試験のグラフ表示である。 図６（Ａ）〜図６（Ｄ）は、それぞれ、本発明の特徴による、種々の制御モードの代表的な実験における、音声フィードバックの有無による先端の力をプロットしたグラフ表示である。
以下、本明細書に開示する本発明の内容について、添付の図面を参照してさらに詳述するが、各図面に示す実施形態は本発明による実施形態の一部であって、全てではない。全体を通して、同じ参照符号は同じ要素を示す。ここに開示する本発明は、幾多の様々な形態において具現化することができ、本明細書に記載の実施形態に限定して解釈すべきではない。むしろ、これらの実施形態は、本開示が該当する法的要件を満たすように提供するものである。また、本発明の当業者は、本明細書の先の記載内容および関連する図面に基づいて、本開示の実施形態についての種々の変更やその他の実施形態を想起しうるであろう。したがって、本開示の内容は、記載された特定の実施形態にのみ限定して解釈すべきものではなく、その他の実施形態も添付の特許請求の範囲に含まれるものとして理解されたい。
本発明は、外科手術器具の協働制御方法およびシステムに関するものである。本発明の例示的な実施形態よるシステムおよび方法は、協働制御下のハンドーバーハンドシステムにおいて用いることができる。例としては、「Development and Application of a New Steady-Hand Manipulator for Retinal Surgery」、 Mitchell et al., IEEE ICRA, pp. 623-629 (2007)、「Micro-force Sensing in Robot Assisted Membrane Peeling for Vitreoretinal Surgery」、 M. Balicki, A. Uneri, I. lordachita, J. Handa, P. Gehlbach, and R. H. Taylor, Medical Image Computing and Computer-Assisted Intervention (MICCAI), Beijing, September, 2010, pp. 303-310、および「New Steady-Hand Eye Robot with Microforce Sensing for Vitreoretinal Surgery Research」、A. Uneri, M. Balicki, James Handa, Peter Gehlbach, R. Taylor, and I. Iordachita, International Conference on Biomedical Robotics and Biomechatronics (BIOROB), Tokyo, September 26-29, 2010, pp. 814-819に記載されたロボット支援による手術システムがあり、各文献の内容は参照により本明細書に完全に援用される。ステディハンド制御において、外科医とロボットの双方が外科用器具を把持する。ロボットは、外科医が器具のハンドルにかけた力を感知し、あらゆる振戦を除去しつつ、その動きに追従する。上記の文献に関連して特定の協働制御システムを記載するが、本発明のシステムおよび方法は、その他の協働制御システムおよびフリーハンド手術においても適用可能であることを理解されたい。
図１および図２に、本発明に関連して用いるロボット支援手術システムの第一の例示的実施形態を示す。システム１０は、例えば、ヒトの眼等の中空器官の臓器顕微鏡手術に用いることができるが、その他の用途にも適用可能である。
図１および図２に示すように、システム１０は、ロボット１２および外科医１７とにより把持される外科用器具１６を受け入れる器具ホルダ１４を備える。器具ホルダ１４により、顕微鏡手術下で必要な種々の外科手術器具、例えば、鉗子、持針器、鋏等を容易に取り付けることができるが、外科手術器具はこれらに限定されない。好ましくは、外科医１７は器具ハンドル１８を介して外科手術器具１６を把持し、この外科手術器具１６をロボット１２と協働して導いて、器具先端２０で目的とする対象領域を手術する。さらに、力／トルクセンサ２４を器具ホルダ１４に取り付けて、外科医が器具に付加した力を感知して、ロボットに対する指令を入力するのに用いてもよい。
好ましくは、カスタムメカニカルＲＣＭを設けて、ロボット座標の確実性および精度を向上させる。このＲＣＭ機構は、仮想ＲＣＭモードでの操作時にデカルト座標上の速度と動作の範囲を減縮してシステムの全体的な安全性を向上するものであり、それにより器具軸を制約して常に眼上の強膜開口部と交差させる。
図３に、本発明のシステムおよび方法に関連して用いる例示的な外科手術器具３０を示す。特に、外科手術器具３０は上記のシステムのような協働操作の用途に特化して設計してもよいが、手術用ロボットのエンドエフェクタとしての遠隔操作ロボットまたはフリーハンド操作において用いることもできる。さらに、外科手術器具３０は、ヒトの眼Ｅの手術用に特化して設計してもよい。
引き続き図３を参照すると、外科手術器具３０は、鉤状の端部３４を有する器具軸３２を備える。外科手術器具３０は、好ましくは、一体型のファイバー・ブラッグ・グレーティング（ＦＢＧ：Fiber Bragg Grating）センサ等を用いて製造する。ＦＢＧは堅固な光学センサであり、静電気源、電磁気源、またはラジオ周波数源からの干渉を受けずに着色染料の変化を検出することができる。好ましくは、器具軸３２に沿って多数の光ファイバ３６を設けて、器具の屈曲を測定したり、（ＦｘおよびＦｙに沿った）横断面における力を感度０．２５ｍＮで算出したりすることができるようにする。したがって、器具と端部との間の力を高感度に測定することができる。
硝子体網膜の顕微鏡下手術の場合、常に７．５ｍＮ未満の力を感知する必要があるため、サブｍＮの精度で計測が可能な力覚センサを選択すべきである。その場合、２５ゲージの網膜開口部に挿入するには器具の大きさを極小にする必要があり、力覚センサは、強膜下において、器具の先端における測定値を取得することを目的とするものである。
図１および図２を再度参照すると、システム１０はプロセッサ２６およびメモリ装置２８を備える。メモリ装置２８は、１つまたはそれ以上のコンピュータ可読な記憶媒体およびロボットと協働制御を行うための機械可読の指示を備えていてもよい。本発明の特徴は、検出された力（作業者入力および／または―器具先端の力）がプロセッサ２６に送信され、その力に応じてコントローラがロボット速度を制限して触覚フィードバックを行うことにある。さらに、プログラムは、検出された付加力に基づき、マルチレベルの音声フィードバックの中から１つのレベルを自動的に選択するための命令を含む。音声フィードバックは、付加された力の相対的な強さを示す。音声装置により、触覚フィードバックとともに音声フィードバックを行う。音声装置は、プロセッサ２６と一体化するのが好ましいが、独立した別個の装置としてもよい。
図４は、マルチレベル音声フィードバックの例示的な実施形態を示すグラフである。特に、音声フィードバックの有用な範囲を硝子体網膜手術用に特別に開発した。具体的には、可聴「ビープ音」の再生テンポを３つの力レベルゾーンに変調する音声フィードバックを選択して、一般的な硝子体網膜手術に関連する各力作用範囲を表すようにした。音声フィードバックは、付加された力が所定の範囲内にあるか否かに基づいて選択することができる。好ましい実施形態によれば、１ｍＮ以上の力を測定するまでは音声は無音とすることができる。１ｍＮから約３．５ｍＮの範囲においては、一定の低いビープ音を選択し、その範囲を「安全」操作ゾーンとして設定する。「警告」ゾーンは３．５ｍＮ〜７．５ｍＮの範囲とし、比例的にテンポが増加し、それに続く「危険ゾーン」では、７．５ｍＮを超えるあらゆる力に対して一定の高テンポのビープ音を発生させる。さらに、付加力に比例してこの高テンポのビープ音を大きくして、過剰な力が付加されていることをよりはっきりと外科医に知らせることが好ましい。
上述したように、操作入力および／または器具先端の力に基づいてロボットの挙動を調整する協働制御方法には様々なものがあり、各方法は、本発明に基づき説明した音声フィードバックと組み合わせて用いることができる。制御方法の各パラメータとしては、ハンドル入力の範囲（０Ｎ〜５Ｎ）、および剥離作業力および速度を考慮した。音声センサに代わるセンサは、フィードバックの代用物または相補的形態として機能し、器具先端の力に関する情報を高分解能でリアルタイムに提供する。しかしながら、本発明の特徴によれば、音声フィードバックに関連して種々の制御方法を用いることができることを理解されたい。さらに、本発明はその他のタイプの音声フィードバックを含み、ビープ音に限定されるものではない。
協働制御方法の一例として、「Preliminary Experiments in Cooperative Human/Robot Force Control for Robot Assisted Microsurgical Manipulation」Kumar et al., IEEE ICRA,. 1: 610-617 (2000) に記載されるような比例速度制御（ＰＶ）が挙げられる。当該文献の内容は参照により本明細書に完全に援用される。特に、器具の速度（Ｖ）は、ユーザがハンドルに入力する力（Ｆｈ）に比例する。硝子体網膜手術においては、ゲインをα＝１とし、それにより１Ｎのハンドル入力を１ｍｍ／ｓの器具速度に変換する。
別の協働制御方法は、直線力スケーリング制御（ＦＳ：linear force scaling control）と呼ばれるもので、器具先端で感知したヒトに知覚できない力（Ｆｔ）をマッピングまたは増幅し、ロボット速度を調節することにより相互作用力を操作するものである。先行技術等（prior applications）において、基準化因子をそれぞれγ＝２５およびγ＝６．２５とする（これらは、硝子体網膜を剥離する際の動作パラメータの範囲においては小さい）ことが、「Evaluation of a Cooperative Manipulation Microsurgical Assistant Robot Applied to Stapedotomy」、Berkelman et al.、LNCS ISSU 2208: 1426-1429 (2001)および「Preliminary Experiments in Cooperative Human Robert Force Control for Robot Assisted Microsurgical Manipulation」、Kumar et al.、IEEE ICRA、1 :610-617 (2000)に記載されているが、各文献の開示は参照により本明細書に完全に援用される。基準化因子をγ＝５００とすれば、器具先端における０〜１０ｍＮの操作力をマッピングして、ハンドルにおける入力を０〜５Ｎとすることができる。
本発明に関連して用いることのできる別の協働制御方法として、制限のある比例速度制御（ＶＬ）を利用すれば、先端における力が小さいときに操縦性を向上することができる。この方法は、ＰＶ制御を利用するが、先端の力に逆比例した速度制約を付加するものある。そのようなスケーリングを行うと、器具先端の力が大きくなるにつれロボットの反応が非常に緩慢になり、操作速度を効果的に減衰させる。硝子体網膜手術では、この制約パラメータは、経験的にｍ＝−１８０およびｂ＝０．９となるように選択した。力の大きさがｆ１＝１ｍＮ未満では速度制限を行わず、ゼロ交差不安定性を回避する。同様に、先端の力が高閾値（ｆ２＝７．５ｍＮ）よりも大きいときは速度制限（ｖ２＝０．１）を実施して、ある程度作業者を制御する。
本発明は、フリーハンド手術においても有用である。現行運用では、外科医は、変形する組織からの反射光における変化を視覚的に解釈することで、組織に付加した相対的応力の推定を間接的に行っている。こタイプの「目視による感覚代行」には膨大な経験と集中力を要し、熟達した外科医しか行うことができない。本発明の特徴によれば、力を直接測定して聴覚表現とともに外科医にリアルタイム伝達することで、より明確で客観的なフィードバックを得ることができる。
また、本発明は、対象とする目的領域と外科用器具との間の距離を検出するのに関連して用いることもできる。特に、センサを設けて、外科用器具と目的とする対象領域との距離を検出してもよい。検出された距離に基づいて音声フィードバックを選択する。好ましくは、センサはＯＣＴ範囲センサであるが、その他のタイプの任意の距離センサを用いることができる。
以下の実施例は、本開示による代表的な各実施形態を当業者が実施するにあたりその情報を提供するためのものである。本発明の開示内容と当該技術分野における通常の知識に照らして、以下の実施例は例示にすぎず、本発明の範囲を逸脱しない限り、多くの変更、修正、改変が可能であることが当業者に対して明らかになるであろう。以下の実施例は説明の目的で供するものであり、限定を目的とするものではない。
一体型のファイバー・ブラッグ・グレーティング（ＦＢＧ：Fiber Bragg Grating）センサを備えた器具を作成し、その器具軸に沿って３本の光ファイバを設けた。この器具を、ロボットに対して向きを較正したうえでロボット器具ホルダに装着した。センサデータを収集し、２ｋＨｚで処理して、ＴＣＰ／ＩＰで送信した。網膜組織の剥離をシミュレートするため、人体模型モデルを作成した。層状剥離に好適な繰り返し利用可能な模型としては、19mm Clear Bandages （RiteAidブランド）から得た粘着性のラベルが適していることが分かった。ラベルを薄切りにして、幅２ｍｍの切片とし、台紙から複数回にわたり剥離すると、予想通り剥離速度の増加に伴って剥離力が増加した。プラスチックの剥離層は高い可撓性を有するが、フックに取り付けた箇所における破損圧力に耐えうるだけの強度を有する。完全に剥離するには器具を２０ｍｍ動かす必要があった。図５に、種々の速度について観測された各力を示す。
作業完了時間を最短にしつつ平均剥離力および最大剥離力を減少させて、上記の制御方法の有効性を比較した。本例では、１つの被験体について以下のような方法で試験を行った。安定したプラットフォームに架空モデルを両面テープで接着し、剥離面から１．５ｍｍ上方にフックがくるようにロボットを位置決めした。ハンドルは剥離方向に対して垂直になる、作業者にとって楽な方向に向けた。器具の曲がり具合から得られる力の手がかりを排除するため、器具先端以外は器具軸が見えないようにした。実験に先立ち、被験体を広範囲にわたり、接着状態とした（trained）（３時間以下）。各試験の間にそれぞれ５分の休止時間を入れた。作業者には、膜を間断なくできるだけゆっくりと止まらずに剥離するように指示した。実験の簡略化のため、ロボット動作はデカルト変換のみに限定した。実験において、回転自由度の有無による顕著な差異は見られなかった。作業者は、拡大観察は行わなかった。全ての試験において、同じサンプルを用い、一貫性のため、実験前後のサンプルのふるまいをテストした。比較のため、ロボット支援を行わずにサンプルを剥離するフリーハンドの剥離試験も行った。各方法につき、音声フィードバック付きの試験と音声フィードバックなしの試験をそれぞれ５回ずつ行った。
試験した各方法において、音声フィードバックにより先端における最大の力は減少し、また先端の力のばらつきも減少した。作業完了時間は、フリーハンドおよび比例速度制御試験については大幅に増加したが、その他の試験では若干減少した。作業者は、３．５ｍＮに相当する個々の音声遷移点付近で、当然ながら「止まる（hover）」傾向があったが、この傾向は、フリーハンド条件以外のすべての場合に見られた。これは、力をスケーリングした結果、作業者が触覚フィードバックよりも音声フィードバックに依存するように見える場合（図５Ｃの時間６０Ｓ〜８０Ｓ参照）に、特に顕著であった。速度制限試験では、音声により、作業成果を損なわずに平均ハンドル入力を５０％削減した。このことから、サンプルにかかる力を減少させるため、ユーザは意識的に音声フィードバックを利用しようとしたことがわかる。
フリーハンド（図６Ａ）試験では、生理的な手の振戦により力の変動が特に顕著であった。平均付加力は５ｍＮ前後であり、最高は８ｍＮ近くであった。音声フィードバックにより大きな力の付加は減ったが、作業完了時間が著しく増加した。
比例速度（図６Ｂ）制御試験においては、安定したロボット支援の効果があり、結果としてより滑らかに力の付加が行われたが、力の範囲はフリーハンド試験の場合と同等であった。同様に、音声フィードバックにより大きな力の付加は減少したが、作業を完成させる時間は増加した。
力のスケーリング（図６Ｃ）制御では、音声の有無にかかわらず付加される力の平均をみると、全体的に最良の成果が得られたが、作業完了までの平均時間は、音声フィードバックありのフリーハンドの場合を除き、最も長かった。
速度制限（図６Ｄ）制御の結果、制限速度においてより大きな絶対剥離力を必要とする箇所を除いては、非常に平滑な応答が得られた。これは、仮想制約に「沿って」輪郭を形成する効果があった。各閾値の一致により、音声は作業にほとんど影響しなかった。
上記の実験データによれば、本発明は、顕微鏡手術において一般的な７．５ｍＮ未満の力について測定および対応可能なシステムおよび方法を提供する。さらに、音声フィードバックとともに力のスケーリングを行うことにより、最終的に小さく安定した力を付加して層間剥離を制御することを目的とする膜剥離の模擬作業において、最も直覚的な対応と小さい付加力で作業を実行することができる。
本発明をその好適な実施形態に基づき説明したが、添付の請求の範囲に規定した本発明の精神および要旨から逸脱することなく、特に記載のない追加、削除、変更、代替等が可能であることが当業者には理解されるであろう。

Claims (17)

  1. ロボットと外科医とによって把持されるように構成された外科手術器具を受け入れる器具ホルダと、
    作業者の入力した力および／または器具先端の力に基づく力を検出するセンサと、
    検出された力に基づいてロボット速度を制限して、触覚フィードバックを行うコントローラと、
    検出された付加力に基づき、マルチレベルの音声フィードバックの中から１つのレベルを自動的に選択するセレクタであって、該音声フィードバックは前記付加力の相対的な強度を示す、セレクタと、
    前記触覚フィードバックとともに音声フィードバックを行う音声装置と、
    を備える、外科手術器具の協働制御システム。
  2. 前記音声フィードバックは一連のビープ音である、請求項１に記載のシステム。
  3. 前記音声フィードバックは、前記付加力が所定の範囲にあるかどうかに基づき選択される、請求項１に記載のシステム。
  4. 前記外科手術器具は硝子体網膜手術において用いるものである、請求項１に記載のシステム。
  5. 前記音声フィードバックは、付加力が１ｍＮよりも大きい所定の範囲となるまでは無音である、請求項３に記載のシステム。
  6. 前記音声フィードバックは、前記付加力が１ｍＮから３．５ｍＮまでの所定の範囲にあるときは一定のスローテンポのビープ音である、請求項３に記載のシステム。
  7. 前記音声フィードバックは、前記付加力が３．５ｍＮから約７ｍＮまでの所定の範囲にあるときは一定のハイテンポのビープ音である、請求項１に記載のシステム。
  8. 前記ハイテンポのビープ音は前記付加力に比例して大きくなる、請求項７に記載のシステム。
  9. 前記外科手術器具は手術用ロボットのエンドエフェクタである、請求項１に記載のシステム。
  10. 前記センサは、外科手術器具に内蔵されたファイバー・ブラッグ・グレーティング（ＦＢＧ）センサであり、前記外科手術器具と組織との間の力を検出する、請求項１に記載のシステム。
  11. ロボットと外科医とにより把持されるように構成された外科用器具を受け入れるステップと、
    前記外科手術器具と組織との間の界面における力および／または入力される力を検出するステップと、
    前記外科手術器具と組織との間で検出された力に基づきロボット速度を制限して触覚フィードバックを行うステップと、
    前記検出された力に基づいて音声フィードバックを自動的に選択するステップであって、該音声フィードバックは付加力の相対的な強度を示す、ステップと、
    選択された音声フィードバックを触覚フィードバックとともに提供するステップと、を備える、外科手術器具の協働制御方法。
  12. 前記音声フィードバックは、前記付加力が所定の範囲にあるかどうかに基づき選択される、請求項１１に記載の方法。
  13. 前記外科手術器具は硝子体網膜手術において用いるものである、請求項１１に記載の方法。
  14. 前記外科手術器具は手術用ロボットのエンドエフェクタである、請求項１１に記載の方法。
  15. 前記手術用ロボットは比例速度制御により制御される、請求項１４に記載の方法。
  16. 前記ロボットは線形スケーリング制御により制御される、請求項１４に記載の方法。
  17. 前記ロボットは制限付きの比例速度制御により制御される、請求項１４に記載の方法。
JP2013523275A 2010-08-02 2011-08-02 ロボットの協働制御および音声フィードバックを用いて力覚センサ情報を提示する方法 Active JP5782515B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US37002910P 2010-08-02 2010-08-02
US61/370,029 2010-08-02
PCT/US2011/046276 WO2012018821A2 (en) 2010-08-02 2011-08-02 Method for presenting force sensor information using cooperative robot control and audio feedback

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015109541A Division JP2015180282A (ja) 2010-08-02 2015-05-29 ロボットの協働制御および音声フィードバックを用いて力覚センサ情報を提示する方法

Publications (2)

Publication Number Publication Date
JP2013533063A JP2013533063A (ja) 2013-08-22
JP5782515B2 true JP5782515B2 (ja) 2015-09-24

Family

ID=45560028

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2013523275A Active JP5782515B2 (ja) 2010-08-02 2011-08-02 ロボットの協働制御および音声フィードバックを用いて力覚センサ情報を提示する方法
JP2015109541A Pending JP2015180282A (ja) 2010-08-02 2015-05-29 ロボットの協働制御および音声フィードバックを用いて力覚センサ情報を提示する方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015109541A Pending JP2015180282A (ja) 2010-08-02 2015-05-29 ロボットの協働制御および音声フィードバックを用いて力覚センサ情報を提示する方法

Country Status (6)

Country Link
US (1) US20140052150A1 (ja)
EP (1) EP2600813B1 (ja)
JP (2) JP5782515B2 (ja)
KR (1) KR101840312B1 (ja)
CN (1) CN103068348B (ja)
WO (1) WO2012018821A2 (ja)

Families Citing this family (103)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8944070B2 (en) 1999-04-07 2015-02-03 Intuitive Surgical Operations, Inc. Non-force reflecting method for providing tool force information to a user of a telesurgical system
US9789608B2 (en) 2006-06-29 2017-10-17 Intuitive Surgical Operations, Inc. Synthetic representation of a surgical robot
US8628518B2 (en) 2005-12-30 2014-01-14 Intuitive Surgical Operations, Inc. Wireless force sensor on a distal portion of a surgical instrument and method
CN104688281B (zh) 2006-06-13 2017-04-19 直观外科手术操作公司 微创手术系统
US10008017B2 (en) 2006-06-29 2018-06-26 Intuitive Surgical Operations, Inc. Rendering tool information as graphic overlays on displayed images of tools
US9718190B2 (en) 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
US20090192523A1 (en) 2006-06-29 2009-07-30 Intuitive Surgical, Inc. Synthetic representation of a surgical instrument
US10258425B2 (en) 2008-06-27 2019-04-16 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view of articulatable instruments extending out of a distal end of an entry guide
US9084623B2 (en) 2009-08-15 2015-07-21 Intuitive Surgical Operations, Inc. Controller assisted reconfiguration of an articulated instrument during movement into and out of an entry guide
US9138129B2 (en) 2007-06-13 2015-09-22 Intuitive Surgical Operations, Inc. Method and system for moving a plurality of articulated instruments in tandem back towards an entry guide
US9089256B2 (en) 2008-06-27 2015-07-28 Intuitive Surgical Operations, Inc. Medical robotic system providing an auxiliary view including range of motion limitations for articulatable instruments extending out of a distal end of an entry guide
US9469034B2 (en) * 2007-06-13 2016-10-18 Intuitive Surgical Operations, Inc. Method and system for switching modes of a robotic system
US8620473B2 (en) 2007-06-13 2013-12-31 Intuitive Surgical Operations, Inc. Medical robotic system with coupled control modes
US8864652B2 (en) 2008-06-27 2014-10-21 Intuitive Surgical Operations, Inc. Medical robotic system providing computer generated auxiliary views of a camera instrument for controlling the positioning and orienting of its tip
US9492927B2 (en) 2009-08-15 2016-11-15 Intuitive Surgical Operations, Inc. Application of force feedback on an input device to urge its operator to command an articulated instrument to a preferred pose
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
US10874466B2 (en) * 2012-06-21 2020-12-29 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US11253327B2 (en) 2012-06-21 2022-02-22 Globus Medical, Inc. Systems and methods for automatically changing an end-effector on a surgical robot
US11298196B2 (en) 2012-06-21 2022-04-12 Globus Medical Inc. Surgical robotic automation with tracking markers and controlled tool advancement
US11786324B2 (en) 2012-06-21 2023-10-17 Globus Medical, Inc. Surgical robotic automation with tracking markers
US11589771B2 (en) 2012-06-21 2023-02-28 Globus Medical Inc. Method for recording probe movement and determining an extent of matter removed
US10624710B2 (en) 2012-06-21 2020-04-21 Globus Medical, Inc. System and method for measuring depth of instrumentation
US11864745B2 (en) 2012-06-21 2024-01-09 Globus Medical, Inc. Surgical robotic system with retractor
US11857266B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. System for a surveillance marker in robotic-assisted surgery
US11864839B2 (en) 2012-06-21 2024-01-09 Globus Medical Inc. Methods of adjusting a virtual implant and related surgical navigation systems
US11793570B2 (en) 2012-06-21 2023-10-24 Globus Medical Inc. Surgical robotic automation with tracking markers
US10646280B2 (en) * 2012-06-21 2020-05-12 Globus Medical, Inc. System and method for surgical tool insertion using multiaxis force and moment feedback
US11399900B2 (en) 2012-06-21 2022-08-02 Globus Medical, Inc. Robotic systems providing co-registration using natural fiducials and related methods
US11857149B2 (en) 2012-06-21 2024-01-02 Globus Medical, Inc. Surgical robotic systems with target trajectory deviation monitoring and related methods
US10758315B2 (en) 2012-06-21 2020-09-01 Globus Medical Inc. Method and system for improving 2D-3D registration convergence
US11896446B2 (en) 2012-06-21 2024-02-13 Globus Medical, Inc Surgical robotic automation with tracking markers
US10799298B2 (en) 2012-06-21 2020-10-13 Globus Medical Inc. Robotic fluoroscopic navigation
US11317971B2 (en) 2012-06-21 2022-05-03 Globus Medical, Inc. Systems and methods related to robotic guidance in surgery
US11045267B2 (en) 2012-06-21 2021-06-29 Globus Medical, Inc. Surgical robotic automation with tracking markers
US10842461B2 (en) 2012-06-21 2020-11-24 Globus Medical, Inc. Systems and methods of checking registrations for surgical systems
US10507066B2 (en) 2013-02-15 2019-12-17 Intuitive Surgical Operations, Inc. Providing information of tools by filtering image areas adjacent to or on displayed images of the tools
US10042422B2 (en) 2013-11-12 2018-08-07 Thalmic Labs Inc. Systems, articles, and methods for capacitive electromyography sensors
US20150124566A1 (en) 2013-10-04 2015-05-07 Thalmic Labs Inc. Systems, articles and methods for wearable electronic devices employing contact sensors
US11921471B2 (en) 2013-08-16 2024-03-05 Meta Platforms Technologies, Llc Systems, articles, and methods for wearable devices having secondary power sources in links of a band for providing secondary power in addition to a primary power source
US9283048B2 (en) * 2013-10-04 2016-03-15 KB Medical SA Apparatus and systems for precise guidance of surgical tools
WO2015081113A1 (en) 2013-11-27 2015-06-04 Cezar Morun Systems, articles, and methods for electromyography sensors
US9375841B1 (en) * 2014-05-28 2016-06-28 Google Inc. Robotic devices with ambient indications of joint status
US9549781B2 (en) 2014-05-30 2017-01-24 The Johns Hopkins University Multi-force sensing surgical instrument and method of use for robotic surgical systems
US9880632B2 (en) 2014-06-19 2018-01-30 Thalmic Labs Inc. Systems, devices, and methods for gesture identification
US10369045B2 (en) 2014-07-29 2019-08-06 The Johns Hopkins University Micromanipulation systems and methods
NL2013369B1 (en) * 2014-08-26 2016-09-26 Univ Eindhoven Tech Surgical robotic system and control of surgical robotic system.
US9815206B2 (en) * 2014-09-25 2017-11-14 The Johns Hopkins University Surgical system user interface using cooperatively-controlled robot
DE102014114234B4 (de) 2014-09-30 2020-06-25 Kastanienbaum GmbH Verfahren und Vorrichtung zur Steuerung/Regelung eines Roboter-Manipulators
FR3032346B1 (fr) * 2015-02-05 2021-10-15 Univ Pierre Et Marie Curie Paris 6 Procede d'assistance a la manipulation d'un instrument
DE102015109371A1 (de) * 2015-06-12 2016-12-15 avateramedical GmBH Vorrichtung und Verfahren zur robotergestützten Chirurgie
US10166080B2 (en) * 2015-06-12 2019-01-01 The Johns Hopkins University Cooperatively-controlled surgical robotic system with redundant force sensing
US10188552B2 (en) * 2015-08-14 2019-01-29 The Johns Hopkins University Surgical system providing hands-free control of a surgical tool
CN106826915A (zh) * 2015-12-04 2017-06-13 西门子公司 一种机器人触觉操控方法及其装置
CN110337269B (zh) 2016-07-25 2021-09-21 脸谱科技有限责任公司 基于神经肌肉信号推断用户意图的方法和装置
US10772519B2 (en) 2018-05-25 2020-09-15 Facebook Technologies, Llc Methods and apparatus for providing sub-muscular control
WO2018022658A1 (en) 2016-07-25 2018-02-01 Ctrl-Labs Corporation Adaptive system for deriving control signals from measurements of neuromuscular activity
US11331045B1 (en) 2018-01-25 2022-05-17 Facebook Technologies, Llc Systems and methods for mitigating neuromuscular signal artifacts
US11216069B2 (en) 2018-05-08 2022-01-04 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
CN110300542A (zh) 2016-07-25 2019-10-01 开创拉布斯公司 使用可穿戴的自动传感器预测肌肉骨骼位置信息的方法和装置
EP3487595A4 (en) 2016-07-25 2019-12-25 CTRL-Labs Corporation SYSTEM AND METHOD FOR MEASURING MOVEMENTS OF ARTICULATED RIGID BODIES
US10709511B2 (en) 2016-08-16 2020-07-14 Ethicon Llc Control of jaw or clamp arm closure in concert with advancement of device
US10531929B2 (en) 2016-08-16 2020-01-14 Ethicon Llc Control of robotic arm motion based on sensed load on cutting tool
US10390895B2 (en) * 2016-08-16 2019-08-27 Ethicon Llc Control of advancement rate and application force based on measured forces
US11033341B2 (en) 2017-05-10 2021-06-15 Mako Surgical Corp. Robotic spine surgery system and methods
WO2018209042A2 (en) 2017-05-10 2018-11-15 Mako Surgical Corp. Robotic spine surgery system and methods
WO2019050829A1 (en) 2017-09-05 2019-03-14 Covidien Lp COLLISION MANAGEMENT ALGORITHMS FOR ROBOTIC SURGICAL SYSTEMS
US11259860B2 (en) * 2017-09-25 2022-03-01 Covidien Lp Systems and methods for providing sensory feedback with an ablation system
WO2019079757A1 (en) 2017-10-19 2019-04-25 Ctrl-Labs Corporation SYSTEMS AND METHODS FOR IDENTIFYING BIOLOGICAL STRUCTURES ASSOCIATED WITH NEUROMUSCULAR SOURCE SIGNALS
US10675107B2 (en) 2017-11-15 2020-06-09 Intuitive Surgical Operations, Inc. Surgical instrument end effector with integral FBG
US11481030B2 (en) 2019-03-29 2022-10-25 Meta Platforms Technologies, Llc Methods and apparatus for gesture detection and classification
WO2019147956A1 (en) * 2018-01-25 2019-08-01 Ctrl-Labs Corporation Visualization of reconstructed handstate information
WO2019148002A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Techniques for anonymizing neuromuscular signal data
US10937414B2 (en) 2018-05-08 2021-03-02 Facebook Technologies, Llc Systems and methods for text input using neuromuscular information
US10970936B2 (en) 2018-10-05 2021-04-06 Facebook Technologies, Llc Use of neuromuscular signals to provide enhanced interactions with physical objects in an augmented reality environment
WO2019147996A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Calibration techniques for handstate representation modeling using neuromuscular signals
US11150730B1 (en) 2019-04-30 2021-10-19 Facebook Technologies, Llc Devices, systems, and methods for controlling computing devices via neuromuscular signals of users
WO2019147958A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation User-controlled tuning of handstate representation model parameters
US10817795B2 (en) 2018-01-25 2020-10-27 Facebook Technologies, Llc Handstate reconstruction based on multiple inputs
US11907423B2 (en) 2019-11-25 2024-02-20 Meta Platforms Technologies, Llc Systems and methods for contextualized interactions with an environment
WO2019147949A1 (en) 2018-01-25 2019-08-01 Ctrl-Labs Corporation Real-time processing of handstate representation model estimates
US11493993B2 (en) 2019-09-04 2022-11-08 Meta Platforms Technologies, Llc Systems, methods, and interfaces for performing inputs based on neuromuscular control
WO2019147948A1 (en) 2018-01-26 2019-08-01 Mako Surgical Corp. End effectors, systems, and methods for impacting prosthetics guided by surgical robots
US10592001B2 (en) 2018-05-08 2020-03-17 Facebook Technologies, Llc Systems and methods for improved speech recognition using neuromuscular information
WO2019227032A1 (en) * 2018-05-25 2019-11-28 Intuitive Surgical Operations, Inc. Fiber bragg grating end effector force sensor
WO2019231911A1 (en) 2018-05-29 2019-12-05 Ctrl-Labs Corporation Shielding techniques for noise reduction in surface electromyography signal measurement and related systems and methods
WO2019241701A1 (en) 2018-06-14 2019-12-19 Ctrl-Labs Corporation User identification and authentication with neuromuscular signatures
WO2020018892A1 (en) 2018-07-19 2020-01-23 Ctrl-Labs Corporation Methods and apparatus for improved signal robustness for a wearable neuromuscular recording device
WO2020036958A1 (en) 2018-08-13 2020-02-20 Ctrl-Labs Corporation Real-time spike detection and identification
EP4241661A1 (en) 2018-08-31 2023-09-13 Facebook Technologies, LLC Camera-guided interpretation of neuromuscular signals
CN112789577B (zh) 2018-09-20 2024-04-05 元平台技术有限公司 增强现实系统中的神经肌肉文本输入、书写和绘图
CN112771478A (zh) 2018-09-26 2021-05-07 脸谱科技有限责任公司 对环境中的物理对象的神经肌肉控制
US11364084B2 (en) * 2018-11-21 2022-06-21 Biosense Webster (Israel) Ltd. Contact force compensation in a robot manipulator
WO2020112455A1 (en) * 2018-11-27 2020-06-04 Covidien Lp Haptic feedback device for surgical instruments and robotic surgical systems
EP3886693A4 (en) 2018-11-27 2022-06-08 Facebook Technologies, LLC. METHOD AND DEVICE FOR AUTOCALIBRATION OF A PORTABLE ELECTRODE SENSING SYSTEM
CN109549775B (zh) * 2018-12-06 2021-09-03 哈尔滨工业大学 面向眼底视网膜显微手术的机器人操作臂
CN109549774B (zh) * 2018-12-06 2021-09-03 哈尔滨工业大学 一种适于眼底显微手术的微创执行机构
US10973579B2 (en) 2018-12-28 2021-04-13 Industrial Technology Research Institute Optical system
US10905383B2 (en) 2019-02-28 2021-02-02 Facebook Technologies, Llc Methods and apparatus for unsupervised one-shot machine learning for classification of human gestures and estimation of applied forces
CN114603551A (zh) * 2020-12-08 2022-06-10 山东新松工业软件研究院股份有限公司 一种控制方法及电子设备
FR3120777B1 (fr) * 2021-03-17 2023-04-21 Quantum Surgical Robot médical collaboratif pour sécuriser le guidage d’instruments
EP4316407A1 (en) * 2021-03-23 2024-02-07 RIVERFIELD Inc. Force sensation notification device and force sensation notification method
US11868531B1 (en) 2021-04-08 2024-01-09 Meta Platforms Technologies, Llc Wearable device providing for thumb-to-finger-based input gestures detected based on neuromuscular signals, and systems and methods of use thereof
US20220336078A1 (en) * 2021-04-14 2022-10-20 Cilag Gmbh International System and method for tracking a portion of the user as a proxy for non-monitored instrument

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6013628A (en) * 1994-02-28 2000-01-11 Regents Of The University Of Minnesota Method for treating conditions of the eye using polypeptides
US6810281B2 (en) 2000-12-21 2004-10-26 Endovia Medical, Inc. Medical mapping system
DE60111517T2 (de) * 2000-04-27 2006-05-11 Medtronic, Inc., Minneapolis Vibrationsempfindliche ablationsvorrichtung
JP4655175B2 (ja) * 2000-12-19 2011-03-23 ソニー株式会社 マニピュレータシステム、マスタマニピュレータ、スレーブマニピュレータ及びそれらの制御方法、並びに記録媒体
EP1357831A2 (en) * 2001-02-09 2003-11-05 Sensomotoric Instruments GmbH Multidimensional eye tracking and position measurement system
US20040243147A1 (en) * 2001-07-03 2004-12-02 Lipow Kenneth I. Surgical robot and robotic controller
US7877243B2 (en) * 2001-07-16 2011-01-25 Immersion Corporation Pivotable computer interface
JP2003211377A (ja) * 2002-01-18 2003-07-29 Hitachi Ltd マニピュレーション動作支援装置及びその支援方法
US7831292B2 (en) * 2002-03-06 2010-11-09 Mako Surgical Corp. Guidance system and method for surgical procedures with improved feedback
JP2005185427A (ja) * 2003-12-25 2005-07-14 Takashima Sangyo Kk 硝子体カッター及び該硝子体カッターを備える硝子体手術装置、硝子体カッター製造方法
US20070005061A1 (en) * 2005-06-30 2007-01-04 Forcept, Inc. Transvaginal uterine artery occlusion
WO2007120329A2 (en) * 2005-12-30 2007-10-25 Intuitive Surgical, Inc. Modular force sensor
JP5044126B2 (ja) * 2006-02-23 2012-10-10 オリンパス株式会社 内視鏡観察装置および画像形成を行う内視鏡の作動方法
US20070239140A1 (en) * 2006-03-22 2007-10-11 Revascular Therapeutics Inc. Controller system for crossing vascular occlusions
US7981109B2 (en) 2007-08-15 2011-07-19 Novartis Ag System and method for a user interface
US20090076476A1 (en) * 2007-08-15 2009-03-19 Hansen Medical, Inc. Systems and methods employing force sensing for mapping intra-body tissue
JP4319232B2 (ja) * 2007-09-12 2009-08-26 トヨタ自動車株式会社 パワーアシスト装置およびその制御方法
WO2009124287A1 (en) * 2008-04-03 2009-10-08 The Trustees Of Columbia University In The City Of New York Systems and methods for inserting steerable arrays into anatomical structures
US10406026B2 (en) * 2008-05-16 2019-09-10 The Johns Hopkins University System and method for macro-micro distal dexterity enhancement in micro-surgery of the eye
US8709036B2 (en) * 2009-05-13 2014-04-29 University of Pittsburgh—of the Commonwealth System of Higher Education Tension transducing forceps

Also Published As

Publication number Publication date
US20140052150A1 (en) 2014-02-20
KR20130136430A (ko) 2013-12-12
WO2012018821A2 (en) 2012-02-09
EP2600813A2 (en) 2013-06-12
CN103068348A (zh) 2013-04-24
JP2013533063A (ja) 2013-08-22
KR101840312B1 (ko) 2018-03-20
EP2600813B1 (en) 2021-01-20
EP2600813A4 (en) 2017-11-01
CN103068348B (zh) 2015-07-15
JP2015180282A (ja) 2015-10-15
WO2012018821A3 (en) 2012-05-10

Similar Documents

Publication Publication Date Title
JP5782515B2 (ja) ロボットの協働制御および音声フィードバックを用いて力覚センサ情報を提示する方法
JP5840686B2 (ja) 繊細な組織の外科的処置を行うための微小力ガイド下協働制御
Balicki et al. Micro-force sensing in robot assisted membrane peeling for vitreoretinal surgery
Üneri et al. New steady-hand eye robot with micro-force sensing for vitreoretinal surgery
US10369045B2 (en) Micromanipulation systems and methods
US10278781B2 (en) Tool exchange interface and control algorithm for cooperative surgical robots
Kuru et al. Force sensing micro-forceps for robot assisted retinal surgery
Wagner et al. The role of force feedback in surgery: analysis of blunt dissection
Gonenc et al. Preliminary evaluation of a micro-force sensing handheld robot for vitreoretinal surgery
Cutler et al. Auditory force feedback substitution improves surgical precision during simulated ophthalmic surgery
US8981914B1 (en) Portable haptic force magnifier
Mayer et al. Haptic feedback in a telepresence system for endoscopic heart surgery
Gonenc et al. Towards robot-assisted vitreoretinal surgery: Force-sensing micro-forceps integrated with a handheld micromanipulator
He et al. A novel dual force sensing instrument with cooperative robotic assistant for vitreoretinal surgery
Gonenc et al. Motorized force-sensing micro-forceps with tremor cancelling and controlled micro-vibrations for easier membrane peeling
Griffin et al. The role of haptic feedback in robotic-assisted retinal microsurgery systems: a systematic review
Wells et al. Hybrid position/force control of an active handheld micromanipulator for membrane peeling
He et al. Toward robotically assisted membrane peeling with 3-DOF distal force sensing in retinal microsurgery
Wells et al. Toward hybrid position/force control for an active handheld micromanipulator
Ebrahimi et al. Auditory feedback effectiveness for enabling safe sclera force in robot-assisted vitreoretinal surgery: A multi-user study
WO2019084366A1 (en) THREE-DIMENSIONAL DISTAL FORCE DETECTION FOR ACTUATED INSTRUMENTS: DESIGN, CALIBRATION AND CALCULATION OF FORCE
Mattos et al. Microsurgery systems
Zhang et al. A Robotic Microforceps for Retinal Microsurgery With Adaptive Clamping Method
Esfandiari et al. Bimanual Manipulation of Steady Hand Eye Robots with Adaptive Sclera Force Control: Cooperative vs. Teleoperation Strategies

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140605

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150203

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150501

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150529

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150717

R150 Certificate of patent or registration of utility model

Ref document number: 5782515

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250