JP6738481B2 - ロボットシステムの動作の実行 - Google Patents

ロボットシステムの動作の実行 Download PDF

Info

Publication number
JP6738481B2
JP6738481B2 JP2019506135A JP2019506135A JP6738481B2 JP 6738481 B2 JP6738481 B2 JP 6738481B2 JP 2019506135 A JP2019506135 A JP 2019506135A JP 2019506135 A JP2019506135 A JP 2019506135A JP 6738481 B2 JP6738481 B2 JP 6738481B2
Authority
JP
Japan
Prior art keywords
surgical
processing device
surgical instrument
medium
actual position
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019506135A
Other languages
English (en)
Other versions
JP2019524284A (ja
Inventor
ケー. バラール,ジョエル
ケー. バラール,ジョエル
ハンナフォード,ブレイク
Original Assignee
ヴェリリー ライフ サイエンシズ エルエルシー
ヴェリリー ライフ サイエンシズ エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ヴェリリー ライフ サイエンシズ エルエルシー, ヴェリリー ライフ サイエンシズ エルエルシー filed Critical ヴェリリー ライフ サイエンシズ エルエルシー
Publication of JP2019524284A publication Critical patent/JP2019524284A/ja
Application granted granted Critical
Publication of JP6738481B2 publication Critical patent/JP6738481B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/35Surgical robots for telesurgery
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B34/37Master-slave robots
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70Manipulators specially adapted for use in surgery
    • A61B34/74Manipulators with manual electric input means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/163Programme controls characterised by the control loop learning, adaptive, model based, rule based expert control
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B25HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25JMANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00Programme-controlled manipulators
    • B25J9/16Programme controls
    • B25J9/1628Programme controls characterised by the control loop
    • B25J9/1633Programme controls characterised by the control loop compliant, force, torque control, e.g. combined with position control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2055Optical tracking systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2059Mechanical position encoders
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046Tracking techniques
    • A61B2034/2065Tracking using image or pattern recognition
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30Surgical robots
    • A61B2034/302Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06Measuring instruments not otherwise provided for
    • A61B2090/064Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937Visible markers
    • A61B2090/3941Photoluminescent markers

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Robotics (AREA)
  • Medical Informatics (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Mechanical Engineering (AREA)
  • Manipulator (AREA)

Description

関連出願の相互参照
[0001] 本出願は、2016年8月25日に出願され、その内容全体が参照により本明細書に組み込まれる米国仮特許出願第62/379,445号の利益を主張する。
[0002] 本開示は概して、ロボットシステムの動作の追跡および修正に関する。
[0003] 動作が人間によって制御されるロボット工学では、ロボットシステムの機械的不完全性、変わり得るペイロード、および接触力のために、意図されたロボットの動作が完全に実行されることはめったにない。自動システムの場合、動作を計画する際にペイロードを考慮する必要がある。そうしないと、所望の動作と実際の動作との間に不一致が生じる可能性がある。外科手術ロボット工学では、自動手術を行うことを目的とするシステムにおいて、コンプライアンスの欠如が課題となる場合がある。しかしながら、コンプライアンスの欠如はマスター/スレーブシステムにとっても問題となり得る。そのようなシステムでは、外科医は自分の頭の中でこれらの不完全性を補うことを学ぶかもしれず、経験豊富な外科医は無意識のうちにそれを行う。しかしながら、初心者の外科医にとっては、このシステムは直感的ではないかもしれず、彼/彼女は軌道を連続的に調整または修正しなければならない。不正確な位置決めは、手術用ロボット工学を実行することを困難にするものの一部である。器具が予想どおりに正確に動く場合、外科手術ロボット工学の習得が容易になり、それはすべての患者にとってより良い臨床結果につながるであろう。
[0004] 本発明の非限定的かつ非網羅的な実施形態を以下の図面を参照して記載する。図面中、特に明記しない限り、様々な図を通して同様の参照番号は同様の部分を指す。図面は必ずしも一定の縮尺ではなく、その代わりに、記載されている原理を例示することに重点が置かれている。
[0005]本開示の実施形態による、ロボット手術用システムを示す。 [0006]本開示の実施形態による、ロボット手術用コントローラを示す。 [0007]本開示の実施形態による、補償不可能および補償可能な外科手術器具の経路を示すプロットを示す。 [0008]本開示の実施形態による、ロボット手術と併せて使用されるデータベースおよび機械学習アルゴリズムを示す。 [0009]本開示のいくつかの実施形態による、外科手術ロボットの操作の方法を示す。 [0010]本開示のいくつかの実施形態による、ロボット手術におけるデータ収集の方法を示す。
[0011] ロボットシステムを用いた動作実行のための装置および方法の実施形態が本明細書に記載されている。以下の記載では、実施形態の完全な理解を提供するために多数の特定の詳細が記載される。しかしながら、当業者であれば、本明細書に記載の技術は、1つ以上のそれら特定の詳細なしで、または他の方法、構成要素、材料等を用いて実施できることを認識するであろう。他の例では、特定の態様を曖昧にすることを回避するために、周知の構造、材料または操作は詳細に図示されず、また記載もされない。
[0012] 本明細書全体を通して「一実施形態」または「実施形態」への言及は、その実施形態に関連して記載された特定の特徴、構造、または特性が本発明の少なくとも1つの実施形態に含まれることを意味する。したがって、本明細書を通した様々な箇所での「一実施形態において」または「実施形態において」という句の出現は、必ずしもすべてが同じ実施形態を指すとは限らない。さらに、特定の特徴、構造、または特性は、1つまたは複数の実施形態において任意の適切な方法で組み合わせることができる。
[0013] 本開示は、外科手術ロボットによる向上した動作実行のためのシステムおよび方法を提供する。より具体的には、これらのシステムおよび方法は、外科手術器具の動作を修正するために使用され得る。機械学習アルゴリズムは、外科手術ロボットに結合されそれによって制御される外科手術器具(例えば、メス、パンチ生検装置等)の動きに関するデータを収集することによって訓練することができる。その後、機械学習アルゴリズムは、人体内の組織の相対的な靭性をよりよく説明するために外科手術器具の動きを調整することができる。例えば、外科手術器具が強靭な筋肉に遭遇した場合、(他の組織に対して)その筋肉を通して外科手術器具を動かすためにより多くの力が必要とされる可能性が高い。次いで、機械学習アルゴリズムは、筋肉の滑らかで正確な切断を確実にするためにこの追加の力を加えるように外科手術ロボットに指示し得る。
[0014] 図1は、本開示の実施形態による、ロボット手術用のシステム100を示す。システム100は、外科手術ロボット103、処理装置105、ネットワーク111、および記憶装置123を含む。図示のように、外科手術ロボット103を用いて、外科手術器具を(例えばアームの遠位端に)保持する、外科手術を行う、病気を診断する、生検を取る、または医師が実行できる他の任意の処置を実行することができる。図示の外科手術ロボット103には2本のアームしか具備されていないが、当業者であれば、外科手術ロボット103は単なる漫画風のイラストであること、および外科手術ロボット103は実施する必要がある手術の種類および他の条件に応じて任意の数の形状をとることができることを認識するだろう。外科手術ロボット103は、有線または無線で処理装置105、ネットワーク111、および/または記憶装置123に結合することができる。さらに、外科手術ロボット103は、外科医または医師からの指示を受信するために、(無線または有線によって)ユーザ入力/コントローラ(たとえば、図2Aに示されるコントローラ201)に結合されてもよい。コントローラ、およびコントローラのユーザは、外科手術ロボット103および患者に非常に近いところに(例えば、同じ部屋に)位置してもよく、または何マイルも離れて位置してもよい。したがって、外科手術ロボット103は、専門家が患者から何マイルも離れている場合に外科手術を実行するために使用可能であり、外科医からの指示は、インターネットまたは安全なネットワーク(例えば、ネットワーク111)を介して送信される。あるいは、外科医は近くにいて、単に外科手術ロボット103を使用することを好むかもしれない。それというのも、外科手術ロボット103は外科医の手よりも身体の一部によりよくアクセスすることができるからである。
[0015] 一実施形態では、画像/光学センサ、圧力センサ(応力、歪み等)およびそれらに類する物がすべて、外科手術ロボット103を制御し、正確な動作および圧力の適用を確実にするために使用される。さらに、これらのセンサは、外科手術ロボット103によって適用される位置、力等を連続的に調整するためにフィードバックループを使用する(外科手術ロボット103、処理装置105、または他の装置内の)プロセッサに情報を提供することができる。
[0016] 一実施形態では、外科手術ロボット103はデータ収集に使用することができ、収集されたデータを使用して、外科手術ロボット103を制御するアルゴリズムをさらに改善することができる。例えば、外科手術ロボット103は、外科手術器具を媒体(例えばヒト組織)を通して所望の位置まで動かそうとしてもよい。例えば、外科手術ロボット103は、メスを3.1cm左に動かすことによって皮膚片を切断しようと試みてもよい。切断中または切断後に、外科手術器具の実際の位置が測定される。その後、器具の実際の位置と所望の位置との差を計算して記録することができる。例えば、外科手術ロボット103は、それが切断していた皮膚の一部が硬化している(これはメスを動かすためにより多くの力を必要とする)ためにメスを左に2.9cmしか動かせなかったかもしれない。したがって、実際の位置と所望の位置との差は0.2cmである。媒体(例えば、皮膚硬結を有する皮膚)の組成および媒体を通して外科手術器具を動かすのに必要な力が記録される。一実施形態では、媒体の組成は光学的に決定される(例えば、画像センサはメスが切断している場所の写真を撮り、画像が画像のデータベースと比較されて媒体が皮膚であることを決定する)。媒体の組成および媒体を通って移動するのに必要な力は、(処理装置105上、ネットワーク111上、または記憶装置123上の)データベースに記憶することができる。これらの装置はすべて分散システムでもよい。
[0017] データベース内の情報は、機械学習アルゴリズムを訓練するために使用されてもよい。機械学習アルゴリズムは、使用中の外科手術器具に適用される実際の位置および力を調整するために、媒体の種類および外科手術器具を動かすのに必要な力から学習する。これにより、外科手術ロボット103は、外科手術器具が特定の種類の媒体に遭遇したときに比例的に応答することが可能になる。例えば、機械学習アルゴリズムは、より硬い組織(厚い筋肉、腱等)を認識し、外科手術器具(例えば、メス、生検器具等)がこれらの媒体に遭遇したときに追加の力を適用するように訓練されてもよい。あるいは、外科手術ロボット103は、軟組織を進むときにより少ない力を適用するように訓練されてもよい。外科手術ロボット103は、光学的に(例えば、画像センサで捕捉された画像から)および/または触覚センサ(例えば、物体を切断するのに要する圧力の量)からの両方で異なる種類の組織を認識することができる。
[0018] 一実施形態では、データベースに収集された情報は、実際の位置と所望の位置との間の差を使用して、外科手術ロボット103に関する問題を診断するために使用することができる。所望の位置と実際の位置との間の差は、外科手術ロボット103内のハードウェア障害またはソフトウェア障害のうちの少なくとも1つに起因し得る。例えば、外科手術ロボット103のユーザは、外科手術器具を既知の媒体(例えば、空気)を通して動かし、そして所望の位置と実際の位置との間の差を測定することができる。所望の位置と実際の位置との間に差異がある場合、これは外科手術ロボット103に関する問題を診断するために使用され得る。例えば、外科手術器具の一部分のY軸移動は、本来それがするべき移動のわずかな割合しか移動していない場合がある。したがって、外科手術ロボット103または処理装置105は、外科手術ロボット103のその部分のYアクチュエータを損傷について点検するように技術者に指示することができる。同様に、収集された情報はまた、システム設計に報告され、外科手術ロボット103の将来の世代において考慮されるかもしれない。より大きな不一致の領域は根本原因分析を通して調査され、それに従って機械設計は実際の位置と所望の位置との間の不一致を最小にするように調整される。
[0019] 一実施形態では、外科手術ロボット103の実際の位置は手術中に修正される。述べたように、外科手術器具は外科手術ロボット103を使用して媒体を通して移動させることができ、外科手術ロボット103は外科手術器具を所望の位置に移動させようと試みる。外科手術器具の実際の位置と所望の位置との間の差が測定される。次に、外科手術器具の実際の位置が所望の位置に対して調整される。このプロセスは、連続的に(反復的に)、事前設定された間隔で、またはリアルタイムで起こり得る。
[0020] 一実施形態では、外科手術器具の実際の位置を調整することは、特定の生物学的媒体を切断するために必要な力の差異を補償するべく外科手術ロボット103を制御するための機械学習アルゴリズムの使用を含む。この実施形態および他の実施形態では、機械学習アルゴリズムは、媒体(例えば、皮膚、筋肉、腱等)の組成を認識し、その媒体を通して外科手術器具を実際の位置から所望の位置まで動かすのに十分な力を出力するように訓練される。例えば、機械学習アルゴリズムは、外科手術ロボット103によって保持されているメスが腱を切断しようとしていることを認識することができる。したがって、機械学習アルゴリズムは、滑らかな直接切断を行うためにメスに追加の力を適用することができる。一実施形態では、媒体(例えば、生体組織)は、光学的外観、媒体を通して外科手術器具を動かすのに十分な力、外科手術器具のユーザからの入力、および/または外科手術器具の実際の位置と所望の位置との間の差、のうちの少なくとも1つを介して機械学習アルゴリズムによって認識される。しかしながら、他の実施形態では、外科手術ロボット103は、媒体を明確に認識することなく、外科手術器具を媒体を通して動かすのに十分な力を出力してもよい。別のまたは同じ実施形態では、外科手術器具を所望の位置に移動させるときに、実際の位置と所望の位置との間の差を、ユーザに提供される触覚フィードバックに変換することができる(例えば、所望の位置に到達しなかったが、このときユーザはコントローラの振動のためにそれを知る)。
[0021] 図2Aは、本開示の実施形態による、ロボット手術用のコントローラ201を示す。図示の実施形態では、コントローラ201は、ユーザ(外科医)が自分の指を通しコントローラ201を握るためのいくつかのループを含む。さらに、ユーザが(実際に手術を行うのと同様の)ほぼ自由な動作範囲を有するようにいくつかの枢動点がある。一実施形態では、コントローラ201は、手術を行うときにユーザが遭遇する抵抗(例えば、触覚フィードバック)を変えることによって、ユーザが様々な媒体間の違いを感じることを可能にする。例えば、外科手術ロボット(例えば、外科手術ロボット103)に取り付けられた外科手術器具が空気を通って移動し、次いで生体組織を通って移動するようにユーザがコントローラ201を動かす場合、ユーザは空気を通る移動は比較的最小限の努力で済むことを感じるであろうが、生体組織に遭遇すると、ユーザは、外科手術器具が遭遇する抵抗と等しいまたは比例する抵抗を感じるだろう。いくつかの実施形態では、ユーザがコントローラ201を動かすよりも小さいまたは大きい距離を外科手術器具が動くように、コントローラ201の動作をスケーリングすることができる。一実施形態では、コントローラ201はまた、ユーザの動きから震えまたは散発的な動作を除去してもよい。図2Aに示すコントローラ201の実施形態はいくつかの枢動点および指用ループを有するが、当業者は、異なる種類の手術を容易にするようにコントローラを構成することができる多くの方法があることを認識するであろう。一実施形態では、コントローラ201はジョイスティック、ボタンまたはそれらに類する物を有することができる。
[0022] 図2Bは、本開示の実施形態による、補償不可能203および補償可能205外科手術器具経路を示すプロットである。両方のグラフは、外科手術ロボットによって保持される外科手術器具の仮想のXおよびY位置のみを示している。左側のグラフは、補償が不可能な外科手術ロボットの動作を示している。示されるように、外科手術器具が媒体を通ってある距離を移動した後、外科手術器具の所望の位置と外科手術器具の実際の位置との間に差異がある。外科手術器具の所望の差と実際の差とのわずかな差でさえも外科患者に深刻な問題を引き起こす可能性があるため、これは問題がある。さらに、実際の位置と所望の位置との間の差異は、外科手術ロボット工学の訓練をより困難にする可能性がある。外科医は自分の脳内ですべての不完全性を補償することを学ばなければならない。
[0023] 右側のグラフは、補償が可能な外科手術ロボットの動作を示す。図示の実施形態では、外科手術器具の実際の位置は、所望の位置からの最小のずれを確実にするために継続的に調整される。他の実施形態では、調整は離散的な間隔でまたは別の方法で行われてもよい。一実施形態では、外科手術器具の実際の位置を測定することは、1つまたは複数の画像センサを用いて実際の位置を光学的に決定すること、あらかじめ設定されたマーカーと外科手術器具との間の距離を測定すること、または外科手術ロボットを用いて外科手術器具の実際の位置を機械的に測定すること、のうちの少なくとも1つを含む。一実施形態では、視覚的サーボ制御(視覚的位置フィードバック)を使用して軌道を更新し、それをユーザ入力装置(例えば、コントローラ201)を使用して外科医によって提供されるように意図する経路に一致させる。例えば、外科医が2cm右に動いた場合、視覚的サーボ制御は、カメラの基準座標系内で、器具先端が2cm(または対応するスケーリングされた動作、例えば4の倍率が使用される場合は0.5cm)だけ右に動かされることを確実にする。これは、外科手術ロボットによって作成される複数の画像センサ配置カットによって達成され得る。外科手術ロボットの活動部分の3Dモデルをリアルタイムで構築するために、複数の画像を使用することができる。これにより、外科手術ロボットは、手術が行われている身体の部分に対する活動部分の正確な位置を知ることができる。外科手術ロボットは次に、外科手術ロボットの活動部分の動きを正しい時間に正しい場所にあるように継続的に改善し、潜在的なミスを排除することができる。
[0024] 図3は、本開示の実施形態による、ロボット手術(例えば、外科手術ロボット303)と共に使用されるデータベース307および機械学習アルゴリズム305を示す。図1に関連して上述したように、外科手術ロボット303は、遭遇する異なる生物学的物質、およびこれらの物質を切断する、これらの物質を生検する等に必要な力に関して手術中に情報を収集するために使用することができる。図3は、この情報を、組織および外科手術器具を示す画像フレーム(これらはビデオまたは静止画像であり得る)、画像が記録された時間(ここでは記録時間として示される)、外科手術器具の所望の位置、外科手術器具の実際の位置、外科手術器具が遭遇している組織、および組織を切断するのに必要な力を含むデータベース307にアップロードする外科手術ロボット303を示す。示されるように、データベース307内のこれらの列の全ては互いに索引付けされてもよい。
[0025] 次に、データベース307内の情報を使用して、機械学習アルゴリズム305を訓練し、外科手術用ロボット303の実際の位置をよりよく制御するのを助けることができる。これは、光学的に、感覚によって、またはこれらと他のパラメータの組み合わせによって、特定の組織の種類を認識するように機械学習アルゴリズム305に教示することを含んでもよい。機械学習アルゴリズム305は、1つまたは複数の外科手術ロボットから継続的に更新されてもよい(たとえば、機械学習アルゴリズム305はクラウド上に存在し、世界中の複数の外科手術ロボットから訓練データを受信してもよい)。あるいは、外科手術ロボットおよび関連ソフトウェアは定期的に更新されてもよい。当業者であれば、外科手術ロボット303を制御するソフトウェアを記憶および更新するための多くの異なる方法があることを認識するであろう。
[0026] 図4は、本開示のいくつかの実施形態による、外科手術ロボットの操作の方法400を示す。方法400においてプロセスブロック401〜407のいくつかまたはすべてが現れる順序は、限定的であると見なされるべきではない。むしろ、本開示の恩恵を受ける当業者は、方法400が、示されていない様々な順序で、またはさらには並行して実行されてもよいことを理解するであろう。
[0027] ブロック401は、外科手術ロボットを使用して媒体を通して外科手術器具を移動させることを示し、外科手術ロボットは外科手術器具を所望の位置に移動させることを試みる。
[0028] ブロック403は、外科手術器具の実際の位置を測定することを示す。これは内視鏡に含まれる画像センサを使用して達成することができ、内視鏡は視覚的サーボ制御を可能にし、内視鏡から来るビデオデータはリアルタイムで分析される。他の実施形態では、画像センサは外科手術ロボット自体に取り付けられてもよい。器具および器具の軌道はまた、マーカーを使用して検出され得る。例えば、チェッカーボードパターン(クイックレスポンスコード、バーコード等)、外科手術器具に取り付けられたカラードット、蛍光塗料/蛍光マーカーはすべて、外科手術器具および外科手術ロボットの可動構成要素の位置を決定するために単独でまたは視覚的画像と組み合わせて使用され得る。ラベル/マーカーは、器具/カメラの滅菌に対応し得る。マーカーはまた、手術中の人体への挿入に対して無毒性であり得る。あるいは、器具はラベル付けされず、手術中の外科手術器具のビデオデータを器具の3Dモデルのデータベースと比較することによって追跡が行われてもよい。さらに、器具追跡は機械学習されてもよい。ビデオデータを器具データと組み合わせて使用して、どの器具が使用されているか(その3Dモデルはその後回収して器具の検出に役立てることができる)およびその予想される位置は何か(これにより器具が各ビデオフレーム内で探索されるスペースが低減される)を知ることができる。この視覚的なフィードバックに加えて、外科手術ロボットのジョイントのモータコントローラからの情報を統合することによって、予想される位置が外科手術ロボットから収集される。いくつかの実施形態では、位置情報はまた、器具上のRFIDに類するタグおよび/または磁気センサを使用することによって収集され得る。例えば、器具の先端に接触センサを追加することにより(例えば、2つのプレート間の距離から導出される圧縮情報を引き出すための容量回路と共に)、外科手術器具の実際の位置の光学的知覚を高めるために追加情報が提供され得る。
[0029] ブロック405は、実際の位置と所望の位置との間の差を計算することを記載している。これは、外科手術器具の実際のX、Y、Z座標を取り、それらを所望のX、Y、Z座標から差し引くことによって完了され得る。外科手術器具の回転情報もまた考慮に入れることができる。システムは次に、座標セット間の最短距離またはそれに類するものを計算することができる。
[0030] ブロック407は、外科手術ロボットを使用して外科手術器具の実際の位置を所望の位置に対して調整することを示している。システム(例えば、図1のシステム100)は、どの軌道およびどの組織の相互作用が特定の量の補償を必要とするかを経時的に学習し、その情報を使用して数学的意味でリアルタイム補償を正則化することができる。各外科手術器具、器具の軌道、および組織パターンは実際の位置と所望の位置との間の特定の不一致を引き起こすことが予想される。しかし、パターンは、機械学習アルゴリズムおよび/または潜在的な調整のスペースを減らすために実行される次元削減によって決定および学習され得る。リアルタイム調整が常に円滑にかつ安全な範囲内で行われるように追加の制約を追加することができる(例えば、意図された移動の50%を超える調整がない、または未補償位置の周りの1cmを超える調整がない)。一実施形態では、特定の外科医は、外科手術ロボットが出力する追加の補償量を選択することができる。例えば、外科医は、機械が提供する追加の支援の量に精通していないかもしれず、提供される支援を縮小することを選ぶかもしれない。
[0031] 図5は、本開示のいくつかの実施形態による、ロボット手術におけるデータ収集の方法500を示す。方法500においてプロセスブロック501〜507のいくつかまたはすべてが現れる順序は、限定的であると見なされるべきではない。むしろ、本開示の恩恵を受ける当業者は、方法500が、図示されていない様々な順序で、またはさらには並行して実行されてもよいことを理解するであろう。
[0032] ブロック501は、外科手術ロボットを使用して媒体を通して外科手術器具を移動させることを示し、外科手術ロボットは外科手術器具を所望の位置に移動させることを試みる。一実施形態では、外科手術器具は外科手術ロボットに恒久的に結合されている。しかしながら、他の実施形態では、外科手術ロボットは、その可動構成要素のうちの1つまたは複数に結合する任意の数の外科手術用アタッチメントを受けるように構成され得る。
[0033] ブロック503は、外科手術器具の実際の位置を測定することを示す。これは、図4に示す方法400に関連して上述した方法のうちのいずれか、または他の図に関連して考察した他の方法のうちのいずれかを介して達成することができる。
[0034] ブロック505は、実際の位置と所望の位置との間の差を計算することを記載している。これは、図4に示す方法400に関連して上述した方法のうちのいずれか、または他の図に関連して考察した他の方法のいずれかを介して達成することができる。
[0035] ブロック507は、外科手術器具が通過した媒体の組成、および媒体を通して外科手術器具を移動させるのに必要な力で記録することを示す。図3に関連して上述したように、記録することは、この情報を光学的に、機械的にまたはそれらに類する方法で捕捉し、それをデータベースにアップロードして機械学習アルゴリズムを訓練することを含み得る。触覚データも記録することができ、それを補償アルゴリズムに通知するためにモデルに追加することができる。この実施形態では、システムは、機械学習アルゴリズムにさらに通知することができる接触力および摩擦機構に関する有用なフィードバック情報を記録し得る。
[0036] 上で説明したプロセスは、コンピュータソフトウェアおよびハードウェアに関して記載されている。記載された技術は、有形または非一時的な機械(例えばコンピュータ)可読記憶媒体内で実施される機械実行可能命令を構成することができ、それは機械によって実行されると記載された動作を機械に実行させる。さらに、プロセスは、特定用途向け集積回路(「ASIC」)などのハードウェア内で実施されてもよく、そうでなければ他の方法で実施されてもよい。
[0037] 有形の非一時的機械可読記憶媒体は、機械(例えば、コンピュータ、ネットワークデバイス、携帯情報端末、製造ツール、1つまたは複数のプロセッサのセットを有するいずれかの装置、その他)によってアクセス可能な形態で情報を提供する(すなわち記憶する)任意のメカニズムを含む。例えば、機械可読記憶媒体は、記録可能/記録不可能媒体(例えば、読み取り専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、磁気ディスク記憶媒体、光記憶媒体、フラッシュメモリ装置等)を含む。
[0038] 要約に記載されていることを含む本発明の例示された実施形態の上記の記載は、網羅的であることも、本発明を開示された正確な形態に限定することも意図しない。本発明の特定の実施形態およびその例は例示の目的で本明細書に記載されているが、当業者が認識するように、本発明の範囲内で様々な修正が可能である。
[0039] これらの修正は、上記の詳細な記載に照らして、本発明に対して行うことができる。以下の特許請求の範囲で使用される用語は、本明細書に開示された特定の実施形態に本発明を限定すると解釈されるべきではない。むしろ、本発明の範囲は以下の特許請求の範囲によって完全に決定されるべきであり、以下の特許請求の範囲は特許請求の範囲の解釈の確立された原則に従って解釈されるべきである。

Claims (13)

  1. 外科手術ロボットを制御するために前記外科手術ロボットに結合された処理装置によって実行される、処理装置の作動方法であって、
    前記外科手術ロボットを使用して外科手術器具を移動させることであって、前記外科手術ロボットは前記外科手術器具を所望の位置まで移動させることを試みる、移動させること、
    前記外科手術器具の実際の位置を測定すること、
    前記実際の位置と前記所望の位置との間の差を計算すること、および
    前記外科手術ロボットを使用して前記差に基づいて前記外科手術器具の前記実際の位置を前記所望の位置に対して調整すること
    を含み、
    前記実際の位置を調整することが、前記処理装置が前記外科手術ロボットに、前記外科手術器具を移動させるのに足りる力を前記外科手術器具に加えるよう指示する機械学習アルゴリズムを使用することを含み、前記機械学習アルゴリズムが、前記外科手術器具を移動させるのに十分な前記力に基づいて前記外科手術器具が移動する対象である媒体の組成を認識する、方法。
  2. 前記外科手術器具の前記実際の位置を前記所望の位置に対して調整することが繰返し行われ、前記媒体が生体組織を含む、請求項に記載の方法。
  3. 前記媒体が、光学的外観、前記外科手術器具を移動させるのに十分な前記力、または前記外科手術器具のユーザからの入力、のうちの少なくとも1つによって前記機械学習アルゴリズムによって認識される、請求項に記載の方法。
  4. 前記外科手術器具の前記実際の位置を測定することが、1つまたは複数の画像センサによって前記実際の位置を光学的に決定すること、マーカーと前記外科手術器具との間の距離を測定すること、または前記外科手術ロボットによって前記外科手術器具の前記実際の位置を機械的に測定すること、のうちの少なくとも1つを含む、請求項1に記載の方法。
  5. 前記外科手術器具のモーションスケーリング移動をさらに含む、請求項1に記載の方法。
  6. 前記外科手術器具を移動させるためにユーザから入力を受信すること、
    前記外科手術器具を移動させる前にユーザの動作から震えを除去すること
    をさらに含む、請求項1に記載の方法。
  7. 1つまたは複数の外科手術器具を保持するように構成された1つまたは複数のアームを含む外科手術ロボットと、
    前記外科手術ロボットを制御するために前記外科手術ロボットに結合された処理装置であって、前記処理装置によって実行されると、前記処理装置に、
    コントローラから信号を受信すること、
    前記信号に応答して前記1つまたは複数の外科手術器具を媒体を通して前記外科手術ロボットによって移動させること、
    前記1つまたは複数の外科手術器具の実際の位置を測定すること、
    前記実際の位置と所望の位置との間の差を計算すること、および
    前記外科手術ロボットを使用して、前記差に基づいて、前記1つまたは複数の外科手術器具の前記実際の位置を前記所望の位置に対して調整すること
    を含む操作を実行させる論理を含む処理装置と
    を含み、
    前記実際の位置を調整することが、前記外科手術ロボットに、前記媒体を通して前記1つまたは複数の外科手術器具を移動させるのに足りる力を前記1つまたは複数の外科手術器具に加えるよう指示する機械学習アルゴリズムを使用することを含み、前記機械学習アルゴリズムが、前記媒体を通して前記1つまたは複数の外科手術器具を移動させるのに十分な前記力に基づいて前記媒体の組成を認識する、ロボット手術システム。
  8. 前記外科手術ロボットが、前記1つまたは複数の外科手術器具を前記媒体を通して移動させるときに抵抗を感知して抵抗信号を出力するために結合された圧力センサを含み、前記処理装置はさらに、前記処理装置によって実行されると、前記処理装置に、
    少なくとも前記抵抗信号を使用して前記媒体の前記組成を認識するために前記機械学習アルゴリズムを使用すること
    を含む操作を実行させる論理を含む、請求項に記載のロボット手術システム。
  9. 前記外科手術ロボットがさらに、前記1つまたは複数の外科手術器具の前記実際の位置を光学的に測定するために結合された画像センサを含む、請求項に記載のロボット手術システム。
  10. 前記画像センサが前記媒体の画像を前記処理装置に出力するために結合され、前記処理装置がさらに、前記処理装置によって実行されると、前記処理装置に、
    少なくとも前記画像を使用して前記媒体の前記組成を認識するために前記機械学習アルゴリズムを使用すること
    を含む操作を実行させる論理を含む、請求項に記載のロボット手術システム。
  11. 前記処理装置がさらに、前記処理装置によって実行されると、前記処理装置に、
    前記媒体を通した前記1つまたは複数の外科手術器具の移動をモーションスケーリングすることであって、モーションスケーリングすることが、前記コントローラからの前記信号によって示されるよりも少なく前記1つまたは複数の外科手術器具を移動させることを含む、モーションスケーリングすること
    を含む操作を実行させる論理を含む、請求項に記載のロボット手術システム。
  12. 前記信号が前記コントローラのユーザからの震えを含み、前記処理装置がさらに、前記処理装置によって実行されると、前記処理装置に、
    前記信号に応答して前記1つまたは複数の外科手術器具を媒体を通して移動させる前に前記信号から前記震えを除去すること
    を含む操作を実行させる論理を含む、請求項に記載のロボット手術システム。
  13. 前記処理装置がさらに、前記処理装置によって実行されると、前記処理装置に、
    前記コントローラによって受信される触覚フィードバック信号を出力すること
    を含む操作を実行させる論理を含み、前記触覚フィードバック信号が前記コントローラの物理的抵抗を変化させる、
    請求項に記載のロボット手術システム。
JP2019506135A 2016-08-25 2017-08-22 ロボットシステムの動作の実行 Active JP6738481B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201662379445P 2016-08-25 2016-08-25
US62/379,445 2016-08-25
US15/675,029 2017-08-11
US15/675,029 US10695134B2 (en) 2016-08-25 2017-08-11 Motion execution of a robotic system
PCT/US2017/048067 WO2018039268A1 (en) 2016-08-25 2017-08-22 Motion execution of a robotic system

Publications (2)

Publication Number Publication Date
JP2019524284A JP2019524284A (ja) 2019-09-05
JP6738481B2 true JP6738481B2 (ja) 2020-08-12

Family

ID=61240934

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019506135A Active JP6738481B2 (ja) 2016-08-25 2017-08-22 ロボットシステムの動作の実行

Country Status (5)

Country Link
US (3) US10695134B2 (ja)
EP (1) EP3503831A1 (ja)
JP (1) JP6738481B2 (ja)
CN (1) CN109640860B (ja)
WO (1) WO2018039268A1 (ja)

Families Citing this family (146)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11871901B2 (en) 2012-05-20 2024-01-16 Cilag Gmbh International Method for situational awareness for surgical network or surgical network connected device capable of adjusting function based on a sensed situation or usage
US11504192B2 (en) * 2014-10-30 2022-11-22 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11406462B2 (en) 2016-11-11 2022-08-09 Intuitive Surgical Operations, Inc. Teleoperated surgical system with scan based positioning
US10918445B2 (en) * 2016-12-19 2021-02-16 Ethicon Llc Surgical system with augmented reality display
US20230045451A1 (en) * 2017-03-05 2023-02-09 Kai Surgical Corporation Architecture, system, and method for modeling, viewing, and performing a medical procedure or activity in a computer model, live, and combinations thereof
US11406390B2 (en) 2017-10-30 2022-08-09 Cilag Gmbh International Clip applier comprising interchangeable clip reloads
US11317919B2 (en) 2017-10-30 2022-05-03 Cilag Gmbh International Clip applier comprising a clip crimping system
US11229436B2 (en) 2017-10-30 2022-01-25 Cilag Gmbh International Surgical system comprising a surgical tool and a surgical hub
US11311342B2 (en) * 2017-10-30 2022-04-26 Cilag Gmbh International Method for communicating with surgical instrument systems
US11564756B2 (en) 2017-10-30 2023-01-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11801098B2 (en) * 2017-10-30 2023-10-31 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11911045B2 (en) * 2017-10-30 2024-02-27 Cllag GmbH International Method for operating a powered articulating multi-clip applier
US11925373B2 (en) 2017-10-30 2024-03-12 Cilag Gmbh International Surgical suturing instrument comprising a non-circular needle
US11510741B2 (en) 2017-10-30 2022-11-29 Cilag Gmbh International Method for producing a surgical instrument comprising a smart electrical system
US11291510B2 (en) 2017-10-30 2022-04-05 Cilag Gmbh International Method of hub communication with surgical instrument systems
US11844579B2 (en) 2017-12-28 2023-12-19 Cilag Gmbh International Adjustments based on airborne particle properties
US12127729B2 (en) 2017-12-28 2024-10-29 Cilag Gmbh International Method for smoke evacuation for surgical hub
US11419630B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Surgical system distributed processing
US12062442B2 (en) * 2017-12-28 2024-08-13 Cilag Gmbh International Method for operating surgical instrument systems
US11026751B2 (en) 2017-12-28 2021-06-08 Cilag Gmbh International Display of alignment of staple cartridge to prior linear staple line
US11903601B2 (en) 2017-12-28 2024-02-20 Cilag Gmbh International Surgical instrument comprising a plurality of drive systems
US11273001B2 (en) 2017-12-28 2022-03-15 Cilag Gmbh International Surgical hub and modular device response adjustment based on situational awareness
US12096916B2 (en) 2017-12-28 2024-09-24 Cilag Gmbh International Method of sensing particulate from smoke evacuated from a patient, adjusting the pump speed based on the sensed information, and communicating the functional parameters of the system to the hub
US10943454B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Detection and escalation of security responses of surgical instruments to increasing severity threats
US11058498B2 (en) 2017-12-28 2021-07-13 Cilag Gmbh International Cooperative surgical actions for robot-assisted surgical platforms
US11132462B2 (en) 2017-12-28 2021-09-28 Cilag Gmbh International Data stripping method to interrogate patient records and create anonymized record
US11179208B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Cloud-based medical analytics for security and authentication trends and reactive measures
US11744604B2 (en) 2017-12-28 2023-09-05 Cilag Gmbh International Surgical instrument with a hardware-only control circuit
US10758310B2 (en) 2017-12-28 2020-09-01 Ethicon Llc Wireless pairing of a surgical device with another device within a sterile surgical field based on the usage and situational awareness of devices
US10944728B2 (en) 2017-12-28 2021-03-09 Ethicon Llc Interactive surgical systems with encrypted communication capabilities
US11540855B2 (en) 2017-12-28 2023-01-03 Cilag Gmbh International Controlling activation of an ultrasonic surgical instrument according to the presence of tissue
US11389164B2 (en) 2017-12-28 2022-07-19 Cilag Gmbh International Method of using reinforced flexible circuits with multiple sensors to optimize performance of radio frequency devices
US11786245B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Surgical systems with prioritized data transmission capabilities
US11304720B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Activation of energy devices
US11257589B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Real-time analysis of comprehensive cost of all instrumentation used in surgery utilizing data fluidity to track instruments through stocking and in-house processes
US11410259B2 (en) 2017-12-28 2022-08-09 Cilag Gmbh International Adaptive control program updates for surgical devices
US10892995B2 (en) 2017-12-28 2021-01-12 Ethicon Llc Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11278281B2 (en) 2017-12-28 2022-03-22 Cilag Gmbh International Interactive surgical system
US11056244B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Automated data scaling, alignment, and organizing based on predefined parameters within surgical networks
US11666331B2 (en) 2017-12-28 2023-06-06 Cilag Gmbh International Systems for detecting proximity of surgical end effector to cancerous tissue
US11423007B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Adjustment of device control programs based on stratified contextual data in addition to the data
US11969142B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Method of compressing tissue within a stapling device and simultaneously displaying the location of the tissue within the jaws
US11324557B2 (en) 2017-12-28 2022-05-10 Cilag Gmbh International Surgical instrument with a sensing array
US11864728B2 (en) 2017-12-28 2024-01-09 Cilag Gmbh International Characterization of tissue irregularities through the use of mono-chromatic light refractivity
US10932872B2 (en) 2017-12-28 2021-03-02 Ethicon Llc Cloud-based medical analytics for linking of local usage trends with the resource acquisition behaviors of larger data set
US11051876B2 (en) 2017-12-28 2021-07-06 Cilag Gmbh International Surgical evacuation flow paths
US11832840B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical instrument having a flexible circuit
US11559308B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method for smart energy device infrastructure
US11364075B2 (en) 2017-12-28 2022-06-21 Cilag Gmbh International Radio frequency energy device for delivering combined electrical signals
US11576677B2 (en) 2017-12-28 2023-02-14 Cilag Gmbh International Method of hub communication, processing, display, and cloud analytics
US11969216B2 (en) 2017-12-28 2024-04-30 Cilag Gmbh International Surgical network recommendations from real time analysis of procedure variables against a baseline highlighting differences from the optimal solution
US20190201113A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Controls for robot-assisted surgical platforms
US11376002B2 (en) 2017-12-28 2022-07-05 Cilag Gmbh International Surgical instrument cartridge sensor assemblies
US11317937B2 (en) 2018-03-08 2022-05-03 Cilag Gmbh International Determining the state of an ultrasonic end effector
US11818052B2 (en) 2017-12-28 2023-11-14 Cilag Gmbh International Surgical network determination of prioritization of communication, interaction, or processing based on system or device needs
US11424027B2 (en) * 2017-12-28 2022-08-23 Cilag Gmbh International Method for operating surgical instrument systems
US11857152B2 (en) 2017-12-28 2024-01-02 Cilag Gmbh International Surgical hub spatial awareness to determine devices in operating theater
US11096693B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Adjustment of staple height of at least one row of staples based on the sensed tissue thickness or force in closing
US11832899B2 (en) 2017-12-28 2023-12-05 Cilag Gmbh International Surgical systems with autonomously adjustable control programs
US11045591B2 (en) 2017-12-28 2021-06-29 Cilag Gmbh International Dual in-series large and small droplet filters
US10966791B2 (en) 2017-12-28 2021-04-06 Ethicon Llc Cloud-based medical analytics for medical facility segmented individualization of instrument function
US11266468B2 (en) 2017-12-28 2022-03-08 Cilag Gmbh International Cooperative utilization of data derived from secondary sources by intelligent surgical hubs
US11069012B2 (en) 2017-12-28 2021-07-20 Cilag Gmbh International Interactive surgical systems with condition handling of devices and data capabilities
US11659023B2 (en) 2017-12-28 2023-05-23 Cilag Gmbh International Method of hub communication
US11166772B2 (en) 2017-12-28 2021-11-09 Cilag Gmbh International Surgical hub coordination of control and communication of operating room devices
US11896322B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Sensing the patient position and contact utilizing the mono-polar return pad electrode to provide situational awareness to the hub
US11179175B2 (en) 2017-12-28 2021-11-23 Cilag Gmbh International Controlling an ultrasonic surgical instrument according to tissue location
US11998193B2 (en) 2017-12-28 2024-06-04 Cilag Gmbh International Method for usage of the shroud as an aspect of sensing or controlling a powered surgical device, and a control algorithm to adjust its default operation
US11633237B2 (en) 2017-12-28 2023-04-25 Cilag Gmbh International Usage and technique analysis of surgeon / staff performance against a baseline to optimize device utilization and performance for both current and future procedures
US20190201039A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Situational awareness of electrosurgical systems
US20190206569A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Method of cloud based data analytics for use with the hub
US11202570B2 (en) 2017-12-28 2021-12-21 Cilag Gmbh International Communication hub and storage device for storing parameters and status of a surgical device to be shared with cloud based analytics systems
US11896443B2 (en) 2017-12-28 2024-02-13 Cilag Gmbh International Control of a surgical system through a surgical barrier
US11109866B2 (en) 2017-12-28 2021-09-07 Cilag Gmbh International Method for circular stapler control algorithm adjustment based on situational awareness
US11678881B2 (en) 2017-12-28 2023-06-20 Cilag Gmbh International Spatial awareness of surgical hubs in operating rooms
US10987178B2 (en) 2017-12-28 2021-04-27 Ethicon Llc Surgical hub control arrangements
US11147607B2 (en) 2017-12-28 2021-10-19 Cilag Gmbh International Bipolar combination device that automatically adjusts pressure based on energy modality
US11291495B2 (en) 2017-12-28 2022-04-05 Cilag Gmbh International Interruption of energy due to inadvertent capacitive coupling
US11464559B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Estimating state of ultrasonic end effector and control system therefor
US11304699B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11234756B2 (en) 2017-12-28 2022-02-01 Cilag Gmbh International Powered surgical tool with predefined adjustable control algorithm for controlling end effector parameter
US11446052B2 (en) 2017-12-28 2022-09-20 Cilag Gmbh International Variation of radio frequency and ultrasonic power level in cooperation with varying clamp arm pressure to achieve predefined heat flux or power applied to tissue
US11786251B2 (en) 2017-12-28 2023-10-17 Cilag Gmbh International Method for adaptive control schemes for surgical network control and interaction
US11559307B2 (en) 2017-12-28 2023-01-24 Cilag Gmbh International Method of robotic hub communication, detection, and control
US11100631B2 (en) 2017-12-28 2021-08-24 Cilag Gmbh International Use of laser light and red-green-blue coloration to determine properties of back scattered light
US11304763B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Image capturing of the areas outside the abdomen to improve placement and control of a surgical device in use
US11464535B2 (en) 2017-12-28 2022-10-11 Cilag Gmbh International Detection of end effector emersion in liquid
US11160605B2 (en) 2017-12-28 2021-11-02 Cilag Gmbh International Surgical evacuation sensing and motor control
US11308075B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical network, instrument, and cloud responses based on validation of received dataset and authentication of its source and integrity
US11602393B2 (en) 2017-12-28 2023-03-14 Cilag Gmbh International Surgical evacuation sensing and generator control
US11284936B2 (en) 2017-12-28 2022-03-29 Cilag Gmbh International Surgical instrument having a flexible electrode
US11571234B2 (en) 2017-12-28 2023-02-07 Cilag Gmbh International Temperature control of ultrasonic end effector and control system therefor
US11589888B2 (en) 2017-12-28 2023-02-28 Cilag Gmbh International Method for controlling smart energy devices
US11304745B2 (en) 2017-12-28 2022-04-19 Cilag Gmbh International Surgical evacuation sensing and display
US11311306B2 (en) 2017-12-28 2022-04-26 Cilag Gmbh International Surgical systems for detecting end effector tissue distribution irregularities
US11076921B2 (en) 2017-12-28 2021-08-03 Cilag Gmbh International Adaptive control program updates for surgical hubs
US11432885B2 (en) 2017-12-28 2022-09-06 Cilag Gmbh International Sensing arrangements for robot-assisted surgical platforms
US11419667B2 (en) 2017-12-28 2022-08-23 Cilag Gmbh International Ultrasonic energy device which varies pressure applied by clamp arm to provide threshold control pressure at a cut progression location
US11529187B2 (en) 2017-12-28 2022-12-20 Cilag Gmbh International Surgical evacuation sensor arrangements
US11937769B2 (en) 2017-12-28 2024-03-26 Cilag Gmbh International Method of hub communication, processing, storage and display
US11253315B2 (en) 2017-12-28 2022-02-22 Cilag Gmbh International Increasing radio frequency to create pad-less monopolar loop
US20190201146A1 (en) 2017-12-28 2019-07-04 Ethicon Llc Safety systems for smart powered surgical stapling
US10517681B2 (en) * 2018-02-27 2019-12-31 NavLab, Inc. Artificial intelligence guidance system for robotic surgery
US11967422B2 (en) 2018-03-05 2024-04-23 Medtech S.A. Robotically-assisted surgical procedure feedback techniques
US11259830B2 (en) 2018-03-08 2022-03-01 Cilag Gmbh International Methods for controlling temperature in ultrasonic device
US11986233B2 (en) 2018-03-08 2024-05-21 Cilag Gmbh International Adjustment of complex impedance to compensate for lost power in an articulating ultrasonic device
US11344326B2 (en) 2018-03-08 2022-05-31 Cilag Gmbh International Smart blade technology to control blade instability
US11207067B2 (en) 2018-03-28 2021-12-28 Cilag Gmbh International Surgical stapling device with separate rotary driven closure and firing systems and firing member that engages both jaws while firing
US11096688B2 (en) 2018-03-28 2021-08-24 Cilag Gmbh International Rotary driven firing members with different anvil and channel engagement features
US11471156B2 (en) 2018-03-28 2022-10-18 Cilag Gmbh International Surgical stapling devices with improved rotary driven closure systems
US11259806B2 (en) 2018-03-28 2022-03-01 Cilag Gmbh International Surgical stapling devices with features for blocking advancement of a camming assembly of an incompatible cartridge installed therein
US11090047B2 (en) 2018-03-28 2021-08-17 Cilag Gmbh International Surgical instrument comprising an adaptive control system
US11278280B2 (en) 2018-03-28 2022-03-22 Cilag Gmbh International Surgical instrument comprising a jaw closure lockout
US10973520B2 (en) 2018-03-28 2021-04-13 Ethicon Llc Surgical staple cartridge with firing member driven camming assembly that has an onboard tissue cutting feature
US11406382B2 (en) 2018-03-28 2022-08-09 Cilag Gmbh International Staple cartridge comprising a lockout key configured to lift a firing member
US11219453B2 (en) 2018-03-28 2022-01-11 Cilag Gmbh International Surgical stapling devices with cartridge compatible closure and firing lockout arrangements
US11344374B2 (en) * 2018-08-13 2022-05-31 Verily Life Sciences Llc Detection of unintentional movement of a user interface device
EP3856001A4 (en) * 2018-09-28 2022-06-22 Auris Health, Inc. DEVICES, SYSTEMS AND METHODS FOR MANUAL AND ROBOTIC DRIVE MEDICAL INSTRUMENTS
CN113165161B (zh) * 2018-12-21 2024-02-06 川崎重工业株式会社 机器人系统以及机器人系统的控制方法
EP3918609A1 (en) * 2019-01-31 2021-12-08 Intuitive Surgical Operations, Inc. Camera control systems and methods for a computer-assisted surgical system
CN114269277A (zh) * 2019-02-05 2022-04-01 史密夫和内修有限公司 改善髌骨性能的计算机辅助的关节置换术系统
US11357503B2 (en) 2019-02-19 2022-06-14 Cilag Gmbh International Staple cartridge retainers with frangible retention features and methods of using same
US11517309B2 (en) 2019-02-19 2022-12-06 Cilag Gmbh International Staple cartridge retainer with retractable authentication key
US11369377B2 (en) 2019-02-19 2022-06-28 Cilag Gmbh International Surgical stapling assembly with cartridge based retainer configured to unlock a firing lockout
US11464511B2 (en) 2019-02-19 2022-10-11 Cilag Gmbh International Surgical staple cartridges with movable authentication key arrangements
US11317915B2 (en) 2019-02-19 2022-05-03 Cilag Gmbh International Universal cartridge based key feature that unlocks multiple lockout arrangements in different surgical staplers
JP2022521556A (ja) * 2019-02-28 2022-04-08 コーニンクレッカ フィリップス エヌ ヴェ エンドエフェクタのフィードフォワード連続配置制御
FR3095331A1 (fr) * 2019-04-26 2020-10-30 Ganymed Robotics Procédé de chirurgie orthopédique assistée par ordinateur
USD964564S1 (en) 2019-06-25 2022-09-20 Cilag Gmbh International Surgical staple cartridge retainer with a closure system authentication key
USD950728S1 (en) 2019-06-25 2022-05-03 Cilag Gmbh International Surgical staple cartridge
USD952144S1 (en) 2019-06-25 2022-05-17 Cilag Gmbh International Surgical staple cartridge retainer with firing system authentication key
EP3982863A4 (en) * 2019-07-15 2023-06-28 Corindus, Inc. Data capture and adaptive guidance for robotic procedures with an elongated medical device
EP4072793A1 (en) * 2019-12-09 2022-10-19 Covidien LP System for checking instrument state of a surgical robotic arm
CN114727844A (zh) * 2019-12-09 2022-07-08 柯惠Lp公司 用于外科机器人臂中的解剖状态确认的系统和装置
WO2021163615A1 (en) * 2020-02-12 2021-08-19 The Board Of Regents Of The University Of Texas System Microrobotic systems and methods for endovascular interventions
US11819288B2 (en) 2020-03-19 2023-11-21 Verb Surgical Inc. Trocar pose estimation using machine learning for docking surgical robotic arm to trocar
WO2021235804A1 (ko) * 2020-05-18 2021-11-25 주식회사 루닛 메디컬 장치의 이상을 결정하는 방법 및 시스템
KR102426925B1 (ko) * 2020-06-23 2022-07-29 (주)휴톰 3d 시뮬레이션을 활용한 수술로봇의 동작 정보를 획득하는 방법 및 프로그램
US20220096175A1 (en) * 2020-09-25 2022-03-31 Duke University Artificial training data collection system for rfid surgical instrument localization
JP2023542706A (ja) * 2020-09-25 2023-10-11 オーリス ヘルス インコーポレイテッド ロボットアームを位置合わせするための触覚フィードバック
US11793597B2 (en) 2020-09-30 2023-10-24 Verb Surgical Inc. Attachment mechanism for docking cannulas to surgical robotic arms
US11793500B2 (en) 2020-09-30 2023-10-24 Verb Surgical Inc. Adjustable force and ball bearing attachment mechanism for docking cannulas to surgical robotic arms
CN112402020B (zh) * 2020-12-01 2022-02-22 北京天智航医疗科技股份有限公司 用于手术机器人机械臂的控制方法和装置、介质、设备
US12082896B2 (en) * 2021-08-04 2024-09-10 Pixee Medical Surgical navigation system on wearable computer combining augmented reality and robotics
CN113925607B (zh) * 2021-11-12 2024-02-27 上海微创医疗机器人(集团)股份有限公司 手术机器人操作训练方法、装置、系统、介质及设备
KR20240102555A (ko) * 2022-12-26 2024-07-03 (주)미래컴퍼니 수술용 로봇 시스템 및 이의 제어방법

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU6262698A (en) 1997-02-04 1998-08-25 National Aeronautics And Space Administration - Nasa Multimodality instrument for tissue characterization
EP1133265B1 (en) * 1998-11-23 2004-07-07 Microdexterity Systems Inc. Surgical manipulator
US7892243B2 (en) 2001-01-16 2011-02-22 Microdexterity Systems, Inc. Surgical manipulator
US20040243147A1 (en) * 2001-07-03 2004-12-02 Lipow Kenneth I. Surgical robot and robotic controller
WO2006114003A1 (en) * 2005-04-27 2006-11-02 The Governors Of The University Of Alberta A method and system for automatic detection and segmentation of tumors and associated edema (swelling) in magnetic resonance (mri) images
US8073528B2 (en) 2007-09-30 2011-12-06 Intuitive Surgical Operations, Inc. Tool tracking systems, methods and computer products for image guided surgery
CA2712607A1 (en) * 2008-01-25 2009-07-30 Mcmaster University Surgical guidance utilizing tissue feedback
US20130338479A1 (en) * 2008-12-19 2013-12-19 Universidad De Cantabria Apparatus And Method For Surgical Instrument With Integral Automated Tissue Classifier
US8918211B2 (en) 2010-02-12 2014-12-23 Intuitive Surgical Operations, Inc. Medical robotic system providing sensory feedback indicating a difference between a commanded state and a preferred pose of an articulated instrument
JP2011254975A (ja) 2010-06-09 2011-12-22 Nakashima Medical Co Ltd 手術支援システム
US8736212B2 (en) * 2010-12-16 2014-05-27 St. Jude Medical, Atrial Fibrillation Division, Inc. System and method of automatic detection and prevention of motor runaway
US20140184608A1 (en) * 2011-05-05 2014-07-03 Richard A. Robb Systems and methods for analyzing in vivo tissue volumes using medical imaging data
US9770828B2 (en) * 2011-09-28 2017-09-26 The Johns Hopkins University Teleoperative-cooperative robotic system
CN104039260B (zh) * 2012-01-03 2017-12-19 皇家飞利浦有限公司 位置确定装置
CN104094314B (zh) * 2012-01-27 2018-06-08 皇家飞利浦有限公司 使用定量t1映射进行风险区域的自动探测
EP2822472B1 (en) * 2012-03-07 2022-09-28 Ziteo, Inc. Systems for tracking and guiding sensors and instruments
KR102214789B1 (ko) 2012-04-16 2021-02-09 칠드런스 내셔널 메디컬 센터 수술 및 중재 시술에서 추적 및 제어를 위한 듀얼-모드 스테레오 이미징 시스템
CN104519808B (zh) * 2012-05-03 2018-09-25 克利夫兰临床基金会 术前规划和提供患者特异性手术辅助的系统
US9220570B2 (en) 2012-06-29 2015-12-29 Children's National Medical Center Automated surgical and interventional procedures
WO2014121262A2 (en) * 2013-02-04 2014-08-07 Children's National Medical Center Hybrid control surgical robotic system
US10390737B2 (en) 2013-09-30 2019-08-27 Stryker Corporation System and method of controlling a robotic system for manipulating anatomy of a patient during a surgical procedure
US9594976B2 (en) * 2014-02-18 2017-03-14 Siemens Healthcare Gmbh Sparse appearance learning-based segmentation
KR101594989B1 (ko) * 2014-05-30 2016-02-18 큐렉소 주식회사 조직 위치 정합 방법 및 이를 이용하는 장치
US9622698B2 (en) * 2014-11-19 2017-04-18 Xerox Corporation System and method for detecting cancerous tissue from a thermal image

Also Published As

Publication number Publication date
CN109640860B (zh) 2021-09-28
US10695134B2 (en) 2020-06-30
US20210282870A1 (en) 2021-09-16
EP3503831A1 (en) 2019-07-03
US20200275978A1 (en) 2020-09-03
US20180055577A1 (en) 2018-03-01
WO2018039268A1 (en) 2018-03-01
CN109640860A (zh) 2019-04-16
US11026754B2 (en) 2021-06-08
US11596483B2 (en) 2023-03-07
JP2019524284A (ja) 2019-09-05

Similar Documents

Publication Publication Date Title
JP6738481B2 (ja) ロボットシステムの動作の実行
US11007023B2 (en) System and method of registration between devices with movable arms
EP3473202B1 (en) Robotic system for minimally invasive surgery
EP3414737A1 (en) Autonomic system for determining critical points during laparoscopic surgery
WO2022226086A2 (en) Robotic surgery
KR102688404B1 (ko) 사용자 설치가능 부품 설치 탐지 기술
WO2017098504A1 (en) Autonomic detection of malfunctioning in surgical tools
Bihlmaier et al. Learning dynamic spatial relations
WO2023023186A1 (en) Techniques for following commands of an input device using a constrained proxy
Bihlmaier et al. Endoscope robots and automated camera guidance
US20230414307A1 (en) Systems and methods for remote mentoring
US20200315740A1 (en) Identification and assignment of instruments in a surgical system using camera recognition
JP2023551531A (ja) 医療処置の生成及び評価のためのシステム及び方法
Verma Design and analysis of ex-vivo minimally invasive robotic system for antebrachium laceration suturing task
CN117279576A (zh) 用于对外科机器人系统的相机组件进行自动聚焦的系统和方法
Nia Kosari Haptic Virtual Fixtures for Robotic Surgery

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190404

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190404

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200214

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200518

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200717

R150 Certificate of patent or registration of utility model

Ref document number: 6738481

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250