TWI780843B - 遠端手術裝置產生力回饋之方法 - Google Patents

遠端手術裝置產生力回饋之方法 Download PDF

Info

Publication number
TWI780843B
TWI780843B TW110127921A TW110127921A TWI780843B TW I780843 B TWI780843 B TW I780843B TW 110127921 A TW110127921 A TW 110127921A TW 110127921 A TW110127921 A TW 110127921A TW I780843 B TWI780843 B TW I780843B
Authority
TW
Taiwan
Prior art keywords
surgical device
remote
image
surgical
images
Prior art date
Application number
TW110127921A
Other languages
English (en)
Other versions
TW202304393A (zh
Inventor
劉柏園
莊賢哲
簡志誠
王彥傑
Original Assignee
遊戲橘子數位科技股份有限公司
國泰醫療財團法人國泰綜合醫院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 遊戲橘子數位科技股份有限公司, 國泰醫療財團法人國泰綜合醫院 filed Critical 遊戲橘子數位科技股份有限公司
Priority to TW110127921A priority Critical patent/TWI780843B/zh
Priority to CN202111025916.9A priority patent/CN115670684A/zh
Priority to US17/481,665 priority patent/US11666406B2/en
Priority to EP21201786.7A priority patent/EP4124313A1/en
Application granted granted Critical
Publication of TWI780843B publication Critical patent/TWI780843B/zh
Publication of TW202304393A publication Critical patent/TW202304393A/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/70—Manipulators specially adapted for use in surgery
    • A61B34/76—Manipulators having means for providing feel, e.g. force or tactile feedback
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B34/35—Surgical robots for telesurgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A61B2034/302—Surgical robots specifically adapted for manipulations within body cavities, e.g. within abdominal or thoracic cavities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/06—Measuring instruments not otherwise provided for
    • A61B2090/064—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension
    • A61B2090/066—Measuring instruments not otherwise provided for for measuring force, pressure or mechanical tension for measuring torque
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Medical Informatics (AREA)
  • Robotics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Manipulator (AREA)
  • Surgical Instruments (AREA)

Abstract

本發明為一種遠端手術裝置產生力回饋之方法，其先控制一遠端手術裝置之一作業部進入一人體內部執行一手術作業，再由一影像擷取單元擷取對應之複數個手術影像至一控制裝置，然後該控制裝置依據該些個手術影像取得該遠端手術裝置之一第一運動分量、一第二運動分量與一元件動作，以運算出該遠端手術裝置之一輸出力，並進一步藉由該輸出力產生對應之力量回饋。藉此，讓使用者藉由力量回饋獲得該遠端手術裝置之控制狀態，除了可避免因過度施力產生意外的醫源性傷害，亦可更精確地進行手術。

Description

遠端手術裝置產生力回饋之方法
本發明係關於一種產生力回饋之方法，特別是一種遠端手術裝置產生力回饋之方法。
近年來，隨著機構學、自動化控制及計算機技術的蓬勃發展，機械手臂為提供高效率及穩定的自動化控制，特別是用於遠端操作。
一般而言一般而言，遠端手術裝置即是由外科主刀醫師操作遠端手術裝置，進行外科手術，例如：達文西手術機器人，遠端手術裝置一般即是使用機械手臂進行手術作業。
雖然，遠端手術裝置藉由半自動化控制，而提供微創且穩定的手術，但是施作手術作業的機械手臂並未能讓操作者如同近端手術作業一般，藉由手持的手術器械接觸到修復或摘除的解剖部分之器官組織，而輕易得知手術器械的控制狀態，也就是遠端手術裝置之操作者在遠端使用機械手臂進行遠端作業，而存在有無法得知之當前機械手臂的受力情況，導致在無法得知機械手臂受力情況下發生意外狀況時，機械手臂之操作者無法即時做出反應而造成風險之問題。
為了解決遠端作業無法得知機械手臂受力情況下發生意外狀況的問題，遂有業者發展出透過力回饋手套，其為外加於原先的機械手臂，但是對於手術裝置而言，每多一個元件即多一分成本。此外，遠端手術裝置對於機械手臂的控制較精密，因此在設備成本上，亦是需要注意的地方。
依據上述問題，本發明為提供一種遠端手術裝置產生力回饋之方法，其係透過遠端手術裝置所擷取之手術影像在手術作業中，邊進行手術作業邊分析遠端手術裝置之運動分量與元件動作，因而運算出遠端手術裝置於手術作業中的輸出力，除了可避免因過度施力產生意外的醫源性傷害，亦可更精確地進行手術。
本發明之一目的，在於提供一種遠端手術裝置產生力回饋之方法，其藉由在手術作業中的手術影像，邊進行手術作業邊分析遠端手術裝置之運動分量與元件動作，因而運算出遠端手術裝置於手術作業中的輸出力，除了可避免因過度施力產生意外的醫源性傷害，亦可更精確地進行手術。
針對上述之目的，本發明提供一種遠端手術裝置產生力回饋之方法，其先利用一遠端手術裝置之一影像擷取單元擷取一手術作業對應之複數個手術影像至一控制裝置，爾後，該控制裝置依據該些個手術影像取得該作業部之一第一運動分量；並由該控制裝置依據該第一運動分量與該遠端手術裝置至作業部之一第二運動分量估算該遠端手術裝置之一輸出力，以進一步藉由該輸出力產生一力量回饋。藉此讓控制裝置針對遠端手術裝置之手術動作產生力回饋，除了可避免因過度施力產生意外的醫源性傷害，亦可更精確地進行手術。
本發明提供一實施例，其中於利用該遠端手術裝置之一影像擷取單元擷取該手術作業對應之複數個手術影像至一控制裝置之步驟中，進一步利用一壓力感測器感測該作業部之一承受壓力。
本發明提供一實施例，其中於該控制裝置依據該第一運動分量與該遠端手術裝置至作業部之一第二運動分量估算該遠端手術裝置之一輸出力之步驟中，該控制裝置進一步依據該承受壓力估算該輸出力。
本發明提供一實施例，其中該作業部為連接一夾具、一鑽頭、一銼刀、一刮刀、一鋸刀、一螺絲刀或通過鑽孔、打磨、切除或刮除以修復或摘除部分組織的外科手術工具，該作業部設有一壓力感測器、一壓電感測器、一彈力感測器、一光學攝像頭、一鐳射掃描器或一超音波掃描器。
本發明提供一實施例，其中於該控制裝置依據該些個手術影像取得該作業部之一第一運動分量之步驟中，先分別切割該些個手術影像成複數個影像區塊，以依據一匹配演算法分析該些個影像區塊，以獲得該遠端手術裝置之複數個動作影像，再依據該些個動作影像取得複數個前景影像與至少一背景影像，然後比較該些個前景影像與該背景影像，以取得該第一運動分量。
本發明提供一實施例，其中於獲得該遠端手術裝置之複數個動作影像之步驟中，進一步標籤該些個動作影像。
本發明提供一實施例，其中於依據該動作影像取得複數個前景影像與至少一背景影像之步驟中，進一步依據該些個前景影像之複數個元件中心點取得一出力向量，以取得該第一運動分量。
本發明提供一實施例，其中於比較該些個前景影像與該背景影像之步驟中，進一步取得該背景影像之一色彩，以比對一色彩係數表，而調整該第一運動分量。
本發明提供一實施例，其中該匹配演算法為全域搜索法(Full search)[2]、三步驟搜索法(Three-stepsearch)[2]、鑽石搜索法(Diamond search)、絕對誤差合(Sum of absolute difference，SAD)、平均絕對誤差合(Mean absolute error，MAE)或均方誤差合(Mean squared error，MSE)。
本發明提供一實施例，其中於該控制裝置依據該輸出力產生一力量回饋之步驟中，該控制裝置為依據該輸出力產生該力量回饋對應之一顯示影像或一機械操作。
本發明提供一實施例，其中該顯示影像為一力量數值影像，該機械操作為一反饋推力。
1:手術系統
10:控制裝置
102:處理單元
1022:影像處理單元
1024:分析單元
104:影像產生單元
106:致動產生單元
108:控制手把
20:遠端手術裝置
22:基座
24:作業部
26:感測器
ACT:元件動作
AG:動作影像
B:影像區塊
BG:背景影像
BODY:人體
C:影像擷取單元
CP:元件中心點
CTRL:控制命令
CUT:切口
FB:力量回饋
FG:前景影像
IMG:手術影像
MAT:匹配演算法
OP:手術作業
P:輸出力
SCN:顯示畫面
ST1:第一手術工具
ST11:微型手術刀
ST2:第二手術工具
ST21:夾具
ST3:第三手術工具
ST31:鑽頭
T1:第一運動分量
T2:第二運動分量
V1:顯示影像
V2:機械操作
VD:影像資料
S10~S50:步驟
S310~S340:步驟
第1圖：其為本發明之一實施例之流程圖；第2A-2E圖：其為本發明之一實施例之裝置示意圖；第3圖：其為本發明之控制裝置依據影像運算第一運動分量之流程圖；以及第4A-4D圖：其為本發明之一實施例之影像運算之示意圖。
為使 貴審查委員對本發明之特徵及所達成之功效有更進一步之瞭解與認識，謹佐以較佳之實施例及配合詳細之說明，說明如後：
習知遠端手術裝置之控制方法係直接參考影像直接進行操作，本發明改善習知遠端手術裝置之控制方法之缺點，除了可避免因過度施力產生意外的醫源性傷害，亦可更精確地進行手術，另外亦可避免造成器械損壞。
在下文中，將藉由圖式來說明本發明之各種實施例來詳細描述本發明。然而本發明之概念可能以許多不同型式來體現，且不應解釋為限於本文中所闡述之例式性實施例。
本發明之遠端手術裝置產生力回饋之方法之使用流程如第1圖所示，其為本發明之一實施例之流程圖，如圖所示，步驟如下：步驟S10：控制遠端手術裝置之作業部執行手術作業；步驟S20：利用遠端手術裝置之影像擷取單元擷取手術作業對應之手術影像至控制裝置；步驟S30：控制裝置依據手術影像取得作業部之第一運動分量；步驟S40：控制裝置依據第一運動分量與遠端手術裝置至作業部之第二運動分量估算遠端手術裝置之輸出力；以及步驟S50：該控制裝置依據該輸出力產生力量回饋。
本發明之遠端手術裝置使用步驟流程如步驟S10至步驟S40，為了更明白說明本發明之該遠端手術裝置產生力回饋之方法之使用步驟流程，在此舉一實際範例，請參考第2A至2E圖，其為本發明之一實施例之裝置示意圖。如圖所示，本發明之手術系統1包含一控制裝置10與一遠端手術裝置20，本實施例為控制裝置10經傳輸線連接至遠端手術裝置20，但本發明不限於此，控制裝置10 更可透過無線傳輸方式傳送控制訊號至遠端手術裝置20，遠端手術裝置20設有至少一作業部24，本實施例為遠端手術裝置20設有一基座22與複數個作業部24，該些個作業部24分別連接一影像擷取單元C、一第一手術工具ST1、一第二手術工具ST2與一第三手術工具ST3，第一手術工具ST1為連接一微型手術刀ST11，第二手術工具ST2為連接一夾具ST21，第三手術工具ST3為連接一鑽頭ST31，該些個作業部24分別為機械手臂，控制裝置10為傳輸一控制命令CTRL至遠端手術裝置20。作業部24除了連接微型手術刀ST11、連接夾具ST21、鑽頭ST31，其中微型手術刀ST11為一銼刀、一刮刀、一鋸刀、一螺絲刀，更可為通過鑽孔、打磨、切除或刮除以修復或摘除部分組織的外科手術工具，此外，作業部24更可進一步設有一感測器26，其為一壓力感測器、一壓電感測器、一彈力感測器、一光學攝像頭、一鐳射掃描器或一超音波掃描器。
於步驟S10中，如第2A圖所示，使用者透過控制裝置10控制遠端手術裝置20之作業部24進入一人體BODY的內部，以進行一手術作業OP，例如：膽管切除之微創手術，也就是將該些個作業部24所連接之影像擷取單元C、第一手術工具ST1、第二手術工具ST2與第三手術工具ST3進入人體BODY的內部，接續於步驟S20中，如第2B圖所示，透過控制裝置10之控制，而利用遠端手術裝置20之影像擷取單元C擷取手術作業OP對應之複數個手術影像IMG至控制裝置10，因而形成一影像資料VD，其對應之一顯示畫面SCN，為提供顯示手術作業OP中的畫面，其中畫面SCN為顯示微型手術刀ST11與夾具ST21。
於步驟S30中，如第2C圖所示，控制裝置10依據上述影像資料VD中的該些個手術影像IMG，取得作業部24於該些個手術影像IMG上所形成之一第一運動分量T1，本實施例係以第一運動分量T1對應於作業部24所連接之元件於 該些個手術影像IMG上所形成之一元件動作ACT，即微型手術刀ST11下切動作下切動作因而形成一切口CUT作為舉例說明，但本發明不限於此，更可以是夾具ST21之夾取動作或鑽頭ST31之鑽孔動作，或者其他手術器械動作。
接續上述，於步驟S40中，如第2C圖與第2D圖所示，控制裝置10藉由一處理單元102依據預設資料取得遠端手術裝置20至作業部24機械施力所形成之一第二運動分量T2搭配部驟S30所得之第一運動分量T1，估算遠端手術裝置20輸出至作業部24之一輸出力P。然後，於步驟S50中，如第2E圖所示，控制裝置10之處理單元102將步驟S30所獲得之輸出力P對應之資料傳輸至一影像產生單元104或一致動產生單元106，對應產生一力量回饋FB，特別是依據輸出力P產生對應之一顯示影像V1或一機械操作V2，例如：顯示畫面SCN一力量數值影像，或者是一反饋推力傳遞至控制裝置10之一控制手把108。
因此，本發明利用遠端手術裝置20之影像擷取單元C所取得之該些個手術影像IMG，經影像處理並經運算而獲得輸出力P，再以輸出力P轉換成對應之力量回饋FB，以讓操作控制裝置10之操作者輕易獲得遠端手術裝置20之出力狀態，進而避免操作者操作遠端手術裝置20時過度施力，因而避免手術上的意外發生。
此外，請參閱第3圖，其為本發明之控制裝置依據影像運算第一運動分量之流程圖。如圖所示，本發明之控制裝置於上述步驟S30中運算第一運動分量的流程如下：步驟S310：切割手術影像成影像區塊；步驟S320：依據匹配演算法分析影像區塊，以獲得遠端手術裝置之動作影像； 步驟S330：依據動作影像取得前景影像與背景影像；以及步驟S340：比較前景影像與背景影像，以取得第一運動分量與元件動作。
於步驟S310中，如第4A圖所示，控制裝置10之處理單元102具有一影像處理單元1022將所接收到之該些個手術影像IMG切割成複數個影像區塊B，接續於步驟S320中，本發明之處理單元102之一分析單元1024運算一匹配演算法MAT進行分析，而將對應之動作影像AG從該些個手術影像IMG中擷取出來，其中處理單元102所運算之匹配演算法MAT為全域搜索法(Full search)[2]、三步驟搜索法(Three-stepsearch)[2]、鑽石搜索法(Diamond search)、絕對誤差合(Sum of absolute difference，SAD)、平均絕對誤差合(Mean absolute error，MAE)或均方誤差合(Mean squared error，MSE)。此外，分析單元1024更可進一步對該些個動作影像AG進行標籤，以區分不同元件動作ACT。
接續上述，於步驟S330中，如第4C圖所示，影像處理單元1022針對步驟S320中所得之動作影像AG擷取出一前景影像FG與一背景影像BG，其中前景影像FG為動作影像AG之動態影像，背景影像BG為多個動作影像AG中之靜態影像且固定不變場景，一般而言，前景影像FG會出現較多，而背景影像BG相對性較少。於步驟S340中，比較前景影像FG與背景影像BG，因而獲得元件動作ACT對應之第一運動分量T1(如第2C圖所示)，其中本實施例係以影像處理單元1022取得前景影像FG之複數個元件中心點CP並依據該些個元件中心點CP，以取得一出力向量VEC，並藉由出力向量VEC獲得元件動作ACT對應之第一運動分量T1(如第2C圖所示)作為舉例，但本發明不限於此，更可抓取元件輪廓的方式追 蹤元件動作ACT進一步獲得第一運動分量T1，或者進一步利用前景影像FG進行動態追蹤，以進一步獲得第一運動分量T1與元件動作ACT。
故本發明實為一具有新穎性、進步性及可供產業上利用者，應符合我國專利法專利申請要件無疑，爰依法提出發明專利申請，祈鈞局早日賜准專利，至感為禱。
惟以上所述者，僅為本發明之較佳實施例而已，並非用來限定本發明實施之範圍，舉凡依本發明申請專利範圍所述之形狀、構造、特徵及精神所為之均等變化與修飾，均應包括於本發明之申請專利範圍內。
S10~S50:步驟

Claims (11)

  1. 一種遠端手術裝置產生力回饋之方法，其步驟包含：利用一遠端手術裝置之一影像擷取單元擷取一手術作業對應之複數個手術影像至一控制裝置；該控制裝置依據該些個手術影像取得一作業部之一第一運動分量；該控制裝置依據該第一運動分量與該遠端手術裝置至該作業部之一第二運動分量估算該遠端手術裝置之一輸出力；以及該控制裝置依據該輸出力產生一力量回饋。
  2. 如請求項1所述之遠端手術裝置產生力回饋之方法，其中於利用一遠端手術裝置之一影像擷取單元擷取一手術作業對應之複數個手術影像至一控制裝置之步驟中，進一步利用一壓力感測器感測該作業部之一承受壓力。
  3. 如請求項2所述之遠端手術裝置產生力回饋之方法，其中於該控制裝置依據該第一運動分量與該遠端手術裝置至該作業部之一第二運動分量估算該遠端手術裝置之一輸出力之步驟中，該控制裝置進一步依據該承受壓力估算該輸出力。
  4. 如請求項1所述之遠端手術裝置產生力回饋之方法，其中該作業部為連接一夾具、一鑽頭、一銼刀、一刮刀、一鋸刀、一螺絲刀或通過鑽孔、打磨、切除或刮除以修復或摘除部分組織的外科手術工具，該作業部設有一壓力感測器、一壓電感測器、一彈力感測器、一光學攝像頭、一鐳射掃描器或一超音波掃描器。
  5. 如請求項1所述之遠端手術裝置產生力回饋之方法，其中於該控制裝置依據該些個手術影像取得一作業部之一第一運動分量之步驟中，進一步包含：分別切割該些個手術影像成複數個影像區塊；依據一匹配演算法分析該些個影像區塊，以獲得該遠端手術裝置之複數個動作影像；依據該些個動作影像取得複數個前景影像與至少一背景影像；以及比較該些個前景影像與該背景影像，以取得該第一運動分量。
  6. 如請求項5所述之遠端手術裝置產生力回饋之方法，其中於獲得該遠端手術裝置之複數個動作影像之步驟中，進一步標籤該些個動作影像。
  7. 如請求項5所述之遠端手術裝置產生力回饋之方法，其中於比較該些個前景影像與該背景影像之步驟中，進一步依據該些個前景影像之複數個元件中心點取得一出力向量，以取得該第一運動分量。
  8. 如請求項5所述之遠端手術裝置產生力回饋之方法，其中於比較該些個前景影像與該背景影像之步驟中，進一步取得該背景影像之一色彩，以比對一色彩係數表，而調整該第一運動分量。
  9. 如請求項5所述之遠端手術裝置產生力回饋之方法，其中該匹配演算法為全域搜索法(Full search)[2]、三步驟搜索法(Three-stepsearch)[2]、鑽石搜索法(Diamond search)、絕對誤差合(Sum of absolute difference，SAD)、平均絕對誤差合(Mean absolute error，MAE)或均方誤差合(Mean squared error，MSE)。
  10. 如請求項1所述之遠端手術裝置產生力回饋之方法，其中於該控制裝置依據該輸出力產生一力量回饋之步驟中，該控制裝置為依據該輸出力產生該力量回饋對應之一顯示影像或一機械操作。
  11. 如請求項10所述之遠端手術裝置產生力回饋之方法，其中該顯示影像為一施力數值影像，該機械操作為一反饋推力。
TW110127921A 2021-07-29 2021-07-29 遠端手術裝置產生力回饋之方法 TWI780843B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW110127921A TWI780843B (zh) 2021-07-29 2021-07-29 遠端手術裝置產生力回饋之方法
CN202111025916.9A CN115670684A (zh) 2021-07-29 2021-09-02 远程手术装置产生强制反馈的方法
US17/481,665 US11666406B2 (en) 2021-07-29 2021-09-22 Method for generating force feedback of remote surgical device
EP21201786.7A EP4124313A1 (en) 2021-07-29 2021-10-08 Method for generating force feedback from remote surgical device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110127921A TWI780843B (zh) 2021-07-29 2021-07-29 遠端手術裝置產生力回饋之方法

Publications (2)

Publication Number Publication Date
TWI780843B true TWI780843B (zh) 2022-10-11
TW202304393A TW202304393A (zh) 2023-02-01

Family

ID=78087105

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110127921A TWI780843B (zh) 2021-07-29 2021-07-29 遠端手術裝置產生力回饋之方法

Country Status (4)

Country Link
US (1) US11666406B2 (zh)
EP (1) EP4124313A1 (zh)
CN (1) CN115670684A (zh)
TW (1) TWI780843B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109717957A (zh) * 2018-12-27 2019-05-07 北京维卓致远医疗科技发展有限责任公司 基于混合现实的控制系统
CN112618026A (zh) * 2020-12-15 2021-04-09 清华大学 远程手术数据融合交互显示系统及方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002518B2 (en) * 2003-06-30 2015-04-07 Intuitive Surgical Operations, Inc. Maximum torque driving of robotic surgical tools in robotic surgical systems
US10806532B2 (en) * 2017-05-24 2020-10-20 KindHeart, Inc. Surgical simulation system using force sensing and optical tracking and robotic surgery system

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109717957A (zh) * 2018-12-27 2019-05-07 北京维卓致远医疗科技发展有限责任公司 基于混合现实的控制系统
CN112618026A (zh) * 2020-12-15 2021-04-09 清华大学 远程手术数据融合交互显示系统及方法

Also Published As

Publication number Publication date
US20230036677A1 (en) 2023-02-02
EP4124313A1 (en) 2023-02-01
TW202304393A (zh) 2023-02-01
CN115670684A (zh) 2023-02-03
US11666406B2 (en) 2023-06-06

Similar Documents

Publication Publication Date Title
TWI631447B (zh) Robot system
EP3685780B1 (en) A robot-assisted system for transurethral surgery
WO2018214840A1 (zh) 手术机器人系统及手术器械位置的显示方法
Zhang et al. Autonomous scanning for endomicroscopic mosaicing and 3D fusion
KR101891162B1 (ko) 도구의 제어 움직임에 사용되는 프레임의 위치 및 방향을 추정하는 장치 및 방법
US10848667B2 (en) Reducing smoke occlusion in images from surgical systems
JP2015506850A (ja) 関節器具に好適な姿勢を取らせるような命令をするように入力装置のオペレータを促す、入力装置での力フィードバックの適用
WO2018179749A1 (en) Surgical imaging system, image processing apparatus for surgery, and method for controlling an imaging procedure
ATE540634T1 (de) Laparoskopisches ultraschall-robotersystem für chirurgische zwecke
JP2021519660A (ja) 手術ロボットシステム
WO2017163407A1 (ja) 内視鏡装置、内視鏡システム、及びそれらを備えた手術システム
US9987751B2 (en) Geometrically appropriate tool selection assistance for determined work site dimensions
JP5800610B2 (ja) 医療用マスタスレーブマニピュレータ
TWI780843B (zh) 遠端手術裝置產生力回饋之方法
CN116056655A (zh) 通过外科机器人控制内窥镜
US11690677B2 (en) Use of eye tracking for tool identification and assignment in a robotic surgical system
WO2018173681A1 (ja) 医療用システムの制御装置、医療用システムの制御方法及び医療用システム
KR20140108047A (ko) 물체 추적 방법, 물체의 표시 상태 판단 방법 및 물체 추적이 가능한 제어 장치
CN107242906B (zh) 一种手术机器人远端执行机构
Dutkiewicz et al. Experimental verification of visual tracking of surgical tools
Miyazaki et al. Pneumatically driven handheld forceps with force display operated by motion sensor
Nawrat et al. The Robin Heart Vision, telemanipulator for camera holding–preliminary test results
Ortmaier et al. Autonomy and haptic feedback in minimally invasive robotic surgery
CN111374767A (zh) 医疗内窥镜智能机器人系统及内窥镜的控制方法
Li et al. Eye gaze contingent ultrasound interfaces for the da Vinci® surgical system

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent