TW202002906A - 利用具有圖形化用戶介面的手術工具器械之系統及方法 - Google Patents

利用具有圖形化用戶介面的手術工具器械之系統及方法 Download PDF

Info

Publication number
TW202002906A
TW202002906A TW108117558A TW108117558A TW202002906A TW 202002906 A TW202002906 A TW 202002906A TW 108117558 A TW108117558 A TW 108117558A TW 108117558 A TW108117558 A TW 108117558A TW 202002906 A TW202002906 A TW 202002906A
Authority
TW
Taiwan
Prior art keywords
image
surgical tool
selection
user input
tool instrument
Prior art date
Application number
TW108117558A
Other languages
English (en)
Inventor
彼特 齊格
馬汀 關迪格
Original Assignee
瑞士商愛爾康股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞士商愛爾康股份有限公司 filed Critical 瑞士商愛爾康股份有限公司
Publication of TW202002906A publication Critical patent/TW202002906A/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/20—Surgical microscopes characterised by non-optical aspects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/30—Surgical pincettes without pivotal connections
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B17/32—Surgical cutting instruments
    • A61B17/3209—Incision instruments
    • A61B17/3211—Surgical scalpels, knives; Accessories therefor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00017—Electrical control of surgical instruments
    • A61B2017/00207—Electrical control of surgical instruments with hand gesture control or hand gesture recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00973—Surgical instruments, devices or methods, e.g. tourniquets pedal-operated
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F13/00—Bandages or dressings; Absorbent pads
    • A61F13/15—Absorbent pads, e.g. sanitary towels, swabs or tampons for external or internal application to the body; Supporting or fastening means therefor; Tampon applicators
    • A61F13/38—Swabs having a stick-type handle, e.g. cotton tips
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61F—FILTERS IMPLANTABLE INTO BLOOD VESSELS; PROSTHESES; DEVICES PROVIDING PATENCY TO, OR PREVENTING COLLAPSING OF, TUBULAR STRUCTURES OF THE BODY, e.g. STENTS; ORTHOPAEDIC, NURSING OR CONTRACEPTIVE DEVICES; FOMENTATION; TREATMENT OR PROTECTION OF EYES OR EARS; BANDAGES, DRESSINGS OR ABSORBENT PADS; FIRST-AID KITS
    • A61F9/00—Methods or devices for treatment of the eyes; Devices for putting-in contact lenses; Devices to correct squinting; Apparatus to guide the blind; Protective devices for the eyes, carried on the body or in the hand
    • A61F9/007—Methods or devices for eye surgery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Robotics (AREA)
  • Vascular Medicine (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

本揭露提供了一種系統，該系統：可以經由顯示器來顯示包括圖示的圖形化用户介面（GUI）；可以接收來自圖像感測器的第一圖像；可以根據該第一圖像和手術工具器械的數位模型來確定在該第一圖像內該手術工具器械的第一位置；可以顯示該GUI的在第二位置的游標；可以接收來自該圖像感測器的第二圖像；可以根據該第二圖像和該數位模型來確定在該第二圖像內該手術工具器械的第三位置；可以顯示該GUI的在第四位置的游標；可以接收用户輸入，當所述游標的座標包含該第四位置時該用户輸入指示了選擇；並且可以確定當該至少一個圖示的座標包含該第四位置時，該用户輸入指示了選擇。

Description

利用具有圖形化用户介面的手術工具器械之系統及方法
本揭露涉及醫療程序中的品質保證、並且更具體地涉及用於利用醫療程序或醫療程序的過程要素來驗證患者資訊的系統和方法。
電腦系統可以輔助外科醫生進行外科手術。電腦系統提供圖形化用户介面。然而，在無菌環境中，外科醫生不能容易地觸摸非無菌裝置、比如與電腦系統的介面。目前，外科醫生與電腦系統的介面進行交互存在不同可能性，比如腳踏板、外科手術助理（例如，醫務人員）、以及用於在觸控式螢幕和/或鍵盤上進行交互的一次性丟棄品（例如棉簽）。該等解決方案可能容易出錯、並且可能導致輸入錯誤。例如，在與電腦系統交互期間，外科醫生可能必須將他或她的手和/或頭部從患者物理地移動到電腦系統介面，以確保他或她的電腦系統輸入係正確的。這在外科手術期間可能是潛在的分心，這可能導致不可預見的和/或負面的外科手術結果。
本揭露提供了一種系統，該系統能夠：經由顯示器來顯示包括至少一個圖示的圖形化用户介面；接收來自圖像感測器的第一圖像；並且根據該第一圖像和手術工具器械的數位模型來確定在該第一圖像內該手術工具器械的第一位置。例如，所述將被用作指標的手術工具器械可以包括手術刀、棉簽、鑷子等。該系統可以包括顯示該圖形化用户介面的顯示器、或者可以聯接至該顯示器上。該系統可以包括含有該顯示器的顯微鏡集成顯示器，該顯示器顯示該圖形化用户介面。該系統可以進一步顯示該圖形化用户介面的在與該第一位置相關聯的第二位置的游標。該系統可以進一步接收來自該圖像感測器的第二圖像；根據該第二圖像和該手術工具器械的數位模型來確定在該第二圖像內該手術工具器械的第三位置；並且顯示該圖形化用户介面的在與該第三位置相關聯的第四位置的游標。該系統可以進一步接收用户輸入，當該至少一個圖示的座標包含該第四位置時該用户輸入指示了選擇。例如，所述選擇可以指示圖示的選擇。該系統可以進一步確定當該至少一個圖示的座標包含該第四位置時，該用户輸入指示了選擇；並且響應於確定該用户輸入指示了選擇，來改變由該圖形化用户介面顯示的資料。例如，可以結合與外科醫生相關聯的工作流程的下一步驟來改變圖形化用户介面的圖像資料。作為另一個實例，可以響應於確定用户輸入指示了選擇而存儲第一圖像、第二圖像或第三圖像的至少一部分。可以經由記憶體介質來存在圖像資料。
本揭露可以進一步包括具有指令的非暫態電腦可讀記憶體裝置，該指令在被系統的處理器執行時使該系統執行以上步驟。本揭露進一步包括如上所述的系統或非暫態電腦可讀記憶體裝置，其具有以下一個或多個額外特徵，該等特徵除非明顯地相互排斥，否則可以彼此組合使用：i) 當所述處理器執行該指令時，該系統可以進一步能夠經由顯示器來顯示包括至少一個圖示的圖形化用户介面；ii) 當所述處理器執行該指令時，該系統可以進一步能夠接收來自圖像感測器的第一圖像；iii) 當所述處理器執行該指令時，該系統可以進一步能夠根據該第一圖像和手術工具器械的數位模型來確定在該第一圖像內該手術工具器械的第一位置；iv) 當所述處理器執行該指令時，該系統可以進一步能夠顯示該圖形化用户介面的、在與該第一位置相關聯的第二位置的游標；v) 當所述處理器執行該指令時，該系統可以進一步能夠接收來自該圖像感測器的第二圖像；vi) 當所述處理器執行該指令時，該系統可以進一步能夠根據該第二圖像和該手術工具器械的數位模型來確定在該第二圖像內該手術工具器械的第三位置；vii) 當所述處理器執行該指令時，該系統可以進一步能夠顯示該圖形化用户介面的、在與該第三位置相關聯的第四位置的游標；viii) 當所述處理器執行該指令時，該系統可以進一步能夠接收用户輸入，當該至少一個圖示的座標包含該第四位置時該用户輸入指示了選擇；ix) 當所述處理器執行該指令時，該系統可以進一步能夠確定當該至少一個圖示的座標包含該第四位置時，該用户輸入指示了選擇；x) 當所述處理器執行該指令時，該系統可以進一步能夠響應於確定該用户輸入指示了選擇，來改變由該圖形化用户介面顯示的資料；xi) 當該系統接收指示了選擇的用户輸入時，該系統可以進一步能夠接收來自該圖像感測器的第三圖像；xii) 當該系統確定該用户輸入指示了選擇，該系統可以進一步能夠至少基於該第二圖像和第三圖像以及該數位模型來確定與該手術工具器械相關聯的圖元數量變化，該圖元數量變化指示了該手術工具器械至該圖像感測器的距離變化；xiii) 當該系統接收該指示了選擇的用户輸入，該系統可以進一步能夠接收來自該圖像感測器的多個圖像；xv) 當確定該用户輸入指示了選擇，該系統可以進一步能夠至少基於該數位模型和該多個圖像來確定與該手術工具器械的移動相關聯的、指示了選擇的移動模式；xvi) 當所述處理器執行該指令時，該系統可以進一步能夠至少基於該多個圖像來確定與該手術工具器械的移動相關聯的、指示了選擇的移動模式；xvii) 當所述處理器執行該指令時，該系統可以進一步能夠響應於確定該用户輸入指示了選擇而經由該記憶體介質來存儲該第一圖像、第二圖像或第三圖像的至少一部分；xviii) 當所述處理器執行該指令時，該系統可以進一步能夠將與外科醫生相關聯的工作流程前進至該工作流程的下一步驟。
上述任何系統都能夠執行上述任何方法，並且上述任何非暫態電腦可讀記憶體裝置都能夠使系統執行上述任何方法。可以在上述任何系統上或使用上述任何非暫態電腦可讀記憶體裝置來實現上述任何方法。
應理解的是，以上的一般性說明以及以下的詳細說明在本質上都是示例性和解釋性的，並且旨在提供對本揭露的理解而不限制本揭露的範圍。就此而言，藉由以下詳細描述，本揭露的附加方面、特徵以及優點對於熟悉該項技術者而言將是明顯的。
在以下說明中，藉由舉例的方式闡述了細節以便於討論所揭露的主題。然而，對於熟悉該項技術者而言明顯的是，所揭露的實施方式係示例性的並且不是對所有可能的實施方式的窮舉。
如本文所使用的，附圖標記指代實體的類別或類型，並且在這樣的附圖標記之後的任何字母指代這個類別或類型的特定實體的具體實例。因此，例如，用'12A'指代的假設實體可以指代特定類別/類型的特定實例，並且總體上，標記'12'可以指代屬於這個特定類別/類型的實例的集合、或這個特定類別/類型的任何一個實例。
外科醫生可能處於無菌的外科手術環境中。外科醫生可以使用他或她的手術工具器械來控制和/或引導圖形化用户介面（GUI）。GUI可以用於控制與外科手術相關聯的工作流程。在利用手術工具器械來控制和/或引導GUI的過程中，一種裝置可以確定手術工具器械的一種或多種形狀。例如，一個或多個相機可以向所述裝置提供一個或多個圖像。所述裝置可以根據來自該一個或多個相機的該一個或多個圖像來確定手術工具器械。所述裝置可以跟蹤該手術工具器械的一種或多種移動。例如，所述裝置可以至少基於來自該一個或多個相機的該一個或多個圖像來跟蹤該手術工具器械的一種或多種移動。
可以利用所跟蹤的手術工具器械的一種或多種移動來與GUI交互。在一個實例中，GUI可以經由顯微鏡集成顯示器（MID）被顯示。在另一個實例中，GUI可以經由顯示器被顯示。外科醫生可以經由MID來查看GUI和/或與之交互。外科醫生和/或其他外科手術人員可以經由顯示器與GUI交互。GUI可以疊加到外科醫生的當前感興趣區域。例如，GUI可以疊加在外科醫生的當前感興趣的區域上，使得外科醫生可以視覺化GUI而無需從外科醫生的當前感興趣區域看向別處。例如，GUI可以疊加在實況情景上。可以利用基於運動的對象跟蹤來與GUI交互。例如，利用基於運動的對象跟蹤和/或對象識別，手術工具器械可以用作與GUI交互的定點裝置。定點裝置的實例可以是或包括以下一個或多個：滑鼠、觸控板、以及軌跡球等。
手術工具器械可以與系統對準以便與GUI相關聯地使用。例如，手術工具器械可以與該系統對準，以用作與GUI相關聯地使用的定點裝置。對準手術工具器械以便與GUI相關聯地使用可以包括：系統接收手術工具器械的一個或多個圖像、並且確定該手術工具器械的可以用於標識該手術工具器械的一種或多種形狀和/或一個或多個曲線。例如，可以使用一個或多個機器學習過程、和/或一種或多種機器學習方法來確定該手術工具器械的可以用於標識該手術工具器械的一種或多種形狀和/或一個或多個曲線。該一個或多個機器學習過程、和/或一種或多種機器學習方法可以產生和/或確定手術工具器械的數位模型。例如，可以利用該數位模型來推斷與GUI相關聯利用的手術工具器械的一個或多個位置。
可以利用手術工具器械的一種或多種移動來確定指標「點擊」。例如，可以將手術工具器械的一種或多種移動用作滑鼠點擊。指標「點擊」可以指示選擇經由GUI顯示的一個或多個項目。在手術工具器械與系統對準之後，可以將手術工具器械的一種或多種移動確定和/或識別為指標「點擊」。在一個實例中，可以將第一移動用作滑鼠左鍵選擇（例如，「點擊」）。在第二實例中，可以將第二移動用作滑鼠右鍵選擇（例如，「點擊」）。在第三實例中，可以將第三移動用作滑鼠左鍵保持選擇（例如，按住滑鼠左鍵）。在另一個實例中，可以將第四移動用作滑鼠左鍵釋放選擇（例如，釋放滑鼠左鍵）。可以利用一個或多個基於運動的對象跟蹤過程和/或一種或多種基於運動的對象跟蹤方法。例如，該一個或多個基於運動的對象跟蹤過程和/或一種或多種基於運動的對象跟蹤方法可以利用背景減法、幀差法以及光流等中的一種或多種來跟蹤手術工具器械。
現在轉向圖1A，展示了系統的實例。如圖所示，外科醫生110可以利用手術工具器械120。在一個實例中，外科醫生110在涉及患者140的患者部分130的外科手術中可以利用手術工具器械120。例如，外科醫生110可以利用與系統100交互的、和/或利用該系統的手術工具器械120。例如，系統100可以是或包括眼科手術工具跟蹤系統。如圖所示，系統100可以包括計算裝置150、顯示器160、以及MID 170。
計算裝置150可以接收由一個或多個圖像感測器捕捉的圖像幀。例如，計算裝置150可以對該一個或多個圖像幀進行各種圖像處理。計算裝置150可以對該一個或多個圖像幀進行圖像分析，以從該一個或多個圖像幀中標識和/或提取手術工具器械120的一個或多個圖像。計算裝置150可以生成可以疊加在該一個或多個圖像幀上的GUI。例如，GUI可以包括一個或多個指示符和/或一個或多個圖示等。該一個或多個指示符可以包括外科手術資料、比如一個或多個位置和/或一個或多個取向。GUI可以藉由顯示器160和/或MID 170被顯示給外科醫生110和/或其他醫務人員。
計算裝置150、顯示器160、以及MID 170可以在彼此通信地聯接的單獨殼體中或在公共控制台或殼體內實施。用户介面可以與計算裝置150、顯示器160、以及MID 170等中的一者或多者相關聯。例如，除了其他輸入裝置之外，用户介面還可以包括以下一個或多個：鍵盤、滑鼠、操縱桿、觸控式螢幕、眼睛跟蹤裝置、語音辨識裝置、手勢控制模組、撥號盤、和/或按鈕等。用户（例如，外科醫生110和/或其他醫務人員）可以經由用户介面來輸入期望的指令和/或參數。例如，可以利用用户介面來控制計算裝置150、顯示器160、以及MID 170等中的一者或多者。
現在轉向圖1B，展示了顯微鏡集成顯示器的實例以及手術工具器械的實例。如圖所示，手術工具器械120A可以是或包括手術刀。如圖所示，手術工具器械120B可以是或包括棉簽。如圖所示，手術工具器械120C可以是或包括鑷子。未具體展示的其他手術工具器械可以與本文描述的一個或多個系統、一個或多個過程、和/或一種或多種方法一起使用。
作為實例，手術工具器械120可以用一個或多個圖案來標記。該一個或多個圖案可以用於標識手術工具器械120。該一個或多個圖案可以包括散列圖案、條紋圖案、以及分形圖案等中的一者或多者。作為另一個實例，手術工具器械120可以用染料和/或塗料來標記。所述染料和/或塗料可以反射可見光、紅外光、以及紫外光等中的一種或多種。在一個實例中，照明器178可以提供紫外光，並且圖像感測器172可以接收從手術工具器械120反射的紫外光。電腦系統150可以從圖像感測器172接收至少基於從手術工具器械120反射的紫外光的圖像資料；並且可以利用至少基於從手術工具器械120反射的紫外光的所述圖像資料、根據圖像感測器172所提供的其他圖像資料來標識手術工具器械120。在另一個實例中，照明器178可以提供紅外光，並且圖像感測器172可以接收從手術工具器械120反射的紅外光。電腦系統150可以從圖像感測器172接收至少基於從手術工具器械120反射的紅外光的圖像資料；並且可以利用至少基於從手術工具器械120反射的紅外光的所述圖像資料、根據圖像感測器172所提供的其他圖像資料來標識手術工具器械120。
如圖所示，MID 170可以包括顯示器162A和162B。例如，外科醫生110可以看向多個接目鏡，並且顯示器162A和162B可以向外科醫生110顯示資訊。雖然MID 170被示為具有多個顯示器，但是MID 170可以包括單一顯示器162。例如，MID 170可以被實施為具有一個或多個顯示器162。如圖所示，MID 170可以包括圖像感測器172A和172B。在一個實例中，圖像感測器172A和172B可以獲取圖像。在第二實例中，圖像感測器172A和172B可以包括相機。在另一個實例中，圖像感測器172可以經由可見光、紅外光、以及紫外光等中的一種或多種來獲取圖像。一個或多個圖像感測器172A和172B可以向計算裝置150提供圖像資料。雖然MID 170被示為具有多個圖像感測器，但是MID 170可以包括單一圖像感測器172。例如，MID 170可以被實施為具有一個或多個圖像感測器172。
如圖所示，MID 170可以包括距離感測器174A和174。例如，距離感測器174可以確定距手術工具器械120的距離。距離感測器174可以確定與Z軸相關聯的距離。雖然MID 170被示為具有多個圖像感測器，但是MID 170可以包括單一距離感測器174。在一個實例中，MID 170可以被實施為具有一個或多個距離感測器174。在另一個實例中，MID 170可以被實施為沒有距離感測器。如圖所示，MID 170可以包括透鏡176A和176B。雖然MID 170被示為具有多個透鏡176A和176B，但是MID 170可以包括單一透鏡176。例如，MID 170可以被實施為具有一個或多個透鏡176。如圖所示，MID 170可以包括照明器178A和178B。例如，照明器178可以提供和/或產生可見光、紅外光、以及紫外光等中的一種或多種。雖然MID 170被示為具有多個照明器，但是MID 170可以包括單一照明器178。例如，MID 170可以被實施為具有一個或多個照明器178。
現在轉向圖2，展示了電腦系統的實例。如圖所示，電腦系統150可以包括處理器210、易失性記憶體介質220、非易失性記憶體介質230、以及輸入/輸出（I/O）裝置240。如圖所示，易失性記憶體介質220、非易失性記憶體介質230、以及I/O裝置240可以通信地聯接至處理器210。
術語「記憶體介質」可以意指「記憶體」、「存儲裝置」、「記憶體裝置」、「電腦可讀介質」、和/或「有形電腦可讀存儲介質」。例如，存儲介質可以包括但不限於以下存儲介質：例如直接存取存儲裝置（包括硬碟驅動器）、順序存取存儲裝置（例如磁帶磁碟驅動器）、光碟（CD）、隨機存取記憶體（RAM）、唯讀記憶體（ROM）、CD-ROM、數字通用盤（DVD）、電可抹除可程式設計唯讀記憶體（EEPROM）、快閃記憶體、非易失性介質、和/或以上介質的一個或多個組合。如圖所示，非易失性記憶體介質230可以包括處理器指令232。處理器指令232可以由處理器來執行。在一個實例中，處理器指令232中的一個或多個部分可以經由非易失性記憶體介質230被執行。在另一個實例中，處理器指令232中的一個或多個部分可以經由易失性記憶體介質220被執行。處理器指令232中的一個或多個部分可以被傳送至易失性記憶體介質220。
處理器210可以執行處理器指令232來實施本文描述的一個或多個系統、一個或多個流程圖、一個或多個過程、和/或一種或多種方法。例如，處理器指令232可以被配置、解碼、和/或編碼成具有根據本文描述的一個或多個系統、一個或多個流程圖、一種或多種方法、和/或一個或多個過程的指令。存儲介質和記憶體介質中的一者或多者可以是軟體產品、程式產品、和/或製品。例如，軟體產品、程式產品、和/或製品可以被配置、解碼、和/或編碼成具有根據本文描述的一個或多個流程圖、一種或多種方法、和/或一個或多個過程的、可由處理器執行的指令。
處理器210可以包括可操作來解釋並且執行存儲在記憶體介質中和/或經由網路接收的程式指令、過程資料、或二者的任何合適的系統、裝置、或設備。處理器210進一步可以包括一個或多個微處理器、微控制器、數位訊號處理器（DSP）、專用積體電路（ASIC）、或被配置成用於解釋並且執行程式指令、過程資料、或二者的其他電路系統。
I/O裝置240可以包括任何一個或多個工具，所述工具藉由促進用户輸入和向用户輸出而允許、准許、和/或使得用户能夠與電腦系統150以及其相關聯部件進行交互。促進用户輸入可以允許用户操縱和/或控制電腦系統150，並且促進向用户輸出可以允許電腦系統150指示用户的操縱和/或控制的效果。例如，I/O裝置240可以允許用户向電腦系統150輸入資料、指令、或二者並且以其他方式操縱和/或控制電腦系統150以及其相關聯部件。I/O裝置可以包括用户介面裝置，例如鍵盤、滑鼠、觸控式螢幕、操縱桿、手持透鏡、工具跟蹤裝置、座標輸入裝置、或適合用於系統、比如系統100的任何其他I/O裝置。
I/O裝置240可以包括一個或多個匯流排、一個或多個串列裝置、和/或一個或多個網路介面等，它們可以促進和/或准許處理器210實施本文描述的一個或多個系統、過程和/或方法。在一個實例中，I/O裝置240可以包括可以促進和/或准許處理器210與外部記憶體通信的存儲介面。所述存儲介面可以包括通用序列匯流排（USB）介面、SATA（串列ATA）介面、PATA（並行ATA）介面、以及小型電腦系統介面（SCSI）等中的一者或多者。在第二實例中，I/O裝置240可以包括可以促進和/或准許處理器210與網路通信的網路介面。I/O裝置240可以包括無線網路介面和有線網路介面中的一個或多個。在第三實例中，I/O裝置240可以包括週邊組件互連（PCI）介面、PCI Express（PCIe）介面、串列週邊互連（SPI）介面、以及內部積體電路（I2 C）介面等中的一者或多者。在另一個實例中，I/O裝置240可以促進和/或准許處理器210與顯示器160和MID 170等中的一者或多者進行資料通信。
如圖所示，I/O裝置240可以通信地聯接至顯示器160和MID 170。例如，電腦系統150可以經由I/O裝置240通信地聯接至顯示器160和MID 170。I/O裝置240可以促進和/或准許處理器210與MID 170的一個或多個元件進行資料通信。在一個實例中，I/O裝置240可以促進和/或准許處理器210與圖像感測器172、距離感測器174、以及顯示器162等中的一者或多者進行資料通信。在另一個實例中，I/O裝置240可以促進和/或准許處理器210控制圖像感測器172、距離感測器174、照明器178、以及顯示器162等中的一者或多者。
現在轉向圖3A和圖3B，展示了圖形化用户介面的實例。如圖所示，GUI 310可以包括圖示320A-320C。例如，GUI 310和/或圖示320A-320C可以疊加在經由圖像感測器172獲取的圖像上。如圖所示，GUI 310可以顯示游標330。例如，系統100可以跟蹤手術工具器械120的移動、並且基於手術工具器械120的一種或多種移動和/或一個或多個位置來顯示游標330。系統100可以跟蹤手術工具器械120的移動。例如，系統100可以跟蹤手術工具器械120至圖示320C的一種或多種移動和/或一個或多個位置。
GUI 310可以經由顯示器被顯示。例如，GUI 310可以經由顯示器160、162A、和162B等中的一者或多者被顯示。外科醫生110可以選擇圖示320C。在一個實例中，外科醫生110可以經由腳踏板來選擇圖示320C。可以將腳踏板的致動用作指標點擊（例如，滑鼠點擊）。在另一個實例中，外科醫生110可以經由手術工具器械120的一種或多種移動來選擇圖示320C。可以將手術工具器械120的所述一種或多種移動用作指標點擊（例如，滑鼠點擊）。
現在轉向圖4A和圖4B，展示了對準區域的實例。如圖4A所示，手術工具器械120B可以經由對準區域410被對準。例如，對準區域410可以經由GUI 310被顯示。如圖4B所示，手術工具器械120A可以經由對準區域410被對準。例如，經由對準區域410可以疊加在所獲取的圖像上。所獲取的圖像可能是經由圖像感測器172A和172B所獲取的。
可以根據來自一個或多個圖像感測器172的一個或多個圖像來確定手術工具器械120的數位模型。手術工具器械120的數位模型可以包括手術工具器械120的模式。作為實例，數位模型可以用於將在經由圖像感測器172A和172B中的一個或多個獲取的圖像內的手術工具器械120的圖像資料進行關聯。數位模型可以包括在經由圖像感測器172A和172B中的一個或多個獲取的圖像內的手術工具器械的圖像資料之間的可能關係。例如，數位模型可以包括可以確定所述可能關係的參數。學習過程和/或方法可以利用訓練資料來擬合所述參數。在一個實例中，可以將一個或多個圖像用作訓練資料。在另一個實例中，可以使用對準區域410來將圖像資料關聯為訓練資料。確定手術工具器械120的數位模型可以包括：至少基於該一個或多個圖像來訓練數位模型。該數位模型可以是判別式的。該數位模型可以是產生式的。一個或多個推斷過程、和/或一種或多種方法可以利用數位模型來確定在經由圖像感測器172A和172B中的一個或多個獲取的圖像內的手術工具器械120的圖像資料。
現在轉向圖5，展示了利用具有圖形化用户介面的手術工具器械的方法的實例。在510，圖形化用户介面可以經由顯示器被顯示。在一個實例中，GUI 310可以經由顯示器160被顯示。在另一個實例中，GUI 310可以經由顯示器162A和162B中的一個或多個被顯示。在515，可以接收第一用户輸入，該第一用户輸入指示將使用手術工具器械作為與該圖形化用户介面相關聯的指標。在一個實例中，第一用户輸入可以包括致動腳踏板。在第二實例中，第一用户輸入可以包括語音輸入。在另一個實例中，第一用户輸入可以包括致動GUI圖示。外科醫生110或其他醫務人員可以致動GUI圖示。
在520，可以接收來自至少一個感測器的第一多個圖像。例如，可以接收來自圖像感測器172A和172B中的一個或多個感測器的第一多個圖像。第一多個圖像可以包括將被用作與圖形化用户介面相關聯的指標的手術工具器械的圖像資料。在525，根據第一多個圖像可以確定手術工具器械的、包括手術工具器械的模式的數位模型。例如，數位模型可以用於將在經由圖像感測器172A和172B中的一個或多個獲取的圖像內的手術工具器械的圖像資料進行關聯。數位模型可以包括在經由圖像感測器172A和172B中的一個或多個獲取的圖像內的手術工具器械的圖像資料之間的可能關係。例如，數位模型可以包括可以確定所述可能關係的參數。學習過程和/或方法可以利用訓練資料來擬合所述參數。例如，可以將第一多個圖像用作訓練資料。確定手術工具器械的數位模型可以包括：至少基於第一多個圖像來訓練數位模型。該數位模型可以是判別式的。該數位模型可以是產生式的。推斷過程和/或方法可以利用數位模型來確定在經由圖像感測器172A和172B中的一個或多個獲取的圖像內的手術工具器械的圖像資料。
在530，可以經由該至少一個圖像感測器來接收第二多個圖像。例如，可以接收來自圖像感測器172A和172B中的一個或多個感測器的第二多個圖像。該第二多個圖像可以包括手術工具器械的圖像資料。在535，可以根據第二多個圖像和數位模型來確定手術工具器械的移動模式，所述移動模式可用於選擇圖形化用户介面的圖示。例如，可以根據第二多個圖像和數位模型來確定圖4C所展示的圖案420。圖案420可以用於選擇圖示320，如圖4D所示。圖案420可以用於選擇圖示320，如圖4E所示。例如，圖案420的至少一部分可以疊加在圖示420上。
現在轉向圖6，展示了利用具有圖形化用户介面的手術工具器械的方法的另一個實例。在610，包括至少一個圖示的圖形化用户介面可以經由顯示器被顯示。在一個實例中，GUI 310可以經由顯示器160被顯示。在另一個實例中，GUI 310可以經由顯示器162A和162B中的一個或多個被顯示。在615，可以接收來自圖像感測器的第一圖像。例如，可以接收來自圖像感測器172的第一圖像。在620，可以根據第一圖像和手術工具器械的數位模型來確定在該第一圖像內該手術工具器械的第一位置。例如，可以根據第一圖像和手術工具器械的數位模型來確定手術工具器械120的第一位置，如圖3A所示。作為實例，數位模型可以是或包括經由圖5的方法要素525確定的數位模型。作為另一個實例，數位模型可以從記憶體介質中檢索到。記憶體介質可以存儲手術工具器械的一個或多個數位模型。例如，記憶體介質可以存儲包括手術工具器械的一個或多個數位模型的庫。
在625，可以顯示該圖形化用户介面的在與第一位置相關聯的第二位置的游標。例如，如圖3A所示，GUI 310的游標330可以顯示在與第一位置相關聯的第二位置。在630，可以接收來自該圖像感測器的第二圖像。例如，可以接收來自圖像感測器172的第二圖像。在635，可以根據第二圖像和手術工具器械的數位模型來確定在該第二圖像內該手術工具器械的第三位置。例如，可以根據第二圖像和手術工具器械的數位模型來確定手術工具器械120的第二位置，如圖3B所示。在640，圖形化用户介面的游標可以顯示在與該第三位置相關聯的第四位置。例如，如圖3B所示，GUI 310的游標330可以顯示在與第三位置相關聯的第四位置。
在645，可以接收用户輸入，當該至少一個圖示的座標包含第四位置時該用户輸入指示了選擇。在一個實例中，用户輸入可以包括致動腳踏板。當用户輸入指示所述選擇時，外科醫生110可以致動腳踏板。在第二實例中，用户輸入可以包括移動模式。用户輸入可以包括如圖4D和圖4E所示的移動模式420。所述移動模式可以近似於圖4D和圖4E所示的移動模式420。可以配置和/或利用其他的移動模式。在第三實例中，用户輸入可以包括與手術工具器械相關聯的圖元數量變化，該圖元數量變化指示了手術工具器械至圖像感測器的距離變化。如果手術工具器械變得更靠近圖像感測器，則與手術工具器械相關聯的圖元數量可以增大。作為實例，可以接收來自該圖像感測器的來自該圖像感測器的第三圖像，並且可以至少基於第二圖像和第三圖像以及數位模型來確定指示手術工具器械至圖像感測器的距離變化的、與手術工具器械相關聯的圖元數量變化。
在650，可以確定當該至少一個圖示的座標包含第四位置時，用户輸入指示了選擇。例如，可以確定用户輸入指示了選擇圖示320。在655，可以改變圖形化用户介面所顯示的資料。例如，可以改變GUI 310的圖像資料。改變圖形化用户介面所顯示的資料可以響應於確定用户輸入指示了選擇而進行。作為實例，與外科醫生相關聯的工作流程可以前進至該工作流程的下一步驟。可以結合與外科醫生相關聯的工作流程的下一步驟來改變GUI 310的圖像資料。作為另一個實例，可以響應於確定用户輸入指示了選擇而存儲第一圖像、第二圖像或第三圖像的至少一部分。可以經由記憶體介質來存在圖像資料。
該等方法和/或過程要素中的一個或多個要素、和/或方法和/或過程要素的一個或多個部分可以以不同的循序執行、可以重複、或者可以省略。此外，可以根據需要實現、例示和/或執行附加的、補充的和/或重現的方法和/或過程要素。此外，根據需要可以省略一個或多個系統要素，和/或可以添加附加的系統要素。
記憶體介質可以是和/或可以包括製品。例如，製品可以包括和/或可以是軟體產品和/或程式產品。記憶體介質可以被解碼和/或編碼成具有根據本文描述的一個或多個流程圖、系統、方法、和/或過程的指令，用於生產所述製品。
以上揭露的主題應認為係說明性而非限制性的，並且所附申請專利範圍旨在覆蓋所有此類修改、增強、以及落入本揭露的真實精神和範圍內的其他實施方式。因此，在法律允許的最大程度上，本揭露的範圍將由對以下申請專利範圍及其等效物的最寬允許解釋來確定並且不應受限於或局限於上述詳細說明。
100‧‧‧系統 110‧‧‧外科醫生 120、120A、120B、120C‧‧‧手術工具器械 130‧‧‧患者部分 140‧‧‧患者 150‧‧‧計算裝置 160、162A、162B‧‧‧顯示器 170‧‧‧顯微鏡集成顯示器(MID) 172A、172B‧‧‧圖像感測器 174A、174B‧‧‧距離感測器 176A、176B‧‧‧透鏡 178A、178B‧‧‧照明器 210‧‧‧處理器 220‧‧‧易失性記憶體介質 230‧‧‧非易失性記憶體介質 232‧‧‧處理器指令 240‧‧‧輸入/輸出(I/O)裝置 310‧‧‧圖形化用户介面(GUI) 320、320A、320B、320C‧‧‧圖示 330‧‧‧游標 410‧‧‧對準區域 420‧‧‧圖案
為了更加完整地理解本揭露及其特徵和優點，現在參考結合附圖進行的以下說明，該等附圖並未按比例繪製，在該等附圖中：
圖1A展示了系統之實例；
圖1B展示了顯微鏡集成顯示器的實例以及手術工具器械之實例；
圖2展示了電腦系統之實例；
圖3A和圖3B展示了圖形化用户介面之實例；
圖4A和圖4B展示了對準區域之實例；
圖4C展示了對準移動模式之實例；
圖4D展示了接收移動模式之實例；
圖4E展示了接收移動模式之另一個實例；
圖5展示了利用具有圖形化用户介面的手術工具器械之方法之實例；以及
圖6展示了利用具有圖形化用户介面的手術工具器械之方法之另一個實例。
130‧‧‧患者部分
310‧‧‧圖形化用户介面(GUI)
320A、320B、320C‧‧‧圖示
330‧‧‧游標

Claims (20)

  1. 一種系統，包括： 至少一個處理器；以及 記憶體介質，該記憶體介質聯接至該至少一個處理器、並且包括指令，指令在被該至少一個處理器執行時使該系統： 經由顯示器來顯示包括至少一個圖示的圖形化用户介面； 接收來自圖像感測器的第一圖像； 根據該第一圖像和手術工具器械的數位模型來確定在該第一圖像內該手術工具器械的第一位置； 顯示該圖形化用户介面的在與該第一位置相關聯的第二位置的游標； 接收來自該圖像感測器的第二圖像； 根據該第二圖像和該手術工具器械的數位模型來確定在該第二圖像內該手術工具器械的第三位置； 顯示該圖形化用户介面的在與該第三位置相關聯的第四位置的游標； 接收用户輸入，當該至少一個圖示的座標包含該第四位置時該用户輸入指示了選擇； 確定當該至少一個圖示的座標包含該第四位置時，該用户輸入指示了選擇；並且 響應於確定該用户輸入指示了選擇，來改變由該圖形化用户介面顯示的資料。
  2. 如請求項1所述之系統， 其中，為了接收該指示了選擇的用户輸入，該指令進一步使該系統接收來自該圖像感測器的第三圖像；並且 其中，為了確定該用户輸入指示了選擇，該指令進一步使該系統至少基於該第二圖像和第三圖像以及該數位模型來確定與該手術工具器械相關聯的圖元數量變化，該圖元數量變化指示了該手術工具器械至該圖像感測器的距離變化。
  3. 如請求項1所述之系統， 其中，為了接收該指示了選擇的用户輸入，該指令進一步使該系統接收來自該圖像感測器的多個圖像；並且 其中，為了確定該用户輸入指示了選擇，該指令進一步使該系統至少基於該數位模型和該多個圖像來確定與該手術工具器械的移動相關聯的、指示了選擇的移動模式。
  4. 如請求項3所述之系統，其中，該指令進一步使該系統： 至少基於該多個圖像來確定與該手術工具器械的移動相關聯的、指示了選擇的移動模式。
  5. 如請求項1所述之系統，其中，該指令進一步使該系統： 響應於確定該用户輸入指示了選擇而經由該記憶體介質來存儲該第一圖像、第二圖像或第三圖像的至少一部分。
  6. 如請求項1所述之系統，其中，該指令進一步使該系統： 將與外科醫生相關聯的工作流程前進至該工作流程的下一步驟。
  7. 如請求項1所述之系統，進一步包括： 顯微鏡集成顯示器； 其中，該顯微鏡集成顯示器包括該顯示器。
  8. 至少一種非暫態電腦可讀存儲介質，該存儲介質包括指令，該指令在被系統的處理器執行時使該系統： 經由顯示器來顯示包括至少一個圖示的圖形化用户介面； 接收來自圖像感測器的第一圖像； 根據該第一圖像和手術工具器械的數位模型來確定在該第一圖像內該手術工具器械的第一位置； 顯示該圖形化用户介面的在與該第一位置相關聯的第二位置的游標； 接收來自該圖像感測器的第二圖像； 根據該第二圖像和該手術工具器械的數位模型來確定在該第二圖像內該手術工具器械的第三位置； 顯示該圖形化用户介面的在與該第三位置相關聯的第四位置的游標； 接收用户輸入，當該至少一個圖示的座標包含該第四位置時該用户輸入指示了選擇； 確定當該至少一個圖示的座標包含該第四位置時，該用户輸入指示了選擇；並且 響應於確定該用户輸入指示了選擇，來改變由該圖形化用户介面顯示的資料。
  9. 如請求項8所述之至少一種非暫態電腦可讀存儲介質， 其中，為了接收該指示了選擇的用户輸入，該指令進一步使該系統接收來自該圖像感測器的第三圖像；並且 其中，為了確定該用户輸入指示了選擇，該指令進一步使該系統至少基於該第二圖像和第三圖像以及該數位模型來確定與該手術工具器械相關聯的圖元數量變化，該圖元數量變化指示了該手術工具器械至該圖像感測器的距離變化。
  10. 如請求項8所述之至少一種非暫態電腦可讀存儲介質， 其中，為了接收該指示了選擇的用户輸入，該指令進一步使該系統接收來自該圖像感測器的多個圖像；並且 其中，為了確定該用户輸入指示了選擇，該指令進一步使該系統至少基於該數位模型和該多個圖像來確定與該手術工具器械的移動相關聯的、指示了選擇的移動模式。
  11. 如請求項10所述之至少一種非暫態電腦可讀存儲介質，其中，該指令進一步使該系統： 接收來自該圖像感測器的多個圖像；並且 至少基於該多個圖像來確定與該手術工具器械的移動相關聯的、指示了選擇的移動模式。
  12. 如請求項8所述之至少一種非暫態電腦可讀存儲介質，其中，該指令進一步使該系統： 響應於確定該用户輸入指示了選擇而經由該記憶體介質來存儲該第一圖像、第二圖像或第三圖像的至少一部分。
  13. 如請求項8所述之至少一種非暫態電腦可讀存儲介質，其中，該指令進一步使該系統： 將與外科醫生相關聯的工作流程前進至該工作流程的下一步驟。
  14. 一種方法，包括： 經由顯示器來顯示包括至少一個圖示的圖形化用户介面； 接收來自圖像感測器的第一圖像； 根據該第一圖像和手術工具器械的數位模型來確定在該第一圖像內該手術工具器械的第一位置； 顯示該圖形化用户介面的在與該第一位置相關聯的第二位置的游標； 接收來自該圖像感測器的第二圖像； 根據該第二圖像和該手術工具器械的數位模型來確定在該第二圖像內該手術工具器械的第三位置； 顯示該圖形化用户介面的在與該第三位置相關聯的第四位置的游標； 接收用户輸入，當該至少一個圖示的座標包含該第四位置時該用户輸入指示了選擇； 確定當該至少一個圖示的座標包含該第四位置時，該用户輸入指示了選擇；並且 響應於確定該用户輸入指示了選擇，來改變由該圖形化用户介面顯示的資料。
  15. 如請求項14所述之方法， 其中，接收該指示了選擇的用户輸入包括：接收來自該圖像感測器的第三圖像；並且 其中，確定該用户輸入指示了選擇包括：至少基於該第二圖像和第三圖像以及該數位模型來確定與該手術工具器械相關聯的圖元數量變化，該圖元數量變化指示了該手術工具器械至該圖像感測器的距離變化。
  16. 如請求項14所述之方法， 其中，接收該指示了選擇的用户輸入包括：接收來自該圖像感測器的多個圖像；並且 其中，確定該用户輸入指示了選擇包括：至少基於該數位模型和該多個圖像來確定與該手術工具器械的移動相關聯的、指示了選擇的移動模式。
  17. 如請求項16所述之方法，進一步包括： 接收來自該圖像感測器的多個圖像；並且 至少基於該多個圖像來確定與該手術工具器械的移動相關聯的、指示了選擇的移動模式。
  18. 如請求項14所述之方法，進一步包括： 響應於確定該用户輸入指示了選擇而經由該記憶體介質來存儲該第一圖像、第二圖像或第三圖像的至少一部分。
  19. 如請求項14所述之方法，進一步包括： 將與外科醫生相關聯的工作流程前進至該工作流程的下一步驟。
  20. 如請求項14所述之方法，其中，顯微鏡集成顯示器包括該顯示器。
TW108117558A 2018-05-23 2019-05-21 利用具有圖形化用戶介面的手術工具器械之系統及方法 TW202002906A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862675494P 2018-05-23 2018-05-23
US62/675,494 2018-05-23

Publications (1)

Publication Number Publication Date
TW202002906A true TW202002906A (zh) 2020-01-16

Family

ID=67297203

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108117558A TW202002906A (zh) 2018-05-23 2019-05-21 利用具有圖形化用戶介面的手術工具器械之系統及方法

Country Status (8)

Country Link
US (1) US20190361592A1 (zh)
EP (1) EP3796864A1 (zh)
JP (1) JP7297796B2 (zh)
CN (1) CN112218594A (zh)
AU (1) AU2019274671A1 (zh)
CA (1) CA3095625A1 (zh)
TW (1) TW202002906A (zh)
WO (1) WO2019224745A1 (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10983604B2 (en) 2018-05-16 2021-04-20 Alcon Inc. Foot controlled cursor
JP2023534181A (ja) * 2020-07-23 2023-08-08 アルコン インコーポレイティド フットスイッチを使用する手術システムの制御
EP3989236A1 (en) * 2020-10-23 2022-04-27 Leica Instruments (Singapore) Pte. Ltd. System for a microscope system and corresponding method and computer program
JP7461689B2 (ja) 2021-09-10 2024-04-04 アナウト株式会社 推論装置、情報処理方法、及びコンピュータプログラム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08164148A (ja) * 1994-12-13 1996-06-25 Olympus Optical Co Ltd 内視鏡下手術装置
US6285902B1 (en) 1999-02-10 2001-09-04 Surgical Insights, Inc. Computer assisted targeting device for use in orthopaedic surgery
WO2002100285A1 (en) * 2001-06-13 2002-12-19 Volume Interactions Pte Ltd A guide system and a probe therefor
AU2003250853A1 (en) 2003-06-27 2005-01-13 Aesculap Ag And Co. Kg Method and device for selecting a specific area of a display surface
US11259870B2 (en) * 2005-06-06 2022-03-01 Intuitive Surgical Operations, Inc. Interactive user interfaces for minimally invasive telesurgical systems
US8398541B2 (en) * 2006-06-06 2013-03-19 Intuitive Surgical Operations, Inc. Interactive user interfaces for robotic minimally invasive surgical systems
US8411034B2 (en) * 2009-03-12 2013-04-02 Marc Boillot Sterile networked interface for medical systems
JP4504332B2 (ja) 2006-06-12 2010-07-14 オリンパスメディカルシステムズ株式会社 手術システム及びそのシステム稼働情報告知方法
US9195345B2 (en) * 2010-10-28 2015-11-24 Microsoft Technology Licensing, Llc Position aware gestures with visual feedback as input method
JP6073070B2 (ja) 2012-04-05 2017-02-01 健太 三木 支援システム
JP6127564B2 (ja) 2013-02-15 2017-05-17 コニカミノルタ株式会社 タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム
WO2016139149A1 (en) * 2015-03-02 2016-09-09 Navigate Surgical Technologies, Inc. Surgical location monitoring system and method with surgical guidance graphic user interface
US20160331584A1 (en) * 2015-05-14 2016-11-17 Novartis Ag Surgical tool tracking to control surgical system
US11147636B2 (en) * 2017-10-04 2021-10-19 Alcon Inc. Surgical suite integration and optimization

Also Published As

Publication number Publication date
AU2019274671A1 (en) 2020-10-15
JP2021525137A (ja) 2021-09-24
CN112218594A (zh) 2021-01-12
WO2019224745A1 (en) 2019-11-28
US20190361592A1 (en) 2019-11-28
CA3095625A1 (en) 2019-11-28
JP7297796B2 (ja) 2023-06-26
EP3796864A1 (en) 2021-03-31

Similar Documents

Publication Publication Date Title
TW202002906A (zh) 利用具有圖形化用戶介面的手術工具器械之系統及方法
CN106251751B (zh) 一种基于vr技术的医疗手术模拟仿真系统
TW202002888A (zh) 利用具有圖形化用戶介面的手術工具器械的系統和方法
Kim et al. Towards autonomous eye surgery by combining deep imitation learning with optimal control
Bergholz et al. The benefits of haptic feedback in robot assisted surgery and their moderators: a meta-analysis
Mahdikhanlou et al. Object manipulation and deformation using hand gestures
Heinrich et al. Interacting with medical volume data in projective augmented reality
Heinrich et al. Clutch & Grasp: Activation gestures and grip styles for device-based interaction in medical spatial augmented reality
De Paolis A touchless gestural platform for the interaction with the patients data
Li et al. Computer-assisted hand rehabilitation assessment using an optical motion capture system
US11510742B2 (en) System and method of utilizing computer-aided identification with medical procedures
Morash et al. Determining the bias and variance of a deterministic finger-tracking algorithm
JP6968950B2 (ja) 情報処理装置、情報処理方法およびプログラム
US20240185432A1 (en) System, method, and apparatus for tracking a tool via a digital surgical microscope
Kishore Kumar Designing hand-based interaction for precise and efficient object manipulation in Virtual Reality
Sa-nguannarm et al. Hand movement recognition by using a touchless sensor for controlling images in operating room
Stuij Usability evaluation of the kinect in aiding surgeon computer interaction
Danciu et al. A fuzzy logic-guided virtual probe for 3D visual interaction applications
Payandeh et al. Toward the design of a novel surgeon-computer interface using image processing of surgical tools in minimally invasive surgery
Chopra A Framework for Tumor Localization in Robot-Assisted Minimally Invasive Surgery
WO2022216810A2 (en) System, method, and apparatus for tracking a tool via a digital surgical microscope
TW202418042A (zh) 立體影像互動模擬系統與運作方法
EP4377973A1 (en) Systems and methods for processing electronic images of pathology data and reviewing the pathology data
De Paolis et al. A New Interaction Modality for the Visualization of 3D Models of Human Organ
Danciu et al. NEURO-FUZZY STEREO CAMERA CALIBRATION ARCHITECTURES USED IN INTERACTIONS WITH MEDICAL VOLUMES