TWI790181B - 手術機器人系統 - Google Patents

手術機器人系統 Download PDF

Info

Publication number
TWI790181B
TWI790181B TW111129194A TW111129194A TWI790181B TW I790181 B TWI790181 B TW I790181B TW 111129194 A TW111129194 A TW 111129194A TW 111129194 A TW111129194 A TW 111129194A TW I790181 B TWI790181 B TW I790181B
Authority
TW
Taiwan
Prior art keywords
surgical
transformation matrix
dynamic tracking
medical image
wearable device
Prior art date
Application number
TW111129194A
Other languages
English (en)
Other versions
TW202406514A (zh
Inventor
宋開泰
邱士維
李柄儀
Original Assignee
國立陽明交通大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立陽明交通大學 filed Critical 國立陽明交通大學
Priority to TW111129194A priority Critical patent/TWI790181B/zh
Priority to US18/050,332 priority patent/US20240041526A1/en
Application granted granted Critical
Publication of TWI790181B publication Critical patent/TWI790181B/zh
Publication of TW202406514A publication Critical patent/TW202406514A/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/30—Surgical robots
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/102—Modelling of surgical devices, implants or prosthesis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • A61B2090/3762—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy using computed tomography systems [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3937—Visible markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/90—Identification means for patients or instruments, e.g. tags
    • A61B90/94—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text
    • A61B90/96—Identification means for patients or instruments, e.g. tags coded with symbols, e.g. text using barcodes

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Veterinary Medicine (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Robotics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Pathology (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Human Computer Interaction (AREA)
  • Manipulator (AREA)

Abstract

一種手術機器人系統包含一手術機器人、一穿戴式裝置、一導航攝影機、及一電腦裝置。該電腦裝置接收該導航攝影機所擷取的影像，並根據多個轉換矩陣，將一術前三維醫療影像模型配準至安裝於患部之一動態追蹤標記，並控制該手術機器人的一手術器械在一手術預設路徑上移動，以對該患部實施手術。該電腦裝置還接收該穿戴式裝置所擷取的一影像，並根據該影像中的該動態追蹤標記的位置及另一轉換矩陣，使得該穿戴式裝置將該術前三維醫療影像模型及該手術預設路徑以擴增實境方式顯示給一醫療人員，並控制該手術機器人之移動路徑。

Description

手術機器人系統
本發明是有關於一種手術機器人系統，特別是指一種結合擴增實境及輔助導航以自動執行的手術機器人系統。
圖像式導航手術近年來備受關注，手術圖像被用於機器人輔助手術的術前規劃、監測和術中導航。有許多研究為了改善圖像式導航，將螢幕顯示方式由二維(2D)改進成三維(3D)畫面，但由於顯示螢幕與病患位置不在同一個方向，醫生需要將其注意力分散在螢幕與患部，這種手眼不一的手術方式還是存在相當的不便與風險。另外一些研究則引入擴增實境(Augmented Reality, AR)技術而能夠提供醫生更直覺的視覺體驗，也就是將醫療影像直接呈現在醫生的視野中，改善了醫生需要分散注意力到一旁的顯示螢幕的問題。然而，這種擴增實境的手術導航系統能否具備更廣泛輔助手術的用途便成為一個待解決的問題。
因此，本發明的目的，即在提供一種結合擴增實境及輔助導航以自動執行的手術機器人系統。
於是，本發明提供一種手術機器人系統，適用於一病患的一患部及一醫療人員，且在相對該患部保持不變的位置設置有一動態追蹤標記。該手術機器人系統包含一手術機器人、一穿戴式裝置、一導航攝影機、及一電腦裝置。
該手術機器人設置於一機器人移動平台，並具有一手術器械。該手術器械包括一工具端，在該機器人移動平台設置有一基座標記。該穿戴式裝置適用於該醫療人員配戴，並用於擷取影像及顯示擴增實境影像給該醫療人員。該導航攝影機用於擷取包含該動態追蹤標記及該基座標記的影像。
該電腦裝置電連接該手術機器人、該穿戴式裝置、及該導航攝影機，並儲存該病患的一術前三維醫療影像模型，及一手術預設路徑，該手術預設路徑是以該術前三維醫療影像模型的坐標系為基準所事先規劃的路徑。
該電腦裝置接收該導航攝影機所擷取的影像，偵測該動態追蹤標記的位置以獲得一轉換矩陣
Figure 02_image001
，且根據另一轉換矩陣
Figure 02_image003
，將該術前三維醫療影像模型配準至該動態追蹤標記，並根據另一轉換矩陣
Figure 02_image005
，控制該手術機器人的該手術器械在該手術預設路徑上移動，以對該患部實施手術。
Figure 02_image005
=
Figure 02_image007
其中，RBCS、Base Marker、NCS、DRF、及CT分別是以一機器人基座、該機器人移動平台、該導航攝影機、該動態追蹤標記、及該術前三維醫療影像模型為基準的坐標系。
該穿戴式裝置根據所擷取的影像偵測該動態追蹤標記的位置以獲得另一轉換矩陣
Figure 02_image009
，並根據該轉換矩陣
Figure 02_image009
及該轉換矩陣
Figure 02_image003
，將該術前三維醫療影像模型及該手術預設路徑以擴增實境方式顯示給該醫療人員。
在一些實施態樣中，其中，該穿戴式裝置顯示一虛擬控制畫面，該虛擬控制畫面包含一準備鍵、一執行鍵、及六組調整鍵，該六組調整鍵是對應調整該手術預設路徑分別在以該術前三維醫療影像模型的坐標系為基準的一X軸、一Y軸、與一Z軸的平移，及繞該X軸、該Y軸、與該Z軸的旋轉。當該穿戴式裝置判斷該準備鍵被該醫療人員按壓時，控制該手術預設路徑移動至一初始設定位置。當該穿戴式裝置判斷任一該調整鍵被該醫療人員按壓時，控制該手術預設路徑做對應的移動或轉動。當該穿戴式裝置判斷該執行鍵被該醫療人員按壓時，將調整後的該手術預設路徑傳送至該電腦裝置，以控制該手術機器人的該手術器械在調整後的該手術預設路徑上移動，以對該患部實施手術。
在一些實施態樣中，其中，該穿戴式裝置還顯示至少一虛擬子畫面。每一該虛擬子畫面是該術前三維醫療影像模型的預設位置的一剖面圖、預設位置的一局部剖面圖、或預設視角的一立體圖，以作為調整該手術預設路徑的輔助介面。
在一些實施態樣中，其中，該穿戴式裝置還具備空間感知功能，以獲得另一轉換矩陣
Figure 02_image011
，World及ARCS分別是以該手術機器人系統所在的一工作空間，及以該穿戴式裝置為基準的坐標系。當該穿戴式裝置所擷取的影像包含該動態追蹤標記時，該電腦裝置根據該導航攝影機所擷取的影像所包含的該動態追蹤標記的位置，決定另一轉換矩陣
Figure 02_image013
，
Figure 02_image015
。
當該穿戴式裝置根據所擷取的影像而無法偵測到該動態追蹤標記的位置時，該導航攝影機根據所擷取的影像所包含的該動態追蹤標記的位置獲得另一轉換矩陣
Figure 02_image017
，該穿戴式裝置根據該轉換矩陣
Figure 02_image017
及該轉換矩陣
Figure 02_image013
，獲得另一轉換矩陣
Figure 02_image019
，以決定該術前三維醫療影像模型在擴增實境中的位置，
Figure 02_image021
。
在一些實施態樣中，其中，藉由一視覺定位標記設置於一探針上，且藉由該導航攝影機擷取包含該探針的一底端輪流接觸該患部的多個特徵點上的一影像，並擷取包含該探針的該底端在該患部的表面上移動的另一影像，以獲得在以該導航攝影機為基準的坐標系的一患部三維表面模型。該電腦裝置根據該等特徵點在該患部三維表面模型及該術前三維醫療影像模型的位置進行配準，且藉由迭代最近點演算法(Iterative closest point，ICP)將該患部三維表面模型及該術前三維醫療影像模型進行配準，以獲得一轉換矩陣
Figure 02_image023
，並根據下列公式獲得該轉換矩陣
Figure 02_image003
，
Figure 02_image025
。
在另一些實施態樣中，其中，藉由一電腦斷層掃描(CT)設備對該患部及該動態追蹤標記掃描，以獲得一術中三維醫療影像模型。且藉由該術中三維醫療影像模型中的該動態追蹤標記與該患部的位置，獲得另一轉換矩陣
Figure 02_image027
。該電腦裝置根據該動態追蹤標記的多個特徵點分別在該動態追蹤標記與該術中三維醫療影像模型中的該動態追蹤標記的位置進行配準，且藉由迭代最近點演算法將該動態追蹤標記及該術中三維醫療影像模型中的該動態追蹤標記進行配準，以獲得另一轉換矩陣
Figure 02_image029
。該電腦裝置根據該患部的多個特徵點分別在該術前三維醫療影像模型及該術中三維醫療影像模型的位置進行配準，且藉由迭代最近點演算法將該術前三維醫療影像模型及該術中三維醫療影像模型進行配準，以獲得另一轉換矩陣
Figure 02_image031
。該電腦裝置根據公式
Figure 02_image033
獲得該轉換矩陣
Figure 02_image003
。
本發明的功效在於：藉由該穿戴式裝置以擴增實境方式將配準至該患部的該術前三維醫療影像模型及該手術預設路徑顯示給該醫療人員，使得該手術機器人的該手術器械在該手術預設路徑上移動而對該患部實施手術的過程中都能夠同時受到該醫療人員的監控。因此，該手術機器人系統相較於先前技術能夠具備更廣泛的用途。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
參閱圖1與圖2，本發明手術機器人系統之一實施例，適用於一病患的一患部90及一醫療人員，並包含一手術機器人2、一穿戴式裝置4、一導航攝影機3、及一電腦裝置1。在相對該患部90保持不變的位置設置有一動態追蹤標記。舉例來說，該動態追蹤標記是一種二維條碼，如AprilTag、QR碼，該醫療人員是醫生，該患部90是椎弓根，該手術機器人系統是要對該病患實施椎弓根螺釘植入手術(Pedicle screw placement)，但並不以此為限。
該手術機器人2設置於一機器人移動平台21，並包含一機器人基座22及一機械手臂23。該機器人基座22設置於該機械手臂23的底部。該機械手臂23例如是一台六軸機械臂，並具有六自由度來達到空間中各個位置及各朝向的運動。在該機械手臂23的一端設置有一手術器械(圖未示)。該手術器械包括一工具端(如尖錐)。在該機器人移動平台21設置有一基座標記，該基座標記例如是一種二維條碼，如AprilTag、QR碼。
該穿戴式裝置4例如是一種擴增實境眼鏡，並適用於該醫療人員配戴，且用於擷取影像及顯示擴增實境影像給該醫療人員。該導航攝影機3用於擷取包含該動態追蹤標記及該基座標記的影像，以根據影像計算該動態追蹤標記及該基座標記的姿態(如空間中的坐標及角度)。
該電腦裝置1與該手術機器人2、該穿戴式裝置4、及該導航攝影機3建立連線，並儲存該病患的一術前三維醫療影像模型，及一手術預設路徑。該術前三維醫療影像模型例如是一種藉由電腦斷層掃瞄(CT)影像所建構的三維模型。該手術預設路徑是以該術前三維醫療影像模型的坐標系O1為基準所事先規劃的路徑。在本實施例中，該手術預設路徑是對應椎弓根的一段直線，以使得尖錐能夠在椎弓根中鑽出一道角度合適的導引通道直到椎弓根內部，且不碰觸到鄰近的脊髓及神經根。
在圖2中，O3是該動態追蹤標記的坐標系。該醫療人員或其他人員事先藉由一視覺定位標記設置於一探針上，且藉由該導航攝影機3擷取包含該探針的一底端輪流接觸該患部90的多個特徵點上的一影像，以獲得該等特徵點在以該導航攝影機3為基準的坐標系的位置，並擷取包含該探針的該底端在該患部90的表面上移動的另一影像，以獲取在以該導航攝影機3為基準的坐標系的一患部三維表面模型。該探針上所設置的該視覺定位標記例如是一種二維條碼，如AprilTag、QR碼。該電腦裝置1根據該等特徵點在以該導航攝影機3為基準的坐標系中的位置及該等特徵點在以該術前三維醫療影像模型為基準的坐標系中的位置，也就是該等特徵點在該患部三維表面模型及該術前三維醫療影像模型的位置進行配準，以獲得該導航攝影機3與該術前三維醫療影像模型的坐標轉換關係的一轉換矩陣
Figure 02_image023
。該電腦裝置1再藉由迭代最近點演算法(ICP)將該患部三維表面模型及該術前三維醫療影像模型進行配準，以修正該轉換矩陣
Figure 02_image023
，並根據公式
Figure 02_image025
，獲得該術前三維醫療影像模型與該動態追蹤標記的坐標轉換關係的一轉換矩陣
Figure 02_image003
。其中，該轉換矩陣
Figure 02_image035
是藉由該導航攝影機3根據所擷取的影像所包含的該動態追蹤標記的位置，以獲得該動態追蹤標記與該導航攝影機3的坐標轉換關係而獲得。
也就是說，該患部三維表面模型與該術前三維醫療影像模型的配準包含先後執行的特徵匹配及表面匹配兩個部分，特徵匹配是藉由對齊椎骨的多個明顯解剖特徵點，進行一對一的匹配來完成，而表面匹配是藉由對該患部90進行大量的隨機取樣而得到該患部三維表面模型，再根據該患部三維表面模型與該術前三維醫療影像模型進行迭代最近點演算法的配準，並結合前述特徵匹配所得到的初始的轉換矩陣
Figure 02_image023
來加速配準的速度，而建立更精確的該轉換矩陣
Figure 02_image023
。
另外要補充說明的是：再參閱圖3，在其他的實施例中，該動態追蹤標記除了可以是二維條碼之外，也可以例如是NDI公司所提供的Polaris Vega(即一種裝有反光球的工件)，或是醫百科技所提供的一種用於手術導航中且帶有特定凹槽的圓柱體，該醫療人員或其他人員也可以不利用該探針，而是藉由一電腦斷層掃描(CT)設備對該患部90及該動態追蹤標記掃描，以獲得一術中三維醫療影像模型。在圖3中，O4是在該術中三維醫療影像模型的該患部90的坐標系，O5是在該術中三維醫療影像模型的該動態追蹤標記的坐標系。該電腦裝置1藉由該術中三維醫療影像模型中的該動態追蹤標記與該患部90的位置，獲得另一轉換矩陣
Figure 02_image027
。該電腦裝置1根據該動態追蹤標記的多個特徵點分別在該動態追蹤標記與該術中三維醫療影像模型中的該動態追蹤標記的位置進行配準，且藉由迭代最近點演算法將該動態追蹤標記及該術中三維醫療影像模型中的該動態追蹤標記進行配準，以獲得另一轉換矩陣
Figure 02_image029
。且該電腦裝置1根據該患部90的多個特徵點分別在該術前三維醫療影像模型及該術中三維醫療影像模型的位置進行配準，且藉由迭代最近點演算法將該術前三維醫療影像模型及該術中三維醫療影像模型進行配準，以獲得另一轉換矩陣
Figure 02_image031
，該電腦裝置1根據公式
Figure 02_image033
獲得該轉換矩陣
Figure 02_image003
。
參閱圖1與圖2，該電腦裝置1接收該導航攝影機3所擷取的影像偵測該動態追蹤標記的位置以獲得一轉換矩陣
Figure 02_image001
，且根據該轉換矩陣
Figure 02_image003
，將該術前三維醫療影像模型配準至該動態追蹤標記，也就是說，
Figure 02_image037
，
Figure 02_image023
乘以該術前三維醫療影像模型(即CT)的坐標系O1的坐標會等於以該導航攝影機3(即NCS)為基準的對應坐標。該電腦裝置1根據該轉換矩陣
Figure 02_image003
，將該術前三維醫療影像模型配準至該動態追蹤標記，也就是
Figure 02_image003
乘以該術前三維醫療影像模型(即CT)的坐標系O1的坐標會等於以該動態追蹤標記(即DRF)的坐標系O3為基準的對應坐標。該電腦裝置1根據另一轉換矩陣
Figure 02_image005
，能夠控制該手術機器人2的該手術器械在該手術預設路徑上移動，以對該患部90實施手術。該轉換矩陣
Figure 02_image005
的公式如(1)所示。其中，公式(1)中的RBCS及NCS分別是以該機器人基座22及該導航攝影機3為基準的坐標系，Base Marker、DRF、及CT分別是以該機器人移動平台21、該動態追蹤標記、及該術前三維醫療影像模型為基準的坐標系O6、O3、O1。另外值得一提的是：由於該電腦裝置1控制該手術機器人2的該機械手臂23移動，使得該手術器械在該手術預設路徑上移動以到達每一目標點(Target)，因此，以該機器人基座22為基準的坐標系與以該手術器械的該工具端為基準的坐標系之間的轉換矩陣是
Figure 02_image039
會等於該轉換矩陣
Figure 02_image005
。
Figure 02_image005
=
Figure 02_image007
…(1)
另一方面，該穿戴式裝置4根據所擷取的影像偵測該動態追蹤標記的位置，以獲得該穿戴式裝置4與該動態追蹤標記的坐標轉換關係的一轉換矩陣
Figure 02_image009
，並根據另一轉換矩陣
Figure 02_image019
，將該術前三維醫療影像模型及該手術預設路徑以擴增實境方式顯示給該醫療人員。該轉換矩陣
Figure 02_image009
是藉由該穿戴式裝置4所擷取的影像包含該動態追蹤標記時，偵測該動態追蹤標記在其坐標系的位置，而獲得該動態追蹤標記與該穿戴式裝置4的坐標系關係。該轉換矩陣
Figure 02_image019
=
Figure 02_image041
，其中，ARCS是以該穿戴式裝置4為基準的坐標系。
再參閱圖4，更詳細地說，該穿戴式裝置4除了以擴增實境顯示配準至該患部90的該術前三維醫療影像模型91及該手術預設路徑92，並還顯示一虛擬控制畫面41及二個虛擬子畫面42、43。在本實施例中，該二個虛擬子畫面42、43分別是該術前三維醫療影像模型的該患部90的一局部剖面圖(即42)、及俯視視角的一立體圖(即43)。而在其他的實施例中，該穿戴式裝置4也可以受控制而顯示單一個或其他多個虛擬子畫面，且每一該虛擬子畫面是該術前三維醫療影像模型的預設位置的一剖面圖、預設位置的一局部剖面圖、或預設視角的一立體圖。
該虛擬控制畫面41包含一準備鍵411、一執行鍵412、及六組調整鍵413。該六組調整鍵是對應調整該手術預設路徑分別在一X軸、一Y軸、與一Z軸的平移，及繞該X軸、該Y軸、與該Z軸的旋轉。在本實施例中，每一組該調整鍵413例如是一增加數值的按鍵及一減少數值的按鍵。當該穿戴式裝置4判斷該準備鍵411被該醫療人員按壓時，例如判斷出該醫療人員的手指在對應的按鍵位置時，控制該手術預設路徑移動至一初始設定位置。類似地，當該穿戴式裝置4判斷任一該調整鍵413被該醫療人員按壓時，控制該手術預設路徑做對應的移動或轉動。當該穿戴式裝置4判斷該執行鍵412被該醫療人員按壓時，將調整後的該手術預設路徑傳送至該電腦裝置1，使得該電腦裝置1控制該手術機器人2的該手術器械在調整後的該手術預設路徑上依照預先設定的速度與軌跡移動，以對該患部90實施手術。
換句話說，該醫療人員藉由該穿戴式裝置4以擴增實境的方式判斷該手術預設路徑是否正確，並能夠藉由該等虛擬子畫面42、43作為調整該手術預設路徑的輔助介面，如果該醫療人員判斷是正確的，則藉由該執行鍵412控制該手術機器人2按照該手術預設路徑執行手術，並同時監看手術的過程。反之，如果該醫療人員判斷是不正確的，則藉由該等調整鍵413調整該手術預設路徑至正確的位置，再藉由該執行鍵412啟動手術的實施。另外值得一提的是：該手術預設路徑是在以該術前三維醫療影像模型為基準的坐標系中作調整，該電腦裝置1同樣藉由前述的公式(1)將調整後的該手術預設路徑轉換至以該機器人基座22為基準的坐標系，以提供該手術器械依照其路徑作移動。
此外，再參閱圖5，在本實施例中，該穿戴式裝置4例如是微軟公司的HoloLens 2，也就是還具備空間感知功能，使得該穿戴式裝置4能夠藉由配置在其上的四個可見光攝影機及一台深度攝影機來理解工作的環境而不會迷失方向，進而獲得另一轉換矩陣
Figure 02_image011
，World是以該手術機器人系統所在的一工作空間為基準的坐標系。當該穿戴式裝置4所擷取的該影像包含該動態追蹤標記時，該電腦裝置1根據該導航攝影機3所擷取的影像所包含的該動態追蹤標記的位置，決定另一轉換矩陣
Figure 02_image013
，公式如(2)所示。
Figure 02_image015
…(2)
而當該穿戴式裝置4所擷取的該影像沒有包含該動態追蹤標記而無法偵測到該動態追蹤標記的位置時，該導航攝影機3根據所擷取的影像所包含的該動態追蹤標記的位置，以獲得該轉換矩陣
Figure 02_image017
。該穿戴式裝置4根據該轉換矩陣
Figure 02_image017
及該轉換矩陣
Figure 02_image013
，獲得另一轉換矩陣
Figure 02_image019
，以決定該術前三維醫療影像模型在擴增實境中的位置。該轉換矩陣
Figure 02_image019
公式如(3)所示。也就是說，藉由該穿戴式裝置4的空間感知功能，即使在該穿戴式裝置4沒有擷取到包含該動態追蹤標記的影像，例如因為被人員或物體遮蔽時，仍然使得該穿戴式裝置4能夠在擴增實境中正確顯示該術前三維醫療影像模型。
Figure 02_image021
…(3)
綜上所述，藉由該穿戴式裝置4以擴增實境方式將配準至該患部90的該術前三維醫療影像模型及該手術預設路徑顯示給該醫療人員，使得該醫療人員能夠在確認或調整該手術預設路徑之後，控制該手術機器人2的該手術器械自動地在該手術預設路徑上移動而對該患部90實施手術，且在手術的過程中該醫療人員能夠同時以擴增實境的方式作監控，故確實能達成本發明的目的。
惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。
1:電腦裝置
2:手術機器人
21:機器人移動平台
22:機器人基座
23:機械手臂
3:導航攝影機
4:穿戴式裝置
41:虛擬控制畫面
411:準備鍵
412:執行鍵
413:調整鍵
42、43:虛擬子畫面
90:患部
91:術前三維醫療影像模型
92:手術預設路徑
O1~O6:坐標系
本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 圖1是一方塊圖，說明本發明手術機器人系統的一實施例； 圖2是一示意圖，說明該實施例的多個坐標系的相對關係； 圖3是一示意圖，說明其他實施例的多個坐標系的相對關係； 圖4是一示意圖，說明該實施例的一擴增實境畫面；及 圖5是一示意圖，說明其他擴增實境投影的實施例的多個坐標系的相對關係。
1:電腦裝置
2:手術機器人
3:導航攝影機
4:穿戴式裝置

Claims (6)

  1. 一種手術機器人系統，適用於一病患的一患部及一醫療人員，且在相對該患部保持不變的位置設置有一動態追蹤標記，該手術機器人系統包含： 一手術機器人，設置於一機器人移動平台，並具有一手術器械，該手術器械包括一工具端，在該機器人移動平台設置有一基座標記； 一穿戴式裝置，適用於該醫療人員配戴，並用於擷取影像及顯示擴增實境影像給該醫療人員； 一導航攝影機，用於擷取包含該動態追蹤標記及該基座標記的影像；及 一電腦裝置，電連接該手術機器人、該穿戴式裝置、及該導航攝影機，並儲存該病患的一術前三維醫療影像模型，及一手術預設路徑，該手術預設路徑是以該術前三維醫療影像模型的坐標系為基準所事先規劃的路徑， 該電腦裝置接收該導航攝影機所擷取的影像偵測該動態追蹤標記的位置以獲得一轉換矩陣
    Figure 03_image043
    ，且根據另一轉換矩陣
    Figure 03_image045
    ，將該術前三維醫療影像模型配準至該動態追蹤標記，並根據另一轉換矩陣
    Figure 03_image047
    ，控制該手術機器人的該手術器械在該手術預設路徑上移動，以對該患部實施手術，
    Figure 03_image047
    =
    Figure 03_image049
    ，其中，RBCS、Base Marker、NCS、DRF、及CT分別是以一機器人基座、該機器人移動平台、該導航攝影機、該動態追蹤標記、及該術前三維醫療影像模型為基準的坐標系， 該穿戴式裝置根據所擷取的影像偵測該動態追蹤標記的位置以獲得另一轉換矩陣
    Figure 03_image051
    ，並根據另一轉換矩陣
    Figure 03_image053
    ，將該術前三維醫療影像模型及該手術預設路徑以擴增實境方式顯示給該醫療人員，
    Figure 03_image053
    =
    Figure 03_image055
    ，其中，ARCS是以該穿戴式裝置為基準的坐標系。
  2. 如請求項1所述的手術機器人系統，其中，該穿戴式裝置顯示一虛擬控制畫面，該虛擬控制畫面包含一準備鍵、一執行鍵、及六組調整鍵，該六組調整鍵是對應調整該手術預設路徑分別在以該術前三維醫療影像模型的坐標系為基準的一X軸、一Y軸、與一Z軸的平移，及繞該X軸、該Y軸、與該Z軸的旋轉，當該穿戴式裝置判斷該準備鍵被該醫療人員按壓時，控制該手術預設路徑移動至一初始設定位置，當該穿戴式裝置判斷任一該調整鍵被該醫療人員按壓時，控制該手術預設路徑做對應的移動或轉動，當該穿戴式裝置判斷該執行鍵被該醫療人員按壓時，將調整後的該手術預設路徑傳送至該電腦裝置，以控制該手術機器人的該手術器械在調整後的該手術預設路徑上移動，以對該患部實施手術。
  3. 如請求項2所述的手術機器人系統，其中，該穿戴式裝置還顯示至少一虛擬子畫面，每一該虛擬子畫面是該術前三維醫療影像模型的預設位置的一剖面圖、預設位置的一局部剖面圖、或預設視角的一立體圖，以作為調整該手術預設路徑的輔助介面。
  4. 如請求項3所述的手術機器人系統，其中，該穿戴式裝置還具備空間感知功能，以獲得另一轉換矩陣
    Figure 03_image057
    ，World及ARCS分別是以該手術機器人系統所在的一工作空間，及該穿戴式裝置為基準的坐標系，當該穿戴式裝置所擷取的影像包含該動態追蹤標記時，該電腦裝置根據該導航攝影機所擷取的影像所包含的該動態追蹤標記的位置，決定另一轉換矩陣
    Figure 03_image059
    ，
    Figure 03_image061
    ， 當該穿戴式裝置根據所擷取的影像而無法偵測到該動態追蹤標記的位置時，該導航攝影機根據所擷取的影像所包含的該動態追蹤標記的位置獲得另一轉換矩陣
    Figure 03_image063
    ，該穿戴式裝置根據該轉換矩陣
    Figure 03_image063
    及該轉換矩陣
    Figure 03_image059
    ，獲得另一轉換矩陣
    Figure 03_image053
    ，以決定該術前三維醫療影像模型在擴增實境中的位置，
    Figure 03_image065
    。
  5. 如請求項4所述的手術機器人系統，其中，藉由一視覺定位標記設置於一探針上，且藉由該導航攝影機擷取包含該探針的一底端輪流接觸該患部的多個特徵點上的一影像，並擷取包含該探針的該底端在該患部的表面上移動的另一影像，以獲得在以該導航攝影機為基準的坐標系的一患部三維表面模型，該電腦裝置根據該等特徵點在該患部三維表面模型及該術前三維醫療影像模型的位置進行配準，且藉由迭代最近點演算法(Iterative closest point，ICP)將該患部三維表面模型及該術前三維醫療影像模型進行配準，以獲得一轉換矩陣
    Figure 03_image067
    ，並根據下列公式獲得該轉換矩陣
    Figure 03_image045
    ，
    Figure 03_image069
    。
  6. 如請求項4所述的手術機器人系統，其中，藉由一電腦斷層掃描(CT)設備對該患部及該動態追蹤標記掃描，以獲得一術中三維醫療影像模型，且藉由該術中三維醫療影像模型中的該動態追蹤標記與該患部的位置，獲得另一轉換矩陣
    Figure 03_image071
    ，該電腦裝置根據該動態追蹤標記的多個特徵點分別在該動態追蹤標記與該術中三維醫療影像模型中的該動態追蹤標記的位置進行配準，且藉由迭代最近點演算法將該動態追蹤標記及該術中三維醫療影像模型中的該動態追蹤標記進行配準，以獲得另一轉換矩陣
    Figure 03_image073
    ，該電腦裝置根據該患部的多個特徵點分別在該術前三維醫療影像模型及該術中三維醫療影像模型的位置進行配準，且藉由迭代最近點演算法將該術前三維醫療影像模型及該術中三維醫療影像模型進行配準，以獲得另一轉換矩陣
    Figure 03_image075
    ，該電腦裝置根據下列公式獲得該轉換矩陣
    Figure 03_image045
    ，
    Figure 03_image077
    。
TW111129194A 2022-08-03 2022-08-03 手術機器人系統 TWI790181B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW111129194A TWI790181B (zh) 2022-08-03 2022-08-03 手術機器人系統
US18/050,332 US20240041526A1 (en) 2022-08-03 2022-10-27 Robotic surgical system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW111129194A TWI790181B (zh) 2022-08-03 2022-08-03 手術機器人系統

Publications (2)

Publication Number Publication Date
TWI790181B true TWI790181B (zh) 2023-01-11
TW202406514A TW202406514A (zh) 2024-02-16

Family

ID=86670114

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111129194A TWI790181B (zh) 2022-08-03 2022-08-03 手術機器人系統

Country Status (2)

Country Link
US (1) US20240041526A1 (zh)
TW (1) TWI790181B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108836479A (zh) * 2018-05-16 2018-11-20 山东大学 一种医学图像配准方法和手术导航系统
CN112155732A (zh) * 2020-09-29 2021-01-01 苏州微创畅行机器人有限公司 可读存储介质、骨建模配准系统及骨科手术系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108836479A (zh) * 2018-05-16 2018-11-20 山东大学 一种医学图像配准方法和手术导航系统
CN112155732A (zh) * 2020-09-29 2021-01-01 苏州微创畅行机器人有限公司 可读存储介质、骨建模配准系统及骨科手术系统

Also Published As

Publication number Publication date
US20240041526A1 (en) 2024-02-08
TW202406514A (zh) 2024-02-16

Similar Documents

Publication Publication Date Title
US11413099B2 (en) System, controller and method using virtual reality device for robotic surgery
US10674900B2 (en) Display monitor control of a telesurgical tool
EP2822445B1 (en) Overall endoscopic control system
JP2575586B2 (ja) 外科用装置位置付けシステム
US9699445B2 (en) Apparatus for automated panning and digital zooming in robotic surgical systems
US11672616B2 (en) Secondary instrument control in a computer-assisted teleoperated system
JP2017516507A (ja) イメージング器具の向きの制御のためのシステム及び方法
EP3592276B1 (en) Systems for controlling tool with articulatable distal portion
JP2021171657A (ja) 手術中の支援されたナビゲーションのための拡張現実ヘッドセットのカメラによって追跡された参照アレイを備えた手術器具の位置合わせ
JP2021194538A (ja) 基準シードを介した可視光での外科手術での対象の追跡および合成画像登録
JP7282816B2 (ja) ナビゲートされたロボット外科手術のためのエクステンデッドリアリティ器具相互作用ゾーン
US20220211270A1 (en) Systems and methods for generating workspace volumes and identifying reachable workspaces of surgical instruments
TWI790181B (zh) 手術機器人系統
JP7323672B2 (ja) 脊椎の処置のためのコンピュータ支援外科用ナビゲーションシステム
TWI750930B (zh) 手術輔助系統及相關手術輔助方法
US20230270510A1 (en) Secondary instrument control in a computer-assisted teleoperated system
US20230165639A1 (en) Extended reality systems with three-dimensional visualizations of medical image scan slices
WO2024076592A1 (en) Increasing mobility of computer-assisted systems while maintaining a partially constrained field of view
US20210068799A1 (en) Method and apparatus for manipulating tissue
WO2023150449A1 (en) Systems and methods for remote mentoring in a robot assisted medical system