TW202135736A - 基於混合實境的手術導航影像成像方法 - Google Patents

基於混合實境的手術導航影像成像方法 Download PDF

Info

Publication number
TW202135736A
TW202135736A TW109109496A TW109109496A TW202135736A TW 202135736 A TW202135736 A TW 202135736A TW 109109496 A TW109109496 A TW 109109496A TW 109109496 A TW109109496 A TW 109109496A TW 202135736 A TW202135736 A TW 202135736A
Authority
TW
Taiwan
Prior art keywords
points
image
computer device
coordinates
infrared
Prior art date
Application number
TW109109496A
Other languages
English (en)
Other versions
TWI741536B (zh
Inventor
王民良
Original Assignee
台灣骨王生技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 台灣骨王生技股份有限公司 filed Critical 台灣骨王生技股份有限公司
Priority to TW109109496A priority Critical patent/TWI741536B/zh
Priority to CN202010430175.1A priority patent/CN111568548B/zh
Priority to US17/205,382 priority patent/US20210290336A1/en
Application granted granted Critical
Publication of TW202135736A publication Critical patent/TW202135736A/zh
Publication of TWI741536B publication Critical patent/TWI741536B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/361—Image-producing devices, e.g. surgical cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00681—Aspects not otherwise provided for
    • A61B2017/00725—Calibration or performance testing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/101—Computer-aided simulation of surgical operations
    • A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2068—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis using pointers, e.g. pointers having reference marks for determining coordinates of body points
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/366—Correlation of different images or relation of image positions in respect to the body using projection of images directly onto the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/397—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave
    • A61B2090/3975—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active
    • A61B2090/3979—Markers, e.g. radio-opaque or breast lesions markers electromagnetic other than visible, e.g. microwave active infrared
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Robotics (AREA)
  • Human Computer Interaction (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Processing Or Creating Images (AREA)

Abstract

一種基於混合實境的手術導航影像成像方法，適用於將一相關一患者的一手術部位的手術部位三維影像成像至該手術部位，使該手術部位與該手術部位三維影像疊合。藉由一電腦裝置獲得並根據一世界坐標系與一混合實境眼鏡的一紅外線拍攝追蹤裝置的一紅外線像素坐標系之間的一第一投影矩陣、該世界坐標系與該混合實境眼鏡的一彩色相機的一彩色像素坐標系之間的一第二投影矩陣，及該世界坐標系與該混合實境眼鏡的一鏡片顯示螢幕的一鏡片像素坐標系之間的一第三投影矩陣，將該手術部位三維影像顯示於該混合實境眼鏡的該鏡片顯示螢幕。

Description

基於混合實境的手術導航影像成像方法
本發明是有關於一種影像成像方法，特別是指一種基於混合實境的手術導航影像成像方法。
在傳統的外科手術中，醫師只能憑藉著手術部位影像，例如磁力共振成像(Magnetic Resonance Imaging, MRI)影像與電腦斷層掃描（Computed Tomography, CT）影像，解剖學專業和臨床經驗，規劃合適的手術路徑。在手術過程中，執刀醫師必須頻頻轉頭對照一旁螢幕，才能確認下刀位置。手眼不一的手術方式使得手術難度極高。
近年來，外科手術有逐漸結合混合實境(Mixed Reality, MR)的趨勢，混合實境能以即時三維視覺化方式將手術部位影像投影在病患上，提供患部、病患與手術器械空間位置資訊，幫助醫師術前精確規劃可避開腦動脈的安全手術路徑，並於術中精準定位，讓醫師能在術中入刀時，避開神經與血管。
然而，醫師眼睛所看到投影在病患上手術部位影像與實際醫師動刀的位置差異過大時，無法順利地進行手術，故如何將手術部位影像準確地投影在病患上，是本領域技術人員所待解決的課題。
因此，本發明的目的，即在提供一種能將手術部位影像準確地投影在病患上的基於混合實境的手術導航影像成像方法。
於是，本發明基於混合實境的手術導航影像成像方法，適用於將一相關一患者的一手術部位的手術部位三維影像成像至該手術部位，使該手術部位與該手術部位三維影像疊合，該手術部位三維影像中之手術部位標記有多個參考點，該患者之手術部位依照該等參考點之標記位置設置有多個分別對應該等參考點的標記點，該方法由一手術導航系統來實施，該手術導航系統包括一電腦裝置，及一與該電腦裝置通訊連接的混合實境眼鏡，該電腦裝置儲存有該手術部位三維影像、多個分別對應該等標記點且在一世界座標系的標記點世界座標，及多個分別對應該等參考點且在一三維座標系的參考點三維座標，該世界座標系的原點為該等標記點之其中一者，該三維座標系的原點為該等參考點之其中一者，該混合實境眼鏡包括一紅外線拍攝追蹤裝置、一彩色相機，及一鏡片顯示螢幕，該方法包含一步驟(A)、一步驟(B)、一步驟(C)、一步驟(D)、一步驟(E)、一步驟(F)、一步驟(G)、一步驟(H)、一步驟(I)、，及一步驟(J)。
在該步驟(A)中，該混合實境眼鏡的該紅外線拍攝追蹤裝置拍攝該手術部位，以產生一包括該等標記點的紅外線影像。
在該步驟(B)中，該混合實境眼鏡的該紅外線拍攝追蹤裝置根據該紅外線影像獲得多個分別對應該等標記點的紅外線像素座標，並將該紅外線影像及該等紅外線像素座標傳送至該電腦裝置。
在該步驟(C)中，該電腦裝置根據該等標記點世界座標及該等紅外線座標獲得一第一投影矩陣。
在該步驟(D)中，該混合實境眼鏡的該彩色相機拍攝該手術部位，以產生一包括該等標記點的彩色影像，並將該彩色影像傳送至該電腦裝置。
在該步驟(E)中，該電腦裝置根據該彩色影像獲得多個分別對應該等標記點的彩色像素座標。
在該步驟(F)中，該電腦裝置根據該等標記點世界座標及該等彩色像素座標獲得一第二投影矩陣。
在該步驟(G)中，該電腦裝置根據一使用者的輸入操作獲得多個對應於多個校正點的鏡片螢幕像素座標及多個分別對應該等校正點且在該世界座標系的校正點世界座標。
在該步驟(H)中，該電腦裝置根據該等鏡片螢幕像素座標及該等校正點世界座標獲得一第三投影矩陣。
在該步驟(I)中，該電腦裝置根據該等標記點世界座標及該等參考點三維座標獲得多個相關於該手術部位三維影像之所有影像點在該世界座標系的影像點世界座標。
在該步驟(J)中，該電腦裝置根據該等影像點世界座標、該第一投影矩陣、該第二投影矩陣，及該第三投影矩陣，獲得多個分別對應該等影像點世界座標的影像點鏡片螢幕像素座標。
本發明的功效在於：藉由該電腦裝置獲得該世界坐標系分別與該紅外線拍攝追蹤裝置、該彩色相機，及該鏡片顯示螢幕之間的該第一投影矩陣、該第二投影矩陣，及該第三投影矩陣，再根據上述矩陣將及該等影像點世界座標，獲得該等影像點鏡片螢幕像素座標，以使該鏡片顯示螢幕顯示之該手術部位三維影像能精準地與該手術部位疊合。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
參閱圖1，本發明基於混合實境的手術導航影像成像方法的一實施例，適用於將一相關一患者的一手術部位的手術部位三維影像成像至該手術部位，使該手術部位與該手術部位三維影像疊合，該手術部位三維影像中之手術部位標記有多個參考點，該患者之手術部位依照該等參考點之標記位置設置有多個分別對應該等參考點的標記點，由一手術導航系統1來實施，該手術導航系統1包括一電腦裝置12，及一通訊連接該電腦裝置12的混合實境眼鏡13。在本實施例中，該手術部位三維影像例如為電腦斷層(Computed Tomography, CT)或磁共振成像(Magnetic Resonance Imaging, MRI)的醫療數位影像傳輸協定(Digital Imaging and Communications in Medicine, DICOM)格式的影像，該等參考點及該等標記點的數量例如為12，該混合實境眼鏡13經由一通訊網路連接該電腦裝置12，該通訊網路100例如為藍牙、Wi-Fi等短距離無線通訊網路，在其他實施方式中，該混合實境眼鏡13亦可電連接該電腦裝置12，不以此為限。
該電腦裝置12儲存有該手術部位三維影像、多個分別對應該等標記點且在一世界座標系的標記點世界座標至該電腦裝置12，及多個分別對應該等參考點且在一三維座標系的參考點三維座標，該世界座標系的原點為該等標記點之其中一者，該三維座標系的原點為該等參考點之其中一者。
該混合實境眼鏡13包括一紅外線拍攝追蹤裝置131、一彩色相機132，及一鏡片顯示螢幕133。要特別注意的是，在本實施例中，該紅外線拍攝追蹤裝置131係設置於該混合實境眼鏡13，在其他實施方式中，該紅外線拍攝追蹤裝置131可獨立，且與該電腦裝置12電連接，但不以此為限。
參閱圖1、2，以下將說明本發明基於混合實境的手術導航影像成像方法方法的該實施例所包含之步驟。
在步驟21中，該紅外線拍攝追蹤裝置131拍攝該手術部位，以產生一包括該等標記點的紅外線影像。
在步驟22中，該紅外線拍攝追蹤裝置131根據該紅外線影像獲得多個分別對應該等標記點的紅外線像素座標，並將該紅外線影像及該等紅外線像素座標傳送至該電腦裝置12。值得注意的是，在本實施例中，該紅外線拍攝追蹤裝置131係根據一函式庫(C/C++編寫的OOOPDS函式庫)獲得該等紅外線像素座標，但不以此為限。
在步驟23中，該電腦裝置12根據該等標記點世界座標及該等紅外線座標獲得一第一投影矩陣P 1 。
要特別注意的是，在本實施例中，該第一投影矩陣P 1 例如為一第一內部參數(intrinsic parameters)矩陣K 1 乘上一第一外部參數(extrinsic parameters)矩陣[R 1 |T 1 ]，其中，該第一外部參數矩陣[R 1 |T 1 ]包括了旋轉矩陣R 1 及位移矩陣T 1 ，該第一投影矩陣P 1 例如以下式表示：
Figure 02_image001
， 由於該第一投影矩陣P 1 乘上該等標記點世界座標為該等紅外線像素座標，如下式所示：
Figure 02_image003
， 其中(x 1 ,y 1 ,z 1 )為該等標記點世界座標，(x 2 ,y 2 )為該等紅外線像素座標，該電腦裝置12利用解聯立的數學運算解出該第一投影矩陣P 1 中
Figure 02_image005
、
Figure 02_image007
、
Figure 02_image009
、
Figure 02_image011
、
Figure 02_image013
、
Figure 02_image015
、
Figure 02_image017
、
Figure 02_image019
、
Figure 02_image021
、
Figure 02_image023
、
Figure 02_image025
、
Figure 02_image027
、
Figure 02_image029
、
Figure 02_image031
、
Figure 02_image033
、
Figure 02_image035
、
Figure 02_image037
等變數。
在步驟24中，該彩色相機132拍攝該手術部位，以產生一包括該等標記點的彩色影像，並將該彩色影像傳送至該電腦裝置12。
在步驟25中，該電腦裝置12根據該紅外線影像及該彩色影像獲得多個分別對應該等標記點的彩色像素座標。
值得注意的是，在本實施例中，對於該紅外線影像中之每一標記點，該電腦裝置12根據該紅外線影像的該標記點，自該彩色影像獲得一對應該紅外線影像的該標記點之標記點在該彩色影像的一彩色像素座標，在其他實施方式中，該電腦裝置12可僅根據該彩色影像，透過影像處理獲得該等彩色像素座標，但不以此為限。
在步驟26中，該電腦裝置12根據該等標記點世界座標及該等彩色像素座標獲得一第二投影矩陣P 2 。
要特別注意的是，在本實施例中，該第二投影矩陣P 2 例如為一第二內部參數矩陣K 2 乘上一第二外部參數矩陣[R 2 |T 2 ]，其中，該第二外部參數矩陣[R 2 |T 2 ]包括了旋轉矩陣R 2 及位移矩陣T 2 ，該第二投影矩陣P 2 例如以下式表示：
Figure 02_image039
， 由於該第二投影矩陣P 2 乘上該等標記點世界座標為該等彩色像素座標，如下式所示：
Figure 02_image041
，
其中(x 3 ,y 3 )為該等彩色像素座標，該電腦裝置12利用解聯立的數學運算解出該第二投影矩陣P 2 中
Figure 02_image043
、
Figure 02_image045
、
Figure 02_image047
、
Figure 02_image049
、
Figure 02_image051
、
Figure 02_image053
、
Figure 02_image055
、
Figure 02_image057
、
Figure 02_image059
、
Figure 02_image061
、
Figure 02_image063
、
Figure 02_image065
、
Figure 02_image067
、
Figure 02_image069
、
Figure 02_image071
、
Figure 02_image073
、
Figure 02_image075
等變數
在步驟27中，該電腦裝置12根據一使用者的輸入操作獲得多個對應於多個校正點的鏡片螢幕像素座標及多個分別對應該等校正點且在該世界座標系的校正點世界座標。
值得注意的是，在本實施例中，該使用者戴上該混合實境眼鏡13後，在該鏡片顯示螢幕133點選多個點，以作為該等校正點，並獲得該等校正點在該鏡片顯示螢幕133的該等鏡片螢幕像素座標，該使用者再移動一目標物使該目標物一一與該等校正點重疊，而該目標物重疊的位置即為該等校正點世界座標；反之，亦可該使用者戴上該混合實境眼鏡13後，先獲得該目標物的世界座標(即校正點世界座標)，並在該鏡片顯示螢幕133點選與該目標物重疊的位置，以獲得鏡片螢幕像素座標，但不以此為限。
在步驟28中，該電腦裝置12根據該等鏡片螢幕像素座標及該等校正點世界座標獲得一第三投影矩陣P 3 。
要特別注意的是，在本實施例中，該第三投影矩陣P 3 例如為一第三內部參數矩陣K 3 乘上一第三外部參數矩陣[R 3 |T 3 ]，其中，該第三外部參數矩陣[R 3 |T 3 ]包括了旋轉矩陣R 3 及位移矩陣T 3 ，該第三投影矩陣P 3 例如以下式表示：
Figure 02_image077
， 由於該第三投影矩陣P 3 乘上該等標記點世界座標為該等鏡片螢幕像素座標，如下式所示：
Figure 02_image079
， 其中(x 4 ,y 4 )為該等鏡片螢幕像素座標，該電腦裝置12利用解聯立的數學運算解出該第三投影矩陣P 3 中
Figure 02_image081
、
Figure 02_image083
、
Figure 02_image085
、
Figure 02_image087
、
Figure 02_image089
、
Figure 02_image091
、
Figure 02_image093
、
Figure 02_image095
、
Figure 02_image097
、
Figure 02_image099
、
Figure 02_image101
、
Figure 02_image103
、
Figure 02_image105
、
Figure 02_image107
、
Figure 02_image109
、
Figure 02_image111
、
Figure 02_image113
等變數。
在步驟29中，該電腦裝置12根據該等標記點世界座標及該等參考點三維座標獲得該手術部位三維影像之所有影像點在該世界座標系的影像點世界座標。
搭配參閱圖3，步驟29包括子步驟291、292，以下說明步驟29所包括的子步驟。
在步驟291中，該電腦裝置12根據該等標記點世界座標及該等參考點三維座標獲得一旋轉位移矩陣[R 4 |T 4 ]。
要特別注意的是，在本實施例中，該旋轉位移矩陣[R 4 |T 4 ]乘上該等參考點三維座標為該等標記點世界座標，如下式所示：
Figure 02_image115
其中(x 5 ,y 5 ,z 5 )為該等參考點三維座標，該電腦裝置12利用解聯立的數學運算解出該旋轉位移矩陣[R 4 |T 4 ]中
Figure 02_image117
、
Figure 02_image119
、
Figure 02_image121
、
Figure 02_image123
、
Figure 02_image125
、
Figure 02_image127
、
Figure 02_image129
、
Figure 02_image131
、
Figure 02_image133
、
Figure 02_image135
、
Figure 02_image137
、
Figure 02_image139
等變數。
在步驟292中，該電腦裝置12根據該旋轉平移矩陣[R 4 |T 4 ]獲得該手術部位三維影像之所有影像點在該世界座標系的影像點世界座標。其中，該旋轉位移矩陣[R 4 |T 4 ]乘上多個相關於該手術部位三維影像之所有影像點在該三維座標系的影像三維座標，即為該等影像點世界座標。
在步驟30中，該電腦裝置12根據該等影像點世界座標、該第一投影矩陣P 1 、該第二投影矩陣P 2 ，及該第三投影矩陣P 3 ，獲得多個分別對應該等影像點世界座標的影像點鏡片螢幕像素座標。
搭配參閱圖3，步驟30包括子步驟301、302，以下說明步驟30所包括的子步驟。
在步驟301中，該電腦裝置12將該第一投影矩陣P 1 、該第二投影矩陣P 2 ，及該第三投影矩陣P 3 分別轉換成一第一齊次矩陣(homogeneous matrix)H 1 、一第二齊次矩陣H 2 ，及一第三齊次矩陣H 3 ，其中該第一齊次矩陣H 1 、該第二齊次矩陣H 2 ，及該第三齊次矩陣H 3 ，例如以下式表示：
Figure 02_image141
，
Figure 02_image143
，
Figure 02_image145
。
在步驟302中，該電腦裝置12將該第一齊次矩陣H 1 乘上該第二齊次矩陣的反矩陣
Figure 02_image147
再乘上該第三齊次矩陣H 3 且乘上該等影像點鏡片螢幕像素座標，以獲得該等影像點鏡片螢幕像素座標。
在步驟31中，該電腦裝置12將該手術部位三維影像及該等影像點鏡片螢幕像素座標傳送至該鏡片顯示螢幕133，以使該鏡片顯示螢幕133顯示該手術部位三維影像。
要再特別注意的是，在本實施例中，該混合實境眼鏡13僅以包括一紅外線拍攝追蹤裝置131、一彩色相機132，及一鏡片顯示螢幕133舉例，實際上該混合實境眼鏡13包括分別對應雙眼的二紅外線拍攝追蹤裝置131、二彩色相機132，及二鏡片顯示螢幕133，該等鏡片顯示螢幕133分別將畫面傳送到左眼及右眼中，讓觀賞者在腦中產生立體三維空間的錯覺進而產生立體效果。
綜上所述，本發明基於混合實境的手術導航影像成像方法，藉由該電腦裝置12獲得該世界坐標系分別與該紅外線拍攝追蹤裝置131、該彩色相機132，及該鏡片顯示螢幕133之間的該第一投影矩陣、該第二投影矩陣，及該第三投影矩陣，再根據上述矩陣將及該等影像點世界座標，獲得該等影像點鏡片螢幕像素座標，以使該鏡片顯示螢幕133顯示之該手術部位三維影像能精準地與該手術部位疊合，故確實能達成本發明的目的。
惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍內。
1:手術導航系統 12:電腦裝置 13:混合實境眼鏡 131:紅外線拍攝追蹤裝置 132:彩色相機 133:鏡片顯示螢幕 100:通訊網路 21~31:步驟 291、292:步驟 301、302:步驟
本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 圖1是一示意圖，說明用以實施本發明基於混合實境的手術導航影像成像方法的一實施例的一手術導航系統； 圖2是一流程圖，說明本發明基於混合實境的手術導航影像成像方法的該實施例； 圖3是一流程圖，輔助說明圖2步驟29之子步驟； 及 圖4是一流程圖，輔助說明圖2步驟30之子步驟。
21~31:步驟

Claims (7)

  1. 一種基於混合實境的手術導航影像成像方法，適用於將一相關一患者的一手術部位的手術部位三維影像成像至該手術部位，使該手術部位與該手術部位三維影像疊合，該手術部位三維影像中之手術部位標記有多個參考點，該患者之手術部位依照該等參考點之標記位置設置有多個分別對應該等參考點的標記點，該方法由一手術導航系統來實施，該手術導航系統包括一電腦裝置，及一與該電腦裝置通訊連接的混合實境眼鏡，該電腦裝置儲存有該手術部位三維影像、多個分別對應該等標記點且在一世界座標系的標記點世界座標，及多個分別對應該等參考點且在一三維座標系的參考點三維座標，該世界座標系的原點為該等標記點之其中一者，該三維座標系的原點為該等參考點之其中一者，該混合實境眼鏡包括一紅外線拍攝追蹤裝置、一彩色相機，及一鏡片顯示螢幕，該方法包含以下步驟： (A)該混合實境眼鏡的該紅外線拍攝追蹤裝置拍攝該手術部位，以產生一包括該等標記點的紅外線影像； (B)該混合實境眼鏡的該紅外線拍攝追蹤裝置根據該紅外線影像獲得多個分別對應該等標記點的紅外線像素座標，並將該紅外線影像及該等紅外線像素座標傳送至該電腦裝置； (C)該電腦裝置根據該等標記點世界座標及該等紅外線座標獲得一第一投影矩陣； (D)該混合實境眼鏡的該彩色相機拍攝該手術部位，以產生一包括該等標記點的彩色影像，並將該彩色影像傳送至該電腦裝置； (E)該電腦裝置根據該彩色影像獲得多個分別對應該等標記點的彩色像素座標； (F)該電腦裝置根據該等標記點世界座標及該等彩色像素座標獲得一第二投影矩陣； (G)該電腦裝置根據一使用者的輸入操作獲得多個對應於多個校正點的鏡片螢幕像素座標及多個分別對應該等校正點且在該世界座標系的校正點世界座標； (H)該電腦裝置根據該等鏡片螢幕像素座標及該等校正點世界座標獲得一第三投影矩陣； (I)該電腦裝置根據該等標記點世界座標及該等參考點三維座標獲得多個相關於該手術部位三維影像之所有影像點在該世界座標系的影像點世界座標；及 (J)該電腦裝置根據該等影像點世界座標、該第一投影矩陣、該第二投影矩陣，及該第三投影矩陣，獲得多個分別對應該等影像點世界座標的影像點鏡片螢幕像素座標。
  2. 如請求項1所述的基於混合實境的手術導航影像成像方法，其中，在步驟(C)中，該第一投影矩陣乘上該等標記點世界座標為該等紅外線像素座標。
  3. 如請求項1所述的基於混合實境的手術導航影像成像方法，其中，在步驟(E)，該電腦裝置還根據該紅外線影像獲得該等彩色像素座標，對於該紅外線影像中之每一標記點，該電腦裝置根據該紅外線影像的該標記點，自該彩色影像獲得一對應該紅外線影像的該標記點之標記點在該彩色影像的一彩色像素座標。
  4. 如請求項1所述的基於混合實境的手術導航影像成像方法，其中，在步驟(F)中，該第二投影矩陣乘上該等標記點世界座標為該等彩色像素座標。
  5. 如請求項1所述的基於混合實境的手術導航影像成像方法，其中，在步驟(H)中，該第三投影矩陣乘上該等校正點世界座標為該等鏡片螢幕像素座標。
  6. 如請求項1所述的基於混合實境的手術導航影像成像方法，其中，步驟(I)包括以下子步驟： (I-1)該電腦裝置根據該等標記點世界座標及該等參考點三維座標獲得一旋轉位移矩陣；及 (I-2)該電腦裝置根據該旋轉平移矩陣獲得該等影像點世界座標。
  7. 如請求項1所述的基於混合實境的手術導航影像成像方法，其中，步驟(J)中包括以下子步驟： (J-1)該電腦裝置將該第一投影矩陣、該第二投影矩陣，及該第三投影矩陣分別轉換成一第一齊次矩陣、一第二齊次矩陣，及一第三齊次矩陣；及 (J-2)該電腦裝置將該第一齊次矩陣乘上該第二齊次矩陣的反矩陣再乘上該第三齊次矩陣且乘上該等影像點世界座標，以獲得該等影像點鏡片螢幕像素座標。
TW109109496A 2020-03-20 2020-03-20 基於混合實境的手術導航影像成像方法 TWI741536B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW109109496A TWI741536B (zh) 2020-03-20 2020-03-20 基於混合實境的手術導航影像成像方法
CN202010430175.1A CN111568548B (zh) 2020-03-20 2020-05-20 基于混合实境的手术导航图像成像方法
US17/205,382 US20210290336A1 (en) 2020-03-20 2021-03-18 Method and system for performing surgical imaging based on mixed reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109109496A TWI741536B (zh) 2020-03-20 2020-03-20 基於混合實境的手術導航影像成像方法

Publications (2)

Publication Number Publication Date
TW202135736A true TW202135736A (zh) 2021-10-01
TWI741536B TWI741536B (zh) 2021-10-01

Family

ID=72113873

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109109496A TWI741536B (zh) 2020-03-20 2020-03-20 基於混合實境的手術導航影像成像方法

Country Status (3)

Country Link
US (1) US20210290336A1 (zh)
CN (1) CN111568548B (zh)
TW (1) TWI741536B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
EP3787543A4 (en) 2018-05-02 2022-01-19 Augmedics Ltd. REGISTRATION OF A REFERENCE MARK FOR AN AUGMENTED REALITY SYSTEM
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11896445B2 (en) 2021-07-07 2024-02-13 Augmedics Ltd. Iliac pin and adapter
CN117017487B (zh) * 2023-10-09 2024-01-05 杭州键嘉医疗科技股份有限公司 一种脊柱配准方法、装置、设备及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4304571A1 (de) * 1993-02-16 1994-08-18 Mdc Med Diagnostic Computing Verfahren zur Planung und Kontrolle eines chirurgischen Eingriffs
US8130261B2 (en) * 2006-10-10 2012-03-06 Exelis, Inc. System and method for dynamically correcting parallax in head borne video systems
CN103211655B (zh) * 2013-04-11 2016-03-09 深圳先进技术研究院 一种骨科手术导航系统及导航方法
US10849710B2 (en) * 2014-02-21 2020-12-01 The University Of Akron Imaging and display system for guiding medical interventions
WO2016140989A1 (en) * 2015-03-01 2016-09-09 ARIS MD, Inc. Reality-augmented morphological procedure
CN109416841B (zh) * 2016-07-11 2023-03-31 台湾骨王生技股份有限公司 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引
US10898272B2 (en) * 2017-08-08 2021-01-26 Biosense Webster (Israel) Ltd. Visualizing navigation of a medical device in a patient organ using a dummy device and a physical 3D model
CN107374729B (zh) * 2017-08-21 2021-02-23 刘洋 基于ar技术的手术导航系统及方法
CN109674533B (zh) * 2017-10-18 2022-07-05 刘洋 基于便携式彩超设备的手术导航系统及方法
TWI679960B (zh) * 2018-02-01 2019-12-21 台灣骨王生技股份有限公司 手術器械引導系統
EP3810018A1 (en) * 2018-06-19 2021-04-28 Tornier, Inc. Multi-user collaboration and workflow techniques for orthopedic surgical procedures using mixed reality
CN109512512A (zh) * 2019-01-14 2019-03-26 常州锦瑟医疗信息科技有限公司 基于点云匹配的神经外科术中增强现实定位的方法和装置
CN109674532A (zh) * 2019-01-25 2019-04-26 上海交通大学医学院附属第九人民医院 基于mr的手术导航系统及其设备、方法和存储介质
CN110037808A (zh) * 2019-05-14 2019-07-23 苏州大学 基于结构光扫描的术中肝脏表面信息实时采集方法及系统

Also Published As

Publication number Publication date
TWI741536B (zh) 2021-10-01
US20210290336A1 (en) 2021-09-23
CN111568548A (zh) 2020-08-25
CN111568548B (zh) 2021-10-15

Similar Documents

Publication Publication Date Title
TWI741536B (zh) 基於混合實境的手術導航影像成像方法
McJunkin et al. Development of a mixed reality platform for lateral skull base anatomy
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
US20170357397A1 (en) Virtual object display device, method, program, and system
US9990744B2 (en) Image registration device, image registration method, and image registration program
JP6336929B2 (ja) 仮想オブジェクト表示装置、方法、プログラムおよびシステム
CN106687046B (zh) 用于定位进行医学成像的患者的引导系统
Suenaga et al. Real-time in situ three-dimensional integral videography and surgical navigation using augmented reality: a pilot study
Deng et al. Easy-to-use augmented reality neuronavigation using a wireless tablet PC
CN102892018B (zh) 图像处理系统、装置、方法以及医用图像诊断装置
Liu et al. A wearable augmented reality navigation system for surgical telementoring based on Microsoft HoloLens
US20210059760A1 (en) Digital image reality aligning kit and method applied to mixed reality system for surgical navigation
US20230114385A1 (en) Mri-based augmented reality assisted real-time surgery simulation and navigation
JP2016170641A (ja) 仮想オブジェクト表示システムおよびその表示制御方法並びに表示制御プログラム
TWI741196B (zh) 整合擴增實境之手術導航方法及系統
JP2023526716A (ja) 外科手術ナビゲーションシステムおよびそのアプリケーション
Benmahdjoub et al. Multimodal markers for technology-independent integration of augmented reality devices and surgical navigation systems
Han et al. An accurate 3D augmented reality navigation system with enhanced autostereoscopic display for oral and maxillofacial surgery
JP6461024B2 (ja) 画像位置合せ装置、方法およびプログラム
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统
Jiang et al. User's image perception improved strategy and application of augmented reality systems in smart medical care: A review
JP6392192B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム
TWI697317B (zh) 應用於與手術導航整合之混合實境系統之數位影像實境對位套件與方法
JP6392190B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム
CN107773311A (zh) 一种基于投影设备的手术定位系统