TWI741196B - 整合擴增實境之手術導航方法及系統 - Google Patents

整合擴增實境之手術導航方法及系統 Download PDF

Info

Publication number
TWI741196B
TWI741196B TW107121828A TW107121828A TWI741196B TW I741196 B TWI741196 B TW I741196B TW 107121828 A TW107121828 A TW 107121828A TW 107121828 A TW107121828 A TW 107121828A TW I741196 B TWI741196 B TW I741196B
Authority
TW
Taiwan
Prior art keywords
display device
mobile display
relative coordinate
coordinate
dimensional image
Prior art date
Application number
TW107121828A
Other languages
English (en)
Other versions
TW202000143A (zh
Inventor
邱錫彥
劉浩澧
廖振淵
陳品元
魏國珍
Original Assignee
華宇藥品股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 華宇藥品股份有限公司 filed Critical 華宇藥品股份有限公司
Priority to TW107121828A priority Critical patent/TWI741196B/zh
Priority to CN201811535103.2A priority patent/CN110638525B/zh
Priority to US16/375,654 priority patent/US20190388177A1/en
Publication of TW202000143A publication Critical patent/TW202000143A/zh
Application granted granted Critical
Publication of TWI741196B publication Critical patent/TWI741196B/zh

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/066—Superposing sensor position on an image of the patient, e.g. obtained by ultrasound or x-ray imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/06—Devices, other than using radiation, for detecting or locating foreign bodies ; determining position of probes within or on the body of the patient
    • A61B5/065—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe
    • A61B5/067—Determining position of the probe employing exclusively positioning means located on or in the probe, e.g. using position sensors arranged on the probe using accelerometers or gyroscopes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A61B2034/107—Visualisation of planned trajectories or target regions
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2048—Tracking techniques using an accelerometer or inertia sensor
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/25—User interfaces for surgical systems
    • A61B2034/254—User interfaces for surgical systems being adapted depending on the stage of the surgical procedure
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Robotics (AREA)
  • Gynecology & Obstetrics (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一種整合擴增實境之手術導航方法，包括從一資料來源端預先下載與一手術目標相關的複數三維影像圖片資訊至一行動顯示裝置，並由一光學定位系統即時取得該行動顯示裝置及該手術目標的一空間座標資訊，且該行動顯示裝置獲得根據該等空間座標資訊而產生的該行動顯示裝置相對於該手術目標的一第一相對座標，並根據該第一相對座標，從該等三維影像圖片資訊中計算出所對應的一張三維影像圖片，且根據該第一相對座標，將該三維影像圖片與該手術目標相疊合顯示。

Description

整合擴增實境之手術導航方法及系統
本發明是有關於一種手術導航方法，特別是指一種整合擴增實境之手術導航方法。
在面對精細的腦神經構造，狹小的手術空間及有限的解剖資訊時，減少腦部手術對患者的傷害一直是腦神經外科醫師的目標，為此，將手術導航系統應用在外科腦部手術中已行之有年。手術導航系統能讓外科手術醫師更精準和更安全地找到病灶的位置，提供外科手術醫師人體結構相對方位的資訊，且可做為測量結構距離的工具，幫助手術中的判斷，因此在外科手術中扮演極重要的角色。
此外，在進行精細的腦部外科手術時，手術導航系統需要將術前影像資料，例如電腦斷層掃描影像、核磁共振影像等與手術時病患頭部進行準確的對位，以使影像與病患頭部準確疊合，而此對位的準確度將會影響手術精準的程度。
因此，本發明之目的，即在提供一種整合擴增實境之手 術導航方法，其能使影像資料與相關之手術目標準確對位並疊合顯示。
於是，本發明一種整合擴增實境之手術導航方法，包括下列步驟：(A)從一資訊來源端預先下載與一手術目標相關的複數三維影像圖片資訊至一行動顯示裝置；(B)由一光學定位系統即時取得該行動顯示裝置及該手術目標的一空間座標資訊；(C)該行動顯示裝置獲得根據該等空間座標資訊而產生的該行動顯示裝置相對於該手術目標的一第一相對座標；及(D)該行動顯示裝置根據該第一相對座標，從該等三維影像圖片資訊中計算出與該第一相對座標對應的一張三維影像圖片，且根據該第一相對座標，將該三維影像圖片與該手術目標相疊合顯示。
在本發明的一些實施態樣中，在步驟(B)中，該光學定位系統直接或透過與其以有線方式連接的一伺服器提供該等空間座標資訊給該行動顯示裝置，且在步驟(C)中，該行動顯示裝置根據該等空間座標資訊即時計算該第一相對座標。
在本發明的一些實施態樣中，在步驟(B)中，該光學定位系統提供該等空間座標資訊給與其以有線方式連接的一伺服器，該伺服器根據該等空間座標資訊即時計算該第一相對座標，並將該第一相對座標傳送給該行動顯示裝置。
在本發明的一些實施態樣中，在步驟(A)中，還從該資 訊來源端預先下載與該手術目標相關的複數二維影像圖片資訊至該行動顯示裝置；在步驟(B)中，該光學定位系統還即時取得一手術器械的一空間座標資訊；在步驟(C)中，該行動顯示裝置還獲得根據該手術目標及該手術器械的該空間座標資訊而產生的該手術器械相對於該手術目標的一第二相對座標；且在步驟(D)中，該行動顯示裝置還根據該第二相對座標，從該等二維影像圖片資訊中獲得與該第二相對座標對應的至少一張二維影像圖片，且根據該第一相對座標及該第二相對座標，將該至少一張二維影像圖片與該手術目標相疊合顯示。且在步驟(B)中，該光學定位系統直接或透過與其以有線方式連接的一伺服器提供該手術器械的該空間座標資訊給該行動顯示裝置，且在步驟(C)中，該行動顯示裝置根據該手術器械的該空間座標資訊即時計算該第二相對座標；或者，在步驟(B)中，該光學定位系統提供該手術器械的該空間座標資訊給與其以有線方式連接的一伺服器，該伺服器根據該手術器械的該空間座標資訊即時計算該第二相對座標，並將該第二相對座標傳送給該行動顯示裝置。
在本發明的一些實施態樣中，接續前段，在步驟(D)中，該行動顯示裝置根據該等二維影像圖片資訊事先計算出所有可能顯示的二維影像圖片，再根據該第二相對座標，從該等二維影像圖片中取出與該第二相對座標對應的該至少一張二維影像圖片；或 者，在步驟(D)中，該行動顯示裝置根據該第二相對座標及該等二維影像圖片資訊，即時計算出與該第二相對座標對應的該至少一張二維影像圖片。
在本發明的一些實施態樣中，在步驟(D)中，該行動顯示裝置還將與該第一相對座標對應的該三維影像圖片傳送至另一電子裝置以顯示在另一顯示器；或者該行動顯示裝置還將該手術目標與該三維影像圖片相疊合的一疊合影像上傳至該另一電子裝置以顯示在該另一顯示器，其中該另一電子裝置是外接該另一顯示器的一伺服器、外接該另一顯示器的一電腦或者該另一顯示器。
在本發明的一些實施態樣中，接續第0008段，在步驟(D)中，該行動顯示裝置還將與該第一相對座標對應的該三維影像圖片及/或該至少一張二維影像圖片傳送至另一電子裝置以顯示在另一顯示器，使該另一顯示器顯示該三維影像圖片及/或該至少一張二維影像圖片；或者該行動顯示裝置還將該手術目標與該三維影像圖片及/或該至少一張二維影像圖片相疊合的一疊合影像傳送至該另一電子裝置以顯示在該另一顯示器，其中該另一電子裝置是外接該另一顯示器的一伺服器、外接該另一顯示器的一電腦或者該另一顯示器。
在本發明的一些實施態樣中，接續第0008段，在步驟(A)中，該等三維影像圖片資訊及/或該等二維影像圖片資訊還包含 與該手術目標相關的一開刀入點資訊及一開刀計畫方案資訊；且在步驟(D)中，與該手術目標相疊合的該三維影像圖片及/或該至少一張二維影像圖片還呈現該開刀入點資訊及該開刀計畫方案資訊。
在本發明的一些實施態樣中，該行動顯示裝置還設有一非光學定位系統，且在步驟(B)中，當該行動顯示裝置在一預設時間內未獲得根據該等空間座標資訊而產生的該第一相對座標時，該行動顯示裝置執行下列步驟：步驟(E)令該非光學定位系統即時取得該手術目標的該空間座標資訊，該行動顯示裝置並根據該非光學定位系統取得的該手術目標的該空間座標資訊，即時計算出該行動顯示裝置相對於該手術目標的一第三相對座標；步驟(F)該行動顯示裝置根據該第三相對座標，從該等三維影像圖片資訊中計算出與該第三相對座標對應的一張三維影像圖片，且根據該第三相對座標，將該三維影像圖片與該手術目標相疊合顯示；及重覆上述步驟(E)、(F)。
在本發明的一些實施態樣中，接續前段，在步驟(A)中，還從該資訊來源端預先下載與該手術目標相關的複數二維影像圖片資訊至該行動顯示裝置；在步驟(E)中，該非光學定位系統還即時取得該手術器械的一空間座標資訊，該行動顯示裝置並根據該非光學定位系統取得的該手術目標及該手術器械的該等空間座標資訊，即時計算出該手術器械相對於該手術目標的一第四相對座標， 且在步驟(F)中，該行動顯示裝置還根據該第四相對座標，從該等二維影像圖片資訊中獲得與該第四相對座標對應的至少一張二維影像圖片，且根據該第三相對座標及該第四相對座標，將該至少一張二維影像圖片與該手術目標相疊合顯示。
在本發明的一些實施態樣中，接續第0013段，該步驟(E)還包括下列子步驟：步驟(E1)令該非光學定位系統中的一影像定位系統即時取得該手術目標的該空間座標資訊，該行動顯示裝置並根據該影像定位系統取得的該手術目標的該空間座標資訊，即時計算出該行動顯示裝置相對於該手術目標的一第一參考相對座標；步驟(E2)令該非光學定位系統中的一陀螺儀定位系統即時取得該手術目標的該空間座標資訊，該行動顯示裝置並根據該陀螺儀定位系統取得的該手術目標的該空間座標資訊，即時計算出該行動顯示裝置相對於該手術目標的一第二參考相對座標；及步驟(E3)該行動顯示裝置判斷該第一參考相對座標與該第二參考相對座標的一誤差超過一第一臨界值時，採用該第一參考相對座標做為一第三相對座標，否則採用該第二參考相對座標做為該第三相對座標。
在本發明的一些實施態樣中，接續前段，在步驟(A)中，還從該資訊來源端預先下載與該手術目標相關的複數二維影像圖片資訊至該行動顯示裝置；在步驟(E1)中，該影像定位系統還即時取得該手術器械的一空間座標資訊，該行動顯示裝置並根據該影像 定位系統取得的該手術目標及該手術器械的該等空間座標資訊，即時計算出該手術器械相對於該手術目標的一第三參考相對座標；在步驟(E2)中，該陀螺儀定位系統還即時取得該手術器械的該空間座標資訊，該行動顯示裝置並根據該陀螺儀定位系統取得的該手術目標及該手術器械的該等空間座標資訊，即時計算出該手術器械相對於該手術目標的一第四參考相對座標；在步驟(E3)中，該行動顯示裝置判斷該第三參考相對座標與該第四參考相對座標的一誤差超過一第二臨界值時，採用該第三參考座標做為一第四相對座標，否則採用該第四參考座標做為該第四相對座標；且在步驟(F)中，該行動顯示裝置還根據該第四相對座標，從該等二維影像圖片資訊中獲得與該第四相對座標對應的至少一張二維影像圖片，且根據該第三相對座標及該第四相對座標，將該至少一張二維影像圖片與該手術目標相疊合顯示。
在本發明的一些實施態樣中，該行動顯示裝置還設有一非光學定位系統，且在步驟(B)中，該非光學定位系統中的一影像定位系統或一陀螺儀定位系統即時取得該手術目標的該空間座標資訊；在步驟(C)中，該行動顯示裝置還根據該非光學定位系統取得的該手術目標的該空間座標資訊，即時計算出該行動顯示裝置相對於該手術目標的一第五參考座標；在步驟(D)中，該行動顯示裝置判斷該第五參考座標與該第一相對座標的一誤差超過一第三 臨界值時，採用該第一相對座標，否則採用該第五參考座標做為一第五相對座標，並根據該第一相對座標或該第五相對座標，從該等三維影像圖片資訊中計算出該第一相對座標或該第五相對座標對應的一張三維影像圖片，且根據該第一相對座標或該第五相對座標，將該三維影像圖片與該手術目標相疊合顯示。
在本發明的一些實施態樣中，接續前段，在步驟(B)中，該非光學定位系統中的該影像定位系統或該陀螺儀定位系統還即時取得該手術器械的一空間座標資訊，在步驟(C)中，該行動顯示裝置還根據該非光學定位系統取得的該手術器械的該空間座標資訊，即時計算出該行動顯示裝置相對於該手術器械的一第六參考座標；在步驟(D)中，該行動顯示裝置判斷該第六參考座標與該第二相對座標的一誤差超過一第四臨界值時，採用該第二相對座標，否則採用該第六參考座標做為一第六相對座標，並根據該第二相對座標或該第六相對座標，從該等二維影像圖片資訊中獲得與該第二相對座標或該第六相對座標對應的至少一張二維影像圖片，且根據該第一相對座標或該第五相對座標與該第二相對座標或該第六相對座標，將該至少一張二維影像圖片與該手術目標相疊合顯示。
再者，本發明實現上述方法的一種整合擴增實境之手術導航系統，包括一行動顯示裝置及一光學定位系統，並藉由該行動顯示裝置及該光學定位系統執行如上所述的整合擴增實境之手 術導航方法。
在本發明的一些實施態樣中，接續前段，該行動顯示裝置還設有一非光學定位系統，並藉由該行動顯示裝置、該光學定位系統及該非光學定位系統執行如上所述的整合擴增實境之手術導航方法。
本發明之功效在於：藉由該光學定位系統取得該行動顯示裝置、該手術目標及該手術器械的該等空間座標資訊，可以提高定位的精準度，且該行動顯示裝置根據該光學定位系統提供的該等空間座標資訊獲得的該第一相對座標及第二相對座標，從該等三維影像圖片資訊及該等二維影像圖片資訊中進一步獲得對應的三維影像圖片及二維影像圖片並將之疊合在手術目標上顯示，能將定位準確度保持或提升到醫學用之光學定位等級，而有助於提高手術精準的程度；且當該光學定位系統不能提供空間座標資訊時，該行動顯示裝置可根據設於其上的非光學定位系統提供的關於該手術目標及該手術器械的該等空間座標資訊，獲得對應的三維影像圖片及二維影像圖片並疊合在手術目標上顯示，以使手術導航之影像資訊不致中斷。再者，該行動顯示裝置也可適時地切換應用該光學定位系統或該非光學定位系統提供的該等空間座標資訊，以改善顯示影像抖動的問題。
S1~S5:步驟
S41~S44:步驟
S421~S425:步驟
S51~S56:步驟
100、100’:整合擴增實境之手術導航系統
1:伺服器
2:行動顯示裝置
3:光學定位系統
4:手術目標
5:手術器械
6:顯示器
7:非光學定位系統
71:影像定位系統
72:陀螺儀定位系統
30:定位範圍
P1、P1’:三維影像圖片
S1、S2:畫面
本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地顯示，其中：圖1是本發明整合擴增實境之手術導航方法的第一實施例的主要流程圖；圖2是本發明整合擴增實境之手術導航系統的第一實施例主要包含的電子裝置示意圖；圖3是本發明整合擴增實境之手術導航系統的第二實施例主要包含的電子裝置示意圖；圖4是本發明整合擴增實境之手術導航方法的第二實施例的主要流程圖；圖5主要顯示圖4的步驟S42包含子步驟S421~S425；及圖6是本發明整合擴增實境之手術導航方法的第三實施例的主要流程圖。
在本發明被詳細描述之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
參閱圖1，是本發明整合擴增實境之手術導航方法的第一實施例的主要流程圖，且本實施例是由圖2所示的一整合擴增實境之手術導航系統100(以下簡稱手術導航系統100)實現，該手術導航系統100應用在外科手術，例如腦部外科手術(但不以 此為限)，且該手術導航系統100主要包括透過無線網路通訊(或短距離無線通訊，但並不排除也可以透過有線網路通訊)的一伺服器1、一供外科手術醫師或相關人員配載的行動顯示裝置2，以及一光學定位系統3。其中該行動顯示裝置2可以是擴增實境(AR)眼鏡、擴增實境(AR)頭戴裝置(AR headset)、智慧型手機或平板電腦等可隨身攜帶或隨身穿戴的電子裝置，該光學定位系統3可採用NDI Polaris Vicra optical tracking systems、NDI Polaris Spectra optical tracking systems,ART tracking systems,ClaroNav MicronTracker等等，但不以此為限。
首先，如圖1的步驟S1所示，本實施例在進行手術前，會從一資訊來源端，例如該伺服器1或其他電子裝置預先下載與一手術目標4，即病患的頭部(或腦部)相關的複數三維影像圖片資訊至該行動顯示裝置2的一資料庫(圖未示)中。該等三維影像圖片資訊是來自於DICOM(Digital Imaging and Communications in Medicine(醫療數位影像傳輸協定))資料，該DICOM資料是該手術目標4經由電腦斷層掃描(CT)、磁振造影(MRI)、超音波影像(Ultrasound imaging)等取得的三維或二維切面重組三維之醫學影像資料(其中亦可能包含腫瘤位置資訊)，因此該DICOM資料可同時或分別包含血管、神經、骨頭等資訊。該資訊來源端將該DICOM資料轉換(例如藉由 Amira等軟體)成obj、stl等三維立體格式影像資料，即上述的該等三維影像圖片資訊。
然後，如圖1的步驟S2，在手術過程中，該光學定位系統3會即時取得該行動顯示裝置2及該手術目標4的一空間座標資訊，並如圖1的步驟S3，使該行動顯示裝置2獲得根據該等空間座標資訊而產生的該行動顯示裝置2相對於該手術目標4的一第一相對座標並；具體而言，該行動顯示裝置2獲得該第一相對座標的方式至少有兩種，其中一種是該光學定位系統3直接或透過與其以有線方式連接的該伺服器1提供該等空間座標資訊給該行動顯示裝置2，並由該行動顯示裝置2根據該等空間座標資訊即時計算該第一相對座標RC1；其中另一種是該光學定位系統3提供該等空間座標資訊給與其以有線方式連接的該伺服器1，由該伺服器1根據該等空間座標資訊即時計算該第一相對座標RC1，並將該第一相對座標RC1傳送給該行動顯示裝置2。
接著，如圖1的步驟S4所示，該行動顯示裝置2根據該第一相對座標RC1，從該等三維影像圖片資訊中計算取出與該第一相對座標RC1對應的一張三維影像圖片P1，且該三維影像圖片P1的成像過程主要為根據該第一相對座標RC1計算出以目前該行動顯示裝置2的視角應該看到的三維影像樣貌，此成像方式目前可以由Unity軟體來達成。然後，該行動顯示裝置2根 據該第一相對座標RC1，將該三維影像圖片P1與該手術目標4相疊合顯示。由於該疊合的方法已是虛擬實境領域的習知技術，故於此不予詳述。值得一提的是，本實施例的光學導航系統提供的空間座標資訊精確度高(約為0.35毫米(mm))，而一般虛擬實境應用的導航系統由於不要求高精確，故其精確度大約只有0.5米(m)，所以本實施例中的該三維影像圖片P1與該手術目標4能夠被非常精確地疊合在一起。因此，外科手術醫師或相關人員將可透過該行動顯示裝置2看到該三維影像圖片P1與該手術目標4相疊合後的畫面S1。
且在步驟S4中，該行動顯示裝置2還將與該第一相對座標RC1對應的該三維影像圖片P1傳送至另一電子裝置以顯示在另一顯示器6；或者該行動顯示裝置2還將該手術目標4與該三維影像圖片P1相疊合的一疊合影像(即畫面S1的影像)上傳至該另一電子裝置以顯示在該另一顯示器6。其中該另一電子裝置可以是外接該另一顯示器6的該伺服器1、外接該另一顯示器6的另一台電腦(圖未示)，或者該另一電子裝置即為該另一顯示器6本身，此時該行動顯示裝置2可利用無線影像傳輸器，例如MiraScreen等技術將影像直接傳送給該另一顯示器6。
此外，在步驟S1中，本實施例還可從該資訊來源端，例如該伺服器1或其他電子裝置預先下載與該手術目標4相 關的複數二維影像圖片資訊(例如病患頭部(或腦部)的多個剖面圖)至該行動顯示裝置2，且該等二維影像圖片資訊是該資訊來源端將上述的DICOM資料利用例如dcm2nii等NIfTI格式的轉換器軟體(DICOM to NIfTI converter)轉換成二維圖片格式資料(如jpg,nifti)。並且在步驟S2中，該光學定位系統3還即時取得外科手術醫師或相關人員操作的一手術器械5的一空間座標資訊，且在步驟S3中，該行動顯示裝置2還獲得根據該手術目標4及該手術器械5的該空間座標資訊而產生的該手術器械5相對於該手術目標4的一第二相對座標RC2。
且如同上述，該行動顯示裝置2獲得該第二相對座標的方式至少有兩種，其中一種是該光學定位系統3直接或透過該伺服器1提供該手術目標4及該手術器械5的該空間座標資訊給該行動顯示裝置2，並由該行動顯示裝置2根據該手術目標4及該手術器械5的該空間座標資訊即時計算該第二相對座標RC2；其中另一種是該光學定位系統3提供該手術目標4及該手術器械5的該空間座標資訊給該伺服器1，由該伺服器1根據該手術目標4及該手術器械5的該空間座標資訊即時計算該第二相對座標RC2，並將該第二相對座標RC2傳送給該行動顯示裝置2。
然後，在步驟S4中，該行動顯示裝置2還根據該第二相對座標RC2，從該等二維影像圖片資訊中獲得與該第二相對 座標RC2對應的至少一張二維影像圖片，且根據該第一相對座標RC1及該第二相對座標RC2將該至少一張二維影像圖片與該手術目標4相疊合顯示。其中，獲得該至少一張二維影像圖片的方法至少有兩種，其中一種是該行動顯示裝置2事先根據該等二維影像圖片資訊計算出所有可能顯示的二維影像圖片，再根據該第二相對座標RC2，從該等二維影像圖片中取出與該第二相對座標RC2對應的該至少一張二維影像圖片；其中另一種是該行動顯示裝置2根據該第二相對座標RC2及該等二維影像圖片資訊，即時計算出與該第二相對座標RC2對應的該至少一張二維影像圖片。此外，由於該疊合的方法已是虛擬實境領域的習知技術，故於此不予詳述。
因此，外科手術醫師或相關人員透過該行動顯示裝置2除了能看到該三維影像圖片P1與該手術目標4相疊合後的畫面S1，還可看到該手術器械5所到之處，例如該手術器械5伸入該手術目標4內部時的手術目標內部剖面圖，亦即該行動顯示裝置2可以被選擇顯示該三維影像圖片P1與該手術目標4相疊合後的畫面S1、顯示該至少一張二維影像圖片與該手術目標4相疊合後的畫面，或者顯示該三維影像圖片P1及該至少一張二維影像圖片同時與該手術目標4相疊合後的畫面而且藉由該光學定位系統3提供精準的該行動顯示裝置2、該手術目標4及該手術器械5的 空間座標資訊，使該行動顯示裝置2能獲得準確的該第一相對座標RC1及該第二相對座標RC2，而據以使獲得的二維影像及三維影像能與該手術目標4(即病患頭部)準確疊合而提升對位的準確度，而有助於外科手術醫師提高手術精準的程度。
值得一提的是，本實施例的該等三維影像圖片資訊及/或該等二維影像圖片資訊中還可包含與該手術目標4相關的一開刀入點資訊及一開刀計畫方案資訊，例如開刀路徑資訊等；因此，在步驟S4中，與該手術目標4相疊合的該三維影像圖片P1及/或該至少一張二維影像圖片中還會呈現該開刀入點資訊及該開刀計畫方案資訊。
而且，在步驟S4之後，如圖1的步驟S5所示，該行動顯示裝置2在尚未收到一導航結束的指令之前，將回到步驟S2並重覆步驟S2~S4，不斷地根據該光學定位系統3提供的該等空間座標資訊即時獲得該第一相對座標RC1及第二相對座標RC2，並根據最新的該第一相對座標RC1及第二相對座標RC2，從該等三維影像圖片資訊及該等二維影像圖片資訊中獲得相對應的該三維影像圖片及該至少一二維影像圖片，並將之即時與該手術目標4相疊合而顯示虛擬實境影像，藉此，讓行動顯示裝置2能隨著外科手術醫師或相關人員眼睛注視的位置例如該行動顯示裝置2移動的距離及角度即時調整所顯示的虛擬影像(即三維影像圖片與二維影像圖片)進行 手術導航，讓外科手術醫師或相關人員能透過該行動顯示裝置2即時看到當下與該手術目標4相疊合的虛擬實境影像，並即時地提供外科手術醫師或相關人員有關於該手術目標4內部組識的資訊，而有助於手術中的決策及判斷。
另外，在步驟S4中，該行動顯示裝置2還可即時地將與該第一相對座標RC1對應的該三維影像圖片P1及/或與該第二相對座標RC2對應的該至少一張二維影像圖片傳送至另一電子裝置以顯示在另一顯示器6，使該另一顯示器6顯示該三維影像圖片及/或該至少一張二維影像圖片；或者該行動顯示裝置2還即時地將該手術目標4與該三維影像圖片P1及/或該至少一張二維影像圖片相疊合的一疊合影像(例如藉由設置在該頭戴式顯示裝置2上的一攝影鏡頭拍攝該手術目標4並將之與該三維影像圖片P1及/或該至少一張二維影像圖片相疊合)傳送至該另一電子裝置以顯示在該另一顯示器6。其中該另一電子裝置可以是外接該另一顯示器6的該伺服器1、外接該另一顯示器6的另一電腦，或者該另一電子裝置就是該另一顯示器6，且該行動顯示裝置2可利用如上所述的無線影像傳輸器將影像直接傳送給該另一顯示器6。藉此，外科手術醫師或相關人員以外的其他人即可以透過該另一顯示器6看到手術過程中的虛擬實境影像。
再者，於實際應用上，該光學定位系統3有定位範圍受 限及突然壞掉或缺乏等問題，因此，如圖3所示，當該行動顯示裝置2不在該光學定位系統3的定位範圍30內，或者發生該光學定位系統3突然壞掉或缺乏的情況時，該光學定位系統3就無法取得該行動顯示裝置2的空間座標資訊。所以，為了解決上述問題，如圖3所示，本發明的第二實施例是在手術導航系統100’的該行動顯示裝置2上還設置一非光學定位系統7，且如圖4所示，該第二實施例在原步驟S2和原步驟S3之間新增一步驟S41，在該步驟S41中，該行動顯示裝置2判斷在一預設時間內是否已獲得根據該等空間座標資訊而產生的該第一相對座標，若是，則接著執行原步驟S3、S4，否則，該行動顯示裝置2則執行步驟S42，令該非光學定位系統7即時取得該手術目標4的該空間座標資訊，該行動顯示裝置2並根據該非光學定位系統7取得的該手術目標4的該空間座標資訊，即時計算出該行動顯示裝置2相對於該手術目標4的一第三相對座標RC3。其中該非光學定位系統7可以是一影像定位系統71或一陀螺儀定位系統72或是兩者的組合。
接著，如圖4的步驟S43，該行動顯示裝置2根據該第三相對座標RC3，從該等三維影像圖片資訊中計算出與該第三相對座標RC3對應的一張三維影像圖片P1’，且根據該第三相對座標RC3，將該三維影像圖片P1’與該手術目標4相疊合顯示。在步驟S43之後，如圖4的步驟S44所示，該行動顯示裝置2在尚未收到一導航結 束指令之前，將回到步驟S41，並判斷在該預設時間內仍未獲得根據該等空間座標資訊而產生的該第一相對座標RC1時，重覆上述步驟S42~S43。藉此，當該行動顯示裝置2不在該光學定位系統3的定位範圍內，或者發生該光學定位系統3突然壞掉或缺乏的情況時，外科手術醫師或相關人員仍可透過該行動顯示裝置2看到該三維影像圖片P1’與該手術目標4相疊合後的畫面S2。
且在本實施例中，該行動顯示裝置2於步驟S42中即時計算該第三相對座標RC3的一種方式是應用該非光學定位系統7包含的該影像定位系統71及該陀螺儀定位系統72，該影像定位系統71可以是例如應用Vuforia擴增實境平台所開發的影像定位系統，該陀螺儀定位系統72可以是例如應用該行動顯示裝置2內部之陀螺儀定位系統或外加之陀螺儀定位系統。且如圖5所示，步驟S42中還包含子步驟S421~S425，在步驟S421中，該行動顯示裝置2令該非光學定位系統7的該影像定位系統71即時取得該手術目標4的該空間座標資訊，該行動顯示裝置2並根據該影像定位系統7取得的該手術目標4的該空間座標資訊，即時計算出該行動顯示裝置2相對於該手術目標4的一第一參考相對座標RF1。
接著，該行動顯示裝置2執行圖5的步驟S422，令該非光學定位系統7的該陀螺儀定位系統72即時取得該手術目標4的該空間座標資訊，該行動顯示裝置2並根據該陀螺儀定位系統72取得 的該手術目標4的該空間座標資訊，即時計算出該行動顯示裝置2相對於該手術目標4的一第二參考相對座標RF2；且由於該陀螺儀定位系統72取得空間座標資訊的速度比該影像定位系統71快，所以，除非第二參考相對座標RF2與第一參考相對座標RF1之間的誤差太大，否則會優先採用第二參考相對座標RF2。
因此，如圖5的步驟S423，該行動顯示裝置2判斷該第一參考相對座標RF1與該第二參考相對座標RF2的一誤差是否超過一第一臨界值，若是，如圖5的步驟S424，採用該第一參考相對座標RF1做為一第三相對座標RC3，否則，如圖5的步驟S425，採用該第二參考座標RF2做為該第三相對座標RC3。
此外，在本實施例的步驟S42中，該非光學定位系統7還可即時取得該手術器械5的一空間座標資訊，該行動顯示裝置2並根據該非光學定位系統7取得的該手術目標4及該手術器械5的該等空間座標資訊，即時計算出該手術器械5相對於該手術目標4的一第四相對座標RC4，且在步驟S43中，該行動顯示裝置2還根據該第四相對座標RC4，以如上第0031段所述方式，從該等二維影像圖片資訊中獲得與該第四相對座標RC4對應的至少一張二維影像圖片，且根據該第三相對座標RC3及該第四相對座標RC4，將該至少一張二維影像圖片與該手術目標4相疊合顯示。
而且，在步驟S43之後，如圖4的步驟S44所示，該行動 顯示裝置2在尚未收到一導航結束指令之前，將回到步驟S41，並判斷在該預設時間內仍未獲得根據該等空間座標資訊而產生的該第一相對座標時，重覆步驟S42~S43，以不斷地根據最新計算出來的該第三相對座標RC3及第四相對座標RC4，從該等三維影像圖片資訊及該等二維影像圖片資訊中獲得相對應的該三維影像圖片及該至少一二維影像圖片，並將之即時與該手術目標4相疊合而顯示虛擬實境影像。藉此，讓行動顯示裝置2能隨著外科手術醫師或相關人員眼睛注視的位置，例如該行動顯示裝置2移動的距離及角度即時調整所顯示的虛擬影像(即三維影像圖片與二維影像圖片)進行手術導航，以即時地提供外科手術醫師或相關人員有關於該手術目標4內部組識的資訊，而有助於手術中的決策及判斷。
且在本實施例中，該行動顯示裝置2於步驟S42中即時計算該第四相對座標RC4的一種方式是應用該非光學定位系統7包含的該影像定位系統71及該陀螺儀定位系統72。亦即在圖5的步驟S421中，該行動顯示裝置2還令該影像定位系統71即時取得該手術器械5的一空間座標資訊，且該行動顯示裝置2還根據該影像定位系統71取得的該手術目標4及該手術器械5的該空間座標資訊，即時計算出該手術器械5相對於該手術目標4的一第三參考相對座標RF3；且在在圖5的步驟S422中，該陀螺儀定位系統72還即時取得該手術器械5的該空間座標資訊，該行動顯示裝置2還根據該陀螺儀 定位系統72取得的該手術目標4及該手術器械5的該等空間座標資訊，即時計算出該手術器械5相對於該手術目標4的一第四參考相對座標RF4。然後，在圖5的步驟S423中，該行動顯示裝置2會判斷該第三參考相對座標RF3與該第四參考相對座標RF4的一誤差是否超過一第二臨界值，若是，在圖5的步驟S424中，該行動顯示裝置2採用該第三參考相對座標RF3做為一第四相對座標RC4，否則在圖5的步驟S425中，該行動顯示裝置2採用該第四參考相對座標RF4做為該第四相對座標RC4。
再者，由於該光學定位系統3取得空間座標資訊後，需經過有線傳輸方式將空間座標資訊送給該伺服器1，再由該伺服器1將空間座標資訊(或已計算出的相對座標)經由有線或無線網路傳輸到該行動顯示裝置2，當傳輸時間延遲過久，可能導致該光學定位系統3在彼時(第一時間點)取得的該手術目標4的座標已與此時(第二時間點)該手術目標4的座標產生相當的差距，以致該行動顯示裝置2根據彼時座標產生的三維影像圖片及/或二維影像圖片無法與該手術目標4完美疊合而產生影像抖動問題。而設置在該行動顯示裝置2上的該非光學定位系統7產生的空間座標資訊是立即傳給該行動顯示裝置2，不會產生傳輸過程導致的時間延遲，因此不易產生影像抖動問題。
因此，如圖6所示，是本發明整合擴增實境之手術導航 方法的第三實施例的主要流程圖，其主要藉由適時切換使用該光學定位系統3或該非光學定位系統7來解決上述影像抖動問題。且如圖6所示，其中步驟S1~S3及S5與第一實施例相同。在本實施例中，在該光學定位系統3執行步驟S2以即時取得該行動顯示裝置2及該手術目標4的該空間座標資訊的同時，該非光學定位系統7亦執行步驟S51，由該非光學定位系統7中的該影像定位系統71或該陀螺儀定位系統72即時取得該手術目標4的該空間座標資訊。然後，與步驟S3同時，在步驟S52中，該行動顯示裝置2還根據該非光學定位系統7取得的該手術目標4的該空間座標資訊，即時計算出該行動顯示裝置2相對於該手術目標4的一第五參考相對座標RF5。
接著，在步驟S53中，該行動顯示裝置2判斷該第五參考座標RF5與步驟S3中產生的該第一相對座標RC1的一誤差是否超過一第三臨界值，若是，如圖6的步驟S54，該行動顯示裝置2採用該第一相對座標RC1，否則，如圖6的步驟S55，該行動顯示裝置2採用該第五參考座標RF5做為一第五相對座標RC5。然後，在圖6的步驟S56中，該行動顯示裝置2根據該第一相對座標RC1或該第五相對座標RC5，從該等三維影像圖片資訊中計算出與該第一相對座標RC1或該第五相對座標RC5對應的一張三維影像圖片，且根據該第一相對座標RC1或該第五相對座標RC5，將該三維影像圖片與該手術目標5相疊合顯示。
此外，在上述步驟S51中，該非光學定位系統7中的該影像定位系統71或該陀螺儀定位系統72還即時取得該手術器械5的該空間座標資訊，且在上述步驟S52中，該行動顯示裝置2還根據該非光學定位系統7取得的該手術器械5的該空間座標資訊，即時計算出該行動顯示裝置2相對於該手術器械5的一第六參考相對座標RF6。並且在上述步驟S53中，該行動顯示裝置2判斷該第六參考相對座標RF6與步驟S3中產生的該第二相對座標RC2的一誤差是否超過一第四臨界值，若是，則在步驟S54中，採用該第二相對座標RC2，否則，在步驟S55中，採用該第六參考相對座標RF6做為一第六相對座標RC6。然後，在上述步驟S56中，該行動顯示裝置2根據該第二相對座標RC2或該第六相對座標RC6，從該等二維影像圖片資訊中獲得與該第二相對座標RC2或該第六相對座標RC6對應的至少一張二維影像圖片，且根據該第一相對座標RC1或該第五相對座標RC5與該第二相對座標RC2或該第六相對座標RC6(即第一相對座標RC1與該第二相對座標RC2、第一相對座標RC1與該第六相對座標RC6、該第五相對座標RC5與該第二相對座標RC2、該第五相對座標RC5與該第六相對座標RC6這四種組合其中之一)，將該至少一張二維影像圖片與該手術目標4相疊合顯示。藉此，使三維影像圖片及/或二維影像圖片能儘可能地與該手術目標4完美疊合而最大限度地改善影像抖動的問題。
綜上所述，上述實施例藉由該光學定位系統3取得該行動顯示裝置2、該手術目標4及該手術器械5的該等空間座標資訊，可以提高定位的精準度，且該行動顯示裝置2根據該光學定位系統3提供的該等空間座標資訊獲得的該第一相對座標RC1及第二相對座標RC2，從該等三維影像圖片資訊及該等二維影像圖片資訊中進一步獲得對應的三維影像圖片及二維影像圖片並將之疊合在該手術目標4上顯示，能將定位準確度保持或提升到醫學用之光學定位等級，而有助於提高手術精準的程度；此外，當該行動顯示裝置2不在該光學定位系統3的定位範圍7內或該光學定位系統3突然壞掉或缺乏時，該行動顯示裝置2可根據設於其上的該非光學定位系統7提供的關於該手術目標4及該手術器械5的該等空間座標資訊，獲得對應的三維影像圖片及二維影像圖片疊合在該手術目標4上顯示，以使手術導航之影像資訊不致中斷。再者，該行動顯示裝置2也可適時地切換應用該光學定位系統3或該非光學定位系統7提供的該等空間座標資訊，以改善顯示影像抖動的問題，確實達到本發明之功效與目的。
惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。
S1~S5‧‧‧步驟

Claims (19)

  1. 一種整合擴增實境之手術導航方法，包括下列步驟： (A)從一資訊來源端預先下載與一手術目標相關的複數三維影像圖片資訊至一行動顯示裝置； (B)由一光學定位系統即時取得該行動顯示裝置及該手術目標的一空間座標資訊； (C)該行動顯示裝置獲得根據該等空間座標資訊而產生的該行動顯示裝置相對於該手術目標的一第一相對座標；及 (D)該行動顯示裝置根據該第一相對座標，從該等三維影像圖片資訊中計算出與該第一相對座標對應的一張三維影像圖片，且根據該第一相對座標，將該三維影像圖片與該手術目標相疊合顯示。
  2. 如請求項1所述的整合擴增實境之手術導航方法，在步驟(B)中，該光學定位系統直接或透過與其以有線方式連接的一伺服器提供該等空間座標資訊給該行動顯示裝置，且在步驟(C)中，該行動顯示裝置根據該等空間座標資訊即時計算該第一相對座標。
  3. 如請求項1所述的整合擴增實境之手術導航方法，在步驟(B)中，該光學定位系統提供該等空間座標資訊給與其以有線方式連接的一伺服器，該伺服器根據該等空間座標資訊即時計算該第一相對座標，並將該第一相對座標傳送給該行動顯示裝置。
  4. 如請求項1所述的整合擴增實境之手術導航方法，在步驟(A)中，還從該資訊來源端預先下載與該手術目標相關的複數二維影像圖片資訊至該行動顯示裝置；在步驟(B)中，該光學定位系統還即時取得一手術器械的一空間座標資訊；在步驟(C)中，該行動顯示裝置還獲得根據該手術目標及該手術器械的該空間座標資訊而產生的該手術器械相對於該手術目標的一第二相對座標；且在步驟(D)中，該行動顯示裝置還根據該第二相對座標，從該等二維影像圖片資訊中獲得與該第二相對座標對應的至少一張二維影像圖片，且根據該第一相對座標及該第二相對座標，將該至少一張二維影像圖片與該手術目標相疊合顯示。
  5. 如請求項4所述的整合擴增實境之手術導航方法，在步驟(B)中，該光學定位系統直接或透過與其以有線方式連接的一伺服器提供該手術器械的該空間座標資訊給該行動顯示裝置，且在步驟(C)中，該行動顯示裝置根據該手術器械的該空間座標資訊即時計算該第二相對座標。
  6. 如請求項4所述的整合擴增實境之手術導航方法，在步驟(B)中，該光學定位系統提供該手術器械的該空間座標資訊給與其以有線方式連接的一伺服器，該伺服器根據該手術器械的該空間座標資訊即時計算該第二相對座標，並將該第二相對座標傳送給該行動顯示裝置。
  7. 如請求項4所述的整合擴增實境之手術導航方法，在步驟(D)中，該行動顯示裝置根據該等二維影像圖片資訊事先計算出所有可能顯示的二維影像圖片，再根據該第二相對座標，從該等二維影像圖片中取出與該第二相對座標對應的該至少一張二維影像圖片。
  8. 如請求項4所述的整合擴增實境之手術導航方法，在步驟(D)中，該行動顯示裝置根據該第二相對座標及該等二維影像圖片資訊，即時計算出與該第二相對座標對應的該至少一張二維影像圖片。
  9. 如請求項1所述的整合擴增實境之手術導航方法，在步驟(D)中，該行動顯示裝置還將與該第一相對座標對應的該三維影像圖片傳送至另一電子裝置以顯示在另一顯示器；或者該行動顯示裝置還將該手術目標與該三維影像圖片相疊合的一疊合影像上傳至該另一電子裝置以顯示在該另一顯示器，其中該另一電子裝置是外接該另一顯示器的一伺服器、外接該另一顯示器的一電腦或者該另一顯示器。
  10. 如請求項4所述的整合擴增實境之手術導航方法，在步驟(D)中，該行動顯示裝置還將與該第一相對座標對應的該三維影像圖片及/或該至少一張二維影像圖片傳送至另一電子裝置以顯示在另一顯示器，使該另一顯示器顯示該三維影像圖片及/或該至少一張二維影像圖片；或者該行動顯示裝置還將該手術目標與該三維影像圖片及/或該至少一張二維影像圖片相疊合的一疊合影像傳送至該另一電子裝置以顯示在該另一顯示器，其中該另一電子裝置是外接該另一顯示器的一伺服器、外接該另一顯示器的一電腦或者該另一顯示器。
  11. 如請求項4所述的整合擴增實境之手術導航方法，在步驟(A)中，該等三維影像圖片資訊及/或該等二維影像圖片資訊還包含與該手術目標相關的一開刀入點資訊及一開刀計畫方案資訊；且在步驟(D)中，與該手術目標相疊合的該三維影像圖片及/或該至少一張二維影像圖片還呈現該開刀入點資訊及該開刀計畫方案資訊。
  12. 如請求項1所述的整合擴增實境之手術導航方法，其中該行動顯示裝置還設有一非光學定位系統，且在步驟(B)中，當該行動顯示裝置在一預設時間內未獲得根據該等空間座標資訊而產生的該第一相對座標時，該行動顯示裝置執行下列步驟： 步驟(E)令該非光學定位系統即時取得該手術目標的該空間座標資訊，該行動顯示裝置並根據該非光學定位系統取得的該手術目標的該空間座標資訊，即時計算出該行動顯示裝置相對於該手術目標的一第三相對座標； 步驟(F)該行動顯示裝置根據該第三相對座標，從該等三維影像圖片資訊中計算出與該第三相對座標對應的一張三維影像圖片，且根據該第三相對座標，將該三維影像圖片與該手術目標相疊合顯示；及 重覆上述步驟(E)、(F)。
  13. 如請求項12所述的整合擴增實境之手術導航方法，在步驟(A)中，還從該資訊來源端預先下載與該手術目標相關的複數二維影像圖片資訊至該行動顯示裝置；在步驟(E)中，該非光學定位系統還即時取得該手術器械的一空間座標資訊，該行動顯示裝置並根據該非光學定位系統取得的該手術目標及該手術器械的該等空間座標資訊，即時計算出該手術器械相對於該手術目標的一第四相對座標，且在步驟(F)中，該行動顯示裝置還根據該第四相對座標，從該等二維影像圖片資訊中獲得與該第四相對座標對應的至少一張二維影像圖片，且根據該第三相對座標及該第四相對座標，將該至少一張二維影像圖片與該手術目標相疊合顯示。
  14. 如請求項12所述的整合擴增實境之手術導航方法，其中步驟(E)還包括下列子步驟： 步驟(E1)令該非光學定位系統中的一影像定位系統即時取得該手術目標的該空間座標資訊，該行動顯示裝置並根據該影像定位系統取得的該手術目標的該空間座標資訊，即時計算出該行動顯示裝置相對於該手術目標的一第一參考相對座標； 步驟(E2) 令該非光學定位系統中的一陀螺儀定位系統即時取得該手術目標的該空間座標資訊，該行動顯示裝置並根據該陀螺儀定位系統取得的該手術目標的該空間座標資訊，即時計算出該行動顯示裝置相對於該手術目標的一第二參考相對座標；及 步驟(E3)該行動顯示裝置判斷該第一參考相對座標與該第二參考相對座標的一誤差超過一第一臨界值時，採用該第一參考相對座標做為一第三相對座標，否則採用該第二參考相對座標做為該第三相對座標。
  15. 如請求項14所述的整合擴增實境之手術導航方法，在步驟(A)中，還從該資訊來源端預先下載與該手術目標相關的複數二維影像圖片資訊至該行動顯示裝置；在步驟(E1)中，該影像定位系統還即時取得該手術器械的一空間座標資訊，該行動顯示裝置並根據該影像定位系統取得的該手術目標及該手術器械的該等空間座標資訊，即時計算出該手術器械相對於該手術目標的一第三參考相對座標；在步驟(E2)中，該陀螺儀定位系統還即時取得該手術器械的該空間座標資訊，該行動顯示裝置並根據該陀螺儀定位系統取得的該手術目標及該手術器械的該等空間座標資訊，即時計算出該手術器械相對於該手術目標的一第四參考相對座標；在步驟(E3)中，該行動顯示裝置判斷該第三參考相對座標與該第四參考相對座標的一誤差超過一第二臨界值時，採用該第三參考座標做為一第四相對座標，否則採用該第四參考座標做為該第四相對座標；且在步驟(F)中，該行動顯示裝置還根據該第四相對座標，從該等二維影像圖片資訊中獲得與該第四相對座標對應的至少一張二維影像圖片，且根據該第三相對座標及該第四相對座標，將該至少一張二維影像圖片與該手術目標相疊合顯示。
  16. 如請求項1所述的整合擴增實境之手術導航方法，其中該行動顯示裝置還設有一非光學定位系統，且在步驟(B)中，該非光學定位系統中的一影像定位系統或一陀螺儀定位系統即時取得該手術目標的該空間座標資訊；在步驟(C)中，該行動顯示裝置還根據該非光學定位系統取得的該手術目標的該空間座標資訊，即時計算出該行動顯示裝置相對於該手術目標的一第五參考座標；在步驟(D)中，該行動顯示裝置判斷該第五參考座標與該第一相對座標的一誤差超過一第三臨界值時，採用該第一相對座標，否則採用該第五參考座標做為一第五相對座標，並根據該第一相對座標或該第五相對座標，從該等三維影像圖片資訊中計算出該第一相對座標或該第五相對座標對應的一張三維影像圖片，且根據該第一相對座標或該第五相對座標，將該三維影像圖片與該手術目標相疊合顯示。
  17. 如請求項16所述的整合擴增實境之手術導航方法，在步驟(B)中，該非光學定位系統中的該影像定位系統或該陀螺儀定位系統還即時取得該手術器械的一空間座標資訊，在步驟(C)中，該行動顯示裝置還根據該非光學定位系統取得的該手術器械的該空間座標資訊，即時計算出該行動顯示裝置相對於該手術器械的一第六參考座標；在步驟(D)中，該行動顯示裝置判斷該第六參考座標與該第二相對座標的一誤差超過一第四臨界值時，採用該第二相對座標，否則採用該第六參考座標做為一第六相對座標，並根據該第二相對座標或該第六相對座標，從該等二維影像圖片資訊中獲得與該第二相對座標或該第六相對座標對應的至少一張二維影像圖片，且根據該第一相對座標或該第五相對座標與該第二相對座標或該第六相對座標，將該至少一張二維影像圖片與該手術目標相疊合顯示。
  18. 一種整合擴增實境之手術導航系統，包括一行動顯示裝置及一光學定位系統，並藉由該行動顯示裝置及該光學定位系統執行如請求項1至11其中任一項所述的整合擴增實境之手術導航方法。
  19. 如請求項18所述的整合擴增實境之手術導航系統，其中該行動顯示裝置還設有一非光學定位系統，並藉由該行動顯示裝置、該光學定位系統及該非光學定位系統執行如請求項12至17其中任一項所述的整合擴增實境之手術導航方法。
TW107121828A 2018-06-26 2018-06-26 整合擴增實境之手術導航方法及系統 TWI741196B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107121828A TWI741196B (zh) 2018-06-26 2018-06-26 整合擴增實境之手術導航方法及系統
CN201811535103.2A CN110638525B (zh) 2018-06-26 2018-12-14 整合扩增实境的手术导航系统
US16/375,654 US20190388177A1 (en) 2018-06-26 2019-04-04 Surgical navigation method and system using augmented reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107121828A TWI741196B (zh) 2018-06-26 2018-06-26 整合擴增實境之手術導航方法及系統

Publications (2)

Publication Number Publication Date
TW202000143A TW202000143A (zh) 2020-01-01
TWI741196B true TWI741196B (zh) 2021-10-01

Family

ID=68980444

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107121828A TWI741196B (zh) 2018-06-26 2018-06-26 整合擴增實境之手術導航方法及系統

Country Status (3)

Country Link
US (1) US20190388177A1 (zh)
CN (1) CN110638525B (zh)
TW (1) TWI741196B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI727725B (zh) * 2020-03-27 2021-05-11 台灣骨王生技股份有限公司 手術導航系統及其成像方法
TWI790447B (zh) 2020-06-10 2023-01-21 長庚大學 手術路徑定位方法、資訊顯示裝置、電腦可讀取的記錄媒體及特殊應用積體電路晶片
CN114882976A (zh) 2021-02-05 2022-08-09 中强光电股份有限公司 医疗用影像辅助系统及医疗用影像辅助方法
WO2023283573A1 (en) * 2021-07-06 2023-01-12 Health Data Works, Inc. Dialysis tracking system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI574223B (zh) * 2015-10-26 2017-03-11 行政院原子能委員會核能研究所 運用擴增實境技術之導航系統
CN107374729A (zh) * 2017-08-21 2017-11-24 上海霖晏医疗科技有限公司 基于ar技术的手术导航系统及方法
CN107536643A (zh) * 2017-08-18 2018-01-05 北京航空航天大学 一种前交叉韧带重建的增强现实手术导航系统

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2006095027A1 (en) * 2005-03-11 2006-09-14 Bracco Imaging S.P.A. Methods and apparati for surgical navigation and visualization with microscope
CN102266250B (zh) * 2011-07-19 2013-11-13 中国科学院深圳先进技术研究院 超声手术导航系统
EP3361979A4 (en) * 2015-10-14 2019-06-26 Surgical Theater LLC SURGICAL NAVIGATION WITH EXTENDED REALITY
US10646289B2 (en) * 2015-12-29 2020-05-12 Koninklijke Philips N.V. System, controller and method using virtual reality device for robotic surgery
CN114903591A (zh) * 2016-03-21 2022-08-16 华盛顿大学 3d医学图像的虚拟现实或增强现实可视化
CN106296805B (zh) * 2016-06-06 2019-02-26 厦门铭微科技有限公司 一种基于实时反馈的增强现实人体定位导航方法及装置
AU2018262533B2 (en) * 2017-05-05 2024-01-18 Stryker European Operations Limited Surgical navigation system
CN107088091A (zh) * 2017-06-08 2017-08-25 广州技特电子科技有限公司 一种辅助骨科手术的手术导航系统及导航方法
CN107510504A (zh) * 2017-06-23 2017-12-26 中南大学湘雅三医院 一种辅助骨科手术的非放射线透视视觉导航方法及系统

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI574223B (zh) * 2015-10-26 2017-03-11 行政院原子能委員會核能研究所 運用擴增實境技術之導航系統
CN107536643A (zh) * 2017-08-18 2018-01-05 北京航空航天大学 一种前交叉韧带重建的增强现实手术导航系统
CN107374729A (zh) * 2017-08-21 2017-11-24 上海霖晏医疗科技有限公司 基于ar技术的手术导航系统及方法

Also Published As

Publication number Publication date
TW202000143A (zh) 2020-01-01
CN110638525A (zh) 2020-01-03
US20190388177A1 (en) 2019-12-26
CN110638525B (zh) 2021-12-21

Similar Documents

Publication Publication Date Title
US11310480B2 (en) Systems and methods for determining three dimensional measurements in telemedicine application
TWI741196B (zh) 整合擴增實境之手術導航方法及系統
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
CN106296805B (zh) 一种基于实时反馈的增强现实人体定位导航方法及装置
US10070929B2 (en) Surgical operation support system, surgical operation support apparatus, surgical operation support method, surgical operation support program, and information processing apparatus
US9375133B2 (en) Endoscopic observation support system
CN103211655B (zh) 一种骨科手术导航系统及导航方法
TWI741536B (zh) 基於混合實境的手術導航影像成像方法
AU2020275280B2 (en) Bone wall tracking and guidance for orthopedic implant placement
CN103519895A (zh) 一种骨科手术辅助导引方法
US11737832B2 (en) Viewing system for use in a surgical environment
Hu et al. Head-mounted augmented reality platform for markerless orthopaedic navigation
US20230114385A1 (en) Mri-based augmented reality assisted real-time surgery simulation and navigation
JP2017164075A (ja) 画像位置合せ装置、方法およびプログラム
TWI697317B (zh) 應用於與手術導航整合之混合實境系統之數位影像實境對位套件與方法
CN111658142A (zh) 一种基于mr的病灶全息导航方法及系统
JP6392192B2 (ja) 画像位置合せ装置、画像位置合せ装置の作動方法およびプログラム
Harders et al. Multimodal augmented reality in medicine
TWM484404U (zh) 成像投影系統設備應用
TWI790447B (zh) 手術路徑定位方法、資訊顯示裝置、電腦可讀取的記錄媒體及特殊應用積體電路晶片
WO2018222181A1 (en) Systems and methods for determining three dimensional measurements in telemedicine application
JP2022526540A (ja) 整形外科的固定制御及び可視化
WO2023039596A1 (en) Integrated surgical navigation and visualization system, and methods thereof
Falcão Surgical Navigation using an Optical See-Through Head Mounted Display
WO2022072835A1 (en) Auto-navigating digital surgical microscope