TWI727725B - 手術導航系統及其成像方法 - Google Patents

手術導航系統及其成像方法 Download PDF

Info

Publication number
TWI727725B
TWI727725B TW109110389A TW109110389A TWI727725B TW I727725 B TWI727725 B TW I727725B TW 109110389 A TW109110389 A TW 109110389A TW 109110389 A TW109110389 A TW 109110389A TW I727725 B TWI727725 B TW I727725B
Authority
TW
Taiwan
Prior art keywords
image
lens group
main
target
auxiliary
Prior art date
Application number
TW109110389A
Other languages
English (en)
Other versions
TW202135737A (zh
Inventor
王民良
Original Assignee
台灣骨王生技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 台灣骨王生技股份有限公司 filed Critical 台灣骨王生技股份有限公司
Priority to TW109110389A priority Critical patent/TWI727725B/zh
Priority to CN202010422466.6A priority patent/CN111821024B/zh
Priority to US17/212,007 priority patent/US20210298835A1/en
Application granted granted Critical
Publication of TWI727725B publication Critical patent/TWI727725B/zh
Publication of TW202135737A publication Critical patent/TW202135737A/zh
Priority to US18/145,482 priority patent/US20230126207A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0176—Head mounted characterised by mechanical features
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S5/00—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations
    • G01S5/16—Position-fixing by co-ordinating two or more direction or position line determinations; Position-fixing by co-ordinating two or more distance determinations using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B27/0172—Head mounted characterised by optical features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/143—Sensing or illuminating at different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/147—Details of sensors, e.g. sensor lenses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B17/00—Surgical instruments, devices or methods, e.g. tourniquets
    • A61B2017/00477—Coupling
    • A61B2017/00486—Adaptors for coupling parts with incompatible geometries
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2065—Tracking using image or pattern recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2072—Reference field transducer attached to an instrument or patient
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/371—Surgical systems with images on a monitor during operation with simultaneous use of two cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/372—Details of monitor hardware
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/39—Markers, e.g. radio-opaque or breast lesions markers
    • A61B2090/3983—Reference marker arrangements for use with image guided surgery
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/502—Headgear, e.g. helmet, spectacles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B2090/5025—Supports for surgical instruments, e.g. articulated arms with a counter-balancing mechanism
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/50—Supports for surgical instruments, e.g. articulated arms
    • A61B90/57—Accessory clamps
    • A61B2090/571—Accessory clamps for clamping a support arm to a bed or other supports
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/034—Recognition of patterns in medical or anatomical images of medical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Signal Processing (AREA)
  • Robotics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Gynecology & Obstetrics (AREA)
  • Vascular Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Processing (AREA)

Abstract

一種手術導航系統，包含一主追蹤單元、一輔助追蹤單元及一處理單元。該主追蹤單元包括一拍攝一第一影像的主紅外線鏡頭組。該輔助追蹤單元包括一拍攝一第二影像的輔助紅外線鏡頭組。該處理單元用於接收並辨識該第一影像與該第二影像，且使該第一影像與該第二影像的其中一者與該病理影像結合而形成一擴增實境影像。透過設置該輔助紅外線鏡頭組，使得在該主紅外線鏡頭受遮蔽時，該處理單元仍可以透過該第二影像形成該擴增實境影像，而能減少該主紅外線鏡頭組受遮蔽後無法顯示導航影像的窘境，藉此，達到提升手術導航之穩定性的功效。

Description

手術導航系統及其成像方法
本發明是有關於一種手術導航系統，特別是指一種具有輔助追蹤單元的手術導航系統及其成像方法。
當進行例如骨科、腦科等外科手術時，受限於切口較小及病徵較深的情況，往往無法清楚得知是否於精準的位置進行手術。
如圖1所示，習知的一種手術導航系統1，適用於結合一病理影像(圖未示)，輔助一醫療人員10操作一手術器具101對一患者102的一患部103進行手術，並包含一設置在該患者102之該患部103附近的初始標靶11、一設置在該手術器具101的器械標靶12、一光學追蹤單元13，及一螢幕14。該初始標靶11恆位於該病理資料的固定位置，該光學追蹤單元13用於朝該患部103攝影，並根據該器械標靶12與該初始標靶11的相對位置，計算出該器械標靶12於該光學追蹤單元13之成像座標系位置，並輸出一具有該手術器具101與該患者103的該病理影像的擴增實境(Augmented Reality，簡稱AR)影像至該螢幕14輸出。藉此，能使該醫療人員10了解該手術器具101於該患者102體內的位置，以及相對該患部103的距離與方向，而能達到輔助手術的功效。
惟，當該醫療人員10或一助手在移動時，遮蔽到該光學追蹤系統13的鏡頭，而拍攝不到該初始標靶11與該器械標靶12的其中任一個時，將導致該光學追蹤系統13無法計算出該手術器具101的位置，而不能顯示該擴增實境影像，就無法達到輔助手術的功效。
因此，本發明之第一目的，即在提供一種提升手術導航之穩定性及提升手術方便性的手術導航系統。
於是，本發明手術導航系統適用於搭配一已知的病理影像與一定位識別單元，輔助一醫療人員操作一手術器具對一患者的一皮下患部進行手術，該定位識別單元包括一設置於該患者的初始標靶，及一設置於該手術器具的器械標靶。該手術導航系統包含一主追蹤單元、一輔助追蹤單元，及一處理單元。
該主追蹤單元包括一主載具、一用於顯示一擴增實境影像的主顯示器，及一設置在該主載具的主紅外線鏡頭組。該主紅外線鏡頭組用於朝該定位識別單元拍攝一第一影像。
該輔助追蹤單元包括一輔助載具、一設置在該輔助載具的輔助紅外線鏡頭組，及一用於顯示一混合實境影像的顯示鏡片組。該輔助紅外線鏡頭組用於朝該定位識別單元拍攝一第二影像。
該處理單元信號連接該主顯示器、該主紅外線鏡頭組與該輔助紅外線鏡頭組，用於接收該第一影像與該第二影像並進行影像辨識，該處理單元根據影像辨識結果使該第一影像與該第二影像的其中一者與該病理影像結合而形成該擴增實境影像後輸出至該主顯示器。
因此，本發明之第二目的，即在提供一種提升手術導航之穩定性及提升手術方便性的手術導航系統。
於是，本發明手術導航系統，適用於搭配一已知的病理影像，輔助一醫療人員操作一手術器具對一患者的一皮下患部進行手術，並包含一定位識別單元、一主追蹤單元、一輔助追蹤單元，及一處理單元。
該定位識別單元包括一設置於該患者的初始標靶，及一設置於該手術器具的器械標靶。
該主追蹤單元包括一主載具、一用於顯示一擴增實境影像的主顯示器，及一設置在該主載具的主紅外線鏡頭組。該主紅外線鏡頭組用於朝該定位識別單元拍攝一第一影像。
該輔助追蹤單元包括一輔助載具、一設置在該輔助載具的輔助紅外線鏡頭組，及一用於顯示一混合實境影像的顯示鏡片組。該輔助紅外線鏡頭組用於朝該定位識別單元拍攝一第二影像。
該處理單元信號連接該主顯示器、該主紅外線鏡頭組與該輔助紅外線鏡頭組，用於接收該第一影像與該第二影像並進行影像辨識，該處理單元根據影像辨識結果使該第一影像與該第二影像的其中一者與該病理影像結合而形成該擴增實境影像後輸出至該主顯示器。
因此，本發明之第三目的，即在提供一種提升手術導航之穩定性及提升手術方便性的手術導航成像方法。
於是，本發明手術導航成像方法，適用於運用於如前所述的手術導航系統，該手術導航成像方法包含以下步驟(A)~步驟(E)。
步驟(A)製備一如前所述的手術導航系統。
步驟(B) 該主紅外線鏡頭組拍攝該第一影像，該輔助紅外線鏡頭組拍攝該第二影像。
步驟(C) 該處理單元識別該第一影像與該第二影像是否具有該初始標靶與該器械標靶。
步驟(D) 於步驟(C)中，該處理單元識別該第一影像與該第二影像其中之一具有該初始標靶與該器械標靶時，該處理單元使該第一影像與該第二影像的其中該一者與該病理影像結合而形成該擴增實境影像。
步驟(E) 該處理單元輸出該擴增實境影像至該主顯示器進行顯示。
本發明之功效在於：透過設置該輔助追蹤單元的輔助紅外線鏡頭組可以朝該皮下患部額外拍攝該第二影像，使得在該主追蹤系統的主紅外線鏡頭拍不到該初始標靶與該器械標靶任一者時，也就是該第一影像不具有該初始標靶與該器械標靶任一者時，該處理單元仍可以將該第二影像與該病理影像結合而形成該擴增實境影像後輸出至該主顯示器，而能減少該主紅外線鏡頭組受遮蔽後無法顯示導航影像的窘境，藉此，達到提升手術導航之穩定性的功效。
參閱圖2與圖3，本發明手術導航系統的實施例，適用於搭配一已知的病理影像與一定位識別單元2，輔助一醫療人員6操作一手術器具7對一患者8的一皮下患部81進行手術。該病理影像可以但不限於是電腦斷層(Computed Tomography, CT)或磁共振成像(Magnetic Resonance Imaging, MRI)的醫療數位影像傳輸協定(Digital Imaging and Communications in Medicine, DICOM)格式的影像。
該手術導航系統包含一定位識別單元2、一主追蹤單元3、一輔助追蹤單元4，及一處理單元5。
該定位識別單元2包括一設置於該患者8的初始標靶21，及一設置於該手術器具7的器械標靶22。
參閱圖2、圖3、圖4與圖5，該初始標靶21具有一沿一第一軸線L1延伸且適用於可拆卸的固定於該患者8的夾持部211、一連接該夾持部211且呈X型的初始標誌部212，及四連接該初始標誌部212且共平面的初始定位球213。該等初始定位球213所位在的平面P1不平行於該第一軸線L1。
值得說明的是，該初始標靶21的初始定位球213之設置與該初始標誌部212的形狀不以前述為限，在本實施例的其他變化態樣中，該等初始定位球213也可以共平面，且該平面P1也可以平行於該第一軸線L1，只要知道該等初始定位球213彼此間的相對位置，就可以達成本實施例的功效。
該器械標靶22具有一適用於安裝於該沿一第二軸線L2延伸的手術器械的連接部221、一呈Y型且連接該連接部221的器械標誌部222，及四連接該器械標誌部222且的器械定位球223。該等器械定位球223共平面，且所位在的平面P2不平行於該第二軸線L2。
值得說明的是，該器械標靶22的器械定位球223之設置與該器械標誌部222的形狀不以前述為限，在本實施例的其他變化態樣中，該等器械定位球223也可以共平面，且該平面P2也可以平行於該第二軸線L2，只要知道該等器械定位球213彼此間的相對位置，就可以達成本實施例的功效。此外，該器械標靶22的數量也不以一個為限，也能是兩個以上的數量，並不以此為限。
進一步說明的是，在本實施例中，該等初始定位球213與該等器械定位球223為紅外線反光材質，藉此，能被後述之紅外線鏡頭所偵測。
參閱圖2，該主追蹤單元3包括一主載具31、一設置在該主載具31且用於顯示一擴增實境影像(Augmented Reality，簡稱AR，圖未示)的主顯示器32，及一設置在該主載具31的主紅外線鏡頭組33。該主紅外線鏡頭組33用於朝該定位識別單元2拍攝一第一影像(圖未示)。
該主載具31具有一可固定地移動的底座311、一設置於該底座311上的置放架312，及一連接該置放架312且供該主紅外線鏡頭組33設置的平衡臂313。
該主顯示器32具有一用於顯示該病理影像的病理影像區321、一用於顯示該擴增實境影像的擴增實境區322，及一用於顯示該混合實境影像的混合實境區323。
值得注意的是，在本實施例的其他變化態樣中，該主顯示器32也可以獨立於該主載具31分開設置。
值得說明的是，該病理影像區321、該擴增實境區322與該混合實境區323為主顯示器32中的三個區域，使用者可以根據自身需求任意拖曳、開啟或關閉、放大縮小其中任一個區域，而使前述區域能有不同的顯示組合，如:並列顯示或全螢幕顯示某一影像。
在本實施例中，該主紅外線鏡頭組33具有二相間隔的主紅外線鏡頭331。
參閱圖2與圖5，該輔助追蹤單元4包括一輔助載具41，及設置在該輔助載具41的一輔助紅外線鏡頭組42、一可見光鏡頭組43，及一用於顯示一混合實境影像(Mixed Reality，簡稱MR，圖未示)的顯示鏡片組44。
該輔助紅外線鏡頭組42用於朝該定位識別單元2拍攝一第二影像(圖未示)。
該可見光鏡頭組43用於朝該定位識別單元2拍攝一實際影像(圖未示)。
該輔助紅外線鏡頭組42具有二相間隔的輔助紅外線鏡頭421，該可見光鏡頭組43具有二位於該等輔助紅外線鏡頭421間且相間隔的可見光鏡頭431。
在本實施例中，該輔助載具41是頭戴式裝置，該輔助紅外線鏡頭組42與該可見光鏡頭組43適用於設置於該醫療人員6的雙眼上方，該顯示鏡片組44位於該可見光鏡頭組43下，且適用於設置在該醫療人員6的雙眼前方。
參閱圖2與圖7，該處理單元5信號連接該主顯示器32、該主紅外線鏡頭組33、該輔助紅外線鏡頭組42、該可見光鏡頭組43與該顯示鏡片組44，並用於接收該第一影像與該第二影像並進行影像辨識。
值得說明的是，本發明所指的信號連接，可以是有線連接(如:對應不同訊號源的訊號線)或是無線連接(如：藍芽、無線網路等無線通訊技術)。
該處理單元5根據影像辨識結果使該第一影像與該第二影像的其中一者與該病理影像結合而形成該擴增實境影像後輸出至該主顯示器32的擴增實境區322進行顯示。
該處理單元5還可根據前述的影像辨識結果將該第二影像與該實際影像結合形成該混合實境影像後輸出至該顯示鏡片組44與該主顯示器32的混合實境區323顯示。
在本實施例中，該處理單元5具有一設置在該置放架312且信號連接該主顯示器32與該主紅外線鏡頭組33的主處理器51，及一信號連接該主處理器51、該輔助紅外線鏡頭組42、該可見光鏡頭組43及該顯示鏡片組44且適用於供該醫療人員6攜帶的副處理器52。
在本實施例中，該副處理器52主要用於接收該第二影像、該實際影像並傳至該主處理器51進行影像辨識，並對該混合實境影像進行影像處理以供該顯示鏡片組44顯示。在本實施例的其他變化態樣中，該處理單元5也可以僅具有該主處理器51，該輔助紅外線鏡頭組42、該可見光鏡頭組43及該顯示鏡片組44直接信號連接該主處理器51。
參閱圖2、圖8與圖9，本發明的手術導航成像方法，運用於前述的手術導航系統，並包含以下步驟:
步驟901：製備該手術導航系統。
進一步說明的是，於該步驟901之前，該醫療人員6可以利用一術前規劃系統將該初始標靶21定位於該病理影像之中，形成一世界座標系S0。其詳細之方法非本發明之技術特徵，且通常知識者可以根據前述內容推之其他細節，因此在此不再贅述。
步驟902：該主紅外線鏡頭組33拍攝該第一影像，該輔助紅外線鏡頭組42拍攝該第二影像。
步驟903：該處理單元5識別該第一影像與該第二影像是否具有該初始標靶21與該器械標靶22。
步驟904：於該步驟中903中，該處理單元5識別該第一影像與該第二影像其中之一具有該初始標靶21與該器械標靶22時，該處理單元5使該第一影像與該第二影像的其中該一者與該病理影像結合而形成該擴增實境影像。
於該步驟904中，詳細來說，該處理單元5運算該第一影像與該第二影像的其中該一者所具有之該初始標靶21與該器械標靶22的空間座標，並根據該初始標靶21與該器械標靶22之空間座標將該初始標靶21與該器械標靶22與該病理影像結合而形成該擴增實境影像。
參閱圖2、圖6與圖8，進一步說明的是，該初始標靶21界定出一世界座標系S0，該主紅外線鏡頭組33所拍攝之該第一影像成像於一第一成像座標系S1，該輔助紅外線鏡頭組42所拍攝之該第二影像成像於一第二成像座標系S2，於執行前述步驟前，該處理單元5會先進行一校正步驟，以計算出該主紅外線鏡頭組33的內、外矩陣與該輔助紅外線鏡頭組42的內、外矩陣，藉此，使該第一成像座標系S1與該世界座標系S0或該第二成像座標系S2與該世界座標系S0間可以透過前述的矩陣進行座標轉換，以使該處理單元5能透過其中該器械標靶22與該初始標靶21的相對位置ΔX，計算出該器械標靶22於該世界座標系S0的位置，而使該器械標靶22能與該病理影像結合而形成該擴增實境影像。上述有關鏡頭之內、外矩陣與座標轉換的細節由於本領域中具有通常知識者根據以上說明可以推知擴充細節，因此不多加說明。
步驟905：該處理單元5輸出該擴增實境影像至該主顯示器32進行顯示。
參閱圖2、圖6與圖9，此外，本發明的手術導航成像方法，還能輸出該混合實境影像至該顯示鏡片組44，並包含以下步驟：
步驟901：製備該手術導航系統。
步驟902：該主紅外線鏡頭組33拍攝該第一影像，該輔助紅外線鏡頭組42拍攝該第二影像，該可見光鏡頭組43拍攝該實際影像。
步驟903：該處理單元5識別該第一影像與該第二影像是否具有該初始標靶21與該器械標靶22。
步驟906：於該步驟903中，若該處理單元5辨識該第二影像具有該初始標靶21、或該器械標靶22、或該初始標靶21與該器械標靶22，則該處理單元5運算該第二影像所具有之該初始標靶21、或該器械標靶22、或該初始標靶21與該器械標靶22之空間座標，並根據運算之空間座標將該初始標靶21、或該器械標靶22、或該初始標靶21與該器械標靶22與該實際影像結合形成該混合實境影像。
簡言之，若該處理單元5辨識該第二影像具有該初始標靶21或該器械標靶22，則將該初始標靶21或該器械標靶22與該實際影像結合形成該混合實境影像，如該處理單元55辨識該第二影像同時具有該初始標靶21與該器械標靶22，則將該初始標靶21與該器械標靶22與該實際影像結合形成該混合實境影像。
於該步驟906中，詳細來說，該處理單元5運算該第一影像與該第二影像的其中該一者所具有之該初始標靶21與該器械標靶22的空間座標，並根據該初始標靶21與該器械標靶22之空間座標將該初始標靶21與該器械標靶22與該病理影像結合而形成該擴增實境影像。
進一步說明的是，該可見光鏡頭組43所拍攝之該實際影像成像於一第三成像座標系S3，該顯示鏡片組44顯示該混合實境影像於一第四成像座標系S4，由於該輔助紅外線鏡頭組42、該可見光鏡頭組43，與該顯示鏡片組44之間的相對位置是固定不變，於執行前述步驟前，會先進行一校正步驟，以計算出該可見光鏡頭組43的內、外矩陣，及該第二成像坐標系S2、該第三成像座標系S3與該第四成像座標系S4的座標轉換關係，以使該處理單元5能透過該器械標靶22與該初始標靶21的相對位置ΔX，計算出該器械標靶22於該世界座標系S0的位置，以及該器械標靶22於顯示在該顯示鏡片組44的位置，而使該器械標靶22能與該實際影像結合而形成該混合實境影像。此外，由於該處理單元5已存有該第三成像座標系S3與該第四座標系S4的座標轉換關係，因此，只要該可見光鏡頭組43拍到該初始標靶21或該器械標靶22任一者時，該處理單元5就能將該初始標靶21或該器械標靶22的該者於第三成像座系S3的座標透過前述的座標轉換關係轉換至該第四成像座標系S4，也就是說，該處理單元5不需要該器械標靶22與該初始標靶21的相對位置ΔX，也能將該器械標靶22與該實際影像結合形成該混合實境影像，但該混合實境影像中不具有該初始標靶21。只要上述有關鏡頭之內、外矩陣與座標系轉換的細節由於本領域中具有通常知識者根據以上說明可以推知擴充細節，因此不多加說明。
步驟907：該處理單元5根據辨識結果將該第二影像與該實際影像結合形成該混合實境影像後輸出至該顯示鏡片組44與該主顯示器32進行顯示。
進一步說明的是，於該步驟907中，該混合實境影像也可以僅輸出至該顯示鏡片組44進行顯示。
值得注意的是，本發明的手術導航成像方法實際上包含該步驟901~該步驟907，其中，該步驟904~905與該步驟906~907的步驟順序可以任意，只要該處理單元5以對該第一影像與該第二影像進行影像辨識，就可以執行後續之擴增實境影像顯示步驟(步驟904~905)，或是混合實境影像顯示步驟(步驟906~907)。此外，為了方便理解，以下將該處理單元5的辨識結果與擴增實境影像及混合實境影像結果整理於下表。
  第二影像辨識結果
初始標靶21與器械標靶22 僅初始標靶21 僅器械標靶22 未辨識出標靶
第一影像辨識結果 初始標靶21與器械標靶22 1.擴增實境影像 2.混合實境影像 (註1) 1.擴增實境影像 2.混合實境影像(註2) 1.擴增實境影像 2.混合實境影像(只有器械標靶22)(註3) 擴增實境影像  
僅初始標靶21 混合實境影像 (只有初始標靶21)   混合實境影像 (只有器械標靶22)   無(註4)
僅器械標靶22
未辨識出標靶
註1：當該第一影像與該第二影像皆辨識出該初始標靶21與該器械標靶22時，該處理單元5會根據前述影像的解析度進行判斷，並將解析度高的該影像結合該病理影像或該實際影像以形成對應的擴增實境影像或混合實境影像。
註2：由於該第一影像已辨識出該初始標靶21與該器械標靶22，因此該處理單元5可以根據該器械標靶22與該初始標靶21的相對位置ΔX，計算出該器械標靶22的世界座標系S0位置，因此，即使該第二影像並未辨識出該器械標靶22，該處理單元5仍可以根據該第二影像中的該初始標靶21與該相對位置ΔX，將該器械標靶22顯示於該混合實境影像上。
註3：由於該第二影像並未辨識出該初始標靶21，因此，即使該處理單元5可以透過該第三成像座標系S3與該第四成像座標系S4之間的投影關係，將該器械標靶22與該實際影像結合而形成該混合實境影像，該處理單元5仍無法透過該器械標靶22與該初始標靶21的相對位置ΔX將該初始標靶21與該實際影相結合而形成該混合實境影像，簡言之，該混合實境影像中只會有該器械標靶22 (因不清楚該輔助紅外線鏡頭組42所朝的方向) 。
註4：由於該第一影像若未同時辨識該初始標靶21與該器械標靶22時，該處理單元5會因為無法得到該器械標靶22與該初始標靶21的相對位置ΔX，而無法計算出該器械標靶22的世界座標系S0位置，意即無法將該器械標靶22結合該病理影像形成該擴增實境影像。
值得提醒的是，該擴增實境影像僅顯示於該主顯示器32的擴增實境區322，該混合實境影像顯示於該顯示鏡片組44與該主顯示器32的混合實境區323至少其中一者。
經由以上的說明，可將前述實施例的優點歸納如下：
1. 透過設置該輔助追蹤單元4的輔助紅外線鏡頭組42可以朝該皮下患部81額外拍攝該第二影像，使得在該主追蹤系統3的主紅外線鏡頭331拍不到其中一個標靶，也就是該第一影像不具有其中一個標靶時，該處理單元5仍可以將該第二影像與該病理影像結合而形成該擴增實境影像後輸出至該主顯示器32，而能減少該主紅外線鏡頭組33受遮蔽後無法顯示導航影像(該擴增實境影像)的窘境，藉此，達到提升手術導航之穩定性的功效。
2.此外，由於在手術時，為了手術的安全性，鮮少有外界物體遮蔽該醫療人員6之視線的情形發生，因此，透過設置於該醫療人員6的雙眼上方的該輔助紅外線鏡頭組42與該可見光鏡頭組43，可以進一步減少該輔助紅外線鏡頭組42受遮蔽的情形發生，藉此，進一步達到提升手術導航之穩定性的功效。
3.除前述之外，透過該輔助追蹤系統的該可見光鏡頭組43拍攝該實際影像，且該處理器單元5可以將該第二影像與該病理影像結合而形成該擴增實境影像後輸出至該顯示鏡片組44，藉此，讓該醫療人員6可以將視線著重在該患者8的皮下患部81，而不需持續抬頭看該主顯示器32，藉此，還能達到提升手術方便性的功效。
惟以上所述者，僅為本發明之實施例而已，當不能以此限定本發明實施之範圍，凡是依本發明申請專利範圍及專利說明書內容所作之簡單的等效變化與修飾，皆仍屬本發明專利涵蓋之範圍內。
2:定位識別單元
21:初始標靶
211:夾持部
212:初始標誌部
213:初始定位球
22:器械標靶
221:連接部
222:器械標誌部
223:器械定位球
3:主追蹤單元
31:主載具
311:底座
312:置放架
313:平衡臂
32:主顯示器
321:病理影像區
322:擴增實境區
2323:混合實境區
33:主紅外線鏡頭組
331:主紅外線鏡頭
4:輔助追蹤單元
41:輔助載具
42:輔助紅外線鏡頭組
421:輔助紅外線鏡頭
43:可見光鏡頭組
431:可見光鏡頭
44:顯示鏡片組
441:鏡片
5:處理單元
51:主處理器
52:副處理器
6:醫療人員
7:手術器具
8:患者
81:皮下患部
L1:第一軸線
L2:第二軸線
P1:平面
P2:平面
S0:世界座標系
S1:第一成像座標系
S2:第二成像座標系
S3:第三成像座標系
S4:第四成像座標系
ΔX:相對位置
本發明之其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 圖1是一立體示意圖，說明習知的一種手術導航系統； 圖2是一立體示意圖，說明本發明手術導航系統的一實施例； 圖3是該實施例中的一初始標靶的一立體圖； 圖4是該實施例中的一器械標靶的一立體圖； 圖5是該實施例中的一輔助追蹤單元的一立體圖； 圖6是一張座標示意圖； 圖7是該實施例的一張訊號方塊圖； 圖8是本發明手術導航成像方法的一張流程圖，說明一擴增實境影像的顯示步驟；及 圖9是本發明校正方法的另一流程圖，說明一混合實境影像的顯示步驟。
2:定位識別單元
21:初始標靶
22:器械標靶
3:主追蹤單元
31:主載具
311:底座
312:置放架
313:平衡臂
32:主顯示器
321:病理影像區
322:擴增實境區
323:混合實境區
33:主紅外線鏡頭組
4:輔助追蹤單元
42:輔助紅外線鏡頭組
43:可見光鏡頭組
44:顯示鏡片組
5:處理單元
51:主處理器
52:副處理器
6:醫療人員
7:手術器具
8:患者
81:皮下患部

Claims (15)

  1. 一種手術導航系統，適用於搭配一已知的病理影像與一定位識別單元，輔助一醫療人員操作一手術器具對一患者的一皮下患部進行手術，該定位識別單元包括一可拆卸地固定於該患者的初始標靶，及一設置於該手術器具的器械標靶，並包含：一主追蹤單元，包括一主載具、一用於顯示一擴增實境影像的主顯示器，及一設置在該主載具的主紅外線鏡頭組，該主紅外線鏡頭組用於朝該定位識別單元拍攝一第一影像；一輔助追蹤單元，包括一輔助載具、一設置在該輔助載具的輔助紅外線鏡頭組，及一用於顯示一混合實境影像的顯示鏡片組，該輔助紅外線鏡頭組用於朝該定位識別單元拍攝一第二影像；及一處理單元，信號連接該主顯示器、該主紅外線鏡頭組與該輔助紅外線鏡頭組，用於接收該第一影像與該第二影像並進行影像辨識，該處理單元根據影像辨識結果使該第一影像與該第二影像的其中一者與該病理影像結合而形成該擴增實境影像後輸出至該主顯示器。
  2. 如請求項1所述的手術導航系統，其中，該輔助追蹤單元還包括一可見光鏡頭組，該可見光鏡頭組用於朝該定位識別單元拍攝一實際影像，該處理單元信號連接該顯示鏡片組及該可見光鏡頭組，接收該實際影像並將該第一影像或第二影像與該實際影像結合形成該混合實境影 像後輸出至該顯示鏡片組。
  3. 如請求項2所述的手術導航系統，其中，該輔助紅外線鏡頭組具有二相間隔的輔助紅外線鏡頭，該可見光鏡頭組具有二位於該等紅外線鏡頭間且相間隔的可見光鏡頭。
  4. 如請求項3所述的手術導航系統，其中，該輔助載具是頭戴式裝置，該輔助紅外線鏡頭組與該可見光鏡頭組適用於設置於該醫療人員的雙眼上方，該顯示鏡片組位於該可見光鏡頭組下，且適用於設置在該醫療人員的雙眼前方。
  5. 如請求項2所述的手術導航系統，其中，該處理單元還輸出該混合實境影像至該主顯示器，該主顯示器設置在該主載具上，並具有一用於顯示該病理影像的病理影像區、一用於顯示該擴增實境影像的擴增實境區，及一用於顯示該混合實境影像的混合實境區。
  6. 如請求項1所述的手術導航系統，其中，該主載具具有一可固定地移動的底座、一設置於該底座上的置放架，及一連接該置放架且供該主紅外線鏡頭組設置的平衡臂。
  7. 如請求項6所述的手術導航系統，其中，該處理單元具有一設置在該置放架且信號連接該主顯示器與該主紅外線鏡頭組的主處理器，及一信號連接該主處理器與該輔助紅外線鏡頭組且適用於供該醫療人員攜帶的副處理器。
  8. 一種手術導航系統，適用於搭配一已知的病理影像，輔助一醫療人員操作一手術器具對一患者的一皮下患部進行手術，並包含：一定位識別單元，包括一設置於該患者的初始標靶，及一設置於該手術器具的器械標靶；一主追蹤單元，包括一主載具、一用於顯示一擴增實境影像的主顯示器，及一設置在該主載具的主紅外線鏡頭組，該主紅外線鏡頭組用於朝該定位識別單元拍攝一第一影像；一輔助追蹤單元，包括一輔助載具、一設置在該輔助載具的輔助紅外線鏡頭組，及一用於顯示一混合實境影像的顯示鏡片組，該輔助紅外線鏡頭組用於朝該定位識別單元拍攝一第二影像；及一處理單元，信號連接該主顯示器、該主紅外線鏡頭組與該輔助紅外線鏡頭組，用於接收該第一影像與該第二影像並進行影像辨識，該處理單元根據影像辨識結果使該第一影像與該第二影像的其中一者與該病理影像結合而形成該擴增實境影像後輸出至該主顯示器。
  9. 如請求項8所述的手術導航系統，其中，該初始標靶具有一沿一第一軸線延伸且適用於可拆卸的固定於該患者的夾持部、一連接該夾持部的初始標誌部，及四連接該初始標誌部且共平面的初始定位球，該等初始定位球所位在的平面不平行於該第一軸線。
  10. 如請求項8所述的手術導航系統，其中，該器械標靶具 有一適用於安裝於沿一第二軸線延伸的該手術器械的連接部、一連接該連接部的器械標誌部，及四連接該器械標誌部且共平面的器械定位球，該等器械定位球所位在的平面不平行於該第二軸線。
  11. 一種手術導航成像方法，適用於運用於如請求項1所述的手術導航系統，該手術導航成像方法包含以下步驟：(A)製備一如請求項1所述的手術導航系統；(B)該主紅外線鏡頭組拍攝該第一影像，該輔助紅外線鏡頭組拍攝該第二影像；(C)該處理單元識別該第一影像與該第二影像是否具有該初始標靶與該器械標靶；(D)於步驟(C)中，該處理單元識別該第一影像與該第二影像其中之一具有該初始標靶與該器械標靶時，該處理單元使該第一影像與該第二影像的其中該一者與該病理影像結合而形成該擴增實境影像；及(E)該處理單元輸出該擴增實境影像至該主顯示器進行顯示。
  12. 如請求項11所述的手術導航成像方法，其中，該輔助追蹤單元還包括一設置在該輔助載具且用於顯示一混合實境影像的顯示鏡片組，及一可見光鏡頭組，該手術導航成像方法還包含以下步驟：(F)該可見光鏡頭組拍攝一實際影像；及(G)該處理單元根據步驟(C)之辨識結果將該第二影像與該實際影像結合形成該混合實境影像後輸出至該顯 示鏡片組進行顯示。
  13. 如請求項12所述的手術導航成像方法，其中，於該步驟(F)中，若該處理單元於步驟(C)中辨識該第二影像具有該初始標靶、或該器械標靶、或該初始標靶與該器械標靶，則該處理單元運算該第二影像所具有之該初始標靶、或該器械標靶、或該初始標靶與該器械標靶之空間座標，並根據運算之空間座標將該初始標靶、或該器械標靶、或該初始標靶與該器械標靶與該實際影像結合形成該混合實境影像。
  14. 如請求項13所述的手術導航成像方法，其中，於步驟(F)中，該處理單元還將該混合實境影像後輸出至該主顯示器進行顯示。
  15. 如請求項11所述的手術導航成像方法，其中，於該步驟(D)中，該處理單元運算該第一影像與該第二影像的其中該一者所具有之該初始標靶與該器械標靶的空間座標，並根據該初始標靶與該器械標靶之空間座標將該初始標靶與該器械標靶與該病理影像結合而形成該擴增實境影像。
TW109110389A 2020-03-27 2020-03-27 手術導航系統及其成像方法 TWI727725B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW109110389A TWI727725B (zh) 2020-03-27 2020-03-27 手術導航系統及其成像方法
CN202010422466.6A CN111821024B (zh) 2020-03-27 2020-05-19 手术导航系统及其成像方法
US17/212,007 US20210298835A1 (en) 2020-03-27 2021-03-25 Surgical navigation system, and imaging method of the same
US18/145,482 US20230126207A1 (en) 2020-03-27 2022-12-22 Surgical navigation system, and imaging method of the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109110389A TWI727725B (zh) 2020-03-27 2020-03-27 手術導航系統及其成像方法

Publications (2)

Publication Number Publication Date
TWI727725B true TWI727725B (zh) 2021-05-11
TW202135737A TW202135737A (zh) 2021-10-01

Family

ID=72913931

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109110389A TWI727725B (zh) 2020-03-27 2020-03-27 手術導航系統及其成像方法

Country Status (3)

Country Link
US (2) US20210298835A1 (zh)
CN (1) CN111821024B (zh)
TW (1) TWI727725B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US11980507B2 (en) 2018-05-02 2024-05-14 Augmedics Ltd. Registration of a fiducial marker for an augmented reality system
US11766296B2 (en) 2018-11-26 2023-09-26 Augmedics Ltd. Tracking system for image-guided surgery
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
US11389252B2 (en) * 2020-06-15 2022-07-19 Augmedics Ltd. Rotating marker for image guided surgery
US20230240405A1 (en) * 2022-02-02 2023-08-03 Ted Spooner Mixed reality surgical helmet

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060058604A1 (en) * 2004-08-25 2006-03-16 General Electric Company System and method for hybrid tracking in surgical navigation
US7753910B2 (en) * 2003-07-21 2010-07-13 Stephen Ritland Surgical image tracker mounting base apparatus and method of use
CN105193503A (zh) * 2014-06-18 2015-12-30 柯惠Lp公司 增强的手术实践环境系统
US20190142520A1 (en) * 2017-11-14 2019-05-16 Stryker Corporation Patient-specific preoperative planning simulation techniques

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9718190B2 (en) * 2006-06-29 2017-08-01 Intuitive Surgical Operations, Inc. Tool position and identification indicator displayed in a boundary area of a computer display screen
JP5355220B2 (ja) * 2009-05-22 2013-11-27 キヤノン株式会社 眼底撮影装置
CN102772244A (zh) * 2012-08-13 2012-11-14 南京航空航天大学 一种用于椎弓根螺钉植入的术中导航系统
CN102910130B (zh) * 2012-10-24 2015-08-05 浙江工业大学 一种现实增强型的驾驶辅助预警系统
CN103908345B (zh) * 2012-12-31 2017-02-08 复旦大学 一种基于平板电脑的手术导航用的体数据可视化方法
CA2926687A1 (en) * 2013-10-15 2015-04-23 Castar, Inc. System and method for reconfigurable projected augmented/virtual reality appliance
EP2944284B1 (en) * 2014-05-13 2017-12-06 Metronor AS A system for precision guidance of surgical procedures on a patient
WO2018010040A1 (zh) * 2016-07-11 2018-01-18 王民良 影像增强真实度的方法与应用该方法在可穿戴式眼镜的手术导引
US10537394B2 (en) * 2016-12-19 2020-01-21 Ethicon Llc Hot device indication of video display
CN107088091A (zh) * 2017-06-08 2017-08-25 广州技特电子科技有限公司 一种辅助骨科手术的手术导航系统及导航方法
CN208017582U (zh) * 2017-06-16 2018-10-30 青岛大学附属医院 计算机辅助微创手术装置
WO2019141704A1 (en) * 2018-01-22 2019-07-25 Medivation Ag An augmented reality surgical guidance system
CN108742841B (zh) * 2018-05-30 2020-11-06 上海交通大学 一种多位置跟踪仪的工具实时定位装置
TWI741196B (zh) * 2018-06-26 2021-10-01 華宇藥品股份有限公司 整合擴增實境之手術導航方法及系統
US11612438B2 (en) * 2018-09-05 2023-03-28 Point Robotics Medtech Inc. Navigation system and method for medical operation by a robotic system using a tool

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7753910B2 (en) * 2003-07-21 2010-07-13 Stephen Ritland Surgical image tracker mounting base apparatus and method of use
US20060058604A1 (en) * 2004-08-25 2006-03-16 General Electric Company System and method for hybrid tracking in surgical navigation
CN105193503A (zh) * 2014-06-18 2015-12-30 柯惠Lp公司 增强的手术实践环境系统
US20190142520A1 (en) * 2017-11-14 2019-05-16 Stryker Corporation Patient-specific preoperative planning simulation techniques

Also Published As

Publication number Publication date
TW202135737A (zh) 2021-10-01
CN111821024B (zh) 2022-04-05
US20210298835A1 (en) 2021-09-30
US20230126207A1 (en) 2023-04-27
CN111821024A (zh) 2020-10-27

Similar Documents

Publication Publication Date Title
TWI727725B (zh) 手術導航系統及其成像方法
US7774044B2 (en) System and method for augmented reality navigation in a medical intervention procedure
EP2153794B1 (en) System for and method of visualizing an interior of a body
US11574446B2 (en) Digital image reality aligning kit and method applied to mixed reality system for surgical navigation
CN106455944B (zh) Q3d模型与3d图像的对准
US10482614B2 (en) Method and system for registration verification
JP2017518148A (ja) マルチポートの視点からの手術シーンの定量的な３次元イメージング
CN106456252A (zh) 手术场景的定量三维成像
US11822089B2 (en) Head wearable virtual image module for superimposing virtual image on real-time image
US20170270678A1 (en) Device and method for image registration, and non-transitory recording medium
TWI697317B (zh) 應用於與手術導航整合之混合實境系統之數位影像實境對位套件與方法
US10631948B2 (en) Image alignment device, method, and program
JP2017136275A (ja) 画像位置合せ装置、方法およびプログラム
JP2001525074A (ja) 可動対象物の位置検出
WO2018154877A1 (ja) 付加情報表示装置、方法およびプログラム
US10049480B2 (en) Image alignment device, method, and program
KR102460821B1 (ko) 증강 현실 장치 및 증강 현실 장치의 동작 방법
US20230026585A1 (en) Method and system for determining a pose of at least one object in an operating theatre
US11969218B2 (en) Augmented reality surgery set-up for robotic surgical procedures
TW202418223A (zh) 在即時影像上疊加虛擬影像的頭戴式虛擬影像模組
EP3703011A1 (en) Interventional device tracking
JP2024037139A (ja) 医用撮像システムおよび医用撮像方法
JP2024021859A (ja) 手術ナビゲーションシステム、焦点位置登録方法、および、手術ナビゲーション方法
Bax et al. Image-enhanced endoscopy calibration and image registration accuracy testing
KR20220107546A (ko) 표면 영상유도 기반의 환자 위치 정렬 및 모니터링 시스템