TWI842001B - 註冊二維影像資料組與感興部位的三維影像資料組的方法及導航系統 - Google Patents

註冊二維影像資料組與感興部位的三維影像資料組的方法及導航系統 Download PDF

Info

Publication number
TWI842001B
TWI842001B TW111124857A TW111124857A TWI842001B TW I842001 B TWI842001 B TW I842001B TW 111124857 A TW111124857 A TW 111124857A TW 111124857 A TW111124857 A TW 111124857A TW I842001 B TWI842001 B TW I842001B
Authority
TW
Taiwan
Prior art keywords
data set
dimensional image
image data
virtual camera
dimensional
Prior art date
Application number
TW111124857A
Other languages
English (en)
Other versions
TW202333628A (zh
Inventor
林聖凡
程英毅
林辰泰
程善謙
Original Assignee
瑞鈦醫療器材股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞鈦醫療器材股份有限公司 filed Critical 瑞鈦醫療器材股份有限公司
Publication of TW202333628A publication Critical patent/TW202333628A/zh
Application granted granted Critical
Publication of TWI842001B publication Critical patent/TWI842001B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/005—Specific pre-processing for tomographic reconstruction, e.g. calibration, source positioning, rebinning, scatter correction, retrospective gating
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G06T11/008—Specific post-processing after tomographic reconstruction, e.g. voxelisation, metal artifact correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G06T7/0014—Biomedical image inspection using an image reference approach
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
    • A61B34/20—Surgical navigation systems; Devices for tracking or guiding surgical instruments, e.g. for frameless stereotaxis
    • A61B2034/2046—Tracking techniques
    • A61B2034/2055—Optical tracking systems
    • A61B2034/2057—Details of tracking cameras
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/376—Surgical systems with images on a monitor during operation using X-rays, e.g. fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10101—Optical tomography; Optical coherence tomography [OCT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10116—X-ray image
    • G06T2207/10121—Fluoroscopy
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G06T2207/10136—3D ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30008—Bone
    • G06T2207/30012—Spine; Backbone
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2004—Aligning objects, relative positioning of parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Robotics (AREA)
  • Computer Graphics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Image Processing (AREA)
  • Navigation (AREA)
  • Traffic Control Systems (AREA)
  • Apparatus For Radiation Diagnosis (AREA)

Abstract

一種註冊感興趣部位的二維影像資料組與感興趣部位的三維影像資料組的方法，方法包含：基於第一空間參數由三維影像資料組產生第一重建影像；根據第一重建影像以及二維影像資料組以計算參考相似度數值；基於第二空間參數由三維影像資料組產生第二重建影像；根據第二重建影像以及二維影像資料組以計算比較相似度數值；比較比較相似度數值以及參考相似度數值；以及若比較相似度數值不大於參考相似度數值，註冊二維影像資料組與三維影像資料組，其中利用註冊後的二維影像資料組以及三維影像資料組於電腦輔助手術導航中。

Description

註冊二維影像資料組與感興部位的三維影像資料組的方法及導航系統
本案係有關於一種建立相應於感興趣部位的二維影像資料與三維影像資料之間的關係之方法及導航系統，且特別是有關於一種註冊二維影像資料組與感興趣部位的三維影像資料組之方法及導航系統。
目前，脊椎相關疾病之發生率日漸升高，人們的健康嚴重受到威脅。脊椎手術為治療脊椎疾病的主要方式，如何縮減手術所造成的傷口，藉以降低感染發生機率，且病人可快速恢復不需住院治療，日益被重視。為達上述目的，具有影像導航手術程序的導航系統因而引進並應用於脊椎手術之中。於影像導航手術程序中，對病人的感興趣區域之影像將顯示於導航系統的顯示器上。同時，上述導航系統可追蹤手術器械及/或植入物，並將其模擬影像匯入病人感興趣區域之影像中，一併呈現出來。藉由上述影像導航手術程序及導航系統之優勢，醫生可以得知用於手術目標的手術器械及/或植入物之位置，而不需於手術程序中頻繁地使用C型臂(C-arm)X光透視法。上述技術大體上揭露於美國專利號”US6,470,207”，其專利名稱為”Navigational Guidance Via Computer-Assisted Fluoroscopic Imaging”，公告日為2002年10月22日。上述所列的專利文獻全體皆引用作為本說明書的揭示內容。
然而，上述脊椎導航系統通常需要使用X光檢測來獲得病人的身體內部結構。病人因此暴露於輻射危險之中。由此可見，現有方式顯然仍存在不便與缺陷而有待改進。為了解決上述問題，相關領域莫不費盡心思來謀求解決之道，但長久以來仍未發展出適當的解決方案。
有諸多方式可實現二維(two-dimentional, 2D)與三維(three-dimentional,3D)之註冊，如採用習知的二維影像與三維影像的註冊方式。二維影像與三維影像的註冊方式包含輪廓(contour)演算法、點註冊(point registration)演算法、表面註冊(surface registration)演算法、密度比較(density comparison)演算法以及圖案飽和度註冊(pattern intensity registration)演算法。上述註冊方式均需進行大量計算，因此理論上通常需要幾分鐘的時間才能完成二維與三維之註冊，但事實上，大部分註冊所需的時間高達二十分鐘至一小時。更有甚者，長時間處理後的註冊程序可能會有不準確之狀況產生。
綜上所述，上述現有的方式，顯然仍存在不便與缺陷，而有待改進，因此，需要發展出一套方法及裝置以更準確及有效率地完成二維與三維之註冊。再者，二維與三維之註冊流程亦須一併改進。
另外，二維影像(例如X光影像)通常涵蓋多層脊椎骨。匹配二維影像與電腦斷層掃描(computed tomography, CT)資料所產生的數位重建放射影像(Digitally Reconstructed Radiograph, DRR)不僅效率低，更容易因感興趣區域之干擾，而導致註冊失敗、出錯或不精確的狀況，上述干擾包含椎弓根螺絲(pedicle screw)、椎籠(cage)、肋骨及胯骨所造成的干擾。專門的演算法專注於多個分區之間的比較，而非全體的匹配，如此將有助於解剖影像上的比較分析。
發明內容旨在提供本揭示內容的簡化摘要，以使閱讀者對本揭示內容具備基本的理解。此發明內容並非本揭示內容的完整概述，且其用意並非在指出本案實施例的重要/關鍵元件或界定本案的範圍。
本案內容之一技術態樣係關於一種註冊感興趣部位的二維影像資料組與感興趣部位的三維影像資料組的方法，方法包含：基於第一空間參數由三維影像資料組產生第一重建影像；根據第一重建影像以及二維影像資料組以計算參考相似度數值；基於第二空間參數由三維影像資料組產生第二重建影像；根據第二重建影像以及二維影像資料組以計算比較相似度數值；比較比較相似度數值以及參考相似度數值；以及若比較相似度數值不大於參考相似度數值，註冊二維影像資料組與三維影像資料組，其中利用註冊後的二維影像資料組以及三維影像資料組於電腦輔助手術導航中。
本案內容之一技術態樣係關於一種導航系統，導航系統用以註冊感興趣部位的二維影像資料組與感興趣部位的三維影像資料組。導航系統包含記憶體及處理器。記憶體用以儲存複數個命令。處理器用以由該記憶體獲得該複數個命令以執行以下步驟：基於第一空間參數由三維影像資料組產生第一重建影像；根據第一重建影像以及二維影像資料組以計算參考相似度數值；基於第二空間參數由三維影像資料組產生第二重建影像；根據第二重建影像以及二維影像資料組以計算比較相似度數值；比較比較相似度數值以及參考相似度數值；以及若比較相似度數值不大於參考相似度數值，註冊二維影像資料組與三維影像資料組，其中利用註冊後的二維影像資料組以及三維影像資料組於電腦輔助手術導航中。
在參閱下文實施方式後，本案所屬技術領域中具有通常知識者當可輕易瞭解本案的基本精神及其它發明目的，以及本案所採用的技術手段與實施態樣。
為了使本揭示內容的敘述更加詳盡與完備，下文針對了本案的實施態樣與具體實施例提出了說明性的描述；但這並非實施或運用本案具體實施例的唯一形式。實施方式中涵蓋了多個具體實施例的特徵以及用以建構與操作這些具體實施例的方法步驟與其順序。然而，亦可利用其它具體實施例來達成相同或均等的功能與步驟順序。
除非本說明書另有定義，此處所用的科學與技術詞彙之含義與本案所屬技術領域中具有通常知識者所理解與慣用的意義相同。此外，在不和上下文衝突的情形下，本說明書所用的單數名詞涵蓋該名詞的複數型；而所用的複數名詞時亦涵蓋該名詞的單數型。
另外，關於本文中所使用之「耦接」，可指二或多個元件相互直接作實體或電性接觸，或是相互間接作實體或電性接觸，亦可指二或多個元件相互操作或動作。
第1圖係依照本案一實施例繪示一種具有計算裝置1100、資料庫1200以及光學追蹤器1400的導航系統1000的示意圖。導航系統1000可於目標9000的手術操作期間用以導航器械9500，然本案不以此為限。在一些實施例中，導航系統1000可依據實際需求於任何類型的操作中導航任何種類的器械。舉例而言，導航系統1000可用以導航螺釘(screws)、抓緊器(graspers)、夾具(clamps)、手術剪刀(surgical scissors)、切割工具(cutters)、持針器(needle drivers)、牽開器(retractors)、牽引器(distractors)、擴張器(dilators)、抽吸接頭及管子(suction tips and tubes)、密封裝置(sealing devices)、沖洗及注射針(irrigation and injection needles)、電動器械(powered devices)、內視鏡及探針(scopes and probes)、載具及應用具(carriers and appliers)、超音波組織阻斷器(ultrasound tissue disruptors)、切片機及切割雷射導航器(cryotomes and cutting laser guides)以及量測裝置(measurement devices)。導航系統1000同樣可被用以導航任何類型的植入物，上述植入物包含骨科植入物(orthopedic implants)、脊椎植入物(spinal implants)、心血管植入物(cardiovascular implants)、神經血管的植入物(neurovascular implants)、軟組織植入物(soft tissue implants)或其餘可被植入到目標9000(如病人)內的植入物。
計算裝置1100可為但不限於電腦、桌上型電腦、筆記型電腦、平板電腦或其餘可執行計算功能之裝置。資料庫1200可為但不限於資料儲存裝置、電腦、伺服器、雲端儲存裝置或其餘可用以儲存資料之裝置。資料庫1200用以儲存預先取得的目標9000的三維(three-dimensional,3D)影像資料組。三維影像資料組可使用電腦斷層掃描(computed tomography, CT)對目標9000進行掃描而取得。
影像裝置1300可由導航系統1000建立以及執行，影像裝置1300可為但不限於C型臂可移動式X光機(C-arm mobile fluoroscopy machine)或可移動式X光影像增強器(mobile X-ray image intensifier)。影像裝置1300包含X光發射器1310以及X光接收器1320。前者發射X光以穿透目標9000的軀體，後者接收並轉換X光為顯示於影像裝置1300的顯示器上之數位二維(two-dimensional, 2D)影像。根據沿著影像裝置1300獲得影像的平面，二維影像可為目標9000的前後端(anterior/posterior, AP) 二維影像以及側面(lateral view, LA)二維影像。目標9000可為但不限於病人。
於影像取得過程中，具有校準標記的校準器1510用以校準影像裝置1300以及追蹤影像裝置1300之位置。校準器1510位於X光接收器1320之內或位於X光接收器1320上，且動態參考座標(dynamic reference frames)1520A、1520B設置於X光接收器1320以及目標9000的感興趣部位上，或鄰近於X光接收器1320以及目標9000的感興趣部位。校準器1510位於X光發射器1310至X光接收器1320的路徑上，其可使X光無法透射或半透射。因此，X光進入目標9000以及校準器1510後，於被X光接收器1320接收之前，會部分被特定的組織以及校準器1510內的校準標記所吸收。如此，可使二維影像呈現出目標9000的感興趣部位以及校準器1510的校準標記。計算裝置1100根據校準標記呈現於二維影像中的圖案來計算以取得X光發射器1310以及X光接收器1320之間的關係。目標9000的感興趣椎體的AP二維影像以及LA二維影像均包含於本案的實施例所示之二維影像資料組內。此外，於其它實施例中，亦可僅有AP二維影像或LA二維影像於二維影像資料組之內。再者，二維影像資料組可被作為電子檔案以傳送至計算裝置1100以待後續運用。
資料庫1200中的三維影像資料組、由影像裝置1300產生的二維影像資料組、光學追蹤器1400、校準器1510、動態參考座標1520A、1520B以及目標9000各自具有不同座標系統的座標。本案的導航系統1000可建立這些座標系統之間的關係，以使外科醫師得以於手術操作時使用導航系統1000以導航器械9500。上述座標之間的關係將於後文詳述。校準器1510以及動態參考座標1520A設置於X光接收器1320上，這三者的位置可視為實質上相同，因此，校準器座標系統以及影像裝置座標系統之間的關係建立完成。光學追蹤器1400隨後追蹤包含反射器的動態參考座標1520A藉以引入校準器1510、動態參考座標1520A以及X光接收器1320至追蹤器座標系統，因此，可獲得追蹤器座標系統中的X光接收器1320的位置。在一些實施例中，光學追蹤器1400可一併追蹤包含反射器的校準器1530藉以引入校準器1530至追蹤器座標系統，因此，可獲得追蹤器座標系統中的校準器1530的位置。由於X光發射器1310以及X光接收器1320的關係可由上述方式取得，追蹤器座標系統中的X光發射器1310的位置因而獲得。需說明的是，本案不以第1圖所示之實施例為限，其僅用以例示性地繪示本案的實現方式之一。
需說明的是，導航系統1000的註冊程序大致上由三個程序所組成，分別是初始化校準程序、二維與三維註冊程序以及重新校準程序。在一些實施例中，導航系統1000所安裝的程式用以執行上述三個程序的細節將於後文詳述。此外，在其餘實施例中，上述程式可依據所處狀況或所需功能而單獨執行初始化校準程序、二維與三維註冊程序、重新註冊程序或上述程序之間的組合。其餘細節將詳述如後。
初始化對位
於使用導航系統1000之前，初始化對位程序將會於導航系統1000中執行進而改善效率以及提升導航系統1000的準確度，其餘細節將詳述如後。
第2圖係依照本案一實施例繪示一種如第1圖所示之導航系統1000的計算裝置1100、資料庫1200以及光學追蹤器1400之示意圖。如圖所示，計算裝置1100電性連接於資料庫1200以及影像裝置1300。
計算裝置1100包含記憶體1110、處理器1120以及I/O介面1130。處理器1120電性連接於記憶體1110以及I/O介面1130。記憶體1110用以儲存複數個命令，且處理器1120由記憶體1110獲得複數個命令以執行如第3圖所示之註冊二維影像資料組與感興趣部位的三維影像資料組的方法2000之步驟。
在一些實施例中，記憶體1110可包含但不限於至少一快閃記憶體(flash memory)、硬碟(hard disk drive, HDD)、固態硬碟(solid-state drive, SSD)、動態隨機存取記憶體(dynamic random access memory, DRAM)以及靜態隨機存取記憶體(static random access memory, SRAM)或以上元件之組合。在一些實施例中，作為非暫態電腦可讀取紀錄媒體，記憶體1110可用以儲存處理器1120可執行的電腦可讀取命令。
在一些實施例中，處理器1120可包含但不限於，單一處理器或多個微處理器的整合裝置，例如中央處理器(central processing unit, CPU)、圖形處理器(graphics process ing unit, GPU)或特殊應用積體電路(application-specific integrated circuit, ASIC)等等。
請一併參閱第2圖以及第3圖。於操作上，由處理器1120執行步驟2100以根據相應於二維影像資料組以及感興趣部位計算而得的距離參數以調整第一虛擬相機。
舉例而言，計算裝置1100的處理器1120可直接由影像裝置1300獲得X光影像，或計算裝置1100的處理器1120可獲得預先儲存於資料庫1200的X光影像。如上所述，二維資料組包含至少AP二維影像以及LA二維影像，兩者均包含第1圖的校準器1510。校準器1510可用以辨別影像裝置1300於上述計算關係中的位置。一旦取得影像裝置1300的位置，處理器1120可估計X光發射器1310及目標9000中目標椎節的感興趣部位之間的距離。上述估計之距離隨後由計算裝置1100的處理器1120轉換為距離參數。
本案實施例之初始化對位2000已概略地說明如上。簡言之，初始化對位2000可包含三步驟2100、2200、2300。
於第一步驟中，外科醫師由影像裝置1300取得第一影像或AP影像以及第二影像或LA影像。這些影像除可用以協助系統之改善與導航，更可用以進行方位之初始化。由於影像裝置1300包含校準器1510，在關於病人座標系統的影像獲取程序中，X光發射器1310的位置已知(如，病人AP方向以及病人LA方向)。將上述資訊與使用者設定的三維掃描期間中如何定位病人9000的資訊進行結合。當給予設定的方位後，就可以由電腦斷層掃描(CT)所掃描而得的三維資料組來創建數位重建放射影像(DRR)。由於數位重建放射影像(DRR)亦為一種數位影像，因此可用於解釋虛擬相機如何以及由何處產生這些數位影像。換言之，AP以及LA數位重建放射影像(DRR)係以模擬的方式想像有兩個虛擬相機拍攝影像而產生，舉例而言，於沿著病人9000的AP以及LA兩個平面的特定點並朝向病人9000的感興趣椎體的方向上分別置放兩個虛擬相機。數位重建放射影像(DRR)對應於真實的AP以及LA的X光相片。數位重建放射影像(DRR)及真實的X光相片將呈現給外科醫師看，並由外科醫師分辨出所有影像中的相同點。此步驟提供CT影像資料中相同的點或位置以及動態參考座標1520A或病人空間座標。一旦三維資料組中的病人9000位置與方位以及動態參考座標已知，本案之方法將繼續執行後續改善步驟。於改善步驟之後，所有涉及的座標系統將會連結起來，且可以藉由計算得知。
於初始化步驟中，外科醫師需取得AP以及LA的X光照片，或以影像裝置1300沿任意兩平面拍攝X光照片。於脊椎手術中，外科醫生被提示要指出其感興趣的椎體的中央。整合上述所有資訊，可得到較佳的方位以及位置之評估，並使用這項評估結果產出數位重建放射影像(DRR)。這樣的數位重建放射影像(DRR)是與真實的X光照片具有高度的對應關係，可用於啟動二維與三維註冊的程序。上述數位重建放射影像(DRR)是由電腦斷層掃描(CT)取得的三維資料結合由C型臂(C-arm)取得的局部目標所取得的資料來計算得到。
計算裝置1100的處理器1120可存取儲存於資料庫1200中的三維影像資料組，且相應三維影像資料組的AP虛擬相機或LA虛擬相機可由處理器1120所創建。每一者虛擬相機均具有各自的空間參數，以標記出其相應三維影像中的感興趣部位所在的位置及方位。如真實的相機一般，相應目標對象的相機之位置以及方位會決定拍攝的影像內容。因此，改變虛擬相機的空間參數會在三維影像資料組中產生不同的重建影像。在本實施例中，空間參數包含至少一距離參數，其指示由目標9000的感興趣目標部位至虛擬相機的距離。
初步註冊
於初步註冊步驟中，軟體中包含匹配演算法，其係用於初步二維與三維註冊的再處理。軟體設計用以調整初始化位置以及方位以將數位重建放射影像(DRR)以及真實的X光照片之間差異降到最低，藉以改善整個註冊流程。於初步註冊步驟中，可採用相似度或成本測量的方式以分辨影像的匹配程度。反相的初步演算法同時調整初始位置以及方位參數以最大化數位重建放射影像(DRR)以及真實的X光照片之間的相似度。上述相似度或代價計算可由已知的相似度以及代價計算方法中選擇使用，例如標準化相互訊息(normalized mutual data)、相互訊息(mutual data)、梯度差異演算法(gradient difference algorithms)、表面外形演算法(surface contour algorithms)、圖案強度演算法(pattern intensity algorithms)、誤差平方和演算法(sum of squared differences)、標準化交相關(normalized cross-correlation)、區域標準化相關(local normalized correlation)以及相關比(correlation ratio)。執行本程序可使得二維與三維註冊整體上更加有效率且精確。
隨後，計算裝置1100的處理器1120可根據距離參數調整AP虛擬相機或LA虛擬相機。
在一些實施例中，距離參數係根據二維影像資料組之影像上的兩平面標記間之真實距離以進行計算。舉例而言，外科醫師可手動標註兩標記於其感興趣的單一AP或LA二維影像上，藉以計算出距離參數。
在第4圖的實施例中，目標9000可為脊椎損傷的病人，外科醫師可透過第2圖的I/O介面1130以手動標記兩個標記V0及V1在目標9000的兩個目標椎體的中央，但本案不限於此。如此一來，標記V0以及V1之間的距離可藉由計算裝置1100的處理器1120以影像辨識技術進行計算。在一些實施例中，I/O介面1130可電性連接於任何種類的輸入裝置，例如滑鼠、鍵盤或觸控面板。
如第5圖所示，此為由處理器1120利用輸入的資料所產生的AP數位重建放射影像(DRR)。其中，輸入資料包括在拍攝X光影像時，目標9000相應影像裝置1300的位置或方位資訊。
在一些實施例中，虛擬相機為二維與三維註冊程式中的模組化編碼，其係用於在參數驅動位置(parameter-driven position)與參數驅動方位或角度(parameter-driven orientation or perspective)上，由處理器1120運算已知的數位重建放射影像(DRR)演算法，從而對特定三維個體(volume)生成其二維影像。
使用此方位估算方式，基於電腦斷層掃描(CT)產生的數位重建放射影像(DRR)得以被建立（第5圖中），其實質上相應於第4圖的真實AP之X光相片。藉由使用來自三維影像資料的病人方位資訊與影像裝置1300位置的病人方位資訊，上述資訊結合習知的數位重建放射影像(DRR)演算法一同創建數位重建放射影像(DRR)。換言之，由於X光拍攝的內容是已知的，且電腦斷層掃描(CT)資料的左右以及AP方向或任何其它方向均是已知的，若以X光拍攝的方向朝向三維個體資料內觀看，則可獲得精確的數位重建放射影像(DRR)。數位重建放射影像(DRR)本質上是針對三維個體生成的二維影像，其內容是在正確的方位或角度上觀看三維個體內部所呈現出的影像結果，藉此可以對每個立體像素創造出虛擬的線，而每條線均又被用以產生新的立體像素值，藉以產生數位重建放射影像(DRR)。
然而，初始的數位重建放射影像(DRR)並非精確地匹配AP以及LA的X光影像。這是為何要於二維與三維註冊的程序中執行對位程序的原因。
外科醫師可透過第2圖的I/O介面1130，以手動方式在AP數位重建放射影像(DRR)的兩個目標椎體上標註其餘兩個標記V0’以及V1’。如此一來，在第5圖的AP數位重建放射影像(DRR)的兩個標記V0’以及V1’之間的距離可由處理器1120計算。隨後，若第4圖的AP二維影像的兩個標記V0以及V1之間的距離為100畫素，處理器1120可調整AP虛擬相機的距離參數以重新產生經調整的AP數位重建放射影像(DRR)，其兩個標記V0’以及V1’之間的距離同樣為100畫素。因此，在第5圖的AP數位重建放射影像(DRR)上的目標椎體的大小被調整成相同於第4圖的AP二維影像上的目標椎體的大小。如上所述，本案僅需專注於第4圖之AP二維影像及第5圖之AP數位重建放射影像(DRR)上的標記之相應距離，並隨後將上述距離調整成一致以進行對位即可，因此，本對位程序可執行地非常迅速。
此外，在第6圖的實施例中，外科醫師可透過第2圖的I/O介面1130以手動方式標註標記V0以及V1於目標9000的兩個目標椎體上。如此一來，標記V0以及V1之間的距離可被計算裝置1100的處理器1120以影像辨識技術來進行計算。
如第7圖所示，此為由處理器1120所產生的LA數位重建放射影像(DRR)，其係對應影像裝置1300在X光影像拍攝程序中相對目標9000的位置或定義位置之資訊而生成的。外科醫師可透過第2圖的I/O介面1130以手動地標記兩個標記V0’以及V1’在目標的兩個目標椎體上。如此一來，標記V0’以及V1’之間的距離可由計算裝置1100的處理器1120透過影像辨識技術計算。隨後，若在第6圖的LA二維影像的兩個標記V0以及V1之間的距離為100畫素，處理器1120可調整LA虛擬相機的距離參數以重新產生經調整的LA數位重建放射影像(DRR)，其兩個標記V0’以及V1’之間的距離同樣為100畫素。因此，在第7圖的目標椎體的大小被調整成相同於第6圖的LA二維影像上的目標椎體的大小。如上所述，本案僅需專注於第6圖的LA二維影像以及第7圖的LA數位重建放射影像(DRR)上的標記之相關距離，並隨後將上述距離調整為一致以進行對位即可，因此，本對位程序可執行地非常迅速。
在一些實施例中，距離參數係根據發射器的估算位置以及感興趣部位的估算位置之間的距離以進行計算。舉例而言，如上所述，由第1圖的影像裝置1300所產生的X光二維影像上的校準器1510可被計算裝置1100當作參考基準，以計算出X光發射器1310的估算位置。此外，目標9000的估算位置可被計算裝置1100根據顯示出校準器1510的X光影像以及X光發射器1310的估算位置來加以計算。隨後，若取得了X光發射器1310的估算位置以及目標9000的估算位置，X光發射器1310以及目標9000的估算位置之間的距離同樣可被計算裝置1100計算出來。
在一些實施例中，發射器的估算位置可根據二維影像資料組計算出來，且感興趣部位的估算位置係被設置在第一虛擬線以及第二虛擬線彼此最接近的位置。舉例而言，第2圖中的計算裝置1100可由影像裝置1300獲得X光影像。如上所述，影像裝置1300的X光影像可包含第1圖中的校準器1510。因此，計算裝置1100可根據包含校準器1510的X光影像以計算X光發射器1310的估算位置。請參閱第8圖，圖中有一第一虛擬線VL1產生於X光發射器1310的估算位置以及X光接收器1320上的校準器1510之間。請參閱第9圖，圖中有一第二虛擬線VL2產生於X光發射器1310的估算位置以及X光接收器1320上的校準器1510之間。若第8圖中的第一虛擬線VL1以及第9圖中的第二虛擬線VL2位於同一座標系統，目標9000的估算位置可被判定位於第一虛擬線VL1以及第二虛擬線VL2最接近的位置。
在一些實施例中，二維影像資料組包含第一二維影像以及第二二維影像，第一虛擬線產生於發射器的估算位置以及當第一二維影像資料組被擷取時至少兩個反射器反射的中心點之間，第二虛擬線產生於發射器的估算位置以及當第二二維影像資料組被擷取時至少兩個反射器反射的中心點之間。
舉例而言，第1圖的影像裝置1300的X光影像包含目標9000的AP二維影像以及LA二維影像。請參閱第8圖，第一虛擬線VL1產生於X光發射器1310的估算位置以及反射器1523、1525、1527的中心點1521之間，反射器1523、1525、1527的中心點1521對應第1圖中的動態參考座標1520A且可由光學追蹤器1400取得。請參閱第9圖，第二虛擬線VL2產生於X光發射器1310的估算位置以及反射器1523、1525、1527的中心點1521之間，反射器1523、1525、1527的中心點1521對應第1圖中的動態參考座標1520A且可由光學追蹤器1400取得。需說明的是，中心點1521可為反射器1523、1525、1527建構的校準器座標的原點，但上述中心點1521的位置不限於反射器1523、1525、1527的物理中央。
請參閱第2圖以及第3圖，於操作中，處理器1120執行步驟2200以根據第一向量以及第二向量之間的角度差異旋轉第一虛擬相機，其中第一向量由三維影像資料組中的兩個空間標記計算，且第二向量由二維影像資料組中的兩個第一平面標記計算。
舉例而言，第一向量係藉由AP虛擬相機根據適當的DDR演算法由三維影像中的兩個空間標記計算產生。請參閱第4圖，第二向量係由AP二維影像中的兩平面標記V0以及V1計算。當第一向量以及第二向量獲得後，處理器1120可計算第一向量以及第二向量之間的角度差異。隨後，處理器1120可根據角度差異旋轉AP虛擬相機。因此，AP虛擬相機的方位或透視方位被調整至相似或相同於沿著第4圖中的AP平面的影像裝置1300的X光發射器1310的方向或透視方位。上述步驟可由計算裝置1100執行以調整或修改數位重建放射影像(DRR)演算法的方位或透視方位參數，而產生經調整或修改的數位重建放射影像(DRR)，其更為相似或相同於AP二維X光影像。如上所述，AP二維影像中的椎體以及AP數位重建放射影像(DRR)可被調整至相同，且與LA二維影像以及LA數位重建放射影像(DRR)相關的正視角度可被調整至相似。
再者，第一向量係藉由LA虛擬相機根據適當的DDR演算法由三維影像中的兩個空間標記計算產生。請參閱第6圖，第二向量係由LA二維影像上的兩個平面標記V0以及V1計算。當第一向量以及第二向量獲得後，處理器1120可計算第一向量以及第二向量之間的角度差異。隨後，處理器1120可根據角度差異旋轉LA虛擬相機。因此，LA虛擬相機的方位或透視方位被調整至相似或相同於沿著第6圖中的LA平面之影像裝置1300的X光發射器1310之方位或透視方位。上述步驟可由計算裝置1100執行以調整或修改數位重建放射影像(DRR)演算法的方位或透視方位參數，而產生經調整或修改的數位重建放射影像(DRR)，其更為相似或相同於二維X光影像。如上所述，LA二維影像中的椎體以及LA數位重建放射影像(DRR)可被調整至相同，且與AP二維影像以及AP數位重建放射影像(DRR)相關的正視角度可被調整至相似。
在一些實施例中，二維影像資料組包含第一二維影像，第一向量係藉由第一虛擬相機由三維影像資料組中的兩個空間標記計算產生，且第二向量係由第一二維影像資料中的兩個第一平面標記計算。舉例而言，二維影像資料組包含第4圖中的AP二維影像。第一向量係藉由AP虛擬相機由三維影像資料組中的兩個空間標記計算產生。第二向量係由第4圖中的AP二維影像的兩個平面標記V0以及V1計算。
在一些實施例中，二維影像資料組包含第二二維影像，且第二向量係由第二二維影像資料中的兩個第二平面標記計算。舉例而言，二維影像資料組包含第6圖中的LA二維影像。第一向量係藉由LA虛擬相機由三維影像資料組中的兩個空間標記計算產生。第二向量係由第6圖中的LA二維影像的兩個平面標記V0以及V1計算。
請一併參閱第2圖以及第3圖。於操作中，處理器1120執行步驟2300以根據角度旋轉第一虛擬相機，角度係對應具有最大相似度參數之重建影像以及二維影像資料組之角度差，最大相似度參數之重建影像係於三維影像資料組的複數個重建影像計算而得的複數個相似度參數中具有最大相似度參數者，複數個重建影像包含由第一虛擬相機產生的重建影像以及由其他虛擬相機產生的其他重建影像，且其他重建影像與第一虛擬相機產生的重建影像具有不同的角度或畫素，其中於進行調整以及旋轉後，執行一導航系統之註冊二維影像資料組與三維影像資料組的操作。
舉例而言，首先，在三維影像資料組的座標系統中，一些LA數位重建放射影像(DRR)藉由調整LA虛擬相機的預先設定位置及/或方位而產生。LA虛擬相機的預設位置及/或方位可由外科醫師依據三維資料組中對應的感興趣個體(volume of interest)來決定。
藉由以LA虛擬相機的預先設定位置及/或方位為中央，且隨後旋轉其傾斜角度(roll angle)範圍介於-20度至20度，及/或移動其位置範圍介於-15畫素至15畫素而產生，在不同位置上分別生成多張數位重建放射影像(DRR)。由於不同的LA數位重建放射影像(DRR)具有不同的內容，可根據多張LA數位重建放射影像(DRR)以及預先設定LA二維影像計算得到複數個相似度數值，其中預先設定的LA二維影像可由外科醫師基於對應感興趣個體的感興趣區域來進行選擇。隨後，可由複數個相似度數值中得到最大相似度數值。為完成較佳的二維以及數位重建放射影像(DRR)之間的對位，LA虛擬相機的目前位置及/或方位會根據畫素以及相應於最大相似度數值的傾斜角度來進行調整。換言之，LA數位重建放射影像(DRR)中的椎骨會被調整至相似於LA二維影像的椎骨。關於目標9000的每一椎體之AP虛擬相機可根據對應目標9000之椎體的LA虛擬相機來進行調整。
此外，在三維影像資料組的座標系統中，一些AP數位重建放射影像(DRR)藉由AP虛擬相機的預先設定位置及/或方位而產生。AP虛擬相機的預先設定位置及/或方位可由外科醫師依據三維資料組中對應的感興趣個體(volume of interest)來決定。
藉由以AP虛擬相機的預先設定位置及/或方位為中央，且隨後旋轉其方位角(azimuth angle)範圍介於-15度至15度，及/或移動其位置範圍介於-15畫素至15畫素而產生，在不同位置上分別生成多張數位重建放射影像(DRR)。由於不同的AP數位重建放射影像(DRR)具有不同的內容，可根據多張AP數位重建放射影像(DRR)以及預先設定AP二維影像計算得到複數個相似度數值，其中預先設定的AP二維影像可由外科醫師基於對應感興趣個體的感興趣區域來進行選擇。隨後，可由複數個相似度數值中得到最大相似度數值。為完成較佳的二維以及數位重建放射影像(DRR)之間的對位，AP虛擬相機的目前位置及/或方位會根據畫素以及相應於最大相似度數值的方位角來進行調整。換言之，AP數位重建放射影像(DRR)中的椎骨會被調整至相似於AP二維影像的椎骨。關於目標9000的每一椎體之LA虛擬相機可根據對應目標9000之椎體的AP虛擬相機來進行調整。
在一些實施例中，經調整的第一虛擬相機是於第一虛擬相機旋轉後生成。處理器1120用以執行以下步驟：根據角度旋轉經調整的第一虛擬相機，角度係對應具有經調整的最大相似度參數之重建影像以及二維影像資料組之角度差，經調整的最大相似度參數之重建影像係於經調整的複數個重建影像計算而得的複數個相似度參數中具有最大相似度參數者，經調整的複數個重建影像包含由經調整的第一虛擬相機產生的重建影像以及由其他虛擬相機產生的其他重建影像，且其他重建影像與經調整的第一虛擬相機產生的重建影像具有不同的角度。
舉例而言，經調整的AP虛擬相機或經調整的LA虛擬相機由AP虛擬相機或LA虛擬相機被旋轉後生成。藉由經調整的LA虛擬相機以傾斜角度(roll angles)範圍介於-20度至20度及/或移動位置範圍介於-15畫素至15畫素而產生，在不同位置上分別生成多張數位重建放射影像(DRR)。由於不同的LA數位重建放射影像(DRR)具有不同的內容，可根據多張經調整的LA數位重建放射影像(DRR)以及預先設定LA二維影像計算得到複數個相似度數值，其中預先設定的LA二維影像可由外科醫師基於對應感興趣個體的感興趣區域來進行選擇。隨後，可由複數個相似度數值中得到最大相似度數值。為完成較佳的二維以及數位重建放射影像(DRR)之間的對位，LA虛擬相機的目前位置及/或方位會根據畫素以及傾斜角度相應於最大相似度數值調整。換言之，LA數位重建放射影像(DRR)中的椎骨會被調整至相似於LA二維影像的椎骨。
此外，藉由經調整的AP虛擬相機以方位角(azimuth angle)範圍介於-15度至15度及/或移動位置範圍介於-15畫素至15畫素產生，在不同位置上分別生成多張數位重建放射影像(DRR)。由於不同的AP數位重建放射影像(DRR)具有不同的內容，可根據多張經調整的AP數位重建放射影像(DRR)以及AP二維影像計算得到複數個相似度數值，其中AP二維影像計算可由外科醫師基於對應感興趣個體的感興趣區域來進行選擇。隨後，可由複數個相似度數值中得到最大相似度數值。為完成較佳的二維以及數位重建放射影像(DRR)之間的對位，AP虛擬相機的目前位置及/或方位會根據畫素以及相應於最大相似度數值的傾斜角度來進行調整。換言之，AP數位重建放射影像(DRR)中的椎骨會被調整至相似於AP二維影像的椎骨。
需說明的是，本案不以第2圖至第9圖所示之實施例的結構及操作為限，其僅用以例示性地繪示本案的實現方式之一。
在一些實施例中，處理器1120被用以執行以下步驟：根據相應於二維影像資料組的矩陣以調整複數個虛擬相機的第一虛擬相機，其中複數個虛擬相機相應於三維影像資料組。舉例而言，第1圖中的影像裝置1300的AP二維影像以及LA二維影像均包含校準器1510。處理器1120可藉由校準器1510的已知參數以計算出用來轉換AP二維影像的座標系統至LA二維影像的座標系統的矩陣。因此，相應於AP二維影像以及LA二維影像間的關係之矩陣可被獲得。隨後，處理器1120可根據上述矩陣調整AP虛擬相機或LA虛擬相機，因此AP虛擬相機以及LA虛擬相機之間的關係相似於AP二維影像以及LA二維影像之間的關係。
2D與3D註冊
一旦作為第一程序中的初始對位執行完畢，導航系統1000繼續建立三維影像資料組與二維影像資料組的X光二維影像之間的關係，其中三維影像資料組儲存於資料庫1200，且二維影像資料組的X光二維影像顯示於影像裝置1300的顯示器或儲存於資料庫1200。上述建立關係的方式將於後文中詳述。
第10圖係依照本案一實施例繪示一種註冊感興趣部位的二維影像資料組的至少一二維影像與相同感興趣部位的三維影像資料組的方法的流程示意圖。請一併參閱第2圖以及第10圖。於操作中，處理器1120執行步驟3100以基於第一空間參數由三維影像資料組產生第一重建影像。
舉例而言，計算裝置1100的處理器1120可存取資料庫1200以及基於第一空間參數以模擬相應於三維影像資料組的虛擬相機進而產生第一數位重建放射影像(DRR)。在本實施例中，虛擬相機已事先進行過對位(透過初始對位及/或其它調整方式以便於二維與三維註冊)，然而，虛擬相機於本案的其它實施例中亦可不透過初始對位及/或其它調整方式調整。
請一併參閱第2圖以及第10圖，於操作中，處理器1120執行步驟3200以根據第一重建影像以及至少一二維影像資料組計算參考相似度數值。舉例而言，計算裝置1100的處理器1120可根據第一數位重建放射影像(DRR)以及二維影像資料以計算參考相似度數值。
請一併參閱第2圖以及第10圖。於操作中，處理器1120執行步驟3300以基於第二空間參數由三維影像資料組產生第二重建影像。舉例而言，計算裝置1100的處理器1120可存取資料庫1200以及基於第二空間參數以模擬相應於三維影像資料組的虛擬相機，進而產生第二數位重建放射影像(DRR)。
請一併參閱第2圖以及第10圖，於操作中，處理器1120執行步驟3400以根據第二重建影像以及至少一二維影像資料組計算比較相似度數值。舉例而言，計算裝置1100的處理器1120可根據第二數位重建放射影像(DRR)以及二維影像資料以計算比較相似度數值。
請一併參閱第2圖以及第10圖。於操作中，處理器1120執行步驟3500以比較比較相似度數值與參考相似度數值。舉例而言，計算裝置1100的處理器1120可比較比較相似度數值與參考相似度數值。
請一併參閱第2圖以及第10圖，於操作中，處理器1120執行步驟3600以於比較相似度數值不大於參考相似度數值時，註冊二維影像資料組與三維影像資料組，其中利用註冊後的二維影像資料組以及三維影像資料組於電腦輔助手術導航中。舉例而言，若比較相似度數值不大於參考相似度數值，代表第二數位重建放射影像(DRR)與二維影像資料已對位完成。因此，計算裝置1100的處理器1120可註冊影像裝置1300的二維影像資料組與儲存於資料庫1200的三維影像資料組。隨後，由於影像裝置1300的二維影像資料組與儲存於資料庫1200的三維影像資料組已註冊，本案的第10圖中的方法3000可利用註冊後的二維影像資料組以及三維影像資料組於電腦輔助手術導航中。
需說明的是，本案不以第10圖所示之實施例的操作為限，其僅用以例示性地繪示本案的實現方式之一。此外，第10圖中的方法3000可由處理器1120執行以註冊二維影像資料組與三維影像資料組，其中二維影像資料組包含AP二維影像及LA二維影像，且AP數位重建放射影像(DRR)及LA數位重建放射影像(DRR)係取自三維影像資料組。
在一些實施例中，基於第一重建影像或第二重建影像由三維影像資料組產生第一重建影像或第二重建影像的步驟包含：依據三維目標定位虛擬相機，其中三維目標根據第一重建影像或第二重建影像組成，藉以透過虛擬相機擷取三維目標的第一重建影像或第二重建影像。
舉例而言，三維影像資料組可為目標9000經電腦斷層掃描(CT)掃描後獲得的立體像素的數值，其中目標9000包含感興趣部位。立體像素的數值可以立體渲染(volume rendering)呈現，隨後感興趣部位的三維目標(或稱三維模型)可被同時顯示於顯示器以及儲存於資料庫1200。處理器1120可存取資料庫1200的三維模型，且基於給予虛擬相機的空間參數以判斷相應三維模型的虛擬相機之位置及方位。一旦虛擬相機設定好，處理器1120可藉由本領域的數位重建放射影像(DRR)演算法去取得一個或多個二維影像以作為第一數位重建放射影像(DRR)或第二數位重建放射影像(DRR)。
在一些實施例中，虛擬相機係為模組化的功能指令，其包括演算法及方程式其中一者。在一些實施例中，虛擬相機可被模擬但不限於射線投影立體渲染。
於初始對位中，虛擬相機會被調整以預設具有虛擬相機的位置及/或方位的初始空間參數，進而改善導航系統1000的效率並提升導航系統1000的準確度。然而，對於醫療目的而言，效率尚有不足，因此，於初始對位後，已調整虛擬相機需於二維與三維註冊程序中進一步進行優化，以使其更加精準。在一些實施例中，各第一空間參數以及第二空間參數係用以定義虛擬相機的位置及/或方位，而位置及/或方位定義之方式係以三維個體相對於虛擬相機來看，或是以該虛擬相機相對於三維個體來看。如上所述，已調整虛擬相機需進一步進行優化，已調整虛擬相機之優化方式是調整具有已調整虛擬相機之位置及/或方位的空間參數。舉例而言，各第一空間參數以及第二空間參數係用以定義虛擬相機的位置及/或方位，而位置及/或方位定義之方式係以三維個體相對於虛擬相機來看，或是以該虛擬相機相對於三維個體來看。
在一些實施例中，各第一空間參數以及第二空間參數分別包含位置、方位以及包含位置以及方位的參數的其中一者。舉例而言，第一空間參數可為位置、方位或包含位置以及方位的參數，且第二空間參數可為位置、方位以及包含位置以及方位的參數。
在一些實施例中，各比較相似度數值以及參考相似度數值係透過區域標準化相關法(local normalized correlation, LNC)、誤差平方和法(sum of squared differences, SSD)、標準化交相關法(normalized cross-correlation, NCC)或相關比法(correlation ratio, CR)來加以計算。
在一些實施例中，三維影像資料組(如儲存於第1圖中的資料庫1200的三維影像資料組)係產生自核磁共振成像(magnetic resonance imaging, MRI)裝置、等中心技術C型臂螢光成像(iso-centric C-arm fluoroscopic imaging)裝置、O型臂(O-arm)裝置、雙平面螢光(bi-plane fluoroscopy)裝置、電腦斷層掃描(computed tomography, CT)裝置、多層次電腦斷層掃描(multi-slice computed tomography, MSCT)裝置、高頻超音波(high frequency ultrasound, HIFU)裝置、光學相干斷層掃描(optical coherence tomography, OCT)裝置、血管內超音波(intra-vascular ultrasound, IVUS)裝置、3D或4D超音波裝置以及術中電腦斷層掃描(intraoperative computed tomography, CT)裝置的其中一者。
在一些實施例中，二維影像資料組係產生自C型臂螢光成像(C-arm fluoroscopic imaging)裝置、核磁共振成像(magnetic resonance imaging, MRI)裝置、等中心技術C型臂螢光成像(iso-centric C-arm fluoroscopic imaging)裝置、O型臂(O-arm)裝置、雙平面螢光(bi-plane fluoroscopy)裝置、電腦斷層掃描(computed tomography, CT)裝置、多層次電腦斷層掃描(multi-slice computed tomography, MSCT)裝置、高頻超音波(high frequency ultrasound, HIFU)裝置、光學相干斷層掃描(optical coherence tomography, OCT)裝置、血管內超音波(intra-vascular ultrasound, IVUS)裝置、二維、三維或四維超音波裝置以及術中電腦斷層掃描(intraoperative computed tomography, CT)裝置的其中一者。
在一些實施例中，第一空間參數係根據二維影像擷取裝置上的至少一標誌以及感興趣部位之間的空間關係所產生。如上所述，虛擬相機會被調整以預設初始對位中的初始空間參數，進而改善導航系統1000的效率並提升導航系統1000的準確度，且初始對位後的已調整空間參數隨後作為二維與三維註冊中的第一空間參數。舉例而言，第一空間參數係由第1圖中的X光接收器1320上的校準器1510以及目標9000間的空間關係而產生。
在一些實施例中，第一空間參數係為先前比較步驟中產生的複數個相似度中具有最大相似度的空間參數。舉例而言，比較步驟可被執行多次，且每一比較步驟均會產生相似度。第一空間參數係藉由找到複數個相似度中具有最大相似度的參數而獲得。
在一些實施例中，於二維與三維註冊的起始中已調整虛擬相機具有第一空間參數，此第一空間參數具有第一距離及/或第一方位。當二維與三維註冊開始後，已調整虛擬相機由第一空間參數移動至第二空間參數，第二空間參數具有第二距離及/或第二方位。因此，第二空間參數在其所對應之虛擬相機相對於三維影像資料組(如三維影像資料組儲存於第1圖中的資料庫1200)之距離及/或方位上不同於第一空間參數。更詳細而言，由於在本實施例中的已調整虛擬相機係為模組化的功能指令，其包含演算法、方程式以及一個或多個參數，處理器1120可應用上述參數，並隨後模擬已調整虛擬相機於三維影像資料組的座標系統中的特定位置上。
在一些實施例中，處理器1120更用以執行以下步驟：若比較相似度數值大於參考相似度數值，基於第三空間參數由三維影像資料組產生第三重建影像；根據第三重建影像以及至少一二維影像資料組以計算第二比較相似度數值；比較第二比較相似度數值以及參考相似度數值；以及若第二比較相似度數值不大於參考相似度數值，註冊二維影像資料組與三維影像資料組。
舉例而言，若比較相似度數值大於先前比較中的參考相似度，計算裝置1100的處理器1120可存取資料庫1200並模擬相應三維影像資料組的經調整之虛擬相機於第三位置上進而產生第三數位重建放射影像(DRR)。
此外，計算裝置1100的處理器1120可根據第三AP及/或LA數位重建放射影像(DRR)以及二維影像資料組的相應AP及/或LA二維影像以計算第二比較相似度數值。
此外，計算裝置1100的處理器1120可比較第二比較相似度數值與參考相似度數值。
另外，若第二比較相似度數值不大於參考相似度數值，代表第三AP及/或LA數位重建放射影像(DRR)已與二維影像資料組的相應AP及/或LA二維影像對位完成。隨後，藉由影像裝置1300即時取得的二維影像資料組可視為已與先前取得並預先儲存於資料庫1200的三維影像資料組註冊完成。
第11圖係依照本案一實施例繪示一種註冊感興趣部位的二維影像資料組與感興趣部位的三維影像資料組的方法4000的流程示意圖。請一併參閱第2圖以及第11圖。於操作中，處理器1120執行步驟4100以模擬地移動已調整虛擬相機由三維影像資料組的座標系統中之原點或先前之空間位置至第一空間位置，且處理器1120執行步驟4150以產生相應於第一虛擬相機的第一空間位置的第一數位重建放射影像(DRR)(或稱為第一重建影像)。處理器1120隨後執行步驟4200根據第一數位重建放射影像(DRR)以及二維影像以計算第一相似度數值，由影像裝置1300產生的二維影像可為AP或LA二維影像，且處理器1120執行步驟4250以移動已調整虛擬相機回到初始空間位置。
隨後，處理器1120執行步驟4300以判斷已調整虛擬相機是否由初始空間位置移動至所有空間位置。舉例而言，已調整虛擬相機可由初始空間位置移動至第一空間位置(如於笛卡爾座標系統中由(0，0)移動至(1，0))，隨後由初始空間位置移動至第二空間位置(如於笛卡爾座標系統中由(0，0)移動至(-1，0))等。已調整虛擬相機的移動量可根據實際需求預設。若判定已調整虛擬相機並未移動至所有空間位置，方法4000回頭執行步驟4100進而移動已調整虛擬相機至其餘空間位置(例如第二空間位置)。隨後處理器1120執行步驟4150、4200以產生其餘數位重建放射影像(DRR)(例如第二數位重建放射影像(DRR))，且計算其它相似度數值(例如第二相似度數值)。隨後，處理器1120執行步驟4250以移動已調整虛擬相機回到初始空間位置。
若判定已調整虛擬相機已移動至所有空間位置，方法4000繼續執行步驟4350。處理器1120隨後執行步驟4350以判斷相應於經移動虛擬相機的相似度數值是否較高。若判定相應於已移動虛擬相機的相似度數值較高，代表相較於在初始或先前的空間位置的已調整虛擬相機產生的數位重建放射影像(DRR)，在下一位置的已調整虛擬相機產生的數位重建放射影像(DRR)更加相似於二維影像。因此，處理器1120隨後執行步驟4400以調整已調整虛擬相機由初始或先前空間位置至下一個空間位置。在本實施例中的初始空間位置代表處理器1120每次初始定位已調整虛擬相機時所在的位置，且先前空間位置代表已調整虛擬相機於調整後重新定位的位置，上述調整係由前文提及之對位(如初始對位)或註冊步驟中的其中一者或其組合所產生。
於步驟4400執行之後，方法4000回頭執行步驟4100。步驟4100、4150、4200、4250、4300以及4350隨後由處理器1120執行。請參閱步驟4350，若判斷於下一個位置的相應經調整之虛擬相機之相似度數值不大於任何一個先前位置的相似度數值，方法4000繼續執行步驟4450。
於步驟4450執行之後，處理器1120執行步驟4500以降低調整量。舉例而言，若先前調整量係由三維影像資料組所呈現的三維目標之座標系統中的先前位置來移動已調整虛擬相機1mm，處理器1120執行步驟4500以降低調整量至移動0.5mm。隨後，處理器1120執行步驟4550以判斷調整量是否小於預設空間數值，舉例而言0.75mm。若判定調整量不小於預設空間數值，方法4000回頭執行步驟4100。
若判定調整量小於預設空間數值，代表數位重建放射影像(DRR)已大致上與二維影像對位完成。因此，可定義影像裝置1300的二維影像資料組已與預先儲存於資料庫1200的三維影像資料組完成註冊。
在一些實施例中，若第一空間參數以及第二空間參數之間的差異不大於預設空間數值，註冊二維影像資料組與三維影像資料組。舉例而言，如第11圖中的步驟4550，第一空間位置以及第二空間位置之間的差異係為步驟4550中的調整量。若第一空間位置以及第二空間位置之間的調整量不大於預設空間數值，代表數位重建放射影像(DRR)已與二維影像資料對位完成。舉例而言，目前空間數值可為0.01mm。若調整量不大於0.01mm，代表數位重建放射影像(DRR)已與二維影像資料對位完成。因此，計算裝置1100的處理器1120可將影像裝置1300的二維影像資料組與儲存於資料庫1200的三維影像資料組進行註冊。
需說明的是，本案不以第11圖所示之實施例的操作為限，其僅用以例示性地繪示本案的實現方式之一。
第12圖係依照本案一實施例繪示一種註冊二維影像資料組與感興趣部位的三維影像資料組的方法5000的流程示意圖。請一併參閱第2圖以及第12圖。於操作中，處理器1120執行步驟5100以對導航平台1000執行初始對位程序，進而提升導航平台1000的準確度。
處理器1120執行步驟5200以執行XY位置對位程序以預設已調整虛擬相機之XY位置，已調整虛擬相機係相應於預先儲存於導航平台1000的資料庫1200之三維影像資料組。
處理器1120執行步驟5300以初步對已調整虛擬相機執行縮圖對位，已調整虛擬相機係相應於預先儲存於導航平台1000的資料庫1200之三維影像資料組。
處理器1120執行步驟5400以對已調整虛擬相機執行原始圖對位，已調整虛擬相機係相應於預先儲存於導航平台1000的資料庫1200之三維影像資料組。
需說明的是，步驟5200中的XY座標對位、步驟5300中的略縮圖(thumbnail)對位以及步驟5400中的初始對位的流程圖皆繪式於第11圖中。差異在於XY座標對位專注於X座標以及Y座標上的影像之對位，略縮圖(thumbnail)對位使用預覽圖或縮小影像以達到快速對位的目的，初始對位則於略縮圖對位(如預覽對位)後進一步改善對位情況。
處理器1120執行步驟5500以判斷是否需要重新對位。若藉由處理器1120或由外科醫生判斷出錯誤或對位失敗，則需要執行重新對位程序。舉例而言，倘若於多次計算循環後，差異一直大於預設數值，方法5000繼續執行步驟5600以重新對位。另一方面，若對位已大致完成且不需執行重新對位程序，則方法5000繼續執行步驟5700。在此狀況下，第12圖中的整體對位程序已執行完成。
在一些實施例中，於已調整虛擬相機產生第一以及第二重建影像之前，導航系統1000使用低解析度影像以基於二維影像執行初步對位。使用低解析度格式是為了降低兩個類似影像之間的干擾或雜訊，因而有益於初步對位。於方法5000的步驟5300中，使用於略縮圖(thumbnail) 對位的數位重建放射影像(DRR)即為低解析度影像。
重對位
需說明的是，本案不以第12圖所示之實施例的操作為限，其僅用以例示性地繪示本案的實現方式之一。
方法5000中步驟5600的重對位流程將詳述如後續第13圖。第13圖係依照本案一實施例繪示一種用以重對位的方法6000之流程示意圖。在臨床實務上，二維影像與三維影像的註冊程序有時會於對位程序中失敗。因此可能導致AP或LA二維影像無法成功地與數位重建放射影像(DRR) 對位完成，數位重建放射影像(DRR)係根據三維影像資料組而產生。然而，對位失敗更常發生於只有其中一個二維影像未與相應數位重建放射影像(DRR)對位完成。一旦任何種類的失敗產生，習知的導航系統皆設定為停止執行註冊程序。對於技術人員或外科醫師的影響極大，需要回到第一步驟並重新執行註冊程序一次。如此將會大幅度地拖慢整體註冊程序。在本實施例中，導航系統1000可藉由執行重新對位流程以解決此問題。
請參閱第2圖以及第13圖，若LA數位重建放射影像(DRR)(或稱為LA三維重建影像)未與LA之C型臂(C-arm)X光影像(或稱為二維影像)完成對位，則需要進行重新對位，處理器1120可獲得AP虛擬相機的空間參數，AP虛擬相機的空間參數係相應於先前步驟中成功註冊至AP之C型臂(C-arm)X光影像的AP數位重建放射影像(DRR)。如上所述，AP虛擬相機於後文中被視為已註冊虛擬相機，且LA虛擬相機於後文中被視為未註冊虛擬相機。然而，本案不以上述實施例為限，可依據實際需求而設定AP虛擬相機為未註冊虛擬相機，且LA虛擬相機為已註冊虛擬相機。
為使第13圖所示之方法6000易於理解，請參考第14圖，其係依照本案一實施例繪示一種虛擬相機VC之示意圖。需說明的是，第14圖中的虛擬相機VC被用以解釋本案之概念。虛擬相機VC的空間參數可包含多種位置及/或方位資訊，例如但不限於向量。已註冊虛擬相機以及未註冊虛擬相機兩者均可以第14圖進行解釋。舉例而言，已註冊虛擬相機以及未註冊虛擬相機的每一者之空間參數可分別包含Z軸與Y軸的向量以及焦點FP，可定義於三維影像資料組產生的三維目標之座標系統。此外，焦點FP可由處理器1120自資料庫1200取得，而非包含於空間參數中。於辨識程序中，已註冊虛擬相機於後文中會被標記為VC1，且其軸向及焦點會被標記為Z1、Y1以及FP1。此外，未註冊虛擬相機於後文中會被標記為VC2，且其軸向及焦點會被標記為Z2、Y2以及FP2。
請參閱第2圖、第13圖以及第14圖，於操作中，處理器1120執行步驟6100在三維影像資料組的座標系統中，由已註冊虛擬相機的空間參數獲得第一向量。舉例而言，處理器1120可在預先儲存於資料庫1200的三維影像資料組之座標系統中，由已註冊虛擬相機VC1之空間參數獲得Z1軸。
處理器1120執行步驟6200透過至少一轉換矩陣轉換已註冊虛擬相機的第一向量，而於三維影像資料組的座標系統中，獲得未註冊虛擬相機的第一轉換向量。舉例而言，處理器1120可透過設定或預先儲存的轉換矩陣以轉換已註冊虛擬相機VC1的Z1軸，而於三維影像資料組的座標系統中，獲得未註冊虛擬相機VC2的Z2軸，設定或預先儲存的轉換矩陣係由處理器1120根據導航系統1000中的特別元件的空間關係而建立。
處理器執行步驟6300在三維影像資料組的座標系統，獲得未註冊虛擬相機的焦點，未註冊虛擬相機係在二維影像資料組的參考點上，未註冊二維影像係未註冊LA之X光影像。舉例而言，處理器1120可根據先前執行的未成功註冊，在三維影像資料組的座標系統中的二維影像的校準器的中心點，以獲得未註冊虛擬相機VC2的焦點FP2。
處理器執行步驟6400以根據第一轉換向量以及未註冊虛擬相機的焦點重新定位未註冊虛擬相機，以依據未註冊虛擬相機之重新定位以產生更新重建影像。舉例而言，未註冊虛擬相機VC2可被模擬地由其初始位置移動至處理器1120計算出的計算位置，上述計算位置係根據未註冊虛擬相機VC2的Z2軸以及未註冊虛擬相機VC2的焦點FP2計算而得。
在一些實施例中，已註冊虛擬相機的第一向量係由已註冊虛擬相機的位置至已註冊虛擬相機的焦點。舉例而言，如第14圖所示，已註冊虛擬相機VC1的Z1軸係由已註冊虛擬相機VC1的位置至已註冊虛擬相機VC1的焦點FP1。
在一些實施例中，第一向量被定義為三維影像資料組的座標系統中的已註冊虛擬相機(如第14圖中的已註冊虛擬相機VC1)的Z軸(如第14圖中的Z1軸)。
在一些實施例中，處理器1120用以由記憶體1110獲得複數個命令以執行以下步驟：於三維影像資料組的座標系統中，由已註冊虛擬相機的空間參數獲得第二向量；以及於三維影像資料組的座標系統中，根據已註冊虛擬相機的第二向量由未註冊虛擬相機的空間參數獲得第二轉換向量。
舉例而言，處理器1120在三維影像資料組的座標系統中，由已註冊虛擬相機VC1的空間參數獲得Y軸。處理器1120在三維影像資料組的座標系統中，根據已註冊虛擬相機VC1的空間參數的Y1軸獲得未註冊虛擬相機VC2的Y2軸。
在一些實施例中，第二向量係由中心點(如第14圖中的點FP)至重建影像的上側(如第14圖中的上側)，上述重建影像係由平行於重建影像的已註冊虛擬相機(如第14圖中的已註冊虛擬相機VC1)獲得。
在一些實施例中，在三維影像資料組的座標系統中，第二向量被定義為已註冊虛擬相機(如第14圖中的已註冊虛擬相機VC1)的空間參數的Y軸(如第14圖中的Y1軸)。
需說明的是，本案不以第13圖及第14圖所示之實施例的結構及操作為限，其僅用以例示性地繪示本案的實現方式之一。
在一些實施例中，二維影像資料組包含第一以及第二二維影像，且至少一轉換矩陣包含用以轉換第一二維影像的座標系統至第二二維影像的座標系統的第一矩陣。舉例而言，二維影像資料組包含AP二維影像以及LA二維影像，且轉換矩陣包含用以轉換AP二維影像的座標系統至LA二維影像的座標系統的第一矩陣。
在一些實施例中，於三維影像資料組的座標系統中，參考點位於二維影像資料組中的校準器模組的中心點。舉例而言，參考點位於校準器模組的中心點(或稱原點)，校準器模組係顯示於未註冊AP或LA之X光二維影像，未註冊AP或LA之X光二維影像包含於二維影像資料組中。參考點模擬地定位及定方位在三維影像資料組的座標系統中，以進一步提供給導航系統1000的程式。
在一些實施例中，至少一轉換矩陣包含第二矩陣以及第三矩陣，其中第二矩陣用以轉換參考標記的座標系統至三維影像資料組的座標系統，且第三矩陣用以轉換參考標記的座標系統至追蹤器模組的座標系統。舉例而言，至少一轉換矩陣包含第二矩陣以及第三矩陣。第二矩陣用以轉換第1圖中的校準器1510、1530以及動態參考座標1520A之座標系統至第1圖中儲存於資料庫1200的三維影像資料組之座標系統。第三矩陣用以轉換第1圖中的校準器1510、1530以及動態參考座標1520A之座標系統至第1圖中的追蹤器1400之座標系統。轉換矩陣以及座標系統的轉換為習知技術。更多資訊可參考”L. Dorst, etc., Geometric Algebra For Computer Science, published by Morgan Kaufmann Publishers and M. N. Oosterom, etc., Navigation of a robot-integrated fluorescence laparoscope in preoperative SPECT/CT and intraoperative freehand SPECT imaging data: A phantom study, August 2016, Journal of Biomedical Optics 21(8):086008”，上述所列的參考文獻全體皆引用作為本說明書的揭示內容。
第12圖中方法5000的步驟5600之重新對位將於後續第15圖中說明。第15圖係依照本案一實施例繪示一種重新對位方法7000的流程示意圖。請參閱第2圖以及第15圖，若相應於第5圖或第7圖中的椎體V1的未註冊虛擬相機需要重新對位，處理器1120可找出相應於第5圖或第7圖中的椎體V0或V2的已註冊虛擬相機。
請參閱第2圖以及第15圖，於操作中，處理器1120執行步驟7100以獲得第一已註冊虛擬相機的第一空間參數，其中第一已註冊虛擬相機之設置位置係對應於二維影像資料組的第一二維影像進行定位。舉例而言，處理器1120可獲得相應於第5圖或第7圖中的椎體V0或V2的已註冊虛擬相機的第一空間參數。已註冊虛擬相機之設置位置係對應於相關第4圖或第6圖中的椎體V0或V2的二維影像進行定位。
請參閱第2圖以及第15圖，於操作中，處理器1120執行步驟7200以第一已註冊虛擬相機的第一空間參數來調整第一未註冊虛擬相機的第二空間參數，藉以由重新設置第一未註冊虛擬相機之位置，以產生更新重建影像，其中第一未註冊虛擬相機之設置位置並未能對應二維影像資料組的第一二維影像。舉例而言，處理器1120可以已註冊虛擬相機的第一空間參數調整未註冊虛擬相機的第二空間參數。其中已註冊虛擬相機的第一空間參數相應於第5圖或第7圖所示之椎體V0或V2，未註冊虛擬相機的第二空間參數相應於第5圖或第7圖所示之椎體V1。未註冊虛擬相機之設置位置並未能對應第4圖或第6圖所示之椎體V1的二維影像。
在一些實施例中，感興趣部位的第一部分包含於第一二維影像，感興趣部位的第二部分包含於第一二維影像，且感興趣部位的第一部分以及第二部分彼此鄰近。舉例而言，目標9000為脊椎疾病的病人，其需要執行手術以穩定三個椎節。三個椎節皆視為感興趣部位且繪式於第4圖以及第6圖中。根據三維影像資料組之對位的成功或失敗，椎節可被分類為兩個部分。
第一部分包含椎體V0或V2，且第二部分包含椎體V1。更詳細而言，第1圖中的感興趣部位的第一部分包含於相應於椎體V0或V2的第一二維影像中。第4圖中的第一二維影像作為AP之X光影像以及第6圖中的第一二維影像作為LA之X光影像。第1圖中的感興趣部位的第二部分包含於相應於椎體V1的第一二維影像中。繪示於第4圖以及第6圖中的是第一二維影像。如第4圖以及第6圖所示，包含於目標9000的第一部分的椎體V0或V2鄰近於包含於相應於椎體V1的目標9000的第二部分的椎體V1。
在一些實施例中，根據二維影像資料組的第一二維影像中的第一標誌以定義感興趣部位的第一部分，且根據二維影像資料組的第一二維影像中的第二標誌以定義感興趣部位的第二部分。舉例而言，第1圖中的目標9000的感興趣部位的第一部分可被導航系統1000的程式定義，以自動地辨識椎體的影像邊緣，椎體以V0或V2被標記於第4圖以及第6圖中的二維影像中。類似於第一部分的方式，第1圖中的目標9000的感興趣部位的第二部分被導航系統1000的程式定義，以自動地辨識椎體的影像邊緣，椎體以V1標記於第4圖以及第6圖中的二維影像中。
在一些實施例中，第一已註冊虛擬相機的第一空間參數包含位置及/或方位資料，而位置及/或方位定義之方式係以三維個體相對於第一已註冊虛擬相機來看，或是以第一已註冊虛擬相機相對於三維個體來看。舉例而言，已註冊虛擬相機的第一空間參數包含位置及/或方位資料，而位置及/或方位定義之方式係以三維個體相對於已註冊虛擬相機來看，或是以已註冊虛擬相機相對於三維個體來看。其中已註冊虛擬相機的第一空間參數相應於第5圖或第7圖中的椎體V0或V2，三維個體係由三維影像資料組產生。
在一些實施例中，第一未註冊虛擬相機的第二空間參數包含位置及/或方向資料，而位置及/或方位定義之方式係以三維個體相對於第一未註冊虛擬相機來看，或是以第一未註冊虛擬相機相對於三維個體來看。舉例而言，未註冊虛擬相機的第二空間參數包含位置及/或方位資料，而位置及/或方位定義之方式係以三維個體相對於未註冊虛擬相機來看，或是以未註冊虛擬相機相對於三維個體來看。其中未註冊虛擬相機的第二空間參數相應於第5圖或第7圖中的椎體V1，三維個體係由三維影像資料組產生。
在一些實施例中，根據複數個相似度數值之間的比較結果以設定第一註冊虛擬相機之位置，其中複數個相似度數值之間的比較結果係根據不同的複數個重建影像以及二維影像資料的第一二維影像計算而得，其中不同的複數個重建影像係自三維影像資料組獲得。舉例而言，根據複數個相似度數值之間的比較結果以設定已註冊虛擬相機之位置，其中複數個相似度數值之間的比較結果係根據不同的數位重建放射影像(DRR)以及二維影像計算而得，其中不同的數位重建放射影像(DRR)係自三維影像資料組獲得，二維影像相關於第4圖或第6圖中的椎體V0或V2。
在一些實施例中，各相似度數值係透過區域標準化相關(local normalized correlation, LNC)、誤差平方和(sum of squared differences, SSD)、標準化交相關(normalized cross-correlation, NCC)或相關比(correlation ratio,CR)來加以計算。
在一些實施例中，處理器1120更用以執行以下步驟：定義第一未註冊的虛擬相機的第二空間參數以作為N空間參數；判斷第一已註冊虛擬相機之設置位置是否已對應二維影像資料組的第一二維影像，其中第一已註冊虛擬相機具有N-M空間參數，N以及M為整數，且M小於N；以及若第一已註冊虛擬相機之設置位置已對應二維影像資料組的第一二維影像，定義N-M空間參數以作為第一已註冊虛擬相機的第一空間參數。
舉例而言，計算裝置1100的處理器1120可定義未註冊虛擬相機的第二空間參數以作為N空間參數。計算裝置1100的處理器1120可判斷已註冊虛擬相機之設置位置是否已對應二維影像，二維影像關於第4圖或第6圖中的脊椎骨V0或V2，其中已註冊虛擬相機具有N-M空間參數，N以及M為整數，且M小於N。若已註冊虛擬相機之設置位置已對應二維影像，計算裝置1100的處理器1120定義N-M空間參數以作為已註冊虛擬相機的第一空間參數，二維影像關於第4圖或第6圖中的椎體V0或V2。詳細而言，N空間參數係相應於未註冊虛擬相機。導航系統1000可找到相應於已註冊虛擬相機的N-M空間參數，且N-M空間參數被用於未註冊虛擬相機以利於後續程序之進行。
在一些實施例中，處理器1120更用以執行以下步驟：定義第一未註冊的虛擬相機之第二空間參數為N空間參數；判斷第一已註冊虛擬相機之設置位置是否已對應二維影像資料組的第一二維影像，其中第一已註冊虛擬相機具有一N+M空間參數，N以及M為整數，且M小於N；以及若第一註冊虛擬相機之設置位置已對應二維影像資料組的第一二維影像，定義N+M空間參數以作為第一註冊虛擬相機的第一空間參數。
舉例而言，計算裝置1100的處理器1120可定義未註冊虛擬相機的第二空間參數以作為N空間參數。計算裝置1100的處理器1120判斷已註冊虛擬相機之設置位置是否已對應二維影像，二維影像關於第4圖或第6圖中的椎體V0或V2，其中已註冊虛擬相機具有N+M空間參數，N以及M為整數，且M小於N。若註冊虛擬相機之設置位置已對應二維影像，計算裝置1100的處理器1120可定義N+M空間參數以作為註冊虛擬相機的第一空間參數。二維影像關於第4圖或第6圖中的椎體V0或V2。
需說明的是，本案不以第15圖所示之實施例的操作為限，其僅用以例示性地繪示本案的實現方式之一。
如上所述，第12圖中方法5000的步驟5600之重新對位包含但不限於第13圖以及第15圖中的兩個重對位程序。為使第13圖以及第15圖的重對位程序易於理解，請參閱第16圖，其係依照本案一實施例繪示一種用以重對位方法8000之流程示意圖。
請一併參閱第2圖以及第16圖。於操作中，處理器1120執行步驟8200以判斷AP虛擬相機取得的AP數位重建放射影像(DRR)以及LA虛擬相機取得的LA數位重建放射影像(DRR)的其中一者是否未註冊完成。若判定AP虛擬相機或LA虛擬相機取得的數位重建放射影像(DRR)其中一者未註冊，方法8000繼續執行步驟8300。詳細而言，若AP虛擬相機未註冊，處理器1120執行步驟8300以根據已註冊LA虛擬相機來重新設定未註冊的AP虛擬相機。第13圖中的方法6000相似於方法8000中的步驟8300。當AP虛擬相機或LA虛擬相機取得的數位重建放射影像(DRR)未註冊，方法6000會找出以及使用已註冊的虛擬相機以重新設定未註冊虛擬相機。隨後，處理器1120執行步驟8700以使用重設的虛擬相機執行原始圖對位。此外，處理器1120執行步驟8400以調整ROI區域以避免干擾。
於步驟8200執行後，若判定AP虛擬相機以及LA虛擬相機取得的數位重建放射影像(DRR)均未註冊，方法8000繼續執行步驟8500。詳細而言，若AP虛擬相機以及LA虛擬相機均未註冊，代表相應於第一椎體的AP以及LA數位重建放射影像(DRR)之註冊均失敗。處理器1120執行步驟8500以找出相應於第二脊椎骨的其它AP虛擬相機以及其它LA虛擬相機，其中虛擬相機的數位重建放射影像(DRR)成功與三維影像資料組註冊。隨後，處理器1120可根據相應於第二脊椎骨的已註冊AP虛擬相機以及已註冊LA虛擬相機的空間參數或資料，以重新設定相應於第一脊椎骨的未註冊AP虛擬相機以及未註冊LA虛擬相機。第15圖中的方法7000相似於方法8000中的步驟8500。當相應於第一脊椎骨的AP虛擬相機以及LA虛擬相機取得的數位重建放射影像(DRR)均註冊失敗，方法7000會找出以及使用相應於第二脊椎骨的已註冊AP虛擬相機以及已註冊LA虛擬相機的空間參數或資料以重新設定相應於第一脊椎骨的未註冊AP虛擬相機以及未註冊LA虛擬相機。隨後，處理器1120執行步驟8700以使用重設的虛擬相機以執行原始圖對位。此外，處理器1120執行步驟8600以調整感興趣區域以避免干擾。
由上述本案實施方式可知，應用本案具有下列優點。本案實施例所示之註冊感興趣部位的二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統可預先儲存感興趣部位的三維影像資料組於資料庫，且隨後於手術中僅需擷取病人(感興趣部位)的兩個X光影像(二維影像)即可建立二維影像資料組以及三維影像資料組之間的關係。隨後，本案的方法以及導航系統可藉由預先儲存的三維影像資料組而於手術中提供精確的導航。由於本案的方法以及導航系統僅需擷取感興趣部位的兩個X光影像(二維影像)，病人(感興趣部位)的輻射曝光量可降低98%以上。如上所述，本案提供之方法及導航系統可以更精確且更有效率的方式來執行二維與三維註冊。
雖然上文實施方式中揭露了本案的具體實施例，然其並非用以限定本案，本案所屬技術領域中具有通常知識者，在不悖離本案之原理與精神的情形下，當可對其進行各種更動與修飾，因此本案之保護範圍當以附隨申請專利範圍所界定者為準。
1000:導航系統 1100:計算裝置 1110:記憶體 1120:處理器 1130:I/o介面 1200:資料庫 1300:影像裝置 1310:X光發射 1320:X光接收器 1400:光學追蹤器 1510:校準器 1521:中心點 1523:反射器 1525:反射器 1527:反射器 1520a:動態參考座標 1520b:動態參考座標 1530:校準器 2000:方法 2100~2300:步驟 3000:方法 3100~3600:步驟 4000:方法 4050~4600:步驟 5000:方法 5100~5700:步驟 6000:方法 6100~6400:步驟 7000:方法 7100~7200:步驟 8000:方法 8100~8800:步驟 9000:目標 9500:導航器械 FP:焦點 V0:標記 V1:標記 V2:標記 V0’:標記 V1’:標記 V2’:標記 VC:虛擬相機 VL1:第一虛擬線 VL2:第二虛擬線 Y:Y軸 Z:Z軸
為讓本案之上述和其他目的、特徵、優點與實施例能更明顯易懂，所附圖式之說明如下： 第1圖係依照本案一實施例繪示一種導航系統的示意圖。 第2圖係依照本案一實施例繪示一種如第1圖所示之導航系統的計算裝置、資料庫以及光學追蹤器之示意圖。 第3圖係依照本案一實施例繪示一種註冊二維影像資料組與感興趣部位的三維影像資料組的方法的流程示意圖。 第4圖係依照本案一實施例繪示一種感興趣部位的部分內容示意圖。 第5圖係依照本案一實施例繪示一種感興趣部位的部分內容示意圖。 第6圖係依照本案一實施例繪示一種感興趣部位的部分內容示意圖。 第7圖係依照本案一實施例繪示一種感興趣部位的部分內容示意圖。 第8圖係依照本案一實施例繪示一種如第1圖所示之C型臂(C-arm)裝置的操作示意圖。 第9圖係依照本案一實施例繪示一種如第1圖所示之C型臂(C-arm)裝置的操作示意圖。 第10圖係依照本案一實施例繪示一種註冊二維影像資料組與感興趣部位的三維影像資料組的方法的流程示意圖。 第11圖係依照本案一實施例繪示一種註冊二維影像資料組與感興趣部位的三維影像資料組的方法的流程示意圖。 第12圖係依照本案一實施例繪示一種註冊二維影像資料組與感興趣部位的三維影像資料組的方法的流程示意圖。 第13圖係依照本案一實施例繪示一種註冊二維影像資料組與感興趣部位的三維影像資料組的方法的流程示意圖。 第14圖係依照本案一實施例繪示一種如第1圖所示之導航系統的計算裝置所模擬的虛擬相機之示意圖。 第15圖係依照本案一實施例繪示一種註冊二維影像資料組與感興趣部位的三維影像資料組的方法的流程示意圖。 第16圖係依照本案一實施例繪示一種註冊二維影像資料組與感興趣部位的三維影像資料組的方法的流程示意圖。 根據慣常的作業方式，圖中各種特徵與元件並未依比例繪製，其繪製方式是為了以最佳的方式呈現與本案相關的具體特徵與元件。此外，在不同圖式間，以相同或相似的元件符號來指稱相似的元件/部件。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
1100:計算裝置
1110:記憶體
1120:處理器
1130:I/O介面
1200:資料庫
1300:影像裝置
1400:光學追蹤器

Claims (30)

  1. 一種註冊一感興趣部位的一二維影像資料組與該感興趣部位的一三維影像資料組的方法，該方法包含：基於一第一空間參數由該三維影像資料組產生一第一重建影像；根據該第一重建影像以及該二維影像資料組以計算一參考相似度數值；基於一第二空間參數由該三維影像資料組產生一第二重建影像；根據該第二重建影像以及該二維影像資料組以計算一比較相似度數值；比較該比較相似度數值以及該參考相似度數值；若該比較相似度數值不大於該參考相似度數值，註冊該二維影像資料組與該三維影像資料組，其中利用註冊後的該二維影像資料組以及該三維影像資料組於一電腦輔助手術導航中；以及若該比較相似度數值大於該參考相似度數值，更包括：在該三維影像資料組的一座標系統定義一已註冊虛擬相機的一第一向量；透過至少一轉換矩陣轉換該已註冊虛擬相機的該第一向量而獲得位於該三維影像資料組的該座標系統的一未註冊虛擬相機的一第一轉換向量；在該三維影像資料組的該座標系統，定義該未註冊 虛擬相機的一焦點，該未註冊虛擬相機係在該二維影像資料組的一參考點上；以及根據該第一轉換向量以及該未註冊虛擬相機的該焦點重新定位該未註冊虛擬相機，以依據該未註冊虛擬相機之重新定位以產生一更新重建影像。
  2. 如請求項1所述之方法，更包含：若該比較相似度數值大於該參考相似度數值，基於一第三空間參數由該三維影像資料組產生一第三重建影像；根據該第三重建影像以及該二維影像資料組以計算一第二比較相似度數值；比較該第二比較相似度數值以及該參考相似度數值；以及若該第二比較相似度數值不大於該參考相似度數值，註冊該二維影像資料組與該三維影像資料組。
  3. 如請求項1所述之方法，其中基於該第一空間參數或該第二空間參數由該三維影像資料組產生該第一重建影像或該第二重建影像的步驟包含：判斷一虛擬相機在該三維影像資料組之一座標系統內一位置以及一方位；以利用對應該位置以及該方位的該虛擬相機，以該三維影像資料組為對象，產生一二維影像，作為該第一重建影像或該第二重建影像。
  4. 如請求項3所述之方法，其中該虛擬相機係為一模組化的功能指令，其包括一演算法及一方程式其中一者。
  5. 如請求項3所述之方法，其中各該第一空間參數以及該第二空間參數係用以定義該虛擬相機的一位置及/或一方位，而該位置及/或該方位定義之方式係以一三維個體相對於該虛擬相機來看，或是以該虛擬相機相對於該三維個體來看。
  6. 如請求項1所述之方法，其中各該第一空間參數以及該第二空間參數分別包含一位置、一方位以及一包含該位置以及該方位的參數的其中一者。
  7. 如請求項1所述之方法，其中各該比較相似度數值以及該參考相似度數值係透過區域標準化相關法(local normalized correlation,LNC)、誤差平方和法(sum of squared differences,SSD)、標準化交相關法(normalized cross-correlation,NCC)或相關比法(correlation ratio,CR)來加以計算。
  8. 如請求項1所述之方法，其中該三維影像資料組係產生自一核磁共振成像(magnetic resonance imaging,MRI)裝置、一等中心技術C型臂螢光成像(iso-centric C-arm fluoroscopic imaging)裝置、一O型臂(O-arm)裝置、一雙平面螢光(bi-plane fluoroscopy)裝置、一電腦斷層掃描(computed tomography,CT)裝置、一多層次電腦斷層掃描(multi-slice computed tomography,MSCT)裝置、一高頻超音波(high frequency ultrasound,HIFU)裝置、一光學相干斷層掃描(optical coherence tomography,OCT)裝置、一血管內超音波(intra-vascular ultrasound,IVUS)裝置、一3D或4D超音波裝置以及一術中電腦斷層掃描(intraoperative computed tomography,CT)裝置的其中一者。
  9. 如請求項1所述之方法，其中該二維影像資料組係產生自一C型臂螢光成像(C-arm fluoroscopic imaging)裝置、一核磁共振成像(magnetic resonance imaging,MRI)裝置、一等中心技術C型臂螢光成像(iso-centric C-arm fluoroscopic imaging)裝置、一O型臂(O-arm)裝置、一雙平面螢光(bi-plane fluoroscopy)裝置、一電腦斷層掃描(computed tomography,CT)裝置、一多層次電腦斷層掃描(multi-slice computed tomography,MSCT)裝置、一高頻超音波(high frequency ultrasound,HIFU)裝置、一光學相干斷層掃描(optical coherence tomography,OCT)裝置、一血管內超音波(intra-vascular ultrasound,IVUS)裝置、一二維、三維或四維超音波裝置以及一術中電腦斷層掃描(intraoperative computed tomography,CT)裝置的其中一者。
  10. 如請求項1所述之方法，其中該第一空間參數係根據一二維影像擷取裝置上的至少一標誌以及該感興趣部位之間的一空間關係所產生。
  11. 如請求項1所述之方法，其中該第一空間參數係為一先前比較步驟中產生的複數個相似度中具有最大相似度的一空間參數。
  12. 如請求項1所述之方法，其中該第二空間參數在其所對應之一虛擬相機相對於該三維影像資料組之一距離及/或一方位上不同於該第一空間參數。
  13. 如請求項1所述之方法，更包含：若該第一空間參數以及該第二空間參數之間的一差異不大於一預設空間數值，註冊該二維影像資料組與該三維影像資料組。
  14. 如請求項1所述之方法，其中該第一重建影像以及該第二重建影像係為低解析度影像。
  15. 如請求項1所述之方法，更包含：根據對應該二維影像資料組以及該感興趣部位之關係而計算所得的一距離參數調整一第一虛擬相機；根據一第一向量以及一第二向量之間的一角度差異旋轉該第一虛擬相機，其中該第一向量係由該三維影像資料組中的兩個空間標記計算而得，且該第二向量係由該二維影像資料組中的兩個第一平面標記計算而得；以及根據一角度旋轉該第一虛擬相機，該角度係對應具有最大相似度參數之重建影像以及該二維影像資料組之角度差，最大相似度參數之重建影像係於該三維影像資料組的複數個重建影像計算而得的複數個相似度參數中具有最大相似度參數者，該複數個重建影像包含由該第一虛擬相機產生的重建影像以及由其他虛擬相機產生的其他重建影像，且其他重建影像與該第一虛擬相機產生的重建影像具有不同的角度或畫素。
  16. 一種導航系統，用以註冊一感興趣部位的一二維影像資料組與該感興趣部位的一三維影像資料組，包含：一記憶體，用以儲存複數個命令；以及一處理器，用以由該記憶體獲得該複數個命令以執行以 下步驟：基於一第一空間參數由該三維影像資料組產生一第一重建影像；根據該第一重建影像以及該二維影像資料組以計算一參考相似度數值；基於一第二空間參數由該三維影像資料組產生一第二重建影像；根據該第二重建影像以及該二維影像資料組以計算一比較相似度數值；比較該比較相似度數值以及該參考相似度數值；以及若該比較相似度數值不大於該參考相似度數值，註冊該二維影像資料組與該三維影像資料組，其中利用註冊後的該二維影像資料組以及該三維影像資料組於一電腦輔助手術導航中；以及若該比較相似度數值大於該參考相似度數值，更包括：在該三維影像資料組的一座標系統定義一已註冊虛擬相機的一第一向量；透過至少一轉換矩陣轉換該已註冊虛擬相機的該第一向量而獲得位於該三維影像資料組的該座標系統的一未註冊虛擬相機的一第一轉換向量；在該三維影像資料組的該座標系統，定義該未註冊虛擬相機的一焦點，該未註冊虛擬相機係在該二維影像資料組的一參考點上；以及根據該第一轉換向量以及該未註冊虛擬相機的該焦點重 新定位該未註冊虛擬相機，以依據該未註冊虛擬相機之重新定位以產生一更新重建影像。
  17. 如請求項16所述之導航系統，其中該處理器用以由該記憶體獲得該複數個命令以執行以下步驟：若該比較相似度數值大於該參考相似度數值，基於一第三空間參數由該三維影像資料組產生一第三重建影像；根據該第三重建影像以及該二維影像資料組以計算一第二比較相似度數值；比較該第二比較相似度數值以及該參考相似度數值；以及若該第二比較相似度數值不大於該參考相似度數值，註冊該二維影像資料組與該三維影像資料組。
  18. 如請求項16所述之導航系統，其中透過該處理器所執行之基於該第一空間參數或該第二空間參數由該三維影像資料組產生該第一重建影像或該第二重建影像的步驟包含：依據一三維目標定位一虛擬相機，其中該三維目標根據該第一重建影像或該第二重建影像組成，藉以透過該虛擬相機擷取該三維目標的該第一重建影像或該第二重建影像。
  19. 如請求項18所述之導航系統，其中該虛 擬相機係為一模組化的功能指令，其包括一演算法及一方程式其中一者。
  20. 如請求項18所述之導航系統，其中各該第一空間參數以及該第二空間參數係用以定義該虛擬相機的一位置及/或一方位，而該位置及/或該方位定義之方式係以該三維個體相對於該虛擬相機來看，或是以該虛擬相機相對於該三個體來看。
  21. 如請求項16所述之導航系統，其中各該第一空間參數以及該第二空間參數包含一位置、一方位以及一包含該位置以及該方位的參數的其中一者。
  22. 如請求項16所述之導航系統，其中各該比較相似度數值以及該參考相似度數值係透過區域標準化相關法(local normalized correlation,LNC)、誤差平方和法(sum of squared differences,SSD)、標準化交相關法(normalized cross-correlation,NCC)或相關比法(correlation ratio,CR)來加以計算。
  23. 如請求項16所述之導航系統，其中該三維影像資料組係產生自一核磁共振成像(magnetic resonance imaging,MRI)裝置、一等中心技術C型臂螢光成像(iso-centric C-arm fluoroscopic imaging)裝置、一O型臂(O-arm)裝置、一雙平面螢光(bi-plane fluoroscopy)裝置、一電腦斷層掃描(computed tomography,CT)裝置、一多層次電腦斷層掃描(multi-slice computed tomography,MSCT)裝置、一高頻超音波(high frequency ultrasound,HIFU)裝置、一光學相干斷層掃描(optical coherence tomography,OCT)裝置、一血管內超音波(intra-vascular ultrasound,IVUS)裝置、一3D或4D超音波裝置以及一術中電腦斷層掃描(intraoperative computed tomography,CT)裝置的其中一者。
  24. 如請求項16所述之導航系統，其中該二維影像資料組係產生自一C型臂螢光成像(C-arm fluoroscopic imaging)裝置、一核磁共振成像(magnetic resonance imaging,MRI)裝置、一等中心技術C型臂螢光成像(iso-centric C-arm fluoroscopic imaging)裝置、一O型臂(O-arm)裝置、一雙平面螢光(bi-plane fluoroscopy)裝置、一電腦斷層掃描(computed tomography,CT)裝置、一多層次電腦斷層掃描(multi-slice computed tomography,MSCT)裝置、一高頻超音波(high frequency ultrasound,HIFU)裝置、一光學相干斷層掃描(optical coherence tomography,OCT)裝置、一血 管內超音波(intra-vascular ultrasound,IVUS)裝置、一二維、三維或四維超音波裝置以及一術中電腦斷層掃描(intraoperative computed tomography,CT)裝置的其中一者。
  25. 如請求項16所述之導航系統，其中該第一空間參數係根據一二維影像擷取裝置上的至少一標誌以及該感興趣部位之間的一空間關係所產生。
  26. 如請求項16所述之導航系統，其中該第一空間參數係為一先前比較步驟中產生的複數個相似度中具有最大相似度的一空間參數。
  27. 如請求項16所述之導航系統，其中該第二空間參數在其所對應之一虛擬相機相對於該三維影像資料組之一距離及/或一方位上不同於該第一空間參數。
  28. 如請求項16所述之導航系統，其中該處理器用以由該記憶體獲得該複數個命令以執行以下步驟：若該第一空間參數以及該第二空間參數之間的一差異不大於一預設空間數值，註冊該二維影像資料組與該三維影像資料組。
  29. 如請求項16所述之導航系統，其中該第 一重建影像以及該第二重建影像係為低解析度影像。
  30. 如請求項16所述之導航系統，其中該處理器用以由該記憶體獲得該複數個命令以執行以下步驟：根據對應該二維影像資料組以及該感興趣部位之關係而計算所得的一距離參數調整一第一虛擬相機；根據一第一向量以及一第二向量之間的一角度差異旋轉該第一虛擬相機，其中該第一向量係由該三維影像資料組中的兩個空間標記計算而得，且該第二向量係由該二維影像資料組中的兩個第一平面標記計算而得；以及根據一角度旋轉該第一虛擬相機，該角度係對應具有最大相似度參數之重建影像以及該二維影像資料組之角度差，最大相似度參數之重建影像係於該三維影像資料組的複數個重建影像計算而得的複數個相似度參數中具有最大相似度參數者，該複數個重建影像包含由該第一虛擬相機產生的重建影像以及由其他虛擬相機產生的其他重建影像，且其他重建影像與該第一虛擬相機產生的重建影像具有不同的角度或畫素。
TW111124857A 2021-11-18 2022-07-01 註冊二維影像資料組與感興部位的三維影像資料組的方法及導航系統 TWI842001B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202163264250P 2021-11-18 2021-11-18
US63/264,250 2021-11-18

Publications (2)

Publication Number Publication Date
TW202333628A TW202333628A (zh) 2023-09-01
TWI842001B true TWI842001B (zh) 2024-05-11

Family

ID=86323763

Family Applications (4)

Application Number Title Priority Date Filing Date
TW111124859A TWI836492B (zh) 2021-11-18 2022-07-01 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統
TW111124858A TWI836491B (zh) 2021-11-18 2022-07-01 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統
TW111124857A TWI842001B (zh) 2021-11-18 2022-07-01 註冊二維影像資料組與感興部位的三維影像資料組的方法及導航系統
TW111124860A TWI836493B (zh) 2021-11-18 2022-07-01 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統

Family Applications Before (2)

Application Number Title Priority Date Filing Date
TW111124859A TWI836492B (zh) 2021-11-18 2022-07-01 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統
TW111124858A TWI836491B (zh) 2021-11-18 2022-07-01 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW111124860A TWI836493B (zh) 2021-11-18 2022-07-01 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統

Country Status (2)

Country Link
US (4) US12106497B2 (zh)
TW (4) TWI836492B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2536650A (en) 2015-03-24 2016-09-28 Augmedics Ltd Method and system for combining video-based and optic-based augmented reality in a near eye display
US11980506B2 (en) 2019-07-29 2024-05-14 Augmedics Ltd. Fiducial marker
US11382712B2 (en) 2019-12-22 2022-07-12 Augmedics Ltd. Mirroring in image guided surgery
TWI836492B (zh) * 2021-11-18 2024-03-21 瑞鈦醫療器材股份有限公司 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統
WO2024057210A1 (en) 2022-09-13 2024-03-21 Augmedics Ltd. Augmented reality eyewear for image-guided medical intervention

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150117605A1 (en) * 2013-10-31 2015-04-30 Kabushiki Kaisha Toshiba Image processor, treatment system, and image processing method

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6470207B1 (en) 1999-03-23 2002-10-22 Surgical Navigation Technologies, Inc. Navigational guidance via computer-assisted fluoroscopic imaging
US7570791B2 (en) * 2003-04-25 2009-08-04 Medtronic Navigation, Inc. Method and apparatus for performing 2D to 3D registration
US7889905B2 (en) * 2005-05-23 2011-02-15 The Penn State Research Foundation Fast 3D-2D image registration method with application to continuously guided endoscopy
WO2007064739A2 (en) * 2005-11-29 2007-06-07 Surgi-Vision, Inc. Mri-guided localization and/or lead placement systems, related methods, devices and computer program products
US7885441B2 (en) * 2006-10-11 2011-02-08 General Electric Company Systems and methods for implant virtual review
EP2088556B1 (en) * 2008-02-05 2017-02-01 Siemens Healthcare GmbH Method and system for registration to align at least one preoperative image to at least one intraoperativley acquired image
US9330490B2 (en) * 2011-04-29 2016-05-03 University Health Network Methods and systems for visualization of 3D parametric data during 2D imaging
CN102609979B (zh) * 2012-01-17 2015-02-18 北京工业大学 一种基于傅里叶梅林域的二维三维图像配准方法
CN102999902B (zh) * 2012-11-13 2016-12-21 上海交通大学医学院附属瑞金医院 基于ct配准结果的光学导航定位导航方法
WO2015101948A2 (en) * 2014-01-06 2015-07-09 Body Vision Medical Ltd. Surgical devices and methods of use thereof
US10154239B2 (en) * 2014-12-30 2018-12-11 Onpoint Medical, Inc. Image-guided surgery with surface reconstruction and augmented reality visualization
US10702226B2 (en) * 2015-08-06 2020-07-07 Covidien Lp System and method for local three dimensional volume reconstruction using a standard fluoroscope
US10248883B2 (en) * 2015-08-20 2019-04-02 Align Technology, Inc. Photograph-based assessment of dental treatments and procedures
US11210780B2 (en) * 2016-08-05 2021-12-28 Brainlab Ag Automatic image registration of scans for image-guided surgery
US10499997B2 (en) * 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
WO2018132804A1 (en) * 2017-01-16 2018-07-19 Lang Philipp K Optical guidance for surgical, medical, and dental procedures
US10603118B2 (en) * 2017-10-27 2020-03-31 Synaptive Medical (Barbados) Inc. Method for recovering patient registration
WO2019148154A1 (en) * 2018-01-29 2019-08-01 Lang Philipp K Augmented reality guidance for orthopedic and other surgical procedures
US10872449B2 (en) * 2018-05-02 2020-12-22 Covidien Lp System and method for constructing virtual radial ultrasound images from CT data and performing a surgical navigation procedure using virtual ultrasound images
US20220079675A1 (en) * 2018-11-16 2022-03-17 Philipp K. Lang Augmented Reality Guidance for Surgical Procedures with Adjustment of Scale, Convergence and Focal Plane or Focal Point of Virtual Data
CN111588464B (zh) * 2019-02-20 2022-03-04 忞惪医疗机器人(苏州)有限公司 一种手术导航方法及系统
CN113645896A (zh) * 2019-03-29 2021-11-12 鹰视医疗影像有限公司 手术计划、手术导航和成像用系统
US11382671B2 (en) * 2019-06-25 2022-07-12 Warsaw Orthopedic, Inc. Surgical instrument and method
CN110522516B (zh) * 2019-09-23 2021-02-02 杭州师范大学 一种用于手术导航的多层次交互可视化方法
CN111329589A (zh) * 2020-04-07 2020-06-26 张海民 一种手持式智能融合造影导航系统
CN112641514B (zh) * 2020-12-17 2022-10-18 杭州堃博生物科技有限公司 一种微创介入导航系统与方法
US11295460B1 (en) * 2021-01-04 2022-04-05 Proprio, Inc. Methods and systems for registering preoperative image data to intraoperative image data of a scene, such as a surgical scene
TWI836492B (zh) * 2021-11-18 2024-03-21 瑞鈦醫療器材股份有限公司 註冊二維影像資料組與感興趣部位的三維影像資料組的方法及導航系統

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150117605A1 (en) * 2013-10-31 2015-04-30 Kabushiki Kaisha Toshiba Image processor, treatment system, and image processing method

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
網路文獻 Wolfgang Wein, "Intensity Based Rigid 2D-3D Registration Algorithms for Radiation Therapy", 15 December 2003 https://campar.in.tum.de/twiki/pub/Main/WolfgangWein/thesis.pdf *

Also Published As

Publication number Publication date
US20230149083A1 (en) 2023-05-18
US20230154021A1 (en) 2023-05-18
TWI836493B (zh) 2024-03-21
TW202333629A (zh) 2023-09-01
TW202333630A (zh) 2023-09-01
TW202333628A (zh) 2023-09-01
TWI836491B (zh) 2024-03-21
US20230154019A1 (en) 2023-05-18
US12106497B2 (en) 2024-10-01
TW202333631A (zh) 2023-09-01
TWI836492B (zh) 2024-03-21
US20230154018A1 (en) 2023-05-18

Similar Documents

Publication Publication Date Title
TWI842001B (zh) 註冊二維影像資料組與感興部位的三維影像資料組的方法及導航系統
US20190000564A1 (en) System and method for medical imaging
Otake et al. Intraoperative image-based multiview 2D/3D registration for image-guided orthopaedic surgery: incorporation of fiducial-based C-arm tracking and GPU-acceleration
US9427286B2 (en) Method of image registration in a multi-source/single detector radiographic imaging system, and image acquisition apparatus
AU2020410356B2 (en) Determining relative 3D positions and orientations between objects in 2D medical images
US20090080737A1 (en) System and Method for Use of Fluoroscope and Computed Tomography Registration for Sinuplasty Navigation
US20180333112A1 (en) System for tracking an ultrasonic probe in a body part
US20090022382A1 (en) Imaging method for motion analysis
JP6620252B2 (ja) 超音波融合撮像システムにおけるプローブ誘導変形の補正
US20240041558A1 (en) Video-guided placement of surgical instrumentation
JP6349278B2 (ja) 放射線撮像装置、画像処理方法及びプログラム
Lee et al. Calibration of RGBD camera and cone-beam CT for 3D intra-operative mixed reality visualization
US7925324B2 (en) Measuring the femoral antetorsion angle γ of a human femur in particular on the basis of fluoroscopic images
Fusaglia et al. A clinically applicable laser-based image-guided system for laparoscopic liver procedures
Liu et al. 2D–3D radiograph to cone-beam computed tomography (CBCT) registration for C-arm image-guided robotic surgery
US20100195890A1 (en) Method for completing a medical image data set
US20230140951A1 (en) System for generating images for a fluoroscopy-based navigation system
CN116612161A (zh) 用于医学图像配准的数据集的构建方法和装置
JP7513980B2 (ja) 医用画像処理装置、治療システム、医用画像処理方法、およびプログラム
Fanti et al. Preliminary results in large bone segmentation from 3D freehand ultrasound
WO2023089566A1 (en) Method and navigation system for registering two-dimensional image data set with three-dimensional image data set of body of interest
AU2022389067A1 (en) Method and navigation system for registering two-dimensional image data set with three-dimensional image data set of body of interest
US20210378749A1 (en) Method and device for monitoring images by means of an x-ray device during a surgical procedure
US20220156928A1 (en) Systems and methods for generating virtual images
Oentoro et al. High-accuracy registration of intraoperative CT imaging