TW202023489A - 用於光學追蹤之系統及方法 - Google Patents

用於光學追蹤之系統及方法 Download PDF

Info

Publication number
TW202023489A
TW202023489A TW108140508A TW108140508A TW202023489A TW 202023489 A TW202023489 A TW 202023489A TW 108140508 A TW108140508 A TW 108140508A TW 108140508 A TW108140508 A TW 108140508A TW 202023489 A TW202023489 A TW 202023489A
Authority
TW
Taiwan
Prior art keywords
biological
specific patient
computer system
biological tissue
images
Prior art date
Application number
TW108140508A
Other languages
English (en)
Inventor
阿隆 Ｙ 蓋里
摩爾德凱 艾維薩
Original Assignee
美商外科劇院有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商外科劇院有限責任公司 filed Critical 美商外科劇院有限責任公司
Publication of TW202023489A publication Critical patent/TW202023489A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H20/00—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance
    • G16H20/40—ICT specially adapted for therapies or health-improving plans, e.g. for handling prescriptions, for steering therapy or for monitoring patient compliance relating to mechanical, radiation or invasive therapies, e.g. surgery, laser therapy, dialysis or acupuncture
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B2090/364—Correlation of different images or relation of image positions in respect to the body
    • A61B2090/367—Correlation of different images or relation of image positions in respect to the body creating a 3D dataset from 2D images using position information
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
    • A61B90/36—Image-producing devices or illumination devices not otherwise provided for
    • A61B90/37—Surgical systems with images on a monitor during operation
    • A61B2090/373—Surgical systems with images on a monitor during operation using light, e.g. by using optical scanners
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images
    • G06V2201/031—Recognition of patterns in medical or anatomical images of internal organs

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Radiology & Medical Imaging (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Surgery (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • Gynecology & Obstetrics (AREA)
  • Computer Hardware Design (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Molecular Biology (AREA)
  • Evolutionary Computation (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Urology & Nephrology (AREA)
  • Artificial Intelligence (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

揭示了複數種依據一動態3D醫學模型配準及匹配生物組織影像之方法及一種用於實施此等方法之電腦系統，該動態3D醫學模型係使用一特定患者之生物組織之所拍攝醫學影像與該特定患者之該等生物組織之一實況視訊饋送產生。

Description

用於光學追蹤之系統及方法
相關申請案之交叉引用
本申請案主張以引用方式併入本文中的於2018年11月8日申請的美國臨時專利申請案第62/757,339號之權益。
本發明係有關於用於光學追蹤之系統及方法。
當執行複雜之手術（諸如動脈瘤修復）時，手術之效率非常關鍵，且基於患者特定解剖結構之詳細計劃對於達成所需結果至關重要。為了促進手術前之準備，通常使用諸如CT、超聲、MRI及X射線之醫學成像來形成患者解剖模型。醫師或其他使用者可使用此等模型來準備外科手術。
此外，為了提高準確性及效率，醫師可能希望利用醫學成像在手術室內部之實際外科手術中使用。為了在外科手術期間幫助醫師，通常將醫學影像或模型與患者之身體解剖結構配準或相關。此後，藉由模型模擬或追蹤相對於患者解剖結構之移動（即，由醫師控制之工具），以使模型內之視圖或位置與解剖結構內之視圖或位置對準。通常由手術室中之外部追蹤系統或機構提供之資料來實現此種追蹤。然而，此類外部追蹤系統可能並不始終可用。舉例而言，外部追蹤系統可能昂貴、費時且難以實施。
提供了複數個實例實施例，包括但不限於用於追蹤一特定患者之生物組織之影像之方法，所述方法包括以下步驟： 產生該特定患者之該生物組織之一或多個3D醫學影像； 將該特定患者之該生物組織之該等3D醫學影像儲存在一電腦系統中； 拍攝該特定患者之該生物組織之實況影像； 在(1)所儲存之該特定患者之該生物組織之該等醫學影像或(2)該特定患者之該生物組織之該等實況影像中識別至少一個生物結構； 使所識別之該至少一個生物結構分別與以下各者匹配：(1)該特定患者之該生物組織之該等實況影像之對應結構，或(2)所儲存之該特定患者之該生物組織之該等醫學影像之對應結構；及 回應於該匹配，該電腦系統將所儲存之該等醫學影像中之一或多者與表示該特定患者之相同生物組織之實況視訊影像配準及/或對準。
亦提供一種用於追蹤一特定患者之生物組織影像之方法，該方法包括以下步驟： 產生該特定患者之該生物組織之一或多個3D醫學影像； 將該特定患者之該生物組織之該等3D醫學影像儲存在一電腦系統中； 該電腦系統在所儲存之該特定患者之該生物組織之該等醫學影像中識別複數個第一生物結構； 拍攝該特定患者之該生物組織之實況影像； 該電腦系統在該特定患者之該生物組織之該等實況影像中識別複數個第二生物結構； 該電腦系統自動使所識別之該等第一生物結構中之一或多者與該等第二生物結構中之一或多者匹配；及 回應於該匹配，該電腦系統將所儲存之該等醫學影像中之一或多者與表示該特定患者之相同生物組織之實況視訊影像配準及/或對準。
進一步提供一種用於追蹤一特定患者之生物組織之影像之方法，該方法包括以下步驟： 使用一或多個成像裝置產生該特定患者之該生物組織之組織影像； 電腦系統依據該特定患者之該生物組織之該等組織影像產生一或多個3D醫學影像； 將該特定患者之該生物組織之該等3D醫學影像儲存在一電腦系統中； 該電腦系統在所儲存之該特定患者之該生物組織之該等醫學影像中識別複數個第一生物結構； 拍攝該特定患者之該生物組織之實況影像； 該電腦系統在該特定患者之該生物組織之該等實況影像中識別複數個第二生物結構； 該電腦系統自動使所識別之該等第一生物結構中之一或多者與該等第二生物結構中之一或多者匹配； 回應於該匹配，該電腦系統將所儲存之該等醫學影像中之一或多者與表示該特定患者之相同生物組織之實況視訊影像配準及/或對準；及 產生用於顯示之一組合視訊饋送，該組合視訊饋送包括該等實況影像及被配準及/或對準之該等所儲存影像。
進一步提供一種電腦系統，該電腦系統經組態以實踐上述方法中之任一者。
亦提供額外實例實施例，下文將更詳細地描述其中一些而非全部。
以下縮寫詞及定義將有助於理解詳細描述：
AR - 增強現實-物理現實環境中之實況視圖，其元素已藉由電腦產生之感官元素(諸如聲音、視訊或圖形)得到增強。
VR - 虛擬現實 -電腦產生之3維環境，個人可在不同程度上對其進行探索及互動。
HMD - 頭戴式顯示器係指可在AR或VR環境中使用之頭戴式耳機。其可為有線或無線的。其亦可能包括一或多個附件，諸如耳機、麥克風、高清攝像機、紅外攝像機、手追蹤器、位置追蹤器等。
SNAP模型 - SNAP案例係指使用DICOM檔案格式之患者之一或多次掃描(CT、MR、fMR、DTI等)建立之3D紋理或3D對象。其亦包括分段之不同預設，用於篩選特定範圍且為3D紋理中之其他者著色。其亦可能包括置放在場景中之3D對象，包括用於標記感興趣之特定點或解剖結構之3D形狀、3D標籤、3D量測標記、用於指向之3D箭頭及3D手術工具。手術工具及裝置已被模型化以用於教育及患者特定排演，尤其是對於適當設計大小的動脈瘤夾。
MD6DM - 多維全球形虛擬現實，六自由度模型。其提供圖形化之仿真環境，使醫師能夠在全球形虛擬現實環境中體驗、計劃、執行及導向干預。
已經開發了先前在以引用方式併入本申請案中的美國專利申請案第8,311,791號中描述之手術排演及準備工具，以基於預先構建之SNAP模型將靜態CT及MRI醫學影像轉換為動態及互動式多維全球形虛擬現實，六(6)自由度模型(「MD6DM」)，醫師可使用該模型來即時地模擬醫療過程。MD6DM提供圖形化之模擬環境，使醫師可在全球形虛擬現實環境中體驗、計劃、執行及導向干預。詳言之，MD6DM為外科醫生提供使用獨特多維模型進行導向之能力，該多維模型係根據傳統之二維患者醫學掃描構建，從而在整個體積球形虛擬現實模型中為球形虛擬現實提供了6個自由度(即線性；x，y，z及角度、偏航、俯仰、橫搖)。
MD6DM係使用自患者自己之醫學影像資料集(包括CT、MRI、DTI等)構建之SNAP模型即時地繪製，且特定於患者。若外科醫生願意，可整合諸如Atlas資料之代表性腦模型以建立部分患者特定模型。該模型自MD6DM之任何點給出360°球形視圖。使用MD6DM，檢視者虛擬地定位在解剖結構內部，且可檢視及觀察解剖結構及病理結構兩者，如同其站在患者體內。檢視者可向上、向下、在肩膀上等方向上看，且可看到彼此相對之原生結構，如同其在患者中所發現者。內部結構之間的空間關係得以保留，且可使用MD6DM加以理解。
MD6DM之演算法獲取醫學影像資訊且將其構建為球形模型，其為完整之連續即時模型，可在「飛」入解剖結構內部時自任何角度進行檢視。詳言之，在CT、MRI等拍攝真實之生物體並將其分解成由數千個點構成之數百個薄片之後，MD6DM藉由自內部及外部表示彼等點中之每一者的360°視圖而將其還原為3D模型。
本文所述之光學追蹤系統利用預建之MD6DM模型，且能夠藉由對患者之解剖結構進行模型配準，且藉由追蹤相對於患者之移動來模擬模型內與相對於患者之移動相對應之移動，而無需依賴於外部追蹤系統。詳言之，本文描述之光學追蹤系統使模型與患者配準，且隨後藉由連續分析患者之視訊饋送來追蹤相對於患者之移動。因此，該光學追蹤系統消除了對外部追蹤系統之依賴，藉此使醫師即使在外部追蹤系統可能不可用之情況下，亦可在手術室內部之實際外科手術期間利用模型來使用。
應瞭解，儘管本文可關於MD6DM模型進行具體參考，但本文描述之光學追蹤系統可與患者身體之任何合適之醫學影像或模型結合使用。應進一步瞭解，儘管本文中可使用例示性光學追蹤系統對醫師進行具體參考，但任何合適之使用者可將光學追蹤系統用於手術導向配準及追蹤。此外，儘管本文具體參考了患者解剖結構之醫學影像及模型，但本文描述之光學追蹤系統可用於使任何合適之影像或虛擬模型與實體模型或樣本配準，且追蹤實體模型之移動，因為其對應於影像或虛擬模型。
圖1說明用於手術導向配準及追蹤之例示性光學追蹤系統100 。光學追蹤系統100 包括光學追蹤電腦102 ，該光學追蹤電腦用於基於所接收的患者104 之即時實況視訊饋送(或單一影像)，使患者104 之3D模型與患者104 之身體解剖結構配準。3D模型可為MD6DM或自資料儲存區106 擷取之任何合適之3D或虛擬模型。光學追蹤電腦102 可自任何合適之視訊源接收患者104 之即時視訊輸入。舉例而言，醫師110 在外科手術期間使用之內窺鏡108 可向光學追蹤電腦102 提供實況視訊饋送。在另一實例中，實況視訊饋送可由安裝在諸如VR或AR頭戴式顯示器之頭戴式裝置112 中或整合在其內之攝像機提供。
光學追蹤電腦102 亦基於所接收的患者104 之實況即時視訊饋送來追蹤相對於患者104 之移動，且基於所追蹤之移動使3D模型與身體解剖結構連續同步。光學追蹤電腦102 進一步產生視訊輸出，其包括與3D模型之疊加對準之實況即時視訊。光學追蹤電腦102 可將輸出視訊傳達至顯示器114 ，以供醫師110 或手術室中或顯示器114 附近之任何其他合適之使用者檢視。在一個實例中，可將輸出視訊保存且儲存在資料儲存區106 中以供將來參考。在一個實例中，光學追蹤電腦102 可將輸出視訊傳達至遠端顯示器(未展示)。
在一個實例中，光學追蹤電腦102 可將輸出視訊傳達至頭戴式裝置112 。舉例而言，頭戴式裝置112 可包括增強現實頭戴式顯示器及用於自頭戴式裝置112 之角度提供患者104 之即時視訊饋送之攝像機。在此類實例中，光學追蹤電腦102 可基於實況視訊饋送將模型之影像與經由AR頭戴式耳機112 觀察到的視圖同步地傳達至頭戴式裝置112 。
圖2說明實例光學追蹤電腦200 (即，圖1之光學追蹤電腦102)之方塊圖。光學追蹤電腦200 包括用於接收兩種不同類型之資料輸入的資料輸入模組202 。首先，資料輸入模組202 經組態以接收患者之實況視訊饋送。可藉由有線或無線連接自合適之資料源接收實況視訊饋送。舉例而言，資料輸入模組202 可經組態以自組態有用於捕獲實況視訊之攝像機之內窺鏡或其他手術器械接收實況視訊饋送。資料輸入模組202 進一步經組態以自資料儲存區208 接收患者之3D模型。在一個實例中，光學追蹤電腦200 包括資料儲存區208 ，而在另一實例中，資料儲存區208 在光學追蹤電腦200 之遠端或外部。在一個實例中，資料輸入模組202 經組態以直接自諸如先前所述之手術排演及準備工具的經組態以產生3D模型之系統(未展示)接收3D模型。
圖3說明可由資料輸入模組202 接收之患者解剖結構之實例實況視訊饋送300 。圖4說明可由資料輸入模組202 接收之患者之解剖結構之對應3D模型400 。儘管實例實況視訊饋送300 及對應3D模型400 被定向到患者之顱骨內部，但可使用患者解剖結構之任何合適部分之實況視訊及3D模型。
再次參考圖2，光學追蹤電腦200 進一步包括配準模組204 ，用於執行3D模型(即，圖4之3D模型400 )與實況視訊饋送(即，圖3之實況視訊饋送300 )之初始對準或配準。在一個實例中，配準模組204 經組態以啟用手動對準。舉例而言，配準模組204 可經組態以提供使用者介面，該使用者介面將3D模型疊加在實況視訊之上，且使得諸如醫師之使用者能夠手動操縱3D模型，直至使用者滿意對3D模型在實況視訊饋送上之對準為止。圖5說明實例對準之視訊500 ，其包括疊加實況視訊饋送504 之3D模型502 。
再次參考圖2，配準模組204 經組態以相對於實況視訊饋送鎖定或記住3D模型之初始位置，以便完成配準或初始化過程。舉例而言，配準模組204 可將初始對準儲存在資料儲存區208 中。
光學追蹤電腦200 進一步包括追蹤模組206 ，用於連續監視及偵測實況視訊相對於3D模型之移動。舉例而言，若實況視訊串流之源移動至不同位置，使得實況視訊串流相對於患者之解剖結構之視場被調整，則追蹤模組206 經組態以偵測位置之此種改變。追蹤模組206 可經組態以例如藉由將實況視訊之當前視場與實況視訊之先前視場進行比較且判定是否已經發生改變來偵測此種位置變化。追蹤模組206 可經組態而以預定時間間隔，例如每秒，檢查變化或移動。在另一實例中，追蹤模組206 可經組態以即時偵測實況視訊饋送之視場之任何變化。
在實況視訊饋送內之視場移位時，疊加有實況視訊饋送之3D模型與其原始對準或初始化不對準。因此，追蹤模組206 進一步經組態以藉由自動移位疊加之3D模型以匹配實況視訊饋送之視場之移位，來即時地或以預先組態之時間間隔將3D模型與實況視訊饋送重新對準，使得實況視訊饋送與疊加之3D模型持續保持同步。追蹤模組206 經組態以基於橫向及縱向移位以及基礎旋轉及深度變化來追蹤及重新對準變化。
光學追蹤電腦200 包括匹配模組210 ，該匹配模組經組態以將實況視訊饋送之當前視圖與3D模型之對應部分進行匹配，藉此為追蹤模組206 提供資料(即幅度及方向)以進行適當之調整。舉例而言，匹配模組210 經組態以識別3D模型之與實況視訊饋送之各態樣相對應之各態樣。基於該識別，匹配模組可進一步能夠判定對應態樣之間的偏移。追蹤模組206 經組態以根據需要使用判定之偏移來使3D模型移位，以便將3D模型與實況視訊饋送重新對準。
在第一實例中，匹配模組210 經組態以藉由識別實體上位於如圖6中所說明的解剖結構604 上之標記或基準602 來使實況視訊饋送與3D模型相匹配。詳言之，一旦將基準602 實體地置放在解剖結構604 上，將基準之表示即虛擬地複製至3D模型中之確切位置上。在一個實例中，使用者手動將基準602 複製至3D模型。在另一實例中，在初始對準之後，配準模組204 自動將基準602 自實況視訊饋送虛擬地複製至3D模型上之對應位置。因此，匹配模組210 可藉由使實況視訊饋送中之基準602 與3D模型上之基準相匹配來使實況視訊饋送與3D模型相匹配。
在一個實例中，可將3D模型上之虛擬基準自視圖中隱藏起來，且可替代地僅將其作為資料標記呈現以供匹配模組210 進行解釋。在一個實例中，可向使用者提供關於基準在3D模型中應顯示還是隱藏之選項。在一個實例中，配準模組204 可使得使用者能夠在最初自實況視訊虛擬地複製基準之後在3D模型上手動調整基準之位置。在一個實例中，虛擬基準在3D模型上之位置可儲存在資料儲存區208 中。
在第二實例中，匹配模組210 經組態以藉由識別如圖7中所說明的實況視訊中之解剖結構704 上之界標702 且將界標702 與3D模型中之對應界標進行比較/匹配來使實況視訊饋送與3D模型匹配。界標702 包括可識別之實體上不同之特性或特徵，使得實體界標之置放不為必需的。舉例而言，界標702 可為明顯之尖銳邊緣或清晰之圓角。
在一個實例中，界標702 可由使用者在實況視訊及3D模型上手動選擇或識別。舉例而言，使用者可首先在實況視訊上識別界標702 ，且接著識別3D模型中之對應界標。匹配或關聯可保存在資料儲存區208 中。在另一實例中，匹配模組210 可經組態以基於實況視訊饋送自動識別界標702 。舉例而言，匹配模組210 可經組態以尋找實況視訊饋送之具有可識別之清晰特徵或特性之部分，諸如具有清晰幾何形狀及顏色之區域。在識別出此類區域之後，匹配模組210 可接著經組態以識別3D模型中之對應區域。
在第三實例中，匹配模組210 經組態以藉由使用人工智慧來識別如圖8中所說明的實況視訊中之解剖3D結構802 (諸如，例如大腦或心臟)(或解剖3D結構804 之可識別部分)且在3D模型中識別對應結構來使實況視訊饋送與3D模型進行匹配。匹配模組210 可經組態以使用諸如解剖結構之影像及3D模型之各種資料輸入來訓練，以學習如何識別解剖3D結構。一旦被訓練，匹配模組210 即可經組態以自動識別實況視訊饋送以及3D模型中之此種解剖3D結構。
匹配模組210 可使用任何合適之機器學習演算法來使實況視訊饋送與3D模型匹配。舉例而言，匹配模組210 可使用決策樹演算法、神經網路、最近鄰居演算法及貝葉斯網路。在一個實例中，訓練資料可儲存在資料儲存區208 中，以在匹配過程期間進行額外參考。舉例而言，匹配模組210 可經組態以在匹配過程期間存取資料儲存區208 ，以將參考解剖3D結構資料與在實況視訊饋送中識別之解剖3D結構進行比較。
在一個實例中，配準模組204 經組態以與匹配模組210 一起工作，以執行3D模型之初始對準或配準。詳言之，替代使得使用者能夠手動地執行實況視訊饋送與3D模型之初始對準，配準模組可利用匹配模組之功能性來自動地將3D模型與實況視訊饋送對準及配準，而無需使用所論述之第二(即界標)或第三(即人工智慧)匹配技術之任何手動使用者輔助。
在一個實例中，匹配模組210 可經組態以自實況視訊饋送中篩選出對於在3D模型與實況視訊饋送之組合疊加中進行檢視可能為不希望的或可能在匹配過程中分散注意力或「嘈雜」之項目、形狀、特徵等。舉例而言，匹配模組210 可濾除在外科手術期間使用之可能顯示在實況視訊饋送中的工具或其他裝置。
光學追蹤電腦200 進一步包括輸出模組212 ，用於產生包括實況視訊饋送及疊加之3D模型之組合視訊，且將組合視訊饋送傳達至適當之顯示裝置，諸如圖1之顯示器114 或圖1之頭戴式顯示器112 。在一個實例中，輸出模組212 可向使用者介面提供某些特徵或選項，以使得使用者能夠定製組合輸出視訊。舉例而言，輸出模組212 可使得使用者能夠調整不透明度或自視圖中完全移除某些層，諸如組織及骨骼等。
應瞭解，儘管本文中已將光學追蹤電腦200 描述為代替其他導向及追蹤系統使用，但光學追蹤電腦200 亦可用於補充可能不提供與由光學追蹤電腦200 提供之追蹤功能相同之追蹤功能的其他導向及追蹤系統。舉例而言，另一導向及追蹤系統可能無法偵測深度及旋轉移動。因此，光學追蹤電腦200 可用於提供關於深度及旋轉之追蹤，而另一導向及追蹤系統(未展示)可用於提供關於橫向及縱向移動之追蹤。
參考圖9中所說明之用於光學追蹤之方法900 ，將進一步瞭解本文所述之系統。雖然為了說明之簡單起見，該方法被展示且描述為串行執行，但應理解且瞭解，該方法不受所展示之次序限制，因為該方法之各部分可以與本文所展示及描述者不同之次序發生及/或同時發生。
在902 處，諸如圖2之光學電腦200 之光學電腦接收患者解剖結構之實況視訊串流作為輸入。在904 處，光學電腦亦接收解剖結構之3D模型作為輸入。在906 ，光學電腦執行3D模型與實況視訊串流之初始配準或對準。在908 處，光學電腦追蹤相對於實況視訊串流之移動，且相應地連續更新3D模型之對準。在910 處，光學電腦輸出包括實況視訊串流及與實況視訊串流同步之3D模型之疊加的組合視訊。
圖10為用於實施圖1之實例光學追蹤電腦102 及圖2之實例光學追蹤電腦200 之實例電腦的示意圖。實例電腦1000 旨在表示各種形式之數位電腦，包括膝上型電腦、桌上型電腦、手持電腦、平板電腦、智慧型電話、伺服器及其他類似類型之計算裝置。電腦1000 包括處理器1002 、記憶體1004 、儲存裝置1006 及通信埠1008 ，其藉由介面1010 經由匯流排1012 可操作地連接。
處理器1002 經由記憶體1004 處理指令以在電腦1000 內執行。在實例實施例中，可使用多個處理器及多個記憶體。
記憶體1004 可為揮發性記憶體或非揮發性記憶體。記憶體1004 可為電腦可讀媒體，諸如磁碟或光碟。儲存裝置1006 可為電腦可讀媒體，諸如軟碟裝置、硬碟裝置、光碟裝置、磁帶裝置、快閃記憶體、相變記憶體，或其他類似之固態儲存裝置，或裝置陣列，包括具有其他組態之儲存區域網路中之裝置。電腦程式產品可有形地體現在諸如記憶體804 或儲存裝置1006 之電腦可讀媒體中。
電腦1000 可耦接至一或多個輸入及輸出裝置，諸如顯示器1014 、印表機1016 、掃描儀1018 、滑鼠1020 及頭戴式顯示器1022 。
如熟習此項技術者將瞭解，實例實施例可實施為，或可通常利用，方法、系統、電腦程式產品或前述之組合。因此，任何實施例可採取包括儲存在儲存裝置中以在電腦硬體上執行之可執行指令之專用軟體的形式，其中該軟體可儲存在電腦可用之儲存媒體中，該電腦可用之儲存媒體中體現有電腦可用之程式碼。
可使用可在所揭示之伺服器或額外電腦伺服器上操作之市售電腦應用程式(諸如開源解決方案(諸如MySQL)或封閉解決方案(如Microsoft SQL))來實施資料庫。資料庫可利用關係或面向對象之範例來儲存用於以上揭示之實例實施例之資料、模型及模型參數。可使用已知之資料庫程式化技術來定製此類資料庫，以實施本文揭示之專用性。
任何合適之電腦可用(電腦可讀)媒體可用於儲存包括可執行指令之軟體。電腦可用或電腦可讀媒體可為例如但不限於電、磁、光、電磁、紅外或半導體系統、設備、裝置或傳播媒體。電腦可讀媒體之更具體實例(非詳盡清單)將包括以下內容：具有一或多根電線之電連接；有形媒體，諸如攜帶型電腦碟片、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可抹除可程式化唯讀記憶體(EPROM或快閃記憶體)、光碟唯讀記憶體(CDROM)或其他有形之光學或磁性儲存裝置；或傳輸媒體，諸如支援Internet或intranet之媒體。
在本文件之上下文中，電腦可用或電腦可讀媒體可為可包含、儲存、傳達、傳播或傳輸程式指令以供指令執行系統、平台、設備或裝置使用或與其結合使用之任何媒體，其可包括任何合適之電腦(或電腦系統)，包括一或多個可程式化或專用處理器/控制器。電腦可用媒體可包括在基頻中或作為載波之一部分之所傳播資料信號，該資料信號具有體現在其中之電腦可用程式碼。可使用任何適當之媒體來傳輸電腦可用程式碼，包括但不限於網際網路、有線、光纜、本端通信匯流排、射頻(RF)或其他方式。
具有用於執行實例實施例之操作的可執行指令之電腦程碼可使用包括但不限於以下之任何電腦語言藉由習知方式來編寫：諸如BASIC、Lisp、VBA或VBScript之解釋性或事件驅動語言，或諸如visual basic之GUI實施例，已編譯程式設計語言(諸如FORTRAN、COBOL或Pascal)，面向對象的、帶指令碼或不帶指令碼之程式設計語言(諸如Java、JavaScript、Perl、Smalltalk、C++、Object Pascal等)，諸如Prolog之人工智慧語言，諸如Ada之即時嵌入式語言，或甚至使用梯形邏輯之更直接或簡化之程式設計，組合語言，或使用適當機器語言之直接程式設計。
就在說明書或申請專利範圍中使用術語「包括」而言，其旨在以與術語「包含」在該術語在用作申請專利範圍中之過渡詞時被解釋的方式類似之方式包括在內。此外，就採用術語「或」(例如，A或B)而言，其旨在意謂「A或B或兩者」。當申請人旨在指示「僅A或B而非兩者」時，將使用術語「僅A或B而非兩者」。因此，本文中術語「或」之使用為包括性的，而非排他性使用。參見，Bryan A. Garner，《現代法律用語詞典》 624 (A Dictionary of Modern Legal Usage 624)(第2版，1995年)。又，就在說明書或申請專利範圍中使用術語「在……中」或「至……中」而言，其旨在額外意謂「在……上」或「至……上」。此外，就在說明書或申請專利範圍中使用術語「連接」而言，其旨在不僅意謂「直接連接」，且亦意謂「間接連接」，諸如藉由另一組件或多個組件連接。
儘管已藉由本發明之實施例之描述說明本申請案，且儘管已相當詳細地描述了實施例，但申請人之意圖並非將所附申請專利範圍之範疇約束或以任何方式限於此種細節。額外優點及修改對於熟習此項技術者將為顯而易見的。因此，本申請案在其更廣泛之態樣中不限於所展示及描述之具體細節、代表性設備及方法以及說明性實例。因此，在不脫離申請人之總體發明構思之精神或範疇之情況下，可偏離此等細節。
100:光學追蹤系統 102:光學追蹤電腦 104:患者 106:資料儲存區 108:內窺鏡 110:醫師 112:頭戴式裝置 114:顯示器 200:光學追蹤電腦 202:資料輸入模組 204:配準模組 206:追蹤模組 208:資料儲存區 210:匹配模組 212:輸出模組 300:實況視訊饋送 400:3D模型 500:視訊 502:3D模型 504:實況視訊饋送 602:基準 604:解剖結構 702:界標 704:解剖結構 802:解剖3D結構 804:解剖3D結構 900:方法 1000:電腦 1002:處理器 1004:記憶體 1006:儲存裝置 1008:通信埠 1010:介面 1012:匯流排 1014:顯示器 1016:印表機 1018:掃描儀 1020:滑鼠 1022:頭戴式顯示器
在附圖中，說明與下文提供之詳細描述一起描述所主張之發明之例示性實施例的結構。相同元件用相同附圖標記識別。應理解，展示為單一組件之元件可由多個組件代替，且展示為多個組件之元件可由單一組件代替。附圖未按比例繪製，且出於說明目的，某些元件之比例可能被放大。
圖1說明實例光學追蹤系統；
圖2說明實例光學追蹤電腦配置；
圖3至圖8說明由所揭示之方法產生的實例視訊饋送；
圖9為提供使醫學模型與實況視訊饋送配準之實例方法的流程圖；及
圖10說明實例電腦系統，該電腦系統用於實施任一實施例之實例光學追蹤電腦配置以支援圖1之光學追蹤系統。
100:光學追蹤系統
102:光學追蹤電腦
104:患者
106:資料儲存區
108:內窺鏡
110:醫師
112:頭戴式裝置
114:顯示器

Claims (20)

  1. 一種用於追蹤一特定患者之生物組織之影像之方法，該方法包括以下步驟： 產生該特定患者之該生物組織之一或多個3D醫學影像； 將該特定患者之該生物組織之該等3D醫學影像儲存在一電腦系統中； 拍攝該特定患者之該生物組織之實況影像； 在(1)所儲存之該特定患者之該生物組織之該等醫學影像或(2)該特定患者之該生物組織之該等實況影像中識別至少一個生物結構； 使所識別之該至少一個生物結構分別與以下各者匹配：(1)該特定患者之該生物組織之該等實況影像之對應結構，或(2)所儲存之該特定患者之該生物組織之該等醫學影像之對應結構；及 回應於該匹配，該電腦系統將所儲存之該等醫學影像中之一或多者與表示該特定患者之相同生物組織之實況視訊影像配準及/或對準。
  2. 如請求項1之方法，其中每一生物結構為該等生物組織中之一不同之可識別界標。
  3. 如請求項1之方法，其中每一生物結構為由該電腦系統自動識別之一器官或其他組織。
  4. 如請求項1之方法，其中回應於該匹配，使所儲存之該等醫學影像中之該一或多者與該等實況視訊影像對準，以產生該特定患者之該生物組織之一組合影像。
  5. 如請求項1之方法，其中在所儲存之該特定患者之該生物組織之該等醫學影像及該特定患者之該生物組織之該等實況影像兩者中識別該生物結構，並且其中匹配所識別之該至少一個生物結構之該步驟係藉由使在所儲存之該等醫學影像中識別出之該生物結構與在該生物組織之該等實況影像中識別出之該生物結構匹配來執行。
  6. 如請求項1之方法，其中識別至少一個生物結構之該步驟由該電腦系統自動執行。
  7. 如請求項1之方法，其中匹配所識別之該至少一個生物結構之該步驟由該電腦系統自動執行。
  8. 如請求項1之方法，其中識別至少一個生物結構之該步驟由該電腦系統自動執行，並且進一步其中匹配所識別之該至少一個生物結構之該步驟由該電腦系統自動執行。
  9. 如請求項8之方法，其中識別至少一個生物結構之該步驟及匹配所識別之該至少一個生物結構之該步驟由該電腦系統使用人工智能自動執行。
  10. 如請求項1之方法，該方法進一步包括以下步驟：產生用於顯示之一組合視訊饋送，該組合視訊饋送包括該等實況影像及被配準及/或對準之該等所儲存影像。
  11. 一種用於追蹤一特定患者之生物組織之影像之方法，該方法包括以下步驟： 產生該特定患者之該生物組織之一或多個3D醫學影像； 將該特定患者之該生物組織之該等3D醫學影像儲存在一電腦系統中； 該電腦系統在所儲存之該特定患者之該生物組織之該等醫學影像中識別複數個第一生物結構； 拍攝該特定患者之該生物組織之實況影像； 該電腦系統在該特定患者之該生物組織之該等實況影像中識別複數個第二生物結構； 該電腦系統自動使所識別之該等第一生物結構中之一或多者與該等第二生物結構中之一或多者匹配；及 回應於該匹配，該電腦系統將所儲存之該等醫學影像中之一或多者與表示該特定患者之相同生物組織之實況視訊影像配準及/或對準。
  12. 如請求項11之方法，其中每一生物結構為該等生物組織中之一不同之可識別界標。
  13. 如請求項11之方法，其中每一生物結構為由該電腦系統自動識別之一器官或其他組織。
  14. 如請求項11之方法，其中回應於該匹配，使所儲存之該等醫學影像中之該一或多者與該等實況視訊影像對準，以產生該特定患者之該生物組織之一組合影像。
  15. 如請求項11之方法，其中識別至少一個生物結構之該步驟及匹配所識別之該至少一個生物結構之該步驟由該電腦系統使用人工智能自動執行。
  16. 如請求項11之方法，該方法進一步包括以下步驟：產生用於顯示之一組合視訊饋送，該組合視訊饋送包括該等實況影像及被配準及/或對準之該等所儲存影像。
  17. 一種用於追蹤一特定患者之生物組織之影像之方法，該方法包括以下步驟： 使用一或多個成像裝置產生該特定患者之該生物組織之組織影像； 電腦系統依據該特定患者之該生物組織之該等組織影像產生一或多個3D醫學影像； 將該特定患者之該生物組織之該等3D醫學影像儲存在一電腦系統中； 該電腦系統在所儲存之該特定患者之該生物組織之該等醫學影像中識別複數個第一生物結構； 拍攝該特定患者之該生物組織之實況影像； 該電腦系統在該特定患者之該生物組織之該等實況影像中識別複數個第二生物結構； 該電腦系統自動使所識別之該等第一生物結構中之一或多者與該等第二生物結構中之一或多者匹配； 回應於該匹配，該電腦系統將所儲存之該等醫學影像中之一或多者與表示該特定患者之相同生物組織之實況視訊影像配準及/或對準；及 產生用於顯示之一組合視訊饋送，該組合視訊饋送包括該等實況影像及被配準及/或對準之該等所儲存影像。
  18. 如請求項17之方法，其中每一生物結構為該等生物組織中之一不同之可識別界標。
  19. 如請求項17之方法，其中每一生物結構為由該電腦系統自動識別之一器官或其他組織。
  20. 如請求項17之方法，其中識別至少一個生物結構之該步驟及匹配所識別之該至少一個生物結構之該步驟由該電腦系統使用人工智能自動執行。
TW108140508A 2018-11-08 2019-11-07 用於光學追蹤之系統及方法 TW202023489A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201862757339P 2018-11-08 2018-11-08
US62/757,339 2018-11-08

Publications (1)

Publication Number Publication Date
TW202023489A true TW202023489A (zh) 2020-07-01

Family

ID=70612257

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108140508A TW202023489A (zh) 2018-11-08 2019-11-07 用於光學追蹤之系統及方法

Country Status (7)

Country Link
US (1) US11393111B2 (zh)
EP (1) EP3877988A4 (zh)
JP (1) JP2022506708A (zh)
CN (1) CN113544792A (zh)
IL (1) IL282991A (zh)
TW (1) TW202023489A (zh)
WO (1) WO2020097510A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230260221A1 (en) * 2022-02-16 2023-08-17 Microsoft Technology Licensing, Llc Mixed reality environment display using surface reconstruction mesh and live video overlay

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1741469A1 (en) * 2005-07-08 2007-01-10 Engineers & Doctors Wallstén Medical A/S Method of guiding an irradiation equipment
WO2009116663A1 (ja) * 2008-03-21 2009-09-24 Takahashi Atsushi 三次元デジタル拡大鏡手術支援システム
JP6596203B2 (ja) * 2012-02-23 2019-10-23 スミス アンド ネフュー インコーポレイテッド ビデオ内視鏡システム
WO2013179216A2 (en) * 2012-06-01 2013-12-05 Koninklijke Philips N.V. System and method for matching patient information to clinical criteria
EP2981205A4 (en) * 2013-04-04 2017-02-15 Children's National Medical Center Device and method for generating composite images for endoscopic surgery of moving and deformable anatomy
DE102015211714B4 (de) * 2015-06-24 2020-10-22 Siemens Healthcare Gmbh Medizinisches Bildverarbeitungsverfahren und Bildverarbeitungssystem
CN113822960A (zh) * 2016-09-06 2021-12-21 医科达有限公司 用于生成合成成像数据的方法、系统及计算机可读介质
US10314658B2 (en) * 2017-04-21 2019-06-11 Biosense Webster (Israel) Ltd. Registration of an anatomical image with a position-tracking coordinate system based on visual proximity to bone tissue

Also Published As

Publication number Publication date
US20210358143A1 (en) 2021-11-18
WO2020097510A1 (en) 2020-05-14
CN113544792A (zh) 2021-10-22
EP3877988A4 (en) 2022-08-17
US11393111B2 (en) 2022-07-19
JP2022506708A (ja) 2022-01-17
IL282991A (en) 2021-06-30
EP3877988A1 (en) 2021-09-15

Similar Documents

Publication Publication Date Title
US20210022812A1 (en) Surgical Navigation Inside A Body
US20210015583A1 (en) Augmented reality system and method for tele-proctoring a surgical procedure
CN109464195B (zh) 双模式增强现实外科手术系统和方法
Gsaxner et al. The HoloLens in medicine: A systematic review and taxonomy
US9498132B2 (en) Visualization of anatomical data by augmented reality
JP2023175709A (ja) 空間トラッキングシステムと拡張現実ディスプレイとのレジストレーション
US11983824B2 (en) System and method for augmenting and synchronizing a virtual model with a physical model
US20210401501A1 (en) System and method for recommending parameters for a surgical procedure
US20230114385A1 (en) Mri-based augmented reality assisted real-time surgery simulation and navigation
Liu et al. Toward intraoperative image-guided transoral robotic surgery
TW202207242A (zh) 用於增強現實脊柱手術之系統及方法
Ishida et al. Improving surgical situational awareness with signed distance field: a pilot study in virtual reality
TW202023489A (zh) 用於光學追蹤之系統及方法
KR20200056855A (ko) 기복모델 생성방법, 장치 및 프로그램
Schenkenfelder et al. Elastic registration of abdominal MRI scans and RGB-D images to improve surgical planning of breast reconstruction
WO2022133049A1 (en) Systems and methods for registering a 3d representation of a patient with a medical device for patient alignment
US20220249170A1 (en) System and method for processing black bone mri data
US20240282061A1 (en) System and method for visualizing volume layers in association with an object
TW202131875A (zh) 用於擴增實體模型及使虛擬模型與實體模型同步之系統及方法
Rong Projection-Based Spatial Augmented Reality for Interactive Visual Guidance in Surgery
Wang et al. Augmented Reality for Digital Orthopedic Applications
Nicolau et al. Augmented Reality