TW202145250A - 在延展實境影像上增強醫學掃描影像資訊的方法和系統 - Google Patents
在延展實境影像上增強醫學掃描影像資訊的方法和系統 Download PDFInfo
- Publication number
- TW202145250A TW202145250A TW110114344A TW110114344A TW202145250A TW 202145250 A TW202145250 A TW 202145250A TW 110114344 A TW110114344 A TW 110114344A TW 110114344 A TW110114344 A TW 110114344A TW 202145250 A TW202145250 A TW 202145250A
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- extended reality
- feature points
- reality image
- dimensional
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B90/37—Surgical systems with images on a monitor during operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/60—Type of objects
- G06V20/64—Three-dimensional objects
- G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/101—Computer-aided simulation of surgical operations
- A61B2034/105—Modelling of the patient, e.g. for ligaments or bones
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B34/00—Computer-aided surgery; Manipulators or robots specially adapted for use in surgery
- A61B34/10—Computer-aided planning, simulation or modelling of surgical operations
- A61B2034/107—Visualisation of planned trajectories or target regions
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B90/00—Instruments, implements or accessories specially adapted for surgery or diagnosis and not covered by any of the groups A61B1/00 - A61B50/00, e.g. for luxation treatment or for protecting wound edges
- A61B90/36—Image-producing devices or illumination devices not otherwise provided for
- A61B2090/364—Correlation of different images or relation of image positions in respect to the body
- A61B2090/365—Correlation of different images or relation of image positions in respect to the body augmented reality, i.e. correlating a live optical image with another image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2210/00—Indexing scheme for image generation or computer graphics
- G06T2210/41—Medical
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/03—Recognition of patterns in medical or anatomical images
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Surgery (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Public Health (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Health & Medical Sciences (AREA)
- Medical Informatics (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Veterinary Medicine (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Animal Behavior & Ethology (AREA)
- Heart & Thoracic Surgery (AREA)
- General Engineering & Computer Science (AREA)
- Radiology & Medical Imaging (AREA)
- Robotics (AREA)
- Architecture (AREA)
- Gynecology & Obstetrics (AREA)
- Multimedia (AREA)
- Pathology (AREA)
- Epidemiology (AREA)
- Primary Health Care (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Apparatus For Radiation Diagnosis (AREA)
- Magnetic Resonance Imaging Apparatus (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Processing Or Creating Images (AREA)
Abstract
本發明之各具體實施例闡述一種在第一延展實境影像上增強有關目標物體的醫學掃描資訊的方法。該方法包括獲得有關該目標物體的三維影像;從該三維影像識別一第一組三維特徵點;基於該第一組三維特徵點識別解剖點;獲得有關該等解剖點的該第一延展實境影像;從該第一延展實境影像選擇一第二組三維特徵點;在該第一組三維特徵點與該第二組三維特徵點之間進行一第一影像匹配;及基於該第一影像匹配將該三維影像疊加在該第一延展實境影像上。
Description
本發明之各具體實施例通常係關於在延展實境影像上增強醫學掃描影像資訊的各方法和各系統。
除非本說明書另有所指,否則本節所說明的該等方法對本申請案中的諸申請專利範圍並非先前技術,且包括在本節中並非承認是先前技術。
本申請案主張2020年4月22日所申請之美國臨時專利申請案第63/013,687號之優先權,其整個在此併入供參考。
手術上,手術途徑之計畫為至關重要。該手術途徑可由多個點所界定出,諸如遠離病患的安全點和手術前點、病患之組織上的進入點、及該手術之該目標處的目標點。
手術前,病患會接受醫學掃描(例如,CT或MRI)。該醫學掃描可提供該病患之各組織、各器官、和各器官系統之影像。該手術途徑係基於該等醫學掃描影像進行規劃。舉例來說,可採用人工智慧建議外科醫師從事最低損傷程度的最佳途徑。
延展實境技術通常指包括一或多個真實與虛擬組合環境和一或多個人機界面(由電腦技術和一或多個穿戴式裝置所產生)的技術。在醫學領域中,越來越多使用包括虛擬實境、增強實境、和混合實境的延展實境。舉例來說,延展實境可顯示緊鄰該手術途徑的各組織、各器官、和各器官系統之虛擬影像,並在該等虛擬影像上增強醫學掃描資訊(例如,醫學掃描影像)以促成該手術。
然而,在何時對病患進行該醫學掃描與何時進行該手術之間有不小的時間差異。慣用延展實境技術無法充分協調關於緊鄰該手術途徑的虛擬影像與該醫學掃描中所獲得資訊的該等差異。
在下列實施方式中,將參考形成其一部分的附圖。除非另有所指,否則在多個圖式中,相同編號通常表示類似部件。在實施方式、附圖、及諸申請專利範圍中,所說明的多個例示性具體實施例並非意指為限制性。在不悖離在此所描述標的之精神或範疇的情況下,可利用其他具體實施例,並可進行其他變更。將容易瞭解,本發明之多個態樣(例如,於本說明書通常所說明並在該等圖示中所例示)係可廣泛多種不同組態進行配置、替換、組合、和設計,其所有係於本說明書明確設想。
在整個下列各段落中,「延展實境(eXtended Reality,XR)」通常指組合虛擬與實體實境的環境,其中該「X」代表用於任何目前或未來空間運算技術的變量。在一些具體實施例中,延展實境係用於組合虛擬與實體實境的所有環境的涵蓋性用語。舉例來說,延展實境包括增強、虛擬、和混合實境。「延展實境影像(Etended eality image)」廣義上指內含有關虛擬與實體實境兩者的資訊的影像。「穿戴式裝置(Wearable)」、「穿戴式裝置技術(Wearable technology)」、和「穿戴式裝置(Wearable device)」係可互換用於通常指免持裝置,其可作為配件、嵌入衣物中、植入人體中等穿戴在人身上。此裝置通常可偵測、蒐集、分析、及/或通訊有關該穿戴者的資訊,例如生命體徵、移動資料、及/或周圍環境資料。穿戴式裝置之範例可包括但不限於一頭戴裝置、智慧型眼鏡等。三維(Three-dimensional,3D)模型廣義上指由各種幾何實體(例如,三角形、直線、彎曲表面等)所連接的3D空間中的點集合。
圖1為顯示當對病患進行手術時,可能遇到的數個點之中的各空間關係的示例圖,其根據本發明之一些具體實施例進行配置。在圖1中,手術途徑110可包括安全點120、手術前點130、進入點140、暫態點150、和目標點160。安全點120可供機械臂進行操作,以移動或旋轉而不會對該病患造成任何傷害的點。手術前點130可對應於該機械臂(構造成進行該手術但尚未與該病患實體接觸)之定位和角度的點。進入點140可為該機械臂沿著手術途徑110首次與該病患接觸的點。目標點160可為有關該手術之目標組織或目標器官的點。暫態點150可介於進入點140與目標點160之間的點。
圖2為例示將目標物體之三維影像與該目標物體之延展實境影像關聯在一起的示例程序200的流程圖,其根據本發明之一些具體實施例進行配置。程序200可包括一或多個操作、功能、或動作,如由步驟210、220、230、240、250、260、及/或270所例示,其可由硬體、軟體、及/或韌體所執行。該等多個步驟係不欲限於該等所說明具體實施例。該等所述的步驟和操作係僅提供為範例,且該等步驟和操作之一些者可視需要而定、組合為較少步驟和操作、或擴展為附加步驟和操作,而未減損該等所揭示具體實施例之該本質。儘管該等區塊係以序列順序進行例示,但這些步驟可亦平行、及/或採用不同於本說明書所說明的順序進行。
程序200可從步驟210「獲得目標物體之三維(3D)影像」開始。在一些具體實施例中,僅為了例示,該目標物體可為病患之組織、器官、器官系統之一部分。該等三維影像之一者可對應於由三維攝影機(例如,具深度感測器的攝影機)所拍攝的影像,或由二維攝影機所拍攝的一組影像。該等三維影像之另一者可能也對應於由另一來源(諸如,醫學掃描裝置(例如,超音波掃描機、電腦化斷層攝影(Computerized Tomography,CT)掃描機、磁振造影(Magnetic Resonance Imaging,MRI)裝置等))所獲得的影像。在一些具體實施例中,該等三維影像任一者可對應於該病患之組織、器官、器官系統之表面解剖資訊。在一些具體實施例中,該(等)攝影機可構造成拍攝該病患頭部之影像,以擷取該病患之該頭部外觀和各輪廓(例如,眼睛、耳朵、鼻尖、鼻孔、耳垂等)。該三維攝影機或該等二維攝影機可耦接到對該病患進行該手術的外科醫師之穿戴式裝置。或者,該三維攝影機或該等二維攝影機可耦接到由機械臂所控制的內視鏡或手術工具。
應注意,這些3D影像係視為包括實體實境資訊,其由該實體實境中的各裝置(例如,3D攝影機、2D攝影機、醫學掃描裝置等)所擷取。
步驟210可接著步驟220「從3D影像識別第一組3D特徵點」。在一些具體實施例中,可採用人工智慧引擎從步驟210中所獲得的該3D影像識別第一組3D特徵點。該人工智慧引擎可基於各邊緣、各對比度、各形狀以識別該第一組3D特徵點。在一些替代性具體實施例中,該第一組3D特徵點可由外科醫師透過穿戴式裝置進行識別。
步驟220可接著步驟230「基於第一組3D特徵點識別解剖點」。在一些具體實施例中,該第一組3D特徵點係在步驟210中所獲得的該3D影像上進行顯示或標示,以識別對應於該第一組3D特徵點的該病患之解剖點。舉例來說,藉由在該病患之3D臉部影像上顯示或標示該第一組3D特徵點,可識別對應於該第一組3D特徵點的該病患之解剖點(例如,眼睛、耳朵、鼻尖、鼻孔、和耳垂)。或者,藉由在該病患之3D內視鏡影像上顯示或標示該第一組3D特徵點,可能識別對應於該第一組3D特徵點的該病患之解剖點(例如,器官之血管)。在步驟230中,亦可識別該病患(包括該等解剖點)之一或多個組織、一或多個器官、和一或多個器官系統。
步驟230可接著步驟240「獲得有關解剖點的延展實境影像」。在一些具體實施例中,基於所識別的該病患(包括該等解剖點)之一或多個組織、一或多個器官、或一或多個器官系統,可能獲得有關該病患之該等一或多個組織、一或多個器官、或一或多個器官系統的延展實境影像。舉例來說,此延展實境影像可為即將顯示在穿戴式裝置(例如,頭戴裝置、智慧型眼鏡等)中的該病患頭部之表面之XR影像。在各替代性具體實施例中,此延展實境影像可為即將顯示在該穿戴式裝置中的該病患之器官(例如,肝臟或大腦)之表面之XR影像。這些XR影像包括在該實體實境中所擷取的資訊(例如,該病患頭部之一或多個影像、該病患器官之一或多個影像等),及該虛擬實境中的該所顯現影像。
步驟240可接著步驟250「從延展實境影像選擇第二組3D特徵點」。在一些具體實施例中,基於該等所識別的解剖點,第二組3D特徵點係從步驟240中所獲得的該延展實境影像進行選擇。該第二組3D特徵點可對應於該等所識別的解剖點。
步驟250可接著步驟260「在第一組3D特徵點與第二組3D特徵點之間進行影像匹配」。在一些具體實施例中,將該第一組3D特徵點與該第二組3D特徵點進行匹配,以判定對位該第一組3D特徵點和該第二組3D特徵點的關係,有時迭代進行以將該等兩組3D特徵點之間的該等差異降至最低限度。該影像匹配可基於一些影像比較方法,例如迭代最近點(Iterative Closest Point,ICP)。基於該所判定的對位該第一組3D特徵點和該第二組3D特徵點的關係,該目標物體之該三維影像係有關該目標物體之該延展實境影像。在一些具體實施例中,例如在直角座標系統中,該所判定的關係可包括但不限於一沿著X軸的第一移位;一沿著Y軸的第二移位;一沿著Z軸的第三移位;一沿著X軸的第一旋轉角度;一沿著Y軸的第二旋轉角度;及一沿著Z軸的第三旋轉角度。在各種座標系統中,該所判定的關係可能不同。
步驟260可接著步驟270「將3D影像疊加在延展實境影像上」。在一些具體實施例中,基於在步驟260中所判定的對位該第一組3D特徵點和該第二組3D特徵點的該關係,該目標物體之該三維影像係有關該目標物體之該延展實境影像。因此,在步驟210所獲得的該目標物體之該三維影像可疊加在有關在步驟240中所獲得的解剖點的該延展實境影像上,以在步驟240所獲得的該延展實境影像上增強在步驟210所獲得的附加資訊。
圖3為例示將目標物體之三維影像與醫學掃描影像(包括該目標物體)形成關聯性的示例程序300的流程圖,其根據本發明之一些具體實施例進行配置。程序300可包括一或多個操作、功能、或動作,如由步驟310、320、330、340、350、360、及/或370所例示,其可由硬體、軟體、及/或韌體所進行。在一些具體實施例中,結合圖1,可隨著手術工具到達進入點140進行程序300 。各個步驟係不欲限於該等所說明具體實施例。該等所概述的步驟和操作係僅提供示例,且該等步驟和操作之一些者可視需要而定、組合為較少步驟和操作、或擴展為附加步驟和操作,而未減損該等所揭示具體實施例之該本質。儘管該等步驟係以序列例示,但這些步驟可亦平行、及/或採用不同於本說明書所說明的順序進行。
程序300可從步驟310「獲得有關目標物體的三維(3D)影像」開始。在一些具體實施例中,僅為了例示,該目標物體可為病患之組織、器官、器官系統之一部分。該三維影像可包括一由三維攝影機(例如,一具深度感測器的攝影機)所拍攝的影像;或者,一組由二維攝影機所拍攝的影像。在一些具體實施例中,該三維影像可對應於該病患之組織、器官、器官系統之表面解剖資訊。在一些具體實施例中,該(等)攝影機可構造成拍攝該病患頭部之影像,以擷取該病患之該頭部外觀和各輪廓(例如,眼睛、耳朵、鼻尖、鼻孔、耳垂等)。該三維攝影機或該等二維攝影機可固定在對該病患進行手術的外科醫師之穿戴式裝置處。或者,該三維攝影機或該等二維攝影機可固定在由機械臂所控制的內視鏡或手術工具處。
步驟310可接著步驟320「基於醫學掃描建構3D模型」。手術前,可使用一些醫學掃描擷取病患狀態之快照,使可制定手術計畫。該手術計畫可包括一經規劃手術途徑,如前所闡述。舉例來說,該外科醫師可命令醫學掃描(例如,CT或MRI),以獲得包括一目標物體(例如,一病患之一或多個組織或器官)的醫學掃描影像。此醫學掃描可在該手術之前幾天(例如,3至5天)進行。有關該目標物體的三維模型,可基於使用一些已知方法從該醫學掃描資料所獲得的影像之資訊進行建構。
圖4A和圖4B例示基於根據本發明之一些具體實施例進行配置的醫學掃描影像的所處理影像。結合圖4A和圖4B,步驟320可接著步驟330「由醫學掃描所獲得的程序資訊」,其係根據本發明之一些具體實施例。在步驟310所獲得的該等3D影像係僅有關該目標物體之表面資訊,但並未有關該目標物體之該表面下資訊。然而,由醫學掃描所獲得的影像通常係有關該表面和該表面下資訊兩者。進行影像處理,以從該等醫學掃描移除該表面下資訊。
在圖4A中,在一些具體實施例中,假設手術目標係在該病患頭部裡面,則二進制影像410可從原始MRI影像(沿著從該病患之頭部到腳趾的軸線方向)所衍生出。區域411係該病患之頭骨,且在該原始MRI影像中通常係以白色代表。區域411之外周部412可指該病患之皮膚,其係有關該目標物體(即是,病患頭部)之該表面資訊。採用設定臨界值方法,可建立包括在該頭骨外面(全黑)外物的區域413和在該頭骨裡面區域415的影像410。影像410可進一步進行處理,以形成影像420。在影像420中,將區域413指定灰階以區分黑色和白色,以形成區域423。
在圖4B中,影像420可進一步進行處理,以形成影像430。在影像430中,將區域413之該灰階以外的各區域指定為黑色,以形成區域431。然後,可將影像430中的區域423指定為白色,以形成影像440。因此,沿著周部441的各點可對應於有關該目標物體之該表面資訊的該病患之皮膚。因此,沿著周部441的各點不包括由該等醫學掃描所獲得的該表面下資訊。
步驟330可接著步驟340「從3D影像選擇第一組3D特徵點」。在一些具體實施例中,可採用人工智慧引擎從在步驟310所獲得的該3D影像選擇第一組3D特徵點。該人工智慧引擎可基於各邊緣、各對比度、各形狀選擇該第一組3D特徵點。在一些具體實施例中,該第一組3D特徵點可對應於解剖特徵點,例如器官之血管分佈或組織紋理。
步驟340可接著步驟350「從所處理資訊選擇第二組3D特徵點」。在一些具體實施例中,可採用人工智慧引擎從在步驟330中由所處理的醫學掃描所獲得的資訊選擇第二組3D特徵點。該人工智慧引擎可基於各邊緣、各對比度、各形狀選擇該第二組3D特徵點。在一些具體實施例中,該第二組3D特徵點可對應於相同解剖特徵點(對應於在步驟340中所選擇的該第一組3D特徵點)。
步驟350可接著步驟360「在第一組3D特徵點與第二組3D特徵點之間進行影像匹配」。在一些具體實施例中,將該第一組3D特徵點與該第二組3D特徵點進行匹配,以判定對位該第一組3D特徵點和該第二組3D特徵點的關係,有時進行迭代以將該等兩組3D特徵點之間的該等差異降至最低限度。該影像匹配可基於一些影像比較方法,例如迭代最近點(ICP)。基於該所判定的對位該第一組3D特徵點和該第二組3D特徵點的關係,有關該目標物體的該三維影像係有關該目標物體之該所處理影像(例如,影像440)。在一些具體實施例中,例如在笛卡爾(Cartesian)坐標系統中,該所判定的關係可包括但不限於一沿著X軸的第一移位;一沿著Y軸的第二移位;一沿著Z軸的第三移位;一沿著X軸的第一旋轉角度;一沿著Y軸的第二旋轉角度;及一沿著Z軸的第三旋轉角度。在各種座標系統中,該所判定的關係可能不同。
步驟360可接著步驟370「將3D模型與所匹配表面進行匹配」。在一些具體實施例中,基於在步驟360中所判定的對位該第一組3D特徵點和該第二組3D特徵點的該關係,將一第一表面(有關在步驟310中所獲得的該目標物體)與一第二表面(有關在步驟320中基於該等醫學掃描所建構的該3D模型)進行匹配。該3D模型之數個點可界定出該第二表面。因此,基於如前所闡述的該所判定的關係,可將在步驟320中所建構的該3D模型旋轉及/或移位,以將由該3D模型之數個點所界定出的一表面與該第二表面進行匹配。
圖5為例示在該目標物體之延展實境影像上,增強由有關目標物體的醫學掃描所獲得的資訊的示例程序的流程圖,其根據本發明之一些具體實施例進行配置。程序500可包括一或多個操作、功能、或動作,如由步驟510、520、及/或530所例示,其可由硬體、軟體、及/或韌體所進行。該等各種步驟係不欲限於該等所說明具體實施例。該等所概述的步驟和操作係僅提供為範例,且該等步驟和操作之一些可視需要而定、組合為較少步驟和操作、或擴展為附加步驟和操作,而未減損該等所揭示具體實施例之該本質。儘管該等步驟係以序列順序進行例示,但這些步驟可能平行、及/或採用不同於本說明書所說明的順序進行。
程序500可從步驟510「將三維(3D)影像疊加在第一延展實境影像上」開始。在一些具體實施例中,結合圖2,步驟510可對應於步驟270。舉例來說,在步驟510,在步驟210中所獲得的目標物體之三維影像可疊加在有關在步驟240中所獲得的解剖點的第一延展實境影像上,以在步驟210中所獲得的該第一延展實境影像上增強在步驟240中所獲得的附加資訊。
步驟510可接著步驟520「基於所匹配3D模型獲得第二延展實境影像」。在一些具體實施例中,結合圖3,步驟370可接著步驟520。舉例來說,在步驟520,此第二延展實境影像可基於在步驟370中所匹配的該3D模型所獲得。此第二延展實境影像可包括該病患頭部之一或多個表面與表面下(例如,組織或器官)XR影像,其係即將顯示在一穿戴式裝置(例如,一頭戴裝置、智慧型眼鏡等)中。在各替代性具體實施例中,此第二延展實境影像可包括該病患之一組織(例如,血管)或一器官(例如,肝臟或大腦)之一或多個表面與表面下XR影像,其係即將顯示在該穿戴式裝置中。這些XR影像包括在該實體實境中所擷取的資訊(例如,該病患之醫學掃描影像),以及該虛擬實境中的該所顯現影像。
步驟520可接著步驟530「將第二延展實境影像疊加在第一延展實境影像上」。在一些具體實施例中,因為該第二延展實境影像係基於在步驟370中所匹配的該3D模型所獲得,使得該第二延展實境影像之一表面影像係將與該第一表面(有關在步驟310中所獲得的該目標物體)(其亦為在步驟210中所獲得的該目標物體之三維影像之一部分)進行匹配。在從在步驟210中所獲得的該目標物體之該三維影像識別該第一表面之後,該第二延展實境影像可基於該第一表面疊加在該第一延展實境影像上。因為該第二延展實境影像係從步驟370中的3D模型(其也係基於步驟320中的該等醫學掃描所建構)所獲得,如前所討論,由該等醫學掃描所獲得的資訊(包括表面下資訊)可在該目標物體之該第一延展實境影像上進行增強。
圖6為例示隨著當手術工具到達該目標物體之表面下區域時該目標物體之移位,以獲得有關目標物體的延展實境影像的示例程序的流程圖,其根據本發明之一些具體實施例進行配置。程序600可包括一或多個操作、功能、或動作,如由步驟610、620、630、及/或640所例示,其可由硬體、軟體、及/或韌體所進行。在一些具體實施例中,結合圖1,隨著手術工具經過進入點140並到達暫態點150可進行程序600。在一些具體實施例中,結合圖5,可在步驟530之後進行程序600。該等各步驟不意旨限於所述的具體實施例。該等所概述的步驟和操作係僅提供為範例,且該等步驟和操作之一些者可視需要而定、組合為較少步驟和操作、或擴展為附加步驟和操作,而未減損該等所揭示具體實施例之該本質。儘管該等步驟係以順序進行例示,但這些步驟可亦平行、及/或採用不同於本說明書所說明的順序進行。
程序600可從步驟610「獲得第三延展實境影像」開始。在一些具體實施例中,該第三延展實境影像可對應於有關目標物體之表面下區域(例如,圖1中的暫態點150)的影像,以模擬當該手術工具到達該目標物體之該表面下區域時的視野。該手術工具可附接到手術室(其具有與該病患的各已知空間關係)中的機械臂。在一些具體實施例中,結合圖5,在步驟530之後,該第二延展實境影像係已疊加在該第一延展實境影像上。因此,在步驟610中,該第三延展實境影像可基於該第二延展實境影像和該等已知空間關係所獲得。
步驟610可接著步驟620「獲得有關表面下區域的三維(3D)影像」。在一些具體實施例中,有關該表面下區域的3D影像可由當該手術工具實體上到達該表面下區域時,附接在該手術工具上的攝影機或超音波感測器所獲得。
步驟620可接著步驟630「計算第三延展實境影像與3D影像之間的偏差」。在一些具體實施例中,在步驟610中所獲得的該第三延展實境影像與在步驟620中所獲得的該三維影像之間的偏差,係藉由任何技術可行方法進行計算。該偏差可能由該手術工具之該侵入所造成。舉例來說,大腦包括非常柔軟的組織。這些組織隨著異物(例如,該手術工具)之侵入而容易從其原始位置移位。
步驟630可接著步驟640「獲得第四延展實境影像」。在一些具體實施例中,在步驟610中所獲得的該第三延展實境影像可藉由補償在步驟630中所計算出的該偏差而進行更新,以獲得第四延展實境影像。因此,該第四延展實境影像可對應於有關該表面下區域的影像,以模擬當該手術工具實體上到達該目標物體之該表面下區域時的視野。因此,該第四延展實境影像可包括由該等醫學掃描所獲得的資訊,並可促成該外科醫師進行該手術,以回應有關一或多個組織或一或多個器官的移位。
在一些具體實施例中,方法200、300、500、和600可採用有線或無線方式連接到穿戴式裝置(例如,Microsoft®
HoloLens)的電腦所進行。該電腦可提供在該穿戴式裝置上提供實境體驗(例如,影像)的延展實境平台。該穿戴式裝置係構造成如以上在圖2、圖3、圖5、和圖6中所闡述顯示延展實境影像。
該等以上範例係可由硬體(包括硬體邏輯電路)、軟體、或韌體、或其組合所實行。該等以上範例可由任何合適的運算裝置、電腦系統、穿戴式裝置等所實行。該運算裝置可包括處理器、記憶體、和實體網路介面卡(NIC),其可能經由一通訊匯流排等彼此通訊。該運算裝置可包括一非暫時性電腦可讀取媒體,其具有儲存在其上隨著由該處理器執行的各指令或程式碼,使該處理器執行本說明書參考圖2、圖3、圖5、和圖6所說明的各程序。舉例來說,一運算裝置可通訊一穿戴式及/或一或多個感測器。
以上所簡介的該等技術係可在專用硬連線電路中、在結合可編程電路的軟體及/或韌體中、或在其組合中實行。專用硬連線電路可以例如一或多個專用積體電路(Application-specific Integrated Circuit,ASIC)、可編程邏輯裝置(Programmable Logic Device,PLD)、場可程式閘陣列(Field-programmable gate array,FPGA)等為形式。該術語「處理器(Processor)」係在廣義上解釋成包括一處理單元、ASIC、邏輯單元、或可編程閘陣列等。
本說明書所揭示的該等具體實施例之一些態樣,(全部或部分)係可在積體電路中等效實行為在一台或多台電腦上執行的一或多個電腦程式(例如,作為在一或多個運算系統上執行的一或多個程式)、在一或多個處理器上執行的一或多個程式(例如,作為在一或多個微處理器上執行的一或多個程式)、韌體、或幾乎其任何組合,並可根據此揭示內容針對該軟體和或韌體設計該電路及/或編寫該代碼。
實行在此所簡介的該等技術的軟體及/或其他指令,可儲存在非暫時性電腦可讀取儲存媒體上,並可由一或多個通用或專用可編程微處理器所執行。如本說明書所使用的該用語,「電腦可讀取儲存媒體(Computer-readable storage medium)」包括以可由一機器(例如,一電腦、網路裝置、個人數位助理(Personal Digital Assistant,PDA)、行動裝置、製造工具、具一組一或多個處理器的任何裝置等)存取的一形式提供(即是,儲存及/或傳輸)資訊的任何機構。電腦可讀取儲存媒體可包括可記錄式/不可記錄式媒體(例如,唯讀記憶體(Read-only Memory,ROM)、隨機存取記憶體(Random Access Memory,RAM)、磁碟、或光學儲存媒體、快閃記憶體裝置等)。
從前述內容,將瞭解本發明之各種具體實施例係已為了例示之目的而於本說明書進行說明,並可能在不悖離本發明之範疇與精神的情況下進行各種修飾例。因此,本說明書所揭示的該等各種具體實施例係不欲為限制性。
110:手術途徑
120:安全點
130:手術前點
140:進入點
150:暫態點
160:目標點
200,300:示例程序;程序;方法
210-270,310-370,510-530,610-640:區塊
410:二進制影像;影像
411,413,415,423,431:區域
412:外周部
420,430,440:影像
441:周部
500,600:程序;方法
圖1為顯示當對病患進行手術時,可能遇到的數個點之中的多個空間關係的示例圖;
圖2為例示將目標物體之三維影像與該目標物體之延展實境影像形成關聯性的示例程序的流程圖;
圖3為例示將目標物體之三維影像與醫學掃描影像(包括該目標物體)形成關聯性的示例程序的流程圖;
圖4A和圖4B例示基於醫學掃描影像的示例處理影像;
圖5為例示在該目標物體之延展實境影像上,增強由有關目標物體的醫學掃描所獲得資訊的示例程序的流程圖;及
圖6為例示隨著當手術工具到達該目標物體之表面下區域時該目標物體之移位,獲得有關目標物體的延展實境影像的示例程序的流程圖,其所有係根據本發明之一些具體實施例進行配置。
Claims (19)
- 一種在第一延展實境影像上增強有關目標物體的醫學掃描資訊的方法,其包含: 獲得有關該目標物體的三維影像; 從該三維影像識別一第一組三維特徵點; 基於該第一組三維特徵點識別解剖點; 獲得有關該等解剖點的該第一延展實境影像; 從該第一延展實境影像選擇一第二組三維特徵點; 在該第一組三維特徵點與該第二組三維特徵點之間進行一第一影像匹配;及 基於該第一影像匹配將該三維影像疊加在該第一延展實境影像上。
- 如請求項1之方法,其中該等識別解剖點更包括在該三維影像上標示該第一組三維特徵點。
- 如請求項1之方法,其中該第一延展實境影像包括一病患之一或多個組織、一或多個器官、或一或多個器官系統(包括該等解剖點)。
- 如請求項1之方法,其更包含: 基於該醫學掃描資訊建構三維模型; 從該三維模型選擇一第三組特徵點; 在該第一組三維特徵點與該第三組三維特徵點之間進行一第二影像匹配,以識別有關該三維影像和該三維模型的一所匹配表面; 將該三維模型與該所匹配表面進行匹配;及 基於該所匹配三維模型獲得一第二延展實境影像。
- 如請求項4之方法,其中該匹配該三維模型更包括旋轉或移位該三維模型,以將由該三維模型之複數個點所界定出的一表面與該所匹配表面進行匹配。
- 如請求項4之方法,其中該所匹配表面係有關一病患之一或多個組織、一或多個器官、或一或多個器官系統之表面。
- 如請求項4之方法,其更包含基於該所匹配表面將該第二延展實境影像疊加在該第一延展實境影像上,以增強有關該目標物體的該醫學掃描資訊。
- 如請求項7之方法,其更包含獲得對應於一病患之一或多個組織、一或多個器官、或一或多個器官系統之表面下區域的一第三延展實境影像,其中該第三延展實境影像係有關該表面下區域的一影像,以模擬當一手術工具到達該表面下區域時的一視野。
- 如請求項8之方法,其更包含: 隨著該手術工具實體上到達該表面下區域,以獲得有關該表面下區域的另三維影像;及 計算該第三延展實境影像與該另三維影像之間的一偏差,其中該偏差對應於該病患之該等一或多個組織、一或多個器官、或一或多個器官系統之移位。
- 如請求項9之方法,其更包含基於該第三延展實境影像和該偏差獲得對應於該表面下區域的一第四延展實境影像。
- 一種系統,其包含: 一或多個處理器; 一穿戴式裝置,其耦接到該處理器;及 一非暫時性電腦可讀取媒體,其具有儲存在其上的各指令以隨著由該等一或多個處理器的執行,使該等一或多個處理器執行在一第一延展實境影像上增強有關一目標物體的醫學掃描資訊之一方法,該方法包含: 獲得有關該目標物體的三維影像; 從該三維影像識別一第一組三維特徵點; 基於該第一組三維特徵點識別解剖點; 獲得有關該等解剖點的該第一延展實境影像; 從該第一延展實境影像選擇一第二組三維特徵點; 在該第一組三維特徵點與該第二組三維特徵點之間進行一第一影像匹配;及 基於該第一影像匹配將該三維影像疊加在該第一延展實境影像上。
- 如請求項11之系統,其中該穿戴式裝置係構造成顯示該第一延展實境影像、該第二延展實境影像、該第三延展實境影像、和該第四延展實境影像之一或多者。
- 如請求項11之系統,其中具有儲存在其上以隨著由該等一或多個處理器的執行的附加指令的該非暫時性電腦可讀取媒體,使該等一或多個處理器在該三維影像上標示該第一組三維特徵點。
- 如請求項11之系統,其中具有儲存在其上以隨著由該等一或多個處理器的執行的附加指令的該非暫時性電腦可讀取媒體,使該等一或多個處理器: 基於該醫學掃描資訊建構三維模型; 從該三維模型選擇一第三組特徵點; 在該第一組三維特徵點與該第三組三維特徵點之間進行一第二影像匹配,以識別有關該三維影像和該三維模型的一所匹配表面; 將該三維模型與該所匹配表面進行匹配;及 基於該所匹配三維模型獲得一第二延展實境影像。
- 如請求項14之系統,其中具有儲存在其上以隨著由該等一或多個處理器的執行的附加指令的該非暫時性電腦可讀取媒體,使該等一或多個處理器旋轉或移位該三維模型,以將由該三維模型之複數個點所界定出的一表面與該所匹配表面進行匹配。
- 如請求項14之系統,其中具有儲存在其上以隨著由該等一或多個處理器的執行的附加指令的該非暫時性電腦可讀取媒體,使該等一或多個處理器基於該所匹配表面將該第二延展實境影像疊加在該第一延展實境影像上,以增強有關該目標物體的該醫學掃描資訊。
- 如請求項14之系統,其中具有儲存在其上以隨著由該等一或多個處理器的執行的附加指令的該非暫時性電腦可讀取媒體,使該等一或多個處理器獲得對應於一病患之一或多個組織、一或多個器官、或一或多個器官系統之表面下區域的一第三延展實境影像,其中該第三延展實境影像係有關該表面下區域的一影像,以模擬當一手術工具到達該表面下區域時的一視野。
- 如請求項17之系統,其中具有儲存在其上以隨著由該等一或多個處理器的執行的附加指令的該非暫時性電腦可讀取媒體,使該等一或多個處理器: 隨著該手術工具實體上到達該表面下區域,獲得有關該表面下區域的另三維影像;及 計算該第三延展實境影像與該另三維影像之間的一偏差,其中該偏差對應於該病患之該等一或多個組織、一或多個器官、或一或多個器官系統之移位。
- 如請求項18之系統,其中具有儲存在其上以隨著由該等一或多個處理器的執行的附加指令的該非暫時性電腦可讀取媒體,使該等一或多個處理器基於該第三延展實境影像和該偏差獲得對應於該表面下區域的一第四延展實境影像。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US202063013687P | 2020-04-22 | 2020-04-22 | |
US63/013,687 | 2020-04-22 |
Publications (1)
Publication Number | Publication Date |
---|---|
TW202145250A true TW202145250A (zh) | 2021-12-01 |
Family
ID=78270281
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW110114344A TW202145250A (zh) | 2020-04-22 | 2021-04-21 | 在延展實境影像上增強醫學掃描影像資訊的方法和系統 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20230149087A1 (zh) |
EP (1) | EP4140125A4 (zh) |
JP (1) | JP7486603B2 (zh) |
CN (1) | CN115428443A (zh) |
TW (1) | TW202145250A (zh) |
WO (1) | WO2021213450A1 (zh) |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20080049999A1 (en) * | 2006-08-28 | 2008-02-28 | Siemens Medical Solutions Usa, Inc. | Computer Aided Detection of Bone Metastasis |
EP2684518A4 (en) | 2011-03-09 | 2014-09-17 | Univ Osaka | IMAGE DATA PROCESSING DEVICE AND DEVICE FOR TRANSCRANIAL MAGNETIC STIMULATION |
TWI473598B (zh) * | 2012-05-18 | 2015-02-21 | Univ Nat Taiwan | Breast ultrasound image scanning and diagnostic assistance system |
KR101572487B1 (ko) * | 2013-08-13 | 2015-12-02 | 한국과학기술연구원 | 환자와 3차원 의료영상의 비침습 정합 시스템 및 방법 |
US9547940B1 (en) * | 2014-09-12 | 2017-01-17 | University Of South Florida | Systems and methods for providing augmented reality in minimally invasive surgery |
JP2018534011A (ja) * | 2015-10-14 | 2018-11-22 | サージカル シアター エルエルシー | 拡張現実感手術ナビゲーション |
CN107204037B (zh) * | 2016-03-17 | 2020-11-24 | 中国科学院光电研究院 | 基于主被动三维成像系统的三维影像生成方法 |
GB2568426B (en) * | 2016-08-17 | 2021-12-15 | Synaptive Medical Inc | Methods and systems for registration of virtual space with real space in an augmented reality system |
US10010379B1 (en) * | 2017-02-21 | 2018-07-03 | Novarad Corporation | Augmented reality viewing and tagging for medical procedures |
WO2018195529A1 (en) * | 2017-04-21 | 2018-10-25 | Samadani Uzma | Using augmented reality in surgical navigation |
TWI670681B (zh) * | 2017-06-04 | 2019-09-01 | 鈦隼生物科技股份有限公司 | 判定手術路徑上一個或多個點之方法和系統 |
US20190021677A1 (en) * | 2017-07-18 | 2019-01-24 | Siemens Healthcare Gmbh | Methods and systems for classification and assessment using machine learning |
CN109961487A (zh) * | 2017-12-14 | 2019-07-02 | 通用电气公司 | 放疗定位图像识别方法、计算机程序及计算机存储介质 |
US20190392265A1 (en) * | 2018-06-22 | 2019-12-26 | Siemens Medical Solutions Usa, Inc. | Patient-Adaptive Nuclear Imaging |
-
2021
- 2021-04-21 US US17/919,989 patent/US20230149087A1/en active Pending
- 2021-04-21 JP JP2022564308A patent/JP7486603B2/ja active Active
- 2021-04-21 TW TW110114344A patent/TW202145250A/zh unknown
- 2021-04-21 CN CN202180030417.0A patent/CN115428443A/zh active Pending
- 2021-04-21 EP EP21792586.6A patent/EP4140125A4/en active Pending
- 2021-04-21 WO PCT/CN2021/088799 patent/WO2021213450A1/en unknown
Also Published As
Publication number | Publication date |
---|---|
JP2023524652A (ja) | 2023-06-13 |
EP4140125A4 (en) | 2024-05-15 |
EP4140125A1 (en) | 2023-03-01 |
JP7486603B2 (ja) | 2024-05-17 |
WO2021213450A1 (en) | 2021-10-28 |
US20230149087A1 (en) | 2023-05-18 |
CN115428443A (zh) | 2022-12-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11266480B2 (en) | Augmented reality viewing and tagging for medical procedures | |
US11883118B2 (en) | Using augmented reality in surgical navigation | |
TWI595437B (zh) | 術中追蹤方法 | |
CA3050809C (en) | Augmented reality patient positioning using an atlas | |
JP6883222B2 (ja) | 画像処理装置、画像処理方法、プログラム及び手術用ナビゲーションシステム | |
EP3789965B1 (en) | Method for controlling a display, computer program and mixed reality display device | |
KR102493021B1 (ko) | 수술 경로 상의 하나 또는 다수의 포인트를 판정하는 방법 및 시스템 | |
JPH09508994A (ja) | 像形成装置及び方法 | |
JP6493885B2 (ja) | 画像位置合せ装置、画像位置合せ装置の作動方法および画像位置合せプログラム | |
TW202145250A (zh) | 在延展實境影像上增強醫學掃描影像資訊的方法和系統 | |
Shin et al. | Markerless surgical robotic system for intracerebral hemorrhage surgery | |
Chen et al. | External tracking devices and tracked tool calibration | |
WO2022249190A1 (en) | System and method for verification of conversion of locations between coordinate systems | |
JP6795744B2 (ja) | 医療支援方法および医療支援装置 | |
JP7504942B2 (ja) | 拡張現実のグラフィック表現を表示するための表現装置 | |
TWI766253B (zh) | 基於影像匹配決定手術路徑之方法與系統 | |
Beccarini | Performance Evaluation of a Novel Retinal Proximity Detection System for Ophthalmic Surgical Guidance | |
CN114270408A (zh) | 用于控制显示器的方法、计算机程序和混合现实显示设备 | |
Eilers | Accuracy of image guided robotic assistance in cochlear implant surgery |