TW202108069A - 影像對準方法及其系統 - Google Patents

影像對準方法及其系統 Download PDF

Info

Publication number
TW202108069A
TW202108069A TW109114594A TW109114594A TW202108069A TW 202108069 A TW202108069 A TW 202108069A TW 109114594 A TW109114594 A TW 109114594A TW 109114594 A TW109114594 A TW 109114594A TW 202108069 A TW202108069 A TW 202108069A
Authority
TW
Taiwan
Prior art keywords
image
imager
optical
view
view image
Prior art date
Application number
TW109114594A
Other languages
English (en)
Other versions
TWI829923B (zh
Inventor
呂志偉
盧松暐
林嘉偉
陳怡伶
何端書
Original Assignee
安盟生技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 安盟生技股份有限公司 filed Critical 安盟生技股份有限公司
Publication of TW202108069A publication Critical patent/TW202108069A/zh
Application granted granted Critical
Publication of TWI829923B publication Critical patent/TWI829923B/zh

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • A61B5/444Evaluating skin marks, e.g. mole, nevi, tumour, scar
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0066Optical coherence imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0062Arrangements for scanning
    • A61B5/0068Confocal scanning
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0071Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by measuring fluorescence emission
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0075Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence by spectroscopy, i.e. measuring spectra, e.g. Raman spectroscopy, infrared absorption spectroscopy
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/30Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30088Skin; Dermal
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Dermatology (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)

Abstract

本發明關於一種影像對準方法,其包含下列步驟:藉由一第一成像器提供一目標區域的一廣視影像;藉由一第二成像器提供該目標區域的一窄視影像;使該窄視影像對齊於該目標區域的該廣視影像上;藉由一光學成像器擷取一光學影像,其中該光學成像器被建構成用於將該光學影像定位在該窄視影像中;以及將該光學影像的位置顯示在該目標區域的該窄視影像及該廣視影像上。本發明亦提供一種具有至少兩個成像器共用相同光學元件的影像對準系統,以準確地達到光學影像定位。

Description

影像對準方法及其系統
本發明關於影像對準方法及其系統。
根據世界衛生組織的統計,過去十年來全球皮膚癌已逐年增長,其與生活型態、老化社會、及全球性臭氧層的破壞息息相關。
臨床上,包括皮膚癌在內的任何特定皮膚病況的診斷係由收集有關所呈現之皮膚病灶的相關資訊來進行,所述皮膚病灶的相關資訊包括位置(諸如手臂、頭部、腳)、症狀(癢、痛)、持續時間(急性或慢性)、排列(孤立性、廣泛性、環狀、線性)、形態(斑、丘疹、小水泡)、及顏色(紅、藍、棕、黑、白、黃)。除了常規的皮膚組織切片,可使用光學診斷系統來評估皮膚的病況。
本發明提供一種影像對準方法,以在醫學診斷過程期間精確地定位及追蹤一目標區域。本發明進一步提供一種具有兩個成像器共用相同光學元件的影像對準系統,以達到精確的光學影像對準。
本發明關於一種影像對準方法,其包含下列步驟:藉由一第一成像器提供一目標區域的一廣視影像;藉由一第二成像器提供該目標區域的一窄視影像;使該窄視影像對齊於該目標區域的該廣視影像上;藉由一光學成像器擷取一光學影像,其中該光學成像器被建構成用於將該光學影像定位在該窄視影像中;以及將該光學影像的位置顯示在該目標區域的該窄視影像及該廣視影像上。
本發明亦關於一種影像對準系統,其包含:一第一成像器,其被建構成用於擷取一目標區域的一廣視影像;以及一光學模組,其包含一第二成像器及一光學成像器,該第二成像器及該光學成像器共用相同物鏡,其中該光學成像器被建構成用於擷取一光學影像,且該第二成像器被建構成用於擷取該目標區域的一窄視影像,以將該窄視影像對齊於該目標區域的該廣視影像上,以及將該光學影像的位置顯示在該目標區域的該窄視影像及該廣視影像上。
援引併入 本說明書中所提到的所有出版物、專利和專利申請案均通過引用併入本文,其程度等同於特别地且單獨地指出每個單獨的出版物、專利或專利申請通過引用而併入。
影像對準是將不同組資料轉換成為一個協作系統的過程。資料可以是來自於不同的感測器、時間、深度、或視點的許多個照片、資料。為了能夠將這些不同量測所獲得的資料加以比較或整合,對準是必要的。例如,影像對準的其中一個主要目的是準確地定位目標區域,以在診斷及治療過程期間採用高解析度非侵入性光學掃描。 它可供用以在隨後的診察中重覆地找尋感興趣的目標區域,從而達到持續的追蹤與後續的醫療服務。
一般而言,光學影像(諸如具有高解析度與小視域(FOV)的光學同調斷層掃瞄(OCT)及共軛焦顯微法(RCM))不容易準確地找尋到感興趣的部位/區域,且隨後在大範圍區域中也常常無法找到同一部位/區域,因而不能追蹤感興趣的目標部位/區域;如此的困境導致診斷時間和治療費用的增加。例如,對於~1 μm的解析度而言,該視域大約為一百微米,此將導致對於目標區域(例如,皮膚上的病灶)中的掃描區域定位有困難。本發明可幫助精確地瞄準該病灶中的掃描區域,並記錄掃描點以確認被檢查的整體病灶。因此,可改善整個檢查過程的效率,並且醫師可以在第一次檢查之後於追蹤病患時再度掃描相同的位點。
基於上述影像對齊事宜,需要發展出一種精確的影像對齊/對準系統,且更具體而言,一種皮膚影像對齊/對準系統,使定位及追蹤皮膚目標區域以進行診斷及治療變得更簡單。
在一些具體例中提供一種特別適用於皮膚診斷的影像對準方法,以在皮膚診察期間精確地定位一目標區域的位置。本發明亦提供一種具有至少兩個成像器共用相同光學元件的影像對準系統,以準確地達到光學影像定位。
圖1顯示一影像對準方法之例示性流程圖,其包含下列步驟:藉由一第一成像器提供一目標區域的一廣視影像(步驟11);藉由一第二成像器提供該目標區域的一窄視影像(步驟12);將該窄視影像對齊於該目標區域的該廣視影像上(步驟13);以及藉由一光學成像器擷取一光學影像(步驟14),其中該光學成像器被建構成用於將該光學影像定位在該窄視影像中;以及將該光學影像的位置顯示在該廣視影像上(步驟15),以達成將該光學影像對準於該目標區域的窄視影像及廣視影像上。
在一些具體例中,該光學影像為光學同調斷層掃瞄(OCT)影像、共軛焦顯微術(RCM)影像、雙光子發光顯微術(TPL)影像、二階諧波產生顯微術(SHG)影像、三階諧波產生顯微術(THG)影像、螢光共軛焦顯微術(FCM)影像,或與其相似者。在一些具體例中,該光學成像器為可以產生光學同調斷層掃瞄(OCT)影像、共軛焦顯微術(RCM)影像、雙光子發光顯微術(TPL)影像、二階諧波產生顯微術(SHG)影像、三階諧波產生顯微術(THG)影像、螢光共軛焦顯微術(FCM)影像,或與其相似者。在特定具體例中,該光學影像為OCT影像或RCM影像。
為了在影像對準期間達到特徵提取與匹配程序,有兩個方式能實現這兩個程序,一者為區域式匹配技術、另一者為特徵式匹配技術。對於皮膚影像對準而言,由於鄰近皮膚顏色的特徵相似且難以區別,因此,影像提取與匹配程序較佳採用特徵式匹配技術。
此外,在皮膚掃描程序期間亦存在著畫格(image frame)間之皮膚變形、影像旋轉及影像縮放差的問題。針對這些考量,特徵式匹配技術將會是用於皮膚影像對準的合適方式。在特徵式技術中亦可分成兩種方式,區塊式(blobs-based)技術及角點式(corner-based)技術。至於具有較不尖銳角點或清晰邊緣之高倍率性質的皮膚影像,區塊式技術將會是用於提取與匹配皮膚影像特徵的較佳方式。在一些具體例中,區塊式技術為選自於由下列演算法所組成之群組中的至少一者:SURF演算法、SIFT演算法及KAZE演算法,較佳為SURF演算法與SIFT演算法;然而,並非以此為限。在一些具體例中,由於對影像畫格間之皮膚變形、皮膚影像旋轉及縮放差較不敏感,SURF演算法為較佳方式。此外,其在影像對準處理速度上亦具有較佳的表現,以達到即時皮膚影像診察。
為了將光學影像精確地對準於廣視影像上, 在一些具體例中,如圖2所示,將窄視影像對齊於廣視影像上之步驟包含:提升該廣視影像及該窄視影像的主要影像特徵點之權重的步驟(步驟131);提取該廣視影像及該窄視影像之該等特徵點的步驟132;以及匹配該廣視影像及該窄視影像之該等特徵點的步驟133。
在一些具體例中,提升主要影像特徵點之權重的步驟包含使該廣視影像及窄視影像縮小尺寸及/或使影像模糊。根據縮小尺寸程序,該比例較佳為30至90%、更佳為50至80%、又更佳為60至70%,但並非以此為限。該縮小尺寸步驟可有效地增加影像對準程序的速度,並使廣視影像的解析度實質上接近於窄視影像的解析度。此外,其亦具有增加主要影像點的特徵權重及降低次要影像點的特徵權重之功能。在其他具體例中,影像模糊程序主要顯現出提升主要影像特徵點權重及降低次要影像特徵點權重的效果。因此,若窄視影像及廣視影像這兩者具有較高的解析度,則縮小尺寸及/或影像模糊之步驟將有助於在影像掃描期間(例如,皮膚影像診斷)促進影像對準的精確度及時效性。
在一些具體例中,提取特徵點之步驟包含縮放、旋轉及仿射實質不變性中之至少一性質。在某些具體例中,該性質滿足縮放、轉動及仿射的不變性。在提取特徵點之步驟中,實質不變性係指縮放、轉動及仿射中之一者不一定完全不變,其中若具有可辨識特徵,則允許性質(縮放、轉動及仿射中之至少一者)的小量改變。
在一些具體例中,廣視影像的解析度實質上等於或接近窄視影像的解析度。「實質上等於或接近」之定義具有約0至25 μm、較佳為0至20 μm、較佳為0至15 μm、又較佳為0至10 μm、又較佳為0至5 μm、且最佳為0至3 μm之差值。窄視影像及廣視影像的解析度越接近,這兩個影像的細節影像特徵就越接近,以改善影像對準的成功率。
圖3A/B進一步提出例示性之影像對準方法,該方法具有皮膚光學影像(例如,光學同調斷層掃瞄(OCT)影像、共軛焦顯微術(RCM)影像、雙光子發光顯微術(TPL)影像、二階諧波產生顯微術(SHG)影像、三階諧波產生顯微術(THG)影像或螢光共軛焦顯微術(FCM)影像等)之對準步驟。
在一些具體例中,如圖3A所示之例示性皮膚影像對準方法包含下列步驟:步驟20:透過一皮膚鏡(即,第一成像器)獲得一皮膚鏡影像的一廣視影像;步驟21:使該皮膚鏡影像(即,第一影像)縮小尺寸及影像模糊,以提升其主要影像特徵點權重;步驟22:提取該皮膚鏡的特徵點;步驟23:透過一影像導引成像器來取得一新的導引影像的窄視影像;步驟24:使該導引影像(即,第二影像)縮小尺寸及影像模糊,以提升其主要影像特徵點權重;步驟25:提取導引影像的特徵點;步驟26:匹配該兩個影像(皮膚鏡影像及新導引影像)特徵點;步驟27:更新該皮膚鏡影像及該導引影像的匹配位置;步驟28:掃描一光學影像(即,OCT、RCM、TPL、SHG、THG或 FCM 影像);若是,到步驟281:在該光學影像掃描之後取得一光學影像;步驟282:將該光學影像的位置顯示在該皮膚鏡影像上。然而,若該影像匹配在步驟282中為不正確,則應在步驟29及步驟23中持續獲得一新導引影像。當完成該光學影像對準時,使用者在步驟S 中將停止持續獲得一新導引影像。
在其他具體例中提供本發明影像對準方法,其包含一拼接步驟(導引影像拼接)。如圖3B所示,該方法涉及比較畫格與畫格之間的重疊區域,並即時地將這些影像拼接。在步驟200中:獲得新導引影像(一窄視影像);步驟201:取得最後拼接區域影像;步驟202涉及包含縮小尺寸、影像模糊及直方圖等化的2影像處理;步驟203:2影像特徵提取;步驟204:2影像特徵匹配;步驟205:導引影像模糊篩選;步驟206:導引影像變換;步驟207:2影像拼接;步驟208:更新拼接影像及位置;步驟209:檢查是否存在著影像的缺陷(break),若是,到步驟S(停止),若否,到步驟200。在這種方法中,廣視影像的使用是可任選的而且經常是不需要的。涉及直方圖等化之步驟係在移除次要影像特徵之後增強影像的特性,以改善匹配可靠性。
在一些具體例中,本發明方法應用於OCT影像的影像對準。由於皮膚鏡影像的視域(一廣視影像)遠遠寬於導引影像(一窄視影像),因此該區域可覆蓋大多數的一般病灶尺寸。如圖4A所示,在步驟30中:藉由使探頭(可包含一窄視成像器及一光學視覺成像器)接觸該病灶而取回使用皮膚鏡所得到的病灶影像(一廣視影像)。接著,在步驟31中,使該OCT/導引系統接觸該病灶並持續地擷取導引影像。在步驟32中,本案所揭使用軟體的發明方法將辨識出被影像對準程序所顯示之位在皮膚鏡影像上的目前位置,因此該系統將會在步驟33中即時地構建該影像。由於OCT影像系統與導引影像系統(於此攝得一窄視影像)之間的空間關係是固定的,因此在此情況下亦可辨識出該OCT成像位置。
在無法同步獲得OCT影像(或其他提供表面下方資訊的成像方式)及導引影像的情況下(例如,在OCT及導引系統在光學上無法分離且可能彼此干擾的情況下),本發明提供了影像對準方法的另一具體例,如圖4B所示。這種情況的問題在於,OCT成像位置係基於在OCT掃描開始之前所獲得的最後導引影像來標記,而且如果使用者在切換過程及/或OCT掃描期間移動探頭,則該OCT成像位置可能不正確。在步驟301中,藉由一廣視成像器(例如,皮表顯微影鏡)攝得病灶的影像。步驟302:以影像導引模式開啟系統。步驟303:移動探頭以接觸病灶。步驟304:藉由一軟體辨識出窄視影像(例如,導引影像)的位置。步驟305:在切換至系統中的影像導引模式之後,移動探頭以建構目標影像(例如,病灶影像)。在此,若探頭移動至感興趣位置,步驟309提供切換至OCT掃描模式進行掃描(即,藉由一光學成像器獲得光學影像)。接著系統將該掃描位置標記成所建構之影像。步驟306:完成病灶影像建構。步驟307:若依然存在著尚未被掃瞄的感興趣區域,則將探頭移動至感興趣位置。步驟310提供的是,若探頭移動至該感興趣位置,則切換至OCT掃描模式進行掃描(即,藉由一光學成像器獲得光學影像)。接著系統將該掃描位置標記至所建構之影像(即,光學影像)。
在某些具體例中(諸如OCT的B掃描模式),無法同步獲得導引影像(即,窄視影像),但OCT掃描位置可自行以拼接方式對準於OCT影像(即,光學影像),本發明提供影像對準方法的另一具體例,如圖4C所示。在步驟51中,藉由一廣視成像器,例如皮膚鏡,攝得病灶的影像。步驟52:以影像導引模式開啟系統。步驟53:移動探頭以接觸病灶。步驟54:藉由一利用本案所揭發明方法的軟體,辨識出窄視影像(例如,導引影像)的位置。步驟55:在切換至系統中的影像導引模式之後,移動探頭以建構目標影像(例如,病灶影像)。在步驟59中,若探頭移動至感興趣位置,則切換至OCT掃描模式進行掃描。接著,可以進行步驟60以在掃描期間於某一時間區間內獲得導引影像,並且在皮膚鏡影像上辨識出這些影像的位置。若無法辨識出該位置,則進行步驟62以將最後的成功影像使用於標記OCT影像位置。若成功,則進行步驟61以使用該影像來標記OCT影像位置。在步驟63之後,開始下一個OCT掃描,或是返回步驟55或步驟57的導引模式。步驟56完成病灶影像建構。在步驟57中,若依然存在著尚未被掃瞄的感興趣區域,則將探頭移動至感興趣位置。步驟58完成全部掃描。
在某些具體例中(諸如在OCT的E-掃描模式),無法同步獲得OCT和導引影像,但OCT的掃描位置可於拼接的OCT影像上對準(將於後文敘述)。本發明提供影像對準方法的另一具體例,如圖4D所示。在步驟61中,藉由一廣視成像器,例如皮膚鏡,攝得病灶的影像。步驟62:以影像導引模式開啟系統。步驟63:移動探頭以接觸病灶。步驟64:藉由一利用本案所揭發明方法的軟體,來辨識出窄視影像(例如,導引影像)的位置。步驟65:在切換至系統中的影像導引模式之後,移動探頭以建構目標影像(例如,病灶影像)。在步驟69中,若探頭移動至感興趣位置,則切換至OCT掃描模式進行掃描並記錄所獲得之第一OCT影像(即,光學影像)。接著,可進行步驟70以嘗試辨識出下一個OCT影像的相關位移。若無法辨識出,則進行步驟72以將最後的成功影像使用於標記OCT影像位置。若成功,則進行步驟71以使用該位移及最後被紀錄之導引影像,在皮膚鏡影像上標記OCT掃描。隨後,在步驟73開始下一個OCT掃描,或是返回步驟65或步驟70的導引模式。步驟66完成病灶影像建構。在步驟67中,若依然存在著尚未被掃瞄的感興趣區域,則將探頭移動至感興趣位置。步驟68完成全部掃描。
在本發明中,由於光學成像器及光學導引成像器共用相同的光學物鏡,所以光學影像良好地對準在皮膚鏡影像上,且光學成像器的視域實質上重疊於或相同於影像導引成像器的視域。
圖5提供了一個例示性的發明影像對準系統。第一成像器A(例如,皮膚鏡)被建構成用以擷取一目標區域的廣視影像。光學模組B包含一第二成像器及一光學成像器,其中電腦C被建構成用以連接並控制第一成像器A及光學模組B。第二成像器及光學成像器共用相同物鏡46,以使光學影像的視域重疊於第二成像器所提供之窄視影像的視域。該光學成像器被建構成用以擷取一光學影像,且該第二成像器用以擷取一目標區域的一窄視影像,其中該窄視影像將會對齊於該目標區域的廣視影像,而且光學影像將會顯示在該目標區域的窄視影像與廣視影像上。
詳細來說,如圖5所示,擷取廣視影像的第一成像器A,舉例而言,為至少一個皮膚鏡、表皮發光顯微鏡和一影像拼接模組。熟習於本項技藝者將輕易地理解及適配以使用其他合適的第一成像器。在一些具體例中,第一成像器A包含第一成像器光學透鏡31及第一相機32,它們將經由電腦C來控制。此外,在一些具體例中,皮膚鏡及/或表皮發光顯微鏡的光源包含至少一個LED及/或伍氏燈(Wood’s lamp),但並非以此為限。熟習於本項技術者可輕易地理解適用於本發明的其他合適光源。光學模組B包含兩個光學成像器,包括第二成像器及光學成像器,其中該第二成像器提供影像導引模式的窄視界,且該光學成像器提供一光學影像。該光學影像較佳為光學同調斷層掃瞄(OCT)影像、共軛焦顯微術(RCM)影像、雙光子發光顯微術(TPL)影像、二階諧波產生顯微術(SHG)影像、三階諧波產生顯微術(THG)影像、螢光共軛焦顯微術(FCM)影像,或是它們的組合。更佳為該光學影像是一個OCT影像。至於第二成像器,其包含一被物鏡模組46所圍繞的光源463,以在樣品5的目標區域上提供光;以及一分光器44,用以將光訊號經由投射透鏡471導向至第二相機481。此外,關於光學成像器,其包含光源40以將光透過光纖41提供至光學透鏡42中;光通過極化分光器43、分光器44和四分之一波片45以將光轉換成具有圓偏極性;物鏡模組46具有物鏡461及干涉構件462,以將光傳遞至樣品5上。當光由樣品5背向散射時,極化分光器43經由投射透鏡472將該光引導至第三相機482。電腦C被建構成用以控制光源40,並且處理來自於第二成像器481及第三成像器482的影像。
在一些具體例中,第一成像器具有位於5*5 mm至20*20 mm之範圍內的視域(FOV),較佳為6*6 mm至17*17 mm,又較佳為10*10 mm至15*15 mm,但並非以此為限。第二成像器的FOV位於 1*1 mm至5*5 mm之範圍內,較佳為2*2 mm至4.5*4.5 mm,又較佳為3*3 mm至4*4 mm,但並非以此為限。此外,光學成像器的FOV位於50*50 μm2 至1000*1000 μm2 之範圍內,較佳為100*100 μm2 至800*800 μm2 、較佳地300*300 μm2 至600*600 μm2 、及較佳地400*400 μm2 至500*500 μm2 ,但並非以此為限。由於窄視影像的FOV重疊於光學成像器的FOV,因此光學影像在窄視影像中的位置永遠可以簡單地被追蹤,否則將會提供一標記以精確地標記光學成像器在窄視成像器上的位置。
本發明的對齊系統可連續地將光學影像對齊在皮膚鏡影像上,並且呈現出光學影像在皮膚鏡影像上的複數個掃描位置,以清楚地指出/標示光學影像的掃描位置。
圖5顯示了包含一米勞型(Mirau type)干涉儀的例示性光學系統;另一方面,圖6例示了一具林尼克型(Linnik type)干涉儀。熟習本項技術者可輕易地採用如在本案所揭其他合適的光學成像器。例如,有需要時,熟習於本項技術者可選擇一邁克遜型(Michelson type)型干涉儀或馬赫-曾德爾(Mach Zehnder)型干涉儀。此外,熟習本項技術者亦可替換其他光學系統,例如RCM、TPL、SHG、THG或 FCM,以滿足所需。
圖6與圖5之間唯一的不同處在於物鏡46a與物鏡46b,其中物鏡46a由被玻片463所覆蓋的樣品5提供樣品光臂,而物鏡46b由鏡462提供參考光臂。
雖然已在本文中顯示及描述本發明的較佳具體例,但對熟習本項技術者而言,這些具體例顯然是僅供例示之用。熟習本項技術者在不悖離本發明的情況下將能夠發想出各式各樣的變異、修改和替換。應了解的是,各種針對在本文所述發明的具體例之替代例皆可用於實現本發明。下列申請專利範圍界定了本發明之範圍,因此涵蓋了落入這些申請專利範圍及其均等範圍內的所有方法及結構。
5:樣品 11:步驟 12:步驟 13:步驟 14:步驟 15:步驟 20:步驟 21:步驟 22:步驟 23:步驟 24:步驟 25:步驟 26:步驟 27:步驟 28:步驟 29:步驟 30:步驟 31:步驟、光學透鏡 32:步驟、第一相機 33:步驟 40:光源 41:光纖 42:光學透鏡 43:極化分光器 44:分光器 45:四分之一波片 46:物鏡模組 46a:物鏡 46b:物鏡 51:步驟 52:步驟 53:步驟 54:步驟 55:步驟 56:步驟 57:步驟 58:步驟 59:步驟 60:步驟 61:步驟 62:步驟 63:步驟 64:步驟 65:步驟 66:步驟 67:步驟 68:步驟 69:步驟 70:步驟 71:步驟 72:步驟 73:步驟 131:步驟 132:步驟 133:步驟 200:步驟 201:步驟 202:步驟 203:步驟 204:步驟 205:步驟 206:步驟 207:步驟 208:步驟 209:步驟 281:步驟 282:步驟 301:步驟 302:步驟 303:步驟 304:步驟 305:步驟 306:步驟 307:步驟 308:步驟 309:步驟 131:步驟 461:物鏡 462:干涉構件、鏡 463:光源、玻片 471:投射透鏡 472:投射透鏡 481:第二相機 482:第三相機 A:第一成像器 B:光學模組 C:電腦 S:步驟
參考以下使用本發明原理所詳述之實施方式及圖式,將能更理解本發明的特徵及優點,圖式說明如下:
圖1繪示一影像對準方法的一例示性流程圖。
圖2繪示一影像對齊方法的一例示性流程圖。
圖3A/B繪示光學影像對準過程的實例。
圖4A至4D繪示在各種具體例下的例示性本發明影像對準方法。
圖5繪示影像對準系統的一實例。
圖6繪示一影像對準系統的另一具體例。
(無)
11:步驟
12:步驟
13:步驟
14:步驟
15:步驟

Claims (22)

  1. 一種影像對準方法,其包含: 藉由一第一成像器提供一目標區域的一廣視影像; 藉由一第二成像器提供該目標區域的一窄視影像; 使該窄視影像對齊於該目標區域的該廣視影像上; 藉由一光學成像器擷取一光學影像,其中該光學成像器被建構成用於將該光學影像定位在該窄視影像中;以及 將該光學影像的位置顯示在該目標區域的該窄視影像及該廣視影像上。
  2. 如請求項1所述影像對準方法,其中該使該窄視影像對齊於該廣視影像上的步驟包含: 提升該廣視影像及該窄視影像之主要影像特徵點的權重; 以縮放、轉動及仿射不變性中之至少一個性質提取該廣視影像及該窄視影像的該等特徵點;以及 匹配該廣視影像及該窄視影像的該等特徵點。
  3. 如請求項2所述影像對準方法,其中該提升主要影像特徵點之權重的步驟包含使該廣視影像及窄視影像縮小尺寸及/或影像模糊。
  4. 如請求項3所述影像對準方法,其中該縮小比例位在30~90%、50~80%或60~70%的範圍內。
  5. 如請求項1所述影像對準方法,其中該廣視影像的解析度實質上接近於該窄視影像的解析度。
  6. 如請求項2所述影像對準方法,其中該提取特徵點之步驟包含縮放、轉動、及仿射實質不變性中之至少一性質。
  7. 如請求項5所述影像對準方法,其中該廣視影像的解析度與該窄視影像具有約0至25 μm、0至20 μm、0至15 μm、0至10 μm、0至5 μm或0至3 μm之差值。
  8. 如請求項1所述影像對準方法,其中該第一成像器包含至少一皮膚鏡、一表皮發光顯微鏡和一影像拼接模組。
  9. 如請求項8所述影像對準方法,其中該皮膚鏡及/或該表皮發光顯微鏡的光源包含至少一個LED及/或伍氏燈(Wood’s lamp)。
  10. 如請求項1所述影像對準方法,其中該第一成像器的視域在5*5 mm2 至20*20 mm2 的範圍中。
  11. 如請求項1所述影像對準方法,其中該第二成像器的視域在1*1 mm2 至5*5 mm2 的範圍中。
  12. 如請求項1所述影像對準方法,其中該光學成像器的視域在50*50 μm2 至1000*1000 μm2 的範圍中。
  13. 如請求項1所述影像對準方法,其中該光學成像器為光學同調斷層掃瞄(OCT)元件、共軛焦顯微術(RCM)元件、雙光子發光顯微術(TPL)元件、二階諧波產生顯微術(SHG)元件、三階諧波產生顯微術(THG)元件、螢光共軛焦顯微術(FCM)元件,或它們之組合。
  14. 一種影像對準系統,其包含: 一第一成像器,其被建構成用於擷取一目標區域的一廣視影像;以及 一光學模組,其包含一第二成像器及一光學成像器,該第二成像器及該光學成像器共用相同物鏡,其中該光學成像器被建構成用於擷取一光學影像,且該第二成像器被建構成用於擷取該目標區域的一窄視影像,以將該窄視影像對齊於該目標區域的該廣視影像上,以及將該光學影像的位置顯示在該目標區域的該窄視影像及該廣視影像上。
  15. 如請求項14所述影像對準系統,其中該第一成像器包含至少一皮膚鏡、一表皮透光顯微鏡和一影像拼接模組。
  16. 如請求項15所述影像對準系統,其中該皮膚鏡及/或該表皮發光顯微鏡的光源包含至少一個LED及/或伍氏燈(Wood’s lamp)。
  17. 如請求項14所述影像對準系統,其中該第一成像器的視域在5*5 mm 至20*20 mm的範圍中。
  18. 如請求項14所述影像對準系統,其中該第二成像器的視域在1*1 mm 至5*5 mm的範圍中。
  19. 如請求項14所述影像對準系統,其中該光學成像器的視域在50*50 μm至1000*1000 μm的範圍中。
  20. 如請求項14所述影像對準系統,其中該廣視影像的解析度實質上等於該窄視影像的解析度。
  21. 如請求項20所述影像對準系統,其中該廣視影像的解析度與該窄視影像的解析度具有約0至25 μm、0至20 μm、0至15 μm、0至10 μm、0至5 μm或0至3 μm之差值。
  22. 如請求項14所述影像對準系統,其中該光學成像器為光學同調斷層掃瞄(OCT)元件、共軛焦顯微術(RCM)元件、雙光子發光顯微術(TPL)元件、二階諧波產生顯微術(SHG)元件、三階諧波產生顯微術(THG)元件、螢光共軛焦顯微術(FCM)元件,或它們之組合。
TW109114594A 2019-04-30 2020-04-30 影像對準方法及其系統 TWI829923B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962841197P 2019-04-30 2019-04-30
US62/841,197 2019-04-30

Publications (2)

Publication Number Publication Date
TW202108069A true TW202108069A (zh) 2021-03-01
TWI829923B TWI829923B (zh) 2024-01-21

Family

ID=73029327

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109114594A TWI829923B (zh) 2019-04-30 2020-04-30 影像對準方法及其系統

Country Status (9)

Country Link
US (1) US20220211273A1 (zh)
EP (1) EP3963481A4 (zh)
KR (1) KR20220005054A (zh)
CN (1) CN113785328A (zh)
AU (1) AU2020266600A1 (zh)
CA (1) CA3134330A1 (zh)
SG (1) SG11202111594RA (zh)
TW (1) TWI829923B (zh)
WO (1) WO2020223572A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114913124B (zh) * 2022-04-13 2023-04-07 中南大学湘雅医院 一种用于肿瘤手术的切缘路径生成方法、系统及存储介质

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AT403654B (de) * 1994-12-01 1998-04-27 Binder Michael Dr Einrichtung zur optischen untersuchung von human-haut sowie derselben zugeordnete auswertungs-einrichtung
US8587659B1 (en) * 2007-05-07 2013-11-19 Equinox Corporation Method and apparatus for dynamic image registration
US9071819B2 (en) * 2010-03-23 2015-06-30 Exelis Inc. System and method for providing temporal-spatial registration of images
IL214894A (en) * 2011-08-30 2016-09-29 Rafael Advanced Defense Systems Ltd A combination of narrow field of view images and wide field of view
KR101913336B1 (ko) * 2011-10-06 2018-10-31 삼성전자주식회사 이동 장치 및 그 제어 방법
US10182757B2 (en) * 2013-07-22 2019-01-22 The Rockefeller University System and method for optical detection of skin disease
US9400939B2 (en) * 2014-04-13 2016-07-26 International Business Machines Corporation System and method for relating corresponding points in images with different viewing angles
US9360671B1 (en) * 2014-06-09 2016-06-07 Google Inc. Systems and methods for image zoom
JP2017104343A (ja) * 2015-12-10 2017-06-15 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
GB2545407A (en) * 2015-12-10 2017-06-21 Michelson Diagnostics Ltd Processing optical coherency tomography scans
WO2018005316A1 (en) * 2016-07-01 2018-01-04 Bostel Technologies, Llc Phonodermoscopy, a medical device system and method for skin diagnosis
CN107770433B (zh) * 2016-08-15 2020-08-04 广州立景创新科技有限公司 影像获取装置及其影像平顺缩放方法
US10499001B2 (en) * 2017-03-16 2019-12-03 Gvbb Holdings S.A.R.L. System and method for augmented video production workflow
US20180360655A1 (en) * 2017-06-16 2018-12-20 Michael S. Berlin Methods and systems for oct guided glaucoma surgery
US11334753B2 (en) * 2018-04-30 2022-05-17 Uatc, Llc Traffic signal state classification for autonomous vehicles

Also Published As

Publication number Publication date
US20220211273A1 (en) 2022-07-07
EP3963481A1 (en) 2022-03-09
WO2020223572A1 (en) 2020-11-05
CN113785328A (zh) 2021-12-10
CA3134330A1 (en) 2020-11-05
KR20220005054A (ko) 2022-01-12
SG11202111594RA (en) 2021-11-29
EP3963481A4 (en) 2023-02-01
TWI829923B (zh) 2024-01-21
WO2020223572A9 (en) 2020-12-10
AU2020266600A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
US20160014328A1 (en) Image processing device, endoscope apparatus, information storage device, and image processing method
US10098542B2 (en) Fundus observation apparatus
US8205991B2 (en) Method of eye registration for optical coherence tomography
JP5007114B2 (ja) 眼底観察装置、眼底画像表示装置及びプログラム
WO2017199531A1 (ja) 撮像装置及び内視鏡
WO2021000466A1 (zh) 基于光学相干层析增强现实的手术显微成像系统与方法
US20150339817A1 (en) Endoscope image processing device, endoscope apparatus, image processing method, and information storage device
US20110295062A1 (en) Equipment for infrared vision of anatomical structures and signal processing methods thereof
US10165939B2 (en) Ophthalmologic apparatus and ophthalmologic apparatus control method
JP2011015850A (ja) 撮影装置及びその制御方法
US10401141B2 (en) Method and apparatus for obtaining a three-dimensional map of tympanic membrane thickness
CN105431077A (zh) 图像处理设备和图像处理方法
US20150363929A1 (en) Endoscope apparatus, image processing method, and information storage device
CN114372951A (zh) 基于图像分割卷积神经网络的鼻咽癌定位分割方法和系统
JP2023129563A (ja) 眼科装置
JP2018128294A (ja) 関心領域追跡装置
TWI829923B (zh) 影像對準方法及其系統
JP6128989B2 (ja) 画像処理装置、内視鏡装置及び画像処理装置の作動方法
US10674902B2 (en) Information processing apparatus, operation method thereof, and computer program
JP2020032072A (ja) 画像処理装置、画像処理方法、及びプログラム
JP2018128759A (ja) テカリ領域除去装置
JP6503040B2 (ja) 眼科観察装置
JP6168878B2 (ja) 画像処理装置、内視鏡装置及び画像処理方法
Latus et al. Motion-compensated OCT imaging of laryngeal tissue
Yang Breaking the accessibility barrier: the development of low-cost dual-modal ophthalmic imaging and remote vital sign monitoring technologies