TWI683283B - 一種生物樣本之影像合成方法及採用該方法之光學系統 - Google Patents

一種生物樣本之影像合成方法及採用該方法之光學系統 Download PDF

Info

Publication number
TWI683283B
TWI683283B TW107111815A TW107111815A TWI683283B TW I683283 B TWI683283 B TW I683283B TW 107111815 A TW107111815 A TW 107111815A TW 107111815 A TW107111815 A TW 107111815A TW I683283 B TWI683283 B TW I683283B
Authority
TW
Taiwan
Prior art keywords
image
gray
scale
rgb
interference
Prior art date
Application number
TW107111815A
Other languages
English (en)
Other versions
TW201942869A (zh
Inventor
許光裕
蔡建中
林賜恩
Original Assignee
薩摩亞商銳準醫光股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 薩摩亞商銳準醫光股份有限公司 filed Critical 薩摩亞商銳準醫光股份有限公司
Priority to TW107111815A priority Critical patent/TWI683283B/zh
Priority to US16/356,727 priority patent/US20190302436A1/en
Priority to EP19164050.7A priority patent/EP3550510A1/en
Priority to JP2019063884A priority patent/JP2019185040A/ja
Publication of TW201942869A publication Critical patent/TW201942869A/zh
Application granted granted Critical
Publication of TWI683283B publication Critical patent/TWI683283B/zh

Links

Images

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/008Details of detection or image processing, including general computer control
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • AHUMAN NECESSITIES
    • A01AGRICULTURE; FORESTRY; ANIMAL HUSBANDRY; HUNTING; TRAPPING; FISHING
    • A01NPRESERVATION OF BODIES OF HUMANS OR ANIMALS OR PLANTS OR PARTS THEREOF; BIOCIDES, e.g. AS DISINFECTANTS, AS PESTICIDES OR AS HERBICIDES; PEST REPELLANTS OR ATTRACTANTS; PLANT GROWTH REGULATORS
    • A01N1/00Preservation of bodies of humans or animals, or parts thereof
    • A01N1/02Preservation of living parts
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/0004Microscopes specially adapted for specific applications
    • G02B21/002Scanning microscopes
    • G02B21/0024Confocal scanning microscopes (CSOMs) or confocal "macroscopes"; Accessories which are not restricted to use with CSOMs, e.g. sample holders
    • G02B21/0052Optical details of the image generation
    • G02B21/0056Optical details of the image generation based on optical coherence, e.g. phase-contrast arrangements, interference arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00Microscopes
    • G02B21/36Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365Control or image processing arrangements for digital or video microscopes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10056Microscopic image
    • G06T2207/10061Microscopic image from scanning electron microscope
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10064Fluorescence image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10101Optical tomography; Optical coherence tomography [OCT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20212Image combination
    • G06T2207/20221Image fusion; Image merging
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30024Cell structures in vitro; Tissue sections in vitro

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Optics & Photonics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Environmental Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Wood Science & Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Dentistry (AREA)
  • Zoology (AREA)
  • Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
  • Microscoopes, Condenser (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

一種生物樣本之影像合成方法,其包括以下步驟: 輸入一生物樣本之一灰階反射影像或一灰階干涉影像至一資訊處理裝置之一第一記憶區塊中,其中該灰階反射影像或該灰階干涉影像具有一第一影像解析度,及輸入該生物樣本之一灰階螢光影像至該資訊處理裝置之一第二記憶區塊中,其中該灰階螢光影像具有一第二影像解析度,且該第一影像解析度與該第二影像解析度係相同或不相同;利用該資訊處理裝置將該灰階反射影像或該灰階干涉影像經由一第一色彩轉換運算轉換為一RGB反射影像或一RGB干涉影像,及利用該資訊處理裝置將該灰階螢光影像經由一第二色彩轉換運算轉換為一RGB螢光影像;利用該資訊處理裝置對該RGB反射影像或該RGB干涉影像及該RGB螢光影像進行一影像融合運算及一強度反轉運算以產生一類H&E影像;以及輸出該類H&E影像至一顯示單元。此外,本發明亦揭示一種光學系統其採用如所述之生物樣本之影像合成方法。

Description

一種生物樣本之影像合成方法及採用該方法之光學系統
本發明係有關於一種光學系統之影像合成方法,特別是一種採用光學干涉掃描顯微術或雷射掃描共焦顯微術之光學切層裝置,用於活體組織影像檢測或確認生物樣本庫組織入庫前之組織細胞圖形辨識。
活體(In Vivo)組織係指人類未離體之組織,被視為與人體當下之生物狀況最一致、最自然、也是最原生之狀態。一般病患因門診需求,常需要利用工具進行影像視診以追蹤組織之變化狀況。目前使用的工具中,解析度較高且能確認到公分等級深度的內組織變化情形為超聲波,其能概略確定組織之高、低密度,進而利用統計數據來推論組織好、壞的概率。
然而,如需要進一步精確地提供外科醫師在手術中進行異常組織廓清程度與組織表層細胞分化程度,以決定手術是否要繼續進行,仍係無法達成細胞病理等級確診之目的。現今的快速作法,必須要將手術中所取出之組織進行冷凍病理切片,卻有耗時、不易切出完整面、過染、且易凍壞等缺點。因此,活體組織影像檢測具可提供術前(如皮膚科腫瘤細胞組織確認)或術中(如乳癌腫瘤廓清手術)更精確之細胞等級病理資訊之特點。
生物樣本庫(biobank)係一種透過集中方式,在低溫或適當之儲存環境下用以保存各種人類離體(Ex Vivo)之生物材料(human biological material),並能於適當時機用以進行疾病之臨床診斷治療及生命科學研究之生物應用系統,其中生物樣本庫的生物樣本和相關數據均可為樣品提出驗證方案並確保其樣本準確性。
人類離體(溫體)塊狀組織,佔人類離體生物材料之大宗,使用端在使用組織前均會先確認組織內細胞之種類、型態、以及活性。生物樣本庫在提供給下游使用端之學術單位或廠商進行生物測試時,品質確認(quality assurance)與品質控制(quality control)對於樣本提供成功率更是重要的指標。
儲存樣本時的冷卻速度和方法對細胞活性具有重大影響,例如會影響到樣本的質量及決定樣本以後使用的可能性。儲存前就必須確認塊狀組織內是否包含目標組織或目標細胞,現今確認組織內細胞所使用的方式,以冷凍切片染色為主。在進行冷凍切片的過程中,對於多水分的樣本,其冷凍後所產生的冰晶(crystal ice)會破壞組織結構;對於多脂肪(fat)的樣本,在一般組織冷凍固化溫度(~-20℃)時,其脂肪組織因尚未冷凍固化,容易從切片脫落,造成切片組織辨識不完整。因此,樣本入庫前如再經過冷凍切片之冷凍過程再回溫,會造成組織樣本低溫儲存前之一定程度損壞。
現今非破壞性組織影像檢測,依解析度與掃描深度可分電腦斷層、核磁共振、超聲波、以及光學反射顯像,而偵測活體之組織內細胞結構,目前也只有光學反射顯像能達到。
光學反射顯像技術,以光干涉顯微術(optical interference microscopy,OIM)與反射式共軛焦顯微術 (reflectance confocal microscopy, RCM)為主流,是近年新興的一種光學成像技術,其解析能力可達細胞等級,主要係利用各組織對光的反射、吸收及散射能力的不同及透過光學干涉原理對樣本進行成像與分辨。因為能直接對常溫下(4~25℃)的組織進行掃瞄,不需再經過冷凍切片染色之冷凍等程序,所以能避免多水分或多脂肪組織在冷凍切片時產生冰晶凍壞或結構失真(morphological artifacts),以維持組織樣本的完整性。於活體組織影像檢測或確認生物樣本庫組織入庫前之組織細胞圖形辨識之使用上,除了可在不破壞組織之狀況下獲取影像,更因其具有類H&E影像之特性,讓醫生能更快辨識而接受影像。
文獻中,Daniel Dörr等人提出以掃描式拉曼顯微鏡(scan Raman microscopy)掃描組織之影像特性,此方式可掃描出組織之形成物化學成分圖形特性,但在組織細胞結構特性上,無法描述。P. A. Keane等人利用干涉原理,將光學同調斷層術應用於眼科之生物組織庫,但因解析度不足,應用範圍僅適用於活體眼科之視網膜分層。J. Georges等人利用反射式共軛焦顯微術,掃瞄出組織之組織細胞圖形(含細胞結構與細胞核),但因尚未使用生物樣本之影像合成方法轉換機制,使醫師不易辨識及閱讀組織內容物。
習知技術如美國US8269827B2「System and methods for mapping fluorescent images into a bright field color space 」專利,則揭露一種使用螢光圖像產生生物樣本之影像合成方法方法,包括以下步驟:獲取樣品上固定區域的兩種或更多種螢光圖像;將所述螢光影像的圖像資料以映射參數變換為明場色空間(bright field color space ) ;以及產生明場型圖像 ,進一步產生類似H&E影像之明場型圖像。
然而,該專利架構中係以多張螢光影像,透過色彩加成以產生類H&E影像,然而(1)產生螢光影像需使用的螢光劑無可避免仍會對樣本組織產生傷害;(2)該類H&E影像的顏色對比仍有待改進。因此本領域亟需一新穎的合成生物樣本之影像合成方法。
本發明之一目的在於揭露一種生物樣本之影像合成方法,其係以一反射影像或一干涉影像與一螢光影像經由色彩轉換運算、影像融合運算及強度反轉運算而產生,藉以提供顏色對比更佳的生物樣本影像,進而增進影像之可辨識性與可閱圖性。
本發明之另一目的在於揭露一種生物樣本之影像合成方法,其中相較於習知技術係使用多張螢光影像加成之方法更能減少螢光劑使用及降低螢光劑對樣本組織所產生之傷害。
本發明之又一目的在於揭露一種生物樣本之影像合成方法法,因為減少螢光劑之使用,而能縮短染色時間,進而加快取得影像之速度。
本發明之又一目的在於揭露一種生物樣本之影像合成方法,藉由使用於活體組織之影像檢測,而能在不破壞組織之狀況下得到即時影像。
本發明之再一目的在於揭露一種生物樣本之影像合成方法,藉由使用於生物樣本庫中之新鮮組織影像辨識時,能透過先行確認測試組織中是否含有標的組織或細胞,而提升檢體入庫前之正確性,亦能避免樣本凍壞進而降低出庫後之不良品輸出風險。
為達前述目的,一種生物樣本之影像合成方法乃被提出,其包括以下步驟:輸入一生物樣本之一灰階反射影像或一灰階干涉影像至一資訊處理裝置之一第一記憶區塊中,其中該灰階反射影像或該灰階干涉影像具有一第一影像解析度,及輸入該生物樣本之一灰階螢光影像至該資訊處理裝置之一第二記憶區塊中,其中該灰階螢光影像具有一第二影像解析度,且該第一影像解析度與該第二影像解析度係相同或不相同;利用該資訊處理裝置將該灰階反射影像或該灰階干涉影像經由一第一色彩轉換運算轉換為一RGB反射影像或一RGB干涉影像,及利用該資訊處理裝置將該灰階螢光影像經由一第二色彩轉換運算轉換為一RGB螢光影像;利用該資訊處理裝置對該RGB反射影像或該RGB干涉影像及該RGB螢光影像進行一影像融合運算及一強度反轉運算以產生一類H&E影像;以及輸出該類H&E影像至一顯示單元。
在一實施例中,該灰階反射影像或該灰階干涉影像係呈現一細胞質之影像;該灰階螢光影像係呈現一細胞核之影像。
在一實施例中,該細胞核之灰階螢光影像係由該細胞質之影像經由一影像轉換運算而得到。
在一實施例中,該灰階反射影像係一雷射掃描共焦顯微鏡之直接反射產生之影像。
在一實施例中,該灰階干涉影像係一光學干涉掃描顯微鏡之反射後再干涉產生之影像。
在一實施例中,該第一色彩轉換運算係將R值及B值均設定為0,G值則等於該灰階反射影像或該灰階干涉影像之灰階值乘以一加權值,且該加權值係介於0.5和1之間。
在一實施例中,該第二色彩轉換運算係將G值設定為255,B值設定為0,R值則等於該灰階螢光影像之灰階值乘以一加權值,且該加權值係介於0.5和1之間。
在一實施例中,該RGB反射影像或該RGB干涉影像係一黑底背景暗綠色影像;該RGB螢光影像係一黑底背景黃綠色影像;該類H&E影像係一白底背景桃紅色影像。
在一實施例中,該RGB反射影像、該RGB干涉影像及該RGB螢光影像之R值、G值及B值均係以一二進制的n位元來代表,其中該n之值為8的正整數倍。
在一實施例中,一種光學系統乃被提出,其係採用如所述之生物樣本之影像合成方法以支援一活體檢測操作或一生物樣本庫之檢視。
為使 貴審查委員能進一步瞭解本發明之結構、特徵及其目的,茲附以圖式及較佳具體實施例之詳細說明如後。
請參照圖1,其繪示本發明一較佳實施例之生物樣本之影像合成方法步驟流程圖。
如圖所示,本發明之生物樣本之影像合成方法,包括以下步驟:
一種生物樣本之影像合成方法,其包括以下步驟:輸入一生物樣本之一灰階反射影像或一灰階干涉影像至一資訊處理裝置之一第一記憶區塊中,其中該灰階反射影像或該灰階干涉影像具有一第一影像解析度,及輸入該生物樣本之一灰階螢光影像至該資訊處理裝置之一第二記憶區塊中,其中該灰階螢光影像具有一第二影像解析度,且該第一影像解析度與該第二影像解析度係相同或不相同(步驟a);利用該資訊處理裝置將該灰階反射影像或該灰階干涉影像經由一第一色彩轉換運算轉換為一RGB反射影像或一RGB干涉影像,及利用該資訊處理裝置將該灰階螢光影像經由一第二色彩轉換運算轉換為一RGB螢光影像(步驟b);利用該資訊處理裝置對該RGB反射影像或該RGB干涉影像及該RGB螢光影像進行一影像融合運算及一強度反轉運算以產生一類H&E影像(步驟c);以及輸出該類H&E影像至一顯示單元(步驟d)。
螢光係一種能量轉換時所產生的冷發光現象,其特性為吸收一短波長的光後,發散出一長波長的光。利用到螢光反應的實驗技術為現代的生物科技帶來相當多的便利,螢光劑常被用來作為細胞形態的示蹤劑,其原理為用以一短波光束照射一染有螢光劑之樣本組織中,使其釋放出一螢光而成像於一感光元件 (均圖未示),其為習知技術,在此不擬贅述。
傳統的H&E染色切片(H&E section)係使用嗜鹼性染料蘇木精(hematoxylin)與嗜酸性染料伊紅(eosin)兩種染劑分別對細胞核(nucleus)及細胞質(cytoplasm)著上藍紫色與粉紅色,再基於與伊紅結合的分子之電荷性質,伊紅與組織中的不同細胞成分相互作用而產生不同色調的粉紅色。
此外,在進行冷凍切片的過程中,對於多水分的樣本,其冷凍後所產生的冰晶(crystal ice)會破壞組織結構;對於多脂肪(fat)的樣本,在一般組織冷凍固化溫度(~-20℃)時,其脂肪組織因尚未冷凍固化,容易從切片脫落,造成切片組織不完整;同時,冷凍後細胞亦不易穩定染上色。這些原因造成與新鮮組織結構有所出入的影像缺陷(artifact),所以其他利用光學原理來進行組織即時檢測的儀器也就因應而生,因為利用光學的切片方式,能在不需固定組織之前提下,快速獲得細胞影像判讀之結果。
本發明之生物樣本之影像合成方法,其影像來源是由一灰階反射影像與一灰階螢光影像所構成。其中該灰階反射影像係呈現一生物樣本細胞組織中細胞核以外的細胞質(cytoplasm)所形成的組織結構型態(morphology) 之影像;該灰階螢光影像係呈現該生物樣本中胞核高DNA聚集的地方即一細胞核(nucleus)結構之影像。
在本發明之生物樣本之影像合成方法之另一實施例中,該細胞核之灰階螢光影像係由該細胞質之影像進行一影像轉換運算而得到,其中,該影像轉換運算係將該細胞質之影像之空洞部分先進行一灰階反轉運算後,再經一濾波運算而得,由於其為習知技術,在此不擬進一步敘述。
光學切片中細胞質與細胞核影像,與H&E染色切片的伊紅染劑與蘇木紫染劑,恰為一對應關係。以螢光影像呈現細胞核時,所用的染劑均具有膜通透性,能在短時間內滲透到表層以下100~200 微米深,同時染劑又不會影響到後續組織檢驗流程,以達到快速檢驗的目的,其為習知技術,在此不擬贅述。
本發明之生物樣本之影像合成方法,其中該灰階反射影像係一雷射掃描共焦顯微鏡(圖未示)之直接反射產生之影像。該雷射掃描共焦顯微鏡(Laser Scanning Confocal Microscopy ,簡稱LSCM)其成像原理係以一雷射光源來取代傳統螢光顯微鏡之一汞燈,再經由掃描器(Scanner mirrors)的導引以點接點(Point by point)方式對一螢光樣本進行激發與發散訊息的擷取,其為習知技術,在此不擬贅述。
本發明之生物樣本之影像合成方法,其中該灰階干涉影像係一光學干涉掃描顯微鏡(圖未示)之反射後再干涉產生之影像。該光學干涉掃描顯微鏡(optical coherence tomography,簡稱OCT)解析度比超音波更高,主要係利用各組織對光的反射、吸收及散射能力的不同及透過光學干涉原理對樣本進行成像與分辨,其為習知技術,在此不擬贅述。
請一併參照圖2a至2f,其中圖2a其繪示本案一較佳實施例之一生物樣本之一灰階反射影像或一灰階干涉影像之示意圖;圖2b其繪示本案一較佳實施例之一生物樣本之一灰階螢光影像之示意圖;圖2c其繪示本案一較佳實施例之圖2a經由一第一色彩轉換運算轉換為一RGB反射影像或一RGB干涉影像之示意圖;圖2d其繪示本案一較佳實施例之圖2b經由一第二色彩轉換運算轉換為一RGB螢光影像之示意圖;圖2e其繪示本案一較佳實施例之圖2c及圖2d進行一影像融合運算之示意圖;圖2f其繪示本案一較佳實施例之圖2e進行一強度反轉運算產生一生物樣本之影像合成方法示意圖。
如圖2a所示,本發明之輸入一生物樣本之一灰階反射影像或一灰階干涉影像至一資訊處理裝置(圖未示)之一第一記憶區塊(圖未示)中,其中該灰階反射影像或該灰階干涉影像係為一黑底背景之影像,且該灰階反射影像或該灰階干涉影像具有一第一影像解析度。
如圖2b所示,本發明之輸入一生物樣本之一灰階螢光影像至該資訊處理裝置(圖未示)之一第二記憶區塊(圖未示)中,其中該灰階螢光影像係為一黑底背景之影像,其中該灰階螢光影像具有一第二影像解析度,且該第一影像解析度與該第二影像解析度係相同或不相同。
如圖2c所示,利用該資訊處理裝置(圖未示)將圖2a經由一第一色彩轉換運算轉換為一RGB反射影像或一RGB干涉影像,其中該RGB反射影像或該RGB干涉影像係為一黑底背景暗綠色之影像,該第一色彩轉換運算係將R值及B值均設定為0,G值則等於該灰階反射影像或該灰階干涉影像之灰階值乘以一加權值,且該加權值係介於0.5和1之間。
如圖2d所示,利用該資訊處理裝置(圖未示)將圖2b經由一第二色彩轉換運算轉換為一RGB螢光影像,其中該RGB螢光影像係為一黑底背景黃綠色之影像,該第二色彩轉換運算係將G值設定為255,B值設定為0,R值則等於該灰階螢光影像之灰階值乘以一加權值,且該加權值係介於0.5和1之間。
如圖2e所示,利用該資訊處理裝置(圖未示)對該RGB反射影像或該RGB干涉影像(圖2c)及該RGB螢光影像(圖2d)進行一影像融合運算之結果,其係為一黑底背景之影像。
如圖2f之所示,利用該資訊處理裝置(圖未示)對圖2e進行一強度反轉運算以產生一類H&E影像,其係為一白底背景桃紅色含藍紫色之影像。
其中該RGB反射影像、該RGB干涉影像及該RGB螢光影像之R值、G值及B值均係以一二進制的n位元來代表,該n之值例如但不限為8的正整數倍。
要將光學切片影像,轉成使用伊紅與蘇木紫的H&E影像,需將反射與螢光的合成影像,轉成類似H&E的吸收影像。其中蘇木紫扮演的角色,是將白光吸收,使藍紫色光穿透;伊紅則是吸收白光,使桃紅色光穿透。相較下述技術方案:(1)將一黑底背景灰階格式之細胞核影像,先轉成一黑底背景黃綠色RGB格式,再反轉色彩成一白底背景藍紫色RGB格式;(2)將一黑底背景灰階格式之細胞質影像,先轉成一黑底背景暗綠色RGB格式,再反轉色彩成一白底背景桃紅色RGB格式;(3)將上述兩影像進行色彩加成。
此技術方案所產生的影像係將兩個白底背景之細胞質及細胞核影像進行色彩加成,因為先進行反轉色彩使得色彩強度都增強了50%,影像呈現飽和的狀況,因此色彩加成後的影像之對比效果不佳,辨識度亦不高。本發明係先將兩個黑底背景之細胞質及細胞核影像,先進行色彩加成再強度反轉後,所產生之類H&E影像之對比效果更佳。
此外,本發明亦揭示一種光學系統,其係其採用所述之生物樣本之影像合成方法。
請參照圖3,其繪示本發明之一較佳實施例之採用所述之生物樣本之影像合成方法之光學系統架構示意圖。
如圖所示,該光學系統包括:一第一感光單元100;一第二感光單元200;一資訊處理裝置300;以及一顯示單元400。
該第一感光單元100,係用以輸入一生物樣本之一灰階反射影像或一灰階干涉影像,該灰階反射影像或該灰階干涉影像係呈現一細胞質之影像。其中該灰階反射影像係例如但不限於一雷射掃描共焦顯微鏡(圖未示)之直接反射產生之影像,該灰階干涉影像係例如但不限於一光學干涉掃描顯微鏡(圖未示)之反射後再干涉產生之影像。
該第二感光單元200,係用以輸入一生物樣本之一灰階螢光影像,該灰階螢光影像係呈現一細胞核之影像。
該資訊處理裝置300之一端分別與該第一感光單元100、該第二感光單元200耦接,且具有一第一記憶區塊310及一第二記憶區塊320,其中該第一記憶區塊310係用以儲存由第一感光單元100輸入之該灰階反射影像或該灰階干涉影像,該第二記憶區塊320係用以儲存由第二感光單元200輸入之該灰階螢光影像。
該資訊處理裝置進一步具有一第一色彩轉換運算單元330;一第二色彩轉換運算單元340;以及一影像融合運算及強度反轉運算單元350。
該第一色彩轉換運算單元330與該第一記憶區塊310耦接,用以將儲存於該第一記憶區塊310之該灰階反射影像或該灰階干涉影像經由一第一色彩轉換運算轉換為一RGB反射影像或一RGB干涉影像,該第一色彩轉換運算係將R值及B值均設定為0,G值則等於該灰階反射影像或該灰階干涉影像之灰階值乘以一加權值,且該加權值係介於0.5和1之間,該RGB反射影像或該RGB干涉影像係一黑底背景暗綠色影像。
該第二色彩轉換運算單元340與該第二記憶區塊320耦接,用以將儲存於該第二記憶區塊320之該灰階螢光影像經由一第二色彩轉換運算轉換為一RGB螢光影像,該第二色彩轉換運算係將G值設定為255,B值設定為0,R值則等於該灰階螢光影像之灰階值乘以一加權值,且該加權值係介於0.5和1之間,該RGB螢光影像係一黑底背景黃綠色影像。
其中,該RGB反射影像、該RGB干涉影像及該RGB螢光影像之R值、G值及B值均係以一二進制的n位元來代表,該n之值為8的正整數倍。
該影像融合運算及強度反轉運算單元350,分別與該第一色彩轉換運算單元330及該第二色彩轉換運算單元340耦接,用以將RGB格式之該反射影像或該干涉影及該螢光影像進行一影像融合運算及一強度反轉運算以產生一類H&E影像,該類H&E影像係一白底背景桃紅色影像。
該顯示單元400與該資訊處理裝置300之另一端耦接,用以顯示該資訊處理裝置300輸出之該類H&E影像。
請參照圖4,其繪示本發明之另一較佳實施例之採用所述之生物樣本之影像合成方法之光學系統架構示意圖。
如圖所示,該光學系統包括:一第一感光單元100;一資訊處理裝置300;以及一顯示單元400。
該第一感光單元100,係用以輸入一生物樣本之一灰階反射影像或一灰階干涉影像,該灰階反射影像或該灰階干涉影像係呈現一細胞質之影像。其中該灰階反射影像係例如但不限於一雷射掃描共焦顯微鏡(圖未示)之直接反射產生之影像,該灰階干涉影像係例如但不限於一光學干涉掃描顯微鏡(圖未示)之反射後再干涉產生之影像。
該資訊處理裝置300之一端與該第一感光單元100耦接,且具有一第一記憶區塊310;一影像轉換運算單元305;以及一第二記憶區塊320,其中該記憶區塊310係用以儲存由第一感光單元100輸入之該灰階反射影像或該灰階干涉影像,該影像轉換運算單元305與該第一記憶區塊310耦接,用以將儲存於該第一記憶區塊310之該灰階反射影像或該灰階干涉影像經由一影像轉換運算轉換為一細胞核之灰階影像,該第二記憶區塊320係用以儲存由影像轉換運算單元305輸入之該灰階細胞核影像。
該資訊處理裝置300進一步具有一第一色彩轉換運算單元330;一第二色彩轉換運算單元340;以及一影像融合運算及強度反轉運算單元350。
該第一色彩轉換運算單元330與該第一記憶區塊310耦接,用以將儲存於該第一記憶區塊310之該灰階反射影像或該灰階干涉影像經由一第一色彩轉換運算轉換為一RGB反射影像或一RGB干涉影像,該第一色彩轉換運算係將R值及B值均設定為0,G值則等於該灰階反射影像或該灰階干涉影像之灰階值乘以一加權值,且該加權值係介於0.5和1之間,該RGB反射影像或該RGB干涉影像係一黑底背景暗綠色影像。
該第二色彩轉換運算單元340與該第二記憶區塊320耦接,用以將儲存於該第二記憶區塊320之該灰階細胞核影像經由一第二色彩轉換運算轉換為一RGB細胞核影像,該第二色彩轉換運算係將G值設定為255,B值設定為0,R值則等於該灰階細胞核影像之灰階值乘以一加權值,且該加權值係介於0.5和1之間,該RGB細胞核影像係一黑底背景黃綠色影像。
其中,該RGB反射影像、該RGB干涉影像及該RGB細胞核影像之R值、G值及B值均係以一二進制的n位元來代表,該n之值為8的正整數倍。
該影像融合運算及強度反轉運算單元350,分別與該第一色彩轉換運算單元330及該第二色彩轉換運算單元340耦接,用以將RGB格式之該反射影像或該干涉影及該螢光影像進行一影像融合運算及一強度反轉運算以產生一類H&E影像,該類H&E影像係一白底背景桃紅色影像。
該顯示單元400與該資訊處理裝置300之另一端耦接,用以顯示該資訊處理裝置300輸出之該類H&E影像。
本發明的光學切片系統可支援一活體檢測操作或一生物樣本庫之檢視。當本發明的光學切片系統應用於活體檢測時,其係以一光探頭深入至術前(如皮膚)或術中(如乳房腫瘤廓清手術)之活體表面,以在獲得干涉或反射之細胞質影像後,將此影像反轉與濾波,即產生核影像,再以上述方法運算融合後,即可得到活體組織內之類H&E影像;以及當本發明的光學切片系統應用於生物樣本庫之檢視時,其係以所述光探頭深入至置放於樣本載台上之生物樣本庫之一新鮮組織,進行大面積掃描,再執行前述之影像處理程序,以獲得類H&E影像。另外,樣本載台內之生物樣本新鮮組織之核影像,亦可由螢光方式獲得。
藉由前述所揭露的設計,本發明乃具有以下的優點:
1.本發明揭露一種生物樣本之影像合成方法,其係以一反射影像或一干涉影像與一螢光影像或核影像經由色彩轉換運算、影像融合運算及強度反轉運算而產生,藉以提供顏色對比更佳的生物樣本影像,進而增進影像之可辨識性與可閱圖性。
2.本發明揭露一種生物樣本之影像合成方法,其中相較於習知技術係使用多張螢光影像加成之方法更能減少螢光劑使用及降低螢光劑對樣本組織所產生之傷害。
3.本發明揭露一種生物樣本之影像合成方法法,因為減少螢光劑之使用,而能縮短染色時間,進而加快取得影像之速度。
4.本發明揭露一種生物樣本之影像合成方法,藉由使用於活體組織之影像檢測,而能在不破壞組織之狀況下得到即時影像。
5.本發明揭露一種生物樣本之影像合成方法,藉由使用於生物樣本庫中之新鮮組織影像辨識時,能透過先行確認測試組織中是否含有標的組織或細胞,而提升檢體入庫前之正確性,亦能避免樣本凍壞進而降低出庫後之不良品輸出風險。
本案所揭示者,乃較佳實施例,舉凡局部之變更或修飾而源於本案之技術思想而為熟習該項技藝之人所易於推知者,俱不脫本案之專利權範疇。
綜上所陳,本案無論就目的、手段與功效,在在顯示其迥異於習知之技術特徵,且其首先發明合於實用,亦在在符合發明之專利要件,懇請 貴審查委員明察,並祈早日賜予專利,俾嘉惠社會,實感德便。
第一感光單元100 第二感光單元200 資訊處理裝置300 第一記憶區塊310 影像轉換運算單元305 第二記憶區塊320 第一色彩轉換運算單元330 第二色彩轉換運算單元340 影像融合運算及強度反轉運算單元350。 顯示單元400 步驟a--輸入一生物樣本之一灰階反射影像或一灰階干涉影像至一資訊處理裝置之一第一記憶區塊中,其中該灰階反射影像或該灰階干涉影像具有一第一影像解析度,及輸入該生物樣本之一灰階螢光影像至該資訊處理裝置之一第二記憶區塊中,其中該灰階螢光影像具有一第二影像解析度,且該第一影像解析度與該第二影像解析度係相同或不相同。 步驟b--利用該資訊處理裝置將該灰階反射影像或該灰階干涉影像經由一第一色彩轉換運算轉換為一RGB反射影像或一RGB干涉影像,及利用該資訊處理裝置將該灰階螢光影像經由一第二色彩轉換運算轉換為一RGB螢光影像。 步驟c--利用該資訊處理裝置對該RGB反射影像或該RGB干涉影像及該RGB螢光影像進行一影像融合運算及一強度反轉運算以產生一類H&E影像。 步驟d--輸出該類H&E影像至一顯示單元。
圖1為一示意圖,其繪示本發明一較佳實施例之生物樣本之影像合成方法步驟流程圖。 圖2a為一示意圖,其繪示本案一較佳實施例之一生物樣本之一灰階反射影像或一灰階干涉影像之示意圖。 圖2b為一示意圖,其繪示本案一較佳實施例之一生物樣本之一灰階螢光影像之示意圖。 圖2c為一示意圖,其繪示本案一較佳實施例之圖2a經由一第一色彩轉換運算轉換為一RGB反射影像或一RGB干涉影像之示意圖。 圖2d 為一示意圖,其繪示本案一較佳實施例之圖2b經由一第二色彩轉換運算轉換為一RGB螢光影像之示意圖。 圖2e 為一示意圖,其繪示本案一較佳實施例之圖2c及圖2d進行一影像融合運算之示意圖。 圖2f 為一示意圖,其繪示本案一較佳實施例之圖2e進行一強度反轉運算產生一生物樣本之影像合成方法示意圖。 圖3為一示意圖,其繪示本發明之一較佳實施例之採用所述之生物樣本之影像合成方法之光學系統架構示意圖。 圖4為一示意圖,其繪示本發明之另一較佳實施例之採用所述之生物樣本之影像合成方法之光學系統架構示意圖。
步驟a--輸入一生物樣本之一灰階反射影像或一灰階干涉影像至一資訊處理裝置之一第一記憶區塊中,其中該灰階反射影像或該灰階干涉影像具有一第一影像解析度,及輸入該生物樣本之一灰階螢光影像至該資訊處理裝置之一第二記憶區塊中,其中該灰階螢光影像具有一第二影像解析度,且該第一影像解析度與該第二影像解析度係相同或不相同。 步驟b--利用該資訊處理裝置將該灰階反射影像或該灰階干涉影像經由一第一色彩轉換運算轉換為一RGB反射影像或一RGB干涉影像,及利用該資訊處理裝置將該灰階螢光影像經由一第二色彩轉換運算轉換為一RGB螢光影像。 步驟c--利用該資訊處理裝置對該RGB反射影像或該RGB干涉影像及該RGB螢光影像進行一影像融合運算及一強度反轉運算以產生一類H&E影像。 步驟d--輸出該類H&E影像至一顯示單元。

Claims (9)

  1. 一種生物樣本之影像合成方法,其包括以下步驟:輸入一生物樣本之一灰階反射影像或一灰階干涉影像至一資訊處理裝置之一第一記憶區塊中,其中,該灰階干涉影像係一光學干涉掃描顯微鏡之反射後再干涉產生之影像,該灰階反射影像或該灰階干涉影像具有一第一影像解析度,及輸入該生物樣本之一灰階螢光影像至該資訊處理裝置之一第二記憶區塊中,其中該灰階螢光影像具有一第二影像解析度,且該第一影像解析度與該第二影像解析度係相同或不相同;利用該資訊處理裝置將該灰階反射影像或該灰階干涉影像經由一第一色彩轉換運算轉換為一RGB反射影像或一RGB干涉影像,及利用該資訊處理裝置將該灰階螢光影像經由一第二色彩轉換運算轉換為一RGB螢光影像;利用該資訊處理裝置對該RGB反射影像或該RGB干涉影像及該RGB螢光影像進行一影像融合運算及一強度反轉運算以產生一類H&E影像;以及輸出該類H&E影像至一顯示單元。
  2. 如申請專利範圍第1項所述之生物樣本之影像之合成方法,該灰階反射影像或該灰階干涉影像係呈現一細胞質之影像;該灰階螢光影像係呈現一細胞核之影像。
  3. 如申請專利範圍第2項所述之生物樣本之影像合成方法,該細胞核之灰階螢光影像係該細胞質之影像進行一影像轉換運算而得到。
  4. 如申請專利範圍第1項所述之生物樣本之影像合成方法,其中該灰階反射影像係一雷射掃描共焦顯微鏡之直接反射產生之影像。
  5. 如申請專利範圍第1項所述之生物樣本之影像合成方法,其中該第一色彩轉換運算係將R值及B值均設定為0,G值則等於該灰階反射影像或該灰階干涉影像之灰階值乘以一加權值,且該加權值係介於0.5和1之間。
  6. 如申請專利範圍第1項所述之生物樣本之影像合成方法,其中該第二色彩轉換運算係將G值設定為255,B值設定為0,R值則等於該灰階螢光影像之灰階值乘以一加權值,且該加權值係介於0.5和1之間。
  7. 如申請專利範圍第1項所述之生物樣本之影像合成方法,其中該RGB反射影像或該RGB干涉影像係一黑底背景暗綠色影像;該RGB螢光影像係一黑底背景黃綠色影像;該類H&E影像係一白底背景桃紅色影像。
  8. 如申請專利範圍第1項所述之生物樣本之影像合成方法,其中該RGB反射影像、該RGB干涉影像及該RGB螢光影像之R值、G值及B值均係以一二進制的n位元來代表,其中該n之值為8的正整數倍。
  9. 一種光學系統,其採用如申請專利範圍第1項至第8項中任一項所述之生物樣本之影像合成方法以支援一活體檢測操作或一生物樣本庫之檢視。
TW107111815A 2018-04-03 2018-04-03 一種生物樣本之影像合成方法及採用該方法之光學系統 TWI683283B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW107111815A TWI683283B (zh) 2018-04-03 2018-04-03 一種生物樣本之影像合成方法及採用該方法之光學系統
US16/356,727 US20190302436A1 (en) 2018-04-03 2019-03-18 Method for producing image of biological sample and optical system using same
EP19164050.7A EP3550510A1 (en) 2018-04-03 2019-03-20 Method for producing image of biological sample and optical system using same
JP2019063884A JP2019185040A (ja) 2018-04-03 2019-03-28 生物学的サンプルの画像合成方法及びこの方法を用いた光学システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107111815A TWI683283B (zh) 2018-04-03 2018-04-03 一種生物樣本之影像合成方法及採用該方法之光學系統

Publications (2)

Publication Number Publication Date
TW201942869A TW201942869A (zh) 2019-11-01
TWI683283B true TWI683283B (zh) 2020-01-21

Family

ID=66182320

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107111815A TWI683283B (zh) 2018-04-03 2018-04-03 一種生物樣本之影像合成方法及採用該方法之光學系統

Country Status (4)

Country Link
US (1) US20190302436A1 (zh)
EP (1) EP3550510A1 (zh)
JP (1) JP2019185040A (zh)
TW (1) TWI683283B (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11199506B2 (en) * 2018-02-21 2021-12-14 Applied Materials Israel Ltd. Generating a training set usable for examination of a semiconductor specimen
CN110686457B (zh) * 2019-10-23 2021-05-11 郑州金域临床检验中心有限公司 一种存取冻存管的方法及装置
EP3896967A1 (en) * 2020-04-17 2021-10-20 Leica Microsystems CMS GmbH Digital imaging device and method for generating a digital color image
CN112378727A (zh) * 2020-12-14 2021-02-19 湖南莱博赛医用机器人有限公司 基于机器视觉的dna倍体定量分析装置及其应用方法
CN112233049B (zh) * 2020-12-14 2021-03-02 成都中轨轨道设备有限公司 一种用于提升图像清晰度的图像融合方法
CN116067931B (zh) * 2023-02-06 2023-09-12 大连工业大学 一种基于荧光响应图像的冻条罗非鱼tvb-n无损检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120200694A1 (en) * 2009-10-12 2012-08-09 Karl Garsha Multi-modality contrast and brightfield context rendering for enhanced pathology determination and multi-analyte detection in tissue
US20160278678A1 (en) * 2012-01-04 2016-09-29 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
US20160287211A1 (en) * 2015-03-31 2016-10-06 Ralph S. DaCosta System and Method for Multi-Modal in Vivo Imaging
TWI594207B (zh) * 2016-04-26 2017-08-01 財團法人金屬工業研究發展中心 細胞核影像輪廓擷取裝置及其方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2772073T3 (es) * 2008-07-25 2020-07-07 Sloan Kettering Inst Cancer Res Microscopía confocal rápida para apoyar procedimientos quirúrgicos
US8269827B2 (en) 2009-09-29 2012-09-18 General Electric Company System and methods for mapping fluorescent images into a bright field color space
TWI659395B (zh) * 2017-07-19 2019-05-11 銳準醫光股份有限公司 類h&e影像之合成方法及採用該方法之光學系統

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120200694A1 (en) * 2009-10-12 2012-08-09 Karl Garsha Multi-modality contrast and brightfield context rendering for enhanced pathology determination and multi-analyte detection in tissue
US20160278678A1 (en) * 2012-01-04 2016-09-29 The Trustees Of Dartmouth College Method and apparatus for quantitative and depth resolved hyperspectral fluorescence and reflectance imaging for surgical guidance
US20160287211A1 (en) * 2015-03-31 2016-10-06 Ralph S. DaCosta System and Method for Multi-Modal in Vivo Imaging
TWI594207B (zh) * 2016-04-26 2017-08-01 財團法人金屬工業研究發展中心 細胞核影像輪廓擷取裝置及其方法

Also Published As

Publication number Publication date
EP3550510A1 (en) 2019-10-09
JP2019185040A (ja) 2019-10-24
US20190302436A1 (en) 2019-10-03
TW201942869A (zh) 2019-11-01

Similar Documents

Publication Publication Date Title
TWI683283B (zh) 一種生物樣本之影像合成方法及採用該方法之光學系統
Kang et al. Deep learning enables ultraviolet photoacoustic microscopy based histological imaging with near real-time virtual staining
Tai et al. Fibro-C-Index: comprehensive, morphology-based quantification of liver fibrosis using second harmonic generation and two-photon microscopy
JamesDarian et al. Recent advancements in optical harmonic generation microscopy: Applications and perspectives
Gareau et al. Confocal mosaicing microscopy in skin excisions: a demonstration of rapid surgical pathology
Wu et al. Label-free detection of breast masses using multiphoton microscopy
Gareau et al. Rapid screening of cancer margins in tissue with multimodal confocal microscopy
Schenke-Layland et al. Imaging of cardiovascular structures using near-infrared femtosecond multiphoton laser scanning microscopy
Najari et al. Pilot study of the correlation of multiphoton tomography of ex vivo human testis with histology
Boktor et al. Virtual histological staining of label-free total absorption photoacoustic remote sensing (TA-PARS)
Brachtel et al. Spectrally encoded confocal microscopy for diagnosing breast cancer in excision and margin specimens
He et al. Toward surface quantification of liver fibrosis progression
US20220237783A1 (en) Slide-free histological imaging method and system
Wang et al. Automated label‐free detection of injured neuron with deep learning by two‐photon microscopy
Li et al. Label-free multiphoton imaging to assess neoadjuvant therapy responses in breast carcinoma
Pillar et al. Virtual staining of non-fixed tissue histology
Boktor et al. Multi-channel feature extraction for virtual histological staining of photon absorption remote sensing images
Orsinger et al. Simultaneous multiplane imaging of human ovarian cancer by volume holographic imaging
Wang et al. Label-free detection of the architectural feature of blood vessels in glioblastoma based on multiphoton microscopy
Han et al. Label-free detection of residual breast cancer after neoadjuvant chemotherapy using biomedical multiphoton microscopy
Li et al. Real-time denoising of fluorescence time-lapse imaging enables high-sensitivity observations of biological dynamics beyond the shot-noise limit
CN109754382B (zh) 类h&e影像的合成方法及采用该方法的光学系统
JP7406846B1 (ja) 快速的且つ鮮やかなデジタルパソロジー方法
CN110346291A (zh) 一种生物样本的影像合成方法及采用该方法的光学系统
TWI835337B (zh) 一種快速的新鮮數位病理方法