TWI659395B - 類ｈ＆ｅ影像之合成方法及採用該方法之光學系統 - Google Patents
類ｈ＆ｅ影像之合成方法及採用該方法之光學系統 Download PDFInfo
- Publication number
- TWI659395B TWI659395B TW106124193A TW106124193A TWI659395B TW I659395 B TWI659395 B TW I659395B TW 106124193 A TW106124193 A TW 106124193A TW 106124193 A TW106124193 A TW 106124193A TW I659395 B TWI659395 B TW I659395B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- grayscale
- gray
- rgb
- scale
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000003287 optical effect Effects 0.000 title claims abstract description 17
- 238000001308 synthesis method Methods 0.000 title claims abstract description 7
- 238000006243 chemical reaction Methods 0.000 claims abstract description 51
- 230000010365 information processing Effects 0.000 claims abstract description 39
- 230000004927 fusion Effects 0.000 claims abstract description 18
- 230000002194 synthesizing effect Effects 0.000 claims description 27
- 238000002073 fluorescence micrograph Methods 0.000 claims description 7
- 238000002345 optical interference microscopy Methods 0.000 claims description 7
- 230000001086 cytosolic effect Effects 0.000 claims description 5
- 210000003855 cell nucleus Anatomy 0.000 claims description 4
- 238000000386 microscopy Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 17
- 210000001519 tissue Anatomy 0.000 description 10
- 210000004940 nucleus Anatomy 0.000 description 9
- WZUVPPKBWHMQCE-UHFFFAOYSA-N Haematoxylin Chemical compound C12=CC(O)=C(O)C=C2CC2(O)C1C1=CC=C(O)C(O)=C1OC2 WZUVPPKBWHMQCE-UHFFFAOYSA-N 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 7
- 210000000805 cytoplasm Anatomy 0.000 description 6
- YQGOJNYOYNNSMM-UHFFFAOYSA-N eosin Chemical compound [Na+].OC(=O)C1=CC=CC=C1C1=C2C=C(Br)C(=O)C(Br)=C2OC2=C(Br)C(O)=C(Br)C=C21 YQGOJNYOYNNSMM-UHFFFAOYSA-N 0.000 description 5
- 239000007850 fluorescent dye Substances 0.000 description 5
- 238000003384 imaging method Methods 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 238000007796 conventional method Methods 0.000 description 4
- 239000007787 solid Substances 0.000 description 4
- 210000004027 cell Anatomy 0.000 description 3
- 230000001575 pathological effect Effects 0.000 description 3
- 206010028980 Neoplasm Diseases 0.000 description 2
- 235000005811 Viola adunca Nutrition 0.000 description 2
- 240000009038 Viola odorata Species 0.000 description 2
- 235000013487 Viola odorata Nutrition 0.000 description 2
- 235000002254 Viola papilionacea Nutrition 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 2
- 230000008901 benefit Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000000975 dye Substances 0.000 description 2
- 230000008014 freezing Effects 0.000 description 2
- 238000007710 freezing Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 210000000577 adipose tissue Anatomy 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 239000000090 biomarker Substances 0.000 description 1
- 230000000052 comparative effect Effects 0.000 description 1
- 238000004624 confocal microscopy Methods 0.000 description 1
- 239000013078 crystal Substances 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000001066 destructive effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000004043 dyeing Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004020 luminiscence type Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000012528 membrane Substances 0.000 description 1
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 1
- 229910052753 mercury Inorganic materials 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000012188 paraffin wax Substances 0.000 description 1
- 230000035699 permeability Effects 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000002271 resection Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- 239000002344 surface layer Substances 0.000 description 1
- 238000001356 surgical procedure Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/43—Conversion of monochrome picture signals to colour picture signals for colour picture display
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
- G06T7/0012—Biomedical image inspection
- G06T7/0014—Biomedical image inspection using an image reference approach
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
- G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
- G01N21/62—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light
- G01N21/63—Systems in which the material investigated is excited whereby it emits light or causes a change in wavelength of the incident light optically excited
- G01N21/64—Fluorescence; Phosphorescence
- G01N21/645—Specially adapted constructive features of fluorimeters
- G01N21/6456—Spatial resolved fluorescence measurements; Imaging
- G01N21/6458—Fluorescence microscopy
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10064—Fluorescence image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Theoretical Computer Science (AREA)
- General Health & Medical Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Life Sciences & Earth Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Biochemistry (AREA)
- Immunology (AREA)
- Pathology (AREA)
- Radiology & Medical Imaging (AREA)
- Medical Informatics (AREA)
- Quality & Reliability (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Investigating, Analyzing Materials By Fluorescence Or Luminescence (AREA)
- Image Processing (AREA)
- Apparatus Associated With Microorganisms And Enzymes (AREA)
- Microscoopes, Condenser (AREA)
Abstract
一種類H&E影像之合成方法，包括：輸入一待測樣本之一灰階干涉影像或一灰階反射影像至一資訊處理裝置之一第一記憶區塊中及輸入該待測樣本之一灰階螢光影像至該資訊處理裝置之一第二記憶區塊中；利用該資訊處理裝置將該灰階干涉影像或灰階反射影像經由一第一色彩轉換運算轉換為一第一RGB影像，及利用該資訊處理裝置將該灰階螢光影像經由一第二色彩轉換運算轉換為一第二RGB影像；利用該資訊處理裝置對該第一RGB影像及該第二RGB影像進行一影像融合運算及一強度反轉運算以產生一類H&E影像。此外，本發明亦揭示一種採用所述方法之光學系統。
Description
本發明係有關於一種光學系統之合成影像方法，特別是一種類H&E( Hematoxylin and Eosin；蘇木紫與伊紅)影像之合成方法及採用該方法之光學系統。
進行腫瘤切除手術時，常須等待病理科醫師用冷凍切片(frozen section)來檢驗以確定腫瘤是否切除乾淨。然而，在進行冷凍切片的過程中，若待測樣本是多水分的樣本，則其冷凍後會產生破壞組織結構的冰晶(crystal ice)；而若待測樣本是多脂肪(fat)的樣本，則在一般組織均已冷凍固化之溫度(~-20℃)下，其脂肪組織會因尚未冷凍固化而易從切片脫落，造成切片組織不完整。此外，冷凍後的細胞亦不易穩定染上顏色。由於上述原因會造成冷凍切片的影像和新鮮組織結構的影像之間有所出入的影像缺陷(artifact)，所以利用光學原理來進行組織即時切片檢測的儀器也就因應而生，因為利用非破壞性之光學切片，能在不需冷凍固定待測樣本之前提下，快速獲得類H&E影像以利醫療人員進行判讀。
而一般實驗室所使用之光學切片影像合成方法則是藉由對一待測樣本之複數個灰階影像進行一線性組合運算而產生一黑底(即黑色背景)RGB影像，以在該黑底RGB影像映射於人眼時，使人眼感測到彷彿在暗房中之一彩色影像，其中，所述複數個灰階影像係由作用在該待測樣本的複數個不同成像方法而產生，該彩色影像之各像素的顏色均係由三原色(紅、綠、藍)混合而產生，且所述各像素的三原色的強度可由所述複數個灰階影像之各對應畫素之強度的三個線性組合決定。另外，傳統的成像技術，如衛星影像、x射線影像或電子顯微鏡影像，因僅能提供單一影像強度分布，故其影像僅能以灰階格式呈現。若影像能以彩色方式呈現，不僅能增加可看度與辨識度，也能提供更多的資訊。
另外，以影像之對比度而言，紅與綠會是對比度最高的色調，但因黑底的關係，看久了或看多了影像時，眼睛易產生不適感，也會容易疲倦，故無法滿足病理科醫師需大量閱讀病理切片之訴求。因此現今病理影像之產生，一般係對一實體切片(為石蠟切片或冷凍切片)以嗜鹼性染料蘇木紫(Hematoxylin)與嗜酸性染料伊紅(Eosin)進行染色再經一造影程序而產生一柔和的白底(即白色背景)影像，其中，蘇木紫染劑與伊紅染劑會分別對細胞核(nucleus)及細胞質(cytoplasm)著上藍紫色與粉紅色，且由於細胞質中的不同成分會與伊紅有不同的結合程度而產生不同色調的粉紅色，因此H&E切片造影乃可提供更詳細的病理資訊。所以，如能將現有光學切片技術常用之黑底RGB影像，改變成類似H&E之白底RGB影像，對於每天需要大量閱讀影像的病理科醫師而言，是非常有幫助的。然而，傳統的實體切片除了會造成影像缺陷外，造影所需的時間冗長，常不符合外科手術的需求。
習知技術如美國US8269827B2「System and methods for mapping fluorescent images into a bright field color space 」專利，揭露一種使用螢光圖像產生類H&E影像之方法，包括以下步驟：獲取待測樣本上固定區域的兩種或更多種螢光圖像；將所述螢光影像的圖像資料以映射參數變換為明場色空間(bright field color space ) ；以及產生明場型圖像。
然而，由於該專利架構中係以多張螢光影像產生類H&E影像，其仍然存在以下缺點：(1) 因待測樣本內結構無法全數染上螢光，該類H&E影像的顏色對比仍有待改進；(2)產生螢光影像需使用的多種螢光劑仍會對待測樣本產生傷害；(3)染多種螢光染劑曠日廢時。因此本領域亟需一新穎的類H&E影像之合成方法。
本發明之一目的在於揭露一種類H&E影像之合成方法，其係以一待測樣本之一干涉影像或一反射影像與該待測樣本之一螢光影像經由一色彩轉換步驟、一影像融合步驟及一強度反轉步驟而產生一白底RGB影像，俾以在不須對該待測樣本進行實體切片之情況下提供顏色對比更佳的類H&E影像。
本發明之另一目的在於揭露一種類H&E影像之合成方法，其可較習知之多張螢光影像加成方法減少螢光劑之使用以降低螢光劑對一待測樣本之傷害。
本發明之另一目的在於揭露一種類H&E影像之合成方法，其可較習知之多張螢光影像加成方法減少螢光劑之使用以縮短一染色時間，從而加快一類H&E影像之完成。
本發明之又一目的在於揭露一種類H&E影像之合成方法，其中，相較於一般H&E影像，其所產生之一類H&E影像可更詳細地提供一待測樣本中之細胞質與細胞核之各別影像資訊，從而提升正常組織與異常組織之分辨率。
為達前述目的，一種類H&E影像之合成方法乃被提出，其包括以下步驟：輸入一待測樣本之一灰階干涉影像或一灰階反射影像至一資訊處理裝置之一第一記憶區塊中，其中該灰階干涉影像或該灰階反射影像具有一第一影像解析度，及輸入該待測樣本之一灰階螢光影像至該資訊處理裝置之一第二記憶區塊中，其中該灰階螢光影像具有一第二影像解析度，且該第一影像解析度與該第二影像解析度係相同或不相同；
利用該資訊處理裝置將該灰階干涉影像或該灰階反射影像經由一第一色彩轉換運算轉換為一第一RGB影像，及利用該資訊處理裝置將該灰階螢光影像經由一第二色彩轉換運算轉換為一第二RGB影像；
利用該資訊處理裝置對該第一RGB影像及該第二RGB影像進行一影像融合運算及一強度反轉運算以產生一類H&E影像；以及
輸出該類H&E影像至一顯示單元。
在一實施例中，該灰階干涉影像或該灰階反射影像係呈現一細胞質之影像。
在一實施例中，該灰階螢光影像係呈現一細胞核之影像。
在一實施例中，該灰階干涉影像係一光學干涉顯微術之反射後再干涉產生之影像。
在一實施例中，該灰階反射影像係一反射共軛焦顯微術之直接反射產生之影像。
在一實施例中，該第一色彩轉換運算係將該第一RGB影像之紅色強度值及藍色強度值均設定為0，及使其綠色強度值等於該灰階反射影像或該灰階干涉影像之灰階值乘以一加權值，且該加權值係介於0.5和1之間。
在一實施例中，該第二色彩轉換運算係將該第二RGB影像之綠色強度值設定為2
8m-1，m為正整數，藍色強度值設定為0，及使其紅色強度值等於該灰階螢光影像之灰階值乘以一加權值，且該加權值係介於0.5和1之間。
在一實施例中，該第一RGB影像係一黑底暗綠色影像；該第二RGB影像係一黑底黃綠色影像；該類H&E影像係一白底之粉紅色含藍紫色影像。
在一實施例中，該第一RGB影像及該第二RGB影像之紅色強度值、綠色強度值及藍色強度值均係以一二進制的n位元來代表，其中該n之值為8的正整數倍。
為達前述目的，一種光學系統乃被提出，其係採用如所述之類H&E影像之合成方法。
為使 貴審查委員能進一步瞭解本發明之結構、特徵及其目的，茲附以圖式及較佳具體實施例之詳細說明如後。
請參照圖1，其繪示本發明一較佳實施例之類H&E影像之合成方法之流程圖。
如圖1所示，本發明之類H&E影像之合成方法包括以下步驟：
輸入一待測樣本之一灰階干涉影像或灰階反射影像至一資訊處理裝置之一第一記憶區塊中，及輸入該待測樣本之一灰階螢光影像至該資訊處理裝置之一第二記憶區塊中(步驟a)；利用該資訊處理裝置將該灰階干涉影像或灰階反射影像經由一第一色彩轉換運算轉換為一第一RGB影像，及利用該資訊處理裝置將該灰階螢光影像經由一第二色彩轉換運算轉換為一第二RGB影像(步驟b)；利用該資訊處理裝置對該第一RGB影像及該第二RGB影像進行一影像融合運算及一強度反轉運算以產生一類H&E影像(步驟c)；以及輸出該類H&E影像至一顯示單元(步驟d)。在步驟a中，該灰階干涉影像或灰階反射影像具有一第一影像解析度，該灰階螢光影像具有一第二影像解析度，且該第一影像解析度與該第二影像解析度可為相同或不相同。
以下將針對本發明之原理做說明：
本發明之類H&E影像之合成方法，其影像來源是由一灰階干涉影像或一灰階反射影像，與一灰階螢光影像所構成。其中該灰階干涉影像或該灰階反射影像係呈現一待測樣本細胞組織中細胞核以外的細胞質(cytoplasm)所形成的組織結構型態(morphology) 之影像；該灰階螢光影像係呈現該待測樣本中，細胞核內高DNA聚集的地方，即細胞核(nucleus)結構之影像。
本發明之類H&E影像之合成方法，其中該灰階干涉影像係一光學干涉顯微術(圖未示)之反射後再干涉產生之影像。該光學干涉顯微術（Optical Interference Microscopy，簡稱OIM）之空間解析度比超音波更高，主要係利用各組織對光的反射能力的不同，透過光學干涉原理對待測樣本進行成像與分辨。由於其為習知技術，在此不擬贅述。
本發明之類H&E影像之合成方法，其中該灰階反射影像係經由一反射共軛焦顯微術(圖未示)之直接反射所產生之影像。該反射共軛焦顯微鏡（Reflectance Confocal Microscopy ，簡稱RCM）其成像原理係以一雷射光源來取代傳統螢光顯微鏡之一汞燈，再經由掃描器(Scan mirrors)的導引以點接點(Point by point)方式由一待測樣本擷取一連串反射訊號以串接成二維陣列影像。由於其為習知技術，在此不擬贅述。
另外，本發明之類H&E影像之合成方法，其中該灰階螢光影像之螢光，係一種能量轉換時所產生的冷發光現象，其特性為吸收一短波長的光後，發散出一長波長的光。利用到螢光反應的實驗技術為現代的生物科技帶來相當多的便利，螢光劑常被用來作為細胞形態的生物標記物(biomarker)，其原理為用以一短波光束照射一染有螢光劑之待測樣本，使其釋放出一螢光而成像於一感光元件 (未示於圖中)。由於其為習知技術，在此不擬贅述。
另外，光學切片中的細胞質與細胞核影像與H&E染色切片的伊紅染劑與蘇木紫染劑恰為一對應關係。以螢光影像呈現細胞核時，因所用的染劑均具有膜通透性，故能在短時間內滲透到表層以下100~200 微米深，而達到快速檢驗的目的。由於其為習知技術，在此不擬贅述。
請一併參照圖2a至2f，其中圖2a其繪示本案一較佳實施例之一待測樣本之一灰階干涉影像之示意圖；圖2b其繪示本案一較佳實施例之一待測樣本之一灰階螢光影像之示意圖；圖2c其繪示本案一較佳實施例之圖2a經由一第一色彩轉換運算轉換為一第一RGB影像之示意圖；圖2d其繪示本案一較佳實施例之圖2b經由一第二色彩轉換運算轉換為一第二RGB影像之示意圖；圖2e其繪示本案一較佳實施例之圖2c及圖2d進行一影像融合運算之示意圖；圖2f其繪示本案一較佳實施例之圖2e進行一強度反轉運算產生一類H&E影像之示意圖。
圖2a所示之該灰階干涉影像將輸入至一資訊處理裝置(圖未示)之一第一記憶區塊(圖未示)中，其中該灰階干涉影像係為一黑底之影像，且灰階干涉影像具有一第一影像解析度。
圖2b所示之該灰階螢光影像將輸入至該資訊處理裝置(圖未示)之一第二記憶區塊(圖未示)中，其中該灰階螢光影像係為一黑底之影像，其中該灰階螢光影像具有一第二影像解析度，且該第一影像解析度與該第二影像解析度可為相同或不相同。
圖2c所示之該第一RGB影像係該資訊處理裝置(圖未示)進行該第一色彩轉換運算後所獲得之影像，其中該第一RGB影像係為一黑底暗綠色影像，該第一色彩轉換運算係將該第一RGB影像之紅色強度值及藍色強度值均設定為0，及使其綠色強度值等於該灰階干涉影像或該灰階反射影像之灰階值乘以一加權值，且該加權值係介於0.5和1之間。
圖2d所示之該第二RGB影像係該資訊處理裝置(圖未示)進行該第二色彩轉換運算後所獲得之影像，其中該第二RGB影像係為一黑底黃綠色影像，該第二色彩轉換運算係將該第二RGB影像之綠色強度值設定為2
8m-1，m為正整數，藍色強度值設定為0，及使其紅色強度值等於該灰階螢光影像之灰階值乘以一加權值，且該加權值係介於0.5和1之間。
圖2e所示之影像係利用該資訊處理裝置(圖未示)對該第一RGB影像(圖2c)及該第二RGB影像(圖2d)進行一影像融合運算之結果，其係一黑底之影像。
圖2f所示之類H&E影像係利用該資訊處理裝置(圖未示)對圖2e進行一強度反轉運算以產生之影像，其係為一白底之粉紅色含藍紫色影像。
另外，該第一RGB影像及該第二RGB影像之紅色強度值、綠色強度值及藍色強度值均係以一二進制的n位元來代表，其中該n之值為8的正整數倍。
另外，圖2a所示之該灰階干涉影像亦可改為一灰階反射影像，且該灰階反射影像可和該灰階干涉影像有相同的處理流程。
此外，本發明亦揭示一種光學系統，其係其採用所述之類H&E影像之合成方法。
請參照圖3，其繪示本發明之一較佳實施例之採用所述之類H&E影像之合成方法之光學系統架構示意圖。
如圖所示，該光學系統包括：一第一感光單元100；一第二感光單元200；一資訊處理裝置300；以及一顯示單元400。
該第一感光單元100，係用以輸入一待測樣本之一灰階干涉影像或一灰階反射影像，該灰階干涉影像或該灰階反射影像係呈現一細胞質之影像。其中該灰階干涉影像係例如但不限於一光學干涉顯微術(圖未示)之反射後再干涉產生之影像，該灰階反射影像係例如但不限於一反射共軛焦顯微術(圖未示)之直接反射產生之影像。
該第二感光單元200，係用以輸入一待測樣本之一灰階螢光影像，該灰階螢光影像係呈現一細胞核之影像。
該資訊處理裝置300之一端分別與該第一感光單元100、該第二感光單元200耦接，且具有一第一記憶區塊310及一第二記憶區塊320，其中該第一記憶區塊310係用以儲存由第一感光單元100輸入之該灰階干涉影像或該灰階反射影像，該第二記憶區塊320係用以儲存由第二感光單元200輸入之該灰階螢光影像。
該資訊處理裝置進一步具有一第一色彩轉換運算單元330；一第二色彩轉換運算單元340；以及一影像融合運算及強度反轉運算單元350。
該第一色彩轉換運算單元330與該第一記憶區塊310耦接，用以將儲存於該第一記憶區塊310之該灰階干涉影像或該灰階反射影像經由一第一色彩轉換運算轉換為一第一RGB影像，其中該第一色彩轉換運算係將該第一RGB影像之紅色強度值及藍色強度值均設定為0，及使其綠色強度值等於該灰階反射影像或該灰階干涉影像之灰階值乘以一加權值，且該加權值係介於0.5和1之間，且該第一RGB影像係一黑底暗綠色影像。
該第二色彩轉換運算單元340與該第二記憶區塊320耦接，用以將儲存於該第二記憶區塊320之該灰階螢光影像經由一第二色彩轉換運算轉換為一第二RGB影像，其中該第二色彩轉換運算係將該第二RGB影像之綠色強度值設定為2
8m-1，m為正整數，藍色強度值設定為0，及使其紅色強度值等於該灰階螢光影像之灰階值乘以一加權值，且該加權值係介於0.5和1之間，該第二RGB影像係一黑底黃綠色影像。
另外，該第一RGB影像及該第二RGB影像之紅色強度值、綠色強度值及藍色強度值均係以一二進制的n位元來代表，其中該n之值為8的正整數倍。 該影像融合運算及強度反轉運算單元350，分別與該第一色彩轉換運算單元330及該第二色彩轉換運算單元340耦接，用以將該第一RGB影像及該第二RGB影像進行一影像融合運算及一強度反轉運算以產生一類H&E影像，該類H&E影像係一白底之粉紅色含藍紫色影像。
該顯示單元400與該資訊處理裝置300之另一端耦接，用以顯示該資訊處理裝置300輸出之該類H&E影像。
藉由前述所揭露的設計，本發明乃具有以下的優點：
1.本發明揭露一種類H&E影像之合成方法，其係以一待測樣本之一干涉影像或一反射影像與該待測樣本之一螢光影像經由一色彩轉換步驟、一影像融合步驟及一強度反轉步驟而產生一白底RGB影像，俾以在不須對該待測樣本進行實體切片之情況下提供顏色對比更佳的類H&E影像。
2.本發明揭露一種類H&E影像之合成方法，其可較習知之多張螢光影像加成方法減少螢光劑之使用以降低螢光劑對一待測樣本之傷害。
3.本發明揭露一種類H&E影像之合成方法，其可較習知之多張螢光影像加成方法減少螢光劑之使用以縮短一染色時間，從而加快一類H&E影像之完成。
4.本發明揭露一種類H&E影像之合成方法，其中，相較於一般H&E影像，其所產生之一類H&E影像可更詳細地提供一待測樣本中之細胞質與細胞核之各別影像資訊，從而提升正常組織與異常組織之分辨率。
本案所揭示者，乃較佳實施例，舉凡局部之變更或修飾而源於本案之技術思想而為熟習該項技藝之人所易於推知者，俱不脫本案之專利權範疇。
綜上所陳，本案無論就目的、手段與功效，在在顯示其迥異於習知之技術特徵，且其首先發明合於實用，亦在在符合發明之專利要件，懇請 貴審查委員明察，並祈早日賜予專利，俾嘉惠社會，實感德便。
第一感光單元100 第二感光單元200 資訊處理裝置300 第一記憶區塊310 第二記憶區塊320 第一色彩轉換運算單元330 第二色彩轉換運算單元340 影像融合運算及強度反轉運算單元350。 顯示單元400
圖1為一示意圖，其繪示本發明一較佳實施例之類H&E影像之合成方法之流程圖。 圖2a為一示意圖，其繪示本案一較佳實施例之一待測樣本之一灰階干涉影像之示意圖。 圖2b為一示意圖，其繪示本案一較佳實施例之一待測樣本之一灰階螢光影像之示意圖。 圖2c為一示意圖，其繪示本案一較佳實施例之圖2a經由一第一色彩轉換運算轉換為一RGB干涉影像之示意圖。 圖2d 為一示意圖，其繪示本案一較佳實施例之圖2b經由一第二色彩轉換運算轉換為一RGB螢光影像之示意圖。 圖2e 為一示意圖，其繪示本案一較佳實施例之圖2c及圖2d進行一影像融合運算之示意圖。 圖2f 為一示意圖，其繪示本案一較佳實施例之圖2e進行一強度反轉運算產生一類H&E影像之示意圖。 圖3為一示意圖，其繪示本發明之一較佳實施例之採用所述之類H&E影像之合成方法之光學系統架構示意圖。
Claims (10)
- 一種類H&E影像之合成方法，其包括以下步驟：輸入一待測樣本之一灰階干涉影像或一灰階反射影像至一資訊處理裝置之一第一記憶區塊中，其中該灰階干涉影像或該灰階反射影像具有一第一影像解析度，及輸入該待測樣本之一灰階螢光影像至該資訊處理裝置之一第二記憶區塊中，其中該灰階螢光影像具有一第二影像解析度，且該第一影像解析度與該第二影像解析度係相同或不相同；利用該資訊處理裝置將該灰階干涉影像或該灰階反射影像經由一第一色彩轉換運算轉換為一第一RGB影像，及利用該資訊處理裝置將該灰階螢光影像經由一第二色彩轉換運算轉換為一第二RGB影像；利用該資訊處理裝置對該第一RGB影像及該第二RGB影像進行一影像融合運算及一強度反轉運算以產生一類H&E影像；以及輸出該類H&E影像至一顯示單元；其中該第一色彩轉換運算係將該第一RGB影像之紅色強度值及藍色強度值均設定為0，及使其綠色強度值等於該灰階干涉影像或該灰階反射影像之灰階值乘以一加權值，且該加權值係介於0.5和1之間。
- 一種類H&E影像之合成方法，其包括以下步驟：輸入一待測樣本之一灰階干涉影像或一灰階反射影像至一資訊處理裝置之一第一記憶區塊中，其中該灰階干涉影像或該灰階反射影像具有一第一影像解析度，及輸入該待測樣本之一灰階螢光影像至該資訊處理裝置之一第二記憶區塊中，其中該灰階螢光影像具有一第二影像解析度，且該第一影像解析度與該第二影像解析度係相同或不相同；利用該資訊處理裝置將該灰階干涉影像或該灰階反射影像經由一第一色彩轉換運算轉換為一第一RGB影像，及利用該資訊處理裝置將該灰階螢光影像經由一第二色彩轉換運算轉換為一第二RGB影像；利用該資訊處理裝置對該第一RGB影像及該第二RGB影像進行一影像融合運算及一強度反轉運算以產生一類H&E影像；以及輸出該類H&E影像至一顯示單元；其中該第二色彩轉換運算係將該第二RGB影像之綠色強度值設定為28m-1，m為正整數，藍色強度值設定為0，及使其紅色強度值等於該灰階螢光影像之灰階值乘以一加權值，且該加權值係介於0.5和1之間。
- 如申請專利範圍第1或2項所述之類H&E影像之合成方法，該灰階干涉影像或該灰階反射影像係呈現一細胞質之影像。
- 如申請專利範圍第1或2項所述之類H&E影像之合成方法，該灰階螢光影像係呈現一細胞核之影像。
- 如申請專利範圍第1或2項所述之類H&E影像之合成方法，其中該灰階干涉影像係一光學干涉顯微術之反射後再干涉產生之影像。
- 如申請專利範圍第1或2項所述之類H&E影像之合成方法，其中該灰階反射影像係一反射共軛焦顯微術之直接反射產生之影像。
- 如申請專利範圍第1或2項所述之類H&E影像之合成方法，其中該第一RGB影像係一黑底暗綠色影像；該第二RGB影像係一黑底黃綠色影像；該類H&E影像係一白底之粉紅色含藍紫色影像。
- 如申請專利範圍第1或2項所述之類H&E影像之合成方法，其中該第一RGB影像及該第二RGB影像之紅色強度值、綠色強度值及藍色強度值均係以一二進制的n位元來代表，其中該n之值為8的正整數倍。
- 一種光學系統，其具有：一第一感光單元，用以輸入一待測樣本之一灰階干涉影像或一灰階反射影像，該灰階干涉影像或該灰階反射影像係呈現一細胞質之影像；一第二感光單元，係用以輸入該待測樣本之一灰階螢光影像，該灰階螢光影像係呈現一細胞核之影像；以及一資訊處理裝置，係與該第一感光單元及該第二感光單元耦接，且其具有：一第一記憶區塊以儲存該灰階干涉影像或該灰階反射影像；一第二記憶區塊以儲存該灰階螢光影像；一第一色彩轉換運算單元，用以對該灰階干涉影像或該灰階反射影像進行一第一色彩轉換運算以產生一第一RGB影像；一第二色彩轉換運算單元，用以對該灰階螢光影像進行一第二色彩轉換運算以產生一第二RGB影像；以及一影像融合運算及強度反轉運算單元，用以對該第一RGB影像及該第二RGB影像進行一影像融合運算及一強度反轉運算以產生一類H&E影像；其中該第一色彩轉換運算係將該第一RGB影像之紅色強度值及藍色強度值均設定為0，及使其綠色強度值等於該灰階干涉影像或該灰階反射影像之灰階值乘以一加權值，且該加權值係介於0.5和1之間。
- 一種光學系統，其具有：一第一感光單元，用以輸入一待測樣本之一灰階干涉影像或一灰階反射影像，該灰階干涉影像或該灰階反射影像係呈現一細胞質之影像；一第二感光單元，係用以輸入該待測樣本之一灰階螢光影像，該灰階螢光影像係呈現一細胞核之影像；以及一資訊處理裝置，係與該第一感光單元及該第二感光單元耦接，且其具有：一第一記憶區塊以儲存該灰階干涉影像或該灰階反射影像；一第二記憶區塊以儲存該灰階螢光影像；一第一色彩轉換運算單元，用以對該灰階干涉影像或該灰階反射影像進行一第一色彩轉換運算以產生一第一RGB影像；一第二色彩轉換運算單元，用以對該灰階螢光影像進行一第二色彩轉換運算以產生一第二RGB影像；以及一影像融合運算及強度反轉運算單元，用以對該第一RGB影像及該第二RGB影像進行一影像融合運算及一強度反轉運算以產生一類H&E影像；其中該第二色彩轉換運算係將該第二RGB影像之綠色強度值設定為28m-1，m為正整數，藍色強度值設定為0，及使其紅色強度值等於該灰階螢光影像之灰階值乘以一加權值，且該加權值係介於0.5和1之間。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106124193A TWI659395B (zh) | 2017-07-19 | 2017-07-19 | 類ｈ＆ｅ影像之合成方法及採用該方法之光學系統 |
| US15/864,323 US10511820B2 (en) | 2017-07-19 | 2018-01-08 | Pseudo HandE image producing method and optical system using same |
| EP18155137.5A EP3432272B1 (en) | 2017-07-19 | 2018-02-05 | Pseudo h&e image producing method and optical system using same |
| JP2018093898A JP7144189B2 (ja) | 2017-07-19 | 2018-05-15 | 生物サンプルイメージの合成方法及び該方法を採用した光学システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW106124193A TWI659395B (zh) | 2017-07-19 | 2017-07-19 | 類ｈ＆ｅ影像之合成方法及採用該方法之光學系統 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW201909110A TW201909110A (zh) | 2019-03-01 |
| TWI659395B true TWI659395B (zh) | 2019-05-11 |
Family
ID=61167914
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW106124193A TWI659395B (zh) | 2017-07-19 | 2017-07-19 | 類ｈ＆ｅ影像之合成方法及採用該方法之光學系統 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US10511820B2 (zh) |
| EP (1) | EP3432272B1 (zh) |
| JP (1) | JP7144189B2 (zh) |
| TW (1) | TWI659395B (zh) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11199506B2 (en) * | 2018-02-21 | 2021-12-14 | Applied Materials Israel Ltd. | Generating a training set usable for examination of a semiconductor specimen |
| TWI683283B (zh) * | 2018-04-03 | 2020-01-21 | 薩摩亞商銳準醫光股份有限公司 | 一種生物樣本之影像合成方法及採用該方法之光學系統 |
| US20200388033A1 (en) * | 2019-06-10 | 2020-12-10 | Omics Data Automation, Inc. | System and method for automatic labeling of pathology images |
| CN112122175B (zh) * | 2020-08-12 | 2021-08-10 | 浙江大学 | 一种色选机的物料增强特征识别剔选方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110074944A1 (en) * | 2009-09-29 | 2011-03-31 | General Electric Company | System and methods for generating a brightfield image using fluorescent images |
| US20120200694A1 (en) * | 2009-10-12 | 2012-08-09 | Karl Garsha | Multi-modality contrast and brightfield context rendering for enhanced pathology determination and multi-analyte detection in tissue |
| US20130044933A1 (en) * | 2011-08-17 | 2013-02-21 | General Electric Company | System and methods for generating a brightfield image using fluorescent images |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| ES2772073T3 (es) * | 2008-07-25 | 2020-07-07 | Sloan Kettering Inst Cancer Res | Microscopía confocal rápida para apoyar procedimientos quirúrgicos |
| US8175369B2 (en) * | 2008-12-12 | 2012-05-08 | Molecular Devices, Llc | Multi-nucleated cell classification and micronuclei scoring |
| JP6014590B2 (ja) * | 2011-06-27 | 2016-10-25 | シスメックス株式会社 | 細胞分析装置および細胞分析方法 |
| JP5816486B2 (ja) * | 2011-08-18 | 2015-11-18 | オリンパス株式会社 | 蛍光観察装置および蛍光観察システム並びに蛍光観察装置の蛍光画像処理方法 |
| US20160003716A1 (en) * | 2014-07-03 | 2016-01-07 | Richard Torres | Novel Methods of Tissue Processing and Imaging |
| DE102014016850B9 (de) | 2014-11-13 | 2017-07-27 | Carl Zeiss Meditec Ag | Optisches System zur Fluoreszenzbeobachtung |
| EP3239287A4 (en) | 2014-12-26 | 2018-08-15 | The University of Tokyo | Analysis device, analysis method, analysis program, cell manufacturing method and cells |
| JP2016161417A (ja) * | 2015-03-02 | 2016-09-05 | キヤノン株式会社 | 画像処理装置、画像処理方法、イメージングシステム |
| CN108141505B (zh) * | 2015-10-30 | 2020-11-06 | 爱克发医疗保健公司 | 用于高位深医学灰度图像的压缩和解压缩方法 |
| JP6597316B2 (ja) | 2016-01-06 | 2019-10-30 | コニカミノルタ株式会社 | 画像処理装置及びプログラム |
-
2017
- 2017-07-19 TW TW106124193A patent/TWI659395B/zh active
-
2018
- 2018-01-08 US US15/864,323 patent/US10511820B2/en active Active
- 2018-02-05 EP EP18155137.5A patent/EP3432272B1/en active Active
- 2018-05-15 JP JP2018093898A patent/JP7144189B2/ja active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20110074944A1 (en) * | 2009-09-29 | 2011-03-31 | General Electric Company | System and methods for generating a brightfield image using fluorescent images |
| US20120200694A1 (en) * | 2009-10-12 | 2012-08-09 | Karl Garsha | Multi-modality contrast and brightfield context rendering for enhanced pathology determination and multi-analyte detection in tissue |
| US20130044933A1 (en) * | 2011-08-17 | 2013-02-21 | General Electric Company | System and methods for generating a brightfield image using fluorescent images |
Also Published As
| Publication number | Publication date |
|---|---|
| EP3432272A1 (en) | 2019-01-23 |
| JP7144189B2 (ja) | 2022-09-29 |
| US20190028687A1 (en) | 2019-01-24 |
| JP2019020385A (ja) | 2019-02-07 |
| US10511820B2 (en) | 2019-12-17 |
| TW201909110A (zh) | 2019-03-01 |
| EP3432272B1 (en) | 2021-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| TWI659395B (zh) | 類ｈ＆ｅ影像之合成方法及採用該方法之光學系統 | |
| JP6416887B2 (ja) | 構造化照明を用いた組織試料の顕微鏡観察 | |
| ES2301706T3 (es) | Metodo de videomicroscopia cuantitativa y sistema asociado asi como el producto de programa informatico de sofware. | |
| Cull et al. | Identification of fluorescent beads using a coded aperture snapshot spectral imager | |
| TWI683283B (zh) | 一種生物樣本之影像合成方法及採用該方法之光學系統 | |
| US11776124B1 (en) | Transforming multispectral images to enhanced resolution images enabled by machine learning | |
| Gao et al. | High-throughput fast full-color digital pathology based on Fourier ptychographic microscopy via color transfer | |
| CN115032196B (zh) | 一种全划片高通量彩色病理成像分析仪器及方法 | |
| JP2022548760A (ja) | スライドフリーな組織学的撮像法及びシステム | |
| WO2021198247A1 (en) | Optimal co-design of hardware and software for virtual staining of unlabeled tissue | |
| Smallcombe | Multicolor imaging: the important question of co-localization | |
| WO2021198252A1 (en) | Virtual staining logic | |
| CN109754382B (zh) | 类h&e影像的合成方法及采用该方法的光学系统 | |
| US10665000B2 (en) | Pseudo H and E image producing method and optical system using same | |
| US11378515B2 (en) | Image processing device, imaging system, actuation method of image processing device, and computer-readable recording medium | |
| KR101853658B1 (ko) | 세포 이미지 스티칭 중 고해상도 구현방법 | |
| WO2019239532A1 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| Wen et al. | HiFi-SIM: reconstructing high-fidelity structured illumination microscope images | |
| Zhang et al. | Speckle illumination microscopy enables slide-free and non-destructive pathology of human lung adenocarcinoma | |
| WO2021198243A1 (en) | Method for virtually staining a tissue sample and a device for tissue analysis | |
| Splitter et al. | Glossary (Terms Are Defined with Respect to Confocal Imaging) | |
| Maity et al. | Real time imaging of the excitation volume of a multiphoton microscope | |
| Ma et al. | Exploring the Neural Organoid in High Definition: Physics-Inspired High-Throughout Super-Resolution 3D Image Reconstruction | |
| Chen et al. | Digital staining of confocal mosaics for clinical pathology | |
| Zeng et al. | Wide-Field Pixel Super-Resolution Colour Lensfree Microscope for Digital Pathology |