TWI687898B - 影像正規化方法及影像處理裝置 - Google Patents
影像正規化方法及影像處理裝置 Download PDFInfo
- Publication number
- TWI687898B TWI687898B TW107141912A TW107141912A TWI687898B TW I687898 B TWI687898 B TW I687898B TW 107141912 A TW107141912 A TW 107141912A TW 107141912 A TW107141912 A TW 107141912A TW I687898 B TWI687898 B TW I687898B
- Authority
- TW
- Taiwan
- Prior art keywords
- image
- input image
- cell
- value
- input
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 19
- 238000010606 normalization Methods 0.000 title claims abstract description 18
- 238000012800 visualization Methods 0.000 claims abstract description 23
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000010801 machine learning Methods 0.000 claims description 5
- 238000000034 method Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 abstract 1
- 210000004027 cell Anatomy 0.000 description 54
- 238000010586 diagram Methods 0.000 description 8
- 238000012937 correction Methods 0.000 description 4
- 206010028980 Neoplasm Diseases 0.000 description 2
- 238000013459 approach Methods 0.000 description 2
- 238000013473 artificial intelligence Methods 0.000 description 2
- 201000011510 cancer Diseases 0.000 description 2
- 238000013136 deep learning model Methods 0.000 description 2
- 230000000717 retained effect Effects 0.000 description 2
- 238000010186 staining Methods 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 1
- 239000008280 blood Substances 0.000 description 1
- 210000000601 blood cell Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000001000 micrograph Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10056—Microscopic image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20208—High dynamic range [HDR] image processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
- G06T2207/30096—Tumor; Lesion
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
Abstract
本發明提出一種影像正規化方法及影像處理裝置。影像正規化方法包括:獲得輸入影像;對輸入影像的每一像素進行細胞可視化操作,其中細胞可視化操作根據輸入影像的每一像素的輸入值、對應該至少一細胞的色彩分佈中心、對比度調整值及亮度調整值產生輸入影像的每一像素的輸出值。
Description
本發明是有關於一種影像正規化方法及影像處理裝置,且特別是有關於一種用於可視化呈現細胞的影像正規化方法及影像處理裝置。
循環癌細胞的顯微鏡影像取得方式主要是將血液細胞染色樣本放置於載玻片上使用顯微鏡拍攝。然而,染色區域和沒染色區域在顯微鏡的成像上,亮度差異會非常大。此外,染色細胞的亮度會非常接近染色區域。若不先對細胞影像進行處理,會因為染色區域亮度過低而導致無法辨識染色細胞與染色背景區域的色彩差異。因此,如何對細胞染色樣本進行影像處理以可視化呈現細胞是本領域技術人員應致力的目標。
本發明提供一種影像正規化方法及影像處理裝置,對細胞染色樣本進行影像處理以可視化呈現細胞。
本發明提出一種影像正規化方法,適用於從輸入影像中可視化呈現至少一細胞。輸入影像包括染色區域及未染色區域。至少一細胞位於染色區域中。影像正規化方法包括:獲得輸入影像;對輸入影像的每一像素進行細胞可視化操作,其中細胞可視化操作根據輸入影像的每一像素的輸入值、對應至少一細胞的色彩分佈中心、對比度調整值及亮度調整值產生輸入影像的每一像素的輸出值;根據輸入影像的每一像素的輸出值產生輸出影像,以顯示在顯示器上或是輸入人工智慧(Artificial Intelligence,AI)模型、深度學習模型作為訓練資料或是輸入資料。
在本發明的一實施例中,上述色彩分佈中心為輸入影像直方圖中細胞分布的峰值位置。
在本發明的一實施例中,上述色彩分佈中心是根據輸入影像的直方圖特徵,以機器學習或深度學習的方法取得。
在本發明的一實施例中,上述輸出值在0到1之間。
本發明提出一種影像處理裝置,包括儲存裝置,儲存輸入影像;顯示器;以及處理器,耦接到儲存裝置及顯示器。處理器獲得輸入影像。處理器對輸入影像的每一像素進行細胞可視化操作,其中細胞可視化操作根據輸入影像的每一像素的輸入值、對應至
少一細胞的色彩分佈中心、對比度調整值及亮度調整值產生輸入影像的每一像素的輸出值。處理器根據輸入影像的每一像素的輸出值產生輸出影像以顯示在顯示器上。
在本發明的一實施例中,上述色彩分佈中心為輸入影像直方圖中細胞分布的峰值位置。
在本發明的一實施例中,上述色彩分佈中心是根據輸入影像的直方圖特徵,以機器學習或深度學習方法取得。
在本發明的一實施例中,上述輸出值在0到1之間。
基於上述,本發明的影像正規化方法及影像處理裝置可根據輸入影像的每一像素的輸入值、對應至少一細胞的色彩分佈中心、對比度調整值及亮度調整值進行細胞可視化操作以產生輸出影像,並將輸出影像顯示在顯示器上。
為讓本發明的上述特徵和優點能更明顯易懂,下文特舉實施例,並配合所附圖式作詳細說明如下。
100:影像處理裝置
110:處理器
120:儲存裝置
130:顯示器
210:染色背景
220:未染色區域
230:染色細胞
310、410、610:輸出影像
320、420、620:局部放大圖
430、630:細胞資訊
S701~S703:影像正規化方法的步驟
圖1為根據本發明一實施例的影像處理裝置的方塊圖。
圖2為根據本發明一實施例的輸入影像的直方圖的示意圖。
圖3為根據本發明一實施例對輸入影像進行直方圖均衡化產生的輸出影像的示意圖。
圖4為根據本發明一實施例對輸入影像進行直方圖均衡化與伽瑪校正產生的輸出影像的示意圖。
圖5為根據本發明一實施例透過第一方程式將輸入值轉換為輸出值的示意圖。
圖6為根據本發明一實施例透過第二方程式產生的輸出影像的示意圖。
圖7為根據本發明一實施例的影像正規化方法的流程圖。
圖1為根據本發明一實施例的影像處理裝置的方塊圖。
請參照圖1,本發明一實施例的影像處理裝置100包括處理器110及耦接到處理器110的儲存裝置120及顯示器130。儲存裝置120可儲存輸入影像。輸入影像包括染色區域及未染色區域且細胞位於該染色區域中。細胞可包括循環癌細胞及血液中的其他細胞。處理器110可對輸入影像進行細胞可視化操作以產生輸出影像,並將輸出影像顯示在顯示器130上使得人眼可辨識輸出影像的染色細胞。
處理器110可以是中央處理單元(Central Processing Unit,CPU),或是其他可程式化之一般用途或特殊用途的微處理器
(Microprocessor)、數位信號處理器(Digital Signal Processor,DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuit,ASIC)或其他類似元件或上述元件的組合,本發明不限於此。
儲存裝置120可以是任何型態的固定或可移動隨機存取記憶體(Random Access Memory,RAM)、唯讀記憶體(Read-Only Memory,ROM)、快閃記憶體(flash memory)、硬碟(Hard Disk Drive,HDD)、固態硬碟(Solid State Drive,SSD)或類似元件或上述元件的組合。
圖2為根據本發明一實施例的輸入影像的直方圖的示意圖。
請參照圖2,在輸入影像的直方圖中,橫軸為亮度且縱軸為像素數量。在一實施例中,輸入影像的亮度資訊是以12位元(例如,亮度範圍0到4095)來儲存,且輸出影像的亮度資訊是以16位元(例如,亮度範圍0到65535)來儲存。圖2的直方圖包含了亮度最低的染色背景210、亮度最高的未染色區域220及亮度比染色背景210稍高一點的染色細胞230。由於染色細胞230與染色背景210的亮度太接近,因此人眼無法辨識染色細胞230與染色背景210的色彩差異。
在一實施例中,處理器110可對輸入影像進行直方圖均衡化(Histogram Equalization)以產生輸出影像,如圖3所示。圖3繪示了對輸入影像進行直方圖均衡化而產生的輸出影像310及輸
出影像310的局部放大圖320。從局部放大圖320可見,染色細胞230與染色背景210的顏色分佈太過接近且輸出影像310又有大面積的未染色區域220,導致輸出影像310的影像亮度過高並產生大量雜訊。
在一實施例中,處理器110可對輸入影像進行直方圖均衡化及伽瑪校正(Gamma Correction)以產生輸出影像,如圖4所示。圖4繪示了對輸入影像進行直方圖均衡化及伽瑪校正而產生的輸出影像410及輸出影像410的局部放大圖420。從輸出影像410及局部放大圖420可看出,對輸入影像進行直方圖均衡化及伽瑪校正解決了亮度過高的問題並抑制部分雜訊,但細胞資訊仍然容易去失。
在一實施例中,處理器110可根據第一方程式對輸入影像的每個像素進行運算。α為輸出值且k為輸入值。運算結果如圖5所示。在圖5中繪示了橫軸的各輸入值透過上述方程式會對應到縱軸的0到1之間的輸出值。當輸入值過大則輸出值會趨近於1,且當輸入值過小則輸出值會趨近於0。利用第一方程式的數學特性可實現類似於使用兩個門檻值來過濾影像過亮及過暗部分的效果。
在一實施例中,處理器110可對輸入影像的每一像素進行細胞可視化操作。細胞可視化操作根據第二方程式y=來產生對應輸入影像的每一像素的輸出值。在第二方程式中,y為輸出值,c為對比度調整值,γ為亮度調整值,t為色彩分
佈中心,x為輸入值。第二方程式中「1-x/t」的「1」是為了確保不管t為多少,皆可滿足當x=t且γ=1時,輸出結果都會為0.5,也就是落在圖5縱軸的中心點。在一實施例中,色彩分佈中心為輸入影像直方圖中細胞分布的峰值位置(即,染色細胞230峰值的橫軸值)。在另一實施例中,色彩分佈中心是根據輸入影像的直方圖特徵,以機器學習或深度學習方法取得。在另一實施例中,色彩分佈中心也可根據經驗法則進行設定。色彩分佈中心越接近染色細胞230的多個輸入值的中間值可讓使用者更容易從輸出影像辨識細胞。值得注意的是,輸出值y會在0到1之間。在一實施例中,在計算出輸出值y之後,處理器110會將輸出值y轉換為範圍為0到65535的亮度值,再產生輸出影像。
處理器110透過第二方程式可同時過濾輸入影像的過亮區域(例如,未染色區域220)及過暗區域(例如,染色背景210),並透過色彩分佈中心t及對比度調整值c來保留並放大染色細胞230的重要資訊。此外,處理器110還可透過亮度調整值γ對輸出影像的整體亮度進行調整。
根據第二方程式產生的輸出影像如圖6所示。圖6繪示了對輸入影像進行細胞可視化操作而產生的輸出影像610及輸出影像610的局部放大圖620。在局部放大圖620中,細胞資訊630相較於圖4的細胞資訊430被較完整的保留。
圖7為根據本發明一實施例的影像正規化方法的流程圖。
請參照圖7,在步驟S701中,獲得輸入影像。
在步驟S702中,對輸入影像的每一像素進行細胞可視化操作,其中細胞可視化操作根據輸入影像的每一像素的輸入值、對應至少一細胞的色彩分佈中心、對比度調整值及亮度調整值產生輸入影像的每一像素的輸出值。
在步驟S703中,根據輸入影像的每一像素的輸出值產生輸出影像以顯示在顯示器上。
綜上所述,本發明的影像正規化方法及影像處理裝置可根據輸入影像的每一像素的輸入值、對應至少一細胞的色彩分佈中心、對比度調整值及亮度調整值進行細胞可視化操作以產生輸出影像,並將輸出影像顯示在顯示器上或是輸入AI模型、深度學習模型作為訓練資料或是輸入資料。透過上述細胞可視化操作,可過濾輸入影像過亮及過暗的區域,並且保留且放大細胞重要資訊,使得使用者更容易從輸出影像辨識細胞。
雖然本發明已以實施例揭露如上,然其並非用以限定本發明,任何所屬技術領域中具有通常知識者,在不脫離本發明的精神和範圍內,當可作些許的更動與潤飾,故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S701~S703:影像正規化方法的步驟
Claims (8)
- 如申請專利範圍第1項所述的影像正規化方法,其中該色彩分佈中心為該輸入影像直方圖中細胞分布的峰值位置。
- 如申請專利範圍第1項所述的影像正規化方法,其中該色彩分佈中心是根據該輸入影像的直方圖特徵,以機器學習或深度學習方法取得。
- 如申請專利範圍第1項所述的影像正規化方法,其中該輸出值在0到1之間。
- 如申請專利範圍第5項所述的影像處理裝置,其中該色彩分佈中心為該輸入影像直方圖中細胞分布的峰值位置。
- 如申請專利範圍第5項所述的影像處理裝置,其中該色彩分佈中心是根據該輸入影像的直方圖特徵,以一機器學習或深度學習方法取得。
- 如申請專利範圍第5項所述的影像處理裝置,其中該輸出值在0到1之間。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107141912A TWI687898B (zh) | 2018-11-23 | 2018-11-23 | 影像正規化方法及影像處理裝置 |
US16/285,242 US10755393B2 (en) | 2018-11-23 | 2019-02-26 | Image normalization method and image processing device |
EP19170153.1A EP3657432B1 (en) | 2018-11-23 | 2019-04-18 | Image normalization method and image processing device |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
TW107141912A TWI687898B (zh) | 2018-11-23 | 2018-11-23 | 影像正規化方法及影像處理裝置 |
Publications (2)
Publication Number | Publication Date |
---|---|
TWI687898B true TWI687898B (zh) | 2020-03-11 |
TW202020805A TW202020805A (zh) | 2020-06-01 |
Family
ID=66239845
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW107141912A TWI687898B (zh) | 2018-11-23 | 2018-11-23 | 影像正規化方法及影像處理裝置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US10755393B2 (zh) |
EP (1) | EP3657432B1 (zh) |
TW (1) | TWI687898B (zh) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2022201447A1 (ja) * | 2021-03-25 | 2022-09-29 | 株式会社日立ハイテク | 位置座標検出装置及び方法 |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050007364A1 (en) * | 2001-08-27 | 2005-01-13 | Yoshifumi Oyama | Method for sorting ununiformity of liquid crystal display panel sorting apparatus, and information recorded medium with recorded program for executing this sorting |
CN103020585A (zh) * | 2012-11-06 | 2013-04-03 | 华南师范大学 | 一种免疫组织阳性细胞和阴性细胞识别方法 |
CN104412097A (zh) * | 2012-04-27 | 2015-03-11 | 生物辐射实验室股份有限公司 | 无染色剂蛋白定量和标准化 |
TW201723466A (zh) * | 2015-05-20 | 2017-07-01 | 寬騰矽公司 | 用於螢光生命期分析之光源 |
TW201832181A (zh) * | 2017-02-15 | 2018-09-01 | 美商脫其泰有限責任公司 | 圖像分析系統及相關方法 |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050136509A1 (en) * | 2003-09-10 | 2005-06-23 | Bioimagene, Inc. | Method and system for quantitatively analyzing biological samples |
WO2005076197A2 (en) | 2004-01-31 | 2005-08-18 | Bioimagene, Inc. | Method and system for morphology based mitosis identification and classification of digital images |
SG139602A1 (en) | 2006-08-08 | 2008-02-29 | St Microelectronics Asia | Automatic contrast enhancement |
US20140233826A1 (en) * | 2011-09-27 | 2014-08-21 | Board Of Regents Of The University Of Texas System | Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images |
-
2018
- 2018-11-23 TW TW107141912A patent/TWI687898B/zh active
-
2019
- 2019-02-26 US US16/285,242 patent/US10755393B2/en active Active
- 2019-04-18 EP EP19170153.1A patent/EP3657432B1/en active Active
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050007364A1 (en) * | 2001-08-27 | 2005-01-13 | Yoshifumi Oyama | Method for sorting ununiformity of liquid crystal display panel sorting apparatus, and information recorded medium with recorded program for executing this sorting |
CN104412097A (zh) * | 2012-04-27 | 2015-03-11 | 生物辐射实验室股份有限公司 | 无染色剂蛋白定量和标准化 |
CN103020585A (zh) * | 2012-11-06 | 2013-04-03 | 华南师范大学 | 一种免疫组织阳性细胞和阴性细胞识别方法 |
TW201723466A (zh) * | 2015-05-20 | 2017-07-01 | 寬騰矽公司 | 用於螢光生命期分析之光源 |
TW201832181A (zh) * | 2017-02-15 | 2018-09-01 | 美商脫其泰有限責任公司 | 圖像分析系統及相關方法 |
Also Published As
Publication number | Publication date |
---|---|
EP3657432A1 (en) | 2020-05-27 |
US20200167902A1 (en) | 2020-05-28 |
EP3657432B1 (en) | 2021-07-28 |
TW202020805A (zh) | 2020-06-01 |
US10755393B2 (en) | 2020-08-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2019223069A1 (zh) | 基于直方图的虹膜图像增强方法、装置、设备及存储介质 | |
JP5544764B2 (ja) | 画像処理装置および方法、並びにプログラム | |
WO2019137038A1 (zh) | 注视点确定方法、对比度调节方法及对比度调节装置、虚拟现实设备及存储介质 | |
JP2011024067A (ja) | 画像処理装置および方法、並びにプログラム | |
JP6818463B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
CN111369523B (zh) | 显微图像中细胞堆叠的检测方法、系统、设备及介质 | |
CN105447825B (zh) | 图像去雾方法及其系统 | |
CN108742656A (zh) | 基于脸部特征点定位的疲劳状态检测方法 | |
CN111861937A (zh) | 一种基于msr改进的图像增强方法及系统 | |
TWI687898B (zh) | 影像正規化方法及影像處理裝置 | |
Feng et al. | Low-light image enhancement algorithm based on an atmospheric physical model | |
WO2019223066A1 (zh) | 虹膜图像全局增强方法、装置、设备及存储介质 | |
CN116630198A (zh) | 一种结合自适应伽马校正的多尺度融合水下图像增强方法 | |
CN111292287B (zh) | 图像正规化方法及图像处理装置 | |
Yang et al. | Blind image quality assessment on authentically distorted images with perceptual features | |
JP2023533018A (ja) | オブジェクトを描く画像フレームの自動露光を管理しながらオブジェクトを割り引くための装置、システムおよび方法 | |
Saberi et al. | Adaptive contrast enhancement of satellite images based on histogram and non-linear transfer function methods | |
Kumar et al. | Image Enhancement using NHSI Model Employed in Color Retinal Images | |
JP7372072B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラム、および画像検査システム | |
Hara et al. | Hdr image saliency estimation by convex optimization | |
CN116843582B (zh) | 基于深度学习的2cmos相机的去噪增强系统及方法 | |
CN117939307B (zh) | 一种适用于融合相机的自适应亮度调节方法 | |
Wang et al. | Perceptual Evaluation of Low-light Image Enhancement Algorithms | |
JP5093540B2 (ja) | 目の位置の検出方法および検出システム | |
Li et al. | Lightness constancy: from haze illusion to haze removal |