TWI831078B - 應用影像還原的光學系統及光學影像處理方法 - Google Patents

應用影像還原的光學系統及光學影像處理方法 Download PDF

Info

Publication number
TWI831078B
TWI831078B TW110141716A TW110141716A TWI831078B TW I831078 B TWI831078 B TW I831078B TW 110141716 A TW110141716 A TW 110141716A TW 110141716 A TW110141716 A TW 110141716A TW I831078 B TWI831078 B TW I831078B
Authority
TW
Taiwan
Prior art keywords
image
optical
diffraction signal
optical diffraction
features
Prior art date
Application number
TW110141716A
Other languages
English (en)
Other versions
TW202238610A (zh
Inventor
黃貞翰
戴君珊
林庭伊
Original Assignee
國立中央大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立中央大學 filed Critical 國立中央大學
Publication of TW202238610A publication Critical patent/TW202238610A/zh
Application granted granted Critical
Publication of TWI831078B publication Critical patent/TWI831078B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/693—Acquisition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/695—Preprocessing, e.g. image segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/40—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for data related to laboratory analysis, e.g. patient specimen analysis
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/80—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level
    • G06V10/806—Fusion, i.e. combining data from various sources at the sensor level, preprocessing level, feature extraction level or classification level of extracted features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Evolutionary Computation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Public Health (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Microscoopes, Condenser (AREA)
  • Apparatus Associated With Microorganisms And Enzymes (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)

Abstract

本發明揭示一種應用影像還原的光學系統，其包含一光源、一針孔、檢測平台、一影像感測器與一影像處理裝置。針孔設置於該光源的光傳遞路徑上，檢測平台設置於該光源的該光傳遞路徑上，且該針孔位於該光源與該檢測平台之間，該檢測平台用於放置一檢測樣品；影像感測器設置於檢測平台下方，且用感測檢測樣品以輸出光學繞射訊號。影像處理裝置電連接影像感測器，其用於對檢測樣品的光學繞射訊號進行訊號處理與光學訊號辨識以獲得檢測樣品的一清晰影像。

Description

應用影像還原的光學系統及光學影像處理方法
本發明係有關於一種光學系統及光學影像處理方法，特別是指一種應用深度學習影像還原的光學系統及光學影像處理方法。
光學顯微鏡在工程物理或生物醫學領域中扮演著相當重要的角色，藉由光學顯微鏡可觀察肉眼無法看到的表面結構、細胞或微生物等，在檢驗醫學方面，各大醫院在診斷疾病時也十分依賴光學成像技術，例如各種類型的癌症或傳染病，皆須由觀察活體組織切片或血液抹片來評估細胞狀態是否病變，但目前光學成像平台的複雜性和昂貴的成本使其在實際應用上有所限制，也必須由受過專業訓練的實驗室人員來操作，限制了光學成像平台的廣泛應用，尤其是偏遠和有限的地區。
深度學習為利用大量的資料對所架構之演算模型進行訓練從而萃取出資料特徵的一種學習方式，訓練數據集的資料量是訓練效果好壞的重要條件，如果訓練集的數據不足，即使訓練出來的網路模型能夠很精準地對訓練過的資料做預測，但在預測未知數據時可能遠低於預測訓練集時的準確率，這樣的情況稱之為過擬合(Overfitting)，尤其在生物醫學相關領域中要獲取龐大的資料集並不容易，為解決資料量不足的問題，資料擴增(Data Augmentation)就成為了解決此一問題的重要手段。
因此，存在一種需求，應用一般的無透鏡光學影像技術，並配合資料擴增，使其具有微型化顯微效果並可以大幅提升影像視野之功能，同樣可以達到光學顯微鏡的功效。
本發明的主要目的在提供一種無透鏡光學影像還原的系統和演算方法，具有微型化顯微系統與大幅提升影像視野之功能，並使用深度學習演算法進行影像重建，並可進行自動辨識功能。
根據上述的目的，本發明揭示一種應用影像還原的光學系統，其包含一光源、一針孔、檢測平台、一影像感測器與一影像處理裝置。針孔設置於該光源的光傳遞路徑上，檢測平台設置於該光源的該光傳遞路徑上，且該針孔位於該光源與該檢測平台之間，該檢測平台用於放置一檢測樣品；影像感測器設置於檢測平台下方，且用感測檢測樣品以輸出光學繞射訊號。影像處理裝置電連接影像感測器，其用於對檢測樣品的光學繞射訊號進行訊號處理與光學訊號辨識以獲得檢測樣品的一清晰影像。
本發明的另一目的在提供一種應用深度學習之影像還原技術的光學影像處理方法，可以在不需光學透鏡下藉由深度學習演算法進行影像重建，並可進行自動辨識功能。
根據上述的目的，本發明揭示一種應用影像還原的光學影像處理方法，包含：將檢測樣品的清晰影像與多個光學繞射訊號輸入光學影像系統之影像處理裝置進行影像重建與預測辨識；將需要檢驗之檢測樣品放在一檢測平台上，經由一光源調光與一針孔，通過一影像感測器感測檢測樣品的光學繞射訊號；通過一影像特徵提取模組提取檢測樣品的多個初始特徵，且通過一殘差網路模組，根據多個初始特徵，以提取檢測樣品之光學繞射訊號的多個影像特徵通過一影像重建模組，根據殘差網路模組所提取之光學繞射訊號的多個影像特徵進行上取樣，以還原檢測樣品之光學繞射訊號的原始解析度；通過一串接模組，將檢測樣品的多個影像特徵進行融合，以獲得清晰影像。
本發明的優點在於，經由本發明的無透鏡光學影像還原的系統和演算方法發明可以取代傳統昂貴的光學顯微鏡，於短時間可取得最終影像重建結果，且影像解析度與辨識度近似於光學顯微鏡的效果與較大的影像可見視野。
以下配合圖式及本發明較佳實施例，進一步闡述本發明為達成預定目的所採取的技術手段。
圖1為本發明的應用影像還原的光學系統的示意圖，如圖1所示，本發明應用影像還原的光學系統10主要包含一光源11、一針孔12、一檢測平台13、一影像感測器14與一影像處理裝置15。
光源11可以是發光二極體(Light Emitting Diode，LED)等，且所選用的光源11之波長可以進行更換，或可使用寬波長光源(例如白光等)，並在本發明的光學系統10中進一步設置一濾光鏡進行波長選擇，但在此並不侷限。針孔12設置於光源11的光傳遞路徑上，其為光學式針孔，針孔12的尺寸為微米等級，可使用微米針孔或光纖等方式建造。檢測平台13設置針孔12的下方，且位於通過針孔12之光傳遞路徑上，所需檢測的檢測樣品設置在檢測平台13上，檢測樣品可以是活體組織切片或血液抹片，但在此並不侷限。光源11傳遞光至針孔12以將光集中傳遞至檢測平台13，光通過放置在檢測平台13的檢測樣品，然後通過影像感測器14感測檢測樣品的影像。影像感測器14所感測之檢測樣品的影像為繞射圖片，其解析度與清晰度都不適用於醫療檢驗，因此，透過影像感測器14所獲得之檢測樣品的影像需要進一步的進行影像處理，使其影像的解析度與清晰度達到可以在醫學檢驗上使用。
舉例來說，本發明基於樣品目標物之型態、拍攝時角度差、光學繞射訊號重建等層面，選擇的資料擴增方式包括影像的平移、旋轉、翻轉。平移的方式為對影像以不超過輸入影像尺寸百分之十的範圍內實行上下左右隨機的水平移動，旋轉是由影像中心點以360度內的隨機角度對影像做旋轉，翻轉的部分則是將影像做左右或是上下的鏡像翻轉，而在深度學習影像重建模型實際訓練的演算流程上，會將輸入之光學繞射訊號以及該影像所對應之傳統顯微鏡下之影像於每個訓練週期皆以新的隨機參數對影像實行資料擴增，意及雖然每個訓練週期輸入的是相同的訓練資料集，但都會於每個訓練週期一開始對血球細胞影像重新進行資料的平移、旋轉以及翻轉，使得在對模型訓練上能夠更有效地使用現有的資料集，同時也大幅增強了模型的泛化能力，當以驗證集對模型做評估時即可發現，驗證集中模型對目標影像的重建效果僅略低於對訓練集的影像重建。
影像處理裝置15電連接影像感測器14，接收檢測樣品的影像，以進行檢測樣品之影像的影像處理與影像辨識。影像處理裝置15可以是一計算機裝置，例如一電腦或伺服器等，但在此並不侷限。影像處理裝置15具備機械學習機使用的監督式機械學習運算法，例如類神經網路學習(Artificial Neural Network)、卷積神經網路(Convolutional Neural Network)、轉置卷積(Transposed Convolution)、遮罩區域卷積神經網路(Mask Region-based Convolutional Neural Network, Mask R-CNN)、殘差神經網路(ResNet)、特徵金字塔網路(Feature Pyramid Network,FPN)、最鄰近插值(Nearest neighbor interpolation)、雙線性差值(Bi-Linear interpolation)、雙立方插值(Bi-Cubic interpolation)、邏輯式回歸(Logistic Regression)、k鄰近法(k Nearest Neighbor)、支持向量機(Support Vector Machine)、決策樹運算法(Decision Tree Induction Algorithm)、隨機森林運算法(Random Forest Algorithm)與/或貝氏決策法(Bayesian Classification Algorithms)等，但在此並不侷限。
另外，在此需要說明的是，在本發明中，影像處理裝置15所具備的深度學習技術中，先進行清晰影像的影像辨識。舉例來說，檢測樣品為血液抹片時，先將清晰影像輸入，讓影像處理裝置15辨識血液抹片中白血球或紅血球等影像特徵，然後再經由輸入大量本發明的影像感測器14感測的檢測樣品的影像資料，透過大量的影像資料進行影像辨識與影像處理，讓影像處理裝置15可以過濾影像感測器14所產生的影像資料中的雜訊與並強化影像資料中的特徵，最後獲得清晰影像。
如圖2所示，本發明之影像處理裝置15的主要目的是將記錄了強度的光學繞射訊號重建成顯微鏡下所觀測之成像，影像處理裝置15主要分為特徵提取 (下採樣 )以及影像重建 (上採樣 )兩大部分，在本發明的較佳實施例中，兩部分之特徵訓練採用卷積神經網路 (Convolutional Neural Network)，而影像處理裝置15是在影像輸入時，將特徵影像經過兩次的下採樣，形成三個平行演算子網路的初始特徵，目的是為了萃取出不同解析度下的影像(繞射訊號)特徵。然後，由三種不同解析度的影像以殘差神經網路 (ResNet)為骨幹平行的特徵提取，而後根據子網路萃取之解析度不同，進行不同次數逐步的上採樣，直至還原原輸入影像之解析度，最後將三個子網路所還原的特徵進行拼接並再經過一層卷積神經網路，從而獲得有如顯微鏡觀測之清晰影像。
於本發明中，透過編碼層對影像搜索不同尺度與有利的特徵，將輸入之影像進行一連串的卷積以及降維，整體架構包括利用卷積層對影像進行特徵搜索，並搭配激活層以利於深度學習模型學習複雜且非線性之輸出，於本模型中則採用了由卷積層構成之殘差神經網路的方式萃取影像特徵。解碼層是以對稱於編碼層的特徵維度，逐步地進行上採樣，還原為原輸入之維度，並輸出重建後之顯微影像。
進一步來說，本發明的影像處理裝置15包括一影像特徵提取模組151、一殘差網路模組152、一影像重建模組153與一串接模組154。影像特徵提取模組151主要用於提取檢測樣品的多個初始特徵，影像特徵提取模組151在深度學習領域中主要進行下取樣的影像處理步驟，殘差網路模組152連接影像特徵提取模組151，其用於根據多個初始特徵，以提取檢測樣品的影像的多個影像特徵。影像重建模組153連接殘差網路模組152，其根據殘差網路模組152所提取之影像的影像特徵進行上取樣，以還原檢測樣品之影像的原始解析度。串接模組154連接影像重建模組153，串接模組154可將檢測樣品的多個影像特徵進行融合，以獲得該清晰影像。
在影像特徵提取模組151中，光學繞射訊號輸入時先進行兩次的下採樣，用以獲得光學繞射訊號的三個平行運算子網路的初始特徵，目的是為了萃取出不同解析度下的影像(繞射圖)特徵，採用步伐為 2的卷積運算代替常見的池化層 (Pooling Layer)以降低特徵的損失。在殘差網路模組152中，進行特徵提取時，以殘差網路 (ResNet50)為骨幹分別對三個具有不同解析度之影像的子網路進行平行的特徵提取，將輸入之光學繞射訊號進行一連串的卷積運算和降維，由此搜索不同尺度下有利的特徵，整體架構 包含了卷積層、激活層以及相加層，分別先將光學繞射訊號經過卷積層搜索特徵，激活層將輸出的光學繞射訊號做線性整流轉換加以克服梯度消失的問題，最後在相加層將原輸入與經過非線性變換的輸出的光學繞射訊號做疊加，如此神經網路能夠對淺層網路的權重進行更有效的調整 使得梯度消失較不易發生。
在影像重建模組153中，根據子網路萃取之解析度不同以轉置卷積 (Transposed Convolution)的方式進行不同次數逐步的上採樣，直至還原原輸入影像之解析度， 在影像升維中常見的方法還有最鄰近插值 (Nearest neighbor interpolation)、雙線性差值 (Bi-Linear interpolation)、雙立方插值 (Bi-Cubic interpolation)等， 然而相較於這些方式，轉置卷積以卷積的概念利用神經網路學習更好的插值方式，提升了影像重建的精度。最後，在串接模組154中以拼接(concatenate)的方式將三個子網路所還原之特徵進行融合，有別於殘差網路中採用相加的方式在維度沒有變化的情況下融合多個特徵，拼接的方式保留了更多的維度信息，使得最後的卷積層能夠在不同解析度萃取出的特徵更自由地選擇重要的特徵，在影像重建上更有優勢。
舉例來說，依舊參閱圖2，殘差網路模組152從影像特徵提取模組151中接收輸入的血球細胞影像後，會經過多次的下採樣，依序產生出多個的特徵圖的影像，本發明所使用的下採樣方式是以殘差網路為骨幹，其中包含了卷積層、激活層、相加層，利用殘差網路跨層連接的特性，能夠有效的加深網路進行特徵搜索，同時保存演算過程中每次經過降維所獲得的各個尺度的特徵圖，有利於後續進行影像特徵的融合。影像重建模組153由殘差網路模組152所獲得最小尺度的特徵圖之影像經由卷積運算調整特徵圖深度得其影像，再由將該影像以最鄰近點差值(nearest neighbor upsampling)逐步進行上採樣，並在上採樣的同時分別對殘差網路模組152中所獲得的各個特徵圖之影像進行特徵融合，如此便能更有效地利用由殘差網路模組152在不同尺度下所萃取出的影像特徵資訊。
在進行特徵融合的過程中，為避免在影像重建模組153中進行上採樣運算時可能發生的混疊效應(aliasing effect)，即是將特徵圖進行上採樣而對像素填補時所造成的失真現象，在此對殘差網路模組152與影像重建模組153融合後的特徵圖做卷積運算便可大幅降低影像特徵的失真，從而得到多個特徵圖，並將最終特徵圖做一次最大池化(Max Pooling)，最大池化(Max Pooling)的意思是對某個影像過濾抽取到若干特徵值，只取得其中最大的那個池化層作為保留值，其他特徵值全部拋棄，值最大代表只保留這些特徵中最強的，拋棄其他弱的此類特徵，目的是獲得尺寸更小的特徵以便結合後續對影像中較大的目標物進行偵測定位。
串接模組154獲得最終的影像特徵圖後，會將獲得的影像特徵圖中每一個目標偵測物進行定位，並以方形之邊界框(Bounding Box)標記出目標偵測物在影像中的具體位置，在串接模組154中，不同解析度萃取出的特徵更自由地選擇重要的特徵，在影像重建上更有優勢。
圖3A為本發明影像感測器14所感測之光學繞射訊號的示意圖，圖3B為通過本發明影像處理裝置15處理後之清晰影像的示意圖，圖3C為光學顯微鏡的影像示意圖。由圖3A可以明顯看出影像感測器14所感測的光學繞射訊號31的影像清晰度不佳，且無法明顯看出白血球或紅血球，而由圖3B可以明顯看出，經過本發明的影像處理裝置15處理後的清晰影像32相較於光學繞射訊號31清晰許多，且其解析度與清晰度都近似於圖3C所示之由光學顯微鏡所產生的影像33。圖3D與圖3E為本發明影像處理裝置的輸入影像與處理過後的輸出影像的對照圖，由圖3D與圖3E可以明顯看出本發明之影像處理裝置15已將由本發明所拍攝之型態無法分辨的血液細胞及鼻咽癌細胞的光學繞射訊號影像重建為可清晰辨識如同顯微鏡拍攝之影像。並將本發明還原之驗證集影像輸入深度學習的模型，實現後續對血液細胞影像的分類、定位以及遮罩生成的任務。
通過本發明的應用影像還原的光學系統10，無需使用昂貴的光學顯微鏡，就可以獲得近似於光學顯微鏡所產生之影像的清晰效果。
圖4為本發明應用影像還原的光學影像處理方法的步驟流程圖。如圖4所示，在步驟S401中，將檢測樣品的清晰影像與多個光學繞射訊號輸入光學影像系統之影像處理裝置進行影像重建與預測辨識。為了讓本發明的影像處理裝置可以具備產生近似於光學顯微鏡所產生的清晰影像的效果，需要將影像處理裝置進行資料學習與模型訓練的過程，影像處理裝置在學習過程中，需要大量的影像資料，因此需要不同檢測樣品的清晰影像與通過本發明的影像感測器所收集的光學繞射訊號進行模型訓練，以提高辨識度。
在步驟S402中，將需要檢驗之檢測樣品放在檢測平台上，經由光源調光與針孔，通過影像感測器感測檢測樣品的光學繞射訊號。本發明利用純量繞射理論簡化了光學成像設備，不再需要龐大且複雜的光學元件，只需由非同調光、針孔和光學影像感測器組成，沒有了透鏡限制視場(Field of view, FOV)大小，可同時具備廣視場(與光學影像感測器面積一致)並達到微米尺度影像解析度，透過控制光源的空間相干性在傳感器上記錄光學繞射訊號，在不需光學透鏡下藉由機械學習演算法進行影像重建，並可進行自動辨識功能，經由本無透鏡光學影像還原的系統和演算方法發明，於短時間可取得最終影像重建結果。
在步驟S403中，通過一影像特徵提取模組提取檢測樣品的多個初始特徵，且通過一殘差網路模組，根據多個初始特徵，以提取檢測樣品之光學繞射訊號的多個影像特徵。在於步驟S404中，通過一影像重建模組，根據殘差網路模組所提取之光學繞射訊號的影像特徵進行上取樣，以還原檢測樣品之光學繞射訊號的原始解析度，最後，在步驟S405中，通過一串接模組，將檢測樣品的多個影像特徵進行融合，以獲得清晰影像。通過上述的影像處理與影像辨識，可以將初始的光學繞射訊號轉換成近似於光學顯微鏡所產生的清晰影像。
本發明提供一種無透鏡光學影像還原的系統和應用影像還原的光學影像處理方法，具有微型化光學顯微系統與大幅提升影像視野之功能，並使用機械學習演算法進行影像重建，並可進行自動辨識功能，在生醫檢測產業之應用上具有相當的前景及應用價值。
惟以上所述之實施方式，是為較佳之實施實例，當不能以此限定本發明實施範圍，若依本發明申請專利範圍及說明書內容所作之等效變化或修飾，皆應屬本發明下述之專利涵蓋範圍。
10:光學系統 11:光源 12:針孔 13:檢測平台 14:影像感測器 15:影像處理裝置 151:影像特徵提取模組 152:殘差網路模組 153:影像重建模組 154:串接模組 31:光學繞射訊號 32:清晰影像 33:影像 S401-S405:步驟
圖1為本發明的應用影像還原的光學系統的示意圖。 圖2為本發明的影像處理裝置的方塊圖。 圖3A為本發明影像感測器所感測之光學繞射訊號的示意圖。 圖3B為通過本發明影像處理裝置處理後之清晰影像的示意圖。 圖3C為光學顯微鏡的影像示意圖。 圖3D-圖3E為本發明影像處理裝置的輸入影像與處理後之輸出影像的對照圖。 圖4為本發明的應用影像還原的光學影像處理方法的流程圖。
10:光學系統
11:光源
12:針孔
13:檢測平台
14:影像感測器
15:影像處理裝置

Claims (7)

  1. 一種應用影像還原的光學系統，其包含一光源；一針孔，設置於該光源的光傳遞路徑上；一檢測平台，設置於該光源的該光傳遞路徑上，且該針孔位於該光源與該檢測平台之間，該檢測平台用於放置一檢測樣品；一影像感測器，設置於該檢測平台下方，且用感測該檢測樣品以輸出光學繞射訊號；以及一影像處理裝置，電連接該影像感測器，其用於對該檢測樣品的該光學繞射訊號進行訊號處理與光學訊號辨識以獲得該檢測樣品的一清晰影像，其中該光源為一發光二極體所構成的點光源，且該針孔為微米尺寸的光學針孔或光纖所構成。
  2. 如申請專利範圍第1項所述之光學系統，其中，該檢測樣品為一活體組織切片或一血液抹片。
  3. 如申請專利範圍第1項所述之光學系統，其中，該影像處理裝置包括：一影像特徵提取模組，其用於提取該檢測樣品之該光學繞射訊號的多個初始特徵；一殘差網路模組，連接該影像特徵提取模組，其用於根據該多個初始特徵，以提取該檢測樣品的該光學繞射訊號的多個影像特徵； 一影像重建模組，連接該殘差網路模組，其根據該殘差網路模組所提取的該影像的該影像特徵進行上取樣，以還原該檢測樣品之該光學繞射訊號的原始解析度；以及一串接模組，連接該影像重建模組，將該檢測樣品的該多個影像特徵進行融合，以獲得該清晰影像。
  4. 如申請專利範圍第3項所述之光學系統，其中，該影像特徵提取模組對該光學繞射訊號進行下取樣，且該殘差網路具備一卷積層、一激活層與一相加層。
  5. 如申請專利範圍第4項所述之光學系統，其中，該影像重建模組對該光學繞射訊號進行上取樣，以還原該光學繞射訊號的原解析度。
  6. 一種應用影像還原的光學影像處理方法，包含：將檢測樣品的清晰影像與多個光學繞射訊號輸入光學影像系統之影像處理裝置進行影像重建與預測辨識；將需要檢驗之檢測樣品放在一檢測平台上，經由一光源調光與一針孔，通過一影像感測器感測該檢測樣品以輸出該光學繞射訊號；通過一影像特徵提取模組提取該檢測樣品的多個初始特徵，且通過一殘差網路模組，根據多個初始特徵，以提取該檢測樣品之該光學繞射訊號的多個影像特徵；通過一影像重建模組，根據該殘差網路模組所提取之該光學繞射訊號的多個該影像特徵進行上取樣，以還原該檢測樣品之該光學繞射訊號的原始解析度；以及 通過一串接模組，將該檢測樣品的多個該影像特徵進行融合，以獲得清晰影像，其中該影像特徵提取模組對該光學繞射訊號進行下取樣，以獲得該光學繞射訊號之三個子網路的該初始特徵；以及該殘差網路模組包含了一卷積層、一激活層與一相加層，分別先將該光學繞射訊號經過該卷積層搜索特徵，該激活層將該光學繞射訊號輸出做線性整流轉換加以克服梯度消失的問題，最後在相加層將原輸入與經過非線性變換的該光學繞射訊號做疊加。
  7. 如申請專利範圍第6項所述之光學影像處理方法，其中，該光學影像處理方法應用卷積神經網路(Convolutional Neural Network)進行該光學繞射訊號的影像處理。
TW110141716A 2020-12-11 2021-11-09 應用影像還原的光學系統及光學影像處理方法 TWI831078B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US202063124220P 2020-12-11 2020-12-11
US63/124,220 2020-12-11

Publications (2)

Publication Number Publication Date
TW202238610A TW202238610A (zh) 2022-10-01
TWI831078B true TWI831078B (zh) 2024-02-01

Family

ID=81941596

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110141716A TWI831078B (zh) 2020-12-11 2021-11-09 應用影像還原的光學系統及光學影像處理方法

Country Status (3)

Country Link
US (1) US20220188981A1 (zh)
JP (1) JP7378164B2 (zh)
TW (1) TWI831078B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106683067A (zh) * 2017-01-20 2017-05-17 福建帝视信息科技有限公司 一种基于残差子图像的深度学习超分辨率重建方法
US20170220000A1 (en) * 2014-08-01 2017-08-03 The Regents Of The University Of California Device and method for iterative phase recovery based on pixel super-resolved on-chip holography
TWI608248B (zh) * 2012-06-05 2017-12-11 Nikon Corp Microscope device
TWI659227B (zh) * 2017-06-20 2019-05-11 Academia Sinica 以影像導引之顯微照射的顯微鏡系統及方法
US20200057411A1 (en) * 2016-11-04 2020-02-20 miDiagnostics NV System and method for reconstruction of holographic lens-free images by multi-depth sparse phase recovery

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5609611B2 (ja) * 2010-03-11 2014-10-22 株式会社リコー 分光特性取得装置、画像評価装置、及び画像形成装置
US10649189B2 (en) * 2010-04-19 2020-05-12 Witec Wissenschaftliche Instrumente Und Technologie Gmbh Device for imaging a sample surface
WO2013086527A1 (en) * 2011-12-09 2013-06-13 Massachusetts Institute Of Technology Systems and methods self-referenced quantitative phase microscopy
CN113259565B (zh) * 2012-11-28 2023-05-19 核心光电有限公司 多孔径成像系统
EP2818851B1 (en) * 2013-06-26 2023-07-26 Malvern Panalytical B.V. Diffraction Imaging
DE102014002514B4 (de) * 2014-02-21 2015-10-29 Universität Stuttgart Vorrichtung und Verfahren zur multi- oder hyperspektralen Bildgebung und / oder zur Distanz- und / oder 2-D oder 3-D Profilmessung eines Objekts mittels Spektrometrie
WO2015145428A1 (en) * 2014-03-24 2015-10-01 B. G. Negev Technologies And Applications Ltd., At Ben-Gurion University Optical sectioning using a phase pinhole
CN107683431B (zh) * 2015-06-02 2021-01-01 生命技术公司 用于使结构化照明成像系统中的样品台稳定的系统和方法
WO2016195925A1 (en) * 2015-06-02 2016-12-08 Life Technologies Corporation Systems and methods for an interchangeable illumination filter set for use in a structured illumination imaging system
WO2017204776A1 (en) * 2016-05-23 2017-11-30 Quostagni Research Llc Electronic device including processing circuitry for sensing images from spaced apart sub-arrays and related methods
US11514325B2 (en) * 2018-03-21 2022-11-29 The Regents Of The University Of California Method and system for phase recovery and holographic image reconstruction using a neural network
CN113711133A (zh) 2019-04-22 2021-11-26 加利福尼亚大学董事会 基于深度学习的彩色全息显微镜的系统和方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI608248B (zh) * 2012-06-05 2017-12-11 Nikon Corp Microscope device
US20170220000A1 (en) * 2014-08-01 2017-08-03 The Regents Of The University Of California Device and method for iterative phase recovery based on pixel super-resolved on-chip holography
US20200057411A1 (en) * 2016-11-04 2020-02-20 miDiagnostics NV System and method for reconstruction of holographic lens-free images by multi-depth sparse phase recovery
CN106683067A (zh) * 2017-01-20 2017-05-17 福建帝视信息科技有限公司 一种基于残差子图像的深度学习超分辨率重建方法
TWI659227B (zh) * 2017-06-20 2019-05-11 Academia Sinica 以影像導引之顯微照射的顯微鏡系統及方法

Also Published As

Publication number Publication date
JP2022093314A (ja) 2022-06-23
US20220188981A1 (en) 2022-06-16
JP7378164B2 (ja) 2023-11-13
TW202238610A (zh) 2022-10-01

Similar Documents

Publication Publication Date Title
Horstmeyer et al. Convolutional neural networks that teach microscopes how to image
AU2018313841B2 (en) Systems, devices, and methods for image processing to generate an image having predictive tagging
US9684960B2 (en) Automated histological diagnosis of bacterial infection using image analysis
Kang et al. Stainnet: a fast and robust stain normalization network
JP6915349B2 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
CN109884018B (zh) 一种基于神经网络的亚微米级无透镜显微成像方法及系统
CN114359283B (zh) 基于Transformer的缺陷检测方法和电子设备
CN112733950A (zh) 一种基于图像融合与目标检测结合的电力设备故障诊断方法
CN109690749A (zh) 用于图像融合的以卷积神经网络为基础的模式选择及缺陷分类
KR102122068B1 (ko) 이미지 분석 시스템 및 분석 방법
CN115220211B (zh) 基于深度学习和光场成像的显微成像系统及方法
CN111105415A (zh) 一种基于深度学习的白细胞大视场图像检测系统及方法
CN116612106A (zh) 一种基于yolox算法的光学元件表面缺陷检测方法
CN115131503A (zh) 一种虹膜三维识别的健康监测方法及其系统
CN116681885A (zh) 输变电设备红外图像目标识别方法及系统
CN116681979A (zh) 一种复杂环境下的电力设备目标检测方法
Ekambaram et al. Identification of defects in casting products by using a convolutional neural network
TWI831078B (zh) 應用影像還原的光學系統及光學影像處理方法
Sun et al. Double‐flow convolutional neural network for rapid large field of view Fourier ptychographic reconstruction
CN117372770A (zh) 基于光度立体和深度学习的pcb微小缺陷检测识别方法
Eder et al. Automated detection of macrophages in quantitative phase images by deep learning using a mask region-based convolutional neural network
Thomas et al. Digital holographic technique based breast cancer detection using transfer learning method
Liu et al. Robust virtual staining of landmark organelles
Meszmer et al. AI surrogate models for error analysis in optical systems
Zhao et al. Transformer-based reconstruction for Fourier ptychographic microscopy