TWI699816B - 自動化顯微鏡系統之控制方法、顯微鏡系統及電腦可讀取記錄媒體 - Google Patents

自動化顯微鏡系統之控制方法、顯微鏡系統及電腦可讀取記錄媒體 Download PDF

Info

Publication number
TWI699816B
TWI699816B TW107146020A TW107146020A TWI699816B TW I699816 B TWI699816 B TW I699816B TW 107146020 A TW107146020 A TW 107146020A TW 107146020 A TW107146020 A TW 107146020A TW I699816 B TWI699816 B TW I699816B
Authority
TW
Taiwan
Prior art keywords
neural network
microscope system
region
interest
magnification image
Prior art date
Application number
TW107146020A
Other languages
English (en)
Other versions
TW201929026A (zh
Inventor
葉肇元
Original Assignee
雲象科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 雲象科技股份有限公司 filed Critical 雲象科技股份有限公司
Publication of TW201929026A publication Critical patent/TW201929026A/zh
Application granted granted Critical
Publication of TWI699816B publication Critical patent/TWI699816B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N15/14—Optical investigation techniques, e.g. flow cytometry
    • G01N15/1429—Signal processing
    • G01N15/1433—Signal processing using image recognition
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B21/00—Microscopes
    • G02B21/36—Microscopes arranged for photographic purposes or projection purposes or digital imaging or video purposes including associated control and data processing arrangements
    • G02B21/365—Control or image processing arrangements for digital or video microscopes
    • G02B21/367—Control or image processing arrangements for digital or video microscopes providing an output produced by processing a plurality of individual source images, e.g. image tiling, montage, composite images, depth sectioning, image comparison
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00—Investigating characteristics of particles; Investigating permeability, pore-volume or surface-area of porous materials
    • G01N15/10—Investigating individual particles
    • G01N2015/1006—Investigating individual particles for cytology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10056—Microscopic image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Analytical Chemistry (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Optics & Photonics (AREA)
  • Pathology (AREA)
  • Signal Processing (AREA)
  • Immunology (AREA)
  • Biochemistry (AREA)
  • Dispersion Chemistry (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

本揭露揭露一種自動化顯微鏡系統之控制方法、顯微鏡系統及電腦可讀取記錄媒體。該方法透過經增強式學習演算法訓練的神經網路，以自動化以顯微鏡系統分析生物性樣本的過程，從而提高診斷效率。

Description

自動化顯微鏡系統之控制方法、顯微鏡系統及電腦可讀取記錄媒體
本揭露揭露一種自動化顯微鏡系統領域，尤其是一種關於自動化顯微鏡系統之控制方法、顯微鏡系統及電腦可讀取記錄媒體。
對於生物性樣本的分析是疾病診斷的重要一環。例如分析血液樣本、目標組織樣本之切片、組織液樣本等，以確認其中是否存在與疾病相關的特徵。為了促進生物性樣本的分析的效率，領域中已開始使用自動化顯微鏡系統來減少人為操作的時間。具體來說，這類自動化顯微鏡系統多可以提供自動對焦的功能，以利檢測員找尋適合進行分析的視野。
然而，隨著疾病檢測的普及及複雜化，當需要分析大量影像時，以人工的方式進行影像的檢測和分析，可能提高檢測錯誤和失誤的比例。傳統上提供自動對焦功能的自動化顯微鏡系統已無法滿足領域中的需求。因此，領域中需要一種可以找尋合適視野、主動分析、且自我學習的自動化顯微鏡系統。
本揭露的目的在於提供一種自動化顯微鏡系統之控制方法及電腦可讀取記錄媒體，該方法可以提高生物性樣本的分析效率。
本揭露的另一目的在於提供一種自動化顯微鏡系統，該系統可以避免人為操作所造成的錯誤與失誤。
為達到前揭目的，本揭露提供一種自動化顯微鏡系統之控制方法，包含以下步驟：以一裝置獲取一低倍率影像；將該低倍率影像輸入一第一神經網路以選取一感興趣區域；其中，該第一神經網路係經增強式學習訓練；將該感興趣區域放大以產生一高倍率影像；將該高倍率影像輸入一第二神經網路，以分析該高倍率影像是否包含一目標特徵，並產生和該目標特徵相關之一統計結果；以及依據該統計結果產生一回饋信號，並將該回饋信號送至該第一神經網路，以透過該增強式學習訓練該第一神經網路。
較佳地，該第一神經網路為一第一卷積神經網路或一全連結神經網路。
較佳地，將該低倍率影像輸入該第一神經網路以選取該感興趣區域的步驟更包含將該低倍率影像切割成複數區域。
較佳地，該第一神經網路係為該第一卷積神經網路；其中將該複數區域輸入該第一卷積神經網路以產生一機率分佈模型，其中該機率分佈模型代表該複數區域中任一為該感興趣區域的機率。
較佳地，當該第一神經網路在該複數區域中找到任一為該感興趣區域時，產生一正向回饋信號至該第一神經網路，以透過該增強式學習訓練該第一神經網路。
較佳地，當該第一神經網路在該複數區域中選擇任一為該感興趣區域時，每經過一特定時間產生一負向回饋信號至該第一神經網路，以透過該增強式學習訓練該第一神經網路。
較佳地，該第一神經網路進一步包含監督式學習演算法、非監督式學習演算法、模仿學演算法、或其組合。
較佳地，該方法更包含：判斷該統計結果是否符合一總體目標。較佳地，當該統計結果不符合該總體目標時，產生一負向回饋信號至該第一神經網路，以透過該增強式學習訓練該第一神經網路。
較佳地，當該高倍率影像不包含該目標特徵時，產生一負向回饋信號至該第一神經網路，以透過該增強式學習訓練該第一神經網路。
較佳地，該第二神經網路為一第二卷積神經網路或一全連結神經網路。
較佳地，該第二神經網路被配置為一實例語義分割模型或一影像分類模型，以分析該高倍率影像是否包含該目標特徵。
本揭露另提供一種顯微鏡系統，其特徵在於：包含一處理器，執行該自動化顯微鏡系統之控制方法。
本揭露再提供一種內儲程式之電腦可讀取記錄媒體，當電腦載入該程式後，可執行該自動化顯微鏡系統之控制方法。
S102:步驟
S104:步驟
S106:步驟
S108:步驟
S110:步驟
S112:步驟
S114:步驟
S116:步驟
200:自動化顯微鏡系統
202:光學單元
204:載物台
206:電子控制單元
208:儲存單元
210:處理器
參照下列圖式與說明，可更進一步理解本揭露。非限制性與非窮舉性實例系參照下列圖式而描述。在圖式中的構件並非必須為實際尺寸；重點在於說明結構及原理。
第一圖係依據本揭露之具體實施例之自動化顯微鏡系統之控制方法的流程圖。
第二圖係依據本揭露一實施例之顯微鏡系統的方塊圖。
本揭露關於自動化顯微鏡系統之控制方法、顯微鏡系統及電腦可讀取記錄媒體，其特點在於減少人為操作，並得以自動化學習及分析生物性樣本。
本揭露所稱「裝置」，是一種光學顯微鏡；尤指一種自動化顯微鏡系統。在一可行實施例中，該自動化顯微鏡系統包含光學單元，且該光學單元內包含多組不同放大倍率(例如5×，10×，20×，40×，100×)的物鏡。
顯微鏡的習慣操作方式是以低倍率的物鏡搜尋視野中感興趣區域，然後再轉換為高倍率的物鏡以進一步觀察細節。據此，本揭露所稱「低倍率影像」，是指以相對低的物鏡所取得的影像；而本揭露所稱「高倍率影像」，是指以放大倍率相對高的物鏡所取得的影像。在一具體實施態樣中，該低倍率影像是指以5×或10×的物鏡所獲取的影像。在一具體實施態樣中，該高倍率影像是指以20×、40×、100×或更高倍率的物鏡所獲取的影像。在一可行實施態樣中，該低倍率影像是相對於該高倍率影像而定，意即該低倍率影像的放大倍率低於該高倍率影像的放大倍率。
本揭露所稱「目標特徵」，是指與分析目標相關的特徵。在一具體實施態樣中，該目標特徵為特定細胞種類，例如骨髓細胞或癌細胞。在一較佳實施態樣中，該目標特徵是指與特定疾病或其病徵相關的特徵。
本揭露所稱「感興趣區域(region of interest)」，係指待分析之生物性樣本於該裝置的視野中，被判定與分析目標相關的區域。判定該感興趣區域的要素包含，但不限於：影像品質(例如：對焦品質及/或生物性樣本的染色品質)、目標特徵的存在與分布、或其組合。前述對焦品質可由多種方式決定，例如，計算影像經快速傅立葉轉換後(fast Fourier transform)特徵區間之平均強度或是計算高斯差(Laplacian of Gaussian values；LoG)。在一可行實施態樣中，該感興趣區域可視為一圖框，其具有良好的影像品質以及目標特徵。
本揭露所稱「總體目標(overall goal)」，係基於分析目的而定。舉例來說，在骨髓抹片的實施例中，分析目的是計算該抹片中的骨髓細胞類別分布。是以，可設定一定量之總體目標。例如，以計數達500個可成功分類之骨髓細胞做為總體目標。在淋巴結切片的實施例中，分析目的是辨識該切片之組織中 是否存在癌細胞。是以，可設定一定性之總體目標。例如，當於該切片中辨識出癌細胞時，即達成總體目標。
以下將參考本揭露之伴隨圖式詳細描述實施例。在該伴隨圖式中，相同及/或對應元件系以相同參考符號所表示。
第一圖係依據本揭露一實施例之自動化顯微鏡系統之控制方法的流程圖。雖然圖中顯示這些步驟具有順序性，但本揭露所屬領域中具有通常知識者應可瞭解，在其他實施例中，某些步驟可以交換或者同時執行。
在步驟S102，以裝置獲取一低倍率影像。該低倍率影像係以自動化顯微鏡系統的光學元件對一生物性樣本拍攝的影像。在一實施例中，該生物性樣本為一骨髓抹片。該骨髓抹片實施例的分析目的為檢測樣本中的骨髓細胞類別分布。因此，目標特徵為骨髓細胞，總體目標可設為對500個骨髓細胞成功進行分類。在另一實施例中，該生物性樣本為一淋巴結切片。該淋巴結切片實施例的分析目的為檢測淋巴結中是否存在癌細胞。因此，目標特徵為癌細胞，總體目標為癌細胞的存在與否。
在步驟S104，將該低倍率影像輸入第一神經網路以選取感興趣區域。該第一神經網路可為卷積神經網路(Convolutional Neural Network，CNN)或全連結神經網路(Fully Connected Neural Network，或稱Multi-layer perceptron)。於此實施例中，該第一神經網路為透過增強式學習(reinforcement learning scheme)所訓練之第一卷積神經網路。因此該第一神經網路可視為包含兩個部份：第一卷積神經網路以及增強式學習演算法。在本實施例中，先將該低倍率影像切割成複數個區域，每個區域都為候選之感興趣區域。基此，將該複數個區域輸入該第一卷積神經網路，並使其經增強式學習訓練而輸出一機率分佈模型。該機率分佈模型代表選擇到該複數區域中任一區域為該感興趣區域的機率。
該增強式學習演算法係自動於訓練資料(Training Data)中找出潛在的規則，並較佳地，透過一回饋機制訓練該第一神經網路。舉例來說，當該第一 神經網路取得一對焦品質良好的影像或具有目標特徵的影像時，將產生正向回饋信號。藉此透過增強式學習優化該第一神經網路的能力。此外，當該第一神經網路在該複數區域中選擇任一為該感興趣區域時，每經過特定時間即產生負向回饋信號至該第一神經網路。藉此，透過增強式學習可使該第一神經網路理解找尋感興趣區域的時間過長是不被鼓勵的。
在一可行實施態樣中，該第一神經網路另包含監督式學習演算法、非監督式學習演算法、模仿學演算法、或其組合。以監督式學習(Supervised Learning)演算法為例，將預先蒐集的骨髓抹片影像作為訓練資料。從訓練資料中擷取出資料的特徵(Features)幫助系統判讀出目標，再告訴該第一神經網路每一個樣本所對應到的答案。例如，在骨髓抹片的實施例中，骨髓細胞分佈太密集將不利後續辨識，骨髓細胞分佈太稀疏則會降低處理效率。因此，較佳地，感興趣區域應具有良好的影像品質及密度適中的骨髓細胞。經由人類專家把合適的區域標籤(Label)為1，一般樣本標籤為0。基此，隨著訓練資料量的累積，該第一神經網路即可學習辨識包含目標特徵的區域(感興趣區域)。此後，當一筆新影像資料輸入時，該第一神經網路即可辨識出該影像之該複數區域中任一屬於感興趣區域的機率。
在步驟S106，取得感興趣區域後，將該區域放大以取得高倍率影像。在本實施例中，該第一神經網路辨識出感興趣區域後，自動化顯微鏡系統會自動將感興趣區域移動到顯微鏡之視野的中心，並以高倍率的物鏡取得該感興趣區域的高倍率影像，藉此呈現該感興趣區域中的更多細節。
在步驟S108，將高倍率影像輸入第二神經網路以分析高倍率影像是否包含目標特徵，並產生和目標特徵相關之統計結果。該第二神經網路可為卷積神經網路或全連結神經網路。在本實施例中，第二神經網路包含第二卷積神經網路，其為實例語義分割(semantic segmentation)模型或影像分類模型，此類模型可辨識出影像中的個別物體及其輪廓及類別，因此被用以分析該高倍率影像是否包含該目標特徵。
在步驟S110，在骨髓抹片的實施例中，該第二神經網路經配置以辨識感興趣區域之高倍率影像中的骨髓細胞，計算其數量，並作成統計結果。如果該第二神經網路確實於該高倍率影像中計得骨髓細胞，則定義此感興趣區域所包含的圖框為一預期圖框，並將統計結果儲存。反之，若該第二神經網路未能於該高倍率影像中計得骨髓細胞，則定義此感興趣區域所包含的圖框非為一預期圖框，並進入步驟S114以產生一回饋訊號至該第一神經網路，以透過增強式學習訓練該第一神經網路。
在一較佳實施態樣中，依據統計結果產生回饋信號，並將回饋信號送至第一神經網路，以透過增強式學習訓練該第一神經網路。舉例來說，在骨髓抹片的實施例中，將總體目標定成高倍率影像含有500個骨髓細胞。當該高倍率影像中計得500個或以上的骨髓細胞，該第一神經網路會得到一個正向獎勵(positive reward)。反之，若選擇的感興趣區域放大後的高倍率影像少於500個骨髓細胞，該第一神經網路會得到一個較低的獎勵。更具體來說，在一可行實施態樣中，用於增強式學習演算法中的獎勵函數形式可為f(n)=min(n/500,1)，其中n為高倍率影像中包含的骨髓細胞數量。此時該獎勵由影像中的骨髓細胞數目決定，最高為1即代表高倍率影像中至少有500個骨髓細胞，最低為0即代表高倍率影像中沒有任何骨髓細胞。增透過將獎勵最大化(等價於選出至少包含500個骨髓細胞的區域)，以訓練該第一神經網路學習達成總體目標。
在淋巴結切片的實施例中，該第二神經網路經配置以辨識感興趣區域之高倍率影像中的濾泡結構與癌細胞。如果該第二神經網路確實於該高倍率影像中辨識出濾泡結構，則定義此感興趣區域所包含的圖框為一預期圖框，並將統計結果儲存。反之，若該第二神經網路未能於該高倍率影像中辨識出濾泡結構，則定義此感興趣區域所包含的圖框非為一預期圖框，並進入步驟S114以產生一回饋訊號至該第一神經網路，以透過增強式學習訓練該第一神經網路。
在步驟S112，判斷統計結果是否符合總體目標，其中總體目標取決於分析目的。當統計結果符合總體目標時，進入步驟S116。在骨髓抹片的實施例 中，每一感興趣區域之高倍率影像中所計得的骨髓細胞數量經累計計算達到總體目標(例如，500個骨髓細胞)時，進入步驟S116以輸出統計結果。在淋巴結切片的實施例中，當發現高倍率影像中存在癌細胞時，即符合總體目標，進入步驟S116以輸出統計結果。反之，當統計結果不符合總體目標時，則進入步驟S114，透過回饋信號以使第一神經網路學習如何達成總體目標。
第二圖係依據本揭露一實施例之顯微鏡系統的方塊圖。在本實施例中，顯微鏡系統為自動化顯微鏡系統200，其包含：光學單元202、載物台204、電子控制單元206、儲存單元208以及處理器210。
該光學單元202由物鏡(objective lenses)、中繼光學模組(relay optics)、三目鏡(trinocular)和數位相機組成，物鏡用於放大生物性樣本的影像。在一具體實例中，該光學單元具有不同放大倍數(例如5×，10×，20×，40×，100×)的多個物鏡，其安裝在電動前輪上。放大後的影像通過中繼光學模組到達三目鏡，三目鏡將入射光分為三路，其中兩個用於人眼，另一個用於數位相機。數位相機用以取得樣本的影像。
載物台204用以放置生物性樣本的載玻片。該載物台204可在x，y和z方向上移動。沿x，y方向的移動是改變觀察生物性樣本的視野，而沿z方向的移動是將執行對生物性樣本的對焦。
電子控制單元206用以根據處理器210的輸出控制載物台204的移動或者光學單元202之動作(例如，轉動電動前輪以替換不同倍率的物鏡)。儲存單元208用以儲存光學單元202取得之影像以及一個或多個演算法及/或預定規則。此一個或多個演算法和預定規則可用以使處理器210執行如第一圖所述之自動化顯微鏡系統之控制方法。為了能順利執行如第一圖所述之自動化顯微鏡系統之控制方法，儲存單元208還儲存了第一神經網路以及第二神經網路(未圖示)。
處理器210係被設置以基於一或多個演算法及預定規則執行自動化步驟。舉例來說，影像處理的流程可包括獲取影像、影像內容的分析、及/或據以產生相關的統計結果。透過處理器210，該一或多個演算法及預定規則可協助該自動化顯微鏡系統辨識及獲取影像，以供診斷。舉例來說，本揭露中所提到的增強式學習演算法可被設置以決定一優化動作，如為了獲得最高的回饋，該演算法可設定載物台移動或物鏡更換的策略以取得最佳的對焦平面。
在一具體實施例中，處理器210經由電子控制單元206控制光學單元202的動作，以利用低倍率的物鏡拍攝並取得生物性樣本的低倍率影像。於接收光學單元202產生的低倍率影像後，處理器210將低倍率影像輸入第一神經網路以選取感興趣區域。一旦發現感興趣的區域，處理器210將經由電子控制單元206控制載物台204，將感興趣區域移動至視野的中心，並透過高倍率的物鏡取得感興趣區域放大後之高倍率影像。此高倍率影像將顯示待分析之生物性樣本的更多細節。
接著，處理器210將該高倍率影像輸入第二神經網路以分析該高倍率影像是否包含目標特徵，並產生和該目標特徵相關之統計結果。最後，處理器210依據該統計結果產生回饋信號並送至第一神經網路，以使第一神經網路學習如何達成總體目標。
另外，在本揭露的另一個面向中，如上所述之如第一圖所述之自動化顯微鏡系統之控制方法，其不同面向可於軟體中具體呈現並可以理解成產品之概念，其形式通常為載於一種電腦可讀取記錄媒體上，或於一種電腦可讀取媒體上中具體呈現之可執行程式碼及/或相關資料。電腦可讀取媒體包含任何或所有類型之記憶體、任何或所有其他供電腦、處理器或其他類似裝置使用之儲存裝置，或與電腦、處理器等裝置相關之模組，例如各種半導體記憶體、磁帶儲存裝置、硬碟及其他可隨時儲存軟體之類似裝置。
該程式所有部分或其中一部分，可隨時透過網路通訊，如網際網路或其他各種電信網路，舉例而言，此種通訊可使該程式由電腦或處理器被載入至 另一電腦或處理器，例如由裝置被載入至電腦環境之硬體平台，或載入至實施電腦環境或與分散式機器學習技術相關的類似功能之其他系統中。因此，載有該軟體之另一類型媒體，即包含光波、電波及電磁波，可透過電線或光纖固網及各式經空氣傳輸橫跨各實體介面，於不同本地裝置之間使用。載有前述電子波之實體元件，如有線或無線網路、光纖網路或其他類似之網路，亦可被視為載有該程式之媒體。本揭露所使用之電腦可讀取記錄媒體等詞彙，除非限定指稱有形儲存媒體，否則即指任何涉入給予處理器執行指示之媒體。
另外，電腦可讀取記錄媒體之傳統常見形式如下：磁片、軟碟、硬碟、磁帶、任何其他磁性媒體、CD-ROM、DVD或DVD-ROM、任何其他光學媒體、穿孔紙卡帶、任何其他具孔洞之實體儲存媒體、RAM、PROM及EPROM、FLASH-EPROM、任何其他記憶晶片或卡匣、一載有資料或指令之載波、載有此載波之纜線或網路，或任何其他供電腦讀取程式碼及/或資料之媒體。
所屬技術領域技術人員將會認可本教示具調整彈性，可施以各種修改及/或強化。舉例而言，儘管上述設置各種系統元件之方式可於硬體裝置中實施，亦可限定僅以軟體方式實施，或者於既有伺服器上安裝。另外，本揭露揭露之自動化顯微鏡系統之控制方法可採用韌體、韌體/軟體組合、韌體/硬體組合或硬體/韌體/軟體組合實施。
S102‧‧‧步驟
S104‧‧‧步驟
S106‧‧‧步驟
S108‧‧‧步驟
S110‧‧‧步驟
S112‧‧‧步驟
S114‧‧‧步驟
S116‧‧‧步驟

Claims (11)

  1. 一種自動化顯微鏡系統之控制方法，包含以下步驟：以一裝置獲取一低倍率影像；將該低倍率影像輸入一第一神經網路以根據一機率分佈模型選取一感興趣區域；其中，該第一神經網路係經增強式學習訓練；將該感興趣區域放大以產生一高倍率影像；將該高倍率影像輸入一第二神經網路，以分析該高倍率影像是否包含一目標特徵，並產生和該目標特徵相關之一統計結果；以及依據該統計結果產生一回饋信號，並將該回饋信號送至該第一神經網路，以透過該增強式學習訓練該第一神經網路；其中將該低倍率影像輸入該第一神經網路以選取該感興趣區域的步驟更包含將該低倍率影像切割成複數區域；其中該第一神經網路係為一第一卷積神經網路或一第一全連結神經網路；其中將該複數區域輸入該第一卷積神經網路或該第一全連結神經網路以產生該機率分佈模型，其中該機率分佈模型代表該複數區域中任一為該感興趣區域的機率；其中第二神經網路被配置為一實例語義分割模型或一影像分類模型，以分析該高倍率影像是否包含該目標特徵。
  2. 如請求項1所述之自動化顯微鏡系統之控制方法，其中當該第一神經網路在該複數區域中找到任一為該感興趣區域時，產生一正向回饋信號至該第一神經網路，以透過該增強式學習訓練該第一神經網路。
  3. 如請求項1所述之自動化顯微鏡系統之控制方法，其中當該第一神經網路在該複數區域中選擇任一為該感興趣區域時，每經過一特定時間產生一負向回饋信號至該第一神經網路，以透過該增強式學習訓練該第一神經網路。
  4. 如請求項1所述之自動化顯微鏡系統之控制方法，其中該第一神經網路進一步經監督式學習演算法、非監督式學習演算法、模仿學演算法、或其組合訓練。
  5. 如請求項1所述之自動化顯微鏡系統之控制方法，其中更包含：判斷該統計結果是否符合一總體目標。
  6. 如請求項5所述之自動化顯微鏡系統之控制方法，其中當該統計結果不符合該總體目標時，產生一負向回饋信號至該第一神經網路，以透過該增強式學習訓練該第一神經網路。
  7. 如請求項1所述之自動化顯微鏡系統之控制方法，其中當該高倍率影像不包含該目標特徵時，產生一負向回饋信號至該第一神經網路，以透過該增強式學習訓練該第一神經網路。
  8. 如請求項1所述之自動化顯微鏡系統之控制方法，其中該第二神經網路為一第二卷積神經網路或一全連結神經網路。
  9. 一種顯微鏡系統，其特徵在於：包含一處理器，執行如請求項1至8項中任一項所述之自動化顯微鏡系統之控制方法。
  10. 如請求項9所述之顯微鏡系統，其進一步包含光學單元、載物台、電子控制單元、儲存單元、或其組合。
  11. 一種內儲程式之電腦可讀取記錄媒體，當電腦載入該程式後，可執行如請求項1至10項中任一項所述之自動化顯微鏡系統之控制方法。
TW107146020A 2017-12-26 2018-12-20 自動化顯微鏡系統之控制方法、顯微鏡系統及電腦可讀取記錄媒體 TWI699816B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762610491P 2017-12-26 2017-12-26
US62/610,491 2017-12-26

Publications (2)

Publication Number Publication Date
TW201929026A TW201929026A (zh) 2019-07-16
TWI699816B true TWI699816B (zh) 2020-07-21

Family

ID=67063178

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107146020A TWI699816B (zh) 2017-12-26 2018-12-20 自動化顯微鏡系統之控制方法、顯微鏡系統及電腦可讀取記錄媒體

Country Status (5)

Country Link
US (1) US11287634B2 (zh)
EP (1) EP3734515A4 (zh)
JP (1) JP7277886B2 (zh)
TW (1) TWI699816B (zh)
WO (1) WO2019128971A1 (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108776834B (zh) * 2018-05-07 2021-08-06 上海商汤智能科技有限公司 系统增强学习方法和装置、电子设备、计算机存储介质
JP7181001B2 (ja) * 2018-05-24 2022-11-30 日本電子株式会社 生物組織画像処理システム及び機械学習方法
DE102018217901A1 (de) * 2018-10-18 2020-04-23 Leica Microsystems Cms Gmbh Optimierung von Arbeitsabläufen von Mikroskopen
US11232561B2 (en) 2019-01-22 2022-01-25 Applied Materials, Inc. Capture and storage of magnified images
US11614511B2 (en) * 2020-09-17 2023-03-28 Infineon Technologies Ag Radar interference mitigation
US12094080B2 (en) * 2022-09-13 2024-09-17 Shanghai United Imaging Intelligence Co., Ltd. System and method for magnifying an image based on trained neural networks
WO2024117934A1 (ru) * 2022-11-29 2024-06-06 Общество с ограниченной ответственностью "Медика Продакт" Способ оцифровки биологического препарата костного мозга с использованием нейронных сетей
DE102023109109A1 (de) 2023-04-11 2024-10-17 Abberior Instruments Gmbh Lichtmikroskopisches verfahren, vorrichtung und computerprogrammprodukt
DE102023109107A1 (de) 2023-04-11 2024-10-17 Abberior Instruments Gmbh Lichtmikroskopisches verfahren, vorrichtung und computerprogrammprodukt

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200538734A (en) * 2004-03-12 2005-12-01 Aureon Biosciences Corp Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
TW200616588A (en) * 2004-08-11 2006-06-01 Aureon Biosciences Corp Systems and methods for automated diagnosis and grading of tissue images
JP2014098724A (ja) * 2008-09-13 2014-05-29 Japan Science & Technology Agency 顕微鏡装置及びそれを用いた蛍光観察方法
CN104846054A (zh) * 2015-05-22 2015-08-19 电子科技大学 一种基于形态学特征的白带中霉菌的自动检测方法
CN106030608A (zh) * 2013-11-06 2016-10-12 理海大学 生物组织分析诊断系统与方法
US20170249548A1 (en) * 2016-02-26 2017-08-31 Google Inc. Processing cell images using neural networks

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4965725B1 (en) * 1988-04-08 1996-05-07 Neuromedical Systems Inc Neural network based automated cytological specimen classification system and method
DE19616997A1 (de) 1996-04-27 1997-10-30 Boehringer Mannheim Gmbh Verfahren zur automatisierten mikroskopunterstützten Untersuchung von Gewebeproben oder Körperflüssigkeitsproben
WO2014093838A2 (en) * 2012-12-14 2014-06-19 The J. David Gladstone Institutes Automated robotic microscopy systems
JP6416887B2 (ja) * 2013-05-15 2018-10-31 ジ アドミニストレーターズ オブ ザ テュレーン エデュケーショナル ファンド 構造化照明を用いた組織試料の顕微鏡観察
EP3552389A4 (en) * 2016-11-11 2021-07-28 University of South Florida AUTOMATED STEREOLOGY FOR DETERMINING FABRIC CHARACTERISTICS
EP3552148A4 (en) * 2016-12-06 2020-07-08 Abbott Laboratories AUTOMATED SLIDE ASSESSMENT AND TRACKING IN DIGITAL MICROSCOPY
DE102017111718A1 (de) * 2017-05-30 2018-12-06 Carl Zeiss Microscopy Gmbh Verfahren zur Erzeugung und Analyse eines Übersichtskontrastbildes
CN107369160B (zh) * 2017-06-28 2020-04-03 苏州比格威医疗科技有限公司 一种oct图像中脉络膜新生血管分割算法

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200538734A (en) * 2004-03-12 2005-12-01 Aureon Biosciences Corp Systems and methods for treating, diagnosing and predicting the occurrence of a medical condition
TW200616588A (en) * 2004-08-11 2006-06-01 Aureon Biosciences Corp Systems and methods for automated diagnosis and grading of tissue images
JP2014098724A (ja) * 2008-09-13 2014-05-29 Japan Science & Technology Agency 顕微鏡装置及びそれを用いた蛍光観察方法
CN106030608A (zh) * 2013-11-06 2016-10-12 理海大学 生物组织分析诊断系统与方法
CN104846054A (zh) * 2015-05-22 2015-08-19 电子科技大学 一种基于形态学特征的白带中霉菌的自动检测方法
US20170249548A1 (en) * 2016-02-26 2017-08-31 Google Inc. Processing cell images using neural networks

Also Published As

Publication number Publication date
EP3734515A4 (en) 2021-10-13
WO2019128971A1 (zh) 2019-07-04
JP7277886B2 (ja) 2023-05-19
TW201929026A (zh) 2019-07-16
US11287634B2 (en) 2022-03-29
EP3734515A1 (en) 2020-11-04
JP2021508127A (ja) 2021-02-25
US20200326526A1 (en) 2020-10-15

Similar Documents

Publication Publication Date Title
TWI699816B (zh) 自動化顯微鏡系統之控制方法、顯微鏡系統及電腦可讀取記錄媒體
US20230127698A1 (en) Automated stereology for determining tissue characteristics
Xu et al. FFU‐Net: Feature Fusion U‐Net for Lesion Segmentation of Diabetic Retinopathy
CN109242864B (zh) 基于多分支网络的图像分割结果质量评价方法
KR102122068B1 (ko) 이미지 분석 시스템 및 분석 방법
CN106897738A (zh) 一种基于半监督学习的行人检测方法
CN112819821B (zh) 一种细胞核图像检测方法
JP2011158373A (ja) 自動欠陥分類のための教師データ作成方法、自動欠陥分類方法および自動欠陥分類装置
US11694327B2 (en) Cross layer common-unique analysis for nuisance filtering
KR102313215B1 (ko) 특징 생성 기술을 이용한 머신러닝 기반 결함 분류 장치 및 방법
CN110262919A (zh) 异常数据分析方法、装置、设备与计算机可读存储介质
US20220058369A1 (en) Automated stereology for determining tissue characteristics
WO2017145172A1 (en) System and method for extraction and analysis of samples under a microscope
CN114254146A (zh) 图像数据的分类方法、装置和系统
CN106682604B (zh) 一种基于深度学习的模糊图像检测方法
WO2023283321A1 (en) Stain-free detection of embryo polarization using deep learning
Li et al. An automatic plant leaf stoma detection method based on YOLOv5
Andrade et al. A study of deep learning approaches for classification and detection chromosomes in metaphase images
CN111684279B (zh) 一种细胞分析方法、细胞分析装置及存储介质
Prasad et al. Deep U_ClusterNet: automatic deep clustering based segmentation and robust cell size determination in white blood cell
Muhammad et al. Classification of Red Blood Cell Abnormality in Thin Blood Smear Images using Convolutional Neural Networks
US20220012531A1 (en) Method for configuring an image evaluation device and also image evaluation method and image evaluation device
Dave A Multiple Input Multiple Output Framework for the Automatic OpticalFractionator-Based Cell Counting in Z-Stacks Using Deep Learning
US20240037967A1 (en) Blood analyser with out-of-focus image plane analysis and related methods
Bogale et al. Intelligent Malaria Detection and Species Classification: A Case of Rwanda