TWI765262B - 根據仿真分離重疊染色體之分離模型的訓練方法及利用該分離模型分離重疊染色體的方法及系統 - Google Patents

根據仿真分離重疊染色體之分離模型的訓練方法及利用該分離模型分離重疊染色體的方法及系統 Download PDF

Info

Publication number
TWI765262B
TWI765262B TW109115598A TW109115598A TWI765262B TW I765262 B TWI765262 B TW I765262B TW 109115598 A TW109115598 A TW 109115598A TW 109115598 A TW109115598 A TW 109115598A TW I765262 B TWI765262 B TW I765262B
Authority
TW
Taiwan
Prior art keywords
image
objects
chromosome
chromosomal
identification model
Prior art date
Application number
TW109115598A
Other languages
English (en)
Other versions
TW202115675A (zh
Inventor
煜 朱
蔡輔仁
廖英凱
黃宗祺
Original Assignee
長佳智能股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 長佳智能股份有限公司 filed Critical 長佳智能股份有限公司
Publication of TW202115675A publication Critical patent/TW202115675A/zh
Application granted granted Critical
Publication of TWI765262B publication Critical patent/TWI765262B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G06F18/23211—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions with adaptive number of clusters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/60—Rotation of whole images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G06V10/763—Non-hierarchical techniques, e.g. based on statistics of modelling distributions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Quality & Reliability (AREA)
  • Image Analysis (AREA)

Abstract

一種用於訓練一染色體辨識模型的訓練方法，包括：辨識一核形圖像上的多個物件，獲得對應每一染色體物件的一遮罩與一最小邊界框，及獲得一包含一組已組織化的染色體物件的組織化圖像；生成一包含被隨機重組的該等染色體物件的模擬中期圖像；檢測該模擬中期圖像中的該等染色體物件，獲得一包含彼此分離的該等染色體物件的重新校準圖像，從而訓練該用以辨識一圖像中的多個染色體物件的一特徵的染色體辨識模型。

Description

根據仿真分離重疊染色體之分離模型的訓練方法及利用該分離模型分離重疊染色體的方法及系統
本公開涉及一種根據仿真分離重疊染色體之分離模型的訓練方法，以及使用該分離模型模擬分離重疊染色體的方法和系統。
染色體異常測試通常被用以篩檢特定的遺傳疾病(用在高齡孕婦身上)或是篩檢歸因於特定疾病的突變細胞(例如，白血病、淋巴瘤等等)。
依照慣例，染色體異常檢測係藉由以下步驟來執行，從一對象(例如，一患者，一檢測者等等)身上提取特定細胞，使用特定激素致使該等細胞進入一中期，提取該等細胞中的多個染色體以獲得該等提取出之染色體的一圖像(如圖1所示)，及手動重新校準該等提取出之染色體以獲得該等提取之染色體之核型的一圖像(如圖2所示)。之後一專家讀取該核型以判斷在該等染色體中的一或多個部分中是否存在異常(例如，單倍體/多倍體、環、缺失、易位、倒位等等)。根據該核型之讀取，可以判斷該對象對特定遺傳疾病的存在及/或風險，並且可以提出相對應的建議及/或治療。
染色體異常是導致癌症的主要原因。透過讀取該核型，提供給對象的預後有更多合適的選擇。此外，藉由讀取該核型，可以判斷一患者是否已經從一癌症的類型中完全恢復(例如，透過判斷與該癌症之類型相關的一特定染色體是否仍存在於該核型中)。
值得注意的是，雖然染色體核型分析相較於其他技術，例如基因組測序，能以更直接的方式被進行，但是讀取核型的人工操作可能很耗時，並且依賴於該專家的個人經驗。
本公開的一個目的是提供一種訓練染色體辨識模型的方法，該方法用於根據仿真分離重疊的染色體。
根據本發明的一個實施例，該方法包括以下步驟：
建構包含一自動標記單元、一隨機生成單元、一檢測單元及一重新校準單元的該染色體辨識模型；
(A)獲得至少一相關於一參考對象的核型圖像；
(B)控制該自動標記單元對該至少一核型圖像進行一自動標記處理，該自動標記處理包括：
執行一圖像預處理以辨識該至少一核型圖像上作為多個染色體物件的多個物件，
對該至少一核型圖像進行非監督式聚類以獲得對應每一染色體物件的一遮罩與一最小邊界框，及
分類和組織該等染色體物件以獲得一包含一組已組織化的染色體物件的組織化圖像；
(C)控制該隨機生成單元，根據該組織化圖像的該等染色體物件，利用該組織化圖像進行一隨機生成過程以生成一包含被隨機重組的該等染色體物件的模擬中期圖像；
(D)控制該檢測單元進行一物件檢測以檢測該模擬中期圖像中的該等染色體物件；
(E)控制該重新校準單元對該模擬中期圖像進行重新校準以獲得一重新校準圖像，其中在該重新校準圖像中該等染色體物件彼此分離；及
(F)重複該步驟(C)至該步驟(E)，以訓練該染色體辨識模型，該染色體辨識模型用於辨識一輸入至該染色體辨識模型且包括一染色體資料的圖像中的該等染色體物件的特徵，並對該等染色體物件進行分類以獲得作為該染色體辨識模型之輸出的該組織化圖像。
本公開的另一目的是提供一種能夠實現上述方法的系統。
根據本公開的一個實施例，該系統包含一處理器及一用以儲存該染色體辨識模型的非暫態機器可讀取媒體。該染色體辨識模型包括一自動標記單元、一隨機生成單元、一檢測單元及一重新校準單元。
其中，該處理器用以載入用於訓練的該染色體辨識模型，以及回應一核型圖像作為該染色體辨識模型的輸入，該訓練包括：
該自動標記單元對該至少一核型圖像進行一自動標記處理，該自動標記處理包括：
執行一圖像處理操作以辨識該至少一核型圖像上作為多個染色體物件的多個物件，
對該核型圖像進行一非監督式聚類以獲得對應每一染色體物件的一遮罩與一最小邊界框，及
分類和組織該等染色體物件以獲得一包含一組已組織化的染色體物件的組織化圖像，
該重新校準單元對該模擬中期圖像進行重新校準，以獲得該等染色體物件彼此分離的一重新校準圖像；
該重新校準單元對該模擬中期圖像進行重新校準，以獲得該等染色體物件彼此分離的一重新校準圖像；
在該訓練後，該處理器被配置為將該染色體辨識模型儲存在該非暫態機器可讀取媒體中。
本公開的又一目的是提供一種用於染色體辨識的方法。
根據本公開的一個實施例，該方法包括以下步驟：
載入如上所述的一染色體辨識模型；及
採用一包含相關於一參考對象之染色體資料的圖像作為該染色體辨識模型的輸入，該染色體資料包括多個染色體物件。
該染色體辨識模型被配置為辨識該圖像中該等染色體物件的多個特徵，並對該等染色體物件進行分類以獲得一作為輸出的組織化圖像。
在更詳細描述本公開之前，應當注意在以下的說明內容中，類似的元件是以相同的編號來表示。
圖3是一流程圖，說明本發明之用於產生一用於模擬重疊染色體之分離的分離模型之方法的步驟的一實施例。
在該實施例中，該方法可藉由一計算機設備來實施。圖4是一方塊圖，說明本發明之用於實施圖3的方法的一示例性計算機設備400的一實施例。在該實施例中，該計算機設備400包括一處理器402、一顯示器404、一通訊元件406、一儲存媒體408，及一圖像擷取元件410。
該處理器402可包含但不限於一單核處理器、一多核處理器、一雙核行動處理器、一微處理器、一微控制器、一數位訊號處理器(DSP)、一現場可程式化邏輯閘陣列(FPGA)、一特殊應用積體電路(ASIC)、一射頻積體電路(RFIC)等等。
該顯示器404電連接至該處理器402，並由該處理器402控制以顯示一圖像。
該通訊元件406電連接至該處理器402，並可包括支援使用藍芽和/或Wi-Fi等之無線通訊技術之短距離無線通訊網路的一短距離無線通訊模組，以及使用支援長期演進技術(LTE)、第三代無線行動通訊技術(3G)和/或第四代無線行動通訊技術(4G)等之無線行動電信技術的一行動通訊模組。
該儲存媒體408電連接至該處理器402，並可透過使用一或多個硬碟、固態硬碟(solid-state drive, SSD)、快閃記憶體，和其他非暫態機器儲存媒體(non-transitory storage medium)來實施。該儲存媒體408儲存一程式應用、多種演算法和多種神經網路。該程式應用包括多個軟體指令，該等軟體指令由該處理器402執行時使該處理器402執行用以訓練一根據仿真分離重疊染色體的染色體辨識模型之方法的步驟。
圖像擷取元件410電連接至該處理器402，並可使用顯微鏡相機來實施。
再次參閱圖3，在步驟302中，該處理器402建立將受訓練的該染色體辨識模型，如圖5所示，在該實施例中，一個示例性的染色體辨識模型600包括一輸入節點601、一自動標記單元602、一隨機生成單元604、一檢測單元606、一重新校準單元608，及一輸出節點609。當該處理器402載入該染色體辨識模型時，該處理器402可以控制該染色體辨識模型600的該等元件以進行下述多項操作。
為了訓練該染色體辨識模型600，多個具有染色體資料的圖像被用於該輸入節點601以作為輸入。
在該實施例中，該計算機設備400的該處理器402在該步驟304中獲得至少一相關於一參考對象(例如，患者、接受醫療檢查的人等等)的核型圖像。該至少一核型圖像701能從該通訊元件406經由一外部儲存媒體被取得，或是預先儲存在該儲存媒體408中，並由該處理器402經由存取該儲存媒體408獲得。
在一個例子中，該至少一核型圖像701包括該參考對象的一組染色體，並由一專家(例如，醫學博士)經由手動重新校準從該參考對象提取出的該等染色體建構而成。需要注意的是，如圖2所示，除了染色體外，該至少一核型圖像701還可能存在許多小物件，例如數字，符號，專家的筆跡等等。
在該步驟304中，該計算機設備400的該處理器402控制該自動標記單元602對該至少一核型圖像701進行一自動標記處理。
具體來說，該自動標記處理可透過如圖6所示的子步驟加以描述。
在該子步驟304a中，該自動標記單元602執行一圖像預處理以辨識該至少一核型圖像701上作為多個染色體物件的多個物件。
具體地，該圖像預處理過程可以包括以下操作中的一或多項。
在一個實施例中，該自動標記單元602執行一用於區分該核型圖像701中該物件及一背景的閥值操作。在該實施例中，可採用一相關於多種顏色/光強度的預設閥值來確定該核型圖像701的一部分是屬於一物件(當相關的多種顏色/光強度低於該閥值)還是該背景(當相關的多種顏色/光強度高於該閥值)。
在一個實施例中，該自動標記單元602執行一用於定義個別物件的遮罩標記操作。每一染色體可被判別為一染色體物件。
在一個例子中，該自動標記單元602移除雜訊物件及自該物件中辨識出的孔洞。
具體地，該等雜訊物件是指該核型圖像701中不是該染色體物件的該等物件。並且，該等物件(例如該等染色體物件)之其中一物件中的多個小部分可能具有與該物件的其他部分不同的多種顏色或光強度，而看起來像是該物件內的孔洞。在該實施例中，可以透過使用膨脹/侵蝕形態學運算子來移除該等雜訊物件及自該物件中辨識出的孔洞。
在一個實施例中，該自動標記單元602在一預定數量的物件已被辨識後，移除一被認定為無用的資料，例如可能存在於該至少一核型圖像701中的小物件，或是圖2中的註釋(46,XX)。在該實施例中，由於通常一參考對象(人)具有46條染色體，所以當辨識出46個染色體對象時，該自動標記單元602可以忽略所有未被辨識的無用物件。
需要注意的是，雖然在該實施例中，該圖像預處理過程包括如上所述的所有操作，但在一些實施例中，該圖像預處理過程可以包括如上所述的操作的組合。
並且在該圖像預處理過程中，在該子步驟304b中，該自動標記單元602對該至少一核型圖像701進行該圖像處理(包括例如閥值化，圖像區域標記等等)以獲得每一染色體物件的一遮罩與一最小邊界框(參見圖7)。如此，每一染色體物件都被明確定義並且可以進行例如移動，旋轉等操作。
此後，在該子步驟304c中，該自動標記單元602進行一非監督式聚類(unsupervised clustering)以分類和組織該等染色體物件以獲得一組織化圖像，其中該組織化圖像包含如圖7所示的一組已組織化的染色體物件，當參考對象為人的時候，該組已組織化的染色體物件包括46條染色體，其中為22對染色體搭配兩個X染色體或是一個X染色體與一個Y染色體。
在過程中，聚類允許對每一染色體物件進行分類(例如指定每一染色體物件的類別)。在該實施例中，該非監督式聚類是k-平均演算法，且在其他實施例中，該非監督式聚類可以是以下其中一種：K最鄰近演算法(k-nearest neighbors)、親和力傳播演算法(Affinity propagation)、均值偏移(Mean-shift)、譜聚類(Spectral clustering)、沃德階層式分群法(Ward hierarchical clustering)、聚合分群(Agglomerative clustering)、DBSCAN演算法、OPTICS演算法、高斯混合(Gaussian mixtures)，及BIRCH演算法。
在一個實施例中，該自動標記單元602將每一染色體物件分類為人類染色體之一，並且根據人類染色體的順序(例如，染色體1，染色體2等等)來組織該等染色體物件。因此，可以獲得如圖7所示的一組織化圖像，其中每一染色體均已被標記所屬順序及最小邊界框，並且依照順序分組排列。
需要注意的是，在該核型圖像701中，與習知技術採用手動排列，並且可能包括其他無關且無用的物件(例如圖2的註釋)不同，該組染色體是自動排列的。透過執行該自動標記處理，該核型圖像701中的該組染色體在該組織化圖像可被自動標記、分類，及組織化，以進行進一步分析。
需要注意的是，可以對多個手動建立的核型圖像701重複該自動標記處理以獲得多張組織化圖像。
在該步驟306中，該處理器402控制該隨機生成單元，利用該組織化圖像，根據該組織化圖像的該等染色體物件進行一隨機生成過程以生成一包含被隨機重組的該等染色體物件的模擬中期圖像。
需要注意的是，透過使用該隨機生成過程所成的模擬中期圖像，可以將其他圖像作為訓練該染色體辨識模型的輸入。
在一個實施例中，利用一自動圖像重疊模擬進行該步驟306以產生該模擬中期圖像，該自動圖像重疊模擬係透過一利用一圖像處理庫建立的演算法來實施，在該實施例中，該圖像處理庫為Scikit-image、OPENCV、Mahotas、SimplelTK、SciPy、Pillow，及Matplotlib之其中一者。
在一些實施例中，該染色體辨識模型600的該隨機生成單元604包括一圖像增強子單元604a。此外，該隨機生成過程還包括該圖像增強子單元604a在產生該模擬中期圖像時進行一圖像增強操作以向所產生的該模擬中期圖像提供更多變異，同時保留該等染色體物件的特性。藉由使用附加的該等模擬中期圖像，可以消除潛在的過度擬合問題。
在一些實施例中，該圖像增強操作包括對該模擬中期圖像進行一物件檢測演算法以檢測該等染色體物件，重新排列檢測到的至少一染色體物件，以及對該核型圖像進行一實例分割演算法以調整該模擬中期圖像的圖像尺寸為1024*1333像素。
表1提供了用於重新排列檢測到的該等染色體物件的示例性操作。 表1
操作名稱 描述
旋轉 將該染色體物件的角度旋轉負30度至正30度間
調整大小 以0.85比1的比例調整該染色體物件的寬度；以0.9比1的比例調整該染色體對象的長度
亮度調整 以0.9比1的比例調整該染色體物件的亮度，並添加0到10
在一個實施例中，該圖像增強操作可以進一步添加多餘雜訊至該模擬中期圖像的某些部份中，以提高該染色體辨識模型600的穩健性，例如在該模擬中期圖像的某些部份中添加細胞中不對應染色體的其他部分以作為多餘雜訊。
圖8顯示了利用該步驟306所產生的示例性模擬圖像。
在該步驟308中，該處理器402控制該檢測單元606進行一物件檢測以檢測該模擬中期圖像中的該等染色體物件(參見圖9)。
在該實施例中，該物件檢測包括，對於每一染色體物件，該檢測單元606進行一定位檢測、一對應特徵檢測，及一分離。具體地，該定位檢測可透過對於該染色體物件的邊界框利用一迴歸方法來完成。此外，上述操作可透過一根據遮罩區域的卷積神經網路(convolutional neural network, CNN)來完成。
之後，該檢測單元606利用一深度殘差卷積神經網路(deep residual convolutional neural network)作為主幹進行一圖像特徵分類操作。該深度殘差卷積神經網路可以是ResNet50、Res101、或SE-ResNet其中一者。具體而言，當判定至少一染色體物件重疊另一染色體物件時(根據各個染色體物件的遮罩或邊界框)，該檢測單元606的一遮罩模組(圖中未示出) 能夠分離該等重疊的染色體物件。
圖9展示用於檢測該等染色體物件的示例性檢測操作。
然後，在該步驟310中，該處理器402控制該重新校準單元608對該模擬中期圖像進行一重新校準以獲得一重新校準圖像，其中在該重新校準圖像中該等染色體物件彼此分離。
在該實施例中，每一染色體物件的重新校準可以利用一主成分分析(principal component analysis, PCA)來實施。
在一個實施例中，該處理器402可以進一步進行該主成分分析以辨識每一染色體物件的方向(例如，辨識該染色體物件的頂部和/或底部)。當判定該等染色體物件之其中一者並未正確定向時(例如，如圖8所示的型態)，作為回應該染色體物件可以旋轉或翻轉。
需要說明的是，該步驟308能夠利用該步驟306所產生的該等模擬圖多次進行，以獲得多個分別對應該等模擬圖像的重新校準圖像。
在該步驟310中，該處理器402藉由應用該等重新校準圖像於一神經網路直到該神經網路達到收斂來進行一訓練過程，從而獲得用於模擬分離重疊染色體的分離模型。
在一實施例中，該神經網路為一卷積神經網路。
在一實施例中，該重新校準單元608包括一驗證子單元608a，且該處理器402可以控制該重新校準單元608對於該重新校準圖像進行一驗證程序，該驗證程序包括以下一或多項：自動計數該等染色體物件、自動標記多個性染色體物件、旋轉該等染色體物件，及組織該等染色體物件以獲得一組織化圖像。
需要注意的是，該染色體辨識模型可以透過利用不同的模擬中期圖像重複該步驟306至該步驟310以接受進一步訓練。
在該染色體辨識模型600利用如圖3所示的方法進行訓練後，該處理器402可以將該染色體辨識模型600儲存至該儲存媒體408中。該染色體辨識模型用於辨識一輸入至該染色體辨識模型且包括一染色體資料的圖像中的該等染色體物件的特徵，並對該等染色體物件進行分類以獲得作為該染色體辨識模型600之輸出的該組織化圖像。
圖10是一流程圖，說明本發明的用於染色體辨識方法之步驟的一實施例。在該實施例中，該方法可藉由如圖4所示的計算機設備400來實施，並且可以利用在其他實施例中包括類似元件的任何電子設備來實施，例如超級電腦、量子電腦、個人電腦，或是筆記型電腦。
在該步驟802中，該計算機設備400的該處理器402載入該染色體辨識模型600。該染色體辨識模型600可以透過存取該儲存媒體408來獲得，或是經由該通訊元件406自一外部儲存媒體接收。
在該步驟804中，該計算機設備400的該處理器402採用一包含相關於一參考對象之染色體資料的圖像作為該染色體辨識模型600的輸入，該染色體資料包括多個染色體物件。
在該步驟806中，該染色體辨識模型600的該自動標記單元602被控制以一定位檢測方法找出該圖像中的該等染色體物件的位置。
在該步驟808中，該染色體辨識模型600被控制以辨識該圖像中且於該步驟806被定位的該等染色體物件的多個特徵。
在該步驟810中，該染色體辨識模型600被控制以判定該圖像中是否包含至少一與另一染色體物件產生重疊的染色體物件。具體地，該染色體辨識模型600判定該圖像的一部分是否具有同時為超過一個染色體之一部分的一局部，當判定為肯定時，進行該步驟812，否則進行該步驟814。
在該步驟812中，該染色體辨識模型600被控制藉由移開重疊的染色體物件之其中一者與另一者以分離該等重疊的染色體物件，並對於同時具有同一部分之超過一個染色體物件之每一者，複製該同一部分，其中該同一部分即為同時存在超過一個染色體物件的一部分，之後進行該步驟814。
在該步驟814中，該染色體辨識模型600被控制對該等染色體物件進行分類以獲得作為輸出的該組織化圖像。
圖11是利用該染色體辨識模型600自圖1的該圖像中獲得的一示例性組織化圖像的示意圖。
需要注意的是，透過如圖10所示的流程來處理該圖像，可以做到讀取該圖像以判定該參考對象是否存在有遺傳疾病之風險之操作的一主要部分，而不用手動執行核型處理。
綜上所述，本發明提供一種用於訓練染色體辨識模型的方法和系統的實施例，該訓練染色體辨識模型用於根據仿真分離重疊的染色體，並提供利用該分離模型的方法的實施例。透過使用該染色體辨識模型，能夠以更高的效率(例如，一中期圖像能夠在平均0.1至1秒的時間內處理完成)及準確性(例如，能正確檢測到95%至99%的染色體異常)自動完成核型分析過程，並且無需手動分類和組織該中期圖像中的該等染色體物件。
在以上描述中，基於解釋的目的，已經闡述許多具體細節以便於提供對該等實施例的透徹理解。然而，對於本領域的技術人員，可以在沒有這些特定細節中的一些情況下實踐一個或多個其他實施例。還需要理解的是，在整份說明書中，對於一個實施例、一實施例、具有順序指示的實施例的引用代表在實踐中可以包括特定的特徵，結構或特性。理當進一步理解的是，在說明書中，有時將各種特徵組合在單一實施例、圖式，或描述中，以簡化本公開並幫助理解各種發明方面，並且在適當情況下，在本發明的實踐中，可以將一個實施例的一或多個特徵或特定細節與另一個實施例的一或多個特徵或特定細節一起實踐。
儘管已經結合示例性實施例描述了本公開，但應當理解的是，本公開不限於所公開的實施例，而是旨在覆蓋包括最廣泛的解釋的精神和範圍內的各種佈置，以涵蓋所有此類修改和等效安排。
302~310:步驟 304a、304b、304c:子步驟 400:計算機設備 402:處理器 404:顯示器 406:通訊元件 408:儲存媒體 410:圖像擷取元件 600:染色體辨識模型 601:輸入節點 602:自動標記單元 604:隨機生成單元 604a:圖像增強子單元 606:檢測單元 608:重新校準單元 608a:驗證子單元 609:輸出節點 701:核型圖像 802~814:步驟
本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中： 圖1是包含在一中期的一組染色體之一圖像的一示意圖； 圖2是自圖1的圖像中獲得一核型的一圖像的一示意圖； 圖3是一流程圖，說明本發明之一用於訓練一根據仿真分離重疊染色體的染色體辨識模型之方法的步驟的一實施例； 圖4是一方塊圖，說明本發明之用於實施圖3之方法的一示例性計算機設備的一實施例； 圖5是一方塊圖，說明本發明之一示例性染色體辨識模型的一實施例； 圖6是一流程圖，說明本發明用於執行一自動標記處理的子步驟的一實施例； 圖7說明一示例性核型圖像，包括一參考對象的一組染色體，其中每一染色體均已被標記； 圖8說明使用一隨機生成過程生成的一示例性模擬中期圖像； 圖9說明對該示例性模擬中期圖像進行的一示例性檢測操作； 圖10是一流程圖，說明本發明用於染色體辨識方法的步驟的一實施例；及 圖11是使用圖5的該染色體辨識模型從圖1的該圖像獲得的一示例性組織化圖像的一示意圖。
302~310:步驟

Claims (16)

  1. 一種用於訓練一染色體辨識模型的方法，該染色體辨識模型用於根據仿真分離重疊染色體，該用於訓練一染色體辨識模型的方法包含：建構包含一自動標記單元、一隨機生成單元、一檢測單元及一重新校準單元的該染色體辨識模型；(A)獲得至少一相關於一參考對象的核型圖像；(B)控制該自動標記單元對該至少一核型圖像進行一自動標記處理，該自動標記處理包括執行一圖像預處理以辨識該至少一核型圖像上作為多個染色體物件的多個物件，對該至少一核型圖像進行該圖像預處理以獲得對應每一染色體物件的一遮罩與一最小邊界框，及對該至少一核型圖像的多個染色體物件進行非監督式聚類以分類和組織該等染色體物件以獲得一包含一組已組織化的染色體物件的組織化圖像；(C)控制該隨機生成單元，根據該組織化圖像的該等染色體物件，利用該組織化圖像進行一隨機生成過程以生成一包含被隨機重組的該等染色體物件的模擬中期圖像；(D)控制該檢測單元進行一物件檢測以檢測該模擬中期圖像中的該等染色體物件；(E)控制該重新校準單元對該模擬中期圖像進行重新校準以獲得一重新校準圖像，其中在該重新校準圖像中該等染色體物件彼此分離；及 (F)重複該步驟(C)至該步驟(E)，以訓練該染色體辨識模型，該染色體辨識模型用於辨識一輸入至該染色體辨識模型之圖像中的該等染色體物件的特徵，其中該圖像包括一染色體資料，並對該等染色體物件進行分類以獲得作為該染色體辨識模型之輸出的該組織化圖像。
  2. 如請求項1所述的用於訓練一染色體辨識模型的方法，其中，該自動標記處理的該圖像處理過程包括以下至少一項：一用於區分該核型圖像中該物件及一背景的閥值操作；一用於定義個別物件的遮罩標記操作；移除雜訊物件及自該物件中辨識出的孔洞；及在一預定數量的物件已被辨識後，移除一被認定為無用的資料。
  3. 如請求項1所述的用於訓練一染色體辨識模型的方法，其中，該非監督式聚類為以下其中一者：K平均演算法、K最鄰近演算法、親和力傳播演算法、均值偏移、譜聚類、沃德階層式分群法、聚合分群、DBSCAN演算法、OPTICS演算法、高斯混合，及BIRCH演算法。
  4. 如請求項1所述的用於訓練一染色體辨識模型的方法，其中，該步驟(C)包括利用一自動圖像重疊模擬產生該模擬中期圖像，該自動圖像重疊模擬透過一利用一圖像處理庫建立的演算法來實施，該圖像處理庫為以下其中一者：Scikit-image、OPENCV、Mahotas、SimplelTK、 SciPy、Pillow，及Matplotlib。
  5. 如請求項1所述的用於訓練一染色體辨識模型的方法，其中：該染色體辨識模型的該隨機生成單元包括一圖像增強子單元；該步驟(C)還包括控制該圖像增強子單元以進行一圖像增強操作，該圖像增強操作包括對該模擬中期圖像進行一物件檢測演算法以檢測該等染色體物件，以及對該核型圖像進行一實例分割演算法以調整該模擬中期圖像的圖像尺寸為1024*1333像素。
  6. 如請求項1所述的用於訓練一染色體辨識模型的方法，其中，該物件檢測包括，對於每一染色體物件，進行一定位檢測、一對應特徵檢測，及一分離，以及利用一深度殘差卷積神經網路作為主幹進行一圖像特徵分類操作。
  7. 如請求項1所述的用於訓練一染色體辨識模型的方法，其中：該重新校準單元包括一驗證子單元；該方法還包括控制該驗證子單元對於該重新校準圖像進行一驗證程序，該驗證程序包括以下一或多項：自動計數該等染色體物件；自動標記多個性染色體物件；旋轉該等染色體物件；及組織該等染色體物件以獲得該組織化圖像。
  8. 一種染色體辨識方法，包含： 載入如請求項1所述的一染色體辨識模型；採用一包含相關於一參考對象之染色體資料的圖像作為該染色體辨識模型的輸入，該染色體資料包括多個染色體物件；及控制該染色體辨識模型辨識該圖像中該等染色體物件的多個特徵，並對該等染色體物件進行分類，以獲得一作為輸出的組織化圖像。
  9. 如請求項8所述的染色體辨識方法，其中還包括在辨識該等特徵前，控制該染色體辨識模型以一定位檢測方法找出該圖像中的該等染色體物件的位置。
  10. 如請求項8所述的染色體辨識方法，其中，當判定該圖像中包含至少一與另一染色體物件產生重疊的染色體物件時，該染色體辨識模型能夠分離該等重疊的染色體物件。
  11. 一種根據仿真的用於分離重疊染色體的染色體辨識模型的訓練系統，包含一處理器，一用以儲存一包括一自動標記單元、一隨機生成單元、一檢測單元及一重新校準單元之染色體辨識模型的非暫態機器可讀取媒體；其中，該處理器用以載入用於訓練的該染色體辨識模型，回應一核型圖像作為該染色體辨識模型的輸入，該訓練包括：該自動標記單元對該至少一核型圖像進行一自動標記處理，該自動標記處理包括執行一圖像處理操作以辨識該至少一核型圖像上作 為多個染色體物件的多個物件，對該核型圖像進行一非監督式聚類的圖像處理操作以獲得對應每一染色體物件的一遮罩與一最小邊界框，及對該核型圖像進行一非監督式聚類，以分類和組織該等染色體物件用以分類和組織該等染色體物件以獲得一包含一組已組織化的染色體物件的組織化圖像；該隨機生成單元根據該組織化圖像的該等染色體物件進行一隨機生成過程以生成一包含被隨機重組的該等染色體物件的模擬中期圖像；該重新校準單元對該模擬中期圖像進行重新校準，以獲得該等染色體物件彼此分離的一重新校準圖像；其中，在該訓練後，該處理器被配置為將該染色體辨識模型儲存在該非暫態機器可讀取媒體中。
  12. 如請求項11所述的系統，其中該染色體辨識模型還包括：一圖像增強子單元被配置為對該核型圖像進行一實例分割演算法以調整該模擬中期圖像的圖像尺寸為1024*1333像素；一檢測單元被配置為對該核型圖像進行一深度學習實例分割演算法以檢測該等染色體物件，其中對於每一染色體物件，該檢測包括利用該最小邊界框提取該核型圖像中的多個特徵和檢測一對應特徵；及該檢測單元還被配置利用一深度殘差卷積神經網路作為主幹進行一圖像特徵分類操作。
  13. 如請求項11所述的系統，其中，該非監督式聚類為以下其中一者：K平均演算法、K最鄰近演算法、親和力傳播演算法、均值偏移、譜聚類、沃德階層式分群法、聚合分群、DBSCAN演算法、OPTICS演算法、高斯混合，及BIRCH演算法。
  14. 如請求項11所述的系統，其中，該染色體辨識模型還包括執行以下功能的一重新校準及報告單元：自動計數該等染色體物件；自動標記多個性染色體物件；旋轉該等染色體物件；及組織該等染色體物件以獲得一組織化圖像。
  15. 如請求項11所述的系統，其中：該處理器還被配置為載入該染色體辨識模型；回應一包含相關於一參考對象之染色體資料的圖像作為該染色體辨識模型的輸入，該染色體資料包括多個染色體物件；該染色體辨識模型被配置為辨識該圖像中該等染色體物件的多個特徵，並對該等染色體物件進行分類，以獲得一作為輸出的組織化圖像。
  16. 如請求項15所述的系統，其中，當判定該圖像中包含至少一與另一染色體物件產生重疊的染色體物件時，該染色體辨識模型能夠分離該等重疊的染色體物件。
TW109115598A 2019-06-26 2020-05-11 根據仿真分離重疊染色體之分離模型的訓練方法及利用該分離模型分離重疊染色體的方法及系統 TWI765262B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201962866922P 2019-06-26 2019-06-26
US62/866922 2019-06-26

Publications (2)

Publication Number Publication Date
TW202115675A TW202115675A (zh) 2021-04-16
TWI765262B true TWI765262B (zh) 2022-05-21

Family

ID=74042758

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109115598A TWI765262B (zh) 2019-06-26 2020-05-11 根據仿真分離重疊染色體之分離模型的訓練方法及利用該分離模型分離重疊染色體的方法及系統

Country Status (3)

Country Link
US (1) US11348238B2 (zh)
JP (1) JP7064668B2 (zh)
TW (1) TWI765262B (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113362351A (zh) * 2020-03-05 2021-09-07 阿里巴巴集团控股有限公司 一种图像处理方法、装置、电子设备以及存储介质
US11899749B2 (en) * 2021-03-15 2024-02-13 Nvidia Corporation Automatic labeling and segmentation using machine learning models
CN113658199B (zh) * 2021-09-02 2023-11-03 中国矿业大学 基于回归修正的染色体实例分割网络
CN113723370B (zh) * 2021-11-01 2022-01-18 湖南自兴智慧医疗科技有限公司 基于斜框的染色体检测方法及装置
TWI793865B (zh) * 2021-11-18 2023-02-21 倍利科技股份有限公司 Ai自動輔助標記之系統及方法
CN115063411A (zh) * 2022-08-04 2022-09-16 湖南自兴智慧医疗科技有限公司 一种染色体异常区域分割检测方法和系统
CN117934337B (zh) * 2024-03-22 2024-05-28 笑纳科技(苏州)有限公司 一种基于无监督学习用于被遮挡染色体掩膜修复的方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605981B2 (en) * 2010-11-05 2013-12-10 Cytognomix Inc. Centromere detector and method for determining radiation exposure from chromosome abnormalities
US9336430B2 (en) * 2012-06-19 2016-05-10 Health Discovery Corporation Computer-assisted karyotyping
TW201638815A (zh) * 2015-01-18 2016-11-01 美國加利福尼亞大學董事會 判定癌症狀態之方法及系統
CN109285174A (zh) * 2017-07-19 2019-01-29 塔塔咨询服务公司 基于众包和深度学习的染色体分割和核型分析
CN109344874A (zh) * 2018-08-31 2019-02-15 华侨大学 一种基于深度学习的染色体自动分析方法及系统
CN109492706A (zh) * 2018-11-27 2019-03-19 微医云(杭州)控股有限公司 一种基于循环神经网络的染色体分类预测装置
CN109523520A (zh) * 2018-10-25 2019-03-26 北京大学第三医院 一种基于深度学习的染色体自动计数方法
US20190156159A1 (en) * 2017-11-20 2019-05-23 Kavya Venkata Kota Sai KOPPARAPU System and method for automatic assessment of cancer

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8605981B2 (en) * 2010-11-05 2013-12-10 Cytognomix Inc. Centromere detector and method for determining radiation exposure from chromosome abnormalities
US9336430B2 (en) * 2012-06-19 2016-05-10 Health Discovery Corporation Computer-assisted karyotyping
TW201638815A (zh) * 2015-01-18 2016-11-01 美國加利福尼亞大學董事會 判定癌症狀態之方法及系統
CN109285174A (zh) * 2017-07-19 2019-01-29 塔塔咨询服务公司 基于众包和深度学习的染色体分割和核型分析
US20190156159A1 (en) * 2017-11-20 2019-05-23 Kavya Venkata Kota Sai KOPPARAPU System and method for automatic assessment of cancer
CN109344874A (zh) * 2018-08-31 2019-02-15 华侨大学 一种基于深度学习的染色体自动分析方法及系统
CN109523520A (zh) * 2018-10-25 2019-03-26 北京大学第三医院 一种基于深度学习的染色体自动计数方法
CN109492706A (zh) * 2018-11-27 2019-03-19 微医云(杭州)控股有限公司 一种基于循环神经网络的染色体分类预测装置

Also Published As

Publication number Publication date
US11348238B2 (en) 2022-05-31
JP2021005374A (ja) 2021-01-14
JP7064668B2 (ja) 2022-05-11
US20200410668A1 (en) 2020-12-31
TW202115675A (zh) 2021-04-16

Similar Documents

Publication Publication Date Title
TWI765262B (zh) 根據仿真分離重疊染色體之分離模型的訓練方法及利用該分離模型分離重疊染色體的方法及系統
CN111079639B (zh) 垃圾图像分类模型构建的方法、装置、设备及存储介质
Taherkhani et al. Deep-FS: A feature selection algorithm for Deep Boltzmann Machines
CN110490850B (zh) 一种肿块区域检测方法、装置和医学图像处理设备
Fleuret Fast binary feature selection with conditional mutual information.
US11055571B2 (en) Information processing device, recording medium recording information processing program, and information processing method
Javed et al. Multiplex cellular communities in multi-gigapixel colorectal cancer histology images for tissue phenotyping
US20210110215A1 (en) Information processing device, information processing method, and computer-readable recording medium recording information processing program
US20190332896A1 (en) Methods, systems, and media for selecting candidates for annotation for use in training classifiers
Hatipoglu et al. Classification of histopathological images using convolutional neural network
JP6897749B2 (ja) 学習方法、学習システム、および学習プログラム
CN109635669A (zh) 图像分类方法、装置及分类模型的训练方法、装置
Tavallali et al. A systematic training procedure for viola-jones face detector in heterogeneous computing architecture
Cinar et al. A novel convolutional neural network‐based approach for brain tumor classification using magnetic resonance images
US8879804B1 (en) System and method for automatic detection and recognition of facial features
CN113971741A (zh) 一种图像标注方法、分类模型的训练方法、计算机设备
Alobaidi et al. Face detection based on probability of amplitude distribution of local binary patterns algorithm
JP7206892B2 (ja) 画像検査装置、画像検査のための学習方法および画像検査プログラム
KR102208613B1 (ko) 의료 이미지 처리 장치
CN112183336A (zh) 表情识别模型训练方法、装置、终端设备及存储介质
CN109447937B (zh) 一种图像处理模型的确定方法及其相关装置
Kowaliw et al. Evolutionary automated recognition and characterization of an individual's artistic style
Elazab et al. Brain Cancer Diagnosis Based on Histopathological Images Using Handcrafted Features
Rashid et al. Proximity-Linked Multi-Disease Classification in Endoscopy: Incorporating Deep Learning Advancements in a Cluster-Based Framework
CN111523477B (zh) 一种基于运动历史图像和集成学习器的视频动作识别方法