TWI743544B - 用於自動腫瘤偵測和分類的方法及系統 - Google Patents

用於自動腫瘤偵測和分類的方法及系統 Download PDF

Info

Publication number
TWI743544B
TWI743544B TW108130964A TW108130964A TWI743544B TW I743544 B TWI743544 B TW I743544B TW 108130964 A TW108130964 A TW 108130964A TW 108130964 A TW108130964 A TW 108130964A TW I743544 B TWI743544 B TW I743544B
Authority
TW
Taiwan
Prior art keywords
slide
roi
tissue
tumor
classification
Prior art date
Application number
TW108130964A
Other languages
English (en)
Other versions
TW202027094A (zh
Inventor
帕里加普拉卡許 普拉布德賽
加納許庫瑪 莫哈努爾拉古納坦
蘇米特庫瑪 嘉
亞迪堤雅 希思塔
納拉幸哈梅菲 強丹
Original Assignee
美商應用材料股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商應用材料股份有限公司 filed Critical 美商應用材料股份有限公司
Publication of TW202027094A publication Critical patent/TW202027094A/zh
Application granted granted Critical
Publication of TWI743544B publication Critical patent/TWI743544B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7275—Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • G06V10/987—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns with the intervention of an operator
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/69—Microscopic objects, e.g. biological cells or cellular parts
    • G06V20/698—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30024—Cell structures in vitro; Tissue sections in vitro
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Public Health (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Data Mining & Analysis (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Epidemiology (AREA)
  • Biophysics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Investigating Or Analysing Biological Materials (AREA)
  • Image Analysis (AREA)

Abstract

本揭露的某些態樣提供了用於對組織載玻片中的腫瘤區域進行自動偵測和分類的技術。該方法通常包括從組織載玻片資料庫獲得數位化的組織載玻片，以及基於來自組織分類模組的輸出來確定數位化的組織載玻片中所示的組織的類型。該方法進一步包括基於來自針對組織類型的腫瘤分類模型的輸出，確定數位化的組織載玻片的感興趣區域(ROI)，以及生成分類載玻片，該分類載玻片顯示該數位化的組織載玻片的ROI和該ROI的估計直徑。該方法進一步包括在影像顯示單元上顯示該分類載玻片和使用者介面(UI)元件，從而使病理學家能夠輸入與該分類載玻片有關的輸入。

Description

用於自動腫瘤偵測和分類的方法及系統
本揭露的各態樣係關於機器學習，並且特別地係關於使用機器學習圖型識別進行影像分類。
當前，對包含潛在癌性組織的特定載玻片進行診斷的過程對於執行該診斷的病理學家而言既費時又費力。在當前的過程中，病理學家必須手動分析組織載玻片的許多影像。通常在多個放大和縮放級別上掃描每個單獨的載玻片。因此，為了確定給定組織是否包括腫瘤，代表一個組織的載玻片會花費大量時間。此外，若病理學家偵測到腫瘤，則需要更多時間來分析腫瘤。總之，單個腫瘤的識別和分析通常需要病理學家耗費至少兩個半小時的時間。而且，很多時候，病理學家無法確定自己的診斷，因此可能會將載玻片送至第二位病理學家處，此將使完整分析所需的時間至少翻倍。
在一些情況下，需要由相對缺乏的合格病理學家分析大量的組織，此意味著病理學家的時間非常寶貴。在此類情況下，甚至在分析開始前可能需要幾天的時間才能將載玻片交給病理學家。為了加快組織載玻片的分析，可以實施經由機器學習的分析。然而，現有的機器學習系統不能對組織載玻片中展示的腫瘤進行有效識別和分類。此外，現有系統不能適當地註釋或標記組織載玻片以幫助病理學家進行診斷。因此，現有的機器學習系統不能有效地為病理學家節省時間或只能節省很少的時間。因此，需要避免現有系統問題的用於自動偵測和分類的方法和系統。
某些實施例提供了一種用於對組織載玻片中的腫瘤區域進行自動偵測和分類的方法。該方法通常包括從組織載玻片資料庫獲得數位化的組織載玻片，以及基於來自組織分類模組的輸出來確定數位化的組織載玻片中所示的組織的類型。該方法進一步包括基於來自用於該組織類型的腫瘤分類模型的輸出，確定數位化的組織載玻片的感興趣區域(region of interest; ROI)，其中ROI對應於該數位化的組織載玻片的由該腫瘤分類模型確定為腫瘤的區段，以及生成分類載玻片，該分類載玻片顯示該數位化的組織載玻片的ROI和ROI的估計直徑。該方法進一步包括在影像顯示單元上顯示該分類載玻片和使用者介面(user interface; UI)元件，從而使病理學家能夠輸入與該分類載玻片有關的輸入。
另一個實施例提供了一種用於藉由腫瘤分類模組對組織載玻片中的腫瘤區域進行自動偵測和分類的方法。該方法通常包括從病理學家輔助系統接收數位化的組織載玻片，以及生成二進制遮罩，其中該二進制遮罩指示該數位化的組織載玻片中的感興趣區域(region of interest; ROI)。該方法進一步包括基於經擬合以匹配ROI的橢圓來確定ROI的直徑，以及基於該ROI的直徑將ROI分類為一腫瘤類別，其中該腫瘤類別指示該腫瘤類別中的腫瘤的階段。該方法進一步包括基於該ROI生成分類載玻片，其中該分類載玻片基於與每個ROI相關聯的腫瘤類別將每個ROI顯示為顏色編碼，以及將該分類載玻片傳輸到病理學家輔助系統。
以下描述和相關附圖詳細闡述了一個或多個實施例的某些說明性特徵。
第1圖描繪了用於對腫瘤進行自動偵測和分類的示例性計算環境100。如圖所示，計算環境100包括病理學家輔助系統110、載玻片源130和輸出顯示裝置140。儘管顯示為單獨的實體，但是在其他實例中，病理學家輔助系統110、載玻片源130和輸出顯示裝置140的功能可以由單個計算裝置或分佈式計算系統執行。在其他實施例中，病理學家輔助系統110、載玻片源130和輸出顯示裝置140可以經由諸如區域網路(local area network; LAN)、廣域網路(wide area network; WAN)或網際網路等網路連接。
病理學家輔助系統110是至少包括處理器和記憶體的計算裝置，該計算裝置能夠藉由處理器執行駐留在記憶體中的軟體。病理學家輔助系統110包括組織分類模組120、腫瘤分類模組122、分類載玻片124和病理學家輸入126。組織分類模組120是軟體對象，該軟體對象包括使用圖型識別的機器學習模型，該軟體對象可用於識別在數位載玻片中展示的組織的類型。數位載玻片是從載玻片源130獲得的。載玻片源130是病理學家輔助系統110可用的各種數位載玻片收集和儲存工具。載玻片源130包括顯微鏡132和載玻片資料庫134。顯微鏡132是能夠以各種分辨率和縮放水平創建組織載玻片的數位影像的電子顯微鏡，此可為對診斷過程有益的。顯微鏡132可以是任何合適的電子顯微鏡，諸如光學顯微鏡、螢光顯微鏡、電子顯微鏡或探針顯微鏡，並且可以利用各種光譜成像技術，諸如多光譜成像或高光譜成像。由顯微鏡132創建的數位影像儲存在載玻片資料庫134中。載玻片資料庫134是儲存資料庫，其包括由載玻片基於唯一ID (諸如特定組織)而組織的複數個數位載玻片影像。可以從載玻片資料庫134存取在所有大小、分辨率和縮放水平下的來自給定組織的所有組織載玻片。
組織分類模組120包括使用人類組織的標記影像訓練的組織分類模型。在其他實例中，組織分類模組120可用於對其他類型的組織(諸如動物組織)進行分類。在此類實例中，可以使用動物組織的標記影像來訓練組織分類模組120。組織分類模型的目的是識別載玻片中展示的組織的類型，而不是識別載玻片中展示的任何特定腫瘤區域。一旦組織分類模型識別出給定載玻片中展示的組織的類型，組織分類模組120就驗證針對該類型組織的腫瘤分類模型存在，並將該給定載玻片傳遞到腫瘤分類模組122上。
腫瘤分類模組122是軟體對象，該軟體對象包括複數個機器學習分類模型，該軟體對象可用於對特定類型的組織內的腫瘤進行偵測和分類。可以對許多不同類型的組織進行腫瘤分析，並且對於每種類型的組織而言分析可能不同。例如，乳腺组织的分析可能與胰腺組織的分析不同，依此類推。因此，對不同的腫瘤分類模型進行分類可用於進行腫瘤分析的每種組織類型。在該實例中，腫瘤分類模組122至少包括針對由組織分類模組120識別的組織類型的腫瘤分類模型。
腫瘤分類模組122的每個腫瘤分類模型都是機器學習模型，該機器學習模型能夠識別數位載玻片影像的與組織中的腫瘤相對應的區域。例如，腫瘤分類模型可以是卷積神經網路(convolutional neural network; CNN)模型。CNN模型是使用根據人腦神經元模型化的機器學習演算法來進行訓練的。
為了訓練諸如CNN模型的機器學習模型，將訓練資料供應到機器學習模型以產生輸出。機器學習模型通常具有一組初始化參數，該等初始化參數影響機器學習模型如何處理資料。訓練資料通常具有基礎真值(例如，已知值)分類。通常相對於該基礎真值來評估輸出。該評估的結果可用於調節或更新機器學習模型的參數，以便在後續運行時機器學習模型產生更準確的輸出。一旦經過充分訓練，機器學習模型就會以與用於訓練機器學習模型的資料相同的形式接受輸入，並基於該輸入產生輸出。使用由標記影像組成的訓練資料來訓練用於對視覺影像進行分類的CNN模型。在該實例中，訓練資料可以是先前由合格病理學家診斷的數位影像載玻片。
腫瘤分類模組122分析載玻片以偵測該載玻片中展示的任何潛在的腫瘤區域。潛在的腫瘤區域稱為感興趣區域(region of interest; ROI)。通常，由腫瘤分類模組122進行腫瘤分類的過程開始於使用針對由組織分類模組120所識別的組織類型的腫瘤分類模型來創建用於識別ROI的二進制遮罩。二進制遮罩將影像過濾成在載玻片中僅顯示連續的癌細胞區域。該等連續區域對應於ROI。一旦接收到該資訊，腫瘤分類模組122隨後就確定每個ROI的大小。腫瘤分類模組122隨後基於大小將ROI分類為與腫瘤階段相對應的各種腫瘤類別。腫瘤分類模組122隨後基於相關聯的腫瘤階段對ROI進行顏色編碼。由腫瘤分類模組122進行該等過程的結果是分類載玻片124，該分類載玻片124是經分析以顯示顏色編碼的ROI的載玻片的變更版本。
一旦生成了分類載玻片124，病理學家輔助系統110就經由輸出顯示裝置140來顯示分類載玻片124。輸出顯示裝置140是至少包括顯示器的裝置，該顯示器可用於向輸出顯示裝置140的使用者呈現屏幕或其他資訊。輸出顯示裝置140可以是與病理學家輔助系統110分開的計算裝置，或者可以是充當病理學家輔助系統110的輸出裝置的屏幕、監視器或顯示器。
一旦顯示，病理學家就能夠確定由腫瘤分類模組122進行的識別和分類是否正確。若是，則病理學家輔助系統110儲存分類載玻片124。若病理學家確定分類載玻片124不正確，則經由輸出顯示裝置140提供給病理學家的使用者介面(user interface; UI)元件使病理學家能夠輸入對分類載玻片124中所圖示的ROI的偵測、定大小或分階段的校正和修改。在此類情況下，病理學家輔助系統110使用該等校正和修改來更新用於識別ROI的腫瘤分類模型，並改善來自該腫瘤分類模型的後續輸出。
第2圖描繪了用於呈現分類載玻片210的示例性使用者介面200。分類載玻片210顯示了標記為0001-0003的三個ROI。該等數字與在框220處針對每個ROI圖示的腫瘤ID相對應。框230圖示了與每個ROI的確定階段相對應的每個ROI的類型或腫瘤類別。
ROI的分階段通常基於ROI的大小。在此實例中，每個ROI的大小由該ROI的直徑確定。在此實例中，將直徑測量為ROI中彼此最遠的點之間的距離。例如，腫瘤分類模型可以在ROI上放置橢圓，直到該橢圓處於最小可能狀態，同時仍然覆蓋整個ROI。隨後，橢圓的長軸可以用作ROI的直徑。分類載玻片210的ROI的直徑在框240處圖示。
通常，使用者介面200是使用病理學家輔助系統向病理學家呈現分類載玻片210的實例。在一些實施例中，使用者介面200可以提供額外UI元件，從而使病理學家能夠對分類載玻片210進行校正。例如，若病理學家認為分類載玻片210對ROI進行了不適當的定大小，則病理學家可能能夠重繪繞ROI圖示的線。病理學家亦可能能夠指示ROI完全不正確，或者繞分類載玻片210的應該顯示ROI但沒有顯示ROI的區域周圍繪線。取決於所使用的輸出裝置，病理學家可以使用各種輸入裝置對分類載玻片210進行校正或修改。例如，具有触控萤幕功能的裝置(諸如智慧型電話或平板電腦)可以賦能觸敏控件，而具有滑鼠和鍵盤的裝置可以替代地提供用於輸入的滑鼠和鍵盤控件。
第3圖是用於對組織載玻片中的腫瘤區域進行自動偵測和分類的示例性方法300的流程圖。方法300可以由病理學家輔助系統(諸如第1圖的病理學家輔助系統110)執行。方法300開始於310，其中病理學家輔助系統從組織載玻片資料庫獲得數位化的組織載玻片。如上所述，可以將數位化的發行載玻片儲存在資料庫中，並且可以針對單個組織樣品以不同的大小和縮放水平製作許多不同的載玻片。可能需要對組織樣品的所有此類載玻片進行分析以執行對組織的準確診斷，因此，儘管方法300描述了對單個數位化的組織載玻片的分析，但是可以多次執行方法300以完成完整診斷。一旦收到載玻片，病理學家輔助系統就將數位化的組織載玻片作為輸入提供給組織分類模組。
在320處，病理學家輔助系統基於來自組織分類模組的輸出來確定數位化的組織載玻片中圖示的組織的類型。組織分類模組包括組織分類模型，該組織分類模型在該實例中用於識別人類解剖結構，並且因此在人類解剖結構的標記影像上進行訓練。在方法300的一些實施例中，組織分類模組使用圖型識別來確定人類解剖結構的與數位化的組織載玻片相關的部分。在其他實例中，組織分類模組可以替代地用於識別動物解剖結構。組織分類模型可以識別數位化的組織載玻片中圖示的組織的類型。組織分類模組隨後可以驗證病理學家輔助系統包括針對所識別的該組織類型的腫瘤分類。若是，則組織分類模組將數位化的組織載玻片與對該數位化的組織載玻片中圖示的組織類型的指示一起傳遞給腫瘤分類模組。
在330處，病理學家輔助系統基於來自針對該組織類型的腫瘤分類模型的輸出，確定數位化的組織載玻片的ROI。在方法300的一些實施例中，腫瘤分類模型是卷積神經網路。ROI對應於該數位化的組織載玻片的由該腫瘤分類模型確定為腫瘤的區段。腫瘤分類模型使用二進制遮罩來識別數位化的組織載玻片內的ROI。二進制遮罩被配置為在數位化的組織載玻片內僅顯示癌細胞。當僅顯示癌細胞時，腫瘤分類模組可以在僅癌細胞的顯示器上執行各種操作以估計在ROI中展示的腫瘤的大小和階段。通常，ROI對應於被腫瘤分類模型認為是腫瘤的區域，但是由合格的病理學家進行的進一步診斷可有益於確認ROI是否顯示腫瘤。
在340處，病理學家輔助系統生成分類載玻片，該分類載玻片顯示了數位化的組織載玻片的ROI和該ROI的估計直徑。如所論述的，腫瘤分類模組可以執行各種操作以估計ROI的大小(直徑)。病理學家輔助系統可以使用該資訊來生成分類載玻片，該分類載玻片突出顯示分類載玻片內的ROI，並顯示該ROI的估計大小。此類分類載玻片的示例是第2圖的分類載玻片210。
在350處，病理學家輔助系統在影像顯示單元上顯示分類載玻片和使用者介面(user interface; UI)元件，從而使病理學家能夠輸入與該分類載玻片有關的輸入。通常，病理學家可以使用顯示的資訊來幫助對數位化的組織載玻片中圖示的組織進行診斷。第2圖的使用者介面200是此類顯示器的實例。在方法300的一些實施例中，UI元件允許病理學家重新界定ROI或改變ROI的分類，諸如藉由重新繪製ROI的線或將ROI指示為完全非腫瘤的。
在360處，病理學家輔助系統任選地從病理學家接收與分類載玻片有關的輸入。在方法300的一些實施例中，與分類載玻片有關的輸入是如上所述對分類載玻片的校正。然而，在方法300的其他實施例中，與分類載玻片有關的輸入是由腫瘤分類模型確定的對ROI的驗證。
在370處，病理學家輔助系統可以基於從病理學家接收的輸入來更新分類載玻片。若與分類載玻片有關的輸入是對分類載玻片的校正，則該對分類載玻片的校正可用於更新腫瘤分類模型。通常，更新腫瘤分類模型可涉及改變機器學習的參數以改變機器學習模型的資料處理操作。對腫瘤分類模型進行更新亦可涉及用對訓練資料中包括的分類載玻片的校正來重新訓練腫瘤分類模型。
若與分類載玻片有關的輸入是對分類載玻片的校正，則方法300亦可包括對分類載玻片施加校正，以及將分類載玻片儲存在分類載玻片儲存裝置中。分類載玻片的此類儲存可隨後用於重新訓練或修改用於識別ROI的腫瘤分類模型。
第4圖是藉由腫瘤分類模型來對腫瘤區域進行偵測和分類的示例方法400的流程圖。方法400可以由腫瘤分類模組(諸如第1圖的腫瘤分類模組122)執行。方法400開始於410，其中腫瘤分類模組從病理學家輔助系統接收數位化的組織載玻片。可以從數位化的組織載玻片資料庫獲得數位化的組織載玻片。數位化的組織載玻片可能先前已經由組織分類模型進行了分析，因此可以包括對該數位化的組織載玻片中圖示的組織的指示。方法400的一些實施例進一步包括從病理學家輔助系統接收對用於對數位化的組織載玻片進行染色的生物標誌物的指示，以及基於所使用的生物標誌物來選擇用於分析數位化的組織載玻片的腫瘤分類模型。通常，生物標誌物是用於製備供分析的組織載玻片的試劑。可以使用不同的試劑以使得能夠分析所展示的組織樣品的不同特徵。腫瘤分類模組可以使用所識別的生物標誌物來選擇針對該類型組織和所使用的生物標誌物兩者的腫瘤分類模型。
在420處，腫瘤分類模組生成二進制遮罩，其中該二進制遮罩指示該數位化的組織載玻片中的ROI。通常，二進制遮罩可用於電腦化的圖形中以隔離某些視覺影像。在該情況下，基於來自腫瘤分類模型的輸出，腫瘤分類模組創建二進制遮罩，該二進制遮罩藉由過濾掉非腫瘤細胞來隔離數位化的組織載玻片中圖示的腫瘤細胞。結果是僅包括連續腫瘤細胞區域(亦即ROI)的影像。
在430處，腫瘤分類模組基於經擬合以匹配ROI的橢圓來確定該ROI的直徑。腫瘤的階段可以藉由使用腫瘤的大小(在該情況下為直徑)來確立。在該實例中，腫瘤分類模組可以使橢圓與ROI擬合以估計直徑。通常，腫瘤分類模組生成橢圓，並且可以對該橢圓進行重定大小、旋轉、重分比例或以其他方式變換以與ROI擬合。橢圓有兩個軸，亦即長軸和短軸。在橢圓完全覆蓋ROI的時刻，腫瘤分類模組確定橢圓的長軸，並使用該長軸的長度作為ROI直徑的估計值。
在440處，腫瘤分類模組基於ROI的直徑將該ROI分類為一腫瘤類別，其中該腫瘤類別指示在該腫瘤類別中的腫瘤的階段。如所論述的，腫瘤的大小可以用來確定腫瘤的階段。使用在430處確定的估計直徑，腫瘤分類模組亦可估計腫瘤的階段，並且因此將ROI分類為與該階段相對應的腫瘤類別。方法400的一些實施例進一步包括基於大小來分割ROI。
在450處，腫瘤分類模組基於ROI生成分類載玻片，其中該分類載玻片基於與ROI有關的腫瘤類別而將該ROI顯示為顏色編碼。例如，被確定為第一階段腫瘤的ROI可以是紅色，而被確定為第二階段腫瘤的ROI可以是黃色，等等。藉由使得更易區分ROI，對ROI進行顏色編碼可以輔助病理學家使用分類載玻片。在方法400的一些實施例中，分類載玻片將每個ROI顯示為分類載玻片上的覆蓋。為了生成分類載玻片，腫瘤分類模組可以將僅包括上述連續腫瘤細胞區域的影像與原始數位載玻片影像進行組合。藉由用某些顏色描畫僅腫瘤細胞的影像，可以實現顏色編碼的效果。另外，藉由對僅腫瘤細胞的影像進行著色，可以實現覆蓋效果。
在460處，腫瘤分類模組將分類載玻片傳輸到病理學家輔助系統。在傳輸之後，病理學家輔助系統可以將分類載玻片提供給病理學家以幫助診斷數位化的組織載玻片。方法400的一些實施例進一步包括從病理學家輔助系統接收對由病理學家進行的對分類載玻片的校正，以及基於該對分類載玻片的校正來更新腫瘤分類模型。
第5圖是用於腫瘤的自動偵測和分類的示例性計算裝置500的方塊圖。如圖所示，計算裝置500包括但不限於中央處理單元(central processing unit; CPU) 502；一個或多個輸入/輸出(input/output; I/O)裝置介面504，該一個或多個輸入/輸出(I/O)裝置介面504可以允許將各種I/O裝置514 (例如，鍵盤、顯示器、滑鼠裝置、筆輸入等)連接到計算裝置500；網路介面506；記憶體508；儲存裝置510；以及互連512。
CPU 502可以檢索並執行在記憶體508中儲存的程式化指令。類似地，CPU 502可以檢索並儲存駐留在記憶體508中的應用程式資料。互連512在CPU 502、I/O裝置介面504、網路介面506、記憶體508和儲存裝置510之間傳輸程式化指令和應用程式資料。CPU 502被包括以代表單一CPU、多個CPU、具有多個處理核心的單一CPU等。I/O裝置介面504可以提供用於從整合到或連接到計算裝置500的一個或多個輸入裝置(諸如鍵盤、滑鼠、触控萤幕等)捕獲資料的介面。一種此類I/O裝置可以是第1圖的輸出顯示裝置140。例如，記憶體508可以表示隨機存取記憶體(random access memory; RAM)，而儲存裝置510可以是固態驅動器。儘管圖示為單一單元，但是儲存裝置510可以是固定和/或可移式儲存裝置的組合，該等固定和/或可移式儲存裝置為諸如固定驅動器、可移式記憶卡、網路附屬儲存裝置(network attached storage; NAS)，或基於雲端的儲存裝置。
如圖所示，記憶體508包括組織分類模組522、腫瘤分類模組524和病理學家輸入526。組織分類模組522和腫瘤分類模組524是基於儲存在儲存裝置510中的指令執行的軟體對象。此類指令可以由CPU 502執行。病理學家輸入526是暫時駐留在記憶體508中的資料。
如圖所示，儲存裝置510包括載玻片資料庫532、訓練資料534和分類載玻片536。載玻片資料庫532、訓練資料534和分類載玻片536可以由在記憶體508外執行的軟體使用，以執行用於對數位化的組織載玻片中的腫瘤進行自動偵測和分類的方法。特別地，組織分類模組522可以使用從載玻片資料庫532獲得的組織載玻片來識別載玻片中的組織的類型。基於組織類型，腫瘤分類模組524可以生成分類載玻片536。可以經由I/O裝置介面504和I/O裝置514向病理學家使用者顯示分類載玻片536，可以作為回報接收到病理學家輸入526。隨後，病理學家輸入526可以用於更新腫瘤分類模組524。訓練資料534可能先前已用於訓練組織分類模組522和腫瘤分類模組524的機器學習模型。
提供前面的描述是為了使本領域的任何技藝人士能夠實踐本文所述的各種實施例。本文論述的實例不限制申請專利範圍中闡述的範疇、適用性或實施例。對該等實施例的各種修改對本領域技藝人士而言將是顯而易見的，並且本文中定義的一般原理可應用於其他實施例。例如，可以在不脫離本揭露的範疇的情況下對所論述的元件的功能和佈置進行改變。各種實例可以適當地省略、替代或添加各種程序或部件。例如，可以以與所描述的順序不同的順序執行所描述的方法，並且可以添加、省略或組合各個步驟。而且，關於一些實例描述的特徵可以在一些其他實例中組合。例如，使用本文闡述的任何數量的態樣，可以實施設備或可以實踐方法。另外，本揭露的範疇意欲涵蓋使用其他結構、功能，或作為本文闡述的本揭露的各個態樣的補充或替代的結構和功能實踐的此類設備或方法。應當理解，本文揭示的揭露內容的任何態樣可以由申請專利範圍的一個或多個要素來體現。
如本文所用，術語「確定」涵蓋多種動作。例如，「確定」可包括計算、運算、處理、推導、調查、查找(例如，在表、資料庫或另一資料結構中查找)、確定等。而且，「確定」可包括接收(例如，接收資訊)、存取(例如，存取記憶體中的資料)等。而且，「確定」可包括解析、選擇、挑選、確立等。
本文揭示的方法包括用於實現該方法的一個或多個步驟或動作。在不脫離申請專利範圍的範疇的情況下，方法步驟和/或動作可以彼此互換。換言之，除非指定了步驟或動作的特定順序，否則可以在不脫離申請專利範圍的範疇的情況下修改特定步驟和/或動作的順序和/或使用。此外，可以藉由能夠執行相應功能的任何合適的構件來執行上述方法的各種操作。該構件可包括各種硬體和/或軟體部件和/或模組，包括但不限於電路、特殊應用積體電路(application specific integrated circuit; ASIC)，或處理器。通常，在附圖中圖示了操作的情況下，彼等操作可以具有使用類似編號的對應的配對手段加功能部件。
可以用經設計用於執行本文所述功能的通用處理器、數位信號處理器(digital signal processor; DSP)、特殊應用積體電路本揭示(application specific integrated circuit; ASIC)、現場可程式閘陣列(field programmable gate array; FPGA)或其他可程式邏輯裝置(programmable  logic device; PLD)、分立閘極或電晶體邏輯、分立硬體部件或其任何組合來實施或執行結合本揭露描述的各種說明性邏輯區塊、模組和電路。通用處理器可以是微處理器，但在替代方案中，處理器可以是任何市售的處理器、控制器、微控制器，或狀態機。處理器亦可以是圖形處理單元(graphics processing unit; GPU)，諸如通常在電腦圖形和影像處理中使用的彼等圖形處理單元。處理器亦可以被實施為計算裝置的組合，例如，DSP和微處理器的組合、複數個微處理器、與DSP核心結合的一個或多個微處理器，或任何其他此類配置。
處理系統可以用匯流排架構來實施。取決於處理系統的特定應用和整體設計約束，匯流排可包括任何數量的互連匯流排和橋接器。匯流排可以將包括處理器、機器可讀取媒體和輸入/輸出裝置等的各種電路鏈接在一起。使用者介面(例如，小鍵盤、顯示器、滑鼠、操縱桿等)亦可以連接到匯流排。匯流排亦可以鏈接各種其他電路，諸如時序源、周邊裝置、電壓調節器、功率管理電路，以及本領域中眾所周知的其他電路元件，因此將不再贅述。該處理器可以用一個或多個通用和/或專用處理器來實施。實例包括微處理器、微控制器、DSP處理器，以及其他能夠執行軟體的電路系統。本領域技藝人士應認識到，取決於特定應用和施加於整體系統上的整體設計約束，如何最好地實施處理系統的所描述功能。
若以軟體實施，則功能可以作為一個或多個指令或代碼在電腦可讀取媒體上儲存或傳輸。軟體應廣義地解釋為代表指令、資料，或其任何組合，無論是被稱為軟體、韌體、中間軟體、微碼、硬體描述語言，還是其他事物。電腦可讀取媒體包括電腦儲存媒體和通訊媒體，諸如促進將電腦程式從一個地方轉移到另一個地方的任何媒體。處理器可以負責管理匯流排和一般處理，包括執行儲存在電腦可讀取儲存媒體上的軟體模組。電腦可讀取儲存媒體可以耦合到處理器，以使得處理器可以從該儲存媒體讀取資訊，並且可以向該儲存媒體寫入資訊。或者，儲存媒體可以與處理器整合在一起。舉例而言，電腦可讀取媒體可以包括傳輸線、由資料調制的載波，及/或與無線節點分開的上面儲存有指令的電腦可讀取儲存媒體，所有該等裝置都可以由處理器經由匯流排介面存取。替代地或另外地，電腦可讀取媒體或其任何部分可以被整合到處理器中，諸如情況可以是具有快取和/或通用暫存器檔案。機器可讀取儲存媒體的實例可包括例如RAM (隨機存取記憶體)、快閃記憶體、ROM (唯讀記憶體)、PROM (可程式唯讀記憶體)、EPROM (可抹除可程式唯讀記憶體)、EEPROM(電可抹除可程式唯讀記憶體)、暫存器、磁碟、光碟、硬驅動機，或任何其他合適的儲存媒體，或其任意組合。機器可讀取媒體可以體現在電腦程式產品中。
軟體模組可以包括單一指令或多個指令，並且可以分佈在幾個不同的代碼區段上、不同程式之間，以及多個儲存媒體上。該電腦可讀取媒體可以包括多個軟體模組。該軟體模組包括指令，該等指令當由諸如處理器等設備執行時，使處理系統執行各種功能。軟體模組可以包括發送模組和接收模組。每個軟體模組可以駐留在單一儲存裝置中，或者分佈在多個儲存裝置中。舉例而言，當觸發事件發生時，可以將軟體模組從硬驅動機加載到RAM中。在軟體模組的執行期間，處理器可以將一些指令加載到快取中以提高存取速度。隨後可以將一個或多個快取列加載到通用暫存器檔案中，以供由處理器執行。當提及軟體模組的功能性時，應理解的是，當從該軟體模組執行指令時，此類功能性由處理器實施。
所附申請專利範圍並不意欲限於本文所示的實施例，而是符合與申請專利範圍的語言一致的全部範疇。在請求項中，除非特別說明，否則以單數形式提及元件並不意欲表示「一個且僅一個」，而是「一或多個」。除非另外特別說明，否則術語「一些」是指一或多個。請求項要素不應被解釋為根據專利法的規定，除非使用用語「用於……的構件」明確陳述該要素，或者在方法請求項的情況下，使用用語「用於……的步驟」對要素進行陳述。本領域一般技藝人士已知或以後將知道的貫穿本揭露所描述的各個態樣的要素的所有結構和功能等同物均以引用方式明確併入本文，並且意欲由申請專利範圍涵蓋。而且，無論在申請專利範圍中是否明確敘述了本文揭示的內容，都不意欲將此類揭示內容奉獻給公眾。
100:計算環境 110:病理學家輔助系統 120:組織分類模組 122:腫瘤分類模組 124:分類載玻片 126:病理學家輸入 130:載玻片源 132:顯微鏡 134:載玻片資料庫 140:輸出顯示裝置 200:使用者介面 210:分類載玻片 220:框 230:框 240:框 300:方法 310:步驟 320:步驟 330:步驟 340:步驟 350:步驟 360:步驟 370:步驟 400:方法 410:步驟 420:步驟 430:步驟 440:步驟 450:步驟 460:步驟 500:計算裝置 502:中央處理單元(CPU) 504:輸入/輸出(I/O)裝置介面 506:網路介面 508:記憶體 510:儲存裝置 512:互連 514:I/O裝置 522:組織分類模組 524:腫瘤分類模組 526:病理學家輸入 532:載玻片資料庫 534:訓練資料 536:分類載玻片
附圖描述了一個或多個實施例的某些態樣，因此不應視為限製本揭露的範疇。
第1圖描繪了用於對腫瘤進行自動偵測和分類的示例性計算環境。
第2圖描繪了用於呈現分類載玻片的示例性使用者介面。
第3圖是用於對組織載玻片中的腫瘤區域進行自動偵測和分類的示例性方法的流程圖。
第4圖是用於藉由腫瘤分類模組來對腫瘤區域進行偵測和分類的示例性方法的流程圖。
第5圖是對腫瘤進行自動偵測和分類的示例性計算裝置的方塊圖。
為了便於理解，在可能的情況下使用了相同的元件符號來指定附圖中共用的相同元件。可以預期的是，一個實施例的元件和特徵可以被有益地併入其他實施例中，而無需進一步敘述。
國內寄存資訊 (請依寄存機構、日期、號碼順序註記) 無
國外寄存資訊 (請依寄存國家、機構、日期、號碼順序註記) 無
300:方法
310:步驟
320:步驟
330:步驟
340:步驟
350:步驟
360:步驟
370:步驟

Claims (17)

  1. 一種對一組織載玻片中的腫瘤區域進行自動偵測和分類的方法，包括以下步驟：從一組織載玻片資料庫中獲得一數位化的組織載玻片；基於來自一組織分類模組的輸出，確定該數位化的組織載玻片中圖示的一組織類型；基於來自針對該組織類型的一腫瘤分類模型的輸出，確定該數位化的組織載玻片的一感興趣區域(ROI)，其中該ROI對應於該數位化的組織載玻片的由該腫瘤分類模型確定為一腫瘤的一區段；生成一分類載玻片，該分類載玻片圖示該數位化的組織載玻片的該ROI和該ROI的一估計直徑；在一影像顯示單元上顯示該分類載玻片和使用者介面(UI)元件，從而使得一病理學家能夠輸入與該分類載玻片有關的輸入；從該病理學家接收與該分類載玻片有關的輸入；以及基於從該病理學家接收的該輸入來更新該分類載玻片。
  2. 如請求項1所述之方法，其中與該分類載玻片有關的該輸入是對該分類載玻片的一校正。
  3. 如請求項2所述之方法，其中使用對該分類載玻片的該校正來更新該腫瘤分類模型。
  4. 如請求項2所述之方法，進一步包括以下步驟：將該校正施加至該分類載玻片；以及將該分類載玻片儲存在一分類載玻片儲存裝置中。
  5. 如請求項1所述之方法，其中與該分類載玻片有關的該輸入是由該腫瘤分類模型確定的對該ROI的一驗證。
  6. 如請求項1所述之方法，其中該病理學家使用該分類載玻片來對該數位化的組織載玻片中圖示的一組織進行診斷。
  7. 如請求項1所述之方法，其中該UI元件允許該病理學家重新界定該ROI或改變該ROI的一分類。
  8. 如請求項1所述之方法，其中該腫瘤分類模型是一卷積神經網路。
  9. 如請求項1所述之方法，其中該組織分類模組使用圖型識別來確定人類解剖結構的與該數位化的組織載玻片相關聯的一部分。
  10. 一種對一組織載玻片中的腫瘤區域進行自動偵測和分類的系統，包括：一處理器；以及 一記憶體，該包括指令，該等指令當由該處理器執行時，使該系統執行一方法，該方法包括以下步驟：從一組織載玻片資料庫中獲得一數位化的組織載玻片；基於來自一組織分類模組的輸出，確定該數位化的組織載玻片中圖示的一組織類型；基於來自針對該組織類型的一腫瘤分類模型的輸出，確定該數位化的組織載玻片的一感興趣區域(ROI)，其中該ROI對應於該數位化的組織載玻片的由該腫瘤分類模型確定為一腫瘤的一區段；生成一分類載玻片，該分類載玻片圖示該數位化的組織載玻片的該ROI和該ROI的一估計直徑；在一影像顯示單元上顯示該分類載玻片和使用者介面(UI)元件，從而使得一病理學家能夠輸入與該分類載玻片有關的輸入；從該病理學家接收與該分類載玻片有關的輸入；以及基於從該病理學家接收的該輸入來更新該分類載玻片。
  11. 如請求項10所述之系統，其中與該分類載玻片有關的該輸入是對該分類載玻片的一校正。
  12. 如請求項11所述之系統，其中使用對該分 類載玻片的該校正來更新該腫瘤分類模型。
  13. 如請求項10所述之系統，其中該等UI元件允許該病理學家重新界定該ROI或改變該ROI的一分類。
  14. 一種由一腫瘤分類模組對一組織載玻片中的腫瘤區域進行自動偵測和分類的方法，包括以下步驟：從一病理學家輔助系統接收一數位化的組織載玻片；生成一二進制遮罩，其中該二進制遮罩指示該數位化的組織載玻片中的一感興趣區域(ROI)；基於經擬合以匹配該ROI的一橢圓來確定該ROI的一直徑；基於該ROI的該直徑將該ROI分類為一腫瘤類別，其中該腫瘤類別指示該腫瘤類別中的腫瘤的一階段；基於該ROI生成一分類載玻片，其中該分類載玻片基於與每個ROI相關聯的該腫瘤類別將每個ROI顯示為顏色編碼；將該分類載玻片傳輸到該病理學家輔助系統；從該病理學家輔助系統接收由一病理學家進行的對該分類載玻片的一校正；以及基於對該分類載玻片的該校正，更新用於識別該 ROI的一腫瘤分類模型。
  15. 如請求項14所述之方法，進一步包括：基於大小來分割該ROI。
  16. 如請求項14所述之方法，其中該分類載玻片將該ROI顯示為一覆蓋。
  17. 如請求項14所述之方法，進一步包括以下步驟：從該病理學家輔助系統接收對用於對該數位化的組織載玻片進行染色的生物標誌物的一指示；以及基於所使用的該生物標誌物來選擇用於分析該數位化的組織載玻片的一腫瘤分類模型。
TW108130964A 2018-08-30 2019-08-29 用於自動腫瘤偵測和分類的方法及系統 TWI743544B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
IN201841032562 2018-08-30
IN201841032562 2018-08-30

Publications (2)

Publication Number Publication Date
TW202027094A TW202027094A (zh) 2020-07-16
TWI743544B true TWI743544B (zh) 2021-10-21

Family

ID=69642283

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108130964A TWI743544B (zh) 2018-08-30 2019-08-29 用於自動腫瘤偵測和分類的方法及系統

Country Status (7)

Country Link
US (3) US11017207B2 (zh)
EP (1) EP3844781A4 (zh)
JP (1) JP2021535484A (zh)
KR (1) KR102590482B1 (zh)
CN (1) CN112585696A (zh)
TW (1) TWI743544B (zh)
WO (1) WO2020046986A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11158398B2 (en) * 2020-02-05 2021-10-26 Origin Labs, Inc. Systems configured for area-based histopathological learning and prediction and methods thereof
CN111445449B (zh) * 2020-03-19 2024-03-01 上海联影智能医疗科技有限公司 感兴趣区域的分类方法、装置、计算机设备和存储介质
US11823021B2 (en) 2020-07-31 2023-11-21 Yahoo Assets Llc System and method for ensemble expert diversification via bidding
US20220036249A1 (en) * 2020-07-31 2022-02-03 Oath Inc. System and Method for Ensemble Expert Diversification and Control Thereof
US11915114B2 (en) 2020-07-31 2024-02-27 Yahoo Assets Llc System and method for ensemble expert diversification
CN112241766B (zh) * 2020-10-27 2023-04-18 西安电子科技大学 基于样本生成和迁移学习的肝脏ct图像多病变分类方法
CN112884707B (zh) * 2021-01-15 2023-05-05 复旦大学附属妇产科医院 基于阴道镜的宫颈癌前病变检测系统、设备及介质
CN113421272B (zh) * 2021-06-22 2023-05-23 厦门理工学院 一种肿瘤浸润深度的监测方法、装置、设备和存储介质
WO2023018085A1 (ko) * 2021-08-10 2023-02-16 주식회사 루닛 병리 슬라이드 이미지와 관련된 정보를 출력하는 방법 및 장치
KR102393957B1 (ko) * 2021-12-30 2022-05-03 서울대학교병원 전립선암 분석 장치 및 프로그램, 이의 동작 방법
KR102622960B1 (ko) * 2022-08-25 2024-01-10 (재)씨젠의료재단 조직 병리 판독 지원 장치 및 그 방법

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW514513B (en) * 1996-02-06 2002-12-21 Deus Technologies Inc Method for the detection of lung nodule in radiological images using digital image processing and artificial neural network
TW200616588A (en) * 2004-08-11 2006-06-01 Aureon Biosciences Corp Systems and methods for automated diagnosis and grading of tissue images
US20130034279A1 (en) * 2011-08-02 2013-02-07 Nec Laboratories America, Inc. Cloud-based digital pathology
US20170086674A1 (en) * 2015-09-30 2017-03-30 DePuy Synthes Products, Inc. Implant placement method with feedback
CN106897573A (zh) * 2016-08-01 2017-06-27 12西格玛控股有限公司 使用深度卷积神经网络的用于医学图像的计算机辅助诊断系统
US20170330320A1 (en) * 2016-05-13 2017-11-16 National Jewish Health Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
CN107798673A (zh) * 2016-09-01 2018-03-13 卡西欧计算机株式会社 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质

Family Cites Families (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7529394B2 (en) 2003-06-27 2009-05-05 Siemens Medical Solutions Usa, Inc. CAD (computer-aided decision) support for medical imaging using machine learning to adapt CAD process with knowledge collected during routine use of CAD system
US20100104513A1 (en) * 2008-10-28 2010-04-29 General Electric Company Method and system for dye assessment
US8488863B2 (en) * 2008-11-06 2013-07-16 Los Alamos National Security, Llc Combinational pixel-by-pixel and object-level classifying, segmenting, and agglomerating in performing quantitative image analysis that distinguishes between healthy non-cancerous and cancerous cell nuclei and delineates nuclear, cytoplasm, and stromal material objects from stained biological tissue materials
US9208405B2 (en) * 2010-08-06 2015-12-08 Sony Corporation Systems and methods for digital image analysis
US9082169B2 (en) * 2010-12-01 2015-07-14 Brainlab Ag Longitudinal monitoring of pathology
US8711149B2 (en) * 2010-12-08 2014-04-29 Definiens Ag Graphical user interface for interpreting the results of image analysis
US20140233826A1 (en) 2011-09-27 2014-08-21 Board Of Regents Of The University Of Texas System Systems and methods for automated screening and prognosis of cancer from whole-slide biopsy images
WO2013109802A1 (en) * 2012-01-19 2013-07-25 H. Lee Moffitt Cancer Center And Research Institute, Inc. Histology recognition to automatically score and quantify cancer grades and individual user digital whole histological imaging device
TWI483711B (zh) 2012-07-10 2015-05-11 Univ Nat Taiwan Tumor detection system and method of breast ultrasound image
JP6192747B2 (ja) * 2013-03-15 2017-09-06 ベンタナ メディカル システムズ， インコーポレイテッド デジタル・ホール・スライドの自動採点のための組織物体に基づく機械学習システム
KR20150131018A (ko) * 2013-03-15 2015-11-24 세노 메디컬 인스투르먼츠 인코포레이티드 진단 벡터 분류 지원을 위한 시스템 및 방법
US10088658B2 (en) 2013-03-18 2018-10-02 General Electric Company Referencing in multi-acquisition slide imaging
MX2015013415A (es) * 2013-03-19 2016-08-18 Cireca Theranostics Llc Metodo y sistema para analizar especímenes biológicos mediante formación de imágenes espectrales.
US9946953B2 (en) * 2013-05-10 2018-04-17 Koninklijke Philips N.V. Apparatus and method for processing images of tissue samples
US9842391B2 (en) * 2013-05-14 2017-12-12 Pathxl Limited Method and apparatus for processing an image of a tissue sample
JP2014235494A (ja) * 2013-05-31 2014-12-15 富士ゼロックス株式会社 画像処理装置及びプログラム
WO2015054666A1 (en) * 2013-10-10 2015-04-16 Board Of Regents, The University Of Texas System Systems and methods for quantitative analysis of histopathology images using multi-classifier ensemble schemes
WO2015069824A2 (en) * 2013-11-06 2015-05-14 Lehigh University Diagnostic system and method for biological tissue analysis
KR101590483B1 (ko) * 2013-11-25 2016-02-01 조선대학교산학협력단 형태학적 연산을 이용한 이미지 분할 처리방법
AU2015212984A1 (en) * 2014-01-28 2016-06-23 Ventana Medical Systems, Inc. Adaptive classification for whole slide tissue segmentation
US9547898B2 (en) 2014-03-26 2017-01-17 Sectra Ab Automated cytology/histology viewers and related methods
CA2955156C (en) * 2014-09-03 2024-04-30 Ventana Medical Systems, Inc. Systems and methods for generating fields of view
US10761027B2 (en) * 2016-01-19 2020-09-01 Konica Minolta, Inc. Image processing apparatus and computer-readable recording medium storing program
CN109196554B (zh) * 2016-05-18 2024-02-02 豪夫迈·罗氏有限公司 肿瘤接近度量
US10346975B2 (en) * 2016-06-06 2019-07-09 Case Western Reserve University Computerized analysis of computed tomography (CT) imagery to quantify tumor infiltrating lymphocytes (TILs) in non-small cell lung cancer (NSCLC)
CN106355023A (zh) * 2016-08-31 2017-01-25 北京数字精准医疗科技有限公司 基于医学影像的开放式定量分析方法与系统
JP6955004B2 (ja) * 2016-10-21 2021-10-27 ナントミクス，エルエルシー デジタル病理組織診断及び顕微解剖
JP6968177B2 (ja) 2016-12-22 2021-11-17 ベンタナ メディカル システムズ， インコーポレイテッド 一次染色および免疫組織化学画像に基づくコンピュータ採点
WO2018155898A1 (en) * 2017-02-21 2018-08-30 Koh Young Technology Inc Method and apparatus for processing histological image captured by medical imaging device
CN106875393A (zh) * 2017-03-28 2017-06-20 四川大学 一种基于图像分析的肿瘤细胞dna含量检测方法
EP3586181B1 (en) * 2017-06-13 2021-09-22 Google LLC Augmented reality microscope for pathology
US20190042826A1 (en) * 2017-08-04 2019-02-07 Oregon Health & Science University Automatic nuclei segmentation in histopathology images
EP3721406B1 (en) * 2017-12-05 2024-01-24 Ventana Medical Systems, Inc. Method of computing tumor spatial and inter-marker heterogeneity
CN111417958A (zh) * 2017-12-07 2020-07-14 文塔纳医疗系统公司 用于生物图像中的联合细胞和区域分类的深度学习系统和方法
US10740896B2 (en) * 2017-12-29 2020-08-11 Leica Biosystems Imaging, Inc. Processing of histology images with a convolutional neural network to identify tumors
WO2019199392A1 (en) * 2018-04-12 2019-10-17 Google Llc Augmented reality microscope for pathology with overlay of quantitative biomarker data
WO2019197509A1 (en) * 2018-04-13 2019-10-17 Ventana Medical Systems, Inc. Systems for cell shape estimation

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW514513B (en) * 1996-02-06 2002-12-21 Deus Technologies Inc Method for the detection of lung nodule in radiological images using digital image processing and artificial neural network
TW200616588A (en) * 2004-08-11 2006-06-01 Aureon Biosciences Corp Systems and methods for automated diagnosis and grading of tissue images
US20130034279A1 (en) * 2011-08-02 2013-02-07 Nec Laboratories America, Inc. Cloud-based digital pathology
US20170086674A1 (en) * 2015-09-30 2017-03-30 DePuy Synthes Products, Inc. Implant placement method with feedback
US20170330320A1 (en) * 2016-05-13 2017-11-16 National Jewish Health Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
CN106897573A (zh) * 2016-08-01 2017-06-27 12西格玛控股有限公司 使用深度卷积神经网络的用于医学图像的计算机辅助诊断系统
CN107798673A (zh) * 2016-09-01 2018-03-13 卡西欧计算机株式会社 诊断支援装置、诊断支援装置的图像处理方法、以及存储程序的存储介质

Also Published As

Publication number Publication date
KR102590482B1 (ko) 2023-10-19
KR20210038987A (ko) 2021-04-08
US11017207B2 (en) 2021-05-25
US11688188B2 (en) 2023-06-27
JP2021535484A (ja) 2021-12-16
TW202027094A (zh) 2020-07-16
US20200074146A1 (en) 2020-03-05
US20230394853A1 (en) 2023-12-07
EP3844781A4 (en) 2022-05-11
US20210240966A1 (en) 2021-08-05
EP3844781A1 (en) 2021-07-07
CN112585696A (zh) 2021-03-30
WO2020046986A1 (en) 2020-03-05

Similar Documents

Publication Publication Date Title
TWI743544B (zh) 用於自動腫瘤偵測和分類的方法及系統
US11468564B2 (en) Systems and methods for automatic detection and quantification of pathology using dynamic feature classification
Marzahl et al. Deep learning-based quantification of pulmonary hemosiderophages in cytology slides
US20210158524A1 (en) Deep learning-based multi-site, multi-primitive segmentation for nephropathology using renal biopsy whole slide images
CN109859168A (zh) 一种x射线胸片图像质量确定方法及装置
KR102316557B1 (ko) 자궁경부암 자동 진단 시스템
JP2023534448A (ja) 機械学習技術を使用したデジタル病理画像における特徴の異種性の評価
WO2024074921A1 (en) Distinguishing a disease state from a non-disease state in an image
KR102580419B1 (ko) 병리 슬라이드 이미지 내의 관심 영역을 검출하기 위한 방법 및 시스템
McKenna et al. Automated classification for visual-only postmortem inspection of porcine pathology
CN113076993B (zh) 用于胸部x光片识别的信息处理方法、模型训练方法
Tang et al. Detection of large-droplet macrovesicular steatosis in donor livers based on segment-anything model
CN111583203A (zh) 基于深度学习模型的病理图像标注方法及系统
CN112514001A (zh) 评价组织样本纤维化的方法和系统
US20220262513A1 (en) Method and system for training machine learning model for detecting abnormal region in pathological slide image
US20230290111A1 (en) Systems and methods to process electronic images for model selection
US20230419491A1 (en) Attention-based multiple instance learning for whole slide images
US20240046670A1 (en) Method and system for analysing pathology image
US20220261988A1 (en) Method and system for detecting region of interest in pathological slide image
Madan et al. Unboxing the blackbox-Visualizing the model on hand radiographs in skeletal bone age assessment
Zhang et al. Automated scoring system of HER2 in pathological images under the microscope
Ribeiro et al. Explainable AI in Deep Learning-based Detection of Aortic Elongation on Chest X-ray Images
GALAGAN et al. Automation of polycystic ovary syndrome diagnostics through machine learning algorithms in ultrasound imaging
Soronow et al. Bell Jar: A Semi-Automated Registration and Cell Counting Tool for Mouse Neurohistology Analysis
CN117456271A (zh) 图像特征像素级采集和标注方法及其在冠状动脉狭窄指标标注应用