TW202006738A - 應用機器學習的醫學影像分析方法及其系統 - Google Patents

應用機器學習的醫學影像分析方法及其系統 Download PDF

Info

Publication number
TW202006738A
TW202006738A TW107124061A TW107124061A TW202006738A TW 202006738 A TW202006738 A TW 202006738A TW 107124061 A TW107124061 A TW 107124061A TW 107124061 A TW107124061 A TW 107124061A TW 202006738 A TW202006738 A TW 202006738A
Authority
TW
Taiwan
Prior art keywords
medical image
artificial intelligence
data
intelligence model
deep learning
Prior art date
Application number
TW107124061A
Other languages
English (en)
Inventor
王靖維
Original Assignee
國立臺灣科技大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣科技大學 filed Critical 國立臺灣科技大學
Priority to TW107124061A priority Critical patent/TW202006738A/zh
Priority to US16/111,216 priority patent/US20200019823A1/en
Priority to JP2018205377A priority patent/JP2020013529A/ja
Priority to DE102018128806.9A priority patent/DE102018128806A1/de
Publication of TW202006738A publication Critical patent/TW202006738A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/40—Software arrangements specially adapted for pattern recognition, e.g. user interfaces or toolboxes therefor
    • G06F18/41—Interactive pattern learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/778—Active pattern-learning, e.g. online learning of image or video features
    • G06V10/7784—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors
    • G06V10/7788—Active pattern-learning, e.g. online learning of image or video features based on feedback from supervisors the supervisor being a human, e.g. interactive learning with a human teacher
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/03—Recognition of patterns in medical or anatomical images

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Medical Informatics (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Multimedia (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Human Computer Interaction (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)

Abstract

本發明提出一種應用機器學習的醫學影像分析方法及其系統。醫學影像分析系統包括雲端伺服器以及電子裝置。雲端伺服器儲存深度學習模組以及人工智慧模型。醫學影像分析方法包括以下步驟：輸入修正資料至深度學習模組，以使深度學習模組依據修正資料來修正人工智慧模型，以產生修正後的人工智慧模型；以及輸入醫學影像資料至電子裝置，並且電子裝置提供醫學影像資料至雲端伺服器，以藉由修正後的人工智慧模型來分析醫學影像資料，並且產生分析結果資料。

Description

應用機器學習的醫學影像分析方法及其系統
本發明是有關於一種應用機器學習的分析技術，且特別是有關於一種應用機器學習的醫學影像分析方法及其系統。
癌症在已開發國家中已經成為死亡的主要原因之一。在癌症的診斷過程中，癌症的病理切片的審查報告是目前重要診斷標準之一。一般而言，醫生可透過癌症的病理切片的審查報告來判斷腫瘤的生長程度、病程分級以及腫瘤特徵，因此對於病人的治療有極大的影像。然而，在一張數位化的醫學影像中，醫學影像可能具有上億個像素。也就是說，如此大量的資料量是無法在有限的時間內被完全準確地判讀。並且，即使由經過專業培訓的多名病理學家來判斷同一份病理切片的醫學影像，其病理分析的共識度也不高。有鑑於此，如何有效分析醫學影像資料，以下提出幾個實施例的解決方案。
本發明提供一種應用機器學習的醫學影像分析方法及其系統可透過增強式學習以及持續優化的方式來產生人工智慧模型，並且人工智慧模型可有效分析醫學影像。
本發明的應用機器學習的醫學影像分析方法適用於醫學影像分析系統。醫學影像分析系統包括雲端伺服器以及電子裝置。雲端伺服器儲存深度學習模組以及人工智慧模型。醫學影像分析方法包括以下步驟：輸入修正資料至深度學習模組，以使深度學習模組依據修正資料來修正人工智慧模型，以產生修正後的人工智慧模型；以及輸入醫學影像資料至電子裝置，並且電子裝置提供醫學影像資料至雲端伺服器，以藉由修正後的人工智慧模型來分析醫學影像資料，並且產生分析結果資料。
在本發明的一實施例中，上述的醫學影像分析方法更包括以下步驟：依據分析結果資料產生下一修正資料，並且將下一修正資料輸入至深度學習模組；以及藉由深度學習模組依據下一修正資料來修正修正後的人工智慧模型，以產生下一修正後的人工智慧模型。
在本發明的一實施例中，上述的醫學影像分析方法更包括以下步驟：輸入訓練資料至深度學習模組，以使深度學習模組依據訓練資料來建立人工智慧模型。
在本發明的一實施例中，上述的訓練資料包括多個醫學參考影像，並且深度學習模組包括全卷積網路模組。輸入訓練資料至深度學習模組，以使深度學習模組依據訓練資料來建立人工智慧模型的步驟包括以下步驟：藉由深度學習模組執行全卷積網路模組，以使全卷積網路模組對所述多個醫學參考影像分別執行神經網路運算，以建立人工智慧模型。
在本發明的一實施例中，上述的全卷積網路模組為對所述多個醫學參考影像分別進行上取樣運算。
在本發明的一實施例中，上述的醫學影像分析方法更包括以下步驟：輸入另一醫學影像資料至電子裝置，並且電子裝置提供另一醫學影像資料至雲端伺服器，以藉由人工智慧模型分析另一醫學影像資料，並且產生另一分析結果資料；以及依據另一分析結果資料產生修正資料。
在本發明的一實施例中，上述的輸入修正資料至深度學習模組，以使深度學習模組依據修正資料來修正人工智慧模型，以產生修正後的人工智慧模型的步驟包括：更輸入另一訓練資料至深度學習模組，以使深度學習模組依據修正資料以及另一訓練資料來修正人工智慧模型，以產生修正後的人工智慧模型。
在本發明的一實施例中，上述的修正資料的權重高於另一訓練資料的權重。
在本發明的一實施例中，上述的另一訓練資料包括另一醫學參考影像。
本發明的應用機器學習的醫學影像分析系統包括雲端伺服器以及電子裝置。雲端伺服器儲存深度學習模組以及人工智慧模型。電子裝置耦接雲端伺服器。當雲端伺服器接收修正資料時，深度學習模組依據修正資料來修正人工智慧模型，以產生修正後的人工智慧模型。當電子裝置接收醫學影像資料時，電子裝置提供醫學影像資料至雲端伺服器，並且修正後的人工智慧模型分析醫學影像資料，以產生分析結果資料。
基於上述，本發明的應用機器學習的醫學影像分析方法及其系統可讓使用者經由電子裝置輸入醫學影像資料後，電子裝置將醫學影像資料提供至遠端的雲端伺服器，以藉由建立在雲端伺服器中的深度學習模組以及人工智慧模型分析醫學影像資料，以有效率的對醫學影像資料進行分析，並且產生分析結果資料。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
為了使本發明之內容可以被更容易明瞭，以下特舉實施例做為本發明確實能夠據以實施的範例。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟，係代表相同或類似部件。
圖1是依照本發明的一實施例的醫學影像分析系統的方塊示意圖。參考圖1，醫學影像分析系統10包括雲端伺服器100以及電子裝置200。雲端伺服器100儲存深度學習模組111以及人工智慧(Artificial Intelligence, AI)模型112。電子裝置200包括輸入裝置210。在本實施例中，雲端伺服器100以及電子裝置200可分別具有通訊模組，以使雲端伺服器100以及電子裝置200之間可進行有線或無線的資料傳輸工作。雲端伺服器100可儲存有巨量醫學參考影像，以供使用者自行建立所需要的人工智慧模型112。也就是說，使用者可透過操作電子裝置200來遠端連線至雲端伺服器100，並且透過通訊模組來執行在雲端伺服器100中預先建立的深度學習模組111以及人工智慧模型112，以進行醫學影像分析工作。本實施例的人工智慧模型112可依據預設的特徵值或判斷條件來對醫學影像進行自動化的影像辨識以及分析。換言之，使用者操作的電子裝置200無需過高的硬體效能需求，而可透過建置在遠端的雲端伺服器100來進行便利的醫學影像分析工作。
電子裝置200可例如是桌上型電腦(Desktop)、工作站電腦(Workstation)、筆記型電腦(Laptop)或平板電腦(Tablet)等諸如此類的電腦裝置。電子裝置200可以與雲端伺服器100通訊。輸入裝置210可包括鍵盤(Keyboard)、滑鼠(Mouse)、各種類型的資料輸入介面或是各種類型的資料傳輸介面，並且具有對應的具體的輸入電路、設備或硬體結構，其中資料輸入介面或是資料傳輸介面可用以傳輸醫學影像資料。舉例而言，使用者可透過電子裝置200的輸入裝置210來輸入控制指令、修正資料、訓練資料或醫學影像資料，並且提供至雲端伺服器100，以使遠端遙控雲端伺服器100。
在本實施例中，使用者可經由電子裝置200的輸入裝置210來輸入修正資料，並且電子裝置200將修正資料提供至雲端伺服器100的深度學習模組111，以使深度學習模組111依據修正資料來修正人工智慧模型112，以產生修正後的人工智慧模型，但本發明並不限於此。在一實施例中，使用者也可直接經由雲端伺服器100的輸入介面，而將修正資料直接輸入至雲端伺服器100。在本實施例中，當深度學習模組111產生修正後的人工智慧模型後，使用者可經由電子裝置200來接著輸入醫學影像資料(例如是人體器官的切片影像)，並且電子裝置200將醫學影像資料提供至雲端伺服器100，以藉由修正後的人工智慧模型來分析醫學影像資料，並且產生分析結果資料。
也就是說，本實施例的醫學影像分析系統10可讓使用者經由電子裝置200與雲端伺服器100遠端通訊的方式來進行醫學影像分析工作，並且本實施例的深度學習模組111依據輸入的修正資料來有效率地修正人工智慧模型112。值得注意的是，修正資料可以依據前一次醫學影像分析結果來對應產生，並且修正資料可例如包括用於修正人工智慧模型112的模型參數或設定，但本發明並不加以限制。因此，本實施例的醫學影像分析系統10是以持續優化的方式來修正人工智慧模型，並且提供準確的醫學影像分析功能。
需說明的是，本實施例的雲端伺服器100所產生的分析結果資料可為定量分析報告，並且醫學影像資料可來自醫學影像顯示設備。醫學影像資料可包括醫學影像，其中醫學影像可以是免疫組織化學(Immunohistochemistry, IHC)顯微鏡影像或其他切片影像。在本實施例中，醫學影像資料可例如是某個特定器官的切片影像，並且本實施例的醫學影像分析系統10用於利用修正後的人工智慧模型來分析醫學影像資料，以有效地判斷在切片影像中的某個特定器官的切片組織是否具有癌症細胞組織。
圖2是依照本發明的一實施例的醫學影像資料的分析結果的示意圖。參考圖1以及圖2，電子裝置200可提供特定生物器官的醫學影像資料至雲端伺服器100，以取得分析結果資料，其中分析結果資料係指生物器官的病理資訊。舉例而言，圖2為表示一個肺部的醫學影像分析結果。電子裝置200可提供肺部的切片影像MI至雲端伺服器100。雲端伺服器100預先建立好的人工智慧模型112可分析肺部的切片影像MI，並且產生對應的病理資訊的分析結果。
在圖2中，切片影像MI包括肺部的切片組織OT以及癌細胞組織PA。雲端伺服器100可分析切片影像MI中的每一個像素的資訊，以藉由人工智慧模型112來判斷在肺部的切片影像MI中的切片組織OT當中是否具有癌細胞組織PA。也就是說，人工智慧模型112可判斷癌細胞組織PA的病徵(Symptom)或病兆(Sign)的位置，以將癌細胞組織PA的範圍標示出來。在本實施例中，當人工智慧模型112分析完成後，雲端伺服器100可將分析結果即時回傳至電子裝置200。也就是說，本實施例的醫學影像分析系統10可快速地取得切片影像MI的分析結果。
圖3是依照本發明的另一實施例的醫學影像分析系統的方塊示意圖。參考圖3，醫學影像分析系統30包括雲端伺服器300以及電子裝置400。雲端伺服器300可包括儲存裝置310、處理器320以及通訊模組330。電子裝置400可包括輸入裝置410、處理器420以及通訊模組430。在本實施例中，儲存裝置310可儲存深度學習模組311以及人工智慧模型312，其中使用者可藉由深度學習模組311利用預先儲存在儲存裝置310的巨量醫學參考影像來進行巨量資料處理以及分析，以產生使用者所需的人工智慧模型312。在本實施例中，雲端伺服器300可為具有運算能力的檔案伺服器、資料庫伺服器、應用程式伺服器、工作站或個人電腦等，諸如此類的計算機裝置。電子裝置400可以是電腦裝置。雲端伺服器300的通訊模組330可與電子裝置400的通訊模組430進行通訊，以使雲端伺服器300與電子裝置400之間可進行資料傳輸。
雲端伺服器300的儲存裝置310可以是硬碟(Hard Disk Drive, HDD)、任何類型的固定式或可移動式的隨機存取記憶體(Random Access Memory, RAM)、唯讀記憶體(Read-Only Memory, ROM)、快閃記憶體(flash memory)或類似元件或上述元件的組合。儲存裝置310可儲存深度學習模組311以及人工智慧模型312，並且可儲存由深度學習模組311進一步產生的一個或多個修正後的人工智慧模型。甚至，儲存裝置310還可儲存本發明各實施例所述的各種資料、影像以及分析結果等。
雲端伺服器300的處理器320以及電子裝置400的處理器420可各別是中央處理器(Central Processing Unit, CPU)、微處理器(Microprocessor)、數位信號處理器(Digital Signal Processor, DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuit, ASIC)、系統單晶片(System on Chip, SoC)或其他類似元件或上述元件的組合。
雲端伺服器300的通訊模組330以及電子裝置400的通訊模組430可各別是有線的通訊介面或無線的通訊介面。有線的通訊介面可例如透過纜線(Cable)的方式來進行通訊，並且無線的通訊介面可例如透過Wi-Fi的方式來進行通訊，但本發明並不限於此。舉例而言，使用者可透過操作電子裝置400，以經由電子裝置400的通訊模組430以Wi-Fi的方式連線至網路基地台，再經由網路基地台以有線或無線的形式與雲端伺服器300的通訊模組330連接。換言之，使用者可透過電子裝置400，來遠端連線至雲端伺服器300，並且利用雲端伺服器300來進行醫學影像分析，以即時取得分析結果。
在本實施例中，雲端伺服器300的處理器320可執行深度學習模組311，並且深度學習模組311可包括全卷積網路(Fully Convolutional Network, FCN)模組，以藉由執行全卷積網路模組來對訓練資料中的多個醫學參考影像分別執行神經網路運算，以建立人工智慧模型。值得注意的是，本實施例的全卷積網路模組可例如對執行的神經網路運算的末端進行K次最大池化(Max pooling)的L倍上取樣運算(upsampled)，其中K、L分別為大於0的正整數。
圖4是依照圖3實施例的執行醫學影像分析系統的示意圖。參考圖3以及圖4，本實施例的醫學影像分析系統30的操作方式可分為初始階段S401以及持續性修正階段S402。在初始階段S401中，首先，伺服器建置者可將訓練資料TD輸入至雲端伺服器300中，以藉由處理器320依據訓練資料TD來執行深度學習模組311，並且產生人工智慧模型312。訓練資料TD可包括多個醫學參考影像。接著，使用者可透過電子裝置400的輸入裝置410來提供測試資料TI，其中測試資料TI為醫學影像資料。電子裝置400透過通訊模組430將測試資料TI輸入至雲端伺服器300，以藉由處理器320依據測試資料TI來執行人工智慧模型312，並且產生對應的測試結果資料，其中測試結果資料為醫學影像資料的分析結果。最後，雲端伺服器300的處理器320可依據測試結果資料來產生對應的修正資料TO。因此，處理器320可依據人工智慧模型312以及修正資料TO來再次執行深度學習模組311，以產生修正後的人工智慧模型312’。
在持續性修正階段S402中，首先，雲端伺服器300的處理器320可依據人工智慧模型312以及修正資料TO來再次執行深度學習模組311，以產生修正後的人工智慧模型312’。或者，在一實施例中，使用者可同時透過電子裝置400的輸入裝置410來提供另一訓練資料TD’至雲端伺服器300。另一訓練資料TD’可包括另一醫學參考影像。因此，雲端伺服器300的處理器320可依據人工智慧模型312、修正資料TO以及另一訓練資料TD’來再次執行深度學習模組311，以產生修正後的人工智慧模型312’。值得注意的是，另一訓練資料TD’可相較於訓練資料TD為對應於不同器官類型，或者是相同器官類型但具有不同癌症病徵或不同癌症病兆的醫學影像，以使深度學習模組311可在原有的人工智慧模型312的基礎下來快速地產生可應用於不同器官類型、不同癌症病徵或不同癌症病兆的人工智慧模型312’。並且，當深度學習模組311產生新的人工智慧模型312’後，原有的人工智慧模型312並不會被刪除。人工智慧模型312、312’可同時被應用於醫學影像分析。換言之，本實施例的雲端伺服器300可有效地建立大量的人工智慧模型，以用於分析各式器官類型、各式癌症病徵或各式癌症病兆的醫學影像。
接著，使用者可透過電子裝置400的輸入裝置410來繼續提供另一測試資料TI’，其中另一測試資料TI’可包括另一醫學影像資料。雲端伺服器300的處理器320可依據另一測試資料TI’來執行人工智慧模型312’，並且產生對應的另一測試結果資料，其中另一測試結果資料為另一醫學影像資料的分析結果。最後，雲端伺服器300的處理器320可依據測試結果資料來產生對應的下一修正資料TO’。雲端伺服器300的處理器320可依據人工智慧模型312’以及下一修正資料TO’來又再次執行深度學習模組311，以產生下一修正後的人工智慧模型。
或者，在一實施例中，使用者可同時透過電子裝置400的輸入裝置410來提供另一訓練資料TD’至雲端伺服器300。另一訓練資料TD’可包括另一醫學參考影像。因此，雲端伺服器300的處理器320可依據人工智慧模型312、下一修正資料TO’以及另一訓練資料TD’來再次執行深度學習模組311，以產生下一修正後的人工智慧模型。也就是說，本實施例的醫學影像分析系統30可透過增強式學習以及持續優化的方式來有效率地產生可對應於不同器官類型，或者是相同器官類型但具有不同癌症病徵或不同癌症病兆的多個人工智慧模型，並且這些人工智慧模型可提供準確的分析結果。
另外，本實施例的修正資料TO(或修正資料TO’)可用於直接修正人工智慧模型312(或修正資料人工智慧模型312’)當中的錯誤。因此，當雲端伺服器300的處理器320同時依據修正資料TO(或修正資料TO’)以及另一訓練資料TD’來修正人工智慧模型312(或修正資料人工智慧模型312’)時，修正資料TO(或修正資料TO’)的權重將高於另一TD’訓練資料的權重。也就是說，對於本實施例的醫學影像分析系統30來說，修正資料TO(或修正資料TO’)的重要性較高。
圖5是依照圖4實施例的初始階段S401的流程圖。參考圖3至圖5，圖5的步驟可適用於圖3的醫學影像分析系統30。在步驟S510中，使用者可透過電子裝置400來輸入訓練資料TD輸入至雲端伺服器300。在步驟S520中，雲端伺服器300的處理器320可藉由深度學習模組311依據訓練資料TD來建立人工智慧模型312。也就是說，本實施例的人工智慧模型312建立後，使用者可透過電子裝置400來遠端連線至雲端伺服器300，以透雲端伺服器300的人工智慧模型312來分析醫學影像資料。
圖6是依照圖4實施例的持續性修正階段S402的流程圖。參考圖3、圖4以及圖6，圖6的步驟可適用於圖3的醫學影像分析系統30，並且可在上述圖5實施例的步驟S520之後接續執行。在步驟S610中，使用者可透過電子裝置400來輸入測試資料TI至雲端伺服器300。在步驟S620中，雲端伺服器300的處理器320可藉由人工智慧模型312分析測試資料TI，以產生分析結果資料，並且依據分析結果資料產生修正資料TO。在步驟S630中，使用者可將另一訓練資料TD’以及修正資料TO輸入至雲端伺服器300。在步驟S640中，雲端伺服器300的處理器320可讀取並執行深度學習模組311，以藉由深度學習模組311更依據另一訓練資料TD’以及修正資料TO來修正人工智慧模型312，以產生修正後的人工智慧模型312’。在步驟S650中，使用者可透過電子裝置400來輸入醫學影像資料(如圖4的測試資料TI’)，並且電子裝置400透過通訊模組430將醫學影像資料提供至雲端伺服器300。在步驟S660中，雲端伺服器300的處理器320可藉由修正後的人工智慧模型312’來分析醫學影像資料，以產生分析結果資料。在步驟S670中，雲端伺服器300的處理器320可依據分析結果資料來產生下一修正資料TO’。在本實施例中，相對於訓練資料TD，另一訓練資料TD’可包括不同器官類型，或者是相同器官類型但具有不同癌症病徵或不同癌症病兆的醫學影像，以使深度學習模組311可在原有的人工智慧模型312來快速地產生可應用於不同器官類型、不同病徵或不同病兆的人工智慧模型312’。
也就是說，當人工智慧模型312建立後，使用者可透過電子裝置400來遠端連線至雲端伺服器300，以透雲端伺服器300的人工智慧模型312來分析醫學影像資料。並且，醫學影像資料可包括預先取得的正確分析結果資訊，若人工智慧模型312的分析結果不正確，則深度學習模組311可依據正確分析結果資訊來對應地修正人工智慧模型312，以產生修正後的人工智慧模型312’。因此，本實施例的醫學影像分析系統30可有效避免若初始建立的人工智慧模型為錯誤的模型，則導致後續的醫學影像都無法被正確的分析的情況。並且，在本實施例中，醫學影像分析系統30可透過每一次的分析結果來不斷修正人工智慧模型312，以使醫學影像分析的準確率可有效提升，且無須透過重新輸入額外大量的訓練資料來重建人工智慧模型，以有效節省雲端伺服器300以及電子裝置400的運算資源。
圖7是依照本發明的一實施例的持續優化人工智慧模型的示意圖。參考圖3、圖4以及圖7，人工智慧模型AI(d1,o1)可例如是上述圖4的在初始階段S401中的人工智慧模型312。雲端伺服器300可先建立人工智慧模型AI(d1,o1)，並且藉由使用者經由電子裝置400來持續性的輸入的不同的多個醫學影像資料(測試資料TI、TI’)以及測試結果資料(修正資料TO)至雲端伺服器300，以使雲端伺服器300的處理器320可藉由執行深度學習模組311來進行增強式學習。
在本實施例中，當這些醫學影像資料例如是對應於相同器官，但是具有不同病徵或不同病兆的醫學影像資料時，深度學習模組311可依序產生對應於相同器官的多種不同病徵或多種不同病兆的多個人工智慧模型AI(d1,o2)~AI(d1,oN)，N為大於0的正整數。在本實施例中，當這些醫學影像資料例如是對應於不同器官類型的醫學影像資料時，深度學習模組311可依序產生對應於不同器官類型的多個人工智慧模型AI(d2,o1)~AI(dM,o1)，M為大於0的正整數。同理，深度學習模組311可針對人工智慧模型AI(d1,o2)~AI(d1,oN)再分別進行優化，以產生可能具有相同病徵或相同病兆，但對應於不同器官類型的多個人工智慧模型AI(d2,o2)~AI(dM,oN)。換言之，使用者可透過本實施例的醫學影像分析系統30來快速建立所需要的特定的人工智慧模型，而無須重新輸入大量的訓練資料來重新產生特定的人工智慧模型。並且，本實施例的醫學影像分析系統30可對特定的人工智慧模型進行持續性的優化，以產生最適化的人工智慧模型。
圖8是依照本發明的一實施例的醫學影像分析方法的流程圖。圖8的醫學影像分析方法可至少適用於圖1以及圖3的醫學影像分析系統10、30。參考圖1以及圖8，在步驟S810中，電子裝置200輸入修正資料至雲端伺服器100。在步驟S820中，雲端伺服器100藉由深度學習模組111依據修正資料來修正人工智慧模型112，以產生修正後的人工智慧模型。在步驟S830中，電子裝置200輸入醫學影像資料至雲端伺服器100。在步驟S840中，雲端伺服器100藉由修正後的人工智慧模型來分析醫學影像資料，以產生分析結果資料。換言之，本實施例的醫學影像分析方法可藉由不斷的輸入修正資料來反覆地修正人工智慧模型112，以產生最適化的人工智慧模型。因此，本實施例的醫學影像分析系統10可提供高準確率的醫學影像分析結果。
此外，關於本實施例的醫學影像分析系統10的其他技術細節以及實施方式，可參考上述圖1至圖7的實施例，而獲致足夠的教示、建議以及實施說明，因此不再贅述。
綜上所述，本發明的醫學影像分析方法及其系統可藉由建置在遠端的雲端伺服器預先儲存有巨量醫學參考影像，以供使用者自行建立所需的人工智慧模型。因此，使用者可透過電腦裝置來連線至雲端伺服器，即可取得即時的醫學影像分析結果。並且，本發明的醫學影像分析方法及其系統可藉由增強式學習以及持續優化的方式來產生大量的人工智慧模型，以適用於各種器官類型、各種病徵或各種病兆的醫學影像，且可提供高準確率的醫學影像分析結果。據此，本發明的醫學影像分析方法及其系統可提供便利且有效率的醫學影像分析功能。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
10、30‧‧‧醫學影像分析系統100、300‧‧‧雲端伺服器111、311‧‧‧深度學習模組112、312、312’‧‧‧人工智慧模型200、400‧‧‧電子裝置210、410‧‧‧輸入裝置310‧‧‧儲存裝置320、420‧‧‧處理器330、430‧‧‧通訊模組S401、S402‧‧‧階段S510~S520、S610~S670、S810~S840‧‧‧步驟MI‧‧‧切片影像PA‧‧‧癌細胞組織OT‧‧‧切片組織TD、TD’‧‧‧訓練資料TI、TI’‧‧‧測試資料TO、TO’‧‧‧修正資料AM、AM’‧‧‧人工智慧模型的演算法AI(d1,o1)~AI(dM,oN)‧‧‧人工智慧模型
圖1是依照本發明的一實施例的醫學影像分析系統的方塊示意圖。 圖2是依照本發明的一實施例的醫學影像資料的分析結果的示意圖。 圖3是依照本發明的另一實施例的醫學影像分析系統的方塊示意圖。 圖4是依照圖3實施例的執行醫學影像分析系統的示意圖。 圖5是依照圖4實施例的初始階段的流程圖。 圖6是依照圖4實施例的持續性修正階段的流程圖。 圖7是依照本發明的一實施例的持續優化人工智慧模型的示意圖。 圖8是依照本發明的一實施例的醫學影像分析方法的流程圖。
10‧‧‧醫學影像分析系統
100‧‧‧雲端伺服器
111‧‧‧深度學習模組
112‧‧‧人工智慧模型
200‧‧‧電子裝置
210‧‧‧輸入裝置

Claims (10)

  1. 一種應用機器學習的醫學影像分析方法，適用於一醫學影像分析系統，其中該醫學影像分析系統包括一雲端伺服器以及一電子裝置，並且該雲端伺服器儲存一深度學習模組以及一人工智慧模型，其中該方法包括： 輸入一修正資料至該深度學習模組，以使該深度學習模組依據該修正資料來修正該人工智慧模型，以產生一修正後的人工智慧模型；以及 輸入一醫學影像資料至該電子裝置，並且該電子裝置提供該醫學影像資料至該雲端伺服器，以藉由該修正後的人工智慧模型來分析該醫學影像資料，並且產生一分析結果資料。
  2. 如申請專利範圍第1項所述的醫學影像分析方法，更包括： 依據該分析結果資料產生下一修正資料，並且將該下一修正資料輸入至該深度學習模組；以及 藉由該深度學習模組依據該下一修正資料來修正該修正後的人工智慧模型，以產生下一修正後的人工智慧模型。
  3. 如申請專利範圍第1項所述的醫學影像分析方法，更包括： 輸入一訓練資料至該深度學習模組，以使該深度學習模組依據該訓練資料來建立該人工智慧模型。
  4. 如申請專利範圍第3項所述的醫學影像分析方法，其中該訓練資料包括多個醫學參考影像，並且該深度學習模組包括一全卷積網路模組，其中輸入該訓練資料至該深度學習模組，以使該深度學習模組依據該訓練資料來建立該人工智慧模型的步驟包括： 藉由深度學習模組執行該全卷積網路模組，以使該全卷積網路模組對所述多個醫學參考影像分別執行一神經網路運算，以建立該人工智慧模型。
  5. 如申請專利範圍第4項所述的醫學影像分析方法，其中該全卷積網路模組為對該些醫學參考影像分別進行一上取樣運算。
  6. 如申請專利範圍第1項所述的醫學影像分析方法，更包括： 輸入另一醫學影像資料至該電子裝置，並且該電子裝置提供該另一醫學影像資料至該雲端伺服器，以藉由該人工智慧模型分析該另一醫學影像資料，並且產生一另一分析結果資料；以及 依據該另一分析結果資料產生該修正資料。
  7. 如申請專利範圍第1項所述的醫學影像分析方法，其中輸入該修正資料至該深度學習模組，以使該深度學習模組依據該修正資料來修正該人工智慧模型，以產生該修正後的人工智慧模型的步驟包括： 更輸入另一訓練資料至該深度學習模組，以使該深度學習模組依據該修正資料以及該另一訓練資料來修正該人工智慧模型，以產生該修正後的人工智慧模型。
  8. 如申請專利範圍第7項所述的醫學影像分析方法，其中該修正資料的權重高於該另一訓練資料的權重。
  9. 如申請專利範圍第7項所述的醫學影像分析方法，其中該另一訓練資料包括另一醫學參考影像。
  10. 一種應用機器學習的醫學影像分析系統，包括： 一雲端伺服器，儲存一深度學習模組以及一人工智慧模型；以及 一電子裝置，耦接該雲端伺服器， 其中當該雲端伺服器接收一修正資料時，該深度學習模組依據該修正資料來修正該人工智慧模型，以產生一修正後的人工智慧模型， 其中當該電子裝置接收一醫學影像資料時，該電子裝置提供該醫學影像資料至該雲端伺服器，並且該修正後的人工智慧模型分析該醫學影像資料，以產生一分析結果資料。
TW107124061A 2018-07-12 2018-07-12 應用機器學習的醫學影像分析方法及其系統 TW202006738A (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW107124061A TW202006738A (zh) 2018-07-12 2018-07-12 應用機器學習的醫學影像分析方法及其系統
US16/111,216 US20200019823A1 (en) 2018-07-12 2018-08-24 Medical image analysis method applying machine learning and system thereof
JP2018205377A JP2020013529A (ja) 2018-07-12 2018-10-31 機械学習を適用した医療画像分析方法及びそのシステム
DE102018128806.9A DE102018128806A1 (de) 2018-07-12 2018-11-16 Medizinisches bildanalyseverfahren unter anwendung von maschinellem lernen und system dafür

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107124061A TW202006738A (zh) 2018-07-12 2018-07-12 應用機器學習的醫學影像分析方法及其系統

Publications (1)

Publication Number Publication Date
TW202006738A true TW202006738A (zh) 2020-02-01

Family

ID=69139499

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107124061A TW202006738A (zh) 2018-07-12 2018-07-12 應用機器學習的醫學影像分析方法及其系統

Country Status (4)

Country Link
US (1) US20200019823A1 (zh)
JP (1) JP2020013529A (zh)
DE (1) DE102018128806A1 (zh)
TW (1) TW202006738A (zh)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6782675B2 (ja) * 2017-09-29 2020-11-11 富士フイルム株式会社 判別結果提供装置、判別結果提供装置の作動方法、判別結果提供プログラム、および判別結果提供システム
US10943681B2 (en) * 2018-11-21 2021-03-09 Enlitic, Inc. Global multi-label generating system
DE102020202974A1 (de) 2020-03-09 2021-09-09 Conti Temic Microelectronic Gmbh Detektion von Adversarial Attacks durch einen Bildsignalvorverarbeitungsprozessor
DE102020111584A1 (de) 2020-04-28 2021-10-28 Carl Zeiss Meditec Ag Verfahren zum Gewinnen von Daten mithilfe von Operationsmikroskopiesystemen
CN111798439A (zh) * 2020-07-11 2020-10-20 大连东软教育科技集团有限公司 线上线下融合的医疗影像质量判读方法、系统及存储介质
US20240000414A1 (en) * 2021-02-22 2024-01-04 Vitaa Medical Solutions Inc. Method and system for segmenting and characterizing aortic tissues
WO2022229968A1 (en) * 2021-04-29 2022-11-03 Lovely Professional University A web based framework for easy and fast ai deployment

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5802175B2 (ja) * 2012-08-02 2015-10-28 株式会社日立製作所 画像処理装置
CN113421652A (zh) * 2015-06-02 2021-09-21 推想医疗科技股份有限公司 对医疗数据进行分析的方法、训练模型的方法及分析仪
JP6900190B2 (ja) * 2016-01-14 2021-07-07 キヤノン株式会社 認識学習装置、認識学習方法及びプログラム
GB2553782B (en) * 2016-09-12 2021-10-20 Niantic Inc Predicting depth from image data using a statistical model

Also Published As

Publication number Publication date
US20200019823A1 (en) 2020-01-16
JP2020013529A (ja) 2020-01-23
DE102018128806A1 (de) 2020-01-16

Similar Documents

Publication Publication Date Title
TW202006738A (zh) 應用機器學習的醫學影像分析方法及其系統
US20210209775A1 (en) Image Processing Method and Apparatus, and Computer Readable Storage Medium
US10706333B2 (en) Medical image analysis method, medical image analysis system and storage medium
WO2020215984A1 (zh) 基于深度学习的医学图像检测方法及相关设备
US11922654B2 (en) Mammographic image processing method and apparatus, system and medium
CN109741806B (zh) 一种医学影像诊断报告辅助生成方法及其装置
WO2019150813A1 (ja) データ処理装置及び方法、認識装置、学習データ保存装置、機械学習装置並びにプログラム
US20200184262A1 (en) Dynamic self-learning medical image method and system
EP3477589B1 (en) Method of processing medical image, and medical image processing apparatus performing the method
WO2019218451A1 (zh) 一种医学报告的生成方法及设备
US11646119B2 (en) Systems and methods for automated analysis of medical images
US11651850B2 (en) Computer vision technologies for rapid detection
CN111274425B (zh) 医疗影像分类方法、装置、介质及电子设备
JP2020500378A (ja) ディープラーニング医療システムおよび医療処置のための方法
WO2021077557A1 (zh) 一种磁共振图像重建方法、装置、设备和介质
WO2021128825A1 (zh) 三维目标检测及模型的训练方法及装置、设备、存储介质
US10984024B2 (en) Automatic processing of ambiguously labeled data
JPWO2017017722A1 (ja) 処理装置、処理方法及びプログラム
US11094059B2 (en) Vulnerable plaque identification method, application server thereof, and computer readable medium
WO2021098534A1 (zh) 相似度确定、网络训练、查找方法及装置、电子装置和存储介质
CN112349410A (zh) 用于科室分诊的分诊模型的训练方法、分诊方法和系统
US20220399115A1 (en) System and method for prediction of diseases from signs and symptoms extracted from electronic health records
WO2021115130A1 (zh) 脑出血点智能检测方法、装置、电子设备及存储介质
US20210049766A1 (en) Method for controlling display of abnormality in chest x-ray image, storage medium, abnormality display control apparatus, and server apparatus
CN115190999A (zh) 使用对比损失对分布外的数据进行分类