TWI832966B - 用於使用多模態成像和集成機器學習模型的自動靶標和組織分割的方法和設備 - Google Patents

用於使用多模態成像和集成機器學習模型的自動靶標和組織分割的方法和設備 Download PDF

Info

Publication number
TWI832966B
TWI832966B TW109103841A TW109103841A TWI832966B TW I832966 B TWI832966 B TW I832966B TW 109103841 A TW109103841 A TW 109103841A TW 109103841 A TW109103841 A TW 109103841A TW I832966 B TWI832966 B TW I832966B
Authority
TW
Taiwan
Prior art keywords
machine learning
learning models
target
medical images
segmentation
Prior art date
Application number
TW109103841A
Other languages
English (en)
Other versions
TW202040585A (zh
Inventor
任棠 呂
Original Assignee
美商醫隼智慧公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商醫隼智慧公司 filed Critical 美商醫隼智慧公司
Publication of TW202040585A publication Critical patent/TW202040585A/zh
Application granted granted Critical
Publication of TWI832966B publication Critical patent/TWI832966B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • General Physics & Mathematics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Biomedical Technology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Image Analysis (AREA)
  • Medical Treatment And Welfare Office Work (AREA)

Abstract

本文中提供用於使用多模態成像及集成機器學習模型之自動靶標及組織分割的方法及系統。在一些實施例中，一種方法包括：接收複數個醫學影像，其中複數個醫學影像中之每一者包括靶標及正常組織；組合複數個醫學影像以便在複數個醫學影像上對準靶標及正常組織；將經組合之醫學影像輸入至複數個機器學習模型中之每一者中；回應於該輸入，接收來自複數個機器學習模型中之每一者的輸出；組合複數個機器學習模型之結果；基於複數個機器學習模型之組合結果產生最終分割影像；將得分指派給每一已分割靶標及正常組織；以及基於得分對已分割靶標及正常組織進行分類。

Description

用於使用多模態成像和集成機器學習模型的自動靶標和組織分割的方法和設備
與本發明一致之實施例大體係關於組織分割，且更特定言之係關於用於使用多模態成像及集成機器學習模型之自動靶標及組織分割的方法及設備。
超過一半的癌症患者接受放射治療，因為其傳遞高劑量之輻射以消除靶標（諸如，腫瘤），而同時使得以高輻射劑量所照射之正常組織的量最小化。當前的放射治療取決於對醫學影像（諸如，CT及MR影像）之手動密集分析，以便描摹腫瘤及正常健康器官。
專業的放射腫瘤科醫師可能在一個病例上花費四小時或更長時間，從而嚴重延遲治療的開始。又，在治療計劃過程中之高度的從業者間變化性會導致臨床效果欠佳以及不必要的放射毒性。
因此，需要使用多模態成像及集成機器學習模型之自動靶標及組織分割。
提供用於使用多模態成像及集成機器學習模型之自動靶標及組織分割的方法及系統。
提供本發明內容以便以簡化形式介紹一系列概念，以下在實施方式中更詳細描述該等概念。此發明內容並不意欲識別所主張標的之關鍵特徵或基本特徵，亦不意欲用以限制所主張標的之範疇。
以下描述本發明之其他及另外實施例。
本發明之實施例包括用於使用多模態成像及集成機器學習模型之自動靶標及組織分割的方法及設備。該系統使用複數個成像模態（例如，電腦斷層掃描(computer tomography; CT)、磁共振成像(magnetic resonance imaging; MRI)、正電子發射斷層掃描(positron emission tomography; PET)掃描、多系列MRI序列（T1、T2、T2 Flair（T2加權流體衰減反轉恢復））、序列對照，及其類似者）及複數個機器學習模型（諸如，多個神經網路）在放射治療之醫學影像上提供自動靶標（例如，腫瘤）及正常組織及/或器官分割。在一些實施例中，複數個機器學習模型包括具有至少一個高特異性網路之至少一個高靈敏度網路。
使用不同的參數、架構、影像大小/解析度、最佳化器及損失函數單獨地訓練複數個機器學習模型中之每一者，以使得在給定相同輸入影像的情況下，複數個機器學習模型中之每一者所產生的輸出皆與其他機器學習模型不同。最終分割組合了每一機器學習模型之個別分割結果推斷，以便產生比使用單個影像模態及/或單個機器學習模型所實現之分割更可靠的分割。
有利地，用於靶標及組織分割之自動系統將不僅加速放射治療之計劃過程，而且亦提供更可靠的靶標及器官劃輪廓。
儘管本揭示案聚焦於多成像模態及多機器學習模型，但熟習此項技術者將理解，系統可使用單個模型及單個成像模態。
以下提供用於使用多模態成像及集成機器學習模型之自動靶標及組織分割的系統及方法之各種實施例。在以下詳細描述中，為了提供對所主張標的之透徹理解，闡述諸多特定細節。然而，熟習此項技術者將理解，可在無此些特定細節的情況下實踐所主張標的。儘管詳細描述藉由針對放射治療所描述之實例描述了本發明，但熟習此項技術者將理解，所主張標的可用於醫學影像上之一般腫瘤及器官分割。
儘管本文中藉助於實例針對若干實施例及說明性圖式描述了方法及設備，但熟習此項技術者將認識到，用於使用多模態成像及集成機器學習模型之自動靶標及組織分割的方法及設備並不限於所描述之實施例或圖式。應理解，圖式及其詳細描述並不意欲將實施例限於所揭示之特定形式。而是，意圖涵蓋在由附加申請專利範圍所限定之用於使用多模態成像及集成機器學習模型之自動靶標及組織分割的方法及設備之精神及範疇內的所有修改、等效物及替代物。
根據對儲存於特定設備或專用計算裝置或平台之記憶體內之二進位數位訊號的操作，給出以下詳細描述之一些部分。在此特定說明書之上下文中，術語特定設備或其類似者包括通用電腦，只要該通用電腦經程式化以根據來自程式軟體之指令執行特定功能即可。在此上下文中，操作或處理涉及對物理量之物理操縱。通常，儘管並非必要，但此些量可採取能夠被儲存、傳送、組合、比較或以其他方式操縱之電學或磁性訊號的形式。主要出於常見用法之原因，有時已證明將此些訊號稱作位元、資料、值、元素、符號、字符、項、數字、數等是方便的。然而，應理解，所有此些或類似術語皆與適當的物理量相關聯，且僅為方便標籤。
除非另外特定說明，否則如自以下論述顯而易見，應了解，貫穿本說明書論述，利用諸如「處理」、「計算(computing)」、「計算(calculating)」、「決定」或其類似術語之術語代表特定設備（諸如，專用電腦或類似的專用電子計算裝置）之動作或過程。因此，在本說明書之上下文中，專用電腦或類似的專用電子計算裝置能夠操縱或變換訊號，該等訊號通常表示為專用電腦或類似的專用電子計算裝置之記憶體、暫存器或其他資訊儲存元件、傳輸元件或顯示元件中的物理學電子或磁性量。
如本文中所使用，術語「靶標」代表需要治療之區域，諸如，腫瘤，而術語「器官」代表不需要治療之任何正常或健康組織。
第1圖圖示根據與本揭示案一致之一或更多個實施例配置之系統100。第1圖為根據一或更多個實施例的用於使用集成機器學習模型來分析複數個成像模態之影像之系統100的方塊圖。將複數個2D或3D（2D影像切片之合成物）醫學影像102輸入至系統100中。醫學影像102由處理器104對齊，以便在不同影像102上對準對應靶標及器官。記憶體106儲存已對準影像。分割處理器108將已對準影像輸入至複數個機器學習模型中之每一者中，該複數個機器學習模型各自產生得分圖，該得分圖包括靶標及器官之像素值，該等像素值範圍在（例如）0至1之間。靶標影像轉換器110將權重施加至來自每一機器學習模型之輸出，以準備最終的影像分割結果。所得的影像分割顯示在顯示器112上。
第2圖描繪根據本發明之一或更多個實施例的多模態成像及集成機器學習模型之例示性實施例。對齊複數個輸入成像模態2021 ,2022 ,...202n （統稱為成像模態202），以在不同成像模態202上對準對應靶標及器官。輸入成像模態可為（例如）CT掃描2021 、MRI（Ti對照）2022 、MRI(T2)2023 、MRI(T2 Flair)2024 。將已對準之成像模態202輸入至複數個機器學習模型2041 ,2042 ,2043 ,...204n （統稱為機器學習模型204）。獨立地藉由不同的網路架構、參數、影像大小/解析度、最佳化器及損失函數來訓練並最佳化每一機器學習模型204，以使得每一機器學習模型204給出不同回應。
在針對多靶標及器官分割之模型訓練期間，可將損失函數設計成與靶標（器官）之「體積」有關。特定而言，將較高損失指派給較小靶標（器官），而將較低損失指派給較大靶標，因為大靶標（器官）大體更易於分割及偵測。舉例而言，損失可與靶標（器官）之體積、或與靶標（器官）之體積或數目或靶標（器官）之類型數目有關的其他函數成反比。此有益於解決較小或更具挑戰性之靶標（器官）。在給定輸入影像的情況下，機器學習模型204中之每一者獨立地產生靶標及器官的分割，且最終分割206為來自機器學習模型之分割的加權和。
每一已分割靶標（組織）為最終分割上之一組連接分量。使用分割範圍（一組連接分量）內之得分像素（在M最終 上）的平均值、或中位數、或線性/非線性組合，或組合了其他因素（例如，腫瘤/器官大小、位置、強度及其類似者）及其線性/非線性組合的得分像素，將最終得分指派給每一已分割靶標（器官）。接著藉由已分割靶標及組織之最終得分對已分割靶標及組織進行分類。系統將藉由將最終得分可視化而示出前k 個最可能的靶標（組織）。使用者可選擇k ，或k 可為預先配置的。
除了基於最終得分對已分割靶標/組織進行分類以外，分類可基於分割大小（例如，自大至小、自小至大，及其類似者），或基於位置（例如，自頂至底、自底至頂，及其類似者）。
以比藉由單個影像模型及/或單個機器學習模型可能實現之靈敏度及特異性大的靈敏度及特異性來輸出靶標及器官之最終分割206。最終分割可被轉換成各種形式（諸如，醫學數位成像與通訊(dicom)標準、jpeg及其類似者），且可由醫學成像系統（諸如，圖片存檔與通訊系統(Picture Archive and Communication System; PACS)）載入。
第3圖圖示根據本發明之實施例配置之系統300。第3圖為根據一或更多個實施例之用於使用多模態成像及集成機器學習模型（通訊地連接至複數個影像掃描器330）之自動靶標及組織分割的電腦301之方塊圖。電腦301為計算裝置，例如，桌上型電腦、膝上型電腦、平板電腦，及其類似者。電腦301包括中央處理單元(Central Processing Unit; CPU)302、圖形處理單元(Graphic Processing Unit; GPU)303、支援電路304、顯示器306，及記憶體308。CPU 302可包括促進資料處理及儲存之一或更多個商用微處理器或微控制器。各種支援電路304促進了CPU 302之操作，且包括一或更多個時鐘電路、電源供應器、快取記憶體、輸入/輸出電路，及其類似者。對於機器學習模型訓練及預測（推斷）而言，使用GPU 303之處理比使用CPU 302快得多。如此，CPU 302負責影像預處理（諸如，影像對準）以及後期處理（諸如，計算來自個別機器學習模型之分割的加權和），而GPU 303負責所有機器學習模型處理。
記憶體308包括唯讀記憶體(Read Only Memory; ROM)、隨機存取記憶體(Random Access Memory; RAM)、磁碟驅動器儲存器、光學儲存器、可移除儲存器及/或其類似者中之至少一者。在一些實施例中，顯示器306並不整合至電腦300中，而是通訊地耦接（有線地或無線地）至電腦300。
記憶體308包括作業系統310、靶標分割模組312、影像資料庫320、複數個機器學習模型322及機器學習模型訓練器324，靶標分割模組312包括影像對齊器314、影像分割計算器316，及影像產生器318。靶標分割模組312包括指令，該等指令可由CPU 302執行用於自影像掃描器330接收複數個影像，且將接收到之影像儲存在影像資料庫320中。影像對齊器314在由靶標分割模組312接收到之複數個影像上對準對應靶標及器官。
靶標分割模組312將已對準影像輸入至複數個機器學習模型322中之每一者中。複數個機器學習模型中之每一者輸出靶標及器官之像素的得分圖。影像分割計算器316使用針對每一機器學習模型之加權因子來計算靶標及器官之最終圖。影像產生器318將最終影像分割結果顯示在顯示器306上。
已單獨地使用機器學習模型訓練器324及GPU 303訓練了複數個機器學習模型322中之每一者。在一些實施例中，使用卷積機器學習模型，其中存在許多彼此連接之神經層。機器學習模型可能含有卷積層、最大池化層、激活層、退出層等，其中每一者含有一些參數，且處理來自前一層之輸入訊號，並接著將經處理之訊號發送至下一層。機器學習模型之輸入為醫學影像，而輸出為由機器學習模型產生之腫瘤/組織分割。吾人使用已定義損失函數來計算輸出分割與基本事實分割（由腫瘤專家產生）之間的差別。接著經由機器學習模型之每一層來反向傳播（自輸出分割至輸入醫學影像）該損失。接著基於反向傳播之損失及選定之最佳化器來調節（最佳化）每一層之參數。典型最佳化器方法為隨機梯度下降及其變體，諸如，Adam、RMSprop等等。
為了訓練機器學習模型，收集大量的訓練資料（醫學影像與對應的基本事實分割之對）。使用訓練資料，吾人重複上一段中所述方法（正向傳播輸入訊號、反向傳播損失、基於損失調節每一神經層的參數）多次，以使得可使機器學習模型最佳化。
當訓練不同的機器學習模型時，使用不同的損失函數、最佳化器、參數及神經層組合。又，應使用具有不同解析度（大小）之輸入影像。舉例而言，為了訓練高靈敏度模型，可將輸入影像裁剪成小塊，將其中每一塊單獨地發送至模型（以使得模型可聚焦於小的、細微的腫瘤），而為了訓練高特異性模型，可將輸入影像以其原始大小餽入模型中（以使得模型對影像具有更全面的概覽）。
週期性地收集訓練資料並用以訓練模型。舉例而言，可使用1000個病例來訓練模型。接著使用經訓練之模型來預測未來新病例之靶標/組織分割。本文中將對新病例之預測稱作「模型推斷」。在（例如）一個月後，收集了另外1000個新病例用於訓練（假設腫瘤科醫師亦為新病例提供了基本事實分割），並接著基於全部2000個病例或僅基於新的1000個病例再次對訓練該模型。週期性地訓練/重新訓練模型使吾人的機器學習模型保持更新。
第4圖描繪用於使用多模態成像及集成機器學習模型之自動靶標及組織分割之方法400的流程圖。本揭示案之實施例用以識別或區分靶標（例如，腫瘤）與調查中之正常組織及/或器官。在一些實施例中，調查中之材料可為生物組織，其中將藉由差別強度分析構建之影像用於診斷及/或評估目的。
方法400在步驟402處開始並進行至步驟404。在步驟404處，接收複數個影像模態之複數個影像（例如，電腦斷層(computer tomography; CT)掃描、磁共振成像(magnetic resonance imaging; MRI)、正電子發射斷層(positron emission tomography; PET)掃描、多系列MRI序列（T1、T2、T2 Flair（T2加權流體衰減反轉恢復））、序列對照，及其類似者）。
在步驟406處，對準來自複數個影像模態之影像。該等影像模態中之每一者皆描繪靶標。靶標可為腫瘤或聚焦區域。組合該等影像，以使得在不同成像模態上對準靶標及器官。在一些實施例中，在對齊（對準）之後，可將來自不同模態之影像組合成單個「輸入」。可藉由產生額外維度（名為通道）來組合影像。舉例而言，已對準之CT影像及MRI影像具有三個維度(X,Y,Z)，其中X,Y,Z表示在對應維度中之像素數目。接著，組合的輸入變成四個維度(X,Y,Z,C)，其中C（意謂通道）等於成像模態之數目（在此實例中為2，因為吾人具有CT及MRI）。
在一些實施例中，不組合來自複數個影像模態之影像。實情為，僅使用每一成像模態（諸如，單獨地僅為CT輸入及僅為MRI輸入）產生分割，且接著如下所述來組合最終分割。
在步驟408處，將已對準之影像用作至複數個機器學習模型之輸入。在一些實施例中，複數個機器學習模型包括至少一個高靈敏度（高的真實陽性比率）網路以及至少一個高特異性（高的真實陰性比率）網路。已獨立地訓練了每一機器學習模型，以便使機器學習模型最佳化。
將已對準之影像逐一地輸入至每一機器學習模型，以使得每一機器學習模型提供不同的輸出。每一機器學習模型所產生之輸出為得分圖。得分圖包括靶標及器官之像素值（例如，在0至1之間）。
在步驟410處，計算最終影像分割結果。給予每一機器學習模型權重。舉例而言，每一機器學習模型(1-N)產生圖M1 ,M2 ,...Mn 。給予每一機器學習模型權重α（在0至1之間）。使用如下公式來計算最終影像分割結果：
可將閾值應用於M 最終 以為靶標或組織產生二進位掩碼，因而將大於該閾值之任何值設定為1，而將低於該閾值之任何值設定為1。
在步驟412處，使用最終影像分割計算來產生影像。使用多模態成像及集成機器學習模型之自動靶標及組織分割提供可靠之靶標及器官劃輪廓。接著藉由已分割靶標之最終得分對已分割靶標進行分類。系統藉由將最終得分可視化而顯示出前k 個最可能的靶標。值k 可由使用者輸入，可為預先配置之值，可基於應該存在之靶標數量的先驗知識，或為可調整值，其中可使用滾動條或圖形使用者介面上之其他構件來調整該值。方法400在步驟414處結束。
第5圖描繪根據本發明之一或更多個實施例的以得分進行分類之例示性腫瘤偵測結果502、504及506之顯示500，該等得分是由機器學習模型使用步驟410中之公式產生的。在模型推斷期間，機器學習模型（或其他類型的演算法）針對每一類型之靶標或器官產生最終得分圖（範圍為自0至1之M最終 ）。接著將閾值應用於該得分圖，以產生二進位掩碼(M二進位 )，從而將大於該閾值之任何值設定為1，而將低於該閾值之任何值設定為0。每一已分割靶標（組織）為二進位掩碼上之一組連接分量。使用分割範圍（一組連接分量）內之得分像素（在M最終 上）的平均值、或中位數或線性/非線性組合，或組合了其他因素（例如，腫瘤/器官大小、位置、強度及其類似者）及其線性/非線性組合的得分像素，將最終得分指派給每一已分割靶標（器官）。接著藉由已分割靶標之最終得分對已分割靶標進行分類。系統藉由將最終得分可視化而示出前k 個最可能的靶標（組織）。使用者可選擇k 之值，或k 可為預先配置的。在第5圖中顯示出複數個實例。實例502示出三個腫瘤，特定言之為腫瘤5102 、5122 及5142 ，以及在密鑰中分別在5101 、5121 及5141 處顯示之得分。實例504示出腫瘤5162 ，以及在密鑰中在5161 處顯示之得分。實例506示出兩個腫瘤，特定言之為腫瘤5182 及5202 ，以及在密鑰中分別在5181 及5201 處顯示之得分。
除了基於固定k及閾值向使用者顯示前k個預測結果外，吾人之系統亦能夠基於k之各種值及由使用者顯式地或隱式地[諸如，藉由指定1)對應偵測之腫瘤之數目的先驗知識，及/或2)對滾動條或其類似者之控制以調整系統的靈敏度或特異性，等等]來輸入之閾值來示出各個前k個結果。
儘管對於給定配置（k、閾值及其他參數）整體地顯示了前k個預測結果，但呈現出來自前k個結果之每一預測靶標（組織），以使得使用者可單獨地編輯或取消選擇。
第6圖為根據一或更多個實施例之電腦系統的詳細方塊圖，該電腦系統可用在本發明之各種實施例中以實施根據一或更多個實施例之電腦及/或顯示裝置。
如本文所述之用於使用多模態成像及集成機器學習模型之自動靶標及組織分割的方法及設備之各種實施例可在一或更多個電腦系統上執行，該一或更多個電腦系統可與各種其他裝置交互。一種此電腦系統為第6圖所圖示之電腦系統600，該電腦系統600可在各種實施例中實施第1圖至第4圖中所圖示之任何元素或功能。在各種實施例中，電腦系統600可經配置以實施上述方法。電腦系統600可用以實施上述實施例之任何其他系統、裝置、元素、功能或方法。在所圖示實施例中，電腦系統600可經配置以在各種實施例中將方法400（第4圖）實施為處理器可執行之可執行程式指令（例如，可由（若干）處理器610執行之程式指令）。
在所說明實施例中，電腦系統600包括經由輸入/輸出(I/O)介面630耦接至系統記憶體620之一或更多個處理器610a至610n。電腦系統600進一步包括耦接至I/O介面630之網路介面640，以及一或更多個輸入/輸出裝置650，諸如，游標控制裝置660、鍵盤670及（若干）顯示器680。在各種實施例中，該等部件中之任一者皆可由系統用以接收上述使用者輸入。在各種實施例中，可產生使用者介面並顯示在顯示器680上。在一些情形下，預期實施例可使用電腦系統600之單個例項來實施，而在其他實施例中，多個此種系統或構成電腦系統600之多個節點可經配置以運行各種實施例之不同部分或例項。舉例而言，在一個實施例中，可經由與實現其他元素之彼些節點不同的電腦系統600之一或更多個節點來實施一些元素。在另一實例中，多個節點可以分散式方式實施電腦系統600。
在不同實施例中，電腦系統600可為各種類型的裝置中之任一者，包括但不限於個人電腦系統、桌上型電腦、膝上型電腦、筆記本電腦或上網本電腦、大型電腦系統、手持型電腦、工作站、網路電腦、機上盒、行動裝置（諸如，智慧型電話或PDA）、消費類裝置、視訊遊戲機、手持式視頻遊戲裝置、應用伺服器、儲存裝置、周邊裝置（諸如，交換機、數據機、路由器），或者大體為任何類型的計算或電子裝置。
在各種實施例中，電腦系統600可為包括一個處理器610之單處理器系統，或為包括若干處理器610（例如，兩個、四個、八個或另一適當數目）之多處理器系統。處理器610可為能夠執行指令之任何適當處理器。舉例而言，在各種實施例中，處理器610可為實施多種指令集架構(instruction set architecture; ISA)中之任一者的通用或嵌入式處理器。在多處理器系統中，處理器610中之每一者可共同地但不一定實施同一ISA。
系統記憶體620可經配置以儲存可由處理器610存取之程式指令622及/或資料632。在各種實施例中，可使用任何適當的記憶體技術來實施系統記憶體620，諸如，靜態隨機存取記憶體(static random access memory; SRAM)、同步動態RAM(synchronous dynamic RAM; SDRAM)、非揮發性/快閃型記憶體，或任何其他類型之記憶體。在所圖示實施例中，實施上述實施例之元素中之任一者的程式指令及資料可儲存在系統記憶體620內。在其他實施例中，可在不同類型之電腦可存取媒體上或在與系統記憶體620或電腦系統600分離之類似媒體上接收、發送或儲存程式指令及/或資料。
在一個實施例中，I/O介面630可經配置以協調處理器610、系統記憶體620以及裝置中之任何周邊裝置（包括網路介面640或諸如輸入/輸出裝置650之其他周邊介面）之間的I/O訊務。在一些實施例中，I/O介面630可執行任何必要的協定、時序或其他資料變換，以將來自一個部件（例如，系統記憶體620）之資料訊號轉換成適合於由另一部件（例如，處理器610）使用之格式。在一些實施例中，I/O介面630可包括對經由各種類型之周邊匯流排（諸如，周邊組件互連(Peripheral Component Interconnect; PCI)匯流排標準或通用串行匯流排(Universal Serial Bus; USB)標準之變體）附接之裝置的支援。在一些實施例中，可將I/O介面630之功能分成兩個或更多個單獨部件，諸如，北橋及南橋。又，在一些實施例中，可將I/O介面630之功能中的一些或全部（諸如，與系統記憶體620之介面）直接併入處理器610中。
網路介面640可經配置以允許在電腦系統600與附接至網路（例如，網路690）的其他裝置（諸如，一或更多個顯示裝置（未示出）或一或更多個外部系統）之間或在電腦系統600之節點之間交換資料。在各種實施例中，網路690可包括一或更多個網路，包括但不限於區域網路(Local Area Network; LAN)（例如，以太網路或企業網路）、廣域網路(Wide Area Network; WAN)（例如，網際網路）、無線資料網路、一些其他電子資料網路，或其某一組合。在各種實施例中，網路介面640可經由有線或無線通用資料網路（諸如，任何適當類型之以太網路）；經由電訊/電話網路（諸如，類比語音網路或數位光纖通訊網路）；經由儲存區網路（諸如，光纖通道SAN）；或經由任何其他適當類型之網路及/或協定來支援通訊。
在一些實施例中，輸入/輸出裝置650可包括一或更多種通訊終端、鍵盤、小鍵盤、觸控板、掃描裝置、語音或光學識別裝置，或適合於由一個或更多個電腦系統600輸入或存取資料之任何其他裝置。多個輸入/輸出裝置650可存在於電腦系統600中，或可分佈於電腦系統600之各種節點上。在一些實施例中，類似輸入/輸出裝置可與電腦系統600分離開，且可經由有線或無線連接（諸如，在網路介面640上）與電腦系統600之一或更多個節點交互。
在一些實施例中，所圖示之電腦系統可實施上述方法中之任一者，諸如，由第4圖之流程圖所圖示之方法。在其他實施例中，可包括不同元素及資料。
熟習此項技術者將了解，電腦系統600僅為說明性的且並不意欲限制實施例之範疇。特定而言，電腦系統及裝置可包括可執行各種實施例之所指示功能的硬體或軟體之任何組合，包括電腦、網路裝置、網際網路設施、PDA、無線電話、尋呼機，及其類似者。電腦系統600亦可連接至未圖示之其他裝置，或替代地可作為獨立系統。另外，在一些實施例中，由所圖示部件提供之功能可組合在更少部件中或分佈在額外部件中。類似地，在一些實施例中，可不提供所圖示部件中之一些的功能及/或其他額外功能可為可用的。
熟習此項技術者將亦了解，儘管將各種項目圖示為儲存在記憶體中或在使用時儲存在儲存器中，但出於記憶體管理及資料完整性之目的，此些項目或其部分可在記憶體與其他儲存裝置之間傳送。或者，在其他實施例中，軟體部件中之一些或全部可在另一裝置上之記憶體中執行並經由電腦間通訊與所圖示電腦系統通訊。系統部件或資料結構中之一些或全部亦可儲存（例如，作為指令或結構化資料）在電腦可存取媒體或可攜式製品上，以便由適當驅動器讀取，以上描述了該適當驅動器之各種實例。在一些實施例中，儲存在與電腦系統600分離開之電腦可存取媒體上的指令可經由傳輸媒體或訊號（諸如，電學的、電磁的或數位訊號）傳輸至電腦系統600，經由通訊媒體（諸如，網路及/或無線鏈路）來傳達。各種實施例可進一步包括在電腦可存取媒體上或經由通訊媒體來接收、發送或儲存根據前述描述實施之指令及/或資料。大體而言，電腦可存取媒體可包括儲存媒體或記憶體媒體，諸如，磁性的或光學的媒體（例如，磁碟或DVD/CD-ROM）、揮發性或非揮發性的媒體，諸如，RAM（例如，SDRAM、DDR、RDRAM、SRAM及其類似者）、ROM及其類似者。
在不同實施例中，本文所述之方法可以軟體、硬體或其組合來實施。另外，可改變方法之次序，且可添加、重新排序、組合、省略或以其他方式修改各種元件。本文所述之所有實例是以非限制性方式存在的。如熟習此項技術者將顯而易見，可作出具有本揭示案之益處的各種修改及改變。已在特定實施例之上下文中描述了根據實施例之實現。此些實施例意謂為說明性的而非限制性的。許多變化、修改、添加及改良是可能的。因此，對於本文所述之部件而言，可將複數個例項提供為單個例項。各種部件、操作及資料儲存之間的邊界在某種程度上是任意的，且在特定說明性配置之上下文中說明了特定操作。設想了功能之其他分配，且其可在以下申請專利範圍之範疇內。最後，在實例配置中呈現為離散部件之結構及功能可實施為組合的結構或部件。此些及其他變化、修改、添加及改良可在如以下申請專利範圍中所限定之實施例範疇內。
雖然前文針對本發明之實施例，但可在不脫離本發明之基本範疇的情況下設計本發明之其他及另外實施例，且本發明之範疇由以下申請專利範圍決定。
100:系統 102:醫學影像 104:處理器 106:記憶體 108:分割處理器 110:靶標影像轉換器 112:顯示器 200:成像模態 2021:輸入成像模態 2022:輸入成像模態 2033:輸入成像模態 2041:機器學習模型 2042:機器學習模型 204n:機器學習模型 206:最終分割 300:系統 301:電腦 302:中央處理單元(CPU) 303:圖形處理單元(GPU) 304:支援電路 306:顯示器 308:記憶體 310:作業系統 312:靶標分割模組 314:影像對齊器 316:影像分割計算器 318:影像產生器 320:影像資料庫 322:機器學習模型 324:機器學習模型訓練器 330:影像掃描器 400:方法 402:步驟 404:步驟 406:步驟 408:步驟 410:步驟 412:步驟 414:步驟 500:顯示 502:腫瘤偵測結果 504:腫瘤偵測結果 506:腫瘤偵測結果 5102:腫瘤 5122:腫瘤 5142:腫瘤 5162:腫瘤 5182:腫瘤 5202:腫瘤 600:電腦系統 610a:處理器 610b:處理器 610n:處理器 620:系統記憶體 622:可執行程式指令 630:輸入/輸出(I/O)介面 632:資料 640:網路介面 650:輸入/輸出裝置 660:游標控制裝置 670:鍵盤 680:顯示器 690:網路
因此，可詳細地理解本發明之上述特徵及實施例的方式，可藉由參考實施例來獲得以上簡要概述的本發明之更特定描述，在附加圖式中圖示一些實施例。然而，應注意，附加圖式僅圖示本發明之典型實施例，且因此不應視為對本發明之範疇的限制，因為本發明可允許其他同等有效之實施例。
第1圖描繪根據與本發明一致之一或更多個實施例配置的用於使用多模態成像及集成機器學習模型之自動靶標及組織分割的系統之方塊圖。
第2圖描繪根據本發明之一或更多個實施例的多模態成像及集成機器學習模型之例示性實施例。
第3圖描繪根據一或更多個實施例的用於使用多模態成像及集成機器學習模型之自動靶標及組織分割的系統之方塊圖。
第4圖描繪根據一或更多個實施例之藉由第1圖之系統所執行的用於使用多模態成像及集成機器學習模型之自動靶標及組織分割的方法之流程圖。
第5圖描繪根據本發明之一或更多個實施例的藉由機器學習模型所產生之得分來分類之腫瘤的顯示。
第6圖為根據一或更多個實施例的用於實施（例如）第1圖及/或第3圖之系統之電腦系統的詳細方塊圖。
為了便於理解，在可能的情況下，已使用相同元件符號來表示諸圖中所共有之相同元件。諸圖並未按比例繪製，並可為了清楚起見而簡化。預期一個實施例之元件及特徵可有益地併入其他實施例中而無需進一步敘述。
國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無 國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無
300:系統
301:電腦
302:中央處理單元(CPU)
303:圖形處理單元(GPU)
304:支援電路
306:顯示器
308:記憶體
310:作業系統
312:靶標分割模組
314:影像對齊器
316:影像分割計算器
318:影像產生器
320:影像資料庫
322:機器學習模型
324:機器學習模型訓練器
330:影像掃描器

Claims (10)

  1. 一種用於使用多模態成像及集成機器學習模型之自動靶標及組織分割的電腦實施方法，包括以下步驟：接收複數個醫學影像，其中該複數個醫學影像中之每一者包括一靶標及正常組織，且其中該複數個醫學影像中之每一者屬於一不同類型；組合該複數個醫學影像以便在該複數個醫學影像上對準該靶標及正常組織；將經組合之該等醫學影像輸入至複數個機器學習模型中之每一者中；回應於該輸入，接收來自該複數個機器學習模型中之每一者的一輸出；組合該複數個機器學習模型之該等輸出；基於該複數個機器學習模型之經組合之該等輸出產生一最終分割影像；將一得分指派給每一已分割靶標及正常組織；以及基於該等得分對該等已分割靶標及正常組織進行分類。
  2. 如請求項1所述之方法，其中該複數個機器學習模型包括一高靈敏度網路及一高特異性網路中之至少一者。
  3. 如請求項1所述之方法，其中使用不同的參數、架構、影像大小、影像解析度、最佳化器及損失函 數單獨地訓練該複數個機器學習模型中之每一者。
  4. 如請求項3所述之方法，其中該損失函數與該靶標之一體積有關，其中將一較高損失指派給較小靶標且將較低損失指派給較大靶標。
  5. 如請求項1所述之方法，其中在給定多個相同輸入影像的情況下，該複數個機器學習模型中之每一者產生與其他機器學習模型不同的輸出。
  6. 如請求項1所述之方法，其中來自該複數個機器學習模型中之每一者的該輸出為包括範圍為自0至1之像素值的一得分圖。
  7. 如請求項1所述之方法，進一步包括以下步驟：在產生該最終分割影像之前將一權重應用於來自該等機器學習模型中之每一者的該輸出。
  8. 如請求項1所述之方法，進一步包括以下步驟：顯示最終分割結果，其中使用一分割區域內之輸出得分像素的一線性/非線性組合將一最終得分指派給每一已分割靶標/組織，該等輸出得分像素是由一分割範圍之該等機器學習模型、位置、大小及強度中之一或更多者產生。
  9. 如請求項8所述之方法，進一步包括以下步驟：藉由將一最終得分可視化來顯示最可能靶標之一數目，其中該數目是自一使用者輸入接收之一值、基於已存在之諸多靶標之一數目的先驗知識的一預先配置值或可經由一圖形使用者介面調整之一值中的一者，其中該 圖形使用者介面包括一滾動條以調整該可視化之一靈敏度及/或特異性，且其中每一顯示靶標為可選擇的且可編輯的。
  10. 一種用於使用多模態成像及集成機器學習模型之自動靶標及組織分割的系統，包括：a)至少一個處理器；b)至少一個輸入裝置；以及c)儲存處理器可執行指令之至少一個儲存裝置，該等指令當由該至少一個處理器執行時，執行一方法，包括以下步驟：接收複數個醫學影像，其中該複數個醫學影像中之每一者包括一靶標及正常組織，且其中該複數個醫學影像中之每一者屬於一不同類型；組合該複數個醫學影像以便在該複數個醫學影像上對準該靶標及正常組織；將經組合之該等醫學影像輸入至複數個機器學習模型中之每一者中；回應於該輸入，接收來自該複數個機器學習模型中之每一者的一輸出；組合該複數個機器學習模型之該等輸出；基於該複數個機器學習模型之經組合之該等輸出產生一最終分割影像；將一得分指派給每一已分割靶標及正常組織；以及基於該等得分對該等已分割靶標及正常組織進行分 類。
TW109103841A 2019-02-07 2020-02-07 用於使用多模態成像和集成機器學習模型的自動靶標和組織分割的方法和設備 TWI832966B (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201962802306P 2019-02-07 2019-02-07
US62/802,306 2019-02-07
US201962881573P 2019-08-01 2019-08-01
US62/881,573 2019-08-01

Publications (2)

Publication Number Publication Date
TW202040585A TW202040585A (zh) 2020-11-01
TWI832966B true TWI832966B (zh) 2024-02-21

Family

ID=71945216

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109103841A TWI832966B (zh) 2019-02-07 2020-02-07 用於使用多模態成像和集成機器學習模型的自動靶標和組織分割的方法和設備

Country Status (5)

Country Link
US (2) US11062459B2 (zh)
EP (1) EP3921799A4 (zh)
JP (1) JP2022519678A (zh)
TW (1) TWI832966B (zh)
WO (1) WO2020163258A1 (zh)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11361868B2 (en) * 2017-08-16 2022-06-14 The Johns Hopkins University Abnormal tissue detection via modal upstream data fusion
US11756691B2 (en) * 2018-08-01 2023-09-12 Martin Reimann Brain health comparison system
KR20210031220A (ko) * 2019-09-11 2021-03-19 삼성전자주식회사 스토리지 장치 및 스토리지 장치의 동작 방법
CN112150419A (zh) * 2020-09-10 2020-12-29 东软医疗系统股份有限公司 图像处理方法、装置及电子设备
CN112163677B (zh) * 2020-10-14 2023-09-19 杭州海康威视数字技术股份有限公司 应用机器学习模型的方法、装置及设备
CN114463246A (zh) * 2020-11-06 2022-05-10 广达电脑股份有限公司 圈选系统及圈选方法
KR102261270B1 (ko) * 2020-11-26 2021-06-07 주식회사 엔젠바이오 사용자 다중 특징 정보를 이용한 개인 맞춤형 콘텐츠 제공 방법 및 분석장치
US11610306B2 (en) 2020-12-16 2023-03-21 Industrial Technology Research Institute Medical image analysis method and device
CN112598686B (zh) * 2021-03-03 2021-06-04 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质
TWI797672B (zh) * 2021-07-13 2023-04-01 國立成功大學 影像分割方法與使用此方法的電子裝置、記錄媒體以及電腦程式產品
US20240127047A1 (en) * 2022-10-13 2024-04-18 GE Precision Healthcare LLC Deep learning image analysis with increased modularity and reduced footprint

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106682435A (zh) * 2016-12-31 2017-05-17 西安百利信息科技有限公司 一种多模型融合自动检测医学图像中病变的系统及方法
US20180061059A1 (en) * 2016-08-26 2018-03-01 Elekta, Inc. System and methods for image segmentation using convolutional neural network
CN109166105A (zh) * 2018-08-01 2019-01-08 中国人民解放军南京军区南京总医院 人工智能医学影像的肿瘤恶性风险分层辅助诊断系统
TW201903708A (zh) * 2017-06-06 2019-01-16 國立陽明大學 數位減影血管攝影圖像的分析方法與系統

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2014230824B2 (en) 2013-03-15 2019-04-18 Ventana Medical Systems, Inc. Tissue object-based machine learning system for automated scoring of digital whole slides
BR112015024385A2 (pt) * 2013-03-26 2017-07-18 Koninklijke Philips Nv aparelho de apoio para sustentar um usuário em um processo de diagnóstico para estadiamento de câncer de próstata, método de sustentação para sustentar um usuário em um processo de diagnóstico para estadiamento de câncer de próstata, e programa computadorizado de suporte para sustentar um usuário em um processo de diagnóstico para estadiamento de câncer de próstata
KR101527604B1 (ko) 2013-05-15 2015-06-10 인하대학교 산학협력단 형태학적 특징 기반 췌장선암 등급 구분 방법
AU2013400936B2 (en) 2013-09-20 2017-08-03 Transmural Biotech, S. L. Image analysis techniques for diagnosing diseases
US10980519B2 (en) * 2015-07-14 2021-04-20 Duke University Systems and methods for extracting prognostic image features
WO2017037180A1 (en) 2015-09-02 2017-03-09 Ventana Medical Systems, Inc. Automated analysis of cellular samples having intermixing of analytically distinct patterns of analyte staining
US10540768B2 (en) * 2015-09-30 2020-01-21 Samsung Electronics Co., Ltd. Apparatus and method to segment object from image
KR101822404B1 (ko) 2015-11-30 2018-01-26 임욱빈 Dnn 학습을 이용한 세포이상 여부 진단시스템
EP3488381B1 (en) * 2016-07-21 2024-02-28 Siemens Healthineers AG Method and system for artificial intelligence based medical image segmentation
WO2019103912A2 (en) * 2017-11-22 2019-05-31 Arterys Inc. Content based image retrieval for lesion analysis
US10878576B2 (en) * 2018-02-14 2020-12-29 Elekta, Inc. Atlas-based segmentation using deep-learning
US10599984B1 (en) * 2018-03-20 2020-03-24 Verily Life Sciences Llc Validating a machine learning model after deployment
US11100632B2 (en) * 2018-04-13 2021-08-24 Elekta, Inc. Image synthesis using adversarial networks such as for radiation therapy
US10796201B2 (en) * 2018-09-07 2020-10-06 Toyota Research Institute, Inc. Fusing predictions for end-to-end panoptic segmentation

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180061059A1 (en) * 2016-08-26 2018-03-01 Elekta, Inc. System and methods for image segmentation using convolutional neural network
CN106682435A (zh) * 2016-12-31 2017-05-17 西安百利信息科技有限公司 一种多模型融合自动检测医学图像中病变的系统及方法
TW201903708A (zh) * 2017-06-06 2019-01-16 國立陽明大學 數位減影血管攝影圖像的分析方法與系統
CN109166105A (zh) * 2018-08-01 2019-01-08 中国人民解放军南京军区南京总医院 人工智能医学影像的肿瘤恶性风险分层辅助诊断系统

Also Published As

Publication number Publication date
EP3921799A4 (en) 2022-11-02
US20210343023A1 (en) 2021-11-04
TW202040585A (zh) 2020-11-01
US11756209B2 (en) 2023-09-12
US11062459B2 (en) 2021-07-13
WO2020163258A1 (en) 2020-08-13
JP2022519678A (ja) 2022-03-24
US20200258235A1 (en) 2020-08-13
EP3921799A1 (en) 2021-12-15

Similar Documents

Publication Publication Date Title
TWI832966B (zh) 用於使用多模態成像和集成機器學習模型的自動靶標和組織分割的方法和設備
Mazurowski et al. Deep learning in radiology: An overview of the concepts and a survey of the state of the art with focus on MRI
Usman et al. Volumetric lung nodule segmentation using adaptive roi with multi-view residual learning
Currie et al. Machine learning and deep learning in medical imaging: intelligent imaging
Binczyk et al. Radiomics and artificial intelligence in lung cancer screening
US10499857B1 (en) Medical protocol change in real-time imaging
JP6932182B2 (ja) 畳み込みニューラルネットワークを用いた画像セグメンテーションのためのシステムおよび方法
Thambawita et al. SinGAN-Seg: Synthetic training data generation for medical image segmentation
US10853449B1 (en) Report formatting for automated or assisted analysis of medical imaging data and medical diagnosis
CN105938628B (zh) 源自图像的生物标志的直接计算
US20180260957A1 (en) Automatic Liver Segmentation Using Adversarial Image-to-Image Network
US10692602B1 (en) Structuring free text medical reports with forced taxonomies
US20180225822A1 (en) Hierarchical Learning of Weights of a Neural Network for Performing Multiple Analyses
Gao et al. Bone age assessment based on deep convolution neural network incorporated with segmentation
KR102186632B1 (ko) 의료 영상의 분석 모델을 학습시키는 학습 장치 및 그 학습 방법
US11430123B2 (en) Sampling latent variables to generate multiple segmentations of an image
Hosny et al. COVID-19 diagnosis from CT scans and chest X-ray images using low-cost Raspberry Pi
Guo et al. Image segmentation of nasopharyngeal carcinoma using 3D CNN with long-range skip connection and multi-scale feature pyramid
Gsaxner et al. Exploit fully automatic low-level segmented PET data for training high-level deep learning algorithms for the corresponding CT data
Sikder et al. Supervised learning-based cancer detection
Zaridis et al. Region-adaptive magnetic resonance image enhancement for improving CNN-based segmentation of the prostate and prostatic zones
Nibid et al. Deep pathomics: A new image-based tool for predicting response to treatment in stage III non-small cell lung cancer
US11886543B2 (en) Interactive iterative image annotation
Ankireddy Assistive diagnostic tool for brain tumor detection using computer vision
Kim et al. Prediction of locations in medical images using orthogonal neural networks