TWI775161B - 腫瘤復發預測裝置與方法 - Google Patents

腫瘤復發預測裝置與方法 Download PDF

Info

Publication number
TWI775161B
TWI775161B TW109133731A TW109133731A TWI775161B TW I775161 B TWI775161 B TW I775161B TW 109133731 A TW109133731 A TW 109133731A TW 109133731 A TW109133731 A TW 109133731A TW I775161 B TWI775161 B TW I775161B
Authority
TW
Taiwan
Prior art keywords
tumor
information
image
patient
processor
Prior art date
Application number
TW109133731A
Other languages
English (en)
Other versions
TW202213382A (zh
Inventor
彭徐鈞
李政家
楊懷哲
楊景聿
黃致穎
陳奕丞
吳秀美
Original Assignee
臺北醫學大學
臺北榮民總醫院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 臺北醫學大學, 臺北榮民總醫院 filed Critical 臺北醫學大學
Priority to TW109133731A priority Critical patent/TWI775161B/zh
Priority to US17/187,466 priority patent/US20220101998A1/en
Publication of TW202213382A publication Critical patent/TW202213382A/zh
Application granted granted Critical
Publication of TWI775161B publication Critical patent/TWI775161B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30016—Brain
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30096—Tumor; Lesion

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Biomedical Technology (AREA)
  • Data Mining & Analysis (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Radiology & Medical Imaging (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Software Systems (AREA)
  • Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Quality & Reliability (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

本發明提出一種腫瘤復發預測裝置，包括資料擷取電路、記憶體以及處理器。資料擷取電路用以擷取多個病患臨床資料與多個切片影像資訊；記憶體用以儲存多個指令；以及處理器連接資料擷取電路與記憶體，並用以載入並執行多個指令以：接收多個病患臨床資料與多個切片影像資訊；依據多個病患臨床資料與多個切片影像資訊產生臨床特徵資訊與腫瘤影像特徵資訊；依據臨床特徵資訊與腫瘤影像特徵資訊訓練預測模型；以及利用預測模型對病患的病患資訊進行腫瘤復發預測。此外，一種腫瘤復發預測方法亦在此揭露。

Description

腫瘤復發預測裝置與方法
本發明是有關於一種腫瘤復發預測裝置與方法，且特別是有關於提升病患腫瘤復發的預測精確度的腫瘤復發預測裝置與方法。
在醫院或醫院系統中，腦轉移腫瘤(Brain Metastases)是最常見的惡性顱內腫瘤，最常見的原發病灶是肺癌。非小細胞肺癌(Non-Small cell lung cancer,NSCLC)約佔所有肺癌的80%，轉移性NSCLC的患者中有25-50%在其病程中受到腦轉移腫瘤的影響。儘管目前的系統療法的進步以及晚期NSCLC患者的存活率提高，腦轉移腫瘤仍然是病患發病和死亡的主要原因。因此，要如何預測腦轉移腫瘤是否復發或復發的時間，為本領域技術人員急欲解決的問題。
本發明提供一種腫瘤復發預測裝置，包括資料擷取 電路、記憶體以及處理器。資料擷取電路用以擷取多個病患臨床資料與多個切片影像資訊；記憶體用以儲存多個指令；以及處理器連接資料擷取電路與記憶體，並用以載入並執行多個指令以：接收多個病患臨床資料與多個切片影像資訊；依據多個病患臨床資料與多個切片影像資訊產生臨床特徵資訊與腫瘤影像特徵資訊；依據臨床特徵資訊與腫瘤影像特徵資訊訓練預測模型；以及利用預測模型對病患的病患資訊進行腫瘤復發預測。
本發明提供一種腫瘤復發預測方法，且該方法包括：依據多個病患臨床資料與多個切片影像資訊產生病患特徵資訊與腫瘤影像特徵資訊；將臨床特徵資訊與腫瘤影像特徵資訊相結合以產生特徵陣列，並依據特徵陣列訓練預測模型；以及利用預測模型對病患的病患資訊進行腫瘤復發預測。
基於上述，本發明的腫瘤復發預測裝置結合了多個病患臨床資料與多個腫瘤影像資訊的特徵萃取，並利用萃取出的特徵資訊訓練出預測模型，以解決目前的生存預測分析的精準度不佳的問題。
100:腫瘤復發預測裝置
110:資料擷取電路
120:記憶體
130:處理器
S201~S207:腫瘤復發預測的流程
S301~S309:腫瘤復發預測方法
T1WI、T1WI’、T1WI”:T1權重影像
T2WI、T2WI’、T2WI”:T2權重影像
T1WI+C、T1WI+C’、T1WI+C”:T1c權重影像
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
第1圖是根據本發明一些示範性實施例的腫瘤復發預測裝置的方塊圖。
第2圖是根據本發明一些示範性實施例的腫瘤復發預測裝置的流程圖。
第3圖是根據本發明一些示範性實施例的腫瘤復發預測方法的示意圖。
第4圖是根據本發明一些示範性實施例的對切片影像資訊進行影像處理的示意圖。
第5圖是根據本發明一些示範性實施例的腫瘤位置資訊對應的腫瘤影像的示意圖
第6圖是根據本發明一些示範性實施例的利用多種不同的尺寸的影像圈選框標示出所選擇的切片角度對應的切片影像資訊中的腫瘤的示意圖。
第1圖是根據本發明一些示範性實施例的腫瘤復發預測裝置的方塊圖。請參照圖1，腫瘤復發預測裝置100可包括資料擷取電路110、記憶體120以及處理器130。資料擷取電路110可擷取先前已完成腫瘤治療療程的多個病患相關的各種臨床資料，並且擷取先前已完成腫瘤治療療程的多個病患的各自的腫瘤(各病患在接受治療療程之前可能存在一個或多個腫瘤)的多個切片角度對應的切片影像資訊。此外，記憶體120可用以儲存由處理器110執行的多個指令。處理器130可連接至資料擷取電路110與記憶體120，並且存取和執行儲存於記憶體120中的多個指令。
在一些實施例中，腫瘤復發預測裝置100例如是智慧型手機、平板電腦、筆記型電腦、桌上型電腦等可連上網際網路的電子裝置等電子裝置。
在一些實施例中，資料擷取電路110可包括用於取得磁共振成像(Magnetic Resonance Imaging，MRI)影像的電路以及用以擷取多個病患的多個臨床資料的電路，其中用於取得MRI影像的電路例如可以是使用MRI技術來對病患進行掃描並取得MRI影像的電路。
然而，在另一實施例中，資料擷取電路110也可以是用於從腫瘤復發預測裝置100的記憶體120或外部的其他儲存裝置取得MRI影像與多個病患的多個臨床資料。而在另一實施例中，資料擷取電路110也可以是藉由其他的方式來取得上述的MRI影像與多個病患的多個臨床資料。
值得注意的是，本發明並不用於限定資料擷取電路110取得MRI影像與多個病患的多個臨床資料的取得方式。
在一些實施例中，記憶體120例如是任何型態的固定式或可移動式的隨機存取記憶體(random access memory，RAM)、唯讀記憶體(read-only memory，ROM)、快閃記憶體(flash memory)、硬碟(hard disk drive，HDD)、固態硬碟(solid state drive，SSD)或類似元件或上述元件的組合。
在一些實施例中，處理器130例如是中央處理單 元(central processing unit，CPU)，或是其他可程式化之一般用途或特殊用途的微控制單元(micro control unit，MCU)、微處理器(microprocessor)、數位信號處理器(digital signal processor，DSP)、可程式化控制器、特殊應用積體電路(application specific integrated circuit，ASIC)、圖形處理器(graphics processing unit，GPU)、算數邏輯單元(arithmetic logic unit，ALU)、複雜可程式邏輯裝置(complex programmable logic device，CPLD)、現場可程式化邏輯閘陣列(field programmable gate array，FPGA)或其他類似元件或上述元件的組合。
第2圖是根據本發明一些示範性實施例的腫瘤復發預測方法的流程圖。同時參照第1圖與第2圖，本實施例的方法適用於第1圖的腫瘤復發預測裝置100，以下即搭配腫瘤復發預測裝置100中各裝置之間的作動關係來說明本發明實施例之腫瘤復發預測方法的詳細步驟。
首先，於步驟S201中，處理器130可接收多個病患臨床資料與多個切片影像資訊。詳細而言，在資料擷取電路110擷取完成腫瘤治療療程的多個病患的多個病患臨床資料與多個切片影像資訊後，處理器130可從資料擷取電路110接收多個病患臨床資料與多個切片影像資訊。
在一些實施例中，多個病患臨床資料可包括多個病患的多個臨床變量資料，例如：年齡、性別、表皮生長因子受體(epidermal growth factor receptor，EGFR)、 全腦放射治療(whole brain radiotherapy，WBRT)、酪胺酸激酶抑制劑(tyrosine kinase inhibitors，TKI)之前、TKI之後、Karnofsky功能狀態評分表(Karnofsky Performance Score，KPS)、腫瘤是否復發、腫瘤的數量以及腫瘤體積等各種病患臨床資料類型。
在一些實施例中，多個切片影像資訊為多個病患對應的多個腫瘤的多個切片角度的影像資訊，且各切片角度的影像資訊可包括多個切片影像類型的影像資訊，例如：腫瘤的T1權重影像(T1 weighted images，T1WI)、T2權重影像(T2 weighted images，T2WI)以及T1c權重影像(contrast-enhanced T1 weighted images，T1WI+C)等各種類型的MRI影像資訊。
接著，於步驟S203中，處理器130可依據多個病患臨床資料與多個切片影像資訊產生臨床特徵資訊與腫瘤影像特徵資訊。詳細而言，處理器130可對多個病患臨床資料進行特徵萃取以產生臨床特徵資訊，並且對多個切片影像資訊進行特徵萃取以產生腫瘤影像特徵資訊。
在一些實施例中，處理器130可依據多個病患臨床資料產生臨床資料矩陣，並依據多個切片影像資訊產生多個腫瘤影像陣列。藉此，處理器130可直接利用臨床資料矩陣進行特徵萃取以產生臨床特徵資訊，並且可直接利用多個切片影像陣列進行特徵萃取以產生腫瘤影像特徵資訊，其中臨床特徵資訊為一個臨床特徵向量，且腫瘤影像 特徵資訊為一個腫瘤影像特徵向量。
在進一步的實施例中，處理器130可判斷多個切片影像資訊中的多個腫瘤位置資訊，以產生多個腫瘤影像資訊，進而依據多個腫瘤影像資訊產生多個腫瘤影像陣列。詳細而言，處理器130可從多個切片影像資訊判斷出各切片影像中的腫瘤位置資訊，並利用多種不同的尺寸的影像圈選框標示出腫瘤位置資訊對應的腫瘤影像資訊，其中各切片影像的影像尺寸可以是任意的大小，並沒有特別的限制。此外，判斷多個腫瘤位置資訊的方法可以是任意相關於人工智能或深度學習的演算法，也沒有特別的限制。
在進一步的實施例中，藉由上述產生臨床資料矩陣與多個腫瘤影像陣列的預處理方法，處理器130可進一步依據臨床資料矩陣以利用深度生存網路(deep survival networks)產生臨床特徵資訊，並依據多個腫瘤影像資訊以利用影像特徵提取網路(image feature extraction networks)產生腫瘤影像特徵資訊。此外，上述影像特徵提取網路例如是空間金字塔池化網路(spatial pyramid pooling networks，SPP-net)或預訓練深度神經網路(pretrained deep neural networks)等。
接著，於步驟S205中，處理器130可依據臨床特徵資訊與腫瘤影像特徵資訊訓練預測模型。詳細而言，處理器130可將臨床特徵資訊與腫瘤影像特徵資訊作為多個訓練樣本，以利用這些訓練樣本訓練出一個預測模型。
在一些實施例中，處理器130可將臨床特徵資訊 與腫瘤影像特徵資訊相結合以產生特徵陣列，並依據此特徵陣列以利用另一個深度生存網路訓練預測模型。
最後，於步驟S207中，處理器130可利用預測模型對病患的病患資訊進行腫瘤復發預測。詳細而言，在完成上述的訓練階段後，處理器130可從記憶體120或外部的儲存裝置接收完成腫瘤治療療程的一個病患的病患資訊，並依據此病患資訊進行腫瘤復發預測。藉此，處理器130可以判斷出受測病患的腫瘤在未來是否復發，並且判斷出在有可能復發的情況下的復發時間(例如，在完成腫瘤治療療程後的五年會復發)。藉由上述的判斷結果，醫師可在病患完成腫瘤治療療程後進一步對病患的身體狀況進行持續追蹤，以預測病患的腫瘤再次復發。
在一些實施例中，上述病患的病患資訊可包括此病患的年齡、性別、EGFR、WBRT、TKI之前、TKI之後、KPS、腫瘤的數量以及腫瘤體積等臨床資料。
基於上述，本發明的腫瘤復發預測裝置100不僅僅可對完成治療療程的病患進行腫瘤復發預測，更可對腫瘤有可能復發的病患進行復發時間的預測。此外，本發明的腫瘤復發預測裝置100更同時對多個病患臨床資料與多個切片影像資訊進行預處理與特徵提取以訓練預測模型。藉此，將可有效提升預測模型的預測精準度，進而大大地降低預測錯誤的情況發生。
第3圖是根據本發明不同示範性實施例的腫瘤復發預測方法的示意圖。相較於第2圖的實施例，第3圖揭 露一個更加具體的實施例。同時參照第1圖與第3圖，首先，於步驟S301中，處理器130可透過資料擷取電路110擷取多個病患臨床資料與多個切片影像資訊。詳細而言，處理器130可透過資料擷取電路110擷取多個病患對應的多個病患臨床資料類型的臨床資料，並且擷取多個病患對應的多個腫瘤對應的多個切片影像資訊類型的影像資訊。
舉例而言，處理器130可透過資料擷取電路110擷取多個病患中的第一個病患對應的病患臨床資料，且病患臨床資料包括第一個病患的年齡、性別、EGFR、WBRT、TKI之前、TKI之後、KPS、腫瘤是否復發、腫瘤的數量以及腫瘤體積。以此類推，處理器130可透過資料擷取電路110擷取多個病患中的其餘病患的上述類型的病患臨床資料。此外，當第一病患曾透過腫瘤治療療程治療過兩個腫瘤並拍攝過兩個腫瘤的兩個切片角度的T1、T2以及T1c權重影像時，處理器130可透過資料擷取電路110擷取兩個腫瘤的兩個切片角度的T1、T2以及T1c權重影像(即，六個影像)以產生各腫瘤的自己的切片影像資訊。以此類推，處理器130可透過資料擷取電路110擷取多個病患中的其餘病患對應的多個腫瘤的上述類型的多個切片影像資訊。
接著，於步驟S303中，處理器130可對多個病患臨床資料與多個切片影像資訊進行預處理以產生臨床資料矩陣與多個腫瘤影像陣列。詳細而言，為了對多個病患臨床資料與多個切片影像資訊進行特徵提取，處理器130 需要對多個病患臨床資料與多個切片影像資訊進行預處理。
在一些實施例中，處理器130可對多個病患臨床資料進行右限制處理(right-censored processing)以產生一個臨床資料矩陣。詳細而言，處理器130可依據多個病患臨床資料判斷多個腫瘤分別對應到哪些病患臨床資料，並依據各腫瘤對應的病患臨床資料產生臨床資料矩陣，其中多個腫瘤對應至臨床資料矩陣的多個列，且多個病患臨床資料對應的多個病患臨床資料類型對應至臨床資料矩陣的多個行。
舉例而言，針對多個病患中的第一個病患，處理器130可擷取多個病患臨床資料中的第一個病患的年齡、性別、EGFR、WBRT、TKI之前、TKI之後、KPS、腫瘤是否復發、腫瘤的數量以及腫瘤體積，並依據第一個病患的腫瘤的數量判斷出第一個病患曾經治療兩個腫瘤。藉此，處理器130可將第一腫瘤與第二腫瘤對應至臨床資料矩陣的第一列與第二列，並將年齡、性別、EGFR、WBRT、TKI之前、TKI之後、KPS、腫瘤是否復發、腫瘤的數量以及腫瘤體積等病患臨床資料類型對應至臨床資料矩陣的行。藉此，處理器130可同時將臨床資料矩陣的第一列與第二列中的資料設定為第一個病患的年齡、性別、EGFR、WBRT、TKI之前、TKI之後、KPS、腫瘤是否復發以及腫瘤體積。
藉由相同的方法，處理器130可判斷出其餘腫瘤 對應的病患的年齡、性別、EGFR、WBRT、TKI之前、TKI之後、KPS、腫瘤是否復發以及腫瘤體積，以產生一個臨床資料矩陣。
在一些實施例中，處理器130可將多個腫瘤對應的多個切片影像資訊進行影像對位處理、去除頭骨處理以及均值化處理，其中均值化處理例如是影像灰階強度(image gray scale intensity)的Z分數標準化(Z score normalization)處理等各種均值化的處理。
進一步而言，處理器130可判斷出各腫瘤對應的切片影像資訊，其中切片影像資訊可包括從多個角度所拍攝到的T1、T2以及T1c權重影像。藉此，處理器130可對各個角度所拍攝到的T1、T2以及T1c權重影像進行對位處理、去除頭骨處理以及均值化處理。
舉例而言，第4圖是根據本發明一些示範性實施例的對切片影像資訊進行影像處理的示意圖。參照第4圖，一個病患的一個腫瘤的切片影像資訊可包括T1WI、T2WI以及T1WI+C。首先，可經由影像對位處理將T1WI、T2WI以及T1WI+C對位，並經由去除頭骨處理與影像灰階強度的Z分數標準化處理產生T1WI’、T2WI’以及T1WI+C’。
參照回第1圖與第3圖，在進一步的實施例中，處理器130可判斷上述多個經處理的切片影像資訊中的多個腫瘤位置資訊，並依據多個腫瘤位置資訊產生多個腫瘤影像陣列。進一步而言，藉上述的影像對位處理、去除頭 骨處理以及均值化處理，處理器130可判斷各腫瘤對應的多個切片角度的多個切片影像資訊中的多個腫瘤位置資訊，並依據上述多個腫瘤位置資訊檢測多個切片影像資訊的腫瘤尺寸，進而選擇多個切片角度中對應最大腫瘤尺寸的切片角度。此外，處理器130可利用多種不同的尺寸的影像圈選框標示出所選擇的切片角度對應的切片影像資訊中的腫瘤，以產生影像圈選框對應的腫瘤影像資訊。藉此，處理器130可依據各腫瘤對應的腫瘤影像資訊產生各腫瘤的腫瘤影像陣列。
舉例而言，第5圖是根據本發明一些示範性實施例的腫瘤位置資訊對應的腫瘤影像的示意圖。參照第5圖，針對一個腫瘤，可從切片角度1~6拍攝六個切片影像資訊，其中各切片影像資訊包括T1、T2以及T1c權重影像。藉此，可判斷出各切片影像資訊的T1、T2以及T1c權重影像中的腫瘤位置資訊，並依據腫瘤位置資訊判斷出腫瘤的影像，進而依據腫瘤的影像判斷腫瘤尺寸。進一步而言，由於切片角度4的T1、T2以及T1c權重影像對應的腫瘤具有最大的腫瘤尺寸，故可選擇切片角度4對應的切片影像資訊以進行後續的影像圈選動作。
第6圖是根據本發明一些示範性實施例的利用多種不同的固定尺寸的影像圈選框標示出所選擇的切片角度對應的切片影像資訊中的腫瘤的示意圖。請參照第6圖，以尺寸為64x64像素的影像圈選框為例，可利用此影像圈選框框選出切片影像資訊中的T1、T2以及T1c權重影像 中的腫瘤以產生包括影像T1WI”、T2WI”以及T1WI+C”的腫瘤影像資訊，其中T1WI”、T2WI”以及T1WI+C”的尺寸為64x64x1像素。藉此，可將此腫瘤的腫瘤影像資訊中的T1WI”、T2WI”以及T1WI+C”重疊，以產生尺寸為64x64x3像素的腫瘤影像陣列。
接著，參照回第1圖與第3圖，於步驟S305中，處理器130可依據臨床資料矩陣與多個腫瘤影像陣列進行特徵提取以產生臨床特徵資訊與腫瘤影像特徵資訊。詳細而言，為了產生用以進行腫瘤復發預測的預測模型，處理器130需要進一步對臨床資料矩陣與多個腫瘤影像陣列進行特徵提取。
在一些實施例中，處理器130可利用深度生存網路中的全連接層(fully-connected layer)1~M與丟棄層(dropout layer)1~M從臨床資料矩陣產生臨床特徵資訊，其中臨床特徵資訊為一個臨床特徵向量。此外，處理器130可利用SPP-net中的捲積層(convolutional layer)1~N、最大池化層(max-pooling layer)1~N以及空間金字塔池化層(spatial pyramid pooling layer)從多個腫瘤影像陣列產生腫瘤影像特徵資訊，其中腫瘤影像特徵資訊為一個腫瘤影像特徵向量。值得注意的是，M與N為經由多次實驗測試出的最佳正整數。
接著，於步驟S307中，處理器130可將臨床特徵資訊與腫瘤影像特徵資訊相結合。
在一些實施例中，臨床特徵資訊為一個臨床特徵向量，且腫瘤影像特徵資訊為一個腫瘤影像特徵向量。處理器130可將臨床特徵向量與腫瘤影像特徵向量串接以產生一個特徵向量。
最後，於步驟S309中，處理器130可利用相結合的臨床特徵資訊與腫瘤影像特徵資訊訓練出預測模型。詳細而言，處理器130可以臨床特徵資訊與腫瘤影像特徵資訊做為訓練樣本以訓練出一個預測模型。
在一些實施例中，處理器130可將臨床特徵資訊與腫瘤影像特徵資訊相結合以產生一個特徵向量，並依據特徵向量以利用深度生存網路中的全連接層(fully-connected layer)1~X、丟棄層(dropout layer)1~X以及線性組合層(linear combinational layer)產生一個預測模型。值得注意的是，X同樣為經由多次實驗測試出的最佳正整數。
綜上所述，本發明提供的腫瘤復發預測裝置結合了多個病患臨床資料與多個腫瘤影像資訊的特徵萃取，並利用萃取出的特徵資訊訓練出預測模型，以解決目前的生存預測分析的精準度不夠高的問題。如此一來，本發明提供的預測模型將更精準的預測完成過腫瘤治療療程的病患是否再次復發腫瘤與復發腫瘤的時間。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故 本發明的保護範圍當視後附的申請專利範圍所界定者為準。
100:腫瘤復發預測裝置
110:資料擷取電路
120:記憶體
130:處理器

Claims (8)

  1. 一種腫瘤復發預測裝置，包括：一資料擷取電路，擷取多個病患臨床資料與多個切片影像資訊；一記憶體，儲存多個指令；以及一處理器，連接該資料擷取電路與該記憶體，並載入並執行該些指令以：接收該些病患臨床資料與該些切片影像資訊；依據該些病患臨床資料與該些切片影像資訊產生臨床特徵資訊與腫瘤影像特徵資訊；將該臨床特徵資訊與該腫瘤影像特徵資訊相結合以產生一特徵陣列，並依據該特徵陣列以利用一深度生存網路訓練一預測模型，其中該臨床特徵資訊為一臨床特徵向量，該腫瘤影像特徵資訊為一腫瘤影像特徵向量，該臨床特徵向量串接該腫瘤影像特徵向量以產生一特徵向量來形成該特徵陣列；以及依據一病患的病患資訊以利用該預測模型判斷該病患是否復發腫瘤以及在復發腫瘤的情況下的一復發時間。
  2. 如請求項1所述之腫瘤復發預測裝置，其中該處理器更：依據該些病患臨床資料產生一臨床資料矩陣，並依據該些切片影像資訊產生多個腫瘤影像陣列。
  3. 如請求項2所述之腫瘤復發預測裝置，其中處理器更：判斷該些切片影像資訊中的多個腫瘤位置資訊；以及依據該些腫瘤位置資訊產生多個腫瘤影像資訊，並依據該些腫瘤影像資訊產生該些腫瘤影像陣列。
  4. 如請求項2所述之腫瘤復發預測裝置，其中處理器更：依據該臨床資料矩陣以利用該深度生存網路產生該臨床特徵資訊；以及依據該些腫瘤影像陣列以利用一影像特徵提取網路產生該腫瘤影像特徵資訊。
  5. 一種腫瘤復發預測方法，包括：藉由一處理器依據由一資料擷取電路所擷取的多個病患臨床資料與多個切片影像資訊產生一病患特徵資訊與一腫瘤影像特徵資訊；藉由該處理器將該臨床特徵資訊與該腫瘤影像特徵資訊相結合以產生一特徵陣列，並依據該特徵陣列以利用一深度生存網路訓練一預測模型，其中該臨床特徵資訊為一臨床特徵向量，該腫瘤影像特徵資訊為一腫瘤影像特徵向量，該臨床特徵向量串接該腫瘤影像特徵向量以產生一特徵向量來形成該特徵陣列；以及藉由該處理器依據一病患的病患資訊以利用該預測模型 判斷該病患是否復發腫瘤以及在復發腫瘤的情況下的一復發時間。
  6. 如請求項5所述之腫瘤復發預測方法，其中藉由該處理器依據由該資料擷取電路所擷取的該些病患臨床資料與該些切片影像資訊產生該病患特徵資訊與該腫瘤影像特徵資訊的步驟包括：藉由該處理器依據該些病患臨床資料產生一臨床資料矩陣，並依據該些切片影像資訊產生多個腫瘤影像陣列。
  7. 如請求項6所述之腫瘤復發預測方法，其中藉由該處理器依據該些切片影像資訊產生該些腫瘤影像陣列的步驟包括：藉由該處理器判斷該些切片影像資訊中的多個腫瘤位置資訊；以及藉由該處理器依據該些腫瘤位置資訊產生多個腫瘤影像資訊，並依據該些腫瘤影像資訊產生該些腫瘤影像陣列。
  8. 如請求項6所述之腫瘤復發預測方法，更包括：藉由該處理器依據該臨床資料矩陣以利用該深度生存網路產生該臨床特徵資訊；以及藉由該處理器依據該些腫瘤影像陣列以利用一影像特徵提取網路產生該腫瘤影像特徵資訊。
TW109133731A 2020-09-28 2020-09-28 腫瘤復發預測裝置與方法 TWI775161B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109133731A TWI775161B (zh) 2020-09-28 2020-09-28 腫瘤復發預測裝置與方法
US17/187,466 US20220101998A1 (en) 2020-09-28 2021-02-26 Tumor recurrence prediction device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109133731A TWI775161B (zh) 2020-09-28 2020-09-28 腫瘤復發預測裝置與方法

Publications (2)

Publication Number Publication Date
TW202213382A TW202213382A (zh) 2022-04-01
TWI775161B true TWI775161B (zh) 2022-08-21

Family

ID=80823055

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109133731A TWI775161B (zh) 2020-09-28 2020-09-28 腫瘤復發預測裝置與方法

Country Status (2)

Country Link
US (1) US20220101998A1 (zh)
TW (1) TWI775161B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115295154B (zh) * 2022-10-08 2023-02-03 北京肿瘤医院(北京大学肿瘤医院) 肿瘤免疫治疗疗效预测方法、装置、电子设备及存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694718A (zh) * 2018-05-28 2018-10-23 中山大学附属第六医院 直肠癌术前同期新辅助放化疗疗效评估系统和方法
CN110097974A (zh) * 2019-05-15 2019-08-06 天津医科大学肿瘤医院 一种基于深度学习算法的鼻咽癌远端转移预测系统
TW202025175A (zh) * 2018-12-20 2020-07-01 中國醫藥大學附設醫院 臺中市北區育德路 2 號 腫瘤影像深度學習輔助子宮頸癌患者預後預測系統、方法及電腦程式產品
CN111657945A (zh) * 2020-06-16 2020-09-15 中南大学湘雅医院 一种基于增强mri影像组学的鼻咽癌预后辅助评估方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5757974A (en) * 1996-04-15 1998-05-26 The United States Of America As Represented By The Secretary Of The Navy System and method for data compression
CN101689220A (zh) * 2007-04-05 2010-03-31 奥利安实验室有限公司 用于治疗、诊断和预测医学病症发生的系统和方法
EP4005498A4 (en) * 2019-07-26 2022-09-21 FUJIFILM Corporation INFORMATION PROCESSING DEVICE, PROGRAM, LEARNED MODEL, DIAGNOSTIC SUPPORT DEVICE, LEARNING DEVICE AND METHOD FOR GENERATION OF A PREDICTIVE MODEL
WO2021108043A1 (en) * 2019-11-27 2021-06-03 University Of Cincinnati Assessing treatment response with estimated number of tumor cells

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108694718A (zh) * 2018-05-28 2018-10-23 中山大学附属第六医院 直肠癌术前同期新辅助放化疗疗效评估系统和方法
TW202025175A (zh) * 2018-12-20 2020-07-01 中國醫藥大學附設醫院 臺中市北區育德路 2 號 腫瘤影像深度學習輔助子宮頸癌患者預後預測系統、方法及電腦程式產品
CN110097974A (zh) * 2019-05-15 2019-08-06 天津医科大学肿瘤医院 一种基于深度学习算法的鼻咽癌远端转移预测系统
CN111657945A (zh) * 2020-06-16 2020-09-15 中南大学湘雅医院 一种基于增强mri影像组学的鼻咽癌预后辅助评估方法

Also Published As

Publication number Publication date
TW202213382A (zh) 2022-04-01
US20220101998A1 (en) 2022-03-31

Similar Documents

Publication Publication Date Title
US11403750B2 (en) Localization and classification of abnormalities in medical images
Li et al. A hybrid convolutional and recurrent neural network for hippocampus analysis in Alzheimer's disease
Wu et al. Discrimination and conversion prediction of mild cognitive impairment using convolutional neural networks
CN111161275B (zh) 医学图像中目标对象的分割方法、装置和电子设备
Yang et al. Classification for dermoscopy images using convolutional neural networks based on region average pooling
Zhu et al. MRI‐based prostate cancer detection with high‐level representation and hierarchical classification
Chen et al. Standard plane localization in fetal ultrasound via domain transferred deep neural networks
CN106408001B (zh) 基于深度核哈希的感兴趣区域快速检测方法
WO2019223123A1 (zh) 病变部位识别方法及装置、计算机装置及可读存储介质
CN109903269B (zh) 确定脊柱横断面图像的异常类型的方法及计算设备
CN110415792A (zh) 图像检测方法、装置、计算机设备和存储介质
Lin et al. Variance‐aware attention U‐Net for multi‐organ segmentation
Braman et al. Deep learning-based prediction of response to HER2-targeted neoadjuvant chemotherapy from pre-treatment dynamic breast MRI: a multi-institutional validation study
TWI775161B (zh) 腫瘤復發預測裝置與方法
Nizamani et al. Advance brain tumor segmentation using feature fusion methods with deep U-Net model with CNN for MRI data
CN114998374A (zh) 基于位置先验的图像分割方法、装置、设备和存储介质
Ying et al. Two fully automated data-driven 3D whole-breast segmentation strategies in MRI for MR-based breast density using image registration and U-Net with a focus on reproducibility
Shen et al. A boundary-guided transformer for measuring distance from rectal tumor to anal verge on magnetic resonance images
Tian et al. Delineation of clinical target volume and organs at risk in cervical cancer radiotherapy by deep learning networks
Lee et al. Detection of cerebral microbleeds in MR images using a single‐stage triplanar ensemble detection network (TPE‐Det)
Liu et al. CAM‐Wnet: An effective solution for accurate pulmonary embolism segmentation
Zhu et al. 3D pyramid pooling network for abdominal MRI series classification
US11651496B2 (en) Liver fibrosis recognition method based on medical images and computing device using thereof
CN114305324A (zh) 肿瘤复发预测装置与方法
CN107798680B (zh) 一种减少图像标签融合冗余计算的方法

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent