TW202011895A - 斷層圖像預測裝置及斷層圖像預測方法 - Google Patents

斷層圖像預測裝置及斷層圖像預測方法 Download PDF

Info

Publication number
TW202011895A
TW202011895A TW108119283A TW108119283A TW202011895A TW 202011895 A TW202011895 A TW 202011895A TW 108119283 A TW108119283 A TW 108119283A TW 108119283 A TW108119283 A TW 108119283A TW 202011895 A TW202011895 A TW 202011895A
Authority
TW
Taiwan
Prior art keywords
tomographic image
brain
prediction
tomographic
input
Prior art date
Application number
TW108119283A
Other languages
English (en)
Other versions
TWI827610B (zh
Inventor
古森政作
木村祐一
Original Assignee
日商濱松赫德尼古斯股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商濱松赫德尼古斯股份有限公司 filed Critical 日商濱松赫德尼古斯股份有限公司
Publication of TW202011895A publication Critical patent/TW202011895A/zh
Application granted granted Critical
Publication of TWI827610B publication Critical patent/TWI827610B/zh

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/004Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part
    • A61B5/0042Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for image acquisition of a particular organ or body part for the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/05Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4058Detecting, measuring or recording for evaluating the nervous system for evaluating the central nervous system
    • A61B5/4064Evaluating the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/40Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235Details of waveform analysis
    • A61B5/7264Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/72Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271Specific aspects of physiological measurement analysis
    • A61B5/7275Determining trends in physiological measurement data; Predicting development of a medical condition based on physiological measurements, e.g. determining a risk factor
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03Computed tomography [CT]
    • A61B6/037Emission tomography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/50Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications
    • A61B6/501Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment specially adapted for specific body parts; specially adapted for specific clinical applications for diagnosis of the head, e.g. neuroimaging or craniography
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5217Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data extracting a diagnostic or physiological parameter from medical diagnostic data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/042Knowledge-based neural networks; Logical representations of neural networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/08Learning methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0012Biomedical image inspection
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00ICT specially adapted for the handling or processing of medical images
    • G16H30/40ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • GPHYSICS
    • G16INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16HHEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2576/00Medical imaging apparatus involving image processing or analysis
    • A61B2576/02Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part
    • A61B2576/026Medical imaging apparatus involving image processing or analysis specially adapted for a particular organ or body part for the brain
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/46Arrangements for interfacing with the operator or the patient
    • A61B6/461Displaying means of special interest
    • A61B6/463Displaying means of special interest characterised by displaying multiple images or images and diagnostic data on one display
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00Computing arrangements based on biological models
    • G06N3/02Neural networks
    • G06N3/04Architecture, e.g. interconnection topology
    • G06N3/045Combinations of networks
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10088Magnetic resonance imaging [MRI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10104Positron emission tomography [PET]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10072Tomographic images
    • G06T2207/10108Single photon emission computed tomography [SPECT]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20081Training; Learning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20084Artificial neural networks [ANN]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30016Brain

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Surgery (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Primary Health Care (AREA)
  • Epidemiology (AREA)
  • Optics & Photonics (AREA)
  • Data Mining & Analysis (AREA)
  • Psychiatry (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Neurosurgery (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)

Abstract

本發明之斷層圖像預測裝置1具備輸入部11、預測部12、輸出部13及學習部14。斷層圖像預測裝置1將受試者之腦之斷層圖像輸入作為輸入圖像I1,且藉由預測部12之深度神經網路預測較該斷層圖像取得時更未來之該受試者之腦之斷層圖像,並將該預測之斷層圖像作為輸出圖像I2輸出。斷層圖像預測裝置1可使用斷層圖像資料庫15使深度神經網路學習。藉此實現有助於制訂受試者將來之治療等方針的斷層圖像預測裝置及斷層圖像預測方法。

Description

斷層圖像預測裝置及斷層圖像預測方法
本揭示係關於一種預測斷層圖像之裝置及方法。
隨著高齡化進展及失智症患者之數量增加,而謀求一種診斷受試者之失智症程度的技術。受試者之失智症程度除可根據該受試者之言行診斷外,亦可由醫師觀察腦之斷層圖像而診斷。於專利文獻1中,揭示有使用神經網路,根據受試者之腦之斷層圖像,診斷該受試者之腦之狀態的技術。 [先前技術文獻] [專利文獻]
[專利文獻1]國際公開第2008/056638號
[發明所欲解決之問題]
專利文獻1所揭示之技術係根據受試者當前之腦之斷層圖像,診斷當前之失智症程度。若可診斷受試者之當前之失智症程度,則有助於該受試者之照護或治療。然而,僅得知受試者當前之失智症程度,不足以制訂該受試者當前乃至將來之照護、治療或預防之方針。
本發明之目的在於提供一種有助於受試者之將來之治療等方針之確立的斷層圖像預測裝置及斷層圖像預測方法。 [解決問題之技術手段]
本發明之實施形態係斷層圖像預測裝置。斷層圖像預測裝置具備:(1)輸入部,其輸入受試者之腦之斷層圖像;(2)預測部,其基於輸入至輸入部之腦之斷層圖像,藉由深度神經網路,預測較該斷層圖像之取得時更未來之受試者之腦之斷層圖像;及(3)輸出部,其輸出預測部之預測結果。
本發明之實施形態係斷層圖像預測方法。斷層圖像預測方法具備:(1)輸入步驟,其輸入受試者之腦之斷層圖像;(2)預測步驟,其基於輸入步驟輸入之腦之斷層圖像,藉由深度神經網路,預測較該斷層圖像之取得時更未來之受試者之腦之斷層圖像;及(3)輸出步驟,其輸出預測步驟之預測結果。 [發明之效果]
根據本發明之實施形態,藉由預測受試者將來之腦之斷層圖像,可對該受試者當前乃至將來之照護、治療或預防,制訂更有效之方針。
以下,參照隨附圖式,詳細說明用以實施本發明之形態。另,圖式之說明中,對相同要件附加相同之符號,並省略重複之說明。本發明並非限定於該等例示者。
圖1係顯示斷層圖像預測裝置1之構成之圖。斷層圖像預測裝置1將受試者之腦之斷層圖像作為輸入圖像I1輸入,且藉由深度神經網路預測較該斷層圖像取得時更未來之該受試者之腦之斷層圖像,並將該預測之斷層圖像作為輸出圖像I2輸出。又,斷層圖像預測裝置1可使用斷層圖像資料庫15使深度神經網路學習。斷層圖像預測裝置1例如使用電腦構成,具備輸入部11、預測部(處理部)12、輸出部13及學習部14。
輸入部11將受試者之腦之斷層圖像作為輸入圖像I1輸入。斷層圖像例如亦可為藉由PET(Positron Emission Tomography:正子發射斷層攝影法)裝置取得之PET圖像、藉由SPECT(Single Photon Emission Computed Tomography:單光子發射計算機斷層攝影法)裝置取得之SPECT圖像、及藉由MRI(Magnetic Resonance Imaging:磁共振成像)裝置取得之MRI圖像之任一者。又,斷層圖像亦可為1片或複數片二維斷層圖像,亦可為三維斷層圖像。
預測部12基於輸入至輸入部11之腦之斷層圖像(輸入圖像I1),藉由深度神經網路(Deep Neural Network),預測較該斷層圖像之取得時更未來之受試者之腦之斷層圖像等。又,預測部12亦可構成為基於該預測之受試者之腦之斷層圖像預測該受試者之腦之健康狀態。腦之健康狀態為例如失智症程度,可以數值化之Z得分表示,或可以危險度等級(需精密檢查、需注意、需經過觀察等)表示。
該深度神經網路亦可為卷積神經網路(Convolutional Neural Network)。卷積神經網路中,交替設置有抽出特徵量之卷積層、與壓縮特徵量之積存層。預測部12亦可藉由CPU(Central Processing Unit:中央處理單元)進行深度神經網路中之處理,但較佳藉由可進行更高速之處理之DSP(Digital Signal Processor:數位信號處理器)或GPU(Graphics Processing Unit:圖形處理單元)進行。
輸出部13輸出預測部12之預測結果。輸出部13將預測部12預測之受試者之腦之斷層圖像作為輸出圖像12輸出。此外,於預測部12亦預測受試者之腦之健康狀態之情形,輸出部13亦輸出預測部12預測之受試者之腦之健康狀態。輸出部13亦可為包含顯示圖像之顯示器的構成。
學習部14使用斷層圖像資料庫15使預測部12之深度神經網路學習。斷層圖像資料庫15儲存針對複數個受試者於複數個時點分別取得之腦之斷層圖像資料。斷層圖像資料庫15例如儲存有每隔大致1年取得之各受試者之腦之斷層圖像資料。學習部14將各受試者之某年取得之斷層圖像作為輸入圖像I1,且基於與該輸入圖像I1相對之輸出圖像I2及該受試者之次年(或經過特定年數後之年)取得之斷層圖像,使預測部12之深度神經網路學習。此種深度神經網路之學習稱為深度學習(Deep Learning)。
使用此種斷層圖像預測裝置1之斷層圖像預測方法具備輸入部11之輸入步驟、預測部12之預測步驟、輸出部13之輸出步驟、及學習部14之學習步驟。
即,於輸入步驟中,將受試者之腦之斷層圖像作為輸入圖像I1輸入。於預測步驟中,基於輸入步驟所輸入之腦之斷層圖像(輸入圖像I1),藉由深度神經網路,預測較該斷層圖像之取得時更未來之受試者之腦之斷層圖像等。又,於預測步驟中,亦可構成為基於該預測之受試者之腦之斷層圖像預測該受試者之腦之健康狀態。於輸出步驟中,將預測步驟所預測之受試者之腦之斷層圖像作為輸出圖像I2輸出,此外亦輸出預測步驟所預測之受試者之腦之健康狀態。於學習步驟中,使用斷層圖像資料庫15使深度神經網路學習。
若於學習步驟中進行一次深度神經網路之學習,則以後可重複進行輸入、預測及輸出之一連串之步驟,因而不必於每次進行輸入、預測及輸出之一連串之步驟時進行學習步驟。基於同樣之理由,若深度神經網路學習完畢,則無需學習部14。惟,於深度神經網路學習完畢,但為了可進行更高精度之預測而再次進行學習之情形,亦可具備學習步驟及學習部14。
圖2係顯示深度神經網路學習完畢之斷層圖像預測裝置1之構成之圖。斷層圖像預測裝置1可將受試者之腦之斷層圖像作為輸入圖像I1輸入,且藉由深度神經網路預測較該斷層圖像之取得時更未來(例如,一年後,經過特定年數後等)之該受試者之腦之斷層圖像並作為圖像I2輸出,又可基於該預測之受試者之腦之斷層圖像預測該受試者之腦之健康狀態。因可預測受試者將來之腦之斷層圖像(及腦之健康狀態),故可對該受試者當前乃至將來之照護、治療或預防,制訂更有效之方針。
藉由預測受試者之將來之腦之斷層圖像(及腦之健康狀態),例如可進行如下處理。根據預測之斷層圖像,判斷有正常壓腦積水、腦瘤、慢性硬膜下血腫等懷疑之情形,可藉由腦外科之處置而改善症狀。又,判斷原因為甲狀腺荷爾蒙異常之情形,可藉由內科之處置而改善症狀。於根據預測之斷層圖像判斷有阿茲海默型懷疑時,可藉由投予藥物而延緩症狀之加深。因於早期發現,故可提前應對將來有可能發生之生活障礙等麻煩,且可儘早決定今後之治療、臨終醫療、照護等方針。
斷層圖像預測裝置1及斷層圖像預測方法並未限定於輸入1個輸入圖像I1且輸出1個輸出圖像I2之態樣,亦可為多種態樣。以下,對斷層圖像預測裝置之其他態樣進行說明。
圖3係顯示斷層圖像預測裝置1A之構成之圖。於斷層圖像預測裝置1A中,預測部12A對較輸入至輸入部11之腦之斷層圖像(輸入圖像I1)之取得時更未來之複數個時點之各者之腦之斷層圖像進行預測。輸出部13亦可分別顯示由預測部12A預測之複數個時點之各者之腦之斷層圖像(輸出圖像I2a~I2e),較佳亦可藉由按序顯示該等複數個時點之各者之腦之斷層圖像而進行動畫顯示。
例如,輸出圖像I2a為較輸入圖像I1之取得時經過1年後之預測圖像。輸出圖像I2b為較輸入圖像I1之取得時經過2年後之預測圖像。輸出圖像I2c為較輸入圖像I1之取得時經過3年後之預測圖像。輸出圖像I2d為較輸入圖像I1之取得時經過4年後之預測圖像。又,輸出圖像I2e為較輸入圖像I1之取得時經過5年後之預測圖像。藉由如此預測將來之複數個時點之各者中之腦之斷層圖像,而容易掌握腦之健康狀態之變化。
預測部12A亦可根據輸入圖像I1預測輸出圖像I2a,根據該輸出圖像I2a預測輸出圖像I2b,根據該輸出圖像I2b預測輸出圖像I2c,根據該輸出圖像I2c預測輸出圖像I2d,根據該輸出圖像I2d預測輸出圖像I2e。或,為了可根據輸入圖像I1預測輸出圖像I2a~I2e,亦可使深度神經網路學習。
圖4係顯示輸入至輸入部11之斷層圖像(輸入圖像I1)、自輸出部13輸出之輸出圖像I2a~I2d、及自輸出部13輸出之差分圖像之例之圖。如該圖所示,輸出部13亦可構成為,求出表示由預測部12A預測之腦之斷層圖像(輸出圖像I2a~I2d等)與輸入至輸入部11之腦之斷層圖像(輸入圖像I1)之間之差分的差分圖像(I2a-I1、I2b-I1、I2c-I1、I2d-I1等)並輸出該差分圖像。藉由如此顯示將來複數個時點之各者之腦之差分圖像,更容易掌握腦之健康狀態之變化(例如,掌握正惡化之部位及情況)。
圖5係對比顯示實際之斷層圖像與預測之斷層圖像之圖。此處,使用將某時點之PET圖像與1年後之PET圖像作為1組,且儲存470組之PET圖像資料之斷層圖像資料庫,使深度神經網路學習。該圖顯示某特定受試者之腦之實際之第1年至第5年之PET圖像,同時亦顯示該特定之受試者之腦之預測之第1年至第5年之PET圖像。又,該圖顯示表示實際之第5年之PET圖像與第1年之PET圖像之差分的差分圖像,同時亦顯示表示預測之第5年之PET圖像與第1年之PET圖像之差分的差分圖像。
若對比實際與預測,則實際之某年之PET圖像、與預測之同年之PET圖像之間,活性降低之部位共通。又,該活性降低之部位隨受試者而異。該情況顯示可基於某時點之腦之斷層圖像對每個受試者預測將來之腦之斷層圖像。此種結果以先前之統計性處理難以獲得。
圖6係對比顯示按最壞方案及最佳方案分別預測之斷層圖像之圖。如該圖所示,預測部12A亦可構成為,對最壞方案及最佳方案之各者,預測較輸入至輸入部11之腦之斷層圖像之取得時更未來之腦之斷層圖像。此時,深度神經網路使用斷層圖像資料庫中經時變化之速度彼此不同之斷層圖像之資料庫進行學習。
若使用經時變化較快之斷層圖像(例如,疑似阿茲海默型失智症之受試者之斷層圖像)之資料庫使深度神經網路學習,則可以最壞方案預測將來之腦之斷層圖像。若使用經時變化較慢之斷層圖像(例如,健康者之斷層圖像)之資料庫使深度神經網路學習,則可以最佳方案預測將來之腦之斷層圖像。藉由如此以最壞方案及最佳方案之分別預測受試者將來之腦之斷層圖像,可對該受試者自當前乃至將來之照護、治療或預防,制訂多種方針。
圖7係顯示斷層圖像預測裝置1B之構成之圖。於斷層圖像預測裝置1B中,輸入部11B輸入受試者之腦之複數個斷層圖像(輸入圖像I1a、I1b)。預測部12B基於由輸入部11B輸入之受試者之腦之複數個斷層圖像,預測較該等之斷層圖像之取得時更未來之腦之斷層圖像。為了可根據受試者之腦之複數個斷層圖像(輸入圖像I1a、I1b)預測輸出圖像I2a~I2e,亦可預先使深度神經網路學習。
受試者之腦之複數個斷層圖像意為於複數個時點分別取得之受試者之腦之斷層圖像(例如,某年取得之斷層圖像、與次年取得之斷層圖像)。或,受試者之腦之複數個斷層圖像意為藉由複數種斷層圖像取得裝置之各者取得之受試者之腦之斷層圖像(例如,PET圖像、SPECT圖像、MRI圖像)。如此,藉由基於受試者之腦之複數個斷層圖像預測將來之腦之斷層圖像,可提高預測之精度。
圖8係顯示斷層圖像預測裝置1C之構成之圖。於斷層圖像預測裝置1C中,輸入部11C不僅輸入受試者之腦之斷層圖像(輸入圖像I1),亦輸入該受試者相關之其他資訊。預測部12C基於由輸入部11C輸入之受試者之腦之斷層圖像及該受試者相關之其他資訊,預測較該斷層圖像之取得時更未來之腦之斷層圖像。為了可根據受試者之腦之斷層圖像及該受試者相關之其他資訊預測輸出圖像I2a~I2e,亦可預先使深度神經網路學習。
受試者相關之其他資訊意為可能與腦之健康狀態有關之資訊,例如,年齡、性別、遺傳基因資訊、已往經歷、生活習慣等資訊。如此,藉由基於受試者之腦之斷層圖像及該受試者相關之其他資訊預測將來之腦之斷層圖像,可提高預測之精度。
本發明並非限定於上述實施形態及構成例者,可進行各種變化。例如,亦可使截至目前說明之多種態樣中之任意態樣組合。
具備斷層圖像取得裝置(PET裝置、SPECT裝置、MRI裝置)且取得受試者之腦之斷層圖像之醫療機構、與具備斷層圖像預測裝置且預測受試者之將來之腦之斷層圖像之機構(以下稱為「預測機構」)亦可不同。
該情形時,藉由醫療機構與預測機構之間之通信線路,向預測機構發送醫療機構中取得之受試者之腦之斷層圖像,且向醫療機構發送預測機構預測之將來之腦之斷層圖像。且,於醫療機構中,醫師等可基於自預測機構發送之將來之腦之斷層圖像,制訂受試者之當前乃至將來之照護、治療或預防相關之有效方針。
上述實施形態之斷層圖像預測裝置構成為具備:(1)輸入部,其輸入受試者之腦之斷層圖像;(2)預測部,其基於輸入至輸入部之腦之斷層圖像,藉由深度神經網路,預測較該斷層圖像之取得時更未來之受試者之腦之斷層圖像;及(3)輸出部,其輸出預測部之預測結果。
上述斷層圖像預測裝置亦可構成為進而具備:學習部,其使用針對複數個受試者於複數個時點分別取得之腦之斷層圖像之資料庫使深度神經網路學習。
於上述斷層圖像預測裝置中,預測部亦可構成為基於預測之受試者之腦之斷層圖像預測受試者之腦之健康狀態。
於上述斷層圖像預測裝置中,預測部亦可構成為對較輸入至輸入部之腦之斷層圖像之取得時更未來之複數個時點之各者之腦之斷層圖像進行預測。又,該情形時,輸出部亦可構成為將由預測部預測之複數個時點之各者之腦之斷層圖像以動畫顯示。
於上述之斷層圖像預測裝置中,輸出部亦可構成為求出表示由預測部預測之腦之斷層圖像、與輸入至輸入部之腦之斷層圖像間之差分的差分圖像,並輸出該差分圖像。
於上述斷層圖像預測裝置中,預測部亦可構成為,藉由使用針對複數個受試者於複數個時點分別取得之腦之斷層圖像之資料庫中經時變化之速度彼此不同之斷層圖像之資料庫而學習的深度神經網路,預測較輸入至輸入部之腦之斷層圖像之取得時更未來之腦之斷層圖像。
於上述之斷層圖像預測裝置中,預測部亦可構成為,基於複數個時點分別取得之受試者之腦之斷層圖像,預測較該等之斷層圖像之取得時更未來之腦之斷層圖像。又,預測部亦可構成為,基於複數種斷層圖像取得裝置分別取得之受試者之腦之斷層圖像,預測較該等斷層圖像之取得時更未來之腦之斷層圖像。又,預測部亦可構成為,基於輸入至輸入部之腦之斷層圖像及受試者相關之其他資訊,預測較該斷層圖像之取得時更未來之腦之斷層圖像。
上述實施形態之斷層圖像預測方法構成為具備:(1)輸入步驟,其輸入受試者之腦之斷層圖像;(2)預測步驟,其基於輸入步驟輸入之腦之斷層圖像,藉由深度神經網路,預測較該斷層圖像之取得時更未來之受試者之腦之斷層圖像;及(3)輸出步驟,其輸出預測步驟之預測結果。
上述斷層圖像預測方法亦可構成為進而具備:學習步驟,其使用針對複數個受試者於複數個時點分別取得之腦之斷層圖像之資料庫使深度神經網路學習。
於上述斷層圖像預測方法中,預測步驟亦可構成為基於預測之受試者之腦之斷層圖像預測受試者之腦之健康狀態。
於上述斷層圖像預測方法中,預測步驟亦可構成為對較輸入步驟中輸入之腦之斷層圖像之取得時更未來之複數個時點之各者之腦之斷層圖像進行預測。又,該情形時,輸出步驟亦可構成為將預測步驟中預測之複數個時點之各者之腦之斷層圖像以動畫顯示。
於上述之斷層圖像預測方法中,輸出步驟亦可構成為求出表示預測步驟中預測之腦之斷層圖像、與輸入步驟中輸入之腦之斷層圖像間之差分的差分圖像,並輸出該差分圖像。
於上述斷層圖像預測方法中,預測步驟亦可構成為,藉由使用針對複數個受試者於複數個時點分別取得之腦之斷層圖像之資料庫中經時變化之速度彼此不同之斷層圖像之資料庫而學習的深度神經網路,預測較輸入步驟中輸入之腦之斷層圖像之取得時更未來之腦之斷層圖像。
於上述之斷層圖像預測方法中,預測步驟亦可構成為,基於複數個時點分別取得之受試者之腦之斷層圖像,預測較該等之斷層圖像之取得時更未來之腦之斷層圖像。又,預測步驟亦可構成為,基於複數種斷層圖像取得裝置分別取得之受試者之腦之斷層圖像,預測較該等斷層圖像之取得時更未來之腦之斷層圖像。又,預測步驟亦可構成為,基於輸入步驟中輸入之腦之斷層圖像及受試者相關之其他資訊,預測較該斷層圖像之取得時更未來之腦之斷層圖像。 [產業上之可利用性]
本發明可作為有助於制訂受試者將來之治療等方針之斷層圖像預測裝置及斷層圖像預測方法而加以利用。
1:斷層圖像預測裝置 1A:斷層圖像預測裝置 1B:斷層圖像預測裝置 1C:斷層圖像預測裝置 11:輸入部 11B:輸入部 11C:輸入部 12:預測部 12A:預測部 12B:預測部 12C:預測部 13:輸出部 14:學習部 15:斷層圖像資料庫 I1~I2:輸入圖像 I1a~I1b:輸入圖像 I2a~I2e:輸出圖像
圖1係顯示斷層圖像預測裝置1之構成之圖。 圖2係顯示深度神經網路學習完畢之斷層圖像預測裝置1之構成之圖。 圖3係顯示斷層圖像預測裝置1A之構成之圖。 圖4係顯示輸入至輸入部11之斷層圖像(輸入圖像I1)、自輸出部13輸出之輸出圖像I2a~I2d、及自輸出部13輸出之差分圖像之例之圖。 圖5係對比顯示實際之斷層圖像與預測之斷層圖像之圖。 圖6係對比顯示按最壞方案及最佳方案分別預測之斷層圖像之圖。 圖7係顯示斷層圖像預測裝置1B之構成之圖。 圖8係顯示斷層圖像預測裝置1C之構成之圖。
1:斷層圖像預測裝置
11:輸入部
12:預測部
13:輸出部
14:學習部
15:斷層圖像資料庫
I1~I2:輸入圖像

Claims (20)

  1. 一種斷層圖像預測裝置,其具備: 輸入部,其輸入受試者之腦之斷層圖像; 預測部,其基於輸入至上述輸入部之腦之斷層圖像,藉由深度神經網路,預測較該斷層圖像之取得時更未來之上述受試者之腦之斷層圖像;及 輸出部,其輸出上述預測部之預測結果。
  2. 如請求項1之斷層圖像預測裝置,其中進而具備:學習部,其使用針對複數個受試者於複數個時點分別取得之腦之斷層圖像之資料庫使上述深度神經網路學習。
  3. 如請求項1或2之斷層圖像預測裝置,其中上述預測部基於預測之上述受試者之腦之斷層圖像預測上述受試者之腦之健康狀態。
  4. 如請求項1至3中任一項之斷層圖像預測裝置,其中上述預測部對較輸入至上述輸入部之腦之斷層圖像之取得時更未來之複數個時點之各者之腦之斷層圖像進行預測。
  5. 如請求項4之斷層圖像預測裝置,其中上述輸出部將由上述預測部預測之複數個時點之各者之腦之斷層圖像以動畫顯示。
  6. 如請求項1至5中任一項之斷層圖像預測裝置,其中上述輸出部求出表示由上述預測部預測之腦之斷層圖像、與輸入至上述輸入部之腦之斷層圖像間之差分的差分圖像,並輸出該差分圖像。
  7. 如請求項1至6中任一項之斷層圖像預測裝置,其中上述預測部藉由使用針對複數個受試者於複數個時點分別取得之腦之斷層圖像之資料庫中經時變化之速度彼此不同之斷層圖像之資料庫而學習的上述深度神經網路,預測較由輸入至上述輸入部之腦之斷層圖像之取得時更未來之腦之斷層圖像。
  8. 如請求項1至7中任一項之斷層圖像預測裝置,其中上述預測部基於複數個時點分別取得之上述受試者之腦之斷層圖像,預測較該等之斷層圖像之取得時更未來之腦之斷層圖像。
  9. 如請求項1至8中任一項之斷層圖像預測裝置,其中上述預測部基於複數種斷層圖像取得裝置分別取得之上述受試者之腦之斷層圖像,預測較該等斷層圖像之取得時更未來之腦之斷層圖像。
  10. 如請求項1至9中任一項之斷層圖像預測裝置,其中上述預測部基於輸入至上述輸入部之腦之斷層圖像及上述受試者相關之其他資訊,預測較該斷層圖像之取得時更未來之腦之斷層圖像。
  11. 一種斷層圖像預測方法,其具備: 輸入步驟,其輸入受試者之腦之斷層圖像; 預測步驟,其基於上述輸入步驟輸入之腦之斷層圖像,藉由深度神經網路,預測較該斷層圖像之取得時更未來之上述受試者之腦之斷層圖像;及 輸出步驟,其輸出上述預測步驟之預測結果。
  12. 如請求項11之斷層圖像預測方法,其中進而具備:學習步驟,其使用針對複數個受試者於複數個時點分別取得之腦之斷層圖像之資料庫使上述深度神經網路學習。
  13. 如請求項11或12之斷層圖像預測方法,其中上述預測步驟基於預測之上述受試者之腦之斷層圖像預測上述受試者之腦之健康狀態。
  14. 如請求項11至13中任一項之斷層圖像預測方法,其中上述預測步驟對較上述輸入步驟中輸入之腦之斷層圖像之取得時更未來之複數個時點之各者之腦之斷層圖像進行預測。
  15. 如請求項14之斷層圖像預測方法,其中上述輸出步驟將上述預測步驟中預測之複數個時點之各者之腦之斷層圖像以動畫顯示。
  16. 如請求項11至15中任一項之斷層圖像預測方法,其中上述輸出步驟求出表示上述預測步驟中預測之腦之斷層圖像與上述輸入步驟中輸入之腦之斷層圖像間之差分的差分圖像,並輸出該差分圖像。
  17. 如請求項11至16中任一項之斷層圖像預測方法,其中上述預測步驟藉由使用針對複數個受試者於複數個時點分別取得之腦之斷層圖像之資料庫中經時變化之速度彼此不同之斷層圖像之資料庫而學習的上述深度神經網路,預測較上述輸入步驟中輸入之腦之斷層圖像之取得時更未來之腦之斷層圖像。
  18. 如請求項11至17中任一項之斷層圖像預測方法,其中上述預測步驟基於複數個時點分別取得之上述受試者之腦之斷層圖像,預測較該等斷層圖像之取得時更未來之腦之斷層圖像。
  19. 如請求項11至18中任一項之斷層圖像預測方法,其中上述預測步驟基於複數種斷層圖像取得裝置分別取得之上述受試者之腦之斷層圖像,預測較該等斷層圖像之取得時更未來之腦之斷層圖像。
  20. 如請求項11至19中任一項之斷層圖像預測方法,其中上述預測步驟基於上述輸入步驟中輸入之腦之斷層圖像及上述受試者相關之其他資訊,預測較該斷層圖像之取得時更未來之腦之斷層圖像。
TW108119283A 2018-06-04 2019-06-04 斷層圖像預測裝置及斷層圖像預測方法 TWI827610B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-106908 2018-06-04
JP2018106908A JP7114347B2 (ja) 2018-06-04 2018-06-04 断層画像予測装置および断層画像予測方法

Publications (2)

Publication Number Publication Date
TW202011895A true TW202011895A (zh) 2020-04-01
TWI827610B TWI827610B (zh) 2024-01-01

Family

ID=68769302

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108119283A TWI827610B (zh) 2018-06-04 2019-06-04 斷層圖像預測裝置及斷層圖像預測方法

Country Status (7)

Country Link
US (1) US20210196125A1 (zh)
EP (1) EP3805807A4 (zh)
JP (1) JP7114347B2 (zh)
KR (1) KR20210018214A (zh)
CN (1) CN112219138A (zh)
TW (1) TWI827610B (zh)
WO (1) WO2019235367A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661152A (zh) * 2022-12-27 2023-01-31 四川大学华西医院 基于模型预测的目标发展情况分析方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102582293B1 (ko) * 2020-09-09 2023-09-25 사회복지법인 삼성생명공익재단 내이기관의 내림프수종 비율 측정 방법 및 그 장치
WO2023053462A1 (ja) * 2021-10-01 2023-04-06 株式会社CogSmart 認知症予防支援装置、認知症予防支援プログラムおよび認知症予防支援方法

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6577700B1 (en) * 2001-06-22 2003-06-10 Liang-Shih Fan Neural network based multi-criteria optimization image reconstruction technique for imaging two- and three-phase flow systems using electrical capacitance tomography
US9492114B2 (en) * 2004-06-18 2016-11-15 Banner Health Systems, Inc. Accelerated evaluation of treatments to prevent clinical onset of alzheimer's disease
US7929737B2 (en) * 2005-09-29 2011-04-19 General Electric Company Method and system for automatically generating a disease severity index
WO2007062135A2 (en) * 2005-11-23 2007-05-31 Junji Shiraishi Computer-aided method for detection of interval changes in successive whole-body bone scans and related computer program product and system
WO2008056638A1 (en) 2006-11-06 2008-05-15 Fujifilm Ri Pharma Co., Ltd. Brain image diagnosis supporting method, program, and recording method
JP5113378B2 (ja) * 2006-12-20 2013-01-09 富士フイルムRiファーマ株式会社 脳画像データに関する時系列データの解析方法、プログラムおよび記録媒体
US11344199B2 (en) * 2010-03-15 2022-05-31 The Medical College Of Wisconsin, Inc. Systems and methods for detection and prediction of brain disorders based on neural network interaction
WO2014153466A2 (en) * 2013-03-20 2014-09-25 Cornell University Methods and tools for analyzing brain images
US9700219B2 (en) * 2013-10-17 2017-07-11 Siemens Healthcare Gmbh Method and system for machine learning based assessment of fractional flow reserve
WO2015134665A1 (en) * 2014-03-04 2015-09-11 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
US10546233B1 (en) * 2014-07-23 2020-01-28 Hrl Laboratories, Llc Method and system to predict and interpret conceptual knowledge in the brain
EP3295374B8 (en) * 2015-05-11 2023-10-18 Siemens Healthcare GmbH Method and system for landmark detection in medical images using deep neural networks
JP6454011B2 (ja) * 2015-07-08 2019-01-16 株式会社日立製作所 画像演算装置、画像演算方法、および、断層画像撮影装置
JP7110098B2 (ja) * 2015-12-18 2022-08-01 ザ リージェンツ オブ ザ ユニバーシティ オブ カリフォルニア 頭部コンピュータ断層撮影における緊急性の特徴の解釈及び定量化
CN105718952B (zh) * 2016-01-22 2018-10-30 武汉科恩斯医疗科技有限公司 使用深度学习网络对断层医学影像进行病灶分类的系统
WO2017223560A1 (en) * 2016-06-24 2017-12-28 Rensselaer Polytechnic Institute Tomographic image reconstruction via machine learning
CN109690554B (zh) * 2016-07-21 2023-12-05 西门子保健有限责任公司 用于基于人工智能的医学图像分割的方法和系统
US10127659B2 (en) * 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
CN107451609A (zh) * 2017-07-24 2017-12-08 上海交通大学 基于深度卷积神经网络的肺结节图像识别系统
CN107616796B (zh) * 2017-08-31 2020-09-11 北京医拍智能科技有限公司 基于深度神经网络的肺结节良恶性检测方法及装置
US11918333B2 (en) * 2017-12-29 2024-03-05 Analytics For Life Inc. Method and system to assess disease using phase space tomography and machine learning

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115661152A (zh) * 2022-12-27 2023-01-31 四川大学华西医院 基于模型预测的目标发展情况分析方法
CN115661152B (zh) * 2022-12-27 2023-04-07 四川大学华西医院 基于模型预测的目标发展情况分析方法

Also Published As

Publication number Publication date
JP2019211307A (ja) 2019-12-12
KR20210018214A (ko) 2021-02-17
EP3805807A4 (en) 2022-02-23
US20210196125A1 (en) 2021-07-01
CN112219138A (zh) 2021-01-12
WO2019235367A1 (ja) 2019-12-12
EP3805807A1 (en) 2021-04-14
TWI827610B (zh) 2024-01-01
JP7114347B2 (ja) 2022-08-08

Similar Documents

Publication Publication Date Title
Tu et al. Fractional flow reserve calculation from 3-dimensional quantitative coronary angiography and TIMI frame count: a fast computer model to quantify the functional significance of moderately obstructed coronary arteries
US10475182B1 (en) Application of deep learning for medical imaging evaluation
WO2022256063A9 (en) Predictive prognosis based on multimodal analysis
JP2021106887A (ja) 医用画像表示装置、方法およびプログラム
TW202011895A (zh) 斷層圖像預測裝置及斷層圖像預測方法
JP2014506150A (ja) アルツハイマー病へ進行するリスクのある軽度認知障害患者を識別するための方法およびシステム
WO2020218460A1 (ja) 診断支援装置、推測装置、診断支援システム、診断支援方法、診断支援プログラム及び学習済みモデル
JP2015513157A (ja) アルツハイマー病に関する神経科医のワークフローを改良するシステム及び方法
Mubeen et al. A six-month longitudinal evaluation significantly improves accuracy of predicting incipient Alzheimer's disease in mild cognitive impairment
Feng et al. Correlation between hippocampus MRI radiomic features and resting-state intrahippocampal functional connectivity in Alzheimer’s disease
Wazaefi et al. Evidence of a limited intra-individual diversity of nevi: intuitive perception of dominant clusters is a crucial step in the analysis of nevi by dermatologists
EP3389479A1 (en) Systems and methods for quantitatively characterizing alzheimer's disease risk events based on multimodal biomarker data
JP7220727B2 (ja) 学習済みモデル、学習方法、及びプログラム、並びに医用情報取得装置、方法、及びプログラム
Kampondeni et al. Noninvasive measures of brain edema predict outcome in pediatric cerebral malaria
Yadav et al. [Retracted] FVC‐NET: An Automated Diagnosis of Pulmonary Fibrosis Progression Prediction Using Honeycombing and Deep Learning
WO2015189958A1 (ja) 分析システムおよび分析方法
TW201510919A (zh) 用於評估、診斷及/或監測心臟健康之裝置與方法
Ahmadi et al. IE-Vnet: deep learning-based segmentation of the inner ear's total fluid space
Combès et al. A clinically-compatible workflow for computer-aided assessment of brain disease activity in multiple sclerosis patients
WO2023190880A1 (ja) 脳画像データ解析装置、脳画像データ解析方法および脳画像データ解析プログラム
Miki et al. Prospective study of spatial distribution of missed lung nodules by readers in CT lung screening using computer-assisted detection
US20180004901A1 (en) Systems and methods for holistic analysis of medical conditions
WO2020099940A1 (en) Application of deep learning for medical imaging evaluation
JP7064430B2 (ja) 優先度判定装置、方法およびプログラム
JP2018038515A (ja) アルツハイマー病の診断支援装置、診断支援プログラムおよび診断支援方法