JP7139474B2 - 医用データ処理装置、ｘ線コンピュータ断層撮影装置及び学習済みモデル生成方法 - Google Patents

医用データ処理装置、ｘ線コンピュータ断層撮影装置及び学習済みモデル生成方法 Download PDF

Info

Publication number
JP7139474B2
JP7139474B2 JP2021026478A JP2021026478A JP7139474B2 JP 7139474 B2 JP7139474 B2 JP 7139474B2 JP 2021026478 A JP2021026478 A JP 2021026478A JP 2021026478 A JP2021026478 A JP 2021026478A JP 7139474 B2 JP7139474 B2 JP 7139474B2
Authority
JP
Japan
Prior art keywords
data
input
image
imaging
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021026478A
Other languages
English (en)
Other versions
JP2021090825A (ja
Inventor
秀則 竹島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Publication of JP2021090825A publication Critical patent/JP2021090825A/ja
Priority to JP2022139490A priority Critical patent/JP7386944B2/ja
Application granted granted Critical
Publication of JP7139474B2 publication Critical patent/JP7139474B2/ja
Priority to JP2023193722A priority patent/JP2024009074A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/42—Arrangements for detecting radiation specially adapted for radiation diagnosis
    • A61B6/4208—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector
    • A61B6/4241—Arrangements for detecting radiation specially adapted for radiation diagnosis characterised by using a particular type of detector using energy resolving detectors, e.g. photon counting
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/543—Control of the operation of the MR system, e.g. setting of acquisition parameters prior to or during MR data acquisition, dynamic shimming, use of one or more scout images for scan plane prescription
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5602—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by filtering or weighting based on different relaxation times within the sample, e.g. T1 weighting using an inversion pulse
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/60—Image enhancement or restoration using machine learning, e.g. neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
    • A61B5/0035—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room adapted for acquisition of images from more than one imaging mode, e.g. combining MRI and optical tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/032—Transmission computed tomography [CT]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/02—Arrangements for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
    • A61B6/03—Computed tomography [CT]
    • A61B6/037—Emission tomography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/42—Arrangements for detecting radiation specially adapted for radiation diagnosis
    • A61B6/4291—Arrangements for detecting radiation specially adapted for radiation diagnosis the detector being combined with a grid or grating
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/44—Constructional features of apparatus for radiation diagnosis
    • A61B6/4417—Constructional features of apparatus for radiation diagnosis related to combined acquisition of different diagnostic modalities
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/482—Diagnostic techniques involving multiple energy imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/486—Diagnostic techniques involving generating temporal series of image data
    • A61B6/487—Diagnostic techniques involving generating temporal series of image data involving fluoroscopy
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5211—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data
    • A61B6/5229—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image
    • A61B6/5235—Devices using data or image processing specially adapted for radiation diagnosis involving processing of medical diagnostic data combining image data of a patient, e.g. combining a functional image with an anatomical image combining images from the same or different ionising radiation imaging techniques, e.g. PET and CT
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/48—Diagnostic techniques
    • A61B8/488—Diagnostic techniques involving Doppler signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/4808—Multimodal MR, e.g. MR combined with positron emission tomography [PET], MR combined with ultrasound or MR combined with computed tomography [CT]
    • G01R33/481—MR combined with positron emission tomography [PET] or single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/483—NMR imaging systems with selection of signals or spectra from particular regions of the volume, e.g. in vivo spectroscopy
    • G01R33/4833—NMR imaging systems with selection of signals or spectra from particular regions of the volume, e.g. in vivo spectroscopy using spatially selective excitation of the volume of interest, e.g. selecting non-orthogonal or inclined slices
    • G01R33/4835—NMR imaging systems with selection of signals or spectra from particular regions of the volume, e.g. in vivo spectroscopy using spatially selective excitation of the volume of interest, e.g. selecting non-orthogonal or inclined slices of multiple slices
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
    • G01R33/5615—Echo train techniques involving acquiring plural, differently encoded, echo signals after one RF excitation, e.g. using gradient refocusing in echo planar imaging [EPI], RF refocusing in rapid acquisition with relaxation enhancement [RARE] or using both RF and gradient refocusing in gradient and spin echo imaging [GRASE]
    • G01R33/5616—Echo train techniques involving acquiring plural, differently encoded, echo signals after one RF excitation, e.g. using gradient refocusing in echo planar imaging [EPI], RF refocusing in rapid acquisition with relaxation enhancement [RARE] or using both RF and gradient refocusing in gradient and spin echo imaging [GRASE] using gradient refocusing, e.g. EPI
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/563—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution of moving material, e.g. flow contrast angiography
    • G01R33/56341—Diffusion imaging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/003—Reconstruction from projections, e.g. tomography
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10081—Computed x-ray tomography [CT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10104—Positron emission tomography [PET]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10108—Single photon emission computed tomography [SPECT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10132—Ultrasound image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/41—Medical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Medical Informatics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Radiology & Medical Imaging (AREA)
  • Public Health (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Veterinary Medicine (AREA)
  • Animal Behavior & Ethology (AREA)
  • Pathology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Optics & Photonics (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Physiology (AREA)
  • Psychiatry (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Image Processing (AREA)

Description

本発明の実施形態は、医用データ処理装置、Ｘ線コンピュータ断層撮影装置及び学習済みモデル生成方法に関する。
医用画像データやその生データ等の医用データを用いた機械学習において、一部が欠損した医用データから元のデータを復元するために、多くの学習データから学習した深層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）を適用する手法がある。例えば、磁気共鳴イメージング（ＭＲＩ：Magnetic Resonance Imaging）において、アンダーサンプリングされたｋ空間データにＤＮＮを適用して欠損部分が復元されたｋ空間データを生成し、復元後のｋ空間データに基づいて復元画像を得る手法がある。
Yann LeCun，他２名，「Deep learning」，Nature Vol 521， 2015年5月28日 Jo Schlemper，他４名, 「A Deep Cascade of Convolutional Neural Networks for MR Image Reconstruction」 arXiv:1703.00555v1 [cs.CV], 2017年3月1日
発明が解決しようとする課題は、医用データの復元精度を向上することである。
実施形態に係る医用データ処理装置は、処理部を有する。処理部は、第１のＣＴデータと、前記第１のＣＴデータと同一の撮像対象且つ前記第１のＣＴデータとは異なる第２のＣＴデータとを入力とし、前記第１のＣＴデータの欠損部分が復元された第３のＣＴデータを出力する学習済みモデルに従い、前記第１のＣＴデータと前記第２のＣＴデータとから、前記第３のＣＴデータを生成する。
図１は、本実施形態に係る医用データ処理装置が属する医用データ処理システムの構成及び処理の概要を示す図である。 図２は、本実施形態に係る多層化ネットワークの構造を示す図である。 図３は、本実施形態に係る医用画像診断装置の構成を示す図である。 図４は、本実施形態に係る学習済みモデルの入力と出力との組合せの一例を示す図である。 図５は、本実施形態に係る学習済みモデルの入力と出力との組合せの他の例を示す図である。 図６は、本実施形態に係る学習済みモデルの詳細な構造を示す図である。 図７は、図３の医用データ処理装置によるＤＮＮ復元処理の典型的な流れを示す図である。 図８は、本実施形態に係る順伝播処理における学習済み深層ニューラルネットワークの入力と出力との関係を模式的に示す図である。 図９は、本実施形態に係る順伝播処理における学習済み深層ニューラルネットワークの入力と出力との関係を模式的に示す他の図である。 図１０は、本実施形態に係る順伝播処理における学習済み深層ニューラルネットワークの入力と出力との関係を模式的に示す他の図である。 図１１は、本実施形態に係る順伝播処理における学習済み深層ニューラルネットワークの入力と出力との関係を模式的に示す他の図である。 図１２は、本実施形態に係る順伝播処理における学習済み深層ニューラルネットワークの入力と出力との関係を模式的に示す他の図である。 図１３は、本実施形態に係る順伝播処理における学習済み深層ニューラルネットワークの入力と出力との関係を模式的に示す他の図である。 図１４は、本実施形態に係る他の医用データ処理装置の構成を示す図である。 図１５は、図１のモデル学習装置の構成を示す図である。 図１６は、図１５のモデル学習装置の処理回路がモデル学習プログラムに従い実行するモデル学習処理の典型的な流れを示す図である。 図１７は、応用例１に係る磁気共鳴イメージング装置の構成を示す図である。 図１８は、図１７の医用データ処理装置の処理を模式的に示す図である。 図１９は、応用例２に係るＸ線コンピュータ断層撮影装置の構成を示す図である。 図２０は、図１９の医用データ処理装置の処理を模式的に示す図である。 図２１は、応用例３に係るＰＥＴ／ＣＴ装置の構成を示す図である。 図２２は、図２１の医用データ処理装置の処理の典型的な流れを示す図である。 図２３は、図２１の医用データ処理装置の処理を模式的に示す図である。 図２４は、応用例４に係る超音波診断装置の構成を示す図である。 図２５は、図２４の医用データ処理装置の処理を模式的に示す図である。 図２６は、実施例１に係る医用データ処理装置の処理を模式的に示す図である。 図２７は、実施例１に係るＤＮＮの概要を示す図である。 図２８は、シミュレートされたラディアルデータ（１フレームあたり２１本のスポーク）を使用した結果を示す図であり、ＮＵＦＦＴ＋ＰＩによる再構成画像を示す図である。 図２９は、シミュレートされたラディアルデータ（１フレームあたり２１本のスポーク）を使用した結果を示す図であり、通常再構成法（Ｍ＝Ｎ＝１）による再構成画像を示す図である。 図３０は、シミュレートされたラディアルデータ（１フレームあたり２１本のスポーク）を使用した結果を示す図であり、実施例に係る再構成法（Ｍ＝５且つＮ＝３）による再構成画像を示す図である。 図３１は、シミュレートされたラディアルデータ（１フレームあたり２１本のスポーク）を使用した結果を示す図であり、真の再構成画像を示す図である。 図３２は、実際のスタック・オブ・スターズ・データ（１フレームあたり２１本のスポーク）の結果を示す図であり、ＮＵＦＦＴ＋ＰＩによる再構成画像を示す図である。 図３３は、実際のスタック・オブ・スターズ・データ（１フレームあたり２１本のスポーク）の結果を示す図であり、通常再構成法（Ｍ＝Ｎ＝１）による再構成画像を示す図である。 図３４は、実際のスタック・オブ・スターズ・データ（１フレームあたり２１本のスポーク）の結果を示す図であり、実施例に係る再構成法（Ｍ＝５且つＮ＝３）による再構成画像を示す図である。 図３５は、実施例２において実行されるデンス・インプットを模式的に示す図である。 図３６は、実施例２に係るデンス・インプットを利用したＤＮＮ再構成の一例を示す図である。 図３７は、実施例３に係るデンス・インプットを利用したＤＮＮ再構成の一例を示す図である。
以下、図面を参照しながら本実施形態に係わる医用データ処理装置、磁気共鳴イメージング装置及び学習済みモデル生成方法を説明する。
図１は、本実施形態に係る医用データ処理装置１が属する医用データ処理システム１００の構成及び処理の概要を示す図である。図１に示すように、本実施形態に係る医用データ処理システム１００は、医用データ処理装置１、医用撮像装置３、モデル学習装置５及び学習データ保管装置７を有する。
学習データ保管装置７は、複数の学習サンプルを含む学習データを記憶する。例えば、学習データ保管装置７は、大容量記憶装置が内蔵されたコンピュータである。また、学習データ保管装置７は、コンピュータにケーブルや通信ネットワークを介して通信可能に接続された大容量記憶装置であってもよい。当該記憶装置としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、集積回路記憶装置等が適宜利用可能である。
モデル学習装置５は、学習データ保管装置７に記憶された学習データに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせ、学習済みの機械学習モデル（以下、学習済みモデルと呼ぶ）を生成する。モデル学習装置５は、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）等のプロセッサを有するワークステーション等のコンピュータである。モデル学習装置５と学習データ保管装置７とはケーブル又は通信ネットワークを介して通信可能に接続されてもよいし、学習データ保管装置７がモデル学習装置５に搭載されてもよい。この場合、ケーブル又は通信ネットワーク等を介して、学習データ保管装置７からモデル学習装置５に学習データが供給される。モデル学習装置５と学習データ保管装置７とは通信可能に接続されてなくてもよい。この場合、学習データが記憶された可搬型記憶媒体を介して、学習データ保管装置７からモデル学習装置５に学習データが供給される。
本実施形態に係る機械学習モデルは、医用データを入力として当該医用データの欠損部分が復元された医用データを出力する、複数の関数が合成されたパラメータ付き合成関数である。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。本実施形態に係る機械学習モデルは、上記の要請を満たす如何なるパラメータ付き合成関数であってもよいが、多層のネットワークモデル（以下、多層化ネットワークを呼ぶ）であるとする。
医用撮像装置３は、処理対象の医用データを生成する。本実施形態に係る医用データは、概念的に、医用撮像装置３又は他の医用撮像装置により被検体に医用撮像を施すことにより収集された生データや、当該生データに復元処理を施して生成される医用画像データを含む。医用撮像装置３は、医用データを生成可能であれば、如何なるモダリティ装置でもよい。例えば、本実施形態に係る医用撮像装置３は、磁気共鳴イメージング装置（ＭＲＩ装置）、Ｘ線コンピュータ断層撮影装置（ＣＴ装置）、Ｘ線診断装置、ＰＥＴ（Positron Emission Tomography）装置、ＳＰＥＣＴ装置（Single Photon Emission CT）装置及び超音波診断装置等の単一モダリティ装置であってもよいし、ＰＥＴ／ＣＴ装置、ＳＰＥＣＴ／ＣＴ装置、ＰＥＴ／ＭＲＩ装置、ＳＰＥＣＴ／ＭＲＩ装置等の複合モダリティ装置であってもよい。
医用データ処理装置１は、モデル学習装置５によりモデル学習プログラムに従い学習された学習済みモデルを使用して、医用撮像装置３により収集された処理対象の入力医用データに対応する出力医用データを生成する。医用データ処理装置１とモデル学習装置５とはケーブル又は通信ネットワークを介して通信可能に接続されてもよいし、医用データ処理装置１とモデル学習装置５とが単一のコンピュータに実装されてもよい。この場合、ケーブル又は通信ネットワーク等を介して、モデル学習装置５から医用データ処理装置１に学習済みモデルが供給される。医用データ処理装置１とモデル学習装置５とは、必ずしも通信可能に接続されてなくてもよい。この場合、学習済みモデルが記憶された可搬型記憶媒体等を介して、モデル学習装置５から医用データ処理装置１に学習済みモデルが供給される。学習済みモデルの供給は、医用データ処理装置１の製造から医用施設等への据付の間の任意の時点でもよいし、メンテナンス時でも良く、如何なる時点に行われてもよい。供給された学習済みモデルは、医用データ処理装置１に記憶される。また、医用データ処理装置１は、医用撮像装置３を搭載する医用画像診断装置に搭載されたコンピュータであってもよいし、当該医用画像診断装置にケーブルやネットワーク等を介して通信可能に接続されたコンピュータであってもよいし、当該医用画像診断装置とは独立のコンピュータであってもよい。
本実施形態に係る多層化ネットワークの典型的な構成について、以下説明する。ここで、多層化ネットワークとは、層状に並べた隣接層間のみ結合した構造を持ち、情報が入力層側から出力層側に一方向に伝播するネットワークである。本実施形態に係る多層化ネットワークは、図２に示す様に、入力層（ｌ＝１）、中間層（ｌ＝２，３，・・・，Ｌ－１）、出力層（ｌ＝Ｌ）のＬ個の層から構成されるものとする。なお、以下は例を説明するものであって、多層化ネットワークの構成は以下の説明に限定されない。
第ｌ層でのユニット数をＩ個とし、第ｌ層への入力ｕ（ｌ）を式（１－１）、第ｌ層からの出力ｚ（ｌ）を式（ｌ－２）の様にそれぞれ表記すると、第ｌ層への入力と第ｌ層からの出力との関係は、式（１－３）によって表すことができる。
Figure 0007139474000001
ここで、右上の添字（ｌ）は層の番号を示す。また、式（１－３）におけるｆ（ｕ）は、活性化関数であり、ロジスティックシグモイド関数（ロジスティック関数）、双曲線正接関数、正規化線形関数（ReLU：Rectified Liner Unit)、線形写像、恒等写像、マックスアウト関数等、目的に応じて種々の関数を選択することができる。
第ｌ＋１層でのユニット数をＪ個とし、第ｌ層と第ｌ＋１層との間の重み付行列Ｗ（ｌ＋１）を式（２－１）、第ｌ＋１層におけるバイアスｂ（ｌ＋１）を式（２－２）の様にそれぞれ表記すると、第ｌ＋１層への入力ｕ（ｌ＋１）、第ｌ＋１層からの出力ｚ（ｌ＋１）は、それぞれ式（２－３）、式（２－４）によって表すことができる。
Figure 0007139474000002
本実施形態に係る多層化ネットワークにおいて、入力層（ｌ＝１）には、式（３－１）で表現される医用データが入力される。また、当該入力層においては、入力データｘがそのまま出力データｚ（１）となるため、式（３－２）の関係が成立する。
Figure 0007139474000003
ここで、入力層に入力される医用データを「入力医用データ」と呼ぶことにすれば、入力医用データｘについては、目的に応じて種々の形式を選択することができる。以下、典型例をいくつか列記する。
（１）入力医用データｘを一個の画像データとし、各成分ｘｐ（ｐ＝１，２，・・・，Ｎ）を当該一個の画像データを構成する位置毎の値（ピクセル値或いはボクセル値）として規定する形式。
（２）入力医用データｘをＭ個の画像データ（例えば、互いに撮像条件の異なる複数の画像データ）とし、各成分ｘｐのうちの１≦ｐ≦ｑまでを一個目の画像データ、ｑ＋１≦ｐ≦ｒまでを二個目の画像データ、ｒ＋１≦ｐ≦ｓまでを三個目の画像データ、・・・として、入力層において画像データ毎に入力ユニットの範囲を割り当てる形式。
（３）入力医用データｘをＭ個の画像データとし、各成分ｘｐを一個の画像データの位置毎の値（ピクセル値或いはボクセル値）を縦に並べたベクトルとして規定する形式。
（４）入力医用データｘを、ｋ空間データや投影データ等の生データ（ＲＡＷデータ）として、（１）～（３）等を採用する形式。
（５）入力医用データｘを、畳み込み処理が施された画像データ又は生データとして、（１）～（３）等を採用する形式。
入力層に続く中間層（ｌ＝２，３，・・・，Ｌ－１）層においては、式（２－３）、式（２－４）に従う計算を順次実行することで、各層の出力ｚ（２），・・・ｚ（L-1）を計算することができる。
出力層（第Ｌ層）の出力ｚ（Ｌ）を以下の式（４－１）の様に表記する。本実施形態に係る多層化ネットワークは、入力層に入力された画像データｘが、入力層側から出力層側に向かって隣接層間でのみ結合しながら伝播する順伝播型ネットワークである。この様な順伝播型ネットワークは、式（４－２）の様な合成関数として表現することができる。
Figure 0007139474000004
式（４－２）によって定義される合成関数は、式（２－３）、式（２－４）より、重み付行列Ｗ（ｌ＋１）を用いた各層間の線形関係、各層における活性化関数ｆ（ｕ（ｌ＋１））を用いた非線形関係（又は線形関係）、バイアスｂ（ｌ＋１）の組み合わせとして定義される。特に、重み付行列Ｗ（ｌ＋１）、バイアスｂ（ｌ＋１）はネットワークのパラメータｐと呼ばれる。式（４－２）によって定義される合成関数は、パラメータｐをどのように選ぶかで、関数としての形を変える。従って、本実施形態に係る多層化ネットワークは、式（４－２）を構成するパラメータｐを適切に選ぶことで、出力層が好ましい結果ｙを出力することができる関数として、定義することができる。
パラメータｐを適切に選ぶためには、学習データと誤差関数を用いた学習を実行する。ここで、学習データとは、入力ｘｎに対する望ましい出力（正解出力）をｄｎとすると、式（５－１）のように表現される学習サンプル（ｘｎ，ｄｎ）の集合Ｄ（ｎ＝１，・・・，S）である。
Figure 0007139474000005
また、誤差関数とは、ｘｎを入力した多層化ネットワークからの出力と学習データｄｎとの近さを表す関数である。誤差関数の代表例としては、二乗誤差関数、最尤度推定関数、交差エントロピー関数等を挙げることができる。どのような関数を誤差関数に選択するかは、多層化ネットワークが取り扱う問題（例えば、回帰問題、二値問題、多クラス分類問題等）に依存する。
誤差関数をＥ（ｐ）と表記し、一つの学習サンプル（ｘｎ，ｄｎ）のみを使用して計算される誤差関数をＥｎ（ｐ）と表記する。現在のパラメータｐ（ｔ）は、勾配降下法に従う場合には誤差関数Ｅ（ｐ）の勾配ベクトルを用いた式（６－１）、確率的勾配降下法に従う場合には誤差関数Ｅｎ（ｐ）の勾配ベクトルを用いた式（６－３）によって、新たなパラメータｐ（ｔ＋１）に更新される。
Figure 0007139474000006
ここで、εはパラメータｐの更新量の大きさを定める学習係数である。
式（６－１）又は式（６－３）に従って、現在のｐを負の勾配方向に少し動かし、これを逐次繰り返すことで、誤差関数Ｅ（ｐ）を極小にするパラメータｐを決定することができる。
なお、式（６－１）又は式（６－３）を計算するためには、式（６－２）で示されるＥ（ｐ）の勾配ベクトル、又は式（６－４）で示されるＥｎ（ｐ）の勾配ベクトルを計算する必要がある。誤差関数が二乗誤差関数である場合を例とすれば、式（７－１）に示される誤差関数について、各層の重み係数と各ユニットのバイアスとで微分する必要がある。
Figure 0007139474000007
一方、最終出力ｙが式（４－２）で表される合成関数であることから、Ｅ（ｐ）又はＥｎ（ｐ）の勾配ベクトルの計算は複雑であり、その計算量も膨大なものとなる。
この様な勾配計算における不具合は、誤差逆伝播法によって解決することができる。例えば、第ｌ－１層の第ｉユニットと第ｌ層の第ｊユニットとを繋ぐ重みｗji (l)についての誤差関数の微分は、以下の式（８－１）の様に表すことができる。
Figure 0007139474000008
ｌ層の第ｊユニットへの入力ｕｊ （ｌ）がＥｎに与える変化量は、当該第ｊユニットからの出力ｚｊ （ｌ）を通じて第ｌ＋１層の各ユニットｋへの各入力ｕｋ （ｌ＋１）を変化させることのみを介して生じるものである。このことから、式（８－１）の右辺第１項は、微分の連鎖則を用いて、次の式（９－１）の様に表すことができる。
Figure 0007139474000009
ここで、式（９－１）の左辺をδｊ （ｌ）とおくと、式（１０－１）、式（１０－２）の関係を使って、式（９－１）は式（１０－３）の様に書き直すことができる。
Figure 0007139474000010
式（１０－３）より、左辺のδｊ （ｌ）は、δｋ （ｌ＋１）（ｋ＝１，２，・・・・）から計算できることがわかる。すなわち、一つ上位の出力層側に存在する第ｌ＋１層の第ｋユニットに関するδｋ （ｌ＋１）が与えられれば、第ｌ層についてのδｊ （ｌ）を計算することができる。さらに、第ｌ＋１層の第ｋユニットに関するδｋ （ｌ＋１）についても、その一つ上位の出力層側に存在する第ｌ＋２層の第ｋユニットに関するδｋ （ｌ＋２）が与えられれば、計算することができる。このことを逐次繰り返して最上位層である出力層まで辿ることができる。
最初に第Ｌ層である出力層の第ｋユニットに関するδｋ （Ｌ）が取得されていれば、式（１０－３）を用いて下位側（すなわち入力層側）に向かって逐次計算を繰り返すことにより（逆伝播）、任意層におけるδｋ （ｌ＋１）を計算することができる。
一方、式（８－１）の右辺第２項については、式（２－３）を第ｌ層について成分で表現した式（１１－１）を用いて、式（１１－２）の様に計算することができる。
Figure 0007139474000011
従って、第ｌ－１層の第ｉユニットと第ｌ層の第ｊユニットとを繋ぐ重みｗji (l)についての誤差関数の微分は、式（８－１）、式（１０－３）によるδｊ （ｌ）、式（１１－２）を用いて、以下の式（１２－１）の様に表現することができる。
Figure 0007139474000012
式（１２－１）から、第ｌ－１層の第ｉユニットと第ｌ層の第ｊユニットとを繋ぐ重みｗji (l)についての誤差関数の微分は、第ｊユニットに関するδｊ （ｌ）と、第ｉユニットからの出力であるｚｉ （ｌ－１）との積で与えらえることがわかる。なお、δｊ （ｌ）についての計算は、上述した様に、式（１０－３）を用いて逆伝播により求めることができ、また、逆伝播の最初の値、すなわち、第Ｌ層である出力層に関するδｊ （Ｌ）は、以下の式（１３－１）の様に計算することができる。
Figure 0007139474000013
以上の手順により、本実施形態に係る多層化ネットワークについて、ある学習サンプル（ｘｎ，ｄｎ）を用いた学習を実現することができる。なお、複数の学習サンプルに対する誤差の総和Ｅ＝ΣｎＥｎに関する勾配ベクトルについては、上述した手順を学習サンプル（ｘｎ，ｄｎ）毎に並列的に繰り返し、以下の式（１４－１）に示す和を計算することで、取得することができる。
Figure 0007139474000014
以下、本実施形態に係る多層化ネットワークを使用した医用データ処理システム１００の詳細について説明する。以下の説明において医用データ処理装置１は、医用撮像装置３に接続され、医用撮像装置３と共に医用画像診断装置に組み込まれているものとする。
図３は、本実施形態に係る医用画像診断装置９の構成を示す図である。図３に示すように、医用画像診断装置９は、医用データ処理装置１と医用撮像装置３とを含む。一例を挙げれば、医用撮像装置３が架台に対応し、医用データ処理装置１は当該架台に接続されたコンソールに対応する。なお、医用データ処理装置１は、医用画像診断装置９の架台に設けられてもよいし、医用画像診断装置９のコンソールでも、架台でもない、別の構成要素によって実現されてもよい。当該別の構成要素としては、例えば、医用画像診断装置９が磁気共鳴イメージング装置である場合における、機械室に設置された、コンソール以外のコンピュータ又は専用の計算装置が挙げられる。
医用撮像装置３は、被検体に対し、当該医用撮像装置３のモダリティ装置種に応じた撮像原理の医用撮像を施し、当該被検体に関する生データを収集する。収集された生データは、医用データ処理装置１に伝送される。例えば、生データは、医用撮像装置３が磁気共鳴イメージング装置である場合におけるｋ空間データであり、Ｘ線コンピュータ断層撮影装置である場合における投影データ又はサイノグラムデータ、超音波診断装置である場合におけるエコーデータ、ＰＥＴ装置である場合におけるコインシデンスデータ又はサイノグラムデータ、ＳＰＥＣＴ装置である場合における投影データ又はサイノグラムデータである。また、医用撮像装置３がＸ線診断装置である場合、生データはＸ線画像データである。
医用撮像装置３が磁気共鳴イメージング装置の架台である場合、当該架台は、静磁場磁石を介した静磁場の印加の下、傾斜磁場コイルを介した傾斜磁場の印加と送信コイルを介したＲＦパルスの印加とを繰り返す。ＲＦパルスの印加に起因して被検体から放出されたＭＲ信号が放出される。放出されたＭＲ信号は、受信コイルを介して受信される。受信されたＭＲ信号は、受信回路によりＡ／Ｄ変換等の信号処理が施される。Ａ／Ｄ変換後のＭＲ信号は、ｋ空間データと呼ばれる。ｋ空間データは、生データとして医用データ処理装置１に伝送される。
医用撮像装置３がＸ線コンピュータ断層撮影装置の架台である場合、当該架台は、Ｘ線管とＸ線検出器とを被検体回りに回転させながらＸ線管から被検体にＸ線を照射し、被検体を透過したＸ線をＸ線検出器により検出する。Ｘ線検出器においては、検出されたＸ線の線量に応じた波高値を有する電気信号が発生される。当該電気信号は、データ収集回路によりＡ／Ｄ変換等の信号処理が施される。Ａ／Ｄ変換後の電気信号は投影データ又はサイノグラムデータと呼ばれる。投影データ又はサイノグラムデータは、生データとして医用データ処理装置１に伝送される。
医用撮像装置３が超音波診断装置の超音波プローブである場合、当該超音波プローブは、複数の超音波振動子から被検体体内に超音波ビームを送信し、被検体体内から反射された超音波を超音波振動子を介して受信する。超音波振動子は、受波した超音波の音圧に応じた波高値を有する電気信号を発生する。当該電気信号は、超音波プローブ等に設けられたＡ／Ｄ変換器によりＡ／Ｄ変換が施される。Ａ／Ｄ変換後の電気信号は、エコーデータと呼ばれる。エコーデータは、生データとして医用データ処理装置１に伝送される。
医用撮像装置３がＰＥＴ装置の架台である場合、当該架台は、被検体内に蓄積された放射性核種から発生される陽電子と当該放射性核種の周囲に存在する電子との対消滅に伴い発生する５１１ｋｅＶの一対のガンマ線を同時計測回路により同時計測することにより、一対のガンマ線（ＬＯＲ(Line Of Response)）のエネルギー値と検出位置とに関するデジタル値を有するデジタルデータを生成する。当該デジタルデータは、コインシデンスデータ又はサイノグラムデータと呼ばれる。コインシデンスデータ又はサイノグラムデータは、生データとして医用データ処理装置１に伝送される。
医用撮像装置３がＸ線診断装置のＣアームである場合、当該Ｃアームは、当該Ｃアームに設けられたＸ線管から発生する。当該Ｃアームに又は当該Ｃアームとは独立に設けられたＦＰＤ（Flat Panel Display）等のＸ線検出器により、Ｘ線管から発生され被検体を透過したＸ線を受信する。Ｘ線検出器は、検出されたＸ線の線量に応じた波高値を有する電気信号を発生し、当該電気信号に、Ａ／Ｄ変換等の信号処理を施す。Ａ／Ｄ変換後の電気信号はＸ線画像データと呼ばれる。Ｘ線画像データは、生データとして医用データ処理装置１に伝送される。
図３に示すように、医用データ処理装置１は、ハードウェア資源として、処理回路１１、メモリ１３、入力インタフェース１５、通信インタフェース１７及びディスプレイ１９を有する。
処理回路１１は、ＣＰＵやＧＰＵ等のプロセッサを有する。当該プロセッサがメモリ１３等にインストールされたプログラムを起動することにより、撮像制御機能１１１、通常復元機能１１２、入力選択機能１１３、順伝播機能１１４、画像処理機能１１５及び表示制御機能１１６等を実行する。なお、各機能１１１～１１６は単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能１１１～１１６を実現するものとしても構わない。
撮像制御機能１１１において処理回路１１は、医用撮像装置３を撮像条件に従い制御し、当該被検体に医用撮像を施す。本実施形態に係る撮像条件は、医用撮像装置３による撮像原理と各種の撮像パラメータとを含む。撮像原理は、医用撮像装置３の種類、具体的には、磁気共鳴イメージング装置、Ｘ線コンピュータ断層撮影装置、ＰＥＴ装置、ＳＰＥＣＴ装置及び超音波診断装置に対応する。撮像パラメータは、例えば、ＦＯＶ（Field Of View）や撮像部位、スライス位置、フレーム（医用画像の時相）、時間分解能、マトリクスサイズ、造影剤の有無等を含む。また、磁気共鳴イメージングの場合、撮像パラメータは、例えば、撮像シーケンスの種別や、ＴＲ（Time to Repeat）、ＴＥ（Echo Time）、ＦＡ（Flip Angle）等のパラメータ、ｋ空間充填軌跡の種別を更に含む。Ｘ線コンピュータ断層撮影の場合、撮像パラメータは、Ｘ線条件（管電流、管電圧及びＸ線曝射継続時間等）、スキャン種（ノンヘリカルスキャン、ヘリカルスキャン、同期スキャン等）、チルト角、再構成関数、回転フレームの１回転あたりのビュー数、回転速度及び検出器空間分解能等を更に含む。超音波診断の場合、撮像パラメータは、焦点位置、ゲイン、送信強度、受信強度、ＰＲＦ、ビーム走査方式（セクタ走査、コンベックス走査、リニア走査等）及び走査モード（Ｂモード走査、ドプラ走査、カラードプラ走査、Ｍモード走査、Ａモード走査等）を更に含む。
通常復元機能１１２において処理回路１１は、医用撮像装置３から伝送された生データに通常の復元処理を施して医用画像を復元する。本実施形態に係る通常の復元処理は、生データから生データへの復元、生データから画像データへの復元、画像データから画像データへの復元の何れも包含する。なお、ある座標系により定義される生データから他の座標系により定義される２次元画像データ又は３次元画像データへの復元処理は再構成処理又は画像再構成処理とも呼ばれる。本実施形態に係る通常の復元処理は、デノイズ型復元やデータ誤差フィードバック型復元等の、後述のＤＮＮ復元以外の復元処理を指す。例えば、本実施形態に係る通常の復元処理に係る画像再構成としては、解析学的画像再構成と逐次近似画像再構成とに分類可能である。例えば、ＭＲ画像再構成に係る解析学的画像再構成としては、フーリエ変換又は逆フーリエ変換がある。ＣＴ画像再構成に係る解析学的画像再構成としては、ＦＢＰ（filtered back projection）法、ＣＢＰ（convolution back projection）法又はこれらの応用がある。逐次近似画像再構成としては、ＥＭ（expectation maximization）法、ＡＲＴ（algebraic reconstruction technique）法又はこれらの応用等がある。
入力選択機能１１３において処理回路１１は、学習済みモデル９０への入力医用データを選択する。本実施形態に係る入力医用データは、処理対象の入力医用データ（以下、処理対象入力データと呼ぶ）と補助のための入力医用データ（補助入力データと呼ぶ）とが選択される。処理対象入力データとしては、典型的には、データ欠損が生じている復元対象の医用データが選択される。本実施形態に係るデータ欠損は、被検体に関する所望の医用データに対する実際の医用データの如何なる差異を含む概念である。例えば、データ欠損としては、種々の原因により生ずるノイズに起因するデータ劣化、投影データやｋ空間データの間引収集等による医用データのサンプリング点数の低下に起因するデータ欠落、Ａ／Ｄ変換の過程で生じる連続値から離散値への変換に起因する情報欠落等を含む。補助入力データは、処理対象入力データの欠損部分又は当該部分に実質的に近似する部分を学習済みモデル９０に提供して、学習済みモデル９０による処理対象入力データのデータ欠損部分の復元を補助するための医用データである。このため、補助入力データは、処理対象入力データの被検体と同一の被検体に関する医用データであり、且つ異なる撮像条件により収集された医用データであるとする。処理対象入力画像と補助入力画像とに係る撮像条件の相違具合は、補助入力画像が処理対象入力画像に実質的に近似していると見做せる程度に設定される。補助入力データを処理対象入力データに係る被検体と同一被検体の医用データに限定することにより、処理対象出力データの精度及び信頼性を確保することができる。補助入力画像は、１セット又は撮像条件が異なる複数セットの医用画像である。
順伝播機能１１４において処理回路１１は、被検体に関する処理対象入力データの入力と、当該被検体と同一の被検体に関するものであって処理対象入力データとは異なる撮像条件により収集された補助入力データの入力とを受け付ける。そして処理回路１１は、処理対象入力データと補助入力データとに学習済みモデル９０を適用し、処理対象入力データに対応する出力医用データを生成する。出力医用データは、処理対象入力データに含まれるデータ欠損部分が復元された医用データである。換言すれば、学習済みモデル９０は、データ欠損を含む処理対象入力データと当該データ欠損を補う補助入力データとを入力して当該データ欠損を含まない医用データを出力できるようにパラメータｐが学習された多層化ネットワークである。学習済みモデル９０の入力と出力との組合せとしては、例えば、図４及び図５の態様が考えられる。
図４は、学習済みモデル９０の入力と出力との組合せの一例を示す図である。例えば、図４に示すように、学習済みモデル９０は、処理対象入力データである処理対象入力画像の入力と補助入力データである補助入力画像の入力とを受け付ける。処理対象入力画像は、処理対象の被検体に関する医用画像データである。補助入力画像は、処理対象の被検体と同一の被検体に関する医用画像データであり、処理対象入力画像とは異なる撮像条件で撮像された医用画像データである。この場合、学習済みモデル９０からは処理対象出力画像が出力される。処理対象出力画像は、処理対象入力画像に含まれるデータ欠損部分が復元された、当該処理対象に関する医用画像データである。
図５は、学習済みモデル９０の入力と出力との組合せの他の例を示す図である。例えば、図５に示すように、学習済みモデル９０には、処理対象入力データである処理対象入力生データの入力と補助入力データである補助入力生データの入力とを受け付ける。処理対象入力生データは、処理対象の被検体に関する生データである。補助入力生データは、処理対象の被検体と同一の被検体に関する生データであり、処理対象入力生データとは異なる撮像条件で撮像された生データである。この場合、学習済みモデル９０からは処理対象出力生データが出力される。処理対象出力生データは、処理対象入力生データに含まれるデータ欠損部分が復元された、当該処理対象に関する生データである。
なお、本実施形態に係る生データは、医用撮像装置３により収集されたオリジナルの生データのみに限定されない。例えば、本実施形態に係る生データは、通常復元機能１１２又は順伝播機能１１４により生成された医用画像に順投影処理を施すことにより生成される計算上の生データであってもよい。また、本実施形態に係る生データは、オリジナルの生データに対してデータ圧縮処理や解像度分解処理、データ補間処理、解像度合成処理等の任意のデータ処理がなされた生データであってもよい。また、本実施形態に係る生データは、３次元の生データの場合、１軸又は２軸のみ復元処理がなされたハイブリッドデータであってもよい。同様に、本実施形態に係る医用画像は、通常復元機能１１２又は順伝播機能１１４により生成されたオリジナルの医用画像のみに限定されない。例えば、本実施形態に係る医用画像は、オリジナルの医用画像に対して画像圧縮処理や解像度分解処理、画像補間処理、解像度合成処理等の任意の画像処理がなされた医用画像であってもよい。
画像処理機能１１５において処理回路１１は、通常復元機能１１２により生成された医用画像、順伝播機能１１４により生成された処理対象出力画像等に種々の画像処理を施す。例えば、処理回路１１は、ボリュームレンダリングやサーフェスボリュームレンダリング、画素値投影処理、ＭＰＲ（Multi-Planer Reconstruction）処理、ＣＰＲ（Curved MPR）処理等の３次元画像処理を施す。また、処理回路１１は、画像処理として位置合わせ処理を行ってもよい。
表示制御機能１１６において処理回路１１は、種々の情報をディスプレイ１９に表示する。例えば、処理回路１１は、通常復元機能１１２により生成された医用画像、順伝播機能１１４により生成された処理対象出力画像、画像処理機能１１５により画像処理された医用画像を表示する。また、処理回路４４は、入力選択機能１１３により選択された処理対象入力データと補助入力データとを表示してもよい。
メモリ１３は、種々の情報を記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、集積回路記憶装置等の記憶装置である。メモリ１３は、例えば、モデル学習装置５により生成された学習済みモデルを記憶する。メモリ１３は、上記記憶装置以外にも、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、フラッシュメモリ等の可搬型記憶媒体や、半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。また、メモリ１３は、医用データ処理装置１にネットワークを介して接続された他のコンピュータ内にあってもよい。
入力インタフェース１５は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１１に出力する。具体的には、入力インタフェース１５は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の入力機器に接続されている。入力インタフェース１５は、当該入力機器への入力操作に応じた電気信号を処理回路１１へ出力する。また、入力インタフェース１５に接続される入力機器は、ネットワーク等を介して接続された他のコンピュータに設けられた入力機器でもよい。
通信インタフェース１７は、医用撮像装置３やモデル学習装置５、学習データ保管装置７、他のコンピュータとの間でデータ通信するためのインタフェースである。
ディスプレイ１９は、処理回路１１の表示制御機能１１６に従い種々の情報を表示する。例えば、ディスプレイ１９は、通常復元機能１１２により生成された医用画像、順伝播機能１１４により生成された処理対象出力画像、画像処理機能１１５により画像処理された医用画像を表示する。また、ディスプレイ１９は、ユーザからの各種操作を受け付けるためのＧＵＩ（Graphical User Interface）等を出力する。例えば、ディスプレイ１９としては、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）ディスプレイ、有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electro Luminescence Display）、プラズマディスプレイ又は他の任意のディスプレイが適宜使用可能である。
以下、医用データ処理装置１による処理を説明する。以下の説明において医用データは医用画像であるものとする。
図６は、本実施形態に係る学習済みモデル９０の詳細な構造を示す図である。図６に示すように、本実施形態に係る学習済みモデル９０は、入力層９１、中間層９３及び出力層９５を有する。入力層９１は、処理対象入力画像と補助入力画像とを入力する。処理対象入力画像と補助入力画像とは、上記の入力形式（２）、（３）又は（５）で入力される。例えば、図６に示すように、（２）の形式が採用される。この場合、処理対象入力画像と補助入力画像との成分（画素値）は、単一の入力ベクトル９２として入力層９１に入力される。ここで、処理対象入力画像の画素数がｑ個、補助入力画像の画素数がｒ個、ｑ＋ｒ＝Ｎ個であるとすると、入力層９１にはＮ個の入力ユニットが設けられる。入力層９１は、処理対象入力画像のための入力ユニットの範囲（以下、処理対象範囲と呼ぶ）９２１と補助入力画像のための入力ユニットの範囲（補助範囲と呼ぶ）９２２とに区分される。処理対象範囲９２１は、処理対象入力画像のｐ番目の画素値ｘｐ（１≦ｐ≦ｑ）が入力されるｑ個の入力ユニットを含み、補助範囲９２２は、補助入力画像のｐ番目の画素値ｘｐ（１≦ｐ≦ｒ）が入力されるｒ個の入力ユニットを含む。
なお、処理対象入力生データと補助入力生データとを学習済みモデル９０に入力する場合、処理対象入力生データと補助入力生データとの成分はデータ値である。
出力層９５は、処理対象出力画像を出力する。処理対象出力画像は、単一の出力ベクトル９６の形態で出力層９５から出力される。出力ベクトル９６は、複数の成分ｙを含む。各成分ｙは、処理対象出力画像の各画素の画素値である。出力層９５の出力ユニットの範囲９６１は、単一の処理対象出力画像のための範囲に限定される。成分ｙの個数Ｍは、必ずしも処理対象入力画像の画素数ｑと同数に設定される場合に限らない。個数Ｍは、画素数ｑより少なくてもよいし、多くてもよい。
処理対象入力画像は、常に処理対象範囲９２１の入力ユニットに入力され、補助範囲９２２の入力ユニットに入力されない。逆に、補助入力画像は、常に補助範囲９２２の入力ユニットに入力され、処理対象範囲９２１の入力ユニットに入力されない。すなわち、入力層９１における処理対象入力画像及び補助入力画像が入力される入力ユニットの位置は、学習済みモデル９０による順伝播毎に異ならず、常に固定される。学習済みモデル９０は、処理対象範囲９２１に入力された画像を処理対象入力画像と認識し、補助範囲９２２に入力された画像を補助入力画像と認識するためである。なお、入力層９１における処理対象入力画像及び補助入力画像が入力される入力ユニットの位置は、多層化ネットワークの学習時において処理対象入力画像及び補助入力画像が入力された位置に応じて規定される。すなわち、学習時において処理対象入力画像が入力層９１の前半の範囲に入力され、補助入力画像が入力層９１の後半の範囲に入力された場合、当該前半の範囲が処理対象入力画像の入力位置に設定され、当該後半の範囲が補助入力画像の入力位置に設定される。
なお、上記の説明において処理対象入力画像のための入力ユニットの処理対象範囲９２１が入力層９１の前半に設定され、補助入力画像のための入力ユニットの補助範囲９２２が入力層９１の後半に設定されるとした。しかしながら、本実施形態はこれに限定されない。処理対象入力画像のための入力ユニットの処理対象範囲９２１が入力層９１の後半に設定され、補助入力画像のための入力ユニットの補助範囲９２２が入力層９１の前半に設定されてもよい。
補助入力画像は、撮像条件が異なる２セット以上の医用画像であってもよい。この場合、処理対象入力画像と２以上の補助入力画像との成分は、単一の入力ベクトル９２として入力層９１に入力される。２以上の補助入力画像のための入力ユニットの範囲も、順伝播毎に異ならず、常に固定される事が望ましい。例えば、処理対象入力画像から１秒後のフレームに関する第１の補助入力画像のための入力ユニットの範囲がｑ～ｒであり、２秒後のフレームに関する第２の補助入力画像のための入力ユニットの範囲がｒ＋１～ｓである場合、１秒後のフレームに関する第１の補助入力画像は、ｑ～ｒの範囲の入力ユニットに入力されるべきであり、ｒ＋１～ｓの範囲の入力ユニットに入力されない方が望ましい。必要であれば、１秒後のフレームに関する第１の補助入力画像がｒ＋１～ｓの範囲の入力ユニットに入力されてもよい。
次に、本実施形態に係る医用データ処理装置１による動作例について説明する。以下の説明において本実施形態に係る多層化ネットワークは、生物の脳の神経回路を模した多層のネットワークモデルである深層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）であるとする。医用データ処理装置１は、医用撮像装置３により収集された生データに基づいてＤＮＮ復元を実行し、当該被検体に関する医用画像データを生成する。本実施形態に係るＤＮＮ復元は、学習済みモデル９０である学習済みＤＮＮ９０を利用した、生データから医用画像への復元方法を意味する。
本実施形態に係るＤＮＮとしては、如何なる構造のＤＮＮでもよい。例えば、本実施形態に係るＤＮＮとして、ResNet（Residual Network）やDenseNet（Dense Convolutional Network）、U-Net等が利用可能である。
図７は、医用データ処理装置１によるＤＮＮ復元処理の典型的な流れを示す図である。なお、図７の開始時においては、医用撮像装置３により被検体に関する処理対象生データが収集され、医用データ処理装置１に伝送されているものとする。処理対象生データは、データ欠損を含んでいる。ユーザにより入力機器等を介してＤＮＮ復元処理の開始指示がなされると処理回路１１は、ＤＮＮ復元プログラムを実行し、図７に示す処理を開始する。
図７に示すように、処理回路１１は、通常復元機能１１２を実行する（ステップＳＡ１）。ステップＳＡ１において処理回路１１は、処理対象生データに通常の再構成処理を施して処理対象入力画像を生成する。処理対象生データがデータ欠損を含んでいるので、処理対象入力画像の画質は良好ではない。処理対象生データに通常の復元処理を施して生成された処理対象入力画像は仮復元画像と呼ぶこともできる。
ステップＳＡ１が行われると処理回路１１は、入力選択機能１１３を実行する（ステップＳＡ２）。ステップＳＡ２において処理回路１１は、処理対象入力画像と補助入力画像とを選択する。例えば、処理回路１１は、ステップＳＡ１において生成された処理対象入力画像を入力画像として選択する。そして処理回路１１は、処理対象入力画像のための補助入力画像を入力画像として選択する。補助入力画像は、処理対象入力画像の被検体と同一被検体に関する医用画像であり、且つ、処理対象入力画像の撮像条件とは異なる撮像条件に基づき収集された医用画像が選択される。処理回路１１は、予め定められた規則に従い自動的に補助入力画像を選択してもよいし、ユーザによる入力機器等を介した指示に従い手動的に補助入力画像を選択してもよい。
補助入力画像は、使用する学習済みＤＮＮ９０の種類に応じて選択されてもよい。本実施形態に係る学習済みＤＮＮ９０は、処理対象入力画像の撮像条件とは相違する補助入力画像の撮像条件毎に生成される。例えば、処理対象入力画像とは異なるスライスの医用画像を補助入力画像とする学習済みＤＮＮ９０を使用する場合、処理回路１１は、処理対象医用画像とは異なるスライスの医用画像を補助入力画像として選択する。例えば、処理対象入力画像のスライスに物理的（空間的及び／又は時間的）に近いスライスの医用画像が補助入力画像として選択される。また、心電同期スキャンの場合、処理対象入力画像のスライスと心位相が同一又は時間的に近い心位相のスライスの医用画像が補助入力画像として選択される。補助入力画像の候補は、メモリ１３に予め記憶されている。
選択される補助入力画像の個数は、１個でもよいし、複数個でもよい。選択される補助入力画像の個数は、使用するＤＮＮの学習時において入力された補助入力画像の個数に設定される。すなわち、使用するＤＮＮが１個の医用画像を補助入力画像として学習した場合、ＤＮＮ復元時においても補助入力画像として１個の医用画像が選択される。例えば、ＤＮＮの学習時において補助入力画像として２個の医用画像が入力された場合、ＤＮＮ復元時においても補助入力画像として２個の医用画像が選択される。
選択対象の補助入力画像には他の任意の制約を課してもよい。例えば、処理回路１１は、処理対象入力画像のＦＯＶと同一のＦＯＶの医用画像に限定して補助入力画像として選択してもよい。また、処理回路１１は、処理対象入力画像の撮影日から所定日数（例えば、２箇月）以上前の撮影日の医用画像は、補助入力画像の候補から除外してもよい。
ステップＳＡ２が行われると処理回路１１は、順伝播機能１１４を実行する（ステップＳＡ３）。ステップＳＡ３において処理回路１１は、メモリ１３から、使用する学習済みＤＮＮ９０を読み出す。読み出し対象の学習済みＤＮＮ９０は、入力機器を介してユーザにより指定されるとよい。そして処理回路１１は、ステップＳＡ２において選択された処理対象入力画像と補助入力画像とに、読み出した学習済みＤＮＮ９０を適用して処理対象出力画像を生成する。例えば、処理対象入力画像及び補助入力画像を式（３－２）の入力ｘとして、式（４－１）及び式（４－２）を演算することにより、処理対象出力画像ｙが算出される。
学習済みＤＮＮ９０は、撮像部位毎に生成され、メモリ１３に記憶されてもよい。撮像部位毎に学習済みＤＮＮ９０を生成することにより、処理対象出力画像の復元精度を向上させることができる。処理回路１１は、選択された撮像部位に応じて学習済みＤＮＮ９０を切り替える。撮像部位は、ＤＮＮ復元処理の実行時において、ユーザにより入力機器を介して選択されてもよい。この場合、処理回路１１は、選択された撮像部位に関連付けられた学習済みＤＮＮ９０をメモリ１３から読み出す。なお、医用撮像のために撮像部位が既に選択されている場合、処理回路１１は、選択された撮像部位に関連付けられた学習済みモデル９０をメモリ１３から自動的に読み出してもよい。医用撮像装置３が撮像部位に応じて異なる機器を使用する場合、当該機器に対応する撮像部位を自動的に特定し、特定された撮像部位に関連付けられた学習済みモデル９０をメモリ１３から自動的に読み出してもよい。例えば、磁気共鳴イメージングの場合、頭部コイルや腹部コイル等、使用するコイルの種別が撮像部位に応じて異なる。この場合、処理回路１１は、使用されたコイルの種別に対応する撮像部位を、コイルの識別子等から特定し、特定された撮像部位に関連付けられた学習済みモデル９０をメモリ１３から読み出す。
ステップＳＡ３が行われると処理回路１１は、表示制御機能１１６を実行する（ステップＳＡ４）。ステップＳＡ４において処理回路１１は、ステップＳ３において生成された処理対象出力画像をディスプレイ１９に表示する。
以上により、図７に示すＤＮＮ復元処理の流れの説明を終了する。なお、上記のＤＮＮ復元処理の流れは一例であり、本実施形態に係るＤＮＮ復元処理の流れはこれに限定されない。例えば、医用データ処理装置１が医用画像診断装置９とは独立である場合、処理対象入力画像の候補と補助入力画像の候補との双方が予めメモリ１３に記憶され、当該候補の中から処理対象入力画像と補助入力画像とが選択されてもよい。また、生データに対して解像度分解や解像度合成等の前処理が行われてもよいし、処理対象出力画像にボリュームレンダリングや画像解析等の後処理が行われてもよい。また、処理回路１１は、ステップＳＡ３の順伝播処理の前段階において処理対象入力画像と補助入力画像とを位置合わせしてもよい。また、使用する学習済みＤＮＮ９０の読み出し後に、処理対象入力画像と補助入力画像とが選択されてもよい。
なお、処理回路１１は、処理対象出力画像が生データ以外のデータを使用して生成された事をユーザが理解可能なように、処理対象出力画像を管理するとよい。例えば、処理回路１１は、ＤＩＣＯＭ（Digital Imaging and Communications in Medicine）規格に則り管理する場合、処理対象出力画像を処理対象入力画像と補助入力画像とに関連付けることにより、これら３画像を単一の画像セットとして管理する。例えば、処理対象出力画像又は処理対象入力画像の画像ファイルに、処理対象出力画像を処理対象入力画像と補助入力画像とが格納される。また、上記方法以外に又は上記方法と合わせて、処理回路１１は、処理対象出力画像のＤＩＣＯＭタグに、補助入力画像の識別情報を割り当ててもよい。これら方法により、処理対象出力画像が当該補助入力画像を使用して生成された証拠を、処理対象出力画像に残すことができる。また、処理回路１１は、処理対象入力画像のＤＩＣＯＭタグに、処理対象出力画像の識別情報を割り当ててもよい。これにより、処理対象出力画像の存在を明らかにすることができる。
次に、ＤＮＮ復元処理の具体例について説明する。
上記の通り、処理対象入力画像と補助入力画像とは、互いに同一の被検体に関し且つ異なる撮像条件に関する。撮像条件は、撮像原理と複数種の撮像パラメータとにより構成される。撮像パラメータは、共通パラメータと個別パラメータとに分類される。共通パラメータは、処理対象入力画像と補助入力画像とについて同一値に設定される撮像パラメータである。個別パラメータは、処理対象入力画像と補助入力画像とについて異なる値に設定される撮像パラメータである。なお、処理対象入力画像と処理対象出力画像とについては共通パラメータと個別パラメータとが同一値を有する。処理対象入力画像と処理対象出力画像とはデータ欠損量又は画質が異なる。すなわち、処理対象出力画像は、処理対象入力画像に比してデータ欠損量が少ない又は画質が高い。データ欠損量及び画質は画像ＳＤ等の画質パラメータにより評価可能である。
図８は、本実施形態に係る順伝播処理における学習済みＤＮＮの入力と出力との関係を模式的に示す図である。図８に示す学習済みＤＮＮは、補助入力画像として、処理対象入力画像とはスライス位置が異なる医用画像を入力する。処理対象出力画像としては、処理対象入力画像と同一のスライス位置に関し、処理対象入力画像に含まれるデータ欠損部分が復元された医用画像が出力される。例えば、図８に示すように、処理対象入力画像のスライスは位置ｓＡであり、補助入力画像のスライスは位置ｓＡとは異なる位置ｓＢであり、処理対象出力画像のスライスは位置ｓＡである。位置ｓＡに対する位置ｓＢの距離及び角度は、特に限定されないが、ＤＮＮ復元毎に異ならず常に同一値であるとよい。図８の場合、個別パラメータはスライス位置であり、共通パラメータは収集シーケンスの種別やｋ空間充填軌跡の種別、時間分解能等である。
図９は、本実施形態に係る順伝播処理における学習済みＤＮＮの入力と出力との関係を模式的に示す他の図である。図９に示す学習済みＤＮＮは、補助入力画像として、処理対象入力画像とはフレームが異なる医用画像を入力する。本実施形態に係るフレームは、医用画像又は生データの収集時刻に対応する。処理対象出力画像としては、処理対象入力画像と同一のフレームに関し、処理対象入力画像に含まれるデータ欠損部分が復元された医用画像が出力される。例えば、図９に示すように、処理対象入力画像のフレームは時相ｔＡであり、補助入力画像のフレームは時相ｔＢであり、処理対象出力画像のフレームは時相ｔＡである。時相ｔＡに対する時相ｔＢの時間差は、特に限定されないが、ＤＮＮ復元毎に異ならず常に同一値であるとよい。図９の場合、個別パラメータはフレーム（収集時刻）であり、共通パラメータはスライス位置や収集シーケンスの種別、ｋ空間充填軌跡の種別、時間分解能等である。
図１０は、本実施形態に係る順伝播処理における学習済みＤＮＮの入力と出力との関係を模式的に示す他の図である。図１０に示す学習済みＤＮＮは、補助入力画像として、処理対象入力画像とはスライス位置とフレームとの両方が異なる医用画像を入力する。処理対象出力画像としては、処理対象入力画像と同一のスライス位置及びフレームに関し、処理対象入力画像に含まれるデータ欠損部分が復元された医用画像が出力される。例えば、図１０に示すように、処理対象入力画像のスライスが位置ｓＡ且つフレームが時相ｔＡであり、補助入力画像のスライスが位置ｓＢ且つフレームが時相ｔＢであり、処理対象出力画像のスライスが位置ｓＡ且つフレームが時相ｔＡである。図１０の場合、個別パラメータはスライス位置及びフレームの何れか一方であり、共通パラメータは、収集シーケンスの種別やｋ空間充填軌跡の種別、時間分解能等である。なお、補助入力画像として複数の画像が選択される場合、複数の補助入力画像についてスライス位置及びフレームの何れか一方のみが異なる値に設定されてもよいし、双方が異なる値に設定されてもよい。
図１１は、本実施形態に係る順伝播処理における学習済みＤＮＮの入力と出力との関係を模式的に示す他の図である。図１１に示す学習済みＤＮＮは、補助入力画像として、処理対象入力画像とは磁気共鳴イメージングにおけるｋ空間充填軌跡が異なる。処理対象出力画像としては、処理対象入力画像と同一のｋ空間充填軌跡であり、処理対象入力画像に含まれるデータ欠損部分が復元された医用画像が出力される。ｋ空間充填軌跡としては、例えば、カーテシアン（Cartesian）スキャン、ラディアル（Radial）スキャン、ＰＲＯＰＥＬＬＡＲ（Periodically Rotated Overlapping Parallel Lines with Enhanced Reconstruction）、スパイラル（Spinal）スキャン、スタック・オブ・スターズ（Stack-of-Stars）がある。例えば、図１１に示すように、処理対象入力画像のｋ空間充填軌跡がラディアルスキャンであり、補助入力画像のｋ空間充填軌跡がカーテシアンスキャンであり、処理対象出力画像のｋ空間充填軌跡がラディアルスキャンである。なお、本実施形態に係るｋ空間充填軌跡は、収集ラインの収集順序も含まれる。本実施形態に係る収集ラインは、カーテシアンスキャンにおける位相エンコードステップ、ラディアルスキャンにおけるスポークに対応する。カーテシアンスキャンの収集順序としては、セントリックオーダやシーケンシャルオーダがある。例えば、処理対象入力画像のｋ空間充填軌跡がセントリックオーダであり、補助入力画像のｋ空間充填軌跡がシーケンシャルオーダでもよい。図１１の場合、個別パラメータはｋ空間充填軌跡の種別であり、共通パラメータは収集シーケンスの種別やスライス位置等である。
図１２は、本実施形態に係る順伝播処理における学習済みＤＮＮの入力と出力との関係を模式的に示す他の図である。図１２に示す学習済みＤＮＮは、補助入力画像として、処理対象入力画像とは磁気共鳴イメージングにおける収集シーケンスが異なる医用画像を入力する。処理対象出力画像としては、処理対象入力画像と同一の収集シーケンスに関し、処理対象入力画像に含まれるデータ欠損部分が復元された医用画像が出力される。本実施形態に係る収集シーケンスとしては、例えば、グラジェントエコー（ＧＲＥ：Gradient Echo）シーケンス、スピンエコー（ＳＥ：Spin Echo）シーケンス等の収集シーケンスの種類が挙げられる。また、何れのパルスシーケンスにもインバージョンリカバリー（ＩＲ：Inversion Recovery）パルスや脂肪飽和パルス等のプリパレーションパルスを挿入されてもよいし、エコープラナー（ＥＰＩ：Echo Planar Imaging）が用いられてもよい。また、本実施形態に係る収集シーケンスを決定付ける要因としては、収集シーケンスの種類だけでなく、繰り返し時間ＴＲやエコー時間ＴＥ、縦緩和時間Ｔ１、横緩和時間Ｔ２、ｂ値、倍速率等の収集シーケンスの種々のパラメータも含むものとする。例えば、図１２に示すように、処理対象入力画像の収集シーケンスはＥＰＩ収集であり、補助入力画像の収集シーケンスはＴ１Ｗ収集であり、処理対象出力画像の収集シーケンスはＥＰＩ収集である。図１２の場合、個別パラメータは収集シーケンスの種別であり、共通パラメータはｋ空間充填軌跡の種別やスライス位置、時間分解能等である。
図１３は、本実施形態に係る順伝播処理における学習済みＤＮＮの入力と出力との関係を模式的に示す他の図である。図１３に示す学習済みＤＮＮは、処理対象入力画像と２種の補助入力画像とが学習済みＤＮＮに入力される。処理対象出力画像としては、処理対象入力画像と同一の収集シーケンスに関し、処理対象入力画像に含まれるデータ欠損部分が復元された医用画像が出力される。２種の補助入力画像各々は、処理対象入力画像とは収集シーケンスが異なる。例えば、処理対象入力画像の収集シーケンスはｂ値＝５００のＥＰＩ収集、第１の補助入力画像の収集シーケンスはｂ値＝０のＥＰＩ収集、第２の補助入力画像の収集シーケンスはＴ１Ｗ収集である。この場合、処理対象出力画像の収集シーケンスはｂ値＝５００のＥＰＩ収集である。図１３の場合、個別パラメータは収集シーケンスの種別及びｂ値の何れか一方であり、共通パラメータはスライス位置やｋ空間充填軌跡の種別、時間分解能等である。なお、補助入力画像として複数の画像が選択される場合、複数の補助入力画像について収集シーケンスの種別及びｂ値の何れか一方のみが異なる値に設定されてもよいし、双方が異なる値に設定されてもよい。
なお、上記の処理対象入力画像と補助入力画像との類型は一例であり、本実施形態はこれに限定されない。
例えば、ｋ空間充填軌跡が異なる２個の入力画像として、以下の類型が挙げられる。処理対象入力画像としてランダム・アンダー・サンプリング（Random Under Sampling）により収集されたＭＲ画像、補助入力画像としてレギュラ・アンダー・サンプリング（Regular Under Sampling）により収集されたＭＲ画像。レギュラ・アンダー・サンプリングは、カーテシアンスキャンによる間引収集である。ランダム・アンダー・サンプリングは、疑似ラディアルスキャンとも呼ばれ、カーテシアンスキャンにより擬似的に放射状の収集ラインに沿ってｋ空間データを収集する方法である。
なお、上記実施形態において医用データ処理装置１は、医用画像診断装置９に含まれるコンピュータであるとした。しかしながら、本実施形態に係る医用データ処理装置は、これに限定されない。
図１４は、本実施形態に係る他の医用データ処理装置２の構成を示す図である。医用データ処理装置２は、順伝播機能１１４のための専用の装置である。医用データ処理装置２は、医用画像診断装置９に含まれないコンピュータにより実現されてもよい。また、医用画像診断装置２は、医用画像診断装置９に含まれる又は含まれない、ＡＳＩＣやＦＰＧＡ等の集積回路により実現されてもよい。以下、医用データ処理装置２は、ＡＳＩＣであるとする。
図１４に示すように、医用データ処理装置２は、処理回路２１、メモリ２３、入力インタフェース２５及び出力インタフェース２７を有する。処理回路２１、メモリ２３、入力インタフェース２５及び出力インタフェース２７とはバスを介して互いに接続されている。
処理回路２１は、順伝播機能１１４を実行するために設計された回路素子又は論理回路の組合せである。処理回路２１は、入力インタフェース２５を介して入力された処理対象入力画像と補助入力画像とに、学習済みモデルを適用して処理対象出力画像を生成し、処理対象出力画像を出力インタフェース２７を介して出力する。
メモリ２３は、ＲＯＭやＲＡＭ等の任意の情報を記憶する回路素子である。例えば、メモリ２３は、順伝播機能１１４の実行時に得られた計算結果等を記憶する。
入力インタフェース２５は、処理回路２１への入力のためのインタフェースである。入力インタフェース２５は、例えば、処理対象入力画像と補助入力画像とを処理回路２１に入力する。処理対象入力画像と補助入力画像とは、例えば、医用データ処理装置２を搭載するコンピュータにより選択される。
出力インタフェース２７は、処理回路２１からの出力のためのインタフェースである。出力インタフェース２７は、例えば、処理回路２１から出力された処理対象出力画像をコンピュータ、ネットワーク又は記憶装置等に出力する。
上記の構成により、医用データ処理装置２は、医用画像診断装置９に含まれるコンピュータ以外の形態により、順伝播機能１１４を実行することが可能になる。なお、図１４の医用データ処理装置２の構成は一例であり、これに限定されない。例えば、医用データ処理装置２は、メモリ２３を有さなくてもよい。また、処理回路２１には順伝播機能１１４以外の機能が搭載されてもよい。
図１５は、モデル学習装置５の構成を示す図である。図１５に示すように、モデル学習装置５は、ハードウェア資源として、処理回路５１、メモリ５３、入力インタフェース５５、通信インタフェース５７及びディスプレイ５９を有する。
処理回路５１は、ＣＰＵやＧＰＵ等のプロセッサを有する。当該プロセッサがメモリ５３等にインストールされたＤＮＮ復元プログラムを起動することにより、順伝播機能５１１、逆伝播機能５１２、更新機能５１３、判定機能５１４及び表示制御機能５１５等を実行する。なお、各機能５１１～５１５は単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能５１１～５１５を実現するものとしても構わない。
順伝播機能５１１において処理回路５１は、多層化ネットワークに入力医用データを順伝播し、入力医用データに対応する推定出力データを計算する。
逆伝播機能５１２において処理回路５１は、多層化ネットワークに誤差を逆伝播し、勾配ベクトルを計算する。誤差は、順伝播機能５１１により計算された推定出力データと正解出力データとの差分に規定される。
更新機能５１３において処理回路５１は、逆伝播機能５１２により計算された勾配ベクトルに基づいて多層化ネットワークのパラメータを更新する。具体的には、処理回路５１は、推定出力医用データと正解出力医用データとが近似するようにパラメータを更新する。
判定機能５１４において処理回路５１は、学習処理の終了条件を満たすか否かを判定する。終了条件は、ユーザにより入力機器等を介して任意に設定可能である。
表示制御機能５１５において処理回路５１は、学習データや学習結果をディスプレイ５９に表示する。
メモリ５３は、種々の情報を記憶するＲＯＭやＲＡＭ、ＨＤＤ、ＳＳＤ、集積回路記憶装置等の記憶装置である。メモリ５３は、例えば、多層化ネットワークの学習のためのモデル学習プログラム５０を記憶する。メモリ５３は、上記記憶装置以外にも、ＣＤ、ＤＶＤ、フラッシュメモリ等の可搬型記憶媒体や、ＲＡＭ等の半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。また、メモリ５３は、モデル学習装置５にネットワークを介して接続された他のコンピュータ内にあってもよい。
入力インタフェース５５は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路５１に出力する。具体的には、入力インタフェース１５は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の入力機器に接続されている。入力インタフェース５５は、当該入力機器への入力操作に応じた電気信号を処理回路５１へ出力する。また、入力インタフェース５５に接続される入力機器は、ネットワーク等を介して接続された他のコンピュータに設けられた入力機器でもよい。
通信インタフェース５７は、医用データ処理装置１や医用撮像装置３、学習データ保管装置７、他のコンピュータとの間でデータ通信するためのインタフェースである。
ディスプレイ５９は、処理回路５１の表示制御機能５１５に従い種々の情報を表示する。例えば、ディスプレイ５９は、学習データや学習結果を表示する。また、ディスプレイ５９は、ユーザからの各種操作を受け付けるためのＧＵＩ等を出力する。例えば、ディスプレイ１９としては、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ又は他の任意のディスプレイが適宜使用可能である。
次に、モデル学習装置５の処理回路５１がモデル学習プログラム５０に従い実行するモデル学習処理について説明する。図１６は、モデル学習装置５の処理回路５１がモデル学習プログラム５０に従い実行するモデル学習処理の典型的な流れを示す図である。図１６の処理は、ユーザ等によりモデル学習処理の開始指示が入力されることを契機として処理回路５１は、モデル学習プログラム５０を実行することにより開始される。
まず処理回路５１は、順伝播機能５１１を実行する（ステップＳＢ１）。ステップＳＢ１において処理回路５１は、複数の学習サンプルを含む学習データを入力する。学習データは、学習データ保管装置７から供給される。学習サンプルは、主入力データ、補助入力データ及び正解出力データの組合せである。主入力データと補助入力データとは、同一被検体に関し異なる撮像条件により収集された医用データである。主入力データは、処理対象入力データに対応する。正解出力データは、主入力データを入力してＤＮＮから出力される望ましい出力データ（正解出力あるいは教師データ）である。
上記の通り、撮像パラメータは、共通パラメータと個別パラメータとを含む。主入力データと補助入力データとについて、共通パラメータは同一値に設定されるが、個別パラメータは異なる値に設定される。主入力データと正解出力データとについて共通パラメータと個別パラメータとは同一値に設定される。正解出力データは、主入力データよりもデータ欠損が少ない又は画質が高いデータである。例えば、撮像パラメータがＭＲＩの撮像パラメータである場合、主入力データは少ないデータ量を有するｋ空間データに基づくＭＲ画像であり、正解出力データは主入力データよりも多いデータ量を有するｋ空間データに基づくＭＲ画像である。例えば、主入力データが間引き収集（スパースサンプリング）により収集されたデータである場合、正解出力データは完全収集（フルサンプリング）により収集されたデータがよい。補助入力データの個別パラメータと正解出力データの個別パラメータとは互いに異なる値に設定される。複数セットの補助入力データがある場合、異なる補助入力データについて個別パラメータは同一値でもよいし異なる値でもよい。正解出力データは、主入力データに由来するが、補助入力データとは無関係である。ＤＮＮに入出力されるデータがｋ空間データである場合、典型的には、正解出力ｋ空間データは、主入力ｋ空間データを包含するが、補助入力ｋ空間データは含まない。ＤＮＮに入出力されるデータが画像である場合、典型的には、正解出力画像の再構成に使用するｋ空間データは、主入力画像の再構成に使用したｋ空間データを包含するが、補助入力画像の再構成に使用したｋ空間データは含まない。
同一のＤＮＮに入力される複数の学習サンプルに亘り、相違する主入力データの撮像条件と補助入力データの撮像条件との組合せは同一に保たれる。より詳細には、相違する主入力データの撮像条件と補助入力データの撮像条件との組合せは、生成対象のＤＮＮに係る主入力データの撮像条件と補助入力データの撮像条件との組合せに固定される。例えば、図８のＤＮＮを生成する場合、主入力医用画像に対してスライス位置が異なる医用画像が補助入力画像として選択される。図９のＤＮＮを生成する場合、主入力医用画像に対してフレームが異なる医用画像が補助入力画像として選択される。図１０のＤＮＮを生成する場合、主入力医用画像に対してスライス位置が異なる医用画像と、フレームが異なる医用画像とが補助入力画像として選択される。図１１のＤＮＮを生成する場合、主入力医用画像に対してｋ空間充填軌跡が異なる医用画像が補助入力画像として選択される。図１２のＤＮＮを生成する場合、主入力医用画像に対して収集シーケンスが異なる医用画像が補助入力画像として選択される。図１３のＤＮＮを生成する場合、主入力医用画像に対して収集シーケンスが異なる２個の医用画像が補助入力画像として選択される。
なお、学習時における主入力医用画像と補助入力画像とは、患者を撮像することにより生成された医用画像に限定されない。例えば、主入力医用画像と補助入力画像として、任意のファントムを撮像することにより生成された医用画像が用いられてもよい。
ステップＳＢ１が行われると処理回路５１は、主入力データと補助入力データとに基づくＤＮＮの順伝播により出力データを生成する（ステップＳＢ２）。ステップＳＢ２において生成された出力データを推定出力データと呼ぶ。なお、ＤＮＮのパラメータは、１回目の順伝播においては初期値に設定されている。例えば、主入力データと補助入力データとを入力として、上記の式（４－１）及び式（４－２）を演算することにより、推定出力データｚ（Ｌ）が生成される。なお、学習効率及び学習精度の向上のため、順伝播の前段階において主入力データと補助入力データとの位置合わせが行われるとよい。
ステップＳＢ２が行われると処理回路５１は、逆伝播機能５１２を実行する（ステップＳＢ３）。ステップＳＢ３において処理回路５１は、ステップＳＢ２で生成された推定出力データと、ステップＳＢ１において入力された正解出力データとの誤差を計算する。具体的には、正解出力データｄｎから推定出力データｚ（Ｌ）を減算することにより、式（１３－１）により規定される誤差δｊ （Ｌ）が算出される。
ステップＳＢ３が行われると処理回路５１は、ステップＳＢ３において計算された誤差に基づくＤＮＮの逆伝播により勾配ベクトルを計算する（ステップＳＢ４）。具体的には、誤差δｊ （Ｌ）に基づき式（６－２）又は式（６－４）の勾配ベクトルが算出される。
ステップＳＢ４が行われると処理回路５１は、更新機能５１３を実行する（ステップＳＢ５）。ステップＳＢ５において処理回路５１は、ステップＳＢ４において計算された勾配ベクトルに基づきパラメータを更新する。具体的には、勾配ベクトルに基づき式（６－１）又は式（６－３）によりパラメータｐが更新される。
ステップＳＢ５が行われると処理回路５１は、判定機能５１４を実行する（ステップＳＢ６）。ステップＳＢ６において処理回路５１は、終了条件を満たすか否かを判定する。終了条件は、例えば、反復回数が規定回数に到達したことに設定されてもよい。また、終了条件は、勾配ベクトルが閾値未満に到達したことに設定されてもよい。
ステップＳＢ６において終了条件を満たさないと判定された場合（ステップＳＢ６：ＮＯ）、処理回路１１は、同一の学習サンプル又は他の学習サンプルを使用してステップＳＢ１からステップＳＢ６を繰り返す。
そしてステップＳＢ６において終了条件を満たすと判定された場合（ステップＳＢ６：ＹＥＳ）、処理回路１１は、更新後のＤＮＮを学習済みＤＮＮ９０として出力する（ステップＳＢ７）。学習済みＤＮＮは、補助入力画像の種類及び個数と共に医用データ処理装置１のメモリ１３に記憶される。種類は、具体的には、補助入力画像の撮像条件のうち主入力画像の撮像条件とは異なる撮像条件の種類を示す。例えば、図８のＤＮＮの場合、種類はスライス位置、個数は１個であり、図９のＤＮＮの場合、種類はフレーム、個数は１個であり、図１０のＤＮＮの場合、種類はスライス位置及びフレーム、個数は２個であり、図１１のＤＮＮの場合、種類はｋ空間充填軌跡、個数は１個であり、図１２のＤＮＮの場合、種類は収集シーケンス、個数は１個であり、図１３のＤＮＮの場合、種類は収集シーケンス、個数は２個である。
以上により、本実施形態に係るモデル学習装置５によるモデル学習処理の説明を終了する。なお、上記の学習処理の流れは一例であり、本実施形態はこれに限定されない。
上記の通り、本実施形態に係るモデル学習プログラム５０は、モデル学習装置５に、少なくとも順伝播機能５１１と更新機能５１３とを実行させる。順伝播機能５１１は、同一対象に関し且つ撮像条件が異なる主入力データと補助入力データとを入力する入力層と、主入力データに対応する出力データを出力する出力層と、入力層と出力層との間に設けられる少なくとも１つの中間層とを有する多層化ネットワークに対して、主入力データと補助入力データとを適用して推定出力データを生成する。更新機能５１３は、推定出力データと正解出力データとが近似するように多層化ネットワークのパラメータを更新する。
上記の構成により、本実施形態に係るモデル学習プログラム５０は、主入力データのデータ欠損部分が復元された出力データを出力するため、主入力データだけでなく補助入力データも入力データに使用して多層化ネットワークのパラメータを学習する。これにより、本実施形態に係るモデル学習プログラム５０は、パラメータの学習に際し、主入力データに含まれない、より多くの情報を利用することができる。これにより、主入力データのみを入力データとして使用する場合に比して、学習済みモデル９０による医用データの復元精度を向上させることができる。
また、上記の通り、本実施形態に係る医用データ処理装置１は、メモリ１３と処理回路１１とを有している。メモリ１３は、学習済みモデル９０を記憶する。学習済みモデル９０は、同一対象に関し且つ撮像条件が異なる主入力データと補助入力データとを入力する入力層と、主入力データに対応する出力データを出力する出力層と、入力層と出力層との間に設けられる少なくとも１つの中間層とを有する。処理回路１１は、被検体に関する処理対象入力データと被検体と同一の被検体に関し処理対象入力データとは撮像条件が異なる補助入力データとに学習済みモデルを適用し、被検体に関する処理対象出力データを生成する。
上記の構成により、本実施形態に医用データ処理装置１は、補助入力データにより処理対象入力データの欠損部分を補うことができるので、処理対象入力データのみを入力データとして使用する場合に比して、学習済みモデル９０による医用データの復元精度を向上させることができる。
なお、モデル学習装置５のメモリ５３に記憶されているモデル学習プログラム５０は、医用データ処理装置１のメモリ１３に記憶されてもよい。すなわち、モデル学習装置５の学習機能である順伝播機能５１１、逆伝播機能５１２、更新機能５１３、判定機能５１４及び表示制御機能５１５は、医用データ処理装置１の処理回路１１により実現されてもよい。
（応用例）
上記の説明においては、補助入力画像の生成タイミングについて特に限定しなかった。以下の応用例においては、単一の検査において複数の医用画像が順番に生成され、生成された複数の医用画像の中から順次、処理対象医用画像と補助入力画像とが選択されるものとする。以下、生データから医用画像データへの復元処理は再構成処理であるものとする。なお、以下の説明において、上記実施形態と略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。
応用例１：磁気共鳴イメージング検査
磁気共鳴イメージング検査は、磁気共鳴イメージング装置により行われる。応用例１において医用撮像装置３は磁気共鳴イメージング装置のＭＲ架台であるとする。
図１７は、応用例１に係る磁気共鳴イメージング装置９－１の構成を示す図である。図１７に示すように、磁気共鳴イメージング装置９－１は、架台２０－１、寝台３１－１、傾斜磁場電源２１－１、送信回路２３－１、受信回路２５－１、寝台駆動装置２７－１、シーケンス制御回路２９－１及び医用データ処理装置１－１を有する。
架台２０－１は、静磁場磁石４１－１と傾斜磁場コイル４３－１とを有する。静磁場磁石４１－１と傾斜磁場コイル４３－１とは架台２０－１の筐体に収容されている。架台２０－１の筐体には中空形状を有するボアが形成されている。架台２０－１のボア内には送信コイル４５－１と受信コイル４７－１とが配置される。
静磁場磁石４１－１は、中空の略円筒形状を有し、略円筒内部に静磁場を発生する。静磁場磁石４１－１としては、例えば、永久磁石、超伝導磁石または常伝導磁石等が使用される。ここで、静磁場磁石４１－１の中心軸をＺ軸に規定し、Ｚ軸に対して鉛直に直交する軸をＹ軸に規定し、Ｚ軸に水平に直交する軸をＸ軸に規定する。Ｘ軸、Ｙ軸及びＺ軸は、直交３次元座標系を構成する。
傾斜磁場コイル４３－１は、静磁場磁石４１－１の内側に取り付けられ、中空の略円筒形状に形成されたコイルユニットである。傾斜磁場コイル４３－１は、傾斜磁場電源２１－１からの電流の供給を受けて傾斜磁場を発生する。より詳細には、傾斜磁場コイル４３－１は、互いに直交するＸ軸、Ｙ軸、Ｚ軸に対応する３つのコイルを有する。当該３つのコイルは、Ｘ軸、Ｙ軸、Ｚ軸の各軸に沿って磁場強度が変化する傾斜磁場を形成する。Ｘ軸、Ｙ軸、Ｚ軸の各軸に沿う傾斜磁場は合成されて互いに直交するスライス選択傾斜磁場Ｇｓ、位相エンコード傾斜磁場Ｇｐ及び周波数エンコード傾斜磁場Ｇｒが所望の方向に形成される。スライス選択傾斜磁場Ｇｓは、任意に撮像断面を決めるために利用される。位相エンコード傾斜磁場Ｇｐは、空間的位置に応じてＭＲ信号の位相を変化させるために利用される。周波数エンコード傾斜磁場Ｇｒは、空間的位置に応じてＭＲ信号の周波数を変化させるために利用される。なお、以下の説明においてスライス選択傾斜磁場Ｇｓの傾斜方向はＺ軸、位相エンコード傾斜磁場Ｇｐの傾斜方向はＹ軸、周波数エンコード傾斜磁場Ｇｒの傾斜方向はＸ軸であるとする。
傾斜磁場電源２１－１は、シーケンス制御回路２９－１からのシーケンス制御信号に従い傾斜磁場コイル４３－１に電流を供給する。傾斜磁場電源２１－１は、傾斜磁場コイル４３－１に電流を供給することにより、Ｘ軸、Ｙ軸及びＺ軸の各軸に沿う傾斜磁場を傾斜磁場コイル４３－１により発生させる。当該傾斜磁場は、静磁場磁石４１－１により形成された静磁場に重畳されて被検体Ｐに印加される。
送信コイル４５－１は、例えば、傾斜磁場コイル４３－１の内側に配置され、送信回路２３－１から電流の供給を受けて高周波磁場パルス（以下、ＲＦ磁場パルスと呼ぶ）を発生する。
送信回路２３－１は、被検体Ｐ内に存在する対象プロトンを励起するためのＲＦ磁場パルスを送信コイル４５－１を介して被検体Ｐに印加するために、送信コイル４５－１に電流を供給する。ＲＦ磁場パルスは、対象プロトンに固有の共鳴周波数で振動し、対象プロトンを励起させる。励起された対象プロトンから磁気共鳴信号（以下、ＭＲ信号と呼ぶ）が発生され、受信コイル４７－１により検出される。送信コイル４５－１は、例えば、全身用コイル（ＷＢコイル）である。全身用コイルは、送受信コイルとして使用されてもよい。
受信コイル４７－１は、ＲＦ磁場パルスの作用を受けて被検体Ｐ内に存在する対象プロトンから発せられるＭＲ信号を受信する。受信コイル４７－１は、ＭＲ信号を受信可能な複数の受信コイルエレメントを有する。受信されたＭＲ信号は、有線又は無線を介して受信回路２５－１に供給される。図１に図示しないが、受信コイル４７－１は、並列的に実装された複数の受信チャネルを有している。受信チャネルは、ＭＲ信号を受信する受信コイルエレメント及びＭＲ信号を増幅する増幅器等を有している。ＭＲ信号は、受信チャネル毎に出力される。受信チャネルの総数と受信コイルエレメントの総数とは同一であってもよいし、受信チャネルの総数が受信コイルエレメントの総数に比して多くてもよいし、少なくてもよい。
受信回路２５－１は、励起された対象プロトンから発生されるＭＲ信号を受信コイル４７－１を介して受信する。受信回路２５－１は、受信されたＭＲ信号を信号処理してデジタルのＭＲ信号を発生する。デジタルのＭＲ信号は、空間周波数により規定されるｋ空間にて表現することができる。よって、以下、デジタルのＭＲ信号をｋ空間データと呼ぶことにする。ｋ空間データは、画像再構成に供される生データの一種である。ｋ空間データは、有線又は無線を介して信号データ処理装置５０－１に供給される。
なお、上記の送信コイル４５－１と受信コイル４７－１とは一例に過ぎない。送信コイル４５－１と受信コイル４７－１との代わりに、送信機能と受信機能とを備えた送受信コイルが用いられてもよい。また、送信コイル４５－１、受信コイル４７－１及び送受信コイルが組み合わされてもよい。
架台２０－１に隣接して寝台３１－１が設置される。寝台３１－１は、天板３３－１と基台３５－１とを有する。天板３３－１には被検体Ｐが載置される。基台３５－１は、天板３３－１をＸ軸、Ｙ軸、Ｚ軸各々に沿ってスライド可能に支持する。基台３５－１には寝台駆動装置２７－１が収容される。寝台駆動装置２７－１は、シーケンス制御回路２９－１からの制御を受けて天板３３－１を移動する。寝台駆動装置２７－１は、例えば、サーボモータやステッピングモータ等の如何なるモータ等を含んでもよい。
シーケンス制御回路２９－１は、ハードウェア資源として、ＣＰＵあるいはＭＰＵ（のプロセッサとＲＯＭやＲＡＭ等のメモリとを有する。シーケンス制御回路２９－１は、処理回路１１の撮像制御機能１１１により決定された撮像プロトコルに基づいて傾斜磁場電源２１－１、送信回路２３－１及び受信回路２５－１を同期的に制御し、当該撮像プロトコルに応じたパルスシーケンスを実行して被検体ＰをＭＲ撮像し、被検体Ｐに関するｋ空間データを収集する。
図１７に示すように、医用データ処理装置１－１は、処理回路１１、メモリ１３、入力インタフェース１５、通信インタフェース１７及びディスプレイ１９を有するコンピュータである。医用データ処理装置１－１は上記医用データ処理装置１と同等であるので、説明を省略する。
図１８は、応用例１に係る医用データ処理装置１－１の処理を模式的に示す図である。図１８に示す検査においては、まず、ｂ値＝０のＥＰＩ収集が行われる（ステップＳＰ１）。ステップＳＰ１において処理回路１１は、まず撮像制御機能１１１を実行して医用撮像装置（磁気共鳴イメージング装置の架台）３にｂ値＝０のＥＰＩ収集を行わせる。検査の第１段階であるステップＳＰ１においては、ｋ空間データの完全収集（フル収集）が行われる。完全収集は、ｋ空間の全ての収集ラインについてｋ空間データを収集することである。ｋ空間データが収集されると処理回路１１は、通常復元機能１１２を実行する。通常復元機能１１２において処理回路１１は、ステップＳＰ１において収集されたｋ空間データにＦＦＴ（Fast Fourier Transfer）を施してｂ値＝０に関するＦＦＴ再構成画像を生成する。
ステップＳＰ１が行われると処理回路１１は、撮像制御機能１１１を実行して架台２０にｂ値＝５００のＥＰＩ収集を行わせる（ステップＳＰ２）。ステップＳＰ２においては、ｋ空間データの間引収集（スパース収集）が行われる。間引収集は、ｋ空間の全ての収集ラインのうちの幾つかの収集ラインに限定してｋ空間データを収集することである。間引収集は、例えば、パラレルイメージングやハーフフーリエ法、圧縮センシング等により行われる。スパース収集により撮像時間を短縮させることができる。また、ステップＳＰ２とステップＳＰ１とにおける撮像部位又はスライス位置は同一である。ｋ空間データが収集されると処理回路１１は、通常復元機能１１２を実行する。通常復元機能１１２において処理回路１１は、ステップＳＰ２において収集されたｋ空間データにＦＦＴを施してｂ値＝５００に関するＦＦＴ再構成画像を生成する。ステップＳＰ２のＦＦＴ再構成画像は、ｂ値の上昇及び間引収集に起因する画質劣化を含んでいる。
ｂ値＝５００に関するＦＦＴ再構成画像が生成された場合、処理回路１１は、入力選択機能１１３を実行する。図１８に示すように、入力選択機能１１３において処理回路１１は、完全収集によるｂ値＝０に関するＦＦＴ再構成画像を補助入力画像として選択し、間引収集によるｂ値＝５００に関するＦＦＴ再構成画像を処理対象入力画像として選択する。当該処理対象入力画像は、間引収集に基づく画像であるので、完全収集に基づく補助入力画像に比してデータが間引かれている。
次に処理回路１１は、順伝播機能１１４を実行する。順伝播機能１１４において処理回路１１は、まず、メモリ１３から、間引収集によるｂ値＝５００に関するＦＦＴ再構成画像を処理対象入力画像とし、完全収集によるｂ値＝０に関するＦＦＴ再構成画像を補助入力画像とし、ｂ値＝５００に関するＤＮＮ再構成画像を処理対象出力画像とする学習済みＤＮＮ（Ｆｏｒｂ＝５００）を読み出す。次に処理回路１１は、間引収集によるｂ値＝５００に関するＦＦＴ再構成画像を、読み出した学習済みＤＮＮ（Ｆｏｒｂ＝５００）の入力層９１の処理対象範囲９２１に入力し、完全収集によるｂ値＝０に関するＦＦＴ再構成画像を補助範囲９２２に入力する。そして処理回路１１は、間引収集によるｂ値＝５００に関するＦＦＴ再構成画像と完全収集によるｂ値＝０に関するＦＦＴ再構成画像とを学習済みＤＮＮ（Ｆｏｒｂ＝５００）に順伝播を行う。これにより、ｂ値の上昇及び間引収集に伴う画質劣化が低減された、ｂ値＝５００に関するＤＮＮ再構成画像が生成される。
また、ステップＳＰ２が行われると処理回路１１は、撮像制御機能１１１を実行して架台２０にＴ１Ｗ収集が行われる（ステップＳＰ３）。ステップＳＰ３においても、撮像時間の短縮のため、ｋ空間データの間引収集（スパース収集）が行われる。また、ステップＳＰ３とステップＳＰ１とにおける撮像部位又はスライス位置は同一である。ｋ空間データが収集されると処理回路１１は、通常復元機能１１２を実行する。通常復元機能１１２において処理回路１１は、ステップＳＰ３において収集されたｋ空間データにＦＦＴを施してＴ１Ｗ画像を生成する。生成されたＴ１Ｗ画像は、間引収集されたｋ空間データから再構成されているので、画質劣化を含んでいる。
Ｔ１Ｗに関するＦＦＴ再構成画像が生成された場合、処理回路１１は、入力選択機能１１３を実行する。図１８に示すように、入力選択機能１１３において処理回路１１は、完全収集によるｂ値＝０に関するＦＦＴ再構成画像を補助入力画像として選択し、間引収集によるＴ１Ｗに関するＦＦＴ再構成画像を処理対象入力画像として選択する。
次に処理回路１１は、順伝播機能１１４を実行する。順伝播機能１１４において処理回路１１は、まず、メモリ１３から、間引収集によるＴ１Ｗに関するＦＦＴ再構成画像を処理対象入力画像とし、完全収集によるｂ値＝０に関するＦＦＴ再構成画像を補助入力画像とし、Ｔ１Ｗに関するＤＮＮ再構成画像を処理対象出力画像とする学習済みＤＮＮ（ＦｏｒＴ１Ｗ）を読み出す。次に処理回路１１は、間引収集によるＴ１Ｗに関するＦＦＴ再構成画像を、学習済みＤＮＮ（ＦｏｒＴ１Ｗ）の入力層９１の処理対象範囲９２１に入力し、完全収集によるｂ値＝０に関するＦＦＴ再構成画像を補助範囲９２２に入力する。そして処理回路１１は、間引収集によるＴ１Ｗに関するＦＦＴ再構成画像と完全収集によるｂ値＝０に関するＦＦＴ再構成画像とを学習済みＤＮＮ（ＦｏｒＴ１Ｗ）に順伝播する。これにより、間引収集に伴う画質劣化が低減した、Ｔ１Ｗに関するＤＮＮ再構成画像が生成される。
上記の通り、応用例１によれば、磁気共鳴イメージングに関する検査の実行により収集される一連のＭＲ画像の中から処理対象入力画像と補助入力画像とが選択される。具体的には、検査のうちの１ステップ目は完全収集を行い、２ステップ目以降は間引収集を行う。完全収集に基づくＭＲ画像を補助入力画像とし、間引収集に基づく各ＭＲ画像を処理対象入力画像として学習済みＤＮＮの順伝播が行われる。これにより、検査時間を短縮しつつ、間引収集に基づく高精細のＭＲ画像を生成及び表示することができる。また、間引収集を行っても高画質のＭＲ画像を生成することが可能になるので、ｋ空間データの間引き率を更に上昇させ、検査時間を更に短縮することも可能になる。また、応用例１によれば、比較的大きいｂ値を用いた撮像による画質劣化等の各収集シーケンス固有の画質劣化も、主入力データと補助入力データとの２入力データを用いた学習済みＤＮＮにより低減することができる。
次に、磁気共鳴イメージングの動作撮像への応用について説明する。磁気共鳴イメージングにおいて動画撮像は、如何なる種別のｋ空間充填軌跡でも実行可能であるが、以下の例においては、比較的時間分解能に優れたラディアルスキャンに基づく動画撮像であるとする。ＭＲ画像は２次元画像であっても３次元画像であってもよい。ラディアルスキャンに基づく３次元画像の動画撮像として、例えば、３次元ラディアルスキャンやスタック・オブ・スターズが適用可能である。
処理回路１１は、撮像制御機能１１１の実現により、シーケンス制御回路２９－１を制御して被検体Ｐに動画撮像を実行する。動画撮像において処理回路１１は、時系列の複数フレームのｋ空間データを収集する。通常復元機能１１２の実現により、処理回路１１は、時系列の複数フレームのｋ空間データに基づいて時系列の複数フレームのＭＲ画像を即時的に生成する。ＭＲ画像の再構成法は、如何なる方法でも構わないが、ＭＲ画像生成に関する即応性を高めるため、処理時間の短い再構成法が用いられるとよい。このような再構成法として、例えば、ジャクソン法やグリッディング法、ＡＵＴＯＭＡＰ（Bo Zhu et al. Nature 22 March 2018, doi:10.1038/nature25988）を用いた再構成法を用いることが可能である。ラディアルスキャンでは、ｋ空間データにおいてサンプル点が非等間隔で配列される。処理回路１１は、ジャクソン法により、非等間隔のｋ空間データを等間隔のｋ空間データに復元する。そして処理回路１１は、等間隔のｋ空間データにＦＦＴを適用してＭＲ画像を生成する。
入力選択機能１１３の実現により、処理回路１１は、時系列の複数フレームのＭＲ画像から処理対象入力画像と補助入力画像とを選択する。なお、時系列の複数フレームのｋ空間データ又はＭＲ画像は、共通パラメータがスライス位置、ｋ空間充填軌跡の種別（ラディアルスキャン）及び時間分解能であり、個別パラメータが収集時刻又はフレームであるといえる。例えば、処理回路１１は、最新フレームのＭＲ画像を処理対象入力画像として選択し、最新フレームよりも所定フレーム前のＭＲ画像を補助入力画像として選択する。所定フレームについては、最新フレームの１フレーム前のフレームでもよいし、２フレーム以上前のフレームでもよく、特に限定されない。
順伝播機能１１４の実現により、処理回路１１は、選択された処理対象入力画像（最新フレームのＭＲ画像）と補助入力画像（過去フレームのＭＲ画像）とを、画像のデノイズ用の学習済みＤＮＮ９０に入力し、処理対象出力画像（最新フレームのＤＮＮ再構成画像）を即時的に出力する。最新フレームのＤＮＮ再構成画像は、表示制御機能１１６の実現により、ディスプレイ１９に表示される。処理回路１１は、最新フレームのＭＲ画像が生成される毎に入力選択機能１１３と順伝播機能１１４とを実行し、最新フレームのＤＮＮ再構成画像を生成し、表示制御機能１１６の実現により、ディスプレイ１９に表示する。これにより、ＤＮＮ再構成画像についても即時的に動画表示することができる。
なお、処理回路１１は、画像のデノイズ用の学習済みＤＮＮ９０を用いるものとしたが、ｋ空間データのデノイズ用の学習済みＤＮＮ９０を用いても良い。この場合、処理回路１１は、入力選択機能１１３の実現により、時系列の複数フレームのｋ空間データから処理対象入力ｋ空間データと補助入力ｋ空間データとを選択する。順伝播機能１１４の実現により、処理回路１１は、選択された処理対象入力ｋ空間データ（最新フレームのｋ空間データ）と補助入力ｋ空間データ（過去フレームのｋ空間データ）とを、ｋ空間データのデノイズ用の学習済みＤＮＮ９０に入力し、処理対象出力ｋ空間データ（最新フレームのＤＮＮｋ空間データ）を即時的に出力する。その後、処理回路１１は、通常復元機能１１２の実現により、最新フレームのＤＮＮｋ空間データにＦＦＴ等を施してＤＮＮ再構成画像を生成し、表示制御機能１１６の実現により、ＤＮＮ再構成画像を即時的に動画表示する。
応用例２：Ｘ線コンピュータ断層撮影検査
Ｘ線コンピュータ断層撮影装置検査は、Ｘ線コンピュータ断層撮影装置により行われる。応用例２において医用撮像装置３はＸ線コンピュータ断層撮影装置のＣＴ架台であるとする。
図１９は、Ｘ線コンピュータ断層撮影装置９－２の構成を示す図である。なお、図１９には説明の都合のため複数のＣＴ架台３－２が描画されているが、典型的にはＸ線コンピュータ断層撮影装置９－２が装備する架台３－２は１台である。
図１９に示すように、Ｘ線コンピュータ断層撮影装置９－２は、架台３－２、寝台３０－２及び医用データ処理装置（コンソール）１－２を有する。架台３－２は、被検体ＰをＸ線ＣＴ撮影するための構成を有するスキャン装置である。寝台３０－２は、Ｘ線ＣＴ撮影の対象となる被検体Ｐを載置し、被検体Ｐを位置決めするための搬送装置である。医用データ処理装置１－２は、架台３－２を制御するコンピュータである。例えば、架台３－２及び寝台３０－２は検査室に設置され、医用データ処理装置１－２は検査室に隣接する制御室に設置される。架台３－２、寝台３０－２及び医用データ処理装置１－２は互いに通信可能に有線または無線で接続されている。
図１９に示すように、架台３－２は、Ｘ線管２１－２、Ｘ線検出器１２－２、回転フレーム１３－２、Ｘ線高電圧装置２４－２、制御装置２５－２、ウェッジフィルタ２６－２、コリメータ２７－２及びデータ収集回路（ＤＡＳ：Data Acquisition System）２８－２を有する。
Ｘ線管２１－２は、Ｘ線を発生する。具体的には、Ｘ線管２１－２は、熱電子を発生する陰極と、陰極から飛翔する熱電子を受けてＸ線を発生する陽極と、陰極と陽極とを保持する真空管とを含む。Ｘ線管２１－２は、高圧ケーブルを介してＸ線高電圧装置２４－２に接続されている。陰極には、Ｘ線高電圧装置２４－２によりフィラメント電流が供給される。フィラメント電流の供給により陰極から熱電子が発生する。陰極と陽極との間には、Ｘ線高電圧装置２４－２により管電圧が印加される。管電圧の印加により陰極から陽極に向けて熱電子が飛翔して陽極に衝突し、Ｘ線が発生する。発生されたＸ線は、被検体Ｐに照射される。陰極から陽極に向けて熱電子が飛翔することにより管電流が流れる。
Ｘ線検出器２２－２は、Ｘ線管２１－２から発生され被検体Ｐを通過したＸ線を検出し、検出されたＸ線の線量に対応した電気信号をＤＡＳ２８－２に出力する。Ｘ線検出器２２－２は、チャネル方向に複数のＸ線検出素子が配列されたＸ線検出素子列がスライス方向（列方向）に複数配列された構造を有する。Ｘ線検出器２２－２は、例えば、グリッド、シンチレータアレイ及び光センサアレイを有する間接変換型の検出器である。シンチレータアレイは、複数のシンチレータを有する。シンチレータは、入射Ｘ線量に応じた光量の光を出力する。グリッドは、シンチレータアレイのＸ線入射面側に配置され、散乱Ｘ線を吸収するＸ線遮蔽板を有する。なお、グリッドは、コリメータ（１次元コリメータ又は２次元コリメータ）と呼ばれることもある。光センサアレイは、シンチレータからの光の光量に応じた電気信号に変換する。光センサとしては、例えば、フォトダイオードが用いられる。
回転フレーム２３－２は、Ｘ線管２１－２とＸ線検出器２２－２とを回転軸Ｚ回りに回転可能に支持する円環状のフレームである。具体的には、回転フレーム２３－２は、Ｘ線管２１－２とＸ線検出器２２－２とを対向支持する。回転フレーム２３－２は、固定フレーム（図示せず）に回転軸Ｚ回りに回転可能に支持される。制御装置２５－２により回転フレーム２３－２が回転軸Ｚ回りに回転することによりＸ線管２１－２とＸ線検出器２２－２とを回転軸Ｚ回りに回転させる。回転フレーム２３－２の開口部２９－２には、画像視野（ＦＯＶ：Field Of View）が設定される。
なお、本実施形態では、非チルト状態での回転フレーム２３－２の回転軸又は寝台３０－２の天板３３－２の長手方向をＺ方向、Ｚ方向に直交し床面に対し水平である方向をＸ方向、Ｚ方向に直交し床面に対し垂直である方向をＹ方向と定義する。
Ｘ線高電圧装置２４－２は、高電圧発生装置とＸ線制御装置とを有する。高電圧発生装置は、変圧器（トランス）及び整流器等の電気回路を有し、Ｘ線管２１－２に印加する高電圧及びＸ線管２１－２に供給するフィラメント電流を発生する。Ｘ線制御装置は、Ｘ線管２１－２に印加する高電圧とＸ線管２１－２に供給フィラメント電流とを制御する。高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であっても構わない。Ｘ線高電圧装置２４－２は、架台３－２内の回転フレーム２３－２に設けられてもよいし、架台３－２内の固定フレーム（図示しない）に設けられても構わない。
ウェッジフィルタ２６－２は、被検体Ｐに照射されるＸ線の線量を調節する。具体的には、ウェッジ２６－２は、Ｘ線管１１から被検体Ｐへ照射されるＸ線の線量が予め定められた分布になるようにＸ線を減衰する。例えば、ウェッジ２６－２としては、アルミニウム等の金属が加工されることにより形成された金属フィルタが用いられる。ウェッジフィルタ２６－２は、所定のターゲット角度や所定の厚みを有するように加工される。なおウェッジフィルタ２６－２はボウタイフィルタ（bow-tie filter）とも呼ばれる。
コリメータ２７－２は、ウェッジフィルタ２６－２を透過したＸ線の照射範囲を限定する。コリメータ２７－２は、Ｘ線を遮蔽する複数の鉛板をスライド可能に支持し、複数の鉛板により形成されるスリットの形態を調節する。なお、コリメータ２７－２は、Ｘ線絞りとも呼ばれる。
ＤＡＳ２８－２は、Ｘ線検出器２２－２により検出されたＸ線の線量に応じた電気信号をＸ線検出器２２－２から読み出し、読み出した電気信号を増幅し、ビュー期間に亘り電気信号を積分することにより当該ビュー期間に亘るＸ線の線量に応じたデジタル値を有する検出データを収集する。検出データは、投影データとも呼ばれる。ＤＡＳ２８－２は、例えば、投影データを生成可能な回路素子を搭載したＡＳＩＣにより実現される。ＤＡＳ２８－２により生成された投影データ（検出データ）は、回転フレーム１３に設けられた発光ダイオード（ＬＥＤ）を有する送信機から光通信によって架台３－２の非回転部（例えば、固定フレーム）に設けられた発光ダイオード（ＬＥＤ）を有する受信機に送信され、受信機から医用データ処理装置３－２に伝送される。なお、回転フレーム２３－２から架台３－２の非回転部への投影データの送信方式は、前述の光通信に限定されず、非接触型のデータ伝送であれば如何なる方式であってもよい。
寝台３０－２は、基台３５－２及び天板３３－２を備える。基台３５－２は、床面に設置される。基台３５－２は、支持フレームを、床面に対して垂直方向（Ｙ方向）に移動可能に支持する構造体である。支持フレームは、基台３５－２の上部に設けられるフレームである。支持フレームは、天板３３－２を中心軸Ｚに沿ってスライド可能に支持する。天板３３－２は、被検体Ｐが載置される柔軟性を有する板状構造体である。寝台駆動装置は、寝台３０－２に収容される。寝台駆動装置は、被検体Ｐが載置された天板３３－２を移動させるための動力を発生するモータ又はアクチュエータである。寝台駆動装置は、制御装置２５－２又は医用データ処理装置１－２等による制御に従い作動する。
制御装置２５－２は、処理回路１１による撮影制御機能１１１に従いＸ線ＣＴ撮影を実行するためにＸ線高電圧装置２４－２、ＤＡＳ２８－２及び寝台３０－２を制御する。制御装置２５－２は、ＣＰＵ等を有する処理回路と、モータ及びアクチュエータ等の駆動装置とを有する。処理回路は、ハードウェア資源として、ＣＰＵ等のプロセッサとＲＯＭやＲＡＭ等のメモリとを有する。制御装置２５－２は、例えば、医用データ処理装置１－２、架台３－２及び寝台３０－２等に設けられた入力インタフェース１５からの操作信号に従い架台３－２及び寝台３０－２を制御する。例えば、制御装置２５－２は、回転フレーム２３－２の回転、架台３－２のチルト、天板３３－２及び寝台３０－２の動作を制御する。
医用データ処理装置（コンソール）１－２は、処理回路１１、メモリ１３、入力インタフェース１５、通信インタフェース１７及びディスプレイ１９を有するコンピュータである。医用データ処理装置１－２は上記医用データ処理装置１と同等であるので、説明を省略する。
図２０は、応用例２に係る医用データ処理装置１－２の処理を模式的に示す図である。図２０に示す検査は、複数周に亘りＸ線ＣＴ撮像を繰り返す時系列撮像である。１周目は、高線量のＸ線によるＸ線ＣＴ撮像が行われる（ステップＳＱ１）。処理回路１１は、ステップＳＱ１において収集された投影データにＦＢＰを施して１周目に関するＦＢＰ再構成画像を生成する。
図２０に示すように、２周目以降は、低線量のＸ線によるＸ線ＣＴ撮像が繰り返し行われる（ステップＳＱ２及びＳＱ３）。処理回路１１は、２周目の投影データが収集された場合、当該投影データにＦＢＰを施して２周目に関するＦＢＰ再構成画像を生成する。低線量のＸ線ＣＴ撮像は、１周目に比して管電流を低下させることにより行われてもよいし、Ｘ線を間欠的に曝射することにより行われてもよいし、回転フレームを高速に回転させることにより行われてもよいし、あるいは前述の低管電流、間欠Ｘ線曝射及び高速回転のうちの少なくとも１つが組み合わされてもよい。２周目以降のＦＢＰ再構成画像は、低線量のＸ線ＣＴ撮像により収集されているので、１周目のＦＢＰ再構成画像に比して画質劣化を含んでいる。
２周目に関するＦＢＰ再構成画像が生成された場合、処理回路１１は、入力選択機能１１３を実行する。図２０に示すように、入力選択機能１１３において処理回路１１は、高線量による１周目に関するＦＢＰ再構成画像を補助入力画像として選択し、低線量による２周目に関するＦＢＰ再構成画像を処理対象入力画像として選択する。
次に処理回路１１は、順伝播機能１１４を実行する。順伝播機能１１４において処理回路１１は、まず、メモリ１３から、低線量によるＦＢＰ再構成画像を処理対象入力画像とし、高線量によるＦＢＰ再構成画像を補助入力画像とし、高画質のＦＢＰ再構成画像を処理対象出力画像とする学習済みＤＮＮ（Ｆｏｒ低線量）を読み出す。次に処理回路１１は、低線量による２周目に関するＦＢＰ再構成画像を、学習済みＤＮＮ（Ｆｏｒ低線量）の入力層９１の処理対象範囲９２１に入力し、高線量による１周目に関するＦＢＰ再構成画像を補助範囲９２２に入力する。そして処理回路１１は、低線量による２周目に関するＦＢＰ再構成画像と高線量による１周目に関するＦＢＰ再構成画像とを学習済みＤＮＮ（Ｆｏｒ低線量）に順伝播する。これにより、低線量に起因する画質劣化が低減された、２周目に関するＤＮＮ再構成画像が生成される。
同様に、３周目の投影データが収集された場合、処理回路１１は、当該投影データにＦＢＰを施して３周目に関するＦＢＰ再構成画像を生成する。次に処理回路１１は、入力選択機能１１３を実行する。図２０に示すように、入力選択機能１１３において処理回路１１は、高線量による１周目に関するＦＢＰ再構成画像を補助入力画像として選択し、低線量による３周目に関するＦＢＰ再構成画像を処理対象入力画像として選択する。
次に処理回路１１は、順伝播機能１１４を実行する。順伝播機能１１４において処理回路１１は、低線量による３周目に関するＦＢＰ再構成画像を、学習済みＤＮＮの入力層９１の処理対象範囲９２１に入力し、高線量による１周目に関するＦＢＰ再構成画像を学習済みＤＮＮの入力層９１の補助範囲９２２に入力する。そして処理回路１１は、低線量による３周目に関するＦＢＰ再構成画像と高線量による１周目に関するＦＢＰ再構成画像とを学習済みＤＮＮに順伝播する。これにより、低線量に起因する画質劣化が低減された、３周目に関するＤＮＮ再構成画像が生成される。
上記の通り、応用例２によれば、Ｘ線コンピュータ断層撮影に関する検査の実行により収集される一連のＣＴ画像の中から処理対象入力画像と補助入力画像とが選択される。具体的には、１周目は高線量のＸ線ＣＴ撮像を行い、２周目以降は低線量のＸ線ＣＴ撮像を行う。高線量のＣＴ画像を補助入力画像とし、低線量の各ＣＴ画像を処理対象入力画像として学習済みＤＮＮの順伝播が行われる。これにより、被曝量を低減しつつ、低線量に伴う画質劣化の少ないＣＴ画像を生成及び表示することができる。また、低線量のＸ線ＣＴ撮像でも高画質のＣＴ画像を生成することができるので、Ｘ線線量を更に低下させることも可能になる。
応用例３：ＰＥＴ／ＣＴ検査
ＰＥＴ／ＣＴ検査は、ＰＥＴ／ＣＴ装置により行われる。応用例３において医用撮像装置３はＰＥＴ／ＣＴ装置の架台であるとする。この場合、医用撮像装置３は、Ｘ線ＣＴ撮像を行うＣＴ架台と、ＰＥＴ撮像を行うＰＥＴ架台とを装備している。
図２１は、ＰＥＴ／ＣＴ装置９－３の構成を示す図である。図２１に示すように、ＰＥＴ／ＣＴ装置９－３は、ＰＥＴガントリ２０－３、ＣＴガントリ３０－３、寝台４０－３及び医用データ処理装置１－３を有する。典型的には、ＰＥＴガントリ２０－３、ＣＴガントリ３０－３及び寝台４０－３は、共通の検査室に設置され、医用データ処理装置１－３は、検査室に隣接する制御室に設置される。ＰＥＴガントリ２０－３は、被検体ＰをＰＥＴ撮像する撮像装置である。ＣＴガントリ３０－３は、被検体ＰをＸ線ＣＴ撮像する撮像装置である。寝台４０－３は、撮像対象の被検体Ｐを載置する天板４３－３を移動自在に支持する。医用データ処理装置１－３は、ＰＥＴガントリ１０、ＣＴガントリ３０及び寝台５０を制御するコンピュータである。
図２１に示すように、ＰＥＴガントリ２０－３は、検出器リング２１－３、信号処理回路２３－３及び同時計数回路２５－３を有する。
検出器リング２１－３は、中心軸Ｚ回りの円周上に配列された複数のガンマ線検出器２７－３を有する。検出器リング２１－３の開口部には、画像視野（ＦＯＶ）が設定される。画像視野に被検体Ｐの撮像部位が含まれるように被検体Ｐが位置決めされる。被検体Ｐには陽電子放出核種により標識された薬剤が投与される。陽電子放出核種から放出された陽電子は周囲の電子と対消滅し、一対の対消滅ガンマ線が発生される。ガンマ線検出器２７－３は、被検体Ｐの体内から放出された対消滅ガンマ線を検出し、検出された対消滅ガンマ線の光量に応じた電気信号を生成する。例えば、ガンマ線検出器２７－３は、複数のシンチレータと複数の光電子増倍管とを有する。シンチレータは、被検体Ｐ内の放射性同位元素に由来する対消滅ガンマ線を受けて光を発生する。光電子増倍管は、光の光量に応じた電気信号を発生する。発生された電気信号は、信号処理回路２３－３に供給される。
信号処理回路２３－３は、ガンマ線検出器２７－３の電気信号に基づいてシングルイベントデータを生成する。具体的には、信号処理回路２３－３は、検出時刻計測処理、位置計算処理、及びエネルギー計算処理を施す。信号処理回路２３－３は、検出時刻計測処理、位置計算処理、及びエネルギー計算処理を実行可能に構成されたプロセッサにより実現される。
検出時刻計測処理において信号処理回路２３－３は、ガンマ線検出器２７－３によるガンマ線の検出時刻を計測する。具体的には、信号処理回路２３－３は、ガンマ線検出器２７－３からの電気信号の波高値をモニタリングし、波高値が予め設定された閾値を超える時刻を検出時刻として計測する。換言すれば、信号処理回路２３－３は、波高値が閾値を超えたことを検知することにより電気的に消滅ガンマ線を検出する。位置計算処理において信号処理回路２３－３は、ガンマ線検出器２７－３からの電気信号に基づいて対消滅ガンマ線の入射位置を計算する。消滅ガンマ線の入射位置は、消滅ガンマ線が入射したシンチレータの位置座標に対応する。エネルギー計算処理において信号処理回路２３－３は、ガンマ線検出器１７からの電気信号に基づいて、検出した対消滅ガンマ線のエネルギー値を計算する。シングルイベントに関する検出時刻のデータと位置座標のデータとエネルギー値のデータとは関連付けられる。シングルイベントに関するエネルギー値のデータと位置座標のデータと検出時刻のデータとの組合せは、シングルイベントデータと呼ばれている。シングルイベントデータは、消滅ガンマ線が検出される毎に次々に生成される。生成されたシングルイベントデータは、同時計数回路２５－３に供給される。
同時計数回路２５－３は、信号処理回路２３－３からのシングルイベントデータに同時計数処理を施す。ハードウェア資源としては、同時計数回路２５－３は、同時計数処理を実行可能に構成されたプロセッサにより実現される。同時計数処理において同時計数回路２５－３は、繰り返し供給されるシングルイベントデータの中から、予め定められた時間枠内に収まる２つのシングルイベントに関するシングルイベントデータを繰り返し特定する。この対のシングルイベントは、同一の対消滅点から発生された対消滅ガンマ線に由来すると推定される。対のシングルイベントは、まとめて同時計数イベントと呼ばれる。この対消滅ガンマ線を検出した対のガンマ線検出器２７－３（より詳細にはシンチレータ）を結ぶ線は、ＬＯＲ（line of response）と呼ばれる。ＬＯＲを構成する対のイベントに関するイベントデータは、同時計数イベントデータと呼ばれる。同時計数イベントデータとシングルイベントデータとは、医用データ処理装置１－３に伝送される。なお、同時計数イベントデータとシングルイベントデータとを特に区別しないときはＰＥＴイベントデータと呼ぶことにする。
なお、上記構成において信号処理回路２３－３と同時計数回路２５－３とは、ＰＥＴガントリ２０－３に含まれるとしたが、これに限定されない。例えば、同時計数回路２５－３、又は信号処理回路２３－３と同時計数回路２５－３との双方が、ＰＥＴガントリ２０－３とは別体の装置に含まれてもよい。また、同時計数回路２５－３は、ＰＥＴガントリ２０－３に搭載される複数の信号処理回路２３－３に対して一つ設けられてもよいし、ＰＥＴガントリ２０－３に搭載される複数の信号処理回路２３－３を複数のグループに区分し、各グループに対して一つ設けられてもよい。
図２１に示すように、ＣＴガントリ３０－３は、Ｘ線管３１－３、Ｘ線検出器３２－３、回転フレーム３３－３、Ｘ線高電圧装置３４－３、ＣＴ制御装置３５－３、ウェッジフィルタ３６－３、コリメータ３７－３及びＤＡＳ３８－３を有する。
Ｘ線管３１－３は、Ｘ線を発生する。具体的には、Ｘ線管３１－３は、熱電子を発生する陰極と、陰極から飛翔する熱電子を受けてＸ線を発生する陽極とを保持する真空管を含む。Ｘ線管３１－３は高圧ケーブルを介してＸ線高電圧装置３４－３に接続されている。陰極と陽極との間には、Ｘ線高電圧装置３４－３により管電圧が印加される。管電圧の印加により陰極から陽極に向けて熱電子が飛翔する。陰極から陽極に向けて熱電子が飛翔することにより管電流が流れる。Ｘ線高電圧装置３４－３からの高電圧の印加及びフィラメント電流の供給により、陰極から陽極に向けて熱電子が飛翔し、熱電子が陽極に衝突することによりＸ線が発生される。
Ｘ線検出器３２－３は、Ｘ線管３１－３から発生され被検体Ｐを通過したＸ線を検出し、検出されたＸ線の線量に対応した電気信号をＤＡＳ３８－３へと出力する。Ｘ線検出器３２－３は、チャネル方向に複数のＸ線検出素子が配列されたＸ線検出素子列がスライス方向（列方向又はｒｏｗ方向）に複数配列された構造を有する。Ｘ線検出器３２－３は、例えば、グリッド、シンチレータアレイ及び光センサアレイを有する間接変換型の検出器である。シンチレータアレイは、複数のシンチレータを有する。シンチレータは、入射Ｘ線量に応じた光量の光を出力する。グリッドは、シンチレータアレイのＸ線入射面側に配置され、散乱Ｘ線を吸収するＸ線遮蔽板を有する。光センサアレイは、シンチレータからの光の光量に応じた電気信号に変換する。光センサとしては、例えば、フォトダイオード又は光電子増倍管が用いられる。なお、Ｘ線検出器３２は、入射Ｘ線を電気信号に変換する半導体素子を有する直接変換型の検出器（半導体検出器）であっても構わない。
回転フレーム３３－３は、Ｘ線管３１－３とＸ線検出器３２－３とを回転軸Ｚ回りに回転可能に支持する円環状のフレームである。具体的には、回転フレーム３３－３は、Ｘ線管３１－３とＸ線検出器３２－３とを対向支持する。回転フレーム３３－３は、固定フレーム（図示せず）に回転軸Ｚ回りに回転可能に支持される。ＣＴ制御装置３５－３により回転フレーム３３－３が回転軸Ｚ回りに回転することによりＸ線管３１－３とＸ線検出器３２－３とを回転軸Ｚ回りに回転させる。回転フレーム３３－３は、ＣＴ制御装置３５－３の駆動機構からの動力を受けて回転軸Ｚ回りに一定の角速度で回転する。回転フレーム３３－３の開口部には、画像視野（ＦＯＶ）が設定される。
なお、本実施形態では、非チルト状態での回転フレーム３３－３の回転軸又は寝台４０－３の天板４３－３の長手方向をＺ軸方向、Ｚ軸方向に直交し、床面に対し水平である軸方向をＸ軸方向、Ｚ軸方向に直交し、床面に対し垂直である軸方向をＹ軸方向と定義する。
Ｘ線高電圧装置３４－３は、変圧器（トランス）及び整流器等の電気回路を有し、Ｘ線管３１－３に印加する高電圧及びＸ線管３１－３に供給するフィラメント電流を発生する高電圧発生装置と、Ｘ線管３１－３が照射するＸ線に応じた出力電圧の制御を行うＸ線制御装置とを有する。高電圧発生装置は、変圧器方式であってもよいし、インバータ方式であっても構わない。Ｘ線高電圧装置３４－３は、回転フレーム３３－３に設けられてもよいし、ＣＴガントリ３０－３内の固定フレーム（図示しない）に設けられても構わない。
ウェッジフィルタ３６－３は、被検体Ｐに照射されるＸ線の線量を調節する。具体的には、ウェッジフィルタ３６－３は、Ｘ線管３１－３から被検体Ｐへ照射されるＸ線の線量が予め定められた分布になるようにＸ線を減衰する。例えば、ウェッジフィルタ３６－３としては、アルミニウム等の金属板が用いられる。ウェッジフィルタ３６－３はボウタイフィルタとも呼ばれる。
コリメータ３７－３は、ウェッジフィルタ３６－３を透過したＸ線の照射範囲を限定する。コリメータ３７－３は、Ｘ線を遮蔽する複数の鉛板をスライド可能に支持し、複数の鉛板により形成されるスリットの形態を調節する。
ＤＡＳ３８－３は、Ｘ線検出器３２－３により検出されたＸ線の線量に応じた電気信号をＸ線検出器３２から読み出し、読み出した電気信号を可変の増幅率で増幅し、ビュー期間に亘り電気信号を積分することにより当該ビュー期間に亘るＸ線の線量に応じたデジタル値を有するＣＴ生データを収集する。ＤＡＳ３８－３は、例えば、ＣＴ生データを生成可能な回路素子を搭載したＡＳＩＣにより実現される。ＣＴ生データは、非接触データ伝送装置等を介して医用データ処理装置１－３に伝送される。
ＣＴ制御装置３５－３は、医用データ処理装置１－３の処理回路１１の撮像制御機能１１１に従いＸ線ＣＴ撮像を実行するためにＸ線高電圧装置３４－３やＤＡＳ３８－３を制御する。ＣＴ制御装置３５－３は、ＣＰＵ等を有する処理回路と、モータ及びアクチュエータ等の駆動機構とを有する。処理回路１１は、ハードウェア資源として、ＣＰＵやＭＰＵ等のプロセッサとＲＯＭやＲＡＭ等のメモリとを有する。
なお、ＣＴガントリ３０－３は、Ｘ線発生部とＸ線検出部とが一体として被検体の周囲を回転するRotate/Rotate-Type（第３世代ＣＴ）、リング状にアレイされた多数のＸ線検出素子が固定され、Ｘ線発生部のみが被検体の周囲を回転するStationary/Rotate-Type（第４世代ＣＴ）等の様々なタイプがあり、いずれのタイプでも一実施形態へ適用可能である。
図２１に示すように、寝台４０－３は、スキャン対象の被検体Ｐを載置し、載置された被検体を移動させる。寝台４０－３は、ＰＥＴガントリ２０－３とＣＴガントリ３０－３とで共有される。
寝台４０－３は、基台４５－３及び天板４３－３を備える。基台４５－３は、床面に設置される。基台４５－３は、支持フレームを、床面に対して垂直方向（Ｙ軸方向）に移動可能に支持する筐体である。支持フレームは、基台４５－３の上部に設けられるフレームである。支持フレームは、天板４３－３を中心軸Ｚに沿ってスライド可能に支持する。天板４３－３は、被検体Ｐが載置される柔軟性を有する板である。寝台駆動装置は、寝台４０－３の筐体内に収容される。寝台駆動装置は、被検体Ｐが載置された支持フレームと天板４３－３とを移動させるための動力を発生するモータ又はアクチュエータである。寝台駆動装置は、医用データ処理装置１－３等による制御に従い作動する。
ＰＥＴガントリ２０－３とＣＴガントリ３０－３とは、ＰＥＴガントリ２０－３の開口の中心軸ＺとＣＴガントリ３０－３の開口の中心軸Ｚとが略一致するように配置される。天板４３－３の長軸がＰＥＴガントリ２０－３及びＣＴガントリ３０－３の開口の中心軸Ｚに平行するように寝台４０－３が配置される。寝台４０－３に近い方からＣＴガントリ３０－３及びＰＥＴガントリ２０－３の順番に設置される。
医用データ処理装置（コンソール）１－３は、処理回路１１、メモリ１３、入力インタフェース１５、通信インタフェース１７及びディスプレイ１９を有するコンピュータである。医用データ処理装置１－３は上記医用データ処理装置１と同等であるので、説明を省略する。
図２２は、応用例３に係る医用データ処理装置１の処理の典型的な流れを示す図である。図２３は、応用例３に係る医用データ処理装置１の処理を模式的に示す図である。
図２２及び図２３に示すように、まず処理回路１１は、撮像制御機能１１１を実行する（ステップＳＣ１）。ステップＳＣ１において処理回路１１は、医用撮像装置３を制御して被検体に対しＸ線ＣＴ撮像を実行する。医用撮像装置３により収集された被検体に関する投影データは、医用データ処理装置１に伝送される。
ステップＳＣ１が行われると処理回路１１は、通常復元機能１１２を実行する（ステップＳＣ２）。ステップＳＣ２において処理回路１１は、ステップＳＣ１において収集された投影データにＦＢＰ等の解析学的画像再構成法や逐次近似画像再構成法等を施して、被検体に関するＣＴ画像を再構成する。
ステップＳＣ２が行われると処理回路１１は、撮像制御機能１１１を実行する（ステップＳＣ３）。ステップＳＣ３において処理回路１１は、医用撮像装置３を制御して被検体に対しＰＥＴ撮像を実行する。医用撮像装置３により収集された被検体に関するコインシデンスデータは、医用データ処理装置１に伝送される。
ステップＳＣ３が行われると処理回路１１は、通常復元機能１１２を実行する（ステップＳＣ４）。ステップＳＣ４において処理回路１１は、ステップＳＣ３において収集されたコインシデンスデータに、ＦＢＰ等の解析学的画像再構成法や逐次近似画像再構成法等を施して被検体に関するＰＥＴ画像を再構成する。ＰＥＴ画像は、ＰＥＴ撮像によるガンマ線検出効率がＸ線ＣＴ撮像によるＸ線検出効率に比して低いこと等のため、ＣＴ画像に比して画質が劣化している。
ステップＳＣ２及びＳＣ４が行われると処理回路１１は、画像処理機能１１５を実行する（ステップＳＣ５）。ステップＳＣ５において処理回路１１は、ステップＳＢ２において再構成されたＣＴ画像とステップＳＣ４において再構成されたＰＥＴ画像とを位置合わせする。位置合わせは、剛体位置合わせや非剛体位置合わせ等の如何なる手法により行われてもよい。
ステップＳＣ５が行われると処理回路１１は、入力選択機能１１３を実行する（ステップＳＣ６）。ステップＳＣ６において処理回路１１は、ステップＳＣ５において位置合わせされたＰＥＴ画像を処理対象入力画像として選択し、ステップＳＣ５において位置合わせされたＣＴ画像を補助入力画像として選択する（ステップＳＣ６）。
ステップＳＣＢ６が行われると処理回路１１は、順伝播機能１１４を実行する（ステップＳＣ７）。ステップＳＣ７において処理回路１１は、ＰＥＴ画像とＣＴ画像とに学習済みＤＮＮを適用して、ＰＥＴ由来のＤＮＮ再構成画像を生成する。具体的には、順伝播機能１１４において処理回路１１は、まず、メモリ１３から、ＰＥＴ画像を処理対象入力画像とし、ＣＴ画像を補助入力画像とし、データ欠損が除去されたＰＥＴ画像を処理対象出力画像とする学習済みＤＮＮ（ＦｏｒＰＥＴ）を読み出す。次に処理回路１１は、ＰＥＴ画像を学習済みＤＮＮ（ＦｏｒＰＥＴ）の入力層９１の処理対象範囲９２１に入力し、ＣＴ画像を補助範囲９２２に入力する。そして処理回路１１は、入力されたＰＥＴ画像とＣＴ画像とを学習済みＤＮＮ（ＦｏｒＰＥＴ）に順伝播する。これにより、ＰＥＴ由来のＤＮＮ再構成画像を生成する。
ステップＳＣ７が行われると処理回路１１は、表示制御機能１１６を実行する（ステップＳＣ８）。ステップＳＣ８において処理回路１１は、ステップＳＣ７において生成されたＰＥＴ由来のＤＮＮ再構成画像とステップＳＣ５において位置合わせされたＣＴ画像とをディスプレイ１９に表示する。例えば、処理回路１１は、ＰＥＴ／ＣＴ由来のＤＮＮ再構成画像とＣＴ画像との合成画像を表示する。
以上により、応用例３に係る医用データ処理装置１－３の処理の説明を終了する。
なお、図２２に示す処理の流れは一例であり、応用例３に係る処理は、図２２に示す流れのみに限定されない。例えば、ステップＳＣ１におけるＸ線ＣＴ撮像とステップＳＣ３におけるＰＥＴ撮像との順番が入れ替えられてもよい。
また、ステップＳＣ５の位置合わせ処理とステップＳＣ６の選択処理との順番が入れ替えられてもよい。また、ステップＳＣ５の位置合わせ処理とステップＳＣ７の順伝播処理とは別個の処理であるとしたが、ステップＳＣ５の位置合わせ処理が学習済みＤＮＮ（ＦｏｒＰＥＴ）に組み込まれてもよい。
上記の通り、応用例３によれば、ＰＥＴ／ＣＴに関する検査の実行により収集されるＰＥＴ画像及びＣＴ画像の中から処理対象入力画像と補助入力画像とが選択される。比較的高画質のＣＴ画像を補助入力画像とし、比較的低画質のＰＥＴ画像を処理対象入力画像として学習済みＤＮＮの順伝播が行われる。これにより、ＣＴ画像を利用して、高画質のＰＥＴ像を生成及び表示することができる。
応用例４：超音波検査
超音波検査は、超音波診断装置により行われる。応用例４において医用撮像装置３は超音波診断装置の超音波プローブであるとする。
図２４は、応用例４に係る超音波診断装置９－４の構成を示す図である。図２４に示すように、超音波診断装置９－４は、超音波プローブ３－４と医用データ処理装置（装置本体）１－４とを有する。
超音波プローブ３－４は、例えば、医用データ処理装置１－４の撮像制御機能１１１に従い、患者等の生体内のスキャン領域について超音波スキャンを実行する。超音波プローブ３－４は、例えば、複数の圧電振動子、整合層及びバッキング材等を有する。本実施形態においては、超音波プローブ３－４は、例えば、所定の方向に沿って配列された複数の超音波振動子を有する。超音波プローブ３－４は、装置本体１－４と着脱自在に接続される。
複数の圧電振動子は、医用データ処理装置１－４が有する超音波送信回路３１－４から供給される駆動信号に従い超音波を発生する。これにより、超音波プローブ３－４から生体へ超音波が送信される。超音波プローブ３－４から生体へ超音波が送信されると、送信された超音波は、生体の体内組織における音響インピーダンスの不連続面で次々と反射され、反射波信号として複数の圧電振動子にて受信される。受信される反射波信号の振幅は、超音波が反射される不連続面における音響インピーダンスの差に依存する。また、送信された超音波パルスが、移動している血流又は放射線吸収性組織スペーサ等の表面で反射された場合の反射波信号は、ドプラ効果により、移動体の超音波送信方向の速度成分に依存して、周波数偏移を受ける。超音波プローブ３－４は、生体からの反射波信号を受信して電気信号に変換する。電気信号は、医用データ処理装置１－４に供給される。
図２４に示される医用データ処理装置１－４は、超音波プローブ３－４により受信された反射波信号に基づいて超音波画像を生成及び表示するコンピュータである。医用データ処理装置１－４は、図２４に示されるように、超音波送信回路３１－４、超音波受信回路３２－４、処理回路１１、メモリ１３、入力インタフェース１５、通信インタフェース１７及びディスプレイ１９を有する。
超音波送信回路３１－４は、超音波プローブ３－４に駆動信号を供給するプロセッサである。超音波送信回路３１－４は、例えば、トリガ発生回路、遅延回路、及びパルサ回路等により実現される。トリガ発生回路は、所定のレート周波数で、送信超音波を形成するためのレートパルスを繰り返し発生する。遅延回路は、超音波プローブ３－４から発生される超音波をビーム状に集束して送信指向性を決定するために必要な圧電振動子毎の遅延時間を、トリガ発生回路が発生する各レートパルスに対し与える。パルサ回路は、レートパルスに基づくタイミングで、超音波プローブ３－４に設けられる複数の超音波振動子へ駆動信号（駆動パルス）を印加する。遅延回路により各レートパルスに対し与える遅延時間を任意に変化させることで、圧電振動子面からの送信方向が任意に調整される。
超音波受信回路３２－４は、超音波プローブ３－４が受信した反射波信号に対して各種処理を施し、受信信号を生成するプロセッサである。超音波受信回路３２－４は、例えば、アンプ回路、Ａ／Ｄ変換器、受信遅延回路及び加算器等により実現される。アンプ回路は、超音波プローブ３－４が受信した反射波信号をチャンネル毎に増幅してゲイン補正処理を行う。Ａ／Ｄ変換器は、ゲイン補正された反射波信号をデジタル信号に変換する。受信遅延回路は、デジタル信号に受信指向性を決定するのに必要な遅延時間を与える。加算器は、遅延時間が与えられた複数のデジタル信号を加算する。加算器の加算処理により、受信指向性に応じた方向からの反射成分が強調された受信信号が発生する。
処理回路１１は、例えば、超音波診断装置１－４の中枢として機能するプロセッサである。処理回路１１は、メモリ１３に記憶されているプログラムを実行することで、当該プログラムに対応する機能を実現する。処理回路１１は、例えば、撮像制御機能１１１、通常復元機能１１２、入力選択機能１１３、順伝播機能１１４、画像処理機能１１５、表示制御機能１１６、Ｂモード処理機能３３２及びドプラモード処理機能３３３を有する。
Ｂモード処理機能３３２において処理回路１１は、超音波受信回路３１－４から受け取った受信信号に基づき、Ｂモードデータを生成する。具体的には、処理回路１１は、例えば、超音波受信回路３１－４から受け取った受信信号に対して包絡線検波処理、及び対数増幅処理等を施し、信号強度が輝度の明るさで表現されるデータ（Ｂモードデータ）を生成する。生成されたＢモードデータは、２次元的な超音波走査線（ラスタ）上のＢモードＲＡＷデータとして不図示のＲＡＷデータメモリに記憶される。
ドプラモード処理機能３３３において処理回路１１は、超音波受信回路３１－４から受け取った受信信号を周波数解析することで、スキャン領域に設定されるＲＯＩ（Region Of Interest：関心領域）内にある血流のドプラ効果に基づく運動情報を抽出したデータ（ドプラデータ）を生成する。具体的には、処理回路１１は、血流の運動情報として、平均速度、平均分散値、平均パワー値等を、複数のサンプル点それぞれで推定したドプラデータを生成する。生成されたドプラデータは、２次元的な超音波走査線上のドプラＲＡＷデータとして不図示のＲＡＷデータメモリに記憶される。
処理回路１１は、ドプラモード処理機能３３３において、カラーフローマッピング（ＣＦＭ：Color Flow Mapping）法と称されるカラードプラ法を実行可能である。ＣＦＭ法では、超音波の送受信が複数の走査線上で複数回行なわれる。処理回路１１は、同一位置のデータ列に対してＭＴＩ（Moving Target Indicator）フィルタを掛けることで、静止している組織又は動きの遅い組織に由来する信号（クラッタ信号）を抑制し、血流に由来する信号を抽出する。そして、処理回路１１は、抽出した信号から血流の速度、分散又はパワー等の情報を推定する。
メモリ１３、入力インタフェース１５、通信インタフェース１７、ディスプレイ１９、撮像制御機能１１１、通常復元機能１１２、入力選択機能１１３、順伝播機能１１４、画像処理機能１１５及び表示制御機能１１６については説明を省略する。
図２５は、応用例４に係る医用データ処理装置１－４の処理を模式的に示す図である。超音波検査において処理回路１１は、時系列の複数フレームの超音波画像を生成する。具体的には、処理回路１１は、撮像制御機能１１により、超音波プローブ３－４を介して超音波撮像を実行し、時系列の複数フレームのエコーデータをリアルタイムで収集する。次に処理回路１１は、Ｂモード処理機能３３２を実行し、時系列の複数フレームのエコーデータに基づいて時系列の複数フレームのＢモードデータを生成する。そして処理回路１１は、通常復元機能１１２を実行し、時系列の複数フレームのＢモードデータに基づいて時系列の複数フレームのＢモード画像ＩＵを生成する。時系列の複数フレームのＢモード画像ＩＵは、ディスプレイ１９に動的に表示される。
図２５に示すように、現時点のフレームは「ｔ」であるとする。現フレームｔにてディスプレイ１９にＢモード画像ＩＵｔが表示される。なお、ｔ－ｎの「ｎ」は現フレームｔからｎ枚前のフレームを示す整数の番号である。ディスプレイ１９に表示されるＢモード画像ＩＵ－ｎは、処理回路１１の通常復元機能１１２により、例えば、スキャンコンバートの技術により生成される。従ってＢモード画像ＩＵ－ｎの画質は比較的粗いといえる。
ユーザは、詳細に観察したいフレームが表示された時点において、入力インタフェース１５を介してフリーズボタン（静止ボタン）を押下する。図２５においては、現フレームｔについてフリーズボタンが押下されたとする。フリーズボタンが押下されたことを契機として処理回路１１は、現フレームｔのＢモード画像ＩＵｔを、ディスプレイ１９に静止画として表示する。
また、フリーズボタンが押下されたことを契機として処理回路１１は、入力選択機能１１３と順伝播機能１１４とを順番に実行する。入力選択機能１１３において処理回路１１は、現フレームｔのＢモード画像ＩＵｔを処理対象入力画像として選択し、現フレームｔよりも過去のフレームｔ－ｎのＢモード画像ＩＵｔ－ｎを補助入力画像として選択する。過去のＢモード画像ＩＵｔ－ｎとしては、例えば、現フレームｔのＢモード画像ＩＵｔに形態が近似していると推定される、現フレームｔの直近の過去のフレームｔ－１のＢモード画像ＩＵｔ－１が選択されるとよい。また、過去のＢモード画像ＩＵｔ－ｎとしては、例えば、現フレームｔのＢモード画像ＩＵｔと同一の呼吸位相又は心位相に属する、過去のフレームのＢモード画像が選択されてもよい。なお、選択される過去のＢモード画像は、現フレームｔよりも未来のＢモード画像が選択されてもよい。以下、補助入力画像として、フレームｔ－１のＢモード画像ＩＵｔ－１が選択されたとする。
次に処理回路１１は、順伝播機能１１４を実行する。順伝播機能１１４において処理回路１１は、現フレームｔのＢモード画像（処理対象入力画像）ＩＵｔと過去のフレームｔ－１のＢモード画像（補助入力画像）ＩＵｔ－１とに学習済みＤＮＮを適用して、現フレームｔのＤＮＮ再構成画像ＩＵ０を生成する。具体的には、処理回路１１は、まず、メモリ１３から、第１のフレームのＢモード画像を処理対象入力画像とし、第２のフレームのＢモード画像を補助入力画像とし、データ欠損部分が復元されたＢモード画像を処理対象出力画像とする学習済みＤＮＮ（Ｆｏｒ超音波画像）を読み出す。次に、処理回路１１は、現フレームｔのＢモード画像ＩＵｔを学習済みＤＮＮ（Ｆｏｒ超音波画像）の入力層９１の処理対象範囲９２１に入力し、過去のフレームｔ－１のＢモード画像ＩＵｔ－１を補助範囲９２２に入力する。そして処理回路１１は、入力されたＢモード画像ＩＵｔとＢモード画像ＩＵｔ－１とを学習済みＤＮＮに順伝播する。これにより、現フレームｔに関し、データ欠損部分が復元されたＢモード画像ＩＵ０を生成することができる。
順伝播機能１１４により生成されたＢモード画像ＩＵ０は、ディスプレイ１９に静止画として表示される。Ｂモード画像ＩＵ０は、Ｂモード画像ＩＵｔに隣り合わせで表示されてもよいし、Ｂモード画像ＩＵｔに置換して表示されてもよい。
再びフリーズボタンが押下されると、処理回路１１は、超音波プローブ３０－４を介して被検体Ｐを超音波撮像することにより、時系列の複数フレームのＢモード画像を生成し、ディスプレイ１０にリアルタイムで表示することができる。
以上により、応用例４に係る医用データ処理装置１－４の処理の説明を終了する。
なお、上記の説明においては、超音波画像はＢモード画像であるとしたが、本実施形態はこれに限定されない。例えば、超音波画像はドプラモード画像であってもよい。
上記の通り、応用例４によれば、超音波検査の実行により収集される超音波画像の中から処理対象入力画像と補助入力画像とが選択される。処理対象入力画像に形態が類似する超音波画像を補助入力画像が選択される。これにより比較的高画質の超音波画像を即時的に生成及び表示することができる。
応用例５：Ｘ線透視検査
Ｘ線透視検査は、Ｘ線診断装置により行われる。応用例５において医用撮像装置３は、Ｘ線管とＸ線検出器とが取り付けられたＣアームであるとする。なお、応用例５は応用例４と同等である。
Ｘ線透視検査において処理回路１１は、Ｃアームを介して、高線量でＸ線撮影された撮影画像と、低線量で連続的にＸ線撮影された透視画像とを生成し、撮影画像と透視画像とをディスプレイ１９に表示する。撮影画像は透視画像に比して高画質である。撮影画像と透視画像とは隣り合わせで表示されたり、広視野の撮影画像に重畳して狭視野の透視画像が表示されたりする。撮影画像は典型的に静止画であり、透視画像は典型的に動画である。撮影画像は造影血管が高画質で描出されているので、造影血管のロードマップとして機能する。透視画像はリアルタイムの血管を描出する。術者等は撮影画像と透視画像とを観察しながら、カテーテル等の術具を目標部位に到達させる。
ユーザは、詳細に観察したいフレームの透視画像が表示された時点において、入力インタフェース１５を介してフリーズボタンを押下する。フリーズボタンが押下されたことを契機として処理回路１１は、現フレームの透視画像をディスプレイ１９に静止画として表示される。
また、フリーズボタンが押下されたことを契機として処理回路１１は、入力選択機能１１３と順伝播機能１１４とを順番に実行する。入力選択機能１１３において処理回路１１は、現フレームの透視画像を処理対象入力画像として選択し、所定の基準を満たす過去又は未来のフレームの撮影画像を補助入力画像として選択する。順伝播機能１１４において処理回路１１は、メモリ１３から、透視画像を処理対象入力画像とし、撮影画像を補助入力画像とし、データ欠損部分が復元されたＤＮＮ透視画像を処理対象出力画像とする学習済みモデル（ＦｏｒＸ線画像）を読み出す。次に処理回路１１は、現フレームの透視画像を学習済みモデル（ＦｏｒＸ線画像）の入力層９１の処理対象範囲９２１に入力し、所定の基準を満たす過去又は未来のフレームの撮影画像を補助範囲９２２に入力する。そして処理回路１１は、入力された透視画像と撮影画像とを学習済みＤＮＮに順伝播する。これにより、現フレームｔに関し、データ欠損部分が復元されたＤＮＮ透視画像を生成することができる。生成されたＤＮＮ透視画像はディスプレイ１９に静止画として表示される。
上記の通り、応用例５によれば、Ｘ線透視検査の実行により収集される透視画像の中から処理対象入力画像が選択され、処理対象入力画像に形態が類似し且つ画質の高い撮影画像が補助入力画像として選択される。これにより、低線量で高画質のＸ線画像を即時的に生成及び表示することができる。
（実施例１）
実施例１に係る処理回路１１は、高間引き率でアンダーサンプリングされたラディアルｋ空間データから動画像を再構成する。空間相関及び時間相関と再構成時間の遅延の低減を得るため、援助された相関を表示する付加的な入力画像を用いて深層ニューラルネットワークが学習される。実施例の方法での画質は、１入力１出力である通常のＤＮＮ再構成に比して、高画質である。
動的ＭＲＩの臨床例は、高速データ収集と低遅延（low delay）の再構成との両方を要求される。このような方法として、スタック・オブ・スターズ軌跡（すなわち、２次元黄金角ラディアル軌跡の束）を含む高間引き率でアンダーサンプリングされたｋ空間データからの画像再構成法や、時間的制約を有する圧縮センシングがある。しかしながら、時間的制約を評価するために多くのフレーム（例えば、動画像の全フレーム）が要求される。この方法は、低遅延再構成には適していない。低遅延再構成のため、単一の画像による画像再構成法が好まれる。このような方法の例として、単一の入力画像から単一の出力画像へのＤＮＮが使用される。しかしながら、この方法は、時間相関を使用しないため、時間的制約に基づく方法に比して、多くの本数のスポークが要求される。
図２６は、実施例１に係る医用データ処理装置１の処理を模式的に示す図である。図２６に示すように、実施例１に係る処理回路１１は、空間相関及び時間相関と再構成時間の遅延の低減とを統合するため、Ｎスライスの近隣スライスのうちの連続的なＭフレームを入力とし、単一の再構成された画像を出力とするＤＮＮを使用する動的再構成法を行う。実施例に係る処理回路１１は、フレーム毎に画像を再構成する。各フレームは、（Ｍ－１）／２の未来のフレームにのみ依存するため、再構成遅延時間は、圧縮センシングに基づく方法に比して低下する。実施例に係る方法は、ＤＮＮを使用する通常の再構成法の拡張であると考えらえる。通常の再構成法は、Ｍ＝Ｎ＝１である。実施例に係るＤＮＮは、複数のコンボリューション層、複数のＲｅＬＵ及び複数の残差コネクション（Residual Connection）から構成される。
図２７は、実施例１に係るＤＮＮの概要を示す図である。図２７に示すように、前処理ステップとして処理回路１１は、高速フーリエ変換（ＦＦＴ）を束方向に適用する。各２次元ラディアルｋ空間フレームについて処理回路１１は、不等間隔ＦＦＴ（ＮＵＦＦＴ：Non-Uniform FFT）とパラレルイメージング（ＰＩ）とを使用して初期画像を再構成する。初期画像の再構成法は、他の画像との空間相関及び時間相関に依らない。空間相関及び時間相関はＤＮＮに統合される。中間層は、３×３のカーネルのコンボリューション層とＲｅＬＵとを含む。残差コネクションは、各２つの束ねられた中間層について挿入される。中間層の数は１０である。第１層及び最終層各々は、１×１のカーネルのコンボリューション層のみから構成される。各中間層のチャネルの数は１２８である。
２のボランティアから学習のためのデータセットが収集された。１のボランティアからのデータセットは、妥当性検証のために収集された。全てのデータセットは、マトリクスサイズが２５６×１６０×１６のカーテシアン画像を含む。それに加え、妥当性検証データセットは、スタック・オブ・スターズ軌跡を使用した実際のｋ空間データを含む。各ラディアルｋ空間フレームについて、２１本のスポークが割り当てられた。入力画像の枚数は、Ｍ＝５、Ｎ＝３に設定された。ＤＮＮの入力を生成するため、１０フレームが、ラディアルサンプリングをシミュレートすることにより、カーテシアン画像から生成された。ＤＮＮは、平均二乗誤差の誤差関数を有するＡｄａｍ（Adaptive moment estimation）により学習された。
図２８、図２９、図３０及び図３１は、シミュレートされたラディアルデータ（１フレームあたり２１本のスポーク）を使用した結果を示す。図２８は、ＮＵＦＦＴ＋ＰＩによる再構成画像を示す図である。図２９は、通常再構成法（Ｍ＝Ｎ＝１）による再構成画像を示す図である。図３０は、実施例１に係る再構成法（Ｍ＝５且つＮ＝３）による再構成画像を示す図である。図３１は、真（Truth）の再構成画像を示す図である。図３２、図３３及び図３４は、実際のスタック・オブ・スターズ・データ（１フレームあたり２１本のスポーク）の結果を示す図である。図３２は、ＮＵＦＦＴ＋ＰＩによる再構成画像を示す図である。図３３は、通常再構成法（Ｍ＝Ｎ＝１）による再構成画像を示す図である。図３４は、実施例１に係る再構成法（Ｍ＝５且つＮ＝３）による再構成画像を示す図である。Ｍ＝５且つＮ＝３の再構成法を使用して再構成された画像の画質は、ＮＵＦＦＴ＋ＰＩによる画像、Ｍ＝Ｎ＝１の再構成法による画像に比して、明らかに向上している。特に、実際のスタック・オブ・スターズ・データは、空間相関及び時間相関を使用することにより、肝臓内の構造をより明確に描出している。
実施例１に係る方法は、ＤＮＮを使用した投影再構成法における４５本のスポークに比して有意に少ない、１フレームあたり２１本のスポークから動画像を再構成することができる。この結果は、実際のスタック・オブ・スターズ・データからの画像の画質は、シミュレートされたラディアルデータからの画像の画質に比して低い。画質を向上するため、ＭＲＩシステムのサンプリングの不完全性がラディアルサンプリングのシミュレーションにおいて説明されるべきである。シミュレーションの向上が今後の課題である。
上記の通り、実施例１に係る方法は、ＤＮＮに空間相関及び時間相関を統合する。圧縮センシングに基づく方法とは異なり、実施例１に係る方法は、フレーム毎に画像を再構成し、低遅延再構成に使用され得る。実験結果は、実施例１に係る方法が高間引き率でアンダーサンプリングされたラディアル動画像の再構成に効果的であることを示している。
（実施例２）
実施例２に係る補助入力画像は、同一スライス位置に関し収集時間及び時間分解能が異なる２枚以上の画像である。以下、実施例２に係る医用データ処理装置１について説明する。実施例２に係る医用データ処理装置１は、時系列の複数フレームの撮像（動画撮像）を実行可能な如何なる医用画像診断装置にも実装可能である。しかしながら、以下の説明を具体的に行うため、医用データ処理装置１は、磁気共鳴イメージング装置９－１に実装されているものとする。磁気共鳴イメージングにおいて動画撮像は、如何なる種類のｋ空間充填軌跡でも実行可能であるが、以下の実施例においては、比較的時間分解能に優れたラディアルスキャンに基づく動画撮像であるとする。ＭＲ画像は２次元画像であっても３次元画像であってもよい。ラディアルスキャンに基づく３次元画像の動画撮像として、例えば、３次元ラディアルスキャンやスタック・オブ・スターズが適用可能である。
実施例２に係る処理回路１１は、補助入力画像のＤＮＮへの入力においてデンス・インプット（Dense Input）を実行する。デンス・インプットは、処理対象入力画像のフレームの時間的周辺にある複数フレーム分の画像データを、階層的な時間分解能でＤＮＮに入力する手法である。デンス・インプットにより処理対象出力画像の更なる高画質化が期待される。
図３５は、デンス・インプットを模式的に示す図である。図３５の横軸は時間に規定され、縦軸は時間分解能に規定される。時間分解能はレベルで表現される。レベル１は、１撮像フレームに相当する時間分解能である。１撮像フレームは、１フレームの画像再構成に用いる所定量のｋ空間データを収集するために必要な時間である。例えば、ラディアルスキャンにおいて１フレームが１０スポークである場合、１撮像フレームは、１０スポーク分のｋ空間データを収集するために要する時間である。図３５においては、時間分解能のレベルはレベル１からレベル５まで設定されているものとする。レベル２はレベル１の１／２倍の時間分解能、レベル３はレベル１の１／３倍の時間分解能、レベル４はレベル１の１／４倍の時間分解能、レベル５はレベル１の１／５倍の時間分解能であるとする。Ｎ個の撮像フレーム（レベル１のフレーム）にデンス・インプットを適用する場合、Ｎ（Ｎ＋１）／２個のフレームが生成される。第ｎのレベルのフレーム枚数はＮ＋１－２である。時間分解能が低いほど、多くのｋ空間データを含むので、画質は良好である。
具体的には、撮像制御機能１１１の実現により、処理回路１１は、時系列の複数のレベル１に関するフレームＦＲ１－１、ＦＲ１－２、ＦＲ１－３、ＦＲ１－４及びＦＲ１－５のｋ空間データを収集する。通常復元機能１１の実現により、時系列の複数のフレームＦＲ１－１、ＦＲ１－２、ＦＲ１－３、ＦＲ１－４及びＦＲ１－５のｋ空間データに基づいてフレームＦＲ１－１、ＦＲ１－２、ＦＲ１－３、ＦＲ１－４及びＦＲ１－５のＭＲ画像を生成する。
レベル２の処理については、例えば、次のように処理される。処理回路１１は、時間的に連続するフレームＦＲ１－１のｋ空間データとフレームＦＲ１－２のｋ空間データとを統合してフレームＦＲ２－１のｋ空間データを生成する。同様に、処理回路１１は、時間的に連続するフレームＦＲ１－２のｋ空間データとフレームＦＲ１－３のｋ空間データとを統合してフレームＦＲ２－２のｋ空間データを生成し、時間的に連続するフレームＦＲ１－３のｋ空間データとフレームＦＲ１－４のｋ空間データとを統合してフレームＦＲ２－３のｋ空間データを生成し、時間的に連続するフレームＦＲ１－４のｋ空間データとフレームＦＲ１－５のｋ空間データとを統合してフレームＦＲ２－４のｋ空間データを生成する。
レベル３、４及び５についても同様に処理される。例えば、レベル３に関し処理回路１１は、時間的に連続するフレームＦＲ１－１のｋ空間データとフレームＦＲ１－２のｋ空間データとフレームＦＲ１－３のｋ空間データとを統合してフレームＦＲ３－１のｋ空間データを生成する。レベル４に関し処理回路１１は、例えば、時間的に連続するフレームＦＲ１－１のｋ空間データとフレームＦＲ１－２のｋ空間データとフレームＦＲ１－３のｋ空間データとフレームＦＲ１－４のｋ空間データとを統合してフレームＦＲ４－１のｋ空間データを生成する。レベル５に関し処理回路１１は、例えば、時間的に連続するフレームＦＲ１－１のｋ空間データとフレームＦＲ１－２のｋ空間データとフレームＦＲ１－３のｋ空間データとフレームＦＲ１－４のｋ空間データとフレームＦＲ１－５のｋ空間データとを統合してフレームＦＲ５－１のｋ空間データを生成する。
なお、上記のフレームの統合方法は一例であり、これに限定されない。例えば、上記の例においては、時間的に連続する２以上のフレームのｋ空間データが統合されるものとした。しかしながら、時間的に連続しない２以上のフレームのｋ空間データが統合されてもよい。例えば、フレームＦＲ１－１のｋ空間データとフレームＦＲ１－３のｋ空間データとが統合されてもよい。また、上記の例においては、同一レベルに属する複数のフレームは時間的に重複しないものとした。しかしながら、同一レベルに属する複数のフレームは時間的に重複するように設定されてもよい。また、同一レベルに属する複数のフレームは時間的に隙間無く設定されるものとしたが、時間的に隣り合う２つのフレームは時間的に離隔されるように設定されてもよい。
図３６は、実施例２に係るデンス・インプットを利用したＤＮＮ再構成の一例を示す図である。図３６に示すように、レベル１の時間分解能は、１撮像フレームの時間分解能、例えば、５秒／ｆ（フレーム）であり、レベル２の時間分解能は、例えば、１０秒／ｆ、レベル３の時間分解能は、例えば、１５秒／ｆであるとする。
図３６の処理は、ＭＲ撮像時にリアルタイムで実行される事が好適である。処理回路１１は、撮像制御機能１１１の実現により、ラディアルスキャン等により時系列の複数フレームのｋ空間データを生成する。例えば、図３６に示すように、時系列の複数のレベル１に関するフレームＦＲ１－１、ＦＲ１－２、ＦＲ１－３及びＦＲ１－４のｋ空間データが生成される。各フレームＦＲ１－ｎ（ｎは整数）のｋ空間データに基づいて、処理回路１１は、各フレームＦＲ１－ｎのＭＲ画像を即時的に生成する。ＭＲ画像の再構成法は、如何なる方法でも構わないが、ＭＲ画像生成に関する即応性を高めるため、ジャクソン法（又はグリッディング法）等の簡易な再構成法が用いられるとよい。
また、最新のレベル１のフレームＦＲ１－４のＭＲ画像が生成される毎に、処理回路１１は、レベル１の複数のフレームＦＲ１－１、ＦＲ１－２、ＦＲ１－３及びＦＲ１－４のｋ空間データに基づいて、レベル２のフレームＦＲ２－１、フレームＦＲ２－２及びフレームＦＲ２－３のＭＲ画像と、レベル３のフレームＦＲ３－１及びフレームＦＲ３－２のＭＲ画像とを生成する。そして処理回路１１は、レベル１の最新のフレームＦＲ１－４のＭＲ画像を処理対象入力画像として選択する。
次に補助入力画像が選択される。実施例２においては、補助入力画像として選択される撮像フレーム数（以下、補助入力画像枚数と呼ぶ）が予め設定される。補助入力画像枚数は、総枚数で設定されてもよいし、レベル毎に枚数が設定されてもよい。処理回路１１は、生成された複数レベル及び複数フレームのＭＲ画像の中から、条件に合致する最新のフレームのＭＲ画像を補助入力画像として選択される。例えば、図３６に示すように、レベル１のフレーム数が４、レベル２のフレーム数が３、レベル３のフレーム数が２に設定される。この場合、レベル１の最新のフレームＦＲ１－４以前の４フレームＦＲ１－４、ＦＲ１－３、ＦＲ１－２及びＦＲ１－１と、当該４フレームに基づくレベル２以上の複数のフレームＦＲ２－１、ＦＲ２－２、ＦＲ２－３、ＦＲ３－１及びＦＲ３－２とが補助入力画像として選択される。
このように、補助入力画像として、処理対象入力画像と同一レベル且つ同一フレームのＭＲ画像が選択されてもよい。必要がない場合、処理対象入力画像と同一レベル且つ同一フレームのＭＲ画像は、補助入力画像から除外されてもよい。
処理対象入力画像と補助入力画像とが選択された場合、処理回路１１は、選択された処理対象入力画像と補助入力画像とを学習済みＤＮＮ（Ｆｏｒデンス・インプット）に入力し、処理対象出力画像を生成する。例えば、図３６に示すように、学習済みＤＮＮ（Ｆｏｒデンス・インプット）に処理対象入力画像として現フレームＦＲ１－４のＭＲ画像が入力され、補助入力画像としてフレームＦＲ１－４、ＦＲ１－３、ＦＲ１－２、ＦＲ１－１、ＦＲ２－３、ＦＲ２－２、ＦＲ２－１、ＦＲ３－２、ＦＲ３－１のＭＲ画像入力された場合、処理対象出力画像として現フレームＦＲ１－４のＭＲ画像が出力される。実施例２によれば、階層的な時間分解能を有するＭＲ画像群が補助入力画像として学習済みＤＮＮに入力される。これによれば、当該学習済みＤＮＮに、現フレームＦＲ１－４の時間的周辺にある数フレーム分の時間連続性のみを取り込むことができる。これにより、ＤＮＮ再構成画像の画質を更に向上させることができる。
実施例２に係る学習済みＤＮＮ（Ｆｏｒデンス・インプット）は、上記の実施形態と同様の手法を用いて、モデル学習装置５により生成可能である。学習済みＤＮＮ（Ｆｏｒデンス・インプット）は、補助入力画像として、複数フレームのＭＲ画像を入力可能に設計される。補助入力画像枚数毎に学習済みＤＮＮ（Ｆｏｒデンス・インプット）が生成される。正解出力画像は、主入力画像と同一の被検体であり、当該主入力画像に比して画質が高いＭＲ画像であれば、如何なる画像でもよい。このような正解出力画像としては、例えば、主入力画像よりも時間分解能が高いＭＲ画像又はｋ空間データ量（換言すれば、スポーク数）が多いＭＲ画像が選択されるとよい。例えば、主入力画像の時間分解能がレベル１である場合、正解出力画像として、時間分解能がレベル２以上のＭＲ画像が選択されるとよい。補助入力画像としては、デンス・インプットのためのＭＲ画像群が選択される。すなわち、主入力画像のフレームの時間的周辺にある複数フレームに関し且つ階層的な時間分解能を有する複数のＭＲ画像が、補助入力画像として選択される。
学習時において処理回路５１は、デンス・インプットのためのＤＮＮは補助入力画像枚数が比較的多いので、ドロップアウト（Drop Out）の手法を用いるとよい。ドロップアウトは、ＤＮＮに含まれる複数のユニットの中からランダム（又は疑似ランダム）に不活性化する１又は２以上のユニットを選択し、選択された１又は２以上のユニットを不活性化したＤＮＮを用いて学習を行う手法である。ドロップアウトの手法を用いることにより、正確且つ効率的に学習を行うことができる。
上記の通り、実施例２においては、デンス・インプットの手法により、補助入力画像として、処理対象入力画像（又は主入力画像）の時間的周辺にあり階層的な時間分解能を有するＭＲ画像群がＤＮＮに入力される。デンス・インプットにより、出力画像の高画質化やＤＮＮの学習効率の向上が期待される。また、補助入力画像が現フレームの過去数フレーム分のＭＲ画像に限定されるので、動画撮像の完了を待つことなく、準リアルタイムでＭＲ画像を出力することができる。また、最初の画像の出力までの時間を短縮することができる。
（実施例３）
実施例３は実施例２の応用である。実施例２においては、撮像フレームと同等の時間分解能を有するレベル１のフレームのＭＲ画像が補助入力画像としてＤＮＮに入力されるとした。しかしながら、本実施形態はこれに限定されない。実施例３に係る処理回路１１は、レベル２以上のフレームのＭＲ画像のみを補助入力画像としてＤＮＮに入力する。
図３７は、実施例３に係るデンス・インプットを利用したＤＮＮ再構成の一例を示す図である。図３７に示すように、レベル１の時間分解能は、１撮像フレームの時間分解能、例えば、２．５秒／ｆ（フレーム）であり、レベル２の時間分解能は、例えば、５秒／ｆ、レベル３の時間分解能は、例えば、７．５秒／ｆであるとする。実施例３の場合、レベル１の時間分解能が比較的高いので、レベル１に属する１フレームのｋ空間データ単独で画像を再構成することは困難であるとする。単独での再構成が困難であるとは、１フレームに含まれるｋ空間データ量が少ないため、読影に適した画質が得られない状況をいう。すなわち、１フレームのｋ空間データにＦＦＴ等の再構成法を施してＭＲ画像を生成することは可能である。
図３７に示すように、レベル１のフレームＦＲ１－１、ＦＲ１－２、ＦＲ１－３、ＦＲ１－４及びＦＲ１－５のｋ空間データがリアルタイムで生成されるものとする。現フレームはフレームＦＲ１－５である。各フレームＦＲ１－ｎ（ｎは整数）のｋ空間データに基づいて、処理回路１１は、各フレームＦＲ１－ｎのＭＲ画像を、ジャクソン法等の簡易な再構成法により即時的に生成する。また、レベル１の最新のフレームＦＲ１－５のＭＲ画像が生成される毎に、処理回路１１は、レベル１の現在のフレームＦＲ１－５のｋ空間データと過去のフレームＦＲ１－１、ＦＲ１－２、ＦＲ１－３及びＦＲ１－４のｋ空間データとに基づいて、レベル２のフレームＦＲ２－１、フレームＦＲ２－２、フレームＦＲ２－３及びフレームＦＲ２－４のＭＲ画像と、レベル３のフレームＦＲ３－１、フレームＦＲ３－２及びフレームＦＲ３－３のＭＲ画像とを生成する。そして処理回路１１は、レベル１の最新のフレームＦＲ１－５のＭＲ画像を処理対象入力画像として選択する。
次に補助入力画像が選択される。実施例３において処理回路１１は、補助入力画像として、レベル２以上のフレームのＭＲ画像の中から補助入力画像枚数に合致するＭＲ画像を選択する。例えば、図３７に示すように、補助入力画像枚数として、レベル２のフレーム数が４、レベル３のフレーム数が４に設定される。この場合、レベル１の最新のフレームＦＲ１－４以前の４フレームＦＲ１－４、ＦＲ１－３、ＦＲ１－２及びＦＲ１－１と、レベル２以上の複数のフレームＦＲ２－１、ＦＲ２－２、ＦＲ２－３、ＦＲ３－１及びＦＲ３－２とが補助入力画像として選択される。
処理対象入力画像と補助入力画像とが選択された場合、処理回路１１は、選択された処理対象入力画像と補助入力画像とを学習済みＤＮＮ（Ｆｏｒデンス・インプット）に入力し、処理対象出力画像を生成する。例えば、図３７に示すように、学習済みＤＮＮ（Ｆｏｒデンス・インプット）に処理対象入力画像として現フレームＦＲ１－５のＭＲ画像が入力され、補助入力画像としてフレームＦＲ２－４、ＦＲ２－３、ＦＲ２－２、ＦＲ２－１、ＦＲ３－３、ＦＲ３－２、ＦＲ３－１のＭＲ画像が入力された場合、処理対象出力画像として現フレームＦＲ１－５のＤＮＮ再構成画像が出力される。
なお、補助入力画像として、２以上の任意のレベル以上のフレームのＭＲ画像が選択されてもよいし、レベル２以上の何れかのレベルに属するフレームのＭＲ画像のみが選択されてもよい。例えば、再構成レベルに属するフレームのＭＲ画像のみが選択されてもよい。また、上記実施例において処理対象入力画像として、レベル１の現フレームのＭＲ画像が選択されるとしたが、これに限定されない。例えば、レベル１の過去のフレームのＭＲ画像が処理対象入力画像として選択されてもよいし、レベル２以上の任意のフレームのＭＲ画像が処理対象入力画像として選択されてもよい。
実施例３に係る学習済みＤＮＮ（Ｆｏｒデンス・インプット）は、実施例２と同様の手法を用いて、モデル学習装置５により生成可能である。例えば、主入力画像の時間分解能がレベル１である場合、正解出力画像として、時間分解能がレベル２以上のＭＲ画像が選択されるとよい。補助入力画像としては、デンス・インプットのためのＭＲ画像群が選択される。すなわち、主入力画像のフレームの時間的周辺にある複数フレームに関し且つ階層的な時間分解能を有する複数のＭＲ画像が、補助入力画像として選択される。
実施例３によれば、レベル１のフレームの時間分解能が高く単独再構成が困難な場合、レベル２以上のフレームのＭＲ画像を、デンス・インプットの手法により、補助入力画像として学習済みＤＮＮに入力する。これにより高撮像フレームレートを維持しつつ、高画質のＭＲ画像を出力することができる。
（その他の実施形態）
上述した実施形態及びその応用例においては、パラメータ付き合成関数のパラメータを機械学習の一手法である深層ニューラルネットワークにより導出する例を記載したが、実施形態はこれに限られるものではない。機械学習の手法として、生物の脳の神経回路を模した手法に限られず、他の手法を適用してもよい。また、実施形態は、パラメータ付き合成関数のパラメータを機械学習により導出することに限られるものでもない。例えば、機械学習を用いずに、人がパラメータを適宜調整することにより導出してもよい。すなわち、医用データ処理装置１が使用する学習済みモデル９０は、モデル学習装置５により生成された機械学習モデルに限定されない。例えば、医用データ処理装置１は、学習済みモデル９０として、ユーザ指示に従いパラメータが設定された機械学習モデルを使用してもよい。
以上説明した少なくとも１つの実施形態によれば、医用データの復元精度を向上することができる。
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ）等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、プログラムを実行するのではなく、論理回路の組合せにより当該プログラムに対応する機能を実現してもよい。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１、図３、図１４、図１５、図１７、図１９、図２１及び図２４における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。
以下、本明細書に開示された種々の発明の一部について要旨を付記する。
［付記１－１］
第１のＭＲデータと、前記第１のＭＲデータと同一の撮像対象且つ前記第１のＭＲデータとは異なる撮像パラメータに関する第２のＭＲデータとを入力する入力層と、前記第１のＭＲデータの欠損部分が復元された第３のＭＲデータを出力する出力層と、前記入力層と前記出力層との間に設けられる少なくとも１つの中間層とを有する学習済みモデルを記憶する記憶部と、
前記学習済みモデルに従い、被検体に関する処理対象の第１のＭＲデータと、前記被検体に関し且つ前記処理対象の第１のＭＲデータとは異なる撮像パラメータにより収集された第２のＭＲデータとから、前記被検体に関する第３のＭＲデータを生成する処理部と、
を具備する医用データ処理装置。
［付記１－２］
前記第１のＭＲデータと前記第２のＭＲデータとは、ｋ空間データ又は前記ｋ空間データに復元処理を施して生成されたＭＲ画像データである、［付記１－１］記載の医用データ処理装置。
［付記１－３］
前記復元処理は、デノイズ型復元又はデータ誤差フィードバック型復元である、［付記１－２］記載の医用データ処理装置。
［付記１－４］
前記撮像パラメータは、スライス位置、収集時刻、収集シーケンス、ｋ空間充填軌跡及び時間分解能の少なくとも一つを含む、［付記１－１］記載の医用データ処理装置。
［付記１－５］
前記第１のＭＲデータは、前記第２のＭＲデータに比してデータ間引き量が多い、［付記１－４］記載の医用データ処理装置。
［付記１－６］
前記第１のＭＲデータと前記第２のＭＲデータとは、単一の入力ベクトルとして前記学習済みモデルに入力される、［付記１－１］記載の医用データ処理装置。
［付記１－７］
前記第１のＭＲデータは、前記入力ベクトルの第１の範囲に設定され、
前記第２のＭＲデータは、前記入力ベクトルの第２の範囲に設定され、
前記第１の範囲と前記第２の範囲との位置は、固定される、
［付記１－６］記載の医用データ処理装置。
［付記１－８］
前記第２のＭＲデータは、撮像パラメータが異なる複数セットのＭＲデータを有し、 前記複数セット各々の前記第２のＭＲデータは、前記入力ベクトルの前記第２の範囲のうちの固定された範囲に設定される、
［付記１－７］記載の医用データ処理装置。
［付記１－９］
複数の関数を合成したパラメータ付き合成関数に対して、第１のＭＲデータと第２のＭＲデータとを適用して推定出力データを生成し、前記推定出力データと正解出力データとが近似するように前記パラメータ付き合成関数のパラメータを更新することにより前記学習済みモデルを生成する学習部を更に備える、［付記１－１］記載の医用データ処理装置。
［付記１－１０］
ユーザによる指示に従い撮像部位を選択する選択部を更に備え、
前記処理部は、前記選択された撮像部位に応じて学習済みモデルを切り替える、
［付記１－１］記載の医用データ処理装置。
［付記１－１１］
前記撮像パラメータは、第１のパラメータと第２のパラメータとを含み、
前記第１のＭＲデータと前記第２のＭＲデータとは、前記第１のパラメータが共通であり、前記第２のパラメータが異なり、
前記第１のＭＲデータと前記第３のＭＲデータとは、前記第１のパラメータと前記第２のパラメータとが共通であり、
前記第２のＭＲデータと前記第３のＭＲデータとは、前記第１のパラメータが共通であり、前記第２のパラメータが異なり、
前記３のＭＲデータは、前記第１のＭＲデータに比してデータ欠損が少ない又は画質が高い、
［付記１－１］記載の医用データ処理装置。
［付記１－１２］
前記第１のパラメータは、スライス位置であり、
前記第２のパラメータは、収集時刻、収集シーケンス、ｋ空間充填軌跡及び時間分解能である、
［付記１－１１］記載の医用データ処理装置。
［付記１－１３］
前記第１のパラメータは、収集シーケンス、ｋ空間充填軌跡及び時間分解能の少なくとも一つであり、
前記第２のパラメータは、スライス位置である、
［付記１－１１］記載の医用データ処理装置。
［付記１－１４］
前記第１のパラメータは、スライス位置と収集シーケンスのうちのＥＰＩとであり、 前記第２のパラメータは、収集シーケンスのうちのｂ値である、
［付記１－１１］記載の医用データ処理装置。
［付記１－１５］
第１のｋ空間データ又はＭＲ画像データと、前記第１のｋ空間データ又はＭＲ画像データと同一の撮像対象且つ前記第１のｋ空間データ又はＭＲ画像データとは異なる撮像パラメータに関する第２のｋ空間データ又はＭＲ画像データとを入力する入力層と、前記第１のｋ空間データ又はＭＲ画像データの欠損部分が復元された第３のｋ空間データ又はＭＲ画像データを出力する出力層と、前記入力層と前記出力層との間に設けられる少なくとも１つの中間層とを有する学習済みモデルを記憶する記憶部と、
被検体にＭＲ撮像を施して第１の撮像パラメータに関する第１のｋ空間データと、前記第１の撮像パラメータとは異なる第２の撮像パラメータに関する第２のｋ空間データとを収集する収集部と、
前記学習済みモデルに従い、前記収集されたｋ空間データ又は前記収集されたｋ空間データに基づくＭＲ画像データと前記収集された第２のｋ空間データ又は前記収集されたｋ空間データに基づくＭＲ画像データとから、前記被検体に関する第３のｋ空間データ又はＭＲ画像データを生成する処理部と、
［付記１－１６］
前記収集部は、前記第１のｋ空間データと前記第２のｋ空間データとを含む時系列の複数フレームのｋ空間データを収集し、
前記処理部は、前記複数フレームのｋ空間データの中から、前記第１のｋ空間データとして、一の第１フレームのｋ空間データを選択し、前記第２のｋ空間データとして、一又は複数の第２フレームのｋ空間データを選択する、
［付記１－１５］記載の磁気共鳴イメージング装置。
［付記１－１７］
前記収集部は、前記第１のｋ空間データと前記第２のｋ空間データとを含む時系列の複数フレームのｋ空間データを収集し、
前記処理部は、前記複数フレームのｋ空間データの中から、前記第１のｋ空間データとして、一の第１フレームのｋ空間データを選択し、前記複数フレームのｋ空間データに基づいて収集時間及び／又は時間分解能が異なる複数の第２フレームのｋ空間データを生成し、前記第２のｋ空間データとして、前記複数の第２フレームのｋ空間データを選択する、
［付記１－１５］記載の磁気共鳴イメージング装置。
［付記１－１８］
前記処理部は、前記第１フレームのｋ空間データに基づいて前記第１フレームの入力ＭＲ画像データを生成し、前記複数フレームのｋ空間データに基づいて前記複数の第２フレームのｋ空間データを生成し、前記複数の第２フレームのｋ空間データに基づいて複数の第２フレームの入力ＭＲ画像データを生成し、
前記学習済みモデルに従い前記第１フレームの入力ＭＲ画像データと前記複数の第２フレームの入力ＭＲ画像データとから、前記第３のＭＲデータとして、前記第１のフレームの出力ＭＲ画像データを生成する、
［付記１－１７］記載の磁気共鳴イメージング装置。
［付記１－１９］
前記複数のフレームと前記第１フレームとは、第１の時間分解能レベルを有し、
前記複数の第２フレームは、前記第１の時間分解能レベルよりも低い第２の時間分解能レベルを有する、
［付記１－１７］記載の磁気共鳴イメージング装置。
［付記１－２０］
前記第１の時間分解能レベルは、１撮像フレームに相当する時間分解能を有し、
前記第２の時間分解能レベルは、２以上の撮像フレームに相当する時間分解能を有し、
前記複数の第２フレームは、Ｎ（Ｎ＋１）／２のフレームを有し、
前記複数の第２フレームは、Ｎ撮像フレームに相当する時間分解能レベルから２撮像フレームに相当する時間分解能レベルまでの各第ｎの時間分解能レベルについて、（Ｎ＋１－ｎ）のフレームを有する、
［付記１－１９］記載の磁気共鳴イメージング装置。
［付記１－２１］
前記第１のＭＲデータは、前記第２のＭＲデータに含まれる、［１－１６］記載の磁気共鳴イメージング装置。
［付記１－２２］
複数の関数を合成したパラメータ付き合成関数に対して、第１のＭＲデータと、前記第１のＭＲデータと同一の撮影対象で且つ前記第１のＭＲデータとは異なる撮像パラメータに関する第２のＭＲデータとを適用して推定出力データを生成する工程と、
前記推定出力データと、前記第１のＭＲデータの欠損部分が復元された正解出力データとが近似するように前記パラメータ付き合成関数のパラメータを更新することにより学習済みモデルを生成する工程と、
を具備する学習済みモデル生成方法。
［付記２－１］
第１のＣＴデータと、前記第１のＣＴデータと同一の撮像対象且つ前記第１のＣＴデータとは異なる撮像パラメータに関する第２のＣＴデータとを入力する入力層と、前記第１のＣＴデータの欠損部分が復元された第３のＣＴデータを出力する出力層と、前記入力層と前記出力層との間に設けられる少なくとも１つの中間層とを有する学習済みモデルを記憶する記憶部と、
前記学習済みモデルに従い、被検体に関する処理対象の第１のＣＴデータと、前記被検体に関し且つ前記処理対象の第１のＣＴデータとは異なる撮像パラメータにより収集された第２のＣＴデータとから、前記被検体に関する第３のＣＴデータを生成する処理部と、 を具備する医用データ処理装置。
［付記２－２］
前記第１のＣＴデータと前記第２のＣＴデータとは、投影データ又は前記投影データに復元処理を施して生成されたＣＴ画像データである、［付記２－１］記載の医用データ処理装置。
［付記２－３］
前記復元処理は、デノイズ型復元又はデータ誤差フィードバック型復元である、［付記２－２］記載の医用データ処理装置。
［付記２－４］
前記撮像パラメータは、スライス位置、収集時刻、管電流、管電圧、焦点サイズ、検出器空間分解能、ビュー数、再構成関数、架台回転速度及び時間分解能の少なくとも一つを含む、［付記２－１］記載の医用データ処理装置。
［付記２－５］
前記第１のＣＴデータは、前記第２のＣＴデータに比してデータ間引き量が多い、［付記２－４］記載の医用データ処理装置。
［付記２－６］
前記第１のＣＴデータと前記第２のＣＴデータとは、単一の入力ベクトルとして前記学習済みモデルに入力される、［付記２－１］記載の医用データ処理装置。
［付記２－７］
前記第１のＣＴデータは、前記入力ベクトルの第１の範囲に設定され、
前記第２のＣＴデータは、前記入力ベクトルの第２の範囲に設定され、
前記第１の範囲と前記第２の範囲との位置は、固定される、
［付記２－６］記載の医用データ処理装置。
［付記２－８］
前記第２のＣＴデータは、撮像パラメータが異なる複数セットのＣＴデータを有し、
前記複数セット各々の前記第２のＣＴデータは、前記入力ベクトルの前記第２の範囲のうちの固定された範囲に設定される、
［付記２－７］記載の医用データ処理装置。
［付記２－９］
複数の関数を合成したパラメータ付き合成関数に対して、第１のＣＴデータと第２のＣＴデータとを適用して推定出力データを生成し、前記推定出力データと正解出力データとが近似するように前記パラメータ付き合成関数のパラメータを更新することにより前記学習済みモデルを生成する学習部を更に備える、［付記２－１］記載の医用データ処理装置。
［付記２－１０］
ユーザによる指示に従い撮像部位を選択する選択部を更に備え、
前記処理部は、前記選択された撮像部位に応じて学習済みモデルを切り替える、
［付記２－１］記載の医用データ処理装置。
［付記２－１１］
前記撮像パラメータは、第１のパラメータと第２のパラメータとを含み、
前記第１のＣＴデータと前記第２のＣＴデータとは、前記第１のパラメータが共通であり、前記第２のパラメータが異なり、
前記第１のＣＴデータと前記第３のＣＴデータとは、前記第１のパラメータと前記第２のパラメータとが共通であり、
前記第２のＣＴデータと前記第３のＣＴデータとは、前記第１のパラメータが共通であり、前記第２のパラメータが異なり、
前記３のＣＴデータは、前記第１のＣＴデータに比してデータ欠損が少ない又は画質が高い、
［付記２－１］記載の医用データ処理装置。
［付記２－１２］
前記第１のパラメータは、スライス位置であり、
前記第２のパラメータは、収集時刻及び管電流である、
［付記２－１１］記載の医用データ処理装置。
［付記２－１３］
第１の投影データ又はＣＴ画像データと、前記第１の投影データ又はＣＴ画像データと同一の撮像対象且つ前記第１の投影データ又はＣＴ画像データとは異なる撮像パラメータに関する第２の投影データ又はＣＴ画像データとを入力する入力層と、前記第１の投影データ又はＣＴ画像データの欠損部分が復元された第３の投影データ又はＣＴ画像データを出力する出力層と、前記入力層と前記出力層との間に設けられる少なくとも１つの中間層とを有する学習済みモデルを記憶する記憶部と、
前記被検体にＣＴ撮像を施して第１の撮像パラメータに関する第１の投影データと、前記第１の撮像パラメータとは異なる第２の撮像パラメータに関する第２の投影データとを収集する収集部と、
前記学習済みモデルに従い、前記収集された第１の投影データ又はＣＴ画像データと前記収集された第２の投影データ又はＣＴ画像データとから、前記被検体に関する第３の投影データ又はＣＴ画像データを生成する処理部と、
を具備するＸ線コンピュータ断層撮影装置。
［付記２－１４］
前記収集部は、回転フレームの複数周回の投影データを取得し、
前記処理部は、前記複数周回の投影データのうちの第１周回の投影データに基づいて、前記第１のＣＴ画像データとして、第１周回のＣＴ画像データを生成し、前記複数周回の投影データのうちの第２周回の投影データに基づいて、前記第２のＣＴ画像データとして、第２周回のＣＴ画像データを生成する、
［付記２－１３］記載のＸ線コンピュータ断層撮影装置。
［付記２－１５］
前記第１周回の投影データは、高線量のＣＴ撮像により生成され、
前記第２周回の投影データは、低線量のＣＴ撮像により生成される、
［付記２－１４］記載のＸ線コンピュータ断層撮影装置。
［付記２－１６］
複数の関数を合成したパラメータ付き合成関数に対して、第１のＣＴデータと、前記第１のＣＴデータと同一の撮影対象で且つ前記第１のＣＴデータとは異なる撮像パラメータに関する第２のＣＴデータとを適用して推定出力データを生成する工程と、
前記推定出力データと、前記第１のＣＴデータの欠損部分が復元された正解出力データとが近似するように前記パラメータ付き合成関数のパラメータを更新することにより学習済みモデルを生成する工程と、
を具備する学習済みモデル生成方法。
［付記３－１］
第１のＵＳデータと、前記第１のＵＳデータと同一の撮像対象且つ前記第１のＵＳデータとは異なる撮像パラメータに関する第２のＵＳデータとを入力する入力層と、前記第１のＵＳデータの欠損部分が復元された第３のＵＳデータを出力する出力層と、前記入力層と前記出力層との間に設けられる少なくとも１つの中間層とを有する学習済みモデルを記憶する記憶部と、
前記学習済みモデルに従い、被検体に関する処理対象の第１のＵＳデータと、前記被検体に関し且つ前記処理対象の第１のＵＳデータとは異なる撮像パラメータにより収集された第２のＵＳデータとから、前記被検体に関する第３のＵＳデータを生成する処理部と、
を具備する医用データ処理装置。
［付記３－２］
前記第１のＵＳデータと前記第２のＵＳデータとは、ＵＳ生データ又は前記ＵＳ生データに復元処理を施して生成されたＵＳ画像データである、［付記３－１］記載の医用データ処理装置。
［付記３－３］
前記復元処理は、デノイズ型復元又はデータ誤差フィードバック型復元である、［付記３－２］記載の医用データ処理装置。
［付記３－４］
前記撮像パラメータは、スライス位置、収集時刻、焦点位置、ゲイン、送信強度、受信強度、ＰＲＦ、ビーム走査方式、走査モード及び時間分解能の少なくとも一つを含む、［付記３－１］記載の医用データ処理装置。
［付記３－５］
前記第１のＵＳデータは、前記第２のＵＳデータに比してデータ間引き量が多い、［付記３－４］記載の医用データ処理装置。
［付記３－６］
前記第１のＵＳデータと前記第２のＵＳデータとは、単一の入力ベクトルとして前記学習済みモデルに入力される、［付記３－１］記載の医用データ処理装置。
［付記３－７］
前記第１のＵＳデータは、前記入力ベクトルの第１の範囲に設定され、
前記第２のＵＳデータは、前記入力ベクトルの第２の範囲に設定され、
前記第１の範囲と前記第２の範囲との位置は、固定される、
［付記３－６］記載の医用データ処理装置。
［付記３－８］
前記第２のＵＳデータは、撮像パラメータが異なる複数セットのＵＳデータを有し、
前記複数セット各々の前記第２のＵＳデータは、前記入力ベクトルの前記第２の範囲のうちの固定された範囲に設定される、
［付記３－７］記載の医用データ処理装置。
［付記３－９］
複数の関数を合成したパラメータ付き合成関数に対して、第１のＵＳデータと第２のＵＳデータとを適用して推定出力データを生成し、前記推定出力データと正解出力データとが近似するように前記パラメータ付き合成関数のパラメータを更新することにより前記学習済みモデルを生成する学習部を更に備える、［付記３－１］記載の医用データ処理装置。
［付記３－１０］
ユーザによる指示に従い撮像部位を選択する選択部を更に備え、
前記処理部は、前記選択された撮像部位に応じて学習済みモデルを切り替える、
［付記３－１］記載の医用データ処理装置。
［付記３－１１］
前記撮像パラメータは、第１のパラメータと第２のパラメータとを含み、
前記第１のＵＳデータと前記第２のＵＳデータとは、前記第１のパラメータが共通であり、前記第２のパラメータが異なり、
前記第１のＵＳデータと前記第３のＵＳデータとは、前記第１のパラメータと前記第２のパラメータとが共通であり、
前記第２のＵＳデータと前記第３のＵＳデータとは、前記第１のパラメータが共通であり、前記第２のパラメータが異なり、
前記３のＵＳデータは、前記第１のＵＳデータに比してデータ欠損が少ない又は画質が高い、
［付記３－１］記載の医用データ処理装置。
［付記３－１２］
前記第１のパラメータは、スライス位置であり、
前記第２のパラメータは、収集時刻である、
［付記３－１１］記載の医用データ処理装置。
［付記３－１３］
第１のＵＳ生データ又はＵＳ画像データと、前記第１のＵＳ生データ又はＵＳ画像データと同一の撮像対象且つ前記第１のＵＳ生データ又はＵＳ画像データとは異なる撮像パラメータに関する第２のＵＳ生データ又はＵＳ画像データとを入力する入力層と、前記第１のＵＳ生データ又はＵＳ画像データの欠損部分が復元された第３のＵＳ生データ又はＵＳ画像データを出力する出力層と、前記入力層と前記出力層との間に設けられる少なくとも１つの中間層とを有する学習済みモデルを記憶する記憶部と、
前記被検体にＵＳ撮像を施して第１の撮像パラメータに関する第１のＵＳ生データと、前記第１の撮像パラメータとは異なる第２の撮像パラメータに関する第２のＵＳ生データとを収集する収集部と、
前記学習済みモデルに従い、前記収集された第１のＵＳ生データ又は前記収集された第１のＵＳ生データに基づくＵＳ画像データと前記収集された第２のＵＳ生データ又は前記収集された第２のＵＳ生データに基づくＵＳ画像データとから、前記被検体に関する第３のＵＳ生データ又はＵＳ画像データを生成する処理部と、
を具備する超音波診断装置。
［付記３－１４］
前記収集部は、時系列の複数フレームのＵＳ生データを収集し、
前記処理部は、前記複数フレームのＵＳ生データの中から、前記第１のＵＳ生データとして、一の第１フレームのＵＳ生データを選択し、前記第２のＵＳ生データとして、一又は複数の第２フレームのＵＳ生データを選択する、
［付記３－１３］記載の超音波診断装置。
［付記３－１５］
前記処理部は、
前記第１フレームのＵＳ生データに基づいて前記第１フレームの入力ＵＳ画像データを生成し、前記第２フレームのＵＳ生データに基づいて前記第２フレームの入力ＵＳ画像データを生成し、
前記学習済みモデルに従い前記第１フレームの入力ＵＳ画像データと前記複数の第２フレームの入力ＵＳ画像データとから、前記第３のＵＳデータとして、前記第１のフレームの出力ＵＳ画像データを生成する、
［付記３－１４］記載の超音波診断装置。
［付記３－１６］
前記複数フレームのＵＳ生データに基づく前記複数フレームのＵＳ画像データをリアルタイムで表示する表示部を更に備え、
前記処理部は、
ユーザにより画像静止指示がなされた場合、前記画像静止指示がなされた時点において前記表示機器に表示されていたＵＳ波画像データを前記第１フレームのＵＳ画像データとして選択し、
前記画像静止指示がなされた時点から所定フレーム前のフレーム又は前記画像静止指示がなされた時点から所定フレーム後のフレームのＵＳ画像データを、前記第２フレームのＵＳ画像データとして選択する、
［付記３－１５］記載の超音波診断装置。
［付記３－１７］
複数の関数を合成したパラメータ付き合成関数に対して、第１のＵＳデータと、前記第１のＵＳデータと同一の撮影対象で且つ前記第１のＵＳデータとは異なる撮像パラメータに関する第２のＵＳデータとを適用して推定出力データを生成する工程と、
前記推定出力データと、前記第１のＵＳデータの欠損部分が復元された正解出力データとが近似するように前記パラメータ付き合成関数のパラメータを更新することにより学習済みモデルを生成する工程と、
を具備する学習済みモデル生成方法。
［付記４－１］
第１の医用データと、前記第１の医用データと同一の撮像対象且つ前記第１の医用データとは異なる撮像パラメータに関する第２の医用データとを入力する入力層と、前記第１の医用データの欠損部分が復元された第３の医用データを出力する出力層と、前記入力層と前記出力層との間に設けられる少なくとも１つの中間層とを有する学習済みモデルを記憶する記憶部と、
前記学習済みモデルに従い、被検体に関する処理対象の第１の医用データと、前記被検体に関し且つ前記処理対象の第１の医用データとは異なる撮像パラメータにより収集された第２の医用データとから、前記被検体に関する第３の医用データを生成する処理部と、
を具備する医用データ処理装置。
［付記４－２］
前記第１の医用データと前記第２の医用データとは、生データ又は前記生データに復元処理を施して生成された医用画像データである、［付記４－１］記載の医用データ処理装置。
［付記４－３］
前記復元処理は、デノイズ型復元又はデータ誤差フィードバック型復元である、［付記４－２］記載の医用データ処理装置。
［付記４－４］
前記撮像パラメータは、スライス位置、医用データの撮像原理及び時間分解能の少なくとも一つを含む、［付記４－１］記載の医用データ処理装置。
［付記４－５］
前記第１の医用データは、前記第２の医用データに比してデータ間引き量が多い、［付記４－４］記載の医用データ処理装置。
［付記４－６］
前記第１の医用データと前記第２の医用データとは、単一の入力ベクトルとして前記学習済みモデルに入力される、［付記４－１］記載の医用データ処理装置。
［付記４－７］
前記第１の医用データは、前記入力ベクトルの第１の範囲に設定され、
前記第２の医用データは、前記入力ベクトルの第２の範囲に設定され、
前記第１の範囲と前記第２の範囲との位置は、固定される、
［付記４－６］記載の医用データ処理装置。
［付記４－８］
前記第２の医用データは、撮像パラメータが異なる複数セットの医用データを有し、 前記複数セット各々の前記第２の医用データは、前記入力ベクトルの前記第２の範囲のうちの固定された範囲に設定される、
［付記４－７］記載の医用データ処理装置。
［付記４－９］
複数の関数を合成したパラメータ付き合成関数に対して、第１の医用データと第２の医用データとを適用して推定出力データを生成し、前記推定出力データと正解出力データとが近似するように前記パラメータ付き合成関数のパラメータを更新することにより前記学習済みモデルを生成する学習部を更に備える、［付記４－１］記載の医用データ処理装置。
［付記４－１０］
ユーザによる指示に従い撮像部位を選択する選択部を更に備え、
前記処理部は、前記選択された撮像部位に応じて学習済みモデルを切り替える、
［付記４－１］記載の医用データ処理装置。
［付記４－１１］
前記撮像パラメータは、第１のパラメータと第２のパラメータとを含み、
前記第１の医用データと前記第２の医用データとは、前記第１のパラメータが共通であり、前記第２のパラメータが異なり、
前記第１の医用データと前記第３の医用データとは、前記第１のパラメータと前記第２のパラメータとが共通であり、
前記第２の医用データと前記第３の医用データとは、前記第１のパラメータが共通であり、前記第２のパラメータが異なり、
前記３の医用データは、前記第１の医用データに比してデータ欠損が少ない又は画質が高い、
［付記４－１］記載の医用データ処理装置。
［付記４－１２］
前記第１のパラメータは、スライス位置であり、
前記第２のパラメータは、医用データの撮像原理である、
［付記４－１１］記載の医用データ処理装置。
［付記４－１３］
前記第１の医用データに関する前記第２のパラメータは、前記撮像原理として、ＰＥＴ撮像であり、
前記第２の医用データに関する前記第２のパラメータは、前記撮像原理として、Ｘ線ＣＴ撮像である、
［付記４－１２］記載の医用データ処理装置。
［付記４－１４］
第１の医用データと、前記第１の医用データと同一の撮像対象且つ前記第１の医用データとは異なる撮像パラメータに関する第２の医用データとを入力する入力層と、前記第１の医用データの欠損部分が復元された第３の医用データを出力する出力層と、前記入力層と前記出力層との間に設けられる少なくとも１つの中間層とを有する学習済みモデルを記憶する記憶部と、
前記被検体に撮像を施して第１の撮像パラメータに関する第１の医用データと、前記第１の撮像パラメータとは異なる第２の撮像パラメータに関する第２の医用データとを収集する収集部と、
前記学習済みモデルに従い、前記収集された第１の医用データと前記収集された第２の医用データとから、前記被検体に関する第３の医用データを生成する処理部と、
を具備する医用画像診断装置。
［付記４－１５］
前記収集部は、前記被検体にＰＥＴ撮像を施して前記第１の医用データを収集するＰＥＴスキャナと前記被検体にＸ線ＣＴ撮像を施して前記第２の医用データを収集Ｘ線ＣＴスキャナとを有する、［付記４－１４］記載の医用画像診断装置。
［付記４－１６］
複数の関数を合成したパラメータ付き合成関数に対して、第１の医用データと、前記第１の医用データと同一の撮影対象で且つ前記第１の医用データとは異なる撮像パラメータに関する第２の医用データとを適用して推定出力データを生成する工程と、
前記推定出力データと、前記第１の医用データの欠損部分が復元された正解出力データとが近似するように前記パラメータ付き合成関数のパラメータを更新することにより学習済みモデルを生成する工程と、
を具備する学習済みモデル生成方法。
１ 医用データ処理装置
２ 医用データ処理装置
３ 医用撮像装置
５ モデル学習装置
７ 学習データ保管装置
９ 医用画像診断装置
１１ 処理回路
１３ メモリ
１５ 入力インタフェース
１７ 通信インタフェース
１９ ディスプレイ
２１ 処理回路
２３ メモリ
２５ 入力インタフェース
２７ 出力インタフェース
５０ 学習プログラム
５１ 処理回路
５３ メモリ
５５ 入力インタフェース
５７ 通信インタフェース
５９ ディスプレイ
９０ 学習済みモデル
１００ 医用信号処理システム
１１１ 撮像制御機能
１１２ 通常復元機能
１１３ 入力選択機能
１１４ 順伝播機能
１１５ 画像処理機能
１１６ 表示制御機能
５１１ 順伝播機能
５１２ 逆伝播機能
５１３ 更新機能
５１４ 判定機能
５１５ 表示制御機能

Claims (14)

  1. 学習済みモデルに、第１の撮像パラメータに関するデータであって、データ欠損を含む入力ＣＴデータと、前記入力ＣＴデータと同一の撮像対象であり且つ前記第１の撮像パラメータとは異なる第２の撮像パラメータに関する補助入力ＣＴデータとを適用して、前記入力ＣＴデータのデータ欠損が低減された出力ＣＴデータを生成する処理部を具備する医用データ処理装置。
  2. 前記入力ＣＴデータ、前記補助入力ＣＴデータ及び前記出力ＣＴデータは、投影データ又は前記投影データに復元処理を施して生成されたＣＴ画像データである、請求項１記載の医用データ処理装置。
  3. 前記第１の撮像パラメータ及び前記第２の撮像パラメータは、スライス位置、収集時刻、管電流、管電圧、焦点サイズ、検出器空間分解能、ビュー数、再構成関数、架台回転速度及び時間分解能の少なくとも一つを含む、請求項１記載の医用データ処理装置。
  4. 前記入力ＣＴデータ及び前記補助入力ＣＴデータは、単一の入力ベクトルとして前記学習済みモデルに入力される、請求項１記載の医用データ処理装置。
  5. 前記入力ＣＴデータは、前記入力ベクトルの第１の範囲に設定され、
    前記補助入力ＣＴデータは、前記入力ベクトルの第２の範囲に設定され、
    前記第１の範囲と前記第２の範囲との位置は、固定される、
    請求項４記載の医用データ処理装置。
  6. 前記補助入力ＣＴデータは、撮像パラメータが異なる複数セットのＣＴデータを有し、
    前記複数セット各々の前記補助入力ＣＴデータは、前記入力ベクトルの前記第２の範囲のうちの固定された範囲に設定される、
    請求項５記載の医用データ処理装置。
  7. 未学習の機械学習モデルに対して、前記入力ＣＴデータ及び前記補助入力ＣＴデータを適用して推定出力データを生成し、前記推定出力データと正解出力データとが近似するように前記未学習の機械学習モデルのパラメータを更新することにより前記学習済みモデルを生成する学習部を更に備える、請求項１記載の医用データ処理装置。
  8. ユーザによる指示に従い撮像部位を選択する選択部を更に備え、
    前記処理部は、前記選択された撮像部位に応じて学習済みモデルを切り替える、
    請求項１記載の医用データ処理装置。
  9. 前記第１の撮像パラメータ及び前記第２の撮像パラメータは、スライス位置、収集時刻、管電流、管電圧、焦点サイズ、検出器空間分解能、ビュー数、再構成関数、架台回転速度及び時間分解能から選択された第１のパラメータ及び第２のパラメータを含み、
    前記入力ＣＴデータと前記補助入力ＣＴデータとは、前記第１のパラメータが共通であり、前記第２のパラメータが異なり、
    前記入力ＣＴデータと前記出力ＣＴデータとは、前記第１のパラメータと前記第２のパラメータとが共通であり、
    前記補助入力ＣＴデータと前記出力ＣＴデータとは、前記第１のパラメータが共通であり、前記第２のパラメータが異なる、
    請求項１記載の医用データ処理装置。
  10. 前記第１のパラメータは、スライス位置であり、
    前記第２のパラメータは、収集時刻及び管電流である、
    請求項９記載の医用データ処理装置。
  11. 被検体にＣＴ撮像を施して第１の撮像パラメータに関する入力投影データと、前記第１の撮像パラメータとは異なる第２の撮像パラメータに関する補助入力投影データとを収集する収集部と、
    学習済みモデルに、前記収集された入力投影データ又は前記入力投影データに基づく入力ＣＴ画像データと前記収集された補助入力投影データ又は前記補助入力投影データに基づく補助入力ＣＴ画像データとを適用して、前記入力投影データ又は入力ＣＴ画像データのデータ欠損が低減された出力投影データ又は出力ＣＴ画像データを生成する処理部と、
    を具備するＸ線コンピュータ断層撮影装置。
  12. 前記収集部は、Ｘ線管とＸ線検出器とを有する回転フレームを回転させながら、複数周回の投影データを取得し、
    前記処理部は、前記複数周回の投影データのうちの第１周回の投影データに基づいて、前記入力ＣＴ画像データとして、第１周回の入力ＣＴ画像データを生成し、前記複数周回の投影データのうちの第２周回の投影データに基づいて、前記補助入力ＣＴ画像データとして、第２周回のＣＴ画像データを生成する、
    請求項１１記載のＸ線コンピュータ断層撮影装置。
  13. 前記第１周回の投影データは、所定の線量のＣＴ撮像により生成され、
    前記第２周回の投影データは、前記所定の線量に比して低い線量のＣＴ撮像により生成される、
    請求項１２記載のＸ線コンピュータ断層撮影装置。
  14. 未学習の機械学習モデルに対して、データ欠損を含む入力ＣＴデータと、前記入力ＣＴデータと同一の撮影対象であり、且つ前記入力ＣＴデータとは異なる撮像パラメータに関する補助入力ＣＴデータとを適用して推定出力ＣＴデータを生成する工程と、
    前記推定出力ＣＴデータと、前記入力ＣＴデータに含まれる前記データ欠損が低減された正解出力ＣＴデータとが近似するように前記未学習の機械学習モデルを更新することにより学習済みモデルを生成する工程と、
    を具備する学習済みモデル生成方法。
JP2021026478A 2017-11-24 2021-02-22 医用データ処理装置、ｘ線コンピュータ断層撮影装置及び学習済みモデル生成方法 Active JP7139474B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022139490A JP7386944B2 (ja) 2017-11-24 2022-09-01 医用データ処理装置、超音波診断装置及び学習済みモデル生成方法
JP2023193722A JP2024009074A (ja) 2017-11-24 2023-11-14 医用データ処理装置、超音波診断装置及び学習済みモデル生成方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017226243 2017-11-24
JP2017226243 2017-11-24

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2019109545A Division JP6843924B2 (ja) 2017-11-24 2019-06-12 医用データ処理装置、磁気共鳴イメージング装置及び学習済みモデル生成方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2022139490A Division JP7386944B2 (ja) 2017-11-24 2022-09-01 医用データ処理装置、超音波診断装置及び学習済みモデル生成方法

Publications (2)

Publication Number Publication Date
JP2021090825A JP2021090825A (ja) 2021-06-17
JP7139474B2 true JP7139474B2 (ja) 2022-09-20

Family

ID=66631722

Family Applications (5)

Application Number Title Priority Date Filing Date
JP2018208903A Active JP6545887B2 (ja) 2017-11-24 2018-11-06 医用データ処理装置、磁気共鳴イメージング装置及び学習済みモデル生成方法
JP2019109545A Active JP6843924B2 (ja) 2017-11-24 2019-06-12 医用データ処理装置、磁気共鳴イメージング装置及び学習済みモデル生成方法
JP2021026478A Active JP7139474B2 (ja) 2017-11-24 2021-02-22 医用データ処理装置、ｘ線コンピュータ断層撮影装置及び学習済みモデル生成方法
JP2022139490A Active JP7386944B2 (ja) 2017-11-24 2022-09-01 医用データ処理装置、超音波診断装置及び学習済みモデル生成方法
JP2023193722A Pending JP2024009074A (ja) 2017-11-24 2023-11-14 医用データ処理装置、超音波診断装置及び学習済みモデル生成方法

Family Applications Before (2)

Application Number Title Priority Date Filing Date
JP2018208903A Active JP6545887B2 (ja) 2017-11-24 2018-11-06 医用データ処理装置、磁気共鳴イメージング装置及び学習済みモデル生成方法
JP2019109545A Active JP6843924B2 (ja) 2017-11-24 2019-06-12 医用データ処理装置、磁気共鳴イメージング装置及び学習済みモデル生成方法

Family Applications After (2)

Application Number Title Priority Date Filing Date
JP2022139490A Active JP7386944B2 (ja) 2017-11-24 2022-09-01 医用データ処理装置、超音波診断装置及び学習済みモデル生成方法
JP2023193722A Pending JP2024009074A (ja) 2017-11-24 2023-11-14 医用データ処理装置、超音波診断装置及び学習済みモデル生成方法

Country Status (5)

Country Link
US (2) US11278213B2 (ja)
EP (1) EP3714784A4 (ja)
JP (5) JP6545887B2 (ja)
CN (3) CN116741352A (ja)
WO (1) WO2019102846A1 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10698064B2 (en) * 2016-07-21 2020-06-30 Koninklijke Philips N.V. Motion-corrected compressed sensing magnetic resonance imaging
US10776925B2 (en) * 2018-04-27 2020-09-15 General Eelectric Company System and method for generating a water-fat seperated image
JP7126864B2 (ja) 2018-05-25 2022-08-29 キヤノンメディカルシステムズ株式会社 医用信号処理装置及び学習プログラム
CN108876783B (zh) * 2018-06-27 2021-02-05 上海联影医疗科技股份有限公司 图像融合方法及系统、医疗设备和图像融合终端
US11756691B2 (en) * 2018-08-01 2023-09-12 Martin Reimann Brain health comparison system
JP7206073B2 (ja) * 2018-08-21 2023-01-17 キヤノンメディカルシステムズ株式会社 医用画像処理装置、医用画像生成装置、医用画像処理方法、およびプログラム
DE102018214325A1 (de) * 2018-08-24 2020-02-27 Siemens Healthcare Gmbh Verfahren und Bereitstellungseinheit zum Bereitstellen eines virtuellen tomographischen Schlaganfall-Nachfolgeuntersuchungsbildes
JP7224817B2 (ja) 2018-09-06 2023-02-20 キヤノンメディカルシステムズ株式会社 信号データ処理装置
US11037030B1 (en) * 2018-10-29 2021-06-15 Hrl Laboratories, Llc System and method for direct learning from raw tomographic data
CN109727223B (zh) * 2018-12-27 2021-02-05 上海联影医疗科技股份有限公司 一种医学图像自动融合方法和系统
JP7272818B2 (ja) 2019-02-26 2023-05-12 キヤノンメディカルシステムズ株式会社 データ処理装置、方法及びプログラム
JP2020146453A (ja) * 2019-03-05 2020-09-17 キヤノンメディカルシステムズ株式会社 医用処理装置
US12002203B2 (en) 2019-03-12 2024-06-04 Bayer Healthcare Llc Systems and methods for assessing a likelihood of CTEPH and identifying characteristics indicative thereof
US11224399B2 (en) * 2019-07-12 2022-01-18 Canon Medical Systems Corporation Apparatus and method using deep learning (DL) to compensate for large focal spot size in x-ray projection imaging
EP3764325B1 (en) * 2019-07-12 2024-05-15 Canon Medical Systems Corporation System and program for avoiding focal spot blurring
US11244443B2 (en) * 2019-07-28 2022-02-08 Advantest Corporation Examination apparatus, examination method, recording medium storing an examination program, learning apparatus, learning method, and recording medium storing a learning program
KR102317337B1 (ko) * 2019-07-30 2021-10-26 한국과학기술원 다양한 센서 조건에서의 초음파 영상 처리 장치 및 그 방법
US20230103344A1 (en) * 2019-08-21 2023-04-06 Shimadzu Corporation X-Ray Imaging Method and X-Ray Imaging System
AU2020349121A1 (en) 2019-09-18 2022-03-31 Bayer Aktiengesellschaft System, method, and computer program product for predicting, anticipating, and/or assessing tissue characteristics
AU2020347797A1 (en) 2019-09-18 2022-03-31 Bayer Aktiengesellschaft Forecast of MRI images by means of a forecast model trained by supervised learning
JP7350595B2 (ja) * 2019-10-01 2023-09-26 キヤノンメディカルシステムズ株式会社 画像処理装置、医用画像診断装置及び画像処理プログラム
US12000918B2 (en) * 2019-10-25 2024-06-04 Washington University Systems and methods of reconstructing magnetic resonance images using deep learning
JPWO2021106961A1 (ja) * 2019-11-27 2021-06-03
JP7337675B2 (ja) * 2019-12-04 2023-09-04 キヤノンメディカルシステムズ株式会社 医用データ処理装置
JP6737491B1 (ja) * 2020-01-09 2020-08-12 株式会社アドイン研究所 Ａｉを用いる診断装置、診断システム、及び、プログラム
JP7451239B2 (ja) 2020-03-12 2024-03-18 富士フイルムヘルスケア株式会社 画像処理装置、ｘ線撮像装置及び画像処理方法
JP7341950B2 (ja) * 2020-06-05 2023-09-11 富士フイルム株式会社 画像処理装置、放射線画像撮影システム、画像処理方法、及び画像処理プログラム
KR102415806B1 (ko) * 2020-09-15 2022-07-05 주식회사 뷰노 전자의료기록으로부터 의료 이벤트를 예측하는 인공 신경망의 기계학습 방법
US20220096055A1 (en) * 2020-09-29 2022-03-31 The Board Of Trustees Of The Leland Stanford Junior University Functional ultrasound imaging of the brain using deep learning and sparse data
CN112561918A (zh) * 2020-12-31 2021-03-26 中移（杭州）信息技术有限公司 卷积神经网络的训练方法和病灶分割方法
WO2022202310A1 (ja) * 2021-03-26 2022-09-29 テルモ株式会社 プログラム、画像処理方法及び画像処理装置
JP2022189058A (ja) 2021-06-10 2022-12-22 キヤノンメディカルシステムズ株式会社 磁気共鳴イメージング装置及び方法
JP2023044462A (ja) 2021-09-17 2023-03-30 キヤノンメディカルシステムズ株式会社 医用画像処理装置、磁気共鳴イメージング装置、医用画像処理方法、および医用画像処理プログラム
CN117094987B (zh) * 2023-10-13 2023-12-22 四川大学 一种优化神经调控物理场方向的方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008167949A (ja) 2007-01-12 2008-07-24 Fujifilm Corp 放射線画像処理方法および装置ならびにプログラム
JP2017094097A (ja) 2015-11-27 2017-06-01 株式会社東芝 医用画像処理装置、ｘ線コンピュータ断層撮像装置及び医用画像処理方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1131214A (ja) * 1997-07-10 1999-02-02 Hitachi Medical Corp 画像処理装置
US7545965B2 (en) * 2003-11-10 2009-06-09 The University Of Chicago Image modification and detection using massive training artificial neural networks (MTANN)
CN101248458B (zh) * 2005-07-08 2012-08-15 威斯康星校友研究基金会 高约束图像重构方法
US8879852B2 (en) * 2010-11-10 2014-11-04 Siemens Aktiengesellschaft Non-contrast-enhanced 4D MRA using compressed sensing reconstruction
US9265441B2 (en) * 2013-07-12 2016-02-23 Siemens Aktiengesellschaft Assessment of traumatic brain injury
US9437016B2 (en) 2013-08-07 2016-09-06 Toshiba Medical Systems Corporation Image domain pansharpening method and system for spectral CT with large pixel energy discriminating detectors
US9730643B2 (en) * 2013-10-17 2017-08-15 Siemens Healthcare Gmbh Method and system for anatomical object detection using marginal space deep neural networks
JP5918200B2 (ja) 2013-11-29 2016-05-18 日立アロカメディカル株式会社 超音波診断装置
KR101857795B1 (ko) * 2013-12-18 2018-05-14 삼성전자주식회사 자기 공명 영상 장치 및 그 동작방법
JP6181542B2 (ja) 2013-12-18 2017-08-16 東芝メディカルシステムズ株式会社 超音波診断装置、医用画像診断装置および検査手順発生プログラム
US10331852B2 (en) * 2014-01-17 2019-06-25 Arterys Inc. Medical imaging and efficient sharing of medical imaging information
JP6377378B2 (ja) * 2014-03-17 2018-08-22 キヤノンメディカルシステムズ株式会社 磁気共鳴イメージング装置
US9953246B2 (en) 2014-12-16 2018-04-24 The Regents Of The University Of California Feature-preserving noise removal
US10871536B2 (en) * 2015-11-29 2020-12-22 Arterys Inc. Automated cardiac volume segmentation
US20170337682A1 (en) * 2016-05-18 2017-11-23 Siemens Healthcare Gmbh Method and System for Image Registration Using an Intelligent Artificial Agent
WO2017206048A1 (en) * 2016-05-31 2017-12-07 Shanghai United Imaging Healthcare Co., Ltd. System and method for removing gibbs artifact in medical imaging system
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation
CN106682636B (zh) * 2016-12-31 2020-10-16 上海联影医疗科技有限公司 血管提取方法及其系统
US10600184B2 (en) * 2017-01-27 2020-03-24 Arterys Inc. Automated segmentation utilizing fully convolutional networks
US10685429B2 (en) * 2017-02-22 2020-06-16 Siemens Healthcare Gmbh Denoising medical images by learning sparse image representations with a deep unfolding approach
US10753997B2 (en) * 2017-08-10 2020-08-25 Siemens Healthcare Gmbh Image standardization using generative adversarial networks
US11127175B2 (en) * 2017-09-26 2021-09-21 Rensselaer Polytechnic Institute Monochromatic CT image reconstruction from current-integrating data via machine learning
US11517197B2 (en) * 2017-10-06 2022-12-06 Canon Medical Systems Corporation Apparatus and method for medical image reconstruction using deep learning for computed tomography (CT) image noise and artifacts reduction
JP7246903B2 (ja) 2017-12-20 2023-03-28 キヤノンメディカルシステムズ株式会社 医用信号処理装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008167949A (ja) 2007-01-12 2008-07-24 Fujifilm Corp 放射線画像処理方法および装置ならびにプログラム
JP2017094097A (ja) 2015-11-27 2017-06-01 株式会社東芝 医用画像処理装置、ｘ線コンピュータ断層撮像装置及び医用画像処理方法

Also Published As

Publication number Publication date
JP2022169790A (ja) 2022-11-09
JP6843924B2 (ja) 2021-03-17
JP2019181226A (ja) 2019-10-24
US20220202306A1 (en) 2022-06-30
CN110121293A (zh) 2019-08-13
EP3714784A4 (en) 2021-08-04
JP6545887B2 (ja) 2019-07-17
JP2024009074A (ja) 2024-01-19
CN116741353A (zh) 2023-09-12
JP7386944B2 (ja) 2023-11-27
CN110121293B (zh) 2023-07-04
JP2019093126A (ja) 2019-06-20
US11278213B2 (en) 2022-03-22
EP3714784A1 (en) 2020-09-30
US20190336033A1 (en) 2019-11-07
CN116741352A (zh) 2023-09-12
JP2021090825A (ja) 2021-06-17
WO2019102846A1 (ja) 2019-05-31

Similar Documents

Publication Publication Date Title
JP7139474B2 (ja) 医用データ処理装置、ｘ線コンピュータ断層撮影装置及び学習済みモデル生成方法
JP5734664B2 (ja) 希薄化制約補正を用いた画像復元法
CN101278863B (zh) 超声波诊断装置、乳房成像系统以及乳房成像方法
JP2009533086A (ja) トモシンセシス技術を用いた患者の位置決め
JP2003325499A (ja) マルチ・モダリティ型ｘ線及び核医学マンモグラフィ・イメージング・システム及び撮像方法
CN106456088A (zh) 用于连续运动乳房断层摄影的系统和方法
US11615530B2 (en) Medical data processing apparatus for reconstructing a medical image using a neural network
JP2003232855A (ja) 断層像作成装置及び断層像作成方法並びに放射線検査装置
CN105962959A (zh) 对于虚拟x射线量子能量分布产生图像的方法和拍摄装置
JP7254656B2 (ja) 医用画像処理装置、医用画像診断装置及び核医学診断装置
JP2005058428A (ja) 病巣位置特定システム及び放射線検査装置
JP2024001297A (ja) 医用データ処理装置、医用画像診断装置、医用データ処理方法、および医用データ処理プログラム
JP7206073B2 (ja) 医用画像処理装置、医用画像生成装置、医用画像処理方法、およびプログラム
US11587680B2 (en) Medical data processing apparatus and medical data processing method
US20230134630A1 (en) Inference apparatus, medical image diagnostic apparatus, inference method, and trained neural network generation method
WO2016077865A1 (en) Single/limited angle gamma/x-ray tomography
Johnson et al. Bioimage synthesis and analysis from x-ray, gamma, optical and ultrasound energy
JP2022186050A (ja) Ｘ線コンピュータ断層撮影装置、学習装置及び超音波診断装置
JP2020177333A (ja) 医用情報処理システム、および医用情報処理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210222

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220809

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220907

R150 Certificate of patent or registration of utility model

Ref document number: 7139474

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150