JP7106307B2 - Medical image diagnostic apparatus, medical signal restoration method, medical signal restoration program, model learning method, model learning program, and magnetic resonance imaging apparatus - Google Patents
Medical image diagnostic apparatus, medical signal restoration method, medical signal restoration program, model learning method, model learning program, and magnetic resonance imaging apparatus Download PDFInfo
- Publication number
- JP7106307B2 JP7106307B2 JP2018046845A JP2018046845A JP7106307B2 JP 7106307 B2 JP7106307 B2 JP 7106307B2 JP 2018046845 A JP2018046845 A JP 2018046845A JP 2018046845 A JP2018046845 A JP 2018046845A JP 7106307 B2 JP7106307 B2 JP 7106307B2
- Authority
- JP
- Japan
- Prior art keywords
- signal data
- input signal
- data
- restoration
- signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 53
- 230000013016 learning Effects 0.000 title claims description 49
- 238000002595 magnetic resonance imaging Methods 0.000 title claims description 17
- 230000006870 function Effects 0.000 claims description 267
- 238000012545 processing Methods 0.000 claims description 197
- 238000002059 diagnostic imaging Methods 0.000 claims description 38
- 238000013527 convolutional neural network Methods 0.000 claims description 21
- 230000006866 deterioration Effects 0.000 claims description 16
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 238000003745 diagnosis Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 63
- 230000015654 memory Effects 0.000 description 19
- 239000013598 vector Substances 0.000 description 14
- 238000004364 calculation method Methods 0.000 description 9
- 238000003384 imaging method Methods 0.000 description 9
- 238000002600 positron emission tomography Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 238000004891 communication Methods 0.000 description 5
- 229910052704 radon Inorganic materials 0.000 description 5
- SYUHGPGVQRZVTB-UHFFFAOYSA-N radon atom Chemical compound [Rn] SYUHGPGVQRZVTB-UHFFFAOYSA-N 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000005259 measurement Methods 0.000 description 4
- NJPPVKZQTLUDBO-UHFFFAOYSA-N novaluron Chemical compound C1=C(Cl)C(OC(F)(F)C(OC(F)(F)F)F)=CC=C1NC(=O)NC(=O)C1=C(F)C=CC=C1F NJPPVKZQTLUDBO-UHFFFAOYSA-N 0.000 description 4
- 239000002131 composite material Substances 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 239000002184 metal Substances 0.000 description 3
- 238000001514 detection method Methods 0.000 description 2
- 230000010365 information processing Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000003068 static effect Effects 0.000 description 2
- 238000012549 training Methods 0.000 description 2
- ORILYTVJVMAKLC-UHFFFAOYSA-N Adamantane Natural products C1C(C2)CC3CC1CC2C3 ORILYTVJVMAKLC-UHFFFAOYSA-N 0.000 description 1
- 230000003213 activating effect Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000002591 computed tomography Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012886 linear function Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000001537 neural effect Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
- 238000003325 tomography Methods 0.000 description 1
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/02—Devices for diagnosis sequentially in different planes; Stereoscopic radiation diagnosis
- A61B6/03—Computerised tomographs
- A61B6/032—Transmission computed tomography [CT]
- A61B6/035—Mechanical aspects of CT
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5258—Devices using data or image processing specially adapted for radiation diagnosis involving detection or reduction of artifacts or noise
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
- G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
- G01R33/5611—Parallel magnetic resonance imaging, e.g. sensitivity encoding [SENSE], simultaneous acquisition of spatial harmonics [SMASH], unaliasing by Fourier encoding of the overlaps using the temporal dimension [UNFOLD], k-t-broad-use linear acquisition speed-up technique [k-t-BLAST], k-t-SENSE
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
- G01R33/561—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences
- G01R33/5619—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution by reduction of the scanning time, i.e. fast acquiring systems, e.g. using echo-planar pulse sequences by temporal sharing of data, e.g. keyhole, block regional interpolation scheme for k-Space [BRISK]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/048—Activation functions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
- G06N3/084—Backpropagation, e.g. using gradient descent
-
- G06T5/60—
-
- G06T5/77—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B2576/00—Medical imaging apparatus involving image processing or analysis
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
- A61B5/0004—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by the type of physiological signal transmitted
- A61B5/0013—Medical image data
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0033—Features or image-related aspects of imaging apparatus classified in A61B5/00, e.g. for MRI, optical tomography or impedance tomography apparatus; arrangements of imaging apparatus in a room
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves
- A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B6/00—Apparatus for radiation diagnosis, e.g. combined with radiation therapy equipment
- A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
- A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
- G01R33/00—Arrangements or instruments for measuring magnetic variables
- G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
- G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
- G01R33/48—NMR imaging systems
- G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
- G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
- G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10081—Computed x-ray tomography [CT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10072—Tomographic images
- G06T2207/10088—Magnetic resonance imaging [MRI]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20048—Transform domain processing
- G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30004—Biomedical image processing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
Description
本発明の実施形態は、医用画像診断装置、医用信号復元方法、医用信号復元プログラム、モデル学習方法、モデル学習プログラム、および磁気共鳴イメージング装置に関する。 Embodiments of the present invention relate to a medical image diagnostic apparatus, a medical signal restoration method, a medical signal restoration program, a model learning method, a model learning program, and a magnetic resonance imaging apparatus.
信号の一部が欠損したデータから元の信号を復元するために、多くの学習データから学習した深層ニューラルネットワーク(Deep Neural Network;DNN)を適用する手法がある。例えば、ある画像の一部が欠損しており、且つ欠損している部分が未知の場合に、欠損している部分を補って元の画像を復元する手法がある。また、例えば、磁気共鳴イメージング(Magnetic Resonance Imaging;MRI)において、アンダーサンプリングされたk空間データにDNNを適用して欠損部分が復元されたk空間データを作成し、復元後のk空間データに基づいて復元画像を得る手法がある。 There is a method of applying a deep neural network (DNN) learned from a large amount of learning data in order to restore the original signal from data in which a part of the signal is lost. For example, there is a method of restoring the original image by supplementing the missing portion when a certain image is partially missing and the missing portion is unknown. Further, for example, in magnetic resonance imaging (MRI), applying DNN to undersampled k-space data to create k-space data in which missing portions are restored, and based on the restored k-space data There is a method of obtaining a restored image by
本発明が解決しようとする課題は、信号の復元精度を向上することである。 The problem to be solved by the present invention is to improve the signal restoration accuracy.
実施形態に係る医用画像診断装置は、医用撮像部と、処理部とを備える。医用撮像部は、被検体に対して医用撮像を行うことによって医用信号データを生成する。処理部は、医用信号データに相当する入力信号データに第1の復元関数を適用して初期復元信号データを生成し、初期復元信号データと入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって第1の要素積信号データを生成し、入力信号データおよび初期復元信号データのうちの少なくとも一つと、第1の要素積信号データとに第2の復元関数を適用して復元信号データを生成する。 A medical image diagnostic apparatus according to an embodiment includes a medical imaging unit and a processing unit. The medical imaging unit generates medical signal data by performing medical imaging on a subject. The processing unit applies a first restoration function to input signal data corresponding to medical signal data to generate initial restoration signal data, and the reliability data representing the degree of deterioration included in the initial restoration signal data and the input signal data. and applying a second reconstruction function to at least one of the input signal data and the initial reconstructed signal data and the first element product signal data. to generate restored signal data.
以下、図面を参照しながら、信号復元装置、信号復元方法、信号復元プログラム、モデル学習方法、およびモデル学習プログラムの実施形態について詳細に説明する。 Hereinafter, embodiments of a signal restoration device, a signal restoration method, a signal restoration program, a model learning method, and a model learning program will be described in detail with reference to the drawings.
(第1の実施形態)
図1は、第1の実施形態に係る信号復元装置の構成例を示す図である。図1の信号復元装置1は、DNNにおける順伝播機能を備えた装置である。信号復元装置1は、特定用途向け集積回路(Application Specific Integrated Circuit;ASIC)やFPGA(Field-Programmable Gate Array)などの集積回路により実現される。以下、信号復元装置1は、ASICであるとする。
(First embodiment)
FIG. 1 is a diagram showing a configuration example of a signal restoration device according to the first embodiment. A
図1に示すように、本実施形態に係る信号復元装置1は、処理回路11と、メモリ12と、入力インタフェース13と、出力インタフェース14とを備える。処理回路11と、メモリ12と、入力インタフェース13と、出力インタフェース14とは、バスを介して互いに接続されている。
As shown in FIG. 1, the
処理回路11は、順伝播機能11aを実行するために設計された回路素子または論理回路の組合せである。順伝播機能11aは、例えば、DNNにおける順伝播型ネットワークの学習済み機械学習モデル(以降では、学習済みモデルと呼ぶ)を用いて、入力に対する出力を推定(生成)する機能である。尚、処理回路11は、処理部の実現手段の一例である。
図2は、第1の実施形態における学習済みモデルの入力と出力との組合せの一例を示す図である。図2の学習済みモデル2は、処理回路11の順伝播機能11aにおいて用いられる。処理回路11は、入力インタフェース13を介して入力された入力信号と当該入力信号に関する信頼度データとに、学習済みモデル2を適用して出力信号(復元信号)を生成する。そして、処理回路11は、生成した復元信号を、出力インタフェース14を介して出力する。尚、入力信号および復元信号は、入力信号データおよび復元信号データと呼ばれてもよい。
FIG. 2 is a diagram showing an example of combinations of inputs and outputs of a trained model according to the first embodiment. The trained
信頼度データは、入力信号の信頼度を示すデータである。信頼度は、例えば入力信号に含まれる劣化の程度を表す。具体的には、信頼度データは、例えば入力信号における欠損部分と当該欠損部分以外の部分とを示す情報を有する。欠損部分とは、例えばデータが欠損している部分や復元したい対象物の値(例えば、画素値)とは異なる値を有する部分などである。信頼度データは、例えば、欠損部分を「ゼロ」で表し、当該欠損以外の部分を「1」で表したマスクデータとして表現できる。即ち、欠損部分を有する入力信号は、復元信号にマスクデータを適用した信号と考えることができる。このことから、入力信号を「劣化信号」と表現することもある。 The reliability data is data indicating the reliability of the input signal. The reliability represents, for example, the degree of deterioration included in the input signal. Specifically, the reliability data has, for example, information indicating missing portions and portions other than the missing portions in the input signal. The missing portion is, for example, a portion with missing data or a portion having a value different from the value (for example, pixel value) of the object to be restored. Reliability data can be expressed as mask data in which, for example, missing parts are represented by "zero" and parts other than the missing parts are represented by "1". In other words, an input signal having missing portions can be considered as a signal obtained by applying mask data to a restored signal. For this reason, the input signal is sometimes expressed as a "degraded signal".
また、信頼度データは、例えば入力信号の確からしさを示す情報を有してもよい。このとき、信頼度データは、信号の確からしさを「ゼロ」から「1」までの数値(例えば、不動小数値)で表したマスクデータとして表現する。例えば、入力信号が画像に相当するデータ(入力画像)として表現される場合、信頼度データは、入力画像の画素位置に対応する位置(例えば、ベクトルの要素の位置)に数値情報を有する。 The reliability data may also have information indicating the certainty of the input signal, for example. At this time, the reliability data is expressed as mask data that expresses the probability of the signal with a numerical value from "zero" to "1" (for example, a fixed decimal number). For example, if the input signal is represented as data corresponding to an image (input image), the reliability data has numerical information at positions corresponding to pixel positions of the input image (eg, vector element positions).
信頼度データとして、欠損部分を「ゼロ」および欠損部分以外の部分を「1」と表現し、入力信号の確からしさを「ゼロ」から「1」までの数値で表現したが、これに限らない。信頼度データは、「欠損部分」、「欠損以外の部分」、および「入力信号の確からしさ」にそれぞれ対応する数値が定義されていればどのような数値で表現されてもよい。 As the reliability data, the missing part is expressed as "zero" and the part other than the missing part is expressed as "1", and the probability of the input signal is expressed as a numerical value from "zero" to "1", but it is not limited to this. . Reliability data may be expressed by any numerical values as long as numerical values corresponding to "missing portion", "non-missing portion", and "probability of input signal" are defined.
順伝播機能11aにおいて処理回路11は、入力信号と信頼度データとの入力を受け付ける。そして、処理回路11は、入力信号と信頼度データとに学習済みモデル2を適用し、入力信号に対応する復元信号を生成する。復元信号は、入力信号に含まれる信号欠損部分が復元された信号である。即ち、学習済みモデル2は、信号欠損を含む入力信号と当該信号欠損を特定する信頼度データとを入力して、当該信号欠損を含まない信号を出力できるようにパラメータが学習されたDNNである。パラメータとは、例えば順伝播型ネットワークにおける重み付き行列およびバイアスの組合せである。尚、学習済みモデル2は、複数のDNNによって実現されてもよい。
In the
メモリ12は、ROM(Read Only Memory)やRAM(Random Access Memory)などの任意の情報を記憶する回路素子である。例えば、メモリ12は、順伝播機能11aの実行時に得られた計算結果などを記憶する。
The
入力インタフェース13は、処理回路11への入力のためのインタフェースである。入力インタフェース13は、例えば、入力信号と信頼度データとを処理回路11に入力する。入力信号と信頼度データとは、例えば、信号復元装置1を搭載するコンピュータにより選択される。
The
出力インタフェース14は、処理回路11からの出力のためのインタフェースである。出力インタフェース14は、例えば、処理回路11から出力された復元信号をコンピュータ、ネットワーク、または記憶装置などに出力する。
The
図3は、第1の実施形態における学習済みモデルの入力と出力との組合せの具体例を示す図である。図3に示すように、学習済みモデル2は、入力信号yの入力と、信頼度データmの入力とを受け付ける。
FIG. 3 is a diagram showing specific examples of combinations of inputs and outputs of a trained model in the first embodiment. As shown in FIG. 3, the trained
入力信号yは、例えば医用画像データや距離画像データに相当する。以降において、説明の便宜上、入力信号yを画像データと見做して説明を行う。しかしながら、入力信号は画像データに限定されない。 The input signal y corresponds to, for example, medical image data or distance image data. Hereinafter, for convenience of explanation, the input signal y is assumed to be image data. However, the input signal is not limited to image data.
入力信号yは、例えば欠損部分21を含む。欠損部分21は、例えば、マスクされており本来あるべき画素値とは異なる画素値となっている部分や、所望の画像の一部が遮へいされている部分などである。
The input signal y contains, for example, a missing
信頼度データmは、例えば、入力信号yの各画素値の信頼度に関するデータである。信頼度データmは、欠損データ22と収集データ23とを含む。欠損データ22は、入力信号yの欠損部分21に対応し、例えば「ゼロ」の数値で表現される。収集データ23は、欠損部分21以外の部分に対応し、例えば「1」の数値で表現される。
The reliability data m is, for example, data relating to the reliability of each pixel value of the input signal y. The reliability data m includes missing
入力信号yと信頼度データmとに学習済みモデル2が適用され、入力信号yに対応する復元信号xが生成される。復元信号xは、入力信号yに含まれる欠損部分21が復元された、当該入力信号yに対応する。
A trained
図4は、第1の実施形態における学習済みモデルの構成の一例を示す図である。図4に示すように、学習済みモデル2Aは、任意のデータに対して、復元関数R(0)を適用する処理と、演算関数G(i)および復元関数R(i)の組合せをn回適用する処理とで構成される(i=1~n(nは1以上の整数))。尚、前述の「パラメータが学習されたDNN」とは、上記各関数のパラメータが最適化されているDNNと同様の意味である。また、復元関数R(0)は第1の復元関数と称されてもよく、復元関数R(i)は第2の復元関数と称されてもよい。
FIG. 4 is a diagram illustrating an example of a configuration of a trained model according to the first embodiment; As shown in FIG. 4, the trained
復元関数R(0)は、例えばDNNにより構成される。復元関数R(0)は、入力信号yから復元信号x0を生成する演算を行う。復元信号x0は、例えば入力信号yにDNNを適用して生成される。処理回路11は、入力信号yに復元関数R(0)を適用して復元信号x0を生成する。尚、復元信号x0は、初期復元信号、或いは初期復元信号データと呼ばれてもよい。
The restoration function R (0) is constructed by DNN, for example. The reconstruction function R (0) performs an operation to generate the reconstructed signal x 0 from the input signal y. The reconstructed signal x0 is generated, for example, by applying a DNN to the input signal y. The
また、復元関数R(0)は、DNNで構成されなくてもよい。復元関数R(0)が、DNNで構成されない場合、復元信号x0は、例えば入力信号yに含まれる欠損部分を推定して当該欠損部分を近傍の信号値で置き換える処理をして生成される。また、復元信号x0は、入力信号yに任意のフィルタを適用して生成されてもよい。 Also, the restoration function R (0) does not have to be composed of a DNN. When the restoration function R (0) is not composed of a DNN, the restoration signal x 0 is generated, for example, by estimating the missing portion included in the input signal y and replacing the missing portion with a nearby signal value. . Also, the restored signal x0 may be generated by applying an arbitrary filter to the input signal y .
演算関数G(i)は、復元信号xi-1と信頼度データmとの要素積(これはアダマール積とも称する)を行うことによってマスク信号mai(第1の要素積信号とも称する)を生成する演算を行う。マスク信号maiは、例えば信頼度データmに基づいて、復元信号xi-1におけるマスクされている部分(或いは欠損部分)が抽出されたものである。処理回路11は、信頼度データmおよび復元信号xi-1に演算関数G(i)を適用してマスク信号maiを生成する。尚、マスク信号および第1の要素積信号は、マスク信号データおよび第1の要素積信号データと呼ばれてもよい。
Arithmetic function G (i) obtains mask signal ma i (also referred to as first element product signal) by performing an element product (also referred to as Hadamard product) of reconstructed signal x i−1 and reliability data m. Perform operations to generate. The mask signal ma i is obtained by extracting a masked portion (or missing portion) in the restored signal x i−1 based on the reliability data m, for example. Processing
要素積をとる(要素積を算出する)2つのデータの要素の数は等しいことが望ましい。しかしながら、2つのデータの要素の数は異なっていてもよい。2つのデータの要素の数が異なる場合、一方のデータの要素の数に他方のデータの要素の数を一致させるなどの処理を行ったうえで要素積を行えばよい。 It is desirable that the number of elements of the two data for which the element product is taken (the element product is calculated) be equal. However, the number of elements of the two data may differ. When the number of elements of two data is different, the number of elements of one data may be matched with the number of elements of the other data, and then the element product may be performed.
復元関数R(i)は、例えばDNNにより構成される。復元関数R(i)は、入力信号y、復元信号xi-1、およびマスク信号maiから復元信号xiを生成する演算を行う。復元信号xiは、例えば入力信号y、復元信号xi-1、およびマスク信号maiにDNNを適用して生成される。処理回路11は、入力信号y、直前の復元関数R(i-1)から出力された復元信号xi-1、およびマスク信号maiに復元関数R(i)を適用して復元信号xiを生成する。尚、復元関数R(n)によって生成された復元信号xnは、出力信号xに相当する。
The restoration function R (i) is constructed by DNN, for example. The reconstruction function R (i) performs an operation to generate the reconstructed signal x i from the input signal y, the reconstructed signal x i−1 , and the masked signal ma i . The reconstructed signal x i is generated, for example, by applying the DNN to the input signal y, the reconstructed signal x i−1 , and the mask signal ma i . The
復元関数R(0)および復元関数R(i)などで用いられるDNNは、多数の関数を組み合わせた合成関数で表すことができる。当該多数の関数には、例えば、線形結合(Linear Function)、畳み込み(convolution)、ReLU(Rectified Linear Unit)などが用いられ、各々はレイヤとも呼ばれる。特に、convolutionやReLUを備えたDNNを、CNNと呼ぶ。復元関数R(0)および復元関数R(i)は、CNNが用いられてもよい。尚、DNNは、パラメータ付き合成関数として表現されてもよい。 The DNN used for the restoration function R (0) , the restoration function R (i) , etc. can be represented by a composite function combining many functions. A linear combination (Linear Function), a convolution (convolution), a ReLU (Rectified Linear Unit), etc. are used for the said large number of functions, and each is also called a layer. In particular, a DNN with convolution and ReLU is called a CNN. CNN may be used for the restoration function R (0) and the restoration function R (i) . Note that the DNN may be expressed as a parameterized composite function.
復元関数R(i)におけるそれぞれの関数は、すべて異なる関数である。しかし、これらの関数は、必ずしもすべて異なる関数とする必要はない。復元関数R(i)におけるそれぞれの関数は、例えば、リカレントネットワーク用の関数(例えば、LSTM(Long Short Term Memory))を含めたうえで、同じ関数を用いてもよい。尚、復元関数R(0)についても同様に上記関数に含めてもよい。 Each function in the restoration function R (i) is a different function. However, these functions do not necessarily have to be different functions. Each function in the restoration function R (i) may include, for example, a function for a recurrent network (eg, LSTM (Long Short Term Memory)) and use the same function. Note that the restoration function R (0) may also be included in the above functions.
図5は、図4の学習済みモデル2Aの構成における信号復元処理の流れを示す図である。ユーザにより入力インタフェース13を介して信号復元処理の開始指示がなされると、処理回路11は、順伝播機能11aを実行し、図5に示す処理を開始する。
FIG. 5 is a diagram showing the flow of signal restoration processing in the configuration of the trained
(ステップSA1)
処理回路11は、入力信号yおよび信頼度データmを入力する。
(Step SA1)
The
(ステップSA2)
処理回路11は、入力信号yに復元関数R(0)を適用して復元信号x0を生成する。
(Step SA2)
The
図6は、図4の復元関数R(0)に関する説明図である。図6に示すように、処理回路11は、入力信号yに復元関数R(0)を適用して復元信号x0を生成する。
FIG. 6 is an explanatory diagram of the restoration function R (0) in FIG. As shown in FIG. 6, the
(ステップSA3)
処理回路11は、変数iに「1」を代入する。
(Step SA3)
The
(ステップSA4)
処理回路11は、信頼度データmおよび復元信号xi-1に演算関数G(i)を適用してマスク信号maiを生成する。例えば、変数iに「1」が代入されている場合、処理回路11は、信頼度データmおよび復元信号x0に演算関数G(1)を適用してマスク信号ma1を生成する。例えば、演算関数G(1)は、信頼度データmと復元信号x0との要素積を行い、マスク信号ma1を生成する関数である。
(Step SA4)
Processing
なお、学習済みモデルにおいて演算関数G(i)を2つ以上実装する場合(即ち、i≧2)、各々の演算関数における信頼度データに対して異なる重みづけをしてもよい。演算関数G(i)を3つ実装する場合、例えば、演算関数G(1)は「1×m」の重みとし、演算関数G(2)は「(0.8×m)+0.2」の重みとし、演算関数G(3)は「(0.6×m)+0.4」の重みとする。演算関数G(i)の重みは、典型的には入力から出力にかけて小さくなるように設定されるが、当該設定に限定されない。 When two or more calculation functions G (i) are implemented in the trained model (i.e., i≧2), different weights may be applied to the reliability data in each calculation function. When three arithmetic functions G (i) are implemented, for example, the arithmetic function G (1) has a weight of “1×m” and the arithmetic function G (2) has a weight of “(0.8×m)+0.2”. and the calculation function G (3) has a weight of “(0.6×m)+0.4”. The weight of the arithmetic function G (i) is typically set so that it decreases from the input to the output, but is not limited to this setting.
図7は、図4の演算関数G(1)に関する説明図である。図7に示すように、処理回路11は、信頼度データmおよび復元信号x0に演算関数G(1)を適用してマスク信号ma1を生成する。具体的には、処理回路11は、復元信号x0の欠損部分24を抽出するために信頼度データmの欠損データ22を用いて、欠損部分24に対応する欠損部分25のみが抽出されたマスク信号ma1を生成する。
FIG. 7 is an explanatory diagram of the arithmetic function G (1) in FIG. As shown in FIG. 7, processing
上記では演算関数G(1)を例に用いて説明したが、図4に図示した通り、演算関数G(2)から演算関数G(n)の各々についても同様の手法を用いることが可能である。 In the above description, the calculation function G (1) was used as an example, but as shown in FIG. 4, the same method can be used for each of the calculation functions G (2) to G (n) . be.
(ステップSA5)
処理回路11は、入力信号yと復元信号xi-1とマスク信号maiとに復元関数R(i)を適用して復元信号xiを生成する。例えば、変数iに「1」が代入されている場合、処理回路11は、入力信号yと復元信号x0とマスク信号ma1とに復元関数R(1)を適用して復元信号x1を生成する。
(Step SA5)
The
図8は、図4の復元関数R(1)に関する説明図である。図8に示すように、処理回路11は、入力信号yと復元信号x0とマスク信号ma1とに復元関数R(1)を適用して復元信号x1を生成する。
FIG. 8 is an explanatory diagram of the restoration function R (1) in FIG. As shown in FIG. 8, the
図9は、図4の復元関数R(1)の具体的な構成例を示す図である。図9に示すように、第1の実施形態に係る復元関数R(1)は、入力層31と、中間層32と、出力層33とを有する。
FIG. 9 is a diagram showing a specific configuration example of the restoration function R (1) in FIG. As shown in FIG. 9, the restoration function R (1) according to the first embodiment has an
入力層31は、入力信号yと、復元信号x0と、マスク信号ma1とを入力する。例えば、入力信号yと、復元信号x0と、マスク信号ma1との成分(例えば、信号値)は、単一の入力ベクトル310として入力層31に入力される。ここで、入力信号yの成分がN個、復元信号x0の成分がN個、マスク信号ma1の成分がN個であるとすると、入力層31には3・N個の入力ユニットが設けられる。
The
入力層31は、入力信号yのための入力ユニットの範囲(第1の入力範囲)310aと、復元信号x0のための入力ユニットの範囲(第2の入力範囲)310bと、マスク信号ma1のための入力ユニットの範囲(第3の入力範囲)310cとに区分される。
The
第1の入力範囲310aは、入力信号yのI番目の信号値yI(1≦I≦N)が入力されるN個の入力ユニットを含む。第2の入力範囲310bは、復元信号x0のJ番目の信号値x0_J(1≦J≦N)が入力されるN個の入力ユニットを含む。第3の入力範囲310cは、マスク信号ma1のK番目の信号値ma1_K(1≦K≦N)が入力されるN個の入力ユニットを含む。尚、画像を復元関数R(1)に入力する場合、成分は画素値である。
The
出力層33は、復元信号x1を出力する。復元信号x1は、単一の出力ベクトル330の形態で出力層33から出力される。出力ベクトル330は、複数の信号値x1_J(1≦J≦N)を含む。各信号値x1_Jは、復元信号x1の各信号の信号値である。出力層33の出力ユニットの範囲(出力範囲)330aは、単一の復元信号x1のための範囲に限定される。
The
第1の入力範囲310aへの入力と、第2の入力範囲310bへの入力と、第3の入力範囲310cとへの入力との組合せは、復元関数R(1)の適用時と学習時とで等しいことを期待している。例えば、復元関数R(1)の学習において、入力ベクトルを[入力信号y,復元信号x0,マスク信号ma1]とした場合、復元関数R(1)の適用時においても、入力ベクトルを[入力信号y,復元信号x0,マスク信号ma1]とし、[復元信号x0,入力信号y,マスク信号ma1]とすることは可能であるが、期待する結果が得られない可能性がある。また、復元関数R(1)の適用時と学習時とで入力層へ入力されるベクトルの要素の順番が等しければ、当該ベクトルの要素の順番は上記に拘泥されない。
The combination of the input to the
上記では復元関数R(1)を例に用いて説明したが、図4に図示した通り、復元関数R(2)から復元関数R(n)の各々についても同様の手法を用いることが可能である。 In the above description, the restoration function R (1) was used as an example, but as shown in FIG. 4, the same method can be used for each of the restoration functions R (2) to R (n) . be.
(ステップSA6)
処理回路11は、変数iに所定の数「n」が代入されているか否かを判定する。変数iに所定の数「n」が代入されている場合(ステップSA6「YES」)、処理回路11は、ステップSA8の処理を行う。変数iに任意の数「n」が代入されていない場合(ステップSA6「NO」)、処理回路11は、ステップSA7の処理を行う。
(Step SA6)
The
(ステップSA7)
処理回路11は、変数iをインクリメントする。例えば、変数iに「1」が代入されている場合、処理回路11は、変数iに「2」を代入する。ステップSA7の処理の後、処理はステップSA4へと戻る。
(Step SA7)
Processing
(ステップSA8)
処理回路11は、復元関数R(n)によって生成された復元信号xnを出力信号xとして出力する。
(Step SA8)
The
図10は、第1の実施形態におけるCNNの構成例を示す図である。図10のCNN4は、例えば復元関数R(0)や復元関数R(i)で用いられ、特に、入力信号および復元信号が画像データの場合に適している。 FIG. 10 is a diagram illustrating a configuration example of a CNN in the first embodiment; CNN4 in FIG. 10 is used, for example, in restoration function R (0) and restoration function R (i) , and is particularly suitable when the input signal and restoration signal are image data.
図10に示すように、CNN4は、畳み込み演算(convolution)41と、正規化線形関数(Rectified Linear Unit;ReLU)42と、convolution43と、ReLU44と、加算部45とを備える。尚、CNN4は、入力層および出力層などの図示を省略している。また、CNN4は、加算部45を備えなくてもよい。
As shown in FIG. 10 , the
convolution41は、入力画像のマトリクスサイズよりも小さいカーネルサイズを有するフィルタを用いて、当該入力画像の特徴を抽出する。具体的には、convolution41は、入力画像とフィルタとの重なり合う画素同士の積を求め、フィルタ全体の和を求めることによって、当該入力画像の特徴となり得る特徴量を算出する。
The
ReLU42は、入力された信号値のうちゼロ以上の値をそのまま出力し、それ以外の値をゼロとして出力する。具体的には、ReLU42は、convolution41によって算出された特徴量のうちゼロ以上の値をそのまま出力し、それ以外の値をゼロとして出力する。
The
convolution43およびReLU44は、入力されるデータが異なる点を除き、convolution41およびReLU42とほぼ同様の処理を行う。
The
加算部45は、ReLU44の出力に対して入力画像の画素値を加算する。加算部45を用いることによって、CNN4は、ある層からの最適な出力を学習するのではなく、ある層の入力を参照した関数を学習することができる。
The
図11は、第1の実施形態における学習済みモデルの構成の別の例を示す図である。図11に示すように、学習済みモデル2Bは、任意のデータに対して、復元関数R(0)を適用する処理と、演算関数G(i)および復元関数R(i)の組合せをn回適用する処理とで構成される(i=1~n(nは1以上の整数))。学習済みモデル2Bは、復元関数R(i)への入力が異なる点について学習済みモデル2Aとは異なる。
FIG. 11 is a diagram showing another example of the configuration of a trained model in the first embodiment. As shown in FIG. 11, the trained
学習済みモデル2Bにおいて、復元関数R(i)は、入力信号yおよびマスク信号maiから復元信号xiを生成する関数である。復元信号xiは、例えば入力信号yおよびマスク信号maiにDNNを適用して生成される。処理回路11は、入力信号yおよびマスク信号maiに復元関数R(i)を適用して復元信号xiを生成する。
In the trained
図12は、図11の学習済みモデル2Bの構成における信号復元処理の流れを示す図である。ユーザにより入力インタフェース13を介して信号復元処理の開始指示がなされると、処理回路11は、順伝播機能11aを実行し、図12に示す処理を開始する。
FIG. 12 is a diagram showing the flow of signal restoration processing in the configuration of the trained
(ステップSB1)
処理回路11は、入力信号yおよび信頼度データmを入力する。
(Step SB1)
The
(ステップSB2)
処理回路11は、入力信号yに復元関数R(0)を適用して復元信号x0を生成する。
(Step SB2)
The
(ステップSB3)
処理回路11は、変数iに「1」を代入する。
(Step SB3)
The
(ステップSB4)
処理回路11は、信頼度データmおよび復元信号xi-1に演算関数G(i)を適用してマスク信号maiを生成する。
(Step SB4)
Processing
(ステップSB5)
処理回路11は、入力信号yおよびマスク信号maiに復元関数R(i)を適用して復元信号xiを生成する。
(Step SB5)
Processing
(ステップSB6)
処理回路11は、変数iに所定の数「n」が代入されているか否かを判定する。変数iに所定の数「n」が代入されている場合(ステップSB6「YES」)、処理回路11は、ステップSB8の処理を行う。変数iに任意の数「n」が代入されていない場合(ステップSB6「NO」)、処理回路11は、ステップSB7の処理を行う。
(Step SB6)
The
(ステップSB7)
処理回路11は、変数iをインクリメントする。ステップSB7の処理の後、処理はステップSB4へと戻る。
(Step SB7)
Processing
(ステップSB8)
処理回路11は、復元関数R(n)によって生成された復元信号xnを出力信号xとして出力する。
(Step SB8)
The
図13は、第1の実施形態における学習済みモデルの構成の別の例を示す図である。図13に示すように、学習済みモデル2Cは、任意のデータに対して、演算関数G(0)を適用する処理と、復元関数R(i)をn回適用する処理とで構成される(i=1~n(nは1以上の整数))。学習済みモデル2Cは、演算関数G(i)を利用せず、演算関数G(0)を利用する点において、学習済みモデル2Aとは異なる。
FIG. 13 is a diagram illustrating another example of the configuration of a trained model in the first embodiment; As shown in FIG. 13, the trained
演算関数G(0)は、入力信号yと信頼度データmとの要素積を行い、マスク信号ma0(第2の要素積信号、或いは要素積信号とも称する)を生成する関数である。このとき、2つのデータの要素の数の条件は、演算関数G(i)の場合と同様である。処理回路11は、入力信号yと信頼度データmに演算関数G(0)を適用してマスク信号ma0を生成する。尚、第2の要素積信号および要素積信号は、第2の要素積信号データおよび要素積信号データと呼ばれてもよい。
The arithmetic function G (0) is a function that performs an element product of the input signal y and the reliability data m to generate a mask signal ma 0 (also referred to as a second element product signal or an element product signal). At this time, the conditions for the number of elements of the two data are the same as in the case of the arithmetic function G (i) . The
学習済みモデル2Cにおいて、復元関数R(i)は、入力信号y、復元信号xi-1、およびマスク信号ma0から復元信号xiを生成する関数である。復元信号xiは、例えば入力信号y、復元信号xi-1、およびマスク信号ma0にDNNを適用して生成される。処理回路11は、入力信号y、復元信号xi-1、およびマスク信号ma0に復元関数R(i)を適用して復元信号xiを生成する。
In the trained
図14は、図13の学習済みモデル2Cの構成における信号復元処理の流れを示す図である。ユーザにより入力インタフェース13を介して信号復元処理の開始指示がなされると、処理回路11は、順伝播機能11aを実行し、図14に示す処理を開始する。
FIG. 14 is a diagram showing the flow of signal restoration processing in the configuration of the trained
(ステップSC1)
処理回路11は、入力信号yおよび信頼度データmを入力する。
(Step SC1)
The
(ステップSC2)
処理回路11は、入力信号yおよび信頼度データmに演算関数G(0)を適用してマスク信号ma0を生成する。
(Step SC2)
Processing
(ステップSC3)
処理回路11は、入力信号yに復元関数R(0)を適用して復元信号x0を生成する。
(Step SC3)
The
(ステップSC4)
処理回路11は、変数iに「1」を代入する。
(Step SC4)
The
(ステップSC5)
処理回路11は、入力信号yと復元信号xi-1とマスク信号ma0とに復元関数R(i)を適用して復元信号xiを生成する。
(Step SC5)
The
(ステップSC6)
処理回路11は、変数iに所定の数「n」が代入されているか否かを判定する。変数iに所定の数「n」が代入されている場合(ステップSC6「YES」)、処理回路11は、ステップSC8の処理を行う。変数iに任意の数「n」が代入されていない場合(ステップSC6「NO」)、処理回路11は、ステップSC7の処理を行う。
(Step SC6)
The
(ステップSC7)
処理回路11は、変数iをインクリメントする。ステップSC7の処理の後、処理はステップSC5へと戻る。
(Step SC7)
Processing
(ステップSC8)
処理回路11は、復元関数R(n)によって生成された復元信号xnを出力信号xとして出力する。
(Step SC8)
The
図15は、第1の実施形態における学習済みモデルの構成の別の例を示す図である。図15に示すように、学習済みモデル2Dは、任意のデータに対して、演算関数G(0)を適用する処理と、復元関数R(0)を適用する処理と、演算関数G(i)および復元関数R(i)の組合せをn回適用する処理とで構成される(i=1~n(nは1以上の整数))。学習済みモデル2Dは、演算関数G(0)をさらに利用する点において、学習済みモデル2Aとは異なる。尚、図15の演算関数G(0)は、図13の演算関数G(0)と同様の働きをするため説明を省略する。
FIG. 15 is a diagram showing another example of the structure of a trained model according to the first embodiment. As shown in FIG. 15, the trained
学習済みモデル2Dにおいて、復元関数R(i)は、入力信号y、マスク信号mai、およびマスク信号ma0から復元信号xiを生成する。復元信号xiは、例えば入力信号y、マスク信号mai、およびマスク信号ma0にDNNを適用して生成される。処理回路11は、入力信号y、マスク信号mai、およびマスク信号ma0に復元関数R(i)を適用して復元信号xiを生成する。
In the trained
図16は、図15の学習済みモデル2Dの構成における信号復元処理の流れを示す図である。ユーザにより入力インタフェース13を介して信号復元処理の開始指示がなされると、処理回路11は、順伝播機能11aを実行し、図16に示す処理を開始する。
FIG. 16 is a diagram showing the flow of signal restoration processing in the configuration of the trained
(ステップSD1)
処理回路11は、入力信号yおよび信頼度データmを入力する。
(Step SD1)
The
(ステップSD2)
処理回路11は、入力信号yおよび信頼度データmに演算関数G(0)を適用してマスク信号ma0を生成する。
(Step SD2)
Processing
(ステップSD3)
処理回路11は、入力信号yに復元関数R(0)を適用して復元信号x0を生成する。
(Step SD3)
The
(ステップSD4)
処理回路11は、変数iに「1」を代入する。
(Step SD4)
The
(ステップSD5)
処理回路11は、信頼度データmおよび復元信号xi-1に演算関数G(i)を適用してマスク信号maiを生成する。
(Step SD5)
Processing
(ステップSD6)
処理回路11は、入力信号yとマスク信号maiとマスク信号ma0とに復元関数R(i)を適用して復元信号xiを生成する。
(Step SD6)
The
(ステップSD7)
処理回路11は、変数iに所定の数「n」が代入されているか否かを判定する。変数iに所定の数「n」が代入されている場合(ステップSD7「YES」)、処理回路11は、ステップSD9の処理を行う。変数iに任意の数「n」が代入されていない場合(ステップSD7「NO」)、処理回路11は、ステップSD8の処理を行う。
(Step SD7)
The
(ステップSD8)
処理回路11は、変数iをインクリメントする。ステップSD8の処理の後、処理はステップSD5へと戻る。
(Step SD8)
Processing
(ステップSD9)
処理回路11は、復元関数R(n)によって生成された復元信号xnを出力信号xとして出力する。
(Step SD9)
The
図17は、第1の実施形態における学習済みモデルの構成の別の例を示す図である。図17に示すように、学習済みモデル2Eは、任意のデータに対して、演算関数G(0)を適用する処理と、復元関数R(0)を適用する処理と、演算関数G(i)および復元関数R(i)の組合せをn回適用する処理とで構成される(i=1~n(nは1以上の整数))。学習済みモデル2Eは、復元関数R(i)への入力が異なる点について学習済みモデル2Dとは異なる。
FIG. 17 is a diagram illustrating another example of the configuration of a trained model in the first embodiment; As shown in FIG. 17, the trained
学習済みモデル2Eにおいて、復元関数R(i)は、入力信号y、復元信号xi-1、マスク信号mai、およびマスク信号ma0から復元信号xiを生成する。復元信号xiは、例えば入力信号y、復元信号xi-1、マスク信号mai、およびマスク信号ma0にDNNを適用して生成される。処理回路11は、入力信号y、復元信号xi-1、マスク信号mai、およびマスク信号ma0に復元関数R(i)を適用して復元信号xiを生成する。
In the trained
図18は、図17の学習済みモデル2Eの構成における信号復元処理の流れを示す図である。ユーザにより入力インタフェース13を介して信号復元処理の開始指示がなされると、処理回路11は、順伝播機能11aを実行し、図18に示す処理を開始する。
FIG. 18 is a diagram showing the flow of signal restoration processing in the configuration of the trained
(ステップSE1)
処理回路11は、入力信号yおよび信頼度データmを入力する。
(Step SE1)
The
(ステップSE2)
処理回路11は、入力信号yおよび信頼度データmに演算関数G(0)を適用してマスク信号ma0を生成する。
(Step SE2)
Processing
(ステップSE3)
処理回路11は、入力信号yに復元関数R(0)を適用して復元信号x0を生成する。
(Step SE3)
The
(ステップSE4)
処理回路11は、変数iに「1」を代入する。
(Step SE4)
The
(ステップSE5)
処理回路11は、信頼度データmおよび復元信号xi-1に演算関数G(i)を適用してマスク信号maiを生成する。
(Step SE5)
Processing
(ステップSE6)
処理回路11は、入力信号yと復元信号xi-1とマスク信号maiとマスク信号ma0とに復元関数R(i)を適用して復元信号xiを生成する。
(Step SE6)
The
(ステップSE7)
処理回路11は、変数iに所定の数「n」が代入されているか否かを判定する。変数iに所定の数「n」が代入されている場合(ステップSE7「YES」)、処理回路11は、ステップSE9の処理を行う。変数iに任意の数「n」が代入されていない場合(ステップSE7「NO」)、処理回路11は、ステップSE8の処理を行う。
(Step SE7)
The
(ステップSE8)
処理回路11は、変数iをインクリメントする。ステップSE8の処理の後、処理はステップSE5へと戻る。
(Step SE8)
Processing
(ステップSE9)
処理回路11は、復元関数R(n)によって生成された復元信号xnを出力信号xとして出力する。
(Step SE9)
The
図19は、第1の実施形態における学習済みモデルの構成の別の例を示す図である。図19に示すように、学習済みモデル2Fは、復元関数R(i)への入力が異なる点について学習済みモデル2Aとは異なる。
FIG. 19 is a diagram illustrating another example of the configuration of a trained model in the first embodiment; As shown in FIG. 19, the trained
学習済みモデル2Fにおいて、復元関数R(i)は、復元信号xi-1およびマスク信号maiから復元信号xiを生成する。復元信号xiは、例えば復元信号xi-1およびマスク信号maiにDNNを適用して生成される。処理回路11は、復元信号xi-1およびマスク信号maiに復元関数R(i)を適用して復元信号xiを生成する。
In the trained
図20は、第1の実施形態における学習済みモデルの構成の別の例を示す図である。図20に示すように、学習済みモデル2Gは、復元関数R(i)への入力が異なる点について学習済みモデル2Cとは異なる。
FIG. 20 is a diagram showing another example of the configuration of a trained model in the first embodiment. As shown in FIG. 20, the trained
学習済みモデル2Gにおいて、復元関数R(i)は、復元信号xi-1およびマスク信号ma0から復元信号xiを生成する。復元信号xiは、例えば復元信号xi-1およびマスク信号ma0にDNNを適用して生成される。処理回路11は、復元信号xi-1およびマスク信号ma0に復元関数R(i)を適用して復元信号xiを生成する。
In the trained
図21は、第1の実施形態における学習済みモデルの構成の別の例を示す図である。図21に示すように、学習済みモデル2Hは、復元関数R(i)への入力が異なる点について学習済みモデル2Eとは異なる。
FIG. 21 is a diagram illustrating another example of the configuration of a trained model in the first embodiment; As shown in FIG. 21, the trained
学習済みモデル2Hにおいて、復元関数R(i)は、復元信号xi-1、マスク信号mai、およびマスク信号ma0から復元信号xiを生成する。復元信号xiは、例えば復元信号xi-1、マスク信号mai、およびマスク信号ma0にDNNを適用して生成される。処理回路11は、復元信号xi-1、マスク信号mai、およびマスク信号ma0に復元関数R(i)を適用して復元信号xiを生成する。
In the trained
図22は、第1の実施形態に係るモデル学習装置の構成例を示す図である。図22のモデル学習装置5は、ハードウェア資源として、処理回路51と、メモリ52と、入力インタフェース53と、通信インタフェース54と、ディスプレイ55とを備える。処理回路51と、メモリ52と、入力インタフェース53と、通信インタフェース54と、ディスプレイ55とは、バスを介して互いに接続されている。
FIG. 22 is a diagram illustrating a configuration example of a model learning device according to the first embodiment; The
処理回路51は、CPUやGPU等のプロセッサを有する。当該プロセッサがメモリ52などにインストールされたDNN復元プログラムを起動することにより順伝播機能51a、逆伝播機能51b、更新機能51c、判定機能51d、および表示制御機能51eなどを実行する。尚、順伝播機能51a、逆伝播機能51b、更新機能51c、判定機能51d、および表示制御機能51eは、単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより順伝播機能51a、逆伝播機能51b、更新機能51c、判定機能51d、および表示制御機能51eを実現するものとしても構わない。尚、処理回路51は、処理部の実現手段の一例である。
The
順伝播機能51aにおいて処理回路51は、DNNに入力信号および信頼度データを順伝播し、入力信号に対応する推定出力信号を生成する。尚、当該DNNは、パラメータが学習されていない、或いは学習途中のDNNである。また、当該DNNは、前述の学習済みモデル2Aから学習済みモデル2Hまでのいずれかの構成を用いるが、各関数のパラメータは初期値であるか、或いは最適化されていない。尚、推定出力信号は、推定出力信号データと呼ばれてもよい。
In
逆伝播機能51bにおいて処理回路51は、DNNに誤差を逆伝播し、勾配ベクトルを計算する。誤差は、順伝播機能51aにより計算された推定出力信号と正解出力信号との差分に規定される。尚、正解出力信号は、正解出力信号データと呼ばれてもよい。
In
更新機能51cにおいて処理回路51は、逆伝播機能51bにより計算された勾配ベクトルに基づいてDNNのパラメータを更新する。具体的には、処理回路51は、推定出力信号と正解出力信号とが近似するようにパラメータを更新する。更新方法としては、例えば、SGD(Stochastic gradient descent)やAdam(Adaptive Moment Estimation)を利用することができる。
In an
判定機能51dにおいて処理回路51は、学習処理の終了条件を満たすか否かを判定する。終了条件は、ユーザにより入力機器等を介して任意に設定可能である。
In the judging
表示制御機能51eにおいて処理回路51は、種々の情報をディスプレイ55に表示する。例えば、処理回路51は、学習データや学習結果をディスプレイ55に表示する。
The
メモリ52は、種々の情報を記憶するROMやRAM、HDD、SSD、集積回路記憶装置等の記憶装置である。メモリ52は、例えば、DNNの学習のためのモデル学習プログラム52aを記憶する。メモリ52は、上記記憶装置以外にも、CD、DVD、フラッシュメモリ等の可搬型記憶媒体や、RAM等の半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。また、メモリ52は、モデル学習装置5にネットワークを介して接続された他のコンピュータ内にあってもよい。
The
入力インタフェース53は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路51に出力する。具体的には、入力インタフェース53は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の入力機器に接続されている。入力インタフェース53は、当該入力機器への入力操作に応じた電気信号を処理回路51へ出力する。また、入力インタフェース53に接続される入力機器は、ネットワーク等を介して接続された他のコンピュータに設けられた入力機器でもよい。
The
通信インタフェース54は、医用撮像装置や距離画像撮影装置などの他のコンピュータとの間でデータ通信するためのインタフェースである。
The
ディスプレイ55は、処理回路51の表示制御機能51eに従い種々の情報を表示する。例えば、ディスプレイ55は、学習データや学習結果を表示する。また、ディスプレイ55は、ユーザからの各種操作を受け付けるためのGUI等を出力する。例えば、ディスプレイ55としては、液晶ディスプレイ、CRTディスプレイ、有機ELディスプレイ、プラズマディスプレイ又は他の任意のディスプレイが適宜使用可能である。
The
なお、図22のモデル学習装置5は、入力インタフェース53およびディスプレイ55を備えなくてもよい。入力インタフェース53およびディスプレイ55を備えない場合、モデル学習装置5は、ASICやFPGAなどの集積回路により実現されてもよく、通信インタフェース54は、前述の入力インタフェース13および出力インタフェース14の両方の機能を兼ねてもよい。モデル学習装置5がASICである場合、処理回路51は、順伝播機能51a、逆伝播機能51b、更新機能51c、および判定機能51dを実行するために設計された回路素子または論理回路の組合せである。
Note that the
図23は、図22のモデル学習装置の処理回路がモデル学習プログラムに従い実行するモデル学習処理の一例を示す図である。図23の処理は、ユーザなどによりモデル学習処理の開始指示が入力されることを契機として、処理回路51がモデル学習プログラム52aを実行することにより開始される。尚、複数の学習データは、例えばメモリ52や外部の記憶装置などに記憶されている。
FIG. 23 is a diagram showing an example of model learning processing executed by the processing circuit of the model learning device of FIG. 22 according to the model learning program. The process of FIG. 23 is started by the
(ステップSF1)
処理回路51は、DNNの各パラメータを初期化する。パラメータの初期化には、例えば疑似乱数を用いることができる。
(Step SF1)
The
(ステップSF2)
処理回路51は、複数の学習データ(入力信号y、信頼度データm、および正解出力信号xansの組)を入力する。正解出力信号xansは、入力信号yおよび信頼度データmを入力してDNNから出力される望ましい出力信号である。
(Step SF2)
The
(ステップSF3)
処理回路51は、複数の学習データを、疑似乱数を用いて並べ替える。具体的には、処理回路51は、複数の学習データの並びを、疑似乱数で生成した順序で並べ替える。
(Step SF3)
The
(ステップSF4)
処理回路51は、複数の学習データから所定の数の学習データを抽出する。このとき、所定の数をミニバッチサイズと呼び、抽出された学習データの集合をミニバッチと呼ぶ。換言すると、処理回路51は、複数の学習データからミニバッチを抽出する。
(Step SF4)
The
(ステップSF5)
順伝播機能51aにおいて処理回路51は、入力信号yと信頼度データmとに基づくDNNの順伝播により推定出力信号xestを生成する。
(Step SF5)
In the
(ステップSF6)
逆伝播機能51bにおいて処理回路51は、ステップSF5で生成された推定出力信号xestと、ステップSF2で入力された正解出力信号xansとの誤差を計算する。具体的には、処理回路51は、正解出力信号xansから推定出力信号xestを減算して、誤差を算出する。
(Step SF6)
In the
(ステップSF7)
処理回路51は、ステップSF6において計算された誤差に基づくDNNの逆伝播により勾配ベクトルを計算する。
(Step SF7)
Processing
(ステップSF8)
更新機能51cにおいて処理回路51は、ステップSF7において計算された勾配ベクトルに基づきパラメータを更新する。
(Step SF8)
In the
(ステップSF9)
判定機能51dにおいて処理回路51は、第1の終了条件を満たすか否かを判定する。第1の終了条件は、例えば、複数の学習データからミニバッチを全て抽出することに設定されてもよい。
(Step SF9)
In the
ステップSF9において第1の終了条件を満たさないと判定された場合(ステップSF9「NO」)、処理回路11は、同一のミニバッチ又は他のミニバッチを用いて、ステップSF4からステップSF9までの処理を繰り返す。
If it is determined in step SF9 that the first end condition is not satisfied (step SF9 "NO"), the
ステップSF9において第1の終了条件を満たすと判定された場合(ステップSF9「YES」)、処理はステップSF10へと進む。 If it is determined in step SF9 that the first termination condition is satisfied (step SF9 "YES"), the process proceeds to step SF10.
(ステップSF10)
判定機能51dにおいて処理回路51は、第2の終了条件を満たすか否かを判定する。第2の終了条件は、例えば、繰り返し数(これは、エポック(epoch)数とも称する)が規定回数に達したことに設定されてもよい。
(Step SF10)
In the
ステップSF10において第2の終了条件を満たさないと判定された場合(ステップSF10「NO」)、処理回路11は、ステップSF3からステップSF9までの処理を繰り返す。
When it is determined in step SF10 that the second end condition is not satisfied (step SF10 "NO"), the
ステップSF10において第2の終了条件を満たすと判定された場合(ステップSF10「YES」)、処理はステップSF11へと進む。 If it is determined in step SF10 that the second termination condition is satisfied (step SF10 "YES"), the process proceeds to step SF11.
(ステップSF11)
処理回路51は、更新後のDNNを学習済みDNNとして出力する。学習済みDNNは、例えばメモリ52や外部の記憶装置などに記憶される。
(Step SF11)
The
上記の通り、本実施形態に係るモデル学習プログラム52aは、モデル学習装置5に、少なくとも順伝播機能51aと更新機能51cとを実行させる。順伝播機能51aは、入力信号と当該入力信号に関する信頼度データとを入力する入力層と、入力信号に対応する出力信号を出力する出力層と、入力層と出力層との間に設けられる少なくとも1つの中間層とを有する多層ネットワークに対して、入力信号と信頼度データとを適用して推定出力信号を生成する。更新機能51cは、推定出力信号と正解出力信号とが近似するようにDNNのパラメータを更新する。
As described above, the
上記の構成により、本実施形態に係るモデル学習プログラム52aは、入力信号の信号欠損部分が復元された出力信号を出力するために、入力信号だけでなく信頼度データも用いてDNNのパラメータを学習する。これにより、本実施形態に係るモデル学習プログラム52aは、パラメータの学習に際し、入力信号に含まれない、より多くの情報を利用することができる。これにより、入力信号のみを用いる場合に比して、学習済みモデルによる信号の復元精度を向上させることができる。
With the above configuration, the
また、上記の通り、本実施形態に係る信号復元装置1は、処理回路11を有している。処理回路11は、入力信号データに第1の復元関数を適用して初期復元信号データを生成し、初期復元信号データと入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって第1の要素積信号データを生成する。そして、処理回路11は、入力信号データおよび初期復元信号データのうちの少なくとも一つと、第1の要素積信号データとに第2の復元関数を適用して復元信号データを生成する。
Further, as described above, the
さらに、処理回路11は、入力信号データと信頼度データとの要素積をとることによって第2の要素積信号データを生成する。第2の要素積信号データが生成された場合、処理回路11は、入力信号データおよび初期復元信号データのうちの少なくとも一つと、第1の要素積信号データと、第2の要素積信号データとに第2の復元関数を適用して復元信号データを生成する。
Furthermore, the
或いは、処理回路11は、入力信号データに第1の復元関数を適用して初期復元信号データを生成し、入力信号データと当該入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって要素積信号データを生成する。そして、処理回路11は、初期復元信号データおよび要素積信号データに第2の復元関数を適用して復元信号データを生成する。
Alternatively, the
さらに、処理回路11は、入力信号データと初期復元信号データと要素積信号データとに第2の復元関数を適用して復元信号データを生成してもよい。
Further, the
また、上記第2の復元関数は、深層ニューラルネットワークによって構成されてもよいし、畳み込みニューラルネットワークによって構成されてもよいし、リカレントニューラルネットワークによって構成されてもよい。 Also, the second restoration function may be configured by a deep neural network, a convolutional neural network, or a recurrent neural network.
上記の構成により、本実施形態に係る信号復元装置1は、信頼度データを用いることによって、入力信号データに含まれない、より多くの情報を利用して信号復元を行うことができるので、入力信号データのみを用いる場合に比して、信号の復元精度を向上させることができる。また、信頼度データは、入力信号データに関する信頼度の情報が含まれていればよいため、必ずしも入力信号データとのデータ形式を一致させる必要がない。このことから、この信号復元装置1は、ユーザが所望のデータを準備する手間を低減することができる。
With the above configuration, the
第1の実施形態の変形例として、モデル学習装置5の技術的思想をクラウドコンピューティングなどで実現する場合には、ネットワーク上のサーバは、例えば図22の構成図における処理回路51およびメモリ52を有するものとなる。このとき、処理回路51の各機能を実行するプログラムをサーバの処理回路51にインストールし、これらをメモリ52上で展開することによって実現される。
As a modified example of the first embodiment, when the technical idea of the
(第2の実施形態)
図24は、第2の実施形態に係る医用画像診断装置の構成例を示す図である。図24の医用画像診断装置100は、第1の実施形態における信号復元装置1と、医用撮像装置6とを備える。一例を挙げれば、医用撮像装置6は架台に対応し、信号復元装置1は当該架台に接続されたコンソールに対応する。尚、信号復元装置1は、医用画像診断装置100の架台に設けられてもよいし、それ以外の別の構成要素によって実現されてもよい。当該別の構成要素としては、例えば、医用画像診断装置100が磁気共鳴イメージング(Magnetic Resonance Imaging;MRI)装置である場合、機械室に設置された、コンソール以外のコンピュータまたは専用の計算装置が挙げられる。
(Second embodiment)
FIG. 24 is a diagram showing a configuration example of a medical image diagnostic apparatus according to the second embodiment. A medical image
医用撮像装置6は、処理対象である入力信号に対応する医用信号を生成する。本実施形態に係る医用信号は、概念的に、医用撮像装置6または他の医用撮像装置により被検体に医用撮像を施すことにより収集された生データや、当該生データに画像復元処理を施して生成される医用画像データなどを含む。尚、医用信号は、医用信号データと呼ばれてもよい。また、信号復元装置1は、生データに画像復元処理を施して医用画像データを生成してもよい。医用画像データは、例えば、磁気共鳴(Magnetic Resonance;MR)画像、CT画像、或いはX線画像などに相当する。
The
入力信号として医用信号を扱う信号復元装置は、医用信号処理装置と呼ばれてもよい。医用信号処理装置は、医用撮像装置6を搭載する医用画像診断装置100に搭載されたコンピュータであってもよいし、当該医用画像診断装置100にケーブルやネットワークを介して通信可能に接続されたコンピュータであってもよいし、当該医用画像診断装置100とは独立したコンピュータであってもよい。
A signal restoration device that treats a medical signal as an input signal may be called a medical signal processing device. The medical signal processing apparatus may be a computer installed in the medical image
医用撮像装置6は、医用信号を生成可能であれば、如何なるモダリティ装置でも良い。例えば、本実施形態に係る医用撮像装置3は、磁気共鳴イメージング装置(MRI装置)、X線コンピュータ断層撮影装置(CT装置)、X線診断装置、PET(Positron Emission Tomography)装置、SPECT(Single Photon Emission CT)装置および超音波診断装置等の単一モダリティ装置であっても良いし、PET/CT装置、SPECT/CT装置、PET/MRI装置、SPECT/MRI装置などの複合モダリティ装置であってもよい。
The
換言すると、医用撮像装置6は、被検体に対し、当該医用撮像装置6のモダリティ装置種に応じた撮像原理の医用撮像を施し、当該被検体に関する生データを収集する。収集された生データは、信号復元装置1に伝送される。例えば、生データは、医用撮像装置6がMRI装置である場合におけるk空間データ、CT装置である場合における投影データまたはサイノグラムデータ、超音波診断装置である場合におけるエコーデータ、PET装置である場合におけるコインシデンスデータまたはサイノグラムデータ、SPECT装置である場合における投影データまたはサイノグラムデータである。尚、医用撮像装置6は、医用撮像部の実現手段の一例である。
In other words, the
(MRI装置での適用例)
医用撮像装置6がMRI装置の架台である場合、当該架台は、静磁場磁石を介した静磁場の印加の下、傾斜磁場コイルを介した傾斜磁場の印加と送信コイルを介したRFパルスの印加とを繰り返す。RFパルスの印加に起因して被検体からMR信号が放出される。放出されたMR信号は、受信コイルを介して受信される。受信されたMR信号は、受信回路によりA/D変換などの信号処理が施される。A/D変換後のMR信号は、k空間データに対応する。k空間データは、生データとして信号復元装置1に伝送される。
(Example of application in MRI equipment)
When the
以降では、k空間データからMR画像を生成する際に、高速フーリエ変換(Fast Fourier Transform;FFT)を使用し、MR画像からk空間データへ変換する際に、逆高速フーリエ変換(Inverse Fast Fourier Transform;IFFT)を使用する場合について説明する。しかし、FFTおよびIFFTは、k空間の定義によって使用方法が異なる。従って、k空間データからMR画像を生成する際に、IFFTを使用し、MR画像からk空間データへ変換する際に、FFTを使用する場合については、以降に記載の「FFT」を「IFFT」に読み替え、「IFFT」を「FFT」に読み替えればよい。尚、k空間データからMR画像を生成する方法、或いはMR画像からk空間データへ変換する方法は、FFTおよびIFFTに拘泥されない。 Hereinafter, when generating an MR image from k-space data, a fast Fourier transform (FFT) is used, and when converting an MR image into k-space data, an inverse fast Fourier transform (FFT) is used. ; IFFT) will be described. However, FFT and IFFT are used differently depending on the definition of k-space. Therefore, when using IFFT when generating an MR image from k-space data, and when using FFT when converting an MR image into k-space data, "FFT" described hereinafter is replaced with "IFFT". and "IFFT" should be read as "FFT". Note that the method of generating an MR image from k-space data or the method of converting an MR image into k-space data is not limited to FFT and IFFT.
図25は、図24の医用撮像装置がMRI装置である場合の、学習済みモデルにおける復元関数の構成の一例を示す図である。図25の復元関数7は、FFT71と、CNN4と、IFFT72とを備える。FFT71が、入力信号に相当するk空間データに適用され入力MR画像が生成される。CNN4が、入力MR画像に適用され出力MR画像が生成される。IFFT72が、出力MR画像に適用されk空間データが生成される。このように、復元関数にFFT71およびIFFT72を備えることによって、MR画像に対してCNN4を適用することができる。従って、MR画像に対するCNNの処理と、k空間データに関する信頼度データとの双方が利用可能となり、復元精度を向上することができる。
FIG. 25 is a diagram showing an example of the configuration of a restoration function in a trained model when the medical imaging apparatus of FIG. 24 is an MRI apparatus. The
図26は、図25の復元関数の構成の別の例を示す図である。図26の復元関数7Aは、FFT71と、CNN4と、IFFT72と、CNN73とを備える。CNN73は、CNN4の処理と略同様である。CNN73は、k空間データに対して種々の演算を実行する。フィルタリングを学習させたい場合、k空間データに対してCNN73を利用することができる。そして、CNN73を利用することによって、後続のk空間データの精度を向上することができる。尚、FFT71の前にCNNを実行してもよい。
26 is a diagram showing another example of the configuration of the restoration function of FIG. 25. FIG. The
処理回路11は、入力信号であるk空間データと当該k空間データに関する信頼度データとに、学習済みモデルを適用して出力信号を生成する。ここでの信頼度データは、例えばパラレルイメージングを用いて収集されたk空間データにおける位相エンコードの収集ラインおよび未収集ラインの位置を示す。
The
図27は、図24の医用撮像装置がMRI装置である場合の、欠損部分を含むk空間データの具体例を示す図である。図27のk空間データ74は、収集ラインel_1,el_3,…,el_2n-1と、未収集ラインel_2,el_4,…,el_2nとを含む。尚、k空間データ74に関する信頼度データは、k空間データ74の収集ラインの位置または未収集ラインの位置またはその両方を示す。
FIG. 27 is a diagram showing a specific example of k-space data including missing portions when the medical imaging apparatus of FIG. 24 is an MRI apparatus. The k-
以下、図4を参照し、入力信号yに相当するk空間データ74と当該k空間データ74に関する信頼度データmとに、学習済みモデル2Aを適用して出力信号xを生成する場合について述べる。
Hereinafter, with reference to FIG. 4, the case where the learned
復元関数R(0)は、k空間データ74から復元k空間データを生成する演算を行う。復元関数R(0)に上記FFTおよびIFFTが備えられているとすると、k空間データ74にFFTを実行することによって入力MR画像が生成される。このとき、入力MR信号は、k空間データ74に対してk空間法が用いられ、当該k空間データ74の未収集ラインが推定・充填される。そして、当該入力MR画像に例えばDNNを適用して復元MR画像が生成され、復元MR画像にIFFTを実行するkとによって復元k空間データが生成される。従って、復元k空間データは、k空間データ74とは異なり、未収集ラインが充填されたものである。
Reconstruction function R (0) performs operations to generate reconstructed k-space data from k-
演算関数G(i)は、復元k空間データと信頼度データmとの要素積をとることによってマスクデータを生成する演算を行う。マスクデータは、例えば復元k空間データから、k空間データ74での未収集ラインに相当する部分が抽出されたデータのセットである。
The arithmetic function G (i) performs an arithmetic operation to generate mask data by taking the element product of the reconstructed k-space data and the reliability data m. The mask data is a set of data obtained by extracting, for example, portions corresponding to unacquired lines in the k-
復元関数R(i)は、k空間データ74、直前の復元関数から出力された復元k空間データ、およびマスク信号から復元k空間データを生成する演算を行う。
The reconstruction function R (i) performs operations to generate the reconstructed k-space data from the k-
MRI装置では複数の受信コイルによってデータ収集が行われ、複数の受信コイルに対応する複数のチャネルのk空間データがそれぞれ生成される。ここで、各チャネルのk空間データからそれぞれ再構成したMR画像は、受信コイルの空間的な位置や大きさの影響を受けるため、空間的に重みづけされた画像となる。この重みは、感度(sensitivity)とも呼ばれる。上記再構成されたMR画像は、本来の画素値に当該感度が乗算された形で表現できる。 In the MRI apparatus, data acquisition is performed by a plurality of receiving coils, and k-space data of a plurality of channels corresponding to the plurality of receiving coils are generated respectively. Here, the MR images reconstructed from the k-space data of each channel are spatially weighted images because they are affected by the spatial position and size of the receiving coil. This weight is also called sensitivity. The reconstructed MR image can be represented by multiplying the original pixel value by the sensitivity.
k空間データが複数のチャネルを持つ場合、FFTおよびIFFTの演算の前後で、当該感度を含めた演算を用いればよい。例えば、k空間データをky方向について1つおきに収集した場合、k空間データからMR画像に変換するFFTの演算の後にSENSE(Sensitivity encoding)法のアンフォールディング(unfolding)処理を行う演算を挿入し、IFFTの演算の前に各チャネルの各画素に上記感度を乗算すればよい。従って、復元関数R(0)および復元関数R(i)は、上記感度を考慮した演算を行うことで、受信コイルの空間的な位置や大きさの影響が低減されたMR画像を生成することができる。 If the k-space data has multiple channels, calculations including the sensitivity may be used before and after the FFT and IFFT calculations. For example, when k-space data are collected alternately in the ky direction, an operation for unfolding processing by the SENSE (Sensitivity encoding) method is inserted after the FFT operation for converting the k-space data into an MR image. , and IFFT, each pixel of each channel is multiplied by the sensitivity. Therefore, the restoration function R (0) and the restoration function R (i) are calculated in consideration of the sensitivity, thereby generating an MR image in which the influence of the spatial position and size of the receiving coil is reduced. can be done.
(CT装置での適用例)
医用撮像装置6がCT装置の架台である場合、当該架台は、X線管とX線検出器とを被検体回りに回転させながらX線管から被検体にX線を照射し、被検体を透過したX線をX線検出器により検出する。X線検出器においては、検出されたX線の線量に応じた波高値を有する電気信号が発生される。当該電気信号は、データ収集回路によりA/D変換などの信号処理が施される。A/D変換後の電気信号は投影データまたはサイノグラムデータと呼ばれる。投影データまたはサイノグラムデータは、生データとして信号復元装置1に伝送される。
(Example of application in CT equipment)
When the
以降では、例えばサイノグラムデータからCT画像を生成する際に、フィルタ補正逆投影(Filtered Back Projection;FBP)を用い、CT画像からサイノグラムデータへ変換する際に、ラドン変換を用いる場合について説明する。 Hereinafter, a case will be described in which, for example, filtered back projection (FBP) is used when generating a CT image from sinogram data, and Radon transform is used when converting a CT image into sinogram data.
図28は、図24の医用撮像装置がCT装置である場合の、学習済みモデルにおける復元関数の構成の一例を示す図である。図28の復元関数8は、FBP81と、CNN4と、ラドン変換82とを備える。FBP81は、入力信号に相当するサイノグラムデータから入力CT画像を生成する。CNN4は、入力CT画像から出力CT画像を生成する。ラドン変換82は、出力CT画像をサイノグラムデータへ変換する。このように、復元関数にFBP81およびラドン変換82を備えることによって、CT画像に対してCNN4を適用することができる。
FIG. 28 is a diagram showing an example of the configuration of a restoration function in a trained model when the medical imaging apparatus of FIG. 24 is a CT apparatus. The
処理回路11は、入力信号であるサイノグラムデータと当該サイノグラムデータに関する信頼度データとに、学習済みモデルを適用して出力信号を生成する。ここでの信頼度データは、例えばサイノグラムデータにおける金属アーチファクトの位置を示す。
The
図29は、図24の医用撮像装置がCT装置である場合の、欠損部分を含むサイノグラムデータの具体例を示す図である。図29のサイノグラムデータ83は、例えば金属アーチファクトによる欠損部分84を含む。尚、サイノグラムデータ83に関する信頼度データは、サイノグラムデータ83の欠損部分の位置を示す。
FIG. 29 is a diagram showing a specific example of sinogram data including missing portions when the medical imaging apparatus of FIG. 24 is a CT apparatus. The
以下、図4を参照し、入力信号yに相当するサイノグラムデータ83と当該サイノグラムデータ83に関する信頼度データmとに、学習済みモデル2Aを適用して出力信号xを生成する場合について述べる。
Hereinafter, with reference to FIG. 4, the case where the learned
復元関数R(0)は、サイノグラムデータ83から復元サイノグラムデータを生成する演算を行う。復元関数R(0)に上記FBPおよびラドン変換が備えられているとすると、サイノグラムデータ83にFBPを実行することによって入力CT画像が生成される。そして、当該入力CT画像に例えばDNNを適用して復元CT画像が生成され、復元CT画像にラドン変換を実行することによって復元サイノグラムデータが生成される。
The restoration function R (0) performs an operation to generate restored sinogram data from the
演算関数G(i)は、復元サイノグラムデータと信頼度データmとの要素積をとることによってマスク信号を生成する演算を行う。マスク信号は、例えば信頼度データmに基づいて、復元サイノグラムデータにおける、サイノグラムデータ83での欠損部分84に相当する部分が抽出されたものである。
The arithmetic function G (i) performs an arithmetic operation to generate a mask signal by taking the element product of the reconstructed sinogram data and the reliability data m. The mask signal is obtained by extracting a portion corresponding to the missing
復元関数R(i)は、サイノグラムデータ83、直前の復元関数から出力された復元サイノグラムデータ、およびマスク信号から復元サイノグラムデータを生成する演算を行う。
The restoration function R (i) performs an operation to generate the restored sinogram data from the
本実施例は、金属アーチファクトに限らず、CT装置による検査中に寝台を動かすことで、収集される信号データの信頼性が低下したり、データに欠損が生じたりする場合においても適用することが可能である。 This embodiment is applicable not only to metal artifacts, but also to cases where reliability of collected signal data is lowered or data is lost by moving the bed during examination by a CT apparatus. It is possible.
(PET装置での適用例)
医用撮像装置6がPET装置の架台である場合、当該架台は、被検体内に蓄積された放射性核種から発生される陽電子と当該放射性核種の周囲に存在する電子との対消滅に伴い発生する512keVの一対のガンマ線を同時計測回路により同時計測することにより、一対のガンマ線(LOR(Line Of Response))のエネルギー値と検出位置とに関するデジタル値を有するデジタルデータを生成する。当該デジタルデータは、コインシデンスデータまたはサイノグラムデータと呼ばれる。コインシデンスデータまたはサイノグラムデータは、生データとして信号復元装置1に伝送される。
(Example of application in PET equipment)
When the
従って、以上のような構成によれば、第2の実施形態に係る医用画像診断装置は、第1の実施形態にかかる信号復元装置を含む。故に、この医用画像診断装置によれば、信頼度データを用いることによって、医用画像に含まれない、より多くの情報を利用して医用画像信号の復元を行うことができるので、医用画像のみを用いるDNNでの復元に比して、医用画像信号の復元精度を向上させることができる。 Therefore, according to the configuration as described above, the medical image diagnostic apparatus according to the second embodiment includes the signal restoration apparatus according to the first embodiment. Therefore, according to this medical image diagnostic apparatus, by using the reliability data, the medical image signal can be restored using more information that is not included in the medical image, so that only the medical image can be restored. The restoration accuracy of the medical image signal can be improved compared to the restoration by the DNN used.
(第3の実施形態)
図30は、第3の実施形態に係る距離画像撮影システムの構成例を示す図である。図30の距離画像撮影システム200は、第1の実施形態における信号復元装置1と、距離画像撮影装置9とを備える。尚、信号復元装置1は、距離画像撮影装置9に内蔵されていてもよい。
(Third Embodiment)
FIG. 30 is a diagram showing a configuration example of a range image photographing system according to the third embodiment. A distance
距離画像撮影装置9は、例えばLIDAR(Light Detection And Rnaging)などの光リモートセンシング技術が用いられる。LIDARは、例えばレーザ光を用いて距離計測を行う。具体的には、距離画像撮影装置9は、距離画像撮影装置9から照射される照射光と、当該照射光が測定対象で反射した反射光とを検出し、照射光および反射光を検出した時刻と照射光の速度とに基づいて、距離画像撮影装置9から測定対象までの距離を計測する。距離画像撮影装置9は、計測された測定対象までの距離に基づいて距離画像データを生成する。距離画像データは、例えば、距離画像撮影装置9から測定対象までの距離のデータを画素ごとに記録したものである。生成された距離画像データは、入力信号として信号復元装置1に伝送される。尚、距離画像データは、奥行き情報と称してもよい。
The distance
図31は、第3の実施形態における、距離画像データと信頼度データとの一例を示す図である。図31の距離画像データ91は、収集部91aと、未収集部91bとを含む。収集部91aは、例えば測定対象までの奥行き情報が取得されている範囲である。未収集部91bは、例えば奥行き情報が取得されていない範囲である。具体的には、未収集部91bは、照射光が斜面に反射して反射光が取得できない場合、或いは空などの反射する物体が無い場合などによって生じる。
FIG. 31 is a diagram showing an example of distance image data and reliability data in the third embodiment. The
処理回路11は、距離画像データ91に信頼度推定関数を適用して信頼度データ92を生成する。信頼度推定関数は、例えばDNNやCNNを用いてもよい。信頼度データ92は、高信頼度領域92aと、低信頼度領域92bとを含む。高信頼度領域92aは、収集部91aに対応し、例えば「0.9」から「1.0」までの数値で表される。低信頼度領域92bは、未収集部91bに対応し、例えば「ゼロ」から「0.1」までの数値で表される。
The
以下、図4を参照し、入力信号yに相当する距離画像データ91と、信頼度データmに相当する信頼度データ92とに、学習済みモデル2Aを適用して出力信号xを生成する場合について述べる。
Hereinafter, with reference to FIG. 4, the case where the learned
復元関数R(0)は、距離画像データ91から復元距離画像データを生成する演算を行う。演算関数G(i)は、復元距離画像データと信頼度データ92との要素積をとることによってマスク信号を生成する演算を行う。マスク信号は、例えば信頼度データ92に基づいて、復元距離画像データにおける、距離画像データ91での未収集部91bに相当する部分が抽出されたものである。復元関数R(i)は、距離画像データ91、直前の復元関数から出力された復元距離画像データ、およびマスク信号から復元距離画像データを生成する演算を行う。
The restoration function R (0) performs an operation to generate restored distance image data from the
従って、以上のような構成によれば、第3の実施形態に係る距離画像撮影システムは、第1の実施形態に係る信号復元装置を含む。故に、この距離画像撮影システムによれば、信頼度データを用いることによって、距離画像に含まれない、より多くの情報を利用して距離画像信号の復元を行うことができるので、距離画像のみを用いるDNNでの復元に比して、距離画像信号の復元精度を向上させることができる。 Therefore, according to the configuration as described above, the range imaging system according to the third embodiment includes the signal restoration device according to the first embodiment. Therefore, according to this distance image capturing system, by using the reliability data, the distance image signal can be restored using more information not included in the distance image, so that only the distance image is used. The restoration accuracy of the distance image signal can be improved compared to the restoration by the DNN used.
以上説明した少なくとも一つの実施形態によれば、信号の復元精度を向上することができる。 According to at least one embodiment described above, the signal restoration accuracy can be improved.
上記説明において用いた「プロセッサ」という文言は、例えば、CPU、GPU、或いは、特定用途向け集積回路(Application Specific Integrated Circuit;ASIC))、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device;SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device;CPLD)、及びフィールドプログラマブルゲートアレイ(Field-Programmable Gate Array;FPGA))等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、プログラムを実行するのではなく、論理回路の組合せにより当該プログラムに対応する機能を実現しても良い。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図1、図22、および図24、或いは図1、図22、および図30における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。 The term "processor" used in the above description includes, for example, a CPU, a GPU, or an Application Specific Integrated Circuit (ASIC), a programmable logic device (for example, a Simple Programmable Logic Device SPLD), Complex Programmable Logic Device (CPLD), and Field-Programmable Gate Array (FPGA). The processor realizes its functions by reading and executing the programs stored in the memory circuit. It should be noted that instead of storing the program in the memory circuit, the program may be directly installed in the circuit of the processor. In this case, the processor realizes its function by reading and executing the program embedded in the circuit. Also, functions corresponding to the program may be realized by combining logic circuits instead of executing the program. Note that each processor of the present embodiment is not limited to being configured as a single circuit for each processor, and may be configured as one processor by combining a plurality of independent circuits to realize its function. good. Furthermore, multiple components in FIGS. 1, 22, and 24, or FIGS. 1, 22, and 30 may be integrated into one processor to realize its functions.
上述した実施形態の中で示した処理手順に示された指示は、ソフトウェアであるプログラムに基づいて実行されることが可能である。汎用の計算機システムが、このプログラムを予め記憶しておき、このプログラムを読み込むことにより、上述した実施形態の信号復元装置、医用画像診断装置、および距離画像撮影システムによる効果と同様な効果を得ることも可能である。上述した実施形態で記述された指示は、コンピュータに実行させることのできるプログラムとして、磁気ディスク(フレキシブルディスク、ハードディスクなど)、光ディスク(CD-ROM、CD-R、CD-RW、DVD-ROM、DVD±R、DVD±RWなど)、半導体メモリ、又はこれに類する記録媒体に記録される。コンピュータ又は組み込みシステムが読み取り可能な記憶媒体であれば、その記憶形式は何れの形態であってもよい。コンピュータは、この記録媒体からプログラムを読み込み、このプログラムに基づいてプログラムに記述されている指示をCPUで実行させれば、上述した実施形態の信号復元装置、医用画像診断装置、および距離画像撮影システムと同様な動作を実現することができる。もちろん、コンピュータがプログラムを取得する場合又は読み込む場合はネットワークを通じて取得又は読み込んでもよい。 The instructions shown in the procedures shown in the above-described embodiments can be executed based on programs that are software. A general-purpose computer system pre-stores this program and reads this program to obtain the same effects as those of the signal restoration device, medical image diagnostic device, and range imaging system of the above-described embodiments. is also possible. The instructions described in the above-described embodiments can be executed on magnetic disks (flexible disk, hard disk, etc.), optical disks (CD-ROM, CD-R, CD-RW, DVD-ROM, DVD) as programs that can be executed by a computer. ±R, DVD±RW, etc.), a semiconductor memory, or a similar recording medium. As long as it is a storage medium readable by a computer or an embedded system, the storage format may be in any form. If the computer reads the program from this recording medium and causes the CPU to execute the instructions described in the program based on this program, the signal restoration device, the medical image diagnostic device, and the range imaging system of the above-described embodiments can be realized. It is possible to realize the same operation as Of course, when a computer obtains or reads a program, it may be obtained or read through a network.
また、記憶媒体からコンピュータや組み込みシステムにインストールされたプログラムの指示に基づきコンピュータ上で稼働しているOS(オペレーティングシステム)や、データベース管理ソフト、ネットワーク等のMW(ミドルウェア)等が、上述した実施形態を実現するための各処理の一部を実行してもよい。 In addition, the OS (operating system) running on the computer based on the instructions of the program installed in the computer or embedded system from the storage medium, the database management software, the MW (middleware) such as the network, etc. You may perform a part of each process for implement|achieving.
さらに、記憶媒体は、コンピュータあるいは組み込みシステムと独立した媒体に限らず、LAN(Local Area Network)やインターネット等により伝達されたプログラムをダウンロードして記憶又は一時記憶した記憶媒体も含まれる。 Further, the storage medium is not limited to a medium independent of a computer or an embedded system, but also includes a storage medium in which a program transmitted via LAN (Local Area Network), Internet, etc. is downloaded and stored or temporarily stored.
また、記憶媒体は1つに限られず、複数の媒体から、上述した実施形態における処理が実行される場合も、実施形態における記憶媒体に含まれ、媒体の構成は何れの構成であってもよい。 In addition, the number of storage media is not limited to one, and even if the processing in the above-described embodiments is executed from a plurality of media, it is included in the storage media in the embodiments, and the configuration of the medium may be any configuration. .
なお、実施形態におけるコンピュータ又は組み込みシステムは、記憶媒体に記憶されたプログラムに基づき、上述した実施形態における各処理を実行するためのものであって、パソコン、マイコン等の1つからなる装置、複数の装置がネットワーク接続されたシステム等の何れの構成であってもよい。 The computer or embedded system in the embodiment is for executing each process in the above-described embodiment based on the program stored in the storage medium, and is a device consisting of one such as a personal computer or a microcomputer. Any configuration such as a system in which the devices are connected to a network may be used.
また、実施形態におけるコンピュータとは、パソコンに限らず、情報処理機器に含まれる演算処理装置、マイコン等も含み、プログラムによって実施形態における機能を実現することが可能な機器、装置を総称している。 In addition, the computer in the embodiment is not limited to a personal computer, but also includes an arithmetic processing unit, a microcomputer, etc. included in information processing equipment, and is a general term for equipment and devices capable of realizing the functions in the embodiment by a program. .
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。 While several embodiments of the invention have been described, these embodiments have been presented by way of example and are not intended to limit the scope of the invention. These novel embodiments can be implemented in various other forms, and various omissions, replacements, and modifications can be made without departing from the scope of the invention. These embodiments and modifications thereof are included in the scope and gist of the invention, and are included in the scope of the invention described in the claims and equivalents thereof.
1…信号復元装置
2A,2B,2C,2D,2E,2F,2G,2H…学習済みモデル
21,24,25…欠損部分
22…欠損データ
23…収集データ
310…入力ベクトル
310a…第1の入力範囲
310b…第2の入力範囲
310c…第3の入力範囲
330…出力ベクトル
330a…出力範囲
4…CNN
45…加算部
5…モデル学習装置
100…医用画像診断装置
7,7A,8…復元関数
74…k空間データ
83…サイノグラムデータ
84…欠損部分
200…距離画像撮影システム
91…距離画像データ
91a…収集部
91b…未収集部
92…信頼度データ
92a…高信頼度領域
92b…低信頼度領域
45
Claims (18)
前記医用信号データに相当する入力信号データに第1の復元関数を適用して初期復元信号データを生成し、
前記初期復元信号データと、前記入力信号データに対応し前記入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって第1の要素積信号データを生成し、
前記入力信号データおよび前記初期復元信号データのうちの少なくとも一つと、前記第1の要素積信号データとに第2の復元関数を適用して復元信号データを生成する処理部と
を具備し、
前記信頼度データは、前記入力信号データにおける欠損部分と当該欠損部分以外の部分とを示す情報を有する、医用画像診断装置。 a medical imaging unit that generates medical signal data by performing medical imaging on a subject;
generating initial restored signal data by applying a first restoration function to input signal data corresponding to the medical signal data;
generating first element product signal data by taking an element product of the initial restoration signal data and reliability data corresponding to the input signal data and representing a degree of deterioration included in the input signal data;
a processing unit that applies a second restoration function to at least one of the input signal data and the initial restored signal data and the first element product signal data to generate restored signal data;
The medical image diagnostic apparatus , wherein the reliability data has information indicating missing portions and portions other than the missing portions in the input signal data .
前記第2の要素積信号データが生成された場合、
前記処理部は、前記入力信号データおよび前記初期復元信号データのうちの少なくとも一つと、前記第1の要素積信号データと、前記第2の要素積信号データとに前記第2の復元関数を適用して前記復元信号データを生成する、請求項1に記載の医用画像診断装置。 The processing unit further generates second element product signal data by taking the element product of the input signal data and the reliability data,
When the second element product signal data is generated,
The processing unit applies the second restoration function to at least one of the input signal data and the initial restoration signal data, the first element product signal data, and the second element product signal data. 2. The medical image diagnostic apparatus according to claim 1, wherein the reconstructed signal data is generated by
前記医用信号データに相当する入力信号データに第1の復元関数を適用して初期復元信号データを生成し、
前記入力信号データと、前記入力信号データに対応し前記入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって要素積信号データを生成し、
前記初期復元信号データおよび前記要素積信号データに第2の復元関数を適用して復元信号データを生成する処理部と
を具備し、
前記信頼度データは、前記入力信号データにおける欠損部分と当該欠損部分以外の部分とを示す情報を有する、医用画像診断装置。 a medical imaging unit that generates medical signal data by performing medical imaging on a subject;
generating initial restored signal data by applying a first restoration function to input signal data corresponding to the medical signal data;
generating element product signal data by taking an element product of the input signal data and reliability data corresponding to the input signal data and representing a degree of deterioration included in the input signal data;
a processing unit that applies a second restoration function to the initial restored signal data and the element product signal data to generate restored signal data;
The medical image diagnostic apparatus , wherein the reliability data has information indicating missing portions and portions other than the missing portions in the input signal data .
前記医用信号データに相当する入力信号データに第1の復元関数を適用して初期復元信号データを生成することと、
前記初期復元信号データと、前記入力信号データに対応し前記入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって第1の要素積信号データを生成することと、
前記入力信号データおよび前記初期復元信号データのうちの少なくとも一つと、前記第1の要素積信号データとに第2の復元関数を適用して復元信号データを生成することと
を具備し、
前記信頼度データは、前記入力信号データにおける欠損部分と当該欠損部分以外の部分とを示す情報を有する、医用信号復元方法。 generating medical signal data by performing medical imaging on a subject;
applying a first restoration function to input signal data corresponding to the medical signal data to generate initial restored signal data;
generating first element product signal data by taking an element product of the initial restored signal data and reliability data corresponding to the input signal data and representing a degree of deterioration included in the input signal data;
applying a second restoration function to at least one of the input signal data and the initial restored signal data and the first element product signal data to generate restored signal data;
The medical signal restoration method , wherein the reliability data has information indicating a missing portion and a portion other than the missing portion in the input signal data .
被検体に対して医用撮像を行うことによって医用信号データを生成する手段と、
前記医用信号データに相当する入力信号データに第1の復元関数を適用して初期復元信号データを生成する手段と、
前記初期復元信号データと、前記入力信号データに対応し前記入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって第1の要素積信号データを生成する手段と、
前記入力信号データおよび前記初期復元信号データのうちの少なくとも一つと、前記第1の要素積信号データとに第2の復元関数を適用して復元信号データを生成する手段
として機能させ、
前記信頼度データは、前記入力信号データにおける欠損部分と当該欠損部分以外の部分とを示す情報を有する、医用信号復元プログラム。 the computer,
means for generating medical signal data by performing medical imaging on a subject;
means for generating initial restored signal data by applying a first restoration function to input signal data corresponding to the medical signal data;
means for generating first element product signal data by taking the element product of the initial restored signal data and reliability data corresponding to the input signal data and representing a degree of deterioration included in the input signal data;
means for generating restored signal data by applying a second restoration function to at least one of the input signal data and the initial restored signal data and the first element product signal data ;
The medical signal restoration program , wherein the reliability data has information indicating missing portions and portions other than the missing portions in the input signal data .
前記入力信号データに対応する正解出力信号データと前記推定復元信号データとが近似するように、請求項8に記載の前記第2の復元関数のパラメータを更新することと、
更新された前記第2の復元関数に関する学習済みモデルを出力することと
を具備し、
前記信頼度データは、前記入力信号データにおける欠損部分と当該欠損部分以外の部分とを示す情報を有する、モデル学習方法。 By applying the medical signal restoration method according to claim 8 to input signal data corresponding to medical signal data and reliability data corresponding to the input signal data and representing the degree of deterioration included in the input signal data, generating estimated recovered signal data corresponding to the recovered signal data;
Updating the parameters of the second restoration function according to claim 8 so that the correct output signal data corresponding to the input signal data and the estimated restoration signal data approximate each other;
and outputting a trained model for the updated second restoration function,
The model learning method , wherein the reliability data has information indicating missing portions and portions other than the missing portions in the input signal data .
医用信号データに相当する入力信号データおよび前記入力信号データに対応し前記入力信号データに含まれる劣化の程度を表す信頼度データに、請求項9に記載の医用信号復元プログラムを適用することによって、前記復元信号データに相当する推定復元信号データを生成する手段と、
前記入力信号データに対応する正解出力信号データと前記推定復元信号データとが近似するように、請求項9に記載の前記第2の復元関数のパラメータを更新する手段と、
更新された前記第2の復元関数に関する学習済みモデルを出力する手段
として機能させ、
前記信頼度データは、前記入力信号データにおける欠損部分と当該欠損部分以外の部分とを示す情報を有する、モデル学習プログラム。 the computer,
By applying the medical signal restoration program according to claim 9 to the input signal data corresponding to the medical signal data and the reliability data corresponding to the input signal data and included in the input signal data, means for generating estimated recovered signal data corresponding to said recovered signal data;
means for updating parameters of the second restoration function according to claim 9, such that the correct output signal data corresponding to the input signal data and the estimated restoration signal data approximate each other;
Function as means for outputting a trained model related to the updated second restoration function ,
The model learning program , wherein the reliability data has information indicating missing portions and portions other than the missing portions in the input signal data .
前記初期復元信号データと、前記入力信号データに対応し前記入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって第1の要素積信号データを生成し、
前記入力信号データおよび前記初期復元信号データのうちの少なくとも一つと、前記第1の要素積信号データとに第2の復元関数を適用して復元信号データを生成する処理部
を具備し、
前記信頼度データは、前記入力信号データにおける欠損部分と当該欠損部分以外の部分とを示す情報を有する、医用画像診断装置。 generating initial restored signal data by applying a first restoration function to input signal data corresponding to medical signal data relating to a subject;
generating first element product signal data by taking an element product of the initial restoration signal data and reliability data corresponding to the input signal data and representing a degree of deterioration included in the input signal data;
a processing unit that applies a second restoration function to at least one of the input signal data and the initial restored signal data and the first element product signal data to generate restored signal data;
The medical image diagnostic apparatus , wherein the reliability data has information indicating missing portions and portions other than the missing portions in the input signal data .
前記入力信号データと、前記入力信号データに対応し前記入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって要素積信号データを生成し、
前記初期復元信号データおよび前記要素積信号データに第2の復元関数を適用して復元信号データを生成する処理部と
を具備し、
前記信頼度データは、前記入力信号データにおける欠損部分と当該欠損部分以外の部分とを示す情報を有する、医用画像診断装置。 generating initial restored signal data by applying a first restoration function to input signal data corresponding to medical signal data relating to a subject;
generating element product signal data by taking an element product of the input signal data and reliability data corresponding to the input signal data and representing a degree of deterioration included in the input signal data;
a processing unit that applies a second restoration function to the initial restored signal data and the element product signal data to generate restored signal data;
The medical image diagnostic apparatus , wherein the reliability data has information indicating missing portions and portions other than the missing portions in the input signal data .
前記初期復元信号データと、前記入力信号データに対応し前記入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって第1の要素積信号データを生成することと、
前記入力信号データおよび前記初期復元信号データのうちの少なくとも一つと、前記第1の要素積信号データとに第2の復元関数を適用して復元信号データを生成することと
を具備し、
前記信頼度データは、前記入力信号データにおける欠損部分と当該欠損部分以外の部分とを示す情報を有する、医用信号復元方法。 applying a first restoration function to input signal data corresponding to medical signal data about a subject to generate initial restored signal data;
generating first element product signal data by taking an element product of the initial restored signal data and reliability data corresponding to the input signal data and representing a degree of deterioration included in the input signal data;
applying a second restoration function to at least one of the input signal data and the initial restored signal data and the first element product signal data to generate restored signal data;
The medical signal restoration method , wherein the reliability data has information indicating a missing portion and a portion other than the missing portion in the input signal data .
被検体に関する医用信号データに相当する入力信号データに第1の復元関数を適用して初期復元信号データを生成する手段と、
前記初期復元信号データと、前記入力信号データに対応し前記入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって第1の要素積信号データを生成する手段と、
前記入力信号データおよび前記初期復元信号データのうちの少なくとも一つと、前記第1の要素積信号データとに第2の復元関数を適用して復元信号データを生成する手段
として機能させ、
前記信頼度データは、前記入力信号データにおける欠損部分と当該欠損部分以外の部分とを示す情報を有する、医用信号復元プログラム。 the computer,
means for generating initial restored signal data by applying a first restoration function to input signal data corresponding to medical signal data relating to a subject;
means for generating first element product signal data by taking the element product of the initial restored signal data and reliability data corresponding to the input signal data and representing a degree of deterioration included in the input signal data;
means for generating restored signal data by applying a second restoration function to at least one of the input signal data and the initial restored signal data and the first element product signal data ;
The medical signal restoration program , wherein the reliability data has information indicating missing portions and portions other than the missing portions in the input signal data .
前記入力信号データに対応する正解出力信号データと前記推定復元信号データとが近似するように、請求項14に記載の前記第2の復元関数のパラメータを更新することと、
更新された前記第2の復元関数に関する学習済みモデルを出力することと
を具備し、
前記信頼度データは、前記入力信号データにおける欠損部分と当該欠損部分以外の部分とを示す情報を有する、モデル学習方法。 By applying the medical signal restoration method according to claim 14 to input signal data corresponding to medical signal data and reliability data corresponding to said input signal data and representing a degree of deterioration included in said input signal data, generating estimated recovered signal data corresponding to the recovered signal data;
Updating the parameters of the second restoration function according to claim 14 so that the correct output signal data corresponding to the input signal data and the estimated restored signal data approximate each other;
and outputting a trained model for the updated second restoration function,
The model learning method , wherein the reliability data has information indicating missing portions and portions other than the missing portions in the input signal data .
医用信号データに相当する入力信号データおよび前記入力信号データに対応し前記入力信号データに含まれる劣化の程度を表す信頼度データに、請求項15に記載の医用信号復元プログラムを適用することによって、前記復元信号データに相当する推定復元信号データを生成する手段と、
前記入力信号データに対応する正解出力信号データと前記推定復元信号データとが近似するように、請求項15に記載の前記第2の復元関数のパラメータを更新する手段と、
更新された前記第2の復元関数に関する学習済みモデルを出力する手段
として機能させ、
前記信頼度データは、前記入力信号データにおける欠損部分と当該欠損部分以外の部分とを示す情報を有する、モデル学習プログラム。 the computer,
By applying the medical signal restoration program according to claim 15 to input signal data corresponding to medical signal data and reliability data corresponding to said input signal data and representing the degree of deterioration included in said input signal data, means for generating estimated recovered signal data corresponding to said recovered signal data;
means for updating the parameters of the second restoration function according to claim 15 so that the correct output signal data corresponding to the input signal data and the estimated restoration signal data approximate each other;
Function as means for outputting a trained model related to the updated second restoration function ,
The model learning program , wherein the reliability data has information indicating missing portions and portions other than the missing portions in the input signal data .
前記k空間データに相当する入力信号データに第1の復元関数を適用して初期復元信号データを生成し、
前記初期復元信号データと、前記入力信号データに対応し前記入力信号データに含まれる劣化の程度を表す信頼度データとの要素積をとることによって第1の要素積信号データを生成し、
前記入力信号データおよび前記初期復元信号データのうちの少なくとも一つと、前記第1の要素積信号データとに第2の復元関数を適用して復元信号データを生成し、
前記復元信号データに画像復元処理を施して磁気共鳴画像を生成する処理部と
を具備し、
前記信頼度データは、前記入力信号データにおける欠損部分と当該欠損部分以外の部分とを示す情報を有する、磁気共鳴イメージング装置。 a medical imaging unit that collects k-space data by performing medical imaging on a subject;
generating initial restored signal data by applying a first restoration function to input signal data corresponding to the k-space data;
generating first element product signal data by taking an element product of the initial restoration signal data and reliability data corresponding to the input signal data and representing a degree of deterioration included in the input signal data;
applying a second restoration function to at least one of the input signal data and the initial restored signal data and the first element product signal data to generate restored signal data;
a processing unit that performs image restoration processing on the restored signal data to generate a magnetic resonance image,
The magnetic resonance imaging apparatus , wherein the reliability data has information indicating missing portions and portions other than the missing portions in the input signal data .
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018046845A JP7106307B2 (en) | 2018-03-14 | 2018-03-14 | Medical image diagnostic apparatus, medical signal restoration method, medical signal restoration program, model learning method, model learning program, and magnetic resonance imaging apparatus |
US16/352,892 US10987021B2 (en) | 2018-03-14 | 2019-03-14 | Medical image diagnostic apparatus, medical signal restoration method, and model training method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018046845A JP7106307B2 (en) | 2018-03-14 | 2018-03-14 | Medical image diagnostic apparatus, medical signal restoration method, medical signal restoration program, model learning method, model learning program, and magnetic resonance imaging apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019154854A JP2019154854A (en) | 2019-09-19 |
JP7106307B2 true JP7106307B2 (en) | 2022-07-26 |
Family
ID=67904742
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018046845A Active JP7106307B2 (en) | 2018-03-14 | 2018-03-14 | Medical image diagnostic apparatus, medical signal restoration method, medical signal restoration program, model learning method, model learning program, and magnetic resonance imaging apparatus |
Country Status (2)
Country | Link |
---|---|
US (1) | US10987021B2 (en) |
JP (1) | JP7106307B2 (en) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6708695B2 (en) * | 2018-04-20 | 2020-06-10 | ファナック株式会社 | Inspection equipment |
US11455755B2 (en) * | 2019-09-05 | 2022-09-27 | Siemens Medical Solutions Usa, Inc. | Methods and apparatus for neural network based image reconstruction |
JP7349870B2 (en) | 2019-10-03 | 2023-09-25 | キヤノン株式会社 | Medical image processing device, tomography device, medical image processing method and program |
CN111476730B (en) * | 2020-03-31 | 2024-02-13 | 珠海格力电器股份有限公司 | Image restoration processing method and device |
CN111652815B (en) * | 2020-05-26 | 2023-05-05 | 浙江大学 | Mask plate camera image restoration method based on deep learning |
CN114098679B (en) * | 2021-12-30 | 2024-03-29 | 中新国际联合研究院 | Vital sign monitoring waveform recovery method based on deep learning and radio frequency sensing |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012228507A (en) | 2011-04-22 | 2012-11-22 | Toshiba Corp | Image processing apparatus, image processing method and magnetic resonance imaging apparatus |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7054474B1 (en) * | 2001-07-25 | 2006-05-30 | 3D Sharp, Inc. | Image noise reduction |
US7688068B2 (en) | 2008-05-06 | 2010-03-30 | General Electric Company | System and method for using parallel imaging with compressed sensing |
US8331714B2 (en) * | 2009-02-23 | 2012-12-11 | Sharp Laboratories Of America, Inc. | Methods and systems for image processing |
US8503801B2 (en) * | 2010-09-21 | 2013-08-06 | Adobe Systems Incorporated | System and method for classifying the blur state of digital image pixels |
US8675942B2 (en) * | 2010-11-05 | 2014-03-18 | Siemens Aktiengesellschaft | Prior enhanced compressed sensing (PRINCE-CS) reconstruction for dynamic 2D-radial cardiac MRI |
WO2014079483A1 (en) * | 2012-11-21 | 2014-05-30 | Huawei Technologies Co., Ltd. | Method and device for reconstructing a target signal from a noisy input signal |
US9258460B2 (en) * | 2012-12-12 | 2016-02-09 | Forus Health Pvt. Ltd. | Image processing method and apparatus for correcting an image |
US20140200820A1 (en) * | 2013-01-11 | 2014-07-17 | Westerngeco L.L.C. | Wavefield extrapolation and imaging using single- or multi-component seismic measurements |
US10064591B2 (en) * | 2014-07-09 | 2018-09-04 | The Johns Hopkins University | System, method and computer readable medium for preview of low-dose x-ray projection and tomographic images |
JP6789620B2 (en) * | 2015-10-08 | 2020-11-25 | キヤノン株式会社 | Image processing device and its control method, computer program |
CN105976332B (en) * | 2016-05-03 | 2019-03-01 | 北京大学深圳研究生院 | Image deblurring method based on bright fringes information in image |
EP3719750A1 (en) * | 2019-04-03 | 2020-10-07 | Siemens Healthcare GmbH | Medical imaging artifact correction |
-
2018
- 2018-03-14 JP JP2018046845A patent/JP7106307B2/en active Active
-
2019
- 2019-03-14 US US16/352,892 patent/US10987021B2/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012228507A (en) | 2011-04-22 | 2012-11-22 | Toshiba Corp | Image processing apparatus, image processing method and magnetic resonance imaging apparatus |
Also Published As
Publication number | Publication date |
---|---|
US10987021B2 (en) | 2021-04-27 |
US20190282120A1 (en) | 2019-09-19 |
JP2019154854A (en) | 2019-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7106307B2 (en) | Medical image diagnostic apparatus, medical signal restoration method, medical signal restoration program, model learning method, model learning program, and magnetic resonance imaging apparatus | |
US11039805B2 (en) | Deep learning based estimation of data for use in tomographic reconstruction | |
US9582916B2 (en) | Method and system for unsupervised cross-modal medical image synthesis | |
KR102033743B1 (en) | Apparatus and method for ct image denoising based on deep learning | |
RU2510080C2 (en) | Image processing device, image processing method and long-term information storage medium | |
CN111448590A (en) | Scatter correction based on deep learning | |
US11615530B2 (en) | Medical data processing apparatus for reconstructing a medical image using a neural network | |
CN111540025B (en) | Predicting images for image processing | |
US8897529B2 (en) | Apparatus, system, and method for non-convex prior image constrained compressed sensing | |
CN105556507A (en) | Method and system for statistical modeling of data using a quadratic likelihood functional | |
JP2007209756A (en) | Noise reduction method in tomographic image data set | |
US10970885B2 (en) | Iterative image reconstruction | |
CN111833251A (en) | Three-dimensional medical image super-resolution reconstruction method and device | |
JP2018134199A (en) | Medical imaging apparatus, image processing method, and program | |
WO2019224140A1 (en) | Medical image conversion | |
JP7014648B2 (en) | Signal recovery device, signal recovery method, signal recovery program, model learning method, and model learning program | |
CN114494479A (en) | System and method for simultaneous attenuation correction, scatter correction, and denoising of low dose PET images using neural networks | |
US9495770B2 (en) | Practical model based CT construction | |
CN108280860B (en) | Reducing the number of spectral channels in multi-energy CT imaging | |
JP2016168338A (en) | X-ray computer tomography apparatus and medical image processor | |
JP2022068043A (en) | Medical image processing device and medical image processing system | |
CN104173049A (en) | Method for recording image data sets with a magnetic resonance tomography system | |
US20230134630A1 (en) | Inference apparatus, medical image diagnostic apparatus, inference method, and trained neural network generation method | |
CN106462988B (en) | The reconstruct of multi-angle of view tomography | |
US20190362472A1 (en) | Medical signal processing apparatus and model learning apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201221 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211020 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211026 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211220 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220426 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220525 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220614 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220713 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7106307 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |