JP7355532B2 - Medical information processing device, method and program - Google Patents

Medical information processing device, method and program Download PDF

Info

Publication number
JP7355532B2
JP7355532B2 JP2019116625A JP2019116625A JP7355532B2 JP 7355532 B2 JP7355532 B2 JP 7355532B2 JP 2019116625 A JP2019116625 A JP 2019116625A JP 2019116625 A JP2019116625 A JP 2019116625A JP 7355532 B2 JP7355532 B2 JP 7355532B2
Authority
JP
Japan
Prior art keywords
data
medical
conditions
collection
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019116625A
Other languages
Japanese (ja)
Other versions
JP2020006163A (en
Inventor
秀則 竹島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to US16/452,818 priority Critical patent/US11493585B2/en
Publication of JP2020006163A publication Critical patent/JP2020006163A/en
Priority to US17/955,076 priority patent/US20230021786A1/en
Application granted granted Critical
Publication of JP7355532B2 publication Critical patent/JP7355532B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Magnetic Resonance Imaging Apparatus (AREA)

Description

本発明の実施形態は、医用情報処理装置、方法及びプログラムに関する。 Embodiments of the present invention relate to a medical information processing device, method, and program.

医用画像データやその生データ等の医用データを用いた機械学習において、一部が欠損した医用データから元データを復元するために、多くの学習データから学習した深層ニューラルネットワーク(DNN:Deep Neural Network)を適用する手法がある。例えば、磁気共鳴イメージング(MRI:Magnetic Resonance Imaging)において、カーテシアン収集によりアンダーサンプリングされたk空間データにDNNを適用して欠損部分が復元されたk空間データを生成し、復元後のk空間データに基づいて再構成画像を得る手法がある。また、アンダーサンプリングされたk空間データにDNNを適用して直接復元画像を得る方法がある。 In machine learning using medical data such as medical image data and its raw data, a deep neural network (DNN) that is trained from a large amount of training data is used to restore the original data from partially missing medical data. ). For example, in magnetic resonance imaging (MRI), DNN is applied to k-space data that has been undersampled by Cartesian acquisition to generate k-space data with missing parts restored, and the restored k-space data is There is a method to obtain reconstructed images based on There is also a method of directly obtaining a restored image by applying DNN to undersampled k-space data.

米国特許出願公開第2015/0276953号明細書US Patent Application Publication No. 2015/0276953 米国特許第9672617号明細書US Patent No. 9672617 米国特許第9668699号明細書US Patent No. 9668699

本発明が解決しようとする課題は、機械学習を用いた出力データの精度を向上することである。 The problem to be solved by the present invention is to improve the accuracy of output data using machine learning .

実施形態に係る医用情報処理装置は、被検体に関する医用データを取得する第1取得部と、前記医用データの収集条件を数値化した数値データを取得する第2取得部と、前記数値データと前記医用データとを含む入力データに機械学習モデルを適用して、前記医用データに基づく出力データを生成する生成部と、を具備する。 The medical information processing device according to the embodiment includes: a first acquisition unit that acquires medical data regarding a subject; a second acquisition unit that acquires numerical data that digitizes the collection conditions of the medical data; and a generation unit that applies a machine learning model to input data including medical data to generate output data based on the medical data.

図1は、本実施形態に係る医用情報処理装置を実装する磁気共鳴イメージング装置の構成を示す図である。FIG. 1 is a diagram showing the configuration of a magnetic resonance imaging apparatus that implements a medical information processing apparatus according to this embodiment. 図2は、図1の処理回路によるMR撮像の典型的な流れを示す図である。FIG. 2 is a diagram showing a typical flow of MR imaging by the processing circuit of FIG. 図3は、図2のステップS2及びS3におけるマスクデータの生成処理を模式的に示す図である。FIG. 3 is a diagram schematically showing the mask data generation process in steps S2 and S3 of FIG. 図4は、本実施形態に係る第1のDNN再構成の流れを模式的に示す図である。FIG. 4 is a diagram schematically showing the flow of the first DNN reconfiguration according to this embodiment. 図5は、本実施形態に係る第2のDNN再構成の流れを模式的に示す図である。FIG. 5 is a diagram schematically showing the flow of the second DNN reconfiguration according to this embodiment. 図6は、本実施形態に係る第3のDNN再構成の流れを模式的に示す図である。FIG. 6 is a diagram schematically showing the flow of the third DNN reconfiguration according to this embodiment. 図7は、本実施形態に係るモデル学習装置の構成を示す図である。FIG. 7 is a diagram showing the configuration of the model learning device according to this embodiment. 図8は、図7の学習サンプル生成機能による処理を模式的に示す図である。FIG. 8 is a diagram schematically showing processing by the learning sample generation function of FIG. 7. 図9は、本実施形態に係る医用情報処理装置の他の構成を示す図である。FIG. 9 is a diagram showing another configuration of the medical information processing apparatus according to this embodiment. 図10は、本実施形態に係る数値データを模式的に示す図である。FIG. 10 is a diagram schematically showing numerical data according to this embodiment. 図11は、図10の数値データの機械学習モデルへの入力を模式的に示す図である。FIG. 11 is a diagram schematically showing input of the numerical data of FIG. 10 to the machine learning model. 図12は、他の数値データの機械学習モデルへの入力を模式的に示す図である。FIG. 12 is a diagram schematically showing input of other numerical data to the machine learning model. 図13は、他の数値データの機械学習モデルへの入力を模式的に示す図である。FIG. 13 is a diagram schematically showing input of other numerical data to the machine learning model. 図14は、他の数値データを模式的に示す図である。FIG. 14 is a diagram schematically showing other numerical data. 図15は、本実施形態に係る機械学習モデルのネットワーク構造を模式的に示す図である。FIG. 15 is a diagram schematically showing the network structure of the machine learning model according to this embodiment. 図16は、本実施形態に係る他の機械学習モデルのネットワーク構造を模式的に示す図である。FIG. 16 is a diagram schematically showing the network structure of another machine learning model according to this embodiment. 図17は、複数のCNNを有する機械学習モデルの入出力を模式的に示す図である。FIG. 17 is a diagram schematically showing input and output of a machine learning model having multiple CNNs.

以下、図面を参照しながら本実施形態に係る医用情報処理装置、方法及びプログラムを説明する。 Hereinafter, a medical information processing apparatus, method, and program according to the present embodiment will be described with reference to the drawings.

本実施形態に係る医用情報処理装置は、医用情報を処理する処理回路を実装する装置である。本実施形態に係る医用情報処理装置は、例えば、医用画像診断装置に搭載されたコンピュータにより実現される。本実施形態に係る医用画像診断装置としては、磁気共鳴イメージング装置(MRI装置)、X線コンピュータ断層撮影装置(CT装置)、X線診断装置、PET(Positron Emission Tomography)装置、SPECT装置(Single Photon Emission CT)装置及び超音波診断装置等の単一モダリティ装置であっても良いし、PET/CT装置、SPECT/CT装置、PET/MRI装置、SPECT/MRI装置等の複合モダリティ装置であっても良い。他の例として、本実施形態に係る医用情報処理装置は、医用画像診断装置にケーブルやネットワーク等を介して通信可能に接続されたコンピュータであっても良いし、当該医用画像診断装置とは独立のコンピュータであっても良い。以下、本実施形態に係る医用情報処理装置は、磁気共鳴イメージング装置に実装されるものとする。 The medical information processing device according to this embodiment is a device that is equipped with a processing circuit that processes medical information. The medical information processing apparatus according to this embodiment is realized by, for example, a computer installed in a medical image diagnostic apparatus. The medical image diagnostic apparatus according to this embodiment includes a magnetic resonance imaging apparatus (MRI apparatus), an X-ray computed tomography apparatus (CT apparatus), an X-ray diagnostic apparatus, a PET (Positron Emission Tomography) apparatus, and a SPECT apparatus (Single Photon It may be a single modality device such as an ultrasonic diagnostic device or an ultrasonic diagnostic device, or a multimodality device such as a PET/CT device, a SPECT/CT device, a PET/MRI device, or a SPECT/MRI device. good. As another example, the medical information processing apparatus according to the present embodiment may be a computer communicably connected to a medical image diagnostic apparatus via a cable, a network, etc., or may be independent of the medical image diagnostic apparatus. It may be a computer. Hereinafter, it is assumed that the medical information processing apparatus according to this embodiment is implemented in a magnetic resonance imaging apparatus.

図1は、本実施形態に係る医用情報処理装置50を実装する磁気共鳴イメージング装置1の構成を示す図である。図1に示すように、磁気共鳴イメージング装置1は、架台11、寝台13、傾斜磁場電源21、送信回路23、受信回路25、寝台駆動装置27、シーケンス制御回路29及び医用情報処理装置50を有する。 FIG. 1 is a diagram showing the configuration of a magnetic resonance imaging apparatus 1 that implements a medical information processing apparatus 50 according to the present embodiment. As shown in FIG. 1, the magnetic resonance imaging apparatus 1 includes a pedestal 11, a bed 13, a gradient magnetic field power supply 21, a transmitting circuit 23, a receiving circuit 25, a bed driving device 27, a sequence control circuit 29, and a medical information processing device 50. .

架台11は、静磁場磁石41と傾斜磁場コイル43とを有する。静磁場磁石41と傾斜磁場コイル43とは架台11の筐体に収容されている。架台11の筐体には中空形状を有するボアが形成されている。架台11のボア内には送信コイル45と受信コイル47とが配置される。 The pedestal 11 has a static magnetic field magnet 41 and a gradient magnetic field coil 43. The static magnetic field magnet 41 and the gradient magnetic field coil 43 are housed in the casing of the pedestal 11. A hollow bore is formed in the casing of the pedestal 11 . A transmitting coil 45 and a receiving coil 47 are arranged within the bore of the pedestal 11.

静磁場磁石41は、中空の略円筒形状を有し、略円筒内部に静磁場を発生する。静磁場磁石41としては、例えば、永久磁石、超伝導磁石または常伝導磁石等が使用される。ここで、静磁場磁石41の中心軸をZ軸に規定し、Z軸に対して鉛直に直交する軸をY軸に規定し、Z軸に水平に直交する軸をX軸に規定する。X軸、Y軸及びZ軸は、直交3次元座標系を構成する。 The static magnetic field magnet 41 has a hollow, substantially cylindrical shape, and generates a static magnetic field substantially inside the cylinder. As the static field magnet 41, for example, a permanent magnet, a superconducting magnet, a normal conducting magnet, or the like is used. Here, the central axis of the static magnetic field magnet 41 is defined as the Z-axis, the axis vertically orthogonal to the Z-axis is defined as the Y-axis, and the axis horizontally orthogonal to the Z-axis is defined as the X-axis. The X-axis, Y-axis, and Z-axis constitute an orthogonal three-dimensional coordinate system.

傾斜磁場コイル43は、静磁場磁石41の内側に取り付けられ、中空の略円筒形状に形成されたコイルユニットである。傾斜磁場コイル43は、傾斜磁場電源21からの電流の供給を受けて傾斜磁場を発生する。より詳細には、傾斜磁場コイル43は、互いに直交するX軸、Y軸、Z軸に対応する3つのコイルを有する。当該3つのコイルは、X軸、Y軸、Z軸の各軸に沿って磁場強度が変化する傾斜磁場を形成する。X軸、Y軸、Z軸の各軸に沿う傾斜磁場は合成されて互いに直交するスライス選択傾斜磁場Gs、位相エンコード傾斜磁場Gp及び周波数エンコード傾斜磁場Grが所望の方向に形成される。スライス選択傾斜磁場Gsは、任意に撮像断面を決めるために利用される。位相エンコード傾斜磁場Gpは、空間的位置に応じてMR信号の位相を変化させるために利用される。周波数エンコード傾斜磁場Grは、空間的位置に応じてMR信号の周波数を変化させるために利用される。なお、以下の説明においてスライス選択傾斜磁場Gsの傾斜方向はZ軸、位相エンコード傾斜磁場Gpの傾斜方向はY軸、周波数エンコード傾斜磁場Grの傾斜方向はX軸であるとする。 The gradient magnetic field coil 43 is a coil unit that is attached inside the static magnetic field magnet 41 and formed in a hollow, substantially cylindrical shape. The gradient magnetic field coil 43 receives current from the gradient magnetic field power supply 21 and generates a gradient magnetic field. More specifically, the gradient magnetic field coil 43 has three coils corresponding to the X-axis, Y-axis, and Z-axis that are orthogonal to each other. The three coils form a gradient magnetic field whose magnetic field strength changes along each of the X-axis, Y-axis, and Z-axis. The gradient magnetic fields along the X, Y, and Z axes are combined to form a mutually orthogonal slice selection gradient magnetic field Gs, phase encode gradient magnetic field Gp, and frequency encode gradient magnetic field Gr in a desired direction. The slice selection gradient magnetic field Gs is used to arbitrarily determine an imaging section. The phase encoding gradient magnetic field Gp is used to change the phase of the MR signal depending on the spatial position. The frequency encode gradient magnetic field Gr is used to change the frequency of the MR signal depending on the spatial position. In the following description, it is assumed that the gradient direction of the slice selection gradient magnetic field Gs is the Z axis, the gradient direction of the phase encode gradient magnetic field Gp is the Y axis, and the gradient direction of the frequency encode gradient magnetic field Gr is the X axis.

傾斜磁場電源21は、シーケンス制御回路29からのシーケンス制御信号に従い傾斜磁場コイル43に電流を供給する。傾斜磁場電源21は、傾斜磁場コイル43に電流を供給することにより、X軸、Y軸及びZ軸の各軸に沿う傾斜磁場を傾斜磁場コイル43により発生させる。当該傾斜磁場は、静磁場磁石41により形成された静磁場に重畳されて被検体Pに印加される。 The gradient magnetic field power supply 21 supplies current to the gradient magnetic field coil 43 according to a sequence control signal from the sequence control circuit 29 . The gradient magnetic field power supply 21 supplies current to the gradient magnetic field coils 43, thereby causing the gradient magnetic field coils 43 to generate gradient magnetic fields along the X, Y, and Z axes. The gradient magnetic field is applied to the subject P while being superimposed on the static magnetic field formed by the static magnetic field magnet 41.

送信コイル45は、例えば、傾斜磁場コイル43の内側に配置され、送信回路23から電流の供給を受けて高周波磁場パルス(以下、RF磁場パルスと呼ぶ)を発生する。 The transmitting coil 45 is disposed, for example, inside the gradient magnetic field coil 43, receives current from the transmitting circuit 23, and generates a high-frequency magnetic field pulse (hereinafter referred to as an RF magnetic field pulse).

送信回路23は、被検体P内に存在する対象プロトンを励起するためのRF磁場パルスを送信コイル45を介して被検体Pに印加するために、送信コイル45に電流を供給する。RF磁場パルスは、対象プロトンに固有の共鳴周波数で振動し、対象プロトンを励起させる。励起された対象プロトンから磁気共鳴信号(以下、MR信号と呼ぶ)が発生され、受信コイル47により検出される。送信コイル45は、例えば、全身用コイル(WBコイル)である。全身用コイルは、送受信コイルとして使用されても良い。 The transmitting circuit 23 supplies current to the transmitting coil 45 in order to apply an RF magnetic field pulse to the subject P via the transmitting coil 45 for exciting target protons present in the subject P. The RF magnetic field pulse oscillates at a resonant frequency unique to the target protons and excites the target protons. A magnetic resonance signal (hereinafter referred to as an MR signal) is generated from the excited target protons and detected by the receiving coil 47. The transmitting coil 45 is, for example, a whole body coil (WB coil). Whole body coils may be used as transmit and receive coils.

受信コイル47は、RF磁場パルスの作用を受けて被検体P内に存在する対象プロトンから発せられるMR信号を受信する。受信コイル47は、MR信号を受信可能な複数の受信コイルエレメントを有する。受信されたMR信号は、有線又は無線を介して受信回路25に供給される。図1に図示しないが、受信コイル47は、並列的に実装された複数の受信チャネルを有している。受信チャネルは、MR信号を受信する受信コイルエレメント及びMR信号を増幅する増幅器等を有している。MR信号は、受信チャネル毎に出力される。受信チャネルの総数と受信コイルエレメントの総数とは同一であっても良いし、受信チャネルの総数が受信コイルエレメントの総数に比して多くても良いし、少なくても良い。 The receiving coil 47 receives the MR signal emitted from the target protons present in the subject P under the action of the RF magnetic field pulse. The receiving coil 47 has a plurality of receiving coil elements capable of receiving MR signals. The received MR signal is supplied to the receiving circuit 25 via wire or wirelessly. Although not shown in FIG. 1, the receiving coil 47 has a plurality of receiving channels implemented in parallel. The reception channel includes a reception coil element that receives the MR signal, an amplifier that amplifies the MR signal, and the like. The MR signal is output for each receiving channel. The total number of reception channels and the total number of reception coil elements may be the same, or the total number of reception channels may be greater or less than the total number of reception coil elements.

受信回路25は、励起された対象プロトンから発生されるMR信号を受信コイル47を介して受信する。受信回路25は、受信されたMR信号を信号処理してデジタルのMR信号を発生する。デジタルのMR信号は、空間周波数により規定されるk空間にて表現することができる。よって、以下、デジタルのMR信号をk空間データと呼ぶことにする。k空間データは、画像再構成に供される生データの一種である。k空間データは、有線又は無線を介して医用情報処理装置50に供給される。 The receiving circuit 25 receives the MR signal generated from the excited target protons via the receiving coil 47. The receiving circuit 25 processes the received MR signal to generate a digital MR signal. Digital MR signals can be expressed in k-space defined by spatial frequencies. Therefore, hereinafter, the digital MR signal will be referred to as k-space data. K-space data is a type of raw data used for image reconstruction. The k-space data is supplied to the medical information processing device 50 via wire or wireless.

なお、上記の送信コイル45と受信コイル47とは一例に過ぎない。送信コイル45と受信コイル47との代わりに、送信機能と受信機能とを備えた送受信コイルが用いられても良い。また、送信コイル45、受信コイル47及び送受信コイルが組み合わされても良い。 Note that the above-mentioned transmitting coil 45 and receiving coil 47 are merely examples. Instead of the transmitting coil 45 and the receiving coil 47, a transmitting/receiving coil having a transmitting function and a receiving function may be used. Moreover, the transmitting coil 45, the receiving coil 47, and the transmitting/receiving coil may be combined.

架台11に隣接して寝台13が設置される。寝台13は、天板131と基台133とを有する。天板131には被検体Pが載置される。基台133は、天板131をX軸、Y軸、Z軸各々に沿ってスライド可能に支持する。基台133には寝台駆動装置27が収容される。寝台駆動装置27は、シーケンス制御回路29からの制御を受けて天板131を移動する。寝台駆動装置27は、例えば、サーボモータやステッピングモータ等の如何なるモータ等を含んでも良い。 A bed 13 is installed adjacent to the pedestal 11. The bed 13 has a top plate 131 and a base 133. A subject P is placed on the top plate 131. The base 133 supports the top plate 131 so as to be slidable along each of the X-axis, Y-axis, and Z-axis. The bed driving device 27 is accommodated in the base 133. The bed driving device 27 moves the top plate 131 under control from the sequence control circuit 29. The bed driving device 27 may include any motor such as a servo motor or a stepping motor.

シーケンス制御回路29は、ハードウェア資源として、CPU(Central Processing Unit)あるいはMPU(Micro Processing Unit)のプロセッサとROM(Read Only Memory)やRAM(Random Access Memory)等のメモリとを有する。シーケンス制御回路29は、処理回路51の撮像プロトコル設定機能511により決定された撮像プロトコルに基づいて傾斜磁場電源21、送信回路23及び受信回路25を同期的に制御し、当該撮像プロトコルに応じたパルスシーケンスを実行して被検体PをMR撮像し、被検体Pに関するk空間データを収集する。 The sequence control circuit 29 has, as hardware resources, a processor such as a CPU (Central Processing Unit) or an MPU (Micro Processing Unit), and a memory such as a ROM (Read Only Memory) or a RAM (Random Access Memory). The sequence control circuit 29 synchronously controls the gradient magnetic field power supply 21, the transmitting circuit 23, and the receiving circuit 25 based on the imaging protocol determined by the imaging protocol setting function 511 of the processing circuit 51, and generates pulses according to the imaging protocol. The sequence is executed to perform MR imaging of the subject P, and k-space data regarding the subject P is collected.

図1に示すように、医用情報処理装置50は、処理回路51、メモリ52、ディスプレイ53、入力インタフェース54及び通信インタフェース55を有するコンピュータ装置である。 As shown in FIG. 1, the medical information processing device 50 is a computer device having a processing circuit 51, a memory 52, a display 53, an input interface 54, and a communication interface 55.

処理回路51は、ハードウェア資源として、CPUやGPU(Graphics Processing Unit)、MPU等のプロセッサとROMやRAM等のメモリとを有する。処理回路51は、磁気共鳴イメージング装置1の中枢として機能する。例えば、処理回路51は、各種プログラムの実行により撮像プロトコル設定機能511、マスクデータ取得機能512、生データ取得機能513、画像生成機能514、画像処理機能515、表示制御機能516を有する。 The processing circuit 51 includes a processor such as a CPU, a GPU (Graphics Processing Unit), or an MPU, and a memory such as a ROM or RAM as hardware resources. The processing circuit 51 functions as the core of the magnetic resonance imaging apparatus 1 . For example, the processing circuit 51 has an imaging protocol setting function 511, a mask data acquisition function 512, a raw data acquisition function 513, an image generation function 514, an image processing function 515, and a display control function 516 by executing various programs.

撮像プロトコル設定機能511において処理回路51は、対象のMR撮像に関する撮像プロトコルを、入力インタフェース54を介したユーザ指示又は自動的に設定する。撮像プロトコルは、一のMR撮像に関する各種の撮像パラメータの集合である。本実施形態に係る撮像パラメータとして、撮像時間やk空間充填方式の種類、パルスシーケンスの種類、TR、TE等のMR撮像を行うために直接又は間接に設定される種々の撮像パラメータが適用可能である。 In the imaging protocol setting function 511, the processing circuit 51 automatically sets the imaging protocol for MR imaging of the target by a user instruction via the input interface 54 or automatically. An imaging protocol is a collection of various imaging parameters regarding one MR imaging. As the imaging parameters according to this embodiment, various imaging parameters that are directly or indirectly set for performing MR imaging, such as imaging time, type of k-space filling method, type of pulse sequence, TR, and TE, can be applied. be.

マスクデータ取得機能512において処理回路51は、対象のMR撮像に関するマスクデータを取得する。マスクデータは、要素数が有限の複数のデータ収集軌跡の候補に対して対象撮像における収集回数及び/又は収集方向に応じた数値が割り当てられたデータである。データ収集軌跡は、k空間上における生データの収集軌跡を意味し、k空間充填方式の種類に関係する。例えば、k空間充填方式がラディアル法である場合、データ収集軌跡は、k空間の中心を通る一般のライン(スポーク)である。k空間充填方式がスパイラル法あるいは可変密度スパイラル法である場合、データ収集軌跡は、k空間の中心から外周へ向かう渦巻き型の曲線である。マスクデータの取得は、処理回路51によるマスクデータの生成、複数のマスクデータの中から任意の一のマスクデータの選択、他装置からのマスクデータの受信、転送又は伝送等の処理を含むものとする。 In the mask data acquisition function 512, the processing circuit 51 acquires mask data regarding MR imaging of the target. The mask data is data in which a numerical value corresponding to the number of times of acquisition and/or the direction of acquisition in object imaging is assigned to a plurality of data acquisition locus candidates having a finite number of elements. The data collection trajectory refers to the collection trajectory of raw data on k-space, and is related to the type of k-space filling method. For example, if the k-space filling method is a radial method, the data collection trajectory is a general line (spoke) passing through the center of k-space. When the k-space filling method is a spiral method or a variable density spiral method, the data collection trajectory is a spiral curve from the center of the k-space to the outer periphery. The acquisition of mask data includes processes such as generation of mask data by the processing circuit 51, selection of any one mask data from a plurality of mask data, and reception, transfer, or transmission of mask data from another device.

生データ取得機能513は、k空間データを取得する。k空間データの取得は、処理回路51の制御のもとに行われるMR撮像によるk空間データの収集、複数のk空間データの中から任意の一のk空間データの選択、他装置からのk空間データの受信、転送又は伝送等の処理を含むものとする。 The raw data acquisition function 513 acquires k-space data. Acquisition of k-space data includes collection of k-space data by MR imaging performed under the control of the processing circuit 51, selection of any one k-space data from a plurality of k-space data, and acquisition of k-space data from another device. This shall include processing such as reception, transfer, or transmission of spatial data.

画像生成機能514において処理回路51は、マスクデータ取得機能512により取得されたマスクデータと生データ取得機能513により取得されたk空間データとに、機械学習モデル521を利用した再構成処理を施して、被検体Pに関するMR画像を生成する。機械学習モデル521は、メモリ52に記憶されている。機械学習モデル521は、複数の調整可能な関数及びパラメータ(重み付け行列又はバイアス)の組合せにより定義されるパラメータ付き合成関数である。機械学習モデル521は、入力層、中間層及び出力層を有する多層のネットワークモデル(DNN:Deep Neural Network)により実現される。以下、機械学習モデル521を利用した再構成処理をDNN再構成と呼ぶことにする。 In the image generation function 514, the processing circuit 51 performs reconstruction processing using the machine learning model 521 on the mask data acquired by the mask data acquisition function 512 and the k-space data acquired by the raw data acquisition function 513. , generates an MR image regarding the subject P. Machine learning model 521 is stored in memory 52. Machine learning model 521 is a parameterized composite function defined by a combination of multiple adjustable functions and parameters (weighting matrices or biases). The machine learning model 521 is realized by a multilayer network model (DNN: Deep Neural Network) having an input layer, a hidden layer, and an output layer. Hereinafter, the reconstruction process using the machine learning model 521 will be referred to as DNN reconstruction.

画像処理機能515において処理回路51は、MR画像に種々の画像処理を施す。例えば、処理回路51は、ボリュームレンダリングや、サーフェスレンダリング、画素値投影処理、MPR(Multi-Planer Reconstruction)処理、CPR(Curved MPR)処理等の画像処理を施す。 In the image processing function 515, the processing circuit 51 performs various image processing on the MR image. For example, the processing circuit 51 performs image processing such as volume rendering, surface rendering, pixel value projection processing, MPR (Multi-Planer Reconstruction) processing, and CPR (Curved MPR) processing.

表示制御機能516において処理回路51は、種々の情報をディスプレイ53に表示する。例えば、処理回路51は、画像生成機能514により生成されたMR画像、画像処理機能515により生成されたMR画像、撮像プロトコルの設定画面等をディスプレイ53に表示する。 In the display control function 516, the processing circuit 51 displays various information on the display 53. For example, the processing circuit 51 displays an MR image generated by the image generation function 514, an MR image generated by the image processing function 515, an imaging protocol setting screen, etc. on the display 53.

メモリ52は、種々の情報を記憶するHDD(Hard Disk Drive)やSSD(Solid State Drive)、集積回路記憶装置等の記憶装置である。また、メモリ52は、CD-ROMドライブやDVDドライブ、フラッシュメモリ等の可搬性記憶媒体との間で種々の情報を読み書きする駆動装置等であっても良い。例えば、メモリ52は、k空間データや制御プログラム、機械学習モデル521等を記憶する。 The memory 52 is a storage device such as an HDD (Hard Disk Drive), an SSD (Solid State Drive), or an integrated circuit storage device that stores various information. Further, the memory 52 may be a drive device or the like that reads and writes various information to/from a portable storage medium such as a CD-ROM drive, a DVD drive, or a flash memory. For example, the memory 52 stores k-space data, control programs, machine learning models 521, and the like.

ディスプレイ53は、種々の情報を表示する。例えば、ディスプレイ53は、画像生成機能514により生成されたMR画像、画像処理機能515により生成されたMR画像、撮像プロトコルの設定画面等を表示する。ディスプレイ53としては、例えば、CRTディスプレイや液晶ディスプレイ、有機ELディスプレイ、LEDディスプレイ、プラズマディスプレイ、又は当技術分野で知られている他の任意のディスプレイが適宜利用可能である。 Display 53 displays various information. For example, the display 53 displays an MR image generated by the image generation function 514, an MR image generated by the image processing function 515, an imaging protocol setting screen, and the like. As the display 53, for example, a CRT display, a liquid crystal display, an organic EL display, an LED display, a plasma display, or any other display known in the art can be used as appropriate.

入力インタフェース54は、ユーザからの各種指令を受け付ける入力機器を含む。入力機器としては、キーボードやマウス、各種スイッチ、タッチスクリーン、タッチパッド等が利用可能である。なお、入力機器は、マウス、キーボードなどの物理的な操作部品を備えるものだけに限らない。例えば、磁気共鳴イメージング装置1とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、受け取った電気信号を種々の回路へ出力するような電気信号の処理回路も入力インタフェース54の例に含まれる。 The input interface 54 includes input devices that accept various commands from the user. As input devices, keyboards, mice, various switches, touch screens, touch pads, etc. can be used. Note that the input device is not limited to those equipped with physical operation parts such as a mouse and a keyboard. For example, an electrical signal processing circuit that receives electrical signals corresponding to input operations from an external input device provided separately from the magnetic resonance imaging apparatus 1 and outputs the received electrical signals to various circuits is also input. Included in the example of interface 54.

通信インタフェース55は、LAN(Local Area Network)等を介して磁気共鳴イメージング装置1と、ワークステーションやPACS(Picture Archiving and Communication System)、HIS(Hospital Information System)、RIS(Radiology Information System)等とを接続するインタフェースである。ネットワークIFは、各種情報を接続先のワークステーション、PACS、HIS及びRISとの間で送受信する。 The communication interface 55 connects the magnetic resonance imaging apparatus 1 to a workstation, a PACS (Picture Archiving and Communication System), an HIS (Hospital Information System), an RIS (Radiology Information System), etc. via a LAN (Local Area Network) or the like. This is the interface to connect. The network IF sends and receives various information to and from connected workstations, PACS, HIS, and RIS.

なお、上記の構成は一例であって、これに限定されない。例えば、シーケンス制御回路29は、医用情報処理装置50に組み込まれても良い。また、シーケンス制御回路29と処理回路51とが同一の基板に実装されても良い。シーケンス制御回路29、傾斜磁場電源21、送信回路23及び受信回路25は、医用情報処理装置50とは異なる単一の制御装置に実装されても良いし、複数の装置に分散して実装されても良い。 Note that the above configuration is an example and is not limited thereto. For example, the sequence control circuit 29 may be incorporated into the medical information processing device 50. Furthermore, the sequence control circuit 29 and the processing circuit 51 may be mounted on the same substrate. The sequence control circuit 29, the gradient magnetic field power supply 21, the transmission circuit 23, and the reception circuit 25 may be implemented in a single control device different from the medical information processing device 50, or may be implemented in a distributed manner in multiple devices. Also good.

以下、本実施形態に係る磁気共鳴イメージング装置1及び医用情報処理装置50の動作例を説明する。 Hereinafter, an example of the operation of the magnetic resonance imaging apparatus 1 and the medical information processing apparatus 50 according to this embodiment will be described.

図2は、処理回路51によるMR撮像の典型的な流れを示す図である。図2に示す処理は、対象となるMR撮像の撮像プロトコルの設定から開始される。 FIG. 2 is a diagram showing a typical flow of MR imaging by the processing circuit 51. The process shown in FIG. 2 starts from setting the imaging protocol for the target MR imaging.

図2に示すように、処理回路51は、撮像プロトコル設定機能511を実行する(ステップS1)。ステップS1において処理回路51は、被検体Pに関する撮像プロトコルを設定する。撮像プロトコルに含まれる撮像パラメータとして、撮像時間やk空間充填方式の種類、パルスシーケンスの種類、TR、TE等が設定される。本実施形態においてk空間充填方式の種類は、ラディアル法、スパイラル法、カーテシアン法等の如何なる方式であっても良い。但し、以下の説明を具体的に行うため、k空間充填方式はラディアル法であるとする。 As shown in FIG. 2, the processing circuit 51 executes the imaging protocol setting function 511 (step S1). In step S1, the processing circuit 51 sets an imaging protocol regarding the subject P. Imaging time, type of k-space filling method, type of pulse sequence, TR, TE, etc. are set as imaging parameters included in the imaging protocol. In this embodiment, the k-space filling method may be any method such as a radial method, a spiral method, or a Cartesian method. However, in order to specifically explain the following, it is assumed that the k-space filling method is a radial method.

ステップS1が行われると処理回路51は、マスクデータ取得機能512を実行する(ステップS2及びS3)。ステップS2及びS3において処理回路51は、対象のMR撮像に関するマスクデータを生成する。マスクデータは、要素数が有限の複数のデータ収集軌跡(スポーク)の候補に対して、対象撮像において収集する旨の数値又は収集しない旨の数値が割り当てられたデータである。換言すれば、マスクデータは、有限の要素数の候補軌跡のうちの収集対象軌跡を示すデータである。 When step S1 is performed, the processing circuit 51 executes the mask data acquisition function 512 (steps S2 and S3). In steps S2 and S3, the processing circuit 51 generates mask data regarding MR imaging of the target. Mask data is data in which a numerical value indicating that data is to be collected or a numerical value indicating that data is not to be collected is assigned to a plurality of candidates for data collection trajectories (spokes) having a finite number of elements. In other words, the mask data is data indicating a trajectory to be collected among candidate trajectories with a finite number of elements.

図3は、ステップS2及びS3におけるマスクデータ91の生成処理を模式的に示す図である。図3に示すように、ラディアル法に関するデータ収集軌跡は、k空間の略中心を放射状に通過する。図3の上段に示すように、本実施形態に係るMR撮像においては予め定められた有限の要素数のデータ収集軌跡の候補(以下、候補軌跡と呼ぶ)の集合70から、収集対象のデータ収集軌跡(以下、収集対象軌跡と呼ぶ)が選択される。図3において候補軌跡は点線で示される。候補軌跡の要素数(本数)及び角度は予め設定される。候補軌跡の要素数は、当該要素数の全ての候補軌跡についてデータ収集が行われた場合、十分な画質が保証できる程度の本数に設定される。候補軌跡の要素数は、有限であることが好適である。すなわち、候補軌跡の要素数は、無理数でなければ、例えば、100万本等の多くの本数であっても良い。なお、図3は、図面の簡単のため、8本の候補軌跡を示している。 FIG. 3 is a diagram schematically showing the generation process of the mask data 91 in steps S2 and S3. As shown in FIG. 3, the data collection trajectory for the radial method radially passes approximately the center of k-space. As shown in the upper part of FIG. 3, in MR imaging according to the present embodiment, data to be collected is collected from a set 70 of candidates for data collection trajectories (hereinafter referred to as candidate trajectories) having a predetermined finite number of elements. A trajectory (hereinafter referred to as a collection target trajectory) is selected. In FIG. 3, candidate trajectories are indicated by dotted lines. The number of elements (number of lines) and angle of the candidate trajectory are set in advance. The number of elements of the candidate trajectory is set to such a number that sufficient image quality can be guaranteed when data collection is performed for all candidate trajectories with the number of elements. It is preferable that the number of elements of the candidate trajectory is finite. That is, the number of elements of the candidate trajectory may be a large number, such as one million, as long as it is not an irrational number. Note that FIG. 3 shows eight candidate trajectories for the sake of simplicity.

本実施形態に係る候補軌跡の角度は、基準角度、例えば、0度からの角度に規定される。隣り合う候補軌跡の角度間隔は所定の角度に設定される。具体的には、隣り合う候補軌跡の角度間隔は略等間隔に設定されると良い。このように、要素数及び角度を制限することにより、機械学習の学習データの候補軌跡の要素数及び角度も制限することが可能になる。 The angle of the candidate trajectory according to this embodiment is defined as an angle from a reference angle, for example, 0 degrees. The angular interval between adjacent candidate trajectories is set to a predetermined angle. Specifically, the angular intervals between adjacent candidate trajectories may be set to approximately equal intervals. In this way, by limiting the number of elements and angles, it becomes possible to also limit the number of elements and angles of candidate trajectories of machine learning learning data.

各候補軌跡の収集角は、基本角の倍数に設定される。すなわち、1番目のデータ収集軌跡の収集角を0度としたとき、2番目の候補軌跡の収集角=基本角、3番目の候補軌跡の収集角=「基本角×2」、4番目の候補軌跡の収集角=「基本角×3」、・・・、のように設定される。 The collection angle of each candidate trajectory is set to a multiple of the base angle. That is, when the collection angle of the first data collection trajectory is 0 degrees, the collection angle of the second candidate trajectory = basic angle, the collection angle of the third candidate trajectory = "basic angle x 2", and the fourth candidate The collecting angle of the locus is set as follows: "basic angle x 3", . . .

基本角は、要素数が有限であれば、黄金角(Golden Angle)、例えば、略111.25度の無理数に設定されても良い。例えば、要素数が1000本である場合、1番目の候補軌跡の収集角を0度、2番目の候補軌跡の収集角を黄金角、3番目の候補軌跡の収集角を「黄金角×2」、4番目の候補軌跡の収集角を「黄金角×3」、・・・、のように1000番目の候補軌跡まで設定される。 If the number of elements is finite, the basic angle may be set to a golden angle, for example, an irrational number of approximately 111.25 degrees. For example, if the number of elements is 1000, the collection angle of the first candidate trajectory is 0 degrees, the collection angle of the second candidate trajectory is a golden angle, and the collection angle of the third candidate trajectory is "golden angle x 2". , the collection angle of the fourth candidate trajectory is set as "golden angle x 3", etc. up to the 1000th candidate trajectory.

収集角は、360度を要素数で除した値に設定されても良い。例えば、要素数が1000本である場合、基本角は、360/1000度=0.36度に設定されても良い。また、基本角は、360/1000度の倍数に設定されても良い。例えば、倍数が309である場合、基本角は、360/1000度×309=111.24度に設定されることとなる。これにより基本角を黄金角に略等しくすることができる。 The collection angle may be set to 360 degrees divided by the number of elements. For example, if the number of elements is 1000, the basic angle may be set to 360/1000 degrees = 0.36 degrees. Further, the basic angle may be set to a multiple of 360/1000 degrees. For example, if the multiple is 309, the basic angle will be set to 360/1000 degrees x 309 = 111.24 degrees. This allows the fundamental angle to be approximately equal to the golden angle.

候補軌跡には識別のため番号(以下、軌跡番号と呼ぶ)が割り振られる。軌跡番号はマスクデータの生成のために用いられる。軌跡番号の割り振りのルールは、如何なるルールでも良い。例えば、収集角の小さい又は大きい候補軌跡から順番に番号が割り振られても良いし、候補軌跡の設定順序に従い番号が割り振られても良い。 A number (hereinafter referred to as a trajectory number) is assigned to each candidate trajectory for identification. The trajectory number is used to generate mask data. Any rule may be used for assigning trajectory numbers. For example, numbers may be assigned in order from candidate trajectories with small or large collection angles, or numbers may be assigned according to the setting order of candidate trajectories.

まず、処理回路51は、撮像時間と候補軌跡とに基づいて収集対象軌跡を選択する(ステップS2)。例えば、処理回路51は、ステップS1において設定された撮像時間に基づいて所定のルール(以下、選択ルールと呼ぶ)に従い、集合70に含まれる候補軌跡の中から収集対象軌跡を選択する。具体的には、まず、処理回路51は、撮像時間に応じて収集対象軌跡の本数を決定する。次に処理回路51は、選択ルールに従い、決定された本数分の収集対象軌跡を集合70の中から選択する。選択ルールとしては、例えば、収集対象軌跡間の角度が略同一になるように選択することが好適である。例えば、図3の中段に示すように、8本の候補軌跡の中から略均等角度の3本の候補軌跡、すなわち、1番目、4番目及び7番目の候補軌跡が収集対象軌跡として選択される。図3において収集対象軌跡は実線で示される。 First, the processing circuit 51 selects a collection target trajectory based on the imaging time and the candidate trajectory (step S2). For example, the processing circuit 51 selects a trajectory to be collected from among the candidate trajectories included in the set 70 according to a predetermined rule (hereinafter referred to as a selection rule) based on the imaging time set in step S1. Specifically, first, the processing circuit 51 determines the number of trajectories to be collected according to the imaging time. Next, the processing circuit 51 selects the determined number of collection target trajectories from the set 70 according to the selection rule. As a selection rule, for example, it is preferable to select such that the angles between the collection target trajectories are approximately the same. For example, as shown in the middle part of FIG. 3, three candidate trajectories with approximately equal angles, that is, the first, fourth, and seventh candidate trajectories, are selected as collection target trajectories from among the eight candidate trajectories. . In FIG. 3, the trajectory to be collected is shown by a solid line.

収集対象軌跡は、スライスあるいはボリューム毎、又はフレーム毎に設定される。すなわち、収集対象軌跡は、1画像毎に設定される。ラディアル法による画像は、典型的には、800本程度のスポークにより、画質が保証される。しかしながら、本実施形態によれば、1画像につき30本から50本程度のスポークにより、同等の画質を保証することができる。これは、本実施形態に係る収集軌跡は角度間隔が略均等であることが一因である。 The trajectory to be collected is set for each slice or volume, or for each frame. That is, the collection target locus is set for each image. Image quality obtained by the radial method is typically guaranteed by about 800 spokes. However, according to the present embodiment, equivalent image quality can be guaranteed with approximately 30 to 50 spokes per image. One reason for this is that the collection locus according to this embodiment has substantially equal angular intervals.

次に、処理回路51は、選択された収集対象軌跡に基づいてマスクデータ91を生成する(ステップS3)。図3の下段に示すように、マスクデータ91は、複数の候補軌跡に対して、選択された(すなわち、データ収集する)旨の数値又は選択されていない(すなわち、データ収集しない)旨の数値が割り当てられた数値データである。例えば、選択された旨の数値として「1」、選択されない旨の数値として「0」が割り当てられる。処理回路51は、候補軌跡毎に選択されたか否かを判定し、選択された場合「1」を割り当て、選択されていない場合「0」を割り当てる。「0」又は「1」の数値は候補軌跡の軌跡番号順に配列される。例えば、図3の場合、マスクデータ91は、1番目、4番目及び7番目の候補軌跡が選択され、2番目、3番目、5番目、6番目及び8番目の候補軌跡が選択されていないので、(1、0、0、1、0、0、1、0)となる。 Next, the processing circuit 51 generates mask data 91 based on the selected trajectory to be collected (step S3). As shown in the lower part of FIG. 3, the mask data 91 includes a numerical value indicating that a plurality of candidate trajectories have been selected (i.e., data will be collected) or a numerical value indicating that they have not been selected (i.e., data will not be collected). is the assigned numerical data. For example, "1" is assigned as a numerical value indicating that the item has been selected, and "0" is assigned as a numerical value indicating that it is not selected. The processing circuit 51 determines whether or not each candidate trajectory has been selected, and assigns "1" if selected, and assigns "0" if not selected. The numerical values of "0" or "1" are arranged in the order of the trajectory numbers of the candidate trajectories. For example, in the case of FIG. 3, the mask data 91 indicates that the first, fourth, and seventh candidate trajectories are selected, and the second, third, fifth, sixth, and eighth candidate trajectories are not selected. , (1, 0, 0, 1, 0, 0, 1, 0).

ステップS3が行われると処理回路51は、生データ取得機能513を実行する(ステップS4)。ステップS4において処理回路51は、シーケンス制御回路29にMR撮像の実行を指示する。シーケンス制御回路29は、傾斜磁場電源21、送信回路23及び受信回路25を同期的に制御し、ステップS2において選択された収集対象軌跡についてMR撮像を実行し、当該収集対象軌跡に関するk空間データを収集する。収集されるk空間データは、ステップS3において生成されたマスクデータにより表される収集対象軌跡に対応するk空間データである。収集対象軌跡は要素数分の候補軌跡の中から選択されたものであるので、典型的には、ステップS4において収集されるk空間データは疎(スパース:sparse)である。 When step S3 is performed, the processing circuit 51 executes the raw data acquisition function 513 (step S4). In step S4, the processing circuit 51 instructs the sequence control circuit 29 to execute MR imaging. The sequence control circuit 29 synchronously controls the gradient magnetic field power source 21, the transmitting circuit 23, and the receiving circuit 25, executes MR imaging for the collection target trajectory selected in step S2, and acquires k-space data regarding the collection target trajectory. collect. The collected k-space data is k-space data corresponding to the collection target trajectory represented by the mask data generated in step S3. Since the trajectory to be collected is selected from among the candidate trajectories corresponding to the number of elements, typically, the k-space data collected in step S4 is sparse.

ステップS4が行われると処理回路51は、画像生成機能514を実行する(ステップS5)。ステップS5において処理回路51は、ステップS3において生成されたマスクデータとステップS4において収集されたk空間データとにDNN再構成を施してMR画像を生成する。 After step S4 is performed, the processing circuit 51 executes the image generation function 514 (step S5). In step S5, the processing circuit 51 performs DNN reconstruction on the mask data generated in step S3 and the k-space data collected in step S4 to generate an MR image.

図4、図5及び図6は、本実施形態に係るDNN再構成の流れを模式的に示す図である。図4に示す第1のDNN再構成において処理回路51は、k空間データRDとマスクデータMDとに機械学習モデル521-1を適用し、当該k空間データRDに対応するMR画像RIを生成する。機械学習モデル521-1は、k空間データとマスクデータとを入力し、当該k空間データに対応するMR画像を出力するようにパラメータが学習されている。機械学習モデル521-1の構造については、特に限定されない。k空間データRDとマスクデータMDとに基づき機械学習モデル521-1により生成されるMR画像RIは、k空間データRDに対するフーリエ変換等の解析学的再構成法により生成されるMR画像に比して、k空間データRDに含まれる信号欠損に起因するアーチファクトが低減される。これは、機械学習モデル521-1がk空間データRDに加え、当該k空間データRDに対応する収集対象軌跡を示すマスクデータMDを入力に用いているからである。 4, 5, and 6 are diagrams schematically showing the flow of DNN reconfiguration according to this embodiment. In the first DNN reconstruction shown in FIG. 4, the processing circuit 51 applies the machine learning model 521-1 to the k-space data RD and the mask data MD, and generates the MR image RI corresponding to the k-space data RD. . The machine learning model 521-1 receives k-space data and mask data and has learned parameters so as to output an MR image corresponding to the k-space data. The structure of the machine learning model 521-1 is not particularly limited. The MR image RI generated by the machine learning model 521-1 based on the k-space data RD and mask data MD is compared to the MR image generated by an analytical reconstruction method such as Fourier transform for the k-space data RD. Therefore, artifacts caused by signal loss included in the k-space data RD are reduced. This is because the machine learning model 521-1 uses, in addition to the k-space data RD, mask data MD indicating the collection target locus corresponding to the k-space data RD as input.

なお、本実施形態に係る信号欠損は、スパースを含む、所望のk空間データに対する実際のk空間データの如何なる差異を含む概念である。例えば、信号欠損としては、スパースの他、種々の原因により生ずるノイズに起因する信号劣化、A/D変換の過程で生じる連続値から離散値への変換に起因する情報欠落等を含む。 Note that the signal loss according to the present embodiment is a concept that includes any difference between actual k-space data and desired k-space data, including sparsity. For example, signal loss includes, in addition to sparsity, signal deterioration due to noise caused by various causes, information loss due to conversion from continuous values to discrete values that occurs in the A/D conversion process, and the like.

図5に示す第2のDNN再構成において処理回路51は、k空間データRDとマスクデータMDとに機械学習モデル521-2を適用し、k空間データRDに含まれる信号欠損部分が復元されたk空間データRDMを生成する。機械学習モデル521-2は、k空間データとマスクデータとを入力し、デノイズされたk空間データを出力するようにパラメータが学習されている。k空間データRDとマスクデータMDとに基づき機械学習モデル521-2により生成されるk空間データRDMは、k空間データRDに比して、k空間データRDに含まれる信号欠損に起因するアーチファクトが低減される。これは、機械学習モデル521-2がk空間データRDに加え、当該k空間データRDに対応する収集対象軌跡を示すマスクデータMDを入力に用いているからである。 In the second DNN reconstruction shown in FIG. 5, the processing circuit 51 applies the machine learning model 521-2 to the k-space data RD and the mask data MD, and the signal missing portion included in the k-space data RD is restored. Generate k-space data RDM. The machine learning model 521-2 inputs k-space data and mask data and has learned parameters so as to output denoised k-space data. The k-space data RDM generated by the machine learning model 521-2 based on the k-space data RD and mask data MD has less artifacts caused by signal loss included in the k-space data RD than the k-space data RD. reduced. This is because the machine learning model 521-2 uses, in addition to the k-space data RD, mask data MD indicating the collection target trajectory corresponding to the k-space data RD as input.

図5に示すように、k空間データRDMが生成された場合、処理回路51は、k空間データRDMにフーリエ変換を施して、k空間データRD又はk空間データRDMに対応するMR画像RIを生成する。MR画像RIは、信号欠損部分が復元されたk空間データRDMに対するフーリエ変換により生成されているので、信号欠損を含むk空間データRDに対するフーリエ変換により生成されるMR画像に比して、画質が良好である。 As shown in FIG. 5, when the k-space data RDM is generated, the processing circuit 51 performs Fourier transformation on the k-space data RDM to generate the k-space data RD or the MR image RI corresponding to the k-space data RDM. do. Since the MR image RI is generated by Fourier transformation of the k-space data RDM in which the signal loss portion has been restored, the image quality is lower than that of the MR image generated by Fourier transformation of the k-space data RD including the signal loss. In good condition.

図6に示す第3のDNN再構成において処理回路51は、k空間データRDにフーリエ変換を施して、k空間データRDに対応する仮MR画像RIMを生成する。仮MR画像RIMは、信号欠損を含むk空間データRDにフーリエ変換を施して生成された再構成画像であるので、信号欠損を多く含む。 In the third DNN reconstruction shown in FIG. 6, the processing circuit 51 performs Fourier transform on the k-space data RD to generate a temporary MR image RIM corresponding to the k-space data RD. The temporary MR image RIM is a reconstructed image generated by performing Fourier transformation on the k-space data RD including signal defects, and therefore includes many signal defects.

図6に示すように、仮MR画像RIMが生成された場合、処理回路51は、仮MR画像RIMとマスクデータMDとに機械学習モデル521-3を適用し、仮MR画像RIMに含まれる信号欠損部分が復元されたMR画像RIを生成する。機械学習モデル521-3は、仮MR画像RIMとマスクデータMDとを入力し、デノイズされたMR画像を出力するようにパラメータが学習されている。仮MR画像RIMとマスクデータMDとに基づき機械学習モデル521-3により生成されるMR画像RIは、仮MR画像RIMに比して、信号欠損に起因するアーチファクトが低減される。これは、機械学習モデル521-3が仮MR画像RIMに加え、当該仮MR画像RIMに用いたk空間データRDに対応する収集対象軌跡を示すマスクデータMDを入力に用いているからである。 As shown in FIG. 6, when the temporary MR image RIM is generated, the processing circuit 51 applies the machine learning model 521-3 to the temporary MR image RIM and the mask data MD to An MR image RI in which the missing portion is restored is generated. The machine learning model 521-3 inputs the temporary MR image RIM and the mask data MD, and the parameters are learned so as to output a denoised MR image. The MR image RI generated by the machine learning model 521-3 based on the temporary MR image RIM and the mask data MD has fewer artifacts caused by signal loss than the temporary MR image RIM. This is because the machine learning model 521-3 uses as input, in addition to the temporary MR image RIM, the mask data MD indicating the acquisition target trajectory corresponding to the k-space data RD used for the temporary MR image RIM.

ステップS5が行われると処理回路51は、表示制御機能516を実行する(ステップS6)。ステップS6において処理回路51は、ステップS5において生成されたMR画像をディスプレイ53に表示する。 When step S5 is performed, the processing circuit 51 executes the display control function 516 (step S6). In step S6, the processing circuit 51 displays the MR image generated in step S5 on the display 53.

以上により、処理回路51によるMR撮像が終了する。 With the above steps, MR imaging by the processing circuit 51 is completed.

なお、図2に示す処理の流れは一例であり、本実施形態はこれに限定されない。例えば、ステップS2において処理回路51は、撮像時間に基づいて収集対象軌跡を自動的に選択するものとした。しかしながら、本実施形態はこれに限定されない。例えば、処理回路51は、ユーザにより入力インタフェース54を介して指定された候補軌跡を収集対象軌跡として選択しても良い。この場合、例えば、処理回路51は、有限の要素数の候補軌跡を選択可能にグラフィカルに表現する模式図をディスプレイ53に表示する。模式図としては、例えば、図3の上段に示すような、k空間に配置された候補軌跡とその軌跡番号とが描出された画像が良い。ユーザは、入力インタフェース54を介して、表示された模式図に含まれる候補軌跡の中から任意の軌跡を収集対象軌跡に指定する。処理回路51は、指定された軌跡を収集対象軌跡として選択すれば良い。 Note that the process flow shown in FIG. 2 is an example, and the present embodiment is not limited thereto. For example, in step S2, the processing circuit 51 automatically selects the trajectory to be collected based on the imaging time. However, this embodiment is not limited to this. For example, the processing circuit 51 may select a candidate trajectory specified by the user via the input interface 54 as the collection target trajectory. In this case, for example, the processing circuit 51 displays on the display 53 a schematic diagram graphically representing candidate trajectories with a finite number of elements in a selectable manner. A good example of a schematic diagram is an image depicting candidate trajectories arranged in k-space and their trajectory numbers, as shown in the upper part of FIG. 3, for example. The user, via the input interface 54, specifies any trajectory from among the candidate trajectories included in the displayed schematic diagram as the trajectory to be collected. The processing circuit 51 may select the designated locus as the locus to be collected.

上記の実施例は、1画像のMR撮像のため、各収集対象軌跡について1回又は0回のデータ収集が行われることを前提としている。しかしながら、本実施形態はこれに限定されない。例えば、ある収集対象軌跡について2回以上のデータ収集が行われても良い。2回以上のデータ収集を行うことにより、当該収集対象軌跡に関するk空間データの信頼性を向上させることができる。例えば、1番目及び4番目の軌跡について2回、2番目、5番目及び7番目の軌跡について1回、3番目、6番目及び8番目の軌跡について0回のデータ収集が行われる場合、マスクデータは、(2、1、0、2、1、0、1、0)となる。 The above embodiment is based on the premise that data collection is performed once or zero times for each acquisition target locus for one image of MR imaging. However, this embodiment is not limited to this. For example, data collection may be performed two or more times for a certain collection target trajectory. By collecting data two or more times, it is possible to improve the reliability of the k-space data regarding the trajectory to be collected. For example, if data collection is performed twice for the 1st and 4th trajectories, once for the 2nd, 5th and 7th trajectories, and 0 times for the 3rd, 6th and 8th trajectories, then the mask data becomes (2, 1, 0, 2, 1, 0, 1, 0).

上記実施例に係るマスクデータにおいては、データ収集軌跡毎に収集回数に応じた数値が割り当てられるとした。しかしながら、本実施形態はこれに限定されない。例えば、2回以上の収集が行われるデータ収集軌跡に数値「1」が一律に割り当てられても良い。また、0回と2回以上との場合に数値「1」が割り当てられ、1回の場合のみ数値「0」が割り当てられても良い。本実施形態に係るマスクデータには、その他の規則に従い任意の数値が割り当てられても良い。 In the mask data according to the above embodiment, it is assumed that a numerical value corresponding to the number of times of collection is assigned to each data collection trajectory. However, this embodiment is not limited to this. For example, the numerical value "1" may be uniformly assigned to data collection trajectories in which data collection is performed two or more times. Further, the numerical value "1" may be assigned to 0 times and 2 or more times, and the numerical value "0" may be assigned only to 1 time. Any numerical value may be assigned to the mask data according to this embodiment according to other rules.

なお、本実施形態の説明ではマスクデータとして非負の値を用いたがこれに限定されず、負の値、例えば、-1を含んでも良い。 Note that in the description of this embodiment, non-negative values are used as mask data, but the mask data is not limited to this, and may include negative values, for example, -1.

また、マスクデータの数値は収集回数に応じた値を有するものとした。しかしながら、本実施形態はこれに限定されない。例えば、ラディアル収集において同じ軌跡を正方向と負方向とで収集する場合を考える。正方向のデータ収集軌跡と負方向のデータ収集軌跡とを異なる軌跡として扱う場合、各データ収集軌跡に収集回数に応じた数値が割り当てられることとなる。正方向のデータ収集軌跡と負方向のデータ収集軌跡とに区別せず、一のデータ収集軌跡に対して、収集方向に応じた数値、又は収集回数と収集方向との組合せに応じた数値が割り当てられても良い。例えば、0度のデータ収集軌跡に対して正方向と負方向とで100回ずつ収集する場合、当該データ収集軌跡に対して、(1,0)等が割り当てられる。なお、(1,0)の「1」は正方向を示す数値の一例であり、「0」は負方向を示す数値の一例である。 Further, the numerical value of the mask data was assumed to have a value according to the number of times of collection. However, this embodiment is not limited to this. For example, consider a case where the same trajectory is collected in the positive direction and in the negative direction in radial collection. When the data collection trajectory in the positive direction and the data collection trajectory in the negative direction are treated as different trajectories, a numerical value corresponding to the number of times of collection is assigned to each data collection trajectory. No distinction is made between data collection trajectories in the positive direction and data collection trajectories in the negative direction, and a value corresponding to the collection direction or a combination of the number of collections and the collection direction is assigned to one data collection trajectory. It's okay to be beaten. For example, when data is collected 100 times in the positive direction and in the negative direction with respect to a data collection trajectory of 0 degrees, (1, 0), etc. are assigned to the data collection trajectory. Note that "1" in (1,0) is an example of a numerical value indicating a positive direction, and "0" is an example of a numerical value indicating a negative direction.

機械学習モデル521の構造は適宜設計変更可能である。例えば、第2のDNN再構成の場合、機械学習モデル521は、k空間データRDとマスクデータMDとを入力としてk空間データRDMを出力とする任意の多層ネットワーク(以下、本ネットワーク層と呼ぶ)の後続に、FFT(Fast Fourier Transfer)層を組み込んでも良い。FFT層にはk空間データが入力され、入力されたk空間データにFFTが適用され、MR画像が出力される。これにより、機械学習モデル521単独で、k空間データRDとマスクデータMDとに基づきMR画像RIを出力することができる。 The structure of the machine learning model 521 can be changed in design as appropriate. For example, in the case of the second DNN reconstruction, the machine learning model 521 is an arbitrary multilayer network (hereinafter referred to as the main network layer) that receives k-space data RD and mask data MD as input and outputs k-space data RDM. Subsequently, an FFT (Fast Fourier Transfer) layer may be incorporated. K-space data is input to the FFT layer, FFT is applied to the input k-space data, and an MR image is output. Thereby, the machine learning model 521 alone can output the MR image RI based on the k-space data RD and the mask data MD.

また、機械学習モデル521は、本ネットワーク層とFFT層との後続にIFFT(Inverse Fast Fourier Transfer)層とを含む単位ネットワーク構造が縦続接続された連鎖構造を有しても良い。IFFT層には、MR画像が入力され、入力されたMR画像にIFFTが適用され、k空間データが出力される。連鎖構造により、信号欠損部分の復元精度を向上させることができる。 Further, the machine learning model 521 may have a chain structure in which unit network structures including the main network layer, the FFT layer, and an IFFT (Inverse Fast Fourier Transfer) layer are cascaded. An MR image is input to the IFFT layer, IFFT is applied to the input MR image, and k-space data is output. The chain structure makes it possible to improve the accuracy of restoring signal-deficient portions.

連鎖構造において、IFFT層の後段に整合層が設けられても良い。整合層には、本ネットワーク層から出力されたMR画像に基づくk空間データと、本ネットワーク層に入力された処理前のk空間データとが入力され、処理前のk空間データを利用して処理済みのk空間データに整合処理が施され、整合処理済みのk空間データが出力される。整合処理において処理済みのk空間データは、信号欠損度合い応じて処理前のk空間データが画素毎に重み付け加算される。例えば、信号欠損度合いが低いほど処理前のk空間データの画素値に高い重みが付与され、信号欠損度合いが高いほど処理前のk空間データの画素値に低い重みが付与される。これにより、処理済みのk空間データと処理前のk空間データとの整合性を確保することができる。 In the chain structure, a matching layer may be provided after the IFFT layer. The matching layer receives the k-space data based on the MR image output from this network layer and the unprocessed k-space data input to this network layer, and performs processing using the unprocessed k-space data. Matching processing is performed on the completed k-space data, and matched k-space data is output. In the matching process, the processed k-space data is weighted and added to the unprocessed k-space data for each pixel according to the degree of signal loss. For example, the lower the degree of signal loss is, the higher the weight is given to the pixel value of the unprocessed k-space data, and the higher the degree of signal loss is, the lower the weight is given to the pixel value of the unprocessed k-space data. This makes it possible to ensure consistency between the processed k-space data and the unprocessed k-space data.

また、機械学習モデル521において、本ネットワーク層の前段に要素積計算層が設けられても良い。要素積計算層は、k空間データとマスクデータとの要素積を計算し、要素積データを出力する。本ネットワーク層は、k空間データと要素積データとを入力とし、当該k空間データの信号欠損部分が復元されたMR画像データを出力する。本ネットワーク層と要素積計算層との単位ネットワーク構造が縦続接続されても良い。 Furthermore, in the machine learning model 521, an element product calculation layer may be provided before the main network layer. The element product calculation layer calculates the element product of the k-space data and the mask data, and outputs the element product data. This network layer receives k-space data and element product data as input, and outputs MR image data in which signal-defective portions of the k-space data are restored. The unit network structures of this network layer and the element product calculation layer may be connected in cascade.

上記の説明において、機械学習モデル521に入力されるk空間データは、MR撮像により収集されたオリジナルのk空間データであるとした。しかしながら、本実施形態はこれに限定されない。本実施形態に係るk空間データは、MR画像に順投影処理を施すことにより生成される計算上のk空間データであっても良い。また、本実施形態に係るk空間データ又はMR画像は、信号圧縮処理や解像度分解処理、信号補間処理、解像度合成処理等の任意の信号処理がなされた生データであっても良い。また、本実施形態に係る生データは、k空間データに対してリードアウト方向に関してフーリエ変換を施すことにより生成されるハイブリッドデータであっても良い。 In the above description, it is assumed that the k-space data input to the machine learning model 521 is the original k-space data collected by MR imaging. However, this embodiment is not limited to this. The k-space data according to this embodiment may be calculated k-space data generated by performing forward projection processing on an MR image. Furthermore, the k-space data or MR image according to this embodiment may be raw data that has been subjected to arbitrary signal processing such as signal compression processing, resolution decomposition processing, signal interpolation processing, resolution synthesis processing, etc. Further, the raw data according to this embodiment may be hybrid data generated by performing Fourier transform on k-space data in the lead-out direction.

次に、機械学習モデル521の学習について説明する。機械学習モデル521は、モデル学習装置により生成される。モデル学習装置は、複数の学習サンプルを含む学習データに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせ、学習済みの機械学習モデル(以下、学習済みモデルと呼ぶ)を生成する。モデル学習装置は、CPU及びGPU等のプロセッサを有するワークステーション等のコンピュータである。モデル学習装置と医用情報処理装置50とはケーブル又は通信ネットワークを介して通信可能に接続されても良いし、接続されていなくても良い。また、モデル学習装置と医用情報処理装置50とが一体のコンピュータにより構成されても良い。 Next, learning of the machine learning model 521 will be explained. Machine learning model 521 is generated by a model learning device. The model learning device causes a machine learning model to perform machine learning according to a model learning program based on learning data including a plurality of learning samples, and generates a trained machine learning model (hereinafter referred to as a trained model). The model learning device is a computer such as a workstation having a processor such as a CPU and a GPU. The model learning device and the medical information processing device 50 may or may not be communicably connected via a cable or a communication network. Further, the model learning device and the medical information processing device 50 may be configured by an integrated computer.

図7は、本実施形態に係るモデル学習装置6の構成を示す図である。図7に示すように、モデル学習装置6は、処理回路61、メモリ62、入力インタフェース63、通信インタフェース64及びディスプレイ65を有する。 FIG. 7 is a diagram showing the configuration of the model learning device 6 according to this embodiment. As shown in FIG. 7, the model learning device 6 includes a processing circuit 61, a memory 62, an input interface 63, a communication interface 64, and a display 65.

処理回路61は、CPUやGPU等のプロセッサを有する。当該プロセッサがメモリ62等にインストールされたモデル学習プログラムを起動することにより、学習サンプル生成機能611、学習機能612及び表示制御機能613等を実行する。なお、各機能611~613は単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能611~613を実現するものとしても構わない。 The processing circuit 61 includes a processor such as a CPU or GPU. By starting the model learning program installed in the memory 62 or the like, the processor executes the learning sample generation function 611, the learning function 612, the display control function 613, and the like. Note that each of the functions 611 to 613 is not limited to being implemented by a single processing circuit. A processing circuit may be configured by combining a plurality of independent processors, and the functions 611 to 613 may be realized by each processor executing a program.

学習サンプル生成機能611において処理回路61は、入力データと出力データとの組合せである学習サンプルを生成する。処理回路61は、全ての候補軌跡に沿って収集されたk空間データに基づいて学習サンプルを生成する。 In the learning sample generation function 611, the processing circuit 61 generates a learning sample that is a combination of input data and output data. The processing circuit 61 generates learning samples based on the k-space data collected along all candidate trajectories.

学習機能612において処理回路61は、複数の学習サンプルに関する学習データに基づいて機械学習モデルにパラメータを学習させる。学習機能612によるパラメータの学習により、図1に示す学習済みの機械学習モデル521が生成される。 In the learning function 612, the processing circuit 61 causes the machine learning model to learn parameters based on learning data regarding a plurality of learning samples. By learning the parameters by the learning function 612, a trained machine learning model 521 shown in FIG. 1 is generated.

表示制御機能613において処理回路61は、学習データや学習結果等をディスプレイ65に表示する。 In the display control function 613, the processing circuit 61 displays learning data, learning results, etc. on the display 65.

メモリ62は、種々の情報を記憶するROMやRAM、HDD、SSD、集積回路記憶装置等の記憶装置である。メモリ62は、例えば、多層化ネットワークの学習のためのモデル学習プログラムを記憶する。メモリ62は、上記記憶装置以外にも、CD、DVD、フラッシュメモリ等の可搬型記憶媒体や、RAM等の半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。また、メモリ62は、モデル学習装置6にネットワークを介して接続された他のコンピュータ内にあってもよい。 The memory 62 is a storage device such as a ROM, RAM, HDD, SSD, or integrated circuit storage device that stores various information. The memory 62 stores, for example, a model learning program for learning a multilayer network. In addition to the above storage devices, the memory 62 may also be a drive device that reads and writes various information to/from a portable storage medium such as a CD, DVD, or flash memory, or a semiconductor memory element such as a RAM. Furthermore, the memory 62 may be located in another computer connected to the model learning device 6 via a network.

入力インタフェース63は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路61に出力する。具体的には、入力インタフェース63は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の入力機器に接続されている。入力インタフェース63は、当該入力機器への入力操作に応じた電気信号を処理回路61へ出力する。また、入力インタフェース63に接続される入力機器は、ネットワーク等を介して接続された他のコンピュータに設けられた入力機器でも良い。 The input interface 63 accepts various input operations from the user, converts the received input operations into electrical signals, and outputs the electrical signals to the processing circuit 61 . Specifically, the input interface 63 is connected to input devices such as a mouse, keyboard, trackball, switch, button, joystick, touch pad, and touch panel display. The input interface 63 outputs an electrical signal to the processing circuit 61 according to an input operation to the input device. Furthermore, the input device connected to the input interface 63 may be an input device provided in another computer connected via a network or the like.

通信インタフェース64は、医用情報処理装置50や医用画像診断装置、他のコンピュータとの間でデータ通信するためのインタフェースである。 The communication interface 64 is an interface for data communication with the medical information processing device 50, the medical image diagnostic device, and other computers.

ディスプレイ65は、処理回路61の表示制御機能613に従い種々の情報を表示する。例えば、ディスプレイ65は、学習データや学習結果等を表示する。また、ディスプレイ65は、ユーザからの各種操作を受け付けるためのGUI等を出力する。例えば、ディスプレイ65としては、液晶ディスプレイ、CRTディスプレイ、有機ELディスプレイ、プラズマディスプレイ又は他の任意のディスプレイが適宜使用可能である。 The display 65 displays various information according to the display control function 613 of the processing circuit 61. For example, the display 65 displays learning data, learning results, and the like. Furthermore, the display 65 outputs a GUI and the like for accepting various operations from the user. For example, as the display 65, a liquid crystal display, a CRT display, an organic EL display, a plasma display, or any other display can be used as appropriate.

次に、本実施形態に係るモデル学習装置6による動作例について説明する。 Next, an example of the operation of the model learning device 6 according to this embodiment will be described.

上記の通り、処理回路61は、全ての候補軌跡に沿って収集されたk空間データに基づいて学習サンプルを生成する。入力データ及び出力データの種類は、図4、図5及び図6に示す機械学習モデル521の型に応じて異なる。図4の機械学習モデル521-1の場合、マスクデータと信号欠損を含むk空間データとが入力データとして用いられ、信号欠損が低減されたMR画像が出力データとして用いられる。図5の機械学習モデル521-2の場合、マスクデータと信号欠損を含むk空間データとが入力データとして用いられ、信号欠損が低減されたk空間データが出力データとして用いられる。図6の機械学習モデル521-3の場合、マスクデータと信号欠損を含むMR画像とが入力データとして用いられ、信号欠損が低減されたMR画像が出力データとして用いられる。 As described above, processing circuit 61 generates training samples based on k-space data collected along all candidate trajectories. The types of input data and output data differ depending on the type of machine learning model 521 shown in FIGS. 4, 5, and 6. In the case of the machine learning model 521-1 in FIG. 4, mask data and k-space data including signal loss are used as input data, and an MR image with reduced signal loss is used as output data. In the case of the machine learning model 521-2 in FIG. 5, mask data and k-space data including signal loss are used as input data, and k-space data with reduced signal loss is used as output data. In the case of the machine learning model 521-3 in FIG. 6, mask data and an MR image including signal loss are used as input data, and an MR image with reduced signal loss is used as output data.

以下、機械学習モデル521の一例として、k空間データとマスクデータとを入力し、MR画像を出力するようにパラメータが学習される図4の機械学習モデル521-1を挙げて、機械学習処理について説明する。 Below, as an example of the machine learning model 521, the machine learning model 521-1 shown in FIG. 4, in which parameters are learned to input k-space data and mask data and output an MR image, will be described, and the machine learning process will be explained. explain.

図8は、学習サンプルの生成機能611による処理を模式的に示す図である。図8に示すように、フルk空間データRDFが処理回路61により取得される。フルk空間データは、有限の要素数の全ての候補軌跡についてデータ収集することにより得られたk空間データである。フルk空間データRDFは、予め磁気共鳴イメージング装置1等により収集される。 FIG. 8 is a diagram schematically showing processing by the learning sample generation function 611. As shown in FIG. 8, full k-space data RDF is acquired by the processing circuit 61. Full k-space data is k-space data obtained by collecting data for all candidate trajectories with a finite number of elements. The full k-space data RDF is collected in advance by the magnetic resonance imaging apparatus 1 or the like.

図8に示すように、学習サンプル生成機能611において処理回路61は、フルk空間データRDFに対して間引き処理を施し、処理対象軌跡の全ての組合せ(以下、軌跡組合せと呼ぶ)について仮想のk空間データRD1~RDnを生成する。例えば、処理回路61は、フルk空間データRDFに基づいて、各軌跡組合せに対応するk空間データをシミュレーションにより算出する。なお図8において、仮想のk空間データRD1~RDnは3本の処理対象軌跡に関するk空間データを図示しているが、仮想のk空間データRD1~RDnを構成する処理対象軌跡の本数は、フルk空間データRDFを構成する候補軌跡の本数より少ないのであれば、何本でも良い。仮想のk空間データRD1~RDnは、機械学習モデル521-1の入力データに用いられる。 As shown in FIG. 8, in the learning sample generation function 611, the processing circuit 61 performs thinning processing on the full k-space data RDF, and creates a virtual k Spatial data RD1 to RDn are generated. For example, the processing circuit 61 calculates k-space data corresponding to each trajectory combination by simulation based on the full k-space data RDF. In FIG. 8, the virtual k-space data RD1 to RDn illustrate the k-space data regarding three processing target trajectories, but the number of processing target trajectories constituting the virtual k-space data RD1 to RDn is not limited to the full number. Any number of candidate trajectories may be used as long as it is less than the number of candidate trajectories configuring the k-space data RDF. The virtual k-space data RD1 to RDn are used as input data for the machine learning model 521-1.

間引き処理が行われると処理回路61は、仮想のk空間データRD1~RDn各々についてフーリエ変換を施して、当該仮想のk空間データRD1~RDnに対応する仮想のMR画像RI1~RInを生成する。仮想のMR画像RI1~RInは、機械学習モデル521-1の正解MR画像として用いられる。 When the thinning process is performed, the processing circuit 61 performs Fourier transform on each of the virtual k-space data RD1 to RDn to generate virtual MR images RI1 to RIn corresponding to the virtual k-space data RD1 to RDn. The virtual MR images RI1 to RIn are used as correct MR images for the machine learning model 521-1.

また、処理回路61は、仮想のk空間データRD1~RDn各々にマスクデータ変換処理を施して、当該仮想のk空間データRD1~RDnに対応するマスクデータMD1~MDnを生成する。具体的には、処理回路61は、まず、仮想のk空間データRD1~RDn各々の軌跡組合せを特定する。そして処理回路61は、候補軌跡各々について、軌跡組合せに含まれる軌跡には数値「1」を割り当て、軌跡組合せに含まれない軌跡には数値「0」を割り当てる。これによりマスクデータMD1~MDnが生成される。マスクデータMD1~MDnは、機械学習モデル521-1の入力データに用いられる。 Furthermore, the processing circuit 61 performs mask data conversion processing on each of the virtual k-space data RD1 to RDn to generate mask data MD1 to MDn corresponding to the virtual k-space data RD1 to RDn. Specifically, the processing circuit 61 first specifies trajectory combinations of each of the virtual k-space data RD1 to RDn. For each candidate trajectory, the processing circuit 61 assigns a numerical value "1" to a trajectory included in the trajectory combination, and assigns a numerical value "0" to a trajectory not included in the trajectory combination. As a result, mask data MD1 to MDn are generated. Mask data MD1 to MDn are used as input data for machine learning model 521-1.

軌跡組合せ毎にマスクデータMD1~MDnとk空間データRD1~RDnとMR画像RI1~RInとが関連付けられる。軌跡組合せ毎のマスクデータMD1~MDnとk空間データRD1~RDnとMR画像RI1~RInとが学習サンプルとして扱われる。軌跡組合せ毎の学習サンプルはメモリ62に記憶される。 Mask data MD1 to MDn, k-space data RD1 to RDn, and MR images RI1 to RIn are associated for each locus combination. Mask data MD1 to MDn, k-space data RD1 to RDn, and MR images RI1 to RIn for each trajectory combination are treated as learning samples. Learning samples for each trajectory combination are stored in the memory 62.

これにより、学習サンプルの生成機能611による処理が終了する。次に、学習機能612による学習処理が行われる。学習機能612において処理回路61は、軌跡組合せ毎にk空間データRD1~RDnとマスクデータMD1~MDnとを機械学習モデルに適用して順伝播処理を行い、MR画像(以下、推定MR画像と呼ぶ)を出力する。次に処理回路61は、推定MR結果と正解MR画像との差分(誤差)を当該機械学習モデルに適用して逆伝播処理を行い、勾配ベクトルを計算する。次に処理回路61は、勾配ベクトルに基づいて当該機械学習モデルの重み付き行列やバイアス等のパラメータを更新する。順伝播処理、逆伝播処理及びパラメータ更新処理を、学習サンプルを変更しながら繰り返すことにより、学習済みの機械学習モデル521-1が生成される。 This completes the processing by the learning sample generation function 611. Next, learning processing by the learning function 612 is performed. In the learning function 612, the processing circuit 61 performs forward propagation processing by applying k-space data RD1 to RDn and mask data MD1 to MDn to a machine learning model for each trajectory combination, and generates an MR image (hereinafter referred to as an estimated MR image). ) is output. Next, the processing circuit 61 applies the difference (error) between the estimated MR result and the correct MR image to the machine learning model, performs backpropagation processing, and calculates a gradient vector. Next, the processing circuit 61 updates parameters such as a weighted matrix and bias of the machine learning model based on the gradient vector. A trained machine learning model 521-1 is generated by repeating the forward propagation process, backpropagation process, and parameter update process while changing the learning samples.

学習済みの機械学習モデル521-1は、メモリ62記憶される。また、学習済みの機械学習モデル521-1は、磁気共鳴イメージング装置1に通信インタフェース64を介して送信される。 The trained machine learning model 521-1 is stored in the memory 62. Further, the trained machine learning model 521-1 is transmitted to the magnetic resonance imaging apparatus 1 via the communication interface 64.

上記の通り、本実施形態に係るk空間充填方式の種類はスパイラル法でも良い。この場合においても、ラディアル法と同様、マスクデータを生成可能である。スパイラル法に関する候補軌跡は、k空間の中心を始点とし任意の点を終点とする螺旋を描く。ラディアル法と同様、処理回路51は、複数の候補軌跡を含む集合の中から、任意の候補軌跡を収集対象軌跡として選択し、選択された収集対象軌跡に対応するマスクデータを生成する。なお、生成可能な候補軌跡は、グラディエントコイルのハードウェア性能に依存するので、対象ハードウェア毎に学習データを用意する必要がある。あるいは。複数のハードウェアに対応可能なように低いグラディエントコイルに合わせてスパイラル法の候補軌跡の集合を定めても良い。 As described above, the type of k-space filling method according to this embodiment may be a spiral method. In this case as well, mask data can be generated as in the radial method. A candidate trajectory related to the spiral method draws a spiral starting from the center of k-space and ending at an arbitrary point. Similar to the radial method, the processing circuit 51 selects an arbitrary candidate trajectory as a collection target trajectory from a set including a plurality of candidate trajectories, and generates mask data corresponding to the selected collection target trajectory. Note that the candidate trajectories that can be generated depend on the hardware performance of the gradient coil, so it is necessary to prepare learning data for each target hardware. or. A set of candidate trajectories for the spiral method may be determined according to a low gradient coil so as to be compatible with a plurality of hardware.

上記の説明において、医用情報処理装置50は、磁気共鳴イメージング装置1に組み込まれているとした。しかしながら、本実施形態はこれに限定されない。 In the above description, it is assumed that the medical information processing device 50 is incorporated in the magnetic resonance imaging device 1. However, this embodiment is not limited to this.

図9は、本実施形態に係る医用情報処理装置50の他の構成を示す図である。図9に示すように、医用情報処理装置50は、磁気共鳴イメージング装置等のモダリティ装置から独立した単独のコンピュータである。図9の医用情報処理装置50は、図1の医用情報処理装置50と同様、処理回路51、メモリ52、ディスプレイ53、入力インタフェース54及び通信インタフェース55を有する。各構成の機能等は、図1と同様であるので説明は省略する。 FIG. 9 is a diagram showing another configuration of the medical information processing device 50 according to this embodiment. As shown in FIG. 9, the medical information processing device 50 is a single computer independent of a modality device such as a magnetic resonance imaging device. The medical information processing device 50 in FIG. 9 includes a processing circuit 51, a memory 52, a display 53, an input interface 54, and a communication interface 55, like the medical information processing device 50 in FIG. The functions of each component are the same as those in FIG. 1, so description thereof will be omitted.

なお、図9の医用情報処理装置50は、如何なるモダリティ装置により収集された生データでも処理可能である。例えば、生データは、X線コンピュータ断層撮影装置により収集されたサイノグラムデータでも良い。 Note that the medical information processing device 50 in FIG. 9 can process raw data collected by any modality device. For example, the raw data may be sinogram data collected by an X-ray computed tomography device.

上記の通り、本実施形態に係る医用情報処理装置50は、処理回路51を有する。処理回路51は、少なくともマスクデータ取得機能512、生データ取得機能513及び画像生成機能514を実現する。マスクデータ取得機能512において処理回路51は、要素数が有限の複数のデータ収集軌跡の候補に対して対象撮像における収集回数及び/又は収集方向に応じた数値が割り当てられたマスクデータを取得する。生データ取得機能513において処理回路51は、被検体Pに対する対象撮像において収集された生データを取得する。画像生成機能514において処理回路51は、取得されたマスクデータと取得された生データとに、機械学習モデル521を利用した再構成処理を施して、被検体Pに関する医用画像を生成する。 As described above, the medical information processing device 50 according to this embodiment includes the processing circuit 51. The processing circuit 51 implements at least a mask data acquisition function 512, a raw data acquisition function 513, and an image generation function 514. In the mask data acquisition function 512, the processing circuit 51 acquires mask data in which numerical values corresponding to the number of acquisition times and/or the acquisition direction in target imaging are assigned to a plurality of data acquisition locus candidates having a finite number of elements. In the raw data acquisition function 513, the processing circuit 51 acquires raw data collected during object imaging of the subject P. In the image generation function 514, the processing circuit 51 performs reconstruction processing using the machine learning model 521 on the acquired mask data and the acquired raw data to generate a medical image regarding the subject P.

上記の構成によれば、機械学習モデル521がk空間データに加え、当該k空間データに対応する収集対象軌跡を示すマスクデータを入力に用いているので、k空間データのみを入力する場合に比して、出力医用画像の画質を向上させることができる。また、候補軌跡は予め定められた有限の要素数の軌跡に制限されているので、MR撮像毎に収集対象軌跡を計算等する必要がなくなる。これに関連して、学習データに用いるデータ収集軌跡とMR撮像に用いるデータ収集軌跡とを容易に一致させることもできる。 According to the above configuration, in addition to the k-space data, the machine learning model 521 uses mask data indicating the collection target trajectory corresponding to the k-space data as an input, which is compared to the case where only the k-space data is input. As a result, the quality of the output medical image can be improved. Furthermore, since the candidate trajectories are limited to trajectories with a predetermined finite number of elements, there is no need to calculate the acquisition target trajectories for each MR imaging. In connection with this, it is also possible to easily match the data collection trajectory used for learning data and the data collection trajectory used for MR imaging.

上記の実施形態において機械学習モデルの入力は、生データ又は医用画像等の医用データと、要素数が有限の複数のデータ収集軌跡の候補に対して対象撮像における収集回数及び/又は収集方向に応じた数値が割り当てられたマスクデータとであるとした。しかしながら、本実施形態はこれに限定されない。マスクデータの概念を、医用データの収集条件を数値化した数値データにまで拡張することが可能である。医用データの収集条件は、医用撮像の撮像プロトコルだけでなく、生データに対するデータ処理条件や医用画像に対する画像処理条件をも含む概念である。医用撮像の撮像プロトコルとしては、前述のデータ収集軌跡だけでなく、パルスシーケンスの種別、フレーム番号、k空間充填軌跡の種別を含む。 In the above embodiment, the input of the machine learning model is based on raw data or medical data such as medical images, and multiple data collection trajectory candidates with a finite number of elements, depending on the number of times of acquisition and/or the direction of acquisition in target imaging. It is assumed that the mask data is assigned a numerical value. However, this embodiment is not limited to this. It is possible to extend the concept of mask data to numerical data that digitizes medical data collection conditions. The medical data collection conditions are a concept that includes not only the imaging protocol for medical imaging but also the data processing conditions for raw data and the image processing conditions for medical images. The imaging protocol for medical imaging includes not only the data acquisition trajectory described above, but also the type of pulse sequence, frame number, and type of k-space filling trajectory.

また、上記の実施形態において機械学習モデルは、生データから医用画像へのDNN再構成に利用されるものとした。しかしながら、本実施形態はこれに限定されない。機械学習モデルの出力は医用診断に供されるデータであれば如何なるデータでもよい。例えば、機械学習モデルは、生データの欠損部分の復元、医用画像の欠損部分の復元、解剖学的組織等が区分されたセグメンテーション画像の生成、解剖学的組織等の識別結果の出力を行うものでもよい。 Furthermore, in the above embodiment, the machine learning model is used for DNN reconstruction from raw data to medical images. However, this embodiment is not limited to this. The output of the machine learning model may be any data that can be used for medical diagnosis. For example, machine learning models can restore missing parts of raw data, restore missing parts of medical images, generate segmentation images with anatomical tissues, etc., and output the results of identifying anatomical tissues, etc. But that's fine.

図10は、数値データ93を模式的に示す図である。図10に示す数値データ93は、パルスシーケンスの種別が数値化されたデータである。図10に示すように、数値データ93は、2以上の有限の要素数分の要素94を含む。要素数は、数値化対象の収集条件が属するカテゴリに含まれる複数の候補条件の個数に一致する。例えば、図10に示すように、数値化対象の収集条件のカテゴリがパルスシーケンスの種別である場合、候補条件としては、例えば、FSE(Fast Spin Echo)、FE(Field Echo)及びEPI(Echo Planar Imaging)の3種類が挙げられる。この場合、数値データ93は、(FSE、FE、EPI)のように表現される。 FIG. 10 is a diagram schematically showing the numerical data 93. Numerical data 93 shown in FIG. 10 is data in which the type of pulse sequence is expressed numerically. As shown in FIG. 10, the numerical data 93 includes a finite number of elements 94, which is two or more. The number of elements corresponds to the number of candidate conditions included in the category to which the collection condition to be quantified belongs. For example, as shown in FIG. 10, when the category of collection conditions to be quantified is the type of pulse sequence, candidate conditions include, for example, FSE (Fast Spin Echo), FE (Field Echo), and EPI (Echo Planar). There are three types: (Imaging). In this case, the numerical data 93 is expressed as (FSE, FE, EPI).

各要素94は、複数の候補条件について当該対象撮像の収集条件が採用しているか否かに応じた数値に対応する。例えば、要素94の値として、当該候補条件が採用する旨の第1の値と採用しない旨の第2の値との何れかが割り当てられる。この場合、数値データ93は、ワンホット・ベクトル(One-Hot Vector)と称される。第1の値と第2の値とは異なる値であれば任意の整数又は自然数でもよいが、例えば、第1の値が「1」、第2の値が「0」に設定されるものとする。 Each element 94 corresponds to a numerical value depending on whether or not the acquisition condition for the target imaging adopts a plurality of candidate conditions. For example, as the value of the element 94, either a first value indicating that the candidate condition is adopted or a second value indicating that the candidate condition is not adopted is assigned. In this case, the numerical data 93 is called a one-hot vector. The first value and the second value may be any integer or natural number as long as they are different values, but for example, the first value is set to "1" and the second value is set to "0". do.

例えば、図10に示すように、対象撮像の収集条件がFSEを採用する場合、FSEに対応する要素84の値は「1」、FEに対応する要素84の値は「0」、EPIに対応する要素84の値は「0」に設定される。なお、要素数は有限又は無限の如何なる数でもよい。すなわち、候補条件数は幾つでも良い。例えば、要素数すなわち候補条件数を100万以上に設定することも可能である。 For example, as shown in FIG. 10, when the acquisition condition for target imaging adopts FSE, the value of the element 84 corresponding to FSE is "1", the value of the element 84 corresponding to FE is "0", and it corresponds to EPI. The value of element 84 is set to "0". Note that the number of elements may be any finite or infinite number. In other words, the number of candidate conditions may be any number. For example, it is also possible to set the number of elements, ie, the number of candidate conditions, to 1 million or more.

図11は、図10の数値データ93-1の機械学習モデルへの入力を模式的に示す図である。図11の上段に示すように、FSEが採用される場合、数値データ93-1のFSEに対応する要素の値は「1」、FEに対応する要素の値は「0」、EPIに対応する要素の値は「0」に設定される。当該数値データ93-1と入力医用画像101との組合せが機械学習モデルに入力される。図11の中段に示すように、FEが採用される場合、数値データ93-1のFEに対応する要素の値は「0」、FEに対応する要素の値は「1」、EPIに対応する要素の値は「0」に設定される。当該数値データ93-1と入力医用画像101との組合せが機械学習モデルに入力される。図11の下段に示すように、EPIが採用される場合、数値データ93-1のEPIに対応する要素の値は「0」、FEに対応する要素の値は「0」、EPIに対応する要素の値は「1」に設定される。当該数値データ93-1と入力医用画像101との組合せが機械学習モデルに入力される。このようにパルスシーケンスの種別を数値化した数値データ93-1を機械学習モデルの入力に加えることにより、医用画像又は生データだけでなく、パルスシーケンスの種別も考慮して出力データを生成することが可能になる。よって機械学習モデルの出力データの精度が向上する。 FIG. 11 is a diagram schematically showing input of the numerical data 93-1 in FIG. 10 to the machine learning model. As shown in the upper part of FIG. 11, when FSE is adopted, the value of the element corresponding to FSE of numerical data 93-1 is "1", the value of the element corresponding to FE is "0", and the value of the element corresponding to EPI is "1". The value of the element is set to "0". A combination of the numerical data 93-1 and the input medical image 101 is input to the machine learning model. As shown in the middle part of FIG. 11, when FE is adopted, the value of the element corresponding to FE of numerical data 93-1 is "0", the value of the element corresponding to FE is "1", and the value of the element corresponding to FE is "1", which corresponds to EPI. The value of the element is set to "0". A combination of the numerical data 93-1 and the input medical image 101 is input to the machine learning model. As shown in the lower part of FIG. 11, when EPI is adopted, the value of the element corresponding to EPI of numerical data 93-1 is "0", and the value of the element corresponding to FE is "0", which corresponds to EPI. The value of the element is set to "1". A combination of the numerical data 93-1 and the input medical image 101 is input to the machine learning model. By adding the numerical data 93-1, which digitizes the type of pulse sequence, to the input of the machine learning model, output data can be generated taking into account not only the medical image or raw data but also the type of pulse sequence. becomes possible. Therefore, the accuracy of the output data of the machine learning model is improved.

図12は、他の数値データ93-2の機械学習モデルへの入力を模式的に示す図である。図12に示す数値データ93-2は、収集条件「黄金角フレーム番号」を数値化している。黄金角フレーム番号は、黄金角の規則に従いデータ収集軌跡の収集角が設定されたラディアル法を利用した動画撮像のフレーム番号であり、フレーム番号を当該フレームに関する基準のデータ収集軌跡の黄金角に関連付けたものである。基準のデータ収集軌跡は、当該フレームが複数のデータ収集軌跡で構成される場合、最初、最後又は中間等の任意の序列のデータ収集軌跡である。この場合、数値データ93-2は、(黄金角フレーム#1、黄金角フレーム#2、…)のように表現される。数値データ93-2の要素数は、フレーム番号の候補数に一致又は対応する。 FIG. 12 is a diagram schematically showing input of other numerical data 93-2 to the machine learning model. Numerical data 93-2 shown in FIG. 12 digitizes the collection condition "golden angle frame number". The golden angle frame number is a frame number of video imaging using the radial method in which the collection angle of the data collection trajectory is set according to the rules of the golden angle, and the frame number is associated with the golden angle of the reference data collection trajectory regarding the frame. It is something that When the frame is composed of a plurality of data collection trajectories, the reference data collection trajectory is a data collection trajectory in any order such as the first, last, or middle. In this case, the numerical data 93-2 is expressed as (golden angle frame #1, golden angle frame #2, . . . ). The number of elements of the numerical data 93-2 matches or corresponds to the number of frame number candidates.

図12の上段に示すように、入力医用画像101が黄金角フレーム#1である場合、数値データの黄金角フレーム#1に対応する要素の値は「1」、他のフレームに対応する要素の値は「0」に設定される。当該数値データ93-2と入力医用画像101との組合せが機械学習モデルに入力される。図12の中段に示すように、入力医用画像101が黄金角フレーム#2である場合、数値データの黄金角フレーム#2に対応する要素の値は「1」、他のフレームに対応する要素の値は「0」に設定される。当該数値データ93-2と入力医用画像101との組合せが機械学習モデルに入力される。このように黄金角フレーム番号を数値化した数値データを機械学習モデルの入力に加えることにより、医用画像又は生データだけでなく、黄金角フレーム番号も考慮して出力データを生成することが可能になる。よって機械学習モデルの出力データの精度が向上する。 As shown in the upper part of FIG. 12, when the input medical image 101 is golden angle frame #1, the value of the element corresponding to golden angle frame #1 in the numerical data is "1", and the value of the element corresponding to other frames is "1". The value is set to "0". A combination of the numerical data 93-2 and the input medical image 101 is input to the machine learning model. As shown in the middle part of FIG. 12, when the input medical image 101 is golden angle frame #2, the value of the element corresponding to golden angle frame #2 in the numerical data is "1", and the value of the element corresponding to other frames is "1". The value is set to "0". A combination of the numerical data 93-2 and the input medical image 101 is input to the machine learning model. In this way, by adding numerical data that digitizes golden angle frame numbers to the input of a machine learning model, it is possible to generate output data taking into account not only medical images or raw data but also golden angle frame numbers. Become. Therefore, the accuracy of the output data of the machine learning model is improved.

なお、動画撮像におけるラディアル法のデータ収集軌跡の収集角及び収集順序としては、黄金角を利用したものに限らず、反転ビットパターンを利用したものでもよいし、シーケンシャルパターンを利用したものでもよい。この場合、数値データの要素数は、反転ビットパターン又はシーケンシャルパターンの候補数に一致又は対応する。各要素の値は入力医用画像に関する反転ビットパターン又はシーケンシャルパターンが当該要素に対応する反転ビットパターン又はシーケンシャルパターンを採用しているか否かに応じて設定される。 Note that the collection angle and collection order of the data collection locus of the radial method in video imaging are not limited to those using golden angles, but may also be those using inverted bit patterns or sequential patterns. In this case, the number of elements of the numerical data matches or corresponds to the number of candidates for the inverted bit pattern or sequential pattern. The value of each element is set depending on whether the inverted bit pattern or sequential pattern regarding the input medical image adopts the inverted bit pattern or sequential pattern corresponding to the element.

図13は、他の数値データ93-3の機械学習モデルへの入力を模式的に示す図である。図13に示す数値データ93-3は、収集条件「疑似ランダムパターン番号」を数値化している。疑似ランダムパターン番号は、疑似ランダムカーテシアン法を利用した動画撮像の乱数パターンの番号であり、フレーム番号を当該フレームに関する乱数パターンに関連付けたものである。なお、疑似ランダムカーテシアン法は、乱数パターンに従いデータ収集軌跡が設定されたカーテシアン法を指す。この場合、数値データ93-3は、(疑似ランダムパターン#1、疑似ランダムパターン#2、…)のように表現される。数値データ93-3の要素数は乱数パターンの候補数に一致又は対応する。 FIG. 13 is a diagram schematically showing input of other numerical data 93-3 to the machine learning model. Numerical data 93-3 shown in FIG. 13 digitizes the collection condition "pseudo-random pattern number." The pseudo-random pattern number is a number of a random number pattern for video imaging using the pseudo-random Cartesian method, and is a number in which a frame number is associated with a random number pattern regarding the frame. Note that the pseudo-random Cartesian method refers to a Cartesian method in which a data collection trajectory is set according to a random number pattern. In this case, the numerical data 93-3 is expressed as (pseudo-random pattern #1, pseudo-random pattern #2, . . . ). The number of elements of the numerical data 93-3 matches or corresponds to the number of candidates of the random number pattern.

図13の上段に示すように、入力医用画像101が疑似ランダムパターン#1である場合、数値データ93-3の疑似ランダムパターン#1に対応する要素の値は「1」、他の疑似ランダムパターンに対応する要素の値は「0」に設定される。当該数値データ93-3と入力医用画像101との組合せが機械学習モデルに入力される。図13の中段に示すように、入力医用画像101が疑似ランダムパターン#2である場合、数値データ93-3の疑似ランダムパターン#2に対応する要素の値は「1」、他の疑似ランダムパターンに対応する要素の値は「0」に設定される。当該数値データ93-3と入力医用画像101との組合せが機械学習モデルに入力される。このように疑似ランダムパターン番号を数値化した数値データを機械学習モデルの入力に加えることにより、医用画像又は生データだけでなく、疑似ランダムパターン番号も考慮して出力データを生成することが可能になる。よって機械学習モデルの出力データの精度が向上する。 As shown in the upper part of FIG. 13, when the input medical image 101 is pseudo-random pattern #1, the value of the element corresponding to pseudo-random pattern #1 of numerical data 93-3 is "1", and the value of the element corresponding to pseudo-random pattern #1 of numerical data 93-3 is "1"; The value of the element corresponding to is set to "0". A combination of the numerical data 93-3 and the input medical image 101 is input to the machine learning model. As shown in the middle part of FIG. 13, when the input medical image 101 is pseudo-random pattern #2, the value of the element corresponding to pseudo-random pattern #2 of numerical data 93-3 is "1", and other pseudo-random patterns The value of the element corresponding to is set to "0". A combination of the numerical data 93-3 and the input medical image 101 is input to the machine learning model. In this way, by adding numerical data that digitizes pseudorandom pattern numbers to the input of a machine learning model, it is possible to generate output data taking into account not only medical images or raw data but also pseudorandom pattern numbers. Become. Therefore, the accuracy of the output data of the machine learning model is improved.

数値化対象である、動画撮像の収集条件は、上記のものに限定されず、例えば、心時相により規定されるフレーム番号でもよい。心時相により規定されるフレーム番号は、例えば、R波から次のR波までを100%としたときの、当該フレームの心時相を番号で規定したものである。 The acquisition conditions for video imaging to be quantified are not limited to those described above, and may be, for example, frame numbers defined by the cardiac phase. The frame number defined by the cardiac phase is, for example, a number that defines the cardiac phase of the frame, assuming that from an R wave to the next R wave is 100%.

数値化対象の収集条件は、パラレルイメージングの倍速率でもよい。この場合、数値データの要素数は倍速率の候補数に規定される。要素の値は、当該要素に対応する倍速率が、対象撮像にて採用されているか否かに応じた値を有する。パラレルイメージングに起因するアーチファクトは、倍速率に応じた特徴を有している。従ってパラレルイメージングの倍速率を数値化した数値データを機械学習モデルの入力に加えることにより、倍速率に応じた特徴を機械学習モデルが検出することができ、ひいては、機械学習モデルの出力データの精度が向上する。 The acquisition condition to be quantified may be the magnification rate of parallel imaging. In this case, the number of elements of numerical data is defined by the number of speed factor candidates. The value of the element has a value depending on whether the magnification rate corresponding to the element is employed in object imaging. Artifacts caused by parallel imaging have characteristics that depend on the magnification rate. Therefore, by adding numerical data that quantifies the multiplication rate of parallel imaging to the input of the machine learning model, the machine learning model can detect features according to the multiplication rate, which in turn improves the accuracy of the output data of the machine learning model. will improve.

数値化対象である収集条件は、上記のものに限定されず、例えば、生データに対するデータ処理条件や医用画像に対する画像処理条件でもよい。データ処理条件又は画像処理条件としては、例えば、繰り返し演算の繰り返し数がある。繰り返し演算は、生データ又は医用画像に対し繰り返し適用されたノイズ除去処理やエッジ強調処理、平滑化処理等の演算であり、繰り返し数は当該演算を繰り返した数である。あるいは、生データから医用画像を再構成する際に、生データと再構成画像の再構成誤差を減らす演算と、当該演算を交互に実行する際に、当該演算を繰り返した数である。当該演算は、フィルタやDNN等を用いて行われる。数値データの要素数は繰り返し数の候補数に規定され、要素の値は当該要素に対応する繰り返し数だけ、対象演算が繰り返しているか否かに応じた値を有する。このように、繰り返し演算後の医用データと、繰り返し演算の繰り返し数を数値化した数値データとを機械学習モデルの入力に加えることにより、当該医用データだけでなく、繰り返し数も考慮して出力データを生成することが可能になる。よって機械学習モデルの出力データの精度が向上する。なお、繰り返し数はワンホット・ベクトルであっても良い。あるいは、最初の数回(例えば、3回)をワンホット・ベクトルの形で与え、その回数を超えた繰り返し数として与えたベクトルであってもよい。 The collection conditions to be quantified are not limited to those described above, and may be, for example, data processing conditions for raw data or image processing conditions for medical images. The data processing conditions or image processing conditions include, for example, the number of repetitions of repeated calculations. The repeated calculations are calculations such as noise removal processing, edge enhancement processing, smoothing processing, etc. that are repeatedly applied to raw data or medical images, and the number of repetitions is the number of times the calculations are repeated. Alternatively, when reconstructing a medical image from raw data, it is the number of times the calculation is repeated when the calculation is performed alternately to reduce the reconstruction error between the raw data and the reconstructed image. The calculation is performed using a filter, a DNN, or the like. The number of elements of the numerical data is defined as the number of candidates for the number of repetitions, and the value of the element has a value depending on whether or not the target operation is repeated by the number of repetitions corresponding to the element. In this way, by adding medical data after repeated calculations and numerical data that digitizes the number of repeated calculations to the input of a machine learning model, the output data can be calculated taking into account not only the medical data but also the number of repetitions. It becomes possible to generate. Therefore, the accuracy of the output data of the machine learning model is improved. Note that the number of repetitions may be a one-hot vector. Alternatively, the first few times (for example, three times) may be given in the form of a one-hot vector, and the vector may be given as the number of repetitions exceeding that number.

データ処理条件又は画像処理条件に関する数値データとしては、複数種類のデータ処理又は画像処理の採否等が数値化されたものでもよい。この場合、数値データの要素数はデータ処理又は画像処理の候補数であり、各要素の値は、個別のデータ処理又は画像処理の採否に応じた値に設定される。例えば、数値データは、(ノイズ低減、エッジ強調、セグメント処理)等に表現されるとよい。 The numerical data regarding the data processing conditions or the image processing conditions may be numerical data indicating whether or not a plurality of types of data processing or image processing are adopted. In this case, the number of elements of the numerical data is the number of candidates for data processing or image processing, and the value of each element is set to a value depending on whether individual data processing or image processing is adopted. For example, the numerical data may be expressed as (noise reduction, edge enhancement, segment processing), etc.

上記の数値データの要素数は、候補条件の数に一致するものとした。しかしながら、本実施形態はこれに限定されない。 The number of elements of the above numerical data was assumed to match the number of candidate conditions. However, this embodiment is not limited to this.

図14は、他の数値データ93-4を模式的に示す図である。図14に示すように、数値データ93-4は、候補条件に対応する要素94と、何れの候補条件にも該当しない事に対応する要素95とを含む。要素95の値は、例えば、何れかの候補条件に該当する場合、「0」に設定され、何れかの候補条件に該当する場合、「1」に設定される。例えば、図14に示すように、数値データ93-4がパルスシーケンスを数値化したものであり、実際のMR撮像のパルスシーケンスがFSE、FE及びEPIの何れでもない場合、要素95の値は「1」に設定される。数値データ93-4に要素95を設けることにより、実際のMR撮像のパルスシーケンスが候補条件の何れにも該当しないことを機械学習モデルに対して明示することができる。 FIG. 14 is a diagram schematically showing other numerical data 93-4. As shown in FIG. 14, the numerical data 93-4 includes an element 94 corresponding to a candidate condition and an element 95 corresponding to not falling under any of the candidate conditions. For example, the value of element 95 is set to "0" when any candidate condition is met, and is set to "1" when any candidate condition is met. For example, as shown in FIG. 14, if the numerical data 93-4 is a numerical representation of a pulse sequence, and the actual pulse sequence of MR imaging is neither FSE, FE, nor EPI, the value of element 95 is " 1”. By providing the element 95 in the numerical data 93-4, it is possible to clearly indicate to the machine learning model that the pulse sequence of actual MR imaging does not correspond to any of the candidate conditions.

上記の数値データは、パルスシーケンスの種別やフレーム番号等、一種類の収集条件を数値化したものであることを前提とした。しかしながら、本実施形態はこれに限定されない。例えば、数値データは、パルスシーケンスの種別及びフレーム番号を1列のベクトルとして表現してもよい。この場合、数値データは、具体的には、(FSE、FE、EPI、フレーム番号1、フレーム番号2、…)等により表現される。 It is assumed that the above numerical data is a numerical representation of one type of collection condition, such as the type of pulse sequence or frame number. However, this embodiment is not limited to this. For example, the numerical data may represent the pulse sequence type and frame number as a single column vector. In this case, the numerical data is specifically expressed by (FSE, FE, EPI, frame number 1, frame number 2, etc.).

また、上記の説明において数値データの要素は、当該候補条件を採用するか否かを2値で表現するワンホット・ベクトルであるとした。しかしながら、要素は、当該候補条件の強度や方向、回数等の多段の概念を3値以上で表現するベクトルでもよい。 Furthermore, in the above description, the numerical data element is a one-hot vector that expresses in binary terms whether or not the candidate condition is adopted. However, the element may be a vector that expresses a multilevel concept such as the strength, direction, and number of times of the candidate condition using three or more values.

次に、本実施形態に係る機械学習モデルのネットワーク構造について説明する。 Next, the network structure of the machine learning model according to this embodiment will be explained.

図15は、本実施形態に係る機械学習モデル521-4のネットワーク構造を模式的に示す図である。図15に示すように、機械学習モデル521-4は、例示として、ノイズを有する医用画像#1と当該医用画像に関する収集条件を数値化した数値データ#2との組合せを入力し、ノイズを有さない医用画像を出力するようにパラメータが学習されたDNNであるとする。医用画像#1と数値データ#2とはそれぞれ1セットであるとする。 FIG. 15 is a diagram schematically showing the network structure of the machine learning model 521-4 according to this embodiment. As shown in FIG. 15, the machine learning model 521-4 receives, as an example, a combination of a medical image #1 with noise and numerical data #2 that digitizes the collection conditions regarding the medical image, and Assume that the DNN is a DNN whose parameters have been trained to output a medical image that does not contain any images. It is assumed that medical image #1 and numerical data #2 are each one set.

機械学習モデル521-4は、CNN層523を有する。CNN層523は、医用画像#1と数値データ#2との各々を、チャネル毎に異なる重みを乗じて加算するように構成される。例えば、医用画像#1にはチャネル数chの複数のフィルタが適用され、数値データ#2には同数chの複数のフィルタが適用される。フィルタ後の医用画像と数値データとは加算器203によりチャネル毎に加算され加算データに変換される。加算データはバイアス204によりチャネル毎に一定値が加算されバイアスデータに変換される。チャネル毎のバイアスデータがCNN層523から出力される。 Machine learning model 521-4 has CNN layer 523. The CNN layer 523 is configured to multiply each of the medical image #1 and the numerical data #2 by different weights for each channel and add them together. For example, a plurality of filters having the same number of channels are applied to the medical image #1, and a plurality of filters having the same number of channels are applied to the numerical data #2. The filtered medical image and numerical data are added for each channel by an adder 203 and converted into added data. The added data is converted into bias data by adding a constant value for each channel by the bias 204. Bias data for each channel is output from the CNN layer 523.

上記CNN層523のネットワーク構造は一例であり、種々の変形が可能である。例えば、CNN層523には一段のフィルタ201,202ではなく、多段のフィルタ201,202が設けられてもよい。例えば、フィルタ201のサイズは5×5、フィルタ202のサイズは1×1等に設定されればよいが、フィルタ201,202のサイズは如何なるサイズでもよい。 The network structure of the CNN layer 523 described above is an example, and various modifications are possible. For example, the CNN layer 523 may be provided with multiple stages of filters 201 and 202 instead of one stage of filters 201 and 202. For example, the size of the filter 201 may be set to 5×5, the size of the filter 202 may be set to 1×1, etc., but the sizes of the filters 201 and 202 may be any size.

CNN層523の後続には後置層525が設けられる。後置層525はCNN層523からの複数チャネル分のバイアスデータに演算を施して、機械学習モデル521-4の出力として、ノイズを有しない医用画像を出力する。後置層525は、少なくとも1層以上の全結合層及び出力層を有するが、これらの層に加え、1以上のCNN層やプーリング層、正規化層等の如何なる層を有してもよい。 Following the CNN layer 523, a postlayer 525 is provided. The post layer 525 performs calculations on bias data for multiple channels from the CNN layer 523, and outputs a medical image without noise as the output of the machine learning model 521-4. The postlayer 525 has at least one fully connected layer and an output layer, but in addition to these layers, it may have any layer such as one or more CNN layers, pooling layers, normalization layers, etc.

図15に示すCNN層523の入力は1セットの医用画像と1セットの数値データであるとした。しかしながら、本実施形態はこれに限定されない。CNN層の入力は複数セットの医用画像と同セットの数値データとでもよい。 It is assumed that the input to the CNN layer 523 shown in FIG. 15 is one set of medical images and one set of numerical data. However, this embodiment is not limited to this. The input to the CNN layer may be multiple sets of medical images and the same set of numerical data.

図16は、本実施形態に係る他の機械学習モデル521-5のネットワーク構造を模式的に示す図である。図16に示すように、機械学習モデル521-5は、例示として、ノイズを有する医用画像#1とノイズを有する医用画像#2と医用画像#1に関する収集条件を数値化した数値データ#3と医用画像#2に関する収集条件を数値化した数値データ#4との組合せを入力し、ノイズを有さない医用画像を出力するようにパラメータが学習されたDNNであるとする。医用画像#2は、例えば、医用画像#1のコピーや、医用画像#1に任意の画像処理を施した医用画像等、医用画像#1から派生した医用画像である。また、医用画像2は、医用画像#1と同一の収集条件により収集された別の医用画像でもよいし、別の収集条件により収集された医用画像でもよい。 FIG. 16 is a diagram schematically showing the network structure of another machine learning model 521-5 according to this embodiment. As shown in FIG. 16, the machine learning model 521-5 includes, as an example, a medical image #1 with noise, a medical image #2 with noise, and numerical data #3 that digitizes the collection conditions regarding the medical image #1. It is assumed that the DNN is a DNN whose parameters have been learned so as to input a combination with numerical data #4, which is a numerical representation of acquisition conditions regarding medical image #2, and output a medical image without noise. Medical image #2 is a medical image derived from medical image #1, such as a copy of medical image #1 or a medical image obtained by performing arbitrary image processing on medical image #1. Further, medical image 2 may be another medical image collected under the same acquisition conditions as medical image #1, or may be a medical image collected under different acquisition conditions.

機械学習モデル521-5は、CNN層527を有する。CNN層527は、医用画像#1と医用画像#2と数値データ#3と数値データ#4との各々を、チャネル毎に異なる重みを乗じて加算するように構成される。例えば、医用画像#1にはチャネル数chの複数のフィルタ211が適用され、医用画像#2には同数chの複数のフィルタ212が適用され、数値データ#3には同数chの複数のフィルタ213が適用され、数値データ#4には同数chの複数のフィルタ214が適用される。フィルタ後の医用画像と数値データとは加算器215によりチャネル毎に加算され加算データに変換される。加算データはバイアス216によりチャネル毎に一定値が加算されバイアスデータに変換される。チャネル毎のバイアスデータがCNN層527から出力される。 Machine learning model 521-5 has CNN layer 527. The CNN layer 527 is configured to multiply each of medical image #1, medical image #2, numerical data #3, and numerical data #4 by different weights for each channel and add them. For example, multiple filters 211 with the same number of channels are applied to medical image #1, multiple filters 212 with the same number of channels are applied to medical image #2, and multiple filters 213 with the same number of channels are applied to numerical data #3. is applied, and a plurality of filters 214 having the same number of channels are applied to numerical data #4. The filtered medical image and numerical data are added for each channel by an adder 215 and converted into added data. The added data is converted into bias data by adding a constant value for each channel by a bias 216. Bias data for each channel is output from the CNN layer 527.

上記CNN層527のネットワーク構造は一例であり、種々の変形が可能である。例えば、CNN層527には一段のフィルタ211,212,213,214ではなく、多段のフィルタ211,212,213,214が設けられてもよい。 The network structure of the CNN layer 527 described above is an example, and various modifications are possible. For example, the CNN layer 527 may be provided with multi-stage filters 211, 212, 213, and 214 instead of single-stage filters 211, 212, 213, and 214.

CNN層527の後続には後置層529が設けられる。後置層529はCNN層527からの複数チャネル分のバイアスデータに演算を施して、機械学習モデル521-5の出力として、ノイズを有しない医用画像を出力する。出力の医用画像は、医用画像#1からノイズが除去された画像等、医用画像#1に対応する医用画像である。後置層529は、少なくとも1層以上の全結合層及び出力層を有するが、これらの層に加え、1以上のCNN層やプーリング層、正規化層等の如何なる層を有してもよい。 Following the CNN layer 527, a postlayer 529 is provided. The post layer 529 performs calculations on bias data for multiple channels from the CNN layer 527, and outputs a medical image without noise as the output of the machine learning model 521-5. The output medical image is a medical image corresponding to medical image #1, such as an image obtained by removing noise from medical image #1. The postlayer 529 has at least one fully connected layer and an output layer, but in addition to these layers, it may have any layer such as one or more CNN layers, pooling layers, normalization layers, etc.

なお、複数のCNN層を有する機械学習モデルの場合、各CNN層に対して必ず数値データが入力されなければならないわけではない。 Note that in the case of a machine learning model having multiple CNN layers, numerical data does not necessarily have to be input to each CNN layer.

図17は、複数のCNN層531を有する機械学習モデル521-6の入出力を模式的に示す図である。図17に示す機械学習モデル521-6は、例示として、一連の3つのCNN層531-1、CNN層531-2及びCNN層531-3を有する。CNN531-3の後続に後置層533が設けられる。CNN531-1は入力医用画像を入力し、CNN層531-2はCNN層531-1の出力データを入力し、CNN層531-3はCNN層531-2の出力データを入力する。後置層533は、CNN層531-3からの出力データが入力され、例えば、入力医用画像#1からノイズが除去された医用画像を、機械学習モデル521-6の出力として、出力する。CNN層531-1、CNN層531-2及びCNN層531-3のネットワーク構造は、同一でも異なってもよく、任意に設計されればよい。 FIG. 17 is a diagram schematically showing input and output of a machine learning model 521-6 having a plurality of CNN layers 531. Machine learning model 521-6 shown in FIG. 17 illustratively has a series of three CNN layers 531-1, CNN layer 531-2, and CNN layer 531-3. A postlayer 533 is provided after the CNN 531-3. CNN 531-1 receives input medical images, CNN layer 531-2 receives output data of CNN layer 531-1, and CNN layer 531-3 receives output data of CNN layer 531-2. The postlayer 533 receives the output data from the CNN layer 531-3, and outputs, for example, a medical image from which noise has been removed from the input medical image #1 as the output of the machine learning model 521-6. The network structures of the CNN layer 531-1, CNN layer 531-2, and CNN layer 531-3 may be the same or different, and may be designed as desired.

図17に示すように、3つのCNN層531-1、CNN層531-2及びCNN層531-3の全てについて数値データ#2が入力されなくてもよく、例えば、入力側に一番近いCNN層531-1に数値データ#2が入力されず、その後のCNN層531-2及びCNN層531-3に数値データ#2が入力されてもよい。これに限らず、入力側に一番近いCNN層531-1に数値データ#2が入力され、その後のCNN層531-2及びCNN層531-3に数値データ#2が入力されなくてもよい。また、CNN層531-1、CNN層531-2及びCNN層531-3の何れか1つのCNN層に数値データ#2が入力され、他のCNN層に数値データ#2が入力されなくてもよい。もちろん、CNN層531-1、CNN層531-2及びCNN層531-3の全てに数値データ#2が入力されてもよい。 As shown in FIG. 17, numerical data #2 does not need to be input for all three CNN layers 531-1, CNN layer 531-2, and CNN layer 531-3; for example, the CNN closest to the input side Numerical data #2 may not be input to the layer 531-1, but numerical data #2 may be input to the subsequent CNN layer 531-2 and CNN layer 531-3. The present invention is not limited to this, but numerical data #2 may be input to the CNN layer 531-1 closest to the input side, and numerical data #2 may not be input to the subsequent CNN layer 531-2 and CNN layer 531-3. . Also, even if numerical data #2 is input to any one CNN layer of CNN layer 531-1, CNN layer 531-2, and CNN layer 531-3, and numerical data #2 is not input to the other CNN layer, good. Of course, numerical data #2 may be input to all of the CNN layer 531-1, CNN layer 531-2, and CNN layer 531-3.

上記の実施形態において機械学習モデルの出力は、ノイズを有さない医用画像を出力するとした。しかしながら、機械学習モデルの出力はこれに限定されない。 In the above embodiment, the machine learning model outputs a medical image without noise. However, the output of the machine learning model is not limited to this.

例えば、機械学習モデルは、医用画像と数値データとから、当該医用画像のセグメンテーション結果を出力してもよい。例えば、T1強調画像又はT2強調画像の入力に対し、セグメンテーション結果として、解像学的組織や病変領域が区分された画像が出力される。病変領域としては、例えば、脳梗塞らしさや虚血らしさ、癌の疑いのある画像領域である。医用画像と数値データとから、当該医用画像の識別結果を出力してもよい。例えば、T1強調画像、T2強調画像、又はT1強調画像及びT2強調画像の組合せの入力に対し、識別結果として、脳梗塞である確率が出力される。医用画像と数値データとから、当該医用画像のセグメンテーション結果を出力してもよい。例えば、T1強調画像、T2強調画像、又はT1強調画像及びT2強調画像の組合せの入力に対し、セグメンテーション結果として、脳梗塞らしさを有する画像領域が区分された画像が出力される。 For example, the machine learning model may output a segmentation result of the medical image from the medical image and numerical data. For example, in response to input of a T1-weighted image or a T2-weighted image, an image in which resolving tissues and lesion areas are segmented is output as a segmentation result. The lesion area is, for example, an image area that appears to be cerebral infarction, ischemia, or cancer. The identification result of the medical image may be output from the medical image and numerical data. For example, in response to an input of a T1-weighted image, a T2-weighted image, or a combination of a T1-weighted image and a T2-weighted image, the probability of cerebral infarction is output as the identification result. A segmentation result of the medical image may be output from the medical image and numerical data. For example, in response to an input of a T1-weighted image, a T2-weighted image, or a combination of a T1-weighted image and a T2-weighted image, an image in which an image region that is similar to a cerebral infarction is segmented is output as a segmentation result.

T1強調画像やT2強調画像のように異なる画像種の医用画像に基づいて学習を行わせた場合においても、機械学習モデルのパラメータの一部は共通化される。よって機械学習モデルは、学習の効率の低減を抑制しつつ、異なる画像種の医用画像の入力に対する汎用性を獲得することができる。 Even when learning is performed based on medical images of different image types, such as T1-weighted images and T2-weighted images, some of the parameters of the machine learning model are standardized. Therefore, the machine learning model can obtain versatility for inputting medical images of different image types while suppressing reduction in learning efficiency.

また、機械学習モデルは、医用データと数値データとから、当該医用データの超解像データを出力してもよい。超解像データは、入力医用データに比して空間解像度が高い医用データである。医用データと数値データとを含む入力データと、教師データである超解像データとに基づいてDNNを学習させることにより当該機械学習モデルを生成することが可能である。 Furthermore, the machine learning model may output super-resolution data of the medical data from the medical data and numerical data. Super-resolution data is medical data that has a higher spatial resolution than input medical data. It is possible to generate the machine learning model by making the DNN learn based on input data including medical data and numerical data and super-resolution data that is teacher data.

例えば、周波数を制限したハーフフーリエ(Half-Fourier)法によりk空間データが収集された場合、当該k空間データは、一部欠落し、空間解像度が低下している。ハーフフーリエ法により収集されたk空間データと数値データとを含む入力データと、周波数制限無しのMR撮像より収集されたk空間データ(教師データ)とに基づくDNNを学習されることにより、当該機械学習モデルを生成することができる。当該機械学習モデルを用いることによりハーフフーリエ法により収集されたk空間データから、データ欠損部分が復元されたk空間データ(超解像データ)を出力することが可能になる。 For example, when k-space data is collected using the Half-Fourier method with limited frequencies, part of the k-space data is missing and the spatial resolution is reduced. The machine learns a DNN based on input data including k-space data and numerical data collected by the half-Fourier method, and k-space data (teacher data) collected from MR imaging without frequency restrictions. A learning model can be generated. By using the machine learning model, it becomes possible to output k-space data (super-resolution data) in which missing data portions are restored from k-space data collected by the half-Fourier method.

上記に示す機械学習モデルは、モデル学習装置6により教師付機械学習を用いて生成可能である。学習サンプルは、様々な収集条件により医用データを収集することにより用意される。具体的には、学習サンプルの入力データは、ある収集条件により収集された入力医用データと、当該収集条件を数値化した数値データとを含む。学習サンプルの出力データは、当該医用データに対応し且つ機械学習モデルの目的に応じた出力医用データを含む。出力データは、例えば、機械学習モデルの目的がデノイズであれば、入力医用データに比してノイズが低減された医用データである。 The machine learning model shown above can be generated by the model learning device 6 using supervised machine learning. Learning samples are prepared by collecting medical data under various collection conditions. Specifically, the input data of the learning sample includes input medical data collected under a certain collection condition and numerical data obtained by quantifying the collection condition. The output data of the learning sample includes output medical data that corresponds to the medical data and is in accordance with the purpose of the machine learning model. For example, if the purpose of the machine learning model is denoising, the output data is medical data with reduced noise compared to the input medical data.

学習機能612において処理回路61は、入力医用データと数値データとを機械学習モデルに適用して順伝播処理を行い、出力医用データを出力する。次に処理回路61は、推定出力医用データと正解出力医用データとの差分(誤差)を当該機械学習モデルに適用して逆伝播処理を行い、勾配ベクトルを計算する。次に処理回路61は、勾配ベクトルに基づいて当該機械学習モデルの重み付き行列やバイアス等のパラメータを更新する。順伝播処理、逆伝播処理及びパラメータ更新処理を、学習サンプルを変更しながら繰り返すことにより、学習済みの機械学習モデルが生成される。 In the learning function 612, the processing circuit 61 applies input medical data and numerical data to a machine learning model, performs forward propagation processing, and outputs output medical data. Next, the processing circuit 61 applies the difference (error) between the estimated output medical data and the correct output medical data to the machine learning model, performs backpropagation processing, and calculates a gradient vector. Next, the processing circuit 61 updates parameters such as a weighted matrix and bias of the machine learning model based on the gradient vector. A trained machine learning model is generated by repeating the forward propagation process, backpropagation process, and parameter update process while changing the learning samples.

上記の説明の通り、医用情報処理装置50は、処理回路51を有する。処理回路51は、被検体に関する医用データを取得し、医用データの収集条件を数値化した数値データを取得し、数値データと医用データとを含む入力データに機械学習モデル521を適用して、当該医用データに基づく出力データを生成する。 As described above, the medical information processing device 50 includes the processing circuit 51. The processing circuit 51 acquires medical data regarding the subject, acquires numerical data that digitizes the collection conditions of the medical data, applies the machine learning model 521 to input data including the numerical data and the medical data, and applies the machine learning model 521 to the input data including the numerical data and the medical data. Generate output data based on medical data.

上記の構成によれば、機械学習モデル521が医用データに加え、当該医用データに対応する収集条件を数値化した数値データを入力に用いているので、医用データのみを入力する場合に比して、出力データの精度を向上させることができる。数値データの要素数は予め定められた候補条件の数に対応しており、また、各要素の値は当該候補条件の採否等に応じた値である。すなわち、収集条件の数値化の規則は予め定められているので、学習時や適用時において機械学習モデルが収集条件を高精度に判別することが可能である。これも出力データの精度を向上させる一要因となる。 According to the above configuration, the machine learning model 521 inputs not only medical data but also numerical data that digitizes the collection conditions corresponding to the medical data. , the accuracy of output data can be improved. The number of elements of the numerical data corresponds to the number of predetermined candidate conditions, and the value of each element is a value depending on whether the candidate condition is adopted or not. That is, since the rules for quantifying collection conditions are determined in advance, the machine learning model can determine collection conditions with high accuracy during learning and application. This is also a factor in improving the accuracy of output data.

以上説明した少なくとも1つの実施形態によれば、機械学習を用いた出力データの精度を向上することができる。 According to at least one embodiment described above, the accuracy of output data using machine learning can be improved.

上記説明において用いた「プロセッサ」という文言は、例えば、CPU、GPU、或いは、特定用途向け集積回路(Application Specific Integrated Circuit:ASIC))、プログラマブル論理デバイス(例えば、単純プログラマブル論理デバイス(Simple Programmable Logic Device:SPLD)、複合プログラマブル論理デバイス(Complex Programmable Logic Device:CPLD)、及びフィールドプログラマブルゲートアレイ(Field Programmable Gate Array:FPGA))等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで各機能511-516を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで各機能511-516を実現する。また、プログラムを実行するのではなく、論理回路の組合せにより当該プログラムに対応する各機能511-516を実現しても良い。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて1つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図1、図3及び図7における複数の構成要素を1つのプロセッサへ統合してその機能を実現するようにしてもよい。 The term "processor" used in the above description refers to, for example, a CPU, GPU, or Application Specific Integrated Circuit (ASIC), or a programmable logic device (for example, a Simple Programmable Logic Device). :SPLD), Complex Programmable Logic Device (CPLD), and Field Programmable Gate Array (FPGA). The processor implements each of the functions 511-516 by reading and executing programs stored in the memory circuit. Note that instead of storing the program in the memory circuit, the program may be directly incorporated into the circuit of the processor. In this case, the processor implements each of the functions 511-516 by reading and executing a program built into the circuit. Further, instead of executing a program, each of the functions 511 to 516 corresponding to the program may be realized by a combination of logic circuits. Note that each processor of this embodiment is not limited to being configured as a single circuit for each processor, but may also be configured as a single processor by combining multiple independent circuits to realize its functions. good. Furthermore, multiple components in FIGS. 1, 3, and 7 may be integrated into one processor to implement its functions.

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。 Although several embodiments of the invention have been described, these embodiments are presented by way of example and are not intended to limit the scope of the invention. These embodiments can be implemented in various other forms, and various omissions, substitutions, and changes can be made without departing from the gist of the invention. These embodiments and their modifications are included within the scope and gist of the invention as well as within the scope of the invention described in the claims and its equivalents.

磁気共鳴イメージング装置
11 架台
13 寝台
131 天板
133 基台
21 傾斜磁場電源
23 送信回路
25 受信回路
27 寝台駆動装置
29 シーケンス制御回路
41 静磁場磁石
43 傾斜磁場コイル
45 送信コイル
47 受信コイル
50 医用情報処理装置
51 処理回路
52 メモリ
53 ディスプレイ
54 入力インタフェース
55 通信インタフェース
511 撮像プロトコル設定機能
512 マスクデータ取得機能
513 生データ取得機能
514 画像生成機能
515 画像処理機能
516 表示制御機能
521 機械学習モデル
P 被検体
1 Magnetic resonance imaging device
11 mounts
13 berths
131 Top plate
133 Base
21 gradient magnetic field power supply
23 transmitting circuit
25 receiving circuit
27 Bed drive device
29 Sequence control circuit
41 Static magnetic field magnet
43 Gradient magnetic field coil
45 Transmission coil
47 Receiving coil
50 medical information processing equipment
51 Processing circuit 52 Memory
53 display
54 Input interface 55 Communication interface 511 Imaging protocol setting function
512 mask data acquisition function
513 raw data acquisition function
514 image generation function
515 image processing function
516 display control function
521 Machine learning model
P Subject

Claims (27)

被検体に関する医用データを取得する第1取得部と、
前記医用データの収集条件を数値化した数値データを取得する第2取得部と、
前記数値データと前記医用データとを含む入力データに機械学習モデルを適用して、
前記医用データを処理した出力データを生成する生成部と、
を具備し、
前記医用データは、医用画像診断装置で収集した生データ又は前記生データに基づく医用画像であり、
前記収集条件は、前記医用画像診断装置による医用撮像の撮像プロトコル、前記生データに対するデータ処理条件及び/又は前記医用画像に対する画像処理条件を含
前記数値データは2以上の有限の要素数分の要素を含み、
前記要素数は、前記収集条件に対応する複数の候補条件の個数に対応し、かつ、前記複数の候補条件に対応する第1の要素と前記複数の候補条件の何れにも該当しない事に対応する第2の要素とを含み、
前記要素の値は、前記複数の候補条件に対する前記収集条件の採否及び/又は値に応じた数値に対応する、
医用情報処理装置。
a first acquisition unit that acquires medical data regarding the subject;
a second acquisition unit that acquires numerical data digitizing the medical data collection conditions;
Applying a machine learning model to input data including the numerical data and the medical data,
a generation unit that generates output data obtained by processing the medical data;
Equipped with
The medical data is raw data collected by a medical image diagnostic device or a medical image based on the raw data,
The acquisition conditions include an imaging protocol for medical imaging by the medical image diagnostic apparatus, data processing conditions for the raw data, and/or image processing conditions for the medical image,
The numerical data includes a finite number of elements of 2 or more,
The number of elements corresponds to the number of the plurality of candidate conditions corresponding to the collection condition, and corresponds to the fact that the first element corresponding to the plurality of candidate conditions does not correspond to any of the plurality of candidate conditions. and a second element that
The value of the element corresponds to a numerical value according to the acceptance or rejection of the collection condition with respect to the plurality of candidate conditions and/or the value.
Medical information processing equipment.
被検体に関する医用データを取得する第1取得部と、
前記医用データの収集条件を数値化した数値データを取得する第2取得部と、
前記数値データと前記医用データとを含む入力データに機械学習モデルを適用して、
前記医用データを処理した出力データを生成する生成部と、
を具備し、
前記医用データは、医用画像診断装置で収集した生データ又は前記生データに基づく医用画像であり、
前記医用画像診断装置は、磁気共鳴イメージング装置であり、
前記収集条件は、パルスシーケンスの種別、フレーム番号、k空間充填軌跡の種別、繰り返し演算の繰り返し数及び/又はパラレルイメージングの倍速率を含む、
医用情報処理装置。
a first acquisition unit that acquires medical data regarding the subject;
a second acquisition unit that acquires numerical data digitizing the medical data collection conditions;
Applying a machine learning model to input data including the numerical data and the medical data,
a generation unit that generates output data obtained by processing the medical data;
Equipped with
The medical data is raw data collected by a medical image diagnostic device or a medical image based on the raw data,
The medical image diagnostic device is a magnetic resonance imaging device,
The acquisition conditions include the type of pulse sequence, the frame number, the type of k-space filling trajectory, the number of repeated operations, and/or the multiplication rate of parallel imaging.
Medical information processing equipment.
被検体に関する医用データを取得する第1取得部と、
前記医用データの収集条件を数値化した数値データを取得する第2取得部と、
前記数値データと前記医用データとを含む入力データに機械学習モデルを適用して、
前記医用データを処理した出力データを生成する生成部と、
を具備し、
前記医用データは、医用画像診断装置で収集した生データ又は前記生データに基づく医用画像であり、
前記収集条件は、前記医用画像診断装置による医用撮像の撮像プロトコル、前記生データに対するデータ処理条件及び/又は前記医用画像に対する画像処理条件を含
前記第2取得部は、前記被検体に対する医用撮像の前記収集条件を数値化した前記数値データを取得し、
前記第1取得部は、前記医用データとして、前記収集条件に従い前記医用撮像により収集された前記生データを取得し、
前記生成部は、前記数値データと前記生データ又は前記生データに基づく前記医用画像とを含む入力データに前記機械学習モデルを適用して、前記生データ又は前記医用画像に基づく前記出力データを生成し、
前記医用画像診断装置は、磁気共鳴イメージング装置である、
医用情報処理装置。
a first acquisition unit that acquires medical data regarding the subject;
a second acquisition unit that acquires numerical data digitizing the medical data collection conditions;
Applying a machine learning model to input data including the numerical data and the medical data,
a generation unit that generates output data obtained by processing the medical data;
Equipped with
The medical data is raw data collected by a medical image diagnostic device or a medical image based on the raw data,
The acquisition conditions include an imaging protocol for medical imaging by the medical image diagnostic apparatus, data processing conditions for the raw data, and/or image processing conditions for the medical image,
The second acquisition unit acquires the numerical data that digitizes the collection conditions of medical imaging for the subject,
The first acquisition unit acquires, as the medical data, the raw data collected by the medical imaging according to the collection conditions,
The generation unit applies the machine learning model to input data including the numerical data and the raw data or the medical image based on the raw data, and generates the output data based on the raw data or the medical image. death,
The medical image diagnostic device is a magnetic resonance imaging device,
Medical information processing equipment.
被検体に関する医用データを取得する第1取得部と、
前記医用データの収集条件を数値化した数値データを取得する第2取得部と、
前記数値データと前記医用データとを含む入力データに機械学習モデルを適用して、
前記医用データを処理した出力データを生成する生成部と、
を具備し、
前記医用データは、医用画像診断装置で収集した生データ又は前記生データに基づく医用画像であり、
前記収集条件は、前記医用画像診断装置による医用撮像の撮像プロトコル、前記生データに対するデータ処理条件及び/又は前記医用画像に対する画像処理条件を含
前記第2取得部は、前記被検体に対する医用撮像の前記収集条件を数値化した前記数値データを取得し、
前記第1取得部は、前記医用データとして、前記収集条件に従い前記医用撮像により収集された前記生データを取得し、
前記生成部は、前記数値データと前記生データとを含む前記入力データに前記機械学習モデルを利用して再構成処理を施して前記被検体に関する前記医用画像を生成する、
医用情報処理装置。
a first acquisition unit that acquires medical data regarding the subject;
a second acquisition unit that acquires numerical data digitizing the medical data collection conditions;
Applying a machine learning model to input data including the numerical data and the medical data,
a generation unit that generates output data obtained by processing the medical data;
Equipped with
The medical data is raw data collected by a medical image diagnostic device or a medical image based on the raw data,
The acquisition conditions include an imaging protocol for medical imaging by the medical image diagnostic apparatus, data processing conditions for the raw data, and/or image processing conditions for the medical image,
The second acquisition unit acquires the numerical data that digitizes the collection conditions of medical imaging for the subject,
The first acquisition unit acquires, as the medical data, the raw data collected by the medical imaging according to the collection conditions,
The generation unit generates the medical image regarding the subject by performing a reconstruction process on the input data including the numerical data and the raw data using the machine learning model.
Medical information processing equipment.
前記機械学習モデルは、前記数値データと前記医用データとを入力とし、教師データを用いて学習される、請求項記載の医用情報処理装置。 4. The medical information processing apparatus according to claim 3 , wherein the machine learning model receives the numerical data and the medical data and is trained using teacher data. 前記要素の値は、前記収集条件が採用する旨の第1の値と前記収集条件が採用しない旨の第2の値との何れかを有する、請求項記載の医用情報処理装置。 The medical information processing apparatus according to claim 1 , wherein the value of the element has either a first value indicating that the collection condition is adopted or a second value indicating that the collection condition is not adopted. 前記生成部は、前記出力データとして、前記被検体に関する医用診断に供されるデータを生成する、請求項記載の医用情報処理装置。 The medical information processing apparatus according to claim 3 , wherein the generation unit generates data used for medical diagnosis regarding the subject as the output data. 前記機械学習モデルは、前記数値データと前記医用データとの各々を、チャネル毎に異なる重みを乗じて加算するように構成される、請求項記載の医用情報処理装置。 4. The medical information processing apparatus according to claim 3 , wherein the machine learning model is configured to multiply each of the numerical data and the medical data by different weights for each channel and add them. 前記収集条件は、データ収集軌跡各々についての収集回数及び又は収集方向であり、
前記数値データは、要素数が有限の複数のデータ収集軌跡の候補に対して対象撮像における収集回数及び/又は収集方向に応じた数値が割り当てられたマスクデータである、
請求項記載の医用情報処理装置。
The collection condition is the number of times of collection and/or the direction of collection for each data collection trajectory,
The numerical data is mask data in which a numerical value corresponding to the number of acquisition times and/or the acquisition direction in target imaging is assigned to a plurality of data acquisition trajectory candidates with a finite number of elements.
The medical information processing device according to claim 3 .
前記第2取得部は、前記複数のデータ収集軌跡の候補に対する収集回数及び/又は収集方向を、ユーザの指示に従い又は自動的に決定する、請求項記載の医用情報処理装置。 The medical information processing apparatus according to claim 9 , wherein the second acquisition unit determines the number of times of collection and/or the direction of collection for the plurality of data collection trajectory candidates according to a user's instruction or automatically. 前記第2取得部は、前記複数のデータ収集軌跡の候補に対する収集回数及び/又は収集方向を、前記医用撮像における撮像時間に基づいて所定のルールに従い決定する、請求項記載の医用情報処理装置。 The medical information processing apparatus according to claim 9 , wherein the second acquisition unit determines the number of times of collection and/or the direction of collection for the plurality of data collection trajectory candidates according to a predetermined rule based on the imaging time in the medical imaging. . 前記数値は、データ収集を行う旨の第1の数値とデータ収集を行わない旨の第2の数値とを含む、請求項記載の医用情報処理装置。 10. The medical information processing apparatus according to claim 9 , wherein the numerical values include a first numerical value indicating that data collection is to be performed and a second numerical value indicating that data collection is not to be performed. 前記複数のデータ収集軌跡の候補の各々は、ラディアル法に関するk空間でのデータ収集軌跡であり、k空間の略中心を直線状に通過する、請求項記載の医用情報処理装置。 10. The medical information processing apparatus according to claim 9 , wherein each of the plurality of data collection trajectory candidates is a data collection trajectory in k-space related to a radial method, and passes through substantially the center of k-space in a straight line. 前記複数のデータ収集軌跡の候補間の角度間隔は、所定の角度に設定される、請求項13記載の医用情報処理装置。 The medical information processing apparatus according to claim 13 , wherein an angular interval between the plurality of data collection trajectory candidates is set to a predetermined angle. 前記複数のデータ収集軌跡の候補は、360度を前記要素数で除した角度に基づく角度で略等間隔に配置される、請求項13記載の医用情報処理装置。 14. The medical information processing apparatus according to claim 13 , wherein the plurality of data collection trajectory candidates are arranged at approximately equal intervals at an angle based on an angle obtained by dividing 360 degrees by the number of elements. 前記複数のデータ収集軌跡の候補の各々は、スパイラル収集に関するk空間でのデータ収集軌跡であり、k空間を渦巻き状に通過する、請求項記載の医用情報処理装置。 10. The medical information processing apparatus according to claim 9 , wherein each of the plurality of data collection trajectory candidates is a data collection trajectory in k-space related to spiral collection, and passes through k-space in a spiral shape. 前記生成部は、前記機械学習モデルを前記マスクデータと前記生データとに適用し、デノイズされた生データを前記出力データとして生成し、前記デノイズされた生データにフーリエ変換を施して前記医用画像を生成する、請求項記載の医用情報処理装置。 The generation unit applies the machine learning model to the mask data and the raw data, generates denoised raw data as the output data, and performs a Fourier transform on the denoised raw data to generate the medical image. The medical information processing apparatus according to claim 9 , which generates. 前記生成部は、前記生データにフーリエ変換を施して仮の医用画像を生成し、前記機械学習モデルを前記マスクデータと前記仮の医用画像とに適用し、デノイズされた医用画像を前記出力データとして出力する、請求項記載の医用情報処理装置。 The generation unit performs a Fourier transform on the raw data to generate a temporary medical image, applies the machine learning model to the mask data and the temporary medical image, and converts the denoised medical image into the output data. 10. The medical information processing apparatus according to claim 9 , wherein the medical information processing apparatus outputs as follows. 前記被検体に磁気共鳴イメージングを施して前記医用データとしてk空間データを収集する撮像部、を更に備える請求項記載の医用情報処理装置。 The medical information processing apparatus according to claim 3 , further comprising an imaging unit that performs magnetic resonance imaging on the subject and collects k-space data as the medical data. 被検体に関する医用データを取得する工程と、
前記医用データの収集条件を数値化した数値データを取得する工程と、
前記数値データと前記医用データとを含む入力データに機械学習モデルを適用して、前記医用データを処理した出力データを生成する工程と、
を具備し、
前記医用データは、医用画像診断装置で収集した生データ又は前記生データに基づく医用画像であり、
前記収集条件は、前記医用画像診断装置による医用撮像の撮像プロトコル、前記生データに対するデータ処理条件及び/又は前記医用画像に対する画像処理条件を含
前記数値データは2以上の有限の要素数分の要素を含み、
前記要素数は、前記収集条件に対応する複数の候補条件の個数に対応し、かつ、前記複数の候補条件に対応する第1の要素と前記複数の候補条件の何れにも該当しない事に対応する第2の要素とを含み、
前記要素の値は、前記複数の候補条件に対する前記収集条件の採否及び/又は値に応じた数値に対応する、
医用情報処理方法。
obtaining medical data regarding the subject;
acquiring numerical data that quantifies the collection conditions of the medical data;
applying a machine learning model to input data including the numerical data and the medical data to generate output data obtained by processing the medical data;
Equipped with
The medical data is raw data collected by a medical image diagnostic device or a medical image based on the raw data,
The acquisition conditions include an imaging protocol for medical imaging by the medical image diagnostic apparatus, data processing conditions for the raw data, and/or image processing conditions for the medical image,
The numerical data includes a finite number of elements of 2 or more,
The number of elements corresponds to the number of the plurality of candidate conditions corresponding to the collection condition, and corresponds to the fact that the first element corresponding to the plurality of candidate conditions does not correspond to any of the plurality of candidate conditions. and a second element that
The value of the element corresponds to a numerical value according to the acceptance or rejection of the collection condition with respect to the plurality of candidate conditions and/or the value.
Medical information processing method.
被検体に関する医用データを取得する工程と、
前記医用データの収集条件を数値化した数値データを取得する工程と、
前記数値データと前記医用データとを含む入力データに機械学習モデルを適用して、前記医用データを処理した出力データを生成する工程と、
を具備し、
前記医用データは、医用画像診断装置で収集した生データ又は前記生データに基づく医用画像であり、
前記収集条件は、前記医用画像診断装置による医用撮像の撮像プロトコル、前記生データに対するデータ処理条件及び/又は前記医用画像に対する画像処理条件を含
前記医用画像診断装置は、磁気共鳴イメージング装置であり、
前記収集条件は、パルスシーケンスの種別、フレーム番号、k空間充填軌跡の種別、繰り返し演算の繰り返し数及び/又はパラレルイメージングの倍速率を含む、
医用情報処理方法。
obtaining medical data regarding the subject;
acquiring numerical data that quantifies the collection conditions of the medical data;
applying a machine learning model to input data including the numerical data and the medical data to generate output data obtained by processing the medical data;
Equipped with
The medical data is raw data collected by a medical image diagnostic device or a medical image based on the raw data,
The acquisition conditions include an imaging protocol for medical imaging by the medical image diagnostic apparatus, data processing conditions for the raw data, and/or image processing conditions for the medical image,
The medical image diagnostic device is a magnetic resonance imaging device,
The acquisition conditions include the type of pulse sequence, the frame number, the type of k-space filling trajectory, the number of repeated operations, and/or the multiplication rate of parallel imaging.
Medical information processing method.
被検体に関する医用データを取得する第1取得工程と、
前記医用データの収集条件を数値化した数値データを取得する第2取得工程と、
前記数値データと前記医用データとを含む入力データに機械学習モデルを適用して、前記医用データを処理した出力データを生成する生成工程と、
を具備し、
前記医用データは、医用画像診断装置で収集した生データ又は前記生データに基づく医用画像であり、
前記収集条件は、前記医用画像診断装置による医用撮像の撮像プロトコル、前記生データに対するデータ処理条件及び/又は前記医用画像に対する画像処理条件を含
前記第2取得工程は、前記被検体に対する医用撮像の前記収集条件を数値化した前記数値データを取得し、
前記第1取得工程は、前記医用データとして、前記収集条件に従い前記医用撮像により収集された前記生データを取得し、
前記生成工程は、前記数値データと前記生データ又は前記生データに基づく前記医用画像とを含む入力データに前記機械学習モデルを適用して、前記生データ又は前記医用画像に基づく前記出力データを生成し、
前記医用画像診断装置は、磁気共鳴イメージング装置である、
医用情報処理方法。
a first acquisition step of acquiring medical data regarding the subject;
a second acquisition step of acquiring numerical data quantifying the medical data collection conditions;
a generation step of applying a machine learning model to input data including the numerical data and the medical data to generate output data obtained by processing the medical data;
Equipped with
The medical data is raw data collected by a medical image diagnostic device or a medical image based on the raw data,
The acquisition conditions include an imaging protocol for medical imaging by the medical image diagnostic apparatus, data processing conditions for the raw data, and/or image processing conditions for the medical image,
The second acquisition step acquires the numerical data that digitizes the collection conditions of medical imaging for the subject;
The first acquisition step acquires, as the medical data, the raw data collected by the medical imaging according to the collection conditions,
The generation step applies the machine learning model to input data including the numerical data and the raw data or the medical image based on the raw data to generate the output data based on the raw data or the medical image. death,
The medical image diagnostic device is a magnetic resonance imaging device,
Medical information processing method.
被検体に関する医用データを取得する第1取得工程と、
前記医用データの収集条件を数値化した数値データを取得する第2取得工程と、
前記数値データと前記医用データとを含む入力データに機械学習モデルを適用して、前記医用データを処理した出力データを生成する生成工程と、
を具備し、
前記医用データは、医用画像診断装置で収集した生データ又は前記生データに基づく医用画像であり、
前記収集条件は、前記医用画像診断装置による医用撮像の撮像プロトコル、前記生データに対するデータ処理条件及び/又は前記医用画像に対する画像処理条件を含
前記第2取得工程は、前記被検体に対する医用撮像の前記収集条件を数値化した前記数値データを取得し、
前記第1取得工程は、前記医用データとして、前記収集条件に従い前記医用撮像により収集された前記生データを取得し、
前記生成工程は、前記数値データと前記生データとを含む前記入力データに前記機械学習モデルを利用して再構成処理を施して前記被検体に関する前記医用画像を生成する、
医用情報処理方法。
a first acquisition step of acquiring medical data regarding the subject;
a second acquisition step of acquiring numerical data quantifying the medical data collection conditions;
a generation step of applying a machine learning model to input data including the numerical data and the medical data to generate output data obtained by processing the medical data;
Equipped with
The medical data is raw data collected by a medical image diagnostic device or a medical image based on the raw data,
The acquisition conditions include an imaging protocol for medical imaging by the medical image diagnostic apparatus, data processing conditions for the raw data, and/or image processing conditions for the medical image,
The second acquisition step acquires the numerical data that digitizes the collection conditions of medical imaging for the subject;
The first acquisition step acquires, as the medical data, the raw data collected by the medical imaging according to the collection conditions,
The generation step includes performing a reconstruction process on the input data including the numerical data and the raw data using the machine learning model to generate the medical image regarding the subject.
Medical information processing method.
コンピュータに、
被検体に関する医用データを取得する機能と、
前記医用データの収集条件を数値化した数値データを取得する機能と、
前記数値データと前記医用データとを含む入力データに機械学習モデルを適用して、前記医用データを処理した出力データを生成する機能と、
を実現させ、
前記医用データは、医用画像診断装置で収集した生データ又は前記生データに基づく医用画像であり、
前記収集条件は、前記医用画像診断装置による医用撮像の撮像プロトコル、前記生データに対するデータ処理条件及び/又は前記医用画像に対する画像処理条件を含
前記数値データは2以上の有限の要素数分の要素を含み、
前記要素数は、前記収集条件に対応する複数の候補条件の個数に対応し、かつ、前記複数の候補条件に対応する第1の要素と前記複数の候補条件の何れにも該当しない事に対応する第2の要素とを含み、
前記要素の値は、前記複数の候補条件に対する前記収集条件の採否及び/又は値に応じた数値に対応する、
医用情報処理プログラム。
to the computer,
A function to obtain medical data regarding the subject,
a function of acquiring numerical data that quantifies the collection conditions of the medical data;
A function of applying a machine learning model to input data including the numerical data and the medical data to generate output data obtained by processing the medical data;
Realize,
The medical data is raw data collected by a medical image diagnostic device or a medical image based on the raw data,
The acquisition conditions include an imaging protocol for medical imaging by the medical image diagnostic apparatus, data processing conditions for the raw data, and/or image processing conditions for the medical image,
The numerical data includes a finite number of elements of 2 or more,
The number of elements corresponds to the number of the plurality of candidate conditions corresponding to the collection condition, and corresponds to the fact that the first element corresponding to the plurality of candidate conditions does not correspond to any of the plurality of candidate conditions. and a second element that
The value of the element corresponds to a numerical value according to the acceptance or rejection of the collection condition with respect to the plurality of candidate conditions and/or the value.
Medical information processing program.
コンピュータに、
被検体に関する医用データを取得する機能と、
前記医用データの収集条件を数値化した数値データを取得する機能と、
前記数値データと前記医用データとを含む入力データに機械学習モデルを適用して、前記医用データを処理した出力データを生成する機能と、
を実現させ、
前記医用データは、医用画像診断装置で収集した生データ又は前記生データに基づく医用画像であり、
前記収集条件は、前記医用画像診断装置による医用撮像の撮像プロトコル、前記生データに対するデータ処理条件及び/又は前記医用画像に対する画像処理条件を含
前記医用画像診断装置は、磁気共鳴イメージング装置であり、
前記収集条件は、パルスシーケンスの種別、フレーム番号、k空間充填軌跡の種別、繰り返し演算の繰り返し数及び/又はパラレルイメージングの倍速率を含む、
医用情報処理プログラム。
to the computer,
A function to obtain medical data regarding the subject,
a function of acquiring numerical data that quantifies the collection conditions of the medical data;
A function of applying a machine learning model to input data including the numerical data and the medical data to generate output data obtained by processing the medical data;
Realize,
The medical data is raw data collected by a medical image diagnostic device or a medical image based on the raw data,
The acquisition conditions include an imaging protocol for medical imaging by the medical image diagnostic apparatus, data processing conditions for the raw data, and/or image processing conditions for the medical image,
The medical image diagnostic device is a magnetic resonance imaging device,
The acquisition conditions include the type of pulse sequence, the frame number, the type of k-space filling trajectory, the number of repeated operations, and/or the multiplication rate of parallel imaging.
Medical information processing program.
コンピュータに、
被検体に関する医用データを取得する第1取得機能と、
前記医用データの収集条件を数値化した数値データを取得する第2取得機能と、
前記数値データと前記医用データとを含む入力データに機械学習モデルを適用して、前記医用データを処理した出力データを生成する生成機能と、
を実現させ、
前記医用データは、医用画像診断装置で収集した生データ又は前記生データに基づく医用画像であり、
前記収集条件は、前記医用画像診断装置による医用撮像の撮像プロトコル、前記生データに対するデータ処理条件及び/又は前記医用画像に対する画像処理条件を含
前記第2取得機能は、前記被検体に対する医用撮像の前記収集条件を数値化した前記数値データを取得し、
前記第1取得機能は、前記医用データとして、前記収集条件に従い前記医用撮像により収集された前記生データを取得し、
前記生成機能は、前記数値データと前記生データ又は前記生データに基づく前記医用画像とを含む入力データに前記機械学習モデルを適用して、前記生データ又は前記医用画像に基づく前記出力データを生成し、
前記医用画像診断装置は、磁気共鳴イメージング装置である、
医用情報処理プログラム。
to the computer,
a first acquisition function that acquires medical data regarding the subject;
a second acquisition function that acquires numerical data that digitizes the medical data collection conditions;
a generation function that applies a machine learning model to input data including the numerical data and the medical data to generate output data obtained by processing the medical data;
Realize,
The medical data is raw data collected by a medical image diagnostic device or a medical image based on the raw data,
The acquisition conditions include an imaging protocol for medical imaging by the medical image diagnostic apparatus, data processing conditions for the raw data, and/or image processing conditions for the medical image,
The second acquisition function acquires the numerical data that digitizes the collection conditions of medical imaging for the subject;
The first acquisition function acquires, as the medical data, the raw data collected by the medical imaging according to the collection conditions,
The generation function applies the machine learning model to input data including the numerical data and the raw data or the medical image based on the raw data to generate the output data based on the raw data or the medical image. death,
The medical image diagnostic device is a magnetic resonance imaging device,
Medical information processing program.
コンピュータに、
被検体に関する医用データを取得する第1取得機能と、
前記医用データの収集条件を数値化した数値データを取得する第2取得機能と、
前記数値データと前記医用データとを含む入力データに機械学習モデルを適用して、前記医用データを処理した出力データを生成する生成機能と、
を実現させ、
前記医用データは、医用画像診断装置で収集した生データ又は前記生データに基づく医用画像であり、
前記収集条件は、前記医用画像診断装置による医用撮像の撮像プロトコル、前記生データに対するデータ処理条件及び/又は前記医用画像に対する画像処理条件を含
前記第2取得機能は、前記被検体に対する医用撮像の前記収集条件を数値化した前記数値データを取得し、
前記第1取得機能は、前記医用データとして、前記収集条件に従い前記医用撮像により収集された前記生データを取得し、
前記生成機能は、前記数値データと前記生データとを含む前記入力データに前記機械学習モデルを利用して再構成処理を施して前記被検体に関する前記医用画像を生成する、
医用情報処理プログラム。
to the computer,
a first acquisition function that acquires medical data regarding the subject;
a second acquisition function that acquires numerical data that digitizes the medical data collection conditions;
a generation function that applies a machine learning model to input data including the numerical data and the medical data to generate output data obtained by processing the medical data;
Realize,
The medical data is raw data collected by a medical image diagnostic device or a medical image based on the raw data,
The acquisition conditions include an imaging protocol for medical imaging by the medical image diagnostic apparatus, data processing conditions for the raw data, and/or image processing conditions for the medical image,
The second acquisition function acquires the numerical data that digitizes the collection conditions of medical imaging for the subject;
The first acquisition function acquires, as the medical data, the raw data collected by the medical imaging according to the collection conditions,
The generation function performs a reconstruction process on the input data including the numerical data and the raw data using the machine learning model to generate the medical image regarding the subject.
Medical information processing program.
JP2019116625A 2018-06-29 2019-06-24 Medical information processing device, method and program Active JP7355532B2 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/452,818 US11493585B2 (en) 2018-06-29 2019-06-26 Medical information processing apparatus and medical information processing method
US17/955,076 US20230021786A1 (en) 2018-06-29 2022-09-28 Medical information processing apparatus and medical information processing method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018124088 2018-06-29
JP2018124088 2018-06-29

Publications (2)

Publication Number Publication Date
JP2020006163A JP2020006163A (en) 2020-01-16
JP7355532B2 true JP7355532B2 (en) 2023-10-03

Family

ID=69149964

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019116625A Active JP7355532B2 (en) 2018-06-29 2019-06-24 Medical information processing device, method and program

Country Status (1)

Country Link
JP (1) JP7355532B2 (en)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001224576A (en) 2000-02-18 2001-08-21 Konica Corp Image processing method and image processor
JP2006087499A (en) 2004-09-21 2006-04-06 National Institute Of Advanced Industrial & Technology Method for creating mri data and imaging apparatus using the same
JP2009508656A (en) 2005-09-22 2009-03-05 ウイスコンシン アラムナイ リサーチ フオンデーシヨン Diffusion tensor imaging using highly constrained image reconstruction methods
JP2011092553A (en) 2009-10-30 2011-05-12 Toshiba Corp Magnetic resonance imaging apparatus
US20130051516A1 (en) 2011-08-31 2013-02-28 Carestream Health, Inc. Noise suppression for low x-ray dose cone-beam image reconstruction
JP2013240571A (en) 2012-04-27 2013-12-05 Toshiba Corp Magnetic resonance imaging apparatus and image processing apparatus
JP2014069007A (en) 2012-10-01 2014-04-21 Toshiba Corp Magnetic resonance imaging device and image processor
US20170309019A1 (en) 2016-04-22 2017-10-26 New York University System, method and computer-accessible medium for learning an optimized variational network for medical image reconstruction
US20180146935A1 (en) 2016-11-25 2018-05-31 Samsung Electronics Co., Ltd. X-ray apparatus and method of acquiring medical image thereof
JP2019216848A (en) 2018-06-15 2019-12-26 キヤノン株式会社 Medical image processing apparatus, medical image processing method, and program

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04118782A (en) * 1990-09-10 1992-04-20 Fuji Photo Film Co Ltd Radiograph reader

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001224576A (en) 2000-02-18 2001-08-21 Konica Corp Image processing method and image processor
JP2006087499A (en) 2004-09-21 2006-04-06 National Institute Of Advanced Industrial & Technology Method for creating mri data and imaging apparatus using the same
JP2009508656A (en) 2005-09-22 2009-03-05 ウイスコンシン アラムナイ リサーチ フオンデーシヨン Diffusion tensor imaging using highly constrained image reconstruction methods
JP2011092553A (en) 2009-10-30 2011-05-12 Toshiba Corp Magnetic resonance imaging apparatus
US20130051516A1 (en) 2011-08-31 2013-02-28 Carestream Health, Inc. Noise suppression for low x-ray dose cone-beam image reconstruction
JP2013240571A (en) 2012-04-27 2013-12-05 Toshiba Corp Magnetic resonance imaging apparatus and image processing apparatus
JP2014069007A (en) 2012-10-01 2014-04-21 Toshiba Corp Magnetic resonance imaging device and image processor
US20170309019A1 (en) 2016-04-22 2017-10-26 New York University System, method and computer-accessible medium for learning an optimized variational network for medical image reconstruction
US20180146935A1 (en) 2016-11-25 2018-05-31 Samsung Electronics Co., Ltd. X-ray apparatus and method of acquiring medical image thereof
JP2019216848A (en) 2018-06-15 2019-12-26 キヤノン株式会社 Medical image processing apparatus, medical image processing method, and program

Also Published As

Publication number Publication date
JP2020006163A (en) 2020-01-16

Similar Documents

Publication Publication Date Title
US11954578B2 (en) Denoising magnetic resonance images using unsupervised deep convolutional neural networks
JP7246903B2 (en) medical signal processor
US20230021786A1 (en) Medical information processing apparatus and medical information processing method
US20210295474A1 (en) Methods and system for selective removal of streak artifacts and noise from images using deep neural networks
CN104603630B (en) Magnetic resonance imaging system with the motion detection based on omniselector
JP7559135B2 (en) Data processing device and method
Lv et al. Which GAN? A comparative study of generative adversarial network-based fast MRI reconstruction
CN107209238A (en) Parallel many section MR imagings with the suppression to sideband artefact
US20200337591A1 (en) System and method for correcting for patient motion during mr scanning
Kunapuli et al. A review of deep learning models for medical diagnosis
CN114913262B (en) Nuclear magnetic resonance imaging method and system with combined optimization of sampling mode and reconstruction algorithm
JP7258540B2 (en) Data processing device, magnetic resonance imaging device, learning device and learning method
US20240290011A1 (en) Dual-domain self-supervised learning for accelerated non-cartesian magnetic resonance imaging reconstruction
JP7300811B2 (en) Medical information processing apparatus, medical information processing method, and program
CN110522464B (en) Medical signal processing device and model learning device
JP2021099794A (en) System and method for reconstructing medical images using deep neural network and recursive decimation of measurement data
JP7355532B2 (en) Medical information processing device, method and program
WO2019124076A1 (en) Medical signal processing device
JP7334256B2 (en) Image processing device, method and program, learning device, method and program, and derived model
Qi et al. Multi-task MR imaging with iterative teacher forcing and re-weighted deep learning
Yang et al. Generative Adversarial Network Powered Fast Magnetic Resonance Imaging—Comparative Study and New Perspectives
US12125175B2 (en) Methods and system for selective removal of streak artifacts and noise from images using deep neural networks
US11935211B2 (en) Systems and methods for image processing
JP2023004298A (en) Medical information processing device, medical information processing method, and medical information processing program
JP2023004960A (en) Medical information processing device, medical information processing method, and medical information processing program

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220425

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20230106

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230131

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230207

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230410

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230606

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230807

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230822

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230921

R150 Certificate of patent or registration of utility model

Ref document number: 7355532

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150