JP7126864B2 - 医用信号処理装置及び学習プログラム - Google Patents

医用信号処理装置及び学習プログラム Download PDF

Info

Publication number
JP7126864B2
JP7126864B2 JP2018100724A JP2018100724A JP7126864B2 JP 7126864 B2 JP7126864 B2 JP 7126864B2 JP 2018100724 A JP2018100724 A JP 2018100724A JP 2018100724 A JP2018100724 A JP 2018100724A JP 7126864 B2 JP7126864 B2 JP 7126864B2
Authority
JP
Japan
Prior art keywords
activation
medical
unit
units
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018100724A
Other languages
English (en)
Other versions
JP2019202064A (ja
Inventor
秀則 竹島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2018100724A priority Critical patent/JP7126864B2/ja
Priority to US16/417,277 priority patent/US11301961B2/en
Priority to CN201910438589.6A priority patent/CN110522464B/zh
Publication of JP2019202064A publication Critical patent/JP2019202064A/ja
Application granted granted Critical
Publication of JP7126864B2 publication Critical patent/JP7126864B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/055—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves  involving electronic [EMR] or nuclear [NMR] magnetic resonance, e.g. magnetic resonance imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/48—Diagnostic techniques
    • A61B6/482—Diagnostic techniques involving multiple energy imaging
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B6/00—Apparatus or devices for radiation diagnosis; Apparatus or devices for radiation diagnosis combined with radiation therapy equipment
    • A61B6/52—Devices using data or image processing specially adapted for radiation diagnosis
    • A61B6/5205—Devices using data or image processing specially adapted for radiation diagnosis involving processing of raw data to produce diagnostic data
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B8/00—Diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/52—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves
    • A61B8/5207—Devices using data or image processing specially adapted for diagnosis using ultrasonic, sonic or infrasonic waves involving processing of raw data to produce diagnostic data, e.g. for generating an image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01R—MEASURING ELECTRIC VARIABLES; MEASURING MAGNETIC VARIABLES
    • G01R33/00—Arrangements or instruments for measuring magnetic variables
    • G01R33/20—Arrangements or instruments for measuring magnetic variables involving magnetic resonance
    • G01R33/44—Arrangements or instruments for measuring magnetic variables involving magnetic resonance using nuclear magnetic resonance [NMR]
    • G01R33/48—NMR imaging systems
    • G01R33/54—Signal processing systems, e.g. using pulse sequences ; Generation or control of pulse sequences; Operator console
    • G01R33/56—Image enhancement or correction, e.g. subtraction or averaging techniques, e.g. improvement of signal-to-noise ratio and resolution
    • G01R33/5608—Data processing and visualization specially adapted for MR, e.g. for feature analysis and pattern recognition on the basis of measured MR data, segmentation of measured MR data, edge contour detection on the basis of measured MR data, for enhancing measured MR data in terms of signal-to-noise ratio by means of noise filtering or apodization, for enhancing measured MR data in terms of resolution by means for deblurring, windowing, zero filling, or generation of gray-scaled images, colour-coded images or images displaying vectors instead of pixels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10072—Tomographic images
    • G06T2207/10088—Magnetic resonance imaging [MRI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Biomedical Technology (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Pathology (AREA)
  • Evolutionary Computation (AREA)
  • Primary Health Care (AREA)
  • Mathematical Physics (AREA)
  • General Engineering & Computer Science (AREA)
  • Epidemiology (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • High Energy & Nuclear Physics (AREA)
  • Computational Linguistics (AREA)
  • Optics & Photonics (AREA)
  • Databases & Information Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Analysis (AREA)

Description

本発明の実施形態は、医用信号処理装置及び学習プログラムに関する。
医用画像データやその生データ等の医用信号を用いた機械学習において、一部が欠損した医用信号から元の信号を復元するために、多くの学習データから学習した深層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）を適用する手法がある。例えば、磁気共鳴イメージング（ＭＲＩ：Magnetic Resonance Imaging）において、アンダーサンプリングされたｋ空間データにＤＮＮを適用して欠損部分が復元されたｋ空間データを生成し、復元後のｋ空間データに基づいて復元画像を得る手法がある。また、アンダーサンプリングされたｋ空間データにＤＮＮを適用して直接復元画像を得る方法がある。
Jo Schlemper，他４名, 「A Deep Cascade of Convolutional Neural Networks for MR Image Reconstruction」 arXiv:1703.00555v1 [cs.CV], 2017年3月1日 Bo Zhu et al. Deep learning MR reconstruction with Automated Transform by Manifold Approximation (AUTOMAP) in real-world acquisitions with imperfect training: simulation and in-vivo experiments. In Proc. ISMRM Workshop on Machine Learning, Poster 46, March 2018
発明が解決しようとする課題は、医用信号の撮像条件に応じて機械学習出力を高精度且つ高効率に得ることである。
実施形態に係る医用信号処理装置は、処理対象の医用信号に関する撮像条件の分類に応じて、学習済みモデルに含まれるユニットについて活性化の程度を変更する変更部と、前記活性化の程度が変更された変更後の学習済みモデルに前記医用信号を適用して出力信号を生成する適用部と、を具備する。
図１は、本実施形態に係る医用信号処理装置が属する医用信号処理システムの構成及び処理の概要を示す図である。 図２は、本実施形態に係る多層化ネットワークの大局的な構成を示す図である。 図３は、本実施形態に係る医用画像診断装置の構成を示す図である。 図４は、本実施形態に係る多層化ネットワークの中間層の構成を示す図である。 図５は、図２のメモリに記憶されるクラス／活性化パラメータテーブルの一例を示す図である。 図６は、図２の処理回路によるＤＮＮ再構成処理の流れを示す図である。 図７は、図１のモデル学習装置の構成を示す図である。 図８は、図７の処理回路による学習処理の典型的な流れを示す図である。 図９は、第一の学習方法による、図８に示すステップＳＢ３～ステップＳＢ７に係る処理を模式的に示す図である。 図１０は、第二の学習方法による、図８に示すステップＳＢ３～ステップＳＢ７に係る処理を模式的に示す図である。 図１１は、本実施形態に係るＤＮＮ再構成処理に用いられる学習済みモデルの構造の一例を示す図である。 図１２は、具体例１に係る活性化制御の一例を模式的に示す図である。 図１３は、応用例１に係る活性化制御の一例を模式的に示す図である。 図１４は、応用例２に係る活性化制御の一例を模式的に示す図である。 図１５は、応用例３に係るクラス／活性化パラメータテーブルの一例を示す図である。
以下、図面を参照しながら本実施形態に係わる医用信号処理装置及び学習プログラムを説明する。
図１は、本実施形態に係る医用信号処理装置１が属する医用信号処理システム１００の構成及び処理の概要を示す図である。図１に示すように、本実施形態に係る医用信号処理システム１００は、医用信号処理装置１、医用撮像装置３、モデル学習装置５及び学習データ保管装置７を有する。
学習データ保管装置７は、複数の学習サンプルを含む学習データを記憶する。例えば、学習データ保管装置７は、大容量記憶装置が内蔵されたコンピュータである。当該コンピュータは、画像処理を行うワークステーションでも良いし、医用画像診断装置に含まれるコンピュータでも良いし、画像閲覧装置でも良い。また、学習データ保管装置７は、コンピュータにケーブルや通信ネットワークを介して通信可能に接続された大容量記憶装置であっても良い。当該記憶装置としては、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、集積回路記憶装置等が適宜利用可能である。
モデル学習装置５は、学習データ保管装置７に記憶された学習データに基づいて、モデル学習プログラムに従い機械学習モデルに機械学習を行わせ、学習済みの機械学習モデル（以下、学習済みモデルと呼ぶ）を生成する。モデル学習装置５は、ＣＰＵ（Central Processing Unit）及びＧＰＵ（Graphics Processing Unit）等のプロセッサを有するワークステーション等のコンピュータである。モデル学習装置５と学習データ保管装置７とはケーブル又は通信ネットワークを介して通信可能に接続されても良いし、学習データ保管装置７がモデル学習装置５に搭載されても良い。この場合、ケーブル又は通信ネットワーク等を介して、学習データ保管装置７からモデル学習装置５に学習データが供給される。モデル学習装置５と学習データ保管装置７とは通信可能に接続されてなくても良い。この場合、学習データが記憶された可搬型記憶媒体を介して、学習データ保管装置７からモデル学習装置５に学習データが供給される。
本実施形態に係る機械学習モデルは、医用信号を入力として当該医用信号に対応する出力信号を生成する、複数の関数が合成されたパラメータ付き合成関数である。本実施形態に係る機械学習モデルは、出力信号として、入力医用信号に含まれる信号欠損部分が復元された医用信号を出力可能なモデルでも良いし、入力医用信号に関する認識結果を出力可能なモデルでも良い。パラメータ付き合成関数は、複数の調整可能な関数及びパラメータの組合せにより定義される。本実施形態に係る機械学習モデルは、上記の要請を満たす如何なるパラメータ付き合成関数であっても良いが、多層のネットワークモデル（以下、多層化ネットワークを呼ぶ）であるとする。
医用撮像装置３は、処理対象の医用信号を生成する。本実施形態に係る医用信号は、概念的に、医用撮像装置３又は他の医用撮像装置により被検体に医用撮像を施すことにより収集された生データや、当該生データに再構成処理を施して生成される医用画像データを含む。医用撮像装置３は、医用信号を生成可能であれば、如何なるモダリティ装置でも良い。例えば、本実施形態に係る医用撮像装置３は、磁気共鳴イメージング装置（ＭＲＩ装置）、Ｘ線コンピュータ断層撮影装置（ＣＴ装置）、Ｘ線診断装置、ＰＥＴ（Positron Emission Tomography）装置、ＳＰＥＣＴ装置（Single Photon Emission CT）装置及び超音波診断装置等の単一モダリティ装置であっても良いし、ＰＥＴ／ＣＴ装置、ＳＰＥＣＴ／ＣＴ装置、ＰＥＴ／ＭＲＩ装置、ＳＰＥＣＴ／ＭＲＩ装置等の複合モダリティ装置であっても良い。
なお、本実施形態に係る生データは、医用撮像装置３により収集されたオリジナルの生データのみに限定されない。例えば、本実施形態に係る生データは、医用画像データに順投影処理を施すことにより生成される計算上の生データであっても良い。また、本実施形態に係る生データは、オリジナルの生データに対して信号圧縮処理や解像度分解処理、信号補間処理、解像度合成処理等の任意の信号処理がなされた生データであっても良い。また、本実施形態に係る生データは、３次元の生データの場合、１軸又は２軸のみ復元処理がなされたハイブリッドデータであっても良い。同様に、本実施形態に係る医用画像は、医用撮像装置３により生成されたオリジナルの医用画像のみに限定されない。例えば、本実施形態に係る医用画像は、オリジナルの医用画像に対して画像圧縮処理や解像度分解処理、画像補間処理、解像度合成処理等の任意の画像処理がなされた医用画像であっても良い。
医用信号処理装置１は、モデル学習装置５によりモデル学習プログラムに従い学習された学習済みモデルを使用して、医用撮像装置３により収集された処理対象の入力医用信号に対応する出力信号を生成する。医用信号処理装置１とモデル学習装置５とはケーブル又は通信ネットワークを介して通信可能に接続されても良いし、医用信号処理装置１とモデル学習装置５とが単一のコンピュータに実装されても良い。この場合、ケーブル又は通信ネットワーク等を介して、モデル学習装置５から医用信号処理装置１に学習済みモデルが供給される。医用信号処理装置１とモデル学習装置５とは、必ずしも通信可能に接続されてなくても良い。この場合、学習済みモデルが記憶された可搬型記憶媒体等を介して、モデル学習装置５から医用信号処理装置１に学習済みモデルが供給される。学習済みモデルの供給は、医用信号処理装置１の製造から医用施設等への据付の間の任意の時点でも良いし、メンテナンス時でも良く、如何なる時点に行われても良い。供給された学習済みモデルは、医用信号処理装置１に記憶される。また、医用信号処理装置１は、医用撮像装置３を搭載する医用画像診断装置に搭載されたコンピュータであっても良いし、当該医用画像診断装置にケーブルやネットワーク等を介して通信可能に接続されたコンピュータであっても良いし、当該医用画像診断装置とは独立のコンピュータであっても良い。
本実施形態に係る多層化ネットワークの大局的な構成について、以下説明する。ここで、多層化ネットワークとは、層状に並べた隣接層間のみ結合した構造を持ち、情報が入力層側から出力層側に一方向に伝播するネットワークである。本実施形態に係る多層化ネットワークは、図２に示す様に、入力層（ｌ＝１）、中間層（ｌ＝２，３，・・・，Ｌ－１）、出力層（ｌ＝Ｌ）のＬ個の層から構成されるものとする。なお、以下は例を説明するものであって、多層化ネットワークの構成は以下の説明に限定されない。
第ｌ層でのユニット数をＩ個とし、第ｌ層への入力ｕ（ｌ）を式（１－１）、第ｌ層からの出力ｚ（ｌ）を式（ｌ－２）の様にそれぞれ表記すると、第ｌ層への入力と第ｌ層からの出力との関係は、式（１－３）によって表すことができる。
Figure 0007126864000001
ここで、右上の添字（ｌ）は層の番号を示す。また、式（１－３）におけるｆ（ｕ）は、活性化関数であり、ロジスティックシグモイド関数（ロジスティック関数）、双曲線正接関数、正規化線形関数（ReLU：Rectified Liner Unit)、線形写像、恒等写像、マックスアウト関数等、目的に応じて種々の関数を選択することができる。
第ｌ＋１層でのユニット数をＪ個とし、第ｌ層と第ｌ＋１層との間の重み付行列Ｗ（ｌ＋１）を式（２－１）、第ｌ＋１層におけるバイアスｂ（ｌ＋１）を式（２－２）の様にそれぞれ表記すると、第ｌ＋１層への入力ｕ（ｌ＋１）、第ｌ＋１層からの出力ｚ（ｌ＋１）は、それぞれ式（２－３）、式（２－４）によって表すことができる。
Figure 0007126864000002
本実施形態に係る多層化ネットワークにおいて、入力層（ｌ＝１）には、式（３－１）で表現される医用信号が入力される。また、当該入力層においては、入力データｘがそのまま出力データｚ（１）となるため、式（３－２）の関係が成立する。
Figure 0007126864000003
ここで、入力層に入力される医用信号を「入力医用信号」と呼ぶことにすれば、入力医用信号ｘについては、目的に応じて種々の形式を選択することができる。以下、典型例をいくつか列記する。
（１）入力医用信号ｘを一個の画像データとし、各成分ｘｐ（ｐ＝１，２，・・・，Ｎ）を当該一個の画像データを構成する位置毎の値（ピクセル値或いはボクセル値）として規定する形式。
（２）入力医用信号ｘをＭ個の画像データ（例えば、互いに撮像条件の異なる複数の画像データ）とし、各成分ｘｐのうちの１≦ｐ≦ｑまでを一個目の画像データ、ｑ＋１≦ｐ≦ｒまでを二個目の画像データ、ｒ＋１≦ｐ≦ｓまでを三個目の画像データ、・・・として、入力層において画像データ毎に入力ユニットの範囲を割り当てる形式。
（３）入力医用信号ｘをＭ個の画像データとし、各成分ｘｐを一個の画像データの位置毎の値（ピクセル値或いはボクセル値）を縦に並べたベクトルとして規定する形式。
（４）入力医用信号ｘを、ｋ空間データや投影データ等の生データ（ＲＡＷデータ）として、（１）～（３）等を採用する形式。
（５）入力医用信号ｘを、畳み込み処理が施された画像データ又は生データとして、（１）～（３）等を採用する形式。
入力層に続く中間層（ｌ＝２，３，・・・，Ｌ－１）層においては、式（２－３）、式（２－４）に従う計算を順次実行することで、各層の出力ｚ（２），・・・ｚ（L-1）を計算することができる。
出力層（第Ｌ層）の出力ｚ（Ｌ）を以下の式（４－１）の様に表記する。本実施形態に係る多層化ネットワークは、入力層に入力された画像データｘが、入力層側から出力層側に向かって隣接層間でのみ結合しながら伝播する順伝播型ネットワークである。この様な順伝播型ネットワークは、式（４－２）の様な合成関数として表現することができる。
Figure 0007126864000004
式（４－２）によって定義される合成関数は、式（２－３）、式（２－４）より、重み付行列Ｗ（ｌ＋１）を用いた各層間の線形関係、各層における活性化関数ｆ（ｕ（ｌ＋１））を用いた非線形関係（又は線形関係）、バイアスｂ（ｌ＋１）の組み合わせとして定義される。特に、重み付行列Ｗ（ｌ＋１）、バイアスｂ（ｌ＋１）はネットワークのパラメータｐと呼ばれる。式（４－２）によって定義される合成関数は、パラメータｐをどのように選ぶかで、関数としての形を変える。従って、本実施形態に係る多層化ネットワークは、式（４－２）を構成するパラメータｐを適切に選ぶことで、出力層が好ましい結果ｙを出力することができる関数として、定義することができる。
以下、本実施形態に係る多層化ネットワークを使用した医用信号処理システム１００の詳細について説明する。以下の説明において医用信号処理装置１は、医用撮像装置３に接続され、医用撮像装置３と共に医用画像診断装置に組み込まれているものとする。
図３は、本実施形態に係る医用画像診断装置９の構成を示す図である。図３に示すように、医用画像診断装置９は、医用信号処理装置１と医用撮像装置３とを含む。一例を挙げれば、医用撮像装置３が架台に対応し、医用信号処理装置１は当該架台に接続されたコンソールに対応する。なお、医用信号処理装置１は、医用画像診断装置９の架台に設けられても良いし、医用画像診断装置９のコンソールでも、架台でもない、別の構成要素によって実現されても良い。当該別の構成要素としては、例えば、医用画像診断装置９が磁気共鳴イメージング装置である場合における、機械室に設置された、コンソール以外のコンピュータ又は専用の計算装置が挙げられる。
医用撮像装置３は、被検体に対し、当該医用撮像装置３のモダリティ装置種に応じた撮像原理の医用撮像を施し、当該被検体に関する生データを収集する。収集された生データは、医用信号処理装置１に伝送される。例えば、生データは、医用撮像装置３が磁気共鳴イメージング装置である場合におけるｋ空間データであり、Ｘ線コンピュータ断層撮影装置である場合における投影データ又はサイノグラムデータ、超音波診断装置である場合におけるエコーデータ、ＰＥＴ装置である場合におけるコインシデンスデータ又はサイノグラムデータ、ＳＰＥＣＴ装置である場合における投影データ又はサイノグラムデータである。
例えば、医用撮像装置３が磁気共鳴イメージング装置の架台である場合、当該架台は、静磁場磁石を介した静磁場の印加の下、傾斜磁場コイルを介した傾斜磁場の印加と送信コイルを介したＲＦパルスの印加とを繰り返す。ＲＦパルスの印加に起因して被検体から放出されたＭＲ信号が放出される。放出されたＭＲ信号は、受信コイルを介して受信される。受信されたＭＲ信号は、受信回路によりＡ／Ｄ変換等の信号処理が施される。Ａ／Ｄ変換後のＭＲ信号は、ｋ空間データと呼ばれる。ｋ空間データは、生データとして医用信号処理装置１に伝送される。
例えば、医用撮像装置３がＸ線コンピュータ断層撮影装置の架台である場合、当該架台は、Ｘ線管とＸ線検出器とを被検体回りに回転させながらＸ線管から被検体にＸ線を照射し、被検体を透過したＸ線をＸ線検出器により検出する。Ｘ線検出器においては、検出されたＸ線の線量に応じた波高値を有する電気信号が発生される。当該電気信号は、データ収集回路によりＡ／Ｄ変換等の信号処理が施される。Ａ／Ｄ変換後の電気信号は投影データ又はサイノグラムデータと呼ばれる。投影データ又はサイノグラムデータは、生データとして医用信号処理装置１に伝送される。
図３に示すように、医用信号処理装置１は、ハードウェア資源として、処理回路１１、メモリ１３、入力インタフェース１５、通信インタフェース１７及びディスプレイ１９を有する。
処理回路１１は、ＣＰＵやＧＰＵ等のプロセッサを有する。当該プロセッサがメモリ１３等にインストールされたプログラムを起動することにより、撮像制御機能１１１、分類機能１１２、活性化制御機能１１３、再構成演算機能１１４、順伝播機能１１５、画像処理機能１１６及び表示制御機能１１７等を実行する。なお、各機能１１１～１１７は単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能１１１～１１７を実現するものとしても構わない。
撮像制御機能１１１において処理回路１１は、医用撮像装置３を撮像条件に従い制御し、当該被検体に医用撮像を施す。本実施形態に係る撮像条件の要素としては、医用撮像装置３による撮像原理と各種の撮像パラメータとを含む。撮像原理は、医用撮像装置３の種類、具体的には、磁気共鳴イメージング装置、Ｘ線コンピュータ断層撮影装置、ＰＥＴ装置、ＳＰＥＣＴ装置及び超音波診断装置に対応する。撮像パラメータは、例えば、ＦＯＶ（Field Of View）や撮像部位、スライス位置、フレーム（医用画像の時相）、マトリクスサイズ、造影剤の有無等を含む。磁気共鳴イメージングの場合、撮像パラメータは、例えば、更にパルスシーケンスの種類やＴＲ（Time to Repeat）、ＴＥ（Echo Time）、ＦＡ（Flip Angle）等のパラメータ、ｋ空間充填軌跡の種別等を含む。Ｘ線コンピュータ断層撮影の場合、撮像パラメータは、更にＸ線条件（管電流、管電圧及びＸ線曝射継続時間等）、スキャン種（スペクトラルＣＴ、積分型ＣＴ、ノンヘリカルスキャン、ヘリカルスキャン、同期スキャン等）、チルト角、回転速度及び検出器空間分解能等を含む。また、本実施形態に係る撮像条件の他の要素としては、生データ又は医用画像データ等の医用信号のデータ欠損箇所を含む。
分類機能１１２において処理回路１１は、生データ又は医用画像データ等の処理対象の医用信号に関する撮像条件の種類に応じて当該医用信号を分類する。以下、撮像条件の種類に応じた分類をクラスと呼び、撮像条件の種類に応じた分類の識別子をクラス値と呼ぶ。クラス値は、撮像条件の種類の名称でも良いし、任意の文字や記号でも良い。
活性化制御機能１１３において処理回路１１は、生データ又は医用画像データ等の処理対象の医用信号に関する撮像条件のクラスに応じて、学習済みモデル９０に含まれるユニットの活性化の程度を変更する。本実施形態において、ユニットの活性化の程度を表すパラメータを活性化パラメータと呼ぶことにする。処理回路１１は、メモリ１３に記憶されたクラス／活性化パラメータテーブル１３３を利用してユニット毎の活性化パラメータの値を変更する。クラス／活性化パラメータテーブル１３３は、例えば、モデル学習装置５により生成される。クラス／活性化パラメータテーブル１３３については後述する。なお、本実施形態において、重み付行列Ｗとバイアスｂとの総称を単にパラメータと称し、活性化パラメータとは区別することにする。
再構成演算機能１１４において処理回路１１は、医用撮像装置３から伝送された生データに画像再構成処理を施して医用画像を再構成する。例えば、本実施形態に係る画像再構成としては、解析学的画像再構成と逐次近似画像再構成とに分類可能である。例えば、ＭＲ画像再構成に係る解析学的画像再構成としては、フーリエ変換又は逆フーリエ変換がある。ＣＴ画像再構成に係る解析学的画像再構成としては、ＦＢＰ（filtered back projection）法、ＣＢＰ（convolution back projection）法又はこれらの応用がある。逐次近似画像再構成としては、ＥＭ（expectation maximization）法、ＡＲＴ（algebraic reconstruction technique）法又はこれらの応用等がある。また、処理回路１１は、医用画像に画像再構成の逆変換処理を施すことにより生データを生成する。例えば、画像再構成がフーリエ変換である場合、その逆変換は逆フーリエ変換であり、画像再構成が逆ラドン変換である場合、その逆変換はラドン変換である。
順伝播機能１１５において処理回路１１は、活性化制御機能１１３において活性化の程度（活性化パラメータ）が変更された学習済みモデル１３１に、生データ又は医用画像データ等の処理対象の医用信号を適用して出力信号を生成する。出力信号の型は、学習済みモデル１３１の型に依存する。例えば、学習済みモデル１３１が画像認識のための機械学習モデルである場合、出力信号としては認識結果が出力される。学習済みモデル１３１が信号欠損の復元のための機械学習モデルである場合、出力信号としては信号欠損部分が復元された医用信号が出力される。学習済みモデル１３１については後述する。
画像処理機能１１６において処理回路１１は、再構成演算機能１１４により生成された医用画像、順伝播機能１１５により生成された出力信号等に種々の画像処理を施す。例えば、処理回路１１は、ボリュームレンダリングや、サーフェスボリュームレンダリング、画素値投影処理、ＭＰＲ（Multi-Planer Reconstruction）処理、ＣＰＲ（Curved MPR）処理等の３次元画像処理を施す。
表示制御機能１１７において処理回路１１は、種々の情報をディスプレイ１９に表示する。例えば、処理回路１１は、再構成演算機能１１４により生成された医用画像、順伝播機能１１５により生成された出力信号、画像処理機能１１５により画像処理された医用画像を表示する。また、処理回路１１は、分類機能１１２により決定された医用信号のクラス値やクラス／活性化パラメータテーブル１３３等を表示しても良い。
メモリ１３は、種々の情報を記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、集積回路記憶装置等の記憶装置である。メモリ１３は、例えば、モデル学習装置５により生成された学習済みモデル１３１やクラス／活性化パラメータテーブル１３３を記憶する。メモリ１３は、上記記憶装置以外にも、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、フラッシュメモリ等の可搬型記憶媒体や、半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。また、メモリ１３は、医用信号処理装置１にネットワークを介して接続された他のコンピュータ内にあってもよい。
入力インタフェース１５は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１１に出力する。具体的には、入力インタフェース１５は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の入力機器に接続されている。入力インタフェース１５は、当該入力機器への入力操作に応じた電気信号を処理回路１１へ出力する。また、入力インタフェース１５に接続される入力機器は、ネットワーク等を介して接続された他のコンピュータに設けられた入力機器でも良い。
通信インタフェース１７は、医用撮像装置３やモデル学習装置５、学習データ保管装置７、他のコンピュータとの間でデータ通信するためのインタフェースである。
ディスプレイ１９は、処理回路１１の表示制御機能１１７に従い種々の情報を表示する。例えば、ディスプレイ１９は、再構成演算機能１１４により生成された医用画像、順伝播機能１１５により生成された出力信号、画像処理機能１１５により画像処理された医用画像を表示する。また、ディスプレイ１９は、ユーザからの各種操作を受け付けるためのＧＵＩ（Graphical User Interface）等を出力する。例えば、ディスプレイ１９としては、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）ディスプレイ、有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electro Luminescence Display）、プラズマディスプレイ又は他の任意のディスプレイが適宜使用可能である。
次に、本実施形態に係る多層化ネットワークの中間層の構成について説明する。図４は、本実施形態に係る多層化ネットワークの中間層の構成を示す図である。
図４に示すように、中間層の各層ｌは複数のユニットＵａｂを有する。本実施形態に係る複数のユニットは、各層のユニット数よりも少ない個数の区分に分類されている。以下、ユニットの区分をチャネルと呼ぶことにする。「Ｕ」の一番目の添字は、当該ユニットが属するチャネルの番号を示し、二番目の添字は、当該ユニットの当該チャネル内での番号を示す。なお、図４においては、図面の簡単のため、各チャネルについて一出力を示しているが、実際には各チャネルの各ユニットから出力がある。また、図４においては、図面の簡単のため、各チャネルに対して入力があるものとしているが、実際には各チャネルの各ユニットに対して入力がある。
本実施形態に係る多層化ネットワークは、多種多様なクラスの撮像条件に関する医用信号に対して適用可能なように、多種多様なクラスの撮像条件に関する医用信号を用いてパラメータが学習されている。本実施形態に係る多層化ネットワークのユニットは、学習に利用した全てのクラスに関連するユニットの区分である共通チャネルと、単一又は全クラスより少ない複数のクラスにおいて限定的に関連するユニットの区分である個別チャネルとに分類される。例えば、図４において各層ｌに含まれる複数のユニットは、４つのチャネルに分類され、第一チャネル、第二チャネル及び第三チャネルは個別チャネルに設定され、第四チャネルは共通チャネルに設定される。なお、図４においては簡単のため、ユニット番号の小さい方から順番にチャネルが区分されているが、同一チャネルに属する複数のユニットが各層において分散されていても良い。
共通チャネルは、全てのクラスの入力医用信号について、出力信号に有意に寄与する。個別チャネルは、関連するクラスの入力医用信号が入力された場合に限定して出力信号に有意に寄与し、関連しないクラスの入力医用信号が入力された場合、出力信号に有意に寄与しない。
本実施形態に係るユニットには活性化パラメータＡａｂが付加される。活性化パラメータＡａｂの一番目の添字は、属する層の番号を示し、二番目の添字は、当該層でのチャネルの番号を示す。
例えば、活性化パラメータＡａｂは、ユニットがオン（活性化状態）であることを示すオン値とオフ（非活性化状態）であることを示すオフ値との２値であるとする。共通チャネルに属するユニットの活性化パラメータは、常にオン値に設定される。個別チャネルに属するユニットの活性化パラメータは、入力医用信号のクラスが当該個別チャネルに関連するクラスである場合、オン値に設定され、入力医用信号のクラスが当該個別チャネルに関連しないクラスである場合、オフ値に設定される。活性化パラメータがオン値である場合、すなわち、ユニットがオンである場合、当該ユニットが属するネットワークが接続され、当該ユニットから出力データｚが出力される。活性化パラメータがオフ値である場合、すなわち、ユニットがオフである場合、当該ユニットが属するネットワークが遮断され、当該ユニットから出力データｚが出力されないこととなる。以下、活性化パラメータがオン値に設定されている状態を活性化、活性化パラメータがオフ値に設定されている状態を非活性化と表現することもある。オン値は、オフ値に比して活性化の程度が高いことを意味する。
活性化パラメータＡａｂは、重み付行列Ｗ及びバイアスｂとは異なる変数である。例えば、図４に示すように、活性化パラメータＡａｂは、対応するユニットの出力に乗じられる。同一層の同一チャネルの活性化パラメータＡａｂは同一値を有する。これにより、チャネル単位で活性化パラメータをクラスに応じて設定することが可能になる。
活性化制御機能１１３において処理回路１１は、入力医用信号のクラスに応じて個別チャネルの活性化パラメータをオン値とオフ値との間で切り替える。これにより、多層化ネットワークを入力医用信号のクラスに最適化することが可能になる。換言すれば、本実施形態に係る多層化ネットワークは、クラス非依存のネットワークである共通チャネルとクラス依存のネットワークである個別チャネルとを取り込んでいるといえる。よって、入力医用信号のクラスに関わらず活性化パラメータが全てオン値に設定されている場合に比して、計算速度及び計算精度を向上することが可能になる。また、共通チャネルと個別チャネルとを設けることにより、各クラスに共通の計算を共通チャネルに担わせ、各クラスに特有の計算を個別チャネルに担わせることができる。個別チャネルのみで学習済みモデルが生成される場合、当該学習済みモデルが処理対象とするクラスの個数だけ重複した共通チャネルが必要になる。一方、本実施形態に係る学習済みモデルは、共通チャネルと個別チャネルとが設けられるので、ユニット数を削減することができる。
図４に示すように、層間にはスケーラが設けられる。スケーラは、活性化パラメータにより停止されたユニットの数を補償する。具体的には、スケーラは、前段の各ユニットと後段の各ユニットとの接続毎に設けられる。各スケーラは、前段のユニットの出力データを入力とし、入力された出力データに対して補償パラメータを積算し、接続先のユニットに出力する。補償パラメータは、接続元のユニットの全数を、オン状態のユニットの数で除した値に設定される。例えば、接続元のユニットの全数が６４であり、そのうちの１６のユニットがオフ状態である場合、各スケーラは、接続元のユニットからの出力値に６４／４８倍する。同層に属する各スケーラの補償パラメータは、同一値に設定される。補償パラメータは、例えば、活性化制御機能１１３において処理回路１１により設定される。
活性化制御機能１１３において処理回路１１は、メモリ１３に記憶されたクラス／活性化パラメータテーブル１３３を利用してユニット毎の活性化パラメータを変更する。クラス／活性化パラメータテーブル１３３は、クラス各々についてユニットと活性化パラメータとの関連付けを記憶したＬＵＴ（Look Up Table）である。処理回路１１は、処理対象の医用信号に関するクラスの属する各ユニットの活性化パラメータをクラス／活性化パラメータテーブル１３３を利用して特定し、学習済みモデル１３１の各ユニットの活性化パラメータを当該特定された各ユニットの活性化パラメータに変更する。なお、同一チャネルの複数のユニットには同一の活性化パラメータが割り当てることもできるし、別途定めた基準（例えば、活性化パラメータとして「ＯＮ」と「ＯＦＦ」を交互に繰り返すという基準）に従って活性化パラメータを割り当てても良い。
図５は、クラス／活性化パラメータテーブル１３３の一例を示す図である。図５に示すように、図５に示すクラス／活性化パラメータテーブル１３３は、クラスとしてパルスシーケンス種が用いられ、ユニットをチャネルで表している。パルスシーケンス種としては、例えば、ＥＰＩ（Echo Planar Imaging）、ＦＳＥ（Fast Spin Echo）、ＦＥ（Field Echo）等が挙げられる。チャネル数は、図４と同様、４つであるとする。第一チャネル、第二チャネル及び第三チャネルは個別チャネルであり、第四チャネルは共通チャネルである。
活性化制御機能１１３において処理回路１１は、分類機能１１２において決定されたクラス値を検索キーとしてメモリ１３に記憶されたクラス／活性化パラメータテーブル１３３を探索して、当該クラス値に関するユニット毎の活性化パラメータを特定し、学習済みモデル１３１の各ユニットの活性化パラメータを当該特定された活性化パラメータに変更する。これにより入力医用信号のクラスに応じて、学習済みモデルのユニット間の接続関係を動的に最適化することが可能になる。
図５に示すように、例えば、パルスシーケンス種がＥＰＩの場合、第一チャネルの活性化パラメータは「ＯＮ」、第二チャネルの活性化パラメータは「ＯＦＦ」、第三チャネルの活性化パラメータは「ＯＦＦ」、第四チャネルの活性化パラメータは「ＯＮ」に変更される。パルスシーケンス種がＦＳＥの場合、第一チャネルの活性化パラメータは「ＯＦＦ」、第二チャネルの活性化パラメータは「ＯＮ」、第三チャネルの活性化パラメータは「ＯＦＦ」、第四チャネルの活性化パラメータは「ＯＮ」に変更される。パルスシーケンス種がＦＥの場合、第一チャネルの活性化パラメータは「ＯＦＦ」、第二チャネルの活性化パラメータは「ＯＦＦ」、第三チャネルの活性化パラメータは「ＯＮ」、第四チャネルの活性化パラメータは「ＯＮ」に変更される。
なお、入力医用信号は、撮像条件の全ての要素についてクラスに分類する必要はない。学習済みモデル１３１による再構築の対象とするクラスに限定して、入力医用信号のクラスが分類されれば良い。例えば、上記３種のパルスシーケンス種に応じて再構築可能とする学習済みモデル１３１を生成する場合、入力医用信号は、上記３種のパルスシーケンス種の何れであるかが分類されれば良い。上記３種のパルスシーケンス種以外の撮像条件の要素、例えば、ｋ空間充填方式や撮像部位等については必ずしも分類される必要はない。同様に、クラス／活性化パラメータテーブル１３３は、使用する学習済みモデル１３１による再構築の対象とするクラスに限定して活性化パラメータとユニットとの関連付けを記録していれば良い。
次に、本実施形態に係る医用信号処理装置１による動作例について説明する。以下の説明において学習済みモデルは、信号欠損の復元を行う多層化ネットワークであるとする。多層化ネットワークとしては、生物の脳の神経回路を模した深層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）が用いられる。本実施形態に係る信号欠損は、被検体に関する所望の医用信号に対する実際の医用信号の如何なる差異を含む概念である。例えば、信号欠損としては、種々の原因により生ずるノイズに起因する信号劣化、投影データやｋ空間データの間引収集等による医用信号のサンプリング点数の低下に起因する信号欠落、Ａ／Ｄ変換の過程で生じる連続値から離散値への変換に起因する情報欠落等を含む。
本実施形態に係る処理回路１１は、学習済みモデル１３１を利用して、信号欠損を含む生データから信号欠損部分が復元された医用画像データを再構成するＤＮＮ再構成を施す。学習済みモデル１３１に適用される生データとしては、各種の医用撮像装置３により生成された生データに適用可能であるが、以下のＤＮＮ再構成の説明において生データは、磁気共鳴イメージング装置により収集されたｋ空間データであるとする。
図６は、処理回路１１によるＤＮＮ再構成処理の流れを示す図である。図６に示すように、処理回路１１は、まず、信号欠損を有するｋ空間データを入力する（ステップＳＡ１）。信号欠損を有するｋ空間データとしては、例えば、データ欠落を有するｋ空間データが入力される。このようなｋ空間データは、例えば、ｋ空間充填方式がカーテシアンスキャンである場合、位相エンコードステップを間引いたＭＲ撮像等により収集可能であり、ｋ空間充填方式がラディアルスキャンである場合、収集ラインを間引いたＭＲ撮像等により収集可能である。
ステップＳＡ１が行われると処理回路１１は、分類機能１１２を実行する（ステップＳＡ２）。ステップＳＡ２において処理回路１１は、ステップＳＡ１において入力されたｋ空間データのクラス値を決定する。処理回路１１は、ｋ空間データの撮像条件に対応するクラス値を自動的に決定しても良いし、入力インタフェース１５を介したユーザの指示に従い決定しても良い。なお、撮像条件は多岐に亘るので、クラス分類対象の撮像条件の種類が、入力インタフェース１５を介したユーザの指示に従い決定されても良い。例えば、撮像条件のうちのパルスシーケンス種に応じて再構築可能な学習済みモデル１３１を用いる場合、入力されたｋ空間データのパルスシーケンスの種別に応じてクラス値を決定すれば良い。
ステップＳＡ２が行われると処理回路１１は、活性化制御機能１１３を実行する（ステップＳＡ３）。ステップＳＡ３において処理回路１１は、ステップＳＡ２において決定されたクラス値に応じて学習済みモデル１３１のチャネルについて活性化の程度（活性化パラメータ）を変更する。この際、処理回路１１は、ステップＳＡ２において決定されたクラス値を検索キーとしてクラス／活性化パラメータテーブル１３３を検索し、当該クラス値に関連付けられた活性化パラメータをチャネル毎に特定する。そして、処理回路１１は、学習済みモデル１３１の各チャネルの活性化パラメータを、特定された活性化パラメータに変更する。また、処理回路１１は、各層について、オフされるユニットの個数を計数し、ユニットの全数とオフされる個数とに基づいて補償パラメータを決定し、補償パラメータをスケーラに設定する。
ステップＳＡ３が行われると処理回路１１は、再構成演算機能１１４を実行する（ステップＳＡ４）。ステップＳＡ４において処理回路１１は、ステップＳＡ１において入力されたｋ空間データにＦＦＴを実行して再構成画像データを生成する。ステップＳＡ１において入力されたｋ空間データは信号欠損を有するので、ステップＳＡ４において生成された再構成画像データの画質は劣化している。ステップＳＡ４において生成された再構成画像データを仮再構成画像データと呼ぶ。なお、ｋ空間データに信号欠損部分が含まれる場合、処理回路１１は、当該信号欠損部分に０値を充填するゼロパディング（zero-padding）を行っても良い。処理回路１１は、ゼロパディング後のｋ空間データにＦＦＴを行い、再構成画像データを生成する。
ステップＳＡ４が行われると処理回路１１は、順伝播機能１１５を実行する（ステップＳＡ５）。ステップＳＡ５において処理回路１１は、ステップＳＡ４において生成された仮再構成画像データを、ステップＳＡ３において活性化パラメータが変更された変更済みの学習済みモデル１３１に適用して、信号欠損部分が復元された再構成画像データを生成する。この際、学習済みモデル１３１の各ユニットが入力医用信号のクラスに応じて活性化の程度が変更されているので、再構成画像データの復元を高精度且つ高効率に行うことができる。
ステップＳＡ５が行われると処理回路１１は、表示制御機能１１７を実行する（ステップＳＡ６）。ステップＳＡ６において処理回路１１は、ステップＳＡ６において生成された再構成画像データをディスプレイ１９に表示する。これによりユーザは、信号欠損部分が復元された再構成画像を観察することが可能になる。
以上により、ＤＮＮ再構成処理が終了する。
なお、上記ＤＮＮ再構成の処理の流れは一例であり、これに限定され、ステップＳＡ１～ＳＡ６の順番を適宜変更しても良い。例えば、仮再構成画像データの生成工程（ステップＳＡ４）は、ｋ空間データの入力工程（ステップＳＡ１）とクラス値の決定工程（ステップＳＡ２）との間に設けられても良い。また、ステップＳＡ６において再構成画像データがディスプレイ１９に表示されるとしたが、メモリ１３やＵＳＢ（Universal Serial Bus）メモリ等の可搬型記録媒体に出力されても良いし、通信インタフェース１７等を解して他の装置に出力されても良い。
上記説明の通り、医用信号処理装置１は、処理回路１１を有する。処理回路１１は、活性化制御機能１１３と順伝播機能１１５とを少なくとも有する。活性化制御機能１１３において処理回路１１は、処理対象の医用信号に関する撮像条件のクラスに応じて、学習済みモデル１３１に含まれるユニットについて活性化の程度を変更する。順伝播機能１１５において処理回路１１は、活性化の程度が変更された変更後の学習済みモデル１３１に医用信号を適用して出力信号を生成する。
上記構成により、医用信号処理装置１は、処理対象の医用信号に関する撮像条件のクラスに応じて学習済みモデル１３１を事後的に再構築することできる。これにより、学習済みモデル１３１の汎用性を維持しつつ、処理対象の医用信号に関する撮像条件に適した、学習済みモデル１３１による機械学習出力を得ることができる。よって、医用信号の撮像条件に応じて機械学習出力を高精度且つ高効率に得ることが可能になる。
なお、ユーザが活性化パラメータをクラスに応じて変更することを望まない場合がある。この要請に応えるため、処理回路１１は、ＤＮＮ再構成の実行前においてディスプレイ１９に、活性化パラメータの調整の有無を選択するためのＧＵＩ（Graphical User Interface）等を表示すると良い。入力インタフェース１５等を介して、活性化パラメータを調整する旨が選択された場合、処理回路１１は、上記の通り、活性化制御機能１１３を実行し、クラスに応じて活性化パラメータを変更する。活性化パラメータを調整しない旨が選択された場合、処理回路１１は、活性化制御機能１１３を実行し、全ての活性化パラメータをオン値に設定する。その後、処理回路１１は、入力医用画像を学習済みモデル１３１に適用する。
次に、モデル学習装置５について説明する。
図７は、モデル学習装置５の構成を示す図である。図７に示すように、モデル学習装置５は、ハードウェア資源として、処理回路５１、メモリ５３、入力インタフェース５５、通信インタフェース５７及びディスプレイ５９を有する。
処理回路５１は、ＣＰＵやＧＰＵ等のプロセッサを有する。当該プロセッサがメモリ５３等にインストールされたモデル学習プログラム５３１を起動することにより、分類機能５１１、学習機能５１２、活性化パラメータ決定機能５１３及び表示制御機能５１４等を実行する。なお、各機能５１１～５１４は単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能５１１～５１４を実現するものとしても構わない。
分類機能５１１において処理回路５１は、処理対象の医用信号に関する撮像条件の種類に応じて当該医用信号を分類し、クラス値を決定する。処理回路５１による分類機能５１１は、医用信号処理装置１の処理回路１１による分類機能１１２と略同一である。
学習機能５１２において処理回路５１は、複数の撮像条件に関する学習データに基づいて多層化ネットワークにパラメータを学習させる。本実施形態に係る処理回路５１は、共通ユニットと個別ユニットとについて個別にパラメータを学習させる。学習機能５１２によるパラメータの学習により、図４に示す構造を有する学習済みモデル１３１が生成される。
活性化パラメータ決定機能５１３において処理回路５１は、多層化ネットワークに含まれる各ユニットの活性化パラメータ値を決定する。そして処理回路５１は、各ユニットについてクラス毎に活性化パラメータ値を記録したクラス／活性化パラメータテーブル１３３を生成する。
表示制御機能５１４において処理回路５１は、学習データや学習結果、撮像条件、クラス、クラス値、活性化パラメータ等をディスプレイ５９に表示する。
メモリ５３は、種々の情報を記憶するＲＯＭやＲＡＭ、ＨＤＤ、ＳＳＤ、集積回路記憶装置等の記憶装置である。メモリ５３は、例えば、多層化ネットワークの学習のためのモデル学習プログラム５３１を記憶する。メモリ５３は、上記記憶装置以外にも、ＣＤ、ＤＶＤ、フラッシュメモリ等の可搬型記憶媒体や、ＲＡＭ等の半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。また、メモリ５３は、モデル学習装置５にネットワークを介して接続された他のコンピュータ内にあってもよい。
入力インタフェース５５は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路５１に出力する。具体的には、入力インタフェース５５は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の入力機器に接続されている。入力インタフェース５５は、当該入力機器への入力操作に応じた電気信号を処理回路５１へ出力する。また、入力インタフェース５５に接続される入力機器は、ネットワーク等を介して接続された他のコンピュータに設けられた入力機器でも良い。
通信インタフェース５７は、医用信号処理装置１や医用撮像装置３、学習データ保管装置７、他のコンピュータとの間でデータ通信するためのインタフェースである。
ディスプレイ５９は、処理回路５１の表示制御機能５１４に従い種々の情報を表示する。例えば、ディスプレイ５９は、学習データや学習結果、撮像条件、クラス、クラス値、活性化パラメータ等を表示する。また、ディスプレイ５９は、ユーザからの各種操作を受け付けるためのＧＵＩ等を出力する。例えば、ディスプレイ１９としては、液晶ディスプレイ、ＣＲＴディスプレイ、有機ＥＬディスプレイ、プラズマディスプレイ又は他の任意のディスプレイが適宜使用可能である。
次に、本実施形態に係るモデル学習装置５による動作例について説明する。
図８は、処理回路５１による学習処理の典型的な流れを示す図である。図８に示すように、処理回路５１は、まず、複数の撮像条件（クラス）に関する学習データを入力する（ステップＳＢ１）。学習データは、複数のクラスに関する複数の学習サンプルを有する。各学習サンプルは、あるクラスの撮像条件により収集され且つ信号欠損部分を有する主入力信号と、当該主入力信号に対応し且つ当該信号欠損部分を有さない正解入力信号とを含む。学習サンプルとしては、生成しようとする学習済みモデル１３１が再構築可能とするクラスに属するものが少なくとも用いられる。例えば、図５に示すＥＰＩ、ＦＳＥ及びＦＥに応じて再構築可能とする学習済みモデル１３１を生成する場合、ＥＰＩ、ＦＳＥ及びＦＥの撮像条件（クラス）に属する学習サンプルが少なくとも用いられる。各クラスについて複数の学習サンプルが用意されると良い。
ステップＳＢ１が行われると処理回路５１は、分類機能５１１を実行する（ステップＳＢ２）。ステップＳＢ２において処理回路５１は、学習データに含まれる各学習サンプルの撮像条件（クラス）に応じてクラス値を決定する。
ステップＳＢ２が行われると処理回路５１は、学習機能５１２を実行する（ステップＳＢ３－ＳＢ６）。学習機能５１２において処理回路５１は、まずパラメータが学習されていない未学習の多層化ネットワークを生成又は読み出す。未学習の多層化ネットワークの各層の各ユニットには活性化パラメータが予め付与されているものとする。初期的には活性化パラメータの値はオン値に設定されている。
ステップＳＢ３において処理回路５１は、ステップＳＢ１において入力された全てのクラスの学習サンプルに基づいて、多層化ネットワークの共通チャネルのパラメータを学習する。パラメータの学習方法としては、既知の様々なパラメータ学習方法を用いることが可能である。例えば、処理回路５１は、多層化ネットワークの共通チャネルに入力医用信号を順伝播し、入力医用信号に対応する推定出力信号を計算する。次に処理回路５１は、多層化ネットワークの共通チャネルに誤差を逆伝播し、勾配ベクトルを計算する。誤差は、推定出力信号と正解出力信号との差分に規定される。次に処理回路５１は、勾配ベクトルに基づいて多層化ネットワークの共通チャネルのパラメータを更新する。具体的には、処理回路５１は、推定出力医用信号と正解出力医用信号とが近似するようにパラメータを更新する。そして所定の収束条件を満たすパラメータ又は既定回数の更新により得られたパラメータが共通チャネルの最終的なパラメータとして決定される。
ステップＳＢ３が行われると処理回路５１は、共通チャネルのパラメータに、ステップＳＢ３において最終的に決定されたパラメータを設定する（ステップＳＢ４）。
ステップＳＢ４が行われると処理回路５１は、生成しようとする学習済みモデルが再構築可能とする各クラスの学習サンプルに基づいて、多層化ネットワークの個別チャネルのパラメータをクラス毎に順番に学習する（ステップＳＢ５）。例えば、図５に示すＥＰＩ、ＦＳＥ及びＦＥの学習サンプルが用いられる場合、ＥＰＩの学習サンプルを用いて個別チャネルのパラメータが学習され、次にＦＳＥの学習サンプルを用いて個別チャネルのパラメータが学習され、最後にＦＥの学習サンプルを用いて個別チャネルのパラメータが学習される。
個別チャネルのパラメータの学習方法としては、既知の様々なパラメータ学習方法を用いることが可能である。例えば、処理回路５１は、多層化ネットワークの個別チャネルに入力医用信号を順伝播し、入力医用信号に対応する推定出力信号を計算する。次に処理回路５１は、多層化ネットワークの個別チャネルに誤差を逆伝播し、勾配ベクトルを計算する。誤差は、推定出力信号と正解出力信号との差分に規定される。次に処理回路５１は、勾配ベクトルに基づいて多層化ネットワークの個別チャネルのパラメータを更新する。具体的には、処理回路５１は、推定出力医用信号と正解出力医用信号とが近似するようにパラメータを更新する。そして所定の収束条件を満たすパラメータ又は既定回数の更新により得られたパラメータが個別チャネルの最終的なパラメータとして決定される。
ステップＳＢ５が行われると処理回路５１は、個別チャネルのパラメータに、ステップＳＢ５において最終的に決定されたパラメータを設定する（ステップＳＢ６）。これにより学習済みモデル１３１が完成される。
ステップＳＢ６が行われると処理回路５１は、活性化パラメータ決定機能５１３を実行する（ステップＳＢ７）。ステップＳＢ７において処理回路５１は、各チャネルの活性化パラメータ値をクラス毎に決定し、クラス／活性化パラメータを生成する。
ここで、ステップＳＢ３からステップＳＢ７の詳細について説明する。
図９は、図８に示すステップＳＢ３からステップＳＢ７の処理を模式的に示す図である。なお図９におけるクラス分類対象の撮像条件はパルスシーケンス種であり、具体的には、ＥＰＩとＦＳＥとであるとする。なお、未学習の多層化ネットワーク１５１のユニットは、第一の個別チャネル（１Ｃｈ）、第二の個別チャネル（２Ｃｈ）、共通チャネル（３Ｃｈ）に分類されるものとする。
図９に示すように、ステップＳＢ３において全クラスの学習サンプルに基づいて共通チャネルのパラメータが学習される。共通チャネルの設定方法としては、以下の２つの方法が考えられる。
増設型の設定方法：多層化ネットワークの各層に含まれる全てのユニットが共通チャネルとして設定される。この場合、当該全てのユニットが共通チャネルに属するユニットとしてパラメータが学習される。共通チャネルの各ユニットには活性化パラメータが付与される。共通チャネルのパラメータ学習時において活性化パラメータはオン値に設定される。個別チャネルは、共通チャネルのパラメータの学習後に増設される。
切替型の設定方法：多層化ネットワークの各層に含まれる複数のユニットが予め共通チャネルと個別チャネルとに区分される。共通チャネル及び個別チャネルの各ユニットには活性化パラメータが付与される。共通チャネルのパラメータを学習する場合、共通チャネルの活性化パラメータがオン値に設定され、個別チャネルのユニットの活性化パラメータがオフ値に設定される。
共通チャネル（３Ｃｈ）のパラメータの学習が完了すると、クラス毎に個別チャネル（１Ｃｈ及び２Ｃｈ）のパラメータが学習される。例えば、ＥＰＩクラスの学習サンプルに基づいて第一の個別チャネル（１Ｃｈ）のパラメータが学習され、ＦＳＥクラスの学習サンプルに基づいて第二の個別チャネル（２Ｃｈ）のパラメータが学習される。以下、設定方法として増設型がとられた場合と切替型がとられた場合とに分けて個別チャネルのパラメータ学習について説明する。
増設型の設定方法：新たなユニットが多層化ネットワーク１５１の各層に増設される。増設されたユニットには活性化パラメータが付与される。増設されたユニットは、ＥＰＩクラスのための第一の個別チャネル（１Ｃｈ）に設定される。パラメータ学習時において第一の個別チャネル及び共通チャネルの活性化パラメータ値はオン値に設定される。そしてＥＰＩクラスの学習サンプルに基づいて、第一の個別チャネルに属するユニットについてパラメータが学習される。第一の個別チャネルに属するユニットのパラメータの初期値は、如何なる値に設定されても良いが、例えば、０に設定される。第一の個別チャネルに関するパラメータ学習時においては、共通チャネルに関するパラメータはステップＳＢ４において設定された値に固定される。
ＥＰＩチャネルについてパラメータ学習が完了した場合、更なる新たなユニットが多層化ネットワーク１５１の各層に増設される。増設されたユニットには活性化パラメータが付与される。増設されたユニットは、ＦＳＥクラスのための第二の個別チャネル（２Ｃｈ）に設定される。パラメータ学習時において第二の個別チャネル及び共通チャネルの活性化パラメータ値はオン値に設定され、第一の個別チャネルの活性化パラメータはオフ値に設定される。ＦＳＥクラスの学習サンプルを用いて第二の個別チャネルに属するユニットについてパラメータが学習される。第二の個別チャネルに属するユニットのパラメータの初期値は、如何なる値に設定されても良いが、例えば、０に設定される。第二の個別チャネルに関するパラメータ学習時においては、共通チャネルに関するパラメータはステップＳＢ４において設定された値に固定される。
切替型の設定方法：ＥＰＩクラスのための第一の個別チャネル（１Ｃｈ）についてパラメータ学習を行う場合、第一の個別チャネル（１Ｃｈ）及び共通チャネル（３Ｃｈ）の活性化パラメータがオン値に設定され、第二の個別チャネル（２Ｃｈ）の活性化パラメータがオフ値に設定される。この状態においてＥＰＩクラスの学習サンプルに基づいて第一の個別チャネルのパラメータが学習される。第一の個別チャネルのパラメータの初期値は、如何なる値に設定されても良いが、例えば、０に設定される。第一の個別チャネルに関するパラメータ学習時においては、共通チャネルに関するパラメータはステップＳＢ４において設定された値に固定される。
次に、ＦＳＥクラスのための第二の個別チャネル（２Ｃｈ）及び共通チャネル（３Ｃｈ）の活性化パラメータがオン値に設定され、第一の個別チャネル（１Ｃｈ）の活性化パラメータがオフ値に設定される。この状態においてＦＳＥクラスの学習サンプルに基づいて第二の個別チャネルのパラメータが学習される。第二の個別チャネルに属するユニットのパラメータの初期値は、如何なる値に設定されても良いが、例えば、０に設定される。第二の個別チャネルに関するパラメータ学習時においては、共通チャネルに関するパラメータはステップＳＢ４において設定された値に固定される。
以上で図９に示す個別チャネルのパラメータ学習についての説明を終了する。なお、共通チャネルと個別チャネルとのユニット数が適宜設計可能である。共通チャネルと個別チャネルとのユニット数は同数でも良いし、異なっても良い。また、個別チャネル同士においてもユニット数は同数でも良いし異なっても良い。
個別チャネルのパラメータが学習されると、ＳＢ７においてクラス／活性化パラメータテーブルが生成される。例えば、処理回路５１は、各ユニットが属するチャネルと当該チャネルに対応するクラスとに基づいてクラス／活性化パラメータテーブルを生成する。例えば、共通チャネルの活性化パラメータ値は全クラスについてＯＮ（オン値）に設定される。個別チャネルの活性化パラメータ値は、当該個別チャネルに対応するクラスについてＯＮ、対応しないクラスについてＯＦＦ（オフ値）に設定される。具体的には、図９に示すように、ＥＰＩクラスについて、共通チャネル（３Ｃｈ）の活性化パラメータ値はＯＮ、ＥＰＩチャネル（１Ｃｈ）の活性化パラメータ値はＯＮ、ＦＳＥチャネル（２Ｃｈ）の活性化パラメータ値はＯＦＦに設定する。ＦＳＥクラスについて、共通チャネル（３Ｃｈ）の活性化パラメータ値はＯＮ、ＥＰＩチャネル（１Ｃｈ）の活性化パラメータ値はＯＦＦ、ＦＳＥチャネル（２Ｃｈ）の活性化パラメータ値はＯＮに設定する。
なお、上記図９の説明においては、各個別チャネルのパラメータ学習時において、学習対象ではない個別チャネルは、存在しない又は非活性化されるとした。しかしながら、本実施形態に係る個別チャネルのパラメータ学習方法はこれに限定されない。
図１０は、図８に示すステップＳＢ３～ステップＳＢ７の処理を模式的に示す図である。なお図１０におけるクラス分類対象の撮像条件はパルスシーケンス種であり、具体的には、ＥＰＩ、ＦＳＥ及びＦＥであるとする。未学習の多層化ネットワーク１５２のユニットは、第一の個別チャネル（１Ｃｈ）、第二の個別チャネル（２Ｃｈ）、第三の個別チャネル（３Ｃｈ）及び共通チャネル（４Ｃｈ）に分類されるものとする。
図１０に示す学習方法においても、共通チャネルの設定方法として増設型及び切替型の何れも採用可能である。共通チャネルのパラメータ学習方法については図９と同様であるので説明を省略する。
個別チャネルの学習方法については、共通チャネルの設定方法の型に関わらず共通である。図１０に示すように、処理回路５１は、各クラスの学習サンプルに基づいて、クラス毎に全ての個別チャネル（１Ｃｈ、２Ｃｈ及び３Ｃｈの集合）を用いてパラメータを学習する。この際、処理回路５１は、個別チャネルに属するユニットの出力を監視し、多層化ネットワークの推定出力信号に対する各ユニットの寄与度を計算する。寄与度が閾値より高いユニットは、当該クラスのチャネルに設定される。閾値の値は任意に設定可能である。なお、パラメータ学習時において個別チャネル及び共通チャネルの活性化パラメータは全てオン値に設定されているものとする。
例えば、図１０に示すように、ＥＰＩクラスの学習サンプルを用いて個別チャネル（１Ｃｈ、２Ｃｈ及び３Ｃｈの集合）のパラメータが学習される。この場合、各ユニットの出力を監視し、推定出力信号に対する各ユニットの寄与度を計算する。そして寄与度が閾値よりも高いユニットの集合がＥＰＩクラスに関連するチャネルに分類される。上記処理をＦＳＥクラス及びＦＥクラスについても同様に行う。これにより個別チャネルのパラメータの学習と各ユニットのクラスの分類とを行うことが可能になる。図１０においては、ＥＰＩクラスに関連するチャネルは第一及び第二チャネルの集合に設定され、ＦＳＥクラスに関連するチャネルは第二及び第三チャネルの集合に設定され、ＦＥクラスに関連するチャネルは第一及び第三チャネルの集合に設定される。
このように、図１０に示す学習方法によれば、１つの個別チャネルを複数のクラスに関連させることが可能になる。よって、図９に示す学習方法に比してユニット数の削減を図ることが可能になる。一方、図９に示す学習方法によれば、一の個別チャネルは、一のクラスにのみ関連するので、当該クラスにより最適化させることが可能になる。
個別チャネルのパラメータ学習が完了すると、ＳＢ７においてクラス／活性化パラメータテーブルが生成される。例えば、処理回路５１は、各ユニットが属するチャネルと当該チャネルに対応するクラスとに基づいてクラス／活性化パラメータテーブルを生成する。例えば、共通チャネル（４Ｃｈ）の活性化パラメータ値は全クラスについてＯＮに設定される。個別チャネルの活性化パラメータ値は、当該個別チャネルに関連するクラスについてＯＮ、関連しないクラスについてＯＦＦに設定される。具体的には、図１０に示すように、ＥＰＩクラスについて、共通チャネル（４Ｃｈ）の活性化パラメータ値はＯＮ、ＥＰＩチャネル（１Ｃｈ及び２Ｃｈの集合）の活性化パラメータ値はＯＮ、第三の個別チャネル（３Ｃｈ）の活性化パラメータ値はＯＦＦに設定する。ＦＳＥクラスについて、共通チャネル（４Ｃｈ）の活性化パラメータ値はＯＮ、ＦＳＥチャネル（２Ｃｈ及び３Ｃｈの集合）の活性化パラメータ値はＯＮ、第一の個別チャネル（１Ｃｈ）の活性化パラメータ値はＯＦＦに設定する。ＦＥクラスについて、共通チャネル（４Ｃｈ）の活性化パラメータ値はＯＮ、ＦＥチャネル（１Ｃｈ及び３Ｃｈの集合）の活性化パラメータ値はＯＮ、第二の個別チャネル（２Ｃｈ）の活性化パラメータ値はＯＦＦに設定する。
ステップＳＢ７が行われると処理回路５１は、学習済みモデル１３１とクラス／活性化パラメータテーブル１３３とを出力する（ステップＳＢ８）。例えば、処理回路５１は、学習済みモデル１３１とクラス／活性化パラメータテーブル１３３とを通信インタフェース５７を介して医用信号処理装置１に送信しても良いし、メモリ５３に記録しても良い。
以上により、ＤＮＮ再構成処理が終了する。
上記説明の通り、モデル学習装置５は、処理回路５１を有する。処理回路５１は、モデル学習プログラム５３１の実行により少なくとも学習機能５１２を実行する。学習機能５１２において処理回路５１は、複数の撮像条件に関する複数の医用信号に基づいて、撮像条件に応じてユニットの活性化の程度を調節するための変数である活性化パラメータがユニットに付与された学習済みモデル１３１を生成する。また、学習機能５１２において処理回路５１は、複数の撮像条件に関する複数の医用信号に基づいて、複数のユニットのうちの複数の撮像条件の全てに関連する第一のユニットのパラメータを学習する。そして処理回路５１は、複数の撮像条件各々について当該撮像条件に関する医用信号に基づいて、複数のユニットのうちの当該撮像条件に関連し第一のユニットとは異なる第二のユニットのパラメータを学習する。
上記構成により、モデル学習装置５は、処理対象の医用信号に関する撮像条件のクラスに応じて事後的に再構築可能な学習済みモデル１３１を生成することができる。
次に、ＤＮＮ再構成処理の具体例について説明する。ＤＮＮ再構成処理に係る学習済みモデルは、生物の脳の神経回路を模した多層のネットワークモデルである深層ニューラルネットワーク（ＤＮＮ：Deep Neural Network）であるとする。より詳細には、ＤＮＮとして、信号欠損の復元を行うＣＮＮ（Convolutional Neural Network）を含むものとする。
図１１は、ＤＮＮ再構成処理に用いられる学習済みモデル１６０の構造の一例を示す図である。図１１に示すように、学習済みモデル１６０は、ＦＦＴ（Fast Fourier Transfer）層１６２、ＣＮＮ層１６４及びＩＦＦＴ（Inverse Fast Fourier Transfer）層１６６を含む単位ネットワーク構造１６１が縦続接続された連鎖構造を有する。ＦＦＴ層１６２にはｋ空間データが入力され、入力されたｋ空間データにＦＦＴが適用され、再構成画像データが出力される。ＣＮＮ層１６４は、モデル学習装置５により生成された学習済みモデル１３１である。すなわち、ＣＮＮ層１６４は、信号欠損を有する入力再構成画像データのクラスに応じて再構築可能に構成されている。ＣＮＮ層１６４には、当該入力再構成画像データが入力され、信号欠損部分が復元された再構成画像データが出力される。ＩＦＦＴ層１６６には、再構成画像データが入力され、入力された再構成画像データにＩＦＦＴが適用され、ｋ空間データが出力される。単位ネットワーク構造１６１の出力データは、入力データと同じ次元及び分解能を有する。
単位ネットワーク構造１６１の出力が次の単位ネットワーク構造１６１の入力となる連鎖構造により、信号欠損部分の復元精度を向上させることができる。ＣＮＮ層１６４は、処理回路１１の順伝播機能１１５により実行される。ＦＦＴ層１６２とＩＦＦＴ層１６６とは、処理回路１１の順伝播機能１１５の一機能として実行されても良いし、再構成演算機能１１４により実行されても良い。
図１１に示すように、学習済みモデル１６０の出力として再構成画像データを出力する場合、学習済みモデル１６０の最後の単位ネットワーク構造１６１ｅは、ＩＦＦ層１６６を含まず、ＦＦＴ層１６２及びＣＮＮ層１６４を含めば良い。学習済みモデル１６０の出力としてｋ空間データを出力する場合、最後の単位ネットワーク構造は１６１ｅ、他の単位ネットワーク構造１６１と同様、ＦＦＴ層１６２、ＣＮＮ層１６４及びＩＦＦＴ層１６６を含めば良い。学習済みモデル１６０も医用信号処理装置１のメモリ１３に記憶されても良い。
なお、学習済みモデル１６０の構造は目的に応じて適宜設計変更可能である。例えば、ＩＦＦＴ層１６６の後段において整合層が設けられても良い。整合層には、ＣＮＮ層１６４から出力された仮再構成画像データに基づく処理済みのｋ空間データと、学習済みモデル１６０に入力された処理前のｋ空間データとが入力され、処理前のｋ空間データを利用して処理済みのｋ空間データに整合処理が施され、整合処理済みのｋ空間データが出力される。整合処理において処理済みのｋ空間データは、信号欠損度合い応じて処理前のｋ空間データが画素毎に重み付け加算される。例えば、信号欠損度合いが低いほど処理前のｋ空間データの画素値に高い重みが付与され、信号欠損度合いが高いほど処理前のｋ空間データの画素値に低い重みが付与される。これにより、処理済みのｋ空間データと処理前のｋ空間データとの整合性を確保することができる。
なお、学習済みモデル１６０は、磁気共鳴イメージング装置以外の医用画像診断装置により収集された医用信号にも適用可能である。例えば、Ｘ線コンピュータ断層撮影装置により収集された生データに学習済みモデル１６０を適用する場合、ＦＦＴ層１６２を逆ラドン変換層に置き換え、ＩＦＦＴ層１６６をラドン変換層に置き換えれば良い。逆ラドン変換層においては生データにＦＢＰ等の逆ラドン変換が行われＣＴ画像データが再構成される。ラドン変換層においてはＣＴ画像データ等にラドン変換が行われ生データが算出される。
Ｘ線コンピュータ断層撮影装置の生データとしては、Ｘ線線量の積分値を示す積分型データやＸ線エネルギー毎のカウント数を示すスペクトラルＣＴデータ等が適用可能である。積分型データのクラスとしては、例えば、積分型スキャンであり、スペクトラルＣＴデータのクラスとしては、スペクトラルＣＴスキャンが挙げられる。なお積分型スキャンとしては、高電圧を２値の間で切り替えながらＣＴスキャンを行うデュアルエナジースキャンであっても良い。
次に、活性化制御の具体例について説明する。
［具体例１］
図１２は、活性化制御の一例を模式的に示す図である。図１２に示すように、クラス分類対象の撮像条件は位相エンコード方向であるとする。ＥＰＩにより収集された再構成画像データは、位相エンコード方向に応じた縞状のノイズを含む。より詳細には、位相エンコード方向に直交する方向に走行する縞状ノイズが再構成画像に描出される。例えば、位相エンコード方向が再構成画像に対して上下方向である場合、再構成画像に横線のノイズが描出される。位相エンコード方向が再構成画像に対して左右方向である場合、再構成画像に縦線のノイズが描出される。
クラス分類対象の撮像条件が位相エンコード方向である場合、学習済みモデルのユニットは、縦線ノイズ及び横線ノイズを低減するために共通に使用される共通チャネル、縦線ノイズを低減するための第一の個別チャネル、横線ノイズを低減するための第二の個別チャネルに区分される。例えば、共通チャネルは１番から３２番のユニット、第一の個別チャネルは３３番から４８番のユニット、第二の個別チャネルは４９番から６４番のユニットを含むように学習済みモデルが設計される。当該学習済みモデルは、位相エンコード方向が上下方向の医用画像と左右方向の医用画像とに基づいて、図８に示す学習処理に従い生成される。
図１２の上段に示すように、入力医用画像のクラスが位相エンコード方向＝上下方向の場合、共通チャネル及び第二の個別チャネルの活性化パラメータがＯＮ値に設定され、第一の個別チャネルの活性化パラメータがＯＦＦ値に設定される。これにより入力医用画像に含まれる横線ノイズを効率的に低減することが可能になる。図１２の下段に示すように、入力医用画像のクラスが位相エンコード方向＝左右方向の場合、共通チャネル及び第一の個別チャネルの活性化パラメータがＯＮ値に設定され、第二の個別チャネルの活性化パラメータがＯＦＦ値に設定される。これにより入力医用画像に含まれるノイズを高精度且つ効率的に低減することが可能になる。
［具体例２］
クラス分類対象の撮像条件としては、撮像対象の臓器の種別でも良い。臓器の種別としては、頭部、腹部、首、四肢、心臓等が挙げられる。この場合、学習済みモデルは、二種以上の撮像対象臓器の医用画像に基づいて、図８に示す学習処理に従い生成される。具体的には、頭部、腹部及び心臓に応じて再構築可能な学習済みモデルを生成する場合、少なくとも頭部の医用画像、腹部の医用画像及び心臓の医用画像に基づいて学習済みモデルが生成される。この場合、学習済みモデルは、頭部に特有のノイズを低減するための第一の個別チャネルと、腹部に特有のノイズを低減するための第二の個別チャネルと、心臓に特有のノイズを低減するための第三の個別チャネルと、頭部、腹部及び心臓等の撮像部位に共通のノイズを低減するための共通チャネルを含む。学習済みモデルに心臓の医用画像が適用される場合、第三の個別チャネル及び共通チャネルの活性化パラメータがＯＮ値に設定され、第一の個別チャネル及び第二の個別チャネルの活性化パラメータがＯＦＦ値に設定される。これにより入力医用画像に含まれるノイズを高精度且つ効率的に低減することが可能になる。
［具体例３］
クラス分類対象の撮像条件としては、ｋ空間データにおけるデータ欠落箇所又はデータ収集箇所でも良い。例えば、ｋ空間充填方式がラディアル方式において、０度から３６０度の角度の収集ライン（スポーク）に沿ってｋ空間データを収集する場合を考える。この場合、０度～１度、１度～２度、・・・３５９度～３６０度の各々の収集ラインについて、データ欠落箇所又はデータ収集箇所としてｋ空間データ収集の有無が設定される。この場合、学習済みモデルは、データ欠落箇所又はデータ収集箇所が様々である医用画像に基づいて、図８に示す学習処理に従い生成される。この場合、データ収集ライン（データ収集箇所）の組合せ毎に個別チャネルが形成される。例えば、０度～１度、１２０度～１２１度及び２４０度～２４１度の収集ラインがデータ収集箇所であり、その他の角度がデータ欠落箇所であるＭＲ画像に特有のノイズを低減するための個別チャネル等が形成される。この場合、当該個別チャネル及び共通チャネルの活性化パラメータがＯＮ値に設定され、その他の個別チャネルの活性化パラメータがＯＦＦ値に設定される。これにより入力医用画像に含まれる、データ欠落等に起因するノイズを高精度且つ効率的に低減することが可能になる。
データ欠落箇所又はデータ収集箇所がｋ空間の収集マスクパターンに従い設定されても良い。例えば、ｋ空間を１６×１６のブロックに分割し、各ブロックについてｋ空間データ収集の有無がデータ欠落箇所又はデータ収集箇所として設定される。この場合、学習済みモデルは、データ欠落箇所又はデータ収集箇所が様々である医用画像に基づいて、図８に示す学習処理に従い生成される。この場合、各ブロックに特有のノイズを低減するための個別チャネルと全ブロックに共通のノイズを低減するための共通チャネル等が形成される。この場合、当該個別チャネル及び共通チャネルの活性化パラメータがＯＮ値に設定され、その他の個別チャネルの活性化パラメータがＯＦＦ値に設定される。これにより入力医用画像に含まれる、データ欠落等に起因するノイズを高精度且つ効率的に低減することが可能になる。
（応用例１）
上記実施例においては、入力医用信号のクラスに対応する個別チャネルのみを活性化するものとした。しかしながら、本実施形態はこれに限定されない。すなわち、入力医用信号のクラスに対応する個別チャネルのみを非活性化しても良い。
図１３は、応用例１に係る活性化制御の一例を模式的に示す図である。図１３に示すように、クラス分類対象の撮像条件はパルスシーケンス及びｋ空間充填方式の種別の組合せであるとする。再構成画像データは、パルスシーケンス及びｋ空間充填方式の種別の組合せに応じて様々なノイズを含む。図１３のクラスは、パルスシーケンス＝ｎｏｎ－ＥＰＩ及びｋ空間充填方式＝カーテシアン、パルスシーケンス＝ｎｏｎ－ＥＰＩ及びｋ空間充填方式＝ラディアル、パルスシーケンス＝ＥＰＩ及びｋ空間充填方式＝限定なしである。
クラス分類対象の撮像条件が上記三種である場合、学習済みモデルのユニットは、例えば、パルスシーケンス＝ｎｏｎ－ＥＰＩ且つｋ空間充填方式＝カーテシアンに限定して活性化しない第一の個別チャネル、パルスシーケンス＝ｎｏｎ－ＥＰＩ且つｋ空間充填方式＝ラディアルに限定して活性化しない第二の個別チャネル、パルスシーケンス＝ＥＰＩ且つｋ空間充填方式＝限定なしに限定して活性化しない第三の個別チャネルに区分される。入力医用画像のクラスに対応する個別チャネルのみを非活性化する場合、共通チャネルが設けられなくても良い。
図１３に示すように、例えば、第一の個別チャネルは１番から２４番のユニット、第二の個別チャネルは２５番から４８番のユニット、第三の個別チャネルは４９番から７２番のユニットを含むように学習済みモデルが設計される。当該学習済みモデルは、パルスシーケンス＝ｎｏｎ－ＥＰＩ且つｋ空間充填方式＝カーテシアンの医用画像と、パルスシーケンス＝ｎｏｎ－ＥＰＩ且つｋ空間充填方式＝ラディアルの医用画像と、パルスシーケンス＝ＥＰＩ且つｋ空間充填方式＝限定なしの医用画像とに基づいて、図８に示す学習処理に従い生成される。第一の個別チャネルは、パルスシーケンス＝ｎｏｎ－ＥＰＩ且つｋ空間充填方式＝カーテシアンの医用画像に限定して非活性化されるユニットの集合である。第二の個別チャネルは、パルスシーケンス＝ｎｏｎ－ＥＰＩ且つｋ空間充填方式＝ラディアルの医用画像に限定して非活性化されるユニットの集合である。第三の個別チャネルは、パルスシーケンス＝ＥＰＩ且つｋ空間充填方式＝限定なしの医用画像に限定して非活性化されるユニットの集合である。
図１３の上段に示すように、入力医用画像のクラスがパルスシーケンス＝ｎｏｎ－ＥＰＩ且つｋ空間充填方式＝カーテシアンの場合、第二及び第三の個別チャネルの活性化パラメータがＯＮ値に設定され、第一の個別チャネルの活性化パラメータがＯＦＦ値に設定される。図１３の中段に示すように、入力医用画像のクラスがパルスシーケンス＝ｎｏｎ－ＥＰＩ且つｋ空間充填方式＝ラディアルの場合、第一及び第三の個別チャネルの活性化パラメータがＯＮ値に設定され、第二の個別チャネルの活性化パラメータがＯＦＦ値に設定される。図１３の下段に示すように、入力医用画像のクラスがパルスシーケンス＝ＥＰＩ且つｋ空間充填方式＝限定なしの場合、第一及び第二の個別チャネルの活性化パラメータがＯＮ値に設定され、第三の個別チャネルの活性化パラメータがＯＦＦ値に設定される。これにより入力医用画像のパルスシーケンス及びｋ空間充填方式の組合せに応じたノイズを効率的に低減することが可能になる。
（応用例２）
上記実施例において個別チャネルは、入力医用信号のクラスに限定して活性化するものとした。また、上記応用例１において個別チャネルは、入力医用信号のクラスに限定して非活性するものとした。しかしながら、本実施形態はこれに限定されない。すなわち、入力医用信号のクラスに限定して活性化する個別チャネルと入力医用信号のクラスに限定して非活性化する個別チャネルとが混在しても良い。
図１４は、応用例２に係る活性化制御の一例を模式的に示す図である。図１４に示すように、クラス分類対象の撮像条件は特定のパルスシーケンス種に固有のノイズを含むか否かであるとする。再構成画像データは、パルスシーケンスに応じて様々なノイズを含む。例えば、パルスシーケンスがＥＰＩである場合、ＥＰＩ特有のノイズが再構成画像に描出される。以下、ＥＰＩに固有のノイズをＥＰＩノイズと呼ぶことにする。図１４のクラスは、ＥＰＩノイズを含むことを示す値「１」であるか、ＥＰＩノイズを含まないことを示す値「０」の２値である。
図１４に示す場合、学習済みモデルのユニットは、例えば、ＥＰＩノイズ＝「０」及び「１」の何れにも活性化する共通チャネル、ＥＰＩノイズ＝「１」に限定して非活性化する第一の個別チャネル、ＥＰＩノイズ＝「１」に限定して活性化する第二の個別チャネルに区分される。
図１４に示すように、例えば、共通チャネルは１番から３２番のユニット、第一の個別チャネルは３３番から４８番のユニット、第二の個別チャネルは４９番から６４番のユニットを含むように学習済みモデルが設計される。当該学習済みモデルは、ＥＰＩノイズ＝「１」の医用画像と、ＥＰＩノイズ＝「０」の医用画像とに基づいて、図８に示す学習処理に従い生成される。ＥＰＩノイズ＝「０」の医用画像としては、ＥＰＩ以外のパルスシーケンスで収集された如何なる医用画像が用いられても良い。
図１４の上段に示すように、入力医用画像のクラスがＥＰＩノイズ＝「１」の場合、共通チャネル及び第二の個別チャネルの活性化パラメータがＯＮ値に設定され、第一の個別チャネルの活性化パラメータがＯＦＦ値に設定される。図１４の下段に示すように、入力医用画像のクラスがＥＰＩノイズ＝「０」の場合、共通チャネル及び第一の個別チャネルの活性化パラメータがＯＮ値に設定され、第二の個別チャネルの活性化パラメータがＯＦＦ値に設定される。これによりＥＰＩノイズの有無に応じて入力医用画像のノイズを高精度且つ効率的に低減することが可能になる。
（応用例３）
上記実施例において活性化パラメータは、ＯＮ値又はＯＦＦ値の２値であるとした。しかしながら、本実施形態はこれに限定されない。応用例３に係る活性化パラメータは、ＯＮ値を示す「１」と、ＯＦＦ値を示す「０」と、「１」と「０」との間に含まれる少なくとも一つの中間値とを含む３値以上である。なお、「１」は「０」に比して活性化の程度が高いことを示す。
図１５は、応用例３に係るクラス／活性化パラメータテーブルの一例を示す図である。図１５に示すように、クラスは、一例としてパルスシーケンス種であるとする。具体的には、パルスシーケンス種としては、ＥＰＩ、ＧＲＡＳＥ（Gradient And Spin Echo）、ＦＳＥであるとする。ＧＲＡＳＥは、ＦＳＥ法によるリフォーカス・パルスを複数回印加し、リフォーカス・パルスの印加間においてＥＰＩ法により傾斜磁場をスイッチングしてエコーを発生させ、データ収集を行うパルスシーケンスである。すなわち、ＧＲＡＳＥは、ＥＰＩとＦＳＥとの両方の性質を有する。
図１５に示すように、ユニットは、第一チャネル、第二チャネル及び第三チャネルに区分される。第一チャネル及び第二チャネルは、少なくとも１つのクラスについて活性化パラメータ「０」が設定される個別チャネルである。具体的には、第一チャネルは、クラス「ＥＰＩ」に限定して活性化するユニットの区分であり、第二チャネルは、クラス「ＦＳＥ」に限定して活性化するユニットの区分である。第三チャネルは、共通チャネルであり、両クラスについて活性化するチャネルの区分である。
クラスが「ＥＰＩ」である場合、活性化パラメータは、第一チャネルについて「１」、第二チャネルについて「０」、第三チャネルについて「１」に設定される。クラスが「ＦＳＥ」である場合、活性化パラメータは、第一チャネルについて「０」、第二チャネルについて「１」、第三チャネルについて「１」に設定される。クラスが「ＧＲＡＳＥ」である場合、第一チャネル及び第二チャネル各々の活性化パラメータは、当該ＧＲＡＳＥのＥＰＩの性質の度合いとＦＳＥの性質の度合いとに応じて「１」と「０」の間の値に設定される。例えば、当該ＧＲＡＳＥのＥＰＩの性質の度合いとＦＳＥの性質の度合いとが半々である場合、活性化パラメータは、第一チャネルについて「０．５」、第二チャネルについて「０．５」、第三チャネルについて「１」に設定される。例えば、当該ＧＲＡＳＥのＥＰＩの性質の度合いとＦＳＥの性質の度合いとが７：３である場合、活性化パラメータは、第一チャネルについて「０．７」、第二チャネルについて「０．３」、第三チャネルについて「１」に設定される。
応用例３に係る活性化制御機能１１３において処理回路１１は、各チャネルに属するユニットの出力に、当該チャネルに設定された活性化パラメータを乗じる。例えば、クラスが「ＥＰＩ」である場合、第一チャネルに属するユニットの出力に「１」を乗じ、第二チャネルに属するユニットの出力に「０」を乗じ、第三チャネルに属するユニットの出力に「１」を乗じる。クラスが「ＧＲＡＳＥ」である場合、図１５に示す例においては、第一チャネルに属するユニットの出力に「０．５」を乗じ、第二チャネルに属するユニットの出力に「０．５」を乗じ、第三チャネルに属するユニットの出力に「１」を乗じる。
応用例３に係るスケーラは、活性化パラメータにより値「１」未満の値が設定されたユニットの出力値の低減を補償する。例えば、ユニット数が６４であり、そのうちの３２のユニットに活性化パラメータ「０．５」が設定され、残りのユニットに活性化パラメータ「１」が設定された場合、スケーラは、接続元のユニットからの出力値に６４／（３２×１＋３２×０．５）＝６４／４８倍する。
応用例３に係る学習済みモデルは、活性化パラメータ「１」又は「０」が設定されるクラスの学習サンプルに基づいて、図８に示す学習処理に従い生成されれば良い。活性化パラメータが「１」及び「０」以外の値を有するクラスの学習サンプルは、パラメータ学習に用いなくても処理可能である。例えば、図１５に示すクラス／活性化パラメータテーブルに対応する学習済みモデルは、ＥＰＩクラスの学習サンプルとＦＳＥクラスの学習サンプルとに基づいて生成される。学習済みモデルの生成後、ＧＲＡＳＥが有するＥＰＩの性質の度合いとＦＳＥの性質の度合いとに基づいて、クラス「ＧＲＡＳＥ」についてチャネル毎に活性化パラメータが決定されれば良い。
上記の通り、応用例３によれば、パラメータ学習において考慮された複数のオリジナルのクラスの中間の性質を有するセカンダリのクラスの活性化パラメータについては、関連するオリジナルのクラスの活性化パラメータ値に基づいて決定することにより、当該セカンダリのクラスに最適な学習済みモデルを事後的に再構築することが可能になる。なお、上記の実施形態の説明は活性化パラメータが「１」「０」以外のクラスの学習サンプルを用いずに学習する方法に限定するものではなく、「１」「０」に加えてＧＲＡＳＥの学習データと中間的な活性化パラメータとを与え、それらを用いてパラメータ学習することを妨げるものではない。
上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ））、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、プログラムを実行するのではなく、論理回路の組合せにより当該プログラムに対応する機能を実現しても良い。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１、図３及び図７における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。
以上説明した少なくとも１つの実施形態によれば、医用信号の撮像条件に応じた機械学習出力を高精度且つ高効率に得ることができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１ 医用信号処理装置
３ 医用撮像装置
５ モデル学習装置
７ 学習データ保管装置
９ 医用画像診断装置
１１ 処理回路
１３ メモリ
１５ 入力インタフェース
１７ 通信インタフェース
１９ ディスプレイ
５１ 処理回路
５３ メモリ
５５ 入力インタフェース
５７ 通信インタフェース
５９ ディスプレイ
９０ 学習済みモデル
１００ 医用信号処理システム
１１１ 撮像制御機能
１１２ 分類機能
１１３ 活性化制御機能
１１４ 再構成演算機能
１１５ 画像処理機能
１１５ 順伝播機能
１１６ 画像処理機能
１１７ 表示制御機能
１３１ 学習済みモデル
１３３ 活性化パラメータテーブル
５１１ 分類機能
５１２ 学習機能
５１３ 活性化パラメータ決定機能
５１４ 表示制御機能
５３１ モデル学習プログラム

Claims (13)

  1. 処理対象の医用信号に関する撮像条件の分類に応じて、学習済みモデルに含まれるユニットについて活性化の程度を変更する変更部と、
    前記活性化の程度が変更された変更後の学習済みモデルに前記医用信号を適用して出力信号を生成する適用部と、
    を具備し、
    前記学習済みモデルは複数の層を有し、前記複数の層各々は複数のユニットを有し、前記複数のユニット各々は前記活性化の程度を変更可能に構成され、
    前記変更部は、前記処理対象の医用信号に関する前記撮像条件の分類に応じて、前記複数の層各々に含まれる前記複数のユニット各々の前記活性化の程度を変更する、
    医用信号処理装置。
  2. 処理対象の医用信号に関する撮像条件の分類に応じて、学習済みモデルに含まれるユニットについて活性化の程度を変更する変更部と、
    前記活性化の程度が変更された変更後の学習済みモデルに前記医用信号を適用して出力信号を生成する適用部と、
    を具備し、
    前記活性化の程度は、前記ユニットのオンを示す値と、前記ユニットのオフを示す値と、前記オンを示す値と前記オフを示す値との間に含まれる少なくとも一つの値とを含む３値以上で表される、
    医用信号処理装置。
  3. 前記複数のユニット各々には、訓練対象の学習パラメータと前記活性化の程度を表す活性化パラメータとが付与され、
    前記複数のユニットは、二以上のグループに区分され、
    前記変更部は、前記複数のユニットのうちの同一のグループに属するユニットには前記活性化パラメータに対して同一の値を設定する、
    請求項１記載の医用信号処理装置。
  4. 前記活性化の程度は、前記ユニットのオン及びオフの２値で表される、請求項１記載の医用信号処理装置。
  5. 前記活性化の程度は、前記ユニットのオンを示す値と、前記ユニットのオフを示す値と、前記オンを示す値と前記オフを示す値との間に含まれる少なくとも一つの値とを含む３値以上で表される、請求項１記載の医用信号処理装置。
  6. 前記医用信号は、磁気共鳴イメージング装置により収集されたデータであり、
    前記撮像条件は、前記磁気共鳴イメージング装置におけるパルスシーケンスの種類、ｋ空間充填方式の種類、位相エンコード方向、撮像部位及びｋ空間データ欠損箇所の少なくとも一つを含む、
    請求項１又は２記載の医用信号処理装置。
  7. 撮像条件の複数の分類各々について前記ユニットと活性化の程度とを関連付けたテーブルを記憶する記憶部を更に備え、
    前記変更部は、前記テーブルを利用して、前記医用信号の撮像条件の分類に応じて前記ユニットの前記活性化の程度を変更する、
    請求項１又は２記載の医用信号処理装置。
  8. 前記ユニットは、前記学習済みモデルの学習時において学習サンプルとして入力された全ての医用信号に関する全ての撮像条件に関連する第一のユニットと、前記全ての撮像条件のうちの単一又は複数の撮像条件において限定的に関連する第二のユニットとを含み、
    前記変更部は、前記第一のユニットと前記第二のユニットのうちの前記分類に対応するユニットとの前記活性化の程度を、前記第二のユニットのうちの前記分類に対応しないユニットの前記活性化の程度に比して高くする、
    請求項１又は２記載の医用信号処理装置。
  9. 前記出力信号は、前記医用信号と同じ次元及び分解能を有する、請求項１又は２記載の医用信号処理装置。
  10. 前記出力信号は、前記医用信号に対する認識結果である、請求項１又は２記載の医用信号処理装置。
  11. 前記医用信号は、医用画像データである、請求項１又は２記載の医用信号処理装置。
  12. コンピュータに、
    複数の撮像条件に関する複数の医用信号に基づいて、撮像条件に応じてユニットの活性化の程度を表す活性化パラメータが前記ユニットに付与された学習済みモデルを生成する機能、
    を実現させ、
    前記学習済みモデルは、複数の層を有し、前記複数の層各々は複数のユニットを有し、前記複数のユニット各々は前記活性化パラメータを有する、
    る学習プログラム。
  13. 複数の撮像条件に関する複数の医用信号に基づいて機械学習モデルを生成するコンピュータに、
    複数の撮像条件に関する複数の医用信号に基づいて、前記機械学習モデルに含まれる複数の層各々に含まれる複数のユニットのうちの前記複数の撮像条件の全てに関連する第一のユニットのパラメータを学習させる機能と、
    前記複数の撮像条件各々について当該撮像条件に関する医用信号に基づいて、前記複数のユニットのうちの当該撮像条件に関連し前記第一のユニットとは異なる第二のユニットのパラメータを学習させる機能と、
    を実現させる学習プログラム。
JP2018100724A 2018-05-25 2018-05-25 医用信号処理装置及び学習プログラム Active JP7126864B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2018100724A JP7126864B2 (ja) 2018-05-25 2018-05-25 医用信号処理装置及び学習プログラム
US16/417,277 US11301961B2 (en) 2018-05-25 2019-05-20 Medical signal processing apparatus and model learning apparatus
CN201910438589.6A CN110522464B (zh) 2018-05-25 2019-05-24 医用信号处理装置以及模型学习装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018100724A JP7126864B2 (ja) 2018-05-25 2018-05-25 医用信号処理装置及び学習プログラム

Publications (2)

Publication Number Publication Date
JP2019202064A JP2019202064A (ja) 2019-11-28
JP7126864B2 true JP7126864B2 (ja) 2022-08-29

Family

ID=68614749

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018100724A Active JP7126864B2 (ja) 2018-05-25 2018-05-25 医用信号処理装置及び学習プログラム

Country Status (3)

Country Link
US (1) US11301961B2 (ja)
JP (1) JP7126864B2 (ja)
CN (1) CN110522464B (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7346603B2 (ja) * 2019-06-07 2023-09-19 ライカ マイクロシステムズ シーエムエス ゲゼルシャフト ミット ベシュレンクテル ハフツング 生物学関連のデータを処理するためのシステムおよび方法ならびに顕微鏡
CA3162189C (en) * 2019-10-25 2023-09-12 Mitsubishi Electric Corporation Data processing device, transmission device, reception device, artificial satellite, data processing method, control circuit, and storage medium

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5157733A (en) * 1990-06-08 1992-10-20 Fuji Photo Film Co., Ltd. Radiation image processing apparatus, determination apparatus, and radiation image read-out apparatus
JP2616520B2 (ja) * 1991-08-30 1997-06-04 株式会社島津製作所 医療用画像表示装置
JPH0728766A (ja) * 1993-06-24 1995-01-31 Toshiba Corp パターン認識システム及び監視システム
JPH11296496A (ja) * 1998-04-09 1999-10-29 Hitachi Ltd パターン認識装置
EP1321896B1 (en) * 2001-12-21 2009-12-30 International Business Machines Corporation Method and circuits for scaling images using neural networks
JP6081139B2 (ja) * 2011-12-26 2017-02-15 東芝メディカルシステムズ株式会社 超音波診断装置、医用画像処理装置、及び医用画像処理方法
WO2014197423A1 (en) * 2013-06-03 2014-12-11 The Johns Hopkins University Functional magnetic resonance imaging (fmri) methodology using transverse relaxation preparation and non-echo-planar imaging (epi) pulse sequences
WO2015017796A2 (en) * 2013-08-02 2015-02-05 Digimarc Corporation Learning systems and methods
CN103646410B (zh) * 2013-11-27 2016-06-08 中国科学院深圳先进技术研究院 磁共振快速参数成像方法和系统
JP6309417B2 (ja) * 2014-09-30 2018-04-11 富士フイルム株式会社 検出器生成装置、方法およびプログラム並びに画像検出装置
KR102328269B1 (ko) * 2014-10-23 2021-11-19 삼성전자주식회사 초음파 영상 장치 및 그 제어 방법
WO2016145379A1 (en) * 2015-03-12 2016-09-15 William Marsh Rice University Automated Compilation of Probabilistic Task Description into Executable Neural Network Specification
KR101659578B1 (ko) * 2015-09-01 2016-09-23 삼성전자주식회사 자기 공명 영상 처리 방법 및 장치
WO2017113205A1 (zh) * 2015-12-30 2017-07-06 中国科学院深圳先进技术研究院 一种基于深度卷积神经网络的快速磁共振成像方法及装置
FR3046519B1 (fr) * 2016-01-04 2022-11-04 Netatmo Dispositif d'eclairage automatique
US10206646B2 (en) * 2016-03-10 2019-02-19 Siemens Healthcare Gmbh Method and system for extracting centerline representation of vascular structures in medical images via optimal paths in computational flow fields
US10127659B2 (en) * 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
CN106970343B (zh) * 2017-04-11 2019-12-27 深圳先进技术研究院 一种磁共振成像方法及装置
US10496884B1 (en) * 2017-09-19 2019-12-03 Deepradiology Inc. Transformation of textbook information
JP6545887B2 (ja) 2017-11-24 2019-07-17 キヤノンメディカルシステムズ株式会社 医用データ処理装置、磁気共鳴イメージング装置及び学習済みモデル生成方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Vanya V. Valindria, et al.，Multi-Modal Learning from Unpaired Images: Application to Multi-Organ Segmentation in CT and MRI，2018 IEEE Winter Conference on Applications of Computer Vision (WACV)，2018年，pp.547-556

Also Published As

Publication number Publication date
US11301961B2 (en) 2022-04-12
US20190362472A1 (en) 2019-11-28
CN110522464B (zh) 2023-11-03
JP2019202064A (ja) 2019-11-28
CN110522464A (zh) 2019-12-03

Similar Documents

Publication Publication Date Title
JP6772112B2 (ja) 医用撮像装置及び医用画像処理方法
CN110858315B (zh) 考虑较少训练数据的基于深度机器学习的磁共振成像质量分类
EP3611529B1 (en) Motion determination for volumetric magnetic resonance imaging using a deep machine-learning model
CN111771138A (zh) 具有用于根据欠采样超声数据产生图像的神经网络的超声系统
CN110070612B (zh) 一种基于生成对抗网络的ct图像层间插值方法
JP7272818B2 (ja) データ処理装置、方法及びプログラム
JP6753798B2 (ja) 医用撮像装置、画像処理方法及びプログラム
US11615530B2 (en) Medical data processing apparatus for reconstructing a medical image using a neural network
US20230021786A1 (en) Medical information processing apparatus and medical information processing method
JP7126864B2 (ja) 医用信号処理装置及び学習プログラム
JP2019154854A (ja) 医用画像診断装置、医用信号復元方法、医用信号復元プログラム、モデル学習方法、モデル学習プログラム、および磁気共鳴イメージング装置
JP2022088320A (ja) 体動補正装置、方法及びプログラム
JP2020062373A (ja) 医用画像生成方法、磁気共鳴イメージング装置、および医用画像生成プログラム
JP7258540B2 (ja) データ処理装置、磁気共鳴イメージング装置、学習装置および学習方法
US11734817B2 (en) Medical information processing apparatus, magnetic resonance imaging apparatus, and medical information processing method
US20230134630A1 (en) Inference apparatus, medical image diagnostic apparatus, inference method, and trained neural network generation method
CN118215851A (zh) 用于加速非笛卡尔磁共振成像重建的双域自监督学习
JP7334256B2 (ja) 画像処理装置、方法およびプログラム、学習装置、方法およびプログラム、並びに導出モデル
JP2021099794A (ja) ディープニューラルネットワークおよび測定データの再帰的間引きを使用して医用画像を再構築するためのシステムおよび方法
JP7355532B2 (ja) 医用情報処理装置、方法及びプログラム
Kumar et al. Learning to Generate Missing Pulse Sequence in MRI using Deep Convolution Neural Network Trained with Visual Turing Test
Jeong et al. Investigating the use of traveltime and reflection tomography for deep learning-based sound-speed estimation in ultrasound computed tomography
US12039636B2 (en) Aggregation based on deep set learning in magnetic resonance reconstruction
US20230085254A1 (en) Aggregation based on deep set learning in magnetic resonance reconstruction
JP7307166B2 (ja) 学習用画像生成装置、方法及びプログラム、並びに学習方法、装置及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220125

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220325

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220719

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220817

R150 Certificate of patent or registration of utility model

Ref document number: 7126864

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150