JP7300811B2 - 医用情報処理装置、医用情報処理方法、およびプログラム - Google Patents

医用情報処理装置、医用情報処理方法、およびプログラム Download PDF

Info

Publication number
JP7300811B2
JP7300811B2 JP2018111410A JP2018111410A JP7300811B2 JP 7300811 B2 JP7300811 B2 JP 7300811B2 JP 2018111410 A JP2018111410 A JP 2018111410A JP 2018111410 A JP2018111410 A JP 2018111410A JP 7300811 B2 JP7300811 B2 JP 7300811B2
Authority
JP
Japan
Prior art keywords
data
model
output
input
inputting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018111410A
Other languages
English (en)
Other versions
JP2019213623A (ja
Inventor
秀則 竹島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Medical Systems Corp
Original Assignee
Canon Medical Systems Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Medical Systems Corp filed Critical Canon Medical Systems Corp
Priority to JP2018111410A priority Critical patent/JP7300811B2/ja
Priority to US16/436,132 priority patent/US11734817B2/en
Publication of JP2019213623A publication Critical patent/JP2019213623A/ja
Application granted granted Critical
Publication of JP7300811B2 publication Critical patent/JP7300811B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G06T7/0012—Biomedical image inspection
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H10/00—ICT specially adapted for the handling or processing of patient-related medical or healthcare data
    • G16H10/60—ICT specially adapted for the handling or processing of patient-related medical or healthcare data for patient-specific data, e.g. for electronic patient records
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H30/00—ICT specially adapted for the handling or processing of medical images
    • G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Radiology & Medical Imaging (AREA)
  • Biomedical Technology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Pathology (AREA)
  • Magnetic Resonance Imaging Apparatus (AREA)
  • Image Processing (AREA)

Description

本発明の実施形態は、医用情報処理装置、医用情報処理方法、およびプログラムに関する。
従来、エコー信号を用いて画像を再構成し、作成した拡散強調画像に対し種々の解析や演算を行い、作成した画像及びＧＵＩ等をディスプレイに表示させる技術が知られている。このような技術では、更に、機械学習アルゴリズムを用いて、画像のパターン認識を行う学習モデルを作成すると共に、画素や各種基準値、補正値を用いて画像を補正した場合に最も適する手法を、機械学習アルゴリズムを用いて身体の部位ごとに学習し、画素から最適な補正方法を判定するモデルを作成している。
従来の技術において、機械学習を用いて医用画像を生成する場合、精度のよい医用画像を生成することと、処理時間を短くすることは互いにトレードオフの関係にあり、両者をバランス良く向上させるのは困難な場合があった。
特開２０１７－２２５６８８号公報
本発明が解決しようとする課題は、処理時間を短くしつつ、精度のよい医用画像を生成することである。
実施形態の医用情報処理装置は、取得部と、第１処理部と、第２処理部と、決定部と、を備える。取得部は、電磁波を被検体に作用させることで生成された第１データを取得する。第１処理部は、第１パラメータ付合成関数として機能して、前記取得部によって取得された第１データを前記第１パラメータ付合成関数の入力データとして、第２データを出力する。第２処理部は、第２パラメータ付合成関数として機能して、前記第１処理部によって出力された前記第２データを前記第２パラメータ付合成関数の入力データとして、第３データを出力する。決定部は、前記第１処理部によって出力された前記第２データを前記第２パラメータ付合成関数の入力データとして前記第２処理部に前記第３データを出力させるのか否かを決定する。
第１の実施形態に係る医用情報処理装置２００を含む医用情報処理システム１の構成の一例を示す図。 第１の実施形態に係る医用画像撮像装置１００の一例を示す図。 ｋ空間データＤｋを説明するための図。 ｋ空間データＤｋを説明するための図。 第１の実施形態に係る医用情報処理装置２００の一例を示す図。 医用画像再構成モデル３００の一例を示す図。 正方行列Ｍの一例を示す図。 本実施形態における処理回路２１０の一連の処理の流れを示すフローチャート。 医用画像再構成モデル３００の他の例を示す図。 第１の実施形態に係る医用画像撮像装置１００の他の例を示す図。 撮像スケジュールの一例を示す図。
以下、図面を参照しながら、医用情報処理装置、医用情報処理方法、およびプログラムの実施形態について詳細に説明する。
（第１の実施形態）
図１は、第１の実施形態に係る医用情報処理装置２００を含む医用情報処理システム１の構成の一例を示す図である。例えば、図１に示すように、医用情報処理システム１は、医用画像撮像装置１００と、医用情報処理装置２００とを備える。医用画像撮像装置１００および医用情報処理装置２００は、ネットワークＮＷを介して接続される。ネットワークＮＷは、例えば、ＷＡＮ（Wide Area Network）やＬＡＮ（Local Area Network）、インターネット、専用回線、無線基地局、プロバイダなどを含む。
医用画像撮像装置１００は、例えば、ＭＲＩ（Magnetic Resonance Imaging）装置や、ＣＴ（Computed Tomography）装置などを含む。ＭＲＩ装置は、例えば、被検体（例えば人体）に磁場を与えて、核磁気共鳴現象によって被検体内の水素原子核から発生する電磁波を、コイルを利用して受信し、その受信した電磁波に基づく信号を再構成することで医用画像（ＭＲ画像）を生成する装置である。ＣＴ装置は、例えば、被検体の周囲を回転するＸ線管から被検体にＸ線を照射すると共に、その被検体を通過したＸ線を検出し、検出したＸ線に基づく信号を再構成することで医用画像（ＣＴ画像）を生成する装置である。以下の説明では、一例として医用画像撮像装置１００がＭＲＩ装置であるものとして説明する。
医用情報処理装置２００は、一つまたは複数のプロセッサにより実現される。例えば、医用情報処理装置２００は、クラウドコンピューティングシステムに含まれるコンピュータであってもよいし、他の機器に依存せずに単独で動作するコンピュータ（スタンドアローンのコンピュータ）であってもよい。
［医用画像撮像装置の構成例］
図２は、第１の実施形態に係る医用画像撮像装置１００の一例を示す図である。図２に示すように、医用画像撮像装置１００は、静磁場磁石１０１と、傾斜磁場コイル１０２と、傾斜磁場電源１０３と、寝台１０４と、寝台制御回路１０５と、送信コイル１０６と、送信回路１０７と、受信コイル１０８と、受信回路１０９と、シーケンス制御回路１１０と、コンソール装置１２０とを備える。
静磁場磁石１０１は、中空の略円筒形状に形成された磁石であり、内部の空間に一様な静磁場を発生させる。静磁場磁石１０１は、例えば、永久磁石、超伝導磁石等である。傾斜磁場コイル１０２は、中空の略円筒形状に形成されたコイルであり、静磁場磁石１０１の内側に配置される。傾斜磁場コイル１０２は、互いに直交するｘ，ｙ，ｚの各軸に対応する３つのコイルが組み合わされて形成される。ｚ軸方向は、寝台１０４の天板１０４ａの長手方向を表し、ｘ軸方向は、ｚ軸方向に直交し、医用画像撮像装置１００が設置される部屋の床面に対して平行である軸方向を表し、ｙ軸方向は、床面に対して垂直方向である軸方向を表している。各軸方向に対応した３つのコイルは、傾斜磁場電源１０３から個別に電流を受けて、ｘ，ｙ，ｚの各軸に沿って磁場強度が変化する傾斜磁場を発生させる。なお、ｚ軸方向は、静磁場と同方向とする。
傾斜磁場電源１０３は、傾斜磁場コイル１０２に電流を供給する。ここで、傾斜磁場コイル１０２によって発生するｘ，ｙ，ｚの各軸の傾斜磁場は、例えば、スライス選択用傾斜磁場Ｇｓ、位相エンコード用傾斜磁場Ｇｅ、及びリードアウト用傾斜磁場Ｇｒにそれぞれ対応する。スライス選択用傾斜磁場Ｇｓは、任意に撮像断面を決めるために利用される。位相エンコード用傾斜磁場Ｇｅは、空間的位置に応じて磁気共鳴信号の位相を変化させるために利用される。リードアウト用傾斜磁場Ｇｒは、空間的位置に応じて磁気共鳴信号の周波数を変化させるために利用される。
寝台１０４は、被検体ＯＢが載置される天板１０４ａを備え、寝台制御回路１０５による制御のもと、天板１０４ａを、被検体ＯＢが載置された状態で傾斜磁場コイル１０２の空洞（撮像口）内へ挿入する。通常、寝台１０４は、長手方向が静磁場磁石１０１の中心軸と平行になるように設置される。寝台制御回路１０５は、コンソール装置１２０による制御のもと、寝台１０４を駆動して天板１０４ａを長手方向及び上下方向へ移動する。
送信コイル１０６は、傾斜磁場コイル１０２の内側に配置され、送信回路１０７からＲＦ（Radio Frequency）パルスの供給を受けて、高周波磁場を発生する。送信回路１０７は、対象とする原子核の種類及び磁場の強度で決まるラーモア周波数に対応するＲＦパルスを送信コイル１０６に供給する。
受信コイル１０８は、傾斜磁場コイル１０２の内側に配置され、高周波磁場の影響によって被検体ＯＢから発せられる磁気共鳴信号を受信する。受信コイル１０８は、磁気共鳴信号を受信すると、受信した磁気共鳴信号を受信回路１０９へ出力する。なお、第１の実施形態において、受信コイル１０８は、１以上、典型的には複数の受信コイルを有するコイルアレイである。以下、受信コイルがコイルアレイである場合、そのアレイを構成する各コイルを、コイルエレメントと称して説明する。
受信回路１０９は、受信コイル１０８から出力される磁気共鳴信号に基づいて磁気共鳴データを生成する。具体的には、受信回路１０９は、受信コイル１０８から出力される磁気共鳴信号をフーリエ変換することによって、デジタル信号である磁気共鳴データを生成する。また、受信回路１０９は、生成した磁気共鳴データをシーケンス制御回路１１０へ送信する。なお、受信回路１０９は、静磁場磁石１０１や傾斜磁場コイル１０２等を備える架台装置側に備えられていてもよい。受信コイル１０８の各コイルエレメントから出力される磁気共鳴信号は、適宜分配合成されることで受信回路１０９に出力される。
シーケンス制御回路１１０は、コンソール装置１２０から送信されるシーケンス情報に基づいて、傾斜磁場電源１０３、送信回路１０７及び受信回路１０９を駆動することによって、被検体ＯＢを撮像する。シーケンス情報は、撮像処理を行うための手順を定義した情報である。シーケンス情報には、傾斜磁場電源１０３が傾斜磁場コイル１０２に供給する電源の強さや電源を供給するタイミング、送信回路１０７が送信コイル１０６に送信するＲＦパルスの強さやＲＦパルスを印加するタイミング、受信回路１０９が磁気共鳴信号を検出するタイミング等が定義された情報が含まれる。
なお、シーケンス制御回路１１０は、傾斜磁場電源１０３、送信回路１０７及び受信回路１０９を駆動して被検体ＯＢを撮像し、受信回路１０９から磁気共鳴データを受信すると、受信した磁気共鳴データをコンソール装置１２０へ転送する。
コンソール装置１２０は、医用画像撮像装置１００の全体を制御したり、磁気共鳴データを収集したりする。例えば、コンソール装置１２０は、通信インターフェース１２２と、入力インターフェース１２４と、ディスプレイ１２６と、処理回路１３０と、メモリ（ストレージ）１５０とを備える。
通信インターフェース１２２は、例えば、ＮＩＣ（Network Interface Card）などの通信インターフェースを含む。通信インターフェース１２２は、ネットワークＮＷを介して医用情報処理装置２００と通信し、医用情報処理装置２００から情報を受信する。通信インターフェース１２２は、受信した情報を処理回路１３０に出力する。また、通信インターフェース１２２は、処理回路１３０による制御を受けて、ネットワークＮＷを介して接続された他の装置に情報を送信してもよい。
入力インターフェース１２４は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１３０に出力する。例えば、入力インターフェース１２４は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネルなどにより実現される。また、入力インターフェース１２４は、例えば、マイクなどの音声入力を受け付けるユーザインターフェースによって実現されてもよい。入力インターフェース１２４がタッチパネルである場合、後述するディスプレイ１２６は入力インターフェース１２４と一体として形成されてよい。
ディスプレイ１２６は、各種の情報を表示する。例えば、ディスプレイ１２６は、処理回路１３０によって生成された画像を表示したり、操作者からの各種の入力操作を受け付けるためのＧＵＩ（Graphical User Interface）などを表示したりする。例えば、ディスプレイ１２６は、ＬＣＤ（Liquid Crystal Display）や、ＣＲＴ（Cathode Ray Tube）ディスプレイ、有機ＥＬ（Electroluminescence）ディスプレイなどである。
処理回路１３０は、例えば、取得機能１３２と、通信制御機能１３４とを実行する。これらの機能（構成要素）は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等のハードウェアプロセッサ（あるいはプロセッサ回路）が、メモリ１５０に記憶されたプログラム（ソフトウェア）を実行することにより実現される。また、処理回路１３０の機能の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field-Programmable Gate Array）等のハードウェア（回路部：circuitry）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、上記のプログラムは、予めメモリ１５０に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体がコンソール装置１２０のドライブ装置に装着されることで記憶媒体からメモリ１５０にインストールされてもよい。
メモリ１５０は、例えば、ＲＡＭ（Random Access Memory）、フラッシュメモリなどの半導体メモリ素子、ハードディスク、光ディスクなどによって実現される。これらの非一過性の記憶媒体は、ＮＡＳ（Network Attached Storage）や外部ストレージサーバ装置といったネットワークＮＷを介して接続される他の記憶装置によって実現されてもよい。また、メモリ１５０には、ＲＯＭ（Read Only Memory）やレジスタなどの一過性の記憶媒体が含まれてもよい。
取得機能１３２は、シーケンス制御回路１１０から磁気共鳴データを取得する。磁気共鳴データは、上述したように、核磁気共鳴現象によって被検体ＯＢ内において発生した電磁波の信号（核磁気共鳴信号）をフーリエ変換することで得られるデータである。以下、磁気共鳴データを「ｋ空間データＤｋ」と称して説明する。ｋ空間とは、核磁気共鳴信号が１次元の波形として受信コイル１０８により繰り返し収集される際に、その１次元の波形が収集される空間（ｋ空間データＤｋが配列される空間）を表している。ｋ空間データＤｋは、「第１データ」の一例である。
図３および図４は、ｋ空間データＤｋを説明するための図である。図３に例示するように、被検体ＯＢが存在する実空間をｘ－ｙ－ｚ座標で表した場合、医用画像撮像装置１００は、例えば、half-Fourier法などを利用し、ｋ空間データＤｋを、ある軸方向（図示の例ではｘ方向）に関して間引いて収集することで、より高速に被検体ＯＢを撮像する場合がある。このような場合、図４に例示するように、ｋ空間データＤｋは、ｋ空間において、スパース（疎）なデータとなる。以下の説明では、一例として、医用画像撮像装置１００によってｋ空間データＤｋが間引かれて収集されるものとして説明するが、ｋ空間データＤｋは特に間引かれなくてもよい。
通信制御機能１３４は、取得機能１３２によってｋ空間データＤｋが取得されると、通信インターフェース２０２に医用情報処理装置２００と通信させ、その通信相手の医用情報処理装置２００にｋ空間データＤｋを送信する。また、通信制御機能１３４は、通信インターフェース２０２に医用情報処理装置２００と通信させ、その通信相手の医用情報処理装置２００から再構成画像を取得する。通信制御機能１３４は、再構成画像を取得すると、この再構成画像をディスプレイ１２６に出力してよい。これによって、ディスプレイ１２６には再構成画像が表示される。
［医用情報処理装置の構成例］
図５は、第１の実施形態に係る医用情報処理装置２００の一例を示す図である。図５に示すように、医用情報処理装置２００は、例えば、通信インターフェース２０２と、入力インターフェース２０４と、ディスプレイ２０６と、処理回路２１０と、メモリ２３０とを備える。
通信インターフェース２０２は、例えば、ＮＩＣなどの通信インターフェースを含む。通信インターフェース２０２は、ネットワークＮＷを介して医用画像撮像装置１００と通信し、医用画像撮像装置１００から情報を受信する。通信インターフェース２０２は、受信した情報を処理回路２１０に出力する。また、通信インターフェース２０２は、処理回路２１０による制御を受けて、ネットワークＮＷを介して接続された他の装置に情報を送信してもよい。他の装置とは、例えば、医師や看護師などの画像の読影者が利用可能な端末装置であってよい。通信インターフェース２０２は、「出力部」の一例である。
入力インターフェース２０４は、操作者からの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路２１０に出力する。例えば、入力インターフェース２０４は、マウスやキーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパネルなどにより実現される。また、入力インターフェース２０４は、例えば、マイクなどの音声入力を受け付けるユーザインターフェースによって実現されてもよい。入力インターフェース２０４がタッチパネルである場合、後述するディスプレイ２０６は入力インターフェース２０４と一体として形成されてよい。
ディスプレイ２０６は、各種の情報を表示する。例えば、ディスプレイ２０６は、処理回路２１０によって生成された画像（後述する再構成画像）を表示したり、操作者からの各種の入力操作を受け付けるためのＧＵＩなどを表示したりする。例えば、ディスプレイ２０６は、ＬＣＤや、ＣＲＴディスプレイ、有機ＥＬディスプレイなどである。ディスプレイ２０６は、「出力部」の他の例である。
処理回路２１０は、例えば、取得機能２１２と、再構成処理機能２１４と、データ整合評価機能２１６と、再構成画像評価機能２１８と、出力制御機能２２０とを実行する。取得機能２１２は、「取得部」の一例であり、再構成処理機能２１４は、「決定部」の一例である。データ整合評価機能２１６は、「第１評価部」の一例であり、再構成画像評価機能２１８は、「第２評価部」の一例である。出力制御機能２２０は、「出力制御部」の一例である。
これらの機能（構成要素）は、例えば、ＣＰＵやＧＰＵ等のハードウェアプロセッサ（あるいはプロセッサ回路）が、メモリ２３０に記憶されたプログラム（ソフトウェア）を実行することにより実現される。また、これらの複数の機能のうち一部または全部は、ＬＳＩ、ＡＳＩＣ、ＦＰＧＡ等のハードウェア（回路部：circuitry）によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。また、上記のプログラムは、予めメモリ２３０に格納されていてもよいし、ＤＶＤやＣＤ－ＲＯＭなどの着脱可能な記憶媒体に格納されており、記憶媒体が医用情報処理装置２００のドライブ装置に装着されることで記憶媒体からメモリ２３０にインストールされてもよい。
メモリ２３０は、例えば、ＲＡＭ、フラッシュメモリなどの半導体メモリ素子、ハードディスク、光ディスクなどによって実現される。これらの非一過性の記憶媒体は、ＮＡＳや外部ストレージサーバ装置といったネットワークＮＷを介して接続される他の記憶装置によって実現されてもよい。また、メモリ２３０には、ＲＯＭやレジスタなどの一過性の記憶媒体が含まれてもよい。メモリ２３０には、例えば、医用画像再構成モデル情報２３２などが格納される。これについては後述する。
取得機能２１２は、通信インターフェース２０２に医用画像撮像装置１００と通信させ、その通信相手の医用画像撮像装置１００からｋ空間データＤｋを取得する。
再構成処理機能２１４は、医用画像再構成モデル情報２３２が示す医用画像再構成モデル３００に従って、取得機能２１２によって取得されたｋ空間データＤｋから医用画像（ＭＲ画像）を再構成する。ｋ空間データＤｋは、例えば、ｘ軸方向およびｙ軸方向のうち一方の軸方向を行とし、他方の軸方向を列とした行列によって表されてよい。この場合、ｋ空間データＤｋを表す行列の各要素は、例えば、多次元のベクトルとして表される。上述したように、ｋ空間データＤｋが間引かれた場合、ｋ空間データＤｋを表す行列において、間引かれたｋ空間データＤｋに対応した要素値には、例えば、間引かれていないｋ空間データＤｋに対応した要素値と識別可能な所定の値（例えば０）または所定のデータ表現（例えばｎｕｌｌ）が対応付けられる。
医用画像再構成モデル情報２３２は、医用画像再構成モデル３００を定義した情報（プログラムまたはデータ構造）である。例えば、プロセッサが医用画像再構成モデル情報２３２を実行することによって、医用画像再構成モデル３００の機能が再構成処理機能２１４の一部として実現されてよい。医用画像再構成モデル３００は、例えば、直列に接続された複数のＤＮＮ（Deep Neural Network(s)）を含む。医用画像再構成モデル３００に含まれる各ＤＮＮは、「パラメータ付合成関数」の一例である。
医用画像再構成モデル情報２３２には、例えば、各ＤＮＮを構成する入力層、一以上の隠れ層（中間層）、出力層の其々に含まれるニューロン（ユニット）が互いにどのように結合されるのかという結合情報や、結合されたニューロン間で入出力されるデータに付与される結合係数がいくつであるのかという重み情報などが含まれる。結合情報は、例えば、各層に含まれるニューロン数や、各ニューロンの結合先のニューロンの種類を指定する情報、各ニューロンを実現する活性化関数、隠れ層のニューロン間に設けられたゲートなどの情報を含む。ニューロンを実現する活性化関数は、例えば、正規化線形関数（ＲｅＬＵ関数）であってもよいし、シグモイド関数や、ステップ関数、ハイパポリックタンジェント関数などのその他の関数であってもよい。ゲートは、例えば、活性化関数によって返される値（例えば１または０）に応じて、ニューロン間で伝達されるデータを選択的に通過させたり、重み付けたりする。結合係数は、活性化関数のパラメータであり、例えば、ニューラルネットワークの隠れ層において、ある層のニューロンから、より深い層のニューロンにデータが出力される際に、出力データに対して付与される重みを含む。また、結合係数は、各層の固有のバイアス成分などを含んでもよい。
［医用画像再構成モデルの構成例］
図６は、医用画像再構成モデル３００の一例を示す図である。図示の例では、医用画像再構成モデル３００は、２つのＤＮＮが直列に接続されたモデルを表している。図示のように、医用画像再構成モデル３００は、例えば、変換レイヤ３０２と、アクティベーションレイヤ３０４と、第１変調レイヤ３０６と、第１ＤＮＮ３０８と、第１エンコーダ３１０と、第１デコーダ３１２と、第２変調レイヤ３１４と、第２ＤＮＮ３１６と、第２エンコーダ３１８と、第２デコーダ３２０とを備えてよい。なお、図示の例では、医用画像再構成モデル３００はＤＮＮを２つとしているがこれに限られず、３つ以上であってよい。第１ＤＮＮ３０８、第１エンコーダ３１０、および第１デコーダ３１２を合わせたものは、「第１処理部」の一例であり、第１ＤＮＮ３０８、第１エンコーダ３１０、および第１デコーダ３１２の結合情報（例えば活性化関数など）は、「第１パラメータ付合成関数」の一例である。第２ＤＮＮ３１６、第２エンコーダ３１８、および第２デコーダ３２０は、「第２処理部」の一例であり、第２ＤＮＮ３１６、第２エンコーダ３１８、および第２デコーダ３２０の結合情報（例えば活性化関数など）は、「第２パラメータ付合成関数」の一例である。なお、医用画像再構成モデル３００が３段以上のＤＮＮによって構成される場合、医用画像再構成モデル３００に含まれる３つ以上のＤＮＮのうち、いずれか１つのＤＮＮが「第１処理部」の一部であってよく、「第１処理部」としたＤＮＮの後段に設けられたＤＮＮが「第２処理部」の一部であってよい。
変換レイヤ３０２には、例えば、ｋ空間データＤｋを表す行列が入力される。変換レイヤ３０２は、例えば、ＣＮＮ（Convolutional Neural Network）などに含まれる畳み込み層と呼ばれる隠れ層であってよい。畳み込み層は、入力された行列に対して、予め決められたフィルタを畳み込み（窓関数を乗算し）、そのフィルタと重なる行列の各要素を、一つの単位行列に圧縮する。このような隠れ層は、エンコーダとも呼ばれる。単位行列は、例えば、任意の次元数の行列によって表されてよい。単位行列において、畳み込みにより得られた単変量値（特徴値）が、行列の要素値として対応付けられる。
例えば、変換レイヤ３０２は、行列であるｋ空間データＤｋ上でフィルタをシフト移動させながら畳み込み処理を繰り返し、複数の単位行列を生成する。例えば、変換レイヤ３０２は、１２８回畳み込み処理を繰り返して、１２８個の単位行列を生成する。以下の説明では、各単位行列を、チャネルとして表現する場合がある。変換レイヤ３０２は、生成した複数の単位行列をアクティベーションレイヤ３０４に出力する。
アクティベーションレイヤ３０４は、例えば、プーリング層や、上述した正規化線形関数やシグモイド関数などの活性化関数などによって実現されてよい。アクティベーションレイヤ３０４がプーリング層を含む場合、アクティベーションレイヤ３０４は、単位行列の要素値を、単位行列に含まれる全要素値の平均値や最大値といった代表値に置き換えることで、単位行列の次元数を圧縮する。また、アクティベーションレイヤ３０４に含まれる各ノードの活性化関数が正規化線形関数やシグモイド関数などである場合、アクティベーションレイヤ３０４は、変換レイヤ３０２により出力された単位行列の各要素値がマイナスである場合、その要素値をゼロにし、要素値がプラスである場合、その要素値を０に近い値程小さくし、０から遠い値程大きくする。そして、アクティベーションレイヤ３０４は、処理した単位行列を第１変調レイヤ３０６および第１ＤＮＮ３０８に出力する。
第１変調レイヤ３０６は、例えば、重みを乗算するレイヤやスケーリングを行うレイヤなどによって実現されてよい。例えば、第１変調レイヤ３０６が重みを乗算するレイヤである場合、第１変調レイヤ３０６の各ノードの活性化関数は、単位行列の要素値が閾値以下である場合に要素値に乗算する重みを１とし、要素値が閾値を超える場合に要素値に乗算する重みを０とするステップ関数であってよい。すなわち、第１変調レイヤ３０６は、閾値よりも高い要素値を逓減させるローパスフィルタであってよい。
第１ＤＮＮ３０８は、例えば、上述したＣＮＮや、ＲＮＮ（Reccurent Neural Network）、ＦＣＮＮ（Fully-Connected Neural Network）などの種々のニューラルネットワークのいずれかによって実現されてもよいし、複数のニューラルネットワークの組み合わせによって実現されてもよい。本実施形態では、第１ＤＮＮ３０８の種類に特段の制約はなく、任意のニューラルネットワークによって実現されてよい。
例えば、第１ＤＮＮ３０８は、取得機能２１２によって取得されたｋ空間データＤｋが、ｋ空間データＤｋの間引かれたデータである場合を想定して、間引かれて存在しないｋ空間データＤｋ（要素値）の元となる特徴値を予測し、その予測した特徴値を要素値とした行列を出力するように学習される。すなわち、第１ＤＮＮ３０８は、間引かれて存在しないデータを補完したｋ空間データＤｋの元となる単位行列を出力するように学習される。そのため、第１ＤＮＮ３０８は、アクティベーションレイヤ３０４から複数の単位行列が入力されると、例えば、本来あるべきｋ空間データＤｋが存在しないことから、フィルタとの畳み込みによって得られる特徴値が小さくなるような単位行列について、本来であれば収集されるｋ空間データＤｋから得られるであろう特徴値を予測する。これによって、第１ＤＮＮ３０８は、入力された複数の単位行列（例えば１２８チャネルの単位行列）から、予測した特徴値を要素値とした１つ（１チャネル）の単位行列を生成する。
第１エンコーダ３１０は、例えば、畳み込み層によって実現される。例えば、第１エンコーダ３１０は、第１変調レイヤ３０６からの出力データと、第１ＤＮＮ３０８からの出力データとに基づいて、行と列の数がｋ空間データＤｋの行列と同じ行列を生成する。例えば、第１ＤＮＮ３０８に対して、１２８個（１２８チャネル）の単位行列が入力される場合、第１変調レイヤ３０６に対しても、１２８個の単位行列が入力される。そのため、第１変調レイヤ３０６からは、１２８個の単位行列が出力される。第１エンコーダ３１０は、第１ＤＮＮ３０８により出力された１個の単位行列と、第１変調レイヤ３０６により出力された１２８個の単位行列とを合わせた合計１２９個（１２９チャネル）の単位行列に基づいて、１つ（１チャネル）の行列を生成する。この行列は、第１ＤＮＮ３０８により予測されたｋ空間データＤｋを要素値とする行列であり、ｋ空間データＤｋの行列と行数および列数が同じ行列である。
第１エンコーダ３１０は、生成した行列に対して逆フーリエ変換を行うことで、ｋ空間データＤｋを用いて再構成した医用画像（以下、再構成画像と称する）を生成し、これを出力する。なお、第１エンコーダ３１０は、逆フーリエ変換を行わずに、または逆フーリエ変換を行うと共に、生成した行列をそのまま出力してもよい。第１エンコーダ３１０により出力される再構成画像または行列は、「第２データ」の一例である。
第１デコーダ３１２は、例えば、畳み込み層によって実現される。例えば、第１デコーダ３１２は、第１エンコーダ３１０により再構成画像が出力された場合、その再構成画像に対してフーリエ変換を行うことで、再構成画像から、複数のｋ空間データＤｋの其々を要素値とした行列を生成する。また、第１デコーダ３１２は、第１エンコーダ３１０により再構成画像が出力される代わりにｋ空間データＤｋを要素値とした行列が出力された場合、フーリエ変換を行わなくてよい。第１デコーダ３１２により出力される行列は、「第２データ」の他の例である。
第１デコーダ３１２は、第１エンコーダ３１０により出力された再構成画像に対してフーリエ変換を行うことで生成した行列、または第１エンコーダ３１０により出力された行列上でフィルタをシフト移動させながら畳み込み処理を繰り返し、複数の単位行列を生成する。例えば、第１デコーダ３１２は、変換レイヤ３０２と同様に、１２８回畳み込み処理を繰り返して、１２８個（１２８チャネル）の単位行列を生成してよい。第１デコーダ３１２は、生成した複数の単位行列を、第２変調レイヤ３１４および第２ＤＮＮ３１６に出力する。
第２変調レイヤ３１４は、第１変調レイヤ３０６と同様に、例えば、重みを乗算するレイヤやスケーリングを行うレイヤなどによって実現されてよい。例えば、第２変調レイヤ３１４は、ローパスフィルタを含む場合、第１変調レイヤ３０６により出力された単位行列、第１ＤＮＮ３０８により出力された単位行列、および第１デコーダ３１２により出力された単位行列の其々の要素値のうち、閾値よりも高い要素値については０などの値に置き換えることで、要素値を逓減させてよい。
第２ＤＮＮ３１６は、第１ＤＮＮ３０８と同様に、例えば、ＣＮＮや、ＲＮＮ、ＦＣＮＮなどの種々のニューラルネットワークのいずれかによって実現されてもよいし、複数のニューラルネットワークの組み合わせによって実現されてもよい。本実施形態では、第２ＤＮＮ３１６の種類に特段の制約はなく、任意のニューラルネットワークによって実現されてよい。
第２ＤＮＮ３１６は、ある行列が入力されると、別の行列を出力するように学習される。より具体的には、第２ＤＮＮ３１６は、ある単位行列が入力されると、前段の第１ＤＮＮ３０８により予測されたｋ空間データＤｋよりも精度良く予測されたｋ空間データＤｋの元となる特徴値を要素値とする単位行列を出力するように学習される。従って、第２ＤＮＮ３１６は、第１変調レイヤ３０６により出力された単位行列と、第１ＤＮＮ３０８により出力された単位行列と、第１デコーダ３１２により出力された単位行列とが入力された場合、それらの複数の単位行列から、予測した特徴値を要素値とした１つの単位行列を生成する。
第２エンコーダ３１８は、例えば、畳み込み層によって実現される。例えば、第２エンコーダ３１８は、第２変調レイヤ３１４からの出力データと、第２ＤＮＮ３１６からの出力データとに基づいて、行と列の数がｋ空間データＤｋの行列と同じ行列を生成する。第２エンコーダ３１８は、生成した行列に対して逆フーリエ変換を行うことで、ｋ空間データＤｋを用いて再構成した再構成画像を生成し、これを出力する。なお、第２エンコーダ３１８は、逆フーリエ変換を行わずに、または逆フーリエ変換を行うと共に、生成した行列をそのまま出力してもよい。
第２デコーダ３２０は、例えば、畳み込み層によって実現される。例えば、第２デコーダ３２０は、第２エンコーダ３１８により再構成画像が出力された場合、その再構成画像に対してフーリエ変換を行うことで、再構成画像から、複数のｋ空間データＤｋの其々を要素値とした行列を生成する。また、第２デコーダ３２０は、第２エンコーダ３１８により再構成画像が出力される代わりにｋ空間データＤｋを要素値とした行列が出力された場合、フーリエ変換を行わなくてよい。第２デコーダ３２０により出力される再構成画像または行列は、「第３データ」の一例である。
第２デコーダ３２０は、第２エンコーダ３１８により出力された再構成画像に対してフーリエ変換を行うことで生成した行列、または第２エンコーダ３１８により直接出力された行列上でフィルタをシフト移動させながら畳み込み処理を繰り返し、複数の単位行列を生成する。例えば、第２デコーダ３２０は、変換レイヤ３０２と同様に、１２８回畳み込み処理を繰り返して、１２８個（１２８チャネル）の単位行列を生成してよい。第２デコーダ３２０は、生成した複数の単位行列を、更に後段のＤＮＮ（不図示）に出力する。第２デコーダ３２０により出力される行列は、「第３データ」の他の例である。
このように、前段に設けられたＤＮＮの処理結果を、後段に設けられたＤＮＮに伝搬させることを繰り返すことで、より後段のＤＮＮほど、間引かれたｋ空間データＤｋを精度良く予測することができる。言い換えれば、前段のＤＮＮの処理結果を、より後段のＤＮＮに伝搬させるほど、より精度の高い（画質の良い）再構成画像を生成することができる。
図５の説明に戻る。データ整合評価機能２１６は、医用画像再構成モデル３００に含まれる各エンコーダによって生成された再構成画像に変換される前の行列、すなわちｋ空間データＤｋについて評価する。例えば、データ整合評価機能２１６は、数式（１）に基づいて、ｋ空間データＤｋを評価する。なお、以下ではＣａｒｔｅｓｉａｎサンプリングを例として説明するが、Ｒａｄｉａｌスキャンに代表されるＮｏｎＣａｒｔｅｓｉａｎサンプリングについても、以下で説明する行列ＭＦをＲａｄｉａｌスキャンの収集行列に置き換えることで、本発明の適用が可能である。
Figure 0007300811000001
式中ｙ（→）は、医用画像撮像装置１００によって収集されたｋ空間データＤｋの各要素を示すベクトルを表している。ｘ（→）は、各エンコーダ（第１エンコーダ３１０や第２エンコーダ３１８など）により生成された行列（再構成画像に変換される前の行列）の各行成分を示すベクトルを表している。言い換えれば、ｘ（→）は、医用画像再構成モデル３００によって予測された各ｋ空間データＤｋの要素を示すベクトルを表している。括弧付の矢印（→）は、式中のベクトルの記号を表している。
また、ＦおよびＭは、正方行列を表している。正方行列Ｆは、ｘ（→）をフーリエ変換する行列を表している。正方行列Ｍは、ｘ（→）の要素をマスキングする行列を表している。
図７は、正方行列Ｍの一例を示す図である。図中ｅ１１、ｅ１２、…、ｅｍｎは、医用画像撮像装置１００によって収集されたｋ空間データＤｋを表す行列の各要素、すなわちｋ空間データＤｋの要素を表している。例えば、医用画像撮像装置１００によって、２行目や４行目などのｋ空間データＤｋが間引かれて収集された場合、｛ｅ２１、ｅ２２、…、ｅ２ｎ｝や｛ｅ４１、ｅ４２、…、ｅ４ｎ｝などの要素値は、０などの所定の値に置き換わったり、ｎｕｌｌなどの所定のデータ表現に置き換わったりする。この場合、正方行列Ｍにおいて、ｋ空間データＤｋが間引かれずに収集されている行の要素値については１、ｋ空間データＤｋが間引かれている行の要素値については０となる。図示の例では、ｋ空間データＤｋを表す行列において、奇数行目が、ｋ空間データＤｋが間引かれずに収集されている行を表しており、偶数行目が、ｋ空間データＤｋが間引かれている行を表していることから、正方行列Ｍは、奇数行目の要素値が１、偶数行目の要素値が０となる行列となる。
このように、数式（１）の左辺項は、医用画像撮像装置１００によって実際に収集された複数のｋ空間データＤｋを表しており、数式（１）の右辺項は、医用画像再構成モデル３００によって予測された複数のｋ空間データＤｋを表している。そのため、データ整合評価機能２１６は、数式（１）の左辺項と右辺項とを比較し、これらの差分を導出することで、収集されたｋ空間データＤｋと、予測されたｋ空間データＤｋとの互いの整合性を評価する。
例えば、データ整合評価機能２１６は、取得されたｋ空間データＤｋを表す行列の各行ベクトルｙ（→）と、予測されたｋ空間データＤｋを表す行列の各行ベクトルｘ（→）とを各行単位で比較し、行ごとに要素値の差分を導出する。
例えば、実測値のｙ（→）が数式（２）によって表され、予測値のｘ（→）が数式（３）によって表され、正方行列ＭおよびＦを乗算した予測値のｘ（→）が数式（４）によって表されるものとする。このような場合、データ整合評価機能２１６は、数式（２）と数式（４）とを比較して、１行目の要素値の差分を０．２として導出し、２行目の要素値の差分を０として導出し、３行目の要素値の差分を０．２として導出し、４行目の要素値の差分を０として導出する。
Figure 0007300811000002
Figure 0007300811000003
Figure 0007300811000004
例えば、医用画像再構成モデル３００に含まれる各ＤＮＮが理想的に１００［％］の精度でｋ空間データＤｋを予測できると仮定した場合、ｘ（→）に対して、正方行列ＭおよびＦを乗算すると、ｘ（→）はｙ（→）と一致し、ｘ（→）とｙ（→）との間に差分が生じない。すなわち、収集されたｋ空間データＤｋと、予測されたｋ空間データＤｋとが互いに整合する。しかしながら、実用上、ＤＮＮにｋ空間データＤｋを完全な精度で予測させることは容易ではなく、ｘ（→）とｙ（→）との間に少なからず差分が生じ、ｘ（→）とｙ（→）とが互いに整合しない傾向にある。
そのため、例えば、データ整合評価機能２１６は、ｘ（→）とｙ（→）との間に生じた差分を打ち消すために、言い換えれば、ｘ（→）とｙ（→）とを整合させるために、予測値のｘ（→）を実測値のｙ（→）に更新する。上述した数式（２）から（４）の数値例の場合、データ整合評価機能２１６は、ｘ（→）の１行目の要素値０．３を、ｙ（→）の１行目の要素値である０．１に更新し、ｘ（→）の３行目の要素値０．６を、ｙ（→）の３行目の要素値である０．４に更新する。なお、ｘ（→）およびｙ（→）が転置ベクトルによって表される場合、上記の○○行目は○○列目と読み替えてよい。
また、データ整合評価機能２１６は、ｘ（→）とｙ（→）とを整合させるために、ｘ（→）の要素値を、ｙ（→）の要素値に更新する代わりに、ｘ（→）の要素値を、ｘ（→）の要素値とｙ（→）の要素値との平均値などの統計的指標値に更新してもよい。これによって、後段のＤＮＮには、ｙ（→）に基づき更新されたｘ（→）を要素値とする行列が入力される。
また、データ整合評価機能２１６は、ｘ（→）の要素値を、数式（５）をｘ（→）について最小化する問題の解（あるいはその近似解）で置き換えても良い。この方法はＮｏｎＣａｒｔｅｓｉａｎデータの場合にも適用することができる。
Figure 0007300811000005
数式（５）におけるｘ０（→）は、更新前のｘ（→）を表し、ｘ（→）は、更新後のｘ（→）を表し、ｙ（→）は、収集されたｋ空間データＤｋの各要素を示すベクトルを表し、λは、０以上の任意の定数を表している。
なお、上述した数式（２）から（４）では、説明を簡略化するために、一例として要素数を４つとして説明したがこれに限られず、例えば、２５６×２５６要素のようにｋ空間データＤｋを表す行列に応じて適時変更してよい。
再構成画像評価機能２１８は、医用画像再構成モデル３００に含まれる各エンコーダによって出力された再構成画像について評価する。
例えば、再構成画像評価機能２１８は、医用画像再構成モデル３００に含まれる複数のエンコーダのうち、最も前段の第１エンコーダ３１０によって再構成画像が出力されると、この再構成画像から統計的なノイズの量を導出し、導出したノイズの量が、ある閾値未満であるか否かを判定する。ノイズの量に対する閾値は、例えば、再構成画像が十分な画質であると見做せる程度の値に設定される。再構成画像評価機能２１８は、ノイズの量が閾値未満であると判定した場合、再構成画像が十分な画質であると評価（判定）する。一方、再構成画像評価機能２１８は、ノイズの量が閾値以上であると判定した場合、再構成画像が十分な画質でないと評価（判定）する。
上述した再構成処理機能２１４は、再構成画像評価機能２１８により第１エンコーダ３１０によって出力された再構成画像が十分な画質であると評価された場合、再構成画像を第１デコーダ３１２に入力せず、後段の第２ＤＮＮ３１６に再構成画像を生成させない。一方、再構成処理機能２１４は、再構成画像評価機能２１８により第１エンコーダ３１０によって出力された再構成画像が十分な画質でないと評価された場合、再構成画像を第１デコーダ３１２に入力して、後段の第２ＤＮＮ３１６に再構成画像を生成させる。
これを受けて、再構成画像評価機能２１８は、２段目の第２エンコーダ３１８によって再構成画像が出力されるまで待機し、第２エンコーダ３１８によって再構成画像が出力されると、この再構成画像から統計的なノイズの量を導出し、導出したノイズの量が閾値未満であるか否かを判定する。再構成処理機能２１４は、再構成画像評価機能２１８により第２エンコーダ３１８によって出力された再構成画像についても十分な画質でないと評価された場合、更に後段のＤＮＮに再構成画像を生成させる。このように、再構成画像評価機能２１８によって再構成画像が十分な画質であると評価されるまで、再構成処理機能２１４は、医用画像再構成モデル３００に再構成画像の生成を続けさせる。
また、再構成画像評価機能２１８は、第２エンコーダ３１８以降の各エンコーダによって出力された再構成画像を評価する際に、ノイズの量を基に評価するのに代えて、或いは加えて、前段の再構成画像と当段の再構成画像との差分（絶対値の差や二乗平均など）が閾値未満であるか否かを判定し、前段の再構成画像との差分が閾値未満であると判定した場合、当段の再構成画像が十分な画質であると評価し、前段の再構成画像との差分が閾値以上であると判定した場合、当段の再構成画像が十分な画質でないと評価してもよい。
また、再構成画像評価機能２１８は、再構成画像に、ある特徴をもつノイズが含まれているか否かに応じて、再構成画像の画質を評価してもよい。例えば、医用画像撮像装置１００によって生成された医用画像の中心に楕円形状の物体が存在する場合、再構成画像の上下に半円形状の物体がノイズとして出現しやすいことが知られている。再構成画像評価機能２１８は、このような元の画像に存在する物体の形状や位置に応じて出現し得るノイズを、再構成画像から検出した場合、再構成画像が十分な画質でないと評価してよい。
また、再構成処理機能２１４は、再構成画像評価機能２１８による再構成画像の画質の評価結果に基づいて、後段の第２ＤＮＮ３１６に再構成画像を生成させるか否かを決定するものとして説明したがこれに限られない。例えば、再構成処理機能２１４は、データ整合評価機能２１６によるｋ空間データＤｋの整合性の評価結果に基づいて、後段の第２ＤＮＮ３１６に再構成画像を生成させるか否かを決定してよい。例えば、再構成処理機能２１４は、データ整合評価機能２１６によって、予測されたｋ空間データＤｋを表すｘ（→）と、収集されたｋ空間データＤｋを表すｙ（→）との間に差分が生じ、ｘ（→）とｙ（→）とが整合しないと評価された場合、再構成画像を第１デコーダ３１２に入力して、後段の第２ＤＮＮ３１６に再構成画像を生成させる。また、再構成処理機能２１４は、データ整合評価機能２１６によって、ｘ（→）とｙ（→）とが整合すると評価された場合、再構成画像を第１デコーダ３１２に入力せず、後段の第２ＤＮＮ３１６に再構成画像を生成させない。
出力制御機能２２０は、例えば、通信インターフェース２０２を介して接続された医用画像撮像装置１００や端末装置などに、再構成画像評価機能２１８によって十分な画質であると評価された再構成画像を出力する。また、出力制御機能２２０は、ディスプレイ２０６に再構成画像を出力（表示）させてもよい。
例えば、出力制御機能２２０は、１段目の第１エンコーダ３１０によって出力された再構成画像が十分な画質であると評価された場合、すなわち後段の第２ＤＮＮ３１６に再構成画像を生成させないことが決定された場合、第１エンコーダ３１０によって出力された再構成画像を出力する。また、出力制御機能２２０は、１段目の第１エンコーダ３１０によって出力された再構成画像が十分な画質でないと評価され、後段の第２ＤＮＮ３１６に再構成画像を生成させることが決定された場合において、更に後段の第２エンコーダ３１８によって出力された再構成画像が十分な画質であると評価された場合、第２エンコーダ３１８によって出力された再構成画像を出力する。このように、出力制御機能２２０は、画質が十分であると評価された時点の再構成画像を出力する。なお、出力制御機能２２０は、再構成画像を生成する処理回数が予め決められた上限回数に達するまでに、十分な画質の再構成画像が各エンコーダによって出力されない場合、例えば、最後に出力された再構成画像を画質の評価結果に依らずに出力してもよい。この際、出力制御機能２２０は、再構成画像と共に、再構成画像の画質が十分でないことを読影者に通知するための文字や画像を出力してよい。
また、出力制御機能２２０は、再構成画像評価機能２１８によって十分な画質であると評価された再構成画像を出力するのに代えて、或いは加えて、データ整合評価機能２１６によってｙ（→）と整合すると評価されたｋ空間データＤｋ（すなわちｘ（→））に基づく再構成画像を出力してもよい。
［処理フロー］
以下、本実施形態における処理回路２１０の一連の処理の流れをフローチャートに即して説明する。図８は、本実施形態における処理回路２１０の一連の処理の流れを示すフローチャートである。本フローチャートの処理は、例えば、取得機能２１２によってｋ空間データＤｋが取得された場合に開始され、再構成画像の生成処理が予め決められた上限回数に達するまで、所定の周期で繰り返し行われてよい。
まず、再構成処理機能２１４は、医用画像再構成モデル情報２３２が示す医用画像再構成モデル３００の第ｎ段目のＤＮＮに、第ｎ－１段目のＤＮＮの処理結果を入力する（ステップＳ１００）。「ｎ」は、医用画像再構成モデル３００に含まれる複数のＤＮＮのうち、ある着目する一つのＤＮＮを示すテンポラリパラメータを表している。例えば、ｎが１である場合、再構成処理機能２１４は、第１段目の第１ＤＮＮ３０８に対して、変換レイヤ３０２およびアクティベーションレイヤ３０４において処理されたｋ空間データＤｋを入力する。これによって、第１段目の第１ＤＮＮ３０８によって再構成画像が生成される。
次に、再構成画像評価機能２１８は、第ｎ段目のＤＮＮの処理結果である再構成画像を取得し（ステップＳ１０２）、取得した再構成画像が十分な画質であるか否かを判定する（ステップＳ１０４）。
再構成画像評価機能２１８によって再構成画像が十分な画質であると判定された場合、データ整合評価機能２１６は、十分な画質であると判定された再構成画像に変換される前の情報であるｋ空間データＤｋ（すなわちｘ（→））と、Ｓ１００の処理でＤＮＮに入力されたｋ空間データＤｋ（すなわちｙ（→））とを比較して、ｘ（→）とｙ（→）とが互いに整合するか否かを判定する（ステップＳ１０６）。なお、Ｓ１０４の処理とＳ１０６の処理との順番は反対であってもよい。
出力制御機能２２０は、例えば、再構成画像評価機能２１８によって再構成画像が十分な画質であると判定され、更に、データ整合評価機能２１６によって再構成画像の元となったｘ（→）とｙ（→）とが互いに整合すると判定された場合、Ｓ１０２の処理で取得された第ｎ段目のＤＮＮの処理結果である再構成画像を出力する（ステップＳ１０８）。なお、出力制御機能２２０は、上述したように、再構成画像評価機能２１８によって再構成画像が十分な画質であると判定された場合、またはデータ整合評価機能２１６によって再構成画像の元となったｘ（→）とｙ（→）とが互いに整合すると判定された場合のいずれかに再構成画像を出力してもよい。
一方、再構成処理機能２１４は、例えば、再構成画像評価機能２１８によって再構成画像が十分な画質でないと判定された場合、或いは、データ整合評価機能２１６によって再構成画像の元となったｘ（→）とｙ（→）とが互いに整合しないと判定された場合、テンポラリパラメータｎをインクリメントする（ステップＳ１１０）。そして、再構成処理機能２１４は、Ｓ１００の処理に戻る。これによって、再構成処理機能２１４は、例えば、ｎを１として、第１段目の第１ＤＮＮ３０８を着目するＤＮＮとしていた場合、第２段目の第２ＤＮＮ３１６を着目するＤＮＮに変更する。この結果、再構成処理機能２１４は、第２段目の第２ＤＮＮ３１６に対して、第１デコーダ３１２の処理結果を入力する。これによって本フローチャートの処理が終了する。
［医用画像再構成モデルの学習方法］
以下、医用画像再構成モデル３００の学習方法について説明する。例えば、再構成処理機能２１４は、医用画像再構成モデル３００の最前段のＤＮＮ、すなわち第１ＤＮＮ３０８に対して、間引いていないｋ空間データＤｋを入力し、その第１ＤＮＮ３０８によって生成された再構成画像を教師データとして予め取得しておく。そして、再構成処理機能２１４は、第１ＤＮＮ３０８に対して、間引いたｋ空間データＤｋを入力し、その第１ＤＮＮ３０８によって生成された再構成画像が、予め取得しておいた教師データである再構成画像に近づくように、第１ＤＮＮ３０８、変換レイヤ３０２、アクティベーションレイヤ３０４、第１変調レイヤ３０６、第１エンコーダ３１０などのパラメータ（例えば、カーネル関数の係数など）を学習させる。例えば、再構成処理機能２１４は、ＳＧＤ(Stochastic Gradient Descent）、Momentum ＳＧＤ、AdaGrad、RMSprop、AdaDelta、Ａｄａｍ(Adaptive moment estimation)などの勾配法を利用してパラメータを学習させてよい。
また、再構成処理機能２１４は、２段目以降の第ｎ段目のＤＮＮに対しては、間引いていないｋ空間データＤｋを入力したときに第ｎ－１段目のＤＮＮによって生成された再構成画像を入力し、その第ｎ段目のＤＮＮによって生成された再構成画像を教師データとして予め取得しておく。この際、第ｎ－１段目のＤＮＮについては十分に学習されているものとする。そして、再構成処理機能２１４は、第ｎ段目のＤＮＮに対して、間引いたｋ空間データＤｋを入力したときに第ｎ－１段目のＤＮＮによって生成された再構成画像を入力し、その第ｎ段目のＤＮＮによって生成された再構成画像が、教師データである再構成画像に近づくように、第ｎ段目のＤＮＮ、第ｎ段目の変調レイヤ、第ｎ－１段目のデコーダ、第ｎ段目のエンコーダなどのパラメータを学習させる。
例えば、ｎを２とした場合、再構成処理機能２１４は、間引いていないｋ空間データＤｋを入力したときに第１ＤＮＮ３０８によって生成された再構成画像を第１デコーダ３１２が処理した結果（行列）を第２ＤＮＮ３１６に対して入力し、その第２ＤＮＮ３１６によって生成された再構成画像を教師データとして取得する。次に、再構成処理機能２１４は、間引いたｋ空間データＤｋを入力したときに第１ＤＮＮ３０８によって生成された再構成画像について第１デコーダ３１２が処理した結果（行列）を第２ＤＮＮ３１６に対して入力し、その第２ＤＮＮ３１６によって生成された再構成画像を、教師データである再構成画像に近づけるように、第２ＤＮＮ３１６、第２変調レイヤ３１４、第１デコーダ３１２、第２エンコーダ３１８などのパラメータを学習させる。
このように、第１ＤＮＮ３０８を十分に学習してから、その十分に学習された第１ＤＮＮ３０８の処理結果を基に、第２ＤＮＮ３１６を学習し、更に後段のＤＮＮを学習していくことを繰り返すことで、直列に接続された複数のＤＮＮのうち、前段から後段に向けて順番にＤＮＮを学習させていく。この結果、各ＤＮＮ単位でパラメータを学習しているため、画像の再構成の処理を途中で打ち切った場合であっても、画質が良好な再構成画像を生成することができる。なお、前段のＤＮＮから順番に学習させてくことに代えて、最後段のＤＮＮの出力結果である再構成画像が、間引かないｋ空間データＤｋからフーリエ変換によって得られた再構成画像（教師データ）に近づくように、一気通貫で直列接続された全てのＤＮＮのパラメータを学習させてもよい。
以上説明した第１の実施形態によれば、ｋ空間データＤｋ（第１データの一例）を取得する取得機能２１２（取得部の一例）と、取得機能２１２によって取得されたｋ空間データＤｋを基に、第１ＤＮＮ３０８および第１エンコーダ３１０に再構成画像（第２データの一例）を出力させ、第１ＤＮＮ３０８および第１エンコーダ３１０によって出力された再構成画像に対して第１デコーダ３１２が処理した結果（行列）を基に、第２ＤＮＮ３１６および第２エンコーダ３１８に再構成画像（第３データの一例）を出力させ、第１エンコーダ３１０に出力させた再構成画像の画質に基づいて、後段の第２ＤＮＮ３１６に再構成画像を生成させるか否かを決定する再構成処理機能２１４（決定部の一例）と、を備えることにより、処理時間を短くしつつ、精度のよい（画質が良好な）医用画像を生成することができる。
一般的に、ＭＲ画像やＣＴ画像などの医用画像を撮像するために、患者を医用画像撮像装置１００の寝台１０４に拘束しておける時間には制限があり、画質よりも処理時間を優先すべき場合がある。特に、救急医療を必要とする患者などの場合には、速やかに医用画像を生成することが要求される。本実施形態では、処理回路２１０が、再構成画像の画質の評価結果に基づいて、後段のＤＮＮに再構成画像を生成させるか否かを決定するため、医用現場の状況に合わせながら医用画像の再構成に要する処理演算量を動的に変更して、良好な画質の医用画像を生成することができる。
（第１の実施形態の変形例）
以下、第１の実施形態の変形例について説明する。上述した第１の実施形態では、医用画像再構成モデル３００に入力するデータを、ｋ空間データＤｋとしたがこれに限られない。例えば、医用画像再構成モデル３００に入力するデータは、ｋ空間データＤｋの各要素となるデータであってもよいし、ｋ空間データＤｋをフーリエ変換したハイブリッド空間データであってもよいし、医用画像そのものであってもよい。この場合、ハイブリッド空間データや医用画像は、「第１データ」の他の例となる。ｋ空間データＤｋ単体が医用画像再構成モデル３００に入力される場合、変換レイヤ３０２は、畳み込み層の代わりに、全結合層（Full connected layer）であってよい。
また、上述した第１の実施形態では、医用画像再構成モデル３００が、複数のＤＮＮが多段に構成されているものとして説明したがこれに限られない。例えば、医用画像再構成モデル３００は、多段に接続された複数のＤＮＮによって構成される代わりに、単一のＲＮＮによって構成されてもよい。
図９は、医用画像再構成モデル３００の他の例を示す図である。図示のように、医用画像再構成モデル３００は、例えば、変換レイヤ３０２と、アクティベーションレイヤ３０４と、変調レイヤ３３０と、ＲＮＮ３３２と、エンコーダ３３４と、デコーダ３３６とを備えてよい。
変調レイヤ３３０は、上述した第１変調レイヤ３０６や第２変調レイヤ３１４と同様に、重みを乗算するレイヤやスケーリングを行うレイヤなどによって実現されてよい。
ＲＮＮ３３２は、所定の周期で処理を繰り返すニューラルネットワークである。例えば。ＲＮＮ３３２は、前回の周期で得られた処理結果と、今回の周期で入力されたデータとを基に、再構成画像の元となる、ｋ空間データＤｋを表す行列を生成する。
エンコーダ３３４は、上述した第１エンコーダ３１０や第２エンコーダ３１８と同様に、例えば、畳み込み層によって実現されてよい。例えば、エンコーダ３３４は、変調レイヤ３３０からの出力データと、ＲＮＮ３３２からの出力データとに基づいて、行と列の数がｋ空間データＤｋの行列と同じ行列を生成する。第２エンコーダ３１８は、生成した行列に対して逆フーリエ変換を行うことで、ｋ空間データＤｋを用いて再構成した再構成画像を生成し、これを出力する。なお、エンコーダ３３４は、逆フーリエ変換を行わずに、または逆フーリエ変換を行うと共に、生成した行列をそのまま出力してもよい。
デコーダ３３６は、上述した第１デコーダ３１２や第２デコーダ３２０と同様に、例えば、畳み込み層によって実現されてよい。例えば、デコーダ３３６は、エンコーダ３３４により再構成画像が出力された場合、その再構成画像に対してフーリエ変換を行うことで、再構成画像から、ｋ空間データＤｋを表す行列を生成する。また、デコーダ３３６は、エンコーダ３３４により再構成画像が出力される代わりにｋ空間データＤｋを表す行列が出力された場合、フーリエ変換を行わなくてよい。デコーダ３３６によって出力された処理結果は、ＲＮＮ３３２の次の処理周期における入力データとして扱われる。これによって、第１の実施形態と同様に、処理時間を短くしつつ、精度のよい（画質が良好な）医用画像を生成することができる。
また、上述した第１の実施形態では、医用画像撮像装置１００と医用情報処理装置２００とが互いに異なる装置であるものとして説明したがこれに限られない。例えば、医用情報処理装置２００は、医用画像撮像装置１００のコンソール装置１２０の一機能によって実現されてもよい。すなわち、医用情報処理装置２００は、医用画像撮像装置１００のコンソール装置１２０によって仮想的に実現される仮想マシンであってもよい。
図１０は、第１の実施形態に係る医用画像撮像装置１００の他の例を示す図である。図１０に示すように、コンソール装置１２０の処理回路１３０は、上述した取得機能１３２に加えて、再構成処理機能２１４と、データ整合評価機能２１６と、再構成画像評価機能２１８と、出力制御機能２２０とを実行してよい。
また、コンソール装置１２０のメモリ１５０には、医用画像再構成モデル情報２３２が格納されてよい。
このような構成によって、医用画像撮像装置１００単体で、処理時間を短くしつつ、精度のよい（画質が良好な）医用画像を生成することができる。
（第２の実施形態）
以下、第２の実施形態について説明する。第２の実施形態では、医用画像撮像装置１００の撮像スケジュールに基づいて、後段のＤＮＮに再構成画像を生成させる条件を変更する点で上述した第１の実施形態と相違する。以下、第１の実施形態との相違点を中心に説明し、第１の実施形態と共通する点については説明を省略する。なお、第２の実施形態の説明において、第１の実施形態と同じ部分については同一符号を付して説明する。
第２の実施形態における処理回路２１０のデータ整合評価機能２１６は、例えば、撮像スケジュールに応じて、データの整合性を評価する際の評価条件を変更する。撮像スケジュールとは、検査種別（造影剤の投与の有無など）や撮像する部位に応じて、医用画像を再構成する実行時間が決められた情報である。医用画像を再構成する実行時間は、画像の撮像合間で患者をどれだけ待たせておけるのかということを示す待ち時間を表している。
一般的に、造影剤を投与して被検体を撮像する検査では、造影剤を投与せずに被検体を撮像する検査と比べて、より短い時間で再構成画像を生成する必要がある。このような場合には、データの整合性の評価に要する時間を短くすることが望ましい。従って、データ整合評価機能２１６は、造影剤の投与が決められた撮像時には、データの整合性の評価をしない、或いは、データの整合性の評価を厳しくすることで、再構成画像の画質よりも処理時間を短くすることを優先してよい。
また、ＭＲＩ装置やＣＴ装置において、腹部や胸部といった部位を撮像する場合には、医用画像の画質を向上させるために患者に息を止めてもらう場合がある。この場合、撮像終了後に患者を休憩させるために、次の撮像まで比較的長い間隔が空けられる。従って、データ整合評価機能２１６は、腹部や胸部といった部位の撮像時には、データの整合性の評価を緩くすることで、画像の再構成に要する処理時間よりも画質を向上させることを優先してよい。
図１１は、撮像スケジュールの一例を示す図である。図示の例のように、撮像スケジュールにおいて、造影剤の投与がない撮像時には、画像を再構成する実行時間が長めに確保されており、造影剤の投与がある撮像時には、画像を再構成する実行時間が短めに確保されている場合、データ整合評価機能２１６は、造影剤の投与がない撮像時には評価条件を緩めに設定し、造影剤の投与がある撮像時には評価条件を厳しめに設定してよい。より具体的には、データ整合評価機能２１６は、造影剤の投与がない撮像時には、ｘ（→）とｙ（→）との差分が生じたと見做す許容範囲を小さくし、造影剤の投与がある撮像時にはｘ（→）とｙ（→）との差分が生じたと見做す許容範囲を大きくしてよい。
また、第２の実施形態における処理回路２１０の再構成処理機能２１４は、撮像スケジュールに応じて、医用画像再構成モデル３００に再構成画像を出力させる上限回数を変更してもよい。例えば、再構成処理機能２１４は、造影剤の投与がない撮像時には、上限回数を大きくし、造影剤の投与がある撮像時には、上限回数を小さくしてよい。
このように再構成画像の生成に係る条件を変更することによって、処理回路２１０は、造影剤の投与がある撮像時には、造影剤の投与がない撮像時に比して、患者の待ち時間を短くする必要があるため、後段のＤＮＮに再構成画像を生成させにくくする。これによって、より早く再構成画像を読影者に提供することができる。
なお、上述した撮像スケジュールはあくまでも一例であり、例えば、造影剤を投与した後、造影剤が被検部位に循環するのを待ってから次の撮像を行うようなスケジュールの場合には、次の撮像までに比較的時間があるため、造影剤の投与前に撮像した画像の再構成画像の画質を向上させるために、処理回路２１０は、許容範囲を小さくしたり、上限回数を大きくしたりしてもよい。これによって、医用画像の再構成に要する処理演算時間が増加することが許容され、後段のＤＮＮに再構成画像を生成させやすくすることができる。この結果、より高精度な再構成画像を読影者に提供することができる。
また、上述した評価条件や画像再構成の上限回数は、医者や読影者などによって適時変更されてもよい。例えば、出力制御機能２２０は、評価条件や画像再構成の上限回数を変更するための画面をＧＵＩとしてディスプレイ２０６に表示させたり、通信インターフェース２０２を介して接続された端末装置の画面に表示させたりする。これによって、ＧＵＩを介して評価条件や画像再構成の上限回数が変更された場合、処理回路２１０は、ディスプレイ２０６や端末装置が受け付けた評価条件や画像再構成の上限回数の変更操作を示す電気信号をそれらの装置から取得し、取得した電気信号に基づいて、評価条件や画像再構成の上限回数を変更する。
以上説明した第２の実施形態によれば、予め決められた撮像スケジュールに従って画像を再構成するため、検査時間を短くすることができ、患者の負担を軽減することができる。一般的に、ＭＲＩなどの検査では、ＭＲ画像が精度良く撮像できていないときに備えて、全てのＭＲ画像が正常に撮像されていることが目視によって確認されるまで、患者を院内に留まらせておき、一部のＭＲ画像が正常に撮像されていないことが確認されると、その場で再検査を行っている。そのため、再構成に長い時間を要すれば患者を長い間拘束することになり、患者の負担が増加しやすい。これに対して、第２の実施形態では、検査種別（造影剤の投与の有無など）や撮像する部位に応じて、医用画像の再構成の時間を動的に変更するため、次の撮像タイミングまでに再構成の処理を終了して再構成画像を読影者に提供することができ、読影者は、正常に医用画像が得られたか否かを撮像の都度確認することができる。この結果、再構成された医用画像を確認する前に、次の撮像が開始されてしまうことで、一つ或いは二つ以上前の撮像をやり直すといった作業を減らすことができ、患者の負担を軽減することができる。
また、上述した第２の実施形態よれば、予め決められた撮像スケジュールに従って画像を再構成するため、医師などの読影者に再構成画像を提供するタイミングのリアルタイム性が向上し、読影者が医用画像を見ながらリアルタイムに診断を下すことができ、次に撮像すべき身体の部位を適切に決定することができる。
上記説明した実施形態は、以下のように表現することができる。
プログラムを格納するストレージと、
プロセッサと、を備え、
前記プロセッサは、前記プログラムを実行することにより、
電磁波を被検体に作用させることで生成された第１データを取得し、
第１パラメータ付合成関数として機能して、前記取得した第１データを前記第１パラメータ付合成関数の入力データとして、第２データを出力し、
第２パラメータ付合成関数として機能して、前記出力した第２データを前記第２パラメータ付合成関数の入力データとして、第３データを出力し、
前記出力した前記第２データを前記第２パラメータ付合成関数の入力データとして前記第３データを出力するのか否かを決定する、
ように構成されている、医用情報処理装置。
以上説明した少なくともひとつの実施形態によれば、ｋ空間データＤｋを取得する取得機能２１２と、取得機能２１２によって取得されたｋ空間データＤｋを基に、第１ＤＮＮ３０８および第１エンコーダ３１０に再構成画像を出力させ、第１ＤＮＮ３０８および第１エンコーダ３１０によって出力された再構成画像に対して第１デコーダ３１２が処理した結果（行列）を基に、第２ＤＮＮ３１６および第２エンコーダ３１８に再構成画像を出力させ、第１エンコーダ３１０に出力させた再構成画像の画質に基づいて、後段の第２ＤＮＮ３１６に再構成画像を生成させるか否かを決定する再構成処理機能２１４と、を備えることにより、処理時間を短くしつつ、精度のよい（画質が良好な）医用画像を生成することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
１…医用情報処理システム、１００…医用画像撮像装置、１０１…静磁場磁石、１０２…傾斜磁場コイル、１０４…寝台、１０５…寝台制御回路、１０６…送信コイル、１０７…送信回路、１０８…受信コイル、１０９…受信回路、１１０…シーケンス制御回路、１２０…コンソール装置、２００…医用情報処理装置、２０２…通信インターフェース、２０４…入力インターフェース、２０６…ディスプレイ、２１０…処理回路、２１２…取得機能、２１４…再構成処理機能、２１６…データ整合評価機能、２１８…再構成画像評価機能、２２０…出力制御機能、２３０…メモリ、２３２…医用画像再構成モデル情報、３００…医用画像再構成モデル、３０２…変換レイヤ、３０４…アクティベーションレイヤ、３０６…第１変調レイヤ、３０８…第１ＤＮＮ、３１０…第１エンコーダ、３１２…第１デコーダ、３１４…第２変調レイヤ、３１６…第２ＤＮＮ、３１８…第２エンコーダ、３２０…第２デコーダ

Claims (10)

  1. 電磁波を被検体に作用させることで生成された第１データを取得する取得部と、
    前記取得部によって取得された第１データを第１モデルに入力することによって、前記第１モデルに第２データを出力させる第１処理部と、
    前記第２データを第２モデルに入力することによって、前記第２モデルに第３データを出力させる第２処理部と、
    前記第２モデルに前記第２データを入力するのか否かを決定する決定部と、を備え、
    前記第２処理部は、
    前記第２データを前記第２モデルに入力することが前記決定部によって決定された場合、前記第２データを前記第２モデルに入力し、前記第２データを入力した前記第２モデルによって出力された前記第３データを出力部を介して出力し、
    前記第２データを前記第２モデルに入力しないことが前記決定部によって決定された場合、前記第２データを前記第２モデルに入力せずに、少なくとも前記第２データを前記出力部を介して出力し、
    前記第１データ、前記第２データ、及び前記第３データは、核磁気共鳴画像法に関するデータである、
    医用情報処理装置。
  2. 電磁波を被検体に作用させることで生成された第１データを取得する取得部と、
    前記取得部によって取得された第１データを第１モデルに入力することによって、前記第１モデルに第２データを出力させる第１処理部と、
    前記第２データを第２モデルに入力することによって、前記第２モデルに第３データを出力させる第２処理部と、
    前記第２モデルに前記第２データを入力するのか否かを決定する決定部と、を備え、
    前記第２処理部は、
    前記第２データを前記第２モデルに入力することが前記決定部によって決定された場合、前記第２データを前記第２モデルに入力し、前記第２データを入力した前記第２モデルによって出力された前記第３データを出力部を介して出力し、
    前記第２データを前記第２モデルに入力しないことが前記決定部によって決定された場合、前記第２データを前記第２モデルに入力せずに、少なくとも前記第２データを前記出力部を介して出力し、
    前記第１データは、前記被検体が存在する空間に対応したｋ空間データであり、
    前記第２データは、医用画像である、
    医用情報処理装置。
  3. 前記第１モデルは、前記第１データが入力されると、前記第２データを出力するように予め学習された第１ニューラルネットワークを含み、
    前記第２モデルは、前記第２データが入力されると、前記第３データを出力するように予め学習された第２ニューラルネットワークを含む、
    請求項１又は２に記載の医用情報処理装置。
  4. 少なくとも前記第１データと前記第２データとが整合するか否かを評価する第１評価部を更に備え、
    前記決定部は、前記第１評価部によって前記第１データと前記第２データとが整合しないと評価された場合、前記第２データを前記第２モデルに入力することを決定する、
    請求項１から３のうちいずれか１項に記載の医用情報処理装置。
  5. 前記第１評価部は、更に、前記第１データと前記第２データとが整合しないと評価した場合、前記第２データを、前記第１データに基づく新たな第２データに更新し、
    前記第２処理部は、前記決定部によって、前記第２データを前記第２モデルに入力することが決定された場合、前記第１評価部によって前記第２データから更新された前記新たな第２データを、前記第２モデルに入力することによって、前記第２モデルに前記第３データを出力させる、
    請求項４に記載の医用情報処理装置。
  6. 前記第２データは、医用画像であり、
    少なくとも前記医用画像の画質を評価する第２評価部を更に備え、
    前記決定部は、前記第２評価部によって前記医用画像のノイズが閾値以上であると評価された場合、前記第２データを前記第２モデルに入力することを決定する、
    請求項１から５のうちいずれか１項に記載の医用情報処理装置。
  7. コンピュータが、
    電磁波を被検体に作用させることで生成された第１データを取得し、
    前記取得した第１データを第１モデルに入力することによって、前記第１モデルに第２データを出力させ、
    前記第２データを第２モデルに入力することによって、前記第２モデルに第３データを出力させ、
    前記第２モデルに前記第２データを入力するのか否かを決定し、
    前記第２データを前記第２モデルに入力することを決定した場合、前記第２データを前記第２モデルに入力し、前記第２データを入力した前記第２モデルによって出力された前記第３データを出力部を介して出力し、
    前記第２データを前記第２モデルに入力しないことを決定した場合、前記第２データを前記第２モデルに入力せずに、少なくとも前記第２データを前記出力部を介して出力し、
    前記第１データ、前記第２データ、及び前記第３データは、核磁気共鳴画像法に関するデータである、
    医用情報処理方法。
  8. コンピュータが、
    電磁波を被検体に作用させることで生成された第１データを取得し、
    前記取得した第１データを第１モデルに入力することによって、前記第１モデルに第２データを出力させ、
    前記第２データを第２モデルに入力することによって、前記第２モデルに第３データを出力させ、
    前記第２モデルに前記第２データを入力するのか否かを決定し、
    前記第２データを前記第２モデルに入力することを決定した場合、前記第２データを前記第２モデルに入力し、前記第２データを入力した前記第２モデルによって出力された前記第３データを出力部を介して出力し、
    前記第２データを前記第２モデルに入力しないことを決定した場合、前記第２データを前記第２モデルに入力せずに、少なくとも前記第２データを前記出力部を介して出力し、
    前記第１データは、前記被検体が存在する空間に対応したｋ空間データであり、
    前記第２データは、医用画像である、
    医用情報処理方法。
  9. コンピュータに実行させるためのプログラムであって、
    電磁波を被検体に作用させることで生成された第１データを取得する処理と、
    前記取得した第１データを第１モデルに入力することによって、前記第１モデルに第２データを出力させる処理と、
    前記第２データを第２モデルに入力することによって、前記第２モデルに第３データを出力させる処理と、
    前記第２モデルに前記第２データを入力するのか否かを決定する処理と、
    前記第２データを前記第２モデルに入力することを決定した場合、前記第２データを前記第２モデルに入力し、前記第２データを入力した前記第２モデルによって出力された前記第３データを出力部を介して出力する処理と、
    前記第２データを前記第２モデルに入力しないことを決定した場合、前記第２データを前記第２モデルに入力せずに、少なくとも前記第２データを前記出力部を介して出力する処理と、を含み、
    前記第１データ、前記第２データ、及び前記第３データは、核磁気共鳴画像法に関するデータである、
    プログラム。
  10. コンピュータに実行させるためのプログラムであって、
    電磁波を被検体に作用させることで生成された第１データを取得する処理と、
    前記取得した第１データを第１モデルに入力することによって、前記第１モデルに第２データを出力させる処理と、
    前記第２データを第２モデルに入力することによって、前記第２モデルに第３データを出力させる処理と、
    前記第２モデルに前記第２データを入力するのか否かを決定する処理と、
    前記第２データを前記第２モデルに入力することを決定した場合、前記第２データを前記第２モデルに入力し、前記第２データを入力した前記第２モデルによって出力された前記第３データを出力部を介して出力する処理と、
    前記第２データを前記第２モデルに入力しないことを決定した場合、前記第２データを前記第２モデルに入力せずに、少なくとも前記第２データを前記出力部を介して出力する処理と、を含み、
    前記第１データは、前記被検体が存在する空間に対応したｋ空間データであり、
    前記第２データは、医用画像である、
    プログラム。
JP2018111410A 2018-06-11 2018-06-11 医用情報処理装置、医用情報処理方法、およびプログラム Active JP7300811B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2018111410A JP7300811B2 (ja) 2018-06-11 2018-06-11 医用情報処理装置、医用情報処理方法、およびプログラム
US16/436,132 US11734817B2 (en) 2018-06-11 2019-06-10 Medical information processing apparatus, magnetic resonance imaging apparatus, and medical information processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018111410A JP7300811B2 (ja) 2018-06-11 2018-06-11 医用情報処理装置、医用情報処理方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2019213623A JP2019213623A (ja) 2019-12-19
JP7300811B2 true JP7300811B2 (ja) 2023-06-30

Family

ID=68765256

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018111410A Active JP7300811B2 (ja) 2018-06-11 2018-06-11 医用情報処理装置、医用情報処理方法、およびプログラム

Country Status (2)

Country Link
US (1) US11734817B2 (ja)
JP (1) JP7300811B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11710261B2 (en) * 2019-07-29 2023-07-25 University Of Southern California Scan-specific recurrent neural network for image reconstruction
JP7298010B2 (ja) * 2020-03-04 2023-06-26 オリンパス株式会社 学習データ作成システム及び学習データ作成方法
JP7377231B2 (ja) * 2021-02-02 2023-11-09 富士フイルムヘルスケア株式会社 磁気共鳴イメージング装置、及び、画像処理方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006025868A (ja) 2004-07-12 2006-02-02 Ge Medical Systems Global Technology Co Llc 画像処理装置及び画像処理方法並びにｘ線ｃｔシステム
JP2009528117A (ja) 2006-03-03 2009-08-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像の類似度を評価するための画像特性セットの特定
WO2014041889A1 (ja) 2012-09-13 2014-03-20 株式会社日立メディコ Ｘ線ｃｔ装置およびｘ線ｃｔ画像の処理方法
JP2015181840A (ja) 2014-03-25 2015-10-22 株式会社東芝 磁気共鳴イメージング装置及び画像処理装置
US20170337713A1 (en) 2016-08-12 2017-11-23 Siemens Healthcare Gmbh Method and data processing unit for optimizing an image reconstruction algorithm
JP2017225688A (ja) 2016-06-23 2017-12-28 株式会社日立製作所 磁気共鳴イメージング装置、画像処理装置、及び拡散強調画像計算方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8775341B1 (en) * 2010-10-26 2014-07-08 Michael Lamport Commons Intelligent control with hierarchical stacked neural networks
US11129577B2 (en) * 2015-02-17 2021-09-28 Telebyte, Inc. Optical cancer detector using deep optical scanning and multi layer neural network
KR101923184B1 (ko) * 2017-08-25 2018-11-28 삼성전자주식회사 뉴럴 네트워크를 이용한 영상 복원 방법 및 그 자기 공명 영상 장치

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006025868A (ja) 2004-07-12 2006-02-02 Ge Medical Systems Global Technology Co Llc 画像処理装置及び画像処理方法並びにｘ線ｃｔシステム
JP2009528117A (ja) 2006-03-03 2009-08-06 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像の類似度を評価するための画像特性セットの特定
WO2014041889A1 (ja) 2012-09-13 2014-03-20 株式会社日立メディコ Ｘ線ｃｔ装置およびｘ線ｃｔ画像の処理方法
JP2015181840A (ja) 2014-03-25 2015-10-22 株式会社東芝 磁気共鳴イメージング装置及び画像処理装置
JP2017225688A (ja) 2016-06-23 2017-12-28 株式会社日立製作所 磁気共鳴イメージング装置、画像処理装置、及び拡散強調画像計算方法
US20170337713A1 (en) 2016-08-12 2017-11-23 Siemens Healthcare Gmbh Method and data processing unit for optimizing an image reconstruction algorithm

Also Published As

Publication number Publication date
US11734817B2 (en) 2023-08-22
US20190378271A1 (en) 2019-12-12
JP2019213623A (ja) 2019-12-19

Similar Documents

Publication Publication Date Title
JP7246903B2 (ja) 医用信号処理装置
Knoll et al. Deep-learning methods for parallel magnetic resonance imaging reconstruction: A survey of the current approaches, trends, and issues
JP7466141B2 (ja) 磁気共鳴画像高速再構成法及び磁気共鳴イメージング装置
JP7300811B2 (ja) 医用情報処理装置、医用情報処理方法、およびプログラム
US11415656B2 (en) Medical information processing apparatus, magnetic resonance imaging apparatus, and medical information processing method
US11965948B2 (en) Medical information processing apparatus, medical information processing method, and storage medium
US20230021786A1 (en) Medical information processing apparatus and medical information processing method
EP3916417A1 (en) Correction of magnetic resonance images using multiple magnetic resonance imaging system configurations
CN113412430A (zh) 借助于人工神经网络的功能性磁共振成像伪影移除
CN112133410A (zh) 使用机器学习的mri图像重建
JP7246194B2 (ja) 医用画像処理装置、医用画像処理方法、およびプログラム
CN114255291A (zh) 用于磁共振参数定量成像的重建方法、系统
JP2020103890A (ja) 医用情報処理装置、医用情報処理方法、およびプログラム
EP3913387A1 (en) Motion estimation and correction in magnetic resonance imaging
KR102090690B1 (ko) 인공신경망을 이용한 자기 공명 영상의 영상 프로토콜 선택 장치와 방법 및 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
WO2019124076A1 (ja) 医用信号処理装置
JP7224817B2 (ja) 信号データ処理装置
WO2021034708A1 (en) Retrospective tuning of soft tissue contrast in magnetic resonance imaging
JP7228386B2 (ja) 医用画像処理装置、磁気共鳴イメージング装置、および医用画像処理方法
KR102717182B1 (ko) 신경망 모델을 이용한 심근의 3d ecv 맵 생성 방법, 장치 및 컴퓨터 프로그램
WO2018082028A1 (zh) 用于三维动态磁共振成像的笛卡尔k空间采集方法和系统
JP7213099B2 (ja) 医用画像処理装置、磁気共鳴イメージング装置、医用画像処理方法、およびプログラム
EP4266074A1 (en) Segmentation of medical images reconstructed from a set of magnetic resonance images
Pei et al. DeepEMC-T2 Mapping: Deep Learning-Enabled T2 Mapping Based on Echo Modulation Curve Modeling
Sarasaen Incorporation of prior knowledge into dynamic MRI reconstruction

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210317

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220325

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20221018

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230124

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230315

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230523

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230620

R150 Certificate of patent or registration of utility model

Ref document number: 7300811

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150