JP7337675B2 - 医用データ処理装置 - Google Patents

Description

本発明の実施形態は、医用データ処理装置に関する。

医用画像診断において、ディープニューラルネットワーク（ＤＮＮ：Deep Neural Network）を利用した、生データから医用画像へ再構成（ＤＮＮ再構成）する方法が提案されている。しかしながら、ＤＮＮ再構成により得られた医用画像の信頼度を測る方法は確立されておらず、その医用画像がどの程度信頼できるかは不明である。

米国特許出願公開第２０１９／０３３６０３３号明細書 国際公開第２０１７／０３１０８８号 米国特許出願公開第２０１９／０１５０８５７号明細書

本発明が解決しようとする課題は、機械学習モデルを利用して生成された医用画像の信頼性を高めることである。

実施形態に係る医用データ処理装置は、生成部と出力部とを有する。生成部は、一の生データに、要素の異なる複数の第一の機械学習モデルを適用して、又は要素を変えながら第一の機械学習モデルを複数回適用して、複数の第一の医用画像を生成する。出力部は、前記複数の第一の医用画像に基づいて、第二の医用画像と前記第二の医用画像に関する第一の信頼度とを出力する。

図１は、第１実施形態に係る医用データ処理装置の構成を示す図である。 図２は、第１実施形態に係る処理回路によるＤＮＮ再構成処理の典型的な流れを示す図である。 図３は、図２のステップＳＡ２において使用される第一の生成方法を模式的に示す図である。 図４は、図２のステップＳＡ２において使用される第二の生成方法を模式的に示す図である。 図５は、図２のステップＳＡ３において使用される、ＤＮＮ再構成画像と再構成信頼度との第一の出力方法を模式的に示す図である。 図６は、再構成信頼度の概念を説明するための図である。 図７は、図２のステップＳＡ３において使用される、ＤＮＮ再構成画像と再構成信頼度との第二の出力方法を模式的に示す図である。 図８は、ＤＮＮ再構成画像と再構成信頼度マップとを含む表示画面の一例を示す図である。 図９は、第２実施形態に係る医用データ処理装置の構成を示す図である。 図１０は、臓器分類ＤＮＮの入出力を模式的に示す図である。 図１１は、疾患判定ＤＮＮの入出力を模式的に示す図である。 図１２は、第２実施形態に係る処理回路による再構成信頼度の利用処理の典型的な流れを示す図である。 図１３は、疾患判定結果と疾患判定信頼度とを含む表示画面の一例を示す図である。 図１４は、変形例に係るＤＮＮ再構成処理の流れを模式的に示す図である。

以下、図面を参照しながら本実施形態に係る医用データ処理装置を説明する。

本実施形態に係る医用データ処理装置は、医用データを処理するコンピュータである。医用データは、医用装置により収集された生データ又は医用画像データである。医用装置は、例えば、医用画像診断装置である。医用画像診断装置は、Ｘ線コンピュータ断層撮影装置（Ｘ線ＣＴ装置）、磁気共鳴イメージング装置（ＭＲＩ装置）、Ｘ線診断装置、ＰＥＴ（Positron Emission Tomography）装置、ＳＰＥＣＴ（Single Photon Emission CT）装置、超音波診断装置、光干渉断層撮影装置（眼底カメラ）及び光超音波診断装置等の単一モダリティ装置であってもよいし、ＰＥＴ／ＣＴ装置、ＳＰＥＣＴ／ＣＴ装置、ＰＥＴ／ＭＲＩ装置、ＳＰＥＣＴ／ＭＲＩ装置等の複合モダリティ装置であってもよい。あるいは、医用装置は、医用画像診断装置と共に補助的に利用される光学カメラ装置や、カテーテルに取り付けられた光学カメラ装置であってもよい。

医用画像診断装置がＸ線ＣＴ装置である場合、Ｘ線ＣＴ装置の架台は、Ｘ線管とＸ線検出器とを被検体回りに回転させながらＸ線管から被検体にＸ線を照射し、被検体を透過したＸ線をＸ線検出器により検出する。Ｘ線検出器においては、検出されたＸ線の線量に応じた波高値を有する電気信号が発生される。当該電気信号は、データ収集回路によりＡ／Ｄ変換等の信号処理が施される。Ａ／Ｄ変換後の電気信号は投影データ又はサイノグラムデータと呼ばれる。投影データ又はサイノグラムデータは、生データの一種である。

医用画像診断装置がＭＲＩ装置である場合、ＭＲＩ装置の架台は、静磁場磁石を介した静磁場の印加の下、傾斜磁場コイルを介した傾斜磁場の印加と送信コイルを介したＲＦパルスの印加とを繰り返す。ＲＦパルスの印加に起因して被検体から放出されたＭＲ信号が放出される。放出されたＭＲ信号は、受信コイルを介して受信される。受信されたＭＲ信号は、受信回路によりＡ／Ｄ変換等の信号処理が施される。Ａ／Ｄ変換後のＭＲ信号は、ｋ空間データと呼ばれる。ｋ空間データは、生データの一種である。

医用画像診断装置が超音波診断装置である場合、超音波診断装置の超音波プローブは、複数の超音波振動子から被検体体内に超音波ビームを送信し、被検体体内から反射された超音波を超音波振動子を介して受信する。超音波振動子は、受波した超音波の音圧に応じた波高値を有する電気信号を発生する。当該電気信号は、超音波プローブ等に設けられたＡ／Ｄ変換器によりＡ／Ｄ変換が施される。Ａ／Ｄ変換後の電気信号は、エコーデータと呼ばれる。エコーデータは、生データの一種である。

医用画像診断装置がＰＥＴ装置である場合、ＰＥＴ装置の架台は、被検体内に蓄積された放射性核種から発生される陽電子と当該放射性核種の周囲に存在する電子との対消滅に伴い発生する５１１ｋｅＶの一対のガンマ線を同時計測回路により同時計測することにより、一対のガンマ線のエネルギー値と検出位置とに関するデジタル値を有するデジタルデータを生成する。当該デジタルデータは、コインシデンスデータ又はサイノグラムデータと呼ばれる。コインシデンスデータ又はサイノグラムデータは、生データの一種である。

医用画像診断装置がＸ線診断装置である場合、Ｘ線診断装置は、Ｃアームに設けられたＸ線管から発生する。当該Ｃアームに又は当該Ｃアームとは独立に設けられたＦＰＤ（Flat Panel Display）等のＸ線検出器により、Ｘ線管から発生され被検体を透過したＸ線を受信する。Ｘ線検出器は、検出されたＸ線の線量に応じた波高値を有する電気信号を発生し、当該電気信号に、Ａ／Ｄ変換等の信号処理を施す。Ａ／Ｄ変換後の電気信号は投影データ又はＸ線画像データと呼ばれる。投影データ又はＸ線画像データは、コーンビームＣＴ等の場合、生データとしても用いられる。よって、投影データ又はＸ線画像データは、生データの一種である。

本実施形態に係る生データは、医用画像診断装置により収集されたオリジナルの生データのみに限定されない。例えば、生データは、医用画像に逆変換処理を施すことにより生成される計算上の生データであってもよい。生データがＸ線ＣＴ装置により収集された場合、逆変換処理は、例えば、順投影処理であり、ＭＲＩ装置により収集された場合、逆変換処理は、例えば、フーリエ変換処理である。また、本実施形態に係る生データは、オリジナルの生データに対して各種データ処理が施されることにより生成された生データであってもよい。各種データ処理としては、ノイズ低減処理やデータ圧縮処理、解像度分解処理、データ補間処理、解像度合成処理、超解像処理等の如何なる処理であってもよい。

（第１実施形態）
図１は、第１実施形態に係る医用データ処理装置１－１の構成を示す図である。医用データ処理装置１－１は、医用装置に含まれるコンピュータでもよいし、医用装置とは別個のコンピュータでもよい。

図１に示すように、医用データ処理装置１－１は、処理回路１１、通信インタフェース１２、表示機器１３、入力インタフェース１４及び記憶回路１５を有する。

処理回路１１は、ＣＰＵやＧＰＵ等のプロセッサを有する。当該プロセッサが記憶回路１５等にインストールされた各種プログラムを起動することにより、取得機能１１１、仮再構成画像生成機能１１２、再構成画像／信頼度出力機能１１３及び表示制御機能１１４等を実現する。各機能１１１－１１４は単一の処理回路で実現される場合に限らない。複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより各機能１１１－１１４を実現するものとしても構わない。

取得機能１１１の実現により、処理回路１１は、被検体に関する一の生データを取得する。例えば、処理回路１１は、医用装置から生データを取得する。処理回路１１は、通信インタフェース１２や可搬記録媒体等を介して取得した生データを記憶する記憶回路１５から取得してもよい。本実施形態に係る処理対象の一の生データは、画像再構成に必要なデータ範囲の生データの集合である。例えば、生データがＸ線コンピュータ断層撮影装置により収集される投影データである場合、処理対象の一の生データは、回転フレーム１回転分のビュー数の投影データを含む。また、生データが磁気共鳴イメージング装置により収集されるｋ空間データである場合、処理対象の一の生データは、一のｋ空間を充填するのに必要なｋ空間軌跡数及び／又は範囲のｋ空間データを含む。

仮再構成画像生成機能１１２の実現により、処理回路１１は、一の生データに、要素の異なる複数の第一の機械学習モデルを適用して、又は要素を変えながら第一の機械学習モデルを複数回適用して、複数の第一の医用画像を生成する。第一の機械学習モデルは、一の生データを入力とし、当該一の生データに対応する第一の医用画像を出力とするように学習された機械学習モデルである。以下、仮再構成画像生成機能１１２により生成される第一の医用画像を仮再構成画像とも呼ぶ。生成される複数の仮再構成画像は、共通の一の生データに基づく医用画像であるため、複数の仮再構成画像には、例えば、被検体の略同一の解剖学的部位が描出される。

機械学習モデルは、複数の調整可能な要素の組合せにより定義される合成関数により表されるニューラルネットワークである。調整可能な要素としては、例えば、合成関数を構成する要素、例えば、係数集合やネットワーク構成等を含む。ネットワーク構成は、例えば、ノード（ニューロン）間の接続の体系である。ニューラルネットワークは、２以上の層、典型的には、入力層、複数の中間層及び出力層を有する多層のネットワークモデル（ＤＮＮ：Deep Neural Network）により実現されるとよい。機械学習モデルは、プログラムとして実装されてもよいし、ＡＳＩＣ等のプロセッサに物理的に実装されてもよい。

再構成画像／信頼度出力機能１１３の実現により、処理回路１１は、複数の第一の医用画像に基づいて、第二の医用画像と当該第二の医用画像に関する第一の信頼度とを出力する。第一の信頼度は、第二の医用画像の信頼度に関するデータであり、複数の第一の医用画像に基づくデータである。以下、再構成画像／信頼度出力機能１１３により出力される第二の医用画像をＤＮＮ再構成画像とも呼ぶ。また、再構成画像／信頼度出力機能１１３により出力される第一の信頼度を再構成信頼度とも呼ぶ。ＤＮＮ再構成画像は、複数の仮再構成画像を用いて生成される医用画像である。ＤＮＮ再構成画像には、例えば、複数の仮再構成画像に描出される当該被検体の解剖学的部位と略同一部位が描出される。再構成信頼度は、複数の仮再構成画像間のばらつきに応じた情報である。

表示制御機能１１４の実現により、処理回路１１は、種々の情報を、表示機器１３を介して表示する。例えば、処理回路１１は、第二の医用画像（ＤＮＮ再構成画像）と第一の信頼度（再構成信頼度）とを表示する。また、処理回路１１は、複数の第一の医用画像のうちの１以上の第一の医用画像を表示してもよい。表示の際、処理回路１１は、医用画像に対して階調処理や拡大縮小等の任意の画像表示処理を行うことが可能である。また、医用画像が３次元画像である場合、処理回路１１は、医用画像に３次元画像処理を施して２次元の画像データに変換することも可能である。３次元画像処理として、例えば、ボリュームレンダリングやサーフェスボリュームレンダリング、画素値投影処理、ＭＰＲ（Multi-Planer Reconstruction）処理、ＣＰＲ（Curved MPR）処理等が実行可能である。

通信インタフェース１２は、ＬＡＮ（Local Area Network）等を介して医用装置と、ワークステーションやＰＡＣＳ（Picture Archiving and Communication System）、ＨＩＳ（Hospital Information System）、ＲＩＳ（Radiology Information System）等とを接続するインタフェースである。ネットワークＩＦは、各種情報を接続先のワークステーション、ＰＡＣＳ、ＨＩＳ及びＲＩＳとの間で送受信する。

表示機器１３は、処理回路１１の表示制御機能１１４に従い種々の情報を表示する。表示機器１３としては、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）ディスプレイ、有機ＥＬディスプレイ（ＯＥＬＤ：Organic Electro Luminescence Display）、プラズマディスプレイ又は他の任意のディスプレイが適宜使用可能である。また、表示機器１３は、プロジェクタでもよい。

入力インタフェース１４は、ユーザからの各種の入力操作を受け付け、受け付けた入力操作を電気信号に変換して処理回路１１に出力する。具体的には、入力インタフェース１４は、マウス、キーボード、トラックボール、スイッチ、ボタン、ジョイスティック、タッチパッド及びタッチパネルディスプレイ等の入力機器に接続されている。入力インタフェース１４は、当該入力機器への入力操作に応じた電気信号を処理回路１１へ出力する。また、入力インタフェース１４に接続される入力機器は、ネットワーク等を介して接続された他のコンピュータに設けられた入力機器でもよい。また、入力インタフェース１４は、マイクロフォンにより収集された音声信号を指示信号に変換する音声認識装置でもよい。

記憶回路１５は、種々の情報を記憶するＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、集積回路記憶装置等の記憶装置である。記憶回路１５は、例えば、生データや各種医用画像、各種機械学習モデルを記憶する。記憶回路１５は、上記記憶装置以外にも、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、フラッシュメモリ等の可搬型記憶媒体や、半導体メモリ素子等との間で種々の情報を読み書きする駆動装置であってもよい。記憶回路１５は、医用データ処理装置１－１にネットワークを介して接続された他のコンピュータ内にあってもよい。

次に、第１実施形態に係る医用データ処理装置１－１の詳細について説明する。

以下、説明を具体的に行うため、機械学習モデルはＤＮＮであるとする。そして、仮再構成画像生成機能１１２において使用される、一の生データを入力とし、当該一の生データに対応する仮再構成画像を出力とするように学習された機械学習モデルを仮再構成ＤＮＮと呼ぶことにする。また、処理対象の生データは、磁気共鳴イメージング装置により収集されたものであるとする。この場合、処理対象の生データは、ｋ空間データである。

ＤＮＮ再構成処理において処理回路１１は、まず、一の生データに基づいて複数の仮再構成画像を生成し、次に、複数の仮再構成画像に基づいてＤＮＮ再構成画像を生成する。このようなＤＮＮ再構成処理により生成されたＤＮＮ再構成画像の信頼度が出力される。以下、第１実施形態に係るＤＮＮ再構成処理について詳細に説明する。

図２は、第１実施形態に係る処理回路１１によるＤＮＮ再構成処理の典型的な流れを示す図である。

図２に示すように、処理回路１１は、取得機能１１１の実現により、処理対象の一の生データを取得する（ステップＳＡ１）。例えば、処理回路１１は、磁気共鳴イメージング装置から、生データとしてのｋ空間データを取得する。

ステップＳＡ１が行われると処理回路１１は、仮再構成画像生成機能１１２の実現により、仮再構成用の機械学習モデル（仮再構成ＤＮＮ）を利用して、ステップＳＡ１において取得された生データから複数の仮再構成画像を生成する（ステップＳＡ２）。複数の仮再構成画像の生成方法としては、大きく二種類ある。以下、第一の生成方法及び第二の生成方法について詳細に説明する。

図３は、第一の生成方法を模式的に示す図である。図３に示すように、第一の生成方法においては、Ｎ個の第一の仮再構成ＤＮＮ＃ｋ（１＜ｋ≦Ｎ）が予め生成されている。Ｎは、２以上であれば特に制限はない。例えば、図３に示す例ではＮ＝１０である。各第一の仮再構成ＤＮＮ＃ｋは、処理対象の一の生データを入力とし、仮再構成画像＃ＩＡｋを出力するように学習されたＤＮＮである。複数の仮再構成画像＃ＩＡｋは互いに要素が異なる。複数の仮再構成ＤＮＮ＃ｋ間で異なる要素としては、上述した、係数及びネットワーク構成のうちの一以上の要素である。

例えば、Ｎ＝１０の場合、１０個の第一の仮再構成ＤＮＮ＃１－＃１０が予め生成され、記憶回路１５に記憶されている。各第一の仮再構成ＤＮＮ＃１－＃１０に共通の生データを入力することにより、１０個の第一の仮再構成画像ＩＡ１－ＩＡ１０が生成される。１０個の第一の仮再構成画像ＩＡ１－ＩＡ１０は、共通の生データに基づく画像であるが、互いに要素が異なる１０個の第一の仮再構成ＤＮＮ＃１－＃１０によりそれぞれ生成されているので、完全に同一ではなく、ある画素の画素値が異なる場合があり、結果的に、画質が異なる場合がある。特に、ＤＮＮによる再構成が不安定な画素については、仮再構成画像ＩＡ１－ＩＡ１０に亘り画素値の変動が大きくなる傾向にある。

ここで、第一の仮再構成ＤＮＮの生成方法について説明する。第一の仮再構成ＤＮＮは、医用データ処理装置１－１により生成されてもよいし、他のコンピュータにより生成されてもよい。以下、第一の仮再構成ＤＮＮを生成するための、ＣＰＵ及びＧＰＵ等のプロセッサを有するコンピュータをモデル学習装置と呼ぶことにする。

モデル学習装置は、複数の学習サンプルに基づいて、一のＤＮＮに機械学習を行わせて各第一の仮再構成ＤＮＮを生成する。学習サンプルは、入力データである生データと、正解データである正解仮再構成画像との組合せである。モデル学習装置は、生データにＤＮＮを適用して順伝播処理を行い、仮再構成画像（以下、推定仮再構成画像と呼ぶ）を出力する。次にモデル学習装置は、推定仮再構成画像と正解仮再構成画像との差分（誤差）を当該ＤＮＮに適用して逆伝播処理を行い、勾配ベクトルを計算する。次にモデル学習装置は、勾配ベクトルに基づいて当該ＤＮＮの重みやバイアス等の係数（パラメータ）を更新する。順伝播処理、逆伝播処理及び係数更新処理を、学習サンプルを変更しながら繰り返すことにより、第一の仮再構成ＤＮＮが生成される。

学習サンプルの入力データとしては、如何なるパルスシーケンスに従いデータ収集されたｋ空間データが用いられてもよい。学習サンプルの出力データは、当該ｋ空間データに逆フーリエ変換や逐次再構成等の通常の画像再構成を施すことにより生成されるＭＲ画像が用いられればよい。なお、学習サンプルの入力データは、磁気共鳴イメージング装置により収集されたオリジナルのｋ空間データでもよいし、オリジナルのｋ空間データがダウンサンプリング等の前処理が施されたｋ空間データでもよい。

複数の第一の仮再構成ＤＮＮに亘り要素を異ならせる方法については種々の方法が可能である。例えば、使用する複数の学習サンプルをＤＮＮに入力する順序を異ならせる方法がある。ＤＮＮの係数集合の各係数値にはＤＮＮへの学習サンプルの入力順序に対する依存性がある。同一の学習サンプルであっても、複数の未学習ＤＮＮに対して入力順序を変えることにより、複数の学習済みＤＮＮの係数値を異ならせることができる。例えば、学習サンプルの入力順序は乱数により決定されればよい。具体的には、まず、処理回路１１は、複数の未学習ＤＮＮに対して複数の疑似乱数のシード値を割り当てる。処理回路１１は、各未学習ＤＮＮについて当該シード値に基づいて乱数の数列を生成する。数列に含まれる乱数の個数は学習サンプルの個数に対応し、各乱数は各学習サンプルの入力順位に対応する。すなわち、乱数の数列により各学習サンプルの未学習ＤＮＮへの入力順序が決定される。処理回路１１は、決定された入力順序に従い複数の学習サンプルを未学習ＤＮＮに順番に適用することにより学習済みＤＮＮ（第一の仮再構成ＤＮＮ）の係数値を決定する。異なる入力順序に従い複数の第一の仮再構成ＤＮＮの係数値が決定されるので、複数の第一の仮再構成ＤＮＮに亘り係数値を異ならせることが可能になる。

複数の第一の仮再構成ＤＮＮ間において要素を異ならせる他の方法としては、ドロップアウトにより消去されるノード（ニューロン）の順番（以下、消去順序と呼ぶ）を異ならせる方法が可能である。ＤＮＮの係数集合の各係数値には消去順序に対する依存性がある。ドロップアウトでは、同一の学習サンプルであっても、複数の未学習ＤＮＮに対して消去順序を変えることにより、複数の学習済みＤＮＮの係数値を異ならせることができる。

例えば、消去順序は、乱数を用いて決定することができる。具体的には、まず、処理回路１１は、未学習ＤＮＮに含まれる複数層の中からドロップアウトを適用する層を任意に設定する。ドロップアウトを適用する層は特に限定されない。また、処理回路１１は、複数の未学習ＤＮＮに対して複数の疑似乱数のシード値を割り当てる。次に、処理回路１１は、各未学習ＤＮＮについて当該シード値に基づいて乱数の数列を生成する。数列に含まれる各乱数は、消去するノードの番号に対応する。すなわち、乱数の数列により各ノードの消去順序が決定される。処理回路１１は、決定された消去順序に従いドロップアウトして学習をすることで学習済みＤＮＮ（第一の仮再構成ＤＮＮ）の係数値を決定する。異なる消去順序に従い複数の第一の仮再構成ＤＮＮの係数値が決定されるので、複数の第一の仮再構成ＤＮＮに亘り係数値を異ならせることが可能になる。

複数の第一の仮再構成ＤＮＮ間では係数の一部を共有してもよい。例えば、以下の手順により、係数の一部を共有した学習が行われる。まず、第一の仮再構成ＤＮＮ＃１について１００エポック（epoch）で学習を行い第一の仮再構成ＤＮＮ＃１の係数集合ＥＰ１を得る。係数集合ＥＰ１のうちの８割程度の係数を固定し残りの２割程度の係数を可変にして１００エポック追加して学習を行い、第一の仮再構成ＤＮＮ＃２の係数集合ＥＰ２を得る。この手順を繰り返すことにより係数の一部を共有した学習により、Ｎ個の第一の仮再構成ＤＮＮを生成することができる。

なお、要素を異ならせる上記２例においては、乱数により学習サンプルの入力順序やドロップアウトにおけるノードの消去順序を決定するものとしたが、本実施形態はこれに限定されない。例えば、ユーザ等により人為的に学習サンプルの入力順序やドロップアウトにおけるノードの消去順序が決定されてもよい。また、乱数により学習サンプルの入力順序やドロップアウトにおけるノードの消去順序を決定するための関数や規則等により決定されてもよい。

図４は、第二の生成方法を模式的に示す図である。図４に示すように、第二の生成方法において処理回路１１は、一の生データに、要素＃Ｅｋを変更しながら単一の第二の仮再構成ＤＮＮをＮ回適用して、Ｎ個の仮再構成画像を生成する。ここで、ｋは、Ｎ回の反復的な仮再構成ＤＮＮの適用処理における反復巡目を示すインデックスである。Ｎは、２以上であれば特に制限はない。例えば、図４に示す例ではＮ＝１０である。複数の反復巡目に亘り要素＃Ｅｋは異なる値に設定される。要素＃Ｅｋの種類としては、係数でもよいし、ネットワーク構成でもよい。

第二の仮再構成ＤＮＮは、処理対象の一の生データを入力とし、仮再構成画像を出力するように学習されたＤＮＮである。第二の仮再構成ＤＮＮがテンプレートとして生成されている。第二の仮再構成ＤＮＮの一部の要素は、Ｎ回の反復的適用処理において変更される要素として設定される。以下、説明を具体的に行うため、変更される要素は、第二の仮再構成ＤＮＮのネットワーク構成の一部であるとする。

第一巡目において処理回路１１は、第一巡目に関するネットワーク構成＃Ｅ１を決定し、決定されたネットワーク構成＃Ｅ１を有する第二の仮再構成ＤＮＮに生データを適用して仮再構成画像ＩＡ１を出力する。上記の通り、本実施形態に係るネットワーク構成は、あるノードと他の層のノードとの接続の体系である。第二巡目において処理回路１１は、ネットワーク構成＃Ｅ１をネットワーク構成＃Ｅ２に変更し、ネットワーク構成＃Ｅ２を有する第二の仮再構成ＤＮＮに生データを適用して仮再構成画像ＩＡ２を出力する。具体的には、テンプレートである第二の仮再構成ＤＮＮのネットワーク構成の一部のノード間接続をＯＮ又はＯＦＦすることによりネットワーク構成が決定又は変更される。ＯＮ又はＯＦＦされるノード間接続は、乱数により決定されてもよいし、任意の関数や規則に従い決定されてもよいし、ユーザ等により人為的に決定されてもよい。あるノードの接続先のノードが３２個ある場合、３２個のノードに対する全ての接続が変更可能である必要はなく、変更可能な接続先のノードが所定範囲に制限されてもよい。

このようにして、ネットワーク構成＃Ｅｋの変更と仮再構成画像ＩＡｋの出力とがＮ回繰り返される。例えば、Ｎ＝１０の場合、ネットワーク構成＃Ｅｋが１０回変更され、各ネットワーク構成＃Ｅ１－＃Ｅ１０を有する第二の仮再構成ＤＮＮに対して共通の生データを入力することにより、１０個の第二の仮再構成画像ＩＡ１－ＩＡ１０が生成される。１０個の仮再構成画像ＩＡ１－１０は、共通の生データに基づく画像であるが、使用された第二の仮再構成ＤＮＮのネットワーク構成が異なっているので、各画素の画素値が異なる場合があり、結果的に、画質が異なる場合がある。特に、ＤＮＮによる再構成が不安定な画素については、仮再構成画像ＩＡ１－ＩＡ１０に亘り画素値の変動が大きくなる傾向にある。

ここで、第二の仮再構成ＤＮＮの生成方法について説明する。第二の仮再構成ＤＮＮは、医用データ処理装置１により生成されてもよいし、他のコンピュータにより生成されてもよい。以下、第二の仮再構成ＤＮＮを生成するための、ＣＰＵ及びＧＰＵ等のプロセッサを有するコンピュータをモデル学習装置と呼ぶことにする。

第二の仮再構成ＤＮＮの生成方法は各第一の仮再構成ＤＮＮの生成方法と同様である。すなわち、モデル学習装置は、複数の学習サンプルに基づいて、ＤＮＮに機械学習を行わせて第二の仮再構成ＤＮＮを生成する。学習サンプルも、各第一の仮再構成ＤＮＮの学習のときに使用されたものと同様である。モデル学習装置は、順伝播処理、逆伝播処理及び係数更新処理を、学習サンプルを変更しながら繰り返すことにより、第二の仮再構成ＤＮＮを生成する。

第一の生成方法では複数の第一の仮再構成ＤＮＮが用いられるので、単一の第二の仮再構成ＤＮＮを用いる第二の生成方法に比して、使用するＤＮＮの係数が増えるが、アンサンブル学習効果を享受することができる。反対に、第二の生成方法では単一の第二の仮再構成ＤＮＮが用いられるので、複数の第一の仮再構成ＤＮＮを用いる第一の生成方法に比して、使用するＤＮＮの係数が少なくて済み、計算コストが少ない。

ステップＳＡ２が行われると処理回路１１は、再構成画像／信頼度出力機能１１３の実現により、ステップＳＡ２において生成された複数の仮再構成画像に基づいて、ＤＮＮ再構成画像と再構成信頼度とを出力する（ステップＳＡ３）。ＤＮＮ再構成画像は、複数の仮再構成画像に基づく医用画像である。再構成信頼度は、複数の仮再構成画像に基づくＤＮＮ再構成画像の信頼度を示すデータである。ＤＮＮ再構成画像と再構成信頼度との出力方法として、算術演算による第一の出力方法と、機械学習モデルを利用した第二の出力方法とがある。

図５は、第一の出力方法を模式的に示す図である。図５に示すように、処理回路１１は、ステップＳＡ２において生成されたＮ個の仮再構成画像ＩＡｋ（１≦ｋ≦Ｎ）に画像生成処理ＰＲ１を施してＤＮＮ再構成画像を生成する。Ｎは、２以上であれば特に制限はない。例えば、図５に示す例ではＮ＝１０である。また、Ｎは、仮再構成ＤＮＮにより出力される仮再構成画像の個数と同一でもよいし、それよりも少なくてもよい。画像生成処理ＰＲ１は、特に限定されないが、例えば、加算平均演算や加算演算等により行われる。具体的には、処理回路１１は、同一画素における複数の仮再構成画像ＩＡｋに亘る画素値の加算平均値又は加算値を算出する。処理回路１１は、算出された加算平均値又は加算値を、再構成画像の当該同一画素の画素値に設定する。画素の位置を変えながら上記処理を繰り返すことにより再構成画像が生成される。

図５に示すように、処理回路１１は、ステップＳＡ２において生成された複数の仮再構成画像ＩＡｋに信頼度計算処理ＰＲ２を施して再構成信頼度を生成する。再構成信頼度は、ステップＳＡ２において生成された複数の仮再構成画像ＩＡｋに基づくＤＮＮ再構成画像の信頼度を示すデータである。処理回路１１は、複数の仮再構成画像ＩＡｋの同一画像領域毎に再構成信頼度を算出する。再構成信頼度は、同一画像領域における複数の仮再構成画像ＩＡｋに亘る画素値の変動を評価する。再構成信頼度としては、例えば、標準偏差や標本分散等が挙げられるが、これらに限定されるものではなく、複数の仮再構成画像ＩＡｋの同一画像領域毎の画素値の変動の度合いを数値化した指標であれば如何なる指標でもよい。例えば、再構成信頼度は、標準偏差や標本分散に対して所定値を加減乗除した値でもよいし、複数の画素値の平均値等の統計値からの各画素の画素値の差分値でもよい。再構成信頼度が算出される単位である画像領域は、一画素でもよいし、局所的な複数画素からなる画素集合でもよい。

図６は、再構成信頼度の概念を説明するための図である。図６の上段は一連の仮再構成画像ＩＡｋを模式的に示す図であり、下段は一連の仮再構成画像ＩＡｋに設定された注目画素Ｐ１及びＰ２の画素値のグラフを示す図である。グラフの縦軸は画素値に規定され、横軸は仮再構成画像ＩＡｋの番号に規定される。グラフには、画素Ｐ１の画素値と画素Ｐ２の画素値とがプロットされている。グラフに示すように、画素Ｐ１の画素値は、一連の仮再構成画像＃Ｉｋに亘り画素値の変動が比較的小さく、画素Ｐ２の画素値は、一連の仮再構成画像＃Ｉｋに亘り画素値の変動が比較的大きい。

上記の通り、ＤＮＮ再構成画像は、一連の仮再構成画像ＩＡｋに基づく画像であり、一例として、一連の仮再構成画像ＩＡｋの加算平均画像又は加算画像として得られ、一連の仮再構成画像ＩＡｋは、同一の生データに、要素が異なる仮再構成ＤＮＮを適用することにより得られる。このように本実施形態に係るＤＮＮ再構成においては、生データから一連の仮再構成画像ＩＡｋを経由してＤＮＮ再構成画像が生成される。このような過程を経て生成されたＤＮＮ再構成画像においては、ＤＮＮ再構成が比較的安定している画素ＰＡについては、一連の仮再構成画像ＩＡｋについて画素値の変動が小さく、従って画素Ｐ１は信頼度が大きいといえる。ＤＮＮ再構成が比較的不安定な画素Ｐ２については、一連の仮再構成画像ＩＡｋについて画素値の変動が大きく、従って画素Ｐ２は信頼度が小さいといえる。再構成信頼度は、上記の通り、一連の仮再構成画像ＩＡｋの同一画像領域毎の画素値の変動を表すので、ＤＮＮ再構成画像の信頼度を正確に評価することができる。

図７は、ＤＮＮ再構成画像と再構成信頼度との第二の出力方法を模式的に示す図である。図７に示すように、第二の出力方法において処理回路１１は、再構成ＤＮＮを利用して、一連のＮ個の仮再構成画像ＩＡｋ（１≦ｋ≦Ｎ）からＤＮＮ再構成画像と再構成信頼度とを出力する。Ｎは、２以上であれば特に制限はない。例えば、図７に示す例ではＮ＝１０である。また、Ｎは、仮再構成ＤＮＮにより出力される仮再構成画像の個数と同一でもよいし、それよりも少なくてもよい。再構成ＤＮＮは、Ｎ個の仮再構成画像ＩＡ１－ＩＡ１０を有する入力データと、Ｎ個の仮再構成画像ＩＡ１－ＩＡ１０に基づくＤＮＮ再構成画像と当該ＤＮＮ再構成画像の再構成信頼度とを有する出力データ（正解データ）とに基づいて学習されたＤＮＮである。

ここで、再構成ＤＮＮの生成方法について説明する。再構成ＤＮＮは、医用データ処理装置１により生成されてもよいし、他のコンピュータにより生成されてもよい。以下、再構成ＤＮＮを生成するための、ＣＰＵ及びＧＰＵ等のプロセッサを有するコンピュータをモデル学習装置と呼ぶことにする。

再構成ＤＮＮの生成方法は各第一の仮再構成ＤＮＮの生成方法と同様である。すなわち、モデル学習装置は、複数の学習サンプルに基づいて、ＤＮＮに機械学習を行わせて再構成ＤＮＮを生成する。学習サンプルは、入力データである複数の仮再構成画像と、正解データである正解ＤＮＮ再構成画像と正解再構成信頼度との組合せである。モデル学習装置は、複数の仮再構成画像にＤＮＮを適用して順伝播処理を行い、ＤＮＮ再構成画像（以下、推定ＤＮＮ再構成画像と呼ぶ）と再構成信頼度（以下、推定再構成信頼度と呼ぶ）を出力する。次にモデル学習装置は、推定ＤＮＮ再構成画像及び推定再構成信頼度と正解ＤＮＮ再構成画像及び正解再構成信頼度との差分（誤差）を当該ＤＮＮに適用して逆伝播処理を行い、勾配ベクトルを計算する。次にモデル学習装置は、勾配ベクトルに基づいて当該ＤＮＮの重みやバイアス等の係数（パラメータ）を更新する。順伝播処理、逆伝播処理及び係数更新処理を、学習サンプルを変更しながら繰り返すことにより、再構成ＤＮＮが生成される。

次に、学習サンプルの生成方法について説明する。磁気共鳴イメージングにおいては、ＮＥＸ（励起回数：number of excitation）の数だけ同一部位に対してデータ収集（以下、ＮＥＸ収集と呼ぶ）が行われてＮＥＸ分のＭＲ画像（以下、ＮＥＸ画像と呼ぶ）が生成される。ＮＥＸ分のＮＥＸ画像は加算又は加算平均され、単一の加算画像又は加算平均画像が得られる。以下、加算画像と加算平均画像とを特に区別せず単に加算画像と呼ぶことにする。例えば、ＮＥＸ＝１０の場合、同一部位に対して１０回のＮＥＸ収集が行われて１０個のＮＥＸ画像が生成され、１０個のＮＥＸ画像に基づき加算画像が得られる。典型的には、複数回のデータ収集に亘り、撮像パラメータは同一に設定されるが、生成されるＮＥＸ画像の画質は完全に同一にはならない。加算画像は、各励起回のＭＲ画像の画質の変動が平均化された画像である。そこで、学習サンプルの入力データとしてＮＥＸ画像が用いられ、正解ＤＮＮ再構成画像として加算画像が用いられるとよい。正解再構成信頼度としては、複数の仮再構成画像に基づいて算出された、同一画像領域毎の標準偏差や標本分散等の再構成信頼度が用いられればよい。

ＮＥＸ収集においてはＳＥＮＳＥ（sensitivity encoding）法等のパラレルイメージングが行われてもよい。ＳＥＮＳＥ法における信号雑音比のうちのコイルジオメトリに依存する部分はｇファクタと呼ばれている。ｇファクタは各画素とコイルとの位置関係に応じて決まるため、画素位置に応じて異なる値を有する。すなわち、ｇファクタは、各画素の画素値に対する信頼度と捉えることができるので、正解再構成信頼度として用いられてもよい。ｇファクタを正解再構成信頼度として機械学習を行うことにより、再構成ＤＮＮを用いてｇファクタ類似の再構成信頼度を出力することができる。この場合、再構成信頼度の尺度をｇファクタの尺度に揃えることで、ｇファクタとの比較等をすることが可能である。

なお、ステップＳＡ３において処理回路１１は、ＤＮＮ再構成画像と再構成信頼度との両方を出力するように学習された再構成ＤＮＮを用いて、ＤＮＮ再構成画像と再構成信頼度とを取得するものとした。しかしながら、本実施形態はこれに限定されない。例えば、処理回路１１は、複数の仮再構成画像を入力としＤＮＮ再構成画像のみを出力とするように学習されたＤＮＮを用いて、ＤＮＮ再構成画像を出力してもよい。この場合、処理回路１１は、複数の仮再構成画像に信頼度計算処理ＰＲ２を施すことにより再構成信頼度を算出すればよい。また、処理回路１１は、複数の仮再構成画像を入力とし再構成信頼度のみを出力とするように学習されたＤＮＮを用いて、再構成信頼度を出力してもよい。この場合、処理回路１１は、複数の仮再構成画像に画像生成処理ＰＲ１を施すことによりＤＮＮ再構成画像を生成すればよい。

第一の出力方法によれば、第二の出力方法とは異なり、算術演算により再構成信頼度を得ることができるので、処理対象である複数の仮再構成画像に高感度の再構成信頼度を得ることができる。また、第二の出力方法によれば、第一の出力方法とは異なり、ＤＮＮを用いて再構成信頼度を得ることができるので、再構成信頼度の偏りを補正することが可能になる。

ステップＳＡ３が行われると処理回路１１は、表示制御機能１１４の実現により、ステップＳＡ３において出力されたＤＮＮ再構成画像と再構成信頼度とを表示する（ステップＳＡ４）。処理回路１１は、再構成信頼度を、画素と再構成信頼度の数値とを対応づけた表形式で表示してもよいし、再構成信頼度の空間分布（以下、再構成信頼度マップと呼ぶ）の形式で表示してもよい。

図８は、ＤＮＮ再構成画像Ｉ１１と再構成信頼度マップＩ１２とを含む表示画面Ｉ１の一例を示す図である。図８に示すように、処理回路１１は、ＤＮＮ再構成画像Ｉ１１と再構成信頼度マップＩ１２とを、例えば、並列的に表示する。再構成信頼度マップＩ１２は、各画素に信頼度に応じたグレー値又は色値等が割り当てられた、再構成信頼度の空間分布である。再構成信頼度マップＩ１２を表示することによりユーザは、ＤＮＮ再構成画像Ｉ１１の信頼度を評価することができる。また、再ＤＮＮ構成画像Ｉ１１と再構成信頼度マップＩ１２とを表示することによりユーザは、ＤＮＮ再構成画像Ｉ１１における再構成信頼度の高い所や低い所を容易に把握することができる。

なお、ＤＮＮ再構成画像Ｉ１１と再構成信頼度マップＩ１２との表示形態は上記形態のみに限定されない。例えば、処理回路１１は、再構成信頼度マップＩ１２をＤＮＮ再構成画像Ｉ１１に重畳してもよい。この際、処理回路１１は、再構成信頼度が任意の閾値よりも高い領域又は低い領域を抽出し、抽出された領域に限定して再構成信頼度マップＩ１２をＤＮＮ再構成画像Ｉ１１に重畳してもよい。

また、処理回路１１は、ＤＮＮ再構成画像Ｉ１１のうちの再構成信頼度が閾値よりも低い領域を特定し、特定された領域を、信頼できない領域として、色やフラグ等の視覚効果により強調してもよい。反対に、処理回路１１は、ＤＮＮ再構成画像Ｉ１１のうちの再構成信頼度が閾値よりも高い領域を特定し、特定された領域を、信頼できる領域として、色やフラグ等の視覚効果により強調してもよい。

また、処理回路１１は、入力インタフェース１４等によりＤＮＮ再構成画像Ｉ１１又は再構成信頼度マップＩ１２上の画素が指定された場合、処理回路１１は、当該画素の再構成信頼度の根拠を表示してもよい。例えば、処理回路１１は、根拠として、再構成信頼度の数値を表示したり、図６の下段に示すような、一連の仮再構成画像に亘る当該画素の画素値の変動を示すグラフを表示したりしてもよい。

以上により、第一実施形態に係る処理回路１１によるＤＮＮ再構成処理が終了する。

なお、図２に示すＤＮＮ再構成処理の流れは一例であり図２に示す例に限定されない。例えば、ステップＳＡ２において処理回路１１は、仮再構成ＤＮＮを利用して複数の仮再構成画像を生成するとしたが、第一実施形態はこれに限定されない。例えば、処理回路１１は、ＮＥＸ収集により得られたＮＥＸ画像を仮再構成画像として用いてもよい。具体的には、処理回路１１は、複数の励起回各々において収集されたｋ空間データに逆フーリエ変換や逐次再構成等の通常の再構成演算を施してＮＥＸ画像を再構成する。ステップＳＡ３において処理回路１１は、複数の励起回にそれぞれ対応する複数のＮＥＸ画像を再構成ＤＮＮに適用して、当該複数のＮＥＸ画像に基づくＤＮＮ再構成画像と再構成信頼度とを出力する。この方法によれば、複数のＮＥＸ画像に加算処理を施して加算画像を生成する方法に比して、加算演算の偏りを補正することが可能になる。

再構成ＤＮＮへの入力である仮再構成画像は、一の医用装置により生成される医用画像に限定されず、二以上の医用装置により生成される二以上の医用画像の合成画像でもよい。例えば、ＰＥＴ装置により生成されるＰＥＴ画像とＸ線コンピュータ断層撮影装置により生成されるＣＴ画像との合成画像でもよいし、ＰＥＴ装置により生成されるＰＥＴ画像と磁気共鳴イメージング装置により生成されるＭＲ画像との合成画像でもよい。また、光学カメラ装置により生成される光学画像と、磁気共鳴イメージング装置により生成されるＭＲ画像やＸ線コンピュータ断層撮影装置により生成されるＣＴ画像との合成画像でもよい。例えば、内視鏡画像とＭＲ画像との合成画像により体内の傷と体外の傷とを対比して観察することも可能である。また、Ｘ線ステレオ撮影等により生成される左目用画像と右目用画像との合成画像でもよい。

上記の通り、第一実施形態に係る医用データ処理装置１－１は、少なくとも処理回路１１を有する。処理回路１１は、一の生データに、要素の異なる複数の第一の仮再構成ＤＮＮを適用して、又は要素を変えながら第二の仮再構成ＤＮＮを複数回適用して、複数の仮再構成画像を生成する。処理回路１１は、複数の仮再構成画像に基づいて、ＤＮＮ再構成画像と再構成信頼度とを出力する。

上記の構成によれば、生データから複数の仮再構成画像を経由してＤＮＮ再構成画像が生成される。このような過程を経て生成されたＤＮＮ再構成画像においては、複数の仮再構成画像に基づく信頼度を定義することにより、ＤＮＮ再構成画像の信頼度を評価することができる。

（第２実施形態）
第２実施形態に係る医用データ処理装置は、第１実施形態により出力された再構成信頼度を利用する。以下、第２実施形態に係る医用データ処理装置について説明する。なお以下の説明において、第１実施形態と略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。

図９は、第２実施形態に係る医用データ処理装置１－２の構成を示す図である。図９に示すように、医用データ処理装置１－２は、処理回路１１、通信インタフェース１２、表示機器１３、入力インタフェース１４及び記憶回路１５を有する。処理回路１１は、取得機能１１１、仮再構成画像生成機能１１２、再構成画像／信頼度出力機能１１３及び表示制御機能１１４に加え、機械学習処理機能１１５及び追加収集指示機能１１６を実現する。

機械学習処理機能１１５の実現により、処理回路１１は、ＤＮＮ再構成画像と再構成信頼度とに、画像認識を行う第三の機械学習モデルを適用して、ＤＮＮ再構成画像に対する画像認識の処理結果と当該処理結果に関する第二の信頼度とを出力する。以下、第三の機械学習モデルを画像認識ＤＮＮと呼び、第二の信頼度を画像認識信頼度と呼ぶことにする。

追加収集指示機能１１６の実現により、処理回路１１は、画像認識信頼度が閾値よりも低い場合、磁気共鳴イメージング装置の制御部に生データの追加収集を指示する。磁気共鳴イメージング装置の制御部は、例えば、ＭＲ撮像機構によるＭＲ撮像を制御する撮像制御装置である。撮像制御装置は、ハードウェア資源として、ＣＰＵ等のプロセッサとＲＯＭやＲＡＭ等のメモリとを有する。撮像制御装置は、傾斜磁場電源、送信回路及び受信回路を同期的に制御し、パルスシーケンスに従い被検体にＭＲ撮像を実行し、当該被検体に関するｋ空間データを収集する。収集されたｋ空間データは、医用データ処理装置１－２に供給され、生データとして記憶回路１５に記憶される。

以下、第２実施形態に係る医用データ処理装置１－２について詳細に説明する。

機械学習処理機能１１５により行われる画像認識は、如何なる種類の画像認識でもよいが、例えば、臓器分類や疾患判定が含まれる。臓器分類のための画像認識ＤＮＮを臓器分類ＤＮＮと呼び、疾患判定のための画像認識ＤＮＮを疾患判定ＤＮＮと呼ぶことにする。

図１０は、臓器分類ＤＮＮの入出力を模式的に示す図である。図１０に示すように、臓器分類ＤＮＮは、ＤＮＮ再構成画像と再構成信頼度とに基づいて臓器分類結果と臓器分類結果の画像認識信頼度（以下、臓器分類信頼度と呼ぶ）とを出力とするように学習されたＤＮＮである。ＤＮＮ再構成画像と再構成信頼度とは、上記の通り、再構成画像／信頼度出力機能１１３により出力される。臓器分類結果は、臓器分類ＤＮＮの種類に応じて種々の形態の出力が可能である。例えば、ＤＮＮ再構成画像に含まれる各解剖学的構造の分類名を出力可能な臓器分類ＤＮＮであれば、臓器分類結果は、各解剖学的構造の分類名である。ＤＮＮ再構成画像に含まれる特定の解剖学的構造の有無を出力可能な臓器分類ＤＮＮであれば、臓器分類結果は、当該特定の解剖学的構造の有無である。ＤＮＮ再構成画像に含まれる各解剖学的構造の存在領域を出力可能な臓器分類ＤＮＮであれば、臓器分類結果は、各解剖学的構造の存在領域が強調されたＤＮＮ再構成画像である。

臓器分類信頼度は、例えば、連続値又は離散値の数値や当該数値に対応する符号により表される。例えば、「０」は信頼度が低く、「１」は信頼度が高く、「０．５」は信頼度が中間であることを示す。臓器分類信頼度は、臓器分類結果の種類に応じて出力可能である。例えば、臓器分類結果が各解剖学的構造の分類名である場合、臓器分類信頼度は、各分類名であることの信頼度として出力される。例えば、「肺領域」、「肝臓領域」、「心臓領域」等の分類毎に「０」、「１」、「０．５」等の信頼度レベルが出力される。臓器分類結果が特定の解剖学的構造の有無である場合、臓器分類信頼度は、当該解剖学的構造であることの信頼度として出力される。例えば、「肺領域」であることにつき「０」、「１」、「０．５」等の信頼度が出力される。臓器分類結果が各解剖学的構造の存在領域が強調されたＤＮＮ再構成画像である場合、画素毎又は画像領域毎に当該解剖学的構造であることの信頼度が出力される。例えば、画素毎に「肺領域」であることにつき「０」、「１」、「０．５」等の信頼度が割り当てられる。

ここで、臓器分類ＤＮＮの生成方法について説明する。臓器分類ＤＮＮは、医用データ処理装置１－２により生成されてもよいし、他のコンピュータにより生成されてもよい。以下、臓器分類ＤＮＮを生成するための、ＣＰＵ及びＧＰＵ等のプロセッサを有するコンピュータをモデル学習装置と呼ぶことにする。

モデル学習装置は、複数の学習サンプルに基づいて、ＤＮＮに機械学習を行わせて臓器分類ＤＮＮを生成する。学習サンプルは、入力データであるＤＮＮ再構成画像及び再構成信頼との組合せと、正解データである臓器分類結果（以下、正解臓器分類結果と呼ぶ）と臓器分類信頼度（以下、正解臓器信頼度と呼ぶ）との組合せである。モデル学習装置は、ＤＮＮ再構成画像及び再構成信頼度との組合せにＤＮＮを適用して順伝播処理を行い、臓器分類結果（以下、推定臓器分類結果と呼ぶ）及び臓器分類信頼度（以下、推定臓器分類信頼度と呼ぶ）の組合せを出力する。次にモデル学習装置は、推定臓器分類結果及び推定臓器分類信頼度の組合せと正解臓器分類結果及び正解臓器分類信頼度の組合せとの差分（誤差）を当該ＤＮＮに適用して逆伝播処理を行い、勾配ベクトルを計算する。次にモデル学習装置は、勾配ベクトルに基づいて当該ＤＮＮの重みやバイアス等の係数（パラメータ）を更新する。順伝播処理、逆伝播処理及び係数更新処理を、学習サンプルを変更しながら繰り返すことにより、臓器分類ＤＮＮが生成される。

正解臓器分類結果及び正解臓器分類信頼度は、例えば、ユーザにより手動的に生成されるとよい。例えば、ユーザは、目視で医用画像から分類対象の臓器に対応する画像領域を特定してアノテーションを付す。アノテーションが付された画像領域が正解臓器分類結果として用いられる。更にユーザは、自身が下した臓器分類を主観で評価し臓器分類信頼度を決定する。例えば、ユーザは、臓器分類に対して完全に自信がない場合、臓器分類信頼度が「０」であると決定したり、臓器分類に対して確信がある場合、臓器分類信頼度が「１」であると決定したりする。決定された臓器分類信頼度は正解臓器分類信頼度として当該画像領域に割り当てる。なお、正解臓器分類結果又は正解臓器分類信頼度が画像認識処理により自動的に行われてもよいし、正解臓器分類結果及び正解臓器分類信頼度が画像認識処理により自動的に行われてもよい。

図１１は、疾患判定ＤＮＮの入出力を模式的に示す図である。図１１に示すように、疾患判定ＤＮＮは、ＤＮＮ再構成画像と再構成信頼度とに基づいて疾患判定結果と疾患判定結果の画像認識信頼度（以下、疾患判定信頼度と呼ぶ）とを出力とするように学習されたＤＮＮである。ＤＮＮ再構成画像と再構成信頼度とは、上記の通り、再構成画像／信頼度出力機能１１３により出力される。疾患判定結果は、疾患判定ＤＮＮの種類に応じて種々の形態の出力が可能である。例えば、ＤＮＮ再構成画像に含まれる病変の分類名を出力可能な疾患判定ＤＮＮであれば、疾患判定結果は、各病変の分類名である。ＤＮＮ再構成画像に含まれる特定の疾患の有無を出力可能な疾患判定ＤＮＮであれば、疾患判定結果は、当該特定の病変の有無である。ＤＮＮ再構成画像に含まれる各疾患の存在領域を出力可能な疾患判定ＤＮＮであれば、疾患判定結果は、各病変の存在領域が強調されたＤＮＮ再構成画像である。

疾患判定信頼度は、例えば、連続値又は離散値の数値や当該数値に対応する符号により表される。例えば、「０」は信頼度が低く、「１」は信頼度が高く、「０．５」は信頼度が中間であることを示す。疾患判定信頼度は、臓器分類結果と同様、疾患判定結果の種類に応じて出力可能である。

ここで、疾患判定ＤＮＮの生成方法について説明する。疾患判定ＤＮＮは、医用データ処理装置１－２により生成されてもよいし、他のコンピュータにより生成されてもよい。以下、疾患判定ＤＮＮを生成するための、ＣＰＵ及びＧＰＵ等のプロセッサを有するコンピュータをモデル学習装置と呼ぶことにする。

モデル学習装置は、複数の学習サンプルに基づいて、ＤＮＮに機械学習を行わせて疾患判定ＤＮＮを生成する。学習サンプルは、入力データであるＤＮＮ再構成画像及び再構成信頼との組合せと、正解データである疾患判定結果（以下、正解疾患判定結果と呼ぶ）と疾患判定信頼度（以下、正解疾患判定信頼度と呼ぶ）との組合せである。モデル学習装置は、ＤＮＮ再構成画像及び再構成信頼との組合せにＤＮＮを適用して順伝播処理を行い、疾患判定結果（以下、推定疾患判定結果と呼ぶ）及び疾患判定信頼度（以下、推定疾患判定信頼度と呼ぶ）の組合せを出力する。次にモデル学習装置は、推定疾患判定結果及び推定疾患判定信頼度の組合せと正解疾患判定結果及び正解疾患判定信頼度の組合せとの差分（誤差）を当該ＤＮＮに適用して逆伝播処理を行い、勾配ベクトルを計算する。次にモデル学習装置は、勾配ベクトルに基づいて当該ＤＮＮの重みやバイアス等の係数（パラメータ）を更新する。順伝播処理、逆伝播処理及び係数更新処理を、学習サンプルを変更しながら繰り返すことにより、疾患判定ＤＮＮが生成される。

正解疾患判定結果及び正解疾患判定信頼度は、例えば、ユーザにより手動的に生成されるとよい。例えば、ユーザは、医用画像を観察して疾患の分類名を決定する。決定された疾患の分類名が正解疾患判定結果として用いられる。更にユーザは、自身が下した疾患判定を主観で評価し疾患判定信頼度を決定する。例えば、ユーザは、疾患判定に対してあまり自信がない場合、疾患判定信頼度が「０.３」であると決定したり、かなり自信がある場合、疾患判定信頼度が「０．９」であると決定したりする。決定された疾患判定信頼度を、正解疾患判定信頼度として当該分類名に関連付ける。なお、正解疾患判定結果又は正解疾患判定信頼度が画像認識処理により自動的に行われてもよいし、正解疾患判定結果及び正解疾患判定信頼度が画像認識処理により自動的に行われてもよい。

図１２は、第２実施形態に係る処理回路１１による再構成信頼度の利用処理の典型的な流れを示す図である。

図１２に示すように、処理回路１１は、取得機能１１１の実現により、ステップＳＡ３等により出力されたＤＮＮ再構成画像と再構成信頼度とを取得する（ステップＳＢ１）。

ステップＳＢ１が行われると処理回路１１は、機械学習処理機能１１５の実現により、画像認識ＤＮＮを利用して、ＤＮＮ再構成画像と再構成信頼度とから、画像認識結果と画像認識信頼度とを出力する（ステップＳＢ２）。例えば、画像認識として臓器分類を行うことが指示された場合、処理回路１１は、ＤＮＮ再構成画像と再構成信頼度とに臓器分類ＤＮＮを適用して臓器分類結果と臓器分類信頼度とを出力する。画像認識として疾患判定を行うことが指示された場合、処理回路１１は、ＤＮＮ再構成画像と再構成信頼度とに疾患判定ＤＮＮを適用して疾患判定結果と疾患判定信頼度とを出力する。

ステップＳＢ２が行われると処理回路１１は、表示制御機能１１４の実現により、ステップＳＢ２において出力された画像認識結果と画像認識信頼度とを表示する（ステップＳＢ３）。例えば、処理回路１１は、画像認識結果と画像認識信頼度との表示画面を表示機器１３に表示する。

ここで、画像認識が疾患判定である場合の表示例について説明する。

図１３は、疾患判定結果と疾患判定信頼度とを含む表示画面Ｉ２の一例を示す図である。図１３に示すように、疾患判定結果として、セグメンテーション画像Ｉ２１と疾患名Ｉ２２とが表示される。例えば、ＤＮＮ再構成画像に基づいて疾患判定ＤＮＮにより肺癌の判定がなされた場合、セグメンテーション画像Ｉ２１には肺癌領域Ｉ２１１が強調されて表示され、疾患名Ｉ２２として「肺癌」が表示される。疾患判定信頼度Ｉ２３として、例えば、「６０％」が表示される。疾患判定結果に加えて疾患判定信頼度が表示されるのでユーザは、疾患判定結果の信憑性を推し量ることができ、より適格な診断を行うことができる。

ステップＳＢ３が行われると処理回路１１は、追加収集指示機能１１６の実現により、画像認識信頼度が閾値よりも小さいか否かを判定する（ステップＳＢ４）。閾値は、特に限定されず、例えば、ユーザ等が画像認識結果を許容できる下限に設定されればよい。

画像認識信頼度が閾値よりも小さいと判定された場合（ステップＳＢ４：ＹＥＳ）、処理回路１１は、追加収集指示機能１１６の実現により、磁気共鳴イメージング装置の撮像制御装置に追加収集を指示する（ステップＳＢ５）。追加収集は、画像認識信頼度が低いため、生データを収集し直す等の目的により行われる。撮像制御装置は、追加収集の指示を受けてＭＲ撮像機構を制御すことにより、被検体にＭＲ撮像を施して生データを追加で収集する。追加で収集された生データは、例えば、第１実施形態の通り、再構成画像／信頼度出力機能１１３によりＤＮＮ再構成画像に変換され、機械学習処理機能１１５により画像認識等に供される。なお、追加で収集された生データは、ＤＮＮ再構成処理ではなく、フーリエ逆変換や逐次再構成等の解析学的又は統計学的な再構成手法により、再構成画像に変換されてもよい。

なお、ステップＳＢ４の判定結果は、図１３に示す表示画面Ｉ２の表示欄Ｉ２４等に表示されるとよい。例えば、画像認識信頼度が閾値よりも小さいと判定された場合、表示欄Ｉ２４に「追加収集指示をしました」等の追加収集指示を行う旨のメッセージが表示されるとよい。また、画像認識信頼度が閾値よりも大きいと判定された場合、表示欄Ｉ２４に「疾患判定信頼度が高いので追加収集は行いません」等の追加収集指示を行わない旨のメッセージが表示されるとよい。

以上により、第２実施形態に係る処理回路１１による再構成信頼度の利用処理が終了する。

なお、図１２に示す再構成信頼度の利用処理はこれに限定されず、適宜変更可能である。例えば、ステップＳＢ５においては、画像認識信頼度が閾値より小さい場合、自動的に追加収集指示が行われるとした。しかしながら、ユーザによる入力インタフェース１４を介した確定指示がなされたことを契機として処理回路１１は、磁気共鳴イメージング装置の撮像制御装置に追加収集指示を行ってもよい。

上記の説明の通り、第２実施形態に係る医用データ処理装置１－２は、少なくとも処理回路１１を有する。処理回路１１は、ＤＮＮ再構成画像と再構成信頼度とを取得する。処理回路１１は、ＤＮＮ再構成画像と再構成信頼度とに、画像認識ＤＮＮを適用して、画像認識結果と画像認識信頼度とを出力する。

上記の構成によれば、ＤＮＮ再構成画像だけでなく再構成信頼度をも加味した、画像認識結果と画像認識信頼度とを出力することができる。よって画像認識結果に対する信頼度を向上させることができる。

（変形例）
第１実施形態において、再構成ＤＮＮへの入力は、複数の要素に関する複数の第一の仮再構成ＤＮＮにより生成された複数の仮再構成画像、又は単一の第二の仮再構成ＤＮＮを要素を変えながら複数回適用することにより生成された複数の仮再構成画像であるとした。変形例に係る再構成ＤＮＮへの入力は、逐次再構成の過程において生成された医用画像である。以下、変形例に係る医用データ処理装置について説明する。なお以下の説明において、第１実施形態と略同一の機能を有する構成要素については、同一符号を付し、必要な場合にのみ重複説明する。

図１４は、変形例に係るＤＮＮ再構成処理の流れを模式的に示す図である。図１４に示すように、逐次再構成において処理回路１１は、仮再構成画像生成機能１１２の実現により、生データに逐次再構成を施して、逐次再構成の過程においてＮ個の中間画像ＩＴｋ（１≦ｋ≦Ｎ）及び最終画像ＩＦを生成する。より詳細には、処理回路１１は、画質が所定の停止条件を満たすまで、生データ又は当該生データに基づく中間画像ＩＴｋを繰り返し更新し、停止条件を満たした生データに基づく中間画像ＩＴｋ又は停止条件を満たした中間画像ＩＴｋを最終画像として出力する。例えば、図１４に示す例においては、９個の中間画像ＩＴ１－ＩＴ９がと１個の最終画像ＩＦが生成される。

逐次再構成の手法は特に限定されない。例えば、磁気共鳴イメージング装置により収集されたｋ空間データに適用する逐次再構成としては、圧縮センシング（compressed sensing）がある。

圧縮センシングは、例えば、以下の手順により行われる。Ｓ１．処理回路１１は、アンダーサンプリング収集されたｋ空間データ（以下、観測ｋ空間データと呼ぶ）に逆フーリエ変換を施して実空間の初期画像を再構成し、初期画像にウェーブレット変換等のスパース変換を施してスパース空間画像を生成する。Ｓ２．処理回路１１は、スパース空間画像にＬ１ノルム最小化を施す。Ｓ３．処理回路１１は、Ｌ１ノルム最小化後のスパース空間画像に逆ウェーブレット変換等の逆スパース変換を施して実空間の中間画像を生成する。Ｓ４．処理回路１１は、中間画像にフーリエ変換を施してｋ空間データ（以下、計算ｋ空間データと呼ぶ）に変換する。Ｓ５．処理回路１１は、観測ｋ空間データと計算ｋ空間データとの比較に基づき、計算ｋ空間データの画質が停止条件を満たすか否かを判定する。Ｓ６．処理回路１１は、停止条件を満たさない場合、計算ｋ空間データを更新する。以下、Ｓ１からＳ６の処理を繰り返し、停止条件を満たすと判定した場合、直前に得られた中間画像を最終画像に設定する。

図１４に示すように、処理回路１１は、再構成画像／信頼度出力機能１１３の実現により、９個の中間画像ＩＴ１－ＩＴ９と最終画像ＩＦとを再構成ＤＮＮに適用して一のＤＮＮ再構成画像と再構成信頼度とを出力する。ＤＮＮ再構成画像は、９個の中間画像ＩＴ１－ＩＴ９と最終画像ＩＦとに基づく画像であるため、各中間画像ＩＴｋや最終画像ＩＦに比して高画質である。

ここで、変形例に係る再構成ＤＮＮの生成方法について説明する。再構成ＤＮＮは、医用データ処理装置１－１により生成されてもよいし、他のコンピュータにより生成されてもよい。以下、再構成ＤＮＮを生成するための、ＣＰＵ及びＧＰＵ等のプロセッサを有するコンピュータをモデル学習装置と呼ぶことにする。

変形例に係る再構成ＤＮＮの生成方法は、第一実施形態に係る再構成ＤＮＮの生成方法と同様である。すなわち、モデル学習装置は、複数の学習サンプルに基づいて、ＤＮＮに機械学習を行わせて再構成ＤＮＮを生成する。学習サンプルは、入力データである複数の中間画像及び最終画像と、正解データであるＤＮＮ再構成画像（以下、正解ＤＮＮ再構成画像と呼ぶ）と再構成信頼度（以下、正解再構成信頼度と呼ぶ）との組合せである。モデル学習装置は、複数の中間画像及び最終画像にＤＮＮを適用して順伝播処理を行い、ＤＮＮ再構成画像（以下、推定ＤＮＮ再構成画像と呼ぶ）と再構成信頼度（以下、推定再構成信頼度と呼ぶ）を出力する。次にモデル学習装置は、推定ＤＮＮ再構成画像及び推定再構成信頼度と正解ＤＮＮ再構成画像及び正解再構成信頼度との差分（誤差）を当該ＤＮＮに適用して逆伝播処理を行い、勾配ベクトルを計算する。次にモデル学習装置は、勾配ベクトルに基づいて当該ＤＮＮの重みやバイアス等の係数（パラメータ）を更新する。順伝播処理、逆伝播処理及び係数更新処理を、学習サンプルを変更しながら繰り返すことにより、再構成ＤＮＮが生成される。

正解ＤＮＮ再構成画像としては、例えば、入力データである複数の中間画像及び最終画像の生成に用いた生データに任意の再構成法を施すことにより再構成された高画質な再構成画像が用いられるとよい。あるいは、正解ＤＮＮ再構成画像としては、入力データである複数の中間画像及び最終画像の加算画像又は加算平均画像が用いられてもよい。適切な正解ＤＮＮ再構成画像を用いて学習を行うことにより、再構成ＤＮＮにより出力されるＤＮＮ再構成画像の画質を向上させることが可能になる。

上記の説明において変形例に係る再構成ＤＮＮへの入力は、複数の中間画像及び最終画像であるとした。しかしながら、これに限定されず、例えば、変形例に係る再構成ＤＮＮへの入力は、複数の中間画像のみでもよい。また、変形例に係る再構成ＤＮＮに入力される複数の中間画像は、逐次再構成の過程において生成された全ての中間画像でもよいし、全ての中間画像のうちの一部の中間画像でもよい。例えば、一般的に画質が良くないと推定される所定反復回以前の中間画像が破棄され、当該所定反復回以後の中間画像が再構成ＤＮＮに入力されてもよい。

また、上記の説明において変形例に係る再構成ＤＮＮは、ＤＮＮ再構成画像と再構成信頼度とを出力するものとした。しかしながら、本実施例はこれに限定されない。再構成ＤＮＮは、逐次再構成の過程において生成された医用画像を入力とし、ＤＮＮ再構成画像を出力するように学習されたＤＮＮでもよい。また、再構成ＤＮＮは、逐次再構成の過程において生成された医用画像を入力とし、再構成信頼度を出力するように学習されたＤＮＮでもよい。

変形例に係る再構成ＤＮＮは、磁気共鳴イメージング装置により収集されたｋ空間データだけでなく、Ｘ線コンピュータ断層撮影装置により収集された投影データにも適用可能である。Ｘ線コンピュータ断層撮影装置により収集された投影データに適用する逐次再構成としては、ＥＭ（expectation maximization）法やＡＲＴ（algebraic reconstruction technique）法又はこれらの応用等がある。逐次構成法は、上記方法にＦＢＰ（filtered back projection）法やＣＢＰ（convolution back projection）法等の解析学的再構成法が組み合わされた方法でもよいし、統計学的モデル、スキャナモデル、解剖学的モデル及び／又は機械学習に基づくノイズ低減が組み込まれた方法が用いられてもよい。

変形例に係る医用データ処理装置は、少なくとも処理回路１１を有する。処理回路１１は、生データを取得し、生データに逐次再構成を実行して中間生成物及び／又は最終生成物である複数の医用画像を生成し、生成された複数の医用画像に機械学習モデルを適用して一のＤＮＮ再構成画像を生成する。

上記の構成によれば、逐次再構成と再構成ＤＮＮとを組み合わせた新たな再構成手法を提供することが可能になる。生成されるＤＮＮ再構成画像は、逐次再構成の過程において生成される複数の中間画像及び／又は最終画像に基づく画像であるので、最終画像に比して高画質を期待できる。

以上説明した少なくとも１つの実施形態によれば、機械学習モデルを利用して生成された医用画像の信頼性を高めることができる。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ））、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは記憶回路に保存されたプログラムを読み出し実行することで機能を実現する。なお、記憶回路にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、プログラムを実行するのではなく、論理回路の組合せにより当該プログラムに対応する機能を実現しても良い。なお、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて１つのプロセッサとして構成し、その機能を実現するようにしてもよい。さらに、図１及び図９における複数の構成要素を１つのプロセッサへ統合してその機能を実現するようにしてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１－１…医用データ処理装置
１１…処理回路
１２…通信インタフェース
１３…表示機器
１４…入力インタフェース
１５…記憶回路
１１１…取得機能
１１２…仮再構成画像生成機能
１１３…再構成画像／信頼度出力機能
１１４…表示制御機能
１１５…機械学習処理機能
１１６…追加収集指示機能

Claims (12)

1. 一の生データに、要素の異なる複数の第一の機械学習モデルを適用して、又は要素を変えながら第一の機械学習モデルを複数回適用して、複数の第一の医用画像を生成する生成部と、
   前記複数の第一の医用画像に基づいて、第二の医用画像と前記第二の医用画像に関する第一の信頼度とを出力する出力部と、
   を具備する医用データ処理装置。
2. 前記第二の医用画像は、前記複数の第一の医用画像を用いて生成される医用画像である、請求項１記載の医用データ処理装置。
3. 前記第一の信頼度は、前記複数の第一の医用画像間のばらつきに応じた情報である、請求項１記載の医用データ処理装置。
4. 前記第一の信頼度は、前記複数の第一の医用画像の同一画像領域毎の信頼度を含む、請求項１記載の医用データ処理装置。
5. 前記第一の信頼度は、前記複数の第一の医用画像に亘る画素値の同一画像領域における変動を評価する、請求項１記載の医用データ処理装置。
6. 前記出力部は、前記複数の第一の医用画像に、第二の機械学習モデルを適用して、前記第一の信頼度と前記第二の医用画像とを出力し、
   前記第二の機械学習モデルは、入力としての複数の第一の医用画像と、出力としての当該複数の第一の医用画像に基づく第二の医用画像及び当該第二の医用画像に関する第一の信頼度とに基づいて学習される、
   請求項１記載の医用データ処理装置。
7. 前記入力としての前記複数の第一の医用画像は、磁気共鳴イメージングにおける励起回数分の複数のＭＲ画像であり、
   前記出力としての前記第二の医用画像は、前記複数のＭＲ画像に基づく加算平均画像又は加算画像である、
   請求項６記載の医用データ処理装置。
8. 前記第二の医用画像と前記第一の信頼度とを表示する表示部を更に備える、請求項１記載の医用データ処理装置。
9. 前記第二の医用画像と前記第一の信頼度とに、第三の機械学習モデルを適用して、前記第二の医用画像に対する前記第三の機械学習モデルによる画像認識の処理結果と前記処理結果に関する第二の信頼度とを出力する機械学習処理部を更に備える、請求項１記載の医用データ処理装置。
10. 前記第二の信頼度は、前記画像認識が臓器分類である場合、分類結果に対する信頼度に関する、請求項９記載の医用データ処理装置。
11. 前記第二の信頼度は、前記画像認識が疾患判定である場合、判定結果に対する信頼度に関する、請求項９記載の医用データ処理装置。
12. 前記第二の信頼度が閾値よりも低い場合、磁気共鳴イメージングの制御部に追加収集を指示する指示部を更に備える、請求項９記載の医用データ処理装置。