JP7433901B2 - 学習装置及び学習方法 - Google Patents

Description

本発明の実施形態は、学習装置及び学習方法に関する。

学習済みモデルを用いて、各種のセグメンテーション結果、各種の分類結果及び各種の検出結果を示す画像データを推定する技術がある。例えば、被検体の部位が描出された画像データが入力されることで、被検体の部位の輪郭が精度良く描出された画像データを出力する学習済みモデルがある。そして、このような学習済みモデルを用いて、被検体の部位が描出された画像データから、被検体の部位の輪郭が精度良く描出された画像データを推定する画像処理装置がある。そして、かかる画像処理装置では、推定された画像データに対して、解析処理を実行する。

米国特許出願公開第２０１９／００５１３９８号明細書 米国特許出願公開第２０１８／０１３７４３５号明細書 米国特許第９７２１２１３号明細書

本発明が解決しようとする課題は、高い精度の解析結果を得ることが可能な学習済みモデルを得ることである。

実施形態の学習装置は、生成部と、推定部と、解析部とを備える。生成部は、第１の画像データと、前記第１の画像データに対して処理が実行されることにより得られた第１の処理結果とを対応付けて学習することにより、前記第１の画像データを受け付けて第２の処理結果を出力するとともに第２の画像データを受け付けて第３の処理結果を出力する学習済みモデルを生成する。推定部は、前記学習済みモデルを用いて、前記第２の画像データを基に、前記第３の処理結果を推定する。解析部は、前記推定部により推定された前記第３の処理結果に対して解析処理を実行することにより第１の解析処理結果を取得する。生成部は、前記第１の処理結果に対して前記解析処理を実行することにより第２の解析処理結果を取得する。生成部は、前記学習済みモデルを用いて、前記第１の画像データを基に前記第２の処理結果を推定し、推定された前記第２の処理結果に対して前記解析処理を実行することにより第３の解析処理結果を取得する。生成部は、前記第２の解析処理結果と前記第３の解析処理結果との差が小さくなるように、前記学習済みモデルを生成する。

図１は、第１の実施形態に係る医用処理システムの構成の一例を示す図である。 図２は、第１の実施形態に係るＸ線ＣＴ装置が送信するデータの一例を説明するための図である。 図３は、第１の実施形態に係るＸ線ＣＴ装置が送信するデータの一例を説明するための図である。 図４は、第１の実施形態に係る画像処理装置が実行する処理の一例を説明するための図である。 図５は、第１の実施形態に係る画像処理装置が学習時に実行する、学習済みモデルを更新（生成）する処理の一例を説明するための図である。 図６は、第１の実施形態に係る推定機能が実行する処理の一例について説明するための図である。 図７は、第１の実施形態に係る輪郭と輪郭との差の一例を説明するための図である。 図８は、第１の実施形態に係る画像処理装置が学習時に実行する処理の流れの一例を示すフローチャートである。 図９は、第１の実施形態に係る画像処理装置が運用時に実行する処理の流れの一例を示すフローチャートである。 図１０は、第１の実施形態の変形例１に係る画像処理装置が実行する処理の一例について説明するための図である。 図１１は、第１の実施形態の変形例１に係る病名決定用テーブルのデータ構造の一例を示す図である。 図１２は、第２の実施形態に係る医用処理システムの構成の一例を示す図である。 図１３は、第２の実施形態に係る学習用データセット生成機能及び学習済みモデル生成機能が実行する処理の一例を説明するための図である。 図１４は、第２の実施形態に係る画像処理装置が学習時に実行する、学習済みモデルを更新（生成）する処理の一例を説明するための図である。 図１５は、第２の実施形態に係る推定機能が実行する処理の一例について説明するための図である。 図１６は、第２の実施形態に係る画像処理装置が学習時に実行する処理の流れの一例を示すフローチャートである。 図１７は、第２の実施形態に係る画像処理装置が運用時に実行する処理の流れの一例を示すフローチャートである。

以下、図面を参照しながら、学習装置及び学習方法の実施形態を詳細に説明する。なお、本願に係る学習装置及び学習方法は、以下に示す実施形態によって限定されるものではない。

（第１の実施形態）
図１は、第１の実施形態に係る医用処理システム１の構成の一例を示す図である。図１に示すように、医用処理システム１は、Ｘ線ＣＴ装置１１０と、端末装置１２０と、画像処理装置１３０とを備える。ここで、Ｘ線ＣＴ装置１１０と、端末装置１２０と、画像処理装置１３０とは、ネットワーク２００を介して通信可能に接続されている。

医用処理システム１では、学習済みモデルを生成する学習時の段階と、学習済みモデルを用いて処理を行う運用時の段階とがある。

Ｘ線ＣＴ装置１１０は、被検体を撮像してＣＴ画像を示すＣＴ画像データを生成する。例えば、Ｘ線ＣＴ装置１１０は、Ｘ線管、Ｘ線検出器、ＤＡＳ（Data Acquisition System）及び処理回路を有する。例えば、Ｘ線管は、被検体に対して照射するＸ線を発生する。検出器は、被検体を通過したＸ線を検出し、検出したＸ線量に対応する電気信号をＤＡＳに出力する。ＤＡＳは、検出器から出力された電気信号を増幅させ、アナログ信号である増幅された電気信号をデジタル信号に変換することにより、検出データを生成し、生成した検出データを処理回路に出力する。処理回路は、検出データに対して、対数変換処理、オフセット補正処理、チャネル間の感度補正処理及びビームハードニング補正処理等の前処理を施す。前処理が施された検出データは、生データと称される。そして、処理回路は、生データに対して、フィルタ補正逆投影法や逐次近似再構成法等を用いた再構成処理を行って３次元のＣＴ画像データを生成する。そして、処理回路は、ＣＴ画像データに対して各種の画像処理を施す。例えば、処理回路は、入力インターフェース１３３を介してユーザから受け付けた入力操作等に基づいて、ＣＴ画像データを、公知の方法により任意断面のＭＰＲ（multi planar reconstruction）画像データ、３次元画像データ又はＭＩＰ（Maximum Intensity Projection）画像データに変換する。すなわち、処理回路は、ＣＴ画像データに基づいて、ＭＰＲ画像データ、３次元画像データ又はＭＩＰ画像データを生成する。

例えば、処理回路は、後述する解析機能１３５ｆにより実行される流体解析処理の対象が被検体の冠動脈である場合には、３次元のＣＴ画像データに描出された冠動脈を抽出し、抽出した冠動脈の芯線を抽出する。そして、処理回路は、冠動脈の芯線上の複数の位置のそれぞれにおいて、芯線と交差（直交）する短軸断面を示すＭＰＲ（multi planar reconstruction）画像データである短軸断面画像データを生成する。このようにして、処理回路は、冠動脈の短軸断面を示す短軸断面画像データを芯線上の複数の位置において生成する。すなわち、処理回路は、複数の短軸断面画像データを生成する。このようにして生成された複数の短軸断面画像データが、Ｘ線ＣＴ装置１１０から画像処理装置１３０へ送信される。

そして、Ｘ線ＣＴ装置１１０は、各種のデータを画像処理装置１３０に送信する。図２及び図３は、第１の実施形態に係るＸ線ＣＴ装置１１０が送信するデータの一例を説明するための図である。例えば、Ｘ線ＣＴ装置１１０は、画像処理装置１３０が学習済みモデルを生成する学習時には、図２に示すように、学習時用の複数の短軸断面画像データ１１を画像処理装置１３０へ送信する。これにより、画像処理装置１３０は、複数の短軸断面画像データ１１を用いて学習済みモデルを生成する。短軸断面画像データ１１は、例えば、第１の画像データの一例である。

また、Ｘ線ＣＴ装置１１０は、画像処理装置１３０が学習済みモデルを用いて画像データを推定する処理を実行する運用時には、図３に示すように、運用時用の複数の短軸断面画像データ１２を画像処理装置１３０へ送信する。これにより、画像処理装置１３０は、複数の短軸断面画像データ１２及び学習済みモデルを用いて処理を実行する。短軸断面画像データ１２は、例えば、第２の画像データの一例である。

以下の説明では、流体解析処理の対象が冠動脈である場合を例に挙げて説明するが、流体解析処理の対象は、被検体の他の部位であってもよい。この場合、Ｘ線ＣＴ装置１１０は、学習時及び運用時に、被検体の他の部位が描出された画像データを画像処理装置１３０に送信する。そして、画像処理装置１３０は、以下に説明する処理と同様の処理を画像データに対して行う。

なお、短軸断面画像データ１１を生成する際に撮像された被検体と、短軸断面画像データ１２を生成する際に撮像された被検体とは異なっていてもよいし、同一であってもよい。ただし、短軸断面画像データ１１及び短軸断面画像データ１２には、流体解析処理の対象である冠動脈が描出されている。画像処理装置１３０が実行する学習時の学習済みモデルを生成する処理、及び、運用時の学習済みモデルを用いた処理の具体例については後述する。

図１の説明に戻る。端末装置１２０は、病院内に勤務する医師や検査技師等のユーザに画像を閲覧させるための装置である。例えば、端末装置１２０は、ユーザにより操作されるパーソナルコンピュータ（ＰＣ：Personal Computer）、タブレット式ＰＣ、ＰＤＡ（Personal Digital Assistant）又は携帯電話等によって実現される。例えば、端末装置１２０は、Ｘ線ＣＴ装置１１０又は画像処理装置１３０から送信された各種の画像データを受信する。そして、端末装置１２０は、受信した画像データに基づく画像を端末装置１２０が備えるディスプレイに表示させるとともに、端末装置１２０が備える入力インターフェースを介して画像に対する各種操作を受け付ける。

画像処理装置１３０は、Ｘ線ＣＴ装置１１０から各種のデータを取得し、取得したデータを用いて各種の処理を実行する。例えば、画像処理装置１３０は、サーバ、ワークステーション、パーソナルコンピュータ、タブレット端末等のコンピュータによって実現される。例えば、画像処理装置１３０は、学習装置の一例である。

画像処理装置１３０は、通信インターフェース１３１と、メモリ１３２と、入力インターフェース１３３と、ディスプレイ１３４と、処理回路１３５とを備える。

通信インターフェース１３１は、処理回路１３５に接続されており、画像処理装置１３０とＸ線ＣＴ装置１１０との間で行われる通信、及び、画像処理装置１３０と端末装置１２０との間で行われる通信を制御する。具体例を挙げて説明すると、通信インターフェース１３１は、Ｘ線ＣＴ装置１１０及び端末装置１２０から各種のデータや情報を受信し、受信したデータや情報を処理回路１３５に送信する。例えば、通信インターフェース１３１は、ネットワークカード、ネットワークアダプタ又はＮＩＣ（Network Interface Controller）等によって実現される。

メモリ１３２は、処理回路１３５に接続されており、各種のデータや情報を記憶する。例えば、メモリ１３２は、Ｘ線ＣＴ装置１１０から送信された短軸断面画像データ１１及び短軸断面画像データ１２を記憶する。

また、メモリ１３２は、処理回路１３５が各種機能を実現するためのプログラムを記憶する。例えば、メモリ１３２は、フラッシュメモリ等の半導体メモリ素子、ハードディスク又は光ディスク等によって実現される。メモリ１３２は、記憶部の一例である。

入力インターフェース１３３は、処理回路１３５に接続されており、ユーザからの各種の指示、要求及び情報の入力操作を受け付ける。例えば、入力インターフェース１３３は、ユーザから受け付けた入力操作を電気信号へ変換し、この電気信号を処理回路１３５に送信する。例えば、入力インターフェース１３３は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び、音声入力回路等によって実現される。なお、本明細書において、入力インターフェース１３３は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を処理回路１３５へ送信する電気信号の処理回路も入力インターフェース１３３の例に含まれる。

ディスプレイ１３４は、処理回路１３５に接続されており、各種の情報及び画像を表示する。例えば、ディスプレイ１３４は、処理回路１３５から送信される情報及びデータを表示用の電気信号に変換して出力する。例えば、ディスプレイ１３４は、液晶モニタやＣＲＴ（Cathode Ray Tube）モニタ、タッチパネル等によって実現される。

処理回路１３５は、入力インターフェース１３３を介してユーザから受け付けた入力操作に応じて、画像処理装置１３０の動作を制御する。例えば、処理回路１３５は、プロセッサによって実現される。

以上、本実施形態に係る医用処理システム１の構成の一例について説明した。例えば、医用処理システム１に含まれる画像処理装置１３０は、病院や医院等の医療機関に設置され、医療機関に入院又は通院する患者等を被検体として、Ｘ線ＣＴ装置１１０によって生成される画像データ（例えば、短軸断面画像データ）を用いた各種の画像診断に利用される。本実施形態では、画像処理装置１３０は、高い精度の流体解析結果を得ることが可能な学習済みモデルを得ることができるように、以下に説明する各種の処理を実行する。

以下、本実施形態に係る画像処理装置１３０の詳細について説明する。図１に示すように、画像処理装置１３０の処理回路１３５は、制御機能１３５ａ、取得機能１３５ｂ、学習用データセット生成機能１３５ｃ、学習済みモデル生成機能１３５ｄ、推定機能１３５ｅ、解析機能１３５ｆ及び出力機能１３５ｇを実行する。

ここで、例えば、処理回路１３５が有する各処理機能は、コンピュータによって実行可能なプログラムの形態でメモリ１３２に記憶される。すなわち、図１に示す処理回路１３５の構成要素である制御機能１３５ａ、取得機能１３５ｂ、学習用データセット生成機能１３５ｃ、学習済みモデル生成機能１３５ｄ、推定機能１３５ｅ、解析機能１３５ｆ及び出力機能１３５ｇの各処理機能は、コンピュータによって実行可能なプログラムの形態でメモリ１３２に記憶されている。処理回路１３５は、各プログラムをメモリ１３２から読み出し、読み出された各プログラムを実行することで、各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路１３５は、図１の処理回路１３５内に示された各機能を有することとなる。

制御機能１３５ａは、入力インターフェース１３３を介して入力された各種指示及び各種要求に応じた処理を実行するように、画像処理装置１３０の通信インターフェース１３１、メモリ１３２、ディスプレイ１３４、及び、各機能１３５ｂ～１３５ｇを制御する。例えば、制御機能１３５ａは、通信インターフェース１３１を介した各種データ及び各種情報の送受信、メモリ１３２へのデータ及び情報の格納、ディスプレイ１３４に対する各種画像の表示等を制御する。

例えば、制御機能１３５ａは、学習時にＸ線ＣＴ装置１１０から送信された短軸断面画像データ１１をメモリ１３２に格納する。また、制御機能１３５ａは、運用時にＸ線ＣＴ装置１１０から送信された短軸断面画像データ１２をメモリ１３２に格納する。

取得機能１３５ｂは、各種のデータを取得する。例えば、取得機能１３５ｂは、学習時に、メモリ１３２に記憶された短軸断面画像データ１１を取得する。また、取得機能１３５ｂは、運用時に、メモリ１３２に記憶された短軸断面画像データ１２を取得する。

学習用データセット生成機能１３５ｃは、学習済みモデルを生成する際に用いられる学習用データのセットを学習時に生成する。以下、学習用データセット生成機能１３５ｃによる学習用データのセットを生成する方法の一例について説明する。

図４は、第１の実施形態に係る画像処理装置１３０が実行する処理の一例を説明するための図である。図４には、第１の実施形態の学習時における学習済みモデル３０の生成方法の一例が示されている。

学習用データセット生成機能１３５ｃは、学習済みモデル３０を生成する際に教師データとして用いられる輪郭画像データ１４を生成する。輪郭画像データ１４は、短軸断面画像データ１１が示す短軸断面における冠動脈の内壁の輪郭が精度良く描出された画像データである。輪郭画像データ１４は、短軸断面画像データ１１に対して処理が実行されることにより得られた画像データであり、第１の処理結果の一例である。輪郭画像データ１４を生成する方法の一例について説明する。

例えば、学習用データセット生成機能１３５ｃは、短軸断面画像データ１１に基づく短軸断面画像をディスプレイ１３４に表示させる。ディスプレイ１３４に表示された短軸断面画像には、冠動脈の内壁の輪郭が含まれる。そして、ユーザから、表示された輪郭の正確な位置及び正確な形状を示す輪郭情報を受け付ける。具体例を挙げて説明すると、ユーザは、表示された輪郭を確認しながら、入力インターフェース１３３を操作して、輪郭の正確な位置及び正確な形状を示す輪郭情報を、処理回路１３５に入力する。

学習用データセット生成機能１３５ｃは、輪郭情報を受け付けた場合には、輪郭情報に基づいて、冠動脈の内壁の輪郭が、正確な位置に正確な形状で描出された輪郭画像データ１４を生成する。

学習済みモデル生成機能１３５ｄは、学習時に、学習済みモデル３０を生成する。図４に示すように、学習時には、学習済みモデル生成機能１３５ｄは、短軸断面画像データ１１と輪郭画像データ１４との関係を学習することによって学習済みモデル３０を生成する。

このように、学習済みモデル生成機能１３５ｄは、短軸断面画像データ１１と輪郭画像データ１４とを対応付けて学習することによって学習済みモデル３０を生成する。例えば、学習時には、学習用データセット生成機能１３５ｃは、短軸断面画像データ１１と輪郭画像データ１４との組を複数生成する。そして、学習済みモデル生成機能１３５ｄは、複数の組を用いて学習済みモデル３０を生成する。

例えば、学習済みモデル生成機能１３５ｄは、短軸断面画像データ１１を入力画像データとし、輪郭画像データ１４を教師データとして機械エンジンに入力することによって、機械学習を行う。例えば、機械学習エンジンは、ディープラーニング（Deep Learning）、ニューラルネットワーク（Neural Network）、ロジスティック（Logistic）回帰分析、非線形判別分析、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、ランダムフォレスト（Random Forest）、ナイーブベイズ（Naive Bays）等の各種のアルゴリムを用いて、機械学習を行う。

学習済みモデル生成機能１３５ｄは、このような機械学習の結果として学習済みモデル３０を生成する。学習済みモデル３０は、短軸断面画像データ１１に相当する画像データが入力されることで、輪郭画像データ１４に相当する画像データを推定（生成）し、出力する。

ここで、学習済みモデル生成機能１３５ｄは、機械学習において、図４に示す差分情報２５を学習済みモデル３０にフィードバックすることで、高い精度の流体解析結果を得るための画像データを推定することが可能な学習済みモデル３０を得る。図５を参照して、差分情報２５の生成方法の一例、及び、フィードバックの一例について説明する。

図５は、第１の実施形態に係る画像処理装置１３０が学習時に実行する、学習済みモデル３０を更新（生成）する処理の一例を説明するための図である。図５に示すように、学習用データセット生成機能１３５ｃは、上述したような方法で、短軸断面画像データ１１から輪郭画像データ１４を生成する。輪郭画像データ１４には、冠動脈の内壁の輪郭１４ａが描出されている。

そして、学習用データセット生成機能１３５ｃは、輪郭画像データ１４に対して流体解析処理を実行する。流体解析処理は、解析処理の一例である。具体例を挙げて説明すると、学習用データセット生成機能１３５ｃは、Ｘ線ＣＴ装置１１０から送信された複数の短軸断面画像データ１１に基づく複数の輪郭画像データ１４に描出された複数の輪郭１４ａを繋ぎ合わせることにより、冠動脈の内壁の輪郭１４ａの３次元形状を推定する。そして、学習用データセット生成機能１３５ｃは、推定された輪郭１４ａの３次元形状を用いて、輪郭１４ａの圧力分布や、血流速度分布、又は、ＦＦＲ（Fractional Flow Reserve）値等の流体解析結果を得るための流体解析処理を実行する。これにより、学習用データセット生成機能１３５ｃは、複数の輪郭画像データ１４のそれぞれが示す短軸断面毎に、圧力、血流速度又はＦＦＲ値等の流体解析結果１５を得る。すなわち、学習用データセット生成機能１３５ｃは、輪郭画像データ１４毎に、流体解析結果１５を得る。第１の実施形態において、流体解析結果１５は、例えば、第２の解析処理結果の一例である。

なお、図５において、模式的に、流体解析結果１５がカラー画像データにより示されている。そして、図５において、このカラー画像データが、輪郭画像データ１４の輪郭１４ａ内の領域に重畳されている。このカラー画像データを構成する複数のピクセルのそれぞれには、ＲＧＢ値が設定される。Ｒ（Ｒ値）は赤色に対応し、Ｇ（Ｇ値）は緑色に対応し、Ｂ（Ｂ値）は青色に対応する。例えば、各ピクセルに設定されるＲＧＢ値は、「（Ｒ，Ｇ，Ｂ）」で表される。ただし、各ピクセルには、Ｒ値として解析指標の値が設定され、Ｇ値及びＢ値として「０」が設定される。他の流体解析結果についても同様に模式的に図示される。

また、学習用データセット生成機能１３５ｃは、短軸断面画像データ１１を学習済みモデル３０に入力することで、学習済みモデル３０に輪郭画像データ１６を推定させて出力させる。すなわち、学習用データセット生成機能１３５ｃは、学習済みモデル３０を使用して、短軸断面画像データ１１を基に、輪郭画像データ１６を推定し出力する。輪郭画像データ１６は、輪郭画像データ１４に相当する画像データである。輪郭画像データ１６には、冠動脈の内壁の輪郭１６ａが描出されている。輪郭画像データ１６は、第２の処理結果の一例である。

そして、学習用データセット生成機能１３５ｃは、輪郭画像データ１６に対して流体解析処理を実行する。具体例を挙げて説明すると、学習用データセット生成機能１３５ｃは、Ｘ線ＣＴ装置１１０から送信された複数の短軸断面画像データ１１に基づく複数の輪郭画像データ１６に描出された複数の輪郭１６ａを繋ぎ合わせることにより、冠動脈の内壁の輪郭１６ａの３次元形状を推定する。そして、学習用データセット生成機能１３５ｃは、推定された輪郭１６ａの３次元形状を用いて、上述した輪郭１４ａの３次元形状を用いて実行した流体解析処理と同様の流体解析処理を実行する。これにより、学習用データセット生成機能１３５ｃは、複数の輪郭画像データ１６のそれぞれが示す短軸断面毎に、流体解析結果１７を得る。すなわち、学習用データセット生成機能１３５ｃは、輪郭画像データ１６毎に、流体解析結果１７を得る。第１の実施形態において、流体解析結果１７は、例えば、第３の解析処理結果の一例である。

そして、学習用データセット生成機能１３５ｃは、流体解析結果１５と流体解析結果１７との差（差分、誤差）を示す差分情報２５を生成する。例えば、学習用データセット生成機能１３５ｃは、流体解析結果１５としてＦＦＲ値「Ａ」を取得し、流体解析結果１７としてＦＦＲ値「Ｂ」を取得した場合、２つのＦＦＲ値の差（Ｂ－Ａ）を示す差分情報２５を生成する。また、学習用データセット生成機能１３５ｃは、流体解析結果１５，１７として、ＦＦＲ値以外の指標を取得した場合にも、同様の方法で差分情報２５を生成する。

ここで、輪郭１４ａが描出された輪郭画像データ１４は、ユーザが入力インターフェース１３３を操作することによって得られたものである。そのため、輪郭画像データ１４には、輪郭１４ａの正確（又は略正確）な形状が、正確（又は略正確）な位置に描出される。そして、流体解析結果１５は、このような輪郭画像データ１４に基づく流体解析結果である。そのため、流体解析結果１５の精度は、比較的高いと考えられる。そして、差分情報２５が示す差が所定の閾値以下である場合には、流体解析結果１７は、流体解析結果１５と同様の高い精度の流体解析結果である。

そこで、学習済みモデル生成機能１３５ｄは、差分情報２５を学習済みモデル３０にフィードバックする。例えば、学習済みモデル生成機能１３５ｄは、機械学習において、差分情報２５が示す差が小さくなるように、学習済みモデル３０を更新する。

学習済みモデル生成機能１３５ｄが学習済みモデル３０を更新する方法の一例について説明する。例えば、学習済みモデル生成機能１３５ｄは、まず、重み及びバイアスを所定の規則に基づいて変更するか、又は、重み及びバイアスをランダムに変更する。そして、学習済みモデル生成機能１３５ｄは、変更後の重み及び変更後のバイアスが設定された学習済みモデル３０に、短軸断面画像データ１１を再び入力することにより、新たな輪郭画像データ１６を推定させて出力させる。そして、学習済みモデル生成機能１３５ｄは、新たな輪郭画像データ１６に対して流体解析処理を実行することにより、新たな流体解析結果１７を得る。そして、学習用データセット生成機能１３５ｃは、流体解析結果１５と、新たな流体解析結果１７との差を示す新たな差分情報２５を生成する。そして、学習済みモデル生成機能１３５ｄは、新たな差分情報２５が示す差が、所定の閾値以下であるか否かを判定する。

学習済みモデル生成機能１３５ｄは、新たな差分情報２５が示す差が所定の閾値よりも大きい場合には、上述した処理（重み及びバイアスを変更してから新たな差分情報２５が示す差が所定の閾値以下であるか否かを判定するまでの処理）を再び行う。

一方、学習済みモデル生成機能１３５ｄは、新たな差分情報２５が示す差が所定の閾値以下である場合には、学習済みモデル３０を更新する処理を終了する。このように、学習済みモデル生成機能１３５ｄは、差分情報２５が示す差が所定の閾値以下となるように重み及びバイアスを調整することにより、学習済みモデル３０を更新（生成）する。すなわち、学習済みモデル生成機能１３５ｄは、差分情報２５が示す差が所定の閾値以下となるように、学習済みモデル３０を更新（生成）する。学習用データセット生成機能１３５ｃ及び学習済みモデル生成機能１３５ｄは、短軸断面画像データ１１毎に、学習済みモデル３０を更新する処理を実行する。

このようにして得られる学習済みモデル３０によれば、最終的に、流体解析結果１７が流体解析結果１５に近づき、流体解析結果１５と流体解析結果１７との差が所定の閾値以下となる。したがって、第１の実施形態によれば、学習時に、高い精度の流体解析結果を得るための輪郭画像データを推定することが可能な学習済みモデル３０を得ることができる。すなわち、第１の実施形態によれば、高い精度の流体解析結果を得ることが可能な学習済みモデル３０を得ることができる。

そして、学習済みモデル生成機能１３５ｄは、得られた学習済みモデル３０をメモリ１３２に記憶させる。学習用データセット生成機能１３５ｃ及び学習済みモデル生成機能１３５ｄは、例えば、生成部の一例である。

推定機能１３５ｅは、学習済みモデル３０を用いて、運用時に、流体解析処理の対象である冠動脈の内壁の輪郭が描出された輪郭画像データを推定し、推定した輪郭画像データを出力する。推定機能１３５ｅは、推定部の一例である。図６を参照して、推定機能１３５ｅが実行する処理の一例について説明する。図６は、第１の実施形態に係る推定機能１３５ｅが実行する処理の一例について説明するための図である。図６には、第１の実施形態の運用時における輪郭画像データ３１の推定方法の一例が示されている。

推定機能１３５ｅは、運用時に取得機能１３５ｂにより取得された短軸断面画像データ１２を学習済みモデル３０に入力することで、学習済みモデル３０に輪郭画像データ３１を推定させて出力させる。すなわち、推定機能１３５ｅは、学習済みモデル３０を使用して、短軸断面画像データ１２を基に、輪郭画像データ３１を推定し出力する。ここで、運用時に、Ｘ線ＣＴ装置１１０から複数の短軸断面画像データ１２が送信される。そのため、推定機能１３５ｅは、学習済みモデル３０を使用して、複数の短軸断面画像データ１２それぞれを基に、複数の輪郭画像データ３１のそれぞれを推定し出力する。第１の実施形態において、輪郭画像データ３１は、第３の処理結果の一例である。

推定機能１３５ｅは、輪郭画像データ３１を解析機能１３５ｆに出力する。輪郭画像データ３１は、輪郭画像データ１４に相当する画像データである。輪郭画像データ３１には、冠動脈の内壁の輪郭が描出されている。

解析機能１３５ｆは、輪郭画像データ３１に対して流体解析処理を実行することにより流体解析処理の結果を取得する。流体解析処理の結果は、例えば、第１の解析処理結果の一例である。具体例を挙げて説明すると、解析機能１３５ｆは、複数の短軸断面画像データ１２に基づく複数の輪郭画像データ３１に描出された複数の輪郭を繋ぎ合わせることにより、冠動脈の内壁の輪郭の３次元形状を推定する。そして、解析機能１３５ｆは、推定された輪郭の３次元形状を用いて、冠動脈の内壁の圧力分布や、血流速度分布、又は、ＦＦＲ値等の流体解析結果を得るための流体解析を実行する。これにより、解析機能１３５ｆは、複数の輪郭画像データ３１のそれぞれが示す短軸断面毎に、圧力、血流速度又はＦＦＲ値等の流体解析結果を得る。すなわち、解析機能１３５ｆは、輪郭画像データ３１毎に、流体解析結果を得る。解析機能１３５ｆは、解析部の一例である。

ここで、輪郭画像データ３１は、学習済みモデル３０により推定された高い精度の流体解析結果を得るための画像データである。よって、解析機能１３５ｆは、高い精度の流体解析結果を得る。したがって、第１の実施形態によれば、運用時に、高い精度の流体解析結果を得ることができる。

出力機能１３５ｇは、各種の画像データに基づく画像や、解析機能１３５ｆにより実行された流体解析処理により得られた流体解析結果等をディスプレイ１３４に表示させる。

以上、第１の実施形態の画像処理装置１３０が実行する学習時の処理及び運用時の処理の一例について説明した。なお、差分情報２５が、流体解析結果１５と流体解析結果１７との差を示す場合について説明したが、差分情報２５は、これに限られない。例えば、差分情報２５が、流体解析結果１５と流体解析結果１７との差、及び、輪郭１４ａと輪郭１６ａとの差を示す情報であってもよい。図７は、第１の実施形態に係る輪郭１４ａと輪郭１６ａとの差の一例を説明するための図である。例えば、図７に示すように、輪郭１４ａと輪郭１６ａとの差は、輪郭１４ａ内の領域のうち、輪郭１６ａ内の領域が重なっていない領域（図７において斜線で示す領域）の面積と、輪郭１６ａ内の領域のうち、輪郭１４ａ内の領域が重なっていない領域の面積との和である。

この場合、学習済みモデル生成機能１３５ｄは、機械学習において、差分情報２５が示す流体解析結果１５と流体解析結果１７との差及び輪郭１４ａと輪郭１６ａとの差が小さくなるように、学習済みモデル３０を更新する。例えば、学習済みモデル生成機能１３５ｄは、上述した流体解析結果１５と流体解析結果１７との差が小さくなるように学習済みモデル３０を更新する方法と同様の方法で、流体解析結果１５と流体解析結果１７との差及び輪郭１４ａと輪郭１６ａとの差が小さくなるように、学習済みモデル３０を更新する。

例えば、差分情報２５が、流体解析結果１５と流体解析結果１７との差、及び、輪郭１４ａと輪郭１６ａとの差の加重平均値（重み付き平均値）を示す情報であってもよい。この場合、学習済みモデル生成機能１３５ｄは、機械学習において、差分情報２５が示す加重平均値が小さくなるように、学習済みモデル３０を更新する。例えば、学習済みモデル生成機能１３５ｄは、上述した流体解析結果１５と流体解析結果１７との差が小さくなるように学習済みモデル３０を更新する方法と同様の方法で、加重平均値が小さくなるように、学習済みモデル３０を更新する。

次に、画像処理装置１３０が実行する処理の流れの一例について説明する。図８は、第１の実施形態に係る画像処理装置１３０が学習時に実行する処理の流れの一例を示すフローチャートである。図８に示す処理は、例えば、ユーザが入力インターフェース１３３を介して学習済みモデル３０を生成する処理を実行するための指示を処理回路１３５に入力した場合に実行される。

図８に示すように、取得機能１３５ｂは、メモリ１３２に記憶された短軸断面画像データ１１を取得する（ステップＳ１０１）。

そして、学習用データセット生成機能１３５ｃは、短軸断面画像データ１１に基づく短軸断面画像をディスプレイ１３４に表示させる（ステップＳ１０２）。そして、学習用データセット生成機能１３５ｃは、ユーザから、輪郭情報を受け付けたか否かを判定する（ステップＳ１０３）。学習用データセット生成機能１３５ｃは、輪郭情報を受け付けていないと判定した場合（ステップＳ１０３：Ｎｏ）には、再び、ステップＳ１０３の判定を行う。

学習用データセット生成機能１３５ｃは、輪郭情報を受け付けたと判定した場合（ステップＳ１０３：Ｙｅｓ）には、輪郭情報に基づいて、冠動脈の内壁の輪郭１４ａが、正確な位置に正確な形状で描出された輪郭画像データ１４を生成する（ステップＳ１０４）。

そして、学習済みモデル生成機能１３５ｄは、短軸断面画像データ１１と輪郭画像データ１４とを対応付けて学習することによって学習済みモデル３０を生成する（ステップＳ１０５）。

そして、学習用データセット生成機能１３５ｃは、輪郭画像データ１４に対して流体解析処理を実行し、流体解析結果１５を得る（ステップＳ１０６）。そして、学習用データセット生成機能１３５ｃは、学習済みモデル３０を使用して、短軸断面画像データ１１を基に、輪郭画像データ１６を推定する（ステップＳ１０７）。そして、学習用データセット生成機能１３５ｃは、輪郭画像データ１６に対して流体解析処理を実行し、流体解析結果１７を得る（ステップＳ１０８）。

そして、学習用データセット生成機能１３５ｃは、流体解析結果１５と流体解析結果１７との差を示す差分情報２５を生成する（ステップＳ１０９）。そして、学習済みモデル生成機能１３５ｄは、機械学習において、差分情報２５が示す差が小さくなるように、学習済みモデル３０を更新する（ステップＳ１１０）。そして、学習済みモデル生成機能１３５ｄは、生成した学習済みモデル３０をメモリ１３２に記憶させ（ステップＳ１１１）、図８に示す処理を終了する。

図９は、第１の実施形態に係る画像処理装置１３０が運用時に実行する処理の流れの一例を示すフローチャートである。図９に示す処理は、例えば、ユーザが入力インターフェース１３３を介して、解析機能１３５ｆによる流体解析処理を実行するための指示を処理回路１３５に入力した場合に実行される。

図９に示すように、取得機能１３５ｂは、メモリ１３２に記憶された短軸断面画像データ１２を取得する（ステップＳ２０１）。そして、推定機能１３５ｅは、学習済みモデル３０を用いて、短軸断面画像データ１２を基に、輪郭画像データ３１を推定し出力する（ステップＳ２０２）。

そして、解析機能１３５ｆは、輪郭画像データ３１に対して流体解析処理を実行し、流体解析結果を得る（ステップＳ２０３）。そして、出力機能１３５ｇは、流体解析結果をディスプレイ１３４に表示させ（ステップＳ２０４）、図９に示す処理を終了する。

以上、第１の実施形態について説明した。第１の実施形態によれば、上述したように、高い精度の流体解析結果を得ることが可能な学習済みモデル３０を得ることができる。

（第１の実施形態の変形例１）
なお、第１の実施形態では、短軸断面画像データ１２が入力されることで、輪郭画像データ３１を推定する学習済みモデル３０が用いられる場合について説明した。しかしながら、このような学習済みモデル３０に代えて他の学習済みモデルが第１の実施形態において用いられてもよい。また、第１の実施形態では、画像処理装置１３０が、学習時の機械学習及び運用時において、学習済みモデル３０により推定された画像データ（輪郭画像データ）に対して流体解析処理を行う場合について説明した。しかしながら、第１の実施形態において、画像処理装置１３０は、学習時の機械学習及び運用時において、学習済みモデルにより推定された推定結果に対して、流体解析処理に代えて、流体解析処理以外の他の解析処理を行ってもよい。

そこで、このような他の学習済みモデルが用いられるとともに、他の解析処理が実行される変形例を第１の実施形態の変形例１として説明する。以下の変形例１の説明では、第１の実施形態と異なる点を主に説明し、第１の実施形態と同様の点については説明を省略する場合がある。

例えば、変形例１では、各種の画像データを推定する学習済みモデルが用いられても良い。具体例を挙げて説明すると、生データが入力されることで、２次元又は３次元のＣＴ画像データを推定する学習済みモデルが用いられてもよい。また、ＣＴ画像データが入力されることで、アーチファクト及びノイズの少なくとも一方が低減されたＣＴ画像データを推定する学習済みモデルが用いられてもよい。また、ある医用画像診断装置により得られた画像データが入力されることで、他の医用画像診断装置により得られる画像データを推定する学習済みモデルが用いられても良い。例えば、磁気共鳴イメージング（Magnetic Resonance Imaging：ＭＲＩ）装置により得られたＭＲ画像データが入力されることで、ＣＴ画像データを推定する学習済みモデルが用いられてもよい。

そして、変形例１において、画像処理装置１３０は、学習時の機械学習及び運用時において、学習済みモデルにより推定された画像データに対して、流体解析処理以外の他の解析処理を行ってもよい。このような他の解析処理としては、画像データに含まれる解析対象の部位の輪郭を抽出する処理、画像データから病変部位を検出する処理、画像データから病変部位の輪郭を検出する処理、及び、画像データから病変部位の種別を特定する処理が挙げられる。これらの処理に用いられる画像データは、２次元又は３次元の画像データである。

また、変形例１において、２次元又は３次元のＣＴ画像データが入力されることで、２次元又は３次元の輪郭画像データを推定する学習済みモデルが用いられてもよい。例えば、輪郭画像データは、ＣＴ画像データに描出された部位の輪郭が描出された画像データである。

そして、変形例１において、画像処理装置１３０は、学習時の機械学習及び運用時において、学習済みモデルにより推定された輪郭画像データに対して、流体解析処理を実行してもよいし、流体解析処理以外の他の解析処理を行ってもよい。以下、画像処理装置１３０が実行する他の解析処理の例について説明する。例えば、画像処理装置１３０は、複数の輪郭画像データに描出された複数の輪郭を繋ぎ合わせることにより、解析対象の部位の輪郭の３次元形状を推定する。そして、画像処理装置１３０は、推定された輪郭の３次元形状を用いて、解析対象の部位の体積を計算する解析処理を実行する。

他の例としては、画像処理装置１３０は、推定された輪郭画像データから病変部位を検出する処理を実行してもよい。なお、病変部位を検出する処理に用いられる輪郭画像データは、２次元の画像データであってもよいし、複数の２次元の画像データであってもよい。複数の２次元の画像データが用いられる場合には、病変部位を検出する処理に、輪郭の３次元形状が用いられる。

また、画像処理装置１３０は、輪郭画像データから病変部位を検出する処理を実行する場合、被検体に対する医師による病変部位の有無についての診断結果と、画像処理装置１３０による病変部位の検出結果とが異なる場合、医師による診断結果を正解とし、画像処理装置１３０による検出結果が不正解であることを示す差分情報を学習済みモデルにフィードバックする。

例えば、医師により病変部位があると診断されたにも関わらず、画像処理装置１３０によって輪郭画像データから病変部位が検出されない場合がある。この場合、画像処理装置１３０は、機械学習において、医師により、あると診断された病変部位が検出されるような輪郭画像データを推定するように学習済みモデルを更新する。

また、例えば、医師により病変部位が無いと診断されたにも関わらず、画像処理装置１３０によって輪郭画像データから病変部位が検出される場合がある。この場合、画像処理装置１３０は、機械学習において、医師により無いと診断された病変部位が検出されないような輪郭画像データを推定するように学習済みモデルを更新する。

また、学習済みモデルは、画像データを基に、被検体の状態を推定してもよい。図１０は、第１の実施形態の変形例１に係る画像処理装置１３０が実行する処理の一例について説明するための図である。

図１０に示す学習済みモデル３６～３８は、画像データ３５が入力されることで、被検体の状態を推定し、推定した被検体の状態を示す推定結果４１～４３を出力する。例えば、画像データ３５は、Ｘ線ＣＴ装置１１０から画像処理装置１３０へ送信されたＭＰＲ画像データである。このＭＰＲ画像データには、被検体の所定の部位が描出されている。

例えば、学習済みモデル３６は、画像データ３５が入力されることで、被検体の腹囲（ｃｍ）を推定し、推定した被検体の腹囲を示す推定結果４１を出力する。また、学習済みモデル３７は、画像データ３５が入力されることで、被検体の血圧（ｍｍＨｇ）を推定し、推定した被検体の血圧を示す推定結果４２を出力する。また、学習済みモデル３８は、画像データ３５が入力されることで、被検体の体脂肪率（％）を推定し、推定した被検体の体脂肪率を示す推定結果４３を出力する。

したがって、画像処理装置１３０の推定機能１３５ｅは、学習済みモデル３６を使用して、画像データ３５を基に、被検体の腹囲を推定し、被検体の腹囲を示す推定結果４１を出力する。また、推定機能１３５ｅは、学習済みモデル３７を使用して、画像データ３５を基に、被検体の血圧を推定し、被検体の血圧を示す推定結果４２を出力する。また、推定機能１３５ｅは、学習済みモデル３８を使用して、画像データ３５を基に、被検体の体脂肪率を推定し、被検体の体脂肪率を示す推定結果４３を出力する。

そして、画像処理装置１３０の解析機能１３５ｆは、推定結果４１～４３に基づいて、被検体が罹患している病気の名前（病名）を決定する病名決定処理を実行する。ここで、病名決定処理を実行する際に用いられる病名決定用テーブルについて説明する。図１１は、第１の実施形態の変形例１に係る病名決定用テーブル４５のデータ構造の一例を示す図である。

図１１に示す病名決定用テーブル４５は、メモリ１３２に記憶されている。病名決定用テーブル４５には、複数のレコードが登録されている。各レコードは、「腹囲」の項目、「血圧」の項目、「体脂肪率」の項目及び「病名」の項目を有する。

「腹囲」の項目には、被検体の腹囲の範囲が登録されている。例えば、図１１に示すように、「腹囲」の項目には、腹囲の範囲「１００以上１１０未満（１００～１１０）」や腹囲の範囲「１１０以上１２０未満（１１０～１２０）」が登録されている。

「血圧」の項目には、被検体の血圧の範囲が登録されている。例えば、図１１に示すように、「血圧」の項目には、血圧の範囲「１４０以上１５０未満（１４０～１５０）」や血圧の範囲「１５０以上１６０未満（１５０～１６０）」が登録されている。

「体脂肪率」の項目には、被検体の体脂肪率の範囲が登録されている。例えば、図１１に示すように、「体脂肪率」の項目には、体脂肪率の範囲「２０以上３０未満（２０～３０）」や体脂肪率の範囲「３０以上４０未満（３０～４０）」が登録されている。

「病名」の項目には、被検体の腹囲が「腹囲」の項目に登録された腹囲の範囲内であり、被検体の血圧が「血圧」の項目に登録された血圧の範囲内であり、被検体の体脂肪率が「体脂肪率」の項目に登録された体脂肪率の範囲内である場合に、被検体が罹患していると想定される病気の名前が登録されている。

例えば、病名決定用テーブル４５の上から１番目のレコードは、被検体の腹囲が１００以上１１０未満であり、被検体の血圧が１４０以上１５０未満であり、被検体の体脂肪率が２０以上３０未満である場合に、被検体が罹患していると想定される病気の名前が「ＡＡ」であることを示す。同様に、病名決定用テーブル４５の上から２番目のレコードは、被検体の腹囲が１１０以上１２０未満であり、被検体の血圧が１５０以上１６０未満であり、被検体の体脂肪率が３０以上４０未満である場合に、被検体が罹患していると想定される病気の名前が「ＢＢ」であることを示す。

解析機能１３５ｆは、推定結果４１～４３に基づいて、病名決定用テーブル４５を用いて病名決定処理を実行する。例えば、解析機能１３５ｆは、病名決定用テーブル４５の全レコードの中から、推定結果４１～４３に合致するレコードを特定する。推定結果４１～４３に合致するレコードとは、推定結果４１が示す腹囲を含む腹囲の範囲が「腹囲」の項目に登録され、推定結果４２が示す血圧を含む血圧の範囲が「血圧」の項目に登録され、推定結果４３が示す体脂肪率を含む体脂肪率の範囲が「体脂肪率」の項目に登録されたレコードである。

そして、解析機能１３５ｆは、特定したレコードの「病名」の項目に登録された病気の名前を特定することにより、被検体が罹患していると想定される病気の名前を推定する。

次に、画像処理装置１３０が、学習時の機械学習において、学習済みモデル３６～３８を更新（生成）する方法の一例について説明する。例えば、学習用データセット生成機能１３５ｃは、解析機能１３５ｆが被検体の腹囲、血圧及び体脂肪率を推定した方法と同様の方法で、学習時の機械学習において、被検体の腹囲、血圧及び体脂肪率を推定する。そして、学習用データセット生成機能１３５ｃは、解析機能１３５ｆが病名を決定した方法と同様の方法で、病名を決定する。

ここで、学習用データセット生成機能１３５ｃが、被検体の腹囲「１０５」、血圧「１４５」及び体脂肪率「２５」を推定し、病名「ＡＡ」を決定したものの、医師によって、被検体が罹患している病気の名前が「ＢＢ」であると診断された場合について説明する。この場合、ユーザが入力インターフェース１３３を操作することにより、医師による診断結果を示す診断結果情報（病名が「ＢＢ」であることを示す情報）がメモリ１３２に記憶される。なお、学習用データセット生成機能１３５ｃにより決定された病名「ＡＡ」は、例えば、第２の解析処理結果の一例である。また、医師によって診断された病名「ＢＢ」は、例えば、第３の解析処理結果の一例である。

このような場合、画像処理装置１３０は、医師による診断結果と、学習用データセット生成機能１３５ｃによる解析結果（病名の決定結果）との差を示す差分情報を、誤った推定結果を出力した学習済みモデルに対してフィードバックする。

例えば、学習用データセット生成機能１３５ｃは、病名「ＡＡ」と病名「ＢＢ」とが異なるため、病名決定用テーブル４５を参照し、被検体の実際の腹囲を含む腹囲の範囲、実際の血圧を含む血圧の範囲及び実際の体脂肪率を含む体脂肪率の範囲を推定する。

被検体の実際の腹囲を含む腹囲の範囲、実際の血圧を含む血圧の範囲及び実際の体脂肪率を含む体脂肪率の範囲を推定する方法の一例について説明する。例えば、学習用データセット生成機能１３５ｃは、病名決定用テーブル４５の全レコードの中から、病名「ＢＢ」が「病名」の項目に登録されたレコードを特定する。そして、学習用データセット生成機能１３５ｃは、特定したレコードの「腹囲」の項目に登録された腹囲の範囲「１１０以上１２０未満」を、被検体の実際の腹囲を含む範囲として推定する。また、学習用データセット生成機能１３５ｃは、特定したレコードの「血圧」の項目に登録された血圧の範囲「１５０以上１６０未満」を、被検体の実際の血圧を含む範囲として推定する。また、学習用データセット生成機能１３５ｃは、特定したレコードの「体脂肪率」の項目に登録された体脂肪率の範囲「３０以上４０未満」を、被検体の実際の体脂肪率を含む範囲として推定する。

そして、学習用データセット生成機能１３５ｃは、病名決定用テーブル４５の「腹囲」の項目に登録された腹囲の範囲であって、学習済みモデル３６により推定された腹囲「１０５」を含む腹囲の範囲「１００以上１１０未満」を特定する。同様に、学習用データセット生成機能１３５ｃは、病名決定用テーブル４５の「血圧」の項目に登録された血圧の範囲であって、学習済みモデル３７により推定された血圧「１４５」を含む血圧の範囲「１４０以上１５０未満」を特定する。また、学習用データセット生成機能１３５ｃは、病名決定用テーブル４５の「体脂肪率」の項目に登録された体脂肪率の範囲であって、学習済みモデル３８により推定された体脂肪率「２５」を含む体脂肪率の範囲「２０以上３０未満」を特定する。

そして、学習用データセット生成機能１３５ｃは、学習済みモデル３６により推定された腹囲「１０５」を含む腹囲の範囲「１００以上１１０未満」と、被検体の実際の腹囲を含む範囲「１１０以上１２０未満」とが一致するか否かを判定する。一致しない場合には、学習用データセット生成機能１３５ｃは、病名「ＡＡ」が不正解であり病名「ＢＢ」が正解であることを示す差分情報を算出する。そして、学習済みモデル生成機能１３５ｄは、機械学習において、差分情報に基づいて学習済みモデル３６を更新する。

学習用データセット生成機能１３５ｃ及び学習済みモデル生成機能１３５ｄは、学習済みモデル３６に対して実行した処理と同様の処理を、学習済みモデル３７，３８に対しても実行する。

具体的には、学習用データセット生成機能１３５ｃは、学習済みモデル３７により推定された血圧「１４５」を含む血圧の範囲「１４０以上１５０未満」と、被検体の実際の血圧を含む範囲「１５０以上１６０未満」とが一致するか否かを判定する。一致しない場合には、学習用データセット生成機能１３５ｃは、病名「ＡＡ」が不正解であり病名「ＢＢ」が正解であることを示す差分情報を算出する。そして、学習済みモデル生成機能１３５ｄは、機械学習において、差分情報に基づいて学習済みモデル３７を更新する。

また、学習用データセット生成機能１３５ｃは、学習済みモデル３８により推定された体脂肪率「２５」を含む体脂肪率の範囲「２０以上３０未満」と、被検体の実際の体脂肪率を含む範囲「３０以上４０未満」とが一致するか否かを判定する。一致しない場合には、学習用データセット生成機能１３５ｃは、病名「ＡＡ」が不正解であり病名「ＢＢ」が正解であることを示す差分情報を算出する。そして、学習済みモデル生成機能１３５ｄは、機械学習において、差分情報に基づいて学習済みモデル３８を更新する。

第１の実施形態の変形例１について説明した。変形例１では、学習用データセット生成機能１３５ｃ及び学習済みモデル生成機能１３５ｄは、複数の学習済みモデル３６～３８のうち、学習用データセット生成機能１３５ｃにより決定された病名と医師により診断された病名とが異なる場合に対応する学習済みモデルを、学習用データセット生成機能１３５ｃにより決定された病名と医師により診断された病名との差が小さくなるように更新することにより、学習済みモデルを生成する。したがって、変形例１によれば、第１の実施形態と同様に、高い精度の解析結果を得ることが可能な学習済みモデルを得ることができる。

（第２の実施形態）
次に、第２の実施形態に係る画像処理装置について説明する。以下の第２の実施形態の説明では、第１の実施形態と異なる点を主に説明し、第１の実施形態と同様の点については説明を省略する場合がある。また、第１の実施形態と同様の構成については、同一の符号を付し、説明を省略する場合がある。

図１２は、第２の実施形態に係る医用処理システム２の構成の一例を示す図である。図１２に示す医用処理システム２は、画像処理装置１３０に代えて画像処理装置２３０を備える点が、図１に示す医用処理システム１と異なる。図１２に示す画像処理装置２３０は、処理回路１３５に代えて処理回路２３５を備える点が、図１に示す画像処理装置１３０と異なる。処理回路２３５は、例えば、プロセッサにより実現される。処理回路２３５は、学習用データセット生成機能１３５ｃ、学習済みモデル生成機能１３５ｄ及び推定機能１３５ｅに代えて、学習用データセット生成機能２３５ｃ、学習済みモデル生成機能２３５ｄ及び推定機能２３５ｅを備える点が、図１に示す処理回路１３５と異なる。また、処理回路２３５は、解析機能１３５ｆを備えない点が、処理回路１３５と異なる。

以下、学習用データセット生成機能２３５ｃ、学習済みモデル生成機能２３５ｄ及び推定機能２３５ｅが実行する処理のうち、学習用データセット生成機能１３５ｃ、学習済みモデル生成機能１３５ｄ及び推定機能１３５ｅが実行する処理と異なる点を主に説明する。図１３は、第２の実施形態に係る学習用データセット生成機能２３５ｃ及び学習済みモデル生成機能２３５ｄが実行する処理の一例を説明するための図である。図１３には、第２の実施形態の学習時における学習済みモデル５０の生成方法の一例が示されている。図１３に示すように、学習時には、学習済みモデル生成機能２３５ｄは、短軸断面画像データ１１と、輪郭画像データ１４及び流体解析結果１５の組との関係を学習することによって学習済みモデル５０を生成する。第２の実施形態において、短軸断面画像データ１１は、例えば、第１の画像データの一例である。また、第２の実施形態において、輪郭画像データ１４は、例えば、短軸断面画像データ１１に対して処理が実行されることにより得られた第１の処理結果の一例である。また、第２の実施形態において、流体解析結果１５は、例えば、輪郭画像データ１４に対して流体解析処理を実行することにより取得された第１の解析処理結果の一例である。

このように、学習済みモデル生成機能２３５ｄは、短軸断面画像データ１１と、輪郭画像データ１４及び流体解析結果１５の組とを対応付けて学習することによって学習済みモデル５０を生成する。例えば、学習時には、学習用データセット生成機能２３５ｃは、短軸断面画像データ１１、輪郭画像データ１４及び流体解析結果１５の組を複数生成する。そして、学習済みモデル生成機能２３５ｄは、生成した複数の組を用いて学習済みモデル５０を生成する。

例えば、学習済みモデル生成機能２３５ｄは、短軸断面画像データ１１を入力データとし、輪郭画像データ１４及び流体解析結果１５を教師データとして機械エンジンに入力することによって、機械学習を行う。

学習済みモデル生成機能２３５ｄは、このような機械学習の結果として学習済みモデル５０を生成する。学習済みモデル５０は、短軸断面画像データ１１に相当する画像データが入力されることで、輪郭画像データ１４に相当する画像データを推定（生成）し、出力するとともに、流体解析結果１５に相当する流体解析結果を推定し、出力する。

ここで、学習済みモデル生成機能２３５ｄは、機械学習において、図１３に示す差分情報２５，２６，２７を学習済みモデル５０にフィードバックすることで、高い精度の流体解析結果を得ることが可能な学習済みモデル５０を得る。図１４を参照して、差分情報２５，２６，２７の生成方法の一例、及び、フィードバックの一例について説明する。

図１４は、第２の実施形態に係る画像処理装置２３０が学習時に実行する、学習済みモデル５０を更新（生成）する処理の一例を説明するための図である。図１４に示すように、学習用データセット生成機能２３５ｃは、第１の実施形態と同様に、短軸断面画像データ１１から輪郭画像データ１４を生成する。また、学習用データセット生成機能２３５ｃは、第１の実施形態と同様に、輪郭画像データ１４に対して流体解析処理を実行し、流体解析結果１５を得る。

また、学習用データセット生成機能２３５ｃは、短軸断面画像データ１１を学習済みモデル５０に入力することで、学習済みモデル５０に輪郭画像データ１６及び流体解析結果１８を推定させて出力させる。すなわち、学習用データセット生成機能２３５ｃは、学習済みモデル５０を使用して、短軸断面画像データ１１を基に、輪郭画像データ１６及び流体解析結果１８を推定し出力する。輪郭画像データ１６は、輪郭画像データ１４に相当する画像データである。流体解析結果１８は、流体解析結果１５に相当する解析結果である。第２の実施形態において、輪郭画像データ１６は、例えば、第２の処理結果の一例である。また、第２の実施形態において、流体解析結果１８は、例えば、第２の解析処理結果の一例である。

そして、学習用データセット生成機能２３５ｃは、第１の実施形態と同様に、輪郭画像データ１６に対して流体解析処理を実行し、流体解析結果１７を得る。第２の実施形態において、流体解析結果１７は、例えば、第３の解析処理結果の一例である。

そして、学習用データセット生成機能２３５ｃは、第１の実施形態と同様に、流体解析結果１５と流体解析結果１７との差（差分、誤差）を示す差分情報２５を生成する。また、学習用データセット生成機能２３５ｃは、流体解析結果１５と流体解析結果１８との差を示す差分情報２６を生成する。また、学習用データセット生成機能２３５ｃは、流体解析結果１７と流体解析結果１８との差を示す差分情報２７を生成する。

ここで、第１の実施形態においても説明したが、差分情報２５が示す差が所定の閾値以下である場合には、流体解析結果１７は、流体解析結果１５と同様の高い精度の流体解析結果である。また、差分情報２６が示す差が所定の閾値以下である場合には、流体解析結果１８は、流体解析結果１５と同様の高い精度の流体解析結果である。

そこで、学習済みモデル生成機能２３５ｄは、差分情報２５、差分情報２６及び差分情報２７を学習済みモデル５０にフィードバックする。例えば、学習済みモデル生成機能２３５ｄは、機械学習において、差分情報２５が示す差、差分情報２６が示す差、及び、差分情報２７が示す差が小さくなるように、学習済みモデル５０を更新する。

学習済みモデル生成機能２３５ｄが学習済みモデル５０を更新する方法の一例について説明する。例えば、学習済みモデル生成機能２３５ｄは、まず、重み及びバイアスを所定の規則に基づいて変更するか、又は、重み及びバイアスをランダムに変更する。そして、学習済みモデル生成機能２３５ｄは、変更後の重み及び変更後のバイアスが設定された学習済みモデル５０に、短軸断面画像データ１１を再び入力することにより、新たな輪郭画像データ１６及び新たな流体解析結果１８を推定させて出力させる。そして、学習済みモデル生成機能２３５ｄは、新たな輪郭画像データ１６に対して流体解析処理を実行することにより、新たな流体解析結果１７を得る。そして、学習用データセット生成機能２３５ｃは、流体解析結果１５と、新たな流体解析結果１７との差を示す新たな差分情報２５を生成する。また、学習用データセット生成機能２３５ｃは、流体解析結果１５と、新たな流体解析結果１８との差を示す新たな差分情報２６を生成する。また、学習用データセット生成機能２３５ｃは、新たな流体解析結果１７と新たな流体解析結果１８との差を示す新たな差分情報２７を生成する。

そして、学習済みモデル生成機能２３５ｄは、新たな差分情報２５が示す差、新たな差分情報２６が示す差、及び、新たな差分情報２７が示す差が、所定の閾値以下であるか否かを判定する。

学習済みモデル生成機能２３５ｄは、新たな差分情報２５が示す差、新たな差分情報２６が示す差、及び、新たな差分情報２７が示す差のうち少なくとも１つの差が所定の閾値よりも大きい場合には、上述した処理（重み及びバイアスを変更してから、新たな差分情報２５が示す差、新たな差分情報２６が示す差及び新たな差分情報２７が示す差が所定の閾値以下であるか否かを判定するまでの処理）を再び行う。

一方、学習済みモデル生成機能２３５ｄは、新たな差分情報２５が示す差、新たな差分情報２６が示す差、及び、新たな差分情報２７が示す差が所定の閾値以下である場合には、学習済みモデル５０を更新する処理を終了する。学習用データセット生成機能２３５ｃ及び学習済みモデル生成機能２３５ｄは、短軸断面画像データ１１毎に、学習済みモデル５０を更新する処理を実行する。

このようにして得られる学習済みモデル５０によれば、例えば、最終的に、流体解析結果１８が流体解析結果１５に近づき、流体解析結果１５と流体解析結果１８との差が所定の閾値以下となる。したがって、第２の実施形態によれば、学習時に、高い精度の流体解析結果を得ることが可能な学習済みモデル５０を得ることができる。

そして、学習済みモデル生成機能２３５ｄは、得られた学習済みモデル５０をメモリ１３２に記憶させる。

推定機能２３５ｅは、学習済みモデル５０を用いて、運用時に、流体解析処理の対象である冠動脈の内壁の輪郭が描出された輪郭画像データ、及び、この輪郭画像データに対して流体解析処理を実行することにより得られる流体解析結果を推定する。そして、推定機能２３５ｅは、推定した輪郭画像データ及び流体解析結果を出力する。図１５を参照して、推定機能２３５ｅが実行する処理の一例について説明する。図１５は、第２の実施形態に係る推定機能２３５ｅが実行する処理の一例について説明するための図である。図１５には、第２の実施形態の運用時における輪郭画像データ５１及び流体解析結果５２の推定方法の一例が示されている。

推定機能２３５ｅは、運用時に取得機能１３５ｂにより取得された短軸断面画像データ１２を学習済みモデル５０に入力することで、学習済みモデル５０に輪郭画像データ５１及び流体解析結果５２を推定させて出力させる。すなわち、推定機能２３５ｅは、学習済みモデル５０を使用して、短軸断面画像データ１２を基に、輪郭画像データ５１及び流体解析結果５２を推定し出力する。ここで、運用時に、Ｘ線ＣＴ装置１１０から複数の短軸断面画像データ１２が送信される。そのため、推定機能２３５ｅは、学習済みモデル５０を使用して、複数の短軸断面画像データ１２それぞれを基に、複数の輪郭画像データ５１のそれぞれを推定し出力するとともに、複数の流体解析結果５２のそれぞれを推定し出力する。輪郭画像データ５１は、輪郭画像データ１４に相当する画像データである。輪郭画像データ５１には、冠動脈の内壁の輪郭が描出されている。第２の実施形態において、輪郭画像データ５１は、例えば、第３の処理結果の一例である。また、第２の実施形態において、流体解析結果５２は、例えば、第３の解析処理結果の一例である。推定機能２３５ｅは、例えば、推定部の一例である。

推定機能２３５ｅは、輪郭画像データ５１及び流体解析結果５２を出力機能１３５ｇに出力する。

ここで、流体解析結果５２は、学習済みモデル５０により推定された高い精度の流体解析結果である。したがって、第２の実施形態によれば、運用時に、高い精度の流体解析結果を得ることができる。

出力機能１３５ｇは、各種の画像データに基づく画像や、推定機能２３５ｅにより推定された流体解析結果５２等をディスプレイ１３４に表示させる。

次に、画像処理装置２３０が実行する処理の流れの一例について説明する。図１６は、第２の実施形態に係る画像処理装置２３０が学習時に実行する処理の流れの一例を示すフローチャートである。図１６に示す処理は、例えば、ユーザが入力インターフェース１３３を介して学習済みモデル５０を生成する処理を実行するための指示を処理回路２３５に入力した場合に実行される。

図１６に示すように、取得機能１３５ｂは、メモリ１３２に記憶された短軸断面画像データ１１を取得する（ステップＳ３０１）。

そして、学習用データセット生成機能２３５ｃは、短軸断面画像データ１１に基づく短軸断面画像をディスプレイ１３４に表示させる（ステップＳ３０２）。そして、学習用データセット生成機能２３５ｃは、ユーザから、輪郭情報を受け付けたか否かを判定する（ステップＳ３０３）。学習用データセット生成機能２３５ｃは、輪郭情報を受け付けていないと判定した場合（ステップＳ３０３：Ｎｏ）には、再び、ステップＳ３０３の判定を行う。

学習用データセット生成機能２３５ｃは、輪郭情報を受け付けたと判定した場合（ステップＳ３０３：Ｙｅｓ）には、輪郭情報に基づいて、冠動脈の内壁の輪郭１４ａが、正確な位置に正確な形状で描出された輪郭画像データ１４を生成する（ステップＳ３０４）。

そして、学習用データセット生成機能２３５ｃは、輪郭画像データ１４に対して流体解析処理を実行し、流体解析結果１５を得る（ステップＳ３０５）。

そして、学習済みモデル生成機能２３５ｄは、短軸断面画像データ１１と輪郭画像データ１４と流体解析結果１５とを対応付けて学習することによって学習済みモデル５０を生成する（ステップＳ３０６）。そして、学習用データセット生成機能２３５ｃは、学習済みモデル５０を使用して、短軸断面画像データ１１を基に、輪郭画像データ１６及び流体解析結果１８を推定する（ステップＳ３０７）。

そして、学習用データセット生成機能２３５ｃは、輪郭画像データ１６に対して流体解析処理を実行し、流体解析結果１７を得る（ステップＳ３０８）。

そして、学習用データセット生成機能２３５ｃは、流体解析結果１５と流体解析結果１７との差を示す差分情報２５、流体解析結果１５と流体解析結果１８との差を示す差分情報２６、及び、流体解析結果１７と流体解析結果１８との差を示す差分情報２７を生成する（ステップＳ３０９）。そして、学習済みモデル生成機能２３５ｄは、機械学習において、差分情報２５が示す差、差分情報２６が示す差、及び、差分情報２７が示す差が小さくなるように、学習済みモデル５０を更新する（ステップＳ３１０）。そして、学習済みモデル生成機能２３５ｄは、生成した学習済みモデル５０（更新された学習済みモデル５０）をメモリ１３２に記憶させ（ステップＳ３１１）、図１６に示す処理を終了する。

図１７は、第２の実施形態に係る画像処理装置２３０が運用時に実行する処理の流れの一例を示すフローチャートである。図１７に示す処理は、例えば、ユーザが入力インターフェース１３３を介して、流体解析結果１８を得るための指示を処理回路２３５に入力した場合に実行される。

図１７に示すように、取得機能１３５ｂは、メモリ１３２に記憶された短軸断面画像データ１２を取得する（ステップＳ４０１）。そして、推定機能２３５ｅは、学習済みモデル５０を用いて、短軸断面画像データ１２を基に、輪郭画像データ５１及び流体解析結果５２を推定し出力する（ステップＳ４０２）。

そして、出力機能１３５ｇは、流体解析結果５２をディスプレイ１３４に表示させ（ステップＳ４０３）、図１７に示す処理を終了する。

以上、第２の実施形態について説明した。第２の実施形態によれば、第１の実施形態と同様に、高い精度の流体解析結果を得ることが可能な学習済みモデル５０を得ることができる。

なお、第２の実施形態において、画像処理装置２３０は、差分情報２５、差分情報２６及び差分情報２７のうち、少なくとも１つの差分情報を用いればよい。例えば、画像処理装置２３０は、差分情報２５、差分情報２６及び差分情報２７のうち、差分情報２５及び差分情報２６を用いて上述した処理と同様の処理を行ってもよい。

上記説明において用いた「プロセッサ」という文言は、例えば、ＣＰＵ、ＧＰＵ（Graphics Processing Unit）、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、又は、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、若しくは、フィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサはメモリ１３２に保存されたプログラムを読み出し実行することで機能を実現する。

なお、図１及び図１２においては、単一のメモリ１３２が各処理機能に対応する各プログラムを記憶するものとして説明した。しかしながら、複数のメモリ１３２を分散して配置し、処理回路１３５，２３５は、個別のメモリ１３２から対応するプログラムを読み出す構成としても構わない。また、メモリ１３２にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むよう構成しても構わない。この場合、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。

以上説明した少なくとも１つの実施形態又は変形例によれば、高い精度の解析結果を得ることが可能な学習済みモデルを得ることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１３５ｃ，２３５ｃ 学習用データセット生成機能
１３５ｄ，２３５ｄ 学習済みモデル生成機能
１３５ｅ，２３５ｅ 推定機能
１３５ｆ 解析機能

Claims (6)

1. 第１の画像データと、前記第１の画像データに対して処理が実行されることにより得られた第１の処理結果とを対応付けて機械学習エンジンに入力して機械学習することにより、前記第１の画像データを受け付けて第２の処理結果を出力するとともに第２の画像データを受け付けて第３の処理結果を出力するニューラルネットワークを生成する生成部と、
   前記ニューラルネットワークに前記第２の画像データを入力することにより、前記第３の処理結果を推定する推定部と、
   前記推定部により推定された前記第３の処理結果に対して、流体解析処理、解析対象の部位の輪郭を抽出する処理、病変部位を検出する処理、病変部位の輪郭を検出する処理、又は、病変部位の種別を特定する処理のいずれか１つの処理である解析処理を実行することにより第１の解析処理結果を取得する解析部と、
   を備え、
   前記生成部は、
   前記第１の処理結果に対して前記解析処理を実行することにより第２の解析処理結果を取得し、
   前記ニューラルネットワークを用いて、前記第１の画像データを基に前記第２の処理結果を推定し、推定された前記第２の処理結果に対して前記解析処理を実行することにより第３の解析処理結果を取得し、
   前記第２の解析処理結果と前記第３の解析処理結果との差が第１の閾値以下となり、前記第１の処理結果と前記第２の処理結果との差が第２の閾値以下となるように前記ニューラルネットワークの重み及びバイアスを調整することにより、前記ニューラルネットワークを生成する、学習装置。
2. 前記生成部は、複数の前記ニューラルネットワークのうち、前記第２の解析処理結果と前記第３の解析処理結果とが異なる場合に対応するニューラルネットワークを、前記第２の解析処理結果と前記第３の解析処理結果との差が小さくなるように更新することにより当該ニューラルネットワークを生成する、請求項１に記載の学習装置。
3. 前記第１の画像データ及び前記第２の画像データは、被検体の冠動脈を含む画像データであり、
   前記第１の処理結果、前記第２の処理結果及び前記第３の処理結果は、被検体の冠動脈の輪郭が描出された画像データであり、
   前記解析処理は、画像データに描出された被検体の輪郭に基づいて、流体解析結果を得る流体解析処理である、請求項１又は２に記載の学習装置。
4. 第１の画像データと、前記第１の画像データに対して処理が実行されることにより得られた第１の処理結果と、前記第１の処理結果に対して、流体解析処理、解析対象の部位の輪郭を抽出する処理、病変部位を検出する処理、病変部位の輪郭を検出する処理、又は、病変部位の種別を特定する処理のいずれか１つの処理である解析処理を実行することにより取得された第１の解析処理結果とを対応付けて機械学習エンジンに入力して機械学習することにより、前記第１の画像データを受け付けて第２の処理結果及び第２の解析処理結果を出力するとともに第２の画像データを受け付けて第３の処理結果及び第３の解析処理結果を出力するニューラルネットワークを生成する生成部と、
   前記ニューラルネットワークに前記第２の画像データを入力することにより、前記第３の処理結果及び前記第３の解析処理結果を推定する推定部と、
   を備え、
   前記生成部は、
   前記ニューラルネットワークを用いて、前記第１の画像データを基に前記第２の処理結果及び前記第２の解析処理結果を推定し、推定された前記第２の処理結果に対して前記解析処理を実行することにより第３の解析処理結果を取得し、
   前記第１の解析処理結果と前記第２の解析処理結果との差が第１の閾値以下となり、前記第１の解析処理結果と前記第３の解析処理結果との差が第２の閾値以下となり、前記第１の処理結果と前記第２の処理結果との差が第３の閾値以下となるように前記ニューラルネットワークの重み及びバイアスを調整することにより、前記ニューラルネットワークを生成する、学習装置。
5. 前記生成部は、更に、前記第２の解析処理結果と前記第３の解析処理結果との差が第４の閾値以下となるように前記ニューラルネットワークの重み及びバイアスを調整することにより、前記ニューラルネットワークを生成する、請求項４に記載の学習装置。
6. コンピュータが、
   第１の画像データと、前記第１の画像データに対して処理が実行されることにより得られた第１の処理結果とを対応付けて機械学習エンジンに入力して機械学習することにより、前記第１の画像データを受け付けて第２の処理結果を出力するとともに第２の画像データを受け付けて第３の処理結果を出力するニューラルネットワークを生成する第１の処理と、
   前記ニューラルネットワークに前記第２の画像データを入力することにより、前記第３の処理結果を推定する第２の処理と、
   推定された前記第３の処理結果に対して、流体解析処理、解析対象の部位の輪郭を抽出する処理、病変部位を検出する処理、病変部位の輪郭を検出する処理、又は、病変部位の種別を特定する処理のいずれか１つの処理である解析処理を実行することにより第１の解析処理結果を取得する第３の処理と、
   を実行し、
   前記第１の処理は、
   前記第１の処理結果に対して前記解析処理を実行することにより第２の解析処理結果を取得し、
   前記ニューラルネットワークを用いて、前記第１の画像データを基に前記第２の処理結果を推定し、推定された前記第２の処理結果に対して前記解析処理を実行することにより第３の解析処理結果を取得し、
   前記第２の解析処理結果と前記第３の解析処理結果との差が第１の閾値以下となり、前記第１の処理結果と前記第２の処理結果との差が第２の閾値以下となるように前記ニューラルネットワークの重み及びバイアスを調整することにより、前記ニューラルネットワークを生成する処理を含む、学習方法。

Images