JP7350595B2 - 画像処理装置、医用画像診断装置及び画像処理プログラム - Google Patents

Description

本発明の実施の形態は、画像処理装置、医用画像診断装置及び画像処理プログラムに関する。

従来、医用画像を用いた診断においては、医用画像に対して種々の処理が施されている。例えば、医用画像の診断価値を高めるために、ノイズ低減処理や、超解像処理など、画像の信号に積極的な変化を加える処理が行われている。特に、近年は、大規模な機械学習を用いた画像処理が行われており、ノイズ低減や、超解像などの性能の向上が著しい。

特開２０１９－３０６２３号公報

Noise2Noise: Learning Image Restoration without Clean Data, J.Lehtinen, et.al.(2018) クリストファー M. ビショップ（Christopher M. Bishop）著、「パターン認識と機械学習（Pattern recognition and machine learning）」、（米国）、第１版、スプリンガー（Springer）、2006年、P.225-290

本発明が解決しようとする課題は、画像に対する処理の結果の信頼性を向上させることである。

実施形態の画像処理装置は、取得部と、判定部と、決定部とを備える。取得部は、医用画像の入力に応じて処理結果を出力する第１の学習済みモデルに対する入力画像及び当該入力画像の入力に応じて前記第１の学習済みモデルから出力された出力結果のうち少なくとも１つを取得する。判定部は、前記入力画像及び前記出力結果のうち少なくとも１つの入力に応じて前記出力結果の評価情報を出力する第２の学習済みモデルに対して、前記入力画像及び前記出力結果のうち少なくとも１つを入力することで、前記出力結果の評価情報を出力させ、当該評価情報を判定する。決定部は、前記第２の学習済みモデルの出力結果に基づく判定結果に応じた処理を決定する。

図１は、第１の実施形態に係る画像処理装置の構成の一例を示すブロック図である。 図２Ａは、第１の実施形態に係る学習済みモデルの一例を説明するための図である。 図２Ｂは、第１の実施形態に係る学習済みモデルの一例を説明するための図である。 図３Ａは、第１の実施形態に係る判定機能の処理の一例を説明するための図である。 図３Ｂは、第１の実施形態に係る判定機能の処理の一例を説明するための図である。 図４Ａは、第１の実施形態に係る学習済みモデルの一例を説明するための図である。 図４Ｂは、第１の実施形態に係る判定機能の処理の一例を説明するための図である。 図５Ａは、第１の実施形態に係る決定機能の処理の一例を説明するための図である。 図５Ｂは、第１の実施形態に係る決定機能の処理の一例を説明するための図である。 図５Ｃは、第１の実施形態に係る決定機能の処理の一例を説明するための図である。 図６は、本実施形態に係る画像処理装置による学習時の処理の手順を示すフローチャートである。 図７は、本実施形態に係る画像処理装置による運用時の処理の手順を示すフローチャートである。 図８は、第２の実施形態に係る学習済みモデルの一例を説明するための図である。 図９は、第２の実施形態に係る判定機能の処理の一例を説明するための図である。 図１０は、第３の実施形態に係る学習済みモデルの一例を説明するための図である。 図１１は、第３の実施形態に係る学習済みモデルの一例を説明するための図である。 図１２は、第３の実施形態に係る決定機能の処理の一例を説明するための図である。

以下、図面を参照しながら、画像処理装置、医用画像診断装置及び画像処理プログラムの実施形態について詳細に説明する。なお、本願に係る画像処理装置、医用画像診断装置及び画像処理プログラムは、以下に示す実施形態によって限定されるものではない。また、実施形態は、処理内容に矛盾が生じない範囲で他の実施形態や従来技術との組み合わせが可能である。

（第１の実施形態）
第１の実施形態では、本願の画像処理装置を一例に挙げて、実施形態の詳細について説明する。図１は、第１の実施形態に係る画像処理装置１３０の構成の一例を示すブロック図である。例えば、第１の実施形態に係る画像処理装置１３０は、図１に示すように、ネットワーク２００を介して医用画像診断装置１１０及び端末装置１２０と通信可能に接続された画像処理システム１００に含まれる。なお、図１に示す画像処理システム１００には、画像保管装置などの他の装置が通信可能に接続される場合でもよい。

医用画像診断装置１１０は、被検体を撮像して医用画像を収集する。そして、医用画像診断装置１１０は、収集した医用画像を端末装置１２０や画像処理装置１３０に送信する。例えば、医用画像診断装置１１０は、Ｘ線診断装置、Ｘ線ＣＴ（Computed Tomography）装置、ＭＲＩ（Magnetic Resonance Imaging）装置、超音波診断装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置、ＰＥＴ（Positron Emission computed Tomography）装置等である。ここで、本願の技術は、上記した種々のモダリティに適用可能であり、適用することにより、各モダリティが、以下で説明する処理をそれぞれ実行することができるようになる。

端末装置１２０は、病院内に勤務する医師や検査技師に医用画像を閲覧させるための装置である。例えば、端末装置１２０は、病院内に勤務する医師や検査技師により操作されるパーソナルコンピュータ（ＰＣ：Personal Computer）やタブレット式ＰＣ、ＰＤＡ（Personal Digital Assistant）、携帯電話等によって実現される。例えば、端末装置１２０は、医用画像診断装置１１０又は画像処理装置１３０から受信した医用画像を自装置のディスプレイに表示させるとともに、自装置の入力インターフェースを介して医用画像に対する各種操作を受け付ける。例えば、端末装置１２０は、画像処理装置１３０から受信した画像処理後の医用画像を表示することができる。

画像処理装置１３０は、医用画像診断装置１１０及び端末装置１２０から各種の情報を取得し、取得した情報を用いて各種の情報処理を行う。例えば、画像処理装置１３０は、サーバやワークステーション、パーソナルコンピュータ、タブレット端末等のコンピュータ機器によって実現される。

図１に示すように、画像処理装置１３０は、通信インターフェース１３１と、記憶回路１３２と、入力インターフェース１３３と、ディスプレイ１３４と、処理回路１３５とを有する。

通信インターフェース１３１は、処理回路１３５に接続されており、画像処理装置１３０と各装置との間で行われる通信を制御する。具体的には、通信インターフェース１３１は、各装置から各種の情報を受信し、受信した情報を処理回路１３５に出力する。例えば、通信インターフェース１３１は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。

記憶回路１３２は、処理回路１３５に接続されており、各種のデータを記憶する。例えば、記憶回路１３２は、医用画像診断装置１１０から受信した医用画像や、端末装置１２０から取得した医用画像などを記憶する。また、記憶回路１３２は、処理回路１３５が読み出して実行することで各種機能を実現するための種々のプログラムを記憶する。また、記憶回路１３２は、図１に示すように、学習済みモデル１３２ａと、学習済みモデル１３２ｂとを記憶する。なお、学習済みモデル１３２ａと学習済みモデル１３２ｂについては、後に詳述する。例えば、記憶回路１３２は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。

入力インターフェース１３３は、処理回路１３５に接続されており、操作者から各種の指示及び情報の入力操作を受け付ける。具体的には、入力インターフェース１３３は、操作者から受け付けた入力操作を電気信号へ変換して処理回路１３５に出力する。例えば、入力インターフェース１３３は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力回路、及び音声入力回路等によって実現される。なお、本明細書において、入力インターフェース１３３は、マウス、キーボード等の物理的な操作部品を備えるものだけに限られない。例えば、装置とは別体に設けられた外部の入力機器から入力操作に対応する電気信号を受け取り、この電気信号を制御回路へ出力する電気信号の処理回路も入力インターフェース１３３の例に含まれる。

ディスプレイ１３４は、処理回路１３５に接続されており、各種の情報及び画像を表示する。具体的には、ディスプレイ１３４は、処理回路１３５から送られる情報及び画像のデータを表示用の電気信号に変換して出力する。例えば、ディスプレイ１３４は、液晶モニタやＣＲＴ（Cathode Ray Tube）モニタ、タッチパネル等によって実現される。

処理回路１３５は、入力インターフェース１３３を介して操作者から受け付けた入力操作に応じて、画像処理装置１３０の動作を制御する。例えば、処理回路１３５は、プロセッサによって実現される。

以上、第１の実施形態に係る画像処理装置１３０の構成について説明した。例えば、第１の実施形態に係る画像処理装置１３０を含む画像処理システム１００は、病院や医院等の医療機関に設置され、医療機関に入院又は通院する患者等を被検体として、医用画像診断装置１１０によって生成される医用画像を用いた各種の画像診断に利用される。

ここで、医用画像を用いた画像診断では、上述したように、医用画像診断装置１１０によって収集された医用画像に対して、ノイズ低減処理や、超解像処理、散乱線低減処理などの画像処理が施され、処理後の医用画像が診断などに用いられるようになってきている。例えば、近年の機械学習の発展により、上述した画像処理を機械学習によって生成した学習済みモデルによって実行することで、より効果の高い画像処理が実現可能となってきている。

しかしながら、機械学習を用いた画像処理では、学習に用いたデータ（医用画像）に近いデータに対しての性能は極めて高いが、学習に用いたデータの特徴から外れたデータに対しては脆弱であり、高い効果を発揮できない場合がある。一例を挙げると、ノイズ低減処理や、超解像処理など、画像の信号に積極的な変化を加える処理を学習済みモデルによって行った場合、学習済みモデルの生成に用いたデータの特徴から外れたデータの入力に対して、偽像を含む出力画像が出力される場合がある。

このような出力画像の出力を低減するためには、例えば、全ての条件を網羅したデータを用いて学習済みモデルを生成することが考えられるが、全ての条件を網羅した学習用データを収集することは、現実的に困難である。そこで、本願では、画像処理の処理結果の妥当性を検証するための判定器による判定結果に応じた処理を行うことで、画像に対する処理の結果の信頼性を向上させる。

具体的には、画像処理装置１３０は、医用画像の入力に応じて処理結果を出力する第１の学習済みモデルに対する入力画像及び当該入力画像の入力に応じて第１の学習済みモデルから出力された出力結果のうち少なくとも１つを取得する。そして、画像処理装置１３０は、入力画像及び出力結果のうち少なくとも１つの入力に応じて出力結果の評価情報を出力する第２の学習済みモデルに対して、入力画像及び出力結果のうち少なくとも１つを入力することで、出力結果の評価情報を出力させ、当該評価情報を判定する。そして、画像処理装置１３０は、第２の学習済みモデルの出力結果に基づく判定結果に応じた処理を決定する。その結果、例えば、画像処理の処理結果が妥当であることを条件に、画像処理の学習済みモデルの出力結果を採用することで、画像に対する処理の結果の信頼性を向上させることを可能にする。

以下、本実施形態に係る画像処理装置１３０の詳細について説明する。図１に示すように、画像処理装置１３０の処理回路１３５は、制御機能１３５ａ、画像処理機能１３５ｂ、学習機能１３５ｃ、判定機能１３５ｄ、及び、決定機能１３５ｅを実行する。ここで、制御機能１３５ａは、取得部の一例である。また、画像処理機能１３５ｂは、処理部の一例である。また、学習機能１３５ｃは、学習部の一例である。また、判定機能１３５ｄは、判定部の一例である。また、決定機能１３５ｅは、決定部の一例である。

制御機能１３５ａは、入力インターフェース１３３を介して入力された各種要求に応じた処理を実行するように制御する。例えば、制御機能１３５ａは、通信インターフェース１３１を介した医用画像等の送受信、記憶回路１３２への情報の格納、ディスプレイ１３４への情報（例えば、表示画像や、各機能による処理結果など）の表示などを制御する。

例えば、制御機能１３５ａは、医用画像診断装置１１０から医用画像を取得して、記憶回路１３２に格納する。また、例えば、制御機能１３５ａは、医用画像診断装置１１０から取得した医用画像に対して処理を実行するためのＧＵＩや、各機能による処理結果をディスプレイ１３４に表示させるように制御する。

画像処理機能１３５ｂは、医用画像診断装置１１０から取得した医用画像に対して画像処理を実行する。具体的には、画像処理機能１３５ｂは、機械学習を用いた画像処理を実行する。例えば、画像処理機能１３５ｂは、通信インターフェース１３１を介して取得された医用画像を、記憶回路１３２に記憶された学習済みモデル１３２ａに対して入力して、出力画像を出力させることで、医用画像に対して画像処理を実行する。すなわち、処理回路１３５が、記憶回路１３２に記憶された学習済みモデル１３２ａを読み込んで実行することで、画像処理機能１３５ｂが実現される。

ここで、記憶回路１３２によって記憶される学習済みモデル１３２ａは、例えば、ディープラーニング（Deep Learning）などの機械学習エンジンに対して、入力の対象となる医用画像と、目的の画像処理の処理結果に相当する医用画像とを学習用データとして入力することによって生成された学習済みモデルである。例えば、学習済みモデル１３２ａは、入力画像の画質を変化させる画像処理後の出力画像を出力する学習済みモデルである。

図２Ａは、第１の実施形態に係る学習済みモデル１３２ａの一例を説明するための図である。例えば、学習済みモデル１３２ａは、図２Ａに示すように、元画像（入力画像）の入力に応じて、ノイズ低減処理を施した画像処理後の出力画像を出力する。なお、図２Ａは、あくまでも一例であり、学習済みモデル１３２ａは、超解像処理、散乱線低減処理など種々の画像処理に対応する学習済みモデルが含まれる。

また、画像処理機能１３５ｂは、医用画像診断装置１１０から取得された医用画像に対して、機械学習を用いない画像処理を実行する。具体的には、画像処理機能１３５ｂは、医用画像の種別などに基づくルールベースの画像処理を実行する。例えば、画像処理機能１３５ｂは、医用画像に対して、空間フィルタや、コンボリューションフィルタなどを用いた画像処理を実行する。すなわち、画像処理機能１３５ｂは、医用画像に対して通常のノイズ低減処理などを行うことができる。また、例えば、画像処理機能１３５ｂは、医用画像に対して、単純なｂｉｌｉｎｅａｒ拡大などを用いた画像処理を実行する。すなわち、画像処理機能１３５ｂは、医用画像に対して通常の超解像処理などを行うことができる。

また、画像処理機能１３５ｂは、複数の医用画像に対して画像処理を行うことで、合成画像や、混合画像などを生成することもできる。なお、合成画像、混合画像については後に詳述する。画像処理機能１３５ｂは、上述した種々の画像処理の処理結果（画像処理後の医用画像）を記憶回路１３２に格納する。

学習機能１３５ｃは、学習済みモデル１３２ａに対して入力された医用画像と、当該医用画像の入力に応じて学習済みモデル１３２ａから出力された出力画像の評価結果との関係を学習することにより、出力画像の妥当性を検証するための評価情報を出力するように機能付けられた学習済みモデル１３２ｂを生成する。ここで、本実施形態では、画像処理装置１３０の処理回路１３５が学習機能１３５ｃを実行することで、学習済みモデル１３２ｂを生成する場合について説明するが、実施形態はこれに限定されるものではない。例えば、他の情報処理装置が以下で説明する処理を実行することで、学習済みモデル１３２ｂを生成し、生成された学習済みモデル１３２ｂが、記憶回路１３２に格納される場合でもよい。

図２Ｂは、第１の実施形態に係る学習済みモデル１３２ｂの一例を説明するための図である。図２Ｂに示すように、学習機能１３５ｃは、学習済みモデル１３２ａに入力された元画像と、学習済みモデル１３２ａの出力画像である画像処理後の画像の評価指標とを学習用データとして機械学習することにより、学習済みモデル１３２ｂを生成する。ここで、第１の実施形態における画像処理後の画像の評価は、画像の画質であり、例えば、偽像の有無や、単純な画質に関する評価である。なお、以下では、画像処理後の画質の評価として、偽像の有無を一例に挙げて説明する。

かかる場合には、まず、制御機能１３５ａが、医用画像診断装置１１０から医用画像を取得して、記憶回路１３２に格納する。画像処理機能１３５ｂは、制御機能１３５ａによって取得された医用画像（元画像）を学習済みモデル１３２ａに入力することで、画像処理後の出力画像を出力させ、出力画像を元画像に対応付けて記憶回路１３２に格納する。

そして、制御機能１３５ａは、出力画像をディスプレイ１３４に表示させる。操作者（医師）は、入力インターフェースを介して、ディスプレイ１３４に表示された出力画像について偽像の有無に関する評価指標を入力する。例えば、操作者は、出力画像に偽像が含まれる場合を「１」、偽像が含まれない場合を「０」とする定性的な評価指標を入力する。操作者によって評価指標が入力されると、制御機能１３５ａは、入力された評価指標を元画像に対応付けて、記憶回路１３２に格納する。

学習機能１３５ｃは、記憶回路１３２に記憶された元画像と偽像の定性的な指標との関係を学習することで、学習済みモデル１３２ｂを生成する。例えば、学習機能１３５ｃは、元画像における各画素の画素値と、元画像に対応付けられた評価指標（１or０）とを学習用データとして機械学習エンジンに入力することによって、機械学習を行う。ここで、機械学習エンジンとしては、例えば、公知である非特許文献「クリストファー M. ビショップ（Christopher M. Bishop）著、「パターン認識と機械学習（Pattern recognition and machine learning）」、（米国）、第１版、スプリンガー（Springer）、2006年、P.225-290」に記載のニューラルネットワーク（Neural Network）などを適用することができる。

なお、機械学習エンジンについては、上記したニューラルネットワークの他、例えば、ディープラーニングや、ロジスティック（Logistic）回帰分析、非線形判別分析、サポートベクターマシン（Support Vector Machine：ＳＶＭ）、ランダムフォレスト（Random Forest）、ナイーブベイズ（Naive Bayes）等の各種のアルゴリズムを用いるものでもよい。

このような機械学習の結果として、学習機能１３５ｃは、学習済みモデル１３２ａに入力される元画像の入力に対して、偽像の有無を「０～１」の数値で示した評価指標（確率）を出力する学習済みモデル１３２ｂを生成する。そして、学習機能１３５ｃは、生成した学習済みモデル１３２ｂを記憶回路１３２に記憶させる。なお、このとき、学習機能１３５ｃは、以前に作成した学習済みモデル１３２ｂが既に記憶回路１３２に記憶されていた場合には、新しく作成した学習済みモデル１３２ｂで、記憶されている学習済みモデル１３２ｂを置き換えることもできる。

また、学習機能１３５ｃは、モダリティごと、撮像条件ごとに、学習済みモデル１３２ｂを生成して、記憶回路１３２にそれぞれ記憶させることもできる。例えば、ＣＴ画像や、ＭＲＩ画像、超音波画像など、医用画像の種別によって偽像の発生が異なる場合が考えられる。また、撮像条件（対象部位、Ｘ線の照射条件、超音波の周波数など）によっても偽像の発生が異なる可能性も考えられる。そこで、学習機能１３５ｃは、モダリティごと（Ｘ線ＣＴ装置、ＭＲＩ装置など）に、かつ、撮像条件ごと（頭部、胸部、腹部、下部など）に学習済みモデル１３２ｂを生成して、記憶回路１３２に記憶させることも可能である。

なお、上述した例では、評価情報として、単一の定性的な評価指標（出力画像に偽像が含まれる場合を「１」、偽像が含まれない場合を「０」とする評価指標）を学習用データとして用いる場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、複数の評価指標を学習用データとして用いる場合でもよい。例えば、出力画像における偽像の輪郭の有無を「１」と「０」で示す評価指標、出力画像における偽像に相当する高周波成分の有無を「１」と「０」で示す評価指標、出力画像におけるアーチファクトの有無を「１」と「０」で示す評価指標などの複数の評価指標が学習用データとして用いられる場合でもよい。

また、評価情報として、定量的な評価指標が用いられる場合でもよい。例えば、非偽像領域の特徴量及び偽像領域の特徴量や、学習済みモデル１３２ａに対して入力された元画像と、入力に応じて出力された出力画像との比較結果（例えば、非偽像領域に対応する画素の画素値の差分と、偽像領域に対応する画素の画素値の差分）などが学習用データとして用いられる場合でもよい。

上述したように、画像処理装置１３０は、学習機能１３５ｃによって、学習済みモデル１３２ａによる画像処理の処理結果の妥当性を検証するための学習済みモデル１３２ｂ（判定器）を生成する。そして、画像処理装置１３０は、学習済みモデル１３２ｂを用いて学習済みモデル１３２ａによる画像処理の処理結果の妥当性を検証する。

判定機能１３５ｄは、元画像及び出力画像のうち少なくとも１つを学習済みモデル１３２ｂに対して入力することで出力画像における画質の評価情報を出力させ、当該評価情報を判定する。具体的には、判定機能１３５ｄは、通信インターフェース１３１を介して取得された医用画像、及び／又は、取得された医用画像が学習済みモデル１３２ａに対して入力され、出力された出力画像を、記憶回路１３２に記憶された学習済みモデル１３２ｂに対して入力することで、評価情報を出力させる。そして、判定機能１３５ｄは、出力された評価情報に基づいて、出力画像に偽像が含まれるか否かを判定する。すなわち、処理回路１３５が、記憶回路１３２に記憶された学習済みモデル１３２ｂを読み込んで実行することで、判定機能１３２ｄにおける評価情報の出力が実現される。

図３Ａは、第１の実施形態に係る判定機能１３５ｄの処理の一例を説明するための図である。ここで、図３Ａにおいては、学習済みモデル１３２ｂが、元画像と、単一の評価指標（出力画像に偽像が含まれる場合を「１」、偽像が含まれない場合を「０」とする評価指標）とを学習用データとして用いて生成されている場合について示す。

例えば、制御機能１３５ａは、通信インターフェース１３１を介して、学習済みモデル１３２ａの画像処理の対象となる医用画像を取得する。判定機能１３５ｄは、図３Ａに示すように、ニューラルネットワークで構成された学習済みモデル１３２ｂに対して、制御機能１３５ａによって取得された医用画像（元画像）を入力させることで、単一の出力層から出力結果「０．３」を出力させる。ここで、学習済みモデル１３２ｂから出力された出力結果「０．３」は、学習済みモデル１３２ｂに入力させた元画像を学習済みモデル１３２ａに入力させた場合の出力画像に偽像が含まれるか否かを数値で示した評価指標（確率）を意味する。

そして、判定機能１３５ｄは、出力結果「０．３」に基づいて、元画像を学習済みモデル１３２ａに入力させた場合の出力画像に偽像が含まれるか否かを判定する。例えば、判定機能１３５ｄは、閾値処理によって出力画像に偽像が含まれるか否かを判定する。一例を挙げると、出力画像に偽像が含まれるか否かを判定する閾値が「０．５」の場合、判定機能１３５ｄは、出力結果が「０．３」であることから、出力画像に偽像が含まれないと判定する。ここで、仮に出力結果が「０．５」を上回った場合、判定機能１３５ｄは、出力画像に偽像が含まれると判定する。

上述したように、判定機能１３５ｄは、学習済みモデル１３２ｂの出力結果に基づいて、出力画像に偽像が含まれるか否かを判定する。ここで、判定機能１３５ｄは、学習済みモデル１３２ｂの生成に用いられた学習用データに応じて、学習済みモデル１３２ｂに入力させる入力データ、及び、判定に用いる出力結果を種々変更する。以下、判定機能１３５ｄによる処理の例について説明する。

図３Ｂは、第１の実施形態に係る判定機能１３５ｄの処理の一例を説明するための図である。ここで、図３Ｂにおいては、学習済みモデル１３２ｂが、元画像と、複数の評価指標（偽像の輪郭の有無を「１」と「０」で示す評価指標、出力画像における偽像に相当する高周波成分の有無を「１」と「０」で示す評価指標、出力画像におけるアーチファクトの有無を「１」と「０」で示す評価指標など）とを学習用データとして用いて生成されている場合について示す。すなわち、学習済みモデル１３２ｂが、学習済みモデル１３２ａから出力される出力結果について複数の評価情報を出力する。

例えば、制御機能１３５ａは、通信インターフェース１３１を介して、学習済みモデル１３２ａの画像処理の対象となる医用画像を取得する。判定機能１３５ｄは、図３Ｂに示すように、ニューラルネットワークで構成された学習済みモデル１３２ｂに対して、制御機能１３５ａによって取得された医用画像（元画像）を入力させることで、複数の出力層から出力結果をそれぞれ出力させる。すなわち、図３Ｂに示す学習済みモデル１３２ｂは、元画像の入力に応じて、輪郭に関する出力層「偽輪郭スコア０～１の箱」と、高周波成分に関する出力層「高周波スコア０～１の箱」と、アーチファクトに関する出力層「アーチファクトスコア０～１の箱」と、その他の因子に関する出力層「Ｅｔｃ」とから、それぞれ数値を出力する。ここで、学習済みモデル１３２ｂから出力された各出力結果は、学習済みモデル１３２ｂに入力させた元画像を学習済みモデル１３２ａに入力させた場合の出力画像に各因子が含まれるか否かを数値で示した評価指標（確率）を意味する。

そして、判定機能１３５ｄは、複数の出力結果に基づいて、元画像を学習済みモデル１３２ａに入力させた場合の出力画像に偽像が含まれるか否かを判定する。すなわち、判定機能１３５ｄは、学習済みモデル１３２ｂから出力された複数の評価情報を統合して、学習済みモデル１３２ａから出力される出力結果の評価情報を判定する。例えば、判定機能１３５ｄは、各スコアの平均値を算出し、算出した平均値と閾値とを比較することによって出力画像に偽像が含まれるか否かを判定する。また、例えば、判定機能１３５ｄは、各スコアの加算値を算出し、算出した加算値と閾値とを比較することによって出力画像に偽像が含まれるか否かを判定する。

上述した図３Ａ、図３Ｂでは、学習済みモデル１３２ｂの学習用データとして、元画像のみを用いる例について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、元画像と、元画像を学習済みモデル１３２ａに入力させることで得られる出力画像とが学習用データに用いられる場合でもよい。また、例えば、元画像を学習済みモデル１３２ａに入力させることで得られる出力画像のみが学習用データに用いられる場合でもよい。

以下、元画像と、元画像を学習済みモデル１３２ａに入力させることで得られる出力画像とが学習用データに用いられる場合について説明する。かかる場合には、学習済みモデル１３２ｂは、元画像と、出力画像と、評価指標との関係を機械学習することによって生成される。

図４Ａは、第１の実施形態に係る学習済みモデル１３２ｂの一例を説明するための図である。図４Ａに示すように、学習機能１３５ｃは、学習済みモデル１３２ａに入力された元画像と、学習済みモデル１３２ａの出力画像（画像処理後）と、学習済みモデル１３２ａの出力画像である画像処理後の画像の評価指標とを学習用データとして機械学習することにより、学習済みモデル１３２ｂを生成する。ここで、画像処理後の画像の評価指標は、例えば、上述した偽像の有無や、偽像の輪郭の有無を「１」と「０」で示す評価指標、出力画像における偽像に相当する高周波成分の有無を「１」と「０」で示す評価指標、出力画像におけるアーチファクトの有無を「１」と「０」で示す評価指標などである。

このように、学習済みモデル１３２ｂが生成されている場合、判定機能１３５ｄは、学習済みモデル１３２ｂに対して、元画像及び画像処理後の画像を入力させることで、偽像の有無を判定するための評価指標を出力させる。図４Ｂは、第１の実施形態に係る判定機能１３５ｄの処理の一例を説明するための図である。ここで、図４Ｂにおいては、学習済みモデル１３２ｂが、元画像と、画像処理後の画像と、単一の評価指標（出力画像に偽像が含まれる場合を「１」、偽像が含まれない場合を「０」とする評価指標）とを学習用データとして用いて生成されている場合について示す。

例えば、制御機能１３５ａは、通信インターフェース１３１を介して、学習済みモデル１３２ａの画像処理の対象となる医用画像を取得する。画像処理機能１３５ｂは、取得された医用画像を学習済みモデル１３２ａに入力させることで、画像処理後の画像を出力させる。判定機能１３５ｄは、図４Ｂに示すように、ニューラルネットワークで構成された学習済みモデル１３２ｂに対して、制御機能１３５ａによって取得された医用画像（元画像）と、画像処理機能１３５ｂの処理によって出力された画像処理後の画像とを入力させることで、単一の出力層から出力結果を出力させる。

そして、判定機能１３５ｄは、出力結果に基づいて、元画像を学習済みモデル１３２ａに入力させた場合の出力画像に偽像が含まれるか否かを判定する。例えば、判定機能１３５ｄは、閾値処理によって出力画像に偽像が含まれるか否かを判定する。

なお、図４Ｂでは、学習済みモデル１３２ｂの学習用データとして単一の評価指標が用いられる場合について説明したが、実施形態はこれに限定されるものではなく、複数の評価指標が学習用データとして用いられる場合でもよい。また、図３Ａ、図３Ｂ、図４Ｂでは、定性的な評価指標が学習用データとして用いられる場合について説明したが、実施形態はこれに限定されるものではなく、定量的な評価指標が学習用データとして用いられる場合でもよい。

上述したように、判定機能１３５ｄが判定処理を実行すると、決定機能１３５ｅは、判定結果に応じた処理を決定する。具体的には、決定機能１３５ｅは、評価情報の判定結果に基づいて、入力画像（元画像）に対する処理動作を決定する。以下、図５Ａ～図５Ｃを用いて、第１の実施形態に係る決定機能１３５ｅの処理について説明する。図５Ａ～図５Ｃは、第１の実施形態に係る決定機能１３５ｅの処理の一例を説明するための図である。ここで、図５Ａ～図５Ｃにおいては、元画像及び画像処理後の画像が学習用データとして用いられた学習済みモデル１３２ｂの出力結果に基づく決定処理の例を示す。

例えば、決定機能１３５ｅは、評価情報の判定結果が所定の評価を下回る場合に、入力画像を表示用の画像として決定し、評価情報の判定結果が所定の評価を上回る場合に、入力画像を学習済みモデル１３２ａに入力することで出力される出力画像を表示用の画像として決定する。一例を挙げると、図５Ａに示すように、判定機能１３５ｄが、元画像と、Ｄｅｅｐ Ｌｅａｒｎｉｎｇに基づく画像処理後の画像とを学習済みモデル１３２ｂに対して入力し、出力された評価指標に基づいて、偽像の有無の判定を行う。

ここで、判定機能１３５ｄによって、画像処理後の画像に偽像が含まれていないと判定されると（判定結果：ＯＫ）、決定機能１３５ｅは、図５Ａに示すように、画像処理後の画像を出力（表示）するように決定する。一方、判定機能１３５ｄによって、画像処理後の画像に偽像が含まれていると判定されると（判定結果：ＮＧ）、決定機能１３５ｅは、図５Ａに示すように、元画像を出力（表示）するように決定する。

また、例えば、決定機能１３５ｅは、評価情報の判定結果が所定の評価を下回る場合に、入力画像に対して学習済みモデル１３２ａにおける画像処理とは異なる画像処理を施した処理後画像を表示用の画像として決定し、評価情報の判定結果が所定の評価を上回る場合に、入力画像を学習済みモデル１３２ａに入力することで出力される出力画像を表示用の画像として決定する。一例を挙げると、図５Ｂに示すように、判定機能１３５ｄが、元画像と、Ｄｅｅｐ Ｌｅａｒｎｉｎｇに基づく第一画像処理後の画像とを学習済みモデル１３２ｂに対して入力し、出力された評価指標に基づいて、偽像の有無の判定を行う。

ここで、判定機能１３５ｄによって、第一画像処理後の画像に偽像が含まれていないと判定されると（判定結果：ＯＫ）、決定機能１３５ｅは、図５Ｂに示すように、第一画像処理後の画像を出力（表示）するように決定する。一方、判定機能１３５ｄによって、第一画像処理後の画像に偽像が含まれていると判定されると（判定結果：ＮＧ）、決定機能１３５ｅは、図５Ｂに示すように、元画像に対してルールベースの第二画像処理を施した第二画像処理後の画像を出力（表示）するように決定する。すなわち、画像処理機能１３５ｂは、決定機能１３５ｅによって第二画像処理後の画像を出力するように決定されると、元画像に対してルールベースの第二画像処理を実行する。

また、例えば、決定機能１３５ｅは、入力画像に対して学習済みモデル１３２ａにおける画像処理とは異なる画像処理を施した処理後画像と、入力画像を学習済みモデル１３２ａに入力することで出力される出力画像とを、評価情報の判定結果に応じた混合比率で混合した混合画像を表示用の画像として決定する。一例を挙げると、画像処理機能１３５ｂは、図５Ｃに示すように、元画像に対して、第一画像処理及び第二画像処理をそれぞれ実行する。判定機能１３５ｄは、元画像と、Ｄｅｅｐ Ｌｅａｒｎｉｎｇに基づく第一画像処理後の画像とを学習済みモデル１３２ｂに対して入力し、出力された評価指標の数値を決定機能１３５ｅに通知する。

決定機能１３５ｅは、判定機能１３５ｄから通知された評価指標の数値に基づく混合率で、第一画像処理後の画像と第二画像処理後の画像とを混合した混合画像を出力するように決定する（ブレンド出力）。例えば、決定機能１３５ｅは、第一画像処理後の画像と第二画像処理後の画像に対して、評価指標の数値に基づく重み付け加算処理によって生成した混合画像を表示するように決定する。一例を挙げると、評価指標の出力結果が「０．５」の場合、決定機能１３５ｅは、第一画像処理後の画像及び第二画像処理後の画像に対してそれぞれ「０．５」を積算し、積算後の画像を加算した混合画像を表示するように決定する。画像処理機能１３５ｂは、第一画像処理後の画像及び第二画像処理後の画像を用いて、決定機能１３５ｅによって決定された混合比の混合画像を生成する。

制御機能１３５ａは、決定機能１３５ｅによって決定された表示用の画像を、ディスプレイ１３４に表示させるように制御する。例えば、制御機能１３５ａは、決定機能１３５ｅの決定に沿って、元画像、学習済みモデル１３２ｂの出力画像（第一画像処理後の画像）、ルールベースの画像処理後の画像（第二画像処理後の画像）、或いは、混合画像をディスプレイ１３４に表示させるように制御する。

なお、図５Ａ～図５Ｃで示した例では、元画像と学習済みモデル１３２ａの出力画像とが学習済みモデル１３２ｂの入力画像で用いられるため、画像処理機能１３５ｂが、学習済みモデル１３２ａから事前に出力画像を出力させる場合について説明したが、元画像のみが学習済みモデル１３２ｂの入力画像として用いられる場合、決定機能１３５ｅの決定の後に、画像処理機能１３５ｂが、入力画像を学習済みモデル１３２ａに入力させて出力画像を出力させる場合でもよい。

また、図５Ａ～図５Ｃで説明した各処理は、医用画像の種別や、ルールベースの画像処理の効果の度合いに応じて、切り替えて用いられる場合でもよい。すなわち、決定機能１３５ｅは、対象の医用画像の種別や、ルールベースの画像処理の効果の度合いに応じて、図５Ａ～図５Ｃで示したいずれかの処理を実行するかを決定し、決定した処理内容に基づいて、表示用の画像を決定する。

また、学習済みモデル１３２ｂの入力画像となる元画像は、どのようなフェーズの画像データが用いられる場合でもよい。例えば、学習済みモデル１３２ｂの入力画像となる元画像は、医用画像診断装置１１０によって収集された生データの場合でもよく、或いは、生データに対して前処理や、画像処理が施された画像データでもよい。

次に、画像処理装置１３０による処理の手順を説明する。図６は、本実施形態に係る画像処理装置１３０による学習時の処理の手順を示すフローチャートである。ここで、図６におけるステップＳ１０１～ステップＳ１０４は、処理回路１３５が、記憶回路１３２から学習機能１３５ｃに対応するプログラムを呼び出して実行することにより、実現されるステップである。

図６に示すように、画像処理装置１３０においては、処理回路１３５が、まず、学習が開始されたか否かを判定する（ステップＳ１０１）。ここで、学習が開始されると（ステップＳ１０１、肯定）、処理回路１３５は、学習用データの入力画像及び評価指標を取得する（ステップＳ１０２）。なお、学習が開始されるまで、処理回路１３５は待機状態である（ステップＳ１０１、否定）。

そして、処理回路１３５は、取得した入力画像及び評価指標を学習用データとした機械学習によって、学習済みモデル１３２ｂを生成して（ステップＳ１０３）、生成した学習済みモデル１３２ｂを記憶回路１３２に記憶させる（ステップＳ１０４）。

図７は、本実施形態に係る画像処理装置１３０による運用時の処理の手順を示すフローチャートである。ここで、図７におけるステップＳ２０１～ステップＳ２０３は、処理回路１３５が記憶回路１３２から判定機能１３５ｄに対応するプログラムを呼び出して実行することにより、実現されるステップである。また、図７におけるステップＳ２０４は、処理回路１３５が記憶回路１３２から決定機能１３５ｅに対応するプログラムを呼び出して実行することにより、実現されるステップである。また、図７におけるステップＳ２０５は、処理回路１３５が記憶回路１３２から制御機能１３５ａに対応するプログラムを呼び出して実行することにより、実現されるステップである。

図７に示すように、画像処理装置１３０においては、処理回路１３５が、まず、学習済みモデル１３２ａの対象となる画像が取得されたか否かを判定する（ステップＳ２０１）。ここで、画像が取得されると（ステップＳ２０１、肯定）、処理回路１３５は、取得した画像を学習済みモデル１３２ｂに対して入力させる（ステップＳ２０２）。なお、学習済みモデル１３２ａの対象となる画像が取得されるまで、処理回路１３５は待機状態である（ステップＳ２０１、否定）。

そして、処理回路１３５は、学習済みモデル１３２ｂの出力結果に基づいて、学習済みモデル１３２ａの出力画像の妥当性を判定する（ステップＳ２０３）。その後、処理回路１３５は、判定結果に基づいて、ディスプレイ１３４にて表示させる出力画像を選択して（ステップＳ２０４）、選択した出力画像をディスプレイ１３４にて表示させる。

上述したように、第１の実施形態によれば、制御機能１３５ａ、医用画像の入力に応じて処理結果を出力する学習済みモデル１３２ａに対する入力画像及び当該入力画像の入力に応じて学習済みモデル１３２ａから出力された出力結果のうち少なくとも１つを取得する。判定機能１３５ｄは、入力画像及び出力結果のうち少なくとも１つの入力に応じて出力結果の評価情報を出力する学習済みモデル１３２ｂに対して、入力画像及び出力結果のうち少なくとも１つを入力することで、出力結果の評価情報を出力させ、当該評価情報を判定する。決定機能１３５ｅは、学習済みモデル１３２ｂの出力結果に基づく判定結果に応じた処理を決定する。したがって、第１の実施形態に係る画像処理装置１３０は、学習済みモデル１３２ａのよる画像処理の妥当性を判定し、判定結果に応じた処理を実行することができ、画像に対する処理の結果の信頼性を向上させることを可能にする。

また、第１の実施形態によれば、学習済みモデル１３２ａは、入力画像の画質を変化させる画像処理後の出力画像を出力する。判定機能１３５ｄは、入力画像及び出力画像のうち少なくとも１つを学習済みモデル１３２ｂに対して入力することで出力画像における画質の評価情報を出力させ、当該評価情報を判定する。決定機能１３５ｅは、評価情報の判定結果に基づいて、入力画像に対する処理動作を決定する。したがって、第１の実施形態に係る画像処理装置１３０は、入力画像に対して適切な画像処理を施すことができ、画像に対する処理の結果の信頼性を向上させることを可能にする。

また、第１の実施形態によれば、決定機能１３５ｅは、評価情報の判定結果が所定の評価を下回る場合に、入力画像を表示用の画像として決定し、評価情報の判定結果が所定の評価を上回る場合に、入力画像を学習済みモデル１３２ａに入力することで出力される出力画像を表示用の画像として決定する。したがって、第１の実施形態に係る画像処理装置１３０は、学習済みモデル１３２ａによる画像処理の妥当性が高いと検証された場合にのみ、学習済みモデル１３２ａの出力画像を表示用の画像とすることができ、画像処理の結果の信頼性を向上させることを可能にする。

また、第１の実施形態によれば、決定機能１３５ｅは、評価情報の判定結果が所定の評価を下回る場合に、入力画像に対して学習済みモデル１３２ａにおける画像処理とは異なる画像処理を施した処理後画像を表示用の画像として決定し、評価情報の判定結果が所定の評価を上回る場合に、入力画像を学習済みモデル１３２ａに入力することで出力される出力画像を表示用の画像として決定する。したがって、第１の実施形態に係る画像処理装置１３０は、学習済みモデル１３２ａによる出力画像が妥当ではない場合でも、ルールベースの画像処理により画質を向上させた画像を提供することを可能にする。

また、第１の実施形態によれば、決定機能１３５ｅは、入力画像に対して学習済みモデル１３２ａにおける画像処理とは異なる画像処理を施した処理後画像と、入力画像を学習済みモデル１３２ａに入力することで出力される出力画像とを、評価情報の判定結果に応じた混合比率で混合した混合画像を表示用の画像として決定する。したがって、本実施形態に係る画像処理装置１３０は、評価結果に応じた表示用の画像を生成して表示することを可能にする。

また、第１の実施形態によれば、学習済みモデル１３２ｂは、出力画像における偽像の有無に関する評価情報を出力する。したがって、第１の実施形態に係る画像処理装置１３０は、画質の劣化の原因となりうる偽像を含む表示用の画像が表示されることを抑止し、信頼性の高い表示用の画像の提供を可能にする。その結果、画像処理によって生成される医用画像の診断価値を高めることを可能にする。

また、第１の実施形態によれば、学習済みモデル１３２ｂは、学習済みモデル１３２ａから出力される出力結果について複数の評価情報を出力する。判定機能１３２ｄは、学習済みモデル１３２ｂから出力された複数の評価情報を統合して、学習済みモデル１３２ａから出力される出力結果の評価情報を判定する。したがって、第１の実施形態に係る画像処理装置１３０は、複数の評価指標を考慮した判定を行うことができ、より信頼性向上させることを可能にする。

（第２の実施形態）
上述した第１の実施形態では、画像単位で偽像の有無を検証する場合について説明した。第２の実施形態では、画素ごとに偽像であるか否かを検証する場合について説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する各実施形態は、個別に実施されてもよいし、適宜に組み合わせて実施されてもよい。

第２の実施形態に係る判定機能１３５ｄは、画素ごとに、出力画像における画質の評価情報を出力させ、当該評価情報を判定する。具体的には、判定機能１３５ｄは、学習用データとして画素ごとの評価結果が用いられた学習済みモデル１３２ｂを用いることで、学習済みモデル１３２ａの出力画像における画質の評価情報を画素ごとに出力させる。図８は、第２の実施形態に係る学習済みモデル１３２ｂの一例を説明するための図である。

図８に示すように、学習機能１３５ｃは、学習済みモデル１３２ａに入力された元画像と、学習済みモデル１３２ａの出力画像である画像処理後の画像の画素ごとの評価指標とを学習用データとして機械学習することにより、学習済みモデル１３２ｂを生成する。ここで、第２の実施形態における画像処理後の画像の評価は、画像の画質であり、例えば、偽像の有無や、単純な画質に関する評価である。なお、以下では、画像処理後の画質の評価として、偽像の有無を一例に挙げて説明する。

かかる場合には、まず、制御機能１３５ａが、医用画像診断装置１１０から医用画像を取得して、記憶回路１３２に格納する。画像処理機能１３５ｂは、制御機能１３５ａによって取得された医用画像（元画像）を学習済みモデル１３２ａに入力することで、画像処理後の出力画像を出力させ、出力画像を元画像に対応付けて記憶回路１３２に格納する。

そして、制御機能１３５ａは、出力画像をディスプレイ１３４に表示させる。操作者（医師）は、入力インターフェースを介して、ディスプレイ１３４に表示された出力画像について偽像に関する評価指標を入力する。例えば、操作者は、出力画像における偽像領域を指定することで、偽像領域における画素値の情報を入力する。制御機能１３５ａは、入力された画素値の情報を画像に対応付けて、記憶回路１３２に格納する。

一例を挙げると、制御機能１３５ａは、操作者による偽像領域の指定操作に基づいて、出力画像の各画素値について偽像であるか否かを示す情報（例えば、偽像である場合を「１」、偽像ではない場合を「０」とする情報）を出力画像に対応付けて記憶回路１３２に格納する。かかる場合には、第２の実施形態に係る学習機能１３５ｃは、記憶回路１３２に記憶された出力画像の画素値と、当該画素値が偽像であるか否かを示す情報（１or０）との関係を学習することで、学習済みモデル１３２ｂを生成する。ここで生成された学習済みモデル１３２ｂは、出力画像の入力に応じて、各画素が偽像であるか否かを示す「０～１」の数値を出力する。

また、例えば、制御機能１３５ａは、操作者による出力画像に対する偽像領域の指定操作に基づいて、偽像領域における元画像と出力画像との差分値、及び、非偽像領域における元画像と出力画像との差分値を算出し、各差分値について偽像であるか否かを示す情報（例えば、偽像である場合を「１」、偽像ではない場合を「０」とする情報）を元画像及び出力画像に対応付けて記憶回路１３２に格納する。かかる場合には、学習機能１３５ｃは、記憶回路１３２に記憶された元画像と出力画像との差分値と、当該差分値が偽像であるか否かを示す情報（１or０）との関係を学習することで、学習済みモデル１３２ｂを生成する。ここで生成された学習済みモデル１３２ｂは、元画像と出力画像の入力に応じて、各画素が偽像であるか否かを示す「０～１」の数値を出力する。

また、例えば、制御機能１３５ａは、操作者による出力画像に対する偽像領域の指定操作に基づいて、出力画像の偽像領域に対応する元画像の領域の画素値と偽像領域となることを示す情報（例えば、「１」）とを対応付けた対応情報と、出力画像の非偽像領域（偽像領域以外の領域）の画素値と偽像領域とはならないことを示す情報（例えば、「０」）とを対応付けた対応情報とを、元画像に対応付けて記憶回路１３２に格納する。かかる場合には、学習機能１３５ｃは、記憶回路１３２に記憶された元画像の画素値と、当該画素値が偽像となるか否かを示す対応情報（１or０）との関係を学習することで、学習済みモデル１３２ｂを生成する。ここで生成された学習済みモデル１３２ｂは、元画像の入力に応じて、各画素が偽像となるか否かを示す「０～１」の数値を出力する。

上述したように、第２の実施形態に係る画像処理装置１３０は、学習機能１３５ｃによって、学習済みモデル１３２ａによる画像処理の処理結果の画素ごとの妥当性を検証するための学習済みモデル１３２ｂ（判定器）を生成する。そして、画像処理装置１３０は、学習済みモデル１３２ｂを用いて学習済みモデル１３２ａによる画像処理の処理結果の画素ごとの妥当性を検証する。

第２の実施形態に係る判定機能１３５ｄは、元画像及び出力画像のうち少なくとも１つを学習済みモデル１３２ｂに対して入力することで出力画像における画素ごとの画質の評価情報を出力させ、当該評価情報を判定する。具体的には、判定機能１３５ｄは、通信インターフェース１３１を介して取得された医用画像、及び／又は、取得された医用画像が学習済みモデル１３２ａに対して入力され、出力された出力画像を、記憶回路１３２に記憶された学習済みモデル１３２ｂに対して入力することで、画素ごとの評価情報を出力させる。そして、判定機能１３５ｄは、出力された画素ごとの評価情報に基づいて、出力画像の各画素が偽像であるか否かを判定する。

図９は、第２の実施形態に係る判定機能１３５ｄの処理の一例を説明するための図である。ここで、図９においては、学習済みモデル１３２ｂが、元画像の画素値と、当該画素値が偽像となるか否かを示す対応情報とを学習用データとして用いて生成されている場合について示す。

例えば、制御機能１３５ａは、通信インターフェース１３１を介して、学習済みモデル１３２ａの画像処理の対象となる医用画像を取得する。判定機能１３５ｄは、図９に示すように、ニューラルネットワークで構成された学習済みモデル１３２ｂに対して、制御機能１３５ａによって取得された医用画像（元画像）を入力させることで、単一の出力層から出力結果を出力させる。そして、判定機能１３５ｄは、出力結果を閾値と比較することで、各画素が偽像となるか否かを判定する。なお、閾値処理については、上述した第１の実施形態と同様である。

さらに、判定機能１３５ｄは、図９に示すように、画素ごとの画質の評価情報を示す評価マップを生成する。具体的には、判定機能１３５ｄは、学習済みモデル１３２ｂから出力された画素ごとの評価情報に基づく判定結果を用いて、元画像における各画素について、学習済みモデル１３２ａにおける画像処理が実施されることで、偽像となるか否かを示す評価マップを生成する。例えば、判定機能１３５ｄは、偽像と判定した画素を強調した評価マップを生成する。なお、評価マップは、元画像における偽像の画素を示したものでもよく、或いは、画像を用いずに、単に画素の位置ごとに偽像か否かを示したものでもよい。

なお、図９では、学習済みモデル１３２ｂが、元画像の画素値と、当該画素値が偽像となるか否かを示す対応情報とを学習用データとして用いて生成されている場合について説明した。しかしながら、実施形態はこれに限定されるものではなく、例えば、学習済みモデル１３２ｂが、出力画像の画素値と、当該画素値が偽像であるか否かを示す情報とを学習用データとして用いて生成されている場合でもよい。かかる場合には、判定機能１３５ｄは、学習済みモデル１３２ｂに対して、学習済みモデル１３２ａの出力画像を入力することで画素ごとの評価情報を出力させ、当該評価情報に基づいて偽像領域を示す評価マップを生成する。

また、例えば、学習済みモデル１３２ｂが、元画像と出力画像との差分値と、当該差分値が偽像であるか否かを示す情報とを学習用データとして用いて生成されている場合でもよい。かかる場合には、判定機能１３５ｄは、学習済みモデル１３２ａに入力された元画像、及び、出力画像を、学習済みモデル１３２ｂに対して入力することで画素ごとの評価情報を出力させ、当該評価情報に基づいて偽像領域を示す評価マップを生成する。

上述したように、判定機能１３５ｄが判定処理を実行すると、第２の実施形態に係る決定機能１３５ｅは、判定結果に応じた処理を決定する。具体的には、決定機能１３５ｅは、画素ごとの評価情報の判定結果に基づいて、入力画像の画素ごとに処理動作を決定する。

例えば、決定機能１３５ｅは、評価情報の判定結果が所定の評価を下回る画素について、入力画像の対応する画素を表示用の画素として決定し、評価情報の判定結果が所定の評価を上回る画素について、入力画像を学習済みモデル１３２ａに入力することで出力される出力画像の対応する画素を表示用の画素として決定する。

すなわち、決定機能１３５ｅは、判定機能１３５ｄによって偽像と判定された画素については、元画像における対応する画素の画素値を、表示用の画像に用いることを決定する。一方、判定機能１３５ｄによって偽像ではないと判定された画素について、決定機能１３５ｅは、学習済みモデル１３２ａによる画像処理後の出力画像における対応する画素の画素値を、表示用の画像に用いることを決定する。すなわち、決定機能１３５ｅは、偽像領域を元画像の画素値で示し、非偽像領域を画像処理後の画像の画素値で示した画像を、表示用の画像と決定する。

また、例えば、決定機能１３５ｅは、評価情報の判定結果が所定の評価を下回る画素について、入力画像に対して学習済みモデル１３２ａにおける画像処理とは異なる画像処理を施した処理後画像の対応する画素を表示用の画素として決定し、評価情報の判定結果が所定の評価を上回る画素について、入力画像を学習済みモデル１３２ａに入力することで出力される出力画像の対応する画素を表示用の画素として決定する。

すなわち、決定機能１３５ｅは、判定機能１３５ｄによって偽像と判定された画素については、元画像に対してルールベースの第二画像処理を施した画像における対応する画素の画素値を、表示用の画像に用いることを決定する。一方、判定機能１３５ｄによって偽像ではないと判定された画素について、決定機能１３５ｅは、学習済みモデル１３２ａによる第一画像処理後の出力画像における対応する画素の画素値を、表示用の画像に用いることを決定する。すなわち、決定機能１３５ｅは、偽像領域を第二画像処理後の画像の画素値で示し、非偽像領域を第一画像処理後の画像の画素値で示した画像を、表示用の画像と決定する。

また、例えば、決定機能１３５ｅは、入力画像に対して学習済みモデル１３２ａにおける画像処理とは異なる画像処理を施した処理後画像の各画素と、入力画像を学習済みモデル１３２ａに入力することで出力される出力画像の各画素とを、画素ごとの評価情報の判定結果に応じた混合比率で混合した混合画像を表示用の画像として決定する。

すなわち、決定機能１３５ｅは、各画素について、学習済みモデル１３２ｂから出力された偽像か否かを示す数値に基づく混合率で、第一画像処理後の画像における画素値と第二画像処理後の画像における画素値とを混合した混合画像を出力するように決定する（ブレンド出力）。例えば、決定機能１３５ｅは、第一画像処理後の画像の画素Ｐ１と、第二画像処理後の画像の画素Ｐ１に対して、評価指標の数値に基づく重み付け加算処理を行う。同様に、決定機能１３５ｅは、その他の画素についても、数値に基づく重み付け加算処理を行う。これにより、決定機能１３５ｅは、偽像か否かを示す数値に基づく混合率で、各画素の画素値を混合する。

第２の実施形態に係る制御機能１３５ａは、決定機能１３５ｅによって決定された表示用の画像を、ディスプレイ１３４に表示させるように制御する。例えば、制御機能１３５ａは、決定機能１３５ｅの決定に沿って、表示される画素値が元画像と第一画像処理後の画像とで画素ごとに切り替えられた画像、表示される画素値が第二画像処理後の画像と第一画像処理後の画像とで画素ごとに切り替えられた画像、或いは、混合画像をディスプレイ１３４に表示させるように制御する。

上述したように、第２の実施形態によれば、判定機能１３５ｄは、画素ごとに、出力画像における画質の評価情報を出力させ、当該評価情報を判定する。決定機能１３５ｅは、画素ごとの評価情報の判定結果に基づいて、入力画像の画素ごとに処理動作を決定する。したがって、第２の実施形態に係る画像処理装置１３０は、学習済みモデル１３２ａのよる画像処理の妥当性を画素ごとに判定し、判定結果に応じた処理を実行することができ、画像に対する処理の結果の信頼性をより向上させることを可能にする。

また、第２の実施形態によれば、判定機能１３５ｄは、画素ごとの画質の評価情報を示す評価マップを生成する。したがって、第２の実施形態に係る画像処理装置１３０は、学習済みモデル１３２ａのよる画像処理の妥当性を画素ごとに示した情報を提供することを可能にする。

また、第２の実施形態によれば、決定機能１３５ｅは、評価情報の判定結果が所定の評価を下回る画素について、入力画像の対応する画素を表示用の画素として決定し、評価情報の判定結果が所定の評価を上回る画素について、入力画像を学習済みモデル１３２ａに入力することで出力される出力画像の対応する画素を表示用の画素として決定する。したがって、第２の実施形態に係る画像処理装置１３０は、学習済みモデル１３２ａによる画像処理の妥当性が高いと検証された画素に対してのみ、学習済みモデル１３２ａの出力画像を表示用の画像とすることができ、画像処理の結果の信頼性を向上させることを可能にする。

また、第２の実施形態によれば、決定機能１３５ｅは、評価情報の判定結果が所定の評価を下回る画素について、入力画像に対して学習済みモデル１３２ａにおける画像処理とは異なる画像処理を施した処理後画像の対応する画素を表示用の画素として決定し、評価情報の判定結果が所定の評価を上回る画素について、入力画像を学習済みモデル１３２ａに入力することで出力される出力画像の対応する画素を表示用の画素として決定する。したがって、第２の実施形態に係る画像処理装置１３０は、学習済みモデル１３２ａによる出力画像が妥当ではない画素に対して、ルールベースの画像処理により画質を向上させた画像を提供することを可能にする。

また、第２の実施形態によれば、決定機能１３５ｅは、入力画像に対して学習済みモデル１３２ａにおける画像処理とは異なる画像処理を施した処理後画像の各画素と、入力画像を学習済みモデル１３２ａに入力することで出力される出力画像の各画素とを、画素ごとの評価情報の判定結果に応じた混合比率で混合した混合画像を表示用の画像として決定する。したがって、本実施形態に係る画像処理装置１３０は、評価結果に応じた表示用の画像を画素ごとに生成して表示することを可能にする。

（第３の実施形態）
上述した第１及び第２の実施形態では、画像処理後の画像の評価が、画像の画質（偽像の有無など）である場合について説明した。第３の実施形態では、画像処理後の画像の評価がセグメンテーションの結果である場合について説明する。なお、以下では、上述した実施形態と異なる点を主に説明することとし、既に説明した内容と共通する点については詳細な説明を省略する。また、以下で説明する各実施形態は、個別に実施されてもよいし、適宜に組み合わせて実施されてもよい。

第３の実施形態に係る学習済みモデル１３２ａは、入力画像の領域を区分させる画像処理後の処理結果を出力する学習済みモデルである。図１０は、第３の実施形態に係る学習済みモデル１３２ａの一例を説明するための図である。例えば、学習済みモデル１３２ａは、図１０に示すように、入力画像の入力に応じて、画像内での絞りに対応する領域と、有感領域とを区分するセグメンテーション結果を出力する。

第３の実施形態に係る画像処理機能１３５ｂは、医用画像診断装置１１０から取得された医用画像を、上述した学習済みモデル１３２ａに対して入力させることで、医用画像における絞りに対応する領域と有感領域とのセグメンテーション結果を出力させる。

また、画像処理機能１３５ｂは、医用画像診断装置１１０から取得された医用画像に対して、機械学習を用いない画像処理を実行することで、医用画像における絞りに対応する領域と有感領域とのセグメンテーションを実行することができる。例えば、画像処理機能１３５ｂは、医用画像が収集された際の医用画像診断装置１１０のシステムの絞り開度の情報を取得する。そして、画像処理機能１３５ｂは、取得した絞り開度の情報に基づいて、医用画像における絞りに対応する領域を抽出することで、絞りに対応する領域と有感領域とを区分するセグメンテーションを実行する。

第３の実施形態に係る学習機能１３５ｃは、学習済みモデル１３２ａに対して入力された医用画像と、当該医用画像の入力に応じて学習済みモデル１３２ａから出力されたセグメンテーションの結果との関係を学習することにより、セグメンテーションの妥当性を検証するための評価情報を出力するように機能付けられた学習済みモデル１３２ｂを生成する。ここで、本実施形態では、画像処理装置１３０の処理回路１３５が学習機能１３５ｃを実行することで、学習済みモデル１３２ｂを生成する場合について説明するが、実施形態はこれに限定されるものではない。例えば、他の情報処理装置が以下で説明する処理を実行することで、第３の実施形態に係る学習済みモデル１３２ｂを生成し、生成された学習済みモデル１３２ｂが、記憶回路１３２に格納される場合でもよい。

図１１は、第３の実施形態に係る学習済みモデル１３２ｂの一例を説明するための図である。図１１に示すように、学習機能１３５ｃは、学習済みモデル１３２ａに入力された入力画像、及び／又は、画像処理結果（セグメンテーション結果）と、学習済みモデル１３２ａの出力である画像処理後の評価指標（セグメンテーション結果の評価）とを学習用データとして機械学習することにより、学習済みモデル１３２ｂを生成する。

上記した学習済みモデル１３２ｂを生成する場合、まず、制御機能１３５ａが、医用画像診断装置１１０から医用画像を取得して、記憶回路１３２に格納する。画像処理機能１３５ｂは、制御機能１３５ａによって取得された医用画像を学習済みモデル１３２ａに入力することで、画像処理後のセグメンテーション結果を出力させ、セグメンテーション結果を入力画像に対応付けて記憶回路１３２に格納する。

そして、制御機能１３５ａは、セグメンテーション結果をディスプレイ１３４に表示させる。操作者（医師）は、入力インターフェースを介して、ディスプレイ１３４に表示されたセグメンテーション結果について評価指標を入力する。例えば、操作者は、セグメンテーション結果の正誤について、ＤＩＣＥＳＣＯＲＥなどで示したＧｒｏｕｎｄ Ｔｒｕｔｈとの合致率を評価指標として入力する。操作者によって評価指標が入力されると、制御機能１３５ａは、入力された評価指標を入力画像、及び／又は、画像処理結果（セグメンテーション結果）に対応付けて、記憶回路１３２に格納する。

学習機能１３５ｃは、記憶回路１３２に記憶された入力画像と評価指標との関係を学習することで、学習済みモデル１３２ｂを生成する。例えば、学習機能１３５ｃは、入力画像、及び／又は、画像処理結果（セグメンテーション結果）と、これらに対応付けられた合致率とを学習用データとして機械学習エンジンに入力することによって、機械学習を行う。

このような機械学習の結果として、学習機能１３５ｃは、学習済みモデル１３２ａに入力される入力画像の入力に対して、セグメンテーション結果とＧｒｏｕｎｄ Ｔｒｕｔｈとの合致率を出力する学習済みモデル１３２ｂを生成する。そして、学習機能１３５ｃは、生成した学習済みモデル１３２ｂを記憶回路１３２に記憶させる。

第３の実施形態に係る判定機能１３５ｄは、入力画像及び画像処理後の処理結果のうち少なくとも１つを学習済みモデル１３２ｂに対して入力することで画像処理後の処理結果における領域区分の評価情報を出力させ、当該評価情報を判定する。一例を挙げると、まず、制御機能１３５ａは、通信インターフェース１３１を介して、学習済みモデル１３２ａによるセグメンテーションの対象となる医用画像を取得する。判定機能１３５ｄは、学習済みモデル１３２ｂに対して、制御機能１３５ａによって取得された医用画像（入力画像）を入力させることで、出力結果である合致率を出力させる。

そして、判定機能１３５ｄは、出力された合致率に基づいて、入力画像を学習済みモデル１３２ａに入力させた場合のセグメンテーションの結果がＯＫであるか、或いは、ＮＧであるかを判定する。例えば、合致率が閾値を上回った場合、判定機能１３５ｄは、セグメンテーション結果がＯＫであると判定する。一方、合致率が閾値を下回った場合、判定機能１３５ｄは、セグメンテーション結果がＮＧであると判定する。

上述したように、判定機能１３５ｄが判定処理を実行すると、第３の実施形態に係る決定機能１３５ｅは、判定結果に応じた処理を決定する。例えば、決定機能１３５ｅは、評価情報の判定結果が所定の評価を下回る場合に、入力画像に対して学習済みモデル１３２ａにおける領域区分とは異なる処理により領域区分を施した処理結果を用いることを決定し、評価情報の判定結果が所定の評価を上回る場合に、入力画像を学習済みモデル１３２ａに入力することで出力される処理結果を用いることを決定する。図１２は、第３の実施形態に係る決定機能１３５ｅの処理の一例を説明するための図である。ここで、図１２においては、入力画像及び画像処理後のセグメンテーション結果が学習用データとして用いられた学習済みモデル１３２ｂの出力結果に基づく決定処理の例を示す。

例えば、図１２に示すように、判定機能１３５ｄが、入力画像と、第一画像処理後の画セグメンテーション結果とを学習済みモデル１３２ｂに対して入力し、出力された評価指標に基づいて、セグメンテーション結果の正誤の判定を行う。

ここで、判定機能１３５ｄによって、第一画像処理後のセグメンテーション結果がＯＫであると判定されると、決定機能１３５ｅは、図１２に示すように、第一画像処理後の絞り位置を採用するように決定する。一方、判定機能１３５ｄによって、第一画像処理後のセグメンテーション結果がＮＧであると判定されると、決定機能１３５ｅは、図１２に示すように、入力画像に対してルールベースの第二画像処理を施したセグメンテーション結果の絞り位置を採用するように決定する。すなわち、画像処理機能１３５ｂは、決定機能１３５ｅによって第二画像処理後のセグメンテーション結果を出力するように決定されると、入力画像に対してルールベースの第二画像処理を実行する。

上述したように、第３の実施形態によれば、学習済みモデル１３２ａは、入力画像の領域を区分させる画像処理後の処理結果を出力する。判定機能１３５ｄは、入力画像及び画像処理後の処理結果のうち少なくとも１つを学習済みモデル１３２ｂに対して入力することで画像処理後の処理結果における領域区分の評価情報を出力させ、当該評価情報を判定する。決定機能１３５ｅは、評価情報の判定結果に基づいて、入力画像に対する処理動作を決定する。したがって、第３の実施形態に係る画像処理装置１３０は、学習済みモデル１３２ａのよるセグメンテーションの妥当性を判定し、判定結果に応じた処理を実行することができ、画像に対するセグメンテーション処理の結果の信頼性を向上させることを可能にする。

また、第３の実施形態によれば、決定機能１３５ｅは、評価情報の判定結果が所定の評価を下回る場合に、入力画像に対して学習済みモデル１３２ａにおける領域区分とは異なる処理により領域区分を施した処理結果を用いることを決定し、評価情報の判定結果が所定の評価を上回る場合に、入力画像を学習済みモデル１３２ａに入力することで出力される処理結果を用いることを決定する。したがって、第３の実施形態に係る画像処理装置１３０は、学習済みモデル１３２ａのよるセグメンテーション結果の妥当性に応じた処理を実行することができ、画像に対するセグメンテーション処理の結果の信頼性をより向上させることを可能にする。

（その他の実施形態）
さて、これまで第１～第３の実施形態について説明したが、上述した第１～第３の実施形態以外にも、種々の異なる形態にて実施されてよいものである。

上述した第１の実施形態では、画像処理後の画質の評価として、偽像の有無を一例に挙げて説明したが、実施形態はこれに限定されるものではない。例えば、画像処理後の画質の評価として、単純な画質に関する評価が用いられる場合でもよい。かかる場合には、例えば、制御機能１３５ａが、医用画像診断装置１１０から医用画像を取得して、記憶回路１３２に格納する。画像処理機能１３５ｂは、制御機能１３５ａによって取得された医用画像（元画像）を学習済みモデル１３２ａに入力することで、画像処理後の出力画像を出力させ、出力画像を元画像に対応付けて記憶回路１３２に格納する。

そして、制御機能１３５ａは、出力画像をディスプレイ１３４に表示させる。操作者（医師）は、入力インターフェースを介して、ディスプレイ１３４に表示された出力画像について画質を評価する評価指標を入力する。例えば、操作者は、出力画像の画質を５段階の数値で示した評価指標を入力する。操作者によって評価指標が入力されると、制御機能１３５ａは、入力された評価指標を画像に対応付けて、記憶回路１３２に格納する。

学習機能１３５ｃは、画質の評価指標と、画像とを学習用データとして用い、学習済みモデル１３２ｂを生成する。ここで、学習用データとして用いられる画像は、偽像と例と同様に、元画像及び画像処理後の画像のうち少なくとも１つである。判定機能１３５ｄは、上述したように生成された学習済みモデル１３２ｂを用いて、判定処理を実行する。決定機能１３５ｅは、判定結果に応じて元画像に対する処理を決定する。なお、単純な画質に関する妥当性を検証する場合においても、判定機能１３５ｄ、及び、決定機能１３５ｅは、偽像を対象として説明した判定処理及び決定処理と同様の処理を実行することができる。

また、上述した実施形態では、画像処理装置１３０が各処理を実行する場合の例を説明したが、実施形態はこれに限定されるものではない。すなわち、医用画像診断装置１１０が、上述した各処理を実行する場合でもよい。かかる場合には、医用画像診断装置１１０に含まれる記憶回路が、上述した各機能に対応するプログラムを記憶する。そして、医用画像診断装置１１０に含まれる処理回路が、記憶回路から各プログラムを読み出して実行することで、各プログラムに対応する機能を実現する。すなわち、医用画像診断装置１１０に含まれる処理回路が、収集した医用画像に対して、画像処理の妥当性の検証を行う。

また、上述した実施形態では、画像処理装置１３０（或いは、医用画像診断装置１１０）が、学習時の処理及び運用時の処理の両方を行う場合の例を説明したが、実施形態はこれに限られるものではない。例えば、画像処理装置１３０（或いは、医用画像診断装置１１０）が有する機能のうち、学習済みモデルを生成する機能が、医療機関とは別の場所に設置されてネットワーク２００を介して接続された他の装置（以下、モデル生成装置と呼ぶ）に実装されていてもよい。

かかる場合には、例えば、モデル生成装置が、定期的に、ネットワーク２００を介して、各医用機関に設置された医用画像診断装置１１０から医用画像を収集して、学習済みモデルを生成又は更新する。そして、画像処理装置１３０が、モデル生成装置から最新の学習済みモデルを取得して、処理を実行する。

この場合に、例えば、画像処理システム１００は、画像処理装置１３０（或いは、医用画像診断装置１１０）をクライアントとし、モデル生成装置をサーバとしたクライアントサーバシステムとして実現される。より具体的には、例えば、画像処理システム１００（或いは、医用画像診断装置１１０）は、インターネット等を介して、モデル生成装置と画像処理装置１３０（或いは、医用画像診断装置１１０）とを接続したクラウドシステムとして実現される。この場合に、例えば、画像処理システム１００は、クライアントである画像処理装置１３０（或いは、医用画像診断装置１１０）には必要最小限の処理を実行させ、サーバであるモデル生成装置に大部分の処理を実行させるシンクライアント（Thin Client）の形態で実現される。

また、上述した各実施形態では、本明細書における取得部、処理部、学習部、判定部及び決定部を、それぞれ、処理回路１３５の制御機能１３５ａ、画像処理機能１３５ｂ、学習機能１３５ｃ、判定機能１３５ｄ及び決定機能１３５ｅによって実現する場合の例を説明したが、実施形態はこれに限られるものではない。例えば、本明細書における取得部、処理部、学習部、判定部及び決定部は、実施形態で述べた制御機能１３５ａ、画像処理機能１３５ｂ、学習機能１３５ｃ、判定機能１３５ｄ及び決定機能１３５ｅによって実現する他にも、ハードウェアのみ、又は、ハードウェアとソフトウェアとの混合によって同機能を実現するものであっても構わない。

上述したように、処理回路１３５がプロセッサによって実現される場合には、処理回路１３５が有する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路１３２に記憶されている。そして、処理回路１３５は、記憶回路１３２から各プログラムを読み出して実行することで、各プログラムに対応する機能を実現する。換言すると、各プログラムを読み出した状態の処理回路１３５は、図１の処理回路１３５に示された各機能を有することとなる。なお、図１では、単一のプロセッサによって各処理機能が実現されるものとして説明したが、複数の独立したプロセッサを組み合わせて処理回路を構成し、各プロセッサがプログラムを実行することにより機能を実現するものとしても構わない。また、処理回路１３５が有する処理機能は、単一又は複数の処理回路に適宜に分散又は統合されて実現されてもよい。また、図１に示す例では、単一の記憶回路１３２が各処理機能に対応するプログラムを記憶するものとして説明したが、複数の記憶回路を分散して配置して、処理回路が個別の記憶回路から対応するプログラムを読み出す構成としても構わない。

なお、上述した説明で用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。プロセッサは、記憶回路１３２に保存されたプログラムを読み出して実行することで、機能を実現する。なお、記憶回路１３２にプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合は、プロセッサは回路内に組み込まれたプログラムを読み出して実行することで機能を実現する。また、本実施形態のプロセッサは、単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。

ここで、プロセッサによって実行されるプログラム（画像処理プログラム）は、ＲＯＭ（Read Only Memory）や記憶回路等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ（Compact Disk）－ＲＯＭ、ＦＤ（Flexible Disk）、ＣＤ－Ｒ（Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に保存され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。例えば、このプログラムは、上述した各機能部を含むモジュールで構成される。実際のハードウェアとしては、ＣＰＵが、ＲＯＭ等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。

以上説明した少なくとも１つの実施形態によれば、画像に対する処理の結果の信頼性を向上させることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１００ 画像処理システム
１３０ 画像処理装置
１３２ 記憶回路
１３５ 処理回路
１３５ａ 制御機能
１３５ｂ 画像処理機能
１３５ｃ 学習機能
１３５ｄ 判定機能
１３５ｅ 決定機能

Claims (19)

1. 医用画像の入力に応じて処理結果を出力する第１の学習済みモデルに対する入力画像及び当該入力画像の入力に応じて前記第１の学習済みモデルから出力された処理結果のうち少なくとも１つを取得する取得部と、
   前記第１の学習済みモデルに対する入力画像と当該入力画像の入力に応じて前記第１の学習済みモデルから出力された処理結果の精度を評価した評価情報とを学習データとして学習され、入力画像の入力に応じて前記第１の学習済みモデルによる処理結果の精度を評価した評価情報を出力する第２の学習済みモデルに対して、前記取得部によって取得された入力画像を入力する、又は、入力画像の入力に応じて前記第１の学習済みモデルから出力された処理結果と当該処理結果の精度を評価した評価情報とを学習データとして学習され、前記第１の学習済みモデルの処理結果の入力に応じて前記第１の学習済みモデルによる処理結果の精度を評価した評価情報を出力する第３の学習済みモデルに対して、前記取得部によって取得された処理結果を入力する、又は、前記第１の学習済みモデルに対する入力画像と当該入力画像の入力に応じて前記第１の学習済みモデルから出力された処理結果と当該処理結果の精度を評価した評価情報とを学習データとして学習され、入力画像及び前記第１の学習済みモデルの処理結果の入力に応じて第１の学習済みモデルによる処理結果の精度を評価した評価情報を出力する第４の学習済みモデルに対して、前記取得部によって取得された入力画像及び処理結果を入力することで、前記取得部によって取得された処理結果の精度を評価する評価情報を出力させ、当該評価情報を判定する判定部と、
   前記第２の学習済みモデル、前記第３の学習済みモデル又は前記第４の学習済みモデルの出力結果に基づく判定結果に応じた処理を決定する決定部と、
   を備える、画像処理装置。
2. 前記第１の学習済みモデルは、前記入力画像の画質を変化させる画像処理後の出力画像を出力し、
   前記判定部は、前記入力画像及び前記出力画像のうち少なくとも１つを前記第２の学習済みモデル、前記第３の学習済みモデル又は前記第４の学習済みモデルに対して入力することで前記出力画像における画質の評価情報を出力させ、当該評価情報を判定し、
   前記決定部は、前記評価情報の判定結果に基づいて、前記入力画像に対する処理動作を決定する、請求項１に記載の画像処理装置。
3. 前記決定部は、前記評価情報の判定結果が所定の評価を下回る場合に、前記取得部によって取得された前記入力画像を表示用の画像として決定し、前記評価情報の判定結果が前記所定の評価を上回る場合に、前記取得部によって取得された前記入力画像を前記第１の学習済みモデルに入力することで出力された出力画像を表示用の画像として決定する、請求項２に記載の画像処理装置。
4. 前記決定部は、前記評価情報の判定結果が所定の評価を下回る場合に、前記取得部によって取得された前記入力画像に対して前記第１の学習済みモデルにおける画像処理とは異なる画像処理を施した処理後画像を表示用の画像として決定し、前記評価情報の判定結果が前記所定の評価を上回る場合に、前記取得部によって取得された前記入力画像を前記第１の学習済みモデルに入力することで出力された出力画像を表示用の画像として決定する、請求項２に記載の画像処理装置。
5. 前記決定部は、前記取得部によって取得された前記入力画像に対して前記第１の学習済みモデルにおける画像処理とは異なる画像処理を施した処理後画像と、前記取得部によって取得された前記入力画像を前記第１の学習済みモデルに入力することで出力された出力画像とを、前記評価情報の判定結果に応じた混合比率で混合した混合画像を表示用の画像として決定する、請求項２に記載の画像処理装置。
6. 前記判定部は、前記出力画像の画素ごとに、前記入力画像の画質を変化させる画像処理の精度を評価する評価情報を出力させ、当該評価情報を判定し、
   前記決定部は、前記画素ごとの前記評価情報の判定結果に基づいて、前記入力画像の画素ごとに処理動作を決定する、請求項２に記載の画像処理装置。
7. 前記判定部は、前記画素ごとの評価情報を示す評価マップを生成する、請求項６に記載の画像処理装置。
8. 前記決定部は、前記評価情報の判定結果が所定の評価を下回る画素について、前記取得部によって取得された前記入力画像の対応する画素を表示用の画素として決定し、前記評価情報の判定結果が前記所定の評価を上回る画素について、前記取得部によって取得された前記入力画像を前記第１の学習済みモデルに入力することで出力された出力画像の対応する画素を表示用の画素として決定する、請求項６又は７に記載の画像処理装置。
9. 前記決定部は、前記評価情報の判定結果が所定の評価を下回る画素について、前記取得部によって取得された前記入力画像に対して前記第１の学習済みモデルにおける画像処理とは異なる画像処理を施した処理後画像の対応する画素を表示用の画素として決定し、前記評価情報の判定結果が前記所定の評価を上回る画素について、前記取得部によって取得された前記入力画像を前記第１の学習済みモデルに入力することで出力された出力画像の対応する画素を表示用の画素として決定する、請求項６又は７に記載の画像処理装置。
10. 前記決定部は、前記取得部によって取得された前記入力画像に対して前記第１の学習済みモデルにおける画像処理とは異なる画像処理を施した処理後画像の各画素と、前記取得部によって取得された前記入力画像を前記第１の学習済みモデルに入力することで出力された出力画像の各画素とを、前記画素ごとの前記評価情報の判定結果に応じた混合比率で混合した混合画像を表示用の画像として決定する、請求項６又は７に記載の画像処理装置。
11. 前記第２の学習済みモデル、前記第３の学習済みモデル及び前記第４の学習済みモデルは、前記出力画像における偽像の有無に関する評価情報を出力する、請求項２～１０のいずれか１つに記載の画像処理装置。
12. 前記第１の学習済みモデルは、前記入力画像の領域を分類してグループ分けさせる画像処理後の処理結果を出力し、
    前記判定部は、前記入力画像及び前記画像処理後の処理結果のうち少なくとも１つを前記第２の学習済みモデル、前記第３の学習済みモデル又は前記第４の学習済みモデルに対して入力することで前記画像処理後の処理結果における分類の精度を評価する評価情報を出力させ、当該評価情報を判定し、
    前記決定部は、前記評価情報の判定結果に基づいて、前記入力画像に対する処理動作を決定する、請求項１に記載の画像処理装置。
13. 前記決定部は、前記評価情報の判定結果が所定の評価を下回る場合に、前記取得部によって取得された前記入力画像に対して前記第１の学習済みモデルによる画像処理とは異なる処理により領域の分類を施した処理結果を用いることを決定し、前記評価情報の判定結果が前記所定の評価を上回る場合に、前記取得部によって取得された前記入力画像を前記第１の学習済みモデルに入力することで出力された処理結果を用いることを決定する、請求項１２に記載の画像処理装置。
14. 前記第２の学習済みモデル、前記第３の学習済みモデル及び前記第４の学習済みモデルは、前記第１の学習済みモデルから出力される処理結果について複数の評価情報を出力し、
    前記判定部は、前記第２の学習済みモデル、前記第３の学習済みモデル又は前記第４の学習済みモデルから出力された複数の評価情報を統合して、前記第１の学習済みモデルから出力される処理結果の評価情報を判定する、請求項１～１３のいずれか１つに記載の画像処理装置。
15. 前記第２の学習済みモデル、前記第３の学習済みモデル及び前記第４の学習済みモデルを生成する学習部をさらに備える、請求項１～１４のいずれか１つに記載の画像処理装置。
16. 前記第１の学習済みモデルに対して前記入力画像を入力することで、前記処理結果を出力させる処理部をさらに備える、請求項１～１５のいずれか１つに記載の画像処理装置。
17. 前記評価情報は、少なくとも偽像が含まれる確率を含む、請求項１１に記載の画像処理装置。
18. 医用画像の入力に応じて処理結果を出力する第１の学習済みモデルに対して入力される入力画像を収集する収集部と、
    前記第１の学習済みモデルに対する入力画像と当該入力画像の入力に応じて前記第１の学習済みモデルから出力された処理結果の精度を評価した評価情報とを学習データとして学習され、入力画像の入力に応じて前記第１の学習済みモデルによる処理結果の精度を評価した評価情報を出力する第２の学習済みモデルに対して、前記収集部によって収集された入力画像を入力する、又は、入力画像の入力に応じて前記第１の学習済みモデルから出力された処理結果と当該処理結果の精度を評価した評価情報とを学習データとして学習され、前記第１の学習済みモデルの処理結果の入力に応じて前記第１の学習済みモデルによる処理結果の精度を評価した評価情報を出力する第３の学習済みモデルに対して、前記収集部によって収集された入力画像の入力に応じて前記第１の学習済みモデルから出力された処理結果を入力する、又は、前記第１の学習済みモデルに対する入力画像と当該入力画像の入力に応じて前記第１の学習済みモデルから出力された処理結果と当該処理結果の精度を評価した評価情報とを学習データとして学習され、入力画像及び前記第１の学習済みモデルの処理結果の入力に応じて第１の学習済みモデルによる処理結果の精度を評価した評価情報を出力する第４の学習済みモデルに対して、前記収集部によって収集された入力画像及び当該入力画像の入力に応じて前記第１の学習済みモデルから出力された処理結果を入力することで、前記収集部によって収集された入力画像の入力に応じて前記第１の学習済みモデルから出力された処理結果の精度を評価する評価情報を出力させ、当該評価情報を判定する判定部と、
    前記第２の学習済みモデル、前記第３の学習済みモデル又は前記第４の学習済みモデルの出力結果に基づく判定結果に応じた処理を決定する決定部と、
    を備える、医用画像診断装置。
19. 医用画像の入力に応じて処理結果を出力する第１の学習済みモデルに対する入力画像及び当該入力画像の入力に応じて前記第１の学習済みモデルから出力された出力結果のうち少なくとも１つを取得する取得機能と、
    前記第１の学習済みモデルに対する入力画像と当該入力画像の入力に応じて前記第１の学習済みモデルから出力された処理結果の精度を評価した評価情報とを学習データとして学習され、入力画像の入力に応じて前記第１の学習済みモデルによる処理結果の精度を評価した評価情報を出力する第２の学習済みモデルに対して、前記取得機能によって取得された入力画像を入力する、又は、入力画像の入力に応じて前記第１の学習済みモデルから出力された処理結果と当該処理結果の精度を評価した評価情報とを学習データとして学習され、前記第１の学習済みモデルの処理結果の入力に応じて前記第１の学習済みモデルによる処理結果の精度を評価した評価情報を出力する第３の学習済みモデルに対して、前記取得機能によって取得された処理結果を入力する、又は、前記第１の学習済みモデルに対する入力画像と当該入力画像の入力に応じて前記第１の学習済みモデルから出力された処理結果と当該処理結果の精度を評価した評価情報とを学習データとして学習され、入力画像及び前記第１の学習済みモデルの処理結果の入力に応じて第１の学習済みモデルによる処理結果の精度を評価した評価情報を出力する第４の学習済みモデルに対して、前記取得機能によって取得された入力画像及び処理結果を入力することで、前記取得機能によって取得された処理結果の精度を評価する評価情報を出力させ、当該評価情報を判定する判定機能と、
    前記第２の学習済みモデル、前記第３の学習済みモデル又は前記第４の学習済みモデルの出力結果に基づく判定結果に応じた処理を決定する決定機能と、
    をコンピュータに実現させるための画像処理プログラム。

Images