JP7413011B2 - 医用情報処理装置 - Google Patents

Description

本発明の実施形態は、医用情報処理装置に関する。

従来、既存の学習済みモデルに対して再学習を行うことで、新たに学習済みモデルを生成する転移学習等の技術が開示されている。このような転移学習等を行うことで、少ないデータで精度の高い学習済みモデルを生成することができる。

しかしながら、既存の学習済みモデルのうち、どの学習済みモデルに対して再学習を行うのが効率的であるのかを判断することは困難である。そのため、既存の学習済みモデルそれぞれの再学習に必要なデータ数等のコストを提示可能な技術が求められている。

特開２０１６－１４３０９４号公報

本発明が解決しようとする課題は、再学習に必要なデータ数を出力することである。

実施形態の医用情報処理装置は、登録部と、第１算出部と、第２算出部と、出力部とを備える。前記登録部は、新たに生成する第１学習済みモデルに関連する第１関連情報を登録する。前記第１算出部は、既存の第２学習済みモデルに関連する第２関連情報と、前記第１関連情報との類似度を複数の前記第２学習済みモデル毎に算出する。前記第２算出部は、複数の前記第２学習済みモデルのそれぞれに対する再学習により、精度が目標値に達する前記第１学習済みモデルを生成する場合に、複数の前記第２学習済みモデル毎の前記類似度と、前記第１学習済みモデルが前記精度になるまでに必要な前記第１関連情報のデータ数との相関関係に基づいて、複数の前記第２学習済みモデル毎に前記データ数を算出する。前記出力部は、複数の前記第２学習済みモデル毎に前記データ数を出力する。

図１は、本実施形態に係る医用情報処理システムの構成の一例を示す図である。 図２は、本実施形態に係る医用情報処理装置の構成の一例を示すブロック図である。 図３は、学習済みモデルテーブルのデータ構成の一例を示す図である。 図４は、データ数の算出方法の一例を示す図である。 図５は、必要数の一覧の一例を示す図である。 図６は、相関関係を示すグラフの一例を示す図である。 図７は、本実施形態に係る医用情報処理装置が実行する出力処理の処理手順を示すフローチャートである。 図８は、第２の実施形態にかかる類似度の算出対象となるファントム画像データとの一例を示す図である。 図９は、第２の実施形態にかかる医用情報処理装置の構成の一例を示すブロック図である。 図１０は、第３の実施形態にかかる医用情報処理装置の構成の一例を示すブロック図である。 図１１は、スコアテーブルのデータ構成の一例を示す図である。 図１２は、第４の実施形態にかかる医用情報処理装置の構成の一例を示すブロック図である。 図１３は、データ数と、類似度との相関関係を精度毎に示したグラフの一例を示す図である。 図１４は、第５の実施形態に係る医用情報処理装置の構成の一例を示すブロック図である。

以下、添付図面を参照して、医用情報処理装置の実施形態について詳細に説明する。なお、本願に係る医用情報処理装置は、以下に示す実施形態によって限定されるものではない。

図１は、本実施形態に係る医用情報処理システム１の構成の一例を示す図である。図１に示すように、医用情報処理システム１は、モダリティ１０、ＰＡＣＳ（Picture Archiving and Communication System）２０、及び医用情報処理装置３０を備えている。また、各システム及び各装置は、ネットワークを介して通信可能に接続されている。なお、図１に示す構成は、一例であり、各システム及び各装置の台数は任意に変更してもよい。また、図１に示されていない装置がネットワークに接続されていてもよい。

モダリティ１０は、被検体の画像データを生成する。例えば、モダリティ１０は、ＭＲＩ（Magnetic Resonance Imaging）装置、Ｘ線ＣＴ（Computed Tomography）装置、Ｘ線診断装置、超音波診断装置、ＰＥＴ（Positron Emission Tomography）装置、ＳＰＥＣＴ（Single Photon Emission Computed Tomography）装置等である。そして、モダリティ１０は、生成した画像データをＰＡＣＳ２０に送信する。

ＰＡＣＳ２０は、モダリティ１０が生成した３次元情報を保管するサーバ装置である。例えば、ＰＡＣＳ２０は、サーバやワークステーション等のコンピュータ機器によって実現される。更に詳しくは、ＰＡＣＳ２０は、モダリティ１０から３次元情報を受信する。そして、ＰＡＣＳ２０は、３次元情報を自装置の記憶回路等に記憶する。

医用情報処理装置３０は、既存の学習済みモデルに対して再学習を行う転移学習等において、必要になるデータ数を出力する。例えば、医用情報処理装置３０は、サーバやワークステーション等のコンピュータ機器によって実現される。更に詳しくは、医用情報処理装置３０は、既存の学習済みモデルに関連した第１関連情報と、新たに生成する学習済みモデルに関連した第２関連情報との類似度を算出する。医用情報処理装置３０は、類似度に基づいて、新たな学習済みモデルの生成に必要なデータ数を算出する。そして、医用情報処理装置３０は、既存の学習済みモデルのそれぞれについて、新たな学習済みモデルの生成に必要なデータ数を出力する。

次に、本実施形態に係る医用情報処理装置３０の構成について説明する。

図２は、本実施形態に係る医用情報処理装置３０の構成の一例を示すブロック図である。図２に示すように、本実施形態に係る医用情報処理装置３０は、ネットワークインタフェース３１０と、記憶回路３２０と、入力インタフェース３３０と、ディスプレイ３４０と、処理回路３５０とを有する。

ネットワークインタフェース３１０は、処理回路３５０に接続されており、ネットワークを介して、モダリティ１０、及びＰＡＣＳ２０との間で行われる各種データの伝送及び通信を制御する。更に詳しくは、ネットワークインタフェース３１０は、各システムから各種の情報を受信し、受信した情報を処理回路３５０に出力する。例えば、ネットワークインタフェース３１０は、ネットワークカードやネットワークアダプタ、ＮＩＣ（Network Interface Controller）等によって実現される。

記憶回路３２０は、処理回路３５０に接続されており、各種データを記憶する。例えば、記憶回路３２０は、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリ素子や、ハードディスク、光ディスク等によって実現される。

記憶回路３２０は、学習済みモデルテーブル３２１を記憶する。図３は、学習済みモデルテーブル３２１のデータ構成の一例を示す図である。学習済みモデルテーブル３２１は、学習済みモデルと、分類と、複数の学習データセットとが対応づけられた学習済みモデル情報である。学習済みモデルは、既存の学習済みモデルである。分類は、対応づけられた既存の学習済みモデルの深層学習における分類を示す情報である。分類には、例えば、画像分類（classification）、画像検出（detection）、及び画像セグメンテーション（segmentation）が含まれる。画像分類は、画像の含まれる物体を識別するものである。画像検出は、画像の含まれる物体の識別と、識別した物体が画像上の何処にあるのかを識別するものである。画像セグメンテーションは、ピクセル単位で画像に含まれる物体を識別するものである。

学習データセットは、対応付けられた既存の学習済みモデルにおいて、学習に使用されたデータである。学習データセットには、学習データと、ラベルデータとが含まれる。学習データは、既存の学習済みモデルにおいて、学習に使用されたデータである。例えば、学習データは、モダリティ１０等が生成した画像データである。なお、学習データは、画像データに限らず、他の形式のデータであってもよい。ラベルデータは、学習データに含まれる物品を識別するための情報である。分類が画像分類の場合、ラベルデータは、画像の含まれる物体を示す情報である。分類が画像検出の場合、ラベルデータは、画像の含まれる物体を示す情報と、物体の位置を示す座標等の情報とを含んでいる。分類が画像セグメンテーションの場合、ラベルデータは、画像の含まれる物体をピクセル単位で示した情報である。なお、本実施形態では、学習データセットには、学習データと、ラベルデータとが含まれる場合を例に説明する。しかしながら、学習データセットには、ラベルデータは含まれていなくてもよい。

入力インタフェース３３０は、使用者から受け付けた入力操作を電気信号に変換して処理回路３５０に出力する。例えば、入力インタフェース３３０は、トラックボール、スイッチボタン、マウス、キーボード、操作面へ触れることで入力操作を行うタッチパッド、表示画面とタッチパッドとが一体化されたタッチスクリーン、光学センサを用いた非接触入力インタフェース、音声入力インタフェース等の入力装置によって実現される。なお、入力インタフェース３３０は、医用情報処理装置３０とは別体に設けられた操作装置から操作に対応する電子信号を受け付ける接続インタフェース等の制御回路であってもよい。

ディスプレイ３４０は、処理回路３５０から出力される各種情報や各種画像を表示する。例えば、ディスプレイ３４０は、有機ＥＬ（Electro Luminescence）モニタや、液晶モニタや、ＣＲＴ（Cathode Ray Tube）モニタや、タッチパネル等の表示装置によって実現される。例えば、ディスプレイ３４０は、使用者の指示を受け付けるためのＧＵＩ（Graphical User Interface）や、各種の表示用の画像データ、処理回路３５０による各種の処理結果を表示する。

処理回路３５０は、医用情報処理装置３０が有する各構成要素を制御する。例えば、処理回路３５０は、プロセッサによって実現される。さらに詳しくは、本実施形態に係る処理回路３５０は、登録機能３５１、分類指定機能３５２、抽出機能３５３、類似度算出機能３５４、データ算出機能３５５、推定機能３５６、及び出力機能３５７を有する。

ここで、例えば、図２に示す処理回路３５０の構成要素である登録機能３５１、分類指定機能３５２、抽出機能３５３、類似度算出機能３５４、データ算出機能３５５、推定機能３５６、及び出力機能３５７が実行する各処理機能は、コンピュータによって実行可能なプログラムの形態で記憶回路３２０に記憶されている。処理回路３５０は、各プログラムを記憶回路３２０から読み出し、実行することで各プログラムに対応する機能を実現するプロセッサである。換言すると、各プログラムを読み出した状態の処理回路３５０は、図２の処理回路３５０内に示された各機能を有することとなる。

なお、登録機能３５１、分類指定機能３５２、抽出機能３５３、類似度算出機能３５４、データ算出機能３５５、推定機能３５６、及び出力機能３５７の全ての処理機能がコンピュータによって実行可能な１つのプログラムの形態で、記憶回路３２０に記録されていてもよい。例えば、このようなプログラムは、医用情報処理プログラムとも称される。この場合、処理回路３５０は、医用情報処理プログラムを記憶回路３２０から読み出し、読み出した医用情報処理プログラムを実行することで医用情報処理プログラムに対応する登録機能３５１、分類指定機能３５２、抽出機能３５３、類似度算出機能３５４、データ算出機能３５５、推定機能３５６、及び出力機能３５７を実現する。

登録機能３５１は、登録部の一例である。登録機能３５１は、新たに生成する学習済みモデルである第１学習済みモデルに関連する第１関連情報を登録する。第１関連情報は、新たに生成する学習済みモデルにおいて学習に使用する画像データである。または、登録機能３５１は、第１関連情報を識別するための情報である示すラベルデータである第１ラベルデータを含む第１関連情報を登録してもよい。更に詳しくは、第１ラベルデータは、第１関連情報が関連する第１学習済みモデルが、深層学習における何れの分類であるかの判定に使用される。すなわち、第１ラベルデータは、画像分類、画像検出、及び画像セグメンテーションの何れに該当するかの判定に使用される。また、第１関連情報が複数ある場合、登録機能３５１は、複数の第１関連情報から選択した代表的な第１関連情報を登録してもよいし、複数の第１関連情報を統合した一の第１関連情報を登録してもよいし、複数の第１関連情報のうち平均的な第１関連情報を登録してもよいし、複数の第１関連情報を登録してもよい。

分類指定機能３５２は、指定部の一例である。分類指定機能３５２は、新たに生成する学習済みモデルの深層学習における分類を指定する。例えば、分類指定機能３５２は、画像分類、画像検出、及び画像セグメンテーションの何れかを指定する。例えば、分類指定機能３５２は、操作により特定される分類を指定する。

または、分類指定機能３５２は、登録機能３５１が第１ラベルデータを含む第１関連情報を登録した場合に、第１ラベルデータに基づいて分類を指定する。すなわち、分類指定機能３５２は、第１ラベルデータが画像分類に対応している場合に画像分類を指定し、第１ラベルデータが画像検出に対応している場合に画像検出を指定し、第１ラベルデータが画像セグメンテーションに対応している場合に画像セグメンテーションを指定する。

抽出機能３５３は、第１抽出部の一例である。抽出機能３５３は、既存の学習済みモデルである第２学習済みモデルと、第２学習済みモデルの深層学習における分類と、第２学習済みモデルに関連する第２関連情報とが対応付けられた学習済みモデル情報から、分類指定機能３５２が指定した分類の第２学習済みモデルを少なくとも一つ抽出する。第２学習済みモデルは、学習済みモデルテーブル３２１に記憶された既存の学習済みモデルである。第２関連情報は、既存の学習済みモデルの学習に使用された画像データである。また、第２関連情報には、ラベルデータが含まれていてもよい。すなわち、抽出機能３５３は、学習済みモデルテーブル３２１から分類指定機能３５２が指定した分類の学習済みモデルを抽出する。

類似度算出機能３５４は、第１算出部の一例である。類似度算出機能３５４は、既存の学習済みモデルに関連する第２関連情報と、第１関連情報との類似度を複数の第２学習済みモデル毎に算出する。また、類似度算出機能３５４は、抽出機能３５３が抽出した少なくとも一つの既存の学習済みモデルについて類似度を算出する。更に詳しくは、類似度算出機能３５４は、学習済みモデルテーブル３２１に記憶された既存の学習済みモデルのうち、抽出機能３５３が抽出した既存の学習済みモデルの第２関連情報と、新たに生成する学習済みモデルの第１関連情報との類似度をする。

類似度算出機能３５４は、画素値の平均、ヒストグラム法、相関係数、又は周波数成分等について、ＭＳＥ（Mean Square Error）やＳＳＩＭ（Structural Similarity）等の手法により類似度を算出する。ここで、第２関連情報、又は第１関連情報が複数ある場合、類似度算出機能３５４は、一の既存の学習済みモデルに対して複数の類似度を算出する。そして、類似度算出機能３５４は、平均値や中央値等の統計的手法により得られた値を用いることで既存の学習済みモデル毎に類似度を算出する。

また、類似度算出機能３５４は、第１関連情報の第１ラベルデータと、第２関連情報を識別するための情報であるラベルデータである第２ラベルデータとに基づいて、類似度を算出してもよい。第２ラベルデータは、第２関連情報が関連する第２学習済みモデルが、深層学習における何れの分類であるかの判定に使用される。すなわち、第２ラベルデータは、画像分類、画像検出、及び画像セグメンテーションの何れに該当するかの判定に使用される。すなわち、類似度算出機能３５４は、第１関連情報の第１ラベルデータと、第２関連情報の第２ラベルデータとを加味して類似度を算出してもよい。分類が画像セグメンテーションの場合、ラベルデータに含まれる物体の位置、大きさ、形状、範囲等により学習内容が変化する。そこで、類似度算出機能３５４は、類似度のラベルデータを加えることで、類似度の精度を向上させることができる。

データ算出機能３５５は、第２算出部の一例である。データ算出機能３５５は、複数の既存の学習済みモデル毎の類似度に基づいて、複数の既存の学習済みモデル毎に新たな学習済みモデルの生成に必要なデータ数を算出する。ここで、図４は、データ数の算出方法の一例を示す図である。まず、既存の学習済みモデルの学習に使用した画像データについて、類似度が異なる画像データを複数用意する。データ算出機能３５５は、類似度から逆算することで、類似度が異なる画像データを生成する。例えば、データ算出機能３５５は、組織形状や物体のエッジを強調する画像処理を実行することで、類似度が異なる画像データ生成する。なお、エッジを強調する画像処理に限らず、他の画像処理により類似度が異なる画像データを生成してもよい。さらに、画像処理に限らず、他の方法により類似度が異なる画像データを用意してもよい。図４の場合には、類似度が１．０の画像データと、類似度が０．８の画像データと、類似度が０．５の画像データと、類似度が０．３の画像データとを用意している。

データ算出機能３５５は、新たな学習済みモデルの生成に必要なデータ数を類似度ごとに算出する。更に詳しくは、データ算出機能３５５は、類似度毎の画像データを用いて学習を行う。これにより、データ算出機能３５５は、ある類似度の画像データ用いて学習を行った場合に、各精度に達するまでに必要になるデータ数を導出する。また、データ算出機能３５５は、必要なデータ数と、類似度との関係を示したグラフを既存の学習済みモデル毎に生成する。

ここで、類似度算出機能３５４は、既存の学習済みモデル毎に類似度を算出している。よって、データ算出機能３５５は、類似度算出機能３５４が算出した類似度に応じた必要なデータ数をグラフから抽出することで、新たな学習済みモデルの生成に必要なデータ数を既存の学習済みモデル毎に算出することができる。

推定機能３５６は、推定部の一例である。推定機能３５６は、新たな学習済みモデルの生成に必要なデータ数と、新たに生成する学習済みモデルが出力する出力結果の精度との相関関係を推定する。ここで、精度とは、学習済みモデルの出力結果の正解率である。そして、推定機能３５６は、新たな学習済みモデルの生成に必要なデータ数と、精度との相関関係を、既存の学習済みモデル毎に示したグラフを生成する。

出力機能３５７は、出力部の一例である。出力機能３５７は、複数の既存の学習済みモデル毎に新たな学習済みモデルの生成に必要なデータ数を出力する。すなわち、出力機能３５７は、データ算出機能３５５が算出した新たな学習済みモデルの生成に必要なデータ数を出力する。出力機能３５７は、新たな学習済みモデルの生成に必要な必要数の一覧を出力する。ここで、図５は、必要数の一覧の一例を示す図である。図５に示すように、出力機能３５７は、既存の学習済みモデル毎に新たな学習済みモデルの生成に必要なデータ数と、費用と、時間とを示した一覧を表示させる。データ数は、データ算出機能３５５が算出したデータ数である。費用は、データ数のデータを取得するために必要な金額である。例えば、費用は、単位データの購入や、単位データの作成にかかる人件費等に基づいて算出される。時間は、データ数のデータを取得するために必要な時間である。例えば、費用は、単位データの作成にかかる時間等に基づいて算出される。

出力機能３５７は、推定機能３５６が推定した相関関係を示す情報をグラフ等により出力する。ここで、図６は、相関関係を示すグラフの一例を示す図である。図６に示すように、出力機能３５７は、既存の学習済みモデルＡ、既存の学習済みモデルＢ、及び既存の学習済みモデルＣについてデータ数と、精度との相関関係を示したグラフを表示させる。このように、グラフを表示させることで、使用者は、自身の状況に応じた学習済みモデルを選択することができる。

例えば、図６に示すａの精度が必要なことが判明している場合、ａにおいて最もデータ数の少ない学習済みモデルＣを採用することができる。また、図６に示すｂの精度が必要なことが判明している場合、ｂにおいて最もデータ数の少ない学習済みモデルＢを採用することができる。また、図６に示すｃのデータ数のデータを用意可能なことが判明している場合、ｃにおいて最も精度が高い学習済みモデルＢを採用することができる。また、図６に示すｄのデータ数のデータしか用意できないことが判明している場合、ｄにおいて最も精度が高い学習済みモデルＣを採用することができる。

次に、本実施形態に係る医用情報処理装置３０が実行する出力処理について説明する。出力処理は、新たな学習済みモデルの生成に必要なデータ数を出力する処理である。図７は、本実施形態に係る医用情報処理装置３０が実行する出力処理の処理手順を示すフローチャートである。

登録機能３５１は、新たに生成する学習済みモデルの学習に使用する学習データセットを登録する（ステップＳ１）。

分類指定機能３５２は、新たに生成する学習済みモデルの分類を指定する（ステップＳ２）。

抽出機能３５３は、分類指定機能３５２が指定した分類と同一分類の学習済みモデルを学習済みモデルテーブル３２１から抽出する（ステップＳ３）。

類似度算出機能３５４は、抽出機能３５３が抽出した学習済みモデルの学習データセットと、新たに生成する学習済みモデルの学習データセットとの類似度を算出する（ステップＳ４）。

データ算出機能３５５は、類似度算出機能３５４が算出した類似度に基づいて、新たに生成する学習済みモデルの生成に必要なデータ数を算出する（ステップＳ５）。

類似度算出機能３５４は、抽出機能３５３が抽出した全ての学習済みモデルの学習データセットに対して類似度の算出を実行したか否かを判定する（ステップＳ６）。全ての学習済みモデルの学習データセットに対して類似度の算出を実行していない場合（ステップＳ６；Ｎｏ）、類似度算出機能３５４は、ステップＳ４に移行して、未だ類似度の算出を実行していない学習済みモデルの学習データセットに対して類似度の算出を実行する。

全ての学習済みモデルの学習データセットに対して類似度の算出を実行した場合（ステップＳ６；Ｙｅｓ）、出力機能３５７は、データ算出機能３５５が算出した新たな学習済みモデルの生成に必要なデータ数を既存の学習済みモデル毎に出力する（ステップＳ７）。

以上により、医用情報処理装置３０は、出力処理を終了する。

以上のように、第１の実施形態に係る医用情報処理装置３０は、新たに生成する学習済みモデルに使用する画像データと、既存の学習済みモデルの生成に使用した画像データとの類似度を算出する。そして、医用情報処理装置３０は、算出した類似度に応じた、新たな学習済みモデルの生成に必要なデータ数を複数の既存の学習済みモデル毎に出力する。よって、医用情報処理装置３０は、再学習に必要なデータ数を出力することができる。このように、医用情報処理装置３０は、複数の既存の学習済みモデル毎に、新たな学習済みモデルの生成に必要なデータ数が出力する。そのため、使用者は、再学習に必要なデータ数等のコストを見積もることが可能になる。よって、使用者は、再学習により新たに生成する学習済みモデルの基になる既存の学習済みモデルには、どの学習済みモデルを用いるのが効率的であるか判断することができる。

（第２の実施形態）
次に、第２の実施形態に係る医用情報処理装置３０ａ（図９参照）について説明する。なお、上述した第１の実施形態と同様の構成要素については、同一の符号を付与し説明を省略する。

第２の実施形態では、学習済みモデルをモダリティ１０毎に生成している場合を想定している。新たにモダリティ１０を導入した場合、新たに導入したモダリティ１０に適応した学習済みモデルを生成する必要がある。そこで、既存のモダリティ１０の学習済みモデルに対して、転移学習等の再学習を実行することにより、新たに導入したモダリティ１０に適応した学習済みモデルを生成する。

ここで、第１の実施形態では、既存の学習済みモデルの学習に使用した画像データと、新たに生成する学習済みモデルの学習に使用する画像データとの類似度を算出した。しかし、第２の実施形態では、新たに導入したモダリティ１０に適応した学習済みモデルを生成することを想定している。そのため、第１の実施形態のように、類似度の算出に使用する画像データを用意することができない場合がある。そこで、第２の実施形態では、既存のモダリティ１０のファントム画像データと、新規のモダリティ１０のファントム画像データとの類似度を算出する。また、第２の実施形態の第１関連情報は、新規のモダリティ１０のファントム画像データとなる。また、第２関連情報は、既存のモダリティ１０のファントム画像データとなる。

図８は、第２の実施形態にかかる類似度の算出対象となるファントム画像データとの一例を示す図である。ファントム画像データとは、ファントムと呼ばれる性能評価用のオブジェクトを撮像することで生成される装置の性能評価用の画像データである。また、既存のモダリティ１０と、新規のモダリティ１０とは、ファントムを同一の撮像条件で撮像することでファントム画像データを生成する。これにより、第２の実施形態では、モダリティ１０の性能の類似度を識別する。そして、第２の実施形態では、モダリティ１０の性能の類似度に基づいて、再学習に必要なデータル数を算出する。

ここで、図９は、第２の実施形態にかかる医用情報処理装置３０ａの構成の一例を示すブロック図である。

学習済みモデルテーブル３２１ａは、学習済みモデルと、学習済みモデルの深層学習における分類と、複数の学習データセットと、学習データセットに含まれる画像データの撮像条件と同一の撮像条件で撮像されたファントム画像データとが対応付けられている。

登録機能３５１ａは、新たに生成する学習済みモデルに関連する第１関連情報として、ファントム画像データを登録する。更に詳しくは、登録機能３５１ａは、学習済みモデルテーブル３２１ａに記憶されたファントム画像データの撮像条件と、同一の撮像条件で新たに導入したモダリティ１０が撮像したファントム画像データを登録する。

類似度算出機能３５４ａは、新たに生成する学習済みモデルの生成に使用する画像データを生成するモダリティ１０のファントム画像データと、既存の学習済みモデルの生成に使用された画像データを生成したモダリティ１０のファントム画像データとの類似度を算出する。具体的には、類似度算出機能３５４ａは、学習済みモデルテーブル３２１ａに記憶されたファントム画像データと、登録機能３５１ａが登録したファントム画像データとの類似度を算出する。

データ算出機能３５５は、既存の学習済みモデル毎の類似度に基づいて、新たな学習済みモデルの生成に必要なデータ数を既存の学習済みモデル毎に算出する。

出力機能３５７は、第２学習済みモデル毎に生成に必要なデータ数を出力する。

以上のように、第２の実施形態に医用情報処理装置３０ａは、既存の学習済みモデルの生成に使用された画像データと同一の撮像条件で撮像されたファントム画像データと、新たに生成する学習済みモデルの生成に使用するファントム画像データとの類似度を算出する。そして、医用情報処理装置３０ａは、算出した類似度に応じた、新たな学習済みモデルの生成に必要なデータ数を既存の学習済みモデル毎に出力する。よって、第２の実施形態に医用情報処理装置３０ａは、患者等の被検体を撮像した画像データを用意することができない場合であっても、新たな学習済みモデルの生成に必要なデータ数を既存の学習済みモデル毎に出力することができる。

（第３の実施形態）
次に、第３の実施形態に係る医用情報処理装置３０ｂ（図１０参照）について説明する。なお、上述した第１の実施形態と同様の構成要素については、同一の符号を付与し説明を省略する。

第２の実施形態では、新たに導入したモダリティ１０に適応した学習済みモデルを生成するために、既存のモダリティ１０のファントム画像データと、新規のモダリティ１０のファントム画像データとの類似度を算出する。第３の実施形態では、画像データの取得条件の類似度を算出する。例えば、取得条件には、モダリティ１０の種類、モダリティ１０の製造メーカー、機種、バーション、撮像方法、再構成条件等の項目が含まれる。なお、取得条件には、これら以外の項目が含まれていてもよい。

ここで、図１０は、第３の実施形態にかかる医用情報処理装置３０ｂの構成の一例を示すブロック図である。

第３の実施形態に係る学習済みモデルテーブル３２１ｂは、学習済みモデルと、分類と、複数の学習データセットと、学習データセットに含まれる画像データの取得条件とが対応付けられている。

また、記憶回路３２０は、スコアテーブル３２２を記憶している。図１１は、スコアテーブル３２２のデータ構成の一例を示す図である。スコアテーブル３２２は、取得条件の項目ごとのスコアを有している。図１１に示すスコアテーブル３２２は、取得条件の項目であるモダリティ１０の種別についてのスコアを示している。モダリティ１０の種別がＸ線ＣＴ装置の場合、比較対象の取得条件におけるモダリティ１０の種別が、Ｘ線ＣＴ装置の場合に１．０となり、ＭＲＩ装置の場合に０．６となり、Ｘ線アンギオ装置の場合に０．４となり、超音波診断装置の場合に０．２となることを示しいている。また、図１１に示すスコアテーブル３２２は、モダリティ１０の種別についてのスコアを示しているが、スコアテーブル３２２は、取得条件の項目の他の項目についても同様にスコアを有している。また、第３の実施形態の第１関連情報は、新規に生成する学習済みモデルの学習に使用する画像データの取得条件となる。また、第２関連情報は、既存の学習済みモデルの学習に使用された画像データの取得条件となる。

登録機能３５１ｂは、新たに生成する第１学習済みモデルに関連する第１関連情報として、取得条件を登録する。すなわち、登録機能３５１ｂは、新たに生成する学習済みモデルの学習に使用する画像データの取得条件を登録する。

類似度算出機能３５４ｂは、新たに生成する学習済みモデルの生成に使用する画像データの取得条件を示す第１関連情報と、既存の学習済みモデルの生成に使用された画像データの取得条件を示す第２関連情報との類似度を算出する。更に詳しくは、類似度算出機能３５４ｂは、スコアテーブル３２２に基づいて、学習済みモデルテーブル３２１ｂに記憶された取得条件の各項目と、登録機能３５１ｂが登録した取得条件の各項目とのスコアを抽出する。そして、類似度算出機能３５４ｂは、各項目のスコアに基づいて類似度を算出する。このような類似度の算出を、類似度算出機能３５４ｂは、既存の学習済みモデル毎に実行する。

データ算出機能３５５は、既存の学習済みモデル毎の類似度に基づいて、新たな学習済みモデルの生成に必要なデータ数を既存の学習済みモデル毎に算出する。

出力機能３５７は、第２学習済みモデル毎に生成に必要なデータ数を出力する。

以上のように、第３の実施形態に医用情報処理装置３０ｂは、既存の学習済みモデルの生成に使用された画像データの取得条件と、新たに生成する学習済みモデルの生成に使用する画像データの取得条件との類似度を算出する。そして、医用情報処理装置３０ｂは、算出した類似度に応じた、新たな学習済みモデルの生成に必要なデータ数を既存の学習済みモデル毎に出力する。よって、第３の実施形態に医用情報処理装置３０ｂは、患者等の被検体を撮像した画像データを用意することができない場合であっても、新たな学習済みモデルの生成に必要なデータ数を既存の学習済みモデル毎に出力することができる。

（第４の実施形態）
次に、第４の実施形態に係る医用情報処理装置３０ｃ（図１２参照）について説明する。なお、上述した第１の実施形態と同様の構成要素については、同一の符号を付与し説明を省略する。

第４の実施形態に係る医用情報処理装置３０ｄは、新たに生成する学習済みモデルの生成に必要なデータ数までの残量を算出する。

ここで、図１２は、第４の実施形態にかかる医用情報処理装置３０ｂの構成の一例を示すブロック図である。

第４の実施形態に係る医用情報処理装置３０ｃは、新たに生成する学習済みモデルの生成に必要なデータ数までの残量を算出する残量算出機能３５８を備えている。残量算出機能３５８は、第３算出部の一例である。残量算出機能３５８は、推定機能３５６が推定した推定結果に基づいて、目標値となる精度に必要なデータ数を算出する。更に詳しくは、残量算出機能３５８は、学習済みモデルテーブル３２１から残量の算出対象となる既存の学習済みモデルの指定と、目標値との指定とを受け付ける。ここで、推定機能３５６は、データ数と、精度との相関関係を推定する。そこで、残量算出機能３５８は、推定機能３５６の推定結果に基づいて、指定された学習済みモデルから、目標値である精度の学習済みモデルを生成するまでに、再学習させる必要があるデータ数を算出する。

また、類似度に応じて必要となるデータ数は異なっている。そこで、残量算出機能３５８は、指定された学習済みモデルについて、現在の精度から目標値となる精度までに必要なデータ数を類似度毎に算出する。そして、残量算出機能３５８は、推定機能３５６の推定結果に基づいて、指定された学習済みモデルから、目標値である精度の学習済みモデルを生成するまでに、再学習させる必要があるデータ数を類似度毎に示したグラフを生成する。

出力機能３５７は、残量算出機能３５８が算出したデータ数を出力する。また、出力機能３５７は、残量算出機能３５８が生成したグラフを出力する。図１３は、データ数と、類似度との相関関係を精度毎に示したグラフの一例を示す図である。図１３に示すように、グラフは、指定された学習済みモデルについて精度ごとに、データ数と、類似度との相関関係を示している。また、グラフは、推定機能３５６で指定された精度まで、特定の類似度のデータ数があと何個必要であるかを示している。

以上のように、第４の実施形態に医用情報処理装置３０ｃは、推定機能３５６が推定した推定結果に基づいて、目標値となる精度に必要なデータ数を出力する。よって、使用者は、残り幾つのデータを準備すればよいかを把握することができる。

（第５の実施形態）
次に、第５の実施形態に係る医用情報処理装置３０ｄ（図１４参照）について説明する。なお、上述した第１の実施形態と同様の構成要素については、同一の符号を付与し説明を省略する。

第５の実施形態に係る医用情報処理装置３０ｄは、精度を向上させる取得条件の項目を出力する。ここで、取得条件の類似度を向上させることで精度も向上を期待することができる。そこで、医用情報処理装置３０ｄは、新たに生成する学習済みモデルの生成に使用する画像データの取得条件と、既存の学習済みモデルの生成に使用された画像データの取得条件とにおいて、類似度を低減させている項目を抽出する。これにより、医用情報処理装置３０ｄは、度を向上させる取得条件の項目を出力する。

ここで、図１４は、第５の実施形態に係る医用情報処理装置３０ｄの構成の一例を示すブロック図である。

第３の実施形態と同様に、学習済みモデルテーブル３２１ｃは、学習済みモデルと、分類と、複数の学習データセットと、学習データセットに含まれる画像データの取得条件とが対応付けられている。また、第３の実施形態と同様に、記憶回路３２０は、スコアテーブル３２２を記憶している。

また、第３の実施形態と同様に、類似度算出機能３５４は、スコアテーブル３２２に基づいて、学習済みモデルテーブル３２１ｃに記憶された取得条件の各項目と、登録機能３５１が登録した取得条件の各項目とのスコアを抽出する。そして、類似度算出機能３５４は、各項目のスコアに基づいて類似度を算出する。

また、医用情報処理装置３０ｄは、項目抽出機能３５９を備えている。項目抽出機能３５９は、第２抽出部の一例である。項目抽出機能３５９は、新たに生成する学習済みモデルの生成に使用する画像データの取得条件を示す第１関連情報と、既存の学習済みモデルの生成に使用された画像データの取得条件を示す第２関連情報との類似度を向上させる取得条件の項目を抽出する。更に詳しくは、項目抽出機能３５９は、類似度算出機能３５４が抽出した各項目のうち、スコアが低い項目を抽出する。ここで、スコアを上げられた場合に、類似度が向上するため、学習済みモデルは、精度が向上する。そこで、項目抽出機能３５９は、精度を向上させるために、スコアが低い項目を抽出する。

出力機能３５７は、項目抽出機能３５９が抽出した取得条件の項目を出力する。

以上のように、第５の実施形態に医用情報処理装置３０ｄは、新たに生成する学習済みモデルの生成に使用する画像データの取得条件と、既存の学習済みモデルの生成に使用された画像データの取得条件とを比較して、スコアが低い取得条件の項目を抽出する。そして、医用情報処理装置３０ｄは、スコアが低い項目を出力する。よって、使用者は、スコアが低い項目についてスコアを上げる処置を行うことができる。また、医用情報処理装置３０ｄは、スコアが低い項目について、スコアを向上させる方法を出力してもよい。

また、上記した実施形態では、医用情報処理装置３０が特徴的な機能を備えている場合を例に説明した。しかしながら、医用情報処理装置３０が備えている登録機能３５１、３５１ａ、３５１ｂ、分類指定機能３５２、抽出機能３５３、類似度算出機能３５４、３５４ａ、３５４ｂ、データ算出機能３５５、推定機能３５６、出力機能３５７、残量算出機能３５８、及び項目抽出機能３５９等のこれらの機能の全部又は一部は、モダリティ１０が備えていてもよいし、ＰＡＣＳ２０が備えていてもよいし、これら以外の装置又はシステムが備えていてもよい。

また、上述した実施形態では、単一の処理回路３５０によって各処理機能が実現される場合の例を説明したが、実施形態はこれに限られない。例えば、処理回路３５０は、複数の独立したプロセッサを組み合わせて構成され、各プロセッサが各プログラムを実行することにより各処理機能を実現するものとしても構わない。また、処理回路３５０が有する各処理機能は、単一又は複数の処理回路３５０に適宜に分散又は統合されて実現されてもよい。

上述した各実施形態の説明で用いた「プロセッサ」という文言は、例えば、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）、或いは、特定用途向け集積回路（Application Specific Integrated Circuit：ＡＳＩＣ）、プログラマブル論理デバイス（例えば、単純プログラマブル論理デバイス（Simple Programmable Logic Device：ＳＰＬＤ）、複合プログラマブル論理デバイス（Complex Programmable Logic Device：ＣＰＬＤ）、及びフィールドプログラマブルゲートアレイ（Field Programmable Gate Array：ＦＰＧＡ））等の回路を意味する。ここで、メモリにプログラムを保存する代わりに、プロセッサの回路内にプログラムを直接組み込むように構成しても構わない。この場合には、プロセッサは回路内に組み込まれたプログラムを読み出し実行することで機能を実現する。また、本実施形態の各プロセッサは、プロセッサごとに単一の回路として構成される場合に限らず、複数の独立した回路を組み合わせて一つのプロセッサとして構成され、その機能を実現するようにしてもよい。

ここで、プロセッサによって実行されるプログラムは、ＲＯＭ（Read Only Memory）や記憶部等に予め組み込まれて提供される。なお、このプログラムは、これらの装置にインストール可能な形式又は実行可能な形式のファイルでＣＤ（Compact Disk）－ＲＯＭ、ＦＤ（Flexible Disk）、ＣＤ－Ｒ（Recordable）、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記憶媒体に記録されて提供されてもよい。また、このプログラムは、インターネット等のネットワークに接続されたコンピュータ上に格納され、ネットワーク経由でダウンロードされることにより提供又は配布されてもよい。例えば、このプログラムは、各機能部を含むモジュールで構成される。実際のハードウェアとしては、ＣＰＵが、ＲＯＭ等の記憶媒体からプログラムを読み出して実行することにより、各モジュールが主記憶装置上にロードされて、主記憶装置上に生成される。

以上説明した少なくとも一つの実施形態によれば、再学習に必要なデータ数を出力することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１ 医用情報処理システム
１０ モダリティ
３０ 医用情報処理装置
２０ ＰＡＣＳ
３２１ 学習済みモデルテーブル
３２２ スコアテーブル
３５１、３５１ａ、３５１ｂ 登録機能
３５２ 分類指定機能
３５３ 抽出機能
３５４、３５４ａ、３５４ｂ 類似度算出機能
３５５ データ算出機能
３５６ 推定機能
３５７ 出力機能
３５８ 残量算出機能
３５９ 項目抽出機能

Claims (9)

1. 新たに生成する第１学習済みモデルに関連する第１関連情報を登録する登録部と、
   既存の第２学習済みモデルに関連する第２関連情報と、前記第１関連情報との類似度を複数の前記第２学習済みモデル毎に算出する第１算出部と、
   複数の前記第２学習済みモデルのそれぞれに対する再学習により、精度が目標値に達する前記第１学習済みモデルを生成する場合に、複数の前記第２学習済みモデル毎の前記類似度と、前記第１学習済みモデルが前記精度になるまでに必要な前記第１関連情報のデータ数との相関関係に基づいて、複数の前記第２学習済みモデル毎に前記データ数を算出する第２算出部と、
   複数の前記第２学習済みモデル毎に前記データ数を出力する出力部と、
   を備える医用情報処理装置。
2. 前記相関関係を推定する推定部を更に備え、
   前記出力部は、前記相関関係を示す情報を出力する、
   請求項１に記載の医用情報処理装置。
3. 前記第２算出部は、前記推定部が推定した推定結果に基づいて、前記データ数を算出し、
   前記出力部は、前記第２算出部が算出した前記データ数を出力する、
   請求項２に記載の医用情報処理装置。
4. 前記第１学習済みモデルの深層学習における分類を指定する指定部と、
   前記第２学習済みモデルと、前記分類と、前記第２関連情報とが対応付けられた学習済みモデル情報から、前記指定部が指定した前記分類の前記第２学習済みモデルを少なくとも一つ抽出する第１抽出部とを更に備え、
   前記第１算出部は、前記第１抽出部が抽出した少なくとも一つの前記第２学習済みモデルについての前記類似度を算出する、
   請求項１から請求項３の何れか一項に記載の医用情報処理装置。
5. 前記登録部は、前記第１関連情報を識別するための情報である第１ラベルデータを含む前記第１関連情報を登録し、
   前記指定部は、前記第１ラベルデータに基づいて、前記分類を指定する、
   請求項４に記載の医用情報処理装置。
6. 前記第１算出部は、前記第１関連情報の前記第１ラベルデータと、前記第２関連情報を識別するための情報である第２ラベルデータとに基づいて、前記類似度を算出する、
   請求項５に記載の医用情報処理装置。
7. 前記第１算出部は、前記第１学習済みモデルの生成に使用する画像データを生成する第１装置の性能評価用の画像データである前記第１関連情報と、前記第２学習済みモデルの生成に使用された画像データを生成した第２装置の性能評価用の画像データである前記第２関連情報との前記類似度を算出する、
   請求項１から請求項６の何れか一項に記載の医用情報処理装置。
8. 前記第１算出部は、前記第１学習済みモデルの生成に使用する画像データの取得条件を示す前記第１関連情報と、前記第２学習済みモデルの生成に使用された画像データの取得条件を示す前記第２関連情報との前記類似度を算出する、
   請求項１から請求項７の何れか一項に記載の医用情報処理装置。
9. 前記第１学習済みモデルの生成に使用する画像データの取得条件を示す前記第１関連情報と、前記第２学習済みモデルの生成に使用された画像データの取得条件を示す前記第２関連情報との前記類似度を向上させる前記取得条件の項目を抽出する第２抽出部を更に備え、
   前記出力部は、前記第２抽出部が抽出した前記項目を出力する、
   請求項１から請求項８の何れか一項に記載の医用情報処理装置。

Images