JP6894001B2

JP6894001B2 - 診断支援装置、内視鏡装置、管理装置、診断支援方法、管理方法、診断支援プログラム、及び管理プログラム

Info

Publication number: JP6894001B2
Application number: JP2019551063A
Authority: JP
Inventors: 林　伸治; 伸治林
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2017-10-31
Filing date: 2018-10-18
Publication date: 2021-06-23
Anticipated expiration: 2038-10-18
Also published as: WO2019087791A1; JPWO2019087791A1

Description

本発明は、診断支援装置、内視鏡装置、管理装置、診断支援方法、管理方法、診断支援プログラム、及び管理プログラムに関する。

ＣＴ（ＣｏｍｐｕｔｅｄＴｏｍｏｇｒａｐｈｙ）、ＭＲＩ（ＭａｇｎｅｔｉｃＲｅｓｏｎａｎｃｅＩｍａｇｉｎｇ）、病理標本を取り込むバーチャルスライドスキャナ、又は内視鏡装置等の医療機器の発達により、デジタル化された高精細の医用画像データが大量に取得可能となっている。

近年では、医用画像データを保存するＰＡＣＳ（ＰｉｃｔｕｒｅＡｒｃｈｉｖｉｎｇ
ａｎｄＣｏｍｍｕｎｉｃａｔｉｏｎＳｙｓｔｅｍｓ）の普及が進み、これらの医用画像データが医師の診断所見とともに順次格納されている。このような、医用画像データと症例の蓄積が進むにつれ、例えば特許文献１，２に記載されているように、コンピュータを用いて病変の検出又は識別を行うことが可能になってきている。

特許文献１，２には、医用画像データから病変の検出等を行うために用いられる画像認識モデルを更新する際に、更新後の画像認識モデルの性能を評価するシステムが記載されている。

特開２０１５−１１６３１９号公報特開平９−５４７６４号公報

医療分野における画像認識技術は、病院との共同研究を通じてメーカ側が医用画像データを収集し、この医用画像データに基づいてメーカ側の計算機環境で開発された共通の画像認識モデルを、各病院側で利用するといった形態が一般的である。

しかし、同一の病気であっても病変の様態には多くのバリエーションがあり、限られた医用画像データのみから作成した画像認識モデルでは、出現頻度の低い症例及び様態には対応できない。そこで、各病院において日々遭遇する病変を即座に学習データ化し、病院側で画像認識モデルの更新を行う仕組みが考えられる。

このように画像認識モデルの更新を行う場合、以前の画像認識モデルよりも性能が低下してしまう懸念がある。そこで、特許文献１，２に記載されているように、画像認識モデルの性能を評価することが有効になる。

しかし、病院毎に、そこに通う患者の症例の傾向は異なる。また、診断の精度自体も病院毎に異なる。このため、各病院にて独自に取得した医用画像データを用いた学習によって生成した画像認識モデルの評価を行うと、各病院においては十分と思われる性能の画像認識モデルであっても、その画像認識モデルが一般的な医療水準を満たす性能を有しているかの保障は得られない。

本発明は、上記事情に鑑みてなされたものであり、病変部位の認識性能を高い水準に維持することのできる診断支援装置、これを備える内視鏡装置、これを管理する管理装置、診断支援方法、管理方法、診断支援プログラム、及び管理プログラムを提供することを目的とする。

本発明の診断支援装置は、画像認識モデルを設定するモデル設定部と、上記モデル設定部によって設定された上記画像認識モデルを用いて、医用画像データに含まれる病変部位を認識する認識処理部と、上記モデル設定部によって設定された上記画像認識モデルである設定モデルから、複数の医用画像データからなる第一のグループに基づく学習によって第一の更新用の画像認識モデルを生成する更新モデル生成部と、上記第一のグループを構成する医用画像データとは異なる医用画像データのグループであり、且つ、上記モデル設定部によって最初に設定される上記画像認識モデルの生成に用いられた複数の医用画像データを少なくとも含む第二のグループを記憶する記憶部、から取得した上記第二のグループを用いて画像認識モデルの性能の評価を行うモデル評価部に、上記更新モデル生成部によって生成された上記第一の更新用の画像認識モデルを評価させる更新モデル評価依頼部と、を備え、上記モデル設定部は、上記モデル評価部によって評価された上記第一の更新用の画像認識モデルの性能が予め決められた条件を満たす場合に、設定する画像認識モデルを、上記設定モデルから上記第一の更新用の画像認識モデルに変更するものである。

本発明の管理装置は、モデル設定部によって設定された画像認識モデルによって、医用画像データに含まれる病変部位を認識する認識処理部と、上記モデル設定部によって設定された上記画像認識モデルである設定モデルから、複数の医用画像データからなる第一のグループに基づく学習によって第一の更新用の画像認識モデルを生成する更新モデル生成部と、を有する診断支援装置の管理を行う管理装置であって、上記更新モデル生成部によって生成された上記第一の更新用の画像認識モデルを、上記診断支援装置からネットワークを介して受信する更新モデル受信部と、上記第一のグループを構成する医用画像データとは異なる医用画像データのグループであり、且つ、上記モデル設定部によって最初に設定される上記画像認識モデルの生成に用いられた複数の医用画像データを少なくとも含む第二のグループを記憶する記憶部、から取得した上記第二のグループを用いて、上記更新モデル受信部によって受信した上記第一の更新用の画像認識モデルの性能の評価を行うモデル評価部と、上記モデル評価部による評価結果の情報を、上記ネットワークを介して上記診断支援装置に送信する性能評価情報送信部と、を備え、上記評価結果の情報に基づく上記第一の更新用の画像認識モデルの性能が予め決められた条件を満たす場合に、上記モデル設定部によって設定される画像認識モデルが、上記設定モデルから上記第一の更新用の画像認識モデルに変更されるものである。

本発明の内視鏡装置は、上記診断支援装置を備えるものである。

本発明の診断支援方法は、診断支援装置が下記ステップを実行することで診断支援する診断支援方法であって、画像認識モデルを設定するモデル設定ステップと、上記モデル設定ステップによって設定された上記画像認識モデルを用いて、医用画像データに含まれる病変部位を認識する認識処理ステップと、上記モデル設定ステップによって設定された上記画像認識モデルである設定モデルから、複数の医用画像データからなる第一のグループに基づく学習によって第一の更新用の画像認識モデルを生成する更新モデル生成ステップと、上記第一のグループを構成する医用画像データとは異なる医用画像データのグループであり、且つ、上記モデル設定ステップによって最初に設定される上記画像認識モデルの生成に用いられた複数の医用画像データを少なくとも含む第二のグループを記憶する記憶部、から取得した上記第二のグループを用いて画像認識モデルの性能の評価を行うモデル評価部に、上記更新モデル生成ステップによって生成された上記第一の更新用の画像認識モデルを評価させる更新モデル評価依頼ステップと、を備え、上記モデル設定ステップは、上記モデル評価部によって評価された上記第一の更新用の画像認識モデルの性能が予め決められた条件を満たす場合に、設定する画像認識モデルを、上記設定モデルから上記第一の更新用の画像認識モデルに変更するものである。

本発明の診断支援プログラムは、画像認識モデルを設定するモデル設定ステップと、上記モデル設定ステップによって設定された上記画像認識モデルを用いて、医用画像データに含まれる病変部位を認識する認識処理ステップと、上記モデル設定ステップによって設定された上記画像認識モデルである設定モデルから、複数の医用画像データからなる第一のグループに基づく学習によって第一の更新用の画像認識モデルを生成する更新モデル生成ステップと、上記第一のグループを構成する医用画像データとは異なる医用画像データのグループであり、且つ、上記モデル設定ステップによって最初に設定される上記画像認識モデルの生成に用いられた複数の医用画像データを少なくとも含む第二のグループを記憶する記憶部、から取得した上記第二のグループを用いて画像認識モデルの性能の評価を行うモデル評価部に、上記更新モデル生成ステップによって生成された上記第一の更新用の画像認識モデルを評価させる更新モデル評価依頼ステップと、をコンピュータに実行させるためのプログラムであって、上記モデル設定ステップでは、上記モデル評価部によって評価された上記第一の更新用の画像認識モデルの性能が予め決められた条件を満たす場合に、設定する画像認識モデルを、上記設定モデルから上記第一の更新用の画像認識モデルに変更するものである。

本発明の管理方法は、モデル設定部によって設定された画像認識モデルによって、医用画像データに含まれる病変部位を認識する認識処理部と、上記モデル設定部によって設定された上記画像認識モデルである設定モデルから、複数の医用画像データからなる第一のグループに基づく学習によって第一の更新用の画像認識モデルを生成する更新モデル生成部と、を有する診断支援装置の管理を行う管理方法であって、上記更新モデル生成部によって生成された上記第一の更新用の画像認識モデルを、上記診断支援装置からネットワークを介して受信する更新モデル受信ステップと、上記第一のグループを構成する医用画像データとは異なる医用画像データのグループであり、且つ、上記モデル設定部によって最初に設定される上記画像認識モデルの生成に用いられた複数の医用画像データを少なくとも含む第二のグループを記憶する記憶部、から取得した上記第二のグループを用いて、上記更新モデル受信ステップによって受信した上記第一の更新用の画像認識モデルの性能の評価を行うモデル評価ステップと、上記モデル評価ステップによる評価結果の情報を、上記ネットワークを介して上記診断支援装置に送信する性能評価情報送信ステップと、を備え、上記評価結果の情報に基づく上記第一の更新用の画像認識モデルの性能が予め決められた条件を満たす場合に、上記モデル設定部によって設定される画像認識モデルが、上記設定モデルから上記第一の更新用の画像認識モデルに変更されるものである。

本発明の管理プログラムは、モデル設定部によって設定された画像認識モデルによって、医用画像データに含まれる病変部位を認識する認識処理部と、上記モデル設定部によって設定された上記画像認識モデルである設定モデルから、複数の医用画像データからなる第一のグループに基づく学習によって第一の更新用の画像認識モデルを生成する更新モデル生成部と、を有する診断支援装置の管理を行うための管理プログラムであって、上記更新モデル生成部によって生成された上記第一の更新用の画像認識モデルを、上記診断支援装置からネットワークを介して受信する更新モデル受信ステップと、上記第一のグループを構成する医用画像データとは異なる医用画像データのグループであり、且つ、上記モデル設定部によって最初に設定される上記画像認識モデルの生成に用いられた複数の医用画像データを少なくとも含む第二のグループを記憶する記憶部、から取得した上記第二のグループを用いて、上記更新モデル受信ステップによって受信した上記第一の更新用の画像認識モデルの性能の評価を行うモデル評価ステップと、上記モデル評価ステップによる評価結果の情報を、上記ネットワークを介して上記診断支援装置に送信する性能評価情報送信ステップと、をコンピュータに実行させるためのプログラムであり、上記評価結果の情報に基づく上記第一の更新用の画像認識モデルの性能が予め決められた条件を満たす場合に、上記モデル設定部によって設定される画像認識モデルが、上記設定モデルから上記第一の更新用の画像認識モデルに変更されるものである。

本発明によれば、病変部位の認識性能を高い水準に維持することのできる診断支援装置、これを備える内視鏡装置、これを管理する管理装置、診断支援方法、管理方法、診断支援プログラム、及び管理プログラムを提供することができる。

本発明の一実施形態である診断支援措置及び管理装置を含む診断支援システム１００の概略構成を示す図である。図１に示す端末装置１Ａの制御部１０の機能ブロックを示す図である。図１に示すサーバ５０の制御部５１の機能ブロックを示す図である。図１に示す診断支援システム１００の動作を説明するためのシーケンスチャートである。図１に示す診断支援システム１００の動作の変形例を説明するためのシーケンスチャートである。第一の変形例の診断支援システム１００における端末装置１Ａの制御部１０の機能ブロックを示す図である。第一の変形例の診断支援システム１００におけるサーバ５０の制御部５１の機能ブロックを示す図である。第一の変形例の診断支援システム１００の動作を説明するためのシーケンスチャートである。第一の変形例の診断支援システム１００の別の動作を説明するためのシーケンスチャートである。

以下、本発明の実施形態について図面を参照して説明する。

図１は、本発明の一実施形態である診断支援措置及び管理装置を含む診断支援システム１００の概略構成を示す図である。

図１に示すように、診断支援システム１００は、病院ＨＰ１に設置された端末装置１Ａ及びデータベース１Ｂと、病院ＨＰ２に設置された端末装置２Ａ及びデータベース２Ｂと、病院ＨＰ３に設置された端末装置３Ａ及びデータベース３Ｂと、サーバ５０と、を備える。

端末装置１Ａ、端末装置２Ａ、端末装置３Ａ、及びサーバ５０は、それぞれ、パーソナルコンピュータ又はタブレット型端末等の電子機器である。

なお、端末装置１Ａ，２Ａ，３Ａは、病院に設置される内視鏡装置等の医療機器であってもよい。例えば、内視鏡装置を構成する光源装置、制御装置、及び内視鏡のうち、制御装置によって端末装置１Ａ，２Ａ，３Ａが構成される。

端末装置１Ａは、制御部１０と、通信部１１と、を備える。

制御部１０は、プログラムを実行して処理を行う各種のプロセッサと、ＲＡＭ（ＲａｍｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）を含む。

各種のプロセッサとしては、プログラムを実行して各種処理を行う汎用的なプロセッサであるＣＰＵ（ＣｅｎｔｒａｌＰｒｏｓｅｓｓｉｎｇＵｎｉｔ）、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）等の製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（ＰｒｏｇｒａｍｍａｂｌｅＬｏｇｉｃＤｅｖｉｃｅ：ＰＬＤ）、又はＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が含まれる。

これら各種のプロセッサの構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

制御部１０は、各種のプロセッサのうちの１つで構成されてもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡの組み合わせ又はＣＰＵとＦＰＧＡの組み合わせ）で構成されてもよい。

通信部１１は、病院ＨＰ１に構築されている院内ＬＡＮ（ＬｏｃａｌＡｒｅａＮｅｔｗｏｒｋ）等の内部ネットワークを介して他の電子機器と通信を行うためのインタフェースと、診断支援システム１００の使用者に利用を限定されたＬＡＮ又はインターネット等のネットワーク４０を介して、他の電子機器と通信を行うためのインタフェースとを含む。

制御部１０は、通信部１１を制御して、内部ネットワークに接続されている他の機器（データベース１Ｂを含む）と、ネットワーク４０に接続されている他の電子機器との通信を行う。

データベース１Ｂは、病院ＨＰ１の内部ネットワークに接続されており、例えばＮＡＳ（ＮｅｔｗｏｒｋＡｔｔａｃｈｅｄＳｔｏｒａｇｅ）によって構成されている。

データベース１Ｂは、病院ＨＰ１に設置された内視鏡装置、超音波診断装置、放射線画像診断装置、又はＭＲＩ等の医用画像データを出力可能な各種の医療機器によって得られた医用画像データを、患者情報及び診断情報等と併せて記憶する。データベース１Ｂは、例えば病院ＨＰ１にて運用されているＰＡＣＳにて利用されているものである。

端末装置２Ａは、制御部２０と、通信部２１と、を備える。

制御部２０は、プログラムを実行して処理を行う上述した各種のプロセッサと、ＲＡＭと、ＲＯＭを含む。

通信部２１は、病院ＨＰ２に構築されている院内ＬＡＮ等の内部ネットワークを介して他の電子機器と通信を行うためのインタフェースと、ネットワーク４０を介して他の電子機器と通信を行うためのインタフェースとを含む。

制御部２０は、通信部２１を制御して、内部ネットワークに接続されている他の機器（データベース２Ｂを含む）と、ネットワーク４０に接続されている他の電子機器との通信を行う。

データベース２Ｂは、病院ＨＰ２内のネットワークに接続されており、例えばＮＡＳによって構成されている。

データベース２Ｂは、病院ＨＰ２に設置された各種の医療機器によって得られた医用画像データを、患者情報及び診断情報等と併せて記憶する。データベース２Ｂは、例えば病院ＨＰ２にて運用されているＰＡＣＳにて利用されているものである。

端末装置３Ａは、制御部３０と、通信部３１と、を備える。

制御部３０は、プログラムを実行して処理を行う上述した各種のプロセッサと、ＲＡＭと、ＲＯＭを含む。

通信部３１は、病院ＨＰ３に構築されている院内ＬＡＮ等の内部ネットワークを介して他の電子機器と通信を行うためのインタフェースと、ネットワーク４０を介して他の電子機器と通信を行うためのインタフェースとを含む。

制御部３０は、通信部３１を制御して、内部ネットワークに接続されている他の機器（データベース３Ｂを含む）と、ネットワーク４０に接続されている他の電子機器との通信を行う。

データベース３Ｂは、病院ＨＰ３内のネットワークに接続されており、例えばＮＡＳによって構成されている。

データベース３Ｂは、病院ＨＰ３に設置された各種の医療機器によって得られた医用画像データを、患者情報及び診断情報等と併せて記憶する。データベース３Ｂは、例えば病院ＨＰ３にて運用されているＰＡＣＳにて利用されているものである。

図１の例では、ネットワーク４０に３つの端末装置（１Ａ，２Ａ，３Ａ）が接続されているが、ネットワーク４０に接続される端末装置の数は１つ、２つ、又は４つ以上であってもよい。

サーバ５０は、制御部５１と、通信部５２と、データベース５３と、を備える。

制御部５１は、プログラムを実行して処理を行う上述した各種のプロセッサと、ＲＡＭと、ＲＯＭを含む。

通信部５２は、ネットワーク４０を介して他の電子機器と通信を行うためのインタフェースである。

制御部５１は、通信部５２を制御して、ネットワーク４０に接続されている他の電子機器との通信を行う。

データベース５３は、ハードディスク又は半導体メモリ等の記憶媒体にデータを記憶するものであり、端末装置１Ａの制御部１０、端末装置２Ａの制御部２０、及び端末装置３Ａの制御部３０の各々において生成された後述する更新用の画像認識モデル、の評価を行うための複数の医用画像データからなる評価用データグループを記憶している。評価用データグループは第二のグループを構成する。データベース５３は、記憶部を構成する。

データベース５３は、制御部５１からアクセス可能な場所に設けられた記憶装置であればよい。例えば、データベース５３は、ネットワーク４０に接続されたＮＡＳであってもよい。或いは、データベース５３は、サーバ５０に外付けされたハードィスク又はＳＳＤ（ｓｏｌｉｄｓｔａｔｅｄｒｉｖｅ）等を用いた記憶装置であってもよい。

診断支援システム１００では、サーバ５０の管理者によって生成された基準となる画像認識モデル（以下、基準モデルとも言う）を、診断支援システム１００を構成する各端末装置１Ａ，２Ａ，３Ａに配信する。

各端末装置１Ａ，２Ａ，３Ａの制御部１０，２０，３０は、この基準モデルを利用して、各病院の医療機器から得られた医用画像データに対して病変部位を認識する認識処理を行う。このように、診断支援システム１００は、基準モデルの配信によって、各病院において行われる診断を支援する。

上述した認識処理とは、医用画像データからの病変部位の検出とその検出された病変部位の識別とを行うための処理を言う。この認識処理のうち、病変部位の検出のための処理を検出処理と言い、病変部位の識別のための処理を識別処理という。認識処理は、検出処理を少なくとも含む処理であればよい。

病変部位の検出とは、悪性腫瘍又は良性腫瘍等の病変と疑われる部位（病変候補領域）を医用画像データの中から見つけ出すことをいう。

病変部位の識別とは、検出処理によって検出された病変部位が悪性であるのか、良性であるのか、悪性であればどのような病気であるのか、その病気の進行度合いはどれくらいか、といったように、検出された病変部位の種類又は性質等を見分けることをいう。

これらの検出処理と識別処理を行うための画像認識モデルとは、機械学習又は深層学習等によって決められた特徴量抽出及び判別のためのパラメータ及びパラメータを用いて識別を行うプログラムを含むモデル（例えば、ニューラルネットワーク又はサポートベクターマシン等）である。

画像認識モデルは、病変部位の検出成功率又は病変部位の識別成功率等によってその性能を評価することができる。

サーバ５０の管理者によって生成される基準モデルは、その性能が、予め決められている一定の水準を満たすように設計される。

具体的には、特殊な症例の診断所見が付加された医用画像データを除く複数の医用画像データ（一般的な症例の診断所見が付加されたもの）に基づく機械学習又は深層学習によって、この基準モデルは生成される。

この基準モデルの生成に用いられた全ての医用画像データ又はこの全ての医用画像データの一部の医用画像データの集合は、上記の評価用データグループとして、サーバ５０のデータベース５３に記憶される。

図２は、図１に示す端末装置１Ａの制御部１０の機能ブロックを示す図である。

制御部１０のプロセッサは、制御部１０に内蔵されるＲＯＭに格納された診断支援プログラムを実行することにより、モデル設定部１０Ａ、認識処理部１０Ｂ、更新モデル生成部１０Ｃ、及び更新モデル評価依頼部１０Ｄを備える診断支援装置として機能する。

認識処理部１０Ｂは、データベース１Ｂに記憶された医用画像データ又は病院ＨＰ１内の医療機器からリアルタイムにて得られる医用画像データに画像認識モデルを適用し、この医用画像データに含まれる病変部位の認識処理を行う。この認識処理の結果は、端末装置１Ａに接続された図示省略の表示装置等に表示される。医師はこの結果を参考にして診断を行う。

認識処理部１０Ｂによる認識処理の結果、認識処理が低精度であることが医師によって判断される（病変部位が誤って検出されている、病変部位が含まれるにもかかわらず病変部位が検出されていない、病変部位の検出は正しくなされているが識別結果の内容が医師の望むほど詳細なものではない、又は病変部位の識別結果が誤っている等と判断される）と、認識処理部１０Ｂによる認識処理が低精度であったことを示す情報（以下、低精度情報という）が、医師の手作業により、認識処理が行われた医用画像データに関連付けてデータベース１Ｂに記憶される。

モデル設定部１０Ａは、認識処理部１０Ｂが医用画像データに適用すべき画像認識モデルの設定を行う。モデル設定部１０Ａは、初期状態においては、サーバ５０から配信された上記の基準モデルを設定する。

また、モデル設定部１０Ａは、サーバ５０からネットワーク４０を介して受信する後述の性能評価情報に基づいて、認識処理部１０Ｂが医用画像データに適用すべき画像認識モデルの設定の変更を行う。

更新モデル生成部１０Ｃは、低精度情報が付加された医用画像データが所定数、データベース１Ｂに記憶されると、この所定数の医用画像データの集合を学習データグループとする。

この学習データグループは、病変部位が誤って検出された医用画像データ、病変部位が含まれるにもかかわらず病変部位が検出されなかった医用画像データ、病変部位の検出は正しくなされているが識別結果の内容が医師の望むほど詳細なものではなかった医用画像データ、又は病変部位の識別が誤って行われた医用画像データ等によって構成される。学習データグループは、第一のグループを構成する。学習データグループを構成する医用画像データは、データベース５３に記憶されている評価用データグループを構成する医用画像データとは重複していないものである。

そして、更新モデル生成部１０Ｃは、モデル設定部１０Ａによって設定されている画像認識モデルである設定モデルから、この学習データグループに基づく学習によって、第一の更新用の画像認識モデル（以下、第一の更新モデルという）を生成する。

具体的には、更新モデル生成部１０Ｃは、学習データグループを認識対象としたときの更新用の画像認識モデルの能力（例えば検出成功率又は識別成功率）が、予め決められた設定値以上となるように、学習データグループを用いた機械学習又は深層学習によって、設定モデルのパラメータ及び階層構造のうちの少なくとも一方を修正し、修正後の設定モデルを第一の更新モデルとする。

更新モデル評価依頼部１０Ｄは、更新モデル生成部１０Ｃによって生成された第一の更新モデルをサーバ５０に送信することで、サーバ５０によってこの第一の更新モデルを評価させる。更新モデルの送信とは、その更新モデルのパラメータの情報と、その更新モデルの構造の情報の少なくとも一方を送信することを言う。

なお、端末装置２Ａの制御部２０の構成は、上記した制御部１０と同様であり、制御部１０の機能の説明において、端末装置１Ａを端末装置２Ａに読み替え、データベース１Ｂをデータベース２Ｂに読み替え、病院ＨＰ１を病院ＨＰ２に読み替えるだけであるため、説明を省略する。

また、端末装置３Ａの制御部３０の構成は、上記した制御部１０と同様であり、制御部１０の機能の説明において、端末装置１Ａを端末装置３Ａに読み替え、データベース１Ｂをデータベース３Ｂに読み替え、病院ＨＰ１を病院ＨＰ３に読み替えるだけであるため、説明を省略する。

図３は、図１に示すサーバ５０の制御部５１の機能ブロックを示す図である。

制御部５１のプロセッサは、制御部５１に内蔵されるＲＯＭに格納された管理プログラムを実行することにより、更新モデル受信部５１Ａ、モデル評価部５１Ｂ、及び性能評価情報送信部５１Ｃを備える管理装置として機能する。

更新モデル受信部５１Ａは、端末装置１Ａ（２Ａ，３Ａ）の更新モデル生成部１０Ｃによって生成された第一の更新モデルを、端末装置１Ａ（２Ａ，３Ａ）からネットワーク４０及び通信部５２を経由して受信する。

モデル評価部５１Ｂは、データベース５３から評価用データグループを取得し、この評価用データグループを用いて、更新モデル受信部５１Ａによって受信された第一の更新モデルの性能の評価を行う。

具体的には、モデル評価部５１Ｂは、更新モデル受信部５１Ａによって受信された第一の更新モデルに、評価用データグループの各医用画像データを入力し、評価用データグループを構成する医用画像データの総数に対する、認識処理の結果が成功となった医用画像データの割合（認識成功率）を算出する。

モデル評価部５１Ｂは、この認識成功率が、基準モデルにおける認識成功率よりも低くなっている場合には、第一の更新モデルの性能が低下したことを示す評価結果情報を生成する。

一方、モデル評価部５１Ｂは、この認識成功率が、基準モデルにおける認識成功率以上になっている場合には、第一の更新モデルの性能が低下していないことを示す評価結果情報を生成する。

性能評価情報送信部５１Ｃは、モデル評価部５１Ｂによって生成された評価結果情報を、通信部５２及びネットワーク４０を介して、第一の更新モデルの送信元の端末装置（１Ａ、２Ａ、３Ａ）に送信する。

図２に示すモデル設定部１０Ａは、サーバ５０から受信した上記の性能評価情報に基づく第一の更新モデルの性能が予め決められた条件を満たす場合には、認識処理部１０Ｂが医用画像データに適用すべき画像認識モデルを、更新モデル生成部１０Ｃによって生成された第一の更新モデルに変更する。

一方、図２に示すモデル設定部１０Ａは、サーバ５０から受信した上記の性能評価情報に基づく第一の更新モデルの性能が上記条件を満たさない場合には、認識処理部１０Ｂが医用画像データに適用すべき画像認識モデルの設定変更は行わない。

上記の条件は、第一の更新モデルの性能が基準モデルの性能以上であるという内容が設定される。上記の条件は、これに限らず、例えば、第一の更新モデルの性能と基準モデルの性能との差が閾値未満であるという内容が設定されていてもよい。

以上のように構成された診断支援システム１００の動作について説明する。

図４は、図１に示す診断支援システム１００の動作を説明するためのシーケンスチャートである。図４では、端末装置１Ａとサーバ５０の間の動作を例示しているが、端末装置２Ａ，３Ａとサーバ５０の間の動作についても同様である。

基準モデルが端末装置１Ａに配信されると、端末装置１Ａのモデル設定部１０Ａは、この基準モデルを、初期の画像認識モデルとして設定する（ステップＳ１）。

その後、低精度情報が関連付けられた医用画像データからなる学習データグループがデータベース１Ｂに蓄積されると、端末装置１Ａの更新モデル生成部１０Ｃは、モデル設定部１０Ａにより設定されている画像認識モデルを、この学習データグループに基づいて学習し、この画像認識モデルから第一の更新モデルを生成する（ステップＳ２）。

次に、端末装置１Ａの更新モデル評価依頼部１０Ｄは、ステップＳ２にて生成された第一の更新モデルを、ネットワーク４０を介して、サーバ５０に送信する（ステップＳ３）。

サーバ５０では、更新モデル受信部５１Ａが、ステップＳ３にて送信された第一の更新モデルを受信する（ステップＳ４）。

そして、サーバ５０のモデル評価部５１Ｂは、データベース５３から評価用データグループを取得し（ステップＳ５）、この評価用データグループを用いて、ステップＳ４にて受信された第一の更新モデルの性能を評価する（ステップＳ６）。

ステップＳ６の処理にて性能評価情報が生成されると、サーバ５０の性能評価情報送信部５１Ｃは、この性能評価情報を、ネットワーク４０を介して端末装置１Ａに送信する（ステップＳ７）。

ステップＳ７にて送信された性能評価情報が端末装置１Ａの通信部１１にて受信されると、モデル設定部１０Ａは、この受信された性能評価情報に基づいて、画像認識モデルの設定を変更すべきか否かを判定する（ステップＳ８）。

モデル設定部１０Ａは、性能評価情報が性能低下を示す情報であった場合（ステップＳ８：ＹＥＳ）には、現在設定している画像認識モデルの設定を維持する。この場合には、ステップＳ２に処理が戻る。

モデル設定部１０Ａは、性能評価情報が性能低下のないことを示す情報であった場合（ステップＳ８：ＮＯ）には、設定中の画像認識モデルを、ステップＳ２にて生成された第一の更新モデルに変更する（ステップＳ９）。ステップＳ９の後は、ステップＳ２に処理が戻る。

以上のように、診断支援システム１００によれば、例えば端末装置１Ａにおいて第一の更新モデルが生成されると、この第一の更新モデルの性能の評価がサーバ５０において行われる。この性能の評価に用いられる評価用データグループは、基準モデルの生成に用いられた医用画像データの集合である。このため、この評価用データグループに対する第一の更新モデルの性能が、基準モデルの性能と同等以上となっていれば、第一の更新モデルの性能は、一定の水準を満たすものとなる。

そして、サーバ５０において評価された第一の更新モデルの性能が基準モデルの性能以上となっている場合には、端末装置１Ａにおいて、設定中の画像認識モデルが第一の更新モデルに変更される。

このため、端末装置１Ａにおいては、特殊な症例の診断所見が関連付けられた医用画像データを含む学習データグループと、一般的な診断所見が関連付けられた医用画像データを含む評価用データグループとのそれぞれに高い性能にて対応可能な第一の更新モデルを設定することができる。

したがって、端末装置１Ａ，２Ａ，３Ａにおける認識処理の精度を高めることができ、各病院に対して効果的な診断支援が可能になる。

また、診断支援システム１００によれば、膨大な量の医用画像データを含む評価用データグループを用いた第一の更新モデルの性能の評価がサーバ５０によって行われる。このように、負荷の大きい処理がサーバ５０によって行われることで、各端末装置１Ａ，２Ａ，３Ａの制御部として高性能のものを用意する必要がなくなる。この結果、病院の経営コストの増大を防ぐことができる。

また、診断支援システム１００によれば、端末装置１Ａ，２Ａ，３Ａとサーバ５０との間で送受信される情報は、第一の更新モデルと性能評価情報のみとなる。

このため、秘匿性の高い医用画像データが病院の外部に流出するリスクを減らすことができ、安全性を高めることができる。また、システム全体における通信量を減らすことができ、ネットワークとして専用線を構築する等のコストが不要となり、システム全体のコストを低減することができる。

図５は、診断支援システム１００の動作の変形例を説明するためのシーケンスチャートである。図５に示すシーケンスチャートは、図４に示すシーケンスチャートに、ステップＳ１０〜ステップＳ１７が追加されたものである。図５において図４と同じ処理には同一符号を付して説明を省略する。

モデル設定部１０Ａは、性能評価情報が性能低下を示す情報であった場合（ステップＳ８：ＹＥＳ）には、現在設定している画像認識モデルの設定を維持する。そして、この場合には、端末装置１Ａの更新モデル生成部１０Ｃが、ステップＳ２の第一の更新モデルの生成に用いた学習データグループに基づく再学習によって、ステップＳ２において生成された第一の更新モデルから、新たな第二の更新用の画像認識モデル（以下、第二の更新モデルという）を生成する（ステップＳ１０）。

例えば、ステップＳ２において生成された第一の更新モデルが、学習データグループに含まれる全ての医用画像データに対して病変部位の認識（検出及び識別）を成功することのできる性能を持っている場合を例にする。

この例であれば、ステップＳ１０において、更新モデル生成部１０Ｃは、学習データグループに含まれる全ての医用画像データのうちの例えば５０％に対して病変部位の認識（検出及び識別）を成功することのできる性能を持つ第二の更新モデルを再学習によって生成する。

次に、更新モデル評価依頼部１０Ｄは、ステップＳ１０にて生成された第二の更新モデルをサーバ５０に送信する（ステップＳ１１）。

サーバ５０では、更新モデル受信部５１Ａが、ステップＳ１１にて送信された第二の更新モデルを受信する（ステップＳ１２）。

そして、サーバ５０のモデル評価部５１Ｂは、データベース５３から評価用データグループを取得し（ステップＳ１３）、この評価用データグループを用いて、ステップＳ１２にて受信された第二の更新モデルの性能を評価する（ステップＳ１４）。

ステップＳ１４の処理にて性能評価情報が生成されると、サーバ５０の性能評価情報送信部５１Ｃは、この性能評価情報を、ネットワーク４０を介して端末装置１Ａに送信する（ステップＳ１５）。

ステップＳ１５にて送信された性能評価情報が端末装置１Ａの通信部１１にて受信されると、モデル設定部１０Ａは、この受信された性能評価情報に基づいて、画像認識モデルの設定を変更すべきか否かを判定する。

モデル設定部１０Ａは、受信された性能評価情報が性能低下を示す情報であった場合（ステップＳ１６：ＹＥＳ）には、現在設定している画像認識モデルの設定を維持する。この場合には、ステップＳ２に処理が戻る。

モデル設定部１０Ａは、受信された性能評価情報が性能低下のないことを示す情報であった場合（ステップＳ１６：ＮＯ）には、設定中の画像認識モデルを、ステップＳ１０にて生成された第二の更新モデルに変更する（ステップＳ１７）。ステップＳ１７の後は、ステップＳ２に処理が戻る。

なお、図５に示す動作例では、ステップＳ８の判定がＹＥＳとなった場合に、更新モデル生成部１０Ｃによって第二の更新モデルが１回生成され、この第二の更新モデルの性能に低下があった場合には、設定中の画像認識モデルの変更は行われないものとしている。

しかし、ステップＳ１６の判定がＹＥＳとなる場合に、ステップＳ１０にて生成された第二の更新モデルとは異なる新たな第二の更新モデルを更新モデル生成部１０Ｃにより生成し、この新たな第二の更新モデルの性能に低下があった場合に、設定中の画像認識モデルの変更は行われず、この新たな第二の更新モデルの性能に低下がない場合に、設定中の画像認識モデルがこの新たな第二の更新モデルに変更されるようにしてもよい。

つまり、図５において、ステップＳ８の判定がＹＥＳとなった場合に、ステップＳ１０〜ステップＳ１７までの処理のセットが複数回行われてもよい。ただし、この複数回のセットの各々において再学習によって生成される第二の更新モデルは、全て異なる性能を有するものとなる。

第一の更新モデルの性能を評価用データグループによって評価した結果、その性能が基準モデルよりも低下するということは、この第一の更新モデルに用いられた学習データグループを構成する医用画像データの特殊性が高く、第一の更新モデルが特殊性の高い医用画像データに対して過度な適応をしていると考えられる。

そこで、この学習データグループに対する認識処理の性能を低下させた第二の更新モデルを生成することで、この過度な適応を緩和することができる。この第二の更新モデルの性能を、評価用データグループを用いて評価した結果、その性能が基準モデルの性能と同等以上となっていれば、この第二の更新モデルは一定の水準を満たす性能を有することになる。

一方で、この第二の更新モデルは、学習データグループの一部（例えば５０％）の医用画像データに対しても十分な性能を得ることができる。このため、この第二の更新モデルが設定されることで、端末装置１Ａにおける認識処理の精度を高めることができる。

なお、再学習によって第二の更新モデルの性能を段階的に低下させていっても、その性能が基準モデルの性能と同等以上にならない場合には、学習データグループの特殊性が高すぎると言える。このような場合には、モデル設定部１０Ａが第一の更新モデル及び第二の更新モデルへの設定変更は行わないことで、端末装置１Ａにおいて一定の水準の性能を維持することができる。

次に、図１に示す診断支援システム１００の第一の変形例について説明する。この第一の変形例では、診断支援システム１００における端末装置１Ａ，２Ａ，３Ａの制御部１０，２０，３０の機能が変更され、診断支援システム１００におけるサーバ５０の制御部５１の機能が変更されている。

図６は、第一の変形例の診断支援システム１００における端末装置１Ａの制御部１０の機能ブロックを示す図である。図６において図２に示した構成と同じ構成には同一符号を付して詳細な説明は省略する。なお、制御部２０と制御部３０の機能ブロックについても、図６に示す構成と同様である。

図６に示す制御部１０のプロセッサは、制御部１０に内蔵されるＲＯＭに格納された診断支援プログラムを実行することにより、モデル設定部１０Ａ、認識処理部１０Ｂ、更新モデル生成部１０Ｃ、更新モデル評価依頼部１０Ｄ、及び記憶制御部１０Ｅを備える診断支援装置として機能する。

記憶制御部１０Ｅは、サーバ５０から受信した性能評価情報に基づく第一の更新モデルの性能が上記の条件を満たす場合に、この更新モデルの生成に用いられた学習データグループに含まれる全ての医用画像データをサーバ５０に送信し、この全ての医用画像データを、評価用データグループを構成する医用画像データとしてデータベース５３に記憶させる。

図７は、第一の変形例の診断支援システム１００におけるサーバ５０の制御部５１の機能ブロックを示す図である。図７において図３と同じ構成には同一符号を付して詳細な説明は省略する。

図７に示す制御部５１のプロセッサは、制御部５１に内蔵されるＲＯＭに格納された管理プログラムを実行することにより、更新モデル受信部５１Ａ、モデル評価部５１Ｂ、性能評価情報送信部５１Ｃ、医用画像受信部５１Ｄ、及び記憶制御部５１Ｅを備える管理装置として機能する。

医用画像受信部５１Ｄは、図６に示す制御部１０の記憶制御部１０Ｅによって送信された学習データグループを、通信部５２を介して受信する。

記憶制御部５１Ｅは、医用画像受信部５１Ｄにより受信された学習データグループを、データベース５３に記憶されている評価用データグループの一部として、データベース５３に記憶させる。つまり、記憶制御部５１Ｅは、評価用データグループの更新処理を行う。

図８は、第一の変形例の診断支援システム１００の動作を説明するためのシーケンスチャートである。図８では、端末装置１Ａとサーバ５０の間の動作を例示しているが、端末装置２Ａ，３Ａとサーバ５０の間の動作についても同様である。

図８に示すシーケンスチャートは、図４に示すシーケンスチャートにステップＳ１０とステップＳ１１が追加されたものである。図８において、図４と同じ処理には同一符号を付して説明を省略する。

ステップＳ９において制御部１０のモデル設定部１０Ａによって第一の更新モデルが設定されると、制御部１０の記憶制御部１０Ｅは、この第一の更新モデルの生成に用いられた学習データグループをサーバ５０に送信する（ステップＳ２０）。

ステップＳ２０にて送信された学習データグループがサーバ５０の医用画像受信部５１Ｄによって受信されると、この学習データグループが、サーバ５０の記憶制御部５１Ｅによって、評価用データグループに追加され、評価用データグループの更新が行われる（ステップＳ２１）。

以上のように、第一の変形例の診断支援システム１００によれば、例えば端末装置１Ａにおいて第一の更新モデルの設定が行われた場合には、この第一の更新モデルの生成に用いられた学習データグループが、評価用データグループとしてデータベース５３に追加記憶される。

端末装置１Ａにおいて設定された第一の更新モデルは、この第一の更新モデルの生成に用いた学習データグループと、評価用データグループとのどちらに対しても十分な性能を有するものとなっている。つまり、この学習データグループは、評価用データグループと比較して特殊性がそれほど高いものではないと判断することができる。

したがって、端末装置１Ａにおいて第一の更新モデルが設定された場合には、この第一の更新モデルの生成に用いた学習データグループを評価用データグループに追加することで、サーバ５０のモデル評価部５１Ｂが更新モデルの性能の評価のための扱うことのできる医用画像データの数を増やすことができ、更新モデルの性能の評価の精度を高めることができる。

以上の第一の変形例の診断支援システム１００においても、図５において説明した第二の更新モデルを生成する処理を適用することが可能である。

図９は、第一の変形例の診断支援システム１００の別の動作を説明するためのシーケンスチャートである。図９では、端末装置１Ａとサーバ５０の間の動作を例示しているが、端末装置２Ａ，３Ａとサーバ５０の間の動作についても同様である。

図９に示すシーケンスチャートは、図８に示すシーケンスチャートにステップＳ３０〜ステップＳ３９が追加されたものである。図９において図８と同じ処理には同一符号を付して説明を省略する。

モデル設定部１０Ａは、性能評価情報が性能低下を示す情報であった場合（ステップＳ８：ＹＥＳ）には、現在設定している画像認識モデルの設定を維持する。そして、この場合には、端末装置１Ａの更新モデル生成部１０Ｃが、ステップＳ２の第一の更新モデルの生成に用いた学習データグループに基づく再学習によって、第一の更新モデルから第二の更新モデルを生成する（ステップＳ３０）。

次に、更新モデル評価依頼部１０Ｄは、ステップＳ３０にて生成された第二の更新モデルをサーバ５０に送信する（ステップＳ３１）。

サーバ５０では、更新モデル受信部５１Ａが、ステップＳ３１にて送信された第二の更新モデルを受信する（ステップＳ３２）。

そして、サーバ５０のモデル評価部５１Ｂは、データベース５３から評価用データグループを取得し（ステップＳ３３）、この評価用データグループを用いて、ステップＳ３２にて受信された第二の更新モデルの性能の評価を行う（ステップＳ３４）。

ステップＳ３４の処理にて性能評価情報が生成されると、サーバ５０の性能評価情報送信部５１Ｃは、この性能評価情報を、ネットワーク４０を介して端末装置１Ａに送信する（ステップＳ３５）。

ステップＳ３５にて送信された性能評価情報が端末装置１Ａの通信部１１にて受信されると、モデル設定部１０Ａは、この受信された性能評価情報に基づいて、画像認識モデルの設定を変更すべきか否かを判定する。

モデル設定部１０Ａは、受信された性能評価情報が性能低下を示す情報であった場合（ステップＳ３６：ＹＥＳ）には、現在設定している画像認識モデルの設定を維持する。この場合には、ステップＳ２に処理が戻る。

モデル設定部１０Ａは、受信された性能評価情報が性能低下のないことを示す情報であった場合（ステップＳ３６：ＮＯ）には、設定中の画像認識モデルを、ステップＳ３０にて生成された第二の更新モデルに変更する（ステップＳ３７）。

ステップＳ３７にて第二の更新モデルが設定されると、制御部１０の記憶制御部１０Ｅは、この第二の更新モデルに用いた学習データグループのうち、この第二の更新モデルによって認識処理が成功される医用画像データを抽出し、抽出した医用画像データをサーバ５０に送信する（ステップＳ３８）。

ステップＳ３８にて送信された医用画像データがサーバ５０の医用画像受信部５１Ｄによって受信されると、この医用画像データが、サーバ５０の記憶制御部５１Ｅによって、評価用データグループに追加され、評価用データグループの更新が行われる（ステップＳ３９）。

以上のように、図９に示す動作例によれば、例えば端末装置１Ａにおいて第二の更新モデルの設定が行われた場合には、この第二の更新モデルの生成に用いられた学習データグループが、評価用データグループとしてデータベース５３に追加記憶される。

評価用データグループとしてデータベース５３に追加記憶される学習データグループの医用画像データは、第二の更新モデルによって認識を成功することのできるデータである。そして、この第二の更新モデルは、元の評価用データグループに対しても十分な認識性能を有するものである。つまり、第二の更新モデルによって認識を成功することのできる医用画像データは、評価用データグループと比較して特殊性がそれほど高いものではないと判断することができる。

したがって、端末装置１Ａにおいて第二の更新モデルが設定された場合には、この第二の更新モデルにおいて認識が成功される学習データグループの一部を評価用データグループに追加することで、サーバ５０による更新モデルの性能の評価の精度を高めることができる。

なお、ここまでの説明では、第二の更新モデルとして、その性能が第一の更新モデルよりも低いものを生成する例を示したが、これに限らない。第二の更新モデルは、第一の更新モデルとは構成（階層構造又はパラメータの少なくとも一方）が異なるものであればよい。

また、図５に示すフローチャートにおけるステップＳ１０と、図９に示すフローチャートにおけるステップＳ３０において、更新モデル生成部１０Ｃは、サーバ５０から評価用データグループを取得し、この評価用データグループを用いた再学習によって、第一の更新モデルから第二の更新モデルを生成するようにしてもよい。

この構成によれば、学習データグループと評価用データグループの両方に基づいて第二の更新モデルが生成されることになるため、第二の更新モデルの性能を向上させることができ、画像認識モデルの更新がなされる確率を高めることができる。

また、ここまで説明してきた診断支援システム１００において、サーバ５０の制御部５１のモデル評価部５１Ｂは、端末装置１Ａ，２Ａ，３Ａの制御部１０，２０，３０がそれぞれ有する構成であってもよい。

この構成では、制御部１０の更新モデル評価依頼部１０Ｄは、第一の更新モデル又は第二の更新モデルをモデル評価部５１Ｂに送信して、これらの更新モデルの性能を評価させる。そして、制御部１０のモデル設定部１０Ａは、モデル評価部５１Ｂによって生成された評価結果の情報に基づいて、画像認識モデルの設定変更を行う。

また、制御部１０のモデル評価部５１Ｂは、ネットワーク４０を介してデータベース５３にアクセスし、データベース５３から評価用データグループを取得して、更新モデルの評価に利用する。

このように、端末装置１Ａ，２Ａ，３Ａにおいて更新モデルの評価を行うことも可能である。この構成によれば、サーバ５０の処理負荷を軽減することができ、システム構築に要するコストを削減することができる。

以上説明してきたように、本明細書には以下の事項が開示されている。

（１）画像認識モデルを設定するモデル設定部と、上記モデル設定部によって設定された上記画像認識モデルを用いて、医用画像データに含まれる病変部位を認識する認識処理部と、上記モデル設定部によって設定された上記画像認識モデルである設定モデルから、複数の医用画像データからなる第一のグループに基づく学習によって第一の更新用の画像認識モデルを生成する更新モデル生成部と、上記第一のグループを構成する医用画像データとは異なる医用画像データのグループであり、且つ、上記モデル設定部によって最初に設定される上記画像認識モデルの生成に用いられた複数の医用画像データを少なくとも含む第二のグループを記憶する記憶部、から取得した上記第二のグループを用いて画像認識モデルの性能の評価を行うモデル評価部に、上記更新モデル生成部によって生成された上記第一の更新用の画像認識モデルを評価させる更新モデル評価依頼部と、を備え、上記モデル設定部は、上記モデル評価部によって評価された上記第一の更新用の画像認識モデルの性能が予め決められた条件を満たす場合に、設定する画像認識モデルを、上記設定モデルから上記第一の更新用の画像認識モデルに変更する診断支援装置。

（２）（１）記載の診断支援装置であって、上記更新モデル生成部は、上記第一の更新用の画像認識モデルの性能が上記条件を満たさない場合には、上記第一のグループに基づく再学習によって、上記第一の更新用の画像認識モデルから少なくとも１つの第二の更新用の画像認識モデルを生成し、上記更新モデル評価依頼部は、上記更新モデル生成部によって生成された上記第二の更新用の画像認識モデルを上記モデル評価部に評価させ、
上記モデル設定部は、上記モデル評価部によって評価された上記第二の更新用の画像認識モデルの性能が上記条件を満たす場合には、その条件を満たす性能があると評価された上記第二の更新用の画像認識モデルを設定する診断支援装置。

（３）（１）記載の診断支援装置であって、上記更新モデル生成部は、上記第一の更新用の画像認識モデルの性能が上記条件を満たさない場合には、上記第二のグループに基づく再学習によって、上記第一の更新用の画像認識モデルから少なくとも１つの第二の更新用の画像認識モデルを生成し、上記更新モデル評価依頼部は、上記更新モデル生成部によって生成された上記第二の更新用の画像認識モデルを上記モデル評価部に評価させ、上記モデル設定部は、上記モデル評価部によって評価された上記第二の更新用の画像認識モデルの性能が上記条件を満たす場合には、その条件を満たす性能があると評価された上記第二の更新用の画像認識モデルを設定する診断支援装置。

（４）（２）記載の診断支援装置であって、上記モデル設定部が上記第二の更新用の画像認識モデルを設定した場合に、上記第一のグループに含まれる上記医用画像データのうち、その第二の更新用の画像認識モデルによって病変部位の認識が成功される医用画像データを、上記第二のグループを構成する医用画像データとして上記記憶部に記憶させる記憶制御部を更に備える診断支援装置。

（５）（４）記載の診断支援装置であって、上記記憶制御部は、上記第一の更新用の画像認識モデルの性能が上記条件を満たす場合には、上記第一のグループに含まれる上記医用画像データを、上記第二のグループを構成する医用画像データとして上記記憶部に記憶させる診断支援装置。

（６）（１）〜（３）のいずれか１つに記載の診断支援装置であって、上記第一の更新用の画像認識モデルの性能が上記条件を満たす場合に、上記第一のグループに含まれる上記医用画像データを、上記第二のグループを構成する医用画像データとして上記記憶部に記憶させる記憶制御部を更に備える診断支援装置。

（７）（１）〜（６）のいずれか１つに記載の診断支援装置であって、上記モデル評価部は、上記診断支援装置にネットワークを介して接続された管理装置に設けられている診断支援装置。

（８）（１）〜（６）のいずれか１つに記載の診断支援装置であって、上記モデル評価部を更に備える診断支援装置。

（９）（１）〜（８）のいずれか１つに記載の診断支援装置を備える内視鏡装置。

（１０）モデル設定部によって設定された画像認識モデルによって、医用画像データに含まれる病変部位を認識する認識処理部と、上記モデル設定部によって設定された上記画像認識モデルである設定モデルから、複数の医用画像データからなる第一のグループに基づく学習によって第一の更新用の画像認識モデルを生成する更新モデル生成部と、を有する診断支援装置の管理を行う管理装置であって、上記更新モデル生成部によって生成された上記第一の更新用の画像認識モデルを、上記診断支援装置からネットワークを介して受信する更新モデル受信部と、上記第一のグループを構成する医用画像データとは異なる医用画像データのグループであり、且つ、上記モデル設定部によって最初に設定される上記画像認識モデルの生成に用いられた複数の医用画像データを少なくとも含む第二のグループを記憶する記憶部、から取得した上記第二のグループを用いて、上記更新モデル受信部によって受信した上記第一の更新用の画像認識モデルの性能の評価を行うモデル評価部と、上記モデル評価部による評価結果の情報を、上記ネットワークを介して上記診断支援装置に送信する性能評価情報送信部と、を備え、上記評価結果の情報に基づく上記第一の更新用の画像認識モデルの性能が予め決められた条件を満たす場合に、上記モデル設定部によって設定される画像認識モデルが、上記設定モデルから上記第一の更新用の画像認識モデルに変更される管理装置。

（１１）（１０）記載の管理装置であって、上記評価結果の情報に基づく上記性能が上記条件を満たさない場合には、上記第一のグループに基づく再学習によって、上記第一の更新用の画像認識モデルから少なくとも１つの第二の更新用の画像認識モデルが上記更新モデル生成部によって生成され、上記更新モデル受信部は、上記第二の更新用の画像認識モデルを上記診断支援装置から受信し、上記モデル評価部は、上記更新モデル受信部によって受信された上記第二の更新用の画像認識モデルの評価を行い、上記性能評価情報送信部は、上記モデル評価部による上記第二の更新用の画像認識モデルの評価結果の情報を上記診断支援装置に送信し、その評価結果の情報に基づく上記第二の更新用の画像認識モデルの性能が上記条件を満たす場合には、その条件を満たす性能があると評価された上記第二の更新用の画像認識モデルが上記モデル設定部によって設定される管理装置。

（１２）（１０）記載の管理装置であって、上記評価結果の情報に基づく上記性能が上記条件を満たさない場合には、上記第二のグループに基づく再学習によって、上記第一の更新用の画像認識モデルから少なくとも１つの第二の更新用の画像認識モデルが上記更新モデル生成部によって生成され、上記更新モデル受信部は、上記第二の更新用の画像認識モデルを上記診断支援装置から受信し、上記モデル評価部は、上記更新モデル受信部によって受信された上記第二の更新用の画像認識モデルの評価を行い、上記性能評価情報送信部は、上記モデル評価部による上記第二の更新用の画像認識モデルの評価結果の情報を上記診断支援装置に送信し、その評価結果の情報に基づく上記第二の更新用の画像認識モデルの性能が上記条件を満たす場合には、その条件を満たす性能があると評価された上記第二の更新用の画像認識モデルが上記モデル設定部によって設定される管理装置。

（１３）（１１）又は（１２）記載の管理装置であって、上記モデル設定部によって上記第二の更新用の画像認識モデルが設定された場合に、上記第一のグループに含まれる上記医用画像データのうち、その第二の更新用の画像認識モデルによって病変部位の認識が成功される医用画像データを、上記診断支援装置から上記ネットワークを介して受信する医用画像受信部と、上記医用画像受信部によって受信された上記医用画像データを、上記第二のグループを構成する医用画像データとして上記記憶部に記憶させる記憶制御部と、を更に備える管理装置。

（１４）（１３）記載の管理装置であって、上記医用画像受信部は、上記評価結果の情報に基づく上記第一の更新用の画像認識モデルの性能が上記条件を満たす場合には、上記第一のグループに含まれる上記医用画像データを、上記診断支援装置から上記ネットワークを介して受信し、上記記憶制御部は、上記医用画像受信部によって受信された上記医用画像データを、上記第二のグループを構成する医用画像データとして上記記憶部に記憶させる管理装置。

（１５）（１０）〜（１２）のいずれか１つに記載の管理装置であって、上記評価結果の情報に基づく上記第一の更新用の画像認識モデルの性能が上記条件を満たす場合に、上記第一のグループに含まれる上記医用画像データを、上記診断支援装置から上記ネットワークを介して受信する医用画像受信部と、上記医用画像受信部によって受信された上記医用画像データを、上記第二のグループを構成する医用画像データとして上記記憶部に記憶させる記憶制御部と、を更に備える管理装置。

（１６）画像認識モデルを設定するモデル設定ステップと、上記モデル設定ステップによって設定された上記画像認識モデルを用いて、医用画像データに含まれる病変部位を認識する認識処理ステップと、上記モデル設定ステップによって設定された上記画像認識モデルである設定モデルから、複数の医用画像データからなる第一のグループに基づく学習によって第一の更新用の画像認識モデルを生成する更新モデル生成ステップと、上記第一のグループを構成する医用画像データとは異なる医用画像データのグループであり、且つ、上記モデル設定ステップによって最初に設定される上記画像認識モデルの生成に用いられた複数の医用画像データを少なくとも含む第二のグループを記憶する記憶部、から取得した上記第二のグループを用いて画像認識モデルの性能の評価を行うモデル評価部に、上記更新モデル生成ステップによって生成された上記第一の更新用の画像認識モデルを評価させる更新モデル評価依頼ステップと、を備え、上記モデル設定ステップは、上記モデル評価部によって評価された上記第一の更新用の画像認識モデルの性能が予め決められた条件を満たす場合に、設定する画像認識モデルを、上記設定モデルから上記第一の更新用の画像認識モデルに変更する診断支援方法。

（１７）画像認識モデルを設定するモデル設定ステップと、上記モデル設定ステップによって設定された上記画像認識モデルを用いて、医用画像データに含まれる病変部位を認識する認識処理ステップと、上記モデル設定ステップによって設定された上記画像認識モデルである設定モデルから、複数の医用画像データからなる第一のグループに基づく学習によって第一の更新用の画像認識モデルを生成する更新モデル生成ステップと、上記第一のグループを構成する医用画像データとは異なる医用画像データのグループであり、且つ、上記モデル設定ステップによって最初に設定される上記画像認識モデルの生成に用いられた複数の医用画像データを少なくとも含む第二のグループを記憶する記憶部、から取得した上記第二のグループを用いて画像認識モデルの性能の評価を行うモデル評価部に、上記更新モデル生成ステップによって生成された上記第一の更新用の画像認識モデルを評価させる更新モデル評価依頼ステップと、をコンピュータに実行させるためのプログラムであって、上記モデル設定ステップでは、上記モデル評価部によって評価された上記第一の更新用の画像認識モデルの性能が予め決められた条件を満たす場合に、設定する画像認識モデルを、上記設定モデルから上記第一の更新用の画像認識モデルに変更する診断支援プログラム。

（１８）モデル設定部によって設定された画像認識モデルによって、医用画像データに含まれる病変部位を認識する認識処理部と、上記モデル設定部によって設定された上記画像認識モデルである設定モデルから、複数の医用画像データからなる第一のグループに基づく学習によって第一の更新用の画像認識モデルを生成する更新モデル生成部と、を有する診断支援装置の管理を行う管理方法であって、上記更新モデル生成部によって生成された上記第一の更新用の画像認識モデルを、上記診断支援装置からネットワークを介して受信する更新モデル受信ステップと、上記第一のグループを構成する医用画像データとは異なる医用画像データのグループであり、且つ、上記モデル設定部によって最初に設定される上記画像認識モデルの生成に用いられた複数の医用画像データを少なくとも含む第二のグループを記憶する記憶部、から取得した上記第二のグループを用いて、上記更新モデル受信ステップによって受信した上記第一の更新用の画像認識モデルの性能の評価を行うモデル評価ステップと、上記モデル評価ステップによる評価結果の情報を、上記ネットワークを介して上記診断支援装置に送信する性能評価情報送信ステップと、を備え、上記評価結果の情報に基づく上記第一の更新用の画像認識モデルの性能が予め決められた条件を満たす場合に、上記モデル設定部によって設定される画像認識モデルが、上記設定モデルから上記第一の更新用の画像認識モデルに変更される管理方法。

（１９）モデル設定部によって設定された画像認識モデルによって、医用画像データに含まれる病変部位を認識する認識処理部と、上記モデル設定部によって設定された上記画像認識モデルである設定モデルから、複数の医用画像データからなる第一のグループに基づく学習によって第一の更新用の画像認識モデルを生成する更新モデル生成部と、を有する診断支援装置の管理を行うための管理プログラムであって、上記更新モデル生成部によって生成された上記第一の更新用の画像認識モデルを、上記診断支援装置からネットワークを介して受信する更新モデル受信ステップと、上記第一のグループを構成する医用画像データとは異なる医用画像データのグループであり、且つ、上記モデル設定部によって最初に設定される上記画像認識モデルの生成に用いられた複数の医用画像データを少なくとも含む第二のグループを記憶する記憶部、から取得した上記第二のグループを用いて、上記更新モデル受信ステップによって受信した上記第一の更新用の画像認識モデルの性能の評価を行うモデル評価ステップと、上記モデル評価ステップによる評価結果の情報を、上記ネットワークを介して上記診断支援装置に送信する性能評価情報送信ステップと、をコンピュータに実行させるためのプログラムであり、上記評価結果の情報に基づく上記第一の更新用の画像認識モデルの性能が予め決められた条件を満たす場合に、上記モデル設定部によって設定される画像認識モデルが、上記設定モデルから上記第一の更新用の画像認識モデルに変更される管理プログラム。

１００診断支援システム
１Ａ，２Ａ，３Ａ端末装置
１Ｂ，２Ｂ，３Ｂデータベース
１１，２１，３１通信部
１０，２０，３０制御部
４０ネットワーク
５０サーバ
５１制御部
５２通信部
５３データベース
１０Ａモデル設定部
１０Ｂ認識処理部
１０Ｃ更新モデル生成部
１０Ｄ更新モデル評価依頼部
１０Ｅ記憶制御部
５１Ａ更新モデル受信部
５１Ｂモデル評価部
５１Ｃ性能評価情報送信部
５１Ｄ医用画像受信部
５１Ｅ記憶制御部

Claims

画像認識モデルを設定するモデル設定部と、
前記モデル設定部によって設定された前記画像認識モデルを用いて、医用画像データに含まれる病変部位を認識する認識処理部と、
前記モデル設定部によって設定された前記画像認識モデルである設定モデルから、複数の医用画像データからなる第一のグループに基づく学習によって第一の更新用の画像認識モデルを生成する更新モデル生成部と、
前記第一のグループを構成する医用画像データとは異なる医用画像データのグループであり、且つ、前記モデル設定部によって最初に設定される前記画像認識モデルの生成に用いられた複数の医用画像データを少なくとも含む第二のグループを記憶する記憶部、から取得した前記第二のグループを用いて画像認識モデルの性能の評価を行うモデル評価部に、前記更新モデル生成部によって生成された前記第一の更新用の画像認識モデルを評価させる更新モデル評価依頼部と、を備え、
前記モデル設定部は、前記モデル評価部によって評価された前記第一の更新用の画像認識モデルの性能が予め決められた条件を満たす場合に、設定する画像認識モデルを、前記設定モデルから前記第一の更新用の画像認識モデルに変更する診断支援装置。
請求項１記載の診断支援装置であって、
前記更新モデル生成部は、前記第一の更新用の画像認識モデルの性能が前記条件を満たさない場合には、前記第一のグループに基づく再学習によって、前記第一の更新用の画像認識モデルから少なくとも１つの第二の更新用の画像認識モデルを生成し、
前記更新モデル評価依頼部は、前記更新モデル生成部によって生成された前記第二の更新用の画像認識モデルを前記モデル評価部に評価させ、
前記モデル設定部は、前記モデル評価部によって評価された前記第二の更新用の画像認識モデルの性能が前記条件を満たす場合には、当該条件を満たす性能があると評価された前記第二の更新用の画像認識モデルを設定する診断支援装置。
請求項１記載の診断支援装置であって、
前記更新モデル生成部は、前記第一の更新用の画像認識モデルの性能が前記条件を満たさない場合には、前記第二のグループに基づく再学習によって、前記第一の更新用の画像認識モデルから少なくとも１つの第二の更新用の画像認識モデルを生成し、
前記更新モデル評価依頼部は、前記更新モデル生成部によって生成された前記第二の更新用の画像認識モデルを前記モデル評価部に評価させ、
前記モデル設定部は、前記モデル評価部によって評価された前記第二の更新用の画像認識モデルの性能が前記条件を満たす場合には、当該条件を満たす性能があると評価された前記第二の更新用の画像認識モデルを設定する診断支援装置。
請求項２記載の診断支援装置であって、
前記モデル設定部が前記第二の更新用の画像認識モデルを設定した場合に、前記第一のグループに含まれる前記医用画像データのうち、当該第二の更新用の画像認識モデルによって病変部位の認識が成功される医用画像データを、前記第二のグループを構成する医用画像データとして前記記憶部に記憶させる記憶制御部を更に備える診断支援装置。
請求項４記載の診断支援装置であって、
前記記憶制御部は、前記第一の更新用の画像認識モデルの性能が前記条件を満たす場合には、前記第一のグループに含まれる前記医用画像データを、前記第二のグループを構成する医用画像データとして前記記憶部に記憶させる診断支援装置。
請求項１〜３のいずれか１項記載の診断支援装置であって、
前記第一の更新用の画像認識モデルの性能が前記条件を満たす場合に、前記第一のグループに含まれる前記医用画像データを、前記第二のグループを構成する医用画像データとして前記記憶部に記憶させる記憶制御部を更に備える診断支援装置。
請求項１〜６のいずれか１項記載の診断支援装置であって、
前記モデル評価部は、前記診断支援装置にネットワークを介して接続された管理装置に設けられている診断支援装置。
請求項１〜６のいずれか１項記載の診断支援装置であって、
前記モデル評価部を更に備える診断支援装置。
請求項１〜８のいずれか１項記載の診断支援装置を備える内視鏡装置。
モデル設定部によって設定された画像認識モデルによって、医用画像データに含まれる病変部位を認識する認識処理部と、前記モデル設定部によって設定された前記画像認識モデルである設定モデルから、複数の医用画像データからなる第一のグループに基づく学習によって第一の更新用の画像認識モデルを生成する更新モデル生成部と、を有する診断支援装置の管理を行う管理装置であって、
前記更新モデル生成部によって生成された前記第一の更新用の画像認識モデルを、前記診断支援装置からネットワークを介して受信する更新モデル受信部と、
前記第一のグループを構成する医用画像データとは異なる医用画像データのグループであり、且つ、前記モデル設定部によって最初に設定される前記画像認識モデルの生成に用いられた複数の医用画像データを少なくとも含む第二のグループを記憶する記憶部、から取得した前記第二のグループを用いて、前記更新モデル受信部によって受信した前記第一の更新用の画像認識モデルの性能の評価を行うモデル評価部と、
前記モデル評価部による評価結果の情報を、前記ネットワークを介して前記診断支援装置に送信する性能評価情報送信部と、を備え、
前記評価結果の情報に基づく前記第一の更新用の画像認識モデルの性能が予め決められた条件を満たす場合に、前記モデル設定部によって設定される画像認識モデルが、前記設定モデルから前記第一の更新用の画像認識モデルに変更される管理装置。
請求項１０記載の管理装置であって、
前記評価結果の情報に基づく前記性能が前記条件を満たさない場合には、前記第一のグループに基づく再学習によって、前記第一の更新用の画像認識モデルから少なくとも１つの第二の更新用の画像認識モデルが前記更新モデル生成部によって生成され、
前記更新モデル受信部は、前記第二の更新用の画像認識モデルを前記診断支援装置から受信し、
前記モデル評価部は、前記更新モデル受信部によって受信された前記第二の更新用の画像認識モデルの評価を行い、
前記性能評価情報送信部は、前記モデル評価部による前記第二の更新用の画像認識モデルの評価結果の情報を前記診断支援装置に送信し、
当該評価結果の情報に基づく前記第二の更新用の画像認識モデルの性能が前記条件を満たす場合には、当該条件を満たす性能があると評価された前記第二の更新用の画像認識モデルが前記モデル設定部によって設定される管理装置。
請求項１０記載の管理装置であって、
前記評価結果の情報に基づく前記性能が前記条件を満たさない場合には、前記第二のグループに基づく再学習によって、前記第一の更新用の画像認識モデルから少なくとも１つの第二の更新用の画像認識モデルが前記更新モデル生成部によって生成され、
前記更新モデル受信部は、前記第二の更新用の画像認識モデルを前記診断支援装置から受信し、
前記モデル評価部は、前記更新モデル受信部によって受信された前記第二の更新用の画像認識モデルの評価を行い、
前記性能評価情報送信部は、前記モデル評価部による前記第二の更新用の画像認識モデルの評価結果の情報を前記診断支援装置に送信し、
当該評価結果の情報に基づく前記第二の更新用の画像認識モデルの性能が前記条件を満たす場合には、当該条件を満たす性能があると評価された前記第二の更新用の画像認識モデルが前記モデル設定部によって設定される管理装置。
請求項１１又は１２記載の管理装置であって、
前記モデル設定部によって前記第二の更新用の画像認識モデルが設定された場合に、前記第一のグループに含まれる前記医用画像データのうち、当該第二の更新用の画像認識モデルによって病変部位の認識が成功される医用画像データを、前記診断支援装置から前記ネットワークを介して受信する医用画像受信部と、
前記医用画像受信部によって受信された前記医用画像データを、前記第二のグループを構成する医用画像データとして前記記憶部に記憶させる記憶制御部と、を更に備える管理装置。
請求項１３記載の管理装置であって、
前記医用画像受信部は、前記評価結果の情報に基づく前記第一の更新用の画像認識モデルの性能が前記条件を満たす場合には、前記第一のグループに含まれる前記医用画像データを、前記診断支援装置から前記ネットワークを介して受信し、
前記記憶制御部は、前記医用画像受信部によって受信された前記医用画像データを、前記第二のグループを構成する医用画像データとして前記記憶部に記憶させる管理装置。
請求項１０〜１２のいずれか１項記載の管理装置であって、
前記評価結果の情報に基づく前記第一の更新用の画像認識モデルの性能が前記条件を満たす場合に、前記第一のグループに含まれる前記医用画像データを、前記診断支援装置から前記ネットワークを介して受信する医用画像受信部と、
前記医用画像受信部によって受信された前記医用画像データを、前記第二のグループを構成する医用画像データとして前記記憶部に記憶させる記憶制御部と、を更に備える管理装置。
診断支援装置が下記ステップを実行することで診断支援する診断支援方法であって、
画像認識モデルを設定するモデル設定ステップと、
前記モデル設定ステップによって設定された前記画像認識モデルを用いて、医用画像データに含まれる病変部位を認識する認識処理ステップと、
前記モデル設定ステップによって設定された前記画像認識モデルである設定モデルから、複数の医用画像データからなる第一のグループに基づく学習によって第一の更新用の画像認識モデルを生成する更新モデル生成ステップと、
前記第一のグループを構成する医用画像データとは異なる医用画像データのグループであり、且つ、前記モデル設定ステップによって最初に設定される前記画像認識モデルの生成に用いられた複数の医用画像データを少なくとも含む第二のグループを記憶する記憶部、から取得した前記第二のグループを用いて画像認識モデルの性能の評価を行うモデル評価部に、前記更新モデル生成ステップによって生成された前記第一の更新用の画像認識モデルを評価させる更新モデル評価依頼ステップと、を備え、
前記モデル設定ステップは、前記モデル評価部によって評価された前記第一の更新用の画像認識モデルの性能が予め決められた条件を満たす場合に、設定する画像認識モデルを、前記設定モデルから前記第一の更新用の画像認識モデルに変更する診断支援方法。
画像認識モデルを設定するモデル設定ステップと、
前記モデル設定ステップによって設定された前記画像認識モデルを用いて、医用画像データに含まれる病変部位を認識する認識処理ステップと、
前記モデル設定ステップによって設定された前記画像認識モデルである設定モデルから、複数の医用画像データからなる第一のグループに基づく学習によって第一の更新用の画像認識モデルを生成する更新モデル生成ステップと、
前記第一のグループを構成する医用画像データとは異なる医用画像データのグループであり、且つ、前記モデル設定ステップによって最初に設定される前記画像認識モデルの生成に用いられた複数の医用画像データを少なくとも含む第二のグループを記憶する記憶部、から取得した前記第二のグループを用いて画像認識モデルの性能の評価を行うモデル評価部に、前記更新モデル生成ステップによって生成された前記第一の更新用の画像認識モデルを評価させる更新モデル評価依頼ステップと、をコンピュータに実行させるためのプログラムであって、
前記モデル設定ステップでは、前記モデル評価部によって評価された前記第一の更新用の画像認識モデルの性能が予め決められた条件を満たす場合に、設定する画像認識モデルを、前記設定モデルから前記第一の更新用の画像認識モデルに変更する診断支援プログラム。
モデル設定部によって設定された画像認識モデルによって、医用画像データに含まれる病変部位を認識する認識処理部と、前記モデル設定部によって設定された前記画像認識モデルである設定モデルから、複数の医用画像データからなる第一のグループに基づく学習によって第一の更新用の画像認識モデルを生成する更新モデル生成部と、を有する診断支援装置の管理を行う管理方法であって、
前記更新モデル生成部によって生成された前記第一の更新用の画像認識モデルを、前記診断支援装置からネットワークを介して受信する更新モデル受信ステップと、
前記第一のグループを構成する医用画像データとは異なる医用画像データのグループであり、且つ、前記モデル設定部によって最初に設定される前記画像認識モデルの生成に用いられた複数の医用画像データを少なくとも含む第二のグループを記憶する記憶部、から取得した前記第二のグループを用いて、前記更新モデル受信ステップによって受信した前記第一の更新用の画像認識モデルの性能の評価を行うモデル評価ステップと、
前記モデル評価ステップによる評価結果の情報を、前記ネットワークを介して前記診断支援装置に送信する性能評価情報送信ステップと、を備え、
前記評価結果の情報に基づく前記第一の更新用の画像認識モデルの性能が予め決められた条件を満たす場合に、前記モデル設定部によって設定される画像認識モデルが、前記設定モデルから前記第一の更新用の画像認識モデルに変更される管理方法。
モデル設定部によって設定された画像認識モデルによって、医用画像データに含まれる病変部位を認識する認識処理部と、前記モデル設定部によって設定された前記画像認識モデルである設定モデルから、複数の医用画像データからなる第一のグループに基づく学習によって第一の更新用の画像認識モデルを生成する更新モデル生成部と、を有する診断支援装置の管理を行うための管理プログラムであって、
前記更新モデル生成部によって生成された前記第一の更新用の画像認識モデルを、前記診断支援装置からネットワークを介して受信する更新モデル受信ステップと、
前記第一のグループを構成する医用画像データとは異なる医用画像データのグループであり、且つ、前記モデル設定部によって最初に設定される前記画像認識モデルの生成に用いられた複数の医用画像データを少なくとも含む第二のグループを記憶する記憶部、から取得した前記第二のグループを用いて、前記更新モデル受信ステップによって受信した前記第一の更新用の画像認識モデルの性能の評価を行うモデル評価ステップと、
前記モデル評価ステップによる評価結果の情報を、前記ネットワークを介して前記診断支援装置に送信する性能評価情報送信ステップと、をコンピュータに実行させるためのプログラムであり、
前記評価結果の情報に基づく前記第一の更新用の画像認識モデルの性能が予め決められた条件を満たす場合に、前記モデル設定部によって設定される画像認識モデルが、前記設定モデルから前記第一の更新用の画像認識モデルに変更される管理プログラム。