JP7374202B2 - 機械学習システムおよび方法、統合サーバ、プログラムならびに推論モデルの作成方法 - Google Patents
機械学習システムおよび方法、統合サーバ、プログラムならびに推論モデルの作成方法 Download PDFInfo
- Publication number
- JP7374202B2 JP7374202B2 JP2021548338A JP2021548338A JP7374202B2 JP 7374202 B2 JP7374202 B2 JP 7374202B2 JP 2021548338 A JP2021548338 A JP 2021548338A JP 2021548338 A JP2021548338 A JP 2021548338A JP 7374202 B2 JP7374202 B2 JP 7374202B2
- Authority
- JP
- Japan
- Prior art keywords
- client
- learning
- accuracy
- master model
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000010801 machine learning Methods 0.000 title claims description 79
- 238000000034 method Methods 0.000 title claims description 57
- 230000013016 learning Effects 0.000 claims description 370
- 230000006866 deterioration Effects 0.000 claims description 79
- 238000012545 processing Methods 0.000 claims description 69
- 238000004891 communication Methods 0.000 claims description 53
- 230000006870 function Effects 0.000 claims description 49
- 238000013500 data storage Methods 0.000 claims description 38
- 238000012795 verification Methods 0.000 claims description 35
- 238000000605 extraction Methods 0.000 claims description 30
- 238000011156 evaluation Methods 0.000 claims description 14
- 239000000284 extract Substances 0.000 claims description 13
- 238000013528 artificial neural network Methods 0.000 claims description 10
- 230000007717 exclusion Effects 0.000 claims description 6
- 238000013527 convolutional neural network Methods 0.000 claims description 4
- 238000001514 detection method Methods 0.000 claims description 3
- 230000000306 recurrent effect Effects 0.000 claims description 3
- 230000008569 process Effects 0.000 description 29
- 238000013473 artificial intelligence Methods 0.000 description 24
- 238000004364 calculation method Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 10
- 230000010365 information processing Effects 0.000 description 10
- 238000012549 training Methods 0.000 description 8
- 230000010354 integration Effects 0.000 description 7
- 230000005540 biological transmission Effects 0.000 description 6
- 238000002591 computed tomography Methods 0.000 description 6
- 230000007246 mechanism Effects 0.000 description 6
- 230000007423 decrease Effects 0.000 description 5
- 238000003745 diagnosis Methods 0.000 description 5
- 238000002595 magnetic resonance imaging Methods 0.000 description 5
- 230000001360 synchronised effect Effects 0.000 description 5
- 230000002542 deteriorative effect Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 206010058467 Lung neoplasm malignant Diseases 0.000 description 3
- 101150013204 MPS2 gene Proteins 0.000 description 3
- 238000004422 calculation algorithm Methods 0.000 description 3
- 230000003247 decreasing effect Effects 0.000 description 3
- 238000013135 deep learning Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 230000018109 developmental process Effects 0.000 description 3
- 230000006872 improvement Effects 0.000 description 3
- 201000005202 lung cancer Diseases 0.000 description 3
- 208000020816 lung neoplasm Diseases 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012360 testing method Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 201000010099 disease Diseases 0.000 description 2
- 208000037265 diseases, disorders, signs and symptoms Diseases 0.000 description 2
- 238000005401 electroluminescence Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 230000003902 lesion Effects 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000002600 positron emission tomography Methods 0.000 description 2
- 241001421757 Arcas Species 0.000 description 1
- 208000003174 Brain Neoplasms Diseases 0.000 description 1
- 206010035664 Pneumonia Diseases 0.000 description 1
- 238000012896 Statistical algorithm Methods 0.000 description 1
- 238000012152 algorithmic method Methods 0.000 description 1
- 238000002583 angiography Methods 0.000 description 1
- 201000003639 autosomal recessive cerebellar ataxia Diseases 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000004195 computer-aided diagnosis Methods 0.000 description 1
- 229940079593 drug Drugs 0.000 description 1
- 239000003814 drug Substances 0.000 description 1
- 230000005611 electricity Effects 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000009607 mammography Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000013178 mathematical model Methods 0.000 description 1
- 210000000653 nervous system Anatomy 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000002601 radiography Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000002604 ultrasonography Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
- G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
- G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/20—ICT specially adapted for the handling or processing of medical images for handling medical images, e.g. DICOM, HL7 or PACS
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H30/00—ICT specially adapted for the handling or processing of medical images
- G16H30/40—ICT specially adapted for the handling or processing of medical images for processing medical images, e.g. editing
-
- G—PHYSICS
- G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
- G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
- G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
- G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Public Health (AREA)
- Medical Informatics (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Primary Health Care (AREA)
- Epidemiology (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Pathology (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Molecular Biology (AREA)
- Databases & Information Systems (AREA)
- Evolutionary Computation (AREA)
- Computing Systems (AREA)
- Biophysics (AREA)
- Artificial Intelligence (AREA)
- Life Sciences & Earth Sciences (AREA)
- Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
- Radiology & Medical Imaging (AREA)
- Business, Economics & Management (AREA)
- General Business, Economics & Management (AREA)
- Medical Treatment And Welfare Office Work (AREA)
Description
本発明は機械学習システムおよび方法、統合サーバ、情報処理装置、プログラムならびに推論モデルの作成方法に係り、特にフェデレーテッドラーニング（Federated Learning）の仕組みを利用する機械学習技術に関する。
深層学習を用いた医療用ＡＩ（Artificial Intelligence）の開発時にはＡＩモデルを学習させる必要があるが、この学習のためには診断画像などの学習データを医療機関から外部の開発現場あるいは開発サーバなどに持ち出す必要がある。このため、学習データの提供に協力してもらえる医療機関が少ない現状がある。また、医療機関から学習データを提供してもらえたとしても、プライバシー関連のリスクが常に存在する。
一方、非特許文献１で提案されたフェデレーテッドラーニングの仕組みを用いると、学習させたいデータが存在する端末上で学習を行い、それら端末群からそれぞれの端末上での学習結果であるネットワークモデルの重みパラメータのみを統合サーバに送信する。つまり、フェデレーテッドラーニングでは、学習データを統合サーバ側に提供することなく、それぞれの端末上での学習結果のデータのみが端末側から統合サーバ側に提供される。
このことから、プライバシー上配慮が必要なデータそのものを外部に持ち出すことなく学習が可能であるとして、フェデレーテッドラーニングは近年注目を集めている技術である。
非特許文献２には、医療用ＡＩの開発にフェデレーテッドラーニングを適用した例の成果が報告されている。
H.Brendan, McMahan Eider, Moore Daniel Ramage, Seth Hampson, and Blaise Ag¨ueray Arcas,"Communication-Efficient Learning of Deep Networks from Decentralized Data, arXiv:1602.05629v3 [cs.LG], 28 Feb 2017
Micah J Sheller, G Anthony Reina, Brandon Edwards, Jason Martin, and Spyridon Bakas,"Multi-Institutional Deep Learning Modeling Without Sharing Patient Data: A Feasibility Study on Brain Tumor Segmentation", arXiv:1810.04304v2 [cs.LG], 22 Oct 2018
Eugene Bagdasaryan, Andreas Veit, Yiqing Hua, Deborah Estrin, and Vitaly Shmatikov, "How to Backdoor Federated Learning", arXiv:1807.00459v2 [cs.CR], 1 Oct 2018
医療用ＡＩの開発にフェデレーテッドラーニングを使用すると、診断画像などのデータの持ち出しは不要になるが、多数の医療機関が学習に関与するようになるため、学習の精度を担保するための仕組みが必要である。
非特許文献３は、フェデレーテッドラーニングの学習に参加しているクライアントの一部が不正なデータを学習に混入させた場合、フェデレーテッドラーニングのアルゴリズム的には、不正なデータを学習に混入させたことに伴うマスターモデルの精度低下を防ぐ有効な手立てがないことを指摘している。例えば、学習に参加しているクライアントの一部が故意に画像内容を誤認させるようなデータを入れて学習を行うと、マスターモデルは特定の画像に関して誤判定をするようになる。このような課題をアルゴリズム的に有効に防げる手立てが今のところないとされている。
また、故意でなくても、例えば誤診されたデータが学習に混入することにより、上記のような問題が発生する可能性が想定される。例えば、ある医療機関が特定の疾患に関して複数の誤診をしていたようなデータを用いてモデルを学習させた場合に、精度を担保する仕組みが存在しない。
非特許文献２の「4.3節」でも述べられているように、既存のフェデレーテッドラーニングの仕組み単体では、不特定多数の医療機関が学習に参加してくるような状況下においては、学習精度を担保するためには、学習のために整備されたデータを用いて各医療機関において学習を行わせることを必要としている。
学習の精度を担保するための課題の１つは、学習に関与しているクライアント群の中から精度悪化の要因となっている学習に不適な問題のあるクライアントと、その他の問題の無いクライアントとを選別することである。また、他の課題の１つは学習に不適なクライアントの学習への影響を抑制することである。
本発明はこのような事情に鑑みてなされ、上記の複数の課題の少なくとも１つを解決し、診断画像などプライバシーに配慮が必要な個人情報を医療機関側から外部に持ち出さずにＡＩモデルの学習を行うためのフェデレーテッドラーニングの仕組みを実装した際に、一部のクライアントに起因するマスターモデルの精度低下を抑制することが可能になる機械学習システムおよび方法、統合サーバ、情報処理装置、プログラムならびに推論モデルの作成方法を提供することを目的とする。
本開示の一つの観点に係る機械学習システムは、複数のクライアント端末と、統合サーバと、を含む機械学習システムであって、複数のクライアント端末のそれぞれは、医療機関のデータ保存装置に保存されているデータを学習データに用いて学習モデルの機械学習を実行する学習処理部と、学習モデルの学習結果を統合サーバに送信する送信部と、を含み、統合サーバは、学習済みのマスターモデルと、複数のクライアント端末にそれぞれの学習モデルを学習させる前に、各クライアント端末側の学習モデルとマスターモデルとを同期させる同期処理部と、複数のクライアント端末からそれぞれの学習結果を受信する受信部と、複数のクライアント端末を複数のグループに分けて複数のクライアントクラスタを作成するクライアントクラスタ作成部と、クライアントクラスタごとの学習結果を統合してマスターモデル候補をクライアントクラスタごとに作成するマスターモデル候補作成部と、クライアントクラスタごとに作成されたマスターモデル候補のそれぞれの推論精度を評価することにより、推論精度が精度閾値を下回っているマスターモデル候補を検出する精度評価部と、推論精度が精度閾値を下回っているマスターモデル候補の作成に用いられたクライアントクラスタの中から精度悪化要因となっているクライアント端末を抽出する精度悪化要因抽出部と、を備える機械学習システムである。
本態様によれば、学習に参加する複数のクライアント端末が複数のクライアントクラスタに分けられ、クライアントクラスタごとに学習結果を統合することによって複数のマスターモデル候補が作成される。これら複数のマスターモデル候補のそれぞれの推論精度を評価することによって、推論精度が精度閾値を下回っている低精度のマスターモデル候補と、その低精度のマスターモデル候補の作成に使用したクライアントクラスタ（低精度クライアントクラスタ）とが特定される。低精度クライアントクラスタの中には精度悪化要因となっている少なくとも１つのクライアント端末が含まれていると考えられる。精度悪化要因抽出部は、低精度クライアントクラスタの中から精度悪化要因となっているクライアント端末の絞り込みを行い、精度悪化要因のクライアント端末を抽出する。
精度悪化要因抽出部は、実際に精度悪化要因となっているクライアント端末のみを抽出してもよいし、精度悪化要因として疑われるクライアント端末の組み合わせを抽出してもよい。つまり、精度悪化要因抽出部によって抽出されるクライアント端末の一部に、実際には精度悪化要因に該当しないクライアント端末が含まれてもよい。
本態様によれば、学習に参加する複数のクライアント端末の中から、学習に不適な精度悪化要因のクライアント端末を見つけ出すことができる。これにより、学習の精度に問題があるクライアント端末と問題の無いクライアント端末とを選別することが可能になり、抽出された精度悪化要因のクライアント端末を、以降の学習から除外したり、精度悪化要因のクライアント端末から得られる学習結果の寄与率（例えば、統合の際の重み付け）を相対的に小さくしたり、精度悪化要因のクライアント端末に対して原因の究明と改善を求める通知を行うなど、様々な対処を行うことが可能になる。本態様によれば、精度悪化要因のクライアント端末の情報を基に、学習精度を担保することが可能になり、一部のクライアントに起因するマスターモデルの精度低下を抑制することが可能になる。
「複数のクライアント端末」は不特定多数のクライアント端末であってよい。クライアント端末は「医療機関のデータ保存装置」を含む構成であってもよいし、「医療機関のデータ保存装置」と「クライアント端末」とが別々の装置であってもよい。
本開示の他の態様に係る機械学習システムにおいて、統合サーバは、精度悪化要因抽出部によって抽出された精度悪化要因のクライアント端末を、以降の学習から除外する除外処理部をさらに備える構成とすることができる。
本開示の他の態様に係る機械学習システムにおいて、統合サーバは、精度悪化要因抽出部によって抽出された精度悪化要因のクライアント端末の情報を保存する情報保存部をさらに備える構成とすることができる。
本開示の更に他の態様に係る機械学習システムにおいて、複数のクライアント端末のそれぞれは、異なる医療機関の医療機関ネットワーク内に設置される端末であってよい。
本開示の更に他の態様に係る機械学習システムにおいて、統合サーバは、医療機関ネットワーク内または医療機関ネットワーク外に設置される構成とすることができる。
本開示の更に他の態様に係る機械学習システムにおいて、クライアント端末から統合サーバに送信される学習結果は、学習後の学習モデルの重みパラメータを含む構成とすることができる。
本開示の更に他の態様に係る機械学習システムにおいて、学習データとして使用されるデータは、２次元画像、３次元画像、動画像、時系列データおよび文書データのうち少なくとも１つの種類のデータを含む構成とすることができる。
本開示の更に他の態様に係る機械学習システムにおいて、学習モデル、マスターモデル、およびマスターモデル候補の各モデルは、ニューラルネットワークを用いて構成されてよい。
学習データおよび推論の際に入力するデータの種類に応じて適切なネットワークモデルが適用される。
本開示の更に他の態様に係る機械学習システムにおいて、学習データとして使用されるデータは２次元画像、３次元画像または動画像を含み、学習モデル、マスターモデル、およびマスターモデル候補の各モデルは、畳み込みニューラルネットワークを用いて構成されてよい。
本開示の更に他の態様に係る機械学習システムにおいて、学習データとして使用されるデータは時系列データまたは文書データを含み、学習モデル、マスターモデル、およびマスターモデル候補の各モデルは、再帰型ニューラルネットワークを用いて構成されてよい。
本開示の更に他の態様に係る機械学習システムにおいて、複数のクライアントクラスタのそれぞれを構成するクライアント端末の数が同数であり、各クライアントクラスタを構成するクライアント端末は非重複である構成とすることができる。
本開示の更に他の態様に係る機械学習システムにおいて、統合サーバは、複数のマスターモデル候補のそれぞれが複数のクライアントクラスタのうちのどのクライアントクラスタを基に作成されているかという対応関係を示す情報を保存する関連付け情報保存部をさらに備える構成とすることができる。
本開示の更に他の態様に係る機械学習システムにおいて、精度評価部は、マスターモデル候補のそれぞれの推論精度の瞬時値と精度閾値との比較に基づいて、または、マスターモデル候補のそれぞれの学習イテレーションにおける推論精度の統計値と精度閾値との比較に基づいて、マスターモデル候補の推論精度が精度閾値を下回っているか否かを判定する構成とすることができる。
「統計値」は、統計学的なアルゴリズムを用いて算出される統計量であり、例えば、平均値または中央値などの代表値であってよい。
精度評価部は、精度閾値を下回る推論精度のマスターモデル候補を検出した場合に、その検出に係るマスターモデル候補の情報を精度悪化要因抽出部に通知する構成とすることができる。
本開示の更に他の態様に係る機械学習システムにおいて、統合サーバは、クライアントクラスタごとに作成されるマスターモデル候補のそれぞれの各学習イテレーションにおける推論精度が表示される表示装置をさらに備える構成とすることができる。
本開示の更に他の態様に係る機械学習システムにおいて、検証用データが保存されている検証用データ保存部をさらに備え、精度評価部は、検証用データを用いてマスターモデル候補の推論精度を評価する構成とすることができる。
検証用データ保存部は、統合サーバに含まれていてもよいし、統合サーバに接続される外部記憶装置などであってもよい。
本開示の他の態様に係る機械学習方法は、複数のクライアント端末と、統合サーバと、を用いる機械学習方法であって、複数のクライアント端末のそれぞれに学習モデルを学習させる前に、各クライアント端末側の学習モデルと、統合サーバに保存されている学習済みのマスターモデルとを同期させることと、複数のクライアント端末のそれぞれが、互いに異なる医療機関のそれぞれのデータ保存装置に保存されているデータを学習データに用いて学習モデルの機械学習を実行することと、複数のクライアント端末のそれぞれが、学習モデルの学習結果を統合サーバに送信することと、統合サーバが、複数のクライアント端末からそれぞれの学習結果を受信することと、複数のクライアント端末を複数のグループに分けて複数のクライアントクラスタを作成することと、クライアントクラスタごとの学習結果を統合してマスターモデル候補をクライアントクラスタごとに作成することと、クライアントクラスタごとに作成されたマスターモデル候補のそれぞれの推論精度を評価することにより、推論精度が精度閾値を下回っているマスターモデル候補を検出することと、推論精度が精度閾値を下回っているマスターモデル候補の作成に用いられたクライアントクラスタの中から精度悪化要因となっているクライアント端末を抽出することと、を含む機械学習方法である。
本開示の他の態様に係る統合サーバは、通信回線を介して複数のクライアント端末と接続される統合サーバであって、学習済みのマスターモデルを保存しておくマスターモデル保存部と、複数のクライアント端末にそれぞれの学習モデルを学習させる前に、各クライアント端末側の学習モデルとマスターモデルとを同期させる同期処理部と、複数のクライアント端末からそれぞれの学習結果を受信する受信部と、複数のクライアント端末を複数のグループに分けて複数のクライアントクラスタを作成するクライアントクラスタ作成部と、クライアントクラスタごとの学習結果を統合してマスターモデル候補をクライアントクラスタごとに作成するマスターモデル候補作成部と、クライアントクラスタごとに作成されたマスターモデル候補のそれぞれの推論精度を評価することにより、推論精度が精度閾値を下回っているマスターモデル候補を検出する精度評価部と、推論精度が精度閾値を下回っているマスターモデル候補の作成に用いられたクライアントクラスタの中から精度悪化要因となっているクライアント端末を抽出する精度悪化要因抽出部と、を備える統合サーバである。
本開示の他の態様に係る統合サーバは、通信回線を介して複数のクライアント端末と接続される統合サーバであって、第１のプロセッサと、第１のプロセッサによって実行される第１のプログラムが記録された非一時的な有体物である第１のコンピュータ可読媒体と、を含み、第１のプロセッサは、第１のプログラムの命令に従い、学習済みのマスターモデルを第１のコンピュータ可読媒体に保存しておくことと、複数のクライアント端末にそれぞれの学習モデルを学習させる前に、各クライアント端末側の学習モデルとマスターモデルとを同期させることと、複数のクライアント端末からそれぞれの学習結果を受信することと、複数のクライアント端末を複数のグループに分けて複数のクライアントクラスタを作成することと、クライアントクラスタごとの学習結果を統合してマスターモデル候補をクライアントクラスタごとに作成することと、クライアントクラスタごとに作成されたマスターモデル候補のそれぞれの推論精度を評価することにより、推論精度が精度閾値を下回っているマスターモデル候補を検出することと、推論精度が精度閾値を下回っているマスターモデル候補の作成に用いられたクライアントクラスタの中から精度悪化要因となっているクライアント端末を抽出することと、を含む処理を実行する、統合サーバである。
本開示の他の態様に係る情報処理装置は、本開示の一態様に係る統合サーバと通信回線を介して接続される複数のクライアント端末の一つとして用いられる情報処理装置であって、統合サーバに保存されているマスターモデルと同期させた学習モデルを、学習開始前の初期状態の学習モデルとし、医療機関のデータ保存装置に保存されているデータを学習データに用いて学習モデルの機械学習を実行する学習処理部と、学習モデルの学習結果を統合サーバに送信する送信部と、を備える情報処理装置である。
本開示の他の態様に係る情報処理装置は、本開示の一態様に係る統合サーバと通信回線を介して接続される複数のクライアント端末の一つとして用いられる情報処理装置であって、第２のプロセッサと、第２のプロセッサによって実行される第２のプログラムが記録された非一時的な有体物である第２のコンピュータ可読媒体と、を含み、第２のプロセッサは、第２のプログラムの命令に従い、統合サーバに保存されているマスターモデルと同期させた学習モデルを、学習開始前の初期状態の学習モデルとし、医療機関のデータ保存装置に保存されているデータを学習データに用いて学習モデルの機械学習を実行することと、学習モデルの学習結果を統合サーバに送信することと、を含む処理を実行する、情報処理装置である。
本開示の他の態様に係るプログラムは、本開示の一態様に係る統合サーバと通信回線を介して接続される複数のクライアント端末の一つとしてコンピュータを機能させるためのプログラムであって、統合サーバに保存されているマスターモデルと同期させた学習モデルを、学習開始前の初期状態の学習モデルとし、医療機関のデータ保存装置に保存されているデータを学習データに用いて学習モデルの機械学習を実行する機能と、学習モデルの学習結果を統合サーバに送信する機能と、をコンピュータに実現させるためのプログラムである。
本開示の他の態様に係るプログラムは、通信回線を介して複数のクライアント端末と接続される統合サーバとしてコンピュータを機能させるためのプログラムであって、コンピュータに、学習済みのマスターモデルを保存しておく機能と、複数のクライアント端末にそれぞれの学習モデルを学習させる前に、各クライアント端末側の学習モデルとマスターモデルとを同期させる機能と、複数のクライアント端末からそれぞれの学習結果を受信する機能と、複数のクライアント端末を複数のグループに分けて複数のクライアントクラスタを作成する機能と、クライアントクラスタごとの学習結果を統合してマスターモデル候補をクライアントクラスタごとに作成する機能と、クライアントクラスタごとに作成されたマスターモデル候補のそれぞれの推論精度を評価することにより、推論精度が精度閾値を下回っているマスターモデル候補を検出する機能と、推論精度が精度閾値を下回っているマスターモデル候補の作成に用いられたクライアントクラスタの中から精度悪化要因となっているクライアント端末を抽出する機能と、を実現させるためのプログラムである。
本開示の他の態様に係る推論モデルの作成方法は、複数のクライアント端末と、統合サーバと、を用いて機械学習を行うことにより、推論モデルを作成する方法であって、複数のクライアント端末のそれぞれに学習モデルを学習させる前に、各クライアント端末側の学習モデルと、統合サーバに保存されている学習済みのマスターモデルとを同期させることと、複数のクライアント端末のそれぞれが、互いに異なる医療機関のそれぞれのデータ保存装置に保存されているデータを学習データに用いて学習モデルの機械学習を実行することと、複数のクライアント端末のそれぞれが、学習モデルの学習結果を統合サーバに送信することと、統合サーバが、複数のクライアント端末からそれぞれの学習結果を受信することと、複数のクライアント端末を複数のグループに分けて複数のクライアントクラスタを作成することと、クライアントクラスタごとの学習結果を統合してマスターモデル候補をクライアントクラスタごとに作成することと、クライアントクラスタごとに作成されたマスターモデル候補のそれぞれの推論精度を評価することにより、推論精度が精度閾値を下回っているマスターモデル候補を検出することと、推論精度が精度閾値を下回っているマスターモデル候補の作成に用いられたクライアントクラスタの中から精度悪化要因となっているクライアント端末を抽出することと、推論精度が精度閾値以上であるマスターモデル候補を基に、マスターモデルよりも推論精度が高い推論モデルを作成することと、を含む推論モデルの作成方法である。
推論モデルの作成方法は、推論モデルを製造する方法の発明として理解される。「推論」という用語は、予測、推定、分類、および判別の概念を含む。推論モデルは「ＡＩモデル」と言い換えてもよい。
本発明によれば、複数のクライアント端末の中から学習に不適な精度悪化要因のクライアント端末を抽出することができる。これより、一部の不適なクライアント端末に起因するマスターモデルの精度低下を抑制することが可能になる。
以下、添付図面に従って本発明の好ましい実施形態について説明する。
《機械学習システムの概要》
図１は、本発明の実施形態に係る機械学習システムの概要を示す概念図である。機械学習システム１０は、フェデレーテッドラーニングの仕組みを利用して機械学習を行うコンピュータシステムである。機械学習システム１０は、複数のクライアント２０と、統合サーバ３０と、を含む。フェデレーテッドラーニングは「フェデレーションラーニング」、「連携学習」、あるいは「連合学習」などと呼ばれることがある。
図１は、本発明の実施形態に係る機械学習システムの概要を示す概念図である。機械学習システム１０は、フェデレーテッドラーニングの仕組みを利用して機械学習を行うコンピュータシステムである。機械学習システム１０は、複数のクライアント２０と、統合サーバ３０と、を含む。フェデレーテッドラーニングは「フェデレーションラーニング」、「連携学習」、あるいは「連合学習」などと呼ばれることがある。
図１に示す複数のクライアント２０のそれぞれは、病院などの医療機関内のネットワーク上に設置される医療機関内端末を示す。ここで「端末」とは、安全に医療機関内のデータにアクセスできるネットワーク内に存在する計算資源を指しており、その端末は物理的に医療機関内に存在しなくてもよい。クライアント２０は本開示における「クライアント端末」の一例である。医療機関内のコンピュータネットワークを「医療機関ネットワーク」という。
各クライアント２０は、ＡＩモデルに学習させるデータ群ごとに存在していることを想定する。ここでいう「データ群ごと」とは、ＡＩモデルの学習に使用するデータ群が保有される「医療機関ごと」と理解してよい。すなわち、おおよそ１つの医療機関に対して１つのクライアントが存在することを想定する。
複数のクライアント２０のそれぞれを区別して表示するために、図１および以降の図面において、「Client 1」，「Client 2」などの表記を用いる。「Client」の後に付す数字は、個々のクライアント２０を識別する識別番号としてのインデックスである。本明細書では、インデックスがｍであるクライアント２０を「クライアントＣＬｍ」と表記する。例えば、クライアントＣＬ１は、図１中の「Client 1」を表す。ｍはクライアントＩＤ番号(identification number)に相当する。統合サーバ３０によって管理されるクライアント２０の総数をＭとすると、ｍは１以上Ｍ以下の整数を表す。図１においては、ｍ＝１からＮ＋１までのクライアント２０が図示されている。Ｎは２以上の整数を表す。学習に参加する総数Ｍのクライアント２０の集合を「学習クライアント群」あるいはクライアント２０の「母集団」という。
各クライアント２０は、クライアントローカルの記憶装置にローカルデータＬＤを保有している。ローカルデータＬＤは、クライアント２０が属する医療機関にて蓄積されたデータ群である。
各クライアント２０は、分散学習のクライアントプログラムであるローカル学習管理プログラムを含む。各クライアント２０は、ローカル学習管理プログラムにしたがい、クライアントローカルのローカルデータＬＤを用いてローカルモデルＬＭを学習させるイテレーションを回す。
ローカルモデルＬＭは、例えば、ＣＡＤシステムに組み込まれる医用画像診断用のＡＩモデルである。「ＣＡＤ」という用語は、コンピュータ支援検出（ＣＡＤｅ：Computer Aided Detection）と、コンピュータ支援診断（ＣＡＤｘ：Computer Aided Diagnosis）との両方の概念を含む。ローカルモデルＬＭは、例えば、階層型の多層のニューラルネットワークを用いて構成される。ローカルモデルＬＭは、ローカルデータＬＤを学習データに用いる深層学習によってネットワークの重みパラメータが更新される。重みパラメータには、各層の処理に用いるフィルタのフィルタ係数（ノード間の結合の重み）およびノードのバイアスが含まれる。ローカルモデルＬＭは本開示における「クライアント端末側の学習モデル」の一例である。
なお、「ニューラルネットワーク」とは、脳神経系の仕組みを模擬した情報処理の数理モデルである。ニューラルネットワークを用いた処理は、コンピュータを用いて実現することができる。ニューラルネットワークを含む処理部は、プログラムモジュールとして構成され得る。
学習に使用するニューラルネットワークのネットワーク構造は、入力に用いるデータの種類に応じた適切なネットワーク構造が採用される。医用画像診断用のＡＩモデルは、例えば、畳み込み層を有する各種の畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）を用いて構成することができる。時系列データや文書データなどを扱うＡＩモデルは、例えば、各種の再帰型ニューラルネットワーク（ＲＮＮ：Recurrent Neural Network）を用いて構成することができる。
複数のクライアント２０は、通信ネットワークを介して統合サーバ３０と接続される。図１中の悪魔マークＤＭの表示は、ＡＩモデルの推論精度悪化の発生を示す。統合サーバ３０は、複数のクライアント２０からそれぞれの学習結果を取得し、これら学習結果を基に複数のマスターモデル候補ＭＭＣを作成する処理と、各マスターモデル候補の推論精度を評価する処理と、精度悪化要因のクライアントを選別する処理と、を行う。
統合サーバ３０の所在は、ＡＩモデルを開発している主体団体がアクセス権を持っているコンピュータネットワーク上に存在すればよく、サーバの形態は物理サーバ、仮想サーバなどの形態を問わない。統合サーバ３０は、医療機関ネットワーク内に設置されてもよいし、医療機関ネットワーク外に設置されてもよい。例えば、統合サーバ３０は、医療機関から地理的に離れた場所にある医療用ＡＩを開発する会社内もしくはクラウド上に設置されてよい。
統合サーバ３０は、複数のクライアント２０をＫ群のクライアントクラスタに分割し、クライアントクラスタごとに学習結果を統合して、Ｋ個のマスターモデル候補ＭＭＣを作成する。Ｋは２以上の整数である。
クライアントクラスタは学習クライアント群の一部のクライアント群であり、Ｋ群のクライアントクラスタのそれぞれを構成するクライアント２０の数（クライアント数）は同数であって、かつ、異なるクライアントクラスタ間において、それぞれのクライアントクラスタを構成するクライアント２０に重複は無い（非重複）とする。クライアントクラスタのクライアント数をＱとすると、Ｑは２以上の整数である。図１はＱ＝３の例を示す。
図１においては、クライアントＣＬ１，ＣＬ２およびＣＬ３は同じクライアントクラスタに属し、クライアントＣＬ４，ＣＬＮおよびＣＬＮ＋１は同じクライアントクラスタに属する。
図１中の「Federated Avg」という表示を囲む円の左側から延びる矢印は、同じクライアントクラスタに属する各クライアント２０から、学習したローカルモデルＬＭのデータが送信されてきていることを示している。各クライアント２０から統合サーバ３０に提供される学習結果としてのローカルモデルＬＭのデータは、学習後のローカルモデルＬＭの重みパラメータであってよい。
「Federated Avg」という表示を囲む円は、学習結果を統合する処理を表す。この処理において、各クライアント２０から送られてきた重みが平均化等により統合され、統合モデルであるマスターモデル候補ＭＭＣが作成される。統合の処理の方法は、単純な加算平均に限らず、クライアント２０の属性、過去の統合成績、再学習に用いられた医療機関ごとのデータ数、人間が評価した医療機関のレベルなどの要素に基づいて、重みづけをして統合してもよい。
図１において「Federated Avg」という表示を囲む円の右側へ延びる矢印の先に示す「Master model １」および「Master model Ｋ」は、各クライアントクラスタから作成されたマスターモデル候補ＭＭＣを示す。Ｋ群のクライアントクラスタのそれぞれを識別するためのインデックスをｋとすると、ｋは１以上Ｋ以下の整数を表す。本明細書では、インデックスがｋのクライアントクラスタに属する各クライアント２０の学習結果を統合して作成されるマスターモデル候補ＭＭＣを「ＭＭＣｋ」と表記する場合がある。例えば、マスターモデル候補ＭＭＣ１は図１中の「Master model １」を表す。
統合サーバ３０は、予め用意された検証用データを用いて各マスターモデル候補ＭＭＣの推論精度を評価する。検証用データは、統合サーバ３０の内部の記憶装置に保存されていてもよいし、統合サーバ３０と接続される外部記憶装置に保存されていてもよい。
統合サーバ３０は、評価用プログラム３４と、データベース３６と、学習用クライアント選別プログラム３８と、を含む。
評価用プログラム３４は、各マスターモデル候補ＭＭＣの推論精度を収集し、データベース３６等のデータ保存部に保存する。データ保存部は、統合サーバ３０内の記憶装置の記憶領域であってもよいし、統合サーバ３０と接続される外部記憶装置の記憶領域であってもよい。
評価用プログラム３４は、収集した推論精度を精度閾値と比較し、マスターモデル候補ＭＭＣの推論精度が精度閾値よりも下回る場合に、その情報を学習用クライアント選別プログラム３８に通知する。
学習用クライアント選別プログラム３８は、精度閾値を下回る推論精度のマスターモデル候補ＭＭＣが存在する旨の通知を評価用プログラム３４から受け取ると、推論精度の悪化要因となっているクライアントを抽出する処理を行う。
学習用クライアント選別プログラム３８は、学習クライアント群の中から、精度を悪化させているクライアントを探索し、精度悪化要因のクライアントからの学習結果の収集を停止し、かつ、該当するクライアントをブラックリストに登録するなどの対処を行う。学習用クライアント選別プログラム３８は、精度悪化要因のクライアントの情報をデータベース３６等のデータ保存部に保存する。
図１においては、クライアントＣＬ３が精度悪化要因のクライアントである例が示されている。図１に示す例は、ローカルモデルＬＭおよびマスターモデル候補ＭＭＣが胸部ＣＴ画像のＣＡＤ用のＡＩモデルであるとして、クライアントＣＬ３を含むクライアントクラスタの学習結果を統合して作成されたマスターモデル候補ＭＭＣ１に対して、正解が「肺がん」である検証用データを入力して推論を実施したところ、その推論結果が「肺炎」を示す誤判定であったことを示している。また、図１は、他のクライアントクラスタの学習結果を統合して作成されたマスターモデル候補ＭＭＣＫに対して、同様に正解が「肺がん」である検証用データを入力して推論を実施したところ、その推論結果は正しく「肺がん」であったことを示している。
《機械学習方法の概要》
本発明の実施形態に係る機械学習システム１０による機械学習方法の例を説明する。以下に示す手順１から手順１１にしたがって機械学習システム１０が動作する。
本発明の実施形態に係る機械学習システム１０による機械学習方法の例を説明する。以下に示す手順１から手順１１にしたがって機械学習システム１０が動作する。
［手順１］図１に示すように、ＡＩモデルが学習すべきデータ群が存在している医療機関のコンピュータネットワーク内にある医療機関内端末（クライアント２０）上にて、分散学習のクライアントプログラムが実行されている。
［手順２］統合サーバ３０は、複数のクライアント２０のそれぞれが学習を開始する前に、学習に供するマスターモデルの最新版を各クライアント２０上のローカルモデルＬＭと同期させる。マスターモデルは学習済みのＡＩモデルである。
［手順３］各クライアント２０は、最新版のマスターモデルとの同期後、医療機関内に存在するローカルデータＬＤを用いてそれぞれの端末上にて学習を行い、指定されたイテレーション数だけ学習処理を回す。学習データとして用いるローカルデータＬＤは、例えば、医用画像とこれに付随する情報であってよい。「付随する情報」には教師信号に相当する情報が含まれていてよい。イテレーション数は固定値としてもよいが、より好ましくは、推論精度が指定された割合以上に向上した段階まで学習イテレーションを回す。
［手順４］各クライアント２０は学習終了後、学習結果を統合サーバ３０に向けて送信する。クライアント２０から統合サーバ３０に送信される学習結果は、学習後のローカルモデルＬＭの重みパラメータであってよい。なお、クライアント２０から統合サーバ３０に送信される学習後の重みパラメータのデータは、統合サーバ３０と同期させたマスターモデルの最新版の重みパラメータとの差分であってもよい。
なお、本実施形態による機能を使用するクライアント２０である医療機器等の添付文書には診療業務に支障の無い範囲のバックグラウンド処理として、学習が行われることが記載される。また、添付文書には、使用される学習データは医療機関内のデータであり、外部に送信されるデータは学習後の重みパラメータのみであり、個人が特定されるデータは送信されない旨が記載される。
［手順５］統合サーバ３０上で動作している学習用クライアント選別プログラム３８は、各クライアント２０から送信されてきた学習結果を複数のクライアントクラスタに分けて統合し、クライアントクラスタごとにマスターモデル候補ＭＭＣを作成する。この際、学習用クライアント選別プログラム３８は各クライアントクラスタを構成するクライアント数が同数になるように、クライアント２０を重複なく母集団からランダムに抽出し、どのマスターモデル候補ＭＭＣがどのクライアントクラスタから作成されているかを示す情報をデータベース３６等のデータ保存部に保存する。データベース３６は本開示における「関連付け情報保存部」の一例である。
［手順６］評価用プログラム３４は、作成された各マスターモデル候補ＭＭＣの推論精度の検証を行う。精度検証は、検証用データに対して行われる。すなわち、評価用プログラム３４は各マスターモデル候補ＭＭＣに対して、統合サーバ３０内に存在する検証用データを入力として用いて推論を行わせ、推論結果と正解データとを比較して推論精度を算出し、データベース３６等のデータ保存部に各マスターモデル候補ＭＭＣの推論精度を保存する。
［手順７］評価用プログラム３４は各マスターモデル候補ＭＭＣの推論精度を精度閾値と比較し、あるマスターモデル候補ＭＭＣの推論精度が精度閾値を下回っている場合、どのマスターモデル候補ＭＭＣが精度閾値を下回るモデルであるかを、学習用クライアント選別プログラム３８に通知する。推論精度の評価を行う際に、精度閾値と比較するマスターモデル候補ＭＭＣの推論精度は、瞬時値であってもよいが、外れ値などによるノイズを緩和するために、より好ましくは、推論精度の平均値や中央値などの統計値を用いる。
検証用データを用いた評価の処理中に、各マスターモデル候補ＭＭＣの推論精度の変化を確認する必要がある場合、この段階で不図示の表示装置を用いて確認することができる。なお、表示装置は統合サーバ３０に接続されてよい。
［手順８］精度閾値を下回っているマスターモデル候補ＭＭＣの存在を知らせる通知を受け取った学習用クライアント選別プログラム３８は、推論精度が精度閾値を下回っているマスターモデル候補ＭＭＣの作成に用いた学習結果を提供したクライアントクラスタをデータベース３６等のデータ保存部から検索する。
［手順９］さらに、学習用クライアント選別プログラム３８は、推論精度が精度閾値を下回っているマスターモデル候補ＭＭＣの作成に関与したクライアントクラスタの中から、特に精度を悪化させている要因のクライアントを抽出する処理を行う。この際の抽出方法の例として、推論精度が低下しているマスターモデル候補ＭＭＣの作成に関与したクライアントクラスタ内の各クライアント２０のローカルモデルＬＭのそれぞれに対して推論精度を算出し、推論精度の低いクライアントを精度悪化要因として抽出する方法がある。また、他の抽出方法の例として、推論精度が低下しているマスターモデル候補ＭＭＣの作成に関与したクライアントクラスタ内の各クライアント２０のローカルモデルＬＭを、推論精度が精度閾値を下回っていないマスターモデル候補ＭＭＣのクライアントクラスタに混入させ、その結果、混入を受けたマスターモデル候補ＭＭＣの推論精度が有意に悪化した場合は、その混入させたクライアント２０を精度悪化要因として抽出する方法などが挙げられる。
［手順１０］学習用クライアント選別プログラム３８は、手順９にて抽出した精度悪化要因のクライアント２０を以降の学習に使用しないように、データベース３６等のデータ保存部に精度悪化要因のクライアント情報を保存する。データベース３６は本開示における「情報保存部」の一例である。
［手順１１］以降は各マスターモデル候補ＭＭＣの中から製品化可能な推論精度を上回るモデルが出てくるまで、手順２から手順１０の動作を反復する。
これにより、学習精度を担保でき、精度閾値以上の推論精度を持つ推論モデルを作成することが可能になる。本実施形態による機械学習システム１０を用いた機械学習方法は、推論モデルの作成方法として理解される。
《システム構成例》
次に、機械学習システム１０の具体的な構成の例について説明する。図２は、本発明の実施形態に係る機械学習システム１０のシステム構成例を概略的に示す図である。まず、医療機関ネットワーク５０の例を説明する。図２では、図示を簡単にするために、複数の医療機関のそれぞれに同じシステム構成の医療機関ネットワーク５０が設置されている場合の例を示すが、医療機関ごとに異なるシステム構成の医療機関ネットワークが構築されてもよい。
次に、機械学習システム１０の具体的な構成の例について説明する。図２は、本発明の実施形態に係る機械学習システム１０のシステム構成例を概略的に示す図である。まず、医療機関ネットワーク５０の例を説明する。図２では、図示を簡単にするために、複数の医療機関のそれぞれに同じシステム構成の医療機関ネットワーク５０が設置されている場合の例を示すが、医療機関ごとに異なるシステム構成の医療機関ネットワークが構築されてもよい。
医療機関ネットワーク５０は、ＣＴ（Computed Tomography）装置５２と、ＭＲＩ（Magnetic Resonance Imaging）装置５４と、ＣＲ（Computed Radiography）装置５６と、ＰＡＣＳ（Picture Archiving and Communication Systems）サーバ５８と、ＣＡＤサーバ６０と、端末６２と、構内通信回線６４と、を含むコンピュータネットワークである。
なお、医療機関ネットワーク５０は、図２に例示のＣＴ装置５２、ＭＲＩ装置５４、およびＣＲ装置５６に限らず、これらの一部または全部に代えて、もしくは追加して、不図示のデジタルＸ線撮影装置、血管造影Ｘ線診断装置、超音波診断装置、ＰＥＴ（Positron Emission Tomography）装置、内視鏡装置、マンモグラフィ装置、その他の各種検査装置（モダリティ）のうち少なとも１つまたは組み合わせを含んでもよい。医療機関ネットワーク５０に接続される検査装置の種類は、医療機関ごとに様々な組み合わせがありうる。
ＰＡＣＳサーバ５８は、各種データを保存して管理するコンピュータであり、大容量外部記憶装置およびデータベース管理用ソフトウェアを備えている。ＰＡＣＳサーバ５８は、構内通信回線６４を介して他の装置と通信を行い、画像データを含む各種データを送受信する。ＰＡＣＳサーバ５８は、ＣＴ装置５２、ＭＲＩ装置５４、およびＣＲ装置５６などの各検査装置によって生成された画像データその他の含む各種データを構内通信回線６４経由で受信し、大容量外部記憶装置等の記録媒体に保存して管理する。
なお、画像データの格納形式および構内通信回線６４経由での各装置間の通信は、ＤＩＣＯＭ（Digital Imaging and Communication in Medicine）等のプロトコルに基づいている。ＰＡＣＳサーバ５８は、ＤＩＣＯＭの仕様にて動作するＤＩＣＯＭサーバであってよい。ＰＡＣＳサーバ５８に保存されたデータを学習データとして使用することができる。また、ＰＡＣＳサーバ５８に保存されたデータを基に作成された学習データをＣＡＤサーバ６０に保存することも可能である。ＰＡＣＳサーバ５８は本開示における「医療機関のデータ保存装置」の一例である。また、ＣＡＤサーバ６０が本開示における「医療機関のデータ保存装置」として機能してもよい。
ＣＡＤサーバ６０は、図１で説明したクライアント２０に相当する。ＣＡＤサーバ６０は、統合サーバ３０と通信するための通信機能を有し、広域通信回線７０を介して統合サーバ３０と接続される。ＣＡＤサーバ６０は、構内通信回線６４を介してＰＡＣＳサーバ５８等からデータを取得することができる。ＣＡＤサーバ６０は、ＰＡＣＳサーバ５８に保存されたデータ群を用いてＣＡＤサーバ６０上でローカルモデルＬＭの学習を実行するためのローカル学習管理プログラムを含む。ＣＡＤサーバ６０は本開示における「クライアント端末」の一例である。
ＰＡＣＳサーバ５８のデータベースに保存された各種データ、並びにＣＡＤサーバ６０による推論結果を含む様々な情報は、構内通信回線６４に接続された端末６２に表示させることができる。
端末６２は、ＰＡＣＳビューワ、あるいはＤＩＣＯＭビューワと呼ばれる表示端末であってよい。医療機関ネットワーク５０には複数の端末６２が接続され得る。端末６２の形態は特に限定されず、パーソナルコンピュータであってもよいし、ワークステーションであってもよく、また、タブレット端末などであってもよい。
図２に示すように、複数の医療機関のそれぞれに、同様のシステム構成を持つ医療機関ネットワークが構築されている。統合サーバ３０は、広域通信回線７０を介して複数のＣＡＤサーバ６０と通信を行う。広域通信回線７０は本開示における「通信回線」の一例である。
《統合サーバ３０の構成例》
図３は、統合サーバ３０の構成例を示すブロック図である。統合サーバ３０は、１台または複数台のコンピュータを用いて構成されるコンピュータシステムによって実現することができる。統合サーバ３０は、コンピュータにプログラムをインストールし、実行することにより実現される。
図３は、統合サーバ３０の構成例を示すブロック図である。統合サーバ３０は、１台または複数台のコンピュータを用いて構成されるコンピュータシステムによって実現することができる。統合サーバ３０は、コンピュータにプログラムをインストールし、実行することにより実現される。
統合サーバ３０は、プロセッサ３０２、非一時的な有体物であるコンピュータ可読媒体３０４、通信インターフェース３０６、入出力インターフェース３０８、バス３１０、入力装置３１４および表示装置３１６を備える。プロセッサ３０２は本開示における「第１のプロセッサ」の一例である。コンピュータ可読媒体３０４は本開示における「第１のコンピュータ可読媒体」の一例である。
プロセッサ３０２はＣＰＵ（Central Processing Unit）を含む。プロセッサ３０２はＧＰＵ（Graphics Processing Unit）を含んでもよい。プロセッサ３０２は、バス３１０を介してコンピュータ可読媒体３０４、通信インターフェース３０６および入出力インターフェース３０８と接続される。入力装置３１４および表示装置３１６は入出力インターフェース３０８を介してバス３１０に接続される。
コンピュータ可読媒体３０４は、主記憶装置であるメモリおよび補助記憶装置であるストレージを含む。コンピュータ可読媒体３０４は、例えば、半導体メモリ、ハードディスク（ＨＤＤ：Hard Disk Drive）装置、若しくはソリッドステートドライブ（ＳＳＤ：Solid State Drive）装置またはこれらの複数の組み合わせであってよい。
統合サーバ３０は通信インターフェース３０６を介して広域通信回線７０（図２参照）に接続される。
コンピュータ可読媒体３０４は、マスターモデル保存部３２０と、検証用データ保存部３２２と、データベース３６と、を含む。マスターモデル保存部３２０には、マスターモデルＭＭの最新版のデータが保存される。検証用データ保存部３２２には、マスターモデル候補作成部３３４にて作成される統合モデルの推論精度を検証する際に使用する複数の検証用データＴＤが保存される。検証用データＴＤは、入力用のデータと正解データとが組み合わされたデータであり、テストデータとも呼ばれる。検証用データＴＤは、例えば、大学等から提供されたデータであってよい。
コンピュータ可読媒体３０４には、同期プログラム３２４、学習用クライアント選別プログラム３８および評価用プログラム３４を含む各種プログラムおよびデータが記憶されている。同期プログラム３２４は、通信インターフェース３０６を介してマスターモデルＭＭのデータを各クライアント２０に提供し、それぞれのローカルモデルＬＭをマスターモデルＭＭと同期させるためのプログラムである。プロセッサ３０２が同期プログラム３２４の命令を実行することにより、コンピュータは、同期処理部として機能する。なお、同期プログラム３２４は学習用クライアント選別プログラム３８のプログラムモジュールとして組み込まれていてもよい。
プロセッサ３０２が学習用クライアント選別プログラム３８の命令を実行することにより、コンピュータはクライアントクラスタ抽出部３３２、マスターモデル候補作成部３３４、精度悪化要因抽出部３３６および除外処理部３３８として機能する。また、プロセッサ３０２が評価用プログラム３４の命令を実行することにより、コンピュータは推論部３４２、推論精度算出部３４４および精度閾値比較部３４６として機能する。
クライアントクラスタ抽出部３３２は、通信インターフェース３０６を介して受信した複数のクライアント２０の学習結果を、同じクライアント数の複数のクライアントクラスタに分ける。通信インターフェース３０６は本開示における「受信部」の一例である。クライアントクラスタ抽出部３３２は本開示における「クライアントクラスタ作成部」の一例である。クライアントクラスタ抽出部３３２は、それぞれのクライアントクラスタに属するクライアント２０の情報と、クライアントクラスタごとに作成されるマスターモデル候補ＭＭＣとの対応関係を示す情報をデータベース３６に保存する。
マスターモデル候補作成部３３４は、クライアントクラスタごとに学習結果を統合して複数のマスターモデル候補ＭＭＣを作成する。各マスターモデル候補ＭＭＣがどのクライアントクラスタを基に作成されたかという対応関係を示す情報はデータベース３６に保存される。
推論部３４２は、各マスターモデル候補ＭＭＣに検証用データＴＤを入力して、各マスターモデル候補ＭＭＣによって推論を実行する。推論精度算出部３４４は推論部３４２から得られる各マスターモデル候補ＭＭＣの推論結果と正解データとを比較して、各マスターモデル候補ＭＭＣの推論精度を算出する。例えば、正解データには、病変個数や正解臨床所見を画像データとともに付与したデータが用いられる。推論精度算出部３４４は、検証用データとの比較を通して精度検証を複数回行う。推論精度算出部３４４は、複数回の精度検証を行った結果から、マスターモデル候補の精度平均値を算出し、この精度平均値をマスターモデル候補の推論精度として評価してもよい。推論精度算出部３４４により算出された推論精度はデータベース３６に保存される。
精度閾値比較部３４６は、各マスターモデル候補ＭＭＣの推論精度と予め定められた精度閾値とを比較し、精度閾値を下回る推論精度のマスターモデル候補ＭＭＣが存在するか否かを判定する。精度閾値を下回る推論精度のマスターモデル候補ＭＭＣが存在していた場合、その情報は精度悪化要因抽出部３３６に送られる。評価用プログラム３４によって実現される推論部３４２、推論精度算出部３４４および精度閾値比較部３４６は本開示における「精度評価部」の一例である。
精度悪化要因抽出部３３６は、推論精度が精度閾値を下回っているマスターモデル候補ＭＭＣの作成に関与したクライアントクラスタの中から、特に精度を悪化させているクライアントを抽出する処理を行い、抽出した精度悪化要因のクライアントの情報をデータベース３６に保存する。
推論精度が精度閾値を下回っているマスターモデル候補ＭＭＣの作成に関与したクライアントクラスタを「低精度クライアントクラスタ」という。精度悪化要因抽出部３３６は、例えば、低精度クライアントクラスタをさらに複数のサブクラスタに分割し、精度に問題のなかった他のマスターモデル候補の作成に使用したクライアントクラスタに、サブクラスタのクライアントを混入させて、マスターモデル候補を作成した場合に精度低下が起こるか否かを判定する。その結果、前回の学習よりも精度が有意に悪化したモデルがあった場合、その悪化したモデルに混入させたサブクラスタ内に精度悪化要因となっているクライアントが存在すると判定する。このサブクラスタ内のクライアント数が比較的大きい場合には、その後、精度悪化要因抽出部３３６は、精度悪化要因となっているクライアントを含むサブクラスタをさらに分割して上記と同様の処理を反復する。精度悪化要因抽出部３３６は、精度悪化要因となっているクライアントを含むクライアント群（低精度のサブクラスタ）内のクライアント数が十分に小さくなるまで反復を繰り返す。なお、複数のサブクラスタ同士でそれぞれのサブクラスタを構成するクライアントは重複させてもよい。
反復の結果、精度悪化要因となっているクライアントを含むクライアント群内のクライアント数が十分に小さくなった段階で、精度悪化要因抽出部３３６は、それら精度悪化要因のクライアントを、以降の学習では使用しないように、データベース３６に登録する。
除外処理部３３８は、精度悪化要因抽出部３３６によって抽出された精度悪化要因のクライアントを、以降の学習に使用しないように、該当するクライアントを除外する処理を行う。「除外する処理」は、例えば、精度悪化要因のクライアントの端末上でのローカル学習の処理を不実施とすること、精度悪化要因のクライアントからの学習結果の受信を停止すること、精度悪化要因のクライアントから受信した学習結果を統合の処理に加えないこと、などのうち少なくとも１つの処理であってよい。
同期プログラム３２４、学習用クライアント選別プログラム３８および評価用プログラム３４は本開示における「第１のプログラム」の一例である。
また、プロセッサ３０２が表示制御プログラムの命令を実行することにより、コンピュータは表示制御部３５０として機能する。表示制御部３５０は、表示装置３１６への表示出力に必要な表示用信号を生成し、表示装置３１６の表示制御を行う。
表示装置３１６は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、若しくは、プロジェクタ、またはこれらの適宜の組み合わせによって構成される。入力装置３１４は、例えば、キーボード、マウス、タッチパネル、若しくはその他のポインティングデバイス、若しくは、音声入力装置、またはこれらの適宜の組み合わせによって構成される。入力装置３１４は、オペレータによる種々の入力を受け付ける。なお、タッチパネルを用いることによって表示装置３１６と入力装置３１４とを一体に構成してもよい。
表示装置３１６には、複数のマスターモデル候補ＭＭＣのそれぞれの各学習イテレーションにおける推論精度を表示させることができる。
《ＣＡＤサーバ６０の構成例》
図４は、クライアント２０の一例であるＣＡＤサーバ６０の構成例を示すブロック図である。ＣＡＤサーバ６０は、１台または複数台のコンピュータを用いて構成されるコンピュータシステムによって実現することができる。ＣＡＤサーバ６０は、コンピュータにプログラムをインストールし、実行することにより実現される。
図４は、クライアント２０の一例であるＣＡＤサーバ６０の構成例を示すブロック図である。ＣＡＤサーバ６０は、１台または複数台のコンピュータを用いて構成されるコンピュータシステムによって実現することができる。ＣＡＤサーバ６０は、コンピュータにプログラムをインストールし、実行することにより実現される。
ＣＡＤサーバ６０は、プロセッサ６０２、非一時的な有体物であるコンピュータ可読媒体６０４、通信インターフェース６０６、入出力インターフェース６０８、バス６１０、入力装置６１４および表示装置６１６を備える。ＣＡＤサーバ６０のハードウェア構成は、図３で説明した統合サーバ３０のハードウェア構成と同様であってよい。すなわち、図４のプロセッサ６０２、コンピュータ可読媒体６０４、通信インターフェース６０６、入出力インターフェース６０８、バス６１０、入力装置６１４および表示装置６１６のそれぞれのハードウェア構成は、図３のプロセッサ３０２、コンピュータ可読媒体３０４、通信インターフェース３０６、入出力インターフェース３０８、バス３１０、入力装置３１４および表示装置３１６と同様であってよい。
ＣＡＤサーバ６０は本開示における「情報処理装置」の一例である。プロセッサ６０２は本開示における「第２のプロセッサ」の一例である。コンピュータ可読媒体６０４は本開示における「第２のコンピュータ可読媒体」の一例である。
ＣＡＤサーバ６０は、通信インターフェース６０６または入出力インターフェース６０８を介して学習データ保存部８０と接続される。学習データ保存部８０は、ＣＡＤサーバ６０が機械学習を行うために使用する学習データを保存しておくストレージを含んで構成される。「学習データ」とは、機械学習に用いる訓練用のデータであり、「学習用データ」或いは「訓練データ」と同義である。学習データ保存部８０に保存される学習データは図１で説明したローカルデータＬＤである。学習データ保存部８０は、図２で説明したＰＡＣＳサーバ５８であってもよい。学習データ保存部８０は本開示における「医療機関のデータ保存装置」の一例である。
ここでは、学習データ保存部８０と、学習処理を実行するＣＡＤサーバ６０とがそれぞれ別々の装置として構成される例を説明するが、これらの機能は１台のコンピュータで実現してもよいし、２以上の複数台のコンピュータで処理の機能を分担して実現してもよい。
図４に示すＣＡＤサーバ６０のコンピュータ可読媒体６０４には、ローカル学習管理プログラム６３０と診断支援プログラム６４０とを含む各種プログラムおよびデータが記憶されている。プロセッサ６０２がローカル学習管理プログラム６３０の命令を実行することにより、コンピュータは同期処理部６３１、学習データ取得部６３２、ローカルモデルＬＭ、誤差演算部６３４、オプティマイザ６３５、学習結果保存部６３６、および送信処理部６３７として機能する。ローカル学習管理プログラム６３０は本開示における「第２のプログラム」の一例である。
図４に示すＣＡＤサーバ６０のコンピュータ可読媒体６０４には、ローカル学習管理プログラム６３０と診断支援プログラム６４０とを含む各種プログラムおよびデータが記憶されている。プロセッサ６０２がローカル学習管理プログラム６３０の命令を実行することにより、コンピュータは同期処理部６３１、学習データ取得部６３２、ローカルモデルＬＭ、誤差演算部６３４、オプティマイザ６３５、学習結果保存部６３６、および送信処理部６３７として機能する。ローカル学習管理プログラム６３０は本開示における「第２のプログラム」の一例である。
同期処理部６３１は、通信インターフェース６０６を介して統合サーバ３０と通信を行い、統合サーバ３０内のマスターモデルＭＭとＣＡＤサーバ６０内のローカルモデルＬＭとを同期させる。
学習データ取得部６３２は、学習データ保存部８０から学習データを取得する。学習データ取得部６３２は、外部または装置内の他の信号処理部からデータを取り込むデータ入力端子を含んで構成されてよい。また、学習データ取得部６３２は、通信インターフェース３０６、入出力インターフェース３０８、若しくは、不図示のメモリカードなどの可搬型の外部記憶媒体の読み書きを行うメディアインターフェース、またはこれら態様の適宜の組み合わせを含んで構成されてもよい。
学習データ取得部６３２を介して取得された学習データは、学習モデルとしてのローカルモデルＬＭに入力される。
誤差演算部６３４は、ローカルモデルＬＭから出力されたスコアが示す予測値と、正解データとの誤差を算出する。誤差演算部６３４は、損失関数を用いて誤差を評価する。損失関数は、例えば、交差エントロピーまたは平均二乗誤差などであってよい。
オプティマイザ６３５は、誤差演算部６３４の演算結果からローカルモデルＬＭの重みパラメータを更新する処理を行う。オプティマイザ６３５は、誤差演算部６３４から得られる誤差の演算結果を用いて、ローカルモデルＬＭの重みパラメータの更新量を求める演算処理と、算出された重みパラメータの更新量に従い、ローカルモデルＬＭの重みパラメータの更新処理と、を行う。オプティマイザ６３５は、誤差逆伝播法などのアルゴリズムに基づき重みパラメータの更新を行う。
ローカル学習管理プログラム６３０が組み込まれたＣＡＤサーバ６０は、ローカルデータＬＤを学習データとして用いてＣＡＤサーバ６０上で機械学習を実行するローカル学習装置として機能する。ＣＡＤサーバ６０は、学習データ保存部８０からローカルデータＬＤである学習データを読み込み、機械学習を実行する。ＣＡＤサーバ６０は、複数の学習データをまとめたミニバッチの単位で学習データの読み込みと、重みパラメータの更新を行うことができる。学習データ取得部６３２、ローカルモデルＬＭ、誤差演算部６３４およびオプティマイザ６３５を含む処理部は本開示における「学習処理部」の一例である。
ローカル学習管理プログラム６３０は、学習の終了条件を満たすまで、学習処理のイテレーションを回す。学習の終了条件を満たした後、学習結果としてのローカルモデルＬＭの重みパラメータは学習結果保存部６３６に保存される。
送信処理部６３７は、学習結果を統合サーバ３０に送信する処理を行う。学習結果保存部６３６に保存された学習後のローカルモデルＬＭの重みパラメータは、通信インターフェース６０６を介して広域通信回線７０経由で統合サーバ３０に送られる（図２参照）。送信処理部６３７及び通信インターフェース６０６は本開示における「送信部」の一例である。
また、プロセッサ６０２が診断支援プログラム６４０の命令を実行することにより、コンピュータはＡＩ－ＣＡＤ部６４２として機能する。
ＡＩ－ＣＡＤ部６４２は、マスターモデルＭＭまたはローカルモデルＬＭを推論モデルとして用いて、入力データに対する推論結果を出力する。ＡＩ－ＣＡＤ部６４２に対する入力データは、例えば、２次元画像、３次元画像または動画像の医用画像であり、ＡＩ－ＣＡＤ部６４２からの出力は例えば、画像内における病変部位の位置を示す情報、もしくは病名などのクラス分類を示す情報、またはこれらの組み合わせであってよい。
《ローカル学習管理プログラム６３０の説明》
既に説明したとおり、医療機関ネットワーク５０に存在するクライアント端末（クライアント２０）上に、ローカル学習管理プログラム６３０を構築する。ここでいうクライアント端末は、例えば図２におけるＣＡＤサーバ６０であってよい。このローカル学習管理プログラム６３０は、学習前のマスターモデルＭＭとローカルモデルＬＭの同期、ローカル学習の起動、ローカル学習の終了条件の設定、並びに、ローカル学習終了時にローカル学習の結果を統合サーバ３０に送信する機能を有する。
既に説明したとおり、医療機関ネットワーク５０に存在するクライアント端末（クライアント２０）上に、ローカル学習管理プログラム６３０を構築する。ここでいうクライアント端末は、例えば図２におけるＣＡＤサーバ６０であってよい。このローカル学習管理プログラム６３０は、学習前のマスターモデルＭＭとローカルモデルＬＭの同期、ローカル学習の起動、ローカル学習の終了条件の設定、並びに、ローカル学習終了時にローカル学習の結果を統合サーバ３０に送信する機能を有する。
図５は、ローカル学習管理プログラム６３０に基づくクライアント端末の動作の例を示すフローチャートである。図５に示すフローチャートのステップは、プロセッサ６０２がローカル学習管理プログラム６３０の命令に従って実行する。
ステップＳ２１において、ＣＡＤサーバ６０のプロセッサ６０２は、ローカル学習管理プログラム６３０にて設定された時刻になると、ローカルモデルＬＭとマスターモデルＭＭを同期させる。ここで「設定された時刻」とは、例えば病院の検査営業時間外を固定値で指定してもよいし、ＣＡＤサーバ６０の稼働状況の記録を持っておいて、通常ＣＡＤサーバ６０が使用されていない時間を割り出すことでプログラム的に設定してもよい。
ローカルモデルＬＭとマスターモデルＭＭの同期に際しては、例えば、モデルが使用するパラメータファイルを更新してそれをプログラムが読み込んで学習を進めるという形態でもよいし、仮想コンテナイメージ様のものを統合サーバ３０側で集中管理し、その仮想コンテナイメージ様のものをクライアント２０である端末側で展開するという形態でもよい。この同期の処理により、マスターモデルＭＭが学習開始前の初期状態の学習モデル（ローカルモデルＬＭ）となる。
ステップＳ２２において、プロセッサ６０２はローカルデータＬＤを用いてローカル学習を実行する。マスターモデルＭＭと同期されたローカルモデルＬＭは、ローカル学習管理プログラム６３０によってその学習処理を起動され、医療機関ネットワーク５０内にあるローカルデータＬＤを参照して、ローカル学習が進められる。
ステップＳ２３において、プロセッサ６０２は学習の終了条件を満たすか否かを判定する。ここで学習の終了条件は、例えば次のような条件の例を挙げることができる。
［例１］予めイテレーションの回数を指定しておき、指定された回数のイテレーション後に学習を終了する。
［例２］医療機関ネットワーク５０内に検証用データを保持しておき、学習が進んだモデルに検証用データを入力して得られる推論結果の正解に対する精度比較をすることで推論精度を算出し、指定された割合の精度向上を達成するまで学習を行う。つまり、検証用データを用いて学習モデルの推論精度を算出し、指定された割合の精度向上を達成したら学習を終了する。
［例３］制限時間を設定しておき、その制限時間内は学習を行い、制限時間が来たら学習を終了する。
上記の［例１］～［例３］のいずれか１つの終了条件を定めておいてもよいし、複数の条件の論理積（ＡＮＤ）もしくは論理和（ＯＲ）を終了条件としてもよい。
ステップＳ２３の判定結果がＮｏ判定である場合、プロセッサ６０２はステップＳ２２に戻り、ローカル学習の処理を続ける。一方、ステップＳ２３の判定結果がＹｅｓ判定である場合、プロセッサ６０２はステップＳ２４に進み、学習を終了する。
学習終了後、ステップＳ２５において、プロセッサ６０２はその学習結果を統合サーバ３０に送信する。例えば、プロセッサ６０２は、学習したモデルをファイルに保存するなどして、統合サーバ３０に広域通信回線７０経由で送信する。
図２に示した複数のＣＡＤサーバ６０のそれぞれが、互いに異なる医療機関ネットワーク内のＰＡＣＳサーバ５８に保存されているデータを学習データに用いて、それぞれのローカルモデルＬＭの機械学習を実行し、学習結果を広域通信回線７０経由で統合サーバ３０に送信する。
《学習用クライアント選別プログラム３８の説明》
図６は、学習用クライアント選別プログラム３８に基づく統合サーバ３０の動作の例を示すフローチャートである。図６に示すフローチャートのステップは、プロセッサ３０２が学習用クライアント選別プログラム３８の命令に従って実行する。
図６は、学習用クライアント選別プログラム３８に基づく統合サーバ３０の動作の例を示すフローチャートである。図６に示すフローチャートのステップは、プロセッサ３０２が学習用クライアント選別プログラム３８の命令に従って実行する。
ステップＳ３１において、プロセッサ３０２は各クライアント２０から学習結果を受信する。
ステップＳ３２において、プロセッサ３０２は各クライアント２０から送信されてきた学習結果を複数のクライアントクラスタに分割する。例えば、プロセッサ３０２は、各クライアントクラスタを構成するクライアント数が同数になるようにクライアント２０を母集団からランダムに抽出し、複数のクライアント２０をグループ分けする。
ステップＳ３３において、プロセッサ３０２はクライアントクラスタごとに学習結果を統合し、マスターモデル候補ＭＭＣを複数作成する。クライアント群の学習結果を統合してマスターモデルの重みパラメータを更新することによりマスターモデル候補ＭＭＣを作成する際の統合方法は、一般的なフェデレーテッドラーニングのアルゴリズムを用いることができる。
なお、既存のフェデレーテッドラーニングの手法の場合、複数のマスターモデル候補は作成されず、単一のマスターモデルのみが存在しており、複数のローカル学習の学習結果を統合して、単一のマスターモデルを更新する。しかし、このような既存の手法の場合、精度を悪化させるクライアントの影響を排除することが困難であり、また、その精度悪化要因のクライアントを特定することも困難である。
これに対し、本実施形態では、各クライアント２０から送信されてきた学習結果を複数のクライアント群（クライアントクラスタ）に分けてクライアントクラスタごとに統合し、複数のマスターモデル候補ＭＭＣを作成する。
また、プロセッサ３０２は、複数のマスターモデル候補ＭＭＣを作成する際に、どのマスターモデル候補ＭＭＣが、どのクライアントクラスタから作成されているかという対応関係を示す情報をデータベース３６等のデータ保存部に保存する。
ステップＳ３４において、プロセッサ３０２は各マスターモデル候補ＭＭＣについて評価用プログラム３４による推論精度の評価を行う。すなわち、プロセッサ３０２は各マスターモデル候補ＭＭＣに対して、統合サーバ３０内に存在する検証用データＴＤを入力として用いて推論を行わせ、推論精度を算出し、各マスターモデル候補ＭＭＣの推論精度を、データベース３６に保存する。評価用プログラムによる処理内容の例については図７を用いて後述する。
ステップＳ３５において、プロセッサ３０２は推論精度が精度閾値よりも低いマスターモデル候補ＭＭＣが存在するか否かを判定する。プロセッサ３０２は、評価用プログラムから精度閾値を下回る推論精度のマスターモデル候補の存在を伝える通知を受信したか否かに基づいて、ステップＳ３５の判定を行うことができる。
ステップＳ３５の判定結果がＮｏ判定である場合、つまり、推論精度が精度閾値を下回っているマスターモデル候補ＭＭＣが存在しない場合、プロセッサ３０２は各マスターモデル候補ＭＭＣとクライアントクラスタとの関係を変更しないまま、ステップＳ３９に進む。
一方、ステップＳ３５の判定結果がＹｅｓ判定である場合、論精度が精度閾値を下回っているマスターモデル候補ＭＭＣが存在する場合、プロセッサ３０２はステップＳ３６に進む。
ステップＳ３６において、プロセッサ３０２は推論精度が精度閾値を下回っているマスターモデル候補ＭＭＣの精度悪化要因のクライアント２０を抽出する。プロセッサ３０２は、ステップＳ３３の処理にてデータベース３６に保存したマスターモデル候補ＭＭＣとクライアントクラスタとの対応関係を示す情報を用いて、精度閾値を下回る推論精度のマスターモデル候補ＭＭＣを構成しているクライアントクラスタを探索し、精度悪化要因のクライアントを抽出する。
その後、ステップＳ３７において、プロセッサ３０２はステップＳ３６の処理にて抽出した精度悪化要因のクライアントの情報をデータベース３６に記録する。
ステップＳ３８において、プロセッサ３０２はステップＳ３６の処理にて抽出した精度悪化要因のクライアントを以降の学習から除外する。ステップＳ３８の後、プロセッサ３０２はステップＳ３９に進む。
ステップＳ３９において、プロセッサ３０２は製品化可能な精度を上回るモデルが得られたか否かを判定する。ステップＳ３９の判定結果がＮｏ判定である場合は、プロセッサ３０２はステップＳ３３に戻る。すなわち、プロセッサ３０２は、製品化可能な精度を上回るモデルが得られるまで、ステップＳ３３～ステップＳ３９の処理を反復する。ステップＳ３９の判定結果がＹｅｓ判定である場合、図６のフローチャートを終了する。
《評価用プログラム３４の説明》
図７は、評価用プログラム３４に基づく統合サーバ３０の動作の例を示すフローチャートである。図７に示すフローチャートは、図６のステップＳ３４に適用される。
図７は、評価用プログラム３４に基づく統合サーバ３０の動作の例を示すフローチャートである。図７に示すフローチャートは、図６のステップＳ３４に適用される。
図７のステップＳ４１において、プロセッサ３０２は各マスターモデル候補ＭＭＣに対して検証用データＴＤを入力として推論を実行させる。
ステップＳ４２において、プロセッサ３０２は推論の結果と正解データとに基づき各マスターモデル候補ＭＭＣの推論精度を算出する。
ステップＳ４３において、プロセッサ３０２は各マスターモデル候補ＭＭＣの推論精度をデータベース３６に保存する。
ステップＳ４４において、プロセッサ３０２は各マスターモデル候補ＭＭＣの推論精度と精度閾値を比較する。ここで精度閾値と比較するのは、マスターモデル候補の推論精度瞬時値と比較してもよいが、それぞれのマスターモデル候補ＭＭＣの作成に用いるクライアントクラスタの構成を固定したまま、ステップＳ３１～Ｓ４３の手順を何イテレーションか実施し、その際の推論精度を毎回記録し、それらの推論精度の平均値や中央値などの統計値と精度閾値とを比較してもよい。
ステップＳ４５において、プロセッサ３０２はステップＳ４４の比較結果を基に精度閾値を下回る推論精度のマスターモデル候補ＭＭＣが存在するか否かを判定する。
ステップＳ４５の判定結果がＹｅｓ判定である場合、プロセッサ３０２はステップＳ４６に進む。ステップＳ４６において、プロセッサ３０２は精度閾値を下回る推論精度のマスターモデル候補の存在を学習用クライアント選別プログラム３８に通知する。ここで通知方法はメッセージキューあるいは一般的なプロセス間通信等を用いることができる。
ステップＳ４６の後、または、ステップＳ４５の判定結果がＮｏ判定である場合、プロセッサ３０２は図７のフローチャートを終了し、図６のフローチャートに復帰する。
《統合サーバ３０による処理の具体例》
ここで統合サーバ３０による処理のさらに具体的な例を説明する。学習用クライアント選別プログラム３８および評価用プログラム３４を含む統合サーバ３０によって以下に示す［手順３０１］～［手順３１１］の処理が実行される。
ここで統合サーバ３０による処理のさらに具体的な例を説明する。学習用クライアント選別プログラム３８および評価用プログラム３４を含む統合サーバ３０によって以下に示す［手順３０１］～［手順３１１］の処理が実行される。
［手順３０１］学習用クライアント選別プログラム３８が、学習クライアント群 client_id_array ＝ [1,2,3,...,N,N+1]をＫ群のクライアントクラスタに分割する。例えば、学習用クライアント選別プログラム３８は、client_cluster_1 ＝ [1,3,...,2N+1], client_cluster_2 ＝ [2,4,...,2N]...を作成する。
［手順３０２］学習用クライアント選別プログラム３８が、Ｋ群のclient_cluster_*の学習結果からＫ個のマスターモデル候補ＭＭＣを作成する。なお「*」はクライアントクラスタのインデックスを表す。
［手順３０３］その後、検証用データＴＤを使用し、それぞれのマスターモデル候補ＭＭＣに推論を行わせて、得られる推論結果に対して、評価者からのフィードバックを収集する。
［手順３０４］各マスターモデル候補の推論結果に対するフィードバックを収集した結果、例えば、client_cluster_X ＝ [...,x,x+1,x+2,...]の成績（推論精度）が精度閾値を下回っていた場合、その旨を示すアラートを評価用プログラム３４から学習用クライアント選別プログラム３８に向けて発信する。
［手順３０５］アラートを受けた学習用クライアント選別プログラム３８が、client_cluster_XをＬ個のサブクラスタclient_cluster_X_1,client_cluster_X_2,...,client_cluster_X_Lに分割する。Ｌはクライアントクラスタのクライアント数Ｑ以下の整数である。
サブクラスタclient_cluster_X_1, client_cluster_X_2,...,client_cluster_X_Lのそれぞれのクライアント数は同数であってよい。
サブクラスタclient_cluster_X_1, client_cluster_X_2,...,client_cluster_X_Lのそれぞれのクライアント数は同数であってよい。
［手順３０６］学習用クライアント選別プログラム３８は、前回学習の際に推論精度に問題の無かった一部のクライアントクラスタclient_cluster_Rに、client_cluster_X_1, … , client_cluster_X_Lを混入させて、client_cluster_Raとする。例えば、前回学習の際に推論精度に問題のなかったクライアントクラスタclient_cluster_2に、サブクラスタclient_cluster_X_iを混入させて、client_cluster_2a ＝ client_cluster_2 + client_cluster_X_iとする。ここでiは１以上Ｌ以下の整数を表す。
［手順３０７］client_cluster_Raに関して、手順３０１～手順３０３と同様に、推論モデル（マスターモデル候補）を作成して、その推論精度についてフィードバックを収集する。
［手順３０８］client_cluster_Raから作成されたモデルの推論精度がclient_cluster_X_iの混入によって精度閾値を下回るようになった場合、client_cluster_X_iに問題を起こしているクライアントが含まれている可能性が高いと判断する。この場合、次の手順３０９に進み、さらにクライアントの絞り込みを行う。
［手順３０９］再度client_cluster_X_iをp個のサブクラスタに分割し、手順３０５～手順３０８を繰り返す。
［手順３１０］こうして、問題のありそうなclient_cluster内のクライアント数が十分小さくなったものを精度悪化要因のクライアントクラスタclient_cluster_low_prec_arrayとする。client_cluster_low_prec_array内のクライアントを以降の学習では使用しないようにする。client_cluster_low_prec_arrayのクライアント数は１以上であってよい。client_cluster_low_prec_arrayは、精度悪化要因となっているクライアント以外のクライアントが含まれていてもよい。
［手順３１１］製品に採用するマスターモデルは、例えば、上記のプロセスを経て残ったマスターモデル候補の中から、つまり精度の問題が無かったマスターモデル候補の中から推論精度が最良のマスターモデルを選択して使用する。
こうして本実施形態に係る機械学習システム１０を用いて機械学習方法を実施することによって作成された新たなマスターモデルは、学習前のマスターモデルよりも推論精度が向上したマスターモデルとなる。
本実施形態によれば、マスターモデルＭＭの推論性能をアップデートすることが可能である。本実施形態に係る機械学習方法を実施することによって作成された新たなマスターモデルを販売等によって提供する場合には、販売時等の添付文書に、学習に使用したクライアント数、および精度検証に使用した検証用データ数などが記載されることが好ましい。学習に使用したクライアント数に関しては、クライアント概要として、例えば、「病院＿何件」、「有床診療所＿何件」、および「無床診療所＿何件」という具合に、クライアントの分類を示すことが好ましい。
なお、現状の製品であるマスターモデルからバージョンアップを行う際の事前の手続として、前バージョンの推論精度と新バージョンの推論精度とを明示する情報、ならびに、追加の学習に使用したクライアント数と分類を示す情報を合わせて医療機関側に提示し、医療機関側のバージョンアップ前承認を受ける。そして、承認を得た後にバージョンアップを行う。
《コンピュータのハードウェア構成の例》
図８は、コンピュータのハードウェア構成の例を示すブロック図である。コンピュータ８００は、パーソナルコンピュータであってもよいし、ワークステーションであってもよく、また、サーバコンピュータであってもよい。コンピュータ８００は、既に説明したクライアント２０、統合サーバ３０、ＰＡＣＳサーバ５８、ＣＡＤサーバ６０、及び端末６２のいずれかの一部または全部、あるいはこれらの複数の機能を備えた装置として用いることができる。
図８は、コンピュータのハードウェア構成の例を示すブロック図である。コンピュータ８００は、パーソナルコンピュータであってもよいし、ワークステーションであってもよく、また、サーバコンピュータであってもよい。コンピュータ８００は、既に説明したクライアント２０、統合サーバ３０、ＰＡＣＳサーバ５８、ＣＡＤサーバ６０、及び端末６２のいずれかの一部または全部、あるいはこれらの複数の機能を備えた装置として用いることができる。
コンピュータ８００は、ＣＰＵ８０２、ＲＡＭ（Random Access Memory）８０４、ＲＯＭ（Read Only Memory）８０６、ＧＰＵ８０８、ストレージ８１０、通信部８１２、入力装置８１４、表示装置８１６およびバス８１８を備える。なお、ＧＰＵ８０８は、必要に応じて設ければよい。
ＣＰＵ８０２は、ＲＯＭ８０６またはストレージ８１０等に記憶された各種のプログラムを読み出し、各種の処理を実行する。ＲＡＭ８０４は、ＣＰＵ８０２の作業領域として使用される。また、ＲＡＭ８０４は、読み出されたプログラムおよび各種のデータを一時的に記憶する記憶部として用いられる。
ストレージ８１０は、例えば、ハードディスク装置、光ディスク、光磁気ディスク、若しくは半導体メモリ、またはこれらの適宜の組み合わせを用いて構成される記憶装置を含んで構成される。ストレージ８１０には、推論処理および／または学習処理等に必要な各種プログラムやデータ等が記憶される。ストレージ８１０に記憶されているプログラムがＲＡＭ８０４にロードされ、これをＣＰＵ８０２が実行することにより、コンピュータ８００は、プログラムで規定される各種の処理を行う手段として機能する。
通信部８１２は、有線または無線により外部装置との通信処理を行い、外部装置との間で情報のやり取りを行うインターフェースである。通信部８１２は、画像等の入力を受け付ける情報取得部の役割を担うことができる。
入力装置８１４は、コンピュータ８００に対する各種の操作入力を受け付ける入力インターフェースである。入力装置８１４は、例えば、キーボード、マウス、タッチパネル、若しくはその他のポインティングデバイス、若しくは、音声入力装置、またはこれらの適宜の組み合わせであってよい。
表示装置８１６は、各種の情報が表示される出力インターフェースである。表示装置８１６は、例えば、液晶ディスプレイ、有機ＥＬ（organic electro-luminescence:ＯＥＬ）ディスプレイ、若しくは、プロジェクタ、またはこれらの適宜の組み合わせであってよい。
《コンピュータを動作させるプログラムについて》
上述の実施形態で説明した各クライアント２０におけるローカル学習機能、ならびに統合サーバ３０におけるマスターモデル候補作成機能および推論精度評価機能を含む学習用クライアント選別機能などの各種の処理機能のうち少なくとも１つの処理機能の一部または全部をコンピュータに実現させるプログラムを、光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。
上述の実施形態で説明した各クライアント２０におけるローカル学習機能、ならびに統合サーバ３０におけるマスターモデル候補作成機能および推論精度評価機能を含む学習用クライアント選別機能などの各種の処理機能のうち少なくとも１つの処理機能の一部または全部をコンピュータに実現させるプログラムを、光ディスク、磁気ディスク、若しくは、半導体メモリその他の有体物たる非一時的な情報記憶媒体であるコンピュータ可読媒体に記録し、この情報記憶媒体を通じてプログラムを提供することが可能である。
またこのような有体物たる非一時的なコンピュータ可読媒体にプログラムを記憶させて提供する態様に代えて、インターネットなどの電気通信回線を利用してプログラム信号をダウンロードサービスとして提供することも可能である。
また、上述の各実施形態で説明したローカル学習機能、学習用クライアント選別機能および推論精度評価機能を含む複数の処理機能のうち少なくとも１つの処理機能の一部または全部をアプリケーションサーバとして提供し、電気通信回線を通じて処理機能を提供するサービスを行うことも可能である。
《各処理部のハードウェア構成について》
図３に示すマスターモデル保存部３２０、検証用データ保存部３２２、クライアントクラスタ抽出部３３２、マスターモデル候補作成部３３４、精度悪化要因抽出部３３６、除外処理部３３８、推論部３４２、推論精度算出部３４４、精度閾値比較部３４６、表示制御部３５０、図４に示す同期処理部６３１、学習データ取得部６３２、ローカルモデルＬＭ、誤差演算部６３４、オプティマイザ６３５、学習結果保存部６３６、送信処理部６３７、ＡＩ－ＣＡＤ部６４２、および表示制御部６５０などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、例えば、次に示すような各種のプロセッサ（processor）である。
図３に示すマスターモデル保存部３２０、検証用データ保存部３２２、クライアントクラスタ抽出部３３２、マスターモデル候補作成部３３４、精度悪化要因抽出部３３６、除外処理部３３８、推論部３４２、推論精度算出部３４４、精度閾値比較部３４６、表示制御部３５０、図４に示す同期処理部６３１、学習データ取得部６３２、ローカルモデルＬＭ、誤差演算部６３４、オプティマイザ６３５、学習結果保存部６３６、送信処理部６３７、ＡＩ－ＣＡＤ部６４２、および表示制御部６５０などの各種の処理を実行する処理部（processing unit）のハードウェア的な構造は、例えば、次に示すような各種のプロセッサ（processor）である。
各種のプロセッサには、プログラムを実行して各種の処理部として機能する汎用的なプロセッサであるＣＰＵ、画像処理に特化したプロセッサであるＧＰＵ、ＦＰＧＡ（Field Programmable Gate Array）などの製造後に回路構成を変更可能なプロセッサであるプログラマブルロジックデバイス（Programmable Logic Device：ＰＬＤ）、ＡＳＩＣ（Application Specific Integrated Circuit）などの特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路などが含まれる。
１つの処理部は、これら各種のプロセッサのうちの１つで構成されていてもよいし、同種または異種の２つ以上のプロセッサで構成されてもよい。例えば、１つの処理部は、複数のＦＰＧＡ、或いは、ＣＰＵとＦＰＧＡの組み合わせ、またはＣＰＵとＧＰＵの組み合わせによって構成されてもよい。また、複数の処理部を１つのプロセッサで構成してもよい。複数の処理部を１つのプロセッサで構成する例としては、第一に、クライアントやサーバなどのコンピュータに代表されるように、１つ以上のＣＰＵとソフトウェアの組み合わせで１つのプロセッサを構成し、このプロセッサが複数の処理部として機能する形態がある。第二に、システムオンチップ（System On Chip：ＳｏＣ）などに代表されるように、複数の処理部を含むシステム全体の機能を１つのＩＣ（Integrated Circuit）チップで実現するプロセッサを使用する形態がある。このように、各種の処理部は、ハードウェア的な構造として、上記各種のプロセッサを１つ以上用いて構成される。
さらに、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子などの回路素子を組み合わせた電気回路（circuitry）である。
《本実施形態による利点》
本発明の実施形態に係る機械学習システム１０によれば、次のような利点がある。
本発明の実施形態に係る機械学習システム１０によれば、次のような利点がある。
［１］診断画像などプライバシーに配慮が必要な個人情報を医療機関側から外部に持ち出すことなく、学習を行うことができる。
［２］複数のクライアント２０の中から、学習に不適な精度悪化要因のクライアントを抽出することができ、問題のあるクライアントを学習クライアント群から除外することができる。
［３］フェデレーテッドラーニングにおいて学習の精度を担保することが可能になり、問題のある一部のクライアントに起因するマスターモデルの精度低下を抑制することができる。
［４］推論精度の高いＡＩモデルを作成することが可能になる。
《変形例１》
上述の実施形態では、医用画像診断用のＡＩモデルを例に説明したが、本開示の技術の適用範囲はこの例に限らず、例えば、入力データとして時系列データを用いるＡＩモデルまたは入力データとして文書データを用いるＡＩモデルについて、学習を行う場合にも適用することができる。時系列データは、例えば心電図の波形データなどであってよい。文書データは、例えば診断レポートなどであってよく、レポートの作成支援を行うＡＩモデルの学習に適用することができる。
上述の実施形態では、医用画像診断用のＡＩモデルを例に説明したが、本開示の技術の適用範囲はこの例に限らず、例えば、入力データとして時系列データを用いるＡＩモデルまたは入力データとして文書データを用いるＡＩモデルについて、学習を行う場合にも適用することができる。時系列データは、例えば心電図の波形データなどであってよい。文書データは、例えば診断レポートなどであってよく、レポートの作成支援を行うＡＩモデルの学習に適用することができる。
《変形例２》
統合サーバ３０は、精度悪化要因のクライアントに対して、以降の学習から除外する措置をとることに加えて、または、これに代えて、精度悪化要因のクライアントに対して、問題があること伝える通知を行ってもよい。
統合サーバ３０は、精度悪化要因のクライアントに対して、以降の学習から除外する措置をとることに加えて、または、これに代えて、精度悪化要因のクライアントに対して、問題があること伝える通知を行ってもよい。
《その他》
上述の実施形態で説明した構成や変形例で説明した事項は、適宜組み合わせて用いることができ、また、一部の事項を置き換えることもできる。本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
上述の実施形態で説明した構成や変形例で説明した事項は、適宜組み合わせて用いることができ、また、一部の事項を置き換えることもできる。本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能である。
１０ 機械学習システム
２０ クライアント
３０ 統合サーバ
３４ 評価用プログラム
３６ データベース
３８ 学習用クライアント選別プログラム
５０ 医療機関ネットワーク
５２ ＣＴ装置
５４ ＭＲＩ装置
５６ ＣＲ装置
５８ ＰＡＣＳサーバ
６０ ＣＡＤサーバ
６２ 端末
６４ 構内通信回線
７０ 広域通信回線
８０ 学習データ保存部
３０２ プロセッサ
３０４ コンピュータ可読媒体
３０６ 通信インターフェース
３０８ 入出力インターフェース
３１０ バス
３１４ 入力装置
３１６ 表示装置
３２０ マスターモデル保存部
３２２ 検証用データ保存部
３２４ 同期プログラム
３３２ クライアントクラスタ抽出部
３３４ マスターモデル候補作成部
３３６ 精度悪化要因抽出部
３３８ 除外処理部
３４２ 推論部
３４４ 推論精度算出部
３４６ 精度閾値比較部
３５０ 表示制御部
６０２ プロセッサ
６０４ コンピュータ可読媒体
６０６ 通信インターフェース
６０８ 入出力インターフェース
６１０ バス
６１４ 入力装置
６１６ 表示装置
６３０ ローカル学習管理プログラム
６３１ 同期処理部
６３２ 学習データ取得部
６３４ 誤差演算部
６３５ オプティマイザ
６３６ 学習結果保存部
６３７ 送信処理部
６４０ 診断支援プログラム
６４２ ＡＩ－ＣＡＤ部
６５０ 表示制御部
８００ コンピュータ
８０２ ＣＰＵ
８０４ ＲＡＭ
８０６ ＲＯＭ
８０８ ＧＰＵ
８１０ ストレージ
８１２ 通信部
８１４ 入力装置
８１６ 表示装置
８１８ バス
ＤＭ 悪魔マーク
ＬＤ ローカルデータ
ＬＭ ローカルモデル
ＭＭ マスターモデル
ＭＭＣ マスターモデル候補
ＭＭＣ１ マスターモデル候補
ＭＭＣＫ マスターモデル候補
ＴＤ 検証用データ
Ｓ２１～Ｓ２５ ローカル学習管理処理のステップ
Ｓ３１～Ｓ３９ 学習用クライアント選別処理のステップ
Ｓ４１～Ｓ４６ 推論精度の評価処理のステップ
２０ クライアント
３０ 統合サーバ
３４ 評価用プログラム
３６ データベース
３８ 学習用クライアント選別プログラム
５０ 医療機関ネットワーク
５２ ＣＴ装置
５４ ＭＲＩ装置
５６ ＣＲ装置
５８ ＰＡＣＳサーバ
６０ ＣＡＤサーバ
６２ 端末
６４ 構内通信回線
７０ 広域通信回線
８０ 学習データ保存部
３０２ プロセッサ
３０４ コンピュータ可読媒体
３０６ 通信インターフェース
３０８ 入出力インターフェース
３１０ バス
３１４ 入力装置
３１６ 表示装置
３２０ マスターモデル保存部
３２２ 検証用データ保存部
３２４ 同期プログラム
３３２ クライアントクラスタ抽出部
３３４ マスターモデル候補作成部
３３６ 精度悪化要因抽出部
３３８ 除外処理部
３４２ 推論部
３４４ 推論精度算出部
３４６ 精度閾値比較部
３５０ 表示制御部
６０２ プロセッサ
６０４ コンピュータ可読媒体
６０６ 通信インターフェース
６０８ 入出力インターフェース
６１０ バス
６１４ 入力装置
６１６ 表示装置
６３０ ローカル学習管理プログラム
６３１ 同期処理部
６３２ 学習データ取得部
６３４ 誤差演算部
６３５ オプティマイザ
６３６ 学習結果保存部
６３７ 送信処理部
６４０ 診断支援プログラム
６４２ ＡＩ－ＣＡＤ部
６５０ 表示制御部
８００ コンピュータ
８０２ ＣＰＵ
８０４ ＲＡＭ
８０６ ＲＯＭ
８０８ ＧＰＵ
８１０ ストレージ
８１２ 通信部
８１４ 入力装置
８１６ 表示装置
８１８ バス
ＤＭ 悪魔マーク
ＬＤ ローカルデータ
ＬＭ ローカルモデル
ＭＭ マスターモデル
ＭＭＣ マスターモデル候補
ＭＭＣ１ マスターモデル候補
ＭＭＣＫ マスターモデル候補
ＴＤ 検証用データ
Ｓ２１～Ｓ２５ ローカル学習管理処理のステップ
Ｓ３１～Ｓ３９ 学習用クライアント選別処理のステップ
Ｓ４１～Ｓ４６ 推論精度の評価処理のステップ
Claims (21)
- 複数のクライアント端末と、統合サーバと、を含む機械学習システムであって、
前記複数のクライアント端末のそれぞれは、
医療機関のデータ保存装置に保存されているデータを学習データに用いて学習モデルの機械学習を実行する学習処理部と、
前記学習モデルの学習結果を前記統合サーバに送信する送信部と、を含み、
前記統合サーバは、
学習済みのマスターモデルと、
前記複数のクライアント端末にそれぞれの前記学習モデルを学習させる前に、各クライアント端末側の前記学習モデルと前記マスターモデルとを同期させる同期処理部と、
前記複数のクライアント端末からそれぞれの前記学習結果を受信する受信部と、
前記複数のクライアント端末を複数のグループに分けて複数のクライアントクラスタを作成するクライアントクラスタ作成部と、
前記クライアントクラスタごとの前記学習結果を統合してマスターモデル候補を前記クライアントクラスタごとに作成するマスターモデル候補作成部と、
前記クライアントクラスタごとに作成された前記マスターモデル候補のそれぞれの推論精度を評価することにより、前記推論精度が精度閾値を下回っている前記マスターモデル候補を検出する精度評価部と、
前記推論精度が精度閾値を下回っている前記マスターモデル候補の作成に用いられた前記クライアントクラスタの中から精度悪化要因となっているクライアント端末を抽出する精度悪化要因抽出部と、
を備える機械学習システム。 - 前記統合サーバは、
前記精度悪化要因抽出部によって抽出された前記精度悪化要因の前記クライアント端末を、以降の学習から除外する除外処理部をさらに備える、請求項１に記載の機械学習システム。 - 前記統合サーバは、
前記精度悪化要因抽出部によって抽出された前記精度悪化要因の前記クライアント端末の情報を保存する情報保存部をさらに備える、請求項１または２に記載の機械学習システム。 - 前記複数のクライアント端末のそれぞれは、異なる医療機関の医療機関ネットワーク内に設置される端末である、請求項１から３のいずれか一項に記載の機械学習システム。
- 前記統合サーバは、医療機関ネットワーク内または医療機関ネットワーク外に設置される、請求項１から４のいずれか一項に記載の機械学習システム。
- 前記クライアント端末から前記統合サーバに送信される前記学習結果は、学習後の前記学習モデルの重みパラメータを含む、請求項１から５のいずれか一項に記載の機械学習システム。
- 前記学習データとして使用される前記データは、２次元画像、３次元画像、動画像、時系列データおよび文書データのうち少なくとも１つの種類のデータを含む、
請求項１から６のいずれか一項に記載の機械学習システム。 - 前記学習モデル、前記マスターモデル、および前記マスターモデル候補の各モデルは、ニューラルネットワークを用いて構成される、請求項１から７のいずれか一項に記載の機械学習システム。
- 前記学習データとして使用される前記データは２次元画像、３次元画像または動画像を含み、
前記学習モデル、前記マスターモデル、および前記マスターモデル候補の各モデルは、畳み込みニューラルネットワークを用いて構成される、請求項１から８のいずれか一項に記載の機械学習システム。 - 前記学習データとして使用される前記データは時系列データまたは文書データを含み、
前記学習モデル、前記マスターモデル、および前記マスターモデル候補の各モデルは、再帰型ニューラルネットワークを用いて構成される、請求項１から８のいずれか一項に記載の機械学習システム。 - 前記複数のクライアントクラスタのそれぞれを構成する前記クライアント端末の数が同数であり、各クライアントクラスタを構成する前記クライアント端末は非重複である、請求項１から１０のいずれか一項に記載の機械学習システム。
- 前記統合サーバは、
前記複数のマスターモデル候補のそれぞれが前記複数のクライアントクラスタのうちのどのクライアントクラスタを基に作成されているかという対応関係を示す情報を保存する関連付け情報保存部をさらに備える、請求項１から１１のいずれか一項に記載の機械学習システム。 - 前記精度評価部は、前記マスターモデル候補のそれぞれの推論精度の瞬時値と前記精度閾値との比較に基づいて、または、前記マスターモデル候補のそれぞれの学習イテレーションにおける推論精度の統計値と前記精度閾値との比較に基づいて、前記マスターモデル候補の推論精度が前記精度閾値を下回っているか否かを判定する、請求項１から１２のいずれか一項に記載の機械学習システム。
- 前記精度評価部は、前記精度閾値を下回る推論精度の前記マスターモデル候補を検出した場合に、その検出に係る前記マスターモデル候補の情報を前記精度悪化要因抽出部に通知する、請求項１から１３のいずれか一項に記載の機械学習システム。
- 前記統合サーバは、
前記クライアントクラスタごとに作成される前記マスターモデル候補のそれぞれの各学習イテレーションにおける推論精度が表示される表示装置をさらに備える、請求項１から１４のいずれか一項に記載の機械学習システム。 - 検証用データが保存されている検証用データ保存部をさらに備え、
前記精度評価部は、前記検証用データを用いて前記マスターモデル候補の前記推論精度を評価する、請求項１から１５のいずれか一項に記載の機械学習システム。 - 複数のクライアント端末と、統合サーバと、を用いる機械学習方法であって、
前記複数のクライアント端末のそれぞれに学習モデルを学習させる前に、各クライアント端末側の前記学習モデルと、前記統合サーバに保存されている学習済みのマスターモデルとを同期させることと、
前記複数のクライアント端末のそれぞれが、互いに異なる医療機関のそれぞれのデータ保存装置に保存されているデータを学習データに用いて前記学習モデルの機械学習を実行することと、
前記複数のクライアント端末のそれぞれが、前記学習モデルの学習結果を前記統合サーバに送信することと、
前記統合サーバが、
前記複数のクライアント端末からそれぞれの前記学習結果を受信することと、
前記複数のクライアント端末を複数のグループに分けて複数のクライアントクラスタを作成することと、
前記クライアントクラスタごとの前記学習結果を統合してマスターモデル候補を前記クライアントクラスタごとに作成することと、
前記クライアントクラスタごとに作成された前記マスターモデル候補のそれぞれの推論精度を評価することにより、前記推論精度が精度閾値を下回っている前記マスターモデル候補を検出することと、
前記推論精度が精度閾値を下回っている前記マスターモデル候補の作成に用いられた前記クライアントクラスタの中から精度悪化要因となっているクライアント端末を抽出することと、
を含む機械学習方法。 - 通信回線を介して複数のクライアント端末と接続される統合サーバであって、
学習済みのマスターモデルを保存しておくマスターモデル保存部と、
前記複数のクライアント端末にそれぞれの学習モデルを学習させる前に、各クライアント端末側の前記学習モデルと前記マスターモデルとを同期させる同期処理部と、
前記複数のクライアント端末からそれぞれの学習結果を受信する受信部と、
前記複数のクライアント端末を複数のグループに分けて複数のクライアントクラスタを作成するクライアントクラスタ作成部と、
前記クライアントクラスタごとの前記学習結果を統合してマスターモデル候補を前記クライアントクラスタごとに作成するマスターモデル候補作成部と、
前記クライアントクラスタごとに作成された前記マスターモデル候補のそれぞれの推論精度を評価することにより、前記推論精度が精度閾値を下回っている前記マスターモデル候補を検出する精度評価部と、
前記推論精度が精度閾値を下回っている前記マスターモデル候補の作成に用いられた前記クライアントクラスタの中から精度悪化要因となっているクライアント端末を抽出する精度悪化要因抽出部と、
を備える統合サーバ。 - 通信回線を介して複数のクライアント端末と接続される統合サーバであって、
第１のプロセッサと、
前記第１のプロセッサによって実行される第１のプログラムが記録された非一時的な有体物である第１のコンピュータ可読媒体と、を含み、
前記第１のプロセッサは、前記第１のプログラムの命令に従い、
学習済みのマスターモデルを前記第１のコンピュータ可読媒体に保存しておくことと、 前記複数のクライアント端末にそれぞれの学習モデルを学習させる前に、各クライアント端末側の前記学習モデルと前記マスターモデルとを同期させることと、
前記複数のクライアント端末からそれぞれの学習結果を受信することと、
前記複数のクライアント端末を複数のグループに分けて複数のクライアントクラスタを作成することと、
前記クライアントクラスタごとの前記学習結果を統合してマスターモデル候補を前記クライアントクラスタごとに作成することと、
前記クライアントクラスタごとに作成された前記マスターモデル候補のそれぞれの推論精度を評価することにより、前記推論精度が精度閾値を下回っている前記マスターモデル候補を検出することと、
前記推論精度が精度閾値を下回っている前記マスターモデル候補の作成に用いられた前記クライアントクラスタの中から精度悪化要因となっているクライアント端末を抽出することと、
を含む処理を実行する、統合サーバ。 - 通信回線を介して複数のクライアント端末と接続される統合サーバとしてコンピュータを機能させるためのプログラムであって、
前記コンピュータに、
学習済みのマスターモデルを保存しておく機能と、
前記複数のクライアント端末にそれぞれの学習モデルを学習させる前に、各クライアント端末側の前記学習モデルと前記マスターモデルとを同期させる機能と、
前記複数のクライアント端末からそれぞれの学習結果を受信する機能と、
前記複数のクライアント端末を複数のグループに分けて複数のクライアントクラスタを作成する機能と、
前記クライアントクラスタごとの前記学習結果を統合してマスターモデル候補を前記クライアントクラスタごとに作成する機能と、
前記クライアントクラスタごとに作成された前記マスターモデル候補のそれぞれの推論精度を評価することにより、前記推論精度が精度閾値を下回っている前記マスターモデル候補を検出する機能と、
前記推論精度が精度閾値を下回っている前記マスターモデル候補の作成に用いられた前記クライアントクラスタの中から精度悪化要因となっているクライアント端末を抽出する機能と、
を実現させるためのプログラム。 - 複数のクライアント端末と、統合サーバと、を用いて機械学習を行うことにより、推論モデルを作成する方法であって、
前記複数のクライアント端末のそれぞれに学習モデルを学習させる前に、各クライアント端末側の前記学習モデルと、前記統合サーバに保存されている学習済みのマスターモデルとを同期させることと、
前記複数のクライアント端末のそれぞれが、互いに異なる医療機関のそれぞれのデータ保存装置に保存されているデータを学習データに用いて前記学習モデルの機械学習を実行することと、
前記複数のクライアント端末のそれぞれが、前記学習モデルの学習結果を前記統合サーバに送信することと、
前記統合サーバが、
前記複数のクライアント端末からそれぞれの前記学習結果を受信することと、
前記複数のクライアント端末を複数のグループに分けて複数のクライアントクラスタを作成することと、
前記クライアントクラスタごとの前記学習結果を統合してマスターモデル候補を前記クライアントクラスタごとに作成することと、
前記クライアントクラスタごとに作成された前記マスターモデル候補のそれぞれの推論精度を評価することにより、前記推論精度が精度閾値を下回っている前記マスターモデル候補を検出することと、
前記推論精度が前記精度閾値を下回っている前記マスターモデル候補の作成に用いられた前記クライアントクラスタの中から精度悪化要因となっているクライアント端末を抽出することと、
前記推論精度が前記精度閾値以上である前記マスターモデル候補を基に、前記マスターモデルよりも推論精度が高い前記推論モデルを作成することと、
を含む推論モデルの作成方法。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019175714 | 2019-09-26 | ||
| JP2019175714 | 2019-09-26 | ||
| PCT/JP2020/022609 WO2021059607A1 (ja) | 2019-09-26 | 2020-06-09 | 機械学習システムおよび方法、統合サーバ、情報処理装置、プログラムならびに推論モデルの作成方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2021059607A1 JPWO2021059607A1 (ja) | 2021-04-01 |
| JP7374202B2 true JP7374202B2 (ja) | 2023-11-06 |
Family
ID=75164976
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2021548338A Active JP7374202B2 (ja) | 2019-09-26 | 2020-06-09 | 機械学習システムおよび方法、統合サーバ、プログラムならびに推論モデルの作成方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20220172844A1 (ja) |
| JP (1) | JP7374202B2 (ja) |
| DE (1) | DE112020003387T5 (ja) |
| WO (1) | WO2021059607A1 (ja) |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20220309054A1 (en) * | 2021-03-24 | 2022-09-29 | International Business Machines Corporation | Dynamic updating of digital data |
| WO2023132791A2 (en) * | 2022-01-04 | 2023-07-13 | Nanyang Technological University | Method and system for variable on-demand privacy- preserving federated learning using multiparty computation |
| WO2023188259A1 (ja) * | 2022-03-31 | 2023-10-05 | 日本電信電話株式会社 | 秘密グローバルモデル計算装置、秘密グローバルモデル計算システム構成方法、プログラム |
| JP2023173559A (ja) | 2022-05-26 | 2023-12-07 | 株式会社日立製作所 | 分析装置、分析方法、および分析プログラム |
| CN117675596A (zh) * | 2022-08-09 | 2024-03-08 | 华为技术有限公司 | 一种数据分析方法及装置 |
| WO2024031986A1 (zh) * | 2022-08-12 | 2024-02-15 | 华为云计算技术有限公司 | 一种模型管理方法及相关设备 |
| CN115773562A (zh) * | 2022-11-24 | 2023-03-10 | 杭州经纬信息技术股份有限公司 | 基于联邦学习的统一化暖通空调系统故障检测方法 |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017174298A (ja) | 2016-03-25 | 2017-09-28 | 株式会社デンソーアイティーラボラトリ | ニューラルネットワークシステム、端末装置、管理装置およびニューラルネットワークにおける重みパラメータの学習方法 |
| WO2019022052A1 (ja) | 2017-07-28 | 2019-01-31 | プラスマン合同会社 | 情報処理装置、システムおよび情報処理方法 |
| WO2019170785A1 (en) | 2018-03-07 | 2019-09-12 | Movidius Ltd. | Determining weights of convolutional neural networks |
-
2020
- 2020-06-09 DE DE112020003387.2T patent/DE112020003387T5/de active Pending
- 2020-06-09 JP JP2021548338A patent/JP7374202B2/ja active Active
- 2020-06-09 WO PCT/JP2020/022609 patent/WO2021059607A1/ja active Application Filing
-
2022
- 2022-02-16 US US17/673,764 patent/US20220172844A1/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2017174298A (ja) | 2016-03-25 | 2017-09-28 | 株式会社デンソーアイティーラボラトリ | ニューラルネットワークシステム、端末装置、管理装置およびニューラルネットワークにおける重みパラメータの学習方法 |
| WO2019022052A1 (ja) | 2017-07-28 | 2019-01-31 | プラスマン合同会社 | 情報処理装置、システムおよび情報処理方法 |
| WO2019170785A1 (en) | 2018-03-07 | 2019-09-12 | Movidius Ltd. | Determining weights of convolutional neural networks |
Non-Patent Citations (1)
| Title |
|---|
| FUNG, Clement et al.，"Mitigating Sybils in Federated Learning Poisoning"，arXiv.org [online]，arXiv:1808.04866v4，Cornell University，2019年05月，pp.1-16，[検索日 2020.08.27], インターネット:<URL: https://arxiv.org/pdf/1808.04866v4> |
Also Published As
| Publication number | Publication date |
|---|---|
| JPWO2021059607A1 (ja) | 2021-04-01 |
| WO2021059607A1 (ja) | 2021-04-01 |
| DE112020003387T5 (de) | 2022-04-14 |
| US20220172844A1 (en) | 2022-06-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7374202B2 (ja) | 機械学習システムおよび方法、統合サーバ、プログラムならびに推論モデルの作成方法 | |
| CN108784655B (zh) | 针对医疗患者的快速评估和后果分析 | |
| Ueda et al. | Technical and clinical overview of deep learning in radiology | |
| CN111344801B (zh) | 针对前列腺癌的多模态计算机辅助诊断系统和方法 | |
| US11037070B2 (en) | Diagnostic test planning using machine learning techniques | |
| US20180144244A1 (en) | Distributed clinical workflow training of deep learning neural networks | |
| US20190156947A1 (en) | Automated information collection and evaluation of clinical data | |
| JP2020500378A (ja) | ディープラーニング医療システムおよび医療処置のための方法 | |
| Mazzanti et al. | Imaging, health record, and artificial intelligence: hype or hope? | |
| US20220237898A1 (en) | Machine learning system and method, integration server, information processing apparatus, program, and inference model creation method | |
| CN113168912B (zh) | 使用深度学习确定3d数据集中对象的增长速度 | |
| JP2021056995A (ja) | 医用情報処理装置、医用情報処理システム及び医用情報処理方法 | |
| Gao et al. | Chest X-ray image analysis and classification for COVID-19 pneumonia detection using Deep CNN | |
| JP7058988B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| US20220164661A1 (en) | Machine learning system and method, integration server, information processing apparatus, program, and inference model creation method | |
| CN114051623A (zh) | 使用ai编排进行图像处理和路由 | |
| Dack et al. | Artificial intelligence and interstitial lung disease: Diagnosis and prognosis | |
| JP2022537818A (ja) | 機械学習されたモデルを使用して皮膚状態を診断すること | |
| Suman et al. | Attention based CNN-LSTM network for pulmonary embolism prediction on chest computed tomography pulmonary angiograms | |
| Kaur et al. | A review on optimization techniques for medical image analysis | |
| WO2021101833A1 (en) | Methods and systems for remote analysis of medical image records | |
| US20230004785A1 (en) | Machine learning system and method, integration server, information processing apparatus, program, and inference model creation method | |
| Huang et al. | A review of uncertainty quantification in medical image analysis: probabilistic and non-probabilistic methods | |
| US9526457B2 (en) | Predictive intervertebral disc degeneration detection engine | |
| Rajaraman et al. | Uncovering the effects of model initialization on deep model generalization: A study with adult and pediatric chest X-ray images |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220406 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230517 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230711 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231013 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231024 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7374202 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |