JP2024008511A - 情報処理システム及び情報処理方法 - Google Patents

情報処理システム及び情報処理方法 Download PDF

Info

Publication number
JP2024008511A
JP2024008511A JP2022110448A JP2022110448A JP2024008511A JP 2024008511 A JP2024008511 A JP 2024008511A JP 2022110448 A JP2022110448 A JP 2022110448A JP 2022110448 A JP2022110448 A JP 2022110448A JP 2024008511 A JP2024008511 A JP 2024008511A
Authority
JP
Japan
Prior art keywords
local
model
information processing
weight
learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2022110448A
Other languages
English (en)
Inventor
賢治 鈴木
Kenji Suzuki
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tokyo Institute of Technology NUC
Original Assignee
Tokyo Institute of Technology NUC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tokyo Institute of Technology NUC filed Critical Tokyo Institute of Technology NUC
Priority to JP2022110448A priority Critical patent/JP2024008511A/ja
Publication of JP2024008511A publication Critical patent/JP2024008511A/ja
Pending legal-status Critical Current

Links

Images

Abstract

【課題】学習に用いるデータを秘匿しつつ、連合学習によって、簡易な構成にて所望の性能を有するモデルを提供する。【解決手段】情報処理システム１００は、医療機関１～４と、中央局５と、を有する。医療機関１～４は、収集した学習データに基づいて学習を行ったローカルモデルＭ１～Ｍ４を表現する重みパラメータに基づく情報を送信する。中央局５は、医療機関１～４のローカル局から送信された重みパラメータに基づく情報を用いて、保有する統合モデルＭを表現する重みパラメータを更新する。【選択図】図２

Description

本開示は、情報処理システム及び情報処理方法に関する。
深層学習による人工知能（artificial intelligence：ＡＩ）は様々な分野で盛んに応用されている。ＡＩの学習には、様々な情報源から収集されたビッグデータ(数万～数百万例)が必要となる。この場合には、広範な情報源からデータを収集しなければならないため、データの秘匿をいかに実現するかが問題となる。
画像の深層学習モデルにおいては、画像を入力として、その中の対象物の名称を学習することにより、その名称を判別する分類器を実現できる。例えば、猫や犬が写っている画像を大量に学習すれば、入力画像に猫が写っているのか、又は、犬が写っているのかを判別することができる。しかし、深層学習モデルで学習するデータがハッキングされれば、画像データが抜き取られ、画像中の個人情報や肖像などが第三者に漏洩してしまう。
更には、画像を学習している過程の深層学習モデルのパラメータの変化が読み取られれば、学習に使った画像のリバースエンジニアリングが可能となる場合も想定され、セキュリティの観点から問題が有る。これに対しては、学習する画像やモデルパラメータにノイズを加えることによって正確な画像復元を妨げる方法が提案されているが、この手法は、本質的にモデルの性能を低下させてしまう。
他にも、データを秘匿する手法として、複数の施設のデータに基づいてＡＩを学習する連合学習が、２０１７年にＧｏｏｇｌｅにより提唱された（非特許文献１）。連合学習は、複数の施設のデータにより学習させたＡＩモデルを、中央の施設で連合させる。本手法を用いれば、データを各施設の外に出すことなく、あたかも複数の施設のデータで学習したＡＩを構築できる。連合学習については、例えば金融の分野においても、適用例が報告されている（非特許文献２）。
米国特許第７５４５９６５号明細書 米国特許第６８１９７９０号明細書
H. Brendan McMahan, et al., "Communication-Efficient Learning of Deep Networks from Decentralized Data", Artificial Intelligence and Statistics, 2017, Vol. 54, pp1237-1282. 「プライバシー保護連合学習技術を活用した不正送金検知の実証実験を実施 ～被害取引の検知精度向上や不正口座の早期検知を確認～」、online，２０２２年３月１０日、国立研究開発法人情報通信研究機構、国立大学法人神戸大学、株式会社エルテス、インターネット、＜URL：https://www.nict.go.jp/press/2022/03/10-1.html＞
上述の連合学習によれば、分散した複数の施設で学習を行ってその結果を連合するので、各施設から学習に用いたデータを外部に出さずに済む。しかし、各施設のそれぞれにおいて、ＡＩを学習するためのビッグデータが必要となり、各施設に分散された少量のデータに基づいて学習したとしても、連合したモデルが所望の性能に達し難いという問題が有る。
連合したモデルの性能を向上させようとすると、各施設において大量の学習データを用意しなければならず、かつ、これを学習するための高度なコンピュータリソースが要求される。その結果、各施設にとっては通常の機械学習を行うのと変わらなくなってしまい、これは連合学習の導入の妨げとなってしまう。
本開示は、上記の事情に鑑みて成されたものであり、学習に用いるデータを秘匿しつつ、連合学習によって、簡易な構成にて所望の性能を有するモデルを提供することを目的とする。
本開示の一態様である情報処理システムは、収集した学習データに基づいて学習を行ったローカルモデルを表現する重みパラメータに基づく情報を送信する複数のローカル局と、前記複数のローカル局から送信された重みパラメータに基づく情報を用いて、保有する統合モデルを表現する重みパラメータを更新する中央局と、を備えるものである。このように、各ローカル局にある画像そのものを送信するのではなく、ローカルモデルを表現する重みパラメータに基づく情報を送信することによって、画像に含まれる個人情報や肖像などを秘匿することができる。
本開示の一態様である情報処理システムは、上記の情報処理システムであって、ｎが前記複数のローカル局のそれぞれを特定する番号、ΔＷｎ（ｔ）が時刻ｔにおける各ローカルモデルを表現するパラメータを更新したことによる重みパラメータの更新分であり、Ｗ（ｔ）が時刻ｔにおける前記統合モデルを表現する重みパラメータ、γｎが前記複数のローカル局で学習に用いられたサンプルの総数に対する各ローカル局での学習に用いられたサンプル数の割合とした場合、前記ローカル局は、以下の式に基づいて、前記複数のローカル局の重みパラメータの更新分を用いて、時刻ｔ＋１における前記統合モデルを表現する重みパラメータを算出し、算出した時刻ｔ＋１における前記統合モデルを表現する重みパラメータによって前記統合モデルを表現する重みパラメータを更新することが望ましい。
Figure 2024008511000002
 このように、各ローカル局にある画像そのものを送信するのではなく、ローカルモデルを表現する重みパラメータの更新分を送信することによって、画像に含まれる個人情報や肖像などを秘匿することができる。
本開示の一態様である情報処理システムは、上記の情報処理システムであって、前記中央局は、更新後の前記統合モデルを表現するパラメータを前記複数のローカル局に送信し、前記複数のローカル局のそれぞれは、保有する前記ローカルモデルを表現する重みパラメータを、受け取った前記更新後の統合モデルを表現するパラメータに基づいて更新することが望ましい。これにより、中央局からローカル局に送信された統合モデルを表現する重みパラメータを用いて、各ローカル局のローカルモデルを表現する重みパラメータを更新して、ローカルモデルによる推定精度を向上させることができる。
本開示の一態様である情報処理システムは、上記の情報処理システムであって、前記複数のローカル局のそれぞれは、以下の式に基づいて、受信した時刻ｔ＋１における統合モデルを表現するパラメータを用いて、時刻ｔ＋２における前記ローカルモデルを表現する重みパラメータを算出し、算出した時刻ｔ＋２における前記ローカルモデルを表現する重みパラメータによって、前記ローカルモデルを表現する重みパラメータを更新することが望ましい。
Figure 2024008511000003
 これにより、中央局からローカル局に送信された統合モデルを表現する重みパラメータを用いて、各ローカル局のローカルモデルを表現する重みパラメータを更新して、ローカルモデルによる推定精度を向上させることができる。
本開示の一態様である情報処理方法は、ローカル局が、収集した学習データに基づいて学習を行ったローカルモデルを表現する重みパラメータに基づく情報を送信し、中央局が、前記複数のローカル局から送信された重みパラメータに基づく情報を用いて、保有する統合モデルを表現する重みパラメータを更新するものである。このように、各ローカル局にある画像そのものを送信するのではなく、ローカルモデルを表現する重みパラメータに基づく情報を送信することによって、画像に含まれる個人情報や肖像などを秘匿することができる。
本開示の一態様である情報処理方法は、上記の情報処理方法であって、ｎが前記複数のローカル局のそれぞれを特定する番号、ΔＷｎ（ｔ）が時刻ｔにおける各ローカルモデルを表現するパラメータを更新したことによる重みパラメータの更新分であり、Ｗ（ｔ）が時刻ｔにおける前記統合モデルを表現する重みパラメータ、γｎが前記複数のローカル局で学習に用いられたサンプルの総数に対する各ローカル局での学習に用いられたサンプル数の割合とした場合、前記ローカル局は、以下の式に基づいて、前記複数のローカル局の重みパラメータの更新分を用いて、時刻ｔ＋１における前記統合モデルを表現する重みパラメータを算出し、算出した時刻ｔ＋１における前記統合モデルを表現する重みパラメータによって前記統合モデルを表現する重みパラメータを更新することが望ましい。
Figure 2024008511000004
 このように、各ローカル局にある画像そのものを送信するのではなく、ローカルモデルを表現する重みパラメータの更新分を送信することによって、画像に含まれる個人情報や肖像などを秘匿することができる。
本開示の一態様である情報処理方法は、上記の情報処理方法であって、前記中央局は、更新後の前記統合モデルを表現するパラメータを前記複数のローカル局に送信し、前記複数のローカル局のそれぞれは、保有する前記ローカルモデルを表現する重みパラメータを、受け取った前記更新後の統合モデルを表現するパラメータに基づいて更新することが望ましい。これにより、中央局からローカル局に送信された統合モデルを表現する重みパラメータを用いて、各ローカル局のローカルモデルを表現する重みパラメータを更新して、ローカルモデルによる推定精度を向上させることができる。
本開示の一態様である情報処理方法は、上記の情報処理方法であって、 前記複数のローカル局のそれぞれは、以下の式に基づいて、受信した時刻ｔ＋１における統合モデルを表現するパラメータを用いて、時刻ｔ＋２における前記ローカルモデルを表現する重みパラメータを算出し、算出した時刻ｔ＋２における前記ローカルモデルを表現する重みパラメータによって、前記ローカルモデルを表現する重みパラメータを更新することが望ましい。
Figure 2024008511000005
 これにより、中央局からローカル局に送信された統合モデルを表現する重みパラメータを用いて、各ローカル局のローカルモデルを表現する重みパラメータを更新して、ローカルモデルによる推定精度を向上させることができる。
本開示によれば、学習に用いるデータを秘匿しつつ、連合学習によって、簡易な構成にて所望の性能を有するモデルを提供することができる。
実施の形態１にかかる情報処理装置を実現するためのハードウェア構成の一例を示す図である。 実施の形態１にかかる情報処理システムの構成を模式的に示す図である。 実施の形態１にかかる情報処理システムの構成をより詳細に示す図である。 実施の形態１にかかる医療機関の情報処理装置の構成を模式的に示す図である。 実施の形態１にかかる医療機関の情報処理装置の他の構成を模式的に示す図である。 実施の形態１にかかる情報処理システムでの学習処理のフローチャートである。 ＭＴＡＮＮの構造とＭＴＡＮＮへのデータ入力の概要を示す図である。 実施の形態１にかかる中央局の情報処理装置の構成を模式的に示す図である。 実施の形態１にかかる中央局の情報処理装置の他の構成を模式的に示す図である。
以下、具体的な実施の形態について、図面を参照しながら詳細に説明する。ただし、以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載及び図面は、適宜簡略化されている。また、同一の要素には、同一の符号を付し、重複する説明は省略する。
実施の形態１
まず、実施の形態１にかかる情報処理システムで用いられる情報処理装置の理解の前提として、情報処理装置を実現するためのハードウェア構成の一例を示す。図１に、実施の形態１にかかる情報処理装置を実現するためのハードウェア構成の一例を示す図である。情報処理装置は、専用コンピュータ、パーソナルコンピュータ（ＰＣ）などのコンピュータ１０００により実現可能である。但し、コンピュータは、物理的に単一である必要はなく、分散処理を実行する場合には、複数であってもよい。図１に示すように、コンピュータ１０００は、ＣＰＵ（Central Processing Unit）１００１、ＲＯＭ（Read Only Memory）１００２及びＲＡＭ（Random Access Memory）１００３を有し、これらがバス１００４を介して相互に接続されている。尚、コンピュータを動作させるためのＯＳソフトなどは、説明を省略するが、この情報処理装置を構築するコンピュータも当然有しているものとする。
バス１００４には、入出力インターフェイス１００５も接続されている。入出力インターフェイス１００５には、例えば、キーボード、マウス、センサなどよりなる入力部１００６、ＣＲＴ、ＬＣＤなどよりなるディスプレイ、並びにヘッドフォンやスピーカなどよりなる出力部１００７、ハードディスクなどより構成される記憶部１００８、モデム、ターミナルアダプタなどより構成される通信部１００９などが接続されている。
ＣＰＵ１００１は、ＲＯＭ１００２に記憶されている各種プログラム、又は記憶部１００８からＲＡＭ１００３にロードされた各種プログラムに従って各種の処理、本実施の形態においては、例えば後述する情報処理装置の各部の処理を実行する。なお、ＧＰＵ（Graphics Processing Unit）を設けて、ＣＰＵ１００１と同様に、ＲＯＭ１００２に記憶されている各種プログラム、又は記憶部１００８からＲＡＭ１００３にロードされた各種プログラムに従って各種の処理、本実施の形態においては、例えば後述する情報処理装置の各部の処理を行ってもよい。なお、ＧＰＵは、定型的な処理を並列的に行う用途に適しており、後述するニューラルネットワークにおける処理などに適用することで、ＣＰＵ１００１に比べて処理速度を向上させることも可能である。ＲＡＭ１００３には又、ＣＰＵ１００１及びＧＰＵが各種の処理を実行する上において必要なデータなども適宜記憶される。
通信部１００９は、例えば図示しないインターネットを介しての通信処理を行ったり、ＣＰＵ１００１から提供されたデータを送信したり、通信相手から受信したデータをＣＰＵ１００１、ＲＡＭ１００３、記憶部１００８に出力したりする。記憶部１００８はＣＰＵ１００１との間でやり取りし、情報の保存・消去を行う。通信部１００９は又、他の装置との間で、アナログ信号又はディジタル信号の通信処理を行う。
入出力インターフェイス１００５はまた、必要に応じてドライブ１０１０が接続され、例えば、磁気ディスク１０１１、光ディスク１０１２、フレキシブルディスク１０１３、又は半導体メモリ１０１４などが適宜装着され、それらから読み出されたコンピュータプログラムが必要に応じて記憶部１００８にインストールされる。
実施の形態１にかかる情報処理システムついて説明する。本実施の形態にかかる情報処理システムは、画像を入力データとしてローカルモデルの教師有り学習を行う複数のローカル局と、各分散学習局での学習結果に基づいて統合モデルを構築する中央局と、を含むものとして構成される。
図２に、実施の形態１にかかる情報処理システム１００の構成を模式的に示す。図３に、実施の形態１にかかる情報処理システム１００の構成をより詳細に示す。情報処理システム１００は、ローカル局である病院などの医療機関１～４と、中央局５と、を有する。医療機関１～４は、学習処理及び推定処理を行う情報処理装置１０、２０、３０及び４０をそれぞれ有する。中央局５は、情報処理装置５０を有する。また、図２及び図３では、医療機関１～４は、学習対象となる複数の画像及と各画像の教師データとなるラベルとを含む学習データとして、学習データＤ１～Ｄ４を表示している。なお、本実施の形態では、検査画像として、ＭＲＩで撮像した肝臓付近の断層画像を例示している。
まず、医療機関１の情報処理装置１０について説明する。図４に、実施の形態１にかかる情報処理装置１０の構成を模式的に示す。情報処理装置１０は、データ取得部１１、演算部１２及び表示部１３を有する。
データ取得部１１は、演算部１２に入力する画像を読み込み、演算部１２へ出力する。データ取得部１１が取得して、演算部１２へ出力する画像は、ＭＲＩ（Magnetic Resonance Imaging）やＣＴ（Computed Tomography）などの画像診断装置によって患者の患部を撮像した画像であり、データ取得部１１は、適宜、これらの画像診断装置から画像を取得してもよい。データ取得部１１は、例えば、図１の入出力インターフェイス１００５及び通信部１００９や、これらの組み合わせになどよって実現可能である。
また、データ取得部１１は、画像診断装置によって撮像され、かつ、記憶装置に予め格納された画像を読み出してもよい。図５に、実施の形態１にかかる情報処理装置１０の他の構成を模式的に示す。図５に示すように、情報処理装置１０は記憶部１４を有していてもよく、データ取得部１１は、記憶部１４に予め格納された画像を読み込んで、演算部１２へ出力してもよい。記憶部１４は、例えば、図１の、ドライブ１０１０、磁気ディスク１０１１、光ディスク１０１２、フレキシブルディスク１０１３及び半導体メモリ１０１４や、これらの組み合わせなどによって実現可能である。
記憶部１４には、演算部１２が後述するローカルモデル構築のために用いるプログラムや構築前後のローカルモデル、ローカルモデルを構築するための重みパラメータを格納することも可能である。演算部１２は、必要に応じて、これらの情報を記憶部１４から読み込み、かつ、記憶部１４に書き込むことができる。
演算部１２は、入力された画像に応じて、機械学習又は推定処理を行い、処理結果を表示部１３へ出力可能に構成される。演算部１２は、例えば、図１のＣＰＵ１００１や、ＣＰＵ１００１とその周辺機器との協同によって実現可能である。本実施の形態では、演算部１２は、学習データＤ１をローカルモデルＭ１に入力して深層学習を行い、学習後のローカルモデルＭ１を表現する重みパラメータＷ１に基づく情報を中央局５に送信する。また、演算部１２は、中央局５から受け取った統合モデルＭを表現する重みパラメータＷを用いて、ローカルモデルＭ１を表現する重みパラメータＷ１を更新することができる。あらに、演算部１２は、病変の種別の推定対象となる診断画像をローカルモデルＭ１に入力し、その診断画像に現れた病変を推定する機能も有する。
表示部１３は、必要に応じて、演算部１２での処理結果を表示可能に構成される。表示部１３は、例えば、図１の出力部１００７によって実現可能である。
医療機関２～４の情報処理装置２０、３０及び４０は、情報処理装置１０と同様の構成を有する。すなわち、情報処理装置２０は、データ取得部２１、演算部２２及び表示部２３を有し、それぞれが、データ取得部１１、演算部１２及び表示部１３に対応する。情報処理装置３０は、データ取得部３１、演算部３２及び表示部３３を有し、それぞれが、データ取得部１１、演算部１２及び表示部１３に対応する。情報処理装置４０は、データ取得部４１、演算部４２及び表示部４３を有し、それぞれが、データ取得部１１、演算部１２及び表示部１３に対応する。また、情報処理装置２０、３０及び４０は、情報処理装置１０と同様に、記憶部１４に対応する記憶部２４、３４及び４４を有していてもよい。
また、演算部２２、３２及び４２は、ローカルモデルＭ１に対応するローカルモデルＭ２～Ｍ４をそれぞれ有する。なお、各医療機関において用いられる入力データの相違に応じて、機械学習後のローカルモデルＭ１～Ｍ４はそれぞれ異なるローカルモデルとなり得ることは、言うまでも無い。また、演算部２２、３２及び４２の重みパラメータＷ２～Ｗ４は、重みパラメータＷ１に対応するものであるが、ローカルモデルＭ１～Ｍ４の相違に応じて重みパラメータＷ１～Ｗ４がそれぞれ異なるパラメータとなり得ることは、言うまでも無い。
次いで、各情報処理装置の動作について説明する。情報処理装置１０は、複数の検査画像を演算部１２が有するローカルモデルＭ１に入力して教師有り学習を行う。ローカルモデルＭ１は、例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）であり、入力データを入力して教師有り学習を行うことで、ＣＮＮを構成するニューロンの重みが更新される。これにより、ローカルモデルＭ１は、画像に映り込んでいる腫瘍などの病変の種類を推定する分類器として機能することができる。
情報処理装置１０、２０、３０及び４０における入力データの学習処理について説明する。以下では、情報処理装置１０、２０、３０及び４０における学習処理を、分散学習と称する。図６に、情報処理システム１００での学習処理のフローチャートを示す。
ステップＳ１１
データ取得部１１は、教師データとなる画像と各画像に付されたラベルの組を複数含む教師データを読み込み、演算部１２に入力する。
ステップＳ１２
演算部１２は、受け取った教師データを、保有するローカルモデルＭ１に入力して教師有り学習を行う。本実施の形態では、各検査画像は、例えばＭＲＩで撮像した画像であり、ここでは、肝臓付近の断層写真を用いるものとする。情報処理装置１０は、学習によって、画像に映り込んでいる腫瘍などの病変の種類の分類器となるローカルモデルＭ１を構築する。ローカルモデルＭ１は、例えば畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）であり、入力データを入力して教師有り学習を行うことで、ＣＮＮを構成するニューロンの重みが更新される。
ステップＳ１３
演算部１２は、学習完了後のローカルモデルＭ１から、ローカルモデルＭ１に各ニューロンの重みを抽出し、重みパラメータＷ１として、中央局５へ送信する。なお、本実施の形態では、後述するように、ローカルモデルＭ１の更新前と更新後との間で生じた重みパラメータの更新分を送信するものとする。
ここで、画像の学習方法について検討する。本実施の形態では、画像生データの機械学習手法として、画像出力型深層学習等の画像を直接学習する手法等を使用することが望ましい。画像出力型深層学習の例としては、ＭＴＡＮＮ（Massive-Training Artificial Neural Network）が挙げられる。ＭＴＡＮＮは、画像を出力することができる非線形深層学習モデルである。本実施の形態においては、情報処理装置の演算部は、ＭＴＡＮＮにより取得される学習済みモデル（推定器）を学習する。
ＭＴＡＮＮについては、特許文献１及び２にて説明されているが、以下、簡潔に説明する。ＭＴＡＮＮは、様々なイメージ処理やパターン認識処理に適用可能なニューラルネットワークである。図７に、ＭＴＡＮＮの構造とＭＴＡＮＮへのデータ入力の概要を示す。
ＭＴＡＮＮ２０１は、入力の画素のレベル及び出力の画素のレベルを直接的に操作可能な多層ニューラルネット（ＡＮＮ：Artificial Neural Network）で構成される。ＭＴＡＮＮ２０１の多層ＡＮＮは、入力層２０２、隠れ層２０３及び出力層２０４で構成される。入力層２０２、隠れ層２０３は、複数のユニット（ニューロン）を有しているが、出力層２０４はユニット（ニューロン）を１つだけ有する。
入力層２０２、隠れ層２０３及び出力層２０４は、それぞれ、活性化関数として線形関数、シグモイド関数及び線形関数を有する。イメージ処理におけるＡＮＮの特性は出力層の活性化関数を線形関数にすることにより大幅に改善されるので、ＭＴＡＮＮでは、出力層のユニットの活性化関数として、シグモイド関数の代わりに線形関数が適用される。
ＭＴＡＮＮ２０１は、ハイパスフィルタ処理、ローパスフィルタ、バンドパスフィルタ処理、ノイズ削減、エッジ強調、エッジ検出、補間、パターンマッチング、対象物強調、対象物認識、ウェーブレット変換、フーリエ変換によるテクスチャ解析及びセグメンテーションなどの各種のフィルタ処理の機能を学習により獲得し、イメージ処理及びパターン認識を行うことができる。これにより、ＭＴＡＮＮ２０１は、あらゆるマッピング処理を近似的に実現することが可能である。
学習フェーズ及び実行フェーズにおいてＭＴＡＮＮにイメージを入力するにあたり、入力イメージの画素値は、正規化される。例えば入力イメージの画素値の量子化レベルが１０ビット（１０２４階調）で有る場合、画素値が０（ダイナミックレンジの下限値）の場合には０、ピクセル値が１０２３（ダイナミックレンジの上限値）の場合には１となるように、画素値が正規化される。本正規化は一例であり、他の正規化方法を行っても良い。
ＭＴＡＮＮ２０１へのイメージの入力は、所定の大きさを有するローカルウィンドウＲＳで元の入力イメージをスキャンすることで取得される、サブ領域を逐次入力することで行われる。このとき、例えば、ローカルウィンドウＲＳを画素の行の一端から所定の数の画素単位でシフトさせ、他端に到達したならば隣の行へシフトする処理を繰り返すことで、入力イメージをスキャンする。すなわち、ローカルウィンドウは重なりを持ちながら所定の数の画素単位でシフトする。所定の数は１画素である場合もある。これにより、１枚の入力データからサブ領域を切り出して、かつ、含まれる画素値を正規化した後に、ＭＴＡＮＮ２０１に入力することができる。
ＭＴＡＮＮ２０１から出力される画素値ｆ（ｘ，ｙ）は、ローカルウィンドウＲＳの中央の画素値に対応する連続値であり、以下の式で表される。
Figure 2024008511000006
 式［５］において、ｘ及びｙは画像の座標値、ＮＮ{＊}は変形ＡＮＮの出力、Ｉ（ｘ，ｙ）は、変形ＡＮＮへの入力ベクトル、ｇ（ｘ，ｙ）はローカルウィンドウＲＳ内の正規化された画素値である。
出力画像の画素値ｆ（ｘ，ｙ）、つまりＭＴＡＮＮの出力値は、適用分野に応じた所望の値の推定値として出力される。本実施の形態におけるように、低画質の画像を高画質の画像に変換する場合には、画素値ｆ（ｘ，ｙ）は、高画質画像の画素値の推定値が出力される。
イメージに病変が含まれるか否かを識別する場合には、画素値ｆ（ｘ，ｙ）として、「病変らしさを示す尤度」が出力される。
ＭＴＡＮＮは、特許文献１及び２で開示されるように、教師データを用いた教師有り学習を行うことでトレーニングされる。なお、トレーニングの際は、入力画像全てをスキャンする必要はなく、必要な部分のみをサンプルしてサブ領域を抽出することにより、ローカル局並びに中央局における学習の演算量を大幅に減らすことができる。このようなサンプリングは、ランダムに行うこともできるし、病変などの重要な領域を集中的にサンプリングすることもできる。 そして、トレーニングされたＭＴＡＮＮに、診断の対象となる入力イメージを入力することで、ローカルウィンドウＲＳごとに上述した推定画素値が得られる。そして、入力イメージから得られるローカルウィンドウの情報に基づいて、所望の出力画像を得ることが可能となる。
イメージに病変が含まれるか否かを識別する場合には、１枚の診断対象入力イメージから得られる画素値に基づいて、診断対象入力イメージに病変が含まれるか否かを判定することが可能となる。
ＭＴＡＮＮを用いる場合の学習フェーズ（すなわち学習方法）及び実行フェーズでの動作は、一般的な機械学習における手法を適用可能であり、例えば、特許文献４及び５における手法を用いることができる。つまり、ＭＴＡＮＮで構成されたネットワークに、学習用の入力データと教師データとを入力して教師有り機械学習を行うことで、学習済みモデルを構築することができる。
なお、適用可能な深層学習手法はＭＴＡＮＮに限定されるものではなく、例えば、convolutional neural networks（ＣＮＮ）、shift-invariant neural networks、deep belief networks（ＤＢＮ）、deep neural networks（ＤＮＮ）、fully convolutional neural networks（ＦＣＮ）、U-Net、V-Net、multi-resolution massive-training artificial neural networks、multiple expert massive-training artificial neural networks、SegNet、VGG-16、LeNet、AlexNet、Residual network (ResNet)、Auto encoders and decoders、Generative adversarial networks（ＧＡＮ）、Recurrent Neural Networks（ＲＮＮ）、Recursive Neural Networks、Long Short-Term Memory（ＬＳＴＭ）などの各種の深層学習手法を用いることも可能である。
次に、中央局５の情報処理装置５０について説明する。図８に、実施の形態１にかかる情報処理装置５０の構成を模式的に示す。情報処理装置５０は、データ取得部５１及び演算部５２を有する。
データ取得部５１は、情報処理装置１０、２０、３０及び４０から送信された重みパラメータＷ１～Ｗ４を受け取り、演算部５２へ転送する。データ取得部５１は、例えば、図１の入出力インターフェイス１００５及び通信部１００９や、これらの組み合わせになどよって実現可能である。
また、データ取得部５１は、記憶装置に予め格納された重みパラメータＷ１～Ｗ４を読み出してもよい。図９に、実施の形態１にかかる情報処理装置５０の構成を模式的に示す。図８に示すように、情報処理装置５０は記憶部を有していてもよく、記憶部５４には、情報処理装置１０、２０、３０及び４０から送信された重みパラメータＷ１～Ｗ４が予め格納されていてもよい。この場合、データ取得部５１は、必要に応じて、重みパラメータＷ１～Ｗ４を読み込むことが可能である。記憶部５４は、例えば、図１の、ドライブ１０１０、磁気ディスク１０１１、光ディスク１０１２、フレキシブルディスク１０１３及び半導体メモリ１０１４や、これらの組み合わせなどによって実現可能である。
記憶部５４には、演算部５２が後述する統合モデル構築のために用いるプログラムや、統合モデルＭ自体、及び、統合モデルＭから抽出した重みパラメータＷを格納することも可能である。演算部５２は、必要に応じて、これらの情報を記憶部５４から読み込み、かつ、記憶部５４に書き込むことができる。
演算部５２は、重みパラメータＷ１～Ｗ４を、保有する統合モデルＭに適用することで、統合モデルＭの各ニューロンの重みを更新するものとして構成される。これにより、重みパラメータＷ１～Ｗ４の更新分に基づいて情報処理装置５０が統合モデルＭを更新する処理を、統合学習と称する。以下、統合学習について、具体的に説明する。
ステップＳ２１
データ取得部５１は、重みパラメータの更新分ΔＷ１～ΔＷ４を取得する。重みパラメータ更新分ΔＷ１～ΔＷ４は、学習データを用い学習アルゴリズムにより算出されるローカルモデルＭ１～Ｍ４の重みパラメータＷ１～Ｗ４の更新値であり、ある時点で重みパラメータＷ１～Ｗ４が更新されてから、その次に更新されることで生じた重みパラメータＷ１～Ｗ４の変化分を示すパラメータである。学習アルゴリズムは、誤差逆伝播法を用いてもよいし、確率的勾配降下法を用いても良いし、RMSprop法、Adagrad法、Adam法などの各種の手法を用いてもよい。
ステップＳ２２
演算部５２は、時刻ｔの時点で医療機関ｎから集められた重みパラメータ分の更新分ΔＷｎ（ｔ）を、以下の式に基づいて、中央局５の演算部５２が有する統合モデルＭの時刻ｔの時点での重みパラメータＷ（ｔ）に統合する。ここでいう、
Figure 2024008511000007
 ただし、γｎは医療機関１～４で学習に用いられたサンプルの総数ＮＳＡＬＬに対する医療機関ｎでの学習に用いられたサンプル数ＮＳｎの割合（すなわち、γｎ＝ＮＳｎ／ＮＳＡＬＬ）である。Ｎは、医療機関の総数を示す値であり、この例では、Ｎ＝４である。また、時刻ｔ＋１は、時刻ｔよりも将来の任意の時刻を示すものである。例えば、統合モデルの更新周期が定められている場合には、時刻ｔ＋１は、時刻ｔより１更新周期後の時刻としてもよい。
ステップＳ２３
演算部５２は、更新後の統合モデルＭの重みパラメータＷ（t）を、医療機関１～４のそれぞれへ送信する。
情報処理装置１０、２０、３０及び４０は、情報処理装置５０から送信された、統合モデルＭの重みパラメータＷに基づいて、分散学習を更に進める。以下、具体的に説明する。
ステップＳ３１
各情報処理装置のデータ取得部は、情報処理装置５０から送信された、統合モデルＭの重みパラメータＷ（ｔ＋１）を取得する。
ステップＳ３２
各情報処理装置の演算部は、以下の式に基づいて、保有するローカルモデルＭｎの重みパラメータＷｎを更新する。
Figure 2024008511000008
 時刻ｔ＋２は、時刻ｔ＋１よりも将来の任意の時刻を示すものである。例えば、ローカルの更新周期が定められている場合には、時刻ｔ＋２は、時刻ｔより１更新周期後の時刻としてもよい。
このように、医療機関１～４における分散学習（ステップＳ１１～Ｓ１３、Ｓ３１及びＳ３２）と中央局５における統合学習（ステップＳ２１～Ｓ２３）とを繰り返すことにより、医療機関１～４での学習結果を反映させて中央局５の統合モデルの学習を進めることができる。これにより、各医療機関の学習で準備された入力データの全てを用いて中央局５でモデルを学習したのと同様の学習を実現することができる。
また、医療機関１～４におけるローカルモデルを、統合学習の結果を反映して更新できるので、医療機関１～４で診断画像に基づいて病変の種別を推定するときの精度を、上述の繰り返し処理によって、継続的に向上させることができる。
本構成によれば、分散学習によって、各ローカル局（医療機関）で深層学習に要するデータ量を削減できるとともに、連合学習技術を用いることができる。これにより、一般的な連合学習が有する問題点、すなわち、学習を行う各ローカル局で大量の学習データが必要であること、各ローカル局において大規模かつ高性能のコンピュータリソースが必要であること、 各ローカル局と中央局との間で大容量の通信が必要であるといった問題点を解決することができる。
また、本構成によれば、各ローカル局から中央局へ、学習データそのものではなく、学習したローカルモデルを表現する重みパラメータに基づく情報を送信するだけなので、画像などの学習データを外部へ流出させることなく、学習データをローカル局内に秘匿することができる。
よって、ローカル局におけるデータセキュリティの確立と、連合学習による効率的なモデル構築とを両立できる情報処理システムを実現することが可能となる。
その他の実施の形態
なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、各医療機関から中央局へは、ローカルモデルの重みパラメータの，更新分を送信するものとして説明したが、これは例示に過ぎない。例えば、例えば、各医療機関から中央局へローカルモデルの重みパラメータを逐次送信し、中央局が必要に応じてローカルモデルの重みパラメータの更新分を算出してもよい。
上述の実施の形態では、ローカル局である医療機関において、画像診断装置での撮像によって得られた診断画像を学習する例について説明したが、これは例示に過ぎない。例えば、学習対象となるデータは限定されるものではなく、上述の情報処理システムは、個人・秘匿情報を扱うソーシャルネットワーク、セキュリティ、金融保険、医療、健康、スマートフォン、ｅコマース、ネット販売及び自動運転などの、各種の分野におけるモデルの連合学習へ適用できることは、言うまでも無い。
上述の実施の形態では、本発明を主にハードウェアの構成として説明したが、これに限定されるものではなく、任意の処理を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）にコンピュータプログラムを実行させることにより実現することも可能である。この場合、コンピュータプログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ））を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。
１～４ 医療機関
５ 中央局
１０、２０、３０、４０、５０ 情報処理装置
１１、２１、３１、４１、５１ データ取得部
１２、２２、３２、４２、５２ 演算部
１３、２３、３３、３４ 表示部
１４ 記憶部
１００ 情報処理システム
２０１ ＭＴＡＮＮ
２０２ 入力層
２０３ 隠れ層
２０４ 出力層
１０００ コンピュータ
１００１ ＣＰＵ
１００２ ＲＯＭ
１００３ ＲＡＭ
１００４ バス
１００５ 入出力インターフェイス
１００６ 入力部
１００７ 出力部
１００８ 記憶部
１００９ 通信部
１０１０ ドライブ
１０１１ 磁気ディスク
１０１２ 光ディスク
１０１３ フレキシブルディスク
１０１４ 半導体メモリ
Ｄ１～Ｄ４ 学習データ
Ｍ１～Ｍ４ ローカルモデル

Claims (8)

  1. 収集した学習データに基づいて学習を行ったローカルモデルを表現する重みパラメータに基づく情報を送信する複数のローカル局と、
    前記複数のローカル局から送信された重みパラメータに基づく情報を用いて、保有する統合モデルを表現する重みパラメータを更新する中央局と、を備える、
    情報処理システム。
  2. ｎが前記複数のローカル局のそれぞれを特定する番号、ΔＷｎ（ｔ）が時刻ｔにおける各ローカルモデルを表現するパラメータを更新したことによる重みパラメータの更新分であり、Ｗ（ｔ）が時刻ｔにおける前記統合モデルを表現する重みパラメータ、γｎが前記複数のローカル局で学習に用いられたサンプルの総数に対する各ローカル局での学習に用いられたサンプル数の割合とした場合、前記ローカル局は、以下の式に基づいて、前記複数のローカル局の重みパラメータの更新分を用いて、時刻ｔ＋１における前記統合モデルを表現する重みパラメータを算出し、算出した時刻ｔ＋１における前記統合モデルを表現する重みパラメータによって前記統合モデルを表現する重みパラメータを更新する、
    Figure 2024008511000009
     請求項１に記載の情報処理システム。
  3. 前記中央局は、更新後の前記統合モデルを表現するパラメータを前記複数のローカル局に送信し、
    前記複数のローカル局のそれぞれは、保有する前記ローカルモデルを表現する重みパラメータを、受け取った前記更新後の統合モデルを表現するパラメータに基づいて更新する、
    請求項２に記載の情報処理システム。
  4. 前記複数のローカル局のそれぞれは、以下の式に基づいて、受信した時刻ｔ＋１における統合モデルを表現するパラメータを用いて、時刻ｔ＋２における前記ローカルモデルを表現する重みパラメータを算出し、算出した時刻ｔ＋２における前記ローカルモデルを表現する重みパラメータによって、前記ローカルモデルを表現する重みパラメータを更新する、
    Figure 2024008511000010
     請求項３に記載の情報処理システム。
  5. 複数のローカル局が、収集した学習データに基づいて学習を行ったローカルモデルを表現する重みパラメータに基づく情報を送信し、
    中央局が、前記複数のローカル局から送信された重みパラメータに基づく情報を用いて、保有する統合モデルを表現する重みパラメータを更新する、
    情報処理方法。
  6. ｎが前記複数のローカル局のそれぞれを特定する番号、ΔＷｎ（ｔ）が時刻ｔにおける各ローカルモデルを表現するパラメータを更新したことによる重みパラメータの更新分であり、Ｗ（ｔ）が時刻ｔにおける前記統合モデルを表現する重みパラメータ、γｎが前記複数のローカル局で学習に用いられたサンプルの総数に対する各ローカル局での学習に用いられたサンプル数の割合とした場合、前記ローカル局は、以下の式に基づいて、前記複数のローカル局の重みパラメータの更新分を用いて、時刻ｔ＋１における前記統合モデルを表現する重みパラメータを算出し、算出した時刻ｔ＋１における前記統合モデルを表現する重みパラメータによって前記統合モデルを表現する重みパラメータを更新する、
    Figure 2024008511000011
     請求項５に記載の情報処理方法。
  7. 前記中央局は、更新後の前記統合モデルを表現するパラメータを前記複数のローカル局に送信し、
    前記複数のローカル局のそれぞれは、保有する前記ローカルモデルを表現する重みパラメータを、受け取った前記更新後の統合モデルを表現するパラメータに基づいて更新する、
    請求項６に記載の情報処理方法。
  8. 前記複数のローカル局のそれぞれは、以下の式に基づいて、受信した時刻ｔ＋１における統合モデルを表現するパラメータを用いて、時刻ｔ＋２における前記ローカルモデルを表現する重みパラメータを算出し、算出した時刻ｔ＋２における前記ローカルモデルを表現する重みパラメータによって、前記ローカルモデルを表現する重みパラメータを更新する、
    Figure 2024008511000012
     請求項７に記載の情報処理方法。
JP2022110448A 2022-07-08 2022-07-08 情報処理システム及び情報処理方法 Pending JP2024008511A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2022110448A JP2024008511A (ja) 2022-07-08 2022-07-08 情報処理システム及び情報処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022110448A JP2024008511A (ja) 2022-07-08 2022-07-08 情報処理システム及び情報処理方法

Publications (1)

Publication Number Publication Date
JP2024008511A true JP2024008511A (ja) 2024-01-19

Family

ID=89544733

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022110448A Pending JP2024008511A (ja) 2022-07-08 2022-07-08 情報処理システム及び情報処理方法

Country Status (1)

Country Link
JP (1) JP2024008511A (ja)

Similar Documents

Publication Publication Date Title
Jifara et al. Medical image denoising using convolutional neural network: a residual learning approach
EP3511942B1 (en) Cross-domain image analysis using deep image-to-image networks and adversarial networks
Ben Yedder et al. Deep learning for biomedical image reconstruction: A survey
CN107610193B (zh) 使用深度生成式机器学习模型的图像校正
CN110570426B (zh) 使用深度学习的图像联合配准和分割
CN112132959B (zh) 数字岩心图像处理方法、装置、计算机设备及存储介质
CN107545309A (zh) 使用深度生成机器学习模型的图像质量评分
Sun et al. Multiscale generative adversarial network for real‐world super‐resolution
KR102460257B1 (ko) 진단 결과를 제공하기 위한 방법 및 장치
CN113256592B (zh) 图像特征提取模型的训练方法、系统及装置
Shahsavari et al. Proposing a novel Cascade Ensemble Super Resolution Generative Adversarial Network (CESR-GAN) method for the reconstruction of super-resolution skin lesion images
He et al. Remote sensing image super-resolution using deep–shallow cascaded convolutional neural networks
JP6832252B2 (ja) 超解像装置およびプログラム
US20230079353A1 (en) Image correction using an invertable network
Xie et al. Super-resolution of Pneumocystis carinii pneumonia CT via self-attention GAN
Tussupov et al. APPLYING MACHINE LEARNING TO IMPROVE A TEXTURE TYPE IMAGE.
CN113724185A (zh) 用于图像分类的模型处理方法、装置及存储介质
JP2024008511A (ja) 情報処理システム及び情報処理方法
KR102472550B1 (ko) 병변 탐지 방법, 프로그램 및 장치
Guo et al. Thyroid nodule ultrasonic imaging segmentation based on a deep learning model and data augmentation
CN113850796A (zh) 基于ct数据的肺部疾病识别方法及装置、介质和电子设备
Mithya et al. RETRACTED ARTICLE: Medical image integrated possessions assisted soft computing techniques for optimized image fusion with less noise and high contour detection
Chetia et al. Quantum Image Edge Extraction Algorithm for Noisy Image
Garehdaghi et al. PET image super resolution using convolutional neural networks
Zhang et al. Cascaded Degradation-Aware Blind Super-Resolution