JP2024039598A

JP2024039598A - 連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステム

Info

Publication number: JP2024039598A
Application number: JP2023095887A
Authority: JP
Inventors: ▲勁▼松李; Jingsong Li; ▲艶▼霞 ▲趙▼; Yanxia Zhao; 佩君胡; Peijun Hu; 超黄; Chao Huang; 雨田; Yu Tian; 天舒周; Tianshu Zhou
Original assignee: Zhejiang Lab
Current assignee: Zhejiang Lab
Priority date: 2022-09-09
Filing date: 2023-06-09
Publication date: 2024-03-22
Anticipated expiration: 2043-06-09
Also published as: CN115187783A; CN115187783B; JP7386370B1

Abstract

【課題】単一のラベルタイプの制限を打破し、連合学習に基づくマルチタスクハイブリッドモデルアーキテクチャを提案し、各関与者のデータサイロを打破し、多機関データの潜在能力と深層価値を十分にマイニングするだけでなく、タスク間の関係を十分に利用してさらに効果的な文脈特徴をマイニングし、異なる階層特徴間の情報の相補性を実現し、さらにモデルの精度及びロバスト性を向上させる。【解決手段】連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステムは、各種の弱教師ありデータ、完全教師ありデータ及びラベルなしデータに基づくデータ収集モジュールと、連合学習に基づく第１段階でのマルチタスクネットワークモデルモジュールと、第２段階に基づく疑似ラベル生成モジュールと、第２段階に基づく動的サンプル選択モジュールと、異なる段階に基づく連合モデル動的更新モジュールとを含む。【選択図】図１

Description

本発明は画像分割の技術分野に関し、特に連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステムに関する。

医用画像分割はコンピュータ支援診断の画像内容分析をサポートする代表的なタスクであり、病変カテゴリを認識できるだけでなく、特定の領域を位置特定でき、臨床診断において重要な役割を果たす。コンピュータのハードウェア性能の向上に伴って、深層学習に基づく画像分割技術は医用画像を処理する有力なツールになる。医用画像分割用の深層学習モデルの最適化は通常、様々なソースからの大量の注釈付きのピクセルレベルの訓練データに依存する。しかし、ピクセルレベルの注釈コストが非常に高く、医用画像のラベル付けには非常に高度な専門知識が必要であるため、各医療機関のピクセルレベルのラベル付き画像は非常に限られており、且つ利用可能な画像のほとんどはラベルなし又は弱ラベル付きのものである。一方、医療機関間の敏感な患者情報の厳密な共有契約によってデータの共有が非常に困難であるため、膨大なピクセルレベルの症例注釈データを収集することは非常に困難な作業であることが多く、これらの規模が小さく、データ分布が不均衡で、情報含有量が少ないピクセルレベルデータを利用するだけではロバスト性及び汎化能力が満足できるモデルを訓練するのに十分ではない。連合学習（ＦＬ）は分散型学習フレームワークとして、複数の顧客が生データを共有することなくすべての利用可能なデータを十分に利用して機関間の協力を行うことを目的とし、データのプライバシーのセキュリティを確保した上で、ユーザが共同モデリングを実現することを支援し、それによってモデルの性能を向上させることができ、この技術の応用は医療分野でますます重要な役割を果たしている。

公開番号ＣＮ１１３５７１２０３Ａの特許文献には、連合学習に基づくマルチセンターの脳腫瘍生命予後の予測方法及びシステムが開示されており、前記方法は、Ｃ－Ｓアーキテクチャに基づいてマルチセンターの連合学習モデルを構築し、各センターに分散的に記憶された患者の電子カルテ情報とラジオミクス特徴及び深層学習特徴を組み合わせて全面的な脳腫瘍生命予後分類モデルを確立し、該脳腫瘍生命予後の予測方法及びシステムが提案したアクティブ学習は、連合学習において訓練サンプルが自動的にラベル付けされた各ローカル機器上で利用可能なラベルなしデータを利用したグローバルモデルの構築を検討したが、該技術は画像レベルのカテゴリラベル及びバウンディングボックスラベルなどの弱ラベル付き画像を使用していない。多くの場合、これらの弱ラベル付き画像はラベル無し画像よりも利用価値が高く、ピクセルレベルのラベルと比べて、弱ラベルは広く利用可能であり、取得コストが低い。

現在、従来技術には以下の欠陥が存在する。

臨床実践において、異なる機関はデータの品質、数量及び教師の可用性に大きな違いが存在する可能性がある。これらのデータを不適切に使用すると、異なるクライアント間の医用画像分割性能が大幅に低下する可能性がある。標準的なＦＬモデルの訓練過程で、各ローカルクライアントは、先ずサーバから連合モデルをダウンロードし、ローカルでモデルを更新し、次に、各クライアントがローカルで訓練したモデルパラメータをサーバに返送し、最後に、すべてのクライアントのモデルパラメータを集約してグローバル連合モデルを更新する。既存のＦＬフレームワークのほとんどは、各ローカルクライアントが訓練に用いるデータが同じレベルのラベルに従う必要があることを要求するため、モデルの学習能力が大幅に制限されている。

いくつかの半教師あり連合学習方法は、訓練中にピクセルレベルのラベル付き画像を除いたラベルなしデータを利用しようとするが、教師ありの可用性の変化を考慮しておらず、すなわち異なるクライアントは異なるレベルの画像ラベルを有する。異なるラベル強度レベルを有するこれらの弱ラベル付きデータ及びラベルなしデータからの情報を効果的に利用し、特にピクセルレベルのラベル付きデータがないクライアントについては、連合モデルのロバスト性を向上させることに非常に有利であるとともに、訓練の不安定性を防止する。

このため、連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステムが提案されている。

本発明は上記技術的課題を解決するために、連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法及びシステムを提案する。

本発明が採用する技術的解決手段は以下のとおりである。

連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法は、
各医療機関において医用画像の分割に必要な弱教師ありデータ、完全教師ありデータ及びラベルなしデータをそれぞれ収集するステップＳ１であって、前記弱教師ありデータはバウンディングボックスのラベル付き訓練データ及び画像レベルのラベル付き訓練データを含み、前記完全教師ありデータはピクセルレベルのラベル付き訓練データであり、前記弱教師ありデータ、前記完全教師ありデータ及び前記ラベルなし訓練データは対応する医療機関のソースデータセットとして用いられるステップＳ１と、
第１段階では、連合学習のマルチタスクネットワークモデルに基づいて、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して予備訓練を行い、２つの異なるグローバル予備訓練連合モデルを取得するステップＳ２と、
第２段階では、前記ラベルなし訓練データ、前記画像レベルのラベル付き訓練データ、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して２つの異なるグローバル予備訓練連合モデルに基づき、反復疑似ラベル生成器によって疑似ラベルを生成するステップＳ３と、
第２段階では、動的サンプル選択方法を利用して高品質の訓練データ及び疑似ラベルを選択するステップＳ４と、
第１段階及び第２段階に基づき、受信された各クライアントによる反復過程で生成された局所訓練モデルのパラメータに対して、中央サーバ側はクライアント間の自己適応重み割り当てプログラムを介してグローバル連合モデルのパラメータ更新を行うステップＳ５と、を含む。

さらに、前記ステップＳ２は具体的には、
ＣＳＰ－ＲｅｓＮｅＸｔ構造を採用したバックボーンネットワーク、ＡＳＰＰ及びＦＰＮを採用したｎｅｃｋ、ＰＡＮで融合されたマルチスケール情報特徴マップを採用した境界検出タスクブランチ、及び２回のアップサンプリング操作を採用したグローバルマスク分割タスクブランチを含むマルチタスクネットワークモデルを構築するサブステップＳ２１と、
中央サーバ側は前記マルチタスクネットワークモデルに対してＸａｖｉｅｒ初期化及びＫａｉｍｉｎｇ初期化の２種の異なるネットワークモデル重み初期化方法をそれぞれ採用し、処理して２つの異なるグローバルネットワークモデルを取得するサブステップＳ２２と、
各クライアントは前記ピクセルレベルのラベル付き訓練データ及び前記バウンディングボックスのラベル付き訓練データに対して前処理操作を行い、それぞれの第１段階の前処理画像データを取得するサブステップＳ２３と、
中央サーバ側は２つの異なるグローバルネットワークモデルを各クライアントにそれぞれ送信し、各クライアントはローカルの第１段階の前処理画像データに基づいて特徴抽出を行い、送られた第１段階の前処理画像データのタイプに基づき、対応するタスクブランチを選択し、適応教師付けによって個性と共通性の両方の情報を学習し、対応するタスクブランチの対応する出力を取得するサブステップＳ２４と、
各クライアントは所定回数の反復を行った後にいずれも２つの異なる局所訓練モデルを取得し、前記２つの異なる局所訓練モデルを中央サーバ側に返送し、中央サーバ側は各クライアントによって返送された２つの異なる局所訓練モデルを集約して新たなグローバル連合モデルを取得し、前記グローバル連合モデルを各クライアントに送信して再訓練し、第１段階で設定された所定の予備訓練の回数に達するまで前記訓練、統合ステップを繰り返し、２つの異なるグローバル予備訓練連合モデルを取得するサブステップＳ２５と、を含む。

さらに、前記サブステップＳ２４では、送られた第１段階の前処理画像データのタイプに基づき、対応するタスクブランチを選択し、適応教師付けによって個性と共通性の両方の情報を学習することは具体的には、
クライアントがピクセルレベルのラベル付き訓練データを受信した場合に、境界検出タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及びグローバルマスク分割タスクブランチのパラメータのみを訓練することと、
クライアントがバウンディングボックスのラベル付き訓練データを受信した場合に、グローバルマスク分割タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及び境界検出タスクブランチのパラメータのみを訓練することと、に分けられる。

さらに、前記ステップＳ３は具体的には、
各クライアントはピクセルレベルのラベル付き訓練データ、バウンディングボックスのラベル付き訓練データ、画像レベルのラベル付き訓練データ及びラベルなし訓練データに対してそれぞれ前処理操作を行い、第２段階の前処理画像データを取得するサブステップＳ３１と、
中央サーバ側は第１段階で生成された２つの異なるグローバル予備訓練連合モデルを各クライアントにそれぞれ送信し、各クライアントはローカルの第２段階の前処理画像データ及びそのデータタイプに基づき、教師ありタイプを自己適応的に選択し、第２段階のネットワークモデルの訓練を行うサブステップＳ３２と、を含む。

さらに、前記サブステップＳ３２では、各クライアントがローカルの第２段階の前処理画像データ及びそのデータタイプに基づき、教師ありタイプを自己適応的に選択することは具体的には、
クライアントがピクセルレベルのラベル付き訓練データを受信した場合に、境界検出タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及びグローバルマスク分割タスクブランチのパラメータのみを訓練することと、
クライアントがバウンディングボックスのラベル付き訓練データを受信した場合に、２つの異なる局所訓練モデルの境界検出タスクブランチ及びグローバルマスク分割タスクブランチのパラメータを同時に訓練し、検出タスクが分割タスクを支援する方式を利用して教師あり学習を行い、対応するバウンディングボックスのラベル付き訓練データのラベルを介してグローバルマスク分割タスクブランチの疑似ラベルに対して修正操作を行うことと、
クライアントが画像レベルのラベル付き訓練データ及びラベルなし訓練データを受信した場合に、境界検出タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及びグローバルマスク分割タスクブランチのパラメータのみを訓練し、前記２つの異なる局所訓練モデルを利用してクロス疑似ラベル教師ありを行うことと、に分けられる。

さらに、前記ステップＳ４は具体的には、動的サンプル選択方法を採用し、現在訓練された２つの異なる局所訓練モデルによって生成された疑似ラベル間の予測一致性を利用し、マスクを生成することによって、高品質の訓練データ及び疑似ラベルを選択することである。

さらに、前記ステップＳ５は具体的には、
毎回の訓練過程で、各クライアントは中央サーバ側から反復過程で生成されたグローバル連合モデルパラメータを受信するサブステップＳ５１と、
各クライアントはローカルの訓練データを使用してローカル訓練を行い、ローカルの局所訓練モデルのパラメータ更新を完了するサブステップＳ５２と、
各クライアントはそれぞれの局所訓練モデルパラメータの勾配更新を中央サーバ側に送信するサブステップＳ５３と、
中央サーバ側は各クライアントによってアップロードされた局所訓練モデルパラメータの勾配をまとめ、グローバル連合モデルパラメータに対する更新を完了するサブステップＳ５４と、を含む。

さらに、前記ステップＳ２の段階におけるグローバル連合モデルのパラメータ更新に対して、前記サブステップＳ５４では局所訓練モデルパラメータをまとめる方式は、
第１段階のグローバル連合モデルの共有ネットワーク部分のパラメータを更新する方式であって、各クライアントが第１段階で使用した訓練データ量が第１段階で使用された総データ量を占めた割合に基づいてパラメータ重み付けを行い、各クライアントの局所訓練モデルの共有ネットワーク部分のパラメータをグローバル連合モデルの共有ネットワーク部分のパラメータに集める方式と、
グローバル連合モデルのグローバルマスク分割タスクブランチのモデルパラメータを更新する方式であって、各クライアントが第１段階で使用したピクセルレベルのラベル付き訓練データ量が第１段階で使用されたピクセルレベルの訓練データの総量を占めた割合に基づいてパラメータ重み付けを行い、各クライアントの局所モデルのグローバルマスク分割ブランチ部分のパラメータをグローバル連合モデルのグローバルマスク分割ブランチ部分のパラメータに集める方式と、
第１段階のグローバル連合モデルの検出タスクブランチ部分のパラメータを更新する方式であって、各クライアントが第１段階で使用したバウンディングボックスのラベル付き訓練データ量が第１段階で使用されたバウンディングボックス訓練データの総量を占めた割合に基づいてパラメータ重み付けを行い、各クライアントの局所訓練モデルの検出タスクブランチ部分のパラメータをグローバル連合モデルの検出タスクブランチ部分のパラメータに集める方式と、を含む。

さらに、前記ステップＳ３の段階におけるグローバル連合モデルのパラメータ更新に対して、前記サブステップＳ５４では局所訓練モデルパラメータをまとめる方式は、
第２段階でグローバル連合モデルを集約する過程で、各クライアントのデータ分布及び各クライアントが現在の訓練スケジュールで選択した高品質の訓練データ量に基づき、適応集約関数を定義することによって集約重みを動的に調整する方式を含む。

本発明は連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割システムをさらに提供し、
各医療機関において医用画像の分割に必要な弱教師ありデータ、完全教師ありデータ及びラベルなしデータをそれぞれ収集するためのデータ収集モジュールであって、前記弱教師ありデータはバウンディングボックスのラベル付き訓練データ及び画像レベルのラベル付き訓練データを含み、前記完全教師ありデータはピクセルレベルのラベル付き訓練データであり、前記弱教師ありデータ、前記完全教師ありデータ及び前記ラベルなし訓練データは対応する医療機関のソースデータセットとして用いられるデータ収集モジュールと、
連合学習のマルチタスクネットワークモデルに基づいて、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して予備訓練を行い、２つの異なるグローバル予備訓練連合モデルを取得するための第１段階での連合学習に基づくマルチタスクネットワークモデルモジュールと、
前記ラベルなし訓練データ、前記画像レベルのラベル付き訓練データ、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して２つの異なるグローバル予備訓練連合モデルに基づき、反復疑似ラベル生成器によって疑似ラベルを生成するための第２段階での疑似ラベル生成モジュールと、
動的サンプル選択方法を利用して高品質の訓練データ及び疑似ラベルを選択するための第２段階での動的サンプル選択モジュールと、
受信された、各クライアントによる反復過程で生成された局所訓練モデルのパラメータに対して、中央サーバ側はクライアント間の自己適応重み割り当てプログラムを介してグローバル連合モデルのパラメータ更新を行うための連合モデル動的更新モジュールと、を含む。

本発明は以下の有益な効果を有する。

１、本発明は連合学習に基づくマルチタスクネットワークモデルを構築し、検出タスクが医用画像分割タスクを支援することによって各関与者のデータと組み合わせて協調モデリングを行い、患者のプライバシーを確保した上で、各関与者のデータサイロを打破し、多機関データの潜在能力と深層価値を十分にマイニングし、各協力者が他の関与者の異なるラベル付け形式のデータセットの空間分布及びモデル特徴表現能力から利益を取得することができるだけでなく、タスク間の関係及び効果的な文脈特徴を十分にマイニングし、さらなる有用な情報を取得し、異なる階層の特徴間の情報の相補性を実現し、さらにモデルの精度を向上させる。

２、本発明は各クライアントの利用可能な各種の弱教師ありデータ、完全教師あり及びラベルなしデータを利用してグローバルネットワークモデルを構築し、疑似ラベル修正及び動的サンプル選択の訓練ポリシーによって、モデルに対してより価値のあるサンプルを選択し、多くの弱ラベルデータを十分に利用してモデルの性能及び汎化能力を向上させる。

３、本発明は連合グローバルモデルを動的に更新するポリシーによって、各クライアントのデータ分布及びモデルの現在の訓練スケジュールに基づいて集約重みを動的に調整することができるデータ駆動方法を設計し、各クライアントの教師の可用性を十分に考慮し、各クライアントがマルチタスクハイブリッド連合最適化期間の重要性を客観的に評価し、連合グローバルモデルが過適合されたクライアントに依存することを防止し、モデルを実際のタスクに近づける。

図１は本発明の連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割システムの機能フローチャートである。図２は本発明のマルチタスクネットワークモデルの構造模式図である。図３は本発明の訓練ポリシーを示す図である。図４は本発明のグローバル連合モデル更新ポリシーを示す図である。図５は本発明の連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割システムの構造模式図である。

以下、少なくとも１つの例示的な実施例についての説明は、実際には単なる例示であり、本発明及びその応用又は使用を何ら制限するものではない。本発明の実施例に基づき、当業者が創造的な労働を必要とせずに取得したすべての他の実施例は、いずれも本発明の保護範囲に属する。

用語の解釈について
ＧｒｏｕｎｄＴｒｕｔｈ：ラベル付きデータ。

ｎｅｃｋ：中国語訳文は頸部であり、マルチタスク医用画像分割ネットワークアーキテクチャにおける上を受けて下を起こす重要な一環であり、主にバックボーンネットワークｂａｃｋｂｏｎｅによって抽出された特徴を融合し、ネットワークによって学習された特徴をより多様化し、それによりネットワークの性能を向上させる。

Ｋａｉｍｉｎｇ初期化：何恺明によって提案された初期化方法である。業界ではＨｅ初期化又はＫａｉｍｉｎｇ初期化と呼ばれる。平均値が０、分散が２⁄Ｎのガウス分布が採用され、Ｎは入力ニューロンの数である。

Ｘａｖｉｅｒ初期化：

、

の均一分布が採用され、Ｎ_ｉｎは入力ニューロンの数であり、Ｎ_ｏｕｔは出力ニューロンの数である。

本願が提案した連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割システムの機能フローチャートは、図１に示される。該プロセスは２つの段階に分けられ、第１段階ではバウンディングボックスのラベル付き訓練データ及びピクセルレベルのラベル付き訓練データを利用して連合学習に基づくマルチタスクネットワークの予備訓練を行い、複数のタスク共有情報によってバックボーンネットワークの性能を向上させ、第２段階では、ピクセルレベルのラベルがない場合に、先ず段階１の予備訓練により得られた２つの異なるグローバルネットワークモデルに基づき、ラベル無し画像及び弱ラベル付き画像に含まれる有用な情報（すなわち画像レベルのラベル付き訓練データ及びバウンディングボックスのラベル付き訓練データ）を効果的に利用し、反復疑似ラベル生成器によって疑似ラベルを生成し、次にラベルの修正操作を行い、弱ラベル付きデータから取得された情報に基づき、高品質の疑似ラベルで訓練し、クライアント間の自己適応重み割り当てプログラムで医用画像分割グローバルモデルのパラメータ更新を行う。

連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法は、以下のステップを含む。

ステップＳ１では、各医療機関において医用画像の分割に必要な弱教師ありデータ、完全教師ありデータ及びラベルなしデータをそれぞれ収集し、前記弱教師ありデータはバウンディングボックスのラベル付き訓練データ及び画像レベルのラベル付き訓練データを含み、前記完全教師ありデータはピクセルレベルのラベル付き訓練データであり、前記弱教師ありデータ、前記完全教師ありデータ及び前記ラベルなし訓練データを対応する医療機関のソースデータセットとして用いる。

［Ｄ_１，…，Ｄ_Ｎ］がＮ個のクライアントのソースデータセットを表すと仮定する。クライアントｉが与えられ、

、

及び

はそれぞれクライアントｉからのピクセルレベルのラベル付き訓練データ、ラベルなし訓練データ、画像レベルのラベル付き訓練データ及びバウンディングボックスのラベル付き訓練データを表す。Ｘは訓練画像セットを表し、Ｙ_ｇｔはピクセルレベルの利用可能なラベルを表し、Ｙ_ｉｍｇは画像レベルの利用可能なラベルを表し、Ｙ_ｂｂｏｘはバウンディングボックスレベルの利用可能なラベルを表す。

ステップＳ２では、第１段階では、連合学習のマルチタスクネットワークモデルに基づいて、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して予備訓練を行い、２つの異なるグローバル予備訓練連合モデルを取得する。

ステップＳ２１では、ＣＳＰ－ＲｅｓＮｅＸｔ構造を採用したバックボーンネットワーク、ＡＳＰＰ及びＦＰＮを採用したｎｅｃｋ、ＰＡＮで融合されたマルチスケール情報特徴マップを採用した境界検出タスクブランチ、及び２回のアップサンプリング操作を採用したグローバルマスク分割タスクブランチを含むマルチタスクネットワークモデルを構築する。

図２に示されるマルチタスクネットワークモデルを構築し、前記マルチタスクネットワークモデルは、バックボーンネットワーク部分、ｎｅｃｋ部分、境界検出タスクブランチ部分及びグローバルマスク分割タスクブランチ部分の４つの主要な部分を含む。バックボーンネットワークはＮ個のクライアントのソースデータセットの特徴を抽出することに用いられ、ここでＣＳＰ－ＲｅｓＮｅＸｔ構造をバックボーンとして選択し、最適化過程の勾配冗長性の問題を効果的に解決する。ｎｅｃｋは空間特徴ピラミッド畳み込みモジュールＡＳＰＰと符号化情報を融合した特徴ピラミッドＦＰＮとで構成される。ＡＳＰＰは異なるスケールの特徴を生成して融合し、ＦＰＮは異なるセマンティクスレベルの特徴を融合し、それにより生成された特徴にはマルチスケール及び複数のセマンティクスレベルの特徴が含まれる。境界検出タスクブランチ部分については、アンカーボックスａｎｃｈｏｒに基づくマルチスケール検出ポリシーが採用され、パス集約ネットワークＰＡＮで融合されたマルチスケール情報特徴マップを使用して検出を行い、各マルチスケール特徴マップのグリッドｇｒｉｄはいずれも３つの異なる比率の事前ボックスをラベル付けし、次に検出ヘッドは各グリッドに対して３つの境界（境界の位置を含み、各境界はオブジェクトの信頼度及び各境界領域のカテゴリである）を予測し、次に閾値に基づいて可能性の低い予測境界を除去し、最後に非極大値抑制処理を行って冗長な境界を除去して検出されたオブジェクトを取得する。グローバルマスク分割タスクブランチ部分については、２回のステップが２の転置畳み込みアップサンプリング操作によって元のサイズに回復した後、画像における各ピクセルが属するカテゴリを予測し、医用画像分割の予測結果を取得する。

ステップＳ２２では、中央サーバ側は前記マルチタスクネットワークモデルに対してＸａｖｉｅｒ初期化及びＫａｉｍｉｎｇ初期化の２種の異なるネットワークモデル重み初期化方法をそれぞれ採用し、処理して２つの異なるグローバルネットワークモデルＦ_１（∙）及びＦ_２（∙）を取得する。

ステップＳ２３では、各クライアントは前記ピクセルレベルのラベル付き訓練データ及び前記バウンディングボックスのラベル付き訓練データに対して前処理操作を行い、それぞれの第１段階の前処理画像データを取得する。

具体的な前処理操作は、画像をサイズ２５６ｘ２５６にリサンプリングすることと、ランダムに反転してサイズ２２４ｘ２２４にランダムに切り取ることと、階調値を［－２００，２００］にし、次にＺ－Ｓｃｏｒｅ正規化処理を行うことと、を含む。

ステップＳ２４では、中央サーバ側は２つの異なるグローバルネットワークモデルを各クライアントにそれぞれ送信し、各クライアントはローカルの第１段階の前処理画像データに基づいて特徴抽出を行い、送られた第１段階の前処理画像データのタイプに基づき、対応するタスクブランチを選択し、適応教師付けによって個性と共通性の両方の情報を学習し、対応するタスクブランチの対応する出力を取得する。

クライアントがピクセルレベルのラベル付き訓練データを受信した場合に、境界検出タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及びグローバルマスク分割タスクブランチのパラメータのみを訓練する。

訓練過程において以下の損失関数を最小化することによって教師ありを行う。

（１）
式中、Ｌ_ｄｉｃｅはＤｉｃｅ損失関数であり、Ｙ_ｇｔはピクセルレベルの利用可能なラベルを表し、Ｙ_Ｐ ^Ｌは予測された分割画像の結果を表し、｜Ｙ_ｇｔ｜及び｜Ｙ_Ｐ ^Ｌ｜はそれぞれＹ_ｇｔの要素数及びＹ_Ｐ ^Ｌの要素数である。

クライアントがバウンディングボックスのラベル付き訓練データを受信した場合に、グローバルマスク分割タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及び境界検出タスクブランチのパラメータのみを訓練する。

以下の損失関数を最小化することによって教師ありを行う。

式中、α_１、α_２及びα_３は最適化されたハイパーパラメータである。
Ｌ_{ｃｌａｓｓ}は分類損失であり、バイナリクロスエントロピー損失（ＢＣＥｌｏｓｓ）を採用し、式は以下の通りであり、

（３）
式中、ｐ_ｉ（ｃ）はカテゴリがｃ（ラベルが０又は１であるなどの分類ラベルを一般的に指す）の予測確率値を表し、Ｓはネットワークから最後に出力された特徴マップのサイズがＳ×Ｓ，であることを表し、Ｂは各格子に対応するアンカーボックス（ａｎｃｈｏｒ）の数を表し、

は各グリッドユニット（ｉ＝１，…，Ｓ^２）の各アンカーボックス予測値（ｊ＝１，…，Ｂ）に対するオブジェクトの有無を表し、１はグリッドユニットｉにオブジェクトが存在すると、ｊ番目のアンカーボックス予測値が該予測に対して有効であることを表し、０はグリッドユニットｉにオブジェクトが存在しないことを表す。
Ｌ_ｏｂｊは信頼度損失であり、バイナリクロスエントロピー損失関数を採用して計算し、式は以下の通りであり、

（４）
式中、Ｃ_ｉはオブジェクトの予測信頼度を表し、

はオブジェクトのないアンカーボックス（ａｎｃｈｏｒ）を表し、Ｌ_ｂｏｘはＬ_ＣＩＯＵであり、該損失は予測ボックスとバウンディングボックスとの間の距離、オーバーラップ率、ａｎｃｈｏｒのサイズ及び比率を考慮し、以下のように定義される。

（５）
ＩＯＵはバウンディングボックス回帰損失で最も一般的に使用される重なり度合いであり、予測ボックスと実際のボックスとの間の距離を取得でき、それにより検出の効果を反映し、計算式は以下の通りである。

（６）
ｖはアスペクト比の一致性を評価するパラメータであり、以下のように定義される。

（７）
式中、Ｙ_Ｐは境界の予測結果であり、Ｙ_ｂｂｏｘはバウンディングボックスレベルの利用可能なラベルを表し、ｗ^ｇｔはラベルボックスの幅であり、ｈ^ｇｔはラベルボックスの高さであり、ｗ^ｐは予測ボックスの幅であり、ｈ^ｐは予測ボックスの高さであり、Ｄｉｓｔａｎｃｅ_２は２つの中心点のユークリッド距離であり、Ｄｉｓｔａｎｃｅ_ｃはラベルボックスと予測ボックスとの最小外接矩形の対角線距離である。

ステップＳ２５では、各クライアントは所定回数の反復を行った後にいずれも２つの異なる局所訓練モデルを取得し、前記２つの異なる局所訓練モデルを中央サーバ側に返送し、中央サーバ側は各クライアントによって返送された２つの異なる局所訓練モデルを集約して新たなグローバル連合モデルを取得し、前記グローバル連合モデルを各クライアントに送信して再訓練し、第１段階で設定された所定の予備訓練の回数に達するまで前記訓練、統合ステップを繰り返し、２つの異なるグローバル予備訓練連合モデルを取得する。

ステップＳ３では、第２段階では、前記ラベルなし訓練データ、前記画像レベルのラベル付き訓練データ、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して２つの異なるグローバル予備訓練連合モデルに基づき、反復疑似ラベル生成器によって疑似ラベルを生成する。

ステップ３１では、各クライアントはピクセルレベルのラベル付き訓練データ、バウンディングボックスのラベル付き訓練データ、画像レベルのラベル付き訓練データ及びラベルなし訓練データに対してそれぞれ前処理操作を行い、第２段階の前処理画像データを取得する。

具体的な前処理操作は、画像をサイズ２５６ｘ２５６にリサンプリングすることと、ランダムに反転してサイズ２２４ｘ２２４にランダムに切り取ることと、階調値を［－２００，２００］にし、次にＺ－Ｓｃｏｒｅ正規化処理を行い、第２段階の前処理画像データを取得することと、を含む。

各種のレベルの画像ラベルを統合するために、バウンディングボックスレベルの利用可能なラベルをピクセルレベルの利用可能なラベルに変更する。具体的には、バウンディングボックスレベルの利用可能なラベルはＹ_ｂｂｏｘがピクセルレベルのラベルＹ^Ｌ _ｂｂｏｘに変換されることを表し、前景クラスはバウンディングボックス内にあり、背景クラスはバウンディングボックス外にある。従って、Ｙ_ｇｔとＹ^Ｌ _ｂｂｏｘは同じ次元を有し、例えば、

であり、Ｃは前景クラスの総数を表し、Ｗ及びＨはそれぞれの２Ｄ画像データの幅及び高さを表す。

ステップＳ３２では、中央サーバ側は第１段階で生成された２つの異なるグローバル予備訓練連合モデルを各クライアントにそれぞれ送信し、各クライアントはローカルの第２段階の前処理画像データ及びそのデータタイプに基づき、教師ありタイプを自己適応的に選択し、第２段階のネットワークモデルの訓練を行う。

図３に示すように、ローカルクライアントに利用可能なピクセルレベルのラベルがない場合に、２つの異なるグローバル予備訓練モデルパラメータを更新したネットワークＦ_１（∙）及びＦ_２（∙）を使用してクロス疑似ラベル教師ありを行う。訓練画像Ｘの前処理操作後に２つの異なるネットワークモデルＦ_１及びＦ_２に送られ、該画像データのタイプは教師付けのタイプを決める。

図３の（Ａ）に示すように、クライアントがピクセルレベルのラベル付き訓練データを受信した場合に、境界検出タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及びグローバルマスク分割タスクブランチのパラメータのみを訓練し、損失関数の式（１）を利用して自己適応教師ありを行う。

図３の（Ｂ）に示すように、クライアントがバウンディングボックスのラベル付き訓練データを受信した場合に、２つの異なる局所訓練モデルの境界検出タスクブランチ及びグローバルマスク分割タスクブランチのパラメータを同時に訓練し、検出タスクが分割タスクを支援する方式を利用して教師あり学習を行い、対応するバウンディングボックスのラベル付き訓練データのラベルを介してグローバルマスク分割タスクブランチの疑似ラベルに対して修正操作を行い、検出タスクが分割タスクを支援する方式を利用して以下の損失関数を最小化することによって教師ありを行う。

（８）

（９）
式中、Ｙ_１＝Ｆ_１（Ｘ_１）及びＹ_２＝Ｆ_２（Ｘ_２）は境界検出タスクブランチによって予測された疑似ラベルであり、この教師付けの場合に、疑似ラベルの品質を向上させるために、対応するバウンディングボックスレベルの利用可能なラベルに基づいて疑似ラベルの修正操作を行い、修正ポリシーは以下の式に示される。

（１０）
式中、＊は小数点乗算操作を表す。

図３の（Ｃ）に示すように、クライアントが画像レベルのラベル付き訓練データ及びラベルなし訓練データを受信した場合に、境界検出タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルＦ_１（∙）及びＦ_２（∙）のバックボーンネットワーク、ｎｅｃｋ及びグローバルマスク分割タスクブランチのパラメータのみを訓練し、前記２つの異なる局所訓練モデルを利用してクロス疑似ラベル教師ありを行う。

（１１）

ステップＳ４では、第２段階では、動的サンプル選択方法を利用して高品質の訓練データ及び疑似ラベルを選択する。

動的サンプル選択方法を採用し、現在訓練された２つの異なる局所訓練モデルによって生成された疑似ラベル間の予測一致性を利用し、マスクを生成することによって、高品質の訓練データ及び疑似ラベルを選択する。

上記疑似ラベルの生成及び修正過程の有効性にもかかわらず、疑似ラベルは正確ではない可能性がある。従って、高品質のデータ及び疑似ラベルを選択するための動的サンプル選択方法が提案される。具体的には、クライアントｉが与えられ、該クライアントの訓練データＤ_ｉに対して、等式（１２）に基づいて１つのマスク

を生成し、言い換えれば、等式（１２）に基づいて信頼できる訓練サンプルを選択し（各訓練データに対して、マスク値がｍ_ｉ＝１であると、該データは訓練サンプルに格納されて訓練に用いられる）、ｄｉｃｅ（Ｙ_１，Ｙ_２）は修正前に疑似ラベルＹ_１とＹ_２との一致性を測定することに用いられ、Ｙ_１とＹ_２との予測一致性がより高いと、疑似ラベルがｇｒｏｕｎｄｔｒｕｔｈに近くなることが示され、以上の過程は以下のように示される。

（１２）
式中、

は１つの閾値であり、選択された訓練サンプルの数に反比例し、ここでε＝０．９である。ピクセルレベルのラベルに対して、サンプル選択操作が行われず、すなわちすべての

の訓練サンプルはいずれもｍ_ｉ＝１である。訓練が進むにつれて、モデルはより正確な疑似ラベルを生成する能力が高くなり、従って、

は徐々に｜Ｄ_ｉ｜に増加し、モデルが増加し続ける訓練データセットから学習することを可能にする。

各クライアントはローカルの訓練データに基づいて２つの異なる局所訓練モデルの訓練を完了した後、訓練された２つの異なる局所訓練モデルを中央サーバ側にそれぞれ返送し、中央サーバ側は各クライアントによって返送された２つの異なる局所訓練モデルに対して適応集約を行って新たなグローバル連合モデルを取得し、前記グローバル連合モデルを各クライアントに送信して再訓練し、最終的なグローバル連合モデルが収束するまで前記訓練、統合ステップを繰り返す。

ステップＳ５では、第１段階及び第２段階に基づき、受信された各クライアントによる反復過程で生成された局所訓練モデルのパラメータに対して、中央サーバ側はクライアント間の自己適応重み割り当てプログラムを介してグローバル連合モデルのパラメータ更新を行う。

ステップＳ５１では、毎回の訓練過程で、各クライアントは中央サーバ側から反復過程で生成されたグローバル連合モデルパラメータを受信する。

ステップＳ５２では、各クライアントはローカルの訓練データを使用してローカル訓練を行い、ローカルの局所訓練モデルのパラメータ更新を完了する。

ステップＳ５３では、各クライアントはそれぞれの局所訓練モデルパラメータの勾配更新を中央サーバ側に送信する。

ステップＳ５４では、中央サーバ側は各クライアントによってアップロードされた局所訓練モデルパラメータの勾配をまとめ、グローバル連合モデルパラメータに対する更新を完了する。

図４に示すように、毎回の訓練中に、各ローカルクライアントｉは先ず中央サーバ側からｔ回目の反復過程で生成されたグローバル連合モデル（すなわち中央サーバ側が各クライアントによって返送された訓練モデルを集約して得たグローバルモデル）のパラメータθ_α ^ｔを受信する。次に、各クライアントはローカルの訓練データＤ_ｉを使用して、ローカル訓練によってグローバル連合モデルパラメータの更新を行う。最後に、各ローカルクライアントモデルパラメータからの勾配

更新を中央サーバ側に送信し、中央サーバ側は各クライアントによってアップロードされたモデルパラメータをまとめ、式（１３）に基づいてグローバル連合モデル（グローバルモデル）のパラメータを更新する。

（１３）

第１段階のグローバル連合モデルの共有ネットワーク部分のパラメータを更新し、各クライアントが第１段階で使用した訓練データ量が第１段階で使用された総データ量を占めた割合に基づいてパラメータ重み付けを行い、各クライアントの局所訓練モデルの共有ネットワーク部分のパラメータをグローバル連合モデルの共有ネットワーク部分のパラメータに集める。

第１段階の訓練に対して、マルチブランチタスクモデルはネットワーク部分を共有し、各クライアントの集約重みは以下の式１４に示され、

（１４）

グローバル連合モデルのグローバルマスク分割タスクブランチのモデルパラメータを更新し、各クライアントが第１段階で使用したピクセルレベルのラベル付き訓練データ量が第１段階で使用されたピクセルレベルの訓練データの総量を占めた割合に基づいてパラメータ重み付けを行い、各クライアントの局所モデルのグローバルマスク分割ブランチ部分のパラメータをグローバル連合モデルのグローバルマスク分割ブランチ部分のパラメータに集める。

グローバルマスク分割タスクブランチの集約重みは以下の式１５に示され、

（１５）
式中、｜Ｄ_ｉ ^Ｌ｜はピクセルレベルのラベル付き訓練データの数を表す。

第１段階のグローバル連合モデルの検出タスクブランチ部分のパラメータを更新し、各クライアントが第１段階で使用したバウンディングボックスのラベル付き訓練データ量が第１段階で使用されたバウンディングボックス訓練データの総量を占めた割合に基づいてパラメータ重み付けを行い、各クライアントの局所訓練モデルの検出タスクブランチ部分のパラメータをグローバル連合モデルの検出タスクブランチ部分のパラメータに集める。

検出タスクブランチ部分の集約重みは以下の式１６に示され、

（１６）である。
式中、

は画像レベルのラベル付き訓練データの数を表す。

第２段階でグローバル連合モデルを集約する過程で、各クライアントのデータ分布及び各クライアントが現在の訓練スケジュールで選択した高品質の訓練データ量に基づき、適応集約関数を定義することによって集約重みを動的に調整し、このために提案された適応集約関数は以下のように定義される。

（１７）

（１８）
式中、μ及びβは最適化されたハイパーパラメータであり、それぞれ１０及び３に設定され、異なるクライアントに対する依存度に影響を与える。

図５に示すように、連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割システムは、
各医療機関において医用画像の分割に必要な弱教師ありデータ、完全教師ありデータ及びラベルなしデータをそれぞれ収集するためのデータ収集モジュールであって、前記弱教師ありデータはバウンディングボックスのラベル付き訓練データ及び画像レベルのラベル付き訓練データを含み、前記完全教師ありデータはピクセルレベルのラベル付き訓練データであり、前記弱教師ありデータ、前記完全教師ありデータ及び前記ラベルなし訓練データを対応する医療機関のソースデータセットとして用いるデータ収集モジュールと、
連合学習のマルチタスクネットワークモデルに基づいて、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して予備訓練を行い、２つの異なるグローバル予備訓練連合モデルを取得するための第１段階での連合学習に基づくマルチタスクネットワークモデルモジュールと、
前記ラベルなし訓練データ、前記画像レベルのラベル付き訓練データ、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して２つの異なるグローバル予備訓練連合モデルに基づき、反復疑似ラベル生成器によって疑似ラベルを生成するための第２段階での疑似ラベル生成モジュールと、
動的サンプル選択方法を利用して高品質の訓練データ及び疑似ラベルを選択するための第２段階での動的サンプル選択モジュールと、
受信された、各クライアントによる反復過程で生成された局所訓練モデルのパラメータに対して、中央サーバ側はクライアント間の自己適応重み割り当てプログラムを介してグローバル連合モデルのパラメータ更新を行うための連合モデル動的更新モジュールと、を含む。

以上より、本発明は、ピクセルレベルのラベル付きデータを利用して基本的な医用画像分割システムを確立するだけでなく、バウンディングボックスのラベル付きデータを利用して医用画像分割システムの精度を向上させることを支援し、クロス疑似教師付け方式を採用して画像レベルのラベル付きデータ及びラベルなしデータを十分に利用して医用画像分割システムの汎化能力を向上させる。該システムは異なるクライアントの間に同じタイプのラベル付きデータがあることを要求せず、異なるクライアントが異なるレベルのラベルであり得るという汎用性の特徴を有する。本発明の課題は、医用画像分割分野のピクセルレベルのラベル付きデータの規模が小さく、分布が不均衡で、患者のプライバシー保護により制限されるため多機関間のデータ共有が困難であるという問題点を解決することであり、既存の連合学習に基づく医用画像分割方法のほとんどは限られたピクセルレベルの症例注釈データのみを考慮する。本発明は、単一のラベルタイプの制限を打破し、マルチタスクハイブリッドモデルアーキテクチャを提案し、連合学習に基づくマルチタスクハイブリッド訓練方式により、各クライアントの境界レベルのラベル付きデータを利用して医用画像分割を支援し、次に連合学習に基づくクロス疑似教師付けと高品質サンプルの動的選択方式を組み合わせ、いかなる形式のラベル付きデータを十分に利用して医用画像分割を行う。また、本発明は、関与者がプライバシーデータを共有することなく各ローカルクライアントに最適化された集約重みを動的に割り当ててグローバル連合モデルを更新することを提案し、さらにモデルのロバスト性を向上させ、医療業界のデータセキュリティ及びプライバシー保護の難題、及び医療資源の不均衡の問題を大幅に緩和する。要するに、本発明は、各臨床機関に分散した異なるレベルのラベルに基づき、データがローカル機関から出ないことを確保することを前提に、患者のプライバシーを漏洩しなかった上で、各臨床機関の協調モデリングを実現し、多機関データの潜在能力と深層価値を十分にマイニングし、各協力者が他の関与者の異なるラベル付け形式のデータセットの空間分布及びモデル特徴表現能力から利益を取得することができ、汎化能力の高い良質な医用画像分割モデルを学習し、大規模なデータセットを有するモデル訓練効果を達成することができ、それにより医師の診断過程で積極的な支援役割を果たし、重要な臨床意味を有する。

以上は本発明の好適な実施例に過ぎず、本発明を制限するためのものではなく、当業者であれば、本発明に対して各種の変更及び変化を行うことができる。本発明の精神及び原則内で行われたいかなる修正、同等置換、改良などは、いずれも本発明の保護範囲内に含まれるべきである。

Claims

連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法であって、ステップＳ１～ステップＳ５を含み、
前記ステップＳ１では、各医療機関において医用画像の分割に必要な弱教師ありデータ、完全教師ありデータ及びラベルなしデータをそれぞれ収集し、前記弱教師ありデータはバウンディングボックスのラベル付き訓練データ及び画像レベルのラベル付き訓練データを含み、前記完全教師ありデータはピクセルレベルのラベル付き訓練データであり、前記弱教師ありデータ、前記完全教師ありデータ及び前記ラベルなし訓練データは対応する医療機関のソースデータセットとして用いられ、
前記ステップＳ２では、第１段階では、連合学習のマルチタスクネットワークモデルに基づいて、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して予備訓練を行い、２つの異なるグローバル予備訓練連合モデルを取得し、
前記ステップＳ２は具体的に、サブステップＳ２１～サブステップＳ２５を含み、
前記サブステップＳ２１では、ＣＳＰ－ＲｅｓＮｅＸｔ構造を採用したバックボーンネットワーク、ＡＳＰＰ及びＦＰＮを採用したｎｅｃｋ、ＰＡＮで融合されたマルチスケール情報特徴マップを採用した境界検出タスクブランチ、及び２回のアップサンプリング操作を採用したグローバルマスク分割タスクブランチを含むマルチタスクネットワークモデルを構築し、
前記サブステップＳ２２では、中央サーバ側は前記マルチタスクネットワークモデルに対してＸａｖｉｅｒ初期化及びＫａｉｍｉｎｇ初期化の２種の異なるネットワークモデル重み初期化方法をそれぞれ採用し、処理して２つの異なるグローバルネットワークモデルを取得し、
前記サブステップＳ２３では、各クライアントは前記ピクセルレベルのラベル付き訓練データ及び前記バウンディングボックスのラベル付き訓練データに対して前処理操作を行い、それぞれの第１段階の前処理画像データを取得し、
前記サブステップＳ２４では、中央サーバ側は２つの異なるグローバルネットワークモデルを各クライアントにそれぞれ送信し、各クライアントはローカルの第１段階の前処理画像データに基づいて特徴抽出を行い、送られた第１段階の前処理画像データのタイプに基づき、対応するタスクブランチを選択し、適応教師付けによって個性と共通性の両方の情報を学習し、対応するタスクブランチの対応する出力を取得し、
前記サブステップＳ２４では、送られた第１段階の前処理画像データのタイプに基づき、対応するタスクブランチを選択し、適応教師付けによって個性と共通性の両方の情報を学習することは具体的には、
クライアントがピクセルレベルのラベル付き訓練データを受信した場合に、境界検出タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及びグローバルマスク分割タスクブランチのパラメータのみを訓練し、訓練過程で以下の損失関数を最小化することによって教師ありを行い、

（１）
ここで、Ｌ_ｄｉｃｅはＤｉｃｅ損失関数であり、Ｙ_ｇｔはピクセルレベルの利用可能なラベルを表し、Ｙ_Ｐ ^Ｌは予測された分割画像の結果を表し、｜Ｙ_ｇｔ｜及び｜Ｙ_Ｐ ^Ｌ｜はそれぞれＹ_ｇｔの要素数及びＹ_Ｐ ^Ｌの要素数であり、
クライアントがバウンディングボックスのラベル付き訓練データを受信した場合に、グローバルマスク分割タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及び境界検出タスクブランチのパラメータのみを訓練し、以下の損失関数を最小化することによって教師ありを行い、

（２）
ここで、α_１、α_２及びα_３は最適化されたハイパーパラメータであり、
Ｌ_{ｃｌａｓｓ}は分類損失であり、バイナリクロスエントロピー損失（ＢＣＥｌｏｓｓ）を採用し、式は以下の通りであり、

（３）
ここで、ｐ_ｉ（ｃ）はカテゴリがｃの予測確率値を表し、ｃは分類ラベルを表し、Ｓはネットワークから最後に出力された特徴マップのサイズがＳ×Ｓであることを表し、Ｂは各格子に対応するアンカーボックス（ａｎｃｈｏｒ）の数を表し、

は各グリッドユニット（ｉ＝１，…，Ｓ^２）の各アンカーボックス予測値（ｊ＝１，…，Ｂ）に対するオブジェクトの有無を表し、１はグリッドユニットｉにオブジェクトが存在する場合に、ｊ番目のアンカーボックス予測値が該予測に対して有効であることを表し、０はグリッドユニットｉにオブジェクトが存在しないことを表し、
Ｌ_ｏｂｊは信頼度損失であり、バイナリクロスエントロピー損失関数を採用して計算し、式は以下の通りであり、

（４）
ここで、Ｃ_ｉはオブジェクトの予測信頼度を表し、

はオブジェクトのないアンカーボックス（ａｎｃｈｏｒ）を表し、Ｌ_ｂｏｘはＬ_ＣＩＯＵであり、該損失は予測ボックスとバウンディングボックスとの間の距離、オーバーラップ率、ａｎｃｈｏｒのサイズ及び比率を考慮し、以下のように定義され、

（５）
ＩＯＵはバウンディングボックス回帰損失で最も一般的に使用される重なり度合いであり、予測ボックスと実際のボックスとの間の距離を取得でき、それにより検出の効果を反映し、計算式は以下の通りであり、

（６）
ｖはアスペクト比の一致性を評価するパラメータであり、以下のように定義され、

（７）
ここで、Ｙ_Ｐは境界の予測結果であり、Ｙ_ｂｂｏｘはバウンディングボックスレベルの利用可能なラベルを表し、ｗ^ｇｔはラベルボックスの幅であり、ｈ^ｇｔはラベルボックスの高さであり、ｗ^ｐは予測ボックスの幅であり、ｈ^ｐは予測ボックスの高さであり、Ｄｉｓｔａｎｃｅ_２は２つの中心点のユークリッド距離であり、Ｄｉｓｔａｎｃｅ_ｃはラベルボックスと予測ボックスとの最小外接矩形の対角線距離であり、
前記サブステップＳ２５では、各クライアントは所定回数の反復を行った後にいずれも２つの異なる局所訓練モデルを取得し、前記２つの異なる局所訓練モデルを中央サーバ側に返送し、中央サーバ側は各クライアントによって返送された２つの異なる局所訓練モデルを集約して新たなグローバル連合モデルを取得し、前記グローバル連合モデルを各クライアントに送信して再訓練し、第１段階で設定された所定の予備訓練の回数に達するまで前記訓練、統合のステップを繰り返し、２つの異なるグローバル予備訓練連合モデルを取得し、
前記ステップＳ３では、第２段階では、前記ラベルなし訓練データ、前記画像レベルのラベル付き訓練データ、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用し、２つの異なるグローバル予備訓練連合モデルに基づき、反復疑似ラベル生成器によって疑似ラベルを生成し、
前記ステップＳ３は具体的に、サブステップＳ３１～サブステップＳ３２を含み、
前記サブステップＳ３１では、各クライアントはピクセルレベルのラベル付き訓練データ、バウンディングボックスのラベル付き訓練データ、画像レベルのラベル付き訓練データ及びラベルなし訓練データに対してそれぞれ前処理操作を行い、第２段階の前処理画像データを取得し、
前記サブステップＳ３２では、中央サーバ側は第１段階で生成された２つの異なるグローバル予備訓練連合モデルを各クライアントにそれぞれ送信し、各クライアントはローカルの第２段階の前処理画像データ及びそのデータタイプに基づき、教師ありタイプを自己適応的に選択し、第２段階のネットワークモデルの訓練を行い、
前記サブステップＳ３２では、各クライアントがローカルの第２段階の前処理画像データ及びそのデータタイプに基づき、教師ありタイプを自己適応的に選択することは、具体的には、
クライアントがピクセルレベルのラベル付き訓練データを受信した場合に、境界検出タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及びグローバルマスク分割タスクブランチのパラメータのみを訓練し、損失関数の式（１）を利用して自己適応教師ありを行い、
クライアントがバウンディングボックスのラベル付き訓練データを受信した場合に、２つの異なる局所訓練モデルの境界検出タスクブランチ及びグローバルマスク分割タスクブランチのパラメータを同時に訓練し、検出タスクが分割タスクを支援する方式を利用して教師あり学習を行い、対応するバウンディングボックスのラベル付き訓練データのラベルを介してグローバルマスク分割タスクブランチの疑似ラベルに対して修正操作を行い、
検出タスクが分割タスクを支援する方式を利用して以下の損失関数を最小化することによって教師ありを行い、

（８）

（９）
ここで、Ｙ_１＝Ｆ_１（Ｘ_１）及びＹ_２＝Ｆ_２（Ｘ_２）は境界検出タスクブランチによって予測された疑似ラベルであり、Ｆ_１（∙）及びＦ_２（∙）は２つの異なるグローバル予備訓練モデルパラメータを更新したネットワークであり、Ｘ_１及びＸ_２はクライアントが受信した、前処理操作後に２つの異なるネットワークモデルＦ_１（∙）及びＦ_２（∙）に送られたバウンディングボックス訓練データであり、この教師付けの場合に、疑似ラベルの品質を向上させるために、対応するバウンディングボックスレベルの利用可能なラベルに基づいて疑似ラベルの修正操作を行い、修正ポリシーは以下の式に示され、

（１０）
ここで、＊は小数点乗算操作を表し、Ｙ^Ｌ _ｂｂｏｘはバウンディングボックスレベルの利用可能なラベルが変換された後のピクセルレベルのラベルを表し、
クライアントが画像レベルのラベル付き訓練データ及びラベルなし訓練データを受信した場合に、境界検出タスクブランチのパラメータを凍結し、２つの異なる局所訓練モデルのバックボーンネットワーク、ｎｅｃｋ及びグローバルマスク分割タスクブランチのパラメータのみを訓練し、前記２つの異なる局所訓練モデルを利用してクロス疑似ラベル教師ありを行い、

（１１）
前記ステップＳ４では、第２段階では、動的サンプル選択方法を利用して高品質の訓練データ及び疑似ラベルを選択し、現在訓練された２つの異なる局所訓練モデルによって生成された疑似ラベル間の予測一致性を利用し、マスクを生成することによって、高品質の訓練データ及び疑似ラベルを選択し、
前記ステップＳ５では、第１段階及び第２段階に基づき、受信された各クライアントによる反復過程で生成された局所訓練モデルのパラメータに対して、中央サーバ側はクライアント間の自己適応重み割り当てプログラムを介してグローバル連合モデルのパラメータ更新を行う
ことを特徴とする連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法。
前記ステップＳ５は具体的には、サブステップＳ５１～サブステップＳ５４を含み、
前記サブステップＳ５１では、毎回の訓練過程で、各クライアントは中央サーバ側から反復過程で生成されたグローバル連合モデルパラメータを受信し、
前記サブステップＳ５２では、各クライアントはローカルの訓練データを使用してローカル訓練を行い、ローカルの局所訓練モデルのパラメータ更新を完了し、
前記サブステップＳ５３では、各クライアントはそれぞれの局所訓練モデルパラメータの勾配更新を中央サーバ側に送信し、
前記サブステップＳ５４では、中央サーバ側は各クライアントによってアップロードされた局所訓練モデルパラメータの勾配をまとめ、グローバル連合モデルパラメータに対する更新を完了する
ことを特徴とする請求項１に記載の連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法。
前記ステップＳ２段階におけるグローバル連合モデルのパラメータ更新に対して、前記サブステップＳ５４では、局所訓練モデルパラメータをまとめる方式は、第１段階のグローバル連合モデルの共有ネットワーク部分のパラメータを更新する方式、グローバル連合モデルのグローバルマスク分割タスクブランチのモデルパラメータを更新する方式、及び第１段階のグローバル連合モデルの検出タスクブランチ部分のパラメータを更新する方式を含み、
第１段階のグローバル連合モデルの共有ネットワーク部分のパラメータを更新する方式では、各クライアントが第１段階で使用した訓練データ量が第１段階で使用された総データ量を占めた割合に基づいてパラメータ重み付けを行い、各クライアントの局所訓練モデルの共有ネットワーク部分のパラメータをグローバル連合モデルの共有ネットワーク部分のパラメータに集め、
グローバル連合モデルのグローバルマスク分割タスクブランチのモデルパラメータを更新する方式では、各クライアントが第１段階で使用したピクセルレベルのラベル付き訓練データ量が第１段階で使用されたピクセルレベルの訓練データの総量を占めた割合に基づいてパラメータ重み付けを行い、各クライアントの局所モデルのグローバルマスク分割ブランチ部分のパラメータをグローバル連合モデルのグローバルマスク分割ブランチ部分のパラメータに集め、
第１段階のグローバル連合モデルの検出タスクブランチ部分のパラメータを更新する方式では、各クライアントが第１段階で使用したバウンディングボックスのラベル付き訓練データ量が第１段階で使用されたバウンディングボックス訓練データの総量を占めた割合に基づいてパラメータ重み付けを行い、各クライアントの局所訓練モデルの検出タスクブランチ部分のパラメータをグローバル連合モデルの検出タスクブランチ部分のパラメータに集める
ことを特徴とする請求項２に記載の連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法。
前記ステップＳ３の段階におけるグローバル連合モデルのパラメータ更新に対して、前記サブステップＳ５４では、局所訓練モデルパラメータをまとめる方式は、
第２段階でグローバル連合モデルを集約して得る過程で、各クライアントのデータ分布及び各クライアントが現在の訓練スケジュールで選択した高品質の訓練データ量に基づき、適応集約関数を定義することによって集約重みを動的に調整することを含む
ことを特徴とする請求項２に記載の連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法。
請求項１～４のいずれか１項に記載の連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割方法を実現するためのシステムであって、データ収集モジュール、第１段階での連合学習に基づくマルチタスクネットワークモデルモジュール、第２段階での疑似ラベル生成モジュール、第２段階での動的サンプル選択モジュール、及び連合モデル動的更新モジュールを含み、
前記データ収集モジュールは、各医療機関において医用画像の分割に必要な弱教師ありデータ、完全教師ありデータ及びラベルなしデータをそれぞれ収集することに用いられ、前記弱教師ありデータはバウンディングボックスのラベル付き訓練データ及び画像レベルのラベル付き訓練データを含み、前記完全教師ありデータはピクセルレベルのラベル付き訓練データであり、前記弱教師ありデータ、前記完全教師ありデータ及び前記ラベルなし訓練データは対応する医療機関のソースデータセットとして用いられ、
前記第１段階での連合学習に基づくマルチタスクネットワークモデルモジュールは、連合学習のマルチタスクネットワークモデルに基づいて、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して予備訓練を行い、２つの異なるグローバル予備訓練連合モデルを取得することに用いられ、
前記第２段階での疑似ラベル生成モジュールは、前記ラベルなし訓練データ、前記画像レベルのラベル付き訓練データ、前記バウンディングボックスのラベル付き訓練データ及び前記ピクセルレベルのラベル付き訓練データを利用して２つの異なるグローバル予備訓練連合モデルに基づき、反復疑似ラベル生成器によって疑似ラベルを生成することに用いられ、
前記第２段階での動的サンプル選択モジュールは、動的サンプル選択方法を利用して高品質の訓練データ及び疑似ラベルを選択することに用いられ、
前記連合モデル動的更新モジュールは、受信された各クライアントによる反復過程で生成された局所訓練モデルのパラメータに対して、中央サーバ側はクライアント間の自己適応重み割り当てプログラムを介してグローバル連合モデルのパラメータ更新を行うことに用いられる
ことを特徴とする連合学習に基づくマルチタスクハイブリッド教師あり医用画像分割システム。