JP7074306B2 - 患者データ共有無しの多中心生物医学データのコラボレーション処理システム及び方法 - Google Patents

患者データ共有無しの多中心生物医学データのコラボレーション処理システム及び方法 Download PDF

Info

Publication number
JP7074306B2
JP7074306B2 JP2021533305A JP2021533305A JP7074306B2 JP 7074306 B2 JP7074306 B2 JP 7074306B2 JP 2021533305 A JP2021533305 A JP 2021533305A JP 2021533305 A JP2021533305 A JP 2021533305A JP 7074306 B2 JP7074306 B2 JP 7074306B2
Authority
JP
Japan
Prior art keywords
collaboration
model parameters
model
medical center
medical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2021533305A
Other languages
English (en)
Other versions
JP2022508347A (ja
Inventor
▲勁▼松 李
▲イエン▼ 朱
雨 田
▲ユー▼ 王
毓琅 ▲馮▼
Original Assignee
之江実験室
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 之江実験室 filed Critical 之江実験室
Publication of JP2022508347A publication Critical patent/JP2022508347A/ja
Application granted granted Critical
Publication of JP7074306B2 publication Critical patent/JP7074306B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/25Integrating or interfacing systems involving database management systems
    • G06F16/252Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/48Program initiating; Program switching, e.g. by interrupt
    • G06F9/4806Task transfer initiation or dispatching
    • G06F9/4843Task transfer initiation or dispatching by program, e.g. task dispatcher, supervisor, operating system

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Medical Treatment And Welfare Office Work (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明はデータコラボレーション処理の分野に属し、特に患者データ共有無しの多中心生物医学データコラボレーション処理システム及び方法に関する。
ビッグデータ技術の発展及びビッグデータに対する分析研究は社会発展と進歩の各方面で支持促進作用を発揮する。現代のデジタル化技術の進展、病院診療プロセス情報化及び電子カルテのプッシュに伴い、医療プロセスにおいては大量のデータを生成する。毎年の世界的に生成された生物医学データはEBレベルに達するが、各医療センターデータは互いに独立し、かつ受診者は大きな異質性を有し、これによって、生物医学研究部は全体関連性を有する医学ビッグデータコラボレーション処理を促進する。
従来のマルチ医療センター分散コラボレーション処理フローにおいて、医療センターのデータの一部又は全部をクラウドサーバに共有して最大程度のコラボレーション化及びデータ分布の均一化を達成するように要求し、クラウドサーバにより融合データに指定された医学的問題を分析しかつ結果を各医療センターに送信する。従来の技術の欠点は以下のとおりである。
(1)従来のコラボレーション処理過程において患者のプライバシーは非常に無視される。モデルの構築は多中心データの融合に依存し、医療センターデータとクラウドサーバのデータが頻繁に交換する過程において、データが漏洩しやすい。コラボレーション分析は医療データに優位プラットフォームを提供すると同時にデータの安全保護に潜在的なリスクをもたらし、かつコンピュータ性能の持続的な向上のため、クラウドコンピューティング、クラウドストレージ技術の普及によりデータに記憶されたキャリアが既に過去の物理的ステアリング仮想から仮想化され、これは現代のデータプライバシー保護技術に対してより高い要求を提供する。
(2)非同期コラボレーション処理モードは各医療センターの計算進捗を待ってクラウドサーバモデルを更新する必要があり、コラボレーション時間の浪費をもたらす。多中心コラボレーションモデルのパラメータには全てのノードが頻繁にアクセスする必要があり、機器性能の差異が大きい場合に、異なる待ち時間が発生し、同時にクラウド環境におけるフォールトトレラント能力も考慮する必要があり、医用データのコラボレーション分析の効率向上に一定の影響をもたらす。
本発明の目的は従来の多中心医学データのコラボレーション過程においてユーザーデータのプライバシー漏洩及び同期更新モデルの待ち時間が長すぎるという問題に対して、新たな患者データ共有無しの多中心医学データコラボレーション処理システム及び方法を提供することであり、本発明は実際の応用シーンに直面し、全ての患者データの外部流通及び漏洩リスクを十分に回避する前提で、分散コラボレーション処理方法を用いて医療ビッグデータ分析問題を解決し、かつ非同期共有モデルの方法によりモデルのコラボレーション最適化及び演算効率の向上を完了する。
本発明は以下の技術的解決手段により実施される。患者データ共有無しの多中心生物医学データコラボレーション処理システムであって、該システムは各医療センターモデルパラメータと非同期計算をコラボレートするためのクラウドサーバ及びデータにローカル高性能計算を展開するための医療センタークライアントを含み、
前記医療センタークライアントは発起者及び参加者の二つのキャラクタを有し、発起者とする場合、クラウドサーバに医学データコラボレーション処理要求を送信すると同時にユーザの予め定義された分析モデル及びモデルパラメータ、並びにコラボレーション処理に誘おう医療センターリストを伝送し、タスクスケジューラから送信された初期化コラボレーション分析モデル及びモデルパラメータを待ち、参加者とする場合、タスクスケジューラから送信されたコラボレーション処理内容及び招待を受信した後、コラボレーション処理に参加するか否かを決定し、コラボレーションに参加すると決定すると、タスクスケジューラにコラボレーション参加確認の命令を送信し、かつ該参加者の初期化ローカル分析モデル及びモデルパラメータをパラメータマネージャに送信し、タスクスケジューラが返信した初期化コラボレーション分析モデル及びモデルパラメータを待ち、そうでなければ該参加者のコラボレーション処理フローを終了し、
前記医療センタークライアントは初期化コラボレーション分析モデル及びモデルパラメータを受信した後、ローカル医学データを準備し、ローカル医学データを初期化コラボレーション分析モデル及びモデルパラメータとともにバッファに記憶し、ローカルでモデル反復計算を行い、予め定義された反復回数に達する度に又はタスクスケジューラから返送された更新後のコラボレーション分析モデル及びモデルパラメータを受信したときに、計算して得られたモデルパラメータと計算進捗をタスクスケジューラにアップロードし、ここでタスクスケジューラから返送された更新後のコラボレーション分析モデル及びモデルパラメータを受信したときに、ローカルバッファを解放し、更新後のコラボレーション分析モデル及びモデルパラメータを記憶し、計算精度が設定閾値を満たすまで反復し続け、計算を終了し、
前記クラウドサーバはパラメータマネージャ及びタスクスケジューラを含み、前記タスクスケジューラは医療センタークライアントにより開始された医学データコラボレーション処理要求を受信した後、該要求から解析された医療センターリスト中の全ての医療センタークライアントにコラボレーション処理内容及び招待を送信し、前記タスクスケジューラは医療センターリスト中の全ての医療センタークライアントの招待応答状況を判断し、応答状況はコラボレーション参加確認の命令を受信すること、コラボレーション参加拒否の命令を受信すること及びタイムアウトによる未処理のことを受信することを含み、判断が終了した後にパラメータマネージャを始動し、パラメータマネージャは発起者の予め定義された分析モデル及びモデルパラメータ、並びに参加者の初期化ローカル分析モデル及びモデルパラメータに基づいて、初期化コラボレーション分析モデルを構築し、かつコラボレーション参加確認の参加者及び発起者に初期化コラボレーション分析モデル及びモデルパラメータを送信し、
前記タスクスケジューラは医療センタークライアントがアップロードしたモデルパラメータ及び計算進捗を受信した後、該モデルにリソース分割を行うとともにモデルパラメータをパラメータマネージャに記憶し、計算状態をタスクスケジューラに記憶し、タスクスケジューラは対応する医療センタークライアントからアップロードされた計算状態を取得した時に、パラメータマネージャから現在のモデルパラメータを取り出しかつ勾配を計算し、モデル及びモデルパラメータを更新し、前に該医療センタークライアントによりパラメータマネージャに記憶されたモデル及びモデルパラメータを更新後のモデル及びモデルパラメータで上書きしかつ更新後のモデル及びモデルパラメータを該医療センタークライアントに返す。
さらに、前記医療センタークライアントとクラウドサーバはいずれも各自のネットワークインタフェース層を有し、ネットワークインタフェース層はパイソン言語でのフラスク軽量なウェブアプリケーションフレームに基づいて開発され、医用データコラボレーション処理要求とモデルパラメータの通信を実施することに用いられる。
さらに、前記医療センタークライアントはコラボレーション処理要求、モデル及びデータをバッファに記憶し、キャッシュはNoSQLデータベースにおける非関係性メモリデータベースRedisを採用し、コラボレーション要求の頻繁により引き起こされるクライアント処理圧力を緩和する。
さらに、前記医療センタークライアントはGPU(Graphic Processing Unit)を用いてデータ演算と処理を高速化する。前記医療センタークライアント分析アルゴリズムはPython言語に基づいて、Scala、C++、R、Julia、GO等を含むがこれらに限定されず、使用される科学計算ライブラリはNumpy、Pandas、Scipy、Breeze、Blitz++、POOMA、BLAS等を含むがそれらに限定されない。
さらに、前記タスクスケジューラは各医療センタークライアントに一つのサービスノード及び一つのワーキングノードを割り当て、前記サービスノードは自身に割り当てられた医療センタークライアントのモデルパラメータ及び計算進捗の管理及び更新のみを担当しており、新たな医療センタークライアントがコラボレーション処理に加入する場合に、新たなサービスノードはシステムにおける分散ハッシュテーブルを使用してサービスグループに随時動的に挿入しており、前記ワーキングノードは自身に割り当てられた医療センタークライアントの処理タスクのみを担当し、そのうちパラメータはキー、バリュー(key、value)のセットとして示され、プッシュ(push)とプル(pull)の操作により各医療センターとクラウドサーバとの間の勾配の同期及び更新を実施する。
さらに、前記パラメータマネージャは実際の反復プロセスにおいて、以下のルールにより単一の医療センタークライアントのクラウドサーバにおけるコラボレーションモデルパラメータの更新を行い、単一の医療センタークライアントの小さな勾配値を抑制し、各医療センタークライアントの勾配値がカスタム閾値に累積されるまで待機したときに該医療センタークライアントの勾配の更新を行い、アルゴリズム収束速度とシステム性能との間にバランスを取る。
患者データ共有無しの多中心生物医学データコラボレーション処理方法であって、該方法が以下のステップを含み、
(1)医療センタークライアントの発起者はクラウドサーバに医学データコラボレーション処理要求を送信すると同時にユーザの予め定義された分析モデル及びモデルパラメータを伝送し、及びコラボレーション処理に誘おうとする医療センターリストを伝送しタスクスケジューラが返信した初期化コラボレーション分析モデル及びモデルパラメータを待ち、
(2)クラウドサーバタスクスケジューラは医療センタークライアントにより開始された医療データコラボレーション処理要求を受信した後、該要求から解析された医療センターリスト中の全ての医療センタークライアントにコラボレーション処理内容及び招待を送信し、
(3)医療センタークライアント参加者はタスクスケジューラから送信されたコラボレーション処理内容及び招待を受信した後に、コラボレーション処理に参加するか否かを決定し、コラボレーションに参加すると決定すると、タスクスケジューラ参加確認の命令を送信し、かつ該参加者の初期化ローカル分析モデル及びモデルパラメータをパラメータマネージャに送信し、タスクスケジューラが返信した初期化コラボレーション分析モデル及びモデルパラメータを待ち、そうでなければ該参加者のコラボレーション処理フローを終了し、
(4)クラウドサーバタスクスケジューラは医療センターリスト中の全ての医療センタークライアントの招待応答状況を判断し、応答状況はコラボレーション参加確認の命令を受信すること、コラボレーション参加拒否の命令を受信すること及びタイムアウトによる未処理のことを含み、
(5)クラウドサーバタスクスケジューラは判断を終了した後にパラメータマネージャを始動し、パラメータマネージャには、発起者の予め定義された分析モデル及びモデルパラメータ、並びに参加者の初期化ローカル分析モデル及びモデルパラメータに基づいて、初期化コラボレーション分析モデルを構築し、かつコラボレーション参加確認の参加者及び発起者に初期化コラボレーション分析モデル及びモデルパラメータを送信し、
(6)医療センタークライアントは初期化コラボレーション分析モデル及びモデルパラメータを受信した後、ローカル医学データを準備し、ローカル医学データを初期化コラボレーション分析モデル及びモデルパラメータとともにバッファに記憶し、ローカルでモデル反復計算を行い、予め定義された反復回数に達する度に又はタスクスケジューラから送信された更新後のコラボレーション分析モデル及びモデルパラメータを受信したときに、計算して得られたモデルパラメータと計算進捗をタスクスケジューラにアップロードし、
(7)クラウドサーバタスクスケジューラは医療センタークライアントがアップロードしたモデルパラメータ及び計算進捗を受信した後、該モデルにリソース分割を行うとともに、モデルパラメータをパラメータマネージャに記憶し、計算状態をタスクスケジューラに記憶し、タスクスケジューラは対応する医療センタークライアントからアップロードされた計算状態を取得した時に、パラメータマネージャから現在のモデルパラメータを取り出しかつ勾配を計算し、モデル及びモデルパラメータを更新し、前に該医療センタークライアントによりパラメータマネージャに記憶されたモデル及びモデルパラメータを更新後のモデル及びモデルパラメータで上書きし、かつ更新後のモデル及びモデルパラメータを該医療センタークライアントに返し、
(8)医療センタークライアントはタスクスケジューラから返送された更新後のコラボレーション分析モデル及びモデルパラメータを受信すると、ローカルバッファを解放し、更新後のコラボレーション分析モデル及びモデルパラメータを記憶し、計算精度が設定閾値を満たすまで反復し続け、計算を終了する。
本発明の有益な効果は以下のとおりである。本発明はパラメータ共有メカニズム及び非同期通信メカニズムをクラウドサーバのパラメータマネージャ及びタスクディスパッチャにより接続して管理し、多中心医学データのコラボレーション計算に共通に応用する。医療センターデータとクラウドサーバとの安全隔離を満たすことができ、医療センター患者データのプライバシを十分に保護し、データの高さプライバシを保証すると同時に、多中心医学データコラボレーション処理の医学問題計算を実施する。同時にデータ計算結果を直接同期交換することに比べて計算待ち時間を効果的に減少させ、多中心コラボレーション処理の分析効率及びデータ処理能力を大幅に向上させる。
本発明の患者データ共有無しの多中心生物医学データコラボレーション処理システムの実施フローチャートである。 タスクスケジューラの動作原理図である。 パラメータマネージャの勾配更新概略図である。 主なサービスフロー及び記述である。
以下に図面及び具体的な実施例を参照しながら本発明をさらに詳細に説明する。
本発明は患者データ共有無しの多中心生物医学データコラボレーション処理システムを提供し、図1に示すように、該システムは各医療センターモデルパラメータと非同期計算をコラボレートするためのクラウドサーバ、及びデータにローカル高性能計算を展開するための医療センタークライアントを含む。
医療センタークライアントとクラウドサーバはいずれも各自のネットワークインタフェース層を有し、ネットワークインタフェース層はpython言語でのFlask軽量なwebアプリケーションフレームワークに基づいて開発され、Spring Bootなどのwebアプリケーションフレームワークの使用を含むが、これに限定されず、医用データコラボレーション処理要求とモデルパラメータの通信を実施するために用いられる。
医療センタークライアントは発起者及び参加者の二つのキャラクタを有する。発起者とする場合、クラウドサーバに医学データコラボレーション処理要求を送信すると同時にユーザの予め定義された分析モデル及びモデルパラメータ、並びにコラボレーション処理に誘おう医療センターリストを伝送し、タスクスケジューラから送信された初期化コラボレーション分析モデル及びモデルパラメータを待つ。参加者とする場合、タスクスケジューラから送信されたコラボレーション処理内容及び招待を受信した後、コラボレーション処理に参加するか否かを決定し、コラボレーションに参加すると決定すると、タスクスケジューラにコラボレーション参加確認の命令を送信し、かつ該参加者の初期化ローカル分析モデル及びモデルパラメータをパラメータマネージャに送信し、タスクスケジューラが返信した初期化コラボレーション分析モデル及びモデルパラメータを待ち、そうでなければ該参加者のコラボレーション処理フローを終了する。
医療センタークライアントは初期化コラボレーション分析モデル及びモデルパラメータを受信した後、ローカル医学データを準備し、ローカル医学データを初期化コラボレーション分析モデル及びモデルパラメータとともにバッファに記憶し、ローカルでモデル反復計算を行い、予め定義された反復回数に達する度に又はタスクスケジューラから返送された更新後のコラボレーション分析モデル及びモデルパラメータを受信すると、計算して得られたモデルパラメータと計算進捗をタスクスケジューラにアップロードする。ここでタスクスケジューラから返送された更新後のコラボレーション分析モデル及びモデルパラメータを受信すると、ローカルバッファを解放し、更新後のコラボレーション分析モデル及びモデルパラメータを記憶する。計算精度が設定閾値を満たすまで反復し続け、計算を終了する。
医療センタークライアントはコラボレーション処理要求、モデル及びデータをバッファに記憶し、キャッシュはNosqlデータベースにおける非関係性メモリデータベースRedisを採用することができ、コラボレーション要求の頻繁により引き起こされるクライアント処理圧力を緩和する。医療センタークライアントはGPU(Graphic Processing Unit)を用いてデータ演算と処理を高速化する。医療センタークライアント分析アルゴリズムはPython言語に基づいて、Scala、C++、R、Julia、GO等を含むがこれらに限定されず、使用される科学計算ライブラリはNumpy、Pandas、Scipy、Breeze、Blitz++、POOMA、BLAS等を含むがそれらに限定されない。
クラウドサーバはパラメータマネージャ及びタスクスケジューラを含む。前記タスクスケジューラは医療センタークライアントにより開始された医学データコラボレーション処理要求を受信した後、該要求から解析された医療センターリスト中の全ての医療センタークライアントにコラボレーション処理内容及び招待を送信する。前記タスクスケジューラは医療センターリスト中の全ての医療センタークライアントの招待応答状況を判断し、応答状況はコラボレーション参加確認の命令を受信すること、コラボレーション参加拒否の命令を受信すること及びタイムアウトによる未処理のことを受信することを含む。判断が終了した後にパラメータマネージャを始動し、パラメータマネージャには発起者の予め定義された分析モデル及びモデルパラメータ、及び参加者の初期化ローカル分析モデル及びモデルパラメータに基づいて、初期化コラボレーション分析モデルを構築し、かつコラボレーション参加確認の参加者及び発起者に初期化コラボレーション分析モデル及びモデルパラメータを送信する。
タスクスケジューラは医療センタークライアントがアップロードしたモデルパラメータ及び計算進捗を受信した後、該モデルにリソース分割を行い、同時にモデルパラメータをパラメータマネージャに記憶し、計算状態をタスクスケジューラに記憶する。タスクスケジューラは対応する医療センタークライアントがアップロードした計算状態を取得する時に、パラメータマネージャから現在のモデルパラメータを取り出しかつ勾配を計算し、モデル及びモデルパラメータを更新し、前に該医療センタークライアントによりパラメータマネージャに記憶されたモデル及びモデルパラメータに対して更新後のモデル及びモデルパラメータで上書きしかつ更新後のモデル及びモデルパラメータを該医療センタークライアントに返す。
タスクスケジューラの主な動作原理は図2に示すように、タスクスケジューラは各医療センタークライアントに一つのサービスノード及び一つのワーキングノードを割り当てる。前記サービスノードは自身に割り当てられた医療センタークライアントのモデルパラメータ及び計算プログレスの管理及び更新のみを担当する。新たな医療センタークライアントがコラボレーション処理に加入する場合に、新たなサービスノードはシステムにおける分散hashテーブルを使用してサービスグループに随時動的に挿入する。前記ワーキングノードは自身に割り当てられた医療センタークライアントの処理タスクのみを担当し、そのうちパラメータは(key、value)のセットとして示され、pushとpullの操作により各医療センターとクラウドサーバとの間の勾配の同期及び更新を実施する。前記タスクスケジューラはメタデータの一致性、例えば各ノードの状態、パラメータの割り当て状況等をメンテナンスすることを担当する。
パラメータマネージャの勾配更新の方法は図3に示すように、実際の反復プロセスにおいて、毎回計算された勾配が最終最適化に価値があるわけではなく、複数の医療センターが頻繁に送信した小さい勾配値更新モデルに基づいて全体の計算効率が低効率であるため、以下のルールにより単一の医療センタークライアントのクラウドサーバにおけるコラボレーションモデルパラメータの更新を行うことができる。単一の医療センタークライアントの小さな勾配値を抑制し、各医療センタークライアントの勾配値がカスタム閾値まで蓄積することを待つ時にさらに該医療センタークライアントの勾配の更新を行い、アルゴリズム収束速度とシステム性能との間にバランスを取る。
コラボレーション処理の具体的なステップは以下を含む。
(1)医療センタークライアントの発起者はクラウドサーバに医学データコラボレーション処理要求を送信すると同時にユーザの予め定義された分析モデル及びモデルパラメータを伝送し、及びコラボレーション処理に誘おうとする医療センターリストを伝送しタスクスケジューラが返信した初期化コラボレーション分析モデル及びモデルパラメータを待つ。
(2)クラウドサーバタスクスケジューラは医療センタークライアントにより開始された医療データコラボレーション処理要求を受信した後、該要求から解析された医療センターリスト中の全ての医療センタークライアントにコラボレーション処理内容及び招待を送信する。
(3)医療センタークライアント参加者はタスクスケジューラから送信されたコラボレーション処理内容及び招待を受信した後に、コラボレーション処理に参加するか否かを決定し、コラボレーションに参加すると決定すると、タスクスケジューラ参加確認の命令を送信し、かつ該参加者の初期化ローカル分析モデル及びモデルパラメータをパラメータマネージャに送信し、タスクスケジューラが返信した初期化コラボレーション分析モデル及びモデルパラメータを待ち、そうでなければ該参加者のコラボレーション処理フローを終了する。
(4)クラウドサーバタスクスケジューラは医療センターリスト中の全ての医療センタークライアントの招待応答状況を判断し、応答状況はコラボレーション参加確認の命令を受信すること、コラボレーション参加拒否の命令を受信すること及びタイムアウトによる未処理のことを含む。
(5)クラウドサーバタスクスケジューラは判断を終了した後にパラメータマネージャを始動し、パラメータマネージャには、発起者の予め定義された分析モデル及びモデルパラメータ、及び参加者の初期化ローカル分析モデル及びモデルパラメータに基づいて、初期化コラボレーション分析モデルを構築し、かつコラボレーション参加確認の参加者及び発起者に初期化コラボレーション分析モデル及びモデルパラメータを送信する。
(6)医療センタークライアントは初期化コラボレーション分析モデル及びモデルパラメータを受信した後、ローカル医学データを準備し、ローカル医学データを初期化コラボレーション分析モデル及びモデルパラメータとともにバッファに記憶し、ローカルでモデル反復計算を行い、予め定義された反復回数に達する度に又はタスクスケジューラから送信された更新後のコラボレーション分析モデル及びモデルパラメータを受信すると、計算して得られたモデルパラメータと計算進捗をタスクスケジューラにアップロードする。
(7)クラウドサーバタスクスケジューラは医療センタークライアントがアップロードしたモデルパラメータ及び計算進捗を受信した後、該モデルにリソース分割を行い、同時にモデルパラメータをパラメータマネージャに記憶し、計算状態をタスクスケジューラに記憶する。タスクスケジューラは対応する医療センタークライアントがアップロードした計算状態を取得する時に、パラメータマネージャから現在のモデルパラメータを取り出しかつ勾配を計算し、モデル及びモデルパラメータを更新し、前に該医療センタークライアントによりパラメータマネージャに記憶されたモデル及びモデルパラメータに対して更新後のモデル及びモデルパラメータで上書きしかつ更新後のモデル及びモデルパラメータを該医療センタークライアントに返す。
(8)医療センタークライアントはタスクスケジューラから返送された更新後のコラボレーション分析モデル及びモデルパラメータを受信すると、ローカルバッファを解放し、更新後のコラボレーション分析モデル及びモデルパラメータを記憶する。計算精度が設定閾値を満たすまで反復し続け、計算を終了する。
コラボレーション処理過程の主要なサービスフローは図4に示すとおりである。
医療センタークライアントにおいて、ユーザーは可視化されたインタフェースを介して、研究対象の問題に基づいてコラボレーションリクエストを発行し、自分が研究しようとする問題、データ需要、成果帰属、責任細則などの情報を詳細に列挙し、意向ありのコラボレーション中心を待って共同に研究に加入する。類似キューが存在すれば、ユーザーはキュープールにおいて対応するキューを選択するだけでよく、キューを新規作成する必要がある場合、ユーザーはアクセスグループ条件を該研究に参加する全てのコラボレーション中心に共有する必要があり、各センターは新たなキューを作成し、キューデータを選別し、キューデータの選択を完了する。
研究しようとする問題の結果要件に基づいて、ユーザーは一種又は複数種の分析方法を選択することができ、適応のパラメータ及び計算要求の結果をカスタマイズする。結果生成過程において、SVM、ニューラルネットワークなどの複雑な分析に対して複数回の反復を必要とするアルゴリズムに対して、ページは結果生成進度と現在結果の参考値を同期して表示する。結果に満足できないか又は変数の選択エラー等を発見すれば、処理過程を選択的に終了することができる。終了していないとコラボレーション処理が終了するまで待ち続け、ページに最終結果を生成し、ユーザーはニーズに基づいて結果の概要レポートを保存するか又は参考として使用することができる。
本発明は多中心患者データの共有なしの条件で、複数の医療センターの生物医学データに対してコラボレーション処理を行い、既定のコラボレーション医学問題に対する対応結果を分析する。多中心コラボレーション処理タスクに対して、データは医療センタークライアントに記憶され、医療センタークライアントはローカルモデル計算過程で生成されたパラメータ及び計算プロセス等をクラウドサーバに提出する。クラウドサーバはパラメータマネージャを利用して計算プロセスを統一的に管理しかつモデルを更新し、コラボレーション計算を完了した後に更新後のモデル及びモデルパラメータを医療センタークライアントに送信し、多中心の患者データの共有なしの条件下での生物医学データのコラボレーション処理を達成する。本発明は、各医療センター患者データのプライバシーを効果的に保護しつつ、コラボレーション処理モデルを利用してビッグデータ分析を行うことができる。計算過程において患者データが各医療センターに流通せず、患者データのプライバシー漏洩のリスクがなく、かつ非同期のパラメータ共有メカニズムを利用して計算待ち時間を効果的に減少させ、コラボレーション処理の効率を向上させ、医療データがプライバシーを保証する場合に最も効果的な利用を得る。
以上は本発明の実施例だけであり、本発明の保護範囲を限定するものではない。本発明の精神と原則内で、創造的労働を経ずに行われたいかなる修正、同等置換、改善などは、いずれも本発明の保護範囲内に含まれる。

Claims (7)

  1. 患者データ共有無しの多中心生物医学データコラボレーション処理システムであって、該システムは各医療センターモデルパラメータと非同期計算をコラボレートするためのクラウドサーバ及びデータにローカル高性能計算を展開するための医療センタークライアントを含み、
    前記医療センタークライアントは発起者及び参加者の二つのキャラクタを有し、発起者とする場合、クラウドサーバに医学データコラボレーション処理要求を送信すると同時に、ユーザの予め定義された分析モデル及びモデルパラメータ、並びにコラボレーション処理に誘おうとする医療センターリストを伝送し、タスクスケジューラから送信された初期化コラボレーション分析モデル及びモデルパラメータを待ち、参加者とする場合、タスクスケジューラから送信されたコラボレーション処理内容及び招待を受信した後、コラボレーション処理に参加するか否かを決定し、コラボレーションに参加すると決定すると、タスクスケジューラにコラボレーション参加確認の命令を送信し、かつ該参加者の初期化ローカル分析モデル及びモデルパラメータをパラメータマネージャに送信し、タスクスケジューラが返信した初期化コラボレーション分析モデル及びモデルパラメータを待ち、そうでなければ該参加者のコラボレーション処理フローを終了し、
    前記医療センタークライアントは初期化コラボレーション分析モデル及びモデルパラメータを受信した後、ローカル医学データを準備し、ローカル医学データを初期化コラボレーション分析モデル及びモデルパラメータとともにバッファに記憶し、ローカルでモデル反復計算を行い、予め定義された反復回数に達する度に又はタスクスケジューラから返送された更新後のコラボレーション分析モデル及びモデルパラメータを受信したときに、前記モデル反復計算により得られたモデルパラメータと計算進捗をタスクスケジューラにアップロードし、ここでタスクスケジューラから返送された更新後のコラボレーション分析モデル及びモデルパラメータを受信すると、ローカルバッファバッファにおけるコラボレーション分析モデル及びモデルパラメータを解放し、更新後のコラボレーション分析モデル及びモデルパラメータを記憶し、計算精度が設定閾値を満たすまで反復し続け、計算を終了し、
    前記クラウドサーバはパラメータマネージャ及びタスクスケジューラを含み、前記タスクスケジューラは発起者とする医療センタークライアントにより開始された医学データコラボレーション処理要求を受信した後、前記医療センタークライアントから送信された医療センターリスト中の全ての医療センタークライアントにコラボレーション処理内容及び招待を送信し、前記タスクスケジューラは医療センターリスト中の全ての医療センタークライアントの招待応答状況を判断し、応答状況はコラボレーション参加確認の命令を受信すること、コラボレーション参加拒否の命令を受信すること及びタイムアウトによる未処理のことを受信することを含み、判断が終了した後にパラメータマネージャを始動し、パラメータマネージャは発起者の予め定義された分析モデル及びモデルパラメータ、並びに参加者の初期化ローカル分析モデル及びモデルパラメータに基づいて、初期化コラボレーション分析モデルを構築し、かつコラボレーション参加確認の参加者及び発起者に初期化コラボレーション分析モデル及びモデルパラメータを送信し、
    前記タスクスケジューラは医療センタークライアントがアップロードした、現在の反復計算から得られたモデルパラメータ及び計算進捗を受信した後、コラボレーション分析モデルのために計算リソース分割を行うとともに、医療センタークライアントがアップロードした、現在の反復計算から得られたモデルパラメータをパラメータマネージャに記憶し、計算進捗をタスクスケジューラに記憶し、タスクスケジューラは対応する医療センタークライアントからアップロードされた計算進捗を取得した時に、パラメータマネージャから対応する医療センタークライアントの現在のモデルパラメータを取り出しかつ計算進捗及び現在のモデルパラメータに基づいて前記クラウドサーバにおけるコラボレーション分析モデルのモデルパラメータの勾配を計算し、コラボレーション分析モデル及びモデルパラメータを更新し、前に該医療センタークライアントによりパラメータマネージャに記憶された初期化ローカル分析モデル及びモデルパラメータを更新後のコラボレーション分析モデル及びモデルパラメータで上書きし、かつ更新後のコラボレーション分析モデル及びモデルパラメータを該医療センタークライアントに返す
    ことを特徴とする患者データ共有無しの多中心生物医学データコラボレーション処理システム。
  2. 前記医療センタークライアントとクラウドサーバはいずれも各自のネットワークインタフェース層を有し、ネットワークインタフェース層はパイソン言語でのフラスク軽量なウェブアプリケーションフレームに基づいて開発され、医用データコラボレーション処理要求とモデルパラメータの通信を実施することに用いられる
    ことを特徴とする請求項1に記載の患者データ共有無しの多中心生物医学データコラボレーション処理システム。
  3. 前記医療センタークライアントはコラボレーション処理要求、初期化コラボレーション分析モデル及びローカル医学データをバッファに記憶し、バッファはNoSQLデータベースにおける非関係性メモリデータベースRedisを採用し、コラボレーション要求の頻繁により引き起こされるクライアント処理圧力を緩和する
    ことを特徴とする請求項1に記載の患者データ共有無しの多中心生物医学データコラボレーション処理システム。
  4. 前記医療センタークライアントはGPU(Graphic Processing Unit)を用いてデータ演算と処理を高速化し、前記医療センタークライアント分析アルゴリズムはパイソン言語に基づいて、Scala、C++、R、Julia、GO含み、使用される科学計算ライブラリはNumpy、Pandas、Scipy、Breeze、Blitz++、POOMA、BLAS含む
    ことを特徴とする請求項1に記載の患者データ共有無しの多中心生物医学データコラボレーション処理システム。
  5. 前記タスクスケジューラは各医療センタークライアントに一つのサービスノード及び一つのワーキングノードを割り当て、前記サービスノードは自身に割り当てられた医療センタークライアントのモデルパラメータ及び計算進捗の管理及び更新のみを担当しており、新たな医療センタークライアントがコラボレーション処理に加入する場合に、新たなサービスノードはシステムにおける分散ハッシュテーブルを使用してサービスグループに随時動的に挿入しており、前記ワーキングノードは自身に割り当てられた医療センタークライアントの処理タスクのみを担当し、そのうちパラメータはキー、バリュー(key、value)のセットとして示され、プッシュとプルの操作により各医療センターとクラウドサーバとの間の勾配の同期及び更新を実施する
    ことを特徴とする請求項1に記載の患者データ共有無しの多中心生物医学データコラボレーション処理システム。
  6. 前記パラメータマネージャは実際の反復プロセスにおいて、以下のルールにより単一の医療センタークライアントのクラウドサーバにおけるコラボレーションモデルパラメータの更新を行い、単一の医療センタークライアントの小さな勾配値を抑制し、各医療センタークライアントの勾配値がカスタム閾値に累積されるまで待機したときに、該医療センタークライアントの勾配の更新を行う
    ことを特徴とする請求項1に記載の患者データ共有無しの多中心生物医学データコラボレーション処理システム。
  7. 患者データ共有無しの多中心生物医学データコラボレーション処理方法であって、該方法が以下のステップを含み、
    (1)医療センタークライアントの発起者はクラウドサーバに医学データコラボレーション処理要求を送信すると同時に、ユーザの予め定義された分析モデル及びモデルパラメータ、及びコラボレーション処理に誘おうとする医療センターリストを伝送し、タスクスケジューラが返信した初期化コラボレーション分析モデル及びモデルパラメータを待ち、
    (2)クラウドサーバタスクスケジューラは発起者とする医療センタークライアントにより開始された医療データコラボレーション処理要求を受信した後、前記医療センタークライアントから送信された医療センターリスト中の全ての医療センタークライアントにコラボレーション処理内容及び招待を送信し、
    (3)医療センタークライアント参加者はタスクスケジューラから送信されたコラボレーション処理内容及び招待を受信した後に、コラボレーション処理に参加するか否かを決定し、コラボレーションに参加すると決定すると、タスクスケジューラ参加確認の命令を送信し、かつ該参加者の初期化ローカル分析モデル及びモデルパラメータをパラメータマネージャに送信し、タスクスケジューラが返信した初期化コラボレーション分析モデル及びモデルパラメータを待ち、そうでなければ該参加者のコラボレーション処理フローを終了し、
    (4)クラウドサーバタスクスケジューラは医療センターリスト中の全ての医療センタークライアントの招待応答状況を判断し、応答状況はコラボレーション参加確認の命令を受信すること、コラボレーション参加拒否の命令を受信すること及びタイムアウトによる未処理のことを含み、
    (5)クラウドサーバタスクスケジューラは判断を終了した後にパラメータマネージャを始動し、パラメータマネージャには、発起者の予め定義された分析モデル及びモデルパラメータ、並びに参加者の初期化ローカル分析モデル及びモデルパラメータに基づいて、初期化コラボレーション分析モデルを構築し、かつコラボレーション参加確認の参加者及び発起者に初期化コラボレーション分析モデル及びモデルパラメータを送信し、
    (6)医療センタークライアントは初期化コラボレーション分析モデル及びモデルパラメータを受信した後、ローカル医学データを準備し、ローカル医学データを初期化コラボレーション分析モデル及びモデルパラメータとともにバッファに記憶し、ローカルでモデル反復計算を行い、予め定義された反復回数に達する度に又はタスクスケジューラから送信された更新後のコラボレーション分析モデル及びモデルパラメータを受信したときに、前記モデル反復計算により得られたモデルパラメータと計算進捗をタスクスケジューラにアップロードし、
    (7)クラウドサーバタスクスケジューラは医療センタークライアントがアップロードした、現在の反復計算から得られたモデルパラメータ及び計算進捗を受信した後、コラボレーション分析モデルのために計算リソース分割を行うとともに、医療センタークライアントがアップロードした、現在の反復計算から得られたモデルパラメータをパラメータマネージャに記憶し、計算進捗をタスクスケジューラに記憶し、タスクスケジューラは対応する医療センタークライアントからアップロードされた計算進捗を取得した時に、パラメータマネージャから対応する医療センタークライアントの現在のモデルパラメータを取り出しかつ計算進捗及び現在のモデルパラメータに基づいて前記クラウドサーバにおけるコラボレーション分析モデルのモデルパラメータの勾配を計算し、コラボレーション分析モデル及びモデルパラメータを更新し、前に該医療センタークライアントによりパラメータマネージャに記憶された初期化ローカル分析モデル及びモデルパラメータを更新後のコラボレーション分析モデル及びモデルパラメータで上書きし、かつ更新後のコラボレーション分析モデル及びモデルパラメータを該医療センタークライアントに返し、
    (8)医療センタークライアントはタスクスケジューラから返送された更新後のコラボレーション分析モデル及びモデルパラメータを受信すると、ローカルバッファバッファにおけるコラボレーション分析モデル及びモデルパラメータを解放し、更新後のコラボレーション分析モデル及びモデルパラメータを記憶し、計算精度が設定閾値を満たすまで反復し続け、計算を終了する
    ことを特徴とする患者データ共有無しの多中心生物医学データコラボレーション処理方法。
JP2021533305A 2019-07-12 2020-04-07 患者データ共有無しの多中心生物医学データのコラボレーション処理システム及び方法 Active JP7074306B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201910629257.6 2019-07-12
CN201910629257.6A CN110362586B (zh) 2019-07-12 2019-07-12 一种无患者数据共享的多中心生物医学数据协同处理系统及方法
PCT/CN2020/083587 WO2020233257A1 (zh) 2019-07-12 2020-04-07 一种无患者数据共享的多中心生物医学数据协同处理系统及方法

Publications (2)

Publication Number Publication Date
JP2022508347A JP2022508347A (ja) 2022-01-19
JP7074306B2 true JP7074306B2 (ja) 2022-05-24

Family

ID=68218957

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021533305A Active JP7074306B2 (ja) 2019-07-12 2020-04-07 患者データ共有無しの多中心生物医学データのコラボレーション処理システム及び方法

Country Status (3)

Country Link
JP (1) JP7074306B2 (ja)
CN (1) CN110362586B (ja)
WO (1) WO2020233257A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110362586B (zh) * 2019-07-12 2021-08-03 之江实验室 一种无患者数据共享的多中心生物医学数据协同处理系统及方法
CN113470806B (zh) * 2020-03-31 2024-05-24 中移(成都)信息通信科技有限公司 病情检测模型的确定方法、装置、设备及计算机存储介质
CN114566289B (zh) * 2022-04-26 2022-08-09 之江实验室 一种基于多中心临床数据防作弊分析的疾病预测系统
CN116244374B (zh) * 2023-01-09 2024-04-19 北京百度网讯科技有限公司 一种数据处理方法、装置、设备及存储介质
CN116306943B (zh) * 2023-03-16 2023-10-17 中国科学院软件研究所 一种面向AIoT的多任务本地协同推理方法及系统
CN118101343A (zh) * 2024-04-24 2024-05-28 天津医康互联科技有限公司 一种用于医院内网环境的联邦学习系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170357760A1 (en) 2016-06-10 2017-12-14 Electronics And Telecommunications Research Institute Clinical decision supporting ensemble system and clinical decision supporting method using the same
US20190050749A1 (en) 2017-08-11 2019-02-14 Google Inc. On-Device Machine Learning Platform
CN109977694A (zh) 2019-03-11 2019-07-05 暨南大学 一种基于协作深度学习的数据共享方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10075384B2 (en) * 2013-03-15 2018-09-11 Advanced Elemental Technologies, Inc. Purposeful computing
CN107808687B (zh) * 2016-09-08 2021-01-29 京东方科技集团股份有限公司 医疗数据获取方法、处理方法、集群处理系统及方法
CN108256068B (zh) * 2018-01-16 2020-12-15 平安医疗健康管理股份有限公司 具有双向调用功能的医疗机构智能接入系统
CN108712260B (zh) * 2018-05-09 2021-06-25 曲阜师范大学 云环境下保护隐私的多方深度学习计算代理方法
CN108766511A (zh) * 2018-05-30 2018-11-06 北京阿尔山金融科技有限公司 医疗检查数据共享方法、系统以及电子设备
CN109194523B (zh) * 2018-10-01 2021-07-30 西安电子科技大学 隐私保护的多方诊断模型融合方法及系统、云端服务器
CN109684855B (zh) * 2018-12-17 2020-07-10 电子科技大学 一种基于隐私保护技术的联合深度学习训练方法
CN110362586B (zh) * 2019-07-12 2021-08-03 之江实验室 一种无患者数据共享的多中心生物医学数据协同处理系统及方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170357760A1 (en) 2016-06-10 2017-12-14 Electronics And Telecommunications Research Institute Clinical decision supporting ensemble system and clinical decision supporting method using the same
US20190050749A1 (en) 2017-08-11 2019-02-14 Google Inc. On-Device Machine Learning Platform
CN109977694A (zh) 2019-03-11 2019-07-05 暨南大学 一种基于协作深度学习的数据共享方法

Also Published As

Publication number Publication date
WO2020233257A1 (zh) 2020-11-26
CN110362586B (zh) 2021-08-03
CN110362586A (zh) 2019-10-22
JP2022508347A (ja) 2022-01-19

Similar Documents

Publication Publication Date Title
JP7074306B2 (ja) 患者データ共有無しの多中心生物医学データのコラボレーション処理システム及び方法
US8290919B1 (en) System and method for distributing and accessing files in a distributed storage system
KR20180131836A (ko) 파라미터 서버 및 그것에 의해 수행되는 분산 딥러닝 파라미터 공유 방법
CN103607435A (zh) 一种基于云计算的医学图像存储系统及方法
US20150133216A1 (en) View generation based on shared state
Jia et al. Delay-sensitive multiplayer augmented reality game planning in mobile edge computing
CN106886455B (zh) 一种实现用户隔离的方法及系统
WO2015081907A1 (zh) 一种角色对象管理的方法、装置和服务器
CN107179878A (zh) 基于应用优化的数据存储的方法和装置
CN112052092B (zh) 一种风险感知的边缘计算任务分配方法
CN110689604A (zh) 个性化脸部模型显示方法、装置、设备及存储介质
CA2929588A1 (en) Data collection for multiple view generation
Yang et al. Caching-enabled computation offloading in multi-region MEC network via deep reinforcement learning
US20170359407A1 (en) Methods and systems for processing commands in a distributed computing system
KR20070052994A (ko) 지능형 분산 서버 시스템 및 이의 운용방법
CN106453223B (zh) 一种无缝世界游戏服务器系统
CN110743164B (zh) 一种用于降低云游戏中响应延迟的动态资源划分方法
CN110780947B (zh) 用于社交图数据的PageRank并行计算加速方法
Kim et al. E-Render: Enabling UHD-Quality Cloud Gaming Through Edge Rendering
Farooq et al. Scalable and consistent virtual worlds: An extension to the architecture of OpenSimulator
KR101322700B1 (ko) 원거리 네트워크 환경 하에서의 분산처리 미들웨어
CN107341057A (zh) 一种数据处理方法及装置
TWI545453B (zh) 分散式系統及其資料庫管理方法及管理系統
Tobler Gpuless–serverless gpu functions
CN110750798A (zh) 一种协同计算管理平台和管理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210610

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20210622

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20211119

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220429

R150 Certificate of patent or registration of utility model

Ref document number: 7074306

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150