JP7450019B2 - プライバシー保護を備えた分散型機械学習 - Google Patents

プライバシー保護を備えた分散型機械学習 Download PDF

Info

Publication number
JP7450019B2
JP7450019B2 JP2022510877A JP2022510877A JP7450019B2 JP 7450019 B2 JP7450019 B2 JP 7450019B2 JP 2022510877 A JP2022510877 A JP 2022510877A JP 2022510877 A JP2022510877 A JP 2022510877A JP 7450019 B2 JP7450019 B2 JP 7450019B2
Authority
JP
Japan
Prior art keywords
ann
version
neuron
local
master
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022510877A
Other languages
English (en)
Other versions
JP2022544827A (ja
Inventor
ショーン ステファン エイラート
シヴァサンカル グナセカラン
アミーン ディー． アケル
ケネス マリオン クレウィッツ
ホンギュ ワン
Original Assignee
マイクロン テクノロジー，インク．
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by マイクロン テクノロジー，インク． filed Critical マイクロン テクノロジー，インク．
Publication of JP2022544827A publication Critical patent/JP2022544827A/ja
Application granted granted Critical
Publication of JP7450019B2 publication Critical patent/JP7450019B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G06N20/20—Ensemble learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Artificial Intelligence (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)

Description

関連出願
本出願は、２０１９年８月２０日に出願され、「ＤＩＳＴＲＩＢＵＴＥＤ ＭＡＣＨＩＮＥ ＬＥＡＲＮＩＮＧ ＷＩＴＨ ＰＲＩＶＡＣＹ ＰＲＯＴＥＣＴＩＯＮ」と題され、その開示全体が参照により本明細書に組み込まれる米国特許出願第１６／５４５，８１３号の優先権を主張する。
本明細書に開示される少なくともいくつかの実施形態は、一般にデータプライバシー保護を備えた分散型機械学習に関連し、より具体的には、データプライバシー保護を備えた分散型人工ニューラルネットワークに関連する。
人工ニューラルネットワーク（ＡＮＮ）は、特定の操作の命令でプログラムされることなく、タスクの実行を学習できるコンピューティングシステムである。ＡＮＮは、接続されたノードまたは人工ニューロンのセットに基づいており、これらは、生物学的脳のニューロンにいくらか類似している。ノード間の各接続は、ある人工ニューロンから別の人工ニューロンに信号を送信でき、信号を受信した人工ニューロンはそれを処理できる。
通常、ＡＮＮは、実数である人工ニューロン間の接続（またはエッジ）での信号によって実装され、各人工ニューロンの出力は、その入力の合計の非線形関数によって計算される。人工ニューロンとエッジは、通常、ＡＮＮによる学習またはＡＮＮのトレーニングが進むにつれて調整される重みを有する。重みは、エッジでの信号の強度を増減する。人工ニューロンはまた、集約信号がしきい値を超えた場合にのみ信号が人工ニューロンから送信されるしきい値を有する場合もある。通常、人工ニューロンはレイヤー（入力レイヤー、１つ以上の中間レイヤー、出力レイヤーなど）にグループ化され、各レイヤーはレイヤーへの入力に対して異なる変換を提供できる。
ディープニューラルネットワークなどの複雑な人工ニューラルネットワークの使用が増加し、そのようなネットワークの有効性を高めたいという要望に伴い、複数のプロセッサ及び／または分散コンピューティングを使用して人工ニューラルネットワークのトレーニングを分散することで複雑さと課題に対応してきた。ただし、複数のプロセッサまたは分散コンピューティングを使用すると、データのプライバシーに関する懸念（たとえば、データが真正であるという懸念）と、ネットワークパフォーマンスに関する懸念（たとえば、アプリケーションの性能ニーズを満たすニューラルネットワークの能力を制限するネットワークパフォーマンスに関わる懸念）がある。
本開示は、以下に示す詳細な説明及び本開示の様々な実施形態の添付図面から、より十分に理解される。
本開示のいくつかの実施形態による、人工ニューラルネットワーク（ＡＮＮ）の異なってトレーニングされたバージョンのＡＮＮのマスターバージョンへの統合を実装するための構成の例示的なコンピュータネットワーク１００を示す。 本開示のいくつかの実施形態による、人工ニューラルネットワーク（ＡＮＮ）の異なってトレーニングされたバージョンのＡＮＮのマスターバージョンへの統合を実装するための構成の例示的なコンピュータネットワーク１００を示す。 本開示のいくつかの実施形態による、ＡＮＮの異なってトレーニングされたバージョンのＡＮＮのマスターバージョンへの統合を実装できるコンピュータネットワーク１００の例示的な部分により実行される例示的な方法を示す。 本開示のいくつかの実施形態による、ＡＮＮの異なってトレーニングされたバージョンのＡＮＮのマスターバージョンへの統合を実装できるコンピュータネットワーク１００の例示的な部分により実行される例示的な方法を示す。 本開示のいくつかの実施形態による、ＡＮＮのマスターバージョンをホストすることができる例示的なコンピューティングデバイス、またはＡＮＮの別のバージョンをホストすることができる例示的なコンピューティングデバイスを示す。
本開示の少なくともいくつかの態様は、一般にデータプライバシー保護を備えた分散型機械学習を対象とし、より具体的には、データプライバシー保護を備えた分散型人工ニューラルネットワークを対象とする。また、本開示の少なくともいくつかの態様は、人工ニューラルネットワーク（ＡＮＮ）の異なってトレーニングされたバージョンのＡＮＮのマスターバージョンへの統合を実装するように構成できるコンピュータネットワークを対象とする。
いくつかの実施形態では、本明細書に開示されているのは、ＡＮＮの異なるバージョンをホストできる複数のコンピューティングデバイスを有することができるシステムである。システムの各コンピューティングデバイスは、ＡＮＮの独自のバージョンをホストできる。たとえば、第１のデバイスはＡＮＮのマスターバージョンをホストでき、第２のデバイスとシステムの他のデバイスはＡＮＮのローカルバージョンをホストできる。システムでは、（たとえばトレーニングに起因する）ＡＮＮのローカルバージョンの変更をＡＮＮのマスターバージョンと組み合わせて、ＡＮＮのマスターバージョンを更新することができる。システムでは、第１のデバイスは、マスターバージョンを格納できるメモリを含むことができ、第２のデバイス（またはＡＮＮのローカルバージョンをホストするシステムの別のデバイス）は、ローカルバージョンを格納できるメモリを含むことができる。第２のデバイス（またはＡＮＮのローカルバージョンをホストするシステムの任意の他のデバイス）は、ＡＮＮのそのローカルバージョンをトレーニングできるプロセッサと、ローカルバージョンのトレーニングから生じたローカルバージョンの変更を送信できるトランシーバとを含むことができる。第１のデバイスは、ローカルバージョンの変更を受信できるトランシーバと、ローカルバージョンの受信した変更をＡＮＮのマスターバージョンと組み合わせることができるプロセッサとを含むことができる。
いくつかの実施形態では、ＡＮＮのローカルバージョンをホストするデバイスの１つは、そのメモリに格納されたユーザーデータをＡＮＮのローカルバージョンに入力して、ＡＮＮのローカルバージョンを使用及びトレーニングできる。たとえば、これはユーザーのモバイルデバイスで起こり得る。機密情報や個人情報を含む可能性のあるユーザーデータは、ＡＮＮとのその使用で他のデバイスと共有されない。言い換えると、ＡＮＮの機械学習は、ユーザーデータが他のデバイスと共有されず、ユーザーのデバイス内で保護されるという点で、ローカル及びプライベートで行うことができる。ただし、ＡＮＮのローカルバージョンの変更または更新、及びＡＮＮから出力された結果は、ＡＮＮのマスターバージョンをホストするデバイスなど、ＡＮＮの他のバージョンをホストする他のデバイスに通信できる。
いくつかの実施形態では、ＡＮＮのマスターバージョンをホストする１つまたは複数のデバイスは、クラウドコンピューティング環境の一部であり得る。そして、そのような実施形態では、ユーザーのデバイスにのみユーザーデータを入力することによって、ユーザーデータをクラウドのデバイスから秘密に保つことができる。ただし、クラウドは、ユーザーデータに基づいたローカルバージョンのトレーニングに起因するＡＮＮのローカルバージョンの変更の恩恵を受けることができる。ユーザーデータは、ユーザーのプライバシーを保護するためにクラウドに送信されない。ユーザーデータは、ユーザーのデバイスのみでＡＮＮのローカルバージョンをローカルにトレーニングするために使用される。たとえば、ユーザーデータは、ユーザーのモバイルデバイス（たとえば、ユーザーのスマートフォン、タブレットなど）でＡＮＮのローカルバージョンをトレーニングするためにのみ使用される。
ローカルトレーニングの結果としてのＡＮＮのローカルバージョンへの変更は、変更をＡＮＮの他のバージョンと組み合わせるために他のデバイスに送信できる。たとえば、変更をクラウドに送信して、ＡＮＮのマスターバージョンと組み合わせることができる。そのような例では、マスターバージョンがより一般的または普遍的であり、時間の経過とともにますます正確になるように、クラウドは、異なるユーザーのデバイスから受信した変更を組み合わせて、クラウド内のＡＮＮのマスターバージョンを更新する。
いくつかの実施形態では、デバイスに格納されているＡＮＮのローカルバージョンを更新及び改善するために、ＡＮＮのマスターバージョンをユーザーの個々のデバイスにダウンロードできる。これにより、ローカルでのトレーニングだけでは改善されなかった可能性のあるＡＮＮの領域で、ＡＮＮのローカルに格納されたバージョンの精度を向上させることができる。また、ダウンロードされたＡＮＮのマスターバージョンは、ユーザー向けのＡＮＮのカスタマイズされたバージョン用にローカルでさらにトレーニングできる。
一般に、ＡＮＮの異なってトレーニングされたバージョンのＡＮＮのマスターバージョンへの統合を実装するように構成できるコンピュータネットワークでは、ＡＮＮの異なってトレーニングされたバージョンをホストするデバイスは、ユーザーデータの送信を回避するためにローカルトレーニングを実行できる。その点では、デバイスを通信可能に結合するネットワークを介して送信できるのは、ＡＮＮのトレーニングされたローカルバージョンの変更のみである。中央デバイス、サーバ、またはクラウドは、ネットワークを介してトレーニングされた結果を受信し、異なるデバイスからのそれらのトレーニングされた結果をＡＮＮのマスターバージョンと組み合わせることができる。中央デバイス、サーバ、またはクラウドにはユーザーデータ（ＡＮＮのローカルバージョンへの入力）がないため、中央デバイス、サーバ、またはクラウド及びネットワークへのユーザーデータの公開を回避できる。
ＡＮＮの異なってトレーニングされたバージョンのＡＮＮのマスターバージョンへの統合を実装するように構成できるコンピュータネットワークは、様々なユーザーのデータを使用してＡＮＮをトレーニングする利点を維持しながら、ユーザーのプライバシーを保護できる。いくつかの実施形態では、機密性の低いデータを、ユーザーのデバイスによるローカルトレーニング後に、中央デバイス、サーバ、またはクラウドに送信することができる。ローカルトレーニングは、中央デバイス、サーバ、またはクラウドに送信された変更から機密データを回復できないように、ユーザーデバイスの機密データをＡＮＮの変更に変換できる。
コンピュータネットワークで更新されるＡＮＮは、ニューロン属性及び／または接続性の更新の形をとる場合がある。ＡＮＮのバージョンの変更は、ＡＮＮのバージョンのニューロン属性（たとえば、異なる入力及びしきい値の重み）を組み合わせることによってなど、中央デバイス、サーバ、またはクラウドでＡＮＮのマスターバージョンと組み合わせることができる。この組み合わせは、一般に変更の中の各属性の平均、及び／または一般に変更の中の各属性の加重平均をとることによって行うことができる。異なる提供者（たとえば、異なるユーザーデバイス）からの変更を組み合わせる際の加重平均の重みは、ユーザーデータのサンプルサイズのいくつかの測定値に対して構成できる。たとえば、ユーザーデバイスのＡＮＮがより多くのユーザーデータでトレーニングされる場合、その変更にはより多くの重みを与えることができる。
また、接続性の変更は、他のニューロンへの入力としてニューロンからの出力に対して重みを介して組み合わせることができる（たとえば、ゼロ重みに同等な接続はない）。しかしながら、異なる提供者からの小さな変更により、ニューロンの間の接続が著しく増える場合がある。元のネットワークが十分に接続されているときにはこれは問題ではないが、元のネットワークが疎に接続されているときには問題となる可能性がある。したがって、接続性の組み合わせは、実施形態に左右される可能性がある。
ユーザーデバイスから、ＡＮＮのマスターバージョンをホストする中央デバイス、サーバ、またはクラウドに送信される、本明細書に説明されるＡＮＮのローカルバージョンへの変更が、変更されたＡＮＮ全体、変更されたＡＮＮの部分、または変更されたＡＮＮの変更されたパラメータだけの形をとることができることを理解されたい。また、いくつかの実施形態では、ＡＮＮのマスターバージョンをホストする中央デバイス、サーバ、またはクラウドは、ユーザーデバイスがローカルトレーニングを介して変更できるものを制限する可能性があり、これによりデータトラフィックを低減する可能性があり、トレーニングの有効性が低下する場合もある。また、ピアツーピアネットワークが、ＡＮＮの異なってトレーニングされたバージョンのＡＮＮのマスターバージョンへの統合を実装するように構成できるコンピュータネットワークを実装できることも理解されたい。そのような例では、単に第１のデバイスは処理のためにＡＮＮのマスターバージョンをホストするだけであり、ピアツーピアネットワークの他のデバイスが、処理のためにＡＮＮの他のバージョン（たとえば、ローカルバージョン）をホストする。
図１及び図２は、本開示のいくつかの実施形態による、ＡＮＮの異なってトレーニングされたバージョンのＡＮＮのマスターバージョンへの統合を実装するための構成のコンピュータネットワーク１００を示す。
図１では、コンピューティングデバイスのセット１０２を含むコンピュータネットワーク１００が示されている。コンピューティングデバイスのセット１０２は、任意のタイプのモバイルデバイス、パーソナルコンピュータ、またはＡＮＮのバージョンをホスト及び実行できるスマートデバイスなど、ＡＮＮのバージョンをホスト及び実行できる任意のタイプのコンピューティングデバイスの１つまたは複数を含むことができる（たとえば、第２のコンピューティングデバイス１０４ａ及び第Ｎのコンピューティングデバイス１０４ｂを参照）。コンピューティングデバイスのセット１０２の各コンピューティングデバイスは、ＡＮＮのローカルバージョンをホスト及び実行できる（たとえば、ＡＮＮ１０６ａ及び１０６ｂのそれぞれのローカルバージョンを有する第２のコンピューティングデバイス１０４ａ及びＮ番目のコンピューティングデバイス１０４ｂを参照）。
第１のコンピューティングデバイス１０８を含むコンピュータネットワーク１００もまた示されている。第１のコンピューティングデバイス１０８は、単一のコンピューティングデバイス、またはクラウドコンピューティング環境のネットワーク上に分散されるなど、ネットワーク上に分散される複数のコンピューティングデバイスであり得る。第１のコンピューティングデバイス１０８によって具体化される単一のコンピューティングデバイスまたは複数のコンピューティングデバイスは、ＡＮＮ１１０のマスターバージョンを含むことができる。第１のコンピューティングデバイス１０８は、コンピュータネットワーク１００の実装に応じて、中央デバイス、サーバ、またはクラウド、あるいはピアツーピアコンピューティングネットワーク内の選択されたデバイスであり得る。
別の言い方をすれば、図１は、ネットワーク化されたコンピューティングデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂを参照）を有するコンピューティングデバイスのセット１０２を含むコンピュータネットワーク１００を示し、各ネットワーク化されたコンピューティングデバイスは、ＡＮＮの別個のローカルバージョン（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）を格納及び使用する。コンピュータネットワーク１００はまた、第１のコンピューティングデバイス１０８（クラウドまたは別のタイプの分散コンピューティングネットワークの一部であり得る）も含む。第１のコンピューティングデバイス１０８は、ＡＮＮ１１０のマスターバージョンを含む。
ＡＮＮのローカルコピー（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）は、ユーザーデータ（たとえば、ユーザーデータ１２０ａ及び１２０ｂを参照）とともに使用することができる。また、ユーザーデータは、ＡＮＮのローカルコピーのトレーニングに使用できる（たとえば、トレーニング１２２ａ及び１２２ｂを参照）。ＡＮＮのローカルバージョンの結果（たとえば、結果１２４ａ及び１２４ｂ）は、ＡＮＮのローカルバージョンに入力された、入力ユーザーデータ（たとえば、ユーザーデータ１２０ａ及び１２０ｂを参照）に基づいて、ＡＮＮのローカルバージョンから出力できる。ＡＮＮのローカルコピー（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）のトレーニングにより、ローカルコピーの変更（たとえば、変更１２６ａ及び１２６ｂ）が生じる可能性がある。ＡＮＮのローカルコピーの変更（たとえば、変更１２６ａ及び１２６ｂ）は、コンピューティングデバイスのセット１０２のデバイスから送信し、ＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョンを参照）と組み合わせて、マスターバージョンを更新できる（たとえば、組み合わせ１２８を参照）。次に、ＡＮＮの更新されたマスターバージョンは、コンピューティングデバイスのセット１０２の１つまたは複数のデバイスによってダウンロードできる（たとえば、１３０ａ及び１３０ｂのダウンロードを参照）。ダウンロードされたマスターバージョンは、ＡＮＮのローカルバージョンを置き換えるか、またはコンピューティングデバイスのセット１０２のデバイスの１つによってホストされるＡＮＮのローカルバージョンと組み合わせることができる。
図１に示されるように、ＡＮＮの入力（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）としてのユーザーデータ（たとえば、ユーザーデータ１２０ａ及び１２０ｂを参照）は、ユーザーのプライバシーを保護するためにＡＮＮのマスターバージョンを有する第１のコンピューティングデバイス（たとえば、第１のコンピューティングデバイス１０８を参照）に送信されない。ユーザーデータは、ユーザーのデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂ）でＡＮＮのローカルバージョン（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）をローカルにトレーニングする（たとえば、トレーニング１２２ａ及び１２２ｂを参照）ために使用される。
ローカルトレーニング（たとえば、トレーニング１２２ａ及び１２２ｂを参照）の結果としてのＡＮＮ（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）の変更（たとえば、変更１２６ａ及び１２６ｂを参照）は、ＡＮＮのマスターバージョンを有するデバイス（たとえば、第１のコンピューティングデバイス１０８を参照）に送信される。ＡＮＮのマスターバージョンを有するデバイスは、ＡＮＮの異なるバージョン及びローカルバージョンを有する異なるユーザーのデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂを参照）から受信した変更を組み合わせて、第１のコンピューティングデバイス１０８内のＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョンを参照）を更新し（たとえば、組み合わせ１２８を参照）、その結果、マスターバージョンは一般的であり、時間の経過とともにますます正確になる。
ＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョンを参照）は、ローカルにトレーニングされていなかった可能性のある領域での進捗から恩恵を受けるユーザーデバイスの機能を更新するために、個々のユーザーデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂを参照）にダウンロードできる（たとえば、ダウンロード１３０ａ及び１３０ｂを参照）。また、ダウンロードされたＡＮＮは、ユーザー向けのＡＮＮのカスタマイズされたバージョン用にローカルでさらにトレーニングできる（たとえば、それぞれダウンロード１３０ａ及び１３０ｂと組み合わされたトレーニング１２２ａ及び１２２ｂを参照）。
図示されていない、コンピュータネットワーク１００は、ワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、イントラネット、エキストラネット、インターネット、及び／またはそれらの任意の組み合わせを含む通信ネットワークを含む。通信ネットワークは、コンピューティングデバイスのセット１０２のデバイスを互いと、及び第１のコンピューティングデバイス１０８となど、コンピュータネットワーク１００の他のデバイスと通信可能に結合できる。ＡＮＮのバージョンの変更、及び本明細書に記載のＡＮＮのマスターバージョンのダウンロード（たとえば、変更１２６ａ及び１２６ｂ、ならびにダウンロード１３０ａ及び１３０ｂを参照）は、コンピュータネットワーク１００の通信ネットワークを介して通信または送信できる。
いくつかの実施形態では、システム（コンピュータネットワーク１００など）は、ＡＮＮのローカルバージョン（ＡＮＮ１０６ａまたは１０６ｂのローカルバージョンなど）を格納するように構成されたメモリ（図５に示されているメインメモリ５０８及び／またはストレージシステム５１２など）を含む第２のコンピューティングデバイス（コンピューティングデバイス１０４ａまたは１０４ｂなど）を含む。そのような実施形態では、第２のコンピューティングデバイスは、ＡＮＮのローカルバージョンをトレーニングする（トレーニング１２２ａまたは１２２ｂなど）ように構成された処理装置（図５に示されるプロセッサ５０６など）を含む。また、第２のコンピューティングデバイスは、ＡＮＮのローカルバージョンのトレーニング（トレーニング１２２ａ及び１２２ｂなど）から生じたＡＮＮのローカルバージョンの変更（変更１２６ａまたは１２６ｂなど）を送信するように構成されたトランシーバ（ネットワークインターフェース５１０など）を含むことができる。
そのような実施形態では、システム（コンピュータネットワーク１００など）はまた、ＡＮＮのマスターバージョン（ＡＮＮ１１０のマスターバージョンなど）を格納するように構成されたメモリ（図５に示されるメインメモリ５０８及び／またはストレージシステム５１２など）を含む第１のコンピューティングデバイス（第１のコンピューティングデバイス１０８など）も含む。第１のコンピューティングデバイスはまた、第２のコンピューティングデバイスから、ＡＮＮのローカルバージョンのトレーニングからのＡＮＮのローカルバージョンの変更を受信するように構成されたトランシーバ（ネットワークインターフェース５１０など）を含むことができる。そして、第１のコンピューティングデバイスはまた、ＡＮＮのローカルバージョンの受信した変更をＡＮＮのマスターバージョンと組み合わせて、ＡＮＮの更新されたマスターバージョンを生成するように構成された処理装置（たとえば、図５に示されるプロセッサ５０６など）を含むことができる。
いくつかの実施形態では、コンピュータネットワーク１００は、ＡＮＮのマスターバージョンをホスト及び実行できる装置（たとえば、第１のコンピューティングデバイス１０８を参照）を含むことができる。装置は、ＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョンを参照）を格納するように構成されたメモリ（たとえば、図５に示されるメインメモリ５０８及びストレージシステム５１２を参照）を含むことができる。装置はまた、別の装置（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂを参照）によってホストされるＡＮＮのローカルバージョンのトレーニング（たとえば、トレーニング１２２ａ及び１２２ｂを参照）からのＡＮＮのローカルバージョンの変更（たとえば、変更１２６ａ及び１２６ｂを参照）を受信するように構成されたトランシーバ（たとえば、図５に示されるネットワークインターフェース５１０を参照）を含むこともできる。装置はまた、ＡＮＮのローカルバージョンの受信した変更（たとえば、変更１２６ａ及び１２６ｂを参照）をＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョンを参照）と組み合わせて、ＡＮＮの更新されたマスターバージョンを生成する（たとえば、組み合わせ１２８を参照）ように構成された処理装置（たとえば、図５に示されるプロセッサ５０６を参照）を含むこともできる。
そのような実施形態では、ＡＮＮのローカルバージョンのトレーニング（たとえば、トレーニング１２２ａ及び１２２ｂを参照）は、他の装置（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂを参照）にローカルに格納されたユーザーデータ（たとえば、ユーザーデータ１２０ａ及び１２０ｂを参照）を入力することを含むことができる。そして、そのような例では、他の装置（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂを参照）にローカルに格納されたユーザーデータには、装置（たとえば、第１のコンピューティングデバイス１０８を参照）はアクセスできない。さらに、他の装置にローカルに格納されたユーザーデータの少なくとも一部には、他の装置しかアクセスできない可能性がある。
また、そのような実施形態では、ＡＮＮのローカルバージョンのニューロン属性をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせるための構成では、処理装置は、変更の中のローカルバージョンの各ニューロン属性及びＡＮＮのマスターバージョンのその対応する属性の平均を生成するように構成することもできる。そして、ＡＮＮのローカルバージョンのニューロン属性をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせるための構成では、処理装置は、生成された平均に従ってマスターバージョンの対応する属性を更新する（たとえば、またはマスターバージョンの対応する属性を生成された平均に置き換える）ように構成できる。
また、そのような実施形態では、処理装置は、ＡＮＮのローカルバージョンのトレーニングのための入力に使用される他の装置にローカルに格納されたユーザーデータのサイズに基づいて、ニューロン属性の所与の重みを生成するように構成することもできる。そして、ＡＮＮのローカルバージョンのニューロン属性をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせるための構成では、処理装置は、生成された重みに従って、変更の中のローカルバージョンの各ニューロン属性及びマスターバージョンのその対応する属性の加重平均を生成するように構成できる。そして、次にその後に、ＡＮＮのローカルバージョンのニューロン属性をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせるための構成では、処理装置は、生成された加重平均に従って、マスターバージョンの対応する属性を更新する（たとえば、またはマスターバージョンの対応する属性を生成された加重平均に置き換える）ように構成できる。
また、そのような実施形態では、ＡＮＮのローカルバージョンの受信した変更をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせるための構成では（たとえば、組み合わせ１２８を参照）、処理装置（たとえば、プロセッサ５０６を参照）は、受信した変更（たとえば、変更１２６ａ及び１２６ｂを参照）の中のＡＮＮのローカルバージョン（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）のニューロン属性をＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョンを参照）の対応するニューロン属性と組み合わせるように構成することもできる。さらに、ＡＮＮのローカルバージョンのニューロン属性をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせるための構成では、処理装置は、ＡＮＮのローカルバージョンのニューロン入力の重みをＡＮＮのマスターバージョンのニューロン入力の対応する重みで平均化するように構成できる。また、ＡＮＮのローカルバージョンのニューロン属性をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせるための構成では、処理装置は、ＡＮＮのローカルバージョンのニューロンしきい値の重みをＡＮＮのマスターバージョンのニューロンしきい値の対応する重みで平均化するように構成することもできる。そして、ＡＮＮのローカルバージョンのニューロン属性をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせるための構成では、処理装置は、ＡＮＮのローカルバージョンのニューロン入力の重みをＡＮＮのマスターバージョンのニューロン入力の対応する重みで平均化するだけではなく、ＡＮＮのローカルバージョンのニューロンしきい値の重みをＡＮＮのマスターバージョンのニューロンしきい値の対応する重みで平均化するように構成することもできる。
図２が、ＡＮＮの異なってトレーニングされたバージョンのＡＮＮのマスターバージョンへの統合を実装するための構成のコンピュータネットワーク１００を示しているという点で、図２は図１にいくらか類似している。ただし、図１とは異なり、図２は、具体的には、ＡＮＮのそれぞれのローカルバージョン（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）をホストするモバイルデバイス（たとえば、モバイルデバイス１０５ａ及び１０５ｂを参照）を含むコンピューティングデバイスのセット１０２を示す。また、図２では、クラウドコンピューティング環境（たとえば、クラウドコンピューティング環境１０９）が、ＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョンを参照）をホストしていることも示されている。言い換えると、図２は、図１に示されるコンピュータネットワークのより具体的な実装であり、ここで、第１のデバイス１０８は、クラウドコンピューティング環境１０９であるか、またはその一部であり、コンピューティングデバイスのセット１０２のデバイスは、具体的にはモバイルデバイス（たとえば、モバイルデバイス１０５ａ及び１０５ｂを参照）である。
図２に示されるように、ＡＮＮの入力（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）としてのユーザーデータ（たとえば、ユーザーデータ１２０ａ及び１２０ｂを参照）は、ユーザーのプライバシーを保護するためにＡＮＮのマスターバージョンを有するクラウドコンピューティング環境（たとえば、クラウドコンピューティング環境１０９を参照）に送信されない。ユーザーデータは、ユーザーのモバイルデバイス（たとえば、モバイルデバイス１０５ａ及び１０５ｂを参照）でＡＮＮのローカルバージョン（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）をローカルにトレーニングする（たとえば、トレーニング１２２ａ及び１２２ｂ）ために使用される。
ローカルトレーニング（たとえば、トレーニング１２２ａ及び１２２ｂを参照）の結果としてのＡＮＮ（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）の変更（たとえば、変更１２６ａ及び１２６ｂ）は、ＡＮＮのマスターバージョンを有するクラウドコンピューティング環境（たとえば、クラウドコンピューティング環境１０９を参照）に送信される。ＡＮＮのマスターバージョンを有するクラウドコンピューティング環境は、ＡＮＮの異なるバージョン及びローカルバージョンを有する異なるユーザーのモバイルデバイス（たとえば、モバイルデバイス１０５ａ及び１０５ｂを参照）から受信した変更を組み合わせて、クラウドコンピューティング環境１０９内のＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョンを参照）を更新し（たとえば、組み合わせ１２８を参照）、その結果、マスターバージョンは一般的であり、時間の経過とともにますます正確になる。
クラウド環境（たとえば、クラウドコンピューティング環境１０９を参照）によってホストされるＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョンを参照）は、ローカルにトレーニングされていなかった可能性のある領域での進捗から恩恵を受けるモバイルデバイスの機能を更新するために、個々のモバイルデバイス（たとえば、モバイルデバイス１０５ａ及び１０５ｂを参照）にダウンロードできる（たとえば、ダウンロード１３０ａ及び１３０ｂを参照）。また、ダウンロードされたＡＮＮは、ユーザー向けのＡＮＮのカスタマイズされたバージョン用にローカルでさらにトレーニングできる（たとえば、それぞれダウンロード１３０ａ及び１３０ｂと組み合わされたトレーニング１２２ａ及び１２２ｂを参照）。
図３及び図４は、本開示のいくつかの実施形態による、ＡＮＮの異なってトレーニングされたバージョンのＡＮＮのマスターバージョンへの統合を実装できるコンピュータネットワーク１００の例示的な部分により実行される例示的な方法を示す。
図３は、ＡＮＮの他のバージョンをホスト及び実行できる他のコンピューティングデバイス（たとえば、コンピューティングデバイスのセット１０２のコンピューティングデバイス１０４ａ及び１０４ｂ、ならびにＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）と通信しているＡＮＮのマスターバージョンをホスト及び実行するように構成された１つまたは複数のコンピューティングデバイス（たとえば、図１に示される第１のコンピューティングデバイス１０８及びＡＮＮ１１０のマスターバージョンを参照）によって実行される方法３００を示す。
方法３００はステップ３０２で始まり、第１のコンピューティングデバイス（たとえば、第１のコンピューティングデバイス１０８を参照）によって、ＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョン）をホストする。ステップ３０４で、第１のコンピューティングデバイスは、第２のコンピューティングデバイスによってホストされるＡＮＮのローカルバージョンのトレーニング（たとえば、トレーニング１２２ａ及び１２２ｂを参照）からのＡＮＮのローカルバージョンの変更（たとえば、変更１２６ａ及び１２６ｂ、ならびにＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）を受信する。いくつかの実施形態では、第１のコンピューティングデバイスは、クラウドコンピューティング環境を形成するコンピュータの分散型ネットワークの一部であり、第２のコンピューティングデバイスはモバイルデバイスである（たとえば、図２を参照）。そして、いくつかの実施形態では、第２のコンピューティングデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂを参照）によるＡＮＮのローカルバージョンのトレーニングは、第２のコンピューティングデバイスにローカルに格納されたユーザーデータ（たとえば、ユーザーデータ１２０ａ及び１２０ｂを参照）を入力することを含む。そして、そのような例では、第２のコンピューティングデバイスにローカルに格納されたユーザーデータには、第１のコンピューティングデバイス（たとえば、第１のコンピューティングデバイス１０８を参照）はアクセスできない。さらに、いくつかの実施形態では、第２のコンピューティングデバイスにローカルに格納されたユーザーデータの少なくとも一部には、第２のコンピューティングデバイスしかアクセスできない。
ステップ３０６で、第１のコンピューティングデバイス（たとえば、第１のコンピューティングデバイス１０８を参照）は、ＡＮＮのローカルバージョンの受信した変更（たとえば、変更１２６ａ及び１２６ｂを参照）を、ＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョンを参照）と組み合わせて、ＡＮＮの更新されたマスターバージョンを生成する（たとえば、図１に示される組み合わせ１２８も参照）。
ステップ３０８に示されるように、ステップ３０６で、ＡＮＮのローカルバージョンの受信した変更をＡＮＮのマスターバージョンと組み合わせることは、受信した変更の中のＡＮＮのローカルバージョンのニューロン属性をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせることを含む。
ステップ３１２に示されるように、ステップ３１０で非加重平均を使用することが決定されると、ステップ３０８でＡＮＮのローカルバージョンのニューロン属性をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせることは、変更の中のローカルバージョンの各ニューロン属性及びＡＮＮのマスターバージョンの対応する属性の平均を生成することを含むことができる。そして、ステップ３１４に示されるように、ステップ３０８でＡＮＮのローカルバージョンのニューロン属性をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせることは、生成された平均に従ってマスターバージョンの対応する属性を更新することを含むことができる。たとえば、ステップ３０８でＡＮＮのローカルバージョンのニューロン属性をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせることは、マスターバージョンの対応する属性を生成された平均に置き換えることを含むことができる。
いくつかの実施形態では、ステップ３０８でＡＮＮのローカルバージョンのニューロン属性をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせることは、ＡＮＮのローカルバージョンのニューロン入力の重みをＡＮＮのマスターバージョンのニューロン入力の対応する重みで平均化することを含むことができる。いくつかの実施形態では、ステップ３０８でＡＮＮのローカルバージョンのニューロン属性をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせることは、ＡＮＮのローカルバージョンのニューロンしきい値の重みをＡＮＮのマスターバージョンのニューロンしきい値の対応する重みで平均化することを含むことができる。いくつかの実施形態では、ステップ３０８でＡＮＮのローカルバージョンのニューロン属性をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせることは、ＡＮＮのローカルバージョンのニューロン入力及びしきい値の重みをＡＮＮのマスターバージョンのニューロン入力及びしきい値の対応する重みで平均化することを含むことができる。
ステップ３１６に示されるように、ステップ３１０で加重平均を使用することが決定されると、ステップ３０８でＡＮＮのローカルバージョンのニューロン属性をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせることは、ＡＮＮのローカルバージョンのトレーニングのための入力に使用される第２のコンピューティングデバイスにローカルに格納されたユーザーデータのサイズに基づいて、重みを生成することを含むことができる。ステップ３１８に示されるように、ステップ３０８でＡＮＮのローカルバージョンのニューロン属性をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせることは、生成された重みに従って変更の中のローカルバージョンの各ニューロン属性及びＡＮＮのマスターバージョンのその対応する属性の加重平均を生成することを含むことができる。ステップ３２０に示されるように、ステップ３０８でＡＮＮのローカルバージョンのニューロン属性をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせることは、生成された加重平均に従ってマスターバージョンの対応する属性を更新することを含むことができる。たとえば、ステップ３０８でＡＮＮのローカルバージョンのニューロン属性をＡＮＮのマスターバージョンの対応するニューロン属性と組み合わせることは、マスターバージョンの対応する属性を生成された加重平均に置き換えることを含むことができる。
図４は、ＡＮＮのマスターバージョンをホスト及び実行するように構成されたコンピューティングデバイス（たとえば、それぞれ図１及び図２に示される第１のコンピューティングデバイス１０８及びクラウドコンピューティング環境１０９を参照）、ならびにＡＮＮの他のバージョンをホスト及び実行するように構成されたコンピューティングデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂまたはモバイルデバイス１０５ａ及び１０５ｂを参照）によって実行される方法４００を示す。方法４００は、方法３００の操作を含む場合がある。
方法４００はステップ４０２で始まり、ＡＮＮの他のバージョンの１つをホストする第２のコンピューティングデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂまたはモバイルデバイス１０５ａ及び１０５ｂを参照）によって、第２のコンピューティングデバイスに格納され、実行されるＡＮＮのローカルバージョン（たとえば、ＡＮＮ１０６ａ及び０６ｂのローカルバージョンを参照）をトレーニングする。
ステップ４０４で、第２のコンピューティングデバイス（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂまたはモバイルデバイス１０５ａ及び１０５ｂを参照）は、ＡＮＮのローカルバージョンのトレーニング（たとえば、トレーニング１２２ａ及び１２２ｂを参照）から生じたＡＮＮのローカルバージョンの変更（たとえば、変更１２６ａ及び１２６ｂを参照）を送信する。
ステップ４０６で、ＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョンを参照）をホストする第１のコンピューティングデバイス（たとえば、コンピューティングデバイス１０８及びクラウドコンピューティング環境１０９を参照）は、ＡＮＮのローカルバージョンの変更を受信する。ステップ４０８で、第１のコンピューティングデバイスは、変更をＡＮＮのマスターバージョンと組み合わせる（たとえば、変更１２６ａ及び１２６ｂ、ならびに組み合わせ１２８を参照）。ステップ４０８で起こる組み合わせは、マスターＡＮＮの更新を含む。そして、ステップ４０８での組み合わせは、図３に示されるステップ３０８～３２０の１つまたは複数を含む場合がある。ステップ４１０で、第１のコンピューティングデバイスは、ＡＮＮの更新されたマスターバージョンを第２のコンピューティングデバイスに送信する（たとえば、ダウンロード１３０ａ及び１３０ｂも参照）。
ステップ４０８での組み合わせは、ニューロン属性及び／またはＡＮＮの接続性の更新の形をとることができる。ステップ４０８で、ＡＮＮのバージョンの変更（たとえば、変更１２６ａ及び１２６ｂを参照）は、ＡＮＮの異なるバージョンのニューロン属性（たとえば、異なる入力及びしきい値の重み）を組み合わせることによって、ＡＮＮのマスターバージョン（たとえば、ＡＮＮ１１０のマスターバージョン）と組み合わせることができる。ステップ４０８での組み合わせは、一般に変更またはＡＮＮの中の各属性の平均、及び／または一般に変更またはＡＮＮの中の各属性の加重平均をとることによって行うことができる。ステップ４０８での異なる提供者（たとえば、異なるユーザーデバイス）からの変更を組み合わせる際の加重平均の重みは、ユーザーデータ（たとえば、ユーザーデータ１２０ａ及び１２０ｂ）のサンプルサイズのいくつかの測定値に対して構成できる。たとえば、ユーザーデバイスのＡＮＮがより多くのユーザーデータでトレーニングされる場合、その変更にはより多くの重みを与えることができる。また、ステップ４０８で、接続性の変更は、他のニューロンへの入力としてニューロンからの出力に対して重みを介して組み合わせることができる（たとえば、ゼロ重みに同等な接続はない）。
図４のステップ４０２～４１２及び本開示の目的のために、ステップ４０４でユーザーデバイス（たとえば、図２に示されるコンピューティングデバイス１０４ａ及び１０４ｂまたはモバイルデバイス１０５ａ及び１０５ｂを参照）からＡＮＮのマスターバージョンをホストする中央デバイス、サーバ、またはクラウド（たとえば、第１のコンピューティングデバイス１０８またはクラウドコンピューティング環境１０９を参照）に送信されるＡＮＮのローカルバージョンの変更（たとえば、変更１２６ａ及び１２６ｂを参照）が、変更されたＡＮＮ全体、変更されたＡＮＮの部分、または変更されたＡＮＮの変更されたパラメータだけの形をとることができることを理解されたい。また、いくつかの実施形態では、ＡＮＮのマスターバージョンをホストする中央デバイス、サーバ、またはクラウドは、ユーザーデバイスがステップ４０２でローカルトレーニングを介して変更できるものを制限する可能性があり、これによりデータトラフィックを低減する可能性があるが、トレーニングの有効性が低下する場合もある。
また、ピアツーピアネットワークも方法４００を実装できることを理解されたい。そのような例では、第１の選択されたデバイスは処理のためにＡＮＮのマスターバージョンをホストし、ピアツーピアネットワークの他のデバイスが、処理のためにＡＮＮの他のバージョン（たとえば、ローカルバージョン）をホストする。そのような例では、第１の選択されたデバイスはステップ４０６～４１０を実行し、ピアツーピアネットワークの他のデバイスは、ステップ４０２、４０４、及び４１２を実行する。
ステップ４１２で、第２のコンピューティングデバイスは、ＡＮＮの更新されたマスターバージョンを受信する。ＡＮＮの更新されたマスターバージョンを使用して、第２のコンピューティングデバイスは、ＡＮＮの更新されたマスターバージョンに従って、ＡＮＮのそのローカルバージョンを更新できる。たとえば、第２のコンピューティングデバイスは、ＡＮＮのそのローカルバージョンを、受信したＡＮＮの更新されたマスターバージョンに置き換えることができる。また、図示されるように、ＡＮＮの更新されたマスターバージョンの受信、及び相応したＡＮＮのローカルバージョンの変更に続き、更新されたローカルバージョンは、ステップ４０２で再トレーニングすることができる。
４０２でのトレーニングまたは再トレーニングは、更新されたマスターバージョンの、ユーザーデバイス内のＡＮＮの現在のローカルバージョンとの組み合わせを含むことができる。そして、ステップ４０２でのトレーニングまたは再トレーニングでの組み合わせは、図３に示されるステップ３０８～３２０と類似するステップを含むことができる。ただし、ステップ３１４及び３２０での更新は、ＡＮＮのマスターバージョンの対応する属性の更新の代わりに、ＡＮＮのローカルバージョンの対応する属性の更新を含む。そして、たとえば、ステップ４０２でのトレーニングまたは再トレーニング中に、ＡＮＮのマスターバージョンの受信した変更をＡＮＮのローカルバージョンと組み合わせることは、受信されたダウンロード（たとえば、ダウンロード１３０ａ及び１３０ｂを参照）の中のＡＮＮのマスターバージョンのニューロン属性をＡＮＮのローカルバージョン（たとえば、ＡＮＮ１０６ａ及び１０６ｂのローカルバージョンを参照）の対応するニューロン属性と組み合わせることを含む。
方法３００、方法４００、または本明細書で説明する任意の他の方法、プロセス、もしくは動作に関して、いくつかの実施形態では、非一時的コンピュータ可読記憶媒体には、命令であって、少なくとも１つの処理装置（図５に示されるプロセッサ５０６）によって実行されたときに、少なくとも１つの処理装置に方法３００、方法４００、または本明細書で説明する任意の他の方法、プロセス、もしくは動作、及び／またはそれらの任意の組み合わせを実行させる命令が格納される。
図５は、本開示のいくつかの実施形態による例示的なコンピューティングデバイス５００の例示的な部分を示す。コンピューティングデバイス５００は、図５に示されるように、コンピュータネットワーク１００を介して他のコンピューティングデバイスに通信可能に結合できる。いくつかの実施形態では、コンピューティングデバイス５００は、第１のコンピューティングデバイス１０８、またはクラウドコンピューティング環境１０９の１つまたは複数のコンピューティングデバイスである。そのような実施形態では、コンピューティングデバイス５００の別のインスタンスは、コンピューティングデバイスのセット１０２のコンピューティングデバイスの１つである（たとえば、コンピューティングデバイス１０４ａ及び１０４ｂならびにモバイルデバイス１０５ａ及び１０５ｂを参照）。コンピューティングデバイス５００は、少なくともバス５０４、プロセッサ５０６（ＣＰＵなど）、メインメモリ５０８、ネットワークインターフェース５１０、及びデータストレージシステム５１２を含む。バス５０４は、プロセッサ５０６、メインメモリ５０８、ネットワークインターフェース５１０、及びデータストレージシステム５１２を通信可能に結合する。コンピューティングデバイス５００はコンピュータシステムを含んでおり、コンピュータシステムは、少なくとも、プロセッサ５０６、メインメモリ５０８（たとえば、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、たとえばシンクロナスＤＲＡＭ（ＳＤＲＡＭ）またはラムバスＤＲＡＭ（ＲＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）など）、及びデータストレージシステム５１２を含んでおり、これらは、バス５０４（多重バスを含む場合がある）を介して互いに通信する。
言い換えれば、図５は、本開示の実施形態が動作できるコンピュータシステムを有する例示的なコンピューティングデバイス５００のブロック図である。いくつかの実施形態では、コンピュータシステムは、実行時に、本明細書で説明する方法のいずれか１つ以上をマシンに行わせるための命令のセットを含むことができる。このような実施形態では、マシンを、ＬＡＮ、イントラネット、エキストラネット、及び／またはインターネット内の他のマシンに接続する（たとえば、ネットワークインターフェース５１０を介してネットワーク接続する）ことができる。マシンは、クライアントサーバネットワーク環境内のサーバまたはクライアントマシンの資格で、ピアツーピア（または分散）ネットワーク環境（たとえば本明細書で説明するピアツーピアネットワーク）内のピアマシンとして、またはクラウドコンピューティングインフラストラクチャまたは環境内のサーバまたはクライアントマシンとして動作することができる。
プロセッサ５０６は、１つまたは複数の汎用処理装置、たとえばマイクロプロセッサ、中央演算処理装置などを表している。より詳細には、処理装置は、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、または他の命令セットを実装するプロセッサ、または命令セットの組み合わせを実装するプロセッサとすることができる。またプロセッサ５０６は、１つまたは複数の特殊用途処理装置、たとえば特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、ネットワークプロセッサ、プロセッサインメモリ（ＰＩＭ）などとすることができる。プロセッサ５０６は、本明細書で説明する動作及びステップを実行するための命令を実行するように構成される。プロセッサ５０６はさらに、１つまたは複数の通信ネットワークを介して通信するために、ネットワークインターフェースデバイス、たとえばネットワークインターフェース５１０を含むことができる。
データストレージシステム５１２は、本明細書で説明する方法または機能のいずれか１つまたは複数を具現化する１つまたは複数の命令セットまたはソフトウェアが格納されるマシン可読記憶媒体（コンピュータ可読媒体としても知られている）を含むことができる。また命令は、マシン可読記憶媒体を構成するコンピュータシステム、メインメモリ５０８及びプロセッサ５０６がそれを実行する間に、メインメモリ５０８内及び／またはプロセッサ５０６内に完全にまたは少なくとも部分的に存在することができる。メモリ、プロセッサ、及びデータ記憶装置部分を、例示的な実施形態においてそれぞれ単一部分であると示しているが、各部分は、命令を格納してそのそれぞれの動作を実行できる単一部分または複数部分を含むと解釈されるべきである。また用語「マシン可読記憶媒体」には、任意の媒体であって、マシンが実行するための命令のセットを格納または符号化でき、本開示の方法のいずれか１つまたは複数をマシンに行わせる媒体が含まれると解釈されるものとする。したがって、用語「マシン可読記憶媒体」は、ソリッドステートメモリ、光媒体、及び磁気媒体を含むが、これらに限定されるものではないと解釈されるものとする。
いくつかの実施形態のピアツーピアネットワークは、ノード及びピアツーピア接続部の集合物とすることができる。たとえば、第１のコンピューティングデバイス１０８またはコンピューティングデバイスのセット１０２のうちのコンピューティングデバイスの１つは、コンピュータネットワーク１００を介して接続されたコンピューティングデバイスによってサポートされるピアツーピアネットワークのノードとすることができる。
先行する詳細な説明の一部は、アルゴリズム及びコンピュータメモリ内のデータビットに対する操作の記号表現の観点から提示されている。このようなアルゴリズムの説明及び表現は、その働きの趣旨を当業者に最も効果的に伝えるためにデータ処理技術において当業者が用いる方法である。アルゴリズムはここでは（及び全般的に）、望ましい結果に至る自己矛盾のない動作順序であると考えられる。動作は、物理量の物理的な操作を必要とするものである。通常、必ずしもではないが、これらの量は格納し、組み合わせ、比較し、及び他の方法で操作することができる電気または磁気信号という形を取る。主に共通使用の理由により、これらの信号をビット、値、要素、シンボル、文字、用語、数などと言うことが、時によって好都合であることが分かっている。
しかし、これら及び同様の用語はすべて、適切な物理量に対応付けられるべきであり、これらの量に適用される好都合な標示にすぎないことをしっかりと認識しておくべきである。本開示では、コンピュータシステムのレジスタ及びメモリ内の物理（電子）量として表されたデータを操作して、コンピュータシステムメモリもしくはレジスタまたは他のこのような情報記憶システム内の物理量として同様に表された他のデータに変換するコンピュータシステムまたは同様の電子コンピューティング装置の操作及びプロセスに言及することができる。
本開示は、本明細書における動作を実行するための装置にも関する。この装置は、使用目的に対して特別に構成することもできるし、またはコンピュータに格納されたコンピュータプログラムによって選択的に起動または再構成される汎用コンピュータを含むこともできる。このようなコンピュータプログラムは、任意のタイプのディスク、たとえば、フロッピーディスク、光ディスク、ＣＤ－ＲＯＭ、及び光磁気ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気もしくは光カード、またはそれぞれがコンピュータシステムバスに結合される電子命令の格納に適した任意のタイプの媒体であるが、これらに限定されないコンピュータ可読記憶媒体に格納することができる。
本明細書で示したアルゴリズム及び表示は、何らかの特定のコンピュータまたは他の装置に本来的に関係づけられるものではない。様々な汎用システムを、本明細書での教示に従ってプログラムによって用いることもできるし、または本方法を行うためにより専用の装置を構築することが好都合であることが分かる可能性もある。種々のこれらのシステムの構造は、以下の説明で述べるように現れる。加えて、本開示は何らかの特定のプログラミング言語に関して説明されていない。本明細書で説明したような本開示の教示を実施するために、種々のプログラミング言語を使用できることを理解されたい。
本開示を、本開示によるプロセスを行うようにコンピュータシステム（または他の電子装置）をプログラミングするために用いることができる命令が格納されたマシン可読媒体を含むことができる、コンピュータプログラム製品またはソフトウェアとして示すことができる。マシン可読媒体には、マシン（たとえば、コンピュータ）によって読取可能な形態で情報を格納するための任意のメカニズムが含まれる。いくつかの実施形態では、マシン可読（たとえば、コンピュータ可読）媒体としては、マシン（たとえば、コンピュータ）読取可能な記憶媒体、たとえば読み出し専用メモリ（「ＲＯＭ」）、ランダムアクセスメモリ（「ＲＡＭ」）、磁気ディスク記憶媒体、光記録媒体、フラッシュメモリコンポーネントなどが挙げられる。
前述の明細書では、本開示の実施形態は、その特定の例示的な実施形態を参照して説明されてきた。以下の請求項に述べる本開示の実施形態のより広い趣旨及び範囲から逸脱することなく、様々な変更を加えることができることが明らかである。したがって、明細書及び図面は限定的な意味ではなく例示的な意味で考慮されるべきである。

Claims (15)

  1. 方法であって、
    第１のコンピューティングデバイスによって、人工ニューラルネットワーク（ＡＮＮ）のマスターバージョンをホストすることと、
    前記第１のコンピューティングデバイスによって、第２のコンピューティングデバイスによってホストされる前記ＡＮＮのローカルバージョンのトレーニングからの前記ＡＮＮの前記ローカルバージョンへの変更を受信することと、
    前記第１のコンピューティングデバイスによって、前記ＡＮＮの前記ローカルバージョンへの前記受信した変更の中の前記ＡＮＮの前記ローカルバージョンのニューロン属性を前記ＡＮＮの前記マスターバージョンの対応するニューロン属性と組み合わせて、前記ＡＮＮの更新されたマスターバージョンを生成することと
    を含む、前記方法。
  2. 前記第１のコンピューティングデバイスが、クラウドコンピューティング環境を形成するコンピュータの分散型ネットワークの一部であり、前記第２のコンピューティングデバイスがモバイルデバイスである、請求項１に記載の方法。
  3. 前記ＡＮＮの前記ローカルバージョンの前記トレーニングが、前記第２のコンピューティングデバイスにローカルに格納されたユーザーデータを前記ＡＮＮの前記ローカルバージョンに入力することを含み、前記第２のコンピューティングデバイスにローカルに格納された前記ユーザーデータには、前記第１のコンピューティングデバイスがアクセスできない、請求項１に記載の方法。
  4. 前記第２のコンピューティングデバイスにローカルに格納された前記ユーザーデータの少なくとも一部には、前記第２のコンピューティングデバイスしかアクセスできない、請求項３に記載の方法。
  5. 前記ＡＮＮの前記ローカルバージョンのニューロン属性を前記ＡＮＮの前記マスターバージョンの対応するニューロン属性と組み合わせることが、前記ＡＮＮの前記ローカルバージョンのニューロン入力の重みを前記ＡＮＮの前記マスターバージョンのニューロン入力の対応する重みで平均化することを含む、請求項１に記載の方法。
  6. 前記ＡＮＮの前記ローカルバージョンのニューロン属性を前記ＡＮＮの前記マスターバージョンの対応するニューロン属性と組み合わせることが、前記ＡＮＮの前記ローカルバージョンのニューロンしきい値と前記ＡＮＮの前記マスターバージョンの対応するニューロンしきい値を平均化することを含む、請求項１に記載の方法。
  7. 前記ＡＮＮの前記ローカルバージョンのニューロン属性を前記ＡＮＮの前記マスターバージョンの対応するニューロン属性と組み合わせることが、
    前記変更の中の前記ローカルバージョンの各ニューロン属性及び前記マスターバージョンのその対応する属性の平均を生成することと、
    前記生成された平均に従って前記マスターバージョンの前記対応する属性を更新することと
    を含む、請求項１に記載の方法。
  8. 装置であって、
    人工ニューラルネットワーク（ＡＮＮ）のマスターバージョンを格納するように構成されたメモリと、
    別の装置によってホストされる前記ＡＮＮのローカルバージョンのトレーニングからの前記ＡＮＮの前記ローカルバージョンへの変更を受信するように構成されたトランシーバと、
    前記ＡＮＮの前記ローカルバージョンへの前記受信した変更の中の前記ＡＮＮの前記ローカルバージョンのニューロン属性を前記ＡＮＮの前記マスターバージョンの対応するニューロン属性と組み合わせて、前記ＡＮＮの更新されたマスターバージョンを生成するように構成された処理装置と
    を備える、前記装置。
  9. 前記ＡＮＮの前記ローカルバージョンの前記トレーニングが、他の装置にローカルに格納されたユーザーデータを前記ＡＮＮの前記ローカルバージョンに入力することを含み、前記他の装置にローカルに格納された前記ユーザーデータには、前記装置がアクセスできない、請求項８に記載の装置。
  10. 前記他の装置にローカルに格納された前記ユーザーデータの少なくとも一部には、前記他の装置しかアクセスできない、請求項９に記載の装置。
  11. 前記ＡＮＮの前記ローカルバージョンの前記ニューロン属性を前記ＡＮＮの前記マスターバージョンの前記対応するニューロン属性と組み合わせるための構成では、前記処理装置が、前記ＡＮＮの前記ローカルバージョンのニューロン入力の重みを前記ＡＮＮの前記マスターバージョンのニューロン入力の対応する重みで平均化するように構成される、請求項８に記載の装置。
  12. 前記ＡＮＮの前記ローカルバージョンの前記ニューロン属性を前記ＡＮＮの前記マスターバージョンの前記対応するニューロン属性と組み合わせるための前記構成では、前記処理装置が、前記ＡＮＮの前記ローカルバージョンのニューロンしきい値と前記ＡＮＮの前記マスターバージョンの対応するニューロンしきい値を平均化するように構成される、請求項８に記載の装置。
  13. 前記ＡＮＮの前記ローカルバージョンの前記ニューロン属性を前記ＡＮＮの前記マスターバージョンの前記対応するニューロン属性と組み合わせるための前記構成では、前記処理装置が、前記ＡＮＮの前記ローカルバージョンのニューロン入力の重みを前記ＡＮＮの前記マスターバージョンのニューロン入力の対応する重みで平均化するように構成される、請求項１２に記載の装置。
  14. 前記ＡＮＮの前記ローカルバージョンの前記ニューロン属性を前記ＡＮＮの前記マスターバージョンの前記対応するニューロン属性と組み合わせるための前記構成では、前記処理装置が、
    前記変更の中の前記ローカルバージョンの各ニューロン属性及び前記マスターバージョンのその対応する属性の平均を生成し、
    前記生成された平均に従って前記マスターバージョンの前記対応する属性を更新する
    ように構成される、請求項８に記載の装置。
  15. システムであって、
    人工ニューラルネットワーク（ＡＮＮ）のローカルバージョンを格納するように構成されたメモリと、
    前記ＡＮＮの前記ローカルバージョンをトレーニングするように構成された処理装置と、
    前記ＡＮＮの前記ローカルバージョンの前記トレーニングから生じた前記ＡＮＮの前記ローカルバージョンの変更を送信するように構成されたトランシーバと
    を備える第２のコンピューティングデバイスと、
    前記ＡＮＮのマスターバージョンを格納するように構成されたメモリと、
    前記第２のコンピューティングデバイスから、前記ＡＮＮの前記ローカルバージョンのトレーニングからの前記ＡＮＮの前記ローカルバージョンの変更を受信するように構成されたトランシーバと、
    前記ＡＮＮの前記ローカルバージョンの前記受信した変更の中の前記ＡＮＮの前記ローカルバージョンのニューロン属性を前記ＡＮＮの前記マスターバージョンの対応するニューロン属性と組み合わせて、前記ＡＮＮの更新されたマスターバージョンを生成するように構成された処理装置と
    を備える第１のコンピューティングデバイスと
    を備える、前記システム。
JP2022510877A 2019-08-20 2020-08-13 プライバシー保護を備えた分散型機械学習 Active JP7450019B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/545,813 2019-08-20
US16/545,813 US11755884B2 (en) 2019-08-20 2019-08-20 Distributed machine learning with privacy protection
PCT/US2020/046155 WO2021034600A1 (en) 2019-08-20 2020-08-13 Distributed machine learning with privacy protection

Publications (2)

Publication Number Publication Date
JP2022544827A JP2022544827A (ja) 2022-10-21
JP7450019B2 true JP7450019B2 (ja) 2024-03-14

Family

ID=74646321

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022510877A Active JP7450019B2 (ja) 2019-08-20 2020-08-13 プライバシー保護を備えた分散型機械学習

Country Status (6)

Country Link
US (1) US11755884B2 (ja)
EP (1) EP4018387A4 (ja)
JP (1) JP7450019B2 (ja)
KR (1) KR20220035214A (ja)
CN (1) CN114175069A (ja)
WO (1) WO2021034600A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11636334B2 (en) 2019-08-20 2023-04-25 Micron Technology, Inc. Machine learning with feature obfuscation
US11392796B2 (en) 2019-08-20 2022-07-19 Micron Technology, Inc. Feature dictionary for bandwidth enhancement

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019507442A (ja) 2016-03-04 2019-03-14 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ 機械学習システムのトレーニング方法及びトレーニングシステム
US20190138934A1 (en) 2018-09-07 2019-05-09 Saurav Prakash Technologies for distributing gradient descent computation in a heterogeneous multi-access edge computing (mec) networks
US20210042628A1 (en) 2019-08-09 2021-02-11 International Business Machines Corporation Building a federated learning framework

Family Cites Families (117)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8686549B2 (en) 2001-09-03 2014-04-01 Martin Vorbach Reconfigurable elements
DE19861088A1 (de) 1997-12-22 2000-02-10 Pact Inf Tech Gmbh Verfahren zur Reparatur von integrierten Schaltkreisen
US8914590B2 (en) 2002-08-07 2014-12-16 Pact Xpp Technologies Ag Data processing method and device
JP2009524134A (ja) 2006-01-18 2009-06-25 ペーアーツェーテー イクスペーペー テクノロジーズ アクチエンゲゼルシャフト ハードウェア定義方法
US8346691B1 (en) 2007-02-20 2013-01-01 Sas Institute Inc. Computer-implemented semi-supervised learning systems and methods
US9916538B2 (en) 2012-09-15 2018-03-13 Z Advanced Computing, Inc. Method and system for feature detection
US8953436B2 (en) 2012-09-20 2015-02-10 Broadcom Corporation Automotive neural network
US9235801B2 (en) 2013-03-15 2016-01-12 Citrix Systems, Inc. Managing computer server capacity
US9751534B2 (en) 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
KR101683532B1 (ko) 2013-07-31 2016-12-08 고려대학교 산학협력단 바나듐 옥사이드 나노와이어를 이용한 다공성 고분자막의 제조방법 및 이에 따라 제조된 다공성 고분자막
US9679258B2 (en) 2013-10-08 2017-06-13 Google Inc. Methods and apparatus for reinforcement learning
US9390376B2 (en) 2013-10-15 2016-07-12 Lockheed Martin Corporation Distributed machine learning intelligence development systems
KR101906951B1 (ko) 2013-12-11 2018-10-11 한화지상방산 주식회사 차선 검출 시스템 및 차선 검출 방법
US9870537B2 (en) 2014-01-06 2018-01-16 Cisco Technology, Inc. Distributed learning in a computer network
US9563854B2 (en) 2014-01-06 2017-02-07 Cisco Technology, Inc. Distributed model training
US9521158B2 (en) 2014-01-06 2016-12-13 Cisco Technology, Inc. Feature aggregation in a computer network
WO2015134665A1 (en) 2014-03-04 2015-09-11 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
US20150324686A1 (en) 2014-05-12 2015-11-12 Qualcomm Incorporated Distributed model learning
RU2666631C2 (ru) 2014-09-12 2018-09-11 МАЙКРОСОФТ ТЕКНОЛОДЖИ ЛАЙСЕНСИНГ, ЭлЭлСи Обучение dnn-студента посредством распределения вывода
US10001760B1 (en) 2014-09-30 2018-06-19 Hrl Laboratories, Llc Adaptive control system capable of recovering from unexpected situations
EP3007099B1 (en) 2014-10-10 2022-12-07 Continental Autonomous Mobility Germany GmbH Image recognition system for a vehicle and corresponding method
AU2015336942B2 (en) 2014-10-24 2018-02-01 Commonwealth Scientific And Industrial Research Organisation Learning with transformed data
US10032969B2 (en) 2014-12-26 2018-07-24 Nichia Corporation Light emitting device
EP3885217A1 (en) 2015-02-10 2021-09-29 Mobileye Vision Technologies Ltd. Sparse map for autonomous vehicle navigation
US10343279B2 (en) 2015-07-10 2019-07-09 Board Of Trustees Of Michigan State University Navigational control of robotic systems and other computer-implemented processes using developmental network with turing machine learning
US10229357B2 (en) 2015-09-11 2019-03-12 Facebook, Inc. High-capacity machine learning system
KR102459677B1 (ko) 2015-11-05 2022-10-28 삼성전자주식회사 알고리즘 학습 방법 및 장치
US10073965B2 (en) 2015-12-15 2018-09-11 Nagravision S.A. Methods and systems for validating an autonomous system that includes a dynamic-code module and a static-code module
KR102502451B1 (ko) 2016-01-07 2023-02-22 삼성전자주식회사 깊이 추정 방법 및 장치, 및 거리 추정기 학습 방법 및 장치
JP2017126112A (ja) 2016-01-12 2017-07-20 株式会社リコー サーバ、分散型サーバシステム、及び情報処理方法
US9916522B2 (en) 2016-03-11 2018-03-13 Kabushiki Kaisha Toshiba Training constrained deconvolutional networks for road scene semantic segmentation
US9672734B1 (en) 2016-04-08 2017-06-06 Sivalogeswaran Ratnasingam Traffic aware lane determination for human driver and autonomous vehicle driving system
US10049284B2 (en) 2016-04-11 2018-08-14 Ford Global Technologies Vision-based rain detection using deep learning
US10127477B2 (en) 2016-04-21 2018-11-13 Sas Institute Inc. Distributed event prediction and machine learning object recognition system
US10407078B2 (en) 2016-04-26 2019-09-10 Sivalogeswaran Ratnasingam Dynamic learning driving system and method
US20180284746A1 (en) 2016-05-09 2018-10-04 StrongForce IoT Portfolio 2016, LLC Methods and systems for data collection optimization in an industrial internet of things environment
US11774944B2 (en) 2016-05-09 2023-10-03 Strong Force Iot Portfolio 2016, Llc Methods and systems for the industrial internet of things
CN106021572B (zh) 2016-05-31 2019-05-31 北京百度网讯科技有限公司 二元特征词典的构建方法和装置
US9947145B2 (en) 2016-06-01 2018-04-17 Baidu Usa Llc System and method for providing inter-vehicle communications amongst autonomous vehicles
US10282849B2 (en) 2016-06-17 2019-05-07 Brain Corporation Systems and methods for predictive/reconstructive visual object tracker
TW201812646A (zh) 2016-07-18 2018-04-01 美商南坦奧美克公司 分散式機器學習系統、分散式機器學習方法、以及產生代用資料之方法
US20180025268A1 (en) 2016-07-21 2018-01-25 Tessera Advanced Technologies, Inc. Configurable machine learning assemblies for autonomous operation in personal devices
US10611379B2 (en) 2016-08-16 2020-04-07 Toyota Jidosha Kabushiki Kaisha Integrative cognition of driver behavior
US11120353B2 (en) 2016-08-16 2021-09-14 Toyota Jidosha Kabushiki Kaisha Efficient driver action prediction system based on temporal fusion of sensor data using deep (bidirectional) recurrent neural network
US10740658B2 (en) 2016-09-08 2020-08-11 Mentor Graphics Corporation Object recognition and classification using multiple sensor modalities
US11188821B1 (en) 2016-09-15 2021-11-30 X Development Llc Control policies for collective robot learning
US10495753B2 (en) 2016-09-19 2019-12-03 Nec Corporation Video to radar
GB201616097D0 (en) 2016-09-21 2016-11-02 Univ Oxford Innovation Ltd Segmentation of path proposals
GB201616095D0 (en) 2016-09-21 2016-11-02 Univ Oxford Innovation Ltd A neural network and method of using a neural network to detect objects in an environment
KR102313773B1 (ko) 2016-11-07 2021-10-19 삼성전자주식회사 신경망 학습에 기반한 입력 처리 방법 및 이를 위한 장치
CN106707293B (zh) 2016-12-01 2019-10-29 百度在线网络技术（北京）有限公司 用于车辆的障碍物识别方法和装置
US10366502B1 (en) 2016-12-09 2019-07-30 Waymo Llc Vehicle heading prediction neural network
US10012993B1 (en) 2016-12-09 2018-07-03 Zendrive, Inc. Method and system for risk modeling in autonomous vehicles
US10733506B1 (en) 2016-12-14 2020-08-04 Waymo Llc Object detection neural network
US10192171B2 (en) 2016-12-16 2019-01-29 Autonomous Fusion, Inc. Method and system using machine learning to determine an automotive driver's emotional state
US10318827B2 (en) 2016-12-19 2019-06-11 Waymo Llc Object detection neural networks
US10846590B2 (en) 2016-12-20 2020-11-24 Intel Corporation Autonomous navigation using spiking neuromorphic computers
AU2017382448B2 (en) 2016-12-22 2023-07-13 Xevo Inc. Method and system for providing interactive parking management via artificial intelligence analytic (AIA) services using cloud network
WO2018125928A1 (en) 2016-12-29 2018-07-05 DeepScale, Inc. Multi-channel sensor simulation for autonomous control systems
US10311312B2 (en) 2017-08-31 2019-06-04 TuSimple System and method for vehicle occlusion detection
US10282999B2 (en) 2017-03-17 2019-05-07 GM Global Technology Operations LLC Road construction detection systems and methods
US10706336B2 (en) 2017-03-17 2020-07-07 Nec Corporation Recognition in unlabeled videos with domain adversarial learning and knowledge distillation
US11067995B2 (en) 2017-03-20 2021-07-20 Mobileye Vision Technologies Ltd. Navigation by augmented path prediction
EP3602422B1 (en) * 2017-03-22 2022-03-16 Visa International Service Association Privacy-preserving machine learning
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
US10387298B2 (en) 2017-04-04 2019-08-20 Hailo Technologies Ltd Artificial neural network incorporating emphasis and focus techniques
US10705525B2 (en) 2017-04-07 2020-07-07 Nvidia Corporation Performing autonomous path navigation using deep neural networks
US10332320B2 (en) 2017-04-17 2019-06-25 Intel Corporation Autonomous vehicle advanced sensing and response
US10275851B1 (en) * 2017-04-25 2019-04-30 EMC IP Holding Company LLC Checkpointing for GPU-as-a-service in cloud computing environment
US11480933B2 (en) 2017-04-28 2022-10-25 Maksim Bazhenov Neural networks for occupiable space automation
US10296004B2 (en) 2017-06-21 2019-05-21 Toyota Motor Engineering & Manufacturing North America, Inc. Autonomous operation for an autonomous vehicle objective in a multi-vehicle environment
US10007269B1 (en) 2017-06-23 2018-06-26 Uber Technologies, Inc. Collision-avoidance system for autonomous-capable vehicle
US10019654B1 (en) 2017-06-28 2018-07-10 Accenture Global Solutions Limited Image object recognition
US20190019082A1 (en) 2017-07-12 2019-01-17 International Business Machines Corporation Cooperative neural network reinforcement learning
US20190035113A1 (en) 2017-07-27 2019-01-31 Nvidia Corporation Temporally stable data reconstruction with an external recurrent neural network
JP6729516B2 (ja) 2017-07-27 2020-07-22 トヨタ自動車株式会社 識別装置
US11212539B2 (en) 2017-07-28 2021-12-28 Nvidia Corporation Efficient lossless compression of captured raw image information systems and methods
CN107368076B (zh) 2017-07-31 2018-03-27 中南大学 一种智能环境下机器人运动路径深度学习控制规划方法
US10496881B2 (en) 2017-08-09 2019-12-03 Mapbox, Inc. PU classifier for detection of travel mode associated with computing devices
US11403540B2 (en) 2017-08-11 2022-08-02 Google Llc On-device machine learning platform
US10217028B1 (en) 2017-08-22 2019-02-26 Northrop Grumman Systems Corporation System and method for distributive training and weight distribution in a neural network
US10783381B2 (en) 2017-08-31 2020-09-22 Tusimple, Inc. System and method for vehicle occlusion detection
GB2570433A (en) 2017-09-25 2019-07-31 Nissan Motor Mfg Uk Ltd Machine vision system
US10796228B2 (en) 2017-09-29 2020-10-06 Oracle International Corporation Machine-learning-based processing of de-obfuscated data for data enrichment
US10692244B2 (en) 2017-10-06 2020-06-23 Nvidia Corporation Learning based camera pose estimation from images of an environment
US11436471B2 (en) 2017-10-13 2022-09-06 Panasonic Intellectual Property Corporation Of America Prediction model sharing method and prediction model sharing system
EP3673375B1 (en) 2017-10-13 2022-04-06 Huawei Technologies Co., Ltd. System and method for cloud-device collaborative real-time user usage and performance abnormality detection
US11544743B2 (en) 2017-10-16 2023-01-03 Adobe Inc. Digital content control based on shared machine learning properties
US11003992B2 (en) * 2017-10-16 2021-05-11 Facebook, Inc. Distributed training and prediction using elastic resources
US10503172B2 (en) 2017-10-18 2019-12-10 Luminar Technologies, Inc. Controlling an autonomous vehicle based on independent driving decisions
US11373091B2 (en) 2017-10-19 2022-06-28 Syntiant Systems and methods for customizing neural networks
US10671435B1 (en) 2017-10-19 2020-06-02 Pure Storage, Inc. Data transformation caching in an artificial intelligence infrastructure
US10909266B2 (en) 2017-10-24 2021-02-02 Merck Sharp & Dohme Corp. Adaptive model for database security and processing
US10599546B1 (en) 2017-10-25 2020-03-24 Uatc, Llc Autonomous vehicle testing systems and methods
US10459444B1 (en) 2017-11-03 2019-10-29 Zoox, Inc. Autonomous vehicle fleet model training and testing
US10776688B2 (en) 2017-11-06 2020-09-15 Nvidia Corporation Multi-frame video interpolation using optical flow
JP7346401B2 (ja) 2017-11-10 2023-09-19 エヌビディア コーポレーション 安全で信頼できる自動運転車両のためのシステム及び方法
US11537868B2 (en) 2017-11-13 2022-12-27 Lyft, Inc. Generation and update of HD maps using data from heterogeneous sources
GB201718692D0 (en) 2017-11-13 2017-12-27 Univ Oxford Innovation Ltd Detecting static parts of a scene
EP3710990A4 (en) * 2017-11-14 2021-10-27 Magic Leap, Inc. METALERS FOR MULTITASK LEARNING FOR NEURAL NETWORKS
US11080537B2 (en) 2017-11-15 2021-08-03 Uatc, Llc Autonomous vehicle lane boundary detection systems and methods
CN108062562B (zh) 2017-12-12 2020-03-10 北京图森未来科技有限公司 一种物体重识别方法及装置
US11273836B2 (en) 2017-12-18 2022-03-15 Plusai, Inc. Method and system for human-like driving lane planning in autonomous driving vehicles
US11130497B2 (en) 2017-12-18 2021-09-28 Plusai Limited Method and system for ensemble vehicle control prediction in autonomous driving vehicles
US11328210B2 (en) 2017-12-29 2022-05-10 Micron Technology, Inc. Self-learning in distributed architecture for enhancing artificial neural network
US20190205744A1 (en) 2017-12-29 2019-07-04 Micron Technology, Inc. Distributed Architecture for Enhancing Artificial Neural Network
US10324467B1 (en) 2017-12-29 2019-06-18 Apex Artificial Intelligence Industries, Inc. Controller systems and methods of limiting the operation of neural networks to be within one or more conditions
US10551199B2 (en) 2017-12-29 2020-02-04 Lyft, Inc. Utilizing artificial neural networks to evaluate routes based on generated route tiles
US10963273B2 (en) 2018-04-20 2021-03-30 Facebook, Inc. Generating personalized content summaries for users
US11455409B2 (en) 2018-05-21 2022-09-27 Pure Storage, Inc. Storage layer data obfuscation
US20200005135A1 (en) 2018-06-29 2020-01-02 Advanced Micro Devices, Inc. Optimizing inference for deep-learning neural networks in a heterogeneous system
US10856038B2 (en) 2018-08-23 2020-12-01 Sling Media Pvt. Ltd. Predictive time-shift buffering for live television
US10915663B1 (en) 2019-01-29 2021-02-09 Facebook, Inc. Systems and methods for protecting data
US11574377B2 (en) * 2019-06-03 2023-02-07 International Business Machines Corporation Intelligent on-demand management of ride sharing in a transportation system
WO2020246920A1 (en) * 2019-06-04 2020-12-10 Telefonaktiebolaget Lm Ericsson (Publ) Executing machine-learning models
US11392796B2 (en) 2019-08-20 2022-07-19 Micron Technology, Inc. Feature dictionary for bandwidth enhancement
US11636334B2 (en) 2019-08-20 2023-04-25 Micron Technology, Inc. Machine learning with feature obfuscation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019507442A (ja) 2016-03-04 2019-03-14 アリババ・グループ・ホールディング・リミテッドＡｌｉｂａｂａ Ｇｒｏｕｐ Ｈｏｌｄｉｎｇ Ｌｉｍｉｔｅｄ 機械学習システムのトレーニング方法及びトレーニングシステム
US20190138934A1 (en) 2018-09-07 2019-05-09 Saurav Prakash Technologies for distributing gradient descent computation in a heterogeneous multi-access edge computing (mec) networks
US20210042628A1 (en) 2019-08-09 2021-02-11 International Business Machines Corporation Building a federated learning framework

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHELLER, MJ et al.，"Multi-Institutional Deep Learning Modeling Without Sharing Patient Data: A Feasibility Study on Brain Tumor Segmentation"，arXiv.org [online]，2018年，pp. 1-14，[retrieved on 2023.04.17], Retrieved from the Internet: <URL: https://arxiv.org/abs/1810.04304v2>，<DOI: 10.48550/arXiv.1810.04304>

Also Published As

Publication number Publication date
KR20220035214A (ko) 2022-03-21
EP4018387A1 (en) 2022-06-29
US20210056387A1 (en) 2021-02-25
US11755884B2 (en) 2023-09-12
WO2021034600A1 (en) 2021-02-25
JP2022544827A (ja) 2022-10-21
CN114175069A (zh) 2022-03-11
EP4018387A4 (en) 2023-08-16

Similar Documents

Publication Publication Date Title
JP7392112B2 (ja) 帯域幅拡張のための特徴ディクショナリ
US11836583B2 (en) Method, apparatus and system for secure vertical federated learning
AU2017437537B2 (en) Training tree-based machine-learning modeling algorithms for predicting outputs and generating explanatory data
EP3629250A1 (en) Parameter-efficient multi-task and transfer learning
JP7450019B2 (ja) プライバシー保護を備えた分散型機械学習
JP2021505993A (ja) 深層学習アプリケーションのための堅牢な勾配重み圧縮方式
US11636334B2 (en) Machine learning with feature obfuscation
US20210295168A1 (en) Gradient compression for distributed training
JP6870508B2 (ja) 学習プログラム、学習方法及び学習装置
WO2022007651A1 (zh) 数据保护方法、装置、服务器和介质
US11620569B2 (en) Machine learning quantum algorithm validator
Wu et al. Dolphin swarm extreme learning machine
WO2021036397A1 (zh) 目标神经网络模型的生成方法和装置
Pandey et al. ExpSSOA-Deep maxout: Exponential Shuffled shepherd optimization based Deep maxout network for intrusion detection using big data in cloud computing framework
WO2019142241A1 (ja) データ処理システムおよびデータ処理方法
JP7171478B2 (ja) 情報処理方法、及び情報処理システム
WO2021256135A1 (ja) 制御装置、方法及びプログラム
Pandit et al. Machine learning at the edge of internet of things
US20230143789A1 (en) Label inference in split learning defenses
CN113537269A (zh) 图像处理方法、装置及设备
AlMajali et al. Vulnerability Exploitation Using Reinforcement Learning

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220408

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20230329

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20230425

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20230721

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240304

R150 Certificate of patent or registration of utility model

Ref document number: 7450019

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150