JP7095140B2

JP7095140B2 - 特徴抽出に基くマルチモデルトレーニング方法及び装置、電子機器と媒体

Info

Publication number: JP7095140B2
Application number: JP2021047153A
Authority: JP
Inventors: ジョウ，ヤーンジー; チェン，リヤーンフイ; ファーン，ジュン; フゥ，ヤン
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2020-09-25
Filing date: 2021-03-22
Publication date: 2022-07-04
Anticipated expiration: 2041-03-22
Also published as: US20210234687A1; EP3975089A1; CN111967615A; JP2021121922A; KR20220041704A

Description

本開示は、クラウドプラットフォーム、ディープラーニングの技術分野に関し、特に特徴抽出に基くマルチモデルトレーニング方法及び装置、電子機器並びに媒体に関する。

近年、機械学習技術が急速に発展し、情報認識、レコメンデーションエンジン、ファイナンシャルクレジットの分野で優れた応用効果が得られており、大量の実験結果によって、機械学習モデルは良好なロバスト性と汎化性を有することが証明された。レコメンデーションエンジンを介して広告業務の投入を行う際、トレーニングデータの多様性を豊かにするために、人々は複数の企業からのデータを統合してレコメンデーションエンジンをトレーニングすることを望んでいる。ただし、企業間の業務の違いにより、そのデータにもさまざまな業務特性が反映されている。そのため、トレーニングデータの多様性を十分に豊かにするために、関連データの自動選別をどのように実現するかが技術的なポイントとなっている。また、国内外でのデータ管理及び公衆のプライバシー保護の強化に伴い、データの機密保持においても多くの企業間のデータ協力を阻害している。

この部分で説明される方法は、必ずしも以前に想定された方法又は採用された方法ではない。なお、特に断りのない限り、この部分に記載されているいずれの方法は、この部分に含まれるだけで従来技術であると考えられるとすべきではない。同様に、特に断りのない限り、この部分に言及する問題は、いかなる従来技術において公認されたものとは考えられるべきではない。

本開示の一態様によれば、連合特徴抽出に基づくマルチモデルトレーニング方法を提供し、ツリーモデルをトレーニングし、当該ツリーモデルは複数のパートナーとそれぞれ共通のユーザーサンプルのデータに基づいて、各パートナーと協力してトレーニングされたものであり、各パートナーとのデータ伝送は全て暗号化された形で行われることと、トレーニングされたツリーモデルに対して特徴の重要度評価を実行して、各ツリーモデルによって生成された特徴コラムに、対応する重みを付けることと、第１のパートナーが線形モデルをトレーニングすることに応じて、第１のパートナーと共通の第１のユーザーサンプルのデータを第１のパートナーに対応するツリーモデルと第２のパートナーに対応するツリーモデルに入力することで、複数のワンホットエンコーディングされた特徴コラムを取得して、第２のパートナーは複数のパートナーのうち、第１のパートナー以外の一つ又は複数のパートナーであることと、重みに基づいて取得した特徴コラムを選別し、選別された特徴コラムと第１のユーザーサンプルのデータに基づいて、第１のパートナーに対応する線形モデルをトレーニングすることとを含む。

本開示の別の態様によれば、連合特徴抽出に基づくマルチモデルトレーニング装置を提供し、ツリーモデルをトレーニングするように構成され、当該ツリーモデルは複数のパートナーとそれぞれ共通のユーザーサンプルのデータに基づいて、各パートナーとそれぞれ協力してトレーニングされたものであり、ここで各パートナーとのデータ伝送は全て暗号化された形で行われるツリーモデルトレーニングユニットと、トレーニングされたツリーモデルに対して特徴の重要度評価を実行し、各ツリーモデルによって生成された特徴コラムに対応する重みを付けるように構成される重要度評価ユニットと、第１のパートナーが線形モデルをトレーニングすることに応じて、第１のパートナーと共通の第１のユーザーサンプルのデータを第１のパートナーに対応するツリーモデルと第２のパートナーに対応するツリーモデルに入力することで、複数のワンホットエンコーディングされた特徴コラムを取得するように構成され、第２のパートナーは複数のパートナーのうち、当該第１のパートナー以外の一つ又は複数のパートナーである特徴抽出ユニットと、重みに基づいて、取得した特徴コラムを選別し、選別された特徴コラムと第１のユーザーサンプルのデータに基づいて、第１のパートナーに対応する線形モデルをトレーニングするように構成される線形モデルトレーニングユニットとを含む。

本開示の別の態様によれば、電子機器を提供し、電子機器は、プロセッサ、及びプログラムが記憶されたメモリを含み、当該プログラムは命令を含み、当該命令はプロセッサによって実行される際に、プロセッサに本開示に記載の連合特徴抽出に基づくマルチモデルトレーニング方法を実行させる。

本開示の別の態様によれば、プログラムが記憶されたコンピュータ可読記憶媒体を提供し、当該プログラムは命令を含み、当該命令は電子機器のプロセッサにより実行される際に、電子機器に本開示に記載の連合特徴抽出に基づくマルチモデルトレーニング方法を実行させる。

本開示の別の態様によれば、コンピュータプログラムを含むコンピュータプログラム製品を提供し、前記コンピュータプログラムはプロセッサにより実行される際に、本開示に記載の連合特徴抽出に基づくマルチモデルトレーニング方法を実現する。

本開示の一態様によれば、当該連合特徴抽出に基づくマルチモデルトレーニング方法は、連合学習に基づいて複数のパートナーの特徴データを効果的に統合し、交差特徴の選別を効果的に実現する。

以下に説明する実施例によれば、本開示のこれら及び他の態様は明らかであり、以下に説明する実施例を参照することで解明される。

図面は、実施例を例示的に示し、明細書の一部を構成し、明細書の文字による説明とともに、実施例の例示的な実施形態を説明するために用いられる。図示の実施例は例示の目的のみであり、請求の範囲を限定するものではない。すべての図面において、同一の符号は、類似しているが、必ずしも同じとは限らない要素を指す。
例示的な実施例に係る連合特徴抽出に基くマルチモデルトレーニング方法のシーンを示す概略図である。例示的な実施例に係る連合特徴抽出に基くマルチモデルトレーニング方法を示すフローチャートである。例示的な実施例に係る連合特徴抽出に基くマルチモデルトレーニングを示す概略図である。例示的な実施例に係る連合特徴抽出に基くマルチモデルトレーニング装置の構成を示す概略図である。例示的な実施例に適用することができる例示的な計算装置を示す構造ブロック図である。

本開示では、特に明記しない限り、様々な要素を説明するための「第１」、「第２」などの用語の使用は、これらの要素の位置関係、タイミング関係、又は重要性関係を限定することを意図していない。このような用語は、ある要素を別の要素と区別するためにのみ使用される。いくつかの例では、第１の要素と第２の要素は、要素の同じ例を指すことができ、場合によっては、コンテキストの説明に基づいて、異なる例を指すことができる。

本開示の様々な例の説明で使用される用語は、特定の例を説明することのみを目的としており、限定することを意図していない。コンテキストが他に明確に示されていない限り、特に要素の数を限定しないなら、要素は一つであってもよいし、複数であってもよい。また、本開示で使用される用語「及び／又は」は、挙げられた項目のいずれか及び可能なすべての組み合わせをカバーする。

レコメンデーションエンジンのシーンでは、ユーザーの行為、属性、対象の属性、内容、分類、及びユーザー間の社交的関係などを総合的に活用して、ユーザーの好みやニーズを掘り起こし、ユーザーが興味を持っている対象又は需要の対象をユーザーに積極的に推薦する必要がある。利用できるユーザーデータの豊かさと多様性も、このレコメンデーションエンジンの推奨効果を決定する。具体的には、例えば広告推薦シーンにおいて、インターネット広告業の活発な発展に伴い、対応する指標に対する広告主の要求も高まっている。投入された主体会社が自社の業務に関するデータのみ又は関連する推薦結果のみを保有している場合、広告のクリックスルー率（ＣＴＲ）、転化率などが効果的に向上することは困難である。どのようにしてデータの秘密保持要求を満たす条件で、効果的に複数のパートナーの交差特徴を統合して関連モデルを訓練するかということは、クリックスルー率（ＣＴＲ）、転化率などを向上させるポイントになる。

連合モデリングは、データがローカル内に存在する状況で、参加者内部の特徴交差と参加者相互間の特徴交差を同時に完成することを実現する。連合学習は、ビッグデータ交換の時の情報セキュリティを保障し、端末データと個人データのプライバシーを保護し、法的コンプライアンスを保証することを前提として、複数の参加者又は複数のコンピューティングノード間で効率的な機械学習を展開する。

図１に示すように、コーディネーターは、複数のパートナーＡ、Ｂ、Ｃなどの複数のパートナーと共有するユーザーの行為データに基づいて協力トレーニングを実施し、自分と相手のデータでトレーニングされた広告推奨モデルを相互に利用して広告業務の推奨を行うことができる。広告業務の多様性を考慮し、既に既存の自身データに基づく広告推薦モデルトレーニングの上でパートナーとしてコーディネーターを追加し、双方のデータを活用して協力してモデルトレーニングを行っているが、実際は双方のデータに基づいても広告主が徐々に増やしている対応する指標に対する要求を次第に満足できなくなっている。

さらに、例えば、Ｂａｉｄｕは世界最大の中国語検索エンジンとして、多くのプラットフォームは、それとのデータの協力を求める可能性があり、従って、コーディネーターとして機能する能力がある。コーディネーターとしてのプラットフォームは、複数のパートナープラットフォームとのデータ連携の利点を活用して、マルチパーティデータの統合を促進し、より全面的なデータに基づいて広告のクリックスルー率（ＣＴＲ）、転化率等をさらに向上させる同時にビッグデータ交換時の情報セキュリティ、端末データと個人データのプライバシーを保護し、法的コンプライアンスを保証する。但し、複数のパートナーの間で業務の類似点と相違点のため、出力されたすべての特徴データをモデルトレーニングに使用するには不適合する可能性があり、期待するクリックスルー率の増加が達成できなくなるだけではなく、むしろ逆効果になる可能性もある。

推奨シーンでは、特徴の次元が高すぎるため、通常は線形モデルを用いて学習訓練を行い、フルデータセットの役割を繰り返し利用するが、線形モデルは非線形情報を捕捉できず、大量の工程実験で特徴の組み合わせを行い、有効な交差情報を発見する必要がある。ツリーモデルを使って特徴抽出の方式として、連続的な特徴セットを離散化し、同時に特徴間の交差情報を補足することを考慮する。

そこで、本開示の一態様によれば、図２に示すように、連合特徴抽出に基づくマルチモデルトレーニング方法を提供し、当該方法は、ツリーモデルをトレーニングし、当該ツリーモデルは複数のパートナーとそれぞれ共通のユーザーサンプルのデータに基づいて、各パートナーとそれぞれ協力してトレーニングされたものであり、各パートナーとのデータ伝送は全て暗号化された形で行われること（ステップ２１０）と、トレーニングされたツリーモデルに対して特徴の重要度評価を実行して、各ツリーモデルによって生成された特徴コラムに対応する重みを付けること（ステップ２２０）と、第１のパートナーが線形モデルをトレーニングすることに応じて、前記第１のパートナーと共通の第１のユーザーサンプルのデータを前記第１のパートナーに対応するツリーモデルと第２のパートナーに対応するツリーモデルに入力することで、複数のワンホットエンコーディングされた特徴コラムを取得して、前記第２のパートナーは前記複数のパートナーのうち、前記第１のパートナー以外の一つ又は複数のパートナーであること（ステップ２３０）と、前記重みに基づいて、取得した特徴コラムを選別し、前記選別された特徴コラムと前記第１のユーザーサンプルのデータに基づいて、前記第１のパートナーに対応する線形モデルをトレーニングすること（ステップ２４０）とを含む。

本開示の一態様によれば、連合特徴抽出に基づくマルチモデルトレーニング方法は、連合学習に基づいて複数のパートナーの特徴データを効果的に統合し、交差特徴の選別を効果的に実現する。

いくつかの実施例によれば、共通のユーザーサンプルのデータは、ユーザーサンプルが広告をクリックしたかどうかのラベルデータ及び当該ユーザーサンプルの双方での行為データを含む。

いくつかの例では、特徴の目標変数予測に対する相対的な重要性は、例えば、決定ツリー中に特徴を使用して決定ノードの相対的な順序にすることを通じて評価することができる。決定ツリーの上部で使用される特徴は、より多くのサンプルの最終的な予測決定に寄与する。従って、各特徴が最終予測に寄与するサンプル比によって、当該特徴の重要性を評価することができる。ＸＧＢｏｏｓｔツリーモデルの例では、特性重要度スコアｆｅａｔｕｒｅ＿ｉｍｐｏｒｔａｎｃｅｓ＿が各特徴の対応する分数、すなわち重みを求める。

いくつかの実施例によれば、ステップ２１０において、ツリーモデルをトレーニングし、当該ツリーモデルは複数のパートナーとそれぞれ共通のユーザーサンプルのデータに基づいて、各前記パートナーと協力してトレーニングされたものであり、各前記パートナーとのデータ伝送は全て暗号化された形で行われることは、前記複数のパートナーが暗号化アルゴリズムに基づいて各自に生成された公開鍵を受信し、対応する公開鍵に基づいて送信すべきデータを暗号化することと、前記パートナーがそれにより生成した公開鍵に基づいて暗号化した導関数を受信して、対応するビニングでの勾配和を計算することと、前記勾配和を前記パートナーに送信して、前記パートナーが暗号化アルゴリズムに基づいて生成した秘密鍵によって前記勾配和を復号し、双方のツリーモデルをトレーニングすることとを含む。

セキュリティやプライバシーを考慮して、直接にデータを相手に渡すと、情報漏洩問題、価値損失などの問題が存在する。従って、トレーニング過程中に中間結果の直接転送は存在しなく、暗号化スペースのみで計算されるので、ユーザーデータの漏れのリスクは存在しない。

いくつかの実施例によれば、前記暗号化アルゴリズムは、ＲＳＡアルゴリズム、Ｐａｉｌｌｅｒアルゴリズムのうちの１つを含む。本開示に適する他の暗号化アルゴリズムも可能であり、ここでは限定されないことを理解されたい。

いくつかの例では、コーディネーターのプラットフォームとして各パートナーと協力していずれも１つのツリーモデルをトレーニングし、例えば、コーディネーターは、パートナーＡとの間の共通のユーザーサンプルデータに基づいて、ツリーモデルをトレーニングし、ここで、当該トレーニング過程は、
トレーニング開始者（例えばパートナーＡなど）は、暗号化アルゴリズムに基づいて公開鍵と秘密鍵を初期化し、秘密鍵は復号のためにローカルに残し、公開鍵はデータプロバイダー（例えば、コーディネーター）に送信することができ、パートナーが同じ暗号化アルゴリズムで転送しようとするデータに対して暗号化するため、データトレーナーは、データを受信した後、秘密鍵を使用してデータを復号することができる。トレーニング開始者がその共通サンプルがある広告をクリックしたかどうかのラベルデータの一次導関数

と二次導関数

を計算する；対応するサンプルＩＤ及び対応する暗号化された導関数結果をデータプロバイダーに送信し、データプロバイダーが各特徴をトラバースして対応するビニングでの勾配和

と

を計算し、結果をトレーニング開始者に返す。トレーニング開始者が勾配和を復号した後、各特徴におけるゲインサイズを計算し、最大ゲインの特徴を分割ノードとして取り、トレーニング開始者のサーバに記録される。損失変動が一定の閾値以下又は所定の反復回数に達するとトレーニングを停止してもよく、この時、トレーニング開始者（例えば、パートナーＡ）及びデータプロバイダー（例えば、コーディネーター）においていずれも上記のユーザーデータに基づくツリーモデルをトレーニングした。同様に、パートナーＢ、Ｃ、Ｄなどとコーディネーターとの間のツリーモデルトレーニング過程も上述のようなので、ここでは説明を省略する。

ビニングはビンとも呼ばれ、主に等周波数ビニング、等距離ビニング、クラスタリングビニングなどが含まれ、その中で、クラスタリングビニングには、ＫｍｅａｎｓクラスタリングとＤＢＳＣＡＮクラスタリングを含み、アウトライアを１つのカテゴリに分類することで、一部の特徴に異常値がある状況を解決できる、例えば、ユーザーデータに年齢２００歳などの入力が正しくない状況がある可能性がある。いくつかの例では、収入は特徴であり、不同な収入値は具体的な特徴データである。収入をビニングするには、各収入値を分割し、１つ或いは複数の収入値をクォンタイルポイントとして選択し、収入を複数にビニングすることができ、月収１００００元と２００００元をクォンタイルポイントとして選択し、収入を３つのビニングに分割する。収入＿０（月収は２００００より多い）：高収入；収入＿１（月収は１００００－２００００）：中等収入；収入＿２（月収が１００００未満）：低収入。

連合ツリーモデルトレーニングを完了した後、ユーザー行為データセットをトラバースして、ユーザーに対応するツリーモデル上で抽出されたワンホット特徴ベクトルを生成する。当該モデルはパートナー双方に記憶する必要があることに注意すべきである。従って、生成されたワンホット特徴も２つの部分に分割され、双方各自に記憶される。ワンホットエンコーディングは、即ちＯｎｅ－Ｈｏｔエンコーディングであり、ワンビット有効エンコーディングとも呼ばれる。この方法は、Ｎビットステータスレジスタを使用してＮ状態に対してエンコードする。各状態には独自の独立したレジスタビットがあり、任意の場合、その中、ワンビットのみが有効である。

これに基づいて、ワンホット特徴がローカルデータとスプライスされ、スパースデータトレーニングに対する線形モデルの優位性と抽出された交差特徴の情報が十分に活用される。

コーディネーターが複数のパートナーとそれぞれ協力してトレーニングされた複数のツリーモデルを記憶した後、当該複数のツリーモデルを使用して特徴を抽出し、その後複数のパートナーのデータの優位性を統合して、広告業務のニーズを持っているあるパートナー（例えば、パートナーＡ）が必要な線形モデルをトレーニングし、多方データを統合して広告推奨モデルをトレーニングすることで、豊富で多様な広告業務のニーズを満たす。

図３に示すように、パートナーＡのローカルラベルデータと、パートナーＡとコーディネーターのユーザー行為データは、データのフォーマットとサンプルアライメントを通じて、コーディネーターに記憶されている複数のツリーモデルに入力される。データのフォーマットには、主に、抽出・変換・ローディング（ＥＴＬ）過程を含み、カスタムされたロジックに従って一部のタイミングデータを統計的に変換し、離散化データのコーディング変換などの操作を指定する。サンプルアライメントは、パートナーとコーディネーターでのユーザーサンプルをアライメントすることで、通常はＭＤ５に基づいて暗号化された携帯電話番号のマッチングでカバレッジを確認することであり、もちろん、暗号化されたメールボックスなど、他のアラインメント方法も可能であることを理解されたい。コーディネーターのツリーモデルは、複数の特徴抽出器（Ａ／Ｂ／Ｃなど）として使用され、複数のツリーモデルによって出力された特徴コラムはワンホットエンコーディングを経った後、共線性と重要度スコアの選別を行い、選別後の特徴コラムとオリジナルユーザー行為データをコーディネーターとパートナーＡとの協力トレーニングの線形モデルの入力として、多方データ特徴を統合してパートナーＡに使用される広告推奨モデルをトレーニングする。

いくつかの実施例では、ステップ２４０において、前記重みに基づいて取得された特徴コラムを選別して、前記選別された特徴コラムと前記第１のユーザーサンプルのデータに基づいて、前記第１のパートナーに対応する線形モデルをトレーニングすることは、第１のパートナーに対応するツリーモデルによって取得された特徴コラムを選択して、前記選択した特徴コラムと前記第１のユーザーサンプルのデータで第１のデータセットを構成することと、第２のパートナーに対応するツリーモデルによって取得された特徴コラムを選別し、前記選別された特徴コラムと前記第１のデータセットで第２のデータセットを構成することと、前記第２のデータセットに基づいて前記第１のパートナーに対応する線形モデルをトレーニングすることとを含む。

いくつかの実施例では、前記第２のパートナーに対応するツリーモデルによって取得された特徴コラムを選別し、前記選別された特徴コラムと前記第１のデータセットで第２のデータセットを構成することは、前記第２のパートナーに対応するツリーモデルによって取得された特徴コラムから、その重みが第１の閾値より小さい特徴コラムをフィルタリング除去することで、第１の残りの特徴コラムを取得することと、前記第１の残りの特徴コラムのうちの２つずつの特徴コラムからなる特徴コラムペアに相関性分析を行うことと、その相関係数が第２の閾値より大きい全ての特徴コラムペアを確定し、その相関係数が前記第２の閾値より大きくない全ての特徴コラムペアで第２の残りの特徴コラムを構成することと、前記確定されたその相関係数が前記第２の閾値より大きい各特徴コラムペアのうちの重み値が比較的に大きい特徴コラムを選択して、前記選択した特徴コラムと前記第２の残りの特徴コラムを前記選別した特徴コラムとすることとを含む。

いくつかの実施例では、前記第２のパートナーに対応するツリーモデルによって取得された特徴コラムを選別し、前記選別された特徴コラムと前記第１のデータセットで第２のデータセットを構成することは、前記第２のパートナーに対応するツリーモデルの各自の重みの閾値をそれぞれ設定することと、前記第２のパートナーに対応するツリーモデルによって取得された特徴コラムをその各自の重みの閾値に基づいてフィルタリングし、その重みがその対応する重みの閾値より小さい特徴コラムを除去することで、第１の残りの特徴コラムを取得することと、前記第１の残りの特徴コラムのうち、２つずつの特徴コラムからなる特徴コラムペアに相関性分析を行うことと、その相関係数が第２の閾値より大きい全ての特徴コラムペアを確定し、その相関係数が前記第２の閾値より大きくない全ての特徴コラムペアで第２の残りの特徴コラムを構成することと、前記確定されたその相関係数が前記第２の閾値より大きい各特徴コラムペアのうちの重み値が比較的に大きい特徴コラムを選択して、前記選択した特徴コラムと前記第２の残りの特徴コラムを前記選別した特徴コラムとすることとを含む。

いくつかの例では、第２のパートナーに対応するツリーモデルによって取得された特徴コラムを選別し、すなわち、コーディネーターとパートナーＢ、Ｃなどによって協力してトレーニングされたツリーモデルによって出力される特徴コラムに対して選別を行う。出力された各特徴コラムには対応する重要度スコアが存在する、即ち上記の前記重みで、エンジニアがカスタマイズした重み閾値によって選別を行う。同時に、選別された重要度スコアが高い特徴コラムペア間に比較的に大きな共線性（即ち、相関性）が存在する場合、当該特徴コラムペアの重要度スコアが低い特徴コラムを無視する。図３に示すように、選別された特徴コラム及びパートナーＡとコーディネーターとの間の共通のユーザーサンプルデータをスプライスした後、コーディネーターとパートナーＡとの間で線形モデルを協力してトレーニングする。

特徴コラムの選別によって、複数のパートナーのユーザー特徴を有効に利用し、同時にデータの有効性を高め、多方のトレーニングデータの交差情報と互換性があり、アルゴリズム研究開発エンジニアに高速かつ効率的な最適化手段を提供する。

いくつかの実施例によれば、前記ツリーモデルは、ＸＧＢｏｏｓｔモデル、ＬｉｇｈｔＧＢＭモデルのうちの１つを含む。
いくつかの実施例によれば、前記線形モデルは、ロジスティック回帰ＬＲモデル、ポアソン回帰ＰＲモデルのうちの１つを含む。

いくつかの例では、広告推奨モデルは、ＸＧＢｏｏｓｔモデル及びロジスティック回帰ＬＲモデルであることが好ましい。
本発明の別の態様によれば、連合特徴抽出に基づくマルチモデルトレーニング装置４００を提供し、それは、ツリーモデルをトレーニングするように構成され、当該ツリーモデルは複数のパートナーとそれぞれ共通のユーザーサンプルのデータに基づいて、各前記パートナーとそれぞれ協力してトレーニングされたものであり、ここで各前記パートナーとのデータ伝送は全て暗号化された形で行われるツリーモデルトレーニングユニット４１０と、前記トレーニングされたツリーモデルに対して特徴の重要度評価を実行し、各ツリーモデルによって生成された特徴コラムに対応する重みを付けるように構成される重要度評価ユニット４２０と、第１のパートナーが線形モデルをトレーニングすることに応じて、前記第１のパートナーと共通の第１のユーザーサンプルのデータを前記第１のパートナーに対応するツリーモデルと第２のパートナーに対応するツリーモデルに入力することで、複数のワンホットエンコーディングされた特徴コラムを取得するように構成され、前記第２のパートナーは前記複数のパートナーの中で前記第１のパートナーを除いた他の一つ又は複数のパートナーである特徴抽出ユニット４３０と、前記重みに基づいて取得した特徴コラムを選別し、前記選別された特徴コラムと前記第１のユーザーサンプルのデータに基づいて、前記第１のパートナーに対応する線形モデルをトレーニングするように構成される線形モデルトレーニングユニット４４０とを含む。

いくつかの実施例によれば、前記ツリーモデルトレーニングユニット４１０は、前記複数のパートナーが暗号化アルゴリズムに基づいてそれぞれ生成された公開鍵を受信し、対応する公開鍵に基づいて送信すべきデータを暗号化し、パートナーが生成した公開鍵に基づいて暗号化された導関数を受信して、対応するビニングでの勾配和を計算し、前記勾配和を前記パートナーに送信し、前記パートナーが暗号化アルゴリズムに基づいて生成された秘密鍵によって前記勾配和を復号し、双方のツリーモデルをトレーニングするように構成される。

いくつかの実施例によれば、前記線形モデルトレーニングユニット４４０は、第１のパートナーに対応するツリーモデルによって取得された特徴コラムを選択して、前記選択した特徴コラムと前記第１のユーザーサンプルのデータで第１のデータセットを構成し、第２のパートナーに対応するツリーモデルによって取得された特徴コラムを選別し、前記選別された特徴コラムと前記第１のデータセットで第２のデータセットを構成し、前記第２のデータセットに基づいて前記第１のパートナーに対応する線形モデルをトレーニングするように構成される。

いくつかの実施例では、前記第２のパートナーに対応するツリーモデルによって取得された特徴コラムを選別し、前記選別された特徴コラムと前記第１のデータセットから第２のデータセットを構成することは、前記第２のパートナーに対応するツリーモデルの各自の重みの閾値をそれぞれ設定することと、前記第２のパートナーに対応するツリーモデルによって取得された特徴コラムをその各自の重みの閾値に基づいてフィルタリングし、その重みがその対応する重みの閾値より小さい特徴コラムを除去することで、第１の残りの特徴コラムを取得することと、前記第１の残りの特徴コラムのうちの２つずつの特徴コラムからなる特徴コラムペアに相関性分析を行うことと、その相関係数が第２の閾値より大きい全ての特徴コラムペアを確定し、その相関係数が前記第２の閾値より大きくない全ての特徴コラムペアで第２の残りの特徴コラムを構成することと、前記確定されたその相関係数が前記第２の閾値より大きい各特徴コラムペアのうちの重み値が比較的に大きい特徴コラムを選択して、前記選択した特徴コラムと前記第２の残りの特徴コラムを前記選別した特徴コラムとすることとを含む。

いくつかの実施例によれば、前記暗号化アルゴリズムは、ＲＳＡアルゴリズム、Ｐａｉｌｌｅｒアルゴリズムのうちの１つを含む。
いくつかの実施例によれば、前記ツリーモデルは、ＸＧＢｏｏｓｔモデル、ＬｉｇｈｔＧＢＭモデルのうちの１つを含む。

いくつかの実施例によれば、前記線形モデルは、ロジスティック回帰ＬＲモデル、ポアソン回帰ＰＲモデルのうちの１つを含む。
いくつかの実施例によれば、前記共通のユーザーサンプルのデータは、前記ユーザーサンプルが広告をクリックしたかどうかのラベルデータ及び前記ユーザーサンプルの行為データを含む。

ここで、連合特徴抽出に基づくマルチモデルトレーニング装置４００の上記各ユニット４１０－４４０の操作はそれぞれ上記のステップ２１０～２４０の動作と類似であり、ここでは説明を省略する。

本公開のもう一つの態様によれば、電子機器であって、プロセッサ、及びプログラムが記憶されたメモリを含み、当該プログラムは命令を含み、当該命令はプロセッサによって実行される時に、プロセッサに上記の連合特徴抽出に基づくマルチモデルトレーニング方法を実行させるようにする。

本開示の別の態様によれば、プログラムが記憶されたコンピュータ可読記憶媒体を提供し、当該プログラムは命令を含み、当該命令は電子機器のプロセッサにより実行する時、電子機器に上記の連合特徴抽出に基づくマルチモデルトレーニング方法を実行させるようにする。

図５に示すように、本開示の各態様に適用できるハードウェア装置（電子機器）の一例である計算装置２０００について説明する。計算装置２０００は、処理及び／又は計算を実行するように構成された任意のマシンであってもよく、ワークステーション、サーバ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、パーソナルデジタルアシスタント、ロボット、スマートフォン、車載コンピュータ、又はその任意の組み合わせであってもよいが、これらに限定されない。上記のような連合特徴抽出に基くマルチモデルトレーニング方法は、それぞれの全部又は少なくとも部分的に計算装置２０００又は類似の装置又はシステムによって実現することができる。

計算装置２０００は、バス２００２に接続された、又はバス２００２と通信している（おそらく１つ又は複数のインターフェースを介して）要素を含むことができる。例えば、計算装置２０００は、バス２００２、１つ又は複数のプロセッサ２００４、１つ又は複数の入力デバイス２００６、及び１つ又は複数の出力デバイス２００８を含むことができる。１つ又は複数のプロセッサ２００４は、任意のタイプのプロセッサであってもよく、１つ又は複数の汎用プロセッサ及び／又は１つ又は複数の専用プロセッサ（例えば、特殊処理チップ）を含むことができるが、これらに限定されない。入力デバイス２００６は、計算装置２０００に情報を入力することができる任意のタイプのデバイスであってもよく、マウス、キーボード、タッチスクリーン、マイクロフォン、及び／又はリモートコントロールを含むことができるが、これらに限定されない。出力デバイス２００８は、情報を提示することができる任意のタイプのデバイスであってもよく、ディスプレイ、スピーカ、ビデオ／オーディオ出力端末、バイブレータ、及び／又はプリンタを含むことができるが、これらに限定されない。計算装置２０００はさらに、非一時記憶装置２０１０を含むか、又は非一時記憶装置２０１０に接続されてもよく、非一時記憶装置は非一時的であり、データ記憶を実現することができる任意の記憶装置でもよく、磁気ディスクドライブ、光学記憶装置、固体メモリ、フロッピーディスク、フレキシブルディスク、ハードディスク、磁気テープ、又は他の任意の磁気メディア、光ディスク又は他の光メディア、ＲＯＭ（読み取り専用メモリ）、ＲＡＭ（ランダムアクセスメモリ）、高速バッファメモリ及び／又は他の任意のメモリチップ又はボックス、及び／又はコンピュータがデータ、命令及び／又はコードを読み出すことができる任意の他の媒体を含んでもよいが、これらに限定されない。非一時記憶装置２０１０は、インターフェースから取り外し可能である。非一時記憶装置２０１０は、上記の方法及びステップを実現するためのデータ／プログラム（命令を含む）／コードを有することができる。計算装置２０００はさらに通信デバイス２０１２を含むことができる。通信デバイス２０１２は、外部デバイス及び／又はネットワークとの通信を可能にする任意のタイプのデバイス又はシステムであってもよく、モデム、ＬＡＮカード、赤外線通信デバイス、無線通信デバイス、及び／又はチップセット、例えば、ＢｌｕｅｔｏｏｔｈＴＭデバイス、１３０２．１１デバイス、ＷｉＦｉデバイス、ＷｉＭａｘデバイス、セルラー通信デバイス及び／又は類似物を含むことができるが、これらに限定されない。

計算装置２０００はさらにワーキングメモリ２０１４を含み、当該ワーキングメモリ２０１４はプロセッサ２００４の動作に有用なプログラム（命令を含む）及び／又はデータを格納することができる任意のタイプのワーキングメモリであってもよく、ランダムアクセスメモリ及び／又は読み取り専用メモリデバイスを含むことができるが、これらに限定されない。

ソフトウェア要素（プログラム）はワーキングメモリ２０１４に配置することができ、前記ソフトウェア要素（プログラム）はオペレーティングシステム２０１６、１つ又は複数のアプリケーションプログラム２０１８、ドライバ、及び／又は他のデータとコードを含むがこれらに限定されない。上記の方法及びステップを実行するための命令は、１つ又は複数のアプリケーションプログラム２０１８に含まれることができ、上記の連合特徴抽出に基づくマルチモデルトレーニング方法は、それぞれ、プロセッサ２００４によって１つ又は複数のアプリケーションプログラム２０１８の命令を読み取って実現することができる。より具体的には、上記連合特徴抽出に基くマルチモデルトレーニング方法において、ステップ２１０～ステップ２４０は、例えば、プロセッサ２００４にステップ２１０～ステップ２４０の命令を有するアプリケーション２０１８を実行させることによって実現することができる。さらに、上記の連合特徴抽出に基くマルチモデルトレーニング方法の他のステップは、例えば、プロセッサ２００４に対応するステップにおける命令を実行するアプリケーション２０１８を実行させることによって実現することができる。ソフトウェア要素（プログラム）の命令の実行可能コード又はソースコードは、非一時的なコンピュータ可読記憶媒体（例えば、上述の記憶装置２０１０）に記憶されることができ、実行時にはワーキングメモリ２０１４に記憶されることができる（コンパイル及び／又はインストール可能）。ソフトウェア要素（プログラム）の命令の実行可能コード又はソースコードは、リモートの位置からダウンロードすることもできる。

具体的な要求によって様々な変形が可能であることも理解すべきである。例えば、カスタマイズハードウェアを使用してもよく、及び／又は、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はこれらの任意の組み合わせで特定の要素を実現してもよい。例えば、開示された方法及び装置の一部又は全部は、本開示によるロジック及びアルゴリズムを使用して、アセンブリ言語或いはハードウェアプログラミング言語（例えばＶＥＲＩＬＯＧ、ＶＨＤＬ、Ｃ＋＋など）でハードウェア（例えば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）及び／又はプログラマブルロジックアレイ（ＰＬＡ）を含むプログラマブルロジック回路）に対してプログラミングすることによって実現することができる。

計算装置２０００のコンポーネントは、ネットワーク上に分散され取得することも理解されるべきである。例えば、１つのプロセッサを使用していくつかの処理を実行してもよく、同時に当該１つのプロセッサから離れた別のプロセッサによって他の処理を実行してもよい。コンピューティングシステム２０００の他のコンポーネントも類似に分布することができる。このように、計算装置２０００は、複数の位置で処理を行う分散式コンピューティングシステムとして解釈することができる。

図面を参照しながら本開示の実施形態又は例は説明されているが、上記の方法、システム、及び装置は単なる例示的な実施形態又は例に過ぎず、本発明の範囲はこれらの実施形態又は例に限定されず、授権後の特許請求の範囲及びその同等範囲だけで限定されることを理解されたい。実施例又は例の様々な要素は省略されてもよく、又はそれらの同等要素によって代替されてもよい。また、各ステップは、本開示で説明した順序とは異なる順序で実行されてもよい。更に、実施形態又は例の様々な要素は、様々な方法で組み合わされてもよい。重要なのは、技術の進化に伴い、ここで説明される多くの要素は、本開示の後に現れる同等の要素により置き換えられることができることである。

Claims

連合特徴抽出に基づくマルチモデルトレーニング方法であって、
ツリーモデルをトレーニングし、当該ツリーモデルは複数のパートナーとそれぞれ共通のユーザーサンプルのデータに基づいて、各前記パートナーと協力してトレーニングされたものであり、各前記パートナーとのデータ伝送は全て暗号化された形で行われることと、
前記トレーニングされたツリーモデルに対して特徴の重要度評価を実行して、各ツリーモデルによって生成された特徴コラムに、対応する重みを付けることと、
第１のパートナーが線形モデルをトレーニングすることに応じて、前記第１のパートナーと共通の第１のユーザーサンプルのデータを前記第１のパートナーに対応するツリーモデルと第２のパートナーに対応するツリーモデルに入力することで、複数のワンホットエンコーディングされた特徴コラムを取得して、前記第２のパートナーは前記複数のパートナーのうち、前記第１のパートナー以外の一つ又は複数のパートナーであることと、
前記重みに基づいて、取得した特徴コラムを選別して、前記選別された特徴コラムと前記第１のユーザーサンプルのデータに基づいて、前記第１のパートナーに対応する線形モデルをトレーニングすることとを含む連合特徴抽出に基づくマルチモデルトレーニング方法。
ツリーモデルをトレーニングし、当該ツリーモデルは複数のパートナーとそれぞれ共通のユーザーサンプルのデータに基づいて、各前記パートナーとそれぞれ協力してトレーニングされたものであり、各前記パートナーとのデータ伝送は全て暗号化された形で行われることは、
前記複数のパートナーが暗号化アルゴリズムに基づいてそれぞれ生成された公開鍵を受信して、対応する公開鍵に基づいて送信すべきデータを暗号化することと、
前記パートナーがそれにより生成した公開鍵に基づいて暗号化した導関数を受信して、対応するビニングでの勾配和を計算することと、
前記勾配和を前記パートナーに送信して、前記パートナーが前記暗号化アルゴリズムに基づいて生成した秘密鍵によって前記勾配和を復号し、双方のツリーモデルをトレーニングすることとを含む請求項１に記載の方法。
前記重みに基づいて、取得された特徴コラムを選別して、前記選別された特徴コラムと前記第１のユーザーサンプルのデータに基づいて、前記第１のパートナーに対応する線形モデルをトレーニングすることは、
前記第１のパートナーに対応するツリーモデルによって取得された特徴コラムを選択して、前記選択した特徴コラムと前記第１のユーザーサンプルのデータで第１のデータセットを構成することと、
前記第２のパートナーに対応するツリーモデルによって取得された特徴コラムを選別し、前記選別された特徴コラムと前記第１のデータセットで第２のデータセットを構成することと、
前記第２のデータセットに基づいて前記第１のパートナーに対応する線形モデルをトレーニングすることとを含む請求項１に記載の方法。
前記第２のパートナーに対応するツリーモデルによって取得された特徴コラムを選別し、前記選別された特徴コラムと前記第１のデータセットで第２のデータセットを構成することは、
前記第２のパートナーに対応するツリーモデルによって取得された特徴コラムから、その重みが第１の閾値より小さい特徴コラムをフィルタリング除去することで、第１の残りの特徴コラムを取得することと、
前記第１の残りの特徴コラムのうちの２つずつの特徴コラムからなる特徴コラムペアに相関性分析を行うことと、
その相関係数が第２の閾値より大きい全ての特徴コラムペアを確定して、その相関係数が前記第２の閾値より大きくない全ての特徴コラムペアで第２の残りの特徴コラムを構成することと、
前記確定されたその相関係数が前記第２の閾値より大きい各特徴コラムペアのうち、重み値が比較的に大きい特徴コラムを選択して、前記選択した特徴コラムと前記第２の残りの特徴コラムを前記選別した特徴コラムとすることとを含む請求項３に記載の方法。
前記第２のパートナーに対応するツリーモデルによって取得された特徴コラムを選別して、前記選別された特徴コラムと前記第１のデータセットで第２のデータセットを構成することは、
前記第２のパートナーに対応するツリーモデルの各自の重みの閾値をそれぞれ設定することと、
前記第２のパートナーに対応するツリーモデルによって取得された特徴コラムをその各自の重みの閾値に基づいてフィルタリングし、その重みがその対応する重みの閾値より小さい特徴コラムを除去することで、第１の残りの特徴コラムを取得することと、
前記第１の残りの特徴コラムのうちの２つずつの特徴コラムからなる特徴コラムペアに相関性分析を行うことと、
その相関係数が第２の閾値より大きい全ての特徴コラムペアを確定し、その相関係数が前記第２の閾値より大きくない全ての特徴コラムペアで第２の残りの特徴コラムを構成することと、
前記確定されたその相関係数が前記第２の閾値より大きい各特徴コラムペアのうち、重み値が比較的に大きい特徴コラムを選択して、前記選択した特徴コラムと前記第２の残りの特徴コラムを前記選別した特徴コラムとすることとを含む請求項３に記載の方法。
前記暗号化アルゴリズムは、ＲＳＡアルゴリズム、Ｐａｉｌｌｅｒアルゴリズムのうちの１つを含む請求項２に記載の方法。
前記ツリーモデルは、ＸＧＢｏｏｓｔモデル、ＬｉｇｈｔＧＢＭモデルのうちの１つを含む請求項１に記載の方法。
前記線形モデルは、ロジスティック回帰ＬＲモデル、ポアソン回帰ＰＲモデルのうちの１つを含む請求項１に記載の方法。
前記共通のユーザーサンプルのデータは、前記ユーザーサンプルが広告をクリックしたかどうかのラベルデータ及び前記ユーザーサンプルの行為データを含む請求項１に記載の方法。
連合特徴抽出に基づくマルチモデルトレーニング装置であって、
ツリーモデルをトレーニングするように構成され、当該ツリーモデルは複数のパートナーとそれぞれ共通のユーザーサンプルのデータに基づいて、各前記パートナーとそれぞれ協力してトレーニングされたものであり、各前記パートナーとのデータ伝送は全て暗号化された形で行われるツリーモデルトレーニングユニットと、
前記トレーニングされたツリーモデルに対して特徴の重要度評価を実行して、各ツリーモデルによって生成された特徴コラムに、対応する重みを付けるように構成される重要度評価ユニットと、
第１のパートナーが線形モデルをトレーニングすることに応じて、前記第１のパートナーと共通の第１のユーザーサンプルのデータを前記第１のパートナーに対応するツリーモデルと第２のパートナーに対応するツリーモデルに入力することで、複数のワンホットエンコーディングされた特徴コラムを取得するように構成され、前記第２のパートナーは前記複数のパートナーのうち、前記第１のパートナー以外の一つ又は複数のパートナーである特徴抽出ユニットと、
前記重みに基づいて、取得した特徴コラムを選別し、前記選別された特徴コラムと前記第１のユーザーサンプルのデータに基づいて、前記第１のパートナーに対応する線形モデルをトレーニングするように構成される線形モデルトレーニングユニットとを含む連合特徴抽出に基づくマルチモデルトレーニング装置。
前記ツリーモデルトレーニングユニットは、
前記複数のパートナーが暗号化アルゴリズムに基づいてそれぞれ生成された公開鍵を受信して、対応する公開鍵に基づいて送信すべきデータを暗号化し、
前記パートナーがそれにより生成した公開鍵に基づいて暗号化された導関数を受信して、対応するビニングでの勾配和を計算し、
前記勾配和を前記パートナーに送信して、前記パートナーが前記暗号化アルゴリズムに基づいて生成された秘密鍵によって前記勾配和を復号して、双方のツリーモデルをトレーニングするように構成される請求項１０に記載の装置。
前記線形モデルトレーニングユニットは、
前記第１のパートナーに対応するツリーモデルによって取得された特徴コラムを選択して、前記選択した特徴コラムと前記第１のユーザーサンプルのデータで第１のデータセットを構成し、
前記第２のパートナーに対応するツリーモデルによって取得された特徴コラムを選別し、前記選別された特徴コラムと前記第１のデータセットで第２のデータセットを構成し、
前記第２のデータセットに基づいて前記第１のパートナーに対応する線形モデルをトレーニングするように構成される請求項１０に記載の装置。
前記第２のパートナーに対応するツリーモデルによって取得された特徴コラムを選別し、前記選別された特徴コラムと前記第１のデータセットで第２のデータセットを構成することは、
前記第２のパートナーに対応するツリーモデルによって取得された特徴コラムから、その重みが第１の閾値より小さい特徴コラムをフィルタリング除去することで、第１の残りの特徴コラムを取得することと、
前記第１の残りの特徴コラムのうちの２つずつの特徴コラムからなる特徴コラムペアに相関性分析を行うことと、
その相関係数が第２の閾値より大きい全ての特徴コラムペアを確定し、その相関係数が前記第２の閾値より大きくない全ての特徴コラムペアで第２の残りの特徴コラムを構成することと、
前記確定されたその相関係数が前記第２の閾値より大きい各特徴コラムペアのうち、重み値が比較的に大きい特徴コラムを選択して、前記選択した特徴コラムと前記第２の残りの特徴コラムを前記選別した特徴コラムとすることとを含む請求項１２に記載の装置。
前記第２のパートナーに対応するツリーモデルによって取得された特徴コラムを選別し、前記選別された特徴コラムと前記第１のデータセットで第２のデータセットを構成することは、
前記第２のパートナーに対応するツリーモデルの各自の重みの閾値をそれぞれ設定することと、
前記第２のパートナーに対応するツリーモデルによって取得された特徴コラムをその各自の重みの閾値に基づいてフィルタリングし、その重みがその対応する重みの閾値より小さい特徴コラムを除去することで、第１の残りの特徴コラムを取得することと、
前記第１の残りの特徴コラムのうちの２つずつの特徴コラムからなる特徴コラムペアに相関性分析を行うことと、
その相関係数が第２の閾値より大きい全ての特徴コラムペアを確定し、その相関係数が前記第２の閾値より大きくない全ての特徴コラムペアで第２の残りの特徴コラムを構成することと、
前記確定されたその相関係数が前記第２の閾値より大きい各特徴コラムペアのうち、重み値が比較的に大きい特徴コラムを選択して、前記選択した特徴コラムと前記第２の残りの特徴コラムを前記選別した特徴コラムとすることとを含む請求項１２に記載の装置。
前記暗号化アルゴリズムは、ＲＳＡアルゴリズム、Ｐａｉｌｌｅｒアルゴリズムのうちの１つを含む請求項１１に記載の装置。
前記ツリーモデルは、ＸＧＢｏｏｓｔモデル、ＬｉｇｈｔＧＢＭモデルのうちの１つを含む請求項１０に記載の装置。
前記線形モデルは、ロジスティック回帰ＬＲモデル、ポアソン回帰ＰＲモデルのうちの１つを含む請求項１０に記載の装置。
前記共通のユーザーサンプルのデータは、前記ユーザーサンプルが広告をクリックしたかどうかのラベルデータ及び前記ユーザーサンプルの行為データを含む請求項１０に記載の装置。
電子機器であって、
プロセッサ、及び
プログラムが記憶されたメモリを含み、前記プログラムは命令を含み、前記命令は前記プロセッサによって実行される際に、前記プロセッサに請求項１～９のいずれか一項に記載の方法を実行させる電子機器。
プログラムが記憶されたコンピュータ可読記憶媒体であって、前記プログラムは命令を含み、前記命令は電子機器のプロセッサにより実行される際に、前記電子機器に請求項１～９のいずれか一項に記載の方法を実行させるコンピュータ可読記憶媒体。
コンピュータプログラムであって、プロセッサにより実行される際に、請求項１～９のいずれか一項に記載の方法を実現するコンピュータプログラム。