JP2023545896A - シーケンス情報を融合した特徴組み合わせ推薦アルゴリズムフレームワーク - Google Patents

Abstract

本発明は、シーケンス情報を融合した特徴組み合わせ推薦アルゴリズムフレームワークを開示する。本発明の有益な効果は以下の通りであり、第一に、ユーザー過去のクリックシーケンスにクリック率推定モデルが統合され、ユーザーの興味好みをよりよく捉え、ユーザーの描写精度を効果的に向上させたることと、第二に、アルゴリズムのフレームワークで、特徴組み合わせのモデル能力を保持すると同時に、ユーザーの興味と結合して、多種類のモデルを通じて表徴マッピング層を共有し、より正確にアイテムの表徴を学習し、さらに推薦モデルの正確性を高めることと、第三に、モデルトレーニング時に２つのサブネットワークが融合した後に連合学習し、オフラインサービスはフレームワーク全体を使用して推定し、オンラインサービスはユーザー興味のサブネットワークのみを使用して推定し、推薦の正確性を保証しながら軽量化配置を実現すること。【選択図】図１

Description

本発明はインターネット推薦システムの分野に関し、特にシーケンス情報を融合した特徴組み合わせ推薦アルゴリズムフレームワークに関する。

インターネット推薦システムは、アルゴリズムによってユーザーが興味を持つと思われるアイテムを見つけてユーザーに提示するシステムを指す。それはすでに電子商取引、広告、音声ビデオなどのインターネット製品に不可欠な一部となっている。

推薦システムにおけるクリック率の推定は、ユーザの属性、過去の行動、材料の属性などの情報に基づいてユーザが商品をクリックする可能性を判断することを指す。インターネット製品は、クリック率の高いアイテムをユーザーに提示し、ユーザーの転化を促進し、満足度を高め、インターネット製品の新しい活性化を実現する。

本願はこのシーンに対して、シーケンス情報を融合した特徴組み合わせ推薦アルゴリズムフレームワークを提案し、エンドツーエンドのモデルフレームワークを通じて、ユーザーの好みとアイテム特徴をより正確に描写し、推薦システムのクリック率推定の正確性を向上させた。

本発明が解決しようとする技術的な課題は従来技術の欠陥を克服し、シーケンス情報を融合した特徴組み合わせ推薦アルゴリズムフレームワークを提案する。

上記技術的な課題を解決するために、本発明は以下の技術的手段を提供し、
本発明は、以下のステップを含むシーケンス情報を融合した特徴組み合わせ推薦アルゴリズムフレームワークを提案し、
ユーザＵが露出したアイテムＥ、クリックしたアイテムＣ（ここで、Ｃ∈Ｅ）及び各行為のタイムスタンプを含むユーザとアイテムのインタラクティブログを収集すると同時に、ユーザー特徴情報（年齢、性別、地域など）、アイテム特徴情報（カテゴリ、ブランド、店舗など）を保存するＳ１と、
収集されたログ情報を以下２つのセクションを含む構造化データに整理するＳ２と、
１）図２に示すように、各ユーザーが露出しクリックなし／クリックありのアイテムをクリック時間順にソートし、ｋ個のクリックアイテムを単位として切り取ってサンプルデータを生成するユーザークリックアイテムのシーケンスデータと、
２）＜ユーザー番号、アイテム番号＞をサンプル主キーとし、ここで、露出しクリックなしのサンプルは０としてマークされ、露出しクリックありのサンプルは１としてマークされると同時に、ユーザー特徴情報、アイテム特徴情報、ユーザーとアイテムのインタラクティブ情報をサンプル特徴として整理するクリック分類サンプルデータ、
上記２つのセクションのデータを本アルゴリズムフレームワークに導入して学習を行い、２つのセクションのデータはそれぞれフレームワークにおける以下２つのサブネットワークに対応するＳ３と、
１）上記ユーザークリックアイテムのシーケンスデータを使用して、ユーザークリックシーケンスのアイテムＩＤ及び特徴情報を入力し、ｅｍｂｅｄｄｉｎｇ層を経て稠密ベクトルにマッピングされ、ｓｕｍ ｐｏｏｌｉｎｇ層を経てユーザ歴史的な興味好みを示すとともに、ユーザー特徴情報と候補アイテムはｅ、ｍｂｅｄｄｉｎｇ層を経て稠密ベクトルにマッピングされ、前記ユーザ歴史的な興味好みと結合して圧縮され、ユーザ情報、ユーザ歴史的な興味、対象アイテム間のネットワーク関係を構築し、さらに全結合層とｓｉｇｍｏｉｄ関数を通じて、ネットワークパラメータをトレーニングし、図３に示すように、Ｌｏｓｓ ｆｕｎｃｔｉｏｎは以下の式で表されるユーザ興味のサブネットワークと、

ここで、ｎはサンプルの総量であり、ｙはクリックするかどうかのラベルであり、ｐは出力層の確率値であり、
２）上記クリック分類サンプルデータを使用して、露出した＜ユーザ、アイテム＞サンプルペアに対して、ユーザの属性情報、アイテムの属性情報、ユーザとアイテムのインタラクティブ情報を補助し、ユーザがクリックしたかどうかをラベルとして二項分類学習を行い、入力された特徴情報は共有ｅｍｂｅｄｄｉｎｇ層を経て稠密ベクトルにマッピングされ、伝統的なＤＮＮネットワークを経て特徴組み合わせの交差を実現し、最終的にｓｉｇｍｏｉｄ関数を経て分類学習を行い、図４に示すように、Ｌｏｓｓ ｆｕｎｃｔｉｏｎは以下の式で表される特徴組み合わせのサブネットワーク、

ここで、ｎはサンプルの総量であり、ｙはクリックするかどうかのラベルであり、ｐは出力層の確率値であり、
図５に示すように、上記２つのサブネットワークを本フレームワークにおいて共有ｅｍｂｅｄｄｉｎｇ層を通じてマッピングし、且つ連合学習を行い、
各サブネットワークは推薦シーンの一部の情報を学習し、その中で、ユーザ興味のサブネットワークは、ユーザーの歴史的な興味好みを学習するとともに、ユーザー特徴とアイテム特徴の表徴を最適化し、特徴組み合わせのサブネットワークは、ネットワークを通じてアイテム、ユーザー間の高次交差特徴とクリック率の関係を学習するとともに、ユーザー特徴とアイテム特徴の表徴を最適化し、
学習効果を高めるために、本フレームワークは２つのサブネットワークに対して連合学習を行い、まず、２つのサブネットワークはｅｍｂｅｄｄｉｎｇマッピング層を共有し、ｅｍｂｅｄｄｉｎｇ層に興味シーケンス情報とシングルポイント推定情報を融合させ、ｅｍｂｅｄｄｉｎｇ表徴の正確性を向上させると同時に、最終的なｌｏｓｓ層で２つのサブネットワークのｌｏｓｓを以下の式で加重合計するＳ４と、

ここで、αはシーンのデータ特性及び学習効果に応じて調整することが可能であり、
クリック率の推定とオンラインサービスを行い、
モデルトレーニング時にフレームワークにおける２つのサブネットワークを連合学習を通じて同時にトレーニングし、オフライン推定する時には、時効性に対する要求が低く、フレームワーク全体を通じて正確な推定を行うことが可能であり、オンライン推定する場合、システムの時効性に対する要求が高く、且つユーザークリックシーケンスに現れた興味好みは絶えず変わっていき、ユーザー興味のサブネットワークを単独で使用して推薦結果を推定更新することができ、ユーザーの短期的な興味の変化によりよく寄り添うとともに、オンライン軽量化配置を実現するＳ５と、
推定されたユーザが部品に対するクリック確率値を降順にソートし、確率値が最も高いＫ個アイテムをソート結果としてｈｂａｓｅに格納するＳ６と、
ユーザーがログインすると、フロントエンドはインタフェースを介してｈｂａｓｅに格納されているソート結果を取得し、順番に表示するＳ７

従来技術と比較して、本発明の有益な効果は以下の通りであり、
第一に、ユーザー過去のクリックシーケンスにクリック率推定モデルが統合され、ユーザーの興味好みをよりよく捉え、ユーザーの描写精度を効果的に向上させたることと、
第二に、アルゴリズムのフレームワークで、特徴組み合わせのモデル能力を保持すると同時に、ユーザーの興味と結合して、多種類のモデルを通じて表徴マッピング層を共有し、より正確にアイテムの表徴を学習し、さらに推薦モデルの正確性を高めることと、
第三に、モデルトレーニング時に２つのサブネットワークが融合した後に連合学習し、オフラインサービスはフレームワーク全体を使用して推定し、オンラインサービスはユーザー興味のサブネットワークのみを使用して推定し、推薦の正確性を保証しながら軽量化配置を実現する。

図面は、本発明のさらなる理解を提供するためのものであり、本発明の実施形態とともに本発明を説明するための明細書の一部を構成するためのものであり、本発明の制限を構成するものではない。図面について、
本発明の実行フローチャートである。 本発明のユーザ－アイテムのインタラクティブシーケンスデータ概略図である。 本発明のユーザー興味のサブネットワーク概略図である。 本発明の特徴組み合わせのサブネットワーク概略図である。 本発明の推薦フレームワーク概略図である。

以下、添付図面を使用して本発明の好適な実施形態を説明するが、ここで説明する好適な実施形態は本発明の説明及び説明にのみ用いられ、本発明を限定するために用いられるものではないことを理解すべきである。

（実施形態１）
図１－５に示すように、本発明は、以下のステップを含むシーケンス情報を融合した特徴組み合わせ推薦アルゴリズムフレームワークを提供し、
ユーザＵが露出したアイテムＥ、クリックしたアイテムＣ（ここで、Ｃ∈Ｅ）及び各行為のタイムスタンプを含むユーザとアイテムのインタラクティブログを収集すると同時に、ユーザー特徴情報（年齢、性別、地域など）、アイテム特徴情報（カテゴリ、ブランド、店舗など）を保存するＳ１と、
収集されたログ情報を以下２つのセクションを含む構造化データに整理するＳ２と、
３）図２に示すように、各ユーザーが露出しクリックなし／クリックありのアイテムをクリック時間順にソートし、ｋ個のクリックアイテムを単位として切り取ってサンプルデータを生成するユーザークリックアイテムのシーケンスデータと、
４）＜ユーザー番号、アイテム番号＞をサンプル主キーとし、ここで、露出しクリックなしのサンプルは０としてマークされ、露出しクリックありのサンプルは１としてマークされると同時に、ユーザー特徴情報、アイテム特徴情報、ユーザーとアイテムのインタラクティブ情報をサンプル特徴として整理するクリック分類サンプルデータ、
上記２つのセクションのデータを本アルゴリズムフレームワークに導入して学習を行い、２つのセクションのデータはそれぞれフレームワークにおける以下２つのサブネットワークに対応するＳ３と、
３）上記ユーザークリックアイテムのシーケンスデータを使用して、ユーザークリックシーケンスのアイテムＩＤ及び特徴情報を入力し、ｅｍｂｅｄｄｉｎｇ層を経て稠密ベクトルにマッピングされ、ｓｕｍ ｐｏｏｌｉｎｇ層を経てユーザ歴史的な興味好みを示すとともに、ユーザー特徴情報と候補アイテムはｅ、ｍｂｅｄｄｉｎｇ層を経て稠密ベクトルにマッピングされ、前記ユーザ歴史的な興味好みと結合して圧縮され、ユーザ情報、ユーザ歴史的な興味、対象アイテム間のネットワーク関係を構築し、さらに全結合層とｓｉｇｍｏｉｄ関数を通じて、ネットワークパラメータをトレーニングし、図３に示すように、Ｌｏｓｓ ｆｕｎｃｔｉｏｎは以下の式で表されるユーザ興味のサブネットワークと、

ここで、ｎはサンプルの総量であり、ｙはクリックするかどうかのラベルであり、ｐは出力層の確率値であり、
４）上記クリック分類サンプルデータを使用して、露出した＜ユーザ、アイテム＞サンプルペアに対して、ユーザの属性情報、アイテムの属性情報、ユーザとアイテムのインタラクティブ情報を補助し、ユーザがクリックしたかどうかをラベルとして二項分類学習を行い、入力された特徴情報は共有ｅｍｂｅｄｄｉｎｇ層を経て稠密ベクトルにマッピングされ、伝統的なＤＮＮネットワークを経て特徴組み合わせの交差を実現し、最終的にｓｉｇｍｏｉｄ関数を経て分類学習を行い、図４に示すように、Ｌｏｓｓ ｆｕｎｃｔｉｏｎは以下の式で表される特徴組み合わせのサブネットワーク、

ここで、ｎはサンプルの総量であり、ｙはクリックするかどうかのラベルであり、ｐは出力層の確率値であり、
図５に示すように、上記２つのサブネットワークを本フレームワークにおいて共有ｅｍｂｅｄｄｉｎｇ層を通じてマッピングし、且つ連合学習を行い、
各サブネットワークは推薦シーンの一部の情報を学習し、その中で、ユーザ興味のサブネットワークは、ユーザーの歴史的な興味好みを学習するとともに、ユーザー特徴とアイテム特徴の表徴を最適化し、特徴組み合わせのサブネットワークは、ネットワークを通じてアイテム、ユーザー間の高次交差特徴とクリック率の関係を学習するとともに、ユーザー特徴とアイテム特徴の表徴を最適化し、
学習効果を高めるために、本フレームワークは２つのサブネットワークに対して連合学習を行い、まず、２つのサブネットワークはｅｍｂｅｄｄｉｎｇマッピング層を共有し、ｅｍｂｅｄｄｉｎｇ層に興味シーケンス情報とシングルポイント推定情報を融合させ、ｅｍｂｅｄｄｉｎｇ表徴の正確性を向上させると同時に、最終的なｌｏｓｓ層で２つのサブネットワークのｌｏｓｓを以下の式で加重合計するＳ４と、

ここで、αはシーンのデータ特性及び学習効果に応じて調整することが可能であり、
クリック率の推定とオンラインサービスを行い、
モデルトレーニング時にフレームワークにおける２つのサブネットワークを連合学習を通じて同時にトレーニングし、オフライン推定する時には、時効性に対する要求が低く、フレームワーク全体を通じて正確な推定を行うことが可能であり、オンライン推定する場合、システムの時効性に対する要求が高く、且つユーザークリックシーケンスに現れた興味好みは絶えず変わっていき、ユーザー興味のサブネットワークを単独で使用して推薦結果を推定更新することができ、ユーザーの短期的な興味の変化によりよく寄り添うとともに、オンライン軽量化配置を実現するＳ５と、
推定されたユーザが部品に対するクリック確率値を降順にソートし、確率値が最も高いＫ個アイテムをソート結果としてｈｂａｓｅに格納するＳ６と、
ユーザーがログインすると、フロントエンドはインタフェースを介してｈｂａｓｅに格納されているソート結果を取得し、順番に表示するＳ７。

具体的には、例示的なプロセスは以下のようになり、
１、露出レコードとクリックレコード、及びユーザー特徴とアイテム特徴を含むユーザとアイテムのインタラクティブ情報を収集する。

２、インタラクティブレコードから2つの構造化サブデータを生成し、ユーザークリックアイテムのシーケンスデータと、対応するユーザー特徴とアイテム特徴と、露出し未クリックなし/クリックありラベル、およびユーザー特徴、アイテム特徴、ユーザーとアイテムのインタラクティブ特徴と、を含む。

３、2つの構造化サブデータを本フレームワークの2つのサブネットワークに入力し、本フレームワークの連合学習方式に基づいてモデル学習を行い、αを0.2に設定する。

４、3でトレーニングして得られたembedding表徴と各サブネットワークにおけるパラメータを保存する。

５、オフラインサービスの場合、予測されたユーザー及びアイテム特徴を本フレームワークに入力し、ユーザーの物品に対するクリック率の推定値を出力し、オンラインサービスの場合、予測されたユーザ及びアイテム特徴をユーザ興味のネットワークに入力し、更新されたクリック率の推定値を出力する。

６、最もクリック率の高いTOP 100アイテムを降順にソートし、最終的なソート結果としてユーザーに提示する。

最後に、上述は本発明の好適な実施形態にすぎず、本発明を限定するためには使用されないが、上述の実施形態を参照して本発明を詳細に説明したが、当業者にとっては、上述の各実施形態に記載された技術的態様を修正したり、技術的特徴の一部を同等に置き換えたりすることができる。本発明の精神と原則の中で、行ったいかなる修正、等価置換、改良などは、本発明の保護範囲に含まれるべきである。

Claims (1)

1. 以下のステップを含むことを特徴とするシーケンス情報を融合した特徴組み合わせ推薦アルゴリズムフレームワーク。
   ユーザＵが露出したアイテムＥ、クリックしたアイテムＣ（ここで、Ｃ∈Ｅ）及び各行為のタイムスタンプを含むユーザとアイテムのインタラクティブログを収集すると同時に、ユーザー特徴情報（年齢、性別、地域など）、アイテム特徴情報（カテゴリ、ブランド、店舗など）を保存するＳ１と、
   収集されたログ情報を以下２つのセクションを含む構造化データに整理するＳ２と、
   ５）図２に示すように、各ユーザーが露出しクリックなし／クリックありのアイテムをクリック時間順にソートし、ｋ個のクリックアイテムを単位として切り取ってサンプルデータを生成するユーザークリックアイテムのシーケンスデータと、
   ６）＜ユーザー番号、アイテム番号＞をサンプル主キーとし、ここで、露出しクリックなしのサンプルは０としてマークされ、露出しクリックありのサンプルは１としてマークされると同時に、ユーザー特徴情報、アイテム特徴情報、ユーザーとアイテムのインタラクティブ情報をサンプル特徴として整理するクリック分類サンプルデータ、
   上記２つのセクションのデータを本アルゴリズムフレームワークに導入して学習を行い、２つのセクションのデータはそれぞれフレームワークにおける以下２つのサブネットワークに対応するＳ３と、
   ５）上記ユーザークリックアイテムのシーケンスデータを使用して、ユーザークリックシーケンスのアイテムＩＤ及び特徴情報を入力し、ｅｍｂｅｄｄｉｎｇ層を経て稠密ベクトルにマッピングされ、ｓｕｍ ｐｏｏｌｉｎｇ層を経てユーザ歴史的な興味好みを示すとともに、ユーザー特徴情報と候補アイテムはｅ、ｍｂｅｄｄｉｎｇ層を経て稠密ベクトルにマッピングされ、前記ユーザ歴史的な興味好みと結合して圧縮され、ユーザ情報、ユーザ歴史的な興味、対象アイテム間のネットワーク関係を構築し、さらに全結合層とｓｉｇｍｏｉｄ関数を通じて、ネットワークパラメータをトレーニングし、図３に示すように、Ｌｏｓｓ ｆｕｎｃｔｉｏｎは以下の式で表されるユーザ興味のサブネットワークと、
   

   

   ここで、ｎはサンプルの総量であり、ｙはクリックするかどうかのラベルであり、ｐは出力層の確率値であり、
   ６）上記クリック分類サンプルデータを使用して、露出した＜ユーザ、アイテム＞サンプルペアに対して、ユーザの属性情報、アイテムの属性情報、ユーザとアイテムのインタラクティブ情報を補助し、ユーザがクリックしたかどうかをラベルとして二項分類学習を行い、入力された特徴情報は共有ｅｍｂｅｄｄｉｎｇ層を経て稠密ベクトルにマッピングされ、伝統的なＤＮＮネットワークを経て特徴組み合わせの交差を実現し、最終的にｓｉｇｍｏｉｄ関数を経て分類学習を行い、図４に示すように、Ｌｏｓｓ ｆｕｎｃｔｉｏｎは以下の式で表される特徴組み合わせのサブネットワーク、
   

   

   ここで、ｎはサンプルの総量であり、ｙはクリックするかどうかのラベルであり、ｐは出力層の確率値であり、
   図５に示すように、上記２つのサブネットワークを本フレームワークにおいて共有ｅｍｂｅｄｄｉｎｇ層を通じてマッピングし、且つ連合学習を行い、
   各サブネットワークは推薦シーンの一部の情報を学習し、その中で、ユーザ興味のサブネットワークは、ユーザーの歴史的な興味好みを学習するとともに、ユーザー特徴とアイテム特徴の表徴を最適化し、特徴組み合わせのサブネットワークは、ネットワークを通じてアイテム、ユーザー間の高次交差特徴とクリック率の関係を学習するとともに、ユーザー特徴とアイテム特徴の表徴を最適化し、
   学習効果を高めるために、本フレームワークは２つのサブネットワークに対して連合学習を行い、まず、２つのサブネットワークはｅｍｂｅｄｄｉｎｇマッピング層を共有し、ｅｍｂｅｄｄｉｎｇ層に興味シーケンス情報とシングルポイント推定情報を融合させ、ｅｍｂｅｄｄｉｎｇ表徴の正確性を向上させると同時に、最終的なｌｏｓｓ層で２つのサブネットワークのｌｏｓｓを以下の式で加重合計するＳ４と、
   

   

   ここで、αはシーンのデータ特性及び学習効果に応じて調整することが可能であり、
   クリック率の推定とオンラインサービスを行い、
   モデルトレーニング時にフレームワークにおける２つのサブネットワークを連合学習を通じて同時にトレーニングし、オフライン推定する時には、時効性に対する要求が低く、フレームワーク全体を通じて正確な推定を行うことが可能であり、オンライン推定する場合、システムの時効性に対する要求が高く、且つユーザークリックシーケンスに現れた興味好みは絶えず変わっていき、ユーザー興味のサブネットワークを単独で使用して推薦結果を推定更新することができ、ユーザーの短期的な興味の変化によりよく寄り添うとともに、オンライン軽量化配置を実現するＳ５と、
   推定されたユーザが部品に対するクリック確率値を降順にソートし、確率値が最も高いＫ個アイテムをソート結果としてｈｂａｓｅに格納するＳ６と、
   ユーザーがログインすると、フロントエンドはインタフェースを介してｈｂａｓｅに格納されているソート結果を取得し、順番に表示するＳ７。