JP2023537480A - 予測情報を生成するための方法、装置、電子機器及び媒体 - Google Patents

予測情報を生成するための方法、装置、電子機器及び媒体 Download PDF

Info

Publication number
JP2023537480A
JP2023537480A JP2023507396A JP2023507396A JP2023537480A JP 2023537480 A JP2023537480 A JP 2023537480A JP 2023507396 A JP2023507396 A JP 2023507396A JP 2023507396 A JP2023507396 A JP 2023507396A JP 2023537480 A JP2023537480 A JP 2023537480A
Authority
JP
Japan
Prior art keywords
vector
user
word
input text
group
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2023507396A
Other languages
English (en)
Inventor
▲暁▼▲偉▼ 胡
成 ▲楊▼
▲長▼虎 王
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing ByteDance Network Technology Co Ltd
Original Assignee
Beijing ByteDance Network Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing ByteDance Network Technology Co Ltd filed Critical Beijing ByteDance Network Technology Co Ltd
Publication of JP2023537480A publication Critical patent/JP2023537480A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/274Converting codes to words; Guess-ahead of partial word inputs
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133Distances to prototypes
    • G06F18/24137Distances to cluster centroïds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/216Parsing using statistical methods
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/289Phrasal analysis, e.g. finite state techniques or chunking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/42Data-driven translation
    • G06F40/44Statistical methods, e.g. probability models
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/148Segmentation of character regions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Machine Translation (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本開示の実施例は、予測情報を生成するための方法、装置、電子機器および媒体を開示する。この方法の具体的な実施形態として、少なくとも1つの入力単語を取得することと、対象入力テキストを単語分割して得た少なくとも1つの入力単語のワードベクトルを生成し、ワードベクトル群を取得することと、前記ワードベクトル群に基づいて、入力テキストベクトルを生成することと、上記入力テキストベクトルと、ユーザ履歴情報から得られたユーザベクトルとに基づいて、ユーザの意図を予測するための予測情報を生成することと、を含む。該実施形態では、ユーザの意図を予測するための予測情報を生成することで、不要な情報のポップアップを低減することができる。ユーザへの迷惑を避けることができ、ユーザ体験を向上できる。

Description

[関連出願の相互参照]
本出願は、出願番号が202010797886.2、出願日が2020年08月10日、名称が「予測情報を生成するための方法、装置、電子機器及び媒体」という中国特許出願に基づいて提出されたものであり、当該中国特許出願の優先権を主張し、当該中国特許出願の全ての内容はここで参考として本出願に取り込まれている。
[技術分野]
本開示の実施例は、コンピュータ技術の分野に関するものであり、具体的に、予測情報を生成するための方法、装置、電子機器および媒体に関する。
インターネット時代の発展に伴い、人々は電子機器を頻繁に使用してコミュニケーションのための情報を入力する。入力情報は一般的にテキスト情報である。入力情報の表現を豊かで直感的にするために、テキスト情報に関連するGIF(Graphics Interchange Format)画像が用いられることも多い。ユーザ体験を向上させるために、GIF画像を自動的にポップアップする方法を採用することができる。たとえば、ユーザが私信を用いて会話をしている場合、テキスト情報を入力するとGIF画像が自動的にポップアップされる。しかし、あまりに頻繁にGIF画像をポップアップすることはユーザに迷惑をかけ、ユーザ体験に影響を与える場合もある。
本開示の概要は、以下の具体的な実施形態の部分で詳細に説明される構想を簡潔な形で提示するために使用される。本開示の概要は、保護請求する発明の主要な特徴又は必要な特徴を標記することを目的とするものではなく、また、保護請求する発明の技術的範囲を限定することを目的とするものでもない。
本開示のいくつかの実施例は、上記の背景技術に記載された課題を解決するために、予測情報を生成するための方法、装置、電子機器および媒体を提案する。
第1の態様では、本開示のいくつかの実施例は、予測情報を生成するための方法を提供する。この方法は、対象入力テキストを単語分割して得た少なくとも1つの入力単語を取得することと、少なくとも1つの入力単語のうち各入力単語のワードベクトル(word vector)を生成し、ワードベクトル群を得ることと、上記ワードベクトル群に基づいて、入力テキストベクトルを生成することと、上記入力テキストベクトルとユーザベクトルとに基づいて、ユーザの意図を予測するための予測情報を生成することと、を含む。
第2の態様では、本開示のいくつかの実施例は、予測情報を生成するための装置を提供する。該装置は、対象入力テキストを単語分割して得た少なくとも1つの入力単語を取得する取得ユニットと、対象入力テキストを単語分割して得た少なくとも1つの入力単語のそれぞれのワードベクトルを生成し、ワードベクトル群を取得するように構成されるワードベクトル生成ユニットと、前記ワードベクトル群に基づいて入力テキストベクトルを生成する入力テキストベクトル生成ユニットと、上記入力テキストベクトルとユーザベクトルとに基づいて、ユーザの意図を予測するための予測情報を生成する生成ユニットと、を含む。
第3の態様では、本開示のいくつかの実施例は電子機器を提供する。該電子機器は、1つ又は複数のプロセッサと、1つ又は複数のプログラムを記憶する記憶装置とを含み、1つ又は複数のプログラムが1つ又は複数のプロセッサによって実行されるときに、1つ又は複数のプロセッサが、第1の態様に記載された方法を実現する。
第4の態様では、本開示のいくつかの実施例は、コンピュータプログラムを格納するコンピュータ読み取り可能な媒体を提供し、プログラムは、プロセッサによって実行されると、第1の態様に記載された方法を実現する。
本開示の上述した各実施例のうちの1つは、下記の有益な効果を有する。入力単語のワードベクトルを生成することにより、入力テキストベクトルを生成する。入力テキストベクトルを直接生成することで誤差が生じやすいという状況を回避することができる。そして、入力テキストベクトルとユーザベクトルとに基づいて、ユーザの要求意図を予測するための予測情報を生成する。ユーザベクトルは、ユーザ履歴情報に基づいて取得されたものであるため、ユーザの行動履歴を反映することができる。よって、生成された予測情報も、ユーザのニーズに一層に合致したものとなる。これにより、ユーザベクトルと入力テキストベクトルとに応じて、ユーザの要求意図を判定する方法を提供する。GIF画像をユーザにポップアップする前にユーザの要求意図を予測することにより、不要な情報のポップアップを減少して、ユーザに迷惑をかけないようにして、ユーザ体験を向上させる。
図面と併せて以下の具体的な実施形態を参照すると、本開示の実施例の上記および他の特徴、利点、および態様がより明らかになる。図面全体において、同一又は類似の符号は、同一又は類似の要素を表す。図面は概略的なものであり、部品及び要素は必ずしも実際の寸尺通りに描かれているとは限らないことが理解されるべきである。
本開示のいくつかの実施例に係る予測情報を生成するための方法の1つの適用シーンを示す概略図である。 本開示に係る予測情報を生成するための方法のいくつかの実施例のフローチャートである。 本開示のいくつかの実施例に係る予測情報を生成するための方法の適用シーンを示す図である。 本開示のいくつかの実施例に係る予測情報を生成するための方法の適用シーンを示す図である。 本開示に係る予測情報を生成するための方法の他の実施例のフローチャートである。 本開示の他の実施例に係る予測情報を生成するための方法の適用シーンを示す図である。 本開示に係る予測情報を生成するための装置のいくつかの実施例の模式構成図図である。 本開示のいくつかの実施例を実現するために適合された電子機器の模式構成図である。
以下、図面を参照して、本開示の実施例についてより詳細に説明する。本開示のいくつかの実施例が図面に示されているが、本開示は様々な形態で実現されることが可能であり、本明細書に記載された実施例に限定されるものとして解釈されるべきではないことが理解されるべきである。むしろ、これらの実施形態は、本開示をより明瞭かつ完全に理解するために提供される。本開示の図面および実施例は、例示の目的のみで使用され、本開示の範囲を制限するために使用されるものではないことが理解されるべきである。
なお、説明を容易にするために、図面には当該発明に関連する部分のみが示されている。本開示における実施例および実施例における特徴は、矛盾しない場合に互いに組み合わされてもよい。
本開示で言及されている「第1の」、「第2の」などの概念は、異なる装置、モジュール、またはユニットを区別するためにのみ使用され、これらの装置、モジュール、またはユニットによって実行される機能の順序または相互依存関係を規定するものではないことに留意されたい。
なお、本開示で言及されている「1つの」、「複数の」の修飾は、限定的ではなく概略的なものであり、文中において明示的な記載がない限り、「1つまたは複数の」と理解されるべきであることを当業者は理解すべきである。
本開示の実施例における複数の装置間のインタラクティブメッセージまたは情報の名称は、単に例示の目的のために使用されるものであり、これらのメッセージまたは情報の範囲を制限するために使用されるものではない。
以下、図面を参照しながら、実施例に合わせて本開示を詳細に説明する。
図1は、本開示のいくつかの実施例に係る予測情報を生成するための方法の1つの適用シーンを示す概略図である。
図1に示すように、計算デバイス101は、入力単語103および入力単語104を取得する。ここで、入力単語103および入力単語104を取得することは、入力テキスト102を単語分割して得たものである。もちろん、上述の単語分割は、別の計算デバイスによって入力テキスト102に対して行われてもよく、その後、計算デバイスは単語分割結果、即ち入力単語103および入力単語104を直接的に取得する。その後、計算デバイス101は、入力単語103のワードベクトル105および入力単語104のワードベクトル106を生成する。ワードベクトル105とワードベクトル106とに基づいて、入力テキストベクトル107を生成する。計算デバイス101は、入力テキストベクトル107及びユーザベクトル108に基づいて予測情報109生成する。
なお、上述の計算デバイス101は、ハードウェアであってもよいし、ソフトウェアであってもよい。計算デバイスがハードウェアである場合、複数のサーバまたは端末装置からなる分散クラスタとして実現することができ、または単一のサーバまたは単一の端末装置として実現することができる。計算デバイスがソフトウェアである場合、例えば、分散されたサービスを提供するために使用される複数のソフトウェアまたはソフトウェアモジュールとして実現されてもよいし、単一のソフトウェアまたはソフトウェアモジュールとして実現されてもよい。ここで具体的な限定はしない。
図1の計算デバイスの数は、単に模式的なものであることを理解すべきである。実際のニーズに応じて、任意の数の計算デバイスを有しても良い。
図2には、本開示に係る予測情報を生成するための方法のいくつかの実施例のフローチャート200が示されている。予測情報を生成するための方法は、以下のステップを含む。
ステップ201:少なくとも1つの入力単語を取得する。
いくつかの実施例では、予測情報を生成するための方法の実行主体(図1に示す計算デバイス101)は、有線接続または無線接続を介して上記の少なくとも1つの入力単語を取得する。上記の少なくとも1つの入力単語は、対象入力テキストを単語分割して得られた単語であってもよい。例えば、上記実行主体は、ユーザによる入力テキストを対象入力テキストとして受け取る。次に、受信された対象入力テキストを単語分割処理して、少なくとも1つの入力単語を得る。また、例えば、上記実行主体は、ユーザによって入力された入力単語を、上記の少なくとも1つの入力単語として受け取る。
なお、上記の無線接続手段には、3G/4G接続、Wi-Fi接続、Bluetooth接続、WiMAX接続、Zigbee接続、UWB(ウルトラワイドバンド)接続、および現在知られているか、将来開発される他の無線接続手段が含まれ得るが、これらに限定されない。
ステップ202:少なくとも1つの入力単語のそれぞれのワードベクトルを生成して、ワードベクトル群を取得する。
いくつかの実施例では、上記実行主体は、様々な方法で入力単語のワードベクトルを生成することができる。例えば、上記実行主体は、上記少なくとも1つの入力単語の各々に対して単語埋め込みを行い、各入力単語のワードベクトルを求め、これらを組み合わせて上記ワードベクトル群を得る。また、例えば、上記実行主体は、予め定義されたワードベクトルテーブルにおいてルックアップすることにより、上記の入力単語のワードベクトルを取得しても良い。ここで、ワードベクトルテーブルは、入力単語とワードベクトルとの対応関係を表す。
前述した単語埋め込みは、自然言語処理(Natural Language Processing,NLP)における言語モデルおよび学習技術の総称である。概念としては、次元数がすべての語の数である高次元空間を、次元数がはるかに低い連続ベクトル空間に埋め込むことであり、各単語やフレーズは実数領域上のベクトルにマッピングされる。具体的には、ワードベクトルは、単語またはフレーズが単語埋め込み法により実数にマッピングされたベクトルであってもよい。概念的には、各単語の1次元の空間から、より低い次元の連続ベクトル空間への数学的な埋め込みに関する。
ステップ203:上記ワードベクトル群に基づいて、入力テキストベクトルを生成する。
いくつかの実施例では、上記実行主体は、加算によって上記入力テキストベクトルを生成する。一例として、上記実行主体は、累積加算法を用いて上記ワードベクトル群中のワードベクトルを加算して、上記入力テキストベクトルを生成してもよい。例として、上記実行主体は、平均法を用いて上記ワードベクトル群中のワードベクトルを加算してから平均値を求めて、上記入力テキストベクトルを生成する。
ステップ204:上記入力テキストベクトルとユーザベクトルとに基づいて、ユーザの意図を予測するための予測情報を生成する。
いくつかの実施例では、上記実行主体は、上記入力テキストベクトルと上記ユーザベクトルとを点乗算して点乗算結果を得る。上記実行主体は、予め定義されたユーザアカウント情報とユーザベクトルとの対応関係テーブルにおいて、ユーザアカウント情報に基づいてルックアップを行うことにより、ユーザベクトルを取得する。ここで、ユーザベクトルは、ユーザの履歴操作を表すベクトルであってもよい。ユーザベクトルは、一例として、ユーザがポップアップされたGIF画像をクリックしたか否かの履歴を表すベクトルであってもよい。点乗算結果に対して、活性化関数を用いて処理し、点乗算スコアを得る。ここで、活性化関数はSigmoid関数とすることができ、データを(0,1)区間にマッピングするために用いることができる。スコアは、例えば確率など、複数の表現形式を有してもよい。ここで、ベクトルの点乗算(ドット積)は、ベクトルの内積、数量積とも呼ばれる。点乗算は、2つのベクトルを、対応する桁1つずつ乗算した後に加算するものであってもよく、点乗算の結果はスカラーである。
いくつかの実施例のいくつかの選択可能な実施形態では、ユーザベクトルはユーザ履歴情報に基づいて得られる。ユーザ履歴情報は、ユーザがポップアップ画像をクリックしたか否かの履歴操作情報であってもよい。
上記実行主体は、正規化法を用いて点乗算結果を処理し、点乗算スコアを取得することが好ましい。正規化法は、データを(0,1)の間の小数に変換するために使用することができる。
いくつかの実施例では、上記実行主体は、得られた点乗算スコアを所定の閾値と比較して比較結果を取得する。さらに、上記の比較結果に基づいて、ユーザの意図を予測するための予測情報を生成する。予測情報は、上記比較結果の文字表現であってもよい。ここで、所定の閾値は、前記点乗算スコアが必要を満たすか否かを判定するためのスコア値であってもよい。
一例として、得られた点乗算スコアは「0.8ポイント」であってもよいし、所定の閾値は「0.6ポイント」であってもよい。前記実行主体は、前記点乗算スコアと前記所定の閾値とを比較して、「前記点乗算スコアが前記所定の閾値より大きい」という比較結果を得る。そして、上述した実行主体は、「ユーザはGIF画像のポップアップの必要があるかもしれない」という予測情報を生成する。
一例として、図3の適用シーンでは、ユーザがメッセージを受信した後、入力ボックス301に「ニャン」という情報を入力すると、得られる点乗算スコアは「0.9ポイント」であってもよく、所定の閾値は「0.6ポイント」であってもよい。すると、上述した実行主体は、比較結果に基づいて、「ユーザはGIF画像のポップアップの必要があるかもしれない」という予測情報を生成する。これにより、上述した実行主体は表示画像302を表示する。あるいは、ユーザが画像302をクリックすると、上記実行主体は、画像302を送信情報として送信してもよい。図4の適用シーンでは、ユーザがメッセージを受信した後、入力ボックス301に「どちらも好きです」という情報を入力すると、得られる点乗算スコアは「0.3ポイント」であってもよい。すると、上述した実行主体は、比較結果に基づいて、「ユーザはGIF画像のポップアップの必要がないかもしれない」という予測情報を生成することができる。これにより、上記実行主体は画像を表示しない。あるいは、ユーザが送信ボタン303をクリックすると、上記実行主体は、ユーザが入力ボックス301に入力した情報を送信してもよい。
いくつかの実施例のいくつかの選択可能な実施形態では、上記方法は、ユーザの意図を予測するための上記予測情報に基づいて、画像をポップアップするか否かを決定することと、画像をポップアップすると決定したことに応答して、画像データベースから少なくとも1つの画像をポップアップ画像として選択して、ポップアップ画像群を得ることと、ユーザ履歴情報に基づいて、前記ポップアップ画像群内のポップアップ画像をランキングしてポップアップ画像シーケンスを得ることと、前記ポップアップ画像シーケンスから所定の数のポップアップ画像を選択することと、上記の所定数のポップアップ画像を、対象インターフェースに表示することと、を含む。
いくつかの実施例のいくつかの選択可能な実施形態では、前記した、画像をポップアップすると決定したことに応答して、画像データベースから少なくとも1つの画像をポップアップ画像として選択し、ポップアップ画像群を得ることには、画像をポップアップすると決定したことに応答して、画像データベース内の各画像の特徴ベクトルを取得し、特徴ベクトル群を得ることと、前記特徴ベクトル群の各特徴ベクトルと前記入力テキストベクトルとの相関度を特定し、相関度集合を得ることと、前記相関度集合に基づいて、前記画像データベースから相関度が所定の閾値よりも大きい画像をポップアップ画像として選択し、ポップアップ画像群を得る。
例として、ユーザの意図を予測するための予測情報は、「ユーザがGIF画像のポップアップの必要があるかもしれない」であってもよい。上記実行主体は、ポップアップされる画像(例えば、GIF画像)を特定する。そして、上記実行主体は、画像データベース内の各画像の特徴ベクトルを取得する。ここで、画像データベースは、少なくとも1つの画像と、その画像に対応する特徴ベクトルとを含む。上記相関度は、特徴ベクトルと入力テキストベクトルとの間に相互関係があることを表すスコアであってよい。上記実行主体は、アルゴリズムにより各特徴ベクトルと入力テキストベクトルとの間の相関度を計算して求めても良いし、予め訓練された相関度モデルを用いて各特徴ベクトルと入力テキストベクトルとの間の相関度を求めても良い。その後、前記実行主体は、画像データベースから相関度が所定の閾値よりも大きい画像をポップアップ画像として選択し、ポップアップ画像群を得る。上記ユーザ履歴情報は、ユーザがポップアップ画像をクリックしたか否かを含んでいてもよいし、クリックしたポップアップ画像がユーザによりクリックされた回数を含んでいてもよい。したがって、上記の実行主体は、クリック回数の数値の大きい順にポップアップ画像群をランキングして、ポップアップ画像シーケンスを得る。最後に、上記の実行主体は、得られたポップアップ画像シーケンスから所定の数のポップアップ画像を選択して、対象インターフェース上に表示する。
いくつかの実施例のいくつかの選択可能な実施形態では、上記実行主体は、予め訓練された予測情報生成モデルに上記入力テキストベクトルおよび上記ユーザベクトルを入力して、予測情報を取得する。上記の実行主体は、以下のステップを経て、上記予測情報生成モデルを生成する:第1のステップでは、サンプル入力テキストベクトル、サンプルユーザベクトル、およびサンプル予測情報を含む訓練サンプル群を取得する。第2のステップでは、上記訓練サンプル群から訓練サンプルを選択する。第3のステップは、訓練サンプル群の訓練サンプル中のサンプル入力テキストベクトルおよびサンプルユーザベクトルを初期モデルに入力する。第4のステップでは、出力された予測情報を上記サンプル予測情報と比較して情報損失値を求める。第5のステップでは、上記の情報損失値を所定の閾値と比較して比較結果を得る。第6のステップでは、比較結果に基づいて、上記初期モデルの訓練が完成したかどうかを判定する。第7のステップでは、上記初期モデルの訓練完成に応答して、上記初期モデルを予測情報生成モデルと決定する。
いくつかの実施例のいくつかの選択可能な実施形態では、情報損失値を低減するために、予測情報生成モデルの訓練中に勾配降下の最適化方法が採用される。
いくつかの実施例のいくつかの選択可能な実施形態では、上記実行主体は、以下のスステップを経てユーザベクトルを得る:第1に、上記実行主体は、ユーザのアカウント情報を取得する。第2に、前記実行主体は、ユーザのアカウント情報に基づいて、データベースからユーザの操作履歴情報を検索する。前記データベースには、ユーザのアカウント情報と、それに対応の操作履歴情報とが含まれる。第3に、上記実行主体は、ユーザの操作履歴記録情報に単語埋め込みを行って、操作履歴情報ベクトルを得る。第4に、上記実行主体は、得られた操作履歴情報ベクトルを当該ユーザのユーザベクトルとして決定する。
いくつかの実施例のいくつかの選択可能な実施形態では、上述のサンプル予測情報は、ユーザがポップアップ画像をクリックしたかどうかを表すためのサンプル情報であってよい。サンプル予測情報は、一例として、「0」であってもよいし、「1」であってもよい。ここで、サンプル予測情報が「0」の場合は「ユーザがポップアップ画像をクリックしなかった」ことを、サンプル予測情報が「1」の場合は「ユーザがポップアップ画像をクリックした」ことを表しても良い。
上記の情報損失値は、上記出力された予測情報及び対応のサンプル予測情報をパラメータとして、実行された損失関数に入力することで得られる値であってよい。ここで、損失関数(例えば、二乗損失関数、指数損失関数等)は、典型的には、モデルの予測値(例えば、サンプルフレームに対応する上記サンプル特徴)と真の値(例えば、上記ステップにより得られた複数のサンプルフレームのそれぞれに対応するサンプル特徴)との不一致の度合いを評価するためのものである。これは非負の実数値関数である。一般に、損失関数が小さいほどモデルのロバスト性が向上する。損失関数は、実需に応じて設定されてよい。損失関数は、一例として、クロスエントロピー損失関数(Cross Entropy)であってよい。
ここで、前記初期モデルは、訓練されていないモデルであってもよいし、訓練後に予め設定された条件に達していないモデルであってもよい。上記の初期モデルは、ディープニューラルネットワーク構造を有するモデルであってもよい。予め訓練された特徴抽出モデルは、特徴抽出のための予め訓練されたニューラルネットワークモデルであってもよい。このニューラルネットワークモデルは、既存の様々なニューラルネットワーク構造を有してよい。例えば、ニューラルネットワーク構造は、畳み込みニューラルネットワーク(Convolutional Neural Network、CNN)であってもよい。初期モデルの記憶位置は、本開示において制限されない。
いくつかの実施例のいくつかの選択可能な実施形態では、上記方法は、初期モデルの訓練が完成されていないと特定されたことに応答して、初期モデル内の関連パラメータを調整することと、上記訓練サンプル群からサンプルを改めて選択して、調整後の初期モデルを初期モデルとして使用して、上記訓練ステップを続行することとをさらに含む。
いくつかの実施例のいくつかの選択可能な実施形態では、上記訓練サンプル群は、以下のように更新される:ユーザ関連情報群を取得する。上記ユーザ関連情報群には、入力テキストベクトルと、ユーザベクトルと、上記予測情報生成モデルによる予測を通じて得た予測情報ではない予測情報とが含まれる。所定の割合に基づいて、前記ユーザ関連情報群に対してデータ増大を行い、増大ユーザ関連情報群を得る。上記増大ユーザ関連情報群を上記訓練サンプル群に追加して、更新後の訓練サンプル群を生成する。
一例として、上記のユーザ関連情報群のデータ増大は、所定の割合に基づいて、上記のユーザ関連情報群内のユーザ関連情報を繰り返しサンプリングして、増大ユーザ関連情報群を得る。
いくつかの実施例のいくつかの選択可能な実施形態では、予測情報生成モデルの実際の実行過程において、ユーザ関連情報群中のユーザ関連情報を予測情報生成モデルに通してユーザ意図を判定すると、新たなデータの蓄積過程で得られるユーザ関連情報にはモデル干渉の結果が混入する。その結果、生成された予測情報が不正確になる。これにより、ユーザの体験は影響を及ぼされる。そこで、実際の実行過程において、所定の割合(たとえば、90%)のユーザ関連情報を予測情報生成モデルに通してユーザの意図を判定する。残り(たとえば、残りの10%)のユーザ関連情報に対して、サンプリングを繰り返すことにより、データ量をフルボリューム比率まで拡張する。さらに、これらのデータを用いて予測情報生成モデルに対して次の訓練を行う。今回の訓練で用いられたデータには、モデル干渉の結果が混入されていないため、予測情報生成モデルの正確度の向上に寄与する。このような方法をデータのバイアス緩和と呼ぶ。
上記の実行主体は、予測情報生成モデルの訓練サンプル群を所定の周期で更新してもよい。
本開示の上述した様々な実施例のうちのいずれかは、以下の有益な効果を有する:入力単語のワードベクトルを生成することにより、入力テキストベクトルを生成する。入力テキストベクトルを直接生成することで誤差が生じやすいという事態を回避することができる。そして、入力テキストベクトルとユーザベクトルとに基づいて、ユーザの要求意図を予測するための予測情報を生成する。これにより、ユーザベクトルがユーザ履歴情報に基づいて求められたものであるから、ユーザベクトルはユーザの過去の行動を反映することができる。これにより、生成された予測情報も、ユーザのニーズにより合致するものとなる。これにより、ユーザベクトルと入力テキストベクトルとによってユーザの要求意図を判定する方法を提供し、不要な情報のポップアップの低減に寄与する。ユーザに迷惑をかけることを避けることができ、ユーザ体験を向上させることができる。
引き続き図5を参照する。図5は、本開示に係る予測情報を生成するための方法の他の実施例のフローチャート500を示している。予測情報を生成する該方法は、以下のステップを含む:
ステップ501では、少なくとも1つの入力単語を取得する。
ステップ502では、少なくとも1つの入力単語のそれぞれのワードベクトルを生成して、ワードベクトル群を得る。
いくつかの実施例では、ステップ501~502の具体的な実現および効果は、図2の対応する実施例におけるステップ201~202を参照することができ、ここではこれ以上説明しない。
ステップ503では、ユーザベクトルを取得する。
いくつかの実施例では、上記の実行主体は、様々な方法でユーザベクトルを取得することができる。例えば、上記の実行主体は、ローカルデータベースからユーザベクトルを取得しても良い。また、例えば、上記の実行主体は、有線接続または無線接続により他の電子機器と接続して、ユーザベクトルを取得してもよい。
ステップ504では、上記のユーザベクトルを、事前に訓練された全結合ネットワークに入力して、新しいユーザベクトルを得る。
いくつかの実施例では、上記の実行主体は、予め訓練された全結合ネットワークに上記のユーザベクトルを入力して、新しいユーザベクトルを得ることができる。上述した事前に訓練された全結合ネットワークは非線形能力を持ち、より多くのユーザ特徴を抽出することができる。
ステップ505では、上記ワードベクトル群内の各ワードベクトルを、上記新しいユーザベクトルと点乗算して、スコアを生成し、スコア群を取得する。
いくつかの実施例では、上記の実行主体は、上記のワードベクトル群内の各ワードベクトルのそれぞれを、上記の新しいユーザベクトルに点乗算する。得られた各点乗算結果に対して、正規化法を用いて処理して、上記各点乗算結果のスコアを求め、それらを組み合わせてスコア群を得る。ここで、スコアは、ワードベクトルの重みを表すために使用される。ここで、正規化手法は、データを[0,1]の間の小数に変換するために使用される。
ステップ506では、上記ワードベクトル群および上記スコア群に基づいて、入力テキストベクトルを生成する。
いくつかの実施例では、上記実行主体は、まず、上記ワードベクトル群中のワードベクトルのそれぞれに対応する、上記スコア群におけるスコアを、ワードベクトルの重みとする。その後、上記実行主体は、上記ワードベクトル群の各ワードベクトルのそれぞれと、それに対応する重みとを乗算して乗算結果を得る。そして、上記の実行主体は、得られた各乗算結果を加算して入力テキストベクトルを得る。
例として、ワードベクトル群は「[A(1,2,3),B(6,9,8),C(3,4,7)]」であって、スコア群は「[A-0.4,B-0.8,C-0.1]」である。上記実行主体は、上記ワードベクトル群の各ワードベクトルのそれぞれと、それに対応するスコア(重み)とを乗算して、その乗算結果がそれぞれ「(1,2,3)*0.4」、「(6,9,8)*0.8」及び「(3,4,7)*0.1」になる。上記実行主体は、得られた乗算結果を加算することで、入力テキストベクトル「[0.4(1,2,3)+0.8(6,9,8)+0.1(3,4,7)]」を得る。
ステップ507では、上記入力テキストベクトルと上記新しいユーザベクトルとを点乗算し、点乗算スコアを得る。
いくつかの実施例では、上記実行主体は、上記入力テキストベクトルと上記新しいユーザベクトルとを点乗算して点乗算結果を得る。さらに、上記の点乗算結果を正規化法により処理して、上記の点乗算スコアを得る。
ステップ508では、得られた点乗算スコアに基づいて、ユーザの意図を予測するための予測情報を生成する。
いくつかの実施例では、ステップ508の具体的な実現およびこれによる効果は、図2に対応する実施例におけるステップ204を参照することができ、ここで省略する。
一例として、図6の適用シーンでは、計算デバイス101は、入力単語602および入力単語603を取得する。ここで、入力単語602および入力単語603の取得は、入力テキスト601を単語分割して得られたものであってよい。もちろん、上述の単語分割は、別の計算デバイスにより入力テキスト601に対して行ってもよく、その後、計算デバイスは、単語分割の結果を直接に取得し、入力単語602および入力単語603を入力してもよい。その後、計算デバイス101は、入力単語602のワードベクトル604および入力単語603のワードベクトル605を生成する。一例として、計算デバイス101は、ユーザベクトル607を取得する。次いで、計算デバイス101は、ユーザベクトル607を予め訓練された全結合ネットワーク608に入力して、新しいユーザベクトル609を得る。次に、計算デバイス101は、ワードベクトル604およびワードベクトル605と、上記の新しいユーザベクトル609とを点乗算してスコアを生成し、(点乗算)スコア群610を得る。その後、計算デバイス101は、ワードベクトル604と、ワードベクトル605と、上記(点乗算)スコア群610とに基づいて、入力テキストベクトル611を生成する。その後、計算デバイス101は、入力テキストベクトル611と上記の新しいユーザベクトル609とを点乗算し、点乗算スコア612を得る。最後に、計算デバイス101は、得られた点乗算スコア612から予測情報613を生成する。
図6における計算デバイスの数は、単に概略的なものであることを理解すべきである。実際の必要に応じて、任意の数の計算デバイスを有してもよい。
本開示の上述した各実施例の一つは、以下の有益な効果を有する:まず、入力単語のワードベクトルを生成し、ワードベクトル群を得る。ユーザベクトルを全結合ネットワークに通すことで最適化された新たなユーザベクトルを得る。次に、ワードベクトル群内の各ワードベクトルと新たなユーザベクトルとを点乗算してスコア群を求め、入力テキストベクトルを生成する。さらに、入力テキストベクトルと新たなユーザベクトルとを点乗算することで、点乗算スコアを得る。新たなユーザベクトルとの2回の点乗算に基づいて、点乗算スコアの正確度を向上させることができる。最後に、点乗算スコアに基づいて予測情報を生成する。これにより、ユーザベクトル及び、ユーザベクトルと入力テキストベクトルとの点乗算に基づいて、ユーザの要求意図を事前に予測する方法が提供され、不要な情報のポップアップの低減に寄与する。ユーザへの迷惑を避けることができ、ユーザ体験の向上に貢献する。
引き続き図7を参照すると、上記各図面における方法の実現として、本開示は、図2で説明された方法の実施例に対応する予測情報を生成するための装置のいくつかの実施例を提供し、この装置は、具体的に様々な電子機器に適用することができる。
図7に示すように、いくつの実施例における予測情報を生成するための装置700は、取得部701と、ワードベクトル生成部702と、入力テキストベクトル生成部703と、生成部704とを備える。ここで、取得部701は、対象入力テキストを単語分割して得られた少なくとも1つの入力単語を取得する。ワードベクトル生成ユニット702は、少なくとも1つの入力単語の各入力単語のそれぞれのワードベクトルを生成し、ワードベクトル群を得る。入力テキストベクトル生成部703は、前記ワードベクトル群に基づいて入力テキストベクトルを生成する。生成部704は、上記入力テキストベクトルとユーザベクトルとに基づいて、ユーザの意図を予測するための予測情報を生成する。
いくつかの実施例のいくつかの選択可能な実施形態では、予測情報を生成するための装置700の入力テキストベクトル生成ユニット703は、上記ワードベクトル群のワードベクトルを合計して上記入力テキストベクトルを得るようにさらに構成される。
いくつかの実施例のいくつかの選択可能な実施形態では、予測情報を生成するための装置700の入力テキストベクトル生成ユニット703は、ユーザベクトルを取得して、上記ワードベクトル群と、上記ユーザベクトルと、アテンションメカニズムネットワークとに基づいて、上記入力テキストベクトルを得るようにさらに構成される。
いくつかの実施例のいくつかの選択可能な実施形態では、予測情報を生成するための装置700の入力テキストベクトル生成ユニット703は、事前に訓練された全結合ネットワークに上記ユーザベクトルを入力して、新たなユーザベクトルを得る。上記ワードベクトル群と上記新たなユーザベクトルとを上記アテンションメカニズムネットワークに入力して、上記入力テキストベクトルを得るように構成される。
いくつかの実施例のいくつかの選択可能な実施形態では、予測情報を生成するための装置700の入力テキストベクトル生成ユニット703は、上記ワードベクトル群内の各ワードベクトルを上記ユーザベクトルと点乗算し、スコアを生成し、スコア群を得る。上記ワードベクトル群と上記スコア群とに基づいて、上記入力テキストベクトルを得るように構成される。
いくつかの実施例のいくつかの実施形態では、予測情報を生成するための装置700の生成ユニット704は、上記の入力テキストベクトルと上記の新たなユーザベクトルとを点乗算して、点乗算スコアを得、上記の点乗算スコアに基づいて予測情報を生成するようにさらに構成される。
いくつかの実施例のいくつかの選択可能な実施形態では、予測情報を生成するための装置700の生成ユニット703は、さらに、前記入力テキストベクトルと前記ユーザベクトルとを、予め訓練されたサンプル群によって訓練された予測情報生成モデルに入力して、予測情報を得るようにさらに構成されている。
いくつかの実施例のいくつかの選択可能な実施形態では、上記訓練されたサンプル群内の訓練サンプルは、サンプル入力テキストベクトルと、サンプルユーザベクトルと、サンプル予測情報とを含み、上記予測情報生成モデルが、上記サンプル入力テキストベクトルと上記サンプルユーザベクトルとを入力とし、上記サンプル予測情報を所望の出力として訓練して得られる。
いくつかの実施例のいくつかの選択可能な実施形態では、上記訓練されたサンプル群は、以下のステップで更新される:ユーザ関連情報群を取得する。上記ユーザ関連情報群中のユーザ関連情報は、入力テキストベクトルと、ユーザベクトルと、上記予測情報生成モデルによって予測して得られるものではない予測情報とを含む。所定の割合に基づいて、前記ユーザ関連情報群に対してデータ増大を行い、増大ユーザ関連情報群を得る。上記増大ユーザ関連情報群を上記訓練されたサンプル群に追加して、更新後の訓練サンプル群を生成する。
いくつかの実施例のいくつかの選択可能な実施形態では、上記ユーザ履歴情報は、ユーザがポップアップ画像をクリックしたか否かの履歴操作記録情報を含む。
いくつかの実施例のいくつかの選択可能な実施形態では、ユーザの意図を予測するための上記予測情報に基づいて、画像をポップアップするか否かを決定する。画像をポップアップすると決定したことに応答して、ポップアップ画像として、少なくとも1つの画像を画像データベースから選択し、ポップアップ画像群を得る。上記ユーザ履歴操作情報に基づいて、前記ポップアップ画像群内のポップアップ画像をランキングしてポップアップ画像シーケンスを得る。前記ポップアップ画像シーケンスから所定の数のポップアップ画像を選択する。上記の所定数のポップアップ画像を、対象インターフェースに表示する。
いくつかの実施例のいくつかの選択可能な実施形態では、前記した、画像をポップアップすると決定したことに応答して、ポップアップ画像として、画像データベースから少なくとも1つの画像を選択し、ポップアップ画像群を得ることには、以下の内容を含む:画像をポップアップすると決定したことに応答して、前記画像データベース内の画像ごとの特徴ベクトルを取得し、特徴ベクトル群を得ることと、前記特徴ベクトル群の各特徴ベクトルと前記入力テキストベクトルとの関連度を特定し、関連度群を得ることと、前記関連度群に基づいて、関連度が所定の閾値よりも大きい画像を前記画像データベースからポップアップ画像として選択し、ポップアップ画像群を得る。
なお、該装置700に対して記載される各ユニットは、図2を参照して説明された方法の各ステップに対応するものである。したがって、方法に関して上記で説明された操作、特徴、および生じる有益な効果は、装置700およびそのユニットにも同様に適合し、ここで省略する。
図8は、本開示のいくつかの実施例の実現に適合する電子デバイス(例えば、図1の計算デバイス)800の構造概略図を示す。図8に示すサーバは、一例にすぎず、本開示の実施例の機能および使用範囲にいかなる制限を与えるものではない。
図8に示すように、電子機器800は、読み取り専用メモリ(ROM)802に記憶されたプログラム、または記憶装置808からランダムアクセスメモリ(RAM)803にロードされたプログラムに従って、様々な適切な動作および処理を実行することができる処理デバイス(例えば、中央プロセッサ、グラフィックスプロセッサなど)801を含む。RAM803には、電子機器800の操作に必要な各種のプログラムやデータも記憶されている。処理装置801、ROM802、およびRAM803は、バス804を介して接続されている。入出力(I/O)インターフェース805もバス804に接続されている。
一般に、以下の装置がI/Oインターフェース805に接続されてもよい。例えば、タッチスクリーン、タッチパッド、キーボード、マウス、カメラ、マイクロフォン、加速度計、ジャイロスコープなどを含む入力デバイス806;例えば、液晶ディスプレイ(LCD)、スピーカ、バイブレータ等を含む出力装置807;例えば、磁気テープ、ハードディスクなどを含む記憶装置808;及び通信デバイス809がある。通信デバイス809は、電子デバイス800がデータを交換するために他のデバイスと無線または有線で通信することを可能にする。図8は、様々なデバイスを有する電子機器800を示しているが、示されているデバイスのすべてを実施または備えることは必ずしも必要ではないことが理解されるべきである。代わりに、より多くのまたはより少ない手段を実施または備えてもよい。図8に示される各ブロックは、1つのデバイスを表してもよく、または、必要に応じて複数のデバイスを表してもよい。
特に、本開示のいくつかの実施例によれば、フローチャートを参照して説明したプロセスは、コンピュータ・ソフトウェア・プログラムとして実現することができる。例えば、本開示のいくつかの実施例は、コンピュータプログラム製品を含み、該製品は、コンピュータ読み取り可能な媒体上に搭載されたコンピュータプログラムを含み、該コンピュータプログラムは、フローチャートに示される方法を実行するためのプログラムコードを含む。そのようないくつかの実施例では、該コンピュータプログラムは、通信デバイス809を介してネットワークからダウンロードされてインストールされてもよいし、記憶デバイス808からインストールされてもよいし、ROM802からインストールされてもよい。コンピュータプログラムが処理装置801によって実行されると、本開示のいくつかの実施例の方法で規定される上記の機能が実行される。
なお、本開示のいくつかの実施例において説明したコンピュータ読み取り可能な媒体は、コンピュータ可読信号媒体またはコンピュータ可読記憶媒体であってもよく、あるいは、これら2つの任意の組み合わせであってもよい。コンピュータ読み取り可能な記憶媒体は、例えば、限定されるわけではないが、電気、磁気、光、電磁、赤外線、または半導体のシステム、装置、またはデバイス、またはこれらの任意の組み合わせであってもよい。コンピュータ読み取り可能な記憶媒体のより具体的な例は、以下のものを含むことができる: 1つ又は複数のワイヤを有する電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能プログラマブル読み取り専用メモリ(EPROMまたはフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスク読み取り専用メモリ(CD-ROM)、光学メモリ装置、磁気メモリ装置、または上記の任意の適切な組み合わせを有するが、これらに限定されない。本開示のいくつかの実施例では、コンピュータ読み取り可能な媒体は、命令実行システム、装置、またはデバイスによって、またはそれらと組み合わせて使用することができるプログラムを含むかまたは記憶する任意の有形媒体としても良い。一方、本開示のいくつかの実施例では、コンピュータ読み取り可能な信号媒体は、コンピュータ読み取り可能なプログラムコードを搬送するキャリアの一部として、ベースバンド中に伝搬されるデータ信号を含むことができる。このような伝播されたデータ信号は、電磁信号、光信号、または上記の任意の適切な組み合わせを含むが、これらに限定されない様々な形態をとることができる。コンピュータ読み取り可能な信号媒体は、命令実行システム、装置、またはデバイスによって、またはそれらと組み合わせて使用するためのプログラムを送信、伝播、または伝送することができるコンピュータ読み取り可能な記憶媒体以外の任意のコンピュータ読み取り可能な媒体であってもよい。コンピュータ読み取り可能な媒体上に含まれるプログラムコードは、ワイヤ、光ケーブル、RF(無線周波数)など、または上記の任意の適切な組み合わせを含むがこれらに限定されない任意の適切な媒体で伝送されてもよい。
いくつの実施形態では、クライアントおよびサーバは、HTTP(HyperText Transfer Protocol)などの現在知られているまたは将来研究開発される任意のネットワークプロトコルを利用して通信することができ、任意の形式または媒体のデジタルデータ通信(例えば、通信ネットワーク)と相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク(「LAN」)、ワイドエリアネットワーク(「WAN」)、ネットワークネットワーク(例えば、インターネット)、エンドツーエンドネットワーク(例えば、アドホックエンドツーエンドネットワーク)、および現在知られているネットワークまたは将来研究開発されるネットワークなどがある。
前記コンピュータ読み取り可能な媒体は、前記デバイスに含まれることができ、または、この電子機器に組み込まれていない別個の存在であってもよい。前記コンピュータ読み取り可能な媒体は、1つ又は複数のプログラムを備え、前記1つ又は複数のプログラムが前記電子機器によって実行されたときに、前記電子機器が、対象入力テキストを単語分割して得た少なくとも1つの入力単語を取得する;少なくとも1つの入力単語のそれぞれのワードベクトルを生成し、ワードベクトル群を得る;上記のワードベクトル群に基づいて、入力テキストベクトルを生成する;上記入力テキストベクトルとユーザベクトルとに基づいて、ユーザの意図を予測するための予測情報を生成する。
本開示のいくつかの実施例の動作を実行するためのコンピュータ・プログラム・コードは、Java、Smalltalk、C++などのオブジェクト指向プログラミング言語と、「C」言語などの従来の手続き型プログラミング言語とを含む1つ以上のプログラミング言語、またはそれらの組み合わせで記述することができる。プログラムコードは、完全にユーザコンピュータ上で、部分的にユーザコンピュータ上で、独立したソフトウェアパッケージとして、部分的にユーザコンピュータ上で、部分的にリモートコンピュータ上で、または完全にリモートコンピュータまたはサーバ上で実行することができる。リモートコンピュータが関与する場合、リモートコンピュータは、ローカルエリアネットワーク(LAN)またはワイドエリアネットワーク(WAN)を含む任意の種類のネットワークを介してユーザコンピュータに接続することができ、または外部コンピュータ(例えば、インターネットサービスプロバイダを利用してインターネットを介して接続する)に接続することができる。
添付の図面のフローチャートおよびブロック図は、本開示の様々な実施形態に従って、システム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能、および動作を図示している。この点で、フローチャートまたはブロック図中の各ブロックは、所定の論理機能を実装するための1つまたは複数の実行可能命令を含むモジュール、プログラムセグメント、またはコードの一部を表すことができる。代替としてのいくつかの実装では、ブロックに示された機能は、図面に示されたものとは異なる順序で発生することもあることにも留意されたい。例えば、連続的に表現された2つのブロックは、実際には実質的に並列に実行されてもよく、関係する機能に応じて逆の順序で実行されてもよい場合がある。ブロック図および/またはフローチャート中の各ブロック、ならびにブロック図および/またはフローチャート中のブロックの組み合わせは、所定の機能または動作を実行する専用ハードウェアベースのシステムで実装されてもよく、または専用ハードウェアとコンピュータ命令との組み合わせで実装されてもよいことにも留意されたい。
本開示のいくつかの実施例で説明されたユニットは、ソフトウェアによって実現されてもよいし、ハードウェアによって実現されてもよい。説明されたユニットは、プロセッサ内に備えてもよく、例えば、プロセッサであって、取得部と、ワードベクトル生成部と、入力テキストベクトル生成部と、生成部と、を備えたプロセッサとして記述することもできる。ここで、これらのユニットの名称は、ユニット自体を限定するものではない場合があり、例えば、取得ユニットを「少なくとも1つの入力単語を取得するユニット」と記載することもできる。
以上で説明された機能は、少なくとも部分的に、1つまたは複数のハードウェア論理コンポーネントによって実行されることができる。例えば、非限定的に、使用され得る例示的なタイプのハードウェア論理構成要素は、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、複雑プログラマブルロジックデバイス(CPLD)などを含む。
本開示の1つまたは複数の実施例によれば、予測を生成するための方法が提供され、対象入力テキストを単語分割して得た少なくとも1つの入力単語を取得することと、少なくとも1つの入力単語のそれぞれのワードベクトルを生成して、ワードベクトル群を取得することと、前記ワードベクトル群に基づいて、入力テキストベクトルを生成することと、前記入力テキストベクトルと、ユーザベクトルとに基づいて、ユーザの意図を予測するための予測情報を生成することと、を含む。
本開示の1つまたは複数の実施例によれば、前記した、前記ワードベクトル群に基づいて、入力テキストベクトルを生成することには、前記ワードベクトル群内のワードベクトルを合計して前記入力テキストベクトルを取得することを含む。
本開示の1つまたは複数の実施例によれば、前記した、前記ワードベクトル群に基づいて、入力テキストベクトルを生成することには、ユーザベクトルを取得することと、前記ワードベクトル群、前記ユーザベクトル、及びアテンションメカニズムネットワークに基づいて、前記入力テキストベクトルを取得することと、含む。
本開示の1つまたは複数の実施例によれば、前記した、前記ワードベクトル群と、前記ユーザベクトルと、アテンションメカニズムネットワークとに基づいて、前記入力テキストベクトルを取得することには、前記ユーザベクトルを、予め訓練された全結合ネットワークに入力して、新しいユーザベクトルを取得することと、前記ワードベクトル群を、前記新しいユーザベクトルとともに前記アテンションメカニズムネットワークに入力して、前記入力テキストベクトルを取得することと、含む。
本開示の1つまたは複数の実施例によれば、前記した、前記ワードベクトル群と前記新しいユーザベクトルとを前記アテンションメカニズムネットワークに入力して、前記入力テキストベクトルを取得することには、前記ワードベクトル群内の各ワードベクトルと前記ユーザベクトルとを点乗算してスコアを生成し、スコア群を取得することと、前記ワードベクトル群と前記スコア群とに基づいて、上記入力テキストベクトルを生成することと、を含む。
本開示の1つまたは複数の実施例によれば、前記した、前記入力テキストベクトルとユーザベクトルとに基づいて予測情報を生成することには、前記入力テキストベクトルと前記新しいユーザベクトルとを点乗算して、点乗算スコアを取得することと、前記点乗算スコアに基づいて予測情報を生成することと、を含む。
本開示の1つまたは複数の実施例によれば、前記した、前記入力テキストベクトルとユーザベクトルとに基づいて予測情報を生成することには、前記入力テキストベクトル及び前記ユーザベクトルを、予め訓練されたサンプル群によって訓練されて得た予測情報生成モデルに入力して、予測情報を取得すること、を含む。
本開示の1つまたは複数の実施例によれば、前記訓練されたサンプル群内の訓練サンプルは、サンプル入力テキストベクトルと、サンプルユーザベクトルと、サンプル予測情報とを含み、前記予測情報生成モデルは、前記サンプル入力テキストベクトルと前記サンプルユーザベクトルとを入力として、前記サンプル予測情報を所望の出力として用いて訓練することにより得られる。
本開示の1つまたは複数の実施例によれば、前記訓練されたサンプル群は、入力テキストベクトルと、ユーザベクトルと、前記予測情報生成モデルによって予測されて得られたものではない予測情報とを含むユーザ関連情報群を取得するステップと、所定の割合に基づいて、前記ユーザ関連情報群をデータ増大して、増大ユーザ関連情報群を取得するステップと、前記増大ユーザ関連情報群を訓練サンプル群に追加して、更新された訓練サンプル群を生成するステップとで、更新される。
本開示の1つまたは複数の実施例によれば、前記ユーザ履歴情報は、ユーザがポップアップ画像をクリックしたか否かの履歴操作情報を含む請求項1に記載の方法。
本開示の1つまたは複数の実施例によれば、前記方法は、さらに、ユーザの意図を予測するための前記予測情報に基づいて、画像をポップアップするか否かを決定することと、画像をポップアップすると決定したことに応答して、画像データベースから少なくとも1つの画像をポップアップ画像として選択して、ポップアップ画像群を取得することと、前記ユーザ履歴操作情報に基づいて、前記ポップアップ画像群内のポップアップ画像をランキングして、ポップアップ画像シーケンスを取得することと、前記ポップアップ画像シーケンスから所定数のポップアップ画像を選択することと、前記所定数のポップアップ画像を、対象インターフェース上に表示させることと、を含む。
本開示の1つまたは複数の実施例によれば、前記した、画像をポップアップすると決定したことに応答して、前記画像データベースから少なくとも1つの画像をポップアップ画像として選択し、ポップアップ画像群を取得することには、画像をポップアップすると決定したことに応答して、前記画像データベース内の画像ごとの特徴ベクトルを取得し、特徴ベクトル群を取得することと、前記特徴ベクトル群の各特徴ベクトルと前記入力テキストベクトルとの関連度を特定して、関連度群を取得することと、前記関連度群に基づいて、前記画像データベースから関連度が所定の閾値よりも大きい画像をポップアップ画像として選択し、ポップアップ画像群を取得することと、を含む。
本開示の1つまたは複数の実施例によれば、予測情報を生成するための装置が提供される。該装置は、対象入力テキストを単語分割して得た少なくとも1つの入力単語を取得する取得ユニットと、少なくとも1つの入力単語のそれぞれのワードベクトルを生成し、ワードベクトル群を取得するワードベクトル生成ユニットと、前記ワードベクトル群に基づいて、入力テキストベクトルを生成する入力テキストベクトル生成ユニットと、前記入力テキストベクトルとユーザベクトルとに基づいて、ユーザの意図を予測するための予測情報を生成する生成ユニットと、を含む。
本開示の1つまたは複数の実施例によれば、電子機器が提供される。該電子機器は、1つ又は複数のプロセッサと、1つ又は複数のプログラムを記憶する記憶装置と、を含み、前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサによって実行される時に、1つ又は複数のプロセッサが上記実施例のいずれかに記載の方法を実現する。
本開示の1つまたは複数の実施例によれば、プロセッサによって実行される場合、上記実施例のいずれかに記載の方法が実現されるコンピュータプログラムを格納するコンピュータ読み取り可能な媒体が提供される。
以上の説明は、本開示のいくつかの好ましい実施形態および適用される技術原理の説明にすぎない。当業者であれば、本開示の実施例に係る発明の範囲は、上記の構成要件の特定の組み合わせからなる発明に限定されるものではなく、上記の発明思想から逸脱することなく、上記の構成要件又はその均等な特徴の任意の組み合わせからなる他の発明、例えば、上述の特徴と、本開示の実施例において開示された(ただし、これらに限定されない)類似の機能を有する技術的特徴とを相互に置換して形成された発明、も対象とすることが理解される。

Claims (15)

  1. 対象入力テキストを単語分割して得た少なくとも1つの入力単語を取得することと、
    少なくとも1つの入力単語のそれぞれのワードベクトルを生成して、ワードベクトル群を得ることと、
    前記ワードベクトル群に基づいて、入力テキストベクトルを生成することと、
    前記入力テキストベクトルと、ユーザ履歴情報から得られたユーザベクトルとに基づいて、ユーザの意図を予測するための予測情報を生成することと、
    を含む、予測情報を生成するための方法。
  2. 前記した、前記ワードベクトル群に基づいて、入力テキストベクトルを生成することは、
    前記ワードベクトル群内のワードベクトルを合計して前記入力テキストベクトルを得ること
    を含む、請求項1に記載の方法。
  3. 前記した、前記ワードベクトル群に基づいて、入力テキストベクトルを生成することは、
    ユーザベクトルを取得することと、
    前記ワードベクトル群、前記ユーザベクトル、及びアテンションメカニズムネットワークに基づいて、前記入力テキストベクトルを取得することと、
    含む、請求項1に記載の方法。
  4. 前記した、前記ワードベクトル群と、前記ユーザベクトルと、アテンションメカニズムネットワークとに基づいて、前記入力テキストベクトルを取得することは、
    前記ユーザベクトルを予め訓練された全結合ネットワークに入力して、新しいユーザベクトルを取得することと、
    前記ワードベクトル群と前記新しいユーザベクトルとを前記アテンションメカニズムネットワークに入力して、前記入力テキストベクトルを取得することと、
    含む、請求項3に記載の方法。
  5. 前記した、前記ワードベクトル群と前記新しいユーザベクトルとを前記アテンションメカニズムネットワークに入力して、前記入力テキストベクトルを取得することは、
    前記ワードベクトル群内の各ワードベクトルと新しいユーザベクトルとを点乗算してスコアを生成し、スコア群を得ることと、
    前記ワードベクトル群と前記スコア群とに基づいて、前記入力テキストベクトルを生成することと、
    を含む、請求項4に記載の方法。
  6. 前記した、前記入力テキストベクトルとユーザベクトルとに基づいて予測情報を生成することは、
    前記入力テキストベクトルと前記新しいユーザベクトルとを点乗算して、点乗算スコアを得ることと、
    前記点乗算スコアに基づいて前記予測情報を生成することと、
    を含む、請求項5に記載の方法。
  7. 前記した、前記入力テキストベクトルとユーザベクトルとに基づいて予測情報を生成することは、
    前記入力テキストベクトル及び前記ユーザベクトルを、予め訓練されたサンプル群によって訓練されて得た予測情報生成モデルに入力して、前記予測情報を取得すること
    を含む、請求項1~6のいずれか1項に記載の方法。
  8. 前記訓練されたサンプル群内の訓練サンプルは、サンプル入力テキストベクトルと、サンプルユーザベクトルと、サンプル予測情報とを含み、
    前記予測情報生成モデルは、前記サンプル入力テキストベクトルと前記サンプルユーザベクトルとを入力として、前記サンプル予測情報を所望の出力として用いて訓練することにより得られる、
    請求項7に記載の方法。
  9. 前記訓練されたサンプル群は、
    入力テキストベクトルと、ユーザベクトルと、前記予測情報生成モデルによって予測されて得られたものではない予測情報とを含むユーザ関連情報群を取得するステップと、
    所定の割合に基づいて、前記ユーザ関連情報群をデータ増大して、増大ユーザ関連情報群を取得するステップと、
    前記増大ユーザ関連情報群を前記訓練されたサンプル群に追加して、更新後の訓練サンプル群を生成するステップと、
    によって更新される、
    請求項8に記載の方法。
  10. 前記ユーザ履歴情報は、ユーザがポップアップ画像をクリックしたか否かの履歴操作情報を含む、
    請求項1に記載の方法。
  11. ユーザの意図を予測するための前記予測情報に基づいて、画像をポップアップするか否かを決定することと、
    前記画像をポップアップすると決定したことに応答して、画像データベースから少なくとも1つの画像をポップアップ画像として選択して、ポップアップ画像群を取得することと、
    前記ユーザ履歴情報に基づいて、前記ポップアップ画像群内のポップアップ画像をランキングして、ポップアップ画像シーケンスを取得することと、
    前記ポップアップ画像シーケンスから所定数のポップアップ画像を選択することと、
    前記所定数のポップアップ画像を、対象インターフェース上に表示させることと、
    を含む、請求項10に記載の方法。
  12. 前記した、前記画像をポップアップすると決定したことに応答して、前記画像データベースから少なくとも1つの画像をポップアップ画像として選択し、前記ポップアップ画像群を取得することは、
    前記画像をポップアップすると決定したことに応答して、前記画像データベース内の画像ごとの特徴ベクトルを取得し、特徴ベクトル群を取得することと、
    前記特徴ベクトル群の各特徴ベクトルと前記入力テキストベクトルとの関連度を特定して、関連度群を取得することと、
    前記関連度群に基づいて、前記画像データベースから関連度が所定の閾値よりも大きい画像をポップアップ画像として選択し、前記ポップアップ画像群を取得することと、
    を含む、請求項11に記載の方法。
  13. 対象入力テキストを単語分割して得た少なくとも1つの入力単語を取得する取得ユニットと、
    前記少なくとも1つの入力単語のそれぞれのワードベクトルを生成し、ワードベクトル群を取得するワードベクトル生成ユニットと、
    前記ワードベクトル群に基づいて、入力テキストベクトルを生成する入力テキストベクトル生成ユニットと、
    前記入力テキストベクトルと、ユーザ履歴情報から得られたユーザベクトルとに基づいて、ユーザの意図を予測するための予測情報を生成する生成ユニットと、
    を含む、予測情報を生成するための装置。
  14. 1つ又は複数のプロセッサと、
    1つ又は複数のプログラムを記憶する記憶装置と、を含み、
    前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサによって実行されるときに、前記1つ又は複数のプロセッサに請求項1~12のいずれかに記載の方法を実施させる、
    電子機器。
  15. プロセッサによって実行される場合に、請求項1~12のいずれか一項に記載の方法が実現されるコンピュータプログラムを格納するコンピュータ読み取り可能な媒体。
JP2023507396A 2020-08-10 2021-08-10 予測情報を生成するための方法、装置、電子機器及び媒体 Pending JP2023537480A (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN202010797886.2 2020-08-10
CN202010797886.2A CN111931494B (zh) 2020-08-10 2020-08-10 用于生成预测信息的方法、装置、电子设备和介质
PCT/CN2021/111734 WO2022033462A1 (zh) 2020-08-10 2021-08-10 用于生成预测信息的方法、装置、电子设备和介质

Publications (1)

Publication Number Publication Date
JP2023537480A true JP2023537480A (ja) 2023-09-01

Family

ID=73308181

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2023507396A Pending JP2023537480A (ja) 2020-08-10 2021-08-10 予測情報を生成するための方法、装置、電子機器及び媒体

Country Status (5)

Country Link
US (1) US11842163B2 (ja)
EP (1) EP4177784A4 (ja)
JP (1) JP2023537480A (ja)
CN (1) CN111931494B (ja)
WO (1) WO2022033462A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111931494B (zh) 2020-08-10 2022-06-28 北京字节跳动网络技术有限公司 用于生成预测信息的方法、装置、电子设备和介质
CN114020795B (zh) * 2021-10-14 2022-06-24 深圳华云信息系统有限公司 一种业务处理方法、装置、电子设备及存储介质

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106777013B (zh) * 2016-12-07 2020-09-11 科大讯飞股份有限公司 对话管理方法和装置
US10699302B2 (en) * 2017-03-29 2020-06-30 Ebay Generating keywords by associative context with input words
CN107066449B (zh) * 2017-05-09 2021-01-26 北京京东尚科信息技术有限公司 信息推送方法和装置
US10956520B1 (en) * 2017-11-07 2021-03-23 Shutterstock, Inc. Dynamic image search engine for personalized image editing
CN108334605B (zh) * 2018-02-01 2020-06-16 腾讯科技(深圳)有限公司 文本分类方法、装置、计算机设备及存储介质
CN108733651A (zh) * 2018-05-17 2018-11-02 新华网股份有限公司 表情符号预测方法及模型构建方法、装置、终端
CN110555207A (zh) * 2018-06-01 2019-12-10 海信集团有限公司 语句识别方法、装置、机器设备和计算机可读存储介质
CN109284357B (zh) * 2018-08-29 2022-07-19 腾讯科技(深圳)有限公司 人机对话方法、装置、电子设备及计算机可读介质
CN109145315B (zh) * 2018-09-05 2022-03-18 腾讯科技(深圳)有限公司 文本翻译方法、装置、存储介质和计算机设备
CN109634438B (zh) * 2018-12-14 2021-01-08 维沃移动通信有限公司 一种输入法的控制方法及终端设备
US11361084B1 (en) * 2018-12-18 2022-06-14 NortonLifeLock Inc. Identifying and protecting against a computer security threat while preserving privacy of individual client devices using differential privacy for text documents
US11372894B2 (en) * 2018-12-21 2022-06-28 Atlassian Pty Ltd. Associating product with document using document linkage data
SG11202106691WA (en) * 2018-12-27 2021-07-29 Telepathy Labs Inc System and method for communicating with a user with speech processing
CN110162191A (zh) * 2019-04-03 2019-08-23 腾讯科技(深圳)有限公司 一种表情推荐方法、装置及存储介质
US11381651B2 (en) * 2019-05-29 2022-07-05 Adobe Inc. Interpretable user modeling from unstructured user data
CN112051743A (zh) * 2019-06-06 2020-12-08 北京三星通信技术研究有限公司 设备控制方法、冲突处理方法、相应的装置及电子设备
CN110502614B (zh) * 2019-08-16 2023-05-09 创新先进技术有限公司 文本拦截方法、装置、系统以及设备
CN110941710B (zh) * 2019-11-27 2020-10-30 贝壳找房(北京)科技有限公司 用于实现会话的方法、装置、介质以及电子设备
US11386885B2 (en) * 2020-02-17 2022-07-12 Wipro Limited Method and system for detecting intent as an ordered sequence from a user query
CN111931494B (zh) * 2020-08-10 2022-06-28 北京字节跳动网络技术有限公司 用于生成预测信息的方法、装置、电子设备和介质

Also Published As

Publication number Publication date
CN111931494A (zh) 2020-11-13
EP4177784A1 (en) 2023-05-10
US11842163B2 (en) 2023-12-12
WO2022033462A9 (zh) 2022-04-28
WO2022033462A1 (zh) 2022-02-17
CN111931494B (zh) 2022-06-28
US20230106202A1 (en) 2023-04-06
EP4177784A4 (en) 2023-11-15

Similar Documents

Publication Publication Date Title
JP7009433B2 (ja) ニューラルネットワーク生成用の方法及び装置
JP6718828B2 (ja) 情報入力方法および装置
JP2022058915A (ja) 画像認識モデルをトレーニングするための方法および装置、画像を認識するための方法および装置、電子機器、記憶媒体、並びにコンピュータプログラム
CN111428010B (zh) 人机智能问答的方法和装置
US11355097B2 (en) Sample-efficient adaptive text-to-speech
CN108920717B (zh) 用于显示信息的方法及装置
CN112489621B (zh) 语音合成方法、装置、可读介质及电子设备
WO2022007438A1 (zh) 情感语音数据转换方法、装置、计算机设备及存储介质
JP2023537480A (ja) 予測情報を生成するための方法、装置、電子機器及び媒体
CN116127020A (zh) 生成式大语言模型训练方法以及基于模型的搜索方法
WO2020207174A1 (zh) 用于生成量化神经网络的方法和装置
CN111462728A (zh) 用于生成语音的方法、装置、电子设备和计算机可读介质
WO2023029817A1 (zh) 医学报告生成方法、模型的训练方法、装置及设备
WO2020182123A1 (zh) 用于推送语句的方法和装置
CN111785247A (zh) 语音生成方法、装置、设备和计算机可读介质
CN111462727A (zh) 用于生成语音的方法、装置、电子设备和计算机可读介质
CN112182255A (zh) 用于存储媒体文件和用于检索媒体文件的方法和装置
CN109710939B (zh) 用于确定主题的方法和装置
CN109002498B (zh) 人机对话方法、装置、设备及存储介质
CN113343664B (zh) 图像文本之间的匹配度的确定方法及装置
CN107766944B (zh) 一种利用api分析进行系统功能流优化的系统和方法
CN111754984A (zh) 文本选取的方法、装置、设备和计算机可读介质
CN110688529A (zh) 用于检索视频的方法、装置和电子设备
CN112737919A (zh) 即时消息的发送方法和装置
CN112446192A (zh) 用于生成文本标注模型的方法、装置、电子设备和介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230202

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240409