JP2024515199A - 要素テキスト処理方法、装置、電子機器及び記憶媒体 - Google Patents
要素テキスト処理方法、装置、電子機器及び記憶媒体 Download PDFInfo
- Publication number
- JP2024515199A JP2024515199A JP2023564414A JP2023564414A JP2024515199A JP 2024515199 A JP2024515199 A JP 2024515199A JP 2023564414 A JP2023564414 A JP 2023564414A JP 2023564414 A JP2023564414 A JP 2023564414A JP 2024515199 A JP2024515199 A JP 2024515199A
- Authority
- JP
- Japan
- Prior art keywords
- model
- vector
- description information
- information
- rnn
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000003672 processing method Methods 0.000 title claims abstract description 30
- 239000013598 vector Substances 0.000 claims abstract description 160
- 238000000034 method Methods 0.000 claims abstract description 60
- 230000008569 process Effects 0.000 claims abstract description 19
- 238000012549 training Methods 0.000 claims abstract description 12
- 238000012545 processing Methods 0.000 claims description 68
- 239000011159 matrix material Substances 0.000 claims description 35
- 238000004590 computer program Methods 0.000 claims description 16
- 239000002131 composite material Substances 0.000 claims description 10
- 230000015654 memory Effects 0.000 claims description 10
- 238000013507 mapping Methods 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000000605 extraction Methods 0.000 claims description 5
- 230000006870 function Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 238000004891 communication Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 230000000306 recurrent effect Effects 0.000 description 5
- 238000013136 deep learning model Methods 0.000 description 4
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000003062 neural network model Methods 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 238000013473 artificial intelligence Methods 0.000 description 2
- 230000000052 comparative effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013527 convolutional neural network Methods 0.000 description 2
- 230000003247 decreasing effect Effects 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000013145 classification model Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
- G06F16/3331—Query processing
- G06F16/334—Query execution
- G06F16/3344—Query execution using natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
- G06N3/0455—Auto-encoder networks; Encoder-decoder networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/33—Querying
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/35—Clustering; Classification
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/10—Text processing
- G06F40/166—Editing, e.g. inserting or deleting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/205—Parsing
- G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/55—Rule-based translation
- G06F40/56—Natural language generation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/044—Recurrent networks, e.g. Hopfield networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Artificial Intelligence (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Data Mining & Analysis (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Biomedical Technology (AREA)
- Computing Systems (AREA)
- Molecular Biology (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Biophysics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Machine Translation (AREA)
Abstract
本出願は、要素テキスト処理方法、装置、電子機器及び記憶媒体を開示する。ここで、この方法は、サンプルオブジェクトの複数の説明情報と要素タイプでマークされたサンプルの要約を取得するステップと、要素タイプの要素ベクトル特徴と各説明情報の説明ベクトル特徴を抽出するステップと、要素ベクトル特徴と説明ベクトル特徴をトレーニング対象の連合要約モデルの入力として、サンプルの要約を連合要約モデルの出力とするステップであって、連合要約モデルが第1のモデルと第2のモデルを含み、第1のモデルから出力された各説明情報と要素タイプとの間の関連度が第2のモデルの入力であり、さらに第1のモデルの分類損失値と第2のモデルの復号損失値とに基づいて連合要約モデルをトレーニングして、ターゲットオブジェクトの商品説明情報を処理してターゲット要素タイプにマッチングする商品の要約を生成するステップと、を含む。【選択図】図1
Description
本出願は、中国特許出願番号が「202110476637.8」であり、出願日が2021年4月29日である中国特許出願に基づいて提供され、当該中国特許出願の優先権を主張し、当該中国特許出願のすべての内容はここで参照として本出願に導入される。
本出願は、人工知能技術の分野における深層学習、自然言語処理技術の分野に関し、特に要素テキスト処理方法、装置、電子機器及び記憶媒体に関する。
テキスト要約技術は、所与の複数または単一の文書を要約し、元の文書の重要な内容を反映できることを確保するとともに、できるだけ簡潔かつ要領を得たテキスト要約を生成することができる。この技術は情報検索、自然言語処理などの分野で重要な研究課題である。
本出願は、要素テキスト処理のための方法、装置、機器、記憶媒体、及びコンピュータプログラム製品を提供する。
本出願の一態様によれば、要素テキスト処理方法を提供し、前記方法は、サンプルオブジェクトの複数の説明情報、及び要素タイプでマークされたサンプルの要約を取得するステップと、前記要素タイプの要素ベクトル特徴、及び各前記説明情報の説明ベクトル特徴を抽出するステップと、前記要素ベクトル特徴と前記説明ベクトル特徴をトレーニング対象の連合要約モデルの入力として、前記サンプルの要約を前記連合要約モデルの出力とするステップであって、前記連合要約モデルが第1のモデルと第2のモデルを含み、前記第1のモデルから出力された各前記説明情報と前記要素タイプとの間の関連度が前記第2のモデルの入力であり、さらに前記第1のモデルの分類損失値と前記第2のモデルの復号損失値とに基づいて前記連合要約モデルをトレーニングして、ターゲットオブジェクトの商品説明情報を処理してターゲット要素タイプにマッチングする商品の要約を生成するステップと、を含む。
本出願の別の態様によれば、要素テキスト処理装置を提供し、前記装置は、サンプルオブジェクトの複数の説明情報、及び要素タイプでマークされたサンプルの要約を取得する第1の取得モジュールと、前記要素タイプの要素ベクトル特徴、及び各前記説明情報の説明ベクトル特徴を抽出する抽出モジュールと、前記要素ベクトル特徴と前記説明ベクトル特徴をトレーニング対象の連合要約モデルの入力として、前記サンプルの要約を前記連合要約モデルの出力とする第1の処理モジュールであって、前記連合要約モデルが第1のモデルと第2のモデルを含み、前記第1のモデルから出力された各前記説明情報と前記要素タイプとの間の関連度が前記第2のモデルの入力であり、さらに前記第1のモデルの分類損失値と前記第2のモデルの復号損失値とに基づいて前記連合要約モデルをトレーニングして、ターゲットオブジェクトの商品説明情報を処理してターゲット要素タイプにマッチングする商品の要約を生成する第1の処理モジュールと、を備える。
本出願の第3様態によれば、電子機器を提供し、プロセッサと、前記少なくとも1つのプロセッサと通信可能に接続されるメモリと、を備え、前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記少なくとも1つのプロセッサが本出願の第1の態様に記載の要素テキスト処理方法を実行できるように、前記命令は、前記少なくとも1つのプロセッサによって実行される。
本出願の第4態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、前記コンピュータに本出願の第1の態様に記載の要素テキスト処理方法を実行させる。
本出願の第5態様によれば、コンピュータプログラムが含まれるコンピュータプログラム製品を提供し、前記コンピュータプログラムはプロセッサによって実行される場合、第1の態様に記載の要素テキスト処理方法を実現する。
なお、この部分に記載されている内容は、本出願の実施例の肝心または重要な特徴を特定することを意図しておらず、本出願の範囲を限定することも意図していないことを理解されたい。本出願の他の特徴は、以下の説明によって容易に理解される。
図面は、本技術案をよりよく理解するために使用され、本開示を限定するものではない。
本出願の1つまたは複数の実施例に係る要素テキスト処理方法のフローチャートである。
本出願の1つまたは複数の実施例に係る要素テキスト処理方法のフローチャートである。
本出願の1つまたは複数の実施例に係る要素テキスト処理方法のフローチャートである。
本出願の1つまたは複数の実施例に係る単語の重複率の比較概略図である。
本出願の1つまたは複数の実施例に係る連合要約モデルの概略構成図である。
本出願の1つまたは複数の実施例に係る要素テキスト処理方法のフローチャートである。
本出願の1つまたは複数の実施例に係る要素テキスト処理装置の概略構成図である。
本出願の1つまたは複数の実施例に係る要素テキスト処理装置の概略構成図である。
本出願の1つまたは複数の実施例に係る要素テキスト処理装置の概略構成図である。
本出願の1つまたは複数の実施例に係る要素テキスト処理装置の概略構成図である。
本出願の1つまたは複数の実施例に係る要素テキスト処理方法を実現するための電子機器のブロック図である。
以下、図面と組み合わせて本出願の例示的な実施例を説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細事項を含んでおり、それらは単なる例示的なものと見なされるべきである。したがって、当業者は、本出願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを認識されたい。同様に、明確及び簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。
図1は、本出願の実施例に係る要素テキスト処理方法のフローチャートである。
図1に示すように、この要素テキスト処理方法はステップ101~103を含むことができる。
ステップ101、サンプルオブジェクトの複数の説明情報、及び要素タイプでマークされたサンプルの要約を取得する。
本出願のいくつかの実施例では、この連合要約モデルをトレーニングする場合、サンプルオブジェクトの複数の説明情報、及び要素タイプでマークされたサンプルの要約を取得する必要がある。サンプルオブジェクトは、商品、ニュースイベントなどの様々なアプリケーションシーンに基づいて選択することができる。
通常、1つのサンプルオブジェクトは、少なくとも1つの説明情報に対応することができ、各説明情報は1つまたは複数の文で構成することができる。この説明情報は、このサンプルオブジェクトを異なる要素タイプの観点から説明することができるため、1つの説明情報と、異なる要素タイプとの間には異なる関連度がある。なお、この説明情報の言語スタイルは、概括的ではなく説明的であることが多い。
この説明情報の取得方法は、具体的な応用シーンに基づいて選択することができ、以下の2つの方法を含むが、これらに限定されない。
方法1、ウェブページからクローラ技術によってサンプルオブジェクトに関連する情報を説明情報としてクロールする。
方法2、サンプルオブジェクトに関連する情報を説明情報として人為的に選び取る。
説明情報とは異なり、サンプルオブジェクトに対応するサンプル要約は概括的であることが多く、1つのサンプルオブジェクトは複数の要素タイプに対応することができ、異なる要素タイプについては異なるサンプル要約があり得ることが理解することができる。例えば、サンプルオブジェクトがA携帯電話であり、要素タイプが外観である場合、対応するサンプルの要約は、一体化した金属ボディを採用し、肌触りが細かく、握り心地がよいことである。サンプルオブジェクトがA携帯電話であり、要素タイプが性能である場合、対応するサンプルの要約は、aチップを採用し、スムーズに動作し、動作が遅いことがなく、性能がより強いことである。
ここで、用要素タイプでサンプルの要約をマークする方法は具体的な応用シーンに基づいて選択することができ、以下の2つの方法を含むが、これらに限定されない。
方法1、手動でマークすることによって、サンプルの要約を、対応する要素タイプにマークする。
方法2、複数のサンプルの要約に対してクラスタリング処理を行い、異なる要素タイプに属するサンプルの要約集合をマークする。なお、クラスタリング処理の後に、複数のサンプルの要約集合を取得することができ、各サンプルの要約集合内のサンプルの要約が、同じ要素タイプに属すると理解することができ、同じ集合内のサンプルの要約を、同じ要素タイプにマークすることができる。ここで、用いられるクラスタリング処理方法は、K-means法、密度に基づくクラスタリング法のいずれかを含むが、これらに限定されない。
ステップ102、要素タイプの要素ベクトル特徴、及び各説明情報の説明ベクトル特徴を抽出する。
なお、現在の要素タイプと説明情報がテキスト情報であり、本出願のいくつかの実施例では、これらのテキスト情報を特徴抽出する必要がある。すなわち、要素タイプに対応する要素ベクトル特徴を抽出し、各説明情報に対応する説明ベクトル特徴を抽出する。上記2つのベクトル特徴の抽出方法は同じであってもよいし、異なってもよい。
概して、ベクトル特徴の抽出方法は様々な方法があり、具体的な応用シーンに応じて選択することができ、Bags of words,TF-IDF(term frequency-inverse document frequency)のいずれかを含むが、これらに限定されない。
ステップ103、要素ベクトル特徴と説明ベクトル特徴をトレーニング対象の連合要約モデルの入力として、サンプルの要約を連合要約モデルの出力として、ここで、連合要約モデルが第1のモデルと第2のモデルを含み、第1のモデルから出力される各説明情報と要素タイプとの間の関連度が第2のモデルの入力であり、さらに第1のモデルの分類損失値と第2のモデルの復号損失値とに基づいて連合要約モデルをトレーニングして、ターゲットオブジェクトの商品説明情報を処理してターゲット要素タイプにマッチングする商品の要約を生成する。
なお、トレーニングされた連合要約モデルは、入力された要素ベクトル特徴とオブジェクトの説明ベクトル特徴に基づいて、サンプルの要約を出力することができる。ここで、入力された要素ベクトルに対応する要素タイプはターゲット要素タイプと呼ぶことができ、このオブジェクトはターゲットオブジェクトと呼ぶことができ、出力されたサンプルの要約は商品の要約と呼ぶことができる。
ここで、連合要約モデルは第1のモデルと第2のモデルとを含むことができ、本出願のいくつかの実施例では、第1のモデルは、少なくとも1つ、少なくとも1種類のニューラルネットワークモデルで構成される深層学習モデルであってもよい。応用シーンに応じて、リカレントニューラルネットワークモデル、畳み込みニューラルネットワークモデルなど、異なる構造の深層学習モデルを第1のモデルとして選択することができ、本出願では限定されない。第1のモデルのトレーニング方法も様々であり、例えば、説明ベクトル特徴と要素ベクトル特徴を入力として、説明ベクトル特徴に対応する説明情報と要素ベクトル特徴に対応する要素ベクトル特徴との間の関連度を出力として、対応する分類損失関数を設定して第1のモデルをトレーニングすることができ、前記分類損失関数が、負の対数尤度損失関数、二分類クロスエントロピー損失関数のいずれかを含むが、これらに限定されない。トレーニングされた第1のモデルは各説明情報と要素タイプとの間の関連度を出力することができる。
第2のモデルは、少なくとも1つ、少なくとも1種類のニューラルネットワークモデルで構成される深層学習モデルであってもよい。応用シーンに応じて、シーケンスツーシーケンスモデル、畳み込みニューラルネットワークモデルなど、異なる構造の深層学習モデルを第2のモデルとして選択することができ、本出願では限定されない。第2のモデルの入力は、第1のモデルから出力された各説明情報と要素タイプとの間の関連度を含む。第2のモデルの入力は、要素ベクトルと説明ベクトルから生成されるベクトルをさらに含むことができる。第2のモデルのトレーニング方法も様々であってもよく、例えば、要素ベクトルと説明ベクトルから生成されるベクトルを入力として、ターゲット要素タイプにマッチングするテキスト要約を出力として、対応する復号損失関数を設定して第2のモデルをトレーニングすることができ、前記復号損失関数が、平均二乗偏差損失関数、平均絶対誤差損失関数のいずれかを含む。トレーニングされた第2のモデルはターゲット要素タイプにマッチングするテキスト要約を出力することができる。
上記のように、連合要約モデルが第1のモデルと第2のモデルとを含む。従って、第1のモデルと第2のモデルの入力、出力、トレーニング過程は、連合要約モデルの入力、出力、トレーニング過程である。なお、要素ベクトル特徴と説明ベクトル特徴をトレーニング対象の連合要約モデルの入力として、サンプルの要約を連合要約モデルの出力として、第1のモデル的分類損失関数に対応する分類損失値と第2のモデルの復号損失関数に対応する復号損失値とに基づいて連合要約モデルをトレーニングすることができる。
本出願の実施例の要素テキスト処理方法によれば、要素タイプ及びそれに対応する要素ベクトル特徴を取得し、説明情報及びそれに対応する説明ベクトル特徴を取得する。上記2種類のベクトル特徴を連合要約モデルの入力として、サンプルの要約を連合要約モデルの出力として、前記連合要約モデルをトレーニングする。トレーニングされた連合要約モデルは説明情報を処理し、テキスト要約を生成することができる。
この方法は制御性が高く、応用シーンに応じて異なるレベルのターゲット要素タイプを設定し、異なるターゲット要素タイプに基づいてモデルを制御して異なるテキスト要約を生成させることができ、生成されたテキスト要約がターゲット要素タイプにマッチングする。この方法は抽出式要約技術ではなく、生成式要約技術に基づいているため、生成されたテキスト要約は可読性が高く、人間の言語習慣に合っている。
本出願の実施例では、より正確なベクトル特徴を取得するために、語彙マッピングテーブル及び埋め込み行列を使用することができる。いくつかの実施例では、ステップ102はステップ201~202であってもよい。
図2によってより明確に説明することができ、図2は本出願の実施例の要素テキスト処理方法のフローチャートである。
ステップ201、予め設定された語彙マッピングテーブルに基づいて要素タイプと各説明情報の文字列とを変換して、対応する要素タイプ数字番号と説明情報数字番号とを取得する。
本出願のいくつかの実施例では、単語を対応する数字番号に変換可能な語彙マッピングテーブルが存在してもよい。
概して、説明情報は文字列で構成されており、説明情報に対して単語分割処理を行って、各説明情報に対応する複数の単語を取得することができる。語彙マッピングテーブルに基づいて、各説明情報の各単語を対応する説明情報数字番号に変換することができ、同様に、語彙マッピングテーブルに基づいて、要素タイプを対応する要素タイプ数字番号に変換することができる。
ステップ202、予め設定された埋め込み行列に基づいて要素タイプ数字番号と説明情報数字番号とを処理して、要素ベクトル特徴及び各説明情報の説明ベクトル特徴を生成する。
本出願のいくつかの実施例では、埋め込み行列を予め設定し、要素タイプ数字番号と説明情報番に基づいて、埋め込み行列から、対応する元素を選択して、対応するベクトル特徴を生成することができる。なお、要素タイプ数字番号に基づいて生成されたベクトル特徴は要素ベクトル特徴であり、説明情報数字番号に基づいて生成されたベクトル特徴は説明ベクトル特徴である。
なお、予め設定された行列は複数であってもよく、要素埋め込み行列と説明埋め込み行列を予め設定することができる。要素タイプ数字番号に基づいて、要素埋め込み行列から、対応する元素を選択して、対応する要素ベクトル特徴を生成することができ、説明情報数字番号に基づいて、説明埋め込み行列から、対応する元素を選択し、対応する説明ベクトル特徴を生成することができる。
本出願の実施例の要素テキスト処理方法によれば、語彙マッピングテーブル及び埋め込み行列を使用して、より正確で信頼性の高い特徴ベクトルを取得し、説明情報と要素タイプとの関連度計算をより正確にすることができる。最終的に生成されるテキスト要約は、ターゲット要素タイプとより密接に関係しており、制御性が高くなる。
本出願の実施例では、説明情報と要素タイプとの間の関連度をより正確にするために、第1のモデルでは、RNN(Recurrent Neural Network、リカレントニューラルネットワーク)単語レベルエンコーダ、RNN文レベルエンコーダ及び分類器を設定し、テキスト要約をより正確にするように、第2のモデルでは、RNNエンコーダとRNNデコーダとを設定する。いくつかの実施例では、第1のモデルのデータ処理フローはステップ301~303であり、第2のモデルのデータ処理フローはステップ304である。
図3によってより明確に説明することができ、図3は、本出願の実施例に係る要素テキスト処理方法のフローチャートである。
ステップ301、各説明情報の説明ベクトル特徴をRNN単語レベルエンコーダに入力して符号化処理を行って、各単語の符号化された暗黙ベクトルを取得して平均化して各説明情報のベクトル表現とする。
なお、1つの説明情報が単語分割処理された後、複数の単語に対応することができる。ここで、各単語は、対応する説明ベクトル特徴を有することができる。本出願のいくつかの実施例では、各説明情報の説明ベクトル特徴をRNN単語レベルエンコーダに入力することができ、ここで、RNN単語レベルエンコーダの構造は、応用シーンに応じて設計することができ、例えば、1つまたは複数の循環ニューロンが含まれるユニットであってもよく、本実施例では限定されない。
RNN単語レベルエンコーダにより、説明ベクトル特徴に対応する暗黙ベクトルを取得することができる。この暗黙ベクトルは、説明情報に対応する単語が処理された後、取得された暗黙ベクトルである。同じ説明情報に属する暗黙ベクトルを平均化すると、現在の説明情報に対応するベクトル表現を取得する。同様に、各説明情報に対応するベクトル表現を取得することができる。
ステップ302、各説明情報のベクトル表現をRNN文レベルエンコーダに入力して符号化処理を行って、圧縮して各説明情報の文レベル特徴数値ベクトルを取得する。
本出願のいくつかの実施例では、各説明情報に対応するベクトル表現をRNN文レベルエンコーダに入力することができ、RNN文レベルエンコーダはこのベクトル表現を圧縮して、固定次元の数値ベクトルを取得し、この数値ベクトルは文レベル特徴数値ベクトルである。なお、各説明情報は1つの文レベル特徴数値ベクトルに対応する。
ここで、RNN文レベルエンコーダの構造は、応用シーンに応じて設計することができ、本実施例では限定されず、例えば、1つまたは複数の循環ニューロンが含まれるユニットであってもよい。
ステップ303、文レベル特徴数値ベクトルと要素ベクトル特徴とを分類器に入力して、分類行列によって、各説明情報と要素タイプとの間の関連度を取得する。
本出願のいくつかの実施例では、1つの分類器があってもよく、この分類器の入力は文レベル特徴数値ベクトルと要素ベクトル特徴である。この分類モデルには1つの分類行列がさらに存在可能であり、要素ベクトル特徴と各文レベル特徴数値ベクトルとをそれぞれ結合して同じ分類行列を通過することができる。この分類行列の元素はいくつかの予め設定されたパラメータであってもよい。
この分類行列の出力は、Sigmoid関数により、関連度を取得することができ、この関連度の値取り範囲は0~1である。関連度の大きさは各説明情報と現在要素タイプとの関連度合いを表し、説明情報と要素タイプとが関連するほど、関連度は1に近づき、逆には0に近づく。
本出願のいくつかの実施例では、上記の実施例に基づいて、分類損失の計算を行うことがもきる。上記の実施例はステップ1~3をさらに含むことができる。
ステップ1、各説明情報とサンプルの要約との間の単語の重複率を計算する。
本出願のいくつかの実施例では、各説明情報とサンプルの要約とが重複している単語の数を計算することができ、重複している単語の数を説明情報の単語の総数で除算すると、説明情報とサンプル情報との間の単語の重複率を取得することができる。
図4に示すように、図4は本出願の実施例に係る単語の重複率の比較概略図である。
サンプルオブジェクトはA携帯電話であり、サンプルの要約と複数の説明情報は図4に示す。図から分かるように、このサンプルの要約の要素タイプは性能であり、この複数の説明情報の要素タイプは、写真撮影、性能の2種類を含む。単語の重複率を計算すると、文1~5の重複率は、0.4、0、0、0.4、0.125の順になる。
ステップ2、単語の重複率と予め設定された重複率閾値とを比較して説明情報と要約との間の関連性を表すラベル行列を生成する。
本出願のいくつかの実施例では、単語の重複率と比較可能な重複率閾値、を予め設定することができ、重複率閾値以上である説明情報は分類ラベル「1」を付与することができ、この閾値より小さいものは分類ラベル「0」を付与することができる。この分類ラベルは、説明情報と摘要との間の関連性を表し、ステップ303の分類行列に使用することができ、この分類ラベルはラベル行列と呼ぶことができる。
図4に示すように、重複率閾値が0.35である場合、文1~5に付与される分類ラベルはそれぞれ、1、0、0、1、0である。
ステップ3、ラベル行列に基づいて第1のモデルの分類損失値を生成する。
なお、ラベル行列に基づいて第1のモデルの分類損失値を生成し、勾配逆伝播によってモデル学習を行うことができる。
ステップ1~ステップ3により、説明情報と摘要との間の関連性を正確かつ迅速に取得し、ラベル行列を生成することができる。このラベル行列によって生成される第1のモデル分類損失値により、第1のモデルが生成する関連度をより正確にすることができる。
ステップ304、要素ベクトル特徴と説明ベクトル特徴とを加算して合成ベクトル特徴を取得し、合成ベクトル特徴をRNNエンコーダに入力して処理し、処理結果をRNNデコーダに入力し、ここで、第1のモデルから出力された各説明情報と要素タイプとの間の関連度がRNNデコーダの入力である。
本出願のいくつかの実施例では、要素ベクトル特徴と説明ベクトル特徴とを加算して、合成ベクトル特徴を取得し、合成ベクトル特徴をRNNエンコーダに入力して処理し、RNNエンコーダで符号化すると、説明情報に対応するベクトル特徴を取得することができる。
RNNエンコーダの処理結果をRNNデコーダに入力し、RNNデコーダは各ステップの復号化時刻ごとに3つのパラメータを入力し、それぞれは、前時刻の隠れ状態、復号化して出力される対応する埋め込みベクトル、コンテキストベクトルである。RNNデコーダは、各ステップの復号化時刻に現在時刻の隠れ状態特徴を生成し、現在時刻のこの隠れ状態特徴は、RNNエンコーダの各出力と単語レベルの注意力重みを計算する。
RNNデコーダの入力は、第1のモデルから出力された各説明情報と要素タイプとの間の関連度をさらに含み、この関連度は、説明情報に対応する文レベルの重みとして、説明情報に対応する各単語の単語レベルの注意力の重みに乗算されて再正規化され、すなわち、文レベルの注意力が対応する単語レベルの注意力に割り当てされ、更新された単語レベルの注意力が生成される。これによって、要素カテゴリとの関連度が高い文の単語の重みを増加させ、要素カテゴリとの関連度が低い文の単語の重みを下げる。
更新された単語レベルの注意力とRNNエンコーダの符号化出力とを重み付け加算すると、固定次元のコンテキストベクトルが取得され、RNNデコーダの入力の1つとして、RNNデコーダに、現在の要素カテゴリと一致する商品の要約出力のみを生成するように促す。
ここで、RNNエンコーダとRNNデコーダは、応用シーンに応じて設計することができ、例えば、1つまたは複数の循環ニューロンを含んでもよく、本実施例では限定されない。
本出願のいくつかの実施例では、連合要約モデルの構造を図5に示すことができ、図5は本出願の実施例に係る連合要約モデルの概略構成図である。
本出願の実施例では、説明情報と要素情報は埋め込み行列の処理を経て、それぞれ対応する説明ベクトル特徴と要素ベクトル特徴を取得する。連合要約モデルが第1のモデルと第2のモデルを含む。
第1のモデルでは、説明ベクトル特徴はRNN単語レベルエンコーダの処理を経て、各単語の符号化された暗黙ベクトルを取得し、各説明情報の単語に対応する暗黙ベクトルを平均化して、各説明情報のベクトル表現を取得する。このベクトル表現をRNN文レベルエンコーダに入力して符号化処理を行って、圧縮して各説明情報の文レベル特徴数値ベクトルを取得する。文レベル特徴数値ベクトル、要素ベクトル特徴及びラベル行列を分類器に入力して、各説明情報と要素タイプとの間の関連度を取得する。
第2のモデルでは、要素ベクトル特徴と説明ベクトル特徴とを加算して合成ベクトル特徴を取得し、RNNエンコーダに入力して処理する。処理結果と、第1のモデルで得られた関連度とをRNNデコーダに入力して、サンプルの要約を取得する。
本出願の実施例の要素テキスト処理方法によれば、第1のモデルでは、RNN単語レベルエンコーダにより、ベクトル特徴の説明に基づいて、各単語の意味表現をさらに豊かにする。RNN文レベルエンコーダにより、単語間、文間の情報交換と特徴モデリングが強化され、モデルに豊かな特徴表現を学習させる。
第2のモデルでは、要素ベクトル特徴と説明ベクトル特徴とを加算することにより、各説明情報の単語と要素特徴との関連性を向上させる。第1のモデルで生成された関連度を入力することにより、要素カテゴリとの関連度が高い文の単語の重みを増加させ、要素カテゴリとの関連度が低い文の単語の重みを下げる。同時に、モデルの制御性を向上させる。
本出願の実施例では、この連合要約モデルで商品の説明情報を処理して、対応する商品の要約を取得することができる。いくつかの実施例では、前記ターゲットオブジェクトの商品説明情報を処理してターゲット要素タイプにマッチングする商品の要約を生成するための具体的な実現形態はステップ601~603を含むことができる。
図6によってより明確に説明することができ、図6は本出願の実施例に係る要素テキスト処理方法のフローチャートである。
ステップ601、ターゲットオブジェクトの商品説明情報を受信する。
なお、この連合要約モデルがトレーニングされた後、本出願の実施例の要素テキスト処理方法によれば、入力された商品説明情報及びターゲット要素タイプに対して、対応する商品の要約を出力することができる。
本出願のいくつかの実施例では、ターゲットオブジェクトは、携帯電話、コンピュータなどの商品を含むが、これらに限定されない。この商品にはより詳細な説明情報があり、この商品説明情報には通常、複数の要素タイプの説明が含まれる。
ステップ602、予め設定された少なくとも1つのターゲット要素タイプを取得する。
本出願のいくつかの実施例では、商品の要約に対応する要素タイプであるターゲット要素タイプを予め設定することができる。
ステップ603、商品説明情報と少なくとも1つのターゲット要素タイプとを、トレーニングされた連合要約モデルに入力して、各ターゲット要素タイプに対応する商品の要約を取得する。
本出願のいくつかの実施例では、商品説明情報と少なくとも1つのターゲット要素タイプとを入力として、商品説明情報と少なくとも1つのターゲット要素タイプとをトレーニングされた連合要約モデルに入力することができ、この連合要約モデルが各ターゲット要素タイプに対応する商品の要約を出力することができる。
本出願の実施例の要素テキスト処理方法によれば、取得されたターゲットオブジェクトの商品説明情報とターゲット要素タイプに基づいて、ターゲット要素タイプに関連する可読性の高い商品の要約を迅速かつ効率的に生成することができる。
本出願の実施例によれば、本出願は要素テキスト処理装置をさらに提案する。
図7は本出願の実施例に係る要素テキスト処理装置の構成ブロック図である。如図7に示すように、この要素テキスト処理装置700は、第1の取得モジュール710、抽出モジュール720、第1の処理モジュール730を備えることができる。
第1の取得モジュール710は、サンプルオブジェクトの複数の説明情報、及び要素タイプでマークされたサンプルの要約を取得し、抽出モジュール720は、要素タイプの要素ベクトル特徴、及び各説明情報の説明ベクトル特徴を抽出し、第1の処理モジュール730は、要素ベクトル特徴と説明ベクトル特徴をトレーニング対象の連合要約モデルの入力として、サンプルの要約を連合要約モデルの出力として、ここで、連合要約モデルが第1のモデルと第2のモデルを含み、第1のモデルから出力される各説明情報と要素タイプとの間の関連度が第2のモデルの入力であり、さらに第1のモデルの分類損失値と第2のモデルの復号損失値とに基づいて連合要約モデルをトレーニングして、ターゲットオブジェクトの商品説明情報を処理してターゲット要素タイプにマッチングする商品の要約を生成する。
本出願のいくつかの実施例では、図8に示すように、図8は本出願の実施例に係る要素テキスト処理装置の構成ブロック図であり、この要素テキスト処理装置800では、第1の処理モジュール830は、RNN単語レベルエンコーダ831、RNN文レベルエンコーダ832、および分類器833を備え、ここで、各説明情報の説明ベクトル特徴をRNN単語レベルエンコーダに入力して符号化処理を行って、各単語の符号化された暗黙ベクトルを取得して平均化して各説明情報のベクトル表現として、各説明情報のベクトル表現をRNN文レベルエンコーダに入力して符号化処理を行って、圧縮して各説明情報の文レベル特徴数値ベクトルを取得し、文レベル特徴数値ベクトルと要素ベクトル特徴とを分類器に入力して、分類行列によって、各説明情報と要素タイプとの間の関連度を取得する。
ここで、図8の810、820と図7の710、720は同じ機能と構造を有する。
本出願のいくつかの実施例では、図9に示すように、図9は本出願の実施例に係る要素テキスト処理装置の構成ブロック図であり、この要素テキスト処理装置900では、第1の処理モジュール930は、RNNエンコーダ934、およびRNNデコーダ935をさらに備え、ここで、要素ベクトル特徴と説明ベクトル特徴とを加算して合成ベクトル特徴を取得し、合成ベクトル特徴をRNNエンコーダに入力して処理し、処理結果をRNNデコーダに入力し、ここで、分類器から出力された各説明情報と要素タイプとの間の関連度がRNNデコーダの入力である。
ここで、図9の910、920と図8の810、820、図9の931~933と図8の831~833は同じ機能と構造を有する。
本出願のいくつかの実施例では、図10に示すように、図10は本出願の実施例に係る要素テキスト処理装置の構成ブロック図であり、この要素テキスト処理装置1000は、計算モジュール1040、第1の生成モジュール1050、第2の生成モジュール1060をさらに備え、ここで、計算モジュール1040は、各説明情報とサンプルの要約との間の単語の重複率を計算し、第1の生成モジュール1050は、単語の重複率と予め設定された重複率閾値とを比較して説明情報と要約との間の関連性を表すラベル行列を生成し、第2の生成モジュール1060は、ラベル行列に基づいて第1のモデルの分類損失値を生成する。
ここで、図10の1010~1030と図9の910~930は同じ機能と構造を有する。
本出願のいくつかの実施例では、第1の処理モジュール730がターゲットオブジェクトの商品説明情報を処理してターゲット要素タイプにマッチングする商品の要約を生成する具体的な実現過程は以下の通りである。ターゲットオブジェクトの商品説明情報を受信し、予め設定された少なくとも1つのターゲット要素タイプを取得し、商品説明情報と少なくとも1つのターゲット要素タイプをトレーニングされた連合要約モデルに入力して、各ターゲット要素タイプに対応する商品の要約を取得する。
上記実施例の装置について、その各モジュールの操作を実行する具体的な方式は、この方法に関する実施例においてすでに詳細に説明したが、ここでは詳細に説明しない。
本出願の実施例によれば、本出願は、電子機器、読み取り可能な記憶媒体、及びコンピュータプログラム製品をさらに提供する。
図11は、本出願の実施例を実行するための例示的な電子機器1100の概略ブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ、および他の適切なコンピュータなどの様々な形態のデジタルコンピュータを表すことを目的とする。電子機器は、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス、および他の同様のコンピューティングデバイスなどの様々な形態のモバイルデバイスを表すこともできる。本明細書で示されるコンポーネント、それらの接続と関係、及びそれらの機能は、単なる例であり、本明細書の説明及び/又は要求される本出願の実現を制限することを意図したものではない。
図11に示すように、電子機器1100は、読み取り専用メモリ(ROM)1102に記憶されているコンピュータプログラムまたは記憶ユニット1108からランダムアクセスメモリ(RAM)1103にロードされたコンピュータプログラムに従って様々な適切な動作および処理を実行できる計算ユニット1101を備える。RAM 1103には、電子機器1100の動作に必要な各種のプログラムやデータも記憶されてもよい。計算ユニット1101、ROM 1102 、およびRAM 1103は、バス1104を介して互いに接続されている。バス1104には、入力/出力(I/O)インターフェース1105も接続されている。
電子機器1100の複数のコンポーネントはI/Oインターフェース1105に接続され、キーボード、マウスなどの入力ユニット1106、各タイプのディスプレイ、スピーカなどの出力ユニット1107、磁気ディスク、光ディスクなどの記憶ユニット1108、およびネットワークカード、モデム、無線通信トランシーバなどの通信ユニット1109を備える。通信ユニット1109は、電子機器1100が、インターネットなどのコンピュータネットワークおよび/または各種の電信ネットワークを介して他のデバイスと情報/データを交換することを可能にする。
計算ユニット1101は、処理および計算能力を有する様々な汎用および/または専用の処理コンポーネントであってもよい。計算ユニット1101のいくつかの例は、中央処理ユニット(CPU)、グラフィック処理ユニット(GPU)、各種の専用の人工知能(AI)計算チップ、各種のマシン運転学習モデルアルゴリズムの計算ユニット、デジタル信号プロセッサ(DSP)、およびいずれかの適切なプロセッサ、コントローラ、マイクロコントローラなどを含むが、これらに限定されない。計算ユニット1101は、上記に記載された各方法及び処理、例えば、要素テキスト処理方法を実行する。例えば、いくつかの実施例では、要素テキスト処理方法を、記憶ユニット1108などの機械読み取り可能な媒体に有形的に含まれるコンピュータソフトウェアプログラムとして実現することができる。いくつかの実施例では、コンピュータプログラムの一部または全部は、ROM 1102および/または通信ユニット1109を介して電子機器1100にロードおよび/またはインストールすることができる。コンピュータプログラムがRAM 1103にロードされ、計算ユニット1101によって実行される場合、前文に記載された要素テキスト処理方法の1つの或複数のステップが実行されてもよい。代替的に、他の実施例では、計算ユニット1101は要素テキスト処理方法を実行するように、他のいずれかの適切な方式(例えば、ファームウェアを介して)によって配置されてもよい。
本明細書で上記記載のシステムと技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)、特定用途向け標準製品(ASSP)、システムオンチップ(SOC)、コンプレックス・プログラマブル・ロジック・デバイス(CPLD)、コンピュータハードウェア、ファームウェア、ソフトウェア、および/またはそれらの組み合わせで実現することができる。これらの様々な実施形態は、1つ又は複数のコンピュータプログラムで実施されることを含むことができ、当該1つ又は複数のコンピュータプログラムは、少なくとも1つのプログラマブルプロセッサを備えるプログラム可能なシステムで実行および/または解釈されることができ、当該プログラマブルプロセッサは、特定用途向け又は汎用プログラマブルプロセッサであってもよく、ストレージシステム、少なくとも1つの入力装置、および少なくとも1つの出力装置からデータおよび命令を受信し、データおよび命令を当該ストレージシステム、当該少なくとも1つの入力装置、および当該少なくとも1つの出力装置に伝送することができる。
本出願の方法を実行するためのプログラムコードは、1つ又は複数のプログラミング言語の任意の組み合わせで書くことができる。これらのプログラムコードは、プロセッサ又はコントローラによって実行された際に、フローチャートおよび/またはブロック図に規定された機能/操作が実施されるように、汎用コンピュータ、専用コンピュータ、又は他のプログラマブルデータ処理装置のプロセッサ又はコントローラに提供されてもよい。プログラムコードは、完全に機械上で実行されるか、部分的に機械上で実行されるか、スタンドアロンソフトウェアパッケージとして、部分的に機械上で実行され、部分的にリモート機械上で実行され又は完全にリモート機械又はサーバ上で実行されてもよい。
本出願のコンテクストでは、機械読み取り可能な媒体は、命令実行システム、装置、またはデバイスによって使用されるために、又は命令実行システム、装置、またはデバイスと組み合わせて使用するためのプログラムを含むか、又は記憶することができる有形の媒体であってもよい。機械読み取り可能な媒体は、機械読み取り可能な信号媒体または機械読み取り可能な記憶媒体であってもよい。機械読み取り可能な媒体は、電子的、磁気的、光学的、電磁気的、赤外線的、又は半導体システム、装置又はデバイス、または上記コンテンツの任意の適切な組み合わせを含むことができるが、これらに限定されない。機械読み取り可能な記憶媒体のより具体的な例は、1つ又は複数のラインに基づく電気的接続、ポータブルコンピュータディスク、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリーメモリ(ROM)、消去可能プログラマブルリードオンリーメモリ(EPROM又はフラッシュメモリ)、光ファイバ、ポータブルコンパクトディスクリードオンリーメモリ(CD-ROM)、光学記憶装置、磁気記憶装置、または上記コンテンツの任意の適切な組み合わせを含む。
ユーザとのインタラクションを提供するために、コンピュータ上でここで説明されるシステム及び技術を実施することができ、当該コンピュータは、ユーザに情報を表示するためのディスプレイ装置(例えば、CRT(陰極線管)又はLCD(液晶ディスプレイ)モニタ)と、キーボード及びポインティングデバイス(例えば、マウス又はトラックボール)とを有し、ユーザは、当該キーボード及び当該ポインティングデバイスによって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形式のセンシングフィードバック(例えば、ビジョンフィードバック、聴覚フィードバック、又は触覚フィードバック)であってもよく、任意の形式(音響入力と、音声入力、または、触覚入力とを含む)でユーザからの入力を受信することができる。
ここで説明されるシステムおよび技術は、バックエンドコンポーネントを備えるコンピューティングシステム(例えば、データサーバとする)、又はミドルウェアコンポーネントを備えるコンピューティングシステム(例えば、アプリケーションサーバ)、又はフロントエンドコンポーネントを備えるコンピューティングシステム(例えば、グラフィカルユーザインターフェース又はウェブブラウザを有するユーザコンピュータ、ユーザは、当該グラフィカルユーザインターフェース又は当該ウェブブラウザによってここで説明されるシステムおよび技術の実施形態とインタラクションできる)、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントのいずれかの組み合わせを備えるコンピューティングシステムで実行することができる。任意の形態又は媒体のデジタルデータ通信(例えば、通信ネットワーク)によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク(LAN)と、ワイドエリアネットワーク(WAN)と、インターネットと、ブロックチェーンネットワークを含む。
コンピュータシステムは、クライアントとサーバを備えることができる。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションする。対応するコンピュータ上で実行され、互いにクライアント-サーバ関係を有するコンピュータプログラムによってクライアントとサーバとの関係が生成される。サーバはクラウドサーバであってもよく、クラウドコンピューティングサーバまたはクラウドホストとも呼ばれ、クラウドコンピューティングサービスシステムにおける1つのホスト製品であり、従来の物理ホストとVPSサービス(「Virtual Private Server」,または「VPS」と省略する)に存在する管理の難しさ、ビジネス拡張性の弱いという欠陥を解決した。サーバは分散システムのサーバであってもよく、ブロックチェーンを組み込んだサーバであってもよい。
本出願の実施例の要素テキスト処理方法によれば、要素タイプ及びそれに対応する要素ベクトル特徴を取得し、説明情報及びそれに対応する説明ベクトル特徴を取得する。上記2種類のベクトル特徴を連合要約モデルの入力として、サンプルの要約を連合要約モデルの出力として、前記連合要約モデルをトレーニングする。トレーニングされた連合要約モデルは説明情報を処理し、テキスト要約を生成することができる。
この方法は制御性が高く、応用シーンに応じて異なるレベルのターゲット要素タイプを設定し、異なるターゲット要素タイプに基づいてモデルを制御して異なるテキスト要約を生成させることができ、生成されたテキスト要約がターゲット要素タイプにマッチングする。この方法は抽出式要約技術ではなく、生成式要約技術に基いているため、生成されたテキスト要約は可読性が高く、人間の言語習慣に合っている。
語彙マッピングテーブル及び埋め込み行列を使用して、より正確で信頼性の高い特徴ベクトルを取得し、説明情報と要素タイプとの関連度計算をより正確にすることができる。最終的に生成されるテキスト要約は、ターゲット要素タイプとの関連性が高く、制御性が高くなる。
第1のモデルでは、RNN単語レベル符号化層を介して、説明ベクトル特徴に基づいて各単語の意味表現をさらに豊かにする。RNN文レベル符号化層を介して、単語間、文間の情報交換と特徴モデリングを強化し、モデルに豊かな特徴表現を学習させる。
第2のモデルでは、要素ベクトル特徴と説明ベクトル特徴とを加算することにより、各説明情報の単語と要素特徴との関連性を向上させる。第1のモデルによって生成された関連度を入力することにより、要素カテゴリとの関連度が高い文の単語の重みを増加させ、要素カテゴリとの関連度が低い文の単語の重みを下げる。同時に、モデルの制御性を向上させる。
本出願の実施例の要素テキスト処理方法によれば、取得されたターゲットオブジェクトの商品説明情報とターゲット要素タイプに基づいて、ターゲット要素タイプに関連する可読性の高い商品の要約を迅速かつ効率的に生成することができる。
なお、上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができると理解されたい。例えば、本開示に記載されている各ステップは、並列に実行されてもよいし、順次実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案が所望の結果を実現することができれば、本明細書では限定されない。
上記具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者は、設計要件と他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができる。任意の本出願の精神と原則内で行われる修正、同等の置換、及び改善などは、いずれも本出願の保護範囲内に含まれるべきである。
本出願は、要素テキスト処理のための方法、装置、機器、記憶媒体、及びコンピュータプログラムを提供する。
本出願の第5態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムはプロセッサによって実行される場合、第1の態様に記載の要素テキスト処理方法を実現する。
本出願の実施例によれば、本出願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。
本開示の実施例によれば、本開示は、コンピュータプログラムをさらに提供し、コンピュータプログラムがプロセッサによって実行される場合、本開示によって提供される要素テキスト処理方法を実現する。
本開示の実施例によれば、本開示は、コンピュータプログラムをさらに提供し、コンピュータプログラムがプロセッサによって実行される場合、本開示によって提供される要素テキスト処理方法を実現する。
Claims (17)
- サンプルオブジェクトの複数の説明情報、及び要素タイプでマークされたサンプルの要約を取得するステップと、
前記要素タイプの要素ベクトル特徴、及び各前記説明情報の説明ベクトル特徴を抽出するステップと、
前記要素ベクトル特徴と前記説明ベクトル特徴をトレーニング対象の連合要約モデルの入力として、前記サンプルの要約を前記連合要約モデルの出力とするステップであって、前記連合要約モデルが第1のモデルと第2のモデルを含み、前記第1のモデルから出力された各前記説明情報と前記要素タイプとの間の関連度が前記第2のモデルの入力であり、さらに前記第1のモデルの分類損失値と前記第2のモデルの復号損失値とに基づいて前記連合要約モデルをトレーニングして、ターゲットオブジェクトの商品説明情報を処理してターゲット要素タイプにマッチングする商品の要約を生成するステップと、
を含む要素テキスト処理方法。 - 前記要素タイプでサンプルの要約をマークすることが、
複数のサンプルの要約に対してクラスタリング処理を行い、異なる要素タイプに属するサンプルの要約集合をマークすることを含む請求項1に記載の要素テキスト処理方法。 - 前記要素タイプの要素ベクトル特徴、及び各前記説明情報の説明ベクトル特徴を抽出するステップが、
予め設定された語彙マッピングテーブルに基づいて前記要素タイプと各前記説明情報の文字列とを変換して、対応する要素タイプ数字番号と説明情報数字番号とを取得するステップと、
予め設定された埋め込み行列に基づいて前記要素タイプ数字番号と前記説明情報数字番号を処理して、要素ベクトル特徴及び各前記説明情報の説明ベクトル特徴を生成するステップと、
を含む請求項1に記載の要素テキスト処理方法。 - 前記第1のモデルが、RNN単語レベルエンコーダ、RNN文レベルエンコーダ及び分類器を含み、
各前記説明情報の説明ベクトル特徴を前記RNN単語レベルエンコーダに入力して符号化処理を行って、各単語の符号化された暗黙ベクトルを取得して平均化して各説明情報のベクトル表現として、
前記各説明情報のベクトル表現を前記RNN文レベルエンコーダに入力して符号化処理を行って、圧縮して各前記説明情報の文レベル特徴数値ベクトルを取得し、
前記文レベル特徴数値ベクトルと前記要素ベクトル特徴を前記分類器に入力して、分類行列によって、各前記説明情報と前記要素タイプとの間の関連度を取得する請求項1に記載の要素テキスト処理方法。 - 前記第2のモデルが、RNNエンコーダとRNNデコーダを含み、
前記要素ベクトル特徴と前記説明ベクトル特徴とを加算して合成ベクトル特徴を取得して、前記合成ベクトル特徴を前記RNNエンコーダに入力して処理して、処理結果を前記RNNデコーダに入力し、前記第1のモデルから出力された各前記説明情報と前記要素タイプとの間の関連度が前記RNNデコーダの入力である請求項4に記載の要素テキスト処理方法。 - 各前記説明情報と前記サンプルの要約との間の単語の重複率を計算するステップと、
前記単語の重複率と予め設定された重複率閾値とを比較して説明情報と要約との間の関連性を表すラベル行列を生成するステップと、
前記ラベル行列に基づいて前記第1のモデルの分類損失値を生成するステップと、
を含む請求項1に記載の要素テキスト処理方法。 - 前記ターゲットオブジェクトの商品説明情報を処理してターゲット要素タイプにマッチングする商品の要約を生成するステップが、
ターゲットオブジェクトの商品説明情報を受信するステップと、
予め設定された少なくとも1つのターゲット要素タイプを取得するステップと、
前記商品説明情報と前記少なくとも1つのターゲット要素タイプをトレーニングされた連合要約モデルに入力して、各前記ターゲット要素タイプに対応する商品の要約を取得するステップと、
を含む請求項1から6のいずれか一項に記載の要素テキスト処理方法。 - サンプルオブジェクトの複数の説明情報、及び要素タイプでマークされたサンプルの要約を取得する第1の取得モジュールと、
前記要素タイプの要素ベクトル特徴、及び各前記説明情報の説明ベクトル特徴を抽出する抽出モジュールと、
前記要素ベクトル特徴と前記説明ベクトル特徴をトレーニング対象の連合要約モデルの入力として、前記サンプルの要約を前記連合要約モデルの出力とする第1の処理モジュールであって、前記連合要約モデルが第1のモデルと第2のモデルを含み、前記第1のモデルから出力された各前記説明情報と前記要素タイプとの間の関連度が前記第2のモデルの入力であり、さらに前記第1のモデルの分類損失値と前記第2のモデルの復号損失値とに基づいて前記連合要約モデルをトレーニングして、ターゲットオブジェクトの商品説明情報を処理してターゲット要素タイプにマッチングする商品の要約を生成する第1の処理モジュールと、
を備える要素テキスト処理装置。 - 前記第1の取得モジュールが、
複数のサンプルの要約に対してクラスタリング処理を行い、異なる要素タイプに属するサンプルの要約集合をマークする請求項8に記載の要素テキスト処理装置。 - 前記抽出モジュールが、
予め設定された語彙マッピングテーブルに基づいて前記要素タイプと各前記説明情報の文字列とを変換して、対応する要素タイプ数字番号と説明情報数字番号とを取得し、
予め設定された埋め込み行列に基づいて前記要素タイプ数字番号と前記説明情報数字番号を処理して、要素ベクトル特徴及び各前記説明情報の説明ベクトル特徴を生成する請求項8に記載の要素テキスト処理装置。 - 前記第1の処理モジュールが、RNN単語レベルエンコーダ、RNN文レベルエンコーダ及び分類器を備え、
各前記説明情報の説明ベクトル特徴を前記RNN単語レベルエンコーダに入力して符号化処理を行って、各単語の符号化された暗黙ベクトルを取得して平均化して各説明情報のベクトル表現として、
前記各説明情報のベクトル表現を前記RNN文レベルエンコーダに入力して符号化処理を行って、圧縮して各前記説明情報の文レベル特徴数値ベクトルを取得し、
前記文レベル特徴数値ベクトルと前記要素ベクトル特徴を前記分類器に入力して、分類行列によって、各前記説明情報と前記要素タイプとの間の関連度を取得する請求項8に記載の要素テキスト処理装置。 - 前記第1の処理モジュールが、RNNエンコーダとRNNデコーダを備え、
前記要素ベクトル特徴と前記説明ベクトル特徴とを加算して合成ベクトル特徴を取得して、前記合成ベクトル特徴を前記RNNエンコーダに入力して処理して、処理結果を前記RNNデコーダに入力し、前記分類器から出力された各前記説明情報と前記要素タイプとの間の関連度が前記RNNデコーダの入力である請求項11に記載の要素テキスト処理装置。 - 各前記説明情報と前記サンプルの要約との間の単語の重複率を計算する計算モジュールと、
前記単語の重複率と予め設定された重複率閾値とを比較して説明情報と要約との間の関連性を表すラベル行列を生成する第1の生成モジュールと、
前記ラベル行列に基づいて前記第1のモデルの分類損失値を生成する第2の生成モジュールと、
を備える請求項8に記載の要素テキスト処理装置。 - 前記第1の処理モジュールが、
ターゲットオブジェクトの商品説明情報を受信し、
予め設定された少なくとも1つのターゲット要素タイプを取得し、
前記商品説明情報と前記少なくとも1つのターゲット要素タイプをトレーニングされた連合要約モデルに入力して、各前記ターゲット要素タイプに対応する商品の要約を取得する請求項8から13のいずれか一項に記載の要素テキスト処理装置。 - 少なくとも1つのプロセッサと、
該少なくとも1つのプロセッサと通信可能に接続されるメモリと、
を備え、
前記メモリには、前記少なくとも1つのプロセッサによって実行可能な命令が記憶され、前記少なくとも1つのプロセッサが請求項1から7のいずれか一項に記載の方法を実行できるように、前記命令が、前記少なくとも1つのプロセッサによって実行される電子機器。 - コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令が、コンピュータに請求項1から7のいずれか一項に記載の方法を実行させる非一時的なコンピュータ読み取り可能な記憶媒体。 - コンピュータプログラムが含まれるコンピュータプログラム製品であって、前記コンピュータプログラムがプロセッサによって実行される場合、請求項1から7のいずれか一項に記載の方法を実現するコンピュータプログラム製品。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202110476637.8A CN115269768A (zh) | 2021-04-29 | 2021-04-29 | 要素文本处理方法、装置、电子设备和存储介质 |
CN202110476637.8 | 2021-04-29 | ||
PCT/CN2022/086637 WO2022228127A1 (zh) | 2021-04-29 | 2022-04-13 | 要素文本处理方法、装置、电子设备和存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024515199A true JP2024515199A (ja) | 2024-04-05 |
Family
ID=83745338
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023564414A Pending JP2024515199A (ja) | 2021-04-29 | 2022-04-13 | 要素テキスト処理方法、装置、電子機器及び記憶媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20240202499A1 (ja) |
JP (1) | JP2024515199A (ja) |
CN (1) | CN115269768A (ja) |
WO (1) | WO2022228127A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN116189145B (zh) * | 2023-02-15 | 2024-06-11 | 清华大学 | 一种线形地图要素的提取方法、系统和可读介质 |
CN117577348B (zh) * | 2024-01-15 | 2024-03-29 | 中国医学科学院医学信息研究所 | 一种循证医学证据的识别方法及相关装置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10474709B2 (en) * | 2017-04-14 | 2019-11-12 | Salesforce.Com, Inc. | Deep reinforced model for abstractive summarization |
CN110390103B (zh) * | 2019-07-23 | 2022-12-27 | 中国民航大学 | 基于双编码器的短文本自动摘要方法及系统 |
CN110489541B (zh) * | 2019-07-26 | 2021-02-05 | 昆明理工大学 | 基于案件要素及BiGRU的涉案舆情新闻文本摘要方法 |
CN111061862B (zh) * | 2019-12-16 | 2020-12-15 | 湖南大学 | 一种基于注意力机制生成摘要的方法 |
CN111831820B (zh) * | 2020-03-11 | 2022-07-19 | 昆明理工大学 | 基于案件要素指导及深度聚类的新闻与案件相关性分析方法 |
-
2021
- 2021-04-29 CN CN202110476637.8A patent/CN115269768A/zh active Pending
-
2022
- 2022-04-13 WO PCT/CN2022/086637 patent/WO2022228127A1/zh active Application Filing
- 2022-04-13 JP JP2023564414A patent/JP2024515199A/ja active Pending
- 2022-04-13 US US18/286,906 patent/US20240202499A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
WO2022228127A1 (zh) | 2022-11-03 |
CN115269768A (zh) | 2022-11-01 |
US20240202499A1 (en) | 2024-06-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11934791B2 (en) | On-device projection neural networks for natural language understanding | |
JP7366984B2 (ja) | テキスト誤り訂正処理方法、装置、電子機器及び記憶媒体 | |
KR102577514B1 (ko) | 텍스트 창작 방법, 텍스트 창작 장치, 전자 기기 및 저장 매체 | |
CN109241524B (zh) | 语义解析方法及装置、计算机可读存储介质、电子设备 | |
WO2020107878A1 (zh) | 文本摘要生成方法、装置、计算机设备及存储介质 | |
US20210312139A1 (en) | Method and apparatus of generating semantic feature, method and apparatus of training model, electronic device, and storage medium | |
WO2021121198A1 (zh) | 基于语义相似度的实体关系抽取方法、装置、设备及介质 | |
US20180341698A1 (en) | Method and apparatus for parsing query based on artificial intelligence, and storage medium | |
JP7309798B2 (ja) | 対話意図の認識方法及び装置、電子機器並びに記憶媒体 | |
JP7096919B2 (ja) | エンティティワードの認識方法と装置 | |
JP2024515199A (ja) | 要素テキスト処理方法、装置、電子機器及び記憶媒体 | |
CN108228576A (zh) | 文本翻译方法及装置 | |
JP2023541742A (ja) | ソートモデルのトレーニング方法及び装置、電子機器、コンピュータ可読記憶媒体、コンピュータプログラム | |
US20210326538A1 (en) | Method, apparatus, electronic device for text translation and storage medium | |
CN114841274B (zh) | 语言模型的训练方法、装置、电子设备和存储介质 | |
CN112507101A (zh) | 一种建立预训练语言模型的方法和装置 | |
US20220358955A1 (en) | Method for detecting voice, method for training, and electronic devices | |
JP2022534375A (ja) | テキスト知能化洗浄方法、装置及びコンピュータ読み取り可能な記憶媒体 | |
US20230094730A1 (en) | Model training method and method for human-machine interaction | |
CN111783480A (zh) | 文本处理和模型训练方法、装置、存储介质和电子设备 | |
CN115129819A (zh) | 文本摘要模型生产方法及其装置、设备、介质 | |
JP7291181B2 (ja) | 業界テキスト増分方法、関連装置、およびコンピュータプログラム製品 | |
CN115357710B (zh) | 表格描述文本生成模型的训练方法、装置及电子设备 | |
CN116595134A (zh) | 个性化回复生成方法、装置、设备以及存储介质 | |
CN114691836B (zh) | 文本的情感倾向性分析方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231020 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20231020 |