JP7121791B2

JP7121791B2 - 言語生成方法、装置及び電子機器

Info

Publication number: JP7121791B2
Application number: JP2020215548A
Authority: JP
Inventors: チャン，ハン; シャオ，ドンリン; リ，ウキン; ソン，ウ; ティアン，ハオ; ウ，ファ; ワン，ハイフェン
Original assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Current assignee: Beijing Baidu Netcom Science and Technology Co Ltd
Priority date: 2020-01-23
Filing date: 2020-12-24
Publication date: 2022-08-18
Anticipated expiration: 2040-12-24
Also published as: US11562150B2; CN111325000B; KR102517927B1; CN111325000A; JP2021117989A; KR20210095811A; EP3855341A1; US20210232775A1

Description

本出願は、コンピュータ技術分野に関し、特に自然言語処理技術分野に関し、言語生成方法、装置及び電子機器を提供する。

自然言語生成技術では、ディープニューラルネットワークを使用して、大規模な教師なしデータに対して自己監視学習を実行して、事前トレーニングモデルを生成し、具体的な言語生成タスクでは、このタイプのタスクの教師ありトレーニングデータに基づいて、事前トレーニングモデルに対し、パラメータの微調整を実行し、事前トレーニングモデルで移行学習を実行して、このタイプのタスクの言語生成モデルを生成する。

関連する技術では、言語生成の事前トレーニング／微調整フレームワークに基づく言語生成技術は、セマンティック表現モデリングに依存しており、トランスフォーマーからの双方向エンコーダ表現（ＢｉｄｉｒｅｃｔｉｏｎａｌＥｎｃｏｄｅｒＲｅｐｒｅｓｅｎｔａｔｉｏｎｆｒｏｍＴｒａｎｓｆｏｒｍｅｒｓ，ＢＥＲＴと略す）モデルなどのセマンティック表現モデルは、通常、単一の文字をデコード単位とし、単一の文字に含まれるセマンティック情報が十分に豊富でないため、セマンティック表現モデルは、完全なテキストの全体的なセマンティクスを学習できず、それにより、言語生成モデルの精度が低くなる。

本出願により提供される言語生成（ｌａｎｇｕａｇｅｇｅｎｅｒａｔｉｏｎ）方法、装置及び電子機器は、関連する技術では、言語生成の事前トレーニング／微調整フレームワークに基づく言語生成技術が、セマンティック表現モデリングに依存しているが、セマンティック表現モデルが、通常、単一の文字をデコード単位とし、単一の文字に含まれるセマンティック情報が十分に豊富でないため、セマンティック表現モデルが、完全なテキストの全体的なセマンティクスを学習できず、それにより、言語生成モデルの精度が低くなるという問題を解決する。

本出願の一態様の実施例によって提供される言語生成方法は、事前設定されたエンコーダを使用して入力シーケンスをエンコードし、前記入力シーケンスに対応する隠れた状態ベクトルを生成するステップと、事前設定された分類器を使用して、前記隠れた状態ベクトル及び生成された第１ターゲットフラグメントベクトルを分類し、予測対象の第２ターゲットフラグメントの粒度カテゴリを決定するステップと、前記第２ターゲットフラグメントがフレーズである場合、Ｎ個のデコーダを使用して、前記第１ターゲットフラグメントベクトル、前記隠れた状態ベクトル及び前記第２ターゲットフラグメントに対応する位置ベクトルをそれぞれデコードし、Ｎ個の第２ターゲットフラグメントを生成するステップであって、Ｎは、１を超えた整数であるステップと、それぞれ前記Ｎ個の第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差に基づいて、損失値を決定するステップと、前記損失値に基づいて、前記事前設定されたエンコーダ、事前設定された分類器及びＮ個のデコーダに対し、パラメータの更新を行い、更新後に生成された言語生成モデルを使用して言語生成を行うステップと、を含む。

本出願の別の態様の実施例によって提供される言語生成装置は、事前設定されたエンコーダを使用して、入力シーケンスをエンコードし、前記入力シーケンスに対応する隠れた状態ベクトルを生成するための第１生成モジュールと、事前設定された分類器を使用して、前記隠れた状態ベクトル及び生成された第１ターゲットフラグメントベクトルを分類し、予測対象の第２ターゲットフラグメントの粒度カテゴリを決定するための第１決定モジュールと、前記第２ターゲットフラグメントがフレーズである場合、Ｎ個のデコーダを使用して、前記第１ターゲットフラグメントベクトル、前記隠れた状態ベクトル及び前記第２ターゲットフラグメントに対応する位置ベクトルをそれぞれデコードし、Ｎ個の第２ターゲットフラグメントを生成するための第２生成モジュールであって、Ｎは、１を超えた整数である、第２生成モジュールと、それぞれ前記Ｎ個の第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差に基づいて、損失値を決定するための第２決定モジュールと、前記損失値に基づいて、前記事前設定されたエンコーダ、事前設定された分類器及びＮ個のデコーダに対し、パラメータの更新を行い、更新後に生成された言語生成モデルを使用して、言語生成を行うための言語生成モジュールと、を含む。

本出願の更なる態様の実施例によって提供される電子機器は、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信可能に接続されるメモリと、を備え、前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも１つのプロセッサによって実行される場合、前記少なくとも１つのプロセッサが、前述の言語生成方法を実行可能である。
本出願の更なる態様の実施例は、コンピュータプログラムを提供し、前記コンピュータプログラムにおける命令が実行された場合に、本出願の実施例の言語生成方法が実行される。

本出願のもう１つの態様の実施例によって提供され、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、前記コンピュータ命令は、前記コンピュータに前述の言語生成方法を実行させることを特徴とする。

上記出願の実施例のいずれにも、以下の利点又は有益な効果がある。言語生成モデルの事前トレーニングプロセス中に、入力シーケンスのオリジナル基本文字単位に基づいて、異なる粒度の言語フラグメントを柔軟に構築し、複数のエンコーダを使用してフレーズの粒度のターゲットフラグメントを予測することにより、入力シーケンスの全体的なセマンティクスの学習効果を向上させ、言語生成モデルの精度を向上させる。事前設定されたエンコーダを使用して入力シーケンスをエンコードし、入力シーケンスに対応する隠れた状態ベクトルを生成し、事前設定された分類器を使用して、隠れた状態ベクトル及び生成された第１ターゲットフラグメントベクトルを分類し、予測対象の第２ターゲットフラグメントの粒度カテゴリを決定し、第２ターゲットフラグメントがフレーズである場合、Ｎ個のデコーダを使用して、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第２ターゲットフラグメントに対応する位置ベクトルをそれぞれデコードし、Ｎ個の第２ターゲットフラグメントを生成し、ここで、Ｎが１を超えた整数であり、その後、それぞれＮ個の第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差に基づいて、損失値を決定し、損失値に基づいて、事前設定されたエンコーダ、事前設定された分類器及びＮ個のデコーダに対し、パラメータの更新を行い、更新後に生成された言語生成モデルを使用して言語生成を行う技術的手段を採用するため、セマンティック表現モデルが、通常、単一の文字をデコード単位として、完全なテキストの全体的なセマンティクスを学習できず、それにより、言語生成モデルの精度が低くなるという問題を克服し、入力シーケンスの全体的なセマンティクスの学習効果を改善し、言語生成モデルの精度を向上させるという技術的効果を達成した。

上記の任意の方法の他の効果は、具体的な実施例と併せて以下に記載される。

添付の図面は、本技術案がよりよく理解されるためのものであり、本出願を限定するものではない。
本出願の実施例によって提供される言語生成方法の概略フローチャートである。文字に対応するデコーダによって、ターゲットフラグメントを予測する概略図である。本出願の実施例によって提供される、プレースホルダーベクトルを導入してターゲットフラグメントを予測する概略図である。本出願の実施例によって提供される別の言語生成方法の概略フローチャートである。本出願の実施例によって提供される言語生成装置の概略構成図である。本出願の実施例によって提供される電子機器の概略構成図である。

以下、本出願の例示的な実施例を図面を参照して説明し、理解を容易にするためにその中には本出願の実施例の様々な詳細を含んでおり、それらは単なる例示するものと見なされるべきである。したがって、当業者は、本出願の範囲及び趣旨から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを理解すべきである。同様に、明確及び簡潔するために、以下の説明では、周知の機能及び構成の説明を省略する。

本出願の実施例は、関連する技術の中で、言語生成の事前トレーニング／微調整フレームワークに基づく言語生成技術が、セマンティック表現モデリングに依存しているが、セマンティック表現モデルが、通常、単一の文字をデコード単位とし、単一の文字に含まれるセマンティック情報が十分に豊富でないため、セマンティック表現モデルが、完全なテキストの全体的なセマンティクスを学習できず、それにより、言語生成モデルの精度が低くなるという問題に対処し、言語生成方法を提案する。

本出願によって提供する言語生成方法、装置、電子機器及び記憶媒体について、添付の図面を参照して以下に詳細に説明する。

本出願の実施例によって提供される言語生成方法について、図１を参照して以下に詳細に説明する。

図１は、本出願の実施例によって提供される言語生成方法の概略フローチャートである。

図１に示すように、該言語生成方法は、以下のステップを含む。
ステップ１０１：事前設定されたエンコーダを使用して、入力シーケンスをエンコードし、入力シーケンスに対応する隠れた状態ベクトルを生成する。

本出願の実施例に係る言語生成方法は、本出願の実施例に係る言語生成装置によって実行できることに留意されたい。本出願の実施例に係る言語生成装置は、本出願の実施例に限定されず、携帯電話、コンピュータ、パーソナルデジタルアシスタント、ヒューマンコンピュータインタラクション音声機器、スマートロボット、ウェアラブル装置などの任意の電子機器に配置されてもよい。

入力シーケンスは、言語生成モデルをトレーニングするためのトレーニングサンプルを指し、例えば、テキスト情報であってもよい。
入力シーケンスに対応する隠れた状態ベクトルは、入力シーケンスのベクトル表示を指す。

本出願の実施例において、事前設定されたエンコーダは、本出願の実施例に限定されず、自然な音声のベクトル表現が可能な任意のモデルであってもよい。言語生成モデルのトレーニングプロセスでは、トレーニングサンプルセットを予め作成し、トレーニングサンプルセット内の各トレーニングサンプルを入力シーケンスとして、事前設定されたエンコーダにそれぞれ入力することで、事前設定されたエンコーダを使用して入力シーケンスをエンコードし、入力シーケンスに対応する隠れた状態ベクトルを生成することができる。

ステップ１０２：事前設定された分類器を使用して、隠れた状態ベクトル及び生成された第１ターゲットフラグメントベクトルを分類し、予測対象の第２ターゲットフラグメントの粒度カテゴリを決定する。

事前設定された分類器は、入力シーケンスにおける予測対象のフラグメントの粒度カテゴリを決定できる、事前にトレーニングされた分類モデルを指す。
第１ターゲットフラグメントは、本出願の実施例に係るデコーダを使用して、入力シーケンスの隠れた状態ベクトルに基づいて、予測された入力シーケンス内のフラグメントを指す。
第２ターゲットフラグメントは、現在予測する必要がある入力シーケンス内のフラグメントを指す。
第２ターゲットフラグメントの粒度カテゴリは、文字やフレーズなどのカテゴリを含んでもよい。第２ターゲットフラグメントの粒度カテゴリが異なる場合、異なるデコーダを使用して第２ターゲットフラグメントを予測できることに留意されたい。

本出願の実施例において、事前設定された分類器で入力シーケンスに対応する隠れた状態ベクトル及び生成された第１ターゲットフラグメントベクトルを分類処理し、予測対象の第２ターゲットフラグメントの粒度カテゴリを決定して出力することができ、例えば、事前設定された分類器の出力が「０」である場合、予測対象の第２ターゲットフラグメントの粒度カテゴリが文字であることを意味し、事前設定された分類器の出力が「１」である場合、予測対象の第２ターゲットフラグメントの粒度カテゴリがフレーズであることを意味する。入力シーケンスの初めての予測が現在実行されている場合、即ち、第２ターゲットフラグメントが入力シーケンス内の１番目のフラグメントである場合、生成された第１ターゲットフラグメントベクトルが空であってもよく、即ち、事前設定された分類器が、入力シーケンスに対応する隠れた状態ベクトルに基づいて、予測対象の第２ターゲットフラグメントの粒度カテゴリを決定することができることに留意されたい。

さらに、第２ターゲットフラグメントの粒度カテゴリが文字であると決定された場合、その文字に対応するデコーダを使用して、第２ターゲットフラグメントを予測することができる。即ち、本出願の実施例の可能な実施形態において、上記のステップ１０２の後、以下のステップを含んでもよい。

第２ターゲットフラグメントが文字である場合、文字に対応するデコーダを使用して、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第１ターゲットフラグメントの位置ベクトルをデコードし、第２ターゲットフラグメントを生成する。
第１ターゲットフラグメントの位置ベクトルは、入力シーケンス内の第１ターゲットフラグメントの位置特徴のベクトル表示を指す。

例えば、図２に示すように、文字に対応するデコーダによって、ターゲットフラグメントを予測する概略図である。ここで、ｎは、入力シーケンスに含まれる文字数であり、第２ターゲットフラグメントがｔ_２の場合、第１ターゲットフラグメントがｔ_１であり、第１ターゲットフラグメントの位置ベクトルは、入力シーケンス内のｔ_１の位置特徴のベクトル表現を指し、第２ターゲットフラグメントがｔ_３の場合、第１ターゲットフラグメントがｔ_１及びｔ_２を含み、第１ターゲットフラグメントの位置ベクトルは、入力シーケンス内のｔ_１及びｔ_２の位置特徴のベクトル表示を指す。

本出願の実施例において、文字に対応するデコーダを事前にトレーニングすることができ、その結果、第２ターゲットフラグメントが文字であると決定された場合、文字に対応するデコーダを使用して、第１ターゲットフラグメントベクトル、隠れた状態ベクトル即ち第１ターゲットフラグメントの位置ベクトルをデコードし、第２ターゲットフラグメントを生成することができる。第２ターゲットフラグメントが文字である場合、第２ターゲットフラグメントの生成が入力シーケンスの隠れた状態ベクトル、及びその前に生成された全ての第１ターゲットフラグメントベクトル及び第１ターゲットフラグメントの位置ベクトルに依存することに留意されたい。

例えば、図２に示すように、第２ターゲットフラグメントがｔ_１である場合、文字に対応するデコーダで隠れた状態ベクトルをデコードし、第２ターゲットフラグメントｔ_１を生成することができ、第２ターゲットフラグメントがｔ_２である場合、文字に対応するデコーダで隠れた状態ベクトル、第１ターゲットフラグメントｔ_１のベクトル、第１ターゲットフラグメントｔ_１の位置ベクトルをデコードし、第２ターゲットフラグメントｔ_２を生成することができ、第２ターゲットフラグメントがｔ_３である場合、文字に対応するデコーダで、隠れた状態ベクトル、第１ターゲットフラグメントｔ_１及びｔ_２のベクトル、第１ターゲットフラグメントｔ_１及びｔ_２の位置ベクトルをデコードして、第２ターゲットフラグメントｔ_３を生成することができ、類推により、入力シーケンス内の各文字粒度のフラグメントを順次予測できる。

ステップ１０３：第２ターゲットフラグメントがフレーズである場合、Ｎ個のデコーダを使用して、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第２ターゲットフラグメントに対応する位置ベクトルをそれぞれデコードし、Ｎ個の第２ターゲットフラグメントを生成し、Ｎは、１を超えた整数である。

第２ターゲットフラグメントがフレーズである場合、第２ターゲットフラグメントに含まれる各文字を予測し、予測された各文字を使用して、ターゲットフラグメントを生成することに留意されたい。

第２ターゲットフラグメントに対応する位置ベクトルは、第２ターゲットフラグメント内の現在予測されている文字の位置に関連している。具体的には、現在予測されている文字が第２ターゲットフラグメントにおける初めての文字である場合、第２ターゲットフラグメントに対応する位置ベクトルは、第１ターゲットフラグメントの位置ベクトルであり、現在予測されている文字が第２ターゲットフラグメント内の初めての文字でない場合、第２ターゲットフラグメントに対応する位置ベクトルには、第１ターゲットフラグメントの位置ベクトルと、現在予測されている文字の前の第２ターゲットフラグメント内の各文字の位置ベクトルとが含まれている。

本出願の実施例において、フレーズ予測の精度を改善するために、フレーズを予測するための複数のデコーダを事前にトレーニングして、異なる粒度からフレーズを予測することができる。したがって、第２ターゲットフラグメントがフレーズであると決定された場合、Ｎ個のデコーダを使用して、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第２ターゲットフラグメントに対応する位置ベクトルをデコードできる。各デコーダは、それぞれ１つの第２ターゲットフラグメントを生成することができ、それによってＮ個の第２ターゲットフラグメントを生成する。

可能な実装方法として、２つのデコーダを使用して、２つの粒度からフレーズの粒度の第２ターゲットフラグメントをそれぞれ予測することができる。第２ターゲットフラグメントには、２つの文字が含まれ、Ｎ個のデコーダが少なくとも第１デコーダ及び第２デコーダを含む場合について、以下に詳細に説明する。即ち、本出願の実施例の可能な実施形態において、上記ステップ１０３は、以下のステップを含んでもよい。

第１デコーダを使用して、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第２ターゲットフラグメントに対応する第１位置ベクトルをデコードし、第１位置にある第１候補文字を生成し、第１デコーダを使用して、第１ターゲットフラグメントベクトル、第１候補文字に対応するベクトル、隠れた状態ベクトル及び第２ターゲットフラグメントに対応する第２位置ベクトルをデコードし、第２位置にある第１候補文字を生成し、第１位置にある第１候補文字及び第２位置にある第１候補文字に基づいて、１番目の第２ターゲットフラグメントを生成し、第２デコーダを使用して、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第１位置ベクトルをデコードし、第１位置にある第２候補文字を生成し、第２デコーダを使用して、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第２位置ベクトルをデコードし、第２位置にある第２候補文字を生成し、第１位置にある第２候補文字及び第２位置にある第２候補文字に基づいて、２番目の第２ターゲットフラグメントを生成する。

第２ターゲットフラグメントに対応する第１位置ベクトルは、第１ターゲットフラグメントの位置ベクトルであり、第２ターゲットフラグメントに対応する第２位置ベクトルは、第１ターゲットフラグメントの位置ベクトル及び第２ターゲットフラグメントにおける１番目の文字の位置ベクトルである。
第１位置は、第２ターゲットフラグメント内の１番目の文字の位置を指し、第２位置は、第２ターゲットフラグメント内の２番目の文字の位置を指す。

本出願の実施例において、第１デコーダは、文字粒度からフレーズ粒度の第２ターゲットフラグメントを予測でき、第１デコーダを使用して第２ターゲットフラグメントにおける１番目の文字を予測するとき、第１デコーダは、生成された第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第１ターゲットフラグメントの位置ベクトルをデコードし、第２ターゲットフラグメントの第２位置にある第１候補文字、即ち第２ターゲットフラグメントにおける１番目の文字を生成する。つまり、第１デコーダを使用して第２ターゲットフラグメントにおける１番目の文字を予測するとき、入力シーケンスの隠れた状態ベクトル、及びその前に生成された全ての第１ターゲットフラグメントベクトル及び第１ターゲットフラグメントの位置ベクトルに依存する。

同様に、第２ターゲットフラグメントにおける１番目の文字を予測完了した後、第１デコーダを使用して第２ターゲットフラグメントにおける２番目の文字を予測でき、第１デコーダを使用して、生成された第１ターゲットフラグメントベクトル、第１候補文字に対応するベクトル、隠れた状態ベクトル、第１ターゲットフラグメントの位置ベクトル及び第２ターゲットフラグメントにおける１番目の文字の位置ベクトルをデコードし、第２ターゲットフラグメントにおける第２位置にある第１候補文字、即ち、第２ターゲットフラグメントにおける２番目の文字を生成する。つまり、第１デコーダを使用して第２ターゲットフラグメントにおける２番目の文字を予測するとき、入力シーケンスの隠れた状態ベクトル、及びその前に生成された全ての第１ターゲットフラグメントベクトル及び第１ターゲットフラグメントの位置ベクトルに依存するだけでなく、第２ターゲットフラグメントにおける１番目の文字に対応するベクトル及び位置ベクトルにも依存する。

第１デコーダを使用して、第１位置にある第１候補文字及び第２位置にある第１候補文字を決定した後、これらの第１候補文字を使用して、１番目の第２ターゲットフラグメントを構成することができる。

本出願の実施例において、第２デコーダは、フレーズ粒度からフレーズ粒度の第２ターゲットフラグメントを予測でき、第２デコーダを使用して第２ターゲットフラグメントにおける１番目の文字を予測するとき、第２デコーダは、生成された第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第１ターゲットフラグメントの位置ベクトルをデコードして、第２ターゲットフラグメントの第２位置にある第２候補文字、即ち、第２ターゲットフラグメントにおける１番目の文字を生成することができる。つまり、第２デコーダを使用して第２ターゲットフラグメントにおける１番目の文字を予測するとき、入力シーケンスの隠れた状態ベクトル、及びその前に生成された全ての第１ターゲットフラグメントベクトル及び第１ターゲットフラグメントの位置ベクトルに依存する。

同様に、第２ターゲットフラグメントにおける１番目の文字を予測完了した後、第２デコーダを使用して第２ターゲットフラグメントにおける２番目の文字を予測でき、第２デコーダを使用して、生成された第１ターゲットフラグメントベクトル、隠れた状態ベクトル、第１ターゲットフラグメントの位置ベクトル及び第２ターゲットフラグメントにおける１番目の文字の位置ベクトルをデコードして、第２ターゲットフラグメントの第２位置にある第２候補文字、即ち、第２ターゲットフラグメントにおける２番目の文字を生成することができる。つまり、第２デコーダを使用して第２ターゲットフラグメントにおける２番目の文字を予測するとき、入力シーケンスの隠れた状態ベクトル、及びその前に生成された全ての第１ターゲットフラグメントベクトル及び第１ターゲットフラグメントの位置ベクトルだけでなく、第２ターゲットフラグメントにおける１番目の文字の位置ベクトルにも依存するが、１番目の文字のベクトル、即ち１番目の文字のセマンティクスに依存しない。

第２デコーダを使用して、第１位置にある第２候補文字及び第２位置にある第２候補文字を決定した後、第１位置にある第２候補文字及び第２位置にある第２候補文字を使用して、２番目の第２ターゲットフラグメントを構成することができる。

さらに、第２ターゲットフラグメントにおける各文字を予測するとき、現在予測している文字の位置特徴を導入でき、予測の精度をさらに向上させる。即ち、本出願の実施例の可能な実施形態において、前述のステップ１０３の前に、以下のステップを含んでもよい。
事前設定されたプレースホルダーベクトルを取得する。
同様に、上記ステップ１０３は、Ｎ個のデコーダを使用して、事前設定されたプレースホルダーベクトル、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第２ターゲットフラグメントに対応する位置ベクトルをそれぞれデコードし、Ｎ個の第２ターゲットフラグメントを生成するステップを含んでもよい。

第２ターゲットフラグメントにおける各文字を予測するとき、第２ターゲットフラグメントの予測精度を向上させるために、現在予測されている文字の位置ベクトルを導入する必要があることに留意されたい。ただし、文字を予測する前に該文字の位置ベクトルを知ることはできないというデコーダの特性で、入力シーケンスの各文字の後に、事前設定されたプレースホルダーベクトルを導入し、プレースホルダーベクトル及び生成された第１ターゲットフラグメントの位置ベクトルに基づいて、現在予測されている文字の位置ベクトルを決定することができる。以下、第２ターゲットフラグメントには２つの文字が含まれ、Ｎ個のデコーダには、第１デコーダ及び第２デコーダが含まれる例として、具体的に説明する。

本出願の実施例において、第１デコーダは、文字粒度からフレーズ粒度の第２ターゲットフラグメントを予測でき、第１デコーダを使用して第２ターゲットフラグメントにおける１番目の文字を予測するとき、第１デコーダは、まず第２ターゲットフラグメントに対応する事前設定されたプレースホルダーベクトル及び第２ターゲットフラグメントに対応する位置ベクトル（即ち、第１ターゲットフラグメントの位置ベクトル）に基づいて、第２ターゲットフラグメントに対応する第１位置ベクトル（即ち、第２ターゲットフラグメントにおける１番目の文字の位置ベクトル）及び第２位置ベクトル（即ち、第２ターゲットフラグメントにおける２番目の文字の位置ベクトル）を決定可能であり、その後、第１エンコーダは、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第２ターゲットフラグメントにおける１番目の文字の位置ベクトルをデコードして、第１位置にある第１候補文字を生成でき、第１デコーダは、第１ターゲットフラグメントベクトル、第１候補文字に対応するベクトル、隠れた状態ベクトル及び第２ターゲットフラグメントにおける２番目の文字の位置ベクトルをデコードし、第２位置にある第１候補文字を生成し、第１位置にある第１候補文字及び第２位置にある第１候補文字に基づいて、１番目の第２ターゲット候補フラグメントを生成する。

同様に、第２デコーダは、フレーズ粒度からフレーズ粒度の第２ターゲットフラグメントを予測でき、第２デコーダを使用して第２ターゲットフラグメントにおける１番目の文字を予測するとき、第２デコーダは、まず第２ターゲットフラグメントに対応する事前設定されたプレースホルダーベクトル及び第２ターゲットフラグメントに対応する位置ベクトル（即ち、第１ターゲットフラグメントの位置ベクトル）に基づいて、第２ターゲットフラグメントに対応する第１位置ベクトル（即ち、第２ターゲットフラグメントにおける１番目の文字の位置ベクトル）及び第２位置ベクトル（即ち、第２ターゲットフラグメントにおける２番目の文字の位置ベクトル）を決定し、その後、第２デコーダは、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第２ターゲットフラグメントにおける１番目の文字の位置ベクトルをデコードして、第１位置にある第２候補文字を生成でき、そして、第２デコーダは、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第２ターゲットフラグメントにおける２番目の文字の位置ベクトルをデコードして、第２位置にある第２候補文字を生成し、第１位置にある第２候補文字及び第２位置にある第２候補文字に基づいて、２番目の第２ターゲット候補フラグメントを生成する。

例えば、図３に示すように、［Ａ］は、事前設定されたプレースホルダーベクトルであり、第２ターゲットフラグメントがｔ_２及びｔ_３からなるフレーズである場合、ｔ_２を予測するとき、第１デコーダは、まず、第２ターゲットフラグメントに対応する事前設定されたプレースホルダーベクトル及びｔ_１の位置ベクトルに基づいて、ｔ_２の位置ベクトル及びｔ_３の位置ベクトルを決定し、その後、第１デコーダは、第１ターゲットフラグメントｔ_１のベクトル、隠れた状態ベクトル及びｔ_２の位置ベクトルをデコードして、ｔ_２位置にある第１候補文字を生成し、第１デコーダは、第１ターゲットフラグメントベクトル、第１候補文字ｔ_２のベクトル、隠れた状態ベクトル及びｔ_３の位置ベクトルをデコードして、ｔ_３位置にある第１候補文字を生成し、ｔ_２位置にある第１候補文字及びｔ_３位置にある第１候補文字に基づいて、１番目の第２ターゲット候補フラグメントを生成する。

同様に、第２デコーダは、まず、第２ターゲットフラグメントに対応する事前設定されたプレースホルダーベクトル及びｔ_１の位置ベクトルに基づいて、ｔ_２の位置ベクトル及びｔ_３の位置ベクトルを決定し、その後、第２デコーダは、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及びｔ_２の位置ベクトルをデコードして、ｔ_２位置にある第２候補文字を生成でき、第２デコーダは、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及びｔ_３の位置ベクトルをデコードして、ｔ_３位置にある第２候補文字を生成し、ｔ_２位置にある第２候補文字及びｔ_３位置にある第２候補文字に基づいて、２番目の第２ターゲット候補フラグメントを生成する。

ステップ１０４：それぞれＮ個の第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差に基づいて、損失値を決定する。

第２ターゲットタギングフラグメントは、入力シーケンス内の第２ターゲットフラグメントの対応する位置にあるオリジナル言語フラグメントであってもよく、入力シーケンス内の第２ターゲットフラグメントの対応する位置にあるタギングデータであってもよい。

第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差は、第２ターゲットフラグメントベクトルと第２ターゲットタギングフラグメントベクトルとの間のベクトル距離によって測定することができ、本出願の実施例に限定されない。

具体的には、第２ターゲットフラグメントベクトルと第２ターゲットタギングフラグメントベクトルとの間のベクトル距離が大きいほど、該第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差が大きくなり、したがって該第２ターゲットフラグメントに対応する損失値が大きくなり、逆に、第２ターゲットフラグメントベクトルと第２ターゲットタギングフラグメントベクトルとの間のベクトル距離が小さいほど、該第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差が小さくなり、該第２ターゲットフラグメントに対応する損失値が小さくなる。

本出願の実施例において、第２ターゲットタギングフラグメントを使用して最適な予測結果を示すことができるため、予測された各第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差を使用して、モデル予測精度を測定でき、それぞれＮ個の第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差を使用して、損失値を決定することができる。

必要に応じて、Ｎ個の第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差の合計を損失値として決定することができる。

ステップ１０５：損失値に基づいて、事前設定されたエンコーダ、事前設定された分類器及びＮ個のデコーダに対し、パラメータの更新を行い、更新後に生成された言語生成モデルを使用して、言語生成を行う。

本出願の実施例において、損失値を決定した後、損失値を逆方向に渡すことができ、事前設定されたエンコーダ、事前設定された分類器及びＮ個のデコーダのパフォーマンスを改善するために、事前設定されたエンコーダ、事前設定された分類器及びＮ個のデコーダのパラメータを勾配降下最適化アルゴリズムによって更新させ、更新後の事前設定されたエンコーダ、事前設定された分類器及びＮ個のデコーダを使用して、入力シーケンスを予測することによって得られる損失値が損失値の閾値を下回るまで、更新されたモデルがパフォーマンス要件を満たしていると判断でき、更新後の事前設定されたエンコーダ、事前設定された分類器及びＮ個のデコーダを使用して、言語生成用の言語生成モデルを生成できる。

本出願の実施例の技術的解決手段によれば、事前設定されたエンコーダを使用して入力シーケンスをエンコードし、入力シーケンスに対応する隠れた状態ベクトルを生成し、事前設定された分類器を使用して、隠れた状態ベクトル及び生成された第１ターゲットフラグメントベクトルを分類し、予測対象の第２ターゲットフラグメントの粒度カテゴリを決定し、第２ターゲットフラグメントの粒度カテゴリがフレーズである場合、Ｎ個のデコーダを使用して、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第２ターゲットフラグメントに対応する位置ベクトルをそれぞれデコードし、Ｎ個の第２ターゲットフラグメントを生成し、Ｎが１を超えた整数であり、それぞれＮ個の第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差に基づいて、損失値を決定し、損失値に基づいて、前記事前設定されたエンコーダ、事前設定された分類器及びＮ個のデコーダに対し、パラメータの更新を行い、更新後に生成された言語生成モデルを使用して言語生成を行う。したがって、言語生成モデルの事前トレーニングプロセス中に、入力シーケンスのオリジナル基本文字単位に基づいて、異なる粒度の言語フラグメントを柔軟に構築し、複数のエンコーダを使用してフレーズ粒度のターゲットフラグメントを予測することにより、入力シーケンスの全体的なセマンティクスの学習効果を向上させ、言語生成モデルの精度を向上させる。

本出願の可能な実施形態において、Ｎ個の第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差を、事前設定された重みでマージして損失値を生成し、損失値の信頼性をさらに向上することができる。

以下、本出願の実施例によって提供される言語生成方法を、図４と併せてさらに説明する。
図４は、本出願の実施例によって提供される別の言語生成方法の概略フローチャートである。

図４に示すように、該言語生成方法は、以下のステップを含む。
ステップ２０１：事前設定されたエンコーダを使用して、入力シーケンスをエンコードし、入力シーケンスに対応する隠れた状態ベクトルを生成する。
ステップ２０２：事前設定された分類器を使用して、隠れた状態ベクトル及び生成された第１ターゲットフラグメントベクトルを分類し、予測対象の第２ターゲットフラグメントの粒度カテゴリを決定する。
ステップ２０３：第２ターゲットフラグメントがフレーズである場合、Ｎ個のデコーダを使用して、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第２ターゲットフラグメントに対応する位置ベクトルをそれぞれデコードし、Ｎ個の第２ターゲットフラグメントを生成し、Ｎは、１を超えた整数である。

上記ステップ２０１～２０３の具体的な実施プロセス及び原理については、上記実施例の詳細な説明を参照することができ、ここでは説明を繰り返さない。

ステップ２０４：各第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差に基づいて、各損失基準値を決定する。

本出願の実施例において、第２ターゲットフラグメントベクトルと第２ターゲットタギングフラグメントベクトルとの間のベクトル距離を使用して、第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差を測定でき、これは本出願の実施例に限定されない。

具体的には、第２ターゲットフラグメントベクトルと第２ターゲットタギングフラグメントベクトルとの間のベクトル距離が大きいほど、該第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差が大きくなり、したがって該第２ターゲットフラグメントに対応する損失基準値が大きくなり、逆に、第２ターゲットフラグメントベクトルと第２ターゲットタギングフラグメントベクトルとの間のベクトル距離が小さいほど、該第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差が小さくなり、該第２ターゲットフラグメントに対応する損失基準値が小さくなる。

ステップ２０５：各損失基準値及び事前設定された重みに基づいて、損失値を決定する。

本出願の実施例において、各デコーダは、モデルトレーニングプロセスで異なる役割を果たす可能性があるため、各デコーダの予測結果の損失基準値をマージする場合、異なるデコーダに対して異なる重みを事前に設定できるため、最終的に得られた損失値は、各デコーダの予測結果の損失基準値をマージするだけでなく、モデルトレーニングプロセスにおける各デコーダの重要性もマージするため、最終的に決定された損失値の信頼性が高くなり、更新されたモデルパフォーマンスも向上された。

可能な実施形態として、各第２ターゲットフラグメントに対応する損失基準値を決定した後、各損失基準値に対応する事前設定された重みに従って、各損失基準値の加重和を決定してもよく、各損失基準値の加重和を損失値として決定する。

例えば、Ｎ個のデコーダは、第１デコーダ及び第２デコーダを含み、第１デコーダに対応する事前設定された重みがλで、第２デコーダに対応する重みが１－λで、第１デコーダにより予測された第２ターゲットフラグメントに対応する損失基準値がＬｏｓｓ_１であり、第２デコーダにより予測された第２ターゲットフラグメントに対応する損失基準値がＬｏｓｓ_２であり、決定した損失値がＬｏｓｓ_{ｔｏｔａｌ}＝λＬｏｓｓ_１＋（１－λ）Ｌｏｓｓ_２である。

ステップ２０６：損失値に基づいて、事前設定されたエンコーダ、事前設定された分類器及びＮ個のデコーダに対し、パラメータの更新を行い、更新後に生成された言語生成モデルを使用して言語生成を行う。

さらに、異なる言語生成シナリオでは、異なる教師ありサンプルを使用して言語生成モデルのパラメータを調整し、該言語生成シナリオに適した言語生成モジュールを生成できる。即ち、本出願の実施例の可能な実施形態において、上記ステップ２０６は、以下を含んでもよい。
設定された言語生成シナリオに基づいて、対応する教師ありトレーニングサンプルを取得するステップと、教師ありトレーニングサンプルを使用して、更新後に生成された言語生成モデルに対し、パラメータ調整を行うステップと、パラメータ調整後の言語生成モデルに基づいて、設定された言語生成シナリオで言語生成を行うステップとを含む。

設定された言語生成シナリオは、対話生成、機械翻訳、質問回答シナリオ及び要約生成の１つ又は複数の組み合わせを含んでもよい。

本出願の実施例において、異なる言語生成シナリオには言語生成モデルの異なるパフォーマンス要件があるため、対応する教師ありトレーニングサンプルを異なる言語生成シナリオに設定して、教師ありトレーニングサンプルに従って更新された言語生成モデルを微調整できる。したがって、本出願の実施例において、言語生成モデルを更新した後、現在設定された言語生成シナリオに基づいて、対応する教師ありトレーニングサンプルを取得し、教師ありトレーニングサンプルを更新された言語生成モデルに入力し、更新された言語生成モデルによる教師ありトレーニングサンプルの予測結果と、教師ありトレーニングサンプルのタギングデータとはかなり異なる場合、パラメータ調整された言語生成モデルによる、教師ありトレーニングサンプルの予測結果がパフォーマンス要件を満たすまで、更新後に生成された言語生成モデルに対し、パラメータ調整を行い、そしてパラメータ調整された言語生成モデルを言語生成に使用できる。

本出願の実施例の技術的解決手段によれば、事前設定されたエンコーダを使用して入力シーケンスをエンコードし、入力シーケンスに対応する隠れた状態ベクトルを生成し、事前設定された分類器を使用して、隠れた状態ベクトル及び生成された第１ターゲットフラグメントベクトルを分類し、予測対象の第２ターゲットフラグメントの粒度カテゴリを決定し、第２ターゲットフラグメントがフレーズである場合、Ｎ個のデコーダを使用して、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第２ターゲットフラグメントに対応する位置ベクトルをそれぞれデコードし、Ｎ個の第２ターゲットフラグメントを生成し、Ｎが１を超えた整数であり、各第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差に基づいて、各損失基準値を決定し、各損失基準値及び事前設定された重みに基づいて、損失値を決定し、損失値に基づいて、前記事前設定されたエンコーダ、事前設定された分類器及びＮ個のデコーダに対し、パラメータの更新を行い、更新後に生成された言語生成モデルを使用して言語生成を行う。したがって、言語生成モデルの事前トレーニングプロセス中に、入力シーケンスのオリジナル基本文字単位に基づいて、異なる粒度の言語フラグメントを柔軟に構築し、複数のエンコーダを使用してフレーズ粒度のターゲットフラグメントを予測することにより、入力シーケンスの全体的なセマンティクスの学習効果を向上させ、言語生成モデルの精度及び汎用性を向上させる。

上記の実施例を実現するために、本出願は、言語生成装置をさらに提案する。
図５は、本出願の実施例によって提供される言語生成装置の概略構成図である。

図５に示すように、該言語生成装置３０は、事前設定されたエンコーダを使用して、入力シーケンスをエンコードし、入力シーケンスに対応する隠れた状態ベクトルを生成するための第１生成モジュール３１と、事前設定された分類器を使用して、隠れた状態ベクトル及び生成された第１ターゲットフラグメントベクトルを分類し、予測対象の第２ターゲットフラグメントの粒度カテゴリを決定するための第１決定モジュール３２と、第２ターゲットフラグメントがフレーズである場合、Ｎ個のデコーダを使用して、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第２ターゲットフラグメントに対応する位置ベクトルをそれぞれデコードし、Ｎ個の第２ターゲットフラグメントを生成するための第２生成モジュール３３において、Ｎは、１を超えた整数である、第２生成モジュール３３と、それぞれＮ個の第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差に基づいて、損失値を決定するための第２決定モジュール３４と、損失値に基づいて、事前設定されたエンコーダ、事前設定された分類器及びＮ個のデコーダに対し、パラメータの更新を行い、更新後に生成された言語生成モデルを使用して、言語生成を行うための言語生成モジュール３５と、を含む。

実際の使用において、本出願の実施例によって提供される言語生成装置は、前述の言語生成方法を実行するために、任意の電子機器に配置されてもよい。

本出願の実施例の技術的手段によれば、事前設定されたエンコーダを使用して入力シーケンスをエンコードし、入力シーケンスに対応する隠れた状態ベクトルを生成し、事前設定された分類器を使用して、隠れた状態ベクトル及び生成された第１ターゲットフラグメントベクトルを分類し、予測対象の第２ターゲットフラグメントの粒度カテゴリを決定し、第２ターゲットフラグメントがフレーズである場合、Ｎ個のデコーダを使用して、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第２ターゲットフラグメントに対応する位置ベクトルをそれぞれデコードし、Ｎ個の第２ターゲットフラグメントを生成し、Ｎが１を超えた整数であり、それぞれＮ個の第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差に基づいて、損失値を決定し、損失値に基づいて、前記事前設定されたエンコーダ、事前設定された分類器及びＮ個のデコーダに対し、パラメータの更新を行い、更新後に生成された言語生成モデルを使用して言語生成を行う。したがって、言語生成モデルの事前トレーニングプロセス中に、入力シーケンスのオリジナル基本文字単位に基づいて、異なる粒度の言語フラグメントを柔軟に構築し、複数のエンコーダを使用してフレーズ粒度のターゲットフラグメントを予測することにより、入力シーケンスの全体的なセマンティクスの学習効果を向上させ、言語生成モデルの精度を向上させる。

本出願の可能な実施形態において、上記第２ターゲットフラグメントには２つの文字が含まれ、上記Ｎ個のデコーダは、少なくとも第１デコーダ及び第２デコーダを含み、同様に、上記第２生成モジュール３３は、具体的には、次の目的で使用され、第１デコーダを使用して、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第２ターゲットフラグメントに対応する第１位置ベクトルをデコードし、第１位置にある第１候補文字を生成し、第１デコーダを使用して、第１ターゲットフラグメントベクトル、第１候補文字に対応するベクトル、隠れた状態ベクトル及び第２ターゲットフラグメントに対応する第２位置ベクトルをデコードし、第２位置にある第１候補文字を生成し、第１位置にある第１候補文字及び第２位置にある第１候補文字に基づいて、１番目の第２ターゲットフラグメントを生成し、第２デコーダを使用して、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第１位置ベクトルをデコードし、第１位置にある第２候補文字を生成し、第２デコーダを使用して、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第２位置ベクトルをデコードし、第２位置にある第２候補文字を生成し、第１位置にある第２候補文字及び第２位置にある第２候補文字に基づいて、２番目の第２ターゲットフラグメントを生成する。

さらに、本出願の別の可能な実施形態において、上記第２ターゲットフラグメントに対応する第１位置ベクトルは、第１ターゲットフラグメントの位置ベクトルであり、第２ターゲットフラグメントに対応する第２位置ベクトルは、第１ターゲットフラグメントの位置ベクトル及び第２ターゲットフラグメントにおける１番目の文字の位置ベクトルである。

さらに、本出願の更なる別の可能な実施形態において、上記第２ターゲットフラグメントに対応する第１位置ベクトルは、第２ターゲットフラグメントにおける１番目の文字の位置ベクトルであり、第２ターゲットフラグメントに対応する第２位置ベクトルは、第２ターゲットフラグメントにおける２番目の文字の位置ベクトルであり、同様に、上記言語生成装置３０は、事前設定されたプレースホルダーベクトルを取得するための取得モジュールをさらに含み、同様に、上記第２生成モジュール３３は、また、Ｎ個のデコーダを使用して、事前設定されたプレースホルダーベクトル、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及第２ターゲットフラグメントに対応する位置ベクトルをそれぞれデコードし、Ｎ個の第２ターゲットフラグメントを生成するために使用される。

さらに、本出願の別の可能な実施形態において、上記言語生成装置３０は、第２ターゲットフラグメントが文字である場合、文字に対応するデコーダを使用して、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及第１ターゲットフラグメントの位置ベクトルをデコードして、第２ターゲットフラグメントを生成するための第３生成モジュールを、さらに含む。

本出願の可能な実施形態において、上記第２決定モジュール３４は、具体的には、次の目的で使用され、各第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差に基づいて、各損失基準値を決定し、各損失基準値及び事前設定された重みに基づいて、損失値を決定する。

本出願の可能な実施形態において、上記言語生成モジュール３５、具体的には、次の目的で使用され、設定された言語生成シナリオに基づいて、対応する教師ありトレーニングサンプルを取得し、教師ありトレーニングサンプルを使用して、更新後に生成された言語生成モデルに対して、パラメータ調整を行い、パラメータ調整された言語生成モデルをに基づいて、設定された言語生成シナリオで言語生成を行う。

さらに、本出願の別の可能な実施形態において、上記設定された言語生成シナリオは、対話生成、機械翻訳、質問回答シナリオ及び要約生成の１つ又は複数の組み合わせを含む。

図１、図４に示される言語生成方法の実施例の前述の説明は、該実施例の言語生成装置３０にも適用可能であり、ここでは説明を繰り返されないことに留意されたい。

本出願の実施例の技術的手段によれば、事前設定されたエンコーダを使用して入力シーケンスをエンコードし、入力シーケンスに対応する隠れた状態ベクトルを生成し、事前設定された分類器を使用して、隠れた状態ベクトル及び生成された第１ターゲットフラグメントベクトルを分類し、予測対象の第２ターゲットフラグメントの粒度カテゴリを決定し、第２ターゲットフラグメントがフレーズである場合、Ｎ個のデコーダを使用して、第１ターゲットフラグメントベクトル、隠れた状態ベクトル及び第２ターゲットフラグメントに対応する位置ベクトルをそれぞれデコードし、Ｎ個の第２ターゲットフラグメントを生成し、Ｎが１を超えた整数であり、各第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差に基づいて、各損失基準値を決定し、各損失基準値及び事前設定された重みに基づいて、損失値を決定し、損失値に基づいて、前記事前設定されたエンコーダ、事前設定された分類器及びＮ個のデコーダに対し、パラメータの更新を行い、更新後に生成された言語生成モデルを使用して言語生成を行う。したがって、言語生成モデルの事前トレーニングプロセス中に、入力シーケンスのオリジナル基本文字単位に基づいて、異なる粒度の言語フラグメントを柔軟に構築し、複数のエンコーダを使用してフレーズの粒度のターゲットフラグメントを予測することにより、入力シーケンスの全体的なセマンティクスの学習効果を向上させ、言語生成モデルの精度及び汎用性を向上させる。

本出願の実施例によれば、本出願は、電子機器及び読取可能な記憶媒体をさらに提供する。本出願の実施例によれば、コンピュータプログラムが提供される。当該コンピュータプログラムにおける命令が実行された場合に、上記言語生成方法が実行される。

図６に示すように、本出願の実施例の言語生成方法に係る電子機器のブロック図である。電子機器は、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバー、ブレードサーバー、メインフレームコンピュータ、その他の適切なコンピュータなど、様々なな形式のデジタルコンピュータを表すことを目的としている。電子機器は、パーソナルデジタル処理、セルラー、スマートフォン、ウェアラブルデバイス、及びその他の同様のコンピューティングデバイスなど、様々な形式のモバイルデバイスを表すこともできる。ここに示されている部材、それらの接続と関係、及びそれらの機能は、単なる例であり、ここで説明及び／又は必要とされる本出願の実現を制限することを意図したものではない。

図６に示すように、該電子機器には、１つ又は複数のプロセッサ４０１、メモリ４０２、及び、高速インターフェースと低速インターフェースを含む各部材を接続するためのインターフェースが含まれる。各部材は、異なるバスで相互に接続されており、共通のマザーボードに取り付けられてもよいか、又は、必要に応じて他の方法で取り付けられてもよい。プロセッサは、電子機器内に実行された命令を処理可能であり、該命令は、メモリ内又はメモリ上に記憶され、外部入力／出力装置（例えば、インターフェースに結合された表示デバイスなど）にＧＵＩグラフィック情報を表示する命令を含む。他の実施形態では、複数のプロセッサ及び／又は複数のバスを、必要に応じて、複数のメモリとともに使用することができる。同様に、複数の電子機器を接続してもよく、各電子機器は、いくつかの必要な操作（例えば、サーバーアレイ、ブレードサーバーのグループ、又はマルチプロセッサシステムとして）を提供する。図６において、プロセッサ４０１を例とする。

メモリ４０２は、本出願によって提供される非一時的なコンピュータ読み取り可能な記憶媒体である。ここで、前記メモリには、少なくとも１つのプロセッサによって実行可能な命令が記憶され、それにより、前記少なくとも１つのプロセッサに、本出願によって提供される言語生成方法を実行させる。本出願の非一時的なコンピュータ読み取り可能な記憶媒体は、コンピュータ命令を記憶し、該コンピュータ命令がコンピュータに本出願によって提供される言語生成方法を実行させる。

非一時的なコンピュータ読み取り可能な記憶媒体として、メモリ４０２は、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム、及び本出願の実施例における言語生成方法に対応するプログラム命令／モジュール（例えば、図５に示される第１生成モジュール３１、第１決定モジュール３２、第２生成モジュール３３、第２決定モジュール３４及び言語生成モジュール３５）などのモジュールを記憶することができる。プロセッサ４０１は、メモリ４０２に記憶された非一時的なソフトウェアプログラム、命令、及びモジュールを実行することによって、サーバーの様々な機能的アプリケーション及びデータ処理を実行し、即ち、上記方法の実施例における言語生成方法を実現する。

メモリ４０２は、記憶プログラム領域及び記憶データ領域を含んでもよい。記憶プログラム領域は、オペレーティングシステム、及び少なくとも１つの機能に必要とされるアプリケーションプログラムを記憶することができ、記憶データ領域は、言語生成方法に基づく電子機器の使用によって作成されたデータなどを記憶することができる。また、メモリ６０２は、高速ランダムアクセスメモリを含んでもよく、また、少なくとも１つの磁気ディスク記憶装置、フラッシュ記憶装置、又は他の非一時的な固体記憶装置などの非一時的なメモリを含んでもよい。いくつかの実施例では、メモリ４０２は、必要に応じて、プロセッサ４０１に対して遠隔設定されたメモリを含んでもよく、これらの遠隔メモリが、ネットワークを介して言語生成方法の電子機器に接続されてもよい。上記のネットワークの例には、インターネット、企業イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びそれらの組み合わせが含まれるが、これらに限定されない。

言語生成方法の電子機器は、入力装置４０３及び出力装置４０４をさらに含んでもよい。プロセッサ４０１、メモリ４０２、入力装置４０３、及び出力装置４０４は、バス又は他の方法を介して接続することができる。図６では、バスを介した接続を例として取り上げている。

入力装置４０３は、入力された数値又は文字情報を受信し、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、インジケータスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置などの言語生成方法に係る電子機器のユーザ設定及び機能制御に関連するキー信号入力を生成することができる。出力装置４０４は、表示装置、補助照明装置（例えば、ＬＥＤ）、触覚フィードバック装置（例えば、振動モーター）などを含んでもよい。該表示装置は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含んでもよいが、これらに限定されない。いくつかの実施形態では、表示装置は、タッチスクリーンであってもよい。

本明細書に記載のシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、専用ＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、以下を含んでもよい：１つ又は複数のコンピュータプログラムに実装され、該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラム可能なプロセッサを含むプログラム可能なシステム上で実行及び／又は解釈されてもよく、該プログラム可能なプロセッサは、記憶システム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータと命令を受信し、データと命令を該記憶システム、少なくとも１つの該入力装置、及び少なくとも１つの該出力装置に伝送可能な専用又は汎用のプログラム可能なプロセッサであってもよい。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）には、プログラム可能なプロセッサの機械命令が含まれ、高水準及び／又はオブジェクト指向のプログラミング言語、及び／又はアセンブリ／機械言語を使用して、これらのコンピューティングプログラムを実装できる。本明細書に使用されるように、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び／又はデータを、プログラム可能なプロセッサに提供するための、任意のコンピュータプログラム製品、デバイス、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラム可能なロジックデバイス（ＰＬＤ））を指し、それはまた、機械命令を機械読み取り可能な信号として受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び／又はデータを、プログラム可能なプロセッサに提供するために使用される任意の信号を指す。

ユーザーとのインタラクションを提供するために、ここで説明するシステムと技術をコンピュータに実装でき、該コンピュータは、ユーザーに情報を表示するための表示装置（例えば、ＣＲＴ（ブラウン管）又はＬＣＤ（液晶ディスプレイ）モニター）、及び、ユーザーによってコンピュータに入力を提供できるキーボードとポインティングデバイス（例えば、マウス又はトラックボール）を備える。他のタイプの装置を使用して、ユーザーとのインタラクションを提供することもでき、例えば、ユーザーに提供されるフィードバックは、任意の形式の感覚フィードバック（例えば、視覚的フィードバック、聴覚的フィードバック、又は触覚的フィードバック）であってもよく、任意の形式（音響入力、音声入力、又は触覚入力を含む）でユーザーからの入力を受け取ってもよい。

ここで説明するシステムと技術を、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバーとして）、ミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバー）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザーインターフェース又はインターネットブラウザを備えたユーザーコンピュータであり、該グラフィカルユーザーインターフェース又は該インターネットブラウザを介して、ユーザーがここで説明するシステム及び技術の実施形態とインタラクションを行うことができる）、又はそのようなバックエンドコンポーネント、ミドルウェアコンポーネント、又は、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムに実装できる。システムのコンポーネントを、任意の形式又は媒体のデジタルデータ通信（例えば、通信ネットワーク）を介して相互に接続できる。通信ネットワークの例には、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、及びインターネットが含まれる。

コンピュータシステムは、クライアントとサーバーを含んでもよい。クライアントとサーバーは、通常、互いに遠く離れており、通信ネットワークを介してインタラクションを行う。互いにクライアント－サーバー関係を持つコンピュータプログラムを、対応するコンピュータ上で実行することにより、クライアントとサーバーの関係を生成する。

本出願の実施例の技術的手段によれば、与えられたシード感情辞書に基づいて、トレーニングコーパス内の各トレーニング言語資料に対して感情知識検出を実行し、各トレーニング言語資料に含まれる検出された感情ワードと検出されたワードペアを決定し、事前設定されたマスク処理ルールに従って、各トレーニング言語資料で検出された感情ワードと検出されたワードペアをマスクして、マスクされた言語資料を生成し、事前設定されたエンコーダを使用してマスクされた言語資料をエンコードし、各トレーニング言語資料に対応する特徴ベクトルを生成し、次に、事前設定されたデコーダを使用して、特徴ベクトルをデコードし、各トレーニング言語資料に含まれる予測された感情ワードと予測されたワードペアを決定し、予測された感情ワードと検出された感情ワードの違い、及び予測されたワードペアと前記検出されたワードペアの違いに応じて、事前設定されたエンコーダと事前設定されたデコーダを更新する。したがって、統計計算の感情的な知識を、モデルの事前トレーニングプロセスに組み込むことにより、事前トレーニングモデルは、感情分析方向のデータをより適切に表すことができ、感情分析の効果を向上させる。

上記に示される様々な形式のフローを使用して、ステップを並べ替え、追加、又は削除することができることを理解されたい。例えば、本出願に記載されている各ステップは、並列に実行されてもよいし、順次的に実行されてもよいし、異なる順序で実行されてもよいが、本出願で開示されている技術案が所望の結果を達成することができれば、本明細書では限定されない。

上記の具体的な実施形態は、本出願の保護範囲を制限するものではない。当業者は、設計要件及び他の要因に応じて、様々な修正、組み合わせ、サブコンビネーション、及び置換を行うことができる。任意の本出願の精神と原則内で行われる修正、同等の置換、及び改良などは、いずれも本出願の保護範囲内に含まれるべきである。

Claims

第１生成モジュールが事前設定されたエンコーダを使用して入力シーケンスをエンコードし、前記入力シーケンスに対応する隠れた状態ベクトルを生成するステップと、
第１決定モジュールが事前設定された分類器を使用して、前記隠れた状態ベクトル及び生成された第１ターゲットフラグメントベクトルを分類し、予測対象の第２ターゲットフラグメントの粒度カテゴリを決定するステップと、
前記第２ターゲットフラグメントがフレーズである場合、第２生成モジュールがＮ個のデコーダを使用して、前記第１ターゲットフラグメントベクトル、前記隠れた状態ベクトル及び前記第２ターゲットフラグメントに対応する位置ベクトルをそれぞれデコードし、Ｎ個の第２ターゲットフラグメントを生成するステップであって、Ｎは、１を超えた整数であるステップと、
第２決定モジュールがそれぞれ前記Ｎ個の第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差に基づいて、損失値を決定するステップと、
言語生成モジュールが前記損失値に基づいて、前記事前設定されたエンコーダ、事前設定された分類器及びＮ個のデコーダに対し、パラメータの更新を行い、更新後に生成された言語生成モデルを使用して、言語生成を行うステップと、を含む、
ことを特徴とする言語生成方法。
前記第２ターゲットフラグメントには、２つの文字が含まれ、前記Ｎ個のデコーダには、少なくとも第１デコーダ及び第２デコーダが含まれ、
第２生成モジュールが前記のＮ個のデコーダを使用して、前記第１ターゲットフラグメントベクトル、前記隠れた状態ベクトル及び前記第２ターゲットフラグメントに対応する位置ベクトルをそれぞれデコードし、Ｎ個の第２ターゲットフラグメントを生成するステップは、
第２生成モジュールが前記第１デコーダを使用して、前記第１ターゲットフラグメントベクトル、前記隠れた状態ベクトル及び前記第２ターゲットフラグメントに対応する第１位置ベクトルをデコードし、第１位置にある第１候補文字を生成するステップと、
第２生成モジュールが前記第１デコーダを使用して、前記第１ターゲットフラグメントベクトル、前記第１候補文字に対応するベクトル、前記隠れた状態ベクトル及び前記第２ターゲットフラグメントに対応する第２位置ベクトルをデコードし、第２位置にある第１候補文字を生成するステップと、
第２生成モジュールが前記第１位置にある第１候補文字及び前記第２位置にある第１候補文字に基づいて、１番目の第２ターゲットフラグメントを生成するステップと、
第２生成モジュールが前記第２デコーダを使用して、前記第１ターゲットフラグメントベクトル、前記隠れた状態ベクトル及び前記第１位置ベクトルをデコードし、前記第１位置にある第２候補文字を生成するステップと、
第２生成モジュールが前記第２デコーダを使用して、前記第１ターゲットフラグメントベクトル、前記隠れた状態ベクトル及び前記第２位置ベクトルをデコードし、前記第２位置にある第２候補文字を生成するステップと、
第２生成モジュールが前記第１位置にある第２候補文字及び前記第２位置にある第２候補文字に基づいて、２番目の第２ターゲットフラグメントを生成するステップと、を含む、
ことを特徴とする請求項１に記載の方法。
前記第２ターゲットフラグメントに対応する第１位置ベクトルは、第１ターゲットフラグメントの位置ベクトルであり、前記第２ターゲットフラグメントに対応する第２位置ベクトルは、前記第１ターゲットフラグメントの位置ベクトル及び前記第２ターゲットフラグメントにおける１番目の文字の位置ベクトルである、
ことを特徴とする請求項２に記載の方法。
前記第２ターゲットフラグメントに対応する第１位置ベクトルは、前記第２ターゲットフラグメントにおける１番目の文字の位置ベクトルであり、前記第２ターゲットフラグメントに対応する第２位置ベクトルは、前記第２ターゲットフラグメントにおける２番目の文字の位置ベクトルであり、
前記Ｎ個の第２ターゲットフラグメントを生成する前に、
取得モジュールが事前設定されたプレースホルダーベクトルを取得するステップをさらに含み、
第２生成モジュールが前記のＮ個の第２ターゲットフラグメントを生成するステップは、
第２生成モジュールがＮ個のデコーダを使用して、前記事前設定されたプレースホルダーベクトル、前記第１ターゲットフラグメントベクトル、前記隠れた状態ベクトル及び前記第２ターゲットフラグメントに対応する位置ベクトルをそれぞれデコードし、Ｎ個の第２ターゲットフラグメントを生成するステップを含む、
ことを特徴とする請求項２に記載の方法。
前記の予測対象の第２ターゲットフラグメントの粒度カテゴリを決定した後に、
前記第２ターゲットフラグメントが文字である場合、第３生成モジュールが前記文字に対応するデコーダを使用して、前記第１ターゲットフラグメントベクトル、前記隠れた状態ベクトル及び第１ターゲットフラグメントの位置ベクトルをデコードし、前記第２ターゲットフラグメントを生成するステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
第２決定モジュールがそれぞれ前記Ｎ個の第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差に基づいて、損失値を決定するステップは、
第２決定モジュールが各第２ターゲットフラグメントと前記第２ターゲットタギングフラグメントとの間の差に基づいて、各損失基準値を決定するステップと、
第２決定モジュールが各損失基準値及び事前設定された重みに基づいて、前記損失値を決定するステップと、を含む、
ことを特徴とする請求項１に記載の方法。
言語生成モジュールが前記の更新後に生成された言語生成モデルを使用して、言語生成を行うステップは、
言語生成モジュールが設定された言語生成シナリオに基づいて、対応する教師ありトレーニングサンプルを取得するステップと、
言語生成モジュールが前記教師ありトレーニングサンプルを使用して、前記更新後に生成された言語生成モデルのパラメータを調整するステップと、
言語生成モジュールがパラメータ調整後の言語生成モデルに従い、前記設定された言語生成シナリオで言語生成を行うステップとを含む、
ことを特徴とする請求項６に記載の方法。
前記設定された言語生成シナリオは、対話生成、機械翻訳、質問回答シナリオ及び要約生成の１つ又は複数の組み合わせを含む、
ことを特徴とする請求項７に記載の方法。
事前設定されたエンコーダを使用して、入力シーケンスをエンコードし、前記入力シーケンスに対応する隠れた状態ベクトルを生成するための第１生成モジュールと、
事前設定された分類器を使用して、前記隠れた状態ベクトル及び生成された第１ターゲットフラグメントベクトルを分類し、予測対象の第２ターゲットフラグメントの粒度カテゴリを決定するための第１決定モジュールと、
前記第２ターゲットフラグメントがフレーズである場合、Ｎ個のデコーダを使用して、前記第１ターゲットフラグメントベクトル、前記隠れた状態ベクトル及び前記第２ターゲットフラグメントに対応する位置ベクトルをそれぞれデコードし、Ｎ個の第２ターゲットフラグメントを生成するための第２生成モジュールであって、Ｎは、１を超えた整数である、第２生成モジュールと、
それぞれ前記Ｎ個の第２ターゲットフラグメントと第２ターゲットタギングフラグメントとの間の差に基づいて、損失値を決定するための第２決定モジュールと、
前記損失値に基づいて、前記事前設定されたエンコーダ、事前設定された分類器及びＮ個のデコーダに対し、パラメータの更新を行い、更新後に生成された言語生成モデルを使用して、言語生成を行うための言語生成モジュールと、を含む、
ことを特徴とする言語生成装置。
前記第２ターゲットフラグメントには、２つの文字が含まれ、前記Ｎ個のデコーダには、少なくとも第１デコーダ及び第２デコーダが含まれ、
前記第２生成モジュールは、具体的には、次の目的で使用され、
前記第１デコーダを使用して、前記第１ターゲットフラグメントベクトル、前記隠れた状態ベクトル及び前記第２ターゲットフラグメントに対応する第１位置ベクトルをデコードし、第１位置にある第１候補文字を生成し、
前記第１デコーダを使用して、前記第１ターゲットフラグメントベクトル、前記第１候補文字に対応するベクトル、前記隠れた状態ベクトル及び前記第２ターゲットフラグメントに対応する第２位置ベクトルをデコードし、第２位置にある第１候補文字を生成し、
前記第１位置にある第１候補文字及び前記第２位置にある第１候補文字に基づいて、１番目の第２ターゲットフラグメントを生成し、
前記第２デコーダを使用して、前記第１ターゲットフラグメントベクトル、前記隠れた状態ベクトル及び前記第１位置ベクトルをデコードし、前記第１位置にある第２候補文字を生成し、
前記第２デコーダを使用して、前記第１ターゲットフラグメントベクトル、前記隠れた状態ベクトル及び前記第２位置ベクトルをデコードし、前記第２位置にある第２候補文字を生成し、
前記第１位置にある第２候補文字及び前記第２位置にある第２候補文字に基づいて、２番目の第２ターゲットフラグメントを生成する、
ことを特徴とする請求項９に記載の装置。
前記第２ターゲットフラグメントに対応する第１位置ベクトルは、第１ターゲットフラグメントの位置ベクトルであり、前記第２ターゲットフラグメントに対応する第２位置ベクトルは、前記第１ターゲットフラグメントの位置ベクトル及び前記第２ターゲットフラグメントにおける１番目の文字の位置ベクトルである、
ことを特徴とする請求項１０に記載の装置。
前記第２ターゲットフラグメントに対応する第１位置ベクトルは、前記第２ターゲットフラグメントにおける１番目の文字の位置ベクトルであり、前記第２ターゲットフラグメントに対応する第２位置ベクトルは、前記第２ターゲットフラグメントにおける２番目の文字の位置ベクトルであり、
前記装置は、
事前設定されたプレースホルダーベクトルを取得するための取得モジュールと、
Ｎ個のデコーダを使用して、前記事前設定されたプレースホルダーベクトル、前記第１ターゲットフラグメントベクトル、前記隠れた状態ベクトル及び前記第２ターゲットフラグメントに対応する位置ベクトルをそれぞれデコードし、Ｎ個の第２ターゲットフラグメントを生成するための前記第２生成モジュールと、をさらに含む、
ことを特徴とする請求項１０に記載の装置。
前記第２ターゲットフラグメントが文字である場合、前記文字に対応するデコーダを使用して、前記第１ターゲットフラグメントベクトル、前記隠れた状態ベクトル及び第１ターゲットフラグメントの位置ベクトルをデコードし、前記第２ターゲットフラグメントを生成するための第３生成モジュールをさらに含む、
ことを特徴とする請求項９～１２のいずれかに記載の装置。
前記第２決定モジュールは、具体的に、
各第２ターゲットフラグメントと前記第２ターゲットタギングフラグメントとの間の差に基づいて、各損失基準値を決定し、
各損失基準値及び事前設定された重みに基づいて、前記損失値を決定する、
ことを特徴とする請求項９～１２のいずれかに記載の装置。
前記言語生成モジュールは、具体的に、
設定された言語生成シナリオに基づいて、対応する教師ありトレーニングサンプルを取得し、
前記教師ありトレーニングサンプルを使用して、前記更新後に生成された言語生成モデルのパラメータを調整し、
パラメータ調整後の言語生成モデルに従い、前記設定された言語生成シナリオで言語生成を行う
ことを特徴とする請求項１４に記載の装置。
前記設定された言語生成シナリオは、対話生成、機械翻訳、質問回答シナリオ及び要約生成の１つ又は複数の組み合わせを含む、
ことを特徴とする請求項１５に記載の装置。
少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサに通信可能に接続されるメモリと、を備え、
前記メモリには、前記少なくとも１つのプロセッサによって実行可能な命令が記憶され、前記命令が前記少なくとも１つのプロセッサによって実行される場合、前記少なくとも１つのプロセッサが、請求項１～８のいずれかに記載の方法を実行可能である、
ことを特徴とする電子機器。
コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
前記コンピュータ命令は、コンピュータに請求項１～８のいずれかに記載の方法を実行させる、
ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
コンピュータプログラムであって、
前記コンピュータプログラムにおける命令が実行された場合に、請求項１～８のいずれかに記載の方法が実行される、
ことを特徴とするコンピュータプログラム。