JP7190017B2 - 言語モデルのトレーニング方法、装置、及び電子機器 - Google Patents

Description

本願は、コンピュータ技術の分野における音声、自然言語処理、深層学習技術の分野に関し、特に言語モデルのトレーニング方法、装置、電子機器、及び記憶媒体に関する。

現在、音声認識技術は、スマート家電、ロボット、車載端末などの分野で広く応用されており、関連技術では予めトレーニングされた言語モデルに基づいて音声を認識することが多く、言語モデルの性能を向上させるために、大量のコーパスデータを使用して言語モデルをトレーニングする必要があり、コーパスデータの数が過剰であり、モデルトレーニングは、比較的多くのストレージリソースと計算リソースを消費する必要があり、且つ、トレーニング時間が長く、トレーニング効率が低い。

本願は、言語モデルのトレーニング方法、装置、電子機器及び記憶媒体を提供する。

第１の態様によれば、言語モデルのトレーニング方法を提供し、セマンティック解析モジュールを使用して、サンプルテキストに対応する構文及び前記構文におけるスロットに対応するスロット値を取得するステップと、前記構文及び前記構文における前記スロットに対応するスロット値に基づいて、前記構文に対応する構文図を生成するステップと、前記サンプルテキストに基づいて、前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みを取得するステップと、前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みに基づいて、異なる次数の構文カウントを計算するステップと、前記構文カウントに基づいて、言語モデルのトレーニングを行うステップと、を含む。

第２の態様によれば、言語モデルのトレーニング装置を提供し、サンプルテキストに対応する構文及び前記構文におけるスロットに対応するスロット値を取得するためのセマンティック解析モジュールと、前記構文及び前記構文における前記スロットに対応するスロット値に基づいて、前記構文に対応する構文図を生成するための生成モジュールと、前記サンプルテキストに基づいて、前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みを取得するための第２の取得モジュールと、前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みに基づいて、異なる次数の構文カウントを計算するための計算モジュールと、前記構文カウントに基づいて、言語モデルのトレーニングを行うためのトレーニングモジュールと、を含む。

第３の態様によれば、電子機器を提供し、少なくとも１つのプロセッサと、前記少なくとも１つのプロセッサに通信可能に接続されるメモリと、を含み、前記メモリには、前記少なくとも１つのプロセッサによって実行される命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが本願の第１の態様に記載の言語モデルのトレーニング方法を実行できるように、前記少なくとも１つのプロセッサによって実行される。

第４の態様によれば、コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体を提供し、前記コンピュータ命令は、コンピュータに本願の第１の態様に記載の言語モデルのトレーニング方法を実行させる。
第５の態様によれば、コンピュータプログラムを提供し、前記コンピュータプログラムは、コンピュータに本願の第１の態様に記載の言語モデルのトレーニング方法を実行させる。

この部分に記載されている内容は、本開示の実施例の肝心な又は重要な特徴を特定することを意図しておらず、本開示の範囲を限定するものでもないことが理解されるであろう。本開示の他の特徴は、以下の説明を通じて容易に理解される。

図面は、本技術案をよりよく理解するために使用され、本願を限定するものではない。
本願の第１の実施例に係る言語モデルのトレーニング方法の概略フローチャートである。 本願の第２の実施例に係る言語モデルのトレーニング方法における構文図の概略図であり、「我想听」とは、日本語で「聞きたい」という意味であり、「歌手」とは、日本語で「歌手」という意味であり、「的」とは、日本語で「の」という意味であり、「歌曲」とは、日本語で「歌」という意味である。 本願の第３の実施例に係る言語モデルのトレーニング方法における構文図の概略図であり、「我想听」とは、日本語で「聞きたい」という意味であり、「歌曲」とは、日本語で「歌」という意味である。 本願の第４の実施例に係る言語モデルのトレーニング方法において、構文及び構文におけるスロットに対応するスロット値に基づいて構文に対応する構文図を生成する概略フローチャートである。 本願の第５の実施例に係る言語モデルのトレーニング方法において、サンプルテキストに基づいて構文図における構文の重み、スロットの重み及びスロット値の重みを取得する概略フローチャートである。 本願の第６の実施例に係る言語モデルのトレーニング方法において、Ｎ次の構文カウントを取得する概略フローチャートである。 本願の第１の実施例に係る言語モデルのトレーニング装置のブロック図である。 本願の実施例に係る言語モデルのトレーニング方法を実現するための電子機器のブロック図である。

以下、図面と組み合わせて本願の例示的な実施例を説明し、理解を容易にするためにその中には本願の実施例の様々な詳細事項が含まれており、それらは単なる例示的なものと見なされるべきである。そのため、当業者は、本願の範囲及び精神から逸脱することなく、ここで説明される実施例に対して様々な変更と修正を行うことができることを理解すべきである。同様に、わかりやすく且つ簡潔にするために、以下の説明では、周知の機能及び構造の説明を省略する。

音声は、音声認識、音声インタラクションなどの技術分野を含んでもよく、人工知能の分野における重要な方向の１つである。

音声認識（Ｖｏｉｃｅ Ｒｅｃｏｇｎｉｔｉｏｎ）は、機械が認識と理解により音声信号を対応するテキスト又は命令に変換できるようにする技術であり、主に、特徴抽出技術、パターンマッチング基準及びモデルトレーニング技術の３つの方面を含む。

音声インタラクション（Ｖｏｉｃｅ Ｉｎｔｅｒａｃｔｉｏｎ）は、機械とユーザが音声を情報キャリアとして、対話、通信、情報交換などのインタラクション行動を行う技術であり、従来のマンマシンインタラクションに比べて、便利且つ迅速であり、ユーザの快適性が高いという利点を有する。

自然言語処理（Ｎａｔｕａｌ Ｌａｎｇｕａｇｅ Ｐｒｏｃｅｓｓｉｎｇ、ＮＬＵ）は、自然言語通信を効果的に実現できるコンピュータシステム、特にその中のソフトウェアシステムを研究する科学であり、コンピュータ科学分野と人工知能の分野における重要な方向の１つである。

深層学習（Ｄｅｅｐ Ｌｅａｒｉｎｇ、ＤＬ）は、機械学習（Ｍａｃｈｉｎｅ Ｌｅａｒｉｎｇ、ＭＬ）の分野における新たな研究方向であり、サンプルデータの内部法則と表現レベルを学習することにより、機械が人間のように分析及び学習の能力を有し、文字、画像及び音声などのデータを認識できるようにする科学であり、音声や画像の認識に広く応用されている。

図１は、本願の第１の実施例に係る言語モデルのトレーニング方法の概略フローチャートである。

図１に示すように、本願の第１の実施例に係る言語モデルのトレーニング方法は、ステップＳ１０１～Ｓ１０５を含む。

Ｓ１０１において、セマンティック解析モジュールを使用して、サンプルテキストに対応する構文及び構文におけるスロットに対応するスロット値を取得する。

なお、本願の実施例に係る言語モデルのトレーニング方法の実行主体は、データ情報処理能力を有するハードウェア機器及び／又は当該ハードウェア機器の動作を駆動することに必要なソフトウェアであってもよい。選択的に、実行主体は、ワークステーション、サーバ、コンピュータ、ユーザ端末及び他の機器を含んでもよい。ここで、ユーザ端末は、携帯電話、コンピュータ、スマート音声インタラクション機器、スマート家電、車載端末などを含むが、これらに限定されない。

本開示の実施例では、予めトレーニングされた言語モデルにより音声認識を行うことができ、言語モデルがサンプルテキストに基づいてトレーニングして取得できる。選択的に、言語モデルはＮｇｒａｍモデルであってもよい。

選択的に、サンプルテキストは、ユーザ入力、ウェブクロールなどの方式で取得してもよく、ここではあまり多く限定されない。

なお、サンプルテキストには、対応する構文及び構文におけるスロットに対応するスロット値情報が含まれる。ここで、構文とはサンプルテキストの文法的構成であり、各構文は少なくとも１つのスロット（Ｓｌｏｔ）で構成され、各スロットは少なくとも１つのスロット値に対応する。

なお、異なるサンプルテキストは、異なる構文、スロット及びスロット値に対応することができるため、複数のサンプルテキストに基づいて、複数の構文、及び各構文におけるスロットに対応する複数のスロット値を取得することができる。

例えば、サンプルテキスト１は「我想听Ａ_１的Ｂ_１」（日本語で「Ａ_１のＢ_１を聞きたい」）であり、ここで、Ａ_１はある歌手の名前で、Ｂ_１はある歌の名前である場合、サンプルテキスト１に対応する中国語の構文は「我想听」＋「歌手」＋「的」＋「歌曲」（日本語の構文で「歌手」＋「の」＋「歌」＋「を聞きたい」と理解される）であってもよく、中国語の構文には、「我想听」、「歌手」、「的」、及び「歌曲」の４つのスロットが順に含まれ、サンプルテキスト１に対応する中国語の構文における「歌手」のスロットに対応するスロット値はＡ_１であり、「歌曲」のスロットに対応するスロット値はＢ_１であることが分かる。

又は、サンプルテキスト２が「我想听Ｂ_２」（日本語で「Ｂ_２を聞きたい」）であり、ここで、Ｂ_２がある歌の名前である場合、サンプルテキスト２に対応する中国語の構文は「我想听」＋「歌曲」（日本語の構文で「歌」＋「を聞きたい」と理解される）であってもよく、中国語の構文には、「我想听」と、「歌曲」との２つのスロットが順に含まれ、サンプルテキスト２に対応する中国語の構文における「歌曲」のスロットに対応するスロット値はＢ_２であることが分かる。

又は、サンプルテキスト３が

（日本語で「明日、杭州の天気はどうであるか」）の場合、サンプルテキスト３に対応する中国語の構文は、「時間」＋「場所」＋「の」＋「天気」＋「どうであるか」であり、中国語の構文には、「時間」、「場所」、「の」、「天気」、及び「どうであるか」の５つのスロットが順に含まれ、サンプルテキスト３に対応する中国語の構文における「時間」のスロットに対応するスロット値は明日であり、「場所」のスロットに対応するスロット値は杭州であることが分かる。

選択的に、構文は、構文の開始フィールドを識別する開始スロット、及び構文の終了フィールドを識別する終了スロットを含んでもよく、開始スロット及び終了スロットはいずれも予め設定された文字、文字列などの形態で表示することができ、例えば、開始スロットは「ｓ」で、終了スロットは「／ｓ」であってもよい。

例えば、サンプルテキスト４が「ｓ我想听Ｂ_３／ｓ」（日本語で「ｓＢ_３を聞きたい／ｓ」）であり、ここで、Ｂ_３がある歌の名前で、ｓが予め設定された開始スロットで、／ｓが予め設定された終了スロットである場合、サンプルテキスト４に対応する中国語の構文は、「ｓ」＋「我想听」＋「歌曲」＋「／ｓ」（日本語の構文で「ｓ」＋「歌」＋「を聞きたい」＋「／ｓ」と理解される）であってもよく、中国語の構文には、「ｓ」、「我想听」、「歌曲」、及び「／ｓ」の４つのスロットが順に含まれ、サンプルテキスト４に対応する中国語の構文における「歌曲」のスロットに対応するスロット値はＢ_３であることが分かる。

本開示の実施例では、サンプルテキストが取得された後に、セマンティック解析モジュールによりサンプルテキストから構文及び構文におけるスロットに対応するスロット値を抽出することができ、例えば、セマンティック解析モジュールによりサンプルテキストのセマンティックテキストを取得し、続いてサンプルテキストのセマンティックテキストから構文及び構文におけるスロットに対応するスロット値を抽出することができる。さらに、言語モデルをトレーニングする時に取得するために、セマンティック解析モジュールによってサンプルテキストから抽出された構文及び構文におけるスロットに対応するスロット値をサーバの記憶スペースに記憶することもできる。

なお、関連技術において人手による抽出方式で構文及び構文におけるスロットに対応するスロット値を取得することに比べて、当該方法は、取得効率が高く、自動化程度が高く、人件費が低いなどの利点を有する。

選択的に、セマンティック解析モジュールは自然言語理解（Ｎａｔｕａｌ Ｌａｎｇｕａｇｅ Ｕｎｄｅｒｓｔａｎｄｉｎｇ、ＮＬＵ）セマンティック解析モジュールであってもよい。

Ｓ１０２において、構文及び構文におけるスロットに対応するスロット値に基づいて、構文に対応する構文図を生成する。

なお、異なる構文は異なる構文図に対応することができ、各構文におけるスロットに対応するスロット値に基づいて、構文に対応する構文図を生成することができる。

例えば、中国語の構文は「ｓ」＋「我想听」＋「歌手」＋「的」＋「歌曲」＋「／ｓ」（日本語の構文で「ｓ」＋「歌手」＋「の」＋「歌」＋「を聞きたい」＋「／ｓ」と理解される）であり、ｓは予め設定された開始スロットであり、／ｓは予め設定された終了スロットであり、「歌手」のスロットに対応するスロット値にはＡ_１、Ａ_２、Ａ_３～Ａ_ｍが含まれ、「歌曲」のスロットに対応するスロット値にはＢ_１、Ｂ_２、Ｂ_３～Ｂ_ｎが含まれる場合、構文に対応する構文図は図２に示すとおりである。ここで、ｍ、ｎはいずれも正の整数であり、いずれも実際の状況に応じて設定することができる。

例えば、中国語の構文は「ｓ」＋「我想听」＋「歌曲」＋「／ｓ」（日本語の構文で「ｓ」＋「歌」＋「を聞きたい」＋「／ｓ」と理解される）であり、ｓは予め設定された開始スロットであり、／ｓは予め設定された終了スロットであり、「歌曲」のスロットに対応するスロット値にはＢ_１、Ｂ_２、Ｂ_３～Ｂ_ｎが含まれる場合、構文に対応する構文図は図３に示すとおりである。ここで、ｎは正の整数であり、実際の状況に応じて設定することができる。

なお、構文図は、図２、３に示す他の形態であってもよく、ここではあまり多く限定しない。

Ｓ１０３において、サンプルテキストに基づいて、構文図における構文の重み、スロットの重み及びスロット値の重みを取得する。

本開示の実施例では、各構文、スロット、スロット値はいずれも１つの重みに対応し、重みは構文カウント（Ｃｏｕｎｔ）を計算することに用いられることができる。

なお、サンプルテキストに基づいて、構文図における構文の重み、スロットの重み及びスロット値の重みを取得することができる。

サンプルテキストに基づいて構文図における構文の重みを取得することを例として、構文の重みは全てのサンプルテキストにおける構文の出現頻度と正の相関があり、すなわち、全てのサンプルテキストにおける構文の出現頻度が高いほど、構文の重みが大きくなり、そのため、全てのサンプルテキストにおける構文の出現頻度に基づいて、構文図における構文の重みを取得することができる。

なお、全てのサンプルテキストにおけるある構文の出現頻度が高いほど、当該構文とユーザの言語習慣及び／又はインタラクションニーズとの適合度が高くなることが示され、当該方法は、構文の重みを取得する時に、全てのサンプルテキストにおける構文の出現頻度を考慮できるため、構文の重みに構文とユーザの言語習慣及び／又はインタラクションニーズとの適合度を反映させ、比較的柔軟且つ正確である。

なお、サンプルテキストに基づいて構文図におけるスロットの重み、スロット値の重みを取得する関連内容は、サンプルテキストに基づいて構文図における構文の重みを取得する関連内容を参照することができ、ここでは説明を省略する。

Ｓ１０４において、構文図における構文の重み、スロットの重み及びスロット値の重みに基づいて、異なる次数の構文カウントを計算する。

本開示の実施例では、構文カウントの次数は構文に含まれるスロットの数に関連している。例えば、ある構文がＮ個のスロットを含む場合、当該構文は、１次、２次、３次～Ｎ次の構文に対応することができる。

選択的に、構文図における構文の重み、スロットの重み及びスロット値の重みに基づいて、異なる次数の構文カウントを計算するステップは、異なる次数の構文カウントの計算ポリシーを予め設定し、異なる次数の構文カウントの計算ポリシーに基づいて、異なる次数の構文カウントを計算するステップを含む。なお、計算ポリシーは実際の状況に応じて設定することができ、サーバの記憶スペースに予め設定することができる。

例えば、１つの構文のみが存在し、当該構文の重みが１であり、当該構文が６つのスロットを含み、各スロットがいずれも１つのスロット値のみを含む場合、当該構文における各スロットの重みはそれに含まれるスロット値の重みに等しく、６つのスロットに対応する重みがそれぞれｗ_１、ｗ_２、ｗ_３～ｗ_６であると仮定すると、１次の構文カウントは６つの値を含んでもよく、計算ポリシーはそれぞれｗ_２＊ｗ_３＊ｗ_４＊ｗ_５＊ｗ_６、ｗ_１＊ｗ_３＊ｗ_４＊ｗ_５＊ｗ_６、ｗ_１＊ｗ_２＊ｗ_４＊ｗ_５＊ｗ_６、ｗ_１＊ｗ_２＊ｗ_３＊ｗ_５＊ｗ_６、ｗ_１＊ｗ_２＊ｗ_３＊ｗ_４＊ｗ_６、ｗ_１＊ｗ_２＊ｗ_３＊ｗ_４＊ｗ_５であり、２次の構文カウントは５つの値を含んでもよく、計算ポリシーはそれぞれｗ_３＊ｗ_４＊ｗ_５＊ｗ_６、ｗ_１＊ｗ_４＊ｗ_５＊ｗ_６、ｗ_１＊ｗ_２＊ｗ_５＊ｗ_６、ｗ_１＊ｗ_２＊ｗ_３＊ｗ_６、ｗ_１＊ｗ_２＊ｗ_３＊ｗ_４であり、他の次数の構文カウントの計算ポリシーは上記の１次の構文カウント及び２次の構文カウントの計算ポリシーを参照して設定することができ、ここでは説明を省略する。

Ｓ１０５において、構文カウントに基づいて、言語モデルのトレーニングを行う。

本開示の実施例では、異なる次数の構文カウントが取得された後、異なる次数の構文カウントに基づいて言語モデルのトレーニングを行うことができる。

なお、本願では、構文図における構文の重み、スロットの重み及びスロット値の重みに基づいて、異なる次数の構文カウントを直接計算することができ、構文カウントの計算効率がより高く、それにより言語モデルのトレーニング時間を大幅に短縮することができ、言語モデルの性能がより優れている。

要約すると、本願の実施例に係る言語モデルのトレーニング方法によれば、構文図における構文の重み、スロットの重み及びスロット値の重みに基づいて、異なる次数の構文カウントを直接計算することができ、関連技術においてサンプルテキスト拡張に基づいてコーパスを取得し、続いてコーパスを統計して構文カウントを取得するという解決手段に比べて、コーパス拡張を必要とせず構文カウントを取得することができ、関連技術におけるコーパスの数が過剰であるという問題を解決し、構文カウントの計算効率がより高く、モデルのトレーニング中に消費されるストレージリソースと計算リソースを大幅に削減することができ、さらに、言語モデルのトレーニング時間を大幅に短縮することができ、言語モデルの性能がより優れている。

上記のいずれかの実施例に基づいて、図４に示すように、構文及び構文におけるスロットに対応するスロット値に基づいて、構文に対応する構文図を生成するステップＳ１０２は、ステップ４０１及び４０２を含んでもよい。

Ｓ４０１において、構文におけるスロットを順に有向に接続する。

なお、構文におけるスロットは前後の順序を有するため、構文におけるスロットを互いの優先順位に従って順に有向に接続することができる。選択的に、構文における隣接するスロットを接続し、接続方向は、隣接するスロットにおける前のスロットから後のスロットである。

引き続き図２を例として、中国語の構文は「ｓ」＋「我想听」＋「歌手」＋「的」＋「歌曲」＋「／ｓ」であり、中国語の構文には、「ｓ」、「我想听」、「歌手」、「的」、「歌曲」、及び「／ｓ」の６つのスロットが順に含まれ、ここで、ｓは予め設定された開始スロットであり、／ｓは予め設定された終了スロットである。そのため、構文に対応する構文図を生成する時に、「ｓ」のスロットと「我想听」のスロットを接続し、接続方向は「ｓ」のスロットから「我想听」のスロットであり、「我想听」のスロットと「歌手」のスロットを接続し、接続方向は「我想听」のスロットから「歌手」のスロットであり、他のスロットの有向接続は上記の接続方式を参照することができ、ここでは説明を省略する。

選択的に、構文は有向非巡回グラフ（Ｄｉｒｅｃｔｅｄ Ａｃｙｃｌｉｃ Ｇｒａｐｈ、ＤＡＧ）であってもよく、有向非巡回グラフの接続ルールに従って構文におけるスロットを順に有向に接続することができる。

Ｓ４０２において、スロットに対応するスロット値に基づいてスロットを拡張し、構文に対応する構文図を取得する。

なお、各スロットが複数のスロット値に対応することができ、スロットに対応するスロット値に基づいてスロットを拡張して、構文に対応する構文図を生成することができる。

引き続き図２を例として、「歌手」のスロットに対応するスロット値にはＡ_１、Ａ_２、Ａ_３～Ａ_ｍが含まれ、「歌曲」のスロットに対応するスロット値にはＢ_１、Ｂ_２、Ｂ_３～Ｂ_ｎが含まれる場合、「歌手」のスロットを拡張するために、「歌手」のスロットに対応するスロット値Ａ_１、Ａ_２、Ａ_３～Ａ_ｍを「我想听」のスロット及び「的」のスロットにそれぞれ有向に接続してもよく、また、「歌曲」のスロットを拡張するために、「歌曲」のスロットに対応するスロット値Ｂ_１、Ｂ_２、Ｂ_３～Ｂ_ｎを「的」のスロット及び「／ｓ」のスロットにそれぞれ有向に接続してもよく、生成した構文図は図２に示すとおりである。

これにより、当該方法は、構文におけるスロットを順に有向に接続し、スロットに対応するスロット値に基づいてスロットを拡張して、構文に対応する構文図を取得する。

上記のいずれかの実施例に基づいて、図５に示すように、サンプルテキストに基づいて、構文図における構文の重み、スロットの重み及びスロット値の重みを取得するステップＳ１０３は、ステップＳ５０１及びＳ５０２を含んでもよい。

Ｓ５０１において、サンプルテキストを構文図に注入し、構文図におけるアクティブ化されたパスを記録する。

なお、構文図は複数のパスを含んでもよく、各パスは少なくとも１つのスロットで構成され、各パス上の各スロットが１つのスロット値に対応する。選択的に、サンプルテキストを構文図に注入する時に、サンプルテキストに構文図におけるあるパスが存在すれば、当該パスがアクティブ化され、構文図におけるアクティブ化されたパスを記録することができる。

引き続き図２を例として、構文図には「我想听」＋「Ａ_１」＋「的」＋「Ｂ_２」のパス１が含まれ、パス１は「我想听」、「歌手」、「的」、「歌曲」の４つのスロットが順に含まれ、「歌手」のスロットに対応するスロット値はＡ_１であり、「歌曲」のスロットに対応するスロット値はＢ_２である。サンプルテキスト５が「我想听Ａ_１的Ｂ_２」である場合、サンプルテキスト５を図２に示す構文図に注入する時に、構文図における「我想听」＋「Ａ_１」＋「的」＋「Ｂ_２」のパス１がアクティブ化される。

Ｓ５０２において、構文図におけるアクティブ化されたパスに基づいて、構文図における構文の重み、スロットの重み及びスロット値の重みを取得する。

構文図におけるアクティブ化されたパスに基づいて、構文図における構文の重みを取得することを例として、構文の重みは構文図における全てのパスがアクティブ化された合計回数と正の相関があり、すなわち構文図における全てのパスがアクティブ化された合計回数が多いほど、構文の重みが大きくなり、そのため、構文図における全てのパスがアクティブ化された合計回数に基づいて、構文図における構文の重みを取得することができる。

なお、ある構文図における全てのパスがアクティブ化された合計回数が多いほど、当該構文とユーザの言語習慣及び／又はインタラクションニーズとの適合度が高くなることが示され、逆に、ある構文図における全てのパスがアクティブ化された合計回数が少ないほど、当該構文にはスムーズではないという問題がある可能性が高い。当該方法では、構文とユーザの言語習慣及び／又はインタラクションニーズとの適合度が高いほど、構文の重みが高くなり、構文にはスムーズではないという問題があれば、構文の重みが比較的低く、構文の重みが構文とユーザの言語習慣及び／又はインタラクションニーズとの適合度を反映できるようにし、比較的柔軟且つ正確であり、さらにノイズ抑制の効果を有する。

なお、構文図におけるアクティブ化されたパスに基づいて構文図におけるスロットの重み、スロット値の重みを取得する関連内容は、構文図におけるアクティブ化されたパスに基づいて構文図における構文の重みを取得する関連内容を参照することができ、ここでは説明を省略する。

選択的に、構文に対応する構文図を生成する時に、構文図における構文の重み、スロットの重み及びスロット値の重みを初期化してから、サンプルテキストを構文図に注入するステップ及び次のステップを実行することができる。例えば、構文図における構文の重み、スロットの重み及びスロット値の重みを初期化するステップは、構文図における構文の重み、スロットの重み及びスロット値の重みをいずれも１とするステップを含んでもよい。

これにより、当該方法は、サンプルテキストを構文図に注入し、構文図におけるアクティブ化されたパスを記録し、構文図におけるアクティブ化されたパスに基づいて、構文図における構文の重み、スロットの重み及びスロット値の重みを取得することができ、関連技術において人手によるラベリングの方式を使用して構文の重み、スロットの重み及びスロット値の重みを取得することに比べて、サンプルテキストに基づいて重みの自動的な更新を実現することができ、重みがユーザの言語習慣及び／又は実際のニーズにより近づき、取得効率が高く、自動化程度が高く、人件費が低いなどの利点を有する。

上記のいずれかの実施例に基づいて、構文図における構文の重み、スロットの重み及びスロット値の重みに基づいて異なる次数の構文カウントを計算するステップＳ１０４は、少なくとも１つの構文図における構文の重み、スロットの重み及びスロット値の重みに基づいて、隣接するＮ個のスロットのスロット値が固定されている場合の構文カウントを計算して、Ｎ次の構文カウントを取得するステップを含んでもよい。

ここで、スロットのスロット値が固定されているということは、スロットのスロット値が空ではなく、一意の値であることを意味する。

引き続き図２を例にして、「我想听」のスロット、及び「歌手」のスロットは隣接する２つのスロットであり、「我想听」のスロットのスロット値は「我想听」ということであり、「歌手」のスロットに対応するスロット値はＡ_１であり、他のスロット（図２における「我想听」のスロットと「歌手」のスロット以外のスロット）のスロット値がいずれも固定されていない場合、構文図における構文の重み、スロットの重み及びスロット値の重みに基づいて、「我想听」のスロットと「歌手」のスロットのスロット値が固定されている場合の２次の構文カウントを計算することができる。

これにより、当該方法は、少なくとも１つの構文図における構文の重み、スロットの重み及びスロット値の重みに基づいて、隣接するＮ個のスロットのスロット値が固定されている場合の構文カウントを計算して、Ｎ次の構文カウントを取得することができる。

上記のいずれかの実施例に基づいて、図６に示すように、少なくとも１つの構文図における構文の重み、スロットの重み及びスロット値の重みに基づいて、隣接するＮ個のスロットのスロット値が固定されている場合の構文カウントを計算して、Ｎ次の構文カウントを取得するステップは、ステップＳ６０１～Ｓ６０４を含んでもよい。

Ｓ６０１において、構文図における隣接するＮ個のスロットのスロット値に対応する重みの積を計算して、第１の積値を取得する。

Ｓ６０２において、第１の積値と構文図における隣接するＮ個のスロット以外の他のスロットの重みとの積を計算して、第２の積値を取得する。

Ｓ６０３において、第２の積値と構文図における構文の重みとの積を計算して、第３の積値を取得する。

Ｓ６０４において、異なる構文図に対応する第３の積値の合計値を計算して、Ｎ次の構文カウントを取得する。

引き続き図２、図３を例として、図２に示す構文の重みは２００であり、「ｓ」、「我想听」、「歌手」、「的」、「歌曲」、「／ｓ」のスロットに対応する重みはそれぞれ１、１、３０、１、３、１であり、「歌手」のスロットのスロット値Ａ_１、Ａ_２に対応する重みはそれぞれ２０、１０であり、「歌曲」のスロットのスロット値Ｂ_１、Ｂ_２に対応する重みはそれぞれ２、１であると仮定する。

図３に示す構文の重みは１０００であり、「ｓ」、「我想听」、「歌曲」、「／ｓ」のスロットに対応する重みはそれぞれ１、１、３、１であり、「歌曲」のスロットのスロット値Ｂ_１、Ｂ_２に対応する重みはそれぞれ２、１であると仮定する。

以下、３つのケースにおけるＮ次の構文カウントの計算プロセスについてそれぞれ説明する。

第１のケースにおいて、「ｓ」のスロットのスロット値は、ｓであり、他のスロット（図２、３における「ｓ」以外の他のスロット）のスロット値がいずれも固定されていない場合、「ｓ」のスロットのスロット値が固定されている場合の１次の構文カウントＰ_１を計算することができ、Ｐ_１の具体的な計算プロセスは以下のとおりである。

図２に示す構文図では、第１の積値Ｐ_１１は、「ｓ」のスロットの重みである１となり、第２の積値Ｐ_１２＝１＊１＊３０＊１＊３＊１＝９０となり、第３の積値Ｐ_１３＝Ｐ_１２＊２００＝９０＊２００＝１８０００となる。

図３に示す構文図では、第１の積値Ｐ_１１ ^′は、「ｓ」のスロットの重みである１となり、第２の積値Ｐ_１２ ^′＝１＊１＊３＊１＝３となり、第３の積値Ｐ_１３ ^′＝Ｐ_１２ ^′＊１０００＝３＊１０００＝３０００となる。

そのため、「ｓ」のスロットのスロット値が固定されている場合の１次の構文カウントＰ_１＝Ｐ_１３＋Ｐ_１３ ^′＝１８０００＋３０００＝２１０００となる。

第２のケースにおいて、「歌手」のスロットのスロット値がＡ_１であり、他のスロット（図２、３における「歌手」のスロット以外の他のスロット）のスロット値が固定されていない場合に、「歌手」のスロットのスロット値がＡ_１として固定されている場合の１次の構文カウントＰ_２を計算することができ、Ｐ_２の具体的な計算プロセスは以下のとおりである。

図２に示す構文図では、第１の積値Ｐ_２１は、Ａ_１スロット値の重みである２０となり、第２の積値Ｐ_２２＝２０＊１＊１＊１＊３＊１＝６０となり、第３の積値Ｐ_２３＝Ｐ_２２＊２００＝６０＊２００＝１２０００となる。

図３に示す構文図では、「歌手」というスロットが存在しないため、Ａ_１のスロット値も存在しないことで、図３に対応する第３の積値Ｐ_２３ ^′＝０となる。

そのため、「歌手」のスロットのスロット値がＡ_１として固定されている場合の１次の構文カウントＰ_２＝Ｐ_２３＋Ｐ_２３ ^′＝１２０００＋０＝１２０００となる。

第３のケースにおいて、「我想听」のスロットのスロット値が「我想听」ということであり、「歌曲」のスロットのスロット値がＢ_１であり、他のスロット（図２、３における「我想听」のスロット及び「歌曲」のスロット以外のスロット）のスロット値がいずれも固定されていない場合、「我想听」、及び「歌曲」のスロットのスロット値が固定されている場合の２次の構文カウントＰ_３を計算することができ、Ｐ_３の具体的な計算プロセスは以下のとおりである。

図２に示す構文図では、第１の積値Ｐ_３１＝１＊２＝２となり、第２の積値Ｐ_３２＝２＊１＊３０＊１＊１＝６０となり、第３の積値Ｐ_３３＝Ｐ_３２＊２００＝６０＊２００＝１２０００となる。

図３に示す構文図では、第１の積値Ｐ_３１ ^′＝１＊２＝２となり、第２の積値Ｐ_３２ ^′＝２＊１＊１＝２となり、第３の積値Ｐ_３３ ^′＝Ｐ_３２ ^′＊１０００＝２＊１０００＝２０００となる。

したがって、「我想听」、及び「歌曲」のスロットのスロット値が固定されている場合の２次の構文カウントＰ_３＝Ｐ_３３＋Ｐ_３３ ^′＝１２０００＋２０００＝１４０００となる。

他のＮ次の構文カウントの計算プロセスは上記の実施例を参照することができ、ここでは説明を省略する。

これにより、当該方法は、各構文図における構文の重み、スロットの重み及びスロット値の重みに基づいて、各構文図に対応する第１の積値、第２の積値、第３の積値を順に計算し、次に異なる構文図に対応する第３の積値の合計値を計算してＮ次の構文カウントを取得することができる。

上記のいずれかの実施例に基づいて、構文カウントに基づいて、言語モデルのトレーニングを行うステップＳ１０５は、予め設定されたカウント閾値を超えた構文カウントに対してカウント低減処理を行い、カウント低減処理された構文カウントに基づいて、言語モデルのトレーニングを行うステップを含んでもよい。

なお、予め設定されたカウント閾値を超えた構文カウントのカウントが高すぎて、言語モデルのトレーニングに役立たないため、予め設定されたカウント閾値を超えた構文カウントに対してカウント低減処理を行い、カウント低減処理された構文カウントに基づいて言語モデルのトレーニングを行うことにより、言語モデルのトレーニング効果を向上させることができる。

ここで、カウント閾値は、実際の状況に応じて設定することができ、例えば３０万として設定してもよい。

選択的に、予め設定されたカウント閾値を超えた構文カウントに対してカウント低減処理を行うステップは、平滑化アルゴリズムを使用して予め設定されたカウント閾値を超えた構文カウントに対してカウント低減処理を行うステップを含んでもよい。ここで、平滑化アルゴリズムは、加法平滑化アルゴリズム、グッド・チューリング推定法、Ｋａｔｚ平滑化法などを含むが、これらに限定されず、ここではあまり多く限定しない。

上記いずれかの実施例に基づいて、複数の垂直カテゴリのサンプルテキストに基づいて、それぞれ言語モデルをトレーニングして、異なる垂直カテゴリでの言語モデルの認識性能を向上させることができる。ここで、垂直カテゴリは音楽、天候、ニュース、地図、スマートホーム、検索などを含むが、これらに限定されず、ここではあまり多く限定しない。

図７は、本願の第１の実施例に係る言語モデルのトレーニング装置のブロック図である。

図７に示すように、本願の実施例に係る言語モデルのトレーニング装置７００は、セマンティック解析モジュール７０１、生成モジュール７０２、第２の取得モジュール７０３、計算モジュール７０４、及びトレーニングモジュール７０５を含む。

セマンティック解析モジュール７０１は、サンプルテキストに対応する構文及び前記構文におけるスロットに対応するスロット値を取得する。

生成モジュール７０２は、前記構文及び前記構文における前記スロットに対応するスロット値に基づいて、前記構文に対応する構文図を生成する。

第２の取得モジュール７０３は、前記サンプルテキストに基づいて、前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みを取得する。

計算モジュール７０４は、前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みに基づいて、異なる次数の構文カウントを計算する。

トレーニングモジュール７０５は、前記構文カウントに基づいて、言語モデルのトレーニングを行う。

本願の一実施例では、セマンティック解析モジュール７０１は自然言語理解セマンティック解析モジュールである。

本願の一実施例では、前記第２の取得モジュール７０３は、前記サンプルテキストを前記構文図に注入し、前記構文図におけるアクティブ化されたパスを記録するための注入ユニットと、前記構文図におけるアクティブ化されたパスに基づいて、前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みを取得するための取得ユニットと、を含む。

本願の一実施例では、前記生成モジュール７０２は、前記構文における前記スロットを順に有向に接続するための接続ユニットと、前記スロットに対応するスロット値に基づいて前記スロットを拡張し、前記構文に対応する構文図を取得するための拡張ユニットと、を含む。

本願の一実施例では、前記計算モジュール７０４はさらに、少なくとも１つの前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みに基づいて、隣接するＮ個の前記スロットのスロット値が固定されている場合の構文カウントを計算して、前記Ｎ次の構文カウントを取得する。

本願の一実施例では、前記計算モジュール７０４は、前記構文図における前記隣接するＮ個の前記スロットのスロット値に対応する重みの積を計算して、第１の積値を取得するための第１の計算ユニットと、前記第１の積値と前記構文図における前記隣接するＮ個の前記スロット以外の他のスロットの重みの積を計算して、第２の積値を取得するための第２の計算ユニットと、前記第２の積値と前記構文図における前記構文の重みとの積を計算して、第３の積値を取得するための第３の計算ユニットと、異なる構文図に対応する前記第３の積値の合計値を計算して、前記Ｎ次の構文カウントを取得するための第４の計算ユニットと、を含む。

本願の一実施例では、前記トレーニングモジュール７０５は、予め設定されたカウント閾値を超えた前記構文カウントに対してカウント低減処理を行うためのカウント低減ユニットと、カウント低減処理された前記構文カウントに基づいて言語モデルのトレーニングを行うためのトレーニングユニットと、を含む。

要約すると、本願の実施例に係る言語モデルのトレーニング装置によれば、構文図における構文の重み、スロットの重み及びスロット値の重みに基づいて、異なる次数の構文カウントを直接計算することができ、関連技術においてサンプルテキスト拡張に基づいてコーパスを取得し、続いてコーパスを統計して構文カウントを取得するという解決手段に比べて、コーパス拡張を必要とせず構文カウントを取得することができ、関連技術におけるコーパスの数が過剰であるという問題を解決し、構文カウントの計算効率がより高く、モデルのトレーニング中に消費されるストレージリソースと計算リソースを大幅に削減することができ、さらに、言語モデルのトレーニング時間を大幅に短縮することができ、言語モデルの性能がより優れている。

本願の実施例によれば、本願は、電子機器及び読み取り可能な記憶媒体をさらに提供する。
本願の実施例によれば、本願は、コンピュータプログラムを提供し、コンピュータプログラムは、コンピュータに本願によって提供される言語モデルのトレーニング方法を実行させる。

図８に示すように、本願の実施例に係る言語モデルのトレーニング方法の電子機器のブロック図である。電子機器は、例えば、ラップトップコンピュータ、デスクトップコンピュータ、ワークステーション、パーソナルディジタルアシスタント、サーバ、ブレードサーバ、メインフレームコンピュータ及び他の適切なコンピュータなど、様々な形態のデジタルコンピュータを表すことを意図する。電子機器はさらに、例えば、スマート音声インタラクション機器、パーソナルデジタル処理、携帯電話、スマートフォン、ウェアラブルデバイス及び他の同様のコンピューティング装置など、様々な形態のモバイル装置を表すことができる。本明細書に示されるコンポーネント、それらの接続及び関係、並びにそれらの機能は、単なる例であり、本明細書に記載及び／又は請求される本願の実施を限定することを意図しない。

図８に示すように、当該電子機器は、１つ又は複数のプロセッサ８０１と、メモリ８０２と、高速インタフェース及び低速インタフェースを含む各コンポーネントを接続するためのインタフェースと、を含む。各コンポーネントは、異なるバスで相互に接続され、共通のマザーボードに取り付けられるか、又は必要に応じて他の方法で取り付けられてもよい。プロセッサ８０１は、電子機器内で実行される命令を処理することができ、当該命令は、外部入力／出力装置（例えば、インタフェースに結合された表示機器など）にＧＵＩの図形情報を表示するためにメモリ内又はメモリに記憶されている命令を含む。他の実施形態では、必要に応じて、複数のプロセッサ及び／又は複数のバスを、複数のメモリと一緒に用いることができる。同様に、複数の電子機器を接続することができ、各機器は、一部の必要な操作（例えば、サーバアレイ、１グループのブレードサーバ、又はマルチプロセッサシステムとする）を提供する。図８では、１つのプロセッサ８０１を例とする。

メモリ８０２は、本願により提供される非一時的なコンピュータ読み取り可能な記憶媒体である。ここで、前記メモリには、少なくとも１つのプロセッサが本願により提供される言語モデルのトレーニング方法を実行するように、少なくとも１つのプロセッサによって実行可能な命令が記憶されている。本願の非一時的なコンピュータ読み取り可能な記憶媒体には、コンピュータに本願により提供される言語モデルのトレーニング方法を実行させるためのコンピュータ命令が記憶されている。

メモリ８０２は、非一時的なコンピュータ読み取り可能な記憶媒体として、本願の実施例における言語モデルのトレーニング方法に対応するプログラム命令／モジュール（例えば、図７に示すセマンティック解析モジュール７０１、生成モジュール７０２、第２の取得モジュール７０３、計算モジュール７０４及びトレーニングモジュール７０５）のような、非一時的なソフトウェアプログラム、非一時的なコンピュータ実行可能なプログラム及びモジュールを記憶する。プロセッサ８０１は、メモリ８０２に記憶されている非一時的なソフトウェアプログラム、命令及びモジュールを実行することによって、サーバの様々な機能アプリケーション及びデータ処理を実行し、すなわち上記の方法の実施例における言語モデルのトレーニング方法を実現する。

メモリ８０２は、オペレーティングシステム、少なくとも１つの機能に必要なアプリケーションプログラムを記憶可能なプログラム記憶領域と、言語モデルのトレーニング方法の電子機器の利用に応じて作成されたデータなどを記憶可能なデータ記憶領域とを含んでもよい。また、メモリ８０２は、高速ランダムアクセスメモリを含んでもよく、非一時的なメモリをさらに含んでもよく、例えば、少なくとも１つの磁気ディスクストレージデバイス、フラッシュメモリデバイス、又は他の非一時的なソリッドステートストレージデバイスが挙げられる。いくつかの実施例では、メモリ８０２は、プロセッサ８０１に対して遠隔に設定されたメモリを選択的に含んでもよく、これらの遠隔メモリは、ネットワークを介して言語モデルのトレーニング方法の電子機器に接続することができる。上記のネットワークの例は、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク、及びその組み合わせを含むが、これらに限定されない。

言語モデルのトレーニング方法の電子機器は、入力装置８０３と出力装置８０４とをさらに含んでもよい。プロセッサ８０１、メモリ８０２、入力装置８０３、及び出力装置８０４は、バス又は他の方式で接続することができ、図８では、バスで接続することを例とする。

入力装置８０３は、入力された数字又は文字情報を受信し、言語モデルのトレーニング方法の電子機器のユーザ設定及び機能制御に関するキー信号入力を生成することができ、例えば、タッチスクリーン、キーパッド、マウス、トラックパッド、タッチパッド、ポインティングスティック、１つ又は複数のマウスボタン、トラックボール、ジョイスティックなどの入力装置である。出力装置８０４は、表示機器、補助照明装置（例えば、ＬＥＤ）、及び触覚フィードバックデバイス（例えば、振動モータ）などを含んでもよい。当該表示機器は、液晶ディスプレイ（ＬＣＤ）、発光ダイオード（ＬＥＤ）ディスプレイ、及びプラズマディスプレイを含んでもよいが、これらに限定されない。いくつかの実施形態で、ディスプレイデバイスは、タッチスクリーンであってもよい。

ここで説明したシステム及び技術の様々な実施形態は、デジタル電子回路システム、集積回路システム、特定用途向けＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせで実現することができる。これらの様々な実施形態は、１つ又は複数のコンピュータプログラムで実施され、当該１つ又は複数のコンピュータプログラムは、少なくとも１つのプログラマブルプロセッサを含むプログラム可能なシステムで実行及び／又は解釈することができ、当該プログラマブルプロセッサは、専用又は汎用のプログラマブルプロセッサであってもよく、ストレージシステム、少なくとも１つの入力装置、及び少なくとも１つの出力装置からデータ及び命令を受信し、データ及び命令を当該ストレージシステム、当該少なくとも１つの入力装置、及び当該少なくとも１つの出力装置に伝送することができる。

これらのコンピューティングプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含み、高度プロセス及び／又はオブジェクト指向プログラミング言語、及び／又はアセンブリ／機械言語でこれらのコンピューティングプログラムを実施することができる。本明細書に使用されるような、「機械読み取り可能な媒体」及び「コンピュータ読み取り可能な媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意のコンピュータプログラム製品、機器、及び／又は装置（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械読み取り可能な信号である機械命令を受信する機械読み取り可能な媒体を含む。「機械読み取り可能な信号」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するための任意の信号を指す。

ユーザとのインタラクションを提供するために、ここで説明されるシステム及び技術をコンピュータ上で実施することができ、当該コンピュータは、ユーザに情報を表示するための表示装置（例えば、ＣＲＴ（陰極線管）又はＬＣＤ（液晶ディスプレイ）モニタ）と、キーボード及びポインティング装置（例えば、マウス又はトラックボール）とを有し、ユーザは、当該キーボード及び当該ポインティング装置によって入力をコンピュータに提供することができる。他の種類の装置も、ユーザとのインタラクションを提供することができ、例えば、ユーザに提供されるフィードバックは、任意の形態のセンシングフィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）であってもよく、任意の形態（音響入力、音声入力、又は触覚入力を含む）でユーザからの入力を受信することができる。

ここで説明されるシステム及び技術は、バックエンドコンポーネントを含むコンピューティングシステム（例えば、データサーバとする）、又はミドルウェアコンポーネントを含むコンピューティングシステム（例えば、アプリケーションサーバ）、又はフロントエンドコンポーネントを含むコンピューティングシステム（例えば、グラフィカルユーザインタフェース又はウェブブラウザを有するユーザコンピュータであり、ユーザは、当該グラフィカルユーザインタフェース又は当該ウェブブラウザによってここで説明されるシステム及び技術の実施形態とインタラクションを行う）、又はこのようなバックエンドコンポーネントと、ミドルウェアコンポーネントと、フロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実施することができる。任意の形態又は媒体のデジタルデータ通信（例えば、通信ネットワーク）によってシステムのコンポーネントを相互に接続することができる。通信ネットワークの例は、ローカルエリアネットワーク（ＬＡＮ）と、ワイドエリアネットワーク（ＷＡＮ）と、インターネットと、を含む。

コンピュータシステムは、クライアント及びサーバを含んでもよい。クライアントとサーバは、一般に、互いに離れており、通常に通信ネットワークを介してインタラクションを行う。対応するコンピュータ上で実行され、且つ互いにクライアント－サーバの関係を有するコンピュータプログラムによって、クライアントとサーバとの関係が生成される。サーバはクラウドサーバであってもよく、クラウド計算サーバ又はクラウドホストとも呼ばれ、クラウド計算サーバシステムにおけるホスト製品であり、従来の物理ホストとＶＰＳサービス（「Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｓｅｒｖｅｒ」、又は「ＶＰＳ」と略称する）における、管理の難易度が大きく、業務拡張性が弱いという欠点を解決する。

本願の実施例の技術的解決手段によれば、構文図における構文の重み、スロットの重み及びスロット値の重みに基づいて、異なる次数の構文カウントを直接計算することができ、関連技術においてサンプルテキスト拡張に基づいてコーパスを取得し、続いてコーパスを統計して構文カウントを取得するという解決手段に比べて、コーパス拡張を必要とせず構文カウントを取得することができ、関連技術におけるコーパスの数が過剰であるという問題を解決し、構文カウントの計算効率がより高く、モデルのトレーニング中に消費されるストレージリソースと計算リソースを大幅に削減することができ、さらに、言語モデルのトレーニング時間を大幅に短縮することができ、言語モデルの性能がより優れている。

以上に示される様々な形態のフローを使用して、ステップを並べ替え、追加、又は削除することが可能であることを理解すべきである。例えば、本願に記載されている各ステップは、並列に実行されてもよいし、順次実行されてもよいし、異なる順序で実行されてもよいが、本願に開示されている技術的解決手段が所望する結果を実現することができれば、本明細書ではこれに限定されない。

上記の具体的な実施形態は、本願の保護範囲を制限するものではない。当業者は、設計要件と他の要因に基づいて、様々な修正、組み合わせ、サブコンビネーション、及び代替を行うことができることを理解すべきである。本願の精神と原則内で行われる任意の修正、同等の置換、及び改善などは、いずれも本願の保護範囲内に含まれるべきである。

Claims (17)

1. 言語モデルのトレーニング方法であって、
   セマンティック解析モジュールを使用して、サンプルテキストに対応する構文及び前記構文におけるスロットに対応するスロット値を取得するステップと、
   前記構文及び前記構文における前記スロットに対応するスロット値に基づいて、前記構文に対応する構文図を生成するステップと、
   前記サンプルテキストに基づいて、前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みを取得するステップと、
   前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みに基づいて、異なる次数の構文カウントを計算するステップと、
   前記構文カウントに基づいて、言語モデルのトレーニングを行うステップと、を含む、
   ことを特徴とする言語モデルのトレーニング方法。
2. 前記セマンティック解析モジュールは、自然言語理解セマンティック解析モジュールである、
   ことを特徴とする請求項１に記載のトレーニング方法。
3. 前記サンプルテキストに基づいて、前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みを取得するステップは、
   前記サンプルテキストを前記構文図に注入し、前記構文図におけるアクティブ化されたパスを記録するステップと、
   前記構文図におけるアクティブ化されたパスに基づいて、前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みを取得するステップと、を含む、
   ことを特徴とする請求項１に記載のトレーニング方法。
4. 前記構文及び前記構文における前記スロットに対応するスロット値に基づいて、前記構文に対応する構文図を生成するステップは、
   前記構文における前記スロットを順に有向に接続するステップと、
   前記スロットに対応するスロット値に基づいて、前記スロットを拡張して、前記構文に対応する構文図を取得するステップと、を含む、
   ことを特徴とする請求項１に記載のトレーニング方法。
5. 前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みに基づいて、異なる次数の構文カウントを計算するステップは、
   少なくとも１つの前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みに基づいて、隣接するＮ個の前記スロットのスロット値が固定されている場合の構文カウントを計算して、Ｎ次の構文カウントを取得するステップを含む、
   ことを特徴とする請求項１に記載のトレーニング方法。
6. 前記少なくとも１つの前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みに基づいて、隣接するＮ個の前記スロットのスロット値が固定されている場合の構文カウントを計算して、Ｎ次の構文カウントを取得するステップは、
   前記構文図における前記隣接するＮ個の前記スロットのスロット値に対応する重みの積を計算して、第１の積値を取得するステップと、
   前記第１の積値と前記構文図における前記隣接するＮ個の前記スロット以外の他のスロットの重みとの積を計算して、第２の積値を取得するステップと、
   前記第２の積値と前記構文図における前記構文の重みとの積を計算して、第３の積値を取得するステップと、
   異なる構文図に対応する前記第３の積値の合計値を計算して、前記Ｎ次の構文カウントを取得するステップと、を含む、
   ことを特徴とする請求項５に記載のトレーニング方法。
7. 前記構文カウントに基づいて、言語モデルのトレーニングを行うステップは、
   予め設定されたカウント閾値を超えた前記構文カウントに対してカウント低減処理を行うステップと、
   カウント低減処理された前記構文カウントに基づいて、言語モデルのトレーニングを行うステップと、を含む、
   ことを特徴とする請求項１に記載のトレーニング方法。
8. 言語モデルのトレーニング装置であって、
   サンプルテキストに対応する構文及び前記構文におけるスロットに対応するスロット値を取得するためのセマンティック解析モジュールと、
   前記構文及び前記構文における前記スロットに対応するスロット値に基づいて、前記構文に対応する構文図を生成するための生成モジュールと、
   前記サンプルテキストに基づいて、前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みを取得するための第２の取得モジュールと、
   前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みに基づいて、異なる次数の構文カウントを計算するための計算モジュールと、
   前記構文カウントに基づいて、言語モデルのトレーニングを行うためのトレーニングモジュールと、を含む、
   ことを特徴とする言語モデルのトレーニング装置。
9. 前記セマンティック解析モジュールは、自然言語理解セマンティック解析モジュールである、
   ことを特徴とする請求項８に記載のトレーニング装置。
10. 前記第２の取得モジュールが、
    前記サンプルテキストを前記構文図に注入し、前記構文図におけるアクティブ化されたパスを記録するための注入ユニットと、
    前記構文図におけるアクティブ化されたパスに基づいて、前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みを取得するための取得ユニットと、を含む、
    ことを特徴とする請求項８に記載のトレーニング装置。
11. 前記生成モジュールが、
    前記構文における前記スロットを順に有向に接続するための接続ユニットと、
    前記スロットに対応するスロット値に基づいて、前記スロットを拡張して、前記構文に対応する構文図を取得するための拡張ユニットと、を含む、
    ことを特徴とする請求項８に記載のトレーニング装置。
12. 前記計算モジュールが、さらに、
    少なくとも１つの前記構文図における前記構文の重み、前記スロットの重み及び前記スロット値の重みに基づいて、隣接するＮ個の前記スロットのスロット値が固定されている場合の構文カウントを計算して、Ｎ次の構文カウントを取得する、
    ことを特徴とする請求項８に記載のトレーニング装置。
13. 前記計算モジュールが、
    前記構文図における前記隣接するＮ個の前記スロットのスロット値に対応する重みの積を計算して、第１の積値を取得するための第１の計算ユニットと、
    前記第１の積値と前記構文図における前記隣接するＮ個の前記スロット以外の他のスロットの重みとの積を計算して、第２の積値を取得するための第２の計算ユニットと、
    前記第２の積値と前記構文図における前記構文の重みとの積を計算して、第３の積値を取得するための第３の計算ユニットと、
    異なる構文図に対応する前記第３の積値の合計値を計算して、前記Ｎ次の構文カウントを取得するための第４の計算ユニットと、を含む、
    ことを特徴とする請求項１２に記載のトレーニング装置。
14. 前記トレーニングモジュールが、
    予め設定されたカウント閾値を超えた前記構文カウントに対してカウント低減処理を行うためのカウント低減ユニットと、
    カウント低減処理された前記構文カウントに基づいて、言語モデルのトレーニングを行うためのトレーニングユニットと、を含む、
    ことを特徴とする請求項８に記載のトレーニング装置。
15. 少なくとも１つのプロセッサと、
    前記少なくとも１つのプロセッサに通信可能に接続されるメモリと、を含み、
    前記メモリには、前記少なくとも１つのプロセッサによって実行される命令が記憶され、前記命令は、前記少なくとも１つのプロセッサが請求項１～７のいずれかに記載の言語モデルのトレーニング方法を実行できるように、前記少なくとも１つのプロセッサによって実行される、
    ことを特徴とする電子機器。
16. コンピュータ命令が記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記コンピュータ命令は、コンピュータに請求項１～７のいずれかに記載の言語モデルのトレーニング方法を実行させる、
    ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
17. コンピュータプログラムであって、
    前記コンピュータプログラムは、コンピュータに１～７のいずれかに記載の言語モデルのトレーニング方法を実行させる、
    ことを特徴とするコンピュータプログラム。

Images