JP7370033B2

JP7370033B2 - セマンティック認識方法

Info

Publication number: JP7370033B2
Application number: JP2022512826A
Authority: JP
Inventors: 暉張; 吉媛李; 海涛趙; 雁飛孫; 洪波朱
Original assignee: Nanjing University of Posts and Telecommunications
Current assignee: Nanjing University of Posts and Telecommunications
Priority date: 2021-03-26
Filing date: 2021-04-29
Publication date: 2023-10-27
Anticipated expiration: 2041-04-29
Also published as: WO2022198750A1; JP2023522502A; CN113204952A; CN113204952B

Description

本願は、自然言語処理の分野に関し、特に、マンマシン対話システムにおける自然言語のセマンティック解析方法に関する。

本願は２０２１年３月２６日に中国特許庁に提出され、出願番号が２０２１１０３２５３６９Ｘであり、出願の名称が「クラスタ事前解析に基づく多意図・セマンティックスロット複合認識方法」である中国特許出願の優先権を主張しており、そのすべての内容は引用によって本願に組み込まれている。

人工知能の急速な発展に伴い、多くの応用シーンにおけるデバイスの知能性に対する要求はますます増加している。知能性の要求を満たすためには、良好なヒューマンコンピュータインタラクションが不可欠である。現在、ヒューマンコンピュータインタラクションの方式は多様化しているが、その中で最も便利な方式は自然言語を使用することに越したことはない。そのため、自然言語を利用したヒューマンコンピュータインタラクションを実現する要望もますます高まっている。これにより、マンマシン対話システムは学術界と産業界から広く注目され、非常に広範な応用シーンを有する。

マンマシン対話システムの実現には自然言語のセマンティック解析技術が不可欠である。セマンティック解析の良し悪しは、ヒューマンコンピュータインタラクションの効果に直接影響する。自然言語の複雑性、抽象性や言葉の多義性などにより、自然言語のセマンティック解析が難しくなっている。現在、セマンティック解析は意図認識とセマンティックスロットフィリングとの２つの基本的なサブタスクに分けられている。この２つのサブタスクに対して、従来の研究方法は、この２つのタスクを独立した２つの問題として解決し、その後２つのタスクの結果を結合することである。

本願の各例示的な実施例は、
現在のユーザが入力した意図テキストをリアルタイムで取得し、ＢＥＲＴモデルを用いて前記意図テキストをベクトル化して意図テキストベクトルを得るステップＳ１０１と、
クラスタ事前解析に基づいて多意図認識モデルを構築し、前記意図テキストベクトルから前記ユーザの複数の意図を認識するステップＳ１０２と、
Ｓｌｏｔ－Ｇａｔｅｄ関連付けゲート機構に基づいてＢｉＬＳＴＭ－ＣＲＦセマンティックスロットフィリングモデルを構築し、認識された前記複数の意図を用いて前記セマンティックスロットフィリングモデルのセマンティックスロットをフィリングするステップＳ１０３と、
前記ＢＥＲＴモデル、前記多意図認識モデル及び前記セマンティックスロットフィリングモデルからなる複合モデルに対して最適化訓練を行い、最適化訓練済みの複合モデルを用いて前記複合モデルに入力されたテキストを認識するステップＳ１０４とを含むセマンティック認識方法を提供する。

一実施例では、前記クラスタ事前解析に基づいて前記多意図認識モデルを構築し、前記ユーザの複数の意図を認識する前記ステップは、
Ｋ－ｍｅａｎｓクラスタリングアルゴリズムを用いて、入力された前記意図テキストベクトルを単一意図カテゴリの意図テキストベクトルと多意図カテゴリの意図テキストベクトルとに分ける第１段階と、
前記単一意図カテゴリの意図テキストベクトルを、前記複数の意図を認識するためにｓｏｆｔｍａｘ分類器によって分類し、前記複数の意図の意図テキストベクトルを、前記複数の意図を認識するためにｓｉｇｍｏｉｄ分類器によって分類する第２段階とを含む。

一実施例では、前記Ｋ－ｍｅａｎｓクラスタリングアルゴリズムにおける距離関数は、以下の通りであり、

一実施例では、ステップＳ１０４における前記複合モデルの最適化訓練は、
訓練テキストを用いて前記ＢＥＲＴモデル及び前記多意図認識モデルを訓練し、前記ＢＥＲＴモデル及び前記多意図認識モデルのパラメータを更新するステップ（１）と、
（１）における前記多意図認識モデルの出力をＳｌｏｔ－Ｇａｔｅｄに伝送し、（１）で更新されたＢＥＲＴモデルとセマンティックスロットフィリングモデルを（１）と同じ訓練テキストを用いて訓練し、ＢＥＲＴモデル及びセマンティックスロットフィリングモデルのパラメータを更新するステップ（２）と、
訓練目標を達成するまで（１）と（２）を反復実行するステップ（３）とを含む。

一実施例では、前記多意図認識モデルの

ここで、ｋは意図テキストのカテゴリを表し、前記意図テキストが複数の意図を含む場合にｋは１であり、意図テキストが単一意図である場合にｋは０であり、

Ｔは訓練テキストの数である。

一実施例では、前記セマンティックスロットフィリングモデルの

Ｔは訓練テキスト数であり、Ｍは訓練テキストシーケンス長を表す。

本願で採用された以上の技術案は、従来技術と比較して、以下の技術的効果を有する。

本願では、意図認識とセマンティックスロットフィリングとの関連性を十分に考慮して、複合認識モデルを構築し、２つのセマンティック解析サブタスクを１つのタスクに統合し、ＢＥＲＴの基礎となるセマンティック特徴を共有する。次に、Ｓｌｏｔ－Ｇａｔｅｄ関連付けゲートを用いて意図－セマンティックスロット複合特徴ベクトルを生成し、これをセマンティックスロットフィリングタスクに用いる。セマンティックスロットフィリングのタスクでは、ＢｉＬＳＴＭを用いてテキストの語順特徴をキャプチャし、文脈セマンティック情報を取得し、ＣＲＦをデコーダとして、ラベル前後の依存関係を考慮することで、セマンティックスロットラベル付けをより合理的にする。さらに、複合モデル全体の性能を向上させるために、多意図認識過程において、ユーザの入力意図の不確実性に対して、意図の数を判断するためにクラスタ事前解析に基づくアルゴリズムを提案している。このアルゴリズムでは、従来のセマンティック類似度の測定方法を改良して、新しい測定方式を提案し、新しい測定方式は意図テキスト間の類似度をより効果的に測定し、意図数の判断の正確度を高め、アルゴリズムのロバスト性を向上させることができる。セマンティック解析の能力を高めるために、意図セマンティック情報を十分に利用してセマンティックスロットフィリングを指導し、反復の思想に基づいて、段階的反復訓練方式を提案し、意図とセマンティックスロットとの相互関係を十分に利用することができ、セマンティックスロットフィリングの正確性を高めると同時に、多意図認識モデルの正確性を高め、それによってセマンティック解析の効果を高める。

本願の目的、技術案及び技術的効果をより明確にするために、本願は以下の図面を提供して説明する。

本願の一実施例の複合モデリング方法の全体的な構造のブロック図である。本願の一実施例のクラスタ事前解析に基づく多意図認識のフローチャートである。本願の一実施例のセマンティックスロット認識モデルの構造図である。本願の一実施例の複合認識モデルの段階的反復訓練方式の模式図である。

本願の目的、技術案及び利点をより明確かつ明瞭にするために、以下、図面及び実施例を参照して、本願についてさらに詳細に説明する。なお、本明細書に記載された特定の実施例は、本願を解釈するためのものに過ぎず、本願を限定するものではない。

以上のように、従来の研究方法は、意図認識とセマンティックスロットフィリングとの２つのタスクを独立した２つの問題として解決し、その後、２つのタスクの結果を結合することである。

しかし、本発明者らは、意図認識がユーザニーズのタイプに対する判断であり、セマンティックスロットフィリングがユーザニーズを具体化することであることを発見した。したがって、ユーザの意図と認識対象のスロットビットとは強く相関しており、意図認識の目的はセマンティックスロットフィリングをより良く行うことである。一方、従来の単独モデリング方法では、２つのタスク間の関連性を十分に考慮していないため、セマンティック情報を有効に利用することができなかった。さらに、マンマシン対話システムでは、ユーザが入力する意図テキストには１つの意図だけが含まれるのではない可能性があり、複数の意図が現れる可能性もあるという多意図認識の問題に直面する場合が多い。現在、意図認識問題の研究は主に単一意図の認識に集中しているが、多意図認識は単一意図認識に比べて認識がより複雑であるだけでなく、セマンティック理解の程度がより高く要求される。

したがって、本発明者らは、マンマシン対話システムにおけるセマンティック解析の問題に対して、従来技術に基づいて多意図認識とセマンティックスロットフィリングを効果的に解決する複合モデリング方法をどのように提案するかが、当業者が早急に解決すべき問題の１つであることを発見した。

図１に示すように、本願の一実施例は、クラスタ事前解析に基づく多意図・セマンティックスロット複合認識方法を開示し、ステップＳ１０１～ステップＳ１０４を含む。
ステップＳ１０１において、現在のユーザが入力した多意図テキストをリアルタイムで取得して、前処理を行う。
ステップＳ１０２において、クラスタ事前解析に基づいてユーザの複数の意図を認識するために多意図認識モデルを構築する。
ステップＳ１０３において、Ｓｌｏｔ－Ｇａｔｅｄ関連付けゲート機構に基づいてＢｉＬＳＴＭ－ＣＲＦセマンティックスロットフィリングモデルを構築し、意図認識の結果を十分に利用してセマンティックスロットフィリングを指導する。
ステップＳ１０４において、構築された多意図認識・マンティックスロットフィリング複合モデルを最適化する。

ここで、現在のユーザが入力した多意図テキストを前処理することは、ニューラルネットワークモデルに入力してセマンティック特徴抽出を行いやすくするために、多意図テキストをベクトル化することである。本願の実施例のベクトル化方法は、まず、同分野の大量テキスト（例えば、中国語、英語や他の様々な言語テキスト）教師なしデータを用いてＢＥＲＴ（ＢｉｄｉｒｅｃｔｉｏｎａｌＥｎｃｏｄｅｒＲｅｐｒｅｓｅｎｔａｔｉｏｎｓｆｒｏｍＴｒａｎｓｆｏｒｍｅｒ）モデルを訓練することである。次に、得られたＢＥＲＴ事前訓練モデルを用いて多意図テキストをベクトル化することである。

上記ステップＳ１０２におけるクラスタ事前解析に基づく多意図認識モデルの構築の目的は、セマンティックスロットフィリングに用いることである。多意図認識の正否はセマンティックスロットフィリングに直接影響する。

多意図認識の精度を向上させるために、ユーザが入力した意図の不確実性に対して、本願の実施例では、意図認識に先立って意図テキストを解析して、意図が単一意図であるか多意図であるかを判断するクラスタ事前解析に基づく方法を提案する。図２に示すように、クラスタ事前解析方法に基づく意図認識には以下のステップが含まれる。

意図認識全体は２つの段階に分けられる。

まず、第１段階では、Ｋ－ｍｅａｎｓクラスタリングアルゴリズムを用いて入力された意図テキストのカテゴリを判断する。

一般には、意図は主に単一意図と多意図の２種類に分けられるので、Ｋ－ｍｅａｎｓクラスタリングアルゴリズムのクラスタリング中心Ｋは２つである。

第２段階では、入力された意図テキストを、判断された意図の個数に応じてそれぞれ分類する。

意図テキストに複数の意図が含まれていると判断された場合、多意図分類器を用いて分類を行う。すなわち、ＢＥＲＴ事前訓練モデルの後に完全接続層が追加される。完全接続層の各ノードは、１つ上の層のすべてのノードに接続されて、先に抽出されたセマンティック特徴を融合する。次に、ＢＥＲＴモデルが出力した意図テキストベクトルを、ｓｉｇｍｏｉｄ分類器に入力し、分類器によってラベルごとに二次分類を行い、複数の意図ラベルを出力する。ラベル予測の計算式は以下のとおりである。

ここで、ｙ^Ｉは予測確率、Ｗ^Ｉは意図認識の重み、Ｃは意図テキストベクトル、ｂ^Ｉは意図認識のバイアスである。

意図テキストが単一意図であると判断された場合、ｓｏｆｔｍａｘ分類器を用いて、ＢＥＲＴ出力の最初のフラグが（［ＣＬＳ］）である文ベクトルＣを分類器に直接入力して分類し、予測される意図ラベルが次の式により得られる。

Ｋ－ｍｅａｎｓクラスタリングアルゴリズムを用いて多意図テキストを事前解析する過程では、意図テキスト間のセマンティックの類似度を判断する必要がある。セマンティックの類似度の測定は、クラスタリングの結果の正確性に極めて重要である。テキストのセマンティックの類似度の測定では、コサイン類似度を計算するのが一般的な方法である。余弦類似度は、空間内の２つのベクトル間の差異を表すことができる。しかし、コサイン類似度は絶対値に敏感ではなく、同一方向での差異を測定することはできない。一方、ユークリッド距離（ＥｕｃｌｉｄｅａｎＭｅｔｒｉｃ）は類似度を計算する際、絶対的な数値に敏感であり、同じ方向での差異をよく測定することができる。したがって、本願では、コサイン類似度とユークリッド距離に基づいて、両者の特徴を組み合わせて、次に示すような新しい測定方法を提案する。

データオブジェクト間の類似度が小さいことを示す。この方法を使用すると、テキスト間の類似度をよりよく測定することができる。

上記ステップＳ１０３におけるフィリング過程では、Ｓｌｏｔ－Ｇａｔｅｄ関連付けゲート機構に基づいてＢｉＬＳＴＭ－ＣＲＦセマンティックスロットフィリングモデルを構築し、意図認識の結果を十分に利用してセマンティックスロットフィリングを指導する。

図３には、意図認識タスクをセマンティックスロットフィリングタスクに関連付けることができるＳｌｏｔ－Ｇａｔｅｄ関連付けゲート機構が示されている。すなわち、意図認識の意図ベクトルとセマンティックスロットフィリングのための意図テキストベクトルとを重み付け加算する。次に、関数ｔａｎｈを活性化することにより、意図‐セマンティックスロット複合特徴ベクトルｇを得る。意図‐セマンティックスロット複合特徴ベクトルｇの計算方法は、次のとおりである。

ｖ及びＷはそれぞれ訓練可能なベクトルと行列である。

意図－セマンティックスロット複合特徴ベクトルｇを算出した後、意図－セマンティックスロット複合特徴ベクトルｇを、ＢｉＬＳＴＭ（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌＬｏｎｇＳｈｏｒｔ－ＴｅｒｍＭｅｍｏｒｙ）ニューラルネットワークに入力することにより、テキストの語順特徴を抽出し、深いレベルの文脈セマンティック情報をキャプチャする。次に、ＢｉＬＳＴＭネットワークの後ろに線形層（ＬｉｎｅａｒＬａｙｅｒ）を追加し、ニューラルネットワークの出力ベクトルの次元をマッピングし、セマンティックスロット復号に用いる。最後にＣＲＦ（ＣｏｎｄｉｔｉｏｎａｌＲａｎｄｏｍＦｉｅｌｄ）復号層を復号ユニットとして、シーケンス中の各語に対応するスロットラベルを出力する。計算方法は次のとおりである。

隠された状態のベクトルである。図３においてＢ－ｔｉｍｅはｔｉｍｅスロットラベルの開始マーク、Ｉ－ｔｉｍｅはｔｉｍｅスロットラベルの後続マークである。

上記のステップＳ１０４では、構築された多意図認識・セマンティックスロットフィリング複合モデルを最適化する。

図４に示すように、複合認識モデルの性能は２つのサブタスクによって共同で決定される。多意図認識とセマンティックスロットフィリングの複合確率は以下のように示す。

図４に示す複合モデル訓練では、訓練の目標は多意図認識とセマンティックスロットフィリングを出力する複合確率を最大化することである。セマンティック解析の能力を向上させるために、セマンティックスロットフィリングに意図セマンティック情報を十分に利用して、複合認識モデルを最適化する。モデル訓練の際に、従来の複数のタスク損失関数を単純に加算するような方式を変更する。反復の思想に基づいて、多意図認識とセマンティックスロットフィリングを複合する段階的反復訓練方式を提案している。図４に示すように、まず、訓練データを複合認識モデルに入力する。訓練の際には、まず、多意図認識モデルを１ラウンド訓練する。逆伝播により多意図認識モデルパラメータ及び基礎となるＢＥＲＴモデルパラメータを更新する。次に、更新されたモデルを用いて、多意図認識結果のセマンティック特徴をＳｌｏｔ－Ｇａｔｅｄ関連付けゲートに伝送する。Ｓｌｏｔ－Ｇａｔｅｄ関連付けゲートにより意図のセマンティック特徴と更新されたＢＥＲＴモデルを用いて生成されたセマンティックスロット特徴とを融合し、意図－セマンティックスロット複合特徴ベクトルを生成する。生成された意図－セマンティックスロット複合特徴ベクトルを、セマンティックスロットフィリングモデルの訓練に用いる。訓練の際には、逆伝播によりセマンティックスロットフィリングモデルのパラメータ及び基礎となるＢＥＲＴモデルのパラメータを更新する。最適になるまで訓練を繰り返す。

多意図認識とセマンティックスロットフィリングの２つのタスクは、訓練時にＢＥＲＴモデルの基礎パラメータを共有し、すなわち、１つのモデルを訓練するときに別のモデルの訓練結果で基礎モデルの初期化を行う。一方、上流タスクはそれぞれ訓練を行い、同時に意図認識の結果はセマンティックスロットフィリングタスクに伝送される。セマンティックスロットフィリングの精度を向上させつつ、多意図認識モデルの精度を向上させる。

損失関数は、モデルパラメータの更新に非常に重要である。損失関数の選択が不合理であれば、モデルが強くても最後の結果はよくない。

複合認識モデルにおける

ｊは訓練テキスト中のあるテキスト、Ｔ_１は多意図認識の訓練テキスト数である。

複合認識モデルでは、セマンティックスロットは

Ｔ_２はセマンティックスロットフィリングの訓練テキスト数を表し、Ｍは訓練テキストシーケンス長を表す。

図４において、Ｗ１１、Ｗ１２は多意図認識の重みを表し、Ｗｓ１、Ｗｓ２はセマンティックスロットフィリングの重みを表す。

なお、図１～図４のフローチャートにおける各ステップは、矢印で示される順序で順次表示されているが、必ずしもこれらのステップが矢印で示される順序で順次実行されるわけではない。本願の実施例に明示的に記載されていない限り、これらのステップの実行には厳密な順序制限がなく、これらのステップは他の順序で実行されてもよい。さらに、図１～図４のステップの少なくとも一部は、複数のサブステップ又は複数の段階を含んでもよく、これらのサブステップ又は段階は、必ずしも同じ時点で実行を完了するのではなく、異なる時点で実行されてもよく、これらのサブステップ又は段階の実行順序は、必ずしも順次ではなく、他のステップ又は他のステップのサブステップ又は段階の少なくとも一部と順番に又は交互に実行されてもよい。

本願は、クラスタ事前解析に基づく多意図・セマンティックスロット複合認識システムをさらに提供し、このシステムは、メモリと、プロセッサとを含み、前記メモリにはコンピュータプログラムが記憶されており、前記コンピュータプログラムが前記プロセッサによって実行されると、上述の多意図・セマンティックスロット複合認識方法が実現される。

本願は、プロセッサによって実行されると、上述した多意図・セマンティックスロット複合認識方法のステップを実施するコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体をさらに提供する。このコンピュータ読み取り可能な記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読み取り専用メモリ（Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ、ＲＯＭ）、ランダムアクセスメモリ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ、ＲＡＭ）、磁気ディスク又は光ディスクなど、プログラムコードを記憶することができる様々な媒体を含んでもよい。

当業者が理解できるように、上記の実施例の方法におけるプロセスの全部又は一部の実施は、コンピュータプログラムを介して関連するハードウェアに指示して達成させてもよく、前記コンピュータプログラムは非揮発性コンピュータ読み取り可能な記憶媒体に記憶されてもよく、このコンピュータプログラムが実行されるときに、上記の各方法の実施例のプロセスを含んでもよい。ここで、本願による各実施例で使用されるメモリ、記憶、データベースや他の媒体の任意の参照は、いずれも不揮発性及び／又は揮発性メモリを含んでもよい。不揮発性メモリには、読み取り専用メモリ（ＲＯＭ）、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的にプログラム可能なＲＯＭ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブルＲＯＭ（ＥＥＰＲＯＭ）、又はフラッシュメモリが含まれてもよい。揮発性メモリには、ランダムアクセスメモリ（ＲＡＭ）又は外部キャッシュメモリが含まれてもよい。限定的なものではなく、説明的なものとして、ＲＡＭは、スタティックＲＡＭ（ＳＲＡＭ）、ダイナミックＲＡＭ（ＤＲＡＭ）、同期ＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲＳＤＲＡＭ）、拡張ＳＤＲＡＭ（ＥＳＤＲＡＭ）、同期リンク（Ｓｙｎｃｈｌｉｎｋ）ＤＲＡＭ（ＳＬＤＲＡＭ）、メモリバス（Ｒａｍｂｕｓ）ダイレクトＲＡＭ（ＲＤＲＡＭ）、ダイレクトメモリバスダイナミックＲＡＭ（ＤＲＤＲＡＭ）やメモリバスダイナミックＲＡＭ（ＲＤＲＡＭ）などのさまざまな形態で得られる。

以上の実施例の各技術的特徴は任意の組み合わせを行うことができ、説明を簡潔にするために、以上の実施例における各技術的特徴の可能なすべての組み合わせについて説明していないが、これらの技術的特徴の組み合わせに矛盾がない限り、すべて本明細書に記載された範囲であると考えるべきである。

以上の前記実施例は、本願のいくつかの実施形態を示しただけであり、その説明は比較的に具体的かつ詳細であるが、それによって発明特許の範囲を制限するものとして理解できない。なお、当業者にとっては、本願の概念を逸脱することなく、いくつかの変形や改良を行うことができ、これらは全て本願の保護範囲に属する。したがって、本願の特許の保護範囲は、添付の特許請求の範囲を基準とすべきである。

Claims

コンピュータが実行するセマンティック認識方法であって、
現在のユーザが入力した意図テキストをリアルタイムで取得し、ＢＥＲＴモデルを用いて前記意図テキストをベクトル化して意図テキストベクトルを得るステップＳ１０１と、
クラスタ事前解析に基づいて多意図認識モデルを構築し、前記意図テキストベクトルから前記ユーザの複数の意図を認識するステップＳ１０２と、
前記ステップＳ１０２は、Ｋ－ｍｅａｎｓクラスタリングアルゴリズムを用いて、入力された前記意図テキストベクトルを単一の意図を持つ単一意図テキストベクトルと、複数の意図を持つ複数意図テキストベクトルとに分ける第１段階と、
前記単一意図テキストベクトルを、その単一の意図を認識するためにｓｏｆｔｍａｘ分類器によって分類し、前記複数意図テキストベクトルを、その複数の意図を認識するためにｓｉｇｍｏｉｄ分類器によって分類する第２段階とを含み、
Ｓｌｏｔ－Ｇａｔｅｄ関連付けゲート機構に基づいてＢｉＬＳＴＭ－ＣＲＦセマンティックスロットフィリングモデルを構築し、認識された前記複数の意図を用いて前記ＢｉＬＳＴＭ－ＣＲＦセマンティックスロットフィリングモデルのセマンティックスロットをフィリングするステップＳ１０３と、
前記ステップＳ１０３においては、意図テキストに複数の意図が含まれていると判断された場合、ｓｉｇｍｏｉｄ分類器に入力し、分類器によってラベルごとに二次分類を行い、複数の意図ラベルを出力し、ラベル予測の計算式は以下のとおりであり、

ここで、ｙ ^Ｉは予測確率、Ｗ ^Ｉは意図認識の重み、Ｃは意図テキストベクトル、ｂ ^Ｉは意図認識のバイアスであること、
意図テキストが単一意図であると判断された場合、ｓｏｆｔｍａｘ分類器を用いて、ＢＥＲＴ出力の最初のフラグが（［ＣＬＳ］）である文ベクトルＣを分類器に直接入力して分類し、予測される意図ラベルが次の式により得られ、

ここで、ｙ ^Ｉは意図ラベルの予測確率、Ｗ ^Ｉは意図認識の重み、Ｃは意図テキストベクトル、ｂ ^Ｉは意図認識のバイアスであり、
意図認識の意図ベクトルとセマンティックスロットフィリングのための意図テキストベクトルとを重み付け加算し、関数ｔａｎｈを活性化することにより、意図－セマンティックスロット複合特徴ベクトルｇを得て、前記意図－セマンティックスロット複合特徴ベクトルｇの計算方法は、次のとおりであり、

ここで、ｃ _i ^S はセマンティックスロットベクトルを表し、ｃ ^Ｉは意図ラベルベクトルを表し、ｃ _i ^S 及びＷ・ｃ ^Ｉは次元が同じであり、ｖ及びＷはそれぞれ訓練可能なベクトルと行列であり、
前記意図－セマンティックスロット複合特徴ベクトルｇを算出した後、前記意図－セマンティックスロット複合特徴ベクトルｇを、ＢｉＬＳＴＭ（Ｂｉ－ｄｉｒｅｃｔｉｏｎａｌＬｏｎｇＳｈｏｒｔ－ＴｅｒｍＭｅｍｏｒｙ）ニューラルネットワークに入力することにより、テキストの語順特徴を抽出し、深いレベルの文脈セマンティック情報をキャプチャし、ＢｉＬＳＴＭネットワークの後ろに線形層（ＬｉｎｅａｒＬａｙｅｒ）を追加し、ニューラルネットワークの出力ベクトルの次元をマッピングし、セマンティックスロット復号に用いて、ＣＲＦ（ＣｏｎｄｉｔｉｏｎａｌＲａｎｄｏｍＦｉｅｌｄ）復号層を復号ユニットとして、シーケンス中の各語に対応するスロットラベルを出力し、その計算方法は次のとおりであり、

ここで、ｙ _i ^S は入力テキストシーケンス中のｉ番目の語のセマンティックスロット予測出力を表し、Ｗ ^S _hy は重み行列、ｈ _i は隠された状態のベクトルであり、
前記ＢＥＲＴモデル、前記多意図認識モデル及び前記ＢｉＬＳＴＭ－ＣＲＦセマンティックスロットフィリングモデルからなる複合モデルに対して最適化訓練を行い、最適化訓練済みの複合モデルを用いて前記複合モデルに入力されたテキストを認識するステップＳ１０４とを含む、ことを特徴とするコンピュータが実行するセマンティック認識方法。
前記Ｋ－ｍｅａｎｓクラスタリングアルゴリズムにおける距離関数は、以下の通りであり、

ことを特徴とする請求項１に記載のコンピュータが実行するセマンティック認識方法。
ステップＳ１０４における前記複合モデルの最適化訓練は、
訓練テキストを用いて前記ＢＥＲＴモデル及び前記多意図認識モデルを訓練し、前記ＢＥＲＴモデル及び前記多意図認識モデルのパラメータを更新するステップ（１）と、
（１）における前記多意図認識モデルの出力をＳｌｏｔ－Ｇａｔｅｄに伝送し、（１）で更新されたＢＥＲＴモデルとセマンティックスロットフィリングモデルを（１）と同じ訓練テキストを用いて訓練し、ＢＥＲＴモデル及びセマンティックスロットフィリングモデルのパラメータを更新するステップ（２）と、
訓練目標を達成するまで（１）と（２）を反復実行するステップ（３）とを含む、ことを特徴とする請求項１に記載のコンピュータが実行するセマンティック認識方法。
前記多意図認識モデルの

ここで、ｋは意図テキストのカテゴリを表し、前記意図テキストが複数の意図を含む場合にｋは１であり、意図テキストが単一意図である場合にｋは０であり、

Ｔは訓練テキストの数である、ことを特徴とする請求項３に記載のコンピュータが実行するセマンティック認識方法。
前記セマンティックスロットフィリングモデルの

Ｔは訓練テキスト数であり、Ｍは訓練テキストシーケンス長を表す、ことを特徴とする請求項３に記載のコンピュータが実行するセマンティック認識方法。
プロセッサによって実行されると請求項１～５のいずれか１項に記載の方法を実現するコンピュータプログラムが記憶されたコンピュータ読み取り可能な記憶媒体。
メモリと、プロセッサとを含み、前記メモリにはコンピュータプログラムが記憶されており、前記コンピュータプログラムが前記プロセッサによって実行されると、請求項１～５のいずれか１項に記載の方法が実現されるセマンティック認識システム。