JP7276712B2 - 意味分析方法、装置、および記憶媒体 - Google Patents

意味分析方法、装置、および記憶媒体 Download PDF

Info

Publication number
JP7276712B2
JP7276712B2 JP2019567303A JP2019567303A JP7276712B2 JP 7276712 B2 JP7276712 B2 JP 7276712B2 JP 2019567303 A JP2019567303 A JP 2019567303A JP 2019567303 A JP2019567303 A JP 2019567303A JP 7276712 B2 JP7276712 B2 JP 7276712B2
Authority
JP
Japan
Prior art keywords
sentence
model
word
identifier
sample
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019567303A
Other languages
English (en)
Other versions
JP2020522817A (ja
Inventor
▲亜▼楠 ▲魯▼
▲栄▼禹 曹
芬 林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Tencent Technology Shenzhen Co Ltd
Original Assignee
Tencent Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tencent Technology Shenzhen Co Ltd filed Critical Tencent Technology Shenzhen Co Ltd
Publication of JP2020522817A publication Critical patent/JP2020522817A/ja
Application granted granted Critical
Publication of JP7276712B2 publication Critical patent/JP7276712B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/12—Use of codes for handling textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Mathematical Optimization (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Pure & Applied Mathematics (AREA)
  • Algebra (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本願は、２０１７年１０月１０日に中国特許局に提出された、出願番号が２０１７１０９３６２１１．Ｘであり、出願名称が「意味分析方法および装置」である中国特許出願の優先権を主張し、その全ての内容は、参照することにより本願に組み込まれる。
本願の実施例は、自然言語処理の技術分野に関し、特に、意味分析方法、装置、および記憶媒体に関する。
ヒューマン・マシン・インタラクションをより良くするためには、通常、ユーザが入力した自然言語をモデルで処理することで、ユーザの意味を分析し獲得する必要がある。
本願の実施例には、コンピュータデバイスに適用される意味分析方法が提出されており、この方法は、
対話フローにおける各サンプル文に対して、前記サンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、前記サンプル文の意味を表す文ベクトルを得ることと、
前記サンプル文の文ベクトルを、前記サンプル文の各文脈文に対応する第１のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子を得、前記サンプル文の文ベクトルを、前記サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力し、単語に対応する第２の識別子を得ることと、
各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定することであって、ここで、前記ターゲット関数の値は、前記サンプル文の文ベクトルが意味を示す正確さを指示するために使用されるものであるここと、
前記ターゲット関数の値に基づいて、前記エンコーダモデルに対してパラメータトレーニングを行うことと、
テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力して、前記テスト文の意味を表す文ベクトルを得ることと、を含む。
本願の実施例には、意味分析装置が提出されており、この装置は、
サンプル文と、前記サンプル文の複数の文脈文とを含む対話フローにおける各サンプル文に対して、前記サンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、前記サンプル文の意味を表す文ベクトルを得る符号化モジュールと、
前記サンプル文の文ベクトルを、前記サンプル文の各文脈文に対応する第１のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子を得、前記サンプル文の文ベクトルを、前記サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力し、単語に対応する第２の識別子を得る復号化モジュールと、
各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定する生成モジュールであって、ここで、前記ターゲット関数の値は、前記サンプル文の文ベクトルが意味を示す正確さを指示するために使用されるものである生成モジュールと、
前記ターゲット関数の値に基づいて、前記エンコーダモデルに対してパラメータトレーニングを行うトレーニングモジュールと、
テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力して、前記テスト文の意味を表す文ベクトルを得るテストモジュールと、を含む。
本願の実施例には、メモリと、プロセッサと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムとを含むコンピュータデバイスが提出されており、前記プロセッサが前記プログラムを実行する場合、上述の意味分析方法が実現される。
本願の実施例には、コンピュータプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体が提出されており、前記プログラムがプロセッサによって実行される場合、上述の意味分析方法が実現される。
本願の実施例の上記および／または付加的な態様や利点は、以下の図面を参照しながら実施例に対する説明から明らかになり、かつ理解しやすくなる。
本願の実施例によって提供される、意味分析方法の実施環境の概略図である。 本願の実施例によって提供される、１つの意味分析方法のフローチャート概略図である。 本願の実施例によって提供される、もう１つの意味分析方法のフローチャート概略図である。 本願の実施例によって提供される、さらに１つの意味分析方法のフローチャート概略図である。 本願の実施例によって採用される、エンコーダ‐デコーダモデルの構成概略図である。 本願の実施例の意味分析方法が質問回答システムに適用されることの概略図である。 本願の実施例によって提供される、１つの意味分析装置の構成概略図である。 本願の実施例によって提供される、もう１つの意味分析装置の構成概略図である。 本願の実施例によって提供される、さらに１つの意味分析装置の構成概略図である。 本願の実施例によって提供される、コンピュータデバイスの構成概略図である。
以下では、本願の実施例が詳細に説明されており、前記実施例の例示が図面に示され、ここで、全体にわたって同一または類似の記号が同一または類似の要素や同一または類似の機能を有する要素を表している。図面を参照しながら以下に説明する実施例は、例示的なものであり、本願を解釈することを意図しており、本願を限定するものとして解釈されるべきではない。
以下、図面を参照しながら、本願の実施例の意味分析方法および装置について説明する。
実際の応用では、通常、リカレントニューラルネットワークをモデルとしたエンコーダ‐デコーダを用いて、分析対象の文に対して意味分析を行う。モデルをトレーニングする場合、ニューラルネットワークを用いたエンコーダは、シリアル計算をしなければならないため、エンコーダで受信された文の長さがｍ（即ち、ｍ個の単語を含む）である場合、ｍ個の時間ステップの計算時間が必要である。また、デコーダで受信されたこの分析対象の文が２ｋ個の文脈文を有し、ここで、文脈文の最大長さがｎであると仮定すると、２ｋ個のデコーダは並列に動作することができるが、各デコーダは文脈文をシリアルに処理しなければならないため、ｎ個の時間ステップの計算時間が必要である。ここから分かるように、１つの文だけに対して、全体の計算過程には、ｍ＋ｎ個の時間ステップが必要である。
したがって、文の長さが長い場合および／または文の数が大きい場合、モデルトレーニングの時間が長くなり、意味分析の効率が低くなる。
人工知能技術では、チャットロボットがユーザの意味を正確に理解して、ヒューマン・マシン・インタラクションをよりよく実現するようにするために、通常、大量のトレーニングデータを用いて、モデルに基づいて文の意味表現をトレーニングする必要がある。
関連技術では、通常、ｓｋｉｐ－ｔｈｏｕｇｈｔモデルを用いて文の意味表現をトレーニングし、このモデルは、リカレントニューラルネットワークに基づくエンコーダ－デコーダモデルである。エンコーダとデコーダは、いずれもリカレントニューラルネットワークを使用しているが、リカレントニューラルネットワークは並列に動作できず、演算効率が低くなり、かつ、動作時間と文の長さが線形関係にあり、つまり、文の長さが長く、トレーニングデータのデータ量が大きい場合、トレーニング時間が長くなるため、ｓｋｉｐ－ｔｈｏｕｇｈｔモデルを用いて文の意味表現をトレーニングする際に、より良いトレーニング結果を得るために、長いトレーニング時間が必要になってしまう。
上記の課題に対して、本願の実施例には、トレーニング時間を短縮して、処理効率を向上させるための意味分析方法が提出されている。
図１Ａは、本願の実施例によって提供される意味分析方法の実施環境の概略図である。ここで、コンピュータデバイス１０は、本発明のいずれかの実施例によって提供される意味分析装置１１を統合して、本発明のいずれかの実施例によって提供される意味分析方法を実現するために使用される。該コンピュータデバイス１０とユーザ端末２０は、ネットワーク３０を介して接続されており、前記ネットワーク３０は、有線ネットワークであってもよく、無線ネットワークであってもよい。
図１Ｂは、本願の実施例によって提供される１つの意味分析方法のフローチャート概略図である。
図１Ｂに示すように、この意味分析方法は、コンピュータデバイスに適用されており、次のステップを含む。即ち、
ステップ１０１で、対話フローにおける各サンプル文に対して、サンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、サンプル文の意味を表す文ベクトルを得る。
文の意味表現をトレーニングする場合、トレーニングで使用されるデータセットは、自然対話のデータセットである。自然対話のデータセットは、複数のグループの対話フローからなり、各グループの対話フローは、２つのユーザ間の交互の対話からなり、ｉ番目のグループの対話フローは、

Figure 0007276712000001
 と表され、ここで、ｓj (i)は、ｉ番目のグループの対話フローにおけるｊ番目の文を表し、Ｔは、ｉ番目のグループの対話フローに含まれる文の数を表す。ｉ番目のグループの対話フローにおけるｊ番目の文について、この文は、複数の単語からなり、各単語は、それぞれ、

Figure 0007276712000002
 と表されてもよく、ここで、ｗjr (i)は、ｉ番目のグループの対話フローのｊ番目の文におけるｒ番目の単語を表し、Ｍは、ｉ番目のグループの対話フローのｊ番目の文に含まれる単語の個数を表す。
１つのグループの対話フローにおける複数の文について、各文は、サンプル文として使用されることができ、各サンプル文には、対応する複数の文脈文がある。本実施例では、対話フローにおける各サンプル文に対して、サンプル文における各単語の単語ベクトルをエンコーダモデルに入力してよく、エンコーダモデルの出力結果は、このサンプル文の意味を表す文ベクトルである。
ステップ１０２で、サンプル文の文ベクトルを、サンプル文の各文脈文に対応する第１のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子を得、サンプル文の文ベクトルを、サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力し、単語に対応する第２の識別子を得る。
１つのグループの対話フローにおける各文について、その文の意味表現は、その文の文脈文と、その文におけるすべての単語とを決定した。例えば、「我吃了（私が食べました）」は、よく

Figure 0007276712000003
 への回答とするものであるため、「我吃了」という文の意味表現は、

Figure 0007276712000004
 と強い繋がりがあり、かつ、「我」、「吃」、「了」という３つの単語は、共同でこの文の意味表現を構成する。演算速度を高めるために、本実施例では、文脈文の文の識別子のみがこの文の文脈情報として使用され、単語の識別子がこの文の各単語として使用される。データ量が大きい場合、重複した文識別子が多いため、文の識別子に含まれる情報量は、文脈情報を表すのに十分である。
ここで、文の識別子は唯一であり、各文脈文は１つの文識別子に一意に対応する。相応的に、１つの文識別子に基づいて、１つのサンプル文の文脈文を一意に決定することができる。単語の識別子も唯一であり、単語の識別子に基づいて、文における単語を一意に決定することができる。
サンプル文の複数の文脈文について、各文脈文のために、１つの対応する第１のデコーダモデルをそれぞれ設定し、かつ、エンコーダから出力されたサンプル文の文ベクトルを、各文脈文に対応する第１のデコーダモデルにそれぞれ入力して、文脈文に対応する第１の識別子を得る。
サンプル文における各単語について、各単語のために、１つの対応する第２のデコーダモデルをそれぞれ設定し、かつ、エンコーダから出力されたサンプル文の文ベクトルを、各単語に対応する第２のデコーダモデルに入力して、サンプル文の各単語に対応する第２の識別子を得る。
ステップ１０３で、各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定する。
ここで、ターゲット関数は、トレーニング過程の正確さを監視し、モデルのトレーニング効果を評価するための尤度確率関数であってよい。ターゲット関数の値は、サンプル文の文ベクトルが意味を示す正確さを指示するために使用されるものであり、ターゲット関数の値が大きいほど、トレーニング結果がより正確であり、トレーニング効果がより良いということを示している。
本実施例では、サンプル文の文ベクトルを各第１のデコーダモデルと各第２のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子と、サンプル文における単語に対応する第２の識別子とをそれぞれ得るとともに、第１の識別子に対応する確率と、第２の識別子に対応する確率とを得ることもでき、さらに、第１の識別子に対応する確率と第２の識別子に対応する確率とを利用して、ターゲット関数の値を決定することができる。
説明すべきものとして、各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定するための具体的な過程は、後続に説明され、冗長性を避けるために、ここでは詳しく説明していない。
ステップ１０４で、ターゲット関数の値に基づいて、エンコーダモデルに対してパラメータトレーニングを行う。
前述したように、ターゲット関数の値が大きいほど、モデルトレーニングの結果がより正確であるということを示しており、したがって、本実施例では、ターゲット関数の最大化を目的として、ターゲット関数の値に基づいて、エンコーダモデルに対してパラメータトレーニングを行うことができる。
本願のいくつかの実施例では、ターゲット関数を最大化することにより、勾配降下法を用いて各モデルのパラメータをトレーニングすることができる。
具体的には、エンコーダモデルに対してパラメータトレーニングを行う過程は、次のように説明されてもよい。即ち、ａ、モデルの各パラメータに対して初期値を設定し、初期パラメータでサンプル文の文ベクトルを各デコーダに入力し、対応する文の第１の識別子と単語の第２の識別子を得て、第１の識別子の確率と第２の識別子の確率を得、さらに、第１の識別子の確率と第２の識別子の確率に基づいて、ターゲット関数の値を決定して、ターゲット関数の値が最大化に達するかどうかを判断する。ｂ、ターゲット関数の値が最大化に達していない場合、モデルの各パラメータを調整して、第１の識別子の確率と第２の識別子の確率に基づいてターゲット関数の値を再び計算して、新しいターゲット関数の値が最大化に達するかどうかを判断する。上記のステップｂが、ターゲット関数の値が最大化になるまで繰り返し実行されると、この場合の各パラメータ値は、このモデルの最適なパラメータ値になり、トレーニングによって得られた最終パラメータ結果として使用される。
ステップ１０５で、テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力し、テスト文の意味を表す文ベクトルを得る。
本実施例では、ターゲット関数の値に基づいて、エンコーダモデルに対してパラメータトレーニングを行って、エンコーダモデルの各パラメータを得た後、さらに、得られたパラメータ値をエンコーダモデルに適用して、トレーニングされたエンコーダモデルを得る。トレーニングされたエンコーダモデルに基づいて、任意の文（テスト文と呼ばれ）に対して、テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力すると、このテスト文の意味を表す文ベクトルを正確に得ることができ、これによって、マッチングされた応答文がチャットロボットによって正確に出力されることに基礎が築かれている。
本実施例の意味分析方法は、対話フローにおけるサンプル文に対して、このサンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、サンプル文の意味を表す文ベクトルを得、さらに、サンプル文の文ベクトルを、各文脈文に対応する第１のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子を得、および、このサンプル文の文ベクトルを、サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力し、単語に対応する第２の識別子を得、各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定し、さらに、ターゲット関数の値に基づいて、エンコーダモデルに対してパラメータトレーニングを行い、テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力して、テスト文の意味を表す文ベクトルを得る。これにより、トレーニング過程では、第１のデコーダモデルは、文脈文の識別子を予測し得るために使用されるものであるため、１つの時間ステップの計算時間長だけが必要であり、文における各単語を予測し得る必要がある方式と比べて、トレーニング過程に必要な計算時間長が短くなり、（文の長さ）個の時間ステップから１つの時間ステップに短縮され、モデルトレーニングの長い時間による意味分析効率の低い技術課題が解決された。
上記の実施例においてサンプル文の文ベクトル、サンプル文の各単語の識別子及び各文脈文の識別子に基づいてターゲット関数を生成する具体的な実現過程をより明確に説明するために、本願の実施例には、別の意味分析方法も提供され、図２は、本願の実施例によって提供される、もう１つの意味分析方法のフローチャート概略図である。
図２に示すように、図１Ｂに示す実施例を基にして、ステップ１０３は、以下のステップを含んでもよい。
ステップ２０１で、サンプル文がｉ番目のグループの対話フローにおけるｊ番目の文である場合、サンプル文の文ベクトルｖj (i)が入力された条件で、各第１のデコーダモデルによって出力された文脈文に対応する第１の識別子ｓj±q (i)の確率に基づいて、ターゲット関数の第１の項目

Figure 0007276712000005
 の値を計算し、ここで、ｑ＝１，２，…Ｑであり、Ｎは、対話フローの総グループ数であり、Ｔは、ｉ番目のグループの対話フローに含まれる文の総数である。
ステップ２０２で、サンプル文の文ベクトルｖj (i)が入力された条件で、各第２のデコーダモデルによって出力されたサンプル文における単語に対応する第２の識別子ｗjk (i)の確率に基づいて、ターゲット関数の第２の項目

Figure 0007276712000006
 の値を計算し、ここで、Ｍは、サンプル文における単語の総数である。
ステップ２０３で、ターゲット関数の第１の項目の値と第２の項目の値との合計を求め、ターゲット関数の値を得る。
本実施例では、サンプル文の文ベクトルを、第１のデコーダモデルと第２のデコーダモデルにそれぞれ入力した後、対応する各文脈文の第１の識別子ｓj±q (i)の確率と、サンプル文における各単語の第２の識別子ｗjk (i)の確率とを得ることができる。さらに、得られた各文脈文の第１の識別子の確率と、サンプル文における各単語の第２の識別子の確率とを利用して、ターゲット関数の第１の項目

Figure 0007276712000007
 の値と、ターゲット関数の第２の項目

Figure 0007276712000008
 の値をそれぞれ得る。最後、得られた第１の項目の値と第２の項目の値との合計を求めると、ターゲット関数の値を得ることができ、ターゲット関数ｆ(ｊ)は、次の数式（１）として表されてもよい。

Figure 0007276712000009
本実施例の意味分析方法は、各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得ることにより、ターゲット関数の値を決定する。これによって、演算の複雑さが低減されることができる。
上記の実施例をより明確に説明するために、本願の実施例には、また別の意味分析方法が提供され、図３は、本願の実施例によって提供される、さらに１つの意味分析方法のフローチャート概略図である。
図３に示すように、この意味分析方法は、コンピュータデバイスに適用されており、次のステップを含む。即ち、
ステップ３０１で、対話フローにおける各サンプル文に対して、サンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、サンプル文の意味を表す文ベクトルを得る。
本願のいくつかの実施例では、エンコーダモデルは、畳み込みニューラルネットワークモデルを用いることができる。対話フローにおける各サンプル文に対して、サンプル文における各単語の単語ベクトルを畳み込みニューラルネットワークモデルに入力すると、畳み込みニューラルネットワークモデルにおける最後の層によって出力されたサンプル文の文ベクトルを得ることができる。
具体的には、サンプル文がｉ番目のグループの対話フロー中におけるｊ番目の文である場合、サンプル文のｋ番目の単語の単語ベクトルは、

Figure 0007276712000010
 として表され、ここで、ｗjk (i)は、サンプル文のｋ番目の単語の識別子であり、Ｅencoderは、畳み込みニューラルネットワークモデルの単語ベクトル行列である。サンプル文における各単語の単語ベクトルを畳み込みニューラルネットワークモデルに入力すると、このサンプル文の意味を表す文ベクトルｖj (i)を得ることができる。
畳み込みニューラルネットワークにおける畳み込みカーネル（すなわち、フィルタ）のサイズは、ｔ＊ｔ（通常、ｔの値は３である）である。畳み込みニューラルネットワークにおける各畳み込みカーネルの間で並列計算を行うことができるので、ｔ個のタイムステップの計算時間長が必要である。既存の技術において、エンコーダは、シリアル計算をしなければならないため、（文の長さ）個の時間ステップの計算時間長が必要であるということと比較して、エンコーダの処理時間長が短縮される。
ステップ３０２で、サンプル文の文ベクトルを、サンプル文の各文脈文に対応する第１のデコーダモデルにそれぞれ入力して、文脈文に対応する第１の識別子を得て、サンプル文の文ベクトルを、サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力して、単語に対応する第２の識別子を得る。
ステップ３０３で、各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定する。
説明すべきものとして、本実施例におけるステップ３０２およびステップ３０３に対する説明は、上述した実施例におけるステップ１０２およびステップ１０３に対する説明を参照してもよく、その実現原理は同様であるため、ここでは詳しく説明していない。
ステップ３０４で、ターゲット関数の値に基づいて、エンコーダモデルに対してパラメータトレーニングを行う。
本願のいくつかの実施例では、エンコーダモデルは、畳み込みニューラルネットワークモデルを用いて、第１のデコーダモデルと第２のデコーダモデルは、いずれもディープニューラルネットワークモデルを用いて、これによって、ターゲット関数の値に基づいて、エンコーダモデルに対してパラメータトレーニングを行う際に、主にターゲット関数の値に基づいて、エンコーダモデルにおける畳み込みニューラルネットワークモデルの単語ベクトル行列、畳み込みニューラルネットワークモデルの重み行列、畳み込みニューラルネットワークモデルのバイアスベクトルに対してパラメータトレーニングを行う。さらに、ターゲット関数の値に基づいて、第１のデコーダモデルと第２のデコーダモデルにおけるディープニューラルネットワークモデルの重み行列とディープニューラルネットワークモデルのバイアスベクトルに対してパラメータトレーニングを行うようにしてもよい。
説明すべきものとして、ディープニューラルネットワークモデルと畳み込みニューラルネットワークモデルが当業者によく知られているネットワークモデルであるため、冗長な説明を避けるために、本願の実施例には、畳み込みニューラルネットワークモデルとディープニューラルネットワークモデルの原理が特に説明されていない。
図４は、本発明の一実施例によって採用されるエンコーダ‐デコーダモデルの構成概略図である。図４に示すように、対話フロー中のいずれかのサンプル文における各単語の単語ベクトル

Figure 0007276712000011
 を畳み込みニューラルネットワークモデルに入力した後、そのサンプル文の文ベクトルｖj (i)を出力する。そして、このサンプル文の文ベクトルｖj (i)を、第１のデコーダモデルと第２のデコーダモデル（第１のデコーダモデルと第２のデコーダモデルは、いずれもディープニューラルネットワークモデルを用いる）にそれぞれ入力して、このサンプル文における各単語の第２の識別子ｗjk (i)と、このサンプル文の文脈文に対応する文の第１の識別子ｓj－q (i)、ｓj－1 (i)、ｓj+1 (i)、ｓj+q (i)などをそれぞれ得ることができ、各単語の第２の識別子ｗjk (i)の値と、各文脈文の第１の識別子ｓj±q (i)の値は、いずれも、モデルのトレーニング効果を監視および評価するように、ターゲット関数の値を計算するための監視情報として使用される。
ディープニューラルネットワークモデルを用いた各第１のデコーダモデルと第２のデコーダモデルの間で並列計算を行うことができ、かつ、各第２のデコーダモデルは文の識別子のみに対して予測を行うため、第２のデコーダモデルは、１つの時間ステップの計算時間長だけを必要とする。したがって、各グループの対話フローにおけるいずれか１つの文について、図４に示すようなエンコーダ‐デコーダモデルを用いると、（ｔ＋１）個の時間ステップの計算時間長だけを必要とし、ここで、ｔは、畳み込みニューラルネットワークモデルの畳み込みカーネルのサイズである。既存の技術における（サンプル文の長さ＋文脈文の中の最大の文の長さ）個の時間ステップの計算時間長と比較して、処理時間が短縮され、特に、文の長さや文の数が大きい場合、処理速度を高めて、処理時間が短縮され、処理効率を向上させる。
ステップ３０５で、ユーザ側で入力された質問をテスト文とする。
本願のいくつかの実施例では、ユーザ側は、ユーザ端末であってもよい。
ステップ３０６で、テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力し、テスト文の意味を表す文ベクトルを得る。
本実施例では、モデルのパラメータトレーニングが完了した後、ユーザがチャットロボットと対話したい場合、ユーザ側で入力された質問をテスト文とすることができ、例えば、ユーザが「ご飯を食べましたか？」を入力した場合、「ご飯を食べましたか？」という文をテスト文として、テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力し、さらに、このテスト文の意味を表す文ベクトルを得る。
ステップ３０７で、テスト文の文ベクトルに基づいて、質問ライブラリから予め記憶された質問をクエリし得る。
本実施例では、トレーニングによって得られたエンコーダモデルに基づいて、テスト文の文ベクトルを得た後、さらに、予め作成された質問ライブラリから、テスト文の文ベクトルの意味と同じまたは類似の予め記憶された質問を検索して、予め記憶された質問に基づいて、対応する回答を得ることができる。
ここで、質問ライブラリは予め作成されたものであり、取得された大量の対話フローに基づいて質問ライブラリを作成し、予め記憶された質問に対応する回答を対話フローから取得して質問ライブラリまたは対応する回答ライブラリに格納することができる。
ステップ３０８で、予め記憶された質問に対応する回答をユーザ側に送信する。
本実施例では、質問ライブラリからテスト文の文ベクトルと似たような予め記憶された質問がマッチングされた場合、さらに、予め記憶された質問に対応する回答を取得してユーザ側に送信する。さらに、予め記憶された質問に対応する複数の回答が取得される場合、複数の回答の中からランダムに１つの回答を選択してユーザ側に送信することができる。質問ライブラリから文ベクトルと似たような予め記憶された質問がマッチングされていない場合、関連技術を用いて意味分析を経てから、対応する回答を生成して、ユーザ側に送信することができる。
本実施例の意味分析方法は、畳み込みニューラルネットワークモデルをエンコーダモデルとして用いて、ディープニューラルネットワークモデルを第１のデコーダモデルと第２のデコーダモデルとして用いることにより、畳み込みニューラルネットワークモデルにおける各畳み込みカーネルの間で並列計算が可能となり、各第１のデコーダモデルと第２のデコーダモデルの間でも並列計算が可能となることで、処理速度を大幅に向上させ、処理時間を短縮し、処理効率を向上させることができる。ユーザ側で入力された質問をテスト文としてエンコーダモデルに入力することにより、テスト文の文ベクトルを得て、文ベクトルに基づいて質問ライブラリから文ベクトルと似たような予め記憶された質問をクエリし得て、予め記憶された質問に対応する回答をユーザ側に送信することで、ヒューマン・マシン・インタラクションの過程での回答と質問の間のマッチング度を向上させ、ユーザ体験を向上させることができる。
図５は、本願の実施例の意味分析方法が質問回答システムに適用されることの概略図である。図５に示すように、質問回答システムは、データ表示および受信モジュールと、類似質問推薦モジュールとを含む。類似質問推薦モジュールには類似質問判別モデルが含まれており、類似質問判別モデルには質問回答知識ライブラリも含まれている。ここで、質問回答知識ライブラリは、予め作成されたものであり、大量の対話フローが分析された後、いくつかの質問回答ペアを抽出することにより、質問回答知識ライブラリを構成している。個性的な質問について、例えば、「質問：おいくつですか？回答：今年は１８歳です。」「質問：ご飯を食べましたか？回答：夜の焼肉はとても美味しいです。」などの個性的な質問について、ユーザによって採用される問い合わせ方式は様々であるかもしれないが、どんな種類の問い合わせ方式であっても、質問によって表される意味は同じであり、本願の実施例の意味分析方法に基づいて、異なる問い合わせ方式での質問について、異なる質問をトレーニングされた符号化モデルに入力して、同じまたは類似した意味を表す文ベクトルを得ることができる。
図５に示すように、ユーザが質問回答システムに質問を提出する場合、ユーザによって提出された質問がデータ表示および受信モジュールに表示され、類似質問判別モデルに入力される。類似質問判別モデルは、まず、本願の実施例の意味分析方法を実行し、ユーザによって提出された質問の意味を表す文ベクトルを得て、得られた文ベクトルに基づいて、ユーザによって提出された質問と、予め作成された質問回答知識ライブラリにおける質問との間の類似度を分析して、ユーザによって提出された質問のために、意味と同じまたは類似の個性的な質問をマッチングする。質問回答知識ライブラリに存在しているある個性的な質問と、ユーザによって提出された質問との間の類似度が所定の閾値より高い場合、類似質問判別モデルは、このユーザの真実の意図がこの個性的な質問を問い合わせることであると判定する。さらに、類似質問推薦モジュールは、マッチングされた個性的な質問に基づいて、この個性的な質問に対応する少なくとも１つの回答からランダムに１つの回答を選択して、この回答をデータ表示および受信モジュールに送信し、データ表示および受信モジュールにより、その回答がユーザに表示される。
図５から分かるように、類似質問推薦モジュールは、回答生成モデルも含み、これにより、類似質問判別モデルが、クイズの知識ライブラリからユーザによって提出された質問の意味と同じまたは類似の個性的な質問をマッチングしていない場合、回答生成モデルに基づいて、ユーザによって提出された質問に対応する回答を生成し、生成された回答をデータ表示および受信モジュールにフィードバックして、その回答をユーザに表示する。
上述した実施例を実現するために、本願の実施例には、さらに、意味分析装置が提出されている。
図６は、本願の実施例によって提供される、１つの意味分析装置の構成概略図である。
図６に示すように、この意味分析装置６０は、符号化モジュール６１０と、復号化モジュール６２０と、生成モジュール６３０と、トレーニングモジュール６４０と、テストモジュール６５０とを含む。ここで、
符号化モジュール６１０は、対話フローにおける各サンプル文に対して、サンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、サンプル文の意味を表す文ベクトルを得る。
復号化モジュール６２０は、サンプル文の文ベクトルを、サンプル文の各文脈文に対応する第１のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子を得、サンプル文の文ベクトルを、サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力し、単語に対応する第２の識別子を得る。
生成モジュール６３０は、各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定し、ここで、ターゲット関数の値は、サンプル文の文ベクトルが意味を示す正確さを指示するために使用されるものである。
トレーニングモジュール６４０は、ターゲット関数の値に基づいて、エンコーダモデルに対してパラメータトレーニングを行う。
テストモジュール６５０は、テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力して、テスト文の意味を表す文ベクトルを得る。
さらに、本願のいくつかの実施例では、エンコーダモデルは、畳み込みニューラルネットワークモデルを用いて、第１のデコーダモデルと第２のデコーダモデルは、いずれもディープニューラルネットワークモデルを用いることができる。エンコーダモデルが畳み込みニューラルネットワークモデルを用いる場合、符号化モジュール６１０は、具体的に、サンプル文における各単語の単語ベクトルを畳み込みニューラルネットワークモデルに入力して、畳み込みニューラルネットワークモデルにおける最後の層によって出力されたサンプル文の文ベクトルを得るために使用される。
具体的には、ｉ番目のグループの対話フローについて、サンプル文がｉ番目のグループの対話フローにおけるｊ番目の文である場合、サンプル文のｋ番目の単語の単語ベクトルは、

Figure 0007276712000012
 として表されてよく、ここで、ｗjk (i)は、サンプル文のｋ番目の単語の識別子であり、Ｅencoderは、畳み込みニューラルネットワークモデルの単語ベクトル行列である。サンプル文における各単語の単語ベクトルを畳み込みニューラルネットワークモデルに入力すると、このサンプル文の意味を表す文ベクトルｖj (i)を得ることができる。
第１のデコーダモデルと第２のデコーダモデルがいずれもディープニューラルネットワークモデルを用いる場合、トレーニングモジュール６４０は、具体的に、ターゲット関数の値に基づいて、エンコーダモデルにおける畳み込みニューラルネットワークモデルの単語ベクトル行列、畳み込みニューラルネットワークモデルの重み行列、畳み込みニューラルネットワークモデルのバイアスベクトルに対してパラメータトレーニングを行い、および、ターゲット関数の値に基づいて、第１のデコーダモデルと第２のデコーダモデルにおけるディープニューラルネットワークモデルの重み行列とディープニューラルネットワークモデルのバイアスベクトルに対してパラメータトレーニングを行うために使用される。
さらに、本願のいくつかの実施例では、図７に示すように、図６に示す実施例を基にして、生成モジュール６３０は、
サンプル文がｉ番目のグループの対話フローにおけるｊ番目の文である場合、サンプル文の文ベクトルｖj (i)が入力された条件で、各第１のデコーダモデルによって出力された文脈文に対する第１の識別子ｓj±q (i)の確率に基づいて、ターゲット関数の第１の項目

Figure 0007276712000013
 の値を計算する第１の生成ユニット６３１であって、ここで、ｑ＝１，２，…Ｑであり、Ｎは、対話フローの総グループ数であり、Ｔは、ｉ番目のグループの対話フローに含まれる文の総数である第１の生成ユニット６３１と、
サンプル文の文ベクトルｖj (i)が入力された条件で、各第２のデコーダモデルによって出力されたサンプル文における単語に対応する第２の識別子ｗjk (i)の確率に基づいて、ターゲット関数の第２の項目

Figure 0007276712000014
 の値を計算する第２の生成ユニット６３２であって、ここで、Ｍは、サンプル文における単語の総数である第２の生成ユニット６３２と、
第１の項目の値と第２の項目の値との合計を求め、ターゲット関数の値を得る合計ユニット６３３と、を含む。
各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定することにより、演算の複雑さを低減することができる。
さらに、本願のいくつかの実施例では、図８に示すように、図６に示す実施例を基にして、この意味分析装置６０は、さらに、以下のモジュールを含んでもよい。
入力モジュール６６０は、ユーザ側で入力された質問をテスト文とする。
クエリモジュール６７０は、テスト文の意味を表す文ベクトルを得た後、テスト文の文ベクトルに基づいて、質問ライブラリから予め記憶された質問をクエリし得る。
送信モジュール６８０は、予め記憶された質問に対応する回答をユーザ側に送信する。
ユーザ側で入力された質問をテスト文としてエンコーダモデルに入力し、テスト文の文ベクトルを得て、この文ベクトルに基づいて、質問ライブラリから文ベクトルと似たような予め記憶された質問をクエリし得て、予め記憶された質問に対応する回答をユーザ側に送信することにより、ヒューマン・マシン・インタラクションの過程での回答と質問との間のマッチング度を向上させ、ユーザ体験を向上させることができる。
説明すべきものとして、上述した意味分析方法の実施例への説明は、本実施例の意味分析装置にも適用され、その実現原理が類似しているため、ここでは詳しく説明していない。
本実施例の意味分析装置は、対話フローにおけるサンプル文に対して、サンプル文における各単語の単語ベクトルを、エンコーダモデルに入力し、サンプル文の意味を表す文ベクトルを得、さらに、サンプル文の文ベクトルを、各文脈文に対応する第１のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子を得、サンプル文の文ベクトルを、サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力し、単語に対応する第２の識別子を得、各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定し、さらに、ターゲット関数の値に基づいて、エンコーダモデルに対してパラメータトレーニングを行い、テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力して、テスト文の意味を表す文ベクトルを得る。トレーニング過程では、第１のデコーダモデルは、文脈文の識別子を予測し得るために使用されるものであるため、１つの時間ステップの計算時間長だけが必要であり、文における各単語を予測し得る方式と比較して、トレーニング過程に必要な計算時間長が短くなり、（文の長さ）個の時間ステップから１つの時間ステップに短縮され、モデルトレーニングの長い時間による意味分析効率の低い技術課題が解決された。
上記の実施例を実現するために、本願の実施例には、コンピュータデバイスも提出されている。
図９は、本願の実施例によって提供される、コンピュータデバイスの構成概略図である。図９に示すように、このコンピュータデバイス９０は、メモリ９０１と、プロセッサ９０２と、メモリ９０１に記憶され、プロセッサ９０２で実行可能なコンピュータプログラム９０３とを含み、プロセッサ９０２がコンピュータプログラム９０３を実行する場合、前述の実施例で説明したような意味分析方法が実現される。
上記の実施例を実現するために、本願の実施例には、コンピュータプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体も提出されており、このプログラムがプロセッサによって実行される場合、前述の実施例で説明したような意味分析方法が実現される。
本明細書の説明では、参照用語「一実施例」、「いくつかの実施例」、「例」、「具体例」、または「いくつかの例」などの説明は、この実施例または例に関連して説明された具体的な特徴、構造、材料、または特徴が本願の少なくとも１つの実施例または例に含まれるということを意味する。本明細書では、上述の用語の概略的な説明は、同じ実施例または例を対象とする必要はない。さらに、説明された具体的な特徴、構造、材料または特徴は、任意の１つまたは複数の実施例や例において適切な方法で結合されてもよい。また、互いに矛盾しない場合、当業者は、本明細書に記載された異なる実施例または例、および、異なる実施例または例の特徴を結合および組合してもよい。
さらに、「第１」、「第２」という用語は、説明の目的だけに用いられ、相対的な重要性を示すもしくは暗示するか、または、示された技術的特徴の数を暗黙的に示すと理解すべきではない。したがって、「第１」、「第２」と限定された特徴は、少なくとも１つのこの特徴を明示または暗黙的に含むことができる。特に明確かつ具体的な限定がない限り、本願の実施例の説明では、「複数」の意味は、少なくとも２つ、例えば、２つ、３つなどである。
フローチャート内のまたはここでは他の方法で説明される任意の過程または方法の説明は、カスタマイズの論理機能または過程のステップを実現するための１つまたは複数の実行可能な命令を含むコードを表すモジュール、セグメントまたは部分と理解されてもよい、また、本発明の好ましい実施形態の範囲は、別の実施形態を含み、ここでは、機能は、図示または説明された順序で実行されなくてもよいし、関連する機能に応じて基本的に同時にまたは逆の順序で実行されることも含まれている。これは、本願の実施例が属する当業者によって理解されるべきである。
フローチャートに示され、または本明細書で他の方式で説明された論理および／またはステップは、例えば、論理機能を実現するための実行可能な命令のシーケンスリストとして考えられてもよく、命令実行システム、装置またはデバイス（例えばコンピュータに基づくシステム、プロセッサを含むシステム、または命令実行システム、装置またはデバイスから命令を取得し実行できる他のシステム）によって使用され、またはこれら命令実行システム、装置またはデバイスと組み合わせて使用されるように、任意のコンピュータ読み取り可能な媒体に具体的に実装されてもよい。本明細書について言えば、「コンピュータ読み取り可能な媒体」は、命令実行システム、装置、またはデバイスによって実行され、またはこれらの命令実行システム、装置、またはデバイスと組み合わせて使用されるように、プログラムを含む、記憶、通信、伝播または転送することができる任意の装置であってもよい。コンピュータ読み取り可能な媒体のより具体的な例（非網羅的なリスト）は、１つまたは複数の配線を有する電気接続部（電子機器）、携帯型コンピュータディスクボックス（磁気装置）、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能および編集可能な読み取り専用メモリ（ＥＰＲＯＭまたはフラッシュメモリ）、光ファイバ装置、および携帯型光ディスク読み取り専用メモリ（ＣＤＲＯＭ）を含む。また、コンピュータ読み取り可能な媒体は、例えば紙や他の媒体を光学的にスキャンし、続いて編集、解釈、または必要に応じて他の適切な方法で処理することで、電子的に前記プログラムを取得してコンピュータメモリに記憶することができるため、前記プログラムを印刷する紙または他の適切な媒体であってもよい。
本願の実施例の各部は、ハードウェア、ソフトウェア、ファームウェア、またはこれらの組み合わせによって実現されてもよいことを理解されたい。上記の実施形態では、複数のステップまたは方法は、メモリに格納され、適切な命令実行システムによって実行されるソフトウェアまたはファームウェアで実現されてもよい。例えば、ハードウェアで実現されると、他の実施形態と同様に、データ信号に論理機能を実現するための論理ゲート回路を有する離散論理回路、適切な組み合わせ論理ゲート回路を有する専用集積回路、プログラマブルゲートアレイ（ＰＧＡ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などのような本技術分野で公知されている技術のうちのいずれかまたはそれらの組み合わせで実現されることができる。
当業者は、上記実施例の方法によって携帯されるステップの全てまたは一部は、関連するハードウェアにプログラムによって指示することによって完了できるものであり、前記プログラムは、コンピュータ読み取り可能な記憶媒体に記憶されてもよく、このプログラムが実行される時に、方法の実施例のステップの１つまたはそれらの組み合わせを含む。
また、本願の各実施例における各機能ユニットは、１つの処理モジュールに統合されてもよく、各ユニットが個別に物理的に存在してもよいし、２つ以上のユニットが１つのモジュールに統合されてもよい。上記統合されたモジュールは、ハードウェアの形式で実現されてもよく、ソフトウェア機能モジュールの形式で実現されてもよい。前記統合されたモジュールが、ソフトウェア機能モジュールの形式で実現され、かつ、独立した製品として販売または使用される場合、１つのコンピュータ読み取り可能な記憶媒体に記憶されてもよい。
上述の記憶媒体は、読み取り専用メモリ、磁気ディスク、または光ディスクなどであってもよい。以上では、本願の実施例が示され、説明されているが、理解すべきものとして、上述の実施例は例示的であり、本願に対する制限として理解できないし、当業者は、本願の実施例の範囲内で、上記の実施例を変更、修正、置換、変形することができる。
10 コンピュータデバイス
11 意味分析装置
20 ユーザ端末
30 ネットワーク
90 コンピュータデバイス
610 符号化モジュール
620 復号化モジュール
630 生成モジュール
631 第１の生成ユニット
632 第２の生成ユニット
633 合計ユニット
640 トレーニングモジュール
650 テストモジュール
660 入力モジュール
670 クエリモジュール
680 送信モジュール
901 メモリ
902 プロセッサ
903 コンピュータプログラム

Claims (10)

  1. メモリとプロセッサとを含むコンピュータデバイスに適用されるリカレントニューラルネットワークを使用した意味分析方法であって、
    対話フローにおける各サンプル文に対して、前記サンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、前記サンプル文の意味を表す文ベクトルを得ることと、
    前記サンプル文の文ベクトルを、前記サンプル文の各文脈文に対応する第１のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子を得ることと、
    前記サンプル文の文ベクトルを、前記サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力し、単語に対応する第２の識別子を得ることと、
    各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定することであって、ここで、前記ターゲット関数の値は、前記第１の識別子に対応する確率と前記第２の識別子に対応する確率とを利用して決定され、前記ターゲット関数の値は、前記サンプル文の文ベクトルが意味を示す正確さを指示するために使用されるものであることと、
    前記ターゲット関数の値に基づいて、前記エンコーダモデルに対してパラメータトレーニングを行うことと、
    テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力して、前記テスト文の意味を表す文ベクトルを得ることと、
    を含み、
    前記エンコーダモデルに対してパラメータトレーニングを行うことは、前記ターゲット関数の値が最大化に達していない場合、前記エンコーダモデルのパラメータを調整して、再計算された第１の識別子の確率と再計算された第２の識別子の確率とに基づいてターゲット関数の値を再計算し、再計算されたターゲット関数の値が最大化に達するかどうかを判断することを含むことを特徴とする意味分析方法。
  2. 前記エンコーダモデルが畳み込みニューラルネットワークモデルを用いて、
    前記対話フローにおける各サンプル文に対して、前記サンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、前記サンプル文の意味を表す文ベクトルを得ることは、
    前記サンプル文における各単語の単語ベクトルを、前記畳み込みニューラルネットワークモデルに入力して、前記畳み込みニューラルネットワークモデルにおける最後の層によって出力された前記サンプル文の文ベクトルを得ることを含む、
    ことを特徴とする請求項１に記載の意味分析方法。
  3. 前記サンプル文がｉ番目のグループの対話フローにおけるｊ番目の文である場合、前記サンプル文のｋ番目の単語の単語ベクトルは、
    Figure 0007276712000015
     であり、ここで、ｗjk (i)は、前記サンプル文のｋ番目の単語の識別子であり、Ｅencoderは、前記畳み込みニューラルネットワークモデルの単語ベクトル行列である、
    ことを特徴とする請求項２に記載の意味分析方法。
  4. 前記第１のデコーダモデルと前記第２のデコーダモデルがいずれもディープニューラルネットワークモデルを用いて、
    前記ターゲット関数の値に基づいて、前記エンコーダモデルに対してパラメータトレーニングを行うことは、
    前記ターゲット関数の値に基づいて、前記エンコーダモデルにおける畳み込みニューラルネットワークモデルの単語ベクトル行列、畳み込みニューラルネットワークモデルの重み行列、畳み込みニューラルネットワークモデルのバイアスベクトルに対してパラメータトレーニングを行うことを含み、
    前記方法は、
    前記ターゲット関数の値に基づいて、前記第１のデコーダモデルと前記第２のデコーダモデルにおけるディープニューラルネットワークモデルの重み行列とディープニューラルネットワークモデルのバイアスベクトルに対してパラメータトレーニングを行うことをさらに含む、
    ことを特徴とする請求項２に記載の意味分析方法。
  5. 前記各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定することは、
    前記サンプル文がｉ番目のグループの対話フローにおけるｊ番目の文である場合、前記サンプル文の文ベクトルｖj (i)が入力された条件で、各第１のデコーダモデルによって出力された文脈文に対する第１の識別子ｓj±q (i)の確率に基づいて、前記ターゲット関数の第１の項目
    Figure 0007276712000016
     の値を計算することであって、ここで、ｑ＝１，２，…Ｑである、Ｎは、対話フローの総グループ数であり、Ｔは、ｉ番目のグループの対話フローに含まれる文の総数であることと、
    前記サンプル文の文ベクトルｖj (i)が入力された条件で、各第２のデコーダモデルによって出力された前記サンプル文における単語に対応する第２の識別子ｗjk (i)の確率に基づいて、前記ターゲット関数の第２の項目
    Figure 0007276712000017
     の値を計算することであって、ここで、Ｍは、前記サンプル文における単語の総数であることと、
    前記第１の項目の値と前記第２の項目の値との合計を求め、前記ターゲット関数の値を得ることとを含む、
    ことを特徴とする請求項１に記載の意味分析方法。
  6. 前記テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力して、前記テスト文の意味を表す文ベクトルを得る前に、さらに
    ユーザ側で入力された質問を前記テスト文とすることを含み、
    前記テスト文の意味を表す文ベクトルを得る後に、さらに、
    前記テスト文の文ベクトルに基づいて、質問ライブラリから予め記憶された質問をクエリし得ることと、
    前記予め記憶された質問に対応する回答を前記ユーザ側に送信することと、を含む、
    ことを特徴とする請求項１～５のいずれか１項に記載の意味分析方法。
  7. リカレントニューラルネットワークを使用した意味分析装置であって、
    対話フローにおける各サンプル文に対して、前記サンプル文における各単語の単語ベクトルをエンコーダモデルに入力し、前記サンプル文の意味を表す文ベクトルを得る符号化モジュールと、
    前記サンプル文の文ベクトルを、前記サンプル文の各文脈文に対応する第１のデコーダモデルにそれぞれ入力し、文脈文に対応する第１の識別子を得、前記サンプル文の文ベクトルを、前記サンプル文の各単語に対応する第２のデコーダモデルにそれぞれ入力し、単語に対応する第２の識別子を得る復号化モジュールと、
    各第１のデコーダモデルに基づいて、第１の識別子に対応する確率を得、および、各第２のデコーダモデルに基づいて、第２の識別子に対応する確率を得て、ターゲット関数の値を決定する生成モジュールであって、ここで、前記ターゲット関数の値は、前記第１の識別子に対応する確率と前記第２の識別子に対応する確率とを利用して決定され、前記ターゲット関数の値は、前記サンプル文の文ベクトルが意味を示す正確さを指示するために使用されるものである生成モジュールと、
    前記ターゲット関数の値に基づいて、前記エンコーダモデルに対してパラメータトレーニングを行うトレーニングモジュールと、
    テスト文における各単語の単語ベクトルを、トレーニングされたエンコーダモデルに入力して、前記テスト文の意味を表す文ベクトルを得るテストモジュールと、
    を含み、
    前記エンコーダモデルに対してパラメータトレーニングを行うことは、前記ターゲット関数の値が最大化に達していない場合、前記エンコーダモデルのパラメータを調整して、再計算された第１の識別子の確率と再計算された第２の識別子の確率とに基づいてターゲット関数の値を再計算し、再計算されたターゲット関数の値が最大化に達するかどうかを判断することを含むことを特徴とする意味分析装置。
  8. 前記エンコーダモデルが畳み込みニューラルネットワークモデルを用いて、
    前記符号化モジュールは、前記サンプル文における各単語の単語ベクトルを、前記畳み込みニューラルネットワークモデルに入力して、前記畳み込みニューラルネットワークモデルにおける最後の層によって出力された前記サンプル文の文ベクトルを得る、
    ことを特徴とする請求項７に記載の意味分析装置。
  9. メモリと、プロセッサと、メモリに記憶され、プロセッサで実行可能なコンピュータプログラムとを含むコンピュータデバイスであって、
    前記プロセッサが前記プログラムを実行する場合、請求項１～６のいずれか１項に記載の意味分析方法が実現される、
    ことを特徴とするコンピュータデバイス。
  10. コンピュータプログラムが記憶されている非一時的なコンピュータ読み取り可能な記憶媒体であって、
    前記プログラムがプロセッサによって実行される場合、請求項１～６のいずれか１項に記載の意味分析方法が実現される、
    ことを特徴とする非一時的なコンピュータ読み取り可能な記憶媒体。
JP2019567303A 2017-10-10 2018-10-09 意味分析方法、装置、および記憶媒体 Active JP7276712B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201710936211.X 2017-10-10
CN201710936211.XA CN108509411B (zh) 2017-10-10 2017-10-10 语义分析方法和装置
PCT/CN2018/109471 WO2019072166A1 (zh) 2017-10-10 2018-10-09 语义分析方法、装置和存储介质

Publications (2)

Publication Number Publication Date
JP2020522817A JP2020522817A (ja) 2020-07-30
JP7276712B2 true JP7276712B2 (ja) 2023-05-18

Family

ID=63375263

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019567303A Active JP7276712B2 (ja) 2017-10-10 2018-10-09 意味分析方法、装置、および記憶媒体

Country Status (4)

Country Link
US (1) US11366970B2 (ja)
JP (1) JP7276712B2 (ja)
CN (1) CN108509411B (ja)
WO (1) WO2019072166A1 (ja)

Families Citing this family (76)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108509411B (zh) * 2017-10-10 2021-05-11 腾讯科技（深圳）有限公司 语义分析方法和装置
GB2568233A (en) * 2017-10-27 2019-05-15 Babylon Partners Ltd A computer implemented determination method and system
CN110895559B (zh) * 2018-09-12 2023-06-20 阿里巴巴集团控股有限公司 模型训练、文本处理方法、装置以及设备
CN109460549A (zh) * 2018-10-12 2019-03-12 北京奔影网络科技有限公司 语义向量的处理方法及装置
CN109493931B (zh) * 2018-10-25 2024-06-04 平安科技（深圳）有限公司 一种病历文件的编码方法、服务器及计算机可读存储介质
CN111177328B (zh) * 2018-11-12 2023-04-28 阿里巴巴集团控股有限公司 问答匹配系统和方法及问答处理设备和介质
US10929392B1 (en) * 2018-11-16 2021-02-23 Amazon Technologies, Inc. Artificial intelligence system for automated generation of realistic question and answer pairs
CN109582970B (zh) * 2018-12-12 2023-05-30 科大讯飞华南人工智能研究院（广州）有限公司 一种语义度量方法、装置、设备及可读存储介质
CN111435449B (zh) * 2018-12-26 2024-04-02 深圳市优必选科技有限公司 模型的自训练方法、装置、计算机设备及存储介质
CN109874029B (zh) * 2019-04-22 2021-02-12 腾讯科技（深圳）有限公司 视频描述生成方法、装置、设备及存储介质
CN111414464B (zh) * 2019-05-27 2023-04-07 腾讯科技（深圳）有限公司 一种问题生成方法、装置、设备及存储介质
CN110197279B (zh) * 2019-06-10 2021-01-29 北京百度网讯科技有限公司 变换模型训练方法、装置、设备和存储介质
CN110223675B (zh) * 2019-06-13 2022-04-19 思必驰科技股份有限公司 用于语音识别的训练文本数据的筛选方法及系统
CN110222164B (zh) * 2019-06-13 2022-11-29 腾讯科技（深圳）有限公司 一种问答模型训练方法、问题语句处理方法、装置及存储介质
CN110502620B (zh) * 2019-07-02 2023-05-30 平安科技（深圳）有限公司 导诊相似问题对生成方法、系统及计算机设备
CN110377740B (zh) * 2019-07-22 2022-05-20 腾讯科技（深圳）有限公司 情感极性分析方法、装置、电子设备及存储介质
KR20190096853A (ko) * 2019-07-30 2019-08-20 엘지전자 주식회사 음성 처리 방법 및 음성 처리 장치
CN110597086B (zh) * 2019-08-19 2023-01-13 深圳元戎启行科技有限公司 仿真场景生成方法、无人驾驶系统测试方法以及装置
CN110633360B (zh) * 2019-09-16 2023-06-20 腾讯科技（上海）有限公司 一种语义匹配的方法以及相关装置
CN110674260B (zh) * 2019-09-27 2022-05-24 北京百度网讯科技有限公司 语义相似模型的训练方法、装置、电子设备和存储介质
CN110795913B (zh) * 2019-09-30 2024-04-12 北京大米科技有限公司 一种文本编码方法、装置、存储介质及终端
CN111104799B (zh) * 2019-10-16 2023-07-21 中国平安人寿保险股份有限公司 文本信息表征方法、系统及计算机设备、存储介质
US11620343B2 (en) * 2019-11-29 2023-04-04 42Maru Inc. Method and apparatus for question-answering using a database consist of query vectors
CN111178082A (zh) * 2019-12-05 2020-05-19 北京葡萄智学科技有限公司 一种句向量生成方法、装置及电子设备
CN111274389B (zh) * 2020-01-14 2023-10-24 北京小米松果电子有限公司 一种信息处理方法、装置、计算机设备及存储介质
CN111368554B (zh) * 2020-03-13 2023-07-28 深圳追一科技有限公司 语句处理方法、装置、计算机设备和存储介质
CN111382563B (zh) * 2020-03-20 2023-09-08 腾讯科技（深圳）有限公司 文本相关性的确定方法及装置
CN111460832B (zh) * 2020-03-27 2023-11-24 北京百度网讯科技有限公司 对象编码的方法、装置、系统、设备及计算机存储介质
CN111858911A (zh) * 2020-04-21 2020-10-30 北京嘀嘀无限科技发展有限公司 工单描述信息的生成方法、装置、电子设备及存储介质
CN111581361B (zh) * 2020-04-22 2023-09-15 腾讯科技（深圳）有限公司 一种意图识别方法及装置
JP7276752B2 (ja) * 2020-04-28 2023-05-18 株式会社Ａｓｋプロジェクト 自然言語処理装置及び自然言語処理方法
CN111626059B (zh) * 2020-04-30 2022-07-26 联想(北京)有限公司 一种信息处理方法及装置
WO2021235225A1 (ja) * 2020-05-21 2021-11-25 ソニーグループ株式会社 情報処理装置及び情報処理方法
CN111523301B (zh) * 2020-06-05 2023-05-05 泰康保险集团股份有限公司 合同文档合规性检查方法及装置
CN111723185B (zh) * 2020-06-19 2022-07-08 思必驰科技股份有限公司 问题生成方法
CN111737989A (zh) * 2020-06-24 2020-10-02 深圳前海微众银行股份有限公司 一种意图识别方法、装置、设备及存储介质
CN111738017A (zh) * 2020-06-24 2020-10-02 深圳前海微众银行股份有限公司 一种意图识别方法、装置、设备及存储介质
CN111737999A (zh) * 2020-06-24 2020-10-02 深圳前海微众银行股份有限公司 一种序列标注方法、装置、设备及可读存储介质
CN111539225B (zh) * 2020-06-25 2023-07-21 北京百度网讯科技有限公司 语义理解框架结构的搜索方法和装置
CN111783423A (zh) * 2020-07-09 2020-10-16 北京猿力未来科技有限公司 解题模型的训练方法及装置、解题方法及装置
CN111832282B (zh) * 2020-07-16 2023-04-14 平安科技（深圳）有限公司 融合外部知识的bert模型的微调方法、装置及计算机设备
CN111858899B (zh) * 2020-07-31 2023-09-15 中国工商银行股份有限公司 语句处理方法、装置、系统和介质
CN111783429B (zh) * 2020-07-31 2024-06-07 腾讯科技（深圳）有限公司 信息处理方法、装置、电子设备以及存储介质
CN111897929B (zh) * 2020-08-04 2021-05-14 腾讯科技（深圳）有限公司 多轮问句的处理方法和装置、存储介质及电子设备
CN111914067B (zh) * 2020-08-19 2022-07-08 思必驰科技股份有限公司 中文文本匹配方法及系统
CN112214993B (zh) * 2020-09-03 2024-02-06 拓尔思信息技术股份有限公司 基于图神经网络的文档处理方法、装置和存储介质
CN112131368B (zh) * 2020-09-27 2024-02-09 深圳平安智慧医健科技有限公司 对话生成方法、装置、电子设备及存储介质
CN112380874B (zh) * 2020-10-10 2023-07-18 华南理工大学 一种基于图卷积网络的多人对话语篇分析方法
CN112232084A (zh) * 2020-10-15 2021-01-15 中国科学院自动化研究所 神经语义编解码分析方法及系统
CN112395857A (zh) * 2020-11-13 2021-02-23 平安科技（深圳）有限公司 基于对话系统的语音文本处理方法、装置、设备及介质
CN112434514B (zh) * 2020-11-25 2022-06-21 重庆邮电大学 基于多粒度多通道的神经网络的语义匹配方法、装置及计算机设备
CN112597759B (zh) * 2020-11-30 2024-04-09 深延科技(北京)有限公司 一种基于文本的情绪检测方法和装置、计算机设备和介质
CN113761145A (zh) * 2020-12-11 2021-12-07 北京沃东天骏信息技术有限公司 语言模型训练方法、语言处理方法和电子设备
CN112507081B (zh) * 2020-12-16 2023-05-23 平安科技（深圳）有限公司 相似句匹配方法、装置、计算机设备及存储介质
CN112612890A (zh) * 2020-12-28 2021-04-06 交控科技股份有限公司 轨道车辆的故障识别方法及装置
CN112906398B (zh) * 2021-01-14 2024-05-14 合肥工业大学 句子语义匹配方法、系统、存储介质和电子设备
CN113051930B (zh) * 2021-03-25 2023-04-14 华润数字科技有限公司 基于Bert模型的意图识别方法、装置及相关设备
CN113158691B (zh) * 2021-04-15 2023-02-28 清华大学 基于混合知识管理的对话方法、装置和电子设备
CN113255372B (zh) * 2021-05-17 2024-06-14 北京小米移动软件有限公司 信息生成方法及装置、电子设备及存储介质
CN113254616B (zh) * 2021-06-07 2021-10-19 佰聆数据股份有限公司 面向智能问答系统的句向量生成方法及系统
CN113268578B (zh) * 2021-06-24 2023-08-29 中国平安人寿保险股份有限公司 文本语义的识别方法、装置、计算机设备及存储介质
CN113505206B (zh) * 2021-07-01 2023-04-18 北京有竹居网络技术有限公司 基于自然语言推理的信息处理方法、装置和电子设备
CN113609280B (zh) * 2021-08-05 2023-10-13 云南大学 基于元学习的多领域对话生成方法、装置、设备及介质
CN113590798B (zh) * 2021-08-09 2024-03-26 北京达佳互联信息技术有限公司 对话意图识别、用于识别对话意图的模型的训练方法
CN113806480A (zh) * 2021-09-16 2021-12-17 浙江核新同花顺网络信息股份有限公司 一种文本分类方法、装置、计算机设备及存储介质
US11823666B2 (en) * 2021-10-04 2023-11-21 International Business Machines Corporation Automatic measurement of semantic similarity of conversations
CN114036272A (zh) * 2021-10-29 2022-02-11 厦门快商通科技股份有限公司 一种对话系统语义分析方法、系统、电子装置及存储介质
CN114201956B (zh) * 2021-12-02 2024-07-05 北京国瑞数智技术有限公司 工业互联网的安全防护方法和系统
CN114564562B (zh) * 2022-02-22 2024-05-14 平安科技（深圳）有限公司 基于答案指导的题目生成方法、装置、设备及存储介质
CN114817502B (zh) * 2022-04-24 2023-04-21 山东翰林科技有限公司 一种基于异质信息融合的智能运维机器人构建方法及装置
US20240118993A1 (en) 2022-10-11 2024-04-11 Wevo, Inc. Scalable systems and methods for curating user experience test results
US20240144107A1 (en) 2022-11-02 2024-05-02 Wevo, Inc. Scalable systems and methods for discovering and documenting user expectations
US20240144297A1 (en) * 2022-11-02 2024-05-02 Wevo, Inc. Artificial intelligence based theme builder for processing user expectations
CN115438674B (zh) * 2022-11-08 2023-03-24 腾讯科技（深圳）有限公司 实体数据处理、实体链接方法、装置和计算机设备
CN116488748B (zh) * 2023-05-04 2024-02-27 山东大学 一种对抗不匹配背景知识库的收发机协同学习的语义通信方法、系统、设备及存储介质
CN117473879B (zh) * 2023-12-27 2024-04-02 万物镜像(北京)计算机系统有限公司 一种自动驾驶仿真场景的生成方法、装置及设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094911A1 (en) 2015-12-04 2017-06-08 Mitsubishi Electric Corporation Method for processing utterances
CN106980683A (zh) 2017-03-30 2017-07-25 中国科学技术大学苏州研究院 基于深度学习的博客文本摘要生成方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387430B2 (en) * 2015-02-26 2019-08-20 International Business Machines Corporation Geometry-directed active question selection for question answering systems
CN106484681B (zh) * 2015-08-25 2019-07-09 阿里巴巴集团控股有限公司 一种生成候选译文的方法、装置及电子设备
US10504010B2 (en) * 2015-10-02 2019-12-10 Baidu Usa Llc Systems and methods for fast novel visual concept learning from sentence descriptions of images
CN106815252B (zh) * 2015-12-01 2020-08-25 阿里巴巴集团控股有限公司 一种搜索方法和设备
US10157203B2 (en) * 2016-03-15 2018-12-18 International Business Machines Corporation Question transformation in question answer systems
CN107220231A (zh) * 2016-03-22 2017-09-29 索尼公司 用于自然语言处理的电子设备和方法以及训练方法
US10388274B1 (en) * 2016-03-31 2019-08-20 Amazon Technologies, Inc. Confidence checking for speech processing and query answering
US20170286376A1 (en) * 2016-03-31 2017-10-05 Jonathan Mugan Checking Grammar Using an Encoder and Decoder
CN106126507B (zh) * 2016-06-22 2019-08-09 哈尔滨工业大学深圳研究生院 一种基于字符编码的深度神经翻译方法及系统
KR102565274B1 (ko) * 2016-07-07 2023-08-09 삼성전자주식회사 자동 통역 방법 및 장치, 및 기계 번역 방법 및 장치
KR102565275B1 (ko) * 2016-08-10 2023-08-09 삼성전자주식회사 병렬 처리에 기초한 번역 방법 및 장치
CN106326212B (zh) * 2016-08-26 2019-04-16 北京理工大学 一种基于层次深度语义的隐式篇章关系分析方法
CN106649786B (zh) 2016-12-28 2020-04-07 北京百度网讯科技有限公司 基于深度问答的答案检索方法及装置
CN106897263A (zh) * 2016-12-29 2017-06-27 北京光年无限科技有限公司 基于深度学习的机器人对话交互方法及装置
CN108509463B (zh) * 2017-02-28 2022-03-29 华为技术有限公司 一种问题的应答方法及装置
KR101853091B1 (ko) * 2017-05-19 2018-04-27 (주)뤼이드 기계학습이 적용된 사용자 답변 예측 프레임워크를 통한 개인 맞춤형 교육 컨텐츠 제공 방법, 장치 및 컴퓨터 프로그램
WO2018212397A1 (ko) * 2017-05-19 2018-11-22 주식회사 뤼이드 시험 점수를 추정하는 방법, 장치 및 컴퓨터 프로그램
CN107402954B (zh) * 2017-05-26 2020-07-10 百度在线网络技术（北京）有限公司 建立排序模型的方法、基于该模型的应用方法和装置
US10255273B2 (en) * 2017-06-15 2019-04-09 Microsoft Technology Licensing, Llc Method and system for ranking and summarizing natural language passages
US11243944B2 (en) * 2017-06-29 2022-02-08 Futurewei Technologies, Inc. Dynamic semantic networks for language understanding and question answering
KR20190019748A (ko) * 2017-08-18 2019-02-27 삼성전자주식회사 자연어 생성 방법 및 장치
CN108509411B (zh) * 2017-10-10 2021-05-11 腾讯科技（深圳）有限公司 语义分析方法和装置
US11809602B2 (en) * 2020-09-02 2023-11-07 International Business Machines Corporation Privacy verification for electronic communications

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017094911A1 (en) 2015-12-04 2017-06-08 Mitsubishi Electric Corporation Method for processing utterances
CN106980683A (zh) 2017-03-30 2017-07-25 中国科学技术大学苏州研究院 基于深度学习的博客文本摘要生成方法

Also Published As

Publication number Publication date
US11366970B2 (en) 2022-06-21
US20200065389A1 (en) 2020-02-27
JP2020522817A (ja) 2020-07-30
CN108509411B (zh) 2021-05-11
WO2019072166A1 (zh) 2019-04-18
CN108509411A (zh) 2018-09-07

Similar Documents

Publication Publication Date Title
JP7276712B2 (ja) 意味分析方法、装置、および記憶媒体
US11829874B2 (en) Neural architecture search
KR102589303B1 (ko) 고정 소수점 타입의 뉴럴 네트워크를 생성하는 방법 및 장치
KR102071582B1 (ko) 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 문장이 속하는 클래스(class)를 분류하는 방법 및 장치
US11138385B2 (en) Method and apparatus for determining semantic matching degree
US10726325B2 (en) Facilitating machine-learning and data analysis by computing user-session representation vectors
US10373047B2 (en) Deep convolutional neural networks for automated scoring of constructed responses
KR20190125141A (ko) 뉴럴 네트워크의 파라미터들을 양자화하는 방법 및 장치
CN110287337A (zh) 基于深度学习和知识图谱获取医学同义词的系统及方法
CN111382573A (zh) 用于答案质量评估的方法、装置、设备和存储介质
US20190295688A1 (en) Processing biological sequences using neural networks
KR20210091671A (ko) 의료 사실의 검증 방법 및 장치
CN112115246A (zh) 基于对话的内容推荐方法、装置、计算机设备及存储介质
JP2023518220A (ja) 多様なテキストを自動的に生成する方法
KR20210113336A (ko) 머신 러닝에 기반한 타깃 객체 속성 예측 방법 및 관련 디바이스
EP3726435A1 (en) Deep neural network training method and apparatus, and computer device
CN113129908B (zh) 基于循环帧级特征融合的端到端猕猴声纹验证方法及系统
EP4115339A1 (en) Deterministic decoder variational autoencoder
CN110046279A (zh) 视频文件特征的预测方法、介质、装置和计算设备
WO2022271528A1 (en) Explainable artificial intelligence in computing environment
EP4298556A1 (en) Granular neural network architecture search over low-level primitives
Best et al. Deep audio embeddings for vocalisation clustering
US20220180206A1 (en) Knowledge distillation using deep clustering
US10810994B2 (en) Conversational optimization of cognitive models
KR102117908B1 (ko) 기계학습 모델링을 위한 신규 학습 콘텐츠 분석 방법, 장치 및 컴퓨터 프로그램

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20191205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210222

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20210921

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220121

C60 Trial request (containing other claim documents, opposition documents)

Free format text: JAPANESE INTERMEDIATE CODE: C60

Effective date: 20220121

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20220128

C21 Notice of transfer of a case for reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C21

Effective date: 20220131

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20220325

C211 Notice of termination of reconsideration by examiners before appeal proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C211

Effective date: 20220404

C22 Notice of designation (change) of administrative judge

Free format text: JAPANESE INTERMEDIATE CODE: C22

Effective date: 20220606

C23 Notice of termination of proceedings

Free format text: JAPANESE INTERMEDIATE CODE: C23

Effective date: 20230306

C03 Trial/appeal decision taken

Free format text: JAPANESE INTERMEDIATE CODE: C03

Effective date: 20230403

C30A Notification sent

Free format text: JAPANESE INTERMEDIATE CODE: C3012

Effective date: 20230403

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230420

R150 Certificate of patent or registration of utility model

Ref document number: 7276712

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150