JP7139626B2 - フレーズ生成関係性推定モデル学習装置、フレーズ生成装置、方法、及びプログラム - Google Patents
フレーズ生成関係性推定モデル学習装置、フレーズ生成装置、方法、及びプログラム Download PDFInfo
- Publication number
- JP7139626B2 JP7139626B2 JP2018038055A JP2018038055A JP7139626B2 JP 7139626 B2 JP7139626 B2 JP 7139626B2 JP 2018038055 A JP2018038055 A JP 2018038055A JP 2018038055 A JP2018038055 A JP 2018038055A JP 7139626 B2 JP7139626 B2 JP 7139626B2
- Authority
- JP
- Japan
- Prior art keywords
- phrase
- relationship
- label
- vector
- encoder
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/20—Natural language analysis
- G06F40/279—Recognition of textual entities
- G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
- G06F16/38—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/383—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/40—Processing or translation of natural language
- G06F40/58—Use of machine translation, e.g. for multi-lingual retrieval, for server-side translation for client devices or for real-time translation
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Artificial Intelligence (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Library & Information Science (AREA)
- Machine Translation (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
非特許文献1は、コーパスを入力とし、述語項構造の共起情報と節間関係の分布を用いて、前記3つ組を事態間関係知識として獲得するものである。
<本発明の第1の実施の形態の概要>
関係性推定では、2つのテキストとその間の関係性を表す接続表現又は関係ラベルであるラベルからなる3つ組{フレーズ1、フレーズ2、ラベル}が入力として与えられた際に、3つの組み合わせの信頼度スコア(以下関係スコア)を出力する。
ここで、接続表現とは、「ので」など、文中における、関係を表す表現そのものであり、関係ラベルとは、「理由」「結果」など、関係を表すラベルであり、接続表現の持つ意味を抽象化したものである。ラベルとは、接続表現や、関係ラベルを含む上位概念であり、「ので」「理由」などのラベルデータのことである。
なお、本実施の形態では、3つ組に含まれる、2つのテキスト間の関係性を表すラベルとして、接続表現そのものを用いる場合を例に説明する。
図2に示すように、h、t、rを連結し、多層パーセプトロンなどを用いて、1次元の出力値である関係スコアscore(h,t,r)を出力する。
図3に示すように、hとrを連結し、多層パーセプトロンなどを用いて、r次元のベクトルE_hrを出力し、tから、多層パーセプトロンなどを用いて、r次元のベクトルE_tを出力し、E_hrとE_tの近さで関係スコアを計算する。両ベクトルの近さは、例えばコサイン類似度等を用いればよい。
次に、本発明の第1の実施の形態に係る関係性推定モデル学習装置の構成について説明する。図4に示すように、本発明の実施の形態に係る関係性推定モデル学習装置150は、CPUと、RAMと、後述する関係性推定モデル学習処理ルーチンを実行するためのプログラムや各種データを記憶したROMと、を含むコンピュータで構成することが出来る。この関係性推定モデル学習装置150は、機能的には図4に示すように入力部50と、演算部60と、出力部90とを備えている。
買い換える
xxx7に買い換える
xxx5を換える
{携帯電話が壊れる、xxx7に買い換える、ので}
{携帯電話が壊れる、xxx5を買い換える、ので}
図8(B)に示すように、接続表現データベース73に、接続表現と接続表現が表す関係性を示す関係ラベルが予め登録されているものとする。
{携帯電話が壊れる、xxx7に買い換える、原因}
{携帯電話が壊れる、xxx5を買い換える、原因}
人手により、接続表現を関係ラベルに変換したもの{フレーズ1、フレーズ2、関係ラベル}、抽出方法2の{フレーズ1、フレーズ2、関係ラベル}を合わせて出力する。最終的に出力されるラベルの種類はM通りとなる。
人手により、接続表現を関係ラベルに変換したもの{フレーズ1、フレーズ2、関係ラベル}と、抽出方法1の{フレーズ1、フレーズ2、接続表現}を合わせて出力する。最終的に出力されるラベルの種類はN+M通りとなる。
上記の関係スコア計算方法1に対応して、以下の式で損失計算を行う。
上記の関係スコア計算方法2に対応して、以下の式で損失計算を行う。
次に、本発明の第1の実施の形態に係る関係性推定モデル学習装置150の作用について説明する。入力部50において入力テキストを受け付けると、関係性推定モデル学習装置150は、図9に示す関係性推定モデル学習処理ルーチンを実行する。
次に、本発明の第1の実施の形態に係る関係性推定装置100の作用について説明する。関係性推定モデル学習装置150によって予め学習された関係性推定モデルが関係性推定装置100に入力されると、関係性推定装置100は、関係性推定モデルを記憶部22へ格納する。そして、入力部10が、推定対象の3つ組{フレーズ1、フレーズ2、ラベル}を受け付けると、関係性推定装置100は、図10に示す関係性推定処理ルーチンを実行する。
<本発明の第2の実施の形態の原理>
まず、入力フレーズに対して関係性を有するフレーズを生成するモデルについて説明する。本実施の形態では、フレーズを生成するためにニューラルネットワークにおけるアテンションベースのEncoder-decoderモデルを、フレーズ生成モデルとして用いる(図11参照)。さらに、従来のアテンションベースのEncoder-decoderモデルに加えて関係ラベルの情報を考慮する点が従来のモデルと異なる。Encoder-decoderモデルは、テキストに対応する情報を中間状態(ベクトルの系列。以降、中間出力ともいう。)に変換する機能を担うニューラルネットワーク(これを「エンコーダ」という)と、中間出力をテキストに変換する機能を担うニューラルネットワーク(これを「デコーダ」という)とから構成されるニューラルネットワークである。デコーダでは、ラベルr を各時刻の入力として用いている。
、出力フレーズの単語ベクトル系列を
とすると、Yの出力確率は下記のように定式化できる。
vrはラベルに対応する所定次元のベクトルである。ラベルは、例えば以下のようにベクトルに変換する。
1.ラベルの種類をMとし、各ラベルに1からMまでの番号を割り当てる。
2. ベクトルvrは、当該ラベルに割り当てられた番号の要素が1で、それ以外の要素が0となるM次元のone-hotベクトルrに対し、ニューラルネットワークのパラメータ行列を用いて重みづけを行ったものとなる。
上記のように、単語やラベルをニューラルネットワーク内で用いるベクトル表現に変換する際のニューラルネットワークのパラメータを、以降embeddingと呼ぶ。
ctはattention で重みづけられた入力側のコンテキストベクトル、st はLSTM の隠れ層の中間出力を表す。上記に示すように、デコーダの入力としてvr を結合して用いている。このような方法でデコーダ側に追加情報としてラベルを入力する方法については非特許文献4などでも類似の手法が提案されているが、フレーズを生成するために本構成のようなモデルを提案している既存手法は存在しない。パラメータθはニューラルネットワークの学習可能なパラメータの集合を表し、学習によって求められる。
次に、本発明の第2の実施の形態に係るフレーズ生成装置の構成について説明する。図12に示すように、本発明の第2の実施の形態に係るフレーズ生成装置200は、CPUと、RAMと、後述するフレーズ生成処理ルーチンを実行するためのプログラムや各種データを記憶したROMと、を含むコンピュータで構成することが出来る。このフレーズ生成装置200は、機能的には図12に示すように入力部210と、演算部220と、出力部240とを備えている。
次に、本発明の第2の実施の形態に係るフレーズ生成モデル学習装置の構成について説明する。なお、フレーズ生成モデル学習装置の構成は、第1の実施の形態に係る関係性推定モデル学習装置150と同様の構成であるため、同一符号を付して説明を省略する。
2つ組{勉強する、ために’}→テストを受ける
次に、本発明の第2の実施の形態に係るフレーズ生成モデル学習装置の作用について説明する。入力部50において入力テキストを受け付けると、フレーズ生成モデル学習装置は、上記図9に示す関係性推定モデル学習処理ルーチンと同様の処理ルーチンを実行し、生成された3つ組{フレーズ1、フレーズ2、ラベル}から得られる、2つ組{フレーズ1、ラベル}→フレーズ2、2つ組{フレーズ2、ラベル’}→フレーズ1を、学習における正解データとして用い、フレーズ生成モデルの学習を行う。
次に、本発明の第2の実施の形態に係るフレーズ生成装置200の作用について説明する。フレーズ生成モデル学習装置によって予め学習されたフレーズ生成モデルがフレーズ生成装置200に入力されると、フレーズ生成装置200は、フレーズ生成モデルを記憶部222へ格納する。そして、入力部210が、推定対象の2つ組{フレーズ1、ラベル}を受け付けると、フレーズ生成装置200は、図13に示すフレーズ生成処理ルーチンを実行する。
<本発明の第3の実施の形態の原理>
本発明の第3の実施の形態では、図14に示すような関係性推定モデルとフレーズ生成モデルを同時に学習する。具体的には、入力フレーズを単語ベクトル系列に、ラベルをベクトルに変換するためのembeddingと、単語ベクトル系列からフレーズのベクトルに変換するためのLSTMとを、関係性推定モデルとフレーズ生成モデルとで共有する。それぞれの具体的な構成を下記に示す。
まず、第3の実施の形態における関係性推定モデルについて説明する。
はt1、t2 を結合した単語列のベクトル表現、
はラベルrのベクトル表現を表す。g は非線形関数を表し、上記非特許文献2ではReLU を用いる。最終層のスコアは1次元の出力とする。これらは、任意の3つ組が与えられた時その3つ組が正しい組み合わせか否かを判別するモデルと考えることができる。
<損失関数>
本実施の形態では、関係性推定モデル及びフレーズ生成モデルの損失関数を同時に考慮しながら学習を行う。具体的には、下記の式に示す損失関数を用いて学習を行う。
Binary cross entropy を用いて2値分類モデルの学習を行う場合、負例を用意する必要がある。本実施の形態では、上記非特許文献2の研究で最も精度が良かったランダムサンプリングを用いて負例の生成を行う。具体的には、それぞれの正例3つ組データτ={t1,t2,r}に対して、t1、t2、r を1つずつランダムに置き換えたデータτneg1{t1’,t2,r}、τneg2 ={t1,t2,r’}、τneg3 ={t1,t2’,r}を生成する。ランダムにサンプリングされるt’,t2’ はそれぞれ学習時に出現した候補からサンプリングされ、r’は全ラベル候補の中からサンプリングされる。従って、学習中は、正例1つにつき3個の負例をサンプリングしながら学習を行う。ただし、負例は関係性推定モデルのみに用いる。フレーズ生成モデルは正しい3つ組から学習を行いたいため、正例の3つ組のみから学習を行う。
次に、本発明の第3の実施の形態に係るフレーズ生成関係性推定モデル学習装置の構成について説明する。なお、フレーズ生成関係性推定モデル学習装置の構成は、第1の実施の形態に係る関係性推定モデル学習装置と同様の構成であるため、同一符号を付して説明を省略する。
次に、本発明の第3の実施の形態に係るフレーズ生成装置の構成について説明する。なお、第2の実施の形態と同様の構成となる部分については、同一符号を付して説明を省略する。
次に、本発明の第3の実施の形態に係るフレーズ生成関係性推定モデル学習装置の作用について説明する。入力部310において入力テキストを受け付けると、フレーズ生成関係性推定モデル学習装置は、上記図9に示す関係性推定モデル学習処理ルーチンと同様の処理ルーチンを実行し、生成した3つ組{フレーズ1、フレーズ2、ラベル}と、当該3つ組{フレーズ1、フレーズ2、ラベル}から得られる、2つ組{フレーズ1、ラベル}→フレーズ2、2つ組{フレーズ2、ラベル’}→フレーズ1とを、学習における正解データとして用い、当該3つ組{フレーズ1、フレーズ2、ラベル}から得られる負例を更に用いて、関係性推定モデルとフレーズ生成モデルとの同時学習を行う。
次に、本発明の第3の実施の形態に係るフレーズ生成装置300の作用について説明する。フレーズ生成関係性推定モデル学習装置によって予め学習された関係性推定モデル及びフレーズ生成モデルがフレーズ生成装置300に入力されると、フレーズ生成装置300は、関係性推定モデル及びフレーズ生成モデルを記憶部322へ格納する。そして、入力部310が、推定対象の2つ組{フレーズ1、ラベル}を受け付けると、フレーズ生成装置300は、図16に示すフレーズ生成処理ルーチンを実行する。
<実験データ>
実験データは、上記非特許文献2が公開しているConceptNet(英語)のデータと、発明者らが独自にアノテーションした日本語のオープンドメインデータを用いる。表1にそれぞれのデータの概要を示す。
関係性推定モデルのベースラインとして、上記非特許文献2の手法(DNN AVG, DNN LSTM) を用いる。これらは、入力ベクトルvinがそれぞれ単語ベクトルの平均、LSTM のmaxpooling をとったものである。ただし、LSTM のモデルでは、t1とt2 を別々にベクトル化して連結した。
本実験例で用いたパラメータについて説明する。LSTMの隠れ層、単語・ラベルのembedding は200 次元、関係性推定モデルの中間層の次元を1000l、学習時のバッチサイズは128、ドロップアウトは0.2、weight decayは0.00001 に設定した。また、フレーズ生成モデルのエンコーダには1 層の双方向LSTM、デコーダには1 層のLSTM を用いた。最適化法はSGD を用い,初期学習率は1.0 に設定し減衰率を0.5 としてスケジューリングを行った。
<関係性の推定>
表2 に関係性の推定(2 値分類)の評価結果を示す。
表3 に、フレーズ生成モデルの精度を示す。
20、60、220、320 演算部
21、323 推定部
22、222、322 記憶部
40、90、240、340 出力部
62 学習データ生成部
63 学習部
71 基本解析部
72 フレーズ抽出部
73 接続表現データベース
100 関係性推定装置
150 関係性推定モデル学習装置
200、300 フレーズ生成装置
221 フレーズ生成部
Claims (7)
- フレーズの組み合わせと、フレーズ間の関係性を表わす接続表現又は前記接続表現が表す関係性を示す関係ラベルの少なくとも一方を含むラベルとからなる3つ組、並びに前記3つ組から得られる、一方のフレーズと前記ラベルとからなる2つ組と他方のフレーズの組み合わせを学習データとして用いて、
フレーズを単語ベクトル系列に変換し、前記単語ベクトル系列及び前記ラベルをベクトルに変換するエンコーダ、及び前記エンコーダを用いて変換された前記フレーズを表すベクトルと、前記エンコーダを用いて変換された前記ラベルを表すベクトルとに基づいて、前記フレーズに対して前記ラベルが表す関係性を有するフレーズを生成するデコーダを含むフレーズ生成モデル、並びに、
フレーズの組み合わせに含まれる各フレーズについて、前記エンコーダを用いて前記フレーズを単語ベクトル系列に変換し、前記単語ベクトル系列をベクトルに変換し、各フレーズについて前記変換された前記ベクトルと、前記エンコーダを用いて変換された前記ラベルを表すベクトルから、関係スコアを出力する関係性推定モデルを学習する学習部
を含み、
前記学習部は、前記3つ組を用いて計算される前記関係性推定モデルの損失関数と、前記2つ組と他方のフレーズの組み合わせを用いて計算される前記フレーズ生成モデルの損失関数とに基づいて、前記フレーズ生成モデル及び前記関係性推定モデルを学習し、
前記フレーズ生成モデルと前記関係性推定モデルとで前記エンコーダを構成するニューラルネットワークのパラメータを共有するフレーズ生成関係性推定モデル学習装置。 - 入力テキストに対するテキスト解析結果に基づいて、フレーズ間の関係性を表わす予め定められた接続表現が含まれる文節と所定の関係にあるフレーズの組み合わせを抽出し、前記抽出されたフレーズの組み合わせと、前記ラベルとからなる3つ組を作成する学習データ生成部を更に含み、
前記学習部は、前記学習データ生成部によって作成された前記3つ組、並びに前記3つ組から得られる、一方のフレーズと前記ラベルとからなる2つ組と他方のフレーズの組み合わせを学習データとして用いて、前記フレーズ生成モデル及び前記関係性推定モデルを学習する請求項1記載のフレーズ生成関係性推定モデル学習装置。 - 入力フレーズと、フレーズ間の関係性を表わす接続表現又は前記接続表現が表す関係性を示す関係ラベルの少なくとも一方を含むラベルとからなる2つ組を受け付ける入力部と、
フレーズを単語ベクトル系列に変換し、前記単語ベクトル系列及び前記ラベルをベクトルに変換する予め学習されたエンコーダを用いて、前記入力フレーズをベクトルに変換し、
前記変換されたベクトルと、前記エンコーダを用いて変換された前記ラベルを表すベクトルとに基づいて、前記フレーズに対して前記ラベルが表す関係性を有するフレーズを生成する予め学習されたデコーダを用いて、前記変換されたベクトルと、入力された前記ラベルとから、前記入力フレーズに対して前記ラベルが表す関係性を有するフレーズを生成するフレーズ生成部と、
前記入力フレーズと前記生成されたフレーズとの組み合わせに含まれる各フレーズについて、前記エンコーダを用いて前記フレーズを単語ベクトル系列に変換し、前記単語ベクトル系列をベクトルに変換し、各フレーズについて前記変換された前記ベクトルと、前記エンコーダを用いて変換された前記ラベルを表すベクトルから、関係スコアを出力する予め学習された関係性推定モデルと、前記エンコーダを用いて変換された、前記2つ組の前記入力フレーズを表すベクトルと、前記エンコーダを用いて変換された前記ラベルを表すベクトルと、前記エンコーダを用いて変換された、前記生成されたフレーズを表すベクトルとを用いて、
前記2つ組と前記生成されたフレーズとからなる3つ組から、前記関係スコアを出力する推定部と、
を含むフレーズ生成装置。 - 学習部が、フレーズの組み合わせと、フレーズ間の関係性を表わす接続表現又は前記接続表現が表す関係性を示す関係ラベルの少なくとも一方を含むラベルとからなる3つ組、並びに前記3つ組から得られる、一方のフレーズと前記ラベルとからなる2つ組と他方のフレーズの組み合わせを学習データとして用いて、
フレーズを単語ベクトル系列に変換し、前記単語ベクトル系列及び前記ラベルをベクトルに変換するエンコーダ、及び前記変換されたベクトルと、前記エンコーダを用いて変換された前記ラベルを表すベクトルとに基づいて、前記フレーズに対して前記ラベルが表す関係性を有するフレーズを生成するデコーダを含むフレーズ生成モデル、並びに、
フレーズの組み合わせに含まれる各フレーズについて、前記エンコーダを用いて前記フレーズを単語ベクトル系列に変換し、前記単語ベクトル系列をベクトルに変換し、各フレーズについて前記変換された前記ベクトルと、前記エンコーダを用いて変換された前記ラベルを表すベクトルから、関係スコアを出力する関係性推定モデルを学習する
フレーズ生成関係性推定モデル学習方法であって、
前記学習部が学習することでは、前記3つ組を用いて計算される前記関係性推定モデルの損失関数と、前記2つ組と他方のフレーズの組み合わせを用いて計算される前記フレーズ生成モデルの損失関数とに基づいて、前記フレーズ生成モデル及び前記関係性推定モデルを学習し、
前記フレーズ生成モデルと前記関係性推定モデルとで前記エンコーダを構成するニューラルネットワークのパラメータを共有するフレーズ生成関係性推定モデル学習方法。 - 入力部が、入力フレーズと、フレーズ間の関係性を表わす接続表現又は前記接続表現が表す関係性を示す関係ラベルの少なくとも一方を含むラベルとからなる2つ組を受け付け、
フレーズ生成部が、フレーズを単語ベクトル系列に変換し、前記単語ベクトル系列及び前記ラベルをベクトルに変換する予め学習されたエンコーダを用いて、前記入力フレーズをベクトルに変換し、
前記変換されたベクトルと、前記エンコーダを用いて変換された前記ラベルを表すベクトルとに基づいて、前記フレーズに対して前記ラベルが表す関係性を有するフレーズを生成する予め学習されたデコーダを用いて、前記エンコーダを用いて変換された前記フレーズを表すベクトルと、入力された前記ラベルとから、前記入力フレーズに対して前記ラベルが表す関係性を有するフレーズを生成し、
推定部が、前記入力フレーズと前記生成されたフレーズとの組み合わせに含まれる各フレーズについて、前記エンコーダを用いて前記フレーズを単語ベクトル系列に変換し、前記単語ベクトル系列をベクトルに変換し、各フレーズについて前記変換された前記ベクトルと、前記エンコーダを用いて変換された前記ラベルを表すベクトルから、関係スコアを出力する予め学習された関係性推定モデルと、前記エンコーダを用いて変換された、前記2つ組の前記入力フレーズを表すベクトルと、前記エンコーダを用いて変換された前記ラベルを表すベクトルと、前記エンコーダを用いて変換された、前記生成されたフレーズを表すベクトルとを用いて、
前記2つ組と前記生成されたフレーズとからなる3つ組から、前記関係スコアを出力する
フレーズ生成方法。 - コンピュータを、請求項1又は2記載のフレーズ生成関係性推定モデル学習装置を構成する各部として機能させるためのプログラム。
- コンピュータを、請求項3記載のフレーズ生成装置を構成する各部として機能させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018038055A JP7139626B2 (ja) | 2018-03-02 | 2018-03-02 | フレーズ生成関係性推定モデル学習装置、フレーズ生成装置、方法、及びプログラム |
US16/977,049 US11568132B2 (en) | 2018-03-02 | 2019-03-01 | Phrase generation relationship estimation model learning device, phrase generation device, method, and program |
PCT/JP2019/008245 WO2019168189A1 (ja) | 2018-03-02 | 2019-03-01 | フレーズ生成関係性推定モデル学習装置、フレーズ生成装置、方法、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018038055A JP7139626B2 (ja) | 2018-03-02 | 2018-03-02 | フレーズ生成関係性推定モデル学習装置、フレーズ生成装置、方法、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019153093A JP2019153093A (ja) | 2019-09-12 |
JP7139626B2 true JP7139626B2 (ja) | 2022-09-21 |
Family
ID=67805823
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018038055A Active JP7139626B2 (ja) | 2018-03-02 | 2018-03-02 | フレーズ生成関係性推定モデル学習装置、フレーズ生成装置、方法、及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11568132B2 (ja) |
JP (1) | JP7139626B2 (ja) |
WO (1) | WO2019168189A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7358748B2 (ja) * | 2019-03-01 | 2023-10-11 | 富士通株式会社 | 学習方法、抽出方法、学習プログラムおよび情報処理装置 |
CN110795934B (zh) * | 2019-10-31 | 2023-09-19 | 北京金山数字娱乐科技有限公司 | 语句分析模型的训练方法及装置、语句分析方法及装置 |
JP7444625B2 (ja) | 2020-02-03 | 2024-03-06 | 株式会社野村総合研究所 | 質問回答装置 |
KR102635118B1 (ko) | 2020-04-30 | 2024-02-07 | 미쓰비시덴키 가부시키가이샤 | 학습 데이터 작성 장치, 방법, 및 프로그램 |
US11972225B2 (en) * | 2020-10-01 | 2024-04-30 | Shrey Pathak | Automated patent language generation |
US11983205B2 (en) * | 2021-02-01 | 2024-05-14 | Adobe Inc. | Semantic phrasal similarity |
CN113342943B (zh) * | 2021-08-05 | 2021-12-07 | 北京明略软件系统有限公司 | 一种分类模型的训练方法和装置 |
US12013958B2 (en) | 2022-02-22 | 2024-06-18 | Bank Of America Corporation | System and method for validating a response based on context information |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016170636A (ja) | 2015-03-12 | 2016-09-23 | 日本電信電話株式会社 | 接続関係推定装置、方法、及びプログラム |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6721179B2 (ja) * | 2016-10-05 | 2020-07-08 | 国立研究開発法人情報通信研究機構 | 因果関係認識装置及びそのためのコンピュータプログラム |
US10380983B2 (en) * | 2016-12-30 | 2019-08-13 | Google Llc | Machine learning to generate music from text |
US10915817B2 (en) * | 2017-01-23 | 2021-02-09 | Fotonation Limited | Method of training a neural network |
WO2019000170A1 (en) * | 2017-06-26 | 2019-01-03 | Microsoft Technology Licensing, Llc | GENERATION OF ANSWERS IN AN AUTOMATED ONLINE CONVERSATION |
US10642846B2 (en) * | 2017-10-13 | 2020-05-05 | Microsoft Technology Licensing, Llc | Using a generative adversarial network for query-keyword matching |
-
2018
- 2018-03-02 JP JP2018038055A patent/JP7139626B2/ja active Active
-
2019
- 2019-03-01 US US16/977,049 patent/US11568132B2/en active Active
- 2019-03-01 WO PCT/JP2019/008245 patent/WO2019168189A1/ja active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016170636A (ja) | 2015-03-12 | 2016-09-23 | 日本電信電話株式会社 | 接続関係推定装置、方法、及びプログラム |
Non-Patent Citations (1)
Title |
---|
大川 良希 外1名 ,対話者の感情を推定した応答文生成のための言語モデルの提案,一般社団法人 人工知能学会 第29回全国大会論文集CD-ROM [CD-ROM] 2015年度 人工知能学会全国大会(第29回)論文集,日本,社団法人人工知能学会,2015年06月02日,pp.1-2 |
Also Published As
Publication number | Publication date |
---|---|
JP2019153093A (ja) | 2019-09-12 |
WO2019168189A1 (ja) | 2019-09-06 |
US20210042469A1 (en) | 2021-02-11 |
US11568132B2 (en) | 2023-01-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7139626B2 (ja) | フレーズ生成関係性推定モデル学習装置、フレーズ生成装置、方法、及びプログラム | |
CN107798140B (zh) | 一种对话系统构建方法、语义受控应答方法及装置 | |
CN108363790B (zh) | 用于对评论进行评估的方法、装置、设备和存储介质 | |
JP7120433B2 (ja) | 回答生成装置、回答学習装置、回答生成方法、及び回答生成プログラム | |
Tien et al. | Sentence modeling via multiple word embeddings and multi-level comparison for semantic textual similarity | |
CN106599032B (zh) | 一种结合稀疏编码和结构感知机的文本事件抽取方法 | |
CN110704621B (zh) | 文本处理方法、装置及存储介质和电子设备 | |
CN108549658B (zh) | 一种基于语法分析树上注意力机制的深度学习视频问答方法及系统 | |
JP6603828B1 (ja) | フレーズ生成モデル学習装置、フレーズ生成装置、方法、及びプログラム | |
CN109857846B (zh) | 用户问句与知识点的匹配方法和装置 | |
CN110796160A (zh) | 一种文本分类方法、装置和存储介质 | |
CN111401084A (zh) | 一种机器翻译的方法、设备以及计算机可读存储介质 | |
CN112667818A (zh) | 融合gcn与多粒度注意力的用户评论情感分析方法及系统 | |
CN113326374B (zh) | 基于特征增强的短文本情感分类方法及系统 | |
CN110969023B (zh) | 文本相似度的确定方法及装置 | |
CN111177402A (zh) | 基于分词处理的评价方法、装置、计算机设备及存储介质 | |
CN113704416A (zh) | 词义消歧方法、装置、电子设备及计算机可读存储介质 | |
CN111507093A (zh) | 一种基于相似字典的文本攻击方法、装置及存储介质 | |
CN115374270A (zh) | 一种基于图神经网络的法律文本摘要生成方法 | |
CN114972848A (zh) | 基于细粒度视觉信息控制网络的图像语义理解及文本生成 | |
CN115329075A (zh) | 基于分布式机器学习的文本分类方法 | |
CN114282592A (zh) | 一种基于深度学习的行业文本匹配模型方法及装置 | |
CN110287396B (zh) | 文本匹配方法及装置 | |
CN111914084A (zh) | 一种基于深度学习的带有情感标签文本生成及评估系统 | |
CN115129818A (zh) | 基于知识驱动多分类的情绪原因对提取方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210525 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20210720 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210803 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20220201 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20220401 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220425 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20220809 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20220822 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7139626 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |