JP7472587B2 - エンコーディングプログラム、情報処理装置およびエンコーディング方法 - Google Patents

エンコーディングプログラム、情報処理装置およびエンコーディング方法 Download PDF

Info

Publication number
JP7472587B2
JP7472587B2 JP2020056889A JP2020056889A JP7472587B2 JP 7472587 B2 JP7472587 B2 JP 7472587B2 JP 2020056889 A JP2020056889 A JP 2020056889A JP 2020056889 A JP2020056889 A JP 2020056889A JP 7472587 B2 JP7472587 B2 JP 7472587B2
Authority
JP
Japan
Prior art keywords
node
vector
sentence
encoding
phrase
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020056889A
Other languages
English (en)
Other versions
JP2021157483A (ja
Inventor
一 森田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2020056889A priority Critical patent/JP7472587B2/ja
Priority to US17/206,188 priority patent/US20210303802A1/en
Publication of JP2021157483A publication Critical patent/JP2021157483A/ja
Application granted granted Critical
Publication of JP7472587B2 publication Critical patent/JP7472587B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/47—Machine-assisted translation, e.g. using translation memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31—Indexing; Data structures therefor; Storage structures
    • G06F16/316—Indexing structures
    • G06F16/322—Trees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/211—Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H15/00—ICT specially adapted for medical reports, e.g. generation or transmission thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Molecular Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Medical Informatics (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、エンコーディング技術に関する。
自然言語処理では、文や文の中の単語（文節）をベクトル化してから処理することが多い。文や単語の特徴がうまく含まれるベクトルを生成することが重要になる。
文や単語（文節）は、例えば、ＬＳＴＭ（Long Short-Term Memory）ネットワークによりベクトル化することが知られている。ＬＳＴＭネットワークは、経時的に単語の情報をベクトルとして保持し、保持した情報を用いて単語のベクトルを生成することができる再帰的ニューラルネットワークである。
また、文や単語は、例えば、木構造の（tree-structured）ＬＳＴＭネットワークによりベクトル化することが知られている（例えば、非特許文献１参照）。木構造のＬＳＴＭネットワークは、チェーン構造のＬＳＴＭネットワークを木構造のネットワークトポロジに汎化したものである。図１２は、ＬＳＴＭネットワークを示す参考図である。図１２上図には、チェーン構造のＬＳＴＭネットワークが表わされている。例えば、ｘ１という単語を入力したＬＳＴＭは、入力した単語ｘ１のベクトルｙ１を生成する。そして、ｘ２という単語を入力したＬＳＴＭは、以前の単語ｘ１のベクトルｙ１も用いて単語ｘ２のベクトルｙ２を生成する。図１２下図には、任意の分岐因子を含む木構造の（tree-structured）ＬＳＴＭネットワークが表わされている。
文の中の単語間の係り受けを木構造のＬＳＴＭネットワーク（以降、ＬＳＴＭネットワークを「ＬＳＴＭ」という）で表わした係り受け木を利用する技術が知られている。例えば、文に対する係り受け木の構造の全体の情報を利用して、文の中の単語間の関係を抽出する技術が知られている（例えば、非特許文献２参照）。例えば、「薬Ａを無作為に抽出した病気Ｂの患者に投与したところ、効果があった」という文に対して、「薬Ａ」と「病気Ｂ」との間の関係（「効果」）を抽出（判定）することができる。かかる技術では、文に対して、単語レベルの情報をＬＳＴＭでエンコードし、最短係り受け経路（Shortest Path：ＳＰ）のみの係り受け木レベルの情報を木構造のＬＳＴＭでエンコードし、関係を抽出する。ここでいうＳＰとは、関係を抽出したい単語と単語との間の係り受けの最短経路のことをいい、上記文では、「薬Ａ」と「病気Ｂ」との間の経路のことをいう。また、関係の抽出に注目した実験では、文に対する全係り受け木を使った場合より、ＳＰのみの係り受け木を使った方が、良い結果になった。
Kai Sheng Tai et al, 2015 "Improved Semantic Representations From Tree-Structured Long Short-Term Memory Networks"
Miwa et al,2016 "End-To-End Relation Extraction usingLSTMs on Sequences and Tree Structures"
しかしながら、文に対して全体の係り受け木を使っても、最短係り受け経路（ＳＰ）のみの係り受け木を使っても、ＳＰ外の表現のエンコーディング時にＳＰ内の情報を利用することが難しい。ここで、ＳＰ外の表現のエンコーディング時にＳＰ内の情報を利用することが難しいことについて、図１３を参照して説明する。図１３は、ＳＰ外の表現のエンコーディングの参考例を示す図である。なお、上述した「薬Ａを無作為に抽出した病気Ｂの患者に投与したところ、効果があった」という文に対して、「薬Ａ」と「病気Ｂ」との間の関係（「効果」）を抽出（判定）する場合とする。
図１３に示すように、左図は係り受け木全体を示す。それぞれの四角のボックスはＬＳＴＭである。ＳＰは、「薬Ａ」と「病気Ｂ」との間の経路である。中図の木構造は「薬Ａ」に対するエンコーディングを計算する際に参照される範囲である。右図の木構造は関係を示す「効果」に対するエンコーディングを計算する際に参照される範囲である。
このような状況の下で、係り受け木全体では、文に対する全体の係り受け木の構造に沿ってエンコーディングするので、ＳＰ外すなわちＳＰと係り受け関係を持たない単語のエンコーディング時にＳＰ内の単語の特徴を用いてエンコーディングすることが難しい。例えば、図１３では、関係を示す「効果」は、ＳＰ外の表現である。ＳＰ外すなわち係り受け関係を持たない単語「効果」のエンコーディング時には、参照される範囲は「あった」だけであり、「あった」配下のＳＰ内の単語「薬Ａ」などの特徴を用いてエンコーディングできない。言い換えれば、係り受け木のＳＰ外の表現の重要性を判定するのが難しい。
なお、ＳＰのみの係り受け木を使った場合であっても、係り受け木全体を使った場合と同様に、ＳＰ外の表現のエンコーディング時にＳＰ内の情報を利用することが難しいことには変わりがない。
この結果、関係を示す重要な表現がＳＰの外にある場合、ＳＰ内の単語間の関係を抽出することが難しい。したがって、係り受け木のＳＰ外に基づいた、文のエンコーディングを行うことができないという問題がある。
本発明は、１つの側面では、係り受け木の最短係り受け経路（ＳＰ）外に基づいた、文のエンコーディングを行うことを目的とする。
１つの態様では、エンコーディングプログラムは、文に含まれる第１文節と第２文節とに対し、前記文から生成した係り受け木に含まれる２つのノードであって前記第１文節に対応する第１ノードと前記第２文節に対応する第２ノードとの共通の祖先ノードを特定し、前記係り受け木に含まれる葉ノードのそれぞれから前記共通の祖先ノードに向かう経路に応じて前記係り受け木に含まれる各ノードをエンコーディングすることによって、前記共通の祖先ノードのベクトルを求め、前記共通の祖先ノードのベクトルに基づいて、前記共通の祖先ノードから前記葉ノードに向かう経路に応じて前記係り受け木に含まれる各ノードをエンコーディングする、処理をコンピュータに実行させる。
１実施態様によれば、係り受け木の最短係り受け経路（ＳＰ）外に基づいた、文のエンコーディングを行うことができる。
図１は、実施例１に係る機械学習装置の構成を示す機能ブロック図である。 図２は、実施例１に係る予測装置の構成を示す機能ブロック図である。 図３は、文の係り受けの一例を示す図である。 図４は、実施例１に係る木構造エンコーディングの一例を示す図である。 図５は、実施例１に係る関係抽出学習処理のフローチャートの一例を示す図である。 図６は、実施例１に係る関係抽出学習処理の一例を示す図である。 図７は、実施例１に係る関係抽出予測処理のフローチャートの一例を示す図である。 図８は、実施例２に係る機械学習装置の構成を示す機能ブロック図である。 図９は、実施例２に係る予測装置の構成を示す機能ブロック図である。 図１０は、実施例２に係る木構造エンコーディングの一例を示す図である。 図１１は、エンコーディングプログラムを実行するコンピュータの一例を示す図である。 図１２は、ＬＳＴＭネットワークを示す参考図である。 図１３は、ＳＰ外の表現のエンコーディングの参考例を示す図である。
以下に、本願の開示するエンコーディングプログラム、情報処理装置およびエンコーディング方法の実施例を図面に基づいて詳細に説明する。実施例では、情報処理装置として機械学習装置と予測装置とに分けて説明する。なお、本発明は、実施例により限定されるものではない。
［機械学習装置の構成］
図１は、実施例に係る機械学習装置の構成を示す機能ブロック図である。機械学習装置１は、文全体の係り受け木において、共通の祖先ノードに文全体の情報を集約して、集約した情報を用いて係り受け木の各ノードをエンコーディングする。機械学習装置１は、エンコーディングした結果を用いて、文に含まれる第１文節と第２文節の関係を学習する。ここでいう「係り受け木」とは、文の中の単語間の係り受けを木構造のＬＳＴＭネットワークで表わしたものである。なお、ＬＳＴＭネットワークのことを、以降「ＬＳＴＭ」という。また、文節を単語という場合もある。
ここで、文の係り受けの一例を、図３を参照して説明する。図３は、文の係り受けの一例を示す図である。図３に示すように、文として「薬Ａを無作為に抽出した病気Ｂの患者に投与したところ、効果があった」が示されている。かかる文では、「薬Ａ」、「を」、「無作為」、「に」、「抽出」、「した」、「病気Ｂ」、「の」、「患者」、「に」、「投与」、「した」、「ところ」、「効果」、「が」、「あった」というように文節単位の列に分割される。
「薬Ａ」の係り受けは、「投与」である。「無作為」の係り受けは、「抽出」である。「抽出」および「病気Ｂ」の係り受けは、「患者」である。「患者」の係り受けは、「投与」である。「投与」の係り受けは、「ところ」である。「ところ」および「効果」の係り受けは、「あった」である。
ここで、「薬Ａ」と「病気Ｂ」との間の関係（「効果」）を抽出（判定）する場合には、「薬Ａ」と「病気Ｂ」との間の経路が、最短係り受け経路（Shortest Path：ＳＰ）になる。ここでいうＳＰとは、関係を抽出したい単語「薬Ａ」と単語「病気Ｂ」との間の係り受けの最短経路のことをいい、上記文では、「薬Ａ」と「病気Ｂ」との間の経路のことをいう。関係を示す「効果」の単語は、かかる文の中のＳＰの外にある。
また、「投与」は、「薬Ａ」と「病気Ｂ」との共通の祖先ノード（Lowest Common Ancestor：ＬＣＡ）になる。
図１に戻って、機械学習装置１は、制御部１０および記憶部２０を有する。制御部１０は、ＣＰＵ（Central Processing Unit）などの電子回路により実現される。制御部１０は、係り受け解析部１１、木構造エンコーディング部１２および関係抽出学習部１３を有する。なお、木構造エンコーディング部１２は、特定部、第１のエンコーディング部および第２のエンコーディング部の一例である。
記憶部２０は、例えば、ＲＡＭ、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどにより実現される。記憶部２０は、パラメタ２１、エンコード結果２２およびパラメタ２３を有する。
パラメタ２１は、文の単語列のそれぞれの単語を木構造のＬＳＴＭ（Ｔｒｅｅ ＬＳＴＭ）によりエンコーディングする際に各単語に対するＬＳＴＭが利用するパラメタの種類である。１つのＬＳＴＭは、１つの単語を、パラメタ２１を用いてエンコーディングする。パラメタ２１には、例えば、エンコーディングする方向が含まれる。エンコーディングする方向とは、ある単語をエンコーディングする場合に、直近の単語ベクトルの単語からある単語への方向を示す。エンコーディングする方向には、例えば、上や下が挙げられる。
エンコード結果２２は、それぞれの単語のエンコード結果（ベクトル）および文のエンコード結果（ベクトル）を示す。エンコード結果２２は、木構造エンコーディング部１２によって計算される。
パラメタ２３は、エンコード結果２２を用いて単語間の関係を学習する際に用いられるパラメタである。なお、パラメタ２３は、関係抽出学習部１３によって用いられ、適宜修正される。
係り受け解析部１１は、文の係り受けを解析する。例えば、係り受け解析部１１は、文に対して、形態素解析を実行し、形態素（文節単位）の列に分割する。係り受け解析部１１は、分割した列について、文節単位の係り受け解析を行う。なお、係り受け解析は、いかなる構文解析ツールを用いても良い。
木構造エンコーディング部１２は、文節単位の係り受けからなる木構造に変換した木の木構造のＬＳＴＭを用いて、それぞれの文節をエンコーディングする。例えば、木構造エンコーディング部１２は、係り受け解析部１１によって解析された文節単位の係り受けを用いて、文節単位の係り受けからなる木構造の係り受け木に変換する。木構造エンコーディング部１２は、文に含まれる第１文節と第２文節とに対し、変換した係り受け木に含まれる２つのノードであって第１文節に対応する第１ノードと第２文節に対応する第２ノードとの共通の祖先ノード（ＬＣＡ）を特定する。木構造エンコーディング部１２は、パラメタ２１を用いて、係り受け木に含まれる葉ノードのそれぞれからＬＣＡに向かう経路に沿って係り受け木に含まれる各ノードをエンコーディングすることによって、ＬＣＡのエンコーディング結果のベクトルを求める。すなわち、木構造エンコーディング部１２は、葉ノードのそれぞれからＬＣＡに向かう経路に沿って各ノードの情報をＬＣＡに集約することによって、ＬＣＡのエンコーディング結果ベクトルを求める。そして、木構造エンコーディング部１２は、ＬＣＡのエンコーディング結果ベクトルに基づいて、パラメタ２１を用いて、ＬＣＡから葉ノードに向かう経路に沿って係り受け木に含まれる各ノードをエンコーディングする。つまり、木構造エンコーディング部１２は、ＬＣＡに文全体の情報を集約した後に、集約した情報を逆向きに伝播させて、係り受け木の各ノードをエンコーディングする。
また、木構造エンコーディング部１２は、各ノードのエンコーディング結果のベクトルを用いて、文のベクトルを求める。
関係抽出学習部１３は、文のベクトルとすでに分かっている関係ラベル（正解ラベル）を入力すると、文に含まれる第１文節と第２文節との関係に対応する関係ラベルが入力した関係ラベルと一致するように機械学習モデルを学習する。例えば、関係抽出学習部１３は、文のベクトルを機械学習モデルに入力すると、パラメタ２３を用いて文に含まれる第１文節と第２文節との関係を出力する。そして、関係抽出学習部１３は、出力された関係に対応する関係ラベルが既にわかっている関係ラベル（正解ラベル）と一致していなければ、情報の誤差を木構造エンコーディング部１２に逆伝播させる。そして、関係抽出学習部１３は、誤差を修正した各ノードのベクトルおよび修正したパラメタ２３を用いて、機械学習モデルを学習する。言い換えれば、関係抽出学習部１３は、文のベクトルと文のベクトルに対応する正解ラベルとを入力し、入力に応じて機械学習モデルが出力する文に含まれる第１文節と第２文節との関係に対応する予測結果と正解ラベルとの差に基づいた機械学習によって機械学習モデルを更新する。
なお、機械学習モデルは、ＮＮ（Neural Network）やＳＶＭ（Support Vector Machine）が採用可能である。例えば、ＮＮは、ＣＮＮ（Convolutional Neural Network）やＲＮＮ（Recurrent Neural Network）であっても良い。また、機械学習モデルは、例えば、ＣＮＮとＲＮＮとを組み合わせた機械学習モデルなど、複数の機械学習モデルを組み合わせることで実現される機械学習モデルであっても良い。
［予測装置の構成］
図２は、実施例１に係る予測装置の構成を示す機能ブロック図である。予測装置３は、文全体の係り受け木において、共通の祖先ノードに文全体の情報を集約して、集約した情報を用いて係り受け木の各ノードをエンコーディングする。予測装置３は、エンコーディングした結果を用いて、文に含まれる第１文節と第２文節の関係を予測する。
図１に戻って、予測装置３は、制御部３０および記憶部４０を有する。制御部３０は、ＣＰＵ（Central Processing Unit）などの電子回路により実現される。制御部３０は、係り受け解析部１１、木構造エンコーディング部１２および関係抽出予測部３１を有する。なお、係り受け解析部１１および木構造エンコーディング部１２は、図１に示す機械学習装置１と同一の構成であるので、同一符号で示し、その重複する構成および動作の説明については省略する。また、木構造エンコーディング部１２は、特定部、第１のエンコーディング部および第２のエンコーディング部の一例である。
記憶部４０は、例えば、ＲＡＭ、フラッシュメモリ（Flash Memory）などの半導体メモリ素子、または、ハードディスク、光ディスクなどにより実現される。記憶部４０は、パラメタ４１、エンコード結果４２およびパラメタ２３を有する。
パラメタ４１は、文の単語列のそれぞれの単語を木構造のＬＳＴＭによりエンコーディングする際に各単語に対するＬＳＴＭが利用するパラメタである。１つのＬＳＴＭは、１つの単語を、パラメタ４１を用いてエンコーディングする。パラメタ４１には、例えば、エンコーディングする方向が含まれる。エンコーディングする方向とは、ある単語をエンコーディングする場合に、使用される以前の単語ベクトルの単語からある単語への方向を示す。エンコーディングする方向には、例えば、上や下が挙げられる。なお、パラメタ４１は、機械学習装置１のパラメタ２１に対応する。
エンコード結果４２は、それぞれの単語のエンコード結果（ベクトル）および文のエンコード結果（ベクトル）を示す。エンコード結果４２は、木構造エンコーディング部１２によって計算される。なお、エンコード結果４２は、機械学習装置１のエンコード結果２２に対応する。
パラメタ２３は、エンコード結果４２を用いて単語間の関係を予測する際に用いられるパラメタである。なお、パラメタ２３には、機械学習装置１の機械学習によって最適化されたパラメタ２３と同じパラメタが適用される。
関係抽出予測部３１は、文のベクトルを学習済みの機械学習モデルに入力すると、文に含まれる第１文節と第２文節の関係を予測する。例えば、関係抽出予測部３１は、文のベクトルを学習済みの機械学習モデルに入力すると、パラメタ２３を用いて文に含まれる第１文節と第２文節の関係を予測する。そして、関係抽出予測部３１は、予測した関係に対応する関係ラベルを出力する。なお、学習済みの機械学習モデルは、機械学習装置１の関係抽出学習部１３によって学習されたものである。
［木構造エンコーディングの一例］
図４は、実施例１に係る木構造エンコーディングの一例を示す図である。なお、文が「薬Ａを無作為に抽出した病気Ｂの患者に投与したところ、効果があった」である場合であって「薬Ａ」と「病気Ｂ」との間の関係（「効果」）を抽出（判定）する場合であるとする。
図４左図には、文における木構造の係り受け木が示されている。かかる係り受け木は、木構造エンコーディング部１２によって変換される。すなわち、木構造エンコーディング部１２は、係り受け解析部１１によって解析された文における文節単位の係り受けを用いて、文節単位の係り受けからなる木構造の係り受け木に変換する。なお、図４におけるそれぞれの四角のボックスはＬＳＴＭである。
木構造エンコーディング部１２は、文に含まれる「薬Ａ」と「病気Ｂ」とに対し、変換した係り受け木に含まれる２つのノードであって「薬Ａ」に対応するノードと「病気Ｂ」に対応するノードとの共通の祖先ノード（ＬＣＡ）を特定する。特定されるＬＣＡは、「投与」に対応するノードとなる。
木構造エンコーディング部１２は、パラメタ２１を用いて、係り受け木に含まれる葉ノードのそれぞれからＬＣＡに向かう経路に沿って係り受け木に含まれる各ノードをエンコーディングすることによって、ＬＣＡのエンコーディング結果のベクトルを求める。すなわち、木構造エンコーディング部１２は、葉ノードのそれぞれからＬＣＡに向かう経路に沿って各ノードの情報をＬＣＡに集約する。左図では、「薬Ａ」、「無作為」、「病気Ｂ」、「効果」に対応するノードが、葉ノードである。
ここでは、左図に示すように、木構造エンコーディング部１２は、「薬Ａ」をＬＳＴＭに入力する。木構造エンコーディング部１２は、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）を、パラメタが示す「上」に位置する「投与」（ＬＣＡ）のＬＳＴＭに出力する。
また、木構造エンコーディング部１２は、「無作為」をＬＳＴＭに入力する。木構造エンコーディング部１２は、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）をパラメタが示す「上」に位置する「抽出」のＬＳＴＭに出力する。また、木構造エンコーディング部１２は、「抽出」と、「無作為」からのベクトルをＬＳＴＭに入力する。木構造エンコーディング部１２は、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）をパラメタが示す「上」に位置する「患者」のＬＳＴＭに出力する。
また、木構造エンコーディング部１２は、「病気Ｂ」をＬＳＴＭに入力する。木構造エンコーディング部１２は、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）をパラメタが示す「上」に位置する「患者」のＬＳＴＭに出力する。また、木構造エンコーディング部１２は、「患者」と、「抽出」および「病気Ｂ」からのそれぞれのベクトルとをＬＳＴＭに入力する。木構造エンコーディング部１２は、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）をパラメタが示す「上」に位置する「投与」（ＬＣＡ）のＬＳＴＭに出力する。
一方、木構造エンコーディング部１２は、「効果」をＬＳＴＭに入力する。木構造エンコーディング部１２は、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）を、パラメタが示す「上」に位置する「あった」のＬＳＴＭに出力する。また、木構造エンコーディング部１２は、「あった」と、「効果」からのベクトルをＬＳＴＭに入力する。木構造エンコーディング部１２は、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）をパラメタが示す「下」に位置する「ところ」のＬＳＴＭに出力する。
また、木構造エンコーディング部１２は、「ところ」と、「あった」からのベクトルとをＬＳＴＭに入力する。木構造エンコーディング部１２は、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）をパラメタが示す「下」に位置する「投与」（ＬＣＡ）のＬＳＴＭに出力する。
そして、木構造エンコーディング部１２は、「投与」と、「薬Ａ」、「患者」および「ところ」からのそれぞれのエンコード結果（ベクトル）とをＬＳＴＭに入力する。木構造エンコーディング部１２は、エンコーディングされたエンコード結果（ベクトル）を求める。すなわち、木構造エンコーディング部１２は、葉ノードのそれぞれからＬＣＡに向かう経路に沿って各ノードの情報をＬＣＡに集約する。
この後、木構造エンコーディング部１２は、ＬＣＡのエンコード結果（ベクトル）に基づいて、パラメタ２１を用いて、ＬＣＡから葉ノードに向かう経路に沿って係り受け木に含まれる各ノードをエンコーディングする。つまり、木構造エンコーディング部１２は、ＬＣＡに文全体の情報を集約した後に、集約した情報を逆向きに伝播させて、係り受け木の各ノードをエンコーディングする。
ここでは、右図に示すように、ＬＣＡのエンコード結果（ベクトル）は、ｈＬＣＡであるとする。木構造エンコーディング部１２は、ｈＬＣＡを、葉ノードに向かう、パラメタが示す「下」に位置する「薬Ａ」および「患者」のＬＳＴＭに出力する。木構造エンコーディング部１２は、ｈＬＣＡを、葉ノードに向かう、パラメタが示す「上」に位置する「ところ」のＬＳＴＭに出力する。
木構造エンコーディング部１２は、「薬Ａ」と、ｈＬＣＡとをＬＳＴＭに入力する。木構造エンコーディング部１２は、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）としてｈ薬Ａを出力する。
また、木構造エンコーディング部１２は、「患者」と、ｈＬＣＡとをＬＳＴＭに入力する。木構造エンコーディング部１２は、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）としてｈ患者を出力する。木構造エンコーディング部１２は、ｈ患者を、葉ノードに向かう、パラメタが示す「下」に位置する「抽出」および「病気Ｂ」のＬＳＴＭに出力する。
また、木構造エンコーディング部１２は、「病気Ｂ」と「患者」からのベクトルとをＬＳＴＭに入力する。木構造エンコーディング部１２は、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）としてｈ病気Ｂを出力する。また、木構造エンコーディング部１２は、「抽出」と、「患者」からのベクトルとをＬＳＴＭに入力する。木構造エンコーディング部１２は、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）としてｈ抽出を出力する。木構造エンコーディング部１２は、ｈ抽出を、葉ノードに向かう、パラメタが示す「下」に位置する「無作為」のＬＳＴＭに出力する。
また、木構造エンコーディング部１２は、「無作為」と、「抽出」からのベクトルとをＬＳＴＭに入力する。木構造エンコーディング部１２は、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）としてｈ無作為を出力する。
一方、木構造エンコーディング部１２は、「ところ」と、ｈＬＣＡとをＬＳＴＭに入力する。木構造エンコーディング部１２は、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）としてｈところを出力する。木構造エンコーディング部１２は、ｈところを、葉ノードに向かう、パラメタが示す「上」に位置する「あった」のＬＳＴＭに出力する。
また、木構造エンコーディング部１２は、「あった」と、「ところ」からのベクトルとをＬＳＴＭに入力する。木構造エンコーディング部１２は、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）としてｈあったを出力する。木構造エンコーディング部１２は、ｈあったを、葉ノードに向かう、パラメタが示す「下」に位置する「効果」のＬＳＴＭに出力する。
また、木構造エンコーディング部１２は、「効果」と、「あった」からのベクトルとをＬＳＴＭに入力する。木構造エンコーディング部１２は、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）としてｈ効果を出力する。
そして、木構造エンコーディング部１２は、各ノードのエンコード結果を示すベクトルを用いて文のベクトルを求める。ここでは、木構造エンコーディング部１２は、以下のように、文のベクトルｈ文を求めることができる。
ｈ文＝［ｈ薬Ａ；ｈ無作為；ｈ抽出；ｈ病気Ｂ；ｈ患者；ｈ投与；ｈところ；ｈ効果；ｈあった；］
これにより、木構造エンコーディング部１２は、係り受け木における「薬Ａ」および「病気Ｂ」のＳＰ外に基づいた、文のエンコーディングを行なえる。すなわち、木構造エンコーディング部１２は、係り受け木における「薬Ａ」および「病気Ｂ」のＳＰのみならず、ＳＰ外に存在する関係を示す「効果」を含む各ノードの情報もＬＣＡに集まるため、ＳＰ外に基づいた、文のエンコーディングを行なえる。この結果、関係抽出学習部１３は、単語間の関係を抽出する場合に用いる精度の高い機械学習モデルを生成できる。加えて、関係抽出予測部３１は、機械学習モデルを用いて単語間の関係を精度良く抽出することができる。
［関係抽出学習処理のフローチャート］
図５は、実施例１に係る関係抽出学習処理のフローチャートの一例を示す図である。なお、図６に示す実施例１に係る関係抽出学習処理の一例を、適宜参照しながら説明する。
木構造エンコーディング部１２は、係り受け解析の解析済みの文ｓｉ、固有表現対ｎｉ、既にわかっている関係ラベルを受け付ける（ステップＳ１１）。図６の符号ａ１に示すように、文ｓｉとして「薬Ａを無作為に抽出した病気Ｂの患者に投与したところ、効果があった」、固有表現対として「薬Ａ」および「病気Ｂ」が示されている。文ｓｉでは、単語間の係り受けが解析されている。固有表現対は、関係を学習するターゲットとなる単語の対である。それぞれの単語には、文の中でのインデックスの範囲が示されている。インデックスは単語が文の中で何個目かを示す情報である。インデックスは０から数える。「薬Ａ」は、０から１の間にある。「病気Ｂ」は、６から７の間にある。なお、固有表現値ｎｉは、第１文節、第２文節に対応する。
そして、木構造エンコーディング部１２は、固有表現対ｎｉに対応するＬＣＡ（共通祖先ノード）としてｌｃａｉを特定する（ステップＳ１２）。図６の符号ａ２に示すように、共通祖先ノードのインデックスｌｃａｉは、「１０」となる。すなわち、１０個目の「投与」がＬＣＡの単語となる。
そして、木構造エンコーディング部１２は、ｌｃａｉが根となる形に木構造のＬＳＴＭを接続する（ステップＳ１３）。すなわち、木構造エンコーディング部１２は、文節単位の係り受けを用いて、文節単位の係り受けからなる木構造の係り受け木に変換する。
そして、木構造エンコーディング部１２は、葉ノードの各単語からｌｃａｉに向けてＬＳＴＭを辿る（ステップＳ１４）。図６の符号ａ３に示すように、例えば、薬Ａのベクトルｈ薬Ａ´と患者のベクトルｈ患者´と他の単語のベクトルとからＬＣＡのエンコード結果ベクトルｈＬＣＡ´が求められる。すなわち、木構造エンコーディング部１２は、葉ノードのそれぞれからＬＣＡに向かう経路に沿って各ノードの情報をＬＣＡに集約することによって、ＬＣＡのエンコーディング結果ベクトルを求める。
そして、木構造エンコーディング部１２は、ｌｃａｉから各単語に向けてＬＳＴＭを辿り、各単語位置にある単語ｗを表すベクトルｈｗを生成する（ステップＳ１５）。図６の符号ａ４に示すように、例えば、薬Ａのベクトルｈ薬Ａ、無作為のベクトルｈ無作為が生成される。すなわち、木構造エンコーディング部１２は、ＬＣＡに文全体の情報を集約した後に、集約した情報を逆向きに伝播させて、係り受け木の各ノードをエンコーディングする。
そして、木構造エンコーディング部１２は、各単語のベクトルｈｗを収集して結合し、文を表すベクトルｈｓｉを生成する（ステップＳ１６）。図６の符号ａ５に示すように、「薬Ａ」のベクトルｈ薬Ａ、「無作為」のベクトルｈ無作為、・・・を収集して、結合して文ｓｉのベクトルｈｓｉが生成される。
そして、関係抽出学習部１３は、文のベクトルｈｓｉを機械学習モデルに入力して、関係ラベルｌｐｉを抽出する（ステップＳ１７）。図６の符号ａ６に示すように、関係抽出学習部１３は、関係ラベルｌｐｉを抽出する。ここでは、関係無しであることを示す「０」、関係有りであるが効果ありであることを示す「１」、関係有りであるが効果無しであることを示す「２」のいずれかが抽出される。関係抽出学習部１３は、関係ラベルｌｐｉが受け付けた関係ラベルと一致するか否かを判定する（ステップＳ１８）。関係ラベルｌｐｉが受け付けた関係ラベルと一致しないと判定した場合には（ステップＳ１８；Ｎｏ）、関係抽出学習部１３は、パラメタ２１およびパラメタ２３を調整する（ステップＳ１９）。そして、関係抽出学習部１３は、さらに学習すべく、ステップＳ１４に移行する。
一方、関係ラベルｌｐｉが受け付けた関係ラベルと一致すると判定した場合には（ステップＳ１８；Ｙｅｓ）、関係抽出学習部１３は、関係抽出学習処理を終了する。
［関係抽出予測処理のフローチャート］
図７は、実施例１に係る関係抽出予測処理のフローチャートの一例を示す図である。木構造エンコーディング部１２は、係り受け解析の解析済み文ｓｉ、固有表現対ｎｉを受け付ける（ステップＳ２１）。そして、木構造エンコーディング部１２は、固有表現対ｎｉに対応するＬＣＡ（共通祖先ノード）としてｌｃａｉを特定する（ステップＳ２２）。
そして、木構造エンコーディング部１２は、ｌｃａｉが根となる形に木構造のＬＳＴＭを接続する（ステップＳ２３）。すなわち、木構造エンコーディング部１２は、文節単位の係り受けを用いて、文節単位の係り受けからなる木構造の係り受け木に変換する。
そして、木構造エンコーディング部１２は、葉ノードの各単語からｌｃａｉに向けてＬＳＴＭを辿る（ステップＳ２４）。すなわち、木構造エンコーディング部１２は、葉ノードのそれぞれからＬＣＡに向かう経路に沿って各ノードの情報をＬＣＡに集約することによって、ＬＣＡのエンコーディング結果ベクトルを求める。
そして、木構造エンコーディング部１２は、ｌｃａｉから各単語に向けてＬＳＴＭを辿り、各単語位置にある単語ｗを表すベクトルｈｗを生成する（ステップＳ２５）。すなわち、木構造エンコーディング部１２は、ＬＣＡに文全体の情報を集約した後に、集約した情報を逆向きに伝播させて、係り受け木の各ノードをエンコーディングする。
そして、木構造エンコーディング部１２は、各単語のベクトルｈｗを収集して結合し、文を表すベクトルｈｓｉを生成する（ステップＳ２６）。そして、関係抽出予測部３３は、文のベクトルｈｓｉを学習済みの機械学習モデルに入力して、関係ラベルｌｐｉを抽出して、抽出した関係ラベルｌｐｉを出力する（ステップＳ２７）。そして、関係抽出予測部３３は、関係抽出予測処理を終了する。
［実施例１の効果］
上記実施例１によれば、機械学習装置１および予測装置３を含む情報処理装置は、以下の処理を行う。情報処理装置は、文に含まれる第１文節と第２文節とに対し、当該文から生成した係り受け木に含まれる２つのノードであって第１文節に対応する第１ノードと第２文節に対応する第２ノードとの共通の祖先ノードを特定する。情報処理装置は、係り受け木に含まれる葉ノードのそれぞれから共通の祖先ノードに向かう経路に応じて係り受け木に含まれる各ノードをエンコーディングすることによって、共通の祖先ノードのベクトルを求める。情報処理装置は、共通の祖先ノードのベクトルに基づいて、共通の祖先ノードから葉ノードに向かう経路に応じて係り受け木に含まれる各ノードをエンコーディングする。これにより、情報処理装置は、係り受け木における第１文節および第２文節の最短係り受け経路外に基づいた、文のエンコーディングを行なえる。
また、上記実施例１によれば、情報処理装置は、葉ノードのそれぞれから共通の祖先ノードに向かう経路に沿って各ノードの情報を共通の祖先ノードに集約することによって、共通の祖先ノードのベクトルを求める。これにより、情報処理装置は、係り受け木における第１文節および第２文節の最短係り受け経路のみならず、最短係り受け経路外にある関係を示す文節を含む各ノードの情報も共通の祖先ノードに集まるため、最短係り受け経路外に基づいた、文のエンコーディングを行なえる。言い換えれば、情報処理装置は、最短係り受け経路外の情報を適切に含むベクトルを生成することができるようになり、第１文節および第２文節の関係抽出の精度を向上できる。
また、上記実施例１によれば、機械学習装置１は、各ノードのエンコーディング結果を示すベクトルから文のベクトルを求める。機械学習装置１は、文のベクトルと文のベクトルに対応する正解ラベルとを入力する。機械学習装置１は、入力に応じて機械学習モデルが出力する文に含まれる第１文節と第２文節との関係に対応する予測結果と正解ラベルとの差に基づいた機械学習によって機械学習モデルを更新する。これにより、機械学習装置１は、第１文節および第２文節の関係抽出の精度の高い機械学習モデルを生成できる。
また、上記実施例１によれば、予測装置３は、他の文のベクトルを更新された機械学習モデルに入力し、他の文に含まれる第１文節と第２文節との関係に対応する予測結果を出力する。これにより、予測装置３は、第１文節および第２文節の関係を精度良く出力できる。
ところで、実施例１では、木構造エンコーディング部１２が、単語をＬＳＴＭに入力し、ＬＳＴＭがエンコーディングしたエンコード結果ベクトルを、パラメタが示す方向に位置する単語のＬＳＴＭに出力すると説明した。しかしながら、木構造エンコーディング部１２は、これに限定されず、単語をＬＳＴＭに入力し、ＬＳＴＭがエンコーディングしたエンコード結果ベクトルおよび当該単語の所定の位置ベクトル（ＰＥ：Position Encoding）を、パラメタが示す方向に位置する単語のＬＳＴＭに出力しても良い。ここでいう所定の位置ベクトル（ＰＥ）とは、文において関係を抽出したい第１文節と第２文節との係り受け距離のことをいう。所定の位置ベクトル（ＰＥ）の詳細は、後述する。
［実施例２に係る機械学習装置の構成］
図８は、実施例２に係る機械学習装置の構成を示す機能ブロック図である。なお、図１に示す機械学習装置１と同一の構成については同一符号を示すことで、その重複する構成および動作の説明については省略する。実施例１と実施例２とが異なるところは、制御部１０にＰＥ付与部５１を追加した点にある。また、実施例１と実施例２とが異なるところは、制御部１０の木構造エンコーディング部１２を木構造エンコーディング部１２Ａに変更した点にある。
ＰＥ付与部５１は、文に含まれる文節ごとに、文に含まれる第１文節との位置関係および文に含まれる第２文節との位置関係を付与する。例えば、ＰＥ付与部５１は、木構造の係り受け木を用いて、文節ごとに、第１文節と第２文節との係り受け距離を示すＰＥを求める。ＰＥは、一例として、ａを第１文節からの距離、ｂを第２文節からの距離とした場合には、（ａ，ｂ）で表わされる。また、ＰＥは、一例として、第１文節と第２文節との間でない場合には（Ｏｕｔ）で表わされる。そして、ＰＥ付与部５１は、文節ごとに、ＰＥを付与する。
木構造エンコーディング部１２Ａは、文節単位の係り受けからなる木構造に変換した木の木構造のＬＳＴＭを用いて、それぞれの文節をエンコーディングする。例えば、木構造エンコーディング部１２Ａは、係り受け解析部１１によって解析された文節単位の係り受けを用いて、文節単位の係り受けからなる木構造の係り受け木に変換する。木構造エンコーディング部１２Ａは、文に含まれる第１文節と第２文節とに対し、変換した係り受け木に含まれる２つのノードであって第１文節に対応する第１ノードと第２文節に対応する第２ノードとの共通の祖先ノード（ＬＣＡ）を特定する。木構造エンコーディング部１２Ａは、パラメタ２１およびＰＥを用いて、係り受け木に含まれる葉ノードのそれぞれからＬＣＡに向かう経路に沿って、係り受け木に含まれる各ノードをエンコーディングすることによって、ＬＣＡのエンコーディング結果のベクトルを求める。すなわち、木構造エンコーディング部１２Ａは、葉ノードのそれぞれからＬＣＡに向かう経路に沿って各ノードのＰＥを含む情報をＬＣＡに集約することによって、ＬＣＡのエンコーディング結果ベクトルを求める。そして、木構造エンコーディング部１２Ａは、ＬＣＡのエンコーディング結果ベクトルに基づいて、パラメタ２１およびＰＥを用いて、ＬＣＡから葉ノードに向かう経路に沿って、係り受け木に含まれる各ノードをエンコーディングする。つまり、木構造エンコーディング部１２Ａは、ＬＣＡに文全体のＰＥを含む情報を集約した後に、集約した情報を逆向きに伝播させて、係り受け木の各ノードをエンコーディングする。
また、木構造エンコーディング部１２Ａは、各ノードのエンコーディング結果のベクトルを用いて文のベクトルを求める。
［実施例２に係る予測装置の構成］
図９は、実施例２に係る予測装置の構成を示す機能ブロック図である。なお、図２に示す予測装置３と同一の構成については同一符号を示すことで、その重複する構成および動作の説明については省略する。実施例１と実施例２とが異なるところは、制御部１０にＰＥ付与部５１を追加した点にある。また、実施例１と実施例２とが異なるところは、制御部１０の木構造エンコーディング部１２を木構造エンコーディング部１２Ａに変更した点にある。なお、ＰＥ付与部５１および木構造エンコーディング部１２Ａは、図８に示す機械学習装置１と同一の構成であるので、同一符号で示し、その重複する構成および動作の説明については省略する。
［木構造エンコーディングの一例］
図１０は、実施例２に係る木構造エンコーディングの一例を示す図である。なお、文が「薬Ａを無作為に抽出した病気Ｂの患者に投与したところ、効果があった」である場であって「薬Ａ」と「病気Ｂ」との間の関係（「効果」）を抽出（判定）する場合であるとする。
図１０左図には、文における木構造の係り受け木が示されている。かかる係り受け木は、木構造エンコーディング部１２Ａによって変換される。すなわち、木構造エンコーディング部１２Ａは、係り受け解析部１１によって解析された文における文節単位の係り受けを用いて、文節単位の係り受けからなる木構造の係り受け木に変換する。なお、図１０におけるそれぞれの四角のボックスはＬＳＴＭである。
加えて、ＰＥ付与部５１は、木構造の係り受け木を用いて、文節ごとに、「薬Ａ」と「病気Ｂ」との係り受け距離を示すＰＥを求めて、求めたＰＥを付与する。それぞれのＬＳＴＭの右横に、ＰＥが示されている。ここでは、「薬Ａ」のＰＥは、（０，３）である。すなわち、「薬Ａ」からの距離は、自身であるので、「０」である。「病気Ｂ」からの距離は、「病気Ｂ」を「０」として「患者」→「投与」→「薬Ａ」の「３」となる。また、「患者」のＰＥは、（２，１）である。すなわち、「薬Ａ」からの距離は、「薬Ａ」を「０」として「投与」→「患者」の「２」となる。「病気Ｂ」からの距離は、「病気Ｂ」を「０」として「１」となる。また、「病気Ｂ」のＰＥは、（３，０）である。すなわち、「薬Ａ」からの距離は、「薬Ａ」を「０」として「投与」→「患者」→「病気Ｂ」の「３」となる。「病気Ｂ」からの距離は、自身であるので、「０」である。また、「抽出」および「無作為」のＰＥは、「薬Ａ」と「病気Ｂ」との間にないので、「Ｏｕｔ」となる。同様に、「ところ」、「あった」および「効果」のＰＥは、「薬Ａ」と「病気Ｂ」との間にないので、「Ｏｕｔ」となる。
木構造エンコーディング部１２Ａは、文に含まれる「薬Ａ」と「病気Ｂ」とに対し、変換した係り受け木に含まれる２つのノードであって「薬Ａ」に対応するノードと「病気Ｂ」に対応するノードとの共通の祖先ノード（ＬＣＡ）を特定する。特定されるＬＣＡは、「投与」に対応するノードとなる。
木構造エンコーディング部１２Ａは、パラメタ２１およびＰＥを用いて、係り受け木に含まれる葉ノードのそれぞれからＬＣＡに向かう経路に沿って係り受け木に含まれる各ノードをエンコーディングすることによって、ＬＣＡのエンコーディング結果のベクトルを求める。すなわち、木構造エンコーディング部１２Ａは、葉ノードのそれぞれからＬＣＡに向かう経路に沿って各ノードのＰＥを含む情報をＬＣＡに集約する。左図では、葉ノードは、「薬Ａ」、「無作為」、「病気Ｂ」、「効果」に対応するノードである。
ここでは、左図に示すように、木構造エンコーディング部１２Ａは、「薬Ａ」をＬＳＴＭに入力する。木構造エンコーディング部１２Ａは、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）とＰＥ（０，３）とを結合したベクトルを、パラメタが示す「上」に位置する「投与」（ＬＣＡ）のＬＳＴＭに出力する。
また、木構造エンコーディング部１２Ａは、「無作為」をＬＳＴＭに入力する。木構造エンコーディング部１２Ａは、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）とＰＥ（Ｏｕｔ）とを結合したベクトルをパラメタが示す「上」に位置する「抽出」のＬＳＴＭに出力する。
また、木構造エンコーディング部１２Ａは、「抽出」と、「無作為」からのベクトルをＬＳＴＭに入力する。木構造エンコーディング部１２Ａは、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）と、ＰＥ（Ｏｕｔ）とを結合したベクトルをパラメタが示す「上」に位置する「患者」のＬＳＴＭに出力する。
また、木構造エンコーディング部１２Ａは、「病気Ｂ」をＬＳＴＭに入力する。木構造エンコーディング部１２Ａは、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）とＰＥ（３，０）とを結合したベクトルをパラメタが示す「上」に位置する「患者」のＬＳＴＭに出力する。
また、木構造エンコーディング部１２Ａは、「患者」と、「抽出」からのベクトルと、「病気Ｂ」からのベクトルとをＬＳＴＭに入力する。木構造エンコーディング部１２Ａは、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）とＰＥ（２，１）とを結合したベクトルをパラメタが示す「上」に位置する「投与」（ＬＣＡ）のＬＳＴＭに出力する。
一方、木構造エンコーディング部１２Ａは、「効果」をＬＳＴＭに入力する。木構造エンコーディング部１２Ａは、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）とＰＥ（Ｏｕｔ）とを結合したベクトルをパラメタが示す「上」に位置する「あった」のＬＳＴＭに出力する。
また、木構造エンコーディング部１２Ａは、「あった」と、「効果」からのベクトルをＬＳＴＭに入力する。木構造エンコーディング部１２Ａは、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）と、ＰＥ（Ｏｕｔ）とを結合したベクトルをパラメタが示す「下」に位置する「ところ」のＬＳＴＭに出力する。
また、木構造エンコーディング部１２Ａは、「ところ」と、「あった」からのベクトルをＬＳＴＭに入力する。木構造エンコーディング部１２Ａは、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）と、ＰＥ（Ｏｕｔ）とを結合したベクトルをパラメタが示す「下」に位置する「投与」（ＬＣＡ）のＬＳＴＭに出力する。
そして、木構造エンコーディング部１２Ａは、「投与」と、「ところ」からのベクトルと、「薬Ａ」からのベクトルと、「患者」からのベクトルとをＬＳＴＭに入力する。木構造エンコーディング部１２Ａは、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）をＬＣＡのエンコード結果（ベクトル）として求める。すなわち、木構造エンコーディング部１２Ａは、葉ノードのそれぞれからＬＣＡに向かう経路に沿って各ノードの情報をＬＣＡに集約する。
この後、木構造エンコーディング部１２Ａは、ＬＣＡのエンコード結果（ベクトル）に基づいて、パラメタ２１およびＰＥを用いて、ＬＣＡから葉ノードに向かう経路に沿って係り受け木に含まれる各ノードをエンコーディングする。つまり、木構造エンコーディング部１２Ａは、ＬＣＡに文全体の情報を集約した後に、集約したＰＥを含む情報を逆向きに伝播させて、係り受け木の各ノードをエンコーディングする。
ここでは、右図に示すように、ＬＣＡのエンコード結果（ベクトル）は、ｈＬＣＡであるとする。木構造エンコーディング部１２Ａは、ｈＬＣＡを、葉ノードに向かう、パラメタが示す「下」に位置する「薬Ａ」および「患者」のＬＳＴＭに出力する。木構造エンコーディング部１２Ａは、ｈＬＣＡを、葉ノードに向かう、パラメタが示す「上」に位置する「ところ」のＬＳＴＭに出力する。
木構造エンコーディング部１２Ａは、「薬Ａ」と、ｈＬＣＡとをＬＳＴＭに入力する。木構造エンコーディング部１２Ａは、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）ｈ薬Ａを出力する。
また、木構造エンコーディング部１２Ａは、「患者」と、ｈＬＣＡとをＬＳＴＭに入力する。木構造エンコーディング部１２Ａは、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）としてｈ患者を出力する。木構造エンコーディング部１２Ａは、ｈ患者とＰＥ（２，１）とを結合したベクトルをパラメタが示す「下」に位置する「抽出」と「病気Ｂ」のＬＳＴＭに出力する。
また、木構造エンコーディング部１２Ａは、「抽出」と、「患者」からのベクトルとをＬＳＴＭに入力する。木構造エンコーディング部１２Ａは、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）としてｈ抽出を出力する。木構造エンコーディング部１２Ａは、ｈ抽出とＰＥ（Ｏｕｔ）とを結合したベクトルをパラメタが示す「下」に位置する「無作為」のＬＳＴＭに出力する。
また、木構造エンコーディング部１２Ａは、「無作為」と、「抽出」からのベクトルとをＬＳＴＭに入力する。木構造エンコーディング部１２Ａは、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）としてｈ無作為を出力する。
また、木構造エンコーディング部１２Ａは、「病気Ｂ」と、「患者」からのベクトルとをＬＳＴＭに入力する。木構造エンコーディング部１２Ａは、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）としてｈ病気Ｂを出力する。
一方、木構造エンコーディング部１２は、「ところ」と、ｈＬＣＡとをＬＳＴＭに入力する。木構造エンコーディング部１２Ａは、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）としてｈところを出力する。木構造エンコーディング部１２Ａは、ｈところとＰＥ（Ｏｕｔ）とを結合したベクトルをパラメタが示す「上」に位置する「あった」のＬＳＴＭに出力する。
また、木構造エンコーディング部１２は、「あった」と、「ところ」からのベクトルとをＬＳＴＭに入力する。木構造エンコーディング部１２Ａは、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）としてｈあったを出力する。木構造エンコーディング部１２Ａは、ｈあったとＰＥ（Ｏｕｔ）とを結合したベクトルをパラメタが示す「下」に位置する「効果」のＬＳＴＭに出力する。
また、木構造エンコーディング部１２Ａは、「効果」と、「あった」からのベクトルとをＬＳＴＭに入力する。木構造エンコーディング部１２Ａは、ＬＳＴＭによってエンコーディングされたエンコード結果（ベクトル）としてｈ効果を出力する。
そして、木構造エンコーディング部１２Ａは、各ノードのエンコード結果を示すベクトルから文のベクトルを求める。ここでは、木構造エンコーディング部１２Ａは、以下のように、文のベクトルｈ文を求めることができる。
ｈ文＝［ｈ薬Ａ；ｈ無作為；ｈ抽出；ｈ病気Ｂ；ｈ患者；ｈ投与；ｈところ；ｈ効果；ｈあった；］
これにより、木構造エンコーディング部１２Ａは、各単語を表すベクトルにターゲット（ここでは、「薬Ａ」および「病気Ｂ」）との位置関係（ＰＥ）を加えて明示することで、重要なＳＰ内の情報とそうでない情報との扱いを変えることができる。この結果、木構造エンコーディング部１２Ａは、ターゲットと関係ある単語であるのかどうかについて、精度良くエンコーディングすることが可能となる。この結果、木構造エンコーディング部１２Ａは、係り受け木における「薬Ａ」および「病気Ｂ」のＳＰ外に基づいた、文のエンコーディングを精度良く行なうことが可能となる。
［実施例２の効果］
上記実施例２によれば、木構造エンコーディング部１２Ａは、葉ノードのそれぞれから共通の祖先ノードに向かう経路に沿って各ノードにおける、第１ノードとの位置関係および第２ノードとの位置関係を含む情報を共通の祖先ノードに集約する処理を含む。これにより、木構造エンコーディング部１２Ａは、第１ノードおよび第２ノードに対して重要なノードと重要でないノードとの扱いを変えることができる。この結果、木構造エンコーディング部１２Ａは、第１ノードおよび第２ノードと関係があるノードであるのかどうかについて、精度良くエンコーディングすることが可能となる。
［その他］
なお、実施例１，２では、機械学習装置１および予測装置３を含む情報処理装置が、日本語に対する文に関し、以下の処理を行うことについて説明した。すなわち、情報処理装置は、日本語に対する文全体の係り受け木において、共通の祖先ノードに文全体の情報を集約して、集約した情報を用いて係り受け木の各ノードをエンコーディングすることについて説明した。しかしながら、情報処理装置は、これに限定されず、英語に対する文に関する場合であっても良い。すなわち、情報処理装置は、英語に対する文全体の係り受け木において、共通の祖先ノードに文全体の情報を集約して、集約した情報を用いて係り受け木の各ノードをエンコーディングする場合であっても良い。
また、図示した機械学習装置１や予測装置３の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、機械学習装置１や予測装置３の分散・統合の具体的態様は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、木構造エンコーディング部１２を、各ノードの情報をＬＣＡに集約する集約部と、ＬＣＡに集約した情報を逆向きに伝播させる逆向き伝播部とに分散しても良い。また、ＰＥ付与部５１と、木構造エンコーディング部１２とを１つの機能部として統合しても良い。また、記憶部２０を機械学習装置１の外部装置としてネットワーク経由で接続するようにしても良い。また、記憶部４０を予測装置３の外部装置としてネットワーク経由で接続するようにしても良い。
また、上記実施例では、機械学習装置１と予測装置３とに分離する構成として説明した。しかしながら、情報処理装置が、機械学習装置１の機械学習処理と予測装置３の予測処理とを含む構成としても良い。
また、上記実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１に示した機械学習装置１や予測装置３と同様の機能を実現するエンコーディングプログラムを実行するコンピュータの一例を説明する。ここでは、機械学習装置１と同様の機能を実現するエンコーディングプログラムを一例として説明する。図１１は、エンコーディングプログラムを実行するコンピュータの一例を示す図である。
図１１に示すように、コンピュータ２００は、各種演算処理を実行するＣＰＵ２０３と、ユーザからのデータの入力を受け付ける入力装置２１５と、表示装置２０９を制御する表示制御部２０７とを有する。また、コンピュータ２００は、記憶媒体からプログラムなどを読取るドライブ装置２１３と、ネットワークを介して他のコンピュータとの間でデータの授受を行う通信制御部２１７とを有する。また、コンピュータ２００は、各種情報を一時記憶するメモリ２０１と、ＨＤＤ（Hard Disk Drive）２０５を有する。そして、メモリ２０１、ＣＰＵ２０３、ＨＤＤ２０５、表示制御部２０７、ドライブ装置２１３、入力装置２１５、通信制御部２１７は、バス２１９で接続されている。
ドライブ装置２１３は、例えばリムーバブルディスク２１０用の装置である。ＨＤＤ２０５は、エンコーディングプログラム２０５ａおよびエンコーディング処理関連情報２０５ｂを記憶する。
ＣＰＵ２０３は、エンコーディングプログラム２０５ａを読み出して、メモリ２０１に展開し、プロセスとして実行する。かかるプロセスは、機械学習装置１の各機能部に対応する。エンコーディング処理関連情報２０５ｂは、パラメタ２１、エンコード結果２２およびパラメタ２３に対応する。そして、例えばリムーバブルディスク２１０が、エンコーディングプログラム２０５ａなどの各情報を記憶する。
なお、エンコーディングプログラム２０５ａについては、必ずしも最初からＨＤＤ２０５に記憶させておかなくても良い。例えば、コンピュータ２００に挿入されるフレキシブルディスク（ＦＤ）、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、光磁気ディスク、ＩＣ（Integrated Circuit）カードなどの「可搬用の物理媒体」に当該プログラムを記憶させておく。そして、コンピュータ２００がこれらからエンコーディングプログラム２０５ａを読み出して実行するようにしても良い。
１ 機械学習装置
１０，３０ 制御部
１１ 係り受け解析部
１２，１２Ａ 木構造エンコーディング部
１３ 関係抽出学習部
２０，４０ 記憶部
２１ パラメタ
２２，４２ エンコード結果
２３ パラメタ
３ 予測装置
３１ 関係抽出予測部
５１ ＰＥ付与部

Claims (8)

  1. 文に含まれる複数の文節のうちの第１文節と第２文節との関係性の判定に用いる前記複数の文節それぞれのベクトルを求める場合に、前記文から生成した係り受け木に含まれる２つのノードを示す前記第１文節に対応する第１ノードと前記第２文節に対応する第２ノードとの最短係り受け経路に含まれるノードであって、前記係り受け木における前記第１ノードと前記第２ノードとの共通の祖先ノードを特定し、
    前記係り受け木に含まれる葉ノードのそれぞれから前記共通の祖先ノードに向かう経路に応じて前記係り受け木に含まれる各ノードをエンコーディングすることによって、前記共通の祖先ノードのベクトルを求め、
    前記共通の祖先ノードのベクトルに基づいて、前記共通の祖先ノードから前記葉ノードに向かう経路に応じて前記係り受け木に含まれる各ノードをエンコーディングする、
    処理をコンピュータに実行させることを特徴とするエンコーディングプログラム。
  2. 前記共通の祖先ノードのベクトルを求める処理は、葉ノードのそれぞれから前記共通の祖先ノードに向かう経路に沿って各ノードの情報を前記共通の祖先ノードに集約することによって、前記共通の祖先ノードのベクトルを求める処理を含む、
    ことを特徴とする請求項１に記載のエンコーディングプログラム。
  3. 前記集約する処理は、葉ノードのそれぞれから前記共通の祖先ノードに向かう経路に沿って各ノードにおける、前記第１ノードとの位置関係および前記第２ノードとの位置関係を含む情報を前記共通の祖先ノードに集約する処理を含む、
    ことを特徴とする請求項２に記載のエンコーディングプログラム。
  4. 各ノードのエンコーディング結果を示すベクトルから前記文のベクトルを求め、
    前記文のベクトルと前記文のベクトルに対応する正解ラベルとを入力し、前記入力に応じて機械学習モデルが出力する前記文に含まれる第１文節と第２文節との関係に対応する予測結果と前記正解ラベルとの差に基づいた機械学習によって前記機械学習モデルを更新する、
    ことを特徴とする請求項１に記載のエンコーディングプログラム。
  5. 他の文のベクトルを前記更新された機械学習モデルに入力し、前記他の文に含まれる第１文節と第２文節との関係に対応する予測結果を出力する、
    ことを特徴とする請求項４に記載のエンコーディングプログラム。
  6. 前記係り受け木における根に対応するノード以外のノードが、前記共通の祖先ノードとして特定されうる、
    ことを特徴とする請求項１に記載のエンコーディングプログラム。
  7. 文に含まれる複数の文節のうちの第１文節と第２文節との関係性の判定に用いる前記複数の文節それぞれのベクトルを求める場合に、前記文から生成した係り受け木に含まれる２つのノードを示す前記第１文節に対応する第１ノードと前記第２文節に対応する第２ノードとの最短係り受け経路に含まれるノードであって、前記係り受け木における前記第１ノードと前記第２ノードとの共通の祖先ノードを特定する特定部と、
    前記係り受け木に含まれる葉ノードのそれぞれから前記共通の祖先ノードに向かう経路に応じて前記係り受け木に含まれる各ノードをエンコーディングすることによって前記共通の祖先ノードのベクトルを生成する第１のエンコーディング部と、
    前記共通の祖先ノードのベクトルに基づいて、前記共通の祖先ノードから前記葉ノードに向かう経路に応じて前記係り受け木に含まれる各ノードをエンコーディングする第２のエンコーディング部と、
    を有することを特徴とする情報処理装置。
  8. 文に含まれる複数の文節のうちの第１文節と第２文節との関係性の判定に用いる前記複数の文節それぞれのベクトルを求める場合に、前記文から生成した係り受け木に含まれる２つのノードを示す前記第１文節に対応する第１ノードと前記第２文節に対応する第２ノードとの最短係り受け経路に含まれるノードであって、前記係り受け木における前記第１ノードと前記第２ノードとの共通の祖先ノードを特定し、
    前記係り受け木に含まれる葉ノードのそれぞれから前記共通の祖先ノードに向かう経路に応じて前記係り受け木に含まれる各ノードをエンコーディングすることによって、前記共通の祖先ノードのベクトルを求め、
    前記共通の祖先ノードのベクトルに基づいて、前記共通の祖先ノードから前記葉ノードに向かう経路に応じて前記係り受け木に含まれる各ノードをエンコーディングする、
    処理をコンピュータが実行することを特徴とするエンコーディング方法。
JP2020056889A 2020-03-26 2020-03-26 エンコーディングプログラム、情報処理装置およびエンコーディング方法 Active JP7472587B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020056889A JP7472587B2 (ja) 2020-03-26 2020-03-26 エンコーディングプログラム、情報処理装置およびエンコーディング方法
US17/206,188 US20210303802A1 (en) 2020-03-26 2021-03-19 Program storage medium, information processing apparatus and method for encoding sentence

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020056889A JP7472587B2 (ja) 2020-03-26 2020-03-26 エンコーディングプログラム、情報処理装置およびエンコーディング方法

Publications (2)

Publication Number Publication Date
JP2021157483A JP2021157483A (ja) 2021-10-07
JP7472587B2 true JP7472587B2 (ja) 2024-04-23

Family

ID=77856332

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020056889A Active JP7472587B2 (ja) 2020-03-26 2020-03-26 エンコーディングプログラム、情報処理装置およびエンコーディング方法

Country Status (2)

Country Link
US (1) US20210303802A1 (ja)
JP (1) JP7472587B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113807091B (zh) * 2021-08-12 2022-07-22 北京百度网讯科技有限公司 词语挖掘方法、装置、电子设备和可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017076281A (ja) 2015-10-15 2017-04-20 日本電信電話株式会社 単語埋込学習装置、テキスト評価装置、方法、及びプログラム
US20180300314A1 (en) 2017-04-12 2018-10-18 Petuum Inc. Constituent Centric Architecture for Reading Comprehension

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7610191B2 (en) * 2004-10-06 2009-10-27 Nuance Communications, Inc. Method for fast semi-automatic semantic annotation
US7970600B2 (en) * 2004-11-03 2011-06-28 Microsoft Corporation Using a first natural language parser to train a second parser
US20080221870A1 (en) * 2007-03-08 2008-09-11 Yahoo! Inc. System and method for revising natural language parse trees
US20140297264A1 (en) * 2012-11-19 2014-10-02 University of Washington through it Center for Commercialization Open language learning for information extraction
US10339223B2 (en) * 2014-09-05 2019-07-02 Nec Corporation Text processing system, text processing method and storage medium storing computer program
WO2016141187A1 (en) * 2015-03-04 2016-09-09 The Allen Institute For Artificial Intelligence System and methods for generating treebanks for natural language processing by modifying parser operation through introduction of constraints on parse tree structure
CN108388561B (zh) * 2017-02-03 2022-02-25 百度在线网络技术（北京）有限公司 神经网络机器翻译方法和装置
US20180232443A1 (en) * 2017-02-16 2018-08-16 Globality, Inc. Intelligent matching system with ontology-aided relation extraction
CA3006826A1 (en) * 2018-05-31 2019-11-30 Applied Brain Research Inc. Methods and systems for generating and traversing discourse graphs using artificial neural networks
US20200074321A1 (en) * 2018-09-04 2020-03-05 Rovi Guides, Inc. Methods and systems for using machine-learning extracts and semantic graphs to create structured data to drive search, recommendation, and discovery
US20200159863A1 (en) * 2018-11-20 2020-05-21 Sap Se Memory networks for fine-grain opinion mining
US11222143B2 (en) * 2018-12-11 2022-01-11 International Business Machines Corporation Certified information verification services
US11500841B2 (en) * 2019-01-04 2022-11-15 International Business Machines Corporation Encoding and decoding tree data structures as vector data structures
US11610683B2 (en) * 2019-08-05 2023-03-21 Kpn Innovations, Llc. Methods and systems for generating a vibrant compatibility plan using artificial intelligence
US11615240B2 (en) * 2019-08-15 2023-03-28 Salesforce.Com, Inc Systems and methods for a transformer network with tree-based attention for natural language processing
US11687826B2 (en) * 2019-08-29 2023-06-27 Accenture Global Solutions Limited Artificial intelligence (AI) based innovation data processing system
US11676067B2 (en) * 2020-02-14 2023-06-13 Nice Ltd. System and method for creating data to train a conversational bot

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017076281A (ja) 2015-10-15 2017-04-20 日本電信電話株式会社 単語埋込学習装置、テキスト評価装置、方法、及びプログラム
US20180300314A1 (en) 2017-04-12 2018-10-18 Petuum Inc. Constituent Centric Architecture for Reading Comprehension

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Zhiyang Teng 他1名，Head-Lexicalized Bidirectional Tree LSTMs，ACL Anthology，2017年，[2023年10月23日検索]，インターネット＜URL：https://aclanthology.org/Q17-1012.pdf＞
辻村有輝 他2名，係り受け木上の不要な情報にマスクを行う関係分類，言語処理学会第25回年次大会 発表論文集，日本，言語処理学会，2019年03月04日，73-76頁

Also Published As

Publication number Publication date
US20210303802A1 (en) 2021-09-30
JP2021157483A (ja) 2021-10-07

Similar Documents

Publication Publication Date Title
Tan et al. Neural machine translation: A review of methods, resources, and tools
Chen et al. Distraction-Based Neural Networks for Modeling Document.
Haidar et al. Textkd-gan: Text generation using knowledge distillation and generative adversarial networks
Bikel Intricacies of Collins' parsing model
US10719668B2 (en) System for machine translation
US8849665B2 (en) System and method of providing machine translation from a source language to a target language
Chen et al. Distraction-based neural networks for document summarization
CN110264991A (zh) 语音合成模型的训练方法、语音合成方法、装置、设备及存储介质
JP5071373B2 (ja) 言語処理装置、言語処理方法および言語処理用プログラム
JP2021152963A (ja) 語義特徴の生成方法、モデルトレーニング方法、装置、機器、媒体及びプログラム
Çöltekin A set of open source tools for Turkish natural language processing.
WO2019208070A1 (ja) 質問応答装置、質問応答方法及びプログラム
JP7337770B2 (ja) 文書レベルの自然言語処理モデルを訓練させる方法およびシステム
Sadredini et al. A scalable solution for rule-based part-of-speech tagging on novel hardware accelerators
Peng et al. Sequence-to-sequence models for cache transition systems
Matteson et al. Rich character-level information for Korean morphological analysis and part-of-speech tagging
KR20160133349A (ko) 구 표 생성 방법 및 구 표를 이용한 기계 번역 방법
CN115860006A (zh) 一种基于语义句法的方面级情感预测方法及装置
KR20200132619A (ko) 구어에서 수어로의 주의 기반 인공신경망 기계 번역 방법 및 그 장치
Breiner et al. UserLibri: A dataset for ASR personalization using only text
JP7472587B2 (ja) エンコーディングプログラム、情報処理装置およびエンコーディング方法
KR101860472B1 (ko) 오픈 디렉터리 프로젝트 기반의 텍스트 분류기, 및 텍스트 분류기의 생성 및 분류 방법
JP2013054607A (ja) 並べ替え規則学習装置、方法、及びプログラム、並びに翻訳装置、方法、及びプログラム
Kaljahi et al. Detecting opinion polarities using kernel methods
WO2020250279A1 (ja) モデル学習装置、方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20221208

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20231019

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231031

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20231226

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240312

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240325

R150 Certificate of patent or registration of utility model

Ref document number: 7472587

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150