JPWO2019092867A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JPWO2019092867A1
JPWO2019092867A1 JP2019551848A JP2019551848A JPWO2019092867A1 JP WO2019092867 A1 JPWO2019092867 A1 JP WO2019092867A1 JP 2019551848 A JP2019551848 A JP 2019551848A JP 2019551848 A JP2019551848 A JP 2019551848A JP WO2019092867 A1 JPWO2019092867 A1 JP WO2019092867A1
Authority
JP
Japan
Prior art keywords
word
words
training
analysis
generated
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2019551848A
Other languages
English (en)
Other versions
JP6860084B2 (ja
Inventor
石川 開
開 石川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019092867A1 publication Critical patent/JPWO2019092867A1/ja
Application granted granted Critical
Publication of JP6860084B2 publication Critical patent/JP6860084B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/237Lexical tools
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Computation (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

情報処理装置は、訓練用単語列を生成する字句解析部と、複数の訓練用単語グループを生成するグループ生成部と、複数の訓練用単語グループごとに、複数の単語と複数の単語それぞれの意味ベクトルとが対応付けられた訓練用行列を生成する行列生成部と、行列生成部が生成した複数の訓練用行列と畳み込みニューラルネットワークを用いた判定モデルとを用いて、訓練用単語列の各位置の単語について特定単語に該当する確率を算出する分類部と、分類部が算出した訓練用単語列の各位置の単語の確率のうち、特定単語に該当することを示すラベルが付された単語の確率が高くなるように、判定モデルのパラメータを更新する最適化処理部とを備える。

Description

本発明は、情報処理装置、情報処理方法及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
近年、与えられたテキストから、特定の事象情報に関する単語を抽出するシステムの開発が進められている。
例えば、非特許文献1には、畳み込みニューラルネットワーク(Convolutional Neural Network:以下、CNNとも記載する。)を利用したシステムによって、与えられたテキストから、特定の事象情報に関する単語(以下、特定単語と記載する。)を抽出する方法が開示されている。
図15は、非特許文献1の方法を利用した抽出装置の構成を示すブロック図である。図15に示す抽出装置100は、字句解析部101と、エンコーダ102と、分類部103と、最適化処理部104とを備えている。抽出装置100では、分類部103は、訓練用テキストを用いて学習された判定モデルによって、与えられたテキスト(以下、分析用テキストと記載する。)から特定単語を抽出する。
図16は、訓練用テキストの一部を示す図である。抽出装置100において判定モデルを学習する際には、まず、訓練用テキスト、及び特定単語の訓練用テキストにおける位置を示す位置情報が、字句解析部101に入力される。具体的には、例えば、特定の事象情報として“transfer money”が与えられ、特定単語として“paid”が与えられた場合には、訓練用テキストにおける“paid”の位置が、訓練用テキストとともに字句解析部101に入力される。字句解析部101は、入力された訓練用テキストを字句解析することによって、図17に示すような単語列を生成する。
エンコーダ102は、字句解析部101が生成した単語列から、検出対象の単語105を中心とする所定長さLのウインドウWを用いて複数の単語を抽出する。より具体的には、字句解析部101は、ウインドウWの位置を移動させながら、各位置において複数の単語を抽出することによって、複数の単語グループを生成する。
また、エンコーダ102は、複数の単語グループに対応する複数の行列を生成する。図18は、エンコーダ102によって生成される行列の一例を示す図である。なお、図18は、“was, booked, and, paid, for”によって構成される単語グループに対応する行列を示す。図18を参照して、エンコーダ102は、各単語グループの複数の単語に対して、辞書モデルを用いて生成した意味ベクトルを対応付けることによって、単語グループごとに、複数の単語と複数の単語それぞれの意味ベクトルとが対応付けられた行列を生成する。なお、図18では、“was”の意味ベクトルを表す部分が一点鎖線で囲まれている。
分類部103は、エンコーダ102が生成した行列とCNNを用いた判定モデルとを用いて、単語列(図17参照)の各位置の単語について、特定単語に該当するか否かを判定する。言い換えると、分類部103は、特定単語の訓練用テキストにおける位置を特定する。
最適化処理部104は、分類部103の判定結果と、特定単語の訓練用テキストにおける実際の位置とに基づいて、判定モデルのパラメータを更新する。このようにして、抽出装置100においては、判定モデルが学習される。判定モデルが学習された後、分析用テキストが字句解析部101に与えられると、エンコーダ102によって上記のようにして行列が生成され、生成された行列と学習された判定モデルとを用いて分類部103によって、特定単語が抽出される。
Y.Kim, 2014 "Convolutional Neural Networks for SentenceClassification"EMNLP2014、2014年10月25日、p.1746−1751
非特許文献1に開示された方法を利用した上述の抽出装置100では、ウインドウWの長さを大きくして複数の単語を抽出することによって、検出対象の単語の周辺の文脈を考慮することができる。これにより、検出対象の単語が有する意味のあいまい性を解消して、検出対象の単語が特定単語に該当するか否かを判定することができる。しかしながら、本発明者による検討の結果、ウインドウWの長さを大きくすることによって、特定単語のテキストにおける位置の特定精度が低下する場合があることが分かった。
本発明の目的の一例は、与えられたテキストから、特定の事象情報に関する単語を精度よく抽出することができる、情報処理装置、情報処理方法及びコンピュータ読み取り可能な記録媒体を提供することにある。
上記目的を達成するため、本発明の一側面における情報処理装置は、
訓練用テキスト、及び特定の事象情報に関する単語の前記訓練用テキストにおける位置を示す位置情報を取得し、前記訓練用テキストを字句解析することによって、前記訓練用テキストにおける位置を示す位置情報及び前記事象情報に関する単語に該当するか否かを示すラベルが単語ごとに付された訓練用単語列を生成する、字句解析部と、
前記字句解析部が生成した前記訓練用単語列において、検出対象の単語を中心とする長さの異なる複数のウインドウによって構成されたウインドウの組の位置を、前記訓練用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の訓練用単語グループを生成する、グループ生成部と、
予め設定された辞書モデルを用いて生成された、前記訓練用単語列の複数の単語それぞれの意味ベクトルを、前記複数の訓練用単語グループの各単語に対応付けることによって、前記複数の訓練用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた訓練用行列を生成する、行列生成部と、
前記行列生成部が生成した複数の前記訓練用行列と畳み込みニューラルネットワークを用いた判定モデルとを用いて、前記訓練用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、分類部と、
前記分類部が算出した前記訓練用単語列の各位置の単語の前記確率のうち、前記事象情報に関する単語に該当することを示す前記ラベルが付された前記単語の前記確率が高くなるように、前記判定モデルのパラメータを更新する、最適化処理部と、
を備えることを特徴とする。
また、上記目的を達成するため、本発明の一側面における情報処理方法は、
(a)訓練用テキスト、及び特定の事象情報に関する単語の前記訓練用テキストにおける位置を示す位置情報を取得し、前記訓練用テキストを字句解析することによって、前記訓練用テキストにおける位置を示す位置情報及び前記事象情報に関する単語に該当するか否かを示すラベルが単語ごとに付された訓練用単語列を生成する、ステップと、
(b)前記(a)のステップで生成された前記訓練用単語列において、検出対象の単語を中心とする長さの異なる複数のウインドウによって構成されたウインドウの組の位置を、前記訓練用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の訓練用単語グループを生成する、ステップと、
(c)予め設定された辞書モデルを用いて生成された、前記訓練用単語列の複数の単語それぞれの意味ベクトルを、前記複数の訓練用単語グループの各単語に対応付けることによって、前記複数の訓練用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた訓練用行列を生成する、ステップと、
(d)前記(c)のステップで生成された複数の前記訓練用行列と畳み込みニューラルネットワークを用いた判定モデルとを用いて、前記訓練用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、ステップと、
(e)前記(d)のステップで算出された前記訓練用単語列の各位置の単語の前記確率のうち、前記事象情報に関する単語に該当することを示す前記ラベルが付された前記単語の前記確率が高くなるように、前記判定モデルのパラメータを更新する、ステップと、を備えることを特徴とする。
更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
コンピュータに、
(a)訓練用テキスト、及び特定の事象情報に関する単語の前記訓練用テキストにおける位置を示す位置情報を取得し、前記訓練用テキストを字句解析することによって、前記訓練用テキストにおける位置を示す位置情報及び前記事象情報に関する単語に該当するか否かを示すラベルが単語ごとに付された訓練用単語列を生成する、ステップと、
(b)前記(a)のステップで生成された前記訓練用単語列において、検出対象の単語を中心とする長さの異なる複数のウインドウによって構成されたウインドウの組の位置を、前記訓練用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の訓練用単語グループを生成する、ステップと、
(c)予め設定された辞書モデルを用いて生成された、前記訓練用単語列の複数の単語それぞれの意味ベクトルを、前記複数の訓練用単語グループの各単語に対応付けることによって、前記複数の訓練用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた訓練用行列を生成する、ステップと、
(d)前記(c)のステップで生成された複数の前記訓練用行列と畳み込みニューラルネットワークを用いた判定モデルとを用いて、前記訓練用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、ステップと、
(e)前記(d)のステップで算出された前記訓練用単語列の各位置の単語の前記確率のうち、前記事象情報に関する単語に該当することを示す前記ラベルが付された前記単語の前記確率が高くなるように、前記判定モデルのパラメータを更新する、ステップと、
を実行させる命令を含む、プログラムを記録していることを特徴とする。
以上のように本発明によれば、与えられたテキストから、特定の事象情報に関する単語を精度よく抽出することができる。
図1は、本発明の実施の形態における情報処理装置の概略構成を示す構成図である。 図2は、字句解析部が生成した訓練用単語列の一部と、グループ生成部が使用するウインドウの組との関係の一例を示す図である。 図3は、グループ生成部によって生成された複数の訓練用単語グループの一例を示す図である。 図4は、訓練用行列を示す概略図である。 図5は、本発明の一実施形態に係る情報処理装置の構成を具体的に示すブロック図である。 図6は、分類部による処理内容を示す概念図である。 図7は、CNNによって訓練用行列が圧縮される際の処理内容を概念的に示した図である。 図8は、CNNによって訓練用行列が圧縮される際の処理内容を概念的に示した図である。 図9は、単語ペアの正例数および負例数を示す図である。 図10は、単語ペアの正例数および負例数を示す図である。 図11は、単語ペアの正例数および負例数を示す図である。 図12は、本発明の実施の形態における情報処理方法の動作を示すフロー図である。 図13は、本発明の実施の形態における情報処理方法の動作を示すフロー図である。 図14は、本発明の実施の形態における情報処理装置を実現するコンピュータの一例を示すブロック図である。 図15は、非特許文献1の方法を利用した抽出装置の構成を示すブロック図である。 図16は、訓練用テキストの一部を示す図である。 図17は、単語列を示す図である。 図18は、エンコーダによって生成される行列の一例を示す図である。
(実施の形態)
以下、本発明の実施の形態における、情報処理装置、情報処理方法及びプログラムについて、図1〜図17を参照しながら説明する。
[装置構成]
最初に、本発明の実施の形態における情報処理装置の構成について説明する。図1は、本発明の実施の形態における情報処理装置の概略構成を示す構成図である。
図1に示すように、本実施の形態における情報処理装置10は、字句解析部12と、グループ生成部14と、行列生成部16と、分類部18と、最適化処理部20とを備えている。本実施形態における情報処理装置10では、訓練用テキストを用いて、後述する判定モデルが学習される。
具体的には、まず、字句解析部12に、訓練用テキスト(例えば、図16参照)、及び特定の事象情報に関する単語(以下、特定単語と記載する。)の訓練用テキストにおける位置を示す位置情報が入力される。本実施形態においては、例えば、特定の事象情報として“transfer money”が与えられ、特定単語として“paid”が与えられた場合には、訓練用テキストにおける“paid”の位置を示す位置情報が、訓練用テキストとともに字句解析部12に入力される。なお、本実施形態において位置情報とは、例えば、テキストにおける任意の単語の記述領域を示す数値(オフセット)であり、テキストの先頭からの距離を示す整数によって表される。
本実施形態では、字句解析部12は、入力された訓練用テキストを字句解析することによって、図17に示したような単語列(以下、訓練用単語列と記載する。)を生成する。なお、本実施形態では、字句解析部12によって生成された訓練用単語列の各単語には、その単語の訓練用テキストにおける位置を示す位置情報及び特定単語に該当するか否かを示すラベルが付与される。本実施形態では、各単語には、例えば、2値のいずれか(0又は1)が付与される。図17に示した例では、例えば、特定単語である“paid”には、特定単語に該当することを示すラベル(例えば、1)が付与され、“paid”以外の単語には、特定単語ではないことを示すラベル(例えば、0)が付与される。なお、本実施形態では、特定単語と同じ単語であっても、訓練用テキストにおける位置によっては、特定単語に該当しない場合がある。言い換えると、同じ単語が訓練テキスト中の2つの位置に存在する場合であっても、その単語の周辺の文脈によって、一方の単語は特定単語に該当し、他方の単語は特定単語に該当しない場合がある。この場合には、特定単語に該当しない単語には、特定単語ではないことを示すラベルが付与される。
グループ生成部14は、長さの異なる複数のウインドウによって構成されたウインドウの組を用いて、字句解析部12が生成した訓練用単語列から単語を抽出することによって、複数の訓練用単語グループを生成する。図2は、字句解析部12が生成した訓練用単語列の一部と、グループ生成部14が使用するウインドウの組との関係の一例を示す図である。
本実施形態では、グループ生成部14は、検出対象の単語32を中心とする長さL1のウインドウW1及び長さL2のウインドウW2によって構成されたウインドウの組W10を用いて、訓練用単語列30から複数の単語を抽出する。なお、本実施形態においてウインドウの長さは、単語数で示される。図2の例では、ウインドウW1の長さL1は3であり、ウインドウW2の長さL2は5である。なお、図2の例では、ウインドウの組W10は、2つのウインドウW1,W2によって構成されているが、3つ以上のウインドウによってウインドウの組が構成されてもよい。また、長さが1のウインドウ、すなわち、検出対象の単語のみを抽出するウインドウがウインドウの組に含まれていてもよい。ただし、ウインドウの組には、検出対象の単語を中心とする長さが3のウインドウと、検出対象の単語を中心とする長さが5のウインドウとが含まれていることが好ましい。本実施形態では、各ウインドウの長さは、奇数に設定される。また、ウインドウの組を構成する複数のウインドウは、長さが2ずつ増加するように設定されることが好ましい。
本実施形態では、グループ生成部14は、訓練用単語列30におけるウインドウの組W10の位置を、訓練用単語列30の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において、複数のウインドウW1,W2それぞれによって単語を抽出する。これにより、図3に示すように、訓練用単語列30におけるウインドウの組W10の位置ごとに、複数の訓練用単語グループG1,G2が生成される。なお、図3は、グループ生成部14によって生成された複数の訓練用単語グループの一例を示す図である。図3(a)は、図2に示す位置においてウインドウの組W10によって抽出された複数の単語を示し、図3(b)は、図2に示す位置から末尾側に一単語分移動したウインドウの組W10によって抽出された複数の単語を示す。また、図3において、訓練用単語グループG1は、ウインドウW1によって抽出された複数の単語によって構成されており、訓練用単語グループG2は、ウインドウW2によって抽出された複数の単語によって構成されている。
行列生成部16は、図4に示すように、グループ生成部14によって生成された複数の訓練用単語グループG1,G2の各単語に、その単語の意味ベクトルVを対応付けることによって、訓練用行列M1,M2を生成する。なお、図4に示した訓練用単語グループG1,G2は、図2に示す位置のウインドウの組W10によって生成された訓練用単語グループである。本実施形態では、行列生成部16は、グループ生成部14によって生成された全ての訓練用単語グループについて、訓練用行列を生成する。また、図4に示した訓練用行列M1,M2は概略図であり、各単語の意味ベクトルは、例えば、300次元で表現される。
本実施形態では、行列生成部16は、例えば、予め設定された辞書モデルを用いて、訓練用単語列30の各単語の意味ベクトルを取得する。そして、行列生成部16は、取得した各単語の意味ベクトルVを、グループ生成部14によって生成された複数の訓練用単語グループG1,G2の各単語に対応付けることによって、複数の訓練用行列M1,M2を生成することができる。なお、行列生成部16は、グループ生成部14によって複数の訓練用単語グループG1,G2が生成される前に、訓練用単語列30の複数の単語それぞれに意味ベクトルVを対応付けてもよい。この場合、グループ生成部14は、各単語に意味ベクトルVが対応付けられた訓練用単語列30から、訓練用単語グループG1,G2を生成してもよい。辞書モデルとしては、word2vec等の公知のモデルを利用できる。
分類部18は、グループ生成部14が生成した複数の訓練用行列M1,M2と畳み込みニューラルネットワーク(CNN)を用いて予め構築された判定モデルとを用いて、訓練用単語列30の各位置の単語について、特定単語に該当する確率を算出する。
最適化処理部20は、分類部18が算出した訓練用単語列30の各位置の単語の確率のうち、特定単語に該当することを示すラベルが付された単語の確率が高くなるように、判定モデルのパラメータを更新する。
以上のように、本実施形態では、検出対象の単語ごとに、長さの異なる複数のウインドウによって複数の訓練用単語グループが生成される。そして、複数の訓練用単語グループそれぞれから、訓練用行列が生成される。すなわち、本実施形態では、検出対象の単語ごとに、複数の訓練用行列が生成される。本実施形態では、このようにして生成された複数の訓練用行列を用いて、CNNを用いた判定モデルを学習することができる。これにより、詳細を後述するように、与えられたテキストから、特定単語を精度よく抽出することができるように、判定モデルを学習することができる。
次に、情報処理装置の具体的な構成について説明する。図5は、本発明の一実施形態に係る情報処理装置の構成を具体的に示すブロック図である。
図5を参照して、本実施形態では、情報処理装置10は、上述の字句解析部12、グループ生成部14、行列生成部16、分類部18、及び最適化処理部20に加えて、更に、辞書モデル記憶部22及びパラメータ記憶部24を備えている。辞書モデル記憶部22には、辞書モデルが記憶されている。本実施形態では、辞書モデル記憶部22には、word2vec等の公知の辞書モデルが記憶されている。パラメータ記憶部24には、CNNを用いて構築された判定モデルのパラメータが記憶されている。なお、本実施形態では、パラメータ記憶部24には、複数の事象情報に対応できるように、事象情報ごとのパラメータが記憶されている。
本実施形態においても、判定モデルを学習する際には、まず、字句解析部12に、訓練用テキスト及び特定単語の位置情報が入力される。上述したように、字句解析部12は、入力された訓練用テキストを字句解析することによって、訓練用単語列30(図2参照)を生成する。上述したように、訓練用単語列30の各単語には、位置情報及びラベルが付与される。
グループ生成部14は、ウインドウの組W10(図2参照)を用いて、訓練用単語列30から単語を抽出することによって、複数の訓練用単語グループG1,G2(図3参照)を生成する。
本実施形態では、行列生成部16は、辞書モデル記憶部22に記憶された辞書モデルを用いて、訓練用単語列30の各単語の意味ベクトルVを取得する。行列生成部16は、取得した各単語の意味ベクトルVを、複数の訓練用単語グループG1,G2の各単語に対応付けることによって、複数の訓練用行列M1,M2を生成する。また、分類部18は、パラメータ記憶部24に記憶された判定モデルのパラメータを用いて、訓練用単語列30の各位置の単語について、特定単語に該当する確率を算出する。本実施形態では、分類部18は、算出された確率が閾値(例えば、0.5)以上である単語を、特定単語と判定する。
最適化処理部20は、分類部18が算出した訓練用単語列30の各位置の単語の確率のうち、特定単語に該当することを示すラベルが付された単語の確率が高くなるように、パラメータ記憶部24に記憶されたパラメータを更新(最適化)する。これにより、判定モデルが学習される。なお、最適化処理部20は、公知の方法によって、パラメータを最適化できる。本実施形態では、最適化処理部20は、例えば、判定モデルのパラメータを引数とする損失関数を最小化するように、パラメータを更新する。具体的には、最適化処理部20は、例えば、目的関数の勾配方向の逆方向にパラメータを更新する勾配降下法を用いてパラメータを更新することができる。
また、本実施形態に係る情報処理装置10では、上記のようにして学習した判定モデルを用いて、分析用テキストから、特定単語が抽出される。具体的には、分析用テキストが字句解析部12に与えられると、字句解析部12は、学習時と同様に、分析用テキストを字句解析することによって、単語列(以下、分析用単語列と記載する。)を生成する。なお、分析用単語列の各単語には、位置情報が付与されるが、ラベルは付与されない。
グループ生成部14は、学習時と同様に、ウインドウの組W10(図2参照)を用いて、分析用単語列から単語を抽出することによって、複数の分析用単語グループを生成する。
行列生成部16は、学習時と同様に、辞書モデル記憶部22に記憶された辞書モデルを用いて、分析用単語列の各単語の意味ベクトルを取得する。また、行列生成部16は、学習時と同様に、取得した各単語の意味ベクトルを、複数の分析用単語グループの各単語に対応付けることによって、複数の分析用行列を生成する。
本実施形態では、分類部18には、分析対象となる事象情報が与えられる。分類部18は、学習時と同様に、パラメータ記憶部24に記憶された判定モデルのパラメータ(与えられた事象情報に対応するパラメータ)を用いて、分析用単語列の各位置の単語について、特定単語に該当する確率を算出する。本実施形態では、分類部18は、算出された確率が閾値(例えば、0.5)以上である単語を、特定単語と判定する。また、分類部18は、特定単語と判定した単語を抽出して、抽出した単語を位置情報とともに出力する。
ここで、分類部18による処理内容について説明する。図6は、分類部18による処理内容を示す概念図である。図6に示すように、CNNは、畳み込み層、プーリング層及び全結合層を含む。公知の技術であるので、CNNについての詳細な説明は省略するが、本実施形態では、行列生成部16によって生成された複数の行列は、異なる大きさの複数のフィルタによって、畳み込まれる(圧縮される)。
図7及び図8は、CNNによって訓練用行列M1,M2が圧縮される際の処理(畳み込み処理)の内容を概念的に示した図である。なお、図7及び図8に示した訓練用行列M1,M2は、上述のウインドウの組W10(長さLが3および5のウインドウW1,W2)を用いて生成された訓練用単語グループG1,G2から得られた行列である。また、図7及び図8には、は、特定単語が“paid”であり、畳み込みフィルタの大きさ(単語の数で表した大きさ)が2の場合の畳み込み処理の一例を示している。また、図7は、検出対象の単語が“and”の場合の例であり、図8は、検出対象の単語が“paid”の場合の例である。
図7及び図8に示すように、本実施形態では、分類部18は、学習時に畳み込み処理を行なう際に、各単語に付されたラベルに基づいて、畳み込み処理によって生成された単語のペアの「正例」および「負例」を判断する。具体的には、検出対象となる単語が特定単語ではない場合(図7参照)には、分類部18は、全ての単語のペアを「負例」と判断する。一方、検出対象となる単語が特定単語である場合には、分類部18は、全ての単語のペアを「正例」と判断する。したがって、例えば、図2に示した訓練用単語列30の各単語から生成された複数の訓練用行列M1,M2を、大きさが2の畳み込みフィルタで処理する場合、単語ペアの正例数および負例数は、図9に示すようになる。
ここで、図7及び図8の訓練用行列M1,M2を、分析用行列として見ると、分析時には、検出対象の単語が“and”の場合(図7参照)には、“booked and”のペア及び“and paid”のペアは、分析用行列M1および分析用行列M2からそれぞれ生成される。また、“was booked”のペア及び“paid for”のペアは、分析用行列M1からは生成されず、分析用行列M2のみから生成される。したがって、分析時には、検出対象の単語が“and”の場合、単語ペアの正例数および負例数は、図10に示すようにカウントされる。この場合、全カウントに対する正例数のカウントの割合(8/36)は、0.222となる。
一方、検出対象の単語が“paid”の場合(図8参照)には、“and paid”のペア及び“paid for”のペアは、分析用行列M1および分析用行列M2からそれぞれ生成される。また、“booked and”のペア及び“for 2”のペアは、分析用行列M1からは生成されず、分析用行列M2のみから生成される。したがって、分析時には、検出対象の単語が“paid”の場合、単語ペアの正例数および負例数は、図11に示すようにカウントされる。この場合、全カウントに対する正例数のカウントの割合(10/36)は、0.278となる。
以上のことから、本実施形態では、特定単語がウインドウの組W10の中央に位置している場合(すなわち、特定単語が検出対象の単語である場合)に、スコアが高くなるように、判定モデルを学習できていることが分かる。
特に、本実施形態では、学習時に、特定単語が検出対象の単語である場合には、分類部18は、複数の訓練用行列M1,M2それぞれから生成された特定単語を含む単語ペアを「正例」と判断する。例えば、図8の例では、分類部18において「正例」と判断される6つの単語ペアのうち、4つの単語ペア(2つの“and paid”及び2つの“paid for”)が特定単語を含む単語ペアである。一方、図15の抽出装置100において“paid”が特定単語でありかつ検出対象の単語である場合には、図8の訓練用行列M2と同様に、単語ペアの「正例」および「負例」が判断される。したがって、抽出装置100の分類部103において、「正例」と判断される単語ペアの数は4であり、その4つの単語ペアのうち2つの単語ペア(1つの“and paid”及び1つの“paid for”)が特定単語を含む単語ペアとなる。このように、本実施形態に係る情報処理装置10では、従来の技術を用いた情報処理装置(例えば、図15の抽出装置100)に比べて、分類部18において「正例」と判断される複数の単語ペアにおける、特定単語を含む単語ペアの割合を高くすることができる。
また、本実施形態では、分析時に、特定単語が検出対象の単語である場合には、分類部18において、特定単語を含む単語ペアが畳み込み層に入力される回数を、特定単語を含まない単語ペアが畳み込み層に入力される回数よりも多くすることができる。例えば、図8の訓練用行列M1,M2を分析用行列とすると、分類部18において畳み込み層に入力される6つの単語ペアのうち、4つの単語ペアが特定単語を含む単語ペアである。一方、図15の抽出装置100において“paid”が特定単語でありかつ検出対象の単語である場合には、分析用行列M2と同様に、単語ペアが畳み込み層に入力される。したがって、抽出装置100の分類部103は、4つの単語ペアを畳み込み層に入力し、その4つの単語ペアのうち2つの単語ペアが特定単語を含む単語ペアとなる。このように、本実施形態に係る情報処理装置10では、従来の技術を用いた情報処理装置(例えば、図15の抽出装置100)に比べて、特定単語を含む単語ペアの畳み込み層への入力回数を多くすることができる。これにより、分析用テキストにおける特定単語の位置を精度よく特定することが可能となる。
以上のように、本実施形態では、検出対象の単語を中心としかつ互いに長さが異なる複数のウインドウを用いることによって、分析用テキストから特定単語を精度よく抽出することができる。
[装置動作]
次に、本発明の実施の形態における情報処理装置10の動作について図12及び図13を用いて説明する。図12及び図13は、本発明の実施の形態における情報処理方法の動作を示すフロー図である。以下の説明においては、適宜図1〜図11を参酌する。また、本実施の形態では、情報処理装置10を動作させることによって、情報処理方法が実施される。よって、本実施の形態における情報処理方法の説明は、以下の情報処理装置10の動作説明に代える。
まず、学習時の情報処理装置10の動作について説明する。図12に示すように、まず、字句解析部12が、上述したように、訓練用テキストおよび特定単語の位置情報を取得した後、訓練用単語列を生成する(ステップS1)。
次に、グループ生成部14が、上述したように、訓練用単語列から、複数の訓練用単語グループを生成する(ステップS2)。次に、行列生成部16が、上述したように、訓練用行列を生成する(ステップS3)。次に、分類部18が、上述したように、訓練用単語列の各単語が、特定単語に該当する確率を算出する。(ステップS4)。
最後に、最適化処理部20が、上述したように、判定モデルのパラメータを更新する(ステップS5)。
次に、分析時の情報処理装置10の動作について説明する。図13に示すように、まず、字句解析部12が、上述したように、分析用テキストを取得した後、分析用単語列を生成する(ステップA1)。次に、グループ生成部14が、上述したように、分析用単語列から、複数の分析用単語グループを生成する(ステップA2)。次に、行列生成部16が、上述したように、分析用行列を生成する(ステップA3)。次に、分類部18が、上述したように、分析用単語列の各単語が、特定単語に該当する確率を算出する。(ステップA4)。
最後に、分類部18が、上述したように、分析用単語列から特定単語を抽出するとともに、抽出した単語の位置情報を出力する(ステップA5)。
[プログラム]
本実施の形態におけるプログラムは、コンピュータに、図12に示すステップS1〜S5及び図13に示すステップA1〜A5を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態における情報処理装置と情報処理方法とを実現することができる。この場合、コンピュータのプロセッサは、字句解析部12、グループ生成部14、行列生成部16、分類部18及び最適化処理部20として機能し、処理を行なう。
また、本実施の形態では、辞書モデル記憶部22およびパラメータ記憶部24は、コンピュータに備えられたハードディスク等の記憶装置に、これらを構成するデータファイルを格納することによって、又はこのデータファイルが格納された記録媒体をコンピュータと接続された読取装置に搭載することによって実現されている。
また、本実施の形態におけるプログラムは、複数のコンピュータによって構築されたコンピュータシステムによって実行されても良い。この場合は、例えば、各コンピュータが、それぞれ、字句解析部12、グループ生成部14、行列生成部16、分類部18及び最適化処理部20のいずれかとして機能しても良い。また、辞書モデル記憶部22およびパラメータ記憶部24は、本実施の形態におけるプログラムを実行するコンピュータとは別のコンピュータ上に構築されていても良い。
[物理構成]
ここで、実施の形態におけるプログラムを実行することによって、情報処理装置を実現するコンピュータについて図14を用いて説明する。図14は、本発明の実施の形態における情報処理装置10を実現するコンピュータの一例を示すブロック図である。
図14に示すように、コンピュータ110は、CPU111と、メインメモリ112と、記憶装置113と、入力インターフェイス114と、表示コントローラ115と、データリーダ/ライタ116と、通信インターフェイス117とを備える。これらの各部は、バス121を介して、互いにデータ通信可能に接続される。なお、コンピュータ110は、CPU111に加えて、又はCPU111に代えて、GPU(Graphics Processing Unit)、又はFPGA(Field-ProgrammableGate Array)を備えていても良い。
CPU111は、記憶装置113に格納された、本実施の形態におけるプログラム(コード)をメインメモリ112に展開し、これらを所定順序で実行することにより、各種の演算を実施する。メインメモリ112は、典型的には、DRAM(Dynamic Random Access Memory)等の揮発性の記憶装置である。また、本実施の形態におけるプログラムは、コンピュータ読み取り可能な記録媒体120に格納された状態で提供される。なお、本実施の形態におけるプログラムは、通信インターフェイス117を介して接続されたインターネット上で流通するものであっても良い。
また、記憶装置113の具体例としては、ハードディスクドライブの他、フラッシュメモリ等の半導体記憶装置が挙げられる。入力インターフェイス114は、CPU111と、キーボード及びマウスといった入力機器118との間のデータ伝送を仲介する。表示コントローラ115は、ディスプレイ装置119と接続され、ディスプレイ装置119での表示を制御する。
データリーダ/ライタ116は、CPU111と記録媒体120との間のデータ伝送を仲介し、記録媒体120からのプログラムの読み出し、及びコンピュータ110における処理結果の記録媒体120への書き込みを実行する。通信インターフェイス117は、CPU111と、他のコンピュータとの間のデータ伝送を仲介する。
また、記録媒体120の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記録媒体、又はCD−ROM(Compact DiskRead Only Memory)などの光学記録媒体が挙げられる。
なお、本実施の形態における情報処理装置10は、プログラムがインストールされたコンピュータではなく、各部に対応したハードウェアを用いることによっても実現可能である。更に、情報処理装置10は、一部がプログラムで実現され、残りの部分がハードウェアで実現されていてもよい。
上述した実施の形態の一部又は全部は、以下に記載する(付記1)〜(付記15)によって表現することができるが、以下の記載に限定されるものではない。
(付記1)
訓練用テキスト、及び特定の事象情報に関する単語の前記訓練用テキストにおける位置を示す位置情報を取得し、前記訓練用テキストを字句解析することによって、前記訓練用テキストにおける位置を示す位置情報及び前記事象情報に関する単語に該当するか否かを示すラベルが単語ごとに付された訓練用単語列を生成する、字句解析部と、
前記字句解析部が生成した前記訓練用単語列において、検出対象の単語を中心とする長さの異なる複数のウインドウによって構成されたウインドウの組の位置を、前記訓練用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の訓練用単語グループを生成する、グループ生成部と、
予め設定された辞書モデルを用いて生成された、前記訓練用単語列の複数の単語それぞれの意味ベクトルを、前記複数の訓練用単語グループの各単語に対応付けることによって、前記複数の訓練用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた訓練用行列を生成する、行列生成部と、
前記行列生成部が生成した複数の前記訓練用行列と畳み込みニューラルネットワークを用いた判定モデルとを用いて、前記訓練用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、分類部と、
前記分類部が算出した前記訓練用単語列の各位置の単語の前記確率のうち、前記事象情報に関する単語に該当することを示す前記ラベルが付された前記単語の前記確率が高くなるように、前記判定モデルのパラメータを更新する、最適化処理部と、
を備える、情報処理装置。
(付記2)
前記ウインドウの長さは単語の数によって示され、
前記複数のウインドウの長さはそれぞれ奇数に設定される、付記1に記載の情報処理装置。
(付記3)
前記ウインドウの組は、長さが3のウインドウと、長さが5のウインドウとを含む、付記2に記載の情報処理装置。
(付記4)
前記字句解析部は、分析対象となる分析用テキストを取得し、前記分析用テキストを字句解析することによって、前記分析用テキストにおける位置を示す位置情報が単語ごとに付された分析用単語列を生成し、
前記グループ生成部は、前記字句解析部が生成した前記分析用単語列において、前記ウインドウの組の位置を、前記分析用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の分析用単語グループを生成し、
行列生成部は、前記辞書モデルを用いて生成された、前記分析用単語列の複数の単語それぞれの意味ベクトルを、前記複数の分析用単語グループの各単語に対応付けることによって、前記複数の分析用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた分析用行列を生成し、
前記分類部は、前記行列生成部が生成した複数の前記分析用行列と前記判定モデルとを用いて、前記分析用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、付記1から3のいずれかに記載の情報処理装置。
(付記5)
前記分類部は、前記分析用単語列の複数の単語のうち、閾値以上の確率が算出された単語を前記特定の事象対象の単語として抽出するとともに、抽出した前記単語の前記位置情報を出力する、付記4に記載の情報処理装置。
(付記6)
(a)訓練用テキスト、及び特定の事象情報に関する単語の前記訓練用テキストにおける位置を示す位置情報を取得し、前記訓練用テキストを字句解析することによって、前記訓練用テキストにおける位置を示す位置情報及び前記事象情報に関する単語に該当するか否かを示すラベルが単語ごとに付された訓練用単語列を生成する、ステップと、
(b)前記(a)のステップで生成された前記訓練用単語列において、検出対象の単語を中心とする長さの異なる複数のウインドウによって構成されたウインドウの組の位置を、前記訓練用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の訓練用単語グループを生成する、ステップと、
(c)予め設定された辞書モデルを用いて生成された、前記訓練用単語列の複数の単語それぞれの意味ベクトルを、前記複数の訓練用単語グループの各単語に対応付けることによって、前記複数の訓練用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた訓練用行列を生成する、ステップと、
(d)前記(c)のステップで生成された複数の前記訓練用行列と畳み込みニューラルネットワークを用いた判定モデルとを用いて、前記訓練用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、ステップと、
(e)前記(d)のステップで算出された前記訓練用単語列の各位置の単語の前記確率のうち、前記事象情報に関する単語に該当することを示す前記ラベルが付された前記単語の前記確率が高くなるように、前記判定モデルのパラメータを更新する、ステップと、
を備える、情報処理方法。
(付記7)
前記ウインドウの長さは単語の数によって示され、
前記複数のウインドウの長さはそれぞれ奇数に設定される、付記6に記載の情報処理方法。
(付記8)
前記ウインドウの組は、長さが3のウインドウと、長さが5のウインドウとを含む、付記7に記載の情報処理方法。
(付記9)
(f)分析対象となる分析用テキストを取得し、前記分析用テキストを字句解析することによって、前記分析用テキストにおける位置を示す位置情報が単語ごとに付された分析用単語列を生成する、ステップと、
(g)前記(f)のステップで生成された前記分析用単語列において、前記ウインドウの組の位置を、前記分析用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の分析用単語グループを生成する、ステップと、
(h)前記辞書モデルを用いて生成された、前記分析用単語列の複数の単語それぞれの意味ベクトルを、前記複数の分析用単語グループの各単語に対応付けることによって、前記複数の分析用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた分析用行列を生成する、ステップと、
(i)前記(h)のステップで生成された複数の前記分析用行列と前記判定モデルとを用いて、前記分析用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、ステップと、を更に備える、付記6から8のいずれかに記載の情報処理方法。
(付記10)
前記(i)のステップでは、前記分析用単語列の複数の単語のうち、閾値以上の確率が算出された単語を前記特定の事象対象の単語として抽出するとともに、抽出した前記単語の前記位置情報を出力する、付記9に記載の情報処理方法。
(付記11)
コンピュータに、
(a)訓練用テキスト、及び特定の事象情報に関する単語の前記訓練用テキストにおける位置を示す位置情報を取得し、前記訓練用テキストを字句解析することによって、前記訓練用テキストにおける位置を示す位置情報及び前記事象情報に関する単語に該当するか否かを示すラベルが単語ごとに付された訓練用単語列を生成する、ステップと、
(b)前記(a)のステップで生成された前記訓練用単語列において、検出対象の単語を中心とする長さの異なる複数のウインドウによって構成されたウインドウの組の位置を、前記訓練用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の訓練用単語グループを生成する、ステップと、
(c)予め設定された辞書モデルを用いて生成された、前記訓練用単語列の複数の単語それぞれの意味ベクトルを、前記複数の訓練用単語グループの各単語に対応付けることによって、前記複数の訓練用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた訓練用行列を生成する、ステップと、
(d)前記(c)のステップで生成された複数の前記訓練用行列と畳み込みニューラルネットワークを用いた判定モデルとを用いて、前記訓練用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、ステップと、
(e)前記(d)のステップで算出された前記訓練用単語列の各位置の単語の前記確率のうち、前記事象情報に関する単語に該当することを示す前記ラベルが付された前記単語の前記確率が高くなるように、前記判定モデルのパラメータを更新する、ステップと、
を実行させる命令を含む、プログラムを記録したコンピュータ読み取り可能な記録媒体。
(付記12)
前記ウインドウの長さは単語の数によって示され、
前記複数のウインドウの長さはそれぞれ奇数に設定される、付記11に記載のコンピュータ読み取り可能な記録媒体。
(付記13)
前記ウインドウの組は、長さが3のウインドウと、長さが5のウインドウとを含む、付記12に記載のコンピュータ読み取り可能な記録媒体。
(付記14)
前記プログラムが、前記コンピュータに、
(f)分析対象となる分析用テキストを取得し、前記分析用テキストを字句解析することによって、前記分析用テキストにおける位置を示す位置情報が単語ごとに付された分析用単語列を生成する、ステップと、
(g)前記(f)のステップで生成された前記分析用単語列において、前記ウインドウの組の位置を、前記分析用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の分析用単語グループを生成する、ステップと、
(h)前記辞書モデルを用いて生成された、前記分析用単語列の複数の単語それぞれの意味ベクトルを、前記複数の分析用単語グループの各単語に対応付けることによって、前記複数の分析用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた分析用行列を生成する、ステップと、
(i)前記(h)のステップで生成された複数の前記分析用行列と前記判定モデルとを用いて、前記分析用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、ステップと、を実行させる命令を更に含む、付記11から13のいずれかに記載のコンピュータ読み取り可能な記録媒体。
(付記15)
前記(i)のステップでは、前記分析用単語列の複数の単語のうち、閾値以上の確率が算出された単語を前記特定の事象対象の単語として抽出するとともに、抽出した前記単語の前記位置情報を出力する、付記14に記載のコンピュータ読み取り可能な記録媒体。
以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
以上のように、本発明によれば、与えられたテキストから、特定の事象情報に関する単語を精度よく抽出することができる。
10 情報処理装置
12 字句解析部
14 グループ生成部
16 行列生成部
18 分類部
20 最適化処理部
22 辞書モデル記憶部
24 パラメータ記憶部
110 コンピュータ
111 CPU
112 メインメモリ
113 記憶装置
114 入力インターフェイス
115 表示コントローラ
116 データリーダ/ライタ
117 通信インターフェイス
118 入力機器
119 ディスプレイ装置
120 記録媒体
121 バス
本発明は、情報処理装置、情報処理方法及びこれらを実現するためのプログラムに関する。
本発明の目的の一例は、与えられたテキストから、特定の事象情報に関する単語を精度よく抽出することができる、情報処理装置、情報処理方法及びプログラムを提供することにある。
更に、上記目的を達成するため、本発明の一側面におけるプログラムは、
コンピュータに、
(a)訓練用テキスト、及び特定の事象情報に関する単語の前記訓練用テキストにおける位置を示す位置情報を取得し、前記訓練用テキストを字句解析することによって、前記訓練用テキストにおける位置を示す位置情報及び前記事象情報に関する単語に該当するか否かを示すラベルが単語ごとに付された訓練用単語列を生成する、ステップと、
(b)前記(a)のステップで生成された前記訓練用単語列において、検出対象の単語を中心とする長さの異なる複数のウインドウによって構成されたウインドウの組の位置を、前記訓練用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の訓練用単語グループを生成する、ステップと、
(c)予め設定された辞書モデルを用いて生成された、前記訓練用単語列の複数の単語それぞれの意味ベクトルを、前記複数の訓練用単語グループの各単語に対応付けることによって、前記複数の訓練用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた訓練用行列を生成する、ステップと、
(d)前記(c)のステップで生成された複数の前記訓練用行列と畳み込みニューラルネットワークを用いた判定モデルとを用いて、前記訓練用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、ステップと、
(e)前記(d)のステップで算出された前記訓練用単語列の各位置の単語の前記確率のうち、前記事象情報に関する単語に該当することを示す前記ラベルが付された前記単語の前記確率が高くなるように、前記判定モデルのパラメータを更新する、ステップと、
を実行させる命令を含む、ことを特徴とする。
(付記4)
前記字句解析部は、分析対象となる分析用テキストを取得し、前記分析用テキストを字句解析することによって、前記分析用テキストにおける位置を示す位置情報が単語ごとに付された分析用単語列を生成し、
前記グループ生成部は、前記字句解析部が生成した前記分析用単語列において、前記ウインドウの組の位置を、前記分析用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の分析用単語グループを生成し、
前記行列生成部は、前記辞書モデルを用いて生成された、前記分析用単語列の複数の単語それぞれの意味ベクトルを、前記複数の分析用単語グループの各単語に対応付けることによって、前記複数の分析用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた分析用行列を生成し、
前記分類部は、前記行列生成部が生成した複数の前記分析用行列と前記判定モデルとを用いて、前記分析用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、付記1から3のいずれかに記載の情報処理装置。
(付記11)
コンピュータに、
(a)訓練用テキスト、及び特定の事象情報に関する単語の前記訓練用テキストにおける位置を示す位置情報を取得し、前記訓練用テキストを字句解析することによって、前記訓練用テキストにおける位置を示す位置情報及び前記事象情報に関する単語に該当するか否かを示すラベルが単語ごとに付された訓練用単語列を生成する、ステップと、
(b)前記(a)のステップで生成された前記訓練用単語列において、検出対象の単語を中心とする長さの異なる複数のウインドウによって構成されたウインドウの組の位置を、前記訓練用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の訓練用単語グループを生成する、ステップと、
(c)予め設定された辞書モデルを用いて生成された、前記訓練用単語列の複数の単語それぞれの意味ベクトルを、前記複数の訓練用単語グループの各単語に対応付けることによって、前記複数の訓練用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた訓練用行列を生成する、ステップと、
(d)前記(c)のステップで生成された複数の前記訓練用行列と畳み込みニューラルネットワークを用いた判定モデルとを用いて、前記訓練用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、ステップと、
(e)前記(d)のステップで算出された前記訓練用単語列の各位置の単語の前記確率のうち、前記事象情報に関する単語に該当することを示す前記ラベルが付された前記単語の前記確率が高くなるように、前記判定モデルのパラメータを更新する、ステップと、
を実行させる命令を含む、プログラム。
(付記12)
前記ウインドウの長さは単語の数によって示され、
前記複数のウインドウの長さはそれぞれ奇数に設定される、付記11に記載のプログラム
(付記13)
前記ウインドウの組は、長さが3のウインドウと、長さが5のウインドウとを含む、付記12に記載のプログラム
(付記14)
記コンピュータに、
(f)分析対象となる分析用テキストを取得し、前記分析用テキストを字句解析することによって、前記分析用テキストにおける位置を示す位置情報が単語ごとに付された分析用単語列を生成する、ステップと、
(g)前記(f)のステップで生成された前記分析用単語列において、前記ウインドウの組の位置を、前記分析用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の分析用単語グループを生成する、ステップと、
(h)前記辞書モデルを用いて生成された、前記分析用単語列の複数の単語それぞれの意味ベクトルを、前記複数の分析用単語グループの各単語に対応付けることによって、前記複数の分析用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた分析用行列を生成する、ステップと、
(i)前記(h)のステップで生成された複数の前記分析用行列と前記判定モデルとを用いて、前記分析用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、ステップと、を実行させる命令を更に含む、付記11から13のいずれかに記載のプログラム
(付記15)
前記(i)のステップでは、前記分析用単語列の複数の単語のうち、閾値以上の確率が算出された単語を前記特定の事象対象の単語として抽出するとともに、抽出した前記単語の前記位置情報を出力する、付記14に記載のプログラム

Claims (15)

  1. 訓練用テキスト、及び特定の事象情報に関する単語の前記訓練用テキストにおける位置を示す位置情報を取得し、前記訓練用テキストを字句解析することによって、前記訓練用テキストにおける位置を示す位置情報及び前記事象情報に関する単語に該当するか否かを示すラベルが単語ごとに付された訓練用単語列を生成する、字句解析部と、
    前記字句解析部が生成した前記訓練用単語列において、検出対象の単語を中心とする長さの異なる複数のウインドウによって構成されたウインドウの組の位置を、前記訓練用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の訓練用単語グループを生成する、グループ生成部と、
    予め設定された辞書モデルを用いて生成された、前記訓練用単語列の複数の単語それぞれの意味ベクトルを、前記複数の訓練用単語グループの各単語に対応付けることによって、前記複数の訓練用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた訓練用行列を生成する、行列生成部と、
    前記行列生成部が生成した複数の前記訓練用行列と畳み込みニューラルネットワークを用いた判定モデルとを用いて、前記訓練用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、分類部と、
    前記分類部が算出した前記訓練用単語列の各位置の単語の前記確率のうち、前記事象情報に関する単語に該当することを示す前記ラベルが付された前記単語の前記確率が高くなるように、前記判定モデルのパラメータを更新する、最適化処理部と、
    を備える、情報処理装置。
  2. 前記ウインドウの長さは単語の数によって示され、
    前記複数のウインドウの長さはそれぞれ奇数に設定される、請求項1に記載の情報処理装置。
  3. 前記ウインドウの組は、長さが3のウインドウと、長さが5のウインドウとを含む、請求項2に記載の情報処理装置。
  4. 前記字句解析部は、分析対象となる分析用テキストを取得し、前記分析用テキストを字句解析することによって、前記分析用テキストにおける位置を示す位置情報が単語ごとに付された分析用単語列を生成し、
    前記グループ生成部は、前記字句解析部が生成した前記分析用単語列において、前記ウインドウの組の位置を、前記分析用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の分析用単語グループを生成し、
    行列生成部は、前記辞書モデルを用いて生成された、前記分析用単語列の複数の単語それぞれの意味ベクトルを、前記複数の分析用単語グループの各単語に対応付けることによって、前記複数の分析用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた分析用行列を生成し、
    前記分類部は、前記行列生成部が生成した複数の前記分析用行列と前記判定モデルとを用いて、前記分析用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、請求項1から3のいずれかに記載の情報処理装置。
  5. 前記分類部は、前記分析用単語列の複数の単語のうち、閾値以上の確率が算出された単語を前記特定の事象対象の単語として抽出するとともに、抽出した前記単語の前記位置情報を出力する、請求項4に記載の情報処理装置。
  6. (a)訓練用テキスト、及び特定の事象情報に関する単語の前記訓練用テキストにおける位置を示す位置情報を取得し、前記訓練用テキストを字句解析することによって、前記訓練用テキストにおける位置を示す位置情報及び前記事象情報に関する単語に該当するか否かを示すラベルが単語ごとに付された訓練用単語列を生成する、ステップと、
    (b)前記(a)のステップで生成された前記訓練用単語列において、検出対象の単語を中心とする長さの異なる複数のウインドウによって構成されたウインドウの組の位置を、前記訓練用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の訓練用単語グループを生成する、ステップと、
    (c)予め設定された辞書モデルを用いて生成された、前記訓練用単語列の複数の単語それぞれの意味ベクトルを、前記複数の訓練用単語グループの各単語に対応付けることによって、前記複数の訓練用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた訓練用行列を生成する、ステップと、
    (d)前記(c)のステップで生成された複数の前記訓練用行列と畳み込みニューラルネットワークを用いた判定モデルとを用いて、前記訓練用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、ステップと、
    (e)前記(d)のステップで算出された前記訓練用単語列の各位置の単語の前記確率のうち、前記事象情報に関する単語に該当することを示す前記ラベルが付された前記単語の前記確率が高くなるように、前記判定モデルのパラメータを更新する、ステップと、
    を備える、情報処理方法。
  7. 前記ウインドウの長さは単語の数によって示され、
    前記複数のウインドウの長さはそれぞれ奇数に設定される、請求項6に記載の情報処理方法。
  8. 前記ウインドウの組は、長さが3のウインドウと、長さが5のウインドウとを含む、請求項7に記載の情報処理方法。
  9. (f)分析対象となる分析用テキストを取得し、前記分析用テキストを字句解析することによって、前記分析用テキストにおける位置を示す位置情報が単語ごとに付された分析用単語列を生成する、ステップと、
    (g)前記(f)のステップで生成された前記分析用単語列において、前記ウインドウの組の位置を、前記分析用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の分析用単語グループを生成する、ステップと、
    (h)前記辞書モデルを用いて生成された、前記分析用単語列の複数の単語それぞれの意味ベクトルを、前記複数の分析用単語グループの各単語に対応付けることによって、前記複数の分析用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた分析用行列を生成する、ステップと、
    (i)前記(h)のステップで生成された複数の前記分析用行列と前記判定モデルとを用いて、前記分析用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、ステップと、を更に備える、請求項6から8のいずれかに記載の情報処理方法。
  10. 前記(i)のステップでは、前記分析用単語列の複数の単語のうち、閾値以上の確率が算出された単語を前記特定の事象対象の単語として抽出するとともに、抽出した前記単語の前記位置情報を出力する、請求項9に記載の情報処理方法。
  11. コンピュータに、
    (a)訓練用テキスト、及び特定の事象情報に関する単語の前記訓練用テキストにおける位置を示す位置情報を取得し、前記訓練用テキストを字句解析することによって、前記訓練用テキストにおける位置を示す位置情報及び前記事象情報に関する単語に該当するか否かを示すラベルが単語ごとに付された訓練用単語列を生成する、ステップと、
    (b)前記(a)のステップで生成された前記訓練用単語列において、検出対象の単語を中心とする長さの異なる複数のウインドウによって構成されたウインドウの組の位置を、前記訓練用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の訓練用単語グループを生成する、ステップと、
    (c)予め設定された辞書モデルを用いて生成された、前記訓練用単語列の複数の単語それぞれの意味ベクトルを、前記複数の訓練用単語グループの各単語に対応付けることによって、前記複数の訓練用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた訓練用行列を生成する、ステップと、
    (d)前記(c)のステップで生成された複数の前記訓練用行列と畳み込みニューラルネットワークを用いた判定モデルとを用いて、前記訓練用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、ステップと、
    (e)前記(d)のステップで算出された前記訓練用単語列の各位置の単語の前記確率のうち、前記事象情報に関する単語に該当することを示す前記ラベルが付された前記単語の前記確率が高くなるように、前記判定モデルのパラメータを更新する、ステップと、
    を実行させる命令を含む、プログラムを記録したコンピュータ読み取り可能な記録媒体。
  12. 前記ウインドウの長さは単語の数によって示され、
    前記複数のウインドウの長さはそれぞれ奇数に設定される、請求項11に記載のコンピュータ読み取り可能な記録媒体。
  13. 前記ウインドウの組は、長さが3のウインドウと、長さが5のウインドウとを含む、請求項12に記載のコンピュータ読み取り可能な記録媒体。
  14. 前記プログラムが、前記コンピュータに、
    (f)分析対象となる分析用テキストを取得し、前記分析用テキストを字句解析することによって、前記分析用テキストにおける位置を示す位置情報が単語ごとに付された分析用単語列を生成する、ステップと、
    (g)前記(f)のステップで生成された前記分析用単語列において、前記ウインドウの組の位置を、前記分析用単語列の先頭から末尾に向かって一単語分ずつ移動させながら、各位置において前記複数のウインドウそれぞれによって単語を抽出することによって、前記複数のウインドウにそれぞれ対応しかつ複数の単語によって構成される複数の分析用単語グループを生成する、ステップと、
    (h)前記辞書モデルを用いて生成された、前記分析用単語列の複数の単語それぞれの意味ベクトルを、前記複数の分析用単語グループの各単語に対応付けることによって、前記複数の分析用単語グループごとに、前記複数の単語と前記複数の単語それぞれの前記意味ベクトルとが対応付けられた分析用行列を生成する、ステップと、
    (i)前記(h)のステップで生成された複数の前記分析用行列と前記判定モデルとを用いて、前記分析用単語列の各位置の単語について、前記特定の事象情報に関する単語に該当する確率を算出する、ステップと、を実行させる命令を更に含む、請求項11から13のいずれかに記載のコンピュータ読み取り可能な記録媒体。
  15. 前記(i)のステップでは、前記分析用単語列の複数の単語のうち、閾値以上の確率が算出された単語を前記特定の事象対象の単語として抽出するとともに、抽出した前記単語の前記位置情報を出力する、請求項14に記載のコンピュータ読み取り可能な記録媒体。

JP2019551848A 2017-11-10 2017-11-10 情報処理装置、情報処理方法及びプログラム Active JP6860084B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/040664 WO2019092867A1 (ja) 2017-11-10 2017-11-10 情報処理装置、情報処理方法及びコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019092867A1 true JPWO2019092867A1 (ja) 2020-10-22
JP6860084B2 JP6860084B2 (ja) 2021-04-14

Family

ID=66437610

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019551848A Active JP6860084B2 (ja) 2017-11-10 2017-11-10 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US11687712B2 (ja)
JP (1) JP6860084B2 (ja)
WO (1) WO2019092867A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048486A (zh) * 2022-05-24 2022-09-13 支付宝(杭州)信息技术有限公司 事件抽取方法、装置、计算机程序产品、存储介质及设备
CN115048486B (zh) * 2022-05-24 2024-05-31 支付宝(杭州)信息技术有限公司 事件抽取方法、装置、计算机程序产品、存储介质及设备

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019241145A1 (en) 2018-06-12 2019-12-19 Intergraph Corporation Artificial intelligence applications for computer-aided dispatch systems
WO2020170593A1 (ja) * 2019-02-18 2020-08-27 ソニー株式会社 情報処理装置及び情報処理方法
CN112347232A (zh) * 2020-11-18 2021-02-09 武汉贝多多网络科技有限公司 一种基于云计算对客体进行意图识别的方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213336A (ja) * 2006-02-09 2007-08-23 Mitsubishi Electric Corp 辞書作成装置
JP2009116456A (ja) * 2007-11-02 2009-05-28 National Institute Of Information & Communication Technology データ処理装置及びデータ処理方法
JP2011118526A (ja) * 2009-12-01 2011-06-16 Hitachi Ltd 単語意味関係抽出装置
JP2012108570A (ja) * 2010-11-15 2012-06-07 Hitachi Ltd 単語意味関係抽出装置及び単語意味関係抽出方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080249762A1 (en) * 2007-04-05 2008-10-09 Microsoft Corporation Categorization of documents using part-of-speech smoothing
US8504361B2 (en) * 2008-02-07 2013-08-06 Nec Laboratories America, Inc. Deep neural networks and methods for using same
US9477756B1 (en) * 2012-01-16 2016-10-25 Amazon Technologies, Inc. Classifying structured documents
US9471551B1 (en) * 2012-02-03 2016-10-18 Google Inc. Promoting content
US9342794B2 (en) * 2013-03-15 2016-05-17 Bazaarvoice, Inc. Non-linear classification of text samples
US9442905B1 (en) * 2013-06-28 2016-09-13 Google Inc. Detecting neighborhoods from geocoded web documents
US9575952B2 (en) * 2014-10-21 2017-02-21 At&T Intellectual Property I, L.P. Unsupervised topic modeling for short texts
EP3173983A1 (en) 2015-11-26 2017-05-31 Siemens Aktiengesellschaft A method and apparatus for providing automatically recommendations concerning an industrial system
US10713560B2 (en) * 2015-12-28 2020-07-14 Staples, Inc. Learning a vector representation for unique identification codes
US11010687B2 (en) * 2016-07-29 2021-05-18 Verizon Media Inc. Detecting abusive language using character N-gram features
JP6721179B2 (ja) * 2016-10-05 2020-07-08 国立研究開発法人情報通信研究機構 因果関係認識装置及びそのためのコンピュータプログラム
JP7014230B2 (ja) * 2017-11-10 2022-02-01 日本電気株式会社 情報処理装置、情報処理方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007213336A (ja) * 2006-02-09 2007-08-23 Mitsubishi Electric Corp 辞書作成装置
JP2009116456A (ja) * 2007-11-02 2009-05-28 National Institute Of Information & Communication Technology データ処理装置及びデータ処理方法
JP2011118526A (ja) * 2009-12-01 2011-06-16 Hitachi Ltd 単語意味関係抽出装置
JP2012108570A (ja) * 2010-11-15 2012-06-07 Hitachi Ltd 単語意味関係抽出装置及び単語意味関係抽出方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115048486A (zh) * 2022-05-24 2022-09-13 支付宝(杭州)信息技术有限公司 事件抽取方法、装置、计算机程序产品、存储介质及设备
CN115048486B (zh) * 2022-05-24 2024-05-31 支付宝(杭州)信息技术有限公司 事件抽取方法、装置、计算机程序产品、存储介质及设备

Also Published As

Publication number Publication date
US11687712B2 (en) 2023-06-27
US20210174021A1 (en) 2021-06-10
WO2019092867A1 (ja) 2019-05-16
JP6860084B2 (ja) 2021-04-14

Similar Documents

Publication Publication Date Title
JP6928371B2 (ja) 分類器、分類器の学習方法、分類器における分類方法
US20190130249A1 (en) Sequence-to-sequence prediction using a neural network model
CN111414987B (zh) 神经网络的训练方法、训练装置和电子设备
US10796098B2 (en) Instruction understanding system and instruction understanding method
JP6772213B2 (ja) 質問応答装置、質問応答方法及びプログラム
WO2014137672A2 (en) Probabilistic parsing
JP6860084B2 (ja) 情報処理装置、情報処理方法及びプログラム
JP7014230B2 (ja) 情報処理装置、情報処理方法及びプログラム
CN107357895B (zh) 一种基于词袋模型的文本表示的处理方法
CN109145107B (zh) 基于卷积神经网络的主题提取方法、装置、介质和设备
WO2019201024A1 (zh) 用于更新模型参数的方法、装置、设备和存储介质
US20230034414A1 (en) Dialogue processing apparatus, learning apparatus, dialogue processing method, learning method and program
EP4060526A1 (en) Text processing method and device
CN113505583A (zh) 基于语义决策图神经网络的情感原因子句对提取方法
US20230130662A1 (en) Method and apparatus for analyzing multimodal data
EP4227850A1 (en) Program, learning method, and information processing apparatus
CN111488400A (zh) 数据分类方法、装置和计算机可读存储介质
WO2018048716A1 (en) Machine learning model for analysis of instruction sequences
JP7388660B2 (ja) 情報処理装置、利用者端末、情報処理方法、及び情報処理プログラム
KR101538131B1 (ko) 버그 정정 개발자 추천을 위한 하이브리드 버그 할당 시스템 및 방법
US20220092260A1 (en) Information output apparatus, question generation apparatus, and non-transitory computer readable medium
CN115049899B (zh) 模型训练方法、指代表达式生成方法及相关设备
WO2022185457A1 (ja) 特徴量抽出装置、学習装置、特徴量抽出方法、学習方法、及びプログラム
WO2021214861A1 (ja) 学習装置、学習済みモデル生成方法、分類装置、分類方法、及びコンピュータ読み取り可能な記録媒体
KR102668118B1 (ko) 자연어 기반의 비디오 검색을 위한 학습 장치 및 학습 방법

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200316

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20210224

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20210309

R150 Certificate of patent or registration of utility model

Ref document number: 6860084

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150