JP7077265B2 - 文書解析装置、学習装置、文書解析方法および学習方法 - Google Patents

文書解析装置、学習装置、文書解析方法および学習方法 Download PDF

Info

Publication number
JP7077265B2
JP7077265B2 JP2019087651A JP2019087651A JP7077265B2 JP 7077265 B2 JP7077265 B2 JP 7077265B2 JP 2019087651 A JP2019087651 A JP 2019087651A JP 2019087651 A JP2019087651 A JP 2019087651A JP 7077265 B2 JP7077265 B2 JP 7077265B2
Authority
JP
Japan
Prior art keywords
unit
attention
sentence
information
neural network
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2019087651A
Other languages
English (en)
Other versions
JP2020184157A (ja
Inventor
光生 布目
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2019087651A priority Critical patent/JP7077265B2/ja
Priority to US16/801,326 priority patent/US11429786B2/en
Publication of JP2020184157A publication Critical patent/JP2020184157A/ja
Application granted granted Critical
Publication of JP7077265B2 publication Critical patent/JP7077265B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/268—Morphological analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G06F18/232—Non-hierarchical techniques
    • G06F18/2321—Non-hierarchical techniques using statistics or function optimisation, e.g. modelling of probability density functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/413—Classification of content, e.g. text, photographs or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/416—Extracting the logical structure, e.g. chapters, sections or page numbers; Identifying elements of the document, e.g. authors

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)
  • Biodiversity & Conservation Biology (AREA)

Description

本発明の実施形態は、文書解析装置、学習装置、文書解析方法および学習方法に関する。
ニューラルネットワークを用いた文書解析装置が知られている。また、近年、自然言語処理の分野において、アテンションを含むニューラルネットワークが広く用いられている。
互いに近似した内容が記載されているが、異なった様式または構造の文書が存在する。例えば、顧客で使用されている装置の不具合に対する対応結果を示した報告書と、顧客アンケートの結果を示した文書と、自社内で生じたトラブルの内容を示したメモとは、内容は似通っているが様式および構造が異なる。ニューラルネットワークを用いた文書解析装置は、このような様々な様式および構造の文書を精度良く解析できることが好ましい。
磯沼 大 他， 「文書分類とのマルチタスク学習による重要文抽出」， 人工知能学会全国大会論文集 第３１回全国大会，２０１７年 近藤裕之， 「特許文献への分類付与と付与根拠の推定」， Ｊａｐｉｏ ＹＥＡＲ ＢＯＯＫ ２０１８ ミニ特集，Ｐ１６～２２， ２０１８年 Ashish Vaswani et al.， "Attention Is All You Need", arXiv:1706.03762, 2017
本発明が解決しようとする課題は、アテンションを含むニューラルネットワークを用いて、精度良く文書を解析することにある。
実施形態に係る文書解析装置は、センテンス抽出部と、解析部と、ニューラルネットワーク部とを備える。前記センテンス抽出部は、対象文書に含まれる複数のセンテンスを抽出する。前記解析部は、前記複数のセンテンスのそれぞれについて、予め定められた複数の属性項目のそれぞれに対する関連度の初期値を表す初期要素情報を生成する。前記ニューラルネットワーク部は、前記複数のセンテンスのそれぞれについて、含まれるテキストの内容を表すセンテンス情報および前記初期要素情報を受け取り、前記対象文書に対してメインタスクを実行した結果を出力する。前記ニューラルネットワーク部は、アテンション部と、メインタスク実行部とを有する。前記アテンション部は、前記複数のセンテンスのそれぞれについて、前記センテンス情報および前記初期要素情報を受け取り、前記複数の属性項目のそれぞれに対する関連度の推定値を表すアテンション重みを算出し、前記アテンション重みに応じたアテンション情報を出力する。前記メインタスク実行部は、前記複数のセンテンスのそれぞれについての前記アテンション情報に基づき、前記メインタスクを実行する。
情報処理システムの構成図。 第１実施形態に係る文書解析装置の構成図。 第１実施形態に係る学習装置および文書解析装置の構成図。 メイン学習部および文書解析装置の構成図。 第１実施形態に係るアテンション調整部および文書解析装置の構成図。 第１実施形態に係るユーザインターフェイス画像を示す図。 第１実施形態に係る学習処理の流れを示すフローチャート。 パラメータ調整処理の流れを示すフローチャート。 第２実施形態に係る文書解析装置の構成図。 第２実施形態に係る学習装置および文書解析装置の構成図。 第２実施形態に係る学習処理の流れを示すフローチャート。 第２実施形態に係るユーザインターフェイス画像を示す図。 第３実施形態に係るアテンション調整部および文書解析装置の構成図。 情報処理システムのハードウェア構成図。
以下、図面を参照しながら実施形態に係る情報処理システム１０について説明する。
（第１実施形態）
図１は、第１実施形態に係る情報処理システム１０の構成を示す図である。情報処理システム１０は、文書解析装置２０と、学習装置３０とを備える。
文書解析装置２０は、対象文書を受け取り、受け取った対象文書をニューラルネットワークを用いて解析し、解析結果を出力する。文書解析装置２０は、どのような解析を実行してもよい。例えば、文書解析装置２０は、対象文書を分類することによりカテゴリを出力する。例えば、文書解析装置２０は、対象文書における重要部分を出力する。また、例えば、文書解析装置２０は、対象文書を他の形式に変換した新たな文書を出力する。
学習装置３０は、文書解析装置２０に精度良く解析結果を出力させるように、文書解析装置２０に含まれるニューラルネットワークを訓練する。なお、情報処理システム１０は、学習時に、学習装置３０を備えればよい。すなわち、情報処理システム１０は、解析時に、学習装置３０を備えなくてもよい。
図２は、第１実施形態に係る文書解析装置２０の構成を示す図である。文書解析装置２０は、センテンス抽出部３２と、分散表現変換部３４と、解析部３６と、記憶部３８と、センテンス印加部４０と、ニューラルネットワーク部４２と、センテンス出力部４４と、アテンション重み出力部４６と、を有する。
センテンス抽出部３２は、解析対象となる対象文書を取得する。対象文書は、文書形式のデータである。
センテンス抽出部３２は、対象文書に含まれる複数のセンテンスを抽出する。複数のセンテンスのそれぞれは、テキストデータを含む情報である。例えば、センテンス抽出部３２は、対象文書に含まれるテキストデータを予め定められたルールに従って分割することにより、複数のセンテンスを抽出する。例えば、センテンス抽出部３２は、対象文書に含まれるテキストデータを１文単位で分割することにより、複数のセンテンスを抽出する。センテンス抽出部３２は、対象文書に含まれるテキストデータを１行単位で分割してもよいし、段落単位で分割してもよいし、所定のマークごとに分割してもよいし、これらを組み合わせて分割してもよい。
分散表現変換部３４は、センテンス抽出部３２により抽出された複数のセンテンスのそれぞれについて、含まれるテキストの内容を表すセンテンス情報を生成する。例えば、分散表現変換部３４は、複数のセンテンスのそれぞれについて、含まれるテキストデータに対して形態素解析をする。これにより、分散表現変換部３４は、複数のセンテンスのそれぞれについて、１または複数の形態素を抽出することができる。続いて、分散表現変換部３４は、抽出した１または複数の形態素のそれぞれを分散表現に変換する。そして、分散表現変換部３４は、複数のセンテンスのそれぞれについて、１または複数の分散表現を、センテンス情報として出力する。
解析部３６は、センテンス抽出部３２により抽出された複数のセンテンスのそれぞれについて、初期要素情報を生成する。初期要素情報は、予め定められた複数の属性項目のそれぞれに対する、センテンスの関連度の初期値を表す。関連度は、例えば数値で表される。関連度は、センテンスが属性項目に関連しているほど大きく、関連していないほど小さくなる値である。例えば、関連度は、センテンスが属性項目に関連していれば１、関連していなければ０を表してもよい。また、関連度は、１以下０以上の数値であってもよい。また、関連度は、百分率で表されてもよい。初期要素情報は、複数の属性項目のそれぞれに対応してこのような関連度を格納した所定次元のベクトル情報である。
属性項目は、センテンスの文書内での役割、センテンスを含む領域の文書中での構造、または、センテンスに含まれる文字の装飾等を表す項目である。
予め定められた複数の属性項目のうちの何れか１つは、例えば、センテンスの文書内での役割を表す。より具体的に、文書内でのセンテンスの役割は、例えば、タイトル、著者および作者、日付、目次、章および節見出し、図表説明、引用、または、脚注および備考等である。例えば、センテンスが文書のタイトルである場合、初期要素情報は、タイトルに対応する属性項目の関連度が１となり、著者および作者、日付、目次、章および節見出し、図表説明、引用、および、脚注および備考のそれぞれに対応する属性項目の関連度が０となる。
また、予め定められた複数の属性項目のうちの何れか１つは、例えば、センテンスを含む領域の文書中での構造を表す。センテンスを含む領域の文書中での構造は、例えば、箇条書き記号、番号ありリスト、番号なしリスト、または、インデントである。
例えば、センテンスに箇条書き記号が含まれる場合、初期要素情報は、箇条書き記号に対応する属性項目の関連度が１となる。例えば、センテンスに箇条書き記号が含まれない場合、初期要素情報は、箇条書き記号に対応する属性項目の関連度が０となる。なお、箇条書き記号は、箇条書きで記述されたテキストであることを示す記号である。
例えば、センテンスが番号ありリストに含まれる場合、初期要素情報は、番号ありリストに対応する属性項目の関連度が１となる。例えば、センテンスが番号ありリストに含まれない場合、初期要素情報は、番号ありリストに対応する属性項目の関連度が０となる。
例えば、センテンスを含むパラグラフにインデントが設定されている場合、初期要素情報は、インデントに対応する属性項目の関連度が１となる。例えば、センテンスを含むパラグラフにインデントが設定されていない場合、初期要素情報は、インデントに対応する属性項目の関連度が０となる。
また、予め定められた複数の属性項目のうちの何れか１つは、例えば、センテンスに含まれる文字の装飾を表す。例えば、文字の装飾は、予め定められた特殊フォントの文字または予め定められた特殊サイズの文字である。
例えば、センテンスに特殊フォントの文字が含まれる場合、初期要素情報は、特殊フォントに対応する属性項目の関連度が１となる。例えば、センテンスに特殊サイズの文字が含まれる場合、初期要素情報は、特殊サイズに対応する属性項目の関連度が１となる。
解析部３６は、与えられたセンテンスに対する、複数の属性項目のそれぞれに対する関連度の初期値を、予め設定されたルールで判断する。例えば、解析部３６は、複数の属性項目のそれぞれに対応して、与えられたセンテンスが属性項目に関連するか否かを判断するための予め定められた演算式または判断プログラムが設定されている。そして、解析部３６は、与えられたセンテンス（および与えられたセンテンスの周囲のセンテンス）を、複数の属性項目のそれぞれに対応する演算式または判断プログラムに入力して、対応する属性項目の関連度の初期値を算出する。
解析部３６は、複数のセンテンスのそれぞれについて、このように算出した初期要素情報を出力する。
記憶部３８は、センテンス抽出部３２により抽出された複数のセンテンスのそれぞれに対応させて、テキストデータ、センテンス情報および初期要素情報を記憶する。さらに、記憶部３８は、複数のセンテンスのそれぞれに対応させて、センテンスの文書内における順序を表す順序情報を記憶してもよい。順序情報は、対応するセンテンスが含まれるページの番号、段落の番号、および、行の番号等である。
センテンス印加部４０は、記憶部３８に記憶された複数のセンテンスの中から、順次に１つのセンテンスを選択する。例えば、センテンス印加部４０は、対象文書の先頭から順次に１つのセンテンスを選択する。
そして、センテンス印加部４０は、選択したセンテンスに対応するセンテンス情報および初期要素情報をニューラルネットワーク部４２に与える。さらに、センテンス印加部４０は、選択したセンテンスに対応する順序情報もニューラルネットワーク部４２に与えてもよい。
ニューラルネットワーク部４２は、対象文書に含まれる複数のセンテンスのそれぞれについて、センテンス情報および初期要素情報を受け取る。ニューラルネットワーク部４２は、複数のセンテンスのそれぞれについて、さらに、センテンスの文書内における順序を表す順序情報を受け取ってもよい。なお、ニューラルネットワーク部４２は、複数のセンテンスのそれぞれについてのこれらの情報を、対象文書の先頭から１つずつ順次に受け取る。
そして、ニューラルネットワーク部４２は、対象文書に対してメインタスクを実行した実行結果を出力する。例えば、ニューラルネットワーク部４２は、対象文書のカテゴリを出力する。例えば、ニューラルネットワーク部４２は、対象文書における重要部分を出力する。例えば、ニューラルネットワーク部４２は、対象文書を他の形式に変換した新たな文書を出力する。
ニューラルネットワーク部４２は、入力部５２と、アテンション部５４と、メインタスク実行部５６とを含む。
入力部５２は、複数のセンテンスのそれぞれにおける、センテンス情報および初期要素情報を受け取る。入力部５２は、複数のセンテンスのそれぞれにおける、順序情報をさらに受け取ってもよい。なお、入力部５２は、複数のセンテンスのそれぞれについてのこれらの情報を、対象文書の先頭のセンテンスについての情報から順次に受け取る。
入力部５２は、受け取ったセンテンス情報および初期要素情報をアテンション部５４に与える。さらに、入力部５２は、受け取った順序情報もアテンション部５４に与えてもよい。
また、入力部５２は、受け取ったセンテンス情報をメインタスク実行部５６に与える。さらに、入力部５２は、受け取った順序情報もメインタスク実行部５６に与えてもよい。
なお、入力部５２は、１つの層により実現されてもよいし、複数の層により実現されてもよい。複数の層により実現される場合、入力部５２は、受け取ったセンテンス情報、初期要素情報および順序情報に対して所定の処理を実行した後の情報を、アテンション部５４およびメインタスク実行部５６に与える。
アテンション部５４は、複数の層を含むニューラルネットワークである。アテンション部５４は、複数のセンテンスのそれぞれについて、センテンス情報および初期要素情報を受け取る。アテンション部５４は、対応する順序情報も受け取ってもよい。
アテンション部５４は、複数のセンテンスのそれぞれについて、受け取った情報に基づき、複数の属性項目のそれぞれに対する関連度の推定値を表すアテンション重みを算出する。そして、アテンション部５４は、複数のセンテンスのそれぞれについて、算出したアテンション重みに応じたアテンション情報をメインタスク実行部５６に出力する。
ここで、アテンション部５４は、非特許文献３に示されるアテンションである。一例として、アテンション部５４は、クエリを算出するための層にセンテンス情報および初期要素情報（さらに順序情報）を与える。また、一例として、アテンション部５４は、キーを算出するための層に初期要素情報を与える。
アテンション部５４は、正規化層を含む。正規化層は、前段の層から出力された結果を正規化する。例えば、正規化層は、前段の層において実行されたクエリとキーとの内積結果を正規化する。正規化層は、例えばｓｏｆｔｍａｘ関数により正規化処理を実行する。本実施形態では、アテンション部５４の正規化層から出力される複数の値を、アテンション重みという。アテンション重みは、センテンスにおける、複数の属性項目のそれぞれに対する関連度の推定値を表す。アテンション重みにおける複数の属性項目は、初期要素情報における複数の属性項目に対応している。
メインタスク実行部５６は、１または複数の層を含むニューラルネットワークである。メインタスク実行部５６は、複数のセンテンスのそれぞれについて、入力部５２から、センテンス情報を受け取る。さらに、メインタスク実行部５６は、複数のセンテンスのそれぞれについて、入力部５２から、さらに順序情報を受け取ってもよい。さらに、メインタスク実行部５６は、複数のセンテンスのそれぞれについて、アテンション部５４から、アテンション情報を受け取る。
メインタスク実行部５６は、受け取ったこれらの情報に基づき、対象文書に対する解析結果を出力する。例えば、メインタスク実行部５６は、対象文書のカテゴリを出力する。例えば、メインタスク実行部５６は、対象文書における重要部分を出力する。例えば、メインタスク実行部５６は、対象文書を他の形式に変換した新たな文書を出力する。
センテンス出力部４４およびアテンション重み出力部４６は、学習中において機能する。文書解析装置２０は、学習中において、学習装置３０から訓練文書が与えられ、ニューラルネットワーク部４２に含まれる複数のパラメータ（係数およびバイアス）が調整される。
センテンス出力部４４は、学習中において、訓練文書に含まれる複数のセンテンスを、学習装置３０に出力する。例えば、センテンス出力部４４は、訓練文書に含まれる複数のセンテンスのそれぞれについて、含まれるテキストデータ等を学習装置３０に出力する。
センテンス印加部４０は、学習中において、学習装置３０により、訓練文書に含まれる複数のセンテンスのうちの１つが、対象センテンスとして指定される。センテンス印加部４０は、学習中において、対象センテンスが指定された場合、指定された対象センテンスに対応するセンテンス情報および初期要素情報を、ニューラルネットワーク部４２に与える。さらに、センテンス印加部４０は、指定された対象センテンスに対応する順序情報もニューラルネットワーク部４２に与えてもよい。
アテンション重み出力部４６は、学習中において、対象センテンスに対応するセンテンス情報および初期要素情報（および順序情報）がニューラルネットワーク部４２に与えられた場合に、アテンション部５４に含まれる正規化層から出力されたアテンション重みを、学習装置３０に出力する。
図３は、第１実施形態に係る学習装置３０の構成を文書解析装置２０とともに示す図である。学習装置３０は、メイン学習部６２と、アテンション調整部６４と、制御部６６とを有する。
メイン学習部６２は、予め生成された教師データに基づき、文書解析装置２０が備えるニューラルネットワーク部４２を訓練する。教師データは、訓練文書と、正解データとを含む。訓練文書は、文書解析装置２０が受け取ることができる文書データである。正解データは、メインタスク実行部５６の実行結果を表す。より詳しくは、正解データは、訓練文書を文書解析装置２０に与えた場合に、ニューラルネットワーク部４２が有するメインタスク実行部５６の実行結果として出力されることが希望される理想的なデータである。
アテンション調整部６４は、ニューラルネットワーク部４２が有するアテンション部５４に含まれるパラメータを調整する。本実施形態においては、アテンション調整部６４は、メイン学習部６２による訓練の途中において、ユーザからの操作に応じて、アテンション部５４に含まれるパラメータを調整する。
制御部６６は、メイン学習部６２によりニューラルネットワーク部４２を訓練するか、アテンション調整部６４によりアテンション部５４のパラメータを調整するかを制御する。例えば、制御部６６は、メイン学習部６２によるニューラルネットワーク部４２の訓練が予め定められた条件に達する毎に、アテンション調整部６４にアテンション部５４のパラメータを調整させる。
図４は、メイン学習部６２の構成を文書解析装置２０とともに示す図である。メイン学習部６２は、教師データ取得部７２と、文書印加部７４と、評価値算出部７６と、学習制御部７８とを含む。
教師データ取得部７２は、教師データを取得する。教師データ取得部７２は、取得した教師データに含まれる訓練文書を文書印加部７４に与える。教師データ取得部７２は、取得した教師データに含まれる正解データを評価値算出部７６に与える。
文書印加部７４は、受け取った訓練文書を文書解析装置２０に与える。文書解析装置２０は、訓練文書を受け取った場合、訓練文書に対して処理を実行して、処理結果である出力データを出力する。
評価値算出部７６は、訓練文書を与えたことに応じて文書解析装置２０から出力される出力データと、訓練文書とともに教師データに含まれていた正解データとの誤差を、予め定められた評価関数に与える。そして、評価値算出部７６は、評価関数による演算結果を、出力データと正解データとの誤差を評価した評価値として出力する。
学習制御部７８は、評価値算出部７６から出力された評価値に基づき、文書解析装置２０に含まれるニューラルネットワーク部４２に含まれるパラメータを変更する。例えば、学習制御部７８は、誤差逆伝播法に従って、ニューラルネットワーク部４２に含まれる複数のパラメータを変更する。
メイン学習部６２は、このような処理を複数の教師データを用いて繰り返し実行する。これにより、文書解析装置２０は、適切な処理結果を出力するようにパラメータが調整される。
図５は、第１実施形態に係るアテンション調整部６４の構成を文書解析装置２０とともに示す図である。アテンション調整部６４は、メイン学習部６２が複数の教師データを用いて繰り返して学習処理を実行している途中において、メイン学習部６２による学習処理を一時的に停止して、処理を実行する。
アテンション調整部６４は、センテンス表示制御部８２と、センテンス受付部８４と、印加制御部８６と、アテンション重み取得部８８と、ラベル記憶部９０と、アテンション重み表示制御部９２と、評価値受付部９４と、パラメータ調整部９６と、ラベル変更部９８とを含む。
センテンス表示制御部８２は、文書解析装置２０が処理中の訓練文書に含まれる複数のセンテンスを、表示装置に表示させる。例えば、センテンス表示制御部８２は、文書解析装置２０のセンテンス出力部４４から、複数のセンテンスに含まれる複数のテキストデータを取得する。そして、センテンス表示制御部８２は、取得した複数のテキストデータを表示装置に表示させる。
センテンス受付部８４は、訓練文書に含まれる複数のセンテンスの中から、ユーザによる対象センテンスの指定操作を受け付ける。例えば、センテンス受付部８４は、複数のセンテンスの中から何れか１つのセンテンスを選択するためのユーザインターフェイスを表示装置に表示させる。そして、センテンス受付部８４は、このユーザインターフェイスを介して対象センテンスの指定操作を受け付ける。
印加制御部８６は、文書解析装置２０のセンテンス印加部４０に対して、対象センテンスを指定する。対象センテンスが指定された場合、センテンス印加部４０は、対象センテンスに対応するセンテンス情報および初期要素情報（および順序情報）を記憶部３８から読み出し、読み出したセンテンス情報および初期要素情報（および順序情報）をニューラルネットワーク部４２に与える。すなわち、印加制御部８６は、訓練文書に含まれる複数のセンテンスのうちの１つの対象センテンスに対応するセンテンス情報および初期要素情報（および順序情報）を、ニューラルネットワーク部４２に印加させる。
アテンション重み取得部８８は、対象センテンスに対応するセンテンス情報および初期要素情報（および順序情報）がニューラルネットワーク部４２に印加された場合において、アテンション部５４に含まれる正規化層から出力されたアテンション重みを取得する。より具体的には、アテンション重み取得部８８は、文書解析装置２０のアテンション重み出力部４６から、アテンション重みを取得する。
ラベル記憶部９０は、予め設定された複数のラベルを記憶する。複数のラベルは、アテンション重みにより表される複数の属性項目の内容を表す。
例えば、ラベルは、対応する属性項目の内容を説明するテキストである。複数のラベルのそれぞれは、例えば、“タイトル”、“著者および作者”、“日付”、“目次”、“章および節見出し”、“図表説明”、“引用”、または、“脚注および備考”等のテキストである。また、例えば、ラベルは、“箇条書き記号”、“番号ありリスト”、“番号なしリスト”、または、“インデント”等のテキストである。また、例えば、ラベルは、“特殊フォント”または“特殊サイズ”等のテキストである。
アテンション重み表示制御部９２は、取得したアテンション重みにより表される複数の属性項目のそれぞれについて、関連度の推定値とラベルとを対応付けて表示装置に表示させる。
評価値受付部９４は、ユーザにより入力された、アテンション重みに対する誤差評価値を受け付ける。
パラメータ調整部９６は、評価値受付部９４により受け付けられたアテンション重みに対する誤差評価値に基づき、アテンション部５４に設定されている複数のパラメータを調整する。より具体的には、パラメータ調整部９６は、複数の属性項目のそれぞれに対する関連度の推定値の誤差が小さくなるように、アテンション部５４に設定されている複数のパラメータを調整する。例えば、パラメータ調整部９６は、アテンション重みに対する誤差評価値を逆伝播させ、パラメータの誤差の勾配が小さくなるようにアテンション部５４に設定されているパラメータを調整する。
ラベル変更部９８は、ラベル記憶部９０に記憶されている複数のラベルをユーザからの入力情報に応じて変更する。例えば、ラベル変更部９８は、ラベル記憶部９０に記憶されているラベルが示す内容が適切ではない場合、ユーザから新たな情報（例えばテキスト）を受け付けて、対応するラベルの内容を書き換える。
図６は、第１実施形態に係るユーザインターフェイス画像１１０の一例を示す図である。アテンション調整部６４は、例えば、図６に示すようなユーザインターフェイス画像１１０を表示装置に表示させる。
ユーザインターフェイス画像１１０は、センテンス領域１１２と、センテンス受付領域１１４と、ラベル領域１１６と、アテンション重み領域１１８と、評価値受付領域１２０と、再学習ボタン１２２と、精度表示領域１２４とを含む。
センテンス領域１１２には、文書解析装置２０が処理中の訓練文書に含まれる複数のセンテンスが表示される。センテンス表示制御部８２は、例えば、リスト状に配置した複数のセンテンスを、センテンス領域１１２に表示させる。
センテンス受付領域１１４には、対象センテンスを指定させるためユーザインターフェイスが表示される。例えば、センテンス受付部８４は、センテンス領域１１２に表示された複数のセンテンスに対応付けて配置した複数のボタンを、センテンス受付領域１１４に表示させる。センテンス受付部８４は、ユーザにより何れか１つのボタンが選択された場合、選択されたボタンに対応するセンテンスを対象センテンスとして受け付ける。また、センテンス表示制御部８２は、センテンス受付部８４が対象センテンスの指定操作を受け付けた場合、センテンス領域１１２に表示された対象センテンスを強調する。
ラベル領域１１６には、予め設定された複数のラベルが表示される。アテンション重み表示制御部９２は、リスト状に配置した複数のラベルを、ラベル領域１１６に表示させる。
アテンション重み領域１１８には、アテンション重みにより表される複数の属性項目のそれぞれについての、対象センテンスに対する関連度の推定値が表示される。アテンション重み表示制御部９２は、リスト状に配置した複数の関連度の推定値を、アテンション重み領域１１８に表示させる。この場合において、アテンション重み表示制御部９２は、複数の関連度の推定値のそれぞれを、対応する属性項目の内容を表すラベルに対応させて表示する。
本例においては、アテンション重み表示制御部９２は、数値を濃度で表したアイコンを、関連度の推定値として表示する。例えば、アテンション重み表示制御部９２は、対象センテンスとの関連度が高い属性項目に対応するアイコンを濃く表示し、対象センテンスとの関連度が低い属性項目に対応するアイコンを薄く表示する。
なお、アテンション重み表示制御部９２は、対象センテンスと属性項目との関連度の推定値が視覚的に認識できれば、このような情報に代えて、関連度の推定値として他の情報を表示してもよい。例えば、アテンション重み表示制御部９２は、関連度の推定値を、数値で表示してもよいし、特定の文言または文字列で表示してもよいし、特定の形状のアイコンで表示してもよいし、レベルメータで表示してもよい。
評価値受付領域１２０には、アテンション重みに対する誤差評価値を、ユーザから受け付けるためのユーザインターフェイスが表示される。評価値受付部９４は、評価値受付領域１２０に入力された情報に基づき、アテンション重みに対する誤差評価値を受け付ける。
本例においては、評価値受付部９４は、複数の属性項目のそれぞれについて、対象センテンスとの関連度の推定値が、正しいか誤っているかを選択するための複数のチェックボックスセットを表示する。評価値受付部９４は、複数のラベルのそれぞれに対応させてチェックボックスセットを表示する。
ユーザは、複数の属性項目のそれぞれについて、対象センテンスとの関連度の推定値が正しいか誤っているかを判断する。ユーザは、関連度の推定値が正しいと判断する属性項目については、正しいを表すチェックボックスを選択する。ユーザは、関連度の推定値が誤っていると判断する属性項目については、誤りを表すチェックボックスを選択する。また、ユーザは、関連度の推定値が正しいか誤っているか不明である場合、何れのチェックボックスも選択しない。評価値受付部９４は、このようなユーザインターフェイスを表示することにより、複数の属性項目のそれぞれについて、関連度の推定値が正しいか誤っているかの２値で表された誤差評価値を取得することができる。
なお、評価値受付部９４は、２値で表された誤差評価値に限らず、多値で表した誤差評価値を取得してもよい。例えば、評価値受付部９４は、１０段階で表した誤差評価値を取得してもよい。
評価値受付部９４は、対象センテンスが選択される毎に、複数の属性項目のそれぞれに対する誤差評価値を取得する。
再学習ボタン１２２は、アテンション部５４に含まれるパラメータの調整の開始を受け付ける。ユーザにより再学習ボタン１２２が押された場合、アテンション調整部６４は、ニューラルネットワーク部４２が有するアテンション部５４に含まれるパラメータの調整を開始する。この場合において、アテンション調整部６４は、アテンション重みに対する誤差評価値に基づき、アテンション部５４に含まれるパラメータを調整する。
精度表示領域１２４は、メイン学習処理を実行した結果得られた推定精度を含む。これにより、ユーザは、現在のメインタスクの推定精度を認識することができる。
図７は、第１実施形態に係る学習装置３０による学習処理の流れを示すフローチャートである。学習装置３０が備える制御部６６は、図７に示すような流れで文書解析装置２０の訓練を制御する。
まず、Ｓ１１１において、制御部６６は、１つの教師データを取得する。続いて、Ｓ１１２において、制御部６６は、メイン学習部６２に、取得した１つの教師データを用いてメインタスクの学習処理をさせる。すなわち、Ｓ１１２において、メイン学習部６２は、文書解析装置２０に含まれるニューラルネットワーク部４２を訓練させる。
続いて、Ｓ１１３において、制御部６６は、終了条件に一致したか否かを判断する。例えば、制御部６６は、予め定められた数の教師データを用いてメインタスクの学習処理を実行した場合、予め定められた時間分メインタスクの学習処理を実行した場合、または、メインタスクの推定精度が予め定められた値に達した場合、終了条件に一致したと判断する。終了条件に一致した場合（Ｓ１１３のＹｅｓ）、制御部６６は、本フローを終了する。終了条件に一致していない場合（Ｓ１１３のＮｏ）、制御部６６は、処理をＳ１１４に進める。
Ｓ１１４において、制御部６６は、アテンション部５４のパラメータの調整タイミングとなったか否かを判断する。例えば、制御部６６は、メイン学習部６２によるニューラルネットワーク部４２の訓練が予め定められた条件に達したか否かを判断する。より具体的には、制御部６６は、予め定められた数の教師データを用いてメインタスクの学習処理をした場合、または、予め定められた時間分メインタスクの学習処理をした場合、予め定められた条件に達したと判断する。
調整タイミングとなっていない場合（Ｓ１１４のＮｏ）、制御部６６は、処理をＳ１１１に戻し、Ｓ１１１から処理を繰り返す。調整タイミングとなった場合（Ｓ１１４のＹｅｓ）、制御部６６は、処理をＳ１１５に進める。
Ｓ１１５において、制御部６６は、アテンション調整部６４に、アテンション部５４のパラメータを調整させる。より詳しくは、Ｓ１１５において、アテンション調整部６４は、次の図８の処理を実行する。制御部６６は、Ｓ１１５の処理が終了すると、処理をＳ１１１に戻し、Ｓ１１１から処理を繰り返す。
図８は、アテンション調整部６４によるパラメータ調整処理の流れを示すフローチャートである。アテンション調整部６４は、図８に示すような流れでアテンション部５４のパラメータを調整する。
まず、Ｓ１２１において、アテンション調整部６４は、処理中の訓練文書に含まれる複数のセンテンスを表示装置に表示させる。続いて、Ｓ１２２において、アテンション調整部６４は、対象センテンスの指定操作を受け付ける。
続いて、Ｓ１２３において、アテンション調整部６４は、対象センテンスを指定する情報を、文書解析装置２０のセンテンス印加部４０に与える。これにより、アテンション調整部６４は、対象センテンスに対応するセンテンス情報および初期要素情報（および順序情報）を、文書解析装置２０のニューラルネットワーク部４２に印加させることができる。センテンス情報および初期要素情報（および順序情報）が与えられたニューラルネットワーク部４２は、処理を実行して、アテンション重みを出力する。
続いて、Ｓ１２４において、アテンション調整部６４は、ニューラルネットワーク部４２からアテンション重みを取得して表示装置に表示させる。続いて、Ｓ１２５において、アテンション調整部６４は、ユーザにより入力されたアテンション重みに対する誤差評価値を受け付ける。続いて、Ｓ１２６において、アテンション調整部６４は、受け付けたアテンション重みに対する誤差評価値を記憶する。
続いて、Ｓ１２４において、アテンション調整部６４は、次のセンテンスについて処理を実行するか否かを判断する。例えば、アテンション調整部６４は、ユーザにより調整開始の指示がされた場合（例えば、再学習ボタン１２２が押された場合）、次のセンテンスについて処理を実行しないと判断し、それ以外の場合、次のセンテンスについて処理を実行すると判断する。
次のセンテンスについて処理を実行する場合（Ｓ１２７のＹｅｓ）、アテンション調整部６４は、処理をＳ１２２に戻し、Ｓ１２２から処理を繰り返す。次のセンテンスについて処理を実行しない場合（Ｓ１２７のＮｏ）、アテンション調整部６４は、処理をＳ１２８に進める。
Ｓ１２８において、アテンション調整部６４は、複数の対象センテンスについてのアテンション重みに対する誤差評価値に基づき、アテンション部５４に設定されている複数のパラメータを調整する。Ｓ１２８の処理を終了すると、アテンション調整部６４は、本フローを終了する。
以上のように、第１実施形態に係る文書解析装置２０は、対象センテンスが与えられた場合におけるアテンション重みを、外部に出力することができる。これにより、文書解析装置２０は、アテンション部５４に含まれるパラメータの調整が可能となり、精度良く文書解析をすることができる。
また、文書解析装置２０は、ニューラルネットワーク部４２の前段において、センテンスを解析して、複数の属性項目のそれぞれについての関連度の初期値を表す初期要素情報を生成する。これにより、文書解析装置２０は、アテンション重みが表す複数の値と、初期要素情報に含まれる複数の属性項目との対応付けが可能となり、この結果、アテンション重みが表す複数の値の誤差を容易に評価させることができる。従って、文書解析装置２０によれば、アテンション部５４に含まれるパラメータを精度良く調整させることができる。
また、第１実施形態に係る学習装置３０は、アテンション重みが表す複数の属性項目のそれぞれについての関連度の推定値に、ラベルを付けて表示装置に表示させる。これにより、学習装置３０は、アテンション重みに対する誤差をユーザに評価させることができる。従って、学習装置３０によれば、アテンション部５４に含まれるパラメータを精度良く調整して、文書解析装置２０に精度良く文書解析させることができる。
（第２実施形態）
つぎに、第２実施形態に係る情報処理システム１０について説明する。第２実施形態に係る情報処理システム１０は、第１実施形態と略同一の機能および構成を有するので、略同一の機能および構成を有する部分には同一の符号を付けて、相違点を除き詳細な説明を省略する。
図９は、第２実施形態に係る文書解析装置２０の構成を示す図である。第２実施形態において、ニューラルネットワーク部４２は、対象文書に対してメインタスク、および、メインタスクとは異なるサブタスクを実行する。すなわち、第２実施形態に係る文書解析装置２０のニューラルネットワーク部４２は、サブタスク実行部２１０をさらに有する。
サブタスク実行部２１０は、複数の層を含むニューラルネットワークである。サブタスク実行部２１０は、複数のセンテンスのそれぞれについてのアテンション部５４により推定されたアテンション情報に基づき、サブタスクを実行する。
サブタスク実行部２１０は、複数のセンテンスのそれぞれについて、入力部５２から、センテンス情報を受け取る。さらに、サブタスク実行部２１０は、複数のセンテンスのそれぞれについて、入力部５２から、順序情報を受け取ってもよい。さらに、サブタスク実行部２１０は、複数のセンテンスのそれぞれについて、アテンション部５４から、アテンション情報を受け取る。
サブタスク実行部２１０は、受け取ったこれらの情報に基づき、対象文書に対してメインタスク実行部５６とは異なった解析結果を出力する。例えば、メインタスク実行部５６およびサブタスク実行部２１０は、同一の文書に対して、異なる処理を実行して、異なる解析結果を出力する。例えば、メインタスク実行部５６は、対象文書のカテゴリを出力し、サブタスク実行部２１０は、対象文書における重要部分を出力する。
また、例えば、メインタスク実行部５６およびサブタスク実行部２１０は、異なる形式の文書に対して、同一の種類の解析結果を出力してもよい。例えば、メインタスク実行部５６は、顧客で使用されている装置の不具合に対する対応結果を示した報告書に対してカテゴリを出力し、サブタスク実行部２１０は、自社内で生じたトラブルの内容を示したメモに対してカテゴリを出力する。
さらに、本実施形態において、メインタスク実行部５６およびサブタスク実行部２１０は、共に、アテンション部５４から出力されたアテンション情報を用いて解析結果を出力する。すなわち、メインタスク実行部５６とサブタスク実行部２１０とは、共通のアテンション情報を用いて、異なるタスクを実行する。
図１０は、第２実施形態に係る学習装置３０の構成を文書解析装置２０とともに示す図である。第２実施形態に係る学習装置３０は、サブ学習部２１２をさらに有する。
第２実施形態において、メイン学習部６２は、訓練文書と、メインタスク実行部５６の実行結果を表す正解データとを含む教師データに基づき、ニューラルネットワーク部４２を訓練する。これに対して、サブ学習部２１２は、訓練文書と、サブタスク実行部２１０の実行結果を表す正解データとを含む教師データに基づき、ニューラルネットワーク部４２を訓練する。
第２実施形態において、制御部６６は、メイン学習部６２によりニューラルネットワーク部４２を訓練するか、サブ学習部２１２によりニューラルネットワーク部４２を訓練するか、アテンション調整部６４によりアテンション部５４のパラメータを調整するかを制御する。例えば、制御部６６は、メイン学習部６２によるニューラルネットワーク部４２の訓練とサブ学習部２１２によるニューラルネットワーク部４２による訓練とを、所定の条件で切り替えながら交互に実行させる。そして、制御部６６は、メイン学習部６２およびサブ学習部２１２によるニューラルネットワーク部４２の訓練が予め定められた条件に達する毎に、アテンション調整部６４にアテンション部５４のパラメータを調整させる。
なお、メイン学習部６２およびサブ学習部２１２は、取得する教師データは異なるが、内部の構成は、同一である。従って、学習装置３０は、同一のソフトウェアモジュールを切り替えて実行することにより、メイン学習部６２およびサブ学習部２１２を実現してもよい。
図１１は、第２実施形態に係る学習装置３０による学習処理の流れを示すフローチャートである。学習装置３０が備える制御部６６は、図１１に示すような流れで文書解析装置２０の訓練を制御する。
まず、Ｓ２１１において、制御部６６は、１つの教師データを取得する。続いて、Ｓ２１２において、制御部６６は、メインタスクの学習処理をするか、サブタスクの学習処理をするか否かを判断する。例えば、制御部６６は、メインタスクの学習処理とサブタスクの学習処理とを所定回数毎に交互に実行させる。また、制御部６６は、取得した教師データに含まれる訓練文書の形式に応じて、メインタスクの学習処理とサブタスクの学習処理と切り替えてもよい。
メインタスクの学習処理を実行する場合（Ｓ２１２のＹｅｓ）、Ｓ２１３において、制御部６６は、メイン学習部６２に、取得した１つの教師データを用いてメインタスクの学習処理をさせる。サブタスクの学習処理を実行する場合（Ｓ２１２のＮｏ）、Ｓ２１４において、制御部６６は、サブ学習部２１２に、取得した１つの教師データを用いてサブタスクの学習処理をさせる。
Ｓ２１３またはＳ２１４の処理を終了した後、Ｓ２１５において、制御部６６は、終了条件に一致したか否かを判断する。終了条件に一致した場合（Ｓ２１５のＹｅｓ）、制御部６６は、本フローを終了する。終了条件に一致していない場合（Ｓ２１５のＮｏ）、制御部６６は、処理をＳ２１６に進める。
Ｓ２１６において、制御部６６は、アテンション部５４のパラメータの調整タイミングとなったか否かを判断する。例えば、制御部６６は、メイン学習部６２およびサブ学習部２１２によるニューラルネットワーク部４２の訓練が予め定められた条件に達したか否かを判断する。より具体的には、制御部６６は、予め定められた数の教師データを用いてメインタスクおよびサブタスクの学習処理をした場合、または、予め定められた時間分メインタスクおよびサブタスクの学習処理をした場合、予め定められた条件に達したと判断する。調整タイミングとなっていない場合（Ｓ２１６のＮｏ）、制御部６６は、処理をＳ２１１に戻し、Ｓ２１１から処理を繰り返す。調整タイミングとなった場合（Ｓ２１６のＹｅｓ）、制御部６６は、処理をＳ２１７に進める。
Ｓ２１７において、制御部６６は、アテンション調整部６４に、アテンション部５４のパラメータを調整させる。制御部６６は、Ｓ２１７の処理が終了すると、処理をＳ２１１に戻し、Ｓ２１１から処理を繰り返す。
図１２は、第２実施形態に係るユーザインターフェイス画像１１０の一例を示す図である。第２実施形態において、アテンション調整部６４は、例えば、図１２に示すようなユーザインターフェイス画像１１０を表示装置に表示させる。
第２実施形態に係るユーザインターフェイス画像１１０は、第１実施形態と比較して、精度表示領域１２４に含まれる情報内容が異なるが、他の領域は同一である。第２実施形態において、精度表示領域１２４は、メイン学習処理を実行した結果得られた推定精度と、サブ学習処理を実行した結果得られた推定精度の両者を含む。これにより、ユーザは、現在のメインタスクの推定精度および現在のサブタスクの推定精度を認識することができる。
このような第２実施形態に係るユーザインターフェイス画像１１０は、メインタスクの学習処理を実行している場合と、サブタスクの学習処理を実行している場合とで、ラベル領域１１６およびアテンション重み領域１１８に、同一の情報が表示される。これにより、ユーザは、メインタスクの学習処理の途中であっても、サブタスクの処理の途中であっても、アテンション部５４のパラメータを共通のユーザインターフェイスを用いて調整することができる。
以上のように、第２実施形態に係る文書解析装置２０は、共通のアテンション部５４を用いて異なる２つのタスクを実行する。これにより、文書解析装置２０によれば、様々な構造および様式の文書を精度良く解析することができる。
また、第２実施形態に係る学習装置３０は、文書解析装置２０において実行される異なる２つのタスクを、並行して訓練することができる。さらに、学習装置３０は、異なる２つのタスクの訓練を実行しながら、アテンション部５４のパラメータを調整するので、アテンション部５４のパラメータを異なる２つのタスクに対して適応化させることができる。従って、第２実施形態に係る学習装置３０によれば、文書解析装置２０に、様々な構造および様式の文書を精度良く解析させることができる。
（第３実施形態）
つぎに、第３実施形態に係る情報処理システム１０について説明する。第３実施形態に係る情報処理システム１０は、第１実施形態および第２実施形態と略同一の機能および構成を有するので、略同一の機能および構成を有する部分には同一の符号を付けて、相違点を除き詳細な説明を省略する。
図１３は、第３実施形態に係るアテンション調整部６４の構成を文書解析装置２０とともに示す図である。第３実施形態に係るアテンション調整部６４は、正解データ取得部２２０と、印加制御部８６と、アテンション重み取得部８８と、アテンション誤差評価部２２２と、パラメータ調整部９６とを含む。
正解データ取得部２２０は、訓練文書に含まれる複数のセンテンスのそれぞれに対応させて、アテンション重みの正解値を表すアテンション正解データを取得する。アテンション正解データは、例えばユーザ等により予め生成されている。
正解データ取得部２２０は、訓練文書に含まれる複数のセンテンスの中から、１つの対象センテンスを選択する。そして、正解データ取得部２２０は、選択した対象センテンスを指定する情報を印加制御部８６に与え、選択した対象センテンスに対応するアテンション正解データをアテンション誤差評価部２２２に与える。
印加制御部８６は、文書解析装置２０のセンテンス印加部４０に対して、対象センテンスを指定する。対象センテンスが指定された場合、センテンス印加部４０は、対象センテンスに対応するセンテンス情報および初期要素情報（および順序情報）を記憶部３８から読み出し、読み出したセンテンス情報および初期要素情報（および順序情報）をニューラルネットワーク部４２に与える。
アテンション重み取得部８８は、対象センテンスに対応するセンテンス情報および初期要素情報（および順序情報）がニューラルネットワーク部４２に印加された場合において、アテンション部５４に含まれる正規化層から出力されたアテンション重みを取得する。
アテンション誤差評価部２２２は、取得したアテンション重みと、対象センテンスに対応するアテンション重みの正解値を表すアテンション正解データとに基づき、アテンション重みに対する誤差評価値を算出する。例えば、アテンション誤差評価部２２２は、取得したアテンション重みとアテンション正解データとの誤差を予め定められた評価関数に与えることにより、アテンション重みに対する誤差評価値を算出する。
パラメータ調整部９６は、算出されたアテンション重みに対する誤差評価値に基づき、アテンション部５４に設定されている複数のパラメータを調整する。より具体的には、パラメータ調整部９６は、複数の属性項目のそれぞれに対する関連度の推定値の誤差が小さくなるように、アテンション部５４に設定されている複数のパラメータを調整する。例えば、パラメータ調整部９６は、アテンション重みに対する誤差評価値を逆伝播させ、パラメータの誤差の勾配が小さくなるようにアテンション部５４に設定されているパラメータを調整する。そして、このような構成のアテンション調整部６４は、訓練文書に含まれる複数のセンテンスのそれぞれに対して、以上の処理を繰り返す。
以上のように、第３実施形態に係る学習装置３０は、アテンション重みが表す複数の属性項目のそれぞれに対する関連度の推定値の正解データを予め取得する。これにより、学習装置３０は、文書解析装置２０から取得されたアテンション重みと正解データとを比較して、アテンション重みに対する誤差評価値を演算により算出することができる。そして、学習装置３０は、算出した誤差評価値に基づき、アテンション部５４に含まれるパラメータを調整することができる。従って、学習装置３０によれば、アテンション部５４に含まれるパラメータを精度良く調整して、文書解析装置２０に精度良く文書解析させることができる。
（情報処理システム１０のハードウェア構成）
図１４は、情報処理システム１０のハードウェアブロック図である。情報処理システム１０は、一例として、一般のコンピュータ（情報処理装置）と同様のハードウェア構成により実現される。情報処理システム１０は、ＣＰＵ（Central Processing Unit）３０２と、ＲＯＭ（Read Only Memory）３０４と、ＲＡＭ（Random Access Memory）３０６と、記憶装置３０８と、操作装置３１０と、表示モニタ３１２と、通信装置３１４とを備える。各部は、バスにより接続される。
ＲＯＭ３０４は、情報処理システム１０の制御に用いられるプログラムおよび各種設定情報等を書き換え不可能に記憶する。ＲＡＭ３０６は、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）等の揮発性の記憶媒体である。ＲＡＭ３０６は、ＣＰＵ３０２の作業領域として機能する。
ＣＰＵ３０２は、ＲＡＭ３０６の所定領域を作業領域としてＲＯＭ３０４または記憶装置３０８に予め記憶された各種プログラムとの協働により各種処理を実行し、文書解析装置２０および学習装置３０を構成する各部の動作を統括的に制御する。また、ＣＰＵ３０２は、ＲＯＭ３０４または記憶装置３０８に予め記憶されたプログラムとの協働により、操作装置３１０、表示モニタ３１２および通信装置３１４等を制御する。
記憶装置３０８は、フラッシュメモリ等の半導体による記憶媒体、磁気的または光学的に記録可能な記憶媒体等の書き換え可能な記録装置である。記憶装置３０８は、情報処理システム１０の制御に用いられるプログラムおよび各種設定情報等を記憶する。
操作装置３１０は、マウスおよびキーボード等の入力デバイスである。操作装置３１０は、ユーザから操作入力された情報を受け付け、受け付けた情報をＣＰＵ３０２に出力する。
表示モニタ３１２は、表示装置の一例であり、情報をユーザに表示する。表示モニタ３１２は、ＣＰＵ３０２から情報等を受け取り、受け取った情報を表示する。通信装置３１４は、外部の機器と通信して、ネットワーク等を介して情報を送受信する。
本実施形態の情報処理システム１０で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
また、本実施形態の情報処理システム１０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、本実施形態の情報処理システム１０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成してもよい。また、本実施形態の情報処理システム１０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
情報処理装置を文書解析装置２０として機能させるためのプログラムは、センテンス抽出モジュール、分散表現変換モジュール、解析部モジュール、センテンス印加モジュール、ニューラルネットワークモジュール（入力モジュール、アテンションモジュール、メインタスク実行モジュールおよびサブタスク実行モジュール）、センテンス出力モジュール並びにアテンション重み出力モジュールを含むモジュール構成となっている。このプログラムは、ＣＰＵ３０２（プロセッサ）により実行されることにより各モジュールがＲＡＭ３０６（主記憶装置）にロードされ、ＣＰＵ３０２を、センテンス抽出部３２、分散表現変換部３４、解析部３６、記憶部３８、センテンス印加部４０、ニューラルネットワーク部４２（入力部５２、アテンション部５４、メインタスク実行部５６およびサブタスク実行部２１０）、センテンス出力部４４並びにアテンション重み出力部４６として機能させる。なお、センテンス抽出部３２、分散表現変換部３４、解析部３６、記憶部３８、センテンス印加部４０、ニューラルネットワーク部４２（入力部５２、アテンション部５４、メインタスク実行部５６およびサブタスク実行部２１０）、センテンス出力部４４並びにアテンション重み出力部４６は、一部または全部がハードウェアにより構成されていてもよい。
情報処理装置を学習装置３０として機能させるためのプログラムは、メイン学習モジュール、アテンション調整モジュール、制御モジュールおよびサブ学習モジュールを含むモジュール構成となっている。このプログラムは、ＣＰＵ３０２（プロセッサ）により実行されることにより各モジュールがＲＡＭ３０６（主記憶装置）にロードされ、ＣＰＵ３０２を、メイン学習部６２、アテンション調整部６４、制御部６６およびサブ学習部２１２として機能させる。なお、メイン学習部６２、アテンション調整部６４、制御部６６およびサブ学習部２１２は、一部または全部がハードウェアにより構成されていてもよい。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、請求の範囲に記載された発明とその均等の範囲に含まれる。
１０ 情報処理システム
２０ 文書解析装置
３０ 学習装置
３２ センテンス抽出部
３４ 分散表現変換部
３６ 解析部
３８ 記憶部
４０ センテンス印加部
４２ ニューラルネットワーク部
４４ センテンス出力部
４６ アテンション重み出力部
５２ 入力部
５４ アテンション部
５６ メインタスク実行部
６２ メイン学習部
６４ アテンション調整部
６６ 制御部
７２ 教師データ取得部
７４ 文書印加部
７６ 評価値算出部
７８ 学習制御部
８２ センテンス表示制御部
８４ センテンス受付部
８６ 印加制御部
８８ アテンション重み取得部
９０ ラベル記憶部
９２ アテンション重み表示制御部
９４ 評価値受付部
９６ パラメータ調整部
９８ ラベル変更部
１１０ ユーザインターフェイス画像
１１２ センテンス領域
１１４ センテンス受付領域
１１６ ラベル領域
１１８ アテンション重み領域
１２０ 評価値受付領域
１２２ 再学習ボタン
１２４ 精度表示領域
２１０ サブタスク実行部
２１２ サブ学習部
２２０ 正解データ取得部
２２２ アテンション誤差評価部

Claims (13)

  1. 対象文書に含まれる複数のセンテンスを抽出するセンテンス抽出部と、
    前記複数のセンテンスのそれぞれについて、予め定められた複数の属性項目のそれぞれに対する関連度の初期値を表す初期要素情報を生成する解析部と、
    前記複数のセンテンスのそれぞれについて、含まれるテキストの内容を表すセンテンス情報および前記初期要素情報を受け取り、前記対象文書に対してメインタスクを実行した結果を出力するニューラルネットワーク部と、
    を備え、
    前記ニューラルネットワーク部は、
    前記複数のセンテンスのそれぞれについて、前記センテンス情報および前記初期要素情報を受け取り、前記複数の属性項目のそれぞれに対する関連度の推定値を表すアテンション重みを算出し、前記アテンション重みに応じたアテンション情報を出力するアテンション部と、
    前記複数のセンテンスのそれぞれについての前記アテンション情報に基づき、前記メインタスクを実行するメインタスク実行部と、
    を有する文書解析装置。
  2. 前記複数の属性項目のうちの何れか１つは、センテンスの文書内での役割を表す項目、センテンスを含む領域の文書中での構造を表す項目、または、センテンスに含まれる文字の装飾を表す項目である
    請求項１に記載の文書解析装置。
  3. 学習中において、訓練文書に含まれる複数のセンテンスのうちの対象センテンスに対応する前記センテンス情報および前記初期要素情報を、前記ニューラルネットワーク部に与えるセンテンス印加部と、
    前記学習中において、前記対象センテンスに対応する前記センテンス情報および前記初期要素情報が前記ニューラルネットワーク部に与えられた場合に、前記アテンション部に含まれる正規化層から出力された複数の値を、前記アテンション重みとして出力するアテンション重み出力部と、
    をさらに備える請求項２に記載の文書解析装置。
  4. 前記ニューラルネットワーク部は、前記対象文書に対して前記メインタスク、および、前記メインタスクとは異なるサブタスクを実行し、
    前記ニューラルネットワーク部は、前記複数のセンテンスのそれぞれについての前記アテンション部により推定された前記アテンション情報に基づき、前記サブタスクを実行するサブタスク実行部をさらに有する
    請求項１から３の何れか１項に記載の文書解析装置。
  5. 文書解析装置を訓練する学習装置であって、
    前記文書解析装置は、
    対象文書に含まれる複数のセンテンスを抽出するセンテンス抽出部と、
    前記複数のセンテンスのそれぞれについて、予め定められた複数の属性項目のそれぞれに対する関連度の初期値を表す初期要素情報を生成する解析部と、
    前記複数のセンテンスのそれぞれについて、含まれるテキストの内容を表すセンテンス情報および前記初期要素情報を受け取り、前記対象文書に対してメインタスクを実行した結果を出力するニューラルネットワーク部と、
    を備え、
    前記ニューラルネットワーク部は、
    前記複数のセンテンスのそれぞれについて、前記センテンス情報および前記初期要素情報を受け取り、前記複数の属性項目のそれぞれに対する関連度の推定値を表すアテンション重みを算出し、前記アテンション重みに応じたアテンション情報を出力するアテンション部と、
    前記複数のセンテンスのそれぞれについての前記アテンション情報に基づき、前記メインタスクを実行するメインタスク実行部と、
    を有し、
    前記学習装置は、
    訓練文書と前記メインタスク実行部の実行結果を表す正解データとを含む教師データに基づき、前記ニューラルネットワーク部を訓練するメイン学習部と、
    前記アテンション部に含まれるパラメータを調整するアテンション調整部と、
    を備え、
    前記アテンション調整部は、
    前記訓練文書に含まれる複数のセンテンスのうちの１つの対象センテンスに対応する前記センテンス情報および前記初期要素情報を、前記ニューラルネットワーク部に印加させる印加制御部と、
    前記対象センテンスに対応する前記センテンス情報および前記初期要素情報が前記ニューラルネットワーク部に印加された場合において、前記アテンション部に含まれる正規化層から出力された前記アテンション重みを取得するアテンション重み取得部と、
    前記アテンション重みに対する誤差評価値に基づき、前記アテンション部に設定されている複数のパラメータを調整するパラメータ調整部と、
    を有する学習装置。
  6. 前記複数の属性項目のそれぞれについて、前記アテンション重みにより表される関連度の推定値と、内容を表すラベルとを対応付けて表示装置に表示させるアテンション重み表示制御部と、
    ユーザにより入力された前記アテンション重みに対する前記誤差評価値を受け付ける評価値受付部と、
    をさらに有する請求項５に記載の学習装置。
  7. 前記訓練文書に含まれる前記複数のセンテンスを前記表示装置に表示させるセンテンス表示制御部と、
    前記表示装置に表示された前記複数のセンテンスの中から、前記ユーザによる前記対象センテンスの指定操作を受け付けるセンテンス受付部と、
    をさらに有する請求項６に記載の学習装置。
  8. 取得した前記アテンション重みと、前記対象センテンスに対応する前記アテンション重みの正解値を表す予め生成されたアテンション正解データとに基づき、前記アテンション重みに対する前記誤差評価値を算出するアテンション誤差評価部をさらに有し、
    前記パラメータ調整部は、算出された前記アテンション重みに対する前記誤差評価値に基づき、前記アテンション部を訓練する
    請求項５に記載の学習装置。
  9. 前記メイン学習部により前記ニューラルネットワーク部を訓練するか、前記アテンション調整部により前記アテンション部のパラメータを調整するかを制御する制御部をさらに備え、
    前記制御部は、前記メイン学習部による前記ニューラルネットワーク部の訓練が予め定められた条件に達する毎に、前記アテンション調整部に前記アテンション部のパラメータを調整させる
    請求項５から８の何れか１項に記載の学習装置。
  10. 前記ニューラルネットワーク部は、前記対象文書に対して前記メインタスク、および、前記メインタスクとは異なるサブタスクを実行し、
    前記ニューラルネットワーク部は、前記複数のセンテンスのそれぞれについての前記アテンション部により推定された前記アテンション情報に基づき、前記サブタスクを実行するサブタスク実行部をさらに有し、
    前記学習装置は、
    前記訓練文書と前記サブタスク実行部の実行結果を表す正解データとを含む教師データに基づき、前記ニューラルネットワーク部を訓練するサブ学習部をさらに有し、
    前記制御部は、前記メイン学習部により前記ニューラルネットワーク部を訓練するか、前記サブ学習部により前記ニューラルネットワーク部を訓練するか、前記アテンション調整部により前記アテンション部のパラメータを調整するかを制御する
    請求項９に記載の学習装置。
  11. 前記制御部は、
    前記メイン学習部による前記ニューラルネットワーク部の訓練と前記サブ学習部による前記ニューラルネットワーク部による訓練とを、所定の条件で切り替えながら交互に実行させ、
    前記メイン学習部および前記サブ学習部による前記ニューラルネットワーク部の訓練が予め定められた条件に達する毎に、前記アテンション調整部に前記アテンション部のパラメータを調整させる
    請求項１０に記載の学習装置。
  12. 情報処理装置により実行される文書解析方法であって、
    前記情報処理装置が、対象文書に含まれる複数のセンテンスを抽出し、
    前記情報処理装置が、前記複数のセンテンスのそれぞれについて、予め定められた複数の属性項目のそれぞれに対する関連度の初期値を表す初期要素情報を生成し、
    前記情報処理装置が、ニューラルネットワーク部を用いて、前記複数のセンテンスのそれぞれについて、含まれるテキストの内容を表すセンテンス情報および前記初期要素情報を受け取り、前記対象文書に対してメインタスクを実行した結果を出力し、
    前記ニューラルネットワーク部は、
    前記複数のセンテンスのそれぞれについて、前記センテンス情報および前記初期要素情報を受け取り、前記複数の属性項目のそれぞれに対する関連度の推定値を表すアテンション重みを算出し、前記アテンション重みに応じたアテンション情報を出力するアテンション部と、
    前記複数のセンテンスのそれぞれについての前記アテンション情報に基づき、前記メインタスクを実行するメインタスク実行部と、
    を有する文書解析方法。
  13. 情報処理装置により、文書解析装置を訓練する学習方法であって、
    前記文書解析装置は、
    対象文書に含まれる複数のセンテンスを抽出するセンテンス抽出部と、
    前記複数のセンテンスのそれぞれについて、予め定められた複数の属性項目のそれぞれに対する関連度の初期値を表す初期要素情報を生成する解析部と、
    前記複数のセンテンスのそれぞれについて、含まれるテキストの内容を表すセンテンス情報および前記初期要素情報を受け取り、前記対象文書に対してメインタスクを実行した結果を出力するニューラルネットワーク部と、
    を備え、
    前記ニューラルネットワーク部は、
    前記複数のセンテンスのそれぞれについて、前記センテンス情報および前記初期要素情報を受け取り、前記複数の属性項目のそれぞれに対する関連度の推定値を表すアテンション重みを算出し、前記アテンション重みに応じたアテンション情報を出力するアテンション部と、
    前記複数のセンテンスのそれぞれについての前記アテンション情報に基づき、前記メインタスクを実行するメインタスク実行部と、
    を有し、
    前記情報処理装置が、訓練文書と前記メインタスク実行部の実行結果を表す正解データとを含む教師データに基づき、前記ニューラルネットワーク部を訓練するメイン学習ステップと、
    前記情報処理装置が、前記アテンション部に含まれるパラメータを調整するパラメータ調整ステップと、
    を実行し、
    前記パラメータ調整ステップにおいて、
    前記情報処理装置が、前記訓練文書に含まれる複数のセンテンスのうちの１つの対象センテンスに対応する前記センテンス情報および前記初期要素情報を、前記ニューラルネットワーク部に印加させ、
    前記情報処理装置が、前記対象センテンスに対応する前記センテンス情報および前記初期要素情報が前記ニューラルネットワーク部に印加された場合において、前記アテンション部に含まれる正規化層から出力された前記アテンション重みを取得し、
    前記情報処理装置が、前記アテンション重みに対する誤差評価値に基づき、前記アテンション部に設定されている複数のパラメータを調整する
    学習方法。
JP2019087651A 2019-05-07 2019-05-07 文書解析装置、学習装置、文書解析方法および学習方法 Active JP7077265B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2019087651A JP7077265B2 (ja) 2019-05-07 2019-05-07 文書解析装置、学習装置、文書解析方法および学習方法
US16/801,326 US11429786B2 (en) 2019-05-07 2020-02-26 Document analysis device, learning device, document analysis method, and learning method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2019087651A JP7077265B2 (ja) 2019-05-07 2019-05-07 文書解析装置、学習装置、文書解析方法および学習方法

Publications (2)

Publication Number Publication Date
JP2020184157A JP2020184157A (ja) 2020-11-12
JP7077265B2 true JP7077265B2 (ja) 2022-05-30

Family

ID=73045193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2019087651A Active JP7077265B2 (ja) 2019-05-07 2019-05-07 文書解析装置、学習装置、文書解析方法および学習方法

Country Status (2)

Country Link
US (1) US11429786B2 (ja)
JP (1) JP7077265B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111859982B (zh) * 2020-06-19 2024-04-26 北京百度网讯科技有限公司 语言模型的训练方法、装置、电子设备及可读存储介质
US11568284B2 (en) * 2020-06-26 2023-01-31 Intuit Inc. System and method for determining a structured representation of a form document utilizing multiple machine learning models
CN112801287A (zh) * 2021-01-26 2021-05-14 商汤集团有限公司 神经网络性能评估方法及装置、电子设备及存储介质
WO2023073890A1 (ja) * 2021-10-28 2023-05-04 日本電信電話株式会社 変換装置、変換方法、および、変換プログラム
CN114661904B (zh) * 2022-03-10 2023-04-07 北京百度网讯科技有限公司 文档处理模型的训练方法、装置、设备、存储介质及程序

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006190229A (ja) 2005-01-07 2006-07-20 Nec Corp 意見抽出用学習装置及び意見抽出用分類装置
WO2018131259A1 (ja) 2017-01-11 2018-07-19 パナソニックＩｐマネジメント株式会社 文章評価装置、及び文章評価方法
JP2019020893A (ja) 2017-07-13 2019-02-07 国立研究開発法人情報通信研究機構 ノン・ファクトイド型質問応答装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014067154A (ja) 2012-09-25 2014-04-17 Toshiba Corp 文書分類支援装置、方法及びプログラム
JP2016027493A (ja) 2015-09-29 2016-02-18 株式会社東芝 文書分類支援装置、方法及びプログラム
US10354168B2 (en) * 2016-04-11 2019-07-16 A2Ia S.A.S. Systems and methods for recognizing characters in digitized documents
CN110019471B (zh) * 2017-12-15 2024-03-08 微软技术许可有限责任公司 从结构化数据生成文本
GB201805293D0 (en) * 2018-03-29 2018-05-16 Benevolentai Tech Limited Attention filtering for multiple instance learning
EP3794511A1 (en) * 2018-05-18 2021-03-24 BenevolentAI Technology Limited Graph neutral networks with attention
EP3811323A4 (en) * 2018-06-19 2022-03-09 Thomson Reuters Enterprise Centre GmbH SYSTEMS AND METHODS FOR DETERMINING STRUCTURED PROCESS OUTCOMES
US11010559B2 (en) * 2018-08-30 2021-05-18 International Business Machines Corporation Multi-aspect sentiment analysis by collaborative attention allocation
US10824815B2 (en) * 2019-01-02 2020-11-03 Netapp, Inc. Document classification using attention networks
US10949664B2 (en) * 2019-04-08 2021-03-16 Kyocera Document Solutions Inc. Optical character recognition training data generation for neural networks by parsing page description language jobs
US11790171B2 (en) * 2019-04-16 2023-10-17 Covera Health Computer-implemented natural language understanding of medical reports

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006190229A (ja) 2005-01-07 2006-07-20 Nec Corp 意見抽出用学習装置及び意見抽出用分類装置
WO2018131259A1 (ja) 2017-01-11 2018-07-19 パナソニックＩｐマネジメント株式会社 文章評価装置、及び文章評価方法
JP2019020893A (ja) 2017-07-13 2019-02-07 国立研究開発法人情報通信研究機構 ノン・ファクトイド型質問応答装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
吉岡 重紀 ほか，生成型一文要約のためのマルチアテンションモデルの提案，第８回データ工学と情報マネジメントに関するフォーラム （第１４回日本データベース学会年次大会）［ｏｎｌｉｎｅ］，日本，電子情報通信学会データ工学研究専門委員会 日本データベース学会 情報処理学会データベースシステム研究会，2016年03月02日，pp. 1-7，Internet<URL:http://db-event.jpn.org/deim2016/papers/216.pdf>

Also Published As

Publication number Publication date
US11429786B2 (en) 2022-08-30
JP2020184157A (ja) 2020-11-12
US20200356723A1 (en) 2020-11-12

Similar Documents

Publication Publication Date Title
JP7077265B2 (ja) 文書解析装置、学習装置、文書解析方法および学習方法
JP6842167B2 (ja) 要約生成装置、要約生成方法及びコンピュータプログラム
US20210065569A1 (en) System and method for providing an interactive visual learning environment for creation, presentation, sharing, organizing and analysis of knowledge on subject matter
US9881003B2 (en) Automatic translation of digital graphic novels
US20180366013A1 (en) System and method for providing an interactive visual learning environment for creation, presentation, sharing, organizing and analysis of knowledge on subject matter
US8761496B2 (en) Image processing apparatus for calculating a degree of similarity between images, method of image processing, processing apparatus for calculating a degree of approximation between data sets, method of processing, computer program product, and computer readable medium
JP6909633B2 (ja) 評価装置、評価方法、および評価プログラム
JP7069029B2 (ja) 自動予測システム、自動予測方法および自動予測プログラム
US9268842B2 (en) Information processing apparatus, control method for the same, and computer-readable recording medium
Nassiri et al. Arabic readability assessment for foreign language learners
US20230336532A1 (en) Privacy Preserving Document Analysis
US20190228335A1 (en) Optimization apparatus and optimization method for hyper parameter
CN114528845A (zh) 异常日志的分析方法、装置及电子设备
JP7155625B2 (ja) 検査装置、検査方法、プログラム及び学習装置
US20050261881A1 (en) Task-based design evaluation
JP2005292958A (ja) 教師データ作成装置およびプログラム、言語解析処理装置およびプログラム、ならびに要約処理装置およびプログラム
Jockers et al. Sentiment analysis
CN101382933A (zh) 创建用于学习单词翻译的数据的装置和方法
JP6529698B2 (ja) データ分析装置およびデータ分析方法
JP6178480B1 (ja) データ分析システム、その制御方法、プログラム、及び、記録媒体
WO2020250810A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP6605683B1 (ja) 見積方法、課金方法、コンピュータ、及びプログラム
JP6181890B2 (ja) 文献解析装置、文献解析方法およびプログラム
Espinal et al. A Format-sensitive BERT-based Approach to Resume Segmentation
JP2020160974A (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210312

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220121

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220201

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220317

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220419

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220518

R151 Written notification of patent or utility model registration

Ref document number: 7077265

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151