JP7189068B2 - MODEL CREATED SUPPORT METHOD AND MODEL CREATED SUPPORT SYSTEM - Google Patents
MODEL CREATED SUPPORT METHOD AND MODEL CREATED SUPPORT SYSTEM Download PDFInfo
- Publication number
- JP7189068B2 JP7189068B2 JP2019072538A JP2019072538A JP7189068B2 JP 7189068 B2 JP7189068 B2 JP 7189068B2 JP 2019072538 A JP2019072538 A JP 2019072538A JP 2019072538 A JP2019072538 A JP 2019072538A JP 7189068 B2 JP7189068 B2 JP 7189068B2
- Authority
- JP
- Japan
- Prior art keywords
- feature amount
- label
- data
- learning
- word
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/04—Inference or reasoning models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/02—Knowledge representation; Symbolic representation
- G06N5/022—Knowledge engineering; Knowledge acquisition
- G06N5/025—Extracting rules from data
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Mathematical Physics (AREA)
- Computing Systems (AREA)
- Computational Linguistics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Medical Informatics (AREA)
- Mathematical Optimization (AREA)
- Mathematical Analysis (AREA)
- Computational Mathematics (AREA)
- Pure & Applied Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Operations Research (AREA)
- Probability & Statistics with Applications (AREA)
- Algebra (AREA)
- Databases & Information Systems (AREA)
- Machine Translation (AREA)
Description
本発明は、モデル作成支援方法、及びモデル作成支援システムに関する。 The present invention relates to a model creation support method and a model creation support system.
機械学習の手法を使った分析モデル(推論モデル)の精度向上には、分析モデルにおける教師データの選定と分析パラメータのチューニングが重要となる。しかしながら、所望の分析精度が得られていない場合に、教師データに問題があるのか、それとも分析パラメータの設定に問題があるのか、という問題が発生する。 To improve the accuracy of an analysis model (inference model) using machine learning techniques, it is important to select teacher data and tune analysis parameters in the analysis model. However, when the desired analysis accuracy is not obtained, a problem arises as to whether there is a problem with the teacher data or with the setting of the analysis parameters.
この点、分析モデルの精度向上を支援する技術として、学習済みモデルに基づき高い信頼度で「正解」と推論できた非教師データを教師データに自動追加する手法(特許文献1)や、判定結果に影響を与えたルールを提示する手法(特許文献2)が知られている。 In this regard, as a technology to support the accuracy improvement of the analysis model, there is a method of automatically adding unsupervised data that can be inferred as "correct" with high reliability based on the trained model to the supervised data (Patent Document 1), and the judgment result. There is known a technique of presenting rules that have influenced the (Patent Document 2).
しかし、特許文献1に記載の技術では、既に存在する学習済みモデルによって高い信頼度で推論されるようなデータを教師データに追加しても、大きな精度向上は期待できない。他方、特許文献2に記載の技術では、文章からの情報抽出ルール(特徴量)を手動でシステムに入力する必要があるが、文章の情報は膨大であるため、入力すべき抽出ルールを人が判断するには事実上限界があるという問題がある。
However, with the technique described in
本発明はこのような現状に鑑みてなされたものであり、その目的は、機械学習により生成されるモデルの精度を確実に向上させることが可能なモデル作成支援方法、及びモデル作成支援システムを提供することにある。
The present invention has been made in view of such circumstances, and its object is to provide a model creation support method and a model creation support system that can reliably improve the accuracy of models generated by machine learning. to do.
以上の課題を解決するための本発明の一つは、プロセッサ及びメモリを備えるモデル作成支援システムが、複数の学習対象のデータに対してそれぞれの特徴量を特定する機械学習を行うことにより、入力データに設定すべきラベルを当該入力データの特徴量に基づき推定する推論モデルを生成する学習処理と、所定のデータを前記生成した推論モデルに入力することにより特定された当該所定のデータの特徴量と、前記機械学習により特定された、前記学習対象のデータの特徴量との類似性を判定することにより、前記推論モデルによるラベルの推定の妥当性を判定し、その判定内容を示す情報を出力する評価処理と、を実行する。 One of the present invention for solving the above problems is a model creation support system equipped with a processor and a memory, by performing machine learning for specifying each feature amount for a plurality of learning target data, input A learning process for generating an inference model for estimating a label to be set to data based on the feature amount of the input data, and a feature amount of the predetermined data specified by inputting predetermined data into the generated inference model. and, by determining the similarity with the feature quantity of the learning target data specified by the machine learning, the validity of the label estimation by the inference model is determined, and information indicating the content of the determination is output. and an evaluation process to be performed.
本発明によれば、機械学習により生成されるモデルの精度を確実に向上させることができる。 ADVANTAGE OF THE INVENTION According to this invention, the precision of the model produced|generated by machine learning can be improved reliably.
以下、本実施形態のモデル作成支援システムについて図面を参照しつつ説明する。なお、以後の説明では、「×××テーブル」等の表現にて情報を説明することがあるが、これら情報はテーブル等のデータ構造以外で表現されていてもよい。そのため、データ構造に依存しないことを示すために「×××テーブル」等について「×××情報」と呼ぶことがある。各情報の内容を説明する際に、「番号」、「名称」という表現の識別情報が採用されるが、他種の識別情報が使用されて良い。以後の説明における「×××処理」は、「×××プログラム」であってもよい。以後の説明における「処理」を主語とした説明は、プロセッサを主語とした説明としてもよい。処理の一部または全ては、専用ハードウェアによって実現されてもよい。各種プログラムは、プログラム配布サーバや、計算機が読み取り可能な記憶媒体によって各計算機にインストールされてもよい。 The model creation support system of this embodiment will be described below with reference to the drawings. In the following description, information may be described using expressions such as "xxx table", but these information may be expressed in a data structure other than a table. Therefore, in order to indicate that it does not depend on the data structure, the "xxx table" and the like are sometimes called "xxx information". When describing the contents of each piece of information, identification information expressed as “number” and “name” is used, but other types of identification information may be used. "XXX process" in the following description may be "XXX program". The description with the subject of "processing" in the following description may be the description with the processor as the subject. Part or all of the processing may be implemented by dedicated hardware. Various programs may be installed in each computer by a program distribution server or a computer-readable storage medium.
図1は、本実施形態に係る文書解析システム100(モデル作成支援システム)の構成の一例を示す図である。文書解析システム100は、学習対象の文書データにおける各単語の意味内容を推論する機械学習を行うことにより、単語の意味内容を推論する推論モデルを作成することで、ユーザから指定された、解析対象の文書の意味内容を解析する。文書解析システム100は、例えば、所定のデータセンタに設置される。文書解析システム100は、解析対象の文書データを保持している端末3と、推論モデルを生成すると共に、端末3から送られてきた解析対象の文書を、その推論モデルに従って推論する分析ノード2とを備えて構成されている。なお、分析ノード2及び端末3の間は、ネットワークスイッチ4を介して接続されている。例えば、分析ノード2及び端末3の間は、LAN(Local Area Network)、WAN(Wide Area Network)、インターネット、専用線等の有線
又は無線の通信ネットワークを介したネットワークスイッチ4によって通信可能に接続される。
FIG. 1 is a diagram showing an example of the configuration of a document analysis system 100 (model creation support system) according to this embodiment. The
分析ノード2及び端末3は、パーソナルコンピュータ又はワークステーションなどから構成される。
図2は、分析ノード2が備える構成の一例を示す図である。分析ノード2は、CPU(Central Processing Unit)などの処理部21と、RAM(Random Access Memory)又は
ROM(Read Only Memory)等のメモリ22と、FC(Fibre Channel)ディスク、SC
SI(Small Computer System Interface)ディスク、SATAディスク、ATA(AT Attachment)ディスク又はSAS(Serial Attached SCSI)ディスク等のディスクデバイス27と、キーボード、マウス、タッチパネルなどからなる入力装置24と、モニタ(ディ
スプレイ)等からなる出力装置25と、他の装置と通信を行う通信装置26とを備える。なお、処理部21は、分析ノード2全体の動作制御を司り、メモリ22に格納された後述の制御プログラム群211及び管理テーブル群212に基づいて必要な処理を実行する。メモリ22は、後述する制御プログラム群211及び管理テーブル群212を記憶するために用いられる他、処理部21のワークメモリとしても用いられる。通信装置26は、ネットワークスイッチ4に対応した通信インタフェースであり、分析ノード2が通信する際のプロトコル制御を行う。
The
FIG. 2 is a diagram showing an example of the configuration of the
A
分析ノード2は、制御プログラム群211として、学習部2111、評価部2112、フィードバック部2113、及び推論部2114の各機能を有する。また、分析ノード2は、文書データ2121、教師辞書データ2122、推論モデル200、推論結果データ2124、確認ラベル抽出ルール2126、特徴量差分データ2125、及び確認ラベルデータ2127を記憶している。
The
学習部2111は、端末3から所定の学習処理要求を受け付ける。
The
学習部2111は、複数の学習対象のデータに対してそれぞれの特徴量を特定する機械学習を行うことにより、入力データに設定すべきラベルを当該入力データの特徴量に基づき推定する推論モデル200を生成する。
The
具体的には、学習部2111は、特徴量の重み値を特定する機械学習を行うことにより、入力データに設定すべきラベルを当該入力データの特徴量の重み値に基づき推定する推論モデル200を生成する。なお、本実施形態では、このラベルは、人名と判定された単語に対して設定される人名ラベルであるものとする。
Specifically, the
推論モデル200は、次述する確度を算出する確度算出式201及び、推論モデル200に用いられるパラメータ群である推論モデルパラメータ2123を含んでいる。
The
推論モデル200は、入力データに設定すべきラベルの種類を判定するためのパラメータである確度に基づき、入力データの特徴量からラベルを推定する。なお、推定されたラベルの情報は、後述する確認ラベルデータ2127に記憶される。
The
なお、学習部2111は、学習対象の文書データ及び、分析対象の文書データを、文書データ2121に記憶している。また、学習部2111は、文書データ2121に記録されている文書データから機械学習により抽出した単語及びその単語に設定したラベルを、辞書データとして、教師辞書データ2122に記憶している。
ここで、文書データ2121及び教師辞書データ2122の例を説明する。
Note that the
Here, examples of the
<文書データ> <Document data>
図3は、文書データ2121のデータ形式の一例を示す図である。文書データ2121は、学習対象のデータが記録されている学習用文書データ3121と、分析対象のデータが記録されている本番用文書データ3122とを含む。学習用文書データ3121、及び本番用文書データ3122のそれぞれは、1又は2以上の文書データを含んで構成されている。同図の例では、学習用文書データ3121に「sasakiさんは毎朝走る」という文章が記録されている。学習用文書データ3121は、例えばニュース記事のデータであり、記事中には人の名前を表す単語が含まれている。
FIG. 3 is a diagram showing an example of the data format of the
<教師辞書データ>
図4は、教師辞書データ2122の一例を示す図である。教師辞書データ2122は、
正例テーブル21221及び負例テーブル21222を含んで構成されている。
<Teacher dictionary data>
FIG. 4 is a diagram showing an example of the
It includes a positive case table 21221 and a negative case table 21222 .
正例テーブル21221は、人名と判定された単語(以下、正例という)が格納される人名辞書欄212211の項目を有する。また、負例テーブル21222は、人名でないと判定された単語(以下、負例という)が格納される人名辞書欄212221の項目を有する。同図の例では、正例と判定された単語として、「sasaki」と「tanaka」が登録され、負例と判定された単語の例として、「hitachi」と「amazon」が登録されている。
The positive example table 21221 has items in a personal
次に、推論モデルパラメータ2123の詳細を説明する。
<推論モデルパラメータ>
図5は、推論モデルパラメータ2123の一例を示す図である。推論モデルパラメータ2123は、重み値を示す変数名が格納される重み欄21231、及び、重み欄21231に係る変数の値(重み値)が格納される値欄21232を有する。
<確度算出式>
次に、確度算出式201について説明する。確度算出式201は、特徴量及びその重み値によって表現される式であり、本実施形態では、
Next, the details of the
<Inference model parameters>
FIG. 5 is a diagram showing an example of the
<Accuracy calculation formula>
Next, the
P=w1*X1+w2*X2+w3*X3 P=w1*X1+w2*X2+w3*X3
であるものとする。Pは確度、wは重み値、Xは特徴量である。ここでは、特徴量X1の重
みw1は0.5、特徴量X2の重みw2は0.8、特徴量X3の重みw3は-0.1となる。
shall be P is the probability, w is the weight value, and X is the feature quantity. Here, the weight w1 of the feature quantity X1 is 0.5, the weight w2 of the feature quantity X2 is 0.8, and the weight w3 of the feature quantity X3 is -0.1.
本実施形態では、分析対象のある単語の確度Pが第1閾値(本実施形態では0.85とする)以上である場合は、その単語のラベルに「T」が設定される(例えば、その単語が正の特徴量を多く有している等、その単語が人名である可能性が高い)。また、ある単語の確度Pが第1閾値未満第2閾値(本実施形態では0.25とする)以上である場合は、その単語のラベルに「Null」が設定される(例えば、その単語が正及び負の特徴量を有している等、その単語が人名であるか否かが不確定である)。また、ある単語の確度Pが第2閾値未満である場合は、その単語のラベルに「F」が設定される(例えば、その単語が負の特徴量を多く有している等、その単語が人名である可能性が低い)。 In this embodiment, when the probability P of a word to be analyzed is equal to or greater than a first threshold value (0.85 in this embodiment), the label of that word is set to "T" (for example, The word has a high probability of being a person's name, for example, the word has many positive feature values). Further, when the probability P of a certain word is less than the first threshold and equal to or greater than the second threshold (0.25 in this embodiment), the label of the word is set to "Null" (for example, the word is It is uncertain whether the word is a person's name, such as having positive and negative feature amounts). Also, if the probability P of a word is less than the second threshold, the label of that word is set to "F" (for example, if the word has many negative feature values, the word is less likely to be a person's name).
ここで、以下では、「T」が設定されるような確度Pの範囲を第1領域、「Null」が設定されるような確度Pの範囲を第2領域、「F」が設定されるような確度Pの範囲を第3領域という。 Here, in the following, the range of accuracy P for which "T" is set is the first area, the range of accuracy P for which "Null" is set is the second area, and "F" is set. The range of accuracy P is called a third region.
なお、学習部2111は、推論モデル200の生成の結果のデータ及び、推論モデル200の生成に際して得られたデータを、推論結果データ2124に記録する。
Note that the
ここで、推論結果データ2124の例について説明する。
<推論結果データ>
図6は、推論結果データ2124の一例を示す図である。推論結果データ2124は、学習された又は分析された単語が格納される候補欄21241と(推論結果データ2124には、学習対象の単語だけでなく、解析対象の文章の単語に推論モデル200を入力した結果も格納される)、候補欄21241に係る単語が正例であるか(「正」)又は負例であるか(「負」)を示す情報が格納される学習フラグ欄21242と、候補欄21241に係る単語が登録される文章(学習用文書データ3121)が格納される文章欄21243と、候補欄21241に係る単語の特徴量の情報(例えば、「t」が正の特徴量、「f」が負の特徴量)が格納される特徴量欄21244と、候補欄21241に係る単語に設定されたラベルの情報が格納されるラベル欄21245と、候補欄21241に係る単語の確度Pが格納される確度欄21246とを有する。
Here, an example of the
<Inference result data>
FIG. 6 is a diagram showing an example of the
特徴量欄21244には、候補欄21241に係る単語が有する特徴量のうち、文章欄21243に係る文章に存在する単語に係る特徴量が格納される。具体的には、例えば、特徴量欄21244における特徴量の項目リストには、文章欄21243に係る文章に存在する単語が登録される(「t」)。
The
また、本実施形態では、ラベル欄21245には、「T」、「F」、「Null」のいずれかが設定される。同図の例では、単語「sasaki」は、正例(「正」)の学習対象のデータである。この単語は、「sasakiさんは毎朝走る」という文章中(学習用文書データ3121)に記録されており、この文章は、要素「走る」という正の特徴量を含んでいる。その結果、この「sasaki」なる単語の確度Pとなっており、かつ「0.96」であり第1閾値以上であるので、人名らしさが高いことを示すラベル「T」が設定されている。
Further, in the present embodiment, any one of "T", "F", and "Null" is set in the
次に、図2に示すように、評価部2112は、端末3からの所定の処理要求を受け付ける。
そして、評価部2112は、所定のデータ(学習対象の単語でも新たな追加的な単語でもよい)を、学習部2111で生成した推論モデル200に入力することにより特定された当該所定のデータの特徴量と、学習部2111における機械学習により既に特定された、学習対象のデータの特徴量との類似性を判定することにより、推論モデル200によるラベルの推定の妥当性を判定し、その判定内容を示す情報を出力する。なお、評価部2112は、特徴量の類似性についての情報を、特徴量差分データ2125に記憶する。また、評価部2112は、ラベルの設定の妥当性の判定結果を、確認ラベルデータ2127に記憶する。
Next, as shown in FIG. 2, the
Then, the
具体的には、評価部2112は、確度に応じた、特徴量間の類似性を判定する複数の判定ルールを設定し、設定した判定ルールに基づき、推論モデル200によるラベルの推定の妥当性を判定する。なお、評価部2112は、この判定ルールを、後述する確認ラベル抽出ルール2126に記憶している。
Specifically, the
加えて、評価部2112は、所定のデータの特徴量と、前記学習対象のデータの特徴量との類似性を、両データが共通して有する特徴量(以下、重複特徴量という)と一方のデータのみが有する特徴量(以下、差分特徴量という)とを特定することにより、ラベルの推定の妥当性を判定する。
In addition, the
さらに、評価部2112は、所定のデータの特徴量の重み値と、学習対象のデータの特徴量の重み値との類似性を判定することにより、推論モデル200における重み値の妥当性を判定する。なお、重複特徴量及び差分特徴量は、後述する特徴量差分データ2125に記憶される。
Furthermore, the
ここで、確認ラベル抽出ルール2126及び、差分特徴量データ2125のそれぞれの具体例について説明する。
<確認ラベル抽出ルール>
図7は、確認ラベル抽出ルール2126の一例を示す図である。確認ラベル抽出ルール2126は、判定ルールを記憶した情報であり、ラベルを変更する目的を示す情報が格納される確認目的欄21261と、ラベルの変更(ラベル操作)の内容を特定する情報が格納されるラベル操作欄21262と、ラベルの変更対象とする単語が属する領域を特定する情報が格納される領域欄21263と、判定ルールが格納されるルール欄21264とをそれぞれ項目として有する。
Specific examples of the confirmation
<Confirmation label extraction rule>
FIG. 7 is a diagram showing an example of the confirmation
確認ラベル抽出ルール2126には、確度Pが第1領域に属する単語に対して適用され
る、ラベルの精度向上のための判定ルールが記憶されている(第1判定ルール)。また、確認ラベル抽出ルール2126には、確度Pが第2領域に属する単語に対して適用される、再現率(Recall)向上のための判定ルールが記憶されている(第2判定ルール)。また、確認ラベル抽出ルール2126には、確度Pが第3領域に属する単語に対して適用される、再現率(Recall)向上のための判定ルールが記憶されている(第3判定ルール)。また、確認ラベル抽出ルール2126には、全て単語に対して適用される、適合率(Precision)及び再現率(Recall)向上のための判定ルールが記憶されている(第4判定ルール
)。
The confirmation
例えば、第1判定ルールは、その目的が「Precision向上」すなわち、人名ではないの
に間違ってラベルを付与してしまっている単語を発見することを目的としている。この場合、第1判定ルールは「T⇒F」であり、具体的には、ある単語に誤ってラベルを付与(T)
してしまっている場合に、その単語に対してラベルを付与しない(F)ようにラベルを変
更する。第1判定ルールは、領域「1」の単語を対象としている。
For example, the purpose of the first determination rule is to "improve precision", that is, to find words that are incorrectly labeled even though they are not personal names. In this case, the first decision rule is "T ⇒ F", specifically, a word is incorrectly labeled (T)
change the label so that the word is not labeled (F). The first determination rule targets the words in area "1".
ここで、特徴量差分データについて説明する。
<特徴量差分データ>
図8は、特徴量差分データ2125の一例を示す図である。特徴量差分データ2125は、学習対象又は分析対象の単語が格納される候補欄21251、候補欄21251に係る単語が登録されている文章(学習用文書データ3121)が格納される文章欄21252、候補欄21251に係る単語に付与されたラベルを特定する情報(「T」、「F」、「Null」)が格納されるラベル欄21253、正例との関係欄21254、及び負例との関係欄21255の各項目を有する。
Here, the feature amount difference data will be described.
<Feature amount difference data>
FIG. 8 is a diagram showing an example of the feature
正例との関係欄21254は、候補欄21251に係る単語が有する特徴量のうち、教師辞書データ2122に登録されている正例の単語と共通して有している特徴量(以下、正例重複特徴量という)が格納される重複欄21254aと、候補欄21251に係る単語が有する特徴量のうち、教師辞書データ2122に登録されている正例の単語が有しない特徴量(以下、正例差分特徴量という)が格納される差分欄21254bとを含む。また、負例との関係欄21255は、候補欄21251に係る単語が有する特徴量のうち、教師辞書データ2122に登録されている負例の単語と共通して有している特徴量(以下、負例重複特徴量という)が格納される重複欄21255aと、候補欄21251に係る単語が有する特徴量のうち、教師辞書データ2122に登録されている負例の単語が有しない特徴量(以下、負例差分特徴量という)が格納される差分欄21255bとを含む。
The relationship with
同図の例では、単語の「sasaki」は、付与されたラベルが「T」であり、正例重複特徴
量として「走る」を有し、また、負例差分特徴量として「購入」を有している。
In the example shown in the figure, the word "sasaki" has a given label of "T", has "run" as a positive case overlap feature amount, and has "purchase" as a negative case difference feature amount. is doing.
次に、確認ラベルデータについて説明する。
<確認ラベルデータ>
図9は、確認ラベルデータ2127の一例を示す図である。確認ラベルデータ2127は、候補欄21271、文章欄21272、ラベル欄21273、正例との重複差分欄21274、負例との重複差分欄21275、及び確認ラベル欄21276を有する。
Next, the confirmation label data will be explained.
<Confirmation label data>
FIG. 9 is a diagram showing an example of the
このうち、候補欄21271、文章欄21272、ラベル欄21273、正例との重複差分欄21274、負例との重複差分欄21275は、特徴量差分データ2125と同様である。確認ラベル欄21276には、候補欄21271に係る単語に対するラベルの設定の妥当性の判定結果を示す情報(確認ラベル)が格納される。例えば、単語のラベルの設定の妥当性に疑問がある場合には、対応する確認ラベル欄21276に「○」が格納される。
Of these, the
次に、図2に示すように、フィードバック部2113は、評価部2112による、判定内容を示す情報(確認ラベル)に基づき、学習部2111が生成した推論モデル200の修正をユーザから受け付ける。
Next, as shown in FIG. 2, the
具体的には、フィードバック部2113は、学習部2111により特定された重み値の修正をユーザから受け付ける。
Specifically,
推論部2114は、端末3から本番用文書データ3122を含む推論要求を受け付け、推論モデル200を用いて、本番用文書データ3122が示す文章における単語にラベルを設定する(人名に係る単語の推論を行う)ことにより、本番用文書データ3122に係る文章の意味内容を解析する。なお、推論部2114は、この結果を推論結果データ2124に登録する。
The
以上に説明した分析ノード2の機能は、分析ノード2のハードウェアによって、もしくは、分析ノード2の処理部21が、メモリ22又はディスクデバイス27に記憶されている各プログラムを読み出して実行することにより実現される。また、これらのプログラムは、例えば、二次記憶デバイスや不揮発性半導体メモリ、ハードディスクドライブ、SSDなどの記憶デバイス、又は、ICカード、SDカード、DVDなどの、情報処理装置で読み取り可能な非一時的データ記憶媒体に格納される。
The functions of the
<<処理>>
次に、文書解析システム100が行う、分析対象の文書を解析する文書解析処理について説明する。
<文書解析処理>
図10は、文書解析処理の一例を説明するフロー図である。まず、分析ノード2は、学習対象の文章における各単語に対して所定の機械学習を行うことにより、入力された単語に対応するラベルを推定する推論モデル200を生成する学習処理を実行する(SP1)。そして、分析ノード2は、生成した推論モデル200によるラベルの設定の妥当性を評価すると共に、確認ラベルを設定する評価処理を実行する(SP2)。なお、分析ノード2は、評価処理により設定された確認ラベルに基づき、ユーザから、推論モデル200の修正(フィードバック)を受け付ける。分析ノード2は、修正された推論モデル200及びラベルに基づき、解析対象の文書における各単語に対応するラベルを推定する推論処理を実行する(SP3)。
以下、各処理の詳細を説明する。
<<Processing>>
Next, document analysis processing for analyzing a document to be analyzed, which is performed by the
<Document analysis processing>
FIG. 10 is a flowchart illustrating an example of document analysis processing. First, the
Details of each process will be described below.
<学習処理>
図11は、学習処理の一例を説明するフロー図である。まず、分析ノード2の学習部2111は、ユーザから、学習処理の要求を受け付ける(SP901)。具体的には、例えば、分析ノード2は、端末3から、学習用文書データ3121及び教師辞書データ2122の受信を受け付ける。
<Learning processing>
FIG. 11 is a flowchart illustrating an example of learning processing. First, the
学習部2111は、受信した学習用文書データ3121を文書データ2121に登録する(SP902)。また、学習部2111は、教師辞書データ2122を登録する(SP902)。
The
学習部2111は、教師辞書データ2122、及び文書データ2121に基づき、機械学習により、推論モデル200を生成する(SP903)。学習部2111は、その結果を推論結果データ2124に登録する(SP904)。
The
具体的には、例えば、学習部2111は、学習用文書データ3121に登録されている各文章から、教師辞書データ2122に登録されている単語(以下、候補単語という)を全て抽出する。そして、学習部2111は、抽出した各候補単語の所定範囲に所定の頻度以上で出現する他の単語(学習用文書データ3121中の他の単語)を、機械学習により、正の特徴量として抽出する(具体的には、特徴量の重み値に正の値を設定する)。他方、学習部2111は、抽出した各候補単語の所定範囲に所定の頻度以上で出現しない他の単語(学習用文書データ3121中の他の単語)を、機械学習により、負の特徴量として抽出する(具体的には、特徴量の重み値に負の値を設定する)。なお、この手法は、例えば、「Ce Zhang, “DeepDive: A Data Management System for Automatic Knowledge Base Construction,” Doctoral dissertation of University of Wisconsin-madison, Mar.
2015.」に開示されている。
Specifically, for example, the
2015.”
具体的には、例えば、学習部2111は、教師辞書データ2122の正例テーブル21221に登録されている「sasaki」、「tanaka」という候補単語(正例)を学習用文書データ3121中の「sasakiさんは毎朝走る」「今日が誕生日のtanakaさんをお祝いする」という文章中から発見する。そして、学習部2111は、「sasaki」、「tanaka」の周囲にある「走る」及び「誕生」という単語を、それぞれ「sasaki」及び「tanaka」に対する正の特徴量として抽出する。また、例えば、学習部2111は、教師辞書データ2122の負例テーブル21222中に登録されている「hitachi」、「amazon」という候補単語
(負例)を学習用文書データ3121中の「hitachiの創業者はodairaさんです」「この
服はamazonで購入した」という文書中から発見する。そして、学習部2111は、「hitachi」の周囲にない「創業」という候補単語を、「hitachi」に対する、人名周辺には現れない負の特徴量として抽出する。
Specifically, for example, the
以上のように、学習部2111は、特徴量の特定を、教師辞書データ2122中の全ての単語と学習用文書データ3121の文章との全ての組合せに対して行うことによって、確度算出式201を含む推論モデル200を自動生成する。なお、推論モデル200の内容は、推論モデルパラメータ2123に登録される。
確度算出式201は、例えば、以下のようになる。
As described above, the
For example, the
確度P=w1*「走る」+w2*「誕生」+w3*「創業」+…
第1閾値=0.85
第2閾値=0.25
Accuracy P = w1 * “Run” + w2 * “Birth” + w3 * “Foundation” +…
First threshold = 0.85
Second threshold = 0.25
ここで、w1、w2、w3は特徴量に対する重み値である。このような推論モデル200を機械学習により生成することにより、各特徴量に対する重み値が決定される。例えば、人名の単語の周辺に統計的に頻出する特徴量(例えば、「誕生」)に対する重み値w2には正の値が設定される。また、人名の単語の周辺に統計的に頻出しない特徴量(例えば、「創業」)に対する重み値w3には負の値が設定される。
Here, w1, w2, and w3 are weight values for feature amounts. By generating such an
次に、分析ノード2は、この推論モデル200に対して、教師辞書データ2122中に登録されていない所定のデータ(追加学習対象単語)を入力することにより、追加学習単語の特徴量を特定すると共に、追加学習単語の確度Pを算出し、対応するラベルを設定する(SP905)。これにより分析ノード2は、推論モデル200を完成させる。なお、追加学習対象単語ではなく学習処理で既に学習済みの単語を再利用してもよい。
Next, the
例えば、分析ノード2は、「suzuki」を推論モデル200に入力することで、その確度Pを算出し、推論結果データ2124の確度欄21246にその値(例えば、「0.88」)を登録する。その確度Pは第1閾値以上であるので、分析ノード2は、「suzuki」が人名である可能性が高いことを示すラベルである「T」を推論結果データ2124のラベ
ル欄21245に登録する。また、例えば、分析ノード2は、算出された確度Pが第2閾値未満であった単語に対しては、人名である可能性が低いことを示すラベルである「F」
をラベル欄21245に登録する。また、分析ノード2は、算出された確度Pが第1閾値未満第2閾値以上であった単語に対しては、人名であるか否かが不確定であることを示すラベルである「Null」をラベル欄21245に登録する。以上で学習処理は終了する。
For example, the
is registered in the
次に、生成した推論モデル200を評価する評価処理の詳細を説明する。
<評価処理>
Next, details of evaluation processing for evaluating the generated
<Evaluation processing>
図12は、評価処理の詳細を説明するフロー図である。まず、分析ノード2の評価部2112は、ユーザからの評価処理要求を受け付ける(SP1001)。具体的には、例え
ば、端末3から所定の入力を受け付ける。
FIG. 12 is a flowchart for explaining details of the evaluation process. First, the
分析ノード2は、評価処理要求を受け付けると、学習処理の過程において特定された単語の特徴量と、学習処理の結果生成された推論モデル200に所定のデータを入力して得られた特徴量とを比較する特徴量差分抽出処理を実行する(SP1002)。そして、分析ノード2は、特徴量差分抽出処理の結果に基づき、所定の条件を満たす単語に対して確認ラベルを設定する確認ラベル抽出処理を実行する(SP1003)。これらの処理の詳細は後述する。
When the
分析ノード2は、確認ラベル抽出処理により設定された確認ラベルを表示した確認ラベル提示画面を表示し、ユーザから所定の指示を受け付ける確認ラベル提示処理を実行する(SP1004)。確認ラベル提示処理の詳細は後述する。
The
分析ノード2は、受け付けた指示を推論モデル200又は推論結果データ2124に入力するフィードバック処理を実行する(SP1005)。以上で評価処理は終了する。
The
ここで、特徴量差分抽出処理の詳細を説明する。
<特徴量差分抽出処理>
Here, the details of the feature quantity difference extraction process will be described.
<Feature amount difference extraction processing>
図13は、特徴量差分抽出処理の詳細を説明するフロー図である。まず、分析ノード2の評価部2112は、特徴量差分データ2125に新たなレコードを生成し、生成したレコードの候補欄21251、文章欄21252、及びラベル欄21253に、学習処理で生成した推論結果データ2124の候補欄21241、文章欄21243、及びラベル欄21245の値をそれぞれコピーする(SP1101)。
FIG. 13 is a flowchart for explaining the details of the feature quantity difference extraction process. First, the
次に、評価部2112は、学習処理の過程で正例と判定された単語の特徴量と、所定の単語を推論モデル200に入力された結果特定された当該単語の特徴量との間の差分又は重複に関する情報を、特徴量差分データ2125に登録する(SP1102)。
Next, the
すなわち、まず、評価部2112は、正例の単語が有する特徴量に関する情報を、特徴量差分データ2125に登録する。具体的には、評価部2112は、推論結果データ2124のうち学習フラグ欄21242が「正」である単語のレコードの特徴量欄21244に「t」が登録されている特徴量を全て特定し、特定した各特徴量を、特徴量差分データ2125の各レコードの、正例との関係欄21254の重複欄21254aに登録する。
That is, first, the
また、評価部2112は、正例の単語が有しない特徴量に関する情報を、特徴量差分データ2125に登録する。具体的には、評価部2112は、推論結果データ2124のうち学習フラグ欄21242が「正」である単語のレコードにおける特徴量欄21244が未登録の特徴量を全て特定し、特定した各特徴量を、特徴量差分データ2125の各レコ
ードの、正例との関係欄21254の差分欄21254bに登録する。
In addition, the
次に、評価部2112は、特徴量差分データ2125に、負例の単語の特徴量に関する情報を、特徴量差分データ2125に登録する(SP1103)。
Next, the
すなわち、まず、評価部2112は、負例の単語が有する特徴量に関する情報を、特徴量差分データ2125に登録する。具体的には、評価部2112は、推論結果データ2124のうち学習フラグ欄21242が「負」である単語のレコードの特徴量欄21244に「t」が登録されている特徴量を全て特定し、特定した各特徴量を、特徴量差分データ2125の各レコードの、負例との関係欄21255の重複欄21255aに登録する。
That is, first, the
また、評価部2112は、負例の単語が有しない特徴量に関する情報を、特徴量差分データ2125に登録する。具体的には、評価部2112は、推論結果データ2124のうち学習フラグ欄21242が「負」である単語のレコードにおける特徴量欄21244が未登録の特徴量を全て特定し、特定した各特徴量を、特徴量差分データ2125の各レコードの、負例との関係欄21255の差分欄21255bに登録する。
In addition, the
このように、分析ノード2は、重複特徴量(正例重複特徴量、及び負例重複特徴量)と、差分特徴量(正例差分特徴量、及び負例差分特徴量)を特定する。以上で特徴量差分抽出処理は終了する。
In this way, the
次に、確認ラベル抽出処理の詳細を説明する。
<確認ラベル抽出処理>
図14は、確認ラベル抽出処理の詳細を説明するフロー図である。分析ノード2の評価部2112は、各単語に対して確認ラベルを設定するか否かの判定を行う。
Next, details of the confirmation label extraction process will be described.
<Confirmation label extraction processing>
FIG. 14 is a flowchart for explaining the details of the confirmation label extraction process. The
まず、評価部2112は、第1判定ルールを適用することにより、各単語に対するラベルの設定の妥当性を判定し、そのラベルを修正する(SP1201)。すなわち、評価部2112は、第1領域に属する単語について、第1判定ルールを満たした場合に、その単語のラベルを、「T」から「F」に変更する。第1判定ルールを適用することにより、その単語が人名ではないのに誤ってその単語にラベルが付与されている場合に、そのラベルを除去することができる。
First, the
すなわち、まず、評価部2112は、確度Pが第1領域の単語と、第1判定ルールの内容とを取得する。具体的には、例えば、評価部2112は、特徴量差分データ2125の各単語のうち、推論結果データ2124の確度欄21246の値が第1閾値以上の単語を全て特定し、また、確認ラベル抽出ルール2126の領域欄21263に「1」が格納されているレコードのラベル操作欄21262及びルール欄21264の内容を取得する。
That is, first, the
そして、評価部2112は、特定した各単語の特徴量に関し、正例重複特徴量の重みに比べて正例差分特徴量の重みが必要以上に小さいため、その単語の確度Pが第1閾値以上となっているかを判定し(「正例との差分」に着目する)、そのような単語に対して確認ラベルを設定する。
Then, regarding the feature amount of each identified word, the
具体的には、例えば、評価部2112は、確認ラベルデータ2127のうち、その確度Pが第1閾値以上の単語が候補欄21271に登録されているレコードを全て特定し、その各レコードの、正例との重複差分欄21274の差分欄21274bに登録されている全ての特徴量を特定する。そして、評価部2112は、推論モデルパラメータ2123を参照することにより、特定した各特徴量のうち重み値が最小の特徴量を特定し、特定した特徴量を有する単語が候補欄21271に登録されている確認ラベルデータ2127のレ
コードの確認ラベル欄21276欄を設定する(「○」を登録する)。
Specifically, for example, the
次に、評価部2112は、第2判定ルールを適用することにより、各単語に対するラベルの設定の妥当性を判定し、そのラベルを修正する(SP1202)。すなわち、評価部2112は、確度Pが第2領域に属する単語に対して、第2判定ルールを満たした場合に、その単語のラベルを、「Null」から「T」に変更する。第2判定ルールを適用すること
により、その単語が人名であるのに誤ってその単語にラベルが付与されていない場合に、その単語にラベルを付与することができる。
Next, the
すなわち、まず、評価部2112は、確度Pが第2領域の単語と、第2判定ルールの内容とを取得する。具体的には、例えば、評価部2112は、推論結果データ2124の各単語のうち、確度欄21246に第1閾値未満かつ第2閾値以上の確度Pが格納されているレコードの候補欄21241の内容である単語を全て特定する。また、評価部2112は、確認ラベル抽出ルール2126の領域欄21263に「2」が格納されているレコードのラベル操作欄21262及びルール欄21264の内容を取得する。
That is, first, the
そして、評価部2112は、特定した各単語の特徴量に関し、正例重複特徴量を有しているにもかかわらず、その重みが小さいため、第1閾値未満の確度Pとなっているか否かを判定し(「負例との差分」に着目する)、そのような単語に対して確認ラベルを設定する。
Then, the
具体的には、評価部2112は、確認ラベルデータ2127のうち、その確度Pが第1閾値未満かつ第2閾値以上の単語が候補欄21271に格納されているレコードの、負例との重複差分欄21275の差分欄21275bに登録されている全ての特徴量を特定する。そして、評価部2112は、推論モデルパラメータ2123を参照することにより、特定した各特徴量のうち重み値が最大の特徴量を特定し、特定した特徴量を有する単語が候補欄21271に登録されている確認ラベルデータ2127のレコードの確認ラベル欄21276を設定する(「○」を登録する)。
Specifically, the
次に、評価部2112は、第3判定ルールを適用することにより、各単語に対するラベルの設定の妥当性を判定し、そのラベルを修正する(SP1203)。すなわち、評価部2112は、確度Pが第3領域に属する単語に対して、第3判定ルールを満たした場合に、その単語のラベルを、「F」から「T」に変更する。第3判定ルールを適用することにより、その単語が人名であるのに誤ってその単語にラベルが付与されていない場合に、その単語にラベルを付与することができる。
Next, the
すなわち、まず、評価部2112は、確度Pが第3領域の単語と、第3判定ルールの内容とを取得する。具体的には、例えば、評価部2112は、特徴量差分データ2125の各単語のうち、推論結果データ2124の確度欄21246の値が第2閾値未満の単語を全て特定し、また、確認ラベル抽出ルール2126の領域欄21263に「3」が格納されているレコードのラベル操作欄21262及びルール欄21264の内容を取得する。
That is, first, the
そして、評価部2112は、特定した各単語の特徴量に関し、負例重複特徴量の重みに比べて負例差分特徴量の重みが小さいため、その単語の確度Pが第2閾値未満となっているか否かを判定し(「負例との差分」に着目する)、そのような単語に対して確認ラベルを設定する。
Then, regarding the feature amount of each identified word, the
具体的には、評価部2112は、確認ラベルデータ2127のうち、その確度Pが第2閾値未満の単語が候補欄21271に登録されているレコードを全て特定し、その各レコードの、負例との重複差分欄21275の差分欄21275bに登録されている全ての特
徴量を特定する。そして、評価部2112は、推論モデルパラメータ2123を参照することにより、特定した各特徴量のうち重み値が最大の特徴量を特定し、特定した特徴量を有する単語が候補欄21271に登録されている確認ラベルデータ2127のレコードの確認ラベル欄21276を設定する(「○」を登録する)。
Specifically, the
最後に、評価部2112は、第4判定ルールを適用することにより、各単語に対するラベルの設定の妥当性を判定し、そのラベルを修正する(SP1204)。すなわち、評価部2112は、全ての単語(全ての領域の単語)について、第4判定ルールを満たした場合に、現在のラベルが「T」である単語については「F」に変更し、現在のラベルが「F」
である単語については「T」に変更する。
第4判定ルールを適用することにより、その単語が人名であるのに誤ってその単語にラベルが付与されていない場合、又はその逆の場合に、その単語に正しいラベルを付与することができる。
Finally, the
For words that are , change to "T".
By applying the fourth decision rule, a correct label can be assigned to a word when the word is a person's name but the word is not labeled by mistake, or vice versa.
すなわち、まず、評価部2112は、全ての領域の単語と、第4判定ルールの内容とを取得する。特徴量差分データ2125の各単語を全て特定し、また、確認ラベル抽出ルール2126の領域欄21263に「4」が格納されているレコードのラベル操作欄21262及びルール欄21264の内容を取得する。
That is, first, the
そして、評価部2112は、特定した各単語に関し、同じ特徴量を有するにも関わらず異なるラベルが設定されている他の単語(既に学習された正例の単語又は負例の単語)があるか否かを判定し(ラベルの内容に着目する)、その各単語に対して確認ラベルを設定する。
Then, for each identified word, the
具体的には、例えば、評価部2112は、確認ラベルデータ2127の各レコードを参照することにより、正例との重複差分欄21274の重複欄21274aに登録されている特徴量のリストが共通する一方で、ラベル欄21273に登録されているラベルが異なっている(一方が「T」で他方が「F」)、2つの単語を特定する。そして、評価部2112は、特定した単語が候補欄21271に登録されている各レコードの確認ラベル欄21276欄を設定する(「○」を登録する)。以上で確認ラベル抽出処理は終了する。
Specifically, for example, the
このように、本実施形態では、領域ごとに判定ルールが存在するものとしたが、各領域に対して複数の判定ルールが存在してもよい。また、本実施形態では、各単語の特徴量は、「正例」の単語の特徴量と「負例」の単語の特徴量とのいずれか一方と比較されているが、例えば、正例の単語の特徴量との差分が最小かつ、負例の単語の特徴量との差分が最大の特徴量を有する単語を選択するといったように、「正例」の単語の特徴量及び「負例」の単語の特徴量の距離を組み合わせた判定ルールとしてもよい。 As described above, in the present embodiment, a determination rule exists for each area, but a plurality of determination rules may exist for each area. Further, in the present embodiment, the feature amount of each word is compared with either one of the feature amount of the word of the "positive example" and the feature amount of the word of the "negative example". The feature amount of the "positive example" word and the "negative example" are selected such that the word having the feature amount with the smallest difference from the feature amount of the word and the largest difference from the feature amount of the negative example word is selected. It is also possible to use a determination rule that combines the distances of the feature amounts of the words.
また、本実施形態では、判定ルールに使用される特徴量として、重複特徴量及び差分特徴量を用いたが、例えば、正例の単語の特徴量との差分が最小の特徴量のうち、その重みの値が最大の特徴量を選択するといったように、特徴量の重みの値に基づく判定ルールとしてもよい。 In addition, in the present embodiment, overlapping feature amounts and difference feature amounts are used as feature amounts used in determination rules. The determination rule may be based on the weight value of the feature amount, such as selecting the feature amount with the largest weight value.
さらに、本実施形態では、判定ルールとして特徴量の数を用いたが、例えば、「同一の単語がそれぞれ異なる単語として抽出されている(例えば、「suzuki」)がそれぞれの確度Pの値が大きく異なる場合は、人名と会社名が混在している可能性が高いため、そのような単語に対して確認ラベルを設定する」といったような、同一単語の確度Pのばらつきを使った判定ルールを設けてもよい。 Furthermore, in the present embodiment, the number of feature values is used as the determination rule. If they are different, there is a high possibility that a person's name and a company name are mixed, so set a confirmation label for such a word." may
<確認ラベル提示処理>
次に、確認ラベル提示処理の詳細を説明する。確認ラベル提示処理は、確認ラベルの設定状況を示すラベル確認画面を表示する。
図15は、ラベル確認画面の一例を示す図である。確認ラベル提示画面1000は、確認ラベルが設定されている単語(以下、確認単語という)に関する情報(すなわち、確認ラベルデータ2127の確認ラベル欄21276に「○」が登録されているレコードの情報)を表示する画面である。
<Confirmation label presentation process>
Next, details of the confirmation label presenting process will be described. The confirmation label presenting process displays a label confirmation screen showing the setting status of the confirmation label.
FIG. 15 is a diagram showing an example of the label confirmation screen. The confirmation
確認ラベル提示画面1000は、確認単語(候補欄21271)を表示する単語表示欄1012と、確認単語を含む文章(文章欄21272)を表示される文章表示欄1014とを有するラベル確認画面1010を備える。また、このラベル確認画面1010は、確認単語が人名である場合にユーザが選択するOKボタン1016と、確認単語が人名でない場合にユーザが選択するNGボタン1018とを備える。OKボタン1016が選択されると、確認単語に係るラベルに「T」が設定され、NGボタン1018が選択されると、確認単語に係るラベルに「F」が設定される。これにより、ユーザは、推論モデル200によるラベルを修正することができる。
The confirmation
また、確認ラベル提示画面1000は、特徴量確認画面1020を備える。特徴量確認画面1020は、ラベル確認画面1010でNGボタン1018が選択された場合に表示される。特徴量確認画面1020は、確認単語が有する特徴量を表示する特徴量一覧表示欄1022(すなわち、推論結果データ2124の確認単語に係るレコードの特徴量欄21244に「t」が登録されている単語)を備える。
The confirmation
各特徴量一覧表示欄1022は、そこに表示されている特徴量が人名を判断するための単語として妥当である場合にユーザに選択されるOKボタン1024と、そこに表示されている特徴量が人名を判断するための単語として妥当でない場合にユーザに選択されるNGボタン1026とを備える。NGボタン1026が選択されると、ユーザは、所定の編集画面(不図示)により、対応する特徴量又はこれに関するパラメータを修正することができる。例えば、推論モデルパラメータ2123における対応する特徴量に係るレコードを削除し、又は値欄21232の値を変更する(例えば、値を減少させる)ことができる。また、推論結果データ2124の確認単語に係るレコードの特徴量欄21244に、「t」以外の値を設定することができる。これにより、推論モデル200の内容を適切に修
正することができる。
Each feature quantity
また、確認ラベル提示画面1000は、影響確認画面1030を備える。影響確認画面1030は、特徴量一覧表示欄1022でNGボタン1026が選択された特徴量又はこれに関するパラメータが修正された場合に、それによって特徴量が変化する他の単語を表示する他単語表示欄1032と、他単語表示欄1032に係る単語を含む文章を表示する文章表示欄1034とを備える。すなわち、他単語表示欄1032には、推論結果データ2124から検索された、NGボタン1026が選択された特徴量を有する単語(候補欄21241)と、その単語を含む文章(文章欄21243)の内容が表示される。
The confirmation
以上の特徴量確認画面1020及び影響確認画面1030により、ユーザは、ラベル確認画面1010と同様の操作で推論結果を修正することができ、また、この結果に基づき、推論モデルパラメータ2123の重みを調整する特徴量を決定することができる。
With the feature
また、確認ラベル提示画面1000は、変更度調整画面1040を備える。変更度調整画面1040は、精度変化表示画面1050と、ラベル付与領域表示画面1060と、特徴量の重みを調整するためのスライドバー1070と、保存ボタン1080を備える。
The confirmation
精度変化表示画面1050には、特徴量の重みを調整する前後での精度パラメータ(pr
ecision、recall)の変化が表示される。
Accuracy
ecision, recall) changes are displayed.
ラベル付与領域表示画面1060には、単語が有する特徴量とその単語に対して付与されるラベルの関係を表す二次元グラフが表示される。具体的には、グラフの縦軸1062及び横軸1064はそれぞれ、特徴量確認画面1020に表示されている各特徴量を表す。グラフ上の点1066は、単語を表す。グラフ上に表示される円1068の内部に点1066が存在する場合は、その点1066に係る単語には、ラベルが付与される。グラフ上に表示される円1068の外部に点1066が存在する場合は、その点1066に係る単語には、ラベルが付与されない。また、点1066に対しては、その点1066に対応する単語欄1069が設けられる。
The labeled
なお、ラベル付与領域表示画面1060の二次元グラフの各軸は、単語が特徴量を2以上有している場合は、それらの特徴量を圧縮して2次元グラフに変換できるような写像変換の処理を加えた後の軸としてもよい。
Each axis of the two-dimensional graph of the labeled
スライドバー1070は、各特徴量の重み値(推論モデルパラメータ2123の値欄21232)の変更をユーザから受け付ける。スライドバー1070により重みの値を変更すると、その重み値の調整量に応じて、単語にラベルが付与され(例えば、ラベルが「F
」)、または、単語に新たにラベルが付与される(例えば、ラベルが「T」)。ユーザは
、その変更の内容をラベル付与領域表示画面1060により確認することができる。
The
”), or the word is given a new label (eg, labeled “T”). The user can confirm the content of the change on the labeling
保存ボタン1080は、スライドバー1070により設定されている現在の重み値の、推論モデルパラメータ2123の値欄21232への設定を受け付ける。文書解析システム100は、この修正された重み値に基づき再度機械学習を行い、新たな推論モデルを生成することができる。
The
次に、推論処理の詳細を説明する。
<推論処理>
図16は、推論処理の詳細を説明するフロー図である。まず、分析ノード2の推論部2114は、ユーザから、推論要求を受け付ける(SP1301)。具体的には、例えば、推論部2114は、端末3から本番用文書データ3122の受信を受け付ける。
Next, details of the inference process will be described.
<Inference processing>
FIG. 16 is a flowchart for explaining details of inference processing. First, the
推論部2114は、受信した本番用文書データ3122を文書データ2121に登録する(SP1302)。そして、推論部2114は、評価処理で確認ラベル等によるラベルの修正を行った推論モデル200(推論モデルパラメータ2123)に基づき、本番用文書データ3122に記録されている文章における各単語に対して、単語及び文章の解析を行う(SP1303)。そして、推論部2114は、単語の解析により得られたデータを、推論結果データ2124に登録する(SP1304)。以上で推論処理は終了する。
The
以上のように、本実施形態の文書解析システム100は、複数の学習対象のデータ(単語)に対してそれぞれの特徴量を特定する機械学習を行うことにより、入力データに設定すべきラベル(「T」、「F」、「Null」等)を当該入力データの特徴量に基づき推定する推論モデル200を生成し、所定のデータ(追加学習単語)を生成済みの推論モデル200に入力することにより特定された追加学習単語の特徴量と、機械学習により特定された、学習対象のデータの特徴量との類似性を判定することにより、推論モデル200によるラベルの推定の妥当性を判定し、その判定内容を示す情報(確認ラベル)を出力する。これにより、ユーザは、推論モデル200を修正べきか否かを判断することができる。これにより、機械学習により生成される推論モデル200の精度を確実に向上させることができる
As described above, the
すなわち、本実施形態の文書解析システム100は、教師データの特徴量と推論モデルによる特徴量との類似性を互いに比較することで推論モデル200を検証するので、教師データの適否及び推論モデル200の推論の適否の判断について知識の乏しいユーザであっても、容易に推論モデル200を修正してその精度を向上させることができる。すなわち、分析知識のないユーザでも少ない工数で推論モデル200のチューニングが可能となる。
That is, the
以上、本発明の実施形態について説明したが、本発明の実施形態は例示したものに限るものではなく、発明の主旨を逸脱しない範囲で種々の変更が可能である。 Although the embodiments of the present invention have been described above, the embodiments of the present invention are not limited to those illustrated, and various modifications can be made without departing from the gist of the invention.
例えば、ここではラベルを設定するデータの属性として人名を挙げたが、他の属性を対象としてもよい。 For example, although a person's name is mentioned here as an attribute of data for which a label is set, other attributes may be targeted.
また、本実施形態で説明した各機能は、1のプログラムで構成されていても2以上のプログラムの部分に分割されていてもよい。また、これらのプログラムは、分析ノード2又は端末3のいずれに配置されていてもよく、また他の情報処理装置に設けてもよい。
Further, each function described in this embodiment may be composed of one program or divided into two or more program parts. Moreover, these programs may be arranged in either the
以上の本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、前記推論モデルは、前記入力データに設定すべきラベルの種類を判定するためのパラメータである確度に基づき、前記入力データの特徴量からラベルを推定し、前記モデル作成支援システムは、前記評価処理において、前記確度に応じた、前記特徴量間の類似性を判定する複数の判定ルールを設定し、設定した判定ルールに基づき、前記推論モデルによるラベルの推定の妥当性を判定する、としてもよい。 At least the following will be clarified by the above description of the present specification. That is, the inference model estimates a label from the feature amount of the input data based on accuracy, which is a parameter for determining the type of label to be set in the input data, and the model creation support system estimates the evaluation In the processing, a plurality of determination rules for determining similarity between the feature quantities are set according to the accuracy, and the validity of label estimation by the inference model is determined based on the set determination rules. good.
このように、ラベルの種類を判定するためのパラメータである確度に応じた、特徴量間の類似性を判定する複数の判定ルールに基づき、ラベルの推定の妥当性を判定することで、ラベルの種類に応じた的確な判定が可能となる。 In this way, by judging the appropriateness of label estimation based on a plurality of judgment rules for judging the similarity between feature quantities according to the accuracy, which is a parameter for judging the type of label, Accurate determination according to the type becomes possible.
また、前記モデル作成支援システムは、前記評価処理において、前記所定のデータの特徴量と、前記学習対象のデータの特徴量との類似性を、両データが共通して有する特徴量と一方のデータのみが有する特徴量とを特定することにより、前記ラベルの推定の妥当性を判定する、としてもよい。 Further, in the evaluation process, the model creation support system determines the similarity between the feature amount of the predetermined data and the feature amount of the learning target data, and The validity of the label estimation may be determined by specifying the feature amount that only the label has.
このように、ラベルの推定の妥当性を判定するに際して、ラベルの設定の根拠となる特徴量の共通点(重複)及び相違点(差分)を特定することで、ラベルの推定の妥当性を的確に判定することができる。すなわち、教師データ及び、出力データ(推論モデル200が吐き出したデータ)の特徴量間の距離情報を用いることで、推論モデル200の的確性を判定することができる。
In this way, when judging the validity of label estimation, by identifying the common points (overlap) and differences (differences) of the feature values that are the basis for label setting, the validity of label estimation can be accurately determined. can be determined. That is, the accuracy of the
また、前記モデル作成支援システムは、前記判定内容を示す情報に基づき、前記生成した推論モデルの修正をユーザから受け付けるフィードバック処理を実行する、としてもよい。 Further, the model creation support system may execute feedback processing for accepting correction of the generated inference model from the user based on the information indicating the content of the determination.
このように、生成した推論モデル200の修正をユーザから受け付けるフィードバックを行うことで、例えば、推論モデル200を改善し、その信頼度を高めることができる。
In this way, by providing feedback for receiving corrections of the generated
また、前記モデル作成支援システムは、前記学習処理において、前記特徴量の重み値を特定する機械学習を行うことにより、入力データに設定すべきラベルを当該入力データの特徴量の重み値に基づき推定する推論モデルを生成し、前記評価処理において、前記所定のデータの特徴量の重み値と、前記学習対象のデータの特徴量の重み値との類似性を判定
することにより、前記推論モデルにおける重み値の妥当性を判定し、前記フィードバック処理において、前記特定された重み値の修正をユーザから受け付ける、としてもよい。
Further, in the learning process, the model creation support system estimates a label to be set to the input data based on the weight value of the feature amount of the input data by performing machine learning for specifying the weight value of the feature amount. the weight in the inference model by determining similarity between the weight value of the feature amount of the predetermined data and the weight value of the feature amount of the data to be learned in the evaluation process; Validity of the values may be determined, and the feedback process may accept corrections to the identified weight values from the user.
このように、入力データに設定すべきラベルを当該入力データの特徴量の重み値に基づき推定する推論モデル200において、所定のデータ(追加学習単語)の特徴量の重み値と、学習対象のデータの特徴量の重み値との類似性を判定し、その重み値の修正をユーザから受け付けることで、推論モデル200の詳細なチューニングが可能となり、推論モデル200の信頼度をより高めることができる。
Thus, in the
100 文書解析システム、2 分析ノード、3 端末、200 推論モデル 100 document analysis system, 2 analysis nodes, 3 terminals, 200 inference model
Claims (10)
複数の学習対象のデータに対してそれぞれの特徴量を特定する機械学習を行うことにより、入力データに設定すべきラベルを当該入力データの特徴量に基づき推定する推論モデルを生成する学習処理と、
所定のデータを前記生成した推論モデルに入力することにより特定された当該所定のデータの特徴量と、前記機械学習により特定された、前記学習対象のデータの特徴量との類似性を判定することにより、前記推論モデルによるラベルの推定の妥当性を判定し、その判定内容を示す情報を出力する評価処理と、
を実行する、モデル作成支援方法。 A model creation support system comprising a processor and memory,
A learning process that generates an inference model that estimates a label to be set to input data based on the feature amount of the input data by performing machine learning that specifies each feature amount for a plurality of learning target data;
Determining similarity between the feature amount of the predetermined data specified by inputting the predetermined data into the generated inference model and the feature amount of the learning target data specified by the machine learning. an evaluation process for determining the validity of the label estimation by the inference model and outputting information indicating the content of the determination;
, a model creation support method.
前記モデル作成支援システムは、前記評価処理において、前記確度に応じた、前記特徴量間の類似性を判定する複数の判定ルールを設定し、設定した判定ルールに基づき、前記推論モデルによるラベルの推定の妥当性を判定する、
請求項1に記載のモデル作成支援方法。 The inference model estimates a label from the feature amount of the input data based on accuracy, which is a parameter for determining the type of label to be set in the input data,
In the evaluation process, the model creation support system sets a plurality of determination rules for determining similarity between the feature amounts according to the accuracy, and estimates labels by the inference model based on the set determination rules. determine the validity of
The model creation support method according to claim 1.
請求項1に記載のモデル作成支援方法。 In the evaluation process, the model creation support system determines the similarity between the feature amount of the predetermined data and the feature amount of the learning target data, and the feature amount that both data have in common and only one data Determining the validity of the label estimation by specifying the feature amount having
The model creation support method according to claim 1.
前記学習処理において、前記特徴量の重み値を特定する機械学習を行うことにより、入力データに設定すべきラベルを当該入力データの特徴量の重み値に基づき推定する推論モデルを生成し、
前記評価処理において、前記所定のデータの特徴量の重み値と、前記学習対象のデータの特徴量の重み値との類似性を判定することにより、前記推論モデルにおける重み値の妥当性を判定し、
前記フィードバック処理において、前記特定された重み値の修正をユーザから受け付ける、
請求項4に記載のモデル作成支援方法。 The model creation support system includes:
generating an inference model for estimating a label to be set to input data based on the weight value of the feature amount of the input data by performing machine learning for specifying the weight value of the feature amount in the learning process;
In the evaluation process, the validity of the weight value in the inference model is determined by determining the similarity between the weight value of the feature amount of the predetermined data and the weight value of the feature amount of the learning target data. ,
Receiving a correction of the identified weight value from a user in the feedback process;
The model creation support method according to claim 4.
複数の学習対象のデータに対してそれぞれの特徴量を特定する機械学習を行うことにより、入力データに設定すべきラベルを当該入力データの特徴量に基づき推定する推論モデルを生成する学習部と、
所定のデータを前記生成した推論モデルに入力することにより特定された当該所定のデータの特徴量と、前記機械学習により特定された、前記学習対象のデータの特徴量との類似性を判定することにより、前記推論モデルによるラベルの推定の妥当性を判定し、その判定内容を示す情報を出力する評価部と、
を備える、モデル作成支援システム。 having a processor and memory,
a learning unit that generates an inference model that estimates a label to be set in input data based on the feature amount of the input data by performing machine learning that identifies each feature amount for a plurality of learning target data;
Determining similarity between the feature amount of the predetermined data specified by inputting the predetermined data into the generated inference model and the feature amount of the learning target data specified by the machine learning. an evaluation unit that determines the validity of the label estimation by the inference model and outputs information indicating the content of the determination;
A model creation support system.
前記評価部は、前記確度に応じた、前記特徴量間の類似性を判定する複数の判定ルールを設定し、設定した判定ルールに基づき、前記推論モデルによるラベルの推定の妥当性を判定する、
請求項6に記載のモデル作成支援システム。 The inference model estimates a label from the feature amount of the input data based on accuracy, which is a parameter for determining the type of label to be set in the input data,
The evaluation unit sets a plurality of determination rules for determining similarity between the feature amounts according to the accuracy, and determines the validity of label estimation by the inference model based on the set determination rules.
The model creation support system according to claim 6.
請求項6に記載のモデル作成支援システム。 The evaluation unit specifies similarity between the feature amount of the predetermined data and the feature amount of the learning target data as a feature amount that both data have in common and a feature amount that only one of the data has. determining the validity of the label estimate by
The model creation support system according to claim 6.
前記評価部は、前記所定のデータの特徴量の重み値と、前記学習対象のデータの特徴量の重み値との類似性を判定することにより、前記推論モデルにおける重み値の妥当性を判定し、
前記フィードバック処理部は、前記生成した重み値の修正をユーザから受け付ける、
請求項9に記載のモデル作成支援システム。 The learning unit generates an inference model for estimating a label to be set to input data based on the weight value of the feature amount of the input data by performing machine learning for specifying the weight value of the feature amount,
The evaluation unit determines the validity of the weight value in the inference model by determining similarity between the weight value of the feature amount of the predetermined data and the weight value of the feature amount of the learning target data. ,
the feedback processing unit receives a correction of the generated weight value from a user;
The model creation support system according to claim 9.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019072538A JP7189068B2 (en) | 2019-04-05 | 2019-04-05 | MODEL CREATED SUPPORT METHOD AND MODEL CREATED SUPPORT SYSTEM |
US16/823,562 US20200320409A1 (en) | 2019-04-05 | 2020-03-19 | Model creation supporting method and model creation supporting system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019072538A JP7189068B2 (en) | 2019-04-05 | 2019-04-05 | MODEL CREATED SUPPORT METHOD AND MODEL CREATED SUPPORT SYSTEM |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020170427A JP2020170427A (en) | 2020-10-15 |
JP7189068B2 true JP7189068B2 (en) | 2022-12-13 |
Family
ID=72661862
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019072538A Active JP7189068B2 (en) | 2019-04-05 | 2019-04-05 | MODEL CREATED SUPPORT METHOD AND MODEL CREATED SUPPORT SYSTEM |
Country Status (2)
Country | Link |
---|---|
US (1) | US20200320409A1 (en) |
JP (1) | JP7189068B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7364512B2 (en) * | 2020-03-25 | 2023-10-18 | 株式会社日立製作所 | Labeling model generation device and labeling model generation method |
JPWO2022185362A1 (en) * | 2021-03-01 | 2022-09-09 | ||
JP2022148430A (en) * | 2021-03-24 | 2022-10-06 | 株式会社日立製作所 | Document information extraction system and document information extraction method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012146003A (en) | 2011-01-07 | 2012-08-02 | Nippon Telegr & Teleph Corp <Ntt> | Data extraction device, data extraction method, and program |
JP2017058866A (en) | 2015-09-15 | 2017-03-23 | 株式会社東芝 | Information extraction device, information extraction method, and information extraction program |
-
2019
- 2019-04-05 JP JP2019072538A patent/JP7189068B2/en active Active
-
2020
- 2020-03-19 US US16/823,562 patent/US20200320409A1/en active Pending
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012146003A (en) | 2011-01-07 | 2012-08-02 | Nippon Telegr & Teleph Corp <Ntt> | Data extraction device, data extraction method, and program |
JP2017058866A (en) | 2015-09-15 | 2017-03-23 | 株式会社東芝 | Information extraction device, information extraction method, and information extraction program |
Also Published As
Publication number | Publication date |
---|---|
JP2020170427A (en) | 2020-10-15 |
US20200320409A1 (en) | 2020-10-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11501210B1 (en) | Adjusting confidence thresholds based on review and ML outputs | |
US20190354810A1 (en) | Active learning to reduce noise in labels | |
Tong et al. | A linear road object matching method for conflation based on optimization and logistic regression | |
US20170060931A1 (en) | Intelligent data munging | |
JP7189068B2 (en) | MODEL CREATED SUPPORT METHOD AND MODEL CREATED SUPPORT SYSTEM | |
JP2017224184A (en) | Machine learning device | |
US20150242761A1 (en) | Interactive visualization of machine-learning performance | |
US10983786B2 (en) | Automatically evaluating software project requirements | |
US11856129B2 (en) | Systems and methods to manage models for call data | |
JP2018170008A (en) | Method and system for mapping attributes of entities | |
US20240184598A1 (en) | Real-time event status via an enhanced graphical user interface | |
US11861512B1 (en) | Determining content to present for human review | |
JP2023145767A (en) | Vocabulary extraction support system and vocabulary extraction support method | |
JP7098502B2 (en) | Reporting equipment, methods, and programs | |
JP6695847B2 (en) | Software parts management system, computer | |
JP5648336B2 (en) | Inconsistency detection apparatus, program and method, correction support apparatus, program and method | |
US11544600B2 (en) | Prediction rationale analysis apparatus and prediction rationale analysis method | |
JP6641456B2 (en) | Computer system and data classification method | |
US20240249071A1 (en) | System and method for extracting structured data | |
US20240320274A1 (en) | Conserving system resources using smart document retention | |
US11928558B1 (en) | Providing content reviews based on AI/ML output | |
JP5950369B2 (en) | Input support system, input support method, and input support program | |
US20230079857A1 (en) | Information processing apparatus, information processing method, and recording medium | |
WO2023084704A1 (en) | Image processing device, method, and program | |
US20240028956A1 (en) | Automated machine learning system, automated machine learning method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211222 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221028 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221115 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221201 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7189068 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |