WO2022201578A1 - 文書情報抽出システム、および文書情報抽出方法 - Google Patents

文書情報抽出システム、および文書情報抽出方法 Download PDF

Info

Publication number
WO2022201578A1
WO2022201578A1 PCT/JP2021/029973 JP2021029973W WO2022201578A1 WO 2022201578 A1 WO2022201578 A1 WO 2022201578A1 JP 2021029973 W JP2021029973 W JP 2021029973W WO 2022201578 A1 WO2022201578 A1 WO 2022201578A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
feature amount
document
feature quantity
evaluation target
Prior art date
Application number
PCT/JP2021/029973
Other languages
English (en)
French (fr)
Inventor
絵理 照屋
理 竹内
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2022201578A1 publication Critical patent/WO2022201578A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/40—Processing or translation of natural language
    • G06F40/42—Data-driven translation
    • G06F40/44—Statistical methods, e.g. probability models

Definitions

  • the present invention relates to a document information extraction system and a document information extraction method.
  • Patent Document 1 describes an information processing device that selects a feature amount to be used for classifying input data from a plurality of feature amounts extracted from input data.
  • the information processing device generates a combination of a plurality of feature amounts extracted from the input data, and calculates a first evaluation value for evaluating whether the generated combination is suitable for determining the classification of the input data.
  • generate multiple parameters to be used when calculating the second evaluation value for evaluating the combination of feature amounts calculate the second evaluation value based on the first evaluation value for each of the multiple parameters, and calculate the second evaluation value for each of the multiple parameters
  • a feature is selected based on the second evaluation value to generate a subset of the feature so that the feature can be selected in the selection of the combination of the features.
  • Patent Document 2 describes a feature quantity classification system that classifies feature quantities in speech recognition and image recognition.
  • a feature quantity classification system includes a feature quantity converter that converts a given feature quantity and learns discrimination criteria for performing feature quantity conversion using correct class labels as teacher data, and a feature quantity converter. and a classifier for classifying the transformed feature quantity, wherein the feature quantity converter classifies the classifier of the other feature quantity classification system during the learning in order to consider the error tendency of the classifier of the other feature quantity classification system.
  • Using the posterior probability of a feature quantity conversion different from that of other feature quantity converters is performed.
  • the feature amount used for extracting information from a document is, for example, the property of a sentence such as the final word of a word or words appearing to the left and right of a word.
  • Appropriate setting of such feature values requires not only knowledge of the information to be extracted (domain knowledge), but also knowledge and experience in machine learning. The problem is that the human load is high.
  • Patent Document 1 describes a technique for selecting feature quantities used for classifying input data.
  • the technique described in the document relates to a technique for extracting a group of feature values such as the mean and variance of pixel values from an image of an object to be inspected, and does not relate to a technique for extracting useful information from a document.
  • feature values are selected by a mechanical round-robin method for combinations of multiple feature values extracted from the input data, and it is necessary to prepare a considerable amount of training data in order to obtain extraction accuracy.
  • Patent Document 2 describes a technique for classifying feature amounts in speech recognition and image recognition. However, this document merely describes a technique for adjusting a classifier used for classifying given feature amounts, and does not describe a technique for setting feature amounts.
  • the present invention has been made in view of such a background. , and a document information extraction method.
  • a document information extraction system comprising an information processing device, a document management unit for managing a group of documents, and a machine learning model for extracting the documents.
  • a document information extraction unit for extracting information from a group of documents; a plurality of feature quantities constituting parameters of the model; an evaluation target feature quantity that is a feature quantity to be evaluated among the plurality of feature quantities, one or more sentences from which the evaluation target feature quantity is extracted, and the evaluation target a parameter setting reception unit that receives setting of the action type or the weight of the evaluation target feature amount while displaying the weight currently set for the feature amount; and the parameter based on the received action type or the weight and a parameter updating unit that updates the
  • FIG. 1 is a system flow diagram illustrating the main configuration of a document information extraction system
  • FIG. 1 is a block diagram illustrating the main configuration of a document information extraction system
  • FIG. It is a figure explaining the evaluation method of the correctness-likeness of the feature-value used for determination of a priority.
  • It is an example of a feature evaluation table.
  • It is an example of a feature amount frequency table.
  • It is an example of a feature amount similarity table.
  • It is an example of a feature value co-occurrence table.
  • It is an example of a display priority calculation table.
  • It is an example of a feature amount display priority table.
  • It is an example of a parameter setting screen.
  • It is an example of a before-and-after update comparison screen.
  • It is an example of a feature extraction source information table.
  • the document information extraction system 1 extracts useful information for drafting guidelines for research and development of new materials from a huge set of documents (patent documents, various papers, business reports, corporate reports, news, etc.), such as It is used for data-driven material development using so-called Materials Informatics (MI), which extracts the correlation between the structure, properties, and functions of materials and provides the extracted results to users.
  • MI Materials Informatics
  • FIG. 1 is a system flow diagram explaining the main configuration of the document information extraction system 1.
  • FIG. 2 is a block diagram for explaining the main configuration of the document information extraction system 1.
  • the document information extraction system 1 has functions of a document information extraction section 170 and a parameter setting section 180 .
  • the document information extraction unit 170 extracts information from the accumulated document 111 using a machine learning model (learning model) and presents it to the user.
  • the parameter setting unit 180 sets the parameters (feature amounts, weights of the feature amounts) of the model in an interactive manner with the user via the user interface.
  • the document information extraction unit 170 includes a word/related word extraction unit 171 and a document information presentation unit 172. While referring to the initial dictionary 112 and the word/related word dictionary 113, the word/related word extraction unit 171 extracts words, word-related words, word synonyms, etc. (hereinafter referred to as “word/related word 114 ) is extracted from the document 111 .
  • word/related word 114 As a mechanism of the above machine learning, for example, there is a named entity extraction technology realized using RNN (Recurrent Neural Network) or LSTM (Long short-term memory). However, the type of machine learning is not necessarily limited.
  • the above model is represented, for example, by a matrix or vector containing information on the feature amount and the weight of each feature amount.
  • the features of the model for extracting information from the document 111 include, for example, the features of peripheral words (left and right words, parts of speech of left and right words, dependencies), the features of the words themselves (prefix, suffix, , number of characters, uppercase and lowercase letters, parts of speech, types of characters (numbers, kanji, etc.), etc.
  • the document 111 is managed by the document management unit 160 shown in FIG.
  • the documents 111 include a large number of documents (for example, documents acquired via the Internet by web scraping or web crawling, or documents registered by users).
  • documents for example, documents acquired via the Internet by web scraping or web crawling, or documents registered by users.
  • Objects are called documents.
  • various types of information processing performed by the document information extraction system 1 are performed on a document-by-document basis will be described as an example, but the processing unit is not necessarily limited.
  • the document 111 is assumed to be managed as data in text format (text data), but the method of managing the document 111 is not necessarily limited.
  • Documents to be subjected to various types of information processing described below are decomposed into morphemes by, for example, a morphological analysis technique, and each morpheme is converted into distributed representation (word embedding), for example, and handled.
  • the initial dictionary 112 and word/related word dictionary 113 referenced by the document information extraction unit 170 are managed by the dictionary management unit 161 shown in FIG.
  • the initial dictionary 112 is set with, for example, words indicating the directionality of the extraction target by the machine learning. For example, when extracting information about temperature from the document 111 about thermochemistry, words such as "30 degrees” and "10 degrees” are set in the initial dictionary 112, for example.
  • the document information extraction unit 170 extracts, for example, “30° C.” and “10° C.” as related terms.
  • the word/related word dictionary 113 manages information in which words are associated with related words and synonyms.
  • the contents of the initial dictionary 112 and the word/related word dictionary 113 may be set by the user, or may be set using a corpus or dictionary obtained from the Internet or the like.
  • the user prepares the initial dictionary 112 and the word/related word dictionary 113 whose contents correspond to the technical field from which useful information is to be obtained and the type of information to be extracted.
  • the document information presenting unit 172 extracts the word/related word 114 extracted by the word/related word extracting unit 171 and information generated based on the extracted word/related word 114 (hereinafter referred to as "document extraction information 115"). ) to the user.
  • the user uses the document extraction information 115 provided by the document information presentation unit 172 via, for example, a user interface provided in the document information extraction system 1 or another information processing device communicably connected to the document information extraction system 1. do.
  • the parameter setting unit 180 has functions of a feature amount information generation unit 181 , a feature amount display priority setting unit 182 , a parameter setting screen generation unit 183 , a parameter setting reception unit 184 and a parameter update unit 185 .
  • the feature amount information generation unit 181 acquires the current model parameters (feature amounts and weights of each feature amount) (hereinafter referred to as "current parameters 155") from the word/related word extraction unit 171, and obtains Feature quantity information 120 (feature quantity evaluation table 121, feature quantity frequency table 122, feature quantity similarity table 123, feature quantity An origination table 124 and a feature extraction source information table 125) are generated. Details of the feature amount information 120 will be described later.
  • the feature amount display priority setting unit 182 sets the feature amount display priority (hereinafter referred to as The display priority calculation table 131 used for calculating the “feature amount display priority” is generated.
  • the feature amount display priority setting unit 182 obtains the feature amount display priority based on the display priority calculation table 131 and stores the obtained feature amount display priority in the feature amount display priority table 132 .
  • the parameter setting screen generating unit 183 displays the feature amounts in the order according to the feature amount display priority, and generates a screen (parameter setting screen 1000 shown in FIG. 10) for accepting information from the user regarding the setting of the parameters of the displayed feature amounts. Generate.
  • the parameter setting screen generation unit 183 When generating the parameter setting screen 1000, the parameter setting screen generation unit 183 generates the parameter setting screen information 140 (character decoration definition table 141, mapping target feature amount table 142, feature amount evaluation setting information table 143, and feature amount extraction status display table). 144) is referenced or generated. Details of the parameter setting screen information 140 will be described later.
  • the parameter setting acceptance unit 184 accepts information about parameter settings from the user while displaying the parameter setting screen 1000 .
  • the parameter update unit 185 updates the feature amount evaluation table 121 based on the information received from the user by the parameter setting reception unit 184 (the storage unit 110 stores the contents of both the feature amount evaluation table 121 before and after the update). . Further, the parameter updating unit 185 generates difference information (hereinafter referred to as “parameter update information 152”) of the feature quantity evaluation table 121 before and after updating, and based on the generated parameter update information 152, word/related word The parameters of the model used by the extraction unit 171 are updated.
  • the feature amount display priority setting unit 182 gives priority to the parameter setting screen 1000 for the feature amount that the user wants to confirm with priority (the feature amount that is considered to have a large influence on the accuracy of extracting useful information from the document 111).
  • Set the feature amount display priority so that it is displayed as a target.
  • the feature quantity display priority setting unit 182 sets a high feature quantity display priority for a feature quantity corresponding to any of the following (1) to (3).
  • a feature amount that acts to extract information to be extracted from the document 111 is referred to as a "positive feature amount", and a feature amount that acts not to extract useful information from the document 111.
  • Neutral feature amount, but in the current parameters 155, the feature amount for which the absolute value of the feature amount is set large hereinafter referred to as “false evaluation neutral feature amount”).
  • the feature amount display priority setting unit 182 sets an index (hereinafter referred to as “likelihood of correctness”) indicating the possibility of corresponding to the false evaluation correctness feature amount of (1) to the feature amount of the evaluation target ( hereinafter referred to as the "relevant feature”) and other positive features used in the current model (hereinafter referred to as the "comparative positive feature”), and comparison with the feature Evaluation is performed based on the degree of co-occurrence with the positive feature amount, the weight of the feature amount in the current parameters 155, and the appearance frequency of the feature amount in the document 111.
  • the feature amount display priority setting unit 182 sets the index indicating the possibility of falling under (2) above (hereinafter referred to as “negative likelihood”) to the feature amount of the evaluation target (hereinafter referred to as “corresponding feature”) and other negative features used in the current model (hereinafter referred to as “comparative negative feature”), the feature and the comparative negative feature , the weight of the feature quantity in the current parameters 155, and the appearance frequency of the feature quantity in the document 111.
  • the feature amount display priority setting unit 182 sets the index indicating the possibility of corresponding to the above (3) (hereinafter referred to as “neutrality”) to the feature amount of the evaluation target (hereinafter referred to as “relevant feature”) and other neutral features used in the current model (hereinafter referred to as “comparative neutral feature”), the feature and the comparative neutral feature , the absolute value of the weight of the feature quantity in the current parameters 155, and the appearance frequency of the feature quantity in the document 111.
  • the appearance frequency in the document 111 of the feature quantity to be evaluated is used for evaluation because the feature quantity with a low appearance frequency in the document 111 does not affect the extraction accuracy of information from the document 111. This is because it is considered that the effect of the sine wave is small.
  • FIG. 3 is a diagram showing an example of the concept of evaluation of applicability to (1) above.
  • a case of calculating the "likelihood of correctness" of the feature quantity for extracting the word representing "temperature” from the illustrated document 111 is illustrated.
  • the initial dictionary 112 is set with "30 degrees", “10 degrees”, etc. for learning words indicating temperature in the model. : degree” (a word ending with “degree") and "left word: temperature wa” (a word having a character string of "temperature” on the left side).
  • the evaluation target feature "final word: times” has similarity only with the comparative positive feature “final word: degree”, and the evaluation target "left word: declining” is similar.
  • the feature quantity has co-occurrence only with the comparative positive feature quantity “left word: temperature”.
  • the feature quantity “final word: °C” to be evaluated has similarity to the comparative positive feature quantity “final word: degree”, and the comparative positive feature quantity “left word: temperature is ” and co-occurrence. Therefore, in this example, the feature quantity "final word: °C” is more likely to correspond to the above (1) than the other two feature quantities ("final word: times", "left word: lower”). Ethnicity, that is, “authenticity” is highly evaluated.
  • the feature amount display priority setting unit 182 selects the feature amount used when presenting to the user based on the "positiveness”, “negativeness”, and “neutrality” evaluated for each feature amount as described above. Get display priority. For example, the feature amount display priority setting unit 182 sets a high feature amount display priority to a feature amount having a high “likelihood of authenticity” (exceeding a preset threshold value). Further, for example, the feature amount display priority setting unit 182 sets a high feature amount display priority to a feature amount having a high “negativeness” (exceeding a preset threshold value).
  • the feature amount display priority setting unit 182 sets a high feature amount display priority to a feature amount having a high “neutrality” (exceeding a preset threshold value).
  • the feature amount display priority setting unit 182 comprehensively evaluates any two or more of "positiveness”, “negativeness”, and "neutrality” to determine the feature amount of each feature amount. You may make it set a display priority.
  • the feature amount display priority setting unit 182 sets the feature amount information 120 (the feature amount evaluation table 121, the feature amount frequency table 122, the feature amount similarity table 123, the feature amount co-occurrence table 124). ) is referenced or generated (including the meaning of update).
  • the feature evaluation table 121 manages information regarding the weight and evaluation of each feature in the current model or after being changed by the user.
  • the feature quantity evaluation table 121 is composed of a plurality of entries (records) having respective items of feature quantity 1211 , weight 1212 and evaluation 1213 .
  • One entry in the feature evaluation table 121 corresponds to one feature.
  • the feature amount 1211 stores the feature amount.
  • the weight 1212 stores the weight of the feature quantity.
  • information indicating the type (hereinafter referred to as "action type") corresponding to the action characteristic of the feature amount ("Positive” for positive feature amount, “Positive” for negative feature amount) "negative", and “neutral” if the feature is neutral) is set. Note that “-” is set in the evaluation 1213 for feature amounts for which the action type is not set.
  • the feature quantity frequency table 122 manages the appearance frequency of each feature quantity used in the current model in the document 111 (document group). As shown in the figure, the feature amount frequency table 122 is composed of a plurality of entries (records) each having items of feature amount 1221 and frequency 1222 . One entry in the feature quantity frequency table 122 corresponds to one feature quantity. Among the above items, the feature amount 1221 stores the feature amount. The frequency 1222 stores the appearance frequency of the feature quantity in the document 111 .
  • the feature amount similarity table 123 manages the similarities between different feature amounts forming the model. As shown in the figure, the feature amount similarity table 123 is composed of a plurality of entries (records) having items of a first feature amount 1231, a second feature amount 1232, and a degree of similarity 1233, respectively. One entry in the feature amount similarity table 123 corresponds to one set of feature amounts.
  • the first feature amount 1231 stores one feature amount of the above set (hereinafter referred to as "first feature amount”).
  • the second feature amount 1232 stores the other feature amount of the set (hereinafter referred to as “second feature amount”).
  • the degree of similarity 1233 stores the degree of similarity between the first feature amount and the second feature amount. Note that the feature amount information generation unit 181 obtains similarity based on cosine similarity or Levenshtein distance, for example.
  • FIG. 7 shows an example of the feature value co-occurrence table 124.
  • the feature amount co-occurrence degree table 124 manages the co-occurrence degrees of different feature amounts forming the model.
  • the feature amount co-occurrence table 124 is composed of a plurality of entries (records) each having a first feature amount 1241 , a second feature amount 1242 , and a co-occurrence degree 1243 .
  • One entry in the feature amount co-occurrence table 124 corresponds to one set of feature amounts.
  • the first feature amount 1241 stores one feature amount of the above set (hereinafter referred to as "first feature amount”).
  • the second feature amount 1242 stores the other feature amount of the set (hereinafter referred to as “second feature amount”).
  • the degree of co-occurrence 1243 stores the degree of co-occurrence between the first feature amount and the second feature amount.
  • the feature amount information generation unit 181 for example, generates a word distributed representation (for example, a distributed representation generated by word2vec, BERT, etc.) for a word, and uses the generated distributed representation for each word to generate a shared representation of two words. ask for a wake up call.
  • the display priority calculation table 131 manages information based on the contents of the feature quantity evaluation table 121 , the feature quantity frequency table 122 , the feature quantity similarity table 123 , and the feature quantity co-occurrence degree table 124 .
  • the display priority calculation table 131 includes a first feature amount 1311, a second feature amount 1312, a degree of similarity 1313, a degree of co-occurrence 1314, a first feature amount weight 1315, a second feature amount weight 1316, and a plurality of entries (records) having each item of the second feature quantity frequency 1317 .
  • One entry in the display priority calculation table 131 corresponds to one set of feature amounts.
  • first feature amount 1311 one feature amount of the above set (hereinafter referred to as “first feature amount”) is stored.
  • the second feature amount 1312 stores the other feature amount of the set (hereinafter referred to as “second feature amount”).
  • the degree of similarity 1313 stores the degree of similarity between the first feature amount and the second feature amount.
  • the degree of co-occurrence 1314 stores the degree of co-occurrence between the first feature amount and the second feature amount.
  • the first feature weight 1315 stores the weight of the first feature.
  • the weight of the second feature amount is stored in the second feature amount weight 1316 .
  • the appearance frequency of the second feature amount in the document 111 is stored in the second feature amount frequency 1317 .
  • FIG. 9 shows an example of the feature quantity display priority table 132.
  • the feature amount display priority table 132 manages information used for setting the feature amount display priority of each feature amount, which is generated by the feature amount display priority setting unit 182 based on the display priority calculation table 131 .
  • the feature quantity display priority table 132 is composed of a plurality of entries (records) having respective items of a feature quantity 1321, positiveness 1322, negativeness 1323, and neutrality 1324. .
  • One entry in the feature quantity display priority table 132 corresponds to one feature quantity.
  • the feature amount 1321 stores the feature amount.
  • the legitimacy 1322 stores a value (legitimacy) obtained from the following equation based on the display priority calculation table 131 .
  • the feature amount i corresponds to the second feature amount 1312 in the display priority calculation table 131
  • the feature amount j corresponds to the first feature amount 1311 in the same table.
  • a, b, c, and d in the following equation are constants.
  • the negative likelihood 1322 stores a value (negative likelihood) obtained from the following equation based on the display priority calculation table 131 .
  • the feature amount i corresponds to the second feature amount 1312 in the display priority calculation table 131
  • the feature amount j corresponds to the first feature amount 1311 in the same table.
  • a, b, c, and d in the following equation are constants.
  • the neutrality 1323 stores a value (neutrality) obtained from the following equation based on the display priority calculation table 131 .
  • the feature amount i corresponds to the second feature amount 1312 in the display priority calculation table 131
  • the feature amount j corresponds to the first feature amount 1311 in the same table.
  • a, b, c, and d in the following equation are constants.
  • the parameter setting screen generation unit 183 displays feature values based on the positiveness 1322, the negativeness 1323, and the neutrality 1324 obtained as described above when setting the parameters through interaction with the user. Ask for priority.
  • the document information extraction system 1 obtains at least one of positiveness, negativity, and neutrality for each feature amount, and sets the feature amount display priority based on the obtained value. Therefore, it is possible to preferentially present to the user highly effective feature amounts (feature amounts with high possibility of extracting more appropriate words and related words from the document 111) that can be obtained by adjustment, and the user can efficiently Parameters can be adjusted (tuned).
  • FIG. 10 is an example of a screen (hereinafter referred to as "parameter setting screen 1000") displayed by the parameter setting screen generation unit 183 when setting parameters through interactive processing with the user.
  • the parameter setting screen 1000 has a feature amount evaluation setting field 1010, a feature amount extraction status display field 1020, a before/after update comparison button 1030, and a confirmation button 1040.
  • FIG. 10 is an example of a screen (hereinafter referred to as "parameter setting screen 1000") displayed by the parameter setting screen generation unit 183 when setting parameters through interactive processing with the user.
  • the parameter setting screen 1000 has a feature amount evaluation setting field 1010, a feature amount extraction status display field 1020, a before/after update comparison button 1030, and a confirmation button 1040.
  • the feature amounts that prompt the user to confirm are displayed in descending order of feature amount display priority in the feature amount display priority table 132.
  • FIG. As shown in the figure, the feature quantity evaluation setting field 1010 is composed of a plurality of entries having respective items of a feature quantity 1011, a weight 1012, a sentence 1013, and an evaluation 1014.
  • FIG. One entry in the feature quantity evaluation setting field 1010 corresponds to one feature quantity.
  • the feature amount 1011 displays the feature amount that prompts the user to confirm.
  • the weight 1012 displays the weight set for the feature amount. The user can evaluate the feature amount while confirming the weight set for the feature amount. The value of the weight 1012 can also be manually changed by the user using the screen.
  • sentence 1013 one or more sentences (sentences that are elements of the document 111) from which words have been extracted based on the feature amount are displayed. A portion corresponding to the feature amount of the text 1013 is highlighted (underlined and italicized in this example), so that the user can easily grasp the position of the feature amount in the text.
  • the evaluation 1014 displays the action type set for the feature amount. As for the feature amount for which the action type has been set in the past, the feature amount already set in the evaluation 1014 is automatically displayed as the default value. For feature amounts for which action types have not been set in the past, for example, the action types determined by the parameter setting unit 180 based on the content of the feature amount display priority table 132 are displayed in the evaluation 1014 as default values. For example, a feature amount whose positivity 1322 exceeds a preset threshold is assigned “positivity,” a feature amount whose negativeness 1323 exceeds a preset threshold is assigned “negative,” and neutral. "Neutral" is displayed in the evaluation 1014 as a default value for the feature amount whose likelihood 1324 exceeds a preset threshold.
  • the method for automatically determining the default value is not necessarily limited.
  • the content of the evaluation 1014 can also be manually changed by the user using the screen.
  • the user changes the contents of the evaluation 1014 by, for example, operating the type of action (“Positive”, “Negative”, and “Neutral”) displayed as a pull-down menu.
  • the feature quantity extraction status display field 1020 information indicating the extraction status (state) of each feature quantity displayed in the feature quantity evaluation setting field 1010 is displayed.
  • the feature quantity extraction status display field 1020 is composed of a plurality of entries having respective items of a document ID 1021 , an extracted word 1022 , an extraction source sentence 1023 and an unmapping feature quantity 1024 .
  • One entry in the feature quantity extraction status display field 1020 corresponds to one word extracted from the document 111 .
  • the document ID 1021 displays the document ID that is the identifier of the extraction source document (the file name of the extraction source document in this example).
  • a word extracted by the feature amount 1011 displayed in the feature amount evaluation setting column 1010 is displayed in the extracted word 1022 .
  • the extraction source sentence 1023 the sentence from which the word is extracted is displayed. As shown in the figure, the portion corresponding to the feature quantity of the extraction source sentence 1023 is decorated with characters (solid underline, framed, italic, dashed underline, no decoration) according to the weight of the feature quantity. It is It should be noted that the feature amount to which character decoration is added in the extraction source sentence 1023 is the feature amount defined in the mapping target feature amount table 142, which will be described later. In this example, the difference in the weight (effectiveness) set for each feature amount is distinguished by changing the type of character decoration, but other methods such as color coding may be used for distinction.
  • the solid underline is added to the feature quantity (positive feature quantity) that greatly affects the extraction of the word indicating temperature
  • the framed character is used to extract the word indicating temperature.
  • Italic characters are attached to features (negative features) that act not to extract words other than temperature
  • dashed underlines is added to the feature quantity (negative feature quantity) that has a large effect on not extracting words that are not temperature. gender feature).
  • the non-mapping feature amount 1024 displays other feature amounts (the number of characters in this example) that contributed to the extraction of the word.
  • Examples of other feature values displayed in the non-mapping feature value 1024 include, for example, "number or letter”, “English or Japanese”, “romaji or kanji”, and "capital letter or small letter”.
  • the parameter setting unit 180 compares the contents of the feature amount evaluation setting field 1010 before the user performs the change operation and the feature amount evaluation setting field 1010 after the user performs the change operation. (hereinafter referred to as "before and after update comparison screen 1100") is displayed.
  • FIG. 11 shows an example of a comparison screen 1100 before and after update.
  • the example before and after update comparison screen 1100 includes a feature amount evaluation setting field (before update) 1111 that displays the content of the feature amount evaluation setting field 1010 before updating, and a feature amount evaluation setting before updating. It also has a feature value evaluation setting column (after update) 1112 in which the contents of the column 1010 are displayed.
  • the feature amount display priority setting unit 182 recalculates the feature amount display priority based on the updated evaluation (action type) and weight, and displays the feature amount. The order is also updated.
  • the parameter update unit 185 when the user operates the confirm button 1040, the parameter update unit 185 generates the parameter update information 152 based on the setting contents (weight 1012, evaluation 1014) of the parameter setting screen 1000, and the generated parameter update information 152, the parameters of the model used by the word/related word extraction unit 171 are updated.
  • the parameter updating unit 185 may automatically set the weight of the corresponding feature amount based on the evaluation 1014 on the parameter setting screen 1000 . In that case, the weight automatically set for each feature amount is set based on, for example, the positivity 1322 , negativeness 1323 , and neutrality 1324 in the feature amount display priority table 132 .
  • the user can set an appropriate evaluation 1014 for the feature amount. can do.
  • the feature quantity extraction status display field 1020 information (extracted word 1022, extraction source sentence 1023, non-mapping feature quantity 1024) regarding the extraction status of the feature quantity displayed in the feature quantity evaluation setting field 1010 is displayed. Therefore, the user can visually confirm how the feature value works in word extraction, and even users with little knowledge or experience of machine learning can refer to this information. feature quantity can be set efficiently and appropriately. Therefore, for example, it is possible to effectively utilize the abundant knowledge and experience of domain users who are not familiar with machine learning but who are familiar with the target information field.
  • FIG. 12 is an example of the feature quantity extraction source information table 125.
  • the feature quantity extraction source information table 125 manages information about the feature quantity extraction sources.
  • the feature amount extraction source information table 125 includes a document ID 1251, a word 1252, an extraction source sentence 1253, a word start point 1254, a word end point 1255, a feature amount 1256, a feature amount start point 1257, and a feature amount end point 1258. It consists of multiple entries (records) with each item.
  • One entry in the feature quantity extraction source information table 125 corresponds to one feature quantity.
  • the document ID 1251 stores the document ID of the document from which the feature amount is extracted.
  • the word 1252 stores the word extracted by the feature amount.
  • the extraction source sentence 1253 stores the sentence from which the word is extracted.
  • the word start point 1254 and the word end point 1255 store the position (start point, end point) of the word in the document, respectively.
  • the feature amount 1256 stores the feature amount.
  • a feature quantity start point 1257 and a feature quantity end point 1258 respectively store positions (start point, end point) at which the feature quantity appears in the extraction source sentence.
  • FIG. 13 is an example of the character decoration definition table 141.
  • the character decoration definition table 141 manages information indicating character decoration corresponding to the weight of the feature quantity.
  • the contents of the character decoration definition table 141 are set by, for example, a system administrator or a user.
  • the character decoration definition table 141 is composed of a plurality of records having weight 1411 and character decoration 1412 items.
  • Information indicating the weight range is stored in the weight 1411 .
  • Information indicating the type of character decoration is stored in the character decoration 1412 .
  • FIG. 14 is an example of the mapping target feature quantity table 142.
  • FIG. 14 In the mapping target feature amount table 142, among the feature amounts displayed in the extraction source sentence 1023 and the non-mapping feature amount 1024 in the feature amount extraction status display field 1020 of the parameter setting screen 1000, the feature amounts to be subjected to character decoration are displayed. (target feature quantity 1421) is managed.
  • the contents of the mapping target feature amount table 142 are set by, for example, a system administrator or a user.
  • FIG. 15 is an example of the feature evaluation setting information table 143.
  • FIG. Information to be displayed in the feature amount evaluation setting column 1010 of the parameter setting screen 1000 is managed in the feature amount evaluation setting information table 143 .
  • the feature evaluation setting information table 143 includes a plurality of entries ( records). One entry in the feature quantity evaluation setting information table 143 corresponds to one feature quantity.
  • the feature amount to be evaluated is stored in the feature amount 1431.
  • the weight 1432 stores the weight of the feature amount.
  • the extraction source text 1433 stores the text from which the feature amount is extracted.
  • Information (start point, end point) indicating the position of the feature amount in the extraction source sentence 1433 is stored in the feature amount start point 1434 and the feature amount end point 1435, respectively.
  • the evaluation 1436 the default value described above or the evaluation set by the user (one of “positive”, “negative”, and “neutral”) is set.
  • FIG. 16 is an example of the feature quantity extraction status display table 144.
  • FIG. Information displayed in the feature extraction status display column 1020 of the parameter setting screen 1000 is managed in the feature extraction status display table 144 .
  • the feature quantity extraction status display table 144 includes a document ID 1441, a word 1442, an extraction source sentence 1443, a word start point 1444, a word end point 1445, a feature quantity 1446, a feature quantity start point 1447, a feature quantity end point 1448, a weight 1449 , character decoration 1450 , and non-mapping feature quantity 1451 .
  • One entry in the feature quantity extraction status display table 144 corresponds to one word extracted from the document 111 .
  • the document ID 1441 stores the document ID of the document 111 from which the word (word 1442) is extracted.
  • the word 1442 stores a word extracted by the feature amount (feature amount 1446).
  • the extraction source sentence 1443 stores the sentence from which the word is extracted.
  • the word start point 1444 and word end point 1445 store the position (start point, end point) of the word in the extraction source sentence 1443 .
  • the feature amount 1446 stores the feature amount used to extract the word.
  • Information (start point, end point) indicating the position of the feature amount in the extraction source sentence 1443 is stored in the feature amount start point 1447 and the feature amount end point 1448, respectively.
  • the weight 1449 stores the weight set for the feature amount (feature amount 1446).
  • the character decoration 1450 stores information indicating the character decoration to be applied when displaying the feature amount.
  • the non-mapping feature amount 1451 stores other feature amounts that have contributed to the extraction of the word and are not defined in the mapping target feature amount table 142 .
  • FIG. 17 is a flowchart for explaining the processing (hereinafter referred to as "feature evaluation setting information table generation processing S1700") performed by the parameter setting unit 180 when generating the feature evaluation setting information table 143.
  • FIG. The feature evaluation setting information table generation processing S1700 will be described below with reference to FIG.
  • the parameter setting unit 180 reads the feature amount extraction source information table 125 and the feature amount evaluation table 121 (S1711 to S1712).
  • the parameter setting unit 180 selects one entry in the feature evaluation table 121 (S1713).
  • the parameter setting unit 180 adds to the feature evaluation setting information table an entry in which the content associated with the extraction source sentence 1253 of the feature extraction source information table 125 corresponding to the feature of the entry selected in S1713 is set. (S1714).
  • the parameter setting unit 180 determines whether or not all entries in the feature evaluation table S1713 have been selected in S1713 (S1715). If all entries have not been selected (S1715: NO), the process returns to S1713, selects an unselected entry, and performs the same process as above. On the other hand, if all entries have been selected (S1715: YES), the feature evaluation setting information table generation processing S1700 ends.
  • FIG. 18 is a flowchart for explaining the process (hereinafter referred to as "feature extraction status display table generation process S1800") performed by the parameter setting unit 180 when generating the feature extraction status display table 144.
  • FIG. The feature quantity extraction status display table generation processing S1800 will be described below with reference to FIG.
  • the parameter setting unit 180 reads the feature amount extraction source information table 125, the feature amount evaluation table 121, the character decoration definition table 141, and the mapping target feature amount table 142 (S1811 to S1814).
  • the parameter setting unit 180 selects one entry in the feature quantity extraction source information table 125 and adds one entry to the feature quantity extraction status display table 144 using the contents of the selected entry (S1815).
  • the parameter setting unit 180 stores the corresponding feature amount weight in the feature amount evaluation table 121 in the weight 1449 of the added entry (S1816).
  • the parameter setting unit 180 stores the character decoration corresponding to the weight stored in S1816 in the character decoration definition table 141 in the character decoration 1450 of the added entry (S1817).
  • the parameter setting unit 180 determines whether or not the mapping target feature amount table 142 has the same feature amount as the feature amount 1446 of the entry added in S1815 (S1818). If there is the same feature amount (S1818: YES), the parameter setting unit 180 sets the non-mapping feature amount 1451 of the added entry to blank, and then the process proceeds to S1820. If the same feature quantity does not exist (S1818: NO), the parameter setting unit 180 stores the feature quantity in the non-mapping feature quantity 1451 of the added entry (S1819), and then the process proceeds to S1820.
  • the parameter setting unit 180 determines whether or not all entries in the feature quantity extraction source information table 125 have been selected in S1815 (S1820). If all entries have not been selected (S1820: NO), the process returns to S1815, selects an unselected entry, and performs the same process as above. On the other hand, if all entries have been selected (S1815: YES), the feature extraction status display table generation processing S1800 ends.
  • FIG. 19 is an example of an information processing device used for configuring the document information extraction system 1.
  • the illustrated information processing apparatus 10 includes a processor 11 , a main storage device 12 , an auxiliary storage device 13 , an input device 14 , an output device 15 and a communication device 16 .
  • the document information extraction system 1 may be implemented using, for example, a plurality of information processing devices 10 that are communicatively connected. Further, the information processing apparatus 10 is a virtual information processing resource provided in whole or in part using virtualization technology, process space separation technology, etc., such as a virtual server provided by a cloud system. may be implemented using Also, all or part of the functions provided by the information processing apparatus 10 may be implemented by services provided by the cloud system via an API (Application Programming Interface) or the like, for example.
  • API Application Programming Interface
  • SaaS Software as a Service
  • PaaS Platinum as a Service
  • IaaS Intelligent Access Service
  • IaaS Intelligent Access Service
  • the processor 11 shown in FIG. Intelligence chip or the like.
  • the main memory device 12 is a device that stores programs and data, such as ROM (Read Only Memory), RAM (Random Access Memory), and nonvolatile memory (NVRAM (Non Volatile RAM)).
  • ROM Read Only Memory
  • RAM Random Access Memory
  • NVRAM Non Volatile RAM
  • the auxiliary storage device 13 is, for example, an SSD (Solid State Drive), a hard disk drive, an optical storage device (CD (Compact Disc), DVD (Digital Versatile Disc), etc.), a storage system, an IC card, an SD card, or an optical recording device. They are a read/write device for a recording medium such as a medium, a storage area of a cloud server, and the like. Programs and data can be read into the auxiliary storage device 13 via a recording medium reading device or the communication device 16 . Programs and data stored (stored) in the auxiliary storage device 13 are read into the main storage device 12 at any time.
  • SSD Solid State Drive
  • CD Compact Disc
  • DVD Digital Versatile Disc
  • a storage system such as a medium, a storage area of a cloud server, and the like.
  • Programs and data can be read into the auxiliary storage device 13 via a recording medium reading device or the communication device 16 . Programs and data stored (stored) in the auxiliary storage device 13 are read
  • the input device 14 is an interface that receives input from the outside, and includes, for example, a keyboard, mouse, touch panel, card reader, pen-input tablet, voice input device, and the like.
  • the output device 15 is an interface that outputs various types of information such as processing progress and processing results.
  • the output device 15 is, for example, a display device (liquid crystal monitor, LCD (Liquid Crystal Display), graphic card, etc.) that visualizes the above various information, a device that converts the above various information into sound (audio output device (speaker, etc.)) , a device (printing device, etc.) that converts the above various information into characters.
  • the information processing device 10 may be configured to input and output information with another device via the communication device 16 .
  • the input device 14 and the output device 15 constitute a user interface that realizes interactive processing (acceptance of information, presentation of information, etc.) with the user.
  • the communication device 16 is a device that realizes communication with other devices.
  • the communication device 16 is a wired system that realizes communication with other devices via a communication network 5 (LAN (Local Area Network), WAN (Wide Area Network), Internet, public communication network, dedicated line, etc.).
  • a communication network 5 LAN (Local Area Network), WAN (Wide Area Network), Internet, public communication network, dedicated line, etc.
  • a wireless communication interface such as a NIC (Network Interface Card), a wireless communication module, a USB module, or the like.
  • an operating system for example, an operating system, file system, DBMS (DataBase Management System) (relational database, NoSQL, etc.), KVS (Key-Value Store), etc. may be installed in the information processing device 10 .
  • the document information extraction system 1 stores the various types of information (data) described above, for example, as files managed by a database table or a file system.
  • Various functions provided by the document information extraction system 1 are performed by the processor 11 reading and executing a program stored in the main storage device 12, or by hardware (FPGA, ASIC, AI chip, etc.) itself.
  • Various functions of the document information extraction system 1 include, for example, various known data mining techniques such as text data mining, various known natural language processing techniques (morphological analysis, syntactic analysis, semantic analysis, contextual analysis, feature quantity extraction, , word distributed representation, named entity extraction, text classification, sequence labeling), various known machine learning methods (deep learning (DNN (Deep Neural Network), RNN (Recurrent Neural Network), etc.).
  • the document information extraction system 1 of the present embodiment when setting the parameters (feature amounts, weights), sets the evaluation target feature amount and one or more sentences from which the evaluation target feature amount is extracted. , while displaying the weight set for the feature to be evaluated, the setting of the action type or weight is accepted, so the user can confirm the text and weight of the extraction source (what kind of feature to what kind of feature? It is possible to efficiently and appropriately set the evaluation target feature amount while checking whether the setting has been made.
  • the evaluation target feature quantity portion of the displayed sentence is highlighted by character decoration, color, etc., distinguished for each action type. Therefore, the user can efficiently and appropriately set the evaluation target feature quantity while recognizing the action characteristics of the evaluation target feature quantity for each action type.
  • the user can see how the feature quantity works and what kind of words are extracted. It is possible to efficiently and appropriately set the evaluation target feature amount while recognizing the above.
  • non-mapping feature quantity 1024 that affected the extraction of information extracted from the document by the evaluation target feature quantity is also displayed.
  • the document information extraction system 1 of the present embodiment it is possible to support the setting of the feature amount of the model used when extracting useful information from the document by the machine learning method. Therefore, for example, even a person who has knowledge about the field of information to be extracted (domain knowledge) but does not have knowledge or experience of machine learning can efficiently and appropriately perform feature values, and domain user It is possible to appropriately set the feature amount by effectively utilizing the knowledge of
  • processing unit is not necessarily limited.
  • the same processing can be performed using sentences consisting of the above sentences as a unit.
  • the document information extraction unit 170 extracts information from the accumulated documents 111 by using a machine learning model (learning model), and presents the extracted information to the system administrator and the user.
  • information may be extracted using an extraction rule defined by a system administrator or user and presented to the system administrator or user.
  • the non-mapping feature amount 1024 may display information indicating whether or not the rule is matched.
  • each of the above configurations, functional units, processing units, processing means, etc. may be implemented in hardware, for example, by designing a part or all of them using an integrated circuit.
  • each of the above configurations, functions, etc. may be realized by software by a processor interpreting and executing a program for realizing each function.
  • Information such as programs, tables, and files that implement each function can be stored in recording devices such as memories, hard disks, SSDs (Solid State Drives), and recording media such as IC cards, SD cards, and DVDs.
  • the configuration of the database (schema, etc.) that stores the various types of data described above can be flexibly changed from the viewpoint of efficient use of resources, improvement of processing efficiency, improvement of access efficiency, improvement of search efficiency, etc.
  • 1 Document information extraction system 110 storage unit, 111 document, 112 initial dictionary, 113 word/related word dictionary, 114 word/related word, 115 document extraction information, 120 feature amount information, 121 feature amount evaluation table, 122 feature amount frequency Table 123 Feature amount similarity table 124 Feature amount co-occurrence table 125 Feature amount extraction source information table 131 Display priority calculation table 132 Feature amount display priority table 140 Parameter setting screen information 141 Character decoration definition Table, 142 mapping target feature quantity table, 143 feature quantity evaluation setting information table, 144 feature quantity extraction status display table, 152 parameter update information, 155 current parameters, 160 document management unit, 161 dictionary management unit, 170 document information extraction unit, 171 word/related term extraction unit, 172 document information presentation unit, 180 parameter setting unit, 181 feature amount information generation unit, 182 feature amount display priority setting unit, 183 parameter setting screen generation unit, 184 parameter setting reception unit, 185 parameters Update unit 1000 Parameter setting screen 1100 Before/after update comparison screen S1700 Feature value evaluation setting information table generation processing S1800 Feature value extraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

機械学習の方法により文書から有用な情報を抽出する際に用いるモデルの特徴量の設定を支援する。文書情報抽出システムは、文書群を管理し、機械学習のモデルを用いて文書群の文書から情報を抽出し、モデルのパラメータを構成する複数の特徴量と、特徴量の夫々について情報を抽出する際の作用の特性を示す情報である作用種別と、を記憶し、複数の特徴量のうち評価の対象とする特徴量である評価対象特徴量と、評価対象特徴量の抽出元の１つ以上の文章と、評価対象特徴量に現在設定されている重みと、を表示しつつ、評価対象特徴量の作用種別または重みの設定を受け付け、受け付けた作用種別または重みに基づきパラメータを更新する。

Description

文書情報抽出システム、および文書情報抽出方法
　本発明は、文書情報抽出システム、および文書情報抽出方法に関する。
　本出願は、２０２１年３月２４日に出願された日本特許出願２０２１－０５０１０８号に基づく優先権を主張し、その開示全体を援用して本出願に取り込むものである。
　特許文献１には、入力データから抽出される複数の特徴量から、入力データの分類に用いる特徴量を選択する情報処理装置について記載されている。上記情報処理装置は、入力データから抽出される複数の特徴量の組み合わせを生成し、生成した組み合わせに対して、入力データの分類の判定に適しているか否かを評価する第一評価値を算出し、特徴量の組み合わせを評価する第二評価値を算出する際に使用するパラメータを複数生成し、複数のパラメータごとに第一評価値に基づき第二評価値を算出し、複数のパラメータごとに第二評価値に基づいて特徴量を選択し特徴量のサブセットを生成して、特徴量の組み合わせの選択において特徴量の選択を行えるようにする。
　特許文献２には、音声認識や画像認識における特徴量の分類を行う特徴量分類システムに関して記載されている。特徴量分類システムは、与えられた特徴量を変換すると共に、教師データである正解クラスラベルを用いて特徴量変換を行うための識別基準の学習を行う特徴量変換器と、特徴量変換器で変換された変換特徴量を分類する分類器とを備え、特徴量変換器は、他の特徴量分類システムの分類器の誤り傾向を考慮すべく、上記学習に際して他の特徴量分類システムの分類器の事後確率を用い、他の特徴量変換器とは異なる特徴量変換を行う。
特開２０１７－１０３１８号公報 国際公開第２０１６／０２１０６０号
　膨大な文書の中から有用な情報を抽出する方法として、固有表現抽出等の機械学習の仕組みを用いて文書から単語や関連語を抽出する技術がある。しかし機械学習の仕組みによって質の高い情報を抽出するには、モデルの特徴量を適切に設定する必要がある。ここで文書からの情報の抽出に用いる特徴量とは、例えば、単語の最終語や単語の左右に出現する単語等の文の性質である。こうした特徴量の設定を適切に行うには、抽出対象となる情報についての知識（ドメイン知識）を有しているだけでなく、機械学習についての知識や経験も必要とされ、特徴量の設定にかかる人的負荷が高いことが課題となっている。
　特許文献１には、入力データの分類に用いる特徴量を選択する技術に関して記載されている。しかし同文献に記載の技術は、検査対象物を撮影した画像から画素値の平均や分散等の特徴量群を抽出する技術に関するものであり、文書から有用な情報を抽出する技術に関するものではない。また、同文献では、入力データから抽出される複数の特徴量の組み合わせについて機械的な総当たり方式で特徴量を選択しており、抽出精度を得るために相当な数の学習データを準備する必要もある。
　特許文献２には、音声認識や画像認識における特徴量を分類する技術に関して記載されている。しかし同文献には、与えられた特徴量の分類に用いる分類器の調整に関する技術が記載されているに過ぎず、特徴量の設定に関する技術については記載されていない。
　本発明は、このような背景に鑑みてなされたものであり、機械学習の方法により文書から有用な情報を抽出する際に用いるモデルの特徴量の設定を支援する仕組みを備えた文書情報抽出システム、および文書情報抽出方法を提供することを目的とする。
　上記目的を達成するための本発明の１つは、文書情報抽出システムであって、情報処理装置を用いて構成され、文書群を管理する文書管理部と、機械学習のモデルを用いて前記文書群の文書から情報を抽出する文書情報抽出部と、前記モデルのパラメータを構成する複数の特徴量と、前記特徴量の夫々について前記情報を抽出する際の作用の特性を示す情報である作用種別と、を記憶する記憶部と、前記複数の特徴量のうち評価の対象とする特徴量である評価対象特徴量と、前記評価対象特徴量の抽出元の１つ以上の文章と、前記評価対象特徴量に現在設定されている重みと、を表示しつつ、前記評価対象特徴量の前記作用種別または前記重みの設定を受け付けるパラメータ設定受付部と、受け付けた前記作用種別または前記重みに基づき前記パラメータを更新するパラメータ更新部と、を備える。
　その他、本願が開示する課題、およびその解決方法は、発明を実施するための形態の欄、および図面により明らかにされる。
　本発明によれば、機械学習の方法により文書から有用な情報を抽出する際に用いるモデルの特徴量の設定を支援することができる。
文書情報抽出システムの主な構成を説明するシステムフロー図である。 文書情報抽出システムの主な構成を説明するブロック図である。 優先度の決定に用いる特徴量の正性らしさの評価方法を説明する図である。 特徴量評価テーブルの一例である。 特徴量頻度テーブルの一例である。 特徴量類似度テーブルの一例である。 特徴量共起度テーブルの一例である。 表示優先度算出テーブルの一例である。 特徴量表示優先度テーブルの一例である。 パラメータ設定画面の一例である。 更新前後対比画面の一例である。 特徴量抽出元情報テーブルの一例である。 文字飾りの一例である。 マッピング対象特徴量テーブルの一例である。 特徴量評価設定情報テーブルの一例である。 特徴量抽出状況表示テーブルの一例である。 特徴量評価設定情報テーブル生成処理を説明するフローチャートである。 特徴量抽出状況表示テーブル生成処理を説明するフローチャートである。 文書情報抽出システムの実現に用いる情報処理装置の一例である。
　以下、実施形態について図面を参照しつつ説明する。尚、以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略もしくは簡略化がなされている。本発明は、他の種々の形態でも実施することが可能である。とくに限定しない限り、各構成要素は単数でも複数でも構わない。
　以下の説明において、同一または類似の構成について同一の符号を付して重複した説明を省略することがある。また、以下の説明において、符号の前に付した「Ｓ」の文字は処理ステップを意味する。また、以下の説明では、「テーブル」、「情報」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよい。
　以下、本発明の一実施形態として、機械学習の方法を用いて、膨大な数の文書（文書群）から有用な情報を抽出してユーザに提供する情報処理システム（以下、「文書情報抽出システム１」と称する。）について説明する。文書情報抽出システム１は、例えば、膨大な文書群（特許文献、各種論文、ビジネスレポート、企業レポート、ニュース等）から、新材料の研究や開発の指針を立案する上で有用な情報、例えば、材料の構造と特性や機能との相関関係等を抽出し、抽出した結果をユーザに提供する、いわゆるＭＩ（Materials Informatics、マテリアルズインフォマティクス）を用いたデータ駆動型の材料開発に利用される。
　図１は、文書情報抽出システム１の主な構成を説明するシステムフロー図である。また、図２は、文書情報抽出システム１の主な構成を説明するブロック図である。図１に示すように、文書情報抽出システム１は、文書情報抽出部１７０およびパラメータ設定部１８０の各機能を備える。このうち文書情報抽出部１７０は、蓄積された文書１１１から機械学習のモデル（学習モデル）を用いて情報を抽出してユーザに提示する。また、パラメータ設定部１８０は、上記モデルのパラメータ（特徴量、特徴量の重み）を、ユーザインタフェースを介したユーザとの対話形式により設定する。
　図１または図２に示すように、文書情報抽出部１７０は、単語／関連語抽出部１７１および文書情報提示部１７２を含む。単語／関連語抽出部１７１は、初期辞書１１２や単語／関連語辞書１１３を参照しつつ、機械学習の仕組みにより、単語、単語の関連語、単語の類義語等（以下、「単語／関連語１１４」と称する。）の情報を文書１１１から抽出する。上記機械学習の仕組みとして、例えば、ＲＮＮ（Recurrent Neural Network）やＬＳＴＭ（Long short-term memory）を用いて実現される固有表現抽出技術によるものがある。但し、上記機械学習の種類は必ずしも限定されない。
　上記モデルは、例えば、特徴量と各特徴量の重みの情報を含んだ行列やベクトルにより表現される。文書１１１からの情報を抽出する上記モデルの特徴量として、例えば、周辺単語の特徴（左右単語、左右単語の品詞、係り受け）、単語自身の特徴（始単語(prefix)、終単語(suffix)、文字数、大文字小文字、品詞、文字の種類(数字、漢字等)）等がある。
　文書１１１は、図２に示す文書管理部１６０によって管理される。文書１１１は、多数の文書（例えば、ＷｅｂスクレイピングやＷｅｂクローリングによってインターネットを介して取得された文書やユーザによって登録された文書）を含む。尚、本実施形態では、所定のトピックについて記述された、１つ以上の文、１つ以上の文章、１つ以上の節、１つ以上の節や句、２つ以上の単語等が纏まったものを文書と称する。以下では、文書情報抽出システム１により行われる各種の情報処理が文書を単位として行われる場合を例として説明するが、処理の単位は必ずしも限定されない。また以下では、文書１１１はテキスト形式のデータ（テキストデータ）として管理されるものとするが、文書１１１の管理方法は必ずしも限定されない。以下に説明する各種情報処理の対象となる文書は、例えば、形態素解析技術によって適宜形態素に分解され、また、各形態素は、例えば、適宜分散表現（単語埋め込み）に変換されて取り扱われる。
　文書情報抽出部１７０が参照する初期辞書１１２や単語／関連語辞書１１３は、図２に示す辞書管理部１６１によって管理される。このうち初期辞書１１２には、例えば、上記機械学習による抽出対象の方向性等を示す単語が設定される。例えば、熱化学に関する文書１１１から温度に関する情報を抽出する場合、初期辞書１１２には、例えば、「３０度」、「１０度」等の単語が設定される。尚、この場合、文書情報抽出部１７０は、例えば、「３０℃」、「１０℃」等を関連語として抽出する。単語／関連語辞書１１３には、単語にその関連語や類義語を対応づけた情報が管理される。初期辞書１１２や単語／関連語辞書１１３の内容は、例えば、ユーザが設定してもよいし、インターネット等から取得されるコーパスや辞書等を用いて設定してもよい。ユーザは、例えば、有用な情報を得たい技術分野や抽出しようとする情報の種類等に応じた内容の初期辞書１１２や単語／関連語辞書１１３を準備する。
　文書情報提示部１７２は、単語／関連語抽出部１７１によって抽出された単語／関連語１１４や、抽出された単語／関連語１１４に基づき生成した情報（以下、「文書抽出情報１１５」と称する。）をユーザに提供する。ユーザは、例えば、文書情報抽出システム１が備えるユーザインタフェースや、文書情報抽出システム１と通信可能に接続する他の情報処理装置を介して、文書情報提示部１７２が提供する文書抽出情報１１５を利用する。
　パラメータ設定部１８０は、特徴量情報生成部１８１、特徴量表示優先度設定部１８２、パラメータ設定画面生成部１８３、パラメータ設定受付部１８４、およびパラメータ更新部１８５の各機能を有する。
　このうち特徴量情報生成部１８１は、単語／関連語抽出部１７１から現状のモデルのパラメータ（特徴量と各特徴量の重み）（以下、「現状パラメータ１５５」と称する。）を取得し、取得した現状パラメータ１５５に基づき、特徴量表示優先度設定部１８２等によって参照される情報である特徴量情報１２０（特徴量評価テーブル１２１、特徴量頻度テーブル１２２、特徴量類似度テーブル１２３、特徴量共起度テーブル１２４、および特徴量抽出元情報テーブル１２５）を生成する。特徴量情報１２０の詳細については後述する。
　特徴量表示優先度設定部１８２は、特徴量情報生成部１８１が生成した特徴量情報１２０に基づき、ユーザとの対話処理によりモデルのパラメータの設定を行う際の特徴量の表示優先度（以下、「特徴量表示優先度」と称する。）の算出に用いる表示優先度算出テーブル１３１を生成する。特徴量表示優先度設定部１８２は、表示優先度算出テーブル１３１に基づき特徴量表示優先度を求め、求めた特徴量表示優先度を特徴量表示優先度テーブル１３２に格納する。
　パラメータ設定画面生成部１８３は、特徴量表示優先度に従った順序で特徴量を表示し、表示した特徴量のパラメータの設定に関する情報をユーザから受け付ける画面（図１０に示すパラメータ設定画面１０００）を生成する。パラメータ設定画面生成部１８３は、パラメータ設定画面１０００の生成に際し、パラメータ設定画面情報１４０（文字飾り定義テーブル１４１、マッピング対象特徴量テーブル１４２、特徴量評価設定情報テーブル１４３、および特徴量抽出状況表示テーブル１４４）を参照もしくは生成する。パラメータ設定画面情報１４０の詳細については後述する。
　パラメータ設定受付部１８４は、パラメータ設定画面１０００を表示しつつユーザからパラメータの設定に関する情報を受け付ける。
　パラメータ更新部１８５は、パラメータ設定受付部１８４がユーザから受け付けた情報に基づき特徴量評価テーブル１２１を更新する（記憶部１１０は、更新の前後における特徴量評価テーブル１２１の双方の内容を記憶する）。また、パラメータ更新部１８５は、更新前後の特徴量評価テーブル１２１の差分の情報（以下、「パラメータ更新情報１５２」と称する。）を生成し、生成したパラメータ更新情報１５２に基づき、単語／関連語抽出部１７１が用いるモデルのパラメータを更新する。
　続いて、特徴量表示優先度設定部１８２によって行われる特徴量表示優先度の算出方法について説明する。特徴量表示優先度設定部１８２は、ユーザに優先的に確認してもらいたい特徴量（文書１１１からの有用な情報の抽出精度に対する影響が大きいと考えられる特徴量）がパラメータ設定画面１０００に優先的に表示されるように、特徴量表示優先度を設定する。具体的には、特徴量表示優先度設定部１８２は、以下の（１）～（３）のいずれかに該当する特徴量に対して高い特徴量表示優先度を設定する。尚、以下において、文書１１１から抽出すべき情報を抽出するように作用する特徴量のことを「正性特徴量」と、また、文書１１１から有用でない情報を抽出しないように作用する特徴量のことを「負性特徴量」と、「正性特徴量」にも「負性特徴量」にも該当しない特徴量のことを「中性特徴量」と、夫々称する。
（１）正性特徴量だが、現状パラメータ１５５では、特徴量の重みがゼロ付近もしくはマイナスに設定されている特徴量（以下、「誤評価正性特徴量」と称する。）。
（２）負性特徴量だが、現状パラメータ１５５では、特徴量の重みが大きく（ゼロ付近もしくはプラス等）設定されている特徴量（以下、「誤評価負性特徴量」と称する。）。
（３）中性特徴量だが、現状パラメータ１５５では、特徴量の絶対値が大きく設定されている特徴量（以下、「誤評価中性特徴量」と称する。）。
　例えば、特徴量表示優先度設定部１８２は、（１）の誤評価正性特徴量に該当する可能性を示す指標（以下、「正性らしさ」と称する。）を、評価対象の特徴量（以下、「当該特徴量」と称する。）と現在のモデルに用いられている他の正性特徴量（以下、「比較正性特徴量」と称する。）との類似度、当該特徴量と比較正性特徴量との共起度、現状パラメータ１５５における当該特徴量の重み、および文書１１１における当該特徴量の出現頻度に基づき評価する。
　また、例えば、特徴量表示優先度設定部１８２は、上記（２）に該当する可能性を示す指標（以下、「負性らしさ」と称する。）を、評価対象の特徴量（以下、「当該特徴量」と称する。）と現在のモデルに用いられている他の負性特徴量（以下、「比較負性特徴量」と称する。）との類似度、当該特徴量と比較負性特徴量との共起度、現状パラメータ１５５における当該特徴量の重み、および文書１１１における当該特徴量の出現頻度に基づき評価する。
　また、例えば、特徴量表示優先度設定部１８２は、上記（３）に該当する可能性を示す指標（以下、「中性らしさ」と称する。）を、評価対象の特徴量（以下、「当該特徴量」と称する。）と現在のモデルに用いられている他の中性特徴量（以下、「比較中性特徴量」と称する。）との類似度、当該特徴量と比較中性特徴量との共起度、現状パラメータ１５５における当該特徴量の重みの絶対値、および文書１１１における当該特徴量の出現頻度に基づき評価する。
　尚、上記のいずれの場合においても、評価対象の特徴量の文書１１１における出現頻度を評価に用いているのは、文書１１１における出現頻度が少ない特徴量は、文書１１１からの情報の抽出精度に与える影響も少ないと考えられるからである。
　図３は、上記（１）への該当性の評価の概念を一例として示した図である。同図には、例示する文書１１１から、「温度」を表す単語を抽出する特徴量の「正性らしさ」を算出する場合を例示している。同図に示すように、初期辞書１１２には、温度を示す単語をモデルに学習させるための「３０度」、「１０度」等が設定され、また、比較正性特徴量として、「終単語：度」（末尾が「度」で終わる単語）、「左単語：温度は」（左側に「温度は」の文字列が存在する単語）が存在するものとする。
　同図に示す「終単語：回」（末尾が「回」で終わる単語）、「終単語：℃」（末尾が「℃」で終わる単語）、および「左単語：低下し」（左側に「低下し」の文字列が存在する単語）は、いずれも上記（１）への該当性の評価対象となる特徴量である。尚、本例では、評価対象の各特徴量は、いずれも文書１１１における出現頻度が十分に高いものとする。
　本例の場合、評価対象の「終単語：回」という特徴量は、比較正性特徴量である「終単語：度」のみと類似性があり、評価対象の「左単語：低下し」という特徴量は、比較正性特徴量である「左単語：温度は」のみと共起性がある。また、評価対象の「終単語：℃」という特徴量は、比較正性特徴量である「終単語：度」と類似性があり、かつ、比較正性特徴量である「左単語：温度は」と共起性がある。このため、本例では、当該特徴量「終単語：℃」は、他の２つの特徴量（「終単語：回」、「左単語：低下し」）よりも上記（１）に該当する可能性、即ち「正性らしさ」が高く評価される。
　特徴量表示優先度設定部１８２は、以上のようにして各特徴量について評価した「正性らしさ」、「負性らしさ」、「中性らしさ」に基づき、ユーザに提示する際に用いる特徴量表示優先度を求める。例えば、特徴量表示優先度設定部１８２は、「正性らしさ」が高い（予め設定した閾値を超えている）特徴量に高い特徴量表示優先度を設定する。また例えば、特徴量表示優先度設定部１８２は、「負性らしさ」が高い（予め設定した閾値を超えている）特徴量に高い特徴量表示優先度を設定する。また例えば、特徴量表示優先度設定部１８２は、「中性らしさ」が高い（予め設定した閾値を超えている）特徴量に高い特徴量表示優先度を設定する。尚、特徴量表示優先度設定部１８２が、例えば、「正性らしさ」、「負性らしさ」、「中性らしさ」のいずれか２つ以上を総合的に評価して各特徴量の特徴量表示優先度を設定するようにしてもよい。
　続いて、特徴量表示優先度の算出方法について、具体的なテーブルを例示しつつ説明する。特徴量表示優先度設定部１８２は、特徴量表示優先度の算出に際し、特徴量情報１２０（特徴量評価テーブル１２１、特徴量頻度テーブル１２２、特徴量類似度テーブル１２３、特徴量共起度テーブル１２４）を参照もしくは生成（更新の意味を含む）する。
　図４に、特徴量評価テーブル１２１の一例を示す。特徴量評価テーブル１２１には、モデルの現在のもしくはユーザにより変更された後における各特徴量の重みと評価に関する情報が管理される。同図に示すように、特徴量評価テーブル１２１は、特徴量１２１１、重み１２１２、および評価１２１３の各項目を有する複数のエントリ（レコード）で構成される。特徴量評価テーブル１２１の１つのエントリは１つの特徴量に対応している。
　上記項目のうち、特徴量１２１１には、特徴量が格納される。重み１２１２には、当該特徴量の重みが格納される。評価１２１３には、当該特徴量の作用特性に応じた種別（以下、「作用種別」と称する。）を示す情報（正性特徴量であれば「正性」、負性特徴量であれば「負性」、中性特徴量であれば「中性」）が設定される。尚、作用種別が未設定の特徴量については、評価１２１３に「－」が設定される。
　図５に、特徴量頻度テーブル１２２の一例を示す。特徴量頻度テーブル１２２には、現在のモデルに用いられている各特徴量の文書１１１（文書群）における出現頻度が管理される。同図に示すように、特徴量頻度テーブル１２２は、特徴量１２２１および頻度１２２２の各項目を有する複数のエントリ（レコード）で構成される。特徴量頻度テーブル１２２の１つのエントリは１つの特徴量に対応している。上記項目のうち、特徴量１２２１には、特徴量が格納される。頻度１２２２には、文書１１１における当該特徴量の出現頻度が格納される。
　図６に、特徴量類似度テーブル１２３の一例を示す。特徴量類似度テーブル１２３には、モデルを構成する異なる特徴量の間の類似度が管理される。同図に示すように、特徴量類似度テーブル１２３は、第１特徴量１２３１、第２特徴量１２３２、および類似度１２３３の各項目を有する複数のエントリ（レコード）で構成される。特徴量類似度テーブル１２３の１つのエントリは１つの特徴量の組に対応している。
　上記項目のうち、第１特徴量１２３１には、上記組の一方の特徴量（以下、「第１特徴量」と称する。）が格納される。第２特徴量１２３２には、上記組の他方の特徴量（以下、「第２特徴量」と称する。）が格納される。類似度１２３３には、第１特徴量と第２特徴量の類似度が格納される。尚、特徴量情報生成部１８１は、例えば、コサイン類似度やレーベンシュタイン（Levenshtein）距離に基づき類似度を求める。
　図７に、特徴量共起度テーブル１２４の一例を示す。特徴量共起度テーブル１２４には、モデルを構成する異なる特徴量の共起度が管理される。同図に示すように、特徴量共起度テーブル１２４は、第１特徴量１２４１、第２特徴量１２４２、および共起度１２４３の各項目を有する複数のエントリ（レコード）で構成される。特徴量共起度テーブル１２４の１つのエントリは１つの特徴量の組に対応している。
　上記項目のうち、第１特徴量１２４１には、上記組の一方の特徴量（以下、「第１特徴量」と称する。）が格納される。第２特徴量１２４２には、上記組の他方の特徴量（以下、「第２特徴量」と称する。）が格納される。共起度１２４３には、第１特徴量と第２特徴量の共起度が格納される。尚、特徴量情報生成部１８１は、例えば、単語について単語分散表現（例えば、word2vec, BERT等により生成される分散表現）を生成し、生成した各単語の分散表現を用いて２つの単語の共起度を求める。
　図８に、表示優先度算出テーブル１３１の一例を示す。表示優先度算出テーブル１３１には、特徴量評価テーブル１２１、特徴量頻度テーブル１２２、特徴量類似度テーブル１２３、および特徴量共起度テーブル１２４の内容に基づく情報が管理される。同図に示すように、表示優先度算出テーブル１３１は、第１特徴量１３１１、第２特徴量１３１２、類似度１３１３、共起度１３１４、第１特徴量重み１３１５、第２特徴量重み１３１６、および第２特徴量頻度１３１７の各項目を有する複数のエントリ（レコード）で構成される。表示優先度算出テーブル１３１の１つのエントリは１つの特徴量の組に対応している。
　上記項目のうち、第１特徴量１３１１には、上記組の一方の特徴量（以下、「第１特徴量」と称する。）が格納される。第２特徴量１３１２には、上記組の他方の特徴量（以下、「第２特徴量」と称する。）が格納される。類似度１３１３には、第１特徴量と第２特徴量の類似度が格納される。共起度１３１４には、第１特徴量と第２特徴量の共起度が格納される。第１特徴量重み１３１５には、第１特徴量の重みが格納される。第２特徴量重み１３１６には、第２特徴量の重みが格納される。第２特徴量頻度１３１７には、文書１１１における第２特徴量の出現頻度が格納される。
　図９に、特徴量表示優先度テーブル１３２の一例を示す。特徴量表示優先度テーブル１３２には、特徴量表示優先度設定部１８２が表示優先度算出テーブル１３１に基づき生成した、各特徴量の特徴量表示優先度の設定に用いる情報が管理される。同図に示すように、特徴量表示優先度テーブル１３２は、特徴量１３２１、正性らしさ１３２２、負性らしさ１３２３、および中性らしさ１３２４の各項目を有する複数のエントリ（レコード）で構成される。特徴量表示優先度テーブル１３２の１つのエントリは１つの特徴量に対応している。
　上記項目のうち、特徴量１３２１には特徴量が格納される。
　正性らしさ１３２２には、表示優先度算出テーブル１３１に基づき次式から求めた値（正性らしさ）が格納される。尚、次式において、特徴量ｉは、表示優先度算出テーブル１３１における第２特徴量１３１２が対応し、特徴量ｊは、同テーブルにおける第１特徴量１３１１が対応する。次式におけるａ、ｂ、ｃ、ｄは定数である。
Figure JPOXMLDOC01-appb-M000001
　負性らしさ１３２２には、表示優先度算出テーブル１３１に基づき次式から求めた値（負性らしさ）が格納される。尚、次式において、特徴量ｉは、表示優先度算出テーブル１３１における第２特徴量１３１２が対応し、特徴量ｊは、同テーブルにおける第１特徴量１３１１が対応する。次式におけるａ、ｂ、ｃ、ｄは定数である。
Figure JPOXMLDOC01-appb-M000002
　中性らしさ１３２３には、表示優先度算出テーブル１３１に基づき次式から求めた値（中性らしさ）が格納される。尚、次式において、特徴量ｉは、表示優先度算出テーブル１３１における第２特徴量１３１２が対応し、特徴量ｊは、同テーブルにおける第１特徴量１３１１が対応する。次式におけるａ、ｂ、ｃ、ｄは定数である。
Figure JPOXMLDOC01-appb-M000003
　前述したように、パラメータ設定画面生成部１８３は、ユーザとの対話形式によりパラメータを設定する際、以上により求めた、正性らしさ１３２２、負性らしさ１３２３、および中性らしさ１３２４に基づき特徴量表示優先度を求める。
　以上のように、文書情報抽出システム１は、各特徴量について、正性らしさ、負性らしさ、中性らしさのうちの少なくともいずれかを求め、求めた値に基づき特徴量表示優先度を設定するので、調整することにより得られる効果の高い特徴量（文書１１１からより適切な単語や関連語を抽出できる可能性の高い特徴量）を優先してユーザに提示することができ、ユーザは効率よくパラメータを調整（チューニング）することができる。
　続いて、文書情報抽出システム１がユーザとの間の対話処理により行うパラメータの設定について説明する。尚、以下では、説明の簡単のため、文書１１１から単語を抽出する場合を例として説明する。
　図１０は、パラメータ設定画面生成部１８３がユーザとの対話処理によりパラメータの設定を行う際に表示する画面（以下、「パラメータ設定画面１０００」と称する。）の一例である。同図に示すように、パラメータ設定画面１０００は、特徴量評価設定欄１０１０、特徴量抽出状況表示欄１０２０、更新前後比較ボタン１０３０、および確定ボタン１０４０を有する。
　特徴量評価設定欄１０１０には、ユーザに確認を促す特徴量が、特徴量表示優先度テーブル１３２の特徴量表示優先度の高いものから順に表示される。同図に示すように、特徴量評価設定欄１０１０は、特徴量１０１１、重み１０１２、文章１０１３、および評価１０１４の各項目を有する複数のエントリで構成される。特徴量評価設定欄１０１０の１つのエントリは１つの特徴量に対応している。
　上記項目のうち、特徴量１０１１には、ユーザに確認を促す特徴量が表示される。重み１０１２には、当該特徴量に設定されている重みが表示される。ユーザは当該特徴量に設定されている重みを確認しながら、当該特徴量を評価することができる。重み１０１２の値は、ユーザが当該画面を利用して手動で変更することも可能である。
　文章１０１３には、当該特徴量による単語が抽出された１つ以上の文章（文書１１１の要素である文章）が表示される。文章１０１３の特徴量に相当する部分は強調表示（本例ではアンダーラインと斜体字）されており、ユーザは、文章における特徴量の位置を容易に把握することができる。
　評価１０１４には、当該特徴量について設定されている作用種別が表示される。過去に作用種別が設定されている特徴量については、評価１０１４に既に設定されている特徴量がデフォルト値として自動表示される。また、過去に作用種別が設定されていない特徴量については、例えば、評価１０１４に、パラメータ設定部１８０が特徴量表示優先度テーブル１３２の内容に基づき判定した作用種別がデフォルト値として表示される。例えば、正性らしさ１３２２が予め設定されている閾値を超える特徴量については「正性」が、負性らしさ１３２３が予め設定されている閾値を超える特徴量については「負性」が、中性らしさ１３２４が予め設定されている閾値を超える特徴量については「中性」が、デフォルト値として評価１０１４に表示される。尚、デフォルト値を自動的に判定する方法は必ずしも限定されない。評価１０１４の内容は、当該画面を利用してユーザが手動で変更することも可能である。ユーザは、例えば、プルダウンメニューとして表示される作用種別（「正性」、「負性」、「中性」）を操作して評価１０１４の内容を変更する。
　特徴量抽出状況表示欄１０２０には、特徴量評価設定欄１０１０に表示されている各特徴量の抽出の状況（様子）を示した情報が表示される。同図に示すように、特徴量抽出状況表示欄１０２０は、文書ＩＤ１０２１、抽出単語１０２２、抽出元文章１０２３、およびマッピング外特徴量１０２４の各項目を有する複数のエントリで構成される。特徴量抽出状況表示欄１０２０の１つのエントリは文書１１１から抽出された１つの単語に対応している。
　上記項目のうち、文書ＩＤ１０２１には、抽出元の文書の識別子である文書ＩＤ（本例では抽出元の文書のファイル名）が表示される。抽出単語１０２２には、特徴量評価設定欄１０１０に表示されている特徴量１０１１によって抽出された単語が表示される。
　抽出元文章１０２３には、当該単語の抽出元の文章が表示される。同図に示すように、抽出元文章１０２３の特徴量に相当する部分には、特徴量の重みに応じた文字飾り（実線アンダーライン、枠囲み、斜体字、破線アンダーライン、飾り無し）が付されている。尚、抽出元文章１０２３において文字飾りが付される特徴量は、後述するマッピング対象特徴量テーブル１４２に定義されている特徴量が対象となる。本例では、各特徴量に設定されている重み（効き方）の違いを文字飾りの種類を変えることで区別しているが、色分け等の他の方法で区別するようにしてもよい。
　本例では、文字飾りのうち、実線アンダーラインは、温度を示す単語を抽出するのに大きく作用する特徴量（正性特徴量）に付され、また、枠囲みは、温度を示す単語を抽出するのに作用する特徴量（正性特徴量）に付され、また、斜体字は、温度でない単語を抽出しないように作用する特徴量（負性特徴量）に付され、また、破線アンダーラインは、温度でない単語を抽出しないように大きく作用する特徴量（負性特徴量）に付され、また、飾り無しは、正性特徴量および負性特徴量のいずれにも該当しない特徴量（中性特徴量）に付される。
　マッピング外特徴量１０２４には、当該単語を抽出に寄与した他の特徴量（本例では文字数）が表示される。マッピング外特徴量１０２４に表示される他の特徴量の例として、例えば、「数字か文字か」、「英語か日本語か」、「ローマ字か漢字か」、「大文字か小文字か」がある。
　ユーザが更新前後比較ボタン１０３０を操作すると、パラメータ設定部１８０は、ユーザが変更操作を行う前の特徴量評価設定欄１０１０の内容と、ユーザが変更操作を行った後の特徴量評価設定欄１０１０の内容とを対比可能な状態で示した画面（以下、「更新前後対比画面１１００」と称する。）を表示する。
　図１１に、更新前後対比画面１１００の一例を示す。同図に示すように、例示する更新前後対比画面１１００は、更新前の特徴量評価設定欄１０１０の内容が表示される特徴量評価設定欄（更新前）１１１１と、更新前の特徴量評価設定欄１０１０の内容が表示される特徴量評価設定欄（更新後）１１１２とを有する。ユーザは、更新前後対比画面１１００を参照することで、自分がいずれの特徴量の評価や重みをどのように変更したのかを容易に確認することができる。尚、ユーザが特徴量の評価１０１４の内容を変更すると、特徴量表示優先度設定部１８２によって更新後の評価（作用種別）および重みに基づき特徴量表示優先度が再計算され、特徴量の表示順も更新される。
　図１０に戻り、ユーザが、確定ボタン１０４０を操作すると、パラメータ更新部１８５が、パラメータ設定画面１０００の設定内容（重み１０１２、評価１０１４）に基づきパラメータ更新情報１５２を生成し、生成したパラメータ更新情報１５２に基づき、単語／関連語抽出部１７１が用いるモデルのパラメータを更新する。尚、パラメータ更新部１８５が、パラメータ設定画面１０００の評価１０１４に基づき、対応する特徴量の重みを自動設定するようにしてもよい。その場合、各特徴量について自動設定する重みは、例えば、特徴量表示優先度テーブル１３２における夫々の正性らしさ１３２２、負性らしさ１３２３、中性らしさ１３２４に基づき設定する。
　以上のように、パラメータ設定画面１０００の特徴量評価設定欄１０１０には、特徴量１０１１とともに当該特徴量の抽出元の文章１０１３が表示されるので、ユーザは、特徴量について適切な評価１０１４を設定することができる。また、特徴量抽出状況表示欄１０２０には、特徴量評価設定欄１０１０に表示されている特徴量についての抽出状況に関する情報（抽出単語１０２２、抽出元文章１０２３、マッピング外特徴量１０２４）が表示されるので、ユーザは、単語の抽出に際し特徴量がどのように作用するのかを視覚的に確認することができ、機械学習についての知識や経験の少ないユーザであっても、これらの情報を参考にして特徴量を効率よく適切に設定することができる。そのため、例えば、機械学習については不慣れだが、対象とする情報分野に精通しているドメインユーザの豊富な知識や経験を有効に活用することができる。
　続いて、パラメータ設定画面１０００および更新前後対比画面１１００の生成に用いる各種テーブルの例を示す。
　図１２は、特徴量抽出元情報テーブル１２５の一例である。特徴量抽出元情報テーブル１２５には、特徴量の抽出元に関する情報が管理される。同図に示すように、特徴量抽出元情報テーブル１２５は、文書ＩＤ１２５１、単語１２５２、抽出元文章１２５３、単語始点１２５４、単語終点１２５５、特徴量１２５６、特徴量始点１２５７、および特徴量終点１２５８の各項目を有する複数のエントリ（レコード）で構成される。特徴量抽出元情報テーブル１２５の１つのエントリは１つの特徴量に対応している。
　上記項目のうち、文書ＩＤ１２５１には、当該特徴量の抽出元の文書の文書ＩＤが格納される。単語１２５２には、当該特徴量によって抽出された単語が格納される。抽出元文章１２５３には、当該単語の抽出元の文章が格納される。単語始点１２５４および単語終点１２５５には夫々、当該単語の文書における位置（始点、終点）が格納される。特徴量１２５６には、当該特徴量が格納される。特徴量始点１２５７および特徴量終点１２５８には夫々、当該抽出元の文章における当該特徴量の出現する位置（始点、終点）が格納される。
　図１３は、文字飾り定義テーブル１４１の一例である。文字飾り定義テーブル１４１には、特徴量の重みに応じた文字飾りを示す情報が管理される。文字飾り定義テーブル１４１の内容は、例えば、システム管理者やユーザが設定する。同図に示すように、文字飾り定義テーブル１４１は、重み１４１１と文字飾り１４１２の各項目を有する複数のレコードで構成される。重み１４１１には、重みの範囲を示す情報が格納される。また、文字飾り１４１２には文字飾りの種類を示す情報が格納される。
　図１４は、マッピング対象特徴量テーブル１４２の一例である。マッピング対象特徴量テーブル１４２には、パラメータ設定画面１０００の特徴量抽出状況表示欄１０２０の抽出元文章１０２３やマッピング外特徴量１０２４に表示される特徴量のうち、文字飾りを付す対象とする特徴量（対象特徴量１４２１）が管理される。マッピング対象特徴量テーブル１４２の内容は、例えば、システム管理者やユーザが設定する。
　図１５は、特徴量評価設定情報テーブル１４３の一例である。特徴量評価設定情報テーブル１４３には、パラメータ設定画面１０００の特徴量評価設定欄１０１０に表示する情報が管理される。同図に示すように、特徴量評価設定情報テーブル１４３は、特徴量１４３１、重み１４３２、抽出元文章１４３３、特徴量始点１４３４、特徴量終点１４３５、および評価１４３６の各項目を有する複数のエントリ（レコード）で構成される。特徴量評価設定情報テーブル１４３の１つのエントリは１つの特徴量に対応している。
　上記項目のうち特徴量１４３１には、評価の対象となる特徴量が格納される。重み１４３２には、当該特徴量の重みが格納される。抽出元文章１４３３には、当該特徴量の抽出元の文章が格納される。特徴量始点１４３４および特徴量終点１４３５には夫々、抽出元文章１４３３における当該特徴量の位置を示す情報（始点、終点）が格納される。評価１４３６には、前述したデフォルト値またはユーザが設定した評価（「正性」、「負性」、「中性」のいずれか）が設定される。
　図１６は、特徴量抽出状況表示テーブル１４４の一例である。特徴量抽出状況表示テーブル１４４には、パラメータ設定画面１０００の特徴量抽出状況表示欄１０２０に表示する情報が管理される。同図に示すように、特徴量抽出状況表示テーブル１４４は、文書ＩＤ１４４１、単語１４４２、抽出元文章１４４３、単語始点１４４４、単語終点１４４５、特徴量１４４６、特徴量始点１４４７、特徴量終点１４４８、重み１４４９、文字飾り１４５０、およびマッピング外特徴量１４５１の各項目を有する複数のレコードで構成される。特徴量抽出状況表示テーブル１４４の１つのエントリは文書１１１から抽出される１つの単語に対応している。
　文書ＩＤ１４４１には、当該単語（単語１４４２）の抽出元の文書１１１の文書ＩＤが格納される。単語１４４２には、当該特徴量（特徴量１４４６）によって抽出された単語が格納される。抽出元文章１４４３には、当該単語の抽出元の文章が格納される。単語始点１４４４および単語終点１４４５には、当該単語の抽出元文章１４４３における位置（始点、終点）が格納される。特徴量１４４６には、当該単語の抽出に用いた特徴量が格納される。特徴量始点１４４７および特徴量終点１４４８には夫々、抽出元文章１４４３における当該特徴量の位置を示す情報（始点、終点）が格納される。
　重み１４４９には、当該特徴量（特徴量１４４６）に設定されている重みが格納される。文字飾り１４５０には、当該特徴量の表示に際して付する文字飾りを示す情報が格納される。マッピング外特徴量１４５１には、当該単語の抽出に寄与した、マッピング対象特徴量テーブル１４２に定義されていない他の特徴量が格納される。
　続いて、特徴量評価設定情報テーブル１４３や特徴量抽出状況表示テーブル１４４の生成に際しパラメータ設定部１８０が行う処理について説明する。
　図１７は、パラメータ設定部１８０が、特徴量評価設定情報テーブル１４３の生成に際し行う処理（以下、「特徴量評価設定情報テーブル生成処理Ｓ１７００」と称する。）を説明するフローチャートである。以下、同図とともに特徴量評価設定情報テーブル生成処理Ｓ１７００について説明する。
　まず、パラメータ設定部１８０は、特徴量抽出元情報テーブル１２５と特徴量評価テーブル１２１を読み込む（Ｓ１７１１～Ｓ１７１２）。
　続いて、パラメータ設定部１８０は、特徴量評価テーブル１２１のエントリを１つ選択する（Ｓ１７１３）。
　続いて、パラメータ設定部１８０は、Ｓ１７１３で選択したエントリの特徴量に対応する特徴量抽出元情報テーブル１２５の抽出元文章１２５３を関連づけた内容を設定したエントリを特徴量評価設定情報テーブルに追加する（Ｓ１７１４）。
　続いて、パラメータ設定部１８０は、Ｓ１７１３で特徴量評価テーブルＳ１７１３の全てのエントリを選択済か否かを判定する（Ｓ１７１５）。全てのエントリを選択済でなければ（Ｓ１７１５：ＮＯ）、処理はＳ１７１３に戻り、未選択のエントリを選択して以上と同様の処理を行う。一方、全てのエントリを選択済であれば（Ｓ１７１５：ＹＥＳ）、特徴量評価設定情報テーブル生成処理Ｓ１７００は終了する。
　図１８は、パラメータ設定部１８０が、特徴量抽出状況表示テーブル１４４の生成に際し行う処理（以下、「特徴量抽出状況表示テーブル生成処理Ｓ１８００」と称する。）を説明するフローチャートである。以下、同図とともに特徴量抽出状況表示テーブル生成処理Ｓ１８００について説明する。
　まず、パラメータ設定部１８０は、特徴量抽出元情報テーブル１２５、特徴量評価テーブル１２１、文字飾り定義テーブル１４１、およびマッピング対象特徴量テーブル１４２を読み込む（Ｓ１８１１～Ｓ１８１４）。
　続いて、パラメータ設定部１８０は、特徴量抽出元情報テーブル１２５のエントリを１つ選択し、選択したエントリの内容を用いて特徴量抽出状況表示テーブル１４４にエントリを１つ追加する（Ｓ１８１５）。
　続いて、パラメータ設定部１８０は、追加したエントリの重み１４４９に、特徴量評価テーブル１２１の対応する特徴量の重みを格納する（Ｓ１８１６）。
　続いて、パラメータ設定部１８０は、追加したエントリの文字飾り１４５０に、文字飾り定義テーブル１４１におけるＳ１８１６で格納した重みに対応する文字飾りを格納する（Ｓ１８１７）。
　続いて、パラメータ設定部１８０は、マッピング対象特徴量テーブル１４２に、Ｓ１８１５で追加したエントリの特徴量１４４６と同じ特徴量があるか否かを判定する（Ｓ１８１８）。同じ特徴量があれば（Ｓ１８１８：ＹＥＳ）、パラメータ設定部１８０は、追加したエントリのマッピング外特徴量１４５１に空白を設定し、その後、処理はＳ１８２０に進む。同じ特徴量がなければ（Ｓ１８１８：ＮＯ）、パラメータ設定部１８０は、追加したエントリのマッピング外特徴量１４５１に当該特徴量を格納し（Ｓ１８１９）、その後、処理はＳ１８２０に進む。
　続いて、パラメータ設定部１８０は、Ｓ１８１５で特徴量抽出元情報テーブル１２５の全てのエントリを選択済か否かを判定する（Ｓ１８２０）。全てのエントリを選択済でなければ（Ｓ１８２０：ＮＯ）、処理はＳ１８１５に戻り、未選択のエントリを選択して以上と同様の処理を行う。一方、全てのエントリを選択済であれば（Ｓ１８１５：ＹＥＳ）、特徴量抽出状況表示テーブル生成処理Ｓ１８００は終了する。
　続いて、以上に説明した文書情報抽出システム１の構成に用いる情報処理装置（コンピュータ）について説明する。
　図１９は、文書情報抽出システム１の構成に用いる情報処理装置の一例である。同図に示すように、例示する情報処理装置１０は、プロセッサ１１、主記憶装置１２、補助記憶装置１３、入力装置１４、出力装置１５、および通信装置１６を備える。　
　文書情報抽出システム１は、例えば、通信可能に接続された複数の情報処理装置１０を用いて実現してもよい。また、情報処理装置１０は、その全部または一部が、例えば、クラウドシステムによって提供される仮想サーバのように、仮想化技術やプロセス空間分離技術等を用いて提供される仮想的な情報処理資源を用いて実現されるものであってもよい。また、情報処理装置１０によって提供される機能の全部または一部は、例えば、クラウドシステムがＡＰＩ（Application Programming Interface）等を介して提供するサービスによって実現してもよい。
　また、情報処理装置１０によって提供される機能の全部または一部は、例えば、ＳａａＳ（Software as a Service）、ＰａａＳ（Platform as a Service）、ＩａａＳ（Infrastructure as a Service）等を利用して実現されるものであってもよい。
　同図に示すプロセッサ１１は、例えば、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphics Processing Unit）、ＦＰＧＡ（Field Programmable Gate Array）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＡＩ（Artificial Intelligence）チップ等を用いて構成されている。
　主記憶装置１２は、プログラムやデータを記憶する装置であり、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、不揮発性メモリ（ＮＶＲＡＭ（Non Volatile RAM））等である。
　補助記憶装置１３は、例えば、ＳＳＤ（Solid State Drive）、ハードディスクドライブ、光学式記憶装置（ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）等）、ストレージシステム、ＩＣカード、ＳＤカードや光学式記録媒体等の記録媒体の読取／書込装置、クラウドサーバの記憶領域等である。補助記憶装置１３には、記録媒体の読取装置や通信装置１６を介してプログラムやデータを読み込むことができる。補助記憶装置１３に格納（記憶）されているプログラムやデータは主記憶装置１２に随時読み込まれる。
　入力装置１４は、外部からの入力を受け付けるインタフェースであり、例えば、キーボード、マウス、タッチパネル、カードリーダ、ペン入力方式のタブレット、音声入力装置等である。
　出力装置１５は、処理経過や処理結果等の各種情報を出力するインタフェースである。出力装置１５は、例えば、上記の各種情報を可視化する表示装置（液晶モニタ、ＬＣＤ（Liquid Crystal Display）、グラフィックカード等）、上記の各種情報を音声化する装置（音声出力装置（スピーカ等））、上記の各種情報を文字化する装置（印字装置等）である。尚、例えば、情報処理装置１０が通信装置１６を介して他の装置との間で情報の入力や出力を行う構成としてもよい。
　入力装置１４と出力装置１５は、ユーザとの間での対話処理（情報の受け付け、情報の提示等）を実現するユーザインタフェースを構成する。
　通信装置１６は、他の装置との間の通信を実現する装置である。通信装置１６は、通信ネットワーク５（ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）、インターネット、公衆通信網、専用線等）を介して他の装置との間の通信を実現する、有線方式または無線方式の通信インタフェースであり、例えば、ＮＩＣ（Network Interface Card）、無線通信モジュール、ＵＳＢモジュール等である。
　情報処理装置１０には、例えば、オペレーティングシステム、ファイルシステム、ＤＢＭＳ（DataBase Management System）（リレーショナルデータベース、ＮｏＳＱＬ等）、ＫＶＳ（Key-Value Store）等が導入されていてもよい。文書情報抽出システム１は、前述した各種の情報（データ）を、例えば、データベースのテーブルやファイルシステムが管理するファイルとして記憶する。
　文書情報抽出システム１が提供する各種の機能は、プロセッサ１１が、主記憶装置１２に格納されているプログラムを読み出して実行することにより、もしくは、文書情報抽出システム１を構成するハードウェア（ＦＰＧＡ、ＡＳＩＣ、ＡＩチップ等）自体によって実現される。また、文書情報抽出システム１の各種の機能は、例えば、テキストデータマイニング等の公知の各種データマイニング手法、公知の各種自然言語処理手法（形態素解析、構文解析、意味解析、文脈解析、特徴量抽出、単語分散表現、固有表現抽出、テキスト分類、系列ラベリング）、公知の各種機械学習手法（深層学習（ＤＮＮ（Deep Neural Network）、ＲＮＮ（Recurrent Neural Network）等）を用いて実現される。
　以上詳細に説明したように、本実施形態の文書情報抽出システム１は、パラメータ（特徴量、重み）の設定に際し、評価対象特徴量と、評価対象特徴量の抽出元の１つ以上の文章と、評価対象特徴量に設定されている重みとを表示しつつ、作用種別または重みの設定を受け付けるので、ユーザは、抽出元の文章や重みを確認しつつ（どのような特徴量にどのような設定がされているのかを確認しつつ）評価対象特徴量を効率よく適切に設定することができる。
　また、パラメータ設定画面１０００の特徴量評価設定欄１０１０の文章１０１３において評価対象特徴量の部分が強調表示されるので、ユーザは、評価対象特徴量が文書にどのように作用するのかを容易に確認することができる。
　また、パラメータ設定画面１０００の特徴量抽出状況表示欄１０２０の抽出元文章１０２３には、表示する文章の評価対象特徴量の部分が、作用種別ごとに区別した文字飾りや色等で強調表示されるので、ユーザは、作用種別ごとの評価対象特徴量の作用特性を認識しつつ、評価対象特徴量を効率よく適切に設定することができる。
　また、パラメータ設定画面１０００の特徴量抽出状況表示欄１０２０には、文書から抽出した単語が表示されるので、ユーザは、どのように特徴量が作用してどのような単語が抽出されるのかを認識しつつ、評価対象特徴量を効率よく適切に設定することができる。
　また、パラメータ設定画面１０００の特徴量抽出状況表示欄１０２０には、評価対象特徴量により文書から抽出した情報の抽出に作用した他の特徴量（マッピング外特徴量１０２４）も表示されるので、ユーザは、他の特徴量も参考にしつつ、評価対象特徴量を効率よく適切に設定することができる。
　このように、本実施形態の文書情報抽出システム１によれば、機械学習の方法により文書から有用な情報を抽出する際に用いるモデルの特徴量に関する設定を支援することができる。そのため、例えば、抽出しようとする情報の分野についての知識（ドメイン知識）は有しているが機械学習についての知識や経験が無い者でも、特徴量を効率よく適切に行うことができ、ドメインユーザの知識を有効に活用して特徴量を適切に設定することができる。
　以上、本発明の一実施形態について説明したが、本発明は上記の実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記実施形態の構成の一部について、他の構成の追加や削除、置換をすることが可能である。
　例えば、以上では、各種の処理が文書を単位として行われる場合を例として説明したが、処理の単位は必ずしも限定されず、本実施形態の文書情報抽出システム１は、文書に代え文章（１つ以上の文からなる文章）を単位としても同様の処理を行うことができる。
　また、以上では、文書情報抽出部１７０が、蓄積された文書１１１から機械学習のモデル（学習モデル）により情報を抽出し、抽出した情報をシステム管理者やユーザに提示する場合を示したが、例えば、システム管理者やユーザが定義した抽出ルールを用いて情報を抽出し、システム管理者やユーザに提示するようにしてもよい。その場合、例えば、図１０に示したパラメータ設定画面１０００において、マッピング外特徴量１０２４に、ルールにマッチしたか否かを示す情報を表示するようにしてもよい。
　また、上記の各構成、機能部、処理部、処理手段等は、それらの一部または全部を、例えば、集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリやハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。
　また、以上に説明した各情報処理装置の各種機能部、各種処理部、各種データベースの配置形態は一例に過ぎない。各種機能部、各種処理部、各種データベースの配置形態は、これらの装置が備えるハードウェアやソフトウェアの性能、処理効率、通信効率等の観点から最適な配置形態に変更し得る。
　また、前述した各種のデータを格納するデータベースの構成（スキーマ（Schema）等）は、リソースの効率的な利用、処理効率向上、アクセス効率向上、検索効率向上等の観点から柔軟に変更し得る。
１　文書情報抽出システム、１１０　記憶部、１１１　文書、１１２　初期辞書、１１３　単語／関連語辞書、１１４　単語／関連語、１１５　文書抽出情報、１２０　特徴量情報、１２１　特徴量評価テーブル、１２２　特徴量頻度テーブル、１２３　特徴量類似度テーブル、１２４　特徴量共起度テーブル、１２５　特徴量抽出元情報テーブル、１３１　表示優先度算出テーブル、１３２　特徴量表示優先度テーブル、１４０　パラメータ設定画面情報、１４１　文字飾り定義テーブル、１４２　マッピング対象特徴量テーブル、１４３　特徴量評価設定情報テーブル、１４４　特徴量抽出状況表示テーブル、１５２　パラメータ更新情報、１５５　現状パラメータ、１６０　文書管理部、１６１　辞書管理部、１７０　文書情報抽出部、１７１　単語／関連語抽出部、１７２　文書情報提示部、１８０　パラメータ設定部、１８１　特徴量情報生成部、１８２　特徴量表示優先度設定部、１８３　パラメータ設定画面生成部、１８４　パラメータ設定受付部、１８５　パラメータ更新部、１０００　パラメータ設定画面、１１００　更新前後対比画面、Ｓ１７００　特徴量評価設定情報テーブル生成処理、Ｓ１８００　特徴量抽出状況表示テーブル生成処理

Claims (15)

  1. 　情報処理装置を用いて構成され、
    　文書群を管理する文書管理部と、
    　機械学習のモデルを用いて前記文書群の文書から情報を抽出する文書情報抽出部と、
    　前記モデルのパラメータを構成する複数の特徴量と、前記特徴量の夫々について前記情報を抽出する際の作用の特性を示す情報である作用種別と、を記憶する記憶部と、
    　前記複数の特徴量のうち評価の対象とする特徴量である評価対象特徴量と、前記評価対象特徴量の抽出元の１つ以上の文章と、前記評価対象特徴量に現在設定されている重みと、を表示しつつ、前記評価対象特徴量の前記作用種別または前記重みの設定を受け付けるパラメータ設定受付部と、
    　受け付けた前記作用種別または前記重みに基づき前記パラメータを更新するパラメータ更新部と、
    　を備える、文書情報抽出システム。
  2. 　請求項１に記載の文書情報抽出システムであって、
    　前記作用種別は、前記特徴量が前記文書群から抽出すべき情報を抽出するように作用することを示す正性、前記特徴量が前記文書群から抽出すべきでない情報を抽出しないように作用することを示す負性、前記特徴量の作用が前記正性および前記負性のいずれにも該当しない中性、のうちの少なくともいずれかを含む、
    　文書情報抽出システム。
  3. 　請求項１に記載の文書情報抽出システムであって、
    　前記パラメータ設定受付部は、表示する前記文章の前記評価対象特徴量の部分を強調表示する、
    　文書情報抽出システム。
  4. 　請求項３に記載の文書情報抽出システムであって、
    　前記パラメータ設定受付部は、表示する前記文章における前記評価対象特徴量の部分を、前記評価対象特徴量の前記作用種別ごとに区別して強調表示する、
    　文書情報抽出システム。
  5. 　請求項４に記載の文書情報抽出システムであって、
    　前記パラメータ設定受付部は、表示する前記文章における前記評価対象特徴量の部分を、前記評価対象特徴量の前記作用種別ごとに異なる文字飾りもしくは異なる色を付すことにより区別して強調表示する、
    　文書情報抽出システム。
  6. 　請求項１に記載の文書情報抽出システムであって、
    　前記パラメータ設定受付部は、前記評価対象特徴量により前記文書から抽出した情報の抽出に作用した他の特徴量を更に表示する、
    　文書情報抽出システム。
  7. 　請求項１に記載の文書情報抽出システムであって、
    　前記パラメータ設定受付部は、前記評価対象特徴量により前記文書から抽出した情報を更に表示する、
    　文書情報抽出システム。
  8. 　請求項１に記載の文書情報抽出システムであって、
    　前記評価対象特徴量の夫々について、前記文書群における前記評価対象特徴量と前記作用種別が共通する他の前記特徴量との類似度、前記文書群における前記他の特徴量との共起度、前記評価対象特徴量に現在設定されている重み、および前記評価対象特徴量の前記文書群における出現頻度、のうちの少なくともいずれかに基づき前記評価対象特徴量を表示する優先度である特徴量表示優先度を求める特徴量表示優先度設定部と、
    　前記特徴量表示優先度に従って前記評価対象特徴量を表示しつつ前記評価対象特徴量の前記作用種別または前記重みの設定を受け付けるパラメータ設定受付部と、
    　を更に備える、文書情報抽出システム。
  9. 　請求項８に記載の文書情報抽出システムであって、
    　前記作用種別は、前記特徴量が前記文書群から抽出すべき情報を抽出するように作用することを示す正性、前記特徴量が前記文書群から抽出すべきでない情報を抽出しないように作用することを示す負性、前記特徴量の作用が前記正性および前記負性のいずれにも該当しない中性、のうちの少なくともいずれかを含む、
    　文書情報抽出システム。
  10. 　請求項９に記載の文書情報抽出システムであって、
    　前記特徴量表示優先度設定部は、前記正性の前記作用種別に分類されている前記評価対象特徴量について、前記文書群における、前記評価対象特徴量と作用種別が共通する他の特徴量との類似度が高く、前記他の特徴量との共起度が高く、現在設定されている重みが小さい程、前記特徴量表示優先度を高く設定する、
    　文書情報抽出システム。
  11. 　請求項９に記載の文書情報抽出システムであって、
    　前記特徴量表示優先度設定部は、前記負性の前記作用種別に分類されている前記評価対象特徴量について、前記文書群における、前記評価対象特徴量と作用種別が共通する他の特徴量との類似度が高く、前記他の特徴量との共起度が高く、現在設定されている重みが大きい程、前記特徴量表示優先度を高く設定する、
    　文書情報抽出システム。
  12. 　請求項９に記載の文書情報抽出システムであって、
    　前記特徴量表示優先度設定部は、前記中性の前記作用種別に分類されている前記評価対象特徴量について、前記文書群における、前記評価対象特徴量と作用種別が共通する他の特徴量との類似度が高く、前記他の特徴量との共起度が高く、現在設定されている重みが大きい程、前記特徴量表示優先度を高く設定する、
    　文書情報抽出システム。
  13. 　請求項１に記載の文書情報抽出システムであって、
    　前記情報は、単語または単語の関連語である、
    　文書情報抽出システム。
  14. 　情報処理装置が、
    　文書群を管理するステップ、
    　機械学習のモデルを用いて前記文書群の文書から情報を抽出するステップ、
    　前記モデルのパラメータを構成する複数の特徴量と、前記特徴量の夫々について前記情報を抽出する際の作用の特性を示す情報である作用種別と、を記憶するステップ、
    　前記複数の特徴量のうち評価の対象とする特徴量である評価対象特徴量と、前記評価対象特徴量の抽出元の１つ以上の文章と、前記評価対象特徴量に現在設定されている重みと、を表示しつつ、前記評価対象特徴量の前記作用種別または前記重みの設定を受け付けるステップ、および、
    　受け付けた前記作用種別または前記重みに基づき前記パラメータを更新するステップ、
    　を実行する、文書情報抽出方法。
  15. 　請求項１４に記載の文書情報抽出方法であって、
    　前記情報処理装置が、
    　前記評価対象特徴量の夫々について、前記文書群における前記評価対象特徴量と前記作用種別が共通する他の前記特徴量との類似度、前記文書群における前記他の特徴量との共起度、前記評価対象特徴量に現在設定されている重み、および前記評価対象特徴量の前記文書群における出現頻度、のうちの少なくともいずれかに基づき前記評価対象特徴量を表示する優先度である特徴量表示優先度を求めるステップ、および、
    　前記特徴量表示優先度に従って前記評価対象特徴量を表示しつつ前記評価対象特徴量の前記作用種別または前記重みの設定を受け付けるステップ、
    　を更に実行する、文書情報抽出方法。
PCT/JP2021/029973 2021-03-24 2021-08-17 文書情報抽出システム、および文書情報抽出方法 WO2022201578A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021-050108 2021-03-24
JP2021050108A JP2022148430A (ja) 2021-03-24 2021-03-24 文書情報抽出システム、および文書情報抽出方法

Publications (1)

Publication Number Publication Date
WO2022201578A1 true WO2022201578A1 (ja) 2022-09-29

Family

ID=83396663

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/029973 WO2022201578A1 (ja) 2021-03-24 2021-08-17 文書情報抽出システム、および文書情報抽出方法

Country Status (2)

Country Link
JP (1) JP2022148430A (ja)
WO (1) WO2022201578A1 (ja)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020170427A (ja) * 2019-04-05 2020-10-15 株式会社日立製作所 モデル作成支援方法、及びモデル作成支援システム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020170427A (ja) * 2019-04-05 2020-10-15 株式会社日立製作所 モデル作成支援方法、及びモデル作成支援システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
TERUYA ERI, KAZUHIDE AIKOH, TAKEUCHI TADASHI: "E-023: Dark Data Utilization for Improvements of Business Operations", FIT2019 18TH INFORMATION SCIENCE AND TECHNOLOGY FORUM PROCEEDINGS VOLUME 2 SELECTED PAPERS, INFORMATION PROCESSING SOCIETY OF JAPAN AND THE INSTITUTE OF ELECTRONICS, INFORMATION AND COMMUNICATION ENGINEERS, JP, vol. 2, 20 August 2019 (2019-08-20), jp, pages 241 - 242, XP055970627 *

Also Published As

Publication number Publication date
JP2022148430A (ja) 2022-10-06

Similar Documents

Publication Publication Date Title
Neal et al. Surveying stylometry techniques and applications
US20200320086A1 (en) Method and system for content recommendation
US10713571B2 (en) Displaying quality of question being asked a question answering system
US9483460B2 (en) Automated formation of specialized dictionaries
CN107038158B (zh) 对译语料库制作方法、装置、记录介质以及机器翻译系统
Kirsner et al. Record-based word recognition
US8473279B2 (en) Lemmatizing, stemming, and query expansion method and system
US10176890B2 (en) Segmenting and interpreting a document, and relocating document fragments to corresponding sections
US10180935B2 (en) Identifying multiple languages in a content item
JP2021518027A (ja) セマンティックテキストデータをタグとマッチングさせる方法、装置、及び命令を格納するコンピュータ読み取り可能な記憶媒体
US20220405484A1 (en) Methods for Reinforcement Document Transformer for Multimodal Conversations and Devices Thereof
Rizvi et al. Optical character recognition system for Nastalique Urdu-like script languages using supervised learning
Nasim et al. Sentiment analysis on Urdu tweets using Markov chains
CN109508441B (zh) 通过自然语言实现数据统计分析的方法、装置及电子设备
JP2019121139A (ja) 要約装置、要約方法、及び要約プログラム
Nasim et al. Cluster analysis of urdu tweets
Scharkow Content analysis, automatic
Liu et al. Extract Product Features in Chinese Web for Opinion Mining.
WO2022201578A1 (ja) 文書情報抽出システム、および文書情報抽出方法
Jamro Sindhi language processing: A survey
CN115066679B (zh) 一种提取专业领域内的自造术语的方法及系统
US11610062B2 (en) Label assignment model generation device and label assignment model generation method
EP4339829A1 (en) Synonym determination system and synonym determination method
CN116186211B (zh) 一种文本攻击性检测和转换的方法
US20210406472A1 (en) Named-entity classification apparatus and named-entity classification method

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21933179

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21933179

Country of ref document: EP

Kind code of ref document: A1