WO2015045155A1 - コーパス生成装置、コーパス生成方法、及びコーパス生成プログラム - Google Patents

コーパス生成装置、コーパス生成方法、及びコーパス生成プログラム Download PDF

Info

Publication number
WO2015045155A1
WO2015045155A1 PCT/JP2013/076545 JP2013076545W WO2015045155A1 WO 2015045155 A1 WO2015045155 A1 WO 2015045155A1 JP 2013076545 W JP2013076545 W JP 2013076545W WO 2015045155 A1 WO2015045155 A1 WO 2015045155A1
Authority
WO
WIPO (PCT)
Prior art keywords
attribute
reference word
corpus
unit
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/076545
Other languages
English (en)
French (fr)
Inventor
圭司 新里
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Rakuten Group Inc
Original Assignee
Rakuten Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Rakuten Inc filed Critical Rakuten Inc
Priority to JP2014508630A priority Critical patent/JP5576003B1/ja
Priority to US14/420,424 priority patent/US9645979B2/en
Priority to PCT/JP2013/076545 priority patent/WO2015045155A1/ja
Publication of WO2015045155A1 publication Critical patent/WO2015045155A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G06F40/103—Formatting, i.e. changing of presentation of documents
    • G06F40/117—Tagging; Marking up; Designating a block; Setting of attributes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/10—Text processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/253—Grammatical analysis; Style critique
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis

Definitions

  • One embodiment of the present invention relates to a corpus generation device, a corpus generation method, and a corpus generation program.
  • Patent Document 1 For example, a technique described in Patent Document 1 is known as a technique for automatically attaching a tag to a natural sentence such as a description of a product.
  • Patent Document 1 refers to dictionary data, extracts general-purpose specific expressions and semantic role words from an input document, estimates the sentence structure of the input document based on general-purpose specific expressions and semantic role words, There is described a sentence processing apparatus that assigns a semantic tag to an input document in accordance with rules defined in advance for the sentence structure.
  • a corpus generation device includes a web page acquisition unit that acquires a web page including explanatory text data related to a presentation target, and a reference word acquisition unit that acquires a reference word that is an attribute value related to the presentation target from the web page And a broader term that is higher than the reference word acquired by the reference word acquisition unit is extracted from the storage unit that stores the hierarchical relationship information representing the vertical relationship between the attribute values, and the explanatory word data includes the broader word.
  • an assigning unit that assigns an attribute tag corresponding to the reference word to a broader term included in the explanatory text data
  • an output unit that outputs the explanatory text data provided with the attribute tag by the assigning unit as corpus data And comprising.
  • a corpus generation method includes a web page acquisition step of acquiring a web page including explanatory text data related to a presentation target, and a reference word acquisition step of acquiring a reference word that is an attribute value related to the presentation target from the web page And a broader term that is higher than the reference word acquired in the reference word acquisition step is extracted from the storage unit that stores the hierarchical relationship information representing the vertical relationship between the attribute values, and the explanatory word data includes the broader word.
  • an adding step for assigning an attribute tag corresponding to the reference word to a broader term included in the explanatory text data
  • an output step for outputting the explanatory text data to which the attribute tag is given in the assigning step as corpus data And including.
  • a corpus generation program provides a computer, a web page acquisition unit that acquires a web page including explanatory text data related to a presentation target, and a reference that acquires a reference word that is an attribute value related to the presentation target from the web page
  • a broader word that is higher than the reference word acquired by the reference word acquisition unit is extracted from the word acquisition unit and the storage unit that stores the hierarchical relationship information indicating the vertical relationship between the attribute values, and the broader word is described in the explanatory text data. Is included, the attribute part corresponding to the reference word is added to the broader terms included in the explanatory text data, and the explanatory text data to which the attribute tag is assigned is output as corpus data Function as an output unit.
  • the attribute tag corresponding to the reference word is assigned to the broader word included in the explanatory text data.
  • the reference word is an attribute value related to the presentation target
  • the broader term is also an attribute value related to the presentation target.
  • by assigning an attribute tag to a broader term in the explanatory text data it is possible to suppress erroneous assignment of the attribute tag to a phrase that does not indicate the feature to be presented. Then, by outputting the explanatory text data to be presented to which the attribute tag is assigned in this way as corpus data, high-quality corpus data can be generated.
  • the adding unit when the reference word is included in the explanatory text data, the adding unit further adds an attribute tag corresponding to the reference word to the reference word included in the explanatory text data. Also good. According to such a form, an accurate attribute tag can be assigned to more attribute values to be presented in the explanatory text data.
  • the web page may further include an attribute list in which attribute names and attribute values related to the presentation target are associated, and the reference word acquisition unit may acquire the attribute value in the attribute list as a reference word.
  • the attribute value in the attribute list is highly likely to be an attribute value related to the presentation target. Therefore, according to this embodiment, an appropriate reference word can be acquired.
  • the reference word acquisition unit may use a syntax analyzer to search the explanatory text data for a highly probable phrase that is an attribute value related to the presentation target, and acquire the searched word as a reference word. According to such a form, a reference word can be acquired even from a web page that does not include an attribute list.
  • the hierarchical relation information has a tree structure with the attribute value as a node, and the assigning unit searches the partial tree with the reference word as a root node and does not have a branch from the hierarchical relation information.
  • the reference word is extracted with respect to the one or more attribute values included in the explanatory text data.
  • An attribute tag corresponding to may be further added.
  • the hierarchical relationship information hierarchically represents the vertical relationship between attribute values
  • the assigning unit is a case where a plurality of attribute values exist in a hierarchy immediately below the reference word in the hierarchical relationship information
  • an attribute tag corresponding to a reference word is further added to the one attribute value included in the explanatory text data. May be.
  • the attribute value is related to the presentation target. There is a high probability of being an attribute value. Therefore, according to this embodiment, an accurate attribute tag can be assigned to more attribute values to be presented in the explanatory text data.
  • the information processing apparatus may further include a presentation target information registration unit that stores a set of attribute names and attribute values related to the presentation target acquired from the corpus data output from the output unit in association with the web page. According to such a form, a combination of an attribute name and an attribute value can be used as a clue for searching for a presentation target.
  • a corpus generation device includes a corpus acquisition unit that acquires corpus data in which an attribute tag is assigned to an attribute value, and a reference that acquires a reference word that is an attribute value related to a presentation target from the corpus data.
  • a broader term that is higher than the reference word acquired by the reference word acquisition unit is extracted from the word acquisition unit and a storage unit that stores the hierarchical relationship information representing the vertical relationship between the attribute values, and the attribute is different from the broader word
  • the removal unit that removes the attribute tag attached to the attribute value different from the broader term from the corpus data, and the output that outputs the corpus data from which the attribute tag is removed by the removal unit A section.
  • a corpus generation method includes a corpus acquisition step of acquiring corpus data in which an attribute tag is assigned to an attribute value, and a reference for acquiring a reference word that is an attribute value related to a presentation target from the corpus data
  • a broader term that is higher than the reference word acquired in the reference word acquisition step is extracted from the storage unit that stores the hierarchical relationship information representing the hierarchical relationship between the word acquisition step and the attribute value, and an attribute different from the broader word
  • a removal step for removing the attribute tag attached to the attribute value different from the broader term from the corpus data, and an output for outputting the corpus data from which the attribute tag is removed in the removal step Steps.
  • a corpus generation program provides a computer with a corpus acquisition unit that acquires corpus data in which an attribute tag is assigned to an attribute value, and a reference word that is an attribute value related to a presentation target from the corpus data.
  • a broader term that is higher than the reference word acquired by the reference word acquisition unit is extracted from the reference word acquisition unit to be acquired and a storage unit that stores the hierarchical relationship information representing the vertical relationship between the attribute values.
  • a removal unit that removes the attribute tag given to the attribute value different from the broader term from the corpus data, and corpus data from which the attribute tag is removed by the removal unit It functions as an output unit that outputs.
  • the attribute tag given to the attribute value different from the broader word is removed from the corpus data.
  • the reference word is an attribute value related to the presentation target
  • the broader term is also an attribute value related to the presentation target.
  • the attribute value different from the broader term is not the attribute value related to the presentation target. For this reason, corpus data to which an attribute tag is accurately assigned can be generated by removing an attribute tag assigned to an attribute value different from the broader term included in the corpus data.
  • a corpus generation device includes a web page acquisition unit that acquires a web page including explanatory text data related to a presentation target, and dictionary data storage that stores dictionary data in which attribute names and attribute values are associated with each other.
  • a candidate extraction unit that extracts candidates for attribute values related to the presentation target included in the description data
  • a reference word acquisition unit that acquires a reference word that is an attribute value related to the presentation target from the web page
  • the attribute value From the storage unit that stores the hierarchical relationship information representing the hierarchical relationship of the above, a broader term that is higher than the reference word acquired by the reference word acquisition unit is extracted, and among the attribute value candidates included in the explanatory text data,
  • An attribute unit that assigns an attribute tag corresponding to an attribute value candidate to an attribute value candidate that matches the word, and outputs explanatory text data to which the attribute tag is assigned by the assigning unit as corpus data And an output section that, a.
  • a corpus generation method includes a web page acquisition step of acquiring a web page including explanatory text data related to a presentation target, and dictionary data storage that stores dictionary data in which attribute names and attribute values are associated with each other.
  • a candidate extraction step for extracting attribute value candidates related to the presentation target included in the description data a reference word acquisition step for acquiring a reference word that is an attribute value related to the presentation target from the web page, and the attribute value From the storage unit that stores the hierarchical relationship information representing the hierarchical relationship of the above, a broader term that is higher than the reference word acquired in the reference word acquisition step is extracted, and among the attribute value candidates included in the explanatory text data,
  • An assigning unit that assigns an attribute tag corresponding to an attribute value candidate to an attribute value candidate that matches the word, and an explanation that the attribute tag is assigned in the assigning step Comprising an output step of outputting the data as a corpus data.
  • a corpus generation program stores a computer, a web page acquisition unit that acquires a web page including explanatory text data related to a presentation target, and dictionary data in which attribute names and attribute values are associated with each other.
  • a candidate extraction unit that refers to the dictionary data storage unit and extracts candidate attribute values related to the presentation target included in the explanatory text data;
  • a reference word acquisition unit that acquires a reference word that is an attribute value related to the presentation target from the web page; From the storage unit that stores the hierarchical relationship information representing the hierarchical relationship between the attribute values, a broader term that is higher than the reference word acquired by the reference word acquisition unit is extracted, and candidate attribute values included in the explanatory text data are extracted.
  • the assigning unit that assigns the attribute tag corresponding to the attribute value candidate to the attribute value candidate that matches the broader term, and the explanatory text data to which the attribute tag is assigned by the assigning unit are copied.
  • An output unit for outputting as the path data, and to function.
  • the attribute tag corresponding to the reference word is given to the attribute value that matches the broader word among the candidate attribute values included in the explanatory text data.
  • the reference word is an attribute value related to the presentation target
  • the broader term is also an attribute value related to the presentation target.
  • an attribute value different from the reference word and its broader term is not an attribute value related to the presentation target.
  • the attribute tag corresponding to the attribute value candidate is assigned to the attribute value candidate that matches the broader word. It is possible to prevent an attribute tag from being erroneously assigned to a word that is not a value.
  • FIG. It is a figure which shows an example of up-and-down relationship information.
  • (A) is an example of the explanatory text data contained in a goods page
  • (b) is an example of the explanatory text data to which the attribute tag was provided.
  • (A) is an example of the explanatory text data contained in a goods page
  • (b) is an example of the explanatory text data to which the attribute tag was provided.
  • FIG. 1 is a diagram illustrating a functional configuration of a corpus generation device 1 according to the first embodiment.
  • the corpus generation device 1 includes a web page acquisition unit 12, a reference word acquisition unit 14, a grant unit 16, an output unit 18, and a product information registration unit (presentation target information registration unit) 20.
  • the corpus generation device 1 is a device that assigns an attribute tag to explanatory text data included in a web page related to a presentation target, and outputs the explanatory text provided with the attribute tag as corpus data.
  • the presentation object in the web page used for generation of corpus data is goods is explained, the presentation object is not limited to goods.
  • the corpus generation device 1 includes a CPU 101 that executes an operating system, application programs, and the like, a main storage unit 102 that includes a ROM and a RAM, and an auxiliary storage unit 103 that includes a hard disk.
  • Each function of the corpus generation device 1 shown in FIG. 1 reads predetermined software on the CPU 101 and the main storage unit 102, and controls the communication control unit 104, the input unit 105, the output unit 106, and the like under the control of the CPU 101.
  • the operation is realized by reading and writing data in the main storage unit 102 and the auxiliary storage unit 103. Data and databases necessary for processing are stored in the main storage unit 102 and the auxiliary storage unit 103.
  • the web page acquisition unit 12 is a functional element that acquires a product page (web page) including explanatory text data related to a product.
  • the web page acquisition unit 12 can access the product page storage unit 22 and acquires the product page stored in the product page storage unit 22.
  • the web page acquisition unit 12 outputs the acquired product page to the reference word acquisition unit 14.
  • the product page storage unit 22 is a functional element that stores product pages related to products sold on the electronic commerce site.
  • FIG. 3 is an example of a product page M1 stored in the product page storage unit 22.
  • the product page M1 includes a product image B1, explanation text data D1, and an attribute list L1.
  • the description sentence data D1 is character string data composed of natural sentences explaining the characteristics of the products sold on the product page M1.
  • the attribute list L1 is an attribute name A1 associated with a product and an attribute value V1 associated with each other.
  • the attribute name is an item name of the attribute
  • the attribute value is a specific attribute value.
  • the attribute list L1 is created by, for example, an operator of a store that sells products.
  • the reference word acquisition unit 14 is a functional element that acquires a reference word from the web page acquisition unit 12.
  • the reference word is a highly probable phrase that is an attribute value that represents the feature of the product, and is used as a reference for extracting the attribute value included in the description sentence data D1.
  • the reference word acquisition unit 14 may acquire the attribute value V1 as a reference word from the attribute list L1 included in the product page output from the web page acquisition unit 12.
  • the attribute value V1 included in the attribute list L1 is information registered by an operator of a store that sells products. Therefore, the attribute value V1 is a phrase that is very likely to be an attribute value that represents the characteristics of the product sold on the product page M1. is there.
  • the reference word acquisition unit 14 may acquire a reference word not from the attribute list L1 included in the product page M1 but from the explanatory text data D1 in the product page M1.
  • the reference word acquisition unit 14 extracts, as a reference word, an attribute value that has a high probability of being an attribute value representing the characteristics of the product from among the attribute values included in the explanatory text data D1 using a syntax analyzer.
  • the reference word acquisition unit 14 searches the description sentence data D1 for sentences and phrases in which attribute names and attribute values appear successively, and acquires the attribute values as reference words.
  • a sentence “the place of production is Burgundy” is detected in the explanatory text data D1
  • “burgundy” is detected as a reference word.
  • the reference word acquisition unit 14 represents an attribute, for example, “product” of “French” or “Chateau” of “Chateau Margaux”, and explained using a prefix and a suffix added to the attribute value.
  • a reference word may be acquired from sentence data.
  • the reference word acquisition unit 14 outputs information indicating the acquired reference word to the assigning unit 16.
  • the assigning unit 16 extracts a broader term that is an attribute value belonging to a higher hierarchy than the reference word acquired by the reference word acquiring unit 14 from the hierarchical relationship information stored in the hierarchical relationship information storage unit 24, and provides explanatory text data It is a functional element that gives an attribute tag corresponding to the reference word to the broader term included in D1.
  • the assigning unit 16 can access the vertical relationship information storage unit 24 and the tag information storage unit 26.
  • the hierarchical relationship information storage unit 24 stores hierarchical relationship information that hierarchically represents the conceptual vertical relationship between attribute values.
  • the hierarchical relationship here is a concept including an upper-lower relationship and a partial overall relationship.
  • the upper limit relation information has a tree structure having a plurality of hierarchies and having attribute values as nodes.
  • the hierarchical relation information stores attribute values that conceptually represent small categories as the hierarchy deepens.
  • FIG. 4 is an example conceptually showing the data structure of the hierarchical relationship information. In the upper limit relation data shown in FIG. 4, the attribute value “France” is stored in the highest hierarchy. In the lower hierarchy, attribute values “Burgundy”, “Bordeaux”, “Champagne”, etc., which are subdivisions of “France” are stored.
  • attribute value “Course de Nuit”, which is a subdivision of the attribute value “burgundy”, is stored in the lower hierarchy of the attribute value “burgundy”, and the attribute value “Marsane” is stored in the lower hierarchy.
  • attribute values “Saint Testev” and “Poyac”, which are sub-classes of “Bordeaux”, are stored in a lower hierarchy of the attribute value “Bordeaux”.
  • the attribute value “Italy” is stored in the highest hierarchy as a series independent of the series related to the attribute value “France”.
  • attribute values “Piedmont”, “Tuscany”, and the like indicating the subdivision of the attribute value “Italy” are stored.
  • the tag information storage unit 26 stores tag information in which attribute names and attribute values are associated.
  • FIG. 5 is a diagram illustrating an example of tag information. As shown in FIG. 5, the tag information does not have a hierarchical structure unlike the hierarchical relationship information, and a plurality of attribute values are associated with one attribute name.
  • “France, Italy, Burgundy, Côte de Nuit” and the like are associated with the attribute name “production center” as attribute values.
  • This tag information indicates that, for example, the phrases “France”, “Italy”, “Burgundy”, and “Côte de Nuits” are attribute values representing “origin”.
  • corresponding attribute values are also associated with the attribute names “type” and “product type”.
  • FIG. 6A is a diagram illustrating an example of the explanatory text data D2 included in the product page.
  • the explanatory note data D2 includes “France”, “Burgundy”, and “Piedmont” as phrases relating to the production area.
  • FIG. 6B is a diagram illustrating an example of the attribute list L2 included in the product page.
  • the attribute values included in the attribute list L2 are acquired by the reference word acquisition unit 14 described above and output to the assigning unit 16. In the following description, it is assumed that the reference word acquisition unit 14 outputs “burgundy” that is the attribute value V2 included in the attribute list L2 to the adding unit 16 as a reference word.
  • the assigning unit 16 searches for the reference word “burgundy” from the hierarchical relation information, and extracts broader terms belonging to a higher hierarchy than “burgundy”.
  • the attribute value “Burgundy” is included in the layer one level below the highest layer, and therefore the assigning unit 16 places “France” belonging to the upper layer of “Burgundy” as the upper level. Extract as a word.
  • the assigning unit 16 acquires an attribute name corresponding to the reference word “burgundy” with reference to the tag information stored in the tag information storage unit 26.
  • the attribute name “production center” is associated with the reference word “burgundy”.
  • the assigning unit 16 assigns an attribute tag indicating the attribute name corresponding to the reference word to the broader word included in the explanatory note data D2.
  • the assigning unit 16 may further add an attribute tag corresponding to the reference word to the reference word included in the explanatory text data D2.
  • the assigning unit 16 refers to the tag information storage unit 26 and assigns the attribute name “production center” corresponding to the reference word “burgundy” to the explanatory text data D2.
  • FIG. 6C is a diagram illustrating an example of the explanatory text data C2 to which the attribute tag is assigned by the assigning unit 16.
  • the explanatory text data C2 includes an attribute tag “ ⁇ Locality>... ⁇ / Locality>” indicating the attribute name “Locality” and the broader words “France” in the explanatory text data C2. It is attached to the reference word “Burgundy”.
  • the assigning unit 16 does not assign an attribute tag related to the production area to the phrase “Piemonte” included in the explanatory note data D2. This is because “Piedmont” is not a broad word or a reference word, and is therefore a phrase related to the place of production, but it is assumed that it is not an attribute value indicating the characteristics of the product.
  • the attribute tag indicating the attribute name is not necessarily acquired from the tag information storage unit 26.
  • the assigning unit 16 may acquire the attribute name A2 corresponding to the attribute value V2 serving as the reference word in the attribute list L2 as an attribute name, and assign an attribute tag indicating the attribute name to the reference word and the broader term.
  • the assigning unit 16 acquires the attribute name “production center” corresponding to the attribute value “Burgundy” in the attribute list L2. Then, the attribute tag corresponding to the attribute name “production center” is assigned to the broader term and the reference term in the explanatory text data D2.
  • the assigning unit 16 outputs the explanatory text data C ⁇ b> 2 to which the attribute tag is assigned as described above to the output unit 18.
  • the output unit 18 outputs the explanatory text data C2 with the attribute tag output from the assigning unit 16 to the corpus data storage unit 28 as corpus data.
  • the corpus data storage unit 28 is a functional element that stores the corpus data output from the output unit 18.
  • the product information registration unit 20 is a functional element that stores a product tag that is a set of attribute names and attribute values acquired from the corpus data output from the output unit 18 in association with the product page.
  • the product information registration unit 20 can access the corpus data storage unit 28 and the product information storage unit 30.
  • the product information storage unit 30 is a functional element that stores product information related to products sold by the virtual store.
  • FIG. 7 is a diagram illustrating an example of product information.
  • Each record of the product information shown in FIG. 7 includes a store ID of a virtual store that provides a product, a product ID that uniquely identifies the product, a product name, a category, a price, a URL of a product page, an inventory quantity, and a product tag. Yes.
  • the information included in the product information is not limited to these.
  • the merchandise information registration unit 20 acquires corpus data from the corpus data storage unit 28, and acquires a combination of an attribute name and an attribute value using an attribute tag attached to the corpus data. Then, a record of product information corresponding to the product page from which the corpus data is acquired is extracted, and a pair of an attribute name and an attribute value is registered in the product tag of the record. This product tag is used as a key for narrowing down the product page intended by the user from the electronic commerce site.
  • the corpus data stored in the corpus data storage unit 28 can be constructed, for example, by using machine learning for an analysis device that automatically generates an attribute list.
  • the attribute list can be automatically generated from the explanatory text data included in the product page.
  • the analysis apparatus can recognize a place where an attribute value of “production center” appears in the context.
  • the analysis device After applying machine learning using such corpus data CX, when the analysis device analyzes the explanatory text data D3 as shown in FIG. 8B, the analysis device has the structure and context of the sentence. From the above, it is detected that “Chile” is an attribute value representing “Origin”, and as shown in FIG. 8C, the tag “ ⁇ Origin> ... ⁇ / Origin>” is attached to the “Chile” part. Output data C3 can be generated.
  • the analysis apparatus can generate an attribute list in which the attribute name “production center” and the attribute value “Chile” are associated with each other based on the output data C3. As a result, even if the product page that includes the explanatory text data D3 does not have an attribute list, the product page may include an attribute list that associates the attribute name “origin” with the attribute value “Chile”. It becomes possible.
  • attribute tag adding process by the adding unit 16 can be modified in various ways. Below, the 1st modification of the provision part 16 is demonstrated.
  • the assigning unit 16 searches the subtree having the reference word as the root node and having no branch from the hierarchical relation information, and obtains one or more attribute values other than the reference word included in the subtree.
  • An attribute tag corresponding to the reference word is further added to one or more attribute values included in the explanatory text data.
  • FIG. 9 is a diagram illustrating another example of the vertical relationship information.
  • the assigning unit 16 sets “burgundy” as a root node and “burgundy”, “court de spray”, and “marsane” as nodes as subtrees having no branches.
  • the containing partial tree PT is extracted.
  • “Côte de Nuits” and “Marsane” are extracted by excluding the reference word “Burgundy”.
  • the assigning unit 16 acquires the attribute name “production center” corresponding to the reference word “burgundy” with reference to the tag information stored in the tag information storage unit 26.
  • the assigning unit 16 assigns the attribute tag “production center” to “Côtes de Nuits” and “Marsane”.
  • the assigning unit 16 assigns the attribute tag “production center” only to the reference word “Bordeaux” and its broader term “France” included in the explanatory text data.
  • the assigning unit 16 according to the second modification is a case where there are a plurality of attribute values in the hierarchy immediately below the reference word in the hierarchical relation information, and only one attribute value of the plurality of attribute values is described.
  • an attribute tag corresponding to the reference word is further added to the one attribute value included in the explanatory sentence data.
  • FIG. 10A is an example of explanatory text data D4 included in the product page.
  • the descriptive text data D4 includes “France”, “Bordeaux”, and “Saint-Testef” as phrases relating to the production area.
  • the assigning unit 16 searches for the attribute value belonging to the hierarchy immediately below the reference word “Bordeaux”.
  • two attribute values “Saint Testev” and “Poyac” exist in the lower hierarchy of “Bordeaux”.
  • the explanatory note data D4 includes only “San Testev”, which is one of the two attribute values.
  • FIG. 10B shows the explanatory text data C4 in which the attribute tag is added to the explanatory text data D4 by the adding unit 16 of the present modification.
  • the attribute tag “ ⁇ Locality>... ⁇ / Locality>” indicating the attribute name “Locality” has the broader words “France” in the explanatory text data C4.
  • FIG. 11A is another example of the explanatory text data included in the product page.
  • This descriptive text data D5 includes “France”, “Bordeaux”, “Saint Testev”, and “Poyac” as phrases relating to the production area.
  • This explanatory text data D5 includes both a plurality of attribute values “Saint Testev” and “Poyac” belonging to the hierarchy immediately below the reference word “Bordeaux”. In this case, since it is difficult to determine which of the “San Testev” and “Poyac” is the attribute value related to the product, the assigning unit 16 sets “San Testev” and “Poyac”.
  • FIG. 11B shows the explanatory text data C5 in which the attribute tag is added to the explanatory text data D5 by the adding unit 16 of the present modification.
  • the attribute tag “ ⁇ Locality>... ⁇ / Locality>” indicating the attribute name “Locality” is the broader term “France” and the standard in the explanatory text data C4. It is attached only to the word “Bordeaux”.
  • a sentence including “Saint Testev” and “poyac”, which are subordinate terms of the reference word “Bordeaux”, may not be included in the final corpus. This is to improve the quality of the corpus.
  • the web page acquisition unit 12 of the corpus generation device 1 acquires a web page including descriptive text data related to a product from the product page storage unit 22 (step S1, web page acquisition step).
  • the reference word acquisition part 14 acquires a reference word from the web page acquired in step S1 (step S2, reference word acquisition step).
  • the reference word can be acquired from an attribute list included in the web page.
  • the assigning unit 16 extracts, from the hierarchical relationship information stored in the hierarchical relationship information storage unit 24, broader terms that are attribute values belonging to a higher hierarchy than the reference word acquired in step S2 (step S3). .
  • the assigning unit 16 assigns an attribute tag corresponding to the reference word to the broader term included in the description text data of the product page (step S4, granting step). At this time, an attribute tag corresponding to the reference word may be attached to the reference word included in the description text data of the product page. Further, the assigning unit 16 searches the subtree having the reference word as the root node and having no branch from the hierarchical relation information, extracts one or more attribute values other than the reference word included in the subtree, and describes the explanatory text An attribute tag corresponding to the reference word may be further added to the one or more attribute values included in the data.
  • the assigning unit 16 is a case where a plurality of attribute values exist in the hierarchy immediately below the reference word in the hierarchical relationship information, and only one attribute value among the plurality of attribute values is included in the explanatory text data.
  • an attribute tag corresponding to the reference word may be further added to one attribute value included in the explanatory text data.
  • the output unit 18 stores the explanatory text data to which the attribute tag is assigned in step S4 in the corpus data storage unit 28 as corpus data (step S5, output step).
  • the corpus generation device 1 generates corpus data.
  • FIG. 13 is a diagram illustrating a configuration of the corpus generation program P1 according to the embodiment.
  • the computer can be operated as the corpus generation device 1 having the above functions.
  • the corpus generation program P1 includes a main module P2, a web page acquisition module P3, a reference word acquisition module P4, a grant module P5, an output module P6, and a product information registration module P7.
  • the main module P2 is a part that comprehensively controls processing.
  • the functions realized by executing the web page acquisition module P3, the reference word acquisition module P4, the grant module P5, the output module P6, and the product information registration module P7 are the web page acquisition unit 12 and the reference word acquisition unit, respectively. 14, the function of the granting unit 16, the output unit 18, and the product information registration unit 20.
  • the corpus generation program P1 is provided after being recorded on a tangible recording medium such as a CD-ROM, DVD-ROM, or semiconductor memory.
  • the corpus generation program P1 may be provided via the network N as a data signal superimposed on a carrier wave.
  • the reference word when the broader word of the reference word that is the attribute value related to the presentation target is included in the explanatory text data, the reference word is compared with the broader word included in the explanatory text data. An attribute tag corresponding to is attached.
  • the reference word is an attribute value related to the presentation target, it is inferred that the broader term is also an attribute value related to the presentation target. For this reason, by assigning an attribute tag to a broader term in the explanatory text data, it is possible to suppress erroneous assignment of the attribute tag to a phrase that does not indicate the feature to be presented.
  • the adding unit 16 further adds an attribute tag corresponding to the reference word to the reference word included in the description sentence data, it is accurate to attribute values of more products in the description sentence data. An attribute tag can be attached.
  • the reference word acquisition unit 14 acquires the attribute value in the attribute list as a reference word. Since the attribute value of the product in the attribute list is highly likely to be an attribute value related to the product, the corpus generation device 1 can acquire an appropriate reference word.
  • the corpus generation device 1A is a device that removes an attribute tag assigned to an attribute value different from the broader term from corpus data to which an attribute tag has already been assigned.
  • items that are different from the first embodiment will be mainly described, and description of items that are the same as or equivalent to those of the first embodiment will be omitted.
  • FIG. 14 is a diagram illustrating a functional configuration of the corpus generation device 1A.
  • the corpus generation device 1A includes a corpus acquisition unit 32, a reference word acquisition unit 14, a removal unit 36, an output unit 18, and a product information registration unit 20.
  • the corpus acquisition unit 32 is a functional element that acquires corpus data in which an attribute tag is assigned to an attribute value from the corpus data storage unit 28.
  • the corpus data acquired by the corpus acquisition unit 32 may be text data in which an attribute tag is added to an attribute value included in the explanatory text data, and includes explanatory text data and an attribute list. Web page data in which an attribute tag is assigned to an included attribute value may be used.
  • the reference word acquisition unit 14 is a functional element that acquires a reference word that is an attribute value related to a product from the corpus data acquired by the corpus acquisition unit 32.
  • the reference word acquisition unit 14 uses an attribute value as a reference word from the attribute list included in the corpus data. Can get.
  • the corpus data acquired by the corpus acquisition unit 32 is text data in which an attribute tag is added to an attribute value included in the explanatory text data
  • the reference word acquisition unit 14 uses a syntax analyzer.
  • an attribute value having a high probability that is an attribute value representing the characteristics of the product can be extracted as a reference word.
  • the removal unit 36 extracts a broader term that belongs to a higher rank than the reference word acquired by the reference word acquisition unit 14 from the hierarchical relationship information storage unit 24 that stores the hierarchical relationship information representing the hierarchical relationship between attribute values.
  • an attribute value different from a word is included in the corpus data, it is a functional element that removes an attribute tag attached to an attribute value different from the broader word from the corpus data.
  • the removing unit 36 may leave the attribute tag attached to the reference word without removing it from the corpus data.
  • the removal unit 36 removes the attribute tag from the corpus data.
  • the corpus data includes an attribute value different from the broader word and the reference word
  • the removal unit 36 removes the attribute tag given to the attribute value different from the broader word and the reference word from the corpus data.
  • FIG. 15A is a diagram illustrating an example of the corpus data C6a acquired by the corpus acquisition unit 32.
  • an attribute tag “ ⁇ production area>... ⁇ / Production area>” indicating an attribute name “production area” is attached to the phrases “France”, “Burgundy”, and “Piedmont” in the corpus data C6a.
  • the reference word acquisition unit 14 outputs “Burgundy” from the corpus data C6a as the reference word to the assigning unit 16.
  • the removal unit 36 searches the reference word “burgundy” from the hierarchical relation information, and extracts broader terms belonging to a higher hierarchy than “burgundy”.
  • the assigning unit 16 places “France” belonging to the upper hierarchy of “burgundy” as a higher rank. Extract as a word.
  • the removal unit 36 acquires a word / phrase having an attribute tag attached to the corpus data C6a, and searches for a word / phrase different from the broader word.
  • the removal unit 36 removes the attribute tag given to the phrase “Piedmont” included in the corpus data C6a.
  • FIG. 15B is a diagram illustrating an example of corpus data C6b from which the attribute tag has been removed by the removal unit 36.
  • the attribute tags given to the phrases “France” and “Burgundy” are maintained, but the attribute tags given to the phrase “Piedmont” are removed. Yes. This is because “Piedmont” is different from the broader term or the reference term, and it is assumed that it is not an attribute value indicating the feature of the product.
  • the removal unit 36 outputs the corpus data from which part of the attribute tag is removed to the output unit 18.
  • the output unit 18 outputs the corpus data output from the removal unit 36 to the corpus data storage unit 28 and updates the corpus data in the corpus data storage unit 28. Since the function of the merchandise information registration unit 20 is as described in the first embodiment, the description thereof is omitted.
  • the removal unit 36 searches a subtree having a reference word as a root node and having no branch from the hierarchical relation information, and obtains one or more attribute values other than the reference word included in the subtree.
  • the attribute tag extracted and assigned to the one or more attribute values may be left without being removed from the corpus data.
  • the removal unit 36 is a case where there are a plurality of attribute values in the hierarchy immediately below the reference word in the hierarchical relation information, and only one attribute value is included in the corpus data among the plurality of attribute values.
  • the attribute tag assigned to the one attribute value may be left without being removed from the corpus data.
  • the corpus acquisition unit 32 of the corpus generation device 1A acquires the corpus data in which the attribute tag is given to the attribute value from the corpus data storage unit 28 (step S11, corpus acquisition step).
  • the reference word acquisition unit 14 acquires a reference word from the corpus data acquired in step S1 (step S12).
  • the removal unit 36 extracts a broader term that is an attribute value belonging to a higher hierarchy than the reference word acquired in step S12 from the hierarchical relationship information stored in the hierarchical relationship information storage unit 24 (step S13). .
  • the removal unit 36 removes the attribute tag given to the attribute value different from the broader word from the corpus data (step S14, removal step). ). At this time, the removal unit 36 may leave the attribute tag attached to the reference word without removing it from the corpus data when an attribute value different from the reference word is included in the corpus data. Further, the removal unit 36 searches the subtree having the reference word as the root node and having no branch from the hierarchical relation information, extracts one or more attribute values other than the reference word included in the subtree, You may leave the attribute tag provided to the above attribute value, without removing it from corpus data.
  • the removal unit 36 is a case where a plurality of attribute values exist in the hierarchy immediately below the reference word in the hierarchical relation information, and only one attribute value is included in the corpus data among the plurality of attribute values.
  • the attribute tag assigned to the one attribute value may be left without being removed from the corpus data.
  • the output unit 18 stores the corpus data from which the attribute tag has been removed in step S14 in the corpus data storage unit 28 (step S15). As described above, the corpus generation device 1A generates updated corpus data.
  • the corpus generation program includes a main module, a corpus acquisition module, a reference word acquisition module, a removal module, an output module, and a product information registration module.
  • the main module is a part that controls the corpus generation program centrally.
  • the functions realized by executing the corpus acquisition module, reference word acquisition module, removal module, output module, and product information registration module are the corpus acquisition unit 32, reference word acquisition unit 14, removal unit 36, and output described above, respectively.
  • the functions of the unit 18 and the product information registration unit 20 are the same.
  • the corpus generation program according to the present embodiment can be distributed by various methods in the same manner as the corpus generation program P1 of the first embodiment.
  • the attribute tag given to the attribute value different from the broader word is detected from the corpus data. Removed.
  • the reference word is an attribute value related to a product
  • the broader term is also an attribute value related to the product.
  • an attribute value different from the reference word and its broader term is not an attribute value related to the product. For this reason, corpus data to which an attribute tag is accurately assigned can be generated by removing an attribute tag assigned to an attribute value different from the broader term included in the corpus data.
  • the corpus generation device 1B extracts attribute value candidates from the web page including the description data using dictionary data, and sets the attribute value candidates that match the broader word as attribute value candidates included in the description data. This is a device for attaching a tag.
  • items that are different from the first embodiment will be mainly described, and description of items that are the same as or equivalent to those of the first embodiment will be omitted.
  • FIG. 17 is a diagram illustrating a functional configuration of the corpus generation device 1B. As shown in FIG. 16, in addition to the web page acquisition part 12, the reference word acquisition part 14, the provision part 16, the output part 18, and the product information registration part 20, the candidate extraction part 42 is provided.
  • the candidate extraction unit 42 refers to a tag information storage unit (dictionary data storage unit) 26 that stores dictionary data in which attribute names and attribute values are associated with each other, and selects one or more attribute value candidates included in the explanatory text data. It is a functional element to be extracted.
  • the candidate extraction unit 42 can access the tag information storage unit 26. As described in the first embodiment, the tag information storage unit 26 stores tag information in which attribute names and attribute values are associated. In this embodiment, this tag information also functions as dictionary data.
  • the candidate extraction unit 42 extracts words / phrases that match the attribute values of the dictionary data from the description data, and sets the extracted words / phrases as candidates for attribute values related to the product. In addition, the candidate extraction unit 42 acquires attribute names corresponding to the extracted attribute value candidates from the dictionary data.
  • the candidate extraction unit 42 outputs the attribute value candidates and their attribute names to the assigning unit 16.
  • the assigning unit 16 extracts, from the hierarchical relation information storage unit 24, broader terms that belong higher than the reference words acquired by the reference word acquisition unit 14, and candidates for attribute values included in the explanatory sentence data Among these, an attribute tag corresponding to a candidate attribute value is assigned to a candidate attribute value that matches the broader term. On the other hand, no attribute tag is assigned to attribute value candidates that do not match the broader word among the attribute value candidates included in the explanatory text data.
  • the assigning unit 16 may further add an attribute tag corresponding to the candidate attribute value to the candidate attribute value that matches the reference word among the candidate attribute values included in the explanatory text data.
  • the assigning unit 16 attaches an attribute tag to the explanatory text data.
  • the assigning unit 16 assigns an attribute tag corresponding to an attribute value candidate to an attribute value candidate that matches a broader word or a reference word among attribute value candidates included in the explanatory text data.
  • FIG. 18A is a diagram illustrating an example of the explanatory text data D7 included in the product page.
  • the explanatory note data D7 includes “France”, “Burgundy”, and “Piedmont” as terms relating to the production area.
  • the reference word acquisition unit 14 acquires “Burgundy” from the product page as a reference word, and outputs this reference word to the assigning unit 16.
  • the candidate extraction unit 42 refers to the dictionary data stored in the tag information storage unit 26, and extracts one or more attribute value candidates included in the explanatory text data.
  • the candidate extraction unit 42 extracts the phrases “France”, “Burgundy”, and “Piedmont” included in the explanatory text data D7 as attribute value candidates.
  • the candidate extraction unit 42 refers to the dictionary data and acquires the attribute name “production center” corresponding to these words / phrases.
  • the assigning unit 16 searches for the reference word “burgundy” from the hierarchical relation information, and extracts broader terms belonging to a higher hierarchy than “burgundy”. In the hierarchical relation information shown in FIG. 4, since the reference word “burgundy” is included in the hierarchy one level below the highest hierarchy, the assigning unit 16 places “France” belonging to the upper hierarchy of “burgundy” as a higher rank. Extract as a word. Next, the assigning unit 16 selects an attribute value candidate that matches the broader word from the attribute value candidates.
  • the assigning unit 16 assigns an attribute tag indicating the attribute name “production center” to “France” and “Burgundy” that match the broader term or the reference word.
  • FIG. 18B is a diagram illustrating an example of the explanatory text data C7 to which the attribute tag is assigned by the grant unit 16.
  • attribute tags are assigned to the phrases “France” and “Burgundy”, and no attribute tag is assigned to the phrase “Piedmont”. This is because “Piedmont” does not match the broader term or the reference term, so it is assumed that it is not an attribute value indicating the feature of the product.
  • the assigning unit 16 searches for a subtree having a reference word as a root node and having no branch from the hierarchical relation information, and extracts one or more attribute values other than the reference word included in the subtree.
  • an attribute tag corresponding to the attribute value candidate may be further added to the attribute value that matches the one or more attribute values.
  • the assigning unit 16 is a case where a plurality of attribute values exist in a hierarchy immediately below the reference word in the hierarchical relationship information, and only one attribute value among the plurality of attribute values is included in the corpus data.
  • the attribute value corresponding to the attribute value candidate may be further added to the attribute value matching the one attribute value among the attribute value candidates included in the explanatory note data.
  • the granting unit 16 outputs the explanatory text data to which the attribute tag is given to the output unit 18.
  • the output unit 18 outputs the explanatory text data output from the assigning unit 16 to the corpus data storage unit 28 as corpus data.
  • the web page acquisition unit 12 of the corpus generation device 1B acquires a web page including descriptive text data about a product from the product page storage unit 22 (step S21).
  • the candidate extraction unit 42 refers to the tag information storage unit 26 that stores dictionary data, and extracts one or more attribute value candidates included in the explanatory text data (step S22, candidate extraction step).
  • the reference word acquisition part 14 acquires a reference word from the web page acquired in step S21 (step S23).
  • the assigning unit 16 extracts, from the hierarchical relationship information stored in the hierarchical relationship information storage unit 24, broader terms that are attribute values belonging to a higher hierarchy than the reference word acquired in step S23 (step S24). .
  • the assigning unit 16 assigns an attribute tag corresponding to the candidate attribute value to the attribute value that matches the broader word among the candidate attribute values included in the explanatory text data (step S25). At this time, when the attribute value that matches the reference word is included in the explanatory text data, the assigning unit 16 sets the attribute value that matches the reference word among the attribute value candidates included in the explanatory text data. An attribute tag corresponding to a value candidate may be further added.
  • the assigning unit 16 searches the subtree having the reference word as a root node and having no branch from the hierarchical relation information, extracts one or more attribute values other than the reference word included in the subtree, and explains Of the attribute value candidates included in the sentence data, an attribute tag corresponding to the attribute value candidate may be further added to the attribute value candidate that matches the one or more attribute values.
  • the assigning unit 16 is a case where a plurality of attribute values exist in the hierarchy immediately below the reference word in the hierarchical relationship information, and only one attribute value among the plurality of attribute values is included in the explanatory text data. In this case, an attribute tag corresponding to the attribute value candidate may be further added to the attribute value candidate that matches the attribute value among the attribute value candidates included in the explanatory text data.
  • the output unit 18 stores the explanatory text data to which the attribute tag is assigned in step S25 in the corpus data storage unit 28 (step S26).
  • the corpus generation device 1B generates corpus data.
  • the corpus generation program includes a main module, a web page acquisition module, a reference word acquisition module, an assignment module, an output module, a product information registration module, and a candidate extraction module.
  • the main module is a part that controls the corpus generation program centrally.
  • the functions realized by executing the web page acquisition module, reference word acquisition module, grant module, output module, product information registration module, and candidate extraction module are the web page acquisition unit 12 and reference word acquisition unit 14 described above, respectively.
  • the functions of the granting unit 16, the output unit 18, the product information registration unit 20, and the candidate extraction unit 42 are the same.
  • the corpus generation program according to the present embodiment can be distributed by various methods in the same manner as the corpus generation program P1 of the first embodiment.
  • the attribute tag corresponding to the reference word is assigned to the attribute value matching the broader word.
  • the reference word is an attribute value related to a product
  • the broader term is also an attribute value related to the product.
  • an attribute value different from the reference word and its broader term is not an attribute value related to the product.
  • the attribute value corresponding to the attribute value candidate is assigned to the attribute value candidate that matches the broader word among the attribute value candidates included in the explanatory text data. It is possible to prevent an attribute tag from being erroneously assigned to a word that is not.
  • an attribute tag is assigned to product description data included in a wine product page.
  • an attribute tag is assigned to product product description data related to a product different from wine. May be.
  • the corpus generation device 1 may add attribute tags other than the production area, such as “product type”, “type”, and “capacity”, to the explanatory text data.
  • the same attribute tag is assigned to the broader term, the reference word, etc. in the explanatory text data, but a different attribute tag may be assigned to each.
  • a different attribute tag may be assigned to each. For example, if the broader term is "France” and the reference word is "Burgundy”, an attribute tag related to the attribute name "country” is assigned to the broader word, and an attribute tag related to the attribute name "region” is assigned to the reference word May be given.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Document Processing Apparatus (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

　実施形態に係るコーパス生成装置は、ウェブページ取得部、基準語取得部、付与部及び出力部を備える。ウェブページ取得部は、提示対象に関する説明文データを含むウェブページを取得する。基準語取得部は、ウェブページから提示対象に関する属性値である基準語を取得する。付与部は、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得部により取得された基準語よりも上位に属する上位語を抽出し、説明文データに含まれる上位語に対して、基準語に対応する属性タグを付与する。出力部は、付与部により属性タグが付与された説明文データをコーパスデータとして出力する。

Description

コーパス生成装置、コーパス生成方法、及びコーパス生成プログラム
　本発明の一形態は、コーパス生成装置、コーパス生成方法、及びコーパス生成プログラムに関する。
　電子商取引サイトでは、提示対象である商品の特徴等を記載した商品の説明文を含む商品ページがユーザに対して提示される。従来から、商品の説明文に含まれる商品の特徴を示す語句にタグを自動的に付与してコーパスデータを生成することが試みられている。このようなコーパスデータによれば、タグを手がかりとして機械処理することにより商品に関する構造化されたデータを自動生成することが可能となる。
　商品の説明文等の自然文に対して自動的にタグを付与する技術として、例えば特許文献１に記載の技術が知られている。特許文献１には、辞書データを参照して入力文書から汎用的な固有表現及び意味役割語を抽出し、汎用的な固有表現及び意味役割語に基づいて入力文書の文章構造を推定すると共に、文章構造に対して予め定義されているルールに従い入力文書に意味タグの付与を行う文章処理装置が記載されている。
特開２００７－９４８５５号公報
　しかし、特許文献１に記載の技術では、辞書を参照して文章に含まれる固有表現及び意味役割語等の語句を抽出している。このため、特許文献１に記載の技術を用いて提示対象の説明文にタグを付与しようとした場合、提示対象の説明文の内容によっては提示対象の特徴を示すものでない語句に対して誤って属性タグを付与してしまい、その結果、コーパスデータの品質を低下させてしまう場合がある。したがって、提示対象の特徴を示すものではない語句に対して属性タグを誤って付与することを抑制することができる技術が要請されている。
　本発明の一側面に係るコーパス生成装置は、提示対象に関する説明文データを含むウェブページを取得するウェブページ取得部と、ウェブページから提示対象に関する属性値である基準語を取得する基準語取得部と、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得部により取得された基準語よりも上位に属する上位語を抽出し、説明文データに上位語が含まれる場合には、説明文データに含まれる上位語に対して、基準語に対応する属性タグを付与する付与部と、付与部により属性タグが付与された説明文データをコーパスデータとして出力する出力部と、を備える。
　本発明の一側面に係るコーパス生成方法は、提示対象に関する説明文データを含むウェブページを取得するウェブページ取得ステップと、ウェブページから提示対象に関する属性値である基準語を取得する基準語取得ステップと、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得ステップにおいて取得された基準語よりも上位に属する上位語を抽出し、説明文データに上位語が含まれる場合には、説明文データに含まれる上位語に対して、基準語に対応する属性タグを付与する付与ステップと、付与ステップにおいて属性タグが付与された説明文データをコーパスデータとして出力する出力ステップと、を含む。
　本発明の一側面に係るコーパス生成プログラムは、コンピュータを、提示対象に関する説明文データを含むウェブページを取得するウェブページ取得部と、ウェブページから提示対象に関する属性値である基準語を取得する基準語取得部と、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得部により取得された基準語よりも上位に属する上位語を抽出し、説明文データに上位語が含まれる場合には、説明文データに含まれる上位語に対して、基準語に対応する属性タグを付与する付与部と、付与部により属性タグが付与された説明文データをコーパスデータとして出力する出力部と、して機能させる。
　上記形態によれば、説明文データに提示対象に関する属性値である基準語の上位語が含まれる場合には、説明文データに含まれる上位語に対して基準語に対応する属性タグが付与される。基準語が提示対象に関する属性値である場合には、その上位語も提示対象に関する属性値であることが推認される。このため、説明文データ内の上位語に対して属性タグを付与することにより、提示対象の特徴を示すものではない語句に対して誤って属性タグを付与することを抑制することができる。そして、このように属性タグが付与された提示対象の説明文データをコーパスデータとして出力することにより、品質の高いコーパスデータを生成することができる。
　一形態では、付与部は、前記説明文データに前記基準語が含まれる場合には、前記説明文データに含まれる前記基準語に対して、該基準語に対応する属性タグを更に付与してもよい。このような形態によれば、説明文データ中のより多くの提示対象の属性値に正確な属性タグを付与することができる。
　一形態では、ウェブページは、提示対象に関する属性名と属性値とが対応付けられた属性リストを更に含み、基準語取得部は、属性リストにおける属性値を基準語として取得してもよい。属性リストにおける属性値は、提示対象に関する属性値である蓋然性が高い。したがって、本形態によれば適切な基準語を取得することができる。
　一形態では、基準語取得部は、構文解析器を用いて、説明文データから提示対象に関する属性値である蓋然性が高い語句を検索し、検索された語句を基準語として取得してもよい。このような形態によれば、属性リストを含まないウェブページからでも基準語を取得することができる。
　一形態では、上下関係情報は、属性値をノードとする木構造をなし、付与部は、上下関係情報から基準語をルートノードとし、且つ分岐を有しない部分木を検索して、該部分木に含まれる基準語以外の１以上の属性値を抽出し、説明文データに１以上の属性値が含まれる場合には、説明文データに含まれる該１以上の属性値に対して、基準語に対応する属性タグを更に付与してもよい。基準語が提示対象に関する属性値である場合には、分岐を有しない部分木に含まれる属性値も提示対象に関する属性値であることが推認される。したがって、本形態によれば、説明文データ中のより多くの提示対象の属性値に正確な属性タグを付与することができる。
　一形態では、上下関係情報は、属性値間の上下関係を階層的に表しており、付与部は、上下関係情報において基準語の直下の階層に複数の属性値が存在する場合であって、該複数の属性値の内、一の属性値のみが説明文データに含まれる場合には、説明文データに含まれる該一の属性値に対して、基準語に対応する属性タグを更に付与してもよい。基準語の直下の階層に複数の属性値が存在する場合であっても、説明文に当該複数の属性値のうちの１つのみが含まれている場合には、当該属性値は提示対象に関する属性値である蓋然性が高い。したがって、本形態によれば、説明文データ中のより多くの提示対象の属性値に、正確な属性タグを付与することができる。
　一形態では、出力部から出力されたコーパスデータから取得される提示対象に関する属性名と属性値との組をウェブページに関連付けて記憶する提示対象情報登録部を更に備えてもよい。このような形態によれば、属性名と属性値との組を提示対象の検索の手がかりとして利用することができる。
　本発明の別の側面に係るコーパス生成装置は、属性値に対して属性タグが付与されたコーパスデータを取得するコーパス取得部と、コーパスデータから提示対象に関する属性値である基準語を取得する基準語取得部と、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得部により取得された基準語よりも上位に属する上位語を抽出し、上位語とは異なる属性値がコーパスデータに含まれている場合に、上位語とは異なる属性値に付与された属性タグをコーパスデータから除去する除去部と、除去部により属性タグが除去されたコーパスデータを出力する出力部と、を備える。
　本発明の別の側面に係るコーパス生成方法は、属性値に対して属性タグが付与されたコーパスデータを取得するコーパス取得ステップと、コーパスデータから提示対象に関する属性値である基準語を取得する基準語取得ステップと、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得ステップにおいて取得された基準語よりも上位に属する上位語を抽出し、上位語とは異なる属性値がコーパスデータに含まれている場合に、上位語とは異なる属性値に付与された属性タグをコーパスデータから除去する除去ステップと、除去ステップにおいて属性タグが除去されたコーパスデータを出力する出力ステップと、を含む。
　本発明の別の側面に係るコーパス生成プログラムは、コンピュータを、属性値に対して属性タグが付与されたコーパスデータを取得するコーパス取得部と、コーパスデータから提示対象に関する属性値である基準語を取得する基準語取得部と、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得部により取得された基準語よりも上位に属する上位語を抽出し、上位語とは異なる属性値がコーパスデータに含まれている場合に、上位語とは異なる属性値に付与された属性タグをコーパスデータから除去する除去部と、除去部により属性タグが除去されたコーパスデータを出力する出力部と、して機能させる。
　上記形態によれば、上位語とは異なる属性値がコーパスデータに含まれている場合には、上位語とは異なる属性値に付与された属性タグがコーパスデータから除去される。基準語が提示対象に関する属性値である場合には、その上位語も提示対象に関する属性値であることが推認される。反対に、上位語とは異なる属性値は提示対象に関する属性値ではないと推認される。このため、コーパスデータに含まれる上位語とは異なる属性値に付与された属性タグを除去することにより、正確に属性タグが付与されたコーパスデータを生成することができる。
　本発明の別の側面に係るコーパス生成装置は、提示対象に関する説明文データを含むウェブページを取得するウェブページ取得部と、属性名と属性値とが関連付けられた辞書データを記憶する辞書データ記憶部を参照し、説明文データに含まれる提示対象に関する属性値の候補を抽出する候補抽出部と、ウェブページから提示対象に関する属性値である基準語を取得する基準語取得部と、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得部により取得された基準語よりも上位に属する上位語を抽出し、説明文データに含まれる属性値の候補の内、上位語と一致する属性値の候補に属性値の候補に対応する属性タグを付与する付与部と、付与部により属性タグが付与された説明文データをコーパスデータとして出力する出力部と、を備える。
　本発明の別の側面に係るコーパス生成方法は、提示対象に関する説明文データを含むウェブページを取得するウェブページ取得ステップと、属性名と属性値とが関連付けられた辞書データを記憶する辞書データ記憶部を参照し、説明文データに含まれる提示対象に関する属性値の候補を抽出する候補抽出ステップと、ウェブページから提示対象に関する属性値である基準語を取得する基準語取得ステップと、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得ステップにおいて取得された基準語よりも上位に属する上位語を抽出し、説明文データに含まれる属性値の候補の内、上位語と一致する属性値の候補に属性値の候補に対応する属性タグを付与する付与部と、付与ステップにおいて属性タグが付与された説明文データをコーパスデータとして出力する出力ステップと、を含む。
　本発明の別の側面に係るコーパス生成プログラムは、コンピュータを、提示対象に関する説明文データを含むウェブページを取得するウェブページ取得部と、属性名と属性値とが関連付けられた辞書データを記憶する辞書データ記憶部を参照し、説明文データに含まれる提示対象に関する属性値の候補を抽出する候補抽出部と、ウェブページから提示対象に関する属性値である基準語を取得する基準語取得部と、属性値間の上下関係を表す上下関係情報を記憶する記憶部から、基準語取得部により取得された基準語よりも上位に属する上位語を抽出し、説明文データに含まれる属性値の候補の内、上位語と一致する属性値の候補に属性値の候補に対応する属性タグを付与する付与部と、付与部により属性タグが付与された説明文データをコーパスデータとして出力する出力部と、して機能させる。
　上記の形態によれば、説明文データに含まれる属性値の候補の内、上位語と一致する属性値に基準語に対応する属性タグが付与される。基準語が提示対象に関する属性値である場合には、その上位語も提示対象に関する属性値であることが推認される。反対に、基準語及びその上位語とは異なる属性値は提示対象に関する属性値ではないと推認される。本形態では、説明文データに含まれる属性値の候補の内、上位語と一致する属性値の候補に対して、当該属性値の候補に対応する属性タグが付与されるので、提示対象に関する属性値ではない語句に対して誤って属性タグが付与されることを防止することができる。
　本発明の一側面によれば、提示対象の特徴を示すものではない語句に対して属性タグを誤って付与することを抑制することができる。
第１実施形態に係るコーパス生成装置の機能構成を示す図である。 図１に示すコーパス生成装置のハードウェア構成を示す図である。 商品ページの一例を示す図である。 上下関係情報の一例を示す図である。 タグ情報の一例を示す図である。 （ａ）は商品ページに含まれる説明文データの一例であり、（ｂ）は属性リストの一例であり、（ｃ）は出力部により出力されたコーパスデータの一例を示す図である。 商品情報の一例を示す図である。 （ａ）は機械学習の対象となるコーパスデータの一例であり、（ｂ）は解析の対象となる説明文データの一例であり、（ｃ）は属性タグが付与された説明文データの一例を示す図である。 上下関係情報の一例を示す図である。 （ａ）は商品ページに含まれる説明文データの一例であり、（ｂ）は属性タグが付与された説明文データの一例である。 （ａ）は商品ページに含まれる説明文データの一例であり、（ｂ）は属性タグが付与された説明文データの一例である。 第１実施形態に係るコーパス生成方法の処理を示すフロー図である。 第１実施形態に係るコーパス生成プログラムの構成を示す図である。 第２実施形態に係るコーパス生成装置の機能構成を示す図である。 （ａ）はコーパスデータの一例であり、（ｂ）は更新されたコーパスデータの一例である。 第２実施形態に係るコーパス生成方法の処理を示すフロー図である。 第３実施形態に係るコーパス生成装置の機能構成を示す図である。 （ａ）は商品ページに含まれる説明文データの一例であり、（ｂ）は属性タグが付与された説明文データの一例である。 第３実施形態に係るコーパス生成方法の処理を示すフロー図である。
　以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。
（第１実施形態）
　図１は、第１実施形態に係るコーパス生成装置１の機能的構成を示す図である。図１に示すように、コーパス生成装置１はウェブページ取得部１２、基準語取得部１４、付与部１６、出力部１８及び商品情報登録部（提示対象情報登録部）２０を備えている。コーパス生成装置１は、提示対象に関するウェブページに含まれる説明文データに対して属性タグを付与し、属性タグが付与された説明文をコーパスデータとして出力する装置である。以下では、コーパスデータの生成に用いるウェブページにおける提示対象が商品である場合について説明するが、提示対象は商品に限定されない。
　このコーパス生成装置１は、図２に示すように、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ１０１と、ＲＯＭ及びＲＡＭで構成される主記憶部１０２と、ハードディスクなどで構成される補助記憶部１０３と、ネットワークカードなどで構成される通信制御部１０４と、キーボードやマウスなどの入力部１０５と、モニタなどの出力部１０６とで構成される。図１に示すこのコーパス生成装置１の各機能は、ＣＰＵ１０１や主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力部１０５、出力部１０６などを動作させ、主記憶部１０２や補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２や補助記憶部１０３内に格納される。
　ウェブページ取得部１２は、商品に関する説明文データを含む商品ページ（ウェブページ）を取得する機能要素である。ウェブページ取得部１２は、商品ページ記憶部２２にアクセス可能とされており、商品ページ記憶部２２に記憶されている商品ページを取得する。ウェブページ取得部１２は、取得した商品ページを基準語取得部１４に出力する。
　商品ページ記憶部２２は、電子商取引サイトにおいて販売される商品に関する商品ページを記憶している機能要素である。図３は、商品ページ記憶部２２に記憶されている商品ページＭ１の一例である。商品ページＭ１は、商品画像Ｂ１、説明文データＤ１及び属性リストＬ１を含む。説明文データＤ１は、商品ページＭ１において販売される商品の特徴等を説明した自然文からなる文字列データである。属性リストＬ１は、商品に関する属性名Ａ１と属性値Ｖ１とを対応付けたものである。ここで、属性名とは属性の項目名であり、属性値とは具体的な属性の値である。属性リストＬ１は、例えば商品を販売する店舗の運営者により作成される。
　基準語取得部１４は、ウェブページ取得部１２から基準語を取得する機能要素である。基準語とは、商品の特徴を表す属性値である蓋然性が高い語句であり、説明文データＤ１に含まれる属性値を抽出するための基準として用いられる。一実施形態では、基準語取得部１４は、ウェブページ取得部１２から出力された商品ページに含まれる属性リストＬ１から属性値Ｖ１を基準語として取得し得る。属性リストＬ１に含まれる属性値Ｖ１は、商品を販売する店舗の運営者によって登録された情報であるので、商品ページＭ１で販売される商品の特徴を表す属性値である蓋然性が極めて高い語句である。
　なお、基準語取得部１４は、商品ページＭ１に含まれる属性リストＬ１からではなく、商品ページＭ１内の説明文データＤ１から基準語を取得してもよい。この場合には、基準語取得部１４は、構文解析器を用いて、説明文データＤ１に含まれる属性値のうち、商品の特性を表す属性値である蓋然性が高い属性値を基準語として抽出する。例えば、基準語取得部１４は、属性名及び属性値が連続して現れる文や語句を説明文データＤ１から検索し、その属性値を基準語として取得する。一例としては、説明文データＤ１に「産地はブルゴーニュです。」という文を検出した場合には、「ブルゴーニュ」を基準語として検出する。また、基準語取得部１４は、例えば「フランス産」の「産」や「シャトーマルゴー」の「シャトー」というように、属性を表し、属性値に付加される接頭辞、接尾辞を用いて説明文データから基準語を取得してもよい。基準語取得部１４は、取得した基準語を示す情報を付与部１６に出力する。
　付与部１６は、上下関係情報記憶部２４に記憶される上下関係情報から、基準語取得部１４により取得された基準語よりも上位階層に属する属性値である上位語を抽出し、説明文データＤ１に含まれる上位語に対して、基準語に対応する属性タグを付与する機能要素である。付与部１６は、上下関係情報記憶部２４及びタグ情報記憶部２６にアクセス可能とされている。
　上下関係情報記憶部２４は、属性値間の概念的な上下関係を階層的に表す上下関係情報を記憶している。ここでいう上下関係とは、上位下位関係及び部分全体関係を含む概念である。上限関係情報は複数の階層を有し、属性値をノードとする木構造を有している。上下関係情報には階層が深くなるにつれて概念的に小さい区分を表す属性値が格納されている。図４は、上下関係情報のデータ構造を概念的に示す一例である。図４に示す上限関係データでは、最上位の階層に属性値「フランス」が格納されている。その下位階層には「フランス」の下位区分である属性値「ブルゴーニュ」、「ボルドー」、「シャンパーニュ」等が格納されている。更に、属性値「ブルゴーニュ」の下位階層には属性値「ブルゴーニュ」の下位区分である属性値「コート・ド・ニュイ」が格納されており、その下位階層には属性値「マルサネ」が格納されている。また、属性値「ボルドー」の下位階層には「ボルドー」の下位区分である属性値「サン・テステフ」、「ポイヤック」が格納されている。また、図４に示す上限関係データでは、属性値「フランス」に関する系列とは独立する系列として、最上位の階層に属性値「イタリア」が格納されている。その下位階層には属性値「イタリア」の下位区分を示す属性値「ピエモンテ」、「トスカーナ」等が格納されている。
　タグ情報記憶部２６は、属性名と属性値が関連付けられたタグ情報を記憶している。図５は、タグ情報の一例を示す図である。図５に示すように、タグ情報は、上下関係情報とは異なり階層構造を有しておらず、一の属性名に複数の属性値が関連付けられている。図５に示すタグ情報では、属性名「産地」に属性値として「フランス、イタリア、ブルゴーニュ、コート・ド・ニュイ」等が関連付けられている。このタグ情報は、例えば「フランス」、「イタリア」、「ブルゴーニュ」、「コート・ド・ニュイ」という語句が「産地」を表す属性値であることを示している。また、図５に示すタグ情報では、属性名「タイプ」、「品種」に対しても対応する属性値が関連付けられている。
　以下、図４～６を参照して、付与部１６が説明文データに対して属性タグを付与する例を具体的に説明する。
　図６（ａ）は、商品ページに含まれる説明文データＤ２の一例を示す図である。説明文データＤ２は、産地に関する語句として「フランス」、「ブルゴーニュ」及び「ピエモンテ」を含んでいる。図６（ｂ）は、商品ページに含まれる属性リストＬ２の一例を示す図である。属性リストＬ２に含まれる属性値は、上述した基準語取得部１４により取得され付与部１６に出力される。以下では、基準語取得部１４が属性リストＬ２に含まれる属性値Ｖ２である「ブルゴーニュ」を基準語として付与部１６に出力したものとして説明する。
　付与部１６は、上下関係情報から基準語である「ブルゴーニュ」を検索し、「ブルゴーニュ」よりも上位階層に属する上位語を抽出する。図４に示す上下関係情報では、最上位の階層から１つ下の階層に属性値「ブルゴーニュ」が含まれているので、付与部１６は、「ブルゴーニュ」の上位階層に属する「フランス」を上位語として抽出する。次に、付与部１６は、基準語「ブルゴーニュ」に対応する属性名をタグ情報記憶部２６に記憶されるタグ情報を参照して取得する。図５に示すタグ情報では、基準語「ブルゴーニュ」には属性名「産地」が対応付けられている。付与部１６は、このように上位語及び基準語に対応する属性名を取得すると、説明文データＤ２に含まれる上位語に対して、基準語に対応する属性名を示す属性タグを付与する。
　また、一実施形態では、付与部１６は説明文データＤ２に含まれる基準語に対しても当該基準語に対応する属性タグを更に追加してもよい。この場合、付与部１６は、タグ情報記憶部２６を参照し、基準語「ブルゴーニュ」に対応する属性名「産地」を説明文データＤ２に付与する。
　図６（ｃ）は、付与部１６により属性タグが付与された説明文データＣ２の一例を示す図である。図６（ｃ）に示すように、説明文データＣ２には属性名「産地」を示す属性タグ「＜産地＞・・・＜／産地＞」が説明文データＣ２内の上位語「フランス」及び基準語「ブルゴーニュ」に付されている。なお、付与部１６は、説明文データＤ２に含まれる語句「ピエモンテ」には、産地に関する属性タグを付与しない。「ピエモンテ」は上位語又は基準語ではないので、産地に関する語句であるものの、商品の特徴を示す属性値ではないと推認されるためである。
　なお、属性名を示す属性タグは、必ずしもタグ情報記憶部２６から取得されなくてもよい。例えば、付与部１６は、属性リストＬ２において基準語となる属性値Ｖ２に対応する属性名Ａ２を属性名として取得し、その属性名を示す属性タグを基準語及び上位語に付与してもよい。図６（ｂ）に示す例では、属性リストＬ２から基準語として「ブルゴーニュ」を取得した場合には、付与部１６は属性リストＬ２において属性値「ブルゴーニュ」に対応する属性名「産地」を取得し、属性名「産地」に対応する属性タグを説明文データＤ２内の上位語及び基準語に付与する。
　図１に戻り、付与部１６は、上述のように属性タグが付与された説明文データＣ２を出力部１８に出力する。出力部１８は、付与部１６から出力された属性タグ付きの説明文データＣ２をコーパスデータとしてコーパスデータ記憶部２８に出力する。コーパスデータ記憶部２８は、出力部１８から出力されたコーパスデータを記憶する機能要素である。
　商品情報登録部２０は、出力部１８から出力されたコーパスデータから取得される属性名と属性値との組からなる商品タグを商品ページに関連付けて記憶する機能要素である。商品情報登録部２０は、コーパスデータ記憶部２８及び商品情報記憶部３０にアクセス可能とされている。
　商品情報記憶部３０は、仮想店舗が販売する商品に関する商品情報を記憶する機能要素である。図７は、商品情報の一例を示す図である。図７に示す商品情報の各レコードは、商品を提供する仮想店舗の店舗ＩＤ、商品を一意に特定する商品ＩＤ、商品名、カテゴリ、価格、商品ページのＵＲＬ、在庫数及び商品タグを含んでいる。ただし、商品情報に含まれる情報はこれらに限定されない。
　商品情報登録部２０は、コーパスデータ記憶部２８からコーパスデータを取得し、当該コーパスデータに付与された属性タグを用いて属性名と属性値との組を取得する。そして、コーパスデータが取得された商品ページに対応する商品情報のレコードを抽出し、そのレコードの商品タグに属性名と属性値との組を登録する。この商品タグは、電子商取引サイトからユーザが目的とする商品ページを絞り込むためのキーとして利用される。
　また、コーパスデータ記憶部２８に記憶されたコーパスデータは、例えば、属性リストを自動生成する解析装置を機械学習を用いて構築することができる。このような解析装置を用いることにより商品ページに含まれる説明文データから属性リストを自動生成することができる。例えば、例えば、図８（ａ）に示されるようなコーパスデータＣＸを用いて機械学習を適用すると、解析装置は、文脈の中で「産地」の属性値が現れる箇所を認識できるようになる。
　このようなコーパスデータＣＸを用いて機械学習を適用した後に、解析装置が図８（ｂ）に示されるような説明文データＤ３の解析を実施すると、解析装置は、その文の構造及び文脈等から「チリ」が「産地」を表す属性値であることを検出し、図８（ｃ）に示すように、「チリ」の部分にタグ「＜産地＞・・・＜／産地＞」が付された出力データＣ３を生成できる。そして、解析装置は、出力データＣ３に基づき、属性名「産地」と属性値「チリ」を対応付けた属性リストを生成できる。これにより、説明文データＤ３が含まれていた商品ページが属性リストを有していなくとも、属性名「産地」と属性値「チリ」を対応付けた属性リストを当該商品ページに含ませることが可能となる。
　また、付与部１６による属性タグの付与処理は、種々の態様に変形可能である。以下では、付与部１６の第１の変形例について説明する。
（第１の変形例）
　第１の変形例に係る付与部１６は、上下関係情報から基準語をルートノードとし、且つ分岐を有しない部分木を検索して、部分木に含まれる基準語以外の１以上の属性値を抽出し、説明文データに含まれる１以上の属性値に対して、基準語に対応する属性タグを更に付与する。以下、図９を参照して、第１の変形例に係る付与部１６の処理を具体的に説明する。図９は、上下関係情報の別の一例を示す図である。
　例えば基準語が「ブルゴーニュ」である場合、付与部１６は、「ブルゴーニュ」をルートノードとし、且つ分岐を有しない部分木として「ブルゴーニュ」、「コート・ド・ニュイ」及び「マルサネ」をノードとして含む部分木ＰＴを抽出する。次に、部分木ＰＴに含まれる属性値のうち、基準語である「ブルゴーニュ」を除いた「コート・ド・ニュイ」及び「マルサネ」を抽出する。次に、付与部１６は基準語「ブルゴーニュ」に対応する属性名「産地」をタグ情報記憶部２６に記憶されるタグ情報を参照して取得する。そして、付与部１６は、説明文データに含まれる基準語「ブルゴーニュ」及び上位語「フランス」に加えて、「コート・ド・ニュイ」及び「マルサネ」にも属性タグ「産地」を付与する。
　なお、この第１の変形例において、基準語が「ボルドー」である場合には、「ボルドー」をルートノードとし、且つ分岐を有しない部分木は存在しない。即ち、「ボルドー」の直下の階層には複数の属性値「サン・テステフ」及び「ポイヤック」が存在しており、分岐を有さない部分木は存在しない。したがって、この場合には、付与部１６は、説明文データに含まれる基準語「ボルドー」及びその上位語「フランス」のみに対して属性タグ「産地」を付与する。
　本変形例の作用効果について説明する。基準語が商品に関する属性値である場合には、分岐を有しない部分木ＰＴに含まれる属性値も商品に関する属性値であることが推認される。よって、第１の変形例に係る付与部１６によれば、説明文データ中のより多くの商品の属性値に正確な属性タグを付与することができる。
　次に、付与部１６の第２の変形例について説明する。
（第２の変形例）
　第２の変形例に係る付与部１６は、上下関係情報において基準語の直下の階層に複数の属性値が存在する場合であって、当該複数の属性値の内、一の属性値のみが説明文データに含まれる場合には、説明文データに含まれる当該一の属性値に対して、基準語に対応する属性タグを更に付与する。以下、図９～１１を参照して、第２の変形例に係る付与部１６に係る付与部１６の処理を具体的に説明する。
　図１０（ａ）は、商品ページに含まれる説明文データＤ４の一例である。説明文データＤ４は、産地に関する語句として「フランス」、「ボルドー」及び「サン・テステフ」を含んでいる。ここで、例えば基準語が「ボルドー」である場合、付与部１６は基準語「ボルドー」の直下の階層に属する属性値を検索する。図９に示す上下関係情報では、「ボルドー」の下位階層には「サン・テステフ」及び「ポイヤック」の２つの属性値が存在する。説明文データＤ４は、これら２つの属性値のうち、一の属性地である「サン・テステフ」のみを含んでいる。この場合、付与部１６は「サン・テステフ」も商品に関する属性値であるとして基準語に対応する属性タグを付与する。図１０（ｂ）は、本変形例の付与部１６により説明文データＤ４に属性タグが付与された説明文データＣ４を示している。図１０（ｂ）に示すように、説明文データＣ４には属性名「産地」を示す属性タグ「＜産地＞・・・＜／産地＞」が説明文データＣ４内の上位語「フランス」及び基準語「ボルドー」に加えて、属性値「サン・テステフ」にも付されている。
　図１１（ａ）は、商品ページに含まれる説明文データの別の一例である。この説明文データＤ５は、産地に関する語句として「フランス」、「ボルドー」、「サン・テステフ」及び「ポイヤック」を含んでいる。この説明文データＤ５は、基準語「ボルドー」の直下の階層に属する複数の属性値「サン・テステフ」及び「ポイヤック」の双方を含んでいる。この場合には、「サン・テステフ」及び「ポイヤック」のうち、どちらが商品の関する属性値であるか判断することが困難であるので、付与部１６は、「サン・テステフ」及び「ポイヤック」には属性タグを付与せず、基準語「ボルドー」及びその上位語「フランス」のみに対して属性タグ「産地」を付与する。図１１（ｂ）は、本変形例の付与部１６により説明文データＤ５に属性タグが付与された説明文データＣ５を示している。図１１（ｂ）に示すように、説明文データＣ５では属性名「産地」を示す属性タグ「＜産地＞・・・＜／産地＞」が説明文データＣ４内の上位語「フランス」及び基準語「ボルドー」にのみ付されている。その一方で、基準語「ボルドー」の下位語である「サン・テステフ」および「ポイヤック」を含む文は最終的なコーパスに含めないようにしてもよい。これはコーパスの品質を向上させるためである。
　本変形例の作用効果について説明する。基準語の直下の階層に複数の属性値が存在する場合であっても、説明文に当該複数の属性値のうちの１つのみが含まれている場合には、当該属性値は商品に関する属性値である蓋然性が高い。したがって、本形態によれば、説明文データ中のより多くの商品の属性値に、正確な属性タグを付与することができる。
　次に、図１２を用いて、コーパス生成装置１の動作を説明するとともに第１実施形態に係るコーパス生成方法について説明する。
　まず、コーパス生成装置１のウェブページ取得部１２は、商品ページ記憶部２２から商品に関する説明文データを含むウェブページを取得する（ステップＳ１、ウェブページ取得ステップ）。次に、基準語取得部１４は、ステップＳ１において取得したウェブページから基準語を取得する（ステップＳ２、基準語取得ステップ）。この際、基準語はウェブページ内に含まれる属性リストから取得され得る。続いて、付与部１６は、上下関係情報記憶部２４に記憶される上下関係情報から、ステップＳ２において取得された基準語よりも上位階層に属する属性値である上位語を抽出する（ステップＳ３）。
　その後、付与部１６は、商品ページの説明文データに含まれる上位語に対して、基準語に対応する属性タグを付与する（ステップＳ４、付与ステップ）。なおこの際、商品ページの説明文データに含まれる基準語に対しても基準語に対応する属性タグを付与してもよい。更に付与部１６は、上下関係情報から基準語をルートノードとし、且つ分岐を有しない部分木を検索して、該部分木に含まれる基準語以外の１以上の属性値を抽出し、説明文データに含まれる該１以上の属性値に対して、基準語に対応する属性タグを更に付与してもよい。あるいは、付与部１６は、上下関係情報において基準語の直下の階層に複数の属性値が存在する場合であって、当該複数の属性値の内、一の属性値のみが説明文データに含まれる場合には、説明文データに含まれる一の属性値に対して、基準語に対応する属性タグを更に付与してもよい。
　続いて、出力部１８は、ステップＳ４において属性タグが付与された説明文データをコーパスデータとしてコーパスデータ記憶部２８に格納する（ステップＳ５、出力ステップ）。以上のようにして、コーパス生成装置１はコーパスデータを生成する。
　次に、図１３を用いて、上述した一連の処理をコンピュータに実行させるためのコーパス生成プログラムＰ１を説明する。図１３は、実施形態に係るコーパス生成プログラムＰ１の構成を示す図である。なお、このプログラムをコンピュータに適用することによりコンピュータを上記機能を有するコーパス生成装置１として動作させることができる。
　コーパス生成プログラムＰ１は、メインモジュールＰ２、ウェブページ取得モジュールＰ３、基準語取得モジュールＰ４、付与モジュールＰ５、出力モジュールＰ６、及び商品情報登録モジュールＰ７を備えている。
　メインモジュールＰ２は、処理を統括的に制御する部分である。ウェブページ取得モジュールＰ３、基準語取得モジュールＰ４、付与モジュールＰ５、出力モジュールＰ６、及び商品情報登録モジュールＰ７を実行することにより実現される機能はそれぞれ、上記のウェブページ取得部１２、基準語取得部１４、付与部１６、出力部１８及び商品情報登録部２０の機能と同様である。
　コーパス生成プログラムＰ１は、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ、半導体メモリ等の有形の記録媒体に記録された上で提供される。また、コーパス生成プログラムＰ１は、搬送波に重畳されたデータ信号としてネットワークＮを介して提供されてもよい。
　以上説明したように、コーパス生成装置１によれば、説明文データに提示対象に関する属性値である基準語の上位語が含まれる場合には、説明文データに含まれる上位語に対して基準語に対応する属性タグが付与される。基準語が提示対象に関する属性値である場合には、その上位語も提示対象に関する属性値であることが推認される。このため、説明文データ内の上位語に対して属性タグを付与することにより、提示対象の特徴を示すものではない語句に対して誤って属性タグを付与することを抑制することができる。そして、このように属性タグが付与された提示対象の説明文データをコーパスデータとして出力することにより、品質の高いコーパスデータを生成することができる。また、付与部１６は、説明文データに含まれる基準語に対して、該基準語に対応する属性タグを更に付与しているので、説明文データ中のより多くの商品の属性値に正確な属性タグを付与することができる。
　また、コーパス生成装置１では、基準語取得部１４は、属性リストにおける属性値を基準語として取得している。属性リストにおける商品の属性値は商品に関する属性値である蓋然性が高いので、コーパス生成装置１は適切な基準語を取得することができる。
（第２実施形態）
　次に、第２実施形態に係るコーパス生成装置１Ａについて説明する。コーパス生成装置１Ａは、既に属性タグが付与されたコーパスデータから上位語とは異なる属性値に対して付与されている属性タグを除去する装置である。以下では、主に第１実施形態と相違する事項について説明し、第１実施形態と同一又は同等の事項については説明を省略する。
　図１４は、コーパス生成装置１Ａの機能的構成を示す図である。図１４に示すように、コーパス生成装置１Ａはコーパス取得部３２、基準語取得部１４、除去部３６、出力部１８、及び商品情報登録部２０を備えている。
　コーパス取得部３２は、コーパスデータ記憶部２８から属性値に対して属性タグが付与されたコーパスデータを取得する機能要素である。コーパス取得部３２により取得されるコーパスデータは、説明文データに含まれる属性値に属性タグが付与されたテキストデータであってもよいし、説明文データ及び属性リストを含み、その説明文データに含まれる属性値に属性タグが付与されたウェブページデータであってもよい。
　基準語取得部１４は、コーパス取得部３２によって取得されたコーパスデータから商品に関する属性値である基準語を取得する機能要素である。基準語取得部１４は、例えばコーパス取得部３２によって取得されたコーパスデータが説明文データ及び属性リストを含むウェブページデータである場合には、コーパスデータに含まれる属性リストから属性値を基準語として取得し得る。また、基準語取得部１４は、例えば例えばコーパス取得部３２によって取得されたコーパスデータが説明文データに含まれる属性値に属性タグが付与されたテキストデータである場合には、構文解析器を用いてコーパスデータに含まれる属性値のうち、商品の特性を表す属性値である蓋然性が高い属性値を基準語として抽出し得る。
　除去部３６は、属性値間の上下関係を表す上下関係情報を記憶する上下関係情報記憶部２４から、基準語取得部１４により取得された基準語よりも上位に属する上位語を抽出し、上位語とは異なる属性値がコーパスデータに含まれている場合に、当該上位語とは異なる属性値に付与された属性タグをコーパスデータから除去する機能要素である。除去部３６は、基準語がコーパスデータに含まれている場合には、基準語に付与された属性タグをコーパスデータから除去せずに残すこととしてもよい。
　以下、図４、５、１５を参照して、除去部３６がコーパスデータから属性タグを除去する例を具体的に説明する。ここで除去部３６は、上位語及び基準語とは異なる属性値がコーパスデータに含まれている場合に、上位語及び基準語とは異なる属性値に付与された属性タグをコーパスデータから除去するものとする。
　図１５（ａ）は、コーパス取得部３２によって取得されたコーパスデータＣ６ａの一例を示す図である。コーパスデータＣ６ａは、属性名「産地」を示す属性タグ「＜産地＞・・・＜／産地＞」がコーパスデータＣ６ａ内の語句「フランス」、「ブルゴーニュ」及び「ピエモンテ」に付されている。ここでは、基準語取得部１４がコーパスデータＣ６ａから「ブルゴーニュ」を基準語として付与部１６に出力したものとして説明する。
　除去部３６は、上下関係情報から基準語である「ブルゴーニュ」を検索し、「ブルゴーニュ」よりも上位階層に属する上位語を抽出する。図４に示す上下関係情報では、最上位の階層から１つ下の階層に基準語「ブルゴーニュ」が含まれているので、付与部１６は、「ブルゴーニュ」の上位階層に属する「フランス」を上位語として抽出する。次に、除去部３６は、コーパスデータＣ６ａに属性タグが付与された語句を取得し、上位語とは異なる語句を検索する。ここでは、コーパスデータＣ６ａに属性タグが付与された語句「フランス」、「ブルゴーニュ」及び「ピエモンテ」の内、「フランス」は上位語と同一であり、「ブルゴーニュ」は基準語と同一であるが、「ピエモンテ」は上位語及び基準語の何れとも異なっている。そこで、除去部３６は、コーパスデータＣ６ａに含まれる語句「ピエモンテ」に付与された属性タグを除去する。
　図１５（ｂ）は、除去部３６により属性タグが除去されたコーパスデータＣ６ｂの一例を示す図である。図１５（ｂ）に示すように、コーパスデータＣ６ｂでは、語句「フランス」、「ブルゴーニュ」に付与された属性タグは維持されているが、語句「ピエモンテ」に付与された属性タグは除去されている。「ピエモンテ」は上位語又は基準語とは異なっているので、商品の特徴を示す属性値ではないと推認されるためである。
　除去部３６は、属性タグの一部が除去されたコーパスデータを出力部１８に出力する。出力部１８は、除去部３６から出力されたコーパスデータをコーパスデータ記憶部２８に出力し、コーパスデータ記憶部２８内のコーパスデータを更新する。商品情報登録部２０の機能は第１実施形態で説明した通りであるので説明を省略する。
　なお、一実施形態では、除去部３６は、上下関係情報から基準語をルートノードとし、且つ分岐を有しない部分木を検索して、部分木に含まれる基準語以外の１以上の属性値を抽出し、当該１以上の属性値に付与された属性タグをコーパスデータから除去せずに残してもよい。更に、除去部３６は、上下関係情報において基準語の直下の階層に複数の属性値が存在する場合であって、当該複数の属性値の内、一の属性値のみがコーパスデータに含まれる場合には、当該一の属性値に付与された属性タグをコーパスデータから除去せずに残してもよい。
　次に、図１６を用いて、コーパス生成装置１Ａの動作を説明するとともに第２実施形態に係るコーパス生成方法について説明する。
　まず、コーパス生成装置１Ａのコーパス取得部３２は、コーパスデータ記憶部２８から属性値に対して属性タグが付与されたコーパスデータを取得する（ステップＳ１１、コーパス取得ステップ）。次に、基準語取得部１４は、ステップＳ１において取得したコーパスデータから基準語を取得する（ステップＳ１２）。続いて、除去部３６は、上下関係情報記憶部２４に記憶される上下関係情報から、ステップＳ１２において取得された基準語よりも上位階層に属する属性値である上位語を抽出する（ステップＳ１３）。
　その後、除去部３６は、上位語とは異なる属性値がコーパスデータに含まれている場合に、上位語とは異なる属性値に付与された属性タグをコーパスデータから除去する（ステップＳ１４、除去ステップ）。なおこの際、除去部３６は、基準語とは異なる属性値がコーパスデータに含まれている場合に、基準語に付与された属性タグをコーパスデータから除去せずに残してもよい。また、除去部３６は、上下関係情報から基準語をルートノードとし、且つ分岐を有しない部分木を検索して、部分木に含まれる基準語以外の１以上の属性値を抽出し、当該１以上の属性値に付与された属性タグをコーパスデータから除去せずに残してもよい。あるいは、除去部３６は、上下関係情報において基準語の直下の階層に複数の属性値が存在する場合であって、当該複数の属性値の内、一の属性値のみがコーパスデータに含まれる場合には、当該一の属性値に付与された属性タグをコーパスデータから除去せずに残してもよい。
　続いて、出力部１８は、ステップＳ１４において属性タグが除去されたコーパスデータをコーパスデータ記憶部２８に格納する（ステップＳ１５）。以上のようにして、コーパス生成装置１Ａは更新されたコーパスデータを生成する。
　次に、第２実施形態に係るコーパス生成プログラムを説明する。
　コーパス生成プログラムは、メインモジュール、コーパス取得モジュール、基準語取得モジュール、除去モジュール、出力モジュール、及び商品情報登録モジュールを備えている。
　メインモジュールは、コーパス生成プログラムを統括的に制御する部分である。コーパス取得モジュール、基準語取得モジュール、除去モジュール、出力モジュール、及び商品情報登録モジュールを実行することにより実現される機能はそれぞれ、上記のコーパス取得部３２、基準語取得部１４、除去部３６、出力部１８、及び商品情報登録部２０の機能と同様である。
　本実施形態に係るコーパス生成プログラムも、第１実施形態のコーパス生成プログラムＰ１と同様に様々な方法で配布しうる。
　以上説明したように、コーパス生成装置１Ａによれば、上位語とは異なる属性値がコーパスデータに含まれている場合には、上位語とは異なる属性値に付与された属性タグがコーパスデータから除去される。基準語が商品に関する属性値である場合には、その上位語も商品に関する属性値であることが推認される。反対に、基準語及びその上位語とは異なる属性値は商品に関する属性値ではないと推認される。このため、コーパスデータに含まれる上位語とは異なる属性値に付与された属性タグを除去することにより、正確に属性タグが付与されたコーパスデータを生成することができる。
（第３実施形態）
　次に、第３実施形態に係るコーパス生成装置１Ｂについて説明する。コーパス生成装置１Ｂは、説明データを含むウェブページから辞書データを用いて属性値の候補を抽出し、説明文データに含まれる属性値の候補の内、上位語と一致する属性値の候補に属性タグを付与する装置である。以下では、主に第１実施形態と相違する事項について説明し、第１実施形態と同一又は同等の事項については説明を省略する。
　図１７は、コーパス生成装置１Ｂの機能的構成を示す図である。図１６に示すように、ウェブページ取得部１２、基準語取得部１４、付与部１６、出力部１８、商品情報登録部２０に加えて候補抽出部４２を備えている。
　候補抽出部４２は、属性名と属性値とが関連付けられた辞書データを記憶するタグ情報記憶部（辞書データ記憶部）２６を参照し、説明文データに含まれる１以上の属性値の候補を抽出する機能要素である。候補抽出部４２は、タグ情報記憶部２６にアクセス可能とされている。第１実施形態で説明したように、タグ情報記憶部２６は、属性名と属性値が関連付けられたタグ情報を記憶している。本実施形態では、このタグ情報は辞書データとしても機能する。候補抽出部４２は、説明文データから辞書データの属性値と一致する語句を抽出し、抽出した語句を商品に関する属性値の候補とする。また、候補抽出部４２は、抽出した属性値の候補に対応する属性名を辞書データから取得する。候補抽出部４２は、この属性値の候補及びその属性名を付与部１６に出力する。
　本実施形態では、付与部１６は、上下関係情報記憶部２４から、基準語取得部１４により取得された基準語よりも上位に属する上位語を抽出し、説明文データに含まれる属性値の候補の内、上位語と一致する属性値の候補に、属性値の候補に対応する属性タグを付与する。一方、説明文データに含まれる属性値の候補の内、上位語と一致しない属性値の候補には属性タグを付与しない。また、付与部１６は、説明文データに含まれる属性値の候補の内、基準語と一致する属性値の候補に、属性値の候補に対応する属性タグを更に付与してもよい。
　以下、図４、５、１８を参照して、付与部１６が説明文データに属性タグを付与する例を具体的に説明する。ここで付与部１６は、説明文データに含まれる属性値の候補の内、上位語又は基準語と一致する属性値の候補に、属性値の候補に対応する属性タグを付与するものとする。
　図１８（ａ）は、商品ページに含まれる説明文データＤ７の一例を示す図である。説明文データＤ７は、産地に関する語句として「フランス」、「ブルゴーニュ」及び「ピエモンテ」を含んでいる。ここでは、基準語取得部１４が商品ページから「ブルゴーニュ」を基準語として取得し、この基準語を付与部１６に出力したものとして説明する。
　候補抽出部４２は、タグ情報記憶部２６に記憶された辞書データを参照し、説明文データに含まれる１以上の属性値の候補を抽出する。ここでは、候補抽出部４２は、説明文データＤ７に含まれる語句「フランス」、「ブルゴーニュ」及び「ピエモンテ」を属性値の候補として抽出する。また、候補抽出部４２は、辞書データを参照し、これらの語句に対応する属性名「産地」を取得する。
　付与部１６は、上下関係情報から基準語である「ブルゴーニュ」を検索し、「ブルゴーニュ」よりも上位階層に属する上位語を抽出する。図４に示す上下関係情報では、最上位の階層から１つ下の階層に基準語「ブルゴーニュ」が含まれているので、付与部１６は、「ブルゴーニュ」の上位階層に属する「フランス」を上位語として抽出する。次に、付与部１６は、属性値の候補の内、上位語と一致する属性値の候補を選択する。ここでは、属性値の候補「フランス」、「ブルゴーニュ」及び「ピエモンテ」の内、「フランス」は上位語と一致し、「ブルゴーニュ」は基準語と一致するが、「ピエモンテ」は上位語及び基準語の何れとも一致しない。そこで、付与部１６は、上位語又は基準語と一致する「フランス」及び「ブルゴーニュ」に対して属性名「産地」を示す属性タグを付与する。
　図１８（ｂ）は、付与部１６により属性タグが付与された説明文データＣ７の一例を示す図である。図１８（ｂ）に示すように、説明文データＣ７では、語句「フランス」、「ブルゴーニュ」に属性タグが付与され、語句「ピエモンテ」には属性タグが付与されていない。「ピエモンテ」は上位語又は基準語と一致していないので、商品の特徴を示す属性値ではないと推認されるためである。
　なお、一実施形態では、付与部１６は上下関係情報から基準語をルートノードとし、且つ分岐を有しない部分木を検索して、部分木に含まれる基準語以外の１以上の属性値を抽出し、説明文データに含まれる属性値の候補の内、当該１以上の属性値と一致する属性値に、属性値の候補に対応する属性タグを更に付与してもよい。あるいは、付与部１６は、上下関係情報において基準語の直下の階層に複数の属性値が存在する場合であって、当該複数の属性値の内、一の属性値のみがコーパスデータに含まれる場合には、説明文データに含まれる属性値の候補の内、当該一の属性値と一致する属性値に、属性値の候補に対応する属性タグを更に付与してもよい。
　付与部１６は、属性タグが付与された説明文データを出力部１８に出力する。出力部１８は、付与部１６から出力された説明文データをコーパスデータとしてコーパスデータ記憶部２８に出力する。
　次に、図１９を用いて、コーパス生成装置１Ｂの動作を説明するとともに第３実施形態に係るコーパス生成方法について説明する。
　まず、コーパス生成装置１Ｂのウェブページ取得部１２は、商品ページ記憶部２２から商品に関する説明文データを含むウェブページを取得する（ステップＳ２１）。次に、候補抽出部４２は、辞書データを記憶するタグ情報記憶部２６を参照し、説明文データに含まれる１以上の属性値の候補を抽出する（ステップＳ２２、候補抽出ステップ）。続いて、基準語取得部１４は、ステップＳ２１において取得したウェブページから基準語を取得する（ステップＳ２３）。続いて、付与部１６は、上下関係情報記憶部２４に記憶される上下関係情報から、ステップＳ２３において取得された基準語よりも上位階層に属する属性値である上位語を抽出する（ステップＳ２４）。
　その後、付与部１６は、説明文データに含まれる属性値の候補の内、上位語と一致する属性値に、属性値の候補に対応する属性タグを付与する（ステップＳ２５）。この際、付与部１６は、基準語と一致する属性値が説明文データに含まれている場合に、説明文データに含まれる属性値の候補の内、基準語と一致する属性値に、属性値の候補に対応する属性タグを更に付与してもよい。更に、付与部１６は、上下関係情報から基準語をルートノードとし、且つ分岐を有しない部分木を検索して、該部分木に含まれる基準語以外の１以上の属性値を抽出し、説明文データに含まれる属性値の候補の内、当該１以上の属性値と一致する属性値の候補に、属性値の候補に対応する属性タグを更に付与してもよい。あるいは、付与部１６は、上下関係情報において基準語の直下の階層に複数の属性値が存在する場合であって、当該複数の属性値の内、一の属性値のみが説明文データに含まれる場合には、説明文データに含まれる属性値の候補の内、当該一の属性値と一致する属性値の候補に、当該属性値の候補に対応する属性タグを更に付与してもよい。
　続いて、出力部１８は、ステップＳ２５において属性タグが付与された説明文データをコーパスデータ記憶部２８に格納する（ステップＳ２６）。以上のようにして、コーパス生成装置１Ｂはコーパスデータを生成する。
　次に、第３実施形態に係るコーパス生成プログラムを説明する。
　コーパス生成プログラムは、メインモジュール、ウェブページ取得モジュール、基準語取得モジュール、付与モジュール、出力モジュール、商品情報登録モジュール、及び候補抽出モジュールを備えている。
　メインモジュールは、コーパス生成プログラムを統括的に制御する部分である。ウェブページ取得モジュール、基準語取得モジュール、付与モジュール、出力モジュール、商品情報登録モジュール、及び候補抽出モジュールを実行することにより実現される機能はそれぞれ、上記のウェブページ取得部１２、基準語取得部１４、付与部１６、出力部１８、商品情報登録部２０、及び候補抽出部４２の機能と同様である。
　本実施形態に係るコーパス生成プログラムも、第１実施形態のコーパス生成プログラムＰ１と同様に様々な方法で配布しうる。
　以上説明したように、コーパス生成装置１Ｂによれば、説明文データに含まれる属性値の候補の内、上位語と一致する属性値に基準語に対応する属性タグが付与される。基準語が商品に関する属性値である場合には、その上位語も商品に関する属性値であることが推認される。反対に、基準語及びその上位語とは異なる属性値は商品に関する属性値ではないと推認される。コーパス生成装置１Ｂでは、説明文データに含まれる属性値の候補の内、上位語と一致する属性値の候補に、当該属性値の候補に対応する属性タグが付与されるので、商品に関する属性値ではない語句に対して誤って属性タグが付与されることを防止することができる。
　以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。
　例えば、上記実施形態では、ワインの商品ページに含まれる商品の説明文データに対して属性タグを付与する例について説明したが、ワインとは異なる商品に関する商品ページの説明文データに属性タグを付与してもよい。また、コーパス生成装置１は、例えば「品種」、「タイプ」、「容量」など、産地以外の属性タグを説明文データに付与してもよい。
　上記実施形態では、説明文データ中の上位語、基準語等に同一の属性タグを付与しているが、それぞれに異なる属性タグを付与してもよい。例えば、上位語が「フランス」であり、基準語が「ブルゴーニュ」である場合に、上位語には属性名「国」に関する属性タグを付与し、基準語には属性名「地方」に関する属性タグを付与してもよい。
　１…コーパス生成装置、１２…ウェブページ取得部、１４…基準語取得部、１６…付与部、１８…出力部、２０…商品情報登録部、２２…商品ページ記憶部、２４…上下関係情報記憶部、２６…タグ情報記憶部、２８…コーパスデータ記憶部、３０…商品情報記憶部、３２…コーパス取得部、３６…除去部、４２…候補抽出部、Ｄ１～Ｄ５，Ｄ７…説明文データ、Ｃ２～Ｃ７…説明文データ、Ｌ１，Ｌ２…属性リスト、Ｍ１…商品ページ、Ｎ…ネットワーク、Ｐ１…コーパス生成プログラム、Ｐ２…メインモジュール、Ｐ３…ウェブページ取得モジュール、Ｐ４…基準語取得モジュール、Ｐ５…付与モジュール、Ｐ６…出力モジュール、Ｐ７…商品情報登録モジュール、ＰＴ…部分木。

Claims (15)

  1. 　提示対象に関する説明文データを含むウェブページを取得するウェブページ取得部と、
    　前記ウェブページから前記提示対象に関する属性値である基準語を取得する基準語取得部と、
    　属性値間の上下関係を表す上下関係情報を記憶する記憶部から、前記基準語取得部により取得された前記基準語よりも上位に属する上位語を抽出し、前記説明文データに前記上位語が含まれる場合には、前記説明文データに含まれる前記上位語に対して、前記基準語に対応する属性タグを付与する付与部と、
    　前記付与部により属性タグが付与された説明文データをコーパスデータとして出力する出力部と、
    を備えるコーパス生成装置。
  2. 　前記付与部は、前記説明文データに前記基準語が含まれる場合には、前記説明文データに含まれる前記基準語に対して、該基準語に対応する属性タグを更に付与する、請求項１に記載のコーパス生成装置。
  3. 　前記ウェブページは、前記提示対象に関する属性名と属性値とが対応付けられた属性リストを更に含み、
    　前記基準語取得部は、前記属性リストにおける属性値を前記基準語として取得する、請求項１又は２に記載のコーパス生成装置。
  4. 　前記基準語取得部は、構文解析器を用いて、前記説明文データから前記提示対象に関する属性値である蓋然性が高い語句を検索し、検索された語句を前記基準語として取得する、請求項１又は２に記載のコーパス生成装置。
  5. 　前記上下関係情報は、属性値をノードとする木構造をなし、
    　前記付与部は、前記上下関係情報から前記基準語をルートノードとし、且つ分岐を有しない部分木を検索して、該部分木に含まれる前記基準語以外の１以上の属性値を抽出し、前記説明文データに前記１以上の属性値が含まれる場合には、前記説明文データに含まれる該１以上の属性値に対して、前記基準語に対応する属性タグを更に付与する、請求項１～４の何れか一項に記載のコーパス生成装置。
  6. 　前記上下関係情報は、属性値間の上下関係を階層的に表しており、
    　前記付与部は、前記上下関係情報において前記基準語の直下の階層に複数の属性値が存在する場合であって、該複数の属性値の内、一の属性値のみが前記説明文データに含まれる場合には、前記説明文データに含まれる該一の属性値に対して、前記基準語に対応する属性タグを更に付与する、請求項１～４の何れか一項に記載のコーパス生成装置。
  7. 　前記出力部から出力されたコーパスデータから取得される前記提示対象に関する属性名と属性値との組を前記ウェブページに関連付けて記憶する提示対象情報登録部を更に備える、請求項１～６の何れか一項に記載のコーパス生成装置。
  8. 　提示対象に関する説明文データを含むウェブページを取得するウェブページ取得ステップと、
    　前記ウェブページから前記提示対象に関する属性値である基準語を取得する基準語取得ステップと、
    　属性値間の上下関係を表す上下関係情報を記憶する記憶部から、前記基準語取得ステップにおいて取得された前記基準語よりも上位に属する上位語を抽出し、前記説明文データに前記上位語が含まれる場合には、前記説明文データに含まれる前記上位語に対して、前記基準語に対応する属性タグを付与する付与ステップと、
    　前記付与ステップにおいて属性タグが付与された説明文データをコーパスデータとして出力する出力ステップと、
    を含むコーパス生成方法。
  9. 　コンピュータを、
    　提示対象に関する説明文データを含むウェブページを取得するウェブページ取得部と、
    　前記ウェブページから前記提示対象に関する属性値である基準語を取得する基準語取得部と、
    　属性値間の上下関係を表す上下関係情報を記憶する記憶部から、前記基準語取得部により取得された前記基準語よりも上位に属する上位語を抽出し、前記説明文データに前記上位語が含まれる場合には、前記説明文データに含まれる前記上位語に対して、前記基準語に対応する属性タグを付与する付与部と、
    　前記付与部により属性タグが付与された説明文データをコーパスデータとして出力する出力部と、
    して機能させる、コーパス生成プログラム。
  10. 　属性値に対して属性タグが付与されたコーパスデータを取得するコーパス取得部と、
    　前記コーパスデータから提示対象に関する属性値である基準語を取得する基準語取得部と、
    　属性値間の上下関係を表す上下関係情報を記憶する記憶部から、前記基準語取得部により取得された前記基準語よりも上位に属する上位語を抽出し、前記上位語とは異なる属性値が前記コーパスデータに含まれている場合に、前記上位語とは異なる属性値に付与された属性タグを前記コーパスデータから除去する除去部と、
    　前記除去部により属性タグが除去された前記コーパスデータを出力する出力部と、
    を備えるコーパス生成装置。
  11. 　属性値に対して属性タグが付与されたコーパスデータを取得するコーパス取得ステップと、
    　前記コーパスデータから提示対象に関する属性値である基準語を取得する基準語取得ステップと、
    　属性値間の上下関係を表す上下関係情報を記憶する記憶部から、前記基準語取得ステップにおいて取得された前記基準語よりも上位に属する上位語を抽出し、前記上位語とは異なる属性値が前記コーパスデータに含まれている場合に、前記上位語とは異なる属性値に付与された属性タグを前記コーパスデータから除去する除去ステップと、
    　前記除去ステップにおいて属性タグが除去された前記コーパスデータを出力する出力ステップと、
    を含むコーパス生成方法。
  12. 　コンピュータを、
    　属性値に対して属性タグが付与されたコーパスデータを取得するコーパス取得部と、
    　前記コーパスデータから提示対象に関する属性値である基準語を取得する基準語取得部と、
    　属性値間の上下関係を表す上下関係情報を記憶する記憶部から、前記基準語取得部により取得された前記基準語よりも上位に属する上位語を抽出し、前記上位語とは異なる属性値が前記コーパスデータに含まれている場合に、前記上位語とは異なる属性値に付与された属性タグを前記コーパスデータから除去する除去部と、
    　前記除去部により属性タグが除去された前記コーパスデータを出力する出力部と、
    して機能させる、コーパス生成プログラム。
  13. 　提示対象に関する説明文データを含むウェブページを取得するウェブページ取得部と、
    　属性名と属性値とが関連付けられた辞書データを記憶する辞書データ記憶部を参照し、前記説明文データに含まれる前記提示対象に関する属性値の候補を抽出する候補抽出部と、
    　前記ウェブページから前記提示対象に関する属性値である基準語を取得する基準語取得部と、
    　属性値間の上下関係を表す上下関係情報を記憶する記憶部から、前記基準語取得部により取得された前記基準語よりも上位に属する上位語を抽出し、前記説明文データに含まれる前記属性値の候補の内、前記上位語と一致する属性値の候補に前記属性値の候補に対応する属性タグを付与する付与部と、
    　前記付与部により属性タグが付与された説明文データをコーパスデータとして出力する出力部と、
    を備えるコーパス生成装置。
  14. 　提示対象に関する説明文データを含むウェブページを取得するウェブページ取得ステップと、
    　属性名と属性値とが関連付けられた辞書データを記憶する辞書データ記憶部を参照し、前記説明文データに含まれる前記提示対象に関する属性値の候補を抽出する候補抽出ステップと、
    　前記ウェブページから前記提示対象に関する属性値である基準語を取得する基準語取得ステップと、
    　属性値間の上下関係を表す上下関係情報を記憶する記憶部から、前記基準語取得ステップにおいて取得された前記基準語よりも上位に属する上位語を抽出し、前記説明文データに含まれる前記属性値の候補の内、前記上位語と一致する属性値の候補に前記属性値の候補に対応する属性タグを付与する付与ステップと、
    　前記付与ステップにおいて属性タグが付与された説明文データをコーパスデータとして出力する出力ステップと、
    を含むコーパス生成方法。
  15. 　コンピュータを、
    　提示対象に関する説明文データを含むウェブページを取得するウェブページ取得部と、
    　属性名と属性値とが関連付けられた辞書データを記憶する辞書データ記憶部を参照し、前記説明文データに含まれる前記提示対象に関する属性値の候補を抽出する候補抽出部と、
    　前記ウェブページから前記提示対象に関する属性値である基準語を取得する基準語取得部と、
    　属性値間の上下関係を表す上下関係情報を記憶する記憶部から、前記基準語取得部により取得された前記基準語よりも上位に属する上位語を抽出し、前記説明文データに含まれる前記属性値の候補の内、前記上位語と一致する属性値の候補に前記属性値の候補に対応する属性タグを付与する付与部と、
    　前記付与部により属性タグが付与された説明文データをコーパスデータとして出力する出力部と、
    して機能させる、コーパス生成プログラム。
     
PCT/JP2013/076545 2013-09-30 2013-09-30 コーパス生成装置、コーパス生成方法、及びコーパス生成プログラム Ceased WO2015045155A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2014508630A JP5576003B1 (ja) 2013-09-30 2013-09-30 コーパス生成装置、コーパス生成方法、及びコーパス生成プログラム
US14/420,424 US9645979B2 (en) 2013-09-30 2013-09-30 Device, method and program for generating accurate corpus data for presentation target for searching
PCT/JP2013/076545 WO2015045155A1 (ja) 2013-09-30 2013-09-30 コーパス生成装置、コーパス生成方法、及びコーパス生成プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/076545 WO2015045155A1 (ja) 2013-09-30 2013-09-30 コーパス生成装置、コーパス生成方法、及びコーパス生成プログラム

Publications (1)

Publication Number Publication Date
WO2015045155A1 true WO2015045155A1 (ja) 2015-04-02

Family

ID=51579036

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/076545 Ceased WO2015045155A1 (ja) 2013-09-30 2013-09-30 コーパス生成装置、コーパス生成方法、及びコーパス生成プログラム

Country Status (3)

Country Link
US (1) US9645979B2 (ja)
JP (1) JP5576003B1 (ja)
WO (1) WO2015045155A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022034816A (ja) * 2020-08-19 2022-03-04 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2023036804A (ja) * 2021-03-05 2023-03-14 凸版印刷株式会社 電子チラシ管理装置、電子チラシ管理方法
JP7292040B2 (ja) 2019-01-17 2023-06-16 ヤフー株式会社 情報処理プログラム、情報処理装置及び情報処理方法

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6499477B2 (ja) * 2015-02-27 2019-04-10 日本放送協会 オントロジー生成装置、メタデータ出力装置、コンテンツ取得装置、オントロジー生成方法及びオントロジー生成プログラム
US10613521B2 (en) 2016-06-09 2020-04-07 Rockwell Automation Technologies, Inc. Scalable analytics architecture for automation control systems
US10509396B2 (en) 2016-06-09 2019-12-17 Rockwell Automation Technologies, Inc. Scalable analytics architecture for automation control systems
US10528700B2 (en) 2017-04-17 2020-01-07 Rockwell Automation Technologies, Inc. Industrial automation information contextualization method and system
US10620612B2 (en) * 2017-06-08 2020-04-14 Rockwell Automation Technologies, Inc. Predictive maintenance and process supervision using a scalable industrial analytics platform
US10990601B1 (en) * 2018-03-12 2021-04-27 A9.Com, Inc. Dynamic optimization of variant recommendations
CN110362686B (zh) * 2018-04-02 2024-02-06 北京搜狗科技发展有限公司 一种词库的生成方法、装置、终端设备和服务器
US11144042B2 (en) 2018-07-09 2021-10-12 Rockwell Automation Technologies, Inc. Industrial automation information contextualization method and system
US11403541B2 (en) 2019-02-14 2022-08-02 Rockwell Automation Technologies, Inc. AI extensions and intelligent model validation for an industrial digital twin
US11086298B2 (en) 2019-04-15 2021-08-10 Rockwell Automation Technologies, Inc. Smart gateway platform for industrial internet of things
US11435726B2 (en) 2019-09-30 2022-09-06 Rockwell Automation Technologies, Inc. Contextualization of industrial data at the device level
US11841699B2 (en) 2019-09-30 2023-12-12 Rockwell Automation Technologies, Inc. Artificial intelligence channel for industrial automation
US11249462B2 (en) 2020-01-06 2022-02-15 Rockwell Automation Technologies, Inc. Industrial data services platform
US11501067B1 (en) * 2020-04-23 2022-11-15 Wells Fargo Bank, N.A. Systems and methods for screening data instances based on a target text of a target corpus
US11726459B2 (en) 2020-06-18 2023-08-15 Rockwell Automation Technologies, Inc. Industrial automation control program generation from computer-aided design
CN112015897B (zh) * 2020-08-27 2023-04-07 中国平安人寿保险股份有限公司 语料的意图标注方法、装置、设备及存储介质
CN115858781A (zh) * 2022-11-29 2023-03-28 重庆长安汽车股份有限公司 一种文本标签提取方法、装置、设备及介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07325827A (ja) * 1994-04-07 1995-12-12 Mitsubishi Electric Corp ハイパーテキスト自動生成装置
JP2009026195A (ja) * 2007-07-23 2009-02-05 Yokohama National Univ 商品分類装置、商品分類方法及びプログラム
JP2009181408A (ja) * 2008-01-31 2009-08-13 Nippon Telegr & Teleph Corp <Ntt> 単語意味付与装置、単語意味付与方法、プログラムおよび記録媒体

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4521343B2 (ja) 2005-09-29 2010-08-11 株式会社東芝 文書処理装置及び文書処理方法
US8438469B1 (en) * 2005-09-30 2013-05-07 Google Inc. Embedded review and rating information
US8359191B2 (en) * 2008-08-01 2013-01-22 International Business Machines Corporation Deriving ontology based on linguistics and community tag clouds

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07325827A (ja) * 1994-04-07 1995-12-12 Mitsubishi Electric Corp ハイパーテキスト自動生成装置
JP2009026195A (ja) * 2007-07-23 2009-02-05 Yokohama National Univ 商品分類装置、商品分類方法及びプログラム
JP2009181408A (ja) * 2008-01-31 2009-08-13 Nippon Telegr & Teleph Corp <Ntt> 単語意味付与装置、単語意味付与方法、プログラムおよび記録媒体

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7292040B2 (ja) 2019-01-17 2023-06-16 ヤフー株式会社 情報処理プログラム、情報処理装置及び情報処理方法
JP2022034816A (ja) * 2020-08-19 2022-03-04 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP7136856B2 (ja) 2020-08-19 2022-09-13 ヤフー株式会社 情報処理装置、情報処理方法および情報処理プログラム
JP2023036804A (ja) * 2021-03-05 2023-03-14 凸版印刷株式会社 電子チラシ管理装置、電子チラシ管理方法
JP7327628B2 (ja) 2021-03-05 2023-08-16 凸版印刷株式会社 電子チラシ管理装置、電子チラシ管理方法

Also Published As

Publication number Publication date
US20160041951A1 (en) 2016-02-11
US9645979B2 (en) 2017-05-09
JPWO2015045155A1 (ja) 2017-03-02
JP5576003B1 (ja) 2014-08-20

Similar Documents

Publication Publication Date Title
JP5576003B1 (ja) コーパス生成装置、コーパス生成方法、及びコーパス生成プログラム
JP6462970B1 (ja) 分類装置、分類方法、生成方法、分類プログラム及び生成プログラム
US8271513B1 (en) Module and method for searching named entity of terms from the named entity database using named entity database and mining rule merged ontology schema
JP6505421B2 (ja) 情報抽出支援装置、方法およびプログラム
CN113868568A (zh) 一种网页关键字高亮方法、装置、设备及存储介质
US20090024616A1 (en) Content retrieving device and retrieving method
JP2002032770A (ja) 文書処理方法、文書処理システムおよび媒体
CN103608805B (zh) 辞典产生装置及方法
KR20150084706A (ko) 온톨로지의 지식 학습 장치 및 그의 방법
WO2018070026A1 (ja) 商品情報表示システム、商品情報表示方法、及びプログラム
JP5324018B1 (ja) コーパス生成装置、コーパス生成方法及びコーパス生成プログラム
US11113314B2 (en) Similarity calculating device and method, and recording medium
JP2021009591A (ja) データ取得装置、データ取得方法、およびデータ取得プログラム
JP5085584B2 (ja) 記事特徴語抽出装置、記事特徴語抽出方法及びプログラム
JP2009205499A (ja) ウェブページ特定装置、ウェブページ特定方法およびウェブページ特定用プログラム
JP7795869B2 (ja) 情報表現構造解析装置、および情報表現構造解析方法
JP5903171B2 (ja) データ加工システムおよびデータ加工方法
JP2013143021A (ja) 商品情報抽出ルール生成方法、装置、及びプログラム
JP5739352B2 (ja) 辞書生成装置、文書ラベル判定システム及びコンピュータプログラム
JP5289468B2 (ja) 回答検索装置、方法、及びプログラム
JP5184987B2 (ja) 索引情報作成装置、索引情報作成方法及びプログラム
CN114661678B (zh) 一种移除多语言资源的方法、装置、设备及介质
JPWO2016147624A1 (ja) 検索システム、検索方法および検索プログラム
JP2007200252A (ja) 省略語生成・妥当性評価方法、同義語データベース生成・更新方法、省略語生成・妥当性評価装置、同義語データベース生成・更新装置、プログラム、記録媒体
JP5380130B2 (ja) ファイル検索装置及びファイル検索方法、並びにプログラム

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2014508630

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14420424

Country of ref document: US

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13894510

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13894510

Country of ref document: EP

Kind code of ref document: A1