WO2011030752A1 - 単語対取得装置、単語対取得方法、およびプログラム - Google Patents

単語対取得装置、単語対取得方法、およびプログラム Download PDF

Info

Publication number
WO2011030752A1
WO2011030752A1 PCT/JP2010/065308 JP2010065308W WO2011030752A1 WO 2011030752 A1 WO2011030752 A1 WO 2011030752A1 JP 2010065308 W JP2010065308 W JP 2010065308W WO 2011030752 A1 WO2011030752 A1 WO 2011030752A1
Authority
WO
WIPO (PCT)
Prior art keywords
word
class
pair
pattern
unit
Prior art date
Application number
PCT/JP2010/065308
Other languages
English (en)
French (fr)
Inventor
サーガ ステイン デ
健太郎 鳥澤
淳一 風間
航 黒田
村田　真樹
Original Assignee
独立行政法人情報通信研究機構
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 独立行政法人情報通信研究機構 filed Critical 独立行政法人情報通信研究機構
Priority to US13/394,893 priority Critical patent/US9037586B2/en
Priority to CN201080040033.9A priority patent/CN102576358B/zh
Priority to KR1020127006123A priority patent/KR101715432B1/ko
Priority to EP10815349.5A priority patent/EP2477125A4/en
Publication of WO2011030752A1 publication Critical patent/WO2011030752A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/242—Query formulation
    • G06F16/243—Natural language query formulation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/35—Clustering; Classification
    • G06F16/353—Clustering; Classification into predefined classes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing
    • G06F40/216—Parsing using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates

Definitions

  • the present invention relates to a word pair acquisition device that acquires two word pairs having a predetermined relationship.
  • the conventional word pair acquisition device cannot appropriately acquire word pairs having a predetermined relationship.
  • the word pair acquisition apparatus has a sentence group storage unit that can store one or more sentence groups, and one or more words and a class identifier that identifies a class to which the one or more words belong.
  • a word class information storage unit capable of storing two or more word class information
  • a class pair goodness storage unit capable of storing a class pair goodness degree which is an index indicating the goodness of two classes
  • a word pair which is two words
  • a score determination unit that determines the score of each word pair in the word pair storage unit using the class pair goodness acquisition unit, the class pair goodness acquired by the class pair goodness acquisition unit, and the score determined by the score determination unit Is a pre-determined condition
  • It is a word pair acquisition device comprising a word pair selection unit that acquires one or more word pairs with a higher score and a word pair output unit that outputs one
  • the word pair acquisition device of the second invention is a seed that can store one or more seed patterns that are patterns used to acquire two word pairs having a predetermined relationship with respect to the first invention.
  • a class pair goodness degree calculation unit for calculating a class pair goodness degree, and the class pair goodness degree calculated by the class pair goodness degree calculation unit is stored in the class pair goodness degree storage unit. It is the word pair acquisition device which is the class vs. goodness.
  • the class pair goodness can be calculated appropriately, and word pairs having a predetermined relationship can be appropriately acquired using the class pair goodness.
  • the word pair acquisition device is a pattern that is not a seed pattern and is used to acquire two word pairs having a predetermined relationship with respect to the first or second aspect.
  • a pattern storage unit that can store one or more, a pattern similarity storage unit that can store, for each pattern, the similarity between one or more patterns stored in the pattern storage unit and the seed pattern, and a seed pattern storage unit
  • One or more seed patterns stored in the pattern storage unit and one or more patterns stored in the pattern storage unit are acquired, and from the one or more sentence groups stored in the sentence group storage unit, a seed pattern or
  • a word pair acquisition unit that acquires one or more word pairs that co-occur with the pattern, and the score determination unit includes each of the one or more stored in the pattern similarity storage unit Also used similarity between turn and seed pattern, a word pair acquisition apparatus word pair acquisition unit determines a score for each word pair acquired.
  • word pairs having a predetermined relationship can be acquired more appropriately using the similarity between the seed pattern and the pattern.
  • the word pair acquisition device provides a class pair corresponding to a word pair that co-occurs with one or more seed patterns, and one or more stored in the pattern storage unit, relative to the third invention.
  • the pattern similarity calculation unit further includes a pattern similarity calculation unit that calculates the similarity so that the larger the overlap with the class pair corresponding to the word pair that co-occurs with each pattern, the similarity calculated by the pattern similarity calculation unit Is a word pair acquisition device that is the similarity stored in the pattern similarity storage.
  • the similarity between the seed pattern and the pattern can be calculated appropriately, and word pairs in a predetermined relationship can be acquired more appropriately using the similarity.
  • the word pair acquisition device provides affinity information that is information relating to the affinity between one or more word pairs and one or more patterns with respect to any one of the first to fourth aspects.
  • the score determination unit also uses the affinity information in the affinity information storage unit to determine the score of each word pair acquired by the word pair acquisition unit. It is an acquisition device.
  • word pairs having a predetermined relationship can be acquired more appropriately using the affinity between the pattern and the word pairs.
  • the word pair acquisition device is different from the fifth aspect in that the number or ratio of one or more word pairs acquired by the word pair acquisition unit and one or more patterns co-occurs.
  • An affinity information calculation unit that calculates affinity information so that the larger the number is, the more the affinity information is calculated.
  • the affinity information in the affinity information storage unit is word information that is the affinity information calculated by the affinity information calculation unit. Device.
  • the affinity between the pattern and the word pair can be appropriately calculated, and the word pair having a predetermined relationship can be acquired more appropriately using the affinity.
  • the score determination unit is the product of the class pair goodness, the similarity between the seed pattern and the pattern, and the affinity information.
  • a word pair acquisition device that determines a score in a large seed pattern or pattern as a score of each word pair.
  • the score of the word pair can be calculated with high accuracy, and as a result, the word pair having a predetermined relationship can be acquired extremely appropriately.
  • the word pair acquisition apparatus provides a morphological analysis for each sentence of one or more sentence groups stored in the sentence group storage unit, according to any of the third to seventh aspects of the invention. And dependency analysis to obtain the pattern of morpheme connections from the start point to the end point, from the first noun or noun phrase as the starting point, from the second noun or noun phrase as the end point It further includes a pattern acquisition unit that acquires, as a pattern, a morpheme that connects the connection and the morpheme from the end point, and the pattern storage unit is a word pair acquisition device that is a pattern acquired by the pattern acquisition unit.
  • a pattern can be appropriately acquired from a sentence group, and a word pair having a predetermined relationship can be appropriately acquired using the pattern.
  • the word pair acquisition device provides an excluded class that is two class identifiers for identifying a class pair corresponding to a word pair that is not finally output with respect to any of the first to eighth aspects of the invention.
  • the word pair acquisition apparatus further includes an exclusion class pair storage unit that can store one or more pairs, and a word pair exclusion unit that excludes word pairs that output word pairs corresponding to the one or more exclusion class pairs.
  • the word pair acquisition device of the tenth aspect of the invention relates to the ninth aspect of the invention, in which the class appearance frequency has a pair of an average appearance frequency of words belonging to each class and a class identifier in one or more sentence groups.
  • Information is stored in an excluded class pair storage unit as an excluded class pair with a class appearance frequency information storage unit that can store information for each class, and class identifiers of two classes having an average appearance frequency equal to or greater than a predetermined threshold.
  • This is a word pair acquisition device that further includes an excluded class pair storage unit.
  • the word pair acquisition device of the eleventh aspect of the invention is the same verb or the same as the first to the tenth aspect of the invention, using one or more sentence groups in the sentence group storage unit.
  • word class information can be acquired more appropriately.
  • the word pair acquisition apparatus can appropriately acquire word pairs having a predetermined relationship.
  • a word pair acquisition apparatus that acquires two word pairs having a predetermined relationship will be described.
  • This word pair acquisition apparatus selects a word pair using as an index the goodness of the class pair to which the word pair belongs (class pair goodness, which will be described later).
  • the word pair acquisition apparatus selects a word pair by using, as an index, a good pattern (similarity described later) used when the word pair is extracted.
  • this word pair acquisition apparatus selects a word pair using the affinity between the pattern and the word pair (affinity information described later).
  • FIG. 1 is a conceptual diagram of a word acquisition system including a word pair acquisition device 1 according to the present embodiment.
  • the word acquisition system includes a word pair acquisition device 1 and one or more sentence group storage devices 2.
  • the text group storage device 2 is a server device that stores text groups.
  • the sentence group storage device 2 is, for example, a server device on the web, and stores one or more web pages. In such a case, the sentence group is a web page.
  • the word pair acquisition device 1 acquires a sentence group from one or more sentence group storage devices 2 and stores the sentence group at least temporarily.
  • FIG. 2 and 3 are block diagrams of the word pair acquisition apparatus 1 in the present embodiment.
  • FIG. 2 is a block diagram focusing on components that perform processing for acquiring word pairs, among the components of the word pair acquisition apparatus 1.
  • FIG. 3 is a block diagram that focuses on components that perform environment maintenance before performing processing for acquiring word pairs, among components of the word pair acquisition device 1.
  • FIG. 2 and FIG. 3 are only examples of the configuration in which the word pair acquisition device 1 is separated.
  • the word pair acquisition device 1 includes a sentence group storage unit 101, a word pair storage unit 102, a word class information storage unit 103, a seed pattern storage unit 104, a pattern storage unit 105, a class pair goodness degree storage unit 106, and a pattern similarity storage unit.
  • affinity information storage unit 108 affinity information storage unit 108, excluded class pair storage unit 109, class appearance frequency information storage unit 110, word pair acquisition unit 111, word pair storage unit 112, word class information acquisition unit 113, word class information storage unit 114, Pattern acquisition unit 115, pattern accumulation unit 116, class pair goodness degree calculation unit 117, class pair goodness degree accumulation unit 118, pattern similarity degree calculation unit 119, pattern similarity degree accumulation unit 120, affinity information calculation unit 121, affinity information Accumulation unit 122, class vs. goodness acquisition unit 123, pattern similarity acquisition unit 124, affinity information acquisition unit 125, score determination Part comprising 126 word pair selection unit 127, the word pair output unit 128, the word pair exclusion unit 129, excluded class pair accumulation unit 130, the class occurrence frequency information calculation section 131.
  • the sentence group storage unit 101 can store one or more sentence groups.
  • the sentence group is, for example, a web page. However, the sentence group can be anything.
  • the sentence group may be text data, a predetermined database, etc., and its structure is not questioned.
  • the text group in the text group storage unit 101 is preferably a text group acquired by a communication unit, a broadcast receiving unit, or the like.
  • the sentence group storage unit 101 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium. The process in which a sentence group is memorize
  • stored in the sentence group storage part 101 is not ask
  • a sentence group may be stored in the sentence group storage unit 101 via a recording medium, and a sentence group transmitted via a communication line or the like is stored in the sentence group storage unit 101.
  • a sentence group input via an input device may be stored in the sentence group storage unit 101.
  • the word pair storage unit 102 can store one or more word pairs.
  • a word pair is two words having a predetermined relationship.
  • the word is usually a noun or a noun phrase.
  • other parts of speech such as adjectives may be considered words.
  • the predetermined relationship includes, for example, a relationship between a cause and a result, a relationship between a raw material and a product, a relationship between a phenomenon and a means for preventing the phenomenon.
  • the predetermined relationship is a cause-result relationship, for example, the word pair is “virus” and “cold”.
  • the word pair storage unit 102 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium. The process of storing word pairs in the word pair storage unit 102 does not matter. However, the word pair storage unit 112 normally stores the word pairs acquired by the word pair acquisition unit 111 in the word pair storage unit 102.
  • the word class information storage unit 103 can store two or more word class information.
  • the word class information is information having one or more words and a class identifier that identifies a class to which the one or more words belong.
  • a class is a word (usually a noun) that often co-occurs with the same verb and is a word belonging to the same class.
  • words (usually nouns) that often co-occur with the same verb and particle may be words belonging to the same class.
  • “co-occurring well” means co-occurring with the same verb or the same verb and particle at a predetermined number of times (frequency) or ratio.
  • the word class information may be information having a class identifier and one or more word identifiers that identify one or more words.
  • the word class information storage unit 103 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium. The process in which the word class information is stored in the word class information storage unit 103 does not matter. However, the word class information storage unit 114 normally stores the word class information acquired by the word class information acquisition unit 113 in the word class information storage unit 103.
  • the seed pattern storage unit 104 can store one or more seed patterns.
  • a seed pattern is a pattern used to acquire two word pairs having a predetermined relationship.
  • the seed pattern is a pattern given in advance.
  • the seed pattern is a pattern from which word pairs and new patterns are acquired.
  • the pattern is a character string including two words and an expression pattern.
  • the pattern is, for example, “X causes Y” or “Y by X”.
  • the two words that replace X and Y are word pairs. That is, X and Y are so-called variables.
  • Variables can contain character strings.
  • the seed pattern stored in the seed pattern storage unit 104 is a pattern such as 10 or 20, for example.
  • the seed pattern storage unit 104 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium.
  • the process of storing the seed pattern in the seed pattern storage unit 104 does not matter. However, the seed pattern is normally accumulated in the seed pattern storage unit 104 by a user's manual input.
  • the pattern storage unit 105 can store one or more patterns.
  • a pattern is a pattern that is not a seed pattern, and is a pattern that is used to acquire two word pairs having a predetermined relationship. However, the pattern may include a seed pattern.
  • the pattern storage unit 105 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium. The process of storing the pattern in the pattern storage unit 105 does not matter. However, normally, the pattern accumulating unit 116 accumulates the pattern obtained by the pattern obtaining unit 115 in the pattern storage unit 105. Note that the patterns may also be accumulated manually by the user.
  • the class vs. goodness storage unit 106 can store a class vs. goodness that is an index indicating the goodness of two classes.
  • the two classes are called class pairs.
  • the index indicating the goodness of the two classes is such that word pairs belonging to the two classes co-occur with the seed pattern well. As the word pairs belonging to the two classes co-occur with the seed pattern, the class pair becomes better.
  • Class vs. goodness is a numerical value. Also, the better the class pair, the greater the class pair goodness.
  • the class pair goodness degree storage unit 106 normally stores one or more pieces of class pair goodness degree information having two class identifiers and class pair goodness degrees. Also, it is considered that using an index indicating the badness of a class pair is equivalent to using a class pair goodness.
  • the class pair goodness degree storage unit 106 is preferably a nonvolatile recording medium, but can also be realized by a volatile recording medium. The process of storing the class pair goodness degree in the class pair goodness degree storage unit 106 does not matter. However, in general, the class pair goodness degree calculated by the class pair goodness degree calculation unit 117 is accumulated in the class pair goodness degree storage unit 106 by the class pair goodness degree accumulation unit 118.
  • the pattern similarity storage unit 107 can store, for each pattern, the similarity between one or more patterns stored in the pattern storage unit 105 and the seed pattern.
  • the pattern similarity storage unit 107 has, for example, a pattern identifier that identifies a pattern and a similarity. Further, the pattern similarity storage unit 107 may have a pattern and a similarity in association with each other, for example. There is no limitation on the method of calculating the similarity between the pattern and the seed pattern. A specific method for calculating the similarity will be described later.
  • the pattern similarity storage unit 107 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium. The process of storing the similarity in the pattern similarity storage unit 107 does not matter. However, normally, the similarity calculated by the pattern similarity calculation unit 119 is accumulated in the pattern similarity storage unit 107 by the pattern similarity accumulation unit 120.
  • the affinity information storage unit 108 can store affinity information that is information regarding the affinity between one or more word pairs and one or more patterns.
  • the affinity information is usually a numerical value indicating the degree of affinity between the word pair and the pattern. The greater the affinity information, the higher the degree of affinity between the word pair and the pattern.
  • the affinity information storage unit 108 has, for example, a pattern identifier or pattern, a word pair or a word pair identifier (or two word identifiers), and affinity information associated with each other.
  • the affinity information may be a degree of low affinity between the word pair and the pattern. In such a case, the smaller the affinity information, the higher the degree of affinity between the word pair and the pattern.
  • the affinity information storage unit 108 is preferably a nonvolatile recording medium, but can also be realized by a volatile recording medium. The process in which the affinity information is stored in the affinity information storage unit 108 does not matter. However, the affinity information storage unit 122 normally stores the affinity information calculated by the affinity information calculation unit 121 in the affinity information storage unit 108.
  • the excluded class pair storage unit 109 can store one or more excluded class pairs.
  • the excluded class pair is information indicating a class pair corresponding to a word pair that is not finally output.
  • the excluded class pair is usually information having two class identifiers. However, the excluded class pair may be original information from which two class identifiers such as a word pair can be acquired.
  • the excluded class pair storage unit 109 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium. The process of storing the excluded class pair in the excluded class pair storage unit 109 does not matter. However, normally, the excluded class pair acquired by the excluded class pair storage unit 130 is stored in the excluded class pair storage unit 109. However, the excluded class pairs may be accumulated in the excluded class pair storage unit 109 by the user's manual input.
  • the class appearance frequency information storage unit 110 can store class appearance frequency information for each class.
  • the class appearance frequency information is information having a pair of an average appearance frequency of words belonging to each class and a class identifier in one or more sentence groups.
  • the average appearance frequency is acquired by a class appearance frequency information acquisition unit (not shown) by, for example, the following processing.
  • the class appearance frequency information acquisition unit acquires the appearance frequencies (f1, f2,..., Fn) in one or more sentence groups of all words belonging to each class.
  • the class appearance frequency information acquisition unit calculates the average appearance frequency ((f1 + f2 +... + Fn) / n) of all the words in the class for each class.
  • the class appearance frequency information storage unit 110 is preferably a non-volatile recording medium, but can also be realized by a volatile recording medium.
  • the process in which the class appearance frequency information is stored in the class appearance frequency information storage unit 110 does not matter.
  • the class appearance frequency information calculated by the class appearance frequency information calculation unit 131 is accumulated in the class appearance frequency information storage unit 110.
  • the class appearance frequency information may be accumulated in the class appearance frequency information storage unit 110 by a user's manual input.
  • the word pair acquisition unit 111 acquires one or more seed patterns stored in the seed pattern storage unit 104, and acquires the seed patterns acquired from one or more sentence groups stored in the sentence group storage unit 101. Get one or more word pairs that co-occur with.
  • a pattern such as a seed pattern co-occurs with a word pair.
  • a pattern (a character string excluding word pairs) exists in a sentence, and two words that make up the word pair appear in the sentence. It is to be. For example, if the pattern is “X causes Y”, the words “X” and “Y” co-occur with the pattern “X causes Y”.
  • the word pair acquisition unit 111 “virus causes a cold” in a sentence in one or more sentence groups, so the word pairs “virus” and “cold”. To get.
  • the word pair acquisition unit 111 performs the following processing: The word pair “traffic accident” and “damage” are acquired. That is, the word pair acquisition unit 111 recognizes that “by” exists in “with respect to economic damage due to a traffic accident” by a language processing technique such as pattern matching.
  • the word pair acquisition unit 111 performs a morphological analysis on a sentence “with respect to economic damage due to a traffic accident” in one or more sentence groups, and determines that “traffic accident
  • the word pair acquisition unit 111 performs dependency analysis to obtain dependency information (arrow information) between morphemes as shown in FIG. Then, the word pair acquisition unit 111 acquires the noun “traffic accident” connected to “by” and the noun “damage” connected from “by”. This “traffic accident” and “damage” are word pairs.
  • JUMAN URL: http://nlp.kuee.kyoto-u.ac.jp/nl-resource/juman.html
  • ChaSen URL: http: // chasen.naist.jp/hiki/ChaSen/ etc.
  • JUMAN URL: http://nlp.kuee.kyoto-u.ac.jp/nl-resource/juman.html
  • ChaSen URL: http: // chasen.naist.jp/hiki/ChaSen/ etc.
  • JNP Japanese syntax analysis system
  • the word pair acquisition unit 111 uses one or more of the one or more seed patterns stored in the seed pattern storage unit 104 and one or more patterns (usually all) stored in the pattern storage unit 105 to generate a word It is more preferable to acquire a pair. That is, the word pair acquisition unit 111 sequentially acquires one or more seed patterns and one or more patterns, and from the one or more sentence groups stored in the sentence group storage unit 101, the seed pattern or pattern. It is further preferred to obtain one or more word pairs that co-occur with.
  • the word pair acquisition unit 111 may acquire a word pair without using a seed pattern or a pattern. That is, the word pair acquisition unit 111 may acquire a pair of two words (usually, nouns) from each sentence in one or more sentence groups. In such a case, the word pair acquisition unit 111 acquires one or more word pairs that co-occur in one sentence.
  • the word pair acquisition unit 111 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the word pair acquisition unit 111 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the word pair storage unit 112 stores one or more word pairs acquired by the word pair acquisition unit 111 in the word pair storage unit 102.
  • the word pair accumulation unit 112 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the word pair storage unit 112 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the word class information acquisition unit 113 acquires one or more word class information using one or more sentence groups in the sentence group storage unit 101. For example, the word class information acquisition unit 113 performs morphological analysis on each sentence in one or more sentence groups, and acquires a set of all verbs and particles or all verbs. In addition, the word class information acquisition unit 113 performs, for example, morphological analysis on each sentence in one or more sentence groups, and acquires all nouns (including noun phrases). Then, the word class information acquisition unit 113 calculates, for each noun, the number or rate at which each noun co-occurs with each verb / particle combination or each verb.
  • the word class information acquisition unit 113 acquires, for each noun, a vector having, as elements, the combination of each verb and particle or the number or ratio of co-occurrence with each verb.
  • the word class information acquisition unit 113 acquires word class information, assuming that a set of nouns that are more similar to a vector for each noun than a predetermined class belongs to one class.
  • the word class information is information having one or more words and a class identifier.
  • the number of classes is a large number such as hundreds or thousands.
  • the word class information acquisition unit 113 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the word class information acquisition unit 113 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the word class information accumulation unit 114 accumulates two or more word class information acquired by the word class information acquisition unit 113 in the word class information storage unit 103.
  • the word class information storage unit 114 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the word class information storage unit 114 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the pattern acquisition unit 115 acquires a pattern from each sentence of one or more sentence groups stored in the sentence group storage unit 101. Specifically, for example, the pattern acquisition unit 115 performs morphological analysis and dependency analysis on each sentence of one or more sentence groups stored in the sentence group storage unit 101 to obtain a first noun (noun phrase). Is included as a starting point, and the second noun is used as an end point, and a morpheme connection from the starting point to the end point is acquired as a pattern. Alternatively, it is more preferable that the pattern acquisition unit 115 acquires a pattern from the morpheme connection from the start point to the morpheme connection from the end point.
  • the pattern acquisition unit 115 performs a morphological analysis on the sentence and obtains “traffic accident
  • the morpheme group “economic” that leads to the second noun “damage” is deleted from the pattern.
  • the pattern acquisition unit 115 performs a morphological analysis on the sentence and obtains a “traffic accident
  • the pattern acquisition unit 115 connects the morpheme from the starting point that is the first noun “traffic accident” to the morpheme “damage” that connects the morpheme from the end point that is the second noun “economy”. Is obtained as a pattern.
  • the pattern acquisition unit 115 acquires “Y damage caused by X” as a pattern.
  • the pattern acquisition unit 115 may acquire a pattern using two given nouns (word pairs). That is, for example, when two nouns “traffic accident” and “damage” are given, the pattern acquisition unit 115 includes “traffic accident” and “damage” in “regarding economic damage due to traffic accident”. It is detected that Then, the pattern acquisition unit 115 performs morphological analysis and dependency analysis on “with regard to economic damage due to a traffic accident”, and obtains dependency information of FIG. 4. Next, the pattern acquisition unit 115 acquires the first noun “traffic accident” as a starting point, the second noun “damage” as an end point, and the morpheme connection “Y by X” from the starting point to the end point as a pattern. To do.
  • the pattern acquisition unit 115 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the pattern acquisition unit 115 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the pattern storage unit 116 stores one or more patterns acquired by the pattern acquisition unit 115 in the pattern storage unit 105.
  • the pattern storage unit 116 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the pattern storage unit 116 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the class pair goodness degree calculation unit 117 increases the number or ratio of word pairs belonging to two classes that co-occur with one or more seed patterns in one or more sentence groups of the sentence group storage unit 101.
  • the class pair goodness is calculated so that the pair goodness is large.
  • the class pair goodness (CScore (ci, cj, P)) is calculated by, for example, Equation 1 below. In Equation 1, since the class pair goodness indicates the goodness of the class pair, when the class pair goodness is an index indicating the badness of the class pair, CScore (ci, cj, P) is, for example, This is the reciprocal of the calculation result in Equation 1.
  • ni and nj are nouns (words).
  • ci and cj are classes.
  • P is a set of seed patterns. * Indicates an arbitrary pattern.
  • is the frequency at which the nouns ni and nj co-occur with a set of seed patterns. That is, “
  • ⁇ p ⁇ P
  • is the frequency at which the nouns ni and nj co-occur with an arbitrary pattern in one or more sentence groups (M).
  • ⁇ represents a condition. ⁇ is a condition that it must co-occur with a predetermined number of different seed patterns.
  • An example of ⁇ is Equation 2.
  • ni and nj co-occur with different seed patterns of ⁇ (for example, 3) or more. That is, when Equation 2 is the condition ( ⁇ ), the class pair goodness of a word pair (ni or nj) that co-occurs only with a seed pattern of 2 or less is 0.
  • Equation 2 M is one or more sentence groups.
  • the class pair goodness (CScore (ci, cj, P)) increases as the number or ratio of words belonging to each of the two classes co-occurs with one or more seed patterns. It is an example of a calculation formula that increases. In addition, Formula 1 is an example of a calculation formula that reduces the degree as the number of times words belonging to two classes co-occur with patterns other than the seed pattern increase.
  • the degree of the degree increases as the number or ratio of words belonging to two classes co-occurs with one or more seed patterns. Calculated to be smaller. In this case as well, it is equivalent to calculating the class vs. goodness so that the higher the number or ratio of words belonging to each of the two classes co-occurring with one or more seed patterns, the greater the class vs. goodness. To capture.
  • the class vs. goodness calculation unit 117 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the class pair goodness degree calculation unit 117 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the class pair goodness accumulation unit 118 accumulates the class pair goodness degree calculated by the class pair goodness degree calculation unit 117 in the class pair goodness degree storage unit 106.
  • the class pair goodness accumulation unit 118 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the class pair goodness accumulation unit 118 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the pattern similarity calculation unit 119 calculates the similarity between one or more seed patterns and each pattern stored in the pattern storage unit 105.
  • the pattern similarity calculation unit 119 normally increases the overlap between a class pair corresponding to a word pair co-occurring with one or more seed patterns and a class pair corresponding to a word pair co-occurring with one or more patterns. The similarity is calculated so that the similarity between the seed pattern and the pattern increases.
  • the pattern similarity calculation unit 119 calculates the similarity between the seed pattern and the pattern, for example, using Equation 3, Equation 4, Equation 5, Equation 6, or Equation 7. That is, the degree of similarity is Para 1 (p ci ⁇ cj , P), Para 2 (p ci ⁇ cj , P), Para 3 (p ci ⁇ cj , P), Para 4 (p ci ⁇ cj , P), Or Para 5 (p ci ⁇ cj , P).
  • P is a set of seed patterns, and p is any pattern. Usually, p may be a seed pattern.
  • Equation 3 the similarity between the seed pattern and the pattern is (Para 1 (p ci ⁇ cj , P)).
  • I (p ci ⁇ cj ) indicates a set of instances in which a certain pattern p and words ni and nj belonging to class ci and class cj co-occur.
  • I (p ci ⁇ cj ) is ⁇ (ni, nj) ⁇ ci ⁇ cj
  • (P ci ⁇ cj ) indicates an instance in which any seed pattern, words ni and nj belonging to class ci and class cj co-occur.
  • I (P ci ⁇ cj ) ⁇ p ⁇ P I (p ci ⁇ cj )”.
  • is the number of instances where “I (p ci ⁇ cj )” and “(P ci ⁇ cj )” overlap.
  • is the number of instances of the union of “I (p ci ⁇ cj )” and “(P ci ⁇ cj )” .
  • Para1 is calculated as a Jaccard coefficient of words ni and nj belonging to class ci and class cj co-occurring with pattern p, and words ni and nj belonging to class ci and class cj co-occurring with seed pattern set (P). Is done. With Para1, an appropriate class can be selected from many word pairs “p ci ⁇ cj ” that are class-dependent and are generated using the pattern p.
  • Equation 3 the larger the overlap between a class pair corresponding to a word pair co-occurring with one or more seed patterns and a class pair corresponding to a word pair co-occurring with one or more patterns, The similarity is calculated so that the similarity with the pattern is increased. Also, using Equation 3, the similarity is calculated such that the greater the number of instances of the union of “I (p ci ⁇ cj )” and “(P ci ⁇ cj )”, the smaller the similarity.
  • the pattern similarity calculation unit 119 calculates “I (p ci ⁇ cj )” and “(P ci ⁇ cj )” when calculating the similarity between the seed pattern and the pattern using Equation 3, for example. It is preferable to remove patterns (
  • 0) that do not intersect each other. As a result, the processing speed can be increased.
  • the similarity (Para 3 ′) between the seed pattern and the pattern may be calculated as follows.
  • a vector Vp having a word pair co-occurring with p as a vector element and the number of word pairs co-occurring with the pattern p as a value of the vector element of the word pair is constructed with respect to p.
  • a vector VP is constructed with respect to P, in which word pairs co-occurring with the seed pattern P are vector dimensions, and the number of word pairs co-occurring with P is the value of the vector dimension of the word pairs.
  • the seed pattern P is a set, a vector is created for each p of P, and the sum of the vectors is a vector of P.
  • the distance or angle of these vectors is calculated.
  • the square root of the sum of the squares of the difference between the element values of the vectors Vp and VP.
  • the angle can be calculated by Vp ⁇ VP /
  • Vp ⁇ VP is an inner product (sum of products of element values of Vp and VP), and
  • Equation 4 a class-independent pattern is also included in the similarity calculation.
  • Formula 4 is a modification using “Para 1 (p ci ⁇ cj , P)” of Formula 3.
  • a sparseness problem There is a problem that a rare class combination contains only a few instances (called a sparseness problem). Equation 4 solves this sparseness problem.
  • I (p)” in Expression 4 is a set of instances of word pairs that co-occur with the pattern p in the sentence group (M).
  • I (P)” is a set of instances of word pairs that co-occur with the seed pattern P.
  • is the number of instances where “I (p)” and “I (P)” overlap.
  • Equation 4 supplements the Jaccard coefficient in the class pair. That is, in Equation 4, calculation is performed for all word pairs, not limited to the word pairs included in the class.
  • the similarity is calculated so that the similarity between the seed pattern and the pattern increases. Also, the similarity is calculated such that the greater the number of instances of the union of “I (p ci ⁇ cj )” and “(P ci ⁇ cj )”, the smaller the similarity. Also, using Equation 4, the similarity is calculated so that the similarity between the seed pattern and the pattern increases as the number of overlapping instances of “I (p)” and “I (P)” increases. The Furthermore, using Equation 4, the similarity is calculated so that the similarity decreases as the number of instances of the union of “I (p)” and “I (P)” increases.
  • Equation 5
  • Formula 5 may be a decreasing function having
  • Equation 6 max (
  • as a parameter may be used.
  • p 2 ) is expressed as Expression 8.
  • p 2 ) in Expression 8 is a Kullback-Leibler divergence (also referred to as KL divergence) between the probability distributions p1 and p2.
  • KL divergence also referred to as KL divergence
  • Kullback-Leibler divergence see “Kazuma Kazama, De Saeger, Stijn, Kentaro Torizawa, Maki Murata," Creating Large Similar Word Lists Using Dependent Stochastic Clustering ", 15th Annual Meeting of the Association for Language Processing (NLP2009) ) "And the like. Since Kullback-Leibler divergence is publicly known, detailed description thereof is omitted.
  • Equations 7 and 8 are probability distributions in which a word pair (ni, nj) belonging to the class pair ci ⁇ cj and p ci ⁇ cj co-occur.
  • p 2 is a probability distribution in which a word pair (ni, nj) belonging to the class pair ci ⁇ cj and P co-occur.
  • a vector Vp having a value obtained by dividing the word pair co-occurring with the pattern p by the vector dimension and dividing the number of word pairs co-occurring by p by the total number of occurrences of p is a vector dimension value of the word pair.
  • the value of the element (ni, nj) of each vector is p1 (ni, nj).
  • a vector VP having a value obtained by dividing the word pair co-occurring with the seed pattern P by the dimension of the vector and dividing the number of word pairs co-occurring with P by the total number of occurrences of P is a value of the dimension of the vector of the word pair. Is created for P.
  • the value of the element (ni, nj) of each vector is p2 (ni, nj).
  • KL divergence is also an index that takes a large degree of similarity between vectors. That is, in KL divergence, for example, when p 1 and p 2 are the same, p 1 / p 2 of DKL becomes 1, log 2 p 1 / p 2 becomes 0, and KL divergence also becomes 0. When p 1 and p 2 are different values, the final KL divergence value is a positive value.
  • the pattern similarity calculation unit 119 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the pattern similarity calculation unit 119 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the pattern similarity accumulation unit 120 accumulates the pattern similarity calculated by the pattern similarity calculation unit 119 in the pattern similarity storage unit 107 for each pattern.
  • the pattern similarity accumulation unit 120 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the pattern similarity accumulation unit 120 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the affinity information calculation unit 121 calculates affinity information between word pairs and patterns.
  • the affinity information calculation unit 121 calculates the affinity information so that the larger the number or ratio of the one or more word pairs acquired by the word pair acquisition unit 111 and the one or more patterns co-occurs, the larger the ratio. That is preferred.
  • the affinity information calculation unit 121 calculates the affinity between the word pair and the pattern using, for example, Equation 9 or Equation 10.
  • is the frequency with which the word pair (n, n ′) and the pattern p co-occur. That is, the affinity information calculation unit 121 calculates the affinity information so as to increase as the frequency increases.
  • is the frequency at which the word pair (n, n ′) co-occurs with an arbitrary pattern (that is, the occurrence of the word pair (n, n ′)). .
  • is the appearance frequency of the pattern p.
  • the affinity information has a smaller value as the frequency of the word pair (n, n ′) co-occurring with an arbitrary pattern increases.
  • the affinity information has a smaller value as the appearance frequency of the pattern p is higher.
  • the affinity information calculation unit 121 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the affinity information calculation unit 121 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the affinity information accumulation unit 122 accumulates the affinity information calculated by the affinity information calculation unit 121 in the affinity information storage unit 108.
  • the affinity information storage unit 122 normally stores the word pair, the pattern, and the affinity information in association with each other in the affinity information storage unit 108.
  • the affinity information storage unit 122 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the affinity information storage unit 122 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the class pair goodness level acquisition unit 123 acquires, from the class pair goodness level storage unit 106, class pair goodness levels of two classes to which each word included in one or more word pairs acquired by the word pair acquisition unit 111 belongs.
  • the class pair goodness level acquisition unit 123 normally acquires a class identifier pair (two class identifiers) that are two class identifiers of two classes from the word class information storage unit 103, and corresponds to the class identifier pair.
  • the class pair goodness to be acquired is acquired from the class pair goodness degree storage unit 106.
  • the class pair goodness level acquisition unit 123 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the class pair goodness level acquisition unit 123 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the pattern similarity acquisition unit 124 acquires the similarity between the seed pattern and the pattern from the pattern similarity storage unit 107.
  • the pattern similarity acquisition unit 124 acquires, for example, the similarity corresponding to the pattern identifier that identifies the pattern to be score-calculated from the pattern similarity storage unit 107.
  • the pattern similarity acquisition unit 124 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the pattern similarity acquisition unit 124 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the affinity information acquisition unit 125 acquires the affinity information from the affinity information storage unit 108.
  • the affinity information acquisition unit 125 acquires, for example, the affinity information corresponding to the score calculation target pattern and the score calculation target word pair from the affinity information storage unit 108.
  • the affinity information acquisition unit 125 can usually be realized by an MPU, a memory, or the like.
  • the processing procedure of the affinity information acquisition unit 125 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the score determination unit 126 determines the score of each word pair acquired by the word pair acquisition unit 111 using the class pair goodness acquired by the class pair goodness acquisition unit 123.
  • the score determination unit 126 determines the score by an arithmetic expression using the class pair goodness degree as an increasing function.
  • the score determination unit 126 also uses the similarity between one or more patterns stored in the pattern similarity storage unit 107 and the seed pattern to obtain the score of each word pair acquired by the word pair acquisition unit 111. It is preferable to determine. In such a case, the score determination unit 126 determines the score by an arithmetic expression using the similarity as an increasing function.
  • the score determination unit 126 determines the score of each word pair acquired by the word pair acquisition unit 111 using the affinity information in the affinity information storage unit 108 as well. In such a case, the score determination unit 126 determines the score by an arithmetic expression using the affinity information as an increasing function.
  • the score determination unit 126 calculates the score in the seed pattern or pattern having the largest product of the class pair goodness, the similarity between the seed pattern and the pattern, and the affinity information, for each word pair. It is preferable to determine this as a score.
  • the score determination unit 126 can apply any of Para1 to Para5 described above to Para in Equation 11, for example. Further, the score determination unit 126 can apply either Assoc1 or Assoc2 described above to Assoc in Expression 11. That is, the equation 11 may be more specifically the following equation 12, the equation 13, the equation 14, or the like. In Expressions 12 to 14, the argument and the operator “max” are omitted. Note that the method of calculating the score using Equation 12 is referred to as Class Dependent I (CD-I). Further, the method of calculating the score by Equation 13 is referred to as Class Dependent II (CD-II). Further, the method of calculating the score using Equation 14 is referred to as Class Dependent III (CD-III).
  • the score was calculated by the product of three values of Cscore, Para, and Assoc. However, the score may be calculated by the sum of three values, or the score may be calculated by Cscore 2 ⁇ Para ⁇ Assoc. That is, the score may be calculated using Cscore, Para, and Assoc as parameters. Also, the score usually increases as Cscore increases, increases as Para increases, and increases as Assoc increases.
  • the score determination unit 126 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the score determination unit 126 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the word pair selection unit 127 acquires one or more word pairs having a higher score as the score determined by the score determination unit 126 satisfies a predetermined condition.
  • the word pair selection unit 127 normally sorts the word pairs based on the score, and acquires, for example, word pairs whose score is equal to or greater than a threshold value.
  • the word pair selection unit 127 may sort the word pairs based on the score, and acquire a predetermined number (for example, 1000) of word pairs from the highest score.
  • the word pair selection unit 127 may sort the word pairs based on the score, and for example, the word pair output unit 128 may output all the word pairs in descending order from the highest score. Also in this case, the word pair selection unit 127 acquires one or more word pairs, and the word pair output unit 128 outputs one or more word pairs.
  • the word pair selection unit 127 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the word pair selection unit 127 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the word pair output unit 128 outputs one or more word pairs acquired by the word pair selection unit 127.
  • output refers to display on a display, projection using a projector, printing on a printer, sound output, transmission to an external device, storage in a recording medium, output to another processing device or other program, etc. It is a concept that includes delivery of processing results.
  • the word pair output unit 128 may or may not include an output device such as a display or a speaker.
  • the word pair output unit 128 can be realized by driver software of an output device or driver software of an output device and an output device.
  • the word pair exclusion unit 129 excludes a word pair corresponding to one or more exclusion class pairs stored in the exclusion class pair storage unit 109 from a word pair that is output.
  • the word pair output unit 128 normally does not output the word pairs excluded by the word pair exclusion unit 129.
  • to exclude means to delete normally. However, excluding may include lowering the score or lowering the rank of the word pair (for example, lowering the rank).
  • the word pair exclusion unit 129 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the word pair exclusion unit 129 is usually realized by software, and the software is recorded in a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • the excluded class pair accumulating unit 130 accumulates, in the excluded class pair storage unit 109, class identifiers of two classes whose average appearance frequency has a difference equal to or greater than a predetermined threshold as an excluded class pair.
  • the threshold is, for example, 25 times.
  • the excluded class pair accumulation unit 130 can be usually realized by an MPU, a memory, or the like.
  • the processing procedure of the excluded class pair accumulation unit 130 is usually realized by software, and the software is recorded on a recording medium such as a ROM. However, it may be realized by hardware (dedicated circuit).
  • a word pair storage unit 102 a word class information storage unit 103, a seed pattern storage unit 104, a pattern storage unit 105, a class pair goodness degree storage unit 106, a pattern similarity degree storage unit 107, and an affinity information storage unit
  • a process of outputting word pairs having a predetermined relationship after information that can be stored in each of the constituent elements is stored in the constituent elements 108 and the excluded class pair storage unit 109 will be described.
  • Step S601 The score determination unit 126 assigns 1 to the counter i.
  • Step S602 The score determination unit 126 determines whether there is an i-th word pair among the word pairs in the word pair storage unit 102 or the word pairs acquired by the word pair acquisition unit 111. If the i-th word pair exists, the process goes to step S603, and if the i-th word pair does not exist, the process goes to step S618.
  • Step S603 The score determination unit 126 acquires the i-th word pair.
  • the score determination unit 126 acquires a class pair for the i-th word pair.
  • the class pair may be two class identifiers.
  • Step S605 The score determination unit 126 determines whether or not the class pair acquired in Step S604 is an excluded class pair stored in the excluded class pair storage unit 109. If it is an excluded class pair, go to Step S617, and if it is not an excluded class pair, go to Step S606.
  • Step S606 The score determination unit 126 acquires the class pair goodness level corresponding to the class pair acquired in Step S604 from the class pair goodness level storage unit 106.
  • Step S607 The score determination unit 126 assigns 1 to the counter j.
  • Step S608 The score determination unit 126 determines whether or not the j-th pattern exists in the pattern storage unit 105 or the seed pattern storage unit 104. If the j-th pattern exists, go to step S609, and if not, go to step S615.
  • Step S609 The score determination unit 126 acquires the jth pattern from the pattern storage unit 105 or the seed pattern storage unit 104.
  • Step S610 The score determination unit 126 acquires the similarity corresponding to the j-th pattern from the pattern similarity storage unit 107.
  • Step S611 The score determination unit 126 acquires the affinity information corresponding to the i-th word pair and the j-th pattern from the affinity information storage unit 108.
  • Step S612 The score determination unit 126 uses the class pair goodness degree acquired in step S606, the similarity degree acquired in step S610, and the affinity information acquired in step S611, and the i th word pair and the j th The score corresponding to the pattern is calculated.
  • Step S613 The score determination unit 126 temporarily stores the score corresponding to the j-th pattern calculated in Step S612 in the buffer.
  • Step S614 The score determination unit 126 increments the counter j by 1. The process returns to step S608.
  • Step S615 The score determination unit 126 acquires the maximum score among the scores temporarily stored in the buffer in Step S613.
  • Step S616 The score determination unit 126 accumulates the score acquired in step S615 in association with the i-th word pair.
  • Step S617 The score determination unit 126 increments the counter i by 1. The process returns to step S602.
  • Step S618 The word pair selection unit 127 sorts the word pairs using the score accumulated in Step S616 as a key.
  • Step S619) The word pair selection unit 127 acquires one or more word pairs having a higher score as the predetermined condition is satisfied among the word pairs sorted in Step S618.
  • Step S620 The word pair output unit 128 outputs one or more word pairs acquired in step S619, and ends the process.
  • the class pair goodness in the pair goodness storage unit 106, the similarity in the pattern similarity storage unit 107, the affinity information in the affinity information storage unit 108, and the exclusion class pair in the exclusion class pair storage unit 109 are processed as described above. Is stored.
  • the word pair corresponding to the excluded class pair is excluded from the processing in step S605.
  • the process of removing the word pair belonging to the excluded class pair from the output word pair may be at another timing (for example, immediately before output).
  • the text group storage unit 101 stores one or more web pages on the web.
  • the word pair storage unit 102 stores a large number of word pairs that are nouns acquired from one or more web pages.
  • the word class information storage unit 103 holds, for example, a word class information management table as shown in FIG.
  • the word class information management table shown in FIG. 7 shows only the word class information of class identifiers “C 290 ” and “C 471 ”.
  • One word may belong to a plurality of classes.
  • surface is the information which the word class information acquisition part 113 acquired by the process mentioned above, for example.
  • the class appearance frequency information storage unit 110 holds a class appearance frequency information management table shown in FIG.
  • the class appearance frequency information management table is a record having “class” and “average appearance frequency”.
  • Class is a class identifier.
  • Average appearance frequency is the average appearance frequency of word pairs belonging to the class identified by the class identifier.
  • Experiment 1 is an experiment to acquire word pairs of cause and effect.
  • Experiment 2 is an experiment for acquiring word pairs of products and materials.
  • Experiment 3 is an experiment for acquiring the phenomenon and the prevention means.
  • the first of the four baseline methods is a method called Epresso (ESP) (see Non-Patent Document 1).
  • ESP Epresso
  • the ESP gives a small amount of word pairs to be extracted and acquires a pattern from the word pairs.
  • the conventional word pair acquisition apparatus acquires the word pair which co-occurs with the acquired pattern.
  • ESP is an iterative bootstrap method.
  • the second method among the four baseline methods is a method that does not use a class.
  • this second method is called Single Class (SC), and the score of the word pair is calculated by Equation 15.
  • I (p) is an instance of a word pair that co-occurs with the pattern p
  • I (P) is an instance of a word pair that co-occurs with the seed pattern P.
  • is the number of instances of overlap (difference set) of “I (p)” and “I (P)”.
  • is the number of instances of the union of “I (p)” and “I (P)”.
  • the third method and the fourth method of the four baseline methods are random baseline methods.
  • the third method is called “RI”.
  • RI is a method of acquiring word pairs co-occurring with the pattern p from one or more sentence groups.
  • the fourth method is called “R-II”.
  • R-II is a method for acquiring word pairs co-occurring with the seed pattern P from one or more sentence groups.
  • the method using the word pair acquisition apparatus 1 includes the above-described CD-I, CD-II, and CD-III.
  • the seed pattern given to all methods is the same in each of the three experiments. However, of course, the seed patterns used in the three experiments are different. Then, three judges determine whether the word pair output by each method is correct.
  • the set of ranked word pairs that is an output is divided into segments.
  • the segments are, for example, the top 5000, the top 5000 to 15000, the top 15000 to 35000, and the top 35000 to 75000.
  • accuracy the correct answer rate in which the word pairs are word pairs having a predetermined relationship was calculated.
  • two evaluation criteria were applied. The first is a “strict” judgment where the word pair is the correct answer only if three people are correct, and the second is that the word pair is determined to be the correct answer even if the majority (two) are correct. This is a “lenient” judgment.
  • a stop word list of 500 word pairs was used for evaluation. By doing so, we could exclude pronoun pairs, nounization pairs, and stopword pairs from the output of each method. (Experiment 1)
  • Experiment 1 is an experiment to acquire word pairs of cause and effect.
  • the seed pattern storage unit 104 stored 20 seed patterns such as “X causes Y” and “X causes Y”.
  • FIG. 10 is a graph showing the accuracy of each method in Experiment 1.
  • the horizontal axis (Samples Rank by Score) indicates a sample (word pair) ranked by score
  • the vertical axis indicates the accuracy rate of the word pair.
  • the accuracy of the top 60,000 word pairs is 70% or more, and the top 30,000 word pairs.
  • the accuracy of is 80% or more. This indicates that the accuracy of CD-III is extremely high compared to ESP and SC.
  • CD-II (lenient case) achieves an accuracy of about 93%. From the above, it can be said that the method using the class of CD-II and CD-III is extremely effective.
  • Experiment 2 is an experiment to acquire word pairs of products and materials.
  • the seed pattern storage unit 104 stored 14 seed patterns such as “Y is made of X” and “X is a material of Y”.
  • the word pair acquisition device 1 uses the word pair acquisition device 1, for example, an output such as a word pair as shown in FIG. 11 was obtained. Further, the word pair acquisition unit 111 of the word pair acquisition apparatus 1 can acquire 11,471 word pairs (after removing the 8,633 stop words). Moreover, the word pair acquisition apparatus 1 acquired 620 class pairs.
  • FIG. 12 is a graph showing the accuracy of each method in Experiment 2.
  • the CD-III method (lenient case) in the word pair acquisition apparatus 1 shows that the accuracy is 80% or more in the top 30,000 samples (segments).
  • the accuracy was about 50%, and the CD-III method was more than 30% superior to the espress.
  • CD-I and CD-II which are class-dependent methods, show very good results if you look at the higher-ranked segments. However, in CD-I and CD-II, the accuracy is drastically lowered in the lower rank. Note that espresso (lenient case) is superior to the low rank (about 30,000) of CD-I (lenient case).
  • Experiment 3 is an experiment to acquire word pairs of phenomenon and prevention means.
  • the seed pattern storage unit 104 stored 20 seed patterns such as “Prevent Y by X” and “X Prevent Y”.
  • an output such as a word pair as shown in FIG. 13 was obtained. Further, the word pair acquisition unit 111 of the word pair acquisition apparatus 1 can acquire 18,512 word pairs (after removing the stop words of 9,946). Moreover, the word pair acquisition apparatus 1 acquired 1,161 class pairs.
  • FIG. 14 is a graph showing the accuracy of each method in Experiment 3.
  • the CD-III method in the word pair acquisition apparatus 1 is superior to Epresso and SC in the top two segments (top 5,000 and 5,000 to 15,000). I understand that.
  • the word pair acquisition apparatus 1 was evaluated using the CD-III method as an extended method (CD-IIIa, CD-IIIb). The reason why the extended method is used is that the word pair acquired by the pattern including the seed pattern includes a word indicating an act of preventing itself from the specific prevention means.
  • the word pair acquired by the word pair acquisition device 1 includes “hungry” and “hungry” in “a mechanism for preventing hunger” and “a mechanism for preventing leakage” corresponding to the pattern “X to prevent Y” and “ There were word pairs such as “means”, “leakage” and “mechanism”. “Means” and “Mechanisms” were excluded as inappropriate. This is, for example, determining a word pair that is not adopted using the exclusion class pair in the exclusion class pair storage unit 109 described above.
  • CD-IIIa is similar to CD-III, except that word pairs corresponding to excluded class pairs in the excluded class pair storage unit 109 are excluded.
  • class identifiers of two classes having a difference in average appearance frequency equal to or greater than a predetermined threshold are taken as excluded class pairs.
  • the threshold value is 25 times.
  • the reason for using the excluded class pair is that a word belonging to a class to which a word having a very high appearance frequency belongs is unlikely to be a word constituting a good word pair having a predetermined relationship.
  • the difference in average appearance frequency between class 9 and class 49 is 25 times or more (about 135 times). Become.
  • CD-IIIb is similar to CD-III, like CD-IIIa, except that word pairs corresponding to excluded class pairs in the excluded class pair storage unit 109 are excluded. In CD-IIIb, nine exclusion class pairs are given manually. The experimenter checked the output of CD-III and determined nine excluded class pairs. According to FIG. 14, CD-IIIb generally shows good results.
  • word pairs having a predetermined relationship can be obtained with high accuracy.
  • the word pair score may be calculated using only the class pair goodness degree. In such a case, for example, the score may match the class pair goodness.
  • the word pair acquisition apparatus 1 has a sentence group storage unit that can store one or more sentence groups, and one or more words and a class identifier that identifies a class to which the one or more words belong to 2
  • a word class information storage unit that can store the above word class information
  • a class pair goodness storage unit that can store a class pair goodness index that is an index indicating the goodness of two classes
  • two words having a predetermined relationship One of a seed pattern storage unit that can store one or more seed patterns, which are patterns used to acquire a pair, and one or more seed patterns stored in the seed pattern storage unit, and the sentence group
  • a word pair acquisition unit that acquires one or more word pairs co-occurring with the acquired seed pattern from one or more sentence groups stored in the storage unit, and one or more acquired by the word pair acquisition unit
  • a class pair goodness acquisition unit that acquires the class pair goodness of two classes to which
  • the word class information storage unit 103 may store probability distribution information for each word.
  • Probability distribution information is information on the distribution (set) of probabilities whose terms belong to each of one or more classes.
  • the probability distribution information can constitute a vector.
  • a class is an information group having one or more nouns or an information group having one or more abstracted nouns.
  • a class is, for example, a set of nouns that are likely to co-occur with the same verb or the same verb / particle combination. Classes are referred to as hidden classes as appropriate.
  • the word class information stored in the word class information storage unit 103 is as shown in FIG.
  • FIG. 15 is a probability distribution management table.
  • Each piece of data in the probability distribution management table is a vector having a probability belonging to each class for each word.
  • This vector also associates one or more words with the class identifier of the class to which the one or more words belong. It can be said that it is a kind of word class information possessed.
  • the class identifier is determined by the element number in the vector.
  • the word class information acquisition unit 113 may construct a probability distribution management table as shown in FIG. 15 using one or more sentence groups in the sentence group storage unit 101. That is, for example, using a set of 1,000,000 noun phrases and a set of 100,000 verbs and particles, the probability “P ( ⁇ v, rel>
  • n)” of occurrence of a set of ⁇ v, rel> can be calculated by the following Expression 16.
  • n) is a probability distribution of the grammatical context of the noun n.
  • v is a verb
  • rel is a particle
  • n is a noun (including a noun phrase).
  • a noun corresponds to a word.
  • a clause composed of a noun n and a particle rel modifies a clause including the verb v, it is assumed that “noun n co-occurs with ⁇ v, rel>”.
  • Equation 16 may be “P ( ⁇ v, rel>
  • n) (f ( ⁇ v, rel, n>) + 1) / ( ⁇ f ( ⁇ v, rel, n>) + 1).
  • f ( ⁇ v, rel, n>) is the appearance frequency of ⁇ v, rel, n>.
  • D is a set defined as ⁇ v, rel>
  • the word class information acquisition unit 113 may classify the noun by a class classification method “EM-based clustering”. That is, the word class information acquisition unit 113 calculates the appearance probability of a set of ⁇ v, rel, n> expressed by the following formula 17.
  • Equation 17 “a” indicates a set of ⁇ v, rel> and a hidden class of “n”.
  • a)”, and “P (a)” cannot be directly calculated. This is because the hidden class “a” cannot be acquired from the given corpus.
  • EM-based clustering is obtained from a given corpus (a group of one or more sentences) with these probabilities (“P ( ⁇ v, rel>
  • “EM-based clustering” consists of two steps, “E step” and “M step”. In “E step”, the probability “P ( ⁇ v, rel>
  • n) is used to determine n classes. For example, the class having the largest “P (a
  • a word pair that co-occurs with the seed pattern is extracted from the sentence group in the sentence group storage unit 101 by means not shown or any of the above-described components (invention specific matter), and the word pair is determined in advance.
  • the number of class pairs is limited to at least the number (threshold is stored in advance).
  • the above-described processing word pair acquisition processing, class pair goodness calculation, pattern similarity calculation, score calculation, Calculation. As a result, the processing speed can be increased.
  • the processing in the present embodiment may be realized by software. Then, this software may be distributed by software download or the like. Further, this software may be recorded on a recording medium such as a CD-ROM and distributed. This also applies to other embodiments in this specification.
  • the software that implements the information processing apparatus according to the present embodiment is the following program. That is, this program stores one or more sentence groups in a storage medium, and includes two or more word class information having one or more words and a class identifier for identifying a class to which the one or more words belong.
  • class pair goodness which is an index indicating the goodness of two classes
  • seed patterns which are patterns used to acquire two word pairs having a predetermined relationship
  • One or more seed patterns stored in the storage medium are acquired by the computer, and one or more seed patterns co-occurring with the acquired seed patterns from one or more sentence groups stored in the storage medium
  • a word pair acquisition unit that acquires word pairs, and class pair goodness of two classes to which each word of one or more word pairs acquired by the word pair acquisition unit belongs is acquired from the storage medium.
  • a score determination unit that determines a score of each word pair acquired by the word pair acquisition unit using the class pair goodness acquisition unit, the class pair goodness level acquired by the class pair goodness acquisition unit, and the score determination
  • the word pair selection unit that acquires one or more word pairs having a higher score, and the word pair that outputs the one or more word pairs acquired by the word pair selection unit, as the score determined by the unit satisfies a predetermined condition This is a program for functioning as an output unit.
  • the computer may be configured such that the number or ratio of the word pairs belonging to each of the two classes co-occurs with the one or more seed patterns in the one or more sentence groups of the sentence group storage unit. Further function as a class-to-goodness calculation unit for calculating the class-to-goodness so that the class-to-goodness becomes large,
  • the class pair goodness degree of the two classes calculated by the class pair goodness degree calculation unit is preferably the class pair goodness degree stored in the storage medium.
  • the storage medium is a pattern that is not a seed pattern, and is used to acquire two word pairs having the predetermined relationship, and the one or more patterns and the patterns
  • the similarity with the seed pattern is further stored for each pattern, and the word pair acquisition unit includes one or more seed patterns stored in the storage medium and one or more patterns stored in the storage medium.
  • One is acquired, and one or more word pairs co-occurring with the seed pattern or the pattern is acquired from one or more sentence groups stored in the storage medium, and the score determination unit is stored in the storage medium.
  • the score of each word pair acquired by the word pair acquisition unit is also used using the similarity between the stored one or more patterns and the seed pattern.
  • it is preferably a program for causing a computer to function.
  • the computer corresponds to a class pair corresponding to a word pair co-occurring with the one or more seed patterns and a word pair co-occurring with one or more patterns stored in the storage medium.
  • the pattern similarity calculation unit further calculates the similarity so that the larger the overlap with the class pair is, the similarity calculated by the pattern similarity calculation unit is similar to that stored in the storage medium. A degree is preferred.
  • the storage medium further stores affinity information, which is information regarding the affinity between one or more word pairs and one or more patterns
  • the score determination unit is configured to store the affinity of the storage medium. It is preferable that the program functions as a computer that determines the score of each word pair acquired by the word pair acquisition unit using sex information.
  • the computer may display affinity information so that the larger the number or ratio of one or more word pairs acquired by the word pair acquisition unit and the one or more patterns co-occurs, the larger the information. It is preferable to further function as an affinity information calculation unit to calculate, and the affinity information of the storage medium is the affinity information calculated by the affinity information calculation unit.
  • the score determination unit calculates the score in the seed pattern or pattern having the largest product of the class pair goodness, the similarity between the seed pattern and the pattern, and the affinity information, for each word pair. It is preferable that the program is a program that causes a computer to function as a score to be determined.
  • the computer performs morphological analysis and dependency analysis on each sentence of one or more sentence groups stored in the storage medium, and uses the first noun or noun phrase as a starting point.
  • a noun or noun phrase as an end point, and a morpheme connection from the start point to the end point is acquired as a pattern, or a morpheme connection from the start point and a morpheme connection from the end point is patterned
  • one or more exclusion class pairs that are two class identifiers for identifying class pairs corresponding to word pairs that are not finally output are stored in the storage medium, and the computer stores the one or more exclusion class pairs. It is preferable to further function as a word pair excluding unit that excludes word pairs corresponding to the word pairs that are output.
  • class appearance frequency information having a pair of an average appearance frequency of words belonging to each class and a class identifier in the one or more sentence groups is stored for each class, and a computer is stored. It is preferable that the class identifiers of two classes having a difference equal to or greater than a predetermined threshold in average appearance frequency be further functioned as an excluded class pair accumulation unit that accumulates in the excluded class pair storage unit as an excluded class pair. is there.
  • FIG. 16 shows the external appearance of a computer that executes the program described in this specification and realizes the word pair acquisition apparatus 1 and the like according to the above-described embodiment.
  • the above-described embodiments can be realized by computer hardware and a computer program executed thereon.
  • FIG. 16 is an overview diagram of the computer system 340
  • FIG. 17 is a diagram showing an internal configuration of the computer system 340. As shown in FIG.
  • the computer system 340 includes a computer 341 including an FD drive 3411 and a CD-ROM drive 3412, a keyboard 342, a mouse 343, and a monitor 344.
  • the computer 341 stores an MPU 3413, a bus 3414 connected to the CD-ROM drive 3412 and the FD drive 3411, and a program such as a bootup program.
  • ROM 3415 for connection, MPU 3413, RAM 3416 for temporarily storing application program instructions and providing a temporary storage space, and hard disk 3417 for storing application programs, system programs, and data .
  • the computer 341 may further include a network card that provides connection to the LAN.
  • a program that causes the computer system 340 to execute the functions of the word pair acquisition device 1 and the like of the above-described embodiment is stored in the CD-ROM 3501 or the FD 3502, inserted into the CD-ROM drive 3412 or the FD drive 3411, and It may be transferred to the hard disk 3417. Alternatively, the program may be transmitted to the computer 341 via a network (not shown) and stored in the hard disk 3417. The program is loaded into the RAM 3416 at the time of execution. The program may be loaded directly from the CD-ROM 3501, the FD 3502, or the network.
  • the program does not necessarily include an operating system (OS), a third-party program, or the like that causes the computer 341 to execute the functions of the word pair acquisition device 1 according to the above-described embodiment.
  • the program only needs to include an instruction portion that calls an appropriate function (module) in a controlled manner and obtains a desired result. How the computer system 340 operates is well known and will not be described in detail.
  • the computer that executes the program may be singular or plural. That is, centralized processing may be performed, or distributed processing may be performed.
  • each process may be realized by centralized processing by a single device (system), or by distributed processing by a plurality of devices. May be.
  • the word pair acquisition apparatus has an effect of appropriately acquiring word pairs having a predetermined relationship, and is useful as a word pair acquisition apparatus or the like.

Abstract

【課題】従来、所定の関係にある単語対を適切に取得できなかった。 【解決手段】単語のクラスを特定する単語クラス情報を格納し得る単語クラス情報格納部と、２つのクラスの良さを示すクラス対良好度を格納し得るクラス対良好度格納部と、所定の関係を有する２つの単語対を取得するために利用するシードパターンを１以上格納し得るシードパターン格納部と、１以上の文章群から、シードパターンと共起する１以上の単語対を取得する単語対取得部と、１以上の単語対に対応するクラス対良好度を取得するクラス対良好度取得部と、クラス対良好度を用いて、各単語対のスコアを決定するスコア決定部と、スコアが予め決められた条件を満たすほど高い１以上の単語対を取得する単語対選択部と、単語対選択部が取得した１以上の単語対を出力する単語対出力部とを具備する単語対取得装置により、単語対を適切に取得できる。

Description

単語対取得装置、単語対取得方法、およびプログラム
　本発明は、所定の関係を有する２つの単語対を取得する単語対取得装置等に関するものである。
　従来、取り出したい単語対を少量与えて、当該単語対からパターンを取得する単語対取得装置があった。そして、従来の単語対取得装置は、その取得したパターンと共起する単語対を取得するものであった（例えば、非特許文献１参照）。
P. Pantel and M. Pennacchiotti. Espresso: Leveraging generic patterns for automatically harvesting semantic relations.In Proceedings of the 21st International Conference on Computational Linguistics and 44th Annual Meeting of the Association for Computational Linguistics (COLINGACL-06), pages 113-120, 2006.
　しかしながら、従来の単語対取得装置においては、所定の関係にある単語対を適切に取得できなかった。
　本第一の発明の単語対取得装置は、１以上の文章群を格納し得る文章群格納部と、１以上の単語と１以上の単語が属するクラスを識別するクラス識別子とを対応づけて有する２以上の単語クラス情報を格納し得る単語クラス情報格納部と、２つのクラスの良さを示す指標であるクラス対良好度を格納し得るクラス対良好度格納部と、２つの単語である単語対を１以上格納し得る単語対格納部と、単語対格納部に格納されている１以上の単語対が有する各単語が属する２つのクラスのクラス対良好度をクラス対良好度格納部から取得するクラス対良好度取得部と、クラス対良好度取得部が取得したクラス対良好度を用いて、単語対格納部の各単語対のスコアを決定するスコア決定部と、スコア決定部が決定したスコアが予め決められた条件を満たすほど、スコアが高い１以上の単語対を取得する単語対選択部と、単語対選択部が取得した１以上の単語対を出力する単語対出力部とを具備する単語対取得装置である。
　かかる構成により、クラス対良好度を用いて、所定の関係にある単語対を適切に取得できる。
　また、本第二の発明の単語対取得装置は、第一の発明に対して、所定の関係を有する２つの単語対を取得するために利用するパターンであるシードパターンを１以上格納し得るシードパターン格納部と、２つの各クラスに属する単語対が、文章群格納部の１以上の文章群の中で、１以上のシードパターンと共起する回数または割合が多いほどクラス対良好度が大きくなるようにクラス対良好度を算出するクラス対良好度算出部とをさらに具備し、クラス対良好度算出部が算出した２つのクラスのクラス対良好度は、クラス対良好度格納部に格納されているクラス対良好度である単語対取得装置である。
　かかる構成により、クラス対良好度が適切に算出でき、そのクラス対良好度を用いて、所定の関係にある単語対を適切に取得できる。
　また、本第三の発明の単語対取得装置は、第一または第二の発明に対して、シードパターンではないパターンであり、所定の関係を有する２つの単語対を取得するために利用するパターンを１以上格納し得るパターン格納部と、パターン格納部に格納されている１以上の各パターンとシードパターンとの類似度を、パターンごとに格納し得るパターン類似度格納部と、シードパターン格納部に格納されている１以上のシードパターン、およびパターン格納部に格納されている１以上のパターンのいずれかを取得し、文章群格納部に格納されている１以上の文章群から、シードパターンまたはパターンと共起する１以上の単語対を取得する単語対取得部とをさらに具備し、スコア決定部は、パターン類似度格納部に格納されている１以上の各パターンとシードパターンとの類似度をも用いて、単語対取得部が取得した各単語対のスコアを決定する単語対取得装置である。
　かかる構成により、シードパターンとパターンとの類似度を用いて、所定の関係にある単語対をさらに適切に取得できる。
　また、本第四の発明の単語対取得装置は、第三の発明に対して、１以上のシードパターンと共起する単語対に対応するクラス対と、パターン格納部に格納されている１以上の各パターンと共起する単語対に対応するクラス対との重なりが大きいほど、大きくなるように類似度を算出するパターン類似度算出部をさらに具備し、パターン類似度算出部が算出した類似度は、パターン類似度格納部に格納されている類似度である単語対取得装置である。
　かかる構成により、シードパターンとパターンとの類似度を適切に算出でき、その類似度を用いて、所定の関係にある単語対をさらに適切に取得できる。
　また、本第五の発明の単語対取得装置は、第一から第四いずれかの発明に対して、１以上の各単語対と１以上の各パターンとの親和性に関する情報である親和性情報を格納し得る親和性情報格納部をさらに具備し、スコア決定部は、親和性情報格納部の親和性情報をも用いて、単語対取得部が取得した各単語対のスコアを決定する単語対取得装置である。
　かかる構成により、パターンと単語対の親和性を用いて、所定の関係にある単語対をさらに適切に取得できる。
　また、本第六の発明の単語対取得装置は、第五の発明に対して、単語対取得部が取得した１以上の単語対と、１以上の各パターンとが共起する回数または割合が多いほど、大きくなるように親和性情報を算出する親和性情報算出部をさらに具備し、親和性情報格納部の親和性情報は、親和性情報算出部が算出した親和性情報である単語対取得装置である。
　かかる構成により、パターンと単語対の親和性を適切に算出でき、その親和性を用いて、所定の関係にある単語対をさらに適切に取得できる。
　また、本第七の発明の単語対取得装置は、第六の発明に対して、スコア決定部は、クラス対良好度、シードパターンとパターンとの類似度、および親和性情報との積が最も大きいシードパターンまたはパターンにおけるスコアを、各単語対のスコアとして決定する単語対取得装置である。
　かかる構成により、単語対のスコアを精度高く算出でき、その結果、所定の関係にある単語対を極めて適切に取得できる。
　また、本第八の発明の単語対取得装置は、第三から第七いずれかの発明に対して、文章群格納部に格納されている１以上の文章群の各文に対して、形態素解析および係り受け解析し、第一の名詞または名詞句を起点として、第二の名詞または名詞句を終点として、起点から終点までに至る形態素の繋がりをパターンとして取得し、または、起点からの形態素の繋がりと終点からの形態素の繋がりが結ばれる形態素までをパターンとして取得するパターン取得部をさらに具備し、パターン格納部のパターンは、パターン取得部が取得したパターンである単語対取得装置である。
　かかる構成により、文章群から適切にパターンを取得でき、そのパターンを用いて、所定の関係にある単語対を適切に取得できる。
　また、本第九の発明の単語対取得装置は、第一から第八いずれかの発明に対して、最終的に出力しない単語対に対応するクラス対を識別する２つのクラス識別子である除外クラス対を１以上格納し得る除外クラス対格納部と、１以上の除外クラス対に対応する単語対を出力する単語対から除外する単語対除外部とをさらに具備する単語対取得装置である。
　かかる構成により、不適切な単語対を出力する可能性を低くでき、その結果、所定の関係にある単語対をより適切に取得できる。
　また、本第十の発明の単語対取得装置は、第九の発明に対して、１以上の文章群における、各クラスに属する単語の平均出現頻度と、クラス識別子とを対に有するクラス出現頻度情報を、クラス毎に格納し得るクラス出現頻度情報格納部と、平均出現頻度が予め決められた閾値以上の差を有する２つのクラスのクラス識別子を除外クラス対として、除外クラス対格納部に蓄積する除外クラス対蓄積部とをさらに具備する単語対取得装置である。
　かかる構成により、不適切な単語対を出力する可能性を非常に低くでき、その結果、所定の関係にある単語対をより適切に取得できる。
　また、本第十一の発明の単語対取得装置は、第一から第十のいずれかの発明に対して、文章群格納部の１以上の文章群を用いて、同一の動詞、または同一の動詞と助詞と共起する回数または割合が多い単語を同一のクラスに属するように、１以上の単語クラス情報を取得する単語クラス情報取得部をさらに具備し、単語クラス情報格納部の単語クラス情報は、単語クラス情報取得部が取得した単語クラス情報である単語対取得装置である。
　かかる構成により、単語クラス情報をより適切に取得できる。
　本発明による単語対取得装置によれば、所定の関係にある単語対を適切に取得できる。
　以下、単語対取得装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
　（実施の形態１）
　本実施の形態において、所定の関係を有する２つの単語対を取得する単語対取得装置について説明する。本単語対取得装置は、単語対が属するクラス対の良さ（後述するクラス対良好度）を指標として、単語対を選択する。また、本単語対取得装置は、単語対を取り出す際に利用するパターンの良さ（後述する類似度）を指標として、単語対を選択する。さらに、本単語対取得装置は、パターンと単語対の親和性（後述する親和性情報）を用いて、単語対を選択する。
　図１は、本実施の形態における単語対取得装置１を含む単語取得システムの概念図である。単語取得システムは、単語対取得装置１と、１以上の文章群格納装置２とを含む。文章群格納装置２は、文章群を格納しているサーバ装置である。文章群格納装置２は、例えば、ウェブ上のサーバ装置であり、１以上のウェブページを格納している。かかる場合、文章群は、ウェブページである。また、単語対取得装置１は、１以上の文章群格納装置２から、文章群を取得し、当該文章群を少なくとも一時的に格納している。
　図２および図３は、本実施の形態における単語対取得装置１のブロック図である。図２は、単語対取得装置１の構成要素のうちの、主として、単語対を取得する処理を行う構成要素に着目したブロック図である。図３は、単語対取得装置１の構成要素のうちの、主として、単語対を取得する処理を行う前の環境整備を行う構成要素に着目したブロック図である。ただし、図２、図３は、単語対取得装置１を分離した構成の一例に過ぎない。
　単語対取得装置１は、文章群格納部１０１、単語対格納部１０２、単語クラス情報格納部１０３、シードパターン格納部１０４、パターン格納部１０５、クラス対良好度格納部１０６、パターン類似度格納部１０７、親和性情報格納部１０８、除外クラス対格納部１０９、クラス出現頻度情報格納部１１０、単語対取得部１１１、単語対蓄積部１１２、単語クラス情報取得部１１３、単語クラス情報蓄積部１１４、パターン取得部１１５、パターン蓄積部１１６、クラス対良好度算出部１１７、クラス対良好度蓄積部１１８、パターン類似度算出部１１９、パターン類似度蓄積部１２０、親和性情報算出部１２１、親和性情報蓄積部１２２、クラス対良好度取得部１２３、パターン類似度取得部１２４、親和性情報取得部１２５、スコア決定部１２６、単語対選択部１２７、単語対出力部１２８、単語対除外部１２９、除外クラス対蓄積部１３０、クラス出現頻度情報算出部１３１を備える。
　文章群格納部１０１は、１以上の文章群を格納し得る。文章群とは、例えば、ウェブページである。ただし、文章群は何でも良い。文章群は、テキストデータ、所定のデータベースなどでも良く、その構造も問わない。文章群格納部１０１の文章群は、通信手段や放送受信手段などで取得した文章群であることは好適である。文章群格納部１０１は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。文章群格納部１０１に文章群が記憶される過程は問わない。例えば、記録媒体を介して文章群が文章群格納部１０１で記憶されるようになってもよく、通信回線等を介して送信された文章群が文章群格納部１０１で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された文章群が文章群格納部１０１で記憶されるようになってもよい。
　単語対格納部１０２は、１以上の単語対を格納し得る。単語対とは、所定の関係を有する２つの単語である。単語とは、ここでは、通常、名詞や名詞句である。ただし、形容詞などの他の品詞を単語であると考えても良い。また、所定の関係とは、例えば、原因と結果の関係、原材料と製品の関係、現象とその現象の防止手段の関係などである。所定の関係が原因と結果の関係である場合、例えば、単語対は「ウィルス」と「風邪」などである。単語対格納部１０２は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。単語対格納部１０２に単語対が記憶される過程は問わない。ただし、通常、単語対取得部１１１が取得した単語対を、単語対蓄積部１１２が単語対格納部１０２に蓄積する。
　単語クラス情報格納部１０３は、２以上の単語クラス情報を格納し得る。単語クラス情報は、１以上の単語と１以上の単語が属するクラスを識別するクラス識別子とを対応づけて有する情報である。クラスとは、同一の動詞と良く共起する単語（通常、名詞）を同一のクラスに属する単語とする。また、同一の動詞および助詞と良く共起する単語（通常、名詞）を同一のクラスに属する単語としても良い。ここで、良く共起するとは、予め決められた回数（頻度）または割合以上、同一の動詞、または同一の動詞および助詞と共起することである。単語クラス情報は、クラス識別子と１以上の単語を識別する１以上の単語識別子とを有する情報でも良い。単語クラス情報格納部１０３は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。単語クラス情報格納部１０３に単語クラス情報が記憶される過程は問わない。ただし、通常、単語クラス情報取得部１１３が取得した単語クラス情報を、単語クラス情報蓄積部１１４が単語クラス情報格納部１０３に蓄積する。
　シードパターン格納部１０４は、１以上のシードパターンを格納し得る。シードパターンとは、所定の関係を有する２つの単語対を取得するために利用するパターンである。シードパターンは、予め与えられたパターンである。シードパターンは、単語対や新たなパターンを取得するための元になるパターンである。また、パターンとは、２つの単語と、表現パターンを含む文字列である。パターンは、例えば、「ＸはＹを引き起こす」「ＸによるＹ」などである。ここで、ＸとＹに置き換わる２つの単語が単語対である。つまり、ＸやＹは、いわゆる変数である。変数には、文字列が入り得る。なお、シードパターン格納部１０４に格納されているシードパターンは、例えば、１０や２０などのパターンである。シードパターン格納部１０４は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。
　シードパターン格納部１０４にシードパターンが記憶される過程は問わない。ただし、シードパターンは、通常、ユーザの手入力により、シードパターン格納部１０４に蓄積される。
　パターン格納部１０５は、１以上のパターンを格納し得る。パターンとは、シードパターンではないパターンであり、所定の関係を有する２つの単語対を取得するために利用するパターンである。ただし、パターンの中に、シードパターンを含んでも良い。パターン格納部１０５は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。パターン格納部１０５にパターンが記憶される過程は問わない。ただし、通常、パターン取得部１１５が取得したパターンを、パターン蓄積部１１６がパターン格納部１０５に蓄積する。なお、パターンも、ユーザの手作業により蓄積されても良い。
　クラス対良好度格納部１０６は、２つのクラスの良さを示す指標であるクラス対良好度を格納し得る。ここで、２つのクラスをクラス対という。また、２つのクラスの良さを示す指標とは、２つのクラスに属する単語対がシードパターンと良く共起する程度である。２つのクラスに属する単語対がシードパターンと良く共起するほど、良いクラス対とする。クラス対良好度は、数値である。また、良いクラス対ほど、クラス対良好度が大きい値となる。クラス対良好度格納部１０６は、通常、２つのクラスのクラス識別子と、クラス対良好度とを対で有するクラス対良好度情報を１以上格納している。また、クラス対の悪さを示す指標を用いることも、クラス対良好度を用いることも同意義であると考える。クラス対良好度がクラス対の悪さを示す指標である場合、例えば、クラス対良好度が大きければ大きいほど、悪いクラス対である。なお、クラス対良好度がクラス対の悪さを示す指標である場合、後述する数式において、例えば、クラス対良好度は逆数である、と考えて計算される。クラス対良好度格納部１０６は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。クラス対良好度格納部１０６にクラス対良好度が記憶される過程は問わない。ただし、通常、クラス対良好度算出部１１７が算出したクラス対良好度を、クラス対良好度蓄積部１１８がクラス対良好度格納部１０６に蓄積する。
　パターン類似度格納部１０７は、パターン格納部１０５に格納されている１以上の各パターンとシードパターンとの類似度を、パターンごとに格納し得る。パターン類似度格納部１０７は、例えば、パターンを識別するパターン識別子と類似度とを対応づけて有する。また、パターン類似度格納部１０７は、例えば、パターンと、類似度とを対応づけて有しても良い。パターンとシードパターンとの類似度の算出方法は問わない。類似度の具体的な算出方法は後述する。パターン類似度格納部１０７は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。パターン類似度格納部１０７に類似度が記憶される過程は問わない。ただし、通常、パターン類似度算出部１１９が算出した類似度を、パターン類似度蓄積部１２０がパターン類似度格納部１０７に蓄積する。
　親和性情報格納部１０８は、１以上の各単語対と１以上の各パターンとの親和性に関する情報である親和性情報を格納し得る。親和性情報は、通常、単語対とパターンとの親和性の度合いを示す数値である。親和性情報が大きいほど、単語対とパターンとの親和性の度合いが高いことを示す。親和性情報格納部１０８は、例えば、パターン識別子またはパターンと、単語対または単語対の識別子（２つの単語識別子でも良い）と、親和性情報とを対応付けて有する。また、親和性情報は、単語対とパターンとの親和性が低い度合いでも良い。かかる場合、親和性情報が小さいほど、単語対とパターンとの親和性の度合いが高いことを示す。親和性情報格納部１０８は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。親和性情報格納部１０８に親和性情報が記憶される過程は問わない。ただし、通常、親和性情報算出部１２１が算出した親和性情報を、親和性情報蓄積部１２２が親和性情報格納部１０８に蓄積する。
　除外クラス対格納部１０９は、除外クラス対を１以上格納し得る。除外クラス対とは、最終的に出力しない単語対に対応するクラス対を示す情報である。除外クラス対は、通常、２つのクラス識別子を有する情報である。ただし、除外クラス対は、単語対など、２つのクラス識別子が取得できる元の情報でも良い。除外クラス対格納部１０９は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。除外クラス対格納部１０９に除外クラス対が記憶される過程は問わない。ただし、通常、除外クラス対蓄積部１３０が取得した除外クラス対を除外クラス対格納部１０９に蓄積する。ただし、ユーザが手入力により、除外クラス対を除外クラス対格納部１０９に蓄積しても良い。
　クラス出現頻度情報格納部１１０は、クラス出現頻度情報をクラス毎に格納し得る。クラス出現頻度情報とは、１以上の文章群内における、各クラスに属する単語の平均出現頻度と、クラス識別子とを対に有する情報である。平均出現頻度は、図示しないクラス出現頻度情報取得部が、例えば、以下の処理により、取得したものである。クラス出現頻度情報取得部は、各クラスに属するすべての単語の、１以上の文章群内における出現頻度（ｆ１，ｆ２，・・・，ｆｎ）を取得する。次に、クラス出現頻度情報取得部は、クラスごとに、クラス内のすべての単語の平均出現頻度（（ｆ１＋ｆ２＋・・・＋ｆｎ）／ｎ）を算出する。クラス出現頻度情報格納部１１０は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。クラス出現頻度情報格納部１１０にクラス出現頻度情報が記憶される過程は問わない。ただし、通常、クラス出現頻度情報算出部１３１が算出したクラス出現頻度情報をクラス出現頻度情報格納部１１０に蓄積する。ただし、ユーザが手入力により、クラス出現頻度情報をクラス出現頻度情報格納部１１０に蓄積しても良い。
　単語対取得部１１１は、シードパターン格納部１０４に格納されている１以上のシードパターンのいずれかを取得し、文章群格納部１０１に格納されている１以上の文章群から、取得したシードパターンと共起する１以上の単語対を取得する。シードパターンなどのパターンと単語対が共起する、とは、文の中にパターン（単語対を除く文字列）が存在し、かつ、文の中に、単語対を構成する２つの単語が出現することである。例えば、パターンが「ＸはＹを引き起こす」である場合、単語「Ｘ」や「Ｙ」は、パターン「ＸはＹを引き起こす」と共起する、という。シードパターンが、「ＸはＹを引き起こす」である場合、単語対取得部１１１は、１以上の文章群の中の文に「ウィルスが風邪を引き起こす」から、単語対「ウィルス」と「風邪」を取得する。また、シードパターンが、「ＸによるＹ」であり、１以上の文章群の中の文が「交通事故による経済的な損害に関して」である場合、単語対取得部１１１は、以下のように処理して、単語対「交通事故」と「損害」を取得する。つまり、単語対取得部１１１は、「交通事故による経済的な損害に関して」に「による」が存在することをパターンマッチングなどの言語処理技術により認識する。次に、単語対取得部１１１は、１以上の文章群の中の文「交通事故による経済的な損害に関して」を形態素解析し、「交通事故｜に｜よる｜経済的｜な｜損害｜に｜関して」、および各形態素の品詞を得る。そして、次に、単語対取得部１１１は、係り受け解析して、図４に示すような形態素間の係り受けの情報（矢印の情報）を得る。そして、単語対取得部１１１は、「による」に繋がる名詞「交通事故」と、「による」から繋がる名詞「損害」を取得する。この「交通事故」と「損害」が単語対である。なお、上記の形態素解析を行う技術として、ＪＵＭＡＮ（ＵＲＬ：http://nlp.kuee.kyoto-u.ac.jp/nl-resource/juman.html　参照）や、ＣｈａＳｅｎ（ＵＲＬ：http://chasen.naist.jp/hiki/ChaSen/　参照）などが存在し、公知技術である。また、係り受け解析を行う技術として、日本語構文解析システムＫＮＰ（ＵＲＬ：http://nlp.kuee.kyoto-u.ac.jp/nl-resource/knp.html　参照）などがあり、公知技術である。
　単語対取得部１１１は、シードパターン格納部１０４に格納されている１以上のシードパターン、およびパターン格納部１０５に格納されている１以上のパターンのいずれか（通常、すべて）を用いて、単語対を取得することはさらに好適である。つまり、単語対取得部１１１は、１以上のシードパターンと１以上のパターンのいずれかを、順次、取得し、文章群格納部１０１に格納されている１以上の文章群から、シードパターンまたはパターンと共起する１以上の単語対を取得することはさらに好適である。
　また、単語対取得部１１１は、シードパターンやパターンを用いずに単語対を取得しても良い。つまり、単語対取得部１１１は、１以上の文章群の中の各文から、２つの単語（通常、名詞）の対を取得しても良い。かかる場合、単語対取得部１１１は、１文の中に共起する１以上の単語対を取得することとなる。
　単語対取得部１１１は、通常、ＭＰＵやメモリ等から実現され得る。単語対取得部１１１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　単語対蓄積部１１２は、単語対取得部１１１が取得した１以上の単語対を、単語対格納部１０２に蓄積する。単語対蓄積部１１２は、通常、ＭＰＵやメモリ等から実現され得る。単語対蓄積部１１２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　単語クラス情報取得部１１３は、文章群格納部１０１の１以上の文章群を用いて、１以上の単語クラス情報を取得する。単語クラス情報取得部１１３は、例えば、１以上の文章群の中の各文を形態素解析し、すべての動詞と助詞との組またはすべての動詞を取得する。また、単語クラス情報取得部１１３は、例えば、１以上の文章群の中の各文を形態素解析し、すべての名詞（名詞句を含む）を取得する。そして、単語クラス情報取得部１１３は、各名詞が、各動詞と助詞の組または、各動詞と共起する回数または割合を名詞ごとに算出する。次に、単語クラス情報取得部１１３は、名詞ごとに、各動詞と助詞の組または、各動詞と共起する回数または割合を要素に持つベクトルを取得する。次に、単語クラス情報取得部１１３は、名詞ごとのベクトルが予め決められた以上に類似する名詞の集合を一つのクラスに属するものとして、単語クラス情報を取得する。なお、単語クラス情報は、１以上の単語とクラス識別子とを有する情報である。また、クラスの数は、例えば、数百、または数千などの多い数である。
　単語クラス情報取得部１１３は、通常、ＭＰＵやメモリ等から実現され得る。単語クラス情報取得部１１３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　単語クラス情報蓄積部１１４は、単語クラス情報取得部１１３が取得した２以上の単語クラス情報を単語クラス情報格納部１０３に蓄積する。単語クラス情報蓄積部１１４は、通常、ＭＰＵやメモリ等から実現され得る。単語クラス情報蓄積部１１４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　パターン取得部１１５は、文章群格納部１０１に格納されている１以上の文章群の各文から、パターンを取得する。具体的には、例えば、パターン取得部１１５は、文章群格納部１０１に格納されている１以上の文章群の各文に対して、形態素解析および係り受け解析し、第一の名詞（名詞句を含む）を起点として、第二の名詞を終点として、起点から終点までに至る形態素の繋がりをパターンとして取得する。または、パターン取得部１１５は、起点からの形態素の繋がりと終点からの形態素の繋がりが結ばれる形態素までをパターンとして取得することはさらに好適である。例えば、１以上の文章群の文が「交通事故による経済的な損害に関して」である場合、パターン取得部１１５は、当該文を形態素解析し、「交通事故｜に｜よる｜経済的｜な｜損害｜に｜関して」を得る。また、形態素解析により、パターン取得部１１５は、第一の名詞「交通事故」と第二の名詞「損害」が名詞であることを検出する。そして、係り受け解析により、パターン取得部１１５は、図４の係り受けの情報を得る。次に、パターン取得部１１５は、第一の名詞「交通事故」を起点として、第二の名詞「損害」を終点として、起点から終点までに至る形態素の繋がり「ＸによるＹ」をパターンとして取得する。なお、ここで、第二の名詞「損害」に繋がる形態素群「経済的な」は、パターンから消去される。また、例えば、１以上の文章群の文が「交通事故による経済の損害に関して」である場合、パターン取得部１１５は、当該文を形態素解析し、「交通事故｜に｜よる｜経済｜の｜損害｜に｜関して」を得る。パターン取得部１１５は、第一の名詞「交通事故」と第二の名詞「経済」と第三の名詞「損害」が名詞であることを検出する。そして、係り受け解析により、パターン取得部１１５は、図５の係り受けの情報を得る。次に、パターン取得部１１５は、第一の名詞「交通事故」である起点からの形態素の繋がりと、第二の名詞「経済」である終点からの形態素の繋がりが結ばれる形態素「損害」までをパターンとして取得する。ここで、パターン取得部１１５は、「ＸによるＹの損害」をパターンとして取得する。
　また、パターン取得部１１５は、与えられた２つの名詞（単語対）を用いて、パターンを取得しても良い。つまり、例えば、２つの名詞「交通事故」と「損害」とが与えられた時に、パターン取得部１１５は、「交通事故による経済的な損害に関して」に「交通事故」と「損害」とが含まれることを検知する。そして、パターン取得部１１５は、「交通事故による経済的な損害に関して」を形態素解析し、かつ、係り受け解析し、図４の係り受けの情報を得る。次に、パターン取得部１１５は、第一の名詞「交通事故」を起点として、第二の名詞「損害」を終点として、起点から終点までに至る形態素の繋がり「ＸによるＹ」をパターンとして取得する。
　パターン取得部１１５は、通常、ＭＰＵやメモリ等から実現され得る。パターン取得部１１５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　パターン蓄積部１１６は、パターン取得部１１５が取得した１以上のパターンをパターン格納部１０５に蓄積する。パターン蓄積部１１６は、通常、ＭＰＵやメモリ等から実現され得る。パターン蓄積部１１６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　クラス対良好度算出部１１７は、２つの各クラスに属する単語対が、文章群格納部１０１の１以上の文章群の中で、１以上のシードパターンと共起する回数または割合が多いほどクラス対良好度が大きくなるようにクラス対良好度を算出する。クラス対良好度（ＣＳｃｏｒｅ（ｃｉ，ｃｊ，Ｐ））は、例えば、以下の数式１により算出される。なお、数式１において、クラス対良好度はクラス対の良さを示すものとしているので、クラス対良好度がクラス対の悪さを示す指標である場合、ＣＳｃｏｒｅ（ｃｉ，ｃｊ，Ｐ）は、例えば、数式１における算出結果の逆数になる。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｎｉやｎｊは名詞（単語）である。ｃｉやｃｊはクラスである。また、Ｐは、シードパターンの集合である。＊は、任意のパターンを示す。そして、｜｜（ｎｉ，Ｐ，ｎｊ）｜｜は、名詞ｎｉとｎｊが、シードパターンの集合と共起する頻度である。つまり、「｜｜（ｎｉ，Ｐ，ｎｊ）｜｜＝Σｐ∈Ｐ｜｜（ｎｉ，Ｐ，ｎｊ）｜｜」のことである。また、｜｜（ｎｉ，＊，ｎｊ）｜｜は、名詞ｎｉとｎｊが、１以上の文章群（Ｍ）の中で、任意のパターンと共起する頻度である。つまり、「｜｜（ｎｉ，＊，ｎｊ）｜｜＝Σ（ｎｉ，ｐ，ｎｊ）∈Ｍ｜｜（ｎｉ，ｐ，ｎｊ）｜｜」である。よって、｜｜（ｎｉ，＊，ｎｊ）｜｜は、名詞ｎｉとｎｊが、単に共起する頻度と等しい。
　また、αは、条件を示す。また、αは、所定数の異なるシードパターンと共起しなければならないという条件である。また、αの例は、数式２である。数式２において、ｎｉやｎｊが、β（例えば、３）以上の異なるシードパターンと共起することを示す。つまり、数式２が条件（α）である場合、２以下のシードパターンとしか共起しない単語対（ｎｉやｎｊ）のクラス対良好度は、０となる。
Figure JPOXMLDOC01-appb-M000002
　数式２において、Ｍは、１以上の文章群である。
　また、数式１において、クラス対良好度（ＣＳｃｏｒｅ（ｃｉ，ｃｊ，Ｐ））は、２つの各クラスに属する単語が、１以上のシードパターンと共起する回数または割合が多いほど、その度合いが大きくなるような算出式の一例である。また、数式１において、２つの各クラスに属する単語が、シードパターン以外のパターンと共起する回数が多いほど、その度合いが小さくなるような算出式の一例である。
　なお、クラス対良好度の代わりに、クラス対が良好でない度合いを用いた場合は、２つの各クラスに属する単語が、１以上のシードパターンと共起する回数または割合が多いほど、その度合いが小さくなるように算出される。この場合も、２つの各クラスに属する単語が、１以上のシードパターンと共起する回数または割合が多いほど、クラス対良好度が大きくなるように、クラス対良好度を算出することと同意義ととらえる。
　クラス対良好度算出部１１７は、通常、ＭＰＵやメモリ等から実現され得る。クラス対良好度算出部１１７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　クラス対良好度蓄積部１１８は、クラス対良好度算出部１１７が算出したクラス対良好度を、クラス対良好度格納部１０６に蓄積する。クラス対良好度蓄積部１１８は、通常、ＭＰＵやメモリ等から実現され得る。クラス対良好度蓄積部１１８の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　パターン類似度算出部１１９は、１以上のシードパターンと、パターン格納部１０５に格納されている各パターンとの類似度を算出する。パターン類似度算出部１１９は、通常、１以上のシードパターンと共起する単語対に対応するクラス対と、１以上の各パターンと共起する単語対に対応するクラス対との重なりが大きいほど、シードパターンとパターンとの類似度が大きくなるように、類似度を算出する。
　パターン類似度算出部１１９は、シードパターンとパターンとの類似度を、例えば、数式３、数式４、数式５、数式６、または数式７により算出する。つまり、類似度は、Ｐａｒａ１（ｐｃｉ×ｃｊ，Ｐ）、Ｐａｒａ２（ｐｃｉ×ｃｊ，Ｐ）、Ｐａｒａ３（ｐｃｉ×ｃｊ，Ｐ）、Ｐａｒａ４（ｐｃｉ×ｃｊ，Ｐ）、またはＰａｒａ５（ｐｃｉ×ｃｊ，Ｐ）などである。数式３から７において、Ｐは、シードパターンの集合であり、ｐは、いずれかのパターンである。通常、ｐは、シードパターンでも良い。
Figure JPOXMLDOC01-appb-M000003
　数式３において、シードパターンとパターンとの類似度は、（Ｐａｒａ１（ｐｃｉ×ｃｊ，Ｐ））である。また、「Ｉ（ｐｃｉ×ｃｊ）」は、あるパターンｐと、クラスｃｉとクラスｃｊに属する単語ｎｉとｎｊとが共起するインスタンスの集合を示す。「Ｉ（ｐｃｉ×ｃｊ）」は、｛（ｎｉ，ｎｊ）∈ｃｉ×ｃｊ｜（ｎｉ，ｐ，ｎｊ）∈Ｍ｝である。また、「（Ｐｃｉ×ｃｊ）」は、いずれかのシードパターンとクラスｃｉとクラスｃｊに属する単語ｎｉとｎｊとが共起するインスタンスを示す。そして、「Ｉ（Ｐｃｉ×ｃｊ）＝∪ｐ∈ＰＩ（ｐｃｉ×ｃｊ）」である。そして、｜｜Ｉ（ｐｃｉ×ｃｊ）∩Ｉ（Ｐｃｉ×ｃｊ）｜｜は、「Ｉ（ｐｃｉ×ｃｊ）」と「（Ｐｃｉ×ｃｊ）」の重なりのインスタンスの数である。また、｜｜Ｉ（ｐｃｉ×ｃｊ）∪Ｉ（Ｐｃｉ×ｃｊ）｜｜は、「Ｉ（ｐｃｉ×ｃｊ）」と「（Ｐｃｉ×ｃｊ）」の和集合のインスタンスの数である。
　Ｐａｒａ１は、パターンｐと共起するクラスｃｉとクラスｃｊに属する単語ｎｉとｎｊと、シードパターンの集合（Ｐ）と共起するクラスｃｉとクラスｃｊに属する単語ｎｉとｎｊとのJaccard係数として算出される。Ｐａｒａ１によって、クラス依存であり、パターンｐを用いて生成される多くの単語対「ｐｃｉ×ｃｊ」の中から、適切なクラスを選択できることとなる。
　数式３を用いれば、１以上のシードパターンと共起する単語対に対応するクラス対と、１以上の各パターンと共起する単語対に対応するクラス対との重なりが大きいほど、シードパターンとパターンとの類似度が大きくなるように、類似度が算出される。また、数式３を用いれば、「Ｉ（ｐｃｉ×ｃｊ）」と「（Ｐｃｉ×ｃｊ）」の和集合のインスタンスの数が多いほど、類似度が小さくなるように、類似度が算出される。
　また、パターン類似度算出部１１９は、例えば、数式３を用いて、シードパターンとパターンとの類似度を算出する場合、「Ｉ（ｐｃｉ×ｃｊ）」と「（Ｐｃｉ×ｃｊ）」との交わりがないパターン（｜｜Ｉ（ｐｃｉ×ｃｊ）∩Ｉ（Ｐｃｉ×ｃｊ）｜｜＝０のパターン）を除くことは好適である。かかることにより、処理の高速化が図れる。
　また、数式３の変形として、以下のようにシードパターンとパターンとの類似度（Ｐａｒａ３'）を算出しても良い。
　つまり、ｐと共起する単語対をベクトルの要素、パターンｐと共起する単語対の個数をその単語対のベクトルの要素の値とするベクトルＶｐをｐに対して構成する。そして、シードパターンＰと共起する単語対をベクトルの次元、Ｐと共起する単語対の個数をその単語対のベクトルの次元の値とするベクトルＶＰをＰに対して構成する。ただし、シードパターＰは集合であるので、Ｐの各ｐに対して、ベクトルを作り、そのベクトルの和を、Ｐのベクトルとする。
　そして、これらのベクトルの距離、または角度を算出する。距離は、|Ｖｐ－ＶＰ｜（Ｖｐ，ＶＰの各ベクトルの要素の値の差の二乗の和の平方根）により算出できる。角度は、Ｖｐ・ＶＰ／|Ｖｐ|／|ＶＰ|により算出できる。なお、Ｖｐ・ＶＰは、内積（Ｖｐ，ＶＰの各ベクトルの要素の値の積の和）であり、|Ｖｐ|はベクトルの大きさ（Ｖｐのベクトルの要素の値の二乗の和の平方根）である。
　これは、ベクトルＶｐとベクトルＶＰの類似度が大きいほど、シードパターンとパターンとの類似度が大きくなることであり、言い換えれば、上述したように、１以上の各パターンと共起する単語対に対応するクラス対との重なりが大きいほど、シードパターンとパターンとの類似度が大きくなる、ということである。
Figure JPOXMLDOC01-appb-M000004
　数式４において、クラスに独立なパターンも、類似度の算出に取り入れている。また、数式４は、数式３の「Ｐａｒａ１（ｐｃｉ×ｃｊ，Ｐ）」を用いた変形例である。希なクラスの結合は、少しのインスタンスのみを含んでいるという問題（希薄性問題という。）がある。数式４は、この希薄性問題を解決するものである。数式４における「Ｉ（ｐ）」は、文章群（Ｍ）において、パターンｐと共起する単語対のインスタンスの集合である。「Ｉ（Ｐ）」は、シードパターンＰと共起する単語対のインスタンスの集合である。そして、｜｜Ｉ（ｐ）∩Ｉ（Ｐ）｜｜は、「Ｉ（ｐ）」と「Ｉ（Ｐ）」の重なりのインスタンスの数である。また、｜｜Ｉ（ｐ）∪Ｉ（Ｐ）｜｜は、「Ｉ（ｐ）」と「Ｉ（Ｐ）」の和集合のインスタンスの数である。なお、数式４は、クラス対の中のＪａｃｃａｒｄ係数の補足となる。つまり、数式４において、クラスに含まれる単語対に限定せず、すべての単語対に関して計算されている。
　数式４も数式３と同様に、１以上のシードパターンと共起する単語対に対応するクラス対と、１以上の各パターンと共起する単語対に対応するクラス対との重なりが大きいほど、シードパターンとパターンとの類似度が大きくなるように、類似度が算出される。また、「Ｉ（ｐｃｉ×ｃｊ）」と「（Ｐｃｉ×ｃｊ）」の和集合のインスタンスの数が多いほど、類似度が小さくなるように、類似度が算出される。また、数式４を用いれば、「Ｉ（ｐ）」と「Ｉ（Ｐ）」の重なりのインスタンスの数が多いほど、シードパターンとパターンとの類似度が大きくなるように、類似度が算出される。さらに、数式４を用いれば、「Ｉ（ｐ）」と「Ｉ（Ｐ）」の和集合のインスタンスの数が多いほど、類似度が小さくなるように、類似度が算出される。
Figure JPOXMLDOC01-appb-M000005
　数式５において、｜｜Ｉ（ｐｃｉ×ｃｊ）｜｜＋｜｜Ｉ（Ｐｃｉ×ｃｊ）｜｜は、あるパターンｐと、クラスｃｉとクラスｃｊに属する単語ｎｉとｎｊとが共起するインスタンスの集合の数と、シードパターンＰとクラスｃｉとクラスｃｊに属する単語ｎｉとｎｊとが共起するインスタンスの集合の数との和である。なお、数式の変形として、Ｐａｒａ３の分母の｜｜Ｉ（ｐｃｉ×ｃｊ）｜｜＋｜｜Ｉ（Ｐｃｉ×ｃｊ）｜｜を、｜｜Ｉ（ｐｃｉ×ｃｊ）｜｜×｜｜Ｉ（Ｐｃｉ×ｃｊ）｜｜などと変形しても良い。また、Ｐａｒａ３の分母について、｜｜Ｉ（ｐｃｉ×ｃｊ）｜｜と｜｜Ｉ（Ｐｃｉ×ｃｊ）｜｜の重み付けを行って、和算または積算を行っても良い。つまり、数式５は、｜｜Ｉ（ｐｃｉ×ｃｊ）｜｜と｜｜Ｉ（Ｐｃｉ×ｃｊ）｜｜とをパラメータとする減少関数であれば良い。また、数式５は、｜｜Ｉ（ｐｃｉ×ｃｊ）∩Ｉ（Ｐｃｉ×ｃｊ）｜｜をパラメータとする増加関数であれば良い。
Figure JPOXMLDOC01-appb-M000006
　数式６において、ｍａｘ（｜｜Ｉ（ｐｃｉ×ｃｊ）｜｜，｜｜（Ｐｃｉ×ｃｊ）｜｜）は、クラスｃｉとクラスｃｊに属する単語ｎｉとｎｊとが共起するインスタンスの集合の数と、シードパターンＰとクラスｃｉとクラスｃｊに属する単語ｎｉとｎｊとが共起するインスタンスの集合の数とのうちの大きい方の数である。数式６において、｜｜Ｉ（ｐｃｉ×ｃｊ）∩Ｉ（Ｐｃｉ×ｃｊ）｜｜をパラメータとする増加関数であれば良い。
Figure JPOXMLDOC01-appb-M000007
　また、数式７において、ＤＫＬ（ｐ１｜｜ｐ２）は、数式８のように示される。数式８におけるＤＫＬ（ｐ１｜｜ｐ２）は、確率分布ｐ１とｐ２とのKullback-Leiblerダイバージェンス（ＫＬダイバージェンスとも言う。）である。Kullback-Leiblerダイバージェンスについては、「風間淳一, De Saeger, Stijn, 鳥澤健太郎, 村田真樹「係り受けの確率的クラスタリングを用いた大規模類似語リストの作成」言語処理学会第15回年次大会(NLP2009)」等に説明されている。Kullback-Leiblerダイバージェンスは、公知であるので、詳細な説明を省略する。
Figure JPOXMLDOC01-appb-M000008
　数式７、８において、ｐ１とｐ２は、クラス対ｃｉ×ｃｊに属する単語対（ｎｉ、ｎｊ）と、ｐｃｉ×ｃｊとが共起する確率分布である。ｐ２は、クラス対ｃｉ×ｃｊに属する単語対（ｎｉ、ｎｊ）と、Ｐとが共起する確率分布である。
　また、パターンｐと共起する単語対をベクトルの次元、ｐと共起する単語対の個数をｐの総出現数で割った値を、その単語対のベクトルの次元の値とするベクトルＶｐをｐに対して作成する。そして、この各ベクトルの要素（ｎｉ，ｎｊ）の値が、ｐ１（ｎｉ，ｎｊ）である。
　また、シードパターンＰと共起する単語対をベクトルの次元、Ｐと共起する単語対の個数をＰの総出現数で割った値を、その単語対のベクトルの次元の値とするベクトルＶＰをＰに対して作成する。そして、この各ベクトルの要素（ｎｉ，ｎｊ）の値が、ｐ２（ｎｉ，ｎｊ）である。
　なお、ＫＬダイバージェンスも、ベクトル同士の類似度が大きいものをとる指標である。つまり、ＫＬダイバージェンスにおいて、例えば、ｐ１とｐ２が同じである場合、ＤＫＬのｐ１／ｐ２が１になり、ｌｏｇ２ｐ１／ｐ２が０になり、ＫＬダイバージェンスも０になる。また、ｐ１とｐ２とが異なる値の場合、最終的なＫＬダイバージェンスの値は正の値となる。
　パターン類似度算出部１１９は、通常、ＭＰＵやメモリ等から実現され得る。パターン類似度算出部１１９の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　パターン類似度蓄積部１２０は、パターン類似度算出部１１９が算出したパターン類似度を、パターンごとに、パターン類似度格納部１０７に蓄積する。
　パターン類似度蓄積部１２０は、通常、ＭＰＵやメモリ等から実現され得る。パターン類似度蓄積部１２０の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　親和性情報算出部１２１は、単語対とパターンとの親和性情報を算出する。親和性情報算出部１２１は、単語対取得部１１１が取得した１以上の単語対と、１以上の各パターンとが共起する回数または割合が多いほど、大きくなるように親和性情報を算出することは好適である。親和性情報算出部１２１は、例えば、数式９、または数式１０により、単語対とパターンとの親和性を算出する。
　数式９において、親和性情報（Ａｓｓｏｃ１）は、定数の１であるので、後述するスコア算出において、親和性情報が考慮されないことと同様である。
　数式１０において、｜｜（ｎ，ｐ，ｎ'）｜｜は、単語対（ｎ，ｎ'）と、パターンｐとが共起する頻度である。つまり、親和性情報算出部１２１は、かかる頻度が大きいほど、大きくなるように親和性情報を算出することとなる。また、｜｜（ｎ，＊，ｎ'）｜｜は、単語対（ｎ，ｎ'）が任意のパターンと共起する（つまり、単語対（ｎ，ｎ'）の出現の）頻度である。さらに、｜｜（＊，ｐ，＊）｜｜は、パターンｐの出現頻度である。つまり、親和性情報は、単語対（ｎ，ｎ'）が任意のパターンと共起する頻度が高ければ高いほど、小さな値となる。また、親和性情報は、パターンｐの出現頻度が高ければ高いほど、小さな値となる。
Figure JPOXMLDOC01-appb-M000009
Figure JPOXMLDOC01-appb-M000010
　親和性情報算出部１２１は、通常、ＭＰＵやメモリ等から実現され得る。親和性情報算出部１２１の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　親和性情報蓄積部１２２は、親和性情報算出部１２１が算出した親和性情報を、親和性情報格納部１０８に蓄積する。親和性情報蓄積部１２２は、通常、単語対とパターンと親和性情報とを対応付けて、親和性情報格納部１０８に蓄積する。親和性情報蓄積部１２２は、通常、ＭＰＵやメモリ等から実現され得る。親和性情報蓄積部１２２の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　クラス対良好度取得部１２３は、単語対取得部１１１が取得した１以上の単語対が有する各単語が属する２つのクラスのクラス対良好度をクラス対良好度格納部１０６から取得する。ここで、通常、クラス対良好度取得部１２３は、２つのクラスの２つのクラス識別子であるクラス識別子対（２つのクラス識別子）を単語クラス情報格納部１０３から取得し、該クラス識別子対に対応するクラス対良好度をクラス対良好度格納部１０６から取得する。クラス対良好度取得部１２３は、通常、ＭＰＵやメモリ等から実現され得る。クラス対良好度取得部１２３の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　パターン類似度取得部１２４は、シードパターンとパターンとの類似度を、パターン類似度格納部１０７から取得する。パターン類似度取得部１２４は、例えば、スコア算出対象のパターンを識別するパターン識別子に対応する類似度を、パターン類似度格納部１０７から取得する。パターン類似度取得部１２４は、通常、ＭＰＵやメモリ等から実現され得る。パターン類似度取得部１２４の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　親和性情報取得部１２５は、親和性情報を、親和性情報格納部１０８から取得する。親和性情報取得部１２５は、例えば、スコア算出対象のパターンおよびスコア算出対象の単語対に対応する親和性情報を、親和性情報格納部１０８から取得する。親和性情報取得部１２５は、通常、ＭＰＵやメモリ等から実現され得る。親和性情報取得部１２５の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　スコア決定部１２６は、クラス対良好度取得部１２３が取得したクラス対良好度を用いて、単語対取得部１１１が取得した各単語対のスコアを決定する。スコア決定部１２６は、クラス対良好度を増加関数とする演算式により、スコアを決定する。また、スコア決定部１２６は、パターン類似度格納部１０７に格納されている１以上の各パターンとシードパターンとの類似度をも用いて、単語対取得部１１１が取得した各単語対のスコアを決定することは好適である。かかる場合、スコア決定部１２６は、類似度を増加関数とする演算式により、スコアを決定する。また、スコア決定部１２６は、親和性情報格納部１０８の親和性情報をも用いて、単語対取得部１１１が取得した各単語対のスコアを決定することは好適である。かかる場合、スコア決定部１２６は、親和性情報を増加関数とする演算式により、スコアを決定する。
　また、スコア決定部１２６は、数式１１に示すように、クラス対良好度、シードパターンとパターンとの類似度、および親和性情報との積が最も大きいシードパターンまたはパターンにおけるスコアを、各単語対のスコアとして決定することは好適である。
Figure JPOXMLDOC01-appb-M000011
　また、スコア決定部１２６は、例えば、数式１１におけるＰａｒａに対して、上述したＰａｒａ１からＰａｒａ５のいずれかが適用できる。また、スコア決定部１２６は、数式１１におけるＡｓｓｏｃに対して、上述したＡｓｓｏｃ１またはＡｓｓｏｃ２のいずれかが適用できる。つまり、数式１１は、さらに具体的には、以下の数式１２、または数式１３、または数式１４等でも良い。数式１２から数式１４において、引数、および演算子「ｍａｘ」は省略されている。なお、数式１２により、スコアを算出する方法を、Ｃｌａｓｓ　Ｄｅｐｅｎｄｅｎｔ　Ｉ（ＣＤ－Ｉ）という。また、数式１３により、スコアを算出する方法を、Ｃｌａｓｓ　Ｄｅｐｅｎｄｅｎｔ　ＩＩ（ＣＤ－ＩＩ）という。さらに、数式１４により、スコアを算出する方法を、Ｃｌａｓｓ　Ｄｅｐｅｎｄｅｎｔ　ＩＩＩ（ＣＤ－ＩＩＩ）という。
Figure JPOXMLDOC01-appb-M000012
Figure JPOXMLDOC01-appb-M000013
Figure JPOXMLDOC01-appb-M000014
　数式１１から数式１４において、スコアは、Ｃｓｃｏｒｅ、Ｐａｒａ、およびＡｓｓｏｃの３つの値の積により算出された。ただし、スコアは、３つの値の和で算出されても良いし、スコアは、Ｃｓｃｏｒｅ２×Ｐａｒａ×Ａｓｓｏｃにより算出されても良い。つまり、スコアは、Ｃｓｃｏｒｅ、Ｐａｒａ、およびＡｓｓｏｃをパラメータとして算出されれば良い。また、スコアは、通常、Ｃｓｃｏｒｅが大きいほど大きな値となり、Ｐａｒａが大きいほど大きな値となり、Ａｓｓｏｃが大きいほど大きな値となる。
　スコア決定部１２６は、通常、ＭＰＵやメモリ等から実現され得る。スコア決定部１２６の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　単語対選択部１２７は、スコア決定部１２６が決定したスコアが予め決められた条件を満たすほど、スコアが高い１以上の単語対を取得する。単語対選択部１２７は、通常、スコアにより単語対をソートして、例えば、スコアが閾値以上の単語対を取得する。または、単語対選択部１２７は、スコアにより単語対をソートして、スコアが上位から所定数（例えば、１０００）の単語対を取得するなどしても良い。また、単語対選択部１２７は、スコアにより単語対をソートして、例えば、単語対出力部１２８が、スコアの上位から降順に、すべての単語対を出力するようにしても良い。かかる場合も、単語対選択部１２７は、１以上の単語対を取得し、単語対出力部１２８は、１以上の単語対を出力したこととなる。
　単語対選択部１２７は、通常、ＭＰＵやメモリ等から実現され得る。単語対選択部１２７の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　単語対出力部１２８は、単語対選択部１２７が取得した１以上の単語対を出力する。ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタへの印字、音出力、外部の装置への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。単語対出力部１２８は、ディスプレイやスピーカー等の出力デバイスを含むと考えても含まないと考えても良い。単語対出力部１２８は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
　単語対除外部１２９は、除外クラス対格納部１０９に格納されている１以上のいずれかの除外クラス対に対応する単語対を出力する単語対から除外する。また、単語対出力部１２８は、単語対除外部１２９が除外した単語対について、通常、出力しない。ここで、除外するとは、通常、削除する、意味である。ただし、除外するとは、スコアを低くすることや、当該単語対の順位を下げる（例えば、最下位にする）などのことも含んでも良い。単語対除外部１２９は、通常、ＭＰＵやメモリ等から実現され得る。単語対除外部１２９の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　除外クラス対蓄積部１３０は、平均出現頻度が予め決められた閾値以上の差を有する２つのクラスのクラス識別子を除外クラス対として、除外クラス対格納部１０９に蓄積する。閾値は、例えば、２５倍である。除外クラス対蓄積部１３０は、通常、ＭＰＵやメモリ等から実現され得る。除外クラス対蓄積部１３０の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはＲＯＭ等の記録媒体に記録されている。但し、ハードウェア（専用回路）で実現しても良い。
　次に、単語対取得装置１の動作について、図６のフローチャートを用いて説明する。図６のフローチャートにおいて、単語対格納部１０２、単語クラス情報格納部１０３、シードパターン格納部１０４、パターン格納部１０５、クラス対良好度格納部１０６、パターン類似度格納部１０７、親和性情報格納部１０８、および除外クラス対格納部１０９の構成要素の中に、各構成要素が格納し得る情報が格納された後、所定の関係にある単語対を出力する処理について説明する。
　（ステップＳ６０１）スコア決定部１２６は、カウンタｉに１を代入する。
　（ステップＳ６０２）スコア決定部１２６は、単語対格納部１０２の単語対のうちまたは、単語対取得部１１１が取得した単語対のうち、ｉ番目の単語対が存在するか否かを判断する。ｉ番目の単語対が存在すればステップＳ６０３に行き、ｉ番目の単語対が存在しなければステップＳ６１８に行く。
　（ステップＳ６０３）スコア決定部１２６は、ｉ番目の単語対を取得する。
　（ステップＳ６０４）スコア決定部１２６は、ｉ番目の単語対に対するクラス対を取得する。ここで、クラス対とは、２つのクラス識別子であっても良い。
　（ステップＳ６０５）スコア決定部１２６は、ステップＳ６０４で取得したクラス対が、除外クラス対格納部１０９に格納されている除外クラス対であるか否かを判断する。除外クラス対であればステップＳ６１７に行き、除外クラス対でなければステップＳ６０６に行く。
　（ステップＳ６０６）スコア決定部１２６は、クラス対良好度格納部１０６から、ステップＳ６０４で取得したクラス対に対応するクラス対良好度を取得する。
　（ステップＳ６０７）スコア決定部１２６は、カウンタｊに１を代入する。
　（ステップＳ６０８）スコア決定部１２６は、ｊ番目のパターンが、パターン格納部１０５または、シードパターン格納部１０４に存在するか否かを判断する。ｊ番目のパターンが存在すればステップＳ６０９に行き、存在しなければステップＳ６１５に行く。
　（ステップＳ６０９）スコア決定部１２６は、ｊ番目のパターンをパターン格納部１０５または、シードパターン格納部１０４から取得する。
　（ステップＳ６１０）スコア決定部１２６は、ｊ番目のパターンに対応する類似度を、パターン類似度格納部１０７から取得する。
　（ステップＳ６１１）スコア決定部１２６は、ｉ番目の単語対、およびｊ番目のパターンに対応する親和性情報を、親和性情報格納部１０８から取得する。
　（ステップＳ６１２）スコア決定部１２６は、ステップＳ６０６で取得したクラス対良好度、ステップＳ６１０で取得した類似度、およびステップＳ６１１で取得した親和性情報を用いて、ｉ番目の単語対、およびｊ番目のパターンに対応するスコアを算出する。
　（ステップＳ６１３）スコア決定部１２６は、ステップＳ６１２で算出したｊ番目のパターンに対応するスコアを、バッファに一時蓄積する。
　（ステップＳ６１４）スコア決定部１２６は、カウンタｊを１、インクリメントする。ステップＳ６０８に戻る。
　（ステップＳ６１５）スコア決定部１２６は、ステップＳ６１３でバッファに一時蓄積したスコアの中で、最大のスコアを取得する。
　（ステップＳ６１６）スコア決定部１２６は、ステップＳ６１５で取得したスコアを、ｉ番目の単語対と対応付けて蓄積する。
　（ステップＳ６１７）スコア決定部１２６は、カウンタｉを１、インクリメントする。ステップＳ６０２に戻る。
　（ステップＳ６１８）単語対選択部１２７は、ステップＳ６１６で蓄積したスコアをキーとして、単語対をソートする。
　（ステップＳ６１９）単語対選択部１２７は、ステップＳ６１８でソートした単語対のうち、予め決められた条件を満たすほど、スコアが高い１以上の単語対を取得する。
　（ステップＳ６２０）単語対出力部１２８は、ステップＳ６１９で取得された１以上の単語対を出力し、処理を終了する。
　なお、図６のフローチャートにおいて説明しなかったが、単語対格納部１０２の単語対、単語クラス情報格納部１０３の単語クラス情報、シードパターン格納部１０４のシードパターン、パターン格納部１０５のパターン、クラス対良好度格納部１０６のクラス対良好度、パターン類似度格納部１０７の類似度、親和性情報格納部１０８の親和性情報、および除外クラス対格納部１０９の除外クラス対は、それぞれ上述した処理により、格納される。
　また、図６のフローチャートにおいて、除外クラス対に対応する単語対を処理から除くことは、ステップＳ６０５において、行われた。しかし、除外クラス対に属する単語対を、出力する単語対から除く処理は、他のタイミング（例えば、出力する直前など）でも良い。
　以下、本実施の形態における単語対取得装置１の具体的な動作について説明する。　今、文章群格納部１０１は、ウェブ上の１以上のウェブページを格納している。また、単語対格納部１０２は、１以上のウェブページから取得した名詞である単語の対を多数格納している。
　また、単語クラス情報格納部１０３は、例えば、図７に示すような単語クラス情報管理表を保持している。図７に示す単語クラス情報管理表は、クラス識別子「Ｃ２９０」および「Ｃ４７１」の単語クラス情報のみを示している。また、一の単語が複数のクラスに属することもあり得る。なお、本単語クラス情報管理表は、例えば、単語クラス情報取得部１１３が上述した処理により、取得した情報である。
　また、クラス出現頻度情報格納部１１０は、図８に示すクラス出現頻度情報管理表を保持している。クラス出現頻度情報管理表は、「クラス」と「平均出現頻度」とを有するレコードである。「クラス」は、クラス識別子である。「平均出現頻度」は、クラス識別子で識別されるクラスに属する単語対の平均出現頻度である。
　かかる状況において、３つの実験を行った。実験１は、原因と結果の単語対を取得する実験である。実験２は、製品と材料の単語対を取得する実験である。実験３は、現象と防止手段を取得する実験である。
　また、３つの実験において、４つのベースライン方法と、本願の単語対取得装置１による方法とを比較する実験を行った。４つのベースライン方法のうちの第一の方法は、Ｅｓｐｒｅｓｓｏ（ＥＳＰ）と呼ばれる方法である（非特許文献１参照）。ＥＳＰは、上述したように、取り出したい単語対を少量与えて、当該単語対からパターンを取得する。そして、従来の単語対取得装置は、その取得したパターンと共起する単語対を取得するものである。また、ＥＳＰは、反復するブートストラップ方法である。
　また、４つのベースライン方法のうちの第二の方法は、単語対取得装置１とは異なり、クラスを用いない方法である。つまり、この第二の方法は、Ｓｉｎｇｌｅ　Ｃｌａｓｓ（ＳＣ）と呼び、数式１５により、単語対のスコアが算出される。
Figure JPOXMLDOC01-appb-M000015
　数式１５において、「Ｉ（ｐ）」は、パターンｐと共起する単語対のインスタンス、「Ｉ（Ｐ）」は、シードパターンＰと共起する単語対のインスタンスである。また、｜｜Ｉ（ｐ）∩Ｉ（Ｐ）｜｜は、「Ｉ（ｐ）」と「Ｉ（Ｐ）」の重なり（差集合）のインスタンスの数である。また、｜｜Ｉ（ｐ）∪Ｉ（Ｐ）｜｜は、「Ｉ（ｐ）」と「Ｉ（Ｐ）」の和集合のインスタンスの数である。
　また、４つのベースライン方法のうちの第三の方法、および第四の方法は、ランダムベースラインメソッドである。第三の方法は、「Ｒ－Ｉ」という。Ｒ―Ｉは、１以上の文章群から、パターンｐと共起する単語対を取得する方法である。第四の方法は、「Ｒ－ＩＩ」という。Ｒ―ＩＩは、１以上の文章群から、シードパターンＰと共起する単語対を取得する方法である。
　また、単語対取得装置１による方法とは、上述したＣＤ－Ｉ、ＣＤ－ＩＩ、ＣＤ－ＩＩＩの３つである。
　また、３つの各実験で、すべての方法に与えるシードパターンは同じである。ただし、当然ながら、３つの実験で利用するシードパターンは異なる。そして、３名の判断者が、各方法が出力した単語対が正しいか否かを判断した。
　また、各方法において、出力であるランク付けされた単語対の集合を、セグメントに分割した。セグメントとは、例えば、上位５０００、上位５０００から１５０００、上位１５０００から３５０００、および上位３５０００から７５０００である。そして、各方法において、各セグメントから、ランダムに１００の単語対のサンプルを取得した。そして、すべてのセグメントにおいて、単語対が所定の関係の単語対である正解率（以下、精度とも言う。）を算出した。なお、実験において、２つの評価基準を適用した。一つ目は、３名が正解とした場合のみ、単語対を正解とする「厳しい（strict）」判断、２つ目は、過半数（２名）が正解とした場合も、単語対を正解とする「寛大な（lenient）」判断である。また、評価のために、５００の単語対のストップワードリストを使用した。このようにすることで、各方法の出力から代名詞の対、名詞化の対、およびストップワードの対を除外できた。
（実験１）
　実験１は、原因と結果の単語対を取得する実験である。実験１において、シードパターン格納部１０４には、例えば、「ＸはＹを引き起こす」「ＸがＹの原因となる」などの２０のシードパターンを格納した。
　単語対取得装置１のＣＤ－ＩＩＩによる方法では、図９に示すような単語対等の出力が得られた。図９において、クラス対、ランク、および単語対を示す。ランクは、スコアにより付けられた順位である。ＣＤ－ＩＩＩを用いた場合、予期しない単語対が、Ｗｅｂ（１以上の文章群）から取得できた。これは、Ｗｅｂから、知らない、かつ有用な単語対（結果と原因の単語対）が取得できることを示している。図１０は、実験１における各方法の精度を示すグラフである。図１０において、横軸（Ｓａｍｐｌｅｓ　Ｒａｎｋｅｄ　ｂｙ　Ｓｃｏｒｅ）は、スコアにより、ランク付けしたサンプル（単語対）を示し、縦軸（Ｐｒｅｃｉｓｉｏｎ（％））は、単語対の正解率を示す。図１０によれば、単語対取得装置１のＣＤ－ＩＩＩの方法（寛大な（lenient）ケース）において、トップ６０，０００の単語対の精度は７０％以上であり、トップ３０，０００の単語対の精度は８０％以上である。これは、ＥＳＰやＳＣと比較して、ＣＤ－ＩＩＩの精度が極めて高いことを示す。さらに、トップ５０００のセグメントにおいて、ＣＤ－ＩＩ（寛大な（lenient）ケース）は、９３％程度の精度を達成している。以上により、ＣＤ－ＩＩやＣＤ－ＩＩＩのクラスを用いた方法は、極めて効果的であることが言える。
　なお、「ＸはＹを引き起こす」「ＸがＹの原因となる」というシードパターンを用いた場合、単語対取得装置１において、３２，２１３の単語対（２０，６８７のストップワードを除く）が取得できた。また、１，２８２のクラスに単語が分類できた。なお、ストップワードとは、出力から除外すべきワードである。
　また、８回の反復を行ったＥｓｐｒｅｓｓｏでは、「ＸによるＹ」のパターンを用いて、１，５２０，６６２の単語対が取得できた。
　また、Ｒ－Ｉ（完全にランダムなベースライン方法）では、１００のランダムに取得した（ｎ，ｐ，ｎ'）タップルから、原因と結果の関係を有する単語対を取得できなかった。また、Ｒ－ＩＩの方法では、シードパターンと共起する２０，６７８のタップルからランダムに１００のタップルを選択したところ、厳しい（strict）ケースで４６％の精度、寛大な（lenient）ケースで７１％の精度であった。これらは、いずれも、単語対取得装置１の方法よりも悪いことが分かった。
（実験２）
　実験２は、製品と材料の単語対を取得する実験である。実験２において、シードパターン格納部１０４には、例えば、「ＹはＸにより作られる」「ＸはＹの材料である」などの１４のシードパターンを格納した。
　そして、単語対取得装置１を用いて、例えば、図１１に示すような単語対等の出力が得られた。また、単語対取得装置１の単語対取得部１１１は、１１，４７１の単語対（８，６３３のストップワードを取り除いた後）を取得できた。また、単語対取得装置１は、６２０のクラス対を取得した。
　また、図１２は、実験２における各方法の精度を示すグラフである。図１２において、単語対取得装置１におけるＣＤ－ＩＩＩの方法（寛大な（lenient）ケース）は、トップ３０，０００のサンプル（セグメント）において、８０％以上の精度であることを示している。一方、Ｅｓｐｒｅｓｓ（寛大な（lenient）ケース）では、５０％程度の精度であり、ＣＤ－ＩＩＩの方法はＥｓｐｒｅｓｓと比較して、３０％以上も優れていた。
　また、クラス依存の方法であるＣＤ－Ｉ、ＣＤ－ＩＩでは、上位のランクのセグメントを見れば、非常に良い結果を示している。ただし、ＣＤ－Ｉ、ＣＤ－ＩＩでは、下位のランクでは、急激に精度が低下している。なお、Ｅｓｐｒｅｓｓｏ（寛大な（lenient）ケース）は、ＣＤ－Ｉ（寛大な（lenient）ケース）の低ランク（３０，０００程度）に対しては優位である。
　さらに、Ｒ－Ｉでは、正しい単語対を取得できなかった。また、Ｒ－ＩＩでは、厳しい（strict）ケースで５９％の精度、寛大な（lenient）ケースでは７２％の精度で、単語対を取得した。
（実験３）
　実験３は、現象と防止手段の単語対を取得する実験である。実験３において、シードパターン格納部１０４には、例えば、「ＸによりＹを防ぐ」「Ｙを防止するＸ」などの２０のシードパターンを格納した。
　単語対取得装置１による方法では、例えば、図１３に示すような単語対等の出力が得られた。また、単語対取得装置１の単語対取得部１１１は、１８，５１２の単語対（９，９４６のストップワードを取り除いた後）を取得できた。また、単語対取得装置１は、１，１６１のクラス対を取得した。
　また、図１４は、実験３における各方法の精度を示すグラフである。図１２において、単語対取得装置１におけるＣＤ－ＩＩＩの方法は、トップの２つのセグメント（トップ５，０００、および５,０００から１５，０００）において、ＥｓｐｒｅｓｓｏとＳＣと比較して、優れていることが分かる。この実験３では、単語対取得装置１による方法のうち、ＣＤ－ＩＩＩのみ評価した。また、実験３において、ＣＤ－ＩＩＩの方法を、拡張した方法（ＣＤ－ＩＩＩａ、ＣＤ－ＩＩＩｂ）をも用いて、単語対取得装置１を評価した。拡張した方法を用いたのは、シードパターンを含むパターンにより取得された単語対の中には、具体的な防止手段より、その自体を防止する行為を示す単語が含まれていたからである。例えば、単語対取得装置１が取得した単語対には、パターン「Ｙを防止するＸ」に対応して「空腹を防止する手段」や「漏れを防止するメカニズム」の中の「空腹」と「手段」、「漏れ」と「メカニズム」など単語対があった。「手段」や「メカニズム」などは、不適切であるとして、除外するようにした。これは、上述した除外クラス対格納部１０９の除外クラス対を用いて、採用しない単語対を決定することなどである。
　ＣＤ－ＩＩＩａは、ＣＤ－ＩＩＩと似ているが、除外クラス対格納部１０９の除外クラス対に対応する単語対を除く点が異なる。ＣＤ－ＩＩＩａにおいて、平均出現頻度が予め決められた閾値以上の差を有する２つのクラスのクラス識別子を除外クラス対としている。ここで、閾値は、２５倍である。除外クラス対を利用するのは、非常に出現頻度の高い単語が属するクラスに属する単語は、所定の関係にある良好な単語対を構成する単語になりにくい、と考えられるからである。なお、図８の平均出現頻度管理表を用いた場合、クラス９とクラス４９の平均出現頻度の差は、２５倍以上（約１３５倍）であり、クラス９とクラス４９は、除外クラス対となる。
　また、ＣＤ－ＩＩＩｂも、ＣＤ－ＩＩＩａと同様に、ＣＤ－ＩＩＩと似ているが、除外クラス対格納部１０９の除外クラス対に対応する単語対を除く点が異なる。ＣＤ－ＩＩＩｂにおいて、手作業で９つの除外クラス対を与えている。実験者が、ＣＤ－ＩＩＩの出力をチェックし、９つの除外クラス対を決定した。図１４によれば、概ね、ＣＤ－ＩＩＩｂが良好な結果を示している。
　さらに、Ｒ－Ｉでは、厳しい（strict）および寛大な（lenient）ケースともに、１００サンプルの中からは、正しい単語対を取得できなかった。また、Ｒ－ＩＩでは、厳しい（strict）ケースで５９％の精度、寛大な（lenient）ケースでは６８％の精度で、単語対を取得した。
　以上、本実施の形態によれば、所定の関係にある単語対を、精度高く取得できる。
　なお、本実施の形態において、クラス対良好度のみを利用して、単語対のスコアを算出しても良い。かかる場合、例えば、スコアは、クラス対良好度と一致しても良い。そして、この単語対取得装置１は、１以上の文章群を格納し得る文章群格納部と、１以上の単語と当該１以上の単語が属するクラスを識別するクラス識別子とを対応づけて有する２以上の単語クラス情報を格納し得る単語クラス情報格納部と、２つのクラスの良さを示す指標であるクラス対良好度を格納し得るクラス対良好度格納部と、所定の関係を有する２つの単語対を取得するために利用するパターンであるシードパターンを１以上格納し得るシードパターン格納部と、前記シードパターン格納部に格納されている１以上のシードパターンのいずれかを取得し、前記文章群格納部に格納されている１以上の文章群から、前記取得したシードパターンと共起する１以上の単語対を取得する単語対取得部と、前記単語対取得部が取得した１以上の単語対が有する各単語が属する２つのクラスのクラス対良好度を前記クラス対良好度格納部から取得するクラス対良好度取得部と、前記クラス対良好度取得部が取得したクラス対良好度を用いて、前記単語対取得部が取得した各単語対のスコアを決定するスコア決定部と、前記スコア決定部が決定したスコアが予め決められた条件を満たすほど、スコアが高い１以上の単語対を取得する単語対選択部と、前記単語対選択部が取得した１以上の単語対を出力する単語対出力部とを具備する単語対取得装置である。
　また、本実施の形態において、単語クラス情報格納部１０３は、単語ごとに、確率分布情報を格納していても良い。確率分布情報とは、用語が、１以上の各クラスに属する確率の分布（集合）の情報である。確率分布情報は、ベクトルを構成し得る。クラスとは、名詞を１以上有する情報群、または、名詞を抽象化したものを１以上有する情報群である。クラスとは、例えば、同じ動詞、または同じ動詞と助詞の組と共起しやすい名詞の集合である。クラスは、適宜、隠れクラスという。なお、かかる場合、単語クラス情報格納部１０３が有する単語クラス情報は、図１５のようになる。図１５は、確率分布管理表である。なお、確率分布管理表の各データは、単語毎に各クラスに属する確率を有するベクトルであるが、このベクトルも、１以上の単語と当該１以上の単語が属するクラスのクラス識別子とを対応づけて有する単語クラス情報の一種である、と言える。なお、図１５において、クラス識別子は、ベクトル内の要素番号で決まる。
　そして、単語クラス情報取得部１１３は、文章群格納部１０１の１以上の文章群を用いて、図１５のような確率分布管理表を構築しても良い。つまり、例えば、１，０００，０００の名詞句と、１００，０００の動詞と助詞のセットを用いて、確率「Ｐ（＜ｖ，ｒｅｌ＞｜ｎ）」を１以上の文章群（Ｓｈｉｎｚａｔｏらが発表した以下のウェブコーパス「K. Shinzato, D. Kawahara, C. Hashimoto and S. Kurohashi. 2008. A Large-Scale Web Data Collection as A Natural Language Processing Infrastructure. In the 6th International Conference on Language Resources and Evaluation (LREC).」）から取得する。なお、＜ｖ，ｒｅｌ＞の組の発生の条件付き確率「Ｐ（＜ｖ，ｒｅｌ＞｜ｎ）」は、以下の数式１６により算出できる。「Ｐ（＜ｖ，ｒｅｌ＞｜ｎ）」は、名詞ｎの文法的なコンテキストの確率分布である。なお、ｖは動詞、ｒｅｌは助詞、ｎは名詞（名詞句を含む）である。なお、名詞は単語に相当する。また、名詞ｎと助詞ｒｅｌからなる文節が、動詞ｖを含む文節を修飾するときに、「名詞ｎが＜ｖ，ｒｅｌ＞と共起する」とする。
Figure JPOXMLDOC01-appb-M000016
　また、数式１６において、ｌｏｇを使っているが、ｌｏｇを使わなくても良い。よって、数式１６は、「Ｐ（＜ｖ，ｒｅｌ＞｜ｎ）＝（ｆ（＜ｖ，ｒｅｌ，ｎ＞）＋１）／（Σｆ（＜ｖ，ｒｅｌ，ｎ＞）＋１）でも良い。
　数式１６において、「ｆ（＜ｖ，ｒｅｌ，ｎ＞）」は、＜ｖ，ｒｅｌ，ｎ＞の出現頻度である。また、Ｄは、｛＜ｖ，ｒｅｌ＞｜ｆ（＜ｖ，ｒｅｌ，ｎ＞）＞０｝として定義されるセットである。また、「ｆ（＜ｖ，ｒｅｌ，ｎ＞）＝０」の場合、「Ｐ（＜ｖ，ｒｅｌ＞｜ｎ）」は、「０」である。
　また、単語クラス情報取得部１１３は、「EM-based clustering」というクラス分類方法により、名詞を分類しても良い。つまり、単語クラス情報取得部１１３は、以下の数式１７で示される＜ｖ，ｒｅｌ，ｎ＞の組の出現確率を算出する。
Figure JPOXMLDOC01-appb-M000017
　数式１７において、「ａ」は＜ｖ，ｒｅｌ＞の組および「ｎ」の隠れクラスを示す。数式１７において、確率「Ｐ（＜ｖ，ｒｅｌ＞｜ａ）」、「Ｐ（ｎ｜ａ）」および「Ｐ（ａ）」が直接的に算出できない。隠れクラス「ａ」が与えられたコーパスから取得できないからである。
　「EM-based clustering」は、与えられたコーパス（１以上の文章群）から、これらの確率（「Ｐ（＜ｖ，ｒｅｌ＞｜ａ）」、「Ｐ（ｎ｜ａ）」および「Ｐ（ａ）」）を推定する。「EM-based clustering」は「Ｅステップ」と「Ｍステップ」の２つのステップからなる。「Ｅステップ」において、確率「Ｐ（＜ｖ，ｒｅｌ＞｜ａ）」が算出される。「Ｍステップ」において、「Ｅステップ」における結果を用いて、最大尤度になるまで、「Ｐ（＜ｖ，ｒｅｌ＞｜ａ）」、「Ｐ（ｎ｜ａ）」および「Ｐ（ａ）」が更新される。
　以上の処理により、各＜ｖ，ｒｅｌ＞、ｎ、およびａに対して、確率「Ｐ（＜ｖ，ｒｅｌ＞｜ａ）」、「Ｐ（ｎ｜ａ）」および「Ｐ（ａ）」が算出される。
　そして、「Ｐ（ａ｜ｎ）」は、以下の数式１８により算出される。
Figure JPOXMLDOC01-appb-M000018
　「Ｐ（ａ｜ｎ）」は、ｎのクラスを決定するために用いられる。例えば、最大の「Ｐ（ａ｜ｎ）」を有するクラスが、ｎが属するクラスである。類似する＜ｖ，ｒｅｌ＞の組と共起する名詞句は、同じクラスに属する傾向がある。
　また、本明細書で記載したクラス対に関して、以下のように絞り込むことは好適である。つまり、図示しない手段または上述したいずれかの構成要素（発明特定事項）により、文章群格納部１０１の文章群から、シードパターンと共起する単語対を取り出し、当該単語対が、予め決められた数（閾値は予め格納されている）以上存在するクラス対に限定する。そして、限定されたクラス対、または限定されたクラス対の単語対を用いて、上述した処理（単語対の取得処理や、クラス対良好度の算出や、パターンの類似度の算出や、スコアの算出など）が行われる。かかることにより、処理の高速化が図れる。
　また、本明細書で記載した各種の数式は、技術的思想を反映する範囲で、多少の変形を加えても良いことは言うまでもない。
　さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをＣＤ－ＲＯＭなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における情報処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、１以上の文章群を格納し、１以上の単語と当該１以上の単語が属するクラスを識別するクラス識別子とを対応づけて有する２以上の単語クラス情報を格納し、２つのクラスの良さを示す指標であるクラス対良好度を格納し、所定の関係を有する２つの単語対を取得するために利用するパターンであるシードパターンを１以上格納しており、コンピュータを、前記記憶媒体に格納されている１以上のシードパターンのいずれかを取得し、前記記憶媒体に格納されている１以上の文章群から、前記取得したシードパターンと共起する１以上の単語対を取得する単語対取得部と、前記単語対取得部が取得した１以上の単語対が有する各単語が属する２つのクラスのクラス対良好度を前記記憶媒体から取得するクラス対良好度取得部と、前記クラス対良好度取得部が取得したクラス対良好度を用いて、前記単語対取得部が取得した各単語対のスコアを決定するスコア決定部と、前記スコア決定部が決定したスコアが予め決められた条件を満たすほど、スコアが高い１以上の単語対を取得する単語対選択部と、前記単語対選択部が取得した１以上の単語対を出力する単語対出力部として機能させるためのプログラム、である。
　また、上記プログラムにおいて、コンピュータを、２つの各クラスに属する単語対が、前記文章群格納部の１以上の文章群の中で、前記１以上のシードパターンと共起する回数または割合が多いほどクラス対良好度が大きくなるようにクラス対良好度を算出するクラス対良好度算出部として、さらに機能させ、
前記クラス対良好度算出部が算出した２つのクラスのクラス対良好度は、記憶媒体に格納されているクラス対良好度であることは好適である。
　また、上記プログラムにおいて、記憶媒体に、シードパターンではないパターンであり、前記所定の関係を有する２つの単語対を取得するために利用する１以上のパターン、および、前記１以上の各パターンと前記シードパターンとの類似度を、パターンごとにさらに格納し、前記単語対取得部は、前記記憶媒体に格納されている１以上のシードパターン、および前記記憶媒体に格納されている１以上のパターンのいずれかを取得し、前記記憶媒体に格納されている１以上の文章群から、前記シードパターンまたは前記パターンと共起する１以上の単語対を取得し、前記スコア決定部は、前記記憶媒体に格納されている前記１以上の各パターンと前記シードパターンとの類似度をも用いて、前記単語対取得部が取得した各単語対のスコアを決定するものとして、コンピュータを機能させるプログラムであることは好適である。
　また、上記プログラムにおいて、コンピュータを、前記１以上のシードパターンと共起する単語対に対応するクラス対と、前記記憶媒体に格納されている１以上の各パターンと共起する単語対に対応するクラス対との重なりが大きいほど、大きくなるように類似度を算出するパターン類似度算出部をさらに具備し、前記パターン類似度算出部が算出した類似度は、前記記憶媒体に格納されている類似度であることは好適である。
　また、上記プログラムにおいて、記憶媒体に、1以上の各単語対と1以上の各パターンとの親和性に関する情報である親和性情報を、さらに格納し、前記スコア決定部は、前記記憶媒体の親和性情報をも用いて、前記単語対取得部が取得した各単語対のスコアを決定するものとして、コンピュータを機能させるプログラムであることは好適である。
　また、上記プログラムにおいて、コンピュータを、前記単語対取得部が取得した１以上の単語対と、前記１以上の各パターンとが共起する回数または割合が多いほど、大きくなるように親和性情報を算出する親和性情報算出部としてさらに機能させ、前記記憶媒体の親和性情報は、前記親和性情報算出部が算出した親和性情報であることは好適である。
　また、上記プログラムにおいて、前記スコア決定部は、前記クラス対良好度、前記シードパターンとパターンとの類似度、および前記親和性情報との積が最も大きいシードパターンまたはパターンにおけるスコアを、各単語対のスコアとして決定するものとして、コンピュータを機能させるプログラムであることは好適である。
　また、上記プログラムにおいて、コンピュータを、前記記憶媒体に格納されている１以上の文章群の各文に対して、形態素解析および係り受け解析し、第一の名詞または名詞句を起点として、第二の名詞または名詞句を終点として、前記起点から前記終点までに至る形態素の繋がりをパターンとして取得し、または、前記起点からの形態素の繋がりと前記終点からの形態素の繋がりが結ばれる形態素までをパターンとして取得するパターン取得部としてさらに機能させ、前記記憶媒体のパターンは、前記パターン取得部が取得したパターンであることは好適である。
　また、上記プログラムにおいて、記憶媒体に、最終的に出力しない単語対に対応するクラス対を識別する２つのクラス識別子である除外クラス対を１以上格納し、コンピュータを、前記１以上の除外クラス対に対応する単語対を出力する単語対から除外する単語対除外部としてさらに機能させることは好適である。
　また、上記プログラムにおいて、記憶媒体に、前記１以上の文章群における、各クラスに属する単語の平均出現頻度と、クラス識別子とを対に有するクラス出現頻度情報を、クラス毎に格納し、コンピュータを、前記平均出現頻度が予め決められた閾値以上の差を有する２つのクラスのクラス識別子を除外クラス対として、前記除外クラス対格納部に蓄積する除外クラス対蓄積部としてさらに機能させることは好適である。
　また、図１６は、本明細書で述べたプログラムを実行して、上述した実施の形態の単語対取得装置１等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図１６は、このコンピュータシステム３４０の概観図であり、図１７は、コンピュータシステム３４０の内部構成を示す図である。
　図１６において、コンピュータシステム３４０は、ＦＤドライブ３４１１、ＣＤ－ＲＯＭドライブ３４１２を含むコンピュータ３４１と、キーボード３４２と、マウス３４３と、モニタ３４４とを含む。
　図１７において、コンピュータ３４１は、ＦＤドライブ３４１１、ＣＤ－ＲＯＭドライブ３４１２に加えて、ＭＰＵ３４１３と、ＣＤ－ＲＯＭドライブ３４１２及びＦＤドライブ３４１１に接続されたバス３４１４と、ブートアッププログラム等のプログラムを記憶するためのＲＯＭ３４１５と、ＭＰＵ３４１３に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのＲＡＭ３４１６と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク３４１７とを含む。ここでは、図示しないが、コンピュータ３４１は、さらに、ＬＡＮへの接続を提供するネットワークカードを含んでも良い。
　コンピュータシステム３４０に、上述した実施の形態の単語対取得装置１等の機能を実行させるプログラムは、ＣＤ－ＲＯＭ３５０１、またはＦＤ３５０２に記憶されて、ＣＤ－ＲＯＭドライブ３４１２またはＦＤドライブ３４１１に挿入され、さらにハードディスク３４１７に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ３４１に送信され、ハードディスク３４１７に記憶されても良い。プログラムは実行の際にＲＡＭ３４１６にロードされる。プログラムは、ＣＤ－ＲＯＭ３５０１、ＦＤ３５０２またはネットワークから直接、ロードされても良い。
　プログラムは、コンピュータ３４１に、上述した実施の形態の単語対取得装置１等の機能を実行させるオペレーティングシステム（ＯＳ）、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能（モジュール）を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム３４０がどのように動作するかは周知であり、詳細な説明は省略する。
　また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
　また、上記各実施の形態において、各処理（各機能）は、単一の装置（システム）によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
　本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
　以上のように、本発明にかかる単語対取得装置は、所定の関係にある単語対を適切に取得できるという効果を有し、単語対取得装置等として有用である。
実施の形態１における単語対取得装置１を含む単語取得システムの概念図 同単語対取得装置の、単語対を取得する処理を行う構成要素に着目したブロック図 同単語対取得装置の、単語対を取得する処理を行う前の環境整備を行う構成要素に着目したブロック図 同文字列の係り受け解析の結果を示す図 同文字列の係り受け解析の結果を示す図 同単語対取得装置の動作について説明するフローチャート 同単語クラス情報管理表を示す図 同クラス出現頻度情報管理表を示す図 同単語対等の出力例を示す図 同実験１における各方法の精度を示すグラフ 同単語対等の出力例を示す図 同実験２における各方法の精度を示すグラフ 同単語対等の出力例を示す図 同実験３における各方法の精度を示すグラフ 同確率分布管理表を示す図 同コンピュータシステムの概観図 同コンピュータシステムのブロック図

Claims (13)

  1. １以上の文章群を格納し得る文章群格納部と、
    １以上の単語と当該１以上の単語が属するクラスを識別するクラス識別子とを対応づけて有する２以上の単語クラス情報を格納し得る単語クラス情報格納部と、
    ２つのクラスの良さを示す指標であるクラス対良好度を格納し得るクラス対良好度格納部と、
    ２つの単語である単語対を１以上格納し得る単語対格納部と、
    前記単語対格納部に格納されている１以上の単語対が有する各単語が属する２つのクラスのクラス対良好度を前記クラス対良好度格納部から取得するクラス対良好度取得部と、
    前記クラス対良好度取得部が取得したクラス対良好度を用いて、前記単語対格納部の各単語対のスコアを決定するスコア決定部と、
    前記スコア決定部が決定したスコアが予め決められた条件を満たすほど、スコアが高い１以上の単語対を取得する単語対選択部と、
    前記単語対選択部が取得した１以上の単語対を出力する単語対出力部とを具備する単語対取得装置。
  2. 所定の関係を有する２つの単語対を取得するために利用するパターンであるシードパターンを１以上格納し得るシードパターン格納部と、
    ２つの各クラスに属する単語対が、前記文章群格納部の１以上の文章群の中で、前記１以上のシードパターンと共起する回数または割合が多いほどクラス対良好度が大きくなるようにクラス対良好度を算出するクラス対良好度算出部とをさらに具備し、
    前記クラス対良好度算出部が算出した２つのクラスのクラス対良好度は、前記クラス対良好度格納部に格納されているクラス対良好度である請求項１記載の単語対取得装置。
  3. シードパターンではないパターンであり、前記所定の関係を有する２つの単語対を取得するために利用するパターンを１以上格納し得るパターン格納部と、
    前記パターン格納部に格納されている１以上の各パターンと前記シードパターンとの類似度を、パターンごとに格納し得るパターン類似度格納部と、
    前記シードパターン格納部に格納されている１以上のシードパターン、および前記パターン格納部に格納されている１以上のパターンのいずれかを取得し、前記文章群格納部に格納されている１以上の文章群から、前記シードパターンまたは前記パターンと共起する１以上の単語対を取得する単語対取得部とをさらに具備し、
    前記スコア決定部は、
    前記パターン類似度格納部に格納されている前記１以上の各パターンと前記シードパターンとの類似度をも用いて、前記単語対取得部が取得した各単語対のスコアを決定する請求項１記載の単語対取得装置。
  4. 前記１以上のシードパターンと共起する単語対に対応するクラス対と、前記パターン格納部に格納されている１以上の各パターンと共起する単語対に対応するクラス対との重なりが大きいほど、大きくなるように類似度を算出するパターン類似度算出部をさらに具備し、
    前記パターン類似度算出部が算出した類似度は、前記パターン類似度格納部に格納されている類似度である請求項３記載の単語対取得装置。
  5. １以上の各単語対と１以上の各パターンとの親和性に関する情報である親和性情報を格納し得る親和性情報格納部をさらに具備し、
    前記スコア決定部は、
    前記親和性情報格納部の親和性情報をも用いて、前記単語対取得部が取得した各単語対のスコアを決定する請求項１記載の単語対取得装置。
  6. 前記単語対取得部が取得した１以上の単語対と、前記１以上の各パターンとが共起する回数または割合が多いほど、大きくなるように親和性情報を算出する親和性情報算出部をさらに具備し、
    前記親和性情報格納部の親和性情報は、前記親和性情報算出部が算出した親和性情報である請求項５記載の単語対取得装置。
  7. 前記スコア決定部は、
    前記クラス対良好度、前記シードパターンとパターンとの類似度、および前記親和性情報との積が最も大きいシードパターンまたはパターンにおけるスコアを、各単語対のスコアとして決定する請求項６記載の単語対取得装置。
  8. 前記文章群格納部に格納されている１以上の文章群の各文に対して、形態素解析および係り受け解析し、第一の名詞または名詞句を起点として、第二の名詞または名詞句を終点として、前記起点から前記終点までに至る形態素の繋がりをパターンとして取得し、または、前記起点からの形態素の繋がりと前記終点からの形態素の繋がりが結ばれる形態素までをパターンとして取得するパターン取得部をさらに具備し、
    前記パターン格納部のパターンは、前記パターン取得部が取得したパターンである請求項３記載の単語対取得装置。
  9. 最終的に出力しない単語対に対応するクラス対を識別する２つのクラス識別子である除外クラス対を１以上格納し得る除外クラス対格納部と、
    前記１以上の除外クラス対に対応する単語対を出力する単語対から除外する単語対除外部とをさらに具備する請求項１記載の単語対取得装置。
  10. 前記１以上の文章群における、各クラスに属する単語の平均出現頻度と、クラス識別子とを対に有するクラス出現頻度情報を、クラス毎に格納し得るクラス出現頻度情報格納部と、
    前記平均出現頻度が予め決められた閾値以上の差を有する２つのクラスのクラス識別子を除外クラス対として、前記除外クラス対格納部に蓄積する除外クラス対蓄積部とをさらに具備する請求項９記載の単語対取得装置。
  11. 前記文章群格納部の１以上の文章群を用いて、同一の動詞、または同一の動詞と助詞と共起する回数または割合が多い単語を同一のクラスに属するように、１以上の単語クラス情報を取得する単語クラス情報取得部をさらに具備し、
    前記単語クラス情報格納部の単語クラス情報は、前記単語クラス情報取得部が取得した単語クラス情報である請求項１記載の単語対取得装置。
  12. 記憶媒体に、
    １以上の文章群を格納し、
    １以上の単語と当該１以上の単語が属するクラスを識別するクラス識別子とを対応づけて有する２以上の単語クラス情報を格納し、
    ２つのクラスの良さを示す指標であるクラス対良好度を格納し、
    所定の関係を有する２つの単語対を取得するために利用するパターンであるシードパターンを１以上格納しており、
    単語対取得部、クラス対良好度取得部、スコア決定部、単語対選択部、および単語対出力部により実現される単語対取得方法であって、
    前記単語対取得部により、前記記憶媒体に格納されている１以上のシードパターンのいずれかを取得し、前記記憶媒体に格納されている１以上の文章群から、前記取得したシードパターンと共起する１以上の単語対を取得する単語対取得ステップと、
    前記クラス対良好度取得部により、前記単語対取得ステップで取得された１以上の単語対が有する各単語が属する２つのクラスのクラス対良好度を前記記憶媒体から取得するクラス対良好度取得ステップと、
    前記スコア決定部により、前記クラス対良好度取得ステップで取得されたクラス対良好度を用いて、前記単語対取得ステップで取得された各単語対のスコアを決定するスコア決定ステップと、
    前記単語対選択部により、前記スコア決定ステップで決定されたスコアが予め決められた条件を満たすほど、スコアが高い１以上の単語対を取得する単語対選択ステップと、
    前記単語対出力部により、前記単語対選択ステップで取得された１以上の単語対を出力する単語対出力ステップとを具備する単語対取得方法。
  13. 記憶媒体に、
    １以上の文章群を格納し、
    １以上の単語と当該１以上の単語が属するクラスを識別するクラス識別子とを対応づけて有する２以上の単語クラス情報を格納し、
    ２つのクラスの良さを示す指標であるクラス対良好度を格納し、
    所定の関係を有する２つの単語対を取得するために利用するパターンであるシードパターンを１以上格納しており、
    コンピュータを、
    前記記憶媒体に格納されている１以上のシードパターンのいずれかを取得し、前記記憶媒体に格納されている１以上の文章群から、前記取得したシードパターンと共起する１以上の単語対を取得する単語対取得部と、
    前記単語対取得部が取得した１以上の単語対が有する各単語が属する２つのクラスのクラス対良好度を前記記憶媒体から取得するクラス対良好度取得部と、
    前記クラス対良好度取得部が取得したクラス対良好度を用いて、前記単語対取得部が取得した各単語対のスコアを決定するスコア決定部と、
    前記スコア決定部が決定したスコアが予め決められた条件を満たすほど、スコアが高い１以上の単語対を取得する単語対選択部と、
    前記単語対選択部が取得した１以上の単語対を出力する単語対出力部として機能させるためのプログラム。
PCT/JP2010/065308 2009-09-09 2010-09-07 単語対取得装置、単語対取得方法、およびプログラム WO2011030752A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/394,893 US9037586B2 (en) 2009-09-09 2010-09-07 Word pair acquisition apparatus, word pair acquisition method, and program
CN201080040033.9A CN102576358B (zh) 2009-09-09 2010-09-07 单词对取得装置、单词对取得方法及其程序
KR1020127006123A KR101715432B1 (ko) 2009-09-09 2010-09-07 단어쌍취득장치, 단어쌍취득방법 및 기록 매체
EP10815349.5A EP2477125A4 (en) 2009-09-09 2010-09-07 WORDS PAIR ACQUISITION DEVICE, WORDS PAIR ACQUISITION METHOD, AND PROGRAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009207944A JP5382651B2 (ja) 2009-09-09 2009-09-09 単語対取得装置、単語対取得方法、およびプログラム
JP2009-207944 2009-09-09

Publications (1)

Publication Number Publication Date
WO2011030752A1 true WO2011030752A1 (ja) 2011-03-17

Family

ID=43732424

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/065308 WO2011030752A1 (ja) 2009-09-09 2010-09-07 単語対取得装置、単語対取得方法、およびプログラム

Country Status (6)

Country Link
US (1) US9037586B2 (ja)
EP (1) EP2477125A4 (ja)
JP (1) JP5382651B2 (ja)
KR (1) KR101715432B1 (ja)
CN (1) CN102576358B (ja)
WO (1) WO2011030752A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11507744B2 (en) * 2017-11-10 2022-11-22 Nec Corporation Information processing apparatus, information processing method, and computer-readable recording medium

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8510308B1 (en) * 2009-06-16 2013-08-13 Google Inc. Extracting semantic classes and instances from text
JP5594225B2 (ja) * 2011-05-17 2014-09-24 富士通株式会社 知識獲得装置、知識取得方法、及びプログラム
JP5254402B2 (ja) * 2011-06-07 2013-08-07 株式会社東芝 注目評価対象抽出装置及びプログラム
US8832655B2 (en) * 2011-09-29 2014-09-09 Accenture Global Services Limited Systems and methods for finding project-related information by clustering applications into related concept categories
JP5491478B2 (ja) * 2011-10-24 2014-05-14 ヤフー株式会社 検索クエリ関連単語出力装置、検索クエリ関連単語出力方法および検索補助システム
JP5597653B2 (ja) * 2012-01-05 2014-10-01 日本電信電話株式会社 単語抽出装置及び方法及びプログラム
US9037452B2 (en) * 2012-03-16 2015-05-19 Afrl/Rij Relation topic construction and its application in semantic relation extraction
US10305831B2 (en) * 2013-12-16 2019-05-28 Fairwords, Inc. Compliance mechanism for messaging
US10289678B2 (en) 2013-12-16 2019-05-14 Fairwords, Inc. Semantic analyzer for training a policy engine
US11501068B2 (en) 2013-12-16 2022-11-15 Fairwords, Inc. Message sentiment analyzer and feedback
US10120859B2 (en) 2013-12-16 2018-11-06 Fairwords, Inc. Message sentiment analyzer and message preclusion
JP5907393B2 (ja) 2013-12-20 2016-04-26 国立研究開発法人情報通信研究機構 複雑述語テンプレート収集装置、及びそのためのコンピュータプログラム
JP5904559B2 (ja) 2013-12-20 2016-04-13 国立研究開発法人情報通信研究機構 シナリオ生成装置、及びそのためのコンピュータプログラム
JP6403382B2 (ja) * 2013-12-20 2018-10-10 国立研究開発法人情報通信研究機構 フレーズペア収集装置、及びそのためのコンピュータプログラム
WO2015129044A1 (ja) * 2014-02-28 2015-09-03 楽天株式会社 情報処理システム、情報処理方法、および情報処理プログラム
JP6410455B2 (ja) * 2014-04-04 2018-10-24 日本放送協会 意味関係抽出装置およびプログラム
US20170109439A1 (en) * 2014-06-03 2017-04-20 Hewlett-Packard Development Company, L.P. Document classification based on multiple meta-algorithmic patterns
US9678947B2 (en) * 2014-11-21 2017-06-13 International Business Machines Corporation Pattern identification and correction of document misinterpretations in a natural language processing system
US10409909B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Lexical analyzer for a neuro-linguistic behavior recognition system
CN107430600A (zh) * 2014-12-12 2017-12-01 慧与发展有限责任合伙企业 可扩展的web数据提取
US10409910B2 (en) * 2014-12-12 2019-09-10 Omni Ai, Inc. Perceptual associative memory for a neuro-linguistic behavior recognition system
JP6437892B2 (ja) * 2015-07-13 2018-12-12 日本電信電話株式会社 ソフトウェア解析システム、ソフトウェア解析方法およびソフトウェア解析プログラム
US10062084B2 (en) 2015-10-21 2018-08-28 International Business Machines Corporation Using ontological distance to measure unexpectedness of correlation
JP2017174009A (ja) * 2016-03-22 2017-09-28 日本電気株式会社 事態間知識抽出装置、事態間知識抽出方法、及びプログラム
CN109478376A (zh) * 2016-04-26 2019-03-15 庞帝教育公司 基于亲和知识的计算学习系统
US11023475B2 (en) 2016-07-22 2021-06-01 International Business Machines Corporation Testing pairings to determine whether they are publically known
JP6721179B2 (ja) * 2016-10-05 2020-07-08 国立研究開発法人情報通信研究機構 因果関係認識装置及びそのためのコンピュータプログラム
KR20180089183A (ko) 2017-01-31 2018-08-08 동국대학교 산학협력단 뇌파를 이용한 게임 장치 및 방법
WO2019126224A1 (en) * 2017-12-19 2019-06-27 Visa International Service Association Hyper-graph learner for natural language comprehension

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256447A (ja) * 2002-02-26 2003-09-12 Kyoji Umemura 関連語抽出方法および装置
JP2009265889A (ja) * 2008-04-24 2009-11-12 Nippon Hoso Kyokai <Nhk> 言語処理装置およびプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5267345A (en) * 1992-02-10 1993-11-30 International Business Machines Corporation Speech recognition apparatus which predicts word classes from context and words from word classes
JPH0689302A (ja) * 1992-09-08 1994-03-29 Hitachi Ltd 辞書メモリ
US5787422A (en) * 1996-01-11 1998-07-28 Xerox Corporation Method and apparatus for information accesss employing overlapping clusters
US6236987B1 (en) * 1998-04-03 2001-05-22 Damon Horowitz Dynamic content organization in information retrieval systems
JP3636941B2 (ja) * 1999-07-19 2005-04-06 松下電器産業株式会社 情報検索方法と情報検索装置
JP4803709B2 (ja) * 2005-07-12 2011-10-26 独立行政法人情報通信研究機構 単語用法差異情報取得プログラム及び同装置
CN1916889B (zh) * 2005-08-19 2011-02-02 株式会社日立制作所 语料库制作装置及其方法
DE102005051617B4 (de) * 2005-10-27 2009-10-15 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Automatisches, computerbasiertes Ähnlichkeitsberechnungssystem zur Quantifizierung der Ähnlichkeit von Textausdrücken
US20080208566A1 (en) * 2007-02-23 2008-08-28 Microsoft Corporation Automated word-form transformation and part of speech tag assignment
KR101465770B1 (ko) * 2007-06-25 2014-11-27 구글 인코포레이티드 단어 확률 결정
US8280886B2 (en) * 2008-02-13 2012-10-02 Fujitsu Limited Determining candidate terms related to terms of a query

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256447A (ja) * 2002-02-26 2003-09-12 Kyoji Umemura 関連語抽出方法および装置
JP2009265889A (ja) * 2008-04-24 2009-11-12 Nippon Hoso Kyokai <Nhk> 言語処理装置およびプログラム

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
JUNICHI KAZAMA; DE SAEGER; STIJN; KENTARO TORISAWA; MASAKI MURATA: "Creation of a large-scale synonym list using stochastic clustering of dependency", 15TH ANNUAL MEETING OF THE ASSOCIATION FOR NATURAL LANGUAGE PROCESSING (NLP2009
K. SHINZATO; D. KAWAHARA; C. HASHIMOTO; S. KUROHASHI.: "A Large-Scale Web Data Collection as A Natural Language Processing Infrastructure", IN THE 6TH INTERNATIONAL CONFERENCE ON LANGUAGE RESOURCES AND EVALUATION (LREC, 2008
NAOKI ASANOMA ET AL.: "Mikaiseki Corpus kara no Izon Kankei Tango Tsui no Shushu", PROCEEDINGS OF THE 61ST (HEISEI 12 NEN KOKI) NATIONAL MEETING OF INFORMATION PROCESSING SOCIETY OF JAPAN, - 3 October 2000 (2000-10-03), pages 2-141 - 2-142, XP008155205 *
P. PANTEL; M. PENNACCHIOTTI.: "Espresso: Leveraging generic patterns for automatically harvesting semantic relations", PROCEEDINGS OF THE 21ST INTERNATIONAL CONFERENCE ON COMPUTATIONAL LINGUISTICS AND 44TH ANNUAL MEETING OF THE ASSOCIATION FOR COMPUTATIONAL LINGUISTICS (COLINGACL-06, 2006, pages 113 - 120, XP055294493, DOI: doi:10.3115/1220175.1220190
See also references of EP2477125A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11507744B2 (en) * 2017-11-10 2022-11-22 Nec Corporation Information processing apparatus, information processing method, and computer-readable recording medium

Also Published As

Publication number Publication date
CN102576358A (zh) 2012-07-11
EP2477125A1 (en) 2012-07-18
US20120179682A1 (en) 2012-07-12
US9037586B2 (en) 2015-05-19
KR101715432B1 (ko) 2017-03-22
JP5382651B2 (ja) 2014-01-08
JP2011059917A (ja) 2011-03-24
KR20130038179A (ko) 2013-04-17
EP2477125A4 (en) 2016-09-21
CN102576358B (zh) 2014-10-15

Similar Documents

Publication Publication Date Title
JP5382651B2 (ja) 単語対取得装置、単語対取得方法、およびプログラム
Nenkova et al. A compositional context sensitive multi-document summarizer: exploring the factors that influence summarization
JP5284990B2 (ja) キーワードの時系列解析のための処理方法、並びにその処理システム及びコンピュータ・プログラム
KR101737887B1 (ko) 크로스 미디어 분석에 기반한 소셜 미디어 텍스트의 주제 카테고리 자동 분류 방법 및 그 장치
US8606795B2 (en) Frequency based keyword extraction method and system using a statistical measure
US8051088B1 (en) Document analysis
US9251248B2 (en) Using context to extract entities from a document collection
JP5710581B2 (ja) 質問応答装置、方法、及びプログラム
Bin Abdur Rakib et al. Using the reddit corpus for cyberbully detection
CN111090731A (zh) 基于主题聚类的电力舆情摘要提取优化方法及系统
JP2011118689A (ja) 検索方法及びシステム
Basha et al. Evaluating the impact of feature selection on overall performance of sentiment analysis
KR20210119041A (ko) 군집 기반 중복문서 제거 장치 및 제거 방법
JP4979637B2 (ja) 複合語の区切り位置を推定する複合語区切り推定装置、方法、およびプログラム
Tuzzi What to put in the bag? Comparing and contrasting procedures for text clustering
Roy et al. An unsupervised normalization algorithm for noisy text: a case study for information retrieval and stance detection
JP6106489B2 (ja) 語義解析装置、及びプログラム
JP2007164635A (ja) 同義語彙獲得方法及び装置及びプログラム
JP2009104296A (ja) 関連キーワード抽出方法及び装置及びプログラム及びコンピュータ読取可能な記録媒体
JP2018077604A (ja) 機能記述からの実現手段・方法の侵害候補を自動特定する人工知能装置
JP4934115B2 (ja) キーワード抽出装置、方法及びプログラム
Oevermann et al. Semantically Weighted Similarity Analysis for XML-based Content Components
Xu et al. Exploiting paper contents and citation links to identify and characterise specialisations
Zhang et al. Team Noir at Factify 2: Multimodal fake news detection with pre-trained clip and fusion network
Manna et al. A subjective logic framework for multi-document summarization

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080040033.9

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10815349

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20127006123

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2010815349

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13394893

Country of ref document: US