WO2014097751A1 - 定義済み表現抽出システム、方法およびプログラム - Google Patents

定義済み表現抽出システム、方法およびプログラム Download PDF

Info

Publication number
WO2014097751A1
WO2014097751A1 PCT/JP2013/079479 JP2013079479W WO2014097751A1 WO 2014097751 A1 WO2014097751 A1 WO 2014097751A1 JP 2013079479 W JP2013079479 W JP 2013079479W WO 2014097751 A1 WO2014097751 A1 WO 2014097751A1
Authority
WO
WIPO (PCT)
Prior art keywords
word
ambiguous
ambiguous word
expression
extracted
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/079479
Other languages
English (en)
French (fr)
Inventor
綾子 久野
英司 平尾
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2014552984A priority Critical patent/JPWO2014097751A1/ja
Publication of WO2014097751A1 publication Critical patent/WO2014097751A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking

Definitions

  • the present invention relates to a predefined expression extraction system, method and program.
  • Patent Document 1 An example of a technique related to the predefined expression extraction system is disclosed in Patent Document 1 as “related word automatic extraction device, multiple important word extraction program, and important word upper / lower hierarchy relationship extraction program”.
  • the related word automatic extraction device disclosed in Patent Document 1 includes a database unit having a database for storing a document group, an important word analysis unit, a count unit, and a post-relationship extraction unit.
  • the important word analysis unit extracts important words composed of nouns that are considered to characterize the contents of documents included in the database.
  • the counting unit obtains statistical information including the total number of occurrences of the important words extracted by the important word analyzing unit in the database and the number of documents in which the important words are included in the database, and extracted by the important word analyzing unit The number of occurrences of another important word existing within a certain range from a specific important word in a document including the specific important word is acquired.
  • the related post-extraction unit includes a specific important word and another important word that are calculated from the statistical information and the number of occurrences of another important word in which the specific important word exists within a certain range. The degree of association between a specific important word and another important word is determined based on the appearance probability.
  • the technical term discrimination device includes a compound word division unit, a semantic distance calculation unit, and a specialized judgment unit.
  • the compound word dividing unit divides a compound word configured by combining component words into component words.
  • the semantic distance calculation unit calculates a semantic distance representing the semantic proximity between words between constituent words divided by the compound word division unit.
  • the specialty determination unit determines the specialty of the compound word based on the magnitude of the semantic distance calculated by the semantic distance calculation unit.
  • Patent Documents 1 and 2 have the following problems. For example, ambiguity of a document containing ambiguous words belonging to an annex such as prefix and suffix, which has the effect of letting readers abbreviate the abbreviated concepts such as “half”, “quasi”, “etc”, and “system” Even if the analysis method according to the above technique is applied to the evaluation, it is not possible to evaluate a highly ambiguous portion that requires preferential correction. The reason is as follows. An ambiguous word belonging to an attached word such as a prefix or a suffix varies greatly depending on whether the meaning is defined or undefined in combination with the word.
  • the ambiguity of the document includes the possibility that at least multiple interpretations will occur, such as whether the writer is difficult to understand between the writer and the reader, and whether the document is easy for the reader to understand. This refers to the characteristics related to the performance of document information transmission.
  • the present invention is intended to provide a defined expression extraction system, method, and program for evaluating ambiguity of a document.
  • the predefined expression extraction system belongs to an attached word such as a prefix or a suffix having an action of allowing a reader to estimate an abbreviated concept such as “half”, “quasi”, “etc”, and “system”.
  • a prefix or a suffix having an action of allowing a reader to estimate an abbreviated concept such as “half”, “quasi”, “etc”, and “system”.
  • the ambiguity of the document is evaluated by extracting the pattern considered to be a highly ambiguous part requiring preferential correction.
  • a document input unit that receives a target document or document group as an input document, an ambiguous word database that stores ambiguous words and their attributes, and the ambiguous word database with reference to the ambiguous word database.
  • a search unit that searches for the presence of ambiguous words in the input document, extracts sentences that contain ambiguous words, and morphological analysis of sentences that contain the extracted ambiguous words, and includes adjacent nouns before and after the ambiguous words
  • Compound word extraction unit that extracts as compound words, and if the ambiguous word of the extracted ambiguous word compound word is a suffix, from the beginning to the ambiguous word, if the ambiguous word of the extracted ambiguous word compound word is a prefix
  • Is a defined expression candidate extraction unit that extracts each word from an ambiguous word to the end as an expression with an ambiguous word, and extracts the extracted ambiguous word-containing compound word and the extracted expression with an ambiguous word as a defined expression candidate, and the definition Finished
  • an ambiguous word database storing ambiguous words and their attributes is prepared, and an input of a target document or a document group is accepted as an input document, and the ambiguous word database is referred to
  • searching for the presence of ambiguous words in the input document sentences containing ambiguous words are extracted, morphological analysis is performed on sentences containing the extracted ambiguous words, and adjacent nouns before and after the ambiguous words are included.
  • the input document is referred to a document input process in which a target document or document group is received as an input document, and an ambiguous word and its attributes are stored in a computer.
  • Predefined expression candidate extraction processing for extracting each word to the end as an expression with an ambiguous word, extracting the extracted ambiguous word-inclusive compound word and the extracted expression with an ambiguous word as a predefined expression candidate, and the predefined expression Program for executing an output process of outputting the complement, is provided.
  • an abbreviated concept such as “half”, “quasi”, “etc”, and “system”.
  • FIG. 1 is a block diagram showing a configuration of a predefined expression extraction system according to an embodiment of the present invention.
  • FIG. 2 is a sequence diagram showing an operation example of the predefined expression extraction system shown in FIG.
  • FIG. 3 is a diagram illustrating an example of a sentence input to the document input unit.
  • FIG. 4 is a diagram illustrating an example of data stored in the ambiguous word database.
  • FIG. 5 is a diagram illustrating an example of information output by the output unit.
  • FIG. 6 is a diagram illustrating an example of information output by the output unit.
  • FIG. 1 is a block diagram showing a configuration of a predefined expression extraction system according to an embodiment of the present invention.
  • a predefined expression extraction system 100 includes a document input unit 10, a search unit 20, a compound word extraction unit 30, a predefined expression candidate extraction unit 40, and an output unit. 50 and an ambiguous word database 110, which are basically provided in an electronic device or in a system composed of an information communication network such as the Internet that connects the server and the electronic device to each other.
  • the illustrated predefined expression extraction system 100 belongs to an attached word such as a prefix or a suffix having an action of allowing a reader to estimate an abbreviated concept such as “half”, “quasi”, “etc”, and “system”. For documents containing ambiguous words, detect and exclude patterns that have a defined meaning and low ambiguity, such as original terms, industry terms, legal terms, and fixed expressions, and have undefined meaning and high ambiguity The ambiguity of the document is evaluated by extracting the pattern considered to be a highly ambiguous part requiring preferential correction.
  • the predefined expression extraction system 100 can be realized by a computer that operates under program control.
  • this type of computer includes an input device for inputting data, a data processing device, an output device for outputting processing results in the data processing device, and an auxiliary memory serving as various databases.
  • the data processing device stores data in a read-only memory (ROM) that stores a program, a random access memory (RAM) that is used as a work area that temporarily stores data, and a program stored in the ROM.
  • ROM read-only memory
  • RAM random access memory
  • CPU central processing unit
  • the data processing device functions as the document input unit 10, the search unit 20, the compound word extraction unit 30, the predefined expression candidate extraction unit 40, and the output unit 50
  • the auxiliary storage device functions as the ambiguous word database 110 and outputs it.
  • the apparatus functions as the output unit 50. Next, the operation of each component constituting the predefined expression extraction system 100 will be described.
  • the document input unit 10 receives an input of a document or a document group that analyzes a highly ambiguous part that may include ambiguous words and that requires preferential correction.
  • the ambiguous word database 110 has an effect of allowing a reader to estimate an omitted concept, and attribute information for distinguishing an ambiguous word belonging to an appendix such as a prefix or a suffix and whether the ambiguous word is a prefix or a suffix. It is a database that accumulates. A database on the Internet may be used as the ambiguous word database 110.
  • the search unit 20 searches the ambiguous word with reference to the ambiguous word database 110 and extracts an ambiguous word and a sentence including the ambiguous word.
  • sentence delimiters may be determined by specific character strings such as punctuation marks, line feeds, symbols, and blanks.
  • the compound word extraction unit 30 acquires a compound word including an ambiguous word by applying morphological analysis to a sentence including the ambiguous word extracted by the search unit 20.
  • a compound word including an ambiguous word is a word group obtained by combining nouns adjacent to the ambiguous word, and is a word group having nouns before and after the ambiguous word. In other words, it is a compound word that includes an ambiguous word in places other than the beginning and end.
  • the flow is such that the search unit 20 searches for an ambiguous word and then the compound word extraction unit 30 extracts a compound word.
  • the compound word extraction unit 30 first extracts all compound words in the sentence. Then, the search unit 20 may extract an ambiguous word-inclusive compound word.
  • the predefined expression candidate extraction unit 40 extracts an ambiguous word-incorporated expression from the ambiguous word-incorporated compound word extracted by the compound word extraction unit 30, and there is a high possibility that the ambiguous word-incorporated compound word and the ambiguous word-indicated expression are already defined. Acquired as a defined expression candidate.
  • the expression with an ambiguous word is a word part consisting of a character string from the ambiguous word to the end of an ambiguous word-containing compound word when the ambiguous word is a prefix, and ambiguous when the ambiguous word is a suffix.
  • the degree of definition indicating the strength of the possibility of being defined may be estimated using the number of characters and the type of part of speech, and may be determined as being defined when the degree of definition exceeds a predetermined threshold.
  • the degree of definition is calculated based on the constituent condition of the word, which is one of the number of morphemes, the number of characters, the type of part of speech, or a combination thereof.
  • the output unit 50 outputs an ambiguous word-containing compound word or an expression with an ambiguous word determined as already defined as a defined expression.
  • the defined expression may be output in association with the definition level.
  • the search unit 20 refers to the ambiguous word database 110, searches for ambiguous words from the document, and obtains an ambiguous word and a sentence including the ambiguous word (step S101).
  • the compound word extraction unit 30 performs morphological analysis on a sentence including an ambiguous word, and acquires a portion where a noun continues adjacent to the ambiguous word as an ambiguous word-containing compound word. At this time, the case where the ambiguous word is at the head or the tail is excluded (step S102). If the ambiguous word included in the ambiguous word compound word is a prefix, the predefined expression candidate extraction unit 40 extracts the ambiguous word in the ambiguous word compound word and the word that follows the ambiguous word as an ambiguous word expression.
  • the word is a suffix
  • the part from the beginning of the ambiguous word-containing compound word to the ambiguous word is extracted as an expression with ambiguous words (step S103).
  • the degree of definition is calculated according to the composition condition of the word, which is one of the number of characters, the number of morphemes, the part of speech, or the combination of the ambiguous word-containing compound word or the expression with ambiguous word (step S104).
  • the output unit 50 outputs, as a defined expression list, a combination of an ambiguous word-incorporated compound word or an expression with an ambiguous word and a definition level, or a definition level exceeding a predetermined threshold (step S105).
  • the predefined expression extraction system 100 extracts an ambiguous word-containing compound word including ambiguous words and an expression with ambiguous words in a document, and determines the number of characters of the ambiguous word-containing compound word, the ambiguous word-added expression, and the type of part of speech.
  • the probability that an ambiguous word-inclusive compound word or an expression with an ambiguous word has been defined is calculated as a definition level according to the composition condition of one or a combination thereof, and an ambiguous word-in-compound word is ambiguous based on the calculated definition level. Evaluate the ambiguity of worded expressions.
  • the predefined expression extraction system 100 is a pattern that is considered to have low ambiguity with respect to a document including ambiguous words, such as original terms, industry terms, legal terms, and fixed expressions.
  • the ambiguity of the document can be evaluated by extracting a pattern that is undefined and has high ambiguity as a highly ambiguous part that requires preferential correction.
  • the defined expression extraction system 100 according to the present embodiment can be realized as a defined expression extraction method.
  • the predefined expression extraction system 100 according to the present embodiment may be executed by a computer using a document analysis program.
  • FIG. 3 shows an example of a document D that analyzes a highly ambiguous part that may contain ambiguous words and that requires preferential correction.
  • the ambiguous word and its attribute shown in FIG. 4 are registered in the ambiguous word database 110 as a pair.
  • the document input unit 10 receives input of the document D, and the search unit 20 searches the document D for “etc.” and “half” which are ambiguous words included in the ambiguous word database 110.
  • the underlined part in FIG. 3 is the searched ambiguous word.
  • the compound word extraction unit 30 extracts compound words including ambiguous words.
  • the compound word extraction unit 30 does not extract when the ambiguous word is at the beginning or end of the compound word. Therefore, the compound word extraction unit 30 extracts the “ambiguous word semi-automatic correction system” and the “specification reading unit” from the document D of FIG.
  • the predefined expression candidate extraction unit 40 extracts an expression with an ambiguous word from the compound word including an ambiguous word.
  • the ambiguous word compound compound word “an ambiguous word semi-automatic correction system” includes an ambiguous word “half”, and the attribute of the ambiguous word “half” is a prefix according to the ambiguous word database 110.
  • “Semi” and the subsequent character string “Semi-automatic correction system” are expressions with ambiguous words.
  • the ambiguous word compound word “specification reading unit” includes the ambiguous word “etc”, and the attribute of the ambiguous word “etc” is a suffix according to the ambiguous word database 110.
  • “Equal” and the preceding character string “specification” are expressions with ambiguous words.
  • the predefined expression candidate extraction unit 40 calculates the definition of the ambiguous word-incorporated compound word or the expression with the ambiguous word based on the composition condition of the word such as the number of characters, the type of part of speech, or a combination thereof.
  • the definition is A
  • the number of characters excluding the ambiguous word is N a
  • the number of morphemes excluding the ambiguous word is N B
  • the number of morphemes that apply to a specific part of speech is N r
  • a and b are If it is a constant, it can be obtained by the following equation (1).
  • N r is the part of speech is "suffix", "prefix”, when the number is true either noun "sahen connection”, defined degree A of "specifications” Becomes 0.67 as shown in the following formula (2).
  • the definition degree A of the “semi-automatic correction system” is 4, as shown in the following formula (3).
  • N r 1.
  • the greater the number of characters and the greater the number of morphemes that do not apply to a specific part of speech the higher the degree of definition and the higher the possibility of being defined. Therefore, because “specifications” have few characters and morphemes, the definition is low and the possibility of being defined is low, whereas the “semi-automatic correction system” has a high definition because there are many characters and morphemes. Most likely already defined. As shown in FIG.
  • the output unit 50 may output a list of ambiguous word-incorporated compound words and expressions with ambiguous words that are candidates for the predefined expression and the definition degree corresponding thereto as a pair, as shown in FIG. 6.
  • the list may be output as defined expressions only for expressions whose definition degree exceeds a predetermined threshold (for example, 1).
  • a predetermined threshold for example, 1.
  • the operation (process) of the embodiment may be executed using a computer-readable storage medium encoded with a program, software, or an instruction that can be executed by a computer. .
  • the storage medium includes not only a portable recording medium such as an optical disk, a floppy (registered trademark) disk, and a hard disk, but also a transmission medium that temporarily records and holds data such as a network.
  • a portable recording medium such as an optical disk, a floppy (registered trademark) disk, and a hard disk
  • a transmission medium that temporarily records and holds data such as a network.
  • a document input unit that accepts a target document or group of documents as an input document;
  • An ambiguous word database that stores ambiguous words and their attributes;
  • a search unit that searches for the presence or absence of an ambiguous word in the input document with reference to the ambiguous word database, and extracts a sentence including the ambiguous word;
  • a morphological analysis of the sentence including the extracted ambiguous word, and a compound word extraction unit that extracts adjacent nouns as an ambiguous word-containing compound word before and after the ambiguous word; If the ambiguous word of the extracted ambiguous word compound word is a suffix, the ambiguous word is attached from the beginning to the ambiguous word, and if the ambiguous word of the extracted ambiguous word compound word is a prefix, the ambiguous word to the end is marked.
  • a defined expression candidate extraction unit that extracts the extracted ambiguous word-incorporated compound word and the extracted expression with the ambiguous word as a defined expression candidate;
  • a predefined expression extraction system characterized by comprising: (Appendix 2)
  • the supplementary expression 1 is characterized in that the predefined expression candidate extraction unit calculates the degree of definition from the number of characters, the number of morphemes, the number of morphemes that apply to a specific part of speech, or a combination thereof. Described expression extraction system described.
  • the predefined expression candidate extraction unit uses a calculation formula in which the degree of definition increases as the number of characters other than the ambiguous word of the predefined expression candidate, the number of morphemes that do not apply to a specific part of speech, as the method of calculating the definition.
  • the ambiguous word of the extracted ambiguous word compound word is a suffix
  • the ambiguous word is attached from the beginning to the ambiguous word
  • the ambiguous word of the extracted ambiguous word compound word is a prefix
  • the ambiguous word to the end is marked.
  • Extract as an expression and extract the extracted ambiguous word compound word and the extracted expression with the ambiguous word as defined expression candidates, Outputting the predefined expression candidates;
  • the degree of definition is calculated from the step of extracting the predefined expression candidates from the number of characters, the number of morphemes of the predefined expression candidates, the number of morphemes that apply to a specific part of speech, or a combination thereof.
  • the predefined expression extraction method described in. (Appendix 9)
  • the step of extracting the predefined expression candidates uses, as a calculation method of the definition level, the number of characters other than the ambiguous words of the predefined expression candidates, a calculation formula that increases the definition level as the number of morphemes that do not apply to a specific part of speech increases.
  • the defined expression extraction method according to appendix 8 or 9, wherein the specific part of speech in the step of extracting the defined expression candidate is a noun having a role of prefix, suffix, and change connection. (Appendix 11) 11.
  • a document input process for receiving a target document or document group as an input document;
  • a search process for searching for the presence of an ambiguous word in the input document by referring to an ambiguous word database in which the ambiguous word and its attributes are stored, and for extracting a sentence including the ambiguous word;
  • a compound word extraction process that analyzes a sentence including the extracted ambiguous word and extracts a noun group adjacent to the front and back of the ambiguous word as an ambiguous word-containing compound word; If the ambiguous word of the extracted ambiguous word compound word is a suffix, the ambiguous word is attached from the beginning to the ambiguous word, and if the ambiguous word of the extracted ambiguous word compound word is a prefix, the ambiguous word to the end is marked.
  • a defined expression candidate extraction process for extracting as an expression and extracting the extracted ambiguous word-containing compound word and the extracted expression with an ambiguous word as a defined expression candidate;
  • An output process for outputting the predefined expression candidates;
  • a program for running (Appendix 14) The supplementary expression 13 is characterized in that the predefined expression candidate extraction process calculates a definition degree from any of the number of characters, the number of morphemes of the predefined expression candidate, the number of morphemes that apply to a specific part of speech, or a combination thereof. The listed program.
  • the predefined expression candidate extraction process uses, as the calculation method of the definition level, the number of characters other than the ambiguous word of the predefined expression candidate, a calculation formula that increases the definition level as the number of morphemes that do not apply to a specific part of speech increases.
  • (Appendix 17) The program according to any one of appendices 14 to 16, wherein the output processing outputs the defined expression candidate and the definition degree as a set.
  • Appendix 18 The program according to any one of appendices 14 to 16, wherein the output process outputs only defined expression candidates whose definition degree exceeds a predetermined threshold.
  • Appendix 19 A computer-readable storage medium storing the defined expression extraction program according to any one of appendices 13 to 18.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)

Abstract

　検索部は、付属語に属する曖昧語と曖昧語の属性を蓄積する曖昧語データベースを参照して入力文書中の曖昧語の有無を検索し、曖昧語が有る場合は曖昧語を含む文を入力文書から抽出する。複合語抽出部は、抽出された曖昧語を含む文から曖昧語に隣接する名詞群を曖昧語込み複合語として抽出する。定義済み表現候補抽出部は、曖昧語込み複合語から曖昧語付き表現を抽出し、定義済みの可能性の度合いを示す定義度を算出する。定義済み表現候補の一覧が出力部から出力される。

Description

定義済み表現抽出システム、方法およびプログラム
　本発明は、定義済み表現抽出システム、方法およびプログラムに関する。
　近年、情報処理装置を用いて、自然言語で書かれた文書を分析して、その文書の曖昧性を分析する定義済み表現抽出システムが開発されている。その定義済み表現抽出システムに関する技術の一例が、特許文献１に「関連語自動抽出装置、複数重要語抽出プログラムおよび重要語の上下階層関係抽出プログラム」として開示されている。特許文献１に開示された関連語自動抽出装置は、文書群を格納するデータベースを有するデータベース部と、重要語解析部と、カウント部と、関連後抽出部と、を備える。重要語解析部は、前記データベース中に含まれる文書の内容を特徴付けると考えられる名詞からなる重要語を抽出する。カウント部は、重要語解析部で抽出した重要語の前記データベース中の全出現回数と重要語が前記データベース中に含まれる文書数とを含む統計情報を取得し、前記重要語解析部で抽出した特定の重要語が含まれる文書における特定の重要語から一定の範囲内に存在する別の重要語の出現数を取得する。関連後抽出部は、前記統計情報と前記特定の重要語が一定の範囲内に存在する別の重要語の出現数とから演算される特定の重要語と別の重要語とが一定範囲内に出現する出現確率に基づいて特定の重要語と別の重要語との関連度を判定する。このような構成により、一般的な既存のシソーラス辞書には記載されていない、ユーザーが指定した特定分野に出現する専門用語や、新語および流行語を自動抽出し、さらにユーザーが指定した言葉に関連の深い重要語を抽出する機能を提供している。
　さらに、定義済み表現抽出システムに関する技術の他の例が、特許文献２に「専門用語判別装置および専門用語判別方法」として開示されている。この専門用語判別装置は、複合語分割部と、意味距離計算部と、専門性判定部と、を備える。複合語分割部は、構成語を組み合わせて構成される複合語を、各構成語に分割する。意味距離計算部は、複合語分割部により分割された構成語間の単語間の意味的な近さを表す意味距離を計算する。専門性判定部は、意味距離計算部により計算された意味距離の大きさに基づいて、複合語の専門性を判定する。このような構成により、あらかじめ構成語が専門用語であるか否かについて情報を保持していなくても、複合語を構成する構成語間の意味距離の大きさに基づいて、複合語の専門性を判定する機能を提供している。
特許第３５５３５４３号公報 特許第４９６１８６９号公報
　特許文献１、２に開示された技術は、以下の課題を有している。例えば、「半」、「準」や「等」、「系」といった省略された概念を読み手に推定させる作用を持つ、接頭語や接尾語などの付属語に属する曖昧語を含む文書の曖昧性の評価に、上記技術による分析方法を適用しても、優先的な修正が必要な曖昧性の高い箇所の評価は行えない。その理由は以下の通りである。接頭語や接尾語などの付属語に属する曖昧語は、単語と組み合わされた状態で語義が定義済みであるか未定義であるかでその曖昧性が大きく異なる。しかし、単に複合名詞を定義済みと解釈するだけでは、一つの名詞に接頭語や接尾語がついているだけというような単純な複合名詞も定義済みとしてしまい、曖昧性の高い箇所を見逃してしまう。
　また、特許文献２の手法で用いられているような複合語の構成語間の意味距離で専門用語かどうか判定するような方法では、構成語が意味的に独立していることが求められ、接頭語・接尾語のように結合される単語によって意味が変わる複合語に適用しても、適切な専門用語の検出ができず、語義が定義済みで曖昧性が低いと考えられるパターンを検出できない。なお、ここでの文書の曖昧性とは、文書の書き手と読み手の間の理解に齟齬が起きにくいかや、文書が読み手にとって理解しやすいかといった、少なくとも複数の解釈が起きる可能性を含む、文書の情報伝達の性能に関わる特徴を指す。
　本発明は、上記課題に鑑み、文書の曖昧性を評価する定義済み表現抽出システム、方法およびプログラムを提供しようとするものである。
　本発明に係る定義済み表現抽出システムは、「半」、「準」や「等」、「系」といった省略された概念を読み手に推定させる作用を持つ接頭語や接尾語などの付属語に属する曖昧語を含む文書について、独自用語や業界用語、法律用語、定型表現のように語義が定義済みで曖昧性が低いと考えられるパターンを検出して除外し、語義が未定義で曖昧性が高いと考えられるパターンを優先的な修正が必要な曖昧性の高い箇所として抽出することで文書の曖昧性を評価する。
　本発明の第１の態様によれば、対象とする文書もしくは文書群を入力文書として受け付ける文書入力部と、曖昧語とその属性を蓄積した曖昧語データベースと、前記曖昧語データベースを参照して前記入力文書中の曖昧語の有無を検索し、曖昧語を含む文を抽出する検索部と、抽出された曖昧語を含む文を形態素解析し、曖昧語の前後に隣接する名詞群を曖昧語込み複合語として抽出する複合語抽出部と、抽出された曖昧語込み複合語の曖昧語が接尾語の場合は先頭から曖昧語まで、抽出された曖昧語込み複合語の曖昧語が接頭語の場合は曖昧語から末尾までをそれぞれ曖昧語付き表現として抽出し、抽出された曖昧語込み複合語と抽出された曖昧語付き表現を定義済み表現候補として抽出する定義済み表現候補抽出部と、前記定義済み表現候補を出力する出力部と、を備えた定義済み表現抽出システムが提供される。
　本発明の第２の態様によれば、曖昧語とその属性を蓄積した曖昧語データベースを用意し、対象とする文書もしくは文書群の入力を入力文書として受け付け、前記曖昧語データベースを参照して前記入力文書中の曖昧語の有無を検索することにより、曖昧語を含む文を抽出し、抽出された曖昧語を含む文を形態素解析して、曖昧語の前後に隣接する名詞群を曖昧語込み複合語として抽出し、抽出された曖昧語込み複合語の曖昧語が接尾語の場合は先頭から曖昧語まで、抽出された曖昧語込み複合語の曖昧語が接頭語の場合は曖昧語から末尾までをそれぞれ曖昧語付き表現として抽出し、かつ抽出された曖昧語込み複合語と抽出された曖昧語付き表現を定義済み表現候補として抽出し、前記定義済み表現候補を出力する、定義済み表現抽出方法が提供される。
　本発明の第３の態様によれば、コンピュータに、対象とする文書もしくは文書群を入力文書として受け付ける文書入力処理と、曖昧語とその属性を蓄積した曖昧語データベースを参照して、前記入力文書中の曖昧語の有無を検索し、曖昧語を含む文を抽出する検索処理と、抽出された曖昧語を含む文を形態素解析し、曖昧語の前後に隣接する名詞群を曖昧語込み複合語として抽出する複合語抽出処理と、抽出された曖昧語込み複合語の曖昧語が接尾語の場合は先頭から曖昧語まで、抽出された曖昧語込み複合語の曖昧語が接頭語の場合は曖昧語から末尾までをそれぞれ曖昧語付き表現として抽出し、抽出された曖昧語込み複合語と抽出された曖昧語付き表現を定義済み表現候補として抽出する定義済み表現候補抽出処理と、前記定義済み表現候補を出力する出力処理と、を実行させるためのプログラムが提供される。
　本発明によれば、「半」、「準」や「等」、「系」といった省略された概念を読み手に推定させる作用を持つ接頭語や接尾語などの付属語に属する曖昧語を含む文書について、語義が未定義で曖昧性が高いと考えられるパターンを優先的な修正が必要な曖昧性の高い箇所として抽出することで文書の曖昧性を評価することができる。
　図１は、本発明の実施形態に係る定義済み表現抽出システムの構成を示すブロック図である。
　図２は、図１に示した定義済み表現抽出システムの動作例を示すシーケンス図である。
　図３は、文書入力部に入力する文の例を示す図である。
　図４は、曖昧語データベースに蓄積するデータの例を示す図である。
　図５は、出力部で出力する情報の例を示す図である。
　図６は、出力部で出力する情報の例を示す図である。
［実施形態］
　最初に、本発明の実施形態について、図面を参照して詳細に説明する。
　図１は、本発明の実施形態に係る定義済み表現抽出システムの構成を示すブロック図である。
　図１を参照すると、本発明の実施形態に係る定義済み表現抽出システム１００は、文書入力部１０と、検索部２０と、複合語抽出部３０と、定義済み表現候補抽出部４０と、出力部５０と、曖昧語データベース１１０と、を含み、基本的に、電子機器内、もしくはサーバと電子機器およびこれらを相互に接続するインターネット等の情報通信ネットワークからなるシステム内に備えられる。
　図示の定義済み表現抽出システム１００は、「半」、「準」や、「等」、「系」といった省略された概念を読み手に推定させる作用を持つ接頭語や接尾語などの付属語に属する曖昧語を含む文書について、独自用語や業界用語、法律用語、定型表現のように語義が定義済みで曖昧性が低いと考えられるパターンを検出して除外し、語義が未定義で曖昧性が高いと考えられるパターンを優先的な修正が必要な曖昧性の高い箇所として抽出することで文書の曖昧性を評価する。
　電子機器で定義済み表現抽出システムを構成する場合、定義済み表現抽出システム１００は、プログラム制御により動作するコンピュータで実現可能である。図示はしないが、この種のコンピュータは、周知のように、データを入力する入力装置と、データ処理装置と、データ処理装置での処理結果を出力する出力装置と、種々のデータベースとして働く補助記憶装置とを備えている。そして、データ処理装置は、プログラムを記憶するリードオンリメモリ（ＲＯＭ）と、データを一時的に記憶するワークエリアとして使用されるランダムアクセスメモリ（ＲＡＭ）と、ＲＯＭに記憶されたプログラムに従って、ＲＡＭに記憶されているデータを処理する中央処理装置（ＣＰＵ）とから構成される。
　この場合、データ処理装置が文書入力部１０、検索部２０、複合語抽出部３０、定義済み表現候補抽出部４０、出力部５０として機能し、補助記憶装置が曖昧語データベース１１０として機能し、出力装置が出力部５０として機能する。
　次に、定義済み表現抽出システム１００を構成する各構成要素の動作について説明する。
　文書入力部１０は、曖昧語を含む可能性が有り優先的な修正が必要な曖昧性の高い箇所を分析する文書もしくは文書群の入力を受け付ける。
　曖昧語データベース１１０は、省略された概念を読み手に推定させる作用を持ち、接頭語や接尾語などの付属語に属する曖昧語とその曖昧語が接頭語か接尾語かを区別するための属性情報を蓄積したデータベースである。なお、曖昧語データベース１１０として、インターネット上のデータベースを使用しても良い。
　検索部２０は、曖昧語データベース１１０を参照して、曖昧語を検索し、曖昧語と曖昧語を含む文を抽出する。ここで、文の区切りは句点、改行、記号、空白といった特定の文字列で判断すればよい。
　複合語抽出部３０は、検索部２０で抽出した曖昧語を含む文に形態素解析を適用することで、曖昧語を含む複合語を取得する。曖昧語を含む複合語とは、曖昧語に隣接する名詞を結合した単語群であり、曖昧語の前後にそれぞれ名詞がある単語群である。つまり、曖昧語を先頭・末尾以外の箇所に含む複合語である。以後、これを曖昧語込み複合語と呼ぶ。なお、ここでは検索部２０で曖昧語を検索してから、複合語抽出部３０で複合語を抽出するフローを想定した構成としているが、複合語抽出部３０で先に文章中の全複合語を抽出してから、検索部２０で曖昧語込み複合語を抽出してもよい。
　定義済み表現候補抽出部４０は、複合語抽出部３０で抽出した曖昧語込み複合語から、曖昧語付き表現を抽出し、曖昧語込み複合語と曖昧語付き表現を定義済みの可能性が高い定義済み表現候補と判定して取得する。ここで、曖昧語付き表現とは、曖昧語が接頭語の場合、曖昧語込み複合語の曖昧語から末尾までの文字列からなる単語部分のことであり、曖昧語が接尾語の場合は曖昧語込み複合語の先頭から曖昧語までの文字列からなる単語部分のことをいう。曖昧語込み複合語と曖昧語付き表現を定義済みの可能性が高い表現とみなせる理由は、文書内での独自の複合語の生成パターンに起因する。すなわち、曖昧語付き表現が独自に意味を定義されていない状況で、曖昧語付き表現にさらに別の単語を組み合わせた曖昧語込み複合語が作成されることは、非常に稀であるためである。なお、曖昧語込み複合語および曖昧語付き表現を全て定義済みとみなしても、通常は高精度に定義済みの単語の推定が行えるが、曖昧語込み複合語および曖昧語付き表現の形態素数か文字数、品詞の種類を利用して定義済みの可能性の強弱を示す定義度を推定し、定義度が所定の閾値を上回った場合に定義済みであると判定しても良い。ここで、定義度は曖昧語付き表現の形態素数、文字数、品詞の種類のいずれか、もしくはその組合せという語の構成条件を基に算出される。
　出力部５０は、定義済みと判定した曖昧語込み複合語や曖昧語付き表現を定義済み表現として出力する。定義度を算出した場合は定義済み表現と、定義度を対応づけて出力してもよい。
　次に、図２のシーケンス図を参照して、本発明の実施形態に係る定義済み表現抽出システム１００の全体の動作について詳細に説明する。なお、図２に示すシーケンス図および以下の説明は処理例であり、適宜求める処理に応じて処理順等を入れ替えたり処理を戻したり繰り返したりすることを行っても良い。
　文書入力部１０は、曖昧語を含む可能性が有り優先的な修正が必要な曖昧性の高い箇所を分析する文書もしくは文書群の入力を受け付ける（図２のステップＳ１００）。
　検索部２０は、曖昧語データベース１１０を参照して、文書中から曖昧語を検索し、曖昧語と曖昧語を含む文を取得する（ステップＳ１０１）。
　複合語抽出部３０は、曖昧語を含む文を形態素解析し、曖昧語と隣接して名詞が連続する部分を曖昧語込み複合語として取得する。その際、曖昧語が先頭、末尾にある場合は除く（ステップＳ１０２）。
　定義済み表現候補抽出部４０は、曖昧語込み複合語に含まれる曖昧語が接頭語の場合は曖昧語込み複合語中の曖昧語とその後ろに続く語を曖昧語付き表現として抽出し、曖昧語が接尾語の場合は、曖昧語込み複合語の先頭から曖昧語までの部分を曖昧語付き表現として抽出する（ステップＳ１０３）。そして、曖昧語込み複合語や曖昧語付き表現の文字数、形態素数、品詞の種類のいずれか、もしくはその組合せという語の構成条件により、定義度を算出する（ステップＳ１０４）。
　出力部５０は、曖昧語込み複合語や曖昧語付き表現と定義度を組にしたもの、あるいは、定義度が所定の閾値を上回ったものを定義済み表現一覧として出力する（ステップＳ１０５）。
　次に、本発明の実施形態に係る定義済み表現抽出システム１００の効果について説明する。
　本実施形態に係る定義済み表現抽出システム１００は、文書において曖昧語を含む曖昧語込み複合語と曖昧語付き表現を抽出し、曖昧語込み複合語や曖昧語付き表現の文字数、品詞の種類のいずれか、もしくはその組合せという語の構成条件により、曖昧語込み複合語や曖昧語付き表現が定義済みである可能性を定義度として算出し、算出した定義度に基づき曖昧語込み複合語と曖昧語付き表現の曖昧性を評価する。これにより、本実施形態に係る定義済み表現抽出システム１００は、曖昧語を含む文書について、独自用語や業界用語、法律用語、定型表現のように語義が定義済みで曖昧性が低いと考えられるパターンを検出して除外し、語義が未定義で曖昧性が高いと考えられるパターンを優先的な修正が必要な曖昧性の高い箇所として抽出することで文書の曖昧性を評価することができる。
　なお、本実施形態に係る定義済み表現抽出システム１００は、定義済み表現抽出方法として実現され得る。また、本実施形態に係る定義済み表現抽出システム１００は、文書分析プログラムによりコンピュータによって実行させるようにしても良い。
　次に、具体的な実施例を用いて、本発明の実施形態に係る定義済み表現抽出システム１００の動作について説明するが、以下の動作例に限定されるものではない。
　図３は、曖昧語を含む可能性が有り優先的な修正が必要な曖昧性の高い箇所を分析する文書Ｄの例を示す。このとき、曖昧語データベース１１０には図４に示す曖昧語とその属性がペアで登録されているとする。
　まず、文書入力部１０が文書Ｄの入力を受け付け、検索部２０が曖昧語データベース１１０に含まれる曖昧語である「等」と「半」を文書Ｄから検索する。図３で下線が引かれている部分が検索された曖昧語である。
　次に、複合語抽出部３０が、曖昧語を含む複合語を抽出する。ただし、複合語抽出部３０は、曖昧語が複合語の先頭あるいは末尾にある場合は抽出しない。よって、複合語抽出部３０は、図３の文書Ｄの中から「曖昧語半自動修正システム」と「仕様等読み取り部」を曖昧語込み複合語として抽出する。そして、定義済み表現候補抽出部４０が、曖昧語込み複合語から曖昧語付き表現を抽出する。「曖昧語半自動修正システム」という曖昧語込み複合語には、「半」という曖昧語が含まれており、「半」という曖昧語の属性は曖昧語データベース１１０によると接頭語であるため、「半」とその後の文字列である「半自動修正システム」が曖昧語付き表現となる。また、「仕様等読み取り部」という曖昧語込み複合語には、「等」という曖昧語が含まれており、「等」という曖昧語の属性は曖昧語データベース１１０によると接尾語であるため、「等」とその前の文字列である「仕様等」が曖昧語付き表現となる。
　また、定義済み表現候補抽出部４０は、曖昧語込み複合語や曖昧語付き表現の定義度を、文字数、品詞の種類のいずれか、もしくはその組合せという語の構成条件により算出する。算出方法の一例を挙げると、定義度をＡ、曖昧語を除いた文字数をＮａ、曖昧語を除いた形態素数をＮＢ、特定の品詞に当てはまる形態素数をＮｒとし、ａ、ｂを定数とすると、以下の式（１）で求めることができる。
Figure JPOXMLDOC01-appb-I000001
　このとき、ａ＝２、ｂ＝１．５とし、Ｎｒは品詞が「接尾」、「接頭」、「サ変接続」のいずれかの名詞に当てはまる数とすると、「仕様等」の定義度Ａは以下の式（２）に示すとおり０．６７となる。
Figure JPOXMLDOC01-appb-I000002
　また、「半自動修正システム」の定義度Ａは以下の式（３）に示すとおり、４となる。「修正」がサ変接続の名詞であるため、Ｎｒ＝１になっている。
Figure JPOXMLDOC01-appb-I000003
　この数式の場合、文字数が多く、特定の品詞に当てはまらない形態素数が多いほど定義度が高く、定義済みの可能性が高くなる。よって、「仕様等」は文字数も形態素数も少ないため、定義度が低く、定義済みの可能性が低いのに対し、「半自動修正システム」は文字数、形態素数が多いため、定義度が高く、定義済みの可能性が高い。
　出力部５０は、図５に示すとおり、定義済み表現の候補となる曖昧語込み複合語と曖昧語付き表現の一覧とそれに対応する定義度をペアとして出力しても良いし、図６に示すとおり、定義度が所定の閾値（例えば１）を上回った表現のみを定義済み表現として一覧を出力しても良い。
　このように定義済み表現抽出システム１００により、文書Ｄから予め曖昧語を含む定義済みの表現を抽出することで、曖昧語を抽出する際、特に問題の大きい曖昧な表現のみを抽出することができる。図３の文書Ｄの例では、曖昧語「等」、「半」を含む表現として、「曖昧語半自動修正システム」、「仕様等」、「半自動修正システム」、「仕様等読み取り部」、「Ｏｆｆｉｃｅ文書等」がある。定義済み表現抽出システム１００によって予め定義済み表現である「曖昧語半自動修正システム」、「半自動修正システム」、「仕様等読み取り部」を抽出し、曖昧な表現の候補から除外することで、「仕様等」、「Ｏｆｆｉｃｅ文書等」を曖昧な表現として抽出することができる。
　なお、上記説明において、実施形態の動作（処理）は、プログラム、ソフトウェア、又はコンピュータによって実行されることが可能な命令でコード化された、コンピュータ読み取り可能な記憶媒体を用いて実行されてもよい。記憶媒体には、光ディスク、フロッピー（登録商標）ディスク、ハードディスク等の可搬型の記録媒体が含まれることはもとより、ネットワークのようにデータを一時的に記録保持するような伝送媒体も含まれる。
　上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
（付記１）
　対象とする文書もしくは文書群を入力文書として受け付ける文書入力部と、
　曖昧語とその属性を蓄積した曖昧語データベースと、
　前記曖昧語データベースを参照して前記入力文書中の曖昧語の有無を検索し、曖昧語を含む文を抽出する検索部と、
　抽出された曖昧語を含む文を形態素解析し、曖昧語の前後に隣接する名詞群を曖昧語込み複合語として抽出する複合語抽出部と、
　抽出された曖昧語込み複合語の曖昧語が接尾語の場合は先頭から曖昧語まで、抽出された曖昧語込み複合語の曖昧語が接頭語の場合は曖昧語から末尾までをそれぞれ曖昧語付き表現として抽出し、抽出された曖昧語込み複合語と抽出された曖昧語付き表現を定義済み表現候補として抽出する定義済み表現候補抽出部と、
　前記定義済み表現候補を出力する出力部と、
を備えたことを特徴とする定義済み表現抽出システム。
（付記２）
　前記定義済み表現候補抽出部が、前記定義済み表現候補の文字数、形態素数、特定の品詞に当てはまる形態素数のいずれか、またはその組合せから、定義度を算出する、ことを特徴とする付記１に記載の定義済み表現抽出システム。
（付記３）
　前記定義済み表現候補抽出部が、前記定義度の算出方法として、前記定義済み表現候補の曖昧語以外の文字数、特定の品詞に当てはまらない形態素数が多いほど定義度が高くなる計算式を用いる、ことを特徴とする付記２に記載の定義済み表現抽出システム。
（付記４）
　前記定義済み表現候補抽出部における前記特定の品詞とは、接頭と接尾とサ変接続の役割をもつ名詞である、ことを特徴とする付記２又は３に記載の定義済み表現抽出システム。
（付記５）
　前記出力部が、前記定義済み表現候補と前記定義度を組にして出力する、ことを特徴とする付記２乃至４のいずれかに記載の定義済み表現抽出システム。
（付記６）
　前記出力部が、前記定義度が所定の閾値を上回った定義済み表現候補のみを出力する、ことを特徴とする付記２乃至５のいずれかに記載の定義済み表現抽出システム。
（付記７）
　曖昧語とその属性を蓄積した曖昧語データベースを用意し、
　対象とする文書もしくは文書群の入力を入力文書として受け付け、
　前記曖昧語データベースを参照して前記入力文書中の曖昧語の有無を検索することにより、曖昧語を含む文を抽出し、
　抽出された曖昧語を含む文を形態素解析して、曖昧語の前後に隣接する名詞群を曖昧語込み複合語として抽出し、
　抽出された曖昧語込み複合語の曖昧語が接尾語の場合は先頭から曖昧語まで、抽出された曖昧語込み複合語の曖昧語が接頭語の場合は曖昧語から末尾までをそれぞれ曖昧語付き表現として抽出し、かつ抽出された曖昧語込み複合語と抽出された曖昧語付き表現を定義済み表現候補として抽出し、
　前記定義済み表現候補を出力する、
ことを特徴とする定義済み表現抽出方法。
（付記８）
　前記定義済み表現候補を抽出するステップが、定義済み表現候補の文字数、形態素数、特定の品詞に当てはまる形態素数のいずれか、またはその組合せから、定義度を算出する、ことを特徴とする付記７に記載の定義済み表現抽出方法。
（付記９）
　前記定義済み表現候補を抽出するステップが、定義度の算出方法として、定義済み表現候補の曖昧語以外の文字数、特定の品詞に当てはまらない形態素数が多いほど定義度が高くなる計算式を用いる、ことを特徴とする付記８に記載の定義済み表現抽出方法。
（付記１０）
　前記定義済み表現候補を抽出するステップにおける前記特定の品詞とは、接頭と接尾とサ変接続の役割をもつ名詞である、ことを特徴とする付記８又は９に記載の定義済み表現抽出方法。
（付記１１）
　前記出力するステップが、前記定義済み表現候補と前記定義度を組にして出力する、ことを特徴とする付記８乃至１０のいずれかに記載の定義済み表現抽出方法。
（付記１２）
　前記出力するステップが、前記定義度が所定の閾値を上回った定義済み表現候補のみを出力する、ことを特徴とする付記８乃至１０のいずれかに記載の定義済み表現抽出方法。
（付記１３）
　コンピュータに、
　対象とする文書もしくは文書群を入力文書として受け付ける文書入力処理と、
　曖昧語とその属性を蓄積した曖昧語データベースを参照して、前記入力文書中の曖昧語の有無を検索し、曖昧語を含む文を抽出する検索処理と、
　抽出された曖昧語を含む文を形態素解析し、曖昧語の前後に隣接する名詞群を曖昧語込み複合語として抽出する複合語抽出処理と、
　抽出された曖昧語込み複合語の曖昧語が接尾語の場合は先頭から曖昧語まで、抽出された曖昧語込み複合語の曖昧語が接頭語の場合は曖昧語から末尾までをそれぞれ曖昧語付き表現として抽出し、抽出された曖昧語込み複合語と抽出された曖昧語付き表現を定義済み表現候補として抽出する定義済み表現候補抽出処理と、
　前記定義済み表現候補を出力する出力処理と、
を実行させるためのプログラム。
（付記１４）
　前記定義済み表現候補抽出処理が、前記定義済み表現候補の文字数、形態素数、特定の品詞に当てはまる形態素数のいずれか、またはその組合せから、定義度を算出する、ことを特徴とする付記１３に記載のプログラム。
（付記１５）
　前記定義済み表現候補抽出処理が、前記定義度の算出方法として、前記定義済み表現候補の曖昧語以外の文字数、特定の品詞に当てはまらない形態素数が多いほど定義度が高くなる計算式を用いる、ことを特徴とする付記１３又は１４に記載のプログラム。
（付記１６）
　前記定義済み表現候補抽出処理における前記特定の品詞とは、接頭と接尾とサ変接続の役割をもつ名詞である、ことを特徴とする付記１４又は１５に記載のプログラム。
（付記１７）
　前記出力処理が、前記定義済み表現候補と前記定義度を組にして出力する、ことを特徴とする付記１４乃至１６のいずれかに記載のプログラム。
（付記１８）
　前記出力処理が、前記定義度が所定の閾値を上回った定義済み表現候補のみを出力する、ことを特徴とする付記１４乃至１６のいずれかに記載のプログラム。
（付記１９）
　付記１３乃至１８の何れかに記載の定義済み表現抽出プログラムを記録したコンピュータ読み取り可能な記憶媒体。
　本発明によれば、ソフトウェアやシステムの開発における要件定義などの作業においてやり取りされる各種文書に関して、文書の曖昧さを、特に問題の大きい場所から優先的に修正することが可能になり、文書作成や文書レビューの効率化に繋がる。また、複数の読み手の間に異なる解釈が起きる状況などが減少し、手戻りの減少や顧客満足の向上などシステム開発の効率化に寄与する。
　この出願は、２０１２年１２月１７日に出願された日本出願特願第２０１２−２７４３９６号を基礎とする優先権を主張し、その開示のすべてをここに取り込む。
１０　　文書入力部
２０　　検索部
３０　　複合語抽出部
４０　　定義済み表現候補抽出部
５０　　出力部
１００　定義済み表現抽出システム
１１０　曖昧語データベース
Ｄ　　文書

Claims (10)

  1. 　対象とする文書もしくは文書群を入力文書として受け付ける文書入力部と、
    　曖昧語とその属性を蓄積した曖昧語データベースと、
    　前記曖昧語データベースを参照して前記入力文書中の曖昧語の有無を検索し、曖昧語を含む文を抽出する検索部と、
    　抽出された曖昧語を含む文を形態素解析し、曖昧語の前後に隣接する名詞群を曖昧語込み複合語として抽出する複合語抽出部と、
    　抽出された曖昧語込み複合語の曖昧語が接尾語の場合は先頭から曖昧語まで、抽出された曖昧語込み複合語の曖昧語が接頭語の場合は曖昧語から末尾までをそれぞれ曖昧語付き表現として抽出し、抽出された曖昧語込み複合語と抽出された曖昧語付き表現を定義済み表現候補として抽出する定義済み表現候補抽出部と、
    　前記定義済み表現候補を出力する出力部と、
    を備えたことを特徴とする定義済み表現抽出システム。
  2. 　前記定義済み表現候補抽出部が、前記定義済み表現候補の文字数、形態素数、特定の品詞に当てはまる形態素数のいずれか、またはその組合せから、定義度を算出する、ことを特徴とする請求項１に記載の定義済み表現抽出システム。
  3. 　前記定義済み表現候補抽出部が、前記定義度の算出方法として、前記定義済み表現候補の曖昧語以外の文字数、特定の品詞に当てはまらない形態素数が多いほど定義度が高くなる計算式を用いる、ことを特徴とする請求項２に記載の定義済み表現抽出システム。
  4. 　前記定義済み表現候補抽出部における前記特定の品詞とは、接頭と接尾とサ変接続の役割をもつ名詞である、ことを特徴とする請求項２又は３に記載の定義済み表現抽出システム。
  5. 　前記出力部が、前記定義済み表現候補と前記定義度を組にして出力する、ことを特徴とする請求項２乃至４のいずれか１項に記載の定義済み表現抽出システム。
  6. 　前記出力部が、前記定義度が所定の閾値を上回った定義済み表現候補のみを出力する、ことを特徴とする請求項２乃至５のいずれか１項に記載の定義済み表現抽出システム。
  7. 　曖昧語とその属性を蓄積した曖昧語データベースを用意し、
    　対象とする文書もしくは文書群の入力を入力文書として受け付け、
    　前記曖昧語データベースを参照して前記入力文書中の曖昧語の有無を検索することにより、曖昧語を含む文を抽出し、
    　抽出された曖昧語を含む文を形態素解析して、曖昧語の前後に隣接する名詞群を曖昧語込み複合語として抽出し、
    　抽出された曖昧語込み複合語の曖昧語が接尾語の場合は先頭から曖昧語まで、抽出された曖昧語込み複合語の曖昧語が接頭語の場合は曖昧語から末尾までをそれぞれ曖昧語付き表現として抽出し、かつ抽出された曖昧語込み複合語と抽出された曖昧語付き表現を定義済み表現候補として抽出し、
    　前記定義済み表現候補を出力する、
    ことを特徴とする定義済み表現抽出方法。
  8. 　前記定義済み表現候補を抽出するステップが、定義済み表現候補の文字数、形態素数、特定の品詞に当てはまる形態素数のいずれか、またはその組合せから、定義度を算出する、ことを特徴とする請求項７に記載の定義済み表現抽出方法。
  9. 　コンピュータに、
    　対象とする文書もしくは文書群を入力文書として受け付ける文書入力処理と、
    　曖昧語とその属性を蓄積した曖昧語データベースを参照して、前記入力文書中の曖昧語の有無を検索し、曖昧語を含む文を抽出する検索処理と、
    　抽出された曖昧語を含む文を形態素解析し、曖昧語の前後に隣接する名詞群を曖昧語込み複合語として抽出する複合語抽出処理と、
    　抽出された曖昧語込み複合語の曖昧語が接尾語の場合は先頭から曖昧語まで、抽出された曖昧語込み複合語の曖昧語が接頭語の場合は曖昧語から末尾までをそれぞれ曖昧語付き表現として抽出し、抽出された曖昧語込み複合語と抽出された曖昧語付き表現を定義済み表現候補として抽出する定義済み表現候補抽出処理と、
    　前記定義済み表現候補を出力する出力処理と、
    を実行させるためのプログラム。
  10. 　前記定義済み表現候補抽出処理が、前記定義済み表現候補の文字数、形態素数、特定の品詞に当てはまる形態素数のいずれか、またはその組合せから、定義度を算出する、ことを特徴とする請求項９に記載のプログラム。
PCT/JP2013/079479 2012-12-17 2013-10-24 定義済み表現抽出システム、方法およびプログラム Ceased WO2014097751A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014552984A JPWO2014097751A1 (ja) 2012-12-17 2013-10-24 定義済み表現抽出システム、方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012274396 2012-12-17
JP2012-274396 2012-12-17

Publications (1)

Publication Number Publication Date
WO2014097751A1 true WO2014097751A1 (ja) 2014-06-26

Family

ID=50978097

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/079479 Ceased WO2014097751A1 (ja) 2012-12-17 2013-10-24 定義済み表現抽出システム、方法およびプログラム

Country Status (2)

Country Link
JP (1) JPWO2014097751A1 (ja)
WO (1) WO2014097751A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01243116A (ja) * 1988-03-25 1989-09-27 Hitachi Ltd 日本文処理方法
JP2007122660A (ja) * 2005-10-31 2007-05-17 Toshiba Corp 文書データ処理装置および文書データ処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH01243116A (ja) * 1988-03-25 1989-09-27 Hitachi Ltd 日本文処理方法
JP2007122660A (ja) * 2005-10-31 2007-05-17 Toshiba Corp 文書データ処理装置および文書データ処理プログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
AYAKO KUNO ET AL.: "Detection of Nocuous Ambiguities in Specifications", PROCEEDINGS OF THE 2012 IEICE GENERAL CONFERENCE, JOHO SYSTEM 1, 6 March 2012 (2012-03-06), pages 27 *

Also Published As

Publication number Publication date
JPWO2014097751A1 (ja) 2017-01-12

Similar Documents

Publication Publication Date Title
CN110020422B (zh) 特征词的确定方法、装置和服务器
JP6187877B2 (ja) 同義語抽出システム、方法および記録媒体
CN102693279B (zh) 一种快速计算评论相似度的方法、装置及系统
CN105975625A (zh) 一种面向英文搜索引擎的中式英文查询纠错方法和系统
JP4534666B2 (ja) テキスト文検索装置及びテキスト文検索プログラム
CN111444713B (zh) 新闻事件内实体关系抽取方法及装置
CN111368547A (zh) 基于语义解析的实体识别方法、装置、设备和存储介质
CN112528640A (zh) 一种基于异常子图检测的领域术语自动抽取方法
CN114661917A (zh) 文本扩增方法、系统、计算机设备及可读存储介质
JP6427466B2 (ja) 同義語ペア獲得装置、方法、及びプログラム
WO2014002774A1 (ja) 同義語抽出システム、方法および記録媒体
CN106156340A (zh) 一种命名实体链接方法
JP5097802B2 (ja) ローマ字変換を用いる日本語自動推薦システムおよび方法
CN111310457B (zh) 词语搭配不当识别方法、装置、电子设备和存储介质
CN107239455B (zh) 核心词识别方法及装置
CN111324705A (zh) 自适应性调整关连搜索词的系统及其方法
CN110909532B (zh) 用户名称匹配方法、装置、计算机设备和存储介质
CN117371445B (zh) 一种信息纠错方法、装置、计算机设备和存储介质
JP6303508B2 (ja) 文書分析装置、文書分析システム、文書分析方法およびプログラム
JP2014235584A (ja) 文書分析システム、文書分析方法およびプログラム
JP2009176148A (ja) 未知語判定システム、方法及びプログラム
WO2014097751A1 (ja) 定義済み表現抽出システム、方法およびプログラム
CN113239246A (zh) 用于信息查询方法及装置、电子设备和可读存储介质
JP6210194B2 (ja) 文書分析システム、方法およびプログラム
JP6187745B2 (ja) 文書分析システム、方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13865190

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014552984

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13865190

Country of ref document: EP

Kind code of ref document: A1