WO2003056451A1 - Procede de generation de texte et generateur de texte - Google Patents

Procede de generation de texte et generateur de texte Download PDF

Info

Publication number
WO2003056451A1
WO2003056451A1 PCT/JP2002/013185 JP0213185W WO03056451A1 WO 2003056451 A1 WO2003056451 A1 WO 2003056451A1 JP 0213185 W JP0213185 W JP 0213185W WO 03056451 A1 WO03056451 A1 WO 03056451A1
Authority
WO
WIPO (PCT)
Prior art keywords
text
word
keyword
dependency
text generation
Prior art date
Application number
PCT/JP2002/013185
Other languages
English (en)
French (fr)
Inventor
Kiyotaka Uchimoto
Hitoshi Isahara
Original Assignee
Communications Research Laboratory,Independent Administrative Institution
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Communications Research Laboratory,Independent Administrative Institution filed Critical Communications Research Laboratory,Independent Administrative Institution
Priority to EP02786125A priority Critical patent/EP1469398A4/en
Priority to US10/500,243 priority patent/US20050050469A1/en
Publication of WO2003056451A1 publication Critical patent/WO2003056451A1/ja

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/205Parsing
    • G06F40/211Syntactic parsing, e.g. based on context-free grammar [CFG] or unification grammars
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/268Morphological analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/53Processing of non-Latin text
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/40Processing or translation of natural language
    • G06F40/55Rule-based translation
    • G06F40/56Natural language generation

Definitions

  • the present invention relates to a natural language processing method and apparatus.
  • it has a feature in the method of generating text from several keys.
  • the technology to generate natural text using several keywords when they are input will contribute to assisting those who are not good at writing sentences, such as foreigners. ,
  • conventional techniques for generating a natural text by inputting one or more keywords include a technique for generating a sentence based on a template, a key technique, and the like.
  • the present invention has been created based on such a conventional background, and provides a generating method and a generating apparatus for generating a natural text from one or more keywords based on the keywords.
  • a text is generated based on the following steps.
  • the process proceeds to an extraction step of extracting the text or phrase related to the keyword from the database.
  • the database contains many example sentences, for example, searching for text and phrases that contain the word "her” and extracting them.
  • an optimal text using the input keyword is generated.
  • this text generation step for example, when a text including "She”, “To”, and “Go” is in the middle of the evening, "She went to the park” Is generated.
  • the extracted text may be subjected to morphological analysis and syntax analysis to obtain a dependency structure of the text.
  • morphological analysis and syntax analysis to obtain a dependency structure of the text.
  • the dependency probability of the entire text may be obtained using the dependency model, and the highest probability may be generated as the optimal text.
  • whether or not there is a word to be complemented between any two keys can be determined using a learning model.
  • words are complemented in the learning model in order from the one with the highest probability of completion, the process is repeated until the probability that there is no word to be complemented is highest between any keys. Since the complemented words can be incorporated into the keywords, it is possible to further complement between the complemented words. As a result, suitable complementation can be realized, so that natural text generation can be achieved even when the given keyword is small.
  • the generated text will be text that conforms to the characteristics.
  • the present invention can also be provided as a text generation device that generates a text of a sentence or a sentence.
  • the text generating apparatus includes: an input unit for inputting a word serving as one or more keywords; a text database composed of a plurality of texts; and a text or phrase related to the keyword, from the text database.
  • An extraction unit for searching and extracting, and a text generation unit for generating an optimum text using the input keyword by combining the extracted text or phrase are provided.
  • an analyzing means for morphologically analyzing and syntactically analyzing the extracted text to obtain a dependency structure of the text, and a dependency structure for forming a dependency structure including the keyword
  • the forming means may be included in the text generating means.
  • the dependency structure forming means may calculate the dependency probability of the entire text by using the dependency model, and generate the highest probability as the optimal text.
  • the text generation means it is also possible to generate an optimal text having a natural sentence arrangement by using the word order model after or after forming the dependency structure.
  • Word interpolating means that repeats until the probability that there is no word to be interpolated becomes the highest may be included.
  • the text generating apparatus may include a text having a characteristic text pattern on a daily basis, and the text generating means may generate a text reflecting the characteristic.
  • FIG. 1 is an explanatory diagram of a text generation device according to the present invention.
  • FIG. 2 is a partial graph of a dependency structure analyzed by the text generation unit.
  • Fig. 3 shows the dependency tree generated by the text generator.
  • Fig. 4 shows a dependency structure tree in another example sentence.
  • Fig. 5 shows an example of the calculation of the probability that the order of the relevant clauses is appropriate.
  • the designated parts of the reference numerals are as follows. 1: text generator, 2: input key word, 3: output text, 10: keyword input section, 11: text / phrase search and extraction section, 12: text generation section, 1 2a: analysis Section, 1 2b: Forming section, 1 2c: Evaluation section, 13: Database Preferred mode for carrying out the invention
  • FIG. 1 is an explanatory diagram of a text generation device (1) according to the present invention.
  • the apparatus includes a database (13) together with a keyword input unit (10), a text phrase search and extraction unit (11), and a text generation unit (12).
  • the text base (13) is provided with a plurality of texts in advance as tables, and the contents of the tables can be changed as appropriate. Various texts can be generated by changing the contents, but this point will be described later.
  • the text phrase search and extraction section (1 1) Search for text and phrases that contain at least one of the keywords and extract them.
  • the text generator (1 2) outputs a natural text, in this case, “She went to the park” (3) by combining them based on the extracted texts and phrases.
  • the text phrase search and extraction unit (11) extracts sentences containing n keywords from the database (13). Here, it is sufficient to include at least one keyword.
  • the extracted sentence is sent to the text generator (12).
  • the text generation unit (1 2) consists of an analysis unit (1 2a), a formation unit (1 2b), and an evaluation unit (1 2c).
  • the analysis unit (12a) first performs morphological analysis and Perform parsing.
  • a morphological analysis method using the ME model filed by the applicant of the present invention in Japanese Patent Application No. 2001-139563 may be used.
  • the likelihood as a morpheme is represented as a probability.
  • each character string constituting the sentence has one of two identification codes, that is, "1” or It can be replaced by the problem of assigning “0”.
  • “1” is divided by the number of grammatical attributes in order to assign grammatical attributes.
  • n it can be replaced by the problem of assigning each character string an identification code from “0” to “n”.
  • the likelihood that a character string is a morpheme and has any grammatical attribute is applied to the probability distribution function in the ME model. Is required.
  • processing is performed by finding regularity in the probabilities representing this likelihood.
  • the features used include information on the character type of the character string of interest, whether the character string is registered in the dictionary, changes in the character type from the previous morpheme, the part of speech of the previous morpheme, etc. Use the information of When one sentence is given, the sentence is divided into morphemes and the grammatical attributes are added so that the product of probability is maximized for the entire sentence.
  • a publicly known algorithm can be appropriately used for searching for the optimal solution.
  • the morphological analysis method using the ME model is a highly advantageous method, for example, an effective morphological analysis can be performed even if an unknown word is included.
  • the above method is particularly effective, but is not necessarily limited, and any morphological analysis method can be used.
  • an analysis method using the ME model can also be introduced for syntax analysis in the analysis unit (12a). Any other parsing method The following method is shown as an example.
  • the database (13) can be referenced from the text generator (12), and the ME model can learn from a plurality of texts contained in the database.
  • the dependency element has only one receiving element.
  • a phrase is divided into a part corresponding to the first subject and a part corresponding to the last particle and the conjugation form, and the distance between the phrases and the presence or absence of punctuation are considered as features along with each feature.
  • this method the accuracy of the same level or more can be obtained although the size of the learning data is about 1/10 compared to the conventional method using the decision tree / maximum likelihood estimation method.
  • This method has the highest level of accuracy as a learning-based system. It is a technique that can be obtained.
  • the analysis unit (12a) accurately analyzes the text retrieved and extracted from the database (13), and Obtain a dependency structure.
  • the dependency structure can be represented as a subgraph.
  • the node of the graph structure is a clause
  • the arc is a dependency.
  • the process shifts to the processing in the formation unit (12b) of the text generation unit (12).
  • the analysis and formation in the text generation unit (12) are integrated processes as described below, and operate in cooperation with each other.
  • a dependency structure tree containing n input words is generated. Trees are generated by combining the above subgraphs.
  • one of the two generated trees (Fig. 3a and b) is selected again using the above dependency model.
  • the restrictions on the word order are relatively lenient, and when the dependency relation is determined, a result similar to a natural text can be obtained.
  • the language targeted by the present invention is not necessarily limited to Japanese. However, it may be used in other languages.
  • the words can be rearranged as follows.
  • a natural sentence sequence is replaced and output from the tree with the highest priority.
  • a word order model that uses the ME model to generate a natural sequence of sentences from the dependency structure.
  • the word order model can also be learned by referring to the database (13).
  • the word order means the word order between the relations, that is, the relation of the order of the phrases relating to the same phrase.
  • sentences with a long qualifier are more likely to come before shorter ones, such as "it" Phrases containing pulse directives are more likely to come before.
  • a method of learning the relationship between the above-described elements and the tendency of word order, that is, regularity from a predetermined text has been devised.
  • this method not only which elements contribute to determining the word order but also to what extent, which combination of elements and the tendency of the word order will be deduced from the text used for learning. You can learn more. The degree of contribution of each element is efficiently learned using the ME model. Regardless of the number of hang-up clauses, we pick up two and learn the order.
  • the learned model When generating a sentence, the learned model can be used to input the clauses in the dependency relationship and determine the order of the dependency clauses.
  • the word order is determined by the following procedure.
  • the probability that the order of the relevant clauses is appropriate is determined using the learned model. This probability is obtained by replacing it with “0” or “1”, which indicates whether the order is appropriate, and applying it to the function of the probability distribution in the ME model.
  • the overall probability is calculated as the product of the probabilities that the order is appropriate when two dependency clauses are picked up.
  • Figure 5 shows an example (50) of calculating the probability that the order of clauses is appropriate.
  • the probability that the word order is “Yesterday” and “Taro is” is represented by “P * (Yesterday, Taro is)”, and the probability is 0.6.
  • the probabilities of the word order (5 1) in the first row in FIG. , 0.336.
  • the word order model includes a generalized node
  • the generalized node by presenting the generalized node as it is, a place where a person's name, a place name, a date, or the like is easily inserted can be understood.
  • the dependency structure is input in the word order model described above, but the word order model can be used in the process of forming the dependency structure in the embodiment of the present invention.
  • a plurality of texts that are considered optimal by the dependency model, the word order model, and the like are formed as candidates.
  • these can be directly output from the text generation device (1), but in the following, an evaluation unit (12c) is further arranged in the text generation unit (12) to evaluate text candidates.
  • the following shows the configuration for reordering.
  • the evaluator (12c) evaluates text candidates based on various information such as the order of input keywords, the frequency of extracted patterns, and scores calculated from the dependency model and word order model. .
  • the evaluation section (12c) can also refer to the data base (13).
  • this evaluation unit (12c) By the function of this evaluation unit (12c), among the candidates formed as natural texts, it is possible to output a plurality of texts that are considered to be particularly optimal, for example, by ranking them.
  • the text generation device (1) according to the present invention can be introduced into still another language processing system. Thus, a plurality of outputs may be performed as described above. May be output.
  • a configuration may be adopted in which a product having a higher ranking than a certain value or a product having a certain threshold or more in terms of probability or score is output and manually selected.
  • the evaluation unit (12c) In the configuration of the evaluation unit (12c), only the candidates formed in the formation unit (12b) are input. However, the evaluation unit (12c) further analyzes the entire sentence consisting of multiple texts. Evaluating which of the text candidates to select from the whole sentence flow may determine one from each text candidate.
  • a natural text is generated with a configuration different from that of the related art while referring to the database base (is). be able to.
  • the present invention also provides a complementing method when there are not enough keywords. That is, when n key words are input, the space between the words is complemented using the ME model. For the model, input 2 out of n and complement between the 2 keys.
  • the above-mentioned complementary technology or the presentation of multiple texts and the selection by the patient can be sufficiently effective.
  • Keywords are appropriately extracted from human utterance sentences, a new sentence is created, and this is repeated.
  • typical information such as
  • a system that automatically creates a new story may be realized by combining the above complementary technologies. For example, when “Grandfather / Grandmother / Mountain / Turtle" is entered, at least in the database, the tales of Momotaro and Urashima Taro are prepared to create a new story that is similar to the two tales but different from them. it can. In this case, a new word to be complemented and reconstructed as a key word may be “Kawaii * peach * Ryugujo”. In particular, the more stories that are prepared for an overnight base, the more novel stories are produced, and the more it is read, the more difficult it is to understand the relationship with the original text.
  • a sentence and an important keyword in the sentence can be given, and a sentence of an appropriate length including the keyword can be generated, so that a composition system can be realized. If it is shorter than the original sentence, it will be a summary. It is also conceivable to add typical information to the sentence to generate a more detailed sentence. In this way, unlike conventional summarization systems, sentences are generated independently from important keywords, so that more natural summaries can be obtained.
  • the key is extracted from the text, and the text is generated again based on the keyword.
  • it can be rewritten into expressions specific to that database. For example, if a novel of a writer is made into a database, it will be possible to rewrite sentences like that writer.
  • the automatically generated text reflects the text patterns, so that it is simple and individual. It is also possible to generate simple text.
  • the present invention has the above configuration, and thus has the following effects.
  • the extraction step extracts text and phrases from the database. By combining extracted texts or phrases, it is possible to generate an optimal text using the input keyword.
  • Morphological analysis and syntax analysis of the extracted text to obtain a dependency structure of the text can realize more natural and accurate text generation. Further, a process of forming a dependency structure including a keyword Then, the dependency probability of the entire text is obtained using the dependency model, and the text having the highest probability is generated as the optimal text, so that a more natural text can be generated. Also, for a word order that was difficult with the conventional configuration, it is also possible to use a word order model to generate a natural text sequence.
  • text can be generated that reflects the characteristics only by providing a text having a characteristic text pattern in the database.
  • a generation method can be provided.
  • the present invention provides a text generation method that provides an excellent text generation method as described above. Can create equipment and contribute to the improvement of natural language processing technology,

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Machine Translation (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

テキスト生成方法及びテキスト生成装置 技術分野
本発明は自然言語処理方法及び装置に関する。 特に、 いくつかのキ一ヮ' ドからテキストを生成する手法に特徴を有する。
近年、 コンピュータによって言語のテキストを解析する技術、 或いは生成 する技術の開発が進んでいる。 特にテキストの生成においては、 いかに自然 なテキストを生成できるかが、 課題となっており、 人間が生成したものと遜 色のない生成方法の提供が求められている。
例えば、 いくつかのキーワードを入力したときに、 それらのキーワードを 用いて自然なテキストを生成する技術は、 外国人など、 文章作成の苦手な者 への作成支援を行うことに寄与する。 ,
また、 単語を列挙することで相手への意思を伝達できるため、 機械翻訳に 近い使い方も可能である。
例えば、 失語症患者の文生成支援では、 現在、 日本全国でおよそ 1 0万人 程度の失語症患者がおり、 その 8割程度の人はとぎれとぎれの文 (単語の列 ) を発声できる、 あるいは単語の候補を提示してあげると言いたいことを表 現するためにその中からいくつか単語を選択することができると言われてい る。
そこで、 例えば 「彼女 公園 行った」 などを発声あるいは選択し、 そこ から自然な文 「彼女が公園へ行った」 、 「彼女と公園へ行った」 などを生成 して提示することによって、 患者のコミュニケーションを支援する。
このように、 1つ以上のキーワードを入力して、 自然なテキストを生成す る従来の技術として、 テンプレートをもとに文を生成する技術や、 キーヮ一 ドをもとにデ一夕ベースから文を検索する技術はすでに存在する。
しかし、 これらの技術ではテンプレートに合致する場合のみ、 あるいはデ 一夕ベース中に含まれる文と合致する場合のみにしか有効でなく、 いずれも 限られた型の文しか生成できない。
また、 検索の際、 適合しやすくなるようにキーワードを類義語などに置き 換える技術も提案されているが、 キーヮ一ドから生成されるべき文のバリエ —ションは多岐に亙るため、 十分であるとはいえない。 発明の開示
本発明は、 このような従来の背景から創出されたものであり、 1つ以上の キ一ワードを基に、 そのキーワードから自然なテキストを生成する生成方法 •生成装置を提供する。
すなわち、 本発明によると、 次の各ステップに基づいてテキストの生成を 行う。
まず、 1個以上のキ一ワードとなる単語を入力する入力ステップで、 「彼 女」 「公園」 「行った」 などを入力する。
そして、 該キ一ワードに係るテキスト又は語句を、 データベースから抽出 する抽出ステップに進む。 データベースには多くの例文が搭載されており、 例えば 「彼女」 という単語を含むテキストや語句を探して抽出する。
次に、 抽出されたテキスト又は語句を組み合わせて、 入力したキ一ワード を用いる最適なテキストを生成する。 このテキスト生成ステップでは、 例え ば 「彼女」 、 「〜へ」 、 「行った」 を含むテキストがデ一夕べ一ス中にある ときに、 「彼女は公園へ行った」 というように組み合わせてテキストを生成 する。
ここで、 前記抽出ステップでテキストだけを抽出する構成とし、 前記テキ スト生成ステップにおいて、 抽出されたテキストを形態素解析及び構文解析 し、 該テキストの係り受け構造を得てもよい。 そして、 キーワードを含む係 り受け構造を形成することによって、 より自然なテキスト生成を実現するこ ともできる。
さらに、 キーワードを含む係り受け構造を形成する過程で、 係り受けモデ ルを用いてテキスト全体の係り受け確率を求め、 該確率の最大のものを最適 なテキストとして生成してもよい。
本発明では、 語順についても語順モデルを用いて、 自然な文の並びとなる テキストの生成を図ることもできる。 テキスト生成ステップにおいて、 係り 受け構造を形成する過程あるいは形成した後で用いることができる。
また、 テキスト生成ステップにおいて、 キ一ワードの全ての配列について
、 任意の 2つのキ一ヮ一ド間に補完すべき単語があるか否かを学習モデルを 用いて判定することもできる。 学習モデルにおいて補完すべき確率の高い単 語から順に補完するとき、 いずれのキーヮ一ド間についても補完すべき単語 がない確率が最も高くなるまで繰り返す。 キーワードには補完した単語を編 入することができるので、 補完された単語間にもさらに補完することもでき る。 これにより、 好適な補完が実現できるので、 与えるキ一ワードが少ない 場合でも、 自然なテキスト生成を図ることができる。
また、 本発明では、 上記のデ一夕ベースに、 特徴的なテキストパターンを 有するテキストを備え、 テキスト生成ステップがその特徴を反映したテキス トを生成する構成をとることもできる。
例えば、 文体や言い回しなどについて特徴のあるテキストをデータベース に備えておくことで、 生成されるテキストが、 その特徴に準拠したテキスト になる。
本発明は、 文又は文章のテキストを生成するテキスト生成装置として提供 することもできる。 該テキスト生成装置には、 1個以上のキーワードとなる 単語を入力する入力手段、 複数のテキス卜で構成されるテキストデータべ一 ス、 該キ一ワードに係るテキスト又は語句を、 該テキストデータベースから 検索し、 抽出する抽出手段、 抽出されたテキスト又は語句を組み合わせて、 入力したキーワードを用いる最適なテキストを生成するテキスト生成手段を 備える。 抽出手段がテキストだけを抽出する構成では、 抽出されたテキス卜を形態 素解析及び構文解析し、 該テキストの係り受け構造を得る解析手段と、 前記 キーワードを含む係り受け構造を形成する係り受け構造形成手段とをテキス ト生成手段に含むこともできる。
特に、 テキスト生成手段において、 係り受け構造形成手段が、 係り受けモ デルを用いてテキスト全体の係り受け確率を求め、 該確率の最大のものを最 適なテキストとして生成するとよい。
テキスト生成手段において、 係り受け構造を形成する過程あるいは形成し た後で、 語順モデルを用いて自然な文の並びとなる最適なテキストを生成す ることもできる。
また、 テキスト生成手段において、 前記キーワードの全ての配列について
、 任意の 2つのキーワード間に補完すべき単語があるか否かを学習モデルを 用いて判定し、 学習モデルにおいて補完すべき確率の高い単語から順に補完 するとき、 いずれの'キ一ヮ一ド間についても補完すべき単語がない確率が最 も高くなるまで繰り返す単語補完手段を含んでもよい。
テキスト生成装置においても、 上記同様、 デ一夕ベースに特徴的なテキス トパターンを有するテキストを備え、 テキスト生成手段がその特徴を反映し たテキストを生成するようにしてもよい。
さらに、 パターン選択手段を設けることで、 複数のテキストパターンを適 宜選択切換することもできる。 図面の簡単な説明
第 1図は、 本発明によるテキスト生成装置の説明図である。
第 2図は、 テキスト生成部において解析された係り受け構造の部分グラフであ る。
第 3図は、 テキスト生成部において生成された係り受け構造木である。
第 4図は、 別の例文における係り受け構造木である。
第 5図は、 係り文節の順序が適切である確率の計算例である。 符号の指示部位は次の通りである。 1 :テキスト生成装置、 2 :入力する キ一ワード、 3 :出力されたテキスト、 1 0 :キーワード入力部、 1 1 :テ キスト語句検索抽出部、 1 2 :テキスト生成部、 1 2 a :解析部、 1 2 b : 形成部、 1 2 c :評価部、 1 3 :データベース 発明を実施するための好ましい形態
以下、 本発明の実施方法を図面に示した実施例に基づいて説明する。 なお 、 本発明の実施形態は以下に限定されず、 適宜変更可能である。
図 1には本発明におけるテキスト生成装置 (1) の説明図を示す。 該装置 には、 キーワード入力部 (1 0) 、 テキスト語句検索抽出部 (1 1) 、 テキ スト生成部 (1 2) と共に、 データベース (1 3) を備える。 デ一夕ベース ( 1 3) には予め複数のテキストがテ一ブルとして備えられており、 該テ一 ブルの内容については適宜変更させることもできる。 内容を変更することで 様々なテキストの生成を実現できるが、 この点については後述する。
そして、 例えば 「彼女」 「公園」 「行った」 の 3つのキ一ワード (2) を キーワード入力部 (1 0) から入力すると、 テキスト語句検索抽出部 (1 1 ) がデータベース (1 3) からキ一ワードの少なくとも 1つを含むテキスト や語句を検索して、 それらを抽出する。
さらにテキスト生成部 (1 2) では抽出されたテキストや語句に基づき、 それらを組み合わせることで、 自然なテキスト、 ここでは 「彼女は公園へ行 つた」 (3) を出力する。
各過程をさらに詳述する。 まず、 キーワード入力部 (1 0) において入力 されたキーワードについて、 テキスト語句検索抽出部 (1 1) でデータべ一 ス (1 3) からキーワード n個を含む文を抽出する。 ここで、 キーワードは 1つでも含めばよい。 抽出された文はテキスト生成部 (1 2) に送られる。 テキスト生成部 (1 2) は、 解析部 (1 2 a) と形成部 (1 2 b) 、 評価 部 (1 2 c) から成り、 解析部 (12 a) においてまず抽出した文の形態素 解析及び構文解析を行う。 形態素解析には、 例えば本件出願人らが特願 2 0 0 1— 1 3 9 5 6 3号で 出願中の M Eモデルによる形態素の解析方法を用いることができる。
ここで、 形態素解析を M Eモデルに適用するために、 形態素としての尤も らしさを確率として表す。
すなわち、 文が与えられたとき、 その文を形態素解析するという問題は文 を構成する各文字列に、 2つの識別符号のうち 1つ、 つまり、 形態素である か否かを示す 「1」 又は 「0」 を割り当てる問題に置き換えることができる さらに、 形態素である場合には文法的属性を付与するために 「1」 を文法 的属性の数だけ分割する。 すると、 文法的属性の数が n個のとき、 各文字列 に 「0」 から 「n」 までのうちいずれかの識別符号を割り当てる問題に置き 換えることができる。
したがって、 形態素解析に M Eモデルを用いた手法では、 文字列が、 形態 素であって、 かついずれかの文法的属性を持つとしたときの尤もらしさを M Eモデルにおける確率分布の関数に適用することで求められる。 形態素解析 においてはこの尤もらしさを表す確率に、 規則性を見いだすことで処理を行 つている。
用いる素性としては、 着目している文字列の字種の情報、 その文字列が辞 書に登録されているかどうか、 1つ前の形態素からの字種の変化、 1つ前の 形態素の品詞などの情報を用いる。 1個の文が与えられたとき、 文全体で確 率の積が最大になるよう形態素に分割し文法的属性を付与する。 最適解の探 索には適宜公知のアルゴリズムを用いることができる。
このように、 M Eモデルを用いた形態素解析方法は、 例えば未知語を含ん でいても有効な形態素解析ができるなど、 優位性の高い方法である。 本発明 の実施においては、 上記方法によることが特に効果的であるが、 必ずしも限 定されるものではなく、 任意の形態素解析方法を用いることができる。
さらに、 解析部 (1 2 a ) における構文解析についても M Eモデルを用い た解析手法を導入することができる。 構文解析についても、 他の任意の手法 に置き換えることができるが、 一実施例として以下の手法を示す。 前記デー 夕ベース (1 3 ) はテキスト生成部 (1 2 ) からも参照が可能であり、 本 M Eモデルではデータベースに含まれる複数のテキストから学習を行うことが できる。
構文解析のうち、 係り受け解析についての導入をする。 どの文節がどの文 節を修飾するかという日本語の係り受け関係には、 主に以下の特徴があると されている。 すなわち、
( 1 ) 係り受けは前方から後方に向いている。
( 2 ) 係り受け関係は交差しない。 (以下、 これを非交差条件と呼ぶ。 )
( 3 ) 係り要素は受け要素を 1 つだけもつ。
( 4 ) ほとんどの場合、 係り先の決定には前方の文脈を必要としない。
本実施例では、 これらの特徴に着目し、 統計的手法と文末から文頭に向け て解析する方法を組み合わせることにより高い解析精度を得ることを実現し た。
まず、 文末から順に 2つずつ文節を取り上げ、 それらが係り受けの関係に あるかどうかを統計的に決定する。 その際、 文節あるいは文節間にみられる 情報を素性として利用するが、 どのような素性を利用するかが精度に影響す る。
文節は、 前の主辞にあたる部分と後ろの助詞や活用形にあたる部分に分け て考え、 それぞれの素性とともに文節間の距離や句読点の有無なども素性と して考慮する。
さらに括弧の有無や文節間の助詞 「は」 の有無、 係り側の文節と同じ助詞 や活用形が文節間にもあるか否か、 素性間の組み合わせについても考慮して いる。
M Eモデルによればこういつた様々な素性を扱うことができる。
そして、 この方法では決定木ゃ最尤推定法などを用いた従来の手法に比べ て学習データの大きさが 1 0分の 1程度であるにも関わらず、 同程度以上の 精度が得られる。 この手法は学習に基づくシステムとして、 最高水準の精度 を得られる手法である。
さらに、 従来は、 学習デ一夕から得られる情報を基に、 2つの文節が係り 受け関係にあるか否かを予測するのに有効な素性を学習していたが、 新たに 前文節が 「後文節を越えて先にある文節に係る」 「後文節に係る」 「後文節 との間にある文節に係る」 の 3つの状態のどれであるかを予測するのに有効 な情報を学習する方法によって、 より高精度な係り受け解析を可能にしてい る。
このように、 MEモデルを用いた形態素解析方法、 構文解析方法を採用す ることによって、 解析部 (12 a) ではデータベース (1 3) から検索抽出 されたテキストを正確に解析し、 該テキストの係り受け構造を得る。 該係り 受け構造は部分グラフとして表すことができる。 ここで、 グラフ構造のノー ドが文節、 アークが係り受けとする。
各キーワードを少なくとも一つ含む部分グラフをすベて抽出し、 頻度を調 ベる。 ノードは汎化した情報 (人名、 組織名などの固有表現や品詞)のみを持 つものも考慮する。
デ—夕べ—ス (i s) から上記のキ一ワードに基づいて抽出され、 解析し た結果のうち、 頻度が高かったものが図 2の aと bである。 例えば aにおい て、 キーワード 「彼女は」 をノード (親ノード 1) (20) とすると、 「< 名詞 > +へ」 がノード (親ノード 2) (21) 、 「ぐ動詞 >。 」 がノ一ド ( 子ノード) (22) として係り受け関係 (23) をもつ。
この過程より先はテキスト生成部 (12) のうち形成部 (12 b) におけ る処理に移行する。 ただし、 本実施例では、 テキスト生成部 (12) におけ る解析と形成は以下に示すように一体的な処理であり、 相互に連係して動作 する。
入力するキーワード n個は係り受け関係にあると仮定し、 入力単語 n個を 含むような係り受け構造木を生成する。 木の生成には上記の部分グラフを組 み合わせて用いる。
例えば、 上記のキーワード 3個を入力して、 それらが係り受け関係にある と過程し、 部分グラフを組み合わせる (この場合は当てはめる) 'と、 図 3に 示す a及び bが得られる。
ここで、 生成された 2つの木 (図 3 a · b ) のうち、 いずれが適当である かを再び上記の係り受けモデルを用いて選択する。
順序付けの際には、 組み合わせた部分グラフ間での一致する割合、 頻度、 係り受け関係を考慮する。 特に nが 3以上の場合、 単語 n偭間の係り受け関 係には曖昧性があるが、 曖昧性の解消には、 係り受けモデルを利用する。 係 り受けモデルによって求められる確率値が大きなものを優先して順序付けす る。
その結果、 aの木における確率値により高い結果が得られ、 最適な係り受 け関係は aであることが選択される。
日本語においては、 語順の制限が比較的緩やかであり、 係り受け関係が決 定されると自然なテキストに近い結果が得られるが、 本発明の対象とする言 語は必ずしも日本語に限られず、 他の言語で用いることも考えられる。
また、 日本語においてもより自然なテキストに寄与するためには最も自然 な語順が選択されることが望ましく、 本発明では、 次のように並べ替えるこ とができる。
まず、 優先順位の高い木から、 自然な文の並びに置き換えて出力する。 そ の際、 依存構造から自然な並びの文を生成する M Eモデルを用いた語順モデ ルを利用する。 語順モデルの学習についてもデータべ一ス (1 3 ) を参照し て行うことができる。
語順が自由であると言われる日本語でも、 これまでの言語学的な調査によ ると、 時間を表す副詞の方が主語より前に来やすい、 長い修飾句を持つ文節 は前に来やすいといった何らかの傾向がある。 もしこの傾向をうまく整理す ることができれば、 それは自然な文を生成する際に有効な情報となる。 ここ で語順とは、 係り相互間の語順、 つまり同じ文節に係っていく文節の順序関 係を意味するものとする。 語順を決定する要因にはさまざまなものがあり、 例えば、 修飾句の長い文節は短い文節より前に来やすい、 「それ」 などの文 脈指示語を含む文節は前に来やすい、 などがあげられる。
本実施例においては、 上記のような要素と語順の傾向との関係、 すなわち 規則性を所定のテキストから学習する手法を考案した。 この手法では、 語順 の決定にはどの要素がどの程度寄与するかだけでなく、 どのような要素の組 み合わせのときにどのような傾向の語順になるかということも学習に用いる テキストから演繹的に学習することができる。 個々の要素の寄与の度合は M Eモデルを用いて効率良く学習する。 係り文節の数によらず 2つずつ取り上 げてその順序を学習する。
文を生成する際には、 この学習したモデルを用いて、 係り受け関係にある 文節を入力とし、 その係り文節の順序を決めることができる。 語順の決定は 次の手順で行なう。
まず、 係り文節について可能性のある並びをすベて考える。 次に、 それぞ れの並びについて、 その係り文節の順序が適切である確率を学習したモデル を用いて求める。 この確率は、 順序が適切であるか否かの 「0」 または 「1 」 に置き換え、 M Eモデルにおける確率分布の関数に適用することで求めら れる。
そして、 全体の確率が最大となる並びを解とする。 全体の確率は、 係り文 節を 2つずつ取り上げたときその順序が適切である確率を計算し、 それらの 積として求める。
例えば、 「昨日/テニスを Z太郎は/した。 」 という文で最適な語順の決 定を説述する。 上記と同様に係り受け構造木を作成すると、 最も確率値の高 い構造木が図 4のように得られる。
すなわち、 動詞 「した。 」 (4 3 ) に係る文節は 「昨日」 (4 0 ) 、 「テ ニスを」 (4 1 ) 、 「太郎は」 (4 2 ) の 3つである。 この 3つの係り文節 の順序を決定する。
図 5に係り文節の順序が適切である確率の計算例 (5 0 ) を示す。
まず、 2個の文節ずつ、 すなわち 「昨日」 と 「太郎は」 、 「昨日」 と 「テ ニスを」 、 「太郎は」 と 「テニスを」 の 3つの組み合わせを取り上げ、 学習 した規則性によりそれぞれこの語順が適切である各確率を求める。
例えば、 図において 「昨日」 「太郎は」 の語順になる確率は 「P* (昨日, 太郎は) 」 で表され、 その確率は 0. 6とする。 同様に、 「昨日」 「テニス を」 は 0. 8、 「太郎は」 「テニスを」 は 0. 7とすると、 図 5における 1 段目の語順 (5 1) の確率は各確率を積算し、 0. 336となる。
次に、 6つの語順 (51ないし 56) の可能性すべてについて全体の確率 を計算し、 最も確率の高いもの 「昨日 Z太郎は/テニスをノした。 」 (51 ) が最も適切な語順であるとする。
同様に、 前記したテキスト 「彼女は Z公園へノ行った。 」 ではさらに少な い組み合わせの確率を計算することで、 「彼女は公園へ行った。 」 が最も自 然で最適なテキストであると求められる。
また、 該語順モデルについては、 汎化したノードが含まれる場合、 そのま ま提示することによって、 人名や地名、 日付などが入り易い場所が分かる。 ここで、 上記における語順モデルでは係り受け構造を入力としているが、 本発明の実施においては係り受け構造の形成過程においても語順モデルを用 いることができる。
以上により、 テキスト生成部 (1 2) の形成部 (12 b) では、 係り受け モデル、 語順モデルなどにより最適と考えられる複数のテキス卜が候補とし て形成される。 本発明ではこれらをそのままテキスト生成装置 (1) から出 力することもできるが、 以下では、 さらにテキスト生成部 (12) に評価部 (1 2 c) を配置し、 テキストの候補を評価することにより再順序付けする 構成を示す。
評価部 (12 c) では、 入力されたキーワードの順番や、 抽出したパター ンの頻度、 係り受けモデルや語順モデルから計算されるスコアなど様々な情 報を総合してテキストの候補の評価を行う。 評価部 (12 c) においてもデ 一夕ベース (13) を参照することができる。
例えば、 キーヮードの順番が上位のものについてはより重要なキーヮ一ド として、 該キーワードの役割が特に重要な候補中のテキストを、 より最適な テキストとして評価したり、 前記でほ係り受けモデルや語順モデルといった モデル毎に確率を求めたが、 それらを勘案して、 総合的な評価を行うように する。
本評価部 (12 c) の働きによって、 自然なテキストとして形成された候 補のうちでも、 特に最適と考えられるテキストを例えば順位を付けて複数出 力することができるようになる。
本発明によるテキスト生成装置 (1) は、 さらに別の言語処理システムに 導入することも可能であって、 このように複数の出力を行っても良いし、 上 記順位が最も高いものを 1つ出力してもよい。
また、 順位が一定以上に高いもの、 あるいは確率やスコアなどで一定の閾 値以上のものを出力し、 人手によって選択する構成をとつてもよい。
上記評価部 (12 c) の構成では形成部 (12 b) で形成された候補を入 力するのみの構成であるが、 さらに評価部 (12 c) において複数のテキス 卜からなる文章全文について各テキストの候補のいずれを選択するか、 全文 の流れから評価し、 各テキストの候補から 1つを決定してもよい。
この時、 文章全文中の少数のテキストが前後の文との整合性において不自 然な場合には、 再び解析部 (1 2 a) や形成部 (1 2 b) における処理に差 し戻し、 全文に亘つて自然なテキストが出力できるように別の候補を形成さ せるようにしてもよい。
テキスト生成部 (12) によって最適な構文、 語順で生成されたテキスト 「彼女は公園へ行った。 」 (3) は以上に説述したテキスト生成装置 (1) から出力される。 ここでは、 最も自然と考えられるテキスト (3) を 1つ出 力した。
このように、 本発明では、 1つ以上のキーワード (2) を入力することで 、 デ—夕ベース (i s) を参照しながらも、 従来の技術とは異なる構成で自 然なテキストを生成することができる。
さらに、 本発明ではキーワードが十分でない場合の、 補完方法についても 提供する。 すなわち、 キ一ワード n個が入力されたとき、 その単語間を M Eモデルを 用いて補完する。 モデルに対しては n個のうちの 2個を入力し、 該 2キ一ヮ —ド間を補完する。
そして、 任意の 2キーワード間について、 補完すべき単語があるか否か、 補完できる単語が複数ある場合には、 各単語について生起する確率を求めて いく。 確率の最も高い単語から順に補完し、 すべての 2キーワード間につい てこの処理を繰り返す。
最後にどの 2キーワード間についても 「補完しない」 が最も確率が高くな るとき補完を止める。
このような補完処理によれば、 キーヮードが十分に与えられていない場合 であっても、 M Eモデルによってある程度までキーヮ一ドを補うことができ るので、 入力されたキーワードだけでは自然なテキストが生成出来ない場合 にも、 有効なテキストを出力できるようになる。 . 本補完方法では、 さらに上記テキスト生成部においてテキスト生成に用い ることも可能である。
例えば、 上記例で示したように、 「彼女」 「公園」 「行った。 」 が与えら れたときに、 「彼女」 と 「公園」 の間には 「は」 「が」 「と」 などが生起し 、 その中で最も生起する確率の高い 「は」 を補完する。
同様に 「彼女」 と 「行った。 」 の間には 「は」 「が」 「と」 などが生起し 、 ここでも最も確率の高い 「は」 を補完する。, 「公園」 と 「行った」 の間で は 「へ」 「に」 等が生起し、 確率の高い 「へ」 を補完する。
これらの補完を繰り返して、 最終的に全文について補完される確率を算出 し、 各積算することによって、 全文について最も確率の高くなる補完組み合 わせを採り、 テキストを生成する。 この場合には、 「彼女は公園へ行った。 」 となり、 前述した本発明に係る方法と同様の効果が得られる。
本発明では、 このように前述のテキスト生成方法を基本としながら、 キー ヮ一ドの補完、 さらにはこの補完方法を用いたテキストの生成を実現する。 以上のような本発明によるテキス卜の生成技術は次のような場合に特に好 適に用いることができる。
まず、 失語症患者の文生成支援に用いることができる。 とぎれとぎれの文( 単語の列)、 例えば 「彼女 公園 行った」 、 から自然な文を生成し、 文の候補 、 「彼女が公園へ行った」 、 「彼女と公園へ行った」 などを提示する。 患者 は提示されたテキストを承認するだけで、 自分の表現したい内容を伝達する ことができ、 患者のコミュニケ一シヨンの機会が増す。
また、 キーワードが不足する場合も、 上記の補完技術を用いたり、 複数の テキストを提示し、 患者が選択することで、 十分に効果を奏することができ る。
人間と対話する装置に組み込むことによりコミュニケーションを助けるこ とにも利用できる。 すなわち、 人間の発話文から適当にキーワードを抜き出 して新たに文を作り、 言い返す。 文を生成したとき、 典型的な情報、 例えば
5 W 1 Hの情報などが抜けていることが分かれば、 「いつ行つたのですか? 」 のようにその部分を尋ねる文を作るということも考えられる。
類似の構成で、 音声認識して自然な文を生成し、 聞き直すシステムとして 提供することもできる。 人間ははつきりと聞き取つているわけではなく、 聞 き取れなかった部分を補完して理解している。 認識できた部分をもとに文を 生成し、 聞き直す。 間違っている部分は強調して発話し直してくれることが 期待できるので、 何度かやり取りをする間に正しい文が生成される。
また、 上記の補完技術を組み合わせて、 新しいストーリ一を自動的に作出 するシステムを実現してもよい。 例えば、 「おじいさん ·おばあさん ·山 · 亀」 が入力されたときに、 桃太郎と浦島太郎の昔話を少なくともデータべ一 スに備えることにより、 両昔話に類似するもののそれらとは異なった新しい ストーリーが作出できる。 この場合、 新たに補完される単語で、 キ一ワード として再構成されるものとしては 「川 *桃 *竜宮城」 などが考えられる。 特に、 デ一夕ベースに備えるストーリーが多くなればなるほど、 新規性に 富むストーリーが作出されるため、 一読しても原文との関係が分かりにくく なる。 また、 文とその文内での重要キーワードを与え、 そのキ一ワードを含み、 適切な長さの文を生成することもできるので、 作文システムを実現すること もできる。 元の文より短ければ要約となる。 文に典型的な情報を付け加えて より詳細な文を生成することも考えられる。 これによつて、 従来の要約シス テムとは異なり、 重要なキーワードから主体的に文を生成するため、 より自 然な要約が得られる。
文の苦手な者が作成した冗長な文章を修正することもできるし、 語句を補 い、 流ちような文に改めることもできる。
これと関連して、 文体の変換に用いることも可能である。 文章からキ一ヮ ードを取り出し、 そのキーワードを基に文章を生成し直す。 基にするデータ ベースに依存してそのデータベースに特有の表現に書き換えられる。 例えば 、 ある作家の小説をデータベースにすれば、 その作家風に文章を書き換える こともできるようになる。
近年急速に普及した携帯端末での文章入力支援に用いると、 入力のし難い 携帯端末でも、 読みやすい文章を作成することができる。 例えば、 単語をい くつか入力すると、 文候補を提示し、 それから選ぶことによって、 人手によ つて作成したのと同等の文章を作成できる。 入力者は単語のみを入力するだ けなので、 細かく文章を作成する労がない。
また、 メール作成用には、 データベースに使用者の実際に作成したメール を備えることで、 自己の書き方が生かされた作文が可能になる。
このように、 本発明では、 デ一夕ベースに文体や言い回しなど、 様々なテ キストパターンを備えることにより、 自動的に生成されるテキストがそのテ キストパターンを反映するため、 簡便にかつ個性的なテキストを生成するこ とも可能である。
特に、 データベースに複数の特徵的なテキストパターンを有するテキス卜 を備えたり、 多種のデータベースを備え、 それらを使用者が適宜指定し、 切 り換えることで任意のテキストパターンを示すテキストの生成が可能である その他、 箇条書きしたメモからキーワードとして入力し、 講演用の原稿を 作成したり、 論文を構成することもできる。 また、 履歴書を入力してその人 の紹介文を作成することも考えられる。
本発明は、 以上の構成を備えるので、 次の効果を奏する。
いくつかのキ一ヮ一ドを入力ステップで入力し、 抽出ステップでデータべ ースからテキストゃ語句を抽出する。 抽出されたテキス卜又は語句を組み合 わせて、 入力したキーワードを用いる最適なテキストを生成することができ る。
抽出されたテキストを形態素解析及び構文解析し、 該テキストの係り受け 構造を得れば、 より自然で正確なテキスト生成を実現することも可能となる さらに、 キーワードを含む係り受け構造を形成する過程で、 係り受けモデ ルを用いてテキスト全体の係り受け確率を求め、 該確率の最大のものを最適 なテキストとして生成することで、 さらに自然なテキスト生成を行える。 また、 従来の構成では難しかった語順についても、 語順モデルを用いて、 自然な文の並びとなるテキストの生成を図ることもできる。
また、 テキスト生成ステップにおいて、 キーワードの全ての配列について
、 任意の 2つのキーヮード間に補完すべき単語があるか否かを学習モデルを 用いて判定することもできる。 学習モデルにおいて補完すべき確率の高い単 語から順に補完するとき、 いずれのキーワード間についても補完すべき単語 がない確率が最も高くなるまで繰り返すことで、 好適な補完が実現できるの で、 与えるキーワードが少ない場合でも、 自然なテキスト生成を図ることが できる。
さらに、 本発明によるテキスト生成方法では、 データベースに特徴的なテ キストパターンを有するテキストを備えるだけで、 その特徴を反映したテキ ストの生成ができるため、 読み手にとってより違和感がなく、 自然なテキス ト生成方法を提供することができる。
本発明は、 上記のように優れたテキスト生成方法を提供するテキスト生成 装置を創出し、 自然言語処理技術の向上に寄与することが出来る,

Claims

請求の範囲
1 . 文又は文章のテキストを生成するテキス卜生成方法であって、
1個以上のキーヮ一ドとなる単語を入力する入カステツプ、
該キ一ヮ一ドに係るテキスト又は語句を、 データベースから抽出する抽出 抽出されたテキスト又は語句を組み合わせて、 入力したキ一ワードを用い る最適なテキス卜を生成するテキスト生成ステップ
から構成されることを特徵とするテキスト生成方法。
2 . 前記抽出ステップでテキストを抽出する構成であって、
前記テキスト生成ステップにおいて、 抽出されたテキストを形態素解析及 び構文解析し、 該テキストの係り受け構造を得ると共に、
前記キ一ヮ一ドを含む係り受け構造を形成する
ことを特徴とする請求の範囲第 1項に記載のテキスト生成方法。
3 . 前記テキスト生成ステップにおいて、
前記キーヮードを含む係り受け構造を形成する過程で、
係り受けモデルを用いてテキスト全体の係り受け確率を求め、
該確率の最大のものを最適なテキストとして生成する
請求の範囲第 2項に記載のテキスト生成方法。
4 . 前記テキスト生成ステップにおいて、
係り受け構造を形成する過程あるいは形成した後で、
語順モデルを用いて自然な文の並びとなる最適なテキストを生成する 請求の範囲第 2項又は第 3項に記載のテキスト生成方法。
5 . 前記テキスト生成ステップにおいて、 前記キーヮードの全ての配列について、 任意の 2つのキ一ヮ一ド間に補完 すべき単語があるか否かを学習モデルを用いて判定し、
学習モデルにおいて補完すべき確率の高い単語から順に補完するとき、 該補完する単語をキ一ヮ一ドに編入し Zせずに、
いずれのキーワード間についても補完すべき単語がない確率が最も高くな るまで繰り返す
単語補完処理を行う請求の範囲第 1項ないし第 4項に記載のテキスト生成 方法。
6 . 前記データベースに、 特徴的なテキストパターンを有するテキストを 備える構成において、
前記テキスト生成ステップが、
該特徴的なテキストパターンに準拠したテキストを生成する
請求の範囲第 1項ないし第 5項に記載のテキスト生成方法。
7 . 文又は文章のテキストを生成するテキスト生成装置において、
1個以上のキーヮ一ドとなる単語を入力する入力手段、
複数のテキストから構成されるテキストデータべ一ス、
該キ一ヮ一ドに係るテキスト又は語句を、 該テキストデ一夕ベースから検 索し、 抽出する抽出手段、
抽出されたテキスト又は語句を組み合わせて、 入力したキーワードを用い る最適なテキストを生成するテキスト生成手段
を備えたことを特徴とするテキスト生成装置。
8 . 前記抽出手段でテキストを抽出する構成であって、
前記テキスト生成手段において、
抽出されたテキストを形態素解析及び構文解析し、 該テキストの係り受け 構造を得る解析手段と、 前記キーワードを含む係り受け構造を形成する係り受け構造形成手段と を含む請求の範囲第 7項に記載のテキスト生成装置。
9 . 前記テキスト生成手段において、
前記係り受け構造形成手段が、 係り受けモデルを用いてテキスト全体の係 り受け確率を求め、
該確率の最大のものを最適なテキストとして生成する
請求の範囲第 8項に記載のテキスト生成装置。
1 0 . 前記テキスト生成手段においてにおいて、
係り受け構造を形成する過程あるいは形成した後で、
語順モデルを用いて自然な文の並びとなる最適なテキストを生成する. 請求の範囲第 8項又は第 9項に記載のテキスト生成方法。
1 1 . 前記テキスト生成手段において、
前記キーヮ一ドの全ての配列について、 任意の 2つのキーワード間に補完 すべき単語があるか否かを学習モデルを用いて判定し、
学習モデルにおいて補完すべき確率の高い単語から順に補完するとき、 該補完する単語をキーワードに編入し Zせずに、
いずれのキーワード間についても補完すべき単語がない確率が最も高くな るまで繰り返す
単語補完手段を含む請求の範囲第 7項ないし第 1 0項に記載のテキスト生 成装置。
1 2 . 前記データベースに、 特徴的なテキストパターンを有するテキスト を備える構成において、
前記テキスト生成手段が、
該特徴的なテキストパターンに準拠したテキストを生成する 請求の範囲第 7項ないし第 1 1項に記載のテキスト生成装置。
1 3 . 前記テキスト生成装置において、
特徴的な複数のテキストパターンを有するテキストを備えるデータベース を 1つないし複数を備える一方、
該複数のテキストパターンから所望のテキストパタ一ンを選択するパ夕一 ン選択手段を備えた
請求の範囲第 1 2項に記載のテキスト生成装置。
PCT/JP2002/013185 2001-12-27 2002-12-17 Procede de generation de texte et generateur de texte WO2003056451A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP02786125A EP1469398A4 (en) 2001-12-27 2002-12-17 TEXTER PRODUCTION METHOD AND TEXT GENERATOR
US10/500,243 US20050050469A1 (en) 2001-12-27 2002-12-17 Text generating method and text generator

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2001-395618 2001-12-27
JP2001395618A JP3921523B2 (ja) 2001-12-27 2001-12-27 テキスト生成方法及びテキスト生成装置

Publications (1)

Publication Number Publication Date
WO2003056451A1 true WO2003056451A1 (fr) 2003-07-10

Family

ID=19189012

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2002/013185 WO2003056451A1 (fr) 2001-12-27 2002-12-17 Procede de generation de texte et generateur de texte

Country Status (4)

Country Link
US (1) US20050050469A1 (ja)
EP (1) EP1469398A4 (ja)
JP (1) JP3921523B2 (ja)
WO (1) WO2003056451A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642324A (zh) * 2021-08-20 2021-11-12 北京百度网讯科技有限公司 文本摘要生成方法、装置、电子设备及存储介质

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4085156B2 (ja) * 2002-03-18 2008-05-14 独立行政法人情報通信研究機構 テキスト生成方法及びテキスト生成装置
JP3790825B2 (ja) * 2004-01-30 2006-06-28 独立行政法人情報通信研究機構 他言語のテキスト生成装置
US8065154B2 (en) * 2004-07-30 2011-11-22 The Research Foundation of State Univesity of New York Augmentative communications device for the speech impaired using commercial-grade technology
JP4524640B2 (ja) * 2005-03-31 2010-08-18 ソニー株式会社 情報処理装置および方法、並びにプログラム
US8862591B2 (en) * 2006-08-22 2014-10-14 Twitter, Inc. System and method for evaluating sentiment
US8756527B2 (en) * 2008-01-18 2014-06-17 Rpx Corporation Method, apparatus and computer program product for providing a word input mechanism
US8768852B2 (en) * 2009-01-13 2014-07-01 Amazon Technologies, Inc. Determining phrases related to other phrases
US9569770B1 (en) 2009-01-13 2017-02-14 Amazon Technologies, Inc. Generating constructed phrases
JP5390944B2 (ja) * 2009-06-08 2014-01-15 アクトーム総合研究所株式会社 プロジェクト管理情報を用いたドキュメント情報生成装置およびドキュメント情報生成用プログラム
US9298700B1 (en) * 2009-07-28 2016-03-29 Amazon Technologies, Inc. Determining similar phrases
US10007712B1 (en) 2009-08-20 2018-06-26 Amazon Technologies, Inc. Enforcing user-specified rules
US8799658B1 (en) 2010-03-02 2014-08-05 Amazon Technologies, Inc. Sharing media items with pass phrases
JP5630138B2 (ja) * 2010-08-12 2014-11-26 富士ゼロックス株式会社 文作成プログラム及び文作成装置
US9678993B2 (en) 2013-03-14 2017-06-13 Shutterstock, Inc. Context based systems and methods for presenting media file annotation recommendations
CN105550372A (zh) * 2016-01-28 2016-05-04 浪潮软件集团有限公司 一种语句训练装置、方法和信息提取系统
JP6647713B2 (ja) 2016-06-03 2020-02-14 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation 請求項中のキーワードの抽出
JP2018010409A (ja) * 2016-07-12 2018-01-18 Supership株式会社 情報処理装置及びプログラム
US10810260B2 (en) * 2018-08-28 2020-10-20 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for automatically generating articles of a product
CN109800421A (zh) * 2018-12-19 2019-05-24 武汉西山艺创文化有限公司 一种游戏剧本生成方法及其装置、设备、存储介质
WO2020139865A1 (en) * 2018-12-24 2020-07-02 Conversica, Inc. Systems and methods for improved automated conversations
JP2021047817A (ja) * 2019-09-20 2021-03-25 富士ゼロックス株式会社 出力装置、及び出力プログラム
JP7345034B1 (ja) 2022-10-11 2023-09-14 株式会社ビズリーチ 文書作成支援装置、文書作成支援方法及び文書作成支援プログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05250407A (ja) 1992-03-10 1993-09-28 Hitachi Ltd 手話変換装置および方法
JPH08249331A (ja) * 1995-03-09 1996-09-27 Sharp Corp 文書処理装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5699441A (en) * 1992-03-10 1997-12-16 Hitachi, Ltd. Continuous sign-language recognition apparatus and input apparatus
US5887069A (en) * 1992-03-10 1999-03-23 Hitachi, Ltd. Sign recognition apparatus and method and sign translation system using same
JP3385146B2 (ja) * 1995-06-13 2003-03-10 シャープ株式会社 会話文翻訳装置
KR100318573B1 (ko) * 1996-10-16 2001-12-28 마찌다 가쯔히꼬 문자 입력 장치 및 문자 입력 프로그램을 기억한 기록 매체
US6862566B2 (en) * 2000-03-10 2005-03-01 Matushita Electric Industrial Co., Ltd. Method and apparatus for converting an expression using key words
US7177797B1 (en) * 2000-08-31 2007-02-13 Semantic Compaction Systems Linguistic retrieval system and method
US7027974B1 (en) * 2000-10-27 2006-04-11 Science Applications International Corporation Ontology-based parser for natural language processing
US6904428B2 (en) * 2001-04-18 2005-06-07 Illinois Institute Of Technology Intranet mediator
US7003444B2 (en) * 2001-07-12 2006-02-21 Microsoft Corporation Method and apparatus for improved grammar checking using a stochastic parser
US6820075B2 (en) * 2001-08-13 2004-11-16 Xerox Corporation Document-centric system with auto-completion

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05250407A (ja) 1992-03-10 1993-09-28 Hitachi Ltd 手話変換装置および方法
JPH08249331A (ja) * 1995-03-09 1996-09-27 Sharp Corp 文書処理装置

Non-Patent Citations (4)

* Cited by examiner, † Cited by third party
Title
ADAM BERGER, JOHN LAFFERTY: "School of Computer Science", CARNEGIE MELLON UNIVERSITY, article "Information Retrieval as Statistical Translation"
KIYOTAKA UCHIMOTO, HITOSHI ISAHARA: "Saidai entropy model o mochiita nihongo text no ikkan shori", THE SOCIETY FOR ARTIFICIAL INTELLIGENCE KENKYUKAI SHIRYO SIG-CII-2000-NOV-09, 14 November 2000 (2000-11-14), XP002966845 *
KOJI KAKIGAMARA, TERAUKI AIZAWA: "Completion of Japanese Sentences by Inferring Function Words from Content Words", PROCEEDINGS OF THE 12TH CONFERENCE ON COMPUTATIONAL LINGUISTICS, vol. 1, 22 August 1988 (1988-08-22), pages 291 - 296
See also references of EP1469398A4 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113642324A (zh) * 2021-08-20 2021-11-12 北京百度网讯科技有限公司 文本摘要生成方法、装置、电子设备及存储介质
CN113642324B (zh) * 2021-08-20 2024-02-09 北京百度网讯科技有限公司 文本摘要生成方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JP2003196280A (ja) 2003-07-11
US20050050469A1 (en) 2005-03-03
JP3921523B2 (ja) 2007-05-30
EP1469398A1 (en) 2004-10-20
EP1469398A4 (en) 2008-10-29

Similar Documents

Publication Publication Date Title
WO2003056451A1 (fr) Procede de generation de texte et generateur de texte
RU2336552C2 (ru) Лингвистически информированные статистические модели структуры составляющих для упорядочения в реализации предложений для системы генерирования естественного языка
Charniak Statistical language learning
Nivre et al. The CoNLL 2007 shared task on dependency parsing
CN103970798B (zh) 数据的搜索和匹配
JP3768205B2 (ja) 形態素解析装置、形態素解析方法及び形態素解析プログラム
JP2000353161A (ja) 自然言語生成における文体制御方法及び装置
CN112307171B (zh) 一种基于电力知识库的制度标准检索方法及系统和可读存储介质
CN110245349B (zh) 一种句法依存分析方法、装置及一种电子设备
JP3992348B2 (ja) 形態素解析方法および装置、並びに日本語形態素解析方法および装置
Stratica et al. Using semantic templates for a natural language interface to the CINDI virtual library
CN113407697A (zh) 深度百科学习的中文医疗问句分类系统
Dmytriv et al. The Speech Parts Identification for Ukrainian Words Based on VESUM and Horokh Using
CN110750967B (zh) 一种发音的标注方法、装置、计算机设备和存储介质
Bhat Morpheme segmentation for kannada standing on the shoulder of giants
JPH09319767A (ja) 類義語辞書登録方法
Sridhar et al. Automatic Tamil lyric generation based on ontological interpretation for semantics
JP2004246491A (ja) テキストマイニング装置及びテキストマイニングプログラム
JP2014191484A (ja) 文末表現変換装置、方法、及びプログラム
JPH02181261A (ja) 自動抄録生成装置
Gong et al. Improved word list ordering for text entry on ambiguous keypads
Rajendran et al. Deep Learning Speech Synthesis Model for Word/Character-Level Recognition in the Tamil Language.
Sankaravelayuthan et al. A Comprehensive Study of Shallow Parsing and Machine Translation in Malaylam
CN111414459A (zh) 人物关系获取方法、装置、电子设备及存储介质
Kimura et al. Spoken dialogue processing method using inductive learning with genetic algorithm

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): CA CN KR SG US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): FR GB

DFPE Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed before 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
REEP Request for entry into the european phase

Ref document number: 2002786125

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2002786125

Country of ref document: EP

WWP Wipo information: published in national office

Ref document number: 2002786125

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 10500243

Country of ref document: US