WO2013080406A1 - 対話システム、冗長メッセージ排除方法および冗長メッセージ排除プログラム - Google Patents

対話システム、冗長メッセージ排除方法および冗長メッセージ排除プログラム Download PDF

Info

Publication number
WO2013080406A1
WO2013080406A1 PCT/JP2012/005150 JP2012005150W WO2013080406A1 WO 2013080406 A1 WO2013080406 A1 WO 2013080406A1 JP 2012005150 W JP2012005150 W JP 2012005150W WO 2013080406 A1 WO2013080406 A1 WO 2013080406A1
Authority
WO
WIPO (PCT)
Prior art keywords
question
question sentence
answer
user
sentence
Prior art date
Application number
PCT/JP2012/005150
Other languages
English (en)
French (fr)
Inventor
康高 山本
Original Assignee
Ｎｅｃソフト株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ｎｅｃソフト株式会社 filed Critical Ｎｅｃソフト株式会社
Priority to JP2013546951A priority Critical patent/JP5831951B2/ja
Priority to US14/360,726 priority patent/US20140351228A1/en
Publication of WO2013080406A1 publication Critical patent/WO2013080406A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2457—Query processing with adaptation to user needs
    • G06F16/24578—Query processing with adaptation to user needs using ranking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding

Definitions

  • dialog system used in a call center or the like
  • QA automation support system that automatically answers customer complaints and questions in order to reduce operator costs.
  • the dialog system is an interactive care system that responds to messages that give advice or sympathy to the user's troubles based on the specialized knowledge accumulated in the database in order to reduce the cost of doctors. It's being used.
  • the problem is that in the dialogue system, there is a possibility that the system will output a question sentence that answers what the user has already said in a series of exchanges.
  • “appropriately” registering feature words and input items means registering with high accuracy and limitation to a level where redundant questions can be omitted in all possibilities. This is because if the correspondence relationship between the feature word and the input item is not appropriate, the accuracy of the estimation result cannot be increased, so that the question regarding the input item cannot be omitted.
  • Answer evaluation means for each question sentence included in a set of question sentences that are candidates for response messages to user utterances, which are character string information indicating the contents of the user's utterance, Answer evaluation means for obtaining an answer content ratio indicating the degree to which an expression as an answer to the question sentence is included in a series of user utterances, and including answer to user utterance of each question sentence obtained by the answer evaluation means
  • a question sentence ranking means for ranking each question sentence in ascending order of answer content based on the rate is provided.
  • the redundant message elimination method is a candidate for a response message to a user utterance that is character string information indicating a user's utterance content, and each question sentence included in a set of question sentences that are character string information in a question format.
  • a response content ratio indicating the degree to which an expression as an answer to the question sentence is included in a series of user utterances so far, and the answer content ratio for the user utterance of the obtained question sentence is higher than a predetermined threshold value
  • the question text is excluded from the response message candidates as a response message for making a redundant question.
  • FIG. It is explanatory drawing which shows an example of the dialog knowledge memorize
  • 5 is a flowchart illustrating an example of a processing flow of a response content rate calculation process by a response property evaluation unit 141; It is explanatory drawing which shows the example of the user utterance input into the redundant question sentence exclusion part 14, and a question sentence set.
  • the user utterance analysis unit 12 may assign a semantic tag representing a vocabulary classification item of a word to a word of a predetermined part of speech such as a noun.
  • the user utterance analysis unit 12 may use a word dictionary (not shown) to attach the semantic tag. For example, the user utterance analysis unit 12 assigns a meaning tag representing [location], assuming that the word “park” is a word representing [location] among the vocabulary classification items. Further, the user utterance analysis unit 12 assigns a semantic tag representing [accompanying object], assuming that the word “wallet” is a word representing [accompanying object] in the vocabulary classification item.
  • the response message generation unit 13 generates response message candidates for the input user utterance based on the analysis result by the user utterance analysis unit 12 and the dialog knowledge stored in the dialog knowledge database 22. In addition, the response message generation unit 13 outputs a question sentence set including the response messages in the question sentence format among the generated response message candidates to the redundant question sentence elimination unit 14 to be described later, and performs a redundant question sentence elimination process. . Then, the response message generation unit 13 determines the response message to be output from among the remaining response message candidates after eliminating the redundant question message by the redundant question message excluding unit 14.
  • the dialogue knowledge database 22 is a database in which dialogue knowledge is stored in advance.
  • Dialogue knowledge is information relating to dialogues that are stored in advance to establish dialogues.
  • the dialogue knowledge may be, for example, information associated with a general input sentence expression and an output sentence corresponding thereto. At that time, the input sentence expression and the output sentence may be made into a template using a predetermined vocabulary classification item.
  • FIG. 3 is an explanatory diagram showing an example of dialogue knowledge stored in the dialogue knowledge database 22. In the example shown in FIG. 3, as a dialogue knowledge, a response message “Would you like to go to a police box?” In this example, two response messages of a response message “When did you last see?” Are registered. The example shown in FIG.
  • FIG. 3 is an example in which a response message “That is painful” is registered for a sentence in which the word “Lose” follows the word whose semantic tag is [person].
  • the response message for the sentence with the word “Lost” after the word whose semantic tag is [Attachment] is “What [Attachment]?”, “How about looking for a house?” And “Where are you always?”.
  • “[]” indicates that the content is a classification item name used for a semantic tag attached to the word.
  • the part is output as a word of the classification item name indicated in [] and used in the input sentence. Show. For example, “what kind of accessory” is converted into “what kind of wallet?” And output.
  • the redundant question sentence exclusion unit 14 inputs a series of user statements and a question sentence set.
  • the redundant question sentence excluding unit 14 determines whether or not there is a question sentence in the input question sentence set that makes a reply that the user has already stated, and if there is, the question sentence is excluded. .
  • the answering property evaluation unit 141 obtains an answer content rate for a series of user statements for each question sentence included in the input question sentence set.
  • the answering property evaluation unit 141 uses an evaluation model that outputs whether two arbitrary sentences are in a question-and-answer relationship as a quantitative certainty factor, and each sentence included in the question sentence and a series of user statements Ask for confidence between.
  • the answering property evaluation unit 141 may combine the obtained certainty factors to obtain an answer content rate with respect to the user utterance of the question sentence.
  • the answer content rate takes a value of 0 to 1, and when it is 1, it is assumed that the probability that the user's utterance and the question sentence are in a question-and-answer relationship is high. The accuracy is the lowest.
  • the response evaluation unit 141 obtains the answer content rate for each, and the highest answer content rate is used as the answer content rate for a series of user utterances of the question sentence. That's fine.
  • the evaluation model is, for example, the relationship between a question and an answer pair, the type of question, etc. and the word string, part of speech, meaning tag, word string of the relation destination or relation source word, part of speech It is constructed by performing machine learning using semantic tags as features.
  • the question text includes a meaning tag of “mountain name”, a word of “height”, a “meter” ”And a meaning tag such as [unit of length].
  • a meaning tag “number” can be assigned to “3776”
  • a meaning tag “unit of length” can be assigned to “m”.
  • the question of “mountain height” is [number] + [unit of length]. You can build a statistical model that the combination is likely to be an answer.
  • the answer evaluation unit 141 may calculate the answer content using a calculation method for increasing the answer content. According to such a method, it is possible to obtain the answer content rate without having information as prior knowledge. In this case, if the answer evaluation unit 141 regards the above calculation logic as an evaluation model that outputs a certainty factor based on the similarity between the question sentence and the user statement, and uses it for calculating the answer content ratio, Good.
  • the question sentence set update unit 143 determines whether or not the question sentence is redundant as a result of the ranking by the question sentence ranking part 142, the calculation result of the question possibility, and the result of selecting a suitable question sentence based on them.
  • the question sentence set is updated and output based on the determination result.
  • the question sentence set update unit 143 may output the question sentence by adding processing such as rank and question possibility information to the question sentences, or delete the redundant question sentence from the question sentence set and output it.
  • other than one question sentence selected as a suitable question sentence from the question sentence set may be deleted and output.
  • the response message output unit 15 outputs the response message generated or selected by the response message generation unit 13.
  • the response message generation unit 13 uses the dialog knowledge stored in the dialog knowledge database 22 based on the analysis result by the user message analysis unit 12 to generate response message candidates for the input user message (Ste S13).
  • the response message generation unit 13 outputs a set of question sentences including a response message in a question sentence format among the generated response message candidates to the redundant question sentence exclusion unit 14.
  • the response message generator 13 also outputs a user message used for the determination.
  • the response message generator 13 determines a response message to be actually output from among the response message candidates remaining after the redundant question sentence elimination process. Then, the response message output unit 15 outputs the determined response message (step S15).
  • FIG. 5 is a flowchart showing an example of a processing flow of the redundant question sentence elimination process by the redundant question sentence exclusion unit 14.
  • the answerability evaluation unit 141 first includes each question sentence included in the input question sentence set.
  • the answer content rate with respect to the input user utterance is calculated
  • the question ordering unit 142 ranks each question sentence based on the answer content rate of each question sentence (step S102).
  • the question sentence set updating unit 143 updates and outputs the question sentence set based on the ranking result by the question sentence ranking unit 142 (step S103).
  • FIG. 6 is a flowchart illustrating an example of a processing flow of a response content rate calculation process performed by the response property evaluation unit 141.
  • the example shown in FIG. 6 is an example in which the answer content rate is calculated without having information as prior knowledge.
  • the answering property evaluation unit 141 first assigns an ID to each question sentence (step S111). When assigning an ID, the answering property evaluation unit 141 performs a morphological analysis on each question sentence, and holds the result in association with the ID (step S111).
  • FIG. 7A is an explanatory diagram illustrating an example of a user utterance input to the redundant question sentence exclusion unit 14.
  • FIG. 7B is an explanatory diagram showing an example of a question sentence set input to the redundant question sentence excluding unit 14 and an example of ID assignment.
  • the five questions are ID1 “Would you like to go to the police box?”, ID2 “When was the last time you saw it?”, ID3 “What kind of wallet?”, ID4 “Looking for the house "How about?”, ID5 "Where are you always?”
  • FIG. 15 is an explanatory diagram showing the calculation result of the feature amount content rate of each question text.
  • the question sentence feature quantity of the i-th question sentence is represented by a set Qi
  • the user utterance feature quantity is represented by a set U.
  • the feature amount content Ci of the i-th question sentence is obtained by the following equation (1).
  • represents the number of elements in the set.
  • the symbol ⁇ represents a common set.
  • the answering property evaluation unit 141 may assign a word importance to each word included in the question feature amount set U of the user's utterance, and obtain a feature amount content rate including the word importance.
  • the reply evaluation unit 141 holds in advance importance reference information in which words and importance are recorded in association with each other.
  • the importance level reference information can refer to the importance level for a word using the word as a key.
  • each element (that is, each word) of the set Qi that is the question sentence feature amount of the i-th question sentence is q_ij
  • each element (that is, each word) of the set U that is the user utterance feature amount is u_k
  • the user statement Let w_k be the word importance of each word u_k included in the feature quantity. j and k are indexes indicating each element of the set Qi or each element of the set U.
  • the feature amount content rate Ci of the i-th question sentence is obtained as follows. That is, for the previous
  • FIG. 16 is an explanatory diagram showing the calculation result of the answer content rate of each question when the word importance is taken into account.
  • the response content rate can be obtained with higher accuracy if prior knowledge is used for creating the feature value and measuring the feature content rate.
  • the answering property evaluation unit 141 does not directly measure a characteristic word similarity (that is, a feature amount content rate) between the question sentence and the user's statement, and the question sentence is likely to be an answer to the question sentence.
  • the information may be converted into information (for example, a predicted answer sentence pattern), and the similarity between the converted information and the user's speech may be measured.
  • converting a question sentence into information that is likely to be an answer to the question sentence is simply referred to as question sentence conversion.
  • the question text conversion rules can be generated using, for example, a conversion table.
  • FIG. 17 is an explanatory diagram illustrating an example of a conversion table.
  • one conversion rule is registered for one record.
  • “:” indicates that the left and right elements are in a relationship of continuous words, attribute values, and direct dependency.
  • what is surrounded by “[]” represents a word attribute value.
  • the attribute value of a word includes information indicating a predetermined classification item such as whether the word represents a person, a place, or a time. .
  • an attribute value given a number in “[]” indicates that the word before conversion is substituted for the [] part with the same number after conversion. For example, when there is a character string “what purse” in the question middle sentence, since the purse is a noun, this is a word or attribute value series “before conversion: noun 1” in the conversion rule of rule No 2 in the conversion table. ] ”. Therefore, “[adjective]: wallet” is obtained as information after conversion of the question sentence in accordance with the converted word and attribute value series “[adjective]: [noun 1]” in this conversion rule.
  • FIG. 18 is an explanatory diagram illustrating an example of question sentence conversion.
  • the underline drawn in the question text before conversion indicates that the part corresponds to the conversion rule.
  • the question sentence of ID2 corresponds to the conversion rule of conversion rule No1 in FIG. 17, and the question sentence of ID3 corresponds to the conversion rule of conversion rule No2 in FIG. Therefore, the answering property evaluation unit 141 performs the conversion process indicated by the conversion rule, so that “[time]” for the question sentence of ID2 and “[adjective]: wallet” for the question sentence of ID3 as the converted information.
  • the expected answer sentence pattern can be obtained.
  • the reply property evaluation part 141 calculates
  • the response evaluation unit 141 adds the information about the question text after conversion of the question text in addition to the direct feature amount content ratio between the question text and the user's statement. And the feature amount content ratio between the user and the user. Two or more answer contents can be obtained for one question. In this case, the answer evaluation unit 141 may adopt a large value.
  • the answering property evaluation unit 141 does not treat a word as a vector series, but also includes a word included in the converted information when obtaining the feature amount content ratio between the converted information of the question sentence and the user utterance. Search whether there is a series of attributes.
  • the answering property evaluation unit 141 confirms whether or not the word “wallet” in the user's utterance has a word whose adjective is an adjective and is directly or directly related after the word. To do. If there is a word that satisfies these conditions in the user utterance, the answering property evaluation unit 141 sets the answer content rate of the question sentence of ID3 to 1.0, assuming that it corresponds to the series after conversion. By doing so, it can be determined with higher accuracy that the user's remark includes an answer that seems to be an answer to the question sentence ID3 “what kind of wallet?”.
  • attribute values include organization name, person name, place name, date expression, time expression, monetary expression, and ratio expression. Further, those attribute values classified in more detail may be used as attribute values. Further, for example, it is possible to classify attribute values specialized in a certain specialized field. What is necessary is just to define an attribute value according to what kind of dialogue is performed in the dialogue system and the ability to analyze the attribute value.
  • the question sentence ordering unit 142 calculates (1-answer content ratio) for each question sentence and sets it as a question possibility, and the question with the highest question possibility is a question for the user's comment. It may be output as a sentence.
  • the question sentence ordering unit 142 may select and output one at random.
  • the question sentence ordering unit 142 regards a value obtained by dividing each question possibility by the sum of the question possibility of the question sentences included in the question sentence set as a probability, and determines a question sentence for the user's remark with the probability. Also good.
  • FIG. 21A is an explanatory diagram showing another calculation example of the question possibility.
  • FIG. 21B is an explanatory diagram showing an example in which the question sentences are ordered based on the question possibility.
  • the question possibility is obtained by (question importance-answer content ratio), and each question sentence has a priority as a question candidate so that priority is given to those with higher question possibility from the obtained results. It is attached.
  • the question sentence of ID2 has the highest priority.
  • the question sentence set D12 is given to the redundant question sentence exclusion unit 14, the question sentences included in the question sentence set are ranked based on the answer content rate, and the results are assigned to the question sentence set.
  • the question sentence input to the redundant question sentence exclusion unit 14 may not be plural.
  • the redundant question sentence excluding unit 14 is configured to receive one question sentence D12 and return a determination result D13 as to whether or not the question sentence can be a question candidate each time.
  • FIG. 22 is a block diagram illustrating another configuration example of the redundant question sentence excluding unit 14.
  • the 22 includes a question availability determination unit 144 instead of the question ordering unit 142.
  • the question availability determination unit 144 calculates the question possibility for the input question sentence without using information of other question sentences, and based on the calculated question possibility, whether the question sentence can be a question candidate. What is necessary is just to determine.
  • the calculation method of the question possibility may be basically the same as described above.
  • the preliminary output is not required and the system outputs a redundant question sentence with a simple configuration. Can be eliminated.
  • FIG. 23 is a block diagram showing an outline of the present invention.
  • the dialogue system shown in FIG. 23 includes answerability evaluation means 501 and question sentence ranking means 502.
  • the answering property evaluation unit 501 (for example, the answering property evaluation unit 141) is a candidate for a response message to a user utterance, which is character string information indicating the user's utterance content, and a set of question sentences that are character string information in a question format. For each question sentence included, an answer content ratio indicating the degree to which the series of user utterances so far includes an expression that is an answer to the question sentence is obtained.
  • the question sentence ranking unit 502 determines each question sentence based on the answer content rate for the user utterance of each question sentence obtained by the answer evaluation unit 501. Are ranked in ascending order of response content.
  • the question sentence ranking unit 502 may exclude a question sentence having an answer content rate higher than a predetermined threshold from the response message candidates as a response message for making a redundant question when ranking.
  • the question sentence ranking unit 502 may rank each question sentence so that a question sentence having a lower answer content rate is given priority as a candidate for a response message.
  • the question sentence ranking unit 502 may rank each question sentence based on the importance as the question given to each question sentence and the answer content rate.
  • the answer evaluation means 501 uses an evaluation model that evaluates the degree of question-and-answer relationship between two arbitrary sentences as a quantitative certainty factor, and uses each evaluation sentence and user statement. May obtain a certainty factor that is in a question-and-answer relationship, and obtain a response content rate for the user's statement of the question sentence based on the obtained certainty factor.
  • the answering property evaluation unit 501 is an evaluation model that evaluates and outputs the degree of question-and-answer relationship between two arbitrary sentences as a quantitative certainty factor. Each question sentence and user's remarks are questioned using an evaluation model that increases the certainty of question-and-answer relationships when characteristic words that are words of a given part of speech are duplicated between two sentences. You may obtain
  • the answer evaluation means 501 obtains the certainty factor described above, the synonym expression is included in the characteristic word included in the question sentence and the user utterance, and the characteristic word overlaps between the two sentences. It may be determined whether or not.
  • the answering property evaluation unit 501 includes a question sentence conversion unit that converts each question sentence into a word attribute series that is information defined by a word or attribute value series, which is a sentence expression that is likely to be an answer to the question sentence.
  • the sex evaluation means 501 is an evaluation model that outputs the degree of question-and-answer relationship between two arbitrary sentences as a quantitative certainty factor, and is between an arbitrary word attribute series and an arbitrary sentence.
  • the present invention is not limited to an interactive system, and can be suitably applied as long as the computer can output a question-type message for a sentence input using a natural language processing technique.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Machine Translation (AREA)

Abstract

　ユーザの発言内容を示す文字列情報であるユーザ発話に対する応答メッセージの候補であって質問形式の文字列情報である質問文の集合に含まれる各質問文について、これまでの一連のユーザ発話に当該質問文に対する回答となる表現が含まれている度合いを表す回答含有率を求める回答性評価手段５０１と、回答性評価手段５０１によって求められた各質問文のユーザ発話に対する回答含有率に基づいて、各質問文を回答含有率が低い順に順位付ける質問文順位付け手段５０２とを備える。

Description

対話システム、冗長メッセージ排除方法および冗長メッセージ排除プログラム
　本発明は、ユーザ発言に対して何らかの応答メッセージを出力することによりユーザとの対話を行う対話システム、該対話システムにおける冗長メッセージ排除方法およびプログラムに関する。
　近年、ユーザからの質問に対する回答や不明点のユーザへの確認を自動化してユーザへの対応コストを削減する目的で、対話システムが多く利用されている。
　例えば、コールセンタなどで利用される対話システムとして、オペレータのコスト削減のために、顧客からのクレームや質問に対して自動で回答するＱＡ自動化支援システムが挙げられる。この他にも、対話システムは、医師のコスト削減のために、データベースに蓄積した専門的な知識を基に、ユーザの悩みに対してアドバイスや共感を示すメッセージを返答する対話的ケアシステムなどに利用されている。
　ところで、対話システムの中には、ユーザが満足する解やシステムが欲する情報を全て得るまで対話を続けるために、ユーザが入力した内容に対して質問文の形式で応答メッセージを出力する方法を適用するものがある。
　このような方法を適用する対話システムでは、ユーザが入力した内容に対していかに適切な質問文を返すかが円滑な対話を進めるための重要なポイントとなる。例えば、ユーザと対話システムとの間の一連のやり取りの中で、ユーザが既に述べたことが回答となるような質問文を応答メッセージとして出力してしまうと、ユーザが同じような内容を再び回答として入力しなければならない。その結果、無駄な作業を強いることになるだけでなく、対話感を得られないといった問題が生じていた。
　対話システムで円滑な対話を進めるための技術の一例が、例えば、特許文献１に記載されている。特許文献１に記載されている音声対話システムは、ユーザから検索対象名が入力されるとその検索対象名に対する検索結果の情報を出力するシステムである。特許文献１に記載されている音声対話システムは、順次必要な情報項目をユーザに入力させる対話システムではなく、あえて語彙の規模が大きい検索対象名を先に入力させて、そこから得られた検索対象名から他に必要な入力項目の情報を推定しようというものである。１の入力項目から他の入力項目の情報が推定できれば、推定できた入力項目について冗長な質問を行わないですむ。
特開２００１－１００７８７号公報
　課題は、対話システムにおいて、一連のやり取りの中でユーザが既に述べたことが回答となるような質問文をシステムが出力する可能性があることである。
　例えば、特許文献１に記載されている方法によれば、「藤沢市役所」の電話番号を要求している利用者に、検索対象名である「藤沢市役所」を先に入力させることで、その検索対象名から市名である「藤沢市」や業種分野である「市役所」を推定して、それらの質問を省略することができる可能性がある。
　しかし、特許文献１に記載された方法は、あくまで検索対象名のように、予め決められた入力項目間に存在する付随的な関係性を利用して、冗長な質問を排除しようというものである。すなわち、特許文献１に記載された方法は、純粋に、ユーザが既に発言した中にシステム側から行われる質問の回答となるような内容が含まれているか否かを判断して、そのような冗長な質問を排除しようというものではない。
　従って、特許文献１に記載された方法は、必要な入力項目等が予め決まっていて、かつ入力項目間に付随性がある対話システムにしか適用できない。例えば、上述のＱＡ自動化支援システムや対話的ケアシステムのように、ユーザから自由な形式で入力を受け付ける対話システムでは、特徴語となる部分文字列も膨大にあり、また「入力項目」が予め定まっていない又は会話内容によって変化する場合も多い。また、特徴語によっては、実際の対話の中でその言葉が意味するものが異なるなど、入力項目との対応づけが難しいものも多い。このように、ユーザから自由な形式で入力を受け付ける対話システムでは、予め全ての特徴語について、その特徴語に対応する入力項目を適切に登録しておくことは非常に困難である。
　ここで、特徴語と入力項目とを「適切に」登録するとは、あらゆる可能性がある中で冗長な質問を省略できるレベルにまで高精度にかつ限定して登録しておくことを意味する。特徴語と入力項目の対応関係が適切でないと、推定結果の精度を上げることができないため、その入力項目に関する質問を省略するまでには至らないからである。
　すなわち、特許文献１に記載された方法は、部分文字列ベースのデータベースを準備することで所定の質問文に対応する特徴量を設定可能にしている。しかし、そのような部分文字列ベースのデータベース等を事前に準備して質問文毎の特徴量を設定しておく方法では、多くの質問文毎に対応する特徴量を網羅的に選定することは難しい。
　そこで、本発明は、多様な入力がなされる対話システムにおいて、ユーザが既に述べたことが回答となるような質問文をシステムが出力することを防止できる対話システム、該対話システムにおける冗長メッセージ排除方法およびプログラムを提供することを目的とする。
　本発明による対話システムは、ユーザの発言内容を示す文字列情報であるユーザ発話に対する応答メッセージの候補であって質問形式の文字列情報である質問文の集合に含まれる各質問文について、これまでの一連のユーザ発話に当該質問文に対する回答となる表現が含まれている度合いを表す回答含有率を求める回答性評価手段と、回答性評価手段によって求められた各質問文のユーザ発話に対する回答含有率に基づいて、各質問文を回答含有率が低い順に順位付ける質問文順位付け手段とを備えたことを特徴とする。
　また、本発明による冗長メッセージ排除方法は、ユーザの発言内容を示す文字列情報であるユーザ発話に対する応答メッセージの候補であって質問形式の文字列情報である質問文の集合に含まれる各質問文について、これまでの一連のユーザ発話に当該質問文に対する回答となる表現が含まれている度合いを表す回答含有率を求め、求めた質問文のユーザ発話に対する回答含有率が所定の閾値以上に高い場合に、当該質問文を冗長な質問をする応答メッセージであるとして応答メッセージの候補から排除することを特徴とする。
　また、本発明による冗長メッセージ排除プログラムは、コンピュータに、ユーザの発言内容を示す文字列情報であるユーザ発話に対する応答メッセージの候補であって質問形式の文字列情報である質問文の集合に含まれる各質問文について、これまでの一連のユーザ発話に当該質問文に対する回答となる表現が含まれている度合いを表す回答含有率を求める処理、および求めた質問文のユーザ発話に対する回答含有率が所定の閾値以上に高い場合に、当該質問文を冗長な質問をする応答メッセージであるとして応答メッセージの候補から排除する処理を実行させることを特徴とする。
　本発明によれば、多様な入力がなされる対話システムにおいて、ユーザが既に述べたことが回答となるような質問文をシステムが出力することを防ぐことができる。
本発明による対話システムの構成例を示すブロック図である。 冗長質問文排除部１４の構成例を示すブロック図である。 対話知識データベース２２に記憶される対話知識の一例を示す説明図である。 実施形態の対話システムの動作の一例を示すフローチャートである。 冗長質問文排除部１４による冗長質問文の排除処理の処理フローの一例を示すフローチャートである。 回答性評価部１４１による回答含有率の算出処理の処理フローの一例を示すフローチャートである。 冗長質問文排除部１４に入力されるユーザ発言および質問文集合の例を示す説明図である。 ＩＤ１の質問文に対して行った形態素解析の解析結果の例および質問文特徴量の抽出例を示す説明図である。 ＩＤ２の質問文に対して行った形態素解析の解析結果の例および質問文特徴量の抽出例を示す説明図である。 ＩＤ３の質問文に対して行った形態素解析の解析結果の例および質問文特徴量の抽出例を示す説明図である。 ＩＤ４の質問文に対して行った形態素解析の解析結果の例および質問文特徴量の抽出例を示す説明図である。 ＩＤ５の質問文に対して行った形態素解析の解析結果の例および質問文特徴量の抽出例を示す説明図である。 各質問文からの質問文特徴量の抽出結果およびその保持例を示す説明図である。 ユーザ発言に対して行った形態素解析の解析結果とユーザ発言特徴量の抽出の例を示す説明図である。 各質問文の特徴量含有率の計算結果を示す説明図である。 単語重要度を加味した場合の各質問の回答含有率の計算結果を示す説明図である。 変換表の例を示す説明図である。 質問文の変換の例を示す説明図である。 ユーザ発言に対して行った形態素解析の解析結果の例および属性値推定の例を示す説明図である。 各質問文の質問可能度の算出例およびその質問可能度に基づき各質問文を順位付けた例を示す説明図である。 質問可能度の他の算出例およびその質問可能度に基づき各質問文を順位付けた例を示す説明図である。 冗長質問文排除部１４の他の構成例を示すブロック図である。 本発明の概要を示すブロック図である。
　図１は、本発明による対話システムの構成例を示すブロック図である。図１に示す対話システム１００は、ユーザが入力したテキストを解析し、それに応じたメッセージを自動で生成または選択して出力する対話システムである。図１に示す対話システム１００は、ユーザ発言入力部１１と、ユーザ発言解析部１２と、応答メッセージ生成部１３と、冗長質問文排除部１４と、応答メッセージ出力部１５と、ユーザ発言保持部２１と、対話知識データベース２２とを備えている。
　また、図２は、冗長質問文排除部１４の構成例を示すブロック図である。冗長質問文排除部１４は、一連のユーザ発言Ｄ１１と質問文集合Ｄ１２とを入力として、冗長質問文排除済みの質問文集合Ｄ１２’を出力する処理部である。図２に示すように、冗長質問文排除部１４は、回答性評価部１４１と、質問順序付け部１４２と、質問文集合更新部１４３とを含む。
　ユーザ発言入力部１１は、ユーザ発言を入力する。より具体的には、ユーザ発言入力部１１は、ユーザ発言の入力を受け付けて、後段のユーザ発言解析部１２に渡す。また、ユーザ発言入力部１１は、受け付けたユーザ発言をユーザ発言保持部２１に保持させる処理を行ってもよい。ユーザ発言とは、ユーザがシステムに入力した発言内容を示す文字列情報である。なお、ユーザが音声で入力した場合には、ユーザ発言入力部１１は、その音声をテキスト形式に変換すればよい。ユーザ発言入力部１１は、例えば、キーボード等の情報入力装置によって実現される。なお、通信回線を通じてユーザ発言を入力する場合には、ユーザ発言入力部１１は、ネットワークインタフェースとその制御部とによって実現される。
　ユーザ発言解析部１２は、入力されたユーザ発言に対して、その発言形式および発話内容を認識するための構文解析や意味解析等の解析処理を行う。また、ユーザ発言解析部１２は、ユーザ発話の原文に代えてまたは原文に加えて、解析の結果得られた情報をユーザ発言保持部２１に保持させる処理を行ってもよい。
　ユーザ発言解析部１２は、例えば、ユーザ発言に含まれる各文に対して形態素解析や構文解析を行い、各文に含まれる単語の抽出や、文の品詞構造、係り受け関係の特定を行う。また、ユーザ発言解析部１２は、抽出された単語のうち特徴となる単語にその語義や構文環境の情報を表す意味タグを付与する処理などを行う。これにより、ユーザ発言をシステムがその発言内容を理解できる形式のデータに変換する。なお、意味タグとして付与する単語の語義は、後述する対話知識において使用される単語の属性に関する分類項目を表すものであってもよい。
　例えば、「公園で財布をなくした」というユーザ発言が入力された場合、形態素解析によって「公園／で／財布／を／なくす／た」といった構文情報が得られる。このようにして得られた構文情報を基に、ユーザ発言解析部１２は、名詞等の所定の品詞の単語に対して、その単語の語彙分類項目を表す意味タグを付与してもよい。ユーザ発言解析部１２は、意味タグの付与に、図示しない単語辞書を利用してもよい。ユーザ発言解析部１２は、例えば、「公園」という単語は語彙分類項目のうち［場所］を表す単語であるとして、［場所］を表す意味タグを付与する。また、ユーザ発言解析部１２は、「財布」という単語は語彙分類項目のうち［付帯物］を表す単語であるとして、［付帯物］を表す意味タグを付与する。
　ユーザ発話保持部２１は、一連のユーザ発話を保持する。ユーザ発話保持部２１は、例えば、ユーザ別に、対話が開始されてからこれまでの間に入力されたユーザ発話を全て記憶しておくデータベースであってもよい。
　応答メッセージ生成部１３は、ユーザ発言解析部１２による解析結果と、対話知識データベース２２に記憶されている対話知識とに基づいて、入力されたユーザ発言に対する応答メッセージの候補を生成する。また、応答メッセージ生成部１３は、生成した応答メッセージ候補のうち質問文形式の応答メッセージからなる質問文集合を、後述する冗長質問文排除部１４に出力し、冗長質問文の排除処理を行わせる。そして、応答メッセージ生成部１３は、冗長質問文排除部１４による冗長質問文を排除した後、最終的に残った応答メッセージ候補の中から出力する応答メッセージを決定する。
　対話知識データベース２２は、対話知識を予め記憶しておくデータベースである。対話知識は、対話を成立させるために予め蓄積されている対話に関する情報である。対話知識は、例えば、一般的な入力文章表現とそれに対する出力文章と対応付けた情報であってもよい。その際、入力文章表現や出力文章を、予め定められている語彙分類項目を使ってテンプレート化してもよい。図３は、対話知識データベース２２に記憶される対話知識の一例を示す説明図である。図３に示す例は、対話知識として、意味タグが［付帯物］である単語の後に「なくす」という単語が続く文章に対して、「交番に行ってはいかがでしょう？」という応答メッセージと、「最後に見たのはいつですか？」という応答メッセージの２つの応答メッセージが登録されている例である。また、図３に示す例は、意味タグが［人］である単語の後に「なくす」という単語が続く文章に対して、「それは辛いですね」という応答メッセージが登録されている例である。この他にも、意味タグが［付帯物］である単語の後に「なくす」という単語が続く文章に対する応答メッセージには、「どんな［付帯物］ですか？」、「家を探してみてはいかがでしょうか？」、「いつもはどこにあるのですか？」といったものが挙げられる。なお、図３における“［］”の囲みは、その中身がその単語に付された意味タグに用いられている分類項目名であることを示している。また、応答メッセージ内で“［］”が用いられている場合には、その部分を［］内で示される分類項目名の単語であって入力文章に用いられた単語に言い換えて出力することを示している。例えば、上記における「どんな［付帯物］ですか？」は「どんな財布ですか？」に変換されて出力される。
　冗長質問文排除部１４は、一連のユーザ発言と、質問文集合とを入力する。冗長質問文排除部１４は、入力された質問文集合の中にユーザが既に述べたことが回答となるような質問文があるか否かを判定し、あった場合はその質問文を排除する。
　なお、一連のユーザ発言として、具体的にどの範囲のユーザ発言を入力するかは特に限定されない。一連のユーザ発言は、例えば、対話が開始されてからこれまでに入力された全てのユーザ発言であってもよい。また、途中で明示的話題の転換を検出した場合には、一連のユーザ発言を、その検出後からこれまでに入力されたユーザ発言に限定してもよい。また、単純に１つ前までのユーザ発言を対象とする、または、直近１時間の間に入力されたユーザ発言を対象とするというように、単純に対話の回数や対話時間で一連のユーザ発言を区切ってもよいし、今回入力された１ユーザ発話のみを対象としてもよい。
　回答性評価部１４１は、入力された質問文集合に含まれる各質問文について、一連のユーザ発言に対する回答含有率を求める。回答性評価部１４１は、任意の２つの文章が質疑応答の関係になっているかを定量的な確信度として出力する評価モデルを用いて、当該質問文と一連のユーザ発言に含まれる各文章との間の確信度を求める。回答性評価部１４１は、求めた確信度を総合して当該質問文のユーザ発言に対する回答含有率としてもよい。本実施形態では、回答含有率は、０～１の値をとるものとし、１のときにユーザ発言とその質問文とが質疑応答の関係になっている確度が高いものとし、０のときに最もその確度が低いものとする。なお、ユーザ発言が複数ある場合には、回答性評価部１４１は、それぞれにつき回答含有率を求めて、そのうちのもっとも高い回答含有率を、その質問文の一連のユーザ発言に対する回答含有率とすればよい。
　回答性評価部１４１で使用される評価モデルは、例えば、ある質問に対してされた回答についてその回答性を評価する評価モデルであってもよい。この評価モデルは、例えば、予めＱＡサイトのような質疑応答がすでに多数なされているサイトのテキスト情報を利用して機械学習を行って構築された評価モデルであってもよい。
　評価モデルは、例えば、質問と回答のペアの関係を、質問の種類等とそれに対する回答部分として把握された単語の文字列、品詞、意味タグ、係り先または係り元の単語の文字列、品詞、意味タグなどを素性として機械学習を行うことにより構築される。
　具体的な例を用いて説明すると、「富士山の高さは何メートルですか？」という質問に対して「３７７６ｍです」という回答がされていたことを示す情報のペアがあるとする。この質問に対して、形態素解析、構文解析、意味タグの付与等を行えば、質問文には、富士山という単語に対して［山の名称］という意味タグ、「高さ」という単語、「メートル」という単語に対して［長さの単位］という意味タグなどを付与できる。また、回答文に対しては、「３７７６」に対して［数字］という意味タグ、「ｍ」に対して［長さの単位］という意味タグを付与できる。これと類似する情報のペアが大量にあり、文字列、品詞、意味タグなどを素性として機械学習を行えば、「山の高さ」に対する質問には［数字］＋［長さの単位］の組み合わせが回答となりやすいという統計モデルを構築できる。
　また、回答性評価部１４１は、例えば、質問文とユーザ発言との間に同一の単語があった場合に、回答含有率を高くする計算方法を用いて回答含有率を計算してもよい。このような方法によれば、事前知識となる情報を持たずに回答含有率を求めることが可能となる。この場合、回答性評価部１４１は、上述の計算ロジックを、質問文とユーザ発言との間の類似性に基づく確信度を出力する評価モデルとみなして、回答性含有率の計算に利用すればよい。
　質問順序付け部１４２は、質問文集合に含まれる各質問文を回答含有率が低いものを優先するよう順位付けする。具体的には、質問順序付け部１４２は、回答含有率が低いものほど、まだユーザが発言していないことを聞き出す質問とみなして、その優先度を高くする処理を行う。質問順位付け部１４２は、優先度の代わりに、各質問文について質問可能度を求めてもよい。例えば、質問文毎に、（１－回答含有率）を質問可能度としてもよい。なお、質問可能度は、その値が高いほどその質問文が応答メッセージとして適していることを表す。また、質問文集合に含まれる各質問文に、質問としての重要度が付与されていてもよい。この場合、質問順序付け部１４２は、各質問文に付与されている重要度から回答含有率を減じた値によって質問可能度を求めてもよい。また、質問順位付け部１４２は、求めた各質問文の順位や質問可能度に基づいて、質問文集合に含まれる質問文からユーザ発言に適した質問文を選択してもよい。また、質問順位付け部１４２は、求めた各質問文の順位や質問可能度に基づいて、各質問文が冗長とされる質問文か否かを決定する処理を行ってもよい。
　質問文集合更新部１４３は、質問文順位付け部１４２による順位付けの結果、質問可能度の算出結果やそれらに基づいて適した質問文が選択された結果、冗長とされる質問文か否かの判定結果を基に、質問文集合を更新して出力する。
　質問文集合更新部１４３は、例えば、各質問文に順位や質問可能度の情報を付加する処理を行って出力してもよいし、冗長とされる質問文を質問文集合から削除して出力してもよいし、質問文集合から適した質問文として選択された１の質問文以外を削除して出力してもよい。
　応答メッセージ出力部１５は、応答メッセージ生成部１３によって生成され、または選択された応答メッセージを出力する。
　本実施形態において、ユーザ発言解析部１２、応答メッセージ生成部１３、冗長質問文排除部１４、応答メッセージ出力部１５は、プログラムに従って動作するＣＰＵ等の情報処理装置によって実現される。なお、応答メッセージ出力部１５は、情報処理装置と、ディスプレイ等の情報出力装置とによって実現されてもよい。また、応答メッセージ出力部１５は、通信回線を通じて応答メッセージを出力する場合には、情報処理装置とネットワークインタフェースとその制御部とによって実現されてもよい。また、ユーザ発言保持部２１、対話知識データベース２２は、例えば、記憶装置によって実現される。
　なお、本実施形態では、冗長質問文排除部１４以外の構成は、ユーザが入力したテキストを解析し、それに応じたメッセージを自動で生成または選択して出力する一般的な対話システムと同様でよい。すなわち、冗長質問文排除部１４以外の各処理部は、一般的な対話システムが有する機能を有していればよい。
　次に、本実施形態の動作を説明する。図４は、本実施形態の対話システムの動作の一例を示すフローチャートである。図４に示すように、まずユーザ発話入力部１１が、ユーザ発話を受け付ける（ステップＳ１１）。ユーザ発話入力部１１は、ユーザ発話を受け付けると、ユーザ発言保持部２１に記録するとともに、ユーザ発言解析部１２に渡す。
　ユーザ発言解析部１２は、入力されたユーザ発言を解析し、システムがその発言内容を理解できる形式のデータに変換する（ステップＳ１２）。ここでは、ユーザ発言解析部１２は、例えば、ユーザ発言に対する形態素解析や解析された構文を基に特徴となる単語に意味タグを付与する処理などを行う。
　次いで、応答メッセージ生成部１３が、ユーザ発言解析部１２による解析結果に基づき、対話知識データベース２２に記憶されている対話知識を利用して、入力されたユーザ発言に対する応答メッセージの候補を生成する（ステップＳ１３）。応答メッセージ生成部１３は、生成した応答メッセージ候補のうち質問文形式の応答メッセージからなる質問文集合を冗長質問文排除部１４に出力する。このとき、応答メッセージ生成部１３は、判定に用いられるユーザ発言も併せて出力する。
　判定に用いられるユーザ発言と質問文集合とが入力されると、冗長質問文排除部１４は、入力された質問文集合に対して冗長質問文の排除処理を行う（ステップＳ１４）。なお、冗長質問文の排除処理については後述する。
　冗長質問文の排除処理が完了すると、応答メッセージ生成部１３は、冗長質問文の排除処理後に残った応答メッセージ候補の中から実際に出力する応答メッセージを決定する。そして、応答メッセージ出力部１５が、決定された応答メッセージを出力する（ステップＳ１５）。
　次に、冗長質問文排除部１４による冗長質問文の排除処理を説明する。図５は、冗長質問文排除部１４による冗長質問文の排除処理の処理フローの一例を示すフローチャートである。図５に示すように、冗長質問文排除部１４では、判定に用いられるユーザ発言と質問文集合とが入力されると、まず回答性評価部１４１が、入力された質問文集合に含まれる各質問文について、入力されたユーザ発言に対する回答含有率を求め、そのユーザ発言における回答性を評価する（ステップＳ１０１）。
　回答性評価部１４１によって各質問文の回答含有率が求められると、質問順序付け部１４２は、各質問文の回答含有率に基づいて、各質問文に順位付けを行う（ステップＳ１０２）。
　最後に、質問文集合更新部１４３が、質問文順位付け部１４２による順位付けの結果を基に、質問文集合を更新して出力する（ステップＳ１０３）。
　次に、回答性評価部１４１による回答含有率の算出方法をより詳細に説明する。図６は、回答性評価部１４１による回答含有率の算出処理の処理フローの一例を示すフローチャートである。図６に示す例は、事前知識となる情報をもたずに回答含有率を算出する例である。回答性評価部１４１は、まず、各々の質問文に対してＩＤを割り当てる（ステップＳ１１１）。回答性評価部１４１は、ＩＤを割り当てると、各々の質問文に形態素解析を実施し、その結果をＩＤと紐付けて保持する（ステップＳ１１１）。
　次いで、回答性評価部１４１は、質問文毎に、品詞が名詞、形容詞、動詞である単語を当該文章において特徴となる単語であるとみなし、その単語の原型を質問文特徴量として取得する（ステップＳ１１２）。回答性評価部１４１は、質問文特徴量を、例えば、形態素結果を登録したデータベースから対象とする単語の原型の情報をベクトル形式で取得してもよい。ベクトル形式とは、データを配列として保持することを意味し、この場合、単語の原型の情報を一つの配列として特徴量とすることを表す。
　図７（ａ）は、冗長質問文排除部１４に入力されるユーザ発言の一例を示す説明図である。また、図７（ｂ）は、冗長質問文排除部１４に入力される質問文集合の例およびＩＤの割り当て例を示す説明図である。以下では、図７に示すように、１つのユーザ発言「茶色い財布をなくして、交番に行ったけど見つからなくて困っている」と、５つの質問文を含む質問文集合が入力されたものとして説明する。５つの質問文は、ＩＤ１「交番に行ってはいかがでしょう？」、ＩＤ２「最後に見たのはいつでしょうか？」、ＩＤ３「どんな財布ですか？」、ＩＤ４「家を探してみてはいかがでしょうか？」、ＩＤ５「いつもはどこにあるのですか？」である。
　また、図８～１２は、各質問文に対して行った形態素解析の解析結果の例および質問文特徴量の抽出例を示す説明図である。なお、図８に示す内容がＩＤ１の質問文の例である。また、図９に示す内容がＩＤ２の質問文の例である。図１０に示す内容がＩＤ３の質問文の例である。図１１に示す内容がＩＤ４の質問文の例である。図１２に示す内容がＩＤ５の質問文の例である。
　また、図１３は、各質問文からの質問文特徴量の抽出結果およびその保持例を示す説明図である。図１３に示すように、ＩＤ１の質問文から抽出された質問文特徴量は｛交番、行く｝である。ＩＤ２の質問文から抽出された質問文特徴量は｛見る｝である。ＩＤ３の質問文から抽出された質問文特徴量は｛財布｝である。ＩＤ４の質問文から抽出された質問文特徴量は｛家、探す｝である。ＩＤ５の質問文から抽出された質問文特徴量は｛いつも、ある｝である。
　次に、回答性評価部１４１は、ユーザ発言に対してステップＳ１１２，Ｓ１１３と同様の処理を行い、ユーザ発言特徴量を取得する（ステップＳ１１４、Ｓ１１５）。
　図１４（ａ）は、ユーザ発言に対して行われた形態素解析の解析結果の例およびユーザ発言特徴量の抽出例を示す説明図である。また、図１４（ｂ）は、ユーザ発言からユーザ発言特徴量を抽出した結果および保持例を示す説明図である。図１４に示すように、ユーザ発言からは、ユーザ発言特徴量として｛茶色い、財布、なくす、交番、行く、見つかる、困る｝が取得される。
　各質問文の質問文特徴量とユーザ発言特徴量とを取得し終えると、回答性評価部１４１は、各々の質問文の質問文特徴量がどの程度ユーザ発言特徴量に包含されているかを定量的に表す特徴量含有率を計算し、それを各々の質問文の回答含有率とする（ステップＳ１１６）。
　図１５は、各質問文の特徴量含有率の計算結果を示す説明図である。図１５では、ｉ番目の質問文の質問文特徴量を集合Ｑｉで表わし、ユーザ発言特徴量を集合Ｕで表す。図１５に示す例では、ｉ番目の質問文の特徴量含有率Ｃｉは、以下に示す式（１）で求められる。なお、｜｜は、集合の要素数を表す。また、記号∩は共通集合を表す。
Ｃｉ＝｜Ｑｉ　∩　Ｕ｜／｜Ｑｉ｜　・・・式（１）
　図１５に示す例では、ＩＤ１の質問文の特徴量含有率Ｃ１＝１、ＩＤ２の質問文の特徴量含有率Ｃ２＝０、ＩＤ３の質問文の特徴量含有率Ｃ３＝１、ＩＤ４の質問文の特徴量含有率Ｃ４＝０、ＩＤ５の質問文の特徴量含有率Ｃ５＝０と求められている。
　また、回答性評価部１４１は、別の方法として、ユーザ発言の質問特徴量集合Ｕに含まれる単語毎に単語重要度を付与し、単語重要度を加味した特徴量含有率を求めてもよい。単語重要度を用いる場合、例えば、回答性評価部１４１は、単語と重要度とを対応付けて記録した重要度参照情報を予め保持しておくものとする。重要度参照情報は、単語をキーとして該単語に対する重要度を参照できるものである。
　回答性評価部１４１は、任意の文書集合における単語の頻度を求め、頻度が低いものほど単語重要度が高くなるよう算出したものを重要度参照情報として用いてもよい。回答性評価部１４１は、このように重要度参照情報を入手してもよい。
　ここで、ｉ番目の質問文の質問文特徴量である集合Ｑｉの各要素（すなわち各単語）をｑ＿ｉｊとし、ユーザ発言特徴量である集合Ｕの各要素（すなわち各単語）をｕ＿ｋ、ユーザ発言特徴量に含まれる各単語ｕ＿ｋの単語重要度をｗ＿ｋとする。ｊ，ｋは集合Ｑｉの各要素または集合Ｕの各要素を指し示すインデックスである。単語重要度を用いる場合、ｉ番目の質問文の特徴量含有率Ｃｉは、次のように求められる。すなわち、先の｜Ｑｉ　∩　Ｕ｜について、ｑ＿ｉｊとｕ＿ｋが一致する場合、ｗ＿ｋが加算されるものとする。これは、質問文特徴量に含まれる単語と、ユーザ発言特徴量に含まれる単語が一致する場合に、単純に１単語につき１を加算するのではなく、単語の重要度に応じて重み付けされた値を加算する方法である。
　図１６は、単語重要度を加味した場合の各質問の回答含有率の計算結果を示す説明図である。なお、図１６に示す例は、単語重要度として、「茶色い」＝０．５、「財布」＝０．３、「なくす」＝０．３、「交番」＝１．０、「行く」＝０．２、「見つかる」＝０．３、「困る」＝０．５が与えられた場合の回答含有率である。例えば、図１６に示す例では、単語重要度を加味した結果、ＩＤ１の質問文の特徴量含有率Ｃ３＝０．６、ＩＤ３の質問文の特徴量含有率Ｃ３＝０．３と求められている。このような方法によれば、単語重要度の高いものが一致するほど特徴量含有率が高まるため、精度向上が期待できる。
　この他にも、特徴量の作り方や特徴量含有率の測り方に事前知識を用いれば、より高精度に回答含有率を求めることができる。
　例えば、特徴量の作り方として、「ある」や「する」など、特徴となりづらい単語は、事前にストップワードとして登録しておき、特徴量から削除してもよい。
　また、回答性評価部１４１は、例えば、特徴量含有率の計り方として、質問文特徴量に含まれる単語やユーザ発言特徴量に含まれる単語を同義表現等に拡張して、単語の同一性判断をおこなってもよい。そのような場合には、表記ゆれがあっても同一のものとみなすことができる。例えば、ユーザ表現では「見あたらない」という表現がされていたとする。この場合に、そのままでは「見あたらない」という単語と、「無くす」という単語との間で同一性があるとはみなされない。しかし、このような場合でも、「無くす」「紛失する」といった同義表現に変換したものを加えることで、精度よく同一性判断を行うことができる。
　また、回答性評価部１４１は、質問文とユーザ発言との間で直接に特徴的な単語の類似性（すなわち特徴量含有率）を計るのではなく、質問文をその質問文に対する回答となりやすい情報（例えば、予想回答文パターン）に変換して、変換後の情報とユーザ発言との間での類似性を計るようにしてもよい。以下、質問文をその質問文に対する回答となりやすい情報に変換することを、単に質問文の変換という。
　質問文の変換規則は、例えば、変換表を用いて生成することができる。図１７は、変換表の例を示す説明図である。図１７に示す例では、１つのレコードにつき１つの変換規則が登録されている。図１７に示す例において、“：”は、その左右の要素が連続する単語や属性値、直接の係り受けの関係にあることを示している。また、図１７に示す例において、“［］”で囲んだものは、単語の属性値を表す。単語の属性値には、形態素解析で得られる品詞、原型、活用などのほかに、その単語が人を表すのか、場所を表すのか、時間を表すのかといった所定の分類項目を指す情報も含まれる。
　また、“［］”内に数字が付与されている属性値は、変換後、同じ数字がついた［］部分に変換前の単語が代入されることを表す。例えば、質問中文に「どんな財布」という文字列がある場合、財布は名詞であるため、これは変換表にある規則Ｎｏ２の変換規則における変換前の単語や属性値の系列「どんな：［名詞１］」に該当する。そのため、この変換規則における変換後の単語や属性値の系列「［形容詞］：［名詞１］」に従って、当該質問文の変換後の情報として「［形容詞］：財布」が得られる。
　例えば、上述のステップＳ１１２において、各質問文は形態素解析により単語に分割される。その際に、回答性評価部１４１は、各々の単語の属性値を特定してもよい。形態素解析器には、単語毎に該当する固有表現の種類を出力できるものもあるので、その機能を用いてもよい。また、回答性評価部１４１は、単語と属性値との対応関係を記録するデータベースを用いて、各単語に属性値を割り当ててもよい。
　このようにして、単語毎に付与された属性値と変換表による変換後の情報（例えば、予想回答文パターン）が得られる。図１８は、質問文の変換の例を示す説明図である。図１８において、変換前の質問文に引かれた下線はその部分が変換規則に該当したことを表している。例えば、図１８に示す例では、ＩＤ２の質問文が図１７の変換規則Ｎｏ１の変換規則に該当し、ＩＤ３の質問文が図１７の変換規則Ｎｏ２の変換規則に該当する。そのため、回答性評価部１４１は、それぞれ変換規則により示される変換処理を施すことにより、変換後の情報としてＩＤ２の質問文について「［時間］」、ＩＤ３の質問文について「［形容詞］：財布」という予想回答文パターンを得ることができる。
　なお、該当無しの場合は、回答性評価部１４１は、上述の質問文とユーザ発言との間での直接の特徴量含有率を求め、回答含有率とすればよい。変換後の情報が得られた場合には、回答性評価部１４１は、その質問文について、質問文とユーザ発言との間での直接の特徴量含有率に加え、質問文の変換後の情報とユーザ発言との間での特徴量含有率を求める。１つの質問に対して２以上の回答含有率が求まるが、その場合、回答性評価部１４１は、大きい値を採用すればよい。
　質問文の変換後の情報とユーザ発言との間の特徴量含有率を求める場合、回答性評価部１４１は、ユーザ発言についても属性値推定を行えばよい。図１９は、ユーザ発言に対して行われた形態素解析の解析結果の例および属性値推定の例を示す説明図である。なお、図１９に示した属性値の例は、固有表現の分類項目を利用したものであるが、利用できる属性値はこの限りではない。
　変換表では、変換後の情報として単語や属性値の系列が扱われる。そのため、回答性評価部１４１は、質問文の変換後の情報とユーザ発言との間の特徴量含有率を求める際にも、単語をベクトル系列には扱わず、変換後の情報に含まれる単語や属性の系列があるかを検索する。
　ＩＤ３の質問文の場合、変換後の情報として「［形容詞］：財布」という単語および属性値の系列が得られる。よって、回答性評価部１４１は、ユーザ発言の中に、品詞が形容詞の単語があり、かつその単語の後に連続してまたは直接係り受ける関係にある「財布」という単語があるか否かを確認する。回答性評価部１４１は、ユーザ発言の中にこれらの条件を満たす単語が存在すれば、変換後の系列に該当するとして、ＩＤ３の質問文の回答含有率を１．０とする。このようにすることで、「どんな財布ですか？」というＩＤ３の質問文に対する回答らしきものが当該ユーザ発言に含まれていることがより高精度に判定できる。
　また、例えばＩＤ２の質問文の場合、変換後の情報として「［時間］」という属性値の系列が得られる。しかし、ユーザ発言の中に、属性値が「時間」を指す単語はない。そのため、「最後に見たのはいつでしょうか？」というＩＤ２の質問文に対する回答らしきものは、当該ユーザ発言には含まれていないと判定できる。
　属性値の他の例としては、組織名、人名、地名、日付表現、時間表現、金額表現、割合表現といったものが挙げられる。また、これらの属性値をさらに詳細に分類したものを属性値としてもよい。また、例えばある専門分野に特化して属性値を分類することも可能である。対話システムにおいてどのような内容の対話がなされるか、また、属性値の解析能力に応じて属性値を定めればよい。
　次に、質問文順序付け部１４２による質問文の順序づけ方法をより詳細に説明する。質問文順序付け部１４２は、例えば、図５のステップＳ１０２において、質問文毎に（１－回答含有率）を計算してそれを質問可能度とし、質問可能度の最も高いものをユーザ発言に対する質問文として出力してもよい。なお、質問可能度が最も高い値となる質問文が複数ある場合には、質問文順序付け部１４２は、ランダムに１つを選んで出力してもよい。
　また、質問文順序付け部１４２は、質問文集合に含まれる質問文の質問可能度の総和で各々の質問可能度を除算した値を確率とみなし、その確率でユーザ発言に対する質問文を決定してもよい。
　図２０（ａ）は、各質問文の質問可能度を算出する例を示す説明図である。また、図２０（ｂ）は、質問可能度に基づき各質問文を順位付けした例を示す説明図である。図２０に示す例では、質問可能度が（１－回答含有率）によって求められ、求められた結果から各質問文を質問候補とする質問文と質問候補としない質問文とに分けられている。これは、２段階の順位付けを行っていることと同義である。
　なお、図２０に示す例では、質問可能性の値が０と１しかないため２通りの分類となっている。質問文順序付け部１４２は、例えば、質問可能性が０以下であれば質問候補としない旨の決定をし、０より大きい値であればその値に応じた優先順位を付けて質問候補として出力するようにしてもよい。なお、質問候補とするか否かの閾値をシステムに設定値として持たせてもよい。
　図２１（ａ）は、質問可能度の他の算出例を示す説明図である。また、図２１（ｂ）は、その質問可能度に基づき各質問文を順序づけした例を示す説明図である。図２１に示す例では、質問可能度が（質問重要度－回答含有率）によって求められ、求められた結果から質問可能度が高いものほど優先するよう各質問文に質問候補としての優先順位がつけられている。図２１（ｂ）によれば、ＩＤ２の質問文が最も優先される。
　このように、各質問文の回答含有率に基づいてその質問文が適切であるか否かを考慮しつつ他の要素も考慮して総合的に順付けを行えば、質問文の集合に対してより適切な質問文を順位付けることができる。
　なお、図１に示す例では、応答メッセージ生成部１３により対話機能が自動化されている例を示しているが、質問文集合は人が登録したものであってもよい。また、各々の質問文に対して付与される質問重要度についても同様である。すなわち、各々の質問文に質問重要度を人が付与してもかまわない。なお、自動対話機能が用いられる場合、通常、応答メッセージの候補には、ユーザ発話と対話が成立する確信度のようなものが定量化されているため、質問文順序付け部１４２は、その値を質問重要度として用いてもよい。
　なお、これまでの説明では、冗長質問文排除部１４に質問文集合Ｄ１２が与えられて、その質問文集合に含まれる質問文を回答含有率に基づいて順位付けし、その結果を質問文集合Ｄ１２’として出力する例を示した。なお、ここでいう順序付けには、その中から冗長な質問文を排除することや、最もよい質問文を１つ選択することも含まれる。
　ところで、本実施形態において、冗長質問文排除部１４に入力される質問文は複数でなくてもよい。例えば、図２２のように、冗長質問文排除部１４は、１つの質問文Ｄ１２を入力とし、その都度当該質問文が質問候補としてあり得るか否かの判定結果Ｄ１３を返す構成であってもよい。図２２は、冗長質問文排除部１４の他の構成例を示すブロック図である。
　図２２に示す冗長質問文排除部１４は、質問順序付け部１４２の代わりに、質問可否判定部１４４を備えている。質問可否判定部１４４は、入力された質問文に対して他の質問文の情報を用いずに質問可能度を算出し、算出した質問可能度に基づき、当該質問文が質問候補としてあり得るか否かを判定すればよい。質問可能度の算出方法は、基本的には上述と同じでよい。
　以上のように、本実施形態の対話システムは、システムが出力しようとする質問文について、その質問文に対する回答が入力済みのユーザ発言に含まれているか否かの判定を、１組の文章が質疑応答の関係になっているかを自然言語処理の観点から評価する回答性の評価手法を用いて行っている。すなわち、本実施形態の対話システムは、品詞などの素性情報に基づく特徴量選択を行い、選択された特徴量によるマッチング処理と質問文の順位付け処理とを組み合わせることで、質問の冗長性を排除している。このため、部分文字列データベース等を用いて予め質問文毎に特徴量を設定する必要がないので、多くの質問文をシステム側が利用することができる。従って、多様な入力がなされる対話システムにおいても、冗長な質問文をシステムが出力することを排除できる。その結果、ユーザは、対話感が損なわれることなく、円滑に対話を進められる。
　また、本実施形態によれば、事前知識となる情報を持たなくても回答含有率を求めることができるので、事前準備が不要な上、簡単な構成で、冗長な質問文をシステムが出力することを排除できる。
　次に、本発明の概要を説明する。図２３は、本発明の概要を示すブロック図である。図２３に示す対話システムは、回答性評価手段５０１と、質問文順位付け手段５０２とを備えている。
　回答性評価手段５０１（例えば、回答性評価部１４１）は、ユーザの発言内容を示す文字列情報であるユーザ発話に対する応答メッセージの候補であって質問形式の文字列情報である質問文の集合に含まれる各質問文に対して、これまでの一連のユーザ発話に当該質問文に対する回答となる表現が含まれている度合いを表す回答含有率を求める。
　質問文順位付け手段５０２（例えば、質問文順位付け部１４２、質問可否判定部１４４）は、回答性評価手段５０１によって求められた各質問文のユーザ発話に対する回答含有率に基づいて、各質問文を回答含有率が低い順に順位付ける。
　なお、質問文の集合に含まれる質問文の数は問わない。例えば、１つであってもよい。また、質問文の数に関わらず、質問文順位付け手段５０２が行う順位付けには、応答メッセージの候補として許可するものと許可しないものとに分けることも含まれる。
　質問文順位付け手段５０２は、例えば、順位付けの際に、回答含有率が所定の閾値以上に高い質問文を冗長な質問をする応答メッセージであるとして応答メッセージの候補から排除してもよい。
　また、質問文順位付け手段５０２は、回答含有率が低い質問文ほどその質問文が応答メッセージの候補として優先されるよう、各質問文を順位付けてもよい。
　また、質問文順位付け手段５０２は、各質問文に付与されている質問としての重要度と、回答含有率とに基づいて、各質問文を順位付けてもよい。
　また、回答性評価手段５０１は、任意の２つの文章がどの程度質疑応答の関係になっているかを定量的な確信度にして出力する評価する評価モデルを用いて、各質問文とユーザ発言とが質疑応答の関係になっている確信度を求め、求めた確信度に基づいて当該質問文のユーザ発言に対する回答含有率を求めてもよい。
　また、回答性評価手段５０１は、任意の２つの文章がどの程度質疑応答の関係になっているかを定量的な確信度にして出力する評価する評価モデルであって、任意の２つの文章に各々含まれる所定の品詞の単語である特徴的単語が２つの文章間で重複する場合に質疑応答の関係となっている確信度が高くなる評価モデルを用いて、各質問文とユーザ発言とが質疑応答の関係になっている確信度を求め、求めた確信度に基づいて当該質問文のユーザ発言に対する回答含有率を求めてもよい。
　また、回答性評価手段５０１は、上記の確信度を求める際に、質問文およびユーザ発言に含まれる特徴的単語に同義語表現を含めた上で、２つの文章間で特徴的単語が重複しているかどうかを判断してもよい。
　また、回答性評価手段５０１は、各質問文を、当該質問文に対する回答となりやすい文章表現を単語または属性値の系列によって規定した情報である単語属性系列に変換する質問文変換手段を含み、回答性評価手段５０１は、任意の２つの文章がどの程度質疑応答の関係になっているかを定量的な確信度にして出力する評価モデルであって、任意の単語属性系列と任意の文章との間の類似性に基づく確信度を出力する評価モデルを用いて、各質問文から変換した単語属性系列とユーザ発言との類似性に基づく確信度を求め、求めた確信度に基づいて当該質問文のユーザ発言に対する回答含有率を求めてもよい。
　以上、実施形態及び実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１１年１１月２８日に出願された日本特許出願２０１１－２５８８４３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、対話システムに限らず、計算機が自然言語処理技術を利用して入力された文章に対して質問形式のメッセージを出力する可能性があるものであれば、好適に適用可能である。
　１００　対話システム
　１１　ユーザ発言入力部
　１２　ユーザ発言解析部
　１３　応答メッセージ生成部
　１４　冗長質問文排除部
　１４１　回答性評価部
　１４２　質問文順序付け部
　１４３　質問文集合更新部
　１４４　質問可否判定部
　１５　応答メッセージ出力部
　２１　ユーザ発言保持部
　２２　対話知識データベース
　５０１　回答性評価手段
　５０２　質問文順位付け手段

Claims (10)

  1. 　ユーザの発言内容を示す文字列情報であるユーザ発話に対する応答メッセージの候補であって質問形式の文字列情報である質問文の集合に含まれる各質問文について、これまでの一連のユーザ発話に当該質問文に対する回答となる表現が含まれている度合いを表す回答含有率を求める回答性評価手段と、
    　前記回答性評価手段によって求められた各質問文のユーザ発話に対する回答含有率に基づいて、各質問文を回答含有率が低い順に順位付ける質問文順位付け手段とを備えた
    　ことを特徴とする対話システム。
  2. 　質問文順位付け手段は、順位付けの際に、回答含有率が所定の閾値以上に高い質問文を冗長な質問をする応答メッセージであるとして応答メッセージの候補から排除する
    　請求項１に記載の対話システム。
  3. 　質問文順位付け手段は、回答含有率が低い質問文ほどその質問文が応答メッセージの候補として優先されるよう、各質問文を順位付ける
    　請求項１または請求項２に記載の対話システム。
  4. 　質問文順位付け手段は、各質問文に付与されている質問としての重要度と、回答含有率とに基づいて、各質問文を順位付ける
    　請求項１から請求項３のうちのいずれか１項に記載の対話システム。
  5. 　回答性評価手段は、任意の２つの文章がどの程度質疑応答の関係になっているかを定量的な確信度にして出力する評価モデルを用いて、各質問文とユーザ発言とが質疑応答の関係になっている確信度を求め、求めた確信度に基づいて当該質問文のユーザ発言に対する回答含有率を求める
    　請求項１から請求項４のうちのいずれか１項に記載の対話システム。
  6. 　回答性評価手段は、任意の２つの文章がどの程度質疑応答の関係になっているかを定量的な確信度にして出力する評価モデルであって、任意の２つの文章に各々含まれる所定の品詞の単語である特徴的単語が２つの文章間で重複する場合に質疑応答の関係となっている確信度が高くなる評価モデルを用いて、各質問文とユーザ発言とが質疑応答の関係になっている確信度を求め、求めた確信度に基づいて当該質問文のユーザ発言に対する回答含有率を求める
    　請求項５に記載の対話システム。
  7. 　回答性評価手段は、質問文およびユーザ発言に含まれる特徴的単語の同義語表現を特徴的単語に含める
    　請求項６に記載の対話システム。
  8. 　回答性評価手段は、各質問文を、当該質問文に対する回答となりやすい文章表現を単語または属性値の系列によって規定した情報である単語属性系列に変換する質問文変換手段を含み、
    　前記回答性評価手段は、任意の２つの文章がどの程度質疑応答の関係になっているかを定量的な確信度にして出力する評価モデルであって、任意の単語属性系列と任意の文章との間の類似性に基づく確信度を出力する評価モデルを用いて、各質問文から変換した単語属性系列とユーザ発言との類似性に基づく確信度を求め、求めた確信度に基づいて当該質問文のユーザ発言に対する回答含有率を求める
    　請求項１から請求項７のうちのいずれか１項に記載の対話システム。
  9. 　ユーザの発言内容を示す文字列情報であるユーザ発話に対する応答メッセージの候補であって質問形式の文字列情報である質問文の集合に含まれる各質問文について、これまでの一連のユーザ発話に当該質問文に対する回答となる表現が含まれている度合いを表す回答含有率を求め、
    　求めた質問文のユーザ発話に対する回答含有率が所定の閾値以上に高い場合に、当該質問文を冗長な質問をする応答メッセージであるとして応答メッセージの候補から排除する
    　ことを特徴とする冗長メッセージ排除方法。
  10. 　コンピュータに、
    　ユーザの発言内容を示す文字列情報であるユーザ発話に対する応答メッセージの候補であって質問形式の文字列情報である質問文の集合に含まれる各質問文について、これまでの一連のユーザ発話に当該質問文に対する回答となる表現が含まれている度合いを表す回答含有率を求める処理、および
    　求めた質問文のユーザ発話に対する回答含有率が所定の閾値以上に高い場合に、当該質問文を冗長な質問をする応答メッセージであるとして応答メッセージの候補から排除する処理
    　を実行させるための冗長メッセージ排除プログラム。
PCT/JP2012/005150 2011-11-28 2012-08-14 対話システム、冗長メッセージ排除方法および冗長メッセージ排除プログラム WO2013080406A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2013546951A JP5831951B2 (ja) 2011-11-28 2012-08-14 対話システム、冗長メッセージ排除方法および冗長メッセージ排除プログラム
US14/360,726 US20140351228A1 (en) 2011-11-28 2012-08-14 Dialog system, redundant message removal method and redundant message removal program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011258843 2011-11-28
JP2011-258843 2011-11-28

Publications (1)

Publication Number Publication Date
WO2013080406A1 true WO2013080406A1 (ja) 2013-06-06

Family

ID=48534914

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/005150 WO2013080406A1 (ja) 2011-11-28 2012-08-14 対話システム、冗長メッセージ排除方法および冗長メッセージ排除プログラム

Country Status (3)

Country Link
US (1) US20140351228A1 (ja)
JP (1) JP5831951B2 (ja)
WO (1) WO2013080406A1 (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015153261A (ja) * 2014-02-17 2015-08-24 株式会社デンソーアイティーラボラトリ 対話文生成装置、対話文生成方法およびプログラム
WO2016135905A1 (ja) * 2015-02-25 2016-09-01 株式会社日立製作所 情報処理システム及び情報処理方法
JP2016218566A (ja) * 2015-05-15 2016-12-22 日本電信電話株式会社 発話選択装置、方法、及びプログラム
JP2018028752A (ja) * 2016-08-16 2018-02-22 国立研究開発法人情報通信研究機構 対話システム及びそのためのコンピュータプログラム
JP2018045320A (ja) * 2016-09-12 2018-03-22 ヤフー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019020774A (ja) * 2017-07-11 2019-02-07 トヨタ自動車株式会社 対話システムおよび対話方法
JP2019056969A (ja) * 2017-09-19 2019-04-11 株式会社豆蔵 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP2019144981A (ja) * 2018-02-23 2019-08-29 富士通株式会社 情報処理プログラム、情報処理装置及び情報処理方法
WO2020171040A1 (ja) * 2019-02-18 2020-08-27 日本電気株式会社 声認証装置、声認証方法、及び、記録媒体
JP2020191009A (ja) * 2019-05-23 2020-11-26 本田技研工業株式会社 知識グラフ補完装置、および知識グラフ補完方法
JP2021516361A (ja) * 2018-04-04 2021-07-01 アイフライテック カンパニー，リミテッド 音声ウェイクアップ方法及び装置
US11138506B2 (en) 2017-10-10 2021-10-05 International Business Machines Corporation Abstraction and portability to intent recognition
WO2022064741A1 (ja) * 2020-09-28 2022-03-31 株式会社日立製作所 関連表現抽出装置及び関連表現抽出方法
US11347942B2 (en) 2017-11-07 2022-05-31 Nec Corporation Information processing apparatus, information processing method, and storage medium
JP2023035549A (ja) * 2021-09-01 2023-03-13 ウェルヴィル株式会社 プログラム、情報処理装置、及び情報処理方法
JP7466143B2 (ja) 2020-03-16 2024-04-12 カラクリ株式会社 情報処理装置、学習提案プログラム、及び学習提案方法

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101700820B1 (ko) * 2012-07-11 2017-02-01 한국전자통신연구원 사용자 코멘트 기반 개인화 컨텐츠 검색 장치 및 방법
JP6225012B2 (ja) * 2013-07-31 2017-11-01 日本電信電話株式会社 発話文生成装置とその方法とプログラム
JP6359327B2 (ja) * 2014-04-25 2018-07-18 シャープ株式会社 情報処理装置および制御プログラム
US9501525B2 (en) * 2014-11-05 2016-11-22 International Business Machines Corporation Answer sequence evaluation
US10061842B2 (en) 2014-12-09 2018-08-28 International Business Machines Corporation Displaying answers in accordance with answer classifications
US10528665B2 (en) * 2017-01-11 2020-01-07 Satyanarayana Krishnamurthy System and method for natural language generation
CN111309875B (zh) * 2018-12-10 2023-08-04 百度在线网络技术（北京）有限公司 问题应答的方法、装置、设备和存储介质
JP7196122B2 (ja) * 2020-02-18 2022-12-26 株式会社東芝 インタフェース提供装置、インタフェース提供方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108375A (ja) * 2001-09-28 2003-04-11 Seiko Epson Corp 対話型エキスパートシステム及びプログラム
JP2004005322A (ja) * 2002-03-27 2004-01-08 Fujitsu Ltd 最適質問提示方法及び最適質問提示装置

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7177798B2 (en) * 2000-04-07 2007-02-13 Rensselaer Polytechnic Institute Natural language interface using constrained intermediate dictionary of results
US7155459B2 (en) * 2002-06-28 2006-12-26 Miccrosoft Corporation Time-bound database tuning
US20060173880A1 (en) * 2005-01-28 2006-08-03 Microsoft Corporation System and method for generating contextual survey sequence for search results
US20110004628A1 (en) * 2008-02-22 2011-01-06 Armstrong John M Automated ontology generation system and method
US20090234838A1 (en) * 2008-03-14 2009-09-17 Yahoo! Inc. System, method, and/or apparatus for subset discovery
US9092517B2 (en) * 2008-09-23 2015-07-28 Microsoft Technology Licensing, Llc Generating synonyms based on query log data
KR101173556B1 (ko) * 2008-12-11 2012-08-13 한국전자통신연구원 토픽맵 기반 색인 장치, 토픽맵 기반 검색 장치, 토픽맵 기반 검색 시스템 및 그 방법
CN102012900B (zh) * 2009-09-04 2013-01-30 阿里巴巴集团控股有限公司 信息检索方法和系统
US20120047124A1 (en) * 2010-08-17 2012-02-23 International Business Machines Corporation Database query optimizations
WO2012097504A1 (en) * 2011-01-18 2012-07-26 Google Inc. Automated answers to online questions
US9449045B2 (en) * 2011-04-08 2016-09-20 Sybase, Inc. System and method for enhanced query optimizer search space ordering
US8766789B2 (en) * 2011-09-30 2014-07-01 Cardiocom, Llc First emergency response device

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003108375A (ja) * 2001-09-28 2003-04-11 Seiko Epson Corp 対話型エキスパートシステム及びプログラム
JP2004005322A (ja) * 2002-03-27 2004-01-08 Fujitsu Ltd 最適質問提示方法及び最適質問提示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
ATSUSHI MORIBE: "New Techniques for Artificial Chatting Entities with simulated personality -Web Text kara no Kaiwabun Seisei to Kaiwa Keisei ni Kansuru Kenkyu", IEICE TECHNICAL REPORT, vol. 105, no. 281, 8 September 2005 (2005-09-08), pages 11 - 16 *

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015153261A (ja) * 2014-02-17 2015-08-24 株式会社デンソーアイティーラボラトリ 対話文生成装置、対話文生成方法およびプログラム
US10671619B2 (en) 2015-02-25 2020-06-02 Hitachi, Ltd. Information processing system and information processing method
WO2016135905A1 (ja) * 2015-02-25 2016-09-01 株式会社日立製作所 情報処理システム及び情報処理方法
JPWO2016135905A1 (ja) * 2015-02-25 2017-06-22 株式会社日立製作所 情報処理システム及び情報処理方法
JP2016218566A (ja) * 2015-05-15 2016-12-22 日本電信電話株式会社 発話選択装置、方法、及びプログラム
KR102388042B1 (ko) 2016-08-16 2022-04-19 코쿠리츠켄큐카이하츠호진 죠호츠신켄큐키코 대화 시스템 및 그것을 위한 컴퓨터 프로그램
JP2018028752A (ja) * 2016-08-16 2018-02-22 国立研究開発法人情報通信研究機構 対話システム及びそのためのコンピュータプログラム
US10936664B2 (en) 2016-08-16 2021-03-02 National Institute Of Information And Communications Technology Dialogue system and computer program therefor
KR20190039079A (ko) * 2016-08-16 2019-04-10 코쿠리츠켄큐카이하츠호진 죠호츠신켄큐키코 대화 시스템 및 그것을 위한 컴퓨터 프로그램
WO2018034118A1 (ja) * 2016-08-16 2018-02-22 国立研究開発法人情報通信研究機構 対話システム及びそのためのコンピュータプログラム
JP2018045320A (ja) * 2016-09-12 2018-03-22 ヤフー株式会社 情報処理装置、情報処理方法、およびプログラム
JP2019020774A (ja) * 2017-07-11 2019-02-07 トヨタ自動車株式会社 対話システムおよび対話方法
JP2019056969A (ja) * 2017-09-19 2019-04-11 株式会社豆蔵 情報処理装置、情報処理システム、情報処理方法及びプログラム
JP7018278B2 (ja) 2017-09-19 2022-02-10 株式会社豆蔵 情報処理装置、情報処理システム、情報処理方法及びプログラム
US11138506B2 (en) 2017-10-10 2021-10-05 International Business Machines Corporation Abstraction and portability to intent recognition
US11347942B2 (en) 2017-11-07 2022-05-31 Nec Corporation Information processing apparatus, information processing method, and storage medium
US11790167B2 (en) 2017-11-07 2023-10-17 Nec Corporation Information processing apparatus, information processing method, and storage medium
JP6993575B2 (ja) 2018-02-23 2022-01-13 富士通株式会社 情報処理プログラム、情報処理装置及び情報処理方法
JP2019144981A (ja) * 2018-02-23 2019-08-29 富士通株式会社 情報処理プログラム、情報処理装置及び情報処理方法
JP2021516361A (ja) * 2018-04-04 2021-07-01 アイフライテック カンパニー，リミテッド 音声ウェイクアップ方法及び装置
JP7114721B2 (ja) 2018-04-04 2022-08-08 アイフライテック カンパニー，リミテッド 音声ウェイクアップ方法及び装置
JP7215563B2 (ja) 2019-02-18 2023-01-31 日本電気株式会社 声認証装置、声認証方法、及び、記録媒体
JPWO2020171040A1 (ja) * 2019-02-18 2021-12-16 日本電気株式会社 声認証装置、声認証方法、及び、記録媒体
WO2020171040A1 (ja) * 2019-02-18 2020-08-27 日本電気株式会社 声認証装置、声認証方法、及び、記録媒体
JP2020191009A (ja) * 2019-05-23 2020-11-26 本田技研工業株式会社 知識グラフ補完装置、および知識グラフ補完方法
JP7270188B2 (ja) 2019-05-23 2023-05-10 本田技研工業株式会社 知識グラフ補完装置、および知識グラフ補完方法
JP7466143B2 (ja) 2020-03-16 2024-04-12 カラクリ株式会社 情報処理装置、学習提案プログラム、及び学習提案方法
WO2022064741A1 (ja) * 2020-09-28 2022-03-31 株式会社日立製作所 関連表現抽出装置及び関連表現抽出方法
JP2023035549A (ja) * 2021-09-01 2023-03-13 ウェルヴィル株式会社 プログラム、情報処理装置、及び情報処理方法

Also Published As

Publication number Publication date
US20140351228A1 (en) 2014-11-27
JPWO2013080406A1 (ja) 2015-04-27
JP5831951B2 (ja) 2015-12-09

Similar Documents

Publication Publication Date Title
JP5831951B2 (ja) 対話システム、冗長メッセージ排除方法および冗長メッセージ排除プログラム
US11676067B2 (en) System and method for creating data to train a conversational bot
CN108304372B (zh) 实体提取方法和装置、计算机设备和存储介质
WO2019153737A1 (zh) 用于对评论进行评估的方法、装置、设备和存储介质
US10616414B2 (en) Classification of transcripts by sentiment
US9742912B2 (en) Method and apparatus for predicting intent in IVR using natural language queries
US20200251091A1 (en) System and method for defining dialog intents and building zero-shot intent recognition models
US9582757B1 (en) Scalable curation system
US7636657B2 (en) Method and apparatus for automatic grammar generation from data entries
CA3176868A1 (en) Intent identifying method and device for application to intelligent customer service robot
US8165887B2 (en) Data-driven voice user interface
CN109857846B (zh) 用户问句与知识点的匹配方法和装置
CN109508441B (zh) 通过自然语言实现数据统计分析的方法、装置及电子设备
JP6251562B2 (ja) 同一意図の類似文を作成するプログラム、装置及び方法
CN113807103B (zh) 基于人工智能的招聘方法、装置、设备及存储介质
US11711469B2 (en) Contextualized speech to text conversion
US11735208B2 (en) Systems and methods for classification and rating of calls based on voice and text analysis
US20220392434A1 (en) Reducing biases of generative language models
CN114528851B (zh) 回复语句确定方法、装置、电子设备和存储介质
WO2022227196A1 (zh) 一种数据分析方法、装置、计算机设备及存储介质
CN112071304B (zh) 一种语意分析方法及装置
CN113468306A (zh) 语音对话方法、装置、电子设备及存储介质
CN113505606A (zh) 一种培训信息获取方法、装置、电子设备及存储介质
JP2013109738A (ja) 意味ラベル付与モデル学習装置、意味ラベル付与装置、意味ラベル付与モデル学習方法、及びプログラム
KR101072890B1 (ko) 데이터베이스 정제 장치 및 그 방법, 이를 이용한 음성 이해 장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12853504

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013546951

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14360726

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12853504

Country of ref document: EP

Kind code of ref document: A1