WO2020071398A1 - 質問生成装置および質問生成方法 - Google Patents

質問生成装置および質問生成方法

Info

Publication number
WO2020071398A1
WO2020071398A1 PCT/JP2019/038845 JP2019038845W WO2020071398A1 WO 2020071398 A1 WO2020071398 A1 WO 2020071398A1 JP 2019038845 W JP2019038845 W JP 2019038845W WO 2020071398 A1 WO2020071398 A1 WO 2020071398A1
Authority
WO
WIPO (PCT)
Prior art keywords
question
tree
candidate
explanatory
matrix
Prior art date
Application number
PCT/JP2019/038845
Other languages
English (en)
French (fr)
Inventor
淳 細矢
山田　弘樹
白井　剛
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Publication of WO2020071398A1 publication Critical patent/WO2020071398A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/901—Indexing; Data structures therefor; Storage structures

Definitions

  • the present invention relates to a question generation device and a question generation method.
  • Conventional techniques related to such an automatic response technique include, for example, a search condition registered in advance and a database including search data to be searched, and the search condition is answered by answering Yes / No to the search condition.
  • a search data group can be extracted according to a predetermined search condition, and the extracted search data group can be searched using an arbitrary search condition.
  • Data dividing means for dividing the data into a search data group and a search data group that cannot be searched under the above-mentioned arbitrary search conditions; of the registered search conditions, only search conditions in which search results exist for the search data group Is created as a search condition constituting the above-described query tree, and a recursive component for recursively dividing the search data group is created.
  • an object of the present invention is to provide a technology for efficiently and automatically generating a query tree.
  • a question generation device that solves the above-described problem describes a storage unit that holds each explanatory sentence for each predetermined item, and describes the presence or absence of each word in each of the explanatory sentences based on a morphological analysis result of each of the explanatory sentences.
  • a processing unit for executing a decision tree analysis based on the description related to the explanatory sentence and generating a query tree in which the branch determination item is used as a question sentence;
  • the information processing apparatus including a storage unit for storing each explanatory sentence related to each of the predetermined items may include the presence or absence of each word in each of the explanatory sentences based on the morphological analysis result of each of the explanatory sentences And a process of receiving a query from a predetermined terminal and identifying, based on a keyword included in the query, a description that includes the keyword as a candidate description, as a candidate description. Executing a decision tree analysis based on the description regarding the candidate explanation sentence in (i), and generating a question tree having a branch judgment item as a question sentence.
  • a query tree can be efficiently and automatically generated.
  • FIG. 1 is a network configuration diagram including a question generation device according to an embodiment. It is a figure showing the example of hardware constitutions of the question generation device in this embodiment. It is a figure showing the example of data composition of QA information of this embodiment.
  • FIG. 3 is a diagram illustrating a data configuration example of a matrix according to the present embodiment. It is a figure showing example 1 of a flow in the question generation method of this embodiment. It is a figure showing example 1 of a sequence showing a question generation method of this embodiment. It is a figure showing example 1 of a screen in this embodiment. It is a figure showing example 2 of a screen in this embodiment. It is a figure showing example 3 of a screen in this embodiment.
  • FIG. 2 It is a figure which shows the example 2 of a sequence which shows the question production
  • FIG. 1 is a network configuration diagram including a question generation device 100 of the present embodiment.
  • the question generation device 100 shown in FIG. 1 is a computer device that automatically and efficiently generates a question tree.
  • the question generation device 100 can be, for example, a server device operated by a financial institution that provides various financial services to customers.
  • the question generating device 100 can be said to be a customer service business system that has a chatbot function or works in conjunction with an existing chatbot system and automatically responds appropriately to inquiries from customers.
  • the question generating device 100 generates a question tree applied to the automatic response processing in the chatbot function for each inquiry opportunity from the customer, and provides the question tree to the chatbot function.
  • the question generation device 100 is communicably connected to the user terminal 200 via an appropriate network 10 such as the Internet.
  • the user terminal 200 is a terminal operated by the customer described above.
  • the customer who operates the user terminal 200 inputs the contents of the inquiry made by himself while browsing a predetermined WEB site.
  • the above-mentioned WEB site is, for example, a WEB site that is opened on the Internet by a customer service server (which may include the question generating device 100) operated by a financial institution.
  • the user terminal 200 transmits the information of the inquiry input by the customer to the question generating device 100 via the network 10.
  • Hardware configuration ---
  • the question generation device 100 of the present embodiment includes the storage unit 101, the memory 103, the calculation unit 104, the input unit 105, the output unit 106, and the communication unit 107.
  • the storage unit 101 is configured by an appropriate nonvolatile storage element such as an SSD (Solid State Drive) or a hard disk drive.
  • the memory 103 is configured by a volatile storage element such as a RAM.
  • the arithmetic unit 104 is configured by a CPU that executes the program 102 stored in the storage unit 101 by reading it out to the memory 103 and performs overall control of the apparatus itself and performs various determinations, arithmetic and control processes.
  • the input unit 105 includes a keyboard, a mouse, and the like that receive a key input or a voice input from the user.
  • the output unit 106 includes a display for displaying the processing data, a speaker, and the like.
  • the communication unit 107 is configured by an NFC (Network Interface Card) that connects to the network 10 and performs communication processing with another device such as the user terminal 200.
  • NFC Network Interface Card
  • the storage unit 101 stores at least QA information 125 and a matrix 126 in addition to the program 102 for implementing the functions required as the question generation device of the present embodiment. Details of the QA information 125 and the matrix 126 will be described later. --- Data structure example --- Next, tables used by the question generation device 100 of the present embodiment will be described.
  • FIG. 3 shows an example of the QA information 125 in the present embodiment.
  • the QA information 125 is a collection of questions and answers such as FAQs generated by the above-mentioned financial institution.
  • customers receive inquiries from financial services (including the concept of financial products), such as unclear points or defects.
  • the QA information 125 stores one or a plurality of explanations assumed for an inquiry about such a matter.
  • “inquiry” is referred to as “question”
  • “explanatory text” is referred to as “answer”.
  • the data structure is an aggregate of records including data such as a question in the combination, an answer to the question, a morphological analysis result of the answer, and an answer record, with an ID uniquely identifying the combination of the question and the answer as a key. It is.
  • the morphological analysis result is obtained by a general morphological analysis program, and corresponds to the minimum unit having a meaning in (the text of) the above answer.
  • a morphological analysis result may be a result of the question generating device 100 executing a predetermined morphological analysis program or a result of another predetermined device in a financial institution.
  • the answer record is a value indicating the number of times and frequency of returning the answer to the customer for the question in the combination.
  • the value of the cumulative number is set as the response result.
  • the value of the answer record is larger than a predetermined reference or relatively larger than another combination, it indicates that the answer is easily used for a question in the combination.
  • the answer is an answer that easily meets the conditions of the customers with respect to (questions of) the customers who often have an unclear point or the like.
  • FIG. 4 shows an example of the matrix 126 according to the present embodiment.
  • the matrix 126 of the present embodiment is a table that describes the presence or absence of each word in each answer based on the morphological analysis result of each answer in the QA information 125 described above.
  • the data structure is a set of records including data such as the presence or absence of a predetermined word in an answer in the combination, using the ID of each combination in the QA information 125 as a key.
  • the word 1 “change address” is “1”
  • the word 2 “person” is “1”
  • the word 3 “visit” is “1”
  • Person is "0”.
  • the word 1 “address change” is “1”
  • the word 2 “person” is “1”
  • the word 3 “visit” is “0”
  • the word 4 “legal representative” Is "0".
  • the word 1 “address change” is “1”
  • the word 2 “person” is “0”
  • the word 3 “visit” is “0”
  • the word 4 “legal representative” Is "1”.
  • the word 1 “address change” is “1”
  • the word 2 “person” is “0”
  • the word 3 “visit” is “0”
  • the word 4 “legal representative”. Is "0".
  • the matrix 126 can include a plurality of matrices. For example, based on the morphological analysis results of the answers in the QA information 125 for which the answer record in the predetermined period is a frequent answer that is equal to or more than the predetermined criterion, a frequent answer matrix describing the presence or absence of each word in the frequent answer is assumed. it can. In addition, among the answers in the QA information 125, based on the morphological analysis results regarding the infrequent answers other than the above-mentioned frequently-answered answers, a matrix for the infrequently-answered answers in which the presence or absence of each word in the infrequently-answered answers is described. Can also be assumed. -------- Question generation procedure ---
  • FIG. 5 is a diagram illustrating a flow example 1 of the question generation method according to the present embodiment.
  • the question generation device 100 performs a morphological analysis on the value of the answer (explanatory text) column for each combination in the QA information 125, that is, on the text (s1). It is assumed that the question generation device 100 holds a morphological analysis program in advance and calls and uses it appropriately.
  • the morphological analysis described above it is possible to specify the minimum unit having a meaning in the text to be analyzed.
  • the result of the morphological analysis obtained with respect to the answer “the change of the address of the visit by the person” is a word group including at least “the person”, “visit”, and “change of the address”.
  • the question generating device 100 sets a predetermined value corresponding to the presence or absence of each word in each answer (explanatory sentence) in a predetermined template matrix based on the word group that is the morphological analysis result obtained in s1. , A matrix is generated (s2).
  • a matrix corresponding to the table structure in the matrix 126 illustrated in FIG. 4 can be assumed.
  • the predetermined value according to the presence or absence of each word is “1” when the corresponding word is “present” and “0” when the corresponding word is “absent” in the matrix 126 also illustrated in FIG. Can be assumed.
  • the question generating device 100 stores the matrix generated in s2 as the matrix 126 of the storage unit 101 (s3), and ends the process.
  • FIG. 6 is a sequence example 1 illustrating the question generation method according to the present embodiment.
  • a certain customer operates the user terminal 200, inputs inquiries such as “I want to come to the store and change the address” on the inquiry screen (screen 600 in FIG. 7A), and transmits the inquiry to the question generation device 100.
  • inquiries such as “I want to come to the store and change the address” on the inquiry screen (screen 600 in FIG. 7A)
  • transmits the inquiry to the question generation device 100 Suppose.
  • the question generation device 100 receiving the query executes a search process on the QA information 125 in the storage unit 101 by using the keywords (“visit”, “change address”) included in the above-described inquiry contents (s10).
  • the question generation device 100 executes a collation process between the value of the “question” column of each record in the QA information 125 and the keywords (“visit”, “address change”) included in the above-described inquiry content.
  • the corresponding record is identified as a record related to the candidate explanation.
  • the question generation device 100 specifies the element related to the record specified in s10 based on the ID of the record, and executes the decision tree analysis for the element specified here (s11).
  • the decision tree analysis for the element specified here (s11).
  • a question tree is generated in which a question sentence is a branch determination item that is a question according to the presence or absence of the word.
  • the query tree is described as a "decision tree" (the same applies hereinafter).
  • the question generation device 100 determines whether the number of steps of the query tree obtained by the analysis of the decision tree in s11 exceeds a predetermined reference (s12).
  • the number of steps in the query tree is the number of branch decision items from the first branch decision item to the last branch decision item that ultimately leads to an answer.
  • the question generating device 100 shifts the processing to the sequence example separately shown in FIG. This transition is based on the intention of reducing the number of questions to the customer because the current question tree has many questions.
  • the question generating device 100 stores the query tree obtained in s11 in, for example, a predetermined storage area in the memory 103 (s13).
  • the question generation device 100 outputs a question (hereinafter, “question”) corresponding to the branch determination item at the highest rank in the question tree to the user terminal 200 (s14).
  • the user terminal 200 displays the above-mentioned question (eg, the screen 610 in FIG. 7B) and obtains an answer from the customer.
  • the user terminal 200 returns the answer obtained here to the question generating device 100.
  • the question generating apparatus 100 obtains the answer transmitted from the user terminal 200, that is, the answer to the first question, applies the answer to the above-described question tree, and returns to the last step in the question tree, that is, the answer to the answer.
  • the question corresponding to the branch determination item is repeatedly executed (s15 to s16).
  • the question generation device 100 outputs this to the user terminal 200 (screen 620 in FIG. 7C), and ends the process.
  • the user terminal 200 displays the above-described request message for the additional keyword, and receives an input of the additional keyword such as “agent” from the customer (the screen 800 in FIG. 9A). Further, the question generating device 100 returns the additional keyword received here to the question generating device 100.
  • the question generation device 100 receives the additional keyword from the user terminal 200 and performs an AND search in which the additional keyword (example: “agent”) is added to the keyword (example: “address change”) already used in the search in s10. , QA information 125 (s22).
  • the question generation device 100 executes a collation process between the value of the “question” column of each record in the QA information 125 and the keywords (“address change” and “agent”) included in the above-described inquiry content. Then, the corresponding record is specified as a record relating to the new candidate explanation.
  • the question generating apparatus 100 specifies the element related to the record specified in s22 based on the ID of the record, and executes the decision tree analysis for the element specified here (s23).
  • a scenario can be generated in which a plurality of records corresponding to the new candidate explanatory sentence specified in the search in s22 are sorted based on the presence / absence of a word included in each record.
  • a new question tree is generated in which the above-described branch determination item, which is a question according to the presence or absence of a word, is used as a question sentence.
  • the question generation device 100 determines whether the number of steps of the new question tree obtained by the analysis of the decision tree in s23 exceeds a predetermined reference (s24).
  • the question generating device 100 causes the process to proceed to s21. This transition is based on the intention of reducing the number of questions to the customer because the current question tree has many questions.
  • the question generating device 100 stores the query tree obtained in s23 in, for example, a predetermined storage area in the memory 103 (s25), and ends the process.
  • FIG. 10 shows an example of the concept of generating a query tree based on the relationship between the matrix and the query tree.
  • the specific example shown in FIG. 10 is a matrix 700 that defines the presence / absence of each of the words “word 1” to “word 4” with respect to “TEXT 1” to “TEXT 4” in the records in the QA information 125.
  • a question tree 750 in the case of an analysis target is shown.
  • the content of the first question 751 from the customer that is, the content of the inquiry received from the user terminal 200 is “address change”.
  • the record including the keyword “address change” in the answer (explanatory text) is specified by the QA information 125, it is assumed that “TEXT1” to “TEXT4” are specified.
  • the branch determination items 752 to 757 that is, asking the customer whether or not to be “the person”, and if “the person”, whether or not to “visit the store”, are sequentially asked.
  • “TEXT1” and “TEXT2” can be separated as answers 760 to 763 to be presented to the customer.
  • FIG. 11 is a diagram illustrating a flow example 2 of the question generation method according to the present embodiment
  • FIG. 12 is a diagram illustrating a question tree generation concept example 2 according to the present embodiment.
  • the question generation device 100 specifies, as a priority candidate explanation, a candidate explanation that includes a word that frequently appears across the candidate explanations among the candidate explanations obtained in s10 (s30).
  • the question generating apparatus 100 refers to the value of the presence / absence of each word related to each candidate explanatory sentence in the matrix 126, and determines whether the word exists in the largest number of candidate explanatory sentences and is present in the second most common candidate explanatory sentence. Then, a word to be performed and a word existing in the third most common candidate description are specified, and an ID related to the candidate description including the words is specified in the matrix 126.
  • each of the words in the QA information 125 is specified.
  • the corresponding word may be specified by referring to the value in the “question” column of the record of the candidate explanation.
  • the question generating apparatus 100 specifies, based on the ID of the record, the element of the matrix 126 related to the record of the priority candidate explanation sentence, A frequent word matrix 810 in FIG. 12 is generated, and a decision tree analysis is performed on the frequent word matrix (s31).
  • a frequently-used word query tree (refer to a frequently-used word tree 820 in FIG. 12) is generated using the above-described branch determination item as a question according to the presence or absence of a word as a question sentence.
  • the question generation device 100 determines whether or not the candidate explanatory sentence (obtained in s10) is completely separated by the branch determination item at a predetermined stage in the frequently-used word query tree obtained in the decision tree analysis in s31. (S32). Specifically, there is a configuration (a configuration 830 in the frequent word query tree 820 in FIG. 12) in which a plurality of answers are linked to one branch determination item (the last tier) in the frequent word query tree. It is determined whether to do.
  • the question generating device 100 stores the frequently-used word query tree in, for example, a predetermined storage area in the memory 103 (s33). , And the process ends.
  • the question generating device 100 deletes the non-priority candidate explanatory text other than the priority candidate explanatory text among the above-described candidate explanatory texts. It is specified (s34).
  • the question generation device 100 identifies the element related to the record of the non-priority candidate explanation sentence specified in s34 among the elements in the matrix 126 based on the ID of the record, and determines the infrequent word matrix (the infrequent word matrix in FIG. 12). 830), and a decision tree analysis is performed on the infrequent word matrix (s35).
  • a scenario can be generated in which a plurality of records specified as non-priority candidate explanations in s34 are classified based on the presence / absence of words included in each record.
  • a question tree for infrequently occurring words (see a question tree for infrequently occurring words 840 in FIG. 12) using the above-described branch determination item, which is a question according to the presence or absence of a word, as a question sentence is generated.
  • the question generation device 100 stores the question tree for infrequent words in, for example, a predetermined storage area in the memory 103 (s36), and ends the process.
  • FIG. 13 is a diagram illustrating a flow example 3 of the question generating method according to the present embodiment
  • FIG. 14 is a diagram illustrating a conceptual example 3 of generating a question tree according to the present embodiment.
  • the question generating device 100 specifies, for example, among records in the QA information 125, those whose answer record values are frequent answers that are equal to or more than a predetermined reference, and acquires the value of the morphological analysis result column in the record. (S40).
  • the question generation device 100 uses the value of the morphological analysis result column obtained in s40 described above, that is, the word group, to describe a frequent response matrix describing the presence or absence of each word in the frequent response (the frequent response matrix in FIG. 14).
  • a matrix 910 is generated (s41).
  • the question generation device 100 receives the inquiry from the user terminal 200, and specifies, as a priority candidate explanation, a frequent answer specified in s41 that includes the keyword, based on the keyword included in the inquiry. (S42).
  • the question generation device 100 specifies, based on the ID of the priority candidate description, the above-mentioned priority candidate description (specified in s42) in the frequent answer matrix generated in s41, and specifies here.
  • a decision tree analysis is executed for the element thus set (s43).
  • the question generation device 100 determines whether or not the priority candidate explanatory text (obtained in s42) is completely separated by the branch determination item at a predetermined stage in the frequently-answered question tree obtained in the decision tree analysis in s43. (S44). Specifically, in the frequently asked question tree, there is a configuration (the configuration 930 in the frequently answered question tree 920 in FIG. 14) in which a plurality of answers are linked to one branch determination item (the last one). It is determined whether to do.
  • the question generating device 100 stores the frequently-used answer question tree in, for example, a predetermined storage area in the memory 103 (s45). ), And terminate the process.
  • the question generating device 100 determines, in each record in the QA information 125, a non-frequent response other than the frequent response described above.
  • the value of the morphological analysis result column is obtained (s46).
  • the question generating device 100 uses the value in the morphological analysis result field obtained in s46, that is, the word group, to describe a matrix for non-frequently-appearing answers (not shown in FIG. A matrix for frequently appearing answers 915) is generated (s47). In addition, the question generation device 100 executes a decision tree analysis on the matrix for infrequent answers (s48).
  • a scenario can be generated in which a plurality of records, which are non-priority candidate explanations, are classified based on the presence / absence of a word included in each record.
  • a question tree for infrequent answers (see question tree 940 for infrequent answers in FIG. 14) is generated with the question sentence being a branch determination item as a question depending on the presence or absence of the above-mentioned word.
  • the question generation device 100 stores the question tree for the infrequently-answered answer in, for example, a predetermined storage area in the memory 103 (s49), and ends the process.
  • a query tree can be efficiently and automatically generated.
  • the calculation unit when the number of steps of the generated query tree exceeds a predetermined criterion, notifies the terminal of a request message for an additional keyword, and acquires the additional keyword from the terminal.
  • identifying the explanatory note that includes the keyword and the additional keyword as a new candidate explanatory note
  • identifying the explanatory note that includes the keyword and the additional keyword as a new candidate explanatory note
  • a decision tree analysis is performed based on the description of the new candidate explanatory sentence in the matrix, a new question tree is generated with the branch determination item as a question sentence, and the number of steps of the new query tree is Acquisition of the additional keyword, identification of the new candidate description, and the new Generation of the question tree, in which repeatedly carried out, may be.
  • the calculation unit specifies, as a priority candidate explanation, a candidate explanation that includes a word that frequently appears across each candidate explanation, and In generating the tree, a decision tree analysis may be performed based on the description of the priority candidate explanation in the matrix to generate a frequently-used word-specific question tree with the branching determination item as a question sentence.
  • a candidate tree including a word that appears widely in a group of candidate blocks is preferentially used, and a query tree is generated.
  • the possibility of efficiently leading an explanation, that is, an answer, is increased.
  • a query tree can be automatically generated more efficiently.
  • the question generation device of the present embodiment when the candidate explanatory sentence is not completely separated by a branch determination item at a predetermined stage in the frequently-used word query tree, A non-priority candidate description other than the priority candidate description is specified, and a decision tree analysis starting from the branch determination item at the predetermined stage is performed based on the description of the non-priority candidate description in the matrix, and the non-frequent occurrence is performed. It may generate a question tree for words.
  • the calculation unit based on a morphological analysis result regarding those in which the actual result output as an answer in a predetermined period is a frequent answer that is equal to or more than a predetermined standard among the respective explanatory sentences, A frequent answer matrix describing the presence / absence of each word in the frequent answer is generated, an inquiry is received from a predetermined terminal, and based on the keyword included in the inquiry, the frequent answer including the keyword in the frequent answer is referred to as a priority candidate explanation. And executing a decision tree analysis based on the description of the priority candidate explanation in the frequent answer matrix to generate a frequent answer question tree with the branch determination item as a question sentence.
  • the arithmetic unit when the priority candidate explanation is not completely separated by the branch determination item of the predetermined stage in the frequently-answered question tree, among the explanations, Based on the result of the morphological analysis of the non-frequent responses other than the frequent responses, a matrix for the non-frequent responses describing the presence or absence of each word in the non-frequent responses is generated, and the non-frequent responses in the non-frequent responses matrix are generated. Based on the description related to the answer, a decision tree analysis starting from the branch determination item at the predetermined stage may be executed to generate a question tree for infrequent answers.
  • the information processing device notifies the terminal of a request message for an additional keyword when the number of steps of the generated query tree exceeds a predetermined criterion, and acquires the additional keyword from the terminal. Further performing a process of identifying the candidate explanatory sentence, based on the keyword and the additional keyword, identifying the explanatory sentence including the keyword and the additional keyword as a new candidate explanatory sentence,
  • a decision tree analysis is performed based on the description of the new candidate explanatory sentence in the matrix to generate a new query tree with the branch determination item as a question sentence.
  • the acquisition of the additional keyword, the identification of the new candidate explanation, and the Generation of Do not question tree may repeated, even as the.
  • the information processing apparatus specifies, as a priority candidate explanation, a candidate explanation that includes a word that frequently appears across each candidate explanation,
  • a decision tree analysis may be performed based on the description of the priority candidate explanatory sentence in the matrix to generate a frequently-used word-specific query tree with a branch determination item as a question sentence.
  • a non-priority candidate description other than the priority candidate description is specified, and a decision tree analysis starting from the branch determination item at the predetermined stage is executed based on the description of the non-priority candidate description in the matrix, A query tree for frequent words may be generated.
  • the information processing apparatus based on a morphological analysis result related to those in which the results output as an answer in a predetermined period are frequent answers equal to or more than a predetermined standard among the respective explanatory sentences, A frequent answer matrix describing the presence or absence of each word in the frequent answer is generated, an inquiry is received from a predetermined terminal, and based on the keyword included in the inquiry, the frequent answer including the keyword is described as a priority candidate explanation.
  • a sentence may be identified, a decision tree analysis may be performed based on the description of the priority candidate explanation in the frequent answer matrix, and a frequently-answered question tree with a branch determination item as a question sentence may be generated.
  • the information processing apparatus when the information processing apparatus does not completely classify the priority candidate explanatory text with a branch determination item at a predetermined stage in the frequently-answered question tree, Based on the result of morphological analysis on non-frequent responses other than the frequent responses, a matrix for non-frequent responses that describes the presence or absence of each word in the non-frequent responses is generated. Based on the description of the frequent answer, a decision tree analysis starting from the branch determination item at the predetermined stage may be executed to generate a question tree for the infrequent answer.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

質問生成装置１００において、所定事項各々に関する各説明文を保持する記憶部１０１と、前記各説明文の形態素解析結果に基づき、前記各説明文における各単語の有無を記述したマトリクスの生成を行う処理と、所定端末から問い合わせを受信し、当該問い合わせが含むキーワードに基づき、前記各説明文のうち前記キーワードを含むものを候補説明文として特定する処理と、前記マトリクスにおける前記候補説明文に関する記述に基づき決定木分析を実行し、分岐判定項目を質問文とした質問木を生成する処理と、を実行する演算部１０４を含む構成とする。

Description

質問生成装置および質問生成方法
　本発明は、質問生成装置および質問生成方法に関するものである。
　商品、サービスに関して不具合等が生じた場合、そのユーザがベンダーに問い合わせを行うことは一般的である。そのためベンダー側ではお客様対応窓口やコールセンターを運用し、そうした問い合わせに対応している。
　しかしながら、そうした顧客対応に要するコストは小さくないため、近年ではチャットボットやＩＶＲ（Ｉｎｔｅｒａｃｔｉｖｅ　Ｖｏｉｃｅ　Ｒｅｓｐｏｎｓｅ）等の自動応答システムを適宜採用し、該当業務の効率化が図られつつある。
　このような自動応答システムでは、問い合わせの内容を認識し、その内容に応じた応答をコンピュータが自動実行する。この自動応答の仕組みには、いわゆるシナリオ型や一問一答型など種々のタイプが存在する。
　このうちシナリオ型の自動応答システムは、ユーザからの問い合わせを契機に、最終的な回答に至るまで、複数回のやり取りをユーザと行って回答を絞り込む。いわゆるＦＡＱの内容を単純にシステム化した一問一答型とは異なり、多少の手間と引き換えに、ユーザの望む回答を導き出せる確率が高くなりやすい特徴がある。
　こうした自動応答技術に関連する従来技術としては、例えば、予め登録されている検索条件と、検索対象である検索データからなるデータベースとによって構成され、上記検索条件についてＹｅｓ／Ｎｏで答えることによって上記検索データを絞り込むＹｅｓ／Ｎｏ型質問木を作成するＹｅｓ／Ｎｏ型質問木作成装置において、所定の検索条件によって検索データ群を抽出し、上記抽出された検索データ群を、任意の検索条件で検索できる検索データ群と、上記任意の検索条件では検索できない検索データ群とに分割するデータ分割手段と；上記登録されている検索条件のうちで、上記検索データ群について検索結果が在在する検索条件だけを、上記質問木を構成する検索条件として作成し、上記検索データ群を再帰的に分割する再帰的分割手段と；上記再帰的に検索データ群を分割する場合における当該検索データ群の評価値を、当該検索データ群における最大評価値という関数に代入する関数代入手段と；所定の検索条件で検索できる検索データ群の最大評価値と、上記所定の検索条件で検索できない検索データ群の最大評価値とを足し合わせた値を、当該検索条件における分割の最大評価値として決定する最大評価値決定手段と；上記最大評価値が最も大きくなるように、検索条件で検索データを分割する質問木、または、分割の対象となる検索データ群を質問木として設定する質問木設定手段と；を有することを特徴とするＹｅｓ／Ｎｏ型質問木作成装置（特許文献１参照）などが提案されている。
　また、対話型検索システム及びプログラム、並びに対話シナリオ生成システム及びプログラム（特許文献２参照）や、対話シナリオに対する動的対話ノードの挿入行動を制御する対話プログラム、サーバ及び方法（特許文献３参照）なども提案されている。
特開２００３－２６３４３８号公報 特開２０１２－２４８１６１号公報 特開２０１５－１２５１９８号公報
　上述のシナリオ型の自動応答システムは、顧客対応の品質面では確かに相応の利点を有する。しかし一方で、その運用コストが大きいという課題がある。
　すなわち、ユーザからの問い合わせに対する回答ないし追加の問いかけを順次行うためには、そうした問いかけ等を場合分けした質問木すなわちシナリオを作成し、必要に応じてメンテナンスするが必要あり、大きなコストが継続的に発生しうる。
　そこで本発明の目的は、質問木を効率的に自動生成する技術を提供することにある。
　上記課題を解決する本発明の質問生成装置は、所定事項各々に関する各説明文を保持する記憶部と、前記各説明文の形態素解析結果に基づき、前記各説明文における各単語の有無を記述したマトリクスの生成を行う処理と、所定端末から問い合わせを受信し、当該問い合わせが含むキーワードに基づき、前記各説明文のうち前記キーワードを含むものを候補説明文として特定する処理と、前記マトリクスにおける前記候補説明文に関する記述に基づき決定木分析を実行し、分岐判定項目を質問文とした質問木を生成する処理と、を実行する演算部とを備えることを特徴とする。
　また、本発明の質問生成方法は、所定事項各々に関する各説明文を保持する記憶部を備えた情報処理装置が、前記各説明文の形態素解析結果に基づき、前記各説明文における各単語の有無を記述したマトリクスの生成を行う処理と、所定端末から問い合わせを受信し、当該問い合わせが含むキーワードに基づき、前記各説明文のうち前記キーワードを含むものを候補説明文として特定する処理と、前記マトリクスにおける前記候補説明文に関する記述に基づき決定木分析を実行し、分岐判定項目を質問文とした質問木を生成する処理と、を実行することを特徴とする。
　本発明によれば、質問木を効率的に自動生成可能となる。
本実施形態の質問生成装置を含むネットワーク構成図である。 本実施形態における質問生成装置のハードウェア構成例を示す図である。 本実施形態のＱＡ情報のデータ構成例を示す図である。 本実施形態のマトリクスのデータ構成例を示す図である。 本実施形態の質問生成方法におけるフロー例１を示す図である。 本実施形態の質問生成方法を示すシーケンス例１を示す図である。 本実施形態における画面例１を示す図である。 本実施形態における画面例２を示す図である。 本実施形態における画面例３を示す図である。 本実施形態の質問生成方法を示すシーケンス例２を示す図である。 本実施形態における画面例４を示す図である。 本実施形態における画面例５を示す図である。 本実施形態における質問木の生成概念例１を示す図である。 本実施形態における質問生成方法のフロー例２を示す図である。 本実施形態における質問木の生成概念例２を示す図である。 本実施形態における質問生成方法のフロー例３を示す図である。 本実施形態における質問木の生成概念例３を示す図である。
－－－ネットワーク構成－－－
　以下に本発明の実施形態について図面を用いて詳細に説明する。図１は、本実施形態の質問生成装置１００を含むネットワーク構成図である。
　図１に示す質問生成装置１００は、質問木を効率的に自動生成するコンピュータ装置である。質問生成装置１００は、一例として、各種の金融サービスを顧客に提供する金融機関が運用するサーバ装置を想定できる。この質問生成装置１００は、チャットボット機能を有し、或いは既存のチャットボットシステムと連動し、顧客からの問い合わせに対して、適宜な応答を自動的に行う顧客対応業務用のシステムとも言える。
　従って本実施形態の質問生成装置１００は、こうしたチャットボット機能における自動応答処理に適用する質問木を、顧客からの問い合わせ機会ごとに生成し、当該チャットボット機能に提供するものとなる。
　なお、図１で例示するように、質問生成装置１００は、インターネットなどの適宜なネットワーク１０を介して、ユーザ端末２００と通信可能に接続されている。
　ユーザ端末２００は、上述の顧客が操作する端末である。当該ユーザ端末２００を操作する顧客は、所定のＷＥＢサイトを閲覧しつつ、自身が行う問い合わせの内容を入力する。
　上述のＷＥＢサイトは、例えば、金融機関が運用する顧客対応業務用のサーバ（質問生成装置１００も含みうる）がインターネット上で公開するＷＥＢサイトである。
　一方、ユーザ端末２００は、顧客が入力した問い合わせの情報を、ネットワーク１０を介して質問生成装置１００に送信することとなる。
－－－ハードウェア構成－－－
　また、本実施形態の質問生成装置１００のハードウェア構成は図２に示すものとなる。すなわち本実施形態の質問生成装置１００は、記憶部１０１、メモリ１０３、演算部１０４、入力部１０５、出力部１０６、および、通信部１０７、を備える。
　このうち、記憶部１０１は、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）やハードディスクドライブなど適宜な不揮発性記憶素子で構成される。
　また、メモリ１０３は、ＲＡＭなど揮発性記憶素子で構成される。
　また、演算部１０４は、記憶部１０１に保持されるプログラム１０２をメモリ１０３に読み出すなどして実行し装置自体の統括制御を行なうとともに各種判定、演算及び制御処理を行なうＣＰＵで構成される。
　また、入力部１０５は、ユーザからのキー入力や音声入力を受け付けるキーボード、マウス等で構成される。
　また、出力部１０６は、処理データの表示を行うディスプレイ、スピーカー等で構成される。
　また、通信部１０７は、ネットワーク１０と接続して、ユーザ端末２００等の他装置との通信処理を担うＮＦＣ（Ｎｅｔｗｏｒｋ　Ｉｎｔｅｒｆａｃｅ　Ｃａｒｄ）で構成される。
　なお、記憶部１０１内には、本実施形態の質問生成装置として必要な機能を実装する為のプログラム１０２に加えて、ＱＡ情報１２５およびマトリクス１２６が少なくとも記憶されている。このＱＡ情報１２５およびマトリクス１２６の詳細については後述する。
－－－データ構造例－－－
　続いて、本実施形態の質問生成装置１００が用いるテーブル類について説明する。図３に、本実施形態におけるＱＡ情報１２５の一例を示す。
　本実施形態のＱＡ情報１２５は、上述の金融機関において生成した、いわゆるＦＡＱなどの想定問答集である。金融機関において、顧客から問い合わせを受ける対象は、金融サービス（金融商品の概念含む）の不明点や不具合といった事項である。
　よって、このＱＡ情報１２５においては、こうした事項に関する問い合わせに対して想定される１または複数の説明分を格納している。なお、以降は「問い合わせ」を「質問」、「説明文」を「回答」と称している。
　そのデータ構造は、質問と回答の組合せを一意に特定するＩＤをキーとして、当該組合せにおける質問、当該質問に対する回答、当該回答に関する形態素解析結果、および、回答実績、といったデータから成るレコードの集合体である。
　このうち形態素解析結果は、一般的な形態素解析プログラムにより得られるもので、上述の回答（の文章）において意味を有する最小単位に該当する。こうした形態素解析結果は、質問生成装置１００が所定の形態素解析プログラムを実行した結果であってもよいし、或いは、金融機関における他の所定装置による結果であってもよい。
　また、回答実績は、当該組合せにおける質問に対して当該回答を顧客に返した回数や頻度を示す値である。図３で示すＱＡ情報１２５の例では、一例として累積回数の値を回答実績としている。
　したがって、この回答実績の値が所定の基準より大きい場合、或いは、相対的に他の組合せより大きい場合、当該組合せにおける質問に対して、当該回答が用いられやすい、ことを示している。換言すれば、顧客らが不明点等を感じる機会が多い事項（の質問）に関して、そうした顧客らの条件に合致しやすい回答、であるとも言える。
　続いて図４に、本実施形態のマトリクス１２６の一例を示す。本実施形態のマトリクス１２６は、上述のＱＡ情報１２５における各回答の形態素解析結果に基づき、当該各回答における各単語の有無を記述したテーブルである。
　そのデータ構造は、上述のＱＡ情報１２５における各組合せのＩＤをキーとして、当該組合せにおける回答での所定単語の有無といったデータから成るレコードの集合体である。
　図４の例では、上述の単語として、単語１「住所変更」、単語２「本人」、単語３「来店」、単語４「法定代理人」、・・・、といったものを示している。また、こうした単語の有無については「１」で「有」、「０」で「無」を示している。
　したがって、例えば、ＩＤ「ＴＥＸＴ１」なる組合せにおける回答では、単語１「住所変更」は「１」、単語２「本人」は「１」、単語３「来店」は「１」、単語４「法定代理人」は「０」、となっている。また、例えばＩＤ「ＴＥＸＴ２」なる組合せにおける回答では、単語１「住所変更」は「１」、単語２「本人」は「１」、単語３「来店」は「０」、単語４「法定代理人」は「０」、となっている。また、例えばＩＤ「ＴＥＸＴ３」なる組合せにおける回答では、単語１「住所変更」は「１」、単語２「本人」は「０」、単語３「来店」は「０」、単語４「法定代理人」は「１」、となっている。また、例えばＩＤ「ＴＥＸＴ４」なる組合せにおける回答では、単語１「住所変更」は「１」、単語２「本人」は「０」、単語３「来店」は「０」、単語４「法定代理人」は「０」、となっている。
　なお、マトリクス１２６には、複数のマトリクスが含まれうる。例えば、ＱＡ情報１２５における各回答のうち、所定期間における回答実績が所定基準以上の頻出回答であるものに関する形態素解析結果に基づき、当該頻出回答における各単語の有無を記述した頻出回答向けマトリクスが想定できる。また他にも、ＱＡ情報１２５における各回答のうち、上述の頻出回答以外の非頻出回答であるものに関する形態素解析結果に基づき、当該非頻出回答における各単語の有無を記述した非頻出回答向けマトリクスも想定できる。
－－－質問生成方法の手順について－－－
　以下、本実施形態における質問生成方法の実際手順について図に基づき説明する。以下で説明する質問生成方法に対応する各種動作は、質問生成装置１００がメモリ等に読み出して実行するプログラムによって実現される。そして、このプログラムは、以下に説明される各種の動作を行うためのコードから構成されている。
　ここではまず、マトリクス１２６の生成手順について説明する。図５は本実施形態における質問生成方法のフロー例１を示す図である。
　この場合、質問生成装置１００は、ＱＡ情報１２５における各組合せにおける回答（説明文）欄の値、すなわち文章に対して形態素解析を実行する（ｓ１）。質問生成装置１００は、形態素解析プログラムを予め保持し、適宜に呼び出して利用出来るものとする。
　上述の形態素解析により、解析対象となる文章において意味を有する最小単位を特定できることとなる。例えば、「本人によるご来店の住所変更・・・」という回答に関して得た形態素解析結果は、「本人」、「来店」、「住所変更」、を少なくとも含む単語群となる。
　続いて、質問生成装置１００は、ｓ１で得た形態素解析結果である単語群に基づき、上述の各回答（説明文）における各単語の有無に応じた所定値を、所定の雛形マトリクスに設定し、マトリクスを生成する（ｓ２）。
　上述の雛形マトリクスは、図４で例示したマトリクス１２６におけるテーブル構造に対応したマトリクスを想定できる。また、各単語の有無に応じた所定値は、同じく図４で例示したマトリクス１２６における、該当単語が「有」の場合の「１」、該当単語が「無」の場合の「０」、を想定できる。
　また、質問生成装置１００は、ｓ２で生成したマトリクスを記憶部１０１のマトリクス１２６として格納し（ｓ３）、処理を終了する。
　続いて図６は、本実施形態の質問生成方法を示すシーケンス例１を示す図である。ここで、或る顧客がユーザ端末２００を操作し、問い合わせ画面（図７Ａの画面６００）にて、「来店し住所変更したい」といった問い合わせ内容を入力し、当該問い合わせを質問生成装置１００に送信してきたとする。
　一方、これを受ける質問生成装置１００は、記憶部１０１におけるＱＡ情報１２５に対し、上述の問い合わせ内容が含むキーワード（「来店」、「住所変更」）による検索処理を実行する（ｓ１０）。
　具体的には、質問生成装置１００は、ＱＡ情報１２５における各レコードの「質問」欄の値と、上述の問い合わせ内容が含むキーワード（「来店」、「住所変更」）との照合処理を実行し、該当するレコードを候補説明文に関するレコードとして特定する。
　続いて、質問生成装置１００は、マトリクス１２６における要素のうち、ｓ１０で特定したレコードに関するものを当該レコードのＩＤに基づき特定し、ここで特定した要素に関して決定木分析を実行する（ｓ１１）。なお、決定木分析の手法自体は、既存のものを適宜に採用すればよい。
　これにより、ｓ１０の検索で特定された複数のレコードを、それぞれのレコードが含む単語の有無に基づいて分別するシナリオが生成できる。その結果、上述の単語の有無に応じた問いかけである分岐判定項目、を質問文とした質問木が生成される。なお、図６では、質問木を「決定木」と記している（以下同様）。
　続いて、質問生成装置１００は、ｓ１１の決定木分析で得た質問木の段数が予め定めた基準を越えるか判定する（ｓ１２）。質問木における段数とは、最初の分岐判定項目から最終的に回答を導く最後の分岐判定項目までの、分岐判定項目の数である。
　この判定の結果、上述の段数が基準を超える場合、質問生成装置１００は、図８で別途示すシーケンス例に処理を遷移させる。この遷移は、現状の質問木では顧客に対して問いかけの回数が多いため、その回数を低減するとの意図に基づくものである。
　一方、上述の判定の結果、段数が基準を超えない場合、質問生成装置１００は、ｓ１１で得た質問木を、例えばメモリ１０３における所定の記憶領域に格納する（ｓ１３）。
　また、質問生成装置１００は、当該質問木における最上位の段数における分岐判定項目に対応した質問（以下、問いかけ）を、上述のユーザ端末２００に出力する（ｓ１４）。
　ユーザ端末２００は、上述の問いかけを表示して（例：図７Ｂの画面６１０）、顧客からの回答を取得する。また、ユーザ端末２００は、ここで得た回答を質問生成装置１００に返す。
　他方、質問生成装置１００は、ユーザ端末２００から送信されてきた回答、すなわち最初の問いかけに対する回答を得て、上述の質問木に適用し、当該質問木における最終段すなわち回答に至るまで、各段の分岐判定項目に応じた問いかけを繰り返し実行する（ｓ１５～ｓ１６）。質問生成装置１００は、回答に至った場合、これをユーザ端末２００に出力し（図７Ｃの画面６２０）、処理を終了する。
　なお、上述のｓ１２での判定の結果、質問木における段数が基準を超える場合、質問生成装置１００は、図８のシーケンス例で示すように、ユーザ端末２００に対し、追加キーワード（図中では「質問絞り込み」）の要求メッセージを通知する（ｓ２１）。
　一方、ユーザ端末２００は、上述の追加キーワードの要求メッセージを表示し、顧客から、「代理人」などといった追加キーワードの入力を受け付ける（図９Ａの画面８００）。また、質問生成装置１００は、ここで受け付けた追加キーワードを質問生成装置１００に返信する。
　質問生成装置１００は、ユーザ端末２００から追加キーワードを受信し、既にｓ１０の検索で用いたキーワード（例：「住所変更」）に当該追加キーワード（例：「代理人」）を加えたアンド検索を、ＱＡ情報１２５にて実行する（ｓ２２）。
　具体的には、質問生成装置１００は、ＱＡ情報１２５における各レコードの「質問」欄の値と、上述の問い合わせ内容が含むキーワード（「住所変更」および「代理人」）との照合処理を実行し、該当するレコードを新たな候補説明文に関するレコードとして特定する。
　続いて、質問生成装置１００は、マトリクス１２６における要素のうち、ｓ２２で特定したレコードに関するものを当該レコードのＩＤに基づき特定し、ここで特定した要素に関して決定木分析を実行する（ｓ２３）。
　これにより、ｓ２２の検索で特定された新たな候補説明文に対応する複数のレコードを、それぞれのレコードが含む単語の有無に基づいて分別するシナリオが生成できる。その結果、上述の単語の有無に応じた問いかけである分岐判定項目、を質問文とした新たな質問木が生成される。
　続いて、質問生成装置１００は、ｓ２３の決定木分析で得た新たな質問木の段数が予め定めた基準を越えるか判定する（ｓ２４）。
　この判定の結果、上述の段数が基準を超える場合、質問生成装置１００は、ｓ２１に処理を遷移させる。この遷移は、現状の質問木では顧客に対して問いかけの回数が多いため、その回数を低減するとの意図に基づくものである。
　一方、上述の判定の結果、段数が基準を超えない場合、質問生成装置１００は、ｓ２３で得た質問木を、例えばメモリ１０３における所定の記憶領域に格納し（ｓ２５）、処理を終了する。
　ここで、上述のマトリクスと質問木との関係を踏まえた、質問木の生成概念例を図１０に示す。図１０で示す具体例は、ＱＡ情報１２５におけるレコードのうち「ＴＥＸＴ１」～「ＴＥＸＴ４」に関して「単語１」～「単語４」の各単語の有無を規定したマトリクス７００と、このマトリクス７００を決定木分析の対象とした場合の質問木７５０、を示している。
　この場合、顧客からの初回の質問７５１、すなわちユーザ端末２００から受けた問い合わせの内容は、「住所変更」である。また、この「住所変更」なるキーワードを回答（説明文）に含むレコードをＱＡ情報１２５で特定すると、「ＴＥＸＴ１」～「ＴＥＸＴ４」が特定されたものとする。
　すると、この「ＴＥＸＴ１」～「ＴＥＸＴ４」のうちいずれかを、当該顧客からの問い合わせに対する回答として特定する必要がある。よってこの「ＴＥＸＴ１」～「ＴＥＸＴ４」における「単語１」～「単語４」の各有無に基づく決定木分析により、「ＴＥＸＴ１」～「ＴＥＸＴ４」を切り分ける、質問木７５０が生成される。
　図１０の例では、分岐判定項目７５２～７５７、すなわち顧客への問いかけとして、「本人」か否か、「本人」である場合に「来店」するか否か、を順次問いかけすることで、当該顧客に提示すべき回答７６０～７６３として「ＴＥＸＴ１」と「ＴＥＸＴ２」とを切り分けできる。
　また、「本人」ではない場合に、それは「法定代理人」か否か、を順次問いかけすることで、当該顧客に提示すべき回答７６０～７６３として「ＴＥＸＴ３」と「ＴＥＸＴ４」とを切り分けできる。
　続いて、質問木生成を効率化する工夫について説明する。図１１は本実施形態における質問生成方法のフロー例２を示す図であり、図１２は本実施形態における質問木の生成概念例２を示す図である。
　この場合、質問生成装置１００は、上述のｓ１０で得た候補説明文のうち、各候補説明文を横断して頻出する単語を含んでいるものを優先候補説明文として特定する（ｓ３０）。
　具体的には、質問生成装置１００は、例えば、マトリクス１２６における各候補説明文に関する各単語の有無の値を参照し、最多の候補説明文に存在する単語、２番目に多い候補説明文に存在する単語、および、３番目に多い候補説明文に存在する単語、を特定し、当該単語らを含んでいる候補説明文に関するＩＤをマトリクス１２６にて特定する。
　なお、上述の最多の候補説明文に存在する単語、２番目に多い候補説明文に存在する単語、および、３番目に多い候補説明文に存在する単語、を特定するに際し、ＱＡ情報１２５における各候補説明文のレコードの「質問」欄の値を参照し、該当単語を特定するとしてもよい。
　また、質問生成装置１００は、上述のｓ１１における質問木の生成に際し、マトリクス１２６における要素のうち、ｓ３０で特定した優先候補説明文のレコードに関するものを当該レコードのＩＤに基づき特定して頻出単語マトリクス（図１２の頻出単語マトリクス８１０参照）を生成し、この頻出単語マトリクスに関して決定木分析を実行する（ｓ３１）。
　これにより、ｓ３０で優先候補説明文として特定された複数のレコードを、それぞれのレコードが含む単語の有無に基づいて分別するシナリオが生成できる。その結果、上述の単語の有無に応じた問いかけである分岐判定項目、を質問文とした頻出単語向け質問木（図１２の頻出単語向け質問木８２０参照）が生成される。
　続いて、質問生成装置１００は、ｓ３１の決定木分析で得た頻出単語向け質問木における所定段の分岐判定項目で、候補説明文（ｓ１０で得ているもの）を区分しきれているか判定する（ｓ３２）。具体的には、頻出単語向け質問木において、複数の回答が１つの分岐判定項目（最終段のもの）に紐付けられている構成（図１２の頻出単語向け質問木８２０における構成８３０）が存在するか判定する。
　上述の判定の結果、候補説明文を区分しきれている場合（ｓ３２：ｙ）、質問生成装置１００は、当該頻出単語向け質問木を、例えばメモリ１０３における所定の記憶領域に格納し（ｓ３３）、処理を終了する。
　他方、上述の判定の結果、候補説明文を区分しきれていない場合（ｓ３２：ｎ）、質問生成装置１００は、上述の候補説明文のうち、優先候補説明文以外の非優先候補説明文を特定する（ｓ３４）。
　また、質問生成装置１００は、マトリクス１２６における要素のうち、ｓ３４で特定した非優先候補説明文のレコードに関するものを当該レコードのＩＤに基づき特定して非頻出単語マトリクス（図１２の非頻出単語マトリクス８３０参照）を生成し、この非頻出単語マトリクスに関して決定木分析を実行する（ｓ３５）。
　これにより、ｓ３４で非優先候補説明文として特定された複数のレコードを、それぞれのレコードが含む単語の有無に基づいて分別するシナリオが生成できる。その結果、上述の単語の有無に応じた問いかけである分岐判定項目、を質問文とした非頻出単語向け質問木（図１２の非頻出単語向け質問木８４０参照）が生成される。
　また、質問生成装置１００は、当該非頻出単語向け質問木を、例えばメモリ１０３における所定の記憶領域に格納し（ｓ３６）、処理を終了する。
　また、質問木生成を効率化する別の工夫について説明する。図１３は本実施形態における質問生成方法のフロー例３を示す図であり、図１４は本実施形態における質問木の生成概念例３を示す図である。
　この場合、質問生成装置１００は、ＱＡ情報１２５における各レコードのうち、例えば、回答実績の値が所定基準以上の頻出回答であるものを特定し、当該レコードにおける形態素解析結果欄の値を取得する（ｓ４０）。
　続いて、質問生成装置１００は、上述のｓ４０で得た形態素解析結果欄の値、すなわち単語群に基づき、当該頻出回答における各単語の有無を記述した頻出回答向けマトリクス（図１４の頻出回答向けマトリクス９１０参照）を生成する（ｓ４１）。
　続いて、質問生成装置１００は、ユーザ端末２００からの問い合わせを受信し、当該問い合わせが含むキーワードに基づき、ｓ４１で特定している頻出回答のうち当該キーワードを含むものを優先候補説明文として特定する（ｓ４２）。
　また、質問生成装置１００は、ｓ４１で生成している頻出回答マトリクスにおける、上述の優先候補説明文（ｓ４２で特定したもの）に関するものを当該優先候補説明文のＩＤに基づき特定し、ここで特定した要素に関して決定木分析を実行する（ｓ４３）。
　これにより、ｓ４２で優先候補説明文として特定された複数のレコードを、それぞれのレコードが含む単語の有無に基づいて分別するシナリオが生成できる。その結果、頻出回答向け質問木（図１４の頻出回答向け質問木９２０参照）が生成される。
　続いて、質問生成装置１００は、ｓ４３の決定木分析で得た頻出回答向け質問木における所定段の分岐判定項目で、優先候補説明文（ｓ４２で得ているもの）を区分しきれているか判定する（ｓ４４）。具体的には、頻出回答向け質問木において、複数の回答が１つの分岐判定項目（最終段のもの）に紐付けられている構成（図１４の頻出回答向け質問木９２０における構成９３０）が存在するか判定する。
　上述の判定の結果、優先候補説明文を区分しきれている場合（ｓ４４：ｙ）、質問生成装置１００は、当該頻出回答向け質問木を、例えばメモリ１０３における所定の記憶領域に格納し（ｓ４５）、処理を終了する。
　他方、上述の判定の結果、優先候補説明文を区分しきれていない場合（ｓ４４：ｎ）、質問生成装置１００は、ＱＡ情報１２５における各レコードのうち、上述の頻出回答以外の非頻出回答における形態素解析結果欄の値を取得する（ｓ４６）。
　続いて、質問生成装置１００は、上述のｓ４６で得た形態素解析結果欄の値、すなわち単語群に基づき、当該非頻出回答における各単語の有無を記述した非頻出回答向けマトリクス（図１４の非頻出回答向けマトリクス９１５参照）を生成する（ｓ４７）。
　また、質問生成装置１００は、この非頻出回答向けマトリクスに関して決定木分析を実行する（ｓ４８）。
　これにより、非優先候補説明文である複数のレコードを、それぞれのレコードが含む単語の有無に基づいて分別するシナリオが生成できる。その結果、上述の単語の有無に応じた問いかけである分岐判定項目、を質問文とした非頻出回答向け質問木（図１４の非頻出回答向け質問木９４０参照）が生成される。
　また、質問生成装置１００は、当該非頻出回答向け質問木を、例えばメモリ１０３における所定の記憶領域に格納し（ｓ４９）、処理を終了する。
　以上、本発明を実施するための最良の形態などについて具体的に説明したが、本発明はこれに限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。
　こうした本実施形態によれば、質問木を効率的に自動生成可能となる。
　本明細書の記載により、少なくとも次のことが明らかにされる。すなわち、本実施形態の質問生成装置において、前記演算部は、前記生成した質問木の段数が所定基準を越える場合、前記端末に追加キーワードの要求メッセージを通知し、当該端末から追加キーワードを取得する処理を更に実行し、前記候補説明文の特定に際し、前記キーワードおよび前記追加キーワードに基づき、前記各説明文のうち前記キーワードおよび前記追加キーワードを含むものを新たな候補説明文として特定し、前記質問木の生成に際し、前記マトリクスにおける前記新たな候補説明文に関する記述に基づき決定木分析を実行し、分岐判定項目を質問文とした新たな質問木を生成し、前記新たな質問木の段数が前記所定基準を超えなくなるまで、前記追加キーワードの取得、前記新たな候補説明文の特定、および、前記新たな質問木の生成、を繰り返し行うものである、としてもよい。
　これによれば、質問木の段数が多すぎる、すなわち問い合わせを行ってきた顧客とのやりとりが多くなりすぎることになる場合、これを効果的に回避すること可能となる。ひいては、質問木をより効率的に自動生成可能となる。
　また、本実施形態の質問生成装置において、前記演算部は、前記候補説明文のうち、各候補説明文を横断して頻出する単語を含んでいるものを優先候補説明文として特定し、前記質問木の生成に際し、前記マトリクスにおける前記優先候補説明文に関する記述に基づき決定木分析を実行して、分岐判定項目を質問文とした頻出単語向け質問木を生成するものである、としてもよい。
　これによれば、候補説明文の群の中で広く出現する単語を含む候補説明文を優先的に使用し、質問木を生成するため、共通性が推定される事項間でポピュラーな内容の問い合わせに対して効率的に説明文すなわち回答を導く可能性を高める。ひいては、質問木をより効率的に自動生成可能となる。
　また、本実施形態の質問生成装置において、前記演算部は、前記頻出単語向け質問木における所定段の分岐判定項目で前記候補説明文を区分しきれていない場合、前記候補説明文のうち、前記優先候補説明文以外の非優先候補説明文を特定し、前記マトリクスにおける前記非優先候補説明文に関する記述に基づき、前記所定段の分岐判定項目を起点にした決定木分析を実行して、非頻出単語向け質問木を生成するものである、としてもよい。
　これによれば、上述の頻出単語向け質問木での説明文すなわち回答の導出が難しい状況に対して的確に対応し、ひいては、質問木をより効率的に自動生成可能となる。
　また、本実施形態の質問生成装置において、前記演算部は、前記各説明文のうち、所定期間において回答として出力された実績が所定基準以上の頻出回答であるものに関する形態素解析結果に基づき、前記頻出回答における各単語の有無を記述した頻出回答向けマトリクスの生成を行い、所定端末から問い合わせを受信し、当該問い合わせが含むキーワードに基づき、前記頻出回答のうち前記キーワードを含むものを優先候補説明文として特定し、前記頻出回答マトリクスにおける前記優先候補説明文に関する記述に基づき決定木分析を実行して、分岐判定項目を質問文とした頻出回答向け質問木を生成するものである、としてもよい。
　これによれば、例えば最近の顧客が望む回答の傾向等を踏まえて、効率的に回答を導く質問木を生成しやすくなる。ひいては、質問木をより効率的に自動生成可能となる。
　また、本実施形態の質問生成装置において、前記演算部は、前記頻出回答向け質問木における所定段の分岐判定項目で前記優先候補説明文を区分しきれていない場合、前記各説明文のうち、前記頻出回答以外の非頻出回答であるものに関する形態素解析結果に基づき、前記非頻出回答における各単語の有無を記述した非頻出回答向けマトリクスの生成を行い、前記非頻出回答向けマトリクスにおける前記非頻出回答に関する記述に基づき、前記所定段の分岐判定項目を起点にした決定木分析を実行して、非頻出回答向け質問木を生成するものである、としてもよい。
　これによれば、上述の頻出回答向け質問木での説明文すなわち回答の導出が難しい状況に対して的確に対応し、ひいては、質問木をより効率的に自動生成可能となる。
　また、本実施形態の質問生成方法において、前記情報処理装置が、前記生成した質問木の段数が所定基準を越える場合、前記端末に追加キーワードの要求メッセージを通知し、当該端末から追加キーワードを取得する処理を更に実行し、前記候補説明文の特定に際し、前記キーワードおよび前記追加キーワードに基づき、前記各説明文のうち前記キーワードおよび前記追加キーワードを含むものを新たな候補説明文として特定し、前記質問木の生成に際し、前記マトリクスにおける前記新たな候補説明文に関する記述に基づき決定木分析を実行し、分岐判定項目を質問文とした新たな質問木を生成し、前記新たな質問木の段数が前記所定基準を超えなくなるまで、前記追加キーワードの取得、前記新たな候補説明文の特定、および、前記新たな質問木の生成、を繰り返し行う、としてもよい。
　また、本実施形態の質問生成方法において、前記情報処理装置が、前記候補説明文のうち、各候補説明文を横断して頻出する単語を含んでいるものを優先候補説明文として特定し、前記質問木の生成に際し、前記マトリクスにおける前記優先候補説明文に関する記述に基づき決定木分析を実行して、分岐判定項目を質問文とした頻出単語向け質問木を生成する、としてもよい。
　また、本実施形態の質問生成方法において、前記情報処理装置が、前記頻出単語向け質問木における所定段の分岐判定項目で前記候補説明文を区分しきれていない場合、前記候補説明文のうち、前記優先候補説明文以外の非優先候補説明文を特定し、前記マトリクスにおける前記非優先候補説明文に関する記述に基づき、前記所定段の分岐判定項目を起点にした決定木分析を実行して、非頻出単語向け質問木を生成する、としてもよい。
　また、本実施形態の質問生成方法において、前記情報処理装置が、前記各説明文のうち、所定期間において回答として出力された実績が所定基準以上の頻出回答であるものに関する形態素解析結果に基づき、前記頻出回答における各単語の有無を記述した頻出回答向けマトリクスの生成を行い、所定端末から問い合わせを受信し、当該問い合わせが含むキーワードに基づき、前記頻出回答のうち前記キーワードを含むものを優先候補説明文として特定し、前記頻出回答マトリクスにおける前記優先候補説明文に関する記述に基づき決定木分析を実行して、分岐判定項目を質問文とした頻出回答向け質問木を生成する、としてもよい。
　また、本実施形態の質問生成方法において、前記情報処理装置が、前記頻出回答向け質問木における所定段の分岐判定項目で前記優先候補説明文を区分しきれていない場合、前記各説明文のうち、前記頻出回答以外の非頻出回答であるものに関する形態素解析結果に基づき、前記非頻出回答における各単語の有無を記述した非頻出回答向けマトリクスの生成を行い、前記非頻出回答向けマトリクスにおける前記非頻出回答に関する記述に基づき、前記所定段の分岐判定項目を起点にした決定木分析を実行して、非頻出回答向け質問木を生成する、としてもよい。
１０　　ネットワーク
１００　質問生成装置
１０１　記憶部
１０２　プログラム
１０３　メモリ
１０４　演算部
１０５　入力部
１０６　出力部
１０７　通信部
１２５　情報
１２６　情報
１２７　情報
２００　ユーザ端末

Claims (12)

  1. 　所定事項各々に関する各説明文を保持する記憶部と、
    　前記各説明文の形態素解析結果に基づき、前記各説明文における各単語の有無を記述したマトリクスの生成を行う処理と、所定端末から問い合わせを受信し、当該問い合わせが含むキーワードに基づき、前記各説明文のうち前記キーワードを含むものを候補説明文として特定する処理と、前記マトリクスにおける前記候補説明文に関する記述に基づき決定木分析を実行し、分岐判定項目を質問文とした質問木を生成する処理と、を実行する演算部と、
    　を備えることを特徴とする質問生成装置。
  2. 　前記演算部は、
    　前記生成した質問木の段数が所定基準を越える場合、
    　前記端末に追加キーワードの要求メッセージを通知し、当該端末から追加キーワードを取得する処理を更に実行し、
    　前記候補説明文の特定に際し、前記キーワードおよび前記追加キーワードに基づき、前記各説明文のうち前記キーワードおよび前記追加キーワードを含むものを新たな候補説明文として特定し、
    　前記質問木の生成に際し、前記マトリクスにおける前記新たな候補説明文に関する記述に基づき決定木分析を実行し、分岐判定項目を質問文とした新たな質問木を生成し、
    　前記新たな質問木の段数が前記所定基準を超えなくなるまで、前記追加キーワードの取得、前記新たな候補説明文の特定、および、前記新たな質問木の生成、を繰り返し行うものである、
    　ことを特徴とする請求項１に記載の質問生成装置。
  3. 　前記演算部は、
    　前記候補説明文のうち、各候補説明文を横断して頻出する単語を含んでいるものを優先候補説明文として特定し、
    　前記質問木の生成に際し、前記マトリクスにおける前記優先候補説明文に関する記述に基づき決定木分析を実行して、分岐判定項目を質問文とした頻出単語向け質問木を生成するものである、
    　ことを特徴とする請求項１に記載の質問生成装置。
  4. 　前記演算部は、
    　前記頻出単語向け質問木における所定段の分岐判定項目で前記候補説明文を区分しきれていない場合、前記候補説明文のうち、前記優先候補説明文以外の非優先候補説明文を特定し、
    　前記マトリクスにおける前記非優先候補説明文に関する記述に基づき、前記所定段の分岐判定項目を起点にした決定木分析を実行して、非頻出単語向け質問木を生成するものである、
    　ことを特徴とする請求項３に記載の質問生成装置。
  5. 　前記演算部は、
    　前記各説明文のうち、所定期間において回答として出力された実績が所定基準以上の頻出回答であるものに関する形態素解析結果に基づき、前記頻出回答における各単語の有無を記述した頻出回答向けマトリクスの生成を行い、
    　所定端末から問い合わせを受信し、当該問い合わせが含むキーワードに基づき、前記頻出回答のうち前記キーワードを含むものを優先候補説明文として特定し、
    　前記頻出回答マトリクスにおける前記優先候補説明文に関する記述に基づき決定木分析を実行して、分岐判定項目を質問文とした頻出回答向け質問木を生成するものである、
    　ことを特徴とする請求項１に記載の質問生成装置。
  6. 　前記演算部は、
    　前記頻出回答向け質問木における所定段の分岐判定項目で前記優先候補説明文を区分しきれていない場合、
    　前記各説明文のうち、前記頻出回答以外の非頻出回答であるものに関する形態素解析結果に基づき、前記非頻出回答における各単語の有無を記述した非頻出回答向けマトリクスの生成を行い、
    　前記非頻出回答向けマトリクスにおける前記非頻出回答に関する記述に基づき、前記所定段の分岐判定項目を起点にした決定木分析を実行して、非頻出回答向け質問木を生成するものである、
    　ことを特徴とする請求項５に記載の質問生成装置。
  7. 　所定事項各々に関する各説明文を保持する記憶部を備えた情報処理装置が、
    　前記各説明文の形態素解析結果に基づき、前記各説明文における各単語の有無を記述したマトリクスの生成を行う処理と、
    　所定端末から問い合わせを受信し、当該問い合わせが含むキーワードに基づき、前記各説明文のうち前記キーワードを含むものを候補説明文として特定する処理と、
    　前記マトリクスにおける前記候補説明文に関する記述に基づき決定木分析を実行し、分岐判定項目を質問文とした質問木を生成する処理と、
    　を実行することを特徴とする質問生成方法。
  8. 　前記情報処理装置が、
    　前記生成した質問木の段数が所定基準を越える場合、
    　前記端末に追加キーワードの要求メッセージを通知し、当該端末から追加キーワードを取得する処理を更に実行し、
    　前記候補説明文の特定に際し、前記キーワードおよび前記追加キーワードに基づき、前記各説明文のうち前記キーワードおよび前記追加キーワードを含むものを新たな候補説明文として特定し、
    　前記質問木の生成に際し、前記マトリクスにおける前記新たな候補説明文に関する記述に基づき決定木分析を実行し、分岐判定項目を質問文とした新たな質問木を生成し、
    　前記新たな質問木の段数が前記所定基準を超えなくなるまで、前記追加キーワードの取得、前記新たな候補説明文の特定、および、前記新たな質問木の生成、を繰り返し行う、
    　ことを特徴とする請求項７に記載の質問生成方法。
  9. 　前記情報処理装置が、
    　前記候補説明文のうち、各候補説明文を横断して頻出する単語を含んでいるものを優先候補説明文として特定し、
    　前記質問木の生成に際し、前記マトリクスにおける前記優先候補説明文に関する記述に基づき決定木分析を実行して、分岐判定項目を質問文とした頻出単語向け質問木を生成する、
    　ことを特徴とする請求項７に記載の質問生成方法。
  10. 　前記情報処理装置が、
    　前記頻出単語向け質問木における所定段の分岐判定項目で前記候補説明文を区分しきれていない場合、前記候補説明文のうち、前記優先候補説明文以外の非優先候補説明文を特定し、
    　前記マトリクスにおける前記非優先候補説明文に関する記述に基づき、前記所定段の分岐判定項目を起点にした決定木分析を実行して、非頻出単語向け質問木を生成する、
    　ことを特徴とする請求項９に記載の質問生成方法。
  11. 　前記情報処理装置が、
    　前記各説明文のうち、所定期間において回答として出力された実績が所定基準以上の頻出回答であるものに関する形態素解析結果に基づき、前記頻出回答における各単語の有無を記述した頻出回答向けマトリクスの生成を行い、
    　所定端末から問い合わせを受信し、当該問い合わせが含むキーワードに基づき、前記頻出回答のうち前記キーワードを含むものを優先候補説明文として特定し、
    　前記頻出回答マトリクスにおける前記優先候補説明文に関する記述に基づき決定木分析を実行して、分岐判定項目を質問文とした頻出回答向け質問木を生成する、
    　ことを特徴とする請求項７に記載の質問生成方法。
  12. 　前記情報処理装置が、
    　前記頻出回答向け質問木における所定段の分岐判定項目で前記優先候補説明文を区分しきれていない場合、
    　前記各説明文のうち、前記頻出回答以外の非頻出回答であるものに関する形態素解析結果に基づき、前記非頻出回答における各単語の有無を記述した非頻出回答向けマトリクスの生成を行い、
    　前記非頻出回答向けマトリクスにおける前記非頻出回答に関する記述に基づき、前記所定段の分岐判定項目を起点にした決定木分析を実行して、非頻出回答向け質問木を生成する、
    　ことを特徴とする請求項１１に記載の質問生成方法。
PCT/JP2019/038845 2018-10-05 2019-10-02 質問生成装置および質問生成方法 WO2020071398A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-189979 2018-10-05
JP2018189979A JP7028746B2 (ja) 2018-10-05 2018-10-05 質問生成装置および質問生成方法

Publications (1)

Publication Number Publication Date
WO2020071398A1 true WO2020071398A1 (ja) 2020-04-09

Family

ID=70055554

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/038845 WO2020071398A1 (ja) 2018-10-05 2019-10-02 質問生成装置および質問生成方法

Country Status (2)

Country Link
JP (1) JP7028746B2 (ja)
WO (1) WO2020071398A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019109934A1 (zh) 2017-12-06 2019-06-13 江苏恒瑞医药股份有限公司 一种苯基丙酰胺类衍生物的盐及其制备方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112948608B (zh) * 2021-02-01 2023-08-22 北京百度网讯科技有限公司 图片查找方法、装置、电子设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011108085A (ja) * 2009-11-19 2011-06-02 Nippon Hoso Kyokai <Nhk> 知識構築装置およびプログラム
JP2017102733A (ja) * 2015-12-02 2017-06-08 パナソニックＩｐマネジメント株式会社 探索支援方法、探索支援装置、及び、プログラム
JP2017530435A (ja) * 2014-06-30 2017-10-12 アマゾン・テクノロジーズ・インコーポレーテッド 機械学習モデル評価のための対話型インターフェース
JP2018005624A (ja) * 2016-07-04 2018-01-11 パナソニックＩｐマネジメント株式会社 決定木生成装置、決定木生成方法、決定木生成プログラム及び質問システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011108085A (ja) * 2009-11-19 2011-06-02 Nippon Hoso Kyokai <Nhk> 知識構築装置およびプログラム
JP2017530435A (ja) * 2014-06-30 2017-10-12 アマゾン・テクノロジーズ・インコーポレーテッド 機械学習モデル評価のための対話型インターフェース
JP2017102733A (ja) * 2015-12-02 2017-06-08 パナソニックＩｐマネジメント株式会社 探索支援方法、探索支援装置、及び、プログラム
JP2018005624A (ja) * 2016-07-04 2018-01-11 パナソニックＩｐマネジメント株式会社 決定木生成装置、決定木生成方法、決定木生成プログラム及び質問システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAKAJIMA, HIROYUKI ET AL.: "Efficient Estimation of Co-occurrences of Query Words in Relevance Feedback", IPSJ JOURNAL, vol. 42, no. 10, 15 October 2001 (2001-10-15), pages 2429 - 2440 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019109934A1 (zh) 2017-12-06 2019-06-13 江苏恒瑞医药股份有限公司 一种苯基丙酰胺类衍生物的盐及其制备方法
US11180530B2 (en) 2017-12-06 2021-11-23 Jiangsu Hengrui Medicine Co., Ltd. Salt of phenylpropionamide derivative and preparation method therefor

Also Published As

Publication number Publication date
JP2020060846A (ja) 2020-04-16
JP7028746B2 (ja) 2022-03-02

Similar Documents

Publication Publication Date Title
US20180053125A1 (en) Tag-based performance framework for contact center
US9973457B2 (en) Method and apparatus for live chat integration
JP5311002B2 (ja) 質問回答検索システム及びその方法とプログラム
US11860945B2 (en) Information processing apparatus to output answer information in response to inquiry information
US10970485B1 (en) Systems and methods for selecting effective phrases to be presented during a conversation
WO2020071398A1 (ja) 質問生成装置および質問生成方法
KR101575276B1 (ko) 가상 상담 시스템
CN112966081A (zh) 处理问答信息的方法、装置、设备和存储介质
JP2002278977A (ja) 質問回答装置、質問回答方法及び質問回答プログラム
US11392757B2 (en) Management of annotation jobs
US10089382B2 (en) Transforming a knowledge base into a machine readable format for an automated system
JP2018194980A (ja) 判定プログラム、判定方法および判定装置
CN110209780B (zh) 一种问题模板生成方法、装置、服务器及存储介质
JP2015053028A (ja) 情報管理システム、情報管理プログラム、情報管理方法、情報管理装置
US20230342864A1 (en) System and method for automatically responding to negative content
US20220114200A1 (en) System and method for developing a common inquiry response
US11025780B2 (en) Systems and methods for search based call routing
JP7434916B2 (ja) 検索システム、検索方法及び検索プログラム
KR20220099690A (ko) 문서를 요약하는 장치, 방법 및 컴퓨터 프로그램
JP2018112876A (ja) 情報処理装置、情報処理方法、およびコンピュータプログラム
JP6677794B1 (ja) 評価装置、評価方法及びプログラム
JP2018022217A (ja) ナレッジ検索装置、ナレッジ検索方法、および、ナレッジ検索プログラム
US20210271698A1 (en) Computer-readable recording medium recording answering program, answering method, and answering device
JP6523891B2 (ja) サーバ装置、データ収集方法およびプログラム
US11799734B1 (en) Determining future user actions using time-based featurization of clickstream data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19869480

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19869480

Country of ref document: EP

Kind code of ref document: A1