JP6819976B1 - Question answer display server, question answer display method and question answer display program - Google Patents
Question answer display server, question answer display method and question answer display program Download PDFInfo
- Publication number
- JP6819976B1 JP6819976B1 JP2019239357A JP2019239357A JP6819976B1 JP 6819976 B1 JP6819976 B1 JP 6819976B1 JP 2019239357 A JP2019239357 A JP 2019239357A JP 2019239357 A JP2019239357 A JP 2019239357A JP 6819976 B1 JP6819976 B1 JP 6819976B1
- Authority
- JP
- Japan
- Prior art keywords
- question
- answer
- pattern
- patterns
- confusion
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する質問回答セットをユーザに提示して改善を促し、精度を向上させる、質問回答表示サーバ、質問回答表示方法及び質問回答表示プログラムを提供する。【解決手段】質問回答表示システム１において、質問回答表示サーバ１００は、回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶部１０１と、ユーザ端末により入力された質問文を取得する質問文取得部１０２と、取得した質問文と記憶部に記憶している質問パターンとの類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示部１０３と、質問回答データベースに基づき、回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する質問回答セットをユーザに提示する混同提示部１０４と、を備える。【選択図】図１PROBLEM TO BE SOLVED: To calculate the degree of confusion between a question-and-answer set of an answer pattern and a corresponding question pattern, present the confused question-and-answer set to a user, promote improvement, and improve accuracy. Provide a display method and a question / answer display program. SOLUTION: In a question / answer display system 1, a question / answer display server 100 acquires a storage unit 101 that stores a question / answer database including an answer pattern and a corresponding question pattern, and a question text input by a user terminal. The question text acquisition unit 102, the answer pattern display unit 103 that displays the corresponding answer pattern on the user terminal based on the similarity between the acquired question text and the question pattern stored in the storage unit, and the question answer database. Based on this, the confusion presentation unit 104 is provided, which calculates the degree of confusion between the answer patterns and the question-and-answer sets of the corresponding question patterns, and presents the confusion question-and-answer set to the user. [Selection diagram] Fig. 1
Description
本開示は、質問回答データベースを用いて、対話形式により、ユーザからの質問に対する回答を行うとともに、質問回答データベースが適切に登録されているか検証する機能を有する、質問回答表示サーバ、質問回答表示方法及び質問回答表示プログラムに関する。 This disclosure uses a question-and-answer database to interactively answer questions from users and has a function of verifying whether the question-and-answer database is properly registered. Question-and-answer display server, question-and-answer display method And about the question answer display program.
近年、ＡＩ（Ａｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅ）技術が注目を浴びている。ユーザサポートの場面において、従来は、人手で電話対応を行い、または、メールでユーザからの問合せに対する回答を行っていたが、ＡＩが活用される場面が増えている。例えば、ＡＩの活用場面では、対話システムを用いて、ユーザからの質問に回答するシステムが開発されている。 In recent years, AI (Artificial Intelligence) technology has been attracting attention. In the field of user support, conventionally, the telephone is manually handled or the inquiry from the user is answered by e-mail, but the situation where AI is used is increasing. For example, in the usage scene of AI, a system for answering questions from users has been developed by using a dialogue system.
例えば、特許文献１では、予め複数の質問・回答パターンを知識データベースとして登録し、ユーザからの質問に対して対話システムを用いて応答を行うための構成が提案されている。 For example, Patent Document 1 proposes a configuration for registering a plurality of question / answer patterns in advance as a knowledge database and responding to a question from a user by using an interactive system.
特許文献１は、予め、複数の質問・回答パターンを用意しておくことが必要であるが、質問・回答パターンを登録する過程において、類似する質問・回答パターンが登録されることがある。これにより、他の回答パターンが選択され、誤回答の原因となりうる。 In Patent Document 1, it is necessary to prepare a plurality of question / answer patterns in advance, but similar question / answer patterns may be registered in the process of registering the question / answer patterns. As a result, another answer pattern is selected, which may cause an incorrect answer.
そこで、本開示では、回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する質問回答セットをユーザに提示して改善を促し、質問回答表示サーバの精度を向上させることを目的とする。 Therefore, in the present disclosure, the degree of confusion between the answer patterns and the question / answer sets of the corresponding question patterns is calculated, and the confused question / answer sets are presented to the user to promote improvement and improve the accuracy of the question / answer display server. The purpose is.
本開示の一態様における質問回答表示サーバは、回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶部と、ユーザ端末に対話形式のインタフェースを提供し、ユーザ端末により入力された質問文を取得する質問文取得部と、取得した質問文と記憶部に記憶している質問パターンとの類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示部と、質問回答データベースに基づき、回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する質問回答セットをユーザに提示する混同提示部とを備える。 The question-and-answer display server in one aspect of the present disclosure provides a storage unit that stores a question-and-answer database including an answer pattern and a corresponding question pattern, and an interactive interface to the user terminal, and asks a question input by the user terminal. An answer pattern display unit that displays the corresponding answer pattern on the user terminal based on the degree of similarity between the question sentence acquisition unit that acquires the sentence and the question pattern stored in the acquired question sentence and the storage unit, and the question answer. Based on the database, it is provided with a confusion presentation unit that calculates the degree of confusion between the answer patterns and the question and answer sets of the corresponding question patterns, and presents the confusion question and answer sets to the user.
本開示の一態様における質問回答表示方法は、回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶ステップと、ユーザ端末に対話形式のインタフェースを提供し、ユーザ端末により入力された質問文を取得する質問文取得ステップと、取得した質問文と記憶ステップにて記憶した質問パターンとの類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示ステップと、質問回答データベースに基づき、回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する質問回答セットをユーザに提示する混同提示ステップとを備える。 The question-and-answer display method in one aspect of the present disclosure provides a storage step for storing a question-and-answer database including an answer pattern and a corresponding question pattern, and an interactive interface to the user terminal, and asks a question input by the user terminal. An answer pattern display step for displaying the corresponding answer pattern on the user terminal based on the similarity between the question sentence acquisition step for acquiring a sentence and the question pattern memorized in the acquired question sentence and the memory step, and a question answer database. Based on the above, the degree of confusion between the answer patterns and the question-and-answer sets of the corresponding question patterns is calculated, and the confusion presentation step of presenting the confused question-and-answer set to the user is provided.
本開示の一態様における質問回答表示プログラムは、回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶ステップと、ユーザ端末に対話形式のインタフェースを提供し、ユーザ端末により入力された質問文を取得する質問文取得ステップと、取得した質問文と記憶ステップにて記憶した質問パターンとの類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示ステップと、質問回答データベースに基づき、回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する質問回答セットをユーザに提示する混同提示ステップとをコンピュータに実行させるためのプログラムである。 The question-and-answer display program in one aspect of the present disclosure provides a storage step for storing a question-and-answer database containing an answer pattern and a corresponding question pattern, and an interactive interface to the user terminal, and asks a question entered by the user terminal. An answer pattern display step for displaying the corresponding answer pattern on the user terminal based on the similarity between the question sentence acquisition step for acquiring a sentence and the question pattern memorized in the acquired question sentence and the memory step, and a question answer database. Based on the above, the degree of confusion between the answer patterns and the question-and-answer sets of the corresponding question patterns is calculated, and the computer is made to execute the confusion presentation step of presenting the confused question-and-answer set to the user.
本開示によれば、質問回答表示サーバにおいて、登録された質問回答データベースから類似する質問回答セットを判別し、修正を促すことにより、ユーザの意図した回答を行う回答精度を高めることが可能となる。 According to the present disclosure, it is possible to improve the accuracy of answering the user's intention by identifying a similar question / answer set from the registered question / answer database and prompting the correction in the question / answer display server. ..
以下、本開示の実施形態に係る質問回答表示サーバ、質問回答表示方法及び質問回答表示プログラムについて図面を参照しながら説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本開示の内容を不当に限定するものではない。また、実施形態で説明される構成の全てが、本開示の必須構成要件であるとは限らない。また、実施形態を説明する全図において、共通の構成要素には同一の符号を付し、繰り返しの説明を省略する。 Hereinafter, the question / answer display server, the question / answer display method, and the question / answer display program according to the embodiment of the present disclosure will be described with reference to the drawings. It should be noted that the embodiments described below do not unreasonably limit the contents of the present disclosure described in the claims. Moreover, not all of the configurations described in the embodiments are essential configuration requirements of the present disclosure. Further, in all the drawings for explaining the embodiments, the common components are designated by the same reference numerals, and the repeated description will be omitted.
図１は、本開示にかかる質問回答表示システム１の全体構成を示す図である。以下、これを参照して、本開示にかかる質問回答表示システム１の構成について説明する。 FIG. 1 is a diagram showing an overall configuration of a question / answer display system 1 according to the present disclosure. Hereinafter, the configuration of the question / answer display system 1 according to the present disclosure will be described with reference to this.
＜構成＞
質問回答表示サーバ１００は、記憶部１０１と、質問文取得部１０２と、回答パターン表示部１０３と、混同提示部１０４とを有する。質問回答表示サーバ１００は、ネットワークＮＷを介して、ユーザ端末２００−１〜２００−Ｎ及び管理者端末２０１−１〜２０１−Ｍと接続されている。質問回答表示サーバ１００は、コンピュータにプログラムを実装することにより実現する。なお、質問回答表示サーバ１００を構成する各部は、複数のコンピュータに分散して実現されていても構わない。また、記憶部１０１は対話サーバ外に存在しても構わない。
<Composition>
The question-and-answer display server 100 has a storage unit 101, a question sentence acquisition unit 102, an answer pattern display unit 103, and a confusion presentation unit 104. The question-and-answer display server 100 is connected to the user terminals 200-1 to 200-N and the administrator terminals 201-1 to 201-M via the network NW. The question-and-answer display server 100 is realized by implementing a program on a computer. It should be noted that each part constituting the question / answer display server 100 may be distributed to a plurality of computers. Further, the storage unit 101 may exist outside the dialogue server.
ユーザ端末２００−１〜２００−Ｎは、質問文の入力を受け付けて質問回答表示サーバ１００に対して発信し、当該質問文に対して質問回答表示サーバ１００が生成した回答パターンを受信して表示する端末である。ユーザ端末２００−１〜２００−Ｎは、例えば、ユーザサポートにおいて、不明な点の問合せを行おうとする一般ユーザが扱う端末が想定される。 The user terminals 200-1 to 200-N receive the input of the question text and send it to the question / answer display server 100, and receive and display the answer pattern generated by the question / answer display server 100 for the question text. It is a terminal to do. The user terminals 200-1 to 200-N are assumed to be terminals handled by general users who intend to make inquiries about unclear points in user support, for example.
管理者端末２０１−１〜２０１−Ｍは、記憶部１０１の質問文とそれに対応する回答パターンを含むデータベースにアクセスして管理する端末である。管理者端末２０１−１〜２０１−Ｍは、例えば、ユーザサポートにおいて、問合せ対応を行うサポート管理者側が扱う端末が想定される。 The administrator terminals 201-1 to 201-M are terminals that access and manage a database including a question sentence of the storage unit 101 and a corresponding answer pattern. The administrator terminals 201-1 to 201-M are assumed to be terminals handled by the support administrator who handles inquiries in user support, for example.
記憶部１０１は、回答パターン及び質問パターンを含む質問回答データベースを記憶する。質問回答データベースは例えば、ある回答パターンとそれに対応する一又は複数の質問パターンが記憶される。 The storage unit 101 stores a question / answer database including the answer pattern and the question pattern. The question-and-answer database stores, for example, a certain answer pattern and one or more question patterns corresponding thereto.
質問回答表示サーバ１００は、記憶部１０１の質問回答データベースを用いて、ユーザがユーザ端末２００−１〜２００−Ｎを介して入力した質問文に対して、対応する回答パターンを表示し、チャットなどの対話形式でやり取りを進めていくことが可能なインタフェースを提供する。 The question / answer display server 100 uses the question / answer database of the storage unit 101 to display the corresponding answer pattern for the question text input by the user via the user terminals 200-1 to 200-N, and chats or the like. It provides an interface that allows you to interact with each other.
質問文取得部１０２は、ネットワークＮＷを介して、ユーザ端末２００−１〜２００−Ｎ又は／及び管理者端末２０１−１〜２００−Ｍから質問文を取得する。質問文は、自然文の形式で取得することが可能である。自然文の形式で質問を可能とすることにより、ユーザは人に問合せているのと同じような感覚で簡単に問合せを行うことが可能となる。なお、キーワード等を示す単語を取得してもよい。 The question text acquisition unit 102 acquires the question text from the user terminals 200-1 to 200-N and / and the administrator terminals 201-1 to 200-M via the network NW. Question sentences can be obtained in the form of natural sentences. By enabling questions in the form of natural sentences, users can easily make inquiries as if they were inquiring to a person. In addition, a word indicating a keyword or the like may be acquired.
回答パターン表示部１０３は、質問文取得部１０２で取得した質問文に対して、記憶部１０１に登録されている質問パターンと比較し、質問パターンとの類似度を算出する。ここで、質問パターンとの類似度とは、同じ回答パターンに対応する質問パターンの集合である質問パターン群との類似度や、質問パターンを元にした関数やカテゴリ等との類似度も含まれる。類似度の算出に際しては、例えば、自然言語処理により計算する。具体的には、質問パターンと質問文のキーワードをそれぞれ抽出しておき、キーワードの一致度をキーワード毎の重みなども用いて類似度としてもよい。他にも、質問パターンと質問文をそれぞれベクトル化し、コサイン類似度を用いて類似度を算出してもよい。このように、類似度を用いて質問文がどの質問パターンに類似するか算出することで、記憶部に記憶されている質問パターンと同一でなくとも、回答パターンを選択することが可能となる。 The answer pattern display unit 103 compares the question text acquired by the question text acquisition unit 102 with the question pattern registered in the storage unit 101, and calculates the degree of similarity with the question pattern. Here, the similarity with the question pattern includes the similarity with the question pattern group, which is a set of question patterns corresponding to the same answer pattern, and the similarity with the function, category, etc. based on the question pattern. .. When calculating the degree of similarity, for example, it is calculated by natural language processing. Specifically, the question pattern and the keyword of the question sentence may be extracted respectively, and the degree of matching of the keywords may be set as the degree of similarity by using the weight of each keyword. Alternatively, the question pattern and the question sentence may be vectorized and the similarity may be calculated using the cosine similarity. In this way, by calculating which question pattern the question sentence resembles using the similarity, it is possible to select an answer pattern even if it is not the same as the question pattern stored in the storage unit.
回答パターン表示部１０３は、質問文と質問パターンとの類似度を算出するに際して、ユーザ及び／又は管理者が入力した質問パターンを学習データ（教師データともいう）の候補として機械学習をさせることにより、類似度算出のためのパラメータを更新してもよい。このような機械学習を行うことにより、ユーザの意図にあった回答パターンを提示する精度を向上させることが可能となる。 The answer pattern display unit 103 performs machine learning using the question pattern input by the user and / or the administrator as a candidate for learning data (also referred to as teacher data) when calculating the similarity between the question sentence and the question pattern. , The parameters for calculating the similarity may be updated. By performing such machine learning, it is possible to improve the accuracy of presenting the answer pattern that suits the user's intention.
回答パターン表示部１０３は、類似度に基づいて、質問文との間の類似度の高い質問パターンに対応する回答パターンをユーザ端末２００−１〜２００−Ｎに表示する。 The answer pattern display unit 103 displays the answer pattern corresponding to the question pattern having a high degree of similarity with the question sentence on the user terminals 200-1 to 200-N based on the similarity.
また、回答パターンとともに、確信度を合せて表示してもよい。確信度とは、対話サーバにおいて、質問文が記憶部１０１に記憶された質問パターンと同じことを意味しているという自信の程度を示す尺度であり、回答パターン表示部１０３で算出された類似度を用いてもよい。確信度は、類似度をそのまま用いず、他の方法により質問文と質問パターンとの一致の程度を評価した上で、算出してもよい。他の方法とは、例えば、類似度をコサイン類似度により算出した場合に、確信度をキーワードの一致度で算出するなどの方法を含む。確信度を表示する場合には、数値で表示してもよいし、その程度をアイコン等で表現して表示してもよい。 In addition, the degree of certainty may be displayed together with the answer pattern. The degree of certainty is a measure of the degree of confidence that the question sentence means the same as the question pattern stored in the storage unit 101 in the dialogue server, and the degree of similarity calculated by the answer pattern display unit 103. May be used. The degree of certainty may be calculated after evaluating the degree of matching between the question sentence and the question pattern by another method without using the degree of similarity as it is. The other method includes, for example, a method of calculating the degree of certainty by the degree of matching of keywords when the degree of similarity is calculated by the degree of cosine similarity. When the degree of certainty is displayed, it may be displayed as a numerical value, or the degree may be expressed by an icon or the like and displayed.
なお、回答パターン表示部１０３は、確信度を算出した上で、ある一定の閾値を設定し、閾値以上の回答パターンを全て、または上位ｎ件を表示させてもよい。このように、一定の確信度があることを前提として、複数件の回答パターンを表示させることで、ユーザが求める回答パターンを表示することができる可能性を高めることが可能となる。 The response pattern display unit 103 may set a certain threshold value after calculating the certainty, and display all the answer patterns above the threshold value or the top n cases. In this way, by displaying a plurality of response patterns on the premise that there is a certain degree of certainty, it is possible to increase the possibility that the response pattern desired by the user can be displayed.
また、回答パターン表示部１０３は、確信度の上位１つのみを回答パターンとして表示してもよい。さらに、回答パターン表示部１０３は、設定した閾値以上の回答パターンがない場合には、回答パターンの表示を行わない又は「質問を変更してください」など、別の質問を促すような表示を行うことも可能である。これにより、ユーザは、意図した質問に対する回答とは異なる回答パターンが表示されることを避け、不要な混乱を招かずに済むことが可能となる。 Further, the answer pattern display unit 103 may display only the top one with the highest degree of certainty as the answer pattern. Further, the answer pattern display unit 103 does not display the answer pattern or displays a message such as "Please change the question" to prompt another question when there is no answer pattern exceeding the set threshold value. It is also possible. As a result, the user can avoid displaying an answer pattern different from the answer to the intended question and avoid unnecessary confusion.
混同提示部１０４は、記憶部１０１に記憶される回答パターンとそれに対応する質問パターンの質問回答セットについて、質問回答セット同士の混同度合いを算出して、管理者端末２０１−１〜２０１−Ｍを通して管理者に提示する。また、管理者に対して、混同する質問回答セットについて、質問回答セットの統合や質問パターンの編集を促してもよい。 The confusion presentation unit 104 calculates the degree of confusion between the question and answer sets for the answer patterns stored in the storage unit 101 and the question and answer sets of the corresponding question patterns, and passes through the administrator terminals 201-1 to 201-M. Present it to the administrator. You may also encourage the administrator to integrate the question-and-answer sets and edit the question patterns for the confused question-and-answer sets.
質問回答セットの統合とは、回答パターンＡ１に対して、質問パターンＡ１１〜Ａ１Ｎがある質問回答セットと、回答パターンＡ２に対して、質問パターンＡ２１〜Ａ２Ｍがあるときに、回答パターンとして、Ａ１又はＡ２のどちらかを選択し、選択された回答パターンに対して、質問パターンＡ１１〜Ａ１Ｎ及びＡ２１〜Ａ２Ｍを結びつけることをいう。 The integration of the question / answer set means that when there is a question / answer set having question patterns A11 to A1N for the answer pattern A1 and question patterns A21 to A2M for the answer pattern A2, the answer pattern is A1 or It means that either of A2 is selected and the question patterns A11 to A1N and A21 to A2M are linked to the selected answer pattern.
質問回答セットの統合は、上記のように、いずれかの回答パターンに対して、質問パターンを統合することをいうが、統合に際して、統合先の回答パターンを編集してもよい。 The integration of the question-and-answer set means to integrate the question pattern for any of the answer patterns as described above, but the answer pattern of the integration destination may be edited at the time of integration.
また、質問回答セットの統合は、質問回答セット２つの統合に限らず、３つ以上の質問回答セットを統合してもよい。 Further, the integration of the question / answer set is not limited to the integration of two question / answer sets, and three or more question / answer sets may be integrated.
質問パターンの編集とは、混同する質問回答セットに属する質問パターンについて、その質問パターンを編集することをいう。また、編集とは、質問パターンに対応させる回答パターンを変更することや、質問パターンの内容自体を編集することを含んでもよい。 Editing a question pattern means editing a question pattern that belongs to a confused question-and-answer set. Further, the editing may include changing the answer pattern corresponding to the question pattern and editing the content of the question pattern itself.
混同提示部１０４は、質問回答セット同士の混同度合いを算出して提示し、及び／又は、質問回答セットの編集や統合を促す。質問回答セットの混同度合いは、例えば、次のように算出する。混同提示部１０４は、管理者が回答パターンに紐づけて登録した質問パターンのうち、その一部を混同度合い算出のためのテストセットとして用いる。すなわち、テストセットとして選ばれた質問パターンは、類似度算出、又は類似度算出のために用いる学習モデルを構築するための質問パターンには含めない。 The confusion presentation unit 104 calculates and presents the degree of confusion between the question and answer sets, and / or promotes editing and integration of the question and answer sets. The degree of confusion in the question-and-answer set is calculated, for example, as follows. The confusion presentation unit 104 uses a part of the question patterns registered by the administrator in association with the answer pattern as a test set for calculating the degree of confusion. That is, the question pattern selected as the test set is not included in the question pattern for calculating the similarity or constructing the learning model used for calculating the similarity.
質問パターンの一部とは、例えば質問パターンの１０％や２０％など一定割合としてもよいし、５や１０など一定数としてもよい。また、その数や割合をランダムに定めてもよい。そして、各回答パターンに対して、一定割合の質問パターンをテストセットとして用意し、テストセットを質問回答表示サーバ１００に入力することで、どの回答パターンが表示されるかテストを行う。 The part of the question pattern may be, for example, a fixed ratio such as 10% or 20% of the question pattern, or a fixed number such as 5 or 10. In addition, the number and ratio may be randomly determined. Then, for each answer pattern, a fixed ratio of question patterns is prepared as a test set, and the test set is input to the question / answer display server 100 to test which answer pattern is displayed.
例えば、回答パターンＡ１に紐づけられた質問パターンのテストパターンＱ１１，Ｑ１２，Ｑ１３、回答パターンＡ２に紐づけられた質問パターンのテストパターンＱ２１，Ｑ２２，Ｑ２３、回答パターンＡ３に紐づけられた質問パターンのテストパターンＱ３１，Ｑ３２，Ｑ３３が存在するときに、Ｑ１１からＱ３３のテストパターンを質問文として質問回答表示サーバ１００に入力され、回答パターン表示部１０３がいずれの回答パターンを出力するか検査する。 For example, the test patterns Q11, Q12, Q13 of the question pattern associated with the answer pattern A1, the test patterns Q21, Q22, Q23 of the question pattern associated with the answer pattern A2, and the question pattern associated with the answer pattern A3. When the test patterns Q31, Q32, and Q33 of the above are present, the test patterns of Q11 to Q33 are input to the question / answer display server 100 as question sentences, and the answer pattern display unit 103 inspects which answer pattern is output.
正しく回答パターンが出力されるとすれば、上記のテストパターンが入力された場合、回答パターン表示部１０３は、Ｑ１１〜Ｑ１３についてはＡ１、Ｑ１２〜Ｑ１３についてはＡ２、Ｑ３１〜Ｑ３３についてはＡ３を出力する。しかし、回答パターン表示部１０３が、異なる回答パターンが表示されたとしたならば、その回答パターン同士が混同している可能性があることになる。 Assuming that the answer pattern is output correctly, when the above test pattern is input, the answer pattern display unit 103 outputs A1 for Q11 to Q13, A2 for Q12 to Q13, and A3 for Q31 to Q33. To do. However, if the answer pattern display unit 103 displays different answer patterns, there is a possibility that the answer patterns are confused with each other.
そして、異なる回答パターンが表示された場合に、その個数やテストパターンに占める割合を用いて、混同する質問回答セットを判断してもよい。また、閾値を設定し、閾値を超えて異なる回答パターンが表示されたものを混同する質問回答セットとして判断してもよい。 Then, when different answer patterns are displayed, the question-and-answer set to be confused may be determined by using the number or the ratio to the test pattern. Further, a threshold value may be set, and a question / answer set in which different answer patterns are displayed exceeding the threshold value may be confused.
混同提示部１０４は、好ましくは、テストセットに対して、回答パターン表示部１０３が出力した回答パターンにより、混同行列を作成するとよい。混同提示部１０４は、テストセットの質問パターンに対してどの回答パターンが出力されたかを混同行列として作成することにより、質問回答表示サーバ１００又は管理者において、混同している質問回答セットを定量的に把握しやすくすることが可能となる。 The confusion presentation unit 104 preferably creates a confusion matrix for the test set based on the response pattern output by the response pattern display unit 103. The confusion presentation unit 104 quantitatively determines which answer pattern is output for the question pattern of the test set as a confusion matrix, thereby quantitatively confusing the question / answer set in the question / answer display server 100 or the administrator. It is possible to make it easier to understand.
混同提示部１０４は、作成した混同行列に基づいて、管理者に対して、質問回答セット同士の混同度合いを数量的に提示してもよい。 The confusion presentation unit 104 may quantitatively present the degree of confusion between the question and answer sets to the manager based on the created confusion matrix.
さらに、混同提示部１０４は、作成した混同行列に基づいて、閾値を設定し、誤りの数や割合が閾値を超える混同度合いを示す質問回答セットを提示してもよい。 Further, the confusion presentation unit 104 may set a threshold value based on the created confusion matrix and present a question / answer set indicating the degree of confusion in which the number or ratio of errors exceeds the threshold value.
混同提示部１０４は、管理者に対して、閾値を超える混同度合いを示す質問回答セット同士を提示し、及び／又は、混同度合いの大きな上位Ｎ個の質問回答セットを提示してもよい。 The confusion presentation unit 104 may present to the administrator question-and-answer sets indicating the degree of confusion exceeding the threshold value, and / or present the top N question-and-answer sets having a large degree of confusion.
さらに、混同提示部１０４は、管理者に対して、上記のように混同を示す質問回答セット同士の統合を促し、及び／又はその質問回答セットの質問パターンの編集、見直しを管理者に対して促しても良い。 Further, the confusion presentation unit 104 urges the administrator to integrate the question-and-answer sets indicating confusion as described above, and / or edits and reviews the question pattern of the question-and-answer set to the administrator. You may urge.
このように、混同提示部１０４において、混同の生じやすい質問回答セットを提示し、データベースの修正を促すことで、記憶部１０１の質問回答データベースから不適切な質問パターン及び／又は回答パターンを修正し、当該データベースを適切なものに維持することが可能となる。 In this way, the confusion presentation unit 104 presents a question / answer set that is likely to be confused and prompts the database to be corrected, thereby correcting an inappropriate question pattern and / or answer pattern from the question / answer database of the storage unit 101. , It becomes possible to maintain the database as appropriate.
＜質問回答データベース及び質問回答表示サーバの基本的動作＞
図２は、記憶部１０１が記憶する質問回答データベースの具体例を示す。質問回答データベースは、回答パターンと質問パターンとの組み合わせからなり、一つの回答パターンに対して、一又は複数の質問パターンが用意されている。
<Basic operation of question / answer database and question / answer display server>
FIG. 2 shows a specific example of the question / answer database stored in the storage unit 101. The question-and-answer database is composed of a combination of answer patterns and question patterns, and one or more question patterns are prepared for one answer pattern.
ユーザから質問回答表示サーバに対して問合せが行われる場合には、ユーザはユーザ端末２００−１〜２００−Ｎを操作して質問文を入力し、質問文取得部１０２は、ユーザから入力された質問文を取得する。 When the user makes an inquiry to the question / answer display server, the user operates the user terminals 200-1 to 200-N to input the question text, and the question text acquisition unit 102 is input from the user. Get the question text.
図３は、質問文取得部がユーザ端末２００−１〜２００−Ｎ又は／及び管理者端末２０１−１〜２０１−Ｍに対して質問文を取得する際のユーザインタフェース１１１の一例を示す。質問文取得部では、キーボードやタッチパネルなどから入力することにより、質問文を取得する。また、音声認識エンジンを介して音声により入力する構成とすることも可能である。 FIG. 3 shows an example of the user interface 111 when the question text acquisition unit acquires the question text for the user terminals 200-1 to 200-N and / and the administrator terminals 201-1 to 201-M. The question sentence acquisition unit acquires the question sentence by inputting from a keyboard or a touch panel. It is also possible to have a configuration in which voice input is performed via a voice recognition engine.
回答パターン表示部１０３は、質問文と記憶部１０１に記憶された質問パターンとの類似度を算出する。ここで、質問パターンとの類似度とは、同じ回答パターンに対応する質問パターンの集合である質問パターン群との類似度や、質問パターンを元にした関数やカテゴリ等との類似度も含まれる。 The answer pattern display unit 103 calculates the degree of similarity between the question sentence and the question pattern stored in the storage unit 101. Here, the similarity with the question pattern includes the similarity with the question pattern group, which is a set of question patterns corresponding to the same answer pattern, and the similarity with the function, category, etc. based on the question pattern. ..
例えば、記憶部１０１には、回答パターンがＡ１からＡＮまでＮパターン登録されているとする。そして、質問パターンは、各回答パターンに対して、Ｑ１１からＱ１Ｍ１、Ｑ２１からＱ２Ｍ２、…ＱＮ１からＱＮＭＮまでの質問パターンが登録されている。このとき、質問パターンＱ１１からＱ１Ｍ１を質問パターン群Ｃ１、質問パターンＱ２１からＱ２Ｍ２を質問パターン群Ｃ２…質問パターンＱＮ１からＱＮＭＮを質問パターン群ＣＮとする。このとき、回答パターン表示部１０３は、質問文と質問パターン（Ｑ１１からＱＮＭＮまで）との類似度を算出してもよい。また、質問文と質問パターン群（Ｃ１からＣＮまで）との類似度を算出してもよい。さらに、質問パターンを基にした関数やカテゴリ等との類似度を算出しても良い。 For example, it is assumed that N patterns of answer patterns from A1 to AN are registered in the storage unit 101. As the question pattern, question patterns from Q11 to Q1M1, Q21 to Q2M2, ... QN1 to QNMN are registered for each answer pattern. At this time, the question patterns Q11 to Q1M1 are designated as the question pattern group C1, the question patterns Q21 to Q2M2 are designated as the question pattern group C2, and the question patterns QN1 to QNMN are designated as the question pattern group CN. At this time, the answer pattern display unit 103 may calculate the degree of similarity between the question sentence and the question pattern (from Q11 to QNMN). Further, the degree of similarity between the question sentence and the question pattern group (from C1 to CN) may be calculated. Furthermore, the degree of similarity with functions, categories, etc. based on the question pattern may be calculated.
回答パターン表示部１０３は、質問文と記憶部１０１に記憶された質問パターンとの類似度を算出する。例えば、「住所情報を変更したい」という質問文を取得し、記憶部１０１にＣ１、Ｃ２、Ｃ３という質問パターン群が登録されていたとする。回答パターン表示部１０３は、質問文と各質問パターンとの類似度を算出し、この場合、例えば各質問パターン群との類似度がそれぞれ、0.92、0.70、0.21などのように算出される。 The answer pattern display unit 103 calculates the degree of similarity between the question sentence and the question pattern stored in the storage unit 101. For example, suppose that a question sentence "I want to change the address information" is acquired, and a group of question patterns C1, C2, and C3 are registered in the storage unit 101. The answer pattern display unit 103 calculates the degree of similarity between the question sentence and each question pattern, and in this case, for example, the degree of similarity with each question pattern group is calculated as 0.92, 0.70, 0.21, etc., respectively.
回答パターン表示部１０３は、質問文、質問パターン及び類似度を用いて、確信度を算出する。ここでは、例えば、質問パターン群Ｃ１に対して９８％、Ｃ２に対して７８％、Ｃ３に対して２０％と計算される。また、閾値を６０％としている場合には、Ｃ１及びＣ２の確信度が閾値を超えるため、これに対する回答パターンであるＡ１、Ａ２の回答パターンの表示を確信度の情報とともに、ユーザ端末２００−１〜２００−Ｎに対して表示する。 The answer pattern display unit 103 calculates the degree of certainty by using the question sentence, the question pattern, and the degree of similarity. Here, for example, it is calculated as 98% for the question pattern group C1, 78% for C2, and 20% for C3. Further, when the threshold value is set to 60%, the certainty of C1 and C2 exceeds the threshold value, so that the answer patterns of A1 and A2, which are the answer patterns for the threshold, are displayed together with the information of the certainty, and the user terminal 200-1. Display for ~ 200-N.
なお、回答パターンの表示を、上位１つのみとする場合には、上記確信度が閾値を超えたもののうち、最も確信度が高いＡ１の回答パターンのみを表示する。 When displaying only the top one answer pattern, only the answer pattern of A1 having the highest certainty among those whose certainty exceeds the threshold value is displayed.
図４は、回答パターン表示部１０３がユーザ端末２００−１〜２００−Ｎに対して表示させるインタフェースの一例を示す。なお、この例では、右側にユーザが入力した質問文を示し、左側に対話サーバが選択した回答パターンを示す。 FIG. 4 shows an example of an interface displayed by the response pattern display unit 103 on the user terminals 200-1 to 200-N. In this example, the question text entered by the user is shown on the right side, and the answer pattern selected by the dialogue server is shown on the left side.
以上が、質問回答表示サーバ１００の基本的な動作内容である。 The above is the basic operation contents of the question / answer display server 100.
＜混同提示部の具体的動作＞
混同提示部１０４は、記憶部１０１に記憶される回答パターンとそれに対応する質問パターンの質問回答セットについて、質問回答セット同士の混同度合いを算出して、管理者端末２０１−１〜２０１−Ｍを通して管理者に提示する。また、管理者に対して、混同する質問回答セットについて、質問回答セットの統合や質問パターンの編集を促してもよい。具体的には以下のように混同度合いを算出してもよい。
<Specific operation of the confusion presentation section>
The confusion presentation unit 104 calculates the degree of confusion between the question and answer sets for the answer pattern stored in the storage unit 101 and the question and answer set of the corresponding question pattern, and passes through the administrator terminals 201-1 to 201-M. Present it to the administrator. You may also encourage the administrator to integrate the question-and-answer sets and edit the question patterns for the confused question-and-answer sets. Specifically, the degree of confusion may be calculated as follows.
記憶部１０１に記憶される質問回答セットは、一つの回答パターンに対して一又は複数の質問パターンが登録されている。このうちの一部、例えば、質問パターンのうちの１割とか２割程度のものや、５や１０などの数など、一定の割合ないし数をテストセットとして用意する。そして、回答パターン表示部１０３において、質問文に対する類似度を算出する過程においては、テストセットは用いず、テストセットを除く質問パターンを用いる。 In the question / answer set stored in the storage unit 101, one or a plurality of question patterns are registered for one answer pattern. Prepare a certain ratio or number as a test set, such as a part of these, for example, about 10% or 20% of the question patterns, or a number such as 5 or 10. Then, in the process of calculating the similarity to the question sentence in the answer pattern display unit 103, the test set is not used, but the question pattern excluding the test set is used.
例えば、「パスワードを忘れた」、「パスワードを教えて欲しい」、「パスワードをなくした」、「パスワードが違う」、「ログインできない」の質問パターンがあり、これに対応する回答パターンが「こちらからパスワードを再設定してください」であったとする。このとき、「パスワードを忘れた」を質問パターンのテストセットとし、残りの「パスワードを教えて欲しい」、「パスワードをなくした」、「パスワードが違う」、「ログインできない」を回答パターン表示部１０３における類似度算出のための質問パターン群として使用する。 For example, there are question patterns such as "I forgot my password", "I want you to tell me my password", "I lost my password", "The password is wrong", and "I can't log in", and the corresponding answer patterns are "From here". Please reset your password. " At this time, "I forgot my password" is used as a test set for the question pattern, and the remaining "I want you to tell me your password", "I lost my password", "The password is incorrect", and "I cannot log in" are the answer pattern display unit 103. It is used as a question pattern group for calculating the similarity in.
以下、記号を用いて、混同提示部１０４の具体的な動作例を示す。例えば、記憶部１０１には、回答パターンがＡ１からＡＮまでＮパターン登録されているとする。そして、質問パターンは、各回答パターンに対して、Ｑ１１からＱ１Ｍ１、Ｑ２１からＱ２Ｍ２、…ＱＮ１からＱＮＭＮまでの質問パターンが登録されている。この中から、テストセットの質問パターンとして、各質問パターンからランダムにその一部である、Ｑ１１からＱ１Ｋ１、Ｑ２１からＱ２Ｋ２、…ＱＮ１からＱＮＫＮの質問パターンを抽出し、テストセットとする。 Hereinafter, a specific operation example of the confusion presentation unit 104 will be shown using symbols. For example, it is assumed that N patterns of answer patterns from A1 to AN are registered in the storage unit 101. As the question pattern, question patterns from Q11 to Q1M1, Q21 to Q2M2, ... QN1 to QNMN are registered for each answer pattern. From this, as the question patterns of the test set, the question patterns of Q11 to Q1K1, Q21 to Q2K2, ... QN1 to QNKN, which are a part of each question pattern, are randomly extracted and used as a test set.
混同提示部１０４は、テストセットを質問文として質問回答表示サーバ１００に入力し、選択される回答パターンを取得する。このとき、回答パターン表示部１０３においては、質問回答セットからテストセットが除かれたものが利用され、類似度が算出される。 The confusion presentation unit 104 inputs the test set as a question sentence into the question / answer display server 100, and acquires the selected answer pattern. At this time, in the answer pattern display unit 103, the question answer set minus the test set is used, and the similarity is calculated.
そして、テストセットの質問パターンを入力として、質問回答表示サーバ１００がいずれの回答パターンを表示するか、その正解、不正解を集計して、一定の閾値を超えて不正解となる質問回答セットを混同するものとして判断する。 Then, by inputting the question pattern of the test set, which answer pattern the question / answer display server 100 displays, the correct answer and the incorrect answer are totaled, and the question / answer set that exceeds a certain threshold value and becomes an incorrect answer is created. Judge as confusing.
図５に、テストセットを質問回答表示サーバ１００に入力した結果得られる混同行列の具体例を示す。ここでは、わかりやすく、テストセットが各回答パターンＡ１からＡＮに対してそれぞれ１０個ずつあることを前提とする。回答パターンＡ１に対するテストセットの質問パターンにおいて、いずれもＡ１との回答が得られた場合、混同行列の１行１列には１０と入力される。回答パターンＡ２に対するテストセットの質問パターンにおいて、８個はＡ２との回答が得られたが、２つはＡ３との回答となった場合、混同行列の２行２列には８、３行２列には２と入力される。回答パターンＡ３に対するテストセットの質問パターンにおいて、６個はＡ３との回答が得られたが、４つはＡ２との回答となった場合、混同行列の２行３列には４、３行３列には６と入力される。このようにして、すべての回答パターンに対して、混同行列にその結果を入力する。 FIG. 5 shows a specific example of the confusion matrix obtained as a result of inputting the test set to the question / answer display server 100. Here, it is easy to understand, and it is assumed that there are 10 test sets for each answer pattern A1 to AN. In the question pattern of the test set for the answer pattern A1, when the answer of A1 is obtained, 10 is input in 1 row and 1 column of the confusion matrix. In the question pattern of the test set for the answer pattern A2, eight answers were obtained as A2, but when two answers were A3, the two rows and two columns of the confusion matrix were eight, three rows and two. 2 is entered in the column. In the question pattern of the test set for the answer pattern A3, 6 answers were A3, but when 4 answers were A2, the confusion matrix was 2 rows 3 columns 4 3 rows 3 6 is entered in the column. In this way, for all answer patterns, enter the result in the confusion matrix.
図５の混同行列では、回答パターンのＡ２とＡ３に混同が生じている。すなわち、すべてのテストセットにおいて正しく分類できたとするならば、混同行列は対角線上に値が入力され、そのほかは０となる。これに対し、図５では、対角線以外の２行３列及び３行２列に数字が入っているため、混同提示部１０４では、これらの回答パターンにおいて混同が生じていると判断する。すなわち、対角線以外の値を用いることにより、混同の判断を行う。 In the confusion matrix of FIG. 5, confusion has occurred in the answer patterns A2 and A3. That is, if all test sets can be classified correctly, the confusion matrix is entered with values diagonally, and the others are 0. On the other hand, in FIG. 5, since the numbers are contained in 2 rows and 3 columns and 3 rows and 2 columns other than the diagonal lines, the confusion presentation unit 104 determines that confusion has occurred in these answer patterns. That is, the confusion is determined by using a value other than the diagonal line.
混同提示部１０４において、混同が生じていると判断するに際して、例えば、ＡＪとＡＬの回答パターンに混同が生ずるとする場合、Ｊ行Ｌ列とＬ行Ｊ列の値の合計値又は一方の値が閾値を上回る場合や、これらの値がテストセットに対して一定割合以上となった場合を検出してもよい。 When the confusion presentation unit 104 determines that confusion has occurred, for example, when confusion occurs in the answer patterns of AJ and AL, the total value of the values of J row L column and L row J column or one of the values. May be detected when the value exceeds the threshold value or when these values exceed a certain ratio with respect to the test set.
混同提示部１０４は、管理者に対して、混同行列を表示し、回答パターンＡＪと回答パターンＡＬが混同していることを表示してもよい。 The confusion presentation unit 104 may display the confusion matrix to the administrator and indicate that the answer pattern AJ and the answer pattern AL are confused.
混同提示部１０４は、管理者に対して、混同していると判断した回答パターンについて、これらを統合することを提案してもよい。 The confusion presentation unit 104 may propose to the administrator to integrate the answer patterns determined to be confused.
図６に、混同している回答パターンについて、統合することを提案する具体的なインタフェースの一例を示す。統合することに対して、「はい」を選択した場合には、どちらの回答パターンからどちらの回答パターンに統合するか質問をする。例えば、「パスワードの変更」を「パスワードの再設定」に統合する場合、回答パターンとしては、「パスワードの再設定」の回答パターンが選ばれ、この回答パターンに対して、「パスワードの変更」と「パスワードの再設定」の質問パターンが紐づけられることとなる。 FIG. 6 shows an example of a specific interface that proposes to integrate confused response patterns. If you select "Yes" for integration, ask which answer pattern to integrate into which answer pattern. For example, when "change password" is integrated into "reset password", the answer pattern "reset password" is selected, and "change password" is used for this answer pattern. The question pattern of "reset password" will be linked.
混同提示部１０４は、管理者に対して、混同していると判断した質問回答セットについて、質問パターンの編集を促しても良い。 The confusion presentation unit 104 may urge the administrator to edit the question pattern for the question / answer set determined to be confused.
図７に、混同している回答パターンについて、質問パターンの振り直しを提案する具体的なインタフェースの一例を示す。質問パターンを編集、すなわち回答パターンへの対応を振り直すことに対して、「はい」を選択した場合には、混同している回答パターンに紐づけられた質問パターンを提示していき、従来登録されていた回答パターン、混同している先の回答パターンに加え、そのほかの回答パターンも選択できるようにしておき、管理者に対して、質問パターンを振り直させることで質問回答セットを登録しなおしてもよい。 FIG. 7 shows an example of a specific interface that proposes reassignment of the question pattern for the confused answer pattern. If you select "Yes" for editing the question pattern, that is, reassigning the response to the answer pattern, the question pattern associated with the confused answer pattern will be presented and registered in the past. In addition to the answer patterns that have been confused and the answer patterns that have been confused, other answer patterns can be selected, and the administrator is asked to reassign the question patterns to re-register the question and answer set. You may.
また、混同している回答パターンに紐づけられた質問パターンを全部ないし複数提示し、従来登録された回答パターン、混同している先の回答パターンも表示した上で、ドラッグアンドドロップなどで対応する回答パターンを振り直すようにしてもよい。このとき、その他の回答パターンも選択できるようにしてもよい。 In addition, all or multiple question patterns associated with the confused answer patterns are presented, and the previously registered answer patterns and the confused answer patterns are also displayed, and then dragged and dropped. You may try to reassign the answer pattern. At this time, other answer patterns may be selected.
このようにして、混同提示部１０４は、管理者に対して、混同していると判断される質問回答セットを提示するとともに、質問回答セットを修正する場合に、インタフェースを提供する。混同提示部１０４がインタフェースを提供して混同していると判断される質問回答セットの修正を促すことにより、容易に記憶部１０１における質問回答データベースを修正することが可能となる。 In this way, the confusion presentation unit 104 presents the question / answer set determined to be confused to the administrator, and provides an interface when modifying the question / answer set. By providing an interface and prompting the correction of the question / answer set determined to be confused by the confusion presentation unit 104, it is possible to easily correct the question / answer database in the storage unit 101.
＜処理の流れ＞
図８は、本開示における質問回答表示サーバのユーザが使用する際の処理の流れを示す。
<Processing flow>
FIG. 8 shows a flow of processing when the user of the question / answer display server in the present disclosure uses it.
質問文取得部１０２は、ネットワークＮＷを介して、ユーザ端末２００−１〜２００−Ｎから質問文を取得する。質問文は、自然文の形式で取得することが可能である（ステップＳ１）。 The question text acquisition unit 102 acquires the question text from the user terminals 200-1 to 200-N via the network NW. The question text can be obtained in the form of a natural text (step S1).
回答パターン表示部１０３は、質問文取得部１０２で取得した質問文に対して、記憶部１０１に登録されている質問パターンと比較し、質問パターンとの類似度を算出する。類似度の算出に際しては、例えば、自然言語処理により計算することが可能である。 The answer pattern display unit 103 compares the question text acquired by the question text acquisition unit 102 with the question pattern registered in the storage unit 101, and calculates the degree of similarity with the question pattern. When calculating the degree of similarity, for example, it can be calculated by natural language processing.
また、回答パターン表示部１０３は、類似度に基づいて、質問文との間の類似度の高い質問パターンに対する回答パターンをユーザ端末２００−１〜２００−Ｎに表示する（ステップＳ２）。 Further, the answer pattern display unit 103 displays the answer pattern for the question pattern having a high degree of similarity with the question sentence on the user terminals 200-1 to 200-N based on the similarity (step S2).
図８は、本開示における質問回答表示サーバの質問回答データベースの質問回答セットの混同を判断する際の処理を示す。 FIG. 8 shows a process for determining confusion of the question / answer set of the question / answer database of the question / answer display server in the present disclosure.
混同提示部１０４は、管理者端末２０１−１〜２０１−Ｍからの操作を受付け、質問回答セットの混同度合いをテストする。このとき、質問回答セットのうち一部の質問セットをテストセットとし、テストセットの質問パターンがどの回答パターンとして出力されるか処理を行い、混同行列を算出する。 The confusion presentation unit 104 accepts operations from the administrator terminals 201-1 to 201-M, and tests the degree of confusion of the question-and-answer set. At this time, a part of the question and answer sets is set as a test set, processing is performed as to which answer pattern the question pattern of the test set is output, and the confusion matrix is calculated.
混同提示部１０４は、算出された混同行列から、混同を生じている質問回答セットを判別し、管理者に提示し、及び／又は、管理者に質問回答セットの統合を促し、及び／又は、質問パターンの振り直しを提案する（ステップＳ３）。 From the calculated confusion matrix, the confusion presentation unit 104 determines the question-and-answer set that is causing confusion, presents it to the administrator, and / or prompts the administrator to integrate the question-and-answer set, and / or, Propose a reassignment of the question pattern (step S3).
＜効果＞
本開示により、質問回答表示サーバにおいて、登録された質問回答セットから、類似する質問回答セットを判別することで、混同しやすい質問回答セットを把握することが可能となる。
<Effect>
According to the present disclosure, it is possible to grasp a question / answer set that is easily confused by discriminating a similar question / answer set from the registered question / answer set on the question / answer display server.
さらに、混同しやすい質問回答セットが、管理者から見て、実質的に同じ回答パターンであり、統合すべきものである場合には、質問回答表示サーバから統合を促すことにより、容易に質問回答セットの整理をすることが可能となる。 Furthermore, if the question-and-answer set that is easily confused has substantially the same answer pattern from the administrator's point of view and should be integrated, the question-and-answer set can be easily integrated by prompting the integration from the question-and-answer display server. It becomes possible to organize.
加えて、混同しやすい質問回答セットが、回答パターンとしては分けておくべきであるものの、質問パターンが適切に登録されていないが故に混同を生じている場合には、管理者が質問パターンを再度振り直し、質問回答セットを修正することにより、回答精度を高めることが可能となる。併せて、質問回答セットの修正においても、管理者が修正しやすいインタフェースを用意することにより、容易に実現が可能となる。 In addition, if a question-and-answer set that is easily confused should be separated as an answer pattern, but is confused because the question pattern is not properly registered, the administrator will re-do the question pattern. It is possible to improve the accuracy of answers by reassigning and modifying the question and answer set. At the same time, it is possible to easily modify the question / answer set by providing an interface that is easy for the administrator to modify.
＜プログラム＞
図１０は、コンピュータ８０１の構成を示す概略ブロック図である。コンピュータ８０１は、ＣＰＵ８０２、主記憶装置８０３、補助記憶装置８０４、インタフェース８０５を備える。
<Program>
FIG. 10 is a schematic block diagram showing the configuration of the computer 801. The computer 801 includes a CPU 802, a main storage device 803, an auxiliary storage device 804, and an interface 805.
ここで、質問回答表示サーバ１００を構成する各機能を実現するためのプログラムの詳細について説明する。 Here, the details of the program for realizing each function constituting the question-and-answer display server 100 will be described.
質問回答表示サーバ１００は、コンピュータ８０１に実装される。そして、評価装置１の各構成要素の動作は、プログラムの形式で補助記憶装置８０４に記憶されている。ＣＰＵ８０２は、プログラムを補助記憶装置８０４から読み出して主記憶装置８０３に展開し、当該プログラムに従って上記処理を実行する。また、ＣＰＵ８０２は、プログラムに従って、上述した記憶部に対応する記憶領域を主記憶装置８０３に確保する。 The question-and-answer display server 100 is mounted on the computer 801. The operation of each component of the evaluation device 1 is stored in the auxiliary storage device 804 in the form of a program. The CPU 802 reads the program from the auxiliary storage device 804, expands it to the main storage device 803, and executes the above processing according to the program. Further, the CPU 802 secures a storage area corresponding to the above-mentioned storage unit in the main storage device 803 according to the program.
当該プログラムは、具体的には、コンピュータ８０１において、回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶ステップと、ユーザ端末に対話形式のインタフェースを提供し、ユーザ端末により入力された質問文を取得する質問文取得ステップと、取得した質問文と記憶ステップにて記憶した質問パターンとの類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示ステップと、質問回答データベースに基づき、回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する質問回答セットをユーザに提示する混同提示ステップとをコンピュータに実行させるためのプログラムである。 Specifically, the program provides a storage step for storing a question-and-answer database including an answer pattern and a corresponding question pattern in computer 801 and an interactive interface to the user terminal, and is input by the user terminal. An answer pattern display step for displaying the corresponding answer pattern on the user terminal based on the similarity between the question sentence acquisition step for acquiring the question sentence and the question pattern memorized in the acquired question sentence and the memory step, and the question answer. Based on the database, it is a program for causing a computer to perform a confusion presentation step of calculating the degree of confusion between question and answer sets of answer patterns and corresponding question patterns and presenting the confusion question and answer sets to the user.
なお、補助記憶装置８０４は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例としては、インタフェース８０５を介して接続される磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＤＶＤ−ＲＯＭ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、半導体メモリ等が挙げられる。また、このプログラムがネットワークを介してコンピュータ８０１に配信される場合、配信を受けたコンピュータ８０１が当該プログラムを主記憶装置８０３に展開し、上記処理を実行してもよい。 The auxiliary storage device 804 is an example of a tangible medium that is not temporary. Other examples of non-temporary tangible media include magnetic disks, magneto-optical disks, CD-ROMs (Compact Disc Read-Only Memory), and DVD-ROMs (Digital Versailles Disc Read-Only) connected via interface 805. Memory), semiconductor memory, and the like. When this program is distributed to the computer 801 via the network, the distributed computer 801 may expand the program to the main storage device 803 and execute the above processing.
また、当該プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、当該プログラムは、前述した機能を補助記憶装置８０４に既に記憶されている他のプログラムとの組み合わせで実現するもの、いわゆる差分ファイル（差分プログラム）であってもよい。 Further, the program may be for realizing a part of the above-mentioned functions. Further, the program may be a so-called difference file (difference program) that realizes the above-mentioned function in combination with another program already stored in the auxiliary storage device 804.
以上、本開示の実施形態について説明したが、設計上の都合やその他の要因によって必要となる様々な修正や組み合わせは、請求項に記載されている発明や発明の実施形態に記載されている具体例に対応する発明の範囲に含まれるものとする。 Although the embodiments of the present disclosure have been described above, various modifications and combinations required due to design reasons and other factors are described in the invention described in the claims and the specific embodiments of the invention. It shall be included in the scope of the invention corresponding to the example.
１…質問回答表示システム、１００…質問回答表示サーバ、１０１…記憶部、１０２…質問文取得部、１０３…回答パターン表示部、１０４…混同表示部、１１１…ユーザ又は管理者に提示するインタフェース、１１２…混同行列、２００−１〜２００−Ｎ…ユーザ端末、２０１−１〜２０１−Ｍ…管理者端末、８０１…コンピュータ、８０２…ＣＰＵ、８０３…主記憶装置、８０４…補助記憶装置、８０５…インタフェース、ＮＷ…ネットワーク 1 ... Question / answer display system, 100 ... Question / answer display server, 101 ... Storage unit, 102 ... Question text acquisition unit, 103 ... Answer pattern display unit, 104 ... Confusion display unit, 111 ... Interface presented to user or administrator, 112 ... Confusion matrix, 200-1 to 200-N ... User terminal, 201-1 to 201-M ... Administrator terminal, 801 ... Computer, 802 ... CPU, 803 ... Main storage device, 804 ... Auxiliary storage device, 805 ... Interface, NW ... Network
Claims (5)
回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶部と、
ユーザ端末により入力された質問文を取得する質問文取得部と、
前記取得した質問文と前記記憶部に記憶している前記質問パターンとの類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示部と、
前記質問回答データベースに基づき、回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する２以上の質問回答セットを管理者に提示する混同提示部とを備え、
前記混同提示部は、テストセットの質問パターンに対して、正しくない回答パターンを出力したことを検出して混同度合を算出する質問回答表示サーバ。 It is a server that answers questions based on the registered answer patterns and the question patterns for them.
A storage unit that stores a question-and-answer database containing answer patterns and corresponding question patterns,
The question text acquisition unit that acquires the question text entered by the user terminal,
An answer pattern display unit that displays a corresponding answer pattern on the user terminal based on the degree of similarity between the acquired question text and the question pattern stored in the storage unit.
Based on the question-and-answer database, it is provided with a confusion presentation unit that calculates the degree of confusion between the answer patterns and the question-and-answer sets of the corresponding question patterns and presents two or more question-and-answer sets to be confused to the administrator .
The confusion presentation unit is a question-and-answer display server that detects that an incorrect answer pattern is output for the question pattern of the test set and calculates the degree of confusion .
回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶ステップと、
ユーザ端末により入力された質問文を取得する質問文取得ステップと、
前記取得した質問文と前記記憶ステップにて記憶した前記質問パターンとの類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示ステップと、
前記質問回答データベースに基づき、回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する２以上の質問回答セットを管理者に提示する混同提示ステップとを備え、
前記混同提示ステップは、テストセットの質問パターンに対して、正しくない回答パターンを出力したことを検出して混同度合を算出することをコンピュータに実行させるための質問回答表示方法。 It is a method of answering a question based on a registered answer pattern and a question pattern for it.
A memory step that stores a question-and-answer database containing answer patterns and their corresponding question patterns,
The question text acquisition step to acquire the question text input by the user terminal, and
An answer pattern display step for displaying the corresponding answer pattern on the user terminal based on the degree of similarity between the acquired question sentence and the question pattern stored in the storage step.
Based on the question-and-answer database, the degree of confusion between the answer patterns and the question-and-answer sets of the corresponding question patterns is calculated, and a confusion presentation step of presenting two or more question-and-answer sets to be confused to the administrator is provided.
The confusion presentation step is a question / answer display method for causing a computer to detect that an incorrect answer pattern is output for a question pattern of a test set and calculate the degree of confusion .
回答パターンとそれに対応する質問パターンを含む質問回答データベースを記憶する記憶ステップと、
ユーザ端末により入力された質問文を取得する質問文取得ステップと、
前記取得した質問文と前記記憶ステップにて記憶した前記質問パターンとの類似度に基づいて、対応する回答パターンをユーザ端末に表示させる回答パターン表示ステップと、
前記質問回答データベースに基づき、回答パターンとそれに対応する質問パターンの質問回答セット同士の混同度合を算出し、混同する２以上の質問回答セットを管理者に提示する混同提示ステップとを備え、
前記混同提示ステップは、テストセットの質問パターンに対して、正しくない回答パターンを出力したことを検出して混同度合を算出することをコンピュータに実行させる質問回答表示プログラム。 It is a program that answers questions based on the registered answer patterns and the question patterns for them.
A memory step that stores a question-and-answer database containing answer patterns and their corresponding question patterns,
The question text acquisition step to acquire the question text input by the user terminal, and
An answer pattern display step for displaying the corresponding answer pattern on the user terminal based on the degree of similarity between the acquired question sentence and the question pattern stored in the storage step.
Based on the question-and-answer database, the degree of confusion between the answer patterns and the question-and-answer sets of the corresponding question patterns is calculated, and a confusion presentation step of presenting two or more question-and-answer sets to be confused to the administrator is provided.
The confusion presentation step is a question-and-answer display program that causes a computer to detect that an incorrect answer pattern has been output and calculate the degree of confusion for the question pattern of the test set .
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019239357A JP6819976B1 (en) | 2019-12-27 | 2019-12-27 | Question answer display server, question answer display method and question answer display program |
| JP2020211788A JP2021108117A (en) | 2019-12-27 | 2020-12-21 | Question-answer display server, question-answer display method, and question-answer display program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019239357A JP6819976B1 (en) | 2019-12-27 | 2019-12-27 | Question answer display server, question answer display method and question answer display program |
Related Child Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020211788A Division JP2021108117A (en) | 2019-12-27 | 2020-12-21 | Question-answer display server, question-answer display method, and question-answer display program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6819976B1 true JP6819976B1 (en) | 2021-01-27 |
| JP2021108034A JP2021108034A (en) | 2021-07-29 |
Family
ID=74200290
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019239357A Active JP6819976B1 (en) | 2019-12-27 | 2019-12-27 | Question answer display server, question answer display method and question answer display program |
| JP2020211788A Pending JP2021108117A (en) | 2019-12-27 | 2020-12-21 | Question-answer display server, question-answer display method, and question-answer display program |
Family Applications After (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020211788A Pending JP2021108117A (en) | 2019-12-27 | 2020-12-21 | Question-answer display server, question-answer display method, and question-answer display program |
Country Status (1)
| Country | Link |
|---|---|
| JP (2) | JP6819976B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11847407B2 (en) | 2021-05-28 | 2023-12-19 | Samsung Sds Co., Ltd. | Apparatus for removing text noise for text analysis and method thereof |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006119991A (en) * | 2004-10-22 | 2006-05-11 | Qualica Inc | Generation device and method and organization device and method for faq data, and faq answer system |
| JP2006195756A (en) * | 2005-01-13 | 2006-07-27 | Just Syst Corp | Information retrieval device, and device for presenting improvement method of information retrieval site |
| US20190243900A1 (en) * | 2017-03-03 | 2019-08-08 | Tencent Technology (Shenzhen) Company Limited | Automatic questioning and answering processing method and automatic questioning and answering system |
-
2019
- 2019-12-27 JP JP2019239357A patent/JP6819976B1/en active Active
-
2020
- 2020-12-21 JP JP2020211788A patent/JP2021108117A/en active Pending
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006119991A (en) * | 2004-10-22 | 2006-05-11 | Qualica Inc | Generation device and method and organization device and method for faq data, and faq answer system |
| JP2006195756A (en) * | 2005-01-13 | 2006-07-27 | Just Syst Corp | Information retrieval device, and device for presenting improvement method of information retrieval site |
| US20190243900A1 (en) * | 2017-03-03 | 2019-08-08 | Tencent Technology (Shenzhen) Company Limited | Automatic questioning and answering processing method and automatic questioning and answering system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11847407B2 (en) | 2021-05-28 | 2023-12-19 | Samsung Sds Co., Ltd. | Apparatus for removing text noise for text analysis and method thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021108034A (en) | 2021-07-29 |
| JP2021108117A (en) | 2021-07-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Kashima et al. | The self-serving bias in attributions as a coping strategy: A cross-cultural study | |
| CN112464659A (en) | Knowledge graph-based auxiliary teaching method, device, equipment and storage medium | |
| US20080206731A1 (en) | Apparatus, Method and Computer Program for Compiling a Test as Well as Apparatus, Method and Computer Program for Testing an Examinee | |
| US5870745A (en) | Automated system and method for processing and tracking requests and responses required for repetitive tasks | |
| CN110209760A (en) | Go through the associated method and apparatus of part of trying a case, electronic equipment, computer-readable medium | |
| US20230334072A1 (en) | Automatic question answering system and question-answer pair data generation method | |
| KR102500782B1 (en) | Method, apparatus and computer-readable recording medium for extracting customized question for each difficulty level based on the student's learning level | |
| JP2019152793A (en) | Device, method, and program for processing information | |
| Kim et al. | Self-construal and the processing of covariation information in causal reasoning | |
| JP6819976B1 (en) | Question answer display server, question answer display method and question answer display program | |
| CN113889271A (en) | Mental health test method and device for students | |
| JP2019219737A (en) | Interactive server, interactive method and interactive program | |
| JP6797382B1 (en) | Question answer display server, question answer display method and question answer display program | |
| JP5437211B2 (en) | E-learning system with problem extraction function considering question frequency and learner's weakness | |
| CN112256576B (en) | Man-machine dialogue corpus testing method, device, equipment and storage medium | |
| JP2020126094A (en) | Display device and display control method of the same | |
| JP6437684B1 (en) | Problem creation support system, method, and program | |
| JP2007183720A (en) | Question-answering type user identification system | |
| JP2021015599A (en) | Question/answer display server, question/answer display method and question/answer display program | |
| JP4176691B2 (en) | Problem creation program and problem creation device | |
| JP5694027B2 (en) | Authentication apparatus, method and program | |
| CN112949265A (en) | Test question setting method and system | |
| JP2020107186A (en) | Evaluation device, evaluation method, and program | |
| KR102446504B1 (en) | Online rorschach test system and operation method thereof | |
| CN116483681B (en) | Large data zero code visual work reading information formalized description method and device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20200319 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20200319 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200817 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200818 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200903 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200930 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20201026 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201127 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201218 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201221 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6819976 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |