JP7311899B2 - Question answering system, question receiving and answering system, primary answer system, and question answering method using them - Google Patents
Question answering system, question receiving and answering system, primary answer system, and question answering method using them Download PDFInfo
- Publication number
- JP7311899B2 JP7311899B2 JP2020067303A JP2020067303A JP7311899B2 JP 7311899 B2 JP7311899 B2 JP 7311899B2 JP 2020067303 A JP2020067303 A JP 2020067303A JP 2020067303 A JP2020067303 A JP 2020067303A JP 7311899 B2 JP7311899 B2 JP 7311899B2
- Authority
- JP
- Japan
- Prior art keywords
- question
- answer
- primary
- final
- identifier
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 56
- 230000004044 response Effects 0.000 claims description 292
- 238000003860 storage Methods 0.000 claims description 128
- 238000013473 artificial intelligence Methods 0.000 claims description 95
- 238000010801 machine learning Methods 0.000 claims description 53
- 238000012423 maintenance Methods 0.000 claims description 48
- 230000006854 communication Effects 0.000 claims description 38
- 238000004891 communication Methods 0.000 claims description 36
- 230000008859 change Effects 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 10
- 239000000284 extract Substances 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 230000004048 modification Effects 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 27
- 238000012545 processing Methods 0.000 description 14
- 230000006870 function Effects 0.000 description 12
- 238000007792 addition Methods 0.000 description 8
- 238000004458 analytical method Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000029305 taxis Effects 0.000 description 7
- 238000010276 construction Methods 0.000 description 4
- 230000004888 barrier function Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 3
- 238000012546 transfer Methods 0.000 description 3
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000003058 natural language processing Methods 0.000 description 2
- 241000282412 Homo Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 240000007594 Oryza sativa Species 0.000 description 1
- 235000007164 Oryza sativa Nutrition 0.000 description 1
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000007630 basic procedure Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000007634 remodeling Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 235000009566 rice Nutrition 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 230000014616 translation Effects 0.000 description 1
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、特定又は不特定のエンドユーザの端末装置から入力された質問を受け付けて、その質問に対する回答を提供する質問応答システムに関するものであり、より詳しくは、人工知能を用いた質問応答システム、その質問応答システムを構成するために共同する質問受付回答システム及び人工知能を備える第1次回答システム、並びにそれらを用いた質問応答方法に関する。 TECHNICAL FIELD The present invention relates to a question answering system that accepts questions input from specified or unspecified end-user terminal devices and provides answers to the questions, and more particularly to a question answering system using artificial intelligence. , a question receiving and answering system and a primary answering system provided with artificial intelligence, which cooperate to constitute the question answering system, and a question answering method using them.
近年、電話オペレータ等の特定のエンドユーザが顧客からの質問に回答する際の回答補助手段として、質問に対する最適な回答を提供するために、過去の応対履歴を検索してより適切な回答を迅速に回答できるようにサポートする人工知能を用いた回答補助システムや、不特定のエンドユーザ(質問者)からの質問に対して、人間の手を介することなく人工知能を用いて自動応答する各種応答システムが開発されている。さらに質問者から入力された質問の構文や意味を解析して質問に対する回答を検索する自然言語処理技術や、人工知能による最適回答を抽出する研究も進められている。 In recent years, in order to provide the optimal answer to the question, as a means of assisting specific end-users, such as telephone operators, in answering questions from customers, it has become possible to search past customer service histories and quickly provide more appropriate answers. Answer assistance system using artificial intelligence that supports answering questions from unspecified end users (questioners), various responses that automatically respond using artificial intelligence without human intervention system is being developed. Furthermore, natural language processing technology that searches for answers to questions by analyzing the syntax and meaning of questions entered by questioners, and research on extracting optimal answers using artificial intelligence are also underway.
なお、本明細書における以下の説明においては、質問をする不特定又は特定のエンドユーザを「質問者」と称し、質問応答システムを導入して利用する者を「システム利用者」と称し、システム利用者に対して質問応答システムを提供する者を「システム提供者」と称する。
また、エンドユーザが質問のために用いる端末装置を「質問端末」と称し、質問端末から質問応答システムにアクセスする際に経由する質問受付ページのプラットフォームとなるシステム利用者のシステムを「利用者システム」と称する。さらに、システム利用者として自社で利用している質問応答システムのログ情報の取得分析、メンテナンス等を行うシステム管理者を「利用者のシステム管理者」と称し、システム提供者としてシステム全体の運用、メンテナンス、システムの改善等の管理全般を行う者を、単に「システム管理者」と称する。
In the following description of this specification, an unspecified or specific end user who asks a question is called a "questioner", and a person who introduces and uses the question answering system is called a "system user". A person who provides a question answering system to users is called a "system provider".
In addition, the terminal device used by the end user for asking questions is called the "question terminal", and the system user's system, which is the platform for the question reception page that is passed through when accessing the question answering system from the question terminal, is the "user system". ”. Furthermore, the system administrator who acquires, analyzes, and maintains the log information of the question-answering system used by the company as a system user is referred to as the "user's system administrator", and as the system provider, the operation and maintenance of the entire system. A person who manages maintenance, system improvement, etc. in general is simply referred to as a "system administrator."
例えば、特許文献1には、質問に対する回答候補を検索し、質問と回答候補の組合せのそれぞれについて、各回答候補が当該質問に対する正しい回答である度合を示すスコアを算出し、算出されたスコアに基づいて、質問に対する正しい回答である可能性が最も高い回答候補を出力するように構成した質問応答システムが開示されている。
また、特許文献2には、ユーザからの要求を自然言語で記述した入力文を解析し、入力要求内容が事前に定義されている要求内容に該当するかどうかを判別する要求内容識別システムが開示されている。
For example, Patent Literature 1 discloses searching for answer candidates for a question, calculating a score indicating the degree to which each answer candidate is a correct answer to the question for each combination of a question and an answer candidate, and adding the score to the calculated score. A question answering system is disclosed that is configured to output an answer candidate that is most likely to be a correct answer to a question based on the above.
In addition, Patent Document 2 discloses a request content identification system that analyzes an input sentence describing a request from a user in a natural language and determines whether or not the input request content corresponds to a previously defined request content. It is
さらに、特許文献3には、情報提供サーバとサジェストサーバを備える情報提供システムが開示されている。サジェストサーバはユーザが質問を入力する際に、入力する可能性のある質問候補を表示して、ユーザの質問入力をアシストしている。また、特許文献3のシステムでは、システム管理端末により、情報提供システムのメンテナンスができるように構成されている。 Furthermore, Patent Literature 3 discloses an information providing system including an information providing server and a suggestion server. When the user inputs a question, the suggestion server displays question candidates that may be input to assist the user in inputting the question. Further, the system of Patent Document 3 is configured so that maintenance of the information providing system can be performed by a system management terminal.
しかしながら、特許文献1及び特許文献2のシステムにおいては、質問に対する回答精度を上げるために、大量の知識データを収集して機械学習させる必要があった。また質問応答システムを導入した後の運用管理においても、人工知能等に関する高度の知識を必要とした。
そのため、質問応答システムの導入にあたっては、膨大な知識データの収集及び運用開始前の機械学習に、多くの時間と手間と膨大なコストが必要であった。さらに、システムの運用開始後においても人工知能の知識更新のための機械学習やシステムのメンテナンスに多くの時間とコストが必要であり、人工知能等を利用する質問応答システムの運用管理には、人工知能に関する専門知識有する人材の確保が必要であった。
However, in the systems of Patent Documents 1 and 2, it is necessary to collect a large amount of knowledge data and carry out machine learning in order to improve the accuracy of answering questions. In addition, advanced knowledge of artificial intelligence was required for operation management after the introduction of the question answering system.
Therefore, when introducing a question-answering system, a lot of time, effort, and enormous cost were required for collecting a huge amount of knowledge data and machine learning before starting operation. Furthermore, even after the system starts operating, machine learning for updating the knowledge of artificial intelligence and maintenance of the system require a lot of time and cost. It was necessary to secure human resources with specialized knowledge about intelligence.
特許文献3は、システム稼働後の運用管理面での問題点に鑑み、メンテナンスモードにおいて、システム管理端末を使用してシステム管理者が応答内容決定手段からの応答データログ等を受信することや、入力をシミュレートして知識データの妥当性を検証できるようにしている。また、この特許文献3の発明は、システム管理者が人工知能に関する高度に専門的な知識を有していなくとも、メンテナンスモードにおいて人工知能への想定質問文字列や応答文字列の変更を行うことができるように支援するものである。 Patent document 3, in view of problems in terms of operation management after system operation, in the maintenance mode, the system administrator uses the system management terminal to receive the response data log etc. from the response content determination means, It allows you to simulate input and verify the validity of knowledge data. In addition, the invention of this patent document 3 allows even if the system administrator does not have highly specialized knowledge about artificial intelligence, to change the expected question character string and response character string to artificial intelligence in the maintenance mode. It is intended to support
しかし、想定質問文の入力やそれに対する応答文の変更は、人工知能の知識データそのものを変更するものである。そのため、特許文献3のシステムにおいても、ログデータの収集や確認、及び入力のシミュレートに関しては高度の知識は要求されないものの、システム管理者には、人工知能に関する一定程度の専門的スキルが求められる(特許文献3の(0048)の後段の記載を参照)。また、これらの人工知能の知識データの変更には、ニューラルネットワークを再構築するための再学習等が必要となり、人工知能に関する専門的知識の他に、多くの時間と手間を必要とする。したがって、従来の人工知能を用いた質問応答システムにおいては、専門知識を有しないシステム利用者が、自社で導入した質問応答システムを改善して順次成長させていくことに直接関与することはできなかった。
また、従来の人工知能を使った質問応答システムでは、システムを実際に運用しながら質問に対する具体的な回答内容を適宜柔軟に変更する簡単な仕組みがないために、質問応答システムを各システム利用者の要望に合わせて柔軟に進化させていくことが困難だった。
However, inputting a hypothetical question sentence and changing a response sentence to it change the knowledge data of artificial intelligence itself. Therefore, even in the system of Patent Document 3, although advanced knowledge is not required for collecting and checking log data and simulating input, system administrators are required to have a certain degree of specialized skills related to artificial intelligence. (See the latter part of (0048) of Patent Document 3). In addition, changing the knowledge data of artificial intelligence requires re-learning to reconstruct the neural network, which requires a lot of time and effort in addition to specialized knowledge of artificial intelligence. Therefore, in conventional question answering systems using artificial intelligence, system users who do not have specialized knowledge cannot directly participate in improving and gradually growing the question answering system introduced in their own company. rice field.
In addition, conventional question-answering systems using artificial intelligence do not have a simple mechanism to flexibly change specific answers to questions while actually operating the system. It was difficult to flexibly evolve to meet the needs of
以上の状況下、資力の乏しい中小企業が質問応答システムの導入を希望しても、従来の質問応答システムでは導入に膨大なコストがかかること、及びシステム運用管理のための専門的な人材確保が必要となること等が大きな障壁となり、システム導入のハードルは極めて高いものであった。また、この導入障壁を乗り越えることができたとしても、質問応答システムをシステム利用者が自社のニーズの変化に合わせて直接システムを改善し、システムを成長させていくということはできなかった。さらに、従来の質問応答システムでは、簡単な構成を追加するだけで、複数種類の言語の質問に対応することはできなかった。 Under the above circumstances, even if a small and medium-sized company with limited financial resources wishes to introduce a question answering system, the conventional question answering system requires a huge amount of cost to introduce, and it is difficult to secure professional human resources for system operation management. The hurdles to introduce the system were extremely high, as the need for such a system became a major barrier. Moreover, even if this barrier to introduction could be overcome, it would not have been possible for the users of the question answering system to directly improve the system and grow the system in line with changes in their company's needs. Furthermore, conventional question answering systems could not respond to questions in multiple languages simply by adding a simple configuration.
本発明は上記のような従来の質問応答システムの問題点及び社会的ニーズに鑑みてなされたものであり、システム導入コストを低減化でき、システム運用開始後においては簡単に最終回答を変更することができ、質問応答システムを改善し進化させることができる人工知能を利用した質問応答システム、同質問応答システムを構成する質問受付回答システム、第1次回答システム、及びそれらを用いた質問応答方法を提供することを目的とする。
また本発明の他の目的は、簡単な構成で多種類の言語による質問を受け付け、質問の言語に応じて所定の回答言語により質問端末に対して最終回答を提供することができる簡単な構成の質問応答システム、同質問応答システムを構成する質問受付回答システム、第1次回答システム、及びそれらを用いた質問応答方法を提供することを目的とする。
さらに、本発明の他の目的は、複数の利用者で共有でき、導入コストを下げることができる人工知能を利用した質問応答システム、同質問応答システムを構成する質問受付回答システム、第1次回答システム、並びにそれらを用いた質問応答方法を提供することを目的とする。
The present invention has been made in view of the problems of the conventional question answering system as described above and social needs, and can reduce the system introduction cost and easily change the final answer after the system starts operating. A question answering system using artificial intelligence that can improve and evolve the question answering system, a question reception and answer system that constitutes the same question answering system, a primary answer system, and a question answering method using them intended to provide
Another object of the present invention is to provide a simple configuration capable of accepting questions in a variety of languages with a simple configuration and providing a final answer to the question terminal in a predetermined answer language according to the language of the question. It is an object of the present invention to provide a question answering system, a question receiving and answering system constituting the question answering system, a primary answer system, and a question answering method using them.
Furthermore, other objects of the present invention are a question answering system using artificial intelligence that can be shared by a plurality of users and that can reduce introduction costs, a question receiving and answering system that constitutes the same question answering system, and a primary answer. It aims at providing the system and the question answering method using them.
本発明は、質問応答システムを、質問を受け付けて質問に対する最終回答を質問端末に返信する質問受付回答システムと人工知能を備える第1次回答システムとに分離した構成とし、第1次回答システムは質問受付回答システムからの要求に応じて質問に対する第1次回答を識別子として提供し、質問受付回答システムは最終回答候補を第1次回答システムから受領する前記第1次回答の識別子に対応づけて記憶しておき、前記第1次回答システムからの第1次回答に基づいて前記最終回答候補を読み出して、最終回答を質問端末装置に返信するものである。 In the present invention, a question answering system is configured by separating a question receiving and answering system for receiving questions and returning final answers to the questions to a question terminal and a primary answering system equipped with artificial intelligence, and the primary answering system is A primary answer to a question is provided as an identifier in response to a request from the question accepting and answering system, and the question accepting and answering system associates a final answer candidate with the identifier of the primary answer received from the primary answer system. The final answer candidate is read out based on the primary answer from the primary answer system, and the final answer is returned to the question terminal device.
本発明の第1の態様に係る質問応答システムは、質問端末からの質問を受け付けて該質問に対する最終回答を前記質問端末に返信するコンピュータを用いた質問受付回答システムと、人工知能を備えており要求に応じて質問に対する第1次回答を返信する第1次回答システムとを分離して備える質問応答システムであって、
前記第1次回答システムは、
前記質問受付回答システムからの前記質問に対する前記第1次回答の返信要求を受け付けて、前記人工知能に前記質問受付回答システムから受信した前記質問を入力し、前記人工知能からの前記質問に対する第1次回答を前記質問受付回答システムに対して送信するインターフェース手段と、
複数の想定質問と、該想定質問に対応する第1次回答として所定の識別子とを機械学習することにより、前記質問受付回答システムからの要求に応じて、該質問受付回答システムからの質問に対する第1次回答を前記識別子として出力する人工知能とを、備え、
前記質問受付回答システムは、
前記質問端末からの質問を受け付ける受付手段と、
前記質問受付手段により受け付けた前記質問を前記第1次回答システムに送信して前記第1次回答を要求し、前記第1次回答システムからの前記第1次回答を受け取る第1次回答問合手段と、
前記人工知能により機械学習した前記識別子と1:1に紐付して、該識別子に対応する最終回答候補を記憶している最終回答記憶部と、
前記第1次回答システムから受信した前記第1次回答に基づいて、前記最終回答記憶部から前記第1次回答の前記識別子に対応する前記最終回答候補を読み出して、読み出した該最終回答候補に基づいて前記質問端末に対して最終回答を返信する最終回答手段と
を備えることを特徴とする。
A question answering system according to a first aspect of the present invention includes a question accepting and answering system using a computer that accepts questions from question terminals and returns final answers to the questions to the question terminals, and artificial intelligence. A question answering system separately provided with a primary answer system for replying a primary answer to a question in response to a request,
The primary response system is
receiving a reply request for the primary answer to the question from the question accepting and answering system, inputting the question received from the question accepting and answering system to the artificial intelligence, and providing the first answer to the question from the artificial intelligence interface means for transmitting the next answer to the question acceptance and answer system;
By machine-learning a plurality of assumed questions and a predetermined identifier as a primary answer corresponding to the assumed question, in response to a request from the question reception and answer system, the first answer to the question from the question reception and answer system and an artificial intelligence that outputs the primary response as the identifier,
The question reception and answer system is
receiving means for receiving questions from the question terminal;
A primary response inquiry that transmits the question received by the question receiving means to the primary response system, requests the primary response, and receives the primary response from the primary response system. means and
a final answer storage unit that associates 1:1 with the identifier machine-learned by the artificial intelligence and stores a final answer candidate corresponding to the identifier;
based on the primary response received from the primary response system, the final response candidate corresponding to the identifier of the primary response is read from the final response storage unit, and the read final response candidate is stored and a final reply means for returning a final reply to the question terminal based on the result.
ここで、第1次回答を提供する第1次回答システムとしては、商用サービスの目的で提供されている汎用の人工知能システムを利用することができ、質問受付回答システムと第1次回答システムは通信ネットワークを介して接続することができる。このように質問応答システムを質問受付回答システムと第1次回答システムとに分離することにより、本質問受付回答システムが、人工知能と切り離されているため、第1次回答システムの人工知能の機械学習と、質問受付回答システムの最終回答候補とを切り離して設計することができる。また人工知能の機械学習とは別に、質問への回答のヒット率と切り離して独自に修正、変更、追加することも可能となる。 Here, a general-purpose artificial intelligence system provided for the purpose of commercial services can be used as the primary response system that provides the primary response. It can be connected via a communication network. By separating the question answering system into the question receiving and answering system and the primary answering system in this way, the question receiving and answering system is separated from the artificial intelligence, so the machine of the artificial intelligence of the primary answering system Learning can be designed separately from the final answer candidates of the question receiving and answering system. Also, apart from machine learning of artificial intelligence, it is possible to independently modify, change, and add information separately from the hit rate of answers to questions.
本発明の第1の態様に係る質問受付回答システムは、質問端末からの質問を受け付けるコンピュータを用いた質問受付回答システムと、人工知能を備え、複数の想定質問と、該想定質問に対応する第1次回答として所定の識別子とを機械学習しており、前記質問受付回答システムからの質問に対する第1次回答を前記識別子として出力する第1次回答システムとを分離して備える質問応答システムにおける前記質問受付回答システムであって、
前記質問端末からの質問を受け付ける質問受付手段と、
前記質問受付手段により受け付けた前記質問を前記第1次回答システムに送信して前記第1次回答を要求し、前記第1次回答システムからの前記第1次回答を受け取る第1次回答問合手段と、
前記第1次回答システムにおいて機械学習した前記識別子と1:1に紐付けして、該識別子に対応する最終回答候補を記憶している最終回答記憶部と、
前記第1次回答システムから受信した前記第1次回答に基づいて、前記最終回答記憶部から前記第1次回答の前記識別子と対応する前記最終回答候補を読み出して、読み出した該最終回答候補に基づいて前記質問端末に対して最終回答を返信する最終回答手段と、
を備えることを特徴とする。
この態様に係る発明は、上述した、質問受付回答システムと第1次回答システムを組み合わせた質問受付回答システムを構成するサブコンビネーション発明である。
A question accepting and answering system according to a first aspect of the present invention includes a question accepting and answering system using a computer that accepts questions from a question terminal, artificial intelligence, a plurality of assumed questions, and a question corresponding to the assumed questions. A question answering system in which a predetermined identifier is machine-learned as a primary answer, and a primary answer system that outputs a primary answer to a question from the question receiving and answering system as the identifier is provided separately. A question reception and answer system,
question receiving means for receiving questions from the question terminal;
A primary response inquiry that transmits the question received by the question receiving means to the primary response system, requests the primary response, and receives the primary response from the primary response system. means and
a final answer storage unit that associates 1:1 with the identifier machine-learned in the primary answer system and stores a final answer candidate corresponding to the identifier;
Based on the primary response received from the primary response system, the final response candidate corresponding to the identifier of the primary response is read out from the final response storage unit, and the read out final response candidate is stored. final answer means for returning a final answer to the question terminal based on
characterized by comprising
The invention according to this aspect is a sub-combination invention that constitutes a question receiving and answering system combining the question receiving and answering system and the primary answering system described above.
さらに本発明の他の態様にかかる質問応答システムまたは質問受付回答システムは、前記第1次回答システムの前記人工知能が、共通属性を備える1又は複数の想定質問を一つのグループとした複数の前記質問グループを構成する多数の前記想定質問と、前記質問グループと1:1で対応する一つの識別子を前記各質問グループに含まれる前記想定質問の第1次回答とするよう機械学習していることを特徴とする。 Further, in the question answering system or the question receiving and answering system according to another aspect of the present invention, the artificial intelligence of the primary answering system has a plurality of the above questions in which one or more assumed questions having a common attribute are grouped. Machine learning is performed so that a number of the assumed questions constituting a question group and one identifier corresponding to the question group on a 1:1 basis is used as a primary answer to the assumed question included in each question group. characterized by
上記質問応答システムまたは質問受付回答システムにおいて、前記質問受付手段は、さらに前記質問端末からの前記質問に付随する該質問の固有属性情報を取得するよう構成することができ、前記最終回答記憶部は、必要に応じて、前記固有属性情報に対応して異なる最終回答候補を記憶するように構成することができる。
固有属性情報としては、利用者システムの識別情報、質問の言語の種類を示す言語情報などが含まれる。利用者システムの識別情報は、質問を受け付ける際に通信経路情報や、通信経路において利用者システムから付加される情報に基づいて取得可能である。質問の言語情報は、質問入力の際に指定するように構成しても、質問端末のOSや質問応答のためのアプリケーション等の言語指定情報から入手する等、周知技術により取得することができる。
In the above-mentioned question answering system or question receiving and answering system, the question receiving means can be further configured to acquire unique attribute information of the question accompanying the question from the question terminal, and the final answer storage unit can , if necessary, it can be configured to store different final answer candidates corresponding to the unique attribute information.
The unique attribute information includes identification information of the user system, language information indicating the type of language of the question, and the like. The identification information of the user system can be obtained based on communication route information when receiving a question or information added from the user system on the communication route. Even if the language information of the question is configured to be specified at the time of question input, it can be obtained by well-known techniques such as language specification information such as the OS of the question terminal or the application for question answering.
本発明の他の態様にかかる質問応答システムまたは質問受付回答システムは、取得した前記固有属性情報に基づいて、前記質問が経由した利用者システムの識別情報を取得し、
前記最終回答記憶部は前記各最終回答候補として、前記各識別子に紐付して記憶される最終回答のベースとなる基本回答、又は、必要に応じて前記各識別子及び前記利用者システムの識別情報に紐付して記憶され前記各基本回答と内容の異なる固有回答とを記憶しており、
前記最終回答手段は前記第1次回答の前記識別子及び前記質問に対応する前記利用者システムの識別情報に基づいて、前記最終回答記憶部から、前記基本回答又は前記固有回答を読み出して、読み出した前記基本回答または前記固有回答を最終回答として前記質問端末に送信することを特徴とする。
利用者システムの識別情報は、上述した通り、質問が質問受付回答システムに届くまでに経由した通信経路情報又は通信過程で付与される情報から前記利用者システムの識別情報を固有属性情報として取得することが可能である。
A question answering system or a question receiving and answering system according to another aspect of the present invention acquires identification information of a user system through which the question has passed, based on the acquired unique attribute information,
The final answer storage unit stores, as each final answer candidate, a basic answer that is the base of the final answer stored in association with each identifier, or, if necessary, each identifier and identification information of the user system. each of the basic answers stored in association with each other and unique answers having different contents are stored,
The final answer means reads out the basic answer or the unique answer from the final answer storage unit based on the identifier of the primary answer and the identification information of the user system corresponding to the question. The basic answer or the unique answer is transmitted to the question terminal as a final answer.
As described above, the identification information of the user system is obtained as unique attribute information from the communication route information through which the question arrived at the question reception and answer system or from the information given in the communication process. Is possible.
また、本発明の他の態様に係る質問応答システム又は質問受付回答システムでは、前記第1次回答システムの前記人工知能が、一つの質問グループ内に異なる言語からなる共通属性を有する複数の想定質問を含む複数の質問グループから構成されるすべての前記想定質問と、同じ質問グループに含まれる異なる言語からなる前記複数の想定質問に対する第1次回答は、いずれの前記想定質問に対しても言語の種類に関係なくすべて同じ識別子の前記第1次回答を出力するよう機械学習しており、前記質問受付回答システムから質問を受けたときに、該質問に対する前記第1次回答として、該質問に対応する前記識別子を前記インターフェース手段に出力するよう構成されていることを特徴とする。
第1次回答システムの人工知能に、共通属性を有する言語の異なる複数の想定質問の回答を、同じ一つの第1次回答を出力するように機械学習させることにより、共通属性を有する言語の異なる質問に対して、同じ第1次回答が出力される。最終回答候補は、第1次回答に紐付して記憶されているので、第1次回答が同じであれば、質問の言語が異っても、同じ最終回答が質問端末に送信されることになる。最終回答の回答言語は、質問の言語に無関係に同じすべて同じ言語の最終回答を返信するようにしても、質問言語が外国語のときには、英語の最終回答を返信するようにしても、さらに、質問言語と同じ回答言語の最終回答を返信するように構成しても良い。
ここで、「異なる言語からなる共通属性を有する複数の想定質問」には、言語が異なる実質的に同じ意味の想定質問を含んでいる。
Further, in the question answering system or the question receiving and answering system according to another aspect of the present invention, the artificial intelligence of the primary answering system has a plurality of hypothetical questions having a common attribute consisting of different languages in one question group. All the hypothetical questions composed of multiple question groups including Machine learning is performed to output the primary answers with the same identifier regardless of type, and when a question is received from the question acceptance and answer system, the question is responded to as the primary answer to the question. and outputting the identifier to the interface means.
The artificial intelligence of the primary answer system is machine-learned to output the same primary answer for multiple hypothetical questions in different languages with common attributes. The same primary answer is output for the question. Since the final answer candidate is stored in association with the primary answer, if the primary answer is the same, the same final answer will be sent to the question terminal even if the language of the question is different. Become. The answer language of the final answer is the same regardless of the language of the question. It may be configured to send back the final answer in the same answer language as the question language.
Here, "a plurality of hypothetical questions having common attributes in different languages" includes hypothetical questions with substantially the same meaning in different languages.
本発明の他の態様に係る質問応答システム又は質問受付回答システムは、前記質問受付回答システムが、前記質問受付手段により、受信した質問の前記固有属性情報中に含まれる質問言語情報を取得し、前記最終回答記憶部は、前記質問言語情報に基づいて決められる回答言語による実質的に同じ内容の複数の言語の前記最終回答候補を、前記識別子及び前記回答言語の種類に対応づけて記憶しており、
前記最終回答手段は、取得した前記質問言語情報に基づいて前記質問に対応する前記回答言語の情報を取得して、取得した前記第1次回答の識別子と、前記回答言語の情報に基づいて、前記質問に対応する前記回答言語からなる前記最終回答候補を読み出して、前記質問に対応する最終回答として、前記質問言語に対応する前記回答言語の最終回答を返信することを特徴とする。
この構成により、質問の言語が外国語の場合には、回答言語を英語その他の言語にすることや、質問言語と同じ回答言語で最終回答を返信することが可能となる。
In a question answering system or a question accepting and answering system according to another aspect of the present invention, the question accepting and answering system acquires question language information included in the unique attribute information of the received question by the question accepting means, The final answer storage unit stores the final answer candidates in a plurality of languages having substantially the same content in the answer language determined based on the question language information in association with the identifier and the answer language type. cage,
The final answer means acquires the information of the answer language corresponding to the question based on the acquired question language information, and based on the acquired identifier of the primary answer and the information of the answer language, The final answer candidate composed of the answer language corresponding to the question is read, and the final answer in the answer language corresponding to the question language is returned as the final answer corresponding to the question.
With this configuration, when the language of the question is a foreign language, it is possible to set the answer language to English or another language, or to reply the final answer in the same answer language as the question language.
本発明の他の態様に係る質問応答システム又は質問受付回答システムは、前記第1次回答システムが、前記質問に対する第1次回答を抽出するとともにその回答確信度を出力し、前記質問受付回答システムが、前記第1次回答システムから受信した回答確信度に応じて第1次回答に紐付けして記憶されている前記基本回答又は前記固有回答を前記最終回答記憶部から読み出して、前記質問に対する最終回答を前記質問端末に送信することを特徴とする。 In a question answering system or a question accepting and answering system according to another aspect of the present invention, the primary answering system extracts a primary answer to the question and outputs the answer confidence, and the question accepting and answering system reads from the final answer storage unit the basic answer or the unique answer stored in association with the primary answer according to the answer certainty received from the primary answer system, and responds to the question A final answer is transmitted to the question terminal.
また、本発明の他の態様に係る質問応答システム又は質問受付回答システムは、さらに前記質問端末との交信記録、前記第1次回答システムとの交信記録、質問の固有属性情報等の質問受付から最終回答までの各種情報を記憶する稼働履歴記憶部と、権限に応じて、利用者システムから、前記稼働履歴記憶部に記憶している前記各種情報の閲覧、並びに前記最終回答記憶部に記憶している前記最終回答候補又は前記固有回答の修正、追加、変更を含むメンテナンスが可能なメンテナンス手段と、を備えることを特徴とする。
この構成により、第1次回答システム及び質問応答システムを容易にメンテナンスすることが可能となる。特に質問応答システムのメンテナンスについては、人工知能の知識は不要であり、最終回答候補である基本回答や、固有回答を変更することにより、簡単にシステムの改善を行うことが可能となる。
また、前記メンテナンス手段により、前記最終回答記憶部に記憶する前記最終回答候補、前記基本回答、又は前記固有回答の内容を、権限に応じて、前記第1次回答システムの前記想定質問に制限されることなく、追加、修正、変更、削除などの更新ができるように構成することもできる。
In addition, the question answering system or the question receiving and answering system according to another aspect of the present invention further includes the following: An operation history storage unit that stores various information up to the final answer, and a user system that browses the various information stored in the operation history storage unit and stores the information in the final answer storage unit according to authority. and maintenance means capable of performing maintenance including correction, addition, and change of the final answer candidate or the unique answer.
This configuration makes it possible to easily maintain the primary answer system and the question answering system. In particular, maintenance of the question answering system does not require knowledge of artificial intelligence, and the system can be easily improved by changing the basic answers and unique answers that are final answer candidates.
Further, the content of the final answer candidates, the basic answers, or the unique answers stored in the final answer storage unit is restricted to the assumed questions of the primary answer system by the maintenance means according to authority. It can also be configured so that updates such as additions, corrections, changes, and deletions can be made without any modification.
稼働履歴記憶部には、システム全体およびシステム利用者ごとの質問・回答数、平均回答確信度、回答確信度が基準値以下の件数と比率、第1次回答の識別子ごとの質問回答数と平均回答確信度、回答確信度が低かった質問と回答の一覧リストなどの情報を含めることができる。これらの情報は、メンテナンス手段により閲覧することができ、これらの情報によりシステムの利用状況や回答精度などシステムの運用状況の把握が容易に可能となる。また、質問受付回答システム及び、最終回答記憶部は第1次回答システムとは切り離されているので、人工知能に関する専門知識が無くとも、メンテナンス手段により、最終回答記憶部に記憶している最終回答を変更し、修正(本明細書においては、特に反対の意を明示していない場合には、「修正」という用語には一部を訂正又は変更することだけでなく、追加することも含むものとして使用する)することができる。したがって、システム管理者だけでなく、人工知能に関する高度の知識を有しないシステム利用者であっても、与えられた所定の権限内で、基本回答や固有回答等の最終回答を修正・変更・追加することができるようになった。 The operation history storage unit stores the number of questions and answers for the entire system and for each system user, the average answer confidence, the number and ratio of answers whose answer confidence is below the reference value, the number of questions and answers for each identifier of the primary response and the average Information such as answer confidence, list of questions and answers with low answer confidence can be included. These pieces of information can be browsed by maintenance means, and these pieces of information make it possible to easily grasp the operating conditions of the system, such as the conditions of use of the system and the accuracy of responses. In addition, since the question receiving and answering system and the final answer storage unit are separated from the primary answer system, even if there is no expert knowledge about artificial intelligence, the final answers stored in the final answer storage unit can be obtained by maintenance means. and modify (in this specification, unless otherwise specified to the contrary, the term "modification" includes not only partial correction or change, but also addition can be used as Therefore, not only system administrators but also system users who do not have advanced knowledge of artificial intelligence can modify, change, or add final answers such as basic answers and unique answers within the given authority. It became possible.
またメンテナンス手段には、想定質問、共通属性、質問群又は第1次回答を修正、変更又は追加して、第1次回答システムに再度機械学習させる機能を付加するよう構成することもできる。このような稼働履歴記憶部及びメンテナンス手段により、回答確信度が低い質問と回答の記録を抽出したリストを出力することや、集計や統計データからの分析データに応じて、回答確信度の低い想定質問や質問群を統廃合して、より適切な回答を行う質問応答システムとなるように改善・進化させることが可能となる。 The maintenance means can also be configured to add a function to modify, change, or add assumed questions, common attributes, question groups, or primary answers, and perform machine learning again on the primary answer system. With such an operation history storage unit and maintenance means, it is possible to output a list of extracted records of questions and answers with low answer certainty, and to make assumptions with low answer certainty according to analysis data from aggregation and statistical data. It is possible to integrate and abolish questions and question groups, and to improve and evolve the question answering system to provide more appropriate answers.
本発明の第1の態様に係る第1次回答システムは、質問端末からの質問を受け付けて該質問に対する最終回答を前記質問端末に返信するコンピュータを用いた質問受付回答システムと、複数の想定質問と該想定質問に対応する第1次回答として所定の識別子とを機械学習することにより、質問受付回答システムからの質問に対する第1次回答を前記識別子として出力する人工知能を備える第1次回答システムとを分離して備える質問応答システムにおける前記第1次回答システムであって、
前記質問受付回答システムからの質問及び前記第1次回答の要求を受け付けて、前記人工知能に前記質問を入力し、前記人工知能からの前記質問に対する第1次回答を前記質問受付回答システムに対して送信するインターフェース手段と、
異なる言語による多数の想定質問と、該多数の想定質問を、言語に関係なく共通属性を有する複数の前記想定質問を一つのグループとする複数の質問グループとして、該各質問グループのそれぞれと1:1に対応する各識別子を、前記個々の質問グループに属する前記複数の想定質問に共通の第1次回答として機械学習しており、前記質問受付回答システムから質問を受けたときに、該質問に対する前記第1次回答を前記識別子として前記インターフェース手段に出力する人工知能と、を備えることを特徴とする。
A first response system according to a first aspect of the present invention includes a question reception and answer system using a computer that receives questions from a question terminal and returns a final answer to the question to the question terminal, and a plurality of assumed questions. and a predetermined identifier as a primary answer corresponding to the assumed question by machine learning to output the primary answer to the question from the question receiving and answering system as the identifier. The primary answer system in the question answering system separately comprising
receiving a question from the question receiving and answering system and a request for the primary answer, inputting the question to the artificial intelligence, and sending a primary answer to the question from the artificial intelligence to the question receiving and answering system; interface means for transmitting through
a plurality of hypothetical questions in different languages, and a plurality of hypothetical questions, each of which has a common attribute regardless of language, as a plurality of question groups, each of which is 1: Each identifier corresponding to 1 is machine-learned as a common primary answer to the plurality of assumed questions belonging to the individual question groups, and when a question is received from the question acceptance and answer system, the question is answered. an artificial intelligence that outputs the primary response as the identifier to the interface means.
この発明は、上述した質問受付回答システムを構成する第1次回答システムに係るものであり、質問応答システムのサブコンビネーション発明である。
この構成によると、第1次回答システムに対して、質問言語が異なっていても共通属性を有する想定質問については、共通の一つの第1次回答(識別子)を出力するように機械学習させることにより、質問の言語が異なっても共通属性を有する質問に対しては同じ識別番号が第1次回答として出力される。したがって、質問言語が異なっても、同じ最終回答を質問端末に返信することができる。母国語以外の言語で正確な質問文書を作成することは比較的難易度が高いので、質問だけでも母国語で質問できると正確な質問が可能となり、正確な回答を得ることが可能となる。一方、一般的に、文書読解能力は文書作成能力に比べて高いので、回答言語は母国語でなくても理解できる可能性が高い。
また、最終回答する際の回答言語を質問の言語に応じて予め決めておき、回答言語ごとの最終回答候補を記憶しておくことにより、質問の言語情報に応じて、所定の回答言語で最終回答を返信するように構成することも可能である。
The present invention relates to a primary answering system that constitutes the question receiving and answering system described above, and is a sub-combination invention of the question answering system.
According to this configuration, the primary answer system is machine-learned so as to output one common primary answer (identifier) for assumed questions having common attributes even if the question languages are different. Therefore, the same identification number is output as the primary answer for questions having common attributes even if the languages of the questions are different. Therefore, even if the question language is different, the same final answer can be returned to the question terminal. Since it is relatively difficult to create an accurate question text in a language other than the native language, it is possible to ask an accurate question and obtain an accurate answer if the question can be asked in the native language. On the other hand, since the document reading ability is generally higher than the document writing ability, there is a high possibility that the respondent can understand the language even if it is not their mother tongue.
Further, by predetermining the answer language for the final answer according to the language of the question and storing the final answer candidate for each answer language, the final answer can be made in the predetermined answer language according to the language information of the question. It is also possible to configure so that an answer is sent back.
本発明の第1の態様に係る質問応答システムの質問応答方法は、質問端末からの質問をコンピュータにより受け付けて該質問に対する回答を前記質問端末に返信する質問受付回答システムと、人工知能を備えており、複数の想定質問と該複数の想定質問の回答となる所定の識別子を第1次回答として機械学習して、入力された質問に応じて第1次回答として識別子を返信する第1次回答システムとを備える質問応答システムにおける質問応答方法であって、
(a) 前記質問受付回答システムにおいて、質問端末からの質問を受け付けて、該質問を第1次回答システムに送信するステップと、
(b) 前記第1次回答システムにおいて、前記質問受付回答システムからの前記質問を受け付けて、該質問を、前記人工知能に入力して該入力した質問に対する前記第1次回答を前記識別子として出力し、前記人工知能から出力された前記第1次回答の識別子を前記質問受付回答システムに送信するステップと、
(c)前記質問受付回答システムにおいて、 前記第1次回答システムから前記第1次回答として前記識別子を受信したときに、前記人工知能が機械学習している前記識別子に紐付けして最終回答候補を記憶している最終回答記憶部から、受信した前記識別子に対応する前記最終回答候補を読み出して、該読み出した最終回答候補を最終回答として前記質問端末に対して返信するステップと、
を備えることを特徴とする。
A question answering method for a question answering system according to a first aspect of the present invention comprises a question accepting and answering system for accepting a question from a question terminal by a computer and replying an answer to the question to the question terminal, and artificial intelligence. machine-learning a plurality of assumed questions and predetermined identifiers that serve as answers to the plurality of assumed questions as primary answers, and returning identifiers as primary answers according to the input questions. A question answering method in a question answering system comprising:
(a) in the question acceptance and answer system, a step of accepting a question from a question terminal and transmitting the question to a primary answer system;
(b) In the primary response system, the question is received from the question acceptance and response system, the question is input to the artificial intelligence, and the primary response to the input question is output as the identifier. and sending the identifier of the primary answer output from the artificial intelligence to the question receiving and answering system;
(c) In the question receiving and answering system, when the identifier is received as the primary answer from the primary answering system, it is linked to the identifier machine-learned by the artificial intelligence and the final answer candidate a step of reading the final answer candidate corresponding to the received identifier from the final answer storage unit storing the final answer candidate, and replying the read final answer candidate to the question terminal as a final answer;
characterized by comprising
本発明の第1の態様に係る質問受付回答システムの質問応答方法は、質問端末からの質問をコンピュータにより受け付けて該質問に対する回答を前記質問端末に返信する質問受付回答システムと、人工知能を備えており、複数の想定質問と該複数の想定質問の回答となる所定の識別子を第1次回答として機械学習して、入力された質問に応じて第1次回答として識別子を返信する第1次回答システムとを備える質問応答システムにおける前記質問受付回答システムの質問応答方法であって、
(a1) 前記質問受付回答システムにおいて、質問端末からの質問を受け付けて、該質問を前記第1次回答システムに送信するステップと、
(b1) 前記第1次回答システムから前記第1次回答として前記識別子を受信したときに、前記人工知能が機械学習している前記識別子に紐付けして最終回答候補を記憶している最終回答記憶部から、受信した前記識別子に対応する前記最終回答候補を読み出して、該読み出した最終回答候補を最終回答として前記質問端末に対して返信するステップと、
を備えことを特徴とする。
A question answering method of a question accepting and answering system according to a first aspect of the present invention comprises a question accepting and answering system for accepting a question from a question terminal by a computer and replying an answer to the question to the question terminal, and artificial intelligence. Machine learning is performed on a plurality of assumed questions and predetermined identifiers that are answers to the plurality of assumed questions as primary answers, and identifiers are returned as primary answers according to the input questions. A question answering method of the question receiving and answering system in a question answering system comprising:
(a1) receiving a question from a question terminal in the question receiving and answering system and transmitting the question to the primary answering system;
(b1) When the identifier is received as the primary response from the primary response system, the final response is linked to the identifier machine-learned by the artificial intelligence and stored as a final response candidate. a step of reading the final answer candidate corresponding to the received identifier from a storage unit and replying the read final answer candidate as a final answer to the question terminal;
characterized by comprising
本発明の他の態様に係る質問応答システムまたは質問受付回答システムの質問応答方法は、前記ステップ(a)または(a1)が、
(a-1) 質問端末から質問を受け付けるステップと、
(a-2) 前記質問に付随する該質問の固有属性情報を取得して記憶するステップと、
(a-3) 前記質問を前記第1次回答システムに送信するステップと、
を備え、
前記ステップ(c)または(b1)は、
(c-1) 前記第1次回答システムから前記第1次回答として前記識別子を受信するステップと、
(c-2) 前記ステップ(a-1)で記憶した固有属性情報から、利用者システムの識別情報を取得するステップと、
(c-3) 前記識別子に対応する最終回答候補を基本回答と利用者特有の固有回答とに分けて記憶している回答記憶部から、前記第1次回答の識別子と前記利用者システムの識別情報に基づいて、対応する前記基本回答または前記固有回答を読み出すステップと、
(c-4) 前記読み出した前記基本回答または前記固有回答を前記質問端末に返信するステップと、
を備えることを特徴とする。
In the question answering method of the question answering system or the question accepting and answering system according to another aspect of the present invention, the step (a) or (a1) is
(a-1) receiving a question from a question terminal;
(a-2) acquiring and storing unique attribute information of the question accompanying the question;
(a-3) sending the question to the primary response system;
with
The step (c) or (b1) is
(c-1) receiving the identifier as the primary response from the primary response system;
(c-2) obtaining identification information of the user system from the unique attribute information stored in step (a-1);
(c-3) Identifying the identifier of the primary response and the user system from the response storage unit that stores the final response candidates corresponding to the identifier, divided into basic responses and user-specific unique responses. retrieving the corresponding basic answer or the unique answer based on the information;
(c-4) returning the read basic answer or unique answer to the question terminal;
characterized by comprising
本発明の第1の態様に係る質問応答システムの多言語質問の応答方法は、質問端末からの質問をコンピュータにより受け付けて該質問に対する回答を前記質問端末に返信する質問受付回答システムと、人工知能を備えており、一つの質問グループ内に異なる言語からなる共通属性を有する複数の想定質問を含む複数の質問グループから構成されるすべての前記想定質問と、同じ質問グループに含まれる異なる言語からなる前記複数の想定質問に対する第1次回答は、いずれの前記想定質問に対しても言語の種類に関係なくすべて同じ識別子の前記第1次回答を出力するよう機械学習しており、入力された質問に応じて第1次回答として前記識別子を返信する第1次回答システムとを備える質問応答システムにおける多言語質問の応答方法であって、
(a) 前記質問受付回答システムにおいて、 質問端末からの質問を受け付けて、前記質問に付随する該質問の固有属性情報から前記質問の言語情報を取得して記憶し、前記質問および前記第1次回答システムが前記質問の言語情報を必要とする場合には、前記質問の言語情報を合わせて前記質問を前記第1次回答システムに送信するステップと、
(b) 前記第1次回答システムにおいて、前記質問受付回答システムからの前記質問を受け付けて、該質問を、前記人工知能に入力して該入力した質問に対する前記第1次回答を前記識別子として出力し、前記人工知能から出力された前記第1次回答の識別子を前記質問受付回答システムに送信するステップと、
(c)前記質問受付回答システムにおいて、 前記第1次回答システムから前記第1次回答として前記識別子を受信したときに、前記人工知能が機械学習している前記識別子に紐付けして最終回答候補を記憶している回答記憶部から、受信した前記識別子に対応する前記最終回答候補を読み出して、該読み出した最終回答候補を最終回答として前記質問端末に対して返信するステップと、
を備えることを特徴とする。
ここで、「異なる言語からなる共通属性を有する複数の想定質問」には、言語が異なる実質的に同じ意味の想定質問を含んでいる。
A multilingual question answering method for a question answering system according to a first aspect of the present invention includes a question accepting/answering system for accepting a question from a question terminal by a computer and replying an answer to the question to the question terminal; All the hypothetical questions composed of a plurality of question groups including a plurality of hypothetical questions having common attributes in different languages in one question group, and different languages included in the same question group Machine learning is performed so that the primary answers to the plurality of assumed questions are output with the same identifier regardless of the language type for any of the assumed questions, and the input question A multilingual question response method in a question answering system comprising a primary response system that returns the identifier as a primary response in response to
(a) In the question receiving and answering system, receiving a question from a question terminal, acquiring and storing language information of the question from unique attribute information of the question accompanying the question, storing the question and the primary if an answering system requires the language information of the question, sending the question to the primary answer system together with the language information of the question;
(b) In the primary response system, the question is received from the question acceptance and response system, the question is input to the artificial intelligence, and the primary response to the input question is output as the identifier. and sending the identifier of the primary answer output from the artificial intelligence to the question receiving and answering system;
(c) In the question receiving and answering system, when the identifier is received as the primary answer from the primary answering system, it is linked to the identifier machine-learned by the artificial intelligence and the final answer candidate a step of reading the final answer candidate corresponding to the received identifier from the answer storage unit storing the identifier, and replying the read final answer candidate to the question terminal as a final answer;
characterized by comprising
Here, "a plurality of hypothetical questions having common attributes in different languages" includes hypothetical questions with substantially the same meaning in different languages.
本発明の第1の態様に係る質問受付回答システムの多言語質問の受付応答方法は、質問端末からの質問をコンピュータにより受け付けて該質問に対する回答を前記質問端末に返信する質問受付回答システムと、人工知能を備えており、一つの質問グループ内に異なる言語からなる共通属性を有する複数の想定質問を含む複数の質問グループから構成されるすべての前記想定質問と、同じ質問グループに含まれる異なる言語からなる前記複数の想定質問に対する第1次回答は、いずれの前記想定質問に対しても言語の種類に関係なくすべて同じ識別子の前記第1次回答を出力するよう機械学習して、入力された質問に応じて第1次回答として識別子を返信する第1次回答システムとを備える質問応答システムにおける前記質問受付回答システムの質問受付応答方法であって、
(a1) 前記質問受付回答システムにおいて、 前記質問端末からの質問を受け付けて、 前記質問に付随する該質問の固有属性情報から前記質問の言語情報を取得して記憶し、前記質問および前記第1次回答システムが前記質問の言語情報を必要とする場合には、前記質問の言語情報を合わせて前記第1次回答システムに送信するステップと、
(b1) 前記第1次回答システムから前記第1次回答として前記識別子を受信したときに、前記人工知能が機械学習している前記識別子に紐付けして最終回答候補を記憶している最終回答記憶部から、受信した前記識別子に対応する前記最終回答候補を読み出して、該読み出した最終回答候補を最終回答として前記質問端末に対して返信するステップと、
を備えることを特徴とする。
本発明は、請求項16に係る発明のサブコンビネーション発明である。ここで、「異なる言語からなる共通属性を有する複数の想定質問」には、言語が異なる実質的に同じ意味の想定質問を含んでいる。
A method for accepting and responding to multilingual questions in a question accepting and answering system according to a first aspect of the present invention comprises: a question accepting and answering system for accepting questions from question terminals by a computer and replying answers to the questions to the question terminals; All the hypothetical questions that are equipped with artificial intelligence and are composed of a plurality of question groups including a plurality of hypothetical questions that have a common attribute consisting of different languages in one question group, and the different languages included in the same question group. The primary answers to the plurality of assumed questions consisting of are input by machine learning so that the primary answers with the same identifier are output for all the assumed questions regardless of the type of language A question acceptance and response method of the question acceptance and answer system in a question answering system comprising a primary answer system that returns an identifier as a primary answer in response to a question,
(a1) In the question receiving and answering system, receiving a question from the question terminal, acquiring and storing language information of the question from unique attribute information of the question accompanying the question, and storing the question and the first if the next answer system needs the language information of the question, sending the language information of the question together to the first answer system;
(b1) When the identifier is received as the primary response from the primary response system, the final response is linked to the identifier machine-learned by the artificial intelligence and stored as a final response candidate. a step of reading the final answer candidate corresponding to the received identifier from a storage unit and replying the read final answer candidate as a final answer to the question terminal;
characterized by comprising
The present invention is a sub-combination invention of the invention according to claim 16. Here, "a plurality of hypothetical questions having common attributes in different languages" includes hypothetical questions with substantially the same meaning in different languages.
本発明の他の態様に係る質問応答システム又は質問受付回答システムの多言語質問の受付応答方法は、前記ステップ(c)または(b1)が、
(c-1) 前記第1次回答システムから前記第1次回答として前記識別子を受信するステップと、
(c-2) 前記ステップ(a)又は(a1)で記憶した前記言語情報などを基にした回答言語の確定ルールに従って決定された回答言語情報を取得するステップと、
(c-3) 機械学習した前記識別子と前記回答言語情報とに紐付されて、前記回答言語情報で指定された回答言語より最終回答記憶部に記憶している最終回答候補を、前記第1次回答として受信した前記識別子と取得した前記回答言語情報に対応する前記最終回答候補を読み出すステップと、
(c-4) 前記読み出した前記回答言語による最終回答候補を、最終回答として前記質問端末に返信するステップと、
を備えることを特徴とする。
In the multilingual question reception and response method of the question answering system or the question reception and answer system according to another aspect of the present invention, the step (c) or (b1) includes:
(c-1) receiving the identifier as the primary response from the primary response system;
(c-2) a step of obtaining answer language information determined according to answer language determination rules based on the language information stored in step (a) or (a1);
(c-3) The final answer candidate stored in the final answer storage unit is linked to the machine-learned identifier and the answer language information, and the final answer candidate stored in the final answer storage unit is selected from the answer language specified by the answer language information. a step of reading out the final answer candidate corresponding to the identifier received as an answer and the answer language information obtained;
(c-4) a step of replying the read out final answer candidate in the answer language as a final answer to the question terminal;
characterized by comprising
本発明の第1の態様にかかる第1次回答システムの回答方法は、質問端末から質問を受け付けて前記質問端末に回答を返信する質問受付回答システムと、該質問受付回答システムからの要求に応じて、前記質問に対する第1次回答を識別子として出力する人工知能を備える第1次回答システムとを用いた質問応答システムにおける前記第1次回答システムの回答方法であって、
(a) 一つの質問グループ中に言語に関係なく共通属性を有する複数の想定質問を含む複数の前記質問グループを構成する多数の想定質問と、前記複数の各質問グループと1:1で対応する識別子を前記各想定質問の第1次回答として前記人工知能に機械学習させるステップと、
(b) 前記質問受付回答システムから受け取った質問を前記人工知能に入力して、該人工知能から第1次回答として前記識別子を出力するステップと、
(c) 前記第1次回答として出力された前記識別子を、前記質問に対する第1次回答として前記質問受付回答システムに送信するステップと、
を備えることを特徴とする
前記ステップ(a)において、前記各質問グループに含まれる共通属性を備える前記複数の想定質問は、実質的に同じ意味であって言語が異なる想定質問を含むように構成することが好ましい。
本発明は、請求項16に係る発明のサブコンビネーション発明である。
An answering method of a primary answering system according to a first aspect of the present invention includes a question accepting and answering system for accepting a question from a question terminal and replying an answer to the question terminal, and responding to a request from the question accepting and answering system. and a primary answer system provided with artificial intelligence that outputs a primary answer to the question as an identifier, and a method of answering the primary answer system in a question answering system using a primary answer system,
(a) One question group includes a plurality of hypothetical questions having a common attribute regardless of language, and a large number of hypothetical questions that constitute the plurality of question groups, and each of the plurality of question groups correspond to each other on a 1:1 basis. causing the artificial intelligence to machine-learn the identifier as a primary answer to each of the hypothetical questions;
(b) inputting the question received from the question receiving and answering system into the artificial intelligence and outputting the identifier as a primary answer from the artificial intelligence;
(c) transmitting the identifier output as the primary response to the question acceptance and response system as the primary response to the question;
In step (a), the plurality of hypothetical questions having a common attribute included in each of the question groups includes hypothetical questions that have substantially the same meaning but differ in language. preferably.
The present invention is a sub-combination invention of the invention according to claim 16.
本発明の質問応答システムでは、質問受付回答システムと人工知能を有する第1次回答システムとに分離した上で、質問に対する最終回答候補を質問受付回答システムに、第1次回答システムの第1次回答に紐付して記憶しておき、第1次回答システムからの第1次回答に応じて、質問受付回答システムの最終回答候補を読み出して最終回答を返信するように構成している。これにより、最終回答候補の内容を人工知能とは無関係に自由に修正、変更することができるようになった。すなわち、人工知能に関する専門知識がなくとも、所定の権限の範囲内において最終回答を自由に変更することができるので、例えば第1次回答システムからの第1次回答の回答確信度が低いときであっても、当該質問に対する最終回答を質問に合わせた最終回答とするように変更することにより、機械学習をさせることなく、実質的に回答確信度を上げるというような改善、メンテナンスが可能となる。 In the question answering system of the present invention, after separating the question reception and answer system and the primary answer system having artificial intelligence, the final answer candidate to the question is sent to the question reception and answer system, and the first answer system of the primary answer system. It is configured so that the final answer candidates of the question receiving and answering system are read out according to the primary answer from the primary answering system, and the final answer is sent back. As a result, the contents of the final answer candidate can be freely corrected and changed regardless of artificial intelligence. That is, even without expert knowledge of artificial intelligence, the final answer can be freely changed within the scope of the predetermined authority. Even if there is, by changing the final answer to the question so that it is the final answer according to the question, it is possible to improve and maintain such that the answer confidence is substantially increased without machine learning .
また、質問に対する応答の精度を高くするためには、システム導入の当初からできるだけ多くの想定質問を機械学習させることが望ましいが、機械学習させる想定質問と回答の数を増やすと、システム導入コストが高くなる。これに対して、本願発明では、最終回答候補を第1次回答システムとは分離した別の質問受付回答システムに記憶するので、回答の内容を想定質問に直接回答する内容より広い範囲に膨らませた最終回答候補を記憶させておくことが可能となる。これにより、第1次回答が一定の回答確信度を得られる範囲において、人工知能に機械学習させていない想定質問の回答も最終回答候補の回答内容に含めて記憶しておくことにより、質問に対する回答の満足度を上げることが可能となる。したがって、本発明では、第1次回答システムに機械学習させる想定質問と回答の数を従来よりも少なくした上で、最終回答候補の回答内容を充実させることが可能である。すなわち、人工知能に機械学習させる想定質問の数を従来よりも少なくすることができ、運用開始時の質問応答システムの導入コストを下げること、及び運用開始時の人工知能の機械学習の負荷を低減することが可能となる。 In addition, in order to improve the accuracy of responses to questions, it is desirable to use machine learning for as many possible questions as possible from the beginning of system introduction. get higher On the other hand, in the present invention, since the final answer candidate is stored in a separate question reception and answer system separate from the primary answer system, the content of the answer is expanded to a wider range than the content of the direct answer to the assumed question. It is possible to store final answer candidates. As a result, to the extent that the primary answer can obtain a certain degree of answer confidence, answers to hypothetical questions that have not been machine-learned by artificial intelligence are also included in the answer content of the final answer candidate and stored, so that it is possible to respond to the question. It is possible to increase the satisfaction of the answer. Therefore, in the present invention, it is possible to improve the answer contents of the final answer candidates while reducing the number of assumed questions and answers to be machine-learned by the primary answer system. In other words, it is possible to reduce the number of assumed questions to be machine-learned by artificial intelligence, lowering the introduction cost of the question answering system at the start of operation, and reducing the load of machine learning of artificial intelligence at the start of operation. It becomes possible to
また本発明の他の態様に係る質問応答システムでは、質問受付回答システムと第1次回答システムを分離した上で、システム利用者ごとの異なる最終回答候補を合わせて記憶しておくことにより、複数のシステム利用者が一つの質問応答システムを共同利用することができる。これにより、個々のシステム利用者にとって、システム導入コストを下げることが可能となる。 Further, in the question answering system according to another aspect of the present invention, after separating the question receiving and answering system and the primary answering system, by storing together different final answer candidates for each system user, a plurality of system users can jointly use one question answering system. This makes it possible for individual system users to reduce the cost of introducing the system.
また、本発明の他の態様に係る質問応答システムは、質問受付回答システムと第1次回答システムを分離した上で、言語の異なる複数の想定質問であっても共通属性を有する想定質問は一つの同じ第1次回答となるように機械学習させ、質問受付回答システムに異なる回答言語による最終回答候補を記憶することにより、簡単な構成により異なる言語による質問を受け付けることが出来る。回答言語は一つの言語で回答するように構成することも、質問の言語に応じた所定の複数の回答言語により回答するように構成することも可能である。 In addition, in the question answering system according to another aspect of the present invention, after separating the question receiving and answering system and the primary answering system, even if there are a plurality of assumed questions in different languages, only one assumed question having a common attribute is used. It is possible to receive questions in different languages with a simple configuration by performing machine learning so as to obtain two identical primary answers and storing final answer candidates in different answer languages in the question accepting and answering system. The answer language can be configured to answer in one language, or can be configured to answer in a plurality of predetermined answer languages according to the language of the question.
以下図面を参照して、本発明に係る質問応答システム、質問受付回答システム、第1次回答システム及び質問応答方法について説明する。図1は、本発明の第1の実施形態に係る質問応答システムの利用形態及び全体の概略構成を模式的に説明するための図である。図1では本発明に係る質問応答システム25を構成する質問受付回答システム10及び第1次回答システム30と、質問端末90から発信された質問が本発明の質問応答システム25に受け付けられて、質問端末90に対して最終回答が返信されるまでに共同する各種装置及び通信網の一部を例示している。 A question answering system, a question receiving and answering system, a primary answering system and a question answering method according to the present invention will be described below with reference to the drawings. FIG. 1 is a diagram for schematically explaining a usage form and an overall schematic configuration of a question answering system according to a first embodiment of the present invention. In FIG. 1, a question sent from a question receiving/answering system 10 and a primary answering system 30, which constitute a question answering system 25 according to the present invention, and a question terminal 90 are received by the question answering system 25 of the present invention, and the question is It illustrates part of various devices and communication networks that work together until the final response is returned to the terminal 90 .
質問端末90からの質問は、通信ネットワーク91を介して接続されている利用者(業者等)のプラットフォームとなるシステム(以下「利用者システム」と称する)40上の質問受け付けページを経由して、質問受付回答システム10に送信される。質問端末90が利用者システム40に接続されているデスクトップPC、又はスマートフォン等の端末装置である場合には、質問は利用者システム40から質問受付回答システム10に直接送信される。ここで通信ネットワーク91は、図示していない無線通信ネットワークや中継局等の設備や複数のネットワークを含んでいるものとする(システム提供者のLANも含む)。なお、図1及び図2においては、利用者システム40が外部ネットワークに接続されている形態を示しているが、質問応答システムを提供する提供者のローカル・エリア・ネットワークに接続されていても良い。 Questions from the question terminal 90 are sent via a question acceptance page on a system (hereinafter referred to as "user system") 40 that serves as a platform for users (traders, etc.) connected via a communication network 91. It is transmitted to the question receiving and answering system 10 . If the question terminal 90 is a terminal device such as a desktop PC or a smart phone connected to the user system 40 , questions are sent directly from the user system 40 to the question reception and answer system 10 . Here, the communication network 91 includes facilities such as a wireless communication network and relay stations (not shown) and a plurality of networks (including the LAN of the system provider). 1 and 2 show the form in which the user system 40 is connected to an external network, it may be connected to the local area network of the provider who provides the question answering system. .
なお、図1~図14の説明においては、質問応答システムの利用者として業者A~Nを例示している。しかし、本発明の質問応答システムの利用者は、いわゆる商業や工業を営む業者に限定されない。すなわち、営利法人や営利団体等に限定されず、例えば、大学、病院、自治体、組合などを含むあらゆる組織又は個人のいずれも本発明に係る質問応答システムの利用者(システム利用者)となり得る。 1 to 14, traders A to N are exemplified as users of the question answering system. However, the users of the question answering system of the present invention are not limited to so-called commercial or industrial traders. That is, it is not limited to profit-making corporations and profit-making organizations, and any organization or individual including, for example, universities, hospitals, local governments, associations, etc., can be a user (system user) of the question answering system according to the present invention.
図1中、25は本発明の第1の実施形態に係る質問応答システムであり、質問受付回答システム10及び第1次回答システム30を備えている。第1次回答システム30は人工知能等の知識データベースを備えており、質問受付回答システムの一部を構成する最終回答記憶部18は質問に対する回答である最終回答候補を記憶している。最終回答記憶部18は、サーバまたはデータベース等の記憶装置から構成することができる。最終回答記憶部18は、質問受付回答システム10の内部の記憶装置であっても、LANを介して接続されていても、外部の通信ネットワークを介して接続されていても良い。図1においては、最終回答記憶部18は、質問受付回答システム10の内部の記憶装置として存在しても、ネットワークに接続された記憶装置として存在しても良いという意味で、破線で示している。図3に、質問受付回答システム10の主要機能を示す構成例として、機能ブロック図を示している。 In FIG. 1, reference numeral 25 denotes a question answering system according to the first embodiment of the present invention, which includes a question receiving and answering system 10 and a primary answering system 30. As shown in FIG. The primary answer system 30 has a knowledge database such as artificial intelligence, and the final answer storage unit 18, which constitutes a part of the question reception/answer system, stores final answer candidates, which are answers to questions. The final answer storage unit 18 can be configured from a storage device such as a server or database. The final answer storage unit 18 may be a storage device inside the question receiving and answering system 10, may be connected via a LAN, or may be connected via an external communication network. In FIG. 1, the final answer storage unit 18 is indicated by a dashed line in the sense that it may exist as a storage device inside the question receiving and answering system 10 or as a storage device connected to a network. . FIG. 3 shows a functional block diagram as a configuration example showing the main functions of the question receiving and answering system 10. As shown in FIG.
質問受付回答システム10は、CPU,ROM,RAM等を備えるサーバ等のハードウェアと基本ソフトウェアその他の各種のソフトウェアとにより構成されており、通信ネットワーク91を介して質問を受ける質問受付手段と、第1次回答システム30に対して第1次回答を問合せる第1次回答問合手段、質問端末90に最終回答を返信する最終回答手段、及び最終回答部等を備えるコンピュータシステムである。
第1次回答システム30は、質問を受け付け人工知能からの回答を返信するインターフェース手段と、想定質問と回答とを機械学習することにより、第1次回答を識別子として出力する人工知能とを備えているコンピュータシステムである。
The question receiving and answering system 10 is composed of hardware such as a server equipped with a CPU, ROM, RAM, etc., basic software and other various software, and includes question receiving means for receiving questions via a communication network 91; It is a computer system comprising a primary response inquiry means for inquiring a primary response to the primary response system 30, a final response means for returning a final response to the question terminal 90, a final response section, and the like.
The primary response system 30 includes interface means for receiving questions and replying responses from artificial intelligence, and artificial intelligence for outputting primary responses as identifiers by machine learning of assumed questions and responses. It is a computer system with
従来の質問応答システムでは、回答の満足度を高めるために膨大な量の想定質問と回答を機械学習させることが必要であった。そのため、人工知能の機械学習に用いる膨大な想定質問データや回答データの収集と、これらのデータの機械学習に多くの時間と労力が必要となっていた。また質問応答システムの精度を改善、更新するために、人工知能の機械学習が必須であった。
これに対して、本発明の質問応答システム25では、質問受付回答システム10と、人工知能を備える第1次回答システム30を明確に分離した構成として、第1次回答システム30による第1次回答と、実際に返信する最終回答とを切り離している。これにより、人工知能を備える第1次回答システム30と、最終回答を返信する質問受付回答システム10を切り離して別々に改善し進化させることができる。すなわち本発明に係る質問応答システム25は、人工知能を機械学習させることによりシステムを改善進化させることができるのに加えて、質問応答ログ等の解析に基づいて、質問応答システム25の最終回答候補の内容を適宜、追加し変更することにより、質問に対してより適切な回答ができるように質問応答システム25を進化改善させていくことが可能となる。
In the conventional question answering system, it was necessary to machine-learn a huge amount of hypothetical questions and answers in order to increase the satisfaction of the answers. As a result, a lot of time and effort have been required to collect a huge amount of assumed question data and answer data used for machine learning of artificial intelligence, and to perform machine learning on these data. In order to improve and update the accuracy of the question answering system, artificial intelligence machine learning was essential.
On the other hand, in the question answering system 25 of the present invention, the question receiving/answering system 10 and the primary answering system 30 equipped with artificial intelligence are clearly separated. and the final answer that actually replies. As a result, the primary answering system 30 equipped with artificial intelligence and the question receiving and answering system 10 that returns the final answer can be separated and improved and evolved separately. That is, the question answering system 25 according to the present invention can improve and evolve the system by machine learning artificial intelligence. By appropriately adding and changing the contents of the question answering system 25, it becomes possible to evolve and improve the question answering system 25 so that more appropriate answers can be given to questions.
また、本発明では、このように最終回答候補を簡単に変更改善することができることを前提にシステム構築ができるので、導入時点において、人工知能へ機械学習させる想定質問の数と第1次回答数とを従来に比べて減らして、最終回答候補を充実させることも可能となる。これにより、導入時のコストや導入時に機械学習負荷を減らすことができる。 In addition, in the present invention, the system can be constructed on the premise that the final answer candidate can be easily changed and improved in this way. can be reduced compared to the conventional method, and the final answer candidates can be enriched. As a result, the cost at the time of introduction and the machine learning load at the time of introduction can be reduced.
まず、人工知能を備える第1次回答システム30に対して機械学習させる想定質問と、第1次回答システム30から質問に対する回答として出力される第1次回答について説明する。
従来の人工知能に対しては、複数の想定質問と想定質問に対する回答とを機械学習(教師有り学習)させる。市役所における質問応答システムの例を用いて説明すると、一般的には、例えば、「税金を納めるには、どこへいったら良いでしょうか」または「税金の支払はどの窓口でしょうか」というような質問に対しては、「2階の3番窓口が税金関係の窓口です」というような回答を出力するように機械学習させる。しかし、本発明の第1次回答システム30では、想定質問の具体的な回答ではなく特定の識別子を第1次回答として出力するように機械学習する。ここで識別子の形態は、第1次回答を特定できる固有の識別子であればどのようなものでも良いが、個々の第1次回答を特定できる範囲で、短く簡単な構成が望ましい。本明細書では「100」のような単純な3桁の数字の識別子を出力するものとして説明する。
First, hypothetical questions that are machine-learned by the primary answer system 30 equipped with artificial intelligence and primary answers that are output from the primary answer system 30 as answers to the questions will be described.
For conventional artificial intelligence, machine learning (learning with supervision) is performed on a plurality of hypothetical questions and answers to the hypothetical questions. Using the example of a question-answering system at a city hall, in general, questions such as "Where should I go to pay my taxes?" machine learning to output an answer such as "The third window on the second floor is the tax-related window." However, in the primary answer system 30 of the present invention, machine learning is performed so that a specific identifier is output as the primary answer instead of the specific answer to the assumed question. Here, the form of the identifier may be of any type as long as it is a unique identifier that can identify the primary response, but it is desirable to have a short and simple structure as long as it can identify each primary response. In this specification, it is assumed that a simple three-digit numeric identifier such as "100" is output.
換言すると、第1次回答システム30では、何らかの共通する属性(以下単に「共通属性」と称する)を有する複数の想定質問については、いずれの想定質問についても一つの同じ識別子を第1次回答として出力するように機械学習させる。共通属性の大きさ・範囲は任意に設定できる。 In other words, in the primary answer system 30, for a plurality of assumed questions having some common attribute (hereinafter simply referred to as "common attribute"), one same identifier is given as the primary answer for each assumed question. Machine learning to output. The size and range of common attributes can be set arbitrarily.
本明細書においては、一つの共通属性を有する想定質問の束を質問グループと称する。すなわち、共通の意味を有する複数の想定質問が一つの質問グループに属し、一つの質問グループ内に含まれる各想定質問に共通する概念(属性)に対して、共通の一つの第1次回答(識別子)を出力するように機械学習させる。この場合、第1次回答(識別子)の数は、質問グループの数と同じ数となり、同一の質問グループに属する各想定質問については、同じ第1次回答(識別子)が出力される。例えば、上記の税金支払いの想定質問の例で、「税金」に関する質問に対応する回答を一つの質問グループにした場合には、税金に関する想定質問については、すべて共通に一つの識別子が第1次回答として出力されるように機械学習されることになる。 A set of hypothetical questions having one common attribute is referred to herein as a question group. That is, a plurality of assumed questions with a common meaning belong to one question group, and one common primary answer ( machine learning to output identifier). In this case, the number of primary answers (identifiers) is the same as the number of question groups, and the same primary answers (identifiers) are output for each assumed question belonging to the same question group. For example, in the example of the hypothetical questions about tax payments above, if the answers corresponding to the questions about "taxes" are grouped into one question group, all the hypothetical questions about taxes have one common identifier as the primary It will be machine-learned so that it will be output as an answer.
何を共通属性とするかは質問グループに応じて決めることができる。例えば、上述の「税金の支払い」に関する想定質問の例においては、「税金を支払うための場所」が共通属性となっている。ここで、「税金の払い戻し」や「税金の相談」を、同じ質問グループとするか、別の質問グループとするかは自由に決めることができる。例えば、共通属性の枠をより広げて、税金に関することはすべて一つの回答とすることもできる。この場合「税金」を一つの共通属性として一つの質問グループを構成し、税金に関する多くの想定質問についての第1次回答は、すべて1つの識別子として出力されることになる。
質問受付回答システム10から質問を受けとると、第1次回答システム30は、人工知能による質問に対する第1次回答として、回答確信度とともに所定の識別子を質問受付回答システムに返信する。
What is to be the common attribute can be determined according to the question group. For example, in the example of the hypothetical question about "Payment of taxes" above, "Where to pay taxes" is a common attribute. Here, it can be freely determined whether "tax refund" and "tax consultation" are included in the same question group or in separate question groups. For example, by broadening the scope of common attributes, all matters related to taxes can be treated as one answer. In this case, one question group is formed with "tax" as one common attribute, and primary answers to many assumed questions about taxes are all output as one identifier.
Upon receiving a question from the question receiving and answering system 10, the primary answering system 30 returns a predetermined identifier together with the answer certainty to the question receiving and answering system as a primary answer to the question by artificial intelligence.
質問受付回答システム10では、最終回答記憶部18に、最終回答候補が第1次回答システムで機械学習した識別子(第1次回答)と紐付されて記憶される。各最終回答候補は、少なくとも各質問グループに含まれる共通属性を有する複数の想定質問に対するすべての回答を包含するものであることが好ましく、さらに、機械学習済みの想定質問への直接的な回答だけではなく、関連する質問に対する回答も含むように構成することもできる。このことにより、回答の満足度を保ちながら、システム導入期間や導入コストを低減することが可能となる。そのため、最終回答候補は複数の想定質問に対する回答その他の予測される回答等多くの回答内容を含むため、本発明における最終回答候補は長くなる傾向となる。質問受付回答システム10が第1次回答システム30から第1次回答(識別子)を受信したときに、当該識別子に対応する最終回答候補を読み出すため、各識別子に紐付けされて、最終回答記憶部18に記憶される。 In the question accepting and answering system 10, the final answer candidate is stored in the final answer storage unit 18 in association with the identifier (primary answer) machine-learned by the primary answer system. Each final answer candidate preferably includes at least all answers to multiple hypothetical questions with common attributes included in each question group, and only direct answers to machine-learned hypothetical questions Instead, it can also be configured to include answers to related questions as well. As a result, it is possible to reduce the system introduction period and the introduction cost while maintaining the satisfaction of the answers. Therefore, the final answer candidates in the present invention tend to be long because the final answer candidates include many answers such as answers to a plurality of hypothetical questions and other predicted answers. When the question receiving and answering system 10 receives a primary answer (identifier) from the primary answering system 30, in order to read the final answer candidate corresponding to the identifier, the final answer storage unit is linked to each identifier. 18.
最終回答記憶部18には、最終回答候補として、少なくとも各質問グループに属するすべて想定質問に対する回答の土台となる基本回答が、各質問グループの第1次回答に対応する識別子に紐付されて記憶されている。各識別子に対応する最終回答候補として基本回答のみが記憶されている場合には、基本回答がそのままその識別子の最終回答となる。基本回答の内容としては、紐付される識別子に対応する質問グループに関連するすべての想定質問に対する回答が含まれることが好ましい。より好ましくは当該質問グループの想定質問には含まれていなくとも、その質問グループと同じ共通属性の予想される質問に対する回答をも含んでいることが望ましい。最終回答記憶部18には、最終回答候補として基本回答に加えて、固有回答を記憶することができる。固有回答とは、基本枠組みは基本回答と同じ内容であるが、基本回答を置き換えたもの、または基本回答にさらに新たな情報を追加した最終回答候補である。したがって、質問受付回答システム10は、第1次回答システム30から質問に対する第1次回答(識別子)を受信すると、最終回答記憶部18の最終回答候補から、受信した識別子に対応する最終回答候補として、基本回答または固有回答のいずれか一方を読み出して、それを質問の最終回答として質問端末90に返信する。 The final answer storage unit 18 stores, as final answer candidates, at least basic answers serving as the basis for answers to all assumed questions belonging to each question group, linked to identifiers corresponding to the primary answers of each question group. ing. When only the basic answer is stored as the final answer candidate corresponding to each identifier, the basic answer is directly the final answer for that identifier. The contents of the basic answer preferably include answers to all assumed questions related to the question group corresponding to the linked identifier. More preferably, even if it is not included in the expected questions of the question group, it is desirable to include answers to expected questions with the same common attribute as the question group. In addition to basic answers, unique answers can be stored as final answer candidates in the final answer storage unit 18 . A unique answer is a final answer candidate that has the same basic framework as the basic answer but replaces the basic answer or adds new information to the basic answer. Therefore, when the question receiving and answering system 10 receives the primary answer (identifier) to the question from the primary answering system 30, the final answer candidate corresponding to the received identifier is selected from the final answer candidates in the final answer storage unit 18. , either the basic answer or the unique answer is read out and sent back to the question terminal 90 as the final answer to the question.
後程具体例を用いて説明するように、固有回答は、質問に対する回答内容がシステム利用者に応じて異なる場合などに用いられる。
例えば、質問端末90から送信される質問の固有属性情報に基づいて、システム利用者を特定する情報(識別番号等)を取得し、最終回答記憶部18から、第1次回答システム30から受信した第1次回答(識別子)とシステム利用者の識別番号に紐付されている「基本回答又は固有回答」を読み出す。これにより、第1次回答が同じ識別子であっても、システム利用者の識別番号に対応する固有回答を読み出して、システム利用者毎に異なる最終回答を返信することができる。
As will be described later using a specific example, the unique answer is used when the content of the answer to the question differs depending on the system user.
For example, based on the unique attribute information of the question transmitted from the question terminal 90, information identifying the system user (identification number, etc.) is acquired, and received from the final response storage unit 18 and the primary response system 30 Read out the primary response (identifier) and the "basic response or unique response" linked to the system user's identification number. As a result, even if the primary reply has the same identifier, it is possible to read out the unique reply corresponding to the identification number of the system user and return a different final reply for each system user.
ここで、「質問の固有属性情報」とは、質問端末90から受信する個々の質問に固有の情報であり、例えば、質問端末90に関する情報、質問者の入力した質問以外の情報、質問端末90から質問応答システムへの通信情報や通信経路情報、質問の相手に関する情報(システム利用者の識別番号等)、質問の言語や回答言語に関する情報等の各種情報を含むことができる。これらの「質問の固有属性情報」は、通信情報や通信経路情報等から質問受付回答システム10等により自動的に取得する構成としても、必要に応じて質問者に対して情報の入力を要求する構成としても良い。また、システム利用者の特定情報は、質問が利用者システム40を経由して送信される際に、当該利用者システム40においてシステム利用者の識別番号を付加する構成としても良い。 Here, the “specific attribute information of the question” is information specific to each question received from the question terminal 90. For example, information about the question terminal 90, information other than the question input by the questioner, It can include various types of information such as communication information and communication route information from to the question answering system, information on the other party of the question (system user's identification number etc.), information on the language of the question and the language of the answer. Even if the question receiving and answering system 10 or the like automatically acquires these "question specific attribute information" from communication information, communication route information, etc., the questioner is requested to input the information as necessary. It may be configured. Further, the identification number of the system user may be added to the system user's identification number in the user system 40 when the question is transmitted via the user system 40 .
固有回答を使用する典型的な利用形態として、基本回答の内容とは異なる、システム利用者固有の営業時間や場所を追加した最終回答を返信したい場合がある。例えば、不動産業者であるシステム利用者に対して、質問端末から、不動産取扱業者に関する質問に、当該システム利用者(不動産業者)固有の営業時間や場所を知らせたい場合がある。このようなときには、第1次回答に対応する回答として、基本回答に加えて当該システム利用者(不動産業者)の営業時間や場所を含む固有回答を最終回答記憶部に記憶しておく。これにより、第1次回答とシステム利用者の識別番号とに基づいて、当該システム利用者の固有回答が読み出されて、最終回答としてシステム利用者の営業時間や場所が質問端末90に返信されることになる。 As a typical form of usage using a unique response, there is a case where it is desired to send back a final response that is different from the content of the basic response and to which business hours and locations unique to the system user are added. For example, there is a case where it is desired to inform a system user who is a real estate agent of the business hours and location specific to the system user (real estate agent) in response to a question about the real estate agent from the question terminal. In such a case, as a response corresponding to the primary response, in addition to the basic response, a unique response including the business hours and location of the system user (real estate agent) is stored in the final response storage unit. As a result, based on the primary response and the identification number of the system user, the unique response of the system user is read, and the business hours and location of the system user are returned to the question terminal 90 as the final response. will be
また、後ほど詳細に説明するように、第1次回答システムの人工知能に、質問グループの中に共通属性を有する言語の異なる想定質問を含ませて、想定質問と第1次回答を機械学習させることにより、複数種類の質問言語による質問を受け付けることができるようにすることができる。質問に対する回答の言語は、質問の言語と必ずしも同じ言語で回答する必要はなく、質問応答システムに標準設定された言語で最終回答を返信するように構成しても良い。文書の読解能力は文書作成能力に比べて比較的高いため、母国語でなくても、回答を読んで理解することができる人が多いため、必ずしも質問言語と同じ言語で回答する必要性は高くない。回答を作成するコストを下げ、導入期間を短くするために、質問言語のみを多言語化することは有用である。もう少し導入コスト及び導入時間に余裕がある場合には、回答言語を日本語、英語または中国語などの利用される可能性の高い言語に限定して回答できるように構成することも有用である。質問の言語と同じ言語で最終回答するように構成することも可能である。各回答言語による最終回答を第1次回答の各識別子と質問言語に応じた回答言語情報とに紐付して、各種回答言語による最終回答を最終回答記憶部に18に記憶しておくことにより、複数の回答言語による最終回答を返信することが可能となる。 In addition, as will be explained later in detail, the artificial intelligence of the primary answer system is made to include hypothetical questions in different languages that have common attributes in the question group, and perform machine learning of hypothetical questions and primary answers. Thus, it is possible to accept questions in multiple types of question languages. The language of answers to questions does not necessarily have to be the same language as the language of the question, and the final answer may be returned in the standard language of the question answering system. Since the ability to read documents is relatively high compared to the ability to write documents, there are many people who can read and understand the answers even if they are not native speakers, so there is a high need to answer in the same language as the question language. do not have. Multilingualization of only the question language is useful in order to reduce the cost of creating answers and shorten the introduction period. If the introduction cost and introduction time are a little more generous, it is also useful to limit the answer language to languages such as Japanese, English, or Chinese that are likely to be used. It is also possible to configure the final answer in the same language as the question language. By linking the final answer in each answer language to each identifier of the primary answer and answer language information corresponding to the question language, and storing the final answer in each answer language in the final answer storage unit 18, It is possible to send back final answers in multiple answer languages.
以上の説明から明らかなように、本発明は第1次回答システム30と質問受付回答システム10とを分離して、第1次回答システム30における人工知能の機械学習と、質問受付回答システム10における最終回答の作成及び更新をそれぞれ別々に独立して行うことができるように構成している。その上で、第1次回答システム30と質問受付回答システム10とは、想定質問の共通属性という概念と、第1次回答の識別子とでつなげられている。したがって、機械学習させる想定質問と第1次回答(識別子)と最終回答と整合させ、想定質問と最終回答候補とが互いにつながりを持つ構造とすることができる。したがって、機械学習させる想定質問に対して、柔軟な構造の最終回答候補を構築することができ、また質問応答システム25のメンテナンスやシステムの改善や更新についても、第1次回答システム30と質問応答システム25とをそれぞれ別個独立に行うことが可能となる。 As is clear from the above description, the present invention separates the primary response system 30 and the question reception and response system 10, artificial intelligence machine learning in the primary response system 30, and question reception and response system 10 It is configured so that the final reply can be created and updated independently of each other. In addition, the primary response system 30 and the question reception and response system 10 are connected by the concept of the common attribute of the assumed question and the identifier of the primary response. Therefore, the hypothetical question to be machine-learned, the primary answer (identifier), and the final answer can be matched, and the hypothetical question and the final answer candidate can be connected to each other. Therefore, it is possible to construct a final answer candidate with a flexible structure for an assumed question to be subjected to machine learning. system 25 can be performed independently.
以上のように、第1次回答システム30と質問受付回答システム10とを分離して、最終回答候補を柔軟に構築できるため、適用する質問応答システムの分野に応じて、システム導入コストや負荷を軽減する種々の工夫や取組が可能となる。
例えば、専門分野や特定業種の特定分野に絞り込むことにより、質問の予測や求められる回答が比較的明確となるので、想定質問の数を少なくして第1次回答システム30に機械学習させ、質問受付回答システムの最終回答候補には人工知能に機械学習させていない質問に対応する回答内容を含ませることが可能となる。これにより、機械学習想定質問の数及び第1次回答の数を抑制しつつ、最終回答の質を向上させることが可能となる。すなわち、導入時の負荷を大幅に軽減できるので、導入コスト及び運用開始までの時間を短縮することが可能となる。
また、対象となる質問の範囲を、専門分野、特定業種と特定分野の質問に絞り込むことにより、想定質問の数を絞り込むことができる。専門分野や特定業種の特定分野に絞り込むことにより、質問の予測が比較的容易となるので、共通属性の種類の数を少なくすることができる。
As described above, since the primary response system 30 and the question reception and response system 10 can be separated and final response candidates can be flexibly constructed, the system introduction cost and load can be reduced according to the field of the question answering system to be applied. Various devices and efforts to reduce it are possible.
For example, by narrowing down to a specific field of a specialized field or a specific industry, prediction of questions and required answers become relatively clear. The final answer candidates of the reception/answer system can include answer contents corresponding to questions that have not been machine-learned by artificial intelligence. As a result, it is possible to improve the quality of the final answer while suppressing the number of questions assumed by machine learning and the number of primary answers. That is, since the load at the time of introduction can be greatly reduced, it is possible to reduce the introduction cost and the time until the start of operation.
Also, by narrowing down the range of target questions to questions in a specialized field, a specific industry, and a specific field, the number of expected questions can be narrowed down. By narrowing it down to a specific field of specialization or a specific industry, it becomes relatively easy to predict questions, so the number of types of common attributes can be reduced.
さらに、基本的には、最終回答候補は共通属性を有する想定質問の回答をすべて含み、さらに想定質問に関連する回答を含むものである。そのため、一つの質問に対して、質問に関連する分野における質問頻度の高い多くの回答を含む最終回答が、一度の質問に対して同時に提供されることになる。したがって、最終回答中には質問者が次に予定していた質問の回答も含まれている可能性が高く、その場合には、第2回目以降の質問が不要となり、質問の抑制効果も生まれる。 Furthermore, basically, the final answer candidates include all answers to the assumed question having common attributes, and furthermore, answers related to the assumed question. Therefore, for one question, a final answer including many frequently asked answers in the field related to the question is simultaneously provided for one question. Therefore, there is a high possibility that the final answer also includes the answer to the question that the questioner planned next. .
このように第1次回答システム30と質問受付回答システム10を分離して構成することにより、想定質問と第1次回答を減らして機械学習の負荷を減らし、質問応答システム25の構築及び導入コストを下げることができる。また、受け付け可能な質問の範囲を絞り込むことにより、想定質問を整理しつつ共通属性の数を絞り込むことにより機械学習させる想定質問の数及び第1次回答(識別子)の数を大幅に絞り込むことができる。例えば、正答率を上げるために、従来は最低でも数万件以上必要とされる想定質問と回答の数を、質問の範囲を特定の業種の特定の業務に絞ることにより、本発明ではわずか500~1000個程度の数の想定質問と第1次回答に絞り込み、これらを機械学習させることで、質問応答システムの運用を開始することを可能となった。 By configuring the primary response system 30 and the question reception and response system 10 separately in this way, the number of assumed questions and primary responses is reduced, the load of machine learning is reduced, and the construction and introduction costs of the question response system 25 are reduced. can be lowered. In addition, by narrowing down the range of questions that can be accepted, it is possible to greatly narrow down the number of expected questions for machine learning and the number of primary answers (identifiers) by narrowing down the number of common attributes while organizing the expected questions. can. For example, in order to increase the correct answer rate, conventionally, at least tens of thousands of assumed questions and answers are required. By narrowing it down to about 1000 hypothetical questions and primary answers and machine learning them, it became possible to start the operation of the question answering system.
また、業種や業務を絞り込むことにより、業種や業務に対応させて標準化した精度の高い想定質問を創出して、質問応答システムを構築できるため、同じ質問応答システムを同業者間で共同して使用することも可能となる。複数の同業者で一つの質問応答システムを共同使用することができると、導入費用を共同負担できるので、さらにシステム導入障壁を下げることが可能となる。
一つ質問応答システム25の同業者による共同利用に関しては、前述したように、最終回答記憶部18に固有回答を記憶させ、質問の固有属性情報に基づいて利用業者毎に異なる最終回答を返信ができる構成とすることにより、利用者ごとの個性に応じた個別の最終回答が可能となるので、さらに好ましい共同利用形態を実現することが可能となる。
以上説明した「共通属性」、「想定質問」、「第1次回答」、「基本回答」、「固有回答」については、後ほど具体例を用いて、より詳しく説明する。
In addition, by narrowing down the industry and business, it is possible to create highly accurate hypothetical questions that are standardized to correspond to the industry and business, and build a question-answering system. It is also possible to If a plurality of people in the same trade can jointly use a single question answering system, the introduction cost can be jointly borne, so that it is possible to further lower the barriers to system introduction.
As for the shared use of the single question answering system 25 by the same traders, as described above, the unique answers are stored in the final answer storage unit 18, and a different final answer can be returned for each user based on the unique attribute information of the question. By adopting such a configuration, it becomes possible to give individual final answers according to the individuality of each user, so that it is possible to realize a more desirable form of shared use.
The "common attribute", "assumed question", "primary answer", "basic answer", and "unique answer" explained above will be explained in more detail later using specific examples.
なお、本発明の第1次回答を提供する第1次回答システム30において、インターナショナル・ビジネス・マシーンズ・コーポレーションのWATSON(WATSONは登録商標である)などを人工知能の汎用サービスとして使用することができる。 In the primary response system 30 for providing the primary response of the present invention, WATSON (WATSON is a registered trademark) of International Business Machines Corporation can be used as a general-purpose service of artificial intelligence. .
上述の説明では、質問応答システムの第1の実施形態として、第1次回答システム30が通信ネットワーク91を介して第1次回答システム30と接続されている構成例を示した。
しかし、図2に一例として示すように、本発明に係る他の実施形態に係る質問応答システム25‘は、質問受付回答システム26と第1次回答システム27とを外部の通信ネットワークを介さずに、内部回線又は専用通信回線を介して接続しても良い。図2の構成では、質問受付回答システム26と第1次回答システム27が内部回線(専用回線等)により接続されている点が異なるのみで、質問受付回答システム26及び第1次回答システム27の基本的構成及び機能は、それぞれ図1の質問受付回答システム10及び第1次回答システム30と同じである。
In the above description, a configuration example in which the primary answer system 30 is connected to the primary answer system 30 via the communication network 91 has been shown as the first embodiment of the question answering system.
However, as shown in FIG. 2 as an example, a question answering system 25' according to another embodiment of the present invention connects a question receiving and answering system 26 and a primary answering system 27 without an external communication network. , may be connected via an internal line or a dedicated communication line. In the configuration of FIG. 2, the only difference is that the question reception and answer system 26 and the primary answer system 27 are connected by an internal line (dedicated line, etc.). The basic configuration and functions are the same as those of the question receiving and answering system 10 and the primary answering system 30 of FIG. 1, respectively.
図1では質問応答システム25を運用管理するシステム提供者の管理端末(システム管理端末50)が通信ネットワーク91に接続されている例を示している。通信ネットワーク91がLANも含むと説明したことからも明らかであるが、システム管理端末50は質問応答システム25(25’)と内部通信システム(LAN)で接続する構成とすることも可能である。 FIG. 1 shows an example in which a management terminal (system management terminal 50 ) of a system provider who operates and manages the question answering system 25 is connected to a communication network 91 . As is clear from the explanation that the communication network 91 also includes a LAN, the system management terminal 50 can also be configured to be connected to the question answering system 25 (25') via an internal communication system (LAN).
次に、質問受付回答システム10(26)の主な構成例について、図3(a)を参照して説明する。図3(a)は、本発明の質問受付回答システム10(26)の構成を例示する機能ブロック図であり、例えば、CPU、バスコントロール及びレジスタその他の制御回路、入出力装置、メモリー、ハードディスク等のハードウェア、及びこれらのハードウェアを制御するソフトウェアと各種プログラム等により構成される。
質問受付回答システム10(26)は、基本構成として、送受信機能を有する通信インターフェース11と、外部からの質問を受け付ける受付手段12、質問端末90及び質問に関する情報を記億している稼働履歴記憶部13、第1次回答問合手段14、最終回答手段15とを備えている。また、メンテナンス手段16も備えることが望ましい。
Next, a main configuration example of the question receiving and answering system 10 (26) will be described with reference to FIG. 3(a). FIG. 3(a) is a functional block diagram illustrating the configuration of the question receiving and answering system 10 (26) of the present invention. hardware, software for controlling the hardware, various programs, and the like.
The question receiving and answering system 10 (26) basically comprises a communication interface 11 having a transmission/reception function, receiving means 12 for receiving questions from the outside, a question terminal 90, and an operation history storage section storing information on questions. 13, primary answer inquiry means 14, and final answer means 15. It is also desirable to have maintenance means 16 .
質問受付回答システム10(26)の受付手段12は、質問端末90からの質問を受け付けるとともに、質問の固有属性情報を例えば稼働履歴記憶部13等に記憶する。第1次回答問合手段14は、受付手段12から受信した質問を第1次回答システム30(27)に問い合わせて、第1次回答システム30(27)から、第1次回答及び可能な場合にはその回答確信度を受け取る。第1次回答問合手段14は第1次回答システム30(27)から第1次回答と回答確信度を受け取ると、最終回答手段15にそれらの情報を出力する。最終回答手段15は、第1次回答手段から受信した第1次回答が所定の条件を満足するとき(例えば回答確信度が所定の閾値以上のとき)に、第1次回答及び質問の固有属性に対応する最終回答候補(基本回答又は固有回答)を最終回答記憶部18(28)から読みだして、質問端末90に送信する。稼働履歴記憶部13は、質問の受付から最終回答までの各工程の稼働履歴、例えば、質問の固有属性、質問内容、第1次回答、回答確信度、最終回答等を必要に応じて記憶する。なお、上記及び以下の説明においては、第1次回答システム30(27)から第1次回答とともに常に回答確信度を受け取る例を示しているが、第1次回答システム30(27)から回答確信度を受領することは必須ではない。また回答確信度に代えて他の類似する情報を受信する構成とすることもできる。 The accepting means 12 of the question accepting/answering system 10 (26) accepts questions from the question terminal 90, and stores unique attribute information of the questions in, for example, the operation history storage unit 13 or the like. The primary response inquiry means 14 inquires the primary response system 30 (27) about the question received from the reception means 12, and receives the primary response and, if possible, the primary response system 30 (27). receives its answer confidence. Upon receiving the primary response and the response certainty from the primary response system 30 ( 27 ), the primary response inquiry means 14 outputs the information to the final response means 15 . The final response means 15, when the primary response received from the primary response means satisfies a predetermined condition (for example, when the response certainty is equal to or greater than a predetermined threshold value), the primary response and the unique attribute of the question The final answer candidate (basic answer or unique answer) corresponding to is read from the final answer storage unit 18 (28) and sent to the question terminal 90. The operation history storage unit 13 stores the operation history of each process from the question reception to the final answer, for example, the unique attribute of the question, the question content, the primary answer, the answer confidence, the final answer, etc., as necessary. . In the above and following explanations, an example is shown in which the response certainty is always received together with the primary response from the primary response system 30 (27). It is not mandatory to receive a degree. It is also possible to adopt a configuration in which other similar information is received in place of the answer certainty.
上記においては、第1次回答システム30(27)から、一つの第1次回答(識別子)を受け取る例を示しているが、第1次回答システムから複数の第1次回答候補識別子のリストを受け取り、質問受付回答システム10(26)で適切な唯一の第1次回答(識別子)を選択し、最終回答を取得することも可能である。 In the above example, one primary response (identifier) is received from the primary response system 30 (27). It is also possible to receive and select an appropriate unique primary response (identifier) in the question receiving and answering system 10 (26) to obtain a final response.
メンテナンス手段16は、システム管理者又はシステム利用者からのログ情報及び各種稼働情報の収集、解析、及びメンテナンス要求を受け付け、情報の収集分析及びメンテナンス等の処理を実行する。メンテナンス手段16により、例えば人工知能に関する専門知識を持たないシステム利用者であっても、質問応答システム25(25‘)のシステム管理者とは別個独立に、所定の権限範囲内において、最終回答記憶部18(28)の最終回答の内容の一部を独自に管理し修正・変更することができる。 The maintenance unit 16 receives requests for collection, analysis, and maintenance of log information and various operating information from system administrators or system users, and executes processes such as information collection and analysis and maintenance. By the maintenance means 16, even a system user who does not have expert knowledge of artificial intelligence, for example, can store the final answer independently from the system administrator of the question answering system 25 (25') within a predetermined authority range. A part of the content of the final answer in the part 18 (28) can be independently managed, corrected, and changed.
図3(b)は、図3(a)の最終回答手段15の構成の一例を示す機能ブロック図である。
第1次回答システム30(27)から第1次回答を受信すると、第1次回答問合手段14から最終回答手段15に第1次回答が送信される。最終回答手段15の最終回答制御部35は第1次回答を受信すると、固有属性情報取得部36を介して稼働履歴記憶部13に記憶している当該質問の固有属性情報を取得して、最終回答制御部35に送信する。最終回答制御部35は、第1次回答の識別子及び固有属性情報(システム利用者の情報等)に基づいて、最終回答取得部37に対して最終回答記憶部18(28)から第1次回答に対応する基本回答もしくは固有回答を取得するよう指令をする。最終回答取得部37により取得した基本回答、又は固有回答は最終回答送信部38に送られて、最終回答制御部35の制御の下、最終回答として通信インターフェース11を介して質問端末90に送信される。
FIG. 3(b) is a functional block diagram showing an example of the configuration of the final reply means 15 of FIG. 3(a).
When the primary response is received from the primary response system 30 (27), the primary response is transmitted from the primary response inquiry means 14 to the final response means 15. FIG. When the final answer control unit 35 of the final answer means 15 receives the primary answer, it acquires the unique attribute information of the question stored in the operation history storage unit 13 via the unique attribute information acquisition unit 36, It is transmitted to the reply control section 35 . The final response control unit 35 sends the primary response from the final response storage unit 18 (28) to the final response acquisition unit 37 based on the primary response identifier and unique attribute information (system user information, etc.). command to obtain a basic answer or a unique answer corresponding to The basic answer or unique answer acquired by the final answer acquisition unit 37 is sent to the final answer transmission unit 38, and under the control of the final answer control unit 35, it is sent to the question terminal 90 via the communication interface 11 as the final answer. be.
図4は、図3(a)に示すメンテナンス手段16の構成例を示す機能ブロック図である。メンテナンス手段16は、初期設定手段21と、分析手段22と、データ更新手段23を備えている。初期設定手段21を介して、システム管理端末50からの操作を受け付け、システム構築時に複数の想定質問及び第1次回答(識別子)の入力と設定、第1次回答システム30(27)の機械学習データの設定等の作業を行い、最終回答記憶部18(28)に最終回答候補(基本回答及び必要に応じて固有回答)を記憶する。
分析手段22は、稼働履歴記憶部13に記憶されている質問、第1次回答、最終回答、回答確信度等の統計情報、例えばシステム利用者毎の質問と回答数、回答グループごとの質問と回答数、平均回答確信度、回答確信度が基準値以下の件数と比率など、各種統計データを作成する。これらの統計データは所定の権限を有する者のみがモニタリングすることができる。
FIG. 4 is a functional block diagram showing a configuration example of the maintenance means 16 shown in FIG. 3(a). The maintenance means 16 comprises an initial setting means 21 , an analysis means 22 and a data update means 23 . Receiving operations from the system management terminal 50 via the initial setting means 21, inputting and setting multiple assumed questions and primary answers (identifiers) during system construction, and machine learning of the primary answer system 30 (27) Work such as data setting is performed, and final answer candidates (basic answers and, if necessary, unique answers) are stored in the final answer storage unit 18 (28).
The analysis means 22 analyzes statistical information such as questions, primary answers, final answers, and answer confidence stored in the operation history storage unit 13, for example, the number of questions and answers for each system user, questions and answers for each answer group, Create various statistical data such as the number of responses, average response confidence, and the number and ratio of responses whose response confidence is below the reference value. These statistics can only be monitored by authorized persons.
データ更新手段23は、利用者システム40の管理端末及びシステム管理端末50からのアクセスを受け付け、所望のデータの更新を行う。
システム管理端末50からは、第1次回答システム30(27)の知識データを機械学習させることにより更新することや、最終回答記憶部18(28)の最終回答候補の内容の更新をすることができる。例えば、質問に対する第1次回答の回答確信度が低いときには、新たな想定質問や第1次回答(識別子)を追加して第1次回答システム30(27)の人工知能機に機械学習をさせることができる。また、質問受付回答システムの最終回答記憶部に新たな識別子に対応する最終回答候補を作成することや、既に存在する基本回答や固有回答の追加・修正・変更等を行うことができる。初期設定手段21は、データ更新手段23にその機能を統合することも可能である。
The data update means 23 receives access from the management terminal of the user system 40 and the system management terminal 50 and updates desired data.
From the system management terminal 50, it is possible to update the knowledge data of the primary answer system 30 (27) by machine learning, and to update the contents of the final answer candidates in the final answer storage unit 18 (28). can. For example, when the answer certainty of the primary answer to the question is low, a new hypothetical question and primary answer (identifier) are added and machine learning is performed by the artificial intelligence machine of the primary answer system 30 (27). be able to. In addition, it is possible to create a final answer candidate corresponding to a new identifier in the final answer storage unit of the question receiving and answering system, and to add, modify, and change existing basic answers and unique answers. The initialization means 21 can also integrate its functions into the data updating means 23 .
システム利用者は、利用者システム(40)の管理端末から、当該システム利用者のアクセスログ情報を読出し、稼働履歴や分析データを閲覧でき、所定の許された範囲内で、最終回答記憶部18(28)に記憶されている最終回答データの修正、変更をすることができる。
これにより、人工知能に関する専門知識の有無にかかわらず、システム利用者(業者)が自ら最終回答記憶部18(28)の最終回答の内容の変更又は修正・追加等が可能となる。すなわち、システム利用者(業者等)は、システム提供者に依頼しなくとも、所定の許された範囲内で、通信ネットワークを介して接続されている利用者システム40の管理端末を用いて最終回答記憶部18に記憶されている最終回答(基本回答及び固有回答)を修正し、更新することができる。
The system user can read out the access log information of the system user from the management terminal of the user system (40), view the operation history and analysis data, and within a predetermined permitted range, the final reply storage unit 18 The final answer data stored in (28) can be corrected and changed.
As a result, regardless of the presence or absence of specialized knowledge about artificial intelligence, system users (traders) themselves can change, modify, add, etc. the content of the final answer stored in the final answer storage unit 18 (28). That is, the system user (such as a trader) can use the management terminal of the user system 40 connected via the communication network within a predetermined and permitted range without requesting the system provider to make a final reply. The final answers (basic answers and unique answers) stored in the storage unit 18 can be corrected and updated.
図5を参照して、本発明の一実施形態に係る質問応答システム25(25‘)における質問端末90からの質問に対する回答の基本的な流れを説明する。なお、以下の説明においては、質問の固有属性情報を用いて固有回答を提供する処理手順の例を説明するが、質問応答システム25(25‘)において、固有属性情報を利用するかどうか、固有回答を提供するかどうかは自由に選択することができる。
質問端末90から質問q1を受信すると(ステップS1)、受付手段12は質問の固有属性情報及び質問内容等を稼働履歴記憶部13(他の記憶部であっても良い)に記憶するとともに(ステップS2)、第1次回答問合手段14から、質問q1の第1次回答を第1次回答システム30(27)に対して問い合わせる(ステップS3)。
With reference to FIG. 5, the basic flow of responses to questions from the question terminal 90 in the question answering system 25 (25') according to one embodiment of the present invention will be described. In the following explanation, an example of the processing procedure for providing a unique answer using the unique attribute information of the question will be explained. You are free to choose whether or not to provide an answer.
When a question q1 is received from the question terminal 90 (step S1), the reception means 12 stores the unique attribute information of the question, the content of the question, etc. in the operation history storage unit 13 (other storage units may be used) (step S2), the primary response inquiry means 14 inquires of the primary response system 30 (27) about the primary response to the question q1 (step S3).
第1次回答システム30(27)は、質問q1に対する第1次回答(最終回答の識別子:図5のa1~an)を抽出し、第1次回答問合手段14に対して返信する。第1次回答システム30(27)は、例えば回答確信度の高い順に1つ以上の第1次回答(識別子)と、当該第1次回答に対応する回答確信度を第1次回答問合手段14に送信する。第1次回答問合手段14が、第1次回答システム30(27)から第1次回答を受信すると(ステップS4)、最終回答手段15に送られる。最終回答手段15では、第1次回答(識別子)が質問者に返信するための所定の条件を満足しているかどうか、例えば、受信した第1次回答の中でもっとも回答確信度の高い第1次回答の回答確信度が所定の閾値を超えているかどうか等を検証する(ステップS5)。 The primary response system 30 (27) extracts the primary response (identifier of the final response: a1 to an in FIG. 5) to the question q1 and returns it to the primary response inquiry means . The primary response system 30 (27), for example, sends one or more primary responses (identifiers) in descending order of response certainty, 14. When the primary response inquiry means 14 receives the primary response from the primary response system 30 ( 27 ) (step S 4 ), it is sent to the final response means 15 . The final reply means 15 determines whether the primary reply (identifier) satisfies a predetermined condition for replying to the questioner. It is verified whether or not the answer certainty of the next answer exceeds a predetermined threshold (step S5).
第1次回答が所定の条件を満足する場合(ステップS5;Yes)には、最終回答手段15により当該質問の固有属性情報を取得して、システム利用者の識別情報等を得る(ステップS6)。質問の固有属性情報は、稼働履歴記憶部13等に記憶されており、例えば固有属性情報から質問の通信経路(出自)を確認することにより、当該質問がどのシステム利用者(業者)を経由して来たかを調べて、システム利用者(業者)を特定することができる。次に取得した第1次回答とシステム利用者(業者)の情報(識別情報)に基づいて、第1次回答に対応する基本回答候補又はそのシステム利用者(業者)に対応する固有回答候補を取得する(ステップS7)。受信した第1次回答が複数ある場合には、最終回答として返信する最終回答候補(基本回答候補又は固有回答候補)を絞り込む。例えば、受信した第1次回答(識別子)の一番高い回答確信度に対応する基本回答候補又は固有回答候補を、最終回答記憶部18(28)から取得する(ステップS7)。
その後、取得した最終回答候補が最終回答手段15から、質問のあった質問端末90に送信される(ステップS9)。
If the first response satisfies the predetermined condition (step S5; Yes), the final response means 15 acquires the unique attribute information of the question and obtains the identification information of the system user (step S6). . The unique attribute information of the question is stored in the operation history storage unit 13 or the like. It is possible to identify the system user (trader) by checking whether the person has come. Next, based on the first response and the information (identification information) of the system user (vendor) obtained, basic answer candidates corresponding to the first response or unique answer candidates corresponding to the system user (vendor) are generated. acquire (step S7). If there are multiple primary answers received, the final answer candidates (basic answer candidates or specific answer candidates) to be returned as the final answer are narrowed down. For example, the basic answer candidate or unique answer candidate corresponding to the highest answer certainty of the received primary answer (identifier) is obtained from the final answer storage unit 18 (28) (step S7).
After that, the obtained final answer candidate is transmitted from the final answer means 15 to the question terminal 90 that asked the question (step S9).
ステップS5において第1次回答が所定の条件を満たさない場合(ステップS5;No)、例えば、回答確信度が所定の閾値以下の場合には、質問q1に対する適切な最終回答候補がない場合のために用意されている所定の回答、例えば、「もう少し具体的に質問して下さい」などの所定の回答を取得して(ステップS8)、最終回答手段15から質問端末90に送信する(ステップS9)。ここで、ステップS5において、第1次回答が所定の条件を満足しない場合の最終回答は、特別の識別番号に紐付して最終回答記憶部18(28)に記憶しておくことも可能であるし、プログラム内にデータとして埋め込んでおくこともできる。なお、図5において、ステップS5とステップS6の処理工程は、順序を入れ替えても良い。 If the primary answer does not satisfy the predetermined condition in step S5 (step S5; No), for example, if the answer certainty is equal to or less than a predetermined threshold, there is no suitable final answer candidate for question q1. (step S8), and transmit it from the final answer means 15 to the question terminal 90 (step S9). . Here, in step S5, if the primary response does not satisfy a predetermined condition, the final response can be associated with a special identification number and stored in the final response storage unit 18 (28). It can also be embedded as data in the program. In addition, in FIG. 5, the processing steps of steps S5 and S6 may be switched in order.
質問端末90に対して最終回答が送信されると、稼働履歴記憶部13に質問及び最終回答に関する履歴その他のログデータを含む各種情報が記憶される(ステップS10)。第1次回答システム30(27)から回答確信度の高い順に複数の第1次回答が提示される場合には、稼働履歴記憶部13にはすべての回答確信度又は予め決められた順位までの回答確信度を記憶することが望ましい。 When the final answer is transmitted to the question terminal 90, various kinds of information including the history of the question and the final answer and other log data are stored in the operation history storage unit 13 (step S10). When a plurality of primary responses are presented in descending order of response certainty from the primary response system 30 (27), the operation history storage unit 13 stores all the answer certainties or up to a predetermined order. It is desirable to store the answer confidence.
以上の説明から明らかなように、第1次回答システム30(27)からは、入力された質問が近似する想定質問の属する質問グループに対応する第1次回答(識別子)と、システムが機能を備えている場合にはその回答確信度が出力される。
ところで、質問者は、自分がアクセスしたシステム利用者(業者A~Nのいずれか)に質問したと思っている。したがって、質問の内容によっては、質問端末90の質問を中継した業者A~Nの利用者システム40に応じて異なる回答を返す必要が生じる。例えば、営業時間の問い合わせに関する質問の場合には、質問を経由した業者毎に正しい営業時間を回答する必要がある。このような場合には、システム利用者の固有回答候補を用意しておき、稼働履歴記憶部13等に記憶している質問の固有属性情報に基づいてシステム利用者の識別番号を取得して、質問を経由したシステム利用者(業者A~N)に応じた固有回答を取得することにより、システム利用者ごとの営業時間を知らせる最終回答を返信する。
As is clear from the above description, from the primary response system 30 (27), the primary response (identifier) corresponding to the question group to which the assumed question to which the input question is similar belongs, and the system functions. If so, its answer certainty is output.
By the way, the questioner thinks that he/she has asked the system user (one of the traders A to N) who has accessed the question. Therefore, depending on the content of the question, it is necessary to return different answers according to the user systems 40 of the vendors A to N that relayed the question of the question terminal 90 . For example, in the case of a question about business hours, it is necessary to answer the correct business hours for each vendor through which the question was sent. In such a case, the system user's unique answer candidate is prepared, and the identification number of the system user is acquired based on the unique attribute information of the question stored in the operation history storage unit 13, etc. By obtaining a unique answer according to the system users (traders A to N) through the question, a final answer indicating business hours for each system user is sent back.
図6から図11を参照して、第1次回答システム30(27)に機械学習させる想定質問、質問グループと結びついた第1次回答及び、最終回答記憶部18(28)に最終回答候補として記憶される基本回答及び固有回答について、具体例を用いて説明する。
図6~図11の例において、業者とは本質問応答システムの利用を希望するシステム利用者のことであり、不動産取引に関する業務を行う業者である。図6~図11の例では、複数の業者(業者A~N)が質問応答システム25(25‘)の利用契約をしており、各業者A~Nの利用者システム40のそれぞれの質問ページを介して、質問応答システム25(25‘)にアクセスできるものとする。また、図6~9は、質問グループの具体例を示しており、図10及び図11では、最終回答記憶部18(28)に記憶される基本回答候補と固有回答候補の例を示している。
6 to 11, hypothetical questions to be machine-learned by the primary answer system 30 (27), primary answers linked to question groups, and final answer candidates in the final answer storage unit 18 (28) Basic answers and unique answers to be stored will be explained using specific examples.
In the examples of FIGS. 6 to 11, a trader is a system user who wishes to use this question answering system, and is a trader who conducts business related to real estate transactions. In the examples of FIGS. 6 to 11, a plurality of traders (traders A to N) have contracted to use the question answering system 25 (25'), and the respective question pages of the user systems 40 of the traders A to N It is assumed that the question answering system 25 (25') can be accessed via. 6 to 9 show specific examples of question groups, and FIGS. 10 and 11 show examples of basic answer candidates and unique answer candidates stored in the final answer storage unit 18 (28). .
質問応答システム25(25’)は、各質問がどの利用者システム40を経由して来たかという情報(通信経由情報:質問の固有属性情報の一部)等に基づいて、その質問に関連するシステム利用者(業者)を特定してシステム利用者特有の固有回答候補を取得する。システム利用者(業者)が、固有の追加情報を求めない場合には、基本回答候補が取得されて、最終回答として質問端末90に送信される。図6~図11の例では示していないが、システム利用者(業者)毎の固有回答は認めずに、すべての質問に対して基本回答のみを最終回答とするシンプルな構成とすることも可能である。 The question answering system 25 (25') responds to the question based on the information (communication route information: a part of the unique attribute information of the question) that indicates which user system 40 each question came from. A system user (vendor) is identified and unique answer candidates unique to the system user are acquired. If the system user (vendor) does not request specific additional information, basic answer candidates are acquired and sent to the question terminal 90 as the final answer. Although not shown in the examples of FIGS. 6 to 11, it is also possible to have a simple configuration in which only basic answers are final answers for all questions without allowing unique answers for each system user (vendor). is.
まず図6~図9を参照して、第1次回答システム30(27)に学習させる想定質問と第1次回答について、具体例を用いて説明する。なお、以下の説明では、一つの質問グループに複数の想定質問が含まれるという構成例を示している。
図6は、質問グループQ1~QNにおける各質問グループの共通属性の内容、及び各質問グループQ1~QNに1:1で対応する第1次回答の関係を例示する図である。以下の図においては、質問グループのことを適宜「質問群」として表示している。図6では、第1次回答は識別子101~NNNとしている。この識別子は第1次回答を特定できれば良く、表現形式は自由である。各質問グループQ1~QNは、グループ毎にそれぞれ共通属性という概念でまとめられた複数の想定質問を有しており、図7~図9に各質問グループQ1~QNのそれぞれに含まれる複数の想定質問の一部を具体例として示している。
First, with reference to FIGS. 6 to 9, the assumed questions and primary answers to be learned by the primary answer system 30 (27) will be described using specific examples. Note that the following description shows a configuration example in which one question group includes a plurality of assumed questions.
FIG. 6 is a diagram exemplifying the contents of the common attributes of each question group in the question groups Q1 to QN and the relationship of the primary answers corresponding to each question group Q1 to QN on a 1:1 basis. In the following figures, the question group is appropriately indicated as "question group". In FIG. 6, the primary responses are identifiers 101 to NNN. This identifier only needs to be able to specify the primary response, and the expression format is free. Each question group Q1 to QN has a plurality of hypothetical questions grouped by the concept of common attributes for each group. Part of the question is shown as a concrete example.
図6では、質問グループQ1は、「不動産の取扱い業者」という共通属性を有するグループであり、第1次回答が識別子「101」であることが例示されている。質問グループQ2は、「住宅ローンの借り入れの目安」という共通属性を有し、第1次回答の識別子が「102」であることが例示されている。同様に質問グループQNは、「地域情報収集の際のポイント」という共通属性を有し、第1次回答の識別子が「NNN」であることが例示されている。
この識別子は、後述する質問受付回答システム10又は26において最終回答を作成する際に使用される識別子と同じであり、後ほど図10及び図11を参照して説明する最終回答候補と紐付される識別子である。
FIG. 6 exemplifies that the question group Q1 is a group having the common attribute of "real estate agent" and the primary answer is the identifier "101". The question group Q2 has a common attribute of "standard for borrowing a housing loan", and the identifier of the primary answer is "102" as an example. Similarly, the question group QN has a common attribute of "points for collecting local information", and the identifier of the primary answer is "NNN".
This identifier is the same as the identifier used when creating the final answer in the question accepting and answering system 10 or 26, which will be described later, and the identifier associated with the final answer candidate, which will be described later with reference to FIGS. 10 and 11. is.
図7~図9には、質問グループQ1、Q2、及びQNの複数の想定質問の具体例が示されている。図7では、質問グループQ1の共通属性である「不動産取扱い業者」に対応する複数の想定質問Q1(1)~Q1(n)を具体的に例示している。また、図8では、質問グループQ2の共通属性である「住宅ローンの借り入れの目安」に対応する複数の想定質問Q2(1)~Q2(9)の具体例を示している。同様に図9には、質問グループQNの共通属性である「地域情報の収集の際のポイント」に対応する複数の想定質問QN(1)~QN(12)の具体例を示している。 7 to 9 show specific examples of a plurality of hypothetical questions for question groups Q1, Q2, and QN. FIG. 7 specifically exemplifies a plurality of assumed questions Q1(1) to Q1(n) corresponding to "real estate agent", which is a common attribute of the question group Q1. In addition, FIG. 8 shows a specific example of a plurality of assumed questions Q2(1) to Q2(9) corresponding to the common attribute of the question group Q2, ie, "standard for borrowing a housing loan". Similarly, FIG. 9 shows specific examples of a plurality of hypothetical questions QN(1) to QN(12) corresponding to the common attribute of the question group QN, ``points for collecting local information''.
図7では質問グループQ1のn個の想定質問に対する第1次回答として、すべて一つの「101」という識別子が指定されている。すなわち、「不動産取扱い業者」を共通属性とする質問グループQ1内のn個の想定質問に対する第1次回答はすべて一つの識別子101となる。これに対応して最終回答記憶部18(28)には、第1次回答の識別子101と対応する基本回答候補が記憶されており、識別子101に対応する基本回答候補はその基本回答候補の中に、質問グループ内の複数の想定質問Q1(1)~Q1(n)に共通属性に対応するすべての答を含んでいる回答の束である。最終回答記憶部18(28)に記憶されている最終回答候補の具体例については、後程、図10及び図11を参照して説明する。 In FIG. 7, a single identifier "101" is specified for all of the n assumed questions of the question group Q1 as primary answers. That is, the primary answers to the n assumed questions in the question group Q1 having the common attribute of "real estate agent" are all the single identifier 101. FIG. Correspondingly, the final answer storage unit 18 (28) stores basic answer candidates corresponding to the identifier 101 of the primary answer, and the basic answer candidate corresponding to the identifier 101 is among the basic answer candidates. , is an answer bundle containing all answers corresponding to common attributes to multiple hypothetical questions Q1(1)-Q1(n) in the question group. Specific examples of final answer candidates stored in the final answer storage unit 18 (28) will be described later with reference to FIGS. 10 and 11. FIG.
同様に図8には、質問グループQ2に対応する複数の想定質問Q2(1)~Q2(9)が具体的に例示されており、それらの複数の想定質問Q2(1)~Q2(9)に対する第1次回答として、すべて同じ一つの識別子「102」が指定される。図9にも同様に、共通の属性である「地域の情報収集の際のポイント」に関する質問グループQNに関する12個の想定質問QN(1)~QN(12)を具体的に例示しており、これら12個の想定質問に対応する第1次回答としてすべて同じ識別子「NNN」が指定されている。 Similarly, FIG. 8 specifically exemplifies a plurality of assumed questions Q2(1) to Q2(9) corresponding to the question group Q2, and the plurality of assumed questions Q2(1) to Q2(9) The same identifier "102" is specified as the primary response to all. Similarly, in FIG. 9, 12 assumed questions QN(1) to QN(12) related to the question group QN related to the common attribute "points when collecting information on the area" are specifically illustrated, The same identifier "NNN" is designated as the primary answer for these 12 hypothetical questions.
図10及び図11に、最終回答記憶部18(28)に記憶される基本回答候補及び固有回答候補の具体例を例示する。図10及び図11に示す第1次回答(識別子)の欄の表示は、第1次回答システム30(27)からの第1次回答である図6~9に示す識別子101~NNNと対応している。最終回答記憶部18(28)には、第1次回答システム30(27)から受領する第1次回答の識別子101~NNNのそれぞれに対応させて、「基本回答候補」及び、システム利用者(業者A~N)が希望する場合には、希望するシステム利用者に対応する「固有回答候補」を記憶している。
図10,図11の利用者(業者)識別子の欄においては、システム利用者の識別子として「業者A」、「業者B」などと表示しているが、システム利用者(業者)を特定できる識別子であれば数字、文字、記号等自由に使用できる。なお、図10、図11では利用者を特定する情報を、システム利用者の識別子としているが、これは各利用者を特定する識別子であれば良く、「利用者システムの識別情報」であっても良い。
10 and 11 show specific examples of basic answer candidates and unique answer candidates stored in the final answer storage unit 18 (28). 10 and 11 correspond to the identifiers 101 to NNN shown in FIGS. 6 to 9, which are primary responses from the primary response system 30 (27). ing. In the final answer storage unit 18 (28), "basic answer candidates" and system user ( If one of the vendors A to N) desires, it stores a "unique answer candidate" corresponding to the desired system user.
In the columns of user (trader) identifiers in FIGS. 10 and 11, "trader A", "trader B", etc. are displayed as system user identifiers. You can freely use numbers, letters, symbols, etc. In FIGS. 10 and 11, the system user identifier is used as the information that identifies the user. Also good.
システム利用者(業者)識別子は、業者A~N毎に割り当てられた固有の識別子であり、この業者の識別子に紐付されてそれぞれの業者毎の固有回答候補が最終回答記憶部18(28)に記憶されている。図10及び図11には、最終回答として割り当てられた基本回答候補の内容が例示されている。図10及び図11の第1次回答の識別子「102」、及び「NNN」を参照すると、第1次回答の識別子「102」欄には業者Bの識別子に対応する固有回答候補がなく、第1次回答の識別子「NNN」の欄には、業者A及び業者Cの識別子に対応する固有回答候補がない。このように、システム利用者(業者)の固有回答候補の設定は必須ではなく、システム利用者(業者)の希望により、任意に設定することができる。また、すべての第1次回答に対して又は特定の第1次回答について、固有回答候補をすべてなくして基本回答候補のみとする構成にしても良い。
システム利用者(業者)の識別子は、質問毎に質問の固有属性から各質問におけるシステム利用者(業者)の識別子が割り出されて、各質問に対応する基本回答候補又は、対応する固有回答候補が最終回答記憶部18(28)から読みだされる。
The system user (vendor) identifier is a unique identifier assigned to each of the vendors A to N, and the unique answer candidate for each vendor linked to this vendor identifier is stored in the final answer storage unit 18 (28). remembered. 10 and 11 exemplify the contents of basic answer candidates assigned as final answers. Referring to the identifiers "102" and "NNN" of the primary response in FIGS. There are no unique answer candidates corresponding to the identifiers of vendor A and vendor C in the primary response identifier "NNN" column. In this way, the setting of unique answer candidates by the system user (trader) is not essential, and can be arbitrarily set at the request of the system user (trader). Also, for all primary responses or for a specific primary response, all unique response candidates may be eliminated and only basic response candidates may be used.
The identifier of the system user (vendor) is determined from the unique attribute of the question for each question, and the identifier of the system user (vendor) in each question is determined, and the basic answer candidate corresponding to each question or the corresponding unique answer candidate is read from the final answer storage unit 18 (28).
図10、図11に基本回答候補の具体的な回答内容が例示されている。この基本回答候補の内容からわかるように、最終回答となる基本回答候補及び固有回答候補は、共通属性の質問グループの複数の想定質問に関連するすべての回答を含む比較的長い回答となっている。これは、最終回答を、各質問グループに含まれる複数の想定質問に関連するすべて回答を含む回答の束としたことに基づくものである。この構成により、第1次回答システムに機械学習させる想定質問と第1次回答の数を少なくしても、質問に対する最終回答への質問者の満足度を一定程度以上に維持することが可能となる。想定質問は問われる可能性の高い質問を厳選しているので、想定質問に対する全ての回答を含む基本回答は質問者にとって多くの有用な情報を含んでいる。したがって、一つの質問に対する基本回答が、当該質問者が次に質問する予定であった質問についての回答を含んでいる可能性もあり、この場合には、質問者の満足度をさらにあげることができる。
このように複数の想定質問に幅広い質問の意味を持たせることにより、学習データの作成や人工知能の機械学習時間を1/10、1/100以下にすることが可能となり、人工知能を利用した質問応答サービスを非常に安いコストで効率よく提供することが可能となる。
10 and 11 exemplify specific answer contents of basic answer candidates. As can be seen from the contents of the basic answer candidates, the basic answer candidates and the unique answer candidates, which are the final answers, are relatively long answers that include all answers related to multiple assumed questions of the common attribute question group. . This is based on having the final answer be a bundle of answers containing all the answers related to multiple hypothetical questions in each question group. With this configuration, even if the number of hypothetical questions and primary answers to be machine-learned by the primary response system is reduced, it is possible to maintain the questioner's satisfaction with the final answer to the question at a certain level or higher. Become. Since the hypothetical questions are carefully selected questions that are likely to be asked, the basic answers including all answers to the hypothetical questions contain a lot of useful information for the questioner. Therefore, there is a possibility that the basic answer to one question may include the answer to the question that the questioner planned to ask next, and in this case, the questioner's satisfaction can be further improved. can.
By giving a wide range of meanings to multiple hypothetical questions in this way, it is possible to reduce the time required for creating learning data and machine learning for artificial intelligence to 1/10, 1/100 or less, and using artificial intelligence. A question answering service can be efficiently provided at a very low cost.
また、第1次回答システム30(27)からは、質問がどの利用者システムを経由したか等の質問の固有属性とは無関係に、同じ質問グループに属する想定質問については常に同じ第1次回答(識別子)が出力される。これに対して質問受付回答システム10(26)では、当該第1次回答に紐付けして記憶されている基本回答候補に変えて、必要に応じてシステム利用者固有の固有回答候補を読み出して、読みだした固有回答を最終回答として質問端末90に送信する。そのため、第1次回答の識別子とシステム利用者の識別情報(システム利用者の識別子)に紐付して固有回答候補が記憶されている。固有回答候補は、第1次回答の識別子に対応する基本回答候補を、システム利用者に合わせて置き換えたものである。
このように、最終回答記憶部18(28)に記憶されている最終回答候補(基本回答候補及び固有回答候補)は、人工知能とは分離された記憶データであるため、人工知能に対する機械学習とは無関係にその内容を適宜変更し、又は追加することが可能である。したがって、最終回答記憶部18(28)に記憶している最終回答候補の変更又は追加等のメンテナンス作業には、人工知能に関する高度の専門知識は不要となる。但し、基本回答候補については、第1次回答システムの第1次回答と対応しており、最終回答のベースとなり各システム利用者に共通の回答内容であるので、システム利用者が変更できないように制限するのが好ましい。
Also, from the primary response system 30 (27), the same primary response is always given to assumed questions belonging to the same question group, regardless of the unique attributes of the question, such as which user system the question passed through. (identifier) is output. On the other hand, in the question receiving and answering system 10 (26), in place of the basic answer candidate stored in association with the primary answer, the unique answer candidate unique to the system user is read as necessary. , the read unique answer is sent to the question terminal 90 as the final answer. Therefore, unique answer candidates are stored in association with the identifier of the primary answer and the identification information of the system user (system user identifier). A unique answer candidate is a replacement of the basic answer candidate corresponding to the identifier of the primary answer in accordance with the system user.
In this way, since the final answer candidates (basic answer candidates and unique answer candidates) stored in the final answer storage unit 18 (28) are stored data separated from artificial intelligence, machine learning for artificial intelligence is possible. can be changed or added as appropriate regardless of Therefore, maintenance work such as changing or adding final answer candidates stored in the final answer storage unit 18 (28) does not require advanced expert knowledge of artificial intelligence. However, the basic answer candidate corresponds to the first answer of the first answer system, and is the basis of the final answer and is the answer content common to each system user, so that the system user cannot change it. preferably limited.
以上の説明から明らかなように、本発明による質問応答システム25(25’)は、エンドユーザ又は潜在的なエンドユーザからの質問に対して効率的に応答するために経験や実績を通じて蓄積された想定質問及び最終回答候補等のデータコンテンツ、並びに質問に応答して適切な回答を自動的に提供するための設備、例えば人工知能システム等の高度のコンピュータシステム及びデータベース等を、業種や業務が共通する複数のシステム利用者(業者等)で共同して利用することが可能となる。このような共同利用を可能とした質問応答システムの構築が可能となることにより、質問応答システムを初めて導入する場合の構築費用を大幅に抑制できるだけでなく、システム導入期間を短縮することができる。
また、同じデータやシステムを共有する業者が後から導入する場合においては、すでにデータおよびシステム環境の構築が完了している状態にあるので、極めて短期間で優れた質問応答システムを安心して導入できるという効果を有している。又、多くの利用者で質問応答システムを共同利用するため、短期間に1社では得られない多種多様な多くの質問を受けることができる。そのため、短い期間でより良いシステムに成長させていくことが可能となる。
As is clear from the above description, the question answering system 25 (25') according to the present invention has accumulated experience and achievements in order to efficiently answer questions from end-users or potential end-users. Data content such as hypothetical questions and final answer candidates, as well as equipment for automatically providing appropriate answers in response to questions, such as advanced computer systems such as artificial intelligence systems and databases, etc. It is possible for multiple system users (traders, etc.) to jointly use the system. By enabling the construction of a question answering system that enables such shared use, it is possible not only to greatly reduce the cost of constructing a question answering system when introducing it for the first time, but also to shorten the system introduction period.
In addition, if a vendor who shares the same data and system introduces it later, the construction of the data and system environment has already been completed, so you can safely introduce an excellent Q&A system in an extremely short period of time. has the effect of In addition, since many users jointly use the question answering system, it is possible to receive a wide variety of questions in a short period of time, which cannot be obtained by a single company. Therefore, it becomes possible to grow into a better system in a short period of time.
本発明による質問受付回答システム10(26)は、上述したようにメンテナンス手段16を備えており、初期設定手段21により、第1次回答システム30(27)及び最終回答記憶部18(28)の初期設定を行う。図12を用いて、第1次回答システム30(27)及び最終回答記憶部18(28)の初期設定手順について、説明する。 The question receiving and answering system 10 (26) according to the present invention is provided with the maintenance means 16 as described above, and the initial setting means 21 allows the primary answer system 30 (27) and the final answer storage section 18 (28) Make initial settings. The initial setting procedure of the primary response system 30 (27) and the final response storage unit 18 (28) will be described with reference to FIG.
図12は、第1次回答システム30(27)及び最終回答記憶部18(28)の初期設定についての基本作業の手順を例示するフローチャートである。システム構築のために、まず、想定質問と、想定質問の共通属性、質問グループ、第1次回答、最終回答(基本回答、固有回答)、及び質問の固有属性を確定する(ステップS21)。
そのために、システム利用者(業種)の業務を分析して複数の想定質問を作成し、全ての想定質問に対する回答を作成する。想定質問は、共通属性を有する複数の想定質問を一つの質問グループにまとめ、第1次回答は質問グループと1:1に対応する識別子とする。最終回答候補のうち、基本回答候補は一つの質問グループ内の複数の想定質問に関連する回答をすべて網羅する内容とする。また、固有属性情報を決めて、固有属性情報と紐付けする固有回答候補の範囲及び内容を決める。その際に、固有属性情報に言語情報を含めることもできる。その場合には、各種言語による想定質問と必要に応じて異なる最終回答候補を用意する。このような最終回答候補を、質問グループ毎に全ての質問グループについて作成する。
FIG. 12 is a flow chart illustrating the procedure of basic work for initial setting of the primary response system 30 (27) and the final response storage unit 18 (28). In order to build the system, first, the assumed question, the common attribute of the assumed question, the question group, the primary answer, the final answer (basic answer, unique answer), and the unique attribute of the question are determined (step S21).
For this purpose, the work of the system user (industry) is analyzed, a plurality of assumed questions are prepared, and answers to all the assumed questions are prepared. As for the assumed questions, a plurality of assumed questions having a common attribute are grouped into one question group, and the primary answer is an identifier corresponding to the question group on a 1:1 basis. Of the final answer candidates, the basic answer candidates have contents that cover all answers related to a plurality of assumed questions in one question group. Also, the unique attribute information is determined, and the range and contents of the unique answer candidates linked with the unique attribute information are determined. At that time, language information can also be included in the unique attribute information. In that case, the final answer candidates that differ from the expected questions in various languages are prepared as necessary. Such final answer candidates are created for all question groups for each question group.
次に第1次回答システム30(27)に、各質問グループQ1~QNに含まれるすべての想定質問と、各質問グループと1:1に対応する第1次回答(識別子)とを機械学習させる(ステップS22)。さらに、最終回答記憶部18(28)に第1次回答の識別子と基本回答候補を紐づけして記憶させる(ステップS23)。上述したように、ステップS23において、第1次回答に対応する一つの識別子に対して基本回答候補だけでなく、共通の基本回答候補をベースとしてシステム利用者毎に異なる固有回答候補を、各第1次回答及びシステム利用者の識別子に紐付して記憶するように構成しても良い。なおステップS22と、ステップS23は順番を入れ替えても、同時に行っても良い。 Next, let the primary answer system 30 (27) perform machine learning on all the assumed questions included in each question group Q1 to QN and the primary answers (identifiers) corresponding to each question group and 1:1. (Step S22). Further, the final answer storage unit 18 (28) associates the identifier of the primary answer with the basic answer candidate and stores them (step S23). As described above, in step S23, not only the basic answer candidate for one identifier corresponding to the primary answer, but also unique answer candidates different for each system user based on the common basic answer candidate are applied to each first answer. It may be configured to be stored in association with the primary response and the identifier of the system user. The order of step S22 and step S23 may be reversed or may be performed at the same time.
本発明による質問応答システム25(25’)は、上述したようにメンテナンス手段16を備えている。このメンテナンス手段16により、質問・回答の履歴を定期的に(又は不定期)に確認し、統計情報を作成し分析する等、継続的にシステムの利用効果をモニタリングすることを通じて、基本回答候補や固有回答候補の修正・追加等が可能である。 The question answering system 25 (25') according to the present invention comprises maintenance means 16 as described above. With this maintenance means 16, basic answer candidates and It is possible to modify or add unique answer candidates.
本発明の質問応答システム25(25’)は、モニタリングの結果から第1次回答システム30(27)の機械学習や最終回答記憶部18(28)に記憶している最終回答候補をメンテナンスすることにより、継続的に成長していくことができる。さらに、回答確信度の低い質問を定期的にチェックすることは、各利用業者が自身はで気づいていない「既存顧客や潜在顧客のニーズ」を知るきっかけにつながり、単に質問に回答するという質問応答システム25(25’)の本来の目的にとどまらず、事業の成長に必要な顧客や市場の情報を収集する手段になり得る。また、以下に説明するように、基本回答候補及び固有回答候補については、一定の条件の下、人工知能の知識のないシステム利用者であってもメンテナンス可能であるので、システム利用者が利用している質問応答システムを、システム利用者自らが継続的に改善成長させていくことができる。
また、本質問応答システムは、複数のシステム利用者で共同利用が可能であるため、1社で利用するよりもはるかに多くの多種多様な質問を受けることができる。そのため、システム提供者による質問応答システム25(25‘)全体のメンテナンスの際に、多種多様な課題に対応すべくに想定質問及び基本回答候補が修正改善されて、質問応答システムの成長速度が速くなることが期待される。この質問応答システムの成長については、すべての共同利用者がこの恩恵を受けることができる。
The question answering system 25 (25') of the present invention maintains the machine learning of the primary answer system 30 (27) and the final answer candidates stored in the final answer storage unit 18 (28) from the results of monitoring. This allows us to grow continuously. In addition, regular checking of questions with low answer confidence leads to opportunities for each user to learn about the "needs of existing and potential customers" that they themselves are not aware of, and the question answering system simply answers questions. In addition to the original purpose of the system 25 (25'), it can be a means of collecting customer and market information necessary for business growth. In addition, as described below, basic answer candidates and unique answer candidates can be maintained under certain conditions even by system users who do not have knowledge of artificial intelligence. System users themselves can continuously improve and grow the question answering system.
In addition, since this question answering system can be used jointly by a plurality of system users, it is possible to receive a much greater variety of questions than when a single company uses it. Therefore, during maintenance of the entire question-answering system 25 (25') by the system provider, the expected questions and basic answer candidates are modified and improved to deal with a wide variety of problems, and the growth speed of the question-answering system increases. It is expected. As for the growth of this question answering system, all co-users can benefit from it.
図13及び図14を参照して、システム利用者(業者)又はシステム管理者による第1次回答システム30(27)及び、最終回答記憶部18(28)のメンテナンスの手順について説明する。まず、システム利用者(業者)による最終回答記憶部18(28)の修正・変更手順について、説明する。 13 and 14, the procedure for maintenance of the primary response system 30 (27) and the final response storage unit 18 (28) by the system user (trader) or system administrator will be described. First, a procedure for correcting/changing the final answer storage unit 18 (28) by the system user (trader) will be described.
図13は、システム利用者(業者)が、自社固有の最終回答を修正・変更するための処理手順を示すフローチャートである。
システム利用者(業者)は、いずれかの通信ネットワークを介して質問応答システム25(25‘)に接続されているシステム利用者の管理端末を用いて、質問応答システム25(25’)のメンテナンス手段16(図3、図4参照)にアクセスして、当該システム利用者に対して質問のあったアクセスログ等の記録から、質問及び第1次回答の回答確信度の分布、平均回答確信度等その他の最終回答の状況を確認し、最終回答候補(基本回答及び固有回答)の内容の修正・変更・追加等を検討することができる。質問端末からの質問に対して適切な最終回答ができなかったケースや、最終回答をしているが第1次回答の回答確信度が低かったケースがある場合には、システム利用者(業者)自らが自己に与えられた権限の範囲内で、又はシステム管理者に依頼して、最終回答記憶部に記憶している最終回答候補を修正又は追加することができる。
FIG. 13 is a flow chart showing a processing procedure for a system user (trader) to correct/change the final reply unique to the company.
The system user (vendor) uses the management terminal of the system user connected to the question answering system 25 (25') via any communication network to maintain the question answering system 25 (25'). 16 (see Figures 3 and 4), and from records such as access logs where questions were asked to the system user, distribution of answer confidence of questions and primary answers, average answer confidence, etc. It is possible to check the status of other final answers, and to consider corrections, changes, additions, etc. to the content of final answer candidates (basic answers and unique answers). If there is a case where an appropriate final answer could not be given to the question from the question terminal, or a case where the final answer was given but the answer confidence of the first answer was low, the system user (contractor) The user can modify or add the final answer candidate stored in the final answer storage part within the scope of authority given to him/herself or by requesting the system administrator.
図13に示すように、システム利用者(業者)は定期的又は不定期にアクセスログを確認し解析する(ステップS31)。その場合、最終回答記憶部18(28)に記憶されている最終回答(基本回答及び固有回答)の修正又は変更を希望する場合(ステップS32;Yes)には、次に最終回答を修正・変更等する権限があるかどうかが確認される(ステップS33)。なお、図13では記載していないが、システム利用者(業者)が稼働履歴情報を閲覧してログ等の解析をする場合(ステップS31)にも、事前にその担当者にアクセス権限があるかどうかを確認するようにすることが望ましい。システム利用者(業者)に修正・変更等する権限なければ、修正又は変更等は認められずにメンテナンス処理は終了する(ステップS33:No)。修正・変更等する権限が認められている場合には(ステップS33:Yes)、最終回答記憶部18(28)に記憶されているシステム利用者(業者)の権限内において最終回答候補について修正(変更又は追加を含む)をすることができる(ステップS34)。 As shown in FIG. 13, the system user (trader) regularly or irregularly checks and analyzes the access log (step S31). In that case, if you wish to modify or change the final answer (basic answer and unique answer) stored in the final answer storage unit 18 (28) (step S32; Yes), then correct/change the final answer. It is checked whether or not there is an authority to equalize (step S33). Although not shown in FIG. 13, when the system user (dealer) browses the operation history information and analyzes the log, etc. (step S31), it is necessary to check whether the person in charge has the access authority in advance. It is desirable to check whether If the system user (dealer) does not have the authority to correct or change, the maintenance process is terminated without permitting the correction or change (step S33: No). If the authority to modify, change, etc. is granted (step S33: Yes), the final answer candidate is modified ( (including changes or additions) (step S34).
例えば、質問端末90から、質問q1として「営業時間について知りたい」との質問があり、既に当該システム利用者の固有回答が設けてある場合には、臨時休業などの業者固有の情報を既存の固有回答候補に追記することができる。なお、システム利用者(業者)が、ログデータ等を解析した結果に基づいて、システム利用者の権限を超える修正を希望する場合、例えば、基本回答候補の変更、第1次回答システム30(27)への既存の質問グループに対する想定質問の追加、新たな共通属性を有する質問グループの追加や基本回答候補の修正又は追加等を希望する場合には、質問応答システムのシステム管理者に検討を依頼する。 For example, when the question terminal 90 asks the question "I want to know about business hours" as the question q1, and there is already an answer specific to the system user, information specific to the company, such as temporary closure, can be sent to the existing system. It can be added to the unique answer candidates. If the system user (vendor) wishes to make corrections that exceed the authority of the system user based on the results of analysis of log data, etc. ), ask the system administrator of the question-answering system to consider adding assumed questions to existing question groups, adding new question groups with common attributes, or modifying or adding basic answer candidates. do.
図14は、システム管理者による質問応答システム25(25’)全体のメンテナンス処理手順を例示すフローチャートである。このメンテナンス処理手順は、質問応答システム全体の運用管理をするシステム管理者がシステム管理端末50を介して行う処理手順である。
メンテナンスを開始する場合(ステップS41)、まず、この稼働履歴へのアクセス権限があるかどうかが確認され(ステップS42)、アクセス権限がなければ本処理フローは終了する(ステップS42;No)。アクセス権限を有する場合には(ステップS42;Yes)、稼働履歴記憶部13に記憶されているシステム全体のアクセス状況、質問及び回答のログデータや、統計データなどの分析データを確認し、解析する(ステップS43)。
FIG. 14 is a flowchart illustrating a maintenance processing procedure for the entire question answering system 25 (25') by the system administrator. This maintenance processing procedure is a processing procedure performed via the system management terminal 50 by a system administrator who manages the operation of the entire question answering system.
When starting maintenance (step S41), first, it is confirmed whether or not there is access authority to this operation history (step S42), and if there is no access authority, this processing flow ends (step S42; No). If the access authority is granted (step S42; Yes), the access status of the entire system stored in the operation history storage unit 13, log data of questions and answers, and analytical data such as statistical data are checked and analyzed. (Step S43).
最終回答記憶部18(28)の最終回答候補を修正・変更等(追加を含む、以下同じ)する場合には(ステップS44;Yes)、その修正・変更等の権限があるかどうかが確認される(ステップS45)。修正・変更等の権限があれば(ステップS45:Yes)、基本回答・固有回答の変更、又は新しく業者の固有回答が追加される(ステップS46)。修正・変更等の権限がなければ処理を終了させる(ステップS45:No)。最終回答候補のうち、システム管理者には基本回答候補の修正・変更等のみを許可し、固有回答候補の修正・変更等についてはシステム管理者には許可せず、固有回答候補についてはシステム利用者のみが修正・変更等の権限を有するように構成しても良い。
この図は、システム管理者に最終回答候補と機械学習の権限を分離して持たせている例であり、両方の権限を一つの権限でまかなっても良い。
If the final answer candidates in the final answer storage unit 18 (28) are to be corrected or changed (including additions, the same shall apply hereinafter) (step S44; Yes), it is confirmed whether or not the authority for such correction or change is granted. (step S45). If there is an authority to modify or change (step S45: Yes), the basic answer/specific answer is changed or a new supplier's specific answer is added (step S46). If the user does not have the authority to modify, change, etc., the process is terminated (step S45: No). Of the final answer candidates, only the system administrator is permitted to modify or change the basic answer candidates, and the system administrator is not permitted to modify or change the unique answer candidates. It may also be configured so that only the user has the authority to modify, change, etc.
This figure shows an example in which the system administrator has separate authority for final answer candidates and machine learning, and both authorities may be covered by a single authority.
最終回答候補の修正又は変更をしない場合(ステップS44;No)、又は最終回答記憶部18(28)の最終回答候補の修正・変更等が終了すると(ステップS46)、次に、人工知能システムである第1次回答システム30(27)に想定質問等を追加して機械学習させるかどうかについて確認する(ステップS47)。追加の機械学習の必要が無い場合には(ステップS47;No)、本メンテナンス処理を終了する。追加の機械学習をさせる場合には(ステップS47;Yes)、第1次回答システム30(27)に想定質問又は第1次回答(識別子)を修正・変更等する権限があるかどうかが確認される(ステップS48)。修正又は変更権限がある場合には(ステップS48;Yes)、想定質問及び第1次回答に関して所望の追加・修正・削除を行い第1次回答システムに機械学習をさせて(ステップS49)、システムのメンテナンス処理を終了する。修正権限が無い場合には(ステップS47;No)、機械学習はせずにメンテナンス処理を終了する。 If the final answer candidate is not to be corrected or changed (step S44; No), or if the final answer candidate in the final answer storage unit 18 (28) has been corrected or changed (step S46), then the artificial intelligence system It is confirmed whether or not to perform machine learning by adding hypothetical questions to a certain primary answer system 30 (27) (step S47). If there is no need for additional machine learning (step S47; No), this maintenance process is terminated. If additional machine learning is to be performed (step S47; Yes), it is confirmed whether the primary response system 30 (27) has the authority to modify or change the assumed question or primary response (identifier). (step S48). If you have the authority to modify or change (step S48; Yes), make the desired additions, modifications, or deletions to the assumed questions and primary answers, and let the primary answer system perform machine learning (step S49). end the maintenance process. If there is no correction authority (step S47; No), the maintenance process is terminated without performing machine learning.
以上説明したシステム利用者(業者)によるメンテナンス処理(図13)及びシステム管理者によるメンテナンス処理(図14)は、例えば、以下のようなルールに基づいて、データの更新、変更を行うようにすることにより、質問応答システム25(25’)を順次進化させて回答確信度の高いシステムにステップバイステップで、確実に成長させることが可能となる。 The maintenance processing (FIG. 13) by the system user (trader) and the maintenance processing (FIG. 14) by the system administrator described above are, for example, based on the following rules to update and change data. As a result, the question answering system 25 (25') can be evolved step by step into a system with a high degree of certainty of answering, and can be reliably grown.
<回答確信度が低い場合の対応ルール例>
(1)質問の内容がまったくの未知のもので、最終回答に該当するものがなかった場合には、第1次回答システム30(27)に質問と回答の識別子のペアを追加するとともに、最終回答記憶部18(28)に最終回答も追加する。このメンテナンスは、システム管理者が実施する。
(2)質問の内容が未知であったが、既存の最終回答に適切なものが存在している場合には、第1次回答システム30(27)に質問と既存の最終回答の識別子のペアを追加する。この場合もシステム管理者が実施する。
<Example of handling rules when answer confidence is low>
(1) If the content of the question is completely unknown and there is no corresponding final answer, the identifier pair of the question and answer is added to the primary answer system 30 (27), and the final answer is The final answer is also added to the answer storage unit 18 (28). This maintenance is performed by the system administrator.
(2) If the content of the question is unknown, but there is an appropriate existing final answer, the primary answer system 30 (27) stores the identifier pair of the question and the existing final answer. Add In this case as well, the system administrator performs this.
<回答確信度は基準値を超えているが、回答の内容が妥当でない場合の対応ルール例>
(1)質問の内容は既知であるが、最終回答の内容が妥当でない場合は、最終回答記憶部18(28)の最終回答のデータのみをシステム管理者が修正する。
(2) 共通の回答である基本回答を、関連する業者全部に共通して修正する必要がある場合には、最終回答記憶部18(28)の基本回答をシステム管理者が修正することができる。
(3)共通の回答である基本回答が、一部のシステム利用者(業者)の内容にそぐわない場合には、システム利用者(業者)のシステム管理者が自社の業者識別番号に対応する最終回答領域に基本回答をコピーして、基本回答の内容を修正することができる。この際、共通の回答には影響しない自社のみの最終回答を修正する場合には、業者の識別子ごとに追加・修正可能である。
<An example of a response rule when the response confidence exceeds the reference value, but the content of the response is not appropriate>
(1) If the content of the question is already known but the content of the final answer is not valid, the system administrator corrects only the final answer data in the final answer storage unit 18 (28).
(2) If it is necessary to correct the basic answer, which is a common answer, for all related traders, the system administrator can correct the basic answer in the final answer storage unit 18 (28). .
(3) If the basic response, which is a common response, does not match the content of some system users (vendors), the system administrator of the system users (vendors) will provide the final response corresponding to their company's vendor identification number. You can copy the basic answer to the area and modify the contents of the basic answer. At this time, when correcting the final answer of only one company that does not affect the common answer, addition/correction can be made for each vendor identifier.
<質問グループを分割することで、より回答精度が上がると想定される場合の対応ルール>
(1)質問・回答回数の多い回答識別子が存在し、回答の範囲を狭めて質問グループと最終回答を分割した方が、より利用者の満足度が向上することが想定される場合には、現在一つに登録されている質問グループと最終回答を分割する。このメンテナンス処理は、システム管理者が実施する。
(2)質問に対する回答の長さが長くなり過ぎた場合も、質問回数が多い場合と同様に質問グループと最終回答を分割することが望ましい。このメンテナンス処理は、システム管理者が実施する。
<Correspondence rules when it is assumed that answer accuracy will be improved by dividing the question group>
(1) If there is an answer identifier with a large number of questions and answers, and it is assumed that dividing the question group and the final answer by narrowing the range of answers will improve user satisfaction, Divide the currently registered question group and final answer into one. This maintenance processing is performed by the system administrator.
(2) Even if the length of the answer to the question becomes too long, it is desirable to divide the question group and the final answer in the same way as when the number of questions is large. This maintenance processing is performed by the system administrator.
<多種類の言語への対応>
上述した実施形態及び具体例においては、質問言語及び回答言語として日本語を用いた想定質問及び最終回答を例示して、本発明の質問応答システムを説明した。
本発明にかかる質問応答システム25(25‘)では、想定質問のグループ化と質問の固有属性情報を利用することにより、多種類の言語による質問に対応することが可能である。以下に、本発明に係る質問応答システム25(25‘)において、複数種類の言語による質問及び回答に対応する構成の一例を、想定質問及び最終回答候補の具体例を示して説明する。
<Support for multiple languages>
In the above-described embodiments and specific examples, the question answering system of the present invention has been explained by exemplifying the assumed question and the final answer using Japanese as the question language and answer language.
The question answering system 25 (25') according to the present invention can respond to questions in many kinds of languages by grouping assumed questions and using unique attribute information of the questions. An example of the configuration of the question answering system 25 (25') according to the present invention for responding to questions and answers in a plurality of languages will be described below with specific examples of assumed questions and final answer candidates.
質問者と回答者の母国語が異なる場合には、質問者又は回答者のいずれか一方が他方の母国語に精通していないと、円滑なコミュニケーションが難しい。このような場面において、質問者の母国語による質問を受け付けることができる質問応答システムがあれば、質問者は正しい文書による明確な質問文の作成が可能となる。このように母国語で質問することができると質問の質が向上するため、質問応答システムから適切な回答が提供される確率が格段に向上する。 When the native language of the questioner and the respondent is different, smooth communication is difficult unless either the questioner or the respondent is familiar with the other's native language. In such a situation, if there is a question answering system that can accept questions in the native language of the questioner, the questioner will be able to create a clear question sentence using correct documents. Being able to ask questions in the native language in this way improves the quality of questions, so the probability of providing appropriate answers from the question-answering system is greatly improved.
したがって、質問応答システムにおいては、各種言語による質問を受け付ける仕組みが望まれる。なお、一般的に、文書作成能力に比べると文書の読解能力は母国語でなくても比較的高いので、質問に対する回答は必ずしも、質問者の母国語である必然性は低い。例えば、費用対効果の観点から、質問言語の種類は広く認めつつ、回答言語は質問応答システムの設置国における主要言語、英語及び中国語等の世界で広く使用されている言語の数種に絞り込むことも可能である。 Therefore, in the question answering system, it is desirable to have a mechanism for accepting questions in various languages. In general, the ability to read a document is relatively high compared to the ability to create a document, even if it is not the native language. For example, from the viewpoint of cost-effectiveness, while allowing a wide variety of question languages, the answer language should be narrowed down to the major languages of the country where the question-answering system is installed, as well as a few languages that are widely used around the world, such as English and Chinese. is also possible.
このような多言語に対応可能な質問応答システムは、行政機関、大学、病院等の各種相談案内業務における人的負担を大幅に軽減することができる。例えば、地方自治体において、新しく転居してきた人の転入手続の窓口、住民票提供窓口、税金支払い窓口等の各種手続きの窓口や施設がどこにあるかというような単純な質問について、各種言語により質問応答システムを介して自動的に対応することができるだけでも、人による個別対応労力を大幅に削減できる。
特に、初めての相談や相談の初期段階では、質問の多くが形式的な又は単純で基本的な質問事項であることが多いので、他言語による質問を受け付ける質問応答システムは、外国人の質問者及び利用機関の双方にとって、極めて有用なシステムとなる。
また、このような質問応答システムに、質問者が遠隔地から自身のスマートフォンなどを利用して事前に質問出来ることは、これまで現地で質問する必要がある場合に比べ、質問者及び利用機関の双方にとって、極めて有用なシステムとなる。
Such a multilingual question answering system can greatly reduce the human burden in various consultation and guidance services in administrative agencies, universities, hospitals, and the like. For example, in local governments, answering questions in various languages about simple questions such as where to find the counters and facilities for various procedures such as the counter for procedures for moving in, the counter for providing resident cards, and the counter for tax payment in local governments. Even if it is possible to automatically respond via the system, it is possible to greatly reduce the individual response effort by humans.
Especially in the first consultation or in the early stages of consultation, many of the questions are formal or simple and basic questions. It will be a very useful system for both users and institutions.
In addition, the fact that the questioner can use their smartphone from a remote location to ask questions in advance to such a question-answering system will make it easier for the questioner and the user institution to ask questions compared to the case where it was necessary to ask questions on site. It will be a very useful system for both parties.
本発明に係る質問応答システム25(25‘)では、本発明の基本的な構成に簡単な構成を付加するだけで、多種類の言語に対応可能な質問応答システム25(25‘)を構築することができる。
本発明に係る質問応答システム25(25‘)では、共通属性が同じ想定質問であれば質問の言語が異なっても同じ質問グループに属するものとして構成した上で、質問言語の種類の違いを、質問の固有属性の一部として認識することにより、多種類の言語の質問と回答に対応する。
そのために、言語の種類は異なるが同じ意味内容を有する複数の想定質問については、共通属性が同一の質問グループに属するものとして、第1次回答システム30(27)に機械学習させる。同時に最終回答記憶部18(28)に、回答言語の種類ごとの最終回答候補(基本回答候補または固有回答候補)を記憶させる。当該質問応答システム25(25‘)に設定されたデフォルトとなる言語の回答を基本回答候補とし、それ以外の言語の回答を固有回答候補として登録する。
In the question answering system 25 (25') according to the present invention, a question answering system 25 (25') capable of responding to many kinds of languages can be constructed by simply adding a simple configuration to the basic configuration of the present invention. be able to.
In the question answering system 25 (25') according to the present invention, assumed questions with the same common attribute are configured to belong to the same question group even if the language of the question differs. Supports questions and answers in multiple languages by recognizing them as part of the question's unique attributes.
For this reason, a plurality of hypothetical questions that differ in language but have the same meaning and content are assumed to belong to the same question group with the same common attribute, and are machine-learned by the primary answer system 30 (27). At the same time, final answer candidates (basic answer candidates or specific answer candidates) for each type of answer language are stored in the final answer storage unit 18 (28). Answers in the default language set in the question answering system 25 (25') are registered as basic answer candidates, and answers in other languages are registered as unique answer candidates.
多種類の言語による質問に対応する場合には、質問の言語に応じた正しい第1次回答を抽出し、質問された言語に対応する適切な言語で回答することが必要となる。質問の言語及び回答言語を確定するためには、質問者に希望の質問言語と回答言語を入力させることが出来る。最も簡易な方法として、質問端末90から質問応答システム25(25‘)にアクセスがあったときに、質問端末の質問入力画面から、質問言語、回答言語の種類を指定する言語選択ボタンを設けることができる。この場合、希望する言語の種類をブルダウン方式、又はラジオボタン方式等により、所定の言語を選択するようにして、質問応答システムで対応可能な言語の種類のみを指定できるような構成とすることが望ましい。
また、質問言語の種類を、質問受付回答システム10(26)又は第1次回答システム30(27)が質問文の形態(文字コードのビット構成等)から推論する機能を有している場合には、質問受付回答システム10(26)又は第1次回答システム30(27)により質問文から言語の種類を判断することも可能である。さらに、質問言語の種類については、質問端末と質問応答システム間の通信に必要な共通情報から取得することも可能である。したがって、質問者の入力がなくとも、質問言語を想定することは可能である。回答言語については、質問言語に応じて所定のルールで確定するよう初期設定しておけば対応可能である。
When responding to questions in multiple languages, it is necessary to extract a correct primary answer according to the language of the question and to answer in an appropriate language corresponding to the language of the question. To establish the question language and answer language, the questioner can be prompted to enter the desired question language and answer language. As the simplest method, when the question answering system 25 (25') is accessed from the question terminal 90, a language selection button for specifying the type of question language and answer language is provided from the question input screen of the question terminal. can be done. In this case, it is possible to select a desired language type using a pull-down method or a radio button method, so that only the types of languages that can be handled by the question answering system can be specified. desirable.
Also, if the question receiving and answering system 10 (26) or the primary answering system 30 (27) has a function to infer the type of question language from the form of the question text (character code bit configuration, etc.) It is also possible to determine the type of language from the question text by the question receiving and answering system 10 (26) or the primary answering system 30 (27). Furthermore, the type of question language can be obtained from common information required for communication between the question terminal and the question answering system. Therefore, it is possible to assume the question language without the questioner's input. Regarding the answer language, it is possible to deal with it if it is initially set so that it is determined according to a predetermined rule according to the question language.
希望する質問言語及び回答言語の種類は質問とともに質問受付回答システム10(26)に送られて、質問の固有属性の一部として、例えば、稼働履歴記憶部13などに記憶される。ここで回答言語は自動的に入力言語と同じ言語とするよう構成することが利用者の利便性向上につながる。しかし、文書読解能力は文書作成能力に比べて格段に高いということに鑑み、システム導入時の負荷を軽減するという観点、及び質問応答システム25(25‘)の応答負荷を軽減するという観点等から、回答言語の種類は、英語又は日本語のみとする等、質問の言語の種類よりも少ない種類の言語で回答する構成としても良い。 The desired question language and type of answer language are sent to the question receiving and answering system 10 (26) together with the question, and are stored in, for example, the operation history storage unit 13 as part of the unique attributes of the question. Here, configuring so that the reply language is automatically set to the same language as the input language will lead to improved convenience for the user. However, in view of the fact that document reading comprehension ability is much higher than document creation ability, from the viewpoint of reducing the load at the time of system introduction and from the viewpoint of reducing the response load of the question answering system 25 (25') , the type of answer language may be set to only English or Japanese.
前述したように、まず、第1次回答システム30(27)から複数種類の言語による質問を受け付けて、質問の言語の違いに拘わらず適切な第1次回答を得ることが必要となる。そのために、同じ共通属性を有する複数の想定質問を言語の種類に応じて作成し、一つの共通属性を有する複数の言語の想定質問は一つの質問グループとして、各質問グループと1:1に対応する第1次回答が得られるように、第1次回答システムに対して、機械学習させる。
例えば、共通属性を有する日本語の質問、英語の質問、中国語の質問等の複数の言語による想定質問を、それぞれ同じ質問グループに属する想定質問とした各質問グループQ1~QNを作成する。ここで同じ共通属性を有する各種言語ごとの想定質問は、一つの言語で作成した想定質問を他の言語で直訳又は意訳した同一の意味内容の想定質問としても良いが、同一でなくとも、各種言語文化を考慮したほぼ同等の意味を有する想定質問としても良い。次に、各種言語による想定質問を含む質問グループQ1~QNを、各質問グループQ1~QNと1:1で対応する第1次回答が得られるように、機械学習させる。これにより、第1次回答システム30(27)からは、質問言語の種類の違いに関わらず、同じ質問グループに属する想定質問に対しては同じ一つの第1次回答(識別子)が得られる。
As described above, first, it is necessary to receive questions in multiple languages from the primary response system 30 (27) and obtain appropriate primary responses regardless of the language of the questions. For that purpose, multiple hypothetical questions with the same common attribute are created according to the type of language, and hypothetical questions in multiple languages with one common attribute are treated as one question group, and correspond 1:1 with each question group. Machine learning is applied to the primary response system so that the primary response to be obtained can be obtained.
For example, question groups Q1 to QN are created in which assumed questions in a plurality of languages, such as Japanese questions, English questions, and Chinese questions, having common attributes are assumed to belong to the same question group. Here, the hypothetical questions for each language having the same common attributes may be hypothetical questions with the same meaning and content, which are direct translations or paraphrases of hypothetical questions created in one language into other languages. It may be a hypothetical question with almost the same meaning in consideration of language culture. Next, the question groups Q1 to QN containing assumed questions in various languages are machine-learned so as to obtain primary answers corresponding to the question groups Q1 to QN on a 1:1 basis. As a result, from the primary response system 30 (27), the same single primary response (identifier) is obtained for the assumed questions belonging to the same question group, regardless of the type of question language.
質問受付回答システム10(26)においては、各回答言語に合わせて各種言語による最終回答候補を第1次回答と1:1に対応させて最終回答記憶部18に記憶する。したがって、第1次回答システム30(27)から第1次回答を受信したときに、当該第1次回答の識別子と質問の言語情報(識別子)とに基づいて、適切な回答言語の最終回答候補を読み出して、質問端末90に最終回答を返信することができる。 In the question receiving and answering system 10 (26), the final answer candidates in various languages are stored in the final answer storage section 18 in correspondence with the primary answer in a one-to-one correspondence with each answer language. Therefore, when the primary response is received from the primary response system 30 (27), based on the identifier of the primary response and the language information (identifier) of the question, the final response candidate in the appropriate response language can be read out and the final answer can be returned to the question terminal 90 .
先述した業者識別子のような言語以外の固有回答候補との組み合わせも可能である。第1次回答に対応する基本回答候補と、システム利用者(業者)ごとに異なる固有回答候補を、言語の種類に合わせて用意しておくことにより、質問言語に応じた適切な言語によりシステム利用者毎の固有回答候補を読み出して、最終回答とすることが可能となる。最終回答として、複数種類の固有属性の組み合わせに対応する固有回答候補を用意するかどうかは、必要に応じて適宜設定できる。行政機関、大学等で単独で使用する場合などにおいて、一つの質問応答システムを複数の機関で利用しない場合には、固有回答候補は必ずしも必要ではない。 It is also possible to combine with unique answer candidates other than language, such as the vendor identifier described above. By preparing basic answer candidates corresponding to the first response and unique answer candidates that differ for each system user (contractor) according to the type of language, the system can be used in the appropriate language according to the question language. It is possible to read the unique answer candidate for each person and use it as the final answer. Whether or not to prepare a unique answer candidate corresponding to a combination of multiple types of unique attributes as the final answer can be appropriately set as required. Unique answer candidates are not necessarily required when one question-answering system is not used by a plurality of institutions, such as in cases where the system is used alone in an administrative institution, university, or the like.
質問受付回答システム10(26)は質問端末90からの質問を受信すると、受付手段12により質問の固有属性情報から質問の言語情報を取得して、例えば稼働履歴記憶部13等に記憶する。記憶場所は稼働履歴記憶部13に限らず、別途質問の個別属性情報を記憶する場所を設けても良い。質問を受信したら第1次回答問合手段14により、第1次回答システム30(27)に対して質問に対応する第1次回答を要求する。この場合、第1次回答システム30(27)が質問の言語情報を要求する場合には、質問受付回答システム10(26)から質問文及びその言語情報を送付し、質問の言語情報を要求しない場合には、質問文のみを送付する。質問受付回答システム10(26)は、第1次回答システム30(27)から第1次回答を受信したら、稼働履歴記憶部13に記憶している言語情報に基づいて回答言語の識別子を取得する。その後第1次回答の識別子及び回答言語情報(識別子)に基づいて、適切な回答言語による最終回答候補を取得する。 When the question receiving and answering system 10 (26) receives a question from the question terminal 90, the receiving means 12 acquires the language information of the question from the unique attribute information of the question, and stores it in the operation history storage unit 13 or the like. The storage location is not limited to the operation history storage unit 13, and a separate location for storing individual attribute information of questions may be provided. When the question is received, the primary answer inquiry means 14 requests the primary answer system 30 (27) for the primary answer corresponding to the question. In this case, when the primary response system 30 (27) requests the language information of the question, the question text and its language information are sent from the question reception and answer system 10 (26), and the language information of the question is not requested. In that case, only the questionnaire will be sent. When the question receiving and answering system 10 (26) receives the primary answer from the primary answering system 30 (27), it acquires the identifier of the answer language based on the language information stored in the operation history storage unit 13. . After that, based on the identifier of the primary answer and the answer language information (identifier), the final answer candidate in the appropriate answer language is obtained.
図15から図19を参照して、各種類の言語による質問に応答できる質問応答システムを構築する場合の、質問グループ、想定質問、及び最終回答について、行政機関における質問と回答を想定した具体例を用いて説明する。
図15~図19は、質問グループQ1~QNと、各質問グループにおける日本語と英語と中国語による想定質問Q1(1)~QN(8)と、日本語と英語と中国語による最終回答候補(基本回答候補と固有回答候補)の具体例を単純化して示している。
With reference to FIGS. 15 to 19, specific examples of question groups, assumed questions, and final answers when constructing a question answering system capable of answering questions in various languages are assumed to be questions and answers in administrative agencies. will be used to explain.
15 to 19 show question groups Q1 to QN, assumed questions Q1(1) to QN(8) in Japanese, English, and Chinese in each question group, and final answer candidates in Japanese, English, and Chinese. Specific examples of (basic answer candidates and unique answer candidates) are shown in simplified form.
図15は、本発明に係る質問応答システムを市役所で導入すると仮定し、他種類の言語による質問を受けつける場合において、質問グループQ1~QNについて、各質問グループの想定質問の共通属性、及び質問グループに対応する第1次回答の具体例を示している。図15の例では質問グループQ1の共通属性は「転入手続き」、質問グループQ2の共通属性は「住民票の取得」、質問グループQNの共通属性は「税金の支払い」であり、第1次回答はそれぞれ「101」~「NNN」である。図16~図18は、それぞれ質問グループQ1、Q2、QNに含まれる想定質問と第1次回答(識別子)を示し、図19はおよび最終回答候補の具体例を示している。
なお、図19においては、説明をシンプルにするため、言語ごとの最終回答のみを示しているが、言語以外の固有回答についても言語の種類ごとに設けることが可能である。
Assuming that the question answering system according to the present invention is introduced at a city hall, FIG. shows a specific example of the first response corresponding to . In the example of FIG. 15, the common attribute of question group Q1 is "transfer procedure", the common attribute of question group Q2 is "acquisition of resident card", and the common attribute of question group QN is "payment of tax". are "101" to "NNN", respectively. FIGS. 16 to 18 show assumed questions and primary answers (identifiers) included in question groups Q1, Q2, and QN, respectively, and FIG. 19 shows specific examples of final answer candidates.
To simplify the explanation, FIG. 19 shows only the final answer for each language, but it is also possible to provide unique answers other than languages for each type of language.
図16には、日本語の想定質問数は4個、英語は3個、中国語は2個の例を示している。言語毎の想定質問の数は同じ数としてもよいが、図16に示すように言語ごとの想定質問の数は、必ずしも同じ数とする必要はない。質問応答システム導入の初期段階では、無理をして多くの想定質問を用意するよりも、基本的な質問に対して回答できることを優先して英語又は中国語の質問に対応できるようにする方が、質問者だけでなく利用機関の利便性の向上にもつながる場合が多い。文化の異なる外国人の方が基本的な事項がわからないことが多いため、外国人の質問者への対応の必要性が予想されるためである。また、質問文の意味は、各言語を通じて同じ内容の質問文としても良いが、慣習、文化等に合せて言語毎に意味やニュアンスの異なる質問文としても良い。 FIG. 16 shows an example in which the number of assumed questions for Japanese is four, English is three, and Chinese is two. The number of assumed questions for each language may be the same, but the number of assumed questions for each language does not necessarily have to be the same as shown in FIG. In the initial stage of introducing a Q&A system, it is better to prioritize being able to answer basic questions and be able to respond to questions in English or Chinese rather than preparing a large number of assumed questions. , it often leads to improvement of convenience not only for the questioner but also for the user institution. This is because foreigners from different cultures often do not understand basic matters, so it is expected that there will be a need to respond to foreigners who ask questions. The question may have the same meaning in each language, or may have different meanings and nuances for each language in accordance with customs, culture, and the like.
図17に示す質問グループQ2においては、共通属性として「住民票の取得」が選択されており、質問グループQ2の第1次回答は「102」である。質問グループQ2に属する想定質問として、図17に複数の言語による想定質問の具体例が示されている。質問グループQNにおいては、共通属性として「税金の支払い」が選択されており、質問グループQNの第1次回答は「NNN」である。また、質問グループQNの想定質問として、図18に複数の言語の想定質問の具体例が示されている。 In question group Q2 shown in FIG. 17, "acquisition of resident's card" is selected as the common attribute, and the primary answer of question group Q2 is "102." As hypothetical questions belonging to the question group Q2, FIG. 17 shows specific examples of hypothetical questions in multiple languages. In question group QN, "payment of tax" is selected as the common attribute, and the primary answer for question group QN is "NNN". Further, as the assumed questions of the question group QN, FIG. 18 shows specific examples of assumed questions in a plurality of languages.
図16、図17及び図18では、日本語、英語の具体的な質問文を例示しており、中国語については、日本語を用いて模式的に示している。
図からわかるように、例えば質問グループQ1内の質問に対する第1次回答は、図16に示すように、どの種類の言語による質問であっても、いずれも識別子「101」の一つだけである。すなわち、質問文は日本語、英語、中国語による想定質問があるが、いずれの言語の想定質問であっても、質問グループQ1に対する第1次回答は、識別子「101」だけである。これは、図17、図18に示すように質問グループQ2及びQNおいても同じであり、想定質問の言語の如何にかかわらず、質問グループQ2の第1次回答は「102」であり、質問グループQNの回答は「NNN」である。
第1次回答システムにおいては、これらの各質問グループに属するすべての想定質問と第1次回答とが機械学習され、第1次回答システムからの第1次回答は、言語の如何にかかわらず、すべて同じ回答「101」~「NNN」となるように構成されている。
FIGS. 16, 17 and 18 exemplify concrete question sentences in Japanese and English, and Chinese is schematically shown using Japanese.
As can be seen from the figure, for example, the primary answer to the questions in the question group Q1, as shown in FIG. . In other words, although the question sentences are assumed questions in Japanese, English, and Chinese, the primary answer to the question group Q1 is only the identifier "101" regardless of the assumed questions in any language. This is the same for question groups Q2 and QN as shown in FIGS. The answer for Group QN is "NNN".
In the primary answer system, machine learning is performed on all assumed questions and primary answers belonging to each of these question groups, and the primary answers from the primary answer system are, regardless of language, All of them are configured to have the same answers "101" to "NNN".
図19に、第1次回答、質問の固有属性の一部である言語識別子、及び最終回答記憶部18(28)に記憶される最終回答候補の具体例を示す。なお、図19の例では、各種言語の取り扱いをわかり易く説明するために、言語情報以外の固有回答候補は示さず各種言語による最終回答候補のみを示している。しかし、図5~図11を参照して説明した例と同じように、言語ごとの最終回答候補に加えて、システム利用者(業者)毎に異なる固有回答候補を回答言語の種類ごとに用意しておくことにより、適切な回答言語による最終回答を質問端末90に返信するよう構成することができる。 FIG. 19 shows specific examples of primary answers, language identifiers that are part of the unique attributes of questions, and final answer candidates stored in the final answer storage unit 18 (28). In the example of FIG. 19, only final answer candidates in various languages are shown, without showing unique answer candidates other than language information, in order to facilitate understanding of handling of various languages. However, as in the examples described with reference to FIGS. 5 to 11, in addition to the final answer candidates for each language, unique answer candidates that differ for each system user (trader) are prepared for each type of answer language. By doing so, it is possible to configure so that the final answer in an appropriate answer language is sent back to the question terminal 90 .
質問応答システムが第1次回答を取得すると、最終回答手段15は稼働履歴記憶部13に記憶している質問の固有属性情報から回答言語の言語識別子を取得し、第1次回答と言語識別子に対応する最終回答候補を最終回答記憶部18から読み出す。例えば、第1次回答として識別子「101」を取得し、回答言語の言語識別子が英語の場合には、最終回答記憶部18から、図19に記載されているような英語による最終回答候補が読み出されて、最終回答として質問端末90に送信される。
図19に示す例ではシステム利用者(業者)ごとの固有回答候補がないので、英語の最終回答候補がそのまま最終回答として返信するが、さらにシステム利用者(業者)の固有回答候補を各言語に対応させて設けることにより、英語の固有回答候補を最終回答として返信することも可能である。
When the question answering system acquires the primary answer, the final answer means 15 acquires the language identifier of the answer language from the unique attribute information of the question stored in the operation history storage unit 13, A corresponding final answer candidate is read from the final answer storage unit 18 . For example, if the identifier "101" is acquired as the primary answer and the language identifier of the answer language is English, the final answer candidate in English as shown in FIG. and sent to the question terminal 90 as the final answer.
In the example shown in FIG. 19, since there are no unique answer candidates for each system user (vendor), the English final answer candidate is returned as it is as the final answer. By providing correspondingly, it is possible to return the English unique answer candidate as the final answer.
上述の説明においては、質問言語及び回答言語を質問者が個別に指定する例を示した。しかし質問言語に関する情報は、前述した通り、質問文の形態から質問受付回答システム10(26)又は第1次回答システム30(27)が自動判別することも可能である。また、質問者からの入力が無くとも、質問端末のOS、Webブラウザ等に設定された言語情報に基づいて、質問端末と質問応答システム間の通信に必要な共通情報として入手することも可能である。したがって、質問言語と回答言語を質問毎に利用者が設定するように構成することも、質問受付回答システム10(26)において自動的に入手可能な情報に基づいて質問言語を認識し、初期設定された言語で回答することも、質問者による指定と初期設定とを組み合わせた構成とすることも可能である。 In the above description, an example was shown in which the questioner individually specifies the question language and the answer language. However, as described above, the information on the question language can also be automatically determined by the question reception/answer system 10 (26) or the primary answer system 30 (27) from the form of the question sentence. In addition, even without input from the questioner, it is possible to obtain common information necessary for communication between the question terminal and the question answering system based on the OS of the question terminal, language information set in the web browser, etc. be. Therefore, the question language and the answer language can be set by the user for each question. It is also possible to answer in the language specified by the questioner, or to have a configuration in which specification by the questioner and initial setting are combined.
言語情報の認識には、質問者の言語指定、質問受付回答システム10(26)又は第1次回答システム30(27)による質問文からの自動判別機能による言語認識、又はWebブラウザ、OS等の設定言語情報に基づく言語認識について、プライオリティをつけて質問言語を確定するようにすることが好ましい。回答言語についても、質問言語と同じ言語とするようにすることも、質問言語と異なる言語で回答するように初期設定することもできる。回答言語の確定ルールについては、質問者の便宜、及びシステム効率等の観点に基づいて適宜採用することができる。 Recognition of language information includes specification of the language of the questioner, language recognition by the automatic discrimination function from the question sentence by the question reception and answer system 10 (26) or the primary answer system 30 (27), or Web browser, OS, etc. Regarding language recognition based on the set language information, it is preferable to determine the question language with priority. The answer language can also be set to be the same language as the question language, or can be initially set to answer in a language different from the question language. The answer language determination rule can be appropriately adopted based on the questioner's convenience, system efficiency, and the like.
図20に、質問言語の種類が異なる場合の処理手順の1例を示す。
ステップS1~S4及びS9~S10は、質問の固有属性情報で取り扱う情報が若干異なるものの、図5に示す工程(ステップ)と同じであるので、図20においても図5と同じ番号を付して説明を簡略化する。図5でも説明したように、質問端末90から質問q1を受け取ると(ステップS1)、質問の固有属性情報を取得して(質問の言語情報及びシステム利用者の情報等)を、例えば稼働履歴記憶部13に記憶するし(ステップS2)。このステップS2において、固有属性情報として質問の言語情報等を取得し記憶するのが、図5のステップS2と異なる点である。その後、質問端末90から受信した質問を第1次回答システム30(27)に送信して第1次回答を要求する(ステップS3)。第1次回答システム30(27)は、質問q1を受信すると質問に対応する第1次回答を1個以上抽出して出力し、質問受付回答システム10(26)が第1次回答システム30(27)からの第1次回答を受信する(ステップS4)。ここまでの処理工程は、ステップS2において、質問の固有属性情報として質問の言語情報を取得して記憶することを除き、図5の説明と同じである。
FIG. 20 shows an example of a processing procedure when different types of question languages are used.
Steps S1 to S4 and S9 to S10 are the same as the steps shown in FIG. 5, although the information handled by the unique attribute information of the question is slightly different. Simplify the description. As explained in FIG. 5, when the question q1 is received from the question terminal 90 (step S1), the unique attribute information of the question is acquired (language information of the question, system user information, etc.) and stored in, for example, operation history storage. It is stored in the unit 13 (step S2). This step S2 is different from step S2 in FIG. 5 in that the language information of the question and the like are acquired and stored as unique attribute information. After that, the question received from the question terminal 90 is transmitted to the primary response system 30 (27) to request the primary response (step S3). Upon receiving the question q1, the primary response system 30 (27) extracts and outputs one or more primary responses corresponding to the question. 27) receives the primary response (step S4). The processing steps up to this point are the same as those described in FIG. 5, except that the language information of the question is acquired and stored as the unique attribute information of the question in step S2.
質問の言語情報は、前述したように、質問者からの入力により取得するようにしても、質問端末90と質問受付回答システム10(26)との通信情報等に基づいて質問受付回答システム10(26)で自動的に取得するようにしても良い。質問者から回答言語が指定された場合には、ステップS2において、言語情報の一つとして回答言語情報も記憶されることが好ましい。これらの言語情報は所定の言語の識別子として記憶される。
以下の説明においては、質問の言語は中国語であり、質問者は回答言語としては何も指定しておらず、質問言語が中国語の場合には、最終回答も質問と同一言語である中国語で回答するものとして説明する。
なお、多種類の言語による質問に対する回答言語の数を少なくするため、又は中国語での回答準備が間に合わず最終回答記憶部に中国語による最終回答が用意されていない場合には、英語で回答するように構成することも可能である。この場合の構成としては、最終回答記憶部18(28)に、中国語の識別情報に紐付して英語による最終回答候補を記憶させておく構成と、回答言語が中国語の場合には最終回答記憶部18(28)の英語の最終回答候補を読み出すように初期設定しておく構成等、種々の対応が可能である。
As described above, even if the language information of the question is acquired by input from the questioner, the question reception and answer system 10 ( 26) may be automatically obtained. When the answer language is specified by the questioner, it is preferable that the answer language information is also stored as one of the language information in step S2. These language information are stored as predetermined language identifiers.
In the following explanation, the language of the question is Chinese, the questioner did not specify anything as the answer language, and if the question language is Chinese, the final answer is also the same language as the question. It will be explained as if the answer is in Japanese.
In addition, in order to reduce the number of languages for answers to questions in multiple languages, or if the final answer in Chinese is not prepared in the final answer storage part because the preparation of the answer in Chinese is not in time, the answer will be in English. It is also possible to configure In this case, the final answer storage unit 18 (28) stores the final answer candidate in English in association with the identification information of Chinese, and when the answer language is Chinese, the final answer Various measures are possible, such as a configuration in which initial settings are made so that the English final answer candidates in the storage unit 18 (28) are read out.
第1次回答システム30(27)から第1次回答を受信すると(ステップS4)、稼働履歴記憶部13等に記憶している回答言語の識別子及びシステム利用者の識別子等を取得する(ステップS55)。今、質問言語は中国語であり、質問者が回答言語を指定していないので、初期設定に従い、回答言語として中国語の識別子を取得する。同時に第1次回答が所定の条件を満足するかどうかが確認される(ステップS56)。 When the primary response is received from the primary response system 30 (27) (step S4), the identifier of the response language and the identifier of the system user stored in the operation history storage unit 13 and the like are acquired (step S55). ). At present, the question language is Chinese, and the questioner has not specified the answer language, so according to the initial setting, the Chinese identifier is obtained as the answer language. At the same time, it is checked whether the primary response satisfies a predetermined condition (step S56).
第1次回答が一定の回答確信度を有する等の所定の条件を満足する場合には(S56:Yes)、第1次回答の識別子及び回答言語の識別子に基づいて最終回答記憶部18から回答言語に対応する最終回答候補が読み出される(ステップS57)。ここで、最終回答記憶部18(28)に言語以外の固有回答候補を記憶している場合には、システム利用者の識別子等に基づいて、システム利用者などに対応する固有回答候補が読み出される。
例えば、図15~図19の例を参照して説明すると、中国語により「住民票を取りに来ました」との質問があった場合には、図17に例示する想定質問Q2(7)に相当するので、質問受付回答システム10(26)は、第1次回答システム30から第1次回答識別子「102」(ステップS4)を受け取る。また、今、回答言語情報は質問時には指定されていないので、ステップS55において、回答言語として中国語の言語識別子を取得する。その後、図19に示すように、第1次回答識別子「102」及び中国語の言語識別子に基づいて、最終回答記憶部18(28)から、第1次回答識別子の「102」の中国語の最終回答候補が読み出される(ステップS57)。図19では中国語の最終回答候補の具体的な文書は示していないが、実際には、中国語の最終回答を記憶している。
If the primary response satisfies a predetermined condition such as having a certain degree of certainty of response (S56: Yes), the final response storage unit 18 will respond based on the identifier of the primary response and the identifier of the response language. A final answer candidate corresponding to the language is read (step S57). Here, when unique answer candidates other than language are stored in the final answer storage unit 18 (28), the unique answer candidates corresponding to the system user etc. are read based on the identifier of the system user. .
For example, referring to the examples of FIGS. 15 to 19, if there is a Chinese question “I came to pick up my resident card”, the assumed question Q2(7) shown in FIG. , the question receiving and answering system 10 (26) receives the primary answer identifier "102" (step S4) from the primary answering system 30. Also, since the answer language information is not specified at the time of questioning, the language identifier of Chinese is acquired as the answer language in step S55. After that, as shown in FIG. 19, based on the primary response identifier "102" and the Chinese language identifier, the Chinese language of the primary response identifier "102" is retrieved from the final response storage unit 18 (28). A final answer candidate is read (step S57). Although FIG. 19 does not show specific documents of the final answer candidate in Chinese, the final answer in Chinese is actually stored.
なお、図19に示す例では、対応する言語以外の固有回答候補は用意されていないので、図19に示す最終回答がそのまま最終回答となり(ステップS57)、質問端末90に送信される(ステップS9)。
ここで、対応する中国の言語以外の固有回答候補はないが、対応する所定の言語(例えば日本語)による固有回答候補がある場合には、その言語(日本語)による固有回答候補を最終回答として返信するように構成しても良い。最後に、質問者に返信した最終回答その他の情報が稼働履歴記憶部13に記憶される(ステップS10)。
In the example shown in FIG. 19, since no unique answer candidates other than the corresponding language are prepared, the final answer shown in FIG. 19 becomes the final answer (step S57) and is transmitted to the question terminal 90 (step S9 ).
Here, if there is no unique answer candidate other than the corresponding Chinese language, but there is a corresponding unique answer candidate in a predetermined language (for example, Japanese), the unique answer candidate in that language (Japanese) is the final answer. It may be configured to reply as Finally, the final reply sent to the questioner and other information are stored in the operation history storage unit 13 (step S10).
第1次回答が所定の条件を満足しない場合には(S56:No)、回答言語ごとに用意されている最終回答候補、例えば、「もう少し具体的に質問して下さい。」等の最終回答候補を、回答言語情報に基づいて最終回答記憶部18(28)から取得して(ステップS58)、質問端末90に送信する(ステップS9)。又はプログラムにより同様の最終回答を生成し(ステップS58)、質問端末90に送信するように構成しても良い(ステップS9)。
ここで、回答言語ごとに個別の最終回答候補を用意するのではなく、例えばすべての回答言語で「もう少し具体的に質問して下さい」と記載した複数の文書を一つの最終回答候補として用意しておき、第1次回答が所定の条件を満足しない場合には、すべての質問に対してその最終回答候補を読み出して返信するように構成することもできる。
その後、その質問に関する質問から最終回答までの各種情報を稼働履歴記憶部に記憶する(ステップS10)。
If the primary answer does not satisfy the predetermined conditions (S56: No), the final answer candidate prepared for each answer language, such as "Please ask a little more specific question." is obtained from the final answer storage unit 18 (28) based on the answer language information (step S58) and transmitted to the question terminal 90 (step S9). Alternatively, a similar final answer may be generated by a program (step S58) and transmitted to the question terminal 90 (step S9).
Here, instead of preparing individual final answer candidates for each answer language, for example, multiple documents stating "Please ask a more specific question" in all answer languages are prepared as one final answer candidate. However, if the primary answer does not satisfy a predetermined condition, the final answer candidates can be read out and sent back to all the questions.
After that, various information from the question to the final answer regarding the question is stored in the operation history storage unit (step S10).
<本発明の他の形態に係る質問応答システム:エンティティ機能>
さらに、本発明の他の実施形態について説明する。
人工知能を備える第1次回答システム30(27)が、質問中に含まれる対象物(エンティティ)を知らせる機能を有している場合には、第1次回答システムに所定のエンティティを予め登録しておくことにより、機械学習させる想定質問の数を大幅に少なくすることが可能となる。
第1次回答システム30(27)が質問に含まれるエンティティを出力する機能を有する場合には、事前にエンティティを登録しておくことにより、第1次回答システムから第1次回答(識別子)とともに、質問に含まれているエンティティを受け取ることができる。
このエンティティの出力機能を活用するため、想定質問において「質問の意図」を共通属性とした質問グループと、その質問の意図に含まれる対象(エンティティ)を変数とする複数の想定質問を作成し、第1次回答システム30(27)に必要なエンティティを合わせて登録する。このように、各質問グループに対応する複数のエンティティを登録し、エンティティを変数とした複数の想定質問を用意することにより、登録したエンティティの数と作成した想定質問の数とを掛け合わせた数だけの想定質問が準備されたことになり、実際に機械学習する想定質問の数を大幅に少なくすることが可能となる。ここで、エンティティの登録は、質問グループ毎にエンティティを登録するのではなく、システム共通のエンティティとして登録することもできる。
<Question Answering System According to Another Embodiment of the Present Invention: Entity Function>
Furthermore, another embodiment of the present invention will be described.
If the primary answer system 30 (27) equipped with artificial intelligence has a function of notifying an object (entity) included in a question, a predetermined entity is registered in advance in the primary answer system. By doing so, it is possible to greatly reduce the number of assumed questions for machine learning.
If the primary response system 30 (27) has a function of outputting the entity included in the question, by registering the entity in advance, the primary response system can , can receive the entities contained in the question.
In order to utilize the output function of this entity, create a question group with "question intention" as a common attribute in the assumed question and multiple assumed questions with the target (entity) included in the intention of the question as a variable, The necessary entities are also registered in the primary response system 30 (27). In this way, by registering multiple entities corresponding to each question group and preparing multiple assumed questions with entities as variables, the number of registered entities multiplied by the number of assumed questions created Only assumed questions are prepared, and the number of assumed questions actually machine-learned can be greatly reduced. Here, entity registration can be performed as a system-common entity instead of registering the entity for each question group.
図21から図27を参照しながら、エンティティを利用した質問応答システムにおける想定質問及び最終回答の方法を、具体例を参照しながら説明する。図21~図27は、市役所における質問応答システム25(25‘)の例である。図21は各質問グループQ1~QNに属する想定質問の共通属性と第1次回答の識別子を例示している。図21に示す例では、質問グループQ1~QN-2はこれまでと同じ共通属性を有する想定質問で構成されている。 With reference to FIGS. 21 to 27, a method of envisioned questions and final answers in a question answering system using entities will be described with reference to specific examples. 21 to 27 are examples of a question answering system 25 (25') in a city hall. FIG. 21 exemplifies common attributes of assumed questions belonging to each question group Q1 to QN and identifiers of primary answers. In the example shown in FIG. 21, question groups Q1 to QN-2 are composed of hypothetical questions having the same common attributes as before.
各質問グループQ1~QN-2では想定質問も、図22から図26に一部例示するように、今までに説明したものと同様の想定質問、及び各質問グループに対応する第1次回答「101」~「NNN-2」が用意されている。したがって、第1次回答システム30(27)が質問を受け取り、当該質問が質問グループQ1~QN-2内のいずれかの想定質問に相当する場合、対応する第1次回答「101」~「NNN-2」のいずれかが、第1次回答システム30(27)から質問受付回答システム10(26)に提供される。質問受付回答システム10(26)は、第1次回答として「101」~「NNN-2」のいずれかを受信すると、図27に例示するように受信した第1次回答の識別子に対応する最終回答候補(基本回答候補又は固有回答候補)を取得して、質問応答システムに返信する。 In each question group Q1 to QN-2, the assumed questions are also assumed questions similar to those described so far, and the primary answers corresponding to each question group, as partially illustrated in FIGS. 22 to 26. 101” to “NNN-2” are prepared. Therefore, when the primary answer system 30 (27) receives a question and the question corresponds to any of the assumed questions in the question groups Q1 to QN-2, the corresponding primary answers "101" to "NNN -2” is provided from the primary response system 30 (27) to the question reception and response system 10 (26). When the question receiving and answering system 10 (26) receives one of "101" to "NNN-2" as the primary response, the final response corresponding to the identifier of the received primary response as illustrated in FIG. Acquire answer candidates (basic answer candidates or unique answer candidates) and send them back to the question answering system.
これに対して、図21の質問グループQN-1及びQNの共通属性は、それぞれ、「窓口への行き方」、「必要書類の取得」となっており、行先や必要書類等具体的な対象(エンティティ)が特定されていない。また、各質問グループQN-1及びQNに含まれる想定質問には、図25及び図26に示す通り、具体的にどの窓口に行きたいか、又はどのような書類を取得したいかという具体的な対象は含まれておらず、変数「xxx」となっている。すなわち、質問グループQN-1及びQNでは、共通属性が「何かをしたいという意図」となっており、その対象物(エンティ)が、「したいことの対象物」であるエンティ(行きたい「窓口」、又は欲しい「書類」)が、変数となっている。以下このような質問グループQN-1及びQNを、「インテント(意図)質問グループ」と称する。
一方、質問者からの質問が行先又は書類の取得を求めるものである場合には、その質問には必ず具体的な対象物が含まれているはずである。したがって、第1次回答システムから、第1次回答として「NNN-1」又は「NNN」を出力する場合には、同時に質問中に含まれているエンティティも出力されているはずである。
On the other hand, the common attributes of question groups QN-1 and QN in FIG. entity) is not specified. In addition, as shown in FIGS. 25 and 26, the assumed questions included in each question group QN-1 and QN include specific questions such as which window you want to go to or what kind of documents you want to obtain. The target is not included, and the variable is "xxx". That is, in the question groups QN-1 and QN, the common attribute is "intention to do something", and the object (entity) is the "object of what you want to do". ", or desired "document") is a variable. Such question groups QN-1 and QN are hereinafter referred to as "intent question groups".
On the other hand, if the question from the questioner is to request a destination or to obtain documents, the question must include a specific object. Therefore, when the primary response system outputs "NNN-1" or "NNN" as the primary response, the entity included in the question should also be output at the same time.
質問受付回答システムでは、インテント(意図)質問グループQN-1,又はQNに対応する識別子「NNN-1」又は「NNN」を受信した場合には、質問に含まれるインテント(意図)に基づいて、質問に対応する適切な最終回答候補を作成して送信しなければならない。
そのために、質問受付回答システムは、図28に例示すように、登録したエンティティに対応して最終回答を選択するための最終回答識別子を示す対応表を有しており、質問中に含まれるエンティを参照して、エンティティに対応する最終回答候補を記憶している最終回答候補の識別子を取得する。この最終回答候補の識別子は、対応する最終回答候補が通常の質問グループQ1~QN-2に対応する識別子「101」~「NNN-2」に存在する場合には、これらの識別子を指定する。もし、識別子「101」~「NNN-2」に適切な最終回答が無い場合には、別途最終回答識別子と最終回答候補を設ける構成としても良い。
In the question reception and answer system, when the intent (intention) question group QN-1 or the identifier "NNN-1" or "NNN" corresponding to QN is received, based on the intent (intention) included in the question must create and submit an appropriate final candidate answer that corresponds to the question.
For this reason, the question receiving and answering system has a correspondence table indicating final answer identifiers for selecting final answers corresponding to registered entities, as shown in FIG. to obtain the identifier of the final answer candidate that stores the final answer candidate corresponding to the entity. The identifier of this final answer candidate designates these identifiers when corresponding final answer candidates exist in the identifiers "101" to "NNN-2" corresponding to the ordinary question groups Q1 to QN-2. If there is no suitable final answer for the identifiers "101" to "NNN-2", a separate final answer identifier and final answer candidates may be provided.
第1次回答がインテント(意図)質問グループに対応する第1次回答「NNN-1」又は「NNN」である場合には、質問受付回答システムは、第1次回答システムから受信した第1次回答(識別子)とエンティの識別子から対応する最終回答候補の識別子を取得して、最終回答を取得する。
例えば、質問端末からの質問が「転入手続きにきたのですが」という質問だったとする。この質問に対するそのまま該当する想定質問は質問グループQN-1及びQNにはないので、インテント(意図)質問グループQN-1(1)が第1次回答「NNN-1」となると仮定する。その場合には、回答確信度の一番高い第1次回答の識別子が「NNN-1」と、エンティティ「転入手続き」が提供される。質問受付回答システムは、第1次回答識別子「NNN-1」とエンティティ識別子「転入手続き」を受信すると、図28に例示する対応表から、最終回答候補の識別子「101」を取得し、図27に示す第1次回答の識別子「101」に対応する最終回答候補を読み出して、最終候補として質問端末に送信する。
If the primary answer is the primary answer "NNN-1" or "NNN" corresponding to the intent question group, the question receiving and answering system receives the first answer received from the primary answering system. Obtain the identifier of the corresponding final answer candidate from the next answer (identifier) and the identifier of the entity, and obtain the final answer.
For example, it is assumed that the question from the question terminal is "I came here for moving-in procedures." Since there are no hypothetical questions directly applicable to this question in question groups QN-1 and QN, we assume that the intent question group QN-1(1) is the primary answer "NNN-1". In that case, the identifier of the primary answer with the highest answer certainty is "NNN-1" and the entity "transfer procedure" is provided. When the question receiving and answering system receives the primary answer identifier "NNN-1" and the entity identifier "transfer procedure", it acquires the final answer candidate identifier "101" from the correspondence table illustrated in FIG. The final answer candidate corresponding to the identifier "101" of the primary answer shown in is read out and transmitted to the question terminal as the final candidate.
インテント(意図)質問グループに対応する第1次回答「NNN-1」又は「NNN」を受信したにもかかわらず、エンティティが存在しない場合には、最終回答候補を取得できないので、図28に示す通り、「どちらの窓口に行きたいかわかりませんでした」又は「どのような書類が必要かわかりませんでした」等の回答を最終回答として、質問端末に返信する。このようなケースは、質問端末からの質問として、エンティティとして登録していない窓口や必要書類が指定された場合が想定される。このようなログ情報を収集分析して、想定質問やエンティティの登録を変更することにより、質問に対する正答率を上げ、質問応答システム25(25‘)を進化させていくことが可能となる。 Although the primary answer "NNN-1" or "NNN" corresponding to the intent question group is received, if the entity does not exist, the final answer candidate cannot be obtained. As shown, an answer such as "I didn't know which window I wanted to go to" or "I didn't know what kind of document was required" is sent back to the question terminal as a final answer. In such a case, it is assumed that a window or necessary documents that are not registered as an entity are designated as questions from the question terminal. By collecting and analyzing such log information and changing the assumed questions and registration of entities, it is possible to increase the rate of correct answers to questions and to evolve the question answering system 25 (25').
以上の説明では、最終回答候補として、「基本回答候補」及び「固有回答候補」をそのまま最終回答とする例、「各種言語の基本回答候補や固有回答候補」を最終回答とする例、「第1次回答(識別子)とエンティティ識別子の組み合わせから得られた基本回答候補」を最終回答とする例を説明したが、他の組合せも可能であり、説明した構成を互いに組み合わせて得られるすべての構成も、本願発明の範囲に属するものである。 In the above explanation, as the final answer candidates, there are examples in which "basic answer candidates" and "specific answer candidates" are used as the final answers, "basic answer candidates and unique answer candidates in various languages" are used as final answers, and "second Although an example in which "a basic answer candidate obtained from a combination of a primary answer (identifier) and an entity identifier" is the final answer, other combinations are also possible, and all configurations obtained by combining the described configurations with each other also belong to the scope of the present invention.
なお、上記の説明で示した実施形態では、自然言語処理による質問グループの例のみを示したが、本発明に係る質問応答システム25(25‘)で取り扱う質問は、自然言語形式に基づく質問に限定されない。質問応答システム25(25‘)に、画像解析及び画像認識システムを組み込み、質問端末から画像データを受信することにより、画像に関連する最終回答を送信するように構成することもできる。画像による質問に対する応答とは、例えば、質問端末から、質問として特定の建物や建造物、動物、人物等の有体物の画像データを受信した場合に、その画像データに関する情報を最終回答として、返信するものである。
具体的には、リフォーム会社が扱う、キッチンなどの設備機器の外観写真を質問として受け付けると、この設備機器に関する情報を第1次回答として提供するような構成とすることもできる。質問応答システム25(25‘)は、当設備機器に関する情報を、自社向けの固有回答として登録することにより、業者ごとの適切な回答を質問者に返すことが可能となる。
In the embodiment shown in the above description, only examples of question groups by natural language processing are shown, but the questions handled by the question answering system 25 (25') according to the present invention are questions based on natural language format. Not limited. The question answering system 25 (25') can also be configured to incorporate an image analysis and image recognition system, receive image data from the question terminal, and transmit a final answer related to the image. A response to a question using an image is, for example, when image data of a tangible object such as a specific building, structure, animal, or person is received as a question from a question terminal, information about the image data is returned as a final answer. It is a thing.
Specifically, it is possible to adopt a configuration in which, upon receiving as a question a photograph of the appearance of equipment such as a kitchen handled by a remodeling company, information regarding this equipment is provided as a primary answer. The question answering system 25 (25') can return an appropriate answer for each trader to the questioner by registering the information about the equipment as a unique answer for the company.
また、質問端末から画像データを受信することにより、画像に関する情報の回答を、質問者に適した言語で返信するように構成することもできる。
具体的な応用例としては、例えば観光ガイドに利用することができる。この場合、質問端末から目的地の画像を受け付け、画像認識技術と交通手段等の検索により目的地への行き方(電車乗り継ぎ方法等)を案内することなどができる。写真や通信情報から言語情報を取得することにより、乗継方法の説明を適切な言語で返信するように構成することもできる。
同様に、美術館等における作品の説明等についても、各種言語による案内が可能となる。
Further, by receiving the image data from the question terminal, it is possible to configure so that the answer of the information about the image is returned in a language suitable for the questioner.
As a specific application, for example, it can be used as a tourist guide. In this case, it is possible to receive an image of the destination from the inquiry terminal and provide guidance on how to get to the destination (such as how to change trains) by searching for image recognition technology and means of transportation. By acquiring language information from photos and communication information, it is possible to configure so that the description of the transit method is returned in an appropriate language.
Similarly, explanations of works in art museums and the like can be provided in various languages.
10、26質問受付回答システム
11 通信インターフェース
12 質問受付手段
13 稼働履歴記憶部
14 第1次回答問合せ手段
15 最終回答手段
16 メンテナンス手段
18、28 最終回答記憶部(最終回答データベース)
25 25' 質問応答システム
27、30 第1次回答システム
35 最終回答制御部
36 固有属性情報取得部
37 最終回答取得部
38 最終回答送信部
40 利用者システム
90 質問端末
91 通信ネットワーク(LANを含む複合ネットワーク:有線無縁を問わない)
10, 26 Question Receiving and Answering System 11 Communication Interface 12 Question Receiving Means 13 Operation History Storage Part 14 Primary Answer Inquiry Means 15 Final Answer Means 16 Maintenance Means 18, 28 Final Answer Storage Part (Final Answer Database)
25 25' question answering system 27, 30 primary answer system 35 final answer control unit 36 unique attribute information acquisition unit 37 final answer acquisition unit 38 final answer transmission unit 40 user system 90 question terminal 91 communication network (complex including LAN Network: wired or unrelated)
Claims (13)
前記第1次回答システムは、
前記質問受付回答システムからの前記画像データによる質問に対する前記第1次回答の返信要求を受け付けて、前記人工知能に前記質問受付回答システムから受信した前記画像データによる質問を入力し、前記人工知能からの前記画像データによる質問に対する第1次回答を前記質問受付回答システムに対して送信するインターフェース手段と、
複数の想定質問と、該想定質問に対応する第1次回答として所定の識別子とを機械学習することにより、前記質問受付回答システムからの要求に応じて、該質問受付回答システムからの前記画像データによる質問に対する第1次回答を前記識別子として出力する人工知能とを、備え、
前記質問受付回答システムは、
前記質問端末からの前記画像データによる質問を受け付ける質問受付手段と、
前記質問受付手段により受け付けた前記画像データによる質問を前記第1次回答システムに送信して前記第1次回答を要求し、前記第1次回答システムからの前記第1次回答を受け取る第1次回答問合手段と、
前記人工知能により機械学習した前記識別子と1:1に紐付して、該識別子に対応する最終回答候補を記憶している最終回答記憶部と、
前記第1次回答システムから受信した前記第1次回答に基づいて、前記最終回答記憶部から前記第1次回答の前記識別子に対応する前記最終回答候補を読み出して、読み出した該最終回答候補に基づいて前記質問端末に対して最終回答を返信する最終回答手段と
を、備えることを特徴とする質問応答システム。 A question receiving and answering system using a computer that receives image data sent from a question terminal as a question based on image data and returns a final answer to the question based on the image data to the question terminal; a question answering system separately provided with a primary answer system for replying a primary answer to a question based on the image data,
The primary response system is
Receiving a reply request for the primary answer to the question by the image data from the question reception and answer system, inputting the question by the image data received from the question reception and answer system to the artificial intelligence, and receiving the question from the artificial intelligence interface means for transmitting a primary answer to a question based on the image data of to the question acceptance and answer system;
The image data from the question receiving and answering system in response to a request from the question receiving and answering system by machine learning a plurality of assumed questions and a predetermined identifier as a primary answer corresponding to the assumed question. and an artificial intelligence that outputs the primary answer to the question by as the identifier,
The question reception and answer system is
a question accepting means for accepting questions based on the image data from the question terminal;
A first order for transmitting a question based on the image data accepted by the question accepting means to the primary answer system, requesting the primary answer, and receiving the primary answer from the primary answer system answer inquiry means;
a final answer storage unit that associates 1:1 with the identifier machine-learned by the artificial intelligence and stores a final answer candidate corresponding to the identifier;
based on the primary response received from the primary response system, the final response candidate corresponding to the identifier of the primary response is read from the final response storage unit, and the read final response candidate is stored a final answer means for returning a final answer to the question terminal based on the question answering system.
前記質問端末からの前記画像データによる質問を受け付ける質問受付手段と、
前記質問受付手段により受け付けた前記画像データによる質問を前記第1次回答システムに送信して前記第1次回答を要求し、前記第1次回答システムからの前記第1次回答を受け取る第1次回答問合手段と、
前記第1次回答システムにおいて機械学習した前記識別子と1:1に紐付けして、該識別子に対応する最終回答候補を記憶している最終回答記憶部と、
前記第1次回答システムから受信した前記第1次回答に基づいて、前記最終回答記憶部から前記第1次回答の前記識別子と対応する前記最終回答候補を読み出して、読み出した該最終回答候補に基づいて前記質問端末に対して最終回答を返信する最終回答手段と、
を備える質問受付回答システム。 A question receiving and answering system using a computer that accepts questions based on image data from a question terminal, and artificial intelligence, and machine-learns a plurality of assumed questions and a predetermined identifier as a primary answer corresponding to the assumed questions. The question receiving and answering system in the question answering system provided separately from the primary answering system that outputs the primary answer to the question by the image data from the question receiving and answering system as the identifier,
a question accepting means for accepting questions based on the image data from the question terminal;
A first order for transmitting a question based on the image data accepted by the question accepting means to the primary answer system, requesting the primary answer, and receiving the primary answer from the primary answer system answer inquiry means;
a final answer storage unit that associates 1:1 with the identifier machine-learned in the primary answer system and stores a final answer candidate corresponding to the identifier;
Based on the primary response received from the primary response system, the final response candidate corresponding to the identifier of the primary response is read out from the final response storage unit, and the read out final response candidate is stored. a final answer means for returning a final answer to the question terminal based on
Question acceptance and answer system.
前記最終回答記憶部は、必要に応じて、前記固有属性情報に対応する最終回答候補を記憶していることを特徴とする請求項1若しくは3に記載の質問応答システム、又は請求項2若しくは3に記載の質問受付回答システム。 The question receiving means further acquires unique attribute information of the question by the image data accompanying the question by the image data from the question terminal,
4. The question answering system according to claim 1 or 3, or claim 2 or 3, wherein the final answer storage unit stores final answer candidates corresponding to the unique attribute information as needed. Question acceptance and answer system described in .
前記最終回答記憶部は前記各最終回答候補として、前記各識別子に紐付して記憶される最終回答のベースとなる基本回答、又は、必要に応じて前記各識別子及び前記利用者システムの識別情報に紐付して記憶され前記各基本回答と内容の異なる固有回答とを記憶しており、
前記最終回答手段は前記第1次回答の前記識別子及び前記画像データによる質問に対応する前記利用者システムの識別情報に基づいて、前記最終回答記憶部から、前記基本回答又は前記固有回答を読み出して、読み出した前記基本回答又は前記固有回答を最終回答として前記質問端末に送信することを特徴とする請求項4に記載の質問応答システム又は請求項4に記載の質問受付回答システム。 The question receiving means acquires identification information of a user system through which the question based on the image data is passed, based on the acquired unique attribute information,
The final answer storage unit stores, as each final answer candidate, a basic answer that is the base of the final answer stored in association with each identifier, or, if necessary, each identifier and identification information of the user system. Each of the basic answers stored in association with each other and unique answers having different contents are stored,
The final answer means reads the basic answer or the unique answer from the final answer storage unit based on the identifier of the primary answer and the identification information of the user system corresponding to the question based on the image data. 5. The question answering system according to claim 4 or the question receiving and answering system according to claim 4, wherein the read basic answer or the unique answer is transmitted to the question terminal as a final answer.
前記質問受付回答システムは、前記第1次回答システムから受信した回答確信度に応じて第1次回答に紐付けして記憶されている前記各識別子に紐付して記憶される最終回答のベースとなる基本回答、又は必要に応じて前記各識別子及び前記画像データによる質問が経由した利用者システムの識別情報に紐付して記憶され前記各基本回答と内容の異なる固有回答を前記最終回答記憶部から読み出して、前記画像データによる質問に対する最終回答を前記質問端末に送信することを特徴とする請求項1若しくは3から6のいずれか1項に記載の質問応答システム、又は請求項2から6のいずれか1項に記載の質問受付回答システム。 The primary answer system extracts a primary answer to the question based on the image data and outputs the answer certainty,
The question receiving and answering system serves as a base of final answers stored in association with the respective identifiers associated with the primary answers according to the answer certainty received from the primary answer system. basic answer, or if necessary, a unique answer that is stored in association with the identification information of the user system through which the question based on the identifier and the image data has passed, and that is different in content from the basic answer, from the final answer storage unit 7. The question answering system according to any one of claims 1 or 3 to 6, or any one of claims 2 to 6, wherein the final answer to the question based on the image data is read out and transmitted to the question terminal. or the question reception and answer system described in paragraph 1.
前記質問端末との交信記録、前記第1次回答システムとの交信記録、前記画像データによる質問の固有属性情報を含む前記画像データによる質問の受付から最終回答までの各種情報を記憶する稼働履歴記憶部と、
権限に応じて、利用者システムから、前記稼働履歴記憶部に記憶している前記各種情報の閲覧、並びに前記最終回答記憶部に記憶している前記最終回答候補の修正、追加、変更を含むメンテナンスが可能なメンテナンス手段と、
を備えることを特徴とする請求項1、3若しくは4のいずれか1項に記載の質問応答システム、又は請求項2から4のいずれか1項に記載の質問受付回答システム。 moreover,
A record of communication with the question terminal, a record of communication with the primary response system, and an operation history memory for storing various information from the reception of the question by the image data to the final answer, including unique attribute information of the question by the image data. Department and
According to the authority, from the user system, maintenance including viewing of the various information stored in the operation history storage unit and correction, addition, and change of the final answer candidate stored in the final answer storage unit a maintenance means capable of
5. The question answering system according to any one of claims 1, 3 or 4 , or the question receiving and answering system according to any one of claims 2 to 4, comprising:
前記質問端末との交信記録、前記第1次回答システムとの交信記録、前記画像データによる質問の固有属性情報を含む前記画像データによる質問の受付から最終回答までの各種情報を記憶する稼働履歴記憶部と、 A record of communication with the question terminal, a record of communication with the primary response system, and an operation history memory for storing various information from the reception of the question by the image data to the final answer, including unique attribute information of the question by the image data. Department and
権限に応じて、利用者システムから、前記稼働履歴記憶部に記憶している前記各種情報の閲覧、並びに前記最終回答記憶部に記憶している前記最終回答候補又は前記固有回答の修正、追加、変更を含むメンテナンスが可能なメンテナンス手段と、 According to the authority, the user system can view the various information stored in the operation history storage unit, and modify, add, and modify the final answer candidate or the unique answer stored in the final answer storage unit. a maintenance means capable of maintenance including modification;
を備えることを特徴とする請求項5から7のいずれか1項に記載の質問応答システム、又は請求項5から7のいずれか1項に記載の質問受付回答システム。 8. The question answering system according to any one of claims 5 to 7, or the question receiving and answering system according to any one of claims 5 to 7, comprising:
(a) 前記質問受付回答システムにおいて、質問端末からの画像データによる質問を受け付けて、該画像データによる質問を第1次回答システムに送信するステップと、
(b) 前記第1次回答システムにおいて、前記質問受付回答システムからの前記画像データによる質問を受け付けて、該画像データによる質問を、前記人工知能に入力して該入力した画像データによる質問に対する前記第1次回答を前記識別子として出力し、前記人工知能から出力された前記第1次回答の識別子を前記質問受付回答システムに送信するステップと、
(c)前記質問受付回答システムにおいて、 前記第1次回答システムから前記第1次回答として前記識別子を受信したときに、前記人工知能が機械学習している前記識別子に紐付けして最終回答候補を記憶している最終回答記憶部から、受信した前記識別子に対応する前記最終回答候補を読み出して、該読み出した最終回答候補を最終回答として前記質問端末に対して返信するステップと、
を備える質問応答システムの質問応答方法。 A question receiving and answering system for receiving a question based on image data from a question terminal by a computer and replying an answer to the question based on the image data to the question terminal; A question in a question answering system comprising: a primary answer system that machine-learns a predetermined identifier that is an answer of as a primary answer and returns the identifier as a primary answer in response to a question based on input image data A method of responding,
(a) in the question acceptance and answer system, a step of accepting a question by image data from a question terminal and transmitting the question by the image data to the primary answer system;
(b) In the primary response system, the question based on the image data is received from the question receiving and answering system, the question based on the image data is input to the artificial intelligence, and the question based on the input image data is answered. a step of outputting the primary response as the identifier and transmitting the identifier of the primary response output from the artificial intelligence to the question receiving and answering system;
(c) In the question receiving and answering system, when the identifier is received as the primary answer from the primary answering system, it is linked to the identifier machine-learned by the artificial intelligence and the final answer candidate a step of reading the final answer candidate corresponding to the received identifier from the final answer storage unit storing the final answer candidate, and replying the read final answer candidate to the question terminal as a final answer;
A question answering method for a question answering system comprising:
(a1) 前記質問受付回答システムにおいて、質問端末からの前記画像データによる質問を受け付けて、該画像データによる質問を前記第1次回答システムに送信するステップと、
(b1) 前記第1次回答システムから前記第1次回答として前記識別子を受信したときに、前記人工知能が機械学習している前記識別子に紐付けして最終回答候補を記憶している最終回答記憶部から、受信した前記識別子に対応する前記最終回答候補を読み出して、該読み出した最終回答候補を最終回答として前記質問端末に対して返信するステップと、
を備える質問受付回答システムの質問応答方法。 A question receiving and answering system for receiving a question based on image data from a question terminal by a computer and replying an answer to the question based on the image data to the question terminal; and a primary answer system that machine-learns a predetermined identifier that is the answer of as a primary answer and returns the identifier as a primary answer in response to a question based on the input image data. A question answering method for a question receiving and answering system,
(a1) in the question acceptance and answer system, a step of accepting a question based on the image data from a question terminal and transmitting the question based on the image data to the primary response system;
(b1) When the identifier is received as the primary response from the primary response system, the final response is linked to the identifier machine-learned by the artificial intelligence and stored as a final response candidate. a step of reading the final answer candidate corresponding to the received identifier from a storage unit and replying the read final answer candidate as a final answer to the question terminal;
A question answering method for a question receiving and answering system.
(a-1) 前記質問端末から前記画像データによる質問を受け付けるステップと、
(a-2) 前記画像データによる質問に付随する該質問の固有属性情報を取得して記憶するステップと、
(a-3) 前記画像データによる質問を前記第1次回答システムに送信するステップと、
を備え、
前記ステップ(c)又は(b1)は、
(c-1) 前記第1次回答システムから前記第1次回答として前記識別子を受信するステップと、
(c-2) 前記ステップ(a-1)で記憶した固有属性情報から、利用者システムの識別情報を取得するステップと、
(c-3) 前記識別子に対応する最終回答候補を基本回答と利用者特有の固有回答とに分けて記憶している回答記憶部から、前記第1次回答の識別子と前記利用者システムの識別情報に基づいて、対応する前記基本回答又は前記固有回答を読み出すステップと、
(c-4) 前記読み出した前記基本回答又は前記固有回答を前記質問端末に返信するステップと、
を備えることを特徴とする請求項10に記載の質問応答システムの質問応答方法又は請求項12に記載の質問受付回答システムの質問応答方法。 The step (a) or (a1) comprises:
(a-1) receiving a question based on the image data from the question terminal;
(a-2) acquiring and storing unique attribute information of the question accompanying the question based on the image data;
(a-3) sending a question based on the image data to the primary response system;
with
The step (c) or (b1) is
(c-1) receiving the identifier as the primary response from the primary response system;
(c-2) obtaining identification information of the user system from the unique attribute information stored in step (a-1);
(c-3) Identifying the identifier of the primary response and the user system from the response storage unit that stores the final response candidates corresponding to the identifier, divided into basic responses and user-specific unique responses. retrieving the corresponding basic answer or unique answer based on the information;
(c-4) returning the read basic answer or unique answer to the question terminal;
The question answering method of the question answering system according to claim 10 or the question answering method of the question receiving and answering system according to claim 12 , characterized by comprising:
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2023108748A JP7534823B2 (en) | 2018-03-07 | 2023-06-30 | Question answering system, question receiving and answering system, first answering system, and question answering method using them |
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018041326 | 2018-03-07 | ||
JP2018041326 | 2018-03-07 | ||
JP2018209786A JP6691340B2 (en) | 2018-03-07 | 2018-11-07 | Question answering system, question acceptance answering system, primary answering system, and question answering method using them |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018209786A Division JP6691340B2 (en) | 2018-03-07 | 2018-11-07 | Question answering system, question acceptance answering system, primary answering system, and question answering method using them |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023108748A Division JP7534823B2 (en) | 2018-03-07 | 2023-06-30 | Question answering system, question receiving and answering system, first answering system, and question answering method using them |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2020123371A JP2020123371A (en) | 2020-08-13 |
JP2020123371A5 JP2020123371A5 (en) | 2021-12-16 |
JP7311899B2 true JP7311899B2 (en) | 2023-07-20 |
Family
ID=67994058
Family Applications (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018209786A Active JP6691340B2 (en) | 2018-03-07 | 2018-11-07 | Question answering system, question acceptance answering system, primary answering system, and question answering method using them |
JP2020067303A Active JP7311899B2 (en) | 2018-03-07 | 2020-04-03 | Question answering system, question receiving and answering system, primary answer system, and question answering method using them |
JP2023108748A Active JP7534823B2 (en) | 2018-03-07 | 2023-06-30 | Question answering system, question receiving and answering system, first answering system, and question answering method using them |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018209786A Active JP6691340B2 (en) | 2018-03-07 | 2018-11-07 | Question answering system, question acceptance answering system, primary answering system, and question answering method using them |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023108748A Active JP7534823B2 (en) | 2018-03-07 | 2023-06-30 | Question answering system, question receiving and answering system, first answering system, and question answering method using them |
Country Status (1)
Country | Link |
---|---|
JP (3) | JP6691340B2 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7023535B2 (en) * | 2020-02-21 | 2022-02-22 | 株式会社Pid | Information retrieval system, information retrieval program, and information retrieval method |
CN111488448B (en) * | 2020-05-27 | 2023-06-20 | 支付宝(杭州)信息技术有限公司 | Method and device for generating machine reading annotation data |
JP7514575B1 (en) | 2023-04-26 | 2024-07-11 | 株式会社00Ai | Information processing system, program, and method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013125286A1 (en) | 2012-02-23 | 2013-08-29 | 独立行政法人情報通信研究機構 | Non-factoid question answering system and computer program |
JP2014085873A (en) | 2012-10-24 | 2014-05-12 | Ntt Docomo Inc | Information processor, information processing system, and question answering method |
-
2018
- 2018-11-07 JP JP2018209786A patent/JP6691340B2/en active Active
-
2020
- 2020-04-03 JP JP2020067303A patent/JP7311899B2/en active Active
-
2023
- 2023-06-30 JP JP2023108748A patent/JP7534823B2/en active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013125286A1 (en) | 2012-02-23 | 2013-08-29 | 独立行政法人情報通信研究機構 | Non-factoid question answering system and computer program |
JP2014085873A (en) | 2012-10-24 | 2014-05-12 | Ntt Docomo Inc | Information processor, information processing system, and question answering method |
Also Published As
Publication number | Publication date |
---|---|
JP7534823B2 (en) | 2024-08-15 |
JP6691340B2 (en) | 2020-04-28 |
JP2019160286A (en) | 2019-09-19 |
JP2020123371A (en) | 2020-08-13 |
JP2023121837A (en) | 2023-08-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10997371B2 (en) | Automatic response server device, terminal device, response system, response method, and program | |
Fàbregues et al. | Fundamentals of case study research in family medicine and community health | |
US10671620B2 (en) | Method for recommending a teacher in a network teaching system | |
JP7311899B2 (en) | Question answering system, question receiving and answering system, primary answer system, and question answering method using them | |
Hewitt et al. | The role of business incubators in creating sustainable small and medium enterprises | |
US9514425B2 (en) | Method and system for providing user-customized contents | |
US11113336B2 (en) | Information processing apparatus to output answer information in response to inquiry information | |
US20130103420A1 (en) | System and method facilitating patient registration across multiple practice groups | |
US11727213B2 (en) | Automatic conversation bot generation using input form | |
US11900933B2 (en) | User-customizable and domain-specific responses for a virtual assistant for multi-dwelling units | |
Dugonjic-Rodwin | Field theory and education: A case study of the International Baccalaureate | |
Courtney | Privatising educational leadership through technology in the Trumpian era | |
JP6388212B2 (en) | Tag assignment method, tag assignment device, program, and question answer search method | |
Sutton et al. | Institutional factors affecting expansion within the East African community: An analysis of managers’ personal stories | |
Nguyen et al. | The dynamics of national ICT ecosystems | |
Papadopoulos et al. | Socially assistive robots in health and social care: Acceptance and cultural factors. Results from an exploratory international online survey | |
Curnew et al. | Integration of primary care education into undergraduate nursing programs: a scoping review protocol | |
Meyer | Carers’ experiences accessing information on supports and services: Learning the social care “dance” | |
Royer et al. | Making community college student affairs visible in master’s-level student affairs preparation: A longitudinal curricular audit | |
Damaschke-Deitrick et al. | Preparing and supporting teachers of immigrant and refugee students | |
JP7490905B1 (en) | Job search support system, job search support method and program | |
JP7501882B1 (en) | Information processing device, information processing system, and program | |
Shieh | PCC’s Work on URIs in MARC | |
JP7545694B1 (en) | Information processing device and program | |
US20210065068A1 (en) | Travel plan proposition apparatus and travel plan proposition method for a travel plan proposition apparatus |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20211105 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230105 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20230228 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230501 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230601 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230630 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7311899 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |