JP6942759B2 - Information processing equipment, programs and information processing methods - Google Patents
Information processing equipment, programs and information processing methods Download PDFInfo
- Publication number
- JP6942759B2 JP6942759B2 JP2019139791A JP2019139791A JP6942759B2 JP 6942759 B2 JP6942759 B2 JP 6942759B2 JP 2019139791 A JP2019139791 A JP 2019139791A JP 2019139791 A JP2019139791 A JP 2019139791A JP 6942759 B2 JP6942759 B2 JP 6942759B2
- Authority
- JP
- Japan
- Prior art keywords
- evaluation
- unit
- answer
- sentence
- terms
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Machine Translation (AREA)
- Document Processing Apparatus (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
本発明は、複数のデータに基づいて学習を行って学習済みモデルを生成する情報処理装置及び情報処理方法に関する。 The present invention relates to an information processing apparatus and an information processing method for generating a trained model by learning based on a plurality of data.
従来から、質問に対する回答を自動的に行う装置が提案されている。例えば特許文献1では、チャット相手となる端末装置から受信した質問を表す問合せ質問文と、問合せ質問文に対して応答を行ったことを示す応答情報と、応答に対して端末装置から所定の返答を受け付けたことを示す返答情報と、を含むチャットログを生成するチャットシステムが提案されている。
Conventionally, a device that automatically answers a question has been proposed. For example, in
本発明は、従来とは異なる態様を採用し、簡易な構成で正確な回答を出力できる情報処理装置等を提供する。 The present invention provides an information processing device or the like that adopts a mode different from the conventional one and can output an accurate answer with a simple configuration.
本発明による情報処理装置は、
入力部から入力された質問に対する回答に関する文章を選択する文章選択部と、
文章選択部で選択された前記文章内から回答を抽出する抽出部と、
前記抽出部で抽出された回答を出力する出力部と、
を備えてもよい。
The information processing device according to the present invention
A sentence selection section that selects sentences related to the answer to the question entered from the input section, and a sentence selection section
An extraction unit that extracts answers from the sentences selected by the sentence selection unit,
An output unit that outputs the answers extracted by the extraction unit, and
May be provided.
本発明による情報処理装置は、
前記文章を用語に分割する用語分割部と、
分割された用語が回答の始点になる可能性に関する第一評価と、分割された用語が回答の終点になる可能性に関する第二評価とを行う評価部と、
を備え、
前記抽出部が、前記評価部による評価結果に基づいて回答を抽出してもよい。
The information processing device according to the present invention
A term division section that divides the sentence into terms,
An evaluation unit that performs a first evaluation on the possibility that the divided term will be the starting point of the answer and a second evaluation on the possibility that the divided term will be the ending point of the answer.
With
The extraction unit may extract the answer based on the evaluation result by the evaluation unit.
本発明による情報処理装置は、
前記文章選択部で選択された文章を複数のパラグラフに分割する文章分割部を備え、
前記評価部は前記パラグラフ内で第一評価及び第二評価を行い、
前記抽出部は、各パラグラフにおける前記評価部による評価結果を比較して回答を抽出してもよい。
The information processing device according to the present invention
It is provided with a sentence division section that divides the sentence selected by the sentence selection section into a plurality of paragraphs.
The evaluation unit performs the first evaluation and the second evaluation in the paragraph, and performs the first evaluation and the second evaluation.
The extraction unit may extract answers by comparing the evaluation results by the evaluation unit in each paragraph.
本発明による情報処理装置において、
前記文章選択部は複数の文章を選択し、
前記評価部は選択された複数の文章内で第一評価及び第二評価を行い、
前記抽出部は、各文章における前記評価部による評価結果を比較して回答を抽出してもよい。
In the information processing device according to the present invention
The sentence selection section selects a plurality of sentences and
The evaluation unit performs the first evaluation and the second evaluation in a plurality of selected sentences, and performs the first evaluation and the second evaluation.
The extraction unit may extract answers by comparing the evaluation results by the evaluation unit in each sentence.
本発明による情報処理装置において、
入力部からの入力を受け、前記文章選択部は、ウェブサイトにおける公開文章、記憶部で記憶されている内部文章、並びに公開文章及び内部文章の両方のいずれを選択してもよい。
In the information processing device according to the present invention
Upon receiving the input from the input unit, the sentence selection unit may select any of the public sentence on the website, the internal sentence stored in the storage unit, and both the public sentence and the internal sentence.
本発明による情報処理装置において、
複数の質問を一度に入力可能となり、
前記出力部は各質問に対する回答を表形式で出力してもよい。
In the information processing device according to the present invention
You can enter multiple questions at once,
The output unit may output the answers to each question in a table format.
本発明による情報処理装置は、
自動で複数の質問を行い、前記出力部から出力された各質問に対する回答を自動で収集する情報収集部を備えてもよい。
The information processing device according to the present invention
An information collecting unit may be provided that automatically asks a plurality of questions and automatically collects answers to each question output from the output unit.
本発明による情報処理方法は、
入力部から入力された質問に対する回答に関する文章を文章選択部が選択する工程と、
文章選択部で選択された文章内から回答を抽出部が抽出する工程と、
前記抽出部で抽出された回答を出力部が出力する工程と、
を備えてもよい。
The information processing method according to the present invention
The process in which the sentence selection section selects sentences related to the answers to the questions entered from the input section, and
The process by which the extraction unit extracts the answer from the sentences selected by the sentence selection unit, and
A process in which the output unit outputs the answer extracted by the extraction unit, and
May be provided.
本発明によるプログラムは、
情報処理装置にインストールされるプログラムであって、
前記情報処理装置は、
入力部から入力された質問に対する回答に関する文章を選択する文章選択部と、
文章選択部で選択された前記文章内から回答を抽出する抽出部と、
前記抽出部で抽出された回答を出力する出力部と、
を備えてもよい。
The program according to the present invention
A program installed in an information processing device
The information processing device
A sentence selection section that selects sentences related to the answer to the question entered from the input section, and a sentence selection section
An extraction unit that extracts answers from the sentences selected by the sentence selection unit,
An output unit that outputs the answers extracted by the extraction unit, and
May be provided.
本発明の一態様として、文章を用語に分割し、評価部40が分割された用語が回答の始点になる可能性に関する第一評価と、分割された用語が回答の終点になる可能性に関する第二評価とを行うことで、抽出部20が回答を抽出する態様を採用した場合には、回答の始点と回答の終点という2つの点に着目して回答を抽出することから、簡易な構成で正確な回答を抽出できる。
As one aspect of the present invention, a sentence is divided into terms, and the first evaluation regarding the possibility that the divided terms become the starting point of the answer and the second regarding the possibility that the divided terms become the ending points of the answer. When the
《構成》
本実施の形態の情報処理装置は、一つの装置から構成されてもよいし複数の装置から構成されてもよい。本実施の形態では、本実施の形態の情報処理装置を用いた情報処理方法、情報処理装置を生成するためにインストールされるプログラム(サーバプログラム)や、当該プログラムを記憶したUSB、DVD等からなる記憶媒体も提供される。また、本実施の形態では、ユーザ端末にインストールされるプログラム(ユーザプログラム)や、当該プログラムを記憶したUSB、DVD等からなる記憶媒体も提供される。
"composition"
The information processing device of the present embodiment may be composed of one device or a plurality of devices. The present embodiment includes an information processing method using the information processing device of the present embodiment, a program (server program) installed to generate the information processing device, a USB, a DVD, etc. that stores the program. A storage medium is also provided. Further, in the present embodiment, a program (user program) installed in the user terminal and a storage medium including a USB, a DVD, etc. that stores the program are also provided.
図1に示すように、本実施の形態の情報処理装置は、ユーザが質問を入力するための入力部112と、入力部112から入力された質問に対する回答に関する文章を選択する文章選択部10と、文章選択部10で選択された文章内から回答を抽出する抽出部20と、抽出した回答を出力する出力部70と、を有してもよい。入力部112はユーザが所有するスマートフォン、タブレット、PCの入力端末等であってもよいし、管理者が管理する入力端末であってもよい。出力部70からの出力される情報はユーザが所有するスマートフォン、タブレット、PCの表示画面や管理者が管理する端末の表示画面等からなる表示部111で表示されるようにしてもよい。なお、本実施の形態の文書には文脈(context)が含まれている。
As shown in FIG. 1, the information processing apparatus of the present embodiment includes an
本実施の形態の情報処理装置は、文章選択部10で選択した文章を単語等の用語に分割する用語分割部30と、分割された用語が回答の始点になる可能性に関する第一評価と、分割された用語が回答の終点になる可能性に関する第二評価とを行う評価部40と、を有してもよい。抽出部20は、評価部40による評価結果に基づいて回答を抽出してもよい。より具体的には、回答の始点になる可能性が最も高い用語と、回答の終点になる可能性が最も高い用語と、これらの用語の間にある内容をそのまま抽出し、回答するようにしてもよい。このように既存の文章の内容をそのまま抽出することから、改めて文章を準備する必要が無い点で有益である。用語分割部30によって分割されて得られる用語は最小の構成単位である「トークン」であってもよい。
The information processing device of the present embodiment includes a
評価部40は、用語(トークン)毎に回答の始点になる確率及び回答の終点になる確率を算出して、スコア化してもよい。そして、始点になるスコアの高いトークンを所定数(例えば上位5個、10個等)だけ抽出し、また終点になるスコアの高いトークンを所定数(例えば上位5個、10個等)だけ抽出し、始点が終点よりも前に存在するという条件の下、合計スコアが最も高いものを質問の答えとして抽出部20が抽出してもよい。スコアの高いトークンは記憶部80で記憶され、後で管理者が確認できるようにしてもよい。評価部40は、分割されたトークンに対する始点になるスコア及び終点になるスコアを総当たりで評価してもよい。
The
また合計スコアが閾値以下である場合には、抽出部20による答えの抽出は行われず、出力部70は答えが見当たらない旨出力するようにしてもよい。合計スコアが最も高い答えを出力部70は出力し、ユーザから答えとして適切ではない旨の入力が入力部112を介して行われると、合計スコアが2番目に高い答えを出力部70が出力するようにしてもよい。この処理が繰り返され、すなわち合計スコアが高い答えから順にユーザに提供されるようにしてもよい。
If the total score is equal to or less than the threshold value, the
一例として、図2に示すように、「本場所の初日はいつですか?」という質問が入力部112から入力された場合に、文章選択部10が「「両国国技館」で行われる年3回、15日間の本場所は1月、5月、9月に行われます。各月の第2日曜日が初日で、16日後が千秋楽です。」という文章を選択したときを想定する。この場合、用語分割部30はこの文章を例えば「「」「両国」「国技館」「」」「で」「行われる」「年」「3回」「、」「15日間」「の」「本場所」「は」「1月」「、」「5月」「、」「9月」「に」「行われ」「ます」「。」「各月」「の」「第2」「日曜日」「が」「初日」「で」「、」「16日後」「が」「千秋楽」「です」「。」という用語に分割する。そして評価部40が各用語に関する評価を行い、例えば「各月」「の」「第2」「日曜日」「が」「初日」「で」という用語に対して、評価部40は回答の始点になる可能性に関する第一評価として「0.8」「0.3」「0.6」「0.5」「0.1」「0.4」「0.1」という評価点を与え、回答の終点になる可能性に関する第二評価として「0.3」「0.2」「0.4」「0.8」「0.1」「0.5」「0.3」という評価点を与える(図2参照)。その結果として、「各月の第2日曜日」が質問への回答であることが抽出部20で抽出され、出力部70から出力され、表示部111で表示されることになる(図3参照)。
As an example, as shown in FIG. 2, when the question "When is the first day of this place?" Is input from the
図1に示すように、本実施の形態の情報処理装置は、文章選択部10で選択された文章を複数のパラグラフに分割する文章分割部50を有してもよい(図7参照)。評価部40はパラグラフ内で第一評価及び第二評価を行ってもよい。抽出部20は、各パラグラフにおける評価部40による評価結果を比較して回答を抽出してもよい。より具体的には、抽出部20は各パラグラフにおける評価部40での評価結果が最も優れたものを抽出し、抽出された各回答候補の中で最も評価部40での評価結果が優れた部分(例えば最も評価点が高い始点と終点の間の部分)を回答として抽出してもよい。
As shown in FIG. 1, the information processing apparatus of the present embodiment may have a
文章分割部50は、前処理として、所定文字数(例えば380文字)以下かつ句点で終わるように文章を分割してもよい。
As a preprocessing, the
文章選択部10によって選択される文書は情報処理装置の記憶部80(ローカルエリア)に予め記憶されている文章であってもよいし、文章選択部10がウェブサイトを検索して文章(公開文書)を選択してもよい。文書選択部10は複数の文章を選択してもよく、例えば閾値(例えば10個や50個等)の文章を記憶部80やウェブサイトから選択し、評価部40が選択された複数の文章内で第一評価及び第二評価を行ってもよい。そして、抽出部20は各文章における評価部40による評価結果を比較し、評価結果が優れた部分(例えば最も評価点が高い始点と終点の間の部分)を回答として抽出してもよい。なお、記憶部80で記憶されている文章は会社や自治体等の組織内で管理されている内部文書であってもよい。
The document selected by the
また評価部40での評価結果が閾値以上になるまで文章選択部10によって文書が選択されるようになってもよい。この態様を採用する場合には、信頼性が一定程度認められる回答がユーザに出力されることになる点で有益である。文章選択部10は検索された結果として出力される上位の文章を順に選択するようにしてもよい。評価結果に対する閾値や文書選択部10が選択する文章の数等の様々な情報は管理者端末210からの入力によって変更できるようになってもよい(図1参照)。管理者端末210も入力部211と表示部212を有してもよい。
Further, the document may be selected by the
入力部112からの入力を受け、文章選択部10が、ウェブサイトにおける公開文章、記憶部80で記憶されている内部文章並びに公開文章及び内部文章の両方のいずれを選択するようになってもよい。例えばユーザがユーザ端末110から、公開文章、内部文章、公開文章及び内部文章の両方のいずれを回答選択対象とするかを選択するようにしてもよい。
Upon receiving the input from the
入力部112から複数の質問を一度に入力可能となってもよい(図4参照)。出力部70は各質問に対する回答を表形式で出力するようにしてもよい(図5参照)。図4に示す態様では、予め選択された複数の企業に関し、「住所は?」、「本社は何番出口から行けばいい?」、「社長の名前は?」、「創業は何年?」、「株価は?」、「主な出身者は?」、「30歳での年収は?」という質問が一度に入力されており、図5ではこれらの質問に対する回答が一覧表として出力されている。また、管理者端末210やユーザ端末110からの入力によって、複数の質問に対する回答が一つの文章から抽出されるように選択できるようにしてもよい。この態様によれば、特定の文章だけから適宜回答を抽出できることになる。
It may be possible to input a plurality of questions at once from the input unit 112 (see FIG. 4). The
質問で用いられた言語で回答するようにしてもよい。つまり、入力部112から日本語等の第一言語で入力された場合には、文書選択部10は第一言語が記載された文章を選択し、抽出部20は当該文章の中から第一言語で記載された回答を抽出し、出力部70が抽出された結果を出力するようにしてもよい。また、入力部112からの指示にしたがって回答される言語が選択されてもよい。つまり、入力部112から日本語等の第一言語で入力された場合であっても、英語等の第二言語での回答を行うよう入力された場合には、文書選択部10は第二言語が記載された文章を選択し、抽出部20は当該文章の中から第二言語で記載された回答を抽出し、出力部70が抽出された結果を出力するようにしてもよい。
You may try to answer in the language used in the question. That is, when input is made from the
複数の情報ソースに複数の質問を一度に質問を行い、回答を自動で収集する情報収集部60が設けられてもよい(図1参照)。図4に示す態様では、情報収集部60によって予め複数の企業が選択され、情報収集部60によって「住所は?」「本社は何番出口から行けばいい?」「社長の名前は?」「創業は何年?」「株価は?」「主な出身者は?」「30歳での年収は?」という質問が行われ、文章選択部10、用語分割部30、評価部40及び抽出部20での処理が行われ、出力部70から回答が情報収集部60に対して行われる態様となっている。このようにして収集された回答は記憶部80で記憶され、ユーザからの要求に応じて出力部70から出力され、表示部111で表示されるようにしてもよい(図5参照)。情報収集部60を採用した場合には、自動で回答を取得することができ、当該回答を用いて、マニュアル・規則等に対する問い合わせに対するチャットボットで利用することもできる。
An
文章選択部10の一機能又は全機能を実現するためにRPA(Robotic Process Automation)が用いられてもよい。例えばウェブサイトでの文章の検索や内部文章の検索にRPAが用いられてもよい。
RPA (Robotic Process Automation) may be used to realize one function or all the functions of the
用語分割部30及び評価部40の各々は、人工知能機能を有しており、機械学習を行ってもよい。機械学習技術として、様々なモデルを採用することができ、例えばディープニューラルネットワークモデルを採用してもよく、その一例としてBERT(Bidirectional Encoder Representations from Transformers)を採用してもよい。
Each of the
用語分割部30及び評価部40の各々の学習のために、Wikipedia(登録商標)を含む500以上の記事、10万ペア以上の質問回答ペア(300万単語のテキストデータ)を用いてもよい。例えば図8に示すように、ソーステキスト、質問(Question)及び回答(Answer)を用いて用語分割部30及び評価部40の各々が機械学習を行ってもよい。なお、文章選択部10及び/又は文章分割部50も人工知能機能を有してもよく、この場合にも機械学習技術として様々なモデルを採用することができる。学習済み言語モデルを使用する場合には、回答が含まれる文章があれば、データ整形やラベル付、質問に対する回答を学習することは不要になる。
For each learning of the
学習の際に利用する質問回答については、文脈(Context)、質問(question)、回答(answer)、回答インデックス(answer_index)の組(ペア)を用いてもよい(図9参照)。回答は文脈内から切り出される文字列であってもよい。回答インデックスは文脈内の回答の位置を示している。1種の文脈に対して、複数の質問を持ってもよい。 For the question and answer used in learning, a pair of a context (Context), a question (question), an answer (answer), and an answer index (answer_index) may be used (see FIG. 9). The answer may be a string cut out of context. The answer index shows the position of the answer in the context. You may have multiple questions for one context.
なお、評価部40は選択した文章内に回答がない質問については文章の最初の用語(トークン)が始点・終点の確率が共に高いものとして学習してもよい。この場合において、文章の最初の用語(トークン)が最も始点スコア及び終点スコアが高いときには、抽出部20による答えの抽出は行われず、出力部70は答えが見当たらない旨出力するようにしてもよい。
The
用語分割部30は、前処理として、ニューラル言語処理向けのトークナイザ・脱トークナイザであるSentencePieceによる分かち書きを行ってもよい。低頻度の語(固有名詞等)は文字単位まで細かく分割し、高頻度語(例えば「によって」、「された」等)は機能単位でまとめてトークン化してもよい。
As pre-processing, the
前処理として、HTMLタグの除去等のクレンジングを行うクレンジング部90が設けられてもよい。
As a preprocessing, a
文章選択部10、抽出部20、用語分割部30、評価部40、文章分割部50、情報収集部60、出力部70、クレンジング部90等は一つのユニット(制御ユニット)によって実現されてもよいし、異なるユニットによって実現されてもよい。複数の「部」による機能が統合されてもよく、例えば抽出部20及び評価部40の機能が一つのユニットによって実現されてもよい。また、章選択部10、抽出部20、用語分割部30、評価部40、文章分割部50、情報収集部60、出力部70、クレンジング部90等は回路構成によって実現されてもよい。
The
本実施の形態による処理態様の一例について図6を用いて説明する。 An example of the processing mode according to the present embodiment will be described with reference to FIG.
検索ワード及び/又は質問リストがユーザから入力部112を介して入力される。
A search word and / or a question list is input by the user via the
入力された検索ワード及び/又は質問リストを用いて、ウェブサイト(Webサイト)及び/又は所属する組織が管理しているファイルシステム内の情報から文章選択部10が文章を選択する。質問リストが用いられた場合には、質問リストから検索ワードが抽出されて、検索が行われる。文章の選択は、RPAがクローリングを行うことで実現されてもよい(この場合、RPAが文章選択部10の一部を構成することになる。)。文章は、パワーポイント(登録商標)、ワード、PDF、html、txt等の様々な形式で取得される。クローリングとは、ウェブサイト上やファイルシステム内の文書等を周期的に取得し、自動的にデータベース化することであり、このようなクローリングを行うプログラムのことをクローラという。
Using the entered search word and / or question list, the
クローリングすることで得られた検索結果ファイル及び検索結果ファイル情報と、ユーザから入力された質問リストに対する前処理が行われる。前処理としては、HTMLやPDFからテキストデータを抽出するテキスト抽出、タグを除去したりするクレンジング、パラグラフ分割等を挙げることができる。 The search result file and the search result file information obtained by crawling and the question list input by the user are preprocessed. Examples of the preprocessing include text extraction for extracting text data from HTML and PDF, cleansing for removing tags, paragraph division, and the like.
前処理が行われた収集された文章(Context)と質問を用いて文章の一部を抽出する抽出読解処理が行われる。この際、トークン分割が行われ、回答文字列の抽出が行われる。このようなトークン分割及び回答文字列の抽出は事前に学習した学習済モデルが用いられる。各質問に対して検索結果ファイルの各々に対してトークン分割及び回答文字列の抽出が行われる。各質問に対しては最も可能性の高い回答が出力されるように選択されてもよい。 Extraction reading comprehension processing is performed to extract a part of the sentence using the collected sentence (Context) that has been preprocessed and the question. At this time, token division is performed and the answer character string is extracted. A pre-learned trained model is used for such token division and extraction of answer character strings. For each question, token division and answer character string extraction are performed for each of the search result files. You may choose to output the most probable answer to each question.
全ての検索結果ファイルに対して全ての質問に対する回答抽出が行われると、検索結果ファイル情報、質問リスト及び回答リストを用いて後処理が行われる。後処理としては、回答となる文面の文末の助詞や句点を削除するといった回答クレンジング、一覧表生成、結果画面生成等が行われる。回答クレンジングはクレンジング部90で行われ、一覧表生成及び結果画面生成は出力部70で行われてもよい。なお、選択された文章に関し、閾値以上の回答が得られない場合には、新たな文章が選択されるようにしてもよい。
When the answers to all the questions are extracted for all the search result files, the post-processing is performed using the search result file information, the question list and the answer list. As post-processing, answer cleansing such as deleting particles and punctuation marks at the end of the text to be the answer, list generation, result screen generation, etc. are performed. The answer cleansing may be performed by the cleansing
後処理後のデータは出力部70によって出力される。この際、一覧表がExcelやcsvで出力されてもよいし、表示部111を介してユーザに提示されてもよい。
The post-processed data is output by the
《効果》
次に、上述した構成からなる本実施の形態による効果であって、未だ説明していないものを中心に説明する。
"effect"
Next, the effects of the present embodiment having the above-described configuration, which have not been described yet, will be mainly described.
本実施の形態において、入力部112から入力された質問に対する回答に関する文章を選択し、選択された文章内から回答を抽出する態様を採用する場合には、少ない事前準備で適切な回答を返すことができる。既存のチャットボットでは、回答として予め用意された固定の文字列が記憶部で記憶し、事前に用意した質問集の中で、回答(クエリ)に一番近いものを選択し、その回答を固定的に提示する態様となっている。このため、事前に多くの質問回答ペア、応答シナリオ等を作成する必要があり、かつ継続的なメンテナンスが必要となる。
In the present embodiment, when a sentence relating to an answer to a question input from the
他方、本態様によれば、回答の始点スコアや終点スコアを算出するための学習を行うだけでよく、初見の文章を読み解くため、事前に読解対象の大量文章を読み込ませる予習は不要となる。また、大量の質問回答ペアや応答シナリオ等のルール作成やメンテナンスも不要となる。また、文字列として抽出するので、未知語にも対応可能となる。さらに、本ユーザが質問を(検索ワードとは異なり)自然文で入力したとしても、当該質問から回答を抽出するので、情報探索スキルやノウハウも特に必要なく、ユーザの求めている回答を得ることができる。 On the other hand, according to this aspect, it is only necessary to perform learning for calculating the start point score and the end point score of the answer, and since the first sentence is read, it is not necessary to prepare for reading a large amount of sentences to be read in advance. In addition, it is not necessary to create rules and maintain a large number of question-and-answer pairs and response scenarios. Moreover, since it is extracted as a character string, it is possible to deal with unknown words. Furthermore, even if the user inputs the question in a natural sentence (unlike the search word), the answer is extracted from the question, so no information search skill or know-how is required, and the answer requested by the user can be obtained. Can be done.
本実施の形態のように、文章を用語に分割し、評価部40が分割された用語が回答の始点になる可能性に関する第一評価と、分割された用語が回答の終点になる可能性に関する第二評価とを行うことで、抽出部20が回答を抽出する態様を採用した場合には、回答の始点と回答の終点という2つの点に着目して回答を抽出することから、簡易な構成で正確な回答を抽出できる。
As in the present embodiment, the sentence is divided into terms, and the
文章を複数のパラグラフに分割し、評価部40がパラグラフ内で第一評価及び第二評価を行い、各パラグラフにおける評価部40による評価結果を比較して抽出部20が回答を抽出する態様を採用した場合には(図7参照)、複数のパラグラフ毎に処理することができる点で処理を簡易・迅速に行うことができる。
The sentence is divided into a plurality of paragraphs, the
文章選択部10が複数の文章を選択し、評価部40が選択された複数の文章内で第一評価及び第二評価を行い、抽出部20が各文章における評価部40による評価結果を比較して回答を抽出する態様を採用した場合には(図6参照)、複数の文書を用いて回答を抽出することから、より高い精度の回答を提供することを期待できる。
The
入力部112からの入力を受け、文章選択部10が、ウェブサイトにおける公開文章、記憶部80で記憶されている内部文章並びに公開文章及び内部文章の両方のいずれを選択する態様を採用する場合には、ユーザの選択に従って回答源を選択することができる。なお、文書選択部10において、組織内の内部情報とウェブサイトの公開情報の両方を選択する場合には、公開されている情報と非公開の情報の両方を用いて回答を得ることができ、ユーザがアクセス可能な情報において最も精度の高い回答を得ることを期待できる。
When the
複数の質問を一度に入力可能となり、出力部70が各質問に対する回答を表形式で出力する態様を採用した場合には(図4及び図5参照)、ユーザは複数の質問に対する回答を一度に表形式で受け取ることができ、一気に多くの情報を得ることができるようになる。なお、複数の質問を一度に入力した場合でも回答は表形式で行われなくてもよく、例えば質問に対する回答が表示部111で順次表示されるようにしてもよい。
When a plurality of questions can be input at once and the
本実施の形態の情報処理装置は、複数の質問を行って回答を得ることで、自動車等の製品情報を取得するために用いられてもよいし、要約文やまとめの文章を作成するために利用されてもよい。 The information processing device of the present embodiment may be used to acquire product information of an automobile or the like by asking a plurality of questions and obtaining answers, or to create a summary sentence or a summary sentence. It may be used.
上述した実施の形態の記載及び図面の開示は、特許請求の範囲に記載された発明を説明するための一例に過ぎず、上述した実施の形態の記載又は図面の開示によって特許請求の範囲に記載された発明が限定されることはない。また、出願当初の特許請求の範囲の記載は出願時での権利要求範囲に過ぎず、適宜変更できる点では留意が必要である。 The description of the embodiment and the disclosure of the drawings described above are merely examples for explaining the invention described in the claims, and are described in the claims by the description of the above-described embodiments or disclosure of the drawings. The inventions made are not limited. In addition, it should be noted that the description of the scope of claims at the time of filing is only the scope of claims at the time of filing and can be changed as appropriate.
10 文章選択部
20 抽出部
30 用語分割部
40 評価部
50 文章分割部
60 情報収集部
70 出力部
80 記憶部
112 入力部
10
Claims (8)
前記文章選択部で選択された文章を複数の用語に分割する用語分割部と、
分割された用語が回答の始点になる可能性に関する第一評価と、分割された用語が回答の終点になる可能性に関する第二評価とを行う評価部と、
文章選択部で選択された文章内から、前記評価部による評価結果に基づいて、回答の始点になる可能性が最も高い用語と、回答の終点になる可能性が最も高い用語と、これらの用語の間にある用語とからなり、用語分割部で分割された複数の用語を含む文章の内容を回答としてそのまま抽出する抽出部と、
前記抽出部で抽出された回答を出力する出力部と、
を備え、
前記評価部は、質問に対する、文章から抽出される回答の始点及び終点を機械学習することで生成されたモデルを用いて前記第一評価及び前記第二評価を行い、
前記評価部は、前記第一評価及び前記第二評価としてスコアをつけ、
前記抽出部は、始点になるスコアの高い用語を所定数だけ抽出し、また終点になるスコアの高い用語を所定数だけ抽出し、始点が終点よりも前に存在するという条件の下、始点になるスコアと終点になるスコアの合計スコアが最も高い文章の内容を回答として抽出する情報処理装置。 A sentence selection section that selects sentences related to answers to questions entered from the input section from sentences stored on the website or memory section, and
A term division unit that divides the sentence selected by the sentence selection unit into a plurality of terms, and a term division unit.
An evaluation unit that performs a first evaluation on the possibility that the divided term will be the starting point of the answer and a second evaluation on the possibility that the divided term will be the ending point of the answer.
From the sentences selected by the sentence selection section, the terms most likely to be the starting point of the answer and the terms most likely to be the ending point of the answer based on the evaluation result by the evaluation section, and these terms an extraction unit as to extract the contents of the text as a reply consists of a term, including a plurality of terms which are divided by the term dividing unit located between the,
An output unit that outputs the answers extracted by the extraction unit, and
With
The evaluation unit, to the question, have rows the first evaluation and the second evaluation using the generated model by machine learning the start and end points of the answer to be extracted from the text,
The evaluation unit assigns scores as the first evaluation and the second evaluation.
The extraction unit extracts a predetermined number of high-scoring terms that serve as the starting point, extracts a predetermined number of high-scoring terms that serve as the ending point, and sets the starting point as the starting point under the condition that the starting point exists before the ending point. An information processing device that extracts the content of the sentence with the highest total score of the score that becomes and the score that becomes the end point as an answer.
前記評価部は前記パラグラフ内で第一評価及び第二評価を行い、
前記抽出部は、各パラグラフにおける前記評価部による評価結果を比較して回答を抽出する請求項1に記載の情報処理装置。 It is provided with a sentence division section that divides the sentence selected by the sentence selection section into a plurality of paragraphs.
The evaluation unit performs the first evaluation and the second evaluation in the paragraph, and performs the first evaluation and the second evaluation.
The information processing device according to claim 1, wherein the extraction unit compares the evaluation results of the evaluation unit in each paragraph and extracts an answer.
前記評価部は選択された複数の文章内で第一評価及び第二評価を行い、
前記抽出部は、各文章における前記評価部による評価結果を比較して回答を抽出する請求項1又は2のいずれかに記載の情報処理装置。 The sentence selection section selects a plurality of sentences and
The evaluation unit performs the first evaluation and the second evaluation in a plurality of selected sentences, and performs the first evaluation and the second evaluation.
The information processing device according to claim 1 or 2, wherein the extraction unit compares the evaluation results of the evaluation units in each sentence and extracts an answer.
前記出力部は各質問に対する回答を表形式で出力する請求項1乃至4のいずれか1項に記載の情報処理装置。 You can enter multiple questions at once,
The information processing device according to any one of claims 1 to 4, wherein the output unit outputs answers to each question in a table format.
用語分割部によって前記文章選択部で選択された文章を用語に分割する工程と、
評価部によって、分割された用語が回答の始点になる可能性に関する第一評価と、分割された用語が回答の終点になる可能性に関する第二評価とを行う工程と、
文章選択部で選択された文章内から、前記評価部による評価結果に基づいて、回答の始点になる可能性が最も高い用語と、回答の終点になる可能性が最も高い用語と、これらの用語の間にある用語とからなり、用語分割部で分割された複数の用語を含む文章の内容を回答として抽出部がそのまま抽出する工程と、
前記抽出部で抽出された回答を出力する出力部と、
を備え、
前記評価部は、質問に対する、文章から抽出される回答の始点及び終点を機械学習することで生成されたモデルを用いて前記第一評価及び前記第二評価を行い、
前記評価部は、前記第一評価及び前記第二評価としてスコアをつけ、
前記抽出部は、始点になるスコアの高い用語を所定数だけ抽出し、また終点になるスコアの高い用語を所定数だけ抽出し、始点が終点よりも前に存在するという条件の下、始点になるスコアと終点になるスコアの合計スコアが最も高い文章の内容を回答として抽出する情報処理方法。 The process in which the sentence selection section selects sentences related to the answers to the questions entered from the input section from the sentences stored in the website or the memory section, and
The process of dividing a sentence selected by the sentence selection unit into terms by the term division unit, and
The process of performing a first evaluation on the possibility that the divided term will be the starting point of the answer and a second evaluation on the possibility that the divided term will be the ending point of the answer by the evaluation department.
From the sentences selected by the sentence selection section, the terms most likely to be the starting point of the answer and the terms most likely to be the ending point of the answer based on the evaluation result by the evaluation section, and these terms The process of extracting the contents of a sentence containing multiple terms divided by the term division section as an answer as it is, and the process of extracting the terms as they are.
An output unit that outputs the answers extracted by the extraction unit, and
With
The evaluation unit, to the question, have rows the first evaluation and the second evaluation using the generated model by machine learning the start and end points of the answer to be extracted from the text,
The evaluation unit assigns scores as the first evaluation and the second evaluation.
The extraction unit extracts a predetermined number of high-scoring terms that serve as the starting point, extracts a predetermined number of high-scoring terms that serve as the ending point, and sets the starting point as the starting point under the condition that the starting point exists before the ending point. An information processing method that extracts the content of the sentence with the highest total score of the score that becomes and the score that becomes the end point as an answer.
入力部から入力された質問に対する回答に関する文章をウェブサイト又は記憶部で記憶されている文章から選択する文章選択機能と、
前記文章選択機能で選択された文章を用語に分割する用語分割機能と、
分割された用語が回答の始点になる可能性に関する第一評価と、分割された用語が回答の終点になる可能性に関する第二評価とを行う評価機能と、
文章選択機能で選択された文章内から、前記評価機能による評価結果に基づいて、回答の始点になる可能性が最も高い用語と、回答の終点になる可能性が最も高い用語と、これらの用語の間にある用語とからなり、用語分割部で分割された複数の用語を含む文章の内容を回答としてそのまま抽出する抽出機能と、
前記抽出機能で抽出された回答を出力する出力機能と、
を実現させ、
前記評価機能では、質問に対する、文章から抽出される回答の始点及び終点を機械学習することで生成されたモデルを用いて前記第一評価及び前記第二評価が行われ、
前記評価機能は、前記第一評価及び前記第二評価としてスコアをつけ、
前記抽出機能は、始点になるスコアの高い用語を所定数だけ抽出し、また終点になるスコアの高い用語を所定数だけ抽出し、始点が終点よりも前に存在するという条件の下、始点になるスコアと終点になるスコアの合計スコアが最も高い文章の内容を回答として抽出するプログラム。
For information processing equipment
A sentence selection function that selects sentences related to answers to questions entered from the input section from sentences stored on the website or memory section, and
A term division function that divides the sentence selected by the sentence selection function into terms, and a term division function.
An evaluation function that makes a first evaluation regarding the possibility that the divided term will be the starting point of the answer and a second evaluation regarding the possibility that the divided term will be the ending point of the answer.
From the sentences selected by the sentence selection function , the terms that are most likely to be the starting point of the answer and the terms that are most likely to be the ending point of the answer based on the evaluation result by the evaluation function, and these terms An extraction function that extracts the content of a sentence containing multiple terms divided by the term division part as an answer as it is, consisting of terms between
An output function that outputs the answers extracted by the extraction function, and
Realized,
In the evaluation function, the first evaluation and the second evaluation are performed using a model generated by machine learning the start point and the end point of the answer extracted from the sentence for the question .
The evaluation function scores as the first evaluation and the second evaluation.
The extraction function extracts a predetermined number of high-scoring terms that serve as the starting point, extracts a predetermined number of high-scoring terms that serve as the ending point, and sets the starting point as the starting point under the condition that the starting point exists before the ending point. A program that extracts the content of the sentence with the highest total score of the score that becomes and the score that becomes the end point as an answer.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019139791A JP6942759B2 (en) | 2019-07-30 | 2019-07-30 | Information processing equipment, programs and information processing methods |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019139791A JP6942759B2 (en) | 2019-07-30 | 2019-07-30 | Information processing equipment, programs and information processing methods |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021022292A JP2021022292A (en) | 2021-02-18 |
JP6942759B2 true JP6942759B2 (en) | 2021-09-29 |
Family
ID=74573333
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019139791A Active JP6942759B2 (en) | 2019-07-30 | 2019-07-30 | Information processing equipment, programs and information processing methods |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6942759B2 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2023014490A (en) * | 2021-07-19 | 2023-01-31 | 株式会社リコー | Information processing device, information processing system, information processing method, and program |
CN113836905B (en) * | 2021-09-24 | 2023-08-08 | 网易(杭州)网络有限公司 | Theme extraction method, device, terminal and storage medium |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4654780B2 (en) * | 2005-06-10 | 2011-03-23 | 富士ゼロックス株式会社 | Question answering system, data retrieval method, and computer program |
JP2019220142A (en) * | 2018-06-18 | 2019-12-26 | 日本電信電話株式会社 | Answer learning device, answer learning method, answer generating device, answer generating method, and program |
-
2019
- 2019-07-30 JP JP2019139791A patent/JP6942759B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2021022292A (en) | 2021-02-18 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101968102B1 (en) | Non-factoid question answering system and computer program | |
Gomaa et al. | Short answer grading using string similarity and corpus-based similarity | |
CN102262634B (en) | Automatic questioning and answering method and system | |
JP5043892B2 (en) | Automatic evaluation of excessive repeated word usage in essays | |
Furlan et al. | Semantic similarity of short texts in languages with a deficient natural language processing support | |
KR20160026892A (en) | Non-factoid question-and-answer system and method | |
CN110443571A (en) | The method, device and equipment of knowledge based map progress resume assessment | |
US10191975B1 (en) | Features for automatic classification of narrative point of view and diegesis | |
Rupp et al. | Dealing with heterogeneous big data when geoparsing historical corpora | |
JP6942759B2 (en) | Information processing equipment, programs and information processing methods | |
Dumal et al. | Adaptive and automated online assessment evaluation system | |
Khader et al. | Textual entailment for Arabic language based on lexical and semantic matching | |
Nicoll et al. | Giving feedback on feedback: An assessment of grader feedback construction on student performance | |
Alshammari et al. | TAQS: an Arabic question similarity system using transfer learning of BERT with BILSTM | |
CN114722174A (en) | Word extraction method and device, electronic equipment and storage medium | |
Zhu et al. | Twitter Sentiment analysis of covid vaccines | |
Curtotti et al. | A right to access implies a right to know: An open online platform for research on the readability of law | |
Bautista et al. | Can Numerical Expressions Be Simpler? Implementation and Demostration of a Numerical Simplification System for Spanish. | |
CN113901793A (en) | Event extraction method and device combining RPA and AI | |
Pham et al. | Efficient knowledge acquisition for extracting temporal relations | |
Contractor et al. | Text retrieval using sms queries: Datasets and overview of fire 2011 track on sms-based faq retrieval | |
Bhaduri et al. | Demonstrating use of Natural Language Processing to compare college of engineering mission statements | |
Kuyoro et al. | Intelligent Essay Grading System using Hybrid Text Processing Techniques | |
Suta et al. | Matching question and answer using similarity: an experiment with stack overflow | |
JP3910823B2 (en) | Questionnaire analysis apparatus, questionnaire analysis method and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190730 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200915 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20201106 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20210105 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20210817 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20210908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6942759 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |