JP6695835B2 - 機械学習を利用したfaq登録支援方法、及びコンピュータシステム - Google Patents

機械学習を利用したfaq登録支援方法、及びコンピュータシステム Download PDF

Info

Publication number
JP6695835B2
JP6695835B2 JP2017158073A JP2017158073A JP6695835B2 JP 6695835 B2 JP6695835 B2 JP 6695835B2 JP 2017158073 A JP2017158073 A JP 2017158073A JP 2017158073 A JP2017158073 A JP 2017158073A JP 6695835 B2 JP6695835 B2 JP 6695835B2
Authority
JP
Japan
Prior art keywords
data
registration
computer system
faq
clustering
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017158073A
Other languages
English (en)
Other versions
JP2019036210A (ja
Inventor
明信 船山
明信 船山
大典 長本
大典 長本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Mitsui Banking Corp
Original Assignee
Sumitomo Mitsui Banking Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Mitsui Banking Corp filed Critical Sumitomo Mitsui Banking Corp
Priority to JP2017158073A priority Critical patent/JP6695835B2/ja
Publication of JP2019036210A publication Critical patent/JP2019036210A/ja
Application granted granted Critical
Publication of JP6695835B2 publication Critical patent/JP6695835B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、機械学習を利用したFAQ(frequently asked questions)の新たな登録の可否を支援するFAQ登録支援方法、FAQからの自動学習方法、及びコンピュータシステムに関する。
チャットボットとは、メッセンジャーやチャットを元にしたインタフェースを活用して、人間との対話をシミュレーションする目的で設計されたコンピュータプログラムである。近年はチャットボットを導入する企業が増加し、顧客からの問い合わせに対する自動回答などに用いられている。チャットボットによる自動回答は、顧客からの問い合わせ内容と登録されているFAQを比較し、問合せ内容に近いFAQを自動で判定してFAQを元に回答を生成するなどの方法で実現される。
ここで以下の特許文献1においては、デジタルストーリーを提供するサービスにおいてチャットボットを用いてユーザへの質問を生成するシステムが開示されている。このユーザへの質問内容は、ユーザが選択したデジタルストーリーの内容が反映されている。
また以下の特許文献2においては、顧客からの問い合わせ内容及びオペレータの回答(対応)内容に基づいてFAQを生成するためのFAQ作成支援システムが開示されている。
特開2010−79574号公報 特開2013−50896号公報
しかし特許文献1に記載のシステムでは、デジタルストーリーの原文やユーザからの質問の語尾などに着目した所定のルールに基づいて、チャットボット上でユーザへの質問や相槌を生成しているにすぎない。したがって、同じ1つの原文に対してチャットボット上での質問項目や相槌などの内容や数は一定であり変化が生じないと考えられる。
また特許文献2に記載のFAQ支援システムでは、数多い問合せ内容及び回答内容から構文解析に基づいて各代表文を抽出することによりFAQを作成している。しかし、新しいFAQを自動作成して既存のFAQに追加すべきかを判定する手段は開示されていない。
本発明は上記実情に鑑みて提案されたもので、ユーザからの質問項目が増加することが予期されるFAQなどにおいて、新たなFAQを既存のFAQに追加すべきかを自動的に判定することのできる方法、及びコンピュータシステムを提供することを目的とする。
上記目的を達成するために、本願の一実施形態に係る方法は、ネットワークに接続された端末からの質問項目に自動応答するコンピュータシステムで実行される方法であって、コンピュータシステムは、文書データおよび登録データを格納するストレージを備え、方法は、文書データからストレージへの登録候補データを抽出するステップと、登録候補データを、登録データのいずれかに分類及びスコアリングを行うステップと、スコアリングの結果を表示するステップとを含むことを特徴とする。
本願の一実施形態に係るコンピュータシステムは、ネットワークに接続された端末からの質問項目に自動応答するコンピュータシステムであって、コンピュータシステムは、文書データおよび登録データを格納するストレージを備え、文書データからストレージへの登録候補データを抽出し、登録候補データを、登録データのいずれかに分類及びスコアリングを行い、スコアリングの結果を表示するように構成されたプロセッサを備えたことを特徴とする。
本発明によれば、質問項目が追加されることが予期されるFAQなどにおいて、新しいFAQを既存のFAQに追加するか否かを判定するための支援を自動的に行うことができる。したがって、本発明ではユーザからの問い合わせの件数が多い場合などにおいてFAQを新たに追加するかを判断するためにデータを1件ずつ確認する煩雑さを省くことができ、効率的である。さらに、本発明ではユーザからの問い合わせの見落としなどを防ぎ、追加すべきFAQを正確に抽出することができる。また、FAQの正答率の改善を利用開始前から図ることができる。
本発明の一実施形態に係るコンピュータシステム10の構成図である。 本発明の一実施形態に係るコンピュータシステム10の構成を示すブロック図である。 新FAQデータベース19を使用してFAQを自動作成することに本発明の一実施形態に係るコンピュータシステム10を用いた場合における、制御部の取得部13を説明するためのフローチャートである。 新FAQデータベース19を使用してFAQを自動作成することに本発明の一実施形態に係るコンピュータシステム10を用いた場合における、制御部のスコアリング部14を説明するためのフローチャートである。 新FAQデータベース19を使用してFAQを自動作成することに本発明の一実施形態に係るコンピュータシステム10を用いた場合における、制御部の表示検証部15を説明するためのフローチャートである。 本発明の一実施形態に係る新FAQデータベース19の一例を示す図である。 本発明の一実施形態に係る既存FAQデータベース19の一例を示す図である。 本発明の一実施形態に係る重み付けファイルの一例を示す図である。 本発明の一実施形態に係る結果一覧ファイルの一例を示す図である。 マニュアルデータからFAQを自動作成することに本発明の一実施形態に係るコンピュータシステム10を用いた場合における、制御部の取得部13を説明するためのフローチャートである。 マニュアルデータからFAQを自動作成することに本発明の実施形態に係るコンピュータシステム10を用いた場合における、制御部のスコアリング部14を説明するためのフローチャートである。 本発明の一実施形態に係る重要文ファイルの一例を示す図である。 マニュアルデータからFAQを自動作成する場合における結果一覧ファイルの一例を示す図である。 本発明の一実施形態に係る辞書データの一例を示す図である。 本発明の一実施形態に係るコンピュータシステム10のシステム構成を示す図である。
以下、本発明に係る実施形態を図面とともに説明する。
まず、図1を参照して、本願の一実施形態におけるコンピュータシステム10について説明する。通常、ヘルプデスクでは、ユーザによる問い合わせに対してオペレータが回答を行っている。本願の一実施形態におけるコンピュータシステム10は、オペレータの代わりにチャットボットを用いてユーザに自動回答を行うことができる環境で使用される。したがって、本願の一実施形態におけるコンピュータシステム10は例として、ヘルプデスクを有する金融機関などサービス事業者や各種メーカーなど、あらゆる企業に設置されている。ここで本願の一実施形態におけるコンピュータシステム10は単独で実装されてもよいし、従来から存在するシステムにおけるサーバもしくはホストコンピュータに実装されてもよい。
本願の一実施形態におけるコンピュータシステム10は、ネットワーク30を介して端末20a〜20cに接続される。ネットワーク30は、インターネットであっても、LAN(Local Area Network)やWAN(WideArea Network)であってもよい。
なお、以下において各端末20a〜20cを特に区別して記載する必要がない場合には、端末20と記載する。また、図1において、説明を簡単にするために端末20を3台だけ示しているが、これ以上存在しても良いことは言うまでもない。
ここで端末20は、例えば企業で働く者、すなわち社員といったユーザが通常業務のために用いる端末を表す。ほかに、端末20は、例えば操作方法を確認したい一般消費者といったユーザが問い合わせのために用いる端末を表す。この端末20は、チャットボットを使用できる環境にあることを要する。
端末20は、キーボードやタッチパネルなどのヒューマンインターフェースを持つものである。具体的には、デスクトップ型のパーソナル・コンピュータやノート型のパーソナル・コンピュータ、スマートフォン、タブレット型のようなモバイル型の情報処理端末などがあげられる。
次に図2を用いて、本願の一実施形態におけるコンピュータシステム10の構成について説明する。ここでは図3乃至図14の図面を参照して説明する。図2に示すように、コンピュータシステム10は、送受信部11と、制御部12と、記憶部16とを備えており、記憶部16は、文書データベース17、除外単語データベース18、新FAQデータベース19、既存FAQデータベース21及び特定データベース22を備えている。
まず、コンピュータシステム10の記憶部16について説明する。
コンピュータシステム10の記憶部16は、端末20から送信された情報や各種データを記憶する機能を有する。記憶部16は、例えば、ハードディスクドライブ、SSD、フラッシュメモリなど各種の記憶媒体により実現される。
次に記憶部16に格納されている文書データベース17、除外単語データベース18、新FAQデータベース19、既存FAQデータベース21及び特定データベース22について説明する。
文書データベース17は、マニュアルなどからFAQを自動作成する場合に用いられ、当該マニュアルなどからなる文書データを格納している。マニュアルの具体例としては、例えば「Excelでの関数の使用法」などが挙げられる。
除外単語データベース18は、後述するクラスタリングに用いない単語を格納している。格納されている単語の具体例は、「こんにちは」などの挨拶文、「は」、「に」、「です」などの助詞や助動詞である。
新FAQデータベース19は、例えばヘルプデスクのオペレーターにユーザから新たに寄せられた質問とその回答から成る新たな照会履歴に基づいて作成されている。図6に示すように、新たな照会履歴データからなる登録候補データが新FAQデータベース19に格納されている。登録候補データの中から後述する既存FAQデータベース21に登録されるFAQが選択される。新FAQデータベース19には、寄せられた質問が全て格納されている。したがって、「Excelで作成済グラフの種類を変更するには」および「Excelで作成済グラフの種類を変更したい」といった類似した質問が複数件存在する場合がある。
既存FAQデータベース21には、図7に示すように、既存の照会履歴からなる登録データが格納されている。この既存の照会履歴は、ユーザからの過去の質問とその回答とから成る。ただし、既存FAQデータベース21は、新FAQデータベース19と異なり、類似した質問が複数ある場合、類似する質問群の中からの「代表的な質問」1件のみを格納する。そのため、既存FAQデータベース21に格納される質問は互いに類似していない。
特定データベース22は、ドキュメントからFAQを自動作成する場合に、FAQを作成する手がかりとなるとされる「は以下手順です」、「の場合はこうしてください」などの文字列が格納されている。当該文字列がドキュメントの文章中に存在した場合はその文章が抽出され、登録候補データとなる。
ここで、コンピュータシステム10の制御部12の詳細な構成について説明する。
制御部12は、取得部13と、スコアリング部14と、表示検証部15とから構成される。
次に制御部12を構成する各部13乃至15の処理について説明する。なお、制御部12を構成する各部13乃至15の処理は全てプロセッサにより実施される。
まず、本発明の実施形態に関わるコンピュータシステム10を、新FAQデータベース19を使用してFAQを自動作成することに用いた場合を前提として説明する。
図3は制御部12の取得部13の処理を記載したものであり、ここでは図6を参照しながら以下に説明する。
まず、取得部13が新FAQデータベース19に格納されている登録候補データを読み込む(ステップS101)。さらに、除外単語データベース18に格納されている除外単語を参照することにより、取得部13は以下で述べるクラスタリングに必要な単語のみを抽出する。
例えば、図6の新FAQデータベース19の登録候補データにおいて、「Excelで作成済グラフの種類を変更するには」という「質問」項目では、除外単語データベース18に含まれている単語が「質問」項目から除去される。そして、「Excel」、「作成済」、「グラフ」、「種類」、「変更」といった単語が質問文から抽出される。
取得部13は、ステップS101で抽出された単語の類似性などに基づいて「質問」項目のクラスタリングを行い、類似する「質問」ごとにグループ分けをする(ステップS102)。ここで、クラスタリングの手法は特に限定されない。
例えば、図6のFAQデータにおいては「Excelで作成済グラフの種類を変更するには」という質問と「Excelで作成済のグラフの種類を変更したい」という質問は類似であるため、同じグループに属すると取得部13によって判断される。
また、「グループ」とは、例として「Excelでグラフの種類を変更する方法」といった質問の内容を分類するためのカテゴリを表す。さらに、当該2つの質問は取得部13によって同じグループ番号「1」が付与される。
次に取得部13は、同じグループ番号が付与されたそれぞれの質問において、クラスタリングによる重み付けを行う(ステップS103)。重み付けがされた各質問項目は図8の「重み付けファイル」としてファイルに出力される。
図8に示されるように、重み付けファイルはグループ番号と、重み付けの値と、質問内容によって構成される。ここで、同じグループ番号を付された質問において重み付けの値が1に近くなるほどそのグループへの分類が確からしいものといえる。
例えば、図8において、グループ番号1の「Excelで作成済のグラフの種類を変更するには」という質問の重み付けの値が0.98であり、「Excelで作成済のグラフの種類を変更したい」という質問の重み付けの値は0.55である。これは、「Excelでグラフの種類を変更する方法」という同じカテゴリに属する質問の中で「Excelで作成済のグラフの種類を変更するには」という質問の方が、グループへの分類が確からしいものといえる。
図4は、制御部12のスコアリング部14の処理を記載したものである。ここでは、図9を参照しながら以下に説明する。
コンピュータシステム10は、機械学習アルゴリズムにより既存FAQデータベース21の登録データに対して学習を行い、ユーザからの質問を既存FAQデータベース21の登録データの1つ若しくは複数に分類するためのテキスト分類器を生成する。スコアリング部14は、当該テキスト分類器を使用し、ユーザからの質問を既存FAQデータベース21の登録データの1つに分類し、さらにその分類の確からしさのスコアを出力する(ステップS201)。
スコアリング部14は、テキスト分類器により、重み付けファイルの「質問」項目のテキスト分類を行い、併せてその分類のスコアを出力する(ステップS202)。ここで当該スコアが高ければ高いほど、重み付けファイルの「質問」項目の内容を、既存FAQデータベース21に格納されている登録データの「質問」項目の1つに分類した際の、その確信度が示される。
例えば、後述する図9の「結果一覧ファイル」を説明すると、グループ番号1の「Excelで作成済グラフの種類を変更するには」の「質問」を、既存FAQデータベース21の登録データで分類した場合、登録データの1つである「Excelでのグラフを作成方法」に分類した場合の確信度が最も高く、その確からしさのスコアが「0.88」であることが示される。
図5は、制御部12の表示検証部15の処理を記載したものである。ここでは、図8及び図9を参照しながら以下に説明する。
まず、表示検証部15は、「Excelでのグラフの作成方法」といった登録候補データの質問の内容を分類するための「分類項目」を、図8の重み付けファイルの質問内容からテキスト分類器などを用いて取得する(ステップS301)。
次に表示検証部15は、図8の重み付けファイルからグループ番号、重み付けの値、「質問」項目、回答を取得する。そして、表示検証部15は、当該グループ番号、重み付けの値、「質問」項目、回答に加え、ステップS203で求めた重み付けファイルの「質問」項目の各スコアを「分類結果のスコア」として、さらにステップS301で取得した各分類項目を、図9の「結果一覧ファイル」のように表示する(ステップS302)。
管理者は「結果一覧ファイル」のグループ番号と同じグループ番号に分類されている質問群、重み付けの値、分類項目、分類結果のスコアから登録候補データの取捨選択を行い、新たなFAQとして登録候補データを追加すべきか否かを判断する。また、登録候補データの登録文言の修正、加筆、カテゴリの検討などを必要に応じて行う。
例えば、特定のグループ番号内の質問の一覧を確認し、類似した質問が多数あると判断した場合、よく聞かれる質問、つまりFAQ登録候補として抽出する。この際、重みづけの値を確認し、値が低い質問はクラスタリングの信頼度が低いと判断し、無視するなど作業を効率化できる。
また、質問「Excelで作成済グラフの種類を変更するには」のテキスト分類結果に「Excelでのグラフの作成方法」となっており、既に類似の情報が、既存FAQデータベース21の登録データに存在すると判断できる。この際、分類結果のスコアの値を確認し、値が低い質問は分類結果の信頼度が低いため、既存FAQデータベース21の登録データに存在しない可能性が高いと判断し、優先的に確認するなど作業を効率化できる。
管理者は、質問項目に対する取得部13による「クラスタリング結果」とスコアリング部14による「分類結果」とから既存FAQデータベース21に新たに追加する登録候補データを決定する。例えば、上記の場合では、管理者は、クラスタ番号1の質問の一覧を確認し、を「Excelで作成済グラフの種類を変更するには」とその類似質問が合わせて2件問合せがあったと判断する。複数件の問合せがある一方で、既存FAQデータベース21の登録データには既に類似の質問「Excelでのグラフの作成方法」が登録されており、「分類結果のスコア」も高いため新たなFAQに追加しない、などと判断する。なお、新たに追加することが決定された登録候補データはコンピュータシステム10により、既存FAQデータベース19に追加される。また、クラスタリング結果及びテキスト分類結果に基づいて自動で登録候補データを決定することも方法として考えられる。例えば、まずクラスタリング結果の同じクラスタ番号の質問は類似とみなす。同じクラスタ番号の質問の件数を自動で計算し、一定以上の件数のクラスタ番号を自動で抽出、当該クラスタ番号の質問の内、クラスタリングの確信度の高いものを1つ選択する。次に、左記質問の内、テキスト分類結果のスコアが一定以上低いものを登録候補として抽出するなどである。管理者は、自動で抽出されたFAQ登録候補を確認し、追加・修正要否を判断するので効率的である。
既存FAQデータベース21に新たな登録データが追加された後に、表示検証部15は質問を既存FAQデータベース21の登録データの1つに分類するテキスト分類器の学習を行うことができる。
まず、コンピュータシステム10において、既存FAQデータベース21の登録データにより、ユーザからの質問の複数の言い回しに対応可能するための学習データを生成する。
例えば、ユーザが「Excelで作成済グラフの種類を変更する方法を知りたい」と考えた場合において、コンピュータシステム10は、「エクセルで作成済グラフの種類を変更したい」という質問や「Excelで作成済グラフの種類をどうやって変えるの?」といった日本語の様々な表現による質問に表示検証部15を用いて対応することができる。
具体的には、既存FAQデータベース21の登録データに「Excelで作成済グラフの種類を変更する方法を知りたい」という質問項目がある場合、FAQ登録支援システム10は、図14の辞書データに基づいて、当該質問の項目のうち「変更する方法を知りたい」という言葉を「変更したい」や「変えたい」という言葉に置き換える。
さらに、コンピュータシステム10は、「Excelで作成済グラフの種類を変更したい」、「Excelで作成済グラフの種類を変えたい」という学習データを生成し、既存FAQデータベース21に元からある「Excelで作成済グラフの種類を変更する方法を知りたい」という質問及びその回答と対応付ける。
したがって、学習後は、既存FAQデータベース21に元からある「Excelで作成済グラフの種類を変更する方法を知りたい」という質問に対してだけでなく、「Excelで作成済グラフの種類を変更したい」という質問や「Excelで作成済グラフの種類を変えたい」というユーザからの質問にも同じ回答を返すことができる。
さらに、既存FAQデータベース21に新たな登録データが追加された後に、表示検証部15は以下の処理も行うことができる。
コンピュータシステム10は、既存FAQデータベース21の登録データに対して、上記で生成した質問データをランダムに学習データとテストデータに分割する。まず学習データに基づき学習を行い、ユーザが行った質問に対して登録データから回答を導くためテキスト分類器を生成する。この生成されたテキスト分類器に対して、コンピュータシステム10は、テストデータに対してテキスト分類を行い、想定どおりの回答が返答されるかのテストを実施し、自己評価する。
また、上記テストデータは、自動学習に基づいて、登録データから生成することもできる。さらに、テストデータの分類結果のスコアと作成元のFAQとを機械学習アルゴリズムに基づいて比較することによりテストデータの精度の検証及び自己評価を行うこともできる。
例えば、上記した既存FAQデータベース21の「Excelで作成済グラフの種類を変更する方法を知りたい」という登録データを元に作成された「Excelで作ったグラフの種類を変更する方法を知りたい」という質問データをテストデータとして用いた場合について以下に述べる。なお、この質問データは、自動学習により既存FAQデータベース21を用いて作成することもできる。
コンピュータシステム10は、テストデータ「Excelで作ったグラフの種類を変更する方法を知りたい」を実行する。そして、図9及び図13の「結果一覧ファイル」での「分類結果のスコア」と、テストデータ作成元の登録データの「Excelで作成済グラフの種類を変更する方法を知りたい」という「質問」項目とを機械学習アルゴリズムに基づいて比較する。
ここで、当該「Excelで作成済グラフの種類を変更する方法を知りたい」の質問項目は既に既存FAQデータベース21に登録されている。したがってコンピュータシステム10は、同内容のテストデータ「Excelで作ったグラフの種類を変更する方法を知りたい」の「分類結果のスコア」が登録データに類似するものとして一定以上の値になるかを機械学習アルゴリズムに基づいて検証し、検証の精度に基づいて自己評価を行う。
本実施形態では、本発明を履歴一覧に基づく新FAQデータベース19を使用してFAQを作成することに用いた場合を記載した。一方、本発明を同様の技術により、マニュアルなどの文書データからFAQを作成することに用いることもできる。
図10乃至図13を参照して、本願の一実施形態に係るコンピュータシステム10をマニュアルなどの文書データからFAQを自動作成することに用いた場合の処理について記載する。なお、前述の本願の一実施形態に係るコンピュータシステム10を新FAQデータベース19を使用してFAQを自動作成することに用いた場合の処理と重複する処理については、適宜省略または簡略化して記載し、主に相違点を中心に説明する。
図10は、本願の一実施形態に係るコンピュータシステム10を文書データからFAQを自動作成することに用いた場合における、制御部12の取得部13の処理を記載したものである。
まず、取得部13は、文書データベース17に格納されているマニュアルなどの文書データを読み込む。そして、取得部13は、特定データベース22を参照して「の場合はこうしてください」などといった特定文字列を含む文章を既存FAQデータベース21への登録候補として文書データから抽出する。(ステップS401)なお、文書に構造があり、コンピュータシステム10内でその構造に基づいて既存FAQデータベース21への登録候補として抽出が可能な場合は、構造に基づく文章の抽出を行う。また、文書内に出現する単語を基に、当該文書に含まれる文章をスコアリングし、スコアの高い文章を文書データから抽出を行う。
例えば、取得部13は、文書データから「Excelで作成済グラフの種類を変更するには以下を参照してください」といった特定文字列を含む文章を抽出する。例えば、取得部13は、文章にデータ抽出可能な見出しという構造がある場合、文書データから「Excelでの作成済グラフの種類の変更方法」などの見出し情報を抽出する。例えば、各単語に対して「当該単語の文書内の総出現回数」から「当該単語の文書内の総出現文章数」を割った値を単語スコアとし、各文章のスコアを当該文章に含まれる単語の単語スコアの和としてスコアリングを行い、スコアの高い文章を抽出する。
図11は、本願の一実施形態に係るコンピュータシステム10を文書データからFAQを自動作成することに用いた場合における、制御部12のスコアリング部14の処理を記載したものである。
スコアリング部14は、既存FAQデータベース21に基づき各単語のスコアリングを行う(ステップS501)
次にスコアリング部14は、文章をスコアリングする(ステップS502)。なお、スコアリングの方法は、ステップS202で本願の一実施形態に係るコンピュータシステム10を新FAQデータベース19を使用してFAQを自動作成することに用いた場合と同様である。
ステップS504でスコアリングされた文章は、重要文として図12の「重要文ファイル」に出力される。ここで、重要文ファイルは、「テキスト分類結果」、「分類結果のスコア」、「重要文」、「回答案」から構成される。管理者は、例えば、分類結果と重要文を比較して既存FAQデータベース21に登録するかを判断する。
図15は、コンピュータシステム10のシステム構成を示す。コンピュータシステム10は、CPU40、RAM41、ROM42、ストレージ43、接続インターフェース44およびネットワークインターフェース45を備える。各コンポーネント40〜45は、バス46を介して相互に通信可能に接続される。
CPU40は、デバイスおよび回路のそれぞれを制御し、並びに演算およびデータ処理を行う。RAM41は一時記憶領域であり、CPU40による演算実行時に使用される。ROM42は、種々のプログラムを格納する記憶領域である。ストレージ43は、例えばHDD(Hard Disk Drive)、SSD(Solid State Drive)などにより構成され、様々なデータを格納する。CPU40の制御に基づいて、データがストレージ43から読み取られ、およびデータがストレージ43に書き込まれる。
接続インターフェース44は、コンピュータシステム10に種々のデバイスを接続するためのインターフェースである。例えば、接続インターフェース44を介して、ディスプレイ、キーボード、マウス、外部記憶装置等がコンピュータシステム10に接続されることができる。
ネットワークインターフェース45は、通信回線を通じてネットワーク30に接続される。そして、ネットワークインターフェース45は、CPU40の制御に基づいてネットワーク30およびコンピュータシステム10の間のデータの入出力を制御する。ネットワークインターフェース45およびネットワーク30の間の接続は、有線接続および無線接続のいずれであってもよい。
なお、本願においては、ネットワークインタフェース45が送受信部11に対応し、CPU40が制御部12に対応する。また、ストレージ43が記憶部16に対応する。
以上のとおり、本願の一実施形態に係るコンピュータシステム10が構成されている。次に、コンピュータシステム10の効果を説明する。
本実施形態によれば、スコアリング部14は、登録データに対して自動的に学習データを生成し、機械学習アルゴリズムに基づいて分類及びスコアリングを行う。したがって、本実施形態によれば、比較的シンプルにFAQの追加の有無を判断するためのスコアリングを行うことができるため、ユーザからの問い合わせデータの件数が多い場合は時間やコストの観点から特に効率的となる。
本実施形態によれば、表示検証部15は、自動学習に基づいて、機械学習アルゴリズムにより登録データから生成されたテストデータの分類結果の値と登録データの内容とを比較することにより、テストデータの精度を検証することを更に含む。したがって、本実施形態によれば、学習データの生成と学習及びテストを自動で実施するため、マンパワーを削減することができ、効率的である。
本実施形態によれば、文書データは、マニュアルデータと、照会履歴データとを含む。したがって、本実施形態によれば、マニュアルなどの文書やユーザからの質問及び回答からなる照会履歴の双方に基づいて、FAQを作成し、新しいFAQを追加するか否かを判定するための支援を行うことができる。
以上、本発明に係る実施形態について説明したが、本発明はかかる実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々なる態様で実施し得ることは言うまでもない。例えば、コンピュータシステム10や制御部12の各部13乃至15の役割は、上述の例に限定されない。また、本願の一実施形態に係るコンピュータシステム10及び方法は、プログラムとコンピュータ読み取り可能な記憶媒体に適用可能であるのは言うまでもない。
10 コンピュータシステム
11 送受信部
12 制御部
13 取得部
14 スコアリング部
15 表示検証部
16 記憶部
17 文書データベース
18 除外単語データベース
19 新FAQデータベース
20a 端末
20b 端末
20c 端末
21 既存FAQデータベース
22 特定データベース
30 ネットワーク
40 CPU
41 RAM
42 ROM
43 ストレージ
44 接続インタフェース
45 ネットワークインタフェース

Claims (6)

  1. ネットワークに接続された端末からの質問項目に自動応答するコンピュータシステムで実行される方法であって、
    前記コンピュータシステムは、文書データおよび登録データを格納するストレージを備え、
    前記方法は、前記文書データから前記ストレージへの登録候補データを抽出するステップと、
    第1の機械学習によるクラスタリングに基づいて前記登録候補データをグループに分類して、前記クラスタリングによる重み付けの値を算出するステップと、
    第2の機械学習によるテキスト分類器に基づいて前記登録候補データを前記登録データのいずれかに分類して、前記登録データへの分類結果スコア値を算出するステップと、
    前記クラスタリングによる重み付けの値および前記登録データへの分類結果スコア値を表示するステップと
    を含む、方法。
  2. 前記クラスタリングによる重み付けの値および前記登録データへの分類結果スコア値を表示する前記ステップは、前記登録データから自動的に生成されたテストデータの前記登録データへの分類結果スコア値が、前記登録データに類似することを示す一定以上の値になるか否かを判定することにより、前記テストデータの精度を検証することを更に含むことを特徴とする請求項1に記載の方法。
  3. 前記文書データは、マニュアルデータと、照会履歴データと、FAQとを含むことを特徴とする請求項1に記載の方法。
  4. ネットワークに接続された端末からの質問項目に自動応答するコンピュータシステムであって、
    前記コンピュータシステムは、文書データおよび登録データを格納するストレージを備え、
    前記文書データから前記ストレージへの登録候補データを抽出し、
    第1の機械学習によるクラスタリングに基づいて前記登録候補データをグループに分類して、前記クラスタリングによる重み付けの値を算出し、
    第2の機械学習によるテキスト分類器に基づいて前記登録候補データを前記登録データのいずれかに分類して、前記登録データへの分類結果スコア値を算出し、
    前記クラスタリングによる重み付けの値および前記登録データへの分類結果スコア値を表示するように構成されたプロセッサ
    を備えたコンピュータシステム。
  5. 前記プロセッサが、前記登録データから自動的に生成されたテストデータの前記登録データへの分類結果スコア値が、前記登録データに類似することを示す一定以上の値になるか否かを判定することにより、前記テストデータの精度を検証することを更に備えることを特徴とする請求項4に記載のコンピュータシステム。
  6. 前記文書データは、マニュアルデータと、照会履歴データと、FAQとを含むことを特徴とする請求項4に記載のコンピュータシステム。
JP2017158073A 2017-08-18 2017-08-18 機械学習を利用したfaq登録支援方法、及びコンピュータシステム Active JP6695835B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017158073A JP6695835B2 (ja) 2017-08-18 2017-08-18 機械学習を利用したfaq登録支援方法、及びコンピュータシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017158073A JP6695835B2 (ja) 2017-08-18 2017-08-18 機械学習を利用したfaq登録支援方法、及びコンピュータシステム

Publications (2)

Publication Number Publication Date
JP2019036210A JP2019036210A (ja) 2019-03-07
JP6695835B2 true JP6695835B2 (ja) 2020-05-20

Family

ID=65637689

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017158073A Active JP6695835B2 (ja) 2017-08-18 2017-08-18 機械学習を利用したfaq登録支援方法、及びコンピュータシステム

Country Status (1)

Country Link
JP (1) JP6695835B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020190865A (ja) * 2019-05-21 2020-11-26 シャープ株式会社 情報処理装置、ユーザ端末装置、制御方法および制御プログラム
JP6710360B1 (ja) * 2019-12-05 2020-06-17 株式会社エクサウィザーズ 登録済質問文判定方法、コンピュータプログラム及び情報処理装置
JPWO2021235225A1 (ja) * 2020-05-21 2021-11-25

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002230012A (ja) * 2000-12-01 2002-08-16 Sumitomo Electric Ind Ltd ドキュメントクラスタリング装置
JP2003030224A (ja) * 2001-07-17 2003-01-31 Fujitsu Ltd 文書クラスタ作成装置、文書検索システムおよびfaq作成システム
JP4081065B2 (ja) * 2004-10-22 2008-04-23 クオリカ株式会社 Faqデータ作成装置、方法、及びプログラム
JP4904496B2 (ja) * 2006-11-09 2012-03-28 国立大学法人九州工業大学 文書類似性導出装置及びそれを用いた回答支援システム
CN102884527A (zh) * 2010-04-06 2013-01-16 新加坡国立大学 根据基于社区的问题回答档案库的自动常问问题汇编
US9146987B2 (en) * 2013-06-04 2015-09-29 International Business Machines Corporation Clustering based question set generation for training and testing of a question and answer system

Also Published As

Publication number Publication date
JP2019036210A (ja) 2019-03-07

Similar Documents

Publication Publication Date Title
US10013417B2 (en) Classifying languages for objects and entities
US20220156643A1 (en) Using Machine Learning to Predict Outcomes for Documents
US8650143B2 (en) Determination of document credibility
JP2017097882A (ja) 機械翻訳評価方法および装置、並びに機械翻訳方法および装置
KR102285142B1 (ko) 챗봇을 위한 학습 데이터 추천 장치 및 방법
US20130035929A1 (en) Information processing apparatus and method
US11620283B2 (en) Method and system for analytic based connections among user types in an online platform
JP6695835B2 (ja) 機械学習を利用したfaq登録支援方法、及びコンピュータシステム
US11593557B2 (en) Domain-specific grammar correction system, server and method for academic text
JP5471673B2 (ja) 文書分類装置、プログラムおよび記憶媒体
US20210286945A1 (en) Content modification using natural language processing to include features of interest to various groups
US20240020458A1 (en) Text formatter
JP2021093163A (ja) ディープラーニングに基づく文書類似度測定モデルを利用した重複文書探知方法およびシステム
KR102444362B1 (ko) 작문 평가를 지원하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능한 기록 매체
JP6936014B2 (ja) 教師データ収集装置、教師データ収集方法、及びプログラム
KR102280490B1 (ko) 상담 의도 분류용 인공지능 모델을 위한 훈련 데이터를 자동으로 생성하는 훈련 데이터 구축 방법
US10614100B2 (en) Semantic merge of arguments
Markl et al. Language technology practitioners as language managers: arbitrating data bias and predictive bias in ASR
WO2021174814A1 (zh) 众包任务的答案验证方法、装置、计算机设备及存储介质
US20230267283A1 (en) System and method for automatic text anomaly detection
US20230196020A1 (en) Learning framework for processing communication session transcripts
KR101758555B1 (ko) 토픽 표현 추출 방법 및 그 시스템
KR20210009266A (ko) 음성 인식 기반의 세일즈 대화 분석 방법 및 장치
JP2007026347A (ja) テキストマイニング装置、テキストマイニング方法およびテキストマイニングプログラム
Kang et al. Analyzing answers in threaded discussions using a role-based information network

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170818

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180619

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180724

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190226

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190418

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20190521

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190821

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190925

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20191011

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20191127

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200407

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200422

R150 Certificate of patent or registration of utility model

Ref document number: 6695835

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250