JP7081671B2 - 評価プログラム、評価方法および情報処理装置 - Google Patents

評価プログラム、評価方法および情報処理装置 Download PDF

Info

Publication number
JP7081671B2
JP7081671B2 JP2020535356A JP2020535356A JP7081671B2 JP 7081671 B2 JP7081671 B2 JP 7081671B2 JP 2020535356 A JP2020535356 A JP 2020535356A JP 2020535356 A JP2020535356 A JP 2020535356A JP 7081671 B2 JP7081671 B2 JP 7081671B2
Authority
JP
Japan
Prior art keywords
information
question
word
evaluation
faq
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020535356A
Other languages
English (en)
Other versions
JPWO2020031242A1 (ja
Inventor
友希 的場
正弘 片岡
恭也 立岩
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2020031242A1 publication Critical patent/JPWO2020031242A1/ja
Application granted granted Critical
Publication of JP7081671B2 publication Critical patent/JP7081671B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation or dialogue systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/10Text processing
    • G06F40/12Use of codes for handling textual entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24Querying
    • G06F16/245Query processing
    • G06F16/2452Query translation
    • G06F16/24522Translation of natural language queries to structured queries
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/268Morphological analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • G06F40/284Lexical analysis, e.g. tokenisation or collocates

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Description

本発明は、評価プログラム、評価方法および情報処理装置に関する。
従来から、通信販売、ネット販売、ネットゲームなどのエンドユーザからの問い合わせやシステム障害などの管理者からの問い合わせを、電話や電子メールなどで受け付けて応答するコールセンターなどの有人システムが利用されている。また、有人の営業時間外でもエンドユーザや管理者などの問い合わせに応答できるように、コンピュータによるチャット形式のFAQ(Frequently Asked Questions)システムが利用されている。近年では、質問者から入力された質問文の形態素解析を行って、不足格として名詞等を質問者に聞き返して、補充後の情報に対応する回答を選択して応答する技術が知られている。
特開2013-171550号公報 特開2015-032193号公報 特開2001-022763号公報
しかしながら、上記技術では、質問文に対して名詞を補充した上で回答を行うので、補充後の質問文に名詞が増えてしまうなど、却って質問文の内容が複雑になり、質問の精度が低下し、誤回答を応答する場合がある。
一つの側面では、質問文の補充に関する質問者への問い合わせの精度を向上させることができる評価プログラム、評価方法および情報処理装置を提供することを目的とする。
第1の案では、評価プログラムは、質問情報を受け付ける処理をコンピュータに実行させる。評価プログラムは、受け付けた前記質問情報に含まれる単語を、複数の要素にそれぞれ対応付けられる複数の要素値を含む単語ベクトルに変換する処理をコンピュータに実行させる。評価プログラムは、要素に対応付けられる要素値が含む特定の意味の強さを特定する特定情報を該要素に対応付けて記憶する記憶部を参照し、前記特定情報を用いて、前記単語ベクトルに含まれる前記複数の要素値がそれぞれ含む前記特定の意味の強さを示す複数の意味情報を取得する処理をコンピュータに実行させる。評価プログラムは、取得した前記複数の意味情報に基づき、受け付けた前記質問情報に関する評価を行う処理をコンピュータに実行させる。
一実施形態によれば、質問文の補充に関する質問者への問い合わせの精度を向上させることができる。
図1は、実施例1にかかるFAQシステムを説明する図である。 図2は、実施例1にかかるFAQ応答装置の機能構成を示す機能ブロック図である。 図3は、FAQ一覧DBに記憶される情報の例を示す図である。 図4は、チャットボット画面の例を示す図である。 図5は、極性値の算出例を説明する図である。 図6は、質問文の評価例を説明する図である。 図7は、質問文の評価の具体例を説明する図である。 図8は、質問受付から質問文の評価までを説明する図である。 図9は、追加問い合わせから応答までを説明する図である。 図10は、処理の流れを示すフローチャートである。 図11は、係数の算出手法の例を説明する図である。 図12は、ハードウェア構成例を説明する図である。
以下に、本発明にかかる評価プログラム、評価方法および情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。
[全体構成]
図1は、実施例1にかかるFAQシステムを説明する図である。図1に示すように、FAQシステムは、ユーザ端末1とFAQ応答装置10とがネットワークNを介して接続されるシステムである。このFAQシステムは、FAQ応答装置10がチャット形式でユーザ端末1から質問文を受け付けて、質問文に対する回答をユーザ端末1に応答するシステムである。なお、質問文の一例としては、通信販売、ネット販売、ネットゲームなどのエンドユーザからの質問やシステム障害などの管理者からの質問などがある。また、ネットワークNは、有線や無線を問わず、インターネットや専用線などの各種通信網を採用することができる。
ユーザ端末1は、ユーザが利用するコンピュータ装置の一例であり、例えばパーソナルコンピュータやスマートフォンなどである。このユーザ端末1は、Webブラウザや専用のアプリケーションを用いて、FAQ応答装置10にアクセスし、質問文の入力および回答の取得を行う。
FAQ応答装置10は、ユーザ端末1から入力された質問文に回答するコンピュータ装置の一例であり、質問と回答とを対応付けたFAQ一覧を記憶する。このFAQ応答装置10は、ユーザ端末1からアクセスを受け付けると、チャット形式のWeb画面の一例であるチャットボット画面をユーザ端末1に表示する。そして、FAQ応答装置10は、チャットボット画面上に、「どのようなご用件でしょうか」などのメッセージを出力し、ユーザ端末1から質問文を受け付ける。
続いて、FAQ応答装置10は、チャットボット画面上で、ユーザ端末1からの質問文として「急にスマートフォンが故障・・・」を受け付ける。すると、FAQ応答装置10は、受け付けた質問文「急にスマートフォンが故障・・・」に含まれるキーワードとして「急に」や「スマートフォン」などを特定し、FAQ一覧からキーワードに対応付けられる質問を検索する。
そして、FAQ応答装置10は、FAQ一覧から質問を絞り込み、絞り込まれた2つの質問候補「1.緊急サポートについて・・・」と「2.屋外での・・・」とをチャットボット画面上に出力する。その後、FAQ応答装置10は、2つの質問候補のうち「1.緊急サポートについて・・・」がユーザによって選択されると、選択された質問に対応付けられる回答「ロック機能・・・」をFAQ一覧から取得してチャットボット画面上に出力する。このようにして、FAQ応答装置10は、営業時間等に関係なく、ユーザのタイミングでいつでも問い合わせに回答できる環境を提供することができる。
このようなシステムにおいて、FAQ応答装置10は、受け付けた質問文に対して、ベクトルを用いて、5W1H(when(いつ)、where(どこで)、who(だれが)、why(なぜ)、what(何を)、how(どのように))の観点で、質問文には十分な情報が含まれている適切な質問文であるかどうかを評価する。そして、FAQ応答装置10は、ユーザの質問文に対して、5W1Hのうち足りていない情報をユーザから得るために、ユーザに追加情報の問合せを行い、ユーザから追加の質問を受け付ける。このようにして、FAQ応答装置10は、ユーザからの最初の質問文に追加された質問文を加えて、FAQの質問文を検索し、その回答文をユーザに提示することで最尤推定の高精度化を図る。
[機能構成]
次に、実施例1にかかるFAQシステムの機能構成について説明する。なお、ユーザ端末1は、一般的なコンピュータ装置と同様の構成を有するので、詳細な説明は省略する。図2は、実施例1にかかるFAQ応答装置10の機能構成を示す機能ブロック図である。図2に示すように、FAQ応答装置10は、通信部11、記憶部12、制御部20を有する。
通信部11は、ユーザ端末1との間の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部11は、ユーザ端末1との間でWeb通信やチャットボットによる通信を確立し、データの送受信を実行する。
記憶部12は、プログラムやデータを記憶する記憶装置の一例であり、例えばメモリやハードディスクなどである。この記憶部12は、FAQ一覧DB13や極性値DB14を記憶する。
FAQ一覧DB13は、質問と当該質問に対応する正式な回答とを対応付けたFAQ一覧を記憶するデータベースである。図3は、FAQ一覧DB13に記憶される情報の例を示す図である。図3に示すように、FAQ一覧DB13は、「FAQ_ID、カテゴリ、質問、回答」を対応付けたFAQを記憶する。ここで記憶される「FAQ」は、FAQを識別する識別子であり、「カテゴリ」は、FAQのカテゴリを示す。「質問」は、ユーザが質問する内容であり、キーワード検索などによって特定される情報である。「回答」は、ユーザ端末1から受け付けた質問に対する正式な回答であり、過去の事例等により予め設定される。
図3の例では、カテゴリ「入会」に該当するFAQには、質問「会費について」と回答「会費は月額1000円です。」とが対応付けられていることを示す。つまり、ユーザから「会費について」が質問された場合に、回答「会費は月額1000円です。」が回答される。また、ユーザからキーワードとして「会費」や「月額」などが入力された場合、質問や回答にキーワードが含まれる質問候補として、質問「会費について」が検索される。
極性値DB14は、後述するFAQ処理部22による質問の評価処理で算出される極性値などの中間値を記憶するデータベースである。なお、極性値DB14は、最新の情報だけを記憶することもでき、時系列で中間値を記憶することもできる。
制御部20は、FAQ応答装置10全体を司る処理部であり、例えばプロセッサなどである。この制御部20は、画面制御部21、FAQ処理部22を有する。なお、画面制御部21、FAQ処理部22は、プロセッサなどの電子回路の一例やプロセッサが実行するプロセスの一例である。
画面制御部21は、ユーザ端末1との間で、チャットボット画面の制御を実行する処理部である。例えば、画面制御部21は、ユーザ端末1からFAQシステムへのアクセスを受け付けると、図4に示すチャットボット画面30をユーザ端末1に送信する。そして、画面制御部21は、チャットボット画面30上で問い合わせなどの受け付けや回答の出力などを実行する。
図4は、チャットボット画面30の例を示す図である。図4に示すように、チャットボット画面30は、アバター31、チャット領域32、入力領域33、送信ボタン34を含む。アバター31は、ユーザからの問い合わせに回答するように動作するキャラクターである。チャット領域32は、FAQ応答装置10からのメッセージなどを含む回答やユーザ端末1から入力されたメッセージなどを含む問い合わせを、入力された順に出力表示する領域である。入力領域33は、ユーザがユーザ端末1を介して、問い合わせ等を入力する領域である。送信ボタン34は、入力領域33に入力された問い合わせ等をチャット領域32に出力することを実行するボタンである。
FAQ処理部22は、ベクトル演算部23、変換部24、評価部25、問合せ部26、応答部27を有し、ユーザ端末1からの質問に対応するFAQを応答する処理部である。なお、画面制御部21は、受付部の一例であり、ベクトル演算部23および変換部24は、変換部と取得部の一例であり、評価部25は、評価部の一例である。
ベクトル演算部23は、ユーザ端末1から受け付けた質問文に含まれるすべての単語に対して、ベクトル演算を実行する処理部である。例えば、ベクトル演算部23は、質問文に形態素解析等を行って、質問文から各単語を抽出する単語コード化を実行する。そして、ベクトル演算部23は、各単語(単語コード)に対してベクトル演算を実行する。すなわち、ベクトル演算部は、各単語コードに対してWord2Vecを用いて、VからV200の極性を要素とする200次元の単語ベクトルを生成して、各次元のベクトルをグラフ化する。そして、ベクトル演算部23は、各単語に対応する単語ベクトルを変換部24に出力する。
変換部24は、各単語に対応する単語ベクトルを基に、各単語の単語コードを5W1Hについての極性値に変換する処理部である。具体的には、変換部24は、ベクトル演算部23から、各単語に対応する単語ベクトルのグラフを取得し、5W1Hそれぞれに対応した変換式を適用して、5W1Hそれぞれのベクトル値である極性値を算出する。
例えば、変換部24は、単語Aに対応する単語ベクトルのグラフに対して、式(1)を適用してwhenの極性値Vwhenを算出し、式(2)を適用してwhereの極性値Vwhereを算出し、式(3)を適用してwhoの極性値Vwhoを算出し、式(4)を適用してwhyの極性値Vwhyを算出し、式(5)を適用してwhatの極性値Vwhatを算出し、式(6)を適用してhowの極性値Vhowを算出する。
Figure 0007081671000001
Figure 0007081671000002
Figure 0007081671000003
Figure 0007081671000004
Figure 0007081671000005
Figure 0007081671000006
図5は、極性値の算出例を説明する図である。図5の(a)は、ベクトル演算部23が算出した単語コード(単語A)に対応する単語ベクトルであり、VからV200の極性を要素とする200次元のベクトル値のグラフである。そして、変換部24は、極性値Vwhenを算出する場合、式(1)を用いて、各ベクトル値にαを乗算し、乗算した各値を加算して、極性値Vwhenを算出する。例えば、変換部24は、極性値Vwhenとして「(V×α)+(V×α)+・・・+(V200×α200)」を算出する。
また、変換部24は、極性値Vwhereを算出する場合、式(2)を用いて、各ベクトル値にβを乗算し、乗算した各値を加算して、極性値Vwhereを算出する。例えば、変換部24は、極性値Vwhereとして「(V×β)+(V×β)+・・・+(V200×β200)」を算出する。
同様の手法により、変換部24は、単語Aについて、5W1Hの各極性値を算出する。このようにして、変換部24は、質問文に含まれる各単語について、5W1Hの各極性値を算出し、算出結果を評価部25に出力する。なお、式(1)から式(6)における係数α、β、γ、δ、c、zは、予め定められた値であり、詳細については後述する。
図2に戻り、評価部25は、変換部24による算出結果を用いて、質問文を評価する処理部である。具体的には、評価部25は、5W1Hそれぞれについて、質問文に含まれるすべての単語の極性値を加算して合計値(合計ベクトル)を算出する。
例えば、評価部25は、質問文から単語A、単語B、単語Cが抽出された場合、質問文のVwhenとして、「単語AのVwhen+単語BのVwhen+単語CのVwhen」を算出する。同様に、評価部25は、質問文のVwhereとして、「単語AのVwhere+単語BのVwhere+単語CのVwhere」を算出し、質問文のVwhoとして、「単語AのVwho+単語BのVwho+単語CのVwho」を算出し、質問文のVwhyとして、「単語AのVwhy+単語BのVwhy+単語CのVwhy」を算出し、質問文のVwhatとして、「単語AのVwhat+単語BのVwhat+単語CのVwhat」を算出し、質問文のVhowとして、「単語AのVhow+単語BのVhow+単語CのVhow」を算出する。
そして、評価部25は、5W1Hそれぞれの合計値が閾値を超える場合、適切な質問文と判定し、閾値未満の合計値が存在する場合、情報が不足している質問文と判定する。図6は、質問文の評価例を説明する図である。図6の場合、評価部25は、極性値VwhenとVwhereとVwhoとが閾値を超えるが、極性値VwhyとVwhatとVhowとが閾値を越えないので、情報が不足している質問文と判定する。
問合せ部26は、評価部25による質問文の評価結果に基づいて、ユーザに追加の質問を問い合わせる処理部である。具体的には、問合せ部26は、評価結果によって極性値が閾値未満と判定された極性値に対応する項目をチャットボット上でユーザに問い合わせる。そして、問合せ部26は、はじめに入力された質問文と追加で入力された情報(質問)とを組み合わせた1つの新たな質問文を生成する。その後、問合せ部26は、生成した新たな質問文をベクトル演算部23に出力して、上述した処理を実行させる。
図6の例では、問合せ部26は、極性値VwhyとVwhatとVhowが閾値を越えないので、「なぜ」、「何が」、「どのように」の観点でユーザに問い合わせを実行する。なお、質問する内容は、5W1Hごとに設定しておくこともでき、初めの質問文に含まれる単語を組み合わせて自動的に生成することもできる。
例えば、問合せ部26は、初めの質問文が「スマートフォンが故障しました」であり、追加質問の項目が「how」の場合は「どのような操作で故障しましたか」や「どのような故障状況ですか」などを追加質問として生成する。また、問合せ部26は、初めの質問文が「スマートフォンが故障しました」であり、追加質問の項目が「what」の場合は「スマートフォンの何が故障していますか」などを追加質問として生成する。
応答部27は、ユーザからの質問に対応するFAQの回答を応答する処理部である。具体的には、評価部25によって適切と判定された質問文からキーワード等を抽出し、キーワード等に該当する質問をFAQ一覧DB13から検索して、質問候補としてチャットボット上に表示してユーザに問い合わせる。その後、応答部27は、質問候補のうち選択された質問に対応する回答をFAQ一覧DB13から取得して、質問に対する回答としてチャットボット上に表示する。
[評価の具体例]
図7は、質問文の評価の具体例を説明する図である。図7に示すように、FAQ処理部22は、チャットボット上で質問文A「急に、私のスマートフォンが故障しました。」を受け付ける。すると、FAQ処理部22は、質問文A「急に、私のスマートフォンが故障しました。」に対して、形態素解析、単語コード化、ベクトル演算を行う。
その結果、FAQ処理部22は、単語「急に」に対してベクトル演算処理後のグラフA1を生成し、単語「私」に対してベクトル演算処理後のグラフA2を生成する。このようにして、FAQ処理部22は、質問文Aに含まれる各単語について200次元のベクトルのグラフを生成する。
その後、FAQ処理部22は、グラフA1と式(1)から式(6)とを用いて、グラフA1に対して5W1Hの極性値を求めたグラフA1´を生成する。同様に、FAQ処理部22は、グラフA2と式(1)から式(6)とを用いて、グラフA2に対して5W1Hの極性値を求めたグラフA2´を生成する。このようにして、FAQ処理部22は、質問文Aに含まれる各単語について、5W1Hのベクトルのグラフを生成する。
そして、FAQ処理部22は、各単語の5W1Hのベクトル(極性値)を、5W1Hごとに加算して合計値を算出する。その後、FAQ処理部22は、5W1Hの各合計値と閾値とを比較し、閾値未満であるVwhyとVwhatとVhowの各項目が不足していると判定する。この結果、FAQ処理部22は、VwhyとVwhatとVhowについて質問者への聞き返しを行う。そして、FAQ処理部22は、聞き返しに対する質問者からの応答と最初の質問文Aとを組み合わせた新たな質問文を生成して、上記処理を繰り返す。
[画面遷移の具体例]
次に、質問受付から回答を応答するまでの画面遷移について説明する。図8は、質問受付から質問文の評価までを説明する図であり、図9は、追加問い合わせから応答までを説明する図である。
図8に示すように、FAQ応答装置10は、アクセスを受け付けたユーザ端末1にチャットボット画面を表示し、チャットボット画面上に「どのようなご用件でしょうか」などのメッセージを出力し、ユーザ端末1から質問文を受け付ける(図8の(a)参照)。
続いて、FAQ応答装置10は、チャットボット上で質問文A「急に、私のスマートフォンが故障してしまいました。」を受け付ける(図8の(b)参照)。そして、FAQ応答装置10は、質問文Aを用いてFAQを検索し、回答候補として「A1からA50」を特定する(図8の(c)参照)。しかし、FAQ応答装置10は、閾値(例えば3)以上の回答候補が検索されたので、回答候補を絞り込むために、質問文Aに対して5W1Hの評価を実行する(図8の(d)参照)。
その後、FAQ応答装置10は、5W1Hの評価により「where(どこで)」が不足していることを特定したので、チャットボット画面上に「どこで故障しましたか」などのメッセージを出力し、ユーザ端末1から追加の質問文を受け付ける(図9の(e)参照)。
続いて、FAQ応答装置10は、チャットボット上で追加の質問文B「屋外です。」を受け付ける(図9の(f)参照)。すると、FAQ応答装置10は、はじめの質問文Aに追加の質問文Bを加えた質問文ABを用いて、FAQを検索し、回答候補として「A1とA2」を特定する(図9の(g)参照)。そして、FAQ応答装置10は、閾値(例えば3)未満の回答候補が検索されたので、検索された回答候補をチャットボット画面上に表示する(図9の(h)参照)。
その後、FAQ応答装置10は、回答候補の「A1」または「A2」が選択されると、該当する回答をFAQ一覧DB13から取得してチャットボット画面上に表示する。一方、FAQ応答装置10は、回答候補のうち「この中にはありません。」が選択されると、該当するFAQが存在しない旨のメッセージをチャットボット画面上に表示して、処理を終了する。
[処理の流れ]
図10は、処理の流れを示すフローチャートである。図10に示すように、ベクトル演算部23は、質問文が受け付けられると(S101:Yes)、質問文に形態素解析を実行して単語を抽出し、Word2Vecなどを用いて、各単語の単語コードを生成する(S102)。続いて、ベクトル演算部23は、各単語の単語コードに対してベクトル演算を実行して200次元のベクトルを生成する(S103)。
そして、変換部24は、5W1Hの極性値を算出する(S104)。すなわち、変換部24は、式(1)から式(6)を用いて、各単語コードの200次元のベクトル値から5W1Hの次元のベクトル値を算出し、5W1Hそれぞれについて、質問文のすべての単語のベクトル値を加算する。
その後、評価部25は、全極性値が閾値以上である場合(S105:Yes)、適切な質問文と判定する(S106)。そして、応答部27は、質問文に対応する回答をFAQ一覧DB13から検索して応答する(S107)。
一方、いずれかの極性値が閾値以上ではない場合(S105:No)、問合せ部26は、5W1Hのうち、不足している情報(極性値)を得るために、質問者に問い返す(S108)。その後、問合せ部26は、質問者への問い返しに対する応答(追加情報)を受け付けると(S109:Yes)、質問文と追加情報とを組み合わせた1つの質問文を生成する(S110)。その後、S102以降が実行される。
[効果]
上述したように、FAQ応答装置10は、チャットボットを用いて、ユーザと一対一の形式でチャットを行う際、ユーザが入力した質問文を用いて、登録されているFAQの質問文を検索し、その応答文をユーザに提示することができる。また、FAQ応答装置10は、ユーザからの質問文において、5W1Hに関して十分な情報が含まれていない場合でも、どの情報が不足しているかを適切に判別することができる。
したがって、FAQ応答装置10は、質問文の補充に関する質問者への問い合わせの精度を向上させることができる。また、FAQ応答装置10は、補充した質問文を用いてFAQ検索を実行するので、ユーザからの質問内容を適切に判断することができ、応答精度も向上できる。
さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。
[係数の設定]
上記式(1)から式(5)における係数は、予め算出して設定することができる。例えば、FAQ応答装置10は、5W1Hにおいてバランスの取れた質問文Xを用意する。そこから、FAQ応答装置10は、5W1Hにおいて任意の要素を1つ決定し、その要素を含む単語を全て除く。さらに、FAQ応答装置10は、単語を除く前と除いた後の質問文それぞれを200次元ベクトルのグラフに表し、それぞれの極性値の差分を係数とする。そのため、係数の値は各ベクトルによって異なり、α=0となるベクトルも存在する。
ここで、Vwhenに対応する式(1)の係数αを例にして説明する。図11は、係数の算出手法の例を説明する図である。図11に示すように、FAQ応答装置10は、5W1Hにおいてバランスのとれた質問文X「明日研修があるため私は吉祥寺で急いでご飯を食べます。」の各単語コードについて200次元のベクトル変換を行い、それぞれの次元のベクトルを加算して、図11の(a)に示すベクトルグラフ(VからV200)を生成する。
続いて、FAQ応答装置10は、質問文Xからwhen(いつ)を除いた質問文Y「研修があるため私は吉祥寺で急いでご飯を食べます。」を生成する。そして、FAQ応答装置10は、質問文Yの各単語コードについて200次元のベクトル変換を行い、それぞれの次元のベクトルを加算して、図11の(b)に示すベクトルグラフ(V´からV´200)を生成する。
そして、FAQ応答装置10は、各次元(VからV200)について、減少した割合を係数α(i=1から200)として算出する。すなわち、FAQ応答装置10は、「α=(V-V´)/V」を算出する。なお、係数βの場合はwhereを除いた質問文、係数γの場合はwhoを除いた質問文、係数δの場合はwhyを除いた質問文、係数cの場合はwhatを除いた質問文、係数zの場合はhowを除いた質問文を生成して、上記whenのときと同様の処理を実行する。この結果、正確な係数を算出でき、正確なベクトル変換が実行できるので、応答精度も向上する。
[Webページ]
上述した実施例では、チャットボットを用いた例を説明したが、これに限定されるものではなく、例えば一般的なWebブラウザなどを用いることもできる。また、インターネットなどに限らず、イントラネットなども採用することができる。例えば、一般ユーザによるFAQに限らず、社内のFAQにも適用することができる。
[ベクトル変換]
上記実施例では、Word2Vecを用いたベクトル変換を例にして説明したが、これに限定されるものではなく、他の公知の技術を用いることができる。また、200次元に限らず、採用するベクトル変換技術に応じた次元数を用いることができる。また、上記実施例では、数式を用いて、要素値の一例である極性値に変換する例を説明したが、これに限定されるものではない。例えば、5W1Hの各極性値と、200次元のベクトルの合計値との対応関係を予め設定した変換テーブルなどを用いることもできる。また、5W1Hをすべて用いて評価するだけではなく、少なくとも一つの極性値を採用し、採用した極性値が閾値以上か否かによって質問文を評価することもできる。
[評価タイミング]
また、上記質問文の評価は、はじめの質問文に対応する回答が検索できない場合や回答候補が閾値以上存在する場合にだけ実行することもでき、すべての質問文に対して実行することもできる。また、上記適切な質問は、回答可能な質問の一例であり、適切な質問に該当せず、問い合わせが行われる質問は、回答可能ではない質問の一例である。
[適用例]
上記実施例では、ユーザからの質問に回答するFAQシステムを例にして説明したが、これに限定されるものではない。例えば、問診票への記入、システムのエラーメッセージとエラー対応とを対応付けた障害時対応の検索などにも適用することができる。
[システム]
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。また、実施例で説明した具体例、分布、数値などは、あくまで一例であり、任意に変更することができる。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、CPUおよび当該CPUにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
[ハードウェア]
図12は、ハードウェア構成例を説明する図である。図12に示すように、FAQ応答装置10は、通信装置10a、HDD(Hard Disk Drive)10b、メモリ10c、プロセッサ10dを有する。また、図12に示した各部は、バス等で相互に接続される。
通信装置10aは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。HDD10bは、図2に示した機能を動作させるプログラムやDBを記憶する。
プロセッサ10dは、図2に示した各処理部と同様の処理を実行するプログラムをHDD10b等から読み出してメモリ10cに展開することで、図2等で説明した各機能を実行するプロセスを動作させる。すなわち、このプロセスは、FAQ応答装置10が有する各処理部と同様の機能を実行する。具体的には、プロセッサ10dは、画面制御部21、FAQ処理部22等と同様の機能を有するプログラムをHDD10b等から読み出す。そして、プロセッサ10dは、画面制御部21、FAQ処理部22等と同様の処理を実行するプロセスを実行する。
このようにFAQ応答装置10は、プログラムを読み出して実行することで評価方法を実行する情報処理装置として動作する。また、FAQ応答装置10は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、FAQ応答装置10によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。
このプログラムは、インターネットなどのネットワークを介して配布することができる。また、このプログラムは、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO(Magneto-Optical disk)、DVD(Digital Versatile Disc)などのコンピュータで読み取り可能な記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。
10 FAQ応答装置
11 通信部
12 記憶部
13 FAQ一覧DB
14 極性値DB
20 制御部
21 画面制御部
22 FAQ処理部
23 ベクトル演算部
24 変換部
25 評価部
26 問合せ部
27 応答部

Claims (8)

  1. 質問情報を受け付け、
    受け付けた前記質問情報に含まれる単語を、複数の要素にそれぞれ対応付けられる複数の要素値を含む単語ベクトルに変換し、
    要素に対応付けられる要素値が含む特定の意味の強さを特定する特定情報を該要素に対応付けて記憶する記憶部を参照し、前記特定情報を用いて、前記単語ベクトルに含まれる前記複数の要素値がそれぞれ含む前記特定の意味の強さを示す複数の意味情報を取得し、
    取得した前記複数の意味情報に基づき、受け付けた前記質問情報に関する評価を行う、
    処理をコンピュータに実行させることを特徴とする評価プログラム。
  2. 前記取得する処理は、複数の意味に変換する複数の変換式を用いて、前記単語ベクトルから前記複数の意味を示す複数のベクトル値を取得し、
    前記評価を行う処理は、前記複数のベクトル値それぞれが閾値以上である場合、前記質問情報を回答が可能な質問と評価し、前記複数のベクトル値のいずれかが閾値未満である場合、前記質問情報を回答が可能ではない質問と評価することを特徴とする請求項1に記載の評価プログラム。
  3. 前記変換する処理は、前記質問情報に含まれる各単語を単語ベクトルに変換し、
    前記取得する処理は、前記各単語の単語ベクトルから、前記複数の意味情報を取得し、
    前記評価を行う処理は、前記複数の意味情報それぞれについて、前記各単語の単語ベクトルから取得された意味情報の累計を算出し、累計結果に基づいて、前記質問情報に関する評価を行うことを特徴とする請求項1に記載の評価プログラム。
  4. 前記質問情報に関する評価の結果に応じた内容の質問を、前記質問情報を入力した質問者に問い合わせて、追加の質問情報を取得する処理を、前記コンピュータに実行させることを特徴とする請求項1に記載の評価プログラム。
  5. 前記変換する処理は、前記質問情報と前記追加の質問情報とを組み合わせた新たな質問情報を生成し、前記新たな質問情報から単語を抽出し、各単語を前記単語ベクトルに変換し、
    前記取得する処理は、前記新たな質問情報に含まれる前記各単語の単語ベクトルから、前記複数の意味情報を取得し、
    前記評価を行う処理は、前記複数の意味情報それぞれについて、前記各単語の単語ベクトルから取得された意味情報の累計を算出し、累計結果に基づいて、前記質問情報に関する評価を行うことを特徴とする請求項4に記載の評価プログラム。
  6. 前記評価が閾値以上である第1の質問情報に対応する第1の単語ベクトルと、前記第1の質問情報に含まれる単語のうち前記特定の意味に該当する単語が除外された第2の質問情報に対応する第2の単語ベクトルとを用いて、前記特定情報を生成する処理を、前記コンピュータに実行させることを特徴とする請求項1に記載の評価プログラム。
  7. 質問情報を受け付け、
    受け付けた前記質問情報に含まれる単語を、複数の要素にそれぞれ対応付けられる複数の要素値を含む単語ベクトルに変換し、
    要素に対応付けられる要素値が含む特定の意味の強さを特定する特定情報を該要素に対応付けて記憶する記憶部を参照し、前記特定情報を用いて、前記単語ベクトルに含まれる前記複数の要素値がそれぞれ含む前記特定の意味の強さを示す複数の意味情報を取得し、
    取得した前記複数の意味情報に基づき、受け付けた前記質問情報に関する評価を行う、
    処理をコンピュータが実行することを特徴とする評価方法。
  8. 質問情報を受け付ける受付部と、
    受け付けた前記質問情報に含まれる単語を、複数の要素にそれぞれ対応付けられる複数の要素値を含む単語ベクトルに変換する変換部と、
    要素に対応付けられる要素値が含む特定の意味の強さを特定する特定情報を該要素に対応付けて記憶する記憶部を参照し、前記特定情報を用いて、前記単語ベクトルに含まれる前記複数の要素値がそれぞれ含む前記特定の意味の強さを示す複数の意味情報を取得する取得部と、
    取得した前記複数の意味情報に基づき、受け付けた前記質問情報に関する評価を行う評価部と、
    を有することを特徴とする情報処理装置。
JP2020535356A 2018-08-06 2018-08-06 評価プログラム、評価方法および情報処理装置 Active JP7081671B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/029471 WO2020031242A1 (ja) 2018-08-06 2018-08-06 評価プログラム、評価方法および情報処理装置

Publications (2)

Publication Number Publication Date
JPWO2020031242A1 JPWO2020031242A1 (ja) 2021-09-30
JP7081671B2 true JP7081671B2 (ja) 2022-06-07

Family

ID=69414281

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020535356A Active JP7081671B2 (ja) 2018-08-06 2018-08-06 評価プログラム、評価方法および情報処理装置

Country Status (3)

Country Link
US (1) US11275887B2 (ja)
JP (1) JP7081671B2 (ja)
WO (1) WO2020031242A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006227823A (ja) 2005-02-16 2006-08-31 Canon Inc 情報処理装置及びその制御方法
JP2007148661A (ja) 2005-11-25 2007-06-14 Ntt Docomo Inc コミュニティ制御システム及びコミュニティ制御方法
US20130204885A1 (en) 2012-02-02 2013-08-08 Xerox Corporation Document processing employing probabilistic topic modeling of documents represented as text words transformed to a continuous space

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3701515B2 (ja) * 1999-06-30 2005-09-28 シャープ株式会社 検索装置及び検索プログラムを記録した記録媒体
JP2001022763A (ja) 1999-07-06 2001-01-26 Tadamitsu Ryu コンピュータによる自然語対話システム
JP4924950B2 (ja) * 2005-02-08 2012-04-25 日本電気株式会社 質問応答データ編集装置、質問応答データ編集方法、質問応答データ編集プログラム
US9436759B2 (en) * 2007-12-27 2016-09-06 Nant Holdings Ip, Llc Robust information extraction from utterances
JP5653709B2 (ja) * 2010-10-19 2015-01-14 国立大学法人京都大学 質問応答システム
JP5825676B2 (ja) 2012-02-23 2015-12-02 国立研究開発法人情報通信研究機構 ノン・ファクトイド型質問応答システム及びコンピュータプログラム
JP5464295B1 (ja) 2013-08-05 2014-04-09 富士ゼロックス株式会社 応答装置及び応答プログラム
CN105701120B (zh) * 2014-11-28 2019-05-03 华为技术有限公司 确定语义匹配度的方法和装置
US9647968B2 (en) * 2015-03-25 2017-05-09 Pypestream Inc Systems and methods for invoking chatbots in a channel based communication system
US10382379B1 (en) * 2015-06-15 2019-08-13 Guangsheng Zhang Intelligent messaging assistant based on content understanding and relevance
US20170085509A1 (en) * 2015-09-17 2017-03-23 Vicente Fernandez Semantics classification aggregation newsfeed, an automated distribution method
US9996533B2 (en) * 2015-09-30 2018-06-12 International Business Machines Corporation Question answering system using multilingual information sources
US10606846B2 (en) * 2015-10-16 2020-03-31 Baidu Usa Llc Systems and methods for human inspired simple question answering (HISQA)
US10755177B1 (en) * 2015-12-31 2020-08-25 Amazon Technologies, Inc. Voice user interface knowledge acquisition system
CN106980624B (zh) * 2016-01-18 2021-03-26 阿里巴巴集团控股有限公司 一种文本数据的处理方法和装置
US10606952B2 (en) * 2016-06-24 2020-03-31 Elemental Cognition Llc Architecture and processes for computer learning and understanding
JP6929539B2 (ja) * 2016-10-07 2021-09-01 国立研究開発法人情報通信研究機構 ノン・ファクトイド型質問応答システム及び方法並びにそのためのコンピュータプログラム
US10621219B2 (en) * 2017-02-10 2020-04-14 International Business Machines Corporation Techniques for determining a semantic distance between subjects
US10380259B2 (en) * 2017-05-22 2019-08-13 International Business Machines Corporation Deep embedding for natural language content based on semantic dependencies
US11200269B2 (en) * 2017-06-15 2021-12-14 Microsoft Technology Licensing, Llc Method and system for highlighting answer phrases
US10678816B2 (en) * 2017-08-23 2020-06-09 Rsvp Technologies Inc. Single-entity-single-relation question answering systems, and methods
US11200506B2 (en) * 2017-12-15 2021-12-14 Microsoft Technology Licensing, Llc Chatbot integrating derived user intent
US20190260694A1 (en) * 2018-02-16 2019-08-22 Mz Ip Holdings, Llc System and method for chat community question answering
US10978056B1 (en) * 2018-04-20 2021-04-13 Facebook, Inc. Grammaticality classification for natural language generation in assistant systems

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006227823A (ja) 2005-02-16 2006-08-31 Canon Inc 情報処理装置及びその制御方法
JP2007148661A (ja) 2005-11-25 2007-06-14 Ntt Docomo Inc コミュニティ制御システム及びコミュニティ制御方法
US20130204885A1 (en) 2012-02-02 2013-08-08 Xerox Corporation Document processing employing probabilistic topic modeling of documents represented as text words transformed to a continuous space

Also Published As

Publication number Publication date
US20210157971A1 (en) 2021-05-27
JPWO2020031242A1 (ja) 2021-09-30
WO2020031242A1 (ja) 2020-02-13
US11275887B2 (en) 2022-03-15

Similar Documents

Publication Publication Date Title
CN111552880B (zh) 基于知识图谱的数据处理方法、装置、介质及电子设备
US10891322B2 (en) Automatic conversation creator for news
JP6544131B2 (ja) 情報処理装置及び情報処理プログラム
US20210049195A1 (en) Computer-readable recording medium recording answering program, answering method, and answering device
US20170243116A1 (en) Apparatus and method to determine keywords enabling reliable search for an answer to question information
JP6442807B1 (ja) 対話サーバ、対話方法及び対話プログラム
AU2019298610B2 (en) Search device and program
CN115471271A (zh) 广告的归因方法、装置、计算机设备及可读存储介质
US20150293988A1 (en) System and Method for Opinion Sharing and Recommending Social Connections
US10394804B1 (en) Method and system for increasing internet traffic to a question and answer customer support system
JP6752330B1 (ja) 機械学習ベースのマッチング装置およびマッチング方法
CN105224524B (zh) 文档翻译难度评价方法和装置
JP7081671B2 (ja) 評価プログラム、評価方法および情報処理装置
CN116484880A (zh) 信息处理方法、装置、电子设备及存储介质
JP7333368B2 (ja) 情報処理装置および情報処理方法
JP2022166258A (ja) 情報提供方法
JP2020135673A (ja) 投稿評価システム及び方法
WO2021095358A1 (ja) 学習方法、評価装置、及び評価システム
JP2016021131A (ja) 情報処理装置及び情報処理プログラム
KR100918167B1 (ko) 사용자 성향 데이터를 이용한 사용자 프로파일 학습 방법
JP6696018B1 (ja) 情報処理装置、情報処理方法及び情報処理プログラム
JP2022126998A (ja) 回答装置、回答方法、回答プログラム
US20160196619A1 (en) Homogenizing time-based seniority signal with transition-based signal
JP7008152B1 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20210271698A1 (en) Computer-readable recording medium recording answering program, answering method, and answering device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210217

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220426

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220509

R150 Certificate of patent or registration of utility model

Ref document number: 7081671

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150