JP6639431B2

JP6639431B2 - 用件判定装置、要約文表示装置、用件判定方法、要約文表示方法、及びプログラム

Info

Publication number: JP6639431B2
Application number: JP2017021612A
Authority: JP
Inventors: 喜昭野田; 節夫山田; 杉崎　正之; 正之杉崎
Original assignee: Nippon Telegraph and Telephone Corp
Current assignee: Nippon Telegraph and Telephone Corp
Priority date: 2017-02-08
Filing date: 2017-02-08
Publication date: 2020-02-05
Anticipated expiration: 2037-02-08
Also published as: JP2018128577A

Description

本発明は、データベースに基づく要約文を表示する要約文表示装置、要約文表示方法、及びプログラムに関する。

従来、コールセンタ・オペレータ、窓口受付などの応対担当者は、顧客との応対が終了した後に、応対音声の音声認識結果を閲覧しながら一部の発話を転記する事で、応対発話の要約を応対記録として作成していた。

また、近年では、コールセンタのオペレータ業務を支援するため、通話内容をリアルタイムに音声認識し、自然言語処理技術を駆使して適切な応対ナレッジをオペレータの画面に表示する機能を備えたシステムが開発されている（例えば、非特許文献１参照）。

河村誠司、外４名、「コールセンタにおけるＡＩの活用」、[online]、2016年2月、[2017年1月6日検索]、インターネット<URL:http://www.ntt.co.jp/journal/1602/files/jn201602035.pdf>

非特許文献１には、顧客の電話の用件を抽出する「用件自動抽出」と、通話中の重要な発言のみを抽出する「重要文自動抽出」から構成される要約文を生成する通話自動要約機能が開示されている。しかし、この用件や重要文というのは、会話の中からフィラーを取り除いたりする程度のものであり、用件そのものを適切に抽出して要約文を自動で作成することは困難であった。そのため、応対担当者は、要約文をそのまま利用して応対記録を作成することができなかった。

かかる事情に鑑みてなされた本発明の目的は、顧客との応答内容の要約文を高精度且つ自動的に生成して表示させることが可能な要約文表示装置、要約文表示方法、及びプログラムを提供することにある。

上記課題を解決するため、本発明に係る用件判定装置は、顧客及び応対担当者の音声について音声認識処理を行って音声認識結果を生成する音声認識部と、前記音声認識結果から用件を抽出する用件抽出部と、を備え、前記用件抽出部は、前記音声認識結果のうち、前記応対担当者の発話が確認を表す用語で終了し、かつ直前の顧客の発話と共通する用語を所定以上含む場合に用件確認発話とし、前記用件確認発話の少なくとも直前の前記顧客の発話を用件発話とし、前記用件発話から用件を抽出することを特徴とする。
また、上記課題を解決するため、本発明に係る要約文表示装置は、顧客及び応対担当者の応対発話の要約を自動生成する要約文表示装置であって、上記用件判定装置と、前記用件を含む要約文を生成する要約文生成部と、前記要約文を表示部に表示させる表示制御部と、を備えることを特徴とする。

また、上記課題を解決するため、本発明に係る用件判定方法は、用件判定装置における用件判定方法であって、顧客及び応対担当者の音声について音声認識処理を行って音声認識結果を生成するステップと、前記音声認識結果から用件を抽出するステップと、を含み、前記用件を抽出するステップは、前記音声認識結果のうち、前記応対担当者の発話が確認を表す用語で終了し、かつ直前の顧客の発話と共通する用語を所定以上含む場合に用件確認発話とし、前記用件確認発話の少なくとも直前の前記顧客の発話を用件発話とし、前記用件発話から用件を抽出することを特徴とする。
また、上記課題を解決するため、本発明に係る要約文表示方法は、顧客及び応対担当者の応対発話の要約を自動生成する要約文表示装置における要約文表示方法であって、顧客及び応対担当者の音声について音声認識処理を行って音声認識結果を生成するステップと、前記音声認識結果から用件を抽出するステップと、前記用件を含む要約文を生成すステップと、前記要約文を表示部に表示させるステップと、を含み、前記用件を抽出するステップは、前記音声認識結果のうち、前記応対担当者の発話が確認を表す用語で終了し、かつ直前の顧客の発話と共通する用語を所定以上含む場合に用件確認発話とし、前記用件確認発話の少なくとも直前の前記顧客の発話を用件発話とし、前記用件発話から用件を抽出することを特徴とする。

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記用件判定装置又は上記要約文表示装置として機能させることを特徴とする。

本発明によれば、コールセンタや窓口などで顧客応対を行う際に、顧客との応答内容の要約文を高精度且つ自動的に表示させることができる。そのため、応対記録の作成にかかる時間を短縮することができるようになる。さらに、端末操作スキルが高くない応対担当者であっても、容易に要約文を作成することができるようになる。

本発明の一実施形態に係る要約文表示装置の構成例を示すブロック図である。本発明の一実施形態に係る要約文表示装置における用件抽出を説明する図である。本発明の一実施形態に係る要約文表示装置における表示部の表示画面例を示す図である。本発明の一実施形態に係る要約文表示方法の一例を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

図１に、本発明の一実施形態に係る要約文表示装置の構成例を示す。図１に示す要約文表示装置１は、音声認識部１１と、用件抽出部１２と、要約文生成部１３と、表示制御部１４と、表示部１５とを備える。

要約文表示装置１は、応対担当者が顧客と応答する際に、応対担当者及び顧客の音声から応対発話の要約を自動で生成して表示させる装置である。応対担当者の代表例は、コールセンタのオペレータである。

音声認識部１１は、顧客及び応対担当者の音声をそれぞれ異なるチャンネル（２チャンネル）で入力する。そして、顧客及び応対担当者の音声についてそれぞれ音声認識処理を行い、該音声に対応した音声認識結果を示すテキストを生成し、用件抽出部１２及び表示制御部１４に出力する。ここで、音声認識処理においては、誤りが発生することがある。そこで、発話に含まれる単語の音声認識処理による認識結果として複数の候補を用意するＮ−ｂｅｓｔ法を用いた処理を行ってもよい。

用件抽出部１２は、音声認識部１１から入力されたテキストから、顧客の用件発話を特定して該用件発話から用件を抽出し、用件を示す情報（用件情報）を要約文生成部１３に出力する。また、応対担当者による応対が終了した場合には、応対が終了した旨を示す応対終了情報を要約文生成部１３に出力する。

用件抽出部１２は、上述した用件を抽出するとともに、さらに応対担当者の用件確認発話を特定して該用件確認発話から用件確認を抽出し、両者を示す情報を用件情報として要約文生成部１３に出力してもよい。

図２は、用件発話の抽出及び用件確認発話の抽出について説明する図である。図２の左側には顧客と応対担当者の応対の一例を示しており、実線の枠内には顧客の発話を示し、点線の枠内には応対担当者の発話を示している。この例では、顧客の発話のうち、「あのー、先日、息子が車の免許を取りまして」、及び「息子が運転しても、自動車保険の対象になるように変更をしたいのですが。」が用件発話である。そして、この用件発話を繋げて、「あのー」というフィラーを削除することにより、「先日、息子が車の免許を取りまして、息子が運転しても、自動車保険の対象になるように変更をしたいのですが。」という用件を抽出する。

また、応対担当者の発話のうち、「新しく免許を取られた息子さんを自動車保険の対象にしたいという事で、よろしいでしょうか。」が用件確認発話である。この用件確認発話にはフィラーが含まれないため、そのまま用件確認とする。

顧客との応対においては、顧客が用件に該当する発話（用件発話）をした直後に、応対担当者が用件を復唱して確認するための発話（用件確認発話）をすることが一般的である。用件抽出部１２は、このような対話構造を利用することができる。すなわち、用件抽出部１２は、用件確認発話を参照して用件を抽出することができる。

例えば、図２に示した例では、顧客が「あのー、先日、息子が車の免許を取りまして」、「息子が運転しても、自動車保険の対象になるように変更をしたいのですが。」という用件発話を行うと、応対担当者は「新しく免許を取られた息子さんを自動車保険の対象にしたいという事で、よろしいでしょうか。」という用件確認発話を行っている。このような対話構造を利用すると、応対担当者の発話が「〜でしょうか」、「〜ですか」、「〜ですね」といった確認を表す用語で終了し、かつ直前の顧客の発話と共通する用語が多い場合には、該応対担当者の発話を用件確認発話と特定することができる。また、応対担当者が「ご用件内容は、〜ですね。」というように、発話の先頭に用件を明示的に示す用語が含まれる場合には、該発話を用件確認発話と特定することができる。そして、用件確認発話の直前の顧客の発話を用件発話として特定することができる。なお、用件発話から用件を抽出する際、及び用件確認発話から用件確認を抽出する際には、「あのー」や「はい」といったフィラーを除去するのが望ましい。

要約文生成部１３は、用件抽出部１２から用件情報を取得すると、用件を含む要約文、あるいは、用件及び用件確認を含む要約文を生成し、表示制御部１４に出力する。要約文生成部１３は、用件情報によって示される用件を順次繋ぎ合せ、応対終了情報を取得した直後に要約文として表示制御部１４に出力してもよいが、リアルタイム性を重視する場合には、用件情報を取得するごとに要約文として表示制御部１４に出力する。用件及び用件確認は、要約の中で区別可能な状態とすることが望ましい。また、要約には、応対担当者が応対した日付や時間、応対担当者の名前などを含めてもよい。

表示制御部１４は、要約文生成部１３から要約文を示す情報を取得すると、要約文を表示部１５に表示させる。また、表示制御部１４は、音声認識部１１から音声認識結果であるテキストを取得し、表示部１５に表示させる。表示制御部１４は、要約文が用件及び用件確認を含む場合には、両者を区別して表示部１５に表示させることが望ましい。

また、表示制御部１４は、表示部１５に表示させた要約文のうち、応対担当者により選択された部分を応対記録として表示部１５にさらに表示させるようにしてもよい。

表示部１５は、表示制御部１４から入力されたデータを表示するディスプレイである。なお、本実施形態では、要約文表示装置１が表示部１５を備える構成としているが、表示部１５は要約文表示装置１とは独立した装置であってもよい。

図３に、表示部１５の表示画面例を示す。表示部１５が表示する画面は、左側画面領域１５１と、右上側画面領域１５２と、右下側画面領域１５３とを含む。

左側画面領域１５１は、音声認識部１１による音声認識結果がリアルタイムで表示される。なお、顧客の音声認識結果と応対担当者の音声認識結果は区別して表示される。図３では、顧客の音声認識結果を実線の枠内で示し、応対担当者の音声認識結果を点線の枠内で示している。

右上側画面領域１５２は、要約結果を表示する。要約結果として、用件発話から抽出された「用件」のみを表示してもよいし、図３に示すように、用件確認発話から抽出された「用件確認」をあわせて表示してもよい。音声認識部１１による音声認識、及び用件抽出部１２による用件抽出はリアルタイムで行われるため、用件が抽出されるごとに要約結果も更新される。

図３に示す例では、右上側画面領域１５２に「応対記録入力へ転記」というボタンが表示される。応対担当者により「用件」又は「用件確認」のうち、必要な部分を選択して「応対記録入力へ転記」というボタンがクリックされると、表示制御部１４は右下側画面領域１５３に選択された部分を表示させる（すなわち選択した文が転記される）。応対記録入力欄では、応対担当者による編集作業も可能である。したがって、自動で作成表示された要約結果のうち、必要な部分のみを利用でき、その後編集も可能とすることにより、応対記録を短時間で容易に作成することができる。

次に、要約文表示装置１による要約文表示方法について説明する。図４は、要約文表示方法の一例を示すフローチャートである。

まず、顧客及び応対担当者の音声を別チャンネルで入力し、音声認識部１１により顧客及び応対担当者の音声についてそれぞれ音声認識処理を行い（ステップＳ１０１）、音声認識結果を示すテキストを生成する（ステップＳ１０２）。

次に、用件抽出部１２によりステップＳ１０２で生成されたテキストを解析し、用件（及び用件確認）を抽出し（ステップＳ１０３）、要約文生成部１３により要約文を生成する（ステップＳ１０４）。

次に、表示制御部１４により、要約文生成部１３により生成された要約文を、表示部１５に表示させる（ステップＳ１０５）。

なお、上述した要約文表示装置１として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、要約文表示装置１の各機能を実現する処理内容を記述したプログラムを該コンピュータのデータベースに格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。

また、プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭなどの記録媒体であってもよい。

上述したように、本発明では、顧客及び応対担当者の音声認識結果から用件を抽出し、該用件を含む要約文を表示させる。本発明をコールセンタや窓口などで適用すると、顧客応対を行う際に、応対担当者が応対記録の作成にかかる時間を大幅に短縮させることができるようになる。したがって、コールセンタであれば、着台までの期間を短縮することができる。また、応対担当者は複雑な操作を要することなく、要約結果を自動表示させることができ、端末操作スキルが高くない応対担当者であっても、要約文の作成を容易に行うことができるようになる。

さらに、顧客の用件発話から用件を抽出するとともに、応対担当者の用件確認発話から用件確認を抽出し、両者を要約文として表示することにより、応対記録作成時にいずれかを選択することができ、より利便性を高めることができるようになる。

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態の構成図に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

１要約文表示装置
１１音声認識部
１２用件抽出部
１３要約文生成部
１４表示制御部
１５表示部
１５１左側画面領域
１５２右上側画面領域
１５３右下側画面領域

Claims

顧客及び応対担当者の音声について音声認識処理を行って音声認識結果を生成する音声認識部と、
前記音声認識結果から用件を抽出する用件抽出部と、
を備え、
前記用件抽出部は、前記音声認識結果のうち、前記応対担当者の発話が確認を表す用語で終了し、かつ直前の顧客の発話と共通する用語を所定以上含む場合に用件確認発話とし、前記用件確認発話の少なくとも直前の前記顧客の発話を用件発話とし、前記用件発話から用件を抽出することを特徴とする用件判定装置。
前記用件抽出部は、前記用件発話に加えて前記用件確認発話から前記用件を抽出することを特徴とする、請求項１に記載の用件判定装置。
顧客及び応対担当者の応対発話の要約を自動生成する要約文表示装置であって、
請求項１又は２に記載の用件判定装置と、
前記用件を含む要約文を生成する要約文生成部と、
前記要約文を表示部に表示させる表示制御部と、
を備えることを特徴とする要約文表示装置。
前記表示制御部は、前記用件及び前記用件確認を区別して前記要約文を前記表示部に表示させることを特徴とする、請求項３に記載の要約文表示装置。
前記表示制御部は、前記要約文のうち、選択された部分を応対記録として表示させることを特徴とする、請求項３又は４に記載の要約文表示装置。
用件判定装置における用件判定方法であって、
顧客及び応対担当者の音声について音声認識処理を行って音声認識結果を生成するステップと、
前記音声認識結果から用件を抽出するステップと、
を含み、
前記用件を抽出するステップは、前記音声認識結果のうち、前記応対担当者の発話が確認を表す用語で終了し、かつ直前の顧客の発話と共通する用語を所定以上含む場合に用件確認発話とし、前記用件確認発話の少なくとも直前の前記顧客の発話を用件発話とし、前記用件発話から用件を抽出することを特徴とする用件判定方法。
顧客及び応対担当者の応対発話の要約を自動生成する要約文表示装置における要約文表示方法であって、
顧客及び応対担当者の音声について音声認識処理を行って音声認識結果を生成するステップと、
前記音声認識結果から用件を抽出するステップと、
前記用件を含む要約文を生成すステップと、
前記要約文を表示部に表示させるステップと、
を含み、
前記用件を抽出するステップは、前記音声認識結果のうち、前記応対担当者の発話が確認を表す用語で終了し、かつ直前の顧客の発話と共通する用語を所定以上含む場合に用件確認発話とし、前記用件確認発話の少なくとも直前の前記顧客の発話を用件発話とし、前記用件発話から用件を抽出することを特徴とする要約文表示方法。
コンピュータを、請求項１又は２に記載の用件判定装置として機能させるためのプログラム。
コンピュータを、請求項３から５のいずれか一項に記載の要約文表示装置として機能させるためのプログラム。