WO2020066778A1 - 説明支援装置および説明支援方法 - Google Patents
説明支援装置および説明支援方法 Download PDFInfo
- Publication number
- WO2020066778A1 WO2020066778A1 PCT/JP2019/036504 JP2019036504W WO2020066778A1 WO 2020066778 A1 WO2020066778 A1 WO 2020066778A1 JP 2019036504 W JP2019036504 W JP 2019036504W WO 2020066778 A1 WO2020066778 A1 WO 2020066778A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- explanation
- utterance
- utterance sentence
- support device
- display
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
- G10L15/063—Training
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F40/00—Handling natural language data
- G06F40/30—Semantic analysis
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/18—Speech classification or search using natural language modelling
- G10L15/1822—Parsing for meaning understanding
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/01—Customer relationship services
- G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
- G06Q30/016—After-sales
Abstract
説明支援装置(2)は、ユーザ(4)の発話におけるチェック対象の説明事項(C1~C10)に関する情報を表示する。説明支援装置は、取得部(26)と、制御部(20)と、表示部(23)とを備える。取得部は、発話による発話文を示す入力情報を取得する。制御部は、発話文に関する説明事項のチェック結果を示す情報を生成する。表示部は、制御部によって生成された情報を表示する。表示部は、取得部によって順次、取得される入力情報が示す発話文において、説明事項が説明されたか否かを示すチェックリスト(50)を表示する。表示部は、チェックリストにおける説明事項のチェック結果を規定する各発話文の尤度に応じて当該発話文を含む表示情報(55,70)を表示する。
Description
本開示は、説明支援装置および説明支援方法に関する。
特許文献1は、コンピュータ端末を利用して行なわれる説明を支援するための説明支援システムを開示している。特許文献1の説明支援システムにおいて、コンピュータ端末の制御手段は、集音した音声の音声認識結果において、チェックリストに含まれるキーワードを検知した場合に、検知したキーワードを含めたメッセージをディスプレイに表示している。これとともに、制御手段は、キーワードの集音時期の音声認識結果を抽出し、バックヤード端末に説明状況を送信している。
本開示の目的は、ユーザが説明事項を説明することを情報処理でチェックする支援を行い易くすることができる説明支援装置及び説明支援方法を提供することにある。
本開示の一態様に係る説明支援装置は、ユーザの発話におけるチェック対象の説明事項に関する情報を表示する装置である。説明支援装置は、取得部と、制御部と、表示部とを備える。取得部は、発話による発話文を示す入力情報を取得する。制御部は、発話文に関する説明事項のチェック結果を示す情報を生成する。表示部は、制御部によって生成された情報を表示する。表示部は、取得部によって順次、取得される入力情報が示す発話文において、説明事項が説明されたか否かを示すチェックリストを表示する。表示部は、チェックリストにおける説明事項のチェック結果を規定する各発話文の尤度に応じて当該発話文を含む表示情報を表示する。
本開示の一態様に係る説明支援方法は、ユーザの発話におけるチェック対象の説明事項に関する情報を表示する方法である。本方法は、取得部が、発話による発話文を示す入力情報を取得するステップと、制御部が、発話文に関する説明事項のチェック結果を示す情報を生成するステップと、表示部が、制御部によって生成された情報を表示するステップとを含む。表示部は、取得部によって順次、取得される入力情報が示す発話文において、説明事項が説明されたか否かを示すチェックリストを表示する。表示部は、チェックリストにおける説明事項のチェック結果を規定する各発話文の尤度に応じて当該発話文を含む表示情報を表示する。
本開示に係る説明支援装置及び説明支援方法によると、ユーザが説明事項を説明することを情報処理でチェックする支援を行い易くすることができる。
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
(実施形態1)
以下、図面を用いて、本開示の実施形態1を説明する。
以下、図面を用いて、本開示の実施形態1を説明する。
1.構成
1-1.システム概要
実施形態1に係る説明支援システムについて、図1を用いて説明する。図1は、本実施形態に係る説明支援システム1の概要を示す図である。
1-1.システム概要
実施形態1に係る説明支援システムについて、図1を用いて説明する。図1は、本実施形態に係る説明支援システム1の概要を示す図である。
本システム1は、図1に示すように、説明支援装置2と、言語処理サーバ3と、音声認識サーバ11とを備える。本システム1は、例えば接客営業を行うユーザ4が顧客40に対する営業の会話において、商品の説明或いは契約時の説明上で重要な事項(即ち説明事項)を適切に発話しているのかを自動で検出し、営業会話のチェック結果を可視化する。
図1に示すように、本実施形態に係る説明支援装置2は、公衆電話網およびインターネット等の通信ネットワーク10を介して、ユーザ4の顧客40が所持する種々の顧客端末41と通信したり、各種サーバ3,11と通信したりする。本システム1は、例えばコールセンター或いは遠隔接客システム等において、オペレータ等のユーザ4が、顧客40に各種の説明を行う際の情報支援に適用可能である。
以下、本システム1における説明支援装置2及び各種サーバ3,11の構成について説明する。
1-2.説明支援装置の構成
本システム1における説明支援装置2の構成について、図2を参照して説明する。図2は、説明支援装置2の構成を例示するブロック図である。
本システム1における説明支援装置2の構成について、図2を参照して説明する。図2は、説明支援装置2の構成を例示するブロック図である。
説明支援装置2は、例えばパーソナルコンピュータ、タブレット端末又はスマートフォンなどの情報端末で構成される。図2に例示する説明支援装置2は、制御部20と、記憶部21と、操作部22と、表示部23と、機器インタフェース24と、ネットワークインタフェース25とを備える。以下、インタフェースを「I/F」と略記する。また、例えば説明支援装置2は、マイク26と、スピーカ27とを備える。
制御部20は、例えばソフトウェアと協働して所定の機能を実現するCPU又はMPUを含み、説明支援装置2の全体動作を制御する。制御部20は、記憶部21に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、制御部20は、本システム1における説明支援装置2の各種処理を実現するための命令群を含んだプログラムを実行する。上記のプログラムは、例えばアプリケーションプログラムであり、通信ネットワーク10等から提供されてもよいし、可搬性を有する記録媒体に格納されていてもよい。
なお、制御部20は、所定の機能を実現するように設計された専用の電子回路又は再構成可能な電子回路などのハードウェア回路であってもよい。制御部20は、CPU、MPU、GPU、GPGPU、TPU、マイコン、DSP、FPGA及びASIC等の種々の半導体集積回路で構成されてもよい。
記憶部21は、説明支援装置2の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部21は、図2に示すように、格納部21a及び一時記憶部21bを含む。
格納部21aは、所定の機能を実現するためのパラメータ、データ及び制御プログラム等を格納する。格納部21aは、例えばHDD又はSSDで構成される。例えば、格納部21aは、上記のプログラム及び本システム1のチェック対象となる説明事項を示すデータなどを格納する。
一時記憶部21bは、例えばDRAM又はSRAM等のRAMで構成され、データを一時的に記憶(即ち保持)する。例えば、一時記憶部21bは、制御部20の作業エリアとして機能してもよく、制御部20の内部メモリにおける記憶領域で構成されてもよい。
操作部22は、ユーザが操作を行うユーザインタフェース装置である。操作部22は、例えば、キーボード、マウス、タッチパッド、タッチパネル、ボタン、スイッチ及びこれらの組み合わせで構成される。操作部22は、ユーザの操作によって入力される諸情報を取得する取得部の一例である。
表示部23は、例えば、液晶ディスプレイ又は有機ELディスプレイで構成される。表示部23は、例えば本システム1によるチェック結果を示す情報を表示する。また、表示部23は、操作部22を操作するための各種アイコン及び操作部22から入力された情報など、各種の情報を表示してもよい。
機器I/F24は、説明支援装置2に外部機器を接続するための回路である。機器I/F24は、所定の通信規格にしたがい通信を行う通信部の一例である。所定の規格には、USB、HDMI(登録商標)、IEEE1395、WiFi、Bluetooth(登録商標)等が含まれる。機器I/F24は、説明支援装置2において外部機器に対し、諸情報を受信する取得部を構成してもよい。
ネットワークI/F25は、無線または有線の通信回線を介して説明支援装置2を通信ネットワーク10に接続するための回路である。ネットワークI/F25は所定の通信規格に準拠した通信を行う通信部の一例である。所定の通信規格には、IEEE802.3,IEEE802.11a/11b/11g/11ac、携帯通信の3G又は4G等の通信規格が含まれる。ネットワークI/F25は、説明支援装置2において通信ネットワーク10を介して、諸情報を受信する取得部を構成してもよい。
マイク26は、音声を収音して、収音結果の音声データを取得する入力デバイスである。マイク26は、本実施形態における取得部の一例である。マイク26及びスピーカ27は、例えば図1に例示するようにユーザ4が使用するヘッドセットを構成する。
スピーカ27は、音声データを音声出力する出力デバイスであり、本実施形態における出力部の一例である。マイク26及びスピーカ27は、説明支援装置2を構成する情報端末とは外付けで設けられてもよいし、当該情報端末に内蔵されてもよい。
以上のような説明支援装置2の構成は一例であり、説明支援装置2の構成はこれに限らない。また、説明支援装置2は、情報端末に限らない各種のコンピュータで構成されてもよい。また、説明支援装置2における取得部は、制御部20等における各種ソフトウェアとの協働によって実現されてもよい。説明支援装置2における取得部は、各種記憶媒体(例えば格納部21a)に格納された諸情報を制御部20の作業エリア(例えば一時記憶部21b)に読み出すことによって、諸情報の取得を行うものであってもよい。
1-3.サーバ構成
本システム1における各種サーバ3,11のハードウェア構成の一例として、言語処理サーバ3の構成を、図3を参照して説明する。図3は、本システム1における言語処理サーバ3の構成を例示するブロック図である。
本システム1における各種サーバ3,11のハードウェア構成の一例として、言語処理サーバ3の構成を、図3を参照して説明する。図3は、本システム1における言語処理サーバ3の構成を例示するブロック図である。
図3に例示する言語処理サーバ3は、演算処理部30と、記憶部31と、通信部32とを備える。言語処理サーバ3は、一つ又は複数のコンピュータで構成される。
演算処理部30は、例えばソフトウェアと協働して所定の機能を実現するCPU及びGPU等を含み、言語処理サーバ3の動作を制御する。演算処理部30は、記憶部31に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。
例えば、演算処理部30は、後述する説明事項をチェックするための自然言語処理を実行するプログラムとして、学習済みモデル35のプログラムを実行する。学習済みモデル35は、例えば順伝播型ニューラル言語モデル等の各種ニューラルネットワークで構成され、入力層、1つ又は複数の中間層および出力層を備える。例えば、学習済みモデル35の出力層は、複数の説明事項に対応する複数のノードを含み、説明事項毎の尤度を出力する。
さらに、演算処理部30は、例えばword2vec等により、学習済みモデル35に入力する入力ベクトルを生成するための単語埋め込みを実行してもよい。また、学習済みモデル35が単語埋め込みを含んでもよい。また、演算処理部30は、学習済みモデル35等の機械学習を行うためのプログラムを実行してもよい。上記の各種プログラムは、通信ネットワーク10等から提供されてもよいし、可搬性を有する記録媒体に格納されていてもよい。
なお、演算処理部30は、所定の機能を実現するように設計された専用の電子回路又は再構成可能な電子回路などのハードウェア回路であってもよい。演算処理部30は、CPU、GPU、TPU、MPU、マイコン、DSP、FPGA及びASIC等の種々の半導体集積回路で構成されてもよい。
記憶部31は、言語処理サーバ3の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体であり、例えばHDD又はSSDを含む。また、記憶部31は、例えばDRAM又はSRAM等を含み、演算処理部30の作業エリアとして機能してもよい。記憶部31は、例えば学習済みモデル35による自然言語処理における用語および言い回し等に関する各種辞書、並びに学習済みモデル35を規定する種々のパラメータ群及びプログラムを記憶する。パラメータ群は、例えばニューラルネットワークの各種重みパラメータを含む。記憶部31は、学習済みモデル35の機械学習を行うための訓練データおよびプログラムを記憶してもよい。
通信部32は、所定の通信規格にしたがい通信を行うためのI/F回路であり、通信ネットワーク10又は外部機器等に言語処理サーバ3を通信接続する。所定の通信規格には、IEEE802.3,IEEE802.11a/11b/11g/11ac、USB、HDMI、IEEE1395、WiFi、Bluetooth等が含まれる。
音声認識サーバ11は、以上のような言語処理サーバ3と同様の構成において、例えば学習済みモデル35の代わりに音声認識の機能を実現する音声認識モデルを備える。音声認識モデルは、種々の方式で構成可能であり、例えば機械学習された各種ニューラルネットワークで構成されてもよい。
本システム1における各種サーバ3,11は上記の構成に限定されず、種々の構成を有してもよい。本システム1は、クラウドコンピューティングにおいて実現されてもよい。また、各種サーバ3,11の機能を実現するハードウェア資源が共用されてもよい。また、各種サーバ3,11の一方又は双方の機能が、説明支援装置2に実装されてもよい。
2.動作
以上のように構成される説明支援システム1及び説明支援装置2の動作を以下説明する。
以上のように構成される説明支援システム1及び説明支援装置2の動作を以下説明する。
2-1.動作の概要
本実施形態に係る説明支援システム1及び説明支援装置2の動作の概要を、図1~図5を用いて説明する。
本実施形態に係る説明支援システム1及び説明支援装置2の動作の概要を、図1~図5を用いて説明する。
本システム1は、例えば図1に示すように、説明支援装置2がユーザ4と顧客40との会話のための音声通信を行う際に、ユーザ4による発話の内容をチェックする検出動作を行う。説明支援装置2は、本システム1の検出結果をユーザ4に可視化する情報の表示を行う。説明支援装置2の表示例を図4に例示する。
図4の表示例は、ユーザ4の会話に対する検出動作時におけるリアルタイムの表示の一例を示す。本表示例において、説明支援装置2の表示部23は、各種の操作ボタン5と、チェックリスト50と、発話リスト55とを表示している。操作ボタン5は、例えば操作部22によるクリック等で操作を受け付ける音声認識ボタン、リセットボタン、設定ボタンおよびアプリ終了ボタンを含む。
チェックリスト50は、複数の説明事項C1~C10と、各々の説明事項C1~C10に対応付けたチェックボックス51とを含む。説明事項C1~C10は、ユーザ4の発話においてチェック対象とする事項であり、予め設定される。説明事項C1~C10の個数は特に限定されず、適宜設定可能である。以下、説明事項C1~C10を総称して「説明事項C」という場合がある。チェックボックス51は、チェック記号52を有するオン状態と、有していないオフ状態とを有する。チェックリスト50は、チェックボックス51のオン/オフにより、各チェックボックス51に対応する説明事項Cが説明されたか否かを示す。
発話リスト55は、例えば最新の音声認識結果から過去の所定数分までの発話文に関する情報を順番に表示する。発話リスト55は、番号欄56と、発話文欄57と、備考欄58とを含む。番号欄56は、本システム1において音声認識された発話の順番を表す。発話文欄57は、音声認識結果の発話文を表す。備考欄58は、発話文に対応付けた注意事項等を表す。発話リスト55は、本実施形態における表示情報の一例である。
図4では、ユーザ4が「ABCカードにご入会いただけます」と発話した場合の表示例を示している。このとき、本システム1は、例えば上記内容の発話文53を音声認識して、発話文53が「カード入会案内」の説明事項C1を説明していることを検出する。説明支援装置2は、当該説明事項C1のチェックボックス51をオフ状態からオン状態に変更して、図4に示すように表示部23に表示する。
本システム1は、例えばユーザ4の発話毎に上記の検出動作を繰り返し、表示部23の表示をリアルタイムに更新する。図5に、ユーザ4が発話を繰り返した後の表示部23の表示例を示す。本システム1によると、ユーザ4は、例えば顧客40との会話中に自身の発話によって説明された説明事項C1~C7,C9,C10と説明されていない説明事項C8とを確認でき、ユーザ4の営業活動等を支援することができる。
以上のような検出動作を実行する際に、本システム1は、例えば学習済みモデル35による自然言語処理を発話文に適用して、説明事項C毎に尤度を算出する。尤度は、対応する発話文が説明事項Cを説明したと検出される程度を示し、例えば0~1の範囲内の値を有する。このような検出の過程についての情報をユーザ4に可視化することは、ユーザ4の支援をより適切に実現するべく本システム1を運用する上で、有用と考えられる。
そこで、本実施形態において、説明支援装置2は、例えば発話リスト55において、尤度に応じた情報を対応する発話文と共に表示する。例えば、図4の備考欄58における「カード入会案内[99%]」は、対応する発話文53について、「カード入会案内」という説明事項C1の尤度が「0.99」であることを示す。これにより、ユーザ4は、本システム1においてチェックリスト50のチェック結果が得られる過程で、各々の発話がどの程度、説明事項C1~C10を説明したと検出されているのかを確認することができる。
また、本実施形態の説明支援装置2は、以上のようなユーザ4による本システム1の検出結果の確認が、リアルタイムの検出動作時から事後的にも可能な履歴の表示を行う。ユーザ4による確認結果は、例えば本システム1の検出精度を改善するために有用となる。以下、本システム1及び説明支援装置2の動作の詳細を説明する。
2-2.説明支援システムの検出動作
本実施形態に係る説明支援システム1の検出動作について、図6を用いて説明する。図6は、本システム1の検出動作を説明するためのフローチャートである。
本実施形態に係る説明支援システム1の検出動作について、図6を用いて説明する。図6は、本システム1の検出動作を説明するためのフローチャートである。
図6のフローチャートに示す各処理は、本システム1における説明支援装置2の制御部20によって実行される。本フローチャートは、例えば操作部22を介して表示部23に表示された操作ボタン5において音声認識を実行する操作が行われたときに開始される(図4参照)。また、本フローチャートの開始時には、例えばチェックリスト50における全てのチェックボックス51はオフ状態に設定されている。
まず、説明支援装置2の制御部20は、ユーザ4の発話による音声を示す音声データを、マイク26において取得する(S1)。マイク26は、例えばユーザ4の会話中に音声を収音して、音声データを生成する。収音結果の音声データは、本実施形態における入力情報の一例である。
次に、制御部20は、音声認識サーバ11との通信により、発話の音声認識結果を示す発話文を取得する(S2)。この際、制御部20は、入力した音声データを、ネットワークI/F25を介して音声認識サーバ11に送信する。
音声認識サーバ11は、説明支援装置2からの音声データに応じて、音声認識モデルによる処理を実行し、発話文のテキストデータを生成して説明支援装置2に送信する。音声認識モデルによる処理は、音声データに対する発話分割および各種の音声認識処理を含む。説明支援装置2の制御部20は、音声認識サーバ11からネットワークI/F25を介して発話文を受信する(S2)と、受信した発話文と対応する音声データとを記憶部21に記録する。
次に、制御部20は、言語処理サーバ3との通信により、取得した発話文に対する説明事項C毎の尤度を含んだ尤度情報を取得する(S3)。この際、制御部20は、取得した発話文を、ネットワークI/F25を介して言語処理サーバ3に送信する。
言語処理サーバ3は、説明支援装置2から発話文を受信すると、学習済みモデル35による自然言語処理を実行し、尤度情報を生成して説明支援装置2に送信する。例えば、当該自然言語処理では、受信した発話文が単語埋め込みによって入力ベクトルに変換され、学習済みモデル35に入力される。学習済みモデル35は、入力ベクトルに基づき出力される説明事項C毎の尤度が、対応する発話文によって各説明事項Cが説明されたと検出することが予測される程度を表すように、機械学習されている。
次に、説明支援装置2の制御部20は、取得した発話文および尤度情報に基づいて、チェック表示処理を実行する(S4)。チェック表示処理は、尤度情報に基づいて、発話の音声認識結果の発話文毎に、各々の説明項目C1~C10が説明されたか否かをチェックして、例えば図4に示すようにチェック結果を表示する処理である。チェック表示処理の詳細については後述する。
制御部20は、例えば操作ボタン5の操作に基づいて、本システム1の検出動作が完了するか否かを判断する(S5)。制御部20は、検出動作が完了しないと判断した場合(S5でNO)、ステップS1に戻り、新たな発話についてステップS1以降の処理を実行する。ユーザ4は、例えば顧客40との会話を終えたときに検出動作を完了させるための操作を行う。
制御部20は、検出動作が完了すると判断した場合(S5でYES)、検出動作の履歴を示す履歴データを生成して、記憶部21に格納する(S6)。履歴データについては後述する(図8参照)。
制御部20は、履歴データを記憶部21に格納する(S6)と、本フローチャートによる処理を終了する。
以上の処理によると、ユーザ4が発話する毎に(S1)、音声認識結果の発話文の尤度が算出され(S2,S3)、各種説明事項C1~C10についてのチェック結果がリアルタイムに表示される(S4)。
以上のステップS2において取得された発話文の長さが所定値よりも短い場合、制御部20は、ステップS3の処理を省略してもよい。所定値は、発話文中に各種説明事項C1~C10の説明が含まれないと考えられる字数または語数等に設定できる。これにより、例えば会話中の相づち等、説明事項C1~C10の説明とは無関係な発話に対する処理負荷を低減することができる。
2-2-1.チェック表示処理
チェック表示処理(図6のS4)の詳細について、図7を用いて説明する。
チェック表示処理(図6のS4)の詳細について、図7を用いて説明する。
図7は、説明支援装置2によるチェック表示処理を説明するためのフローチャートを示す。図7のフローチャートは、図6のステップS2において1つの発話文が取得され、且つステップS3において当該発話文に対する尤度情報が取得された状態で開始される。
まず、説明支援装置2の制御部20は、予め設定された複数の説明事項C1~C10から1つの説明事項Cをチェック対象として選択する(S11)。図6のフローチャートは、1つの発話文に対して全ての説明事項C1~C10に関するチェックを行うために、ステップS11において1つずつ順番に説明事項Cを選択する。
次に、制御部20は、選択中の説明事項Cに関して、取得した尤度情報における尤度が、検出しきい値V1を上回るか否かを判断する(S12)。検出しきい値V1は、対応する説明事項Cが説明されたことを検出する基準を示すしきい値であり、例えば説明事項Cを説明した発話文が有する尤度を考慮して設定される。
制御部20は、選択中の説明事項Cの尤度が検出しきい値V1を上回ると判断すると(S12でYES)、チェックリスト50において当該説明事項Cに対応付けたチェックボックス51が、オン状態であるか否かを判断する(S13)。例えば、ユーザ4が会話中に未だ当該選択事項に関して説明しておらず、対応するチェックボックス51がオフ状態である場合、制御部20はステップS13でNOに進む。
制御部20は、選択中の説明事項Cのチェックボックス51がオン状態でないと判断すると(S13でNO)、当該チェックボックス51をオフ状態からオン状態に変更して、表示部23におけるチェックリスト50の表示を更新する(S14)。なお、ステップS14における表示の更新は、ステップS18と同時に行われてもよい
さらに、制御部20は、選択中の説明事項Cの尤度を、発話リスト55の備考欄58に表示する候補として保持する(S15)。具体的に、制御部20は、選択中の説明事項Cと尤度とを関連付けて、表示候補として記憶部21に保持する。
一方、選択中の説明事項Cのチェックボックス51がオン状態である場合(S13でYES)、制御部20は、ステップS14の処理を行わずにステップS15に進む。
また、制御部20は、選択中の説明事項Cの尤度が検出しきい値V1を上回らないと判断すると(S12でNO)、例えば、当該尤度が表示しきい値V2を上回るか否かを判断する(S16)。表示しきい値V2は、例えば検出しきい値V1の近傍を示す所定幅分、検出しきい値V1よりも小さい値に設定される。表示しきい値V2は、発話文の尤度が検出しきい値V1には到らないものの説明事項Cに関連する可能性があり、表示すべきと考えられる基準を示すしきい値である。
制御部20は、選択中の説明事項Cの尤度が表示しきい値V2を上回ると判断すると(S16でYES)、当該尤度を表示候補として保持する(S15)。一方、制御部20は、尤度が表示しきい値V2を上回らないと判断すると(S16でNO)、ステップS15の処理を行うことなく、ステップS17に進む。
制御部20は、チェック対象として全ての説明事項C1~C10が選択されたか否かを判断する(S17)。全ての説明事項C1~C10が選択されていない場合(S17でNO)、制御部20は、未選択の説明事項Cに関してステップS11以降の処理を行う。
制御部20は、全ての説明事項C1~C10を選択してチェックを行った後(S17でYES)、発話リスト55を更新して表示するように表示部23を制御する(S18)。具体的に、制御部20は、発話リスト55の発話文欄57に、発話文を追加表示させる(図4参照)。また、備考欄58の表示候補が保持されている場合(S15)、制御部20は、保持された情報を備考欄58に追加表示させる。
制御部20は、発話リスト55等を更新するように表示部23を制御する(S18)と、図6のステップS4の処理を終了して、ステップS5に進む。
以上の処理によると、ユーザ4の1回の発話に対する音声認識結果の発話文に対して、尤度情報に基づき各説明事項Cに関するチェックを行うことができる。この際、説明支援装置2は、尤度に応じて発話リスト55の表示の仕方を変化させる。ユーザ4は、チェックリスト50及び発話リスト55により、リアルタイムに自身の発話のチェック結果を確認することができる。
例えば、尤度が検出しきい値V1を上回る発話文に対しては、チェックリスト50におけるオン状態のチェックボックス51と共に、発話リスト55の備考欄58に尤度が表示される。これにより、ユーザ4は、どの程度の発話で説明事項Cが説明されたと検出されたか、或いはチェック後の会話中の発話においても充分な説明になっているか等を確認することができる。
また、尤度が検出しきい値V1に到らずとも、表示しきい値V2を上回る発話文に対しては、備考欄58に尤度が表示される。ユーザ4は、チェックボックス51がオフ状態のときの備考欄58において、自身の発話が説明事項Cの説明には足りないことを把握することができる。
また、尤度が表示しきい値V2を下回る発話文に対しては、発話リスト55の備考欄58に尤度は表示されない。これにより、例えば雑談など、何れの説明事項C1~C10にも無関係な発話について、備考欄58の表示を省略することができる。
また、以上の処理によると、1つの発話文に対する複数の説明事項Cの尤度が検出しきい値V1を上回った場合(S12でYES)、当該発話文に応じて複数のチェックボックス51がオン状態に更新可能である(S14)。1つの発話文に対する複数の説明事項Cの尤度が表示しきい値V2を上回った場合(S16でYES)、備考欄58には、例えば複数の尤度が併記される(S16,S18)。
2-3.履歴データについて
本実施形態に係る説明支援装置2は、以上のような検出動作が実施される毎に履歴データを記憶部21に蓄積する(図6のS6)。履歴データについて、図8を用いて説明する。
本実施形態に係る説明支援装置2は、以上のような検出動作が実施される毎に履歴データを記憶部21に蓄積する(図6のS6)。履歴データについて、図8を用いて説明する。
図8は、説明支援装置2における履歴データD1を説明するための図である。履歴データD1は、例えば「営業会話ID」毎に管理される。「営業会話ID」は、本システム1の検出動作が実施された会話を識別するIDである。履歴データD1は、例えば図8に示すように、「発話番号」と、「音声データ」と、「発話文」と、「尤度情報」と、「ユーザ評価情報」とを関連付けて記録する。
また、履歴データD1と、検出動作時に用いた検出しきい値V1とが、記憶部21において関連付けて管理されてもよい。検出しきい値V1は、各説明事項C1~C10について別々に管理されてもよい。
履歴データD1において、「発話番号」は、営業会話IDで識別される会話中において音声認識の対象となった発話の順番を示す。「音声データ」は、音声認識の対象となった発話の音声データであり、発話毎に別々のファイルに分割されている。「発話文」は、各発話番号のファイルの音声データに対応する発話の音声認識結果のテキストデータを示す。「尤度情報」は、発話文に対する説明事項C毎の尤度を含む。「ユーザ評価情報」は、後述するように、本システム1の検出結果に対するユーザ4の評価を示す。
図6のフローチャートにおいて、説明支援装置2の制御部20は、ステップS1~S5を繰り返す毎に取得される発話文と音声データと尤度情報とを互いに関連付け、順次に発話番号を割り当てて履歴データD1に記録する(S6)。なお、ステップS6の時点では、ユーザ評価情報は特に記録されず、空値「-」となる。
2-4.履歴の確認表示について
本実施形態の説明支援装置2は、以上のような履歴データD1に基づいて、ユーザ4に検出結果を確認させるための各種表示を行うことができる。説明支援装置2における履歴の確認表示について、図9~図12を用いて説明する。
本実施形態の説明支援装置2は、以上のような履歴データD1に基づいて、ユーザ4に検出結果を確認させるための各種表示を行うことができる。説明支援装置2における履歴の確認表示について、図9~図12を用いて説明する。
図9は、説明支援装置2の表示部23における営業会話リスト6の表示例を示す。営業会話リスト6は、例えば操作ボタン5において設定を確認する操作に応じて表示される。
営業会話リスト6は、例えば履歴データD1の営業会話ID毎に、本システム1による検出動作を実行した履歴の情報を管理する。図9の例において、営業会話リスト6は、担当者欄61と、日時欄62と、お客様欄63と、チェック履歴アイコン64と、発話履歴アイコン65とを含む。
営業会話リスト6において、担当者欄61は、本システム1による検出動作時の営業会話におけるユーザ4を表す。日時欄62は、営業会話が行われた日時を表す。お客様欄63は、検出動作時の営業会話における顧客40を表す。チェック履歴アイコン64は、チェック履歴画面を表示するための操作を受け付ける。チェック履歴画面は、本システム1による検出動作時の最終的なチェックリスト50を表示する。発話履歴アイコン65は、発話履歴画面を表示するための操作を受け付ける。
図10は、表示部23における発話履歴画面の表示例を示す。発話履歴画面は、操作された発話履歴アイコン65に対応付けられた営業会話の履歴データD1における発話履歴としての各発話文と、音声データを再生するための再生バー66とを対応付けて表示する。また、図10の表示例において、発話履歴画面には、検索バー67が表示されている。説明支援装置2は、検索バー67の操作に応じて、例えば発話文についてキーワード検索を行う。検索バー67の検索範囲は、発話文の行単位で指定されてもよい。
図11は、表示部23におけるチェック履歴画面の表示例を示す。本実施形態の説明支援装置2は、例えばチェック履歴画面のチェックリスト50において、説明事項C1~C10の何れかのテキスト部分をダブルクリックする等の操作を行うことにより、操作した説明事項Cについての検出履歴リスト70をポップアップで表示する。図11では、「確認連絡」という説明事項C2についての検出履歴リスト70が表示された状態を例示している。
検出履歴リスト70は、営業会話時に特定の説明事項Cを説明したと検出された、或いは説明した可能性がある発話文を含むリストである。検出履歴リスト70によると、本システム1の検出動作時にチェックボックス51をオン状態にした発話の発話文だけでなく、その後の発話においても当該説明事項Cを説明したと検出された発話文を確認することができる。検出履歴リスト70は、本実施形態における表示情報の一例である。
図11の表示例において、検出履歴リスト70は、再生バー71と、発話文と、システム検出ボックス72と、ユーザ評価ボックス73とを対応付けて表示する。システム検出ボックス72は、本システム1の検出動作時に、対応する発話文が説明事項を説明したと検出したか否かを表すオン/オフ状態を有する。
ユーザ評価ボックス73は、例えばシステム検出ボックス72が表す検出結果に対して正/誤の評価を表すオン/オフ状態を有する。ユーザ評価ボックス73のオン/オフ状態は、クリック等のユーザ4の操作により変更可能である。
本実施形態の説明支援装置2は、ユーザ評価ボックス73による情報を、履歴データD1のユーザ評価情報に格納する。履歴データD1におけるユーザ評価情報は、本システム1の検出精度の向上に用いることができる。例えば、本システム1における検出しきい値V1を調整したり、学習済みモデル35のアクティブラーニングなどの機械学習に、教師データとして用いたりすることができる。
以上のような検出履歴リスト70についての説明支援装置2の処理を、図12を用いて説明する。図12は、説明支援装置2による検出履歴の処理を説明するためのフローチャートである。
図12のフローチャートに示す各処理は、説明支援装置2の制御部20によって実行される。図12のフローチャートは、上述したチェック履歴画面において、操作部22を介してチェックリスト50における説明事項Cを指定する操作が入力されたときに開始される。
まず、制御部20は、ユーザ4の操作により指定された説明事項Cに関して、履歴データD1において検索しきい値V3を上回る尤度が関連付けされた発話文を検索する(S21)。検索しきい値V3は、特定の説明事項に関する検索を行うための基準となるしきい値であり、例えばV3=V1に設定される。検索しきい値V3はこれに限らず、例えばV2以上で且つV1以下の範囲内で適宜、設定されてもよい。
次に、制御部20は、履歴データD1の検索結果に基づいて、検索された発話文を含めるように検出履歴リスト70を生成し、例えばポップアップで検出履歴リスト70を表示部23に表示させる(S22)。この際、検出履歴リスト70におけるシステム検出ボックス72は、尤度が検出しきい値V1を上回るか否かに応じてオン又はオフに設定される。ユーザ評価ボックス73は、例えば初期状態において全てオフ又はオンに設定される。
次に、制御部20は、検出履歴リスト70における操作を受け付け、各種の操作に応じた制御を実行する(S23)。例えば、ユーザ評価ボックス73が操作された場合、制御部20は、操作されたユーザ評価ボックス73のオン状態又はオフ状態を切り替えて表示するように、表示部23を制御する。また、再生バー71が操作された場合、制御部20は、操作された再生バー71による音声を再生するように、スピーカ27を制御する。
制御部20は、例えば検出履歴リスト70のポップアップに付された閉ボタン75の操作に応じて、検出履歴リスト70の操作が完了したか否かを判断する(S24)。制御部20は、検出履歴リスト70の操作が完了するまで、ステップS23を実行する(S24でNO)。
検出履歴リスト70の操作が完了すると(S24でYES)、制御部20は、例えば操作完了時のユーザ評価ボックス73の状態に応じて、履歴データD1を更新する(S25)。制御部20は、記憶部21に格納された履歴データD1において、検出履歴リスト70の操作完了時における各発話文のユーザ評価ボックス73のオン状態又はオフ状態に応じて、ユーザ評価情報に「Y」又は「N」を記録する(図8参照)。この際、ユーザ評価情報において評価対象でない欄は「-」で維持される。
また、制御部20は、検出履歴リスト70のポップアップ表示を消去して(S26)、本フローチャートによる処理を終了する。なお、ステップS25,S26の処理順は特に限定されない。
以上の処理によると、制御部20は、ユーザ4が指定した説明事項Cに関する尤度に応じて、履歴データD1における発話文を含んだ検出履歴リスト70を表示部23に表示させる(S22)。検出履歴リスト70において、ユーザ4は、指定した説明事項Cに関する発話文の検出結果が適切か否かを評価することができる。
3.まとめ
以上のように、本実施形態において、説明支援装置2は、ユーザ4の発話におけるチェック対象の説明事項C1~C10に関する情報を表示する。説明支援装置2は、取得部の一例であるマイク26と、制御部20と、表示部23とを備える。マイク26は、発話による発話文を示す入力情報として音声データを取得する(S1)。制御部20は、発話文に関する説明事項のチェック結果を示す情報を生成する(S4)。表示部23は、制御部20によって生成された情報を表示する(S14,S18,S22)。表示部23は、マイク26部によって順次、取得される入力情報が示す発話文において、説明事項C1~C10が説明されたか否かを示すチェックリスト50を表示する。表示部23は、チェックリスト50における説明事項Cのチェック結果を規定する各発話文の尤度に応じて当該発話文を含む表示情報として、発話リスト55又は検出履歴リスト70を表示する(S18,S22)。
以上のように、本実施形態において、説明支援装置2は、ユーザ4の発話におけるチェック対象の説明事項C1~C10に関する情報を表示する。説明支援装置2は、取得部の一例であるマイク26と、制御部20と、表示部23とを備える。マイク26は、発話による発話文を示す入力情報として音声データを取得する(S1)。制御部20は、発話文に関する説明事項のチェック結果を示す情報を生成する(S4)。表示部23は、制御部20によって生成された情報を表示する(S14,S18,S22)。表示部23は、マイク26部によって順次、取得される入力情報が示す発話文において、説明事項C1~C10が説明されたか否かを示すチェックリスト50を表示する。表示部23は、チェックリスト50における説明事項Cのチェック結果を規定する各発話文の尤度に応じて当該発話文を含む表示情報として、発話リスト55又は検出履歴リスト70を表示する(S18,S22)。
以上の説明支援装置2によると、チェック対象の説明事項Cに関するチェックリスト50と共に、尤度に応じて発話文を含んだ表示情報が表示される。これにより、ユーザ4が説明事項Cを説明することを情報処理でチェックする支援を行い易くすることができる。
本実施形態において、チェックリスト50は、各発話文の尤度に基づいて説明事項Cが説明されたか否かを示す。ユーザ4は、表示情報における尤度に基づきチェックリスト50のチェック結果が得られていることを確認でき、ユーザ4の情報支援を行い易い。
本実施形態において、表示部23は、マイク26から入力情報が取得される毎に(S1)、発話リスト55を更新する(S18)。これにより、ユーザ4は発話中などリアルタイムに本システム1の検出結果を確認することができる。
本実施形態において、表示情報としての発話リスト55は、発話文を示す発話文欄57と、当該発話文の尤度の大きさを示す備考欄58とを含む。ユーザ4は、発話リスト55において発話文と尤度の大きさを見比べるように確認を行える。
本実施形態において、説明支援装置2は、発話文と尤度とを関連付けた履歴データD1を記録する記憶部21をさらに備える。制御部20は、記憶部21に記録された履歴データD1に基づき、表示情報としての検出履歴リスト70を生成する(S22)。これにより、ユーザ4は事後的に、本システム1の検出結果を確認することができる。検出履歴リスト70は、選択された説明事項Cについての音声データを再生するための再生バー71と、選択された説明事項Cについての発話文の表示を含んでもよい。
本実施形態において、検出履歴リスト70は、履歴データD1における発話文毎に、関連付けされた尤度が所定の検出しきい値V1を上回るか否かを示すシステム検出ボックス72を含む。システム検出ボックス72により、検出履歴リスト70においてユーザ4が本システム1の検出結果を確認し易くすることできる。
本実施形態において、検出履歴リスト70における発話文毎に、ユーザ評価ボックス73において説明事項Cのチェック結果を評価するユーザの操作を入力する操作部22をさらに備える。これにより、本システム1の検出結果に対するユーザ4の評価を示す情報を得ることができ、本システム1を運用し易くすることができる。
本実施形態において、説明支援装置2の取得部は、入力情報として音声データを取得するマイク26を含む。発話文は、音声データの音声認識結果を示す。ユーザ4が発話する音声に応じて、本システム1の検出動作を実施することができる。
本実施形態における説明支援方法は、ユーザ4の発話におけるチェック対象の説明事項C1~C10に関する情報を表示する方法である。本方法は、取得部が、発話による発話文を示す入力情報を取得するステップS1と、制御部20が、発話文に関する説明事項のチェック結果を示す情報を生成するステップS4と、表示部23が、制御部20によって生成された情報を表示するステップS14,S18,S22とを含む。表示部23は、取得部によって順次、取得される入力情報が示す発話文において、説明事項C1~C10が説明されたか否かを示すチェックリスト50を表示する。表示部23は、チェックリスト50における説明事項Cのチェック結果を規定する各発話文の尤度に応じて当該発話文を含む表示情報を表示する。
本実施形態では、上記の説明支援方法をコンピュータの制御部20に実行させるためのプログラムが提供される。本実施形態の説明支援方法によると、ユーザ4が説明事項Cを説明することを情報処理でチェックする支援を行い易くすることができる。
(実施形態2)
以下、図面を用いて、実施形態2を説明する。実施形態1では、ユーザ4の発話において説明事項が説明されたか否かを検出する説明支援システム1を説明した。実施形態2では、さらに、ユーザ4の発話においてNGフレーズの有無を検知する説明支援システム1について説明する。
以下、図面を用いて、実施形態2を説明する。実施形態1では、ユーザ4の発話において説明事項が説明されたか否かを検出する説明支援システム1を説明した。実施形態2では、さらに、ユーザ4の発話においてNGフレーズの有無を検知する説明支援システム1について説明する。
以下、実施形態1に係る説明支援システム1と同様の構成、動作の説明は適宜、省略して、本実施形態に係る説明支援システム1及び説明支援装置2を説明する。
図13は、実施形態2に係る説明支援システム1の検出動作を説明するためのフローチャートである。本実施形態に係る説明支援システム1は、図6と同様の処理に加えて、図13に示すようにNGフレーズの検知のための処理を実行する(S31~S33)。
本実施形態における説明支援装置2の制御部20は、ステップS2,S3で取得した発話文あるいは尤度情報に基づいて、発話文が、予め設定されたNGフレーズ(即ち禁止フレーズ)か否かを検知する(S31)。ステップS31の判断は、発話文において所定のNGフレーズをキーワード検出することによって行われてもよい。また、学習済みモデル35が、各種の説明事項C1~C10の尤度と共に、発話文がNGフレーズであることが予測される程度を示す尤度を出力するように機械学習されることによって、実現されてもよい。
制御部20は、発話文がNGフレーズでないことを検知すると(S31でNO)、説明支援装置2から顧客端末41へ、発話文に対応する音声データを送信する(S32)。例えば、制御部20は、ステップS1で取得した音声データを、ステップS31の判断時までバッファリングしておく。
一方、発話文がNGフレーズであることを検知すると(S31でYES)、説明支援装置2から顧客端末41への同音声データの送信を遮断するように、例えばネットワークI/F25を制御する(S33)。これにより、ユーザ4がNGフレーズを発話したことが検知されると、NGフレーズが発話された音声が、顧客40に認識されないようにすることができる。
図14は、本実施形態の説明支援装置2における表示例を示す。以上のようなNGフレーズが検知されたとき(S31でYES)、説明支援装置2は、チェック表示処理(S4)において、ユーザ4にNGフレーズを警告するための表示を行ってもよい。図14では、「大きな利益を約束できます」という発話文54がNGフレーズと検知されたときの表示例を示している。本表示例において、表示部23は、上記の発話文54に対応する備考欄58に「警告文」と表示している。これにより、NGフレーズが検知された時にユーザ4に注意喚起を促すことができる。
以上のように、本実施形態において、説明支援装置2は、外部に発話文を示す情報を送信するネットワークI/F25又は機器I/F24といった通信部をさらに備える。制御部20は、発話文において所定の禁止フレーズ即ちNGフレーズを検知すると、NGフレーズが検知された発話文を示す情報の送信を遮断するように、通信部を制御する。これにより、NGフレーズを示す情報が選択的に外部に送信されないようにして、ユーザ4に情報支援を行うことができる。
(他の実施形態)
以上のように、本出願において開示する技術の例示として、実施形態1~2を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
以上のように、本出願において開示する技術の例示として、実施形態1~2を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
上記の各実施形態において、説明支援システム1の説明支援装置2は、顧客端末41と音声通信を行った。本実施形態の説明支援装置2は、特に音声通信に限らず、各種データ通信を行ってもよい。
また、上記の各実施形態において、説明支援システム1の説明支援装置2は、顧客端末41と通信を行ったが、本実施形態の説明支援装置2は、特に顧客端末41と通信を行わなくてもよい。本システム1は、例えば金融機関の窓口など、各種の対面接客に適用されてもよい。この際、説明支援装置2は、ユーザ4の発話と顧客40の発話とを適宜、識別するように構成可能である。
また、上記の各実施形態において、説明支援装置2の入力情報として発話の音声データを例示した。本実施形態において、説明支援装置2の入力情報は音声データでなくてもよく、テキストデータであってもよい。本システム1は、例えば各種電子会議などにも適用可能である。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置換、付加、省略などを行うことができる。
本開示は、ユーザが各種の説明を行う際の情報支援に適用可能であり、例えばコールセンター、遠隔接客システム或いは各種の対面接客に適用可能である。
Claims (12)
- ユーザの発話におけるチェック対象の説明事項に関する情報を表示する説明支援装置であって、
前記発話による発話文を示す入力情報を取得する取得部と、
前記発話文に関する前記説明事項のチェック結果を示す情報を生成する制御部と、
前記制御部によって生成された情報を表示する表示部とを備え、
前記表示部は、
前記取得部によって順次、取得される入力情報が示す発話文において、前記説明事項が説明されたか否かを示すチェックリストを表示し、
前記チェックリストにおける前記説明事項のチェック結果を規定する各発話文の尤度に応じて当該発話文を含む表示情報を表示する
説明支援装置。 - 前記チェックリストは、前記各発話文の尤度に基づいて前記説明事項が説明されたか否かを示す
請求項1に記載の説明支援装置。 - 前記表示部は、前記取得部から前記入力情報が取得される毎に、前記表示情報を更新する
請求項1又は2に記載の説明支援装置。 - 前記表示情報は、前記発話文と、当該発話文の尤度の大きさとを示す情報を含む
請求項1~3のいずれか1項に記載の説明支援装置。 - 前記発話文と前記尤度とを関連付けた履歴データを記録する記憶部をさらに備え、
前記制御部は、前記記憶部に記録された履歴データに基づき、前記表示情報を生成する
請求項1~4のいずれか1項に記載の説明支援装置。 - 前記表示情報は、前記履歴データにおける発話文毎に、関連付けされた尤度が所定のしきい値を上回るか否かを示す情報を含む
請求項5に記載の説明支援装置。 - 前記表示情報は、選択された説明事項についての音声データを再生するための再生バーと、前記選択された説明事項についての発話文の表示を含む
請求項5に記載の説明支援装置。 - 前記表示情報における発話文毎に、前記説明事項のチェック結果を評価するユーザの操作を入力する操作部をさらに備える
請求項1~7のいずれか1項に記載の説明支援装置。 - 外部に前記発話文を示す情報を送信する通信部をさらに備え、
前記制御部は、前記発話文において所定の禁止フレーズを検知すると、前記禁止フレーズが検知された発話文を示す情報の送信を遮断するように、前記通信部を制御する
請求項1~8のいずれか1項に記載の説明支援装置。 - 前記取得部は、前記入力情報として音声データを取得するマイクを含み、
前記発話文は、前記音声データの音声認識結果を示す
請求項1~9のいずれか1項に記載の説明支援装置。 - ユーザの発話におけるチェック対象の説明事項に関する情報を表示する説明支援方法であって、
取得部が、前記発話による発話文を示す入力情報を取得するステップと、
制御部が、前記発話文に関する前記説明事項のチェック結果を示す情報を生成するステップと、
表示部が、前記制御部によって生成された情報を表示するステップとを含み、
前記表示部は、
前記取得部によって順次、取得される入力情報が示す発話文において、前記説明事項が説明されたか否かを示すチェックリストを表示し、
前記チェックリストにおける前記説明事項のチェック結果を規定する各発話文の尤度に応じて当該発話文を含む表示情報を表示する
説明支援方法。 - 請求項11に記載の方法をコンピュータに実行させるためのプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN201980039801.XA CN112334923A (zh) | 2018-09-27 | 2019-09-18 | 说明辅助装置以及说明辅助方法 |
US17/125,295 US11942086B2 (en) | 2018-09-27 | 2020-12-17 | Description support device and description support method |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018-182534 | 2018-09-27 | ||
JP2018182534A JP7142315B2 (ja) | 2018-09-27 | 2018-09-27 | 説明支援装置および説明支援方法 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
US17/125,295 Continuation US11942086B2 (en) | 2018-09-27 | 2020-12-17 | Description support device and description support method |
Publications (1)
Publication Number | Publication Date |
---|---|
WO2020066778A1 true WO2020066778A1 (ja) | 2020-04-02 |
Family
ID=69953451
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
PCT/JP2019/036504 WO2020066778A1 (ja) | 2018-09-27 | 2019-09-18 | 説明支援装置および説明支援方法 |
Country Status (4)
Country | Link |
---|---|
US (1) | US11942086B2 (ja) |
JP (1) | JP7142315B2 (ja) |
CN (1) | CN112334923A (ja) |
WO (1) | WO2020066778A1 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2620533A (en) * | 2021-03-31 | 2024-01-10 | Ntt Technocross Corp | Information processing device, information processing method, and program |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008033879A (ja) * | 2006-06-28 | 2008-02-14 | Aioi Kiso Kenkyusho:Kk | 契約支援システム |
JP2008123447A (ja) * | 2006-11-15 | 2008-05-29 | Mitsubishi Electric Information Systems Corp | オペレータ業務支援システム |
JP2013025609A (ja) * | 2011-07-22 | 2013-02-04 | Mizuho Information & Research Institute Inc | 説明支援システム、説明支援方法及び説明支援プログラム |
Family Cites Families (105)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6766069B1 (en) * | 1999-12-21 | 2004-07-20 | Xerox Corporation | Text selection from images of documents using auto-completion |
US20040174434A1 (en) * | 2002-12-18 | 2004-09-09 | Walker Jay S. | Systems and methods for suggesting meta-information to a camera user |
US10423862B2 (en) * | 2004-04-01 | 2019-09-24 | Google Llc | Capturing text from rendered documents using supplemental information |
US7461004B2 (en) * | 2004-05-27 | 2008-12-02 | Intel Corporation | Content filtering for a digital audio signal |
US8825379B2 (en) * | 2005-01-05 | 2014-09-02 | Sirius Xm Connected Vehicle Services Inc. | Systems and methods for off-board voice-automated vehicle navigation |
US7982609B2 (en) * | 2008-06-18 | 2011-07-19 | Microsoft Corporation | RFID-based enterprise intelligence |
US20100331041A1 (en) * | 2009-06-26 | 2010-12-30 | Fuji Xerox Co., Ltd. | System and method for language-independent manipulations of digital copies of documents through a camera phone |
US8521526B1 (en) * | 2010-07-28 | 2013-08-27 | Google Inc. | Disambiguation of a spoken query term |
US20120042288A1 (en) * | 2010-08-16 | 2012-02-16 | Fuji Xerox Co., Ltd. | Systems and methods for interactions with documents across paper and computers |
WO2012047541A1 (en) * | 2010-09-28 | 2012-04-12 | International Business Machines Corporation | Providing answers to questions using multiple models to score candidate answers |
US20120232983A1 (en) * | 2011-03-11 | 2012-09-13 | McKesson Speciality Arizona Inc. | Method and apparatus for providing dynamically optimized incentives |
US20230153347A1 (en) * | 2011-07-05 | 2023-05-18 | Michael Stewart Shunock | System and method for annotating images |
US8587635B2 (en) * | 2011-07-15 | 2013-11-19 | At&T Intellectual Property I, L.P. | Apparatus and method for providing media services with telepresence |
CN104919507B (zh) * | 2012-06-14 | 2018-06-26 | 百利游戏技术有限公司 | 用于增强现实游戏的系统和方法 |
US20150169525A1 (en) * | 2012-09-14 | 2015-06-18 | Leon Gomes Palm | Augmented reality image annotation |
US9685095B2 (en) * | 2013-06-24 | 2017-06-20 | SparxTeq Inc. | Systems and methods for assessment administration and evaluation |
JP6543460B2 (ja) * | 2013-12-18 | 2019-07-10 | ハーマン インターナショナル インダストリーズ インコーポレイテッド | 音声認識問い合わせ応答システム |
US10162337B2 (en) * | 2014-09-15 | 2018-12-25 | Desprez, Llc | Natural language user interface for computer-aided design systems |
US11599086B2 (en) * | 2014-09-15 | 2023-03-07 | Desprez, Llc | Natural language user interface for computer-aided design systems |
WO2016058847A1 (en) * | 2014-10-13 | 2016-04-21 | Thomson Licensing | Method for controlling the displaying of text for aiding reading on a display device, and apparatus adapted for carrying out the method, computer program, and computer readable storage medium |
EP3215956A1 (en) * | 2014-11-07 | 2017-09-13 | PCMS Holdings, Inc. | System and method for augmented reality annotations |
US9472115B2 (en) * | 2014-11-19 | 2016-10-18 | International Business Machines Corporation | Grading ontological links based on certainty of evidential statements |
US10007719B2 (en) * | 2015-01-30 | 2018-06-26 | Microsoft Technology Licensing, Llc | Compensating for individualized bias of search users |
EP3254453B1 (en) * | 2015-02-03 | 2019-05-08 | Dolby Laboratories Licensing Corporation | Conference segmentation based on conversational dynamics |
US20180190266A1 (en) * | 2015-02-03 | 2018-07-05 | Dolby Laboratories Licensing Corporation | Conference word cloud |
US11076052B2 (en) * | 2015-02-03 | 2021-07-27 | Dolby Laboratories Licensing Corporation | Selective conference digest |
US20170091572A1 (en) * | 2015-06-07 | 2017-03-30 | Apple Inc. | System And Method For Text Detection In An Image |
US10382379B1 (en) * | 2015-06-15 | 2019-08-13 | Guangsheng Zhang | Intelligent messaging assistant based on content understanding and relevance |
US10897490B2 (en) * | 2015-08-17 | 2021-01-19 | E-Plan, Inc. | Systems and methods for augmenting electronic content |
CN106470363B (zh) * | 2015-08-18 | 2019-09-13 | 阿里巴巴集团控股有限公司 | 对比赛进行文字直播的方法及装置 |
US10140314B2 (en) * | 2015-08-21 | 2018-11-27 | Adobe Systems Incorporated | Previews for contextual searches |
JP6589514B2 (ja) * | 2015-09-28 | 2019-10-16 | 株式会社デンソー | 対話装置及び対話制御方法 |
US10079021B1 (en) * | 2015-12-18 | 2018-09-18 | Amazon Technologies, Inc. | Low latency audio interface |
US10186255B2 (en) * | 2016-01-16 | 2019-01-22 | Genesys Telecommunications Laboratories, Inc. | Language model customization in speech recognition for speech analytics |
US10572524B2 (en) * | 2016-02-29 | 2020-02-25 | Microsoft Technology Licensing, Llc | Content categorization |
US9936066B1 (en) * | 2016-03-16 | 2018-04-03 | Noble Systems Corporation | Reviewing portions of telephone call recordings in a contact center using topic meta-data records |
US20170286383A1 (en) * | 2016-03-30 | 2017-10-05 | Microsoft Technology Licensing, Llc | Augmented imaging assistance for visual impairment |
GB2549117B (en) * | 2016-04-05 | 2021-01-06 | Intelligent Voice Ltd | A searchable media player |
US10609093B2 (en) * | 2016-05-06 | 2020-03-31 | Facebook, Inc. | Instantaneous call sessions over a communications application |
EP3809283A1 (en) * | 2016-05-13 | 2021-04-21 | Equals 3 LLC | Searching structured and unstructured data sets |
JP6719739B2 (ja) * | 2016-05-20 | 2020-07-08 | 日本電信電話株式会社 | 対話方法、対話システム、対話装置、及びプログラム |
EP3252769B8 (en) * | 2016-06-03 | 2020-04-01 | Sony Corporation | Adding background sound to speech-containing audio data |
US10621581B2 (en) * | 2016-06-11 | 2020-04-14 | Apple Inc. | User interface for transactions |
CN106205622A (zh) * | 2016-06-29 | 2016-12-07 | 联想(北京)有限公司 | 信息处理方法及电子设备 |
US20180025726A1 (en) * | 2016-07-22 | 2018-01-25 | International Business Machines Corporation | Creating coordinated multi-chatbots using natural dialogues by means of knowledge base |
US20210142706A1 (en) * | 2016-09-30 | 2021-05-13 | Hewlett-Packard Development Company, L.P. | Mobile device with transparent display and scanner |
US10896395B2 (en) * | 2016-09-30 | 2021-01-19 | Genesys Telecommunications Laboratories, Inc. | System and method for automatic quality management and coaching |
KR101934280B1 (ko) * | 2016-10-05 | 2019-01-03 | 현대자동차주식회사 | 발화내용 분석 장치 및 방법 |
JP6731326B2 (ja) * | 2016-10-31 | 2020-07-29 | ファーハット ロボティクス エービー | 音声対話装置及び音声対話方法 |
US10158634B2 (en) * | 2016-11-16 | 2018-12-18 | Bank Of America Corporation | Remote document execution and network transfer using augmented reality display devices |
US20180144738A1 (en) * | 2016-11-23 | 2018-05-24 | IPsoft Incorporated | Selecting output from candidate utterances in conversational interfaces for a virtual agent based upon a priority factor |
US10217375B2 (en) * | 2016-12-13 | 2019-02-26 | Bank Of America Corporation | Virtual behavior training using augmented reality user devices |
WO2018112445A1 (en) * | 2016-12-16 | 2018-06-21 | Second Mind Labs, Inc. | Systems to augment conversations with relevant information or automation using proactive bots |
US20210192302A1 (en) * | 2017-01-04 | 2021-06-24 | Advanced Functional Fabrics Of America | Uniquely Identifiable Articles of Fabric Configured for Data Communication |
US20180293221A1 (en) * | 2017-02-14 | 2018-10-11 | Microsoft Technology Licensing, Llc | Speech parsing with intelligent assistant |
US10558467B2 (en) * | 2017-03-30 | 2020-02-11 | International Business Machines Corporation | Dynamically generating a service pipeline comprising filtered application programming interfaces |
WO2018177561A1 (en) * | 2017-03-31 | 2018-10-04 | Intel Corporation | Management of human-machine dialogue involving multiple parties |
WO2019018982A1 (en) * | 2017-07-24 | 2019-01-31 | Beijing Didi Infinity Technology And Development Co., Ltd. | SYSTEM AND METHOD FOR PROVIDING INFORMATION FOR SERVICE ON DEMAND |
US10923121B2 (en) * | 2017-08-11 | 2021-02-16 | SlackTechnologies, Inc. | Method, apparatus, and computer program product for searchable real-time transcribed audio and visual content within a group-based communication system |
US20190065615A1 (en) * | 2017-08-28 | 2019-02-28 | Bridgit, S.P.C. | System for creating and retrieving contextual links between user interface objects |
US10812422B2 (en) * | 2017-08-31 | 2020-10-20 | Rpx Corporation | Directional augmented reality system |
US11249714B2 (en) * | 2017-09-13 | 2022-02-15 | Magical Technologies, Llc | Systems and methods of shareable virtual objects and virtual objects as message objects to facilitate communications sessions in an augmented reality environment |
US11430347B2 (en) * | 2017-09-18 | 2022-08-30 | Microsoft Technology Licensing, Llc | Providing diet assistance in a session |
WO2019136387A1 (en) * | 2018-01-08 | 2019-07-11 | Ebay Inc. | Artificial assistant system notifications |
JP7062966B2 (ja) * | 2018-01-19 | 2022-05-09 | 富士フイルムビジネスイノベーション株式会社 | 音声解析装置、音声解析システム、及びプログラム |
US10679620B2 (en) * | 2018-03-06 | 2020-06-09 | GM Global Technology Operations LLC | Speech recognition arbitration logic |
US11113472B2 (en) * | 2018-03-14 | 2021-09-07 | At&T Intellectual Property I, L.P. | Content curation for course generation |
US10782986B2 (en) * | 2018-04-20 | 2020-09-22 | Facebook, Inc. | Assisting users with personalized and contextual communication content |
US11322264B2 (en) * | 2018-04-23 | 2022-05-03 | DNAFeed Inc. | Systems and methods for human-augmented communications |
US20210235997A1 (en) * | 2018-04-30 | 2021-08-05 | Koninklijke Philips N.V. | Flagging a portion of a recording for review |
WO2019217096A1 (en) * | 2018-05-08 | 2019-11-14 | MZ IP Holdings, LLC. | System and method for automatically responding to user requests |
JP7059813B2 (ja) * | 2018-05-31 | 2022-04-26 | トヨタ自動車株式会社 | 音声対話システム、その処理方法及びプログラム |
JP7151181B2 (ja) * | 2018-05-31 | 2022-10-12 | トヨタ自動車株式会社 | 音声対話システム、その処理方法及びプログラム |
EP3811245A4 (en) * | 2018-06-19 | 2022-03-09 | Ellipsis Health, Inc. | MENTAL HEALTH ASSESSMENT SYSTEMS AND METHODS |
EP3785142A1 (en) * | 2018-07-09 | 2021-03-03 | Google LLC | Visual menu |
US20200043479A1 (en) * | 2018-08-02 | 2020-02-06 | Soundhound, Inc. | Visually presenting information relevant to a natural language conversation |
DE112018007847B4 (de) * | 2018-08-31 | 2022-06-30 | Mitsubishi Electric Corporation | Informationsverarbeitungsvorrichtung, informationsverarbeitungsverfahren und programm |
DK201870623A1 (en) * | 2018-09-11 | 2020-04-15 | Apple Inc. | USER INTERFACES FOR SIMULATED DEPTH EFFECTS |
US11353259B2 (en) * | 2018-09-18 | 2022-06-07 | Samsung Electronics Co., Ltd. | Augmented-reality refrigerator and method of controlling thereof |
EP3775733A4 (en) * | 2018-09-18 | 2021-09-22 | Samsung Electronics Co., Ltd. | REFRIGERATOR AND METHOD OF CONTROLLING IT |
US11295124B2 (en) * | 2018-10-08 | 2022-04-05 | Xerox Corporation | Methods and systems for automatically detecting the source of the content of a scanned document |
US11151307B2 (en) * | 2018-11-13 | 2021-10-19 | Adobe Inc. | Mapping annotations to ranges of text across documents |
US11340758B1 (en) * | 2018-12-27 | 2022-05-24 | Meta Platforms, Inc. | Systems and methods for distributing content |
US11017237B1 (en) * | 2018-12-27 | 2021-05-25 | Facebook, Inc. | Systems and methods for automated video classification |
WO2020148658A2 (en) * | 2019-01-18 | 2020-07-23 | Rathod Yogesh | Methods and systems for displaying on map current or nearest and nearby or searched and selected location(s), geo-fence(s), place(s) and user(s) and identifying associated payments and account information for enabling to make and receive payments |
US11631039B2 (en) * | 2019-02-11 | 2023-04-18 | SupportLogic, Inc. | Generating priorities for support tickets |
US11204743B2 (en) * | 2019-04-03 | 2021-12-21 | Hia Technologies, Inc. | Computer system and method for content authoring of a digital conversational character |
US11257272B2 (en) * | 2019-04-25 | 2022-02-22 | Lucid VR, Inc. | Generating synthetic image data for machine learning |
US10884575B2 (en) * | 2019-05-20 | 2021-01-05 | Microsoft Technology Licensing, Llc | Extensible and adaptable toolsets for collaboration applications |
US11280913B2 (en) * | 2019-05-31 | 2022-03-22 | At&T Intellectual Property I, L.P. | Global positioning system spoofing countermeasures |
US20200387276A1 (en) * | 2019-06-04 | 2020-12-10 | Tangible Play, Inc. | Virtualization of physical activity surface |
CA3137927A1 (en) * | 2019-06-06 | 2020-12-10 | Artie, Inc. | Multi-modal model for dynamically responsive virtual characters |
US11526484B2 (en) * | 2019-07-10 | 2022-12-13 | Madcap Software, Inc. | Methods and systems for creating and managing micro content from an electronic document |
CN113287103A (zh) * | 2019-08-05 | 2021-08-20 | 谷歌有限责任公司 | 媒体项中的事件进度检测 |
CN112416984A (zh) * | 2019-08-21 | 2021-02-26 | 华为技术有限公司 | 一种数据处理方法及其装置 |
US20210056251A1 (en) * | 2019-08-22 | 2021-02-25 | Educational Vision Technologies, Inc. | Automatic Data Extraction and Conversion of Video/Images/Sound Information from a Board-Presented Lecture into an Editable Notetaking Resource |
US11379529B2 (en) * | 2019-09-09 | 2022-07-05 | Microsoft Technology Licensing, Llc | Composing rich content messages |
US11849196B2 (en) * | 2019-09-11 | 2023-12-19 | Educational Vision Technologies, Inc. | Automatic data extraction and conversion of video/images/sound information from a slide presentation into an editable notetaking resource with optional overlay of the presenter |
EP4035316A1 (en) * | 2019-09-23 | 2022-08-03 | Direqt, Inc. | Enhancing messages with dynamic content |
US11636438B1 (en) * | 2019-10-18 | 2023-04-25 | Meta Platforms Technologies, Llc | Generating smart reminders by assistant systems |
AU2020376970A1 (en) * | 2019-10-28 | 2022-04-14 | Nui Markets Australia Pty Limited | Primary production trading platform system and interface |
US11556610B2 (en) * | 2019-11-08 | 2023-01-17 | Accenture Global Solutions Limited | Content alignment |
US11496797B2 (en) * | 2019-12-13 | 2022-11-08 | At&T Intellectual Property I, L.P. | Methods, systems, and devices for providing augmented reality content based on user engagement |
KR20210102698A (ko) * | 2020-02-12 | 2021-08-20 | 라인플러스 주식회사 | 영상 통화 봇을 이용한 커뮤니케이션을 제공하는 방법, 시스템, 및 컴퓨터 프로그램 |
US11093691B1 (en) * | 2020-02-14 | 2021-08-17 | Capital One Services, Llc | System and method for establishing an interactive communication session |
-
2018
- 2018-09-27 JP JP2018182534A patent/JP7142315B2/ja active Active
-
2019
- 2019-09-18 CN CN201980039801.XA patent/CN112334923A/zh active Pending
- 2019-09-18 WO PCT/JP2019/036504 patent/WO2020066778A1/ja active Application Filing
-
2020
- 2020-12-17 US US17/125,295 patent/US11942086B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008033879A (ja) * | 2006-06-28 | 2008-02-14 | Aioi Kiso Kenkyusho:Kk | 契約支援システム |
JP2008123447A (ja) * | 2006-11-15 | 2008-05-29 | Mitsubishi Electric Information Systems Corp | オペレータ業務支援システム |
JP2013025609A (ja) * | 2011-07-22 | 2013-02-04 | Mizuho Information & Research Institute Inc | 説明支援システム、説明支援方法及び説明支援プログラム |
Also Published As
Publication number | Publication date |
---|---|
US11942086B2 (en) | 2024-03-26 |
CN112334923A (zh) | 2021-02-05 |
JP2020052809A (ja) | 2020-04-02 |
JP7142315B2 (ja) | 2022-09-27 |
US20210104240A1 (en) | 2021-04-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11868732B2 (en) | System for minimizing repetition in intelligent virtual assistant conversations | |
US11289096B2 (en) | Providing answers to voice queries using user feedback | |
US10776580B2 (en) | Method for providing dialogue service with chatbot assisted by human agents | |
CN107039038B (zh) | 学习个性化实体发音 | |
US10163440B2 (en) | Generic virtual personal assistant platform | |
US20190027147A1 (en) | Automatic integration of image capture and recognition in a voice-based query to understand intent | |
US11158310B2 (en) | Intelligent assistance for handling usage modes | |
US11087377B2 (en) | Agent coaching using voice services | |
US10083686B2 (en) | Analysis object determination device, analysis object determination method and computer-readable medium | |
WO2018213300A1 (en) | Method and system for developing, training, and deploying effective intelligent virtual agent | |
US10382370B1 (en) | Automated service agents | |
US20150302850A1 (en) | Email-like user interface for training natural language systems | |
US20170084273A1 (en) | Automatic performance of user interaction operations on a computing device | |
US10922738B2 (en) | Intelligent assistance for support agents | |
US11011176B1 (en) | Voice synthesis for virtual agents | |
WO2016136207A1 (ja) | 音声対話装置、音声対話システム、音声対話装置の制御方法、および、プログラム | |
WO2020066778A1 (ja) | 説明支援装置および説明支援方法 | |
US10976997B2 (en) | Electronic device outputting hints in an offline state for providing service according to user context | |
JP2021530794A (ja) | インテリジェントアシスタントおよび産業機械とのやり取りのための方法、システム、および、コンピュータプログラム製品 | |
JP2007304776A (ja) | 文書検索装置 | |
JP2011065304A (ja) | 接客業務用サーバ、並びに、当該サーバを用いる接客システム及び接客業務の予測終了時間算出方法 | |
WO2018043137A1 (ja) | 情報処理装置及び情報処理方法 | |
JP5947159B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
US20230138820A1 (en) | Real-time name mispronunciation detection | |
JP2020027441A (ja) | 営業提案システム、営業提案プログラム及び営業提案方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 19867018 Country of ref document: EP Kind code of ref document: A1 |
|
NENP | Non-entry into the national phase |
Ref country code: DE |
|
122 | Ep: pct application non-entry in european phase |
Ref document number: 19867018 Country of ref document: EP Kind code of ref document: A1 |