JP7142315B2 - 説明支援装置および説明支援方法 - Google Patents

説明支援装置および説明支援方法 Download PDF

Info

Publication number
JP7142315B2
JP7142315B2 JP2018182534A JP2018182534A JP7142315B2 JP 7142315 B2 JP7142315 B2 JP 7142315B2 JP 2018182534 A JP2018182534 A JP 2018182534A JP 2018182534 A JP2018182534 A JP 2018182534A JP 7142315 B2 JP7142315 B2 JP 7142315B2
Authority
JP
Japan
Prior art keywords
explanation
utterance
support device
display
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018182534A
Other languages
English (en)
Other versions
JP2020052809A (ja
Inventor
夏樹 佐伯
昭一 荒木
昌克 星見
孝浩 釜井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2018182534A priority Critical patent/JP7142315B2/ja
Priority to CN201980039801.XA priority patent/CN112334923A/zh
Priority to PCT/JP2019/036504 priority patent/WO2020066778A1/ja
Publication of JP2020052809A publication Critical patent/JP2020052809A/ja
Priority to US17/125,295 priority patent/US11942086B2/en
Application granted granted Critical
Publication of JP7142315B2 publication Critical patent/JP7142315B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1822—Parsing for meaning understanding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/01—Customer relationship services
    • G06Q30/015—Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016—After-sales

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Artificial Intelligence (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • General Engineering & Computer Science (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Machine Translation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本開示は、説明支援装置および説明支援方法に関する。
特許文献１は、コンピュータ端末を利用して行なわれる説明を支援するための説明支援システムを開示している。特許文献１の説明支援システムにおいて、コンピュータ端末の制御手段は、集音した音声の音声認識結果において、チェックリストに含まれるキーワードを検知した場合に、検知したキーワードを含めたメッセージをディスプレイに表示している。これとともに、制御手段は、キーワードの集音時期の音声認識結果を抽出し、バックヤード端末に説明状況を送信している。
特開２０１３－２５６０９号公報
本開示の目的は、ユーザが説明事項を説明することを情報処理でチェックする支援を行い易くすることができる説明支援装置及び説明支援方法を提供することにある。
本開示の一態様に係る説明支援装置は、ユーザの発話におけるチェック対象の説明事項に関する情報を表示する装置である。説明支援装置は、取得部と、制御部と、表示部とを備える。取得部は、発話による発話文を示す入力情報を取得する。制御部は、発話文に関する説明事項のチェック結果を示す情報を生成する。表示部は、制御部によって生成された情報を表示する。表示部は、取得部によって順次、取得される入力情報が示す発話文において、説明事項が説明されたか否かを示すチェックリストを表示する。表示部は、チェックリストにおける説明事項のチェック結果を規定する各発話文の尤度に応じて当該発話文を含む表示情報を表示する。
本開示の一態様に係る説明支援方法は、ユーザの発話におけるチェック対象の説明事項に関する情報を表示する方法である。本方法は、取得部が、発話による発話文を示す入力情報を取得するステップと、制御部が、発話文に関する説明事項のチェック結果を示す情報を生成するステップと、表示部が、制御部によって生成された情報を表示するステップとを含む。表示部は、取得部によって順次、取得される入力情報が示す発話文において、説明事項が説明されたか否かを示すチェックリストを表示する。表示部は、チェックリストにおける説明事項のチェック結果を規定する各発話文の尤度に応じて当該発話文を含む表示情報を表示する。
本開示に係る説明支援装置及び説明支援方法によると、ユーザが説明事項を説明することを情報処理でチェックする支援を行い易くすることができる。
本開示の実施形態１に係る説明支援システムの概要を示す図 説明支援システムにおける説明支援装置の構成を例示するブロック図 説明支援システムにおける言語処理サーバの構成を例示するブロック図 実施形態１の説明支援装置における表示例を示す図 図４の後の説明支援装置における表示例を示す図 実施形態１に係る説明支援システムの検出動作を説明するためのフローチャート 説明支援装置によるチェック表示処理を説明するためのフローチャート 説明支援装置における履歴データを説明するための図 説明支援装置における営業会話リストの表示例を示す図 説明支援装置における発話履歴画面の表示例を示す図 説明支援装置におけるチェック履歴画面の表示例を示す図 説明支援装置による検出履歴の処理を説明するためのフローチャート 実施形態２に係る説明支援システムの検出動作を説明するためのフローチャート 実施形態２の説明支援装置における表示例を示す図
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
なお、出願人は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
（実施形態１）
以下、図面を用いて、本開示の実施形態１を説明する。
１．構成
１－１．システム概要
実施形態１に係る説明支援システムについて、図１を用いて説明する。図１は、本実施形態に係る説明支援システム１の概要を示す図である。
本システム１は、図１に示すように、説明支援装置２と、言語処理サーバ３と、音声認識サーバ１１とを備える。本システム１は、例えば接客営業を行うユーザ４が顧客４０に対する営業の会話において、商品の説明或いは契約時の説明上で重要な事項（即ち説明事項）を適切に発話しているのかを自動で検出し、営業会話のチェック結果を可視化する。
図１に示すように、本実施形態に係る説明支援装置２は、公衆電話網およびインターネット等の通信ネットワーク１０を介して、ユーザ４の顧客４０が所持する種々の顧客端末４１と通信したり、各種サーバ３，１１と通信したりする。本システム１は、例えばコールセンター或いは遠隔接客システム等において、オペレータ等のユーザ４が、顧客４０に各種の説明を行う際の情報支援に適用可能である。
以下、本システム１における説明支援装置２及び各種サーバ３，１１の構成について説明する。
１－２．説明支援装置の構成
本システム１における説明支援装置２の構成について、図２を参照して説明する。図２は、説明支援装置２の構成を例示するブロック図である。
説明支援装置２は、例えばパーソナルコンピュータ、タブレット端末又はスマートフォンなどの情報端末で構成される。図２に例示する説明支援装置２は、制御部２０と、記憶部２１と、操作部２２と、表示部２３と、機器インタフェース２４と、ネットワークインタフェース２５とを備える。以下、インタフェースを「Ｉ／Ｆ」と略記する。また、例えば説明支援装置２は、マイク２６と、スピーカ２７とを備える。
制御部２０は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ又はＭＰＵを含み、説明支援装置２の全体動作を制御する。制御部２０は、記憶部２１に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。例えば、制御部２０は、本システム１における説明支援装置２の各種処理を実現するための命令群を含んだプログラムを実行する。上記のプログラムは、例えばアプリケーションプログラムであり、通信ネットワーク１０等から提供されてもよいし、可搬性を有する記録媒体に格納されていてもよい。
なお、制御部２０は、所定の機能を実現するように設計された専用の電子回路又は再構成可能な電子回路などのハードウェア回路であってもよい。制御部２０は、ＣＰＵ、ＭＰＵ、ＧＰＵ、ＧＰＧＰＵ、ＴＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ及びＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。
記憶部２１は、説明支援装置２の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体である。記憶部２１は、図２に示すように、格納部２１ａ及び一時記憶部２１ｂを含む。
格納部２１ａは、所定の機能を実現するためのパラメータ、データ及び制御プログラム等を格納する。格納部２１ａは、例えばＨＤＤ又はＳＳＤで構成される。例えば、格納部２１ａは、上記のプログラム及び本システム１のチェック対象となる説明事項を示すデータなどを格納する。
一時記憶部２１ｂは、例えばＤＲＡＭ又はＳＲＡＭ等のＲＡＭで構成され、データを一時的に記憶（即ち保持）する。例えば、一時記憶部２１ｂは、制御部２０の作業エリアとして機能してもよく、制御部２０の内部メモリにおける記憶領域で構成されてもよい。
操作部２２は、ユーザが操作を行うユーザインタフェース装置である。操作部２２は、例えば、キーボード、マウス、タッチパッド、タッチパネル、ボタン、スイッチ及びこれらの組み合わせで構成される。操作部２２は、ユーザの操作によって入力される諸情報を取得する取得部の一例である。
表示部２３は、例えば、液晶ディスプレイ又は有機ＥＬディスプレイで構成される。表示部２３は、例えば本システム１によるチェック結果を示す情報を表示する。また、表示部２３は、操作部２２を操作するための各種アイコン及び操作部２２から入力された情報など、各種の情報を表示してもよい。
機器Ｉ／Ｆ２４は、説明支援装置２に外部機器を接続するための回路である。機器Ｉ／Ｆ２４は、所定の通信規格にしたがい通信を行う通信部の一例である。所定の規格には、ＵＳＢ、ＨＤＭＩ（登録商標）、ＩＥＥＥ１３９５、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等が含まれる。機器Ｉ／Ｆ２４は、説明支援装置２において外部機器に対し、諸情報を受信する取得部を構成してもよい。
ネットワークＩ／Ｆ２５は、無線または有線の通信回線を介して説明支援装置２を通信ネットワーク１０に接続するための回路である。ネットワークＩ／Ｆ２５は所定の通信規格に準拠した通信を行う通信部の一例である。所定の通信規格には、ＩＥＥＥ８０２．３，ＩＥＥＥ８０２．１１ａ／１１ｂ／１１ｇ／１１ａｃ、携帯通信の３Ｇ又は４Ｇ等の通信規格が含まれる。ネットワークＩ／Ｆ２５は、説明支援装置２において通信ネットワーク１０を介して、諸情報を受信する取得部を構成してもよい。
マイク２６は、音声を収音して、収音結果の音声データを取得する入力デバイスである。マイク２６は、本実施形態における取得部の一例である。マイク２６及びスピーカ２７は、例えば図１に例示するようにユーザ４が使用するヘッドセットを構成する。
スピーカ２７は、音声データを音声出力する出力デバイスであり、本実施形態における出力部の一例である。マイク２６及びスピーカ２７は、説明支援装置２を構成する情報端末とは外付けで設けられてもよいし、当該情報端末に内蔵されてもよい。
以上のような説明支援装置２の構成は一例であり、説明支援装置２の構成はこれに限らない。また、説明支援装置２は、情報端末に限らない各種のコンピュータで構成されてもよい。また、説明支援装置２における取得部は、制御部２０等における各種ソフトウェアとの協働によって実現されてもよい。説明支援装置２における取得部は、各種記憶媒体（例えば格納部２１ａ）に格納された諸情報を制御部２０の作業エリア（例えば一時記憶部２１ｂ）に読み出すことによって、諸情報の取得を行うものであってもよい。
１－３．サーバ構成
本システム１における各種サーバ３，１１のハードウェア構成の一例として、言語処理サーバ３の構成を、図３を参照して説明する。図３は、本システム１における言語処理サーバ３の構成を例示するブロック図である。
図３に例示する言語処理サーバ３は、演算処理部３０と、記憶部３１と、通信部３２とを備える。言語処理サーバ３は、一つ又は複数のコンピュータで構成される。
演算処理部３０は、例えばソフトウェアと協働して所定の機能を実現するＣＰＵ及びＧＰＵ等を含み、言語処理サーバ３の動作を制御する。演算処理部３０は、記憶部３１に格納されたデータ及びプログラムを読み出して種々の演算処理を行い、各種の機能を実現する。
例えば、演算処理部３０は、後述する説明事項をチェックするための自然言語処理を実行するプログラムとして、学習済みモデル３５のプログラムを実行する。学習済みモデル３５は、例えば順伝播型ニューラル言語モデル等の各種ニューラルネットワークで構成され、入力層、１つ又は複数の中間層および出力層を備える。例えば、学習済みモデル３５の出力層は、複数の説明事項に対応する複数のノードを含み、説明事項毎の尤度を出力する。
さらに、演算処理部３０は、例えばｗｏｒｄ２ｖｅｃ等により、学習済みモデル３５に入力する入力ベクトルを生成するための単語埋め込みを実行してもよい。また、学習済みモデル３５が単語埋め込みを含んでもよい。また、演算処理部３０は、学習済みモデル３５等の機械学習を行うためのプログラムを実行してもよい。上記の各種プログラムは、通信ネットワーク１０等から提供されてもよいし、可搬性を有する記録媒体に格納されていてもよい。
なお、演算処理部３０は、所定の機能を実現するように設計された専用の電子回路又は再構成可能な電子回路などのハードウェア回路であってもよい。演算処理部３０は、ＣＰＵ、ＧＰＵ、ＴＰＵ、ＭＰＵ、マイコン、ＤＳＰ、ＦＰＧＡ及びＡＳＩＣ等の種々の半導体集積回路で構成されてもよい。
記憶部３１は、言語処理サーバ３の機能を実現するために必要なプログラム及びデータを記憶する記憶媒体であり、例えばＨＤＤ又はＳＳＤを含む。また、記憶部３１は、例えばＤＲＡＭ又はＳＲＡＭ等を含み、演算処理部３０の作業エリアとして機能してもよい。記憶部３１は、例えば学習済みモデル３５による自然言語処理における用語および言い回し等に関する各種辞書、並びに学習済みモデル３５を規定する種々のパラメータ群及びプログラムを記憶する。パラメータ群は、例えばニューラルネットワークの各種重みパラメータを含む。記憶部３１は、学習済みモデル３５の機械学習を行うための訓練データおよびプログラムを記憶してもよい。
通信部３２は、所定の通信規格にしたがい通信を行うためのＩ／Ｆ回路であり、通信ネットワーク１０又は外部機器等に言語処理サーバ３を通信接続する。所定の通信規格には、ＩＥＥＥ８０２．３，ＩＥＥＥ８０２．１１ａ／１１ｂ／１１ｇ／１１ａｃ、ＵＳＢ、ＨＤＭＩ、ＩＥＥＥ１３９５、ＷｉＦｉ、Ｂｌｕｅｔｏｏｔｈ等が含まれる。
音声認識サーバ１１は、以上のような言語処理サーバ３と同様の構成において、例えば学習済みモデル３５の代わりに音声認識の機能を実現する音声認識モデルを備える。音声認識モデルは、種々の方式で構成可能であり、例えば機械学習された各種ニューラルネットワークで構成されてもよい。
本システム１における各種サーバ３，１１は上記の構成に限定されず、種々の構成を有してもよい。本システム１は、クラウドコンピューティングにおいて実現されてもよい。また、各種サーバ３，１１の機能を実現するハードウェア資源が共用されてもよい。また、各種サーバ３，１１の一方又は双方の機能が、説明支援装置２に実装されてもよい。
２．動作
以上のように構成される説明支援システム１及び説明支援装置２の動作を以下説明する。
２－１．動作の概要
本実施形態に係る説明支援システム１及び説明支援装置２の動作の概要を、図１～図５を用いて説明する。
本システム１は、例えば図１に示すように、説明支援装置２がユーザ４と顧客４０との会話のための音声通信を行う際に、ユーザ４による発話の内容をチェックする検出動作を行う。説明支援装置２は、本システム１の検出結果をユーザ４に可視化する情報の表示を行う。説明支援装置２の表示例を図４に例示する。
図４の表示例は、ユーザ４の会話に対する検出動作時におけるリアルタイムの表示の一例を示す。本表示例において、説明支援装置２の表示部２３は、各種の操作ボタン５と、チェックリスト５０と、発話リスト５５とを表示している。操作ボタン５は、例えば操作部２２によるクリック等で操作を受け付ける音声認識ボタン、リセットボタン、設定ボタンおよびアプリ終了ボタンを含む。
チェックリスト５０は、複数の説明事項Ｃ１～Ｃ１０と、各々の説明事項Ｃ１～Ｃ１０に対応付けたチェックボックス５１とを含む。説明事項Ｃ１～Ｃ１０は、ユーザ４の発話においてチェック対象とする事項であり、予め設定される。説明事項Ｃ１～Ｃ１０の個数は特に限定されず、適宜設定可能である。以下、説明事項Ｃ１～Ｃ１０を総称して「説明事項Ｃ」という場合がある。チェックボックス５１は、チェック記号５２を有するオン状態と、有していないオフ状態とを有する。チェックリスト５０は、チェックボックス５１のオン／オフにより、各チェックボックス５１に対応する説明事項Ｃが説明されたか否かを示す。
発話リスト５５は、例えば最新の音声認識結果から過去の所定数分までの発話文に関する情報を順番に表示する。発話リスト５５は、番号欄５６と、発話文欄５７と、備考欄５８とを含む。番号欄５６は、本システム１において音声認識された発話の順番を表す。発話文欄５７は、音声認識結果の発話文を表す。備考欄５８は、発話文に対応付けた注意事項等を表す。発話リスト５５は、本実施形態における表示情報の一例である。
図４では、ユーザ４が「ＡＢＣカードにご入会いただけます」と発話した場合の表示例を示している。このとき、本システム１は、例えば上記内容の発話文５３を音声認識して、発話文５３が「カード入会案内」の説明事項Ｃ１を説明していることを検出する。説明支援装置２は、当該説明事項Ｃ１のチェックボックス５１をオフ状態からオン状態に変更して、図４に示すように表示部２３に表示する。
本システム１は、例えばユーザ４の発話毎に上記の検出動作を繰り返し、表示部２３の表示をリアルタイムに更新する。図５に、ユーザ４が発話を繰り返した後の表示部２３の表示例を示す。本システム１によると、ユーザ４は、例えば顧客４０との会話中に自身の発話によって説明された説明事項Ｃ１～Ｃ７，Ｃ９，Ｃ１０と説明されていない説明事項Ｃ８とを確認でき、ユーザ４の営業活動等を支援することができる。
以上のような検出動作を実行する際に、本システム１は、例えば学習済みモデル３５による自然言語処理を発話文に適用して、説明事項Ｃ毎に尤度を算出する。尤度は、対応する発話文が説明事項Ｃを説明したと検出される程度を示し、例えば０～１の範囲内の値を有する。このような検出の過程についての情報をユーザ４に可視化することは、ユーザ４の支援をより適切に実現するべく本システム１を運用する上で、有用と考えられる。
そこで、本実施形態において、説明支援装置２は、例えば発話リスト５５において、尤度に応じた情報を対応する発話文と共に表示する。例えば、図４の備考欄５８における「カード入会案内［９９％］」は、対応する発話文５３について、「カード入会案内」という説明事項Ｃ１の尤度が「０．９９」であることを示す。これにより、ユーザ４は、本システム１においてチェックリスト５０のチェック結果が得られる過程で、各々の発話がどの程度、説明事項Ｃ１～Ｃ１０を説明したと検出されているのかを確認することができる。
また、本実施形態の説明支援装置２は、以上のようなユーザ４による本システム１の検出結果の確認が、リアルタイムの検出動作時から事後的にも可能な履歴の表示を行う。ユーザ４による確認結果は、例えば本システム１の検出精度を改善するために有用となる。以下、本システム１及び説明支援装置２の動作の詳細を説明する。
２－２．説明支援システムの検出動作
本実施形態に係る説明支援システム１の検出動作について、図６を用いて説明する。図６は、本システム１の検出動作を説明するためのフローチャートである。
図６のフローチャートに示す各処理は、本システム１における説明支援装置２の制御部２０によって実行される。本フローチャートは、例えば操作部２２を介して表示部２３に表示された操作ボタン５において音声認識を実行する操作が行われたときに開始される（図４参照）。また、本フローチャートの開始時には、例えばチェックリスト５０における全てのチェックボックス５１はオフ状態に設定されている。
まず、説明支援装置２の制御部２０は、ユーザ４の発話による音声を示す音声データを、マイク２６において取得する（Ｓ１）。マイク２６は、例えばユーザ４の会話中に音声を収音して、音声データを生成する。収音結果の音声データは、本実施形態における入力情報の一例である。
次に、制御部２０は、音声認識サーバ１１との通信により、発話の音声認識結果を示す発話文を取得する（Ｓ２）。この際、制御部２０は、入力した音声データを、ネットワークＩ／Ｆ２５を介して音声認識サーバ１１に送信する。
音声認識サーバ１１は、説明支援装置２からの音声データに応じて、音声認識モデルによる処理を実行し、発話文のテキストデータを生成して説明支援装置２に送信する。音声認識モデルによる処理は、音声データに対する発話分割および各種の音声認識処理を含む。説明支援装置２の制御部２０は、音声認識サーバ１１からネットワークＩ／Ｆ２５を介して発話文を受信する（Ｓ２）と、受信した発話文と対応する音声データとを記憶部２１に記録する。
次に、制御部２０は、言語処理サーバ３との通信により、取得した発話文に対する説明事項Ｃ毎の尤度を含んだ尤度情報を取得する（Ｓ３）。この際、制御部２０は、取得した発話文を、ネットワークＩ／Ｆ２５を介して言語処理サーバ３に送信する。
言語処理サーバ３は、説明支援装置２から発話文を受信すると、学習済みモデル３５による自然言語処理を実行し、尤度情報を生成して説明支援装置２に送信する。例えば、当該自然言語処理では、受信した発話文が単語埋め込みによって入力ベクトルに変換され、学習済みモデル３５に入力される。学習済みモデル３５は、入力ベクトルに基づき出力される説明事項Ｃ毎の尤度が、対応する発話文によって各説明事項Ｃが説明されたと検出することが予測される程度を表すように、機械学習されている。
次に、説明支援装置２の制御部２０は、取得した発話文および尤度情報に基づいて、チェック表示処理を実行する（Ｓ４）。チェック表示処理は、尤度情報に基づいて、発話の音声認識結果の発話文毎に、各々の説明項目Ｃ１～Ｃ１０が説明されたか否かをチェックして、例えば図４に示すようにチェック結果を表示する処理である。チェック表示処理の詳細については後述する。
制御部２０は、例えば操作ボタン５の操作に基づいて、本システム１の検出動作が完了するか否かを判断する（Ｓ５）。制御部２０は、検出動作が完了しないと判断した場合（Ｓ５でＮＯ）、ステップＳ１に戻り、新たな発話についてステップＳ１以降の処理を実行する。ユーザ４は、例えば顧客４０との会話を終えたときに検出動作を完了させるための操作を行う。
制御部２０は、検出動作が完了すると判断した場合（Ｓ５でＹＥＳ）、検出動作の履歴を示す履歴データを生成して、記憶部２１に格納する（Ｓ６）。履歴データについては後述する（図８参照）。
制御部２０は、履歴データを記憶部２１に格納する（Ｓ６）と、本フローチャートによる処理を終了する。
以上の処理によると、ユーザ４が発話する毎に（Ｓ１）、音声認識結果の発話文の尤度が算出され（Ｓ２，Ｓ３）、各種説明事項Ｃ１～Ｃ１０についてのチェック結果がリアルタイムに表示される（Ｓ４）。
以上のステップＳ２において取得された発話文の長さが所定値よりも短い場合、制御部２０は、ステップＳ３の処理を省略してもよい。所定値は、発話文中に各種説明事項Ｃ１～Ｃ１０の説明が含まれないと考えられる字数または語数等に設定できる。これにより、例えば会話中の相づち等、説明事項Ｃ１～Ｃ１０の説明とは無関係な発話に対する処理負荷を低減することができる。
２－２－１．チェック表示処理
チェック表示処理（図６のＳ４）の詳細について、図７を用いて説明する。
図７は、説明支援装置２によるチェック表示処理を説明するためのフローチャートを示す。図７のフローチャートは、図６のステップＳ２において１つの発話文が取得され、且つステップＳ３において当該発話文に対する尤度情報が取得された状態で開始される。
まず、説明支援装置２の制御部２０は、予め設定された複数の説明事項Ｃ１～Ｃ１０から１つの説明事項Ｃをチェック対象として選択する（Ｓ１１）。図６のフローチャートは、１つの発話文に対して全ての説明事項Ｃ１～Ｃ１０に関するチェックを行うために、ステップＳ１１において１つずつ順番に説明事項Ｃを選択する。
次に、制御部２０は、選択中の説明事項Ｃに関して、取得した尤度情報における尤度が、検出しきい値Ｖ１を上回るか否かを判断する（Ｓ１２）。検出しきい値Ｖ１は、対応する説明事項Ｃが説明されたことを検出する基準を示すしきい値であり、例えば説明事項Ｃを説明した発話文が有する尤度を考慮して設定される。
制御部２０は、選択中の説明事項Ｃの尤度が検出しきい値Ｖ１を上回ると判断すると（Ｓ１２でＹＥＳ）、チェックリスト５０において当該説明事項Ｃに対応付けたチェックボックス５１が、オン状態であるか否かを判断する（Ｓ１３）。例えば、ユーザ４が会話中に未だ当該選択事項に関して説明しておらず、対応するチェックボックス５１がオフ状態である場合、制御部２０はステップＳ１３でＮＯに進む。
制御部２０は、選択中の説明事項Ｃのチェックボックス５１がオン状態でないと判断すると（Ｓ１３でＮＯ）、当該チェックボックス５１をオフ状態からオン状態に変更して、表示部２３におけるチェックリスト５０の表示を更新する（Ｓ１４）。なお、ステップＳ１４における表示の更新は、ステップＳ１８と同時に行われてもよい
さらに、制御部２０は、選択中の説明事項Ｃの尤度を、発話リスト５５の備考欄５８に表示する候補として保持する（Ｓ１５）。具体的に、制御部２０は、選択中の説明事項Ｃと尤度とを関連付けて、表示候補として記憶部２１に保持する。
一方、選択中の説明事項Ｃのチェックボックス５１がオン状態である場合（Ｓ１３でＹＥＳ）、制御部２０は、ステップＳ１４の処理を行わずにステップＳ１５に進む。
また、制御部２０は、選択中の説明事項Ｃの尤度が検出しきい値Ｖ１を上回らないと判断すると（Ｓ１２でＮＯ）、例えば、当該尤度が表示しきい値Ｖ２を上回るか否かを判断する（Ｓ１６）。表示しきい値Ｖ２は、例えば検出しきい値Ｖ１の近傍を示す所定幅分、検出しきい値Ｖ１よりも小さい値に設定される。表示しきい値Ｖ２は、発話文の尤度が検出しきい値Ｖ１には到らないものの説明事項Ｃに関連する可能性があり、表示すべきと考えられる基準を示すしきい値である。
制御部２０は、選択中の説明事項Ｃの尤度が表示しきい値Ｖ２を上回ると判断すると（Ｓ１６でＹＥＳ）、当該尤度を表示候補として保持する（Ｓ１５）。一方、制御部２０は、尤度が表示しきい値Ｖ２を上回らないと判断すると（Ｓ１６でＮＯ）、ステップＳ１５の処理を行うことなく、ステップＳ１７に進む。
制御部２０は、チェック対象として全ての説明事項Ｃ１～Ｃ１０が選択されたか否かを判断する（Ｓ１７）。全ての説明事項Ｃ１～Ｃ１０が選択されていない場合（Ｓ１７でＮＯ）、制御部２０は、未選択の説明事項Ｃに関してステップＳ１１以降の処理を行う。
制御部２０は、全ての説明事項Ｃ１～Ｃ１０を選択してチェックを行った後（Ｓ１７でＹＥＳ）、発話リスト５５を更新して表示するように表示部２３を制御する（Ｓ１８）。具体的に、制御部２０は、発話リスト５５の発話文欄５７に、発話文を追加表示させる（図４参照）。また、備考欄５８の表示候補が保持されている場合（Ｓ１５）、制御部２０は、保持された情報を備考欄５８に追加表示させる。
制御部２０は、発話リスト５５等を更新するように表示部２３を制御する（Ｓ１８）と、図６のステップＳ４の処理を終了して、ステップＳ５に進む。
以上の処理によると、ユーザ４の１回の発話に対する音声認識結果の発話文に対して、尤度情報に基づき各説明事項Ｃに関するチェックを行うことができる。この際、説明支援装置２は、尤度に応じて発話リスト５５の表示の仕方を変化させる。ユーザ４は、チェックリスト５０及び発話リスト５５により、リアルタイムに自身の発話のチェック結果を確認することができる。
例えば、尤度が検出しきい値Ｖ１を上回る発話文に対しては、チェックリスト５０におけるオン状態のチェックボックス５１と共に、発話リスト５５の備考欄５８に尤度が表示される。これにより、ユーザ４は、どの程度の発話で説明事項Ｃが説明されたと検出されたか、或いはチェック後の会話中の発話においても充分な説明になっているか等を確認することができる。
また、尤度が検出しきい値Ｖ１に到らずとも、表示しきい値Ｖ２を上回る発話文に対しては、備考欄５８に尤度が表示される。ユーザ４は、チェックボックス５１がオフ状態のときの備考欄５８において、自身の発話が説明事項Ｃの説明には足りないことを把握することができる。
また、尤度が表示しきい値Ｖ２を下回る発話文に対しては、発話リスト５５の備考欄５８に尤度は表示されない。これにより、例えば雑談など、何れの説明事項Ｃ１～Ｃ１０にも無関係な発話について、備考欄５８の表示を省略することができる。
また、以上の処理によると、１つの発話文に対する複数の説明事項Ｃの尤度が検出しきい値Ｖ１を上回った場合（Ｓ１２でＹＥＳ）、当該発話文に応じて複数のチェックボックス５１がオン状態に更新可能である（Ｓ１４）。１つの発話文に対する複数の説明事項Ｃの尤度が表示しきい値Ｖ２を上回った場合（Ｓ１６でＹＥＳ）、備考欄５８には、例えば複数の尤度が併記される（Ｓ１６，Ｓ１８）。
２－３．履歴データについて
本実施形態に係る説明支援装置２は、以上のような検出動作が実施される毎に履歴データを記憶部２１に蓄積する（図６のＳ６）。履歴データについて、図８を用いて説明する。
図８は、説明支援装置２における履歴データＤ１を説明するための図である。履歴データＤ１は、例えば「営業会話ＩＤ」毎に管理される。「営業会話ＩＤ」は、本システム１の検出動作が実施された会話を識別するＩＤである。履歴データＤ１は、例えば図８に示すように、「発話番号」と、「音声データ」と、「発話文」と、「尤度情報」と、「ユーザ評価情報」とを関連付けて記録する。
また、履歴データＤ１と、検出動作時に用いた検出しきい値Ｖ１とが、記憶部２１において関連付けて管理されてもよい。検出しきい値Ｖ１は、各説明事項Ｃ１～Ｃ１０について別々に管理されてもよい。
履歴データＤ１において、「発話番号」は、営業会話ＩＤで識別される会話中において音声認識の対象となった発話の順番を示す。「音声データ」は、音声認識の対象となった発話の音声データであり、発話毎に別々のファイルに分割されている。「発話文」は、各発話番号のファイルの音声データに対応する発話の音声認識結果のテキストデータを示す。「尤度情報」は、発話文に対する説明事項Ｃ毎の尤度を含む。「ユーザ評価情報」は、後述するように、本システム１の検出結果に対するユーザ４の評価を示す。
図６のフローチャートにおいて、説明支援装置２の制御部２０は、ステップＳ１～Ｓ５を繰り返す毎に取得される発話文と音声データと尤度情報とを互いに関連付け、順次に発話番号を割り当てて履歴データＤ１に記録する（Ｓ６）。なお、ステップＳ６の時点では、ユーザ評価情報は特に記録されず、空値「－」となる。
２－４．履歴の確認表示について
本実施形態の説明支援装置２は、以上のような履歴データＤ１に基づいて、ユーザ４に検出結果を確認させるための各種表示を行うことができる。説明支援装置２における履歴の確認表示について、図９～図１２を用いて説明する。
図９は、説明支援装置２の表示部２３における営業会話リスト６の表示例を示す。営業会話リスト６は、例えば操作ボタン５において設定を確認する操作に応じて表示される。
営業会話リスト６は、例えば履歴データＤ１の営業会話ＩＤ毎に、本システム１による検出動作を実行した履歴の情報を管理する。図９の例において、営業会話リスト６は、担当者欄６１と、日時欄６２と、お客様欄６３と、チェック履歴アイコン６４と、発話履歴アイコン６５とを含む。
営業会話リスト６において、担当者欄６１は、本システム１による検出動作時の営業会話におけるユーザ４を表す。日時欄６２は、営業会話が行われた日時を表す。お客様欄６３は、検出動作時の営業会話における顧客４０を表す。チェック履歴アイコン６４は、チェック履歴画面を表示するための操作を受け付ける。チェック履歴画面は、本システム１による検出動作時の最終的なチェックリスト５０を表示する。発話履歴アイコン６５は、発話履歴画面を表示するための操作を受け付ける。
図１０は、表示部２３における発話履歴画面の表示例を示す。発話履歴画面は、操作された発話履歴アイコン６５に対応付けられた営業会話の履歴データＤ１における発話履歴としての各発話文と、音声データを再生するための再生バー６６とを対応付けて表示する。また、図１０の表示例において、発話履歴画面には、検索バー６７が表示されている。説明支援装置２は、検索バー６７の操作に応じて、例えば発話文についてキーワード検索を行う。検索バー６７の検索範囲は、発話文の行単位で指定されてもよい。
図１１は、表示部２３におけるチェック履歴画面の表示例を示す。本実施形態の説明支援装置２は、例えばチェック履歴画面のチェックリスト５０において、説明事項Ｃ１～Ｃ１０の何れかのテキスト部分をダブルクリックする等の操作を行うことにより、操作した説明事項Ｃについての検出履歴リスト７０をポップアップで表示する。図１１では、「確認連絡」という説明事項Ｃ２についての検出履歴リスト７０が表示された状態を例示している。
検出履歴リスト７０は、営業会話時に特定の説明事項Ｃを説明したと検出された、或いは説明した可能性がある発話文を含むリストである。検出履歴リスト７０によると、本システム１の検出動作時にチェックボックス５１をオン状態にした発話の発話文だけでなく、その後の発話においても当該説明事項Ｃを説明したと検出された発話文を確認することができる。検出履歴リスト７０は、本実施形態における表示情報の一例である。
図１１の表示例において、検出履歴リスト７０は、再生バー７１と、発話文と、システム検出ボックス７２と、ユーザ評価ボックス７３とを対応付けて表示する。システム検出ボックス７２は、本システム１の検出動作時に、対応する発話文が説明事項を説明したと検出したか否かを表すオン／オフ状態を有する。
ユーザ評価ボックス７３は、例えばシステム検出ボックス７２が表す検出結果に対して正／誤の評価を表すオン／オフ状態を有する。ユーザ評価ボックス７３のオン／オフ状態は、クリック等のユーザ４の操作により変更可能である。
本実施形態の説明支援装置２は、ユーザ評価ボックス７３による情報を、履歴データＤ１のユーザ評価情報に格納する。履歴データＤ１におけるユーザ評価情報は、本システム１の検出精度の向上に用いることができる。例えば、本システム１における検出しきい値Ｖ１を調整したり、学習済みモデル３５のアクティブラーニングなどの機械学習に、教師データとして用いたりすることができる。
以上のような検出履歴リスト７０についての説明支援装置２の処理を、図１２を用いて説明する。図１２は、説明支援装置２による検出履歴の処理を説明するためのフローチャートである。
図１２のフローチャートに示す各処理は、説明支援装置２の制御部２０によって実行される。図１２のフローチャートは、上述したチェック履歴画面において、操作部２２を介してチェックリスト５０における説明事項Ｃを指定する操作が入力されたときに開始される。
まず、制御部２０は、ユーザ４の操作により指定された説明事項Ｃに関して、履歴データＤ１において検索しきい値Ｖ３を上回る尤度が関連付けされた発話文を検索する（Ｓ２１）。検索しきい値Ｖ３は、特定の説明事項に関する検索を行うための基準となるしきい値であり、例えばＶ３＝Ｖ１に設定される。検索しきい値Ｖ３はこれに限らず、例えばＶ２以上で且つＶ１以下の範囲内で適宜、設定されてもよい。
次に、制御部２０は、履歴データＤ１の検索結果に基づいて、検索された発話文を含めるように検出履歴リスト７０を生成し、例えばポップアップで検出履歴リスト７０を表示部２３に表示させる（Ｓ２２）。この際、検出履歴リスト７０におけるシステム検出ボックス７２は、尤度が検出しきい値Ｖ１を上回るか否かに応じてオン又はオフに設定される。ユーザ評価ボックス７３は、例えば初期状態において全てオフ又はオンに設定される。
次に、制御部２０は、検出履歴リスト７０における操作を受け付け、各種の操作に応じた制御を実行する（Ｓ２３）。例えば、ユーザ評価ボックス７３が操作された場合、制御部２０は、操作されたユーザ評価ボックス７３のオン状態又はオフ状態を切り替えて表示するように、表示部２３を制御する。また、再生バー７１が操作された場合、制御部２０は、操作された再生バー７１による音声を再生するように、スピーカ２７を制御する。
制御部２０は、例えば検出履歴リスト７０のポップアップに付された閉ボタン７５の操作に応じて、検出履歴リスト７０の操作が完了したか否かを判断する（Ｓ２４）。制御部２０は、検出履歴リスト７０の操作が完了するまで、ステップＳ２３を実行する（Ｓ２４でＮＯ）。
検出履歴リスト７０の操作が完了すると（Ｓ２４でＹＥＳ）、制御部２０は、例えば操作完了時のユーザ評価ボックス７３の状態に応じて、履歴データＤ１を更新する（Ｓ２５）。制御部２０は、記憶部２１に格納された履歴データＤ１において、検出履歴リスト７０の操作完了時における各発話文のユーザ評価ボックス７３のオン状態又はオフ状態に応じて、ユーザ評価情報に「Ｙ」又は「Ｎ」を記録する（図８参照）。この際、ユーザ評価情報において評価対象でない欄は「－」で維持される。
また、制御部２０は、検出履歴リスト７０のポップアップ表示を消去して（Ｓ２６）、本フローチャートによる処理を終了する。なお、ステップＳ２５，Ｓ２６の処理順は特に限定されない。
以上の処理によると、制御部２０は、ユーザ４が指定した説明事項Ｃに関する尤度に応じて、履歴データＤ１における発話文を含んだ検出履歴リスト７０を表示部２３に表示させる（Ｓ２２）。検出履歴リスト７０において、ユーザ４は、指定した説明事項Ｃに関する発話文の検出結果が適切か否かを評価することができる。
３．まとめ
以上のように、本実施形態において、説明支援装置２は、ユーザ４の発話におけるチェック対象の説明事項Ｃ１～Ｃ１０に関する情報を表示する。説明支援装置２は、取得部の一例であるマイク２６と、制御部２０と、表示部２３とを備える。マイク２６は、発話による発話文を示す入力情報として音声データを取得する（Ｓ１）。制御部２０は、発話文に関する説明事項のチェック結果を示す情報を生成する（Ｓ４）。表示部２３は、制御部２０によって生成された情報を表示する（Ｓ１４，Ｓ１８，Ｓ２２）。表示部２３は、マイク２６部によって順次、取得される入力情報が示す発話文において、説明事項Ｃ１～Ｃ１０が説明されたか否かを示すチェックリスト５０を表示する。表示部２３は、チェックリスト５０における説明事項Ｃのチェック結果を規定する各発話文の尤度に応じて当該発話文を含む表示情報として、発話リスト５５又は検出履歴リスト７０を表示する（Ｓ１８，Ｓ２２）。
以上の説明支援装置２によると、チェック対象の説明事項Ｃに関するチェックリスト５０と共に、尤度に応じて発話文を含んだ表示情報が表示される。これにより、ユーザ４が説明事項Ｃを説明することを情報処理でチェックする支援を行い易くすることができる。
本実施形態において、チェックリスト５０は、各発話文の尤度に基づいて説明事項Ｃが説明されたか否かを示す。ユーザ４は、表示情報における尤度に基づきチェックリスト５０のチェック結果が得られていることを確認でき、ユーザ４の情報支援を行い易い。
本実施形態において、表示部２３は、マイク２６から入力情報が取得される毎に（Ｓ１）、発話リスト５５を更新する（Ｓ１８）。これにより、ユーザ４は発話中などリアルタイムに本システム１の検出結果を確認することができる。
本実施形態において、表示情報としての発話リスト５５は、発話文を示す発話文欄５７と、当該発話文の尤度の大きさを示す備考欄５８とを含む。ユーザ４は、発話リスト５５において発話文と尤度の大きさを見比べるように確認を行える。
本実施形態において、説明支援装置２は、発話文と尤度とを関連付けた履歴データＤ１を記録する記憶部２１をさらに備える。制御部２０は、記憶部２１に記録された履歴データＤ１に基づき、表示情報としての検出履歴リスト７０を生成する（Ｓ２２）。これにより、ユーザ４は事後的に、本システム１の検出結果を確認することができる。検出履歴リスト７０は、選択された説明事項Ｃについての音声データを再生するための再生バー７１と、選択された説明事項Ｃについての発話文の表示を含んでもよい。
本実施形態において、検出履歴リスト７０は、履歴データＤ１における発話文毎に、関連付けされた尤度が所定の検出しきい値Ｖ１を上回るか否かを示すシステム検出ボックス７２を含む。システム検出ボックス７２により、検出履歴リスト７０においてユーザ４が本システム１の検出結果を確認し易くすることできる。
本実施形態において、検出履歴リスト７０における発話文毎に、ユーザ評価ボックス７３において説明事項Ｃのチェック結果を評価するユーザの操作を入力する操作部２２をさらに備える。これにより、本システム１の検出結果に対するユーザ４の評価を示す情報を得ることができ、本システム１を運用し易くすることができる。
本実施形態において、説明支援装置２の取得部は、入力情報として音声データを取得するマイク２６を含む。発話文は、音声データの音声認識結果を示す。ユーザ４が発話する音声に応じて、本システム１の検出動作を実施することができる。
本実施形態における説明支援方法は、ユーザ４の発話におけるチェック対象の説明事項Ｃ１～Ｃ１０に関する情報を表示する方法である。本方法は、取得部が、発話による発話文を示す入力情報を取得するステップＳ１と、制御部２０が、発話文に関する説明事項のチェック結果を示す情報を生成するステップＳ４と、表示部２３が、制御部２０によって生成された情報を表示するステップＳ１４，Ｓ１８，Ｓ２２とを含む。表示部２３は、取得部によって順次、取得される入力情報が示す発話文において、説明事項Ｃ１～Ｃ１０が説明されたか否かを示すチェックリスト５０を表示する。表示部２３は、チェックリスト５０における説明事項Ｃのチェック結果を規定する各発話文の尤度に応じて当該発話文を含む表示情報を表示する。
本実施形態では、上記の説明支援方法をコンピュータの制御部２０に実行させるためのプログラムが提供される。本実施形態の説明支援方法によると、ユーザ４が説明事項Ｃを説明することを情報処理でチェックする支援を行い易くすることができる。
（実施形態２）
以下、図面を用いて、実施形態２を説明する。実施形態１では、ユーザ４の発話において説明事項が説明されたか否かを検出する説明支援システム１を説明した。実施形態２では、さらに、ユーザ４の発話においてＮＧフレーズの有無を検知する説明支援システム１について説明する。
以下、実施形態１に係る説明支援システム１と同様の構成、動作の説明は適宜、省略して、本実施形態に係る説明支援システム１及び説明支援装置２を説明する。
図１３は、実施形態２に係る説明支援システム１の検出動作を説明するためのフローチャートである。本実施形態に係る説明支援システム１は、図６と同様の処理に加えて、図１３に示すようにＮＧフレーズの検知のための処理を実行する（Ｓ３１～Ｓ３３）。
本実施形態における説明支援装置２の制御部２０は、ステップＳ２，Ｓ３で取得した発話文あるいは尤度情報に基づいて、発話文が、予め設定されたＮＧフレーズ（即ち禁止フレーズ）か否かを検知する（Ｓ３１）。ステップＳ３１の判断は、発話文において所定のＮＧフレーズをキーワード検出することによって行われてもよい。また、学習済みモデル３５が、各種の説明事項Ｃ１～Ｃ１０の尤度と共に、発話文がＮＧフレーズであることが予測される程度を示す尤度を出力するように機械学習されることによって、実現されてもよい。
制御部２０は、発話文がＮＧフレーズでないことを検知すると（Ｓ３１でＮＯ）、説明支援装置２から顧客端末４１へ、発話文に対応する音声データを送信する（Ｓ３２）。例えば、制御部２０は、ステップＳ１で取得した音声データを、ステップＳ３１の判断時までバッファリングしておく。
一方、発話文がＮＧフレーズであることを検知すると（Ｓ３１でＹＥＳ）、説明支援装置２から顧客端末４１への同音声データの送信を遮断するように、例えばネットワークＩ／Ｆ２５を制御する（Ｓ３３）。これにより、ユーザ４がＮＧフレーズを発話したことが検知されると、ＮＧフレーズが発話された音声が、顧客４０に認識されないようにすることができる。
図１４は、本実施形態の説明支援装置２における表示例を示す。以上のようなＮＧフレーズが検知されたとき（Ｓ３１でＹＥＳ）、説明支援装置２は、チェック表示処理（Ｓ４）において、ユーザ４にＮＧフレーズを警告するための表示を行ってもよい。図１４では、「大きな利益を約束できます」という発話文５４がＮＧフレーズと検知されたときの表示例を示している。本表示例において、表示部２３は、上記の発話文５４に対応する備考欄５８に「警告文」と表示している。これにより、ＮＧフレーズが検知された時にユーザ４に注意喚起を促すことができる。
以上のように、本実施形態において、説明支援装置２は、外部に発話文を示す情報を送信するネットワークＩ／Ｆ２５又は機器I／Ｆ２４といった通信部をさらに備える。制御部２０は、発話文において所定の禁止フレーズ即ちＮＧフレーズを検知すると、ＮＧフレーズが検知された発話文を示す情報の送信を遮断するように、通信部を制御する。これにより、ＮＧフレーズを示す情報が選択的に外部に送信されないようにして、ユーザ４に情報支援を行うことができる。
（他の実施形態）
以上のように、本出願において開示する技術の例示として、実施形態１～２を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置換、付加、省略などを行った実施の形態にも適用可能である。また、上記各実施形態で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。そこで、以下、他の実施形態を例示する。
上記の各実施形態において、説明支援システム１の説明支援装置２は、顧客端末４１と音声通信を行った。本実施形態の説明支援装置２は、特に音声通信に限らず、各種データ通信を行ってもよい。
また、上記の各実施形態において、説明支援システム１の説明支援装置２は、顧客端末４１と通信を行ったが、本実施形態の説明支援装置２は、特に顧客端末４１と通信を行わなくてもよい。本システム１は、例えば金融機関の窓口など、各種の対面接客に適用されてもよい。この際、説明支援装置２は、ユーザ４の発話と顧客４０の発話とを適宜、識別するように構成可能である。
また、上記の各実施形態において、説明支援装置２の入力情報として発話の音声データを例示した。本実施形態において、説明支援装置２の入力情報は音声データでなくてもよく、テキストデータであってもよい。本システム１は、例えば各種電子会議などにも適用可能である。
以上のように、本開示における技術の例示として、実施の形態を説明した。そのために、添付図面および詳細な説明を提供した。
したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において、種々の変更、置換、付加、省略などを行うことができる。
本開示は、ユーザが各種の説明を行う際の情報支援に適用可能であり、例えばコールセンター、遠隔接客システム或いは各種の対面接客に適用可能である。
１ 説明支援システム
２ 説明支援装置
２０ 制御部
２１ 記憶部
２２ 操作部
２３ 表示部
２４ 機器Ｉ／Ｆ
２５ ネットワークＩ／Ｆ
２６ マイク
２７ スピーカ

Claims (12)

  1. ユーザの発話におけるチェック対象の説明事項に関する情報を表示する説明支援装置であって、
    前記発話による発話文を示す入力情報を取得する取得部と、
    前記発話文に関する前記説明事項のチェック結果を示す情報を生成する制御部と、
    前記制御部によって生成された情報を表示する表示部とを備え、
    前記表示部は、
    前記取得部によって順次、取得される入力情報が示す発話文において、前記説明事項が説明されたか否かを示すチェックリストを表示し、
    前記チェックリストにおける前記説明事項のチェック結果を規定する各発話文の尤度に応じて当該発話文を含む表示情報を表示する
    説明支援装置。
  2. 前記チェックリストは、前記各発話文の尤度に基づいて前記説明事項が説明されたか否かを示す
    請求項１に記載の説明支援装置。
  3. 前記表示部は、前記取得部から前記入力情報が取得される毎に、前記表示情報を更新する
    請求項１又は２に記載の説明支援装置。
  4. 前記表示情報は、前記発話文と、当該発話文の尤度の大きさとを示す情報を含む
    請求項１～３のいずれか１項に記載の説明支援装置。
  5. 前記発話文と前記尤度とを関連付けた履歴データを記録する記憶部をさらに備え、
    前記制御部は、前記記憶部に記録された履歴データに基づき、前記表示情報を生成する
    請求項１～４のいずれか１項に記載の説明支援装置。
  6. 前記表示情報は、前記履歴データにおける発話文毎に、関連付けされた尤度が所定のしきい値を上回るか否かを示す情報を含む
    請求項５に記載の説明支援装置。
  7. 前記表示情報は、選択された説明事項についての音声データを再生するための再生バーと、前記選択された説明事項についての発話文の表示を含む
    請求項５に記載の説明支援装置。
  8. 前記表示情報における発話文毎に、前記説明事項のチェック結果を評価するユーザの操作を入力する操作部をさらに備える
    請求項１～７のいずれか１項に記載の説明支援装置。
  9. 外部に前記発話文を示す情報を送信する通信部をさらに備え、
    前記制御部は、前記発話文において所定の禁止フレーズを検知すると、前記禁止フレーズが検知された発話文を示す情報の送信を遮断するように、前記通信部を制御する
    請求項１～８のいずれか１項に記載の説明支援装置。
  10. 前記取得部は、前記入力情報として音声データを取得するマイクを含み、
    前記発話文は、前記音声データの音声認識結果を示す
    請求項１～９のいずれか１項に記載の説明支援装置。
  11. ユーザの発話におけるチェック対象の説明事項に関する情報を表示する説明支援方法であって、
    取得部が、前記発話による発話文を示す入力情報を取得するステップと、
    制御部が、前記発話文に関する前記説明事項のチェック結果を示す情報を生成するステップと、
    表示部が、前記制御部によって生成された情報を表示するステップとを含み、
    前記表示部は、
    前記取得部によって順次、取得される入力情報が示す発話文において、前記説明事項が説明されたか否かを示すチェックリストを表示し、
    前記チェックリストにおける前記説明事項のチェック結果を規定する各発話文の尤度に応じて当該発話文を含む表示情報を表示する
    説明支援方法。
  12. 請求項１１に記載の方法をコンピュータに実行させるためのプログラム。
JP2018182534A 2018-09-27 2018-09-27 説明支援装置および説明支援方法 Active JP7142315B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018182534A JP7142315B2 (ja) 2018-09-27 2018-09-27 説明支援装置および説明支援方法
CN201980039801.XA CN112334923A (zh) 2018-09-27 2019-09-18 说明辅助装置以及说明辅助方法
PCT/JP2019/036504 WO2020066778A1 (ja) 2018-09-27 2019-09-18 説明支援装置および説明支援方法
US17/125,295 US11942086B2 (en) 2018-09-27 2020-12-17 Description support device and description support method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018182534A JP7142315B2 (ja) 2018-09-27 2018-09-27 説明支援装置および説明支援方法

Publications (2)

Publication Number Publication Date
JP2020052809A JP2020052809A (ja) 2020-04-02
JP7142315B2 true JP7142315B2 (ja) 2022-09-27

Family

ID=69953451

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018182534A Active JP7142315B2 (ja) 2018-09-27 2018-09-27 説明支援装置および説明支援方法

Country Status (4)

Country Link
US (1) US11942086B2 (ja)
JP (1) JP7142315B2 (ja)
CN (1) CN112334923A (ja)
WO (1) WO2020066778A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20240013779A1 (en) * 2021-03-31 2024-01-11 Ntt Technocross Corporation Information-processing apparatus, information-processing method, and program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123447A (ja) 2006-11-15 2008-05-29 Mitsubishi Electric Information Systems Corp オペレータ業務支援システム

Family Cites Families (107)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6766069B1 (en) * 1999-12-21 2004-07-20 Xerox Corporation Text selection from images of documents using auto-completion
US20040174434A1 (en) * 2002-12-18 2004-09-09 Walker Jay S. Systems and methods for suggesting meta-information to a camera user
US10423862B2 (en) * 2004-04-01 2019-09-24 Google Llc Capturing text from rendered documents using supplemental information
US7461004B2 (en) * 2004-05-27 2008-12-02 Intel Corporation Content filtering for a digital audio signal
US8825379B2 (en) * 2005-01-05 2014-09-02 Sirius Xm Connected Vehicle Services Inc. Systems and methods for off-board voice-automated vehicle navigation
JP2008033879A (ja) * 2006-06-28 2008-02-14 Aioi Kiso Kenkyusho:Kk 契約支援システム
US7982609B2 (en) * 2008-06-18 2011-07-19 Microsoft Corporation RFID-based enterprise intelligence
US20100331041A1 (en) * 2009-06-26 2010-12-30 Fuji Xerox Co., Ltd. System and method for language-independent manipulations of digital copies of documents through a camera phone
US8521526B1 (en) * 2010-07-28 2013-08-27 Google Inc. Disambiguation of a spoken query term
US20120042288A1 (en) * 2010-08-16 2012-02-16 Fuji Xerox Co., Ltd. Systems and methods for interactions with documents across paper and computers
EP2622592A4 (en) * 2010-09-28 2017-04-05 International Business Machines Corporation Providing answers to questions using multiple models to score candidate answers
US20120232983A1 (en) * 2011-03-11 2012-09-13 McKesson Speciality Arizona Inc. Method and apparatus for providing dynamically optimized incentives
US20230153347A1 (en) * 2011-07-05 2023-05-18 Michael Stewart Shunock System and method for annotating images
US8587635B2 (en) * 2011-07-15 2013-11-19 At&T Intellectual Property I, L.P. Apparatus and method for providing media services with telepresence
JP5329610B2 (ja) * 2011-07-22 2013-10-30 みずほ情報総研株式会社 説明支援システム、説明支援方法及び説明支援プログラム
CA2876130A1 (en) * 2012-06-14 2013-12-19 Bally Gaming, Inc. System and method for augmented reality gaming
US20150169525A1 (en) * 2012-09-14 2015-06-18 Leon Gomes Palm Augmented reality image annotation
US9685095B2 (en) * 2013-06-24 2017-06-20 SparxTeq Inc. Systems and methods for assessment administration and evaluation
US9626966B2 (en) * 2013-12-18 2017-04-18 Harman International Industries, Incorporated Voice recognition query response systems and methods for generating query responses using information from a vehicle
US10162337B2 (en) * 2014-09-15 2018-12-25 Desprez, Llc Natural language user interface for computer-aided design systems
US11599086B2 (en) * 2014-09-15 2023-03-07 Desprez, Llc Natural language user interface for computer-aided design systems
US10452136B2 (en) * 2014-10-13 2019-10-22 Thomson Licensing Method for controlling the displaying of text for aiding reading on a display device, and apparatus adapted for carrying out the method, computer program, and computer readable storage medium
US20180276896A1 (en) * 2014-11-07 2018-09-27 Pcms Holdings, Inc. System and method for augmented reality annotations
US9472115B2 (en) * 2014-11-19 2016-10-18 International Business Machines Corporation Grading ontological links based on certainty of evidential statements
US10007719B2 (en) * 2015-01-30 2018-06-26 Microsoft Technology Licensing, Llc Compensating for individualized bias of search users
WO2016126770A2 (en) * 2015-02-03 2016-08-11 Dolby Laboratories Licensing Corporation Selective conference digest
CN107210036B (zh) * 2015-02-03 2021-02-26 杜比实验室特许公司 会议词语云
EP3254453B1 (en) * 2015-02-03 2019-05-08 Dolby Laboratories Licensing Corporation Conference segmentation based on conversational dynamics
US20170091572A1 (en) * 2015-06-07 2017-03-30 Apple Inc. System And Method For Text Detection In An Image
US10382379B1 (en) * 2015-06-15 2019-08-13 Guangsheng Zhang Intelligent messaging assistant based on content understanding and relevance
US10897490B2 (en) * 2015-08-17 2021-01-19 E-Plan, Inc. Systems and methods for augmenting electronic content
CN106470363B (zh) * 2015-08-18 2019-09-13 阿里巴巴集团控股有限公司 对比赛进行文字直播的方法及装置
US10140314B2 (en) * 2015-08-21 2018-11-27 Adobe Systems Incorporated Previews for contextual searches
JP6589514B2 (ja) * 2015-09-28 2019-10-16 株式会社デンソー 対話装置及び対話制御方法
US10079021B1 (en) * 2015-12-18 2018-09-18 Amazon Technologies, Inc. Low latency audio interface
US10311859B2 (en) * 2016-01-16 2019-06-04 Genesys Telecommunications Laboratories, Inc. Material selection for language model customization in speech recognition for speech analytics
US10572524B2 (en) * 2016-02-29 2020-02-25 Microsoft Technology Licensing, Llc Content categorization
US9936066B1 (en) * 2016-03-16 2018-04-03 Noble Systems Corporation Reviewing portions of telephone call recordings in a contact center using topic meta-data records
US20170286383A1 (en) * 2016-03-30 2017-10-05 Microsoft Technology Licensing, Llc Augmented imaging assistance for visual impairment
GB2549117B (en) * 2016-04-05 2021-01-06 Intelligent Voice Ltd A searchable media player
US10609093B2 (en) * 2016-05-06 2020-03-31 Facebook, Inc. Instantaneous call sessions over a communications application
AU2017264388B2 (en) * 2016-05-13 2022-04-21 Equals 3 LLC Searching structured and unstructured data sets
US11183187B2 (en) * 2016-05-20 2021-11-23 Nippon Telegraph And Telephone Corporation Dialog method, dialog system, dialog apparatus and program that gives impression that dialog system understands content of dialog
EP3252769B8 (en) * 2016-06-03 2020-04-01 Sony Corporation Adding background sound to speech-containing audio data
US10621581B2 (en) * 2016-06-11 2020-04-14 Apple Inc. User interface for transactions
CN106205622A (zh) * 2016-06-29 2016-12-07 联想(北京)有限公司 信息处理方法及电子设备
US20180025726A1 (en) * 2016-07-22 2018-01-25 International Business Machines Corporation Creating coordinated multi-chatbots using natural dialogues by means of knowledge base
US10896395B2 (en) * 2016-09-30 2021-01-19 Genesys Telecommunications Laboratories, Inc. System and method for automatic quality management and coaching
US20210142706A1 (en) * 2016-09-30 2021-05-13 Hewlett-Packard Development Company, L.P. Mobile device with transparent display and scanner
KR101934280B1 (ko) * 2016-10-05 2019-01-03 현대자동차주식회사 발화내용 분석 장치 및 방법
JP6731326B2 (ja) * 2016-10-31 2020-07-29 ファーハット ロボティクス エービー 音声対話装置及び音声対話方法
US10158634B2 (en) * 2016-11-16 2018-12-18 Bank Of America Corporation Remote document execution and network transfer using augmented reality display devices
US20180144738A1 (en) * 2016-11-23 2018-05-24 IPsoft Incorporated Selecting output from candidate utterances in conversational interfaces for a virtual agent based upon a priority factor
US10217375B2 (en) * 2016-12-13 2019-02-26 Bank Of America Corporation Virtual behavior training using augmented reality user devices
WO2018112445A1 (en) * 2016-12-16 2018-06-21 Second Mind Labs, Inc. Systems to augment conversations with relevant information or automation using proactive bots
US20210192302A1 (en) * 2017-01-04 2021-06-24 Advanced Functional Fabrics Of America Uniquely Identifiable Articles of Fabric Configured for Data Communication
US20180293221A1 (en) * 2017-02-14 2018-10-11 Microsoft Technology Licensing, Llc Speech parsing with intelligent assistant
US10558467B2 (en) * 2017-03-30 2020-02-11 International Business Machines Corporation Dynamically generating a service pipeline comprising filtered application programming interfaces
WO2018177561A1 (en) * 2017-03-31 2018-10-04 Intel Corporation Management of human-machine dialogue involving multiple parties
WO2019018982A1 (en) * 2017-07-24 2019-01-31 Beijing Didi Infinity Technology And Development Co., Ltd. SYSTEM AND METHOD FOR PROVIDING INFORMATION FOR SERVICE ON DEMAND
US10923121B2 (en) * 2017-08-11 2021-02-16 SlackTechnologies, Inc. Method, apparatus, and computer program product for searchable real-time transcribed audio and visual content within a group-based communication system
US20190065615A1 (en) * 2017-08-28 2019-02-28 Bridgit, S.P.C. System for creating and retrieving contextual links between user interface objects
US10812422B2 (en) * 2017-08-31 2020-10-20 Rpx Corporation Directional augmented reality system
WO2019055703A2 (en) * 2017-09-13 2019-03-21 Magical Technologies, Llc VIRTUAL DISPLAY PANEL, FACILITATION OF COLLABORATION, AND MESSAGE OBJECTS FOR FACILITATING COMMUNICATION SESSIONS IN AN INCREASED REALITY ENVIRONMENT
US11430347B2 (en) * 2017-09-18 2022-08-30 Microsoft Technology Licensing, Llc Providing diet assistance in a session
WO2019136387A1 (en) * 2018-01-08 2019-07-11 Ebay Inc. Artificial assistant system notifications
JP7062966B2 (ja) * 2018-01-19 2022-05-09 富士フイルムビジネスイノベーション株式会社 音声解析装置、音声解析システム、及びプログラム
US10679620B2 (en) * 2018-03-06 2020-06-09 GM Global Technology Operations LLC Speech recognition arbitration logic
US11113472B2 (en) * 2018-03-14 2021-09-07 At&T Intellectual Property I, L.P. Content curation for course generation
US10963273B2 (en) * 2018-04-20 2021-03-30 Facebook, Inc. Generating personalized content summaries for users
US11322264B2 (en) * 2018-04-23 2022-05-03 DNAFeed Inc. Systems and methods for human-augmented communications
US20210235997A1 (en) * 2018-04-30 2021-08-05 Koninklijke Philips N.V. Flagging a portion of a recording for review
WO2019217096A1 (en) * 2018-05-08 2019-11-14 MZ IP Holdings, LLC. System and method for automatically responding to user requests
JP7059813B2 (ja) * 2018-05-31 2022-04-26 トヨタ自動車株式会社 音声対話システム、その処理方法及びプログラム
JP7151181B2 (ja) * 2018-05-31 2022-10-12 トヨタ自動車株式会社 音声対話システム、その処理方法及びプログラム
JP2021529382A (ja) * 2018-06-19 2021-10-28 エリプシス・ヘルス・インコーポレイテッド 精神的健康評価のためのシステム及び方法
EP4254222A3 (en) * 2018-07-09 2023-11-08 Google LLC Visual menu
US20200043479A1 (en) * 2018-08-02 2020-02-06 Soundhound, Inc. Visually presenting information relevant to a natural language conversation
WO2020044543A1 (ja) * 2018-08-31 2020-03-05 三菱電機株式会社 情報処理装置、情報処理方法及びプログラム
DK201870623A1 (en) * 2018-09-11 2020-04-15 Apple Inc. USER INTERFACES FOR SIMULATED DEPTH EFFECTS
KR102663888B1 (ko) * 2018-09-18 2024-05-08 삼성전자주식회사 냉장고 및 그의 제어방법
US11353259B2 (en) * 2018-09-18 2022-06-07 Samsung Electronics Co., Ltd. Augmented-reality refrigerator and method of controlling thereof
US11295124B2 (en) * 2018-10-08 2022-04-05 Xerox Corporation Methods and systems for automatically detecting the source of the content of a scanned document
US11151307B2 (en) * 2018-11-13 2021-10-19 Adobe Inc. Mapping annotations to ranges of text across documents
US11340758B1 (en) * 2018-12-27 2022-05-24 Meta Platforms, Inc. Systems and methods for distributing content
US11017237B1 (en) * 2018-12-27 2021-05-25 Facebook, Inc. Systems and methods for automated video classification
WO2020148659A2 (en) * 2019-01-18 2020-07-23 Rathod Yogesh Augmented reality based reactions, actions, call-to-actions, survey, accessing query specific cameras
US11631039B2 (en) * 2019-02-11 2023-04-18 SupportLogic, Inc. Generating priorities for support tickets
US11204743B2 (en) * 2019-04-03 2021-12-21 Hia Technologies, Inc. Computer system and method for content authoring of a digital conversational character
US11257272B2 (en) * 2019-04-25 2022-02-22 Lucid VR, Inc. Generating synthetic image data for machine learning
US10884575B2 (en) * 2019-05-20 2021-01-05 Microsoft Technology Licensing, Llc Extensible and adaptable toolsets for collaboration applications
US11280913B2 (en) * 2019-05-31 2022-03-22 At&T Intellectual Property I, L.P. Global positioning system spoofing countermeasures
MX2021014869A (es) * 2019-06-04 2022-05-03 Tangible Play Inc Virtualización de superficie de actividad física.
KR20220039702A (ko) * 2019-06-06 2022-03-29 아티, 인코포레이티드 동적으로 반응하는 가상 캐릭터를 위한 다중 모드 모델
US11526484B2 (en) * 2019-07-10 2022-12-13 Madcap Software, Inc. Methods and systems for creating and managing micro content from an electronic document
WO2021025681A1 (en) * 2019-08-05 2021-02-11 Google Llc Event progress detection in media items
US20220292122A1 (en) * 2019-08-21 2022-09-15 Huawei Technologies Co., Ltd. Data Processing Method and Apparatus
US20210056251A1 (en) * 2019-08-22 2021-02-25 Educational Vision Technologies, Inc. Automatic Data Extraction and Conversion of Video/Images/Sound Information from a Board-Presented Lecture into an Editable Notetaking Resource
US11379529B2 (en) * 2019-09-09 2022-07-05 Microsoft Technology Licensing, Llc Composing rich content messages
WO2021051024A1 (en) * 2019-09-11 2021-03-18 Educational Vision Technologies, Inc. Editable notetaking resource with optional overlay
EP4035316A1 (en) * 2019-09-23 2022-08-03 Direqt, Inc. Enhancing messages with dynamic content
US11636438B1 (en) * 2019-10-18 2023-04-25 Meta Platforms Technologies, Llc Generating smart reminders by assistant systems
US11978099B2 (en) * 2019-10-28 2024-05-07 Prime X Connect Pty Ltd Primary production trading platform system and interface
US11556610B2 (en) * 2019-11-08 2023-01-17 Accenture Global Solutions Limited Content alignment
US11496797B2 (en) * 2019-12-13 2022-11-08 At&T Intellectual Property I, L.P. Methods, systems, and devices for providing augmented reality content based on user engagement
KR20210102698A (ko) * 2020-02-12 2021-08-20 라인플러스 주식회사 영상 통화 봇을 이용한 커뮤니케이션을 제공하는 방법, 시스템, 및 컴퓨터 프로그램
US11093691B1 (en) * 2020-02-14 2021-08-17 Capital One Services, Llc System and method for establishing an interactive communication session

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008123447A (ja) 2006-11-15 2008-05-29 Mitsubishi Electric Information Systems Corp オペレータ業務支援システム

Also Published As

Publication number Publication date
CN112334923A (zh) 2021-02-05
US11942086B2 (en) 2024-03-26
US20210104240A1 (en) 2021-04-08
JP2020052809A (ja) 2020-04-02
WO2020066778A1 (ja) 2020-04-02

Similar Documents

Publication Publication Date Title
US10748534B2 (en) Personality-based chatbot and methods including non-text input
KR102151681B1 (ko) 언어 모델용 대화 상태들 결정
AU2021277693B2 (en) Data driven speech enabled self-help systems and methods of operating thereof
US9742912B2 (en) Method and apparatus for predicting intent in IVR using natural language queries
US20200220975A1 (en) Personalized support routing based on paralinguistic information
US20190027147A1 (en) Automatic integration of image capture and recognition in a voice-based query to understand intent
US11238872B2 (en) Method and apparatus for managing agent interactions with enterprise customers
US10083686B2 (en) Analysis object determination device, analysis object determination method and computer-readable medium
US9734871B2 (en) Voice retrieval apparatus, voice retrieval method, and non-transitory recording medium
CN108648750A (zh) 混合模型语音识别
Neustein Advances in speech recognition: mobile environments, call centers and clinics
EP3593346B1 (en) Graphical data selection and presentation of digital content
US20180096680A1 (en) Apparatus and Method for Analyzing Utterance Meaning
JP7142315B2 (ja) 説明支援装置および説明支援方法
KR102226427B1 (ko) 호칭 결정 장치, 이를 포함하는 대화 서비스 제공 시스템, 호칭 결정을 위한 단말 장치 및 호칭 결정 방법
JP2021157419A (ja) 対話型業務支援システムおよび対話型業務支援方法
US11715470B2 (en) Method and system for tracking in extended reality
JP6929960B2 (ja) 情報処理装置及び情報処理方法
CN116703416A (zh) 用于处理用户反馈的方法、系统、装置和介质
JP2023164835A (ja) 情報処理システム、プログラム及び情報処理方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210804

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220902

R151 Written notification of patent or utility model registration

Ref document number: 7142315

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151