JP7040593B2 - 接客支援装置、接客支援方法、及び、接客支援プログラム - Google Patents

接客支援装置、接客支援方法、及び、接客支援プログラム Download PDF

Info

Publication number
JP7040593B2
JP7040593B2 JP2020501745A JP2020501745A JP7040593B2 JP 7040593 B2 JP7040593 B2 JP 7040593B2 JP 2020501745 A JP2020501745 A JP 2020501745A JP 2020501745 A JP2020501745 A JP 2020501745A JP 7040593 B2 JP7040593 B2 JP 7040593B2
Authority
JP
Japan
Prior art keywords
customer service
information
customer
responder
support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2020501745A
Other languages
English (en)
Other versions
JPWO2019163700A1 (ja
Inventor
隆運 湯浅
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Publication of JPWO2019163700A1 publication Critical patent/JPWO2019163700A1/ja
Application granted granted Critical
Publication of JP7040593B2 publication Critical patent/JP7040593B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00Commerce
    • G06Q30/01Customer relationship services
    • G06Q30/015Providing customer assistance, e.g. assisting a customer within a business location or via helpdesk
    • G06Q30/016After-sales
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174Facial expression recognition
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/02User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Finance (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Development Economics (AREA)
  • Accounting & Taxation (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Tourism & Hospitality (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • General Engineering & Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Acoustics & Sound (AREA)

Description

本願発明は、接客対応者が接客において困窮した場合に、情報処理装置を用いて当該接客担当者への支援を支援者に依頼する技術に関する。
コールセンタや小売店の店舗販売等における接客対応において、顧客からの質問や要望に対して、迅速かつ適切に応答することは、顧客満足度を向上させるために非常に重要である。例えば、経験の浅い接客対応者が接客対応を行なう場合、あるいは、顧客からの質問や要望の内容が、これまでに発生していない新たなものである場合などでは、接客対応を迅速かつ適切に行なうことが困難となり、顧客満足度が低下する要因となる。したがって、接客対応を迅速かつ適切に行なうことを支援する技術への期待は、ますます高まってきている。
このような技術に関連する技術として、特許文献1には、顧客と顧客対応時のオペレータとの感情を認識し、感情が著しく悪化した場合に、その旨をスーパーバイザに通知するコールセンタ運用システムが開示されている。このシステムは、顧客とオペレータとの会話の音声データを録音し、その音声データを文言データに変換する。このシステムは、当該文言データと、感情を表すワードが予め登録されたワード一覧表とを比較して、合致するワードを抽出する。このシステムは、抽出したワードの数を感情別にカウントすることによって、感情を表すワードを感情ごとに数値化する。そしてこのシステムは、その数値が予め定めた閾値を超えた場合に、顧客またはオペレータの少なくとも一方の感情が著しく変化していることを管理者端末に通知する。
また、特許文献2には、オペレータ及び顧客の通話状況を容易に把握するようにしたサーバ装置が開示されている。この装置は、オペレータの音声である第1の音声と、当該オペレータの通話の相手である顧客の音声である第2の音声とを受け付ける。この装置は、音声から「怒り」の度合である感情度合を特定する。この装置は、特定した第1の音声に基づくオペレータの感情度合と、第2の音声に基づく顧客の感情度合と、を表示する表示情報を生成し、生成した表示情報を出力する。
また、特許文献3には、顧客とオペレータとの通話内容に関してスーパーバイザが同時に複数通話を監視する状況において、スーパーバイザが顧客とオペレータとのやり取りをリアルタイムで把握し、トラブルや顧客からのクレームに適切に対処するようにしたコールセンタシステムが開示されている。このシステムにおけるサーバ装置は、音声認識装置を用いて所定のキーワードを含む内線番号ごとに録音された通話をテキスト化し、かつ、通話状態、オペレータ状態などの情報と共にスーパーバイザ用端末に送る。スーパーバイザ用端末は、オペレータの座席図表示ウィンドウに、内線番号と対応付けて、所定のキーワードが含まれるテキストをオペレータごとに吹き出しとして表示する。また、スーパーバイザ用端末は、通話状態、オペレータ状態なども表示する。そしてサーバ装置は、通話の吹き出しをクリックされたときには、音声認識装置を用いてそれ以降の通話をテキスト化したのち、スーパーバイザ用端末に送ることによって、スーパーバイザ用端末に表示する。
特開2016-092582号公報 特開2015-141428号公報 特開2016-119634号公報
上述した各特許文献において示されているように、顧客と接客対応者(オペレータ)との通話内容に基づいて顧客と接客対応者との感情等の状況を把握し、問題が発生しそうな場合は、熟練者である支援者(スーパーバイザ)が接客対応者を支援することによって、問題を回避するようにした技術がある。このような技術を採用したシステムにおいて、例えば、支援の必要性が低いのにもかかわらず支援者に対して必要以上に支援が依頼される場合、支援者に対する負荷が増大し、支援の必要性が高い案件に対する支援者によるフォローが漏れる可能性がある。これとは逆に、例えば、支援の必要性が高いのにもかかわらず支援者に対して支援が依頼されない場合、問題が発生する可能性が高くなるので、顧客満足度が低下する要因となる。即ち、接客対応者が接客において困窮した際に、支援者による接客担当者への支援を適切に制御するために、支援の必要性を判断する精度を高めることが課題である。特許文献1乃至3が示す技術は、このような課題を解決するのに十分であるとは言えない。本願発明の主たる目的は、この課題を解決する接客支援装置等を提供することである。
本願発明の一態様に係る接客支援装置は、顧客と接客対応者との間で行なわれる会話の内容と、前記接客対応者の状態とを表す接客情報を取得する取得手段と、前記会話に関する過去の事例を表す過去事例情報と、前記会話の内容を表す前記接客情報との類似度を算出する算出手段と、前記接客対応者の状態を診断する際の基準となる診断基準情報と、前記接客情報とに基づいて、前記接客対応者の状態を診断する診断手段と、前記算出手段によって算出された前記類似度と、前記診断手段によって診断された前記接客対応者の状態とに基づいて、前記接客対応者を支援する必要性の度合いを表す支援必要性情報を生成する生成手段と、を備える。
上記目的を達成する他の見地において、本願発明の一態様に係る接客支援方法は、情報処理装置によって、顧客と接客対応者との間で行なわれる会話の内容と、前記接客対応者の状態とを表す接客情報を取得し、前記会話に関する過去の事例を表す過去事例情報と、前記会話の内容を表す前記接客情報との類似度を算出し、前記接客対応者の状態を診断する際の基準となる診断基準情報と、前記接客情報とに基づいて、前記接客対応者の状態を診断し、算出した前記類似度と、診断した前記接客対応者の状態とに基づいて、前記接客対応者を支援する必要性の度合いを表す支援必要性情報を生成する。
また、上記目的を達成する更なる見地において、本願発明の一態様に係る接客支援プログラムは、顧客と接客対応者との間で行なわれる会話の内容と、前記接客対応者の状態とを表す接客情報を取得する取得処理と、前記会話に関する過去の事例を表す過去事例情報と、前記会話の内容を表す前記接客情報との類似度を算出する算出処理と、前記接客対応者の状態を診断する際の基準となる診断基準情報と、前記接客情報とに基づいて、前記接客対応者の状態を診断する診断処理と、前記算出処理によって算出された前記類似度と、前記診断処理によって診断された前記接客対応者の状態とに基づいて、前記接客対応者を支援する必要性の度合いを表す支援必要性情報を生成する生成処理と、をコンピュータに実行させる。
更に、本願発明は、係る接客支援プログラム(コンピュータプログラム)が格納された、コンピュータ読み取り可能な、不揮発性の記録媒体によっても実現可能である。
本願発明は、接客対応者が接客において困窮した際に、情報処理装置を用いて当該接客担当者への支援を支援者に依頼する場合において、支援の必要性を判断する精度を高めることを可能とする。
本願発明の第1の実施形態に係る接客支援装置10の構成を示すブロック図である。 本願発明の第1の実施形態に係る生成部14が生成する支援必要性情報140の内容を例示する図である。 本願発明の第1の実施形態に係る支援者端末装置30が、接客支援装置10から受信した支援必要性情報140を支援者に提示する態様を例示する図である。 本願発明の第1の実施形態に係る接客支援装置10の動作を示すフローチャートである。 本願発明の第2の実施形態に係る接客支援装置40の構成を示すブロック図である。 本願発明の各実施形態に係る接客支援装置を実行可能な情報処理装置900の構成を示すブロック図である。
以下、本願発明の実施の形態について図面を参照して詳細に説明する。本願発明は、接客対応に関する過去事例との類似性の高さと、接客対応者の状態との組み合わせに基づいて、支援の必要性を判断することによって、その判断精度を高めることに着目した発明である。
<第1の実施形態>
図1は、本願発明の第1の実施の形態に係る接客支援装置10の構成を示すブロック図である。接客支援装置10は、コールセンタあるいは実店舗の店頭等において、顧客からの質問や要望に関する接客対応者による接客対応を支援する情報処理装置である。尚、図1には、説明の便宜上、顧客と接客対応者との組を1組分記載しているが、接客支援装置10は、顧客と接客対応者との複数の組を支援対象としてもよい。
接客支援装置10は、接客対応者が接客において困窮した状態に陥り、熟練者である支援者による支援が必要になった場合、接客支援装置10と通信可能に接続された支援者端末装置30に、支援が必要であることを通知する。支援者端末装置30は、接客支援装置10から受信した情報等を支援者に対して提示可能な、例えばパーソナルコンピュータやスマートフォン等の端末装置である。そして支援者は、接客支援装置10からの通知に応じて、接客支援装置10等を使用したリモート環境において接客対応者に指示することにより、あるいは、接客対応者が接客対応している現場に行くことによって、接客対応者を支援する。
接客支援装置10は、取得部11、算出部12、診断部13、生成部14、データベース15、及び、提示部16を備えている。
データベース15は、例えば磁気ディスク等の不揮発性の記憶デバイスによって構成され、接客支援装置10が動作する際に参照する過去事例情報150、及び、診断基準情報151を記憶している。これらの情報の詳細に関しては後述する。尚、接客支援装置10は、データベース15を備えなくてもよい。データベース15は、例えば、接客支援装置10が通信ネットワークを介してアクセス可能なストレージ装置などに構築されてもよい。
取得部11は、カメラ21によって撮影された画像情報、マイク22によって収集された音声情報、及び、センサ23によって測定された測定情報を、接客情報110として取得する。取得部11は、例えば、接客対応者による接客対応が開始されたのち、上述した画像情報、音声情報、及び測定情報を、接客情報110として取得する動作を開始する。尚、取得部11は、例えば、接客対応が開始されたことを示す信号(電話による応答を開始したことを示す信号等)を外部から受信することによって、接客対応が開始されたことを検出することとする。
カメラ21は、接客対応者の表情(例えば視線)等を撮影する。カメラ21は、また、接客対応者と顧客とが行なう手話、あるいは、身振り、手振り(ジェスチャー)等を撮影する。マイク22は、顧客と接客対応者との会話を表す音声を収集する。マイク22は、コールセンタ等において接客対応者が電話によって対応している場合は、その電話における音声を収集する。センサ23は、接客対応者の体の状態を表すバイタルデータ(身体情報)を収集可能なセンサである。但しバイタルデータは、例えば、心拍数、血圧、体温等を表すデータである。
取得部11は、接客情報110に含まれる、接客対応者の表情を表す画像情報に対して、画像認識処理を行うことによって、接客対応者の表情等を分析する。尚、画像認識処理には周知の技術を適用可能であるので、本願では、その詳細な説明を省略する。
取得部11は、また、接客情報110に含まれる顧客と接客対応者との会話を表す音声情報に対して、音声認識処理を行うことによって、当該会話を表すテキストデータ(語句、文、文章)を生成するとともに、接客対応者による発声の状態を分析する。但し発声の状態とは、例えば、話す速度、声の大きさ、発話のリズム、声の変化等に関する状態のことである。尚、音声認識処理には周知の技術を適用可能であるので、本願では、その詳細な説明を省略する。取得部11は、また、顧客と接客対応者との会話(手話やジェスチャー等)を表す画像情報に対して、画像認識処理を行うことによって、当該会話を表す1以上の語句を生成してもよい。
取得部11は、接客情報110を、接客情報110に対して上述した処理を行った結果(分析結果等)も含めて、算出部12と診断部13とに入力する。尚、本願では以降、上述した処理を行った結果も含めて、接客情報110と称することとする。
算出部12は、データベース15から入手した過去事例情報150が表す会話の内容と、取得部11から入力された分析結果等を含む接客情報110が表す会話の内容との類似度120を算出する。過去事例情報150は、過去の接客対応案件に関する、顧客と接客対応者との会話の内容(事例)を蓄積した情報である。過去事例情報150は、より具体的には、例えば、顧客による質問あるいは要望と、その質問あるいは要望に対する接客対応者による回答とを対とする情報であり、例えばテキストデータにより構築されている。過去事例情報150は、例えば、新たな事例を追加する場合、あるいは、登録済みの事例に関する内容を見直す場合等に、支援者等による入力操作などによって、適宜更新される。
算出部12は、例えば、接客情報110が表す会話に含まれる特徴的な単語あるいは顧客による質問の文あるいは文章自体などを検索キーとして、過去事例情報150を検索し、検索キーと、過去事例情報150に含まれる会話の事例との類似度120を算出する。算出部12は、例えば、形態素解析、構文解析、特徴的な単語の出現頻度を計測することなどによって、類似度120を算出する。尚、類似度120の算出には、前述した方法のような周知の技術を適用可能であるので、本願では、その詳細な説明を省略する。
算出部12は、算出した類似度120が基準を満たす(例えば類似度120が最も高い)過去事例情報150に含まれる接客対応案件を特定し、特定した接客対応案件に関する類似度120を、生成部14へ入力する。
尚、過去事例情報150は、接客対応の難易度に影響を及ぼす、顧客による質問あるいは要望の特性を表す顧客特性情報を含んでもよい。顧客特性情報は、例えば顧客による質問の内容から、質問対象の製品分野に関するその顧客の知識が豊富でないことを示す情報である。顧客特性情報は、あるいは、例えば顧客による要望が無理難題であることを示す情報である。質問対象の製品分野に関する顧客の知識が豊富でない場合、あるいは、顧客による要望が無理難題である場合、一般的に、接客対応の難易度が高くなる。即ち、顧客特性情報は、例えば、各接客対応案件に関する接客対応の難易度の高さを示す情報である。
算出部12は、特定した接客対応案件に関する顧客特性情報を抽出し、抽出した顧客特性情報を、類似度120とともに生成部14へ入力してもよい。
診断部13は、取得部11から入力された分析結果等を含む接客情報110が表す接客対応者の状態と、データベース15から入手した診断基準情報151とに基づいて、接客対応者の状態130を診断する。診断基準情報151は、接客対応者が、正常な状態にあるか、あるいは異常な状態にあるかを診断する際の基準となる情報である。但し異常な状態とは、例えば、経験の浅い接客対応者が接客において困窮した場合に、精神的な緊張が高まることによって、接客対応を正常に行なう能力が低下している状態を表す。
診断基準情報151には、例えば、認知心理学等から導き出された、あるいは人工知能による機械学習を用いて導き出された、正常な状態にある、あるいは異常な状態にある人に見られる特徴的な表情や行動などが登録されている。例えば、異常な状態にある人に特徴的な表情や行動としては、視線が頻繁に動いていること、心拍数や血圧などのバイタルデータが示す値が基準より高い(あるいは低い)こと、早口になっていること、声の大きさが大きすぎる、あるいは小さすぎること、異常な状態にあるときに発言される傾向がある特定の語句(例えば「どうしよう」、「困った」等)を発言していることなどがある。診断基準情報151は、診断部13による診断結果が適切であったか否かを支援者等が評価した結果に基づいて、支援者等による入力操作などによって、適宜更新される。
診断基準情報151は、また、接客対応者ごとに異なる基準を表す情報であってもよい。即ち、診断基準情報151は、接客対応者ごとに、接客対応に関する知識や熟練度、過去の接客対応において問題が発生した実績、性格の傾向等に応じて、異常な状態にあると診断する基準を厳しくしたり緩めたりした情報であってもよい。この場合、診断基準情報151は、接客対応者を識別可能な識別情報と、当該接客対応者に関する診断基準とが関連付けされた情報であり、診断部13は、入手した接客対応者の識別情報によって特定される診断基準を使用すればよい。
診断部13は、取得部11から入力された接客情報110が表す接客対応者の状態130を、診断基準情報151と照合することによって、接客対応者の状態130を診断する。診断部13は、診断した接客対応者の状態130を、生成部14に入力する。
生成部14は、算出部12から入力された類似度120と、診断部13から入力された接客対応者の状態130とに基づいて、接客対応者を支援する必要性の度合いを表す支援必要性情報140を生成する。
図2は、本実施形態に係る生成部14が生成する支援必要性情報140の内容を例示する図である。但し、図2に示す例では、算出部12は、類似度120を3段階(高/中/低)に算出し、診断部13は、接客対応者の状態130を2段階(正常/異常)に診断することとする。尚、算出部12により算出される類似度120の段階、及び、診断部13により診断される接客対応者の状態130の段階は、図2に示す例に限定されない。算出部12及び診断部13は、例えば、類似度120及び接客対応者の状態130を、図2に示す例よりも多段階に分けて求めるようにしてもよい。
図2に例示するように、生成部14は、接客対応者の状態130が正常であることを示す場合、類似度120が「高」、「中」、「低」を示すことに応じて、順に、「支援の必要性は無し(アラーム無し)」、「支援の必要性は低(参考レベルのアラーム)」、「支援の必要性は中(警告レベルのアラーム)」を示す支援必要性情報140を生成する。生成部14は、また、接客対応者の状態130が異常であることを示す場合、類似度120が「高」、「中」、「低」を示すことに応じて、順に、「支援の必要性は低(参考レベルのアラーム)」、「支援の必要性は中(警告レベルのアラーム)」、「支援の必要性は高(緊急レベルのアラーム)」を示す支援必要性情報140を生成する。
即ち、生成部14は、算出部12によって算出された類似度120が低いほど、あるいは、診断部13によって診断された接客対応者の状態130が異常であるほど、接客対応者を支援する必要性の度合いが高くなるように、支援必要性情報140を生成する。そして生成部14は、例えば類似度120が同じ値を示す場合において、接客対応者の状態130が、正常であることを示すときよりも異常であることを示すときのほうが、支援の必要性が高くなるように、支援必要性情報140を生成する。
生成部14はまた、算出部12から、上述した顧客特性情報を入力されている場合、例えば入力された顧客特性情報が示す接客対応の難易度の高さをふまえて支援必要性情報140を生成するようにしてもよい。即ち、生成部14は、入力された顧客特性情報が、接客対応の難易度が高いことを示す場合、接客対応の難易度が高くない場合よりも支援の必要性が高くなるように、支援必要性情報140を生成する。
生成部14は、生成した支援必要性情報140を、支援者端末装置30へ送信する。生成部14は、例えば図2に示す通りに支援必要性情報140を生成した場合、支援必要性情報140が「支援の必要性は無し(アラーム無し)」を示す場合を除き、支援必要性情報140を、支援者端末装置30へ送信する。生成部14は、この際、支援必要性情報140が支援の必要性があることを示す接客対応案件の詳細を表す付加情報も合わせて、支援者端末装置30へ送信する。
図3は、本実施形態に係る支援者端末装置30が、接客支援装置10から受信した支援必要性情報140及びその付加情報を支援者に提示する(例えばモニターに表示する)態様を例示する図である。図3に示す例では、上述した付加情報は、支援者端末装置30への送信日時、接客対応者の識別情報、接客対応場所、接客対応者の状態130、当該接客対応案件と類似する過去事例の識別情報、顧客特性、類似度120等を含んでいる。そして図3に例示する通り、支援者端末装置30は、例えば、接客支援装置10から受信した支援必要性情報140及びその付加情報の履歴を表示する。
尚、図3に示す例では、項番「517」に関して、接客対応者の状態130が「正常」を示し、類似度120が「中」を示し、支援必要性情報140が「中」を示している。また、図2に例示する通り、接客対応者の状態130が「正常」であり類似度120が「中」である場合、生成部14は、通常は「低」を示す支援必要性情報140を生成する。これは、図3に例示する通り、項番「517」に関して、前述した顧客特性が「難」(即ち、接客対応の難易度が高い)を示しているので、生成部14は、項番「517」に関する支援必要性を1ランク高くした支援必要性情報140を生成するからである。
支援者は、支援者端末装置30によって提示された支援必要性情報140及びその付加情報に基づいて、支援必要性が高い接客対応案件を優先して、接客対応者を支援する。この場合、支援者は、支援者端末装置30を用いて、支援を開始する対象である接客対応者の識別情報を、接客支援装置10へ通知する。接客支援装置10は、支援者端末装置30から受信した支援開始を示す通知に応じて、当該接客対応者による接客対応案件に関する、カメラ21によって撮影された画像情報、マイク22によって収集された音声情報、及び、センサ23によって測定された測定情報を、リアルタイムで支援者端末装置30へ送信することを開始する。支援者は、接客支援装置10から送信された上述した各情報に応じて、接客対応者に対する指示を表す情報を、支援者端末装置30を介して接客支援装置10へ送信する。接客支援装置10における提示部16は、支援者端末装置30から受信した接客対応者に対する指示を表す情報を、映像あるいは音声等によって、接客対応者へ提示する。
また、支援者は、上述したようなリモート環境を使用して接客対応者を支援するのではなく、接客対応者が接客対応している現場(図3に例示する接客対応場所)に行くことによって、接客対応者を支援することも可能である。
次に図4のフローチャートを参照して、本実施形態に係る接客支援装置10の動作(処理)について詳細に説明する。
取得部11は、カメラ21によって撮影された画像情報、マイク22によって収集された音声情報、及び、センサ23によって測定された測定情報を、接客情報110として取得する(ステップS101)。取得部11は、接客情報110に含まれる音声情報及び画像情報に対して、音声認識処理及び画像認識処理を行う(ステップS102)。
算出部12は、音声認識処理及び画像認識処理が行われた接客情報110と、過去事例情報150とについて、接客情報110と最も類似する過去事例情報150に含まれる接客対応案件を特定し、特定した接客対応案件に関する類似度120を算出する(ステップS103)。診断部13は、音声認識処理及び画像認識処理が行われた接客情報110を、診断基準情報151と照合することによって、接客対応者の状態130を診断する(ステップS104)。尚、ステップS103とステップS104とは、行なわれる順番が逆であってもよく、あるいは、並列に行なわれてもよい。
生成部14は、類似度120と接客対応者の状態130とに基づいて、類似度120が低いほど、あるいは接客対応者の状態130が異常であるほど、接客対応者を支援する必要性の度合いが高くなるように、支援必要性情報140を生成する(ステップS105)。生成部14は、支援必要性情報140を、支援必要性情報140が支援の必要性があることを示す接客対応案件に関する付加情報とともに、支援者端末装置30へ送信する(ステップS106)。
接客支援装置10から送信された支援必要性情報140を提示された支援者が、接客対応者を支援することを決定しなかった場合(ステップS107でNo)、処理はステップS101へ戻る。接客支援装置10から送信された支援必要性情報140を提示された支援者が、接客対応者を支援することを決定した場合(ステップS107でYes)、提示部16は、支援者によって操作入力された支援者端末装置30から受信した、接客対応者を支援する支援情報を、接客対応者に提示し(ステップS108)、処理はステップS101へ戻る。
本実施形態に係る接客支援装置10は、接客対応者が接客において困窮した際に、情報処理装置を用いて当該接客担当者への支援を支援者に依頼する場合において、支援の必要性を判断する精度を高めることができる。その理由は、接客支援装置10は、顧客と接客対応者との間で行なわれる会話の内容と過去事例情報150が示す会話の内容とに関する類似度120と、診断基準情報151に基づいて診断した接客対応者の状態130とに基づいて、支援必要性情報140を生成するからである。
以下に、本実施形態に係る接客支援装置10によって実現される効果について、詳細に説明する。
顧客と接客対応者との通話内容に基づいて顧客と接客対応者との感情等の状況を把握し、問題が発生しそうな場合は、熟練者である支援者が接客対応者を支援することによって、問題を回避するようにした技術がある。このような技術を採用したシステムにおいて、例えば、支援の必要性が低いのにもかかわらず支援者に対して必要以上に支援が依頼される場合、支援者に対する負荷が増大し、支援の必要性が高い案件に対する支援者によるフォローが漏れる可能性がある。これとは逆に、例えば、支援の必要性が高いのにもかかわらず支援者に対して支援が依頼されない場合、問題が発生する可能性が高くなるので、顧客満足度が低下する要因となる。即ち、接客対応者が接客において困窮した際に、接客担当者への支援を適切に支援者に依頼するために、支援の必要性を判断する精度を高めることが課題である。
そして、支援者による接客対応者を支援する必要性の度合いに影響を及ぼす要素としては、大別して、接客対応の内容に関する過去事例との類似性と、接客対応者の状態との2つがあると考えられる。
まず、過去事例との類似性に関しては、接客対応の内容に関する過去事例との類似性が高い場合、接客対応者は、過去事例を参考にして接客すればよい(即ち接客対応の難易度が低い)ので、支援者による接客対応者を支援する必要性の度合いは低くなる傾向がある。これに対して、接客対応の内容に関する過去事例との類似性が低い場合、接客対応者は、過去事例を参考にすることができない(即ち接客対応の難易度が高い)ので、支援者による接客対応者を支援する必要性の度合いは高くなる傾向がある。
また、接客対応者の状態に関しては、接客対応者が、例えば接客において困窮したときに、精神的な緊張が高まることによって、接客対応を正常に行なう能力が低下している状態(異常な状態)にある場合は、接客対応者が正常な状態にある場合よりも、支援者による接客対応者を支援する必要性の度合いは高くなる傾向がある。
したがって、接客担当者への支援を適切に支援者に依頼できるように、支援の必要性を判断する精度を高めるためには、接客対応に関する過去事例との類似性の高さと、接客対応者の状態との組み合わせに基づいて、支援の必要性を判断することが課題であると考えられる。
このような課題に対して、本実施形態に係る接客支援装置10は、取得部11と、算出部12と、診断部13と、生成部14と、を備え、例えば図1乃至図4を参照して上述する通り動作する。即ち、取得部11は、顧客と接客対応者との間で行なわれる会話の内容と、接客対応者の状態とを表す接客情報110を取得する。算出部12は、会話に関する過去の事例を表す過去事例情報150と、会話の内容を表す接客情報110との類似度120を算出する。診断部13は、接客対応者の状態を診断する際の基準となる診断基準情報151と、接客情報110とに基づいて、接客対応者の状態130を診断する。そして生成部14は、算出部12によって算出された類似度120と、診断部13によって診断された接客対応者の状態130とに基づいて、接客対応者を支援する必要性の度合いを表す支援必要性情報140を生成する。これにより、本実施形態に係る接客支援装置10は、接客対応に関する過去事例との類似性の高さと、接客対応者の状態との組み合わせに基づいて、支援の必要性を判断するので、支援の必要性を判断する精度を高めることができる。
また、本実施形態に係る接客支援装置10は、接客対応者の表情を分析した結果、接客対応者による発声の状態と顧客との会話を表す文章とに関する分析結果、及び、接客対応者のバイタルデータ等、接客対応者に関する多角的な情報に基づいて、接客対応者の状態130を分析する。これにより、本実施形態に係る接客支援装置10は、接客対応者の状態を高い精度で把握することができるので、支援の必要性を判断する精度をさらに高めることができる。
また、本実施形態に係る接客支援装置10は、顧客による質問あるいは要望の特性を表す顧客特性情報(接客対応案件に関する接客対応の難易度の高さを示す情報)を含む過去事例情報150から顧客特性情報を抽出し、抽出した顧客特性情報もふまえて、支援必要性情報140を生成する。これにより、本実施形態に係る接客支援装置10は、支援の必要性を判断する精度をさらに高めることができる。
また、本実施形態に係る接客支援装置10は、接客対応案件に関して生成した支援必要性情報140と、当該接客対応案件の詳細を表す付加情報とを、支援者端末装置30へ送信する。これにより、本実施形態に係る接客支援装置10は、支援者による接客対応者に対する迅速かつ適切な支援を実現することができる。尚、接客支援装置10は、支援者端末装置30へ送信する付加情報として、図3に例示する情報に加えて、例えば、顧客と接客対応者との会話の内容を表す情報を含めてもよい。この場合、支援者は、当該接客対応案件に関する具体的な内容を事前に把握することができるので、接客支援装置10は、支援者による接客対応者に対する、さらに迅速かつ適切な支援を実現することができる。
<第2の実施形態>
図5は、本願発明の第2の実施形態に係る接客支援装置40の構成を示すブロック図である。
本実施形態に係る接客支援装置40は、取得部41、算出部42、診断部43、及び、生成部44を備えている。
取得部41は、顧客と接客対応者との間で行なわれる会話の内容と、接客対応者の状態とを表す接客情報410を取得する。
算出部42は、顧客と接客対応者との会話に関する過去の事例を表す過去事例情報450と、顧客と接客対応者との会話の内容を表す接客情報410との類似度を算出する。
診断部43は、接客対応者の状態を診断する際の基準となる診断基準情報451と、接客情報410とに基づいて、接客対応者の状態を診断する。
生成部44は、算出部42によって算出された類似度420と、診断部43によって診断された接客対応者の状態430とに基づいて、接客対応者を支援する必要性の度合いを表す支援必要性情報440を生成する。
本実施形態に係る接客支援装置40は、接客対応者が接客において困窮した際に、情報処理装置を用いて当該接客担当者への支援を支援者に依頼する場合において、支援の必要性を判断する精度を高めることができる。その理由は、接客支援装置40は、顧客と接客対応者との間で行なわれる会話の内容と過去事例情報450が示す会話の内容とに関する類似度420と、診断基準情報451に基づいて診断した接客対応者の状態430とに基づいて、支援必要性情報440を生成するからである。
<ハードウェア構成例>
上述した各実施形態において図1、及び、図5に示した接客支援装置における各部は、専用のHW(HardWare)(電子回路)によって実現することができる。また、図1、及び、図5において、少なくとも、下記構成は、ソフトウェアプログラムの機能(処理)単位(ソフトウェアモジュール)と捉えることができる。
・取得部11及び41
・算出部12及び42、
・診断部13及び43、
・生成部14及び44。
但し、これらの図面に示した各部の区分けは、説明の便宜上の構成であり、実装に際しては、様々な構成が想定され得る。この場合のハードウェア環境の一例を、図6を参照して説明する。
図6は、本願発明の各実施形態に係る接客支援装置を実行可能な情報処理装置900(コンピュータ)の構成を例示的に説明する図である。即ち、図6は、図1、及び、図5に示した接客支援装置を実現可能なコンピュータ(情報処理装置)の構成であって、上述した実施形態における各機能を実現可能なハードウェア環境を表す。
図6に示した情報処理装置900は、構成要素として下記を備えている。
・CPU(Central_Processing_Unit)901、
・ROM(Read_Only_Memory)902、
・RAM(Random_Access_Memory)903、
・ハードディスク(記憶装置)904、
・図1に示すカメラ21、マイク22、センサ23、支援者端末装置30等との通信インタフェース905、
・バス906(通信線)、
・CD-ROM(Compact_Disc_Read_Only_Memory)等の記録媒体907に格納されたデータを読み書き可能なリーダライタ908、
・提示部16として機能するモニターやスピーカ、キーボード等の入力デバイス等の入出力インタフェース909。
即ち、上記構成要素を備える情報処理装置900は、これらの構成がバス906を介して接続された一般的なコンピュータである。情報処理装置900は、CPU901を複数備える場合もあれば、マルチコアにより構成されたCPU901を備える場合もある。
そして、上述した実施形態を例に説明した本願発明は、図6に示した情報処理装置900に対して、次の機能を実現可能なコンピュータプログラムを供給する。その機能とは、その実施形態の説明において参照したブロック構成図(図1、及び、図5)における上述した構成、或いはフローチャート(図4)の機能である。本願発明は、その後、そのコンピュータプログラムを、当該ハードウェアのCPU901に読み出して解釈し実行することによって達成される。また、当該装置内に供給されたコンピュータプログラムは、読み書き可能な揮発性のメモリ(RAM903)、または、ROM902やハードディスク904等の不揮発性の記憶デバイスに格納すれば良い。
また、前記の場合において、当該ハードウェア内へのコンピュータプログラムの供給方法は、現在では一般的な手順を採用することができる。その手順としては、例えば、CD-ROM等の各種記録媒体907を介して当該装置内にインストールする方法や、インターネット等の通信回線を介して外部よりダウンロードする方法等がある。そして、このような場合において、本願発明は、係るコンピュータプログラムを構成するコード或いは、そのコードが格納された記録媒体907によって構成されると捉えることができる。
以上、上述した実施形態を模範的な例として本願発明を説明した。しかしながら、本願発明は、上述した実施形態には限定されない。即ち、本願発明は、本願発明のスコープ内において、当業者が理解し得る様々な態様を適用することができる。
この出願は、2018年2月20日に出願された日本出願特願2018-028137を基礎とする優先権を主張し、その開示の全てをここに取り込む。
10 接客支援装置
11 取得部
110 接客情報
12 算出部
120 類似度
13 診断部
130 接客対応者の状態
14 生成部
140 支援必要性情報
15 データベース
150 過去事例情報
151 診断基準情報
21 カメラ
22 マイク
23 センサ
30 支援者端末装置
40 接客支援装置
41 取得部
410 接客情報
42 算出部
420 類似度
43 診断部
430 接客対応者の状態
44 生成部
440 支援必要性情報
450 過去事例情報
451 診断基準情報
900 情報処理装置
901 CPU
902 ROM
903 RAM
904 ハードディスク(記憶装置)
905 通信インタフェース
906 バス
907 記録媒体
908 リーダライタ
909 入出力インタフェース

Claims (10)

  1. 顧客と接客対応者との間で行なわれる会話の内容と、前記接客対応者の測定機器により測定される状態とを表す接客情報を取得する取得手段と、
    前記会話に関する過去の事例を表す過去事例情報と、前記会話の内容を表す前記接客情報との類似度を算出する算出手段と、
    前記接客対応者が接客対応を正常に行うことができる状態にあるか否かを診断する際の基準となる診断基準情報と、前記接客情報とに基づいて、前記接客対応者が前記接客対応を正常に行うことができる状態にあるか否かを診断する診断手段と、
    前記算出手段によって算出された前記類似度と、前記診断手段によ前記接客対応者に対する診断結果とに基づいて、前記接客対応者を支援する必要性の度合いを表す支援必要性情報を生成する生成手段と、
    を備える接客支援装置。
  2. 前記生成手段は、前記算出手段によって算出された前記類似度が低いほど、あるいは、前記診断手段によって診断された前記接客対応者の状態が異常であるほど、前記接客対応者を支援する必要性の度合いが高くなるように、前記支援必要性情報を生成する、
    請求項1に記載の接客支援装置。
  3. 前記取得手段は、前記接客情報に含まれる前記会話を表す音声情報あるいは画像情報に対して、音声認識処理あるいは画像認識処理を行うことによって前記会話を表す1以上の語句を生成し、
    前記算出手段は、前記取得手段によって生成された1以上の語句と、前記過去事例情報が表す1以上の語句とを構文解析することによって、前記類似度を算出する、
    請求項1あるいは請求項2に記載の接客支援装置。
  4. 前記取得手段は、前記接客情報に含まれる前記接客対応者の表情を表す画像情報に対して、画像認識処理を行うことによって、前記接客対応者の表情を分析し、
    前記診断手段は、前記接客対応者が、正常な状態にある、あるいは異常な状態にあるときの表情を表す前記診断基準情報と、前記取得手段による前記接客対応者に関する表情の分析結果と、に基づいて、前記接客対応者の状態を診断する、
    請求項1乃至請求項3のいずれか一項に記載の接客支援装置。
  5. 前記取得手段は、前記接客情報に含まれる前記会話を表す音声情報に対して、音声認識処理を行うことによって、前記会話に関する発声の状態と、前記会話を表す1以上の語句と、を分析し、
    前記診断手段は、前記接客対応者が、正常な状態にある、あるいは異常な状態にあるときの、前記会話に関する発声の状態と前記会話を表す1以上の語句に含まれる特定の語句とを表す前記診断基準情報と、前記取得手段による前記会話に関する発声の状態と前記会話を表す1以上の語句とに関する分析結果と、に基づいて、前記接客対応者の状態を診断する、
    請求項1乃至請求項4のいずれか一項に記載の接客支援装置。
  6. 前記接客情報は、前記接客対応者のバイタルデータを含み、
    前記診断手段は、前記接客対応者が、正常な状態にある、あるいは異常な状態にあるときの、前記バイタルデータを表す前記診断基準情報と、前記接客情報に含まれる前記バイタルデータと、に基づいて、前記接客対応者の状態を診断する、
    請求項1乃至請求項5のいずれか一項に記載の接客支援装置。
  7. 前記過去事例情報は、前記顧客による質問あるいは要望の特性を表す顧客特性情報を含み、
    前記算出手段は、前記過去事例情報から前記顧客特性情報を抽出し、
    前記生成手段は、前記算出手段によって抽出された前記顧客特性情報に基づいて、前記支援必要性情報を生成する、
    請求項1乃至請求項6のいずれか一項に記載の接客支援装置。
  8. 前記生成手段は、接客対応案件に関して生成した前記支援必要性情報と、前記接客対応案件の詳細を表す付加情報とを、自装置と通信可能に接続された、前記接客対応者を支援する支援者に情報を提示可能な支援者端末装置へ送信する、
    請求項1乃至請求項7のいずれか一項に記載の接客支援装置。
  9. 情報処理装置によって、
    顧客と接客対応者との間で行なわれる会話の内容と、前記接客対応者の測定機器により測定される状態とを表す接客情報を取得し、
    前記会話に関する過去の事例を表す過去事例情報と、前記会話の内容を表す前記接客情報との類似度を算出し、
    前記接客対応者が接客対応を正常に行うことができる状態にあるか否かを診断する際の基準となる診断基準情報と、前記接客情報とに基づいて、前記接客対応者が前記接客対応を正常に行うことができる状態にあるか否かを診断し、
    算出した前記類似度と、記接客対応者に対する診断結果とに基づいて、前記接客対応者を支援する必要性の度合いを表す支援必要性情報を生成する、
    接客支援方法。
  10. 顧客と接客対応者との間で行なわれる会話の内容と、前記接客対応者の測定機器により測定される状態とを表す接客情報を取得する取得処理と、
    前記会話に関する過去の事例を表す過去事例情報と、前記会話の内容を表す前記接客情報との類似度を算出する算出処理と、
    前記接客対応者が接客対応を正常に行うことができる状態にあるか否かを診断する際の基準となる診断基準情報と、前記接客情報とに基づいて、前記接客対応者が前記接客対応を正常に行うことができる状態にあるか否かを診断する診断処理と、
    前記算出処理によって算出された前記類似度と、前記診断処理によ前記接客対応者に対する診断結果とに基づいて、前記接客対応者を支援する必要性の度合いを表す支援必要性情報を生成する生成処理と、
    をコンピュータに実行させるための接客支援プログラム。
JP2020501745A 2018-02-20 2019-02-18 接客支援装置、接客支援方法、及び、接客支援プログラム Active JP7040593B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2018028137 2018-02-20
JP2018028137 2018-02-20
PCT/JP2019/005801 WO2019163700A1 (ja) 2018-02-20 2019-02-18 接客支援装置、接客支援方法、及び、接客支援プログラムが格納された記録媒体

Publications (2)

Publication Number Publication Date
JPWO2019163700A1 JPWO2019163700A1 (ja) 2020-12-17
JP7040593B2 true JP7040593B2 (ja) 2022-03-23

Family

ID=67686763

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020501745A Active JP7040593B2 (ja) 2018-02-20 2019-02-18 接客支援装置、接客支援方法、及び、接客支援プログラム

Country Status (3)

Country Link
US (1) US20210350793A1 (ja)
JP (1) JP7040593B2 (ja)
WO (1) WO2019163700A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11843719B1 (en) * 2018-03-30 2023-12-12 8X8, Inc. Analysis of customer interaction metrics from digital voice data in a data-communication server system
WO2024111121A1 (ja) * 2022-11-25 2024-05-30 日本電信電話株式会社 面談支援装置、面談支援方法及びプログラム
CN118469007A (zh) * 2024-07-11 2024-08-09 天翼视联科技有限公司 一种投诉案例库动态建立方法、系统、设备和介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005196297A (ja) 2003-12-26 2005-07-21 Canon Software Inc 接客支援サーバおよび接客支援サーバの接客支援の制御方法および記録媒体
JP2011221627A (ja) 2010-04-06 2011-11-04 Seiko Epson Corp 接客支援装置、接客支援方法およびプログラム
JP2016021044A (ja) 2014-06-16 2016-02-04 パナソニックIpマネジメント株式会社 接客評価装置、接客評価システム及び接客評価方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7739115B1 (en) * 2001-02-15 2010-06-15 West Corporation Script compliance and agent feedback
US20040008828A1 (en) * 2002-07-09 2004-01-15 Scott Coles Dynamic information retrieval system utilizing voice recognition
US8694483B2 (en) * 2007-10-19 2014-04-08 Xerox Corporation Real-time query suggestion in a troubleshooting context
US8463606B2 (en) * 2009-07-13 2013-06-11 Genesys Telecommunications Laboratories, Inc. System for analyzing interactions and reporting analytic results to human-operated and system interfaces in real time
US9083561B2 (en) * 2010-10-06 2015-07-14 At&T Intellectual Property I, L.P. Automated assistance for customer care chats
US9042540B2 (en) * 2012-10-30 2015-05-26 Teletech Holdings, Inc. Method for providing support using answer engine and dialog rules
US11341505B1 (en) * 2014-05-05 2022-05-24 United Services Automobile Association Automating content and information delivery
US20160180257A1 (en) * 2014-12-18 2016-06-23 Expedia, Inc. Automatic conversion of formatted travel information
US10354256B1 (en) * 2014-12-23 2019-07-16 Amazon Technologies, Inc. Avatar based customer service interface with human support agent
US9531875B2 (en) * 2015-03-12 2016-12-27 International Business Machines Corporation Using graphical text analysis to facilitate communication between customers and customer service representatives
US10235411B2 (en) * 2015-06-08 2019-03-19 Conduent Business Services, Llc Online dynamic solution retrieval based on automatic keyword selection during customer dialogue
US9648171B1 (en) * 2016-05-23 2017-05-09 Intuit Inc. Emotion recognition to match support agents with customers
CA3030134A1 (en) * 2016-06-02 2017-12-07 Genesys Telecommunications Laboratories, Inc. Technologies for monitoring interactions between customers and agents using sentiment detection
US10448887B2 (en) * 2016-10-26 2019-10-22 Mattersight Corporation Biometric customer service agent analysis systems and methods
US20180315131A1 (en) * 2017-04-28 2018-11-01 Hrb Innovations, Inc. User-aware interview engine
US11238872B2 (en) * 2017-11-22 2022-02-01 [24]7.ai, Inc. Method and apparatus for managing agent interactions with enterprise customers
US10402240B2 (en) * 2017-12-14 2019-09-03 Disney Enterprises, Inc. Mediating interactions among system agents and system clients
WO2019133710A1 (en) * 2017-12-29 2019-07-04 DMAI, Inc. System and method for dialogue management
US11803861B2 (en) * 2018-01-03 2023-10-31 Hrb Innovations, Inc. System and method for matching a customer and a customer service assistant

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005196297A (ja) 2003-12-26 2005-07-21 Canon Software Inc 接客支援サーバおよび接客支援サーバの接客支援の制御方法および記録媒体
JP2011221627A (ja) 2010-04-06 2011-11-04 Seiko Epson Corp 接客支援装置、接客支援方法およびプログラム
JP2016021044A (ja) 2014-06-16 2016-02-04 パナソニックIpマネジメント株式会社 接客評価装置、接客評価システム及び接客評価方法

Also Published As

Publication number Publication date
JPWO2019163700A1 (ja) 2020-12-17
WO2019163700A1 (ja) 2019-08-29
US20210350793A1 (en) 2021-11-11

Similar Documents

Publication Publication Date Title
US11545173B2 (en) Automatic speech-based longitudinal emotion and mood recognition for mental health treatment
US20240170109A1 (en) Systems and methods for mental health assessment
JP6263308B1 (ja) 認知症診断装置、認知症診断方法、及び認知症診断プログラム
US10771627B2 (en) Personalized support routing based on paralinguistic information
US10706873B2 (en) Real-time speaker state analytics platform
US9549068B2 (en) Methods for adaptive voice interaction
US11082554B2 (en) Method for conversion and classification of data based on context
CA3155809A1 (en) Acoustic and natural language processing models for speech-based screening and monitoring of behavioral health conditions
US10592611B2 (en) System for automatic extraction of structure from spoken conversation using lexical and acoustic features
US20190385597A1 (en) Deep actionable behavioral profiling and shaping
JP7040593B2 (ja) 接客支援装置、接客支援方法、及び、接客支援プログラム
US10402924B2 (en) System and method for remote management and detection of client complications
US20140278506A1 (en) Automatically evaluating and providing feedback on verbal communications from a healthcare provider
US12057123B1 (en) Communication devices with embedded audio content transcription and analysis functions
JP7169031B1 (ja) プログラム、情報処理装置、情報処理システム、情報処理方法、情報処理端末
JP7394192B2 (ja) 音声処理装置、音声処理方法、及び、プログラム
JP7184831B2 (ja) 音声の言語特徴と感情特徴を結合させて感情推定を行うモデル及び装置、並びに当該モデルの生成方法
Syed et al. Multimodal Prediction of Public Trust in Politicians from Speech and Text
JP2024089406A (ja) 接客支援装置および接客支援方法
JP2024122273A (ja) 感情推定装置、感情推定方法、及び感情推定プログラム
JP2024036073A (ja) 情報処理装置、及び情報処理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200702

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200702

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210902

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20211021

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220208

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220221

R151 Written notification of patent or utility model registration

Ref document number: 7040593

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151