WO2022024778A1 - コミュニケーションシステム及び評価方法 - Google Patents

コミュニケーションシステム及び評価方法 Download PDF

Info

Publication number
WO2022024778A1
WO2022024778A1 PCT/JP2021/026571 JP2021026571W WO2022024778A1 WO 2022024778 A1 WO2022024778 A1 WO 2022024778A1 JP 2021026571 W JP2021026571 W JP 2021026571W WO 2022024778 A1 WO2022024778 A1 WO 2022024778A1
Authority
WO
WIPO (PCT)
Prior art keywords
communication
evaluation
utterance
group
evaluation information
Prior art date
Application number
PCT/JP2021/026571
Other languages
English (en)
French (fr)
Inventor
篤 掛村
聡 園尾
建太郎 降幡
Original Assignee
株式会社 東芝
東芝デジタルソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 東芝, 東芝デジタルソリューションズ株式会社 filed Critical 株式会社 東芝
Priority to US18/004,521 priority Critical patent/US20230239407A1/en
Priority to CN202180048832.9A priority patent/CN115803761A/zh
Publication of WO2022024778A1 publication Critical patent/WO2022024778A1/ja

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/42Systems providing special services or facilities to subscribers
    • H04M3/56Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/568Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities audio processing specific to telephonic conferencing, e.g. spatial distribution, mixing of participants
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M3/00Automatic or semi-automatic exchanges
    • H04M3/22Arrangements for supervision, monitoring or testing
    • H04M3/2281Call monitoring, e.g. for law enforcement purposes; Call tracing; Detection or prevention of malicious calls
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/20Natural language analysis
    • G06F40/279Recognition of textual entities
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/22Procedures used during a speech recognition process, e.g. man-machine dialogue
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/28Constructional details of speech recognition systems
    • G10L15/30Distributed recognition, e.g. in client-server systems, for mobile phones or network applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00Speech synthesis; Text to speech systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/26Speech to text systems
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • G10L2015/088Word spotting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2201/00Electronic components, circuits, software, systems or apparatus used in telephone systems
    • H04M2201/22Synchronisation circuits
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2203/00Aspects of automatic or semi-automatic exchanges
    • H04M2203/20Aspects of automatic or semi-automatic exchanges related to features of supplementary services
    • H04M2203/2044Group features, e.g. closed user group
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M2203/00Aspects of automatic or semi-automatic exchanges
    • H04M2203/50Aspects of automatic or semi-automatic exchanges related to audio conference
    • H04M2203/5072Multiple active speakers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Computer Security & Cryptography (AREA)
  • Technology Law (AREA)
  • Telephonic Communication Services (AREA)
  • Machine Translation (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

【課題】情報伝達の品質向上を支援する。 【解決手段】実施形態のコミュニケーションシステムは、移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信しつつ、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、各移動通信端末において同期して表示されるようにテキスト配信制御を行うとともに、発話音声認識結果を用いて、コミュニケーション評価を行う。コミュニケーション評価は、グループ対話指標を用いてユーザ間で交わされる対話を評価し、グループコミュニケーション評価情報を生成する第1評価と、個人発話指標を用いてユーザ間で交わされる対話を構成する各発話を評価し、個人発話評価情報を生成する第2評価と、グループコミュニケーション評価情報及び個人発話評価情報を用いてコミュニケーショングループ全体評価情報を生成する第3評価と、を含む。

Description

コミュニケーションシステム及び評価方法
 本発明の実施形態は、音声及びテキストを使用したコミュニケーション(認識共有、意思疎通など)支援技術に関し、特に、コミュニケーション評価技術に関する。
 音声コミュニケーションの一例として、トランシーバ(transceiver)がある。トランシーバは、無線電波の送信機能と受信機能を兼ね備えた無線機であり、1人のユーザが複数人のユーザと通話(一方向又は双方向の情報伝達)を行うことができる。トランシーバの活用例は、工事現場やイベント会場、ホテルや旅館などの施設等で目にすることができる。また、タクシー無線もトランシーバ活用の一例として挙げることができる。
特開2014-86942号公報 特開2018-7005号公報
 コミュニケーショングループ内のグループ発話全体の評価及びグループ発話内の個人(個別)発話の評価を行い、情報伝達の品質向上を支援することを目的とする。
 実施形態のコミュニケーションシステムは、複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声を他のユーザの移動通信端末に同報配信する。本コミュニケーションシステムは、移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第1制御部と、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、前記各移動通信端末において同期して表示されるようにテキスト配信制御を行う第2制御部と、を有するコミュニケーション制御部と、発話音声認識結果を用いて、コミュニケーション評価を行う評価制御部と、を有する。前記評価制御部は、グループ対話指標を用いて、ユーザ間で交わされる対話を評価し、グループコミュニケーション評価情報を生成する第1評価部と、個人発話指標を用いて、前記ユーザ間で交わされる対話を構成する各発話を評価し、個人発話評価情報を生成する第2評価部と、前記グループコミュニケーション評価情報及び前記個人発話評価情報を用いてコミュニケーショングループ全体評価情報を生成する第3評価部と、を有する。
第1実施形態のコミュニケーションシステムのネットワーク構成図である。 第1実施形態のコミュニケーション管理装置及びユーザ端末の各構成ブロック図である。 第1実施形態のユーザ情報及びグループ情報の一例を示す図である。 第1実施形態のユーザ端末に表示される画面例である。 第1実施形態のグループ発話のグループ対話評価と個人発話評価の抽出例を示す図である。 第1実施形態の各グループ対話指標の評価例を示す図である。 第1実施形態の各個人発話指標の評価例を示す図である。 第1実施形態の評価手法の説明図である。 第1実施形態の2軸評価フィールドにマッピングされたコミュニケーション全体評価情報の一例である(コミュニケーショングループ間比較)。 第1実施形態の2軸評価フィールドにマッピングされたコミュニケーション全体評価情報の一例である(同一グループでの月別比較)。 第1実施形態の各評価指標に対する重み値の設定例を示す図である。 第1実施形態のユーザ端末で同期されるコミュニケーションログに付加された評価情報の一例である。 第1実施形態のコミュニケーションシステムの処理フローを示す図である。 第1実施形態のコミュニケーションシステムの処理フローを示す図であり、同報配信時のリアルタイム評価と評価結果の配信処理を示す図である。
(第1実施形態)
 図1から図14は、第1実施形態に係るコミュニケーションシステムのネットワーク構成図、機能構成、処理フロー等を示す図である。コミュニケーションシステムは、コミュニケーション管理装置(以下、管理装置と称する)100を中心に、音声及びテキストを用いた情報伝達支援機能を提供する。以下では、宿泊施設などの施設運営管理を一例に、コミュニケーションシステムを適用した態様について説明する。
 図1に示すように、管理装置100は、複数の各ユーザがそれぞれ携帯する各ユーザ端末(移動通信端末)500と無線通信で接続される。管理装置100は、一のユーザ端末500から受信した発話音声データを、他のユーザ端末500に同報配信する。
 ユーザ端末500は、例えば、スマートフォンなどの多機能携帯電話機やPDA(Personal Digital Assistant)、タブレット型端末などの持ち運び可能な携帯端末(モバイル端末)である。ユーザ端末500は、通信機能、演算機能及び入力機能を備え、IP(Internet protocol)網又は移動通信回線網(Mobile communication network)を通じて無線通信で管理装置100と接続し、データ通信を行う。
 一のユーザの発話音声が他の複数のユーザ端末500に同報配信される範囲(又は後述するコミュニケーション履歴が同期して表示される範囲)は、コミュニケーショングループとして設定され、対象ユーザ(現場ユーザ)のユーザ端末500それぞれが登録される。
 本実施形態のコミュニケーションシステムは、複数の各ユーザがハンズフリーで対話を行うことができることを前提とした、情報共有や意思疎通のための情報伝達を支援する。特に、本コミュニケーションシステムは、各ユーザが情報共有や意思疎通のために行った発話を、グループ対話指標及び個人発話指標の各指標に基づいて評価すると共に、これらの各評価結果を用いたコミュニケーショングループ全体の評価を行う。
 喋り方や問い掛け方、問い掛けに対する応答内容など、ユーザ個々人やその会話グループ全体のコミュニケーションによって、業務効率は変わってくる。例えば、指示が的確であれば、その指示に対応する対応者は、指示された業務を円滑に行うことができる。また、指示に対する応答内容が的確であれば、指示した側が相手ユーザに指示が伝わっていることを把握でき、業務を適切に進めることができる。
 一方で、指示に対する応答が遅く、反応が悪い場合、その指示が相手ユーザにきちんと伝わっていない可能性があり、再度指示を出したり、初めに指示を出した相手ユーザ以外のユーザに指示を出し直したりするなど、業務効率の低下を招くおそれがある。また、指示内容があいまいだったり、応答があいまいだったりすると、誤認識や誤伝達による作業ミスが発生する可能性もある。
 したがって、コミュニケーショングループ全体のコミュニケーションの良し悪しは、業務効率を評価する上で重要なファクターとなる。そこで、本実施形態では、コミュニケーショングループ内の発話ログを、グループ対話指標と個人発話指標の2つの指標で客観的に評価する。
 グループ対話指標に基づいて生成されるグループコミュニケーション評価情報は、円滑な会話が成立しやすい指標として、「対話」の良し悪しを評価する。個人発話指標に基づいて生成される個人発話評価情報は、円滑な情報伝達が成立しやすい指標として「発話」の良し悪しを評価する。
 本コミュニケーションシステムは、グループ対話指標に基づく評価及び個人発話指標に基づく評価をそれぞれ行い、これら2つの指標を軸とした評価フィールドでコミュニケーショングループの全体評価を行う。このように構成することで、コミュニケーショングループ全体の「対話」及び「発話」の相対関係で、業務効率を客観的に評価することができる。そして、フィードバックされるグループとしての評価とユーザ個人としての評価とにより、「対話」の観点からの具体的な良し悪しと、「発話」の観点からの具体的な良し悪しのそれぞれのアプローチで、各コミュニケーショングループそれぞれが目指す全体の業務効率の向上を促進させることができる。
 図2は、管理装置100及びユーザ端末500の各構成ブロック図である。
 管理装置100は、制御装置110、記憶装置120及び通信装置130を含む。通信装置130は、複数の各ユーザ端末500との間の通信接続管理及びデータ通信制御を行い、一のユーザによる発話音声データ及びその発話内容のテキスト情報(発話音声データを音声認識処理して得られたテキスト情報)を複数の各ユーザ端末500に一斉に送る同報配信通信制御を行う。
 制御装置110は、ユーザ管理部111、コミュニケーション制御部112、音声認識部113、音声合成部114、及び評価制御部115を含んで構成されている。記憶装置120は、ユーザ情報121、グループ情報122、コミュニケーション履歴(コミュニケーションログ)情報123、音声認識辞書124、音声合成辞書125及びコミュニケーション評価情報126を含んで構成されている。
 音声合成部114及び音声合成辞書125は、ユーザ端末500からテキスト入力された文字情報や、ユーザ端末500以外の情報入力装置(例えば、管理者や運営者、監督者が操作するモバイル端末やデスクトップPC)からテキスト入力された文字情報を受信し、音声データに変換する音声合成機能を提供する。しかしながら、本実施形態のコミュニケーションシステムの音声合成機能は、任意の機能である。つまり、本実施形態のコミュニケーションシステムは、当該音声合成機能を具備しない構成であってもよい。音声合成機能を備える場合、管理装置100のコミュニケーション制御部112は、ユーザ端末500から入力されたテキスト情報を受信し、音声合成部114が音声合成辞書125を用いて、受信したテキストの文字に対応する音声データを合成し、音声合成データを生成する。このとき、音声合成データを構成する音声データの素材は、任意である。そして、合成音声データ及び受信したテキスト情報を、他のユーザ端末500に同報配信する。なお、上述の音声合成データによる連絡においてもコミュニケーション履歴として蓄積されるので、本評価機能の対象ログとして取り扱うことができる。
 ユーザ端末500は、通信・通話部510、コミュニケーションApp制御部520、マイク530、スピーカー540、タッチパネル等の表示入力部550、及び記憶部560を含んで構成されている。なお、スピーカー540は、実際には、イヤホンやヘッドホン(有線又はワイヤレス)などで構成される。また、バイブレーション装置570は、ユーザ端末500の振動装置である。
 図3は、各種情報の一例を示す図であり、ユーザ情報121は、本コミュニケーションシステムを利用するユーザ登録情報である。ユーザ管理部111は、所定の管理画面を通じて、ユーザID、ユーザ名、属性、グループを設定することができるように制御する。また、ユーザ管理部111は、各ユーザ端末500における本コミュニケーションシステムへのログイン履歴と、ログインしたユーザIDとそのユーザ端末500の識別情報(ユーザ端末500固有のMACアドレスや固体識別情報など)との対応リストと、を管理する。
 グループ情報122は、コミュニケーショングループを識別するグループ識別情報である。コミュニケーショングループID別に伝達情報の送受信及び同報配信を制御し、異なるコミュニケーショングループ間で情報が混在しないように制御される。ユーザ情報121において、グループ情報122に登録されたコミュニケーショングループを、各ユーザに紐付けることができる。
 本実施形態のユーザ管理部111は、複数の各ユーザの登録制御を行い、後述する第1制御(発話音声データの同報配信)及び第2制御(ユーザの発話音声認識結果のテキスト同報配信)の対象のコミュニケーショングループを設定する機能を提供する。
 なお、グループ分けについては、本実施形態のコミュニケーションシステムを導入する施設等に応じて施設を複数の部門に分割して管理することもできる。例えば、宿泊施設を一例に説明すると、ベルパーソン(荷物運び)、コンシェルジュ、ハウスキーピング(清掃)をそれぞれ異なるグループに設定し、客室管理をそれぞれのグループ毎に細分化したコミュニケーション環境を構築することもできる。他の観点として、役割的にコミュニケーションが不要なケースも考えられる。例えば、料理の配膳係と、ベルパーソン(荷物運び)は、直接コミュニケーションをとる必要がないのでグループを分けることができる。また、地理的にコミュニケーションが不要なケースも考えられ、例えば、A支店、B支店などが地理的に離れており、かつ頻繁にコミュニケーションをする必要がない場合などは、グループを分けることができる。
 管理装置100のコミュニケーション制御部112は、第1制御部と第2制御部の各制御部として機能する。第1制御部は、一のユーザ端末500から受信した発話音声データを他の複数のユーザ端末500それぞれに同報配信制御(グループ通話制御)を行う。第2制御部は、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴123として時系列に蓄積するとともに、発話したユーザのユーザ端末500を含む全てのユーザ端末500においてコミュニケーション履歴123が同期して表示されるようにテキスト配信制御を行う。
 第1制御部としての機能は、発話音声データの同報配信である。発話音声データは、主に、ユーザが発声した音声データである。また、上述したように、音声合成機能を備える場合は、ユーザ端末500から入力されたテキスト情報から人工的に生成された音声合成データも、第1制御部による同報配信の対象となる。
 第2制御部としての機能は、ユーザの発話音声認識結果のテキスト同報配信である。ユーザ端末500において入力された音声及びユーザ端末500において再生される音声は、すべてテキスト化されてコミュニケーション履歴123に時系列に蓄積され、各ユーザ端末500において同期して表示されるように制御される。音声認識部113は、音声認識辞書124を用いて音声認識処理を行い、発話音声認識結果としてテキストデータを出力する。音声認識処理については公知の技術を適用することができる。
 コミュニケーション履歴情報123は、各ユーザの発話内容が時間情報と共に、テキストベースで時系列に蓄積されたログ情報である。各テキストに対応する音声データは、音声ファイルとして所定の記憶領域に格納しておくことができ、例えば、コミュニケーション履歴123には、音声ファイルの格納場所を記録する。コミュニケーション履歴情報123は、コミュニケーショングループ別にそれぞれ生成され、蓄積される。なお、音声品質評価結果は、コミュニケーション履歴情報123に含まれるように蓄積したり、対応する発話内容と紐付けて個別の記憶領域に蓄積したりしてもよい。
 図4は、各ユーザ端末500で表示されるコミュニケーション履歴123の一例を示す図である。ユーザ端末500それぞれは、管理装置100からリアルタイムに又は所定のタイミングでコミュニケーション履歴123を受信し、複数のユーザ間で表示同期が取られる。各ユーザは、時系列に過去のコミュニケーションログを参照することができる。
 図4の例のように、各ユーザ端末500は、自分の発話内容及び自分以外の他のユーザの発話内容が表示欄Dに時系列に表示され、管理装置100に蓄積されるコミュニケーション履歴123がログ情報として共有される。なお、表示欄Dにおいて、ユーザ自身の発話音声に対応するテキストには、マイクマークHを表示し、発話者以外の他のユーザに対しては、マイクマークHの代わりに、表示欄DにおいてスピーカーマークMを表示したりすることができる。
 ここで、本実施形態のコミュニケーション評価について詳細に説明する。評価制御部115は、発話音声認識結果を用いて、コミュニケーション評価を行い、第1評価部115A、第2評価部115B、及び第3評価部115Cの各評価機能を備えている。
 第1評価部115Aは、グループ対話指標(Group Dialogue Index)を用いて、ユーザ間で交わされる対話(Dialogue)を評価し、グループコミュニケーション評価情報を生成する。
 第2評価部115Bは、個人発話指標(Personal utterance Index)を用いて、ユーザ間で交わされる対話を構成する各発話(utterance)を評価し、個人発話評価情報を生成する。
 第3評価部115Cは、グループコミュニケーション評価情報及び個人発話評価情報を用いて、コミュニケーショングループ全体評価情報を生成する。コミュニケーション全体評価情報は、後述するように、グループコミュニケーション評価情報及び個人発話評価情報が縦軸及び横軸それぞれに対応付けられた評価フィールドに、「対話」と「発話」の相対関係をプロットした評価情報である。
 図5は、グループ発話のグループ対話評価と個人発話評価の抽出例を示す図である。図5に示すように、グループ対話評価は、コミュニケーションログにおいて、連絡元と連絡先との間の対話を構成する2人以上の発話群を評価対象として抽出する。例えば、「〇〇をお願いします」、「了解しました」などの受け答え発話例を予め設定しておき、抽出する最初の発話文と最後の発話文を特定し、特定された発話群を抽出することができる。また、最初の発話文だけを特定し、最初から所定数分の発話群を抽出したり、逆に最後の発話文を特定して最後から所定数分前までの発話群を抽出したりすることができる。
 一方、個人発話評価は、グループ対話評価において抽出された発話群(対話)を構成する発話文それぞれを評価対象として抽出する。
 本実施形態のグループ対話指標は、応答時間、お礼有無、確認有無、ボトムアップ率の各指標を含む。応答時間は、ユーザ間の発話応答時間(秒)を評価する指標であり、連絡元ユーザの発話に対して連絡先ユーザが発話するまでの時間である。お礼有無は、対話を構成する複数発話内に特定キーワードが存在するか否かを評価する指標の一例であり、例えば、ありがとうございます、ご苦労さまでした、などの連絡先ユーザの対応結果に対して連絡元が感謝する用語(キーワード)の有無を評価する。
 確認有無は、連絡元ユーザからの連絡事項に対する連絡先ユーザの確認応答の有無を評価する。確認応答としては、連絡事項の復唱がある。ボトムアップ率とは、ユーザの自発的アクションを抽出したものである。例えば、連絡事項に対して対応する、言い換えれば、指示に基づく対応が受動的アクションであり、指示されなくても自発的に行った対応が自発的アクションである。ボトムアップ率を評価するための発話文は、例えば、作業完了の報告の発話文であり、「~しておきました。」、「~を先にやりました。」などを対象に発話文を抽出することができる。このとき、抽出した発話文から所定数分前までの発話文に、連絡元ユーザからの連絡事項や指示に相当する発話文が無いこと確認し、連絡元ユーザからの連絡事項や指示に基づく対応と区別するように抽出することができる。
 図6は、第1実施形態の各グループ対話指標の評価例を示す図である。図6の例は、複数の各コミュニケーショングループの月別評価をグラフ化したものである。また、評価値は、指標を充足する割合で示されており、0.0~1.0の範囲で表現されている。応答時間が30秒未満であった割合、対応結果の発話文においてお礼に関するキーワードを含む割合、指示に対する応答発話文において確認(復唱)キーワードを含む割合、対応報告の報告発話に、自発的アクションに基づく発話が含まれている割合が、評価値として生成されている。
 個人発話指標は、固有名詞の有無、連絡事項の冗長化(指示会話長、フィラーの有無)、指示代名詞の有無の各指標を含む。固有名詞は、ユーザに氏又は名である。連絡事項の冗長化は、指示会話長とフィラー有無の各指標に分かれており、指示会話長は、一つの文章内に複数の連絡事項(指示文)が含まれていたり、1発話あたりの文字数が多かったりするか否かを評価する。フィラー有無は、「あのー」、「えっと」などのフィラー(filler)が含まれているかを評価する。指示代名詞は、事物、場所、方角などを指し示す言葉であり、「これ」、「そこ」、「あれ」、「あそこ」などのあいまい語が含まれているかを評価する。
 図7は、第1実施形態の各個人発話指標の評価例を示す図である。図7の例と同様に、複数の各コミュニケーショングループの月別評価をグラフ化したものである。また、評価値は、指標を充足する割合で示されており、0.0~1.0の範囲で表現されている。依頼先有無とは、連絡事項に連絡先ユーザの固有名詞が含まれている発話文の割合である。指示会話長とは、1発話あたりの文字数が所定数以下の発話文の割合又は/及び指示内容が所定数以下の発話文の割合である。フィラー有無は、1発話あたりのフィラーの含有数が所定数以下の発話文の割合である。指示代名詞は、指示等の連絡事項に指示代名詞が2つ以上含まれている発話文の割合が、評価値として生成されている。
 なお、指示代名詞の含有数などの、各指標における閾値等の設定値は、任意に設定可能であり、グループ対話指標についても同様である。また、一例として評価値を割合で算出した態様を示しているが、点数化による評価値算出を行うようにしてもよい。例えば、指標の条件を満足する場合には加点し、満足しない場合は減点したり、条件を満足する場合だけ加点したり、条件を満足しない場合だけ減点したりするように構成することも可能である。
 図8は、各指標を用いた評価手法の説明図である。図8において、左側が評価が高く算出され、右側が評価が低く算出される態様を示している。
 グループ対話指標の「応答時間」は、設定値として30秒が設定されている。リーダーAが指示した発話に対して、清掃員Bが応答した時間が6秒なので、左側の例示では評価が高く(良く)なる。一方、右側の例示では、応答までの時間が33秒なので、評価が低く(悪く)なる。連絡に対する応答時間が短ければ、コミュニケーション効率が高く、業務効率の向上を図ることができる。
 グループ対話指標の「お礼有無」は、お礼に関する文章やキーワードが含まれているか否かを評価条件としている。左側の例示では、清掃員Bの応答(報告の発話)に対して、リーダーAが「ありがとうございます」と発話しているので、評価が高くなる。右側の例示では、清掃員Bの応答に対してリーダーAがお礼に関する文章やキーワードを発話していないので、評価が低くなる。ユーザのアクションに対するお礼を述べることで、感謝の意の気持ちが伝わり、ユーザの業務に対するモチベーションが向上する。
 グループ対話指標の「確認有無」は、リーダーAの指示に対して清掃員Bが応答する発話内容に、リーダーAの指示語(指示内容に関する文章やキーワード)が復唱されて含まれているかを評価する。左側の例示では、リーダーAの「201の清掃をお願いします」という指示発話に対し、清掃信Bが「201ですね、了解です」と、「201」というリーダーの指示発話の一部を復唱している。このため、評価が高くなる。右側の例示では、「了解です」とだけ答えており、リーダーAの指示語が含まれていないため、評価が低くなる。コミュニケーションは、情報伝達に対して双方で意思疎通が取れているかが重要である。このため、連絡元は、連絡先に対して連絡内容がきちんと伝わったかどうかを確認できると、再度同じ連絡を念のため行うなどといった手間を抑制することができる。また、連絡を受ける側としても、指示語を復唱することで、指示された内容の理解度を深めることができる。情報伝達に対して双方での意思疎通の確度を向上させることができる。
 グループ対話指標の「ボトムアップ率」は、ユーザの自発的アクションを評価するものである。左側の例示では、清掃員Bが自らアクションを起こした結果を報告(発話)しているので評価が高くなる。右側の例示では、リーダーAの指示発話に対して清掃員Bが応答して受動的にアクションを起こしており、評価が低くなる。なお、本実施形態の「ボトムアップ率」は、上述のユーザの自発的アクション、すなわち、ユーザが自己判断で行った行動以外にも、ユーザからの自発的な提案や提言、率先した行動などの発話アクションを含むように構成することができる。例えば、「そろそろ混み合う時間なので、これから点検及び補充作業に向かいます。」、「手が空いたので清掃作業のヘルプに向かいます。よろしいでしょうか。」といった発話などがある。
 このようなボトムアップ率の評価は、業務効率の観点において重要なファクターであり、ユーザ自らが考えて行動することで業務効率は向上する。
 個人発話指標の「依頼先有無」は、連絡先を明示した発話を行っているかを評価する。左側の例示では、発話に依頼したい清掃員Bさんの名前があるので、評価が高くなる。右側の例示では、発話に依頼先の名前がないので、評価が低くなる。なお、依頼先を指名する場合と、依頼先を指名せずに、コミュニケーショングループ全体に連絡したい場合もある。しかしながら、複数のユーザそれぞれに同じ連絡が届くので、ユーザ間で誰が応答してアクションを起こすのかといった混乱を生じる恐れがある。このため、連絡先を明示した発話を行っているかを評価することで、業務効率を向上させることができる。
 個人発話指標の「指示会話長」とは、発話内容の冗長化を評価するものであり、左側の例示では、リーダーAの発話(連絡)は、複数の指示を一文毎に端的に短く発話しており、1発話あたりの文字数が少なく、かつ1発話あたりの指示内容も少ないので評価が高くなる。右側の例示では、複数の指示を含む発話が長文化しており、一文が長い。このため、評価が低くなる。複数の指示を含む発話が長文化すると、各指示内容の区切りが付きにくく、情報伝達の確度が低下する。このため、連絡する側の連絡内容が端的でかつ短い方が、情報伝達の確度を向上させることができ、業務効率の向上を図ることができる。
 また、同様の観点において、「フィラー有無」とは、「あのー」、「えっと」などのフィラー(filler)が含まれているかについても冗長化の評価対象として含めたものである。図8の例に示すように、左側の例示では、リーダーAの発話(連絡)は、フィラーが含まれておらず、指示内容がフィラーに邪魔されずに伝わり易いので評価が高くなる。右側の例示では、フィラーが含まれており、フィラーが入ることで、指示内容の情報伝達が邪魔され、伝わりにくいので、評価が低くなる。このように、フィラーが無い又は少ない方が、情報伝達の確度を向上させることができ、業務効率の向上を図ることができる。
 個人発話指標の「指示代名詞」は、「これ」、「そこ」、「あれ」、「あそこ」などのあいまい語が含まれているかを評価する。左側の例示では、依頼したいユーザの氏名、場所(2Fのエレベータホール)、目的(花柄の花瓶、倉庫に持っていく)が明示されており、評価が高くなる。右側の例示では、場所及び目的が、指示代名詞となっているため、評価が低くなる。指示代名詞による連絡は、コミュニケーションの習熟度などに応じて増えたりすることもあるが、誰が、どこで、何をするのかが明示されていなければ、情報伝達の確度は低下する。したがって、指示代名詞が少なく、指示連絡の相手及び相手に依頼する作業内容の場所、目的を明示的に発話することで、業務効率が向上する。
 図9は、2軸評価フィールドにマッピングされたコミュニケーション全体評価情報の一例であり、図9の例は、コミュニケーショングループ間比較評価の一例である。
 本実施形態では、グループ対話指標の評価結果(グループコミュニケーション評価情報)と、個人発話指標の評価結果(個人発話評価情報)とを用いて、コミュニケーショングループ全体評価情報を生成する。
 本コミュニケーションシステムでは、グループ対話指標の評価結果や個人発話指標の評価結果をそれぞれ個別に提供可能であるが、グループ対話指標の評価結果だけでは、グループ内のユーザ個々人の評価を行うことができず、逆に個人発話指標の評価結果だけでは、グループ全体の実体を把握することができない。そこで、本実施形態では、縦軸及び横軸で表現された評価フィールドを生成し、グループコミュニケーション評価情報及び個人発話評価情報を、これらの2軸に対応付ける。そして、評価フィールドに、グループ対話指標の評価結果と個人発話指標の評価結果をパラメータとしてマッピングすることで、コミュニケーショングループ全体評価情報を生成する。なお、円の大きさは、発話量(評価対象の発話文の数)を表し、発話量が多いほど、円の大きさが大きくなるように図示している。
 図9は、複数の異なるコミュニケーショングループのコミュニケーション全体評価情報それぞれを、1つの評価フィールドにマッピングしたグループ比較評価情報の生成例である。評価制御部115は、複数の異なるコミュニケーショングループ別に、グループ対話指標の評価結果及び個人発話評価情報を生成し、各コミュニケーショングループを、評価フィールド上にマッピングする。このとき、個人発話評価情報は、複数のユーザ別個人発話評価情報の平均値や中央値などを用いることができる。図7に示した個人発話評価情報も同様である。
 図9のコミュニケーショングループ全体評価を紐解くと、総合的にB支店が一番良いコミュニケーション状況であり、A支店のグループ対話評価は、「Very good」の領域であるが、個人発話評価が「Good」の領域なので、コミュニケーショングループ全体評価として、個人発話評価を上げる(改善)する必要がある。一方、C支店は、個人発話評価が「Good」だが、グループ対話評価が「Passed」なので、グループ対話指標に留意してコミュニケーションを図るべき、という評価結果を読み取ることができる。
 なお、図9の例では、「Passed」、「Good」、「Very good」、「Excellent」の順で4つの領域に区画している。これらの順で評価が高い領域となるとともに、A支店のように、グループ対話評価が「Very good」に属していても、個人発話評価が「Good」なので、コミュニケーショングループ全体評価は、「Good」になる。なお、これらの領域区画は、任意に設定可能である。
 図10は、2軸評価フィールドにマッピングされたコミュニケーション全体評価情報の一例であり、図10の例は、同一グループの評価を月別で比較したものである。評価制御部115は、1つのコミュニケーショングループにおける所定期間毎のグループコミュニケーション評価情報及び個人発話評価情報を生成することができ、各所定期間におけるコミュニケーション全体評価情報をマッピングする。図10の期間比較評価情報では、5月から6月で個人発話評価の向上が見られ、6月から7月で個人発話評価は微増だが、グループ対話評価が向上し、改善した傾向が把握できる。なお、図10においても、円の大きさは、発話量(評価対象の発話文の数)を表している。
 図11は、本実施形態の各評価指標に対する重み値の設定例を示す図である。複数の各コミュニケーショングループを評価する場合、全てのグループに対して同じ評価基準であってもよいが、コミュニケーションは、属するユーザ個人の習熟度やグループ内のコミュニケーション慣れや独自のコミュニケーション術といった要素も含まれる。このため、各グループで重視する評価指標が相違することを評価に含める手法として、複数の各指標に対する重み値(係数)を設定する。このように構成することで、各グループの特殊性に合わせて、グループ対話の良し悪し、個人発話の良し悪しをどこに置くかを設定することができ、例えば、業務内容や従事するユーザの属性の違い(年齢層、習熟度、性別、国籍)などを反映したグループ対話指標評価及び個人発話指標評価を行い、コミュニケーショングループ全体評価を行うことができる。
 図11の例において、点線が重み値のデフォルト値であり、実線が設定値である。例えば、グループ対話指標の応答時間、お礼有無、確認有無は、デフォルト値よりも高く設定され、グループ対話評価にこれらの指標がより色濃く反映されるように設定されている。一方、ボトムアップ率は、デフォルト値よりも低く設定されており、グループ対話評価にボトムアップ率の指標があまり反映されないように設定している。個人発話指標に対する重み値についても同様であり、依頼先有無、指示会話長、フィラー有無、指示代名詞の各指標の重み値が、デフォルト値よりも高く設定され、個人発話評価に色濃く反映されるように設定している。
 このように評価制御部115は、グループコミュニケーション評価情報を生成するための複数のグループ対話指標に対する重み値(第1重み値)を設定する第1重み値設定機能、及び個人発話評価情報を生成するための複数の個人発話指標に対する重み値(第2重み値)を設定する第2重み値設定機能と、を備えることができる。
 そして、記憶装置120は、各重み値の設定情報を、コミュニケーショングループ別に保持し、第1評価部115Aは、重み値を適用したグループコミュニケーション評価情報を生成し、第2評価部115Bは、重み値を適用した個人発話評価情報を生成することができる。例えば、図6及び図7に示した各指標の評価値に、設定された重み値(係数)を適用し、重み値適用後の評価値を各指標の評価情報として用い、かつコミュニケーショングループ全体評価とすることができる。
 図12は、ユーザ端末500で表示同期されるコミュニケーションログに、評価情報を付加して提供した一例を示す図である。本実施形態では、コミュニケーション履歴がテキスト配信されて、リアルタイムに各ユーザ端末500で表示されるので、グループ対話評価情報及び個人発話評価情報をユーザにフィードバックすることができる。
 図12の例は、各ユーザの発話テキストに対する付加情報として、評価情報に基づく評価コメントがフィードバックされた態様を示す図である。例えば、各指標の評価情報に対する評価コメントを予め用意して保持しておき、評価制御部115は、各指標の評価情報が評価基準を満たす場合に、該当する評価コメントを抽出・生成してユーザ端末500に提供することができる。左側の例示は、応答時間が30秒以内なので、清掃員Bの発話テキスト(音声認識結果)に、「Good Response!」という評価コメントがフィードバック配信されている。右側の例示は、リーダーAが依頼先として清掃員Bの名前を含む発話を行ったので、リーダーAの発話テキスト(音声認識結果)に、「Good Instruction!」という評価コメントがフィードバック配信されている。
 なお、本実施形態の音声認識結果のテキスト配信のタイミングと、各指標の評価結果に基づく評価コメントのテキスト配信のタイミングは、任意に設定することができる。例えば、音声認識結果のテキスト配信(第2制御部による処理)の際に、評価コメントを一緒に配信したり、音声認識結果のテキスト配信後の異なるタイミングで評価コメントを配信したり、業務中又は業務終了後に、ユーザ端末500からの評価コメント表示要求に基づいて、任意のタイミングで評価コメントを受け取れるようにしたりすることができる。
 このように本実施形態のコミュニケーションシステムは、グループ対話指標、個人発話指標に基づく各評価情報を生成し、これらを評価結果としてコミュニケーショングループ別に提供するが、上述のユーザのフィードバック処理の観点において、ウィークポイント(Weak Point)をフィードバックするように構成することもできる。
 具体的には、図12の評価コメントが、ウェークポイントを指摘するコメントとなる。評価制御部115は、図6のグループ対話指標に基づく評価情報(グループコミュニケーション評価情報)において、所定の閾値と比較した比較結果、又は異なるコミュニケーショングループ同士で比較した比較結果を用いて、コミュニケーショングループ別のグループ特性情報を生成することができる(第1処理)。例えば、比較結果が、閾値を下回れば、「全体的に応答するまでの時間が長い傾向にあるので、グループ全体でクイックレスポンスを心がける取り組みをしましょう。」といったウィークポイント又はウィークポイントを含む評価コメントを、グループ特性情報として生成し、提供することができる。
 同様に、評価制御部115は、図7の個人発話指標に基づく評価情報(個人発話評価情報)を、所定の閾値と比較した比較結果、又はユーザ同士で比較した比較結果を用いて、各ユーザのユーザ特性情報を生成するができる(第2処理)。例えば、比較結果が、閾値を下回れば、「あたなは、発話に指示代名詞が多い傾向があります。相手ユーザ、場所、目的を明示する発話を心がけましょう。」といったウィークポイント又はウィークポイントを含む評価コメントを、ユーザ特性情報として生成し、提供することができる。
 尚、評価結果として、所定の閾値と比較した結果、閾値を上回る結果の場合は、例えば「全体的に応答するまでの時間が早く、良いコミュニケーションが図れている傾向にあります。このままスピーディな応答を心がけていきましょう。」といったストロングポイント(strong point)を含む評価コメントをグループ特性情報として生成して、提供することもできる。
 図13は、本コミュニケーションシステムの処理フローを示す図である。
 各ユーザは、ユーザ端末500において、コミュニケーションApp制御部520を起動し、コミュニケーションApp制御部520が管理装置100との接続処理を行う。そして、所定のログイン画面から自分のユーザID及びパスワードを入力して管理装置100にログインする。ログイン認証処理は、ユーザ管理部111によって遂行される。なお、初回ログイン後は、ユーザID及びパスワードの入力操作を省略して、コミュニケーションApp制御部520が起動に伴い、初回ログイン時に入力されたユーザID及びパスワードを用いて自動的にログイン処理を行うことができる。
 ログイン後、管理装置100は、複数の各ユーザ端末500に対し、自動的にグループ通話モードでの通信チャネル確立処理を行い、管理装置100を中心としたグループ通話チャネルを開通させる。
 ログイン後の各ユーザ端末500は、任意のタイミングで又は所定の時間間隔で、管理装置100との間で情報取得処理を行う。
 ユーザAが発話すると、コミュニケーションApp制御部520は、発話音声を集音し、発話音声データを管理装置100に送信する(S501a)。管理装置100の音声認識部113は、受信した発話音声データを音声認識処理し(S101)、発話内容の音声認識結果を出力する。コミュニケーション制御部112は、音声認識結果をコミュニケーション履歴123に記憶し、発話音声データを記憶装置120に記憶する(S102)。
 コミュニケーション制御部112は、発話したユーザA以外の他のユーザ端末500それぞれにユーザAの発話音声データを同報送信する。また、コミュニケーション履歴123に記憶したユーザAの発話内容(テキスト)を、表示同期のために、ユーザA自身を含むコミュニケーショングループ内の各ユーザ端末500に送信する(S103)。
 ユーザA以外の各ユーザ端末500のコミュニケーションApp制御部520は、受信した発話音声データの自動再生処理を行い、発話音声出力を行いつつ(S502b,S502c)、ユーザAを含む全てのユーザ端末500は、音声出力された発話音声に対応するテキスト形式の発話内容を表示欄Dに表示させる(S502a、S503b、S503c)。
 管理装置100は、コミュニケーション評価処理を行う(S104)。評価処理のタイミングは、上述の通り、任意である。評価制御部115は、コミュニケーション履歴情報123を参照し、日別、月別などの所定期間内の発話群を、コミュニケーショングループ別に抽出する。そして、抽出した発話群を対象に、グループ対話指標に基づくグループコミュニケーション評価情報を生成する(S105)。また、同じ発話群を対象に、個人発話指標に基づく個人発話評価情報を、発話毎に生成する(S106)。さらに、生成されたグループコミュニケーション評価情報及び個人発話評価情報を用いて、図9又は/及び図10に例示したコミュニケーショングループ全体評価情報を生成する(S107)。
 なお、上述の重み値を適用する場合は、ステップS105及びS106の各処理において行われる。また、図12の例の評価コメントやウィークポイントの評価コメントは、ステップS105、S106の各段階で行ったり、ステップS107の処理後に実行したりするように構成することができる。
 ユーザは、ユーザ端末500において評価情報要求操作を行い(S503a)、管理装置100は、グループ通話における発話音声及び音声認識結果の配信処理とは別の処理で(音声認識結果のテキスト配信には乗せずに)、評価情報を提供する処理を行う(S108)。
 図14は、本コミュニケーションシステムの処理フローを示す図であり、同報配信時のリアルタイム評価と評価結果の配信処理を示す図である。
 図14の例では、発話音声データの受信に伴って行われる発話音声データの同報配信及び音声認識結果のテキスト配信の各処理とセットにしてコミュニケーション評価処理を行い、音声認識結果に評価コメントを加えたテキスト配信を行う。
 つまり、図14に示すように、ユーザAが発話すると、発話音声データが管理装置100に送信され(S503a)、管理装置100が受信した発話音声データを音声認識処理する(S101)。コミュニケーション制御部112は、音声認識結果をコミュニケーション履歴123に記憶し、発話音声データを記憶装置120に記憶する(S102)。
 さらに、評価制御部115は、受信した発話音声データの音声認識結果を対象にコミュニケーション評価処理を行い(S104)、グループ対話指標に基づくグループコミュニケーション評価情報の生成(S105)、及び個人発話指標に基づく個人発話評価情報の生成処理を行う(S106)。そして、生成された評価情報に基づく評価コメントを生成する(S1071)。
 ステップS1031は、発話音声データの同報配信及び音声認識結果のテキスト配信を行う処理であり、上述のように、音声認識結果に、ステップS1071で生成されたリアルタイム評価コメントを付加して、テキスト配信を行う。このとき、評価コメントの配信に対して、例えば、発話したユーザ端末500のバイブレーション装置570と連動した通知処理を行うように構成することもできる。
 図14の例では、音声認識結果及び評価コメントのテキスト配信において、バイブレーション制御値を発話したユーザ端末500に送信する(S1031)。ユーザ端末500のバイブレーション装置570は、受信したバイブレーション制御値に従ってバイブレーション動作を行い(S505a)、評価コメントが通知されたことを知らせることができる。
 例えば、予め評価コメントに紐付くバイブレーション制御値を設定しておき、評価コメントの内容に応じて異なるバイブレーションパターン(振動パターン)を任意に設定することができる。これにより、評価内容に応じてバイブレーションパターンが違う通知が行われるので、発話したユーザに対し、リアルタイムでのフィードバック環境を実現することができる。
 以上、本実施形態について説明したが、コミュニケーション管理装置100及びユーザ端末500の各機能は、プログラムによって実現可能であり、各機能を実現するために予め用意されたコンピュータプログラムが補助記憶装置に格納され、CPU等の制御部が補助記憶装置に格納されたプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部が実行することで、各部の機能を動作させることができる。
 また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コンピュータに提供することも可能である。コンピュータ読取可能な記録媒体としては、CD-ROM等の光ディスク、DVD-ROM等の相変化型光ディスク、MO(Magnet Optical)やMD(Mini Disk)などの光磁気ディスク、フロッピー(登録商標)ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ(登録商標)、スマートメディア、SDメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路(ICチップ等)等のハードウェア装置も記録媒体として含まれる。
 なお、本発明の実施形態を説明したが、当該実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
100 コミュニケーション管理装置
110 制御装置
111 ユーザ管理部
112 コミュニケーション制御部(第1制御部,第2制御部)
113 音声認識部
114 音声合成部
115 評価制御部
115A 第1評価部
115B 第2評価部
115C 第3評価部
120 記憶装置
121 ユーザ情報
122 グループ情報
123 コミュニケーション履歴情報
124 音声認識辞書
125 音声合成辞書
126 音声品質評価情報
130 通信装置
500 ユーザ端末(移動通信端末)
510 通信・通話部
520 コミュニケーションApp制御部
530 マイク(集音部)
540 スピーカー(音声出力部)
550 表示・入力部
560 記憶部
570 バイブレーション装置
D 表示欄
 

Claims (10)

  1.  複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声を他のユーザの移動通信端末に同報配信するコミュニケーションシステムであって、
     移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第1制御部と、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、前記各移動通信端末において同期して表示されるようにテキスト配信制御を行う第2制御部と、を有するコミュニケーション制御部と、
     発話音声認識結果を用いて、コミュニケーション評価を行う評価制御部と、を有し、
     前記評価制御部は、
     グループ対話指標を用いて、ユーザ間で交わされる対話を評価し、グループコミュニケーション評価情報を生成する第1評価部と、
     個人発話指標を用いて、前記ユーザ間で交わされる対話を構成する各発話を評価し、個人発話評価情報を生成する第2評価部と、
     前記グループコミュニケーション評価情報及び前記個人発話評価情報を用いて、コミュニケーショングループ全体評価情報を生成する第3評価部と、
     を有することを特徴とするコミュニケーションシステム。
  2.  前記評価制御部は、複数の異なるコミュニケーショングループ別に、前記グループコミュニケーション評価情報及び前記個人発話評価情報を生成し、
     前記第3評価部は、複数の異なるコミュニケーショングループの前記コミュニケーション全体評価情報それぞれを、1つの評価フィールドにマッピングしたグループ比較評価情報を生成することを特徴とする請求項1に記載のコミュニケーションシステム。
  3.  前記評価制御部は、1つのコミュニケーショングループにおける所定期間毎の前記グループコミュニケーション評価情報及び前記個人発話評価情報を生成し、
     前記第3評価部は、各所定期間における前記コミュニケーション全体評価情報それぞれを1つの評価フィールドにマッピングした期間比較評価情報を生成することを特徴とする請求項1に記載のコミュニケーションシステム。
  4.  前記第3評価部は、縦軸及び横軸で表現され、それぞれの軸が前記グループコミュニケーション評価情報及び前記個人発話評価情報に対応付けられた評価フィールドを含む前記コミュニケーショングループ全体評価情報を生成することを特徴とする請求項1から3のいずれか1つに記載のコミュニケーションシステム。
  5.  前記グループ対話指標は、ユーザ間の発話応答時間、対話を構成する複数発話内の特定キーワードの有無、連絡事項に対する確認応答の有無、又は/及びユーザの自発的アクションに基づく発話の有無を含み、
     前記個人発話指標は、連絡事項に対する相手ユーザの固有名詞の有無、連絡事項の冗長化の有無、又は/及び発話内の指示代名詞の有無、を含むことを特徴とする請求項1から4のいずれか1つに記載のコミュニケーションシステム。
  6.  前記評価制御部は、
     前記グループコミュニケーション評価情報を、所定の閾値と比較した比較結果、又はコミュニケーショングループ同士で比較した比較結果に基づく、コミュニケーショングループ別のグループ特性情報を生成する第1処理と、
     前記個人発話評価情報を、所定の閾値と比較した比較結果、又はユーザ同士で比較した比較結果に基づく、ユーザ特性情報を生成する第2処理と、を行うことを特徴とする請求項1から5のいずれか1つに記載のコミュニケーションシステム。
  7.  前記評価制御部は、前記グループコミュニケーション評価情報を生成するための複数の前記グループ対話指標に対する第1重み値を設定する第1重み値設定部と、前記個人発話評価情報を生成するための複数の前記個人発話指標に対する第2重み値を設定する第2重み値設定部と、を備え、
     前記第1重み値及び前記第2重み値の設定情報を、コミュニケーショングループ別に保持しており、
     前記第1評価部は、前記第1重み値を適用した前記グループコミュニケーション評価情報を生成し、
     前記第2評価部は、前記第2重み値を適用した前記個人発話評価情報を生成することを特徴とする請求項1から6のいずれか1つに記載のコミュニケーションシステム。
  8.  前記コミュニケーション制御部は、前記発話音声認識結果の前記テキスト配信制御において、前記発話音声認識結果の付加情報として、前記グループコミュニケーション評価情報に基づく評価コメント又は/及び前記個人発話評価情報に基づく評価コメントをテキスト配信することを特徴とする請求項1から7のいずれか1つに記載のコミュニケーションシステム。
  9.  複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声を他のユーザの移動通信端末に同報配信するコミュニケーショングループのコミュニケーション評価方法であって、
     移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信するとともに、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、前記各移動通信端末において前記コミュニケーション履歴が同期して表示されるようにテキスト配信を行う第1ステップと、
     前記第1ステップを通じて得られた発話音声認識結果を用いて、コミュニケーション評価を行う第2ステップと、を含み、
     前記第2ステップは、
     グループ対話指標を用いて、ユーザ間で交わされる対話を評価し、グループコミュニケーション評価情報を生成する第3ステップと、
     個人発話指標を用いて、前記ユーザ間で交わされる対話を構成する各発話を評価し、個人発話評価情報を生成する第4ステップと、
     前記グループコミュニケーション評価情報及び前記個人発話評価情報を用いてコミュニケーショングループ全体評価情報を生成する第5ステップと、
     を含むことを特徴とするコミュニケーション評価方法。
  10.  複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声を他のユーザの移動通信端末に同報配信する管理装置によって実行されるプログラムであって、
     移動通信端末から受信した発話音声データを他の複数の移動通信端末それぞれに同報配信する第1機能と、
     受信した発話音声データを音声認識処理して得られる発話音声認識結果を、前記各移動通信端末において同期して表示されるようにテキスト配信制御を行う第2機能と、
     発話音声認識結果を用いて、コミュニケーション評価を行う第3機能と、
     を前記管理装置に実現させ、
     前記第3機能は、
     グループ対話指標を用いて、ユーザ間で交わされる対話を評価し、グループコミュニケーション評価情報を生成する機能と、
     個人発話指標を用いて、前記ユーザ間で交わされる対話を構成する各発話を評価し、個人発話評価情報を生成する機能と、
     前記グループコミュニケーション評価情報及び前記個人発話評価情報を用いてコミュニケーショングループ全体評価情報を生成する機能と、
     を備えることを特徴とするプログラム。
     
     
PCT/JP2021/026571 2020-07-27 2021-07-15 コミュニケーションシステム及び評価方法 WO2022024778A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US18/004,521 US20230239407A1 (en) 2020-07-27 2021-07-15 Communication system and evaluation method
CN202180048832.9A CN115803761A (zh) 2020-07-27 2021-07-15 交流系统及评价方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020126410A JP2022023459A (ja) 2020-07-27 2020-07-27 コミュニケーションシステム及び評価方法
JP2020-126410 2020-07-27

Publications (1)

Publication Number Publication Date
WO2022024778A1 true WO2022024778A1 (ja) 2022-02-03

Family

ID=80037342

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/026571 WO2022024778A1 (ja) 2020-07-27 2021-07-15 コミュニケーションシステム及び評価方法

Country Status (4)

Country Link
US (1) US20230239407A1 (ja)
JP (1) JP2022023459A (ja)
CN (1) CN115803761A (ja)
WO (1) WO2022024778A1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094850A (ja) * 2005-09-29 2007-04-12 Fuji Xerox Co Ltd コミュニケーション分析装置および方法
JP2017117161A (ja) * 2015-12-24 2017-06-29 日本電信電話株式会社 コミュニケーションスキル評価システム、コミュニケーションスキル評価装置及びコミュニケーションスキル評価プログラム
JP2017201479A (ja) * 2016-05-06 2017-11-09 日本ユニシス株式会社 コミュニケーション支援システム
JP2018004813A (ja) * 2016-06-29 2018-01-11 学校法人成蹊学園 コミュニケーション能力推定装置、方法およびプログラム
JP2019061594A (ja) * 2017-09-28 2019-04-18 株式会社野村総合研究所 会議支援システムおよび会議支援プログラム
JP2019133451A (ja) * 2018-01-31 2019-08-08 甲斐 義章 評価方法、評価装置、評価プログラム、および、評価システム
JP2019215851A (ja) * 2019-03-15 2019-12-19 株式会社Kakeai コミュニケーションについてのアドバイスを提供するコンピュータシステム、プログラム、方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007094850A (ja) * 2005-09-29 2007-04-12 Fuji Xerox Co Ltd コミュニケーション分析装置および方法
JP2017117161A (ja) * 2015-12-24 2017-06-29 日本電信電話株式会社 コミュニケーションスキル評価システム、コミュニケーションスキル評価装置及びコミュニケーションスキル評価プログラム
JP2017201479A (ja) * 2016-05-06 2017-11-09 日本ユニシス株式会社 コミュニケーション支援システム
JP2018004813A (ja) * 2016-06-29 2018-01-11 学校法人成蹊学園 コミュニケーション能力推定装置、方法およびプログラム
JP2019061594A (ja) * 2017-09-28 2019-04-18 株式会社野村総合研究所 会議支援システムおよび会議支援プログラム
JP2019133451A (ja) * 2018-01-31 2019-08-08 甲斐 義章 評価方法、評価装置、評価プログラム、および、評価システム
JP2019215851A (ja) * 2019-03-15 2019-12-19 株式会社Kakeai コミュニケーションについてのアドバイスを提供するコンピュータシステム、プログラム、方法

Also Published As

Publication number Publication date
US20230239407A1 (en) 2023-07-27
CN115803761A (zh) 2023-03-14
JP2022023459A (ja) 2022-02-08

Similar Documents

Publication Publication Date Title
US11721326B2 (en) Multi-user authentication on a device
DE102017121086B4 (de) Zusammenwirkende sprachgesteuerte geräte
US10832686B2 (en) Method and apparatus for pushing information
CN105489221B (zh) 一种语音识别方法及装置
US20150348538A1 (en) Speech summary and action item generation
KR20170088997A (ko) 음성 정보를 처리하기 위한 방법 및 장치
Glasser et al. Deaf, hard of hearing, and hearing perspectives on using automatic speech recognition in conversation
US11373654B2 (en) Online automatic audio transcription for hearing aid users
WO2021172124A1 (ja) コミュニケーション管理装置及び方法
Meliones et al. SeeSpeech: an android application for the hearing impaired
WO2022024778A1 (ja) コミュニケーションシステム及び評価方法
US11790913B2 (en) Information providing method, apparatus, and storage medium, that transmit related information to a remote terminal based on identification information received from the remote terminal
JP2017191531A (ja) コミュニケーションシステム、サーバ及びコミュニケーション方法
WO2022215361A1 (ja) 情報処理装置及び情報処理方法
WO2020241701A1 (ja) コミュニケーション管理装置
Martínez Basterra et al. Phone Speech Recognition Improvement in Noisy Environment: Use of a Bluetooth Accessory
JP2021018664A (ja) 情報処理システム、情報処理方法、及びプログラム
JP6523974B2 (ja) コミュニケーション支援装置、コミュニケーション支援方法、および、プログラム
KR101778548B1 (ko) 청각장애인을 위한 음성인식 및 보청지원이 가능한 회의 관리 방법 및 시스템
WO2021172125A1 (ja) コミュニケーションシステム
ZHANG et al. AidServer: Design and Research of a Communication Accessibility Service System for Hearing Impaired Servers in Silent Restaurants
WO2021065098A1 (ja) 情報処理装置、情報処理システム、情報処理方法
JP2024060181A (ja) 語彙評価装置、語彙評価方法、および語彙評価プログラム
Shinkar et al. Wireless Voice Transmission using WIFI and Bluetooth on Android Platform
CN115335898A (zh) 信息处理设备、交互式机器人、控制方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21850833

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21850833

Country of ref document: EP

Kind code of ref document: A1