JP7353216B2 - コミュニケーションシステム - Google Patents

Description

本発明の実施形態は、音声及びテキストを使用したコミュニケーション（認識共有、意思疎通など）支援技術に関する。

音声コミュニケーションの一例として、トランシーバ(transceiver)がある。トランシーバは、無線電波の送信機能と受信機能を兼ね備えた無線機であり、１人のユーザが複数人のユーザと通話（一方向又は双方向の情報伝達）を行うことができる。トランシーバの活用例は、工事現場やイベント会場、ホテルや旅館などの施設等で目にすることができる。また、タクシー無線もトランシーバ活用の一例として挙げることができる。

国際公開第２００５／０５５０８９号 国際公開第２０１９／０３１００７号

他のユーザの発話音声を聴きそびれても、呼び掛けられる側が呼び掛けられたことに気が付くことができる機能を提供し、複数のユーザ間での情報伝達の品質を向上させることができるようにする。

実施形態のコミュニケーションシステムは、複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声を他のユーザの移動通信端末に同報配信する。本コミュニケーションシステムは、前記各移動通信端末が無線通信で接続するコミュニケーション管理装置を含む。前記コミュニケーション管理装置は、前記移動通信端末から受信した発話音声データを他の複数の前記移動通信端末それぞれに同報配信する第１制御部と、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴として時系列に蓄積するとともに、前記各移動通信端末において前記コミュニケーション履歴が同期して表示されるようにテキスト配信制御を行う第２制御部と、を有するコミュニケーション制御部を、含む。前記移動通信端末は、キーワード及び前記キーワードに紐付く前記移動通信端末の所定の通知機能を組み合わせた通知設定情報の登録制御を行う通知設定部と、前記コミュニケーション管理装置から受信した前記発話音声データの再生処理及び前記発話音声認識結果の表示処理を行うとともに、前記発話音声認識結果と前記通知設定情報の前記キーワードとを照合するローカルチェック処理を行い、前記発話音声認識結果内に含まれる前記キーワードに紐付く前記通知機能の動作制御を行うユーザアプリケーション制御部と、を含む。ここで、前記コミュニケーション管理装置は、運営管理者が操作する管理者端末を通じた、キーワード及び前記キーワードに紐付く前記移動通信端末の所定の通知機能を組み合わせたユーザ通知設定情報の登録制御を行うユーザ通知制御部をさらに含むことができ、前記コミュニケーション制御部は、前記移動通信端末に送信する前記発話音声認識結果と前記ユーザ通知設定情報の前記キーワードとを照合する管理側チェック処理を行い、前記発話音声認識結果内に含まれる前記キーワードに紐付く前記通知機能の動作制御情報を抽出し、抽出された前記動作制御情報を前記移動通信端末に送信する。前記ユーザ通知設定情報は、前記移動通信端末の前記ローカルチェック処理の実行可否を示すフラグ情報を含み、前記コミュニケーション制御部は、抽出された前記動作制御情報と前記フラグ情報とを前記移動通信端末に送信し、前記ユーザアプリケーション制御部は、受信した前記フラグ情報に基づいて、前記ローカルチェック処理の実行可否を判別するとともに、前記ローカルチェック処理の実行が否である場合に、受信した前記ユーザ通知設定情報に基づく前記動作制御情報を用いた前記通知機能の動作制御のみを行う。

第１実施形態のコミュニケーションシステムのネットワーク構成図である。 第１実施形態のコミュニケーション管理装置及びユーザ端末の各構成ブロック図である。 第１実施形態のユーザ情報及びグループ情報の一例を示す図である。 第１実施形態のユーザ端末に表示される画面例である。 第１実施形態のユーザ端末における通知設定画面と通知設定情報の一例を示す図である。 第１実施形態のコミュニケーションシステムの処理フローを示す図である。 第２実施形態のコミュニケーション管理装置及びユーザ端末の各構成ブロック図である。 第２実施形態のユーザ通知設定情報の一例を示す図である。 第２実施形態のコミュニケーションシステムの処理フローを示す図である。 第３実施形態のコミュニケーション管理装置及びユーザ端末の各構成ブロック図である。 第３実施形態のユーザ通知設定情報の一例を示す図である。 第３実施形態のコミュニケーションシステムの処理フローを示す図である。

（第１実施形態）
図１から図６は、第１実施形態に係るコミュニケーションシステムのネットワーク構成図である。コミュニケーションシステムは、コミュニケーション管理装置（以下、管理装置と称する）１００を中心に、音声及びテキストを用いた情報伝達支援機能を提供する。以下では、宿泊施設などの施設運営管理を一例に、コミュニケーションシステムを適用した態様について説明する。

管理装置１００は、複数の各ユーザがそれぞれ携帯する各ユーザ端末（移動通信端末）５００と無線通信で接続される。管理装置１００は、一のユーザ端末５００から受信した発話音声データを、他のユーザ端末５００に同報配信する。

ユーザ端末５００は、例えば、スマートフォンなどの多機能携帯電話機やＰＤＡ(Personal Digital Assistant)、タブレット型端末などの持ち運び可能な携帯端末（モバイル端末）である。ユーザ端末５００は、通信機能、演算機能及び入力機能を備え、ＩＰ（Internet protocol）網又は移動通信回線網（Mobile communication network）を通じて無線通信で管理装置１００と接続し、データ通信を行う。

一のユーザの発話音声が他の複数のユーザ端末５００に同報配信される範囲（又は後述するコミュニケーション履歴が同期して表示される範囲）は、コミュニケーショングループとして設定され、対象ユーザ（現場ユーザ）のユーザ端末５００それぞれが登録される。

本実施形態のコミュニケーションシステムは、複数の各ユーザがハンズフリーで対話を行うことができることを前提とした、認識共有や意思疎通のための情報伝達を支援する。特に、本コミュニケーションシステムは、発話音声に特定のキーワードが含まれる場合に、ユーザ端末５００が所定の通知動作を行うように制御し、発話音声データの再生及びテキスト表示に加え、呼び掛けられる側に呼び掛けられたこをと知らせる通知機能を備える。

例えば、他のユーザの発話音声を聞く際に、ユーザ端末５００にイヤホンを接続し、イヤホンを通じて管理装置１００から受信した発話音声を聞くことができる。このとき、接客などでイヤホンを外していると、他のユーザの発話音声を聞くことができない。このため、呼び掛ける側は、呼び掛けた相手の反応がないので、コミュニケーションが取れているかを確認するための追加の発話を行うなど、無駄なコミュニケーションが生じてしまうことがある。一方で、呼び掛けられた側は、自身のユーザ端末５００を操作して発話音声データに対応して受信した音声認識結果（テキスト）を見る作業が必要となる。したがって、「聴きそびれ」は、コミュニケーション意欲が削がれ、円滑なコミュニケーションの阻害要因となることがあり、コミュニケーションの非効率化を生じさせやすい課題がある。

そこで、本実施形態では、ユーザ自らが所定のキーワードを登録し、ユーザ端末５００において、発話音声データに対応して受信する音声認識結果に、登録したキーワードが存在したとき、ユーザ端末５００が所定の通知動作を行う機能を提供し、発話音声の「聴きそびれ」があっても呼び掛けられる側が呼び掛けられたことを的確に知ることができようにする。このように構成することで、コミュニケーション環境の向上を図る。

図２は、管理装置１００及びユーザ端末５００の各構成ブロック図である。

管理装置１００は、制御装置１１０、記憶装置１２０及び通信装置１３０を含む。通信装置１３０は、複数の各ユーザ端末５００との間の通信接続管理及びデータ通信制御を行い、一のユーザによる発話音声データ及びその発話内容のテキスト情報（発話音声データを音声認識処理して得られたテキスト情報）を複数の各ユーザ端末５００に一斉に送る同報配信通信制御を行う。

制御装置１１０は、ユーザ管理部１１１、コミュニケーション制御部１１２、音声認識部１１３、及び音声合成部１１４を含んで構成されている。記憶装置１２０は、ユーザ情報１２１、グループ情報１２２、コミュニケーション履歴（コミュニケーションログ）情報１２３、音声認識辞書１２４、及び音声合成辞書１２５を含んで構成されている。

音声合成部１１４及び音声合成辞書１２５は、ユーザ端末５００からテキスト入力された文字情報や、ユーザ端末５００以外の情報入力装置（例えば、管理者や運営者、監督者が操作するモバイル端末やデスクトップＰＣ）からテキスト入力された文字情報を受信し、音声データに変換する音声合成機能を提供する。しかしながら、本実施形態のコミュニケーションシステムの音声合成機能は、任意の機能である。

つまり、本実施形態のコミュニケーションシステムは、当該音声合成機能を具備しない構成であってもよい。音声合成機能を備える場合、管理装置１００のコミュニケーション制御部１１２は、ユーザ端末５００から入力されたテキスト情報を受信し、音声合成部１１４が音声合成辞書１２５を用いて、受信したテキストの文字に対応する音声データを合成し、音声合成データを生成する。このとき、音声合成データを構成する音声データの素材は、任意である。そして、合成音声データ及び受信したテキスト情報を、他のユーザ端末５００に同報配信する。

ユーザ端末５００は、通信・通話部５１０、コミュニケーションＡｐｐ制御部（ユーザアプリケーション制御部）５２０、通知設定部５２０Ａ、マイク５３０、スピーカー５４０、タッチパネル等の表示入力部５５０、記憶部５６０、バイブレーション装置５７０を含んで構成されている。なお、スピーカー５４０は、実際には、イヤホンやヘッドホン（有線又はワイヤレス）などで構成される。また、バイブレーション装置５７０は、ユーザ端末５００の振動装置である。

図３は、各種情報の一例を示す図であり、ユーザ情報１２１は、本コミュニケーションシステムを利用するユーザ登録情報である。ユーザ管理部１１１は、所定の管理画面を通じて、ユーザＩＤ、ユーザ名、属性、グループを設定することができるように制御する。また、ユーザ管理部１１１は、各ユーザ端末５００における本コミュニケーションシステムへのログイン履歴と、ログインしたユーザＩＤとそのユーザ端末５００の識別情報（ユーザ端末５００固有のＭＡＣアドレスや固体識別情報など）との対応リストと、を管理する。

グループ情報１２２は、コミュニケーショングループの区画するグループ識別情報である。コミュニケーショングループＩＤ別に伝達情報の送受信及び同報配信を制御し、異なるコミュニケーショングループ間で情報が混在しないように制御される。ユーザ情報１２１において、グループ情報１２２に登録されたコミュニケーショングループを、各ユーザに紐付けることができる。

本実施形態のユーザ管理部１１１は、複数の各ユーザの登録制御を行い、後述する第１制御（発話音声データの同報配信）及び第２制御（エージェント発話テキストまたは／及びユーザの発話音声認識結果のテキスト同報配信）の対象のコミュニケーショングループを設定する機能を提供する。

なお、グループ分けについては、本実施形態のコミュニケーションシステムを導入する施設等に応じて施設を複数の部門に分割して管理することもできる。例えば、宿泊施設を一例に説明すると、ベルパーソン（荷物運び）、コンシェルジュ、ハウスキーピング（清掃）をそれぞれ異なるグループに設定し、客室管理をそれぞれのグループ毎に細分化したコミュニケーション環境を構築することもできる。他の観点として、役割的にコミュニケーションが不要なケースも考えられる。例えば、料理の配膳係と、ベルパーソン（荷物運び）は、直接コミュニケーションをとる必要がないのでグループを分けることができる。また、地理的にコミュニケーションが不要なケースも考えられ、例えば、Ａ支店、Ｂ支店などが地理的に離れており、かつ頻繁にコミュニケーションをする必要がない場合などは、グループを分けることができる。

これらのユーザ登録などの初期設定は、運営管理者などが不図示の管理者端末から管理装置１００に接続し、管理装置１００が提供する登録・設定機能を通じて行うことができる。

管理装置１００のコミュニケーション制御部１１２は、第１制御部と第２制御部の各制御部として機能する。第１制御部は、一のユーザ端末５００から受信した発話音声データを他の複数のユーザ端末５００それぞれに同報配信制御を行う。第２制御部は、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴１２３として時系列に蓄積するとともに、発話したユーザのユーザ端末５００を含む全てのユーザ端末５００においてコミュニケーション履歴１２３が同期して表示されるようにテキスト配信制御を行う。

第１制御部としての機能は、発話音声データの同報配信である。発話音声データは、主に、ユーザが発声した音声データである。また、上述したように、音声合成機能を備える場合は、ユーザ端末５００から入力されたテキスト情報から人工的に生成された音声合成データも、第１制御部による同報配信に対象となる。

第２制御部としての機能は、ユーザの発話音声認識結果のテキスト同報配信である。ユーザ端末５００において入力された音声及びユーザ端末５００において再生される音声は、すべてテキスト化されてコミュニケーション履歴１２３に時系列に蓄積され、各ユーザ端末５００において同期して表示されるように制御される。音声認識部１１３は、音声認識辞書１２４を用いて音声認識処理を行い発話音声認識結果としてテキストデータを出力する。音声認識処理については公知の技術を適用することができる。

コミュニケーション履歴情報１２３は、各ユーザの発話内容が時間情報と共に、テキストベースで時系列に蓄積されたログ情報である。各テキストに対応する音声データは、音声ファイルとして所定の記憶領域に格納しておくことができ、例えば、コミュニケーション履歴１２３には、音声ファイルの格納場所を記録する。コミュニケーション履歴情報１２３は、コミュニケーショングループ別にそれぞれ生成され、蓄積される。なお、音声品質評価結果は、コミュニケーション履歴情報１２３に含まれるように蓄積したり、対応する発話内容と紐付けて個別の記憶領域に蓄積したりしてもよい。

図４は、各ユーザ端末５００で表示されるコミュニケーション履歴１２３の一例を示す図である。ユーザ端末５００それぞれは、管理装置１００からリアルタイムに又は所定のタイミングでコミュニケーション履歴１２３を受信し、複数のユーザ間で表示同期が取られる。各ユーザは、時系列に過去のコミュニケーションログを参照することができる。

図４の例のように、各ユーザ端末５００は、自分の発話内容及び自分以外の他のユーザの発話内容が表示欄Ｄに時系列に表示され、管理装置１００に蓄積されるコミュニケーション履歴１２３がログ情報として共有される。なお、表示欄Ｄにおいて、ユーザ自身の発話音声に対応するテキストには、マイクマークＨを表示し、発話者以外の他のユーザに対しては、マイクマークＨの代わりに、表示欄ＤにおいてスピーカーマークＭを表示したりすることができる。

図５は、ユーザ端末５００の通知設定機能を説明するための図である。ユーザは、通知設定画面において、キーワード入力及び通知手段の設定を行うことができる。１つ又は複数のキーワード別に紐付けられる通知手段は、通知設定情報として、ユーザ端末５００の記憶部５６０に記憶される。この通知設定機能の制御は、通知設定部５２０Ａによって遂行される。なお、通知設定部５２０Ａは、コミュニケーションＡｐｐ制御部５２０に含まれるように構成することもできる。

ここで、キーワードとは、例えば、自分の名前、自分の担当又は関連する作業カテゴリ名、担当又は関連する場所（ロケーション）の名称、コミュニケーション中に登場する「確認」、「至急」といった特定キーワードである。通知手段は、バイブレーション装置５７０によるバイブレーション通知やメッセージ通知を含む。メッセージ通知とは、一例として、図４に示した表示欄Ｄとは個別のポップアップ画面に、受信した発話内容のテキストを表示したり、発話内容を表示せずにメッセージを受信したことを知らせる別のメッセージを表示したりする機能である。ポップアップ画面に表示するメッセージとして、例えば、通知が必要と判断されたキーワード（緊急、至急、確認など）も表示するとよい。

また、表示制御では、表示欄Ｄを含むアプリ画面にポップアップ画面を重畳させて最前面に表示するように制御したり、ユーザ端末５００のロック画面において、当該ポップアップ画面を表示するように制御したりすることができる。また、ポップアップ画面の表示と共に、例えば、ユーザ端末５００に設けられたＬＥＤライトを点灯・点滅させることもできる。

ユーザ端末５００（コミュニケーションＡｐｐ制御部５２０）は、受信したテキスト情報の表示制御に伴って、テキスト情報内に通知設定情報のキーワードが含まれているか否かを判別し、含まれていると判別された場合は、当該キーワードに対応する通知手段を動作させてユーザに通知する。通知手段がバイブレーション通知である場合、コミュニケーションＡｐｐ制御部５２０は、バイブレーション装置５７０を所定の振動パターンで動作させ、ユーザ端末５００を振動させる。通知手段がメッセージ通知の場合、コミュニケーションＡｐｐ制御部５２０は、表示欄Ｄへの表示制御とは個別に、受信した音声認識結果（発話内容）を含むポップアップ画面を生成してユーザ端末５００に重畳表示させる。

なお、バイブレーション機能の振動パターンは、複数のパターンを用意し、各通知設定別に異なる振動パターンを適用可能に構成することができる。

図６は、本実施形態のコミュニケーションシステムの処理フローを示す図である。

各ユーザは、ユーザ端末５００において、コミュニケーションＡｐｐ制御部５２０を起動し、コミュニケーションＡｐｐ制御部５２０が管理装置１００との接続処理を行う。そして、所定のログイン画面から自分のユーザＩＤ及びパスワードを入力して管理装置１００にログインする。ログイン認証処理は、ユーザ管理部１１１によって遂行される。ログイン後の各ユーザ端末５００は、任意のタイミングで又は所定の時間間隔で、管理装置１００との間で情報取得処理を行う。

また、各ユーザは、図５に示した通知設定画面において、キーワードを入力し、入力したキーワードに対する通知手段を選択して通知設定情報を登録する通知設定登録を行う（Ｓ５０１ａ，Ｓ５０１ｂ，Ｓ５０１ｃ）。ユーザによる通知設定登録は、任意のタイミングで行うことができ、管理装置１００に接続した状態で、又は管理装置１００に接続していない状態でも行うことができる。

ユーザＣが発話すると、コミュニケーションＡｐｐ制御部５２０は、発話音声を集音し、発話音声データを管理装置１００に送信する（Ｓ５０２ｃ）。管理装置１００の音声認識部１１３は、受信した発話音声データを音声認識処理し（Ｓ１０１）、発話内容の音声認識結果を出力する。コミュニケーション制御部１１２は、音声認識結果をコミュニケーション履歴１２３に記憶し、発話音声データを記憶装置１２０に記憶する（Ｓ１０２）。発話音声データと対応する音声認識結果とは、紐付いて記憶されている。

コミュニケーション制御部１１２は、ユーザＡのユーザ端末５００に、表示同期のための音声認識結果と共に、発話音声データを送信する（Ｓ１０３）。ユーザＡのユーザ端末５００では、通知設定機能に基づくローカルチェック処理を行う（Ｓ５０２ａ）ローカルチェック処理とは、受信した音声認識結果と登録された通知設定情報のキーワードとをマッチングし、音声認識結果にキーワードが含まれているか否かを判別する処理である。通知設定情報のキーワードが音声認識結果に含まれていると判別された場合（Ｓ５０２ａのＹＥＳ）、コミュニケーションＡｐｐ制御部５２０は、該当する通知手段を用いた通知処理を行う（Ｓ５０３ａ）。また、コミュニケーションＡｐｐ制御部５２０は、受信した発話音声データの自動再生処理を行い、発話音声出力を行いつつ（Ｓ５０４ａ）、音声出力された発話音声に対応するテキスト形式の発話内容を表示欄Ｄに表示させる（Ｓ５０５ａ）。ユーザＢのユーザ端末５００においても同様のである（Ｓ５０２ｂ～Ｓ５０５ｂ）。

発話者であるユーザＣのユーザ端末５００でも、ローカルチェック処理機能は備えているものの（Ｓ５０３ｃ）、発話者であるため、ローカルチェック処理は省略される（又は、ステップＳ５０３ｃにおいて、発話者である場合は必ずＮＯのルートを通るように処理される）。そして、コミュニケーション制御部１１２は、発話者であるユーザＣには、自身の発話音声データを送信しないので、コミュニケーションＡｐｐ制御部５２０は、発話音声データの自動再生処理を省略し、発話音声に対応するテキスト形式の発話内容を表示欄Ｄに表示させる（Ｓ５０５ｃ）。

なお、発話内容によっては、２つ以上の通知設定に該当することもある。つまり、発話内容が、「玄関の清掃を至急行ってください」であった場合、図５の例では、通知設定１と通知設定２の双方に該当する。通知設定１と通知設定２の各通知手段が同じであれば、どちらか一方の通知手段で動作制御を行うように構成することができる。また、通知設定１と通知設定２の各通知手段が異なるのであれば、例えば、予め通知設定の優先度を設定して、いずれか一方の通知手段で動作制御を行うように構成してもよい。さらに、通知設定１と通知設定２の各通知手段が異なる場合、双方の各通知手段の動作制御をそれぞれ行うように構成してもよい。

（第２実施形態）
図７から図９は、第２実施形態に係るコミュニケーションシステムのネットワーク構成図である。本実施形態のコミュニケーションシステムは、上記第１実施形態に対し、管理装置１００側が、ユーザ端末５００同様の通知設定機能を備え、管理装置１００から能動的にユーザ端末５００の通知動作を制御する。なお、上記第１実施形態と同様の構成については、同符号を付して説明を省略する。

図７は、本実施形態のコミュニケーション管理装置１００及びユーザ端末５００の各構成ブロック図である。上記第１実施形態の図２に比べて、管理装置１００が、ユーザ通知制御部１１５及びユーザ通知設定情報１２６を含んで構成されている。

管理装置１００のユーザ通知設定は、上述のように運営管理者などが不図示の管理者端末から管理装置１００に接続し、管理装置１００が提供する登録・設定機能を通じて行うことができる。

図８は、ユーザ通知設定情報の一例を示す図である。ユーザ通知設定情報は、ローカルチェックフラグ（ＯＦＦ（０），ＯＮ（１））、キーワード、通知手段、対象ユーザの各項目を含んで構成されている。ローカルチェックフラグは、ユーザ端末５００側での通知機能の有効（実施）／無効（省略）を制御するための情報である。キーワード及び通知手段は、ユーザ端末５００における通知設定と同様である。対象ユーザは、各設定別に通知制御するユーザを指定する情報であり、１又は複数のユーザ、あるいは全ユーザを対象に任意に設定することができる。上述のように、コミュニケーショングループ内の各ユーザは、担当又は関連する作業カテゴリや場所に応じて、１人又は複数人で対応することができる。そこで、予めキーワード別に通知すべき又は通知した方がよいユーザを選定して登録することができる。一方、全ユーザに通知すべき又は通知した方がよいケースもある。例えば全体連絡や緊急性を要する事案などがある。この場合、対象ユーザとして「全員」を設定することで、管理装置１００がユーザ端末５００での通知設定の有無（キーワード登録の有無）に関わらず、通知手段で設定された通知動作を各ユーザ端末５００に実行させることができる。

上記第１実施形態は、各ユーザの個人的な判断で任意のキーワードを登録させ、登録されたキーワードにマッチングした発話内容であるときに、ユーザ端末５００に所定の通知動作をさせる仕組みであるが、複数の各ユーザが個別に設定するため、通知設定にバラツキが生じる。例えば、至急、緊急などの発話内容であっても、これらに該当するキーワードが登録されていなければ、ユーザ端末５００での通知動作が実行されない。

本実施形態では、ユーザが個人的に通知設定を行うことができる機能を提供しつつ、管理装置１００側で、１つ又は複数のユーザを対象に管理面での通知設定が行えるように構成し、ユーザの自由度と管理面の強化とを両立させた仕組みを実現している。

また、ローカルチェックフラグを設定することで、管理装置１００側から制御する通知動作とユーザ端末５００で設定した通知動作の双方を実行したり、ユーザ端末５００で設定した通知動作を優先させたり、ユーザ端末５００で設定した通知動作を実行せずに管理装置１００の通知動作を優先させて実行したりすることができる。

図９は、本実施形態のコミュニケーションシステムの処理フローを示す図である。なお、図６の処理と同様の処理については、同符号を付して説明を省略する。

運営管理者は、所定の管理者端末を通じてユーザ通知設定を登録する。ユーザ通知設定の登録処理は、ユーザ通知制御部１１５によって遂行される（Ｓ１０１１）。

ユーザＣが発話すると、コミュニケーションＡｐｐ制御部５２０は、発話音声を集音し、発話音声データを管理装置１００に送信する（Ｓ５０６ｃ）。管理装置１００の音声認識部１１３は、受信した発話音声データを音声認識処理し（Ｓ１０１）、発話内容の音声認識結果を出力する。コミュニケーション制御部１１２は、音声認識結果をコミュニケーション履歴１２３に記憶し、発話音声データを記憶装置１２０に記憶する（Ｓ１０２）。発話音声データと対応する音声認識結果とは、紐付いて記憶されている。

ユーザ通知制御部１１５は、ユーザ通知処理を行う（Ｓ１０３１）。ユーザ通知処理とは、管理装置１００の管理側チェック処理であり、処理の内容は、ユーザ端末５００で行われるローカルチェック処理と同じである。ユーザ通知制御部１１５は、音声認識部１１３から出力された音声認識結果と登録されたユーザ通知設定情報のキーワードとをマッチングし、音声認識結果にキーワードが含まれているか否かを判別するユーザ通知処理を行う。ユーザ通知設定情報のキーワードが音声認識結果に含まれていると判別された場合（Ｓ１０３１のＹＥＳ）、コミュニケーション制御部１１２は、該当する通知設定のローカルチェックフラグ、通知手段及び対象ユーザを抽出する。

コミュニケーション制御部１１２は、ユーザ通知設定に該当するユーザに対しては、表示同期のための音声認識結果、発話音声データ、通知手段に基づく通知制御情報、ローカルチェックフラグをユーザ端末５００に送信する。図９の例では、ユーザＡのユーザ端末５００に、表示同期のための音声認識結果、発話音声データ、通知制御情報（バイブレーション）、ローカルチェックフラグ（ＯＦＦ）が送信されている（Ｓ１０４１）。また、ユーザ通知設定に該当しない発話者を除くユーザに対しては、ステップＳ１０４１において表示同期のための音声認識結果と発話音声データとを送信する。発話者であるユーザＣに対しては、ステップＳ１０４１において表示同期のための音声認識結果だけが送信される。

ユーザＡのユーザ端末５００において、コミュニケーションＡｐｐ制御部５２０は、受信したローカルチェックフラグを参照し、ローカルチェックフラグを確認する（Ｓ５０６ａ）。図９の例では、ローカルチェックフラグがＯＦＦであるので、ユーザ端末５００側でのローカルチェック処理をスキップして省略し、管理装置１００から受信した通知制御情報に基づく動作制御を実行する（Ｓ５０９ａ）。また、コミュニケーションＡｐｐ制御部５２０は、受信した発話音声データの自動再生処理を行い、発話音声出力を行いつつ（Ｓ５１０ａ）、音声出力された発話音声に対応するテキスト形式の発話内容を表示欄Ｄに表示させる（Ｓ５１１ａ）。

図９の例は、上述のようにローカルチェックフラグをＯＦＦにして、ユーザ端末５００側の通知設定に関わらず、強制的に管理装置１００側の通知動作を行わせるように制御しているが、例えば、ローカルチェックフラグをＯＮにした場合は、図９に示すように、ステップＳ５０６ａのＹＥＳに進み、ステップＳ５０７ａを実行する。ステップＳ５０７ａは、ユーザ端末５００側の通知設定機能に基づくローカルチェック処理であり、受信した音声認識結果とユーザ端末５００で登録された通知設定情報のキーワードとをマッチングし、音声認識結果にキーワードが含まれているか否かを判別する。キーワードが音声認識結果に含まれていると判別された場合（Ｓ５０７ａのＹＥＳ）、コミュニケーションＡｐｐ制御部５２０は、該当する通知手段を用いた通知処理も行う（Ｓ５０８ａ）。

上述したように、管理装置１００側で設定された通知動作と、ユーザ端末５００側で設定された通知動作の双方を実行させることができ、この場合は、どちらかを優先したり、どちらも実行したりすることができる。なお、図９のステップＳ１０３１において、管理側チェック処理で該当なしと判断された場合は（Ｓ１０３１のＮＯ）、図６のステップＳ１０３に進み、ユーザ端末５００のローカルチェック処理による通知制御が行われるように構成することができる。

上記第１実施形態で説明したように、第２実施形態における通知設定に基づくポップアップ画面に表示するメッセージも、例えば、通知が必要と判断されたキーワード（緊急、至急、確認など）を表示するとよい。さらに、第２実施形態では通知設定情報は、管理装置１００およびユーザ端末５００の両方に設定されているため、どちらの設定情報に基づく通知であるかをユーザに分かるようにポップアップ画面に表示するとよい。

（第３実施形態）
図１０から図１２は、第２実施形態に係るコミュニケーションシステムのネットワーク構成図である。本実施形態のコミュニケーションシステムは、上記第１実施形態及び第２実施形態に対し、管理装置１００側に通知設定機能を集約した態様である。つまり、運営管理者が設定したユーザ通知設定情報又は／及びユーザ端末５００で設定した通知設定情報を管理装置１００で一元管理し、ユーザ端末５００に対する通知動作の制御を一括管理する。

図１０は、本実施形態のコミュニケーション管理装置１００及びユーザ端末５００の各構成ブロック図である。上記第２実施形態同様に、管理装置１００が、ユーザ通知制御部１１５及びユーザ通知設定情報１２６を含んで構成されているが、ユーザ端末５００は、通知設定部５２０Ａを備えておらず、かつ通知設定情報を保持していない。

図１１は、通知設定情報の一例を示す図である。本実施形態の通知設定情報は、運営管理者などが不図示の管理者端末から管理装置１００に接続し、管理装置１００が提供する登録・設定機能を通じて登録される情報と、ユーザ端末５００が管理装置１００に接続し、管理装置１００が提供する登録・設定機能を通じて登録される情報と、が含まれる。

このとき、後者のユーザ端末５００から各ユーザが個別に設定する通知設定情報は、対象ユーザとして、自分が登録されるように制御される。このように構成することで、ユーザ個別設定と、管理装置１００側の設定とを一括管理することができる。

図１２は、本実施形態のコミュニケーションシステムの処理フローを示す図である。なお、図６や図９の処理と同様の処理については、同符号を付して説明を省略する。

運営管理者は、所定の管理者端末を通じてユーザ通知設定を登録する。ユーザ通知設定の登録処理は、ユーザ通知制御部１１５によって遂行される（Ｓ１０１１）。また、ユーザ通知制御部１１５は、各ユーザ端末５００からの通知設定情報の登録要求に応じて、例えば、図５に示した通知設定画面を提供して、ユーザがキーワードと対応する通知手段を設定可能に制御することができる。

ユーザＣが発話すると、コミュニケーションＡｐｐ制御部５２０は、発話音声を集音し、発話音声データを管理装置１００に送信する（Ｓ５０７ｃ）。管理装置１００の音声認識部１１３は、受信した発話音声データを音声認識処理し（Ｓ１０１）、発話内容の音声認識結果を出力する。コミュニケーション制御部１１２は、音声認識結果をコミュニケーション履歴１２３に記憶し、発話音声データを記憶装置１２０に記憶する（Ｓ１０２）。発話音声データと対応する音声認識結果とは、紐付いて記憶されている。

ユーザ通知制御部１１５は、ユーザ通知処理を行う（Ｓ１０３１）。ユーザ通知設定情報のキーワードが音声認識結果に含まれていると判別された場合（Ｓ１０３１のＹＥＳ）、コミュニケーション制御部１１２は、該当する通知設定の通知手段及び対象ユーザを抽出する。

コミュニケーション制御部１１２は、ユーザ通知設定に該当するユーザに対しては、表示同期のための音声認識結果、発話音声データ、及び通知手段に基づく通知制御情報をユーザ端末５００に送信する。また、ユーザ通知設定に該当しない発話者を除くユーザに対しては、ステップＳ１０４１において表示同期のための音声認識結果と発話音声データとを送信する。発話者であるユーザＣに対しては、ステップＳ１０４１において表示同期のための音声認識結果だけが送信される。

ユーザＡのユーザ端末５００において、コミュニケーションＡｐｐ制御部５２０は、管理装置１００から受信した通知制御情報に基づく動作制御を実行する（Ｓ５０９ａ）。また、コミュニケーションＡｐｐ制御部５２０は、受信した発話音声データの自動再生処理を行い、発話音声出力を行いつつ（Ｓ５１０ａ）、音声出力された発話音声に対応するテキスト形式の発話内容を表示欄Ｄに表示させる（Ｓ５１１ａ）。

なお、上述したように、音声認識結果に対して、管理装置１００側で一元管理される通知設定情報が複数該当する場合は、複数の各通知動作それぞれをユーザ端末５００で実行させるように、各制御情報を送信したり、所定の優先度に基づいていずれか１つの通知設定情報を選択して送信したりすることができる。

上記第１、第２実施形態で説明したように、第３実施形態における通知設定に基づくポップアップ画面に表示するメッセージも、例えば、通知が必要と判断されたキーワード（緊急、至急、確認など）を表示するとよい。さらに、第３実施形態では通知設定情報は、管理装置１００で一元管理しているが、通知設定情報の登録は、管理装置１００およびユーザ端末５００の両方から可能であり、どちらで設定した情報であるかも管理しているため、第２実施形態と同様、どちらの設定情報に基づく通知であるかをユーザに分かるようにポップアップ画面に表示するとよい。

以上、本実施形態について説明したが、コミュニケーション管理装置１００及びユーザ端末５００の各機能は、プログラムによって実現可能であり、各機能を実現するために予め用意されたコンピュータプログラムが補助記憶装置に格納され、ＣＰＵ等の制御部が補助記憶装置に格納されたプログラムを主記憶装置に読み出し、主記憶装置に読み出された該プログラムを制御部が実行することで、各部の機能を動作させることができる。

また、上記プログラムは、コンピュータ読取可能な記録媒体に記録された状態で、コンピュータに提供することも可能である。コンピュータ読取可能な記録媒体としては、ＣＤ－ＲＯＭ等の光ディスク、ＤＶＤ－ＲＯＭ等の相変化型光ディスク、ＭＯ（Magnet Optical）やＭＤ(Mini Disk)などの光磁気ディスク、フロッピー（登録商標）ディスクやリムーバブルハードディスクなどの磁気ディスク、コンパクトフラッシュ（登録商標）、スマートメディア、SDメモリカード、メモリスティック等のメモリカードが挙げられる。また、本発明の目的のために特別に設計されて構成された集積回路（ICチップ等）等のハードウェア装置も記録媒体として含まれる。

なお、本発明の実施形態を説明したが、当該実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００ コミュニケーション管理装置
１１０ 制御装置
１１１ ユーザ管理部
１１２ コミュニケーション制御部（第１制御部，第２制御部）
１１３ 音声認識部
１１４ 音声合成部
１１５ ユーザ通知制御部
１２０ 記憶装置
１２１ ユーザ情報
１２２ グループ情報
１２３ コミュニケーション履歴情報
１２４ 音声認識辞書
１２５ 音声合成辞書
１２６ ユーザ通知設定情報
１３０ 通信装置
５００ ユーザ端末（移動通信端末）
５１０ 通信・通話部
５２０ コミュニケーションＡｐｐ制御部（ユーザアプリケーション制御部）
５２０Ａ 通知設定部
５３０ マイク（集音部）
５４０ スピーカー（音声出力部）
５５０ 表示・入力部
５６０ 記憶部
５７０ バイブレーション装置
Ｄ 表示欄

Claims (5)

1. 複数の各ユーザがそれぞれ携帯する移動通信端末を通じて、ユーザの発話音声を他のユーザの移動通信端末に同報配信するコミュニケーションシステムであって、
   前記各移動通信端末が無線通信で接続するコミュニケーション管理装置を含み、
   前記コミュニケーション管理装置は、
   前記移動通信端末から受信した発話音声データを他の複数の前記移動通信端末それぞれに同報配信する第１制御部と、受信した発話音声データを音声認識処理して得られる発話音声認識結果を、ユーザ同士のコミュニケーション履歴として時系列に蓄積するとともに、前記各移動通信端末において前記コミュニケーション履歴が同期して表示されるようにテキスト配信制御を行う第２制御部と、を有するコミュニケーション制御部を含み、
   前記移動通信端末は、
   キーワード及び前記キーワードに紐付く前記移動通信端末の所定の通知機能を組み合わせた通知設定情報の登録制御を行う通知設定部と、
   前記コミュニケーション管理装置から受信した前記発話音声データの再生処理及び前記発話音声認識結果の表示処理を行うとともに、前記発話音声認識結果と前記通知設定情報の前記キーワードとを照合するローカルチェック処理を行い、前記発話音声認識結果内に含まれる前記キーワードに紐付く前記通知機能の動作制御を行うユーザアプリケーション制御部と、を含み、
   前記コミュニケーション管理装置は、運営管理者が操作する管理者端末を通じた、キーワード及び前記キーワードに紐付く前記移動通信端末の所定の通知機能を組み合わせたユーザ通知設定情報の登録制御を行うユーザ通知制御部をさらに含み、
   前記コミュニケーション制御部は、前記移動通信端末に送信する前記発話音声認識結果と前記ユーザ通知設定情報の前記キーワードとを照合する管理側チェック処理を行い、前記発話音声認識結果内に含まれる前記キーワードに紐付く前記通知機能の動作制御情報を抽出し、抽出された前記動作制御情報を前記移動通信端末に送信し、
   前記ユーザ通知設定情報は、前記移動通信端末の前記ローカルチェック処理の実行可否を示すフラグ情報を含み、
   前記コミュニケーション制御部は、抽出された前記動作制御情報と前記フラグ情報とを前記移動通信端末に送信し、
   前記ユーザアプリケーション制御部は、受信した前記フラグ情報に基づいて、前記ローカルチェック処理の実行可否を判別するとともに、前記ローカルチェック処理の実行が否である場合に、受信した前記ユーザ通知設定情報に基づく前記動作制御情報を用いた前記通知機能の動作制御のみを行うことを特徴とするコミュニケーションシステム。
2. 前記通知機能は、前記移動通信端末が備えるバイブレーション装置によるバイブレーション通知機能、又は／及び前記移動通信端末におけるポップアップ画面表示によるメッセージ通知機能であることを特徴とする請求項１に記載のコミュニケーションシステム。
3. 前記メッセージ通知機能は、前記ポップアップ画面に前記ローカルチェック処理の結果、該当したキーワードを表示することを特徴とする請求項２に記載のコミュニケーションシステム。
4. 前記ユーザアプリケーション制御部は、受信した前記フラグ情報に基づいて、前記ローカルチェック処理の実行可否を判別し、前記ローカルチェック処理の実行が可である場合に、前記ローカルチェック処理を行って前記発話音声認識結果内に含まれる前記移動通信端末で設定した前記キーワードに紐付く前記通知機能の動作制御を行うとともに、受信した前記ユーザ通知設定情報に基づく前記動作制御情報を用いた前記通知機能の動作制御を行うことを特徴とする請求項１から３のいずれか１つに記載のコミュニケーションシステム。
5. 前記通知機能は、前記移動通信端末におけるポップアップ画面表示によるメッセージ通知機能を含み、
   前記ユーザアプリケーション制御部は、前記ポップアップ画面に、前記管理側チェック処理または前記ローカルチェック処理の結果、該当したキーワードと、前記管理側チェック処理と前記ローカルチェック処理のどちらに基づく結果であるかを表示することを特徴とする請求項１から４のいずれか１つに記載のコミュニケーションシステム。

Images