JP6552868B2 - 音声コミュニケーション支援装置、音声コミュニケーション支援方法およびプログラム - Google Patents

Description

本発明の実施形態は、音声コミュニケーション支援装置、音声コミュニケーション支援方法およびプログラムに関する。

音声の発話と聴取による情報伝達は、その行為によって他の行動が妨げられることが少ないため、特に何らかの作業を行っている者同士で情報共有を行う手段として有用性が高い。近年、このような音声の発話と聴取を通じた情報共有（これを「音声コミュニケーション」と呼ぶ。）を支援する技術が提案されている。例えば、看護・介護の業務に従事するユーザ同士の音声コミュニケーションにおいて、携帯端末に接続されたヘッドセットを各ユーザに装着させて、あるユーザが発話した音声を音声メッセージとして別のユーザの携帯端末に配信して再生させる。これにより、音声メッセージを受信する側のユーザは、自発的な情報取得操作をせずに、装着したヘッドセットから音声メッセージを聴取して情報を共有できる。

しかしこの場合、音声メッセージは受信側の携帯端末により自動再生されるため、受信側のユーザは、自身にとって不必要な音声メッセージまでも聴取しなければならない。また、音声メッセージを聴取している間、受信側からの新たな音声メッセージの送信が妨げられてしまう。このため、ユーザが意図的に音声メッセージの再生をキャンセルできる仕組みが求められている。ただし、ユーザが不必要と判断して再生をキャンセルした音声メッセージに、実際はそのユーザにとって必要な情報が含まれている場合もある。また、ユーザの誤操作により音声メッセージの再生をキャンセルしてしまう場合もある。したがって、ユーザが意図的に音声メッセージの再生をキャンセルできるようにする仕組みを構築するにあたっては、聴取の必要がある音声メッセージの再生がキャンセルされた場合に、その音声メッセージの聴き逃しを抑制する対策についても考慮する必要がある。

北陸先端科学技術大学院大学プレスリリース、"知識科学研究科の内平教授ら、医療・介護サービス向けスマートフォンに「つぶやく」だけで、記録・連絡・情報共有とログ解析による可視化が可能なシステムを開発"、［online］、平成２５年１０月３１日、［平成２７年４月１５日検索］、インターネット＜ＵＲＬ：http://www.jaist.ac.jp/news/press/2013/post-380.html＞ 鳥居健太郎、"いつでもどこでも音声で登録できる在宅医療介護向けＳＮＳ"、［online］、平成２６年９月１２日、［平成２７年４月１５日検索］、インターネット＜http://www.chubu.meti.go.jp/technology_jyoho/download/20140912/20140912toshiba.pdf＞

本発明が解決しようとする課題は、ユーザが意図的に音声メッセージの再生をキャンセルできるようにしながら、聴取の必要がある音声メッセージの聴き逃しを抑制できる音声コミュニケーション支援装置、音声コミュニケーション支援方法およびプログラムを提供することである。

実施形態の音声コミュニケーション支援装置は、音声受信部と、音声再生部と、再生キャンセル部と、通知送信部と、を備える。音声受信部は、音声メッセージを受信する。音声再生部は、受信した音声メッセージを再生する。再生キャンセル部は、ユーザ操作に応じて、前記音声再生部による音声メッセージの再生をキャンセルするように制御する。通知送信部は、再生がキャンセルされた音声メッセージの送信元に対して、音声メッセージの再生がキャンセルされたことを示すキャンセル通知を送信する。前記音声再生部は、再生がキャンセルされた音声メッセージの再生時間が第１閾値に満たない場合に、再生がキャンセルされた音声メッセージを所定のタイミングで再度再生する。

実施形態で想定するシステムの概要を示す模式図。 ヘッドセットの一例を示す図。 ヘッドセットの他の例を示す図。 第１実施形態の音声コミュニケーション支援装置の構成を示すブロック図。 音声コミュニケーション支援装置の基本動作を示すフローチャート。 第２実施形態の音声コミュニケーション支援装置の構成を示すブロック図。 音声メッセージ管理部による処理手順の一例を示すフローチャート。 再生がキャンセルされた音声メッセージを再度再生する条件を説明する図。 第２実施形態の変形例を示すブロック図。 第３実施形態の音声コミュニケーション支援装置の構成を示すブロック図。 第４実施形態の音声コミュニケーション支援装置の構成を示すブロック図。 メッセージ一覧画面の一例を示す図。 実施形態の音声コミュニケーション支援装置のハードウェア構成例を示すブロック図。

以下、添付図面を参照しながら、実施形態の音声コミュニケーション支援装置、音声コミュニケーション支援方法およびプログラムについて詳細に説明する。以下で示す実施形態は、非特許文献１や非特許文献２に開示されるサービス向けの端末への適用例を想定するが、適用可能な形態はこの例に限らない。実施形態の音声コミュニケーション支援装置、音声コミュニケーション支援方法およびプログラムは、例えば、端末同士で直接（サーバを介さずに）音声メッセージを送受信する形態であっても有効に適用可能である。

まず、実施形態で想定するシステムの概要について、図１を参照して説明する。図１は、実施形態で想定するシステムの概要を示す模式図である。図１に示すように、本システムのサービスを受ける各ユーザは、スマートフォンなどの端末１００を所持し、この端末１００に接続されたヘッドセット２００を装着した状態で様々な作業を行う。ユーザが作業に関する伝達事項や作業中に気付いたことなどを発話すると、その発話がヘッドセット２００のマイク２１０により収録され、音声メッセージとしてサーバ３００に送信される。サーバ３００は、端末１００から音声メッセージを受信すると、その音声メッセージに対する音声認識処理や、端末１００から別途送信されるセンサデータの解析などを行って、受信した音声メッセージに関するメタデータを自動生成し、音声メッセージをメタデータとともに蓄積する。

また、サーバ３００は、蓄積した音声メッセージのメタデータ、事前に登録された各ユーザの業務に関する情報、各ユーザの端末１００から別途送信されるセンサデータなどを用いて、蓄積した音声メッセージの配信先および配信のタイミングを決定する。そしてサーバ３００は、蓄積した音声メッセージを、配信先として決定した他のユーザの端末１００に適切なタイミングで配信する。この際、緊急性が高いと判断された音声メッセージはすぐに（ほぼリアルタイムで）配信される。音声メッセージを受信した他のユーザの端末１００は、受信した音声メッセージをユーザ操作にかかわらず自動再生して、ヘッドセット２００のスピーカ２２０から出力させる。これにより、他のユーザは自発的な情報取得操作をせずに音声メッセージを聴取して、送信側のユーザとの間で情報を共有できる。

実施形態の音声コミュニケーション支援装置は、例えば、図１に示す端末１００として実現される。この場合、端末１００は、上述した音声メッセージの送信や音声メッセージの受信および再生といった基本的な機能のほかに、受信した音声メッセージの再生をユーザ操作に応じてキャンセルする機能と、音声メッセージの再生がキャンセルされたことを示すキャンセル通知を、その音声メッセージの送信元である端末１００宛てに送信する機能とを有する。キャンセル通知の送信は、サーバ３００を介して音声メッセージの送信元である端末１００に送信する構成であってもよいし、音声メッセージの送信元である端末１００に直接（サーバ３００を介さずに）送信する構成であってもよい。このような端末１００の各種機能は、例えば、本システムのサービスを受けるための専用のアプリケーションプログラムを端末１００にインストールし、端末１００がこのアプリケーションプログラムを実行することによって実現される。

ここで、ユーザが装着するヘッドセット２００の具体例について説明する。図２は、ヘッドセット２００の一例を示す図である。図２に例示するヘッドセット２００は、フォンプラグ２３０を上述の端末１００のフォンジャックに差し込むことで使用可能となる。先端部にフォンプラグ２３０を有するケーブル２４０は、スピーカ２２０の筐体内部に巻き取り可能となっている。マイク２１０は、スピーカ２２０の筐体と一体化されている。

スピーカ２２０の筐体には、ユーザが操作し易い位置に操作ボタン２５０が設けられている。この操作ボタン２５０は、音声メッセージの再生をキャンセルしたいとき、あるいは発話の収録を開始／終了する際に、ユーザが操作するボタンである。すなわち、端末１００が受信した音声メッセージを再生しているときにユーザがこの操作ボタン２５０を押すと、音声メッセージの再生がキャンセルされる。また、音声メッセージの再生が行われていないときにユーザがこの操作ボタン２５０を押すと発話の収録が開始され、もう一度この操作ボタン２５０を押すと発話の収録が終了する。

図３は、ヘッドセット２００の他の例を示す図である。図３に例示するヘッドセット２００は、上述した操作ボタン２５０をスピーカ２２０の筐体から離れた位置に設けた構成となっている。この図３に例示するヘッドセット２００では、ケーブル２４０が途中で分岐しており、分岐した一方のケーブル２４０ａの先端部にフォンプラグ２３０、他方のケーブル２４０ｂの先端部にボタンフォルダ２６０が設けられている。そして、このボタンフォルダ２６０に操作ボタン２５０が設けられている。ボタンフォルダ２６０は、装具２７０によりユーザの腕などに装着可能である。なお、図２や図３に例示したヘッドセット２００の構成はあくまで一例であり、この例に限らない。

次に、上述の端末１００として実現されることを想定した実施形態の音声コミュニケーション支援装置の具体的な構成例を説明する。以下では、実施形態の音声コミュニケーション支援装置に上述の端末１００と共通の符号１００を付して説明する。また、以下の各実施形態において、共通もしくは対応する構成要素には共通の符号を付して説明する。なお、以下で説明する音声コミュニケーション支援装置１００は、ユーザの発話を取得して音声メッセージとして送信する送信側の機能と、音声メッセージを受信して再生する受信側の機能との双方を備えているが、送信側の機能と受信側の機能とのいずれか一方を備える構成であってもよい。また、以下で説明する音声コミュニケーション支援装置１００は、上述のサーバ３００を介して他の音声コミュニケーション支援装置１００との間で音声メッセージやキャンセル通知を送受信することを想定するが、他の音声コミュニケーション支援装置１００との間で直接（サーバ３００を介さずに）音声メッセージやキャンセル通知を送受信する構成であってもよい。

＜第１実施形態＞
図４は、第１実施形態の音声コミュニケーション支援装置１００の構成を示すブロック図である。本実施形態の音声コミュニケーション支援装置１００は、図４に示すように、通信部１０と、発話取得部２０と、音声再生部３０と、再生キャンセル部４０と、再生管理部５０と、報知部６０とを備える。

通信部１０は、ネットワークを介して外部（例えばサーバ３００）と通信するためのモジュールである。通信部１０は、音声メッセージを外部に送信する音声送信部１１と、音声メッセージを外部から受信する音声受信部１２と、音声メッセージの再生がキャンセルされたことを示すキャンセル通知を外部に送信する通知送信部１３と、キャンセル通知を外部から受信する通知受信部１４とをサブモジュールとして含んでいる。

発話取得部２０は、マイク２１０を通じてユーザの発話を取得するためのモジュールである。発話取得部２０は、例えば、音声再生部３０による音声メッセージの再生が行われていない間にユーザにより操作ボタン２５０が押されると発話の取得を開始し、その後、ユーザにより操作ボタン２５０が再度押されると発話の取得を終了する。発話取得部２０が取得したユーザの発話は、音声メッセージとして通信部１０の音声送信部１１から外部に送信される。

音声再生部３０は、通信部１０の音声受信部１２が受信した音声メッセージを、ユーザ操作にかかわらず再生してスピーカ２２０から出力させるためのモジュールである。本実施形態では、音声受信部１２により受信された音声メッセージが音声再生部３０によりすぐに再生され、音声メッセージを再生するためにユーザが何らかの操作を行う必要はない。したがって、ユーザは明示的な情報取得操作を行うことなく、他の音声コミュニケーション支援装置１００から例えばサーバ３００を介して送信された音声メッセージを、スピーカ２２０を通じて聴取することができる。

再生キャンセル部４０は、音声再生部３０による音声メッセージの再生を、ユーザ操作に応じてキャンセルするように制御するモジュールである。再生キャンセル部４０は、例えば、音声再生部３０が音声メッセージを再生している間にユーザにより操作ボタン２５０が押されると、音声再生部３０にキャンセル要求を渡し、音声メッセージの再生をキャンセル（停止）させる。本実施形態では、この再生キャンセル部４０を備えることで、他の音声コミュニケーション支援装置１００から例えばサーバ３００を介して送信された音声メッセージの再生を、ユーザが意図的にキャンセルすることができる。

再生管理部５０は、音声再生部３０による音声メッセージの再生状態を管理するためのモジュールである。再生管理部５０は、例えば、音声再生部３０による音声メッセージの再生状態を監視して、音声受信部１２により受信された音声メッセージの再生が完了したかどうかを判断する。そして、再生管理部５０は、音声再生部３０が再生キャンセル部４０からのキャンセル要求に応じて音声メッセージの再生をキャンセル（停止）した場合、音声メッセージの再生がキャンセルされたことを検知して、音声メッセージの再生がキャンセルされたことを示すキャンセル通知を通信部１０の通知送信部１３に渡す。このキャンセル通知は、通知送信部１３から、例えばサーバ３００を介して、再生がキャンセルされた音声メッセージの送信元である他の音声コミュニケーション支援装置１００に送信される。なお、本実施形態では、キャンセル通知を再生管理部５０が発行するようにしているが、再生キャンセル部４０が音声再生部３０に対するキャンセル要求を発行する際にキャンセル通知を発行して、通信部１０の通知送信部１３に渡す構成であってもよい。

報知部６０は、ユーザの発話の音声メッセージの再生が受信側でキャンセルされたことをユーザに報知するためのモジュールである。報知部６０は、通信部１０の通知受信部１４が受信したキャンセル通知を受け取り、送信した音声メッセージの再生が受信側でキャンセルされたことを、例えば、スピーカ２２０を通じた音声出力によりユーザに報知する。この際、通知受信部１４が受信したキャンセル通知に音声メッセージの再生をキャンセルした受信側のユーザの情報が含まれるようにしておけば、報知部６０は、例えば「○○さんが再生をキャンセルしました」というように、再生をキャンセルした他のユーザを特定した内容の音声をスピーカ２２０から出力させて、他のユーザに情報が伝わっていないことをユーザに認識させることができる。

報知部６０による報知を受けたユーザは、他のユーザにより再生がキャンセルされた音声メッセージが他のユーザが聴取すべき情報であれば、改めて音声メッセージが送られるように発話を繰り返す、あるいは特に緊急性の高い情報であれば、他のユーザのところに出向いて直接会話をするといった対応を図ることができる。これにより、音声メッセージの受信側のユーザが、音声メッセージの再生をキャンセルしたことで聴取の必要のある音声メッセージを聴き逃すリスクを低減できる。

次に、図５を用いて本実施形態の音声コミュニケーション支援装置１００の動作の概要を説明する。図５は、本実施形態の音声コミュニケーション支援装置１００の基本動作を示すフローチャートであり、動作中に繰り返し実行される処理手順を表している。

音声受信部１２により音声メッセージが受信されると（ステップＳ１０１：Ｙｅｓ）、音声再生部３０が、音声受信部１２により受信された音声メッセージを再生する（ステップＳ１０２）。音声再生部３０が音声メッセージを再生している間、再生キャンセル部４０は、ユーザによる操作ボタン２５０の操作有無を監視し、音声メッセージの再生中に操作ボタン２５０が押されると（ステップＳ１０３：Ｙｅｓ）、音声再生部３０にキャンセル要求を渡して音声メッセージの再生をキャンセルさせる（ステップＳ１０４）。音声メッセージの再生がキャンセルされると、再生管理部５０がこれを検知して、音声メッセージの再生がキャンセルされたことを示すキャンセル通知を通信部１０の通知送信部１３に渡す。このキャンセル通知は、通知送信部１３から、例えばサーバ３００を介して、再生がキャンセルされた音声メッセージの送信元である他の音声コミュニケーション支援装置１００に送信される（ステップＳ１０５）。

また、音声再生部３０による音声メッセージの再生が行われていないとき、すなわち、音声受信部１２により音声メッセージが受信されていない場合（ステップＳ１０１：Ｎｏ）、発話取得部２０は、ユーザによる操作ボタン２５０の操作有無を監視し、音声メッセージの再生が行われていない間に操作ボタン２５０が押されると（ステップＳ１０６：Ｙｅｓ）、ユーザの発話の取得を開始する（ステップＳ１０７）。発話取得部２０による発話の取得は、次に操作ボタン２５０が押されるまで継続される（ステップＳ１０８：Ｎｏ、ステップＳ１０７）。そして、次に操作ボタン２５０が押されると（ステップＳ１０８：Ｙｅｓ）、発話取得部２０による発話の取得が終了し、発話取得部２０により取得されたユーザの発話が、音声送信部１１から音声メッセージとして送信される（ステップＳ１０９）。その後、通知受信部１４によりキャンセル通知が受信された場合は（ステップＳ１１０：Ｙｅｓ）、報知部６０が、音声送信部１１から送信された音声メッセージの再生が、受信側でキャンセルされたことをユーザに報知する（ステップＳ１１１）。

以上説明したように、本実施形態によれば、受信側の音声コミュニケーション支援装置１００において、受信した音声メッセージの再生中に操作ボタン２５０が押されると、音声メッセージの再生がキャンセルされ、音声メッセージの再生がキャンセルされたことを示すキャンセル通知が、送信側の音声コミュニケーション支援装置１００に送信される。そして、送信側の音声コミュニケーション支援装置１００において、送信した音声メッセージの再生が受信側でキャンセルされたことがユーザに報知される。したがって、本実施形態によれば、ユーザが意図的に音声メッセージの再生をキャンセルできるようにしながら、聴取の必要がある音声メッセージの聴き逃しを有効に抑制することができる。

なお、以上の説明では、音声メッセージの再生をキャンセルするためのユーザ操作の一例として操作ボタン２５０の操作を例示したが、音声メッセージの再生をキャンセルするためのユーザ操作はこれに限らない。例えば、タッチパネルディスプレイにボタンを表示し、そのボタンがタッチされると音声メッセージの再生をキャンセルするように構成してもよい。また、ユーザの発話を音声認識し、所定のコマンドを認識した場合に音声メッセージの再生をキャンセルするように構成してもよい。

また、以上の説明では、音声メッセージの再生が受信側でキャンセルされたことを報知部６０がユーザに報知する方法の一例としてスピーカ２２０からの音声出力を例示したが、ユーザへの報知の方法はこれに限らない。例えば、音声メッセージの再生がキャンセルされたことを示す文字列や記号などをディスプレイに表示することでユーザに報知するように構成してもよい。

また、以上の説明では、受信した音声メッセージの再生中に操作ボタン２５０が押された場合に、その音声メッセージの再生をキャンセル（停止）させるようにしているが、これに限らない。例えば、音声メッセージの受信前にユーザ操作に応じて音声メッセージの再生をキャンセルする設定を行い、その設定が解除されるまでの間、受信した音声メッセージの再生をキャンセルするように構成してもよい。

＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態は、所定の条件が成立する場合に、再生がキャンセルされた音声メッセージを所定のタイミングで再度再生するように構成した例である。

図６は、第２実施形態の音声コミュニケーション支援装置１００の構成を示すブロック図である。本実施形態の音声コミュニケーション支援装置１００は、図６に示すように、第１実施形態の構成（図４参照）に対し、音声メッセージ格納部７０と、音声メッセージ管理部８０とが追加された構成となっている。以下、第１実施形態との相違点についてのみ説明する。

音声メッセージ格納部７０は、音声受信部１２により受信された音声メッセージを一時的に格納する音声バッファである。本実施形態では、音声メッセージ格納部７０に格納された音声メッセージが音声再生部３０に随時送られて音声再生部３０により再生される。再生が完了した音声メッセージは、再生管理部５０あるいは音声再生部３０により音声メッセージ格納部７０から消去される。

音声メッセージ管理部８０は、再生がキャンセルされた音声メッセージを再度再生するか否かを判断するためのモジュールである。本実施形態では、再生がキャンセルされた音声メッセージが音声メッセージ格納部７０に格納されているため、この音声メッセージを後に再度再生することが可能である。ただし、ユーザが音声メッセージをある程度聴取してから再生をキャンセルした場合は、ユーザが音声メッセージの聴取が不要であることを確認した上で再生をキャンセルしたものと想定されるので、その音声メッセージを再度再生することは煩わしさを招くため望ましくない。一方、ユーザが音声メッセージを送信するために受信した音声メッセージの再生をキャンセルした場合や、誤操作により音声メッセージの送信をキャンセルした場合は、音声メッセージを後に再度再生することが有効となる。そこで本実施形態では、音声メッセージ管理部８０が、再生がキャンセルされた音声メッセージの再生時間と、操作ボタン２５０の操作のタイミングとに基づいて、再生がキャンセルされた音声メッセージを再度再生するか否かを判断する。

具体的には音声メッセージ管理部８０は、例えば、再生キャンセル部４０からのキャンセル要求に従って音声再生部３０による音声メッセージの再生がキャンセルされた場合に、キャンセルされるまでの音声メッセージの再生時間を音声再生部３０から取得する。また、音声メッセージ管理部８０は、ユーザによる操作ボタン２５０の操作有無を監視する。そして、音声メッセージ管理部８０は、再生がキャンセルされた音声メッセージの再生時間が予め定めた第１閾値より短く、かつ、音声メッセージの再生中に操作ボタン２５０が押されてから（つまり、音声メッセージの再生をキャンセルするために操作ボタン２５０が押されてから）予め定めた第２閾値よりも短い時間間隔で操作ボタン２５０が繰り返し押された場合に、その音声メッセージは再度再生する必要があると判断する。

音声メッセージ管理部８０は、再生がキャンセルされた音声メッセージを再度再生する必要があると判断した場合、例えば、音声メッセージ格納部７０に格納されているその音声メッセージにリピートフラグを付加する。リピートフラグは、再度再生する必要がある音声メッセージを識別するための情報である。音声メッセージ管理部８０によりリピートフラグが付加された音声メッセージは、所定のタイミングで音声メッセージ格納部７０から取り出され、音声再生部３０により再度再生される。ここで所定のタイミングとは、例えば、発話取得部２０によるユーザの発話の取得が終了したタイミング、あるいは最初の再生がキャンセルされてから所定時間が経過したタイミング、あるいは音声メッセージを再度再生することを要求する所定のユーザ操作が行われたタイミングなどである。また、音声メッセージ管理部８０は、再生がキャンセルされた音声メッセージを再度再生する必要がないと判断した場合は、音声メッセージ格納部７０からその音声メッセージを消去する。

図７は、音声メッセージ管理部８０による処理手順の一例を示すフローチャートである。音声メッセージの再生がキャンセルされると、音声メッセージ管理部８０は、再生がキャンセルされた音声メッセージの再生時間を音声再生部３０から取得し、再生時間が第１閾値より短いか否かを判定する（ステップＳ２０１）。そして、再生がキャンセルされた音声メッセージの再生時間が第１閾値より短い場合（ステップＳ２０１：Ｙｅｓ）、音声メッセージ管理部８０はさらに、第２閾値より短い時間間隔で操作ボタン２５０が繰り返し押されたか否かを判定する（ステップＳ２０２）。そして、第２閾値より短い時間間隔で操作ボタン２５０が繰り返し押された場合（ステップＳ２０２：Ｙｅｓ）、音声メッセージ管理部８０は、音声メッセージ格納部７０に格納されているその音声メッセージにリピートフラグを付加する（ステップＳ２０３）。リピートフラグが付加された音声メッセージは、所定のタイミングで音声メッセージ格納部７０から取り出され、音声再生部３０により再度再生される（ステップＳ２０４）。一方、再生がキャンセルされた音声メッセージの再生時間が第１閾値以上である場合（ステップＳ２０１：Ｎｏ）や、操作ボタン２５０が繰り返し押されていない、あるいは繰り返し押されていてもその間の時間間隔が第２閾値以上である場合（ステップＳ２０２：Ｎｏ）、音声メッセージ管理部８０は、再生がキャンセルされた音声メッセージを音声メッセージ格納部７０から消去する（ステップＳ２０５）。

図８は、再生がキャンセルされた音声メッセージを再度再生する条件を説明する図である。音声受信部１２が音声メッセージを受信した時刻をＴ１、音声再生部３０が音声メッセージの再生を開始した時刻をＴ２、操作ボタン２５０の操作に応じて音声メッセージの再生がキャンセルされた時刻をＴ３、操作ボタン２５０の操作に応じて発話取得部２０によるユーザの発話の取得が開始された時刻をＴ４とする。このとき、Ｔ２からＴ３までの時間が第１閾値よりも短く、かつ、Ｔ３からＴ４までの時間が第２閾値よりも短い場合に、再生がキャンセルされた音声メッセージが所定のタイミングで再度再生されることになる。

以上説明したように、本実施形態によれば、再生がキャンセルされた音声メッセージを再度再生するか必要があるか否かが判断され、必要な音声メッセージは所定のタイミングで再度再生されるので、聴取の必要がある音声メッセージの聴き逃しをさらに有効に抑制することができる。

なお、以上の説明では、再生がキャンセルされた音声メッセージを再度再生する条件として、再生時間が第１閾値より短く、かつ、第２閾値より短い時間間隔で操作ボタン２５０が繰り返し押された場合という条件を例示したが、これに限らない。例えば、再生時間が第１閾値より短い場合には、第２閾値より短い時間間隔で操作ボタン２５０が繰り返し押されたか否かに関わらず、再生がキャンセルされた音声メッセージを所定のタイミングで再度再生するように構成してもよい。

また、以上の説明では、再度再生する必要がないと判断された音声メッセージを音声メッセージ格納部７０から消去し、再度再生する必要があると判断された音声メッセージを音声メッセージ格納部７０から消去せずにリピートフラグを付加し、所定のタイミングで再度再生するものとしたが、これに限らない。例えば、再度再生する必要があるか否かに関わらず、一度再生を開始した音声メッセージは音声メッセージ格納部７０から消去し、再度再生する必要があると判断された音声メッセージを、音声メッセージ管理部８０が音声再生部３０から取得して、音声メッセージ格納部７０に改めて格納する構成であってもよい。この場合、音声メッセージ格納部７０に改めて格納する音声メッセージは、再生がキャンセルされた以降の未再生の部分であってもよいし、再生された部分も含めた全体の音声メッセージであってもよい。

また、本実施形態の音声コミュニケーション支援装置１００は、音声再生部３０により再度再生した音声メッセージがキャンセルされずに再生完了した場合に、音声メッセージの再生が完了したことを示す完了通知を、その音声メッセージの送信元である他の音声コミュニケーション支援装置１００に送信する構成としてもよい。図９は、このような第２実施形態の変形例を示すブロック図である。図６に示した構成例と比較して構成要素に変更はないが、再生管理部５０がキャンセル通知に加えて完了通知を通知送信部１３に渡す機能を持ち、通知送信部１３がキャンセル通知に加えて完了通知を送信する機能を持ち、通知受信部１４がキャンセル通知に加えて完了通知を受信する機能を持ち、報知部６０が音声メッセージの再生がキャンセルされた旨の報知に加えて音声メッセージの再生が完了した旨の報知を行う機能を持つ点が異なる。

本変形例では、再生管理部５０は、音声再生部３０によって再度再生されている音声メッセージ（再生が一度キャンセルされた音声メッセージ）の再生状態を監視して、この音声メッセージの再生がキャンセルされることなく完了したかどうかを判断する。そして、音声メッセージの再生が完了した場合、再生管理部５０は、音声メッセージの再生が完了したことを示す完了通知を通信部１０の通知送信部１３に渡す。この完了通知は、通知送信部１３から、例えばサーバ３００を介して、音声メッセージの送信元である他の音声コミュニケーション支援装置１００に送信される。

音声メッセージの送信元である他の音声コミュニケーション支援装置１００では、この完了通知を通知受信部１４により受信して報知部６０に渡す。報知部６０は、通知受信部１４から完了通知を受け取ると、受信側で一度再生がキャンセルされた音声メッセージの再生が完了したことを、例えば、スピーカ２２０を通じた音声出力によりユーザに報知する。これにより、受信側で一度再生がキャンセルされた音声メッセージの再生が完了した場合に、音声メッセージの送信側のユーザがそれを認識することができ、改めて音声メッセージが送られるように発話を繰り返すといった不要な対応を行うことを防止できる。

＜第３実施形態＞
次に、第３実施形態について説明する。第３実施形態は、音声メッセージに付加された付加情報に基づいて音声メッセージの再生をキャンセルできるか否かを判定し、再生をキャンセルできないと判定した場合は、音声メッセージの再生中に操作ボタン２５０が押されても再生をキャンセルさせないように構成した例である。

図１０は、第３実施形態の音声コミュニケーション支援装置１００の構成を示すブロック図である。本実施形態の音声コミュニケーション支援装置１００は、図１０に示すように、第１実施形態の構成（図４参照）に対し、判定部９０が追加された構成となっている。以下、第１実施形態との相違点についてのみ説明する。

本実施形態では、通信部１０の音声受信部１２が、付加情報が付加された音声メッセージを受信して音声再生部３０に渡す。ここで付加情報とは、例えば、サーバ３００において判断された音声メッセージの重要度を表す重要度情報、サーバ３００において実施された音声認識処理の結果としてのテキスト情報、音声メッセージの送信元を表す送信元情報などである。音声メッセージの重要度を表す重要度情報は、音声メッセージの送信元のユーザ操作に応じて音声メッセージに付加されてもよい。この場合、通信部１０の音声送信部１１は、発話取得部２０により取得されたユーザの発話を音声メッセージとして送信する際に、ユーザ操作に応じて設定される重要度を表す重要度情報を付加情報として音声メッセージに付加して送信する。

判定部９０は、音声再生部３０が再生する音声メッセージに付加された付加情報に基づいて、当該音声メッセージの再生をキャンセルできるか否かを判定するためのモジュールである。本実施形態では、音声再生部３０が音声メッセージを再生している間にユーザにより操作ボタン２５０が押されると、再生キャンセル部４０が、まず、音声メッセージの再生をキャンセルできるか否かの判定要求を判定部９０に渡す。判定部９０は、再生キャンセル部４０から判定要求を受け取ると、音声再生部３０に対して付加情報の参照要求を渡し、その応答として、音声再生部３０から再生中の音声メッセージに付加された付加情報を取得する。そして、判定部９０は、音声再生部３０から受け取った付加情報を所定のルールと照合し、音声メッセージの再生をキャンセルできるか否かを判定する。

ここで所定のルールとは、例えば、音声メッセージに付加された付加情報が重要度情報である場合、その重要度情報が表す重要度のレベルが所定値未満であれば音声メッセージの再生をキャンセルできる、といったルールである。重要度のレベルに対する閾値となる所定値は予め定められていてもよいし、ユーザ操作に応じて適宜設定されてもよい。

また、音声メッセージに付加された付加情報が音声認識処理の結果としてのテキスト情報である場合、そのテキスト情報に所定のキーワードが含まれている場合、そのテキスト情報が付加された音声メッセージの再生をキャンセルさせない、といったルールを用いてもよい。この場合、所定のキーワードは予め定められていてもよいし、ユーザ操作に応じて適宜設定されてもよい。

また、音声メッセージに付加された付加情報が送信元情報である場合、特定の送信元から送信された音声メッセージの再生をキャンセルさせない、といったルールを用いてもよい。この場合、特定の送信元は予め定められていてもよいし、ユーザ操作に応じて適宜設定されてもよい。

また、上記のルールを適宜組み合わせて用い、例えば、それぞれのルールを用いた判定のすべてにおいて、音声メッセージの再生をキャンセル可能と判定される場合に、音声メッセージの再生をキャンセルできると判定するように構成してもよい。

判定部９０は、以上のように判定した判定結果を、再生キャンセル部４０からの判定要求に対する応答として再生キャンセル部４０に返す。再生キャンセル部４０は、判定部９０から受け取った判定結果が、音声メッセージの再生をキャンセルできるという結果であった場合に、音声再生部３０にキャンセル要求を渡して、音声メッセージの再生をキャンセル（停止）させる。本実施形態の以降の処理は、上述した第１実施形態と同様である。

以上説明したように、本実施形態によれば、音声メッセージに付加された付加情報に基づいて当該音声メッセージの再生がキャンセルできるか否かが判定され、再生をキャンセルできないと判定された音声メッセージは、再生をキャンセルさせるユーザ操作があっても再生されるので、聴取の必要がある音声メッセージの聴き逃しをさらに有効に抑制することができる。例えば、第１実施形態で説明したように、送信側のユーザがキャンセル通知に基づく報知により受信側で音声メッセージの再生がキャンセルされたことを認識してその音声メッセージを再送する際に、その音声メッセージの重要度を高く設定することにより、再送された音声メッセージが受信側で確実に再生されるようにして、聴取の必要がある音声メッセージが受信側のユーザにより確実に聴取されるようにすることが可能となる。

＜第４実施形態＞
次に、第４実施形態について説明する。第４実施形態は、受信した音声メッセージの一覧を表すメッセージ一覧画面を表示し、そのメッセージ一覧画面上で、再生がキャンセルされたか否かを含む音声メッセージの再生状態を識別可能に表示するように構成した例である。

図１１は、第４実施形態の音声コミュニケーション支援装置１００の構成例を示すブロック図である。本実施形態の音声コミュニケーション支援装置１００は、図１１に示すように、第１実施形態の構成（図４参照）に対し、音声メッセージ格納部７０と、画面表示部９５とが追加された構成となっている。以下、第１実施形態との相違点についてのみ説明する。

音声メッセージ格納部７０は、音声受信部１２により受信された音声メッセージを格納する音声バッファである。本実施形態では、上述した第２実施形態と同様に、音声メッセージ格納部７０に格納された音声メッセージが音声再生部３０に随時送られて音声再生部３０により再生される。ただし、上述した第２実施形態では、再生が完了した音声メッセージは音声メッセージ格納部７０から消去されたが、本実施形態では、再生が完了した音声メッセージも消去されずに、音声メッセージ格納部７０に保存される。そして、音声再生部３０から音声メッセージを指定した取得要求があると、この取得要求に応じて指定された音声メッセージが音声メッセージ格納部７０から読み出され、音声再生部３０により再生される。

なお、本実施形態では、音声コミュニケーション支援装置１００が過去に受信した音声メッセージをすべて音声メッセージ格納部７０に格納する構成としているが、上述したシステムにおいては、音声コミュニケーション支援装置１００に配信されるすべての音声メッセージがサーバ３００に蓄積されている。したがって、上述したシステムで利用される場合、音声コミュニケーション支援装置１００は、必ずしも、過去に受信した音声メッセージのすべてを音声メッセージ格納部７０に格納しておく必要はなく、過去に受信した音声メッセージを必要に応じてサーバ３００から取得し、音声再生部３０により再生させるように構成してもよい。この場合、音声メッセージ格納部７０は、音声メッセージを格納する代わりに、例えば、サーバ３００における音声メッセージの保存先へのリンク情報を格納すればよい。

画面表示部９５は、例えばタッチパネルディスプレイなどの表示デバイスを利用して、上述したメッセージ一覧画面を表示するためのモジュールである。画面表示部９５は、例えば、音声メッセージ格納部７０から取得する格納音声リストと、再生管理部５０から取得する状態情報とに基づいて、通信部１０の音声受信部１２が受信した音声メッセージの一覧を、各音声メッセージの再生状態が識別できるように表したメッセージ一覧画面を生成し、タッチパネルディスプレイなどの表示デバイスに表示する。

本実施形態では、音声メッセージの再生状態を、未再生、キャンセル、再生中、および再生完了の４つの状態に分類する。音声メッセージ格納部７０は、現在格納している音声メッセージのリストを管理しており、音声受信部１２が新たな音声メッセージを受信すると、この新たな音声メッセージを格納するとともに、その音声メッセージをリストに追加して、新たに受信された音声メッセージが追加されたリストを格納音声リストとして画面表示部９５に渡す。また、再生管理部５０は、音声再生部３０による音声メッセージの再生状態を監視して、上述した４つの状態のうちの未再生を除く状態を判定する。そして、再生管理部５０は、判定した音声メッセージの再生状態を、状態情報として画面表示部９５に渡す。

画面表示部９５は、音声メッセージ格納部７０から取得した格納音声リストに含まれる音声メッセージを一覧形式で表すメッセージ一覧画面を生成して、タッチパネルディスプレイなどの表示デバイスに表示する。このとき、画面表示部９５は、再生管理部５０から状態情報を取得していない音声メッセージについては再生状態が未再生であることが分かり、再生管理部５０から状態情報を取得した音声メッセージについてはその状態情報に対応する再生状態であることが分かるメッセージ一覧画面を、タッチパネルディスプレイなどの表示デバイスに表示する。なお、格納音声リストに含まれる音声メッセージの数が多く、メッセージ一覧画面の一画面内にすべての音声メッセージが収まらない場合は、ページ切替えにより所定件数ずつの音声メッセージを順次表示するように構成すればよい。

図１２は、メッセージ一覧画面の一例を示す図である。この図１２に例示するメッセージ一覧画面５００は、音声受信部１２が受信した音声メッセージに、サーバ３００において実施された音声認識処理の結果としてのテキスト情報や、音声メッセージの送信元のユーザ名、音声メッセージの送信元のユーザまでの距離（送信側と受信側の音声コミュニケーション支援装置１００間の距離）を表す距離情報などの付加情報が付加されている場合の画面例である。

図１２に例示するメッセージ一覧画面５００は、ユーザ情報表示欄５１０の下に、それぞれが受信された個々の音声メッセージに対応する複数のメッセージ項目５２０を並べた画面構成となっている。各メッセージ項目５２０には、音声メッセージのテキスト情報５２１と、音声メッセージの送信元のユーザ名５２２と、アイコン５２３と、時間情報５２４とが含まれている。アイコン５２３は、対応する音声メッセージの再生状態に応じて表示形態が異なり、このメッセージ一覧画面５００を参照するユーザは、アイコン５２３の表示形態を確認することにより、その音声メッセージが未再生の状態であるか、再生がキャンセルされた状態であるか、再生中の状態であるか、再生が完了した状態であるかを把握することができる。また、時間情報５２４は、その音声がどれくらい前に再生されたかを表しており、再生された時刻からの経過時間１時間未満の音声メッセージには分単位の情報、１時間以上の音声メッセージには時間単位の情報が与えられる。また、再生中の音声メッセージに対応するメッセージ項目５２０は、他のメッセージ項目５２０とは異なる表示形態（例えば反転表示）とされ、音声メッセージを聴取しているユーザがそのメッセージ項目５２０を容易に識別できるようになっている。

また、各メッセージ項目５２０内のアイコン５２３は、ボタンとしての機能を有している。再生状態が未再生、キャンセル、再生完了の音声メッセージに対応するメッセージ項目５２０内のアイコン５２３をユーザがタッチすると、その音声メッセージが再生される。また、再生状態が再生中の音声メッセージに対応するメッセージ項目５２０内のアイコン５２３をユーザがタッチすると、その音声メッセージの再生がキャンセルされる。なお、図１２に示したメッセージ一覧画面５００は一例であり、この例に限らない。画面表示部９５は、音声受信部１２が受信した音声メッセージの一覧を表す画面であって、少なくとも再生がキャンセルされたか否かを識別可能な画面を表示する構成であればよい。

以上説明したように、本実施形態によれば、画面表示部９５により、受信した音声メッセージの一覧を表す画面であって、少なくとも再生がキャンセルされたか否かを識別可能な画面が表示されるので、ユーザはこの画面を参照して再生がキャンセルされた音声メッセージを容易に特定することができ、聴取の必要がある音声メッセージの聴き逃しをさらに有効に抑制することができる。

＜補足説明＞
以上説明した各実施形態の音声コミュニケーション支援装置１００の様々な機能は、例えば、汎用のコンピュータシステムを基本ハードウェアとして用い、このコンピュータシステムで動作するＯＳ（オペレーティングシステム）上で、所定のアプリケーションプログラム（ソフトウェア）を実行することによって実現することができる。この場合、上記アプリケーションプログラムは、例えば、フラッシュメモリなどの半導体メモリや、磁気／光ディスクなどの記録媒体に記録されて提供され、音声コミュニケーション支援装置１００に適宜インストールされる。また、上記アプリケーションプログラムは、ネットワークを介して配布され、音声コミュニケーション支援装置１００に適宜インストールされるように構成してもよい。

図１３は、実施形態の音声コミュニケーション支援装置１００のハードウェア構成例を示すブロック図である。音声コミュニケーション支援装置１００は、例えば図１３に示すように、ＣＰＵ１０１、ＲＡＭ１０２、ＲＯＭ１０３、ＳＳＤ（Solid State Drive）１０４、外部機器Ｉ／Ｆ１０５、ネットワークＩ／Ｆ１０６、グラフィック／タッチパネルコントローラ１０７などがバス１０８で接続された構成とされる。ＳＳＤ１０４にはフラッシュメモリ１０９が装着され、グラフィック／タッチパネルコントローラ１０７にはタッチパネルディスプレイ１１０が接続される。

図１３に例示するハードウェア構成を採用する場合、上記アプリケーションプログラムは、例えばフラッシュメモリ１０９に記録されて提供され、ＳＳＤ１０４によってフラッシュメモリ１０９から読み出される。ＣＰＵ１０１は、ＲＡＭ１０２をワークエリアとして利用し、ＲＯＭ１０３から必要なデータを適宜読み出しながら、ＳＳＤ１０４によってフラッシュメモリ１０９から読み出されたアプリケーションプログラムを実行することにより、上述した各実施形態の音声コミュニケーション支援装置１００における機能的な構成要素を実現する。このとき、ユーザが装着する上述したヘッドセット２００との間のデータ伝送は外部機器Ｉ／Ｆ１０５を介して行われ、上述したサーバ３００との間の通信はネットワークＩ／Ｆ１０６を介して行われる。また、タッチパネルディスプレイ１１０に対する情報の表示や画面上のボタン操作の受け付けは、グラフィック／タッチパネルコントローラ１０７の制御のもとで行われる。

実施形態の音声コミュニケーション支援装置１００で実行される上記アプリケーションプログラムは、例えば、実施形態の音声コミュニケーション支援装置１００を構成する各機能的な構成要素を含むモジュール構成となっており、ＣＰＵ１０１がこのアプリケーションプログラムを実行することにより、上述した各機能的な構成要素がＲＡＭ１０２上にロードされ、ＲＡＭ１０２上に生成されるようになっている。なお、実施形態の音声コミュニケーション支援装置１００における機能的な構成要素は、アプリケーションプログラム（ソフトウェア）により実現するだけでなく、その一部または全部を、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field-Programmable Gate Array）などの専用のハードウェアにより実現することもできる。

以上、本発明の実施形態を説明したが、ここで説明した実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。ここで説明した新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。ここで説明した実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１０ 通信部
１１ 音声送信部
１２ 音声受信部
１３ 通知送信部
１４ 通知受信部
２０ 発話取得部
３０ 音声再生部
４０ 再生キャンセル部
５０ 再生管理部
６０ 報知部
７０ 音声メッセージ格納部
８０ 音声メッセージ管理部
９０ 判定部
９５ 画面表示部
１００ 音声コミュニケーション支援装置（端末）
２００ ヘッドセット
２１０ マイク
２２０ スピーカ
２５０ 操作ボタン
３００ サーバ
５００ メッセージ一覧画面

Claims (10)

1. 音声メッセージを受信する音声受信部と、
   受信した音声メッセージを再生する音声再生部と、
   ユーザ操作に応じて、前記音声再生部による音声メッセージの再生をキャンセルするように制御する再生キャンセル部と、
   再生がキャンセルされた音声メッセージの送信元に対して、音声メッセージの再生がキャンセルされたことを示すキャンセル通知を送信する通知送信部と、を備え、
   前記音声再生部は、再生がキャンセルされた音声メッセージの再生時間が第１閾値に満たない場合に、再生がキャンセルされた音声メッセージを所定のタイミングで再度再生する、音声コミュニケーション支援装置。
2. 前記音声再生部は、再生がキャンセルされた音声メッセージの再生時間が第１閾値に満たない場合であって、かつ、ユーザ操作を受け付ける操作ボタンが第２閾値未満の時間間隔で繰り返し操作された場合に、再生がキャンセルされた音声メッセージを所定のタイミングで再度再生する、請求項１に記載の音声コミュニケーション支援装置。
3. ユーザの発話を取得する発話取得部をさらに備え、
   音声メッセージの再生をキャンセルさせるためのユーザ操作と、発話の取得を開始させるためのユーザ操作とが、共通の前記操作ボタンにより受け付けられる、請求項２に記載の音声コミュニケーション支援装置。
4. 前記音声再生部により再度再生された音声メッセージがキャンセルされずに再生完了した場合に、前記通知送信部は、再生がキャンセルされた音声メッセージの送信元に対して、音声メッセージの再生が完了したことを示す完了通知をさらに送信する、請求項１乃至３のいずれか一項に記載の音声コミュニケーション支援装置。
5. 音声メッセージに付加された付加情報に基づいて、当該音声メッセージの再生をキャンセルできるか否かを判定する判定部をさらに備え、
   前記再生キャンセル部は、音声メッセージの再生をキャンセルさせるためのユーザ操作があった場合であっても、当該音声メッセージの再生をキャンセルできないと前記判定部により判定された場合は、前記音声再生部による当該音声メッセージの再生をキャンセルさせない、請求項１乃至４のいずれか一項に記載の音声コミュニケーション支援装置。
6. 受信した音声メッセージの一覧を表す画面であって、再生がキャンセルされたか否かを識別可能な画面を表示する画面表示部をさらに備える、請求項１乃至５のいずれか一項に記載の音声コミュニケーション支援装置。
7. ユーザの発話を取得する発話取得部と、
   取得したユーザの発話を音声メッセージとして外部に送信する音声送信部と、
   前記キャンセル通知を外部から受信する通知受信部と、
   前記キャンセル通知を受信した場合に、外部に送信した音声メッセージの再生がキャンセルされたことをユーザに報知する報知部と、をさらに備える請求項１乃至６のいずれか一項に記載の音声コミュニケーション支援装置。
8. 前記音声再生部は、受信した音声メッセージをユーザ操作にかかわらず再生する、請求項１乃至７のいずれか一項に記載の音声コミュニケーション支援装置。
9. 音声コミュニケーション支援装置において実行される方法であって、
   音声メッセージを受信するステップと、
   受信した音声メッセージを再生するステップと、
   ユーザ操作に応じて、音声メッセージの再生をキャンセルするステップと、
   再生がキャンセルされた音声メッセージの送信元に対して、音声メッセージの再生がキャンセルされたことを示すキャンセル通知を送信するステップと、
   再生がキャンセルされた音声メッセージの再生時間が第１閾値に満たない場合に、再生がキャンセルされた音声メッセージを所定のタイミングで再度再生するステップと、を含む音声コミュニケーション支援方法。
10. 音声メッセージを受信する機能と、
    受信した音声メッセージを再生する機能と、
    ユーザ操作に応じて、音声メッセージの再生をキャンセルする機能と、
    再生がキャンセルされた音声メッセージの送信元に対して、音声メッセージの再生がキャンセルされたことを示すキャンセル通知を送信する機能と、
    再生がキャンセルされた音声メッセージの再生時間が第１閾値に満たない場合に、再生がキャンセルされた音声メッセージを所定のタイミングで再度再生する機能と、をコンピュータに実現させるためのプログラム。

Images