JP7172041B2 - 音伝達装置及びプログラム - Google Patents

Description

本発明は、音伝達装置及びプログラムに関する。

基本的に一人のヒトと一つの物の間での会話を想定している音声認識や合成の技術を利用したシステムでは、今後、音声認識および合成の機能を持ったシステムがますます増加し、それらが複数でヒトと混在した場合、一つのシステムに対して発した命令を複数のシステムが誤って実行してしまったり、また、あるシステムがヒトに対して発した応答を別のシステムが自身に対しての命令と誤った解釈をしてしまうといった問題が必然的に発生するものと予測されることが、記載されている（例えば、特許文献１参照）。

特開平１１－２２４１７９号公報

使用者が装着する音伝達装置が、伝達が予定されていた音情報を使用者に伝達している際に、使用者の周囲で外部音が発生することがある。このとき、伝達が予定されていた音情報を使用者に伝達しながら使用者の周囲の外部音もそのまま流す構成を採用した場合には、伝達が予定されていた音情報と区別して使用者の周囲の外部音を使用者に伝達することは、音伝達装置の装着を一旦解除する等の煩わしい作業を必要とし、容易ではない。

本発明の目的は、伝達が予定されていた音情報と区別して使用者の周囲の外部音を使用者に伝達することを容易にすることにある。

請求項１に記載の発明は、自装置が装着された使用者の周囲の外部音を取得する取得手段と、前記取得手段により前記外部音が取得された場合、予め定められた条件が満たされれば、伝達が予定されていた第１の音情報の伝達を停止し、当該外部音を電子化した第２の音情報を前記使用者に伝達する伝達手段とを備え、前記予め定められた条件は、前記第１の音情報及び前記第２の音情報の種類の組み合わせに対して、当該第１の音情報の伝達を停止して当該第２の音情報を伝達すべきことを示す設定情報が設定されているという条件であり、前記設定情報は、前記使用者が置かれた環境ごとに設定されることを特徴とする音伝達装置である。
請求項２に記載の発明は、使用者に装着されるコンピュータに、前記使用者の周囲の外部音を取得する機能と、前記外部音が取得された場合、予め定められた条件が満たされれば、伝達が予定されていた第１の音情報の伝達を停止し、当該外部音を電子化した第２の音情報を前記使用者に伝達する機能とを実現させ、前記予め定められた条件は、前記第１の音情報及び前記第２の音情報の種類の組み合わせに対して、当該第１の音情報の伝達を停止して当該第２の音情報を伝達すべきことを示す設定情報が設定されているという条件であり、前記設定情報は、前記使用者が置かれた環境ごとに設定されることを特徴とするプログラムである。

請求項１の発明によれば、伝達が予定されていた音情報と区別して使用者の周囲の外部音を使用者に伝達することを、使用者が置かれた環境ごとに設定することができる。
請求項２の発明によれば、伝達が予定されていた音情報と区別して使用者の周囲の外部音を使用者に伝達することを、使用者が置かれた環境ごとに設定することができる。

本発明の第１の実施の形態における端末装置の機能構成例を示したブロック図である。 本発明の第１の実施の形態における端末装置の動作例を示したフローチャートである。 本発明の第２の実施の形態における端末装置の機能構成例を示したブロック図である。 本発明の第２の実施の形態における端末装置の話し掛けられるユーザによって使用される際の動作例を示したフローチャートである。 本発明の第２の実施の形態における端末装置の話し掛けるユーザによって使用される際の動作例を示したフローチャートである。 本発明の第３の実施の形態における端末装置の機能構成例を示したブロック図である。 本発明の第３の実施の形態における端末装置の優先順位記憶部に記憶された優先順位情報の例を示したブロック図である。 本発明の第３の実施の形態における端末装置の動作例を示したフローチャートである。 本発明の第４の実施の形態における端末装置の機能構成例を示したブロック図である。 本発明の第４の実施の形態における端末装置の動作例を示したフローチャートである。 本発明の第１乃至第４の実施の形態における端末装置のハードウェア構成例を示した図である。

以下、添付図面を参照して、本発明の実施の形態について詳細に説明する。

ユーザの聴覚に直接情報を伝達するヒアラブルデバイス等の端末装置を装着して音声データを聴いているユーザは、他のユーザから話し掛けられると、音声データを一旦停止させ、話し掛けたユーザとの会話の終了後に、途中から音声データを再開させなければならない。また、話し掛けられたユーザは、話し掛けたユーザの声が聞き取れず、聞き直してしまうことがある。更に、話し掛けるユーザは、ヒアラブルデバイス等の端末装置を装着しているユーザに話し掛けてよいタイミングが分からず、待ってしまうこともある。

こうしたことから、端末装置を装着して音声データを聴いているユーザに他のユーザが話し掛け、聴いている音声データと区別して他のユーザの話し掛ける音声を伝達することは容易ではない。

そこで、本実施の形態は、使用者（ユーザ）の周囲の外部音が取得された場合、予め定められた条件が満たされれば、伝達が予定されていた第１の音情報の伝達を停止し、外部音を電子化した第２の音情報をユーザに伝達する端末装置を提供する。ここで、予め定められた条件としては、これに限るものではないが、以下では、３つの条件を想定する。第１の条件は、第１の音情報の伝達を停止して第２の音情報を伝達することをユーザが許可したことを示す条件である。第２の条件は、外部音が発せられるよりも前に設定された条件である。第３の条件は、第１の音情報の伝達を停止して第２の音情報を伝達することを、外部音を発した音源が要求したことを示す条件である。

以下、外部音として外部音声を例にとり、外部音を発した音源として話し掛けたユーザを例にとり、第１の音情報を再生予定音声データとし、第２の音情報を外部音声データとして、第１の条件から第３の条件を用いた実施の形態を説明する。具体的には、第１の条件を用いた実施の形態を第１の実施の形態及び第２の実施の形態とし、第２の条件を用いた実施の形態を第３の実施の形態とし、第３の条件を用いた実施の形態を第４の実施の形態として、説明する。

［第１の実施の形態］
本実施の形態では、接近する外部音声が音入力部に入力されると、端末装置が、この外部音声を電子音声処理し、電子情報（外部音声データ）として割り込み処理し再生する。そして、割り込み処理された外部音声データを先行して再生するかどうかの再生判定部の判定結果に従い、再生が予定されていた音声の電子情報（再生予定音声データ）を保留するかどうかを決定する。その際、外部音声データを先行して再生するかどうかは、端末装置のスイッチの押下により判定してもよいし、端末装置に内蔵された加速度検知部で検知された頭の動きにより判定してもよいし、端末装置に内蔵された動作検知部で検知された手の動きにより判定してもよい。

図１は、第１の実施の形態における端末装置１０の機能構成例を示したブロック図である。図示するように、第１の実施の形態における端末装置１０は、外部音声取得部１１と、音声電子化処理部１２と、再生判定部１４と、再生制御部１５とを備える。

外部音声取得部１１は、接近する外部音声が音入力部９６（図１１参照）に入力されると、この外部音声を音入力部９６から取得する。本実施の形態では、外部音を取得する取得手段の一例として、外部音声取得部１１を設けている。

音声電子化処理部１２は、外部音声取得部１１が取得した外部音声を電子化して外部音声データとし、再生制御部１５が再生を制御している再生予定音声データに対して割り込み処理を行う。具体的には、外部音声を検出したことを示す信号（以下、「外部音声検出信号」という）を再生制御部１５に通知し、その後、外部音声データを再生制御部１５に通知する。

再生判定部１４は、外部音声データを先行して再生してよいかを判定する。具体的には、端末装置１０のユーザが外部音声データを先行して再生することを許可したかどうかを判定する。この判定は、端末装置１０の操作部９４（図１１参照）が操作されたかどうかを判定することであってよい。この場合、操作部９４の操作としては、操作部９４のスイッチが押下されること等がある。或いは、この判定は、ユーザの予め定められた動作が検出されたかどうかを判定することであってもよい。この場合、予め定められた動作の検出としては、ユーザの身体の端末装置１０が装着された部位（例えば、頭）を動かす動作が加速度検知部９８（図１１参照）により検知されること、ユーザが身体の部位（例えば、手）を動作検知部９９（図１１参照）の前で動かす動作が動作検知部９９により検知されること等がある。

再生制御部１５は、再生予定音声データ、外部音声検出信号、及び、外部音声データの再生を制御する。つまり、音出力部９７（図１１参照）への出力を制御する。具体的には、再生予定音声データの再生を制御している際に音声電子化処理部１２から外部音声検出信号が通知されると、この外部音声検出信号を再生するように制御する。その後、再生判定部１４が外部音声データを先行して再生してよいと判定すると、再生予定音声データの再生を保留して外部音声データを再生するように制御する。本実施の形態では、第１の音情報の伝達を停止し、第２の音情報を使用者に伝達する伝達手段の一例として、再生制御部１５を設けている。

図２は、第１の実施の形態における端末装置１０の動作例を示したフローチャートである。

図示するように、端末装置１０では、まず、外部音声取得部１１が、接近する外部音声が音入力部９６に入力されたかどうかを判定する（ステップ１０１）。そして、接近する外部音声が音入力部９６に入力されたと判定しなければ、ステップ１０１を繰り返し、接近する外部音声が音入力部９６に入力されたと判定すれば、その外部音声を取得する（ステップ１０２）。

すると、音声電子化処理部１２が、ステップ１０２で取得された外部音声を電子化して、外部音声データを生成する（ステップ１０３）。そして、再生制御部１５により再生が制御されている再生予定音声データに外部音声データとして割り込み処理を行う（ステップ１０４）。

これにより、再生制御部１５が、外部音声検出信号を再生する（ステップ１０５）。具体的には、再生予定音声データを再生するように音出力部９７を制御している際に、外部音声検出信号を再生するように音出力部９７を制御する。

この状態で、再生判定部１４が、ステップ１０３で生成された外部音声データを再生予定音声データに先行して再生することを端末装置１０のユーザが許可しているかどうかを判定する（ステップ１０６）。

その結果、ステップ１０３で生成された外部音声データを再生予定音声データに先行して再生することを端末装置１０のユーザが許可していると再生判定部１４により判定されれば、再生制御部１５は、再生予定音声データの再生を保留して外部音声データを再生する（ステップ１０７）。具体的には、再生予定音声データの再生を一旦停止し、外部音声データを先に再生するよう、音出力部９７を制御する。その後、外部音声への対応が終了すると、再生制御部１５は、ステップ１０７で保留した再生予定音声データを再生する（ステップ１０８）。具体的には、一旦停止していた再生予定音声データの再生を再開するように、音出力部９７を制御する。そして、処理は、ステップ１０１へ戻る。

一方、ステップ１０６において、ステップ１０３で生成された外部音声データを再生予定音声データに先行して再生することを端末装置１０のユーザが許可していると再生判定部１４により判定されなければ、端末装置１０は、そのまま処理を終了する。その際、端末装置１０のユーザは、話し掛けたユーザに対して、対応できないことを肉声で伝える。

［第２の実施の形態］
本実施の形態では、端末装置が、外部音声データを先行して再生しない場合、話し掛けたユーザが登録（認証）済の応答可能な端末装置を装着していることを検出すれば、対応できないことに関する詳細情報を、話し掛けたユーザの端末装置に音声データで伝える。詳細情報は、例えば、空きスケジュール情報とすればよい。また、話し掛けたユーザが未登録（未認証）の応答可能な端末装置を装着していることを検出すれば、パブリックコメントを音声データで伝える。パブリックコメントは、例えば、「ただ今対応できません」といったメッセージの他、「対応できませんので折り返し連絡ください」といった登録（承認）を促すメッセージでもよい。一方、話し掛けたユーザが応答可能な端末装置を装着していない場合は、周辺にウェアラブルデバイス、スマートスピーカ、ディスプレイ等の対応機器を検出すれば、パブリックコメントを音声データ又はテキストデータで伝える。パブリックコメントは、例えば、「ただ今対応できません」という個人を特定できないメッセージとすればよい。或いは、対応できないことを肉声で伝えるよう促してもよい。

図３は、第２の実施の形態における通信システムの機能構成例を示したブロック図である。図示するように、第２の実施の形態における通信システムは、端末装置２０ａと端末装置２０ｂとが無線により通信可能に接続されることにより構成されている。そして、端末装置２０ａは、外部音声取得部２１ａと、音声電子化処理部２２ａと、再生判定部２４ａと、再生制御部２５ａと、受信部２６ａと、端末判別部２７ａと、機器検出部２８ａと、送信部２９ａとを備え、端末装置２０ｂは、外部音声取得部２１ｂと、音声電子化処理部２２ｂと、再生判定部２４ｂと、再生制御部２５ｂと、受信部２６ｂと、端末判別部２７ｂと、機器検出部２８ｂと、送信部２９ｂとを備える。ここで、端末装置２０ａ及び端末装置２０ｂのうち、一方は話し掛けられるユーザによって使用され、もう一方は話し掛けるユーザによって使用されるものとする。但し、その機能構成は同じなので、ここでは、各構成要素を、「ａ」及び「ｂ」を付さずに説明する。

外部音声取得部２１及び音声電子化処理部２２は、第１の実施の形態における外部音声取得部１１及び音声電子化処理部１２と同じなので、ここでの説明は省略する。尚、本実施の形態では、端末装置２０が話し掛けられるユーザによって使用される場合に、外部音声取得部２１が外部音声を電子化した外部音声データを「第１外部音声データ」と呼ぶこととし、端末装置２０が話し掛けるユーザによって使用される場合に、外部音声取得部２１が外部音声を電子化した外部音声データを「第２外部音声データ」と呼ぶこととする。

再生判定部２４は、第１外部音声データを先行して再生してよいかを判定する。具体的には、端末装置２０のユーザが外部音声データを先行して再生することを許可したかどうかを判定する。この判定は、端末装置１０の操作部９４（図１１参照）が操作されたかどうかを判定することであってよい。この場合、操作部９４の操作としては、操作部９４のスイッチが押下されること等がある。或いは、この判定は、ユーザの予め定められた動作が検出されたかどうかを判定することであってもよい。この場合、予め定められた動作の検出としては、ユーザの身体の端末装置１０が装着された部位（例えば、頭）を動かす動作が加速度検知部９８（図１１参照）により検知されること、ユーザが身体の部位（例えば、手）を動作検知部９９（図１１参照）の前で動かす動作が動作検知部９９により検知されること等がある。

再生制御部２５は、再生予定音声データ、外部音声検出信号、及び、第１外部音声データの再生を制御する。つまり、音出力部９７（図１１参照）への出力を制御する。具体的には、再生予定音声データの再生を制御している際に音声電子化処理部２２から外部音声検出信号が通知されると、この外部音声検出信号を再生するように制御する。その後、再生判定部２４が第１外部音声データを先行して再生してよいと判定すると、再生予定音声データの再生を保留して第１外部音声データを再生するように制御する。本実施の形態では、第１の音情報の伝達を停止し、第２の音情報を使用者に伝達する伝達手段の一例として、再生制御部２５を設けている。また、端末装置２０が話し掛けるユーザによって使用される場合は、話し掛けられるユーザによって使用される他の端末装置２０から外部音声に対応できないことに関する詳細情報又はパブリックコメントを受信すると、その詳細情報又はパブリックコメントの再生を制御する。つまり、音出力部９７（図１１参照）への出力を制御する。

受信部２６は、端末装置２０が話し掛けられるユーザによって使用される場合は、話し掛けるユーザによって使用される他の端末装置２０から、第２外部音声データと、他の端末装置２０を示す端末情報とを受信する。また、端末装置２０が話し掛けるユーザによって使用される場合は、話し掛けられるユーザによって使用される他の端末装置２０から、外部音声に対応できないことに関する詳細情報又はパブリックコメントを受信する。

端末判別部２７は、端末装置２０が話し掛けられるユーザによって使用される場合に、受信部２６が他の端末装置２０から第２外部音声データと端末情報とを受信すると、第２外部音声データと端末情報とを用いて、他の端末装置２０が話し掛けたユーザによって使用される登録済の端末装置２０であるかどうかを判別する。具体的には、受信部２６が受信した端末情報が自端末装置２０に登録されており、かつ、自端末装置２０の音入力部９６から取得した外部音声を電子化した第１外部音声データと受信部２６が受信した第２外部音声データとが類似していれば、他の端末装置２０が話し掛けたユーザによって使用される登録済の端末装置２０であると判別する。ここで、第１外部音声データと第２外部音声データとが類似しているかどうかは、第１外部音声データと第２外部音声データとの類度度が閾値以上であるかどうかによって判定すればよい。但し、他の端末装置２０が話し掛けたユーザによって使用されているかどうかを判別する方法は、これには限らず、例えば、指向性を有する通信により判別する方法等を用いてもよい。

機器検出部２８は、端末装置２０が話し掛けられるユーザによって使用される場合に、受信部２６が他の端末装置２０から第２外部音声データと端末情報とを受信しなければ、自端末装置２０の周辺から対応機器を検出する。

送信部２９は、端末装置２０が話し掛けられるユーザによって使用される場合は、他の端末装置２０又は対応機器へ外部音声に対応できないことに関する詳細情報又はパブリックコメントを送信する。具体的には、話し掛けるユーザによって使用される登録済の他の端末装置２０へは、外部音声に対応できないことに関する詳細情報を送信する。ここで、詳細情報には、話し掛けられるユーザの空きスケジュール情報等を含めてよい。また、話し掛けるユーザ以外のユーザによって使用される登録済の他の端末装置２０、未登録の他の端末装置２０、又は、自端末装置２０の周辺から検出された対応機器へは、外部音声に対応できないことに関するパブリックコメントを送信する。ここで、パブリックコメントには、話し掛けられるユーザ及び話し掛けるユーザの個人情報を含めないようにするとよい。本実施の形態では、外部音が使用者に伝達されない旨を通知する通知手段の一例として、送信部２９を設けている。また、外部音を発した発音者が装着する他の音伝達装置の一例として、話し掛けるユーザによって使用される登録済の他の端末装置２０を用いており、使用者に関する情報の一例として、スケジュール情報等を用いており、使用者及び発音者の少なくとも何れか一方に関する情報の一例として、話し掛けられるユーザ及び話し掛けるユーザの個人情報を用いている。更に、自装置の周囲にある自装置とは異なる種類の他の装置の一例として、自端末装置２０の周辺から検出された対応機器を用いている。また、端末装置２０が話し掛けるユーザによって使用される場合は、音声電子化処理部２２が外部音声を電子化した第２外部音声データと、自端末装置２０を示す端末情報とを送信する。

図４及び図５は、第２の実施の形態における端末装置２０ａ及び端末装置２０ｂの動作例を示したフローチャートである。尚、ここでは、端末装置２０ａが話し掛けられるユーザによって使用され、端末装置２０ｂが話し掛けるユーザによって使用されるものとして説明する。

図４に示すように、端末装置２０ａでは、まず、外部音声取得部２１ａが、接近する外部音声が音入力部９６に入力されたかどうかを判定する（ステップ２０１）。そして、接近する外部音声が音入力部９６に入力されたと判定しなければ、ステップ２０１を繰り返し、接近する外部音声が音入力部９６に入力されたと判定すれば、その外部音声を取得する（ステップ２０２）。

すると、音声電子化処理部２２ａが、ステップ２０２で取得された外部音声を電子化して、第１外部音声データを生成する（ステップ２０３）。そして、再生制御部２５ａにより再生が制御されている再生予定音声データに外部音声データとして割り込み処理を行う（ステップ２０４）。

これにより、再生制御部２５ａが、外部音声検出信号を再生する（ステップ２０５）。具体的には、再生予定音声データを再生するように音出力部９７を制御している際に、外部音声検出信号を再生するように音出力部９７を制御する。

この状態で、再生判定部２４ａが、ステップ２０３で生成された第１外部音声データを再生予定音声データに先行して再生することを端末装置２０ａのユーザが許可しているかどうかを判定する（ステップ２０６）。

その結果、ステップ２０３で生成された第１外部音声データを再生予定音声データに先行して再生することを端末装置２０のユーザが許可していると再生判定部２４ａにより判定されれば、再生制御部２５ａは、再生予定音声データの再生を保留して第１外部音声データを再生する（ステップ２０７）。具体的には、再生予定音声データの再生を一旦停止し、外部音声データを先に再生するよう、音出力部９７を制御する。その後、外部音声への対応が終了すると、再生制御部２５ａは、ステップ２０７で保留した再生予定音声データを再生する（ステップ２０８）。具体的には、一旦停止していた再生予定音声データの再生を再開するように、音出力部９７を制御する。そして、処理は、ステップ２０１へ戻る。

一方で、本実施の形態では、図５に示すように、端末装置２０ｂで、外部音声取得部２１ｂが、音入力部９６に入力された外部音声、つまり、話し掛けたユーザが発した音声を取得する（ステップ２５１）。

すると、音声電子化処理部２２ｂが、ステップ２５１で取得された外部音声を電子化して、第２外部音声データを生成する（ステップ２５２）。

これにより、音声電子化処理部２２ｂは、第２外部音声データを送信部２９ｂに通知し、送信部２９ｂが、第２外部音声データと端末情報とを周辺の端末装置２０へ送信する（ステップ２５３）。

また、図４に示すように、端末装置２０ａでは、ステップ２０６において、ステップ２０３で生成された第１外部音声データを再生予定音声データに先行して再生することを端末装置２０ａのユーザが許可していると再生判定部２４ａにより判定されなければ、受信部２６ａが、他の端末装置２０から第２外部音声データ及び端末情報を受信したかどうかを判定する（ステップ２０９）。

その結果、他の端末装置２０から第２外部音声データ及び端末情報を受信したと受信部２６ａにより判定されれば、端末判別部２７ａが、ステップ２０９で受信された端末情報が端末装置２０ａに登録済であるかどうかを判定する（ステップ２１０）。そして、ステップ２０９で受信された端末情報が端末装置２０ａに登録済であると判定すれば、ステップ２０３で生成された第１外部音声データとステップ２０９で受信された第２外部音声データとが類似するかどうかを判定する（ステップ２１１）。つまり、第２外部音声データ及び端末情報を送信した他の端末装置２０が端末装置２０ｂであるかどうかを判定する。端末装置２０ａに端末情報が登録された複数の端末装置２０が端末装置２０ａの周辺に存在し、それら複数の端末装置２０のユーザが同じタイミングで誰かに話し掛けた場合において、それら複数の端末装置２０の中から端末装置２０ｂを特定するために、このような判定を行っている。

ここで、ステップ２０３で生成された第１外部音声データとステップ２０９で受信された第２外部音声データとが類似すると端末判別部２７ａにより判定されれば、送信部２９ａが、外部音声に対応できないことに関する詳細情報を端末装置２０ｂへ送信する（ステップ２１２）。そして、処理は、ステップ２０１へ戻る。

また、ステップ２１０において、ステップ２０９で受信された端末情報が端末装置２０ａに登録済でないと判定されれば、送信部２９ａが、外部音声に対応できないことに関するパブリックコメントを、第２外部音声データと端末情報とを送信した端末装置２０へ送信する（ステップ２１３）。そして、処理は、ステップ２０１へ戻る。

更に、ステップ２０９で、他の端末装置２０から第２外部音声データ及び端末情報を受信していないと受信部２６ａにより判定されれば、機器検出部２８ａが、端末装置２０ａの周辺に対応機器があるかどうかを判定する（ステップ２１４）。ここで、端末装置２０ａの周辺に対応機器があると機器検出部２８ａにより判定されれば、送信部２９ａが、外部音声に対応できないことに関するパブリックコメントを、音声データ又はテキストデータで、ステップ２１４で検出された対応機器へ送信する（ステップ２１５）。また、端末装置２０ａの周辺に対応機器があると機器検出部２８ａにより判定されなければ、再生制御部２５ａが、外部音声に対応できないことを肉声で伝えるように促す（ステップ２１６）。更に、ステップ２１１において、ステップ２０３で生成された第１外部音声データとステップ２０９で受信された第２外部音声データとが類似すると判定されなかった場合も、再生制御部２５ａが、外部音声に対応できないことを肉声で伝えるように促す（ステップ２１６）。具体的には、外部音声に対応できないことを肉声で伝えるように促すメッセージを再生するよう、音出力部９７を制御する。そして、何れの場合も、処理は、ステップ２０１へ戻る。

尚、本実施の形態では、端末判別部２７ａが、ステップ２１０で、受信部２６ａが受信した端末情報が端末装置２０ａに登録されているかどうかを判定し、ステップ２１１で、音声電子化処理部２２ａが生成した第１外部音声データと受信部２６ａが受信した第２外部音声データとが類似しているかどうかを判定するようにしたが、この限りではない。ステップ２１０での端末情報が端末装置２０ａに登録されているかどうかの判定、及び、ステップ２１１での第１外部音声データと第２外部音声データとが類似しているかどうかの判定の何れか一方のみを行うようにしてもよい。

また、本実施の形態では、機器検出部２８ａ，２８ｂを設け、ステップ２０９で他の端末装置２０から第２外部音声データ及び端末情報を受信していないと受信部２６ａにより判定されれば、ステップ２１４で、機器検出部２８ａが、端末装置２０ａの周辺に対応機器があるかどうかを判定することとした。そして、対応機器があると機器検出部２８ａにより判定されれば、ステップ２１５で、送信部２９ａが、外部音声に対応できないことに関するパブリックコメントを対応機器へ送信し、対応機器があると機器検出部２８ａにより判定されなければ、ステップ２１６で、再生制御部２５ａが、外部音声に対応できないことを肉声で伝えるように促すこととした。しかしながら、機器検出部２８ａ，２８ｂは設けなくてもよい。そして、ステップ２０９で他の端末装置２０から第２外部音声データ及び端末情報を受信していないと受信部２６ａにより判定されれば、端末装置２０ａの周辺に対応機器があるかどうかを判定することなく、ステップ２１６で、再生制御部２５ａが、外部音声に対応できないことを肉声で伝えるように促すこととしてもよい。

［第３の実施の形態］
本実施の形態では、外部音声データを含む複数種類の音声データについて、その何れを先行して再生するかを示す環境ごとの優先順位を、ユーザが事前に設定しておき、端末装置が、外部音声データを再生予定音声データに先行して再生するかどうかをこの優先順位に従って決定する。

図６は、第３の実施の形態における端末装置３０の機能構成例を示したブロック図である。図示するように、第３の実施の形態における端末装置３０は、外部音声取得部３１と、音声電子化処理部３２と、優先順位記憶部３３と、再生判定部３４と、再生制御部３５と、端末判別部３７と、送信部３９とを備える。

外部音声取得部３１及び音声電子化処理部３２は、第１の実施の形態における外部音声取得部１１及び音声電子化処理部１２と同じなので、ここでの説明は省略する。

優先順位記憶部３３は、複数種類の音声データについてどの種類の音声データをどの種類の音声データに先行して再生するかの優先順位を示す情報（以下、「優先順位情報」という）を記憶する。本実施の形態では、第１の音情報及び第２の音情報の種類の組み合わせに対して、第１の音情報の伝達を停止して第２の音情報を伝達すべきことを示す設定情報が設定された情報の一例として、優先順位情報を用いている。この優先順位情報については、後で詳細に説明する。

再生判定部３４は、外部音声データを先行して再生してよいかを判定する。具体的には、優先順位記憶部３３に記憶された優先順位情報において、外部音声データの優先順位が再生予定音声データの優先順位よりも高いことが定義されているかどうかを判定する。

再生制御部３５は、再生予定音声データ、外部音声検出信号、及び、外部音声データの再生を制御する。つまり、音出力部９７（図１１参照）への出力を制御する。具体的には、再生予定音声データの再生を制御している際に音声電子化処理部３２から外部音声検出信号が通知されると、この外部音声検出信号を再生するように制御する。その後、再生判定部３４が外部音声データを先行して再生してよいと判定すると、再生予定音声データの再生を保留して外部音声データを再生するように制御する。また、端末装置３０のユーザに話し掛けたユーザが使用している他の端末装置３０が応答可能なものであると端末判別部３７により判別されなかった場合に、外部音声に対応できないことを再生するよう、音出力部９７を制御する。本実施の形態では、第１の音情報の伝達を停止し、第２の音情報を使用者に伝達する伝達手段の一例として、再生制御部３５を設けている。

端末判別部３７は、端末装置３０のユーザに話し掛けたユーザが使用している他の端末装置３０が応答可能なものであるかどうかを判別する。例えば、第２の実施の形態に示したように、他の端末装置３０が取得した外部音声を電子化した外部音声データと他の端末装置３０の端末情報とを受信し、自端末装置３０に端末情報が登録され、かつ、受信した外部音声データと自端末装置３０で取得した外部音声を電子化した外部音声データとが類似するかどうかを判定することにより、この判別を行ってもよい。或いは、指向性を有する通信により判別する方法等を用いてもよい。

送信部３９は、端末装置３０のユーザに話し掛けたユーザが使用している他の端末装置３０が応答可能なものであると端末判別部３７により判別された場合に、外部音声に対応できないことを他の端末装置３０へ送信する。

図７は、優先順位記憶部３３に記憶された優先順位情報の例を示した図である。図示するように、優先順位情報は、音声データの種類として、電話と、外部音声と、情報と、音楽と、外部周囲音とを含む。そして、これらの種類のそれぞれに対して、ユーザが置かれる環境ごとに、優先順位を定義している。尚、ここでは、優先順位は、数値が小さい方が、優先度が高いものとしている。

まず、環境＃１は、通常の環境である。この通常の環境においては、電話が「優先順位１」に、外部音声が「優先順位２」に、情報が「優先順位３」に、音楽が「優先順位４」に、外部周囲音が「優先順位５」に、それぞれ設定されている。

また、環境＃２は、会議の環境である。この会議の環境においては、例えば、会議中に出て来た事項を調査してその結果を端末装置３０で再生することが考えられるので、情報が「優先順位２」に設定されている。しかしながら、調査した結果を再生中であっても、会議で発話者が発話を開始すれば、その発話内容を再生しなければならないので、外部音声が「優先順位１」に設定されている。

更に、環境＃３は、集中業務の環境である。この集中業務の環境においては、例えば、集中業務中に出て来た事項を調査してその結果を端末装置３０で再生することが考えられるので、情報が「優先順位２」に設定されている。しかしながら、調査した結果を再生中であっても、集中すべき時間が来れば集中しなければならない。ここでは、端末装置３０のユーザが音楽を聴きながら集中する人であるものとし、音楽が「優先順位１」に設定されている。

図８は、第３の実施の形態における端末装置３０の動作例を示したフローチャートである。

図示するように、端末装置３０では、まず、外部音声取得部３１が、接近する外部音声が音入力部９６に入力されたかどうかを判定する（ステップ３０１）。そして、接近する外部音声が音入力部９６に入力されたと判定すれば、その外部音声を取得する（ステップ３０２）。

すると、音声電子化処理部３２が、ステップ３０２で取得された外部音声を電子化して、外部音声データを生成する（ステップ３０３）。そして、再生制御部３５により再生が制御されている再生予定音声データに外部音声データとして割り込み処理を行う（ステップ３０４）。

これにより、再生制御部３５が、外部音声検出信号を再生する（ステップ３０５）。具体的には、再生予定音声データを再生するように音出力部９７を制御している際に、外部音声検出信号を再生するように音出力部９７を制御する。

この状態で、再生判定部３４が、優先順位記憶部３３に記憶された優先順位情報を参照して、ステップ３０３で生成された外部音声データの優先順位が再生予定音声データの優先順位よりも高いかどうかを判定する（ステップ３０６）。例えば、端末装置３０の操作部９４（図１１参照）でユーザが環境を設定しておき、優先順位記憶部３３に記憶された優先順位情報のうちこの設定された環境に対応する情報を参照して、このような判定を行えばよい。

その結果、ステップ３０３で生成された外部音声データの優先順位が再生予定音声データの優先順位よりも高いと再生判定部３４により判定されれば、再生制御部３５は、再生予定音声データの再生を保留して外部音声データを再生する（ステップ３０７）。具体的には、再生予定音声データの再生を一旦停止し、外部音声データを先に再生するよう、音出力部９７を制御する。その後、外部音声への対応が終了すると、再生制御部３５は、ステップ３０７で保留した再生予定音声データを再生する（ステップ３０８）。具体的には、一旦停止していた再生予定音声データの再生を再開するように、音出力部９７を制御する。そして、処理は、ステップ３０１へ戻る。

一方、ステップ３０６において、ステップ３０３で生成された外部音声データの優先順位が再生予定音声データの優先順位よりも高いと再生判定部３４により判定されなければ、端末判別部３７が、端末装置３０のユーザに話し掛けたユーザの端末装置１０が応答可能なものであるかどうかを判別する（ステップ３０９）。ここで、端末装置３０のユーザに話し掛けたユーザによって使用される他の端末装置３０が応答可能なものであると端末判別部３７により判別されれば、送信部３９が、外部音声に対応できないことを他の端末装置３０へ送信する（ステップ３１０）。また、端末装置３０のユーザに話し掛けたユーザによって使用される他の端末装置３０が応答可能なものであると端末判別部３７により判別されなければ、再生制御部３５が、外部音声に対応できないことを肉声で伝えるように促す（ステップ３１１）。具体的には、外部音声に対応できないことを肉声で伝えるように促すメッセージを再生するよう、音出力部９７を制御する。そして、何れの場合も、処理は、ステップ３０１へ戻る。

［第４の実施の形態］
本実施の形態では、第３の実施の形態で外部音声データの優先順位が再生予定音声データの優先順位よりも高いと判定されない場合であっても、話し掛けたユーザが応答可能な端末装置を装着しており、かつ、その端末装置から急ぎ信号を受信すれば、端末装置が、「優先順位１」の外部音声データとして割り込み処理をし、外部音声データを先行して再生する。その際、急ぎ信号は、端末装置のスイッチの押下により発信してもよいし、端末装置に内蔵された加速度検知部で検知された頭の動きにより発信してもよいし、端末装置に内蔵された動作検知部で検知された手の動きにより発信してもよい。また、音声データを再生する際には、その音声データが電話、外部音声、情報、音楽、外部周囲音、急ぎ信号等の何れであるかが分かるように、音声データの先頭で識別音を再生してもよい。

図９は、第４の実施の形態における端末装置４０の機能構成例を示したブロック図である。図示するように、第４の実施の形態における端末装置４０は、外部音声取得部４１と、音声電子化処理部４２と、優先順位記憶部４３と、再生判定部４４と、再生制御部４５と、受信部４６と、端末判別部４７と、送信部４９とを備える。

外部音声取得部４１及び音声電子化処理部４２は、第１の実施の形態における外部音声取得部１１及び音声電子化処理部１２と同じなので、ここでの説明は省略する。

優先順位記憶部４３は、複数種類の音声データについてどの種類の音声データをどの種類の音声データに先行して再生するかの優先順位を示す情報（優先順位情報）を記憶する。この優先順位情報については、第３の実施の形態で説明したので、ここでの説明は省略する。

再生判定部４４は、外部音声データを先行して再生してよいかを判定する。具体的には、優先順位記憶部４３に記憶された優先順位情報において、外部音声データの優先順位が再生予定音声データの優先順位よりも高いことが定義されているかどうかを判定する。

再生制御部４５は、再生予定音声データ、外部音声検出信号、及び、外部音声データの再生を制御する。つまり、音出力部９７（図１１参照）への出力を制御する。具体的には、再生予定音声データの再生を制御している際に音声電子化処理部４２から外部音声検出信号が通知されると、この外部音声検出信号を再生するように制御する。その後、再生判定部４４が外部音声データを先行して再生してよいと判定すると、再生予定音声データの再生を保留して外部音声データを再生するように制御する。その際、外部音声データが通常の外部音声及び急ぎの外部音声の何れに関するものであるかを示す識別音を、外部音声データの先頭で再生するように制御してもよい。また、再生予定音声データも含めて、音声データの再生を制御する際に、その音声データが電話、情報、音楽、通常の外部音声、急ぎの外部音声、外部周囲音等の何れに関するものであるかを示す識別音を、音声データの先頭で再生するように制御してもよい。また、端末装置４０のユーザに話し掛けたユーザが使用している他の端末装置４０が応答可能なものであると端末判別部４７により判別されなかった場合に、外部音声に対応できないことを再生するよう、音出力部９７を制御する。本実施の形態では、第１の音情報の伝達を停止し、第２の音情報を使用者に伝達する伝達手段の一例として、再生制御部４５を設けている。また、外部音の種類を識別する識別音の一例として、外部音声データが通常の外部音声及び急ぎの外部音声の何れに関するものであるかを示す識別音を用いている。

受信部４６は、端末装置４０のユーザに話し掛けたユーザが使用している他の端末装置４０から、急ぎ信号を受信する。本実施の形態では、第１の音情報の伝達を停止して第２の音情報を伝達することを指示する指示情報の一例として、急ぎ信号を用いている。尚、ユーザに話し掛けた他の端末装置４０の側では、端末装置４０の操作部９４（図１１参照）が操作されることにより急ぎ信号を送信するとよい。この場合、操作部９４の操作としては、操作部９４のスイッチが押下されること等がある。或いは、ユーザの予め定められた動作が検出されることにより急ぎ信号を送信してもよい。この場合、予め定められた動作の検出としては、ユーザの身体の端末装置１０が装着された部位（例えば、頭）を動かす動作が加速度検知部９８（図１１参照）により検知されること、ユーザが身体の部位（例えば、手）を動作検知部９９（図１１参照）の前で動かす動作が動作検知部９９により検知されること等がある。

端末判別部４７は、端末装置４０のユーザに話し掛けたユーザが使用している他の端末装置４０が応答可能なものであるかどうかを判別する。例えば、第２の実施の形態に示したように、他の端末装置４０が取得した外部音声を電子化した外部音声データと他の端末装置４０の端末情報とを受信し、自端末装置４０に端末情報が登録され、かつ、受信した外部音声データと自端末装置４０で取得した外部音声を電子化した外部音声データとが類似するかどうかを判定することにより、この判別を行ってもよい。或いは、指向性を有する通信により判別する方法等を用いてもよい。

送信部４９は、端末装置４０のユーザに話し掛けたユーザが使用している他の端末装置４０が応答可能なものであると端末判別部４７により判別された場合に、外部音声に対応できないことを他の端末装置４０へ送信する。

図１０は、第４の実施の形態における端末装置４０の動作例を示したフローチャートである。

図示するように、端末装置４０では、まず、外部音声取得部４１が、接近する外部音声が音入力部９６に入力されたかどうかを判定する（ステップ４０１）。そして、接近する外部音声が音入力部９６に入力されたと判定すれば、その外部音声を取得する（ステップ４０２）。

すると、音声電子化処理部４２が、ステップ４０２で取得された外部音声を電子化して、外部音声データを生成する（ステップ４０３）。

このとき、受信部４６が、端末装置４０のユーザに話し掛けたユーザが使用している他の端末装置４０から急ぎ信号を受信したかどうかを判定する（ステップ４０４）。

その結果、他の端末装置４０から急ぎ信号を受信したと受信部４６により判定されれば、音声電子化処理部４２は、再生制御部４５により再生が制御されている再生予定音声データに「優先順位１」の外部音声データとして割り込み処理を行う（ステップ４０５）。

一方、他の端末装置４０から急ぎ信号を受信したと受信部４６により判定されなければ、音声電子化処理部４２は、再生制御部４５により再生が制御されている再生予定音声データに通常の外部音声データとして割り込み処理を行う（ステップ４０６）。

これにより、再生制御部４５が、外部音声検出信号を再生する（ステップ４０７）。具体的には、再生予定音声データを再生するように音出力部９７を制御している際に、外部音声検出信号を再生するように音出力部９７を制御する。

この状態で、再生判定部４４が、優先順位記憶部４３に記憶された優先順位情報又は外部音声データに付された優先順位を参照して、ステップ４０３で生成された外部音声データの優先順位が再生予定音声データの優先順位よりも高いかどうかを判定する（ステップ４０８）。

その結果、ステップ４０３で生成された外部音声データの優先順位が再生予定音声データの優先順位よりも高いと再生判定部４４により判定されれば、再生制御部４５は、再生予定音声データの再生を保留して外部音声データを再生する（ステップ４０９）。具体的には、再生予定音声データの再生を一旦停止し、外部音声データを先に再生するよう、音出力部９７を制御する。その後、外部音声への対応が終了すると、再生制御部４５は、ステップ４０９で保留した再生予定音声データを再生する（ステップ４１０）。具体的には、一旦停止していた再生予定音声データの再生を再開するように、音出力部９７を制御する。そして、処理は、ステップ４０１へ戻る。

一方、ステップ４０８において、ステップ４０３で生成された外部音声データの優先順位が再生予定音声データの優先順位よりも高いと再生判定部４４により判定されなければ、端末判別部４７が、端末装置４０のユーザに話し掛けたユーザの端末装置４０が応答可能なものであるかどうかを判別する（ステップ４１１）。ここで、端末装置４０のユーザに話し掛けたユーザによって使用される他の端末装置４０が応答可能なものであると端末判別部４７により判別されれば、送信部４９が、外部音声に対応できないことを他の端末装置４０へ送信する（ステップ４１２）。また、端末装置４０のユーザに話し掛けたユーザによって使用される他の端末装置４０が応答可能なものであると端末判別部４７により判別されなければ、再生制御部４５が、外部音声に対応できないことを肉声で伝えるように促す（ステップ４１３）。具体的には、外部音声に対応できないことを肉声で伝えるように促すメッセージを再生するよう、音出力部９７を制御する。そして、何れの場合も、処理は、ステップ４０１へ戻る。

［端末装置のハードウェア構成］
第１乃至第４の実施の形態における端末装置１０～４０は、ユーザの聴覚に直接情報を伝達する所謂ヒアラブルデバイスにより実現するとよい。そこで、端末装置１０～４０がヒアラブルデバイス９０により実現されるものとして、このヒアラブルデバイス９０のハードウェア構成について説明する。

図１１は、ヒアラブルデバイス９０のハードウェア構成を示した図である。図示するように、ヒアラブルデバイス９０は、演算手段であるＣＰＵ（Central Processing Unit）９１と、記憶手段であるメインメモリ９２及びＨＤＤ（Hard Disk Drive）９３とを備える。ここで、ＣＰＵ９１は、ＯＳ（Operating System）やアプリケーション等の各種ソフトウェアを実行し、上述した各処理部を実現する。また、メインメモリ９２は、各種ソフトウェアやその実行に用いるデータ等を記憶し、ＨＤＤ９３は、各種ソフトウェアに対する入力データや各種ソフトウェアからの出力データ等を記憶する。更に、ヒアラブルデバイス９０は、ユーザが各種操作を行うための操作部９４と、外部との通信を行うための通信インターフェース（図では「通信Ｉ／Ｆ」と表記）９５と、マイクロフォン等から音が入力される音入力部９６と、イヤフォン、ヘッドフォン等に対して音を出力する音出力部９７とを備える。尚、このイヤフォン、ヘッドフォン等は、空気の振動を頭蓋骨に直接伝えることで音を伝える骨伝導イヤフォン、骨伝導ヘッドフォン等であってもよい。更にまた、ヒアラブルデバイス９０は、加速度センサ等の加速度検知部９８と、カメラ等の動作検知部９９とを備える。ここで、加速度検知部９８は、ヒアラブルデバイス９０の姿勢を検出する姿勢検出手段の一例であり、動作検知部９９は、ヒアラブルデバイス９０の周囲の画像を捕捉する画像捕捉手段の一例である。但し、加速度検知部９８及び動作検知部９９の何れか一方又は両方は備えていなくてもよい。

ここで、ヒアラブルデバイス９０は、イヤフォン型又はヘッドフォン型のデバイスであってよい。ヒアラブルデバイス９０がイヤフォン型のデバイスである場合、ヒアラブルデバイス９０は、本デバイスをユーザの一方の耳に装着するための装着手段を備えることになる。また、ヒアラブルデバイス９０がヘッドフォン型のデバイスである場合、ヒアラブルデバイス９０は、本デバイスをユーザの頭に装着するための装着手段を備えることになる。

或いは、ヒアラブルデバイス９０は、イヤフォン、ヘッドフォン等に接続されたスマートフォン、タブレット端末等の携帯情報端末であってもよい。

［プログラム］
第１乃至第４の実施の形態における端末装置１０～４０が行う処理は、例えば、アプリケーションソフトウェア等のプログラムとして用意される。

即ち、第１乃至第４の実施の形態を実現するプログラムは、使用者に装着されるコンピュータに、使用者の周囲の外部音を取得する機能と、外部音が取得された場合、予め定められた条件が満たされれば、伝達が予定されていた第１の音情報の伝達を停止し、外部音を電子化した第２の音情報を使用者に伝達する機能とを実現させるためのプログラムとして捉えられる。

尚、本実施の形態を実現するプログラムは、通信手段により提供することはもちろん、ＣＤ－ＲＯＭ等の記録媒体に格納して提供することも可能である。

１０，２０，３０，４０…端末装置、１１，２１，３１，４１…外部音声取得部、１２，２２，３２，４２…音声電子化処理部、３３，４３…優先順位記憶部、１４，２４，３４，４４…再生判定部、１５，２５，３５，４５…再生制御部、２６，４６…受信部、２７，３７，４７…端末判別部、２８…機器検出部、２９，３９，４９…送信部

Claims (2)

1. 自装置が装着された使用者の周囲の外部音を取得する取得手段と、
   前記取得手段により前記外部音が取得された場合、予め定められた条件が満たされれば、伝達が予定されていた第１の音情報の伝達を停止し、当該外部音を電子化した第２の音情報を前記使用者に伝達する伝達手段と
   を備え、
   前記予め定められた条件は、前記第１の音情報及び前記第２の音情報の種類の組み合わせに対して、当該第１の音情報の伝達を停止して当該第２の音情報を伝達すべきことを示す設定情報が設定されているという条件であり、
   前記設定情報は、前記使用者が置かれた環境ごとに設定されることを特徴とする音伝達装置。
2. 使用者に装着されるコンピュータに、
   前記使用者の周囲の外部音を取得する機能と、
   前記外部音が取得された場合、予め定められた条件が満たされれば、伝達が予定されていた第１の音情報の伝達を停止し、当該外部音を電子化した第２の音情報を前記使用者に伝達する機能と
   を実現させ、
   前記予め定められた条件は、前記第１の音情報及び前記第２の音情報の種類の組み合わせに対して、当該第１の音情報の伝達を停止して当該第２の音情報を伝達すべきことを示す設定情報が設定されているという条件であり、
   前記設定情報は、前記使用者が置かれた環境ごとに設定されることを特徴とするプログラム。

Images