WO2014178122A1

WO2014178122A1 - 音声通信システム、音声通信方法、音声通信用プログラム、音声送信端末、及び音声送信端末用プログラム

Info

Publication number: WO2014178122A1
Application number: PCT/JP2013/062647
Authority: WO
Inventors: 久範山原
Original assignee: Rakuten Inc
Current assignee: Rakuten Group Inc
Priority date: 2013-04-30
Filing date: 2013-04-30
Publication date: 2014-11-06
Anticipated expiration: 2015-10-30
Also published as: JP5836400B2; US9564147B2; JPWO2014178122A1; US20160093314A1

Abstract

　音声通信システムは、送信端末の音声取得部により取得された入力音声に、音声取得部により取得された音声に基づいて定められる音量レベルを有する付加音を重畳して合成音を生成する生成部と、生成部により生成された合成音の信号を受信端末に送信する送信部と、を備える。

Description

音声通信システム、音声通信方法、音声通信用プログラム、音声送信端末、及び音声送信端末用プログラム

　本発明の一側面は、音声通信システム、音声通信方法、音声通信用プログラム、音声送信端末、及び音声送信端末用プログラムに関する。

　従来から、通信回線を介して送信端末から受信端末へ音声信号を送信する音声通信システムが提供されている。しかし、通信状況によっては、送信端末と受信端末との間の通信経路において音声信号の一部又は全体が欠損し、受信端末において送信端末からの音声が途切れる場合がある。

　このような送信端末と受信端末との間の通信の不具合をユーザに通知するためのシステムとして、例えば特許文献１に記載のシステムが知られている。特許文献１には、周囲の電界強度及びバッテリー残量を測定して、測定された電界強度及びバッテリー残量を基地局へ送信する携帯通信端末と、通信が突然に切断された際に、測定結果を参照して電界強度の悪化又は携帯通信端末のバッテリー残量の低下に起因して通信が切断されたものであるか否かを判定し、この判定結果を携帯通信端末に告知する基地局とを含む移動通信システムが記載されている。この移動通信システムでは、通信切断が生じた際に、その不具合の原因が電界強度、バッテリー残量、及びその他の異常の何れかであるかを示すメッセージを端末に送信することにより、携帯通信端末のユーザに通信切断の理由を認識させることを可能としている。

特開２００９－１１８２００号公報

　しかしながら、特許文献１に記載の移動通信システムにおいては、携帯通信端末のユーザに通信切断の原因を告知するために、周囲の電界強度及びバッテリー残量を測定し測定結果を基地局に送信する機能を携帯通信端末に追加する必要があり、携帯通信端末の改変を要する。また、特許文献１に記載の移動通信システムでは、受信端末において送信端末からの音声が途切れた場合に、それが送信端末のユーザが音声を発していないことに起因するものであるか、音声信号の欠損に起因するものであるかを判断することが困難な場合がある。

　そこで、通信切断の原因を告知するための改変を受信端末に加えることなく、受信端末において音声信号の欠損を認識することが可能な音声通信システム、音声通信方法、音声通信用プログラム、音声送信端末、及び音声送信端末用プログラムが要請されている。

　本発明の一側面に係る音声通信システムは、送信端末の音声取得部により取得された入力音声に、音声取得部により取得された音声に基づいて定められる音量レベルを有する付加音を重畳して合成音を生成する生成部と、生成部により生成された合成音の信号を受信端末に送信する送信部と、を備える。

　本音声通信システムにおいては、入力音声に、音声取得部により取得された音声に基づいて定められる音量レベルを有する付加音を重畳して合成音が生成される。そして、この合成音の信号が受信端末に送信される。これにより、例えば受信端末のユーザは、例えば合成音の付加音が途切れた場合に入力音声の信号に欠損が生じたと判断することができる。また、この付加音は入力音声に重畳して受信端末に送信されるので、受信端末において入力信号の欠損を検出するために新たな機能が必要とされない。従って、本音声通信システムによれば、受信端末に改変を加えることなく、受信端末において入力音声の信号である音声信号の欠損を検出することができる。更に、付加音の音量レベルは、音声取得部により取得された音声に基づいて定められるので、例えば付加音の音量レベルをユーザの会話の邪魔にならないものとすることができる。

　本発明の別の一側面に係る音声通信システムにおいては、生成部は、音声取得部により取得された入力音声の音量レベルよりも付加音の音量レベルが小さくなるように、付加音の音量レベルを調整して合成音を生成してもよい。

　本発明の別の一側面に係る音声通信システムにおいては、送信端末と受信端末との間の通信品質を検出する通信品質検出部を更に備え、生成部は、通信品質検出部により検出された通信品質が基準値を下回った場合には、付加音の音量レベルを変化させた合成音を生成してもよい。

　本発明の別の一側面に係る音声通信システムにおいては、受信端末において受信された信号の付加音に基づいて、入力音声の欠損部分を検出する欠損検出部と、受信端末のユーザの要求に応じて、欠損部分の再送要求を受信端末から取得する再送要求取得部と、再送要求に応じて、欠損部分に相当する入力音声の信号を受信端末に再送する再送部と、再送部から欠損部分に相当する入力音声の信号が送信される時間帯である再送時間帯においては、送信部から合成音の信号が送信されないように該送信部を制御する制御部と、を更に備えてもよい。

　本発明の別の一側面に係る音声通信システムにおいては、制御部は、再送時間帯において音声取得部により取得された入力音声を検出し、検出された該入力音声を含む合成音の信号の送信タイミングを再送時間帯の終了時にしてもよい。

　本発明の別の一側面に係る音声通信システムにおいては、再送部は、欠損部分に基づいて入力音声に欠損部分を含む所定の区間を設定し、所定の区間内の入力音声を受信端末に再送してもよい。

　本発明の別の一側面に係る音声通信システムにおいては、再送部は、入力音声の音量又は音程に基づいて、所定の区間を設定してもよい。

　本発明の別の一側面に係る音声通信システムにおいては、再送部は、受信端末に応じて、欠損部分に相当する入力音声の信号を受信端末に再送するか否かを決定してもよい。

　本発明の別の一側面に係る音声通信システムにおいては、再送部は、欠損部分に相当する入力音声が早送りされた音声の信号を受信端末に再送してもよい。

　本発明の別の一側面に係る音声通信システムにおいては、再送部は、欠損部分の無音部分を除去した音声の信号を受信端末に再送してもよい。

　本発明の一側面に係る音声通信方法は、送信端末の音声取得部により取得された入力音声に、音声取得部により取得された音声に基づいて定められる音量レベルを有する付加音を重畳して合成音を生成する生成ステップと、生成ステップにおいて生成された合成音の信号を受信端末に送信する送信ステップと、を含む。

　本発明の一側面に係る音声通信用プログラムは、コンピュータを、送信端末の音声取得部により取得された入力音声に、音声取得部により取得された音声に基づいて定められる音量レベルを有する付加音を重畳して合成音を生成する生成部と、生成部により生成された合成音の信号を受信端末に送信する送信部と、として機能させる。

　本発明の一側面に係る音声送信端末は、音声送信端末の音声取得部により取得された入力音声に、音声取得部により取得された音声に基づいて定められる音量レベルを有する付加音を重畳して合成音を生成する生成部と、生成部により生成された合成音の信号を受信端末に送信する送信部と、を備える。

　本発明の一側面に係る音声送信端末用プログラムは、音声送信端末を、音声送信端末の音声取得部により取得された入力音声に、音声取得部により取得された音声に基づいて定められる音量レベルを有する付加音を重畳して合成音を生成する生成部と、生成部により生成された合成音の信号を受信端末に送信する送信部と、として機能させる。

　本発明の一側面によれば、上述のように受信端末に改変を加えることなく、受信端末において入力音声の信号である音声信号の欠損を検出することができる。

　本発明の一側面によれば、通信切断の原因を告知するための改変を受信端末に加えることなく、受信端末において音声信号の欠損を認識することができる。

実施形態に係る音声通信システムの機能構成を示す図である。実施形態に係る端末のハードウェア構成を示す図である。受信端末から出力される付加音の経時的変化の一例を示す図である。受信端末から出力される付加音の経時的変化の別の一例を示す図である。実施形態に係る音声通信システムの動作を示すシーケンス図である。実施形態に係る音声通信用プログラムの構成を示す図である。

　以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

　音声通信システム１は、通信回線を介して送信端末から受信端末に音声信号を送信するためのコンピュータシステムである。例えば、この音声通信システム１は、通信回線を介した音声通話に用いることができる。

　図１は、一実施形態に係る音声通信システムの機能的構成を示す図である。音声通信システム１は、送信端末（音声送信端末）１０ａと受信端末１０ｂがネットワークＮを介して互いに接続されて構成されている。ネットワークＮは、例えば有線または無線の汎用回線または専用回線等である。

　送信端末１０ａは、ユーザにより発せられた音声（以下、入力音声ともいう）を音声信号として受信端末１０ｂに送信する通信端末である。図１に示すように、送信端末１０ａ及び受信端末１０ｂは、同一の機能的構成を備えている。以下では、送信端末１０ａと受信端末１０ｂを区別する必要がない場合には、送信端末１０ａと受信端末１０ｂをまとめて端末１０という。なお、端末１０は、受信端末及び送信端末のいずれとしても機能し得る。端末１０は、例えば携帯型又は据置型のパーソナルコンピュータや各種の携帯端末等であるが、通信端末の種類は何ら限定されない。以下では、送信端末１０ａを音声信号を送信する送信端末とし、受信端末１０ｂを音声信号を受信する受信端末として説明する。

　この端末１０は、図２に示すように、オペレーティングシステムやアプリケーションプログラムなどを実行するＣＰＵ１０１、ＲＯＭ及びＲＡＭで構成される主記憶部１０２、メモリなどで構成される補助記憶部１０３、ネットワークＮを介してデータ通信を行う通信制御部１０４、文字・数字入力や実行指示を行うためのキーで構成される操作部１０５及び液晶表示装置などで構成されるモニタ１０６で構成される。端末１０の各機能は、ＣＰＵ１０１及び主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４を動作させるとともに、主記憶部１０２や補助記憶部１０３におけるデータの読み出し及び書き込みを行うことで実現される。

　図１を参照して、一実施形態に係る端末１０の構成について説明しつつ、一実施形態に係る音声通信システム１の構成について説明する。なお、上述の通り、送信端末１０ａ及び受信端末１０ｂは、同一の機能的構成を備えているので、端末１０の各機能構成は、送信端末１０ａ又は受信端末１０ｂの何れか一方のものを用いて説明する。

　図１に示すように、端末１０は、音声入力部（音声取得部）１２、付加音生成部１４、送信部１６、記憶部１８、受信部（再送要求取得部）２０、音声出力部２３を備えている。

　音声入力部１２は、送信端末１０ａのユーザの入力音声を取得する機能要素である。音声入力部１２は、例えばマイクであり、送信端末１０ａのユーザの音声を集音し、その音声を音声信号に変換する。音声入力部１２は、音声信号を送信部１６に出力する。

　付加音生成部１４は、入力音声とは異なる音である付加音を生成する機能要素である。付加音は、入力音声と区別可能な任意の音であり、例えば音楽やパターン音が挙げられる。また、付加音は、人間の可聴帯域の全ての周波数帯域において経時的に変化する強度（即ち、音量）を有する音や一定の強度を有する音であってもよい。付加音生成部１４は、生成した付加音を送信部１６に出力する。

　送信部１６は、音声入力部１２から出力された入力音声に付加音生成部１４から出力された付加音を重畳した合成音を生成し、この合成音の信号である合成信号をネットワークＮを介して送信端末１０ａから受信端末１０ｂに送信する機能要素である。送信部１６は、音声入力部１２により取得された音声に基づいて定められる音量レベルを有する付加音を重畳して合成音を生成する。例えば、送信部１６は、音声入力部１２により取得された入力音声の音量レベルよりも付加音の音量レベルが小さくなるように、付加音の音量レベルを調整して合成音を生成し得る。一例としては、例えば、付加音は、一般的な入力音声よりも音量レベルが小さくなるように工場出荷時の段階において音量レベルが決定されていてもよい。また、付加音は、前回の音声通信における送信端末１０ａのユーザの入力音声の音量レベルの平均値を算出し、その平均値よりも小さくなるように音量レベルを決定してもよい。更に、付加音は、リアルタイムで音声入力部１２に入力された入力音声の音量レベルを取得し、それを下回る音量レベルになるようにリアルタイムで調整されてもよい。なお、送信部１６は、特許請求の範囲における生成部及び送信部を構成する。

　また、一実施形態においては、端末１０は、通信品質検出部２２を更に備え得る。通信品質検出部２２は、送信端末１０ａと受信端末１０ｂとの間の通信品質を検出する機能要素である。通信品質検出部２２は、例えば合成信号の送信時刻及び受信時刻との差を監視することにより通信品質を検出し得る。また、通信品質検出部２２は、送信端末１０ａ及び受信端末１０ｂの電波強度や送信端末１０ａと受信端末１０ｂとの間におけるデータ送受信のパケットエラーレート等に基づいて通信品質を検出してもよい。なお、音声通信システム１が、通信品質が悪化した際に、入力音声の認識に影響が小さい、高い帯域と低い帯域を除去して入力音声を送信する機能を導入している場合には、通信品質検出部２２は、広い周波数帯域において所定の強度を有する付加音のうちの除去された周波数帯域に基づいて通信品質を検出してもよい。通信品質検出部２２は、検出した送信端末１０ａと受信端末１０ｂとの間の通信品質を示す情報を送信部１６に出力する。

　送信部１６は、通信品質検出部から出力された通信品質を示す情報を受け付け、通信品質が基準値を下回っているか否かを判定する。通信品質が基準値を下回っていると判定される場合、即ち、通信品質が基準値よりも悪化している場合には、送信部１６は、付加音の音量レベルを変化させた合成音を生成し、この生成された合成音の信号を送信端末１０ａから受信端末１０ｂに送信することができる。具体的には、送信端末１０ａと受信端末１０ｂとの間の通信品質が悪化するほど、音量レベルの大きな付加音を入力音声に重畳させて合成音を生成してもよい。なお、送信部１６は、送信端末１０ａと受信端末１０ｂとの間の通信品質が基準値を下回っていると判定された場合に、付加音の音程を変化させた合成音を生成してもよい。

　送信部１６は、上述のように生成した合成信号を受信端末１０ｂに送信すると共に、受信端末１０ｂに送信した合成信号を記憶部１８に格納する。記憶部１８は、送信部１６が受信端末に送信した合成信号を記憶する機能要素である。記憶部１８は、送信先の送信端末を識別する情報及び送信開始時刻を合成信号に関連付けて記憶してもよい。

　受信部２０は、送信端末１０ａから送信された合成信号を受信するための機能要素である。受信部２０は、送信端末１０ａから合成信号を受信すると、合成信号から合成音を取得して、この合成音を音声出力部２３に出力する。音声出力部２３は、合成音を出力するための機能要素である。音声出力部２３は、例えばスピーカーであり、入力音声に付加音が重畳された合成音を受信端末１０ｂのユーザに向けて出力する。

　図３は受信端末１０ｂの音声出力部２３から受信端末１０ｂのユーザに出力される付加音の経時的変化の一例を示している。図３の横軸は時間を表し、縦軸は付加音の音量を表している。この例では、付加音は経時的に一定の音量を有する音である。図３に示すように、この例では、時間帯Ｔ１、Ｔ３において一定の音量を有する付加音が受信端末１０ｂのユーザに出力されている。これに対し、時間帯Ｔ１、Ｔ３の間の時間帯Ｔ２においては、付加音が無音となっている。受信端末１０ｂのユーザは、図３に示すような付加音を含む合成音を受け取ることにより、時間帯Ｔ２において音声信号が欠損し、入力音声の途切れが生じたことを認識することができる。

　また、図４は受信端末１０ｂの音声出力部２３から受信端末１０ｂのユーザに出力される付加音の経時的変化の別の一例を示している。図４の横軸は時間を表し、縦軸は付加音の音量を表している。図４に示す付加音は、時間帯Ｔ１において通信品質が徐々に悪化することに伴い、付加音の音量レベルが徐々に増加し、且つ、時間帯Ｔ３において通信品質が徐々に改善することに伴い、付加音の音量レベルが徐々に減少している。図４に示すように、この例では、時間帯Ｔ１、Ｔ３において経時的に音量レベルが変化する付加音が受信端末１０ｂのユーザに出力されている。これに対し、時間帯Ｔ１、Ｔ３の間の時間帯Ｔ２においては、付加音が無音となっている。受信端末１０ｂのユーザは、図４に示すような付加音を含む合成音を受け取ることにより、時間帯Ｔ２に相当する音声信号が欠損し、入力音声が途切れたことを認識することができる。

　また、受信端末１０ｂのユーザは、時間帯Ｔ１において音量レベルが徐々に増加する付加音を受け取ることにより、時間帯Ｔ１において通信品質が悪化しており、入力音声の途切れが発生する可能性があることを認識することができる。更に、受信端末１０ｂのユーザは、時間帯Ｔ３において音量レベルが徐々に減少する付加音を受け取ることにより、時間帯Ｔ３において通信品質が改善してきていることを認識することができる。

　再び図１を参照して音声通信システム１について説明する。一実施形態においては、端末１０は、欠損検出部２４、再送要求部（再送要求取得部）２６、再送部２８、及び制御部３０を更に備え得る。

　欠損検出部２４は、送信端末１０ａから受信端末１０ｂに送信された合成音のうちの入力音声の欠損部分を検出する機能要素である。欠損検出部２４は、送信端末１０ａから送信された合成信号を受信部２０を介して取得する。そして、合成信号の合成音から付加音を抽出し、この付加音に基づいて入力音声の欠損部分を検出する。具体的には、付加音が基準値以下、例えば無音となっている時間帯に相当する入力音声を入力音声の欠損部分として検出する。欠損検出部２４は、入力音声の欠損部分を示す情報として、例えば欠損部分の開始時刻及び終了時刻を示す情報を再送要求部２６に出力する。

　再送要求部２６は、入力音声の欠損部分の再送要求を受信端末１０ｂから送信端末１０ａに送信する機能要素である。再送要求部２６は、入力音声の欠損部分を示す情報を含む再送要求を送信端末１０ａに送信する。

　再送部２８は、再送要求部２６から送信された再送要求に応じて、入力音声の欠損部分を再送信号として送信端末１０ａから受信端末１０ｂに再送する機能要素である。再送部２８は、受信端末１０ｂの再送要求部２６から再送要求を受信部２０を介して受信すると、再送要求に含まれる入力音声の欠損部分を示す情報に基づいて、欠損部分に相当する入力音声を記憶部１８から抽出する。例えば、再送部２８は、欠損部分に相当する入力音声を欠損部分の開始時刻及び終了時刻、及び再送要求元の受信端末を識別する情報を用いて記憶部１８から抽出する。そして、再送部２８は、抽出した入力音声を再送信号として送信端末１０ａから受信端末１０ｂに送信する。なお、再送部２８は、欠損部分に相当する入力音声に付加音を重畳した再送信号を送信端末１０ａから受信端末１０ｂに送信してもよい。また、再送部２８は、送信端末１０ａのユーザからの発話を制限するために、再送信号を受信端末１０ｂに送信中であることを示す情報を送信端末１０ａのユーザに提示してもよい。

　受信部２０は、送信端末１０ａの再送部２８から再送信号を受信し、再送信号から欠損部分に相当する入力音声を取得して、この入力音声を音声出力部２３から出力する。このように、入力音声の欠損部分を送信端末１０ａから受信端末１０ｂに再送することにより、送信端末１０ａのユーザが途切れた入力音声の一部を再度話す（入力する）という作業を省略することが可能となり、送信端末１０ａのユーザの煩雑さを解消することができ、また、送信端末１０ａのユーザと受信端末１０ｂのユーザ間の音声通信を円滑にすることができる。

　なお、再送要求部２６は、受信端末１０ｂのユーザの要求に応じて送信端末１０ａに再送要求を送信してもよい。例えば、受信端末１０ｂの欠損検出部２４において入力音声の欠損部分が検出された場合には、欠損検出部２４は受信端末１０ｂの表示部３２に再送ボタンを表示する。そして、受信端末１０ｂのユーザの操作により、表示部３２の再送ボタンが押下された場合に、受信端末１０ｂの再送要求部２６が入力音声の欠損部分の再送要求を送信端末１０ａに送信するようにしてもよい。また、再送ボタンを表示させずに、受信端末１０ｂのユーザが「再送」という音声を発した際に、再送要求部２６が入力音声の欠損部分の再送要求を送信端末１０ａに送信するようにしてもよい。

　また、制御部３０は、送信端末１０ａの送信部１６から送信される合成信号の送信タイミングを制御する機能要素である。制御部３０は、送信端末１０ａの再送部２８から再送信号が送信される時間帯である再送時間帯に、送信部１６から合成信号が受信端末１０ｂに送信されないように送信端末１０ａの送信部１６を制御する。例えば制御部３０は、再送時間帯において送信端末１０ａのユーザから音声入力部１２に入力音声が入力されたことを検出した場合には、送信端末１０ａの再送部２８からの再送信号の送信が完了した後に、検出した入力信号を含む合成信号を送信部１６から送信するように送信部１６を制御してもよい。つまり、制御部３０は、再送時間帯に入力された入力信号を含む合成信号の送信タイミングを再送時間帯よりも後のタイミング、例えば、再送時間帯の終了時にすることができる。

　このように、再送時間帯に入力された入力信号を含む合成信号を再送時間帯の終了時に受信端末１０ｂに送信することにより、受信端末１０ｂの音声出力部２３から、合成信号に含まれる入力音声と再送信号に含まれる入力音声とが混在して出力されることを防止することができる。

　なお、一実施形態おいては、再送部２８による再送の態様を以下のように変更することができる。

　例えば、再送部２８は、受信端末１０ｂから送信された入力音声の欠損部分を示す情報に基づいて、入力音声に欠損部分を含む所定の区間を設定し、この所定の区間内の入力音声を送信端末１０ａから受信端末１０ｂに再送してもよい。例えば、再送部２８は、記憶部１８から欠損部分を含む入力音声を抽出し、抽出した入力音声を音声認識処理により文字列に変換し、且つ、構文解析処理によりこの文字列を文節又は文章単位に分割する。そして、欠損部分を含む文節又は文章を所定の区間として設定し、この所定の区間に含まれる入力音声を再送信号として送信端末１０ａから受信端末１０ｂに送信してもよい。

　具体的な一例として、送信端末１０ａから送信された入力音声が「次回の会議は３月８日です。場所はＡ会議室です。」であり、このうち「８日です。」及び「場所はＡ」という部分が欠損部分として受信端末１０ｂから送信端末１０ａに再送要求が送信された場合には、再送部２８は、「次回の会議は３月８日です。場所はＡ会議室です。」という文章全体を所定の区間として設定し、この区間の入力音声を再送することができる。この例のように、再送部２８が文節又は文章単位で入力音声を再送することにより、欠損部分のみを再送する場合と比較して、受信端末１０ｂのユーザにとって理解しやすいように欠損部分の音声の内容を再送することができる。

　別の態様として、再送部２８は、欠損部分に相当する入力音声の音量又は音程に基づいて、入力音声に欠損部分を含む所定の区間を設定し、この所定の区間に含まれる入力音声を再送信号として送信端末１０ａから受信端末１０ｂに送信してもよい。例えば、再送部２８は、欠損部分に相当する入力音声の音量又は音程が基準値よりも大きい領域を入力音声を再送する区間として設定してもよい。入力音声のうちの音量又は音程が大きい部分は、重要性の高い内容が含まれている可能性が高いためである。

　また、再送部２８は、再送先となる受信端末に応じて再送するか否かを決定してもよい。例えば、再送部２８は、重要性の高い端末のリストを所定の記憶部に記憶しており、再送先の端末である受信端末１０ｂが所定の記憶部のリストに含まれている場合に、入力音声の欠損部分を受信端末１０ｂに送信し、再送先の端末である受信端末１０ｂが所定の記憶部のリストに含まれていない場合に、入力音声の欠損部分を受信端末１０ｂに送信しないようにしてもよい。

　更に、再送部２８は、欠損部分に相当する入力音声を早送りされた音声に変換し、この早送りされた音声の信号を送信端末１０ａから受信端末に再送してもよい。このように、再送部２８が早送りされた音声の信号を送信することにより、送信部１６から合成信号を送信することができない時間を短縮することができる。また、再送部２８は、早送りされた音声の信号のうちの無音部分を検出して除去し、無音部分が存在していた時間帯に無音部分以降の有音部分を経時的に前にシフトした音声に加工してもよい。そして、再送部２８は、この加工した音声を再送してもよい。これにより、送信部１６から合成信号を送信することができない時間を更に短縮することができる。

　次に、図５を用いて、図１に示す音声通信システム１の動作を説明すると共に、一実施形態に係る音声通信方法について説明する。図５は音声通信システム１の動作を示すシーケンス図である。

　まず、送信端末１０ａの音声入力部１２は、送信端末１０ａのユーザの入力音声を取得する（ステップＳ１）。そして、送信端末１０ａの送信部１６は、入力音声に付加音生成部１４により生成された付加音を重畳された合成音を生成する（ステップＳ２、生成ステップ）。その後、送信端末１０ａの送信部１６は、ステップＳ２において生成された合成音を記憶部１８に格納した上で（ステップＳ３）、合成信号を受信端末１０ｂに送信する（ステップＳ４、送信ステップ）。この際、送信端末１０ａの送信部１６は、送信端末１０ａと受信端末１０ｂとの間の通信品質が基準値を下回った場合には、付加音の音量レベルを変化させた合成音の信号を受信端末１０ｂに送信してもよい。

　受信端末１０ｂの受信部２０は、合成信号を送信端末１０ａから受信し、合成信号の合成音を音声出力部２３から受信端末１０ｂのユーザに対して出力する（ステップＳ５、音声出力ステップ）。このようにして、入力音声に付加音が重畳された合成音が受信端末１０ｂのユーザに出力される。

　一実施形態の音声通信方法においては、受信端末１０ｂの欠損検出部２４が入力音声の欠損部分を検出し得る（ステップＳ６）。そして、欠損検出部２４において入力音声の欠損部分が検出された場合には、受信端末１０ｂの再送要求部２６が、受信端末１０ｂのユーザの要求に応じて欠損部分の再送要求を送信端末１０ａに送信する（ステップＳ７）。

　続いて、送信端末１０ａの再送部２８は、送信端末１０ａからの再送要求に応じて、欠損部分に相当する入力音声を記憶部１８から抽出し（ステップＳ８）、欠損部分に相当する入力音声を再送信号として受信端末１０ｂに再送する（ステップＳ９）。そして、受信端末１０ｂの受信部２０は、再送された入力音声を受信端末１０ｂの音声出力部２３から出力する（ステップＳ１０）。このようにして、一実施形態に係る音声通信方法における一連の工程を終了する。

　次に、図６を用いて、上述した一連の処理をコンピュータ（例えば端末）に実行させるための音声通信用プログラムを説明する。図６は、実施形態に係る音声通信用プログラムの構成を示す図である。なお、このプログラムを端末に適用することにより端末を上記機能を有する送信端末１０ａ及び受信端末１０ｂとして動作させる音声送信端末用プログラムとすることができる。

　音声通信用プログラムＰ１は、メインモジュールＰ２、音声入力モジュールＰ３、付加音生成モジュールＰ４、送信モジュールＰ５、記憶モジュールＰ６、受信モジュールＰ７、音声出力モジュールＰ８、欠損検出モジュールＰ９、再送要求モジュールＰ１０、再送モジュールＰ１１、制御モジュールＰ１２、及び表示モジュールＰ１３を備えている。

　メインモジュールＰ２は、通信を統括的に制御する部分である。音声入力モジュールＰ３、付加音生成モジュールＰ４、送信モジュールＰ５、記憶モジュールＰ６、受信モジュールＰ７、音声出力モジュールＰ８、欠損検出モジュールＰ９、再送要求モジュールＰ１０、再送モジュールＰ１１、制御モジュールＰ１２、及び表示モジュールＰ１３を実行することにより実現される機能はそれぞれ、上記の音声入力部１２、付加音生成部１４、送信部１６、記憶部１８、受信部２０、音声出力部２３、欠損検出部２４、再送要求部２６、再送部２８、制御部３０、及び表示部３２の機能と同様である。

　音声通信用プログラムＰ１は、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ、半導体メモリ等の有形の記録媒体に記録された上で提供される。また、音声通信用プログラムＰ１は、搬送波に重畳されたデータ信号としてネットワークＮを介して提供されてもよい。

　以上説明したように、音声通信システム１においては、入力音声に付加音が重畳された合成音の合成信号が送信端末１０ａから受信端末１０ｂに送信される。そして、この合成音が受信端末１０ｂから出力される。これにより、受信端末１０ｂのユーザは、例えば合成音の付加音が途切れた場合に音声信号に欠損が生じたと判断することができる。この付加音は入力音声に重畳して受信端末１０ｂに送信されるので、音声受信に関しては受信端末１０ｂにおいて新たな機能が必要とされない。従って、音声通信システム１によれば、受信端末１０ｂに改変を加えることなく、受信端末１０ｂにおいて音声信号の欠損を検出することができる。

　以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

　例えば、上述の通り、端末１０は、音声入力部１２、付加音生成部１４、送信部１６、記憶部１８、受信部２０、音声出力部２３、欠損検出部２４、再送要求部２６、再送部２８、及び制御部３０を備えているが、これらの各機能要素の一部は、端末１０とは別に設けられたサーバが備えていてもよい。

　また、上記実施形態では、音声通信システム１は２台の端末１０の間で音声通信を行っているが、３以上の端末間で音声通信を行ってもよい。また、送信端末１０ａは、合成信号と共に映像信号を受信端末１０ｂに送信してもよい。

　また、送信端末１０ａから受信端末１０ｂに再送信号を再送する際には、一旦入力音声の送信を停止する旨を表示部３２に表示し、再送信号の再送が終了した後に音声入力音声の送信を再開してもよい。なお、主に上記実施形態では、送信端末１０ａから受信端末１０ｂに入力音声を送信する一方向通信について説明したが、送信端末１０ａと受信端末１０ｂ間において入力音声を送受信しあう双方向通信にも適用することが可能である。

　また、再送要求部２６は、複数の端末１０間における通話が終了した後に受信端末１０ｂから送信端末１０ａに対して再送要求を送信してもよい。この場合には、受信端末１０ｂのユーザが音声通話の終了後に欠損部分の入力音声を聴くことができる。更に、再送部２８は、再送要求に対応する時間帯に対応する入力音声が存在しない場合（例えば、再送要求に対応する時間帯に送信端末１０ａのユーザが音声を入力していない場合）には、再送要求に対応する入力音声が存在しないことを示す情報を受信端末１０ｂに送信してもよい。

　また、送信端末１０ａの再送部２８は、受信端末１０ｂの再送要求部２８から再送要求を受信した時刻から所定の時刻（例えば、３秒）だけ前の時刻からの入力音声を受信端末１０ｂに送信してもよい。

　また、上記実施形態では、再送時間帯において送信端末１０ａから受信端末１０ｂに合成信号を送信しないようにしているが、再送時間帯において合成信号をも送信してもよい。この場合であっても、入力音声が受信端末１０ｂに受信されない事態を防ぎ、受信端末１０ｂのユーザが入力音声を聞き漏らすことを防止することができる。

１…音声通信システム、１０ａ…送信端末、１０ｂ…受信端末、１２…音声入力部、１４…付加音生成部、１６…送信部、１８…記憶部、２０…受信部、２２…通信品質検出部、２３…音声出力部、２４…欠損検出部、２６…再送要求部、２８…再送部、３０…制御部、３２…表示部、Ｎ…ネットワーク、Ｔ１，Ｔ２，Ｔ３…時間帯。

Claims

　送信端末の音声取得部により取得された入力音声に、音声取得部により取得された音声に基づいて定められる音量レベルを有する付加音を重畳して合成音を生成する生成部と、
　前記生成部により生成された前記合成音の信号を受信端末に送信する送信部と、
を備える音声通信システム。
　前記生成部は、前記音声取得部により取得された前記入力音声の音量レベルよりも前記付加音の音量レベルが小さくなるように、前記付加音の音量レベルを調整して前記合成音を生成する、
請求項１に記載の音声通信システム。
　前記送信端末と前記受信端末との間の通信品質を検出する通信品質検出部を更に備え、
　前記生成部は、前記通信品質検出部により検出された前記通信品質が基準値を下回った場合には、前記付加音の音量レベルを変化させた前記合成音を生成する、
請求項１又は２に記載の音声通信システム。
　前記受信端末において受信された前記信号の前記付加音に基づいて、前記入力音声の欠損部分を検出する欠損検出部と、
　前記受信端末のユーザの要求に応じて、前記欠損部分の再送要求を前記受信端末から取得する再送要求取得部と、
　前記再送要求に応じて、前記欠損部分に相当する前記入力音声の信号を前記受信端末に再送する再送部と、
　前記再送部から前記欠損部分に相当する前記入力音声の信号が送信される時間帯である再送時間帯においては、前記送信部から前記合成音の信号が送信されないように該送信部を制御する制御部と、を更に備える、
請求項１～３の何れか一項に記載の音声通信システム。
　前記制御部は、前記再送時間帯において前記音声取得部により取得された入力音声を検出し、検出された該入力音声を含む合成音の信号の送信タイミングを前記再送時間帯の終了時にする、
請求項４に記載の音声通信システム。
　前記再送部は、前記欠損部分に基づいて前記入力音声に前記欠損部分を含む所定の区間を設定し、前記所定の区間内の前記入力音声を前記受信端末に再送する、
請求項４又は５に記載の音声通信システム。
　前記再送部は、前記入力音声の音量又は音程に基づいて、前記所定の区間を設定する、
請求項６に記載の音声通信システム。
　前記再送部は、前記受信端末に応じて、前記欠損部分に相当する前記入力音声の信号を前記受信端末に再送するか否かを決定する、
請求項４～７の何れか一項に記載の音声通信システム。
　前記再送部は、前記欠損部分に相当する前記入力音声が早送りされた音声の信号を前記受信端末に再送する、
請求項４～８の何れか一項に記載の音声通信システム。
　前記再送部は、前記欠損部分の無音部分を除去した音声の信号を前記受信端末に再送する、
請求項４～９の何れか一項に記載の音声通信システム。
　送信端末の音声取得部により取得された入力音声に、音声取得部により取得された音声に基づいて定められる音量レベルを有する付加音を重畳して合成音を生成する生成ステップと、
　前記生成ステップにおいて生成された前記合成音の信号を受信端末に送信する送信ステップと、
を含む音声通信方法。
　コンピュータを、
　送信端末の音声取得部により取得された入力音声に、音声取得部により取得された音声に基づいて定められる音量レベルを有する付加音を重畳して合成音を生成する生成部と、
　前記生成部により生成された前記合成音の信号を受信端末に送信する送信部と、
として機能させる音声通信用プログラム。
　音声送信端末の音声取得部により取得された入力音声に、音声取得部により取得された音声に基づいて定められる音量レベルを有する付加音を重畳して合成音を生成する生成部と、
　前記生成部により生成された前記合成音の信号を受信端末に送信する送信部と、
を備える音声送信端末。
　音声送信端末を、
　音声送信端末の音声取得部により取得された入力音声に、音声取得部により取得された音声に基づいて定められる音量レベルを有する付加音を重畳して合成音を生成する生成部と、
　前記生成部により生成された前記合成音の信号を受信端末に送信する送信部と、
として機能させる音声送信端末用プログラム。