JP4514161B2 - 音声信号受信装置、音声信号通信装置および音声信号受信方法 - Google Patents

Description

本発明は、網設備にクロックを同期させて音声信号の受信を行う音声信号受信装置、音声信号の送受信を行う音声信号通信装置および音声信号受信方法に係わり、特に通話やファクシミリ通信をパケットで受信する音声信号受信装置、音声信号をパケットで送受信する音声信号通信装置および音声信号受信方法に関する。

音声信号を各種の符号化方式で圧縮したパケットをＩＰ（Internet Protocol）ネットワークを介して送受信する技術が、インターネット電話やＩＰ電話あるいはファクシミリ通信システムとして一般に使用されるようになってきている。このような技術は、ＶｏＩＰ（Voice over IP）と呼ばれており、通信コストの低減に大きく寄与している。

図９は、ＶｏＩＰを使用した一般的な音声通信システムを示したものである。第１の電話機１０１と第２の電話機１０２は、それぞれＶｏＩＰ端末装置１０３、１０４を介してＩＰネットワーク１０５に接続されている。第１の電話機１０１から送信される音声信号は、アナログ信号であるが、所定の周波数のクロック信号によりサンプリングされてデジタル音声信号となる。そして、音声圧縮技術によって符号化が行われ、ＶｏＩＰ端末装置１０３からＩＰパケットがＩＰネットワーク１０５に送出される。

ＩＰネットワーク１０５から相手先のＶｏＩＰ端末装置１０４に到達したパケットは音声信号が伸張されて元の音声信号に復元される。そして、第２の電話機１０２から第１の電話機１０１側の通話者の音声が出力される。第２の電話機１０２側から送り出される音声についても同様の処理が行われる。

このような音声通信システムでは、ＩＰネットワーク１０５を経由して、個々の音声信号を分割した形でパケットが伝送される。これらのパケットは、相手先へ到達するまでに遅延量が変動する場合があり、この結果、音声信号を再生すると時間的な揺らぎが発生する場合がある。

そこで、本発明の関連技術として、音声信号の揺らぎ量に対応する揺らぎ吸収バッファを設けることが提案されている（たとえば特許文献１参照）。この第１の提案では、音声信号の受信開始時に、一定数のパケットを揺らぎ吸収バッファに蓄積して、音声の再生自体を遅れさせることにより、その遅れさせた範囲内で揺らぎの吸収を行うようにしている。また、この揺らぎ吸収バッファの蓄積量を調整できるようにしている。すなわち、開始蓄積パケット数よりも大きな揺らぎが発生した場合には、開始蓄積パケット数および最大蓄積パケット数を増加変更すると共に、揺らぎ量が、開始蓄積パケット数より低い値で安定している場合には、開始蓄積パケット数および最大蓄積パケット数を、そのときの値よりも少ない値に変更することにしている。

また、揺らぎ吸収バッファの蓄積データ量が上限値を越えるバッファフル状態となると、パケット到着間隔より短い間隔でパケット処理を行うことで蓄積データ量を適正状態に戻すことも本発明の関連技術として提案が行われている（たとえば特許文献２参照）。この第２の提案では、ジッタバッファの蓄積データ量が下限値を下回るバッファエンプティ状態となると、ジッタバッファの出力処理ならびにコーデックやモデムのデータ処理の動作タイミングを遅らせることで、蓄積データ量を適正状態に戻している。

更に、ジッタバッファの記憶データ量が上限値を超えたり、下限値未満であることを検出した場合には、所定量のデータを削除したり記憶させるようにした関連技術も存在する（たとえば特許文献３参照）。この第３の提案では、受信バッファに記憶されたデータの量が所定の上限値を超えたか所定の下限値未満となったかに応じてデータの削除や追加を行う。また、所定の時間内に上限値を超える頻度に応じて、ネットワークジッタを主な原因とするものか動作クロックの偏差を主な原因とするものかを判別するようにしている。そして、受信バッファのデータ量の変動となる主原因を推測してその原因に合わせて受信バッファに記憶されるデータの量を適度な量に調整するようにしている。

この第３の提案では、送信側にプライオリティ生成部を設けて３段階のプライオリティを設定して、そのプライオリティの情報を送信パケットに付加する構成としている。そして、これに応じて受信バッファに格納されるパケットの量を制御している。
特開２００４−０４８６８０号公報（第００１５段落、図１） 特開２００５−０５７５０４号公報（第００２５段落〜第００３１段落、図１〜図３） 特開２００５−３５４５４２号公報（第００２２段落、第００４３段落、第００５５段落〜第００５６段落、図１）

このように第１および第３の提案では、音声データを格納したパケットを単位としてバッファメモリに対する音声データの蓄積量の制御を行っている。したがって、制御が時間的に大雑把となり、受信側の装置ではこのために誤動作が発生する可能性があった。また、パケットの送出タイミングをずらす第２の提案も、たとえば遅延量によっては１パケット分のパケットを廃棄したと同様の遅延動作となり、同様に受信側で誤動作が発生したり、ファクシミリの受信信号にノイズが発生するといったような通信障害が発生する恐れがあった。

そこで本発明の目的は、パケット自体に欠けや重複を発生させることなく、送信側と受信側の音声信号の同期を採ることのできる音声信号受信装置、音声信号通信装置および音声信号受信方法を提供することにある。

本発明では、（イ）所定の周期でサンプリングして得られる単位時間長の音声データからなる単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットを受信する音声パケット受信手段と、（ロ）前記した固定長の音声パケット内の前記した単位音声データを所定のクロックに同期して順に処理する音声データ処理手段と、（ハ）音声パケット受信手段で受信した音声パケットを一時的に格納する受信バッファと、（ニ）この受信バッファに格納された音声データ処理手段に送出する前の音声パケットの蓄積量を判別する蓄積量判別手段と、（ホ）この蓄積量判別手段の判別結果に応じて受信バッファの蓄積量が一定の量になる方向で音声パケットを構成する前記した単位音声データの増減を行う受信用単位音声データ増減手段と、（へ）この受信用単位音声データ増減手段による増減後の単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットに再編成する受信用音声パケット再編成手段と、（ト）この受信用音声パケット再編成手段による再編成後の音声パケットを順次音声データ処理手段に送出して受信処理を行わせる受信用音声パケット再編成手段とを音声信号受信装置に具備させる。

すなわち本発明では、音声パケット受信手段が所定の周期でサンプリングして得られる単位時間長の音声データからなる単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットを受信するようになっている。この音声パケットは音声データ処理手段に送られる前に受信バッファに一次的に格納される。蓄積量判別手段は音声パケットの蓄積量を判別する。受信用単位音声データ増減手段は、この蓄積量判別手段の判別結果に応じて受信バッファの蓄積量が一定の量になる方向で音声パケットを構成する前記した単位音声データの増減を行う。このように単位音声データの数を増やしたり減らしたりすると、音声パケットが固定長なので、単位音声データに過不足が生じる。そこで、受信用音声パケット再編成手段は、受信用単位音声データ増減手段による増減後の単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットに再編成する。すなわち、余剰の単位音声データが発生した場合には、これを次の音声パケットの先頭部分に移動させ、反対に該当する音声パケットで単位音声データが不足するようになったら、次の音声パケットの先頭部分の単位音声データを持ってくる。このようにして再編成された音声パケットを順次音声データ処理手段に送出して受信処理を行わせるので、通信障害等の不都合が発生することはない。

また、本発明では、（イ）所定の周期でサンプリングして得られる単位時間長の音声データからなる単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットを受信する音声パケット受信手段と、（ロ）前記した固定長の音声パケット内の前記した単位音声データを所定のクロックに同期して順に処理する音声データ処理手段と、（ハ）音声パケット受信手段で受信した音声パケットを一時的に格納する受信バッファと、（ニ）この受信バッファに格納された音声データ処理手段に送出する前の音声パケットの蓄積量を判別する蓄積量判別手段と、（ホ）この蓄積量判別手段の判別結果によって受信バッファの蓄積量が予め定めたしきい値を超えるとき、これに応じて音声パケットを構成する単位音声データを単位量ずつ間引く単位音声データ削除手段と、（へ）蓄積量判別手段の判別結果によって受信バッファの蓄積量が予め定めたしきい値よりも低下するとき、これに応じて音声パケットを構成する前記した単位音声データを単位量ずつ追加する単位音声データ追加手段と、（ト）単位音声データ削除手段あるいは単位音声データ追加手段による増減後の単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットに再編成する受信用音声パケット再編成手段と、（チ）この受信用音声パケット再編成手段による再編成後の音声パケットを順次音声データ処理手段に送出して受信処理を行わせる音声パケット受信処理制御手段とを音声信号受信装置に具備させる。

すなわち本発明では、音声パケット受信手段が所定の周期でサンプリングして得られる単位時間長の音声データからなる単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットを受信するようになっている。この音声パケットは音声データ処理手段に送られる前に受信バッファに一次的に格納される。蓄積量判別手段は音声パケットの蓄積量を判別する。受信用単位音声データ増減手段は、この蓄積量判別手段の判別結果に応じて受信バッファの蓄積量が一定の量になる方向で音声パケットを構成する前記した単位音声データの増減を行う。具体的には、単位音声データ削除手段が、この蓄積量判別手段の判別結果によって受信バッファの蓄積量が予め定めたしきい値を超えるとき、これに応じて音声パケットを構成する単位音声データを単位量ずつ間引く一方で、単位音声データ追加手段が、蓄積量判別手段の判別結果によって受信バッファの蓄積量が予め定めたしきい値よりも低下するとき、これに応じて音声パケットを構成する前記した単位音声データを単位量ずつ追加する処理を行う。このように単位音声データの数を増やしたり減らしたりすると、音声パケットが固定長なので、単位音声データに過不足が生じる。そこで、受信用音声パケット再編成手段は、受信用単位音声データ増減手段による増減後の単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットに再編成する。すなわち、余剰の単位音声データが発生した場合には、これを次の音声パケットの先頭部分に移動させ、反対に該当する音声パケットで単位音声データが不足するようになったら、次の音声パケットの先頭部分の単位音声データを持ってくる。このようにして再編成された音声パケットを順次音声データ処理手段に送出して受信処理を行わせるので、通信障害等の不都合が発生することはない。

また、本発明では、（イ）所定の周期でサンプリングして得られる単位時間長の音声データからなる単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットを受信する音声パケット受信手段と、前記した固定長の音声パケット内の前記した単位音声データを所定のクロックに同期して順に処理する音声データ処理手段と、音声パケット受信手段で受信した音声パケットを一時的に格納する受信バッファと、この受信バッファに格納された音声データ処理手段に送出する前の音声パケットの蓄積量を判別する蓄積量判別手段と、この蓄積量判別手段の判別結果によって受信バッファの蓄積量が予め定めたしきい値を超えるとき、これに応じて音声パケットを構成する前記した単位音声データを単位量ずつ間引く単位音声データ削除手段と、蓄積量判別手段の判別結果によって受信バッファの蓄積量が予め定めたしきい値よりも低下するとき、これに応じて音声パケットを構成する前記した単位音声データを単位量ずつ追加する単位音声データ追加手段と、単位音声データ削除手段あるいは単位音声データ追加手段による増減後の単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットに再編成する受信用音声パケット再編成手段と、この受信用音声パケット再編成手段による再編成後の音声パケットを順次音声データ処理手段に送出して受信処理を行わせる音声パケット受信処理制御手段とを備えた音声信号受信部と、（ロ）この音声信号受信部で音声パケットを受信する際の送信元に自装置側で生成した音声パケットを送出する音声パケット送出手段と、この音声パケット送出手段が送出する前の音声パケットを構成する前記した単位音声データを蓄積量判別手段の判別した蓄積量に応じて増減する送信用音声データ増減手段と、この送信用音声データ増減手段による増減後の単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットに再編成する送信用音声パケット再編成手段と、この送信用音声パケット再編成手段による再編成後の音声パケットを順次音声パケット送出手段に送出して送信処理を行わせる音声パケット送信処理制御手段とを備えた音声信号送信部とを音声信号通信装置に具備させる。

すなわち本発明では、音声信号通信装置を音声信号受信部と音声信号送信部で構成している。ここで音声信号受信部は、音声パケット受信手段が所定の周期でサンプリングして得られる単位時間長の音声データからなる単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットを受信するようになっている。この音声パケットは音声データ処理手段に送られる前に受信バッファに一次的に格納される。蓄積量判別手段は音声パケットの蓄積量を判別する。受信用単位音声データ増減手段は、この蓄積量判別手段の判別結果に応じて受信バッファの蓄積量が一定の量になる方向で音声パケットを構成する前記した単位音声データの増減を行う。具体的には、単位音声データ削除手段が、この蓄積量判別手段の判別結果によって受信バッファの蓄積量が予め定めたしきい値を超えるとき、これに応じて音声パケットを構成する単位音声データを単位量ずつ間引く一方で、単位音声データ追加手段が、蓄積量判別手段の判別結果によって受信バッファの蓄積量が予め定めたしきい値よりも低下するとき、これに応じて音声パケットを構成する前記した単位音声データを単位量ずつ追加する処理を行う。このように単位音声データの数を増やしたり減らしたりすると、音声パケットが固定長なので、単位音声データに過不足が生じる。そこで、受信用音声パケット再編成手段は、受信用単位音声データ増減手段による増減後の単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットに再編成する。すなわち、余剰の単位音声データが発生した場合には、これを次の音声パケットの先頭部分に移動させ、反対に該当する音声パケットで単位音声データが不足するようになったら、次の音声パケットの先頭部分の単位音声データを持ってくる。このようにして再編成された音声パケットを順次音声データ処理手段に送出して受信処理を行わせるので、通信障害等の不都合が発生することはない。
一方、音声信号送信部は、音声パケット送出手段が音声信号受信部で音声パケットを受信する際の送信元に自装置側で生成した音声パケットを送出するようにしている。この音声パケットの送出時に、送信用音声データ増減手段は、音声パケット送出手段が送出する前の音声パケットを構成する前記した単位音声データを蓄積量判別手段の判別した蓄積量に応じて増減するようにしている。そして、この増減により、受信時と同様に音声パケットを構成する単位音声データに過不足が生じる。そこで、送信用音声パケット再編成手段は、送信用音声データ増減手段による増減後の単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットに再編成する。音声パケット送信処理制御手段は、この送信用音声パケット再編成手段による再編成後の音声パケットを順次音声パケット送出手段に送出して送信処理を行わせることになる。

また、本発明では、（イ）送信側で所定の周期でサンプリングして得られる単位時間長の音声データからなる単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットを受信する音声パケット受信ステップと、（ロ）この音声パケット受信ステップで受信したそれぞれの音声パケットをその処理側の装置に送る前に受信バッファに一時的に格納する受信バッファ格納ステップと、（ハ）この受信バッファ格納ステップで受信バッファに格納された音声パケットの蓄積量を判別する蓄積量判別ステップと、（ニ）この蓄積量判別ステップの判別結果によって受信バッファの蓄積量が予め定めたしきい値を超えるとき、これに応じて音声パケットを構成する前記した単位音声データを単位量ずつ間引く単位音声データ削除ステップと、（ホ）積量判別ステップの判別結果によって受信バッファの蓄積量が予め定めたしきい値よりも低下するとき、これに応じて音声パケットを構成する前記した単位音声データを単位量ずつ追加する単位音声データ追加ステップと、（へ）単位音声データ削除ステップあるいは単位音声データ追加ステップによる増減後の単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットに再編成する受信用音声パケット再編成ステップと、（ト）この受信用音声パケット再編成ステップによる再編成後の音声パケットを順次処理側の装置に送出して受信処理を行わせる音声パケット受信処理制御ステップとを音声信号受信方法に具備させる。

すなわち本発明では、請求項２記載の発明と同様の原理で経時的な変化によって音声信号の受信を行っている。

以上説明したように本発明によれば、音声パケットを構成する単位音声データを単位として音声データの増減処理を行って送信側と受信側の同期を図るので、音声データやファクシミリ信号のように音声信号に変換して送信するデータをきめ細かく制御することができ、音声データの遅延や音の途切れといった不具合を解消することができる。また、音声パケットの欠落が発生しないので、受信側で装置が誤動作する恐れもない。

以下実施例につき本発明を詳細に説明する。

図１は、本実施例の音声通信システムの概要を表わしたものである。本実施例の音声通信システム２００で通常のアナログ電話機（以下、単に電話機という。）としての第１の電話機１０１と第２の電話機１０２は、それぞれＶｏＩＰ機能を備えた本実施例の装置（以下、ＶｏＩＰ端末装置という。）２０３、２０４を介してＩＰネットワーク１０５に接続されている。第１の電話機１０１から送信される音声信号は、アナログ信号であるが、所定の周波数のクロック信号によりサンプリングされてデジタル音声信号となる。そして、音声圧縮技術によって符号化が行われ、ＶｏＩＰ端末装置２０３からＩＰパケットがＩＰネットワーク１０５に送出される。

ＩＰネットワーク１０５から相手先のＶｏＩＰ端末装置２０４に到達したパケットは音声信号が伸張されて元の音声信号に復元される。そして、第２の電話機１０２から第１の電話機１０１側の通話者の音声が出力される。第２の電話機１０２側から送り出される音声についても同様の処理が行われる。

図２は、第１の電話機と接続した本実施例のＶｏＩＰ端末装置の構成を表わしたものである。図１に示した第２の電話機１０２に接続されたＶｏＩＰ端末装置２０４は、この図２に示すＶｏＩＰ端末装置２０３と実質的に同一の回路構成となっているので、その図示および説明を省略する。

ＶｏＩＰ端末装置２０３は、第１の電話機１０１を接続するためのアナログインタフェース部２１１を備えている。アナログインタフェース部２１１は、内部メモリ部２１２と接続されており、これとの間で音声パケットの送受信を行うようになっている。内部メモリ部２１２は、ジッタバッファ制御部２１３に接続される他、バス２１４を介してＣＰＵ（Central Processing Unit）２１５に接続されている。バス２１４には電話回線や専用線等のネットワークと接続するためのＷＡＮ（Wide Area Network）側インタフェース部２１６も接続されている。

ここで、内部メモリ部２１２は、アナログインタフェース部２１１を経て第１の電話機１０１から送られてきた送信対象の音声パケットを一時的に格納する送信バッファ２１２₁と、ＷＡＮ側インタフェース部２１６を経由して、図１に示した第２の電話機１０２からＶｏＩＰ端末装置２０４を介して送られてきた音声信号をアナログインタフェース部２１１に送出する前に一時的に格納する受信ジッタバッファ２１２₂を備えている。受信ジッタバッファ２１２₂は、受信する音声信号の到着時間のばらつきとしてのジッタを吸収する役割を果たしている。

また、内部メモリ部２１２は、たとえばＣＰＵ２１５がＩＰフレーム化の処理を行うための作業用メモリ領域として使用される内部メモリ２１２₃と、ＷＡＮ側インタフェース部２１６から受信した音声パケットを一時的に格納するための受信バッファ２１２₄と、音声パケットを構成する音声データの増減や音声パケットの再編成の処理を行うための音声データ処理部２１２₅を備えている。音声データ処理部２１２₅は、受信バッファ２１２₄に格納された音声パケットをジッタバッファ制御部２１３の制御により加工して、受信ジッタバッファ２１２₂に格納するようになっている。

ジッタバッファ制御部２１３は、受信バッファ２１２₄に格納している音声パケットのパケット数の検出を行う受信バッファ残数検出部２１３₁と、受信ジッタバッファ２１２₂に音声パケットが幾つ格納されているかの検出を行う受信ジッタバッファ残数検出部２１３₂と、受信バッファ２１２₄に格納されている音声パケットの数に応じて受信ジッタバッファ２１２₂に格納する音声パケットの増減処理を行うデータ処理制御部２１３₃を備えている。

なお、ＣＰＵ２１５は、内部メモリ２１２₃の図示しないプログラム格納領域に制御プログラムを格納しており、これを実行することでＶｏＩＰ端末装置２０３の全体的な制御を行う。また、ＶｏＩＰ端末装置２０３内のジッタバッファ制御部２１３等の各部の少なくとも一部をこの制御によって機能的に実現することも可能である。

ところで、ＷＡＮ側インタフェース部２１６から受信した音声信号は、受信ジッタバッファ２１２₂に一時的に溜めた後にアナログインタフェース部２１１より第１の電話機１０１に送出される。ここで、ＶｏＩＰ音声信号の同期制御システムでは、回線側としてのＷＡＮ側インタフェース部２１６に入力される音声信号のクロック（以下、ＷＡＮ側クロックと称する。）とＶｏＩＰ端末装置２０３のクロック（以下、自装置側クロックと称する。）は同期が採られていない。また、これらのクロックにはそれぞれ偏差が存在している。このため、受信ジッタバッファ２１２₂に格納される音声データ（音声パケット）の単位時間当たりの量は一定しておらず、格納される量が揺らぐことになる。

すなわち、ＷＡＮ側クロックが自装置側クロックよりも早いと受信ジッタバッファ２１２₂に溜まる音声パケットが増えていき、従来では最終的にデータ廃棄が発生している。また、ＷＡＮ側クロックが自装置側クロックよりも遅いと受信ジッタバッファ２１２₂内の音声パケットが枯渇して、従来では最終的にパケットロスが発生している。

そこで、本実施例では、受信バッファ２１２₄から受信ジッタバッファ２１２₂に音声データ（音声パケットを構成する単位音声データ）を格納するときに、状況に応じて格納する音声データの増減を行っている。すなわち、受信ジッタバッファ２１２₂にある程度の空きがあり、かつ受信する音声データが少ない場合には、音声データ処理部２１２₅から得られる情報を基にして受信ジッタバッファ２１２₂に格納する音声データの割り増しを行う。また、これとは反対に受信ジッタバッファ２１２₂にあまり空きがない状態で、かつ受信する音声データが多い場合は、音声データ処理部２１２₅から得られる情報を基にして受信ジッタバッファ２１２₂から音声データの削減を行う。このようにして音声データ処理部２１２₅は、受信バッファ２１２₄と受信ジッタバッファ２１２₂の残りバッファ数に応じてＷＡＮ側インタフェース部２１６より受信した音声信号データに対してデータ処理制御部２１３₃の制御によって音声データを加工し、ジッタの吸収を行う。

ところで図１に示した、本実施例の音声通信システム２００では、第１の電話機１０１と第２の電話機１０２が通話を行うときＶｏＩＰ端末装置２０３、２０４は相互にこの通話のための音声信号を送受信する。音声信号はＩＰフレームの形式で相手側に送信される。通常は一つのＩＰフレームは、２０ｍｓ（ミリ秒）単位の音声信号となっており、これらの単位音声データがそれぞれ１バイトで構成されているとすると、１フレーム当たり１６０バイトのデータ数になる。図１および図２を使用して、音声信号が送受信される一連の動作を追ってみる。

第１の電話機１０１から音声信号が送出されるものとする。第１の電話機１０１からアナログインタフェース部２１１に送られた音声信号は、アナログ形式の信号である。アナログインタフェース部２１１は、この音声信号を通常８ｋＨｚの周期でサンプリングしてデジタル化する。デジタル化された音声信号は、送信バッファ２１２₁に予め定めた量だけ格納される。本実施例のＶｏＩＰ端末装置２０３は、通常のこの種の装置と同様に１６０バイト、すなわち２０ｍｓ相当分を一単位として溜め込む。送信バッファ２１２₁に格納された音声信号は、ＣＰＵ２１５が内部メモリ２１２₃を用いてＩＰフレーム化し、ＷＡＮ側インタフェース部２１６を介して第２の電話機１０２側に送出される。

図３は、第２の電話機から送られてきた音声信号を含むＩＰフレームの受信処理の様子を表わしたものである。この受信処理は、図２に示したＣＰＵ２１５が前記した制御プログラムを実行することによって実現される。図１および図２と共に説明する。

ＶｏＩＰ端末装置２０３では、ＷＡＮ側インタフェース部２１６がパケットの受信を待機している（ステップＳ３０１）。パケットが受信されると（Ｙ）、ＣＰＵ２１５はこれが自装置に接続された第１の電話機１０１に送信する音声パケットであるかどうかを判別する（ステップＳ３０２）。これは、そのパケットが第１の電話機１０１に送出すべき音声信号として送られてきたＩＰフレームであるか否かの判別である。

今、第２の電話機１０２からＶｏＩＰ端末装置２０４を介して音声信号を含むＩＰフレームとしての音声パケットがＶｏＩＰ端末装置２０３に送信されてきたとする。この場合、ＷＡＮ側インタフェース部２１６によって受信されたＩＰフレームは、ジッタバッファ制御部２１３によって、第１の電話機１０１に送出すべき音声パケットかどうか判断される。この結果、第１の電話機１０１に送出すべき音声信号のＩＰフレームではないと判断された場合には（Ｎ）、再び音声パケットの受信を待機する処理に復帰する（リターン）。

これに対して、受信されたＩＰフレームが第１の電話機１０１に送出すべき音声信号の音声パケットであると判別した場合（ステップＳ３０２：Ｙ）、これを受信バッファ２１２₄に格納する（ステップＳ３０３）。

ここで、パケットロスについて説明する。ＷＡＮ側インタフェース部２１６とアナログインタフェース部２１１の有するクロック精度は装置ごとに異なっている。すなわち、音声信号の送信元としての相手装置側のクロックの方が早いような場合、アナログインタフェース部２１１におけるアナログ化速度はどうしても遅くなる。この結果として、受信バッファ２１２₄や受信ジッタバッファ２１２₂には相手側が送出してくる音声信号が順次増加していくことになる。これら受信バッファ２１２₄や受信ジッタバッファ２１２₂のメモリ容量は有限である。したがって、音声信号はある程度蓄積されると、それ以上は廃棄される。音声信号が廃棄されると、その廃棄が生じた箇所で音声の再生が不連続となる。

これとは逆に相手装置側のクロックの方が遅い場合、アナログインタフェース部２１１におけるアナログ化速度が相対的に速くなる。これにより相手装置側から送られてくる音声信号が不足する。この場合にもパケットロスが生じることになる。パケットロスが発生しても、通常の通話にはあまり影響がない。音声が部分的に聞き取れなくなったような最悪の場合でも、通話相手に聞き返せばよい。ところがファクシミリ通信のようなデータ通信では、パケットロスは致命的な障害となる。最悪の場合には、呼の切断にまで至る場合がある。

そこで、本実施例では、このようなパケットロスの発生を防止するようにしている。したがって、結論的には受信バッファ２１２₄は受信されたＩＰフレームとしての音声パケットを格納することができる。受信バッファ２１２₄に音声パケットが格納されたら、受信ジッタバッファ残数検出部２１３₂は受信ジッタバッファ２１２₂に格納されている音声パケットの数を確認する（ステップＳ３０４）。そして、次に受信バッファ残数検出部２１３₁を用いて受信バッファ２１２₄に格納している音声パケットの数の検出を行う（ステップＳ３０５）。

この結果、受信ジッタバッファ２１２₂に格納されている音声パケットの数がその閾値Ａを超えておらず（ステップＳ３０６：Ｎ）、かつ、その手前に位置する受信バッファ２１２₄に格納されている音声パケットの数がその閾値Ｂを超過している場合には（ステップＳ３０７：Ｙ）、受信バッファ２１２₄よりも受信ジッタバッファ２１２₂の方が音声信号の格納に余裕がある。そこで受信した音声信号を受信バッファ２１２₄に多く溜めることなく受信ジッタバッファ２１２₂に迅速に格納する（ステップＳ３０８）。

次に、ステップＳ３０７で受信バッファ２１２₄に格納されている音声パケットの数がその閾値Ｂと等しいかこれ以下である場合を説明する。この場合には（ステップＳ３０７：Ｎ）、音声データ処理部２１２₅から受信ジッタバッファ２１２₂に格納する音声データ（単位音声データ）を、データ処理制御部２１３₃の制御情報を基にしてＣパーセントだけ増加させる処理を行う（ステップＳ３０９）。

一方、受信ジッタバッファ２１２₂に格納されている音声パケットの数がその閾値Ａを超過しており（ステップＳ３０６：Ｙ）、かつ受信バッファ２１２₄に格納されている音声パケットの数もその閾値Ｂを超過していた場合には（ステップＳ３１０：Ｙ）、アナログインタフェース部２１１への音声データの送信が遅いことになる。そこで、この場合には受信ジッタバッファ２１２₂に格納する音声データ（単位音声データ）をＤパーセントだけ減少させる処理を行う（ステップＳ３１１）。

最後に、受信ジッタバッファ２１２₂に格納されている音声パケットの数がその閾値Ａを超過しており（ステップＳ３０６：Ｙ）、かつ受信バッファ２１２₄に格納されている音声パケットの数がその閾値Ｂ以下の場合について説明する。この場合には、受信ジッタバッファ２１２₂内の音声パケットの数を減少させるために、アナログインタフェース部２１１を経由して第１の電話機１０１に音声データがある程度送出されるのを待機する必要がある。そこで、この場合には、処理をステップＳ３０６に戻す。そして、受信バッファ残数検出部２１３₁で受信バッファ２１２₄に格納された音声パケットの数がその閾値Ｂを超えるまで、音声データを受信ジッタバッファ２１２₂に格納する処理を保留にする。

以上のうちのステップＳ３０８、ステップＳ３０９およびステップＳ３１１の処理が行われたら、受信ジッタバッファ２１２₂に格納されている音声データのパケットを単位量だけ読み出してアナログインタフェース部２１１に送出する（ステップＳ３１２）。そして、再びステップＳ３０１の処理に戻ることになる。

図４および図５は、図３のステップＳ３０９で説明した音声データ処理部が音声パケットを増加させる処理の原理を表わしたものである。ここでは増加の割合としてのＣパーセントが２０パーセントである場合を一例として説明する。図４（Ａ）は処理前の第１の音声パケット２２１および第２の音声パケット２２２を表わしている。第１の音声パケット２２１は、それぞれ１バイトで構成される１６０個の単位音声データＤ_1-001〜Ｄ_1-160によって構成されている。第２の音声パケット２２２も同様に、それぞれ１バイトで構成される１６０個の単位音声データＤ_2-001〜Ｄ_2-160によって構成されている。

図４（Ｂ）は、音声データ処理部で処理中の音声パケットの様子を原理的に表わしたものである。音声データの増加量が２０パーセントなので、本実施例では単位音声データＤ_1-001〜Ｄ_1-160、Ｄ_2-001〜Ｄ_2-160の「１」の位の数字が「３」と「８」のものについて、それぞれ１単位ずつ音声データを追加している。たとえば、処理中の第１の音声パケット２３１の単位音声データＤ_1-003と単位音声データＤ_1-004の間には、単位音声データＤ_1-003Aが追加されている。追加した単位音声データＤは、アスタリスク（＊）で示している。処理中の第１の音声パケット２３２についても同様である。この結果、同図（Ｂ）の第１および第２の音声パケット２３１、２３２の単位音声データＤの数は、それぞれ１９２個となり、同図（Ａ）に示した第１および第２の音声パケット２２１、２２２の単位音声データＤの数よりもそれぞれ３２個増加している。

図５は、音声データ処理部で増加処理の終了した音声パケットを示したものである。処理後の第１の音声パケット２４１は、図４（Ｂ）に示した処理中の第１の音声パケット２３１の先頭から１６０個の音声データを１パケットとして再編成している。すなわち、第１の音声パケット２４１は、１６０個の単位音声データＤ_1-001〜Ｄ_1-133Aで構成されることになり、残りの３２個の単位音声データＤ_1-134〜Ｄ_1-160は、第１の音声パケット２４２の先頭部分に回される。

処理後の第２の音声パケット２４２も、同様に合計で１６０個分の単位音声データＤから構成される。したがって、単位音声データＤ_1-134〜Ｄ_1-160を先頭部分に配置し、その後に図４（Ｂ）に示した第２の音声パケット２３２を構成する１２８個の単位音声データＤが先頭から順に付加される。この結果、第２の音声パケット２４２は単位音声データＤ_1-134〜Ｄ_1-160と単位音声データＤ_2-001〜Ｄ_2-107で構成されることになる。

このように追加された単位音声データＤ_1-003A、Ｄ_1-008A、……Ｄ_2-013A、Ｄ_2-018A、……の分だけ、ところてん方式でそれぞれのパケット２４１、２４２、……に組み込まれる単位音声データＤの内容が移動する。この結果、図４の処理中の第２の音声パケット２３２の残りの単位音声データＤ_2-108〜Ｄ_2-160の部分は、処理後の第３の音声パケット２４３の先頭部分を形成することになる。以下、同様にして処理後の音声パケットが生成されていく。

一方、図６は、図３のステップＳ３１１で説明した音声データ処理部が音声データのパケットを減少させる処理の原理を表わしたものである。ここでは減少の割合としてのＤパーセントが２０パーセントである場合を一例として説明する。図６（Ａ）は処理前の第１の音声パケット２２１および第２の音声パケット２２２を表わしている。これらは、図４（Ａ）と同一である。

図６（Ｂ）は、音声データ処理部で処理中の音声パケットの様子を原理的に表わしたものである。音声データの減少量が２０パーセントなので、本実施例では単位音声データＤ_1-001〜Ｄ_1-160、Ｄ_2-001〜Ｄ_2-160の「１」の位の数字が「３」と「８」のものを削除している。たとえば、処理中の第１の音声パケット２５１の単位音声データＤ_1-002と単位音声データＤ_1-004の間の単位音声データＤ_1-003が削除されている。削除した単位音声データＤの部分は、シャープ（♯）で示している。処理中の第２の音声パケット２５２についても同様である。この結果、同図（Ｂ）の第１および第２の音声パケット２５１、２５２の単位音声データＤの数は、それぞれ１２８個となり、同図（Ａ）に示した第１および第２の音声パケット２２１、２２２の単位音声データＤの数よりもそれぞれ３２個減少している。

図６（Ｃ）は、音声データ処理部で減少処理の終了した音声パケットを示したものである。処理後の第１の音声パケット２６１は、図６（Ｂ）に示した処理中の第１の音声パケット２５１のすべてである１２８個の単位音声データＤ_1-001〜Ｄ_1-160と、第２の音声パケット２５２の３２個分の音声データを１パケットとして再編成している。すなわち、第１の音声パケット２６１には、第２の音声パケット２５２から単位音声データＤ_2-001〜Ｄ_2-040が追加された構成となる。

処理後の第２の音声パケット２６２も、同様に合計で１６０個分の単位音声データＤから構成される。したがって、処理中の第２の音声パケット２５２から残りのすべてである９６個の単位音声データＤ_2-041〜Ｄ_2-160が処理後の第２の音声パケット２６２の前半部分に回される。それ以後は、図示しない処理中の第３の音声パケット２５３の６４個分の単位音声データＤが追加されることになる。以下同様にして処理後の音声パケットが生成されていく。

図７は、図３のステップＳ３０９における音声データの追加処理の流れを表わしたものである。図２に示した音声データ処理部２１２₅は受信バッファ２１２₄に格納されている音声パケットから１単位（１バイト）の単位音声データＤを読み出して（ステップＳ３３１）、そのデータ番号の１の位が、予め定めた数値ａ₁またはａ₂であるかどうかをチェックする（ステップＳ３３２）。図４および図５で示した例では、数値ａ₁が「３」で数値ａ₂が「８」となる。データ番号の１の位がこれらの数値のいずれかに該当すれば（Ｙ）、その１単位の単位音声データＤをパケットを構成する単位音声データＤに追加（挿入）する（ステップＳ３３３）。

そして、今までに処理した単位音声データＤが１パケット分（この例では１６０個）となったかを判別する（ステップＳ３３４）。なお、ステップＳ３３２で単位音声データＤのデータ番号の１の位が数値ａ₁またはａ₂に該当しなかった場合には（Ｎ）、ステップＳ３３３の処理を行うことなく、ステップＳ３３４の判断を行う。単位音声データＤが１パケット分（この例では１６０個）となったら（ステップＳ３３４：Ｙ）、これを新しい音声パケットに組み立てて、図２に示す受信ジッタバッファ２１２₂に出力する（ステップＳ３３５）。ステップＳ３３４で単位音声データＤが１パケット分になるまでは（Ｎ）、処理がステップＳ３３１に戻ることになる。

図８は、図３のステップＳ３１１における音声データの減少処理の流れを表わしたものである。図２に示した音声データ処理部２１２₅は受信バッファ２１２₄に格納されている音声パケットから１単位（１バイト）の単位音声データＤを読み出して（ステップＳ３５１）、そのデータ番号の１の位が、予め定めた数値ｄ₁またはｄ₂であるかどうかをチェックする（ステップＳ３５２）。図６で示した例では、数値ｄ₁が「３」で数値ｄ₂が「８」となる。データ番号の１の位がこれらの数値のいずれかに該当すれば（Ｙ）、この１単位（１バイト）の単位音声データＤを削除する（ステップＳ３５３）。

そして、今までに処理した単位音声データＤが１パケット分（この例では１６０個）となったかを判別する（ステップＳ３５４）。なお、ステップＳ３５２で単位音声データＤのデータ番号の１の位が数値ｄ₁またはｄ₂に該当しなかった場合には（Ｎ）、ステップＳ３５３の処理を行うことなく、ステップＳ３５４の判断を行う。単位音声データＤが１パケット分（この例では１６０個）となったら（ステップＳ３５４：Ｙ）、これを新しい音声パケットに組み立てて、図２に示す受信ジッタバッファ２１２₂に出力する（ステップＳ３５５）。ステップＳ３５４で単位音声データＤが１パケット分になるまでは（Ｎ）、処理がステップＳ３５１に戻ることになる。

このように以上説明した実施例では、第１の電話機１０１側と第２の電話機１０２側のクロックが相違しても、単位音声データＤをこれに応じて増減して、受信側のクロックの周波数に合ったデータ量に調整されて音声の送受信が行われる。しかも、単位音声データＤを追加した場合でも、直前の単位音声データＤを挿入しているので、情報が欠落することはない。

なお、実施例ではこのような追加箇所にその単位音声データＤを挿入したが、直後、あるいは直前と直後の平均値を挿入するようにしてもよい。同様に単位音声データＤを減少させる処理では、該当箇所の２つの単位音声データＤの平均値を採って１つの単位音声データＤとしてもよい。これにより、短時間に発生する音の成分が完全に抹消されるおそれを回避することができる。

また、単位音声データＤをある程度長くチェックして、無音状態のように同一あるいは近時の単位音声データＤがある程度連続する部分を抽出して、その部分を間引いたり、延長して音声パケットを再構成するような音声処理も有効である。

更に、以上説明した実施例では、受信側での音声信号の加工処理について説明したが、受信側の信号の加工状態に合わせて送信する音声信号の加工を行うことも可能である。これにより、同期調整の機能が備えられていないＶｏＩＰ端末を通信相手とする場合にも、見かけ上で、同期が取れたような通信を行うことが可能になる。

本実施例の音声通信システムの概要を示すシステム構成図である。 本実施例で第１の電話機と接続した本実施例のＶｏＩＰ端末装置の構成を表わしたブロック図である。 本実施例で第２の電話機から送られてきた音声信号を含むＩＰフレームの受信処理の様子を表わした流れ図である。 本実施例で音声データ処理部が音声データのパケットを増加させる処理の前半部分を表わした説明図である。 本実施例で音声データ処理部が音声データのパケットを増加させる処理の後半部分を表わした説明図である。 本実施例で音声データ処理部が音声データのパケットを減少させる処理の原理を表わした説明図である。 本実施例で音声データの追加処理の流れを表わした流れ図である。 本実施例で音声データの減少処理の流れを表わした流れ図である。 ＶｏＩＰを使用した一般的な音声通信システムを示したシステム構成図である。

符号の説明

１０１ 第１の電話機
１０２ 第２の電話機
２００ 音声通信システム
２０３、２０４ ＶｏＩＰ端末装置
２１２ 内部メモリ部
２１２₂ 受信ジッタバッファ
２１２₄ 受信バッファ
２１２₅ 音声データ処理部
２１３ ジッタバッファ制御部
２１３₁ 受信バッファ残数検出部
２１３₂ 受信ジッタバッファ残数検出部
２１３₃ データ処理制御部
２１５ ＣＰＵ
２２１、２３１、２４１、２５１、２６１ 第１の音声パケット
２２２、２３２、２４２、２５２、２６２ 第２の音声パケット

Claims (6)

1. 所定の周期でサンプリングして得られる単位時間長の音声データからなる単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットを受信する音声パケット受信手段と、
   前記固定長の音声パケット内の前記単位音声データを所定のクロックに同期して順に処理する音声データ処理手段と、
   前記音声パケット受信手段で受信した音声パケットを一時的に格納する受信バッファと、
   この受信バッファに格納された前記音声データ処理手段に送出する前の音声パケットの蓄積量を判別する蓄積量判別手段と、
   この蓄積量判別手段の判別結果に応じて前記受信バッファの蓄積量が一定の量になる方向で音声パケットを構成する前記単位音声データの増減を行う受信用単位音声データ増減手段と、
   この受信用単位音声データ増減手段による増減後の単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットに再編成する受信用音声パケット再編成手段と、
   この受信用音声パケット再編成手段による再編成後の音声パケットを順次音声データ処理手段に送出して受信処理を行わせる受信用音声パケット再編成手段
   とを具備することを特徴とする音声信号受信装置。
2. 所定の周期でサンプリングして得られる単位時間長の音声データからなる単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットを受信する音声パケット受信手段と、
   前記固定長の音声パケット内の前記単位音声データを所定のクロックに同期して順に処理する音声データ処理手段と、
   前記音声パケット受信手段で受信した音声パケットを一時的に格納する受信バッファと、
   この受信バッファに格納された前記音声データ処理手段に送出する前の音声パケットの蓄積量を判別する蓄積量判別手段と、
   この蓄積量判別手段の判別結果によって前記受信バッファの蓄積量が予め定めたしきい値を超えるとき、これに応じて前記音声パケットを構成する前記単位音声データを単位量ずつ間引く単位音声データ削除手段と、
   前記蓄積量判別手段の判別結果によって前記受信バッファの蓄積量が予め定めたしきい値よりも低下するとき、これに応じて前記音声パケットを構成する前記単位音声データを単位量ずつ追加する単位音声データ追加手段と、
   前記単位音声データ削除手段あるいは単位音声データ追加手段による増減後の単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットに再編成する受信用音声パケット再編成手段と、
   この受信用音声パケット再編成手段による再編成後の音声パケットを順次音声データ処理手段に送出して受信処理を行わせる音声パケット受信処理制御手段
   とを具備することを特徴とする音声信号受信装置。
3. 前記単位音声データ削除手段は、時間的に連続する単位音声データを基に生成し、これを１つの単位音声データとする処理を行うことを特徴とする請求項２記載の音声信号受信装置。
4. 前記単位音声データ追加手段は、時間的に連続する単位音声データを基に生成し、これを１つの単位音声データとしてこれらの間に挿入する処理を行うことを特徴とする請求項２記載の音声信号受信装置。
5. 所定の周期でサンプリングして得られる単位時間長の音声データからなる単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットを受信する音声パケット受信手段と、前記固定長の音声パケット内の前記単位音声データを所定のクロックに同期して順に処理する音声データ処理手段と、前記音声パケット受信手段で受信した音声パケットを一時的に格納する受信バッファと、この受信バッファに格納された前記音声データ処理手段に送出する前の音声パケットの蓄積量を判別する蓄積量判別手段と、この蓄積量判別手段の判別結果によって前記受信バッファの蓄積量が予め定めたしきい値を超えるとき、これに応じて前記音声パケットを構成する前記単位音声データを単位量ずつ間引く単位音声データ削除手段と、前記蓄積量判別手段の判別結果によって前記受信バッファの蓄積量が予め定めたしきい値よりも低下するとき、これに応じて前記音声パケットを構成する前記単位音声データを単位量ずつ追加する単位音声データ追加手段と、前記単位音声データ削除手段あるいは単位音声データ追加手段による増減後の単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットに再編成する受信用音声パケット再編成手段と、この受信用音声パケット再編成手段による再編成後の音声パケットを順次音声データ処理手段に送出して受信処理を行わせる音声パケット受信処理制御手段とを備えた音声信号受信部と、
   この音声信号受信部で前記音声パケットを受信する際の送信元に自装置側で生成した音声パケットを送出する音声パケット送出手段と、この音声パケット送出手段が送出する前の音声パケットを構成する前記単位音声データを前記蓄積量判別手段の判別した蓄積量に応じて増減する送信用音声データ増減手段と、この送信用音声データ増減手段による増減後の単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットに再編成する送信用音声パケット再編成手段と、この送信用音声パケット再編成手段による再編成後の音声パケットを順次前記音声パケット送出手段に送出して送信処理を行わせる音声パケット送信処理制御手段とを備えた音声信号送信部
   とを具備することを特徴とする音声信号通信装置。
6. 送信側で所定の周期でサンプリングして得られる単位時間長の音声データからなる単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットを受信する音声パケット受信ステップと、
   この音声パケット受信ステップで受信したそれぞれの音声パケットをその処理側の装置に送る前に受信バッファに一時的に格納する受信バッファ格納ステップと、
   この受信バッファ格納ステップで前記受信バッファに格納された音声パケットの蓄積量を判別する蓄積量判別ステップと、
   この蓄積量判別ステップの判別結果によって前記受信バッファの蓄積量が予め定めたしきい値を超えるとき、これに応じて前記音声パケットを構成する前記単位音声データを単位量ずつ間引く単位音声データ削除ステップと、
   前記積量判別ステップの判別結果によって前記受信バッファの蓄積量が予め定めたしきい値よりも低下するとき、これに応じて前記音声パケットを構成する前記単位音声データを単位量ずつ追加する単位音声データ追加ステップと、
   前記単位音声データ削除ステップあるいは単位音声データ追加ステップによる増減後の単位音声データをこれらの発生した順に所定の個数ずつ組み込んだ固定長の音声パケットに再編成する受信用音声パケット再編成ステップと、
   この受信用音声パケット再編成ステップによる再編成後の音声パケットを順次前記処理側の装置に送出して受信処理を行わせる音声パケット受信処理制御ステップ
   とを具備することを特徴とする音声信号受信方法。

Images