JP5517381B1 - 揺らぎ吸収装置、通信装置、及び制御プログラム - Google Patents

Abstract

【課題】正確な揺らぎ時間に基づいてバッファのデータ蓄積容量を動的に変動させる。
【解決手段】パケットを一時的に蓄積するバッファ２２と、パケットが送信される間隔と同じ間隔でパルスを発生するパルス発生部２４と、パルスに基づいて、パケットの遅延の揺らぎ時間を導出する揺らぎ時間導出部（２５）と、揺らぎ時間導出部（２５）により導出された複数の揺らぎ時間に基づいて、最大揺らぎ時間を推定する最大揺らぎ時間推定部（２５）と、最大揺らぎ時間に基づいて、バッファ２２のデータ蓄積容量を設定する設定部（２５）と、を備える。
【選択図】図２

Description

本発明は、パケットの遅延時間の揺らぎを吸収する揺らぎ吸収装置、通信装置、及び制御プログラムに関する。

パケット通信システムは、音声データや画像データといったマルチメディアデータをパケット化して伝送する通信装置を備えている。このパケット通信システムにおいては、通信装置がインターネット網などの通信ネットワークを通じてパケットの伝送を行う場合、伝送経路や通信ネットワークの輻輳状態によってパケットの遅延時間の揺らぎが生じる。これによって、パケットの抜けや重複などが発生し、品質（音質、画質）の劣化を招く。これを防止するために、受信側の通信装置には、受信したパケットを一時的に蓄積するバッファが設けられる。このようにバッファにおいてパケットが一時的に蓄積されることにより、パケットの遅延時間の揺らぎが吸収される。

下記特許文献１には、パケットの遅延時間の揺らぎ量に応じてバッファのデータ蓄積容量（バッファ時間）を動的に変動させる通信装置が開示されている。この通信装置は、パケットに付加されている送信時刻と、パケットを受信した受信時刻とに基づいて、パケットの遅延時間の揺らぎ量を算出している。

特許第３３９７１９１号公報

このように、通信装置がパケットに付加されている送信時刻とパケットを受信した受信時刻とに基づいて揺らぎ量を算出する場合、送信側の通信装置と受信側の通信装置との間で内部時計の時刻を正確に合わせておく必要がある。しかし、通信装置の内部時計の時刻は必ずしも正確ではない。従って、送信側の通信装置と受信側の通信装置との間で時刻のずれが生じた場合、通信装置が正確な揺らぎ量を取得することができなくなる。

本発明は、前述した事情に鑑みてなされたものであり、正確な揺らぎ時間に基づいてバッファのデータ蓄積容量を動的に変動させることができる揺らぎ吸収装置、通信装置、及び制御プログラムを提供することを目的とする。

上記目的を達成するために、本発明では、パケットを一時的に蓄積するバッファと、パケットが送信される間隔と同じ間隔でパルスを発生するパルス発生部と、パルスに基づいて、パケットの遅延の揺らぎ時間を導出する揺らぎ時間導出部と、揺らぎ時間導出部により導出された複数の揺らぎ時間に基づいて、最大揺らぎ時間を推定する最大揺らぎ時間推定部と、最大揺らぎ時間に基づいて、バッファのデータ蓄積容量を設定する設定部と、を備え、バッファは、一方の伝送路で伝送された第１パケットを一時的に蓄積する第１バッファと、他方の伝送路で伝送された第１パケットと同内容の第２パケットを一時的に蓄積する第２バッファとを有し、第１パケットと第２パケットとの受信タイミングの時間差を検出する時間差検出部と、時間差検出部により時間差が検出された場合に、第１バッファ又は第２バッファに蓄積されるパケット数を変更して両バッファのパケット数を一致させる変更部と、を備えることを特徴とする揺らぎ吸収装置が提供される。このような構成によれば、両伝送路の遅延時間の違いに基づくパケットの受信タイミングの時間差を吸収することができる。

また、本発明では、揺らぎ時間導出部は、パルス発生タイミングからパケットの受信タイミングまでの時間を測定し、測定した時間に基づいて揺らぎ時間を導出するように構成されてもよい。このような構成によれば、送信側と受信側の装置との間で時刻を正確に同期させることなく、正確な揺らぎ時間を導出することができる。

また、本発明は、伝送路におけるパケットの遅延時間を導出する遅延時間導出部を備え、設定部は、最大揺らぎ時間と遅延時間とに基づいて、バッファのデータ蓄積容量を設定するように構成されてもよい。このような構成によれば、最大揺らぎ時間（揺らぎ時間の最大幅）だけでなく伝送路における遅延時間も参照して、バッファにデータ蓄積容量を設定することができる。従って、突発的な遅延時間の揺らぎに対しても対応させることができる。

また、本発明は、最大揺らぎ時間推定部は、複数の揺らぎ時間の標準偏差を算出し、算出した標準偏差に基づいて最大揺らぎ時間を推定するように構成されてもよい。このような構成によれば、最大揺らぎ時間の中に複数の揺らぎ時間のほぼすべてが入るようになり、バッファのオーバーランやアンダーランが発生する可能性が低減される。

また、本発明は、時間差検出部は、パケットに付加されているタイムスタンプに基づいて時間差を検出するように構成されてもよい。このような構成によれば、既存の構成を用いて時間差を検出することができる。

また、本発明は、変更部は、第１バッファ又は第２バッファに蓄積されるパケット数を変更するときにデータ補間処理を実行するように構成されてもよい。このような構成によれば、データの切り換えを行った場合にノイズなどの影響が軽減される。

また、本発明は、パケットを送受信する送受信部と、送受信部により受信されたパケットを一時的に蓄積するバッファと、パケットが送信される間隔と同じ間隔でパルスを発生するパルス発生部と、パルスに基づいて、パケットの遅延の揺らぎ時間を導出する揺らぎ時間導出部と、揺らぎ時間導出部により導出された複数の揺らぎ時間に基づいて、最大揺らぎ時間を推定する最大揺らぎ時間推定部と、最大揺らぎ時間に基づいて、バッファのデータ蓄積容量を設定する設定部と、を備え、バッファは、一方の伝送路で伝送された第１パケットを一時的に蓄積する第１バッファと、他方の伝送路で伝送された第１パケットと同内容の第２パケットを一時的に蓄積する第２バッファとを有し、第１パケットと第２パケットとの受信タイミングの時間差を検出する時間差検出部と、時間差検出部により時間差が検出された場合に、第１バッファ又は第２バッファに蓄積されるパケット数を変更して両バッファのパケット数を一致させる変更部と、を備えることを特徴とする通信装置が提供される。このような構成によれば、両伝送路の遅延時間の違いに基づくパケットの受信タイミングの時間差を吸収することができる。

また、本発明は、パケットを一時的に蓄積するバッファと、パケットが送信される間隔と同じ間隔でパルスを発生するパルス発生部と、を備え、バッファは、一方の伝送路で伝送された第１パケットを一時的に蓄積する第１バッファと、他方の伝送路で伝送された第１パケットと同内容の第２パケットを一時的に蓄積する第２バッファとを有する通信装置の制御装置に、パルスに基づいて、パケットの遅延の揺らぎ時間を導出する揺らぎ時間導出処理と、揺らぎ時間導出処理により導出された複数の揺らぎ時間に基づいて、最大揺らぎ時間を推定する最大揺らぎ時間推定処理と、最大揺らぎ時間に基づいて、バッファのデータ蓄積容量を設定する設定処理と、を実行させ、第１パケットと第２パケットとの受信タイミングの時間差を検出する時間差検出処理と、時間差検出処理により時間差が検出された場合に、第１バッファ又は第２バッファに蓄積されるパケット数を変更して両バッファのパケット数を一致させる変更処理と、を実行させることを特徴とする制御プログラムが提供される。

本発明によれば、正確な揺らぎ時間に基づいてバッファのデータ蓄積容量を動的に変動させることができる。

録音配信システムの構成を示す構成図である。 第１実施形態に係るオーディオＩＰ変換装置の構成を示すブロック図である。 伝送路におけるパケットの遅延時間を説明するための図である。 第１実施形態に係るバッファ設定処理を示すフローチャートである。 絶対遅延時間を説明するための図である。 揺らぎ時間の測定原理を説明するための図である。 伝送路の冗長構成を示す図である。 第２実施形態に係るオーディオＩＰ変換装置の構成を示すブロック図である。 データサンプルの間引き及び挿入を説明するための図である。 第２実施形態に係るバッファ変更処理を示すフローチャートである。 データ補間を説明するための図である。

以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現することがある。

＜第１実施形態＞
図１は、録音配信システムの構成を示す構成図である。図１に示す録音配信システムＳＹＳは、音声を録音し、録音した音声データをリアルタイムにユーザに配信するシステムである。この録音配信システムＳＹＳは、図１に示すように、マイクプリアンプ１Ａ、オーディオＩＰ変換装置（通信装置）１Ｂ、オーディオＩＰ変換装置（揺らぎ吸収装置、通信装置）２Ａ、編集機器２Ｂ、及び配信サーバ３を備えている。録音配信システムＳＹＳの構成のうち、通信装置としてのオーディオＩＰ変換装置１Ｂ及びオーディオＩＰ変換装置２Ａがパケット通信システムを構成する。このパケット通信システムは、オーディオＩＰ変換装置１ＢとオーディオＩＰ変換装置２Ａとの間でパケットの双方向伝送が実行可能なシステムである。

図１に示す例では、マイクプリアンプ１Ａ及びオーディオＩＰ変換装置１Ｂは、コンサート会場１に設けられる。ただし、コンサート会場１は一例であって、ライブハウス、クラブ等の場所であってもよい。マイクプリアンプ１Ａは、マイクロフォンを制御するとともに、マイクロフォンが集音した信号をＭＡＤＩ（Multichannel Audio Digital Interface）フォーマットに変換する装置である。なお、マイクプリアンプ１Ａは、マイクロフォンで集音した信号に限らず、音源の信号をＭＡＤＩフォーマットに変換してもよい。ここで、ＭＡＤＩは、多チャンネルのデジタルオーディオのインターフェース規格である。このＭＡＤＩは、デジタルオーディオ機器で使用されているＡＥＳ／ＥＢＵ信号を束ねて最大６４チャンネルのオーディオ信号を１本のケーブル（光ファイバー又は同軸ケーブル）で伝送することができる。マイクプリアンプ１Ａは、ケーブルでオーディオＩＰ変換装置１Ｂと接続され、ＭＡＤＩフォーマットのオーディオ信号をオーディオＩＰ変換装置１Ｂに出力する。

オーディオＩＰ変換装置１Ｂは、ＭＡＤＩフォーマットのオーディオ信号の音声データを、インターネット網などのＩＰネットワークで伝送可能なＩＰパケットのデータ（以下、パケットという。）に変換する装置である。このオーディオＩＰ変換装置１Ｂは、パケットを送受信する通信装置として機能する。オーディオＩＰ変換装置１Ｂは、変換したパケットをＩＰネットワークである通信ネットワーク１００を介してオーディオＩＰ変換装置２Ａに送信する。なお、マイクプリアンプ１ＡとオーディオＩＰ変換装置１Ｂを接続するケーブルは２０００ｍまでオーディオ信号を伝送可能であるため、オーディオＩＰ変換装置１Ｂはコンサート会場１の外に設置されてもよい。

図１に示す例では、オーディオＩＰ変換装置２Ａ及び編集機器２Ｂは、編集スタジオ２に設けられる。ただし、編集スタジオ２は一例であって、編集スタジオ２以外の場所であってもよい。オーディオＩＰ変換装置２Ａは、通信ネットワーク１００と接続されるとともに、ケーブルで編集機器２Ｂと接続されている。このオーディオＩＰ変換装置２Ａは、オーディオＩＰ変換装置１Ｂから送信されたパケットをＭＡＤＩフォーマットのオーディオ信号の音声データに変換し、変換した音声データをケーブルを介して編集機器２Ｂに出力する。また、オーディオＩＰ変換装置２Ａは、編集機器２Ｂから出力されたＭＡＤＩフォーマットのオーディオ信号の音声データをパケットに変換し、変換したパケットを通信ネットワーク１００を介して配信サーバ３に送信（アップロード）する。このオーディオＩＰ変換装置２Ａは、パケットを送受信する通信装置として機能する。

編集機器２Ｂは、オーディオＩＰ変換装置２Ａから出力されたＭＡＤＩフォーマットのオーディオ信号を入力し、入力したオーディオ信号の音声データを編集する装置である。この編集機器２Ｂは、編集した音声データをケーブルを介してオーディオＩＰ変換装置２Ａに出力する。

配信サーバ３は、ユーザ端末４からの配信要求に応じて、音声データをユーザ端末４に配信するサーバである。配信サーバ３は、オーディオＩＰ変換装置２Ａから送信されたパケットを受信し、受信したパケットを音声データに変換して配信サーバ３内の記憶部に記憶する。また、配信サーバ３は、ユーザ端末４からの配信要求を受けた場合に、そのユーザ端末４に対して音声データを通信ネットワーク１００を介して配信する。ユーザ端末４は、ユーザが備えたパーソナルコンピュータなどの端末である。ユーザは、ユーザ端末４を操作して、配信サーバ３から音声データをダウンロードする。

このような録音配信システムＳＹＳの構成により、コンサート会場１でコンサートの音楽を録音し、編集スタジオ２で編集者が音楽をリアルタイムに編集し、ユーザが配信サーバ３から音楽のダウンロードを行うことが可能となる。

図２は、第１実施形態に係るオーディオＩＰ変換装置２Ａの構成を示すブロック図である。図２に示すように、オーディオＩＰ変換装置２Ａは、送受信部２１、バッファ２２、データ変換部２３、パルス発生部２４、及び制御部（揺らぎ時間導出部、最大揺らぎ時間推定部、設定部）２５を有している。送受信部２１は、通信ネットワーク１００を通じてパケットを送受信する。バッファ２２は、パケットの遅延時間の揺らぎを吸収するためにパケットを一時的に蓄積する。データ変換部２３は、バッファ２２からのパケットをＭＡＤＩフォーマットのオーディオ信号の音声データに変換する。データ変換部２３でデータ変換された音声データ（オーディオ信号）は編集機器２Ｂに出力される。また、データ変換部２３は、ＭＡＤＩフォーマットのオーディオ信号の音声データを入力し、入力した音声データをパケットに変換する。

パルス発生部２４は、オーディオＩＰ変換装置１Ｂにおけるパケットの送信間隔と等しい間隔でクロックパルス（図４のクロックパルスＣＰ参照）を発生する。このパルス発生部２４は、クロックパルスＣＰを安定して発生する発振器などで構成される。

制御部２５は、オーディオＩＰ変換装置２Ａの各部の制御を司る。具体的には、制御部２５は、伝送路における初期パケットの絶対的な遅延時間（絶対遅延時間という。図５のｔｉ１参照。）を導出する。また、制御部２５は、パルス発生部２４によるクロックパルスの発生タイミングから送受信部２１によるパケットの受信タイミングまでの時間（図６のｔｃ１〜ｔｃｎ＋１参照）を測定する。また、制御部２５は、測定した時間に基づいてパケットの遅延時間の揺らぎ時間（揺らぎ量）を導出する。また、制御部２５は、複数個のパケットの遅延時間の揺らぎ時間に基づいて、揺らぎ時間の最大値（ピーク値）である最大揺らぎ時間を推定する。そして、制御部２５は、最大揺らぎ時間と絶対遅延時間とに基づいて、バッファ２２のデータ蓄積容量を設定する。また、制御部２５は、データ変換部２３に制御信号を出力することにより、データ変換部２３にデータ変換を実行させる。なお、制御部２５は、ＣＰＵ（Central Processing Unit）やプロセッサなどの制御装置が制御プログラムに基づいて、上述したような制御を実行することにより実現される。

なお、オーディオＩＰ変換装置１Ｂも、図２に示したオーディオＩＰ変換装置２Ａと同様の構成を備えていてもよい。オーディオＩＰ変換装置１Ｂは、パルス発生部２４のクロックパルスの発生と同間隔でクロックパルスを発生するパルス発生部を備え、このパルス発生部からのクロックパルスと同期してパケットを送信する。

バッファ２２のデータ蓄積容量（サイズ）が小さい程、オーディオＩＰ変換装置１Ｂから送信されたパケットが編集機器２Ｂに到着するまでの時間が短縮される。しかし、通信ネットワーク１００を含む伝送路におけるパケットの遅延時間の揺らぎが大きい場合は、バッファ２２のデータ蓄積容量が小さいと、バッファ２２においてパケットの遅延時間の揺らぎを吸収することができなくなる。反対に、バッファ２２のデータ蓄積容量が大きい場合、オーディオＩＰ変換装置１Ｂから送信されたパケットが編集機器２Ｂに到着するまでの時間が長くなる。この場合、リアルタイムに録音配信するシステムや音声の双方向伝送を行うシステムなどの場合に問題となる。

また、通信ネットワーク１００の遅延時間の揺らぎなどは、パケットが伝送されるときの通信ネットワーク１００の状況（パケットの伝送路として選択された経路、トラフィックなど）に依存するため、バッファ２２の最適なデータ蓄積容量（設定値）は常時変化する。また、遅延時間の揺らぎの幅が大きい場合は、突発的に大きな揺らぎが発生する可能性が高い。このときは、バッファ２２のデータ蓄積容量として大きな値を設定する必要がある。そこで、本実施形態では、制御部２５は、複数個のパケットの遅延時間の揺らぎに基づいて、自動的にバッファ２２のデータ蓄積容量を設定する。

図３は、伝送路におけるパケットの遅延時間を説明するための図である。図３に示すように、オーディオＩＰ変換装置１Ｂ（送信側の通信装置）がパケットＰ１，Ｐ２，・・・，Ｐｎ，Ｐｎ＋１，・・・を一定間隔で送信している。各パケットＰ１，Ｐ２，・・・，Ｐｎ，Ｐｎ＋１，・・・は、遅延時間ｔｄ１，ｔｄ２，・・・，ｔｄｎ，ｔｄｎ＋１，・・・の経過後にオーディオＩＰ変換装置２Ａ（受信側の通信装置）に到着する。オーディオＩＰ変換装置２Ａでは、送受信部２１で受信した各パケットＰ１，Ｐ２，・・・，Ｐｎ，Ｐｎ＋１，・・・をバッファ２２に一旦蓄積（記憶）させる。バッファ２２に蓄積された各パケットＰ１，Ｐ２，・・・，Ｐｎ，Ｐｎ＋１，・・・は、一定間隔ごとに読み出される。従って、各パケットＰ１，Ｐ２，・・・，Ｐｎ，Ｐｎ＋１，・・・ごとに、バッファ２２に蓄積されている時間ｔｂｕｆ１，ｔｂｕｆ２，・・・，ｔｂｕｆｎ，ｔｂｕｆｎ＋１，・・・が変化する。

図３に示す例において、各パケットの遅延時間のうちの最大の遅延時間ｔｄ２に合わせてバッファ２２のデータ蓄積容量が設定されると、すべてのパケットを途切れさせることなくバッファ２２に蓄積することができる。この場合、音声が途切れることなく再生される。しかし、伝送路における遅延時間の揺らぎが大きい場合、突発的な遅延増大の要因が多い。このため、単に最大の遅延時間ｔｄ２に基づいてバッファ２２のデータ蓄積容量を設定したとしても、突発的な遅延時間の増大により、バッファ２２が遅延時間の揺らぎを吸収できなくなるおそれがある。従って、以下に説明するような方法により、制御部２５はバッファ２２のデータ蓄積容量を算出し設定する。

次に、第１実施形態に係るオーディオＩＰ変換装置２Ａの動作について説明する。図４は、第１実施形態に係るバッファ設定処理を示すフローチャートである。図４に示す処理において、まず、制御部２５は、オーディオＩＰ変換装置１Ｂとの間で初期パケットＰ１の送受信を行うことにより、伝送路における初期パケットＰ１の絶対遅延時間ｔｉ１を導出する（ステップＳ１）。

図５は、絶対遅延時間ｔｉ１を説明するための図である。図５に示すように、オーディオＩＰ変換装置１Ｂが初期パケットＰ１を送信すると、オーディオＩＰ変換装置２Ａの送受信部２１は、初期パケットＰ１の送信タイミングから遅延時間ｔｄ１経過後に初期パケットＰ１を受信する。送受信部２１は、初期パケットＰ１を受信すると、初期パケットＰ１を受信したことを示す受信情報を制御部２５に出力する。制御部２５は、送受信部２１から受信情報を受け取ると、送受信部２１に対して、初期パケットＰ１をオーディオＩＰ変換装置１Ｂに再度送信するように指示する。送受信部２１は、制御部２５からの指示に基づいて初期パケットＰ１をオーディオＩＰ変換装置１Ｂに送信する。オーディオＩＰ変換装置１Ｂは、送受信部２１による初期パケットＰ１の送信タイミングから遅延時間ｔｄ１´経過後に初期パケットＰ１を受信する。

オーディオＩＰ変換装置１Ｂは、初期パケットＰ１の送信タイミング（送信時刻）と初期パケットＰ１の受信タイミング（受信時刻）とから、オーディオＩＰ変換装置１ＢとオーディオＩＰ変換装置２Ａとの間の伝送路における往復遅延時間ｔｉ１を導出する。オーディオＩＰ変換装置１Ｂは、往復遅延時間ｔｉ１を絶対遅延時間とし、この絶対遅延時間ｔｉ１を示す情報をオーディオＩＰ変換装置２Ａに送信する。オーディオＩＰ変換装置２Ａにおいて、送受信部２１が絶対遅延時間ｔｉ１を示す情報を受信すると、その情報を制御部２５に出力する。

伝送路における絶対遅延時間ｔｉ１は、パケットが通過する伝送路（経路）の長さや、パケットが通過する機器（ルータなど）の個数によって定まる。この絶対遅延時間ｔｉ１が大きい程、遅延時間の揺らぎの幅（最大揺らぎ時間）が大きくなる可能性が高い。従って、絶対遅延時間ｔｉ１は、遅延時間の揺らぎを左右する要因となる。

次に、制御部２５は、パルス発生部２４によるクロックパルスＣＰの発生タイミングからパケットＰｎの受信タイミングまでの時間ｔｃｎを測定する（ステップＳ２）。図６は、揺らぎ時間の測定原理を説明するための図である。送受信部２１は、パケットを受信するごとに、パケットを受信したことを示す受信情報を制御部２５に出力する。制御部２５は、図６に示すように、送受信部２１から受信情報を受け取ると、受信情報を受け取る直前のクロックパルスＣＰの発生タイミングから受信情報を受け取ったタイミングまでの時間ｔｃｎを測定する。

次に、制御部２５は、ｍ個の時間（ｔｃｎ−ｍ，・・・，ｔｃｎ−１，ｔｃｎ）からパケットＰｎの揺らぎ時間を導出する（ステップＳ３）。具体的には、制御部２５は、パケットＰｎ−ｍ（パケットＰｎのｍ個前のパケット）の時間ｔｃｎ−ｍからパケットＰｎの時間ｔｃｎまでのｍ個の時間（ｔｃｎ−ｍ，・・・，ｔｃｎ−１，ｔｃｎ）の平均値を算出する。また、制御部２５は、時間ｔｃｎからｍ個の時間（ｔｃｎ−ｍ，・・・，ｔｃｎ−１，ｔｃｎ）の平均値を引く（減算する）ことにより、パケットＰｎの遅延時間の揺らぎ時間を導出する。

次に、制御部２５は、ｍ個の揺らぎ時間（パケットＰｎ−ｍからパケットＰｎまでの揺らぎ時間）に基づいて、最大揺らぎ時間（すなわち揺らぎの最大幅）を推定する（ステップＳ４）。本実施形態では、制御部２５は、ｍ個の揺らぎ時間の標準偏差σを算出し、３σの値を最大揺らぎ時間とする。標準偏差σは、データの散らばり具合（ばらつき）を表す数値である。３σの値を最大揺らぎ時間とすることにより、３σの値の中にｍ個の揺らぎ時間のほぼすべてが入ることになる。

なお、制御部２５は、標準偏差（揺らぎ時間の正規分布を示す）を用いて最大揺らぎ時間を算出することに代えて、ｍ個の揺らぎ時間の中の最大の時間を最大揺らぎ時間としてもよい。また、制御部２５は、ｍ個の揺らぎ時間の平均値を最大揺らぎ時間としてもよい。

その後、制御部２５は、ステップＳ１で求めた絶対遅延時間ｔｉ１と、ステップＳ４で推定した最大揺らぎ時間とを足し合わせた時間に基づいて、バッファ２２のデータ蓄積容量を設定する（ステップＳ５）。バッファ２２のデータ蓄積容量は、バッファ２２に蓄積されたパケットが読み出されるまでの時間（バッファ時間）、及びバッファ２２に蓄積可能なパケットの数に対応する。

バッファ２２から読み出されたパケットは、データ変換部２３にてデータ変換され、編集機器２Ｂに出力される。

以上に説明したように、第１実施形態では、パケットを一時的に蓄積するバッファ２２と、パケットが送信される間隔と同じ間隔でパルスを発生するパルス発生部２４と、パルスに基づいて、パケットの遅延の揺らぎ時間を導出する揺らぎ時間導出部（２５）と、揺らぎ時間導出部（２５）により導出された複数の揺らぎ時間に基づいて、最大揺らぎ時間を推定する最大揺らぎ時間推定部（２５）と、最大揺らぎ時間に基づいて、バッファ２２のデータ蓄積容量を設定する設定部（２５）と、を備える。このような構成によれば、正確な揺らぎ時間に基づいてバッファ２２のデータ蓄積容量を動的に変動させることができる。

また、第１実施形態では、揺らぎ時間導出部（２５）は、パルス発生タイミングからパケットの受信タイミングまでの時間を測定し、測定した時間に基づいて揺らぎ時間を導出する。このような構成によれば、送信側と受信側の装置１Ｂ，２Ａとの間で時刻を正確に同期させることなく、正確な揺らぎ時間を導出することができる。

また、第１実施形態では、伝送路におけるパケットの遅延時間（絶対遅延時間）を導出する遅延時間導出部（２５）を備え、設定部（２５）は、最大揺らぎ時間と遅延時間とに基づいて、バッファ２２のデータ蓄積容量を設定する。このような構成によれば、最大揺らぎ時間（揺らぎ時間の最大幅）だけでなく伝送路における遅延時間も参照して、データ蓄積容量を設定することができる。従って、突発的な遅延時間の揺らぎに対しても対応させることができる。

また、第１実施形態では、最大揺らぎ時間推定部（２５）は、複数の揺らぎ時間の標準偏差を算出し、算出した標準偏差に基づいて最大揺らぎ時間を推定する。このような構成によれば、最大揺らぎ時間の中に複数の揺らぎ時間のほぼすべてが入るようになり、バッファ２２のオーバーランやアンダーランが発生する可能性が低減される。

＜第２実施形態＞
パケットの伝送の途中において喪失するなどの伝送障害が発生することがある。このような伝送障害によって音声が途切れてしまうことを防止するために、一般に、２系統以上の伝送路を用いてパケットの伝送が行われる。しかし、伝送路によってパケットの遅延時間（絶対遅延時間）が異なる。また、その遅延時間は時間とともに変化する。すなわち、パケットの遅延時間の揺らぎが生じる。このため、送信側のオーディオＩＰ変換装置が同時に同じデータのパケットを送信した場合であっても、受信側のオーディオＩＰ変換装置は同じデータのパケットを同時に受信することができない。従って、受信側のオーディオＩＰ変換装置が、伝送障害が発生したことに基づいて音声データの切り換えを行った場合、音声データがつながらずに不自然なものとなってしまう。そこで、第２実施形態では、２系統以上の伝送路に対応付けてバッファを設け、それらのバッファにおいて各々の伝送路における遅延時間の差を補正する。

図７は、伝送路の冗長構成を示す図である。第２実施形態では、図７に示すように、送信側のオーディオＩＰ変換装置５Ｂと受信側のオーディオＩＰ変換装置６Ａとは、第１伝送路１０１及び第２伝送路１０２を介してパケットの送受信を行う。なお、オーディオＩＰ変換装置５Ｂは、例えば第１実施形態におけるオーディオＩＰ変換装置１Ｂに対応する装置とし、オーディオＩＰ変換装置６Ａは、例えば第１実施形態におけるオーディオＩＰ変換装置２Ａに対応する装置とする。

また、第１伝送路１０１の絶対遅延時間はｔｉＡであり、第２伝送路１０２の絶対遅延時間はｔｉＢであるものとする。この場合、図７に示すように、送信側のオーディオＩＰ変換装置５Ｂが同じパケットを同時に第１伝送路１０１及び第２伝送路１０２を介してそれぞれ送信した場合でも、受信側のオーディオＩＰ変換装置６Ａは、それらのパケットを時間差をあけて受信する。

図８は、第２実施形態に係るオーディオＩＰ変換装置の構成を示すブロック図である。図８に示すオーディオＩＰ変換装置（揺らぎ吸収装置、通信装置）６Ａは、第１受信部（送受信部）６１Ａ、第２受信部（送受信部）６１Ｂ、第１バッファ６２Ａ、第２バッファ６２Ｂ、切換回路６３、データ変換部６４、及び制御部（遅延時間導出部、時間差検出部、変更部）６５を有している。

図８に示すように、第１受信部６１Ａは、第１伝送路１０１と接続され、第１伝送路１０１を経由して伝送されるパケットを受信する。第２受信部６１Ｂは、第２伝送路１０２と接続され、第２伝送路１０２を経由して伝送されるパケットを受信する。第１バッファ６２Ａは、第１受信部６１Ａが受信したパケットを一時的に蓄積する。第２バッファ６２Ｂは、第２受信部６１Ｂが受信したパケットを一時的に蓄積する。第２実施形態では、制御部６５が２つのバッファ６２Ａ，６２Ｂのうちの一方のバッファに蓄積されているパケットの数を、他方のバッファに蓄積されているパケットの数に合わせて変更することにより、パケットの受信タイミングの時間差を吸収する。

切換回路６３は、伝送障害が発生したことに基づいて、伝送路（データ）を切り換える回路である。すなわち、切換回路６３は、伝送障害が発生したときに、第１バッファ６２Ａのパケットと第２バッファ６２Ｂのパケットとを切り換える。この切換回路６３は、制御部６５からの制御信号に基づいて伝送路の切り換えを実行する。データ変換部６４は、パケットをＭＡＤＩフォーマットのオーディオ信号の音声データに変換する。

制御部６５は、オーディオＩＰ変換装置６Ａの各部の制御を司る。具体的には、制御部６５は、２つの伝送路１０１，１０２を経由して伝送されたパケットの受信タイミングの時間差を検出する。また、制御部６５は、検出した時間差が所定時間以上であるか否かを判定する。制御部６５は、時間差が所定時間以上であると判定した場合、データの補間処理を実行する。また、制御部６５は、時間差を解消するために、２つのバッファ６２Ａ，６２Ｂのうちの一方のバッファに蓄積されているパケット数を他方バッファに蓄積されているパケット数に合わせるように変更（設定）する。また、制御部６５は、伝送障害が発生したか否かを判定する。制御部６５は、伝送障害が発生したと判定した場合は、切換回路６３に制御信号を出力することにより、切換回路６３に伝送路の切り換えを実行させる。なお、制御部６５は、ＣＰＵやプロセッサなどの制御装置が制御プログラムに基づいて、上述したような制御を実行することにより実現される。

図８においては、オーディオＩＰ変換装置６Ａのうちのパケットを受信する部分の構成（パケット受信装置の構成）だけを示しているが、パケットを送信する部分の構成（パケット送信装置の構成）も備えている。パケット送信装置の構成は、少なくとも、ＭＡＤＩフォーマットのオーディオ信号の音声データをパケットに変換するデータ変換部と、第１伝送路１０１に対してパケットを送信する第１送信部と、第２伝送路１０２に対してパケットを送信する第２送信部とを有している。

図９は、データサンプルの間引き及び挿入を説明するための図である。２つの伝送路１０１，１０２の遅延時間は、それぞれ、それらの伝送路１０１，１０２の状況により変化する。従って、２つのパケット（２つの伝送路１０１，１０２を経由して伝送されたパケット）の受信タイミングの時間差は、それらの伝送路１０１，１０２の状況により変化する。

制御部６５が時間差を解消するために第１バッファ６２Ａ又は第２バッファ６２Ｂのパケット数を変更する場合、図９に示すように、パケットの減少又は増加が行われる。図９（Ａ）に示すように、制御部６５がバッファ内のパケット数を減少させる場合は、パケットの間引きを行うことが考えられる。図９（Ａ）に示す例では、制御部６５が、４番目のパケット、９番目のパケット、及び１４番目のパケットを間引き（削除）することにより、１９個のパケットを１６個のパケットに減少させている。また、図９（Ｂ）に示すように、制御部６５がバッファのパケット数を増加させる場合は、同じパケットの挿入を行うことが考えられる。図９（Ｂ）に示す例では、制御部６５が、３番目のパケット、７番目のパケット、及び１１番目のパケットをコピーして挿入することにより、１６個のパケットを１９個のパケットに増加させている。しかし、このような方法によれば、パケットをつなぎ合わせたときに音声の波形に不連続な部分が発生し、その不連続な部分がノイズとなって現れる。そこで、以下に説明するような方法により、制御部２５はパケットの時間差に合わせてバッファのパケット数を変更する。

次に、第２実施形態に係るオーディオＩＰ変換装置６Ａの動作について説明する。図１０は、第２実施形態に係るバッファ変更処理を示すフローチャートである。図１０に示す処理において、制御部６５は、２つの伝送路１０１，１０２を経由して伝送された、２つのパケットの受信タイミングの時間差をタイムスタンプで検出する（ステップＳ１１）。

具体的には、第１受信部６１Ａは、第１伝送路１０１からのパケットを受信すると、パケットのヘッダに付加されているタイムスタンプを確認する。タイムスタンプには、オーディオＩＰ変換装置５Ｂがパケットを送信したときの送信時刻が格納されている。第１受信部６１Ａは、タイムスタンプに格納されている送信時刻と、第１受信部６１Ａが当該パケットを受信した受信時刻とを示す時刻情報を制御部６５に出力する。同様に、第２受信部６１Ｂは、第２伝送路１０２からのパケットを受信すると、パケットのヘッダに付加されているタイムスタンプを確認する。第２受信部６１Ｂは、タイムスタンプに格納されている送信時刻と、第２受信部６１Ｂが当該パケットを受信した受信時刻とを示す時刻情報を制御部６５に出力する。制御部６５は、第１受信部６１Ａ及び第２受信部６１Ｂから出力された時刻情報の送信時刻に基づいて、２つのパケットが同一のパケットであるか否かを判定する。また、制御部６５は、２つのパケットが同一であると判定した場合は、時刻情報の受信時刻に基づいて、２つのパケットの受信タイミングの時間差を検出する。このように、制御部６５がパケットの順序が正しいか否かを確認するために、タイムスタンプの送信時刻が使用されている（伝送中にパケットが追い越されて順序が入れ替わることがある）。従って、送信側と受信側のオーディオＩＰ変換装置において内部時計が正確に同期されている必要はない。

次に、制御部６５は、ステップＳ１１で検出した時間差が所定時間以上であるか否かを判定する（ステップＳ１２）。ここで、所定時間としては、例えばバッファから一定間隔で３個のパケットの読み出しが行われる時間とされる。制御部６５は、時間差が所定時間以上であると判定した場合は、第１バッファ６２Ａ又は第２バッファ６２Ｂ内において、データ補間を実行する（ステップＳ１３）。図１１は、データ補間を説明するための図である。図１１に示す例では、一方のバッファ（図１１の上段）には１２個のパケットが蓄積され、他方のバッファ（図１１の下段）には９個のパケットが蓄積されている。制御部６５は、バッファ内において１２個のパケットを９個のパケットに減少させる場合は、１２個のパケットの音声データに対応する点をそれぞれ通る滑らかな曲線の波形を多項式を用いて算出する。そして、制御部６５は、算出した波形における等間隔の９個の点を導出し、９個の点に対応する音声データを９個のパケットに格納する。

一方、制御部６５は、バッファ内において９個のパケットを１２個のパケットに増加させる場合は、９個のパケットの音声データに対応する点をそれぞれ通る滑らかな曲線の波形を多項式を用いて算出する。そして、制御部６５は、算出した波形における等間隔の１２個の点を導出し、１２個の点に対応する音声データを１２個のパケットに格納する。

このようなデータ補間（データサンプルの補間）を行う方法としては、ラグランジュ補間、ニュートン補間、直線補間、二次曲線近似などの方法を利用することが可能である。

制御部６５は、ステップＳ１１で検出した時間差に合わせて、第１バッファ６２Ａ又は第２バッファ６２Ｂのパケット数を減少又は増加させる（ステップＳ１４）。具体的には、制御部６５は、ステップＳ１３において実行したデータ補間後のパケットを第１バッファ６２Ａ又は第２バッファ６２Ｂに蓄積する。これにより、２つのバッファ６２Ａ，６２Ｂに蓄積されているパケット数が同数となる。なお、パケット数を変更するバッファとして、２つのバッファ６２Ａ，６２Ｂのいずれのバッファでもよい。ただし、制御部６５は、各バッファにおけるデータ蓄積容量（バッファのサイズ）に対する実蓄積量（実際に蓄積されているパケットのデータ量）の割合を考慮して、パケット数を変更するバッファを決定する。

次に、制御部６５は、伝送障害が発生したか否かを判定する（ステップＳ１５）。制御部６５は、例えばパケットのタイムスタンプに基づいて、パケットの喪失や順序の入れ替わりが発生したと判定した判定した場合に、伝送障害が発生したと判定する。制御部６５は、伝送障害が発生したと判定した場合は、切換回路６３に制御信号を出力することで、データの切り換え（伝送路の切り換え）を実行させる（ステップＳ１６）。このとき、データの切り換えが行われた場合でも、音声の波形に不連続な部分が発生することがなく、ノイズの発生が軽減される。

以上に説明したように、第２実施形態では、バッファは、一方の伝送路１０１で伝送された第１パケットを一時的に蓄積する第１バッファ６２Ａと、他方の伝送路１０２で伝送された第１パケットと同内容の第２パケットを一時的に蓄積する第２バッファ６２Ｂとを有し、第１パケットと第２パケットとの受信タイミングの時間差を検出する時間差検出部（６５）と、時間差検出部（６５）により時間差が検出された場合に、第１バッファ６２Ａ又は第２バッファ６２Ｂに蓄積されるパケット数を変更して両バッファのパケット数を一致させる変更部（６５）と、を備える。このような構成によれば、両伝送路１０１，１０２の遅延時間の違いに基づくパケットの受信タイミングの時間差を吸収することができる。

また、第２実施形態では、時間差検出部（６５）は、パケットに付加されているタイムスタンプに基づいて時間差を検出するので、既存の構成を用いて時間差を検出することができる。

また、第２実施形態では、変更部（６５）は、第１バッファ６２Ａ又は第２バッファ６２Ｂに蓄積されるパケット数を変更するときにデータ補間処理を実行するので、データの切り換えを行った場合にノイズなどの影響が軽減される。

以上、本発明の実施形態を説明したが、本発明の技術的範囲は、上記の実施形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記の実施形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。

上記した第１実施形態及び第２実施形態において、揺らぎ吸収装置は、オーディオＩＰ変換装置２ＡやオーディオＩＰ変換装置６Ａだけでなく、オーディオＩＰ変換装置１ＢやオーディオＩＰ変換装置５Ｂであってもよい。すなわち、オーディオＩＰ変換装置１ＢはオーディオＩＰ変換装置２Ａと同一構成とされ、オーディオＩＰ変換装置５ＢもオーディオＩＰ変換装置６Ａと同一構成とされてもよい。

また、上記した第１実施形態において、オーディオＩＰ変換装置１Ｂが初期パケットＰ１を送信し、オーディオＩＰ変換装置１Ｂが初期パケットＰ１を受信することにより、伝送路における往復遅延時間である絶対遅延時間を導出していた。しかし、オーディオＩＰ変換装置２Ａがパケットを送信し、オーディオＩＰ変換装置２Ａがそのパケットを受信することにより、伝送路における絶対遅延時間を導出する構成でもよい。また、上記した第１実施形態では、初期パケットＰ１を用いて絶対遅延時間を導出するように構成していたが、初期パケットＰ１ではないパケット、例えば、マイクプリアンプ１Ａにおいて録音された音声データの送信が開始された後に送信されるパケットを用いて、絶対遅延時間を導出するようにしてもよい。また、遅延時間導出部（２５）が定期的に絶対遅延時間を導出するように構成してもよい。

また、上記した第１実施形態では、絶対遅延時間は往復遅延時間としていたが、片一方の遅延時間（往路又は復路の遅延時間）としてもよい。また、図３に示した遅延時間ｔｄ１，ｔｄ２，・・・の平均値を算出し、それを絶対遅延時間としてもよい。また、上記した第１実施形態では、制御部２５は、最大揺らぎ時間と絶対遅延時間とを加算した時間に基づいて、バッファ２２のデータ蓄積容量を設定していたが、最大揺らぎ時間だけに基づいて、バッファ２２のデータ蓄積容量を設定してもよい。つまり、絶対遅延時間がわからなくてもよい。このような場合、パケット通信システムは、オーディオＩＰ変換装置１ＢとオーディオＩＰ変換装置２Ａとの間でパケットの双方向伝送が実行可能なシステムではなく、オーディオＩＰ変換装置１ＢとオーディオＩＰ変換装置２Ａとの間でパケットの一方向伝送だけが実行可能なシステムについても適用することができる。

また、上記した第１実施形態及び第２実施形態では、パケット通信システムを含むネットワークシステムの例として録音配信システムＳＹＳを挙げていたが、このようなシステムに限定されず、上記した各実施形態の構成は画像配信システムなどにおいても適用することができる。すなわち、音声データを配信するシステムに限らず、画像データを配信するシステムでもよい。また、音声データと画像データとを配信するシステムでもよい。

また、上記した第２実施形態では、伝送路は２系統とされていたが（図７参照）、伝送路が３系統以上設けられた冗長構成であってもよい。

ＳＹＳ 録音配信システム
１Ａ マイクプリアンプ
１Ｂ オーディオＩＰ変換装置（揺らぎ吸収装置、通信装置）
２Ａ オーディオＩＰ変換装置（揺らぎ吸収装置、通信装置）
２Ｂ 編集機器
５Ｂ オーディオＩＰ変換装置（揺らぎ吸収装置、通信装置）
６Ａ オーディオＩＰ変換装置（揺らぎ吸収装置、通信装置）
２１ 送受信部
２２ バッファ
２３，６４ データ変換部
２４ パルス発生部
２５，６５ 制御部（揺らぎ時間導出部、最大揺らぎ時間推定部、設定部、遅延時間導出部、時間差検出部、変更部）
６１Ａ 第１受信部（送受信部）
６１Ｂ 第２受信部（送受信部）
６２Ａ 第１バッファ
６２Ｂ 第２バッファ
６３ 切換回路

Claims (8)

1. パケットを一時的に蓄積するバッファと、
   前記パケットが送信される間隔と同じ間隔でパルスを発生するパルス発生部と、
   前記パルスに基づいて、前記パケットの遅延の揺らぎ時間を導出する揺らぎ時間導出部と、
   前記揺らぎ時間導出部により導出された複数の揺らぎ時間に基づいて、最大揺らぎ時間を推定する最大揺らぎ時間推定部と、
   前記最大揺らぎ時間に基づいて、前記バッファのデータ蓄積容量を設定する設定部と、を備え、
   前記バッファは、一方の伝送路で伝送された第１パケットを一時的に蓄積する第１バッファと、他方の伝送路で伝送された前記第１パケットと同内容の第２パケットを一時的に蓄積する第２バッファとを有し、
   前記第１パケットと前記第２パケットとの受信タイミングの時間差を検出する時間差検出部と、
   前記時間差検出部により前記時間差が検出された場合に、前記第１バッファ又は前記第２バッファに蓄積されるパケット数を変更して両バッファのパケット数を一致させる変更部と、を備えることを特徴とする揺らぎ吸収装置。
2. 前記揺らぎ時間導出部は、前記パルス発生タイミングから前記パケットの受信タイミングまでの時間を測定し、測定した時間に基づいて前記揺らぎ時間を導出することを特徴とする請求項１記載の揺らぎ吸収装置。
3. 伝送路における前記パケットの遅延時間を導出する遅延時間導出部を備え、
   前記設定部は、前記最大揺らぎ時間と前記遅延時間とに基づいて、前記バッファの前記データ蓄積容量を設定することを特徴とする請求項１または請求項２記載の揺らぎ吸収装置。
4. 前記最大揺らぎ時間推定部は、複数の揺らぎ時間の標準偏差を算出し、算出した標準偏差に基づいて前記最大揺らぎ時間を推定することを特徴とする請求項１から請求項３のうちいずれか１項に記載の揺らぎ吸収装置。
5. 前記時間差検出部は、前記パケットに付加されているタイムスタンプに基づいて前記時間差を検出することを特徴とする請求項１から請求項４のうちいずれか１項に記載の揺らぎ吸収装置。
6. 前記変更部は、前記第１バッファ又は前記第２バッファに蓄積されるパケット数を変更するときにデータ補間処理を実行することを特徴とする請求項１から請求項５のうちいずれか１項に記載の揺らぎ吸収装置。
7. パケットを送受信する送受信部と、
   前記送受信部により受信されたパケットを一時的に蓄積するバッファと、
   前記パケットが送信される間隔と同じ間隔でパルスを発生するパルス発生部と、
   前記パルスに基づいて、前記パケットの遅延の揺らぎ時間を導出する揺らぎ時間導出部と、
   前記揺らぎ時間導出部により導出された複数の揺らぎ時間に基づいて、最大揺らぎ時間を推定する最大揺らぎ時間推定部と、
   前記最大揺らぎ時間に基づいて、前記バッファのデータ蓄積容量を設定する設定部と、を備え、
   前記バッファは、一方の伝送路で伝送された第１パケットを一時的に蓄積する第１バッファと、他方の伝送路で伝送された前記第１パケットと同内容の第２パケットを一時的に蓄積する第２バッファとを有し、
   前記第１パケットと前記第２パケットとの受信タイミングの時間差を検出する時間差検出部と、
   前記時間差検出部により前記時間差が検出された場合に、前記第１バッファ又は前記第２バッファに蓄積されるパケット数を変更して両バッファのパケット数を一致させる変更部と、を備えることを特徴とする通信装置。
8. パケットを一時的に蓄積するバッファと、前記パケットが送信される間隔と同じ間隔でパルスを発生するパルス発生部と、を備え、前記バッファは、一方の伝送路で伝送された第１パケットを一時的に蓄積する第１バッファと、他方の伝送路で伝送された前記第１パケットと同内容の第２パケットを一時的に蓄積する第２バッファとを有する通信装置の制御装置に、
   前記パルスに基づいて、前記パケットの遅延の揺らぎ時間を導出する揺らぎ時間導出処理と、
   前記揺らぎ時間導出処理により導出された複数の揺らぎ時間に基づいて、最大揺らぎ時間を推定する最大揺らぎ時間推定処理と、
   前記最大揺らぎ時間に基づいて、前記バッファのデータ蓄積容量を設定する設定処理と、を実行させ、
   前記第１パケットと前記第２パケットとの受信タイミングの時間差を検出する時間差検出処理と、
   前記時間差検出処理により前記時間差が検出された場合に、前記第１バッファ又は前記第２バッファに蓄積されるパケット数を変更して両バッファのパケット数を一致させる変更処理と、を実行させることを特徴とする制御プログラム。

Images