JP3734946B2 - データ送出装置、データ受信装置及びデータ伝送装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明はパケット通信ネットワークを利用したデータ送出・受信、特にリアルタイムのデータ伝送に関するものである。
【０００２】
【従来の技術】
従来、リアルタイムデータ伝送装置は図に示すものが知られている。図１９に従来の音情報提供装置の構成を示しており、オーディオサーバ１９０１、受信端末１９０２はパケット通信ネットワーク１９０３に接続されており、音情報を提供／受信する。
【０００３】
オーディオサーバ１９０１はネットワークインタフェイス１９０４ａ、データ送信部１９０５ａ、データ受信部１９０６ａ、パケット生成部１９０７などの通常のデータ通信手段の他に、提供する音データを管理する音情報管理部１９１０、音情報管理部から出力される音データを使用するパケット通信ネットワークに合わせて符号化するマルチレートオーディオエンコーダ１９１１、エンコーダからの出力結果を一時蓄積するバッファ１９０８、受信端末から送られてくる通信状態モニタ情報を管理する通信状態モニタ情報管理部１９１２、通信状態モニタ情報を受けて送信制御をおこなう送信制御部１９１３、受信端末のユーザからの要求を受け付ける端末要求受付部１９３１、受信端末ユーザへの送信内容を管理する送信内容管理部１９３０を備える。送信制御部１９１３は通信状態モニタ情報に含まれるスループットのデータを受けて送信データレートを決定するデータレート決定部１９１３、ここで決定される送信パラメタをオーディオエンコーダ１９１１に通知する送信パラメタ通知部１９１６から構成される。
【０００４】
また、受信端末１９０２はオーディオサーバと同様な通常のデータ通信手段のほかに、データ受信部１９０６ｂからの出力を一時蓄積する受信バッファ１９０９、受信データから符号化データストリームを復元するストリーム復元部１９２２、複数段階のレートの符号化ストリームから音情報をデコードするマルチレートオーディオデコーダ１９２１、デコードされた音データから音を出力するオーディオ出力部１９２０、受信データのヘッダを解析して通信状態をモニタする通信状態モニタ部１９２３、通信状態モニタデータから一定時間区間のスループットを算出するスループット算出部１９２４、受信内容設定部１９３２、端末要求生成部１９３３を備える。
【０００５】
以上のように構成された音情報提供装置について、以下パケット通信ネットワークのモニタ情報をもとにして送信制御をおこなう動作を説明する。
【０００６】
受信端末１９０２はパケット通信ネットワーク１９０３に接続されたオーディオサーバ１９０１から音情報を受信しようとする場合、受信内容設定部１９３２で受信内容を選択し、端末要求生成部１９３３で所定のフォーマットに合わせ、データ送信部１９０５ｂから送信する。端末要求はネットワークインタフェイス１９０４ａ、１９０４ｂを介してオーディオサーバ１９０１のデータ受信部１９０６ａで受信され、端末要求受付部１９３１で受け付けられ、送信内容管理部１９３０から音情報管理部１９１０で管理するタイトルIDが指定される。
【０００７】
音情報管理部１９１０では指定されたタイトルのデータを一定速度でマルチレートオーディオエンコーダ１９１１に入力し、マルチレートオーディオエンコーダ１９１１では符号化レートの初期値でエンコードをおこなう。その結果出力される符号化データは一時バッファ１９０８に蓄積され、そこからパケット生成部１９０７が読み出し、受信端末アドレス、送信時刻をあらわすタイムスタンプ、ストリームのタイプなどの情報から成るパケットヘッダを付加して、データ送信部１９０５ａからネットワークインタフェイス部１９０４ａを介してパケット通信ネットワーク１９０３に送出される。
【０００８】
受信端末１９０２ではネットワークインタフェイス部１９０４ｂからデータ受信部１９０６ｂに読み込み、そこでパケットヘッダを分離する。ペイロードデータは受信バッファ１９０９に一時蓄積され、ストリーム復元部１９２２で元の符号化ストリームに復元され、マルチレートオーディオデコーダ１９２１でデコードされ、オーディオ出力部１９２０に渡される。一方、分離されたパケットヘッダの中からネットワーク状態に関わる情報は通信状態モニタ部１９２３に出力される。スループット算出部１９２４は通信状態モニタ１９２３からスループット算出に必要なデータを取得し、ある時間長のデータを蓄積してスループットを算出し、その結果を他の通信モニタ情報とともに適当な間隔でオーディオサーバ１９０１の通信状態モニタ情報管理部１９１２に通知する。
【０００９】
オーディオサーバ１９０１の通信状態モニタ情報管理部１９１２ではスループット情報を送信制御のためにデータレート決定部１９１４に渡し、データレート決定部１９１４では、現在のデータレートを変更する必要性についてチェックする。現在の送信データレートに対してスループットが低いようであれば、送信データレートを下げ、余裕があるようであれば、送信データレートを上げる。ここで決定されたデータレートは送信パラメタとして送信パラメタ通知部１９１６からオーディオエンコーダ１９１１に通知される。
【００１０】
これによって、パケット通信ネットワークのスループットに適応したデータレートを選択してメディアデータを送受信することができる。
【００１１】
【発明が解決しようとする課題】
従来の音情報提供装置においては、パケット通信ネットワークのスループットに送信データレートを合わせるメカニズムを有しており、最適なスループットを自動的に選択することができる。
【００１２】
しかし、パケット通信ネットワークではパケットの損失が避け難く、スループットの低下と同様にパケット損失も再生データの劣化の主要な原因であり、音情報の場合は途切れたり、デコードを続けることが不可能になったりという状態を招く。
【００１３】
本発明は、この課題を解決し、パケット損失が避けられないパケット通信ネットワークにおいても、パケット損失の再生機能への影響が抑制できる構成を提供することを目的とする。また、最大許容遅延時間を越えて到着したパケットの廃棄が連続しておこった時に対応できるバッファリング量制御が可能な構成を提供する。
【００１４】
【課題を解決するための手段】
そこで、本発明はデータ伝送（特に、リアルタイムでのデータの送出・受信）にあたり、受信側では、受信データのパケット落ちや到着遅延等の情報を監視し、その情報を送出側へ送り、送出側では、その情報をもとに、様々な形態でデータを再送するようにしたものである。これにより、リアルタイムにおける受信側でのデータ再生の途切れを最小限に抑えることができる。
【００１７】
【発明の実施の形態】
本願発明は、受信側では、送出されるパケットの損失率を監視し、その情報を送出側へ送り、送出側では、その情報からパケット損失率が所定の閾値を超えた場合は、そのパケットを分割して再送するようにしたものである。これにより受信側では、送出されるパケットの損失率を監視し、その情報を送出側へ送り、送出側では、その情報からパケット損失率が所定の閾値を超えた場合は、そのパケットを分割して再送するようにしたものである。これにより、該当する時間区間全体を表す再生データをほぼ完璧に復元することが可能となる。
【００２３】
以下、本発明の実施の形態について、図１から図１８を用いて説明する。なお、本発明はこれら実施の形態に何等限定されるものではなく、その要旨を逸脱しない範囲において、種々なる態様で実施し得る。
【００２４】
（実施の形態１）
図１は本発明の第１の実施形態におけるシステム構成図を示し、図１においてオーディオサーバ１０１、受信端末１０２はパケット通信ネットワーク１０３に接続されており、それぞれ音情報を提供し、受信する。
【００２５】
オーディオサーバ１０１はネットワークインタフェイス１０４ａ、データ送信部１０５ａ、データ受信部１０６ａ、パケット生成部１０７などの通常のデータ通信手段の他に、提供する音データを管理する音情報管理部１１０、そのデータを送信するネットワークに合わせて符号化するマルチレートオーディオエンコーダ１１１、エンコーダからの出力結果を一時蓄積するバッファ１０８、受信端末１０２から送られてくる通信状態モニタ情報を管理する通信状態モニタ情報管理部１１２、通信状態モニタ情報から送信制御おこなう送信制御部１１３、送信制御部１１３で設定されたパラメタを受けてパケットサイズを設定するパケットサイズ設定部１１７、受信端末１０２からの送信要求を受け付ける端末要求受付部１３１、受信端末１０２への送信内容を管理する送信内容管理部１３０を備える。
【００２６】
送信制御部１１３は、通信状態モニタ情報に含まれるスループットのデータを受けて送信データレートを決定するデータレート決定部１１４、通信状態モニタ情報に含まれるパケット損失率のデータを受けてパケットサイズを決定するパケットサイズ決定部１１５、送信制御部１１３での設定内容を実際の送信制御をおこなう部分に通知する送信パラメタ通知部１１６から成る。
【００２７】
また、受信端末１０２はオーディオサーバ１０１と同様な通常のデータ通信手段のほかに、データ受信部１０６ｂからの出力を一時蓄積する受信バッファ１０９、受信データから符号化データストリームを復元するストリーム復元部１２２、複数段階のレートの符号化ストリームから音情報をデコードするマルチレートオーディオデコーダ１２１、デコードされた音データから音を出力するオーディオ出力部１２０、受信データのヘッダを解析して通信状態をモニタする通信状態モニタ部１２３、通信状態モニタ結果から一定時間区間のスループットを算出するスループット算出部１２４、パケット損失率算出部１２５、受信内容設定部１３２、端末要求生成部１３３を備える。
【００２８】
以上のように構成された音情報提供装置について、以下ネットワークのモニタ情報をもとにしてパケットサイズ制御をおこなう動作を説明する。
【００２９】
受信端末１０２はパケット通信ネットワーク１０３に接続されたオーディオサーバ１０１から音情報を受信しようとする場合、受信内容設定部１３２で受信内容を選択し、端末要求生成部１３３で所定のフォーマットに合わせ、データ送信部１０５ｂから送信する。端末要求はネットワークインタフェイス１０４ａ、１０４ｂを介してオーディオサーバ１０１のデータ受信部１０６ａで受信され、端末要求受付部１３１で受け付けられ、送信内容管理部１３０から音情報管理部１１０内のタイトルIDが指定される。
【００３０】
音情報管理部１１０では指定されたタイトルのデータを一定速度でマルチレートオーディオエンコーダ１１１に入力し、マルチレートオーディオエンコーダ１１１では符号化レートの初期値でエンコードをおこなう。その結果出力される符号化データはバッファ１０８に一時蓄積され、そこからパケット生成部１０７が読み出し、受信端末アドレス、送信時刻をあらわすタイムスタンプ、ストリームのタイプなどの情報から成るパケットヘッダを付加して、データ送信部１０５ａからネットワークインタフェイス部１０４ａを介してパケット通信ネットワーク１０３に送出される。
【００３１】
受信端末１０２ではネットワークインタフェイス部１０４ｂからデータ受信部１０６ｂに読み込み、そこでパケットヘッダを分離する。ペイロードデータは受信バッファ１０９に一時蓄積され、ストリーム復元部１２２で元の符号化ストリームに復元され、マルチレートオーディオデコーダ１２１でデコードされ、オーディオ出力部１２０に渡される。一方、分離されたパケットヘッダの中からネットワーク状態に関わる情報は通信状態モニタ部１２３に出力される。スループット算出部１２４は通信状態モニタ部１２３からスループット算出に必要なデータを取得し、ある時間長のデータを蓄積してスループットを算出する。パケット損失率算出部１２５は通信状態モニタ部１２３からパケット損失率算出に必要なデータを取得し、ある時間長のデータを蓄積してパケット損失率を算出する。これらの算出結果は他の通信モニタ情報とともに適当な間隔でオーディオサーバ１０１の通信状態モニタ情報管理部１１２に通知する。
【００３２】
オーディオサーバ１０１の通信状態モニタ情報管理部１１２では送信制御のためにスループット情報をデータレート決定部１１４に渡し、データレート決定部１１４では、現在のデータレートを変更する必要性についてチェックする。現在の送信データレートに対してスループットが低いようであれば、送信データレートを下げ、余裕があるようであれば、送信データレートを上げる。同様に通信状態モニタ情報管理部１１２では送信制御のためにパケット損失率情報をパケットサイズ決定部１１５に渡し、パケットサイズ決定部１１５では、現在のパケットサイズを変更する必要性についてチェックし、現在のパケット損失率に対して適当なパケットサイズを決定する。データレート決定部１１４で決定されたデータレートとパケットサイズ決定部１１５で決定されたパケットサイズは送信パラメタ通知部１１６からそれぞれマルチレートオーディオエンコーダ１１１とパケットサイズ設定部１１７に通知され、送信制御部１１３で決定された送信方法での送信が実行される。
【００３３】
図１０にパケット損失率に対して決定されるパケットサイズの例を示す。パケット損失率が大きい場合には、オーディオサーバ側の負荷が多少増加してもパケット損失の影響を抑制するように、パケットを分割して送信するようにし、パケット損失率が小さく、オーディオエンコーダ処理上のフレーム単位のパケットをそのまま送信しても再生品質への影響が小さい場合にはそのまま送信するようにする。
【００３４】
これにより、パケットが損失した場合にも再生側が影響を受けるデータの時間区間を小さくし、再生品質が著しく劣化することを抑制することができる。
【００３５】
以上のように、本実施の形態では、
受信端末でパケット損失率算出手段を備え、オーディオサーバでは受信端末からパケット損失率データを受信し、この値をもとに送信パケットサイズを設定し、そのサイズにて再送することにより、パケットが損失した場合に再生品質が劣化する時間区間を小さくすることができ、その実用的効果は大きい。
【００３６】
（実施の形態２）
図２は本発明の第２の実施形態におけるシステム構成図を示す。図２において１０１〜１１４、１１６、１２０〜１３３は第１の実施形態と同様の構成であり、それに加えてオーディオサーバ１０１に送信多重回数決定部２０１、送信回数カウンタ２０２、受信端末１０２内に重複パケット削除部２０３を備える構成となっている。送信多重回数決定部２０１は送信制御部１０３の内部に設けられている。
【００３７】
以上のように構成された音情報提供装置について、以下ネットワークのモニタ情報をもとにして多重送信回数制御をおこなう動作を説明する。
【００３８】
受信端末１０２が音情報の送信要求をオーディオサーバ１０１に送信し、オーディオサーバ１０１から該当するタイトルの音データがエンコードされて送信され、受信端末１０２でペイロードデータがデコードされ、オーディオ出力部１２０から出力され、分離されたパケットヘッダをモニタする中からスループットとパケット損失率を算出し、オーディオサーバ１０１の通信状態モニタ情報管理部１１２に通知する動作は第１の実施形態と同様である。
【００３９】
オーディオサーバ１０１のデータレート決定部１１４では、現在のデータレートを変更する必要性についてチェックし、同様に通信状態モニタ情報管理部１１２ではパケット損失率情報を送信制御のためにパケット多重送信決定部２０１に渡し、パケット多重送信決定部２０１では、現在のパケット送信回数を変更する必要性についてチェックし、現在のパケット損失率に対して適当なパケット送信回数を決定する。図１１にパケット損失率に対して決定される同一パケット送信回数の例を示す。
【００４０】
パケット損失率が大きい場合には、オーディオサーバ側の負荷が多少増加してもパケット損失の影響を抑制するように、同一パケットを複数回数送信するようにし、パケット損失率が小さい場合には、同一パケットを一回だけ送信するようにする。パケット多重送信決定部２０１で決められた送信回数にしたがって、送信回数カウンタ２０２は同一パケットをその回数だけ送信するようにパケット送信回数を計数する。同一パケットを重複して受信する受信端末側では重複パケット削除部２０３において、ヘッダのパケットIDをチェックし、重複データを削除する。これにより、パケットが損失した場合にも再生側が影響を受ける確率を小さくし、再生品質が著しく劣化することを抑制することができる。
【００４１】
このような処理により、通信のために必要な帯域は送信回数倍だけ増加するが、それを回避する必要がある場合には、データレート決定部１１４と連動することにより、多重送信のデータレートを使用可能な通信帯域内に抑えることが可能である。
【００４２】
以上のように、本実施の形態では、
受信端末でパケット損失率算出手段を備え、オーディオサーバでは受信端末からパケット損失率データを受信し、この値をもとに同一パケット送信回数を設定することにより、パケットが損失した場合にも再生品質の劣化が発生する確率をきわめて小さく抑えることができ、その実用的効果は大きい。
【００４３】
（実施の形態３）
図３は本発明の第３の実施形態におけるシステム構成図を示す。図３において１０１〜１１４、１１６、１２０〜１３３は第１の実施形態と同様の構成であり、それに加えてオーディオサーバ１０１にフレーム分割決定部３０１を、またフレーム分割処理部３０２、送信ストリーム管理部３０３、受信端末１０２内にフレーム合成部３０４を備える構成となっている。フレーム分割決定部３０１は送信制御部１１３内に設けられている。
【００４４】
以上のように構成された音情報提供装置について、以下パケット通信ネットワークのモニタ情報をもとにしてフレーム分割制御をおこなう動作を説明する。
【００４５】
受信端末１０２が音情報の送信要求をオーディオサーバ１０１に送信し、オーディオサーバ１０１から該当するタイトルの音データがエンコードされて送信され、受信端末１０２でペイロードデータがデコードされ、オーディオ出力部１２０から出力され、分離されたパケットヘッダをモニタする中からスループットとパケット損失率を算出し、オーディオサーバ１０１の通信状態モニタ情報管理部１１２に通知する動作は第１の実施形態と同様である。
【００４６】
オーディオサーバ１０１の通信状態モニタ情報管理部１１２ではスループット情報を送信制御のためにデータレート決定部１１４に渡し、データレート決定部１１４では、現在のデータレートを変更する必要性についてチェックし、同様に通信状態モニタ情報管理部１１２ではパケット損失率情報を送信制御のためにフレーム分割決定部３０１に渡し、フレーム分割決定部３０１では、現在のフレーム処理方法を変更する必要性についてチェックし、現在のパケット損失率に対して適当なフレーム処理方法を決定する。図１２にパケット損失率に対して決定されるフレーム分割方法の例を示す。
【００４７】
パケット損失率が大きい場合には、オーディオサーバ側の負荷が多少増加してもパケット損失の影響を抑制するように、ひとつの時間区間をそれぞれが時間区間全体の解像度を下げたデータとなるように複数のフレームに分割し、それぞれエンコードして、複数ストリームとして送信するようにし、パケット損失率が小さい場合には、一つの時間区間を一フレームとして送信するようにする。フレーム分割決定部３０１で決められた分割数にしたがって、フレーム分割処理部３０２はひとつの元フレームを分割し、それぞれを別ストリームとしてマルチレートオーディオエンコーダ１１１ａ、１１１ｂでエンコードし、それぞれ別のバッファ１０８ａ、１０８ｂに一時蓄積する。送信ストリーム管理部３０３ではそれぞれのストリームを識別できるIDを含むパケットヘッダをパケット生成部１０７に渡し、パケット生成部１０７ではそれぞれのストリームごとにパケットヘッダを付加し、データ送信部１０５ａから送信するようにする。
【００４８】
受信端末１０２ではデータ受信部１０６ｂでパケットのヘッダをチェックし、ヘッダ内に示されたストリームのIDごとに別の受信バッファ１０９ａ、１０９ｂにふりわける。受信バッファ１０９ａ、１０９ｂに振り分けられたデータはストリーム復元部１２２ａ、１２２ｂで符号化ストリームに復元され、それぞれマルチレートオーディオデコーダ１２１ａ、１２１ｂに入力する。マルチレートオーディオデコーダ１２１ａ、１２１ｂからの出力をフレーム合成部３０４で合成し元のデータを復元する。
【００４９】
ここで、１フレームを分割して送信された複数パケットのうちの１パケットが失われた場合には、該当する時間区間はサンプリングレートが低いデータとみなして再生される。この部分では音質的には他の時間区間よりも劣化するが、データがぬける時間区間が発生することはなく、情報量の欠落の度合が低減できる。
【００５０】
これにより、１パケットが損失した場合にも再生側は短い時間区間で多少音質を下げることにより音を途切れずに再生することができ、再生品質が著しく劣化することを抑制することができる。また、冗長度を上げてパケット損失耐性を付加する方式に比べて、冗長性はほとんどなく、帯域を有効に使用することができる。
【００５１】
この実施形態において、オーディオデータを映像データとした場合にも同様な効果をもたらすことができる。映像データ送信方式については、１つの時間区間のデータを低解像度成分と高解像度成分とに分割し、それぞれストリームとして送信する方法が知られているが、パケット損失が発生する環境では低解像度成分のデータが失われると高解像度成分のみ受信できても映像を復元できない。本発明の方式に従えば、パケット損失率がある閾値をこえた場合に、１つの時間区間のデータを同等の情報量を持つ２つのパケットに分割して送信することにより、パケット損失によって再生系で影響を受ける度合いを低減することができる。
【００５２】
また、分割数であるが、その分割処理の手間や受信後の合成処理、全体の効率等を考えると"２"とするのが妥当であるとも思えるが、各種システムの態様に応じて３、４、その他の分割数に設定しても、一向に構わず、その場合でも、再生データの１００％近い復元、再生途切れの抑制などといった本実施の形態特有の効果に何ら影響を与えるものではない。
【００５３】
以上のように、本実施の形態では、
受信端末でパケット損失率算出手段を備え、オーディオサーバでは受信端末からパケット損失率データを受信し、この値をもとに１フレームの分割数を設定することにより、データの冗長性を持たせることなしにパケットが損失しても音の再生が途切れる確率を低減でき、再生品質の劣化を抑制することができる。
【００５４】
より具体的にいうならば、例えばＭＰＥＧの場合、特定のｉフレームが落ちると全てダメになってしまうのに対して、
本実施の形態のように、パケット損失率が特定の閾値を超えたときにメディアデータのフレームをそれぞれが解像度を下げるデータとなるように複数に分割して、１フレームあたりのデータを複数パケットで送信するように制御することができ、１パケット損失時に他の１パケットで、例え解像度を低くしても該当する時間区間全体を表す再生データを復元することができ、その実用的効果は大きい。
【００５５】
（実施の形態４）
図４は本発明の第４の実施形態におけるシステム構成図を示す。図４において１０１〜１１４、１１６、１２０〜１３３は第１の実施形態と同様の構成であり、それに加えて受信端末１０２内に廃棄パケットカウント部４０１、伝送ジッタモニタ部４０２、受信バッファ制御部４０３、再生データ調整部４０４を備える構成となっている。受信バッファ制御部４０３内には受信バッファパラメタの現在値を一時保存するバッファリング量記憶部４０５と最大許容遅延時間記憶部４０６とを備えている。
【００５６】
以上のように構成された音情報提供装置について、以下パケット通信ネットワークのモニタ情報をもとにしてバッファリング制御をおこなう動作を説明する。
【００５７】
受信端末１０２が音情報の送信要求をオーディオサーバ１０１に送信し、オーディオサーバ１０１から該当するタイトルの音データがエンコードされて送信され、受信端末１０２でペイロードデータがデコードされ、オーディオ出力部１２０から出力され、分離されたパケットヘッダをモニタする中からスループットを算出し、オーディオサーバ１０１の通信状態モニタ情報管理部１１２に通知する動作は第１の実施形態と同様である。
【００５８】
受信端末１０２の廃棄パケットカウント部４０１は通信状態モニタ部１２３から受信中に最大許容遅延時間を越えて到着し、廃棄されたパケットの数を取得して、パケット廃棄の発生状態を記憶する。伝送ジッタモニタ部４０２は通信状態モニタ部１２３から到着基準時刻に対する実到着時刻のゆらぎのデータを取得し、一定時間区間での統計量を算出し、その時間変化を監視する。これらのモニタリング結果から、受信バッファ制御部４０３は以下のようにバッファリング量の制御を行なう。
【００５９】
通常時は前記伝送ジッタモニタ部４０２から出力される平均ジッタ値から受信バッファリング量を定め、その分布にしたがっている場合の許容パケット損失率から受信パケット到着の最大許容遅延時間を決定して、バッファリングを行なう。図１３に平均ジッタ値によるバッファリング量制御の例を示す。ここでは平均ジッタ値に追従制御する場合にバッファリング量が振動を起こさないように、制御量にヒステリシスを持たせている。
【００６０】
廃棄パケットカウント部４０１ではパケット廃棄状態が急に劣化した場合にアラームをあげ、バッファリング量と最大許容遅延時間の現在値をそれぞれバッファリング量記憶部４０５と最大許容遅延時間記憶部４０６に記憶しておき、バッファリング量を増加させ、最大許容遅延時間を緩和する。また、この短期的遅延劣化状態が解消されたら、バッファリング量と最大許容遅延時間を保存した値に戻す。バッファリング量を増大させる場合には再生データの引き延ばしが、バッファリング量を減少させる場合には再生データのフラッシュが必要となる。このため再生データの時間軸調整をする再生データ調整部４０４が無音区間でのデータ引き延ばし、またはデータ削除を行ない、再生データの時間軸調整を行なう。
【００６１】
ここで、伝送遅延量が増加し、バッファにおいてデータスターベーションを引き起こす兆候が現れれば、それを緩和するように、バッファリング量を増やし再生データが途切れをおこさないように、無音区間を検出して、そこで再生時間を調整する。また、遅延量が減少してきて、バッファがオーバーフローする兆候が現れれば、それを緩和するようにバッファリング量を減らし、それによって放出されるデータの時間軸調整をおこない、無音区間を縮めて再生する。
【００６２】
これにより、ネットワーク状態の長期的な変化を示す伝送ジッタ算出部からの出力に対しては受信側のバッファリング量をゆるやかに変化させ、短期的な変化に対しては受信側のバッファリング量を急激に変化させ、短期的な劣化状態が解消されたら前記伝送ジッタ算出部からの出力値をもとに決定された元のバッファリング量に戻し、遅延量の時間的推移に対してバッファリング量を最適に設定するように制御することができ、ネットワーク状態の変化に対してスムーズな通信制御ができる。
【００６３】
以上のように、本実施の形態では、
受信端末で伝送ジッタモニタ部と短期的伝送劣化検出部とそれらからのモニタリング情報からバッファリング量を制御するバッファ制御部と再生データの時間軸調整を行なう処理部とを備えることにより、受信端末において伝送遅延の劣化を検出したときに劣化のパタンの違いに対して安定した受信制御を行なうことができ、音の再生が途切れる確率を低減し、再生品質の劣化を抑制することができる。
【００６４】
より具体的にいうならば、送信パケットを受信するためのバッファリング量をできる限り小さくして頭出しを早くすることと、再生の途切れをなくすためにバッファリング量を増やすという、従来では相矛盾した両課題を解決すべく、
会話における無音部分をカットしたり、捨てていいデータを捨てる等、ネットワーク状態の長期的な変化を示す伝送ジッタ算出部からの出力に対しては受信側のバッファリング量をゆるやかに変化させ、短期的な変化に対しては受信側のバッファリング量を急激に変化させ、短期的な劣化状態が解消されたら前記伝送ジッタ算出部からの出力値をもとに決定された元のバッファリング量に戻し、遅延量の時間的推移に対してバッファリング量を最適に設定するように制御することができ、ネットワーク状態の変化に対してスムーズな通信制御ができ、その実用的効果は大きい。
【００６５】
（実施の形態５）
図５は本発明の第５の実施形態におけるシステム構成図を示す。図５において１０１〜１１４、１２０〜１３３、４０１、４０３、４０５、４０６は第４の実施形態と同様の構成であるが、音データは音声データとし、受信端末１０２内の再生データ調整部４０４のかわりに話速変換部５０１を備える構成となっている。
【００６６】
以上のように構成された音情報提供装置について、以下パケット通信ネットワークのモニタ情報をもとにしてバッファリング制御をおこなう動作を説明する。
【００６７】
受信端末１０２が音情報の送信要求をオーディオサーバ１０１に送信し、オーディオサーバ１０１から該当するタイトルの音データがエンコードされて送信され、受信端末１０２でペイロードデータがデコードされ、オーディオ出力部１２０から出力され、分離されたパケットヘッダをモニタする中からスループットをを算出し、オーディオサーバ１０１の通信状態モニタ情報管理部１１２に通知する動作、また受信端末１０２の廃棄パケットカウント部４０１、伝送ジッタモニタ部４０２が通信状態をモニタリングし、これらのモニタリング結果から、受信バッファ制御部４０３がバッファリングサイズを変化させる動作は第４の実施形態と同様である。
【００６８】
この構成において、バッファリング量を増大させる場合には再生データの引き延ばしが、バッファリング量を減少させる場合には再生データのフラッシュが必要となる。このための再生データの時間軸調整を話速変換部５０１により、データの再生時間を変化させることにより行なう。この再生時間を制御する様子を図１４に示す。
【００６９】
ここで、伝送遅延量が増加し、バッファにおいてデータスターベーションを引き起こす兆候が現れれば、それを緩和するように、バッファリング量を増やし再生データが途切れをおこさないように、話速を下げて再生時間を調整する。また、遅延量が減少してきて、バッファがオーバーフローする兆候が現れれば、それを緩和するようにバッファリング量を減らし、それによって放出されるデータの時間軸調整（主に再生時間の縮小）をおこない、必要な時間区間だけ話速を上げて再生する。
【００７０】
これにより、無音区間が少ない再生データにおいても時間軸の調整箇所を任意にとれることになりネットワーク遅延の増減に関わらず、バッファオーバーフローによるデータ廃棄またはバッファのデータスタベーションを発生させることがなくなり、音声データの廃棄／枯渇の発生を抑制することができる。
【００７１】
以上のように、本実施の形態では、
受信端末で伝送ジッタモニタ部と短期的伝送劣化検出部とそれらからのモニタリング情報からバッファリング量を制御するバッファ制御部と再生データの時間軸調整を行なう話速変換処理部とを備え、受信端末において伝送遅延の劣化を検出したときに劣化のパタンの違いに対して安定した受信制御（滑らかな再生）を行なうことができる上に、音声データ再生の信頼性を向上でき、その実用的効果は大きい。
【００７２】
（実施の形態６）
図６は本発明の第６の実施形態におけるシステム構成図を示す。図６において１０１〜１１３、１２０〜１３３は第１の実施形態と同様の構成であり、それに加えてオーディオサーバ１０１内に送信モード決定部６０１、クロスインタリーブ部６０３、ストリーム管理部６０５、受信端末１０２内にパケット連続廃棄検出部６０２、デインタリーブ部６０４、受信制御部６０６を備える構成となっている。送信モード決定部６０１は送信制御部１１３内に設けられている。
【００７３】
以上のように構成された音情報提供装置について、以下パケット通信ネットワークのモニタ情報をもとにして誤り訂正制御をおこなう動作を説明する。
【００７４】
受信端末１０２が音情報の送信要求をオーディオサーバ１０１に送信し、オーディオサーバ１０１から該当するタイトルの音データがエンコードされて送信され、受信端末１０２でペイロードデータがデコードされ、オーディオ出力部１２０から出力される動作は第１の実施形態と同様である。
【００７５】
受信端末１０２のパケット連続廃棄検出部６０２は通信状態モニタ部１２３から受信中に最大許容遅延時間を越えて到着し廃棄されたパケットが連続して発生したことを検出し、オーディオサーバ１０１の通信状態モニタ情報管理部１１２に通知する。
【００７６】
オーディオサーバ１０１の通信状態モニタ情報管理部１１２ではパケット連続廃棄情報を送信制御のために送信モード決定部６０１に渡し、送信モード決定部６０１では、現在の送信モードを変更する必要性についてチェックする。現在のパケット連続廃棄の発生頻度が大きくなっており、誤り訂正の必要性が増大した場合には送信データに対してクロスインタリーブ処理をおこない、パケット連続廃棄の発生頻度が小さくなってきた場合に誤り訂正をオンにした送信モードであればその必要性がすくなってきたと見て、クロスインタリーブ処理を中止する。図１５にクロスインタリーブ処理の例を示す。ここでは６フレーム分をバッファリングし、８パケットで送出する処理をおこなっている。送信ストリーム管理部６０５では送信モードを示すパケットヘッダをパケット生成部１０７に渡し、パケット生成部１０７ではデータストリームにパケットヘッダを付加し、データ送信部１０５ａから送信するようにする。
【００７７】
受信端末１０２ではデータ受信部１０６ｂでパケットのヘッダを切り離して受信制御部６０６に渡し、受信制御部６０６はこのヘッダの内容をチェックし、ヘッダ内に示された送信モードによってデインタリーブ処理が必要かどうかを判断し、その判断にしたがってデインタリーブ処理ON/OFFのスイッチを切替える。
【００７８】
これにより、処理遅延は増大し、データサイズは増加するが、パケットが連続して廃棄または損失した場合に、付加した冗長度に応じて再生側が失われたデータを回復することが可能となり、再生品質が劣化することを抑制することができる。
【００７９】
以上のように、本実施の形態では、
受信端末でパケット連続廃棄検出部を備え、そこからのアラームによりオーディオサーバでクロスインタリーブ処理を付加することにより、受信端末においてパケットが連続損失または廃棄された場合にも失われたデータを回復することができ、音の再生が途切れたり、再生品質が劣化することを抑制することができる。
【００８０】
より具体的にいうならば、パケットの連続廃棄が発生していることが検出されたときは、送信データに対してクロスインタリーブ処理を行ない、受信側でデインタリーブ処理を行ない、伝送遅延によるパケット廃棄を抑制するとともにエラー訂正性能を向上させ連続パケット損失に対するデータリカバリ能力を向上させることができ、その実用的効果は大きい。
【００８１】
（実施の形態７）
図７は本発明の第７の実施形態におけるシステム構成図を示す。図７において１０１〜１１３、１１６、１２０〜１３３は第１の実施形態と同様の構成であり、それに加えてオーディオサーバ１０１の送信制御部内に通信状態モニタ結果の複数インデクスを解析するインデクス解析部７０１、最適送信パラメタを決定するためのテストを実施するテスト実行部７０２、複数インデクスのベクトルパタンを検索するインデクス類似パタン検索部７０３、インデクスパタンおよび最適送信パラメタ分布記憶部７０４、テスト実施フラグ記憶部７０５、送信制御処理部７０６を備え、受信端末１０２内に再生品質変化検出部７１０を備える構成となっている。
【００８２】
以上のように構成された音情報提供装置について、以下パケット通信ネットワークのモニタ情報が複数インデクスから成る場合に最適な送信パラメタを得るためにテストを実施してその結果から最適送信パラメタを決定する動作を説明する。
【００８３】
受信端末１０２が音情報の送信要求をオーディオサーバ１０１に送信し、オーディオサーバ１０１から該当するタイトルの音データがエンコードされて送信され、受信端末１０２でペイロードデータがデコードされ、オーディオ出力部１２０から出力される動作は第１の実施形態と同様である。
【００８４】
受信端末１０２の通信状態モニタ部１２３からはスループットやパケット損失率など通信状態をあらわす複数のインデクスが算出される。またマルチレートオーディオデコーダ１２１からは再生品質を示すデータが出力され、再生品質変化検出部７１０はこの再生品質データの時間変化を算出する。これらの複数のインデクスを受信端末１０２がオーディオサーバ１０１の通信状態モニタ情報管理部１１２に通知する。
【００８５】
オーディオサーバ１０１の通信状態モニタ情報管理部１１２では受信端末１０２から受けた複数の通信状態モニタインデクスをインデクス解析部７０１にて解析し、現在の送信方法を変更する必要性を判断する。現在の送信方法変更の必要ありと判断した場合には、最適な送信パラメタを決定するためにテストを実施するテスト実行部７０２にそのインデクスセットを渡し、テスト実施を指示する。
【００８６】
このテスト実施の手順を図１６に示し、以下、この図にしたがってテスト実施の手順を説明する。
【００８７】
テスト実行部７０２では、インデクス類似パタン検索部７０３に過去のインデクスパタンの中から現在のインデクスセットにもっとも近いインデクスパタンの検索を依頼する。インデクスパタンおよび最適送信パラメタ分布記憶部７０４では過去のインデクスパタンをベクトルとしてクラスタ化することにより、データを分類して記憶しており、インデクス類似パタン検索部７０３は現在のインデクスセットと代表ベクトル間の距離を計算することにより、もっとも近いインデクスパタンを高速に検索する。また、インデクス類似パタン検索部７０３は該当するインデクスパタンにおいて過去にテストを実施して得られた最適送信パラメータの分布も同時にデータとして出力する。
【００８８】
テスト実行部７０２では最適送信パラメタの分布をもとにテストパラメタを複数セット生成し、順次送信パラメタ通知部にテストパラメタを１セットずつ渡し、テストを実施する。テスト開始時にテスト実施フラグ記憶部７０５のデータをONにセットする。
【００８９】
受信端末１０２では通常時と同様に通信状態モニタ結果として複数インデクスをデータサーバ１０１に返し、データサーバ１０１のインデクス解析部７０１ではテスト実施フラグ７０５がセットされている場合は、無条件でテスト実行部７０２にインデクスデータを渡す。テスト実行部７０２では受信端末１０２から返される再生品質を示すインデクスが収束するまで同一パラメタセットでのテストを続け、ひとつのパラメータセットに対して代表インデクスセットが決定できたら、次のパラメタセットでのテストを実施する。
【００９０】
テスト実行部７０２では用意したひととおりのテストを実施し、必要ならば再度パラメタセットを用意してテストを繰り返し、再生品質を示すインデクスを最大化するパラメータセットを求める。このパラメータセット最適化が収束したと判断したところで、その送信パラメタを送信パラメータ通知部１１６に渡し、テスト実施フラグ記憶部７０５のデータをクリアする。また、インデクスに対する最適送信パラメタのデータをもって、インデクス類似パタン検索部７０３を介してインデクスパタンおよび最適送信パラメタ分布記憶部７０４の最適送信パラメタ分布を更新する。
【００９１】
これにより、再生品質が劣化したときに、過去のテスト結果をもとにテスト用のパラメタセットを作成し、そのテスト結果からあらたに最適な送信パラメタを決定して、前記送信制御処理部にそのパラメタを渡してテストを実施し、新たなテスト結果はふたたびインデクスパタンおよび最適送信パラメタ分布に反映させていくことにより、特徴的な通信状態のインデクスパタンに対する最適な送信方法を学習させることができる。
【００９２】
以上のように、本実施の形態では、
受信端末からデータサーバに通知される再生品質インデクスと複数の通信状態モニタインデクスのパタンに対して、送信パラメータをある範囲でふってテストをおこない最適な送信パラメタを決定することを繰り返すことにより、環境に応じて最適な通信をおこなう通信メカニズムを提供できるものであり、その実用的効果は大きい。
【００９３】
（実施の形態８）
図８は本発明の第８の実施形態におけるシステム構成図を示す。図８において双方向通信端末８０１はパケット通信ネットワーク１０３に接続されており、同様の端末間で音声情報を送受信する。
【００９４】
双方向通信端末８０１はネットワークインタフェイス１０４、データ送信部１０５、データ受信部１０６、パケット生成部１０７などの通常のデータ通信手段の他に、アプリケーション処理部８０２、ユーザデータ送受信部８０３、音声を入力するマイクなどの音声入力部８０４、音声入力部から入力された音声から有音区間を検出する有音区間検出部８０５、有音区間の音データを送信するパケット通信ネットワークに合わせて符号化／復号化する音声CODEC８０６、音声CODECからの符号化出力結果を一時蓄積するバッファ１０８、データ受信部１０６からの出力を一時蓄積する受信バッファ１０９、受信データから符号化データストリームを復元するストリーム復元部１２２、CODECでデコードされた再生データの時間軸調整をおこない、無音区間は快適雑音生成機能などによって、自然な再生音に修正する再生データ調整部８０７、再生データ調整部８０７で調整した結果のデータを出力するオーディオ出力部１２０、パケット生成部１０７からデータ送信部１０５への入力状態と、データ受信部１０６から受信バッファ１０９への入力状態をモニタして、複数端末間の音声送信状況を把握するコミュニケーションパタン判定部８０８、コミュニケーションパタン判定部８０８からの判定結果を得て、受信バッファを制御する受信バッファ制御部８０９を備える構成となっている。
【００９５】
以上のように構成された双方向通信端末について、以下２端末間の送信状況をモニタして受信バッファ制御をおこなう動作を説明する。
【００９６】
双方向通信端末８０１はパケット通信ネットワーク１０３に接続された他の同様な双方向端末と音声通信しているときに、音声入力部８０４から音声を入力し、有音区間検出部８０５で有音区間を検出し、検出された有音区間の音データを音声CODEC８０６で圧縮し、その結果出力される符号化データはバッファ１０８に一時蓄積され、そこからパケット生成部１０７が読み出し、受信端末アドレス、送信時刻をあらわすタイムスタンプ、ストリームのタイプなどの情報から成るパケットヘッダを付加して、データ送信部１０５からネットワークインタフェイス部１０４を介してパケット通信ネットワーク１０３に送出される。有音区間が終了し、無音区間にはいったことが検出された場合は、有音区間終了の制御パケットを送出する。
【００９７】
一方、受信データはネットワークインタフェイス部１０４からデータ受信部１０６に読み込まれ、そこでパケットヘッダを分離する。ペイロードデータは受信バッファ１０９に一時蓄積され、ストリーム復元部１２２で元の符号化ストリームに復元され、音声CODEC８０６でデコードされ、再生データ調整部８０７に渡される。再生データ調整部８０７では、音声CODEC８０６でデコードされた再生データの時間軸調整をおこない、無音区間は快適雑音を生成してデータを付加するなどの処理によって、自然な再生音に修正する。再生データ調整部８０７で調整した結果のデータはオーディオ出力部１２０から出力される。
【００９８】
この動作の中でパケット生成部１０７からデータ送信部１０５への入力データサイズと、データ受信部１０６から受信バッファ１０９への入力データサイズをコミュニケーションパタン判定部８０８に入力し、コミュニケーションパタン判定部８０８では双方が送信するデータサイズのある時間区間での和の差分をとり、その時間変化をモニタする。その様子を図１７に示す。
実際の判定は以下のようにしておこなう。各端末間の送信データ量の差分をとり、その値の時間変化をモニタして、ゼロクロスの頻度をカウントする。図１７ａのように、ゼロクロスの頻度が大きいときは端末ユーザ間で発言者が頻繁に交代しているきっこう状態を示し、このような場面では円滑なコミュニケーション環境を提供するために低遅延が要求される。また、図１７ｂのように、ゼロクロスの頻度が小さいときは１端末のユーザからの一方的な発言パタンになっていることを示し、このような場面ではそれほど低遅延は要求されない。このような場合にはバッファリング量を増大させ、データ再生の品質を向上させることが可能である。
【００９９】
コミュニケーションパタン判定部８０８できっこう状態と判断された時は受信バッファ制御部８０９で平均ジッタ値などから受信バッファリング量を定め、その分布にしたがっている場合の許容パケット損失率から受信パケット到着の最大許容遅延時間を決定して、バッファリングを行なう。また、コミュニケーションパタン判定部８０８で一方的発言状態と判断された時は受信バッファ制御部８０９で通常の値よりもバッファリング量を増加させ、最大許容遅延時間を緩和する。
【０１００】
コミュニケーションパタン判定部８０８でパタンが変化したことを検出した場合には、受信バッファ制御部８０９でバッファリング量を変化させることになるが、有音区間だけのデータを送信しているので、再生データの調整は無音区間長の増減により容易である。それでもバッファのオーバーフロー、データスタベーションが発生する場合は、再生データ調整部８０７が公知の話速変換の技術などを用いて再生データの時間軸調整をおこなう。また、無音区間では快適雑音を生成し、自然な再生データを出力する。
【０１０１】
これにより、同一のコミュニケーションに関わる複数地点の中で、自端末からのデータ送信量に比べて相手端末からのデータ送信量が一方的に大きいことが判定されたときは、自端末での受信最大許容遅延量を大きくし、伝送遅延によるパケット廃棄を抑制するように制御することができ、低遅延を要求しないユーザの端末ではメディアデータ伝送の品質を向上させることができる。
【０１０２】
この実施形態において複数端末間でコミュニケーションする場合にも適用することができる。コミュニケーションパタン判定部８０８ではデータ受信部１０６で受信するパケットの送信元アドレスから自端末以外に何端末が現在のコミュニケーションに関与しているのか知ることができる。その自端末以外にパケットを送出している端末数をＮとすると、パケット生成部１０７からデータ送信部１０５への入力データサイズと、データ受信部１０６から受信バッファ１０９への入力データサイズをコミュニケーションパタン判定部８０８に入力し、コミュニケーションパタン判定部８０８では自端末が送信するデータサイズのＮ倍と自端末以外が送信するデータサイズのある時間区間での和の差分をとり、その時間変化をモニタする。２端末間の場合と同様にして、この差分値の時間変化をモニタして、ゼロクロスの頻度をカウントし、ゼロクロスの頻度が大きいときは自端末ユーザを含む端末間で発言者が頻繁に交代しているきっこう状態を示し、このような場面では円滑なコミュニケーション環境を提供するためにバッファリング量を小さくし、ゼロクロスの頻度が小さいときは、自端末ユーザがコミュニケーションにおいて聞く側に回っていることを示し、このような場面ではバッファリング量を増大させ、データ再生の品質を向上させることが可能である。
【０１０３】
以上のように、本実施の形態では、
各双方向通信端末において各端末の送信状態をモニタすることによってコミュニケーションパタンを判定し、遅延が発生してもコミュニケーションを阻害しないと判断される端末において、遅延条件を緩めてデータ受信の品質を向上させることを可能にする構成を提供するものであり、その実用的効果は大きい。
【０１０４】
（実施の形態９）
図９は本発明の第９の実施形態におけるシステム構成図を示す。図９において双方向通信端末８０１内部の１０４〜１０９、１２０、１２２、８０２〜８０８は第８の実施形態と同様の構成であり、それに加えて、クロスインタリーブ部９０１とデインタリーブ部９０２とを備える構成となっている。
【０１０５】
以上のように構成された双方向通信端末について、以下複数端末間の送信状況をモニタしてデータ誤り制御をおこなう動作を説明する。
【０１０６】
双方向通信端末８０１が他の同様な双方向端末と音声通信する際のデータ処理の流れは第８の実施形態と同様である。コミュニケーションパタン判定部８０８では各端末が送信するデータサイズのある時間区間での和をとり、その時間変化をモニタする。モニタデータの例を図１８に示す。ここで、図１８ａのように各端末からの送信量が特定の端末に片よっていない場合は、端末ユーザ間で発言者が頻繁に交代しているきっこう状態を示し、このような場面では円滑なコミュニケーション環境を提供するために低遅延が要求される。
【０１０７】
この場合は多少パケット損失が発生してもできるだけ低遅延で送受信をおこなうことが重要であるので、クロスインタリーブ処理はおこなわない。図１８ｂのように特定の一端末からの送信量のみがある程度長い時間区間に渡って突出して大きいことが検出されたら、１端末のユーザからの一方的な発言パタンになっていることを示し、このような場面ではそれほど低遅延は要求されない。このような場合にはクロスインタリーブ処理をおこなう。
【０１０８】
コミュニケーションパタン判定部８０８でパタンが変化したことを検出した場合には、クロスインタリーブ処理をon/offするので、結果的にバッファリング量を変化させることになるが、バッファリングを増大させる場合には再生データの引き延ばしが、バッファリング量を減少させる場合には再生データのフラッシュが必要となる。このため再生データの時間軸調整をするには再生データ調整部８０７が無音区間でのデータ引き延ばし、またはデータ削除を行ない、再生データの時間軸調整を行なう。あるいは公知の話速変換の技術を用いて再生データの時間軸調整を行なうことも可能である。無音区間では快適雑音を生成し、人間の知覚にとって自然な再生データを出力する。
【０１０９】
これにより、同一のコミュニケーションに関わる複数地点の中で、特定の１地点からのデータ送信量が突出していることが判定されたときは、他地点での受信最大許容遅延量を大きくし、
また送信データに対してクロスインタリーブ処理を行ない、受信側でデインタリーブ処理を行ない、伝送遅延によるパケット廃棄を抑制するとともにエラー訂正性能を向上させ連続パケット損失に対するデータリカバリ能力を向上させることができ、低遅延が第一優先事項として要求されないようなコミュニケーションパタンではメディアデータ伝送の品質を向上させ、連続パケット廃棄や連続パケット損失が発生しても付加した冗長度に応じた程度まで回復することができる。
【０１１０】
以上のように、本実施の形態では、
各双方向通信端末において複数端末間で音声コミュニケーションをとっているときに、各端末の送信状態をモニタすることによってコミュニケーションパタンを判定し、遅延が発生してもコミュニケーションを阻害しないと判断される場合には、誤り訂正処理を付加し、データ受信の品質を向上させることを可能にする構成を提供するものである。
【０１１１】
なお、以上の実施の形態１から９において、メディアデータを音情報とした場合の実施の形態を説明してきたが、映像情報など他のメディアについても同様に適用できるものである。また、本発明において１種類のメディアデータを送信した場合の実施の形態を説明してきたが、複数メディアを同時に送信する場合についても同様に適用できるものである。また第１から第７の実施の形態については、オーディオサーバから受信端末への１方向性のメディアデータ送信とした場合の実施の形態を説明したが、双方向通信端末についても同様な構成が適用できるものである。また、第１から第７の実施の形態については、オーディオサーバにおいて端末から要求があったときに圧縮符号化をおこなう構成について説明したが、必要ならばスケーラブルな方式で前もって圧縮符号化したデータを蓄積しておき、要求に応じて所定のデータを取り出してパケット化して送出する構成としても良い。
【０１１２】
【発明の効果】
以上のように本発明によれば、
第１に、受信側では、送出されるパケットの損失率を監視し、その情報を送出側へ送り、送出側では、その情報からパケット損失率が所定の閾値を超えた場合は、送信パケットのサイズを小さくして再送するようにしたものである。これにより、パケット損失時の再生への影響を小さくすることができる。
【０１１３】
第２に、受信側では、送出されるパケットの損失率を監視し、その情報を送出側へ送り、送出側では、その情報からパケット損失率が所定の閾値を超えた場合は、同一のパケットを多重送信するようにしたものである。これにより、パケット損失時にある時間区間のデータがすべて失われる確率を極めて小さく抑えることができる。
また、多重送信されたパケットの内、重複するものは受信側で削除するようにすれば、多重受信による受信側での無駄な処理も容易に解消できる。
【０１１４】
第３に、受信側では、送出されるパケットの損失率を監視し、その情報を送出側へ送り、送出側では、その情報からパケット損失率が所定の閾値を超えた場合は、そのパケットを分割して再送するようにしたものである。これによ受信側では、送出されるパケットの損失率を監視し、その情報を送出側へ送り、送出側では、その情報からパケット損失率が所定の閾値を超えた場合は、そのパケットを分割して再送するようにしたものである。これにより、該当する時間区間全体を表す再生データをほぼ完璧に復元することが可能となる。
【０１１５】
第４に、受信側では、ジッタと呼ばれるデータ遅延・データ損失による揺らぎを監視し、そのジッタと受信データのバッファリング量とを制御して、再生データを再生するための調整を行うものである。これにより、遅延量の時間駅推移に対してバッファリング量を最適に設定することができるので、滑らかな再生に加えネットワーク状態の変化に対してスムーズな通信制御ができる。
【０１１６】
第５に、前記第５の発明において特に対象データが時間軸を有する音声や動画といった場合、再生データを再生するための調整として、その時間軸調整を行うものであり、同様の効果が得られる。
【０１１７】
第６に、受信側では、到着遅延によるパケット廃棄、伝送中におけるパケット損失等の情報を監視し、その情報を送出側へ送り、送出側では、その情報から必要ならばクロスインタリーブを施した上で再送し、受信側でデインタリーブを施しデータ再生するようにしたものである。これにより、パケット廃棄・損失を抑制すると共に、エラー訂正性能を向上させ、結果連続パケット損失に対するデータリカバリ性能を向上させることができる。
【０１１８】
第７に、受信側では、受信したデータの再生の際にその再生品質に関する情報を監視し、その情報を送出側へ送り、送出側では、その情報を蓄積・テストすることにより、再生品質向上のための学習を行い、その学習によって得られた情報に基づいてデータ伝送制御を行うものである。これにより、最適な送信方法を学習させていくことができる。
【０１１９】
第８に、双方向通信の機能を有する装置間で、それぞれの送信量・受信量を監視し、それによってそれぞれのバッファリング量を制御するものである。これにより、低遅延（高速双方向通信）を要求しないユーザ端末には、バッファリング量を大きくする（伝送遅延によるパッケト廃棄などを抑制できる）ため、データ伝送品質を向上させることができる。一方、低遅延（高速双方向通信）を要求するユーザ端末には、バッファリング量を小さくするため、データ伝送速度を向上させることができる。
また、前記第８の発明において特に対象データが時間軸を有する音声や動画といった場合、再生データを再生するための調整として、その時間軸調整を行うものであり、同様の効果が得られる。
【０１２０】
第９に、前記第８の発明においてそのデータ伝送の際にインタリーブを施す（誤り訂正処理を付加する）ことにより、データ受信品質を更に向上させることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施形態における音情報提供装置を示すシステム構成図
【図２】本発明の第２の実施形態における音情報提供装置を示すシステム構成図
【図３】本発明の第３の実施形態における音情報提供装置を示すシステム構成図
【図４】本発明の第４の実施形態における音情報提供装置を示すシステム構成図
【図５】本発明の第５の実施形態における音情報提供装置を示すシステム構成図
【図６】本発明の第６の実施形態における音情報提供装置を示すシステム構成図
【図７】本発明の第７の実施形態における音情報提供装置を示すシステム構成図
【図８】本発明の第８の実施形態における双方向通信端末を示すシステム構成図
【図９】本発明の第９の実施形態における双方向通信端末を示すシステム構成図
【図１０】本発明の第１の実施形態におけるパケットサイズ制御の例図
【図１１】本発明の第２の実施形態における同一パケット送信回数制御の例図
【図１２】本発明の第３の実施形態におけるフレーム分割制御の例図
【図１３】本発明の第４の実施形態におけるバッファリング量制御の図
【図１４】本発明の第５の実施形態における再生時間制御の例図
【図１５】本発明の第６の実施形態におけるクロスインタリーブ処理の例図
【図１６】本発明の第７の実施形態におけるテスト実施手順を示すフローチャート
【図１７】本発明の第８の実施形態におけるコミュニケーションパタン判定の例図
【図１８】本発明の第９の実施形態におけるモニタデータの例図
【図１９】従来の音情報提供装置を示すシステム構成図
【符号の説明】
１０１ オーディオサーバ
１０２ 受信端末
１０３ パケット通信ネットワーク
１０４、１０４ａ、１０４ｂ ネットワークインタフェイス部
１０５、１０５ａ、１０５ｂ データ送信部
１０６、１０６ａ、１０６ｂ データ受信部
１０７ パケット生成部
１０８ バッファ
１０９ 受信バッファ
１１０ 音情報管理部
１１１、１１１ａ、１１１ｂ マルチレートオーディオエンコーダ
１１２ 通信状態モニタ情報管理部
１１３ 送信制御部
１１４ データレート決定部
１１５ パケットサイズ決定部
１１６ 送信パラメタ通知部
１１７ パケットサイズ設定部
１２０ オーディオ出力部
１２１、１２１ａ、１２１ｂ マルチレートオーディオデコーダ
１２２ ストリーム復元部
１２３ 通信状態モニタ部
１２４ スループット算出部
１２５ パケット損失率算出部
１３０ 送信内容管理部
１３１ 端末要求受付部
１３２ 受信内容設定部
１３３ 端末要求生成部
２０１ 送信多重回数決定部
２０２ 送信回数カウンタ
２０３ 重複パケット削除部
３０１ フレーム分割決定部
３０２ フレーム分割処理部
３０３ 送信ストリーム管理部
３０４ フレーム合成部
４０１ 廃棄パケットカウント部
４０２ 伝送ジッタモニタ部
４０３ 受信バッファ制御部
４０４ 再生データ調整部
４０５ バッファリング量記憶部
４０６ 最大許容遅延時間記憶部
５０１ 話速変換部
６０１ 送信モード決定部
６０２ パケット連続廃棄検出部
６０３ クロスインタリーブ部
６０４ デインタリーブ部
６０５ ストリーム管理部
６０６ 受信制御部
７０１ インデクス解析部
７０２ テスト実行部
７０３ インデクス類似パタン検索部
７０４ インデクスパタンおよび最適送信パラメタ分布記憶部
７０５ テスト実施フラグ記憶部
７０６ 送信制御処理部
７１０ 再生品質変化検出部
８０１ 双方向通信端末
８０２ アプリケーション処理部
８０３ ユーザデータ送受信部
８０４ マイク
８０５ 有音区間検出部
８０６ 音声CODEC
８０７ 再生データ調整部
８０８ コミュニケーションパタン判定部
８０９ 受信バッファ制御部
９０１ クロスインタリーブ部
９０２ デインタリーブ部
１９０１ オーディオサーバ
１９０２ 受信端末
１９０３ パケット通信ネットワーク
１９０４ａ、１９０４ｂ ネットワークインタフェイス
１９０５ａ、１９０５ｂ データ送信部
１９０６ａ、１９０６ｂ データ受信部
１９０７ パケット生成部
１９０８ バッファ
１９０９ 受信バッファ
１９１０ 音情報管理部
１９１１ マルチレートオーディオエンコーダ
１９１２ 通信状態モニタ情報管理部
１９１３ 送信制御部
１９１４ データレート決定部
１９１６ 送信パラメタ通知部
１９２０ オーディオ出力部
１９２１ マルチレートオーディオデコーダ
１９２２ ストリーム復元部
１９２３ 通信状態モニタ部
１９２４ スループット算出部
１９３０ 送信内容管理部
１９３１ 端末要求受付部
１９３２ 受信内容設定部
１９３３ 端末要求生成部

Claims (6)

1. パケット通信ネットワークに接続し、ネットワークインタフェイスを備え、所定のアドレスに対してリアルタイムデータを送信するデータサーバと、前記パケット通信ネットワークに接続し、前記データサーバからのデータを受信して即時に再生する受信端末とから構成され、
   前記データサーバは、各メディアデータ供給手段と、前記メディアデータ供給手段からのデータを入力し複数段階の出力レートに対応して圧縮する複数段階出力レート対応メディアデータ圧縮手段と、前記複数段階出力レート対応メディアデータ圧縮手段で圧縮されたメディアデータをパケットにしてパケット通信ネットワークに送出するパケット送出手 段と、前記パケット送出手段から送信したパケットの到着状態レポートデータを受信側から受けとり、通信状態モニタ情報を管理する通信状態モニタ情報管理手段と、前記通信状態モニタ情報管理手段からのスループットデータによって送信するメディアデータのデータレートを決定する送信制御手段と、を備え、前記送信制御手段からの制御データによって前記メディアデータ圧縮手段における圧縮率を複数段階に切替えることができ、
   前記受信端末は、前記データサーバから送られてくるデータパケットをパケット通信ネットワークから受信するパケット受信手段と、前記パケット受信手段で受信したパケットからデータストリームを復元するストリーム復元部と、前記ストリーム復元部から出力される圧縮データを受けとって伸長するメディアデータ伸長手段と、前記パケット受信手段で受信したパケットのヘッダを解析してスループットを算出する受信側通信状態モニタ手段と、前記受信側通信状態モニタ手段でのモニタ結果を到着状態レポートデータとしてデータサーバへ返すデータ送信手段と、を備え、
   前記受信端末の通信状態モニタ手段は、パケット損失率を算出するパケット損失率算出部を有し、前記通信状態モニタデータ送信手段によってパケット損失率をデータサーバに通知し、データサーバ側には通知されたパケット損失率データによってメディアデータのフレーム分割をおこなうかどうかを決定する送信モード決定部と、送信モード決定部からの切替えデータを受けてフレームの処理方法を切替え、分割したそれぞれの部分フレームが、そのフレームの時間区間全体にわたるデータの解像度を下げたものとなるように分割する機能を持つ送信フレーム処理部と、送信モード決定部からの切替えデータを受けて切替えられるフレーム送信モードによって異なる圧縮データ送信用パケットヘッダを付加する送信ストリーム管理部と、を更に備え、受信端末には受信パケットのヘッダをチェックして、フレーム送信モードを判断する受信ストリーム管理部と、前記ストリーム復元部が複数分割ストリームをそれぞれ複数の前記メディアデータ伸長手段に入力する機能と、複数の前記メディアデータ伸長手段からの伸長データを合成処理する受信フレーム処理部と、を更に備え、
   パケット損失率が所定の閾値を越えたときにメディアデータのフレームをそれぞれが単独で全体の解像度を下げて復元できるデータとなるように複数に分割して１フレームあたりのデータを複数パケットで送信するように制御することを特徴とするリアルタイムデータ伝送装置。
2. 受信側のパケット損失率を送信側でモニタリングして、前記パケット損失率をもとに１フレームの分割数を決定し１フレームに対応するデータを分割された複数パケットで送信するメディアデータ送信方法であって、
   前記複数パケットは、全部で該当する時間区間分のメディアデータを元品質で復元でき、さらに単体でも前記時間区分のメディアデータの解像度を下げて復元可能なデータであることを特徴とする、メディアデータ送信方法。
3. 請求項２に記載のメディアデータ送信方法であって、
   メディアデータとはオーディオデータであり、
   前記複数パケットは全部で該当する時間区分のオーディオデータの元サンプリングレートに対応し、いくつかのパケットが損失された場合でも、サンプリングレートの低下したオーディオデータとして前記時間区分に対応できる、
   ことを特徴とするメディアデータ送信方法。
4. 請求項２に記載のメディアデータ送信方法であって、
   メディアデータとは映像データであり、
   前記複数パケットは全部で該当する時間区分の映像データの元解像度に対応し、いくつかのパケットが損失された場合でも、解像度の低下した映像データとして前記時間区分に対応できる、
   ことを特徴とするメディアデータ送信方法。
5. 受信端末にメディアデータをパケットとして送信するメディアデータ送信装置であって、
   前記受信端末のパケット損失率を管理する通信状態モニタ情報管理部と、
   前記パケット損失率に応じて１フレームの分割数を決定するフレーム分割処理部と、
   分割されたフレームをそれぞれ別ストリームとしてエンコードするマルチレートエンコーダと、
   それぞれのストリームに応じてパケットを生成するパケット生成部と、
   を具備し、
   生成される複数のパケットは、全部で該当する時間区間分のメディアデータを元品質で復元でき、さらに単体でも前記時間区分のメディアデータの解像度を下げて復元可能なデータであることを特徴とする、メディアデータ送信装置。
6. 請求項５記載のメディアデータ送信装置にパケット損失率を通知して受信データの時間欠落を防止するメディアデータ受信端末であって、
   パケット損失率を算出する通信状態モニタ部と、
   前記パケット損失率を前記メディアデータ送信装置に送信するデータ送信部と、
   前記パケット損失率に応じて前記メディアデータ送信装置から送信される複数のパケットを受信するデータ受信部と、
   前記複数のパケットを請求項５記載のストリームごとに復元するマルチレートデコーダと、
   前記マルチレートデコーダの出力を合成するフレーム合成部と、
   を具備し、
   前記複数のパケットは、全部で該当する時間区間分のメディアデータを元品質で復元でき、さらに単体でも前記時間区分のメディアデータの解像度を下げて復元可能なデータであることを特徴とする、メディアデータ受信端末。

Images