JP5186094B2

JP5186094B2 - 通信端末、マルチメディア再生制御方法、およびプログラム

Info

Publication number: JP5186094B2
Application number: JP2006269178A
Authority: JP
Inventors: 耕二山宮; 智副古屋野; 孝充朝倉
Original assignee: サクサ株式会社; サクサシステムエンジニアリング株式会社
Priority date: 2006-09-29
Filing date: 2006-09-29
Publication date: 2013-04-17
Anticipated expiration: 2026-09-29
Also published as: JP2008092161A

Description

本発明は、データ通信技術に関し、特にデータ通信網を介して映像と音声を並行して転送するマルチメディア通信技術に関する。

データ通信網の大容量化に伴って、音声や映像などのメディア情報を高速でデータ通信することが可能となり、上記データ通信網を介して複数の地点間で会議を行う会議システムが導入されつつある。また、上記データ通信網を介して、映画や放送番組など、大容量のメディア情報を利用者へ配信するメディア配信サービスシステムも導入されつつある。

このようなシステムでは、音声と映像を並行して転送するマルチメディア通信技術が用いられる。一般的なマルチメディア通信技術では、音声データと映像データがそれぞれ個別のプロトコルで転送され、受信側の通信端末において別個のコーデックにより信号処理されて再生される。したがって、受信側の通信端末における両者の再生タイミングに時間的ズレが生じた場合、その再生品質の劣化の原因となる。

従来、このようなマルチメディア通信において、音声と映像の同期をとる技術として、音声データと映像データの時刻情報（タイムスタンプ）の時間的ズレを、音声データと映像データの独自拡張ヘッダに格納して受信側に通知し、受信側の通信端末で、このズレに基づき映像データが音声データと同じまたは遅れていると判断した場合には映像データを再生し、音声データより進んでいる場合には映像データの再生を停止する技術が提案されている（例えば、特許文献１など参照）。

特開平１０−２７１４８２号公報

しかしながら、このような従来技術では、音声データと映像データの一時的なズレについては対応できるものの、継続的なズレについては対応できないという問題点があった。
例えば、データ通信網において、音声データの転送経路と映像データの転送経路に違いがある場合には、それぞれの転送経路の経路長やトラヒック状況によって、送信側から受信側までの転送所要時間に差が生じる。この差は、数個のデータで解消されるものではなく、転送経路が切り替えられない限りデータ通信網上において継続的に発生する。

したがって、例えば映像データに比較して音声データの転送所要時間が常に大きい場合、受信側端末で映像データの再生を停止して音声データと同期させても一時的な対応にとどまり、継続的なズレについては対応できない。
本発明はこのような課題を解決するためのものであり、音声データと映像データの間で継続的に発生する時間的ズレを容易に解消することができる通信端末、マルチメディア再生制御方法、およびプログラムを提供することを目的としている。

このような目的を達成するために、本発明にかかる通信端末は、データ通信網を介して相手端末から送信された音声データと映像データを受信し、これらデータに設定されている個々の時刻情報に基づき両者を同期させて再生する通信端末であって、受信した音声データを所定の基準バッファサイズに応じた蓄積数だけ揺らぎ吸収バッファに蓄積し、一定間隔からなる音声再生タイミングの到来に応じて音声データを順次読み出して再生するとともに、当該音声データの音声時刻情報を再生中時刻情報として記憶部へ格納する音声処理手段と、受信した映像データを映像バッファへ順次蓄積し、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データの映像時刻情報と再生中時刻情報とを比較し、その比較結果に基づいて映像データの再生要否を判断するとともに基準バッファサイズを調整する映像処理手段とを備え、映像処理手段で、映像時刻情報が再生中時刻情報より進んでいる場合、当該映像再生タイミングにおける映像データの再生を行わず、基準バッファサイズを減らし、音声処理手段で、音声データの蓄積数が基準バッファサイズを下回った場合には音声データの蓄積数が基準バッファサイズとなるまで次の音声データの読み出しおよび再生を行わず、音声データの蓄積数が基準バッファサイズを上回った場合には音声データの蓄積数が基準バッファサイズとなるまで次の音声データを再生せずに破棄するようにしたものである。

また、本発明にかかる他の通信端末は、データ通信網を介して相手端末から送信された音声データと映像データを受信し、これらデータに設定されている個々の時刻情報に基づき両者を同期させて再生する通信端末であって、受信した音声データを所定の基準バッファサイズに応じた蓄積数だけ揺らぎ吸収バッファに蓄積し、一定間隔からなる音声再生タイミングの到来に応じて音声データを順次読み出して再生するとともに、当該音声データの音声時刻情報を再生中時刻情報として記憶部へ格納する音声処理手段と、受信した映像データを映像バッファへ順次蓄積し、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データの映像時刻情報と再生中時刻情報とを比較し、その比較結果に基づいて映像データの再生要否を判断するとともに基準バッファサイズを調整する映像処理手段とを備え、映像処理手段で、所定の監視期間にわたり継続して映像時刻情報が再生中時刻情報より進んでいる場合、当該映像再生タイミングにおける映像データの再生を行わず、基準バッファサイズを減らし、音声処理手段で、音声データの蓄積数が基準バッファサイズを下回った場合には音声データの蓄積数が基準バッファサイズとなるまで次の音声データの読み出しおよび再生を一時中断し、音声データの蓄積数が基準バッファサイズを上回った場合には音声データの蓄積数が基準バッファサイズとなるまで次の音声データを再生せずに破棄するようにしたものである。

また、映像処理手段で、映像時刻情報が再生中時刻情報より遅れている場合、当該映像再生タイミングにおいて映像データの再生を行うとともに、基準バッファサイズを増やすようにしてもよい。
あるいは、映像処理手段で、所定の監視期間にわたり継続して映像時刻情報が再生中時刻情報より遅れている場合、当該映像再生タイミングにおいて映像データの再生を行うとともに、基準バッファサイズを増やすようにしてもよい。

また、映像処理手段で、映像時刻情報が再生中時刻情報と等しい場合、当該映像再生タイミングにおいて映像データの再生を行うようにしてもよい。

また、映像処理手段で、基準バッファサイズを調整する際、映像時刻情報と再生中時刻情報の時間差分に相当するサイズだけ基準バッファサイズを調整するようにしてもよい。

また、映像処理手段で、映像時刻情報が再生中時刻情報より遅れている場合、映像時刻情報が再生中時刻情報以前の映像データのうち、当該映像時刻情報が最も大きい最新の映像データ以外を、映像バッファからすべて破棄した後、当該映像再生タイミングにおいて映像データの再生を行うとともに、基準バッファサイズを増やすようにしてもよい。

また、本発明にかかるマルチメディア再生制御方法は、データ通信網を介して相手端末から送信された音声データと映像データを受信して、これらデータに設定されている個々の時刻情報に基づき両者を同期させて再生する通信端末のマルチメディア再生制御方法であって、受信した音声データを所定の基準バッファサイズに応じた蓄積数だけ揺らぎ吸収バッファに蓄積し、一定間隔からなる音声再生タイミングの到来に応じて音声データを順次読み出して再生するとともに、当該音声データの音声時刻情報を再生中時刻情報として記憶部へ格納する音声処理ステップと、受信した映像データを映像バッファへ順次蓄積し、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データの映像時刻情報と再生中時刻情報とを比較し、その比較結果に基づいて映像データの再生要否を判断するとともに基準バッファサイズを調整する映像処理ステップとを備え、映像処理ステップは、映像時刻情報が再生中時刻情報より進んでいる場合、当該映像再生タイミングにおける映像データの再生を行わず、基準バッファサイズを減らし、音声処理ステップで、音声データの蓄積数が基準バッファサイズを下回った場合には音声データの蓄積数が基準バッファサイズとなるまで次の音声データの読み出しおよび再生を行わず、音声データの蓄積数が基準バッファサイズを上回った場合には音声データの蓄積数が基準バッファサイズとなるまで次の音声データを再生せずに破棄するようにしたものである。

また、本発明にかかるプログラムは、コンピュータを、前述したいずれか１つに記載の通信端末を構成する各部として機能させるためのプログラムである。

本発明によれば、通信端末において、相手端末から受信した音声データは、音声処理手段により揺らぎ吸収バッファに順次蓄積され、一定間隔からなる音声再生タイミングの到来に応じて音声データを順次読み出して再生され、この際、音声データの蓄積数が基準バッファサイズを下回った場合には次の音声データの読み出しおよび再生が一時中断され、音声データの蓄積数が基準バッファサイズを上回った場合には次の音声データが再生されずに破棄され、再生された音声データの音声時刻情報が再生中時刻情報として記憶部へ格納され、相手端末から受信した映像データは、映像処理手段により、映像バッファへ順次蓄積され、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データの映像時刻情報と再生中時刻情報とが比較され、この比較結果に基づいて映像データの再生要否が判断されるとともに基準バッファサイズが調整され、音声データの蓄積数が基準バッファサイズを下回った場合には音声データの蓄積数が基準バッファサイズとなるまで次の音声データの読み出しおよび再生が行われず、音声データの蓄積数が基準バッファサイズを上回った場合には音声データの蓄積数が基準バッファサイズとなるまで次の音声データが再生されずに破棄される。この際、映像時刻情報が再生中時刻情報より進んでいる場合、当該映像再生タイミングにおける映像データの再生が行われず、基準バッファサイズが減らされる。あるいは、所定の監視期間にわたり継続して映像時刻情報が再生中時刻情報より進んでいる場合、当該映像再生タイミングにおける映像データの再生を行われず、基準バッファサイズが減らされる。

これにより、音声データと映像データの時刻情報の比較結果に応じて、揺らぎ吸収バッファでの音声データに対する遅延時間、すなわち受信側の通信端末内での音声データに対する遅延時間が調整されることになり、音声データの再生タイミングを継続的に調整することが可能となる。したがって、例えばデータ通信網上の通信経路の違いに起因して音声データと映像データの間で継続的にズレが発生する場合でも、音声データと映像データを容易に同期再生することが可能となる。
また、揺らぎ吸収バッファは、音声メディア通信で一般的に用いられているものであるため、本実施の形態によれば、新たなバードウェアを追加することなく、その基準バッファサイズを調整するという制御方法を変更するだけで容易に対応できる。

次に、本発明の実施の形態について図面を参照して説明する。
［第１の実施の形態］
まず、図１を参照して、本発明の第１の実施の形態にかかる通信端末について説明する。図１は、本発明の第１の実施の形態にかかる通信端末の構成を示すブロック図である。
この通信端末１は、通信回線２を介してデータ通信網３に接続されるパソコンなどの通信機能を有する情報処理端末からなり、データ通信網３を介して相手端末４からマルチメディア情報として送信された音声データと映像データを受信し、これらデータに設定されている個々の時刻情報に基づき両者を同期させて再生する機能を有している。

本実施の形態は、通信端末１において、相手端末４から受信した音声データについては、所定の基準バッファサイズに応じた時間だけ揺らぎ吸収バッファに蓄積し、一定間隔からなる音声再生タイミングの到来に応じて音声データを順次読み出して再生するとともに、当該音声データの音声時刻情報を再生中時刻情報として記憶部へ格納し、相手端末４から受信した映像データについては、映像バッファへ順次蓄積し、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データの映像時刻情報と再生中時刻情報とを比較し、その比較結果に基づいて映像データの再生要否を判断するとともに基準バッファサイズを調整するようにしたものである。

以下、図１を参照して、本発明の第１の実施の形態にかかる通信端末の構成について説明する。
通信端末１には、主な機能部として、通信インターフェース部（以下、通信Ｉ／Ｆ部という）１１、操作入力部１２、音声出力部１３、画面表示部１４、バッファ部１５、記憶部１６、および制御部１７が設けられている。

通信Ｉ／Ｆ部１１は、専用の通信回路からなり、通信回線２およびデータ通信網３を介して相手端末４との間で、データ通信のための制御用メッセージやマルチメディア情報を送受信する機能を有している。
操作入力部１２は、キーボードやマウスなどの操作入力装置からなり、利用者の操作を検出して制御部１７へ出力する機能を有している。

音声出力部１３は、専用の音声出力回路からなり、制御部１７から指示された着信音や確認音などの信号音や相手端末４からの音声データをスピーカ（図示せず）から音声信号として再生出力する機能を有している。
画面表示部１４は、ＬＣＤやＰＤＰなどの画面表示装置からなり、制御部１７から出力された各種操作画面や相手端末４からの映像データ情報を画面表示する機能を有している。

バッファ部１５は、メモリなどの記憶装置からなり、個々のバッファを用いて、相手端末４から受信した音声データや映像データを一時的に蓄積する機能を有している。なお、バッファ部１５は、記憶部１６と別個のハードウェアで構成してもよく、同一のハードウェアを共用してもよい。
バッファ部１５に設けられた主なバッファとしては、揺らぎ吸収バッファ１５Ａと映像バッファ１５Ｂがある。

揺らぎ吸収バッファ１５Ａは、受信した音声データを順次蓄積するバッファである。制御部１７は、この揺らぎ吸収バッファ１５Ａを用いて、所定の基準バッファサイズに応じた時間だけ音声データを蓄積した後に順次読み出すことにより、音声データの到着間隔の揺らぎを吸収して、一定間隔で音声データを再生する。また制御部１７は、再生する音声データと映像データの時刻差に基づいて基準バッファサイズを調整することにより、音声データの遅延時間を増減して映像データと同期させて再生する。
映像バッファ１５Ｂは、受信した映像データを順次蓄積するバッファである。制御部１７は、この映像バッファ１５Ｂを用いて、映像を順次読み出して再生する。

記憶部１６は、ハードディスクやメモリからなり、制御部１７での処理に用いる各種情報やプログラム１６Ｐを記憶する機能を有している。
プログラム１６Ｐは、制御部１７に読み出されて実行されることにより各種機能手段を実現するプログラムである。このプログラム１６Ｐは、外部装置や記録媒体（図示せず）から予め読み込まれて記憶部１６に格納される。
記憶部１６で記憶している主な情報として、再生中時刻情報１６Ａがある。この再生中時刻情報１６Ａは、音声出力部１３で再生している音声データの音声時刻情報であり、制御部１７により順次更新される。

制御部１７は、ＣＰＵなどのマイクロプロセッサとその周辺回路を有し、記憶部１６からプログラム１６Ｐを読み出して実行することにより、上記ハードウェアとプログラム１６Ｐを協働させて各種機能手段を実現する。
制御部１７で実現される主な機能手段としては、通信制御手段１７Ａ、統計情報処理手段１７Ｂ、音声処理手段１７Ｃ、および映像処理手段１７Ｄがある。

通信制御手段１７Ａは、通信Ｉ／Ｆ部１１を介して各種呼制御メッセージを送受信することにより、データ通信網３を介して相手端末４とのマルチメディア通信を実現する機能を有している。
統計情報処理手段１７Ｂは、通信Ｉ／Ｆ部１１を介して相手端末４から送信される当該マルチメディア通信に関する統計情報を受信する機能と、当該統計情報に含まれる音声データおよび映像データに関する時刻情報に基づいて音声データおよび映像データに付加されている個々の時刻情報に対するオフセットをそれぞれ算出する機能とを有している。

音声処理手段１７Ｃは、通信Ｉ／Ｆ部１１を介して相手端末４からの音声データを受信してバッファ部１５の揺らぎ吸収バッファ１５Ａへ順次蓄積する機能と、一定間隔からなる音声再生タイミングの到来に応じて揺らぎ吸収バッファ１５Ａから音声データを順次読み出して音声出力部１３で再生する機能と、再生している音声データの音声時刻情報を再生中時刻情報として記憶部へ格納する機能とを有している。

映像処理手段１７Ｄは、通信Ｉ／Ｆ部１１を介して相手端末４からの映像データを受信して映像バッファ１５Ｂへ順次蓄積する機能と、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データに付加されている映像時刻情報と記憶部１６の再生中時刻情報１６Ａとを比較する機能と、当該比較結果に基づいて映像データの再生要否を判断する機能と、当該比較結果に基づいて揺らぎ吸収バッファ１５Ａの基準バッファサイズを調整する機能とを有している。

［第１の実施の形態の動作］
次に、図２を参照して、本発明の第１の実施の形態にかかる通信端末の動作について説明する。図２は、本発明の第１の実施の形態にかかる通信端末の映像再生処理を示すフローチャートである。

ここでは、通信端末１がデータ通信網３を介して相手端末４と接続した後、相手端末４から送信されてくる音声データと映像データを順次受信し、これらデータに設定されている個々の時刻情報に基づき両者を同期させて再生する場合について説明する。なお、音声データおよび映像データは、一般的なマルチメディア通信プロトコルであるＲＴＰ(Real-time Transport Protocol)に基づいて相手端末４から送信されるものとする。また、通信端末１と相手端末４との間のマルチメディア通信制御については、一般的なマルチメディア通信制御プロトコルであるＲＴＣＰ(RTP Control Protocol)に基づいて制御されるものとする。

通信端末１の制御部１７は、利用者による相手端末４とのマルチメディア通信要求操作が操作入力部１２で検出された場合、通信制御手段１７Ａにより、ＲＴＣＰに基づくマルチメディア通信要求メッセージを通信Ｉ／Ｆ部１１から相手端末４宛てに送信する。
このマルチメディア通信要求メッセージは、通信回線２およびデータ通信網３を介して相手端末４へ転送される。この後、通信制御手段１７Ａにより、相手端末４との間で各種呼制御メッセージが送受信されて相手端末４とのＲＴＰセッションが確立され、相手端末４からの音声データおよび映像データの送信すなわちマルチメディア通信が開始される。

制御部１７は、マルチメディア通信の開始に応じて、統計情報処理手段１７Ｂによる統計情報処理を開始する。また、音声処理手段１７Ｃによる音声データの受信および再生処理と、映像処理手段１７Ｄによる映像データの受信および再生処理も並行して開始する。

統計情報処理手段１７Ｂは、通信Ｉ／Ｆ部１１を介して相手端末から送信された、音声データおよび映像データに関する統計情報（RTCP Sender Report）をそれぞれ受信し、音声データおよび映像データに付加されている個々の時刻情報に対するオフセットをそれぞれ算出する。

通常、音声データや映像データには、当該データを送信した時刻を示す時刻情報が付加されているが、この時刻情報としては任意の時点を基準とする相対的な時刻が両者で用いられるため、時刻情報の差から直接的に音声データと映像データの時刻差、すなわち音声データと映像データのズレを算出することはできない。これに対して、統計情報には音声データや映像データの時刻情報（RTP timestamp）とＧＭＴなどの基準時刻（NTP timestamp）が付加されている。このため、これら時刻情報の時刻差すなわちオフセットを、音声データおよび映像データの統計情報のそれぞれから算出しておくことにより、基準時刻を仲立ちとして音声データと映像データの時刻差を得ることができる。

音声処理手段１７Ｃは、通信Ｉ／Ｆ部１１を介して相手端末から送信された音声データ(RTC)を受信し、バッファ部１５の揺らぎ吸収バッファ１５Ａへ順次蓄積する。また、一定間隔からなる音声再生タイミングの到来に応じて、揺らぎ吸収バッファ１５Ａから音声データを順次読み出して音声出力部１３で再生する。この際、再生する音声データに付加されている音声時刻情報を取得し、記憶部１６に再生中時刻情報１６Ａとして保存する。

揺らぎ吸収バッファ１５Ａには、所定の基準バッファサイズ（しきい値）が設けられており、音声処理手段１７Ｃは、この基準バッファサイズ分だけ音声データが常に蓄積されるよう、音声データの読み出しを調整する。

例えば、音声データの到着タイミングが遅れて、揺らぎ吸収バッファ１５Ａでの音声データの蓄積数が基準バッファサイズを下回った場合、次の音声データの読み出しおよび再生を一時中断することにより、音声データの蓄積数を調整する。この際、前回再生分や次回再生分の音声データに類似した補完的な音声データを生成して再生することにより、音声データの蓄積数が調整される。

一方、音声データの到着タイミングが早まり、揺らぎ吸収バッファ１５Ａでの音声データの蓄積数が基準バッファサイズを上回った場合、次の音声データを再生せずに破棄することにより、音声データの蓄積数を調整する。

映像処理手段１７Ｄは、通信Ｉ／Ｆ部１１を介して相手端末から送信された音声データ(RTC)を受信し、バッファ部１５の映像バッファ１５Ｂへ順次蓄積する。また、一定間隔からなる音声再生タイミングの到来に応じて、図２に示す映像再生処理を実行する。
映像処理手段１７Ｄは、まず、映像バッファ１５Ｂ内に映像データが蓄積されているか確認し（ステップ１００）、映像データが格納されていない場合は（ステップ１００：ＮＯ）、映像再生処理を終了する。

一方、映像バッファ１５Ｂ内に映像データが蓄積されている場合（ステップ１００：ＹＥＳ）、映像処理手段１７Ｄは、映像バッファ１５Ｂ内に蓄積されている映像データのうち、次に再生すべき映像データに付加されている映像時刻情報Ｔｖを参照するとともに（ステップ１０１）、記憶部１６の再生中時刻情報Ｔａ（１６Ａ）を参照する（ステップ１０２）。

続いて、統計情報処理手段１７Ｂで得られたオフセットでこれら映像時刻情報Ｔｖと再生中時刻情報Ｔａを補正した後、両者を比較する（ステップ１０３）。
ここで、映像時刻情報Ｔｖが再生中時刻情報Ｔａより進んでいる場合（Ｔｖ＞Ｔａ：ステップ１０４：ＹＥＳ）、映像処理手段１７Ｄは、揺らぎ吸収バッファ１５Ａの基準バッファサイズを減らし（ステップ１０５）、映像再生処理を終了する。

これにより、揺らぎ吸収バッファ１５Ａでは、前述した、音声データの蓄積数が基準バッファサイズを上回った場合と同様に、音声処理手段１７Ｃにより、音声データの蓄積数が基準バッファサイズとなるよう音声データが破棄される。
この結果、通信端末１内での音声データの遅延時間が短縮され、音声データと映像データの間で継続的に発生する時間的ズレ、ここでは音声データに対して継続的に発生する遅延が解消されることになる。また、音声データが破棄されるため、音声データと映像データの再生タイミングが同期することになる。なお、音声処理手段１７Ｃにより音声データの破棄を実行するタイミングについては、基準バッファサイズの変更に応じて実行してもよく、次の音声再生タイミングが到来した際に実行してもよい。

一方、映像時刻情報Ｔｖが再生中時刻情報Ｔａより進んでおらず（ステップ１０４：ＮＯ）、映像時刻情報Ｔｖが再生中時刻情報Ｔａより遅れている場合（Ｔｖ＜Ｔａ：ステップ１０６：ＹＥＳ）、映像処理手段１７Ｄは、揺らぎ吸収バッファ１５Ａの基準バッファサイズを増やすとともに（ステップ１０７）、映像バッファ１５Ｂから次に再生すべき映像データを読み出して、画面表示部１４により表示再生し（ステップ１０８）、映像再生処理を終了する。

これにより、揺らぎ吸収バッファ１５Ａでは、前述した、音声データの蓄積数が基準バッファサイズを下回った場合と同様に、音声処理手段１７Ｃにより、音声データの蓄積数が基準バッファサイズとなるまで音声データの読み出しおよび再生が一時中断される。
この結果、音声データと映像データの間で継続的に発生するズレ、ここでは映像データに対して継続的に発生する遅延が解消されることになる。

また、映像時刻情報Ｔｖが再生中時刻情報Ｔａより遅れておらず、映像時刻情報Ｔｖが再生中時刻情報Ｔａと等しい場合（Ｔｖ＜Ｔａ：ステップ１０６：ＮＯ）、ステップ１０８へ移行し、映像バッファ１５Ｂから次に再生すべき映像データを読み出して、画面表示部１４により表示再生し、映像再生処理を終了する。

なお、ステップ１０４およびステップ１０６において、映像時刻情報Ｔｖと再生中時刻情報Ｔａとを比較する場合、これら比較結果が所定の監視期間にわたり継続している場合にのみ、揺らぎ吸収バッファの基準バッファサイズを増減するようにしてもよい。
この際、監視期間としては、例えは１秒間などの時間でもよく、受信した音声データ１００個分に相当するデータ数であってもよい。

例えば、監視期間として時間を用いる場合には、ステップ１０３での映像時刻情報と再生中時刻情報との比較結果が変化した時点から時間の計時を開始するタイマを用い、このタイマがタイムアップした時点でステップ１０４やステップ１０６の判断を行えばよい。また、監視期間としてデータ数を用いる場合には、ステップ１０３での映像時刻情報と再生中時刻情報との比較結果が変化した時点から音声データの受信データ数の計数を開始するカウンタを用い、このカウンタの計数値が所定しきい値に到達した時点でステップ１０４やステップ１０６の判断を行えばよい。
これにより、音声データや映像データの突発的な遅れやわずかな遅れ変動に対する敏感な反応が抑制されて、基準バッファサイズを安定して調整することができ、音声データおよび映像データをスムーズに再生することができる。

図３は、本実施の形態にかかる通信端末での受信処理例を示す説明図であり、映像データが音声データより進んでいる場合の受信処理例が示されている。
時刻Ｔ０の初期状態において、揺らぎ吸収バッファ１５Ａには音声データＡ１０〜Ａ１３が蓄積されており、基準バッファサイズＢＬは音声データ蓄積数に等しい「４」に設定されている。一方、映像バッファ１５Ｂには映像データＶ１１，Ｖ１４が蓄積されている。なお、この例では、１つの映像データに対して３つの音声データが対応しており、映像データＶ１１は音声データＡ１１と同期再生されるべきデータであり、映像データＶ１４は音声データＡ１４と同期再生されるべきデータである。

時刻Ｔ１において、音声データＡ１４が到着した場合、この音声データＡ１４は揺らぎ吸収バッファ１５Ａに蓄積される。
続く時刻Ｔ２において、音声再生タイミングが到来した場合、音声処理手段１７Ｃにより、揺らぎ吸収バッファ１５Ａから最も音声時刻情報の古い音声データＡ１０が読み出され、音声出力部１３から再生出力される。これにより、揺らぎ吸収バッファ１５Ａには音声データＡ１１〜Ａ１４が蓄積されていることになる。また、記憶部１６の再生中時刻情報１６Ａは、再生中の音声データＡ１０の音声時刻情報Ｔａ１０を示すことになる。

その後、時刻Ｔ３において、映像再生タイミングが到来した場合、映像処理手段１７Ｄにより、映像バッファ１５Ｂ内の次に再生すべき映像データＶ１１の映像時刻情報Ｔｖ１１が、再生中時刻情報１６ＡのＴａ１０と比較される。この場合、映像時刻情報Ｔｖ１１が音声時刻情報Ｔａ１０より進んでいることから、映像処理手段１７Ｄにより、揺らぎ吸収バッファ１５Ａの基準バッファサイズＢＬが、映像時刻情報Ｔｖ１１と音声時刻情報Ｔａ１０の差分だけ、ここでは音声データ１つ分だけ減らされて「３」となり、音声データの遅延時間ＴＤが短縮されたことになる。
これにより、揺らぎ吸収バッファ１５Ａでは、音声処理手段１７Ｃにより、音声データＡ１１が１つだけ読み出されて破棄され、音声データと映像データの間で継続的に発生するズレ、ここでは音声データに対して継続的に発生する遅延が解消されることになる。

図４は、本実施の形態にかかる通信端末での他の受信処理例を示す説明図であり、映像データが音声データより遅れている場合の受信処理例が示されている。
時刻Ｔ０の初期状態において、揺らぎ吸収バッファ１５Ａには音声データＡ１０〜Ａ１３が蓄積されており、基準バッファサイズＢＬは音声データ蓄積数に等しい「４」に設定されている。一方、映像バッファ１５Ｂには映像データＶ０９，Ｖ１２が蓄積されている。なお、この例では、１つの映像データに対して３つの音声データが対応しており、映像データＶ０９は音声データＡ０９（図示せず）と同期再生されるべきデータであり、映像データＶ１２は音声データＡ１２と同期再生されるべきデータである。

その後、時刻Ｔ３において、映像再生タイミングが到来した場合、映像処理手段１７Ｄにより、映像バッファ１５Ｂ内の次に再生すべき映像データＶ０９の映像時刻情報Ｔｖ０９が、再生中時刻情報１６ＡのＴａ１０と比較される。この場合、映像時刻情報Ｔｖ０９が音声時刻情報Ｔａ１０より遅れていることから、映像処理手段１７Ｄにより、映像バッファ１５Ｂから次に再生すべき映像データＶ０９が読み出され、画像表示部１４により表示再生される。

また、映像処理手段１７Ｄにより、揺らぎ吸収バッファ１５Ａの基準バッファサイズＢＬが、映像時刻情報Ｔｖ０９と音声時刻情報Ｔａ１０の差分だけ、ここでは音声データ１つ分だけ増やされて「５」となり、音声データの遅延時間ＴＤが延長されたことになる。
これにより、揺らぎ吸収バッファ１５Ａについては、音声処理手段１７Ｃにより、以降の音声再生タイミングにおいて、音声データの蓄積数が基準バッファサイズＢＬを超えるまで音声データの読み出しが中断され、例えば擬似音声データが代わりに補間再生され、結果として音声データと映像データの間で継続的に発生するズレ、ここでは映像データに対して継続的に発生する遅延が解消されることになる。

このように、本実施の形態は、通信端末１において、相手端末４から受信した音声データについては、音声処理手段１７Ｃにより、所定の基準バッファサイズに応じた時間だけ揺らぎ吸収バッファ１５Ａに蓄積し、一定間隔からなる音声再生タイミングの到来に応じて音声データを順次読み出して再生するとともに、当該音声データの音声時刻情報を再生中時刻情報１６Ａとして記憶部１６へ格納し、相手端末４から受信した映像データについては、映像処理手段１７Ｄにより、映像バッファ１５Ｂへ順次蓄積し、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データの映像時刻情報と再生中時刻情報１６Ａとを比較し、その比較結果に基づいて映像データの再生要否を判断するとともに基準バッファサイズを調整している。

これにより、音声データと映像データの時刻情報の比較結果に応じて、揺らぎ吸収バッファ１５Ａでの音声データに対する遅延時間、すなわち受信側の通信端末１内での音声データに対する遅延時間が調整されることになり、音声データの再生タイミングを継続的に調整することが可能となる。したがって、例えばデータ通信網３上の通信経路の違いに起因して音声データと映像データの間で継続的にズレが発生する場合でも、音声データと映像データを容易に同期再生することが可能となる。
また、揺らぎ吸収バッファは、音声メディア通信で一般的に用いられているものであるため、本実施の形態によれば、新たなバードウェアを追加することなく、その基準バッファサイズを調整するという制御方法を変更するだけで容易に対応できる。

また、本実施の形態では、揺らぎ吸収バッファ１５Ａの基準バッファサイズを調整する際、映像時刻情報と再生中時刻情報１６Ａの時間差分に相当するサイズだけ基準バッファサイズを調整するようにしたので、音声データと映像データの間の時間的ズレを一括して調整することができ、このズレに起因して発生する、マルチメディア通信に対する品質劣化の影響を最小限に抑制することができる。

また、本実施の形態において、揺らぎ吸収バッファ１５Ａの基準バッファサイズの削減に伴って複数の音声データを破棄する際、揺らぎ吸収バッファ１５Ａに蓄積されている音声データのうち、古いものから順に選択して破棄してもよいが、蓄積されている複数の音声データから間隔を開けてまばらに選択して破棄してもよい。これにより、連続した音声データを一括して破棄する場合と比較して音飛びの発生を回避でき、通信品質の劣化を抑制できる。

また、本実施の形態において、揺らぎ吸収バッファ１５Ａの基準バッファサイズの増加に伴って複数の擬似音声データを補間再生する際、揺らぎ吸収バッファ１５Ａに蓄積されている音声データをそのまま蓄積しておいて、基準バッファサイズの増加分だけ擬似音声データを一括して補間再生してもよいが、蓄積されている複数の音声データの間にまばらに補間再生してもよい。これにより、擬似音声データを一括して補間再生する場合と比較して擬似データによる違和感の発生を回避でき、通信品質の劣化を抑制できる。

また、揺らぎ吸収バッファ１５Ａの基準バッファサイズを調整した際、例えば特開２００５−３１８３７９号公報に開示された公知技術を利用して、音声データに含まれる音声波形周期を単位として、音声データの破棄や擬似音声データの補間再生を行うようにしてもよい。これにより、音声波形の不連続性に起因して発生しうる雑音の影響を抑制することが可能となる。

［第２の実施の形態］
次に、図５を参照して、本発明の第２の実施の形態にかかる通信端末について説明する。図５は、本発明の第２の実施の形態にかかる通信端末の映像再生処理を示すフローチャートであり、前述した図２と同じまたは同等部分には同一符号を付してある。

第１の実施の形態では、映像再生処理において、映像データの映像時刻情報Ｔｖが音声データの再生中時刻情報Ｔａより遅れている場合（Ｔｖ＜Ｔａ）には、揺らぎ吸収バッファ１５Ａの基準バッファサイズを増やすとともに、映像バッファ１５Ｂから次に再生すべき映像データを読み出して表示再生する場合を例として説明した。

本実施の形態では、映像時刻情報Ｔｖが再生中時刻情報Ｔａより遅れている場合（Ｔｖ＜Ｔａ）、映像バッファ１５Ｂから次に再生すべき映像データを読み出す前に、映像時刻情報Ｔｖが再生中時刻情報Ｔａ以前の映像データのうち、当該映像時刻情報Ｔｖが最も大きい最新の映像データ以外を、映像バッファ１５Ｂからすべて破棄した後、当該映像再生タイミングにおいて映像データの再生を行う場合を例として説明する。なお、本実施の形態にかかる通信端末１の構成は、前述した第１の実施の形態と同様であり、ここでの詳細な説明は省略する。

通信端末１の制御部１７は、映像処理手段１７Ｄにより、通信Ｉ／Ｆ部１１を介して相手端末から送信された音声データ(RTC)を受信し、バッファ部１５の映像バッファ１５Ｂへ順次蓄積する。また、一定間隔からなる音声再生タイミングの到来に応じて、図５に示す映像再生処理を実行する。
映像処理手段１７Ｄは、まず、映像バッファ１５Ｂ内に映像データが蓄積されているか確認し（ステップ１００）、映像データが格納されていない場合は（ステップ１００：ＮＯ）、映像再生処理を終了する。

一方、映像バッファ１５Ｂ内に映像データが蓄積されている場合（ステップ１００：ＹＥＳ）、図２と同様にしてステップ１０１〜１０３を実行し、映像時刻情報Ｔｖが再生中時刻情報Ｔａより進んでいる場合（Ｔｖ＞Ｔａ：ステップ１０４：ＹＥＳ）、映像処理手段１７Ｄは、揺らぎ吸収バッファ１５Ａの基準バッファサイズを減らし（ステップ１０５）、映像再生処理を終了する。

一方、映像時刻情報Ｔｖが再生中時刻情報Ｔａより進んでおらず（ステップ１０４：ＮＯ）、映像時刻情報Ｔｖが再生中時刻情報Ｔａより遅れている場合（Ｔｖ＜Ｔａ：ステップ１０６：ＹＥＳ）、映像処理手段１７Ｄは、揺らぎ吸収バッファ１５Ａの基準バッファサイズを増やすとともに（ステップ１０７）、その映像時刻情報が再生中時刻情報Ｔａ以前の映像データのうち、映像時刻情報が最も大きい最新の映像データ以外を、映像バッファ１５Ｂからすべて破棄する（ステップ１１０）。これにより、音声データと映像データの再生タイミングが同期することになる。

この後、映像処理手段１７Ｄは、映像バッファ１５Ｂから次に再生すべき映像データを読み出して、画面表示部１４により表示再生し（ステップ１０８）、映像再生処理を終了する。
これにより、揺らぎ吸収バッファ１５Ａでは、前述した、音声データの蓄積数が基準バッファサイズを下回った場合と同様に、音声処理手段１７Ｃにより、音声データの蓄積数が基準バッファサイズとなるまで音声データの読み出しおよび再生が一時中断される。
この結果、音声データと映像データの間で継続的に発生するズレ、ここでは映像データに対して継続的に発生する遅延が解消されることになる。

図６は、本実施の形態にかかる通信端末での受信処理例を示す説明図であり、映像データが音声データより遅れている場合の受信処理例が示されている。なお、時刻Ｔ０，Ｔ１については映像バッファ１５Ｂに映像データＶ０６が蓄積されている点以外は、図４と同等であり、図６では省略してある。
時刻Ｔ２において、音声再生タイミングが到来した場合、音声処理手段１７Ｃにより、揺らぎ吸収バッファ１５Ａから最も音声時刻情報の古い音声データＡ１０が読み出され、音声出力部１３から再生出力される。これにより、揺らぎ吸収バッファ１５Ａには音声データＡ１１〜Ａ１４が蓄積されていることになる。また、記憶部１６の再生中時刻情報１６Ａは、再生中の音声データＡ１０の音声時刻情報Ｔａ１０を示すことになる。

その後、時刻Ｔ３において、映像再生タイミングが到来した場合、映像処理手段１７Ｄにより、映像バッファ１５Ｂ内の次に再生すべき映像データＶ０６の映像時刻情報Ｔｖ０６が、再生中時刻情報１６ＡのＴａ１０と比較される。この場合、映像時刻情報Ｔｖ０６が音声時刻情報Ｔａ１０より遅れていることから、映像処理手段１７Ｄにより、映像バッファ１５Ｂに蓄積されている映像データのうち、その映像時刻情報Ｔｖが再生中時刻情報Ｔａ以前のもの、ここでは映像データＶ０６，Ｖ０９が選択され、このうち映像時刻情報が最新の映像データＶ０９以外、すなわち映像データＶ０６が破棄された後、次に再生すべき映像データＶ０９が読み出され、画像表示部１４により表示再生される。これにより、音声データと映像データの再生タイミングが同期することになる。

このように、本実施の形態では、通信端末１において、映像データの映像時刻情報Ｔｖが音声データの再生中時刻情報Ｔａより遅れている場合（Ｔｖ＜Ｔａ）には、映像バッファ１５Ｂから次に再生すべき映像データを読み出す前に、映像時刻情報Ｔｖが再生中時刻情報Ｔａ以前の映像データのうち、当該映像時刻情報Ｔｖが最も大きい最新の映像データ以外を、映像バッファ１５Ｂからすべて破棄した後、当該映像再生タイミングにおいて映像データの再生を行うようにしたので、音声データと映像データの継続的に発生する時間的ズレを解消できるともに、その再生タイミングを瞬時に同期させることができる。

［実施の形態の拡張］
以上の各実施の形態では、説明を容易とするため、マルチメディア通信システムのうち、相手端末４から送信された音声データと映像データを受信して再生するマルチメディア配信システムで通信端末が用いられる場合を例として説明したが、これに限定されるものではない。例えば、予め設けられた音声入力部やカメラ部を用いて利用者の音声や映像を相手端末４へ送信する通信端末に対しても、前述の各実施の形態を同様に実施することができる。したがって、テレビ電話や会議システムなど、相手端末との間で双方向のマルチメディア通信を行う通信端末に対して、前述の各実施の形態を同様に実施することができ、同様の作用効果が得られる。

また、各実施の形態では、マルチメディア通信プロトコルとしてＲＴＰ(Real-time Transport Protocol)を用い、マルチメディア通信制御プロトコルとしてＲＴＣＰを用いる場合を例として説明したが、これにプロトコルに限定されるものではなく、他のプロトコルを用いてもよく。
この際、マルチメディア通信においてパケットで転送される映像は符号化され、複数のパケットに分割される場合もあるため、受信した映像データをフレームに復号化した後に映像バッファに蓄積すればよい。

また、マルチメディア通信においてパケットで転送される音声は符号化されているため、揺らぎ吸収バッファ１５Ａの後段に音声再生バッファを設け、揺らぎ吸収バッファ１５Ａから読み出した符号化音声データを復号した後、音声再生バッファに順次蓄積して再生するようにしてもよい。特に、音声データの符号化単位と音声波形周期とは一致していないため、音声再生バッファを用いて音声データを連続した音声として処理することができ、音声データの音声波形周期を単位として音声データの破棄あるいは擬似音声データの補間を行う場合に有用である。

本発明の第１の実施の形態にかかる通信端末の構成を示すブロック図である。本発明の第１の実施の形態にかかる通信端末の映像再生処理を示すフローチャートである。本発明の第１の実施の形態にかかる通信端末での受信処理例を示す説明図である。本発明の第１の実施の形態にかかる通信端末での他の受信処理例を示す説明図である。本発明の第２の実施の形態にかかる通信端末の映像再生処理を示すフローチャートである。本発明の第２の実施の形態にかかる通信端末での受信処理例を示す説明図である。

符号の説明

１…通信端末、１１…通信Ｉ／Ｆ部、１２…操作入力部、１３…音声出力部、１４…画面表示部、１５…バッファ部、１５Ａ…揺らぎ吸収バッファ、１５Ｂ…映像バッファ、１６…記憶部、１６Ａ…再生中時刻情報、１６Ｐ…プログラム、１７…制御部、１７Ａ…通信制御手段、１７Ｂ…統計情報処理手段、１７Ｃ…音声処理手段、１７Ｄ…映像処理手段、２…通信回線、３…データ通信網、４…相手端末。

Claims

データ通信網を介して相手端末から送信された音声データと映像データを受信し、これらデータに設定されている個々の時刻情報に基づき両者を同期させて再生する通信端末であって、
受信した音声データを所定の基準バッファサイズに応じた蓄積数だけ揺らぎ吸収バッファに蓄積し、一定間隔からなる音声再生タイミングの到来に応じて前記音声データを順次読み出して再生するとともに、当該音声データの音声時刻情報を再生中時刻情報として記憶部へ格納する音声処理手段と、
受信した映像データを映像バッファへ順次蓄積し、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データの映像時刻情報と前記再生中時刻情報とを比較し、その比較結果に基づいて前記映像データの再生要否を判断するとともに前記基準バッファサイズを調整する映像処理手段と
を備え、
前記映像処理手段は、前記映像時刻情報が前記再生中時刻情報より進んでいる場合、当該映像再生タイミングにおける映像データの再生を行わず、前記基準バッファサイズを減らし、
前記音声処理手段は、前記音声データの蓄積数が前記基準バッファサイズを下回った場合には音声データの蓄積数が前記基準バッファサイズとなるまで次の音声データの読み出しおよび再生を一時中断し、前記音声データの蓄積数が前記基準バッファサイズを上回った場合には音声データの蓄積数が前記基準バッファサイズとなるまで次の音声データを再生せずに破棄する
ことを特徴とする通信端末。
データ通信網を介して相手端末から送信された音声データと映像データを受信し、これらデータに設定されている個々の時刻情報に基づき両者を同期させて再生する通信端末であって、
受信した音声データを所定の基準バッファサイズに応じた蓄積数だけ揺らぎ吸収バッファに蓄積し、一定間隔からなる音声再生タイミングの到来に応じて前記音声データを順次読み出して再生するとともに、当該音声データの音声時刻情報を再生中時刻情報として記憶部へ格納する音声処理手段と、
受信した映像データを映像バッファへ順次蓄積し、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データの映像時刻情報と前記再生中時刻情報とを比較し、その比較結果に基づいて前記映像データの再生要否を判断するとともに前記基準バッファサイズを調整する映像処理手段と
を備え、
前記映像処理手段は、所定の監視期間にわたり継続して前記映像時刻情報が前記再生中時刻情報より進んでいる場合、当該映像再生タイミングにおける映像データの再生を行わず、前記基準バッファサイズを減らし、
前記音声処理手段は、前記音声データの蓄積数が前記基準バッファサイズを下回った場合には音声データの蓄積数が前記基準バッファサイズとなるまで次の音声データの読み出しおよび再生を一時中断し、前記音声データの蓄積数が前記基準バッファサイズを上回った場合には音声データの蓄積数が前記基準バッファサイズとなるまで次の音声データを再生せずに破棄する
ことを特徴とする通信端末。
請求項１に記載の通信端末において、
前記映像処理手段は、前記映像時刻情報が前記再生中時刻情報より遅れている場合、当該映像再生タイミングにおいて映像データの再生を行うとともに、前記基準バッファサイズを増やすことを特徴とする通信端末。
請求項２に記載の通信端末において、
前記映像処理手段は、所定の監視期間にわたり継続して前記映像時刻情報が前記再生中時刻情報より遅れている場合、当該映像再生タイミングにおいて映像データの再生を行うとともに、前記基準バッファサイズを増やすことを特徴とする通信端末。
請求項１−４のいずれか１つに記載の通信端末において、
前記映像処理手段は、前記映像時刻情報が前記再生中時刻情報と等しい場合、当該映像再生タイミングにおいて映像データの再生を行うことを特徴とする通信端末。
請求項１−５のいずれか１つに記載の通信端末において、
前記映像処理手段は、前記基準バッファサイズを調整する際、前記映像時刻情報と前記再生中時刻情報の時間差分に相当するサイズだけ前記基準バッファサイズを調整することを特徴とする通信端末。
請求項１−６のいずれか１つに記載の通信端末において、
前記映像処理手段は、前記映像時刻情報が前記再生中時刻情報より遅れている場合、映像時刻情報が前記再生中時刻情報以前の映像データのうち、当該映像時刻情報が最も大きい最新の映像データ以外を、前記映像バッファからすべて破棄した後、当該映像再生タイミングにおいて映像データの再生を行うとともに、前記基準バッファサイズを増やすことを特徴とする通信端末。
データ通信網を介して相手端末から送信された音声データと映像データを受信して、これらデータに設定されている個々の時刻情報に基づき両者を同期させて再生する通信端末のマルチメディア再生制御方法であって、
受信した音声データを所定の基準バッファサイズに応じた蓄積数だけ揺らぎ吸収バッファに蓄積し、一定間隔からなる音声再生タイミングの到来に応じて前記音声データを順次読み出して再生するとともに、当該音声データの音声時刻情報を再生中時刻情報として記憶部へ格納する音声処理ステップと、
受信した映像データを映像バッファへ順次蓄積し、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データの映像時刻情報と前記再生中時刻情報とを比較し、その比較結果に基づいて前記映像データの再生要否を判断するとともに前記基準バッファサイズを調整する映像処理ステップと
を備え、
前記映像処理ステップは、前記映像時刻情報が前記再生中時刻情報より進んでいる場合、当該映像再生タイミングにおける映像データの再生を行わず、前記基準バッファサイズを減らし、
前記音声処理ステップは、前記音声データの蓄積数が前記基準バッファサイズを下回った場合には音声データの蓄積数が前記基準バッファサイズとなるまで次の音声データの読み出しおよび再生を一時中断し、前記音声データの蓄積数が前記基準バッファサイズを上回った場合には音声データの蓄積数が前記基準バッファサイズとなるまで次の音声データを再生せずに破棄する
ことを特徴とするマルチメディア再生制御方法。
コンピュータを、請求項１−７のいずれか１つに記載の通信端末を構成する各部として機能させるためのプログラム。