JP5186094B2 - 通信端末、マルチメディア再生制御方法、およびプログラム - Google Patents

通信端末、マルチメディア再生制御方法、およびプログラム Download PDF

Info

Publication number
JP5186094B2
JP5186094B2 JP2006269178A JP2006269178A JP5186094B2 JP 5186094 B2 JP5186094 B2 JP 5186094B2 JP 2006269178 A JP2006269178 A JP 2006269178A JP 2006269178 A JP2006269178 A JP 2006269178A JP 5186094 B2 JP5186094 B2 JP 5186094B2
Authority
JP
Japan
Prior art keywords
video
time information
data
audio data
audio
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2006269178A
Other languages
English (en)
Other versions
JP2008092161A (ja
Inventor
耕二 山宮
智副 古屋野
孝充 朝倉
Original Assignee
サクサ株式会社
サクサシステムエンジニアリング株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サクサ株式会社, サクサシステムエンジニアリング株式会社 filed Critical サクサ株式会社
Priority to JP2006269178A priority Critical patent/JP5186094B2/ja
Publication of JP2008092161A publication Critical patent/JP2008092161A/ja
Application granted granted Critical
Publication of JP5186094B2 publication Critical patent/JP5186094B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Description

本発明は、データ通信技術に関し、特にデータ通信網を介して映像と音声を並行して転送するマルチメディア通信技術に関する。
データ通信網の大容量化に伴って、音声や映像などのメディア情報を高速でデータ通信することが可能となり、上記データ通信網を介して複数の地点間で会議を行う会議システムが導入されつつある。また、上記データ通信網を介して、映画や放送番組など、大容量のメディア情報を利用者へ配信するメディア配信サービスシステムも導入されつつある。
このようなシステムでは、音声と映像を並行して転送するマルチメディア通信技術が用いられる。一般的なマルチメディア通信技術では、音声データと映像データがそれぞれ個別のプロトコルで転送され、受信側の通信端末において別個のコーデックにより信号処理されて再生される。したがって、受信側の通信端末における両者の再生タイミングに時間的ズレが生じた場合、その再生品質の劣化の原因となる。
従来、このようなマルチメディア通信において、音声と映像の同期をとる技術として、音声データと映像データの時刻情報(タイムスタンプ)の時間的ズレを、音声データと映像データの独自拡張ヘッダに格納して受信側に通知し、受信側の通信端末で、このズレに基づき映像データが音声データと同じまたは遅れていると判断した場合には映像データを再生し、音声データより進んでいる場合には映像データの再生を停止する技術が提案されている(例えば、特許文献1など参照)。
特開平10−271482号公報
しかしながら、このような従来技術では、音声データと映像データの一時的なズレについては対応できるものの、継続的なズレについては対応できないという問題点があった。
例えば、データ通信網において、音声データの転送経路と映像データの転送経路に違いがある場合には、それぞれの転送経路の経路長やトラヒック状況によって、送信側から受信側までの転送所要時間に差が生じる。この差は、数個のデータで解消されるものではなく、転送経路が切り替えられない限りデータ通信網上において継続的に発生する。
したがって、例えば映像データに比較して音声データの転送所要時間が常に大きい場合、受信側端末で映像データの再生を停止して音声データと同期させても一時的な対応にとどまり、継続的なズレについては対応できない。
本発明はこのような課題を解決するためのものであり、音声データと映像データの間で継続的に発生する時間的ズレを容易に解消することができる通信端末、マルチメディア再生制御方法、およびプログラムを提供することを目的としている。
このような目的を達成するために、本発明にかかる通信端末は、データ通信網を介して相手端末から送信された音声データと映像データを受信し、これらデータに設定されている個々の時刻情報に基づき両者を同期させて再生する通信端末であって、受信した音声データを所定の基準バッファサイズに応じた蓄積数だけ揺らぎ吸収バッファに蓄積し、一定間隔からなる音声再生タイミングの到来に応じて音声データを順次読み出して再生するとともに、当該音声データの音声時刻情報を再生中時刻情報として記憶部へ格納する音声処理手段と、受信した映像データを映像バッファへ順次蓄積し、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データの映像時刻情報と再生中時刻情報とを比較し、その比較結果に基づいて映像データの再生要否を判断するとともに基準バッファサイズを調整する映像処理手段とを備え、映像処理手段で、映像時刻情報が再生中時刻情報より進んでいる場合、当該映像再生タイミングにおける映像データの再生を行わず、基準バッファサイズを減らし、音声処理手段で、音声データの蓄積数が基準バッファサイズを下回った場合には音声データの蓄積数が基準バッファサイズとなるまで次の音声データの読み出しおよび再生を行わず、音声データの蓄積数が基準バッファサイズを上回った場合には音声データの蓄積数が基準バッファサイズとなるまで次の音声データを再生せずに破棄するようにしたものである。
また、本発明にかかる他の通信端末は、データ通信網を介して相手端末から送信された音声データと映像データを受信し、これらデータに設定されている個々の時刻情報に基づき両者を同期させて再生する通信端末であって、受信した音声データを所定の基準バッファサイズに応じた蓄積数だけ揺らぎ吸収バッファに蓄積し、一定間隔からなる音声再生タイミングの到来に応じて音声データを順次読み出して再生するとともに、当該音声データの音声時刻情報を再生中時刻情報として記憶部へ格納する音声処理手段と、受信した映像データを映像バッファへ順次蓄積し、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データの映像時刻情報と再生中時刻情報とを比較し、その比較結果に基づいて映像データの再生要否を判断するとともに基準バッファサイズを調整する映像処理手段とを備え、映像処理手段で、所定の監視期間にわたり継続して映像時刻情報が再生中時刻情報より進んでいる場合、当該映像再生タイミングにおける映像データの再生を行わず、基準バッファサイズを減らし、音声処理手段で、音声データの蓄積数が基準バッファサイズを下回った場合には音声データの蓄積数が基準バッファサイズとなるまで次の音声データの読み出しおよび再生を一時中断し、音声データの蓄積数が基準バッファサイズを上回った場合には音声データの蓄積数が基準バッファサイズとなるまで次の音声データを再生せずに破棄するようにしたものである。
また、映像処理手段で、映像時刻情報が再生中時刻情報より遅れている場合、当該映像再生タイミングにおいて映像データの再生を行うとともに、基準バッファサイズを増やすようにしてもよい。
あるいは、映像処理手段で、所定の監視期間にわたり継続して映像時刻情報が再生中時刻情報より遅れている場合、当該映像再生タイミングにおいて映像データの再生を行うとともに、基準バッファサイズを増やすようにしてもよい。
また、映像処理手段で、映像時刻情報が再生中時刻情報と等しい場合、当該映像再生タイミングにおいて映像データの再生を行うようにしてもよい。
また、映像処理手段で、基準バッファサイズを調整する際、映像時刻情報と再生中時刻情報の時間差分に相当するサイズだけ基準バッファサイズを調整するようにしてもよい。
また、映像処理手段で、映像時刻情報が再生中時刻情報より遅れている場合、映像時刻情報が再生中時刻情報以前の映像データのうち、当該映像時刻情報が最も大きい最新の映像データ以外を、映像バッファからすべて破棄した後、当該映像再生タイミングにおいて映像データの再生を行うとともに、基準バッファサイズを増やすようにしてもよい。
また、本発明にかかるマルチメディア再生制御方法は、データ通信網を介して相手端末から送信された音声データと映像データを受信して、これらデータに設定されている個々の時刻情報に基づき両者を同期させて再生する通信端末のマルチメディア再生制御方法であって、受信した音声データを所定の基準バッファサイズに応じた蓄積数だけ揺らぎ吸収バッファに蓄積し、一定間隔からなる音声再生タイミングの到来に応じて音声データを順次読み出して再生するとともに、当該音声データの音声時刻情報を再生中時刻情報として記憶部へ格納する音声処理ステップと、受信した映像データを映像バッファへ順次蓄積し、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データの映像時刻情報と再生中時刻情報とを比較し、その比較結果に基づいて映像データの再生要否を判断するとともに基準バッファサイズを調整する映像処理ステップとを備え、映像処理ステップは、映像時刻情報が再生中時刻情報より進んでいる場合、当該映像再生タイミングにおける映像データの再生を行わず、基準バッファサイズを減らし、音声処理ステップで、音声データの蓄積数が基準バッファサイズを下回った場合には音声データの蓄積数が基準バッファサイズとなるまで次の音声データの読み出しおよび再生を行わず、音声データの蓄積数が基準バッファサイズを上回った場合には音声データの蓄積数が基準バッファサイズとなるまで次の音声データを再生せずに破棄するようにしたものである。
また、本発明にかかるプログラムは、コンピュータを、前述したいずれか1つに記載の通信端末を構成する各部として機能させるためのプログラムである。
本発明によれば、通信端末において、相手端末から受信した音声データは、音声処理手段により揺らぎ吸収バッファに順次蓄積され、一定間隔からなる音声再生タイミングの到来に応じて音声データを順次読み出して再生され、この際、音声データの蓄積数が基準バッファサイズを下回った場合には次の音声データの読み出しおよび再生が一時中断され、音声データの蓄積数が基準バッファサイズを上回った場合には次の音声データが再生されずに破棄され、再生された音声データの音声時刻情報が再生中時刻情報として記憶部へ格納され、相手端末から受信した映像データは、映像処理手段により、映像バッファへ順次蓄積され、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データの映像時刻情報と再生中時刻情報とが比較され、この比較結果に基づいて映像データの再生要否が判断されるとともに基準バッファサイズが調整され、音声データの蓄積数が基準バッファサイズを下回った場合には音声データの蓄積数が基準バッファサイズとなるまで次の音声データの読み出しおよび再生が行われず、音声データの蓄積数が基準バッファサイズを上回った場合には音声データの蓄積数が基準バッファサイズとなるまで次の音声データが再生されずに破棄される。この際、映像時刻情報が再生中時刻情報より進んでいる場合、当該映像再生タイミングにおける映像データの再生が行われず、基準バッファサイズが減らされる。あるいは、所定の監視期間にわたり継続して映像時刻情報が再生中時刻情報より進んでいる場合、当該映像再生タイミングにおける映像データの再生を行われず、基準バッファサイズが減らされる。
これにより、音声データと映像データの時刻情報の比較結果に応じて、揺らぎ吸収バッファでの音声データに対する遅延時間、すなわち受信側の通信端末内での音声データに対する遅延時間が調整されることになり、音声データの再生タイミングを継続的に調整することが可能となる。したがって、例えばデータ通信網上の通信経路の違いに起因して音声データと映像データの間で継続的にズレが発生する場合でも、音声データと映像データを容易に同期再生することが可能となる。
また、揺らぎ吸収バッファは、音声メディア通信で一般的に用いられているものであるため、本実施の形態によれば、新たなバードウェアを追加することなく、その基準バッファサイズを調整するという制御方法を変更するだけで容易に対応できる。
次に、本発明の実施の形態について図面を参照して説明する。
[第1の実施の形態]
まず、図1を参照して、本発明の第1の実施の形態にかかる通信端末について説明する。図1は、本発明の第1の実施の形態にかかる通信端末の構成を示すブロック図である。
この通信端末1は、通信回線2を介してデータ通信網3に接続されるパソコンなどの通信機能を有する情報処理端末からなり、データ通信網3を介して相手端末4からマルチメディア情報として送信された音声データと映像データを受信し、これらデータに設定されている個々の時刻情報に基づき両者を同期させて再生する機能を有している。
本実施の形態は、通信端末1において、相手端末4から受信した音声データについては、所定の基準バッファサイズに応じた時間だけ揺らぎ吸収バッファに蓄積し、一定間隔からなる音声再生タイミングの到来に応じて音声データを順次読み出して再生するとともに、当該音声データの音声時刻情報を再生中時刻情報として記憶部へ格納し、相手端末4から受信した映像データについては、映像バッファへ順次蓄積し、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データの映像時刻情報と再生中時刻情報とを比較し、その比較結果に基づいて映像データの再生要否を判断するとともに基準バッファサイズを調整するようにしたものである。
以下、図1を参照して、本発明の第1の実施の形態にかかる通信端末の構成について説明する。
通信端末1には、主な機能部として、通信インターフェース部(以下、通信I/F部という)11、操作入力部12、音声出力部13、画面表示部14、バッファ部15、記憶部16、および制御部17が設けられている。
通信I/F部11は、専用の通信回路からなり、通信回線2およびデータ通信網3を介して相手端末4との間で、データ通信のための制御用メッセージやマルチメディア情報を送受信する機能を有している。
操作入力部12は、キーボードやマウスなどの操作入力装置からなり、利用者の操作を検出して制御部17へ出力する機能を有している。
音声出力部13は、専用の音声出力回路からなり、制御部17から指示された着信音や確認音などの信号音や相手端末4からの音声データをスピーカ(図示せず)から音声信号として再生出力する機能を有している。
画面表示部14は、LCDやPDPなどの画面表示装置からなり、制御部17から出力された各種操作画面や相手端末4からの映像データ情報を画面表示する機能を有している。
バッファ部15は、メモリなどの記憶装置からなり、個々のバッファを用いて、相手端末4から受信した音声データや映像データを一時的に蓄積する機能を有している。なお、バッファ部15は、記憶部16と別個のハードウェアで構成してもよく、同一のハードウェアを共用してもよい。
バッファ部15に設けられた主なバッファとしては、揺らぎ吸収バッファ15Aと映像バッファ15Bがある。
揺らぎ吸収バッファ15Aは、受信した音声データを順次蓄積するバッファである。制御部17は、この揺らぎ吸収バッファ15Aを用いて、所定の基準バッファサイズに応じた時間だけ音声データを蓄積した後に順次読み出すことにより、音声データの到着間隔の揺らぎを吸収して、一定間隔で音声データを再生する。また制御部17は、再生する音声データと映像データの時刻差に基づいて基準バッファサイズを調整することにより、音声データの遅延時間を増減して映像データと同期させて再生する。
映像バッファ15Bは、受信した映像データを順次蓄積するバッファである。制御部17は、この映像バッファ15Bを用いて、映像を順次読み出して再生する。
記憶部16は、ハードディスクやメモリからなり、制御部17での処理に用いる各種情報やプログラム16Pを記憶する機能を有している。
プログラム16Pは、制御部17に読み出されて実行されることにより各種機能手段を実現するプログラムである。このプログラム16Pは、外部装置や記録媒体(図示せず)から予め読み込まれて記憶部16に格納される。
記憶部16で記憶している主な情報として、再生中時刻情報16Aがある。この再生中時刻情報16Aは、音声出力部13で再生している音声データの音声時刻情報であり、制御部17により順次更新される。
制御部17は、CPUなどのマイクロプロセッサとその周辺回路を有し、記憶部16からプログラム16Pを読み出して実行することにより、上記ハードウェアとプログラム16Pを協働させて各種機能手段を実現する。
制御部17で実現される主な機能手段としては、通信制御手段17A、統計情報処理手段17B、音声処理手段17C、および映像処理手段17Dがある。
通信制御手段17Aは、通信I/F部11を介して各種呼制御メッセージを送受信することにより、データ通信網3を介して相手端末4とのマルチメディア通信を実現する機能を有している。
統計情報処理手段17Bは、通信I/F部11を介して相手端末4から送信される当該マルチメディア通信に関する統計情報を受信する機能と、当該統計情報に含まれる音声データおよび映像データに関する時刻情報に基づいて音声データおよび映像データに付加されている個々の時刻情報に対するオフセットをそれぞれ算出する機能とを有している。
音声処理手段17Cは、通信I/F部11を介して相手端末4からの音声データを受信してバッファ部15の揺らぎ吸収バッファ15Aへ順次蓄積する機能と、一定間隔からなる音声再生タイミングの到来に応じて揺らぎ吸収バッファ15Aから音声データを順次読み出して音声出力部13で再生する機能と、再生している音声データの音声時刻情報を再生中時刻情報として記憶部へ格納する機能とを有している。
映像処理手段17Dは、通信I/F部11を介して相手端末4からの映像データを受信して映像バッファ15Bへ順次蓄積する機能と、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データに付加されている映像時刻情報と記憶部16の再生中時刻情報16Aとを比較する機能と、当該比較結果に基づいて映像データの再生要否を判断する機能と、当該比較結果に基づいて揺らぎ吸収バッファ15Aの基準バッファサイズを調整する機能とを有している。
[第1の実施の形態の動作]
次に、図2を参照して、本発明の第1の実施の形態にかかる通信端末の動作について説明する。図2は、本発明の第1の実施の形態にかかる通信端末の映像再生処理を示すフローチャートである。
ここでは、通信端末1がデータ通信網3を介して相手端末4と接続した後、相手端末4から送信されてくる音声データと映像データを順次受信し、これらデータに設定されている個々の時刻情報に基づき両者を同期させて再生する場合について説明する。なお、音声データおよび映像データは、一般的なマルチメディア通信プロトコルであるRTP(Real-time Transport Protocol)に基づいて相手端末4から送信されるものとする。また、通信端末1と相手端末4との間のマルチメディア通信制御については、一般的なマルチメディア通信制御プロトコルであるRTCP(RTP Control Protocol)に基づいて制御されるものとする。
通信端末1の制御部17は、利用者による相手端末4とのマルチメディア通信要求操作が操作入力部12で検出された場合、通信制御手段17Aにより、RTCPに基づくマルチメディア通信要求メッセージを通信I/F部11から相手端末4宛てに送信する。
このマルチメディア通信要求メッセージは、通信回線2およびデータ通信網3を介して相手端末4へ転送される。この後、通信制御手段17Aにより、相手端末4との間で各種呼制御メッセージが送受信されて相手端末4とのRTPセッションが確立され、相手端末4からの音声データおよび映像データの送信すなわちマルチメディア通信が開始される。
制御部17は、マルチメディア通信の開始に応じて、統計情報処理手段17Bによる統計情報処理を開始する。また、音声処理手段17Cによる音声データの受信および再生処理と、映像処理手段17Dによる映像データの受信および再生処理も並行して開始する。
統計情報処理手段17Bは、通信I/F部11を介して相手端末から送信された、音声データおよび映像データに関する統計情報(RTCP Sender Report)をそれぞれ受信し、音声データおよび映像データに付加されている個々の時刻情報に対するオフセットをそれぞれ算出する。
通常、音声データや映像データには、当該データを送信した時刻を示す時刻情報が付加されているが、この時刻情報としては任意の時点を基準とする相対的な時刻が両者で用いられるため、時刻情報の差から直接的に音声データと映像データの時刻差、すなわち音声データと映像データのズレを算出することはできない。これに対して、統計情報には音声データや映像データの時刻情報(RTP timestamp)とGMTなどの基準時刻(NTP timestamp)が付加されている。このため、これら時刻情報の時刻差すなわちオフセットを、音声データおよび映像データの統計情報のそれぞれから算出しておくことにより、基準時刻を仲立ちとして音声データと映像データの時刻差を得ることができる。
音声処理手段17Cは、通信I/F部11を介して相手端末から送信された音声データ(RTC)を受信し、バッファ部15の揺らぎ吸収バッファ15Aへ順次蓄積する。また、一定間隔からなる音声再生タイミングの到来に応じて、揺らぎ吸収バッファ15Aから音声データを順次読み出して音声出力部13で再生する。この際、再生する音声データに付加されている音声時刻情報を取得し、記憶部16に再生中時刻情報16Aとして保存する。
揺らぎ吸収バッファ15Aには、所定の基準バッファサイズ(しきい値)が設けられており、音声処理手段17Cは、この基準バッファサイズ分だけ音声データが常に蓄積されるよう、音声データの読み出しを調整する。
例えば、音声データの到着タイミングが遅れて、揺らぎ吸収バッファ15Aでの音声データの蓄積数が基準バッファサイズを下回った場合、次の音声データの読み出しおよび再生を一時中断することにより、音声データの蓄積数を調整する。この際、前回再生分や次回再生分の音声データに類似した補完的な音声データを生成して再生することにより、音声データの蓄積数が調整される。
一方、音声データの到着タイミングが早まり、揺らぎ吸収バッファ15Aでの音声データの蓄積数が基準バッファサイズを上回った場合、次の音声データを再生せずに破棄することにより、音声データの蓄積数を調整する
映像処理手段17Dは、通信I/F部11を介して相手端末から送信された音声データ(RTC)を受信し、バッファ部15の映像バッファ15Bへ順次蓄積する。また、一定間隔からなる音声再生タイミングの到来に応じて、図2に示す映像再生処理を実行する。
映像処理手段17Dは、まず、映像バッファ15B内に映像データが蓄積されているか確認し(ステップ100)、映像データが格納されていない場合は(ステップ100:NO)、映像再生処理を終了する。
一方、映像バッファ15B内に映像データが蓄積されている場合(ステップ100:YES)、映像処理手段17Dは、映像バッファ15B内に蓄積されている映像データのうち、次に再生すべき映像データに付加されている映像時刻情報Tvを参照するとともに(ステップ101)、記憶部16の再生中時刻情報Ta(16A)を参照する(ステップ102)。
続いて、統計情報処理手段17Bで得られたオフセットでこれら映像時刻情報Tvと再生中時刻情報Taを補正した後、両者を比較する(ステップ103)。
ここで、映像時刻情報Tvが再生中時刻情報Taより進んでいる場合(Tv>Ta:ステップ104:YES)、映像処理手段17Dは、揺らぎ吸収バッファ15Aの基準バッファサイズを減らし(ステップ105)、映像再生処理を終了する。
これにより、揺らぎ吸収バッファ15Aでは、前述した、音声データの蓄積数が基準バッファサイズを上回った場合と同様に、音声処理手段17Cにより、音声データの蓄積数が基準バッファサイズとなるよう音声データが破棄される。
この結果、通信端末1内での音声データの遅延時間が短縮され、音声データと映像データの間で継続的に発生する時間的ズレ、ここでは音声データに対して継続的に発生する遅延が解消されることになる。また、音声データが破棄されるため、音声データと映像データの再生タイミングが同期することになる。なお、音声処理手段17Cにより音声データの破棄を実行するタイミングについては、基準バッファサイズの変更に応じて実行してもよく、次の音声再生タイミングが到来した際に実行してもよい。
一方、映像時刻情報Tvが再生中時刻情報Taより進んでおらず(ステップ104:NO)、映像時刻情報Tvが再生中時刻情報Taより遅れている場合(Tv<Ta:ステップ106:YES)、映像処理手段17Dは、揺らぎ吸収バッファ15Aの基準バッファサイズを増やすとともに(ステップ107)、映像バッファ15Bから次に再生すべき映像データを読み出して、画面表示部14により表示再生し(ステップ108)、映像再生処理を終了する。
これにより、揺らぎ吸収バッファ15Aでは、前述した、音声データの蓄積数が基準バッファサイズを下回った場合と同様に、音声処理手段17Cにより、音声データの蓄積数が基準バッファサイズとなるまで音声データの読み出しおよび再生が一時中断される。
この結果、音声データと映像データの間で継続的に発生するズレ、ここでは映像データに対して継続的に発生する遅延が解消されることになる。
また、映像時刻情報Tvが再生中時刻情報Taより遅れておらず、映像時刻情報Tvが再生中時刻情報Taと等しい場合(Tv<Ta:ステップ106:NO)、ステップ108へ移行し、映像バッファ15Bから次に再生すべき映像データを読み出して、画面表示部14により表示再生し、映像再生処理を終了する。
なお、ステップ104およびステップ106において、映像時刻情報Tvと再生中時刻情報Taとを比較する場合、これら比較結果が所定の監視期間にわたり継続している場合にのみ、揺らぎ吸収バッファの基準バッファサイズを増減するようにしてもよい。
この際、監視期間としては、例えは1秒間などの時間でもよく、受信した音声データ100個分に相当するデータ数であってもよい。
例えば、監視期間として時間を用いる場合には、ステップ103での映像時刻情報と再生中時刻情報との比較結果が変化した時点から時間の計時を開始するタイマを用い、このタイマがタイムアップした時点でステップ104やステップ106の判断を行えばよい。また、監視期間としてデータ数を用いる場合には、ステップ103での映像時刻情報と再生中時刻情報との比較結果が変化した時点から音声データの受信データ数の計数を開始するカウンタを用い、このカウンタの計数値が所定しきい値に到達した時点でステップ104やステップ106の判断を行えばよい。
これにより、音声データや映像データの突発的な遅れやわずかな遅れ変動に対する敏感な反応が抑制されて、基準バッファサイズを安定して調整することができ、音声データおよび映像データをスムーズに再生することができる。
図3は、本実施の形態にかかる通信端末での受信処理例を示す説明図であり、映像データが音声データより進んでいる場合の受信処理例が示されている。
時刻T0の初期状態において、揺らぎ吸収バッファ15Aには音声データA10〜A13が蓄積されており、基準バッファサイズBLは音声データ蓄積数に等しい「4」に設定されている。一方、映像バッファ15Bには映像データV11,V14が蓄積されている。なお、この例では、1つの映像データに対して3つの音声データが対応しており、映像データV11は音声データA11と同期再生されるべきデータであり、映像データV14は音声データA14と同期再生されるべきデータである。
時刻T1において、音声データA14が到着した場合、この音声データA14は揺らぎ吸収バッファ15Aに蓄積される。
続く時刻T2において、音声再生タイミングが到来した場合、音声処理手段17Cにより、揺らぎ吸収バッファ15Aから最も音声時刻情報の古い音声データA10が読み出され、音声出力部13から再生出力される。これにより、揺らぎ吸収バッファ15Aには音声データA11〜A14が蓄積されていることになる。また、記憶部16の再生中時刻情報16Aは、再生中の音声データA10の音声時刻情報Ta10を示すことになる。
その後、時刻T3において、映像再生タイミングが到来した場合、映像処理手段17Dにより、映像バッファ15B内の次に再生すべき映像データV11の映像時刻情報Tv11が、再生中時刻情報16AのTa10と比較される。この場合、映像時刻情報Tv11が音声時刻情報Ta10より進んでいることから、映像処理手段17Dにより、揺らぎ吸収バッファ15Aの基準バッファサイズBLが、映像時刻情報Tv11と音声時刻情報Ta10の差分だけ、ここでは音声データ1つ分だけ減らされて「3」となり、音声データの遅延時間TDが短縮されたことになる。
これにより、揺らぎ吸収バッファ15Aでは、音声処理手段17Cにより、音声データA11が1つだけ読み出されて破棄され、音声データと映像データの間で継続的に発生するズレ、ここでは音声データに対して継続的に発生する遅延が解消されることになる。
図4は、本実施の形態にかかる通信端末での他の受信処理例を示す説明図であり、映像データが音声データより遅れている場合の受信処理例が示されている。
時刻T0の初期状態において、揺らぎ吸収バッファ15Aには音声データA10〜A13が蓄積されており、基準バッファサイズBLは音声データ蓄積数に等しい「4」に設定されている。一方、映像バッファ15Bには映像データV09,V12が蓄積されている。なお、この例では、1つの映像データに対して3つの音声データが対応しており、映像データV09は音声データA09(図示せず)と同期再生されるべきデータであり、映像データV12は音声データA12と同期再生されるべきデータである。
時刻T1において、音声データA14が到着した場合、この音声データA14は揺らぎ吸収バッファ15Aに蓄積される。
続く時刻T2において、音声再生タイミングが到来した場合、音声処理手段17Cにより、揺らぎ吸収バッファ15Aから最も音声時刻情報の古い音声データA10が読み出され、音声出力部13から再生出力される。これにより、揺らぎ吸収バッファ15Aには音声データA11〜A14が蓄積されていることになる。また、記憶部16の再生中時刻情報16Aは、再生中の音声データA10の音声時刻情報Ta10を示すことになる。
その後、時刻T3において、映像再生タイミングが到来した場合、映像処理手段17Dにより、映像バッファ15B内の次に再生すべき映像データV09の映像時刻情報Tv09が、再生中時刻情報16AのTa10と比較される。この場合、映像時刻情報Tv09が音声時刻情報Ta10より遅れていることから、映像処理手段17Dにより、映像バッファ15Bから次に再生すべき映像データV09が読み出され、画像表示部14により表示再生される。
また、映像処理手段17Dにより、揺らぎ吸収バッファ15Aの基準バッファサイズBLが、映像時刻情報Tv09と音声時刻情報Ta10の差分だけ、ここでは音声データ1つ分だけ増やされて「5」となり、音声データの遅延時間TDが延長されたことになる。
これにより、揺らぎ吸収バッファ15Aについては、音声処理手段17Cにより、以降の音声再生タイミングにおいて、音声データの蓄積数が基準バッファサイズBLを超えるまで音声データの読み出しが中断され、例えば擬似音声データが代わりに補間再生され、結果として音声データと映像データの間で継続的に発生するズレ、ここでは映像データに対して継続的に発生する遅延が解消されることになる。
このように、本実施の形態は、通信端末1において、相手端末4から受信した音声データについては、音声処理手段17Cにより、所定の基準バッファサイズに応じた時間だけ揺らぎ吸収バッファ15Aに蓄積し、一定間隔からなる音声再生タイミングの到来に応じて音声データを順次読み出して再生するとともに、当該音声データの音声時刻情報を再生中時刻情報16Aとして記憶部16へ格納し、相手端末4から受信した映像データについては、映像処理手段17Dにより、映像バッファ15Bへ順次蓄積し、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データの映像時刻情報と再生中時刻情報16Aとを比較し、その比較結果に基づいて映像データの再生要否を判断するとともに基準バッファサイズを調整している。
これにより、音声データと映像データの時刻情報の比較結果に応じて、揺らぎ吸収バッファ15Aでの音声データに対する遅延時間、すなわち受信側の通信端末1内での音声データに対する遅延時間が調整されることになり、音声データの再生タイミングを継続的に調整することが可能となる。したがって、例えばデータ通信網3上の通信経路の違いに起因して音声データと映像データの間で継続的にズレが発生する場合でも、音声データと映像データを容易に同期再生することが可能となる。
また、揺らぎ吸収バッファは、音声メディア通信で一般的に用いられているものであるため、本実施の形態によれば、新たなバードウェアを追加することなく、その基準バッファサイズを調整するという制御方法を変更するだけで容易に対応できる。
また、本実施の形態では、揺らぎ吸収バッファ15Aの基準バッファサイズを調整する際、映像時刻情報と再生中時刻情報16Aの時間差分に相当するサイズだけ基準バッファサイズを調整するようにしたので、音声データと映像データの間の時間的ズレを一括して調整することができ、このズレに起因して発生する、マルチメディア通信に対する品質劣化の影響を最小限に抑制することができる。
また、本実施の形態において、揺らぎ吸収バッファ15Aの基準バッファサイズの削減に伴って複数の音声データを破棄する際、揺らぎ吸収バッファ15Aに蓄積されている音声データのうち、古いものから順に選択して破棄してもよいが、蓄積されている複数の音声データから間隔を開けてまばらに選択して破棄してもよい。これにより、連続した音声データを一括して破棄する場合と比較して音飛びの発生を回避でき、通信品質の劣化を抑制できる。
また、本実施の形態において、揺らぎ吸収バッファ15Aの基準バッファサイズの増加に伴って複数の擬似音声データを補間再生する際、揺らぎ吸収バッファ15Aに蓄積されている音声データをそのまま蓄積しておいて、基準バッファサイズの増加分だけ擬似音声データを一括して補間再生してもよいが、蓄積されている複数の音声データの間にまばらに補間再生してもよい。これにより、擬似音声データを一括して補間再生する場合と比較して擬似データによる違和感の発生を回避でき、通信品質の劣化を抑制できる。
また、揺らぎ吸収バッファ15Aの基準バッファサイズを調整した際、例えば特開2005−318379号公報に開示された公知技術を利用して、音声データに含まれる音声波形周期を単位として、音声データの破棄や擬似音声データの補間再生を行うようにしてもよい。これにより、音声波形の不連続性に起因して発生しうる雑音の影響を抑制することが可能となる。
[第2の実施の形態]
次に、図5を参照して、本発明の第2の実施の形態にかかる通信端末について説明する。図5は、本発明の第2の実施の形態にかかる通信端末の映像再生処理を示すフローチャートであり、前述した図2と同じまたは同等部分には同一符号を付してある。
第1の実施の形態では、映像再生処理において、映像データの映像時刻情報Tvが音声データの再生中時刻情報Taより遅れている場合(Tv<Ta)には、揺らぎ吸収バッファ15Aの基準バッファサイズを増やすとともに、映像バッファ15Bから次に再生すべき映像データを読み出して表示再生する場合を例として説明した。
本実施の形態では、映像時刻情報Tvが再生中時刻情報Taより遅れている場合(Tv<Ta)、映像バッファ15Bから次に再生すべき映像データを読み出す前に、映像時刻情報Tvが再生中時刻情報Ta以前の映像データのうち、当該映像時刻情報Tvが最も大きい最新の映像データ以外を、映像バッファ15Bからすべて破棄した後、当該映像再生タイミングにおいて映像データの再生を行う場合を例として説明する。なお、本実施の形態にかかる通信端末1の構成は、前述した第1の実施の形態と同様であり、ここでの詳細な説明は省略する。
通信端末1の制御部17は、映像処理手段17Dにより、通信I/F部11を介して相手端末から送信された音声データ(RTC)を受信し、バッファ部15の映像バッファ15Bへ順次蓄積する。また、一定間隔からなる音声再生タイミングの到来に応じて、図5に示す映像再生処理を実行する。
映像処理手段17Dは、まず、映像バッファ15B内に映像データが蓄積されているか確認し(ステップ100)、映像データが格納されていない場合は(ステップ100:NO)、映像再生処理を終了する。
一方、映像バッファ15B内に映像データが蓄積されている場合(ステップ100:YES)、図2と同様にしてステップ101〜103を実行し、映像時刻情報Tvが再生中時刻情報Taより進んでいる場合(Tv>Ta:ステップ104:YES)、映像処理手段17Dは、揺らぎ吸収バッファ15Aの基準バッファサイズを減らし(ステップ105)、映像再生処理を終了する。
一方、映像時刻情報Tvが再生中時刻情報Taより進んでおらず(ステップ104:NO)、映像時刻情報Tvが再生中時刻情報Taより遅れている場合(Tv<Ta:ステップ106:YES)、映像処理手段17Dは、揺らぎ吸収バッファ15Aの基準バッファサイズを増やすとともに(ステップ107)、その映像時刻情報が再生中時刻情報Ta以前の映像データのうち、映像時刻情報が最も大きい最新の映像データ以外を、映像バッファ15Bからすべて破棄する(ステップ110)。これにより、音声データと映像データの再生タイミングが同期することになる。
この後、映像処理手段17Dは、映像バッファ15Bから次に再生すべき映像データを読み出して、画面表示部14により表示再生し(ステップ108)、映像再生処理を終了する。
これにより、揺らぎ吸収バッファ15Aでは、前述した、音声データの蓄積数が基準バッファサイズを下回った場合と同様に、音声処理手段17Cにより、音声データの蓄積数が基準バッファサイズとなるまで音声データの読み出しおよび再生が一時中断される。
この結果、音声データと映像データの間で継続的に発生するズレ、ここでは映像データに対して継続的に発生する遅延が解消されることになる。
図6は、本実施の形態にかかる通信端末での受信処理例を示す説明図であり、映像データが音声データより遅れている場合の受信処理例が示されている。なお、時刻T0,T1については映像バッファ15Bに映像データV06が蓄積されている点以外は、図4と同等であり、図6では省略してある。
時刻T2において、音声再生タイミングが到来した場合、音声処理手段17Cにより、揺らぎ吸収バッファ15Aから最も音声時刻情報の古い音声データA10が読み出され、音声出力部13から再生出力される。これにより、揺らぎ吸収バッファ15Aには音声データA11〜A14が蓄積されていることになる。また、記憶部16の再生中時刻情報16Aは、再生中の音声データA10の音声時刻情報Ta10を示すことになる。
その後、時刻T3において、映像再生タイミングが到来した場合、映像処理手段17Dにより、映像バッファ15B内の次に再生すべき映像データV06の映像時刻情報Tv06が、再生中時刻情報16AのTa10と比較される。この場合、映像時刻情報Tv06が音声時刻情報Ta10より遅れていることから、映像処理手段17Dにより、映像バッファ15Bに蓄積されている映像データのうち、その映像時刻情報Tvが再生中時刻情報Ta以前のもの、ここでは映像データV06,V09が選択され、このうち映像時刻情報が最新の映像データV09以外、すなわち映像データV06が破棄された後、次に再生すべき映像データV09が読み出され、画像表示部14により表示再生される。これにより、音声データと映像データの再生タイミングが同期することになる。
また、映像処理手段17Dにより、揺らぎ吸収バッファ15Aの基準バッファサイズBLが、映像時刻情報Tv09と音声時刻情報Ta10の差分だけ、ここでは音声データ1つ分だけ増やされて「5」となり、音声データの遅延時間TDが延長されたことになる。
これにより、揺らぎ吸収バッファ15Aについては、音声処理手段17Cにより、以降の音声再生タイミングにおいて、音声データの蓄積数が基準バッファサイズBLを超えるまで音声データの読み出しが中断され、例えば擬似音声データが代わりに補間再生され、結果として音声データと映像データの間で継続的に発生するズレ、ここでは映像データに対して継続的に発生する遅延が解消されることになる。
このように、本実施の形態では、通信端末1において、映像データの映像時刻情報Tvが音声データの再生中時刻情報Taより遅れている場合(Tv<Ta)には、映像バッファ15Bから次に再生すべき映像データを読み出す前に、映像時刻情報Tvが再生中時刻情報Ta以前の映像データのうち、当該映像時刻情報Tvが最も大きい最新の映像データ以外を、映像バッファ15Bからすべて破棄した後、当該映像再生タイミングにおいて映像データの再生を行うようにしたので、音声データと映像データの継続的に発生する時間的ズレを解消できるともに、その再生タイミングを瞬時に同期させることができる。
[実施の形態の拡張]
以上の各実施の形態では、説明を容易とするため、マルチメディア通信システムのうち、相手端末4から送信された音声データと映像データを受信して再生するマルチメディア配信システムで通信端末が用いられる場合を例として説明したが、これに限定されるものではない。例えば、予め設けられた音声入力部やカメラ部を用いて利用者の音声や映像を相手端末4へ送信する通信端末に対しても、前述の各実施の形態を同様に実施することができる。したがって、テレビ電話や会議システムなど、相手端末との間で双方向のマルチメディア通信を行う通信端末に対して、前述の各実施の形態を同様に実施することができ、同様の作用効果が得られる。
また、各実施の形態では、マルチメディア通信プロトコルとしてRTP(Real-time Transport Protocol)を用い、マルチメディア通信制御プロトコルとしてRTCPを用いる場合を例として説明したが、これにプロトコルに限定されるものではなく、他のプロトコルを用いてもよく。
この際、マルチメディア通信においてパケットで転送される映像は符号化され、複数のパケットに分割される場合もあるため、受信した映像データをフレームに復号化した後に映像バッファに蓄積すればよい。
また、マルチメディア通信においてパケットで転送される音声は符号化されているため、揺らぎ吸収バッファ15Aの後段に音声再生バッファを設け、揺らぎ吸収バッファ15Aから読み出した符号化音声データを復号した後、音声再生バッファに順次蓄積して再生するようにしてもよい。特に、音声データの符号化単位と音声波形周期とは一致していないため、音声再生バッファを用いて音声データを連続した音声として処理することができ、音声データの音声波形周期を単位として音声データの破棄あるいは擬似音声データの補間を行う場合に有用である。
本発明の第1の実施の形態にかかる通信端末の構成を示すブロック図である。 本発明の第1の実施の形態にかかる通信端末の映像再生処理を示すフローチャートである。 本発明の第1の実施の形態にかかる通信端末での受信処理例を示す説明図である。 本発明の第1の実施の形態にかかる通信端末での他の受信処理例を示す説明図である。 本発明の第2の実施の形態にかかる通信端末の映像再生処理を示すフローチャートである。 本発明の第2の実施の形態にかかる通信端末での受信処理例を示す説明図である。
符号の説明
1…通信端末、11…通信I/F部、12…操作入力部、13…音声出力部、14…画面表示部、15…バッファ部、15A…揺らぎ吸収バッファ、15B…映像バッファ、16…記憶部、16A…再生中時刻情報、16P…プログラム、17…制御部、17A…通信制御手段、17B…統計情報処理手段、17C…音声処理手段、17D…映像処理手段、2…通信回線、3…データ通信網、4…相手端末。

Claims (9)

  1. データ通信網を介して相手端末から送信された音声データと映像データを受信し、これらデータに設定されている個々の時刻情報に基づき両者を同期させて再生する通信端末であって、
    受信した音声データを所定の基準バッファサイズに応じた蓄積数だけ揺らぎ吸収バッファに蓄積し、一定間隔からなる音声再生タイミングの到来に応じて前記音声データを順次読み出して再生するとともに、当該音声データの音声時刻情報を再生中時刻情報として記憶部へ格納する音声処理手段と、
    受信した映像データを映像バッファへ順次蓄積し、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データの映像時刻情報と前記再生中時刻情報とを比較し、その比較結果に基づいて前記映像データの再生要否を判断するとともに前記基準バッファサイズを調整する映像処理手段と
    を備え、
    前記映像処理手段は、前記映像時刻情報が前記再生中時刻情報より進んでいる場合、当該映像再生タイミングにおける映像データの再生を行わず、前記基準バッファサイズを減らし、
    前記音声処理手段は、前記音声データの蓄積数が前記基準バッファサイズを下回った場合には音声データの蓄積数が前記基準バッファサイズとなるまで次の音声データの読み出しおよび再生を一時中断し、前記音声データの蓄積数が前記基準バッファサイズを上回った場合には音声データの蓄積数が前記基準バッファサイズとなるまで次の音声データを再生せずに破棄する
    ことを特徴とする通信端末。
  2. データ通信網を介して相手端末から送信された音声データと映像データを受信し、これらデータに設定されている個々の時刻情報に基づき両者を同期させて再生する通信端末であって、
    受信した音声データを所定の基準バッファサイズに応じた蓄積数だけ揺らぎ吸収バッファに蓄積し、一定間隔からなる音声再生タイミングの到来に応じて前記音声データを順次読み出して再生するとともに、当該音声データの音声時刻情報を再生中時刻情報として記憶部へ格納する音声処理手段と、
    受信した映像データを映像バッファへ順次蓄積し、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データの映像時刻情報と前記再生中時刻情報とを比較し、その比較結果に基づいて前記映像データの再生要否を判断するとともに前記基準バッファサイズを調整する映像処理手段と
    を備え、
    前記映像処理手段は、所定の監視期間にわたり継続して前記映像時刻情報が前記再生中時刻情報より進んでいる場合、当該映像再生タイミングにおける映像データの再生を行わず、前記基準バッファサイズを減らし、
    前記音声処理手段は、前記音声データの蓄積数が前記基準バッファサイズを下回った場合には音声データの蓄積数が前記基準バッファサイズとなるまで次の音声データの読み出しおよび再生を一時中断し、前記音声データの蓄積数が前記基準バッファサイズを上回った場合には音声データの蓄積数が前記基準バッファサイズとなるまで次の音声データを再生せずに破棄する
    ことを特徴とする通信端末。
  3. 請求項1に記載の通信端末において、
    前記映像処理手段は、前記映像時刻情報が前記再生中時刻情報より遅れている場合、当該映像再生タイミングにおいて映像データの再生を行うとともに、前記基準バッファサイズを増やすことを特徴とする通信端末。
  4. 請求項に記載の通信端末において、
    前記映像処理手段は、所定の監視期間にわたり継続して前記映像時刻情報が前記再生中時刻情報より遅れている場合、当該映像再生タイミングにおいて映像データの再生を行うとともに、前記基準バッファサイズを増やすことを特徴とする通信端末。
  5. 請求項1−4のいずれか1つに記載の通信端末において、
    前記映像処理手段は、前記映像時刻情報が前記再生中時刻情報と等しい場合、当該映像再生タイミングにおいて映像データの再生を行うことを特徴とする通信端末。
  6. 請求項1−5のいずれか1つに記載の通信端末において、
    前記映像処理手段は、前記基準バッファサイズを調整する際、前記映像時刻情報と前記再生中時刻情報の時間差分に相当するサイズだけ前記基準バッファサイズを調整することを特徴とする通信端末。
  7. 請求項1−6のいずれか1つに記載の通信端末において、
    前記映像処理手段は、前記映像時刻情報が前記再生中時刻情報より遅れている場合、映像時刻情報が前記再生中時刻情報以前の映像データのうち、当該映像時刻情報が最も大きい最新の映像データ以外を、前記映像バッファからすべて破棄した後、当該映像再生タイミングにおいて映像データの再生を行うとともに、前記基準バッファサイズを増やすことを特徴とする通信端末。
  8. データ通信網を介して相手端末から送信された音声データと映像データを受信して、これらデータに設定されている個々の時刻情報に基づき両者を同期させて再生する通信端末のマルチメディア再生制御方法であって、
    受信した音声データを所定の基準バッファサイズに応じた蓄積数だけ揺らぎ吸収バッファに蓄積し、一定間隔からなる音声再生タイミングの到来に応じて前記音声データを順次読み出して再生するとともに、当該音声データの音声時刻情報を再生中時刻情報として記憶部へ格納する音声処理ステップと、
    受信した映像データを映像バッファへ順次蓄積し、一定間隔からなる映像再生タイミングの到来に応じて、当該映像データの映像時刻情報と前記再生中時刻情報とを比較し、その比較結果に基づいて前記映像データの再生要否を判断するとともに前記基準バッファサイズを調整する映像処理ステップと
    を備え、
    前記映像処理ステップは、前記映像時刻情報が前記再生中時刻情報より進んでいる場合、当該映像再生タイミングにおける映像データの再生を行わず、前記基準バッファサイズを減らし、
    前記音声処理ステップは、前記音声データの蓄積数が前記基準バッファサイズを下回った場合には音声データの蓄積数が前記基準バッファサイズとなるまで次の音声データの読み出しおよび再生を一時中断し、前記音声データの蓄積数が前記基準バッファサイズを上回った場合には音声データの蓄積数が前記基準バッファサイズとなるまで次の音声データを再生せずに破棄する
    ことを特徴とするマルチメディア再生制御方法。
  9. コンピュータを、請求項1−のいずれか1つに記載の通信端末を構成する各部として機能させるためのプログラム。
JP2006269178A 2006-09-29 2006-09-29 通信端末、マルチメディア再生制御方法、およびプログラム Active JP5186094B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006269178A JP5186094B2 (ja) 2006-09-29 2006-09-29 通信端末、マルチメディア再生制御方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006269178A JP5186094B2 (ja) 2006-09-29 2006-09-29 通信端末、マルチメディア再生制御方法、およびプログラム

Publications (2)

Publication Number Publication Date
JP2008092161A JP2008092161A (ja) 2008-04-17
JP5186094B2 true JP5186094B2 (ja) 2013-04-17

Family

ID=39375848

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006269178A Active JP5186094B2 (ja) 2006-09-29 2006-09-29 通信端末、マルチメディア再生制御方法、およびプログラム

Country Status (1)

Country Link
JP (1) JP5186094B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011216997A (ja) * 2010-03-31 2011-10-27 Seiko Epson Corp プロジェクターおよび同期方法
JP6122626B2 (ja) * 2012-12-06 2017-04-26 日本放送協会 復号装置およびプログラム
JP6505996B2 (ja) 2013-08-30 2019-04-24 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America 受信方法、及び、受信装置
CN114584811B (zh) * 2022-05-09 2022-07-22 江西师范大学 基于rtp协议的流媒体视频的同步方法及系统

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0750818A (ja) * 1993-08-06 1995-02-21 Matsushita Electric Ind Co Ltd 音声と映像のパケット同期転送制御方法
US5430485A (en) * 1993-09-30 1995-07-04 Thomson Consumer Electronics, Inc. Audio/video synchronization in a digital transmission system
JPH1169327A (ja) * 1997-08-08 1999-03-09 Sanyo Electric Co Ltd 同期制御装置
JPH11331792A (ja) * 1998-05-08 1999-11-30 Sony Corp クライアント装置およびサーバクライアントシステム
JP4408743B2 (ja) * 2004-04-30 2010-02-03 Necエレクトロニクス株式会社 通信装置及び受信バッファの制御方法

Also Published As

Publication number Publication date
JP2008092161A (ja) 2008-04-17

Similar Documents

Publication Publication Date Title
US7865928B2 (en) System and method of audio/video streaming
KR101535827B1 (ko) 무선 통신 네트워크에서 오디오 및 비디오 동기화 장치 및 방법
JP5026167B2 (ja) ストリーム伝送サーバおよびストリーム伝送システム
US8526501B2 (en) Decoder and decoding method based on video and audio time information
CN101827271B (zh) 音频视频同步方法、装置以及数据接收终端
US20050019020A1 (en) Video/audio synchronizing apparatus
CN109168059B (zh) 一种在不同设备上分别播放音频与视频的唇音同步方法
US20080022007A1 (en) System and method of audio/video streaming
JP2008206161A (ja) メディア内同期化のための適応型メディア再生方法および装置
US20070008984A1 (en) Buffer management system, digital audio receiver, headphones, loudspeaker, method of buffer management
JP5186094B2 (ja) 通信端末、マルチメディア再生制御方法、およびプログラム
KR101787424B1 (ko) 패킷화된 통신 네트워크를 통해 통신되는 스트리밍 콘텐츠를 위한 클럭 복원 메커니즘
JP2007258932A (ja) パケット伝送システム
JP4042396B2 (ja) データ通信システム、データ送信装置、データ受信装置、および方法、並びにコンピュータ・プログラム
JP5218995B2 (ja) 動画再生端末,動画再生方法及びプログラム
JP2005286749A (ja) 映像復号化装置およびそれを用いた映像伝送システム
JP2002208953A (ja) 通信システム
JP2008028599A (ja) マルチメディアデータの再生方法及びこの方法を実施するための主通信機及び従通信機ならびにプログラム
JP4298262B2 (ja) 映像音声同期装置
JP6336083B2 (ja) 映像情報再生装置及び再生方法
JPWO2006040827A1 (ja) 送信装置、受信装置、並びに再生装置
JP4188402B2 (ja) 映像受信装置
JP5168105B2 (ja) 音声再生装置、及び音声再生方法
JP2010183237A (ja) コンテンツ同期再生システム、コンテンツ同期再生方法、再生端末、再生端末の制御方法、及び制御プログラム
JP5720285B2 (ja) ストリーミングシステム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20081022

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20110815

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110823

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20111021

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20120522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120813

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20121012

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130108

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130121

R150 Certificate of patent or registration of utility model

Ref document number: 5186094

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160125

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250