JP5074834B2 - 音声・映像同期方法、音声・映像同期システム及び音声・映像受信端末 - Google Patents

Description

本発明は音声・映像同期方法、音声・映像同期システム及び音声・映像受信端末に関し、例えば、テレビ電話システムやテレビ会議システムに適用し得るものである。

音声と映像の同期をとる転送制御方法として、特許文献１に記載されたものがある。特許文献１に記載の方法は、ＡＶ機能を持った端末において、送信する側は、取り込んだ音声と映像を別々にパケット化すると共に、一定の間隔でユニークに識別可能なマークを、音声と映像のそれぞれのパケットに同じように付与して送信するものであった。
特開平７−５０８１８号公報

しかしながら、特許文献１に記載の方法は、送信側にて、音声及び映像パケットへ識別可能なマークを付与し、受信側にて、それら識別可能なマークを認識することにより、同期を実現するものであり、送信側及び受信側の双方に同期のための特殊な構成、機能を盛り込む必要がある。ここで、このような機能をソフトウェアで実現する場合には、結果として、特殊な機能を盛り込むことにより、送信側及び受信側の双方で、ソフトウェアの大きな処理負荷となる可能性もある。

そのため、受信側における音声及び映像の同期確立を簡易に実現できる音声・映像同期方法、音声・映像同期システム及び音声・映像受信端末が望まれている。

第１の本発明は、音声・映像送信端末が音声・映像受信端末への音声信号及び映像信号を並行的にネットワークに送信し、上記音声・映像受信端末が、上記音声・映像送信端末からの音声信号及び映像信号を同期化させる音声・映像同期システムにおいて、（１）上記音声・映像送信端末は、（１−１）自己が有するローカル時計の時刻を含む音声についての音声ローカル時刻通知信号を上記音声・映像受信端末に向けて送信する音声ローカル時刻通知信号送信手段と、（１−２）ネットワークで調停済みの自己が有する調停済時計の時刻を含む音声についての調停済時刻通知信号を上記音声・映像受信端末に向けて送信する音声調停済時刻通知信号送信手段と、（１−３）自己が有するローカル時計の時刻を含む映像についてのローカル時刻通知信号を上記音声・映像受信端末に向けて送信する映像ローカル時刻通知信号送信手段と、（１−４）ネットワークで調停済みの自己が有する調停済時計の時刻を含む映像についての調停済時刻通知信号を上記音声・映像受信端末に向けて送信する映像調停済時刻通知信号送信手段とを備え、（２）上記音声・映像受信端末は、（２−１）上記音声調停済時刻通知信号が与えられたときに、ネットワークで調停済みの自己が有する調停済時計での受信時刻と、その通知信号での時刻と、上記音声ローカル時刻通知信号の当該音声・映像受信端末での再生タイミングに基づいて得た音声についての処理待ち時間とから、映像についてのオフセット時間を得る映像オフセット時間取得手段と、（２−２）上記映像調停済時刻通知信号が与えられたときに、自己が有する上記調停済時計での受信時刻を上記オフセット時間分だけ修正すると共に、上記映像ローカル時刻通知信号が与えられたときに、自己が有するローカル時計の時刻を、その通知信号での時刻に修正する映像時刻修正手段と、（２−３）記映像時刻修正手段が修正した２種類の時刻に基づいて、上記音声・映像送信端末が送信した映像信号を上記音声・映像送信端末が送信した音声信号に同期化させる処理を行う映像処理手段とを備えることを特徴とする。

第２の本発明は、音声・映像送信端末が音声・映像受信端末への音声信号及び映像信号を並行的にネットワークに送信し、上記音声・映像受信端末が、上記音声・映像送信端末からの音声信号及び映像信号を同期化させる音声・映像同期方法において、（１）上記音声・映像送信端末は、音声ローカル時刻通知信号送信手段、音声調停済時刻通知信号送信手段、映像ローカル時刻通知信号送信手段及び映像調停済時刻通知信号送信手段を備え、（１−１）上記音声ローカル時刻通知信号送信手段は、自己が有するローカル時計の時刻を含む音声についての音声ローカル時刻通知信号を上記音声・映像受信端末に向けて送信し、（１−２）上記音声調停済時刻通知信号送信手段は、ネットワークで調停済みの自己が有する調停済時計の時刻を含む音声についての調停済時刻通知信号を上記音声・映像受信端末に向けて送信し、（１−３）上記映像ローカル時刻通知信号送信手段は、自己が有するローカル時計の時刻を含む映像についてのローカル時刻通知信号を上記音声・映像受信端末に向けて送信し、（１−４）上記映像調停済時刻通知信号送信手段は、ネットワークで調停済みの自己が有する調停済時計の時刻を含む映像についての調停済時刻通知信号を上記音声・映像受信端末に向けて送信すると共に、（２）上記音声・映像受信端末は、映像オフセット時間取得手段、映像時刻修正手段及び映像処理手段を備え、（２−１）上記映像オフセット時間取得手段は、上記音声調停済時刻通知信号が与えられたときに、ネットワークで調停済みの自己が有する調停済時計での受信時刻と、その通知信号での時刻と、上記音声ローカル時刻通知信号の当該音声・映像受信端末での再生タイミングに基づいて得た音声についての処理待ち時間とから、映像についてのオフセット時間を得、（２−２）上記映像時刻修正手段は、上記映像調停済時刻通知信号が与えられたときに、自己が有する上記調停済時計での受信時刻を上記オフセット時間分だけ修正すると共に、上記映像ローカル時刻通知信号が与えられたときに、自己が有するローカル時計の時刻を、その通知信号での時刻に修正し、（２−３）上記映像処理手段は、上記映像時刻修正手段が修正した２種類の時刻に基づいて、上記音声・映像送信端末が送信した映像信号を上記音声・映像送信端末が送信した音声信号に同期化させる処理を行うことを特徴とする。

第３の本発明は、音声・映像送信端末が並行的にネットワークに送信した音声信号及び映像信号が与えられ、上記音声・映像送信端末からの音声信号及び映像信号を同期化させる音声・映像受信端末において、（１）対向する上記音声・映像送信端末が、（１−１）自己が有するローカル時計の時刻を含む音声についての音声ローカル時刻通知信号を上記音声・映像受信端末に向けて送信する音声ローカル時刻通知信号送信手段と、（１−２）ネットワークで調停済みの自己が有する調停済時計の時刻を含む音声についての調停済時刻通知信号を上記音声・映像受信端末に向けて送信する音声調停済時刻通知信号送信手段と、（１−３）自己が有するローカル時計の時刻を含む映像についてのローカル時刻通知信号を上記音声・映像受信端末に向けて送信する映像ローカル時刻通知信号送信手段と、（１−４）ネットワークで調停済みの自己が有する調停済時計の時刻を含む映像についての調停済時刻通知信号を上記音声・映像受信端末に向けて送信する映像調停済時刻通知信号送信手段とを備えたものであり、（２）自端末は、（２−１）上記音声調停済時刻通知信号が与えられたときに、ネットワークで調停済みの自己が有する調停済時計での受信時刻と、その通知信号での時刻と、上記音声ローカル時刻通知信号の当該音声・映像受信端末での再生タイミングに基づいて得た音声についての処理待ち時間とから、映像についてのオフセット時間を得る映像オフセット時間取得手段と、（２−２）上記映像調停済時刻通知信号が与えられたときに、自己が有する上記調停済時計での受信時刻を上記オフセット時間分だけ修正すると共に、上記映像ローカル時刻通知信号が与えられたときに、自己が有するローカル時計の時刻を、その通知信号での時刻に修正する映像時刻修正手段と、（２−３）上記映像時刻修正手段が修正した２種類の時刻に基づいて、上記音声・映像送信端末が送信した映像信号を上記音声・映像送信端末が送信した音声信号に同期化させる処理を行う映像処理手段とを備えることを特徴とする。

本発明によれば、受信側における音声及び映像の同期確立を簡易に実現できる音声・映像同期方法、音声・映像同期システム及び音声・映像受信端末を提供できる。

（Ａ）主たる実施形態
以下、本発明による音声・映像同期方法及び音声・映像同期システムを、テレビ電話システムに適用した一実施形態を、図面を参照しながら説明する。

（Ａ−１）実施形態の構成
この実施形態のテレビ電話システム１は、図２に示すように、２台のテレビ電話端末２Ａ及び２Ｂが、ＩＰ網３を介して、音声信号及び映像信号を授受するものである。音声信号及び映像信号は、別個のパケットによって授受され、何らの対策がなされないと仮定した場合には、音声及び映像の同期がとれないシステムを前提としている。

この実施形態の場合、音声信号についても映像信号についても、端末２Ａ及び２Ｂ間にて、音声及び映像用のＵＤＰ（Ｕｓｅｒ Ｄａｔａｇｒａｍ Ｐｒｏｔｏｃｏｌ）セッションをオープンし、それぞれに対応するＲＴＰ（Ｒｅａｌ−Ｔｉｍｅ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）／ＲＴＣＰ（ＲＴＰ Ｃｏｎｔｒｏｌ Ｐｒｏｔｏｃｏｌ）パケットを送受信するようになされている。なお、ＲＴＰパケットやＲＴＣＰパケットのパケット送出間隔は、各端末２Ａ、２Ｂによって異なるものである。

各テレビ電話端末２Ａ、２Ｂは、専用端末として構築されたものであっても良く、また、ＩＰテレビ電話用のソフトウェアをパソコン（ＰＣ）などに実装することで構築されたもの（ＩＰソフトフォン）であっても良く、機能的には、図３に示す詳細構成を有する。

図３において、テレビ電話端末２（２Ａ、２Ｂ）は、音声を捕捉するマイクロフォン１０、マイクロフォン１０からの音声信号を圧縮する音声圧縮部１１、音声圧縮部１１からの音声ストリームを送信処理するストリーミング送信部１２を有すると共に、被写体を撮像するカメラ１３、カメラ１３からの映像信号を圧縮する映像圧縮部１４、映像圧縮部１４からの映像ストリームを送信処理するストリーミング送信部１５を有する。例えば、音声圧縮部１１、ストリーミング送信部１２、映像圧縮部１４及びストリーミング送信部１５は、ＩＰソフトフォンの場合には、ソフトウェアを中心として構成される。

また、テレビ電話端末２は、音声ストリームを受信処理するストリーミング受信部１６、ストリーミング受信部１６から出力された圧縮音声信号を解凍する音声解凍部１７、音声解凍部１７から出力された音声信号を発音出力するスピーカ部１８を有すると共に、映像ストリームを受信処理するストリーミング受信部１９、ストリーミング受信部１９から出力された圧縮映像信号を解凍する映像解凍部２０、映像解凍部２０から出力された映像信号を表示出力するディスプレイ部２１を有する。例えば、ストリーミング受信部１６、音声解凍部１７、ストリーミング受信部１９及び映像解凍部２０は、ＩＰソフトフォンの場合には、ソフトウェアを中心として構成される。

なお、音声及び映像の圧縮方式は任意であるが、例えば、ＭＰＥＧ４（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ４）を適用し得る。

さらに、テレビ電話端末２は、対向するテレビ電話端末とのセッションの確立や切断などの処理を行うシグナリング処理部２２、音声や映像などのメディアやシグナリングからＩＰパケットを組み立てて送信するＩＰ送信部２３、到来したＩＰパケットを受信処理してメディアやシグナリングを取り出すＩＰ受信部２４を有する。なお、シグナリング処理部２２は、例えば、セッションの確立や切断などの処理を行うＳＩＰ処理部や、ヘッダ情報などの解析するためのＳＤＰ処理部などを有する。また、周知のように、ＩＰパケットの中にはＵＤＰパケットを収容したものがあり、ＵＤＰパケットにはＲＴＰパケットやＲＴＣＰパケットが適宜収容されている。

ＩＰ送信部２３及びＩＰ受信部２４はそれぞれ、音声用のＩＰパケットと映像用のＩＰパケットとを別個に取り扱うものである。

この実施形態の場合、ＩＰ送信部２３及びＩＰ受信部２４に関連して、ＲＴＰ／ＲＴＣＰ通信部２５が設けられている。ＲＴＰ／ＲＴＣＰ通信部２５は、図１に示すような機能的構成を有する。

ＲＴＰ／ＲＴＣＰ通信部２５は、ローカルタイマ部３０、ＮＴＰ（Ｎｅｔｗｏｒｋ Ｔｉｍｅ Ｐｒｏｔｏｃｏｌ）タイマ部３１、ＲＴＰ／ＲＴＣＰ送信部３２、ＲＴＰ／ＲＴＣＰ受信・同期処理部３３を有する。

ローカルタイマ部３０は、他の装置などと連携しないで時刻を計時している、当該テレビ電話端末２における独自のタイマである。ＮＴＰタイマ部３１は、ＮＴＰに従って、時刻を計時しているタイマである。

ＲＴＰ／ＲＴＣＰ送信部３２は、当該テレビ電話端末２の音声や映像についてそれぞれ定まっているパケット送出間隔で、音声や映像のＲＴＰパケットやＲＴＣＰパケットをＩＰ送信部２３に与えて送信させるものであり、ＲＴＰヘッダには、ローカルタイマ部３０の計時時刻によるＲＴＰタイムスタンプを挿入し、ＲＴＣＰヘッダには、ローカルタイマ部３０の計時時刻によるＲＴＰタイムスタンプ及びＮＴＰタイマ部３１の計時時刻によるＮＴＰタイムスタンプを挿入するものである（このような挿入動作は、ＲＦＣに準拠した動作である）。

ＲＴＰ／ＲＴＣＰ受信・同期処理部３３は、Ｓ１処理部３３−１〜Ｓ５処理部３３−５を備え、対向するテレビ電話端末から到来したＲＴＰパケットやＲＴＣＰパケットをスタックしながら、それらＲＴＰパケットやＲＴＣＰパケットに基づいて（ＲＴＰパケットやＲＴＣＰパケットを解析して）、映像及び音声を同期化させるものである。例えば、音声解凍部１７及び映像解凍部２０から出力される音声信号及び映像信号を同期化させるものである。

映像及び音声の同期化は、後述する動作説明で明らかにするが、この実施形態の場合、音声を基準に、映像を同期化させている。映像信号についてはフレーム間符号化が適応的になされ、その圧縮後のデータ量の変化が大きい（言い換えるとジッタが大きい）が、音声信号の場合には、圧縮後のデータ量が固定の圧縮方式が適用されていることが多く、ジッタの変化が少ないため、音声を基準とすることとした。

（Ａ−２）実施形態の動作
次に、実施形態のテレビ電話システム１の動作、特に、受信側における音声と映像とを同期化させる動作（実施形態の音声・映像同期方法）を、図４を参照しながら詳述する。図４は、Ｓ１処理部３３−１〜Ｓ５処理部３３−５の処理をそれぞれ示す説明図である。テレビ電話システム１では、２つのテレビ電話端末２Ａ及び２Ｂ間で双方向通信が実行されるが、以下では、テレビ電話端末２Ａが送信側、テレビ電話端末２Ｂが受信側として説明する。

送信側のテレビ電話端末２Ａは、上述したように、当該テレビ電話端末２Ａについて定まっている、音声及び映像のそれぞれのパケット送出間隔で、音声や映像のＲＴＰパケットやＲＴＣＰパケットを送信させる。この送信の際、ＲＴＰヘッダにはＲＴＰタイムスタンプを挿入し、ＲＴＣＰヘッダにはＲＴＰタイムスタンプ及びＮＴＰタイムスタンプを挿入する。

（処理Ｓ１）
テレビ電話端末２ＢのＳ１処理部３３−１は、音声に係るＲＴＣＰパケットを受信した場合には、定義された共通関数などを使用し、当該テレビ電話端末２Ｂが受信した時刻ＬＯＣＡＬ＿ＮＴＰ＿Ａを求める。この受信時刻ＬＯＣＡＬ＿ＮＴＰ＿Ａは、ＮＴＰを適用したものであるので、概ね正確なものである。

（処理Ｓ２）
テレビ電話端末２ＢのＳ２処理部３３−２は、処理Ｓ１を起動させたＲＴＣＰパケット受信時における音声処理部（ストリーミング受信部１６及び音声解凍部１７）の内部の処理待ちバッファを確認し、当該ＲＴＣＰパケットヘッダ内のＲＴＰタイムスタンプに対応するＲＴＰパケットが、どのタイミングで再生されるのかを計算する。すなわち、ＲＴＰタイムスタンプに対応するＲＴＰパケットの処理待ち時間Ｑｕｅｕｅ＿Ａを計算する。

（処理Ｓ３）
テレビ電話端末２ＢのＳ３処理部３３−３は、処理Ｓ１及びＳ２で得られた２つのパラメータＬＯＣＡＬ＿ＮＴＰ＿Ａ、Ｑｕｅｕｅ＿Ａと、受信したＲＴＣＰパケット内のＮＴＰタイムスタンプＲＥＭＯＴＥ＿ＮＴＰ＿Ａとから、（１）式に示す時刻差分ＯＦＦＳＥＴ＿Ａを算出する。

ＯＦＦＳＥＴ＿Ａ＝
ＬＯＣＡＬ＿ＮＴＰ＿Ａ−ＲＥＭＯＴＥ＿ＮＴＰ＿Ａ＋Ｑｕｅｕｅ＿Ａ （１）
受信したＲＴＣＰパケット内のＮＴＰタイムスタンプＲＥＭＯＴＥ＿ＮＴＰ＿Ａは、送信側のテレビ電話端末２Ａが送信した時刻を表しているので、（１）式におけるＬＯＣＡＬ＿ＮＴＰ＿Ａ−ＲＥＭＯＴＥ＿ＮＴＰ＿Ａの部分は、ＩＰ網３での伝搬遅延に相当する。この伝搬遅延に、受信側のテレビ電話端末２Ｂにおける処理待ち時間Ｑｕｅｕｅ＿Ａを加算しているので、（１）式に示す時刻差分ＯＦＦＳＥＴ＿Ａは、送信側のテレビ電話端末２ＡがＲＴＰパケットを送信してから、受信側のテレビ電話端末２ＢがそのＲＴＰパケットの処理を開始するまでの時刻差を表している。

以上から明らかなように、時刻差分ＯＦＦＳＥＴ＿Ａは、ＲＴＣＰパケットを受信する毎に新しいものに更新される。

（処理Ｓ４）
テレビ電話端末２ＢのＳ４処理部３３−４は、映像に係るＲＴＣＰパケットを受信した場合には、受信したＲＴＣＰヘッダ内の対向するテレビ電話端末２Ａの送出時刻を表すＮＴＰタイムスタンプＲＥＭＯＴＥ＿ＮＴＰ＿ＶとＲＴＰタイムスタンプＲＥＭＯＴＥ＿ＲＴＰ＿Ｖとに対し、（２）式及び（３）式を実行し、その実行後の値を、映像処理部（ストリーミング受信部１９及び映像解凍部２０）に渡す。

ＬＯＣＡＬ＿ＮＴＰ＿Ｖ＝ＲＥＭＯＴＥ＿ＮＴＰ＿Ｖ＋ＯＦＦＳＥＴ＿Ａ （２）
ＬＯＣＡＬ＿ＲＴＰ＿Ｖ＝ＲＥＭＯＴＥ＿ＲＴＰ＿Ｖ （３）
（２）式に示す時刻ＬＯＣＡＬ＿ＮＴＰ＿Ｖは、音声に係るＲＴＣＰパケットが送信されてから受信側でそのＲＴＣＰパケットの処理が開始されるまでの時間差分ＯＦＦＳＥＴ＿Ａを、送信側のテレビ電話端末２Ａが映像に係るＲＴＣＰパケットを送信した時点に加算したものであり、時刻ＬＯＣＡＬ＿ＮＴＰ＿Ｖに、受信した映像に係るＲＴＣＰパケットの処理を開始すると仮定すると、送信側のテレビ電話端末２ＡがＲＴＣＰパケットを送信した時点から、受信側のテレビ電話端末２ＢがＲＴＣＰパケットの処理を開始するまでの時間が、音声と映像とで同一時間となる。

（３）式に示す時刻ＬＯＣＡＬ＿ＲＴＰ＿Ｖは、受信側のテレビ電話端末２Ｂにおける独自タイマ（ローカルタイマ部）での時刻（受信時刻）を表しており、（３）式は、送信側のテレビ電話端末２Ａにおける独自タイマ（ローカルタイマ部）での時刻（送信時刻）ＲＥＭＯＴＥ＿ＲＴＰ＿Ｖに、受信側のテレビ電話端末２Ｂにおける独自タイマでの時刻（受信時刻）をすることを意味しており、双方の独自タイマが連携されたものとなる。

（処理Ｓ５）
テレビ電話端末２ＢのＳ５処理部３３−５は、（２）式及び（３）式で求められた情報に基づき、映像処理部が同期処理を行うようにさせる。映像処理部は、対応するＲＴＰパケットと、当該テレビ電話端末２Ｂの時刻情報を元に、映像の再生タイミングを同期させ、これにより、音声を基準とした映像同期を実現する。

（Ａ−３）実施形態の効果
上記実施形態によれば、受信側における音声及び映像の同期のために、送信側が行う処理は、ＲＦＣ準拠のＲＴＰ／ＲＴＣＰパケットを送信するだけで良く、既存の処理と同様である。そのため、送信側及び受信側の構成を備える端末の場合、音声及び映像の同期確立のための構成を小規模のものとすることができ、また、音声及び映像の同期確立のための処理を簡易にし得る。

また、上記実施形態によれば、受信側にて、音声、映像の解凍（デコード）処理がリンクして動作しなくても、音声を基準とした映像同期を実現することができる。

（Ｂ）他の実施形態
上記実施形態では、本発明をテレビ電話システム（ピアツーピア接続の一例）に適用したものを示したが、テレビ会議システムなどの１対多通信にも、本発明を適用でき、音声を基準とした映像同期を実現することができる。

また、上記実施形態では、映像についてのＲＴＣＰパケットやＲＴＰパケットの処理タイミングを調整することにより、音声を基準とした映像同期を実現するものを示したが、垂直同期信号（Ｖ−ＳＹＮＣ）などの位相を調整して、音声を基準とした映像同期を実現するようにしても良い。

さらに、送信側から受信側へのパケットは、上記実施形態のものに限定されるものではない。例えば、ＲＴＰパケットやＲＴＣＰパケット以外でも、上記実施形態のタイムスタンプと同様な情報を授受できるのであればそのようなパケットを適用することができる。

実施形態に係るＲＴＰ／ＲＴＣＰ通信部の機能的構成を示すブロック図である。 実施形態に係るテレビ電話システムの概略を示すブロック図である。 実施形態に係るテレビ電話端末の機能的構成を示すブロック図である。 実施形態における同期化動作の説明図である。

符号の説明

１…テレビ電話システム、２、２Ａ、２Ｂ…テレビ電話端末、３…ＩＰ網、２３…ＩＰ送信部、２４…ＩＰ受信部、２５…ＲＴＰ／ＲＴＣＰ通信部、３０…ローカルタイマ部、３１…ＮＴＰタイマ部、３２…ＲＴＰ／ＲＴＣＰ送信部、３３…ＲＴＰ／ＲＴＣＰ受信・同期処理部。

Claims (3)

1. 音声・映像送信端末が音声・映像受信端末への音声信号及び映像信号を並行的にネットワークに送信し、上記音声・映像受信端末が、上記音声・映像送信端末からの音声信号及び映像信号を同期化させる音声・映像同期システムにおいて、
   上記音声・映像送信端末は、
   自己が有するローカル時計の時刻を含む音声についての音声ローカル時刻通知信号を上記音声・映像受信端末に向けて送信する音声ローカル時刻通知信号送信手段と、
   ネットワークで調停済みの自己が有する調停済時計の時刻を含む音声についての調停済時刻通知信号を上記音声・映像受信端末に向けて送信する音声調停済時刻通知信号送信手段と、
   自己が有するローカル時計の時刻を含む映像についてのローカル時刻通知信号を上記音声・映像受信端末に向けて送信する映像ローカル時刻通知信号送信手段と、
   ネットワークで調停済みの自己が有する調停済時計の時刻を含む映像についての調停済時刻通知信号を上記音声・映像受信端末に向けて送信する映像調停済時刻通知信号送信手段とを備え、
   上記音声・映像受信端末は、
   上記音声調停済時刻通知信号が与えられたときに、ネットワークで調停済みの自己が有する調停済時計での受信時刻と、その通知信号での時刻と、上記音声ローカル時刻通知信号の当該音声・映像受信端末での再生タイミングに基づいて得た音声についての処理待ち時間とから、映像についてのオフセット時間を得る映像オフセット時間取得手段と、
   上記映像調停済時刻通知信号が与えられたときに、自己が有する上記調停済時計での受信時刻を上記オフセット時間分だけ修正すると共に、上記映像ローカル時刻通知信号が与えられたときに、自己が有するローカル時計の時刻を、その通知信号での時刻に修正する映像時刻修正手段と、
   上記映像時刻修正手段が修正した２種類の時刻に基づいて、上記音声・映像送信端末が送信した映像信号を、上記音声・映像送信端末が送信した音声信号に同期化させる処理を行う映像処理手段とを備える
   ことを特徴とする音声・映像同期システム。
2. 音声・映像送信端末が音声・映像受信端末への音声信号及び映像信号を並行的にネットワークに送信し、上記音声・映像受信端末が、上記音声・映像送信端末からの音声信号及び映像信号を同期化させる音声・映像同期方法において、
   上記音声・映像送信端末は、音声ローカル時刻通知信号送信手段、音声調停済時刻通知信号送信手段、映像ローカル時刻通知信号送信手段及び映像調停済時刻通知信号送信手段を備え、
   上記音声ローカル時刻通知信号送信手段は、自己が有するローカル時計の時刻を含む音声についての音声ローカル時刻通知信号を上記音声・映像受信端末に向けて送信し、
   上記音声調停済時刻通知信号送信手段は、ネットワークで調停済みの自己が有する調停済時計の時刻を含む音声についての調停済時刻通知信号を上記音声・映像受信端末に向けて送信し、
   上記映像ローカル時刻通知信号送信手段は、自己が有するローカル時計の時刻を含む映像についてのローカル時刻通知信号を上記音声・映像受信端末に向けて送信し、
   上記映像調停済時刻通知信号送信手段は、ネットワークで調停済みの自己が有する調停済時計の時刻を含む映像についての調停済時刻通知信号を上記音声・映像受信端末に向けて送信すると共に、
   上記音声・映像受信端末は、映像オフセット時間取得手段、映像時刻修正手段及び映像処理手段を備え、
   上記映像オフセット時間取得手段は、上記音声調停済時刻通知信号が与えられたときに、ネットワークで調停済みの自己が有する調停済時計での受信時刻と、その通知信号での時刻と、上記音声ローカル時刻通知信号の当該音声・映像受信端末での再生タイミングに基づいて得た音声についての処理待ち時間とから、映像についてのオフセット時間を得、 上記映像時刻修正手段は、上記映像調停済時刻通知信号が与えられたときに、自己が有する上記調停済時計での受信時刻を上記オフセット時間分だけ修正すると共に、上記映像ローカル時刻通知信号が与えられたときに、自己が有するローカル時計の時刻を、その通知信号での時刻に修正し、
   上記映像処理手段は、上記映像時刻修正手段が修正した２種類の時刻に基づいて、上記音声・映像送信端末が送信した映像信号を上記音声・映像送信端末が送信した音声信号に同期化させる処理を行う
   ことを特徴とする音声・映像同期方法。
3. 音声・映像送信端末が並行的にネットワークに送信した音声信号及び映像信号が与えられ、上記音声・映像送信端末からの音声信号及び映像信号を同期化させる音声・映像受信端末において、
   対向する上記音声・映像送信端末が、
   自己が有するローカル時計の時刻を含む音声についての音声ローカル時刻通知信号を上記音声・映像受信端末に向けて送信する音声ローカル時刻通知信号送信手段と、
   ネットワークで調停済みの自己が有する調停済時計の時刻を含む音声についての調停済時刻通知信号を上記音声・映像受信端末に向けて送信する音声調停済時刻通知信号送信手段と、
   自己が有するローカル時計の時刻を含む映像についてのローカル時刻通知信号を上記音声・映像受信端末に向けて送信する映像ローカル時刻通知信号送信手段と、
   ネットワークで調停済みの自己が有する調停済時計の時刻を含む映像についての調停済時刻通知信号を上記音声・映像受信端末に向けて送信する映像調停済時刻通知信号送信手段とを備えたものであり、
   自端末は、
   上記音声調停済時刻通知信号が与えられたときに、ネットワークで調停済みの自己が有する調停済時計での受信時刻と、その通知信号での時刻と、上記音声ローカル時刻通知信号の当該音声・映像受信端末での再生タイミングに基づいて得た音声についての処理待ち時間とから、映像についてのオフセット時間を得る映像オフセット時間取得手段と、
   上記映像調停済時刻通知信号が与えられたときに、自己が有する上記調停済時計での受信時刻を上記オフセット時間分だけ修正すると共に、上記映像ローカル時刻通知信号が与えられたときに、自己が有するローカル時計の時刻を、その通知信号での時刻に修正する映像時刻修正手段と、
   上記映像時刻修正手段が修正した２種類の時刻に基づいて、上記音声・映像送信端末が送信した映像信号を上記音声・映像送信端末が送信した音声信号に同期化させる処理を行う映像処理手段とを備える
   ことを特徴とする音声・映像受信端末。

Images