JP5383520B2 - 映像フレーム及び音声フレームとの間の同期外れを補正する中継装置、プログラム、システム及び方法 - Google Patents

Description

本発明は、映像フレーム及び音声フレームとの間の同期外れを補正する通信装置の技術に関する。

映像伝送システムによれば、同期した映像フレーム及び音声フレームは各々独立して送受信される。そのために、中継伝送される途中で、映像フレームと音声フレームとの間での同期が外れていく場合がある。そのために、映像フレームと音声フレームとを同期させる「リップシンク(lip-sync)」の技術が必要となる。「リップシンク」とは、映像フレームと音声フレームとの間の同期外れを検知し、それを補正する技術をいう。

図１は、対象となるシステム構成図である。

図１のシステムによれば、送信装置２と受信装置３とは、１つ以上の中継装置１を備えた通信事業者ネットワークを介して接続されている。送信装置２は、時間的に同期した映像フレーム及び音声フレームを、受信装置３へ送信する。両フレームには、フレーム番号と再生タイムスタンプとが付加されている。

送信装置２から送信された両フレームは、ネットワークのエッジ装置としての中継装置１によって受信される。そして、両フレームは、ネットワーク内で中継装置１をホップしながら転送され、最終的に、相手側のエッジ装置から受信装置３へ送信される。

従来、送信装置側が、映像フレームと音声フレームとの同期外れを補正する技術がある（例えば特許文献１参照）。この技術によれば、送信装置側が、映像フレームのエンコード及びデコードの処理時間と、音声フレームのエンコード及びデコード処理時間との差分を算出する。その差分は、映像フレームと音声フレームとの間の同期外れとして検知される。送信装置側は、映像フレームと音声フレームとで処理時間が短い方を、処理時間の差分だけ遅延させることで同期外れを補正する。

これに対して、受信装置側が、映像フレームと音声フレームとの間の同期外れを客観的・定量的に検知し、補正する技術がある（例えば特許文献２、３参照）。送信装置側は、入力時刻を特定可能なマーカデータを、映像フレーム及び音声フレームに挿入する。受信装置側では、映像フレーム及び音声フレームのマーカデータを参照し、映像フレームと音声フレームとの間の同期外れを検知し、補正する。

また、主に放送局向けの映像伝送ネットワークにおける装置障害や伝送障害に起因するフリーズ、ブラック又はミュートのような現象を検知する技術がある（例えば非特許文献１参照）。この技術によれば、ネットワーク内の中継装置毎に算出されたメタデータが、映像フレーム及び音声フレームに挿入される。そのメタデータを用いて、映像フレーム及び音声フレームにおける障害を検知する。メタデータの履歴は、複数の中継装置によって保持され、各メタデータを比較することによって、伝送システム内の障害箇所が検知される。

特開２００８−１３１５９１号公報 特開２００７−３１２１９２号公報 特開２００３−０４６９０１号公報

ＡＲＩＢ技術資料、「放送チェーンにおける映像・音声フレームの障害監視のためのメタデータ」、ARIB TR-B29 1.0版、[online]、［平成２１年１２月２０日検索］、インターネット＜URL:http://www.arib.or.jp/tyosakenkyu/kikaku_hoso/hoso_gijutsu_number.html＞

しかしながら、特許文献１に記載された技術によれば、送信装置側のエンコーダと受信装置側のデコーダで発生する遅延時間のみを考慮するため、ネットワーク内で映像フレームと音声フレームとの同期外れが発生する場合は、対応できない。また、送信装置側で想定する受信装置側のデコーダの処理遅延時間が、実際の受信装置側のデコーダの処理遅延時間と異なる場合、送信装置側は、正確に同期外れを補正することができない。

また、特許文献２、３に記載された技術によれば、伝送システム内で発生する映像フレームと音声フレームとの間の同期外れを補正することができるが、受信装置に特別の機能を搭載する必要がある。

更に、非特許文献１に記載された技術によれば、画質劣化や音声劣化といった障害を検出するためのものであって、映像フレームと音声フレームとの同期外れを検知し且つ補正することについては全く考慮されていない。

そこで、本発明は、映像フレーム及び音声フレームの間のリップシンクの同期外れを中継ポイント毎に補正することによって、ネットワークを介したシステム全体として同期を確保することができる中継装置、プログラム、システム及び方法を提供することを目的とする。

本発明によれば、映像フレームと、該映像フレームに同期する音声フレームとを伝送する中継装置において、
他の装置から受信した映像フレームを一時的に蓄積する映像バッファ手段と、
他の装置から受信した音声フレームを一時的に蓄積する音声バッファ手段と、
映像バッファ手段及び音声バッファ手段から映像フレーム及び音声フレームを出力させるバッファ出力制御手段と、
映像フレームに、当該中継装置の現同期情報をメタデータとして含める映像メタデータ挿入手段と、
音声フレームに、当該中継装置の現同期情報をメタデータとして含める音声メタデータ挿入手段と、
映像フレームについて、現同期情報と、１つ前のホップで付加された前同期情報とを比較して、映像フレームの同期差分を検出する映像同期差分検知手段と、
音声フレームについて、現同期情報と、１つ前のホップで付加された前同期情報とを比較して、音声フレームの同期差分を検出する音声同期差分検知手段と、
映像フレーム／音声フレームの同期差分が音声フレーム／映像フレームの同期差分よりも大きい場合、音声フレーム／映像フレームを、映像フレーム／音声フレームと同期が一致するように遅延させるべくバッファ制御手段を制御する同期差分補正手段と
を有することを特徴とする。

本発明の中継装置における他の実施形態によれば、
現時刻を出力するタイマ手段を更に含んでおり、
同期情報は、時刻であり、
映像メタデータ挿入手段は、映像フレームのメタデータに、タイマ手段から出力された同一時刻に基づく現同期情報を含め、
音声メタデータ挿入手段は、音声フレームのメタデータに、タイマ手段から出力された同一時刻に基づく現同期情報を含める
ことも好ましい。

本発明の中継装置における他の実施形態によれば、
映像フレームから特徴量を検出する映像特徴量検出手段と、
音声フレームから特徴量を検出する音声特徴量検出手段と
を更に有し、
同期情報は、特徴量であり、
映像メタデータ挿入手段は、映像フレームのメタデータに、映像特徴量検出手段から出力された特徴量に基づく現同期情報を含め、
音声メタデータ挿入手段は、音声フレームのメタデータに、音声特徴量検出手段から出力された特徴量に基づく現同期情報を含める
ことも好ましい。

本発明の中継装置における他の実施形態によれば、
同期差分補正手段は、現時刻tにおける両フレームの同期差分を補正する際に、映像バッファ手段及び音声バッファ手段に蓄積された過去時刻t-nにおける両フレームを、現時刻tにおける映像フレーム又は音声フレームに対する遅延量よりも小さい遅延量で、両バッファ制御手段が両フレームを出力するべく制御することも好ましい。

本発明によれば、送信装置及び受信装置を有し、映像フレームと、映像フレームに同期する音声フレームとを伝送するシステムにおいて、
送信装置は、
映像フレームに、当該中継装置の現同期情報をメタデータとして含める映像メタデータ挿入手段と、
音声フレームに、当該中継装置の現同期情報をメタデータとして含める音声メタデータ挿入手段と、
映像バッファ手段及び音声バッファ手段から映像フレーム及び音声フレームを出力させるバッファ制御手段と
を有し、
受信装置は、
他の装置から受信した映像フレームを一時的に蓄積する映像バッファ手段と、
他の装置から受信した音声フレームを一時的に蓄積する音声バッファ手段と、
映像バッファ手段及び音声バッファ手段から映像フレーム及び音声フレームを出力させるバッファ制御手段と、
映像フレームについて、現同期情報と、１つ前のホップで付加された前同期情報とを比較して、映像フレームの同期差分を検出する映像同期差分検知手段と、
音声フレームについて、現同期情報と、１つ前のホップで付加された前同期情報とを比較して、音声フレームの同期差分を検出する音声同期差分検知手段と、
映像フレーム／音声フレームの同期差分が音声フレーム／映像フレームの同期差分よりも大きい場合、音声フレーム／映像フレームを、映像フレーム／音声フレームと同期が一致するように遅延させるべくバッファ制御手段を制御する同期差分補正手段と
を有することを特徴とする。

本発明のシステムにおける他の実施形態によれば、
送信装置は、送信装置又は中継装置であり、
受信装置は、中継装置又は受信装置であることも好ましい。

本発明によれば、送信装置と受信装置とを有するシステムであって、映像フレームと、映像フレームに同期する音声フレームとを伝送する伝送方法において、
送信装置が、映像フレームに、当該中継装置の現同期情報をメタデータとして含めると共に、音声フレームに、当該中継装置の現同期情報をメタデータとして含める第１のステップと、
送信装置が、同期する映像フレーム及び音声フレームを伝送する第２のステップと、
受信装置が、他の装置から受信した映像フレームを映像バッファ部に一時的に蓄積すると共に、他の装置から受信した音声フレームを音声バッファ部に一時的に蓄積する第３のステップと、
受信装置が、映像フレームについて、現同期情報と、１つ前のホップで付加された前同期情報とを比較して、映像フレームの同期差分を検出すると共に、音声フレームについて、現同期情報と、１つ前のホップで付加された前同期情報とを比較して、音声フレームの同期差分を検出する第４のステップと、
受信装置が、映像フレーム／音声フレームの同期差分が音声フレーム／映像フレームの同期差分よりも大きい場合、音声フレーム／映像フレームを、映像フレーム／音声フレームと同期が一致するように遅延させる第５のステップと、
受信装置が、映像バッファ部及び音声バッファ部から映像フレーム及び音声フレームを出力する第６のステップと
を有することを特徴とする。

本発明の中継装置、プログラム、システム及び方法によれば、映像フレーム及び音声フレームの間のリップシンクの同期外れを中継ポイント毎に補正することによって、ネットワークを介したシステム全体として同期を確保することができる。特に、本発明によれば、少なくとも受信装置に何らの特別な機能を搭載する必要がない。また、本発明に基づく中継装置を通信事業者ネットワーク内のみで用いることによって、ユーザ所持の送信装置及び受信装置に何らの特別な機能を搭載する必要がない。更に、ネットワーク内におけるいずれの中継ポイントで、リップシンクの同期外れを補正したかを特定することもできる。

対象となるシステム構成図である。 本発明におけるフレームの流れを表す説明図である。 本発明における中継装置の機能構成図である。 本発明におけるシステムの基本構成図である。 同期情報が時刻である場合に、同期差分の補正を表す説明図である。 同期情報が特徴量である場合に、同期差分の補正を表す説明図である。

以下、本発明の実施の形態について、図面を用いて詳細に説明する。

図２は、本発明におけるフレームの流れを表す説明図である。

図２によれば、通信事業者ネットワーク４には、複数の中継装置１が備えられており、エッジ装置としての中継装置ａは、送信装置２から映像フレーム及び音声フレームを受信する。映像フレーム及び音声フレームは、時間的に同期したものである。

図２（ａ）によれば、中継装置ａは、映像フレーム及び音声フレームに、現同期情報を含むメタデータを挿入する。ここで、現同期情報とは、当該中継装置ａに搭載されたタイマから得られる時刻であってもよい。また、フレーム内容に基づく特徴量であってもよい（例えば非特許文献１参照）。映像フレームにおける特徴量として、映像空間特徴量ＳＩ(Spatial Perceptual Information)及び／又は映像時間特徴量ＴＩ(Temporal Perceptual
Information)がある。また、音声フレームにおける特徴量として、音声同相情報ＡＩＩ(Audio In-phase Information)、音声逆相情報ＡＯＩ(Audio Out-phase Information)及び／又は音声振幅情報ＡＭＩ(Audio Magnitude Information)がある。中継装置ａは、現同期情報のメタデータを挿入した映像フレーム及び音声フレームを、同期がとれた状態で、中継装置ｂへ送信する。

図２（ｂ）によれば、中継装置ｂは、その映像フレーム及び音声フレームを、同期が外れた状態で受信している。音声フレームは時刻ｔ₂に受信されているのに対し、映像フレームは、その後の時刻ｔ₃に受信されている。映像フレームには、中継装置ａに基づく前同期情報ｔ₁を含むメタデータが挿入されており、音声フレームにも、中継装置ａに基づく前同期情報ｔ₁を含むメタデータが挿入されている。

図２（ｃ）によれば、音声フレームのメタデータに、現同期情報ｔ₂を含むメタデータを挿入し、映像フレームのメタデータに、現同期情報ｔ₃を含むメタデータを挿入する。そして、中継装置ｂは、音声フレームについて、現同期情報ｔ₂と前同期情報ｔ₁との同期差分(ｔ₂−ｔ₁)を検出する。また、映像フレームについて、現同期情報ｔ₃と前同期情報ｔ₁との同期差分(ｔ₃−ｔ₁)を検出する。

図２（ｄ）によれば、中継装置ｂは、映像フレーム又は音声フレームのうち、同期差分が小さい方のフレームを、同期差分が大きい方のフレームに同期させて、遅延させる。そして、両フレームは、現同期情報も同期させた状態（時刻ｔ₃に一致）で、次の中継装置又は受信装置へ送信される。即ち、図２（ｂ）では、リップシンクが外れた状態で受信された両フレームは、リップシンクがとれた状態で次ホップの装置へ送信される。

図３は、本発明における中継装置の機能構成図である。

図３によれば、中継装置１は、通信インタフェースとして、入力インタフェース部１００と、出力インタフェース部１０１とを有する。映像フレーム用に、映像バッファ部１１１と、映像特徴量検出部１１２と、映像メタデータ挿入部１１３と、映像同期差分検知部１１４とを有する。また、音声フレーム用に、音声バッファ部１２１と、音声特徴量検出部１２２と、音声メタデータ挿入部１２３と、音声同期差分検知部１２４とを有する。更に、タイマ部１３１と、同期差分補正部１３２と、バッファ出力制御部１３３とを有する。インタフェース部を除くこれら機能構成部は、中継装置に搭載されたコンピュータを機能させるプログラムを実行することによって実現される。また、機能部における処理の流れによって、中継装置における中継伝送方法として実現される。

入力インタフェース部１００は、映像フレームと、その映像フレームに同期する音声フレームとを受信する。映像フレームは映像バッファ部１１１へ出力され、音声フレームは音声バッファ部１２１へ出力される。

映像バッファ部１１１は、入力インタフェース部１００から受信した映像フレームを一時的に蓄積する。映像バッファ部１１１は、ＦＩＦＯ(First In First Out)方式である。映像バッファ部１１１に蓄積された映像フレームは、映像特徴量検出部１１２から参照され、映像メタデータ挿入部１１３からメタデータが挿入される。そして、映像バッファ部１１１は、バッファ出力制御部１３３からの指示に応じて、映像フレームを出力インタフェース部１０１へ出力する。

映像特徴量検出部１１２は、映像バッファ部１１１に蓄積された映像フレームを参照し、その映像フレームにおける特徴量（例えば映像空間特徴量）を検出する。検出された特徴量は、映像メタデータ挿入部１１３へ出力される。

映像メタデータ挿入部１１３は、映像フレームのメタデータに、当該中継装置の現状態に基づく現同期情報を挿入する。現同期情報は、タイマ部１３１から出力された現時刻であってもよい。また、映像特徴量検出部１１２から出力された特徴量であってもよい。映像フレームのメタデータに含まれる前同期情報及び現同期情報は、映像同期差分検知部１１４へ出力される。

映像同期差分検知部１１４は、メタデータに含まれる現同期情報と、１つ前のホップでメタデータに付加された前同期情報とを比較して、映像フレームの同期差分を検出する。映像フレームについて、現同期情報ｔ₃及び前同期情報ｔ₁である場合、同期差分としてｔ₃−ｔ₁が検出される。映像フレームの同期差分は、同期差分補正部１３２へ出力される。

音声バッファ部１２１は、入力インタフェース部１００から受信した音声フレームを一時的に蓄積する。音声バッファ部１２１は、ＦＩＦＯ方式である。音声バッファ部１２１に蓄積された音声フレームは、音声特徴量検出部１２２から参照され、音声メタデータ挿入部１２３からメタデータが挿入される。そして、音声バッファ部１２１は、バッファ出力制御部１３３からの指示に応じて、音声フレームを出力インタフェース部１０１へ出力する。

音声特徴量検出部１２２は、音声バッファ部１２１に蓄積された音声フレームを参照し、その音声フレームにおける特徴量（例えば音声同相情報）を検出する。検出された特徴量は、音声メタデータ挿入部１２３へ出力される。

音声メタデータ挿入部１２３は、音声フレームのメタデータに、当該中継装置の現状態に基づく現同期情報を挿入する。現同期情報は、タイマ部１３１から出力された現時刻であってもよい。また、音声特徴量検出部１２２から出力された特徴量であってもよい。音声フレームのメタデータに含まれる前同期情報及び現同期情報は、音声同期差分検知部１２４へ出力される。

音声同期差分検知部１２４は、メタデータに含まれる現同期情報と、１つ前のホップでメタデータに付加された前同期情報とを比較して、音声フレームの同期差分を検出する。音声フレームについて、現同期情報ｔ₂及び前同期情報ｔ₁である場合、同期差分としてｔ₂−ｔ₁が検出される。音声フレームの同期差分は、同期差分補正部１３２へ出力される。

タイマ部１３１は、現時刻を出力する。タイマ部１３１は、現時刻を、映像メタデータ挿入部１１３及び音声メタデータ挿入部１２３へ出力する。

同期差分補正部１３２は、映像フレームの同期差分と、音声フレームの同期差分とを入力する。映像フレーム／音声フレームの同期差分が音声フレーム／映像フレームの同期差分よりも大きい場合、同期差分補正部１３２は、音声フレーム／映像フレームを、映像フレーム／音声フレームと同期が一致するように遅延させるべくバッファ出力制御部１３３を制御する。「／」は、「又は」の意味であって、「映像フレーム／音声フレームを、音声フレーム／映像フレームと同期が一致する」とは、「映像フレームを、音声フレームと同期が一致する」又は「音声フレームを、映像フレームと同期が一致する」の２つ意味を有する。

また、同期差分補正部１３２は、現時刻tにおける両フレームの同期差分を補正する際に、映像バッファ部１１１及び音声バッファ部１２１に蓄積された過去時刻t-nにおける両フレームを、現時刻tにおける映像フレーム又は音声フレームに対する遅延量よりも小さい遅延量で、両バッファ部が両フレームを出力するべく制御する。この動作は、図５（ｄ）で詳述する。

バッファ出力制御部１３３は、映像バッファ部１１１及び音声バッファ部１２１から映像フレーム及び音声フレームを同期させて出力させる。これによって、映像フレームが音声フレームよりも遅延している場合、その遅延差分だけ音声フレームを遅延させ、リップシンクの同期外れを補正する。また、音声フレームが映像フレームよりも遅延している場合、その遅延差分だけ映像フレームを遅延させ、リップシンク同期外れを補正する。尚、映像フレームと音声フレームとの間で遅延差分がない場合、リップシンク同期外れは発生していない、即ち、リップシンクがとれている状態であるので、映像フレーム又は音声フレームを遅延させる必要はない。

映像バッファ部１１１及び音声バッファ部１２１から取り出された映像フレーム及び音声フレームは、出力インタフェース部１０１を介して、次ホップの装置へ出力される。

図４は、本発明におけるシステムの基本構成図である。

図４によれば、本発明におけるシステムは、送信装置２と受信装置３とのみを有する。送信装置２は、映像フレーム及び音声フレームを同期がとれた状態で送信するが、受信装置３は、同期が外れた状態の映像フレーム及び音声フレームを受信する。送信装置２が、現同期情報を含むメタデータをフレームに挿入することよって、受信装置３は、映像フレーム及び音声フレームを同期させて出力することができる。

図４によれば、送信装置２は、少なくとも、映像バッファ部１１１と、映像特徴量検出部１１２と、映像メタデータ挿入部１１３と、音声バッファ部１２１と、音声特徴量検出部１２２と、音声メタデータ挿入部１２３と、タイマ部１３１とを有していればよい。一方で、受信装置３は、少なくとも、映像バッファ部１１１と、映像同期差分検知部１１４と、音声バッファ部１２１と、音声同期差分検知部１２４と、同期差分補正部１３２と、バッファ出力制御部１３３とを有していればよい。

図５は、同期情報が時刻である場合に、同期差分の補正を表す説明図である。

図５によれば、横方向は、フレーム番号の順に、同期情報としての時刻が並べられている。図５（ａ）は、映像フレームにおける１ホップ前の前同期情報と、当該中継装置の現同期情報とが表されている。映像フレーム毎に、前同期情報と現同期情報とを比較すると、一貫して３３ｍｓの同期差分となっている。

図５（ｂ）は、音声フレームにおける１ホップ前の前同期情報と、当該中継装置の現同期情報とが表されている。音声フレーム毎に、前同期情報と現同期情報とを比較すると、音声フレーム１〜２までは、映像フレームと同様に３３ｍｓの同期差分である。しかし、音声フレーム３では、６６ｍｓの同期差分が発生している。

図５（ａ）及び（ｂ）を比較すると、映像フレーム１〜２の同期差分は３３ｍｓであり、音声フレーム１〜２の同期差分は３３ｍｓであり、両者は同一である。しかし、映像フレーム３の同期差分３３ｍｓであるのに対し、音声フレーム３の同期差分は６６ｍｓであり、同期外れの発生が検知される。

図５（ｃ）は、本発明における同期外れの補正を表している。図５（ａ）によれば、映像フレーム番号３について、同期差分３３ｍｓであるのに対し、図５（ｂ）によれば、音声フレーム番号３について、同期差分６６ｍｓである。このとき、映像フレーム番号３について、３３ｍｓ（＝６６ｍｓ−３３ｍｓ）だけ遅延させることによって、音声フレーム番号３と同期させることができる。映像フレームは、ＦＩＦＯ方式の映像バッファ部に蓄積されているので、映像フレーム番号３のみについて出力タイミングを遅延させることによって、その後の映像フレームは所定タイミングで継続して出力されていく。

尚、図５（ｃ）の場合、映像フレームを音声フレームに合わせて遅延させることによって、映像フレーム番号２と３との間のみに、一時的に６６ｍｓの時間的隔たりが生じてしまう。これは、受信装置がストリーミング形式で再生している場合、映像の途切れが生じる場合がある。

そこで、図５（ｄ）は、映像フレーム番号３で同期外れを検出した場合、その前段にある映像フレーム及び音声フレーム（番号１及び２）も遅延させることによって、フレーム間に生じる一時的に長い時間的隔たりを、前方の任意のフレーム間に分散させることができる。例えば、図５（ｄ）によれば、映像フレーム番号１と２及び音声フレーム番号１と２について、バッファ部からの出力を、３３ｍｓ遅延させている。バッファ内全体で、フレーム間に生じる時間的隔たりを平準化することができる。これによって、受信装置における再生に伴う映像又は音声の途切れをできる限り回避することができる。

図６は、同期情報が特徴量である場合に、同期差分の補正を表す説明図である。

図６によれば、横軸に、時間経過に伴うフレーム番号が表され、縦軸に、フレーム内容に基づく特徴量が表されている。フレーム毎に、前同期情報としての特徴量（黒塗り）と、現同期情報としての特徴量（斜線）とが表されている。ここで、フレーム毎にこれら特徴量を統計的に記録することによって、前同期情報及び現同期情報との間の相関を取ることができる。図６によれば、４サンプル分の１３２ｍｓだけ遅延していることが理解できる。映像フレーム及び音声フレームのそれぞれについて遅延を導出することによって、同期差分を検知することできる。

以上、詳細に説明したように、本発明の中継装置、プログラム、システム及び方法によれば、映像フレーム及び音声フレームの間のリップシンクの同期外れを中継ポイント毎に補正することによって、ネットワークを介したシステム全体として同期を確保することができる。特に、本発明によれば、少なくとも受信装置に何らの特別な機能を搭載する必要がない。また、本発明に基づく中継装置を通信事業者ネットワーク内のみで用いることによって、ユーザ所持の送信装置及び受信装置に何らの特別な機能を搭載する必要がない。更に、ネットワーク内におけるいずれの中継ポイントで、リップシンクの同期外れを補正したかを特定することもできる。

前述した本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。

１ 中継装置
１００ 入力インタフェース部
１０１ 出力インタフェース部
１１１ 映像バッファ部
１１２ 映像特徴量検出部
１１３ 映像メタデータ挿入部
１１４ 映像同期差分検知部
１２１ 音声バッファ部
１２２ 音声特徴量検出部
１２３ 音声メタデータ挿入部
１２４ 音声同期差分検知部
１３１ タイマ部
１３２ 同期差分補正部
１３３ バッファ出力制御部
２ 送信装置
３ 受信装置

Claims (8)

1. 映像フレームと、該映像フレームに同期する音声フレームとを伝送する中継装置において、
   他の装置から受信した映像フレームを一時的に蓄積する映像バッファ手段と、
   他の装置から受信した音声フレームを一時的に蓄積する音声バッファ手段と、
   前記映像バッファ手段及び前記音声バッファ手段から前記映像フレーム及び前記音声フレームを出力させるバッファ出力制御手段と、
   前記映像フレームに、当該中継装置の現同期情報をメタデータとして含める映像メタデータ挿入手段と、
   前記音声フレームに、当該中継装置の現同期情報をメタデータとして含める音声メタデータ挿入手段と、
   前記映像フレームについて、現同期情報と、１つ前のホップで付加された前同期情報とを比較して、映像フレームの同期差分を検出する映像同期差分検知手段と、
   前記音声フレームについて、現同期情報と、１つ前のホップで付加された前同期情報とを比較して、音声フレームの同期差分を検出する音声同期差分検知手段と、
   前記映像フレーム／音声フレームの同期差分が前記音声フレーム／映像フレームの同期差分よりも大きい場合、前記音声フレーム／映像フレームを、前記映像フレーム／音声フレームと同期が一致するように遅延させるべく前記バッファ制御手段を制御する同期差分補正手段と
   を有することを特徴とする中継装置。
2. 現時刻を出力するタイマ手段を更に含んでおり、
   前記同期情報は、時刻であり、
   前記映像メタデータ挿入手段は、前記映像フレームのメタデータに、前記タイマ手段から出力された同一時刻に基づく現同期情報を含め、
   前記音声メタデータ挿入手段は、前記音声フレームのメタデータに、前記タイマ手段から出力された同一時刻に基づく現同期情報を含める
   ことを特徴とする請求項１に記載の中継装置。
3. 映像フレームから特徴量を検出する映像特徴量検出手段と、
   音声フレームから特徴量を検出する音声特徴量検出手段と
   を更に有し、
   前記同期情報は、特徴量であり、
   前記映像メタデータ挿入手段は、前記映像フレームのメタデータに、前記映像特徴量検出手段から出力された特徴量に基づく現同期情報を含め、
   前記音声メタデータ挿入手段は、前記音声フレームのメタデータに、前記音声特徴量検出手段から出力された特徴量に基づく現同期情報を含める
   ことを特徴とする請求項１に記載の中継装置。
4. 前記同期差分補正手段は、現時刻tにおける両フレームの同期差分を補正する際に、前記映像バッファ手段及び前記音声バッファ手段に蓄積された過去時刻t-nにおける両フレームを、現時刻tにおける前記映像フレーム又は前記音声フレームに対する遅延量よりも小さい遅延量で、前記両バッファ制御手段が両フレームを出力するべく制御することによって、フレーム間に生じる一時的に長い時間的隔たりを、前方の任意のフレーム間に分散させることを特徴とする請求項１から３のいずれか１項に記載の中継装置。
5. 映像フレームと、該映像フレームに同期する音声フレームとを伝送する中継装置に搭載されたコンピュータを機能させるプログラムにおいて、
   他の装置から受信した映像フレームを一時的に蓄積する映像バッファ手段と、
   他の装置から受信した音声フレームを一時的に蓄積する音声バッファ手段と、
   前記映像バッファ手段及び前記音声バッファ手段から前記映像フレーム及び前記音声フレームを出力させるバッファ出力制御手段と、
   前記映像フレームに、当該中継装置の現同期情報をメタデータとして含める映像メタデータ挿入手段と、
   前記音声フレームに、当該中継装置の現同期情報をメタデータとして含める音声メタデータ挿入手段と、
   前記映像フレームについて、現同期情報と、１つ前のホップで付加された前同期情報とを比較して、映像フレームの同期差分を検出する映像同期差分検知手段と、
   前記音声フレームについて、現同期情報と、１つ前のホップで付加された前同期情報とを比較して、音声フレームの同期差分を検出する音声同期差分検知手段と、
   前記映像フレーム／音声フレームの同期差分が前記音声フレーム／映像フレームの同期差分よりも大きい場合、前記音声フレーム／映像フレームを、前記映像フレーム／音声フレームと同期が一致するように遅延させるべく前記バッファ制御手段を制御する同期差分補正手段と
   してコンピュータを機能させることを特徴とする中継装置用のプログラム。
6. 送信装置及び受信装置を有し、映像フレームと、前記映像フレームに同期する音声フレームとを伝送するシステムにおいて、
   前記送信装置は、
   前記映像フレームに、当該中継装置の現同期情報をメタデータとして含める映像メタデータ挿入手段と、
   前記音声フレームに、当該中継装置の現同期情報をメタデータとして含める音声メタデータ挿入手段と、
   前記映像バッファ手段及び前記音声バッファ手段から前記映像フレーム及び前記音声フレームを出力させるバッファ制御手段と
   を有し、
   前記受信装置は、
   他の装置から受信した映像フレームを一時的に蓄積する映像バッファ手段と、
   他の装置から受信した音声フレームを一時的に蓄積する音声バッファ手段と、
   前記映像バッファ手段及び前記音声バッファ手段から前記映像フレーム及び前記音声フレームを出力させるバッファ制御手段と、
   前記映像フレームについて、現同期情報と、１つ前のホップで付加された前同期情報とを比較して、映像フレームの同期差分を検出する映像同期差分検知手段と、
   前記音声フレームについて、現同期情報と、１つ前のホップで付加された前同期情報とを比較して、音声フレームの同期差分を検出する音声同期差分検知手段と、
   前記映像フレーム／音声フレームの同期差分が前記音声フレーム／映像フレームの同期差分よりも大きい場合、前記音声フレーム／映像フレームを、前記映像フレーム／音声フレームと同期が一致するように遅延させるべく前記バッファ制御手段を制御する同期差分補正手段と
   を有することを特徴とするシステム。
7. 前記送信装置は、送信装置又は中継装置であり、
   前記受信装置は、中継装置又は受信装置である
   ことを特徴とする請求項６に記載のシステム。
8. 送信装置と受信装置とを有するシステムであって、映像フレームと、前記映像フレームに同期する音声フレームとを伝送する伝送方法において、
   前記送信装置が、前記映像フレームに、当該中継装置の現同期情報をメタデータとして含めると共に、前記音声フレームに、当該中継装置の現同期情報をメタデータとして含める第１のステップと、
   前記送信装置が、同期する映像フレーム及び音声フレームを伝送する第２のステップと、
   前記受信装置が、他の装置から受信した映像フレームを映像バッファ部に一時的に蓄積すると共に、他の装置から受信した音声フレームを音声バッファ部に一時的に蓄積する第３のステップと、
   前記受信装置が、前記映像フレームについて、現同期情報と、１つ前のホップで付加された前同期情報とを比較して、映像フレームの同期差分を検出すると共に、前記音声フレームについて、現同期情報と、１つ前のホップで付加された前同期情報とを比較して、音声フレームの同期差分を検出する第４のステップと、
   前記受信装置が、前記映像フレーム／音声フレームの同期差分が前記音声フレーム／映像フレームの同期差分よりも大きい場合、前記音声フレーム／映像フレームを、前記映像フレーム／音声フレームと同期が一致するように遅延させる第５のステップと、
   前記受信装置が、前記映像バッファ部及び前記音声バッファ部から前記映像フレーム及び前記音声フレームを出力する第６のステップと
   を有することを特徴とする伝送方法。

Images