JPH1188847A - 映像・音声同期方式 - Google Patents
映像・音声同期方式Info
- Publication number
- JPH1188847A JPH1188847A JP23791797A JP23791797A JPH1188847A JP H1188847 A JPH1188847 A JP H1188847A JP 23791797 A JP23791797 A JP 23791797A JP 23791797 A JP23791797 A JP 23791797A JP H1188847 A JPH1188847 A JP H1188847A
- Authority
- JP
- Japan
- Prior art keywords
- video
- timing
- audio
- signal
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Television Receiver Circuits (AREA)
- Details Of Television Systems (AREA)
- Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
(57)【要約】
【課題】 映像信号と音声信号を高能率符号化し、異な
る伝送媒体を経由して伝送したとき、受端において映像
信号と音声信号のタイミングを合致させることを目的と
する。 【解決手段】 画像処理によって映像信号から拍手や口
の動き等に相当する所定条件のゼスチャ部分の発生タイ
ミングを検出する手段と、音声信号から上記映像信号の
ゼスチャ部分に対応する所定条件部分の発生タイミング
を検出する手段を有し、両者のタイミング誤差を検出す
るとともに、映像と音声のどちらか遅れたタイミングに
他方を遅延させることにより、映像信号と音声信号の同
期をとるものである。さらに、音声信号の所定条件部分
の発生タイミングと映像信号の所定条件部分の発生タイ
ミングを同一時間軸上に表示し、映像信号と音声信号の
同期確認を容易にすることを特徴とするものである。
る伝送媒体を経由して伝送したとき、受端において映像
信号と音声信号のタイミングを合致させることを目的と
する。 【解決手段】 画像処理によって映像信号から拍手や口
の動き等に相当する所定条件のゼスチャ部分の発生タイ
ミングを検出する手段と、音声信号から上記映像信号の
ゼスチャ部分に対応する所定条件部分の発生タイミング
を検出する手段を有し、両者のタイミング誤差を検出す
るとともに、映像と音声のどちらか遅れたタイミングに
他方を遅延させることにより、映像信号と音声信号の同
期をとるものである。さらに、音声信号の所定条件部分
の発生タイミングと映像信号の所定条件部分の発生タイ
ミングを同一時間軸上に表示し、映像信号と音声信号の
同期確認を容易にすることを特徴とするものである。
Description
【０００１】
【発明の属する技術分野】本発明は、映像信号と音声信
号を異なる伝送媒体を経由して伝送した時に、受信側で
発生する映像信号と音声信号の時間差を合致させるシス
テムに関するものである。
号を異なる伝送媒体を経由して伝送した時に、受信側で
発生する映像信号と音声信号の時間差を合致させるシス
テムに関するものである。
【０００２】
【従来の技術】近年、動画像圧縮の国際標準(ＭＰＥＧ
２方式)に準拠した映像信号や音声信号の高能率符号化
が実使用に供されている。 また、圧縮されたディジタ
ルデータは、有線のみならず、光ケーブルや衛星等様々
な伝送媒体を経由して伝達されている。一般に、映像信
号と音声信号は同一伝送媒体で伝送するため、受信側に
おける映像信号と音声信号の時間的タイミング誤差は、
エンコード／デコードに伴う処理遅延とデータ多重部や
多重分離部で原理的に発生する遅延量であるため、予測
可能な遅延量である。このタイミング誤差に対し、ＭＰ
ＥＧ２のシステムでは、タイムスタンプと呼ばれる時間
情報を映像と音声の圧縮データにそれぞれ多重し、受信
側でのタイミング合わせとして用いる。しかし、映像信
号と音声信号を別々の回線を経由して伝送する場合に
は、受信側における遅延時間の補償量の設定が困難な状
況となる。
２方式)に準拠した映像信号や音声信号の高能率符号化
が実使用に供されている。 また、圧縮されたディジタ
ルデータは、有線のみならず、光ケーブルや衛星等様々
な伝送媒体を経由して伝達されている。一般に、映像信
号と音声信号は同一伝送媒体で伝送するため、受信側に
おける映像信号と音声信号の時間的タイミング誤差は、
エンコード／デコードに伴う処理遅延とデータ多重部や
多重分離部で原理的に発生する遅延量であるため、予測
可能な遅延量である。このタイミング誤差に対し、ＭＰ
ＥＧ２のシステムでは、タイムスタンプと呼ばれる時間
情報を映像と音声の圧縮データにそれぞれ多重し、受信
側でのタイミング合わせとして用いる。しかし、映像信
号と音声信号を別々の回線を経由して伝送する場合に
は、受信側における遅延時間の補償量の設定が困難な状
況となる。
【０００３】図２は、異なる伝送媒体を経由して映像信
号と音声信号を伝送するシステムの一例である。カメラ
１等から得られた映像信号ａは、映像信号用高能率符号
器２で圧縮され、圧縮映像データｂとなる。一方、マイ
ク３等から得られる音声信号ｃも音声信号用高能率符号
器４で圧縮され、圧縮音声データｄとなる。圧縮映像デ
ータｂと圧縮音声データｄは、データ多重器５でそれぞ
れタイムスタンプを付され、一束のシリアルデータｅと
なり、衛星送信機６、静止衛星７を経由して衛星受信機
８に到達する。衛星受信機８の出力シリアルデータｆ
は、誤りが無ければ、シリアルデータｅと同一である。
この後、送信側と逆の処理が施され、多重分離器９で圧
縮映像データｂと圧縮音声データｄに分離され、映像信
号用デコーダ１０で映像信号ａに復元され映像信号モニ
タ１１で表示される。一方、圧縮音声データｄも音声信
号用デコーダ１２で元の音声信号ｃに復元され、スピー
カ１３を駆動する。
号と音声信号を伝送するシステムの一例である。カメラ
１等から得られた映像信号ａは、映像信号用高能率符号
器２で圧縮され、圧縮映像データｂとなる。一方、マイ
ク３等から得られる音声信号ｃも音声信号用高能率符号
器４で圧縮され、圧縮音声データｄとなる。圧縮映像デ
ータｂと圧縮音声データｄは、データ多重器５でそれぞ
れタイムスタンプを付され、一束のシリアルデータｅと
なり、衛星送信機６、静止衛星７を経由して衛星受信機
８に到達する。衛星受信機８の出力シリアルデータｆ
は、誤りが無ければ、シリアルデータｅと同一である。
この後、送信側と逆の処理が施され、多重分離器９で圧
縮映像データｂと圧縮音声データｄに分離され、映像信
号用デコーダ１０で映像信号ａに復元され映像信号モニ
タ１１で表示される。一方、圧縮音声データｄも音声信
号用デコーダ１２で元の音声信号ｃに復元され、スピー
カ１３を駆動する。
【０００４】以上説明したごとく、一般的な伝送形態で
は映像信号と音声信号とは、同一の衛星回線で送られ
る。 しかし、衛星回線は光ケーブル伝送に比べ、大気
や気象条件の影響を受けやすく、光ケーブル伝送等に比
べ本質的に信頼度が低い。このため、番組編成上、映像
信号は最悪途切れても、音声信号だけは確保したいとの
考えから、映像信号は衛星回線で、音声信号は光ケーブ
ル回線で運用することが多い。 このような音声信号の
みを光ケーブル１４で伝送する例を図２に示す。圧縮音
声データｄは、光ケーブル用送信インターフェース１５
で光ケーブル１４に最適な変調を施され、光ケーブル用
受信インターフェース１６で再び圧縮音声データｄに変
換され、音声信号用デコーダ１２に到達する。この時問
題になるのが、映像信号と音声信号のタイミングであ
る。 一般に、違和感のない映像信号と音声信号のタイ
ミング量は、映像信号に比べ音声信号が、進みで約３０
ミリ秒、遅れで約６０ミリ秒と言われている。ここで、
具体的な遅延量を要素別に考える。 初めに、原理的に
発生する遅延として、映像信号は高能率符号化／復号化
処理により、約５００ミリ秒の遅れが発生する。 一
方、音声信号処理は映像信号処理に比べ短時間に処理で
き、その時間は数十ミリ秒である。
は映像信号と音声信号とは、同一の衛星回線で送られ
る。 しかし、衛星回線は光ケーブル伝送に比べ、大気
や気象条件の影響を受けやすく、光ケーブル伝送等に比
べ本質的に信頼度が低い。このため、番組編成上、映像
信号は最悪途切れても、音声信号だけは確保したいとの
考えから、映像信号は衛星回線で、音声信号は光ケーブ
ル回線で運用することが多い。 このような音声信号の
みを光ケーブル１４で伝送する例を図２に示す。圧縮音
声データｄは、光ケーブル用送信インターフェース１５
で光ケーブル１４に最適な変調を施され、光ケーブル用
受信インターフェース１６で再び圧縮音声データｄに変
換され、音声信号用デコーダ１２に到達する。この時問
題になるのが、映像信号と音声信号のタイミングであ
る。 一般に、違和感のない映像信号と音声信号のタイ
ミング量は、映像信号に比べ音声信号が、進みで約３０
ミリ秒、遅れで約６０ミリ秒と言われている。ここで、
具体的な遅延量を要素別に考える。 初めに、原理的に
発生する遅延として、映像信号は高能率符号化／復号化
処理により、約５００ミリ秒の遅れが発生する。 一
方、音声信号処理は映像信号処理に比べ短時間に処理で
き、その時間は数十ミリ秒である。
【０００５】この結果、通常の処理では４００ミリ秒以
上のタイミング誤差が発生するため映像信号を遅らせな
ければならないことは明白である。さらに、実用に供さ
れるシステムで、静止衛星を経由すると３６０００ｋｍ
の往復電波伝搬で、約２５０ミリ秒が必要となる。 実
例として、地球の裏側から日本への伝送では、最悪４回
の静止衛星中継が行われ、約１秒の遅延が固定的に加わ
る場合も珍しくない。このため、伝送媒体に起因するタ
イミング誤差は、通常、遅れの少ない音声信号を遅延の
大きな映像信号に合うように遅延させることで運用して
いるが、大まかな設定をした後は、人間の感覚で微調整
していた。
上のタイミング誤差が発生するため映像信号を遅らせな
ければならないことは明白である。さらに、実用に供さ
れるシステムで、静止衛星を経由すると３６０００ｋｍ
の往復電波伝搬で、約２５０ミリ秒が必要となる。 実
例として、地球の裏側から日本への伝送では、最悪４回
の静止衛星中継が行われ、約１秒の遅延が固定的に加わ
る場合も珍しくない。このため、伝送媒体に起因するタ
イミング誤差は、通常、遅れの少ない音声信号を遅延の
大きな映像信号に合うように遅延させることで運用して
いるが、大まかな設定をした後は、人間の感覚で微調整
していた。
【０００６】
【発明が解決しようとする課題】前述のごとく、従来技
術では、最終遅延調整は人間に頼っていたため、多地点
からの生中継で番組を構成する場合、遅延時間の調整が
困難であった。本発明はこれらの欠点を除去し、リップ
シンクと呼ばれる映像と音声の伝送遅延のタイミング差
に起因する違和感を自動的に補正することを目的として
いる。
術では、最終遅延調整は人間に頼っていたため、多地点
からの生中継で番組を構成する場合、遅延時間の調整が
困難であった。本発明はこれらの欠点を除去し、リップ
シンクと呼ばれる映像と音声の伝送遅延のタイミング差
に起因する違和感を自動的に補正することを目的として
いる。
【０００７】
【課題を解決するための手段】本発明は、上記の目的を
達成するため、画像処理によって映像信号から拍手や口
の動き等に相当する所定条件のゼスチャ部分の発生タイ
ミングを検出する手段と、音声信号から上記映像信号の
ゼスチャ部分に対応する所定条件部分の発生タイミング
を検出する手段を有し、両者のタイミング誤差を検出す
るとともに、映像と音声のどちらか遅れたタイミングに
他方を遅延させることにより、映像信号と音声信号の同
期をとるものである。さらに、音声信号の所定条件部分
の発生タイミングと映像信号の所定条件部分の発生タイ
ミングを同一時間軸上に表示し、映像信号と音声信号の
同期確認を容易にすることを特徴とするものである。
達成するため、画像処理によって映像信号から拍手や口
の動き等に相当する所定条件のゼスチャ部分の発生タイ
ミングを検出する手段と、音声信号から上記映像信号の
ゼスチャ部分に対応する所定条件部分の発生タイミング
を検出する手段を有し、両者のタイミング誤差を検出す
るとともに、映像と音声のどちらか遅れたタイミングに
他方を遅延させることにより、映像信号と音声信号の同
期をとるものである。さらに、音声信号の所定条件部分
の発生タイミングと映像信号の所定条件部分の発生タイ
ミングを同一時間軸上に表示し、映像信号と音声信号の
同期確認を容易にすることを特徴とするものである。
【０００８】
【発明の実施の形態】以下、本発明の一実施例を図１を
用いて詳細に説明する。 なお、前述と同一ブロックに
は同一番号を付し説明を省略する。本発明は、送信側に
は一切手を加えず、受信側のみの処理で対応可能であ
る。図１において、映像信号用デコーダ１０で復元され
た映像信号ａは、映像信号特徴抽出器１８と信号加算器
１９に加えられる。 映像信号特徴抽出器１８は、映像
信号の中から拍手やアナウンサーの口の動きなど予め決
められた動作に相当する信号部分を検出し、映像タイミ
ングｇを出力する。 この映像タイミングｇは、時間誤
差検出器２０と画像表示器２３に加えられる。
用いて詳細に説明する。 なお、前述と同一ブロックに
は同一番号を付し説明を省略する。本発明は、送信側に
は一切手を加えず、受信側のみの処理で対応可能であ
る。図１において、映像信号用デコーダ１０で復元され
た映像信号ａは、映像信号特徴抽出器１８と信号加算器
１９に加えられる。 映像信号特徴抽出器１８は、映像
信号の中から拍手やアナウンサーの口の動きなど予め決
められた動作に相当する信号部分を検出し、映像タイミ
ングｇを出力する。 この映像タイミングｇは、時間誤
差検出器２０と画像表示器２３に加えられる。
【０００９】一方、音声信号用デコーダ１２の入力側に
は遅延回路２１が追加され、圧縮音声データｄが遅延回
路２１を経由して音声信号用デコーダ１２に加えられ
る。音声信号用デコーダ１２の出力音声信号ｃは、音声
信号特徴抽出器２２に加えられ、音声信号の中から拍手
や人間の音声における破裂音等の特徴に相当する信号部
分を検出し、音声タイミングｈを出力する。 この音声
タイミングｈは、時間誤差検出器２０と画像表示器２３
に加えられる。時間誤差検出器２０では、映像タイミン
グｇと音声タイミングｈから、差分を検出し、両者の誤
差時間ｉを遅延回路２１に加える。この結果、映像信号
用デコーダ１０と音声信号用デコーダ１２のタイミング
がゼロになるようフィードバック制御され、映像信号と
音声信号の特徴タイミングが合致する。本発明ではさら
に、映像タイミングｇと音声タイミングｈを画像表示器
２３で同一時間軸上に表示する信号を出力し、信号加算
器１９で映像信号に多重して表示する。
は遅延回路２１が追加され、圧縮音声データｄが遅延回
路２１を経由して音声信号用デコーダ１２に加えられ
る。音声信号用デコーダ１２の出力音声信号ｃは、音声
信号特徴抽出器２２に加えられ、音声信号の中から拍手
や人間の音声における破裂音等の特徴に相当する信号部
分を検出し、音声タイミングｈを出力する。 この音声
タイミングｈは、時間誤差検出器２０と画像表示器２３
に加えられる。時間誤差検出器２０では、映像タイミン
グｇと音声タイミングｈから、差分を検出し、両者の誤
差時間ｉを遅延回路２１に加える。この結果、映像信号
用デコーダ１０と音声信号用デコーダ１２のタイミング
がゼロになるようフィードバック制御され、映像信号と
音声信号の特徴タイミングが合致する。本発明ではさら
に、映像タイミングｇと音声タイミングｈを画像表示器
２３で同一時間軸上に表示する信号を出力し、信号加算
器１９で映像信号に多重して表示する。
【００１０】
【発明の効果】以上説明した如く、本発明によれば、人
手に頼っていた映像信号と音声信号のタイミング合わせ
が自動化されると共に、タイミング誤差を画像モニタ上
に表示することで、信頼度の高い映像・音声同期システ
ムが構築出来る。
手に頼っていた映像信号と音声信号のタイミング合わせ
が自動化されると共に、タイミング誤差を画像モニタ上
に表示することで、信頼度の高い映像・音声同期システ
ムが構築出来る。
【図１】本発明の全体構成を示すブロック図
【図２】従来のシステムの一例を示すブロック図
１：カメラ、２：映像信号用高能率符号器、３：マイ
ク、４：音声信号用高能率符号器、５：データ多重器、
６：衛星送信機、７：静止衛星、８：衛星受信機、９：
多重分離器、１０：映像信号用デコーダ、１１：映像信
号モニタ、１２：音声信号用デコーダ、１３：スピー
カ、１４：光ケーブル、１８：映像信号特徴抽出器、１
９：信号加算器、２０：時間誤差検出器、２１：遅延回
路、２２：音声信号特徴抽出器、２３：画像表示器、
ａ：映像信号、ｂ：圧縮映像データ、ｃ：音声信号、
ｄ：圧縮音声データｄ、ｇ：映像タイミング、ｈ：音声
タイミング、ｉ：誤差時間
ク、４：音声信号用高能率符号器、５：データ多重器、
６：衛星送信機、７：静止衛星、８：衛星受信機、９：
多重分離器、１０：映像信号用デコーダ、１１：映像信
号モニタ、１２：音声信号用デコーダ、１３：スピー
カ、１４：光ケーブル、１８：映像信号特徴抽出器、１
９：信号加算器、２０：時間誤差検出器、２１：遅延回
路、２２：音声信号特徴抽出器、２３：画像表示器、
ａ：映像信号、ｂ：圧縮映像データ、ｃ：音声信号、
ｄ：圧縮音声データｄ、ｇ：映像タイミング、ｈ：音声
タイミング、ｉ：誤差時間
Claims (2)
- 【請求項１】 画像処理によって映像信号から拍手や口
の動き等に相当する所定条件のゼスチャ部分の発生タイ
ミングを検出する手段と、音声信号から上記映像信号の
ゼスチャ部分に対応する所定条件部分の発生タイミング
を検出する手段を有し、両者のタイミング誤差を検出す
るとともに、映像と音声のどちらか遅れたタイミングに
他方を遅延させることにより、映像信号と音声信号の同
期をとることを特徴とする映像・音声同期方式。 - 【請求項２】 請求項１の映像・音声同期方式におい
て、音声信号の所定条件部分の発生タイミングと映像信
号の所定条件部分の発生タイミングを同一時間軸上に表
示し、映像信号と音声信号の同期確認を容易にすること
を特徴とする映像・音声同期方式。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23791797A JPH1188847A (ja) | 1997-09-03 | 1997-09-03 | 映像・音声同期方式 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP23791797A JPH1188847A (ja) | 1997-09-03 | 1997-09-03 | 映像・音声同期方式 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1188847A true JPH1188847A (ja) | 1999-03-30 |
Family
ID=17022367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP23791797A Pending JPH1188847A (ja) | 1997-09-03 | 1997-09-03 | 映像・音声同期方式 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1188847A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004010695A1 (ja) * | 2002-07-18 | 2004-01-29 | Sharp Kabushiki Kaisha | 伝送システム、伝送装置、並びに、そのプログラムおよび記録媒体 |
| JP2007533189A (ja) * | 2004-04-07 | 2007-11-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ・オーディオ同期 |
| US8229000B2 (en) | 2005-10-12 | 2012-07-24 | Nec Corporation | Moving image conversion method, moving image conversion apparatus, moving image conversion system, and server apparatus, and program |
| KR101462249B1 (ko) * | 2010-09-16 | 2014-11-19 | 주식회사 케이티 | 비디오 컨텐츠의 시청각 정보 출력 오류를 검출하는 장치 및 방법 |
-
1997
- 1997-09-03 JP JP23791797A patent/JPH1188847A/ja active Pending
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2004010695A1 (ja) * | 2002-07-18 | 2004-01-29 | Sharp Kabushiki Kaisha | 伝送システム、伝送装置、並びに、そのプログラムおよび記録媒体 |
| JP2007533189A (ja) * | 2004-04-07 | 2007-11-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ・オーディオ同期 |
| US8229000B2 (en) | 2005-10-12 | 2012-07-24 | Nec Corporation | Moving image conversion method, moving image conversion apparatus, moving image conversion system, and server apparatus, and program |
| KR101462249B1 (ko) * | 2010-09-16 | 2014-11-19 | 주식회사 케이티 | 비디오 컨텐츠의 시청각 정보 출력 오류를 검출하는 장치 및 방법 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20120127365A1 (en) | Delay and Lip Sync Tracker | |
| US6351281B1 (en) | Delay tracker | |
| WO1995012288B1 (en) | A two-part synchronization scheme for digital video decoders | |
| WO1997047128A3 (en) | Improvements in or relating to changing the bit rate of a signal | |
| JPH1188847A (ja) | 映像・音声同期方式 | |
| US20040013270A1 (en) | Apparatus and method for converting contents | |
| US6665001B1 (en) | Multiplex and demultiplex controlling apparatus, multiplex and demultiplex controlling system, and method thereof | |
| US20070189384A1 (en) | Method and apparatus for reproduction of image frame in image receiving system | |
| WO2013145225A1 (ja) | エレメンタリストリームをエンコードし、多重し、またはデコードするための方法、装置、およびプログラム | |
| JP2002176643A (ja) | 映像・音声復号処理における映像・音声の同期再生方式 | |
| JP3945688B2 (ja) | フレーム同期方法 | |
| KR100240331B1 (ko) | 디코더 시스템의 비디오/오디오 동기화 장치 | |
| JP2003299046A (ja) | 映像伝送装置及び方法並びにプログラム及び記録媒体 | |
| JP4357070B2 (ja) | デジタル放送信号同期切替送出装置 | |
| JPH11261545A (ja) | 映像・音声信号伝送システム | |
| JP4738251B2 (ja) | 同期自動調整装置 | |
| JP3194510B2 (ja) | ディジタル映像信号多重伝送方法およびその装置 | |
| JP2015046708A (ja) | 通信システム、通信方法、送信側同期信号配信装置、送信側同期制御装置、受信側同期信号配信装置、受信側同期制御装置及びプログラム | |
| JP2000324485A (ja) | 伝送装置 | |
| JP4330814B2 (ja) | デジタル放送番組中継送出システム | |
| JP2953500B2 (ja) | ディジタル信号伝送システム | |
| JP3457482B2 (ja) | ディジタル信号伝送方法及び受信機 | |
| JP3683210B2 (ja) | 映像音声伝送システム | |
| JPH1070685A (ja) | 信号切り換え処理装置 | |
| JPH0235886A (ja) | 最適遅延制御方式 |