JPH06284357A - テレビジョン信号のビデオ・チャンネル及びオーディオ・チャンネルの同期装置及び同期方法 - Google Patents
テレビジョン信号のビデオ・チャンネル及びオーディオ・チャンネルの同期装置及び同期方法Info
- Publication number
- JPH06284357A JPH06284357A JP5341543A JP34154393A JPH06284357A JP H06284357 A JPH06284357 A JP H06284357A JP 5341543 A JP5341543 A JP 5341543A JP 34154393 A JP34154393 A JP 34154393A JP H06284357 A JPH06284357 A JP H06284357A
- Authority
- JP
- Japan
- Prior art keywords
- channel
- video
- audio
- audio channel
- motion vector
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 8
- 239000013598 vector Substances 0.000 claims abstract description 15
- 230000001360 synchronised effect Effects 0.000 claims description 8
- 230000003111 delayed effect Effects 0.000 claims description 4
- 238000012937 correction Methods 0.000 description 4
- 238000011084 recovery Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000011144 upstream manufacturing Methods 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
- H04N19/51—Motion estimation or motion compensation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Receiver Circuits (AREA)
- Television Systems (AREA)
- Synchronizing For Television (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
(57)【要約】
【目的】 プログラマブル遅延回路１２、１４を用い
て、テレビジョン信号のオーディオ及びビデオ・チャン
ネルを時間的に同期させる。 【構成】 インタフェース回路２０を介して、サウンド
に関連した動きが生じるビデオ・チャンネル内の画像領
域を定める。動き検出器２４がその画像領域に対する動
きベクトルを発生する。また、プロセッサ１６が動きベ
クトルをオーディオ・チャンネルのレベルに関連付け
て、ビデオ及びオーディオ・チャンネル間の時間差を求
める。プロセッサ１６は、この時間差を用いて、遅延回
路１２、１４用の制御信号を発生する。
て、テレビジョン信号のオーディオ及びビデオ・チャン
ネルを時間的に同期させる。 【構成】 インタフェース回路２０を介して、サウンド
に関連した動きが生じるビデオ・チャンネル内の画像領
域を定める。動き検出器２４がその画像領域に対する動
きベクトルを発生する。また、プロセッサ１６が動きベ
クトルをオーディオ・チャンネルのレベルに関連付け
て、ビデオ及びオーディオ・チャンネル間の時間差を求
める。プロセッサ１６は、この時間差を用いて、遅延回
路１２、１４用の制御信号を発生する。
Description
【０００１】
【産業上の利用分野】本発明は、テレビジョン・システ
ムのタイミング・エラーを補正する同期装置及び同期方
法、特に、テレビジョン信号のビデオ・チャンネル及び
オーディオ・チャンネル間のタイミング・エラーを補正
する半自動リップ同期回復装置及び方法に関する。
ムのタイミング・エラーを補正する同期装置及び同期方
法、特に、テレビジョン信号のビデオ・チャンネル及び
オーディオ・チャンネル間のタイミング・エラーを補正
する半自動リップ同期回復装置及び方法に関する。
【０００２】
【従来の技術】現在のテレビジョン・システムにおい
て、テレビジョン信号は、画像情報用のビデオ・チャン
ネルと、それに対応するサウンド情報用のオーディオ・
チャンネルとを含んでいる。これらチャンネルは、全く
異なる方法で処理される。この異なる処理により、タイ
ミング・エラーがビデオ・チャンネル及びオーディオ・
チャンネル間に発生する。このタイミング・エラーが補
正されなければ、これらチャンネルを組み合わせたサウ
ンド及び画像は、テレビジョン受像器又はモニタに表示
された際に、同期が外れる。画像内の人物が話をし、そ
の人物の唇の動きがサウンドに対応しないときに、タイ
ミング・エラーが最も顕著となる。このことから、この
タイミング・エラーを「リップ（唇）同期」エラーとい
う。
て、テレビジョン信号は、画像情報用のビデオ・チャン
ネルと、それに対応するサウンド情報用のオーディオ・
チャンネルとを含んでいる。これらチャンネルは、全く
異なる方法で処理される。この異なる処理により、タイ
ミング・エラーがビデオ・チャンネル及びオーディオ・
チャンネル間に発生する。このタイミング・エラーが補
正されなければ、これらチャンネルを組み合わせたサウ
ンド及び画像は、テレビジョン受像器又はモニタに表示
された際に、同期が外れる。画像内の人物が話をし、そ
の人物の唇の動きがサウンドに対応しないときに、タイ
ミング・エラーが最も顕著となる。このことから、この
タイミング・エラーを「リップ（唇）同期」エラーとい
う。
【０００３】
【発明が解決しようとする課題】プロダクションや放送
局のテレビジョン・スタジオでは、米国オレゴン州のテ
クトロニクス社製１１０−Ｓ型ビデオ・シンクロナイザ
ーの如きビデオ・フレーム・シンクロナイザーを用い
て、ビデオ・チャンネルをスタジオ内のマスタ・タイミ
ング信号に同期させている。このビデオ処理の期間中
に、ビデオ・チャンネルからの出力を、いくつかのビデ
オ・フレームだけ入力に対して遅延してもよい。オーデ
ィオ・チャンネルは、通常、広範囲に処理されないの
で、オーディオ・チャンネルの出力が、ビデオ・チャン
ネルの対応する出力よりも前に発生する。ビデオとオー
ディオとがどの程度遅延しているか、進んでいるかを容
易に判定することは、操作者にとって困難である。ビデ
オ・チャンネル及びオーディオ・チャンネル間のタイミ
ング・エラーをビデオ・シンクロナイザーにより補正す
るために、テクトロニクス社製１１８−ＡＳ型オーディ
オ・シンクロナイザーの如きオーディオ・シンクロナイ
ザーが開発されており、操作者の手動による近似操作の
代わりに使用されている。しかし、これらオーディオ・
シンクロナイザーは、ビデオ・シンクロナイザーによる
遅延のみを補正する。すなわち、オーディオ・シンクロ
ナイザーは、そのシンクロナイザーの上流で累積された
他のエラーや、その後の処理によるエラーを補正しな
い。
局のテレビジョン・スタジオでは、米国オレゴン州のテ
クトロニクス社製１１０−Ｓ型ビデオ・シンクロナイザ
ーの如きビデオ・フレーム・シンクロナイザーを用い
て、ビデオ・チャンネルをスタジオ内のマスタ・タイミ
ング信号に同期させている。このビデオ処理の期間中
に、ビデオ・チャンネルからの出力を、いくつかのビデ
オ・フレームだけ入力に対して遅延してもよい。オーデ
ィオ・チャンネルは、通常、広範囲に処理されないの
で、オーディオ・チャンネルの出力が、ビデオ・チャン
ネルの対応する出力よりも前に発生する。ビデオとオー
ディオとがどの程度遅延しているか、進んでいるかを容
易に判定することは、操作者にとって困難である。ビデ
オ・チャンネル及びオーディオ・チャンネル間のタイミ
ング・エラーをビデオ・シンクロナイザーにより補正す
るために、テクトロニクス社製１１８−ＡＳ型オーディ
オ・シンクロナイザーの如きオーディオ・シンクロナイ
ザーが開発されており、操作者の手動による近似操作の
代わりに使用されている。しかし、これらオーディオ・
シンクロナイザーは、ビデオ・シンクロナイザーによる
遅延のみを補正する。すなわち、オーディオ・シンクロ
ナイザーは、そのシンクロナイザーの上流で累積された
他のエラーや、その後の処理によるエラーを補正しな
い。
【０００４】したがって、本発明の目的は、テレビジョ
ン信号のビデオ・チャンネル及びオーディオ・チャンネ
ル間のタイミング・エラーを操作者が簡単に補正できる
ようにする同期装置及び同期方法の提供にある。
ン信号のビデオ・チャンネル及びオーディオ・チャンネ
ル間のタイミング・エラーを操作者が簡単に補正できる
ようにする同期装置及び同期方法の提供にある。
【０００５】
【課題を解決するための手段】本発明の同期装置、即
ち、半自動リップ同期回復システムによれば、テレビジ
ョン信号のビデオ・チャンネル及びオーディオ・チャン
ネル間のタイミング・エラーを簡単に補正できる。同期
すべきビデオ・チャンネル及びオーディオ・チャンネル
は、プログラマブル（プログラム可能な）遅延回路に夫
々入力する。ビデオ・チャンネルは、ビデオ・フレーム
・バッファにも蓄積される。インタフェース回路を介し
て、操作者は、ビデオ・モニタ上に、話をしている人物
の唇の位置及びサイズの輪郭を描く。操作者が輪郭を描
いたように、フレーム・バッファからのビデオ信号の唇
に対応する部分が、動き検出器に入力される。この動き
検出器が動きベクトルを発生する。オーディオ・チャン
ネルと共に動きベクトルが相関性プロセッサに入力す
る。この相関性プロセッサは、各プログラマブル遅延回
路にプログラムすべき遅延を決める。また、相関性プロ
セッサは、適切な補正アルゴリズムを用いて、唇の動き
をサウンド・ラウドネス、即ち振幅に関連づける。いく
つかのビデオ・フレームにわたって補正を行い、適切な
遅延を行うので、各プログラマブル遅延回路からの出力
は、時間的に互いに同期している。
ち、半自動リップ同期回復システムによれば、テレビジ
ョン信号のビデオ・チャンネル及びオーディオ・チャン
ネル間のタイミング・エラーを簡単に補正できる。同期
すべきビデオ・チャンネル及びオーディオ・チャンネル
は、プログラマブル（プログラム可能な）遅延回路に夫
々入力する。ビデオ・チャンネルは、ビデオ・フレーム
・バッファにも蓄積される。インタフェース回路を介し
て、操作者は、ビデオ・モニタ上に、話をしている人物
の唇の位置及びサイズの輪郭を描く。操作者が輪郭を描
いたように、フレーム・バッファからのビデオ信号の唇
に対応する部分が、動き検出器に入力される。この動き
検出器が動きベクトルを発生する。オーディオ・チャン
ネルと共に動きベクトルが相関性プロセッサに入力す
る。この相関性プロセッサは、各プログラマブル遅延回
路にプログラムすべき遅延を決める。また、相関性プロ
セッサは、適切な補正アルゴリズムを用いて、唇の動き
をサウンド・ラウドネス、即ち振幅に関連づける。いく
つかのビデオ・フレームにわたって補正を行い、適切な
遅延を行うので、各プログラマブル遅延回路からの出力
は、時間的に互いに同期している。
【０００６】本発明の他の目的、利点及び新規な特徴
は、添付図を参照した以下の詳細説明より明らかになろ
う。
は、添付図を参照した以下の詳細説明より明らかになろ
う。
【０００７】
【実施例】図１は、本発明による同期装置のブロック図
である。テレビジョン信号のビデオ・チャンネルをプロ
グラマブル・ビデオ遅延回路１２に入力し、このテレビ
ジョン信号のオーディオ・チャンネルをプログラマブル
・オーディオ遅延回路１４に入力する。これらプログラ
マブル遅延回路の出力及び入力間の遅延量は、相関性プ
ロセッサ１６からの各遅延制御信号により決まる。ま
た、ビデオ・チャンネルは、フレーム・バッファ１８に
入力され、ビデオのフレーム毎、又はフィールド毎に蓄
積される。操作者は、インタフェース回路（Ｉ／Ｆ）２
０を介して、フレーム・バッファ１８と通信する。フレ
ーム・バッファ１８の内容は、ビデオ・モニタ２２に表
示して、操作者入力に応答した反応を操作者に戻す。操
作者は、ジョイステックなどを用い、インタフェース回
路２０を介して、リップ同期の輪郭の位置及びサイズを
入力する。このリップ同期の輪郭は、話をしている人物
の唇を囲むものであり、モニタ２２上で、強調された境
界又は領域として観察される。境界又は領域を強調する
ことは、多くのビデオ効果装置において、既知の半透明
の重ね合わせである。
である。テレビジョン信号のビデオ・チャンネルをプロ
グラマブル・ビデオ遅延回路１２に入力し、このテレビ
ジョン信号のオーディオ・チャンネルをプログラマブル
・オーディオ遅延回路１４に入力する。これらプログラ
マブル遅延回路の出力及び入力間の遅延量は、相関性プ
ロセッサ１６からの各遅延制御信号により決まる。ま
た、ビデオ・チャンネルは、フレーム・バッファ１８に
入力され、ビデオのフレーム毎、又はフィールド毎に蓄
積される。操作者は、インタフェース回路（Ｉ／Ｆ）２
０を介して、フレーム・バッファ１８と通信する。フレ
ーム・バッファ１８の内容は、ビデオ・モニタ２２に表
示して、操作者入力に応答した反応を操作者に戻す。操
作者は、ジョイステックなどを用い、インタフェース回
路２０を介して、リップ同期の輪郭の位置及びサイズを
入力する。このリップ同期の輪郭は、話をしている人物
の唇を囲むものであり、モニタ２２上で、強調された境
界又は領域として観察される。境界又は領域を強調する
ことは、多くのビデオ効果装置において、既知の半透明
の重ね合わせである。
【０００８】リップ同期輪郭の境界は、フレーム・バッ
ファ１８内でのビデオ・データの部分を定める。この部
分は、抽出されて、動き検出器２４に入力する。この動
き検出器２４は、抽出したビデオ・データよりフレーム
毎又はフィールド毎に動きベクトルを計算して、唇間の
動きの方向及び相対量を求める。口を開けたときの大き
さも求める。サブ・ピクセル・ブロック一致法などの一
般的な動き検出／予測アルゴリズムを１つ以上用いて、
動きベクトルを発生する。かかるアルゴリズムの１つ
は、米国ニューヨーク州ニューヨーク・シティのプレヌ
ム・プレスが１９８８年に出版したエイ・ティ・アンド
・ティのベル・ラボラトリーズのアルヌ・エヌ・ネトラ
バリ及びバリー・ジー・ハスケル著の「デジタル画像再
生及び圧縮」の３３４〜３５０ページに開示されてい
る。動き検出器２４からの動きベクトル出力をオーディ
オ・チャンネルと共に相関性プロセッサ１６に入力す
る。相関性プロセッサ１６は、動きベクトル及び入力オ
ーディオ間の補正を同時に行なう。例えば、図２に示す
補正アルゴリズムは、最小の動きベクトルと、最大の開
いた口を求め、これらをオーディオ・レベルにおけるピ
ークに関連させる。すなわち、広く開いた口を大きなサ
ウンドに関連させる。この関連づけをビデオ・データの
多くのフレームにわたって繰り返す。特定の誤差内で関
連づけを達成すると、オーディオ・チャンネル及びビデ
オ・チャンネル間の遅延を求める。求めた遅延値より、
相関性プロセッサ１６は、遅い方のチャンネルの最小遅
延値と、早い方のチャンネルの同期遅延値とを計算す
る。なお、この同期遅延値は、最小遅延値と求めた遅延
値との和である。これら遅延値を遅延制御信号としてプ
ログラマブル遅延回路１２、１４の各々に供給して、対
応するチャンネルを遅延するので、出力オーディオ及び
ビデオ・チャンネルが同期する。
ファ１８内でのビデオ・データの部分を定める。この部
分は、抽出されて、動き検出器２４に入力する。この動
き検出器２４は、抽出したビデオ・データよりフレーム
毎又はフィールド毎に動きベクトルを計算して、唇間の
動きの方向及び相対量を求める。口を開けたときの大き
さも求める。サブ・ピクセル・ブロック一致法などの一
般的な動き検出／予測アルゴリズムを１つ以上用いて、
動きベクトルを発生する。かかるアルゴリズムの１つ
は、米国ニューヨーク州ニューヨーク・シティのプレヌ
ム・プレスが１９８８年に出版したエイ・ティ・アンド
・ティのベル・ラボラトリーズのアルヌ・エヌ・ネトラ
バリ及びバリー・ジー・ハスケル著の「デジタル画像再
生及び圧縮」の３３４〜３５０ページに開示されてい
る。動き検出器２４からの動きベクトル出力をオーディ
オ・チャンネルと共に相関性プロセッサ１６に入力す
る。相関性プロセッサ１６は、動きベクトル及び入力オ
ーディオ間の補正を同時に行なう。例えば、図２に示す
補正アルゴリズムは、最小の動きベクトルと、最大の開
いた口を求め、これらをオーディオ・レベルにおけるピ
ークに関連させる。すなわち、広く開いた口を大きなサ
ウンドに関連させる。この関連づけをビデオ・データの
多くのフレームにわたって繰り返す。特定の誤差内で関
連づけを達成すると、オーディオ・チャンネル及びビデ
オ・チャンネル間の遅延を求める。求めた遅延値より、
相関性プロセッサ１６は、遅い方のチャンネルの最小遅
延値と、早い方のチャンネルの同期遅延値とを計算す
る。なお、この同期遅延値は、最小遅延値と求めた遅延
値との和である。これら遅延値を遅延制御信号としてプ
ログラマブル遅延回路１２、１４の各々に供給して、対
応するチャンネルを遅延するので、出力オーディオ及び
ビデオ・チャンネルが同期する。
【０００９】図２に示す動作において、操作者は、ステ
ップ５０で、ビデオ・モニタ２２を観察しながら、イン
タフェース回路２０を介して、ビデオ画像内の人物の口
の周囲のリップ・ボックス（唇を囲む枠）を位置決めす
ると共に、そのサイズを決める。リップ・ボックスが適
切な位置になると、即ち、選択した唇がリップ・ボック
ス内になると、ステップ５２にて、操作者は実行ボタン
を押し、押し続ける。口がリップ・ボックスの外に移動
したり、その場面が変わると、ステップ５４にて、操作
者はリップ・ボックス（実行ボタン）を放す。実行ボタ
ンを保持している期間中、ビデオ・データがフレーム・
バッファ１８に蓄積され、オーディオ・データがプロセ
ッサ１６内のバッファに蓄積されて、各バッファへのポ
インタが記録される。データが取り込まれると、ステッ
プ５６にて、プロセッサ１６は、オーディオ・データ内
の相対的な振幅の山及び谷にタイム・タグを付けると共
に、必要なろ波動作を実行する。動き検出器２４は、ス
テップ５８にて、必要なろ波動作と共に、ビデオ・デー
タから動きベクトルを発生し、開いた口のサイズを求め
る。プロセッサ１６は、ステップ６０にて、ゼロ動作ベ
クトルを口の開閉に関連付ける。そして、互いに相対的
な時間においてデータの記録をスライドする時間相関技
法を用いて、ステップ６２にて、プロセッサ１６は、オ
ーディオ・データの山をビデオ・データの開いた口に合
わせ、オーディオ・データの谷をビデオ・データの閉じ
た口に合わせる。プロセッサ１６が一致、即ち、所定の
しきい値（例えば、７５％相関で充分かもしれない）よ
りも大きな相関を見つけると、プロセッサは、ステップ
６４にて、２つの任意の関連したオーディオ／ビデオ・
サンプルのタイム・タグを比較し、これらを減算して相
対時間差を求める。次に、プロセッサ１６は、ステップ
６６にて、ポインタを用いてバッファの長さを調整す
る。そして、適切な遅延信号を遅延回路１２、１４に与
えて、ビデオをオーディオに対して再配置する。
ップ５０で、ビデオ・モニタ２２を観察しながら、イン
タフェース回路２０を介して、ビデオ画像内の人物の口
の周囲のリップ・ボックス（唇を囲む枠）を位置決めす
ると共に、そのサイズを決める。リップ・ボックスが適
切な位置になると、即ち、選択した唇がリップ・ボック
ス内になると、ステップ５２にて、操作者は実行ボタン
を押し、押し続ける。口がリップ・ボックスの外に移動
したり、その場面が変わると、ステップ５４にて、操作
者はリップ・ボックス（実行ボタン）を放す。実行ボタ
ンを保持している期間中、ビデオ・データがフレーム・
バッファ１８に蓄積され、オーディオ・データがプロセ
ッサ１６内のバッファに蓄積されて、各バッファへのポ
インタが記録される。データが取り込まれると、ステッ
プ５６にて、プロセッサ１６は、オーディオ・データ内
の相対的な振幅の山及び谷にタイム・タグを付けると共
に、必要なろ波動作を実行する。動き検出器２４は、ス
テップ５８にて、必要なろ波動作と共に、ビデオ・デー
タから動きベクトルを発生し、開いた口のサイズを求め
る。プロセッサ１６は、ステップ６０にて、ゼロ動作ベ
クトルを口の開閉に関連付ける。そして、互いに相対的
な時間においてデータの記録をスライドする時間相関技
法を用いて、ステップ６２にて、プロセッサ１６は、オ
ーディオ・データの山をビデオ・データの開いた口に合
わせ、オーディオ・データの谷をビデオ・データの閉じ
た口に合わせる。プロセッサ１６が一致、即ち、所定の
しきい値（例えば、７５％相関で充分かもしれない）よ
りも大きな相関を見つけると、プロセッサは、ステップ
６４にて、２つの任意の関連したオーディオ／ビデオ・
サンプルのタイム・タグを比較し、これらを減算して相
対時間差を求める。次に、プロセッサ１６は、ステップ
６６にて、ポインタを用いてバッファの長さを調整す
る。そして、適切な遅延信号を遅延回路１２、１４に与
えて、ビデオをオーディオに対して再配置する。
【００１０】
【発明の効果】よって、本発明の半自動リップ同期回復
システムによれば、テレビジョン信号のビデオ・チャン
ネル内の唇の動きをこのテレビジョン信号のオーディオ
・チャンネルのレベルに関連付けて、各チャンネルの遅
延値を発生する。その結果、出力にて、オーディオ及び
ビデオが同期する。
システムによれば、テレビジョン信号のビデオ・チャン
ネル内の唇の動きをこのテレビジョン信号のオーディオ
・チャンネルのレベルに関連付けて、各チャンネルの遅
延値を発生する。その結果、出力にて、オーディオ及び
ビデオが同期する。
【図１】本発明の同期装置の好適な実施例のブロック図
である。
である。
【図２】本発明による相関アルゴリズムの実施例の流れ
図である。
図である。
【符号の説明】 １２ ビデオ遅延回路 １４ オーディオ遅延回路 １６ 相関プロセッサ １８ フレーム・バッファ ２０ インタフェース回路 ２２ モニタ ２４ 動き検出器
Claims (2)
- 【請求項１】 テレビジョン信号のビデオ・チャンネル
及びオーディオ・チャンネルを同期させる装置であっ
て、 上記ビデオ・チャンネル及び上記オーディオ・チャンネ
ルを選択的に遅延させるプログラマブル遅延手段と、 上記オーディオ・チャンネル内のサウンドに対応する動
きを有するビデオ・チャンネルが表す画像内の領域を定
める手段と、 この定めた領域に対する動きベクトルを発生する手段
と、 上記ビデオ・チャンネル及び上記オーディオ・チャンネ
ル用の上記プログラマブル遅延手段からの出力が時間的
に同期するように、上記動きベクトルに応じて、上記プ
ログラマブル遅延手段用のチャンネル遅延信号を発生す
る手段とを具えたテレビジョン信号のビデオ・チャンネ
ル及びオーディオ・チャンネルの同期装置。 - 【請求項２】テレビジョン信号のオーディオ・チャンネ
ルをビデオ・チャンネルに同期させる方法であって、 上記オーディオ・チャンネル内のサウンドに対応する動
きを有する上記ビデオ・チャンネルが表す画像内の領域
を定め、 この定めた領域に対する動きベクトルを発生し、 上記動きベクトルを上記オーディオ・チャンネルに関連
付けて、上記ビデオ・チャンネル及び上記オーディオ・
チャンネルの対応する点間の時間差を求め、 上記ビデオ・チャンネル及び上記オーディオ・チャンネ
ルが時間的に同期するように上記ビデオ・チャンネル及
び上記オーディオ・チャンネルを遅延させることを特徴
とするテレビジョン信号のビデオ・チャンネル及びオー
ディオ・チャンネルの同期方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US993566 | 1992-12-21 | ||
| US07/993,566 US5387943A (en) | 1992-12-21 | 1992-12-21 | Semiautomatic lip sync recovery system |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH06284357A true JPH06284357A (ja) | 1994-10-07 |
| JP2969319B2 JP2969319B2 (ja) | 1999-11-02 |
Family
ID=25539700
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5341543A Expired - Lifetime JP2969319B2 (ja) | 1992-12-21 | 1993-12-10 | テレビジョン信号のビデオ・チャンネル及びオーディオ・チャンネルの同期装置及び同期方法 |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US5387943A (ja) |
| EP (1) | EP0604035B1 (ja) |
| JP (1) | JP2969319B2 (ja) |
| DE (1) | DE69307673T2 (ja) |
Families Citing this family (66)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7382929B2 (en) * | 1989-05-22 | 2008-06-03 | Pixel Instruments Corporation | Spatial scan replication circuit |
| US5946049A (en) * | 1993-07-26 | 1999-08-31 | Pixel Instruments Corp. | Apparatus and method for synchronizing multiple asynchronous signals |
| US6469741B2 (en) | 1993-07-26 | 2002-10-22 | Pixel Instruments Corp. | Apparatus and method for processing television signals |
| US5512939A (en) * | 1994-04-06 | 1996-04-30 | At&T Corp. | Low bit rate audio-visual communication system having integrated perceptual speech and video coding |
| US5530483A (en) * | 1994-10-11 | 1996-06-25 | Pixel Instruments Corp. | Delay detector apparatus and method for plural image sequences |
| US5572261A (en) * | 1995-06-07 | 1996-11-05 | Cooper; J. Carl | Automatic audio to video timing measurement device and method |
| US6330033B1 (en) * | 1995-12-07 | 2001-12-11 | James Carl Cooper | Pulse detector for ascertaining the processing delay of a signal |
| US6836295B1 (en) | 1995-12-07 | 2004-12-28 | J. Carl Cooper | Audio to video timing measurement for MPEG type television systems |
| EP0896772A4 (en) | 1996-04-29 | 2001-12-05 | Princeton Video Image Inc | ELECTRONIC INSERTION OF VISUAL ELEMENTS ASSORTED WITH SOUND EFFECTS IN VIDEO SIGNALS |
| US6181383B1 (en) | 1996-05-29 | 2001-01-30 | Sarnoff Corporation | Method and apparatus for preserving synchronization of audio and video presentation when splicing transport streams |
| US6211919B1 (en) * | 1997-03-28 | 2001-04-03 | Tektronix, Inc. | Transparent embedment of data in a video signal |
| GB2326781B (en) | 1997-05-30 | 2001-10-10 | British Broadcasting Corp | Video and audio signal processing |
| KR100312711B1 (ko) * | 1997-09-20 | 2002-02-28 | 윤종용 | 전자기기및그리셋방법 |
| JP4833402B2 (ja) * | 1998-01-07 | 2011-12-07 | トムソン ライセンシング | 受信機およびビデオ成分およびオーディオ成分を有する入力信号を処理する方法 |
| US6483532B1 (en) * | 1998-07-13 | 2002-11-19 | Netergy Microelectronics, Inc. | Video-assisted audio signal processing system and method |
| US6634027B1 (en) * | 1999-04-15 | 2003-10-14 | Sprint Communications Company L.P. | Communications circuitry for combining terrestrial and satellite signals |
| DE19930824C2 (de) * | 1999-07-03 | 2001-05-31 | Grundig Ag | Bild- und Tonwiedergabegerät und Verfahren für dessen Betrieb |
| US20010037499A1 (en) * | 2000-03-23 | 2001-11-01 | Turock David L. | Method and system for recording auxiliary audio or video signals, synchronizing the auxiliary signal with a television singnal, and transmitting the auxiliary signal over a telecommunications network |
| JP2002290932A (ja) * | 2001-03-27 | 2002-10-04 | Toshiba Corp | デジタル放送受信装置とその制御方法 |
| US6813372B2 (en) * | 2001-03-30 | 2004-11-02 | Logitech, Inc. | Motion and audio detection based webcamming and bandwidth control |
| US6639649B2 (en) * | 2001-08-06 | 2003-10-28 | Eastman Kodak Company | Synchronization of music and images in a camera with audio capabilities |
| US7212247B2 (en) * | 2002-01-31 | 2007-05-01 | Thomson Licensing | Audio/video system providing variable delay |
| US20030179317A1 (en) * | 2002-03-21 | 2003-09-25 | Sigworth Dwight L. | Personal audio-synchronizing device |
| US6912010B2 (en) * | 2002-04-15 | 2005-06-28 | Tektronix, Inc. | Automated lip sync error correction |
| JP4401063B2 (ja) * | 2002-09-11 | 2010-01-20 | シャープ株式会社 | 映像音声伝送送信装置及びそれを備えた映像音声伝送システム |
| US7046300B2 (en) * | 2002-11-29 | 2006-05-16 | International Business Machines Corporation | Assessing consistency between facial motion and speech signals in video |
| EP1465193A1 (en) * | 2003-04-04 | 2004-10-06 | Thomson Licensing S.A. | Method for synchronizing audio and video streams |
| US7142250B1 (en) * | 2003-04-05 | 2006-11-28 | Apple Computer, Inc. | Method and apparatus for synchronizing audio and video streams |
| US9432555B2 (en) * | 2003-05-16 | 2016-08-30 | J. Carl Cooper | System and method for AV sync correction by remote sensing |
| US20070153125A1 (en) * | 2003-05-16 | 2007-07-05 | Pixel Instruments, Corp. | Method, system, and program product for measuring audio video synchronization |
| US7499104B2 (en) * | 2003-05-16 | 2009-03-03 | Pixel Instruments Corporation | Method and apparatus for determining relative timing of image and associated information |
| CN1278553C (zh) * | 2003-05-23 | 2006-10-04 | 华亚微电子（上海）有限公司 | 一种像素静止检测的多窗口多阈值方法 |
| US7907638B2 (en) * | 2003-06-19 | 2011-03-15 | Sony Ericsson Mobile Communications, Ab | Media stream mixing |
| KR100499037B1 (ko) * | 2003-07-01 | 2005-07-01 | 엘지전자 주식회사 | 디지털 텔레비젼 수신기의 립 싱크 테스트 방법 및 장치 |
| US8133115B2 (en) * | 2003-10-22 | 2012-03-13 | Sony Computer Entertainment America Llc | System and method for recording and displaying a graphical path in a video game |
| DE102004017215A1 (de) * | 2004-04-05 | 2005-10-20 | Sennheiser Electronic | Audiovisuelles System |
| JP2007533189A (ja) * | 2004-04-07 | 2007-11-15 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | ビデオ・オーディオ同期 |
| US7170545B2 (en) * | 2004-04-27 | 2007-01-30 | Polycom, Inc. | Method and apparatus for inserting variable audio delay to minimize latency in video conferencing |
| US7333150B2 (en) * | 2004-05-14 | 2008-02-19 | Pixel Instruments Corporation | Method, system, and program product for eliminating error contribution from production switchers with internal DVEs |
| US8330859B2 (en) * | 2004-05-14 | 2012-12-11 | Pixel Instruments Corporation | Method, system, and program product for eliminating error contribution from production switchers with internal DVEs |
| US20060071933A1 (en) | 2004-10-06 | 2006-04-06 | Sony Computer Entertainment Inc. | Application binary interface for multi-pass shaders |
| WO2006043768A1 (en) * | 2004-10-22 | 2006-04-27 | Lg Electronics, Inc. | Image processor and operating method thereof |
| KR100584615B1 (ko) * | 2004-12-15 | 2006-06-01 | 삼성전자주식회사 | 오디오/비디오 동기 자동 조정 장치 및 그 방법 |
| AU2005330569A1 (en) * | 2005-04-13 | 2006-12-07 | Pixel Instruments, Corp. | Method, system, and program product for measuring audio video synchronization independent of speaker characteristics |
| GB2438691A (en) * | 2005-04-13 | 2007-12-05 | Pixel Instr Corp | Method, system, and program product for measuring audio video synchronization independent of speaker characteristics |
| WO2006126113A2 (en) * | 2005-05-24 | 2006-11-30 | Nxp B.V. | Equipment for audio-video processing system |
| US7636126B2 (en) * | 2005-06-22 | 2009-12-22 | Sony Computer Entertainment Inc. | Delay matching in audio/video systems |
| JP2009508386A (ja) * | 2005-09-12 | 2009-02-26 | エヌエックスピー ビー ヴィ | オーディオ・フレームおよびビデオ・フレームを具えるマルチメディア信号の受信方法 |
| US8134644B2 (en) * | 2005-10-15 | 2012-03-13 | Cooper J Carl | Audio synchronizer control and communications method and apparatus |
| US7970222B2 (en) * | 2005-10-26 | 2011-06-28 | Hewlett-Packard Development Company, L.P. | Determining a delay |
| US7965859B2 (en) | 2006-05-04 | 2011-06-21 | Sony Computer Entertainment Inc. | Lighting control of a user environment via a display device |
| US7880746B2 (en) * | 2006-05-04 | 2011-02-01 | Sony Computer Entertainment Inc. | Bandwidth management through lighting control of a user environment via a display device |
| US20080111887A1 (en) * | 2006-11-13 | 2008-05-15 | Pixel Instruments, Corp. | Method, system, and program product for measuring audio video synchronization independent of speaker characteristics |
| US8272008B2 (en) | 2007-02-28 | 2012-09-18 | At&T Intellectual Property I, L.P. | Methods, systems, and products for retrieving audio signals |
| US10786736B2 (en) | 2010-05-11 | 2020-09-29 | Sony Interactive Entertainment LLC | Placement of user information in a game space |
| US9565426B2 (en) | 2010-11-12 | 2017-02-07 | At&T Intellectual Property I, L.P. | Lip sync error detection and correction |
| EP2643977B1 (en) * | 2010-12-29 | 2019-05-15 | Skype | Method and apparatus for processing a video signal |
| CN102184705B (zh) * | 2011-02-21 | 2015-11-04 | 刘敬梅 | 一种音频控制的led显示控制系统 |
| US20120276504A1 (en) * | 2011-04-29 | 2012-11-01 | Microsoft Corporation | Talking Teacher Visualization for Language Learning |
| US9342817B2 (en) | 2011-07-07 | 2016-05-17 | Sony Interactive Entertainment LLC | Auto-creating groups for sharing photos |
| US10453494B2 (en) * | 2017-01-10 | 2019-10-22 | Adobe Inc. | Facilitating synchronization of motion imagery and audio |
| US10063907B1 (en) * | 2017-06-06 | 2018-08-28 | Polycom, Inc. | Differential audio-video synchronization |
| CN108924617B (zh) * | 2018-07-11 | 2020-09-18 | 北京大米科技有限公司 | 同步视频数据和音频数据的方法、存储介质和电子设备 |
| CN108965971B (zh) * | 2018-07-27 | 2021-05-14 | 北京数码视讯科技股份有限公司 | 多路音频同步控制方法、控制装置及电子设备 |
| CN110971783B (zh) * | 2019-11-29 | 2022-08-02 | 深圳创维－Rgb电子有限公司 | 电视音画同步自整定方法、装置和存储介质 |
| US11871068B1 (en) * | 2019-12-12 | 2024-01-09 | Amazon Technologies, Inc. | Techniques for detecting non-synchronization between audio and video |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS6049392B2 (ja) * | 1977-09-05 | 1985-11-01 | 日本電気株式会社 | 映像音声間遅延時間差補償方式 |
| US4313135B1 (en) * | 1980-07-28 | 1996-01-02 | J Carl Cooper | Method and apparatus for preserving or restoring audio to video |
| JPS61169088A (ja) * | 1985-01-22 | 1986-07-30 | Nec Corp | オ−デイオシンクロナイザ装置 |
| USRE33535E (en) * | 1985-09-16 | 1991-02-12 | Audio to video timing equalizer method and apparatus | |
| DE3732111A1 (de) * | 1987-09-24 | 1989-04-06 | Bosch Gmbh Robert | Verfahren zur laufzeitanpassung von video- und audiosignalen an ein referenzsignal |
| JP2995745B2 (ja) * | 1989-03-31 | 1999-12-27 | ソニー株式会社 | 動き情報抽出装置 |
| JPH0340177A (ja) * | 1989-07-07 | 1991-02-20 | Seiko Epson Corp | 音声認識装置 |
| FR2651628A1 (fr) * | 1989-09-01 | 1991-03-08 | Thomson Consumer Electronics | Dispositif de pilotage de voies acoustiques par le contenu d'une image, dans un systeme audiovisuel. |
| GB2243969B (en) * | 1990-05-11 | 1994-08-17 | British Broadcasting Corp | An electronic clapperboard for sound-vision synchronisation |
-
1992
- 1992-12-21 US US07/993,566 patent/US5387943A/en not_active Expired - Lifetime
-
1993
- 1993-12-01 EP EP93309609A patent/EP0604035B1/en not_active Expired - Lifetime
- 1993-12-01 DE DE69307673T patent/DE69307673T2/de not_active Expired - Lifetime
- 1993-12-10 JP JP5341543A patent/JP2969319B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| EP0604035A3 (en) | 1994-08-10 |
| DE69307673D1 (de) | 1997-03-06 |
| US5387943A (en) | 1995-02-07 |
| EP0604035B1 (en) | 1997-01-22 |
| JP2969319B2 (ja) | 1999-11-02 |
| DE69307673T2 (de) | 1997-07-03 |
| EP0604035A2 (en) | 1994-06-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2969319B2 (ja) | テレビジョン信号のビデオ・チャンネル及びオーディオ・チャンネルの同期装置及び同期方法 | |
| US20070223874A1 (en) | Video-Audio Synchronization | |
| JPS63292777A (ja) | 輪郭補正装置 | |
| JPH01171372A (ja) | テレビジョン信号方式変換装置 | |
| JPH05153493A (ja) | 映像信号合成装置 | |
| JP2003158643A (ja) | 信号処理方法及び信号処理装置 | |
| US8330859B2 (en) | Method, system, and program product for eliminating error contribution from production switchers with internal DVEs | |
| KR940004633A (ko) | 다중 기준 비디오 프로세스 | |
| JPH0757009B2 (ja) | 輪郭補正装置 | |
| JP2894962B2 (ja) | 動きベクトル検出装置 | |
| JPH10233996A (ja) | 映像信号再生装置および映像信号再生方法 | |
| JPH02274083A (ja) | 動ベクトル検出装置 | |
| JPS63178677A (ja) | 被写体像抜き取り装置 | |
| JPH03266565A (ja) | 巡回型ノイズリデューサ | |
| WO2023242937A1 (ja) | 映像処理システム及び映像処理方法 | |
| JPH0522752A (ja) | Ｍｕｓｅデコーダ | |
| JPH01314483A (ja) | テレビジョン信号受信装置 | |
| KR100251111B1 (ko) | 텔레비전신호의노이즈제거방법및이를수행하기위한노이즈제거회로 | |
| JPH0720207B2 (ja) | 適応型雑音抑圧装置 | |
| JPH05244475A (ja) | 代表画面抽出方法 | |
| JP2962344B2 (ja) | テレビ受像機 | |
| JPS6359188A (ja) | テレビジヨン信号の動き検出装置 | |
| JPH02207675A (ja) | ゴースト除去装置 | |
| JP2001251534A (ja) | 映像信号処理装置 | |
| JPH03149990A (ja) | 輝度信号・色信号分離回路 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080827 Year of fee payment: 9 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090827 Year of fee payment: 10 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100827 Year of fee payment: 11 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110827 Year of fee payment: 12 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120827 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120827 Year of fee payment: 13 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130827 Year of fee payment: 14 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |