JP4462549B2 - リップ同期を維持する方法およびシステム - Google Patents

リップ同期を維持する方法およびシステム Download PDF

Info

Publication number
JP4462549B2
JP4462549B2 JP2004547018A JP2004547018A JP4462549B2 JP 4462549 B2 JP4462549 B2 JP 4462549B2 JP 2004547018 A JP2004547018 A JP 2004547018A JP 2004547018 A JP2004547018 A JP 2004547018A JP 4462549 B2 JP4462549 B2 JP 4462549B2
Authority
JP
Japan
Prior art keywords
video
audio
clock
video signal
input buffer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004547018A
Other languages
English (en)
Other versions
JP2006508564A5 (ja
JP2006508564A (ja
Inventor
アーロン ジユンカーズフエルド,フイリツプ
マシユー ジヨンソン,デボン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Thomson Licensing SAS
Original Assignee
Thomson Licensing SAS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Thomson Licensing SAS filed Critical Thomson Licensing SAS
Publication of JP2006508564A publication Critical patent/JP2006508564A/ja
Publication of JP2006508564A5 publication Critical patent/JP2006508564A5/ja
Application granted granted Critical
Publication of JP4462549B2 publication Critical patent/JP4462549B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • H04N21/4392Processing of audio elementary streams involving audio buffer management
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/04Systems for the transmission of one television signal, i.e. both picture and sound, by a single carrier
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368Multiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4305Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341Demultiplexing of audio and video streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/04Synchronising
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/015High-definition television systems
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41Structure of client; Structure of client peripherals
    • H04N21/426Internal components of the client ; Characteristics thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/44Receiver circuitry for the reception of television signals according to analogue transmission standards
    • H04N5/60Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Receiver Circuits (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)
  • Synchronizing For Television (AREA)

Description

本出願は、2002年10月24日付で出願された「リップ・シンク(同期)を維持する方法」と題された米国仮特許出願第60/420,871号の優先権を主張するものであり、その開示内容を本明細書中に盛り込むものとする。
本発明は、オーディオ/ビデオ信号受信機において、オーディオ信号とビデオ信号との間の同期を維持する技術分野に関する。
この項は、以下に説明、および/または、権利主張する本発明の様々な態様に関連すると思われる技術の様々な態様を読者に紹介することを意図したものである。この説明により、読者に対して背景技術に関する情報が提供されるため、本発明の様々な態様についてのより良い理解がより容易に得られるであろう。従って、各々の記載内容は、この点に鑑みて解釈されるべきものであり、先行技術として認めているものとして解釈されるべきものではない。
テレビジョン等の表示装置に組み込まれるオーディオ/ビデオ受信機モジュールの中には、ビデオ出力D/A(digital to analog)クロックにロックされたオーディオ出力D/Aクロックを用いて設計されているものがある。つまり、オーディオ・クロックとビデオ・クロックとは別々に制御できるものではない。単一の制御システムを用いた場合には、双方のクロックのレートを同一のパーセンテージで様々に変更することができる。このようなシステムには、クロック・リカバリー・システム(clock recovery system)がビデオ(D/A)クロックをビデオ・ソースA/D(analog to digital)クロックに一致させるようにするものがある。さらに、オーディオ出力D/Aクロックは、オーディオ・ソースA/Dクロックに一致すると仮定される。この仮定は、各放送者が、皆同様に、ソース・オーディオ、ビデオ(source audio and video)が作成される際に、自己のオーディオ・クロックおよびビデオ・クロックをロックするであろうと想定される事実に基づいたものである。
ATSC(Advanced Television Systems Committee)の仕様では、放送者が自己のビデオ・ソースA/Dクロックを自己のオーディオ・ソースA/Dクロックにロックすることが要求されているが、実際には、これらのクロックがロックされていない場合が存在した。放送者が伝送されるオーディオ・ソース・マテリアル(audio source material)と伝送されるビデオ・ソース・マテリアル(video source material)とをロックしない場合には、オーディオが出力されるべき時間と、オーディオが実際に出力される時間との間に時間遅延が生ずる場合がある。このエラーは、リップ同期またはリップ・シンク・エラーと呼ばれ、オーディオ/ビデオ表示装置に出力される音声と表示されている画像とが一致しないという現象を生じさせることがある。この現象は、多くの視聴者を困惑させるものである。
ビデオ出力レートとビデオ入力レートとを一致させることによってオーディオ/ビデオ・クロック・リカバリーが行われる場合、リップ・シンク・エラーを補償するための唯一の方法は、オーディオ出力を時間操作することである。オーディオは、時間的に連続して出力されるもの(continuous time presentation)であるため、何らかのオーディオ的なディストーション、ミュート、または、スキップ(audible distortion, mute, or skip)のようなものを行うこと無しには、このオーディオを時間操作することは困難である。これらの所望しないオーディオ的な外乱(audible disturbances)の周波数は、放送局において相対的にロックされていないオーディオ・クロックとビデオ・クロックとの周波数の差に依存している。ATSCソースにおいては、2〜3分毎にオーディオをミュートしている。このように周期的にオーディオ信号をミュートした場合には、テレビジョンの視聴者にとって所望しない結果が生ずることがある。
高品位テレビジョン(HDTVs: High Definition Televisions)を含む様々なテレビジョンは、ロックされていないATSCソースを用いて動作しており、HDTVにおいては、増大しているリップ・シンク・エラーを補正するために、何らかのオーディオ・シフト(audio shift)が行われている。オーディオ・シフトの間にミュートを行う代わりに、実際には、HDTVは、このミュートをマスクするスタティック・ノイズ(static noise)を挿入している。スタティック・ノイズの振幅と、オーディオの振幅は比較的に同じである。信号の中にこのスタティック・ノイズを挿入した場合には、テレビジョンの視聴者にとって所望しない結果が生ずることがある。
(発明の概要)
開示されている各実施の形態は、ビデオ信号とオーディオ信号との間の同期を維持するシステムおよび方法に関する。ビデオ信号およびオーディオ信号は、ロックされたクロックを用いて処理される。このシステムは、初期オーディオ入力バッファ・レベルを判定するコンポーネントと、前記初期オーディオ入力バッファ・レベルにおけるドリフト量を判定し、当該ドリフト量が第1の所定の閾値に達している場合に前記クロックを調整することによって、前記初期オーディ入力バッファ・レベルを維持するコンポーネントと、前記クロックの調整に応じて前記オーディオ信号に関連付けられたビデオ信号の変位を測定し、当該測定された変位が第2の所定の閾値に達している場合に前記ビデオ信号の前記測定された変位を打ち消すように動作するコンポーネントとからなるものであればよい。
以下、本発明の1つ以上の具体的な実施の形態を説明する。各実施の形態を簡潔に説明するために、本明細書では、実際の実施の形態における全ての特徴についての説明は行わない。このような実際の実施の形態を発展させる際には、エンジニアリング・プロジェクト、または、デザイン・プロジェクトの場合のように、システムに関連した制約やビジネスに関連した制約に係わる要求を満たすことなど、開発者の独自の目的を達成するために、実施の形態の内容に係る数多くの具体的な決定が行われ、実施の形態毎にそれぞれ異なることがあることが理解できよう。さらに、このような開発努力は、複雑で時間を要することがあるが、この開示内容の利益を享受しようとする当業者にとってはありきたりな設計、製作、製造を行うことと理解される。
本発明は、オーディオ/ビデオ受信機(例えば、HDTVを含むディジタルTV)が、ソース・オーディオ・クロックおよびソース・ビデオ・クロックがロックされておらず、ディジタルTVのオーディオ・クロックとビデオ・クロックがロックされているときに、オーディオおよびビデオを同期して出力することを可能とする。さらに、本発明は、MPEG(Moving Pictures Experts Group)ソースなど、ディジタル・ソースのロックされていないオーディオ・クロックとビデオ・クロックとのリップ・シンクを維持するのに有用である。
図1は、本発明が実施される例示的なシステムのブロック図である。このシステムは、概ね参照符号10によって示されている。当業者であれば、図1に示されている各コンポーネントは、例示的なものにすぎないことが理解できるであろう。本発明を具体的に実施する際、図1に示すコンポーネントに対して追加の要素やサブセットを使用してもよい。また、図1に示す各機能ブロックを組み合わせるようにしてもよいし、さらに小さな機能ユニットに細分化してもよい。
放送者側には、ビデオA/D変換器12と、オーディオA/D変換器14とが設けられており、これらのビデオA/D変換器12およびオーディオA/D変換器14は、伝送を行う前に、ビデオ信号と、このビデオ信号に対応するオーディオ信号を処理する。ビデオA/D変換器12およびオーディオA/D変換器14は、別個のクロック信号によって動作する。図1に示すように、ビデオA/D変換器12およびオーディオA/D変換器14のクロックは、必ずしもロックされている必要はない。ビデオA/D変換器12は、離散コサイン変換を利用した動き補償された予測エンコーダ(motion−compensated predictive encoder)を含むようにしてもよい。ビデオ信号は、ビデオ・コンプレッサ/エンコーダ16に転送され、オーディオ信号は、オーディオ・コンプレッサ/エンコーダ18に転送される。圧縮されたビデオ信号は、MPEGなどの何らかの信号プロトコルに従って、他の補助的なデータとともに、配列されるようにしてもよい。
ビデオ・コンプレッサ/エンコーダ16およびオーディオ・コンプレッサ/エンコーダ18の出力は、オーディオ/ビデオ・マルチプレクサ20に転送される。オーディオ/ビデオ・マルチプレクサ20は、オーディオ/ビデオ受信ユニットへの転送のために、オーディオ信号およびビデオ信号を組み合わせて単一の信号にする。当業者であれば理解できるであろうが、オーディオ信号およびビデオ信号を組み合わせるために、オーディオ/ビデオ・マルチプレクサ20は、時分割多重化などの方法を使用してもよい。オーディオ/ビデオ・マルチプレクサ20からの出力は、伝送機構22に転送され、この伝送機構22により、信号を増幅し、放送するようにしてもよい。
オーディオ/ビデオ受信機23は、例えば、ディジタル・テレビジョンからなり、放送者側から伝送されたオーディオ/ビデオ信号を受信するのに適している。この信号は、受信機構24によって受信され、この受信機構24は、受信した信号をオーディオ/ビデオ・デマルチプレクサ26に転送する。オーディオ/ビデオ・デマルチプレクサ26は、受信した信号を逆多重化し、ビデオ・コンポーネントとオーディオ・コンポーネントとに分離する。逆多重化されたビデオ信号29は、ビデオ・デコンプレッサ/デコーダ28に転送され、さらに処理される。逆多重化されたオーディオ信号31は、オーディオ・デコンプレッサ/デコーダ30に転送され、さらに処理される。
ビデオ・デコンプレッサ/デコーダ28の出力は、ビデオD/A変換器32に転送され、オーディオ・デコンプレッサ/デコーダ30の出力は、オーディオD/A変換器34に転送される。図1に示すように、ビデオD/A変換器32のクロックおよびオーディオD/A変換器34のクロックは、常にロックされている。ビデオD/A変換器32の出力およびオーディオD/A変換器34の出力は、それぞれ、ビデオ画像およびこのビデオ画像に対応するオーディオの出力を視聴者のエンターテインメント用に作り出すために使用される。
図1の例示的なシステムにおけるハードウエアは、オーディオ出力およびビデオ出力の別個の制御を可能にするものではないが、本発明の実施の形態を用いて、このような制御が必要であるかどうかを判定することができる。本発明の実施の形態に従って、受信されたオーディオ信号およびビデオ信号に関連付けられた相対的なトランスポート・タイミング(transport timing)は、受信されたオーディオ・バッファのレベルを観察することによって測定される。オーディオ・バッファのレベルは、リップ・シンク・エラーの比較的正確な測定値として観察されている。
初期の段階でオーディオ信号とビデオ信号とが適切に同期している場合には、受信されたビデオ・データおよびオーディオ・データは、再生している間に同一のレートで使用されるべきである。この場合、オーディオ情報を保持するバッファのサイズは時間の経過とともに大きくなったり小さくなったりせずに概ね同一のサイズに維持されるべきである。オーディオ・バッファが通常安定した範囲を超えて大きくなったり小さくなったりした場合には、適正なリップ・シンクに支障をきたしている可能性があることを示している。例えば、オーディオ・バッファが時間の経過とともに通常のレンジを超えた場合には、ビデオ信号がオーディオ信号よりも先行している可能性があることを示している。オーディオ・バッファが通常のレンジを下回った場合には、ビデオ信号がオーディオ信号よりも遅延している可能性があることを示している。時間が経過する際、リップ・シンク・エラーがゼロに近いと判定されたとき(即ち、時間が経過する際、オーディオ・バッファが比較的に一定のサイズに維持されているとき)、オーディオA/Dソース・クロックがビデオA/Dソース・クロックにロックされたと考えられる。リップ・シンク・エラーが時間の経過とともに大きくなる場合には、オーディオA/Dソース・クロックおよびビデオA/Dソース・クロックは、必ずしもロックされておらず、補正が必要であるものと考えられる。
当業者であれば、本発明の実施の形態が、ソフトウエア、ハードウエア、または、ソフトウエアとハードウエアを組み合わせて実現されてもよいことが理解できるであろう。さらに、本発明の構成部品は、ビデオ・デコンプレッサ/デコーダ28、オーディオ・デコンプレッサ/デコーダ30、ビデオD/A変換器32、および/または、オーディオD/A変換器34、あるいは、これらを組み合わせたものに設けることができる。さらに、本発明の構成要素、または、機能的な特徴を、図1に示していない他のデバイスに設けるようにしてもよい。
新たなオーディオ/ビデオ出力が始まるときは常に、通常、チャンネルの変更の間に、本発明の実施の形態では、初期のオーディオD/A入力バッファ・レベルをメモリに記憶するようにしてもよい。このデータは、ビデオD/A変換器、オーディオD/A変換器34内、または、これらの変換器の外部に記憶される。
オーディオ・ソース・クロックがビデオ・ソースにロックされる場合、バッファ・レベルは、時間が経過する際に、比較的に一定に維持される。バッファ・レベルがドリフトし、このドリフトが概ね+/−10msを超えたリップ・シンク・エラーに相当する場合には、通常のクロック・リカバリー制御が無効となるようにしてもよく、ロックされたビデオD/A変換器32のクロックおよびオーディオD/A変換器34のクロックは、オーディオ・バッファが初期のレベルに戻る方向に移動するようにしてもよい。
この処理により、オーディオ・バッファが初期のレベルに戻る際、ビデオが当初のポジションから移動する度合いも測定される。ビデオが概ね+/−25ms変位したとき、(例えば、初期のオーディオ入力バッファ・レベルの測定を再度初期化することによって)この処理が繰り返されるようにしてもよく、または、ビデオ・フレーム(例えば、受信されたビデオのMPEGフレーム)を省略(ドロップ:drop)して測定された変位が打ち消されるようにしてもよい。
この処理は、オーディオ出力をオーディオ・ソースにロックし、ビデオ・フレームをスキップするか繰り返すことによってビデオのドリフトを打ち消すようなモードで、別のチャンネルの変更が検出されるまで続けられる。新たなチャンネルの変更の後、本発明の実施の形態では、リップ・シンク・エラーの補正を終了し、新たなシンク・エラーが検出されるまで、ビデオ出力をビデオ入力にロックするような従来の方法が実行されるようにシステムを戻すようにしてもよい。
ロックされたオーディオ出力クロックおよびビデオ出力クロックを初期のオーディオ出力D/A入力バッファ・レベルおよび実際のオーディオ出力D/A入力バッファ・レベルに基づいて制御するのに使用されるアルゴリズムは、安定した性能を得るために非常に重要である。バッファ・レベルがターゲットから離れるとき、このバッファ・レベルを速やかに反転し、バッファ・レベルがターゲットから比較的遠ざかっているときに、速やかにターゲットに向かわせ、バッファ・レベルが所望のポジションに近づくにつれて減速するようなレスポンスを得ることが望ましい。これは、例えば、相対的なポジションおよび変化率に対するクロック周波数の変化に関する2つの制御テーブルを作成することによって達成される。

Figure 0004462549

表1は、相対変化率に対するクロック周波数の変化に関する。

Figure 0004462549

表2は、相対距離に対するクロック周波数の変化に関する。
当業者であれば、表1および表2に示されている各値が例示的なものであり、本発明を限定するように解釈するべきでないことが理解できるであろう。バッファ・レベルは、オーディオ・デコードによる不規則な入力レートと、D/A出力クロックによる極めて規則的な出力レートを有しているので、バッファ・レベル・データには、何らかの異常なジッタが生じることになる。このジッタの幾らかを取り除くために、バッファ・レベルは、30秒の期間において最大のバッファの読み取り値と最小のバッファの読み取り値との間の中間点に推定される。この中間点は、周期的(例えば、30秒毎)に計算され、時間が経過する際の、オーディオ・ソースA/Dクロック周波数とオーディオ出力D/Aクロック周波数との差の良好な読み取り値を得ることができる。
図2を参照すると、チャートは、(上述した)バッファ制御表をグラフによって示している。このチャートは、概ね参照符号100によって示されている。図2には、距離関数102および変化率関数104が示されている。チャート100のy軸は、変化率をヘルツで表している。チャート100のx軸は、距離関数102における相対バッファ距離をバイトで表しており、変化率関数104における相対バッファの変化率をバイトで表している。当業者であれば、チャート100に示す各値が例示的なものであり、本発明を限定するように解釈するべきでないことが理解できるであろう。
チャート100は、本発明の実施の形態において、バッファ・レベルが初期の位置から遠くに離れ、変化率が誤った方向にあるときに、どのように正しい方向に比較的大きな周波数補償をすることができるかを示している。この大きな周波数補償は、変化率が切り替わり、バッファ・レベルが正しい方向に移動するまで継続して行われる。このとき、速度成分は、ポジション成分に反するように働き始める。しかしながら、ポジション成分が変化率成分よりも大きい限り、周波数は、ターゲットに向かって変化率が増加するようにプッシュされ、距離が減少する。変化率成分が距離成分よりも大きくなると、変化率が減少しはじめる。この作用により、距離成分が所望の初期バッファ・レベルに近づくに従い、円滑に変化率にブレーキがかけられる。
図3は、本発明の実施の形態に従った処理を示すフロー図である。この処理は、概ね参照符号200によって示される。ブロック202によって、処理が開始する。
ブロック204において、初期オーディオ入力バッファ・レベルが判定される。ブロック206に示すように、時間が経過する際の初期オーディオ入力バッファ・レベルのドリフト量が判定される。ドリフトが第1の所定の閾値を超えると(ブロック208)、ロックされたビデオD/A変換器32(図1)およびオーディオD/A変換器34のクロックは、初期オーディオ入力バッファ・レベルを維持する方法で調整される。
クロックの調整に応じて、ブロック212に示すように、ビデオ信号の変位が測定される。ビデオ信号の変位が第2の所定の閾値を超えると(ブロック214)、例えば、同期を向上するために、処理を再スタートしたり、ビデオ・フレームをドロップしたりすることによって、測定されたビデオ信号の変位が打ち消される(ブロック216)。ブロック218において処理が終了する。
本発明の態様に対し、様々な改変や変形が可能であるが、例示的に、図面において具体的な実施の形態が示され、本明細書において詳細に説明されている。しかしながら、本発明は、開示されている特定の態様に限定されるように意図されたものでないことを理解すべきである。むしろ、本発明は、付随する請求の範囲によって定義される発明の精神と範囲内に実施の形態の変形例、均等物、および代替物の全てが含まれるものである。
図1は、本発明が実施される例示的なシステムのブロック図である。 図2は、本発明の実施の形態おいて利用可能なバッファ制御テーブルに対応するグラフである。 図3は、本発明の実施の形態に従った処理を示すフロー図である。

Claims (20)

  1. ビデオ・クロックおよび前記ビデオ・クロックにロックされたオーディオ・クロックを用いて処理されるビデオ信号とオーディオ信号との間の同期を維持するシステムにおいて、
    初期オーディオ入力バッファ・レベルを判定するコンポーネントと、
    オーディオ入力バッファにおける、前記初期オーディオ入力バッファ・レベルおよび実際のオーディオ入力バッファ・レベルに基づくドリフトのドリフト量を判定し、前記ドリフト量が第1の所定の閾値に達している場合に前記ロックされたオーディオ・クロックとビデオ・クロックを調整することによって、前記初期オーディ入力バッファ・レベルを維持するコンポーネントと、
    前記ロックされたオーディオ・クロックとビデオ・クロックの調整に応じて前記オーディオ信号に関連付けられたビデオ信号の変位を測定し、前記測定された変位が第2の所定の閾値に達している場合に前記ビデオ信号の前記測定された変位を打ち消すコンポーネントと、
    からなる、前記システム。
  2. 前記初期オーディオ入力バッファ・レベルが、メモリに記憶される、請求項1記載のシステム。
  3. 前記ドリフト量が前記第1の所定の閾値に達している場合、クロック・リカバリー制御が無効になる、請求項1記載のシステム。
  4. 前記オーディオ信号および前記ビデオ信号が、MPEG信号からなる、請求項1記載のシステム。
  5. 前記ビデオ信号の前記測定された変位を打ち消すコンポーネントは、前記初期オーディオ入力バッファ・レベルの前記測定を再度初期化し、前記ビデオ信号のフレームを繰り返すことによって前記ビデオ信号の前記測定された変位を打ち消す、請求項1記載のシステム。
  6. 前記ビデオ信号の前記測定された変位を打ち消すコンポーネントは、前記ビデオ信号のフレームをドロップすることによって前記ビデオ信号の前記測定された変位を打ち消す、請求項1記載のシステム。
  7. 前記第1の所定の閾値が、約+/−10msである、請求項1記載のシステム。
  8. 前記第2の所定の閾値が、約+/−25msである、請求項1記載のシステム。
  9. 前記システムが、テレビジョン・セットの部分である、請求項1記載のシステム。
  10. 前記テレビジョン・セットが、高品位テレビジョン・セットである、請求項9記載のシステム。
  11. ビデオ・クロックおよび前記ビデオ・クロックにロックされたクロックを用いて処理されるビデオ信号とオーディオ信号との間の同期を維持するシステムにおいて、
    初期オーディオ入力バッファ・レベルを判定する手段と、
    オーディオ入力バッファにおける、前記初期オーディオ入力バッファ・レベルおよび実際のオーディオ入力バッファ・レベルに基づくドリフトのドリフト量を判定する手段と、
    前記ドリフト量が第1の所定の閾値に達している場合に前記ロックされたオーディオ・クロックとビデオ・クロックを調整することによって、前記初期オーディ入力バッファ・レベルを維持する手段と、
    前記ロックされたオーディオ・クロックとビデオ・クロックの調整に応じて前記オーディオ信号に関連付けられたビデオ信号の変位を測定する手段と、
    前記測定された変位が第2の所定の閾値に達している場合に前記ビデオ信号の前記測定された変位を打ち消す手段と、
    からなる、前記システム。
  12. 前記オーディオ信号および前記ビデオ信号が、MPEG信号からなる、請求項11記載のシステム。
  13. 前記ビデオ信号の前記測定された変位を打ち消す手段は、前記初期オーディオ入力バッファ・レベルの前記測定を再度初期化し、前記ビデオ信号のフレームを繰り返すことによって前記ビデオ信号の前記測定された変位を打ち消す、請求項11記載のシステム。
  14. 前記ビデオ信号の前記測定された変位を打ち消す手段は、前記ビデオ信号のフレームをドロップすることによって前記ビデオ信号の前記測定された変位を打ち消す、請求項11記載のシステム。
  15. ビデオ・クロックおよび前記ビデオ・クロックにロックされたクロックを用いて処理されるビデオ信号とオーディオ信号との間の同期を維持する方法において、
    初期オーディオ入力バッファ・レベルを判定するステップと、
    オーディオ入力バッファにおける、前記初期オーディオ入力バッファ・レベルおよび実際のオーディオ入力バッファ・レベルに基づくドリフトのドリフト量を判定するステップと、
    前記ドリフト量が第1の所定の閾値に達している場合に前記ロックされたオーディオ・クロックとビデオ・クロックを調整することによって、前記初期オーディ入力バッファ・レベルを維持するステップと、
    前記ロックされたオーディオ・クロックとビデオ・クロックの調整に応じて前記オーディオ信号に関連付けられたビデオ信号の変位を測定するステップと、
    前記測定された変位が第2の所定の閾値に達している場合に前記ビデオ信号の前記測定された変位を打ち消すステップと、
    からなる、前記方法。
  16. 前記初期オーディオ入力バッファ・レベルをメモリに記憶するステップを含む、請求項15記載の方法。
  17. 前記ドリフト量が前記第1の所定の閾値に達している場合、クロック・リカバリー制御を無効にするステップを含む、請求項15記載の方法。
  18. 前記ビデオ信号の前記測定された変位を打ち消すステップが、前記初期オーディオ入力バッファ・レベルの前記測定を再度初期化し、前記ビデオ信号のフレームを繰り返すステップからなる、請求項15記載の方法。
  19. 前記ビデオ信号の前記測定された変位を打ち消すステップが、前記ビデオ信号のフレームをドロップするステップからなる、請求項15記載の方法。
  20. 上記各ステップが、記載された順番に実行される、請求項15記載の方法。
JP2004547018A 2002-10-24 2003-10-22 リップ同期を維持する方法およびシステム Expired - Fee Related JP4462549B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US42087102P 2002-10-24 2002-10-24
PCT/US2003/033451 WO2004039056A2 (en) 2002-10-24 2003-10-22 A method and system for maintaining lip synchronization

Publications (3)

Publication Number Publication Date
JP2006508564A JP2006508564A (ja) 2006-03-09
JP2006508564A5 JP2006508564A5 (ja) 2006-11-24
JP4462549B2 true JP4462549B2 (ja) 2010-05-12

Family

ID=32176641

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004547018A Expired - Fee Related JP4462549B2 (ja) 2002-10-24 2003-10-22 リップ同期を維持する方法およびシステム

Country Status (9)

Country Link
US (1) US20060007356A1 (ja)
EP (1) EP1554868A4 (ja)
JP (1) JP4462549B2 (ja)
KR (1) KR20050073482A (ja)
CN (1) CN100477802C (ja)
AU (1) AU2003284321A1 (ja)
BR (1) BR0315309A (ja)
MX (1) MXPA05004340A (ja)
WO (1) WO2004039056A2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212248B2 (en) * 2002-09-09 2007-05-01 The Directv Group, Inc. Method and apparatus for lipsync measurement and correction
AU2003286797A1 (en) * 2002-11-07 2004-06-03 Thomson Licensing S.A. A system and method for determining lip synchronization between audio and video in a digitized environment using buffer calculation
US7519845B2 (en) 2005-01-05 2009-04-14 Microsoft Corporation Software-based audio rendering
CN100437546C (zh) * 2005-06-30 2008-11-26 腾讯科技(深圳)有限公司 一种实现音频和视频同步的方法
JP2007124090A (ja) * 2005-10-26 2007-05-17 Renesas Technology Corp 情報機器
US7948558B2 (en) * 2006-09-29 2011-05-24 The Directv Group, Inc. Audio video timing measurement and synchronization
US7765315B2 (en) * 2007-01-08 2010-07-27 Apple Inc. Time synchronization of multiple time-based data streams with independent clocks
DE102007045774B4 (de) * 2007-09-25 2010-04-08 Continental Automotive Gmbh Verfahren und Vorrichtung zur Synchronisation einer Bildanzeige in einem Kraftfahrzeug
US8819749B2 (en) * 2008-06-11 2014-08-26 Koninklijke Philips B.V. Synchronization of media stream components
WO2010122626A1 (ja) * 2009-04-20 2010-10-28 パイオニア株式会社 受信装置
US9565426B2 (en) 2010-11-12 2017-02-07 At&T Intellectual Property I, L.P. Lip sync error detection and correction

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596696A (en) * 1993-05-10 1997-01-21 Object Technology Licensing Corp. Method and apparatus for synchronizing graphical presentations
CA2140850C (en) * 1994-02-24 1999-09-21 Howard Paul Katseff Networked system for display of multimedia presentations
KR100207687B1 (ko) * 1995-12-09 1999-07-15 윤종용 앰펙(mpeg) 시스템 복호기 및 오디오/비디오 동기 방법
US6262776B1 (en) * 1996-12-13 2001-07-17 Microsoft Corporation System and method for maintaining synchronization between audio and video
US5778218A (en) * 1996-12-19 1998-07-07 Advanced Micro Devices, Inc. Method and apparatus for clock synchronization across an isochronous bus by adjustment of frame clock rates
JP3106987B2 (ja) * 1997-01-09 2000-11-06 日本電気株式会社 オーディオ・ビデオ同期再生装置
KR100235438B1 (ko) * 1997-02-04 1999-12-15 구자홍 광디스크의 오디오재생신호 보상처리방법 및 장치
US5959684A (en) * 1997-07-28 1999-09-28 Sony Corporation Method and apparatus for audio-video synchronizing
IL123906A0 (en) * 1998-03-31 1998-10-30 Optibase Ltd Method for synchronizing audio and video streams
US6279058B1 (en) * 1998-07-02 2001-08-21 Advanced Micro Devices, Inc. Master isochronous clock structure having a clock controller coupling to a CPU and two data buses
US6347380B1 (en) * 1999-03-03 2002-02-12 Kc Technology, Inc. System for adjusting clock rate to avoid audio data overflow and underrun
US7031306B2 (en) * 2000-04-07 2006-04-18 Artel Video Systems, Inc. Transmitting MPEG data packets received from a non-constant delay network
US6654956B1 (en) * 2000-04-10 2003-11-25 Sigma Designs, Inc. Method, apparatus and computer program product for synchronizing presentation of digital video data with serving of digital video data
US7030930B2 (en) * 2001-03-06 2006-04-18 Ati Technologies, Inc. System for digitized audio stream synchronization and method thereof
US6906755B2 (en) * 2002-01-04 2005-06-14 Microsoft Corporation Method and apparatus for synchronizing audio and video data

Also Published As

Publication number Publication date
AU2003284321A8 (en) 2004-05-13
BR0315309A (pt) 2005-08-16
AU2003284321A1 (en) 2004-05-13
EP1554868A2 (en) 2005-07-20
KR20050073482A (ko) 2005-07-13
US20060007356A1 (en) 2006-01-12
CN100477802C (zh) 2009-04-08
MXPA05004340A (es) 2005-08-03
CN1703914A (zh) 2005-11-30
EP1554868A4 (en) 2011-06-01
JP2006508564A (ja) 2006-03-09
WO2004039056A3 (en) 2004-09-23
WO2004039056A2 (en) 2004-05-06

Similar Documents

Publication Publication Date Title
JP4482911B2 (ja) オーディオ信号とビデオ信号との間の同期を判定するシステムおよび方法
JP4157618B2 (ja) タイミング補正方法およびその装置
US9876944B2 (en) Apparatus, systems and methods for user controlled synchronization of presented video and audio streams
US7602813B2 (en) Decoder device
US20030066094A1 (en) Robust method for recovering a program time base in MPEG-2 transport streams and achieving audio/video sychronization
JP4462549B2 (ja) リップ同期を維持する方法およびシステム
US8842218B2 (en) Video/audio data output device and method
KR100359782B1 (ko) 엠펙 디코더의 시스템 타임 클럭 조정 장치 및 방법
JP4903930B2 (ja) 信号処理装置
JP5244320B2 (ja) クロック生成装置及び方法
EP1889488B1 (en) Audio-video processing system
JPH11112982A (ja) Mpegデータ受信装置
KR101324577B1 (ko) 지연된 신호에 avc를 적용하는 신호 처리장치 및 방법
US20080025345A1 (en) Methods and Systems for Buffer Management
JPH1093841A (ja) 映像同期信号補正装置
JP5958008B2 (ja) ストリーム処理装置、ストリーム処理方法およびストリーム処理プログラム
KR100499519B1 (ko) 오디오 립 싱크 제어방법
JP2008067179A (ja) 受信装置および符号化データ再生方法
US20020042708A1 (en) Method and apparatus for outputting a datastream processed by a processing device
EP0912065A2 (en) Method and apparatus for re-timing a digital signal
JP2004023134A (ja) 画像音声同期化装置
JPH08280008A (ja) 符号化方法及び装置
JP2009177303A (ja) 映像信号処理装置および映像信号処理方法
JP2008010912A (ja) 動画像復号装置

Legal Events

Date Code Title Description
RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20060720

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060810

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060927

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060927

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20061115

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20080318

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080415

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090623

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20090917

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20090929

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20091214

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100210

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100212

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130226

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140226

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees