JPH07177479A - 音声信号と映像信号の同期装置 - Google Patents
音声信号と映像信号の同期装置Info
- Publication number
- JPH07177479A JPH07177479A JP6270107A JP27010794A JPH07177479A JP H07177479 A JPH07177479 A JP H07177479A JP 6270107 A JP6270107 A JP 6270107A JP 27010794 A JP27010794 A JP 27010794A JP H07177479 A JPH07177479 A JP H07177479A
- Authority
- JP
- Japan
- Prior art keywords
- audio
- signal
- video
- pts
- generating
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/439—Processing of audio elementary streams
- H04N21/4392—Processing of audio elementary streams involving audio buffer management
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/44—Receiver circuitry for the reception of television signals according to analogue transmission standards
- H04N5/60—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals
- H04N5/602—Receiver circuitry for the reception of television signals according to analogue transmission standards for the sound signals for digital sound signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/24—Systems for the transmission of television signals using pulse code modulation
- H04N7/52—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
- H04N7/54—Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal the signals being synchronous
- H04N7/56—Synchronising systems therefor
Abstract
04を介して映像復元装置214に供給され、圧縮され
た音声データはレート・バッファ206を介して音声復
元装置212に供給される。減算器219から発生され
る音声/映像同期誤差信号ERRPTSはフィルタ/処
理装置216に供給される。フィルタ/処理装置216
は、平滑にされた誤差信号ERRPTSを検査し、粗い
同期調節が必要であれば、音声フレームをスキップする
かまたは繰り返すように音声復元装置212を調整し、
細かい調節が必要であれば、音声時間軸215に制御信
号を供給して、音声処理クロック信号の周波数を調節す
る。 【効果】 音声成分と映像成分との同期を正確にとるこ
とができる。
Description
映像(video)信号復元装置において音声および映
像成分信号を同期させる方法と装置に関する。
受信において、音声成分と映像成分が適正に同期するこ
とが要求される。EIA基準RS−250−Bでは、関
連する音声信号と映像信号の時間差を、進み25msま
たは遅れ40msに制限している。フィルム基準では、
関連する音声と映像の時間差を±1/2フレームに制限
しており、これは20.8msに相当する。従って、信
号源から視聴者までのA/V同期の許容される目標は、
±20msの時間差である。
関連する信号成分を1つのチャンネルに時間多重する。
このような多重は、ケーブル、ファイバ、地上および衛
星用に提案され実施されたA/V伝送システムの間で普
通行われている。信号成分を時間多重すると、情報の伝
送と表示の間の自然な時間関係が破壊されることがあ
る。従って、伝送された成分信号のうち時間的に際どい
成分は多重される前に、基準時間と関連付けられる。こ
れは情報を“スタンプ(stamp)する”と称され、
タイミング・サンプル(timing sample)
はタイム・スタンプ(time stamp)と称され
る。次に受信機はそれぞれの成分をそれぞれのタイム・
スタンプに対して出力する。しかしながら、これを行う
ために、受信機は、エンコーダのタイム・リファレンス
(time reference)に同期する非常に正
確な局部タイム・リファレンスを維持しなければならな
い。
なければならない一つの理由は、リアルタイム・データ
の出力が受信機への入力とつり合うようにするためであ
る。受信機がデータをあまり速く供給(表示)すると、
受信機内のバッファはアンダフローして出力信号の中断
を生じる。もし受信機がデータをあまり遅く出力する
と、バッファはオーバフロー(有限レート・バッファを
仮定する)して、データの損失を生じる。
た情報の所定のパケット(packet)に関連する補
足的タイム・スタンプ(システム・クロック・リファレ
ンス(system clock referenc
e):SCR)によって、受信機は送信機に同期させら
れる。このタイム・スタンプ(SCR)の捕捉のタイミ
ングは、同一のカウンタから得られることによるほか
は、映像データに関連するプレゼンテーション・タイム
・スタンプ(presentation timest
amp: PTS)とは関係がない。SCR符号は、送
信機においてほぼ一定周波数のクリスタルクロックを計
数するモジュロ2Nカウンタ(N>32)をサンプリン
グすることにより発生される。受信機のクロック(局部
クロック)も2Nを法として計数され、SCRが受信機
に到着するたびに、局部カウンタはサンプリングされ、
局部クロック・リファレンス(local clock
reference:LCR)を発生する。LCRを
SCRに等しくさせようとする試みはなされない。むし
ろ、局部クロックは、タイム・スタンプLCRとSCR
の差の変化を処理することに基づいて調節される。以下
の関係式に従って誤差信号が発生される。 ERR=|SCRn−SCRn−1|−|LCRn−LCRn−1| 誤差信号ERRは局部クロック周波数を制御するために
使用される。この処理により、LCRは送信機のクロッ
ク周波数に任意に近づけることができる。システム・ク
ロックと局部クロックはいずれもNを法として計数して
いるので、周期的にラップアラウンドする。これが起こ
ると、それぞれの項SCRn−SCRn−1とLCRn
−LCRn−1は負になり誤りになる。システムはそれ
ぞれの差の極性を監視し、差のうちの1つが負である
時、この差は無視される。
号は、入力映像フレームと同期するプレゼンテーション
・タイム・スタンプPTSvidを含んでいる。それぞ
れのPTSvidは、それぞれのフレームが受信機に表
示される(NTSC素材の場合、公称30Hz)相対的
時間を表示する。関連する音声も、システムの時間と同
じ時間軸に基づき、プレゼンテーション・タイム・スタ
ンプPTSaudで符号化され、このタイム・スタンプ
は、符号化された音声データを含んでいるMPEG方式
パケット層の中に置かれる。音声系のパケット層は音声
データのいくつかの“フレーム”を含んでおり、それぞ
れのフレームは元の音声データのフレーム(本例では2
4ms)に等しい。音声フレームは、(127バイト)
トランスポート・パケット(transport pa
cket)の持続期間の約6倍である。音声、映像、デ
ータなど、伝送される情報は、所定の大きさのそれぞれ
のトランスポート・パケットに分割され、種々の制御ワ
ードが付加され、誤り訂正/検出および同期の付加的層
が供給される。更に、MPEGプロトコルによれば、M
PEG方式の層1つあたりの音声フレームの数は変動す
る。従って、関連する音声および映像素材に対して、映
像と音声のプレゼンテーション・タイム・スタンプ(P
TSvidとPTSaud)の間にはほとんど相関関係
がない。従って、PTSvidとPTSaudを比較し
て音声成分と映像成分を同期させようとしてもむずかし
い。本発明の目的は、関連する音声成分と映像成分を同
期させる方法を簡単化することである。
vidおよびPTSaudを有する互いに排他的なデー
タの“フレーム”で伝送される、関連する映像情報と音
声情報の成分を復号化する受信機が制御装置を含んでお
り、制御装置は受け取られたそれぞれのタイム・スタン
プに応答し、映像成分または音声成分のそれぞれのフレ
ームを遅延させまたはスキップ(skip)させること
により粗い同期を行い、2つの成分を時間的にほぼ一致
させる。映像処理装置とは別に、音声信号処理装置のク
ロック周波数を調節することにより、細かい同期が行わ
れる。周波数調節のための制御は、音声タイム・スタン
プと映像タイム・スタンプの差に関連する。
を示し、このシステムは圧縮されたディジタル映像信号
の伝送回路である。このシステムで、信号源10からの
映像信号は映像信号圧縮装置11に供給される。装置1
1は、離散的余弦変換を利用する、動き補正された予測
エンコーダを含むこともある。装置11からの圧縮され
た映像信号はフォーマット装置12に結合される。この
フォーマット装置12は、国際標準化機構(IOS)が
開発した規格であるMPEGのような信号プロトコルに
従って、圧縮された映像信号およびその他の補助データ
を配列する。標準化された信号はトランスポート処理装
置13に供給され、処理装置13はこの信号をデータの
パケットに分割し、或るオーバーヘッド(overhe
ad)を追加して、伝送の目的のために、雑音排除機能
を与える。トランスポート・パケットは、通常は一定し
ない割合で起こり、レート・バッファ14に供給され、
バッファ14は、比較的狭い帯域幅の伝送チャンネルを
効率よく使用するのに役立つ比較的一定の割合で出力デ
ータを供給する。バッファされたデータは、信号の伝送
を行うモデム15に結合される。
ランスポート処理装置13を含む、多くの装置を動作さ
せるためにクロック信号を発生する。このクロックは、
例えば、27MHzのような一定の周波数で動作する。
しかしながら、ここに示すように、このシステム・クロ
ックはタイミング情報を発生するのに使用される。シス
テム・クロックはカウンタ23のクロック入力に結合さ
れ、カウンタ23は、例えば、230を法として計数す
るように構成される。カウンタ23から出力される計数
値は2個のラッチ24および25に供給される。ラッチ
24は、それぞれのフレーム期間の出現と同時に計数値
をラッチするよう映像信号源によって調整される。これ
らの計数値はプレゼンテーション・タイム・スタンプ
(PTS)と称され、フォーマット装置12によって、
圧縮された映像信号ストリームの中に含められ、関連す
る音声と映像情報のリップ同期(lip−synchr
onization)を行うために受信機で使用され
る。ラッチ25は、予定のスケジュールに従って計数値
をラッチするようトランスポート処理装置13(または
システム制御装置21)によって調整される。これらの
計数値はシステム・クロック・リファレンス(SCR)
と称され、補助データとして、それぞれの補助トランス
ポート・パケット内に埋め込まれる。
連する音声信号は音声信号圧縮装置18に供給される。
音声信号圧縮装置18は、ラッチ19を制御するために
フレーム・サンプリング・パルス(映像フレームに関係
なく)を供給する。サンプリング・パルスに応答して、
ラッチ19はカウンタ23から供給される計数値を捕捉
する。ラッチされたこれらの値は、音声プレゼンテーシ
ョン・タイム・スタンプPTSaudに対応する。PT
Saudは圧縮装置18から供給される圧縮された音声
信号の中に組み込まれる。圧縮された音声信号はトラン
スポート処理装置17に結合される。処理装置17は、
これらの信号をデータのパケットに分割し、或るオーバ
ヘッドを付加し、伝送の目的のために雑音排除機能を与
える。処理装置17から供給される音声トランスポート
・パケットはマルチプレクサ16に結合される。マルチ
プレクサ16は、音声および映像トランスポートパケッ
トを時分割多重する。図1で、音声信号と映像信号の処
理チャンネルに、別個のトランスポート処理装置が示さ
れている。データ・レートが中位の程度であるシステム
の場合、2個のトランスポート処理装置およびマルチプ
レクサ16の機能は、1個のトランスポート処理装置の
中に含められる。
を調整するようプログラムされた、可変状態マシンであ
る。制御装置21、圧縮装置11と18、トランスポー
ト処理装置13と17およびレート・バッファ14は、
処理装置間で適正なハンドシェーキング(handsh
aking)が行われているかぎり、共通のクロック回
路を介して、同期的に動作することもある。しかしなが
ら、2個の圧縮装置はいずれも同じリファレンス・カウ
ンタ23からPTS値を得るので、2つの圧縮された信
号の間の正確なタイミング関係は、圧縮された出力信号
において得られる。
を示す。モデム200はモデム15の逆の機能を実行
し、レート・バッファ204と206は、事実上、レー
ト・バッファ14の逆の機能を実行する。図2で、1個
の逆トランスポート処理装置202が示されており、こ
の処理装置はそれぞれのトランスポート・パケットをサ
ービス(service)により分割し、それぞれのデ
ータを適当な処理チャンネルに割り当てる。その際、そ
れぞれのトランスポート・パケット信号ペイロード(p
ayload)は補助データから分離され、それぞれの
ペイロードは適当な処理チャンネルに供給され、補助デ
ータはシステム制御装置210に供給される。これに代
わる構成では、別個のトランスポート処理装置が各処理
チャンネル内に含められ、それぞれのチャンネルに関連
するデータのみを識別し処理するように構成される。
縮された映像データはレート・バッファ204に供給さ
れる。バッファ204は圧縮された映像信号を、システ
ム・プロトコルに従って、復元装置214に供給する。
レート・バッファ204は、突発的すなわち変動的な割
合でデータを受け取り、要求あり次第、データを復元装
置214に供給する。復元装置は、圧縮された映像信号
に応答して、圧縮されない映像信号を発生し、適当な表
示装置あるいは蓄積装置(図示せず)に、表示されある
いは貯えられるようにする。
縮された音声データはレート・バッファ206に供給さ
れる。バッファ206は圧縮された音声信号を、システ
ム・プロトコルに従って、音声復元装置212に供給す
る。復元装置212は、圧縮された音声信号に応答し
て、圧縮されない音声信号を発生し、適当なスピーカあ
るいは記憶装置(図示せず)で、再生しあるいは蓄積す
る。
補助トランスポート・データからのSCR、および制御
信号をシステム・クロック発生装置208に供給する。
クロック発生装置208はこれらの信号に応答し、少な
くともトランスポート処理装置の動作と同期するシステ
ム・クロック信号を発生する。このシステム・クロック
信号は受信機システム制御装置210に供給されて、特
定の処理要素のタイミングを制御する。
細を示す。受信機モデム200からのデータは、補助パ
ケット検出装置31を含む、逆トランスポート処理装置
202′に結合される。逆トランスポート処理装置20
2′はそれぞれのトランスポート・パケット・ペイロー
ドからトランスポート・ヘッダを分離する。処理装置2
02′は、トランスポート・ヘッダ・データに応答し
て、音声および映像信号ペイロードを、例えば、それぞ
れの復元装置(図示せず)に供給し、かつ補助データ
(AUXで表わす)を特定の補助データ処理要素(図示
せず)に供給する。補助データの中に在るSCRはルー
トを通って、メモリ要素34に貯えられる。
でいる補助トランスポート・パケットを指定する符号ワ
ードを識別するよう構成された整合フィルタであり、S
CRのようなデータを含んでいるトランスポート・パケ
ットの発生と同時に制御パルスを発生する。この制御パ
ルスは、検出時と正確に関連する時に、局部カウンタ3
6が現在示す計数値を捕捉しラッチ35の中に貯えるた
めに利用される。局部カウンタ36は、電圧制御発振器
37から供給されるパルスを計数する。カウンタ36は
Mを法として計数する。Mは、それと同等の、エンコー
ダ内のカウンタ(カウンタ23)と同じ数であるが必ず
しも同じ数ではない。もしMがNと異なれば、その差は
誤り均等化で調節される。
ック制御装置39より発生された、低域フィルタ38を
通る誤差信号によって制御される。誤差信号は以下のよ
うにして発生される。時刻nに到着するSCRをSCR
nで表わし、ラッチ35に現在捕捉されている局部計数
値をLCRnで表わす。クロック制御装置はSCRおよ
びLCRの連続する値を読み取り、その差に比例する誤
差信号Eを形成する。 E→|SCRn−SCRn−1|−|LCRn−LCRn−1| 誤差信号Eは、これらの差を等しくする傾向のある周波
数に電圧制御発振器37を調整するのに利用される。前
に述べたように、モジュロ・カウンタのラップアラウン
ドによって生じる負の差は無視される。クロック制御装
置39から発生される誤差信号はパルス幅変調された信
号の形式をとるが、低域フィルタ38をアナログ構成要
素で実施することにより、アナログ形式の誤差信号に変
えられる。
2つの端部におけるカウンタは同じ周波数またはその倍
数を計数するということである。このため、電圧制御発
振器の公称周波数はエンコーダにおけるシステム・クロ
ックの周波数にかなり接近していることが要求される。
が、長期の誤差(long term error)を
生じる。長期の誤差LTEは以下のように、差に比例す
る。 LTE→|LCRn−LCR0|−|SCRn−SCR0| ここでSCR0およびLCR0は、例えば、最初に発生
するSCR、およびそれに対応する、受信機カウンタの
ラッチされた値である。通常、誤差信号EおよびLTE
は個々のステップで変動する。従って、ひとたびシステ
ムが“同期”すると、誤差信号はゼロ点に関して1単位
デイザする。好ましい同期法は、誤差信号Eに1単位の
デイザが起こるまで誤差信号Eを使用して、電圧制御発
振器の制御を開始し、それから長期誤差信号LTEの使
用に切り換えて、電圧制御発振器を制御する。
ロック信号は、少なくともトランスポート処理装置とレ
ート・バッファを動作させるのに利用される。この信号
はエンコーダのシステム・クロックと少なくとも周波数
が同期しているので、レート・バッファのオーバフロー
またはアンダフローの可能性はほとんど存在しない。
を説明する。プレゼンテーション・タイム・スタンプP
TSvidは、予め定められた映像データに関連する圧
縮された映像信号の中に含まれていることを思い起こさ
れたい。PTSvidは、関連する映像が表示される相
対的時間を示す。同様に、圧縮された音声信号は、それ
ぞれのPTSaudに関連する時に再生される音声に関
連するプレゼンテーション・タイム・スタンプPTS
audを含んでいる。受信機においてPTSaudとP
TSvidは、音声と映像の同期を得る目的で直接比較
されない。何故ならば、それぞれのサンプルは異なる瞬
間に決定されるからである。それぞれのPTS値は、V
CXO37から発生される受信機クロックである、連続
的時間軸と比較される。これを行うには、計数値の局部
タイム・スタンプLCRをサンプリングする。
CRがサンプリングされる。例えばそれぞれの音声フレ
ームが再生のために出力されると、音声復元装置212
はPTSaudを発生する。この時に、LCRをサンプ
リングするために制御信号はラッチ220を調整する。
LCRの値はLAS(local audio sta
mp:局部音声スタンプ)で表わされる。同様に、映像
復元装置214が表示用に映像フレームを発生する時、
映像復元装置214はPTSvidと制御パルスを発生
して、LCRの現在の値を貯えるようラッチ222を調
整する。LCRのこれらの値はLVS(local v
ideo stamp:局部映像スタンプ)と称され
る。
は減算器218のそれぞれの入力端子に結合される。減
算器218は次の関係式に従って信号、ΔA−PTSを
発生する。 ΔA−PTS=PTSaud−LAS LVSおよびそれに対応するPTSvidは減算器21
7のそれぞれの入力端子に結合される。減算器217は
次の関係式に従って信号、ΔV−PTSを発生する。 ΔV−PTS=PTSvid−LVS 信号ΔV−PTSとΔA−PTSはさらに次の減算器2
19のそれぞれの入力端子に結合される。減算器219
は次の関係式に従ってA/V(音声/映像)同期誤差信
号ERRPTSを発生する。 ERRPTS=ΔV−PTS−ΔA−PTS
誤差をゼロにする必要がある。これは、対応する音声と
映像のPTSの値の差がその対応するPTSの発生の時
間間隔(局部リファレンスの単位で)に等しい時に、そ
の音声信号と映像信号は同期することを示している。
期を調節するために2つの手法が用いられる。すなわ
ち、データ部分のスキップ(skip)と繰り返しおよ
び変換クロックの偏移である。一定の期間すなわち“フ
レーム”の音声信号をスキップすると、音声データ・ス
トリームは映像信号に対して一定の期間だけ進められ
る。繰り返す(データを消費せずに消音する)と、音声
データ・ストリームは映像信号に対して一定の期間だけ
遅延される。音声フレームをスキップしたり繰り返した
りすることは、多くの条件下で聞き取れるので、同期の
粗い調節にのみ利用される。それでも、短時間のスキッ
プまたは繰り返しは、識別できる音声/映像同期誤差に
対して好ましい。もし音声フレームが40msec以内
であれば、スキップ/繰り返しによる粗い調節で、同期
誤差は±20msecとなり、これはA/V同期に関す
る基準の範囲内にある。しかしながら、音声変換時間軸
が音声信号源の時間軸と一致しなければ、この同期は劣
化する。いったん同期が粗く調節されると、音声変換ク
ロック周波数を変えて、A/V同期はさらに細かく調節
される。
置216に供給される。フィルタの機能は、誤差信号E
RRPTSを平滑にし、信号雑音により発生されるかも
知れない異常な作用を最小限度にする。次に、装置21
6の処理機能が、平滑にされた誤差信号を検査し、音声
信号と映像信号の粗い同期を達成するために音声のスキ
ップ/繰り返しを使用すべきか、それとも細かい同期を
達成するために音声処理周波数の調節を利用すべきかを
決定する。粗い同期調節が必要であると決定されれば、
処理装置216は音声復元装置212に制御信号を供給
して、復元された現在の音声フレームをスキップするか
または繰り返すように音声復元装置212を調整する。
あるいは、粗い調節に加えて、細かい調節が必要である
ことが決定されれば、処理装置216は音声時間軸21
5に制御信号を供給して、音声処理クロック信号の周波
数を調節する。
に詳しく示す。開始で示されるシステムの初期設定(4
00)の後、システムは音声復元装置を監視してPTS
audの発生を調べる(401)。もしPTSaudが
検出されればそれが読み取られ、局部クロック・リファ
レンスLASが捕捉され貯えられる(403)。もしP
TSaudが発生していなければシステムは映像圧縮装
置を監視してPTSvidを調べる(402)。PTS
vidが発生していればPTSvidは読み取られ、局
部クロック・リファレンスLVSは捕捉され貯えられる
(404)。PTSaudとPTSvidの両方が読み
取られると次の式に従ってERRPTSが計算される
(405)。 ERRPTS=ΔV−PTS−ΔA−PTS 誤差信号の大きさを検査してそれが音声フレーム期間の
1/2以上であるかどうか判定する(406)。もしそ
れが音声フレーム期間の1/2より大きければ、誤差信
号の極性を検査する(407)。極性が正であれば、現
在の音声フレームが繰り返される(409)。極性が負
であれば現在の音声フレームはスキップされる(40
8)。1フレームをスキップまたは繰り返した後、シス
テムは開始位置に戻り、次のPTSの発生を待つ。
が音声フレーム期間の1/2以下であれば、その誤差を
検査してゼロより大きいか確かめる(410)。誤差が
ゼロより大きければ、その誤差が以前の誤差信号より小
さいか確かめる。前の誤差信号より小さければ、それは
このシステムが同期に向かって近寄っていることを示し
ており、同期制御パラメータは変更されない。システム
は開始位置に戻って次のPTSを待つ。逆に、もし誤差
が前の誤差信号より増加していれば、音声システム処理
クロックはその周波数を少なくするよう調節される(4
14)。
さい(負である)なら、前の誤差信号より大きいか確か
める。前の誤差信号より大きければ、これもやはりシス
テムが同期の方へ近づいていることを示しており、同期
制御パラメータは変更されない。もし現在の誤差信号が
前の誤差信号より小さければ、システムは更に同期がは
ずれているので、音声処理クロック周波数は増加される
(413)。処理ステップ412と413の後、システ
ムは開始位置に戻り次のPTSの発生を待つ。本例で
は、音声/映像同期誤差が音声フレーム期間の1/2以
下に減らされるまで、音声フレームをスキップしたり繰
り返したりして、システムは粗い調節だけを行うことが
注目される。
の大きさに関連する予め定められた閾値と、濾波済み誤
差信号が比較される。もし誤差信号が閾値より小さけれ
ば、音声と映像のタイミング誤差が音声フレームよりも
小さいことを示しており、誤差信号は音声時間軸回路2
15に結合され、ここで、音声信号処理(復元)クロッ
クの周波数を調節するのに利用される。もし誤差信号が
閾値より大きければ、誤差信号を音声フレーム期間で割
って、音声信号と映像信号が整合していない音声フレー
ムの数を確かめる。得られた商の整数部分が音声復元装
置に供給され、音声フレームをその数だけスキップする
か繰り返すように音声復元装置を調整する。誤差信号の
極性により、音声フレームを飛ばすべきかまたは繰り返
すべきかが決定される。通常、復元されたデータは出力
される前にバッファ・メモリの中に配置されるので、音
声フレームを飛ばすことまたは繰り返すことは、メモリ
の読取り/書込みコマンドを制御可能にイネーブルする
という簡単な事柄である。
合され、ここで、音声/映像同期を微調整するために、
小数部分は音声処理クロックを調節するのに利用され
る。
速度に比例する。音声復元装置の処理速度は、音声復元
装置を動作させるのに使用されるクロック信号の周波数
に正比例する。もし音声復元装置のクロック周波数が映
像復元装置を動作させるのに使用されるクロックと無関
係であり、かつ細かく調節できるならば、音声と映像の
PTSの相対的な発生率は調節することができ、そして
音声と映像は細かく同期させることができる。
を発生する回路の第1の実施例である。図5で、電圧制
御発振器503は、要素500と501を含む位相ロッ
クループ内に接続されている。発振器503の出力は位
相検出器500の1つの入力に結合される。システム・
クロックは、2進レート乗算器505を介して、位相検
出器500の第2の入力に結合される。位相検出器から
発生される位相誤差信号は低域フィルタ501で濾波さ
れる。この平滑された位相誤差信号は発振器の制御端子
に結合され、2進レート乗算器の出力と同じ周波数と位
相で発振するように発振器を調整する。本例では、シス
テムクロック周波数は約27MHzであり、望ましい音
声処理クロック周波数は27MHz信号の約1/380
である。処理要素216からの制御信号は2進レート乗
算器505の制御入力ポートに結合され、その出力周波
数を制御する。この制御信号は公称分割比1/380を
表わすように選定されるが、この値を中心として変調さ
れ、2進レート乗算器の出力を調整して、望ましい瞬時
音声処理レートに等しい出力周波数を発生するようにす
る。
路の第2の実施例を示す。この例では、システムクロッ
ク発生器208または他の安定な発振器からの、一定の
クロック周波数が2進レート乗算器600の1つの入力
に供給される。2進レート乗算器は処理要素216から
の制御信号で制御され、所望の音声処理クロック周波数
を発生する。処理要素216は、音声/映像誤差信号に
応答し、この制御信号を変更し、2進レート乗算器を調
整して、音声処理クロック周波数を増加または減少させ
る。
示せず)には公称最大音声処理周波数を発生するための
発振器およびゲート回路を含めることもある。この発振
器はゲート回路を介して音声処理回路に結合される。ゲ
ート回路は処理要素216で制御され、発振器の出力パ
ルスを加えて、所望の音声処理周波数を得る。
で示す)では、同期を達成するために映像フレームをス
キップしたり繰り返したりする。あるいは、映像フレー
ムよりも進んでいる(遅れている)音声フレームに対し
ては、映像フレームはスキップされ、映像フレームより
も遅れている(進んでいる)音声フレームはスキップさ
れる。しかしながら、好ましい実施例では、映像フレー
ムよりも遅れている音声フレームはスキップされ、映像
フレームよりも進んでいる音声フレームは繰り返され
る。
ック図である。
トを有する受信機システム・クロック信号を供給する装
置のブロック図である。
の音声処理クロック信号発生装置のブロック図である。
の音声処理クロック信号発生装置のブロック図である。
Claims (9)
- 【請求項1】 圧縮された音声信号と映像信号を再生し
て、同期した音声信号と映像信号を発生する装置であっ
て、該音声信号と映像信号がそれぞれ、予め定められる
間隔を置いて且つエンコーダ・システム・クロックに関
連するタイム・スタンプ(PTSaudとPT
Svid)を含んでおり、 前記圧縮され再生された音声および映像信号の信号源、
および局部クロック信号源と、 前記圧縮され再生された映像信号に応答し、復元された
映像信号および前記タイム・スタンプPTSvidを発
生する復元装置と、 前記圧縮され再生された音声信号に応答し、復元された
音声信号および前記タイム・スタンプPTSaudを発
生する復元装置と、 対応するタイム・スタンプPTSaudとPTSvid
の発生する時間間隔Tを前記局部クロック信号のサイク
ルで決定する手段と、 対応するタイム・スタンプPTSaudとPTSvid
の値の差を計算し、この差と前記時間間隔Tを比較し、
音声/映像同期誤差信号を発生する手段と、 前記音声/映像同期誤差信号に応答し、復元された音声
信号と映像信号を同期させる手段とを含んでいる、前記
装置。 - 【請求項2】 時間間隔Tを決定する前記手段がカウン
タを含み、前記局部クロック信号のサイクルを数え、前
記対応するタイム・スタンプPTSaudとPTS
vidの発生の間に生じる前記クロック信号のサイクル
数に等しい前記時間間隔Tを表わす値を発生する、請求
項1に記載の装置。 - 【請求項3】 カウンタを含む前記手段が、 前記局部クロック信号に応答しN(Nは整数)を法とし
て一連の計数値を発生するカウンタと、 前記タイム・スタンプPTSaudの発生に応答して第
1の計数値を捕捉し、対応するタイム・スタンプPTS
vidの発生に応答して第2の計数値を捕捉する手段
と、 前記第1と第2の計数値の差を決定する減算器とから成
る、請求項2に記載の装置。 - 【請求項4】 前記圧縮され再生された音声/映像信号
がシステム・クロック・リファレンス(SCR)を含ん
でいる、請求項1に記載の装置であって、更に、該シス
テム・クロック・リファレンスに応答して前記エンコー
ダ・システム・クロックと同期する前記局部クロック信
号を発生する手段を含んでいる前記装置。 - 【請求項5】 前記それぞれの復元装置が復元された映
像信号を予め定められた期間に発生し、かつ復元された
音声信号を更に別の予め定められた期間に発生し、前記
同期手段が、前記音声/映像同期誤差信号に応答して前
記予め定められた期間の前記復元された音声信号をスキ
ップあるいは繰り返す装置を含んでいる、請求項1に記
載の装置。 - 【請求項6】 復元された音声信号を発生する前記復元
装置が、該復元装置を動作させる処理用クロック信号源
を含み、前記同期手段が、前記音声/映像同期誤差信号
に応答して前記処理用クロック信号の周波数を変化させ
る更に別の装置を含んでいる、請求項5に記載の装置。 - 【請求項7】 前記処理用クロック信号の周波数を変化
させる前記装置が2進レート乗算器を含んでいる、請求
項6に記載の装置。 - 【請求項8】 前記それぞれの復元装置が復元された映
像信号を予め定められた期間に発生し、かつ復元された
音声信号を更に別の予め定められた期間に発生し、前記
同期手段が、前記音声/映像同期誤差信号に応答して前
記予め定められた期間の前記復元された音声信号をスキ
ップあるいは繰り返す装置を含んでいる、請求項3に記
載の装置。 - 【請求項9】 復元された音声信号を発生する前記復元
装置が、該復元装置を動作させる処理用クロック信号源
を含み、前記同期手段が、前記音声/映像同期誤差信号
に応答して前記処理用クロック信号の周波数を変化させ
る更に別の装置を含んでいる、請求項8に記載の装置。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US129974 | 1993-09-30 | ||
US08/129,974 US5430485A (en) | 1993-09-30 | 1993-09-30 | Audio/video synchronization in a digital transmission system |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004330007A Division JP3976759B2 (ja) | 1993-09-30 | 2004-11-15 | 音声信号と映像信号を同期させる装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH07177479A true JPH07177479A (ja) | 1995-07-14 |
JP3633972B2 JP3633972B2 (ja) | 2005-03-30 |
Family
ID=22442450
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP27010794A Expired - Lifetime JP3633972B2 (ja) | 1993-09-30 | 1994-09-29 | 音声信号と映像信号を同期させる装置 |
JP2004330007A Expired - Lifetime JP3976759B2 (ja) | 1993-09-30 | 2004-11-15 | 音声信号と映像信号を同期させる装置 |
JP2005296188A Expired - Lifetime JP4382736B2 (ja) | 1993-09-30 | 2005-10-11 | 音声信号と映像信号を同期させる装置 |
JP2009000956A Pending JP2009124732A (ja) | 1993-09-30 | 2009-01-06 | 音声信号と映像信号を同期させる装置 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004330007A Expired - Lifetime JP3976759B2 (ja) | 1993-09-30 | 2004-11-15 | 音声信号と映像信号を同期させる装置 |
JP2005296188A Expired - Lifetime JP4382736B2 (ja) | 1993-09-30 | 2005-10-11 | 音声信号と映像信号を同期させる装置 |
JP2009000956A Pending JP2009124732A (ja) | 1993-09-30 | 2009-01-06 | 音声信号と映像信号を同期させる装置 |
Country Status (15)
Country | Link |
---|---|
US (1) | US5430485A (ja) |
EP (1) | EP0648056B1 (ja) |
JP (4) | JP3633972B2 (ja) |
KR (1) | KR100337212B1 (ja) |
CN (1) | CN1053308C (ja) |
AU (1) | AU684520B2 (ja) |
CA (1) | CA2132186C (ja) |
DE (1) | DE69417139T2 (ja) |
ES (1) | ES2131139T3 (ja) |
FI (1) | FI112144B (ja) |
MY (1) | MY111711A (ja) |
PL (1) | PL174674B1 (ja) |
RU (1) | RU2142210C1 (ja) |
SG (1) | SG70960A1 (ja) |
TR (1) | TR28210A (ja) |
Cited By (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09149411A (ja) * | 1995-11-24 | 1997-06-06 | Ekushingu:Kk | 復号化装置 |
JP2001078185A (ja) * | 1999-07-21 | 2001-03-23 | Thomson Licensing Sa | 信号処理装置 |
US6380981B1 (en) | 1998-09-10 | 2002-04-30 | Mitsubishi Denki Kabushiki Kaisha | Frame synchronizer |
US6862044B2 (en) | 2001-03-27 | 2005-03-01 | Kabushiki Kaisha Toshiba | Digital broadcast receiving apparatus for restoring and synchronizing sound and image data and control method thereof |
JP2005102193A (ja) * | 2003-09-02 | 2005-04-14 | Sony Corp | コンテンツ受信装置、ビデオオーディオ出力タイミング制御方法及びコンテンツ提供システム |
JP2006509409A (ja) * | 2002-12-04 | 2006-03-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 音声/映像同期の自動検査方法 |
JP2006211509A (ja) * | 2005-01-31 | 2006-08-10 | Nec Corp | 符号化装置、これで用いるstc補正方法、符号化システム、送出系、及び音声送受信システム |
KR100644562B1 (ko) * | 1999-08-20 | 2006-11-13 | 삼성전자주식회사 | 오디오/비디오 신호 동기 장치 및 그 방법 |
WO2007049451A1 (ja) * | 2005-10-27 | 2007-05-03 | National University Corporation Chiba University | 映像と音声のずれ時間を、高精度かつ簡便に計測する方法および計測装置 |
US7600240B2 (en) | 2004-11-17 | 2009-10-06 | Sony Corporation | Data processing apparatus and method |
US8005338B2 (en) | 2004-09-14 | 2011-08-23 | Hitachi, Ltd. | Recording and reproducing device |
JP2012244529A (ja) * | 2011-05-23 | 2012-12-10 | Renesas Electronics Corp | データ処理システム |
JP2016208464A (ja) * | 2015-04-28 | 2016-12-08 | カシオ計算機株式会社 | 撮像システム、撮像装置、収音装置、撮像方法、収音方法及びプログラム |
Families Citing this family (155)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7382929B2 (en) | 1989-05-22 | 2008-06-03 | Pixel Instruments Corporation | Spatial scan replication circuit |
US5430485A (en) * | 1993-09-30 | 1995-07-04 | Thomson Consumer Electronics, Inc. | Audio/video synchronization in a digital transmission system |
US5612981A (en) * | 1994-02-15 | 1997-03-18 | Philips Electronics North America Corporation | Apparatus and methods for improving timing recovery of a system clock |
JP3197766B2 (ja) * | 1994-02-17 | 2001-08-13 | 三洋電機株式会社 | Mpegオーディオデコーダ、mpegビデオデコーダおよびmpegシステムデコーダ |
US5566174A (en) * | 1994-04-08 | 1996-10-15 | Philips Electronics North America Corporation | MPEG information signal conversion system |
US5521979A (en) * | 1994-04-22 | 1996-05-28 | Thomson Consumer Electronics, Inc. | Packet video signal inverse transport system |
US5642171A (en) * | 1994-06-08 | 1997-06-24 | Dell Usa, L.P. | Method and apparatus for synchronizing audio and video data streams in a multimedia system |
US5734432A (en) * | 1994-07-15 | 1998-03-31 | Lucent Technologies, Inc. | Method of incorporating a variable rate auxiliary data stream with a variable rate primary data stream |
US5798719A (en) | 1994-07-29 | 1998-08-25 | Discovision Associates | Parallel Huffman decoder |
US5603016A (en) * | 1994-08-03 | 1997-02-11 | Intel Corporation | Method for synchronizing playback of an audio track to a video track |
GB9512068D0 (en) * | 1995-06-14 | 1995-08-09 | Thomson Consumer Electronics | Bus and interface system for consumer digital equipment |
US6236694B1 (en) * | 1994-08-19 | 2001-05-22 | Thomson Licensing S.A. | Bus and interface system for consumer digital equipment |
US5598352A (en) * | 1994-09-30 | 1997-01-28 | Cirrus Logic, Inc. | Method and apparatus for audio and video synchronizing in MPEG playback systems |
US5594660A (en) * | 1994-09-30 | 1997-01-14 | Cirrus Logic, Inc. | Programmable audio-video synchronization method and apparatus for multimedia systems |
US5920842A (en) * | 1994-10-12 | 1999-07-06 | Pixel Instruments | Signal synchronization |
US5771075A (en) * | 1994-12-08 | 1998-06-23 | Lg Electronics Inc. | Audio/video synchronizer |
US5588029A (en) * | 1995-01-20 | 1996-12-24 | Lsi Logic Corporation | MPEG audio synchronization system using subframe skip and repeat |
US5905768A (en) * | 1994-12-13 | 1999-05-18 | Lsi Logic Corporation | MPEG audio synchronization system using subframe skip and repeat |
IT1268195B1 (it) * | 1994-12-23 | 1997-02-21 | Sip | Decodificatore per segnali audio appartenenti a sequenze audiovisive compresse e codificate. |
US5543853A (en) * | 1995-01-19 | 1996-08-06 | At&T Corp. | Encoder/decoder buffer control for variable bit-rate channel |
US5621772A (en) * | 1995-01-20 | 1997-04-15 | Lsi Logic Corporation | Hysteretic synchronization system for MPEG audio frame decoder |
US5751694A (en) * | 1995-05-22 | 1998-05-12 | Sony Corporation | Methods and apparatus for synchronizing temporally related data streams |
US6119213A (en) * | 1995-06-07 | 2000-09-12 | Discovision Associates | Method for addressing data having variable data width using a fixed number of bits for address and width defining fields |
US5920572A (en) * | 1995-06-30 | 1999-07-06 | Divicom Inc. | Transport stream decoder/demultiplexer for hierarchically organized audio-video streams |
US6058141A (en) * | 1995-09-28 | 2000-05-02 | Digital Bitcasting Corporation | Varied frame rate video |
US6836295B1 (en) | 1995-12-07 | 2004-12-28 | J. Carl Cooper | Audio to video timing measurement for MPEG type television systems |
US5784572A (en) * | 1995-12-29 | 1998-07-21 | Lsi Logic Corporation | Method and apparatus for compressing video and voice signals according to different standards |
US5835493A (en) * | 1996-01-02 | 1998-11-10 | Divicom, Inc. | MPEG transport stream remultiplexer |
US5828414A (en) * | 1996-02-23 | 1998-10-27 | Divicom, Inc. | Reduction of timing jitter in audio-video transport streams |
US5875354A (en) * | 1996-03-01 | 1999-02-23 | Apple Computer, Inc. | System for synchronization by modifying the rate of conversion by difference of rate between first clock and audio clock during a second time period |
US6233256B1 (en) * | 1996-03-13 | 2001-05-15 | Sarnoff Corporation | Method and apparatus for analyzing and monitoring packet streams |
JPH09266460A (ja) * | 1996-03-28 | 1997-10-07 | Sony Corp | 送受信システム |
US5878039A (en) * | 1996-04-24 | 1999-03-02 | Nec America, Inc. | Bus rate adaptation and time slot assignment circuit for a sonet multiplex system |
WO1997046027A1 (en) * | 1996-05-29 | 1997-12-04 | Sarnoff Corporation | Preserving synchronization of audio and video presentation |
JP3418065B2 (ja) * | 1996-06-26 | 2003-06-16 | 三菱電機株式会社 | 光ディスク |
EP1343330B1 (en) * | 1996-07-05 | 2007-08-15 | Matsushita Electric Industrial Co., Ltd. | Method for display time stamping and synchronization of multiple video object planes |
JP3063824B2 (ja) * | 1996-10-29 | 2000-07-12 | 日本電気株式会社 | オーディオ・ビデオ同期再生装置 |
DE69717139T2 (de) | 1996-12-04 | 2003-10-02 | Matsushita Electric Ind Co Ltd | Vorrichtung zur aufnahme und wiedergabe von hochauflösenden und dreidimensionalen bildern mit optischer speicherplatte |
JP3454653B2 (ja) * | 1996-12-27 | 2003-10-06 | 矢崎総業株式会社 | データ送信装置、データ受信装置、データ通信装置、及びデータ通信方法 |
WO1998036559A1 (en) | 1997-02-14 | 1998-08-20 | The Trustees Of Columbia University In The City Of New York | Object-based audio-visual terminal and bitstream structure |
TW395142B (en) * | 1997-05-15 | 2000-06-21 | Matsushita Electric Ind Co Ltd | Compressed code decoding device and audio decoding device |
GB2326781B (en) * | 1997-05-30 | 2001-10-10 | British Broadcasting Corp | Video and audio signal processing |
US6266091B1 (en) | 1997-07-31 | 2001-07-24 | Lsi Logic Corporation | System and method for low delay mode operation video decoding |
US6122316A (en) * | 1997-07-31 | 2000-09-19 | Lsi Logic Corporation | MPEG decoding system meeting 2-frame store and letterboxing requirements |
US6289053B1 (en) | 1997-07-31 | 2001-09-11 | Lsi Logic Corporation | Architecture for decoding MPEG compliant video bitstreams meeting 2-frame and letterboxing requirements |
US6310918B1 (en) | 1997-07-31 | 2001-10-30 | Lsi Logic Corporation | System and method for motion vector extraction and computation meeting 2-frame store and letterboxing requirements |
US6236681B1 (en) | 1997-07-31 | 2001-05-22 | Lsi Logic Corporation | Method for decoding MPEG compliant video bitstreams meeting 2-frame and letterboxing requirements |
US6101221A (en) * | 1997-07-31 | 2000-08-08 | Lsi Logic Corporation | Video bitstream symbol extractor for use in decoding MPEG compliant video bitstreams meeting 2-frame and letterboxing requirements |
KR100257070B1 (ko) * | 1997-08-14 | 2000-05-15 | 김영환 | 박막트랜지스터 및 이의 제조방법 |
US6229859B1 (en) * | 1997-09-04 | 2001-05-08 | Silicon Image, Inc. | System and method for high-speed, synchronized data communication |
JP3063838B2 (ja) * | 1997-10-02 | 2000-07-12 | 日本電気株式会社 | オーディオ・ビデオ同期再生装置および方法 |
US5899969A (en) * | 1997-10-17 | 1999-05-04 | Dolby Laboratories Licensing Corporation | Frame-based audio coding with gain-control words |
KR100301826B1 (ko) * | 1997-12-29 | 2001-10-27 | 구자홍 | 비디오디코더 |
KR19990061872A (ko) * | 1997-12-31 | 1999-07-26 | 서평원 | 에스티비에서 비디오데이터 전송제어시스템 |
US6351474B1 (en) * | 1998-01-14 | 2002-02-26 | Skystream Networks Inc. | Network distributed remultiplexer for video program bearing transport streams |
US6246701B1 (en) | 1998-01-14 | 2001-06-12 | Skystream Corporation | Reference time clock locking in a remultiplexer for video program bearing transport streams |
US6292490B1 (en) | 1998-01-14 | 2001-09-18 | Skystream Corporation | Receipts and dispatch timing of transport packets in a video program bearing stream remultiplexer |
US6195368B1 (en) | 1998-01-14 | 2001-02-27 | Skystream Corporation | Re-timing of video program bearing streams transmitted by an asynchronous communication link |
US6351471B1 (en) | 1998-01-14 | 2002-02-26 | Skystream Networks Inc. | Brandwidth optimization of video program bearing transport streams |
US7199836B1 (en) * | 1998-02-13 | 2007-04-03 | The Trustees Of Columbia University In The City Of New York | Object-based audio-visual terminal and bitstream structure |
US6081299A (en) * | 1998-02-20 | 2000-06-27 | International Business Machines Corporation | Methods and systems for encoding real time multimedia data |
US6249319B1 (en) * | 1998-03-30 | 2001-06-19 | International Business Machines Corporation | Method and apparatus for finding a correct synchronization point within a data stream |
GB9807295D0 (en) * | 1998-04-03 | 1998-06-03 | Snell & Wilcox Ltd | Improvements relating to audio-video delay |
SE517547C2 (sv) * | 1998-06-08 | 2002-06-18 | Ericsson Telefon Ab L M | Signalsynkronisering vid signalkvalitetsmätning |
US6016166A (en) * | 1998-08-31 | 2000-01-18 | Lucent Technologies Inc. | Method and apparatus for adaptive synchronization of digital video and audio playback in a multimedia playback system |
WO2000064145A1 (en) * | 1999-04-20 | 2000-10-26 | Alexandr Vitalievich Kitaev | Video camera |
EP1056259B1 (en) * | 1999-05-25 | 2005-09-14 | Lucent Technologies Inc. | Method and apparatus for telecommunications using internet protocol |
US6583821B1 (en) * | 1999-07-16 | 2003-06-24 | Thomson Licensing S.A. | Synchronizing apparatus for a compressed audio/video signal receiver |
GB0000874D0 (en) | 2000-01-14 | 2000-03-08 | Koninkl Philips Electronics Nv | Latency handling for interconnected devices |
WO2002015591A1 (en) * | 2000-08-16 | 2002-02-21 | Koninklijke Philips Electronics N.V. | Method of playing multimedia data |
US20020089602A1 (en) * | 2000-10-18 | 2002-07-11 | Sullivan Gary J. | Compressed timing indicators for media samples |
FR2815805B1 (fr) * | 2000-10-23 | 2005-09-02 | Telediffusion De France Tdf | Procede de synchronisation de signaux numeriques |
US7340558B2 (en) * | 2000-11-22 | 2008-03-04 | Silicon Image, Inc. | Multisection memory bank system |
US20020077117A1 (en) * | 2000-12-15 | 2002-06-20 | Jocelyn Cloutier | Synchronous transmission of data with network remote control |
US7030930B2 (en) * | 2001-03-06 | 2006-04-18 | Ati Technologies, Inc. | System for digitized audio stream synchronization and method thereof |
MXPA03011572A (es) * | 2001-07-19 | 2004-03-19 | Thomson Licensing Sa | Sistema de transmision y recepcion digital resistente al desvanecimiento. |
JP3591493B2 (ja) * | 2001-07-25 | 2004-11-17 | ソニー株式会社 | ネットワークシステム、およびネットワークシステムの同期方法 |
US8880709B2 (en) * | 2001-09-12 | 2014-11-04 | Ericsson Television Inc. | Method and system for scheduled streaming of best effort data |
KR100831213B1 (ko) * | 2001-09-17 | 2008-05-21 | 엘지전자 주식회사 | 음성 데이터와 영상 데이터의 재생 동기화 장치 및 방법 |
US7269338B2 (en) * | 2001-12-11 | 2007-09-11 | Koninklijke Philips Electronics N.V. | Apparatus and method for synchronizing presentation from bit streams based on their content |
US7283566B2 (en) * | 2002-06-14 | 2007-10-16 | Silicon Image, Inc. | Method and circuit for generating time stamp data from an embedded-clock audio data stream and a video clock |
US6850284B2 (en) * | 2002-08-27 | 2005-02-01 | Motorola, Inc. | Method and apparatus for decoding audio and video information |
US7230651B2 (en) * | 2002-10-22 | 2007-06-12 | Broadcom Corporation | A/V decoder having a clocking scheme that is independent of input data streams |
CN100367313C (zh) * | 2002-11-07 | 2008-02-06 | 汤姆森许可贸易公司 | 应用缓冲计算在数字化环境中确定音频和视频之间的声像吻合的系统和方法 |
FR2849328A1 (fr) * | 2002-12-20 | 2004-06-25 | St Microelectronics Sa | Procede et dispositif de synchronisation de la presentation de trames audio et/ou de trames video |
US6833765B2 (en) * | 2003-01-23 | 2004-12-21 | Ess Technology, Inc. | Frequency locked loop with improved stability using binary rate multiplier circuits |
GB0306973D0 (en) | 2003-03-26 | 2003-04-30 | British Telecomm | Transmitting video |
US11106425B2 (en) | 2003-07-28 | 2021-08-31 | Sonos, Inc. | Synchronizing operations among a plurality of independently clocked digital data processing devices |
US8290603B1 (en) | 2004-06-05 | 2012-10-16 | Sonos, Inc. | User interfaces for controlling and manipulating groupings in a multi-zone media system |
US8234395B2 (en) | 2003-07-28 | 2012-07-31 | Sonos, Inc. | System and method for synchronizing operations among a plurality of independently clocked digital data processing devices |
US11294618B2 (en) | 2003-07-28 | 2022-04-05 | Sonos, Inc. | Media player system |
US11650784B2 (en) | 2003-07-28 | 2023-05-16 | Sonos, Inc. | Adjusting volume levels |
US9207905B2 (en) | 2003-07-28 | 2015-12-08 | Sonos, Inc. | Method and apparatus for providing synchrony group status information |
US8086752B2 (en) | 2006-11-22 | 2011-12-27 | Sonos, Inc. | Systems and methods for synchronizing operations among a plurality of independently clocked digital data processing devices that independently source digital data |
US11106424B2 (en) | 2003-07-28 | 2021-08-31 | Sonos, Inc. | Synchronizing operations among a plurality of independently clocked digital data processing devices |
US7693222B2 (en) | 2003-08-13 | 2010-04-06 | Ericsson Television Inc. | Method and system for re-multiplexing of content-modified MPEG-2 transport streams using PCR interpolation |
US7366462B2 (en) | 2003-10-24 | 2008-04-29 | Qualcomm Incorporated | Method and apparatus for seamlessly switching reception between multimedia streams in a wireless communication system |
US7570304B1 (en) * | 2003-11-21 | 2009-08-04 | Sigma Designs, Inc. | Method, apparatus and computer program product for synchronizing presentation of digital video data with serving of digital video data |
KR20050052717A (ko) * | 2003-12-01 | 2005-06-07 | 엘지전자 주식회사 | 오디오 원본 보존 트랜스코딩 시스템 및 방법 |
US7405769B2 (en) * | 2004-02-09 | 2008-07-29 | Broadcom Corporation | Method and system for 3D comb synchronization and alignment of standard and non-standard video signals |
GB0406901D0 (en) * | 2004-03-26 | 2004-04-28 | British Telecomm | Transmitting recorded material |
US9977561B2 (en) | 2004-04-01 | 2018-05-22 | Sonos, Inc. | Systems, methods, apparatus, and articles of manufacture to provide guest access |
DE102004017215A1 (de) * | 2004-04-05 | 2005-10-20 | Sennheiser Electronic | Audiovisuelles System |
US7170545B2 (en) * | 2004-04-27 | 2007-01-30 | Polycom, Inc. | Method and apparatus for inserting variable audio delay to minimize latency in video conferencing |
US8024055B1 (en) | 2004-05-15 | 2011-09-20 | Sonos, Inc. | Method and system for controlling amplifiers |
US8868698B2 (en) | 2004-06-05 | 2014-10-21 | Sonos, Inc. | Establishing a secure wireless network with minimum human intervention |
US8326951B1 (en) | 2004-06-05 | 2012-12-04 | Sonos, Inc. | Establishing a secure wireless network with minimum human intervention |
US7400653B2 (en) * | 2004-06-18 | 2008-07-15 | Dolby Laboratories Licensing Corporation | Maintaining synchronization of streaming audio and video using internet protocol |
CN100340115C (zh) * | 2004-10-22 | 2007-09-26 | 威盛电子股份有限公司 | 影音资料流中时间轴切换处理装置及其方法 |
US20060104305A1 (en) * | 2004-11-12 | 2006-05-18 | William Yoshida | Audio/video streaming system |
GB0428155D0 (en) * | 2004-12-22 | 2005-01-26 | British Telecomm | Buffer underflow prevention |
KR100652956B1 (ko) * | 2005-01-14 | 2006-12-01 | 삼성전자주식회사 | 비디오 수신지연 알림방법 및 이를 적용한 방송수신장치 |
KR100658866B1 (ko) * | 2005-03-10 | 2006-12-15 | 엘지전자 주식회사 | 비디오 및 오디오 데이터 동기화 장치 및 방법 |
US8233540B2 (en) * | 2005-03-10 | 2012-07-31 | Qualcomm Incorporated | Method of time base reconstruction for discrete time labeled video |
US20060209210A1 (en) * | 2005-03-18 | 2006-09-21 | Ati Technologies Inc. | Automatic audio and video synchronization |
US7669219B2 (en) * | 2005-04-15 | 2010-02-23 | Microsoft Corporation | Synchronized media experience |
KR100638138B1 (ko) * | 2005-05-24 | 2006-10-24 | 주식회사 픽스트리 | 비디오/오디오 부호화 및 다중화 기능을 가진 하드웨어장치 및 그 작동 방법 |
US20070019931A1 (en) * | 2005-07-19 | 2007-01-25 | Texas Instruments Incorporated | Systems and methods for re-synchronizing video and audio data |
CA2544459A1 (en) * | 2006-04-21 | 2007-10-21 | Evertz Microsystems Ltd. | Systems and methods for synchronizing audio and video data signals |
US8379735B2 (en) * | 2006-05-15 | 2013-02-19 | Microsoft Corporation | Automatic video glitch detection and audio-video synchronization assessment |
US9202509B2 (en) | 2006-09-12 | 2015-12-01 | Sonos, Inc. | Controlling and grouping in a multi-zone media system |
US8483853B1 (en) | 2006-09-12 | 2013-07-09 | Sonos, Inc. | Controlling and manipulating groupings in a multi-zone media system |
US8788080B1 (en) | 2006-09-12 | 2014-07-22 | Sonos, Inc. | Multi-channel pairing in a media system |
JP5186094B2 (ja) * | 2006-09-29 | 2013-04-17 | サクサ株式会社 | 通信端末、マルチメディア再生制御方法、およびプログラム |
US8027560B2 (en) * | 2007-02-05 | 2011-09-27 | Thales Avionics, Inc. | System and method for synchronizing playback of audio and video |
US8842971B2 (en) * | 2007-07-31 | 2014-09-23 | The Directv Group, Inc. | Methods and apparatus to present audio and video at non-native rates |
EP2101503A1 (en) * | 2008-03-11 | 2009-09-16 | British Telecommunications Public Limited Company | Video coding |
US8400566B2 (en) | 2008-08-21 | 2013-03-19 | Dolby Laboratories Licensing Corporation | Feature optimization and reliability for audio and video signature generation and detection |
EP2200319A1 (en) | 2008-12-10 | 2010-06-23 | BRITISH TELECOMMUNICATIONS public limited company | Multiplexed video streaming |
EP2219342A1 (en) | 2009-02-12 | 2010-08-18 | BRITISH TELECOMMUNICATIONS public limited company | Bandwidth allocation control in multiple video streaming |
JP2010211466A (ja) * | 2009-03-10 | 2010-09-24 | Canon Inc | 画像処理装置および画像処理方法及びプログラム |
ATE540529T1 (de) * | 2009-11-03 | 2012-01-15 | Tektronix Int Sales Gmbh | Verfahren und vorrichtung zum messen der verzögerung innerhalb eines komprimierten digitalen stroms |
KR101090356B1 (ko) | 2009-12-28 | 2011-12-13 | 주식회사 더블유코퍼레이션 | 오디오 신호 및 비디오 신호의 동기화 오차 보정 방법 및 장치 |
US8640181B1 (en) * | 2010-09-15 | 2014-01-28 | Mlb Advanced Media, L.P. | Synchronous and multi-sourced audio and video broadcast |
US9191147B1 (en) * | 2010-09-16 | 2015-11-17 | Benjamin J. Sheahan | Apparatus and method for conversion between analog and digital domains with a time stamp for digital control system and ultra low error rate communications channel |
US11265652B2 (en) | 2011-01-25 | 2022-03-01 | Sonos, Inc. | Playback device pairing |
US11429343B2 (en) | 2011-01-25 | 2022-08-30 | Sonos, Inc. | Stereo playback configuration and control |
US8938312B2 (en) | 2011-04-18 | 2015-01-20 | Sonos, Inc. | Smart line-in processing |
CN103621102B (zh) | 2011-05-12 | 2017-05-03 | 英特尔公司 | 用于音频与视频同步的方法、装置及系统 |
US9042556B2 (en) | 2011-07-19 | 2015-05-26 | Sonos, Inc | Shaping sound responsive to speaker orientation |
US9729115B2 (en) | 2012-04-27 | 2017-08-08 | Sonos, Inc. | Intelligently increasing the sound level of player |
TWI513320B (zh) * | 2012-06-25 | 2015-12-11 | Hon Hai Prec Ind Co Ltd | 視訊會議裝置及其唇形同步的方法 |
HUP1300436A2 (en) | 2012-07-20 | 2014-02-28 | Sumitomo Chemical Co | Method for reducing damage by harmful organisms in corn cultivation |
RU2522742C2 (ru) * | 2012-08-07 | 2014-07-20 | Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Новосибирский государственный технический университет" | Измеритель линейных перемещений |
US9008330B2 (en) | 2012-09-28 | 2015-04-14 | Sonos, Inc. | Crossover frequency adjustments for audio speakers |
US9244516B2 (en) | 2013-09-30 | 2016-01-26 | Sonos, Inc. | Media playback system using standby mode in a mesh network |
US9226073B2 (en) | 2014-02-06 | 2015-12-29 | Sonos, Inc. | Audio output balancing during synchronized playback |
US9226087B2 (en) | 2014-02-06 | 2015-12-29 | Sonos, Inc. | Audio output balancing during synchronized playback |
US10178281B2 (en) | 2014-07-28 | 2019-01-08 | Starkey Laboratories, Inc. | System and method for synchronizing audio and video signals for a listening system |
US10248376B2 (en) | 2015-06-11 | 2019-04-02 | Sonos, Inc. | Multiple groupings in a playback system |
US10158905B2 (en) * | 2016-09-14 | 2018-12-18 | Dts, Inc. | Systems and methods for wirelessly transmitting audio synchronously with rendering of video |
US10142043B2 (en) * | 2016-10-11 | 2018-11-27 | Viavi Solutions Inc. | Time differential digital circuit |
US10712997B2 (en) | 2016-10-17 | 2020-07-14 | Sonos, Inc. | Room association based on name |
CN107888611B (zh) * | 2017-11-29 | 2020-10-02 | 武汉船舶通信研究所(中国船舶重工集团公司第七二二研究所) | 通信方法和装置 |
CN111954064B (zh) * | 2020-08-31 | 2022-11-04 | 三星电子(中国)研发中心 | 音视频同步方法和装置 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4313135B1 (en) * | 1980-07-28 | 1996-01-02 | J Carl Cooper | Method and apparatus for preserving or restoring audio to video |
US4429332A (en) * | 1981-05-18 | 1984-01-31 | Eeco Incorporated | Television compressed audio |
US5202761A (en) * | 1984-11-26 | 1993-04-13 | Cooper J Carl | Audio synchronization apparatus |
US4703355A (en) * | 1985-09-16 | 1987-10-27 | Cooper J Carl | Audio to video timing equalizer method and apparatus |
DE3732111A1 (de) * | 1987-09-24 | 1989-04-06 | Bosch Gmbh Robert | Verfahren zur laufzeitanpassung von video- und audiosignalen an ein referenzsignal |
WO1990010993A1 (en) * | 1989-03-16 | 1990-09-20 | Fujitsu Limited | Video/audio multiplex transmission system |
JP2865782B2 (ja) * | 1990-03-16 | 1999-03-08 | 富士通株式会社 | 非同期伝送用codec装置 |
US5287182A (en) * | 1992-07-02 | 1994-02-15 | At&T Bell Laboratories | Timing recovery for variable bit-rate video on asynchronous transfer mode (ATM) networks |
JP3255308B2 (ja) * | 1992-12-18 | 2002-02-12 | ソニー株式会社 | データ再生装置 |
US5430485A (en) * | 1993-09-30 | 1995-07-04 | Thomson Consumer Electronics, Inc. | Audio/video synchronization in a digital transmission system |
-
1993
- 1993-09-30 US US08/129,974 patent/US5430485A/en not_active Expired - Lifetime
-
1994
- 1994-08-16 AU AU70278/94A patent/AU684520B2/en not_active Expired
- 1994-09-08 TR TR00898/94A patent/TR28210A/xx unknown
- 1994-09-15 CA CA002132186A patent/CA2132186C/en not_active Expired - Lifetime
- 1994-09-20 MY MYPI94002502A patent/MY111711A/en unknown
- 1994-09-23 RU RU94034121A patent/RU2142210C1/ru active
- 1994-09-26 PL PL94305189A patent/PL174674B1/pl unknown
- 1994-09-27 KR KR1019940024248A patent/KR100337212B1/ko not_active IP Right Cessation
- 1994-09-28 EP EP94115279A patent/EP0648056B1/en not_active Expired - Lifetime
- 1994-09-28 DE DE69417139T patent/DE69417139T2/de not_active Expired - Lifetime
- 1994-09-28 ES ES94115279T patent/ES2131139T3/es not_active Expired - Lifetime
- 1994-09-28 SG SG1996002308A patent/SG70960A1/en unknown
- 1994-09-29 CN CN94116777A patent/CN1053308C/zh not_active Expired - Lifetime
- 1994-09-29 JP JP27010794A patent/JP3633972B2/ja not_active Expired - Lifetime
- 1994-09-29 FI FI944529A patent/FI112144B/fi not_active IP Right Cessation
-
2004
- 2004-11-15 JP JP2004330007A patent/JP3976759B2/ja not_active Expired - Lifetime
-
2005
- 2005-10-11 JP JP2005296188A patent/JP4382736B2/ja not_active Expired - Lifetime
-
2009
- 2009-01-06 JP JP2009000956A patent/JP2009124732A/ja active Pending
Cited By (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH09149411A (ja) * | 1995-11-24 | 1997-06-06 | Ekushingu:Kk | 復号化装置 |
US6380981B1 (en) | 1998-09-10 | 2002-04-30 | Mitsubishi Denki Kabushiki Kaisha | Frame synchronizer |
JP2001078185A (ja) * | 1999-07-21 | 2001-03-23 | Thomson Licensing Sa | 信号処理装置 |
KR100644562B1 (ko) * | 1999-08-20 | 2006-11-13 | 삼성전자주식회사 | 오디오/비디오 신호 동기 장치 및 그 방법 |
US6862044B2 (en) | 2001-03-27 | 2005-03-01 | Kabushiki Kaisha Toshiba | Digital broadcast receiving apparatus for restoring and synchronizing sound and image data and control method thereof |
US7924929B2 (en) | 2002-12-04 | 2011-04-12 | Trident Microsystems (Far East) Ltd. | Method of automatically testing audio-video synchronization |
JP2006509409A (ja) * | 2002-12-04 | 2006-03-16 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 音声/映像同期の自動検査方法 |
JP2005102193A (ja) * | 2003-09-02 | 2005-04-14 | Sony Corp | コンテンツ受信装置、ビデオオーディオ出力タイミング制御方法及びコンテンツ提供システム |
US8005338B2 (en) | 2004-09-14 | 2011-08-23 | Hitachi, Ltd. | Recording and reproducing device |
US7600240B2 (en) | 2004-11-17 | 2009-10-06 | Sony Corporation | Data processing apparatus and method |
JP4624121B2 (ja) * | 2005-01-31 | 2011-02-02 | 日本電気株式会社 | 符号化装置、これで用いるstc補正方法、符号化システム、送出系、及び音声送受信システム |
JP2006211509A (ja) * | 2005-01-31 | 2006-08-10 | Nec Corp | 符号化装置、これで用いるstc補正方法、符号化システム、送出系、及び音声送受信システム |
WO2007049451A1 (ja) * | 2005-10-27 | 2007-05-03 | National University Corporation Chiba University | 映像と音声のずれ時間を、高精度かつ簡便に計測する方法および計測装置 |
US8358375B2 (en) | 2005-10-27 | 2013-01-22 | National University Corporation Chiba University | Method and device for accurately and easily measuring a time difference between video and audio |
JP2012244529A (ja) * | 2011-05-23 | 2012-12-10 | Renesas Electronics Corp | データ処理システム |
JP2016208464A (ja) * | 2015-04-28 | 2016-12-08 | カシオ計算機株式会社 | 撮像システム、撮像装置、収音装置、撮像方法、収音方法及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP3633972B2 (ja) | 2005-03-30 |
JP4382736B2 (ja) | 2009-12-16 |
PL174674B1 (pl) | 1998-08-31 |
CN1053308C (zh) | 2000-06-07 |
AU7027894A (en) | 1995-04-13 |
CA2132186C (en) | 2004-07-06 |
US5430485A (en) | 1995-07-04 |
KR100337212B1 (ko) | 2002-11-23 |
TR28210A (tr) | 1996-03-01 |
EP0648056A2 (en) | 1995-04-12 |
EP0648056B1 (en) | 1999-03-17 |
EP0648056A3 (en) | 1995-12-13 |
FI944529A (fi) | 1995-03-31 |
RU94034121A (ru) | 1996-07-27 |
FI112144B (fi) | 2003-10-31 |
AU684520B2 (en) | 1997-12-18 |
FI944529A0 (fi) | 1994-09-29 |
SG70960A1 (en) | 2000-03-21 |
KR950010508A (ko) | 1995-04-28 |
CN1110854A (zh) | 1995-10-25 |
MY111711A (en) | 2000-11-30 |
JP2009124732A (ja) | 2009-06-04 |
CA2132186A1 (en) | 1995-03-31 |
JP2006074821A (ja) | 2006-03-16 |
PL305189A1 (en) | 1995-04-03 |
JP2005117677A (ja) | 2005-04-28 |
JP3976759B2 (ja) | 2007-09-19 |
DE69417139T2 (de) | 1999-10-28 |
RU2142210C1 (ru) | 1999-11-27 |
ES2131139T3 (es) | 1999-07-16 |
DE69417139D1 (de) | 1999-04-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3633972B2 (ja) | 音声信号と映像信号を同期させる装置 | |
JP3932059B2 (ja) | 信号処理装置 | |
US6583821B1 (en) | Synchronizing apparatus for a compressed audio/video signal receiver | |
JP4358691B2 (ja) | ビデオ・エンコーダおよびエンコーダからデコーダへのタイミングを同期させる方法 | |
JP3657017B2 (ja) | 圧縮されたビデオ信号を発生する装置並びに伝達する方法 | |
KR20070105947A (ko) | 압축 오디오/비디오 신호 수신기용 동기화 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040518 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20040812 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20040817 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041115 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20041221 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20041222 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080107 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090107 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100107 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110107 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120107 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130107 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130107 Year of fee payment: 8 |
|
EXPY | Cancellation because of completion of term |