JP4778608B2 - Mpeg復号器の同期方法及び同期装置 - Google Patents
Mpeg復号器の同期方法及び同期装置 Download PDFInfo
- Publication number
- JP4778608B2 JP4778608B2 JP2000237477A JP2000237477A JP4778608B2 JP 4778608 B2 JP4778608 B2 JP 4778608B2 JP 2000237477 A JP2000237477 A JP 2000237477A JP 2000237477 A JP2000237477 A JP 2000237477A JP 4778608 B2 JP4778608 B2 JP 4778608B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- image
- decoder
- audio
- time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 25
- 238000001514 detection method Methods 0.000 claims description 3
- 230000002123 temporal effect Effects 0.000 claims description 2
- 230000001360 synchronised effect Effects 0.000 description 15
- 230000005540 biological transmission Effects 0.000 description 13
- 238000010586 diagram Methods 0.000 description 8
- 230000008901 benefit Effects 0.000 description 3
- 230000003111 delayed effect Effects 0.000 description 3
- 230000010363 phase shift Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000010355 oscillation Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000001934 delay Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000009365 direct transmission Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000011017 operating method Methods 0.000 description 1
- 238000001094 photothermal spectroscopy Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000001454 recorded image Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/238—Interfacing the downstream path of the transmission network, e.g. adapting the transmission rate of a video stream to network bandwidth; Processing of multiplex streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4305—Synchronising client clock from received content stream, e.g. locking decoder clock with encoder clock, extraction of the PCR packets
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Time-Division Multiplex Systems (AREA)
- Synchronisation In Digital Transmission Systems (AREA)
Description
【発明の属する技術分野】
本発明は、記録媒体から生ずる圧縮データを復号化するMPEG復号器を同期させる方法に関する。また、本発明は、この方法を実施するMPEG復号器、かかるMPEG復号器を含む衛星復号器又はテレビジョン受信機に関する。
【0002】
【従来の技術】
図1には、MPEGデータストリームのハードディスクへの記録を用いる衛星復号器の構造が示されている。
【0003】
MPEGプログラムストリーム(PS)は、マルチプレクサ1の入力で受信される。マルチプレクサ1は、PES(パケット化基本ストリーム)データパケットの形式でプログラムのデータを出力する。データはメモリ2に送られ、次に、データを記録するため、ディスクインタフェース3を経由してハードディスク4に送られる。
【0004】
データを読み出すため、ハードディスク4は、ディスクインタフェース5及びメモリ6に接続される。第1のメモリ出力はビデオMPEG復号化回路7に接続され、第2のメモリ出力はオーディオMPEG復号化回路8に接続される。これらの復号化回路7及び8からの出力は、それぞれ、ディジタル・アナログ変換器、次いで、テレビジョン受信機(図示されない)に伝達されるビデオキュー及びオーディオキューに対応する。
【0005】
メモリ回路6は、特に、ハードディスク4に蓄積されたオーディオ及びビデオデータをデマルチプレクスすることが可能である。分離されたビデオPESデータ及びオーディオPESデータは、それぞれに対応した復号化回路によって処理される。
【0006】
ハードディスクに蓄積されたデータは、ストリームをデマルチプレクスしたの値に得られたデータである。したがって、PSプログラムストリームは記憶されないので、読み出しの際にPSプログラムストリームを再生すること、このストリームを構成する全てのプログラムを記憶すること、或いは、キーワード記録と共にスクランブル処理されたデータを記録することなどが回避される。
【0007】
ハードディスクを備えた環境、すなわち、復号化前にデータをハードディスク上に中間記憶する環境に関する特定の特性を強調するため、従来の構造によるMPEG標準に準拠した復号器の動作方法、すなわち、たとえば、衛星伝送若しくはケーブルを介して所定の伝送ビットレートでそのままデータストリームを受信する復号器の動作方法を説明する。
【0008】
復号器のバッファメモリの管理は、MPEG標準の場合、バーチャルメモリと呼ばれるモデリングに基づいて行なわれる。実際上、シーケンスを構成する各画像の符号化は一定コストで実行されず、符号器の出力側のバッファメモリはデータストリームを一定平均ビットレートで送出するため使用される。復号器側でも、一定ビットレートデータストリームから可変コスト画像を送出するためバッファメモリが必要とされる。復号器のバッファメモリの管理は、特に、データストリーム内で符号器によって伝送されたクロックと、伝送された画像に割り付けられたタグとに基づいて行なわれ、画像が復号器のメモリから出る時点が定義され、画像を符号器のメモリに記憶する時点と復号器のメモリから読み出す時点の間の時間間隔は各画像に対し同一でなければならない。
【0009】
これは、MPEG標準のPCR(プログラムクロック基準)に関係し、PCRは、データストリーム内で伝送された時間キューであり、このPCRに基づいて復号器の同期が行なわれる。
【0010】
これは、また、MPEG標準のDTS(復号化タイムスタンプ)タグに関係し、DTSタグはストリームで伝送されるフィールドであり、画像が復号器内で復号化されるべき時点を示す。
【0011】
トランスポート・ストリームTSに現れるPCRキューは、時間を計算するため復号器によって使用される。PCRは、復号器レベルでスケジューリングタグを送出する。
【0012】
DTSは復号化スケジュールを与え、すなわち、画像が復号器のバッファメモリから読み出され、復号化されるべき時点を与える。
【0013】
PCRキュー及びDTSキューは、それぞれ、トランスポート・ストリームTSの188バイトパケットヘッダ及びPESストリームのパケットヘッダで伝送され、第1のパケット化ステップがトランスポート・ストリームTSの生成の際に必要とされる。
【0014】
PTS(プレゼンテーション・タイム・スタンプ)は、画像の表示時点に対応し、復号化後に画像の並べ替えを行える。PTSはPESストリームのパケットヘッダに存在する。
【0015】
MPEG復号器がハードディスクから与えられたデータに基づいて動作するとき、これらのデータは復号器のテンポで使われる。復号化された画像を表示するためのオーディオ及びビデオ復号器の同期信号(VSYNC)は、毎秒約25画像を送出するように局部27MHzクロックによって調整される。記録は、オーディオ及びビデオPESのレベルで行なわれるので、PSストリームのPCRに関係したキューは失われ、局部クロックの従属化の役に立たない。従属性が欠如することによって、ハードディスクの書き込み及び読み出しポインタのレベルで管理上の問題が生じ、オーディオ及びビデオ信号のレベルで同期上の問題が生じる。
【0016】
ポインタの管理に関して、ハードディスクへの同時的な書き込みが行なわれないため、ポインタ管理の問題があまり難しくない読み出し専用モードと、読み出し/書き込みモードの二つのモードを考慮すべきである。
【0017】
読み出し専用モードの場合、先に記録されたストリームが再生されるとき、自走発振中の局部クロックの精度は十分である。記録の定格値に対する変動は、40msのビデオ画像の区間内で検出される。テレビジョン及び視聴者のレベルの許容度は十分に大きいので、専門家用テレビジョンの標準よりもかなり低い精度でも間に合う。
【0018】
その理由は、画像同期信号(VSYNC)が27MHzクロックに基づいて定義されるからである。この信号は40msの周期を有する。局部クロックの精度に起因したこの信号の低速のドリフトは全く問題にならない。なぜならば、テレビジョンは伝送系列の最後に存在するからである。
【0019】
これに対し、書き込み/読み出しモードの(書き込みモードに対し読み出しがシフトしたモードであり、一般的に、タイム・シフティングと呼ばれるモード)場合、ディスクから読み出したストリームにクロックを従属させ得ないならば、クロックが自走発振することに起因した不調が生じる可能性がある。
【0020】
記録と読み出しを同時に行う場合、すなわち、タイム・シフト再生の場合、書き込みがディスク上の読み出しによって追い越される危険性や、遅延が増大する危険性がある。ドリフトは小さいので、遅延の増大はそれほど厄介な問題ではない。これに対し、読み出しが書き込みを追い越した場合、すなわち、読み出しポインタが書き込みポインタを追い越し、未だ書き込みされていないメモリ領域を読み出し始める場合、描写された画像は、よくても前の記録中にこの領域に記録されていた画像であり、現在記録中の画像は再生されない。この状況は、記録と読み出しの間のシフトが読み出しの短い休止に起因するときに起こり得る。この例において、27MHzのクロックがデータを符号化する際に符号器によって使用されたクロックよりも僅かに速い場合、データの再生は、データの記録よりも速くなり、長期間に亘って、すなわち、ある区間の記録されたプログラムの間、読み出しポインタは書き込みポインタを追い越す可能性がある。したがって、このモードでは、書き込みと読み出しの間のこのような差(ずれ)を防止する必要がある。
【0021】
【発明が解決しようとする課題】
一つの考え方は、局部クロックを、記録されている間に現れるストリームのPCR(プログラムクロック基準)に従属させることである。しかし、この考え方は、記録されたデータの有効性がアプリオリにはわからないために生ずる別の不具合を解決しない。書き込みと読み出しは同期しているので、局部クロックが入力されたストリームのPCRに同期する場合に、読み出しと書き込みの間の遅延は、復号器がデータを非常に速く使い尽くさない限り維持される。データの使い尽くしは、たとえば、データが間違いを含む場合に起こり得る。実際上、実時間(ライブ)伝送の場合に、これらの誤りを含むデータは復号器のバッファを読むときに即座に検出されるが、ハードディスクへの記録の場合には、このような誤りを含むデータを即座に検出することはできず、これらのデータが復号器のバッファに記憶され、読み出された後に始めて検出することができる。誤りを含むデータが復号器によって検出されたとき、復号器は再同期を行い、直ちにバッファを空にしてデータの損失を生じさせ、バッファを一杯にするためハードディスクへのアクセスが繰り返し行なわれる。この場合、読み出しポインタは書き込みポインタを追い越す可能性がある。これは、誤りを含むキューの伝送時、又は、たとえば、良くない伝送条件によるデータ伝送の損失時に起こり得る。
【0022】
オーディオ及びビデオデータの同期に関する限り、読み出し専用モードであるか、読み出し/書き込みモードであるかには係らず、たとえば、読み出し専用モードでは、局部クロックを初期化し、PCRキューに同期させ得ないということは、ビデオとオーディオの間の同期の問題を生じさせる。なぜならば、局部クロックに対する表示の時点に関するキューは、この局部クロックが符号器のクロックと同期しなくなるために利用できないからである。
【0023】
本発明の目的は、上記従来技術の問題点を解決することである。
【0024】
【課題を解決するための手段】
本発明は、パケット化基本ストリーム(PES)オーディオ及びビデオデータパケットにより構成され記録媒体から得られる圧縮データを復号化するMPEG復号器を同期させる方法であって、上記MPEG復号器の局部クロックLSTCと関係した画像のビデオの実際の提示時点Tpresを計算するステップと、ビデオ及びオーディオを同期させるためのバーチャルクロックVSTC=STCO+LSTCを定めるため、上記計算された提示時点と、上記画像のビデオに関して符号器が期待する提示時点に対応したPTSラベルとの間のオフセット値STCOを計算するステップと、上記バーチャルクロックVSTCに関連したPTS日時で上記画像に対応したビデオ及びオーディオを提示するステップとを有する方法である。
【0025】
本発明の具体的な特徴によれば、ビデオ復号器のバッファを通るビデオの通過時間には所定の値TVBVが与えられる。
【0026】
本発明の変形例によれば、TVBVの判定はPESデータを記録媒体に記録するビットレートに依存する。
【0027】
本発明の変形例によれば、TVBVの判定はVBV_delayに依存する。
【0028】
本発明の具体的な特徴によれば、オフセットSTCOは、
STCO=PTS−TVBV−TVSYNC−(TimeRef×40ms)−TDEC−LSTCpic
であり、式中、TVSYNCはフレーム周期に一致し、TDECはフレーム周期の回数に切り上げられた画像の復号化の間隔に一致し、TimeRefは並べ替えのための画像の時間的基準を表し、LSTCpicは最初の画像の検出の時点に関係する。
【0029】
本発明の具体的な動作方法は、記録されたデータをシフトモード(タイム・シフティング)で読み出す方法であって、データは書き込みポインタに基づいて記録され、記録されたデータは読み出しポインタに基づいてシフトされた時間に読み出され、読み出しポインタと書き込みポインタの間には最小のギャップが与えられ、このギャップが実現されたとき、復号器のフリーズモードが作動される。
【0030】
本発明は、さらに、MPEG復号器をPESデータパケットを含む記録されたMPEGストリームに同期させる装置であって、ビデオ及びオーディオを同期させるためのバーチャルクロックVSTCを定義するため、LSTCタグで計算されるような画像のビデオの提示の時点Tpresと、符号器から供給されたこの画像の提示のPTS値との間の差に一致し、上記MPEG復号器の局部クロックLSTCに適用されるオフセット値STCOを計算する手段を有し、オーディオデータ及びビデオデータの復号化はバーチャルクロックVSTCがPTS値に一致したときに行われることを特徴とする。
【0031】
また、本発明は、MPEG復号器と請求項11に係る同期装置を有する衛星復号器である。また、本発明は、MPEG復号器と請求項11に係る同期装置を有するテレビジョン受信機である。
【0032】
PES形式のプログラムをハードディスクに局部的に記録するためには、再生時に、局部クロックの従属化、並びに、ビデオ復号器とオーディオ復号器の同期に注意する必要がある。
【0033】
ここで提案された方法は、公称的な動作にできるだけ類似したモードでオーディオ及びビデオ復号器を動作させることができる態様で衛星伝送のコンポーネントをエミュレートしようとする。
【0034】
本発明の特徴及び効果は、以下の例示的な説明と、添付図面とから明らかになるであろう。
【0035】
【発明の実施の形態】
[ポインタの管理]
図2の(a)及び(b)は、オーディオキュー及びビデオキューをハードディスクに書き込み、ハードディスクから読み出す動作を概略的に示す図である。
【0036】
図2の(a)はハードディスクへの書き込み動作に対応する。ビデオPES及びオーディオPESは、ディスク上の全く同一の128kBブロック(256アドレッシングブロック)、または、512バイトのLBA(論理ブロックアドレッシング)に記録される。ビデオは112kBを占有し、サウンドは、オーディオビットレートに比例して残りの16kBの一部分を占有する。112kBのビデオが一時記憶される間に到着したオーディオの量に対応した値qは、128kBブロックの先頭に書き込まれ、記憶されたオーディオの量に対応する。ブロックは、ビデオビットレートとオーディオビットレートの比に従って記録される。
【0037】
図2の(b)は、ハードディスクの読み出し動作に対応し、112kBのビデオは、量qkBのオーディオ情報(可変部分)がオーディオPESストリームを形成するよう読み出されるときと同時に、ビデオPESストリームを形成するよう読み出される。
【0038】
図3は、ハードディスクに記憶されたときの1ブロックが128kBのデータブロックの系列を示す図であり、ハードディスクの読み出しポインタ及び書き込みポインタも示されている。図中、符号9で示された2個の矢印は、書き込みポインタ(右側の垂直矢印)と読み出しポインタ(左側の垂直矢印)の間の遅延を表す。符号10で示された2個の矢印は、最初に予め規定されたポインタ間のギャップ、本例では5ブロックを表す。符号11で示された2個の矢印は、フリーズギャップ、すなわち、画像をフリーズさせる最小ギャップを表す。
【0039】
本例の場合、ソフトウェアを用いて、たとえば、ポインタ間に128kBの最小ギャップを保証する。最小ギャップに達したとき、復号化は、復号器のメモリの読み出しを止めることによって一時的に停止され、これによって、画面上の画像は、書き込みポインタと読み出しポインタが少なくとも1ブロックによって分離されるまで、フリーズ(こま止め)される。実際上、初期ギャップは再設定されない。なぜならば、データはいずれの場合でも失われ、初期遅延を再設定する目的のためだけに画像をフリーズさせたまま保つ利益はないからである。
【0040】
[オーディオ/ビデオ同期]
オーディオデータとビデオデータがインターレースモードで記憶される場合、プログラム中の二つの成分の再生は、必ず同時に行われるべきである。この条件は、第1の近似として、第1のビデオバイトと第1のオーディオバイトがそれぞれの復号器に同時に到着することである。ビデオが復号器を通る通過時間が生じるので、第1のビデオバイトと第1のオーディオバイトは、復号器に同時に到着しても同時に復号化されるわけではない。
【0041】
大容量オーディオバッファメモリの使用を避けるため、オーディオは符号化の時点から位相が遅れる。したがって、再生時に、標準モード(直接伝送)で、オーディオはビデオと位相が合う。この遅れは、符号器側で決められ、ビデオビットレートに依存する。
【0042】
データがハードディスクに記録されたとき、このビデオビットレートでオーディオ復号器及びビデオ復号器に伝達されることはないので、オーディオとビデオの間に再び位相シフトが生じる。
【0043】
スタートアップ時のビデオ復号器の一般的な場合の動作態様は、図4のフローチャートに示されている。このスタートアップは以下の通り行われる。
【0044】
復号化処理は、ステップ12において、特に、ヘッダを抽出するためデータストリームを受信する。ステップ13では、第1のシーケンスヘッダが検出されるまでループが繰り返される。第1のシーケンスヘッダが検出された場合、ステップ14に進み、このシーケンスヘッダの後に続く画像ヘッダが読み出される。PTSキューを利用できるかどうかがステップ15でチェックされる。DTSキューがステップ16で推定される。ステップ17では、DTSを局部クロックLSTCと比較するループが行われる。比較の結果が一致している場合、このループから抜け出し、次の同期信号(VSYNC)を受信を受信したとき、パリティ試験がステップ18で行われ、正しいパリティが検出されたとき、ステップ19の画像の復号化が始動される。
【0045】
PTSキューが利用できない場合、ステップ20において、復号器のバッファメモリが使用される。ステップ21で、このバッファメモリの使用状態レベルがチェックされる。復号化のため要求される最小レベルに達し、次の同期信号を受信したとき、ステップ18でパリティ試験が行われる。画像の復号化のステップ19は、正しいパリティが検出されたときに行われる。
【0046】
ビデオPESストリームの復号化はいくつかの条件下で始まる。最初に、復号器は、ステップ13でスタートアップシーケンスを見つけるまで、ストリームの開始がわからない。次に、ストリームのエントリーポイントを構成する第1のシーケンスヘッダ(SWQ)が識別される。データは、伝送のビットレートに対応したテンポで復号器のバッファに累積される。シーケンスヘッダの後に、ステップ14で、画像ヘッダ(picture_header)が復号器によって受信される。
【0047】
第1の画像の復号化のスタートアップのため必要とされる最小バッファレベルに関係したキューはこのヘッダ内にある。バッファ内でこのレベルに達したとき(ステップ21)、すなわち、ビデオビットレートに関係した所定の時間後、復号器は、復号化を命令するため(ステップ19)、垂直同期信号(VSYNC)のパリティが正しいかどうかを検査する(ステップ18)。
【0048】
遅れ量VBV_delayがストリーム内で利用できない場合、PTS(提示タイムスタンプ)が復号化のスタートアップを定める。
【0049】
スタートアップに関して、直接受信(すなわち、ディスクへの記憶を伴わない)と、ハードディスクからのデータの再生との間の主な相違点は、
ディスクに対して、無限であるかのように見える読み出しビットレートと、
PCR(プログラムクロック基準)に同期した局部クロックLSTC(ローカルシステムタイムクロック)が存在しないことである。
【0050】
ストリームのスタートアップ中に、ハードディスクからバッファを充填する際に実現可能な高ビデオビットレートのため、第1の画像の復号化は、直接受信の場合よりも早く行われるので、オーディオとビデオの間に位相シフトが生じる。本発明によって実現され、以下に説明されるビデオと関連したオーディオの同期は、このような位相シフトを回避することが可能である。
【0051】
LSTCの主要な役割は、通常、ストリーム制御と、オーディオとビデオの同期である。ストリーム制御は、データがディスクから供給される場合には問題にならない。なぜならば、伝送は、メモリバッファが一杯になると直ちに停止されるからである。したがって、データ損失の危険性は無い。これに対して、基準クロックは、オーディオをビデオと同期させるために依然として必要である。ビデオのPTSキューから再生されたバーチャルSTCクロック(VSTC)の利用はこの同期を実現させ得る。
【0052】
バーチャルSTCは、オーディオがクロックと同期できるようにビデオ処理によってできる限りすばやく初期化されるべきである。初期化のため必要とされるキューは、
局部STCカウンタ(LSTC)の値と、
第1の画像のPTSと、
(もし、存在するならば)第1の画像の遅れ量VBV_delayと、
画像の並べ替えのため使用される第1の画像の時間基準(TimeRef)と、
垂直同期VSYNCのパリティとである。
【0053】
ディスクを読み出すときに高ビットレートが利用可能であるならば、第1の画像ヘッダ(PICヘッダ)を取得する間に獲得されるこれらのキューは、非常にすばやく利用可能である。
【0054】
図5は、復号化された画像を提示するため必要とされる種々のステップを時間的に概略的に示す図である。上端には、ディスクに格納され、現在ディスクから読み出されているデータの系列が示されている。このバンドはフレーム周期に分けられる。
【0055】
以下の説明中、日時を表すためのTpic(小文字)と、間隔を表すためのTVBV(大文字)の表記が採用される。
【0056】
シーケンスヘッダの後の第1の画像ヘッダを検出した後、ブロックの読み出し及び記録が、VBV_delayに対応した時間TVBVの間、復号器のバッファで行われる。この時間の経過後、パリティ検査が行われる。図5に示されるように、同期信号が復号化される準備ができている画像のパリティと逆パリティであるならば、TVSYNC(20ms)と一致した間隔が復号化の時点を決めるため加えられる。この時点はTdecとして示される。実際の復号化の間隔がフレーム周期よりも長い場合(図5では、[復号化]と表記された矩形によって表現されている区間)、TDECを考慮した復号化の区間は、実際の間隔よりも少し長い間隔TVSYNCの整数倍になるように選択される。Tpresが復号化された画像の実際の表示時点を表すとき、TpresとTdecの間のギャップは、
TDEC+TimeRef×TVSYNC
に一致し、ここで、TimeRefは画像の並べ替えに役立つ時間基準である。
【0057】
画像の復号化の時点Tdecは、バッファメモリのレベルが公称ビットレートで遅れVBV_delayに対応したレベルに到達した後、できるだけ早く、正しいパリティの第1の同期VSYNCで始まる。ディスクを読む際の高ビットレートは、復号器のバッファを充填する時間が短く、かつ、VBV_delayよりも著しく短いということを意味する。このビットレートは、容易に衛星送信のビットレートの20倍に達する。より詳しく説明すると、4Mbit/sの衛星伝送ビットレートで容量1.8Mbitの復号器のバッファを満たすためには、0.45秒が必要である。この遅れは、ハードディスクから満たされる場合には、0.03秒まで短縮される。
【0058】
したがって、間隔VBV_delayを待機することなく、直ちにビデオの復号化を開始することができる。しかし、オーディオとビデオは同期を保ち続ける必要がある。オーディオの復号化は、同じ方法で繰り上げることができないので、オーディオはビデオよりも遅れる。このような状況は、遅れないようにするためにオーディオデータが直ぐに無視されることを要求するので望ましくない。
【0059】
この欠点を解決し、ディスクによって得られる高ビットレートを補償するため、TVBVと称される遅延が意図的にビデオに加えられる。この遅延によって、元のVBV_delayをシミュレートできるようになる。
【0060】
TVBV=VBV_delay
VBV_delayがストリーム内で利用できないとき、式中で、VBV_delayを復号器バッファのサイズ(std_buffer)で置換してもよい。
【0061】
TVBV=std_buffer/BitRateSat−std_buffer/BitRateDisk
この間隔はビデオビットレート(衛星伝送ビットレートBitRateSat)及びディスクのビットレート(BitRateDisk)とは無関係である。
【0062】
ディスクのビットレートは、衛星のビットレートよりもはるかに高いので、以下のような近似を行うことができる。
【0063】
TVBV=std_buffer/BitRateSat
値BitRateSatは書き込みの間に計算される。その理由は、単位時間に書き込まれるバイト数がわかっているからである。
【0064】
バッファのサイズは一般的に1.8Mbitである。
【0065】
この遅れが経過した後、復号器は始動できる。しかし、ある種のセットアップの場合、垂直同期の正しいパリティを待機するため20msの遅延を追加する必要がある。オーディオスタートアップがビデオよりも遅れないことを保証することが望ましいので、垂直同期(VSYNC)との再同期(リフェージング)を行う20msの遅れ(TVSYNC)がデフォルトで導入される。第1の画像の検出の日時(Tpic)に対する復号化の開始日時は、
Tdec=Tpic+TVBV+TVSYNC
である。
【0066】
復号化の開始時点(Tdec)がわかるので、提示の時点(Tpres)は画像の時間基準(TimeRef)と、その復号化のため要求される遅れ(TDEC)とに依存する。
【0067】
Tpres=Tdec+TimeRef*40ms+TDEC
Tdecは復号器の実現形態に依存する(典型的に、20ms乃至40ms)。本例の場合、40msで実現されている。
【0068】
Tdecを上述の計算された値によって置換することにより、
Tpres=Tpic+TVBV+TVSYNC+TimeRef*40ms+TDEC
となる。
【0069】
第1の画像が検出された正確な時点での局部クロックLSTCの値である日時Tpicは必ずしもわからなくてもよい。その理由は、たとえば、本システムにおいて、クロックLSTCの実現例は、その値が20msに1回ずつサンプリングできるようにする。したがって、Tpicは、LSTCpicが第1の画像が検出された時点で(前の垂直同期でサンプリングされた)利用可能なクロックLSTCの値を表現する以下の式で置き換えることが望ましい。
【0070】
Tpic=LSTCpic
及び
Tpres=LSTCpic+TVBV+TVSYNC+TimeRef*40ms+TDEC
次に、
画像の実際の提示時点Tpresと、符号器によって望まれた提示時点PTSとの間のギャップに対応したオフセット値が計算される。この時点PTSは、復号器のクロックが初期化され、PCRと同期した場合に限り重要である。この値PTSは、絶対的な表示時刻を定めるためではなく、オーディオ及びビデオの復号化の時点を同期させる(同じPTSにする)ために使用される。
【0071】
したがって、オフセットは、局部クロックに訂正STCO(システムタイムクロックオフセット)を行い、この局部クロックに基づいて定義された画像の提示時点TpresをPTSラベルと対応させる。
【0072】
Tpres+STCO=PTS
STCO=PTS−TVBV−TVSYNC−(TimeRef×40ms)−TDEC−LSTCpic
したがって、バーチャルクロックVSTCは次のように定義される。
【0073】
VSTC=LSTC+STCO
このバーチャルクロックはオーディオの同期用の基準として利用される。
【0074】
VSTCの値がPTSに一致する場合、オーディオ提示は実行され、ビデオ提示と同期する(位相が合う)。
【0075】
これらの計算の目的は、画像に関係したビデオの有効な提示時点(20msの何倍かの時間LSTC)を予測し、この画像に関するビデオに関係した理論的な値PTSを用いてシフトを計算することである。このシフトは、次に、オーディオデータの有効な提示時点を決めるため利用される。
【0076】
オーディオPTSはVSTCを初期化するため使用され、本例の場合に、オーディオがマスターである。オーディオフレーム内にPTSが現れる頻度が低いので、この解決法は採用されない。
【0077】
復号化処理に不連続性が無い場合、ビデオ復号化とVSTCは同期したままであることがわかる。各画像の提示の際に、
VSTC=PTS
であることが確認される。
【0078】
ビデオ復号化処理は、2種類の予測できない事象によって妨害される。
【0079】
その中の一方は、ディスクから読み出されたストリームに関連した妨害は、ある種の画像の提示に遅れを生じさせ、或いは、復号器の再初期化及びデータの損失に続いて順方向のジャンプが生じることである。
【0080】
他方は、アプリケーションによる「トリックモード」と呼ばれるモードの実行中に、LSTCが意味を持たなくなることである。この「トリックモード」という用語は、標準的に使用され、かつ、フレームのこま止めなどの特殊な動作モードに対応する。
【0081】
すべての場合について、スタートアップ時と同じように、若しくは、(ポーズの場合)代替値を保存することによってVSTCを再初期化することが推奨される。
【0082】
オフセット(PCRと同期したPTSに対するクロックLSTCのずれ)は、定期的に再更新されるべきである。画像周期はリフレッシュ周期であるとみなされる。
【0083】
オーディオの復号化のスタートアップは、ビデオの復号化のスタートアップよりも早い。スタート時点を知るためには、VSTCを考慮するだけで十分である。もちろん、VSTCがビデオによって初期化されるまで待つことが必要である。
【0084】
VSTCがビデオの復号化と適切に同期し続けていることが保証される限り、オーディオのビデオとの同期は、それらのクロックをVSTCに従属させることによって全く自然な形で実現される。しかし、オーディオ復号器が、ビデオ復号器を調節する27MHzの基準クロックと同期せずに、独立したクロックに同期する場合が起こり得る。オーディオ復号器は、その場合、VSTCに従属させられるべきである。
【0085】
もちろん、上述のMPEG復号器及びハードディスクは、衛星復号器に一体的に組み込まれる。これらの両方の構成要素、或いは、いずれか一方の構成要素は、圧縮データを受信するディジタルテレビジョン受信機の一部を容易に形成する。
【0086】
入力されるデータストリームは、プログラムストリームPSであるとして説明したが、本発明の範囲を逸脱することなく、データストリームをトランスポート/ストリームTSとすることができる。
【0087】
【発明の効果】
本発明の主要な利点は、PCRを利用する必要がなく、ハードディスクからデータを読み出す際に一般的に生じる不具合を防止し、容易に実現できる同期方法が提案されることである。
【図面の簡単な説明】
【図1】ハードディクスを具備した衛星復号器の略構成図である。
【図2】(a)はオーディオ及びビデオデータのディスクへの書き込み動作を説明し、(b)はオーディオ及びビデオデータのディスクからの読み出し動作を説明する図である。
【図3】 記録されたデータに関係した書き込みポインタ及び読み出しポインタを表す図である。
【図4】 従来技術によるスタートアップ時のビデオ復号器の動作方法を示すフローチャートである。
【図5】 復号化された画像の提示に要求される種々のステップを説明する図である。
【符号の説明】
1 マルチプレクサ
2,6 メモリ
3,5 ディスクインタフェース
4 ハードディスク
7 ビデオMPEG復号化回路
8 オーディオMPEG復号化回路
Claims (13)
- パケット化基本ストリーム(PES)オーディオ及びビデオデータパケットにより構成され記録媒体から得られる圧縮データを復号化するMPEG復号器を同期させる方法であって、
上記MPEG復号器の局部クロックLSTCと関係した画像のビデオの実際の提示時点Tpresを計算するステップと、
上記計算された提示時点と、上記画像のビデオに関して符号器が期待する提示時点に対応したPTSラベルとの間のオフセット値STCOを計算することにより、ビデオ及びオーディオを同期させるためのバーチャルクロックVSTCを、
VSTC=STCO+LSTC
に従って定めるステップと、
上記バーチャルクロックVSTCに関連した時点PTSで上記画像に対応したビデオ及びオーディオを提示するステップとを有することを特徴とする方法。 - ビデオ復号器のバッファを通るビデオの通過時間に所定の値TVBVが与えられることを特徴とする請求項1記載の方法。
- 上記所定の値TVBVはPESデータを記録媒体に記録するビットレートに依存して決まることを特徴とする請求項2記載の方法。
- 上記所定の値TVBVは遅れ量VBV_delayに依存して決まることを特徴とする請求項2記載の方法。
- 上記オフセット値は、フレーム周期の回数に切り上げられた画像の復号化の期間TDECに依存することを特徴とする請求項1記載の方法。
- 計算されたオフセット値は1フレーム周期TVSYNCずつ増加させられることを特徴とする請求項1記載の方法。
- 上記オフセット値STCOは、
STCO=PTS−TVBV−TVSYNC−(TimeRef×40ms)−TDEC−LSTCpic
によって表され、式中、
TVSYNCはフレーム周期に一致し、
TDECはフレーム周期の回数に切り上げられた画像の復号化の間隔に一致し、
TimeRefは並べ替えのための画像の時間的基準を表し、
LSTCpicは最初の画像の検出の時点に関係することを特徴とする請求項2記載の方法。 - 上記バーチャルクロックVSTCは、スタートアップ時、トリックモード実行時、または、ビデオ復号器の再初期化時に再更新されることを特徴とする請求項1記載の方法。
- バーチャルクロックVSTCは画像毎に再更新されることを特徴とする請求項1記載の方法。
- 書き込みポインタに基づいて記録されたデータを、読み出しポインタに基づいてシフトされた時間に読み出されるシフトモード(タイム・シフティング)で読み出すため、上記読み出しポインタと上記書き込みポインタの間には最小のギャップが与えられ、上記ギャップに到達したとき、復号器のフリーズモードが作動されることを特徴とする請求項1記載の方法。
- MPEG復号器をPESデータパケットを含む記録されたMPEGストリームに同期させる同期装置であって、
ビデオ及びオーディオを同期させるためのバーチャルクロックVSTCを定義するため、LSTCタグで計算されるような画像のビデオの提示時点Tpresと、符号器から供給されたこの画像の提示時点のPTS値との間の差に一致し、上記MPEG復号器の局部クロックLSTCに適用されるオフセット値STCOを計算する手段を有し、
オーディオデータ及びビデオデータの復号化はバーチャルクロックVSTCがPTS値に一致したときに行われることを特徴とする同期装置。 - MPEG復号器と請求項11記載の同期装置とを有する衛星復号器。
- MPEG復号器と請求項11記載の同期装置とを有するテレビジョン受信機。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
FR9910466A FR2797549B1 (fr) | 1999-08-13 | 1999-08-13 | Procede et dispositif de synchronisation d'un decodeur mpeg |
FR9910466 | 1999-08-13 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2001094943A JP2001094943A (ja) | 2001-04-06 |
JP4778608B2 true JP4778608B2 (ja) | 2011-09-21 |
Family
ID=9549124
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2000237477A Expired - Fee Related JP4778608B2 (ja) | 1999-08-13 | 2000-08-04 | Mpeg復号器の同期方法及び同期装置 |
Country Status (8)
Country | Link |
---|---|
US (1) | US6948185B1 (ja) |
EP (1) | EP1076461A1 (ja) |
JP (1) | JP4778608B2 (ja) |
KR (1) | KR100649656B1 (ja) |
CN (1) | CN100354965C (ja) |
FR (1) | FR2797549B1 (ja) |
HU (1) | HUP0003278A3 (ja) |
MX (1) | MXPA00007798A (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7490344B2 (en) | 2000-09-29 | 2009-02-10 | Visible World, Inc. | System and method for seamless switching |
US6931071B2 (en) * | 2001-08-31 | 2005-08-16 | Stmicroelectronics, Inc. | Apparatus and method for synchronizing video and audio MPEG streams in a video playback device |
US6842802B2 (en) * | 2001-11-30 | 2005-01-11 | Aftg-Tg, L.L.C. | Programmatic time-gap defect correction apparatus and method |
DE10226030A1 (de) * | 2002-06-12 | 2003-12-24 | Bosch Gmbh Robert | Verfahren zur Generierung eines Systemaktes einer Empfangseinrichtung und Empfangseinrichtung hierzu |
US7899302B2 (en) | 2002-12-16 | 2011-03-01 | Koninklijke Philips Electronics N.V. | System for modifying the time-base of a video signal |
KR20040096718A (ko) * | 2003-05-10 | 2004-11-17 | 삼성전자주식회사 | 멀티미디어 데이터 재생장치, 오디오 데이터 수신방법 및오디오 데이터 구조 |
JP4459590B2 (ja) * | 2003-10-10 | 2010-04-28 | パナソニック株式会社 | Dtvデータ処理装置 |
DE10355345A1 (de) * | 2003-11-25 | 2005-06-23 | Deutsche Thomson-Brandt Gmbh | Verfahren und Vorrichtung zum Speichern oder Wiederfinden von definierten Positionen in einem Datenstrom |
US8233540B2 (en) | 2005-03-10 | 2012-07-31 | Qualcomm Incorporated | Method of time base reconstruction for discrete time labeled video |
JP2007158461A (ja) * | 2005-11-30 | 2007-06-21 | Toshiba Corp | 情報再生装置及び情報再生方法 |
US9679602B2 (en) | 2006-06-14 | 2017-06-13 | Seagate Technology Llc | Disc drive circuitry swap |
JP4793247B2 (ja) * | 2006-12-18 | 2011-10-12 | 株式会社日立製作所 | 記録装置、記録方法、再生装置及び再生方法 |
US7765315B2 (en) * | 2007-01-08 | 2010-07-27 | Apple Inc. | Time synchronization of multiple time-based data streams with independent clocks |
US9305590B2 (en) | 2007-10-16 | 2016-04-05 | Seagate Technology Llc | Prevent data storage device circuitry swap |
CN101420622B (zh) * | 2007-10-22 | 2010-07-14 | 北京永新同方数字电视技术有限公司 | 一种描述数字电视事件状态的标签电视系统及描述方法 |
FR2926694B1 (fr) * | 2008-01-18 | 2010-04-16 | Sagem Comm | Decodeur de donnees video et procede de decodage de donnees video |
US9819604B2 (en) * | 2013-07-31 | 2017-11-14 | Nvidia Corporation | Real time network adaptive low latency transport stream muxing of audio/video streams for miracast |
US9998634B2 (en) | 2014-11-03 | 2018-06-12 | Google Llc | Video frame playback scheduling |
KR20170068946A (ko) * | 2015-12-10 | 2017-06-20 | 삼성전자주식회사 | 방송 수신 장치 및 방송 수신 장치의 제어 방법 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3575100B2 (ja) * | 1994-11-14 | 2004-10-06 | ソニー株式会社 | データ送信/受信装置及び方法並びにデータ記録/再生装置及び方法 |
JP4297518B2 (ja) * | 1995-03-06 | 2009-07-15 | 沖電気工業株式会社 | 音声・ビデオ復号装置 |
KR100209880B1 (ko) * | 1995-10-30 | 1999-07-15 | 윤종용 | Mpeg-2 영상복호화장치의 시스템클럭 복구장치 |
JPH09205618A (ja) * | 1996-01-29 | 1997-08-05 | Mitsubishi Electric Corp | 動画像音声伸張再生装置および動画像音声同期制御器 |
JPH1056620A (ja) * | 1996-02-08 | 1998-02-24 | Matsushita Electric Ind Co Ltd | テレビジョン受信機,記録再生装置,データ記録方法及びデータ再生方法 |
WO1997046027A1 (en) * | 1996-05-29 | 1997-12-04 | Sarnoff Corporation | Preserving synchronization of audio and video presentation |
KR100247978B1 (ko) * | 1997-08-08 | 2000-03-15 | 윤종용 | 픽쳐 디코딩 동기화 회로 및 그 방법 |
JPH11220695A (ja) * | 1997-11-12 | 1999-08-10 | Sony Corp | 動画像データの復号装置及び復号方法 |
US6480667B1 (en) * | 1997-12-23 | 2002-11-12 | Intel Corporation | Method of time shifting to simultaneously record and play a data stream |
JP4303888B2 (ja) * | 1998-06-05 | 2009-07-29 | コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ | 記録媒体のトラックへの情報信号の記録及び記録されている情報信号の再生 |
KR20010022752A (ko) * | 1998-06-11 | 2001-03-26 | 요트.게.아. 롤페즈 | 디지털 비디오 레코더용 트릭 플레이 신호 발생 |
-
1999
- 1999-08-13 FR FR9910466A patent/FR2797549B1/fr not_active Expired - Fee Related
-
2000
- 2000-07-24 EP EP00402116A patent/EP1076461A1/en not_active Withdrawn
- 2000-08-03 US US09/631,808 patent/US6948185B1/en not_active Expired - Lifetime
- 2000-08-04 JP JP2000237477A patent/JP4778608B2/ja not_active Expired - Fee Related
- 2000-08-09 MX MXPA00007798A patent/MXPA00007798A/es active IP Right Grant
- 2000-08-09 KR KR1020000046048A patent/KR100649656B1/ko not_active IP Right Cessation
- 2000-08-11 CN CNB001212680A patent/CN100354965C/zh not_active Expired - Fee Related
- 2000-08-11 HU HU0003278A patent/HUP0003278A3/hu unknown
Also Published As
Publication number | Publication date |
---|---|
HUP0003278A2 (en) | 2002-06-29 |
HU0003278D0 (en) | 2000-08-11 |
KR20010021247A (ko) | 2001-03-15 |
FR2797549B1 (fr) | 2001-09-21 |
MXPA00007798A (es) | 2002-06-04 |
HUP0003278A3 (en) | 2002-07-29 |
US6948185B1 (en) | 2005-09-20 |
KR100649656B1 (ko) | 2006-11-24 |
CN1284718A (zh) | 2001-02-21 |
JP2001094943A (ja) | 2001-04-06 |
FR2797549A1 (fr) | 2001-02-16 |
EP1076461A1 (en) | 2001-02-14 |
CN100354965C (zh) | 2007-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4778608B2 (ja) | Mpeg復号器の同期方法及び同期装置 | |
KR100984638B1 (ko) | 오디오와 비디오의 동기화 방법 및 수신기 | |
KR100226528B1 (ko) | 다중화 압축화상/음성데이타의 복호장치 | |
KR100733856B1 (ko) | 데이터 스트림을 변환하는 방법 및 장치 | |
US20030066094A1 (en) | Robust method for recovering a program time base in MPEG-2 transport streams and achieving audio/video sychronization | |
US7639924B2 (en) | Audio/video decoding process and device, and video driver circuit and decoder box incorporating the same | |
KR20010102435A (ko) | 데이터 스트림을 변환하는 방법 및 장치 | |
KR100981378B1 (ko) | 비디오 데이터 및 보조 데이터의 판독-동기화를 위한 디바이스 및 방법, 및 이와 연관된 제품 | |
CN101933332B (zh) | 视频数据解码器和用于解码视频数据并与字幕显示同步的方法 | |
KR101014664B1 (ko) | 복수의 데이터 스트림 간의 연속 재생을 보장하는 재생방법 및 그 재생 장치 | |
JP2001517040A (ja) | 圧縮ビデオプログラムのシームレススプライシング | |
KR20060099687A (ko) | 타임스탬프를 이용한 비디오 동기화 장치 및 방법 | |
US6801536B1 (en) | Remultiplexing audio/video PES streams from an MPEG transport system | |
KR100619041B1 (ko) | 비디오 동기화 장치 및 비디오 동기화 방법 | |
JP4783987B2 (ja) | 情報端末装置及び情報端末受信方法、ディジタル放送受信装置及び方法、並びに、出力時間演算装置及び方法 | |
JP2872104B2 (ja) | タイムスタンプ付加装置および方法、並びにそれを用いた動画像圧縮伸張伝送システムおよび方法 | |
JPH1093841A (ja) | 映像同期信号補正装置 | |
JPH10136355A (ja) | Mpeg−2データストリーム内の高速等時データのためのエラー検出及び回復 | |
KR100375830B1 (ko) | 피씨알 지터 제거장치 및 방법 | |
JP2002344890A (ja) | データ記録再生装置 | |
JPH11252058A (ja) | 多重化装置及び方法 | |
JP2004007541A (ja) | データ多重方法及び多重データ復号方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070719 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100413 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20100709 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20100714 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20101012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20101116 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20110124 |
|
A602 | Written permission of extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A602 Effective date: 20110127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110513 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20110614 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20110704 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140708 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |