JP4084646B2 - デジタル放送受信再生機能付き通信端末 - Google Patents

デジタル放送受信再生機能付き通信端末 Download PDF

Info

Publication number
JP4084646B2
JP4084646B2 JP2002358657A JP2002358657A JP4084646B2 JP 4084646 B2 JP4084646 B2 JP 4084646B2 JP 2002358657 A JP2002358657 A JP 2002358657A JP 2002358657 A JP2002358657 A JP 2002358657A JP 4084646 B2 JP4084646 B2 JP 4084646B2
Authority
JP
Japan
Prior art keywords
time
reference time
clock
clock signal
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002358657A
Other languages
English (en)
Other versions
JP2003258784A (ja
Inventor
英克 尾関
栄児 渡辺
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2002358657A priority Critical patent/JP4084646B2/ja
Publication of JP2003258784A publication Critical patent/JP2003258784A/ja
Application granted granted Critical
Publication of JP4084646B2 publication Critical patent/JP4084646B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Circuits Of Receivers In General (AREA)
  • Electric Clocks (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、インタフェースによって接続され、データがバッファを介して非同期に入出力される受信装置と再生装置とを備える通信端末における、デジタル放送の同期再生技術に関する。
【0002】
【従来の技術】
現在、放送されているデジタル放送は、MPEG2の規格に準拠している。
このデジタル放送においては、デジタル放送受信機によって受信されたTS(トランスポートストリーム)に含まれる映像データ及び音声データが不具合無く再生されるように、各映像データ及び音声データのTSには、送信側のシステムクロックに基づいてカウントした再生時刻を指示する再生時刻情報が挿入され、さらに、送信側のシステムクロックとデジタル放送受信機側のシステムクロックとを同期させるために、適当な時間間隔(通常は、約0.1秒間隔)でプログラム・クロック・レファレンス(以下、「PCR」という。)が挿入されている。
【0003】
ここで、「PCR」とは送信側のシステムクロックのカウントする基準時刻カウント値を示す基準時刻情報のことをいう。
デジタル放送受信機は、受信したTSから経時的にPCRを抽出し、抽出したPCRに基づいて、自己のシステムクロックが送信側のシステムクロックに同期するように調整し、調整したシステムクロックに基づいて、TSから各映像データ及び音声データの再生時刻情報を抽出し、再生時刻が到来したか否かを管理し、再生時刻が到来すると、当該映像データ及び音声データを再生する。
【0004】
これにより、TSに多重化された各映像データ及び音声データが、送信側のシステムクロックにより定められた再生時刻に同期して再生され、視聴者は、デジタル放送される動画映像等を不具合無く楽しむことができる。
図13は、従来のデジタル放送受信機10(特開平9−64860)の構成を示す。デジタル放送受信機10は、同期検出部11、PCR抽出部12、バッファ13、制御部14、バッファ15、バッファ16、映像信号デコーダ部17、NTSCエンコーダ部18、音声信号デコーダ部20、音声信号DAC部21、カウンタ部24、VCO25、PWM波発生部26、LPF部27、VCO28、PLL部29から構成される。
【0005】
以下、説明を簡略化するため、デジタル放送受信機10における同期再生の機能に関連する構成要素を中心に説明する。
PCR抽出部12は、同期検出部11から入力されたTSから、制御部14から通知されたPCRを含むTSパケットを特定するPIDに基づいて、PCRを抽出し、CPU14に出力する。
【0006】
カウンタ部24は、放送受信機10のシステムクロック発生器であるVCO(電圧制御水晶発信器)28が発生するクロック信号の数をカウントし、PCR抽出部12によってPCRが抽出される毎に、カウント値をラッチし、制御部14に出力する。
制御部14はPCR検出部12の出力とカウンタ部24のラッチしたカウント値を比較し、内部クロックの進み遅れを示す差分(誤差)を求め、これに応じた信号をPWM波発生部26に送出する。PWM波発生部26は、この信号により差分をパルス幅に反映させたPWM波を出力する。LPF部27は、このPWM波の基本周波数成分やその高調波成分の他に、逐次得られる差分の比較的速い変動成分を除去し、直流電圧としてVCO28に出力し、VCO28の発振周波数をこの差分が縮まる方向に修正する。
【0007】
以上により、送信側の基準時刻に同期してシステムクロック信号が、放送受信機10のVCO28によって過不足なく生成される。
【特許文献1】
特開平9−064860号
【0008】
【発明が解決しようとする課題】
しかしながら、デジタル放送受信機の機能を特殊な形態、すなわち携帯電話、PDA(Personal Digital Assistants)などの通信端末とインタフェースを介して接続されるメモリカードの一部をデジタル放送の受信装置として利用し、通信端末本体を再生装置として利用するような形態で実現しようとした場合、TSから抽出したPCRがバッファ経由で通信端末本体に非同期転送されることになるため、PCRをリアルタイムで通信端末本体へ転送することができず、上記で説明したデジタル放送受信機10で実現されている送信側の基準時刻に同期してシステムクロック信号を通信端末本体で過不足無く生成することができなくなるという不具合が生じる。
【0009】
そこで、本発明は、デジタル放送の受信装置をインタフェースを介して通信端末本体に接続した場合において、送信側の基準時刻に同期してシステムクロック信号を過不足なく生成することが可能な通信端末を提供することを目的とする。
【0010】
【課題を解決するための手段】
上記課題を解決するために、本発明は、基準時刻を示す基準時刻情報と、再生されるべき複数のデータとを含むデータストリームを受信する受信装置と、前記各データを前記基準時刻に従って再生する再生装置とから構成される通信端末であって、前記受信装置と前記再生装置は、インタフェースを介して接続され、前記受信装置は、前記データストリームから前記基準時刻情報を逐次抽出する抽出手段と、前記再生装置から入力されるクロック信号に同期して当該再生装置のシステム時刻をカウントする時刻カウント手段と、前記基準時刻情報を抽出する毎に、当該基準時刻情報の示す基準時刻を記憶する基準時刻記憶手段と、当該基準時刻情報の抽出時に前記時刻カウント手段によってカウントされた前記システム時刻をコピーして記憶するシステム時刻記憶手段と、前記基準時刻情報を抽出する毎に、割り込み信号を前記再生装置に出力する割込信号出力手段とを有し、前記再生装置は、システムクロック信号を生成するクロック生成手段と、生成したシステムクロック信号に同期したクロック信号を前記受信装置に出力するクロック出力手段と、前記割込み信号の入力があった場合に、前記基準時刻記憶手段及びシステム時刻記憶手段から前記基準時刻と前記システム時刻をそれぞれ取得し、取得した両時刻の対応関係に基づいて、前記システム時刻が前記基準時刻に同期するように、システムクロック信号が生成される周波数を校正するクロック制御手段とを有することを特徴とする。
【0011】
これにより、インタフェースを介して受信装置と再生装置が接続されている通信端末において、送信側の基準時刻に同期してシステムクロック信号を過不足無く生成することが可能となり、受信したデータストリームに含まれるデータを送信側の基準時刻に従って不具合なく再生することができる。
【0012】
【発明の実施の形態】
(実施の形態1)
<構成>
図1は、本発明の実施の形態1である、通信端末におけるデジタル放送の受信及び再生機能を有する部分(以下、「受信再生部500」という。)の構成を示す。
【0013】
ここでいう通信端末としては、例えば携帯電話やPDA(Personal Digital Assistants)などの通信端末が含まれる。
受信再生部500は、カード部1000とホスト部2000とから構成される。以下、図1を参照して、受信装置1000と再生装置2000の機能と構成について説明する。
【0014】
(受信装置1000の構成)
受信装置1000は、受信アンテナ101、チューナ部102、復調部103、ストリーム記憶部104、PCR抽出部105、クロックカウント部106、PCR記憶部107、割込要因記憶部108、クロックカウント記憶部109、入出力制御部110、割込出力部111、シリアルインタフェース(I/F)112から構成される。
【0015】
チューナ部102は、受信アンテナ101を介して入力された所望の番組を構成するTSを含む周波数チャンネルの放送信号を選局し、選局した放送信号を復調部103に出力する。
復調部103は、チューナ部102により入力された放送信号をTSに復調し、復調したTSをストリーム記憶部104とPCR抽出部105に出力する。
【0016】
図2は、出力されるTSの構造を示す。
TSは、TSパケットと呼ばれる188バイトの固定長パケットの連続したストリームで、TSパケットは、固定長のヘッダとアダプテーションフィールドおよび/またはペイロードから構成される。ヘッダ内には、TSパケットの識別をするためのパケットID(以下、「PID」という。)、アダプテーションフィールドおよび/またはペイロードの識別のためのフィールドフラグが存在する。また、アダプテーションフィールド内にPCRが挿入され、ペイロード内には、映像データ、音声データなどの実データが挿入されている。
【0017】
ストリーム記憶部104は、FIFOメモリで構成され、復調部103から入力されたTSを記憶し、入出力制御部110から要求があったときにTSを出力し、又、TSのオーバーフローおよびアンダーフローが起こった時に、異常信号を割込要因記憶部108に出力する。
PCR抽出部105は、再生装置2000の制御部207によって入力されたPIDを持つTSパケットからPCRの抽出を行う。またPCRが抽出されたとき抽出信号を割込要因記憶部108とクロックカウント記憶部109に出力する。
【0018】
クロックカウント部106は、再生装置2000からI/F112を経由して入力される、後述するクロック分周部202によって分周されたシステムクロック信号に同期して再生装置2000における時刻(以下、「再生装置時刻」という。)をカウントする。
PCR記憶部107はレジスタから構成され、PCR抽出部105によって抽出されたPCRを記憶する。
【0019】
割込要因記憶部108はレジスタから構成され、PCR抽出部105から抽出信号が入力されたか否かを示すビット値(以下、抽出ビット値という。)及びストリーム記憶部104から異常信号が入力されたか否かを示すビット値(以下、「異常ビット値」という。)をそれぞれ記憶している。ここでは、「信号入力あり」の状態を示すビット値をそれぞれ「1」とし、そうでない状態を示すビット値をそれぞれ「0」とする。
【0020】
割込要因記憶部108は、PCR抽出部105から抽出信号が入力されると、抽出ビット値を「1」に設定し、入出力制御部110によって抽出ビット値が読み出されると、抽出ビット値を「0」に設定する。
同様に、ストリーム記憶部104から異常信号が入力されると、異常ビット値を「1」に設定し、入出力制御部110によって異常ビット値が読み出されると、異常ビット値を「0」に設定する。
【0021】
クロックカウント記憶部109は、レジスタから構成され、PCR抽出部105からの抽出信号を受け取った時に、クロックカウント部106がカウントした再生装置時刻を記憶する。
入出力制御部110は、再生装置2000からコマンドが入力されると、当該コマンドの内容に応じて、当該コマンドによって指定される格納元に記憶されているデータを読出し、再生装置2000に出力する。
【0022】
割込出力部111は、割込要因記憶部108において、抽出ビット値及び異常ビット値の何れかのビット値が「1」に設定されている場合に、割り込み信号を再生装置2000に出力する。
(再生装置2000の構成)
再生装置2000は、クロック発生部201、クロック分周部202、クロック制御部203、ストリームデコード部204、音声データ記憶部205、音声デコード部206、制御部207、シリアルインタフェース(I/F)208、スピーカ209から構成される。
【0023】
クロック発生部201は、VCO(電圧制御水晶発信器)から構成され、27MHzのシステムクロック信号を発生する。
クロック分周部202は、クロック発生部201で発生するシステムクロック信号を所定の分周期の比率で分周して受信装置1000に出力する。
クロック制御部203は、PCR記憶部107に記憶されているPCRとクロックカウント記憶部109に記憶されている再生装置時刻が受信装置1000から入力される毎に、当該PCRと再生装置時刻とを記憶し、当該PCRと直前に記憶されたPCRとの差分値(以下、「PCR差分値」という。)、及び当該再生装置時刻と直前に記憶された再生装置時刻との差分値(以下、「装置時刻差分値」という。)をそれぞれ算出し、算出した装置時刻差分値にシステムクロック信号が分周された分周期の比率を乗算した乗算値と、算出したPCR差分値との差が0になるように、システムクロック信号のクロック周波数を、クロック発生部201のVCOの電圧を制御することにより調整する。
【0024】
ストリームデコード部204は、制御部207の要求コマンドに基づいて受信装置1000のストリーム記憶部104から出力されるTSをデコードし、制御部207に出力し、制御部207からの指示に応じて音声データ(以下MPEG2−AAC)を抽出し、音声データ記憶部205に出力する。
音声データ記憶部205は、ストリームデコード部204より入力された音声データを記憶する。
【0025】
音声デコード部206はMPEG2−AACデコーダから構成され、クロック発生部201により出力されるシステムクロック信号に同期して、音声データ記憶部205に記憶された音声データを音声信号に変換しスピーカ209に出力する。
なお、再生装置2000に映像データ記憶部215及び映像デコード部216、及び表示部219を構成要素として追加し、ストリームデコード部204は、音声データに加え、映像データを抽出し、抽出した映像データを映像データ記憶部215に出力し、映像デコード部216により、映像データ記憶部215に記憶された映像データを映像信号に変換し、表示部219に出力することとしてもよい。
【0026】
図3は、再生装置2000に上記の各構成要素を追加した再生装置3000の構成を示す。
制御部207は、受信装置1000に各種データ取得の要求コマンドを出力することによって、要求したデータを再生装置2000に出力させ、又、受信装置100の記憶領域に要求したデータを書き込む。
【0027】
又、制御部207は、受信装置1000から出力される割り込み信号の受信に応じて、入出力制御部110にPCR抽出信号が入力されたか否かを確認し、入力された場合に、入出力制御部110にPCRと再生装置時刻の取得要求コマンドを出力し、入出力制御部110を介して、PCR記憶部107及びクロックカウント記憶部109にそれぞれ記憶されているPCR及び再生装置時刻を再生装置2000に出力させる。
【0028】
さらに、制御部207は、ストリームデコード部204によってデコードされたTSのヘッダ情報を解析し、音声データを含むTSパケットを検出すると、ストリームデコーダ部204に当該TSパケットからの音声データの抽出を指示し、PCRを含むTSパケットのPIDを検出すると、当該PIDの書込みを要求するコマンドと当該PIDとを当該PIDを受信装置1000に出力する。
【0029】
図4は、制御部207から出力される要求コマンドの構成と、受信装置1000及び再生装置2000間で入出力されるデータの構成とを示す。
図4(A)は、要求コマンドの構成を示す。要求コマンドは、「S」で表されるスタートビットで始まり、「E」で表されるエンドビットで終了し、スタートビットとエンドビットとの間には、データの読出し又は書き込み先の受信装置1000の記憶領域におけるアドレスを指定する記憶部アドレス、読出しか書込みかの指定をするための読み出し/書き込みビット、読み出し又は書込みの対象となるデータのバイト数を示す読出し又は書込みバイト数、及び通信エラーをチェックするのためのCRC(Cyclic Redundancy Check)が組み込まれている。読み出し/書き込みビットの値が読み出しを示す値の場合、受信装置1000から再生装置2000に対して要求コマンドに対応したデータとCRCが出力され、書き込みを示す値の場合、再生装置2000から受信装置1000に対して、書き込みデータとCRCが出力される。
【0030】
図4(B)は、受信装置1000と再生装置2000との間で入出力されるデータの構成を示す。データは、「S」で表されるスタートビットで始まり、「E」で表されるエンドビットで終了し、スタートビットとエンドビットとの間には、読出し又は書き込み対象となるデータとCRCが組み込まれている。
例えば、ストリーム記憶部104のアドレスを指定する記憶部アドレスと、読出しを指定する読出しビット値と、TSパケットのバイト数である188バイトを示す読出しバイト数と、CRCを含む要求コマンドが制御部207から受信装置1000に出力されると、受信装置1000の入出力制御部110は、当該要求コマンドに応じて、ストリーム記憶部104における指定アドレスからTSパケットを取得し、取得したTSパケットを、図4(B)に示すデータ構成で再生装置2000に出力する。
【0031】
又、制御部207によってPCRを含むTSパケットのPID(以下、「PCR指定PID」という。)が検出されると、PCR抽出部105における記憶領域(図外)のアドレスを指定する記憶部アドレスと、書込みを指定する書込みビット値と、書き込むPCR指定PIDのバイト数と、CRCを含む要求コマンドと図4(B)に示すデータ構成で組み込まれたPCR指定PIDとが制御部207から受信装置1000に出力され、受信装置1000に入力されたPCR指定PIDは、入出力制御部110によってPCR抽出部105に出力され、上記要求コマンドの指定するPCR抽出部105における記憶領域に保持される
<動作>
次に、受信再生部500が再生装置時刻をPCRに同期させるために行う制御処理(以下、「PCR同期制御処理」という。)の動作について説明する。
【0032】
図5は受信再生部500の行うPCR同期制御処理の動作を示すフローチャートである。以下、図5を参照して、上記処理について説明する。
PCR同期制御処理は、再生装置時刻カウント処理(ステップS501)、PCR抽出処理(ステップS502)、再生装置時刻調整処理(ステップS503)の順に行われる。
【0033】
最初に、再生装置2000の行う再生装置時刻カウント処理(ステップS501)について説明する。図6は、再生装置時刻カウント処理を示すフローチャートである。
受信再生部500が起動されると、クロック発生部201は、27MHzのシステムクロック信号を発生し、クロック分周部202に出力する(ステップS601)。
【0034】
クロック分周部202は、入力されたシステムクロック信号を所定の分周期の比率で分周して(ステップS602)、分周したシステムクロック信号を受信装置1000に出力する(ステップS603)。
次に、上記再生装置時刻カウント処理後に、受信装置1000によって行われるPCR抽出処理の動作について説明する。図7は、上記PCR抽出処理の動作を示すフローチャートである。
【0035】
クロックカウント部106は、クロック分周部202から出力され、I/F112を経由して入力されるシステムクロック信号に同期して再生装置時刻をカウントする(ステップS701)。
PCR抽出部105は、制御部207によって入力されたPCR指定PIDに基づいて、入力されたTSからPCRを含むTSパケットの抽出を試みる(ステップS702)。
【0036】
抽出した場合に(ステップS702:Y)、抽出信号を割込要因記憶部108とクロックカウント記憶部109に出力し(ステップS703)、PCR記憶部107は、抽出されたPCRを記憶し、クロックカウント記憶部109は、PCR抽出部105からの抽出信号の入力を受取ると、その時点における、クロックカウント部106によってカウントされた再生装置時刻を記憶する(ステップS704)。
【0037】
さらに、割込要因記憶部108は、PCR抽出部105から抽出信号が入力されると、抽出ビット値を「1」に設定し(ステップS705)、割込出力部111は、割り込み信号を再生装置2000に出力する(ステップS706)。
次に、上記PCR抽出処理後に再生装置2000によって行われる再生装置時刻調整処理の動作について説明する。
【0038】
図8は、上記再生装置時刻調整処理の動作を示すフローチャートである。
制御部207は、割込出力部111から出力された割り込み信号をI/F112、208を介して受信すると、割込要因記憶部108から抽出ビット値を取得するための要求コマンドを、割込要因記憶部108のアドレス、読出しビット、読出しバイト数を指定して、I/F208、112を介して入出力制御部110に出力し、入出力制御部110が当該要求コマンドに応じて割込要因記憶部108から読み出した抽出ビット値をI/F112、208を介して入出力制御部110から取得する(ステップS801)。
【0039】
制御部207は、取得した抽出ビット値が「1」に設定されているか否かにより、割り込み信号がPCR抽出に起因するか否かを判定する(ステップS802)。
抽出ビット値が「1」に設定されている場合(ステップS802:Y)、割り込み信号がPCR抽出に起因していると判定し、PCR記憶部107に記憶されているPCR及びクロックカウント記憶部109に記憶されている再生装置時刻をそれぞれ取得するための要求コマンドをPCR記憶部107のアドレス、読出しビット、読出しバイト数及びクロックカウント記憶部109のアドレス、読み出しビット、読出しバイト数をそれぞれ指定して、I/F112を介して入出力制御部110に出力する(ステップS803)。
【0040】
入出力制御部110は、当該各要求コマンドに応じてPCR記憶部107及びクロックカウント記憶部109から直前に抽出されたPCR及び当該PCR抽出時の再生装置時刻をI/F112、208を介して再生装置2000に出力し、クロック制御部203は、入力されたPCR及び当該PCR抽出時の再生装置時刻を記憶し(ステップS804)、入力されたPCR及び当該PCR抽出時の再生装置時刻のそれぞれについて、PCR差分値及び装置時刻差分値をそれぞれ算出し、再生装置時刻について算出した差分値にシステムクロック信号が分周された分周期の比率を乗算した乗算値と、算出したPCRについての差分値との差が0になるように、システムクロック信号のクロック周波数を、クロック発生部201のVCOの電圧を制御することにより調整する(ステップS805)。
(実施の形態2)
<構成>
本発明の実施の形態2による通信端末におけるデジタル放送の受信及び再生機能を有する部分(以下、「受信再生部600」という。)の構成について、説明する。
【0041】
以下、実施の形態1における受信再生部500との相違点を中心に説明し、実施の形態1における再生受信部500と同一の構成要素については、同一の番号が付与することとし、当該構成要素については、説明を省略する。
図9は、受信再生部600の構成を示す。図9に示すように、受信再生部600は、受信装置1100と再生装置2100とから構成される。
(受信装置1100の構成)
受信装置1100は、受信アンテナ101、チューナ部102、復調部103、ストリーム記憶部104、PCR抽出部105、受信装置クロック発生部114、自走PCRカウント部115、自走PCRカウント記憶部116、割込要因記憶部108、入出力制御部110、割込出力部111、シリアルインタフェース(I/F)112から構成される。
【0042】
受信装置クロック発生部114は、PCRをカウントする送信側のシステムクロックと同一周波数の27MHzのクロック信号を発生する。
自走PCRカウント部115は、受信装置クロック発生部114の発生するクロック信号に同期して、受信装置1100におけるPCRに準拠した時刻(以下、「擬似PCR時刻」という。)をカウントし、具体的には、PCR抽出部105によってTSからPCRが抽出される毎に、抽出されたPCRの示す基準時刻カウント値を初期値としてリセットし、受信装置クロック発生部114の発生するクロック信号に同期して擬似PCR時刻をカウントアップする。
【0043】
自走PCRカウント記憶部116は、レジスタから構成され、入出力制御部110が制御部207から擬似PCR時刻の取得を要求する要求コマンドを受取った時点において、自走PCRカウント部115によってカウントされた擬似PCR時刻を記憶し、記憶した擬似PCR時刻を入出力制御部110を介して、再生装置2100に出力する。
(再生装置2100の構成)
再生装置2100は、クロック発生部201、クロックカウント部210、クロックカウント記憶部211、クロック制御部203、ストリームデコード部204、音声データ記憶部205、音声デコード部206、制御部207、シリアルインタフェース(I/F)208、スピーカ209から構成される。
【0044】
クロックカウント部210は、クロック発生部201の発生するシステムクロック信号に同期して、再生装置2100における再生装置時刻をカウントする。
クロックカウント記憶部211は、レジスタから構成され、制御部207が擬似PCR時刻の取得を要求する要求コマンドを入出力制御部110に出力した時に、クロックカウント部210によってカウントされた再生装置時刻を記憶する。
【0045】
クロック制御部203は、自走PCRカウント記憶部116に記憶されている擬似PCR時刻とクロックカウント記憶部211に記憶されている再生装置時刻とを取得して、記憶し、当該擬似PCR時刻と直前に記憶された擬似PCR時刻との差分値(以下、「擬似PCR差分値」という。)、及び当該再生装置時刻と直前に記憶された再生装置時刻との差分値である装置時刻差分値をそれぞれ算出し、算出した装置時刻差分値と、算出した擬似PCR差分値との差が0になるように、システムクロック信号のクロック周波数を、クロック発生部201のVCOの電圧を制御することにより調整する。
<動作>
次に、受信再生部600が再生装置時刻をPCRに同期させるために行うPCR同期制御処理の動作について説明する。
【0046】
図10は受信再生部600の行うPCR同期制御処理の動作を示すフローチャートである。以下、図10を参照して、上記処理について説明する。
PCR同期制御処理は、擬似PCR時刻カウント-処理(ステップS1001)、再生装置時刻調整処理(ステップS1002)の順に行われる。
最初に、受信装置1100によって行われる擬似PCR時刻カウント処理の動作について説明する。図11は、上記動作を示すフローチャートである。
【0047】
PCR抽出部105は、制御部207によって入力されたPCR指定PIDに基づいて、入力されたTSからPCRを含むTSパケットの抽出を試みる(ステップS1001)。
抽出した場合に(ステップS1101:Y)、抽出信号を割込要因記憶部108と自走PCRカウント部109に出力する(ステップS1102)。
【0048】
割込要因記憶部108は、PCR抽出部105から抽出信号が入力されると、抽出ビット値を「1」に設定し(ステップS1103)、割込出力部111は、割り込み信号を再生装置2000に出力する(ステップS1104)。
さらに、自走PCRカウント部115は、抽出されたPCRの示す基準時刻カウント値を初期値としてリセットし(ステップS1105)、受信装置114の発生するクロック信号に同期して擬似PCR時刻のカウントを開始する(ステップS1106).
次に、上記擬似PCRカウント処理後に再生装置2000によって行われる再生装置時刻カウント調整処理の動作について説明する。
【0049】
図12は、上記再生装置時刻調整処理の動作を示すフローチャートである。
制御部207は、割込出力部111から出力された割り込み信号をI/F112、208を介して受信すると、割込要因記憶部108から抽出ビット値を取得するための要求コマンドを、割込要因記憶部108のアドレス、読出しビット、読出しバイト数を指定して、I/F208、112を介して入出力制御部110に出力し、入出力制御部110が当該要求コマンドに応じて割込要因記憶部108から読み出した抽出ビット値をI/F112、208を介して入出力制御部110から取得する(ステップS1201)。
【0050】
制御部207は、取得した抽出ビット値が「1」に設定されているか否かにより、割り込み信号がPCR抽出に起因するか否かを判定する(ステップS1202)。
抽出ビット値が「1」に設定されている場合(ステップS1202:Y)、割り込み信号がPCR抽出に起因していると判定し、擬似PCR時刻記憶部116に記憶されている擬似PCR時刻を取得するための要求コマンドを擬似PCR時刻記憶部116のアドレス、読出しビット、読出しバイト数を指定して、I/F208、112を介して入出力制御部110に出力する(ステップS1203)。
【0051】
クロックカウント記憶部211は、制御部207が擬似PCR時刻の取得を要求する要求コマンドを入出力制御部110に出力した時に、クロックカウント部210によってカウントされた再生装置時刻を記憶する(ステップS1204)。
さらに、クロック制御部203は、上記要求コマンドに応じて入力制御部110から出力された、自走PCRカウント記憶部116に記憶されている擬似PCR時刻とクロックカウント記憶部211に記憶されている再生装置時刻とを取得して、記憶し(ステップS1205)、擬似PCR差分値及び装置時刻差分値をそれぞれ算出し、算出した装置時刻差分値と、算出した擬似PCR差分値との差が0になるように、システムクロック信号のクロック周波数を、クロック発生部201のVCOの電圧を制御することにより調整する(ステップS1206)。
<補足>
以上、本発明の実施の形態について説明したが、本発明はこの実施の形態に限定されないのは言うまでもない。
(1)例えば、実施の形態1では、クロック制御部203は、算出した再生装置時刻差分値に、システムクロック信号が分周された分周期の比率を乗算した乗算値とPCR差分値との比較を行ったが、受信装置1200の側で分周されたシステムクロック信号を逓倍した逓倍クロック信号を生成し、クロックカウント部106が逓倍クロック信号をカウントすることとしてもよい。
【0052】
図14は、逓倍クロック信号生成機能を有する受信装置1200の構成を示す。受信装置1200は、受信アンテナ101、チューナ部102、復調部103、ストリーム記憶部104、PCR抽出部105、クロックカウント部106、PCR記憶部107、割込要因記憶部108、クロックカウント記憶部109、入出力制御部110、割込出力部111、逓倍部113、シリアルインタフェース(I/F)112から構成される。
以下、実施の形態1における受信装置1000と異なる構成要素である逓倍部113について説明する。
【0053】
逓倍部113は、受信部1200に入力される、クロック分周部202によって分周されたシステムクロック信号を、分周期の比率に応じて逓倍する。
これにより、クロック制御部203は、装置時刻差分値を乗算することなく、PCR差分値との比較を行うことができる。
(2)又、実施の形態1においては、分周されたシステムクロック信号に同期して再生装置時刻をクロックカウント部106でカウントすることとしたが、再生装置2000のクロック発生部201の発生するシステムクロック信号を分周することなく、そのまま受信装置1000に出力して、当該システムクロック信号に同期してクロックカウント部106で再生装置時刻をカウントすることとしてもよい。
(3)又、実施の形態1及び2においては、ストリームデコード部204は再生装置側に含まれるとしたが、受信装置側にストリームデコード部204を含むこととしてもよい。
(4)又、実施の形態1及び2においては、受信装置と再生装置は、シリアルI/Fを介して接続されることとしたが、パラレルI/Fを介して接続されることとしてもよい。
【0054】
【発明の効果】
本発明は、基準時刻を示す基準時刻情報と、再生されるべき複数のデータとを含むデータストリームを受信する受信装置と、前記各データを前記基準時刻に従って再生する再生装置とから構成される通信端末であって、前記受信装置と前記再生装置は、インタフェースを介して接続され、前記受信装置は、前記データストリームから前記基準時刻情報を逐次抽出する抽出手段と、前記再生装置から入力されるクロック信号に同期して当該再生装置のシステム時刻をカウントする時刻カウント手段と、前記基準時刻情報を抽出する毎に、当該基準時刻情報の示す基準時刻を記憶する基準時刻記憶手段と、当該基準時刻情報の抽出時に前記時刻カウント手段によってカウントされた前記システム時刻をコピーして記憶するシステム時刻記憶手段と、前記基準時刻情報を抽出する毎に、割り込み信号を前記再生装置に出力する割込信号出力手段とを有し、前記再生装置は、システムクロック信号を生成するクロック生成手段と、生成したシステムクロック信号に同期したクロック信号を前記受信装置に出力するクロック出力手段と、前記割込み信号の入力があった場合に、前記基準時刻記憶手段及びシステム時刻記憶手段から前記基準時刻と前記システム時刻をそれぞれ取得し、取得した両時刻の対応関係に基づいて、前記システム時刻が前記基準時刻に同期するように、システムクロック信号が生成される周波数を校正するクロック制御手段とを有する。
【0055】
これにより、インタフェースを介して受信装置と再生装置が接続されている通信端末において、送信側の基準時刻に同期してシステムクロック信号を過不足無く生成することが可能となり、受信したデータストリームに含まれるデータを送信側の基準時刻に従って不具合なく再生することができる。
ここで、前記クロック出力手段は、生成したシステムクロック信号を所定の分周比で分周するクロック分周手段を有し、前記クロック出力手段は、分周したクロック信号を前記時刻カウント手段に出力し、前記クロック制御手段は、前記システム時刻について、直前に取得したカウント値との差分値に前記分周比を乗算した乗算値を算出し、前記基準時刻について、直前に取得した前記基準時刻との差分値を算出し、算出した乗算値と差分値との差が0となるように前記周波数を校正し、前記時刻カウント手段は、前記クロック出力手段から入力された前記クロック信号に同期して前記システム時刻をカウントすることとしてもよい。
【0056】
これにより、インタフェースを介して通信できるクロック周波数に制限がある場合においても、制限されているクロック周波数に応じて、再生装置側の生成するクロック信号のクロック周波数を分周して、クロック信号を受信装置に出力することができる。
ここで、前記クロック出力手段は、生成したシステムクロック信号を所定の分周比で分周するクロック分周手段を有し、前記クロック出力手段は、分周したクロック信号を前記時刻カウント手段に出力し、前記クロック制御手段は、前記システム時刻について、直前に取得したカウント値との差分値を算出し、前記基準時刻について、直前に取得した前記基準時刻との差分値を算出し、算出した2つの差分値の差が0となるように前記周波数を校正し、前記時刻カウント手段は、前記クロック出力手段から入力された前記クロック信号を逓倍した逓倍クロック信号を生成する逓倍クロック生成手段を有し、前記時刻カウント手段は、前記逓倍クロック信号に同期して前記システム時刻をカウントする
こととしてもよい。
【0057】
これにより、再生装置側のシステムクロック時刻を送信側のシステムクロックによって刻まれる基準時刻に同期させるための、再生装置側におけるシステムクロック信号の周波数の校正処理を差分値の乗算処理を行うことなく実現することができる。
ここで、基準時刻を示す基準時刻情報と、再生されるべき複数のデータとを含むデータストリームを受信する受信装置と、前記各データを前記基準時刻に従って再生する再生装置とから構成される通信端末であって、前記受信装置と前記再生装置は、インタフェースを介して接続され、前記受信装置は、前記基準時刻を刻むクロック信号と同一周波数のシステムクロック信号を発生する擬似基準クロック発生手段と、前記データストリームから前記基準時刻情報を逐次抽出する抽出手段と、前記基準時刻情報を抽出する毎に、抽出した基準時刻情報に示される基準時刻を初期値として、前記擬似基準クロック発生手段の発生するシステムクロック信号に同期して擬似基準時刻をカウントする時刻カウント手段と、前記基準時刻情報を抽出する毎に、割り込み信号を前記再生装置に出力する割込信号出力手段と、前記再生装置からの擬似基準時刻の取得要求時に、前記時刻カウント手段によってカウントされた擬似基準時刻を記憶する擬似基準時刻記憶手段と、とを有し、前記再生装置は、システムクロック信号を生成するシステムクロック生成手段と、前記システムクロック信号に同期して前記再生装置のシステム時刻をカウントするシステム時刻カウント手段と、前記割込み信号が入力された場合に、前記受信装置に擬似基準時刻の取得要求をし、前記擬似基準時刻記憶手段から当該取得要求時にカウントされた前記擬似基準時刻を取得する取得手段と、前記取得要求時に、前記システム時刻カウント手段によってカウントされた前記システム時刻を記憶するシステム時刻記憶手段と、取得した前記擬似基準時刻と記憶された前記システム時刻との対応関係に基づいて、前記基準時刻に同期するように前記システムクロック生成手段によって生成されるシステムクロック信号の周波数を校正するクロック制御手段とを有することとしてもよい。
【0058】
これにより、送信側のシステムクロックによって刻まれる基準時刻の情報が受信装置によって抽出されてから、当該情報が再生装置に取得されるまでの間においても、受信装置において、擬似的に送信側のシステムクロックの基準時刻を再生し続けることができるので、再生装置側のシステムクロック時刻を正確に送信側のシステムクロックによって刻まれる基準時刻に合わせることができる。
【図面の簡単な説明】
【図1】実施の形態1における受信再生部500の構成を示す。
【図2】出力されるのTSの構成を示す。
【図3】再生装置2000に上記の各構成要素を追加した再生装置3000の構成を示す。
【図4】制御部207から出力される要求コマンドの構成と、受信装置1000及び再生装置2000間で入出力されるデータの構成とを示す。
【図5】受信再生部500の行うPCR同期制御処理の動作を示すフローチャートである。
【図6】再生装置時刻カウント処理を示すフローチャートである。
【図7】受信装置1000によって行われるPCR抽出処理の動作を示すフローチャートである。
【図8】再生装置2000によって行われる再生装置時刻調整処理の動作を示すフローチャートである。
【図9】実施の形態2における受信再生部600の構成を示す。
【図10】受信再生部600の行うPCR同期制御処理の動作を示すフローチャートである。
【図11】受信装置1100によって行われる擬似PCR時刻カウント処理の動作を示すフローチャートである。
【図12】再生装置2000によって行われる再生装置時刻カウント調整処理の動作を示すフローチャートである。
【図13】従来のデジタル放送受信機10の構成を示す。
【図14】逓倍クロック信号生成機能を有する受信装置1200の構成を示す。
【符号の説明】
10 デジタル放送受信機
11 同期検出部
12 PCR抽出部
13 バッファ
14 制御部
15 バッファ
16 バッファ
17 映像信号デコーダ部
18 NTSCエンコーダ部
20 音声信号デコーダ部
21 音声信号DAC部
24 カウンタ部
25 VCO
26 PWM波発生部
27 LPF部
28 VCO
29 PLL部
500、600 受信再生部
1000、1100、1200 受信装置
2000、2100 再生装置
101 受信アンテナ
102 チューナ部
103 復調部
104 ストリーム記憶部
105 PCR抽出部
106 クロックカウント部
107 PCR記憶手段
108 割込要因記憶部
109 クロックカウント記憶部
110 入出力制御部
111 割込出力部
112 シリアルI/F
113 逓倍部
114 受信装置クロック発生部
115 自走PCRカウント部
116 自走PCR記憶部
201 クロック発生部
202 クロック分周部
203 クロック制御部
204 ストリームデコード部
205 音声データ記憶部
206 音声デコード部
207 制御部
208 シリアルI/F
209 スピーカ
210 クロックカウント部
211 クロックカウント記憶部

Claims (4)

  1. 基準時刻を示す基準時刻情報と、再生されるべき複数のデータとを含むデータストリームを受信する受信装置と、インタフェースを介して前記受信装置と接続され、前記受信装置から非同期転送される前記基準時刻と前記複数のデータを取得して前記複数のデータを再生する再生装置とから構成される通信端末であって、
    前記再生装置は、
    システムクロック信号を生成するクロック生成手段と、
    生成したシステムクロック信号に同期したクロック信号を、前記インタフェースを介して前記受信装置に出力するクロック出力手段と、
    システムクロック信号が生成される周波数を校正するクロック制御手段と
    を有し、
    前記受信装置は、
    前記データストリームから前記基準時刻情報を逐次抽出する抽出手段と、
    前記基準時刻情報を抽出する毎に、当該基準時刻情報の示す基準時刻を記憶する基準時刻記憶手段と、
    前記再生装置から前記インタフェースを介して入力されるクロック信号に同期して当該再生装置のシステム時刻をカウントする時刻カウント手段と、
    当該基準時刻情報の抽出時に前記時刻カウント手段によってカウントされた前記システム時刻をコピーして記憶するシステム時刻記憶手段と、
    前記基準時刻情報を抽出する毎に、割り込み信号を前記インタフェースを介して前記再生装置に出力する割込信号出力手段と
    を有し、
    前記クロック制御手段は、
    前記割込み信号の入力があった場合に、前記基準時刻記憶手段及びシステム時刻記憶手段から前記インタフェースを介して前記基準時刻と前記システム時刻をそれぞれ取得し、取得した両時刻の対応関係に基づいて、前記システム時刻が前記基準時刻に同期するように、システムクロック信号が生成される周波数を校正する
    ことを特徴とする通信端末。
  2. 前記クロック出力手段は、生成したシステムクロック信号を所定の分周比で分周するクロック分周手段を有し、
    前記クロック出力手段は、分周したクロック信号を前記時刻カウント手段に出力し、
    前記クロック制御手段は、前記システム時刻について、直前に取得したカウント値との差分値に前記分周比を乗算した乗算値を算出し、前記基準時刻について、直前に取得した前記基準時刻との差分値を算出し、算出した乗算値と差分値との差が0となるように前記周波数を校正し、
    前記時刻カウント手段は、前記クロック出力手段から入力された前記クロック信号に同期して前記システム時刻をカウントする
    ことを特徴とする請求項1記載の通信端末。
  3. 前記クロック出力手段は、生成したシステムクロック信号を所定の分周比で分周するクロック分周手段を有し、
    前記クロック出力手段は、分周したクロック信号を前記時刻カウント手段に出力し、
    前記クロック制御手段は、前記システム時刻について、直前に取得したカウント値との差分値を算出し、前記基準時刻について、直前に取得した前記基準時刻との差分値を算出し、算出した2つの差分値の差が0となるように前記周波数を校正し、
    前記時刻カウント手段は、前記クロック出力手段から入力された前記クロック信号を逓倍した逓倍クロック信号を生成する逓倍クロック生成手段を有し、
    前記時刻カウント手段は、前記逓倍クロック信号に同期して前記システム時刻をカウントする
    ことを特徴とする請求項1記載の通信端末。
  4. 基準時刻を示す基準時刻情報と、再生されるべき複数のデータとを含むデータストリームを受信する受信装置と、インタフェースを介して前記受信装置と接続され、前記受信装置から非同期転送される前記基準時刻と前記複数のデータを取得して前記複数のデータを再生する再生装置とから構成される通信端末であって、
    前記受信装置は、
    前記基準時刻を刻むクロック信号と同一周波数のシステムクロック信号を発生する擬似基準クロック発生手段と、
    前記データストリームから前記基準時刻情報を逐次抽出する抽出手段と、
    前記基準時刻情報を抽出する毎に、抽出した基準時刻情報に示される基準時刻を初期値として、前記擬似基準クロック発生手段の発生するシステムクロック信号に同期して擬似基準時刻をカウントする時刻カウント手段と、
    前記基準時刻情報を抽出する毎に、割り込み信号を前記インタフェースを介して前記再生装置に出力する割込信号出力手段と、
    前記再生装置からの擬似基準時刻の取得要求時に、前記時刻カウント手段によってカウントされた擬似基準時刻を記憶する擬似基準時刻記憶手段と、
    とを有し、
    前記再生装置は、
    システムクロック信号を生成するシステムクロック生成手段と、
    前記システムクロック信号に同期して前記再生装置のシステム時刻をカウントするシステム時刻カウント手段と、
    前記割込み信号が入力された場合に、前記インタフェースを介して前記受信装置に擬似基準時刻の取得要求をし、前記擬似基準時刻記憶手段から当該取得要求時にカウントされた前記擬似基準時刻を取得する取得手段と、
    前記取得要求時に、前記システム時刻カウント手段によってカウントされた前記システム時刻を記憶するシステム時刻記憶手段と、
    取得した前記擬似基準時刻と記憶された前記システム時刻との対応関係に基づいて、前記基準時刻に同期するように前記システムクロック生成手段によって生成されるシステムクロック信号の周波数を校正するクロック制御手段と、
    を有することを特徴とする通信端末。
JP2002358657A 2001-12-26 2002-12-10 デジタル放送受信再生機能付き通信端末 Expired - Fee Related JP4084646B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002358657A JP4084646B2 (ja) 2001-12-26 2002-12-10 デジタル放送受信再生機能付き通信端末

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2001-393439 2001-12-26
JP2001393439 2001-12-26
JP2002358657A JP4084646B2 (ja) 2001-12-26 2002-12-10 デジタル放送受信再生機能付き通信端末

Publications (2)

Publication Number Publication Date
JP2003258784A JP2003258784A (ja) 2003-09-12
JP4084646B2 true JP4084646B2 (ja) 2008-04-30

Family

ID=28677132

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002358657A Expired - Fee Related JP4084646B2 (ja) 2001-12-26 2002-12-10 デジタル放送受信再生機能付き通信端末

Country Status (1)

Country Link
JP (1) JP4084646B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101754098B (zh) * 2008-12-18 2013-04-03 电信科学技术研究院 一种系统时间通知方法、系统及装置
DE112012007046B4 (de) * 2012-10-24 2019-07-04 Mitsubishi Electric Corporation Digitalübertragung-Empfangsvorrichtung und Digitalübertragung-Empfangsverfahren

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005034520A1 (en) * 2003-10-06 2005-04-14 Matsushita Electric Industrial Co., Ltd. Synchronizing of a digital signal using a pcr program clock reference
JP2007129518A (ja) * 2005-11-04 2007-05-24 Toa Corp デジタルデータ伝送システムおよびデジタルデータ伝送方法
JP2007202086A (ja) * 2006-01-30 2007-08-09 Toshiba Corp クロック再生装置、及びクロック再生方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3149328B2 (ja) * 1995-01-09 2001-03-26 松下電器産業株式会社 送信装置と受信装置
JP3419607B2 (ja) * 1995-08-25 2003-06-23 パイオニア株式会社 クロック再生装置
US5818539A (en) * 1996-03-29 1998-10-06 Matsushita Electric Corporation Of America System and method for updating a system time constant (STC) counter following a discontinuity in an MPEG-2 transport data stream
JP3433071B2 (ja) * 1997-10-29 2003-08-04 富士通株式会社 クロック周波数同期装置
JPH11313050A (ja) * 1998-04-28 1999-11-09 Matsushita Electric Ind Co Ltd クロック再生装置
JP4009182B2 (ja) * 2001-11-14 2007-11-14 松下電器産業株式会社 周波数補正方法、受信装置、再生装置およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101754098B (zh) * 2008-12-18 2013-04-03 电信科学技术研究院 一种系统时间通知方法、系统及装置
DE112012007046B4 (de) * 2012-10-24 2019-07-04 Mitsubishi Electric Corporation Digitalübertragung-Empfangsvorrichtung und Digitalübertragung-Empfangsverfahren

Also Published As

Publication number Publication date
JP2003258784A (ja) 2003-09-12

Similar Documents

Publication Publication Date Title
US7228059B2 (en) Audio reproducing apparatus and audio reproduction control method for use in the same
KR100711178B1 (ko) 방송국 동기 방법 및 휴대 단말기
RU2461128C2 (ru) Приемное устройство и способ приема, программа и приемная система
EP2051523A1 (en) Receiver
US8842218B2 (en) Video/audio data output device and method
US20070286245A1 (en) Digital signal processing apparatus and data stream processing method
EP1936625A2 (en) Recording device, recording method and reproducing device
WO2010116588A1 (ja) デジタルテレビ放送再生装置およびその再生方法
US20190221186A1 (en) Display device and image signal processing method of the same
JP4084646B2 (ja) デジタル放送受信再生機能付き通信端末
KR20070008069A (ko) 음성/영상신호의 동기화 장치 및 방법
EP1499135A2 (en) Digital data multiplexing and demultiplexing
US20070203597A1 (en) Audio data processing apparatus
JP2005101766A (ja) 電子装置及びその制御方法
JP2007259313A (ja) ストリーム再生方法及び再生装置
EP1280346A1 (en) Data broadcasting service system of storage type
KR100423129B1 (ko) 디지털 방송수신기에서의 출력 타이밍 조절방법
JP2006101391A (ja) 放送受信装置、放送受信方法及び放送受信プログラム
JP2006330541A (ja) 音声受信再生装置
JP5800999B2 (ja) デジタル放送受信装置およびデジタル放送受信方法
EP2018051A2 (en) Signal processing apparatus for applying AVC to delayed signals and a method thereof
JP4882782B2 (ja) 字幕放送表示システム及び放送受信装置
JP4175038B2 (ja) Mpeg2デコーダ
US20050105626A1 (en) Digital broadcasting data receiving apparatus and method of controlling the same
JP2002281498A (ja) 受信再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050729

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070524

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070911

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071106

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080122

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080215

R150 Certificate of patent or registration of utility model

Ref document number: 4084646

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110222

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120222

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130222

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140222

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees