JP3569205B2 - 記録再生装置 - Google Patents

記録再生装置 Download PDF

Info

Publication number
JP3569205B2
JP3569205B2 JP2000174303A JP2000174303A JP3569205B2 JP 3569205 B2 JP3569205 B2 JP 3569205B2 JP 2000174303 A JP2000174303 A JP 2000174303A JP 2000174303 A JP2000174303 A JP 2000174303A JP 3569205 B2 JP3569205 B2 JP 3569205B2
Authority
JP
Japan
Prior art keywords
recording
memory
data
frame
video data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000174303A
Other languages
English (en)
Other versions
JP2001359040A (ja
Inventor
修治 齋藤
英一 高倉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sharp Corp
Original Assignee
Sharp Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2000174303A priority Critical patent/JP3569205B2/ja
Application filed by Sharp Corp filed Critical Sharp Corp
Priority to KR10-2002-7016737A priority patent/KR100499597B1/ko
Priority to US10/276,255 priority patent/US7295768B2/en
Priority to EP01915847A priority patent/EP1292139A4/en
Priority to US12/588,121 priority patent/USRE43897E1/en
Priority to CNB018040209A priority patent/CN1226874C/zh
Priority to PCT/JP2001/002489 priority patent/WO2001095622A1/ja
Priority to MYPI20011580 priority patent/MY137731A/en
Publication of JP2001359040A publication Critical patent/JP2001359040A/ja
Application granted granted Critical
Publication of JP3569205B2 publication Critical patent/JP3569205B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • H04N5/95Time-base error compensation
    • H04N5/956Time-base error compensation by using a digital memory with independent write-in and read-out clock generators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/926Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation
    • H04N5/9261Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction
    • H04N5/9264Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback by pulse code modulation involving data reduction using transform coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/7921Processing of colour television signals in connection with recording for more than one processing mode

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、記録再生装置に係わり、特に、映像デジタル信号を記録・再生する記録再生装置に関する。
【0002】
【従来の技術】
近年、デジタル信号処理技術の発展に伴い、映像信号などを高能率符号化したデジタルデータを記録再生する装置、例えば、デジタルビデオカセットテープレコーダー(以下、DVCと称す)が普及してきている。
【0003】
特願平11−184605号公報には、記録再生装置においてコンポジット信号等の外部入力映像信号を記録再生する方法が提案されている。
【0004】
図8に上記公報の記録再生装置の実施例を示す。
【0005】
同図において、1はI/Oブロック(入出力処理部)、2はVSP(Video Signal Processing)ブロック(圧縮伸長処理部)、3はDRP(Data Recording Playback)ブロック(記録再生処理部)、4は制御ブロック、5は入力映像信号処理回路、6はシャフリングメモリ、7は直交変換(データ圧縮符号化)回路、8はフレーム化回路、9はPTGメモリ、10はエンコーダ、11はデコーダ、12はECCメモリ、13はデフレーム化回路、14は逆直交変換(データ伸長復号化)回路、15は出力映像信号処理回路、16は同期分離回路、17は垂直および水平同期分離回路、18はI/OPLL回路、19はマルチプレクサ、20はI/Oコントロール信号発生回路、21は13.5MHzクロック発振回路、22は4/1PLL回路、23は分周器、24はフレームパルス生成カウンタ、25はVSPコントロール信号発生回路、26はDRPPLL回路、27はDRPコントロール信号発生回路、28は外部入力制御回路、29は位相比較器、30はデータマスク回路である。
【0006】
この記録再生装置は、全体として、映像信号の入出力処理を行なう入出力部であるI/Oブロック1と、映像データに対して所定の信号処理を行なうVSPブロック2と、映像データの記録再生を行なう記録再生処理等を行なうDRPブロック3と、各ブロック1〜3に必要なクロックを形成すると共に、装置全体の制御を行なう制御ブロック4とから構成されている。
【0007】
【発明が解決しようとする課題】
従来、記録再生装置の再生時においては、フレームパルスの周波数が何らかの要因で乱れることがある。そのような場合は、クリスタル発振等の精度の高い発振回路を用いることにより、安定した内部クロックを供給し、またその内部クロックでカウントして作成した安定した周波数のフレームパルスを用いることにより、安定した再生を実現している。ところが、近年普及されてきている、IEEE1394規格に準拠したデイジタルインターフェース(以下1394I/Fと称す)を用いたデータ通信での受信時においては、送信側機器からのフレームパルスに同期して送られてくるデータを処理するため、受信側となる記録再生装置内部のフレームパルスを送信側機器のフレームパルスにロックさせる必要があるが、その場合、受信開始直後の送信側フレームパルスと内部フレームパルスとの間の位相差や、送信側機器のソースがアナログでなおかつ特殊再生を行った場合等のフレームパルスのジッターにより、内部フレームパルスの周波数が乱れることが予測される。1フレーム中のクロック数は常に一定となるようにPLL回路を用いているため、フレームパルスの周波数が乱れた場合システムクロックのパルス幅にジッターが発生し、モニター出力映像に揺れ等の乱れが生じるが、上記公報の記録再生装置にはこの点については特に考慮されていない。
【0008】
また、この外にも、ノイズ等による影響や回路の同期乱れ等により、フレームパルスのフレーム長が変動することも考えられ、1フレーム中のクロック数が変わった場合、映像データとの同期がずれて出力映像データに乱れが生じるが、上記公報に示される記録再生装置はこの点についても特に考慮されていない。
【0009】
本発明の目的は、フレームパルスの同期が乱れた場合でも、正常な映像データが出力されると共に、出力される映像データの同期およびクロック周波数の安定が常に保たれた記録再生装置を提供することにある。
【0010】
【課題を解決するための手段】
本発明は、上記の課題を解決するために、次のような手段を採用した。
【0011】
第1の手段は、映像データを記録・再生する記録再生装置において、メモリと、映像データに同期した書き込み基準クロックおよび同期信号にしたがって前記メモリに映像データを書き込む書き込み手段と、前記書き込みクロックとは非同期の安定化された読み出し基準クロックおよび同期信号にしたがって前記メモリから映像データを読み出す読み出し手段とを備え
前記メモリは、少なくとも映像データの3フレーム分の容量を有し、前記メモリのフレームページを管理するページ管理手段を備え、前記ページ管理手段にしたがって前記書き込み手段により書き込まれた映像データを、前記ページ管理手段による同一フレームの2度読みまたはフレームドロップにしたがって前記読み出し手段で読み出すことを特徴とする。
【0013】
の手段は、第の手段において、前記ページ管理手段は、映像データのフレームパルスのフレーム長が所定の長さの範囲にあるか否かを検出する検出手段と、前記検出手段によりフレーム長が前記所定の長さの範囲にないことを検出した時は、前記メモリの書き込みおよび読み出しページを保持するように制御する保持手段とを備えることを特徴とする。
【0014】
の手段は、第1の手段ないし第の手段のいずれか1つの手段において、前記メモリは記録時と再生時において共用されることを特徴とする。
【0015】
の手段は、第1の手段ないし第の手段のいずれか1つの手段において、インターフェース(I/F)を介して受信した圧縮ストリームを受信データに同期した基準クロックに基づくクロックで記録処理する手段とを備えていることを特徴とする。
【0016】
の手段は、第1の手段ないし第の手段のいずれか1つの手段において、前記読み出し手段で用いられる読み出し基準クロックおよび同期信号の内少なくともどちらか一方は、当該記録再生装置の外部から供給されることを特徴とする。
【0017】
の手段は、映像編集システムとして、複数台の第1の手段ないし第の手段のいずれか1つの手段に記載の記録再生装置と、前記複数台の記録再生装置のそれぞれのメモリから映像データを読み出して編集する映像編集装置とを備え、前記メモリからの映像データの読み出し側基準クロックおよび同期信号を共通化し、前記各記録再生装置からの出力映像を同期化したことを特徴とする。
【0018】
【発明の実施の形態】
はじめに、本発明の第1の実施形態を図1ないし図6を用いて説明する。
【0019】
図1は、本実施形態に係る記録再生装置の構成を示すブロック図である。
【0020】
同図において、31は1394I/F処理回路、32はマルチプレクサであり、その他の構成は図8に示した同符号の構成に対応するので説明を省略する。
【0021】
ここで、本発明においては上記課題解決のために、シャフリングメモリ6ヘの映像データの書き込みと読み出しを非同期としているが、その場合に前後のフレームのデータが混在する現象が起きるという問題が発生するので、この問題を解決する方法について先に説明する。
【0022】
最初に、映像データのシャフリングについて説明する。通常、映像データを圧縮、記録する場合に直交変換を行なうが、その際に情報量のバラツキを小さくして圧縮効率を向上させるために、シャフリング処理(映像データの並べ換え処理)が行われている。また逆に映像データを再生する場合には、伸長、逆直交変換後にデシャフリング処理(映像データを元の順序に並べ換える処理)が行われている。これらシャフリング・デシャフリング処理をまとめて、以下シャフリング処理と称す。
【0023】
上記シャフリング処理を簡単に行うためには、1フレーム分の映像データを記憶できるメモリを2個用意し、一方が書き込みを行っている間に他方は1フレーム前のデータを書き込み時とは異なった順序で読み出すという方法(バンク方式)が用いられる。しかしながら、従来はメモリのコストが高く、上記バンク方式で必要とされる2フレーム分のメモリは、容量が大きすぎてコストパフォーマンスが悪いため、それを解決する手段として、1フレーム分のメモリを使用してシャフリング処理を行う方法が用いられていた。
【0024】
次に、1フレーム分のメモリでシャフリング処理を行う方法を図2を用いて説明する
図2は、標準モード・525/60方式の1フレーム分のメモリ構成を示す図であり、同図において、51はY信号DCTブロック、52はCr信号DCTブロック、53はCb信号DCTブロック、54はマクロブロック、55はスーパーブロックである。
【0025】
まずメモリヘの書き込みは、DCTブロックと呼ばれる、水平方向サンプリング数8、垂直方向サンプリング数8のブロックを最小単位として行われる。このDCTブロックは、Y信号DCTブロック51が4つ、Cr信号DCTブロック52が1つ、Cb信号DCTブロック53が1つの合計6つのマクロブロック54単位にまとめられ、さらにマクロブロック54が27個でスーパーブロック55にまとめられている。最初に書き込まれるのは、図中の斜線で示したスーパーブロック55であり、Y0からY3までのY信号DCTブロック51、Cr信号DCTブロック52、Cb信号DCTブロック53の順にマクロブロック54の単位で書き込まれ、各5つのスーパーブロック55中の0から26までのマクロブロック54が書き込まれると、順次下の段のスーパーブロック55に移動して書き込みが行われる。
【0026】
次に、読み出しは、1stフィールドのデータが横方向に1ラインおきに240ライン、続いて2ndフィールドのデータが同様に240ライン読み出される。次のフレームのデータは、読み出しが終了したスーパーブロック55に書き込みを行い、以降順次読み出しが終了したブロックに書き込みを行うことにより、1フレーム分のメモリでシャフリング処理を実現している。
【0027】
ここで、上記1フレーム分のメモリで行うシャフリング処理方法における前後フレームデータの混在現象について説明する。
【0028】
書き込み周期より読み出し周期が短い場合は、次第に書き込みが間に合わなくなるため、まだ書き込みが終了していないスーパーブロック55の読み出しが行われることになり、前フレームのデータと混ざったデータの読み出しが行われる。書き込み周期より読み出し周期が長い場合は、次第に読み出しが間に合わなくなるため、まだ読み出しが終了していないスーパーブロック55に次のフレームの書き込みが行われることになり、次フレームのデータと混在したデータの読み出しが行われる。
【0029】
このように、1フレーム分のメモリでシャフリング処理を行った場合、書き込み周期と読み出し周期が異なると前後のフレームのデータが混在する現象が発生する。しかも書き込み/読み出しのアドレス巡回規則が破綻するため、アドレス巡回をリセリットしないと復帰できない可能性もあり、使用は難しいものになる。
【0030】
しかし、最近ではメモリの大容量化および量産効果による低価格化により、外付けメモリを用いる場合、1フレーム分の専用メモリより汎用メモリを用いる方がコスト的に有利になってきている。16MbitのDRAMを用いた場合、1フレーム分のデータ量が最も多い標準モード・625/50方式(4.75Mbit)でも3フレーム分確保することができ、その結果、上記バンク方式を用いることができる。以下に2フレーム分のメモリを使用したバンク方式を用いた場合と、3フレーム分のメモリを使用してシャフリング処理を行った場合の、書き込み周期と読み出し周期が異なる時の比較を行う。
【0031】
まず、書き込み周期より読み出し周期が短い場合について、図3を用いて説明する。
【0032】
図3(a)は2フレーム分、図3(b)は3フレーム分のメモリを使用した場合である。図中のXは、シャフリングしながら読み出しを開始するのに充分なデータが書き込み終了している(標準モード525/60方式でスーパーブロック9段)位置であり、読み出しはこのXの位置を越えたデータに対して行うこととする。また、図中のYは、読み出し終了位置であり、これより前に書き込みが開始された場合はデータが混在する。また、メモリの1フレーム目をA、2フレーム目をB、3フレーム目をCとする。
【0033】
図3(a)において、A1の書き込み終了位置XよりA1の読み出しが先になるため、B0を2度読みするが、B0の読み出し終了位置Yより前にB1の書き込みが開始されるため、B0とB1のデータが混在して読み出される。次にA1の読み出しが行われるが、A1の読み出し終了位置Yより前にA2の書き込みが開始されるため、A1とA2のデータが混在して読み出される。続いて同様にB1の読み出しではB1とB2のデータが、A2の読み出しではA2とA3のデータが混在して読み出される。その次のB2の読み出しで、読み出し終了位置Yまで次のB3の書き込みが開始されないので、データの混在のない正常な読み出しに復帰する。
【0034】
図3(b)において、C0の書き込み終了位置XよりC0の読み出しが先になるため、B0を2度読みするが、C0の書き込み終了後はA1の書き込みとなるため、2度目のB0の読み出しはデータの混在がない正常な読み出しとなり、以後もデータが混在することはない。
【0035】
従って、2フレーム分のメモリを使用してシャフリング処理を行った場合は、読み出しと書き込みが重なっている期間はフレームのデータが混在して読み出される。読み出し周期と書き込み周期の位相差により、データが混在する場合と正常の場合とが周期的に現われる。なお、この時の混在するデータには2フレームの時間差がある。3フレーム分のメモリを使用してシャフリング処理を行った場合は、2度読みを行うことで、データの混在がなくなる。
【0036】
次に、書き込み周期より読み出し周期が長い場合について、図4を用いて説明する。
【0037】
図4(a)は2フレーム分、図4(b)は3フレーム分のメモリを使用した場合である。図中のXは、図3と同様にシャフリングしながら読み出しを開始するのに、充分なデータが書き込み終了している(標準モード525/60方式でスーパーブロック9段)位置である。読み出しはこのXの位置を越えたデータに対して行うこととする。また、図中のYも同様に、読み出し終了位置であり、これより前に書き込みが開始された場合はデータが混在する。また、メモリの1フレーム目をA、2フレーム目をB、3フレーム目をCとする。
【0038】
図4(a)において、B0の読み出し終了位置Yより前にB1の書き込みが開始されるため、B0とB1のデータが混在して読み出される。次にA1の読み出しが行われるが、読み出し終了位置Yより前にA2の書き込みが開始されるため、A1とA2のデータが混在して読み出される。続いて同様にB1の読み出しではB1とB2のデータが、A2の読み出しではA2とA3のデータが混在して読み出される。その次の読み出しは、A3の書き込み終了位置Xを越えているので、B2の読み出しを行わずにドロップし、A3の読み出しを行うことで、データが混在しない正常な読み出しに復帰する。
【0039】
図4(b)において、B1の読み出しの次の読み出しは、A2の書き込みが終了位置Xを越えているので、C1の読み出しを行わずにドロップし、A2の読み出しを行うことで、データが混在しない正常な読み出しとなる。
【0040】
従って、2フレーム分のメモリを使用してシャフリング処理を行った場合は、読み出しと書き込みが重なっている期間はフレームのデータが混在して読み出される。読み出し周期と書き込み周期の位相差により、データが混在する場合と正常の場合とが周期的に現われる。なお、この時の混在したデータには2フレームの時間差がある。3フレーム分のメモリを使用してシャフリング処理を行った場合は、ドロップを行うことで、データが混在することはない。
【0041】
以上のごとく、シャフリングメモリヘの書き込みと読み出しが非同期の場合、3フレーム分のメモリを使用することにより、データが混在することなくシャフリング処理が行える。
【0042】
また、特願平11−18465号公報でも、コンポジット信号等の外部入力映像信号を記録する際、シャフリングメモリへの映像データの書き込みと読み出しを非同期としているため、上記と同様の理由で3フレーム分のメモリを使用しているので、記録/再生で3フレーム分のメモリを兼用することができる。
【0043】
次に、3フレーム分のシャフリングメモリ6を使用した、本実施形態に係る記録再生装置の記録再生について図1を用いて説明する。
【0044】
最初に、この記録再生装置における、例えば、コンポジット信号の記録動作について説明する。
【0045】
まず、制御ブロック4で、入力されたコンポジット信号が、同期分離回路16にて同期信号が抽出され、垂直および水平同期分離回路17に供給される。垂直および水平同期分離回路17では、同期信号を垂直同期信号および水平同期信号に分離し、I/OPLL回路18で水平同期信号をリファレンスとして、国際無線通信諮問委員会(ITU−R)で勧告されている13.5MHzのクロックが形成され、マルチプレクサ19を介してI/Oコントロール信号発生回路20に供給される。I/Oコントロール信号発生回路20では、I/Oコントロール信号が形成され、13.5MHzのクロックと共にI/Oブロック1に供給される。
【0046】
垂直同期信号は、外部入力制御回路28で映像信号のフレーム長が標準の場合に、外部入力同期信号としてフレームパルス生成の基準となり、映像信号のフレーム長が非標準の周波数の場合には、自走カウンタによる内部自走同期信号がフレームパルス生成の基準となり、マルチプレクサ32を介して位相比較器29に供給される。
【0047】
また13.5MHzクロック発振回路21では、13.5MHzのクロックが形成され、4/1PLL回路22とDRPPLL回路26に供給される。4/1PLL回路22では13.5MHzのクロックが4倍され、54MHzのクロックが形成されて分周器23に供給される。分周器23では54MHzのクロックが1/3分周されて18MHzのクロックが形成され、FPカウンタ24とVSPコントロール信号発生回路25に供給される。FPカウンタ24では18MHzのクロックでカウントされたフレームパルスが生成され、VSPコントロール信号発生回路25と位相比較器29と外部入力制御回路28に供給される。位相比較器29ではFPカウンタ24からのフレームパルスと、マルチプレクサ32を介して入力される外部入力制御回路28からの基準フレームパルスとが比較され、その結果が13.5MHzクロック発振回路21に供給されて位相が合う方向に制御される。VSPコントロール信号発生回路25では、分周器23からの18MHzのクロックと、FPカウンタ24からのフレームパルスに基づいて形成されるVSPコントロール信号が、18MHzのクロックと共にVSPブロック2に供給される。また外部入力制御回路28で、シャフリングメモリ6のページ管理信号とマスク信号が形成され、VSPブロック2に供給される。
【0048】
またDRPPLL回路26では、13.5MHzクロック発振回路21からの13.5MHzのクロックが31/10倍されて41.85MHzのクロックが形成され、DRPコントロール信号発生回路27に供給される。DRPコントロール信号発生回路27では、41.85MHzのクロックに基づいてDRPコントロール信号が形成され、41.85MHzのクロックと共にDRPブロック3に供給される。
【0049】
次に、I/Oブロック1では、入力されたコンポジット信号は、入力映像信号処理回路5でサンプリングされると共にディジタル化され、さらに輝度データYおよびクロマデータCが形成され、制御ブロック4から供給される13.5MHzのクロックにより、外部入力制御回路28からのページ管理にしたがって、シャフリングメモリ6に書き込まれる。
【0050】
VSPブロック2では、制御ブロック4から供給される18MHzのクロックで、外部入力制御回路28からのベージ管理にしたがって、シャフリングメモリ6から映像データを読み出し、データマスク回路30で外部入力制御回路28からのマスク信号にしたがってマスク処理を施し、直交変換回路7でデータ圧縮し、フレーム化回路8で1画像分の映像データを形成し、PTGメモリ9に書き込むと共にパリティが付加される。
【0051】
DRPブロック3では、制御ブロック4から供給される41.85MHzのクロックで、PTGメモリ9から映像データを読み出し、エンコーダ10で所定の符号化処理を施し、記録ヘッド(図示せず)に出力する。
【0052】
次に、この記録再生装置の再生動作について説明する。
【0053】
まず制御ブロック4では、13.5MHzクロック発振回路21で形成された13.5MHzのクロックが、DRPLL回路26で31/10倍されて41.85MHzのクロックが形成され、DRPコントロール信号発生回路27に供給される。DRPコントロール信号発生回路27では、41.85MHzのクロックに基づいてDRPコントロール信号を形成し、41.85MHzのクロックと共にDRPブロック3に供給される。またDRPコントロール信号発生回路27では再生ヘッド(図示せず)からデコーダ11を介して供給されるテープに記録されたパイロット信号に基づいてキャプスタン速度が制御される。即ち、再生ヘッドにより記録トラックを正確にトレースすることができ、従って、映像データを正確に再生することができる。
【0054】
また、13.5MHzクロック発振回路21で形成された13.5MHzのクロックが4/1PLL回路22に供給され、4倍されて54MHzのクロックが形成されて分周器23に供給される。分周器23では54MHzのクロックが1/3分周されて18MHzのクロックが形成され、FPカウンタ24とVSPコントロール信号発生回路25に供給される。FPカウンタ24では18MHzのクロックでカウントされたフレームパルスが生成され、VSPコントロール信号発生回路25に供給される。VSPコントロール信号発生回路25では、分周器23からの18MHzのクロックと、FPカウンタ24からのフレームパルスに基づいて形成されるVSPコントロール信号が、18MHzのクロックと共にVSPブロック2に供給される。
【0055】
また分周器23では54MHzのクロックが1/4分周されて13.5MHzのクロックが形成され、マルチプレクサ19を介してI/Oコントロール信号発生回路に供給される。I/Oコントロール信号発生回路では、I/Oコントロール信号が形成され、13.5MHzのクロックと共にI/Oブロック1に供給される。
【0056】
DRPブロック3では、再生ヘッド(図示せず)により再生された映像データがデコーダ11に供給され、所定の復号化処理が施され、制御ブロック4から供給される41.85MHzのクロックでECCメモリ12に書き込まれると共に、誤り訂正される。
【0057】
VSPブロック2では、制御ブロック4から供給される18MHzのクロックによりECCメモリ12から映像データが読み出され、デフレーム化回路13を介して逆直交変換回路14に供給され、VSPコントロール信号に基づいて逆直交変換処理され、18MHzのクロックにより、1画像分の映像データを形成するようにシャフリングメモリ6に書き込まれる。
【0058】
I/Oブロック1では、制御ブロック4から供給される13.5MHzのクロックによりシャフリングメモリ6から映像データが読み出され、出力映像信号処理回路15で、I/Oコントロール信号に基づいて、コンポジットデータが形成されると共に、アナログ化されて外部に出力される。
【0059】
次に、この記録再生装置において、1394I/Fを用いたデータ通信で受信した映像データを、外部から入力される標準周波数のコンポジット信号にしたがってモニター出力を行う場合について説明する。
【0060】
まず、位相比較器29では1394I/F処理回路31を介して供給される1394I/F送信側フレームパルスがマルチプレクサ32を介して供給され、FPカウンタ24からのフレームパルスと比較し、その結果が13.5MHzクロック発振回路21に供給されて位相が合う方向に制御される。
【0061】
またVideo−Inから入力されたコンポジット信号は、同期分離回路16で同期信号が抽出され、垂直および水平同期分離回路17に供給される。垂直および水平同期分離回路17で同期信号を垂直同期信号および水平同期信号に分離し、I/OPLL回路18で水平同期信号をリファレンスとして、国際無線通信諮問委会(ITU−R)で勧告されている13.5MHzのクロックが形成され、マチプレクサ19を介してI/Oコントロール信号発生回路20に供給される。I/Oコントロール信号発生回路20では、I/Oコントロール信号が形成され13.5MHzのクロックと共にI/Oブロック1に供給される。
【0062】
VSPブロック2では、入力された1394I/F受信データを制御ブロック4から供給される18MHzのクロックにより1394I/F処理回路31で処理して、一旦ECCメモリ12に書き込んだ後、VSPコントロール信号にしたがって映像データを読み出し、デフレーム化回路13を介して逆直交変換回路14で逆直交変換処理された後、18MHzのクロックにより、外部入力制御回路28からのページ管理にしたがって、1画像分の映像データが形成されるようにシャフリングメモリ6に書き込まれる。
【0063】
I/Oブロック1では、垂直および水平同期分離回路17から供給される垂直同期信号を基準に、制御ブロック4から供給される13.5MHzのクロックで、外部入力制御回路28からのページ管理にしたがって、シャフリングメモリ6から映像データが読み出され、出力映像信号処理回路15で、I/Oコントロール信号に基づいてコンポジットデータが形成されると共に、アナログ化されて外部に出力される。
【0064】
この時、シャフリングメモリへの書き込み基準クロックの18MHzクロックと、読み出し基準クロックの13.5MHzは非同期のため、上記のように書き込み周期と読み出し周期のずれにより、読み出しフレームで同一フレームの2度読みやドロップフレームが発生する。しかし、1394I/F受信データをモニター出力しつつ、テープヘの記録を行う場合においては、モニター出力側において同一フレームの2度読みやドロッブフレームが発生しても、DRPブロック3に供給される41.85MHzクロックは、フレームパルスを作成する18MHzクロックの基となった、13.5MHzクロック発振回路21からの13.5MHzクロックにロックしているため、位相がずれることがなく、同一フレームの2度読みやドロップフレームの無い正常なテープ記録が行える。
【0065】
なお、図1では一例として、標準周波数の外部入力コンポジット信号からの水平同期信号にロックした13.5MHzクロックを、シャフリングメモリ6からの読み出し基準クロックとして用いたが、他にも13.5MHzのクリスタル発振を用いる方法や、外部入力コンポジット信号のバーストロックを用いて13.5MHzクロックを生成する方法等でも、安定したモニター映像出力を行う上で十分な、精度の安定した13.5MHzクロックを得ることができる。
【0066】
ここで、外部入力制御回路28について図5および図6を用いて説明する。
【0067】
図5は、外部入力制御回路28の詳細な構成を示すブロック図である。
【0068】
同図において、41はフレーム長判定回路、42はリファレンスベージ生成回路、43はマルチプレクサである。
【0069】
図6は、外部入力制御回路28における処理手順を示す図である。
【0070】
フレームパルスがノイズ等や回路同期乱れ等により、フレーム長が乱れた場合は、以下のようにしてシャフリングメモリ6のページ管理を行う。なお、1394I/F通信での受信時等のフレームパルスのジッターは、PLL回路によりクロック数は一定に保たれるため、フレーム長乱れとはならない。
【0071】
フレーム長判定回路41では、入力されたフレームパルスの立ち上がりからフレームのスタートを検出し、前回のフレーム長を判定する。フレーム長が所定の長さより長い、または所定の長さより短い場合はエラーフラグを立てる。このエラーフラグに基づいて、リファレンスページ生成回路42でシャフリングメモリ6のページ管理を行う。まずフレームスタート時にページを確定し、その後は前回のフレーム長判定がエラーでない時のみ、リファレンスページを更新する。エラーの場合はリファレンスページは更新されず、保持される。このリファレンスページは、マルチプレクサ43により、記録側リファレンスページと切り替えて出力される。このリファレンスベージを元に書き込みページはフレームパルスの先頭で、リファレンスページに1を加えてセットし、読み出しページは外部入力同期の先頭で、リファレンスページの値をそのままセットする。
【0072】
このように、リファレンスページはフレームパルスに同期して更新され、書き込みはフレームパルスにロックした18MHzクロックにより書き込まれるが、読み出しは18MHzとは非同期の13.5MHzクロックにより読み出されるため、フレームパルスの周波数が変動した場合でも、安定した13.5MHzクロックにより揺れのない映像データをモニター出力することができる。
【0073】
また、フレーム長に異常があった場合、フレーム長が正常に戻るまで、即ち、シャフリングメモリ6に1フレーム分の映像データを正常に書き込むことができるまで、書き込み/読み出しページが保持されるので、正常な映像データだけを出力することができる。
【0074】
次に、本発明の第2の実施形態を図7を用いて説明する。
【0075】
図7は、第1の実施形態に係る記録再生装置を複数台用いて各記録再生装置から映像信号を読み出して編集する映像編集システムの構成を示すブロック図である。
【0076】
同図において、61は映像編集装置、62,63,64はそれぞれ本実施形態に係る記録再生装置A,記録再生装置B,記録再生装置Cである。
【0077】
まず、映像編集装置61から同期信号として標準周波数のコンポジット信号が出力され、記録再生装置A62、記録再生装置B63、記録再生装置C64に入力される。各記録再生装置A62,B63,C64で再生操作を行うと、映像編集装置61から入力されたコンポジット信号の垂直・水平同期信号に同期した再生映像データが、それぞれからコンポジット信号として出力され、映像編集装置61に入力される。この時、各記録再生装置A62,B63,C64からの再生映像データ出力は、同期が一致しているため、各種の映像編集作業を比較的容易に行うことができる。例えば、記録再生装置A62の映像データと、記録再生装置B63の映像データとを繋げる場合、フレーム単位での映像データの切り替え作業によりスムーズに行うことができる。また、例えば、記録再生装置B63の映像データと、記録再生装置C64の映像データを合成する場合でも、同期合わせをする必要が無いので、速やかな映像の合成作業を行うことができる。
【0078】
なお、本映像編集システムでは、記録再生装置3台を用いる場合について説明したが、最低2台以上の複数台用いることができる。
【0079】
上記のごとく、本実施形態の発明によれば、再生時にフレームパルスの周波数に乱れが生じても、外部から入力する安定した同期信号およびクロックにしたがって、乱れのない映像をモニター出力することができる。
【0080】
また、3フレーム分のシャフリングメモリを用いることにより、フレームのデータの混在がなく、さらにフレームページを管理することにより、フレームパルスのフレーム長に乱れがあっても正常な映像データを出力することができる。
【0081】
また1394I/Fのような圧縮ストリームの受信記録時においても、受信データに同期した同期信号および基準クロックを記録側で用いることにより、受信フレームパルスの周波数に乱れが生じても、モニター出力に関係なく、正常な記録を行うことができる。
【0082】
また、本実施形態に係る記録再生装置を最低2台以上の複数台用い、それぞれに同一の同期信号を入力することにより、それぞれの再生映像データの同期を揃えて出力することができる。
【0083】
【発明の効果】
本願請求項1ないし請求項3に記載の発明によれば、安定した読み出し基準クロックを用いてシャフリングメモリから映像データを読み出すので、内部フレームパルスにジッターが生じた場合でもモニター出力映像を乱すことなく再生を行うことができる。また、3フレーム分のシャフリングメモリを用いるので、フレームのデータが混在することなく再生が行え、フレームパルスが乱れた場合でも、フレームパルスの乱れを検出し、3フレーム分のシャフリングメモリのフレームページを管理することにより、正常な映像データを出力することができ、再生時の画質を高めることができる。
【0085】
本願請求項に記載の発明によれば、圧縮ストリームの受信記録時に、受信フレームパルスおよび受信フレームパルスにロックした基準クロックに基づくクロックで記録を行うので、受信フレームパルスにジッターが生じた場合でも、正常に記録を行えると共に、モニター出力映像の画質を高めることができる。
【0086】
本願請求項に記載の発明によれば、外部から入力される同期信号に同期して映像データを出力することができるため、本記録再生装置を複数台用い、それぞれに同じ同期信号を与えることができる。
【0087】
本願請求項に記載の発明によれば、外部から入力される同期信号に同期して映像データを出力することができるため、本記録再生装置を複数台用い、それぞれに同じ同期信号を与えることで、それぞれの出力映像データの同期を合わせることができ、映像編集作業を簡単に行うことができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る記録再生装置の構成を示すブロック図である。
【図2】標準モード・525/60方式の1フレーム分のメモリ構成を示す図である。
【図3】書き込み周期より読み出し周期が短い場合の、映像データの2フレーム分および3フレーム分のメモリを使用した場合の、書き込みおよび読み出し処理を説明するための図である。
【図4】書き込み周期より読み出し周期が長い場合の、映像データの2フレーム分および3フレーム分のメモリを使用した場合の、書き込みおよび読み出し処理を説明するための図である。
【図5】外部入力制御回路28の詳細な構成を示すブロック図である。
【図6】外部入力制御回路28における処理手順を示す図である。
【図7】本発明の第2の実施形態に係る映像編集システムの構成を示すブロック図である。
【図8】従来技術に係る記録再生装置の構成を示すブロック図である。
【符号の説明】
1 I/Oブロック
2 VSPブロック
3 DRPブロック
4 制御ブロック
5 入力映像信号処理回路
6 シャフリングメモリ
7 直交変換回路
8 フレーム化回路
9 PTGメモリ
10 エンコーダ
11 デコーダ
12 ECCメモリ
13 デフレーム化回路
14 逆直交変換回路
15 出力映像信号処理回路
16 同期分離回路
17 垂直および水平同期分離回路
18 I/OPLL回路
19 マルチプレクサ
20 I/Oコントロール信号発生回路
21 13.5MHzクロック発振回路
22 4/1PLL回路
23 分周器
24 フレームパルス生成カクンタ
25 VSPコントロール信号発生回路
26 DRPPLL回路
27 DRPコントロール信号発生回路
28 外部入力制御回路
29 位相比較器
30 データマスク回路
31 1394I/F処理回路
32 マルチプレクサ
41 フレーム長判定回路
42 リファレンスページ生成回路
43 マルチプレクサ
51 Y信号DCTブロック
52 Cr信号DCTブロック
53 Cb信号DCTブロック
54 マクロブロック
55 スーパーブロック
61 映像編集装置
62 記録再生装置A
63 記録再生装置B
64 記録再生装置C

Claims (6)

  1. 映像データを記録・再生する記録再生装置において、
    メモリと、映像データに同期した書き込み基準クロックおよび同期信号にしたがって前記メモリに映像データを書き込む書き込み手段と、前記書き込みクロックとは非同期の安定化された読み出し基準クロックおよび同期信号にしたがって前記メモリから映像データを読み出す読み出し手段とを備え、
    前記メモリは、少なくとも映像データの3フレーム分の容量を有し、前記メモリのフレームページを管理するページ管理手段を備え、前記ページ管理手段にしたがって前記書き込み手段により書き込まれた映像データを、前記ページ管理手段による同一フレームの2度読みまたはフレームドロップにしたがって前記読み出し手段で読み出すことを特徴とする記録再生装置。
  2. 請求項1に記載の記録再生装置において、
    前記ページ管理手段は、映像データのフレームパルスのフレーム長が所定の長さの範囲にあるか否かを検出する検出手段と、前記検出手段によりフレーム長が前記所定の長さの範囲にないことを検出した時は、前記メモリの書き込みおよび読み出しページを保持するように制御する保持手段とを備えることを特徴とする記録再生装置。
  3. 請求項1ないし請求項2のいずれか1つの請求項に記載の記録再生装置において、
    前記メモリは記録時と再生時において共用されることを特徴とする記録再生装置。
  4. 請求項1ないし請求項3のいずれか1つの請求項に記載の記録再生装置において、
    インターフェース(I/F)を介して受信した圧縮ストリームを受信データに同期した基準クロックに基づくクロックで記録処理する手段とを備えていることを特徴とする記録再生装置。
  5. 請求項1ないし請求項4のいずれか1つの請求項に記載の記録再生装置において、
    前記読み出し手段で用いられる読み出し基準クロックおよび同期信号の内少なくともどちらか一方は、当該記録再生装置の外部から供給されることを特徴とする記録再生装置。
  6. 複数台の請求項1ないし請求項4のいずれか1つの請求項に記載の記録再生装置と、前記複数台の記録再生装置のそれぞれのメモリから映像データを読み出して編集する映像編集装置とを備え、前記メモリからの映像データの読み出し側基準クロックおよび同期信号を共通化し、前記各記録再生装置からの出力映像を同期化したことを特徴とする映像編集システム。
JP2000174303A 2000-06-09 2000-06-09 記録再生装置 Expired - Fee Related JP3569205B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2000174303A JP3569205B2 (ja) 2000-06-09 2000-06-09 記録再生装置
US10/276,255 US7295768B2 (en) 2000-06-09 2001-03-27 Recording and reproducing apparatus
EP01915847A EP1292139A4 (en) 2000-06-09 2001-03-27 RECORDER / PLAYBACK DEVICE
US12/588,121 USRE43897E1 (en) 2000-06-09 2001-03-27 Recording and reproducing apparatus
KR10-2002-7016737A KR100499597B1 (ko) 2000-06-09 2001-03-27 기록 재생 장치
CNB018040209A CN1226874C (zh) 2000-06-09 2001-03-27 记录和再现装置
PCT/JP2001/002489 WO2001095622A1 (en) 2000-06-09 2001-03-27 Recorder/player apparatus
MYPI20011580 MY137731A (en) 2000-06-09 2001-04-03 Recording and reproducing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000174303A JP3569205B2 (ja) 2000-06-09 2000-06-09 記録再生装置

Publications (2)

Publication Number Publication Date
JP2001359040A JP2001359040A (ja) 2001-12-26
JP3569205B2 true JP3569205B2 (ja) 2004-09-22

Family

ID=18676370

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000174303A Expired - Fee Related JP3569205B2 (ja) 2000-06-09 2000-06-09 記録再生装置

Country Status (7)

Country Link
US (2) USRE43897E1 (ja)
EP (1) EP1292139A4 (ja)
JP (1) JP3569205B2 (ja)
KR (1) KR100499597B1 (ja)
CN (1) CN1226874C (ja)
MY (1) MY137731A (ja)
WO (1) WO2001095622A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3718375B2 (ja) * 1999-06-30 2005-11-24 シャープ株式会社 記録再生装置
EP1584198A1 (en) * 2003-01-06 2005-10-12 Koninklijke Philips Electronics N.V. Method and apparatus for improving audio/video signal sync stability in digital recording devices
TW201021821A (en) * 2008-12-10 2010-06-16 Fl Dauern Res Inc Formulations and methods for maintaining normal levels of catecholamines, glucocorticoids, androsteroids and their related hormones
CN103531246B (zh) * 2013-10-31 2016-10-05 西安紫光国芯半导体有限公司 快速以读代写的存储器纠错方法
CN115943624A (zh) * 2021-08-03 2023-04-07 京东方科技集团股份有限公司 图像数据传输装置、方法、电子设备、介质和显示系统

Family Cites Families (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS62193383A (ja) * 1986-02-20 1987-08-25 Kokusai Denshin Denwa Co Ltd <Kdd> 動画像信号伝送方式
US5121392A (en) * 1990-02-21 1992-06-09 Alcatel Network Systems, Inc. Synchronous to non-synchronous data line pair interface apparatus
JP2948881B2 (ja) 1990-07-26 1999-09-13 大阪瓦斯株式会社 注入装置
JPH0486381U (ja) * 1990-11-30 1992-07-27
TW223690B (ja) 1991-02-13 1994-05-11 Ampex
JPH0536219A (ja) * 1991-07-31 1993-02-12 Matsushita Electric Ind Co Ltd 記録再生装置
KR950007876B1 (ko) 1992-12-12 1995-07-20 엘지전자주식회사 디지탈 브이 씨 알의 영상 데이타 기록 회로
JPH06189194A (ja) * 1992-12-17 1994-07-08 Pioneer Electron Corp 映像合成装置
US5477397A (en) * 1993-02-23 1995-12-19 Matsushita Electric Corporation Of America Digital high definition television receiver with features that facilitate trick-play modes on a digital VCR
EP0637889B1 (en) * 1993-08-06 2001-01-17 Lg Electronics Inc. Device for converting the frame rate of an image
GB2281835B (en) 1993-09-08 1998-04-22 Sony Uk Ltd Method and apparatus for synchronising video signals
US5568165A (en) * 1993-10-22 1996-10-22 Auravision Corporation Video processing technique using multi-buffer video memory
DE4422615A1 (de) * 1994-06-28 1996-01-04 Philips Patentverwaltung Bildwiedergabeanordnung
JPH08126014A (ja) 1994-10-26 1996-05-17 Sony Corp 画像信号処理方法及び画像信号処理装置
JP3541484B2 (ja) 1995-02-13 2004-07-14 ソニー株式会社 再生装置、記録装置
US5579060A (en) 1995-03-15 1996-11-26 Elbex Video, Ltd. Data transmitter for selectively transmitting data to receivers via transmission lines switched on or over in synchronization with an external synchronizing signal
US5926602A (en) * 1995-07-13 1999-07-20 Sanyo Electric Co., Ltd. Time-base corrector circuit capable of adding color burst signal to output signal based on kind of input video signal
JP3570785B2 (ja) * 1995-07-18 2004-09-29 株式会社ルネサステクノロジ 動画像伸張再生方法および装置
DE69616046T2 (de) 1995-12-15 2002-06-20 Koninklijke Philips Electronics N.V., Eindhoven Bildaufnahme-und wiedergabevorrichtung und schnittstellenschaltung zur benutzung mit dieser vorrichtung
US5914711A (en) * 1996-04-29 1999-06-22 Gateway 2000, Inc. Method and apparatus for buffering full-motion video for display on a video monitor
KR0178756B1 (ko) * 1996-06-29 1999-04-15 김광호 셔플을 위한 최적의 메모리 제어방법 및 그 장치
KR100256443B1 (ko) * 1996-08-16 2000-06-01 윤종용 멀티 미디어 디스플레이 장치
US5933155A (en) * 1996-11-06 1999-08-03 Silicon Graphics, Inc. System and method for buffering multiple frames while controlling latency
JPH10276396A (ja) 1997-03-28 1998-10-13 Sony Corp ディジタルビデオ信号記録再生装置およびその方法
US6061399A (en) * 1997-05-28 2000-05-09 Sarnoff Corporation Method and apparatus for information stream frame synchronization
US6108487A (en) 1997-07-31 2000-08-22 Sony Corporation Shuffle encoded video data recording and reproduction
KR100247978B1 (ko) * 1997-08-08 2000-03-15 윤종용 픽쳐 디코딩 동기화 회로 및 그 방법
US6034731A (en) * 1997-08-13 2000-03-07 Sarnoff Corporation MPEG frame processing method and apparatus
US6571054B1 (en) 1997-11-10 2003-05-27 Nippon Telegraph And Telephone Corporation Method for creating and utilizing electronic image book and recording medium having recorded therein a program for implementing the method
KR100331564B1 (ko) * 1999-03-23 2002-04-06 윤종용 영상 신호의 흔들림 보정 장치 및 방법
US6330286B1 (en) * 1999-06-09 2001-12-11 Sarnoff Corporation Flow control, latency control, and bitrate conversions in a timing correction and frame synchronization apparatus
JP3718375B2 (ja) 1999-06-30 2005-11-24 シャープ株式会社 記録再生装置
CN100499762C (zh) * 2000-03-17 2009-06-10 汤姆森许可公司 用于同时记录和显示两个不同的视频节目的方法和装置

Also Published As

Publication number Publication date
KR20030010675A (ko) 2003-02-05
EP1292139A4 (en) 2004-11-10
JP2001359040A (ja) 2001-12-26
USRE43897E1 (en) 2013-01-01
WO2001095622A1 (en) 2001-12-13
CN1226874C (zh) 2005-11-09
US7295768B2 (en) 2007-11-13
CN1429453A (zh) 2003-07-09
MY137731A (en) 2009-03-31
US20030123842A1 (en) 2003-07-03
EP1292139A1 (en) 2003-03-12
KR100499597B1 (ko) 2005-07-07

Similar Documents

Publication Publication Date Title
JPH08195072A (ja) ディジタルデータ記録/再生装置及び方法
JP3569205B2 (ja) 記録再生装置
KR100816964B1 (ko) 데이터 처리 장치 및 방법
KR100693233B1 (ko) 데이터 기록 재생 장치
JP2001509940A (ja) 第一のビット伝送速度を有する第一の情報信号、及びこの第一のビット伝送速度よりも大きい第二のビット伝送速度を有する第二の情報信号の記録及び再生
KR100469878B1 (ko) 기록 재생 장치
JPH0691671B2 (ja) クロマ信号位相補正回路
JP3151114B2 (ja) 映像信号処理装置
JP4157795B2 (ja) 映像デジタル記録再生装置
JP2001268525A (ja) タイムベースコレクタ回路
JP4011685B2 (ja) 信号処理装置
JP3055402B2 (ja) 映像信号処理装置
JP4010067B2 (ja) 同期検出装置および方法、ならびに、再生装置
JPH10222935A (ja) 記録装置
JP3036014B2 (ja) 磁気記録再生装置
JPH0666104B2 (ja) 時間軸補正装置
JPH11252058A (ja) 多重化装置及び方法
JP2003319338A (ja) 信号処理装置、およびこれを用いた記録装置と再生装置
JPH0822673A (ja) 記録装置と再生装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040323

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040512

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040608

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040617

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090625

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100625

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100625

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110625

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120625

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120625

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130625

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees