JP4358249B2 - 映像蓄積装置とその制御方法 - Google Patents

映像蓄積装置とその制御方法 Download PDF

Info

Publication number
JP4358249B2
JP4358249B2 JP2007070925A JP2007070925A JP4358249B2 JP 4358249 B2 JP4358249 B2 JP 4358249B2 JP 2007070925 A JP2007070925 A JP 2007070925A JP 2007070925 A JP2007070925 A JP 2007070925A JP 4358249 B2 JP4358249 B2 JP 4358249B2
Authority
JP
Japan
Prior art keywords
data
page
buffer memory
material data
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007070925A
Other languages
English (en)
Other versions
JP2008236187A (ja
Inventor
鋭明 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2007070925A priority Critical patent/JP4358249B2/ja
Priority to CA2619344A priority patent/CA2619344C/en
Priority to MX2008001567A priority patent/MX2008001567A/es
Priority to BRPI0800137-5A priority patent/BRPI0800137A/pt
Priority to US12/024,173 priority patent/US8527717B2/en
Priority to CN2008100094874A priority patent/CN101271729B/zh
Publication of JP2008236187A publication Critical patent/JP2008236187A/ja
Application granted granted Critical
Publication of JP4358249B2 publication Critical patent/JP4358249B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C15/00Digital stores in which information comprising one or more characteristic parts is written into the store and in which information is read-out by searching for one or more of these characteristic parts, i.e. associative or content-addressed stores
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C7/00Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1006Data managing, e.g. manipulating data before writing or reading out, data bus switches or control circuits therefor
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11CSTATIC STORES
    • G11C7/00Arrangements for writing information into, or reading information out from, a digital store
    • G11C7/10Input/output [I/O] data interface arrangements, e.g. I/O data control circuits, I/O data buffers
    • G11C7/1015Read-write modes for single port memories, i.e. having either a random port or a serial port
    • G11C7/1039Read-write modes for single port memories, i.e. having either a random port or a serial port using pipelining techniques, i.e. using latches between functional memory parts, e.g. row/column decoders, I/O buffers, sense amplifiers

Landscapes

  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Memory System (AREA)

Description

本発明は、例えばNANDフラッシュメモリのようにページ単位で書き込まれる不揮発性メモリを用いて、音声等の素材データを蓄積する映像蓄積装置とその制御方法に関する。
不揮発性メモリであるNANDフラッシュメモリは、大容量、低価格という特徴のため、デジタルカメラやデジタルオーディオプレイヤー等に多く使用されている。このように、NANDフラッシュメモリを民生用機器に用いる場合には問題なく使用できるが、放送用の映像蓄積装置に使用する場合には、NANDフラッシュメモリの書き込み速度の遅さ、および蓄積されている素材データの消去単位であるブロックの大きさが問題となっている。
従来の映像蓄積装置では、NANDフラッシュメモリの書き込み速度の遅さを補う方法として、複数個のNANDフラッシュメモリを並列接続することが提案されている。しかしながら、複数個のNANDフラッシュメモリを並列接続することにより、NANDフラッシュメモリへの書き込み単位であるページサイズがメモリIC単体のときと比較して並列数倍の大きさになってしまう。例えば、1ページの容量が2,048B(Bはbyte)のNANDフラッシュメモリを64個並列接続すると、そのページサイズは131,072Bとなる。
通常放送で使用される音声は、48kHz16bitステレオであるため、1秒間のデータ量は、192kB/sである。NANDフラッシュメモリにはページ単位でしか書き込めないため、NANDフラッシュメモリを64個並列接続した映像蓄積装置にこの音声データを書き込むには、バッファに0.683秒分のデータを溜めてからでないと書き込めないことになる。
ところで、映像蓄積装置で素材データを収録する時には、収録後追っかけ再生をすぐに行い、素材データが正しく収録されているか否かを確認することが一般的である。しかしながら、上述の例では、音声は0.683秒分のデータを溜めた後でないと映像蓄積装置のNANDフラッシュメモリにデータを書き込むことができないので、0.683秒後でないと追っかけ再生ができないことになる。なお、ここではNANDフラッシュメモリへの書き込み時間に起因する遅延のみについて述べたが、実際の映像蓄積装置では他の要素による遅延もあるため、0.683秒よりも長い時間経過しないと追っかけ再生ができない。
また、上述の例では、64個のNANDフラッシュメモリを並列接続したが、高速レートの映像を蓄積する場合には64個よりも多くのNANDフラッシュメモリを並列接続しなければならない。これにより、ページサイズはさらに大きくなるため、追っかけ再生を開始するには、上記の0.683秒よりも長い時間待たなくてはならない。追っかけ再生開始までの時間が長くなることにより、ユーザによる収録開始から追っかけ再生までの一連の「収録」の作業性が悪くなる。
なお、入力アドレスで指定された所定のアドレスから任意のアドレスまでのデータが入力されると、その1ページ内のアドレスのデータレジスタの内容を所定の値に自動的に認定し、1ページより小さいサイズの書き込みを実行する際に1ページ分のデータを入力することなく書き込みを実行することができる半導体メモリが提案されている(例えば、特許文献1参照)。
特開2003−178591号公報
以上のように、従来のページ単位で素材データを書き込む不揮発性メモリを用いた映像蓄積装置では、広帯域の素材データと狭帯域の素材データとが混在している状況で、音声データを収録する際、音声データのデータ量の少なさ故、追っかけ再生の開始が遅れ、作業性の悪化を招いていた。
この発明は上記事情によりなされたもので、その目的は、広帯域の素材データと狭帯域の素材データとが混在している状況で、音声を収録する際に、追っかけ再生の開始を早くし、収録の作業性を向上させることが可能な映像蓄積装置とその制御方法を提供することにある。
上記目的を達成するため、本発明に係る映像蓄積装置は、ページ単位で書き込まれる複数の不揮発性メモリを用いて、映像による広帯域素材と映像以外の音声を含む狭帯域素材が混在する素材データを蓄積する映像蓄積装置において、複数ページ分の容量を有し、外部から入力される前記素材データが1ページ以上溜まると1ページ分のデータを出力する書き込み用バッファメモリと、前記複数の不揮発性メモリを備え、前記書き込み用バッファメモリから出力される1ページ分の素材データを前記複数の不揮発性メモリに蓄積する蓄積部と、前記書き込み用バッファメモリに入力される前記素材データが音声データである場合、前記書き込み用バッファメモリ内に蓄積される音声データの容量が1ページ以下の予め設定された容量に達すると前記音声データにダミーデータを付加して1ページ分の素材データとして前記蓄積部に対する書き込み制御を行う書き込み制御部とを具備する。
このような手段を講じることにより、素材データが音声データである場合、書き込み用バッファメモリに蓄積される1ページに満たない音声データにダミーデータを付加し、1ページ分の素材データとして蓄積部の不揮発性メモリに書き込むようにしている。これにより、蓄積部へのページ単位の書き込みを短時間周期で行えるようになる。
この発明によれば、蓄積部へのページ単位の書き込みを短時間周期で行うことにより、音声の追っかけ再生の開始を早めることができる映像蓄積装置とその制御方法を提供することが可能となる
以下、図面を参照しながら本発明の実施の形態について詳細に説明する。なお、実際の映像蓄積装置には、映像データと音声データの両方が蓄積されるが、追っかけ再生を開始するタイミングは音声データのデータ容量によって決まるため、以下では、映像蓄積装置における音声データの書き込み・読み出しについてのみ述べる。このとき、音声データは、48kHz16bitステレオであり、そのデータ量は、192kB/sである。
図1は、本発明の一実施形態に係る映像蓄積装置の機能構成を示すブロック図である。図1において、符号1は、蓄積部を示している。蓄積部1は、並列接続された64個のNANDフラッシュメモリを具備している。本実施例で用いられるNANDフラッシュメモリの書き込み単位は1ページ(2,048B)であり、64個のNANDフラッシュメモリを並列接続することにより、蓄積部1のページサイズは131,072Bとなる。
収録が開始されると、音声データは、書き込み用バッファメモリ2に入力され、この書き込み用バッファメモリ2で蓄積部1の書き込み動作との時間的な整合をとるため一時保持された後、制御部3の指示により蓄積部1に書き込まれる。
また、蓄積部1のNANDフラッシュメモリに書き込まれた音声データは、制御部3の指示により読み出され、読み出し用バッファメモリ4で一時保持された後、外部に出力される。
図2は、本発明の一実施形態に係る書き込み用バッファメモリ2における音声データの蓄積例を示す概念図である。
書き込み用バッファメモリ2は、複数ページ分の容量を持ち、先頭アドレスから順次書き込まれ、最終アドレスまで行くと先頭アドレスに戻るリングバッファとなっている。音声データのデータ量は192kB/sであるため、書き込み用バッファメモリ2が1ページ分の音声データを溜めるには、0.683秒(約20.7フレーム)かかる。
本実施例では、4フレーム分の音声データが書き込み用バッファメモリ2に蓄積されると、制御部3の指示により、16.7フレーム分のダミーデータが付加され、1ページ分の素材データとして、蓄積部1のNANDフラッシュメモリに出力される。これにより、4フレーム周期でNANDフラッシュメモリに音声データを書き込むことが可能となる。また、この場合、収録開始から4フレーム後に最初のNANDフラッシュメモリへの書き込みが終わるので、映像蓄積装置において他の要因がなければ、5フレーム後から追っかけ再生ができることとなる。
4フレーム分の音声データに16.7フレーム分のダミーデータを付加することにより、音声データにおけるメモリの使用効率は4/20.7(約19%)に低下するが、映像蓄積装置において主に使用されるのは映像データであるため、全体のメモリ使用率の低下はわずかである。50Mbpsの映像と音声を各1素材ずつ等時間収録する例では、メモリの使用率は約97%であり、実運用上は映像1素材と音声4素材を組で収録する場合が多くこの時は83%となる。
次に、上記構成における制御部3の処理動作を説明する。
図3は、上記一実施形態に係る制御部3による蓄積部1への音声データの書き込み処理を示すフローチャートである。
収録が開始されると、書き込み用バッファメモリ2に音声データが入力される。
制御部3は、この入力により書き込み用バッファメモリ2に4フレーム分の音声データが蓄積されたか否かの判断をする(ステップST3a)。4フレーム分の音声データが蓄積された場合(ステップST3aのYes)、書き込み用バッファメモリ2へ4フレーム分の音声データに16.7フレーム分のダミーデータを付加する旨の信号を送る(ステップST3b)。この処理により、書き込み用バッファメモリに蓄積された4フレーム分の音声データは、1ページ分の素材データとなる。
続いて、蓄積部1に書き込みコマンド信号およびNANDフラッシュメモリにおける書き込みブロックのアドレスを入力する(ステップST3c)。書き込みコマンド信号が蓄積部1に与えられると、書き込み用バッファメモリ2から1ページ分の素材データが出力され、アドレスで示されたNANDフラッシュメモリのブロックに書き込まれる。
次に書き込み処理を停止するか否かを判断し(ステップST3d)、停止する場合(ステップST3dのYes)、一連の処理動作を終了する。停止しない場合(ステップST3dのNo)、ST3aに移行し、書き込み処理を継続する。
図4は、上記一実施形態に係る制御部3による蓄積部1からの音声データの読み出し処理を示すフローチャートである。
制御部3は、蓄積部1に読み出しコマンドおよびアドレスを入力し(ステップST4a)、読み出し用バッファメモリ4に出力信号を入力する(ステップST4b)。これにより、読み出し用バッファメモリ4から外部に音声データが出力される。なお、蓄積部1からの読み出しは、ページ単位ではなく、必要なデータのみを読み出せるので、付加したダミーデータは読み出す必要はなく、読み出し時間に無駄が出るということはない。
以上のように、書き込み用バッファメモリ2の構成は従来方式と同様であるが、従来方式は、入力された音声データを単純に書き込み用バッファメモリ2に書き込み、データ量が1ページ以上となったのを判断して蓄積部1に書き込むのに対し、本発明では4フレームごとにダミーデータを音声データに付加して強制的に蓄積部1に書き込む方式をとる。これにより、蓄積部1へのページ単位の書き込みを短時間周期で行えるようになる。
したがって、音声の追っかけ再生の開始を早めることができるため、収録開始から追っかけ再生の終了時までという一連の「収録」の中で、作業性を向上させることが可能となる。
なお、この発明は上記実施形態に限定されるものではない。例えば上記実施形態では、64個のNANDフラッシュメモリを並列接続した蓄積部を用いる例について説明したが、もっと多くのNANDフラッシュメモリを並列接続した蓄積部を用いる場合でも同様に実施可能である。このとき、映像蓄積装置のページサイズはさらに大きくなり、本発明の効果はより大きくなる。
さらに、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。
本発明に係る映像蓄積装置の一実施形態の構成を示すブロック図。 上記一実施形態の書き込み用バッファメモリにおける音声データの蓄積例を示す模式図。 上記一実施形態の制御部による蓄積部への音声データの書き込み処理を示すフローチャート。 上記一実施形態の制御部による蓄積部からの音声データの読み出し処理を示すフローチャート。
符号の説明
1…蓄積部、2…書き込み用バッファメモリ、3…制御部、4…読み出し用バッファメモリ。

Claims (4)

  1. ページ単位で書き込まれる複数の不揮発性メモリを用いて、映像による広帯域素材と映像以外の音声を含む狭帯域素材が混在する素材データを蓄積する映像蓄積装置において、
    複数ページ分の容量を有し、外部から入力される前記素材データが1ページ以上溜まると1ページ分のデータを出力する書き込み用バッファメモリと、
    前記複数の不揮発性メモリを備え、前記書き込み用バッファメモリから出力される1ページ分の素材データを前記複数の不揮発性メモリに蓄積する蓄積部と、
    前記書き込み用バッファメモリに入力される前記素材データが音声データである場合、前記書き込み用バッファメモリ内に蓄積される音声データの容量が1ページ以下の予め設定された容量に達すると前記音声データにダミーデータを付加して1ページ分の素材データとして前記蓄積部に対する書き込み制御を行う書き込み制御部と
    を具備することを特徴とする映像蓄積装置。
  2. 前記蓄積部に蓄積している素材データを読み出すべく制御する読み出し制御部と
    前記蓄積部から読み出される素材データを一時的に保存して外部に出力する読み出し用バッファメモリと
    をさらに具備することを特徴とする請求項1に記載の映像蓄積装置。
  3. ページ単位で書き込まれる複数の不揮発性メモリを用いて、映像による広帯域素材と映像以外の音声を含む狭帯域素材が混在する素材データを蓄積する映像蓄積装置に用いられ、
    複数ページ分の容量を有する書き込み用バッファメモリに前記素材データを一時的に保持し、
    前記書き込み用バッファメモリに入力される前記素材データが音声データである場合、前記書き込み用バッファメモリに保持された前記音声データの容量が、1ページ以下の予め設定された容量に達したか否かを判断し、
    前記書き込み用バッファメモリに保持された前記音声データが前記予め設定された容量に達した場合、前記音声データにダミーデータを付加して1ページ分の素材データとし、
    前記書き込み用バッファメモリに1ページ以上の前記素材データを保持すると1ページ分の素材データを、前記複数の不揮発性メモリを備えた蓄積部に出力し、
    前記1ページ分の素材データを、前記蓄積部に備えられた前記複数の不揮発性メモリに蓄積することを特徴とする映像蓄積装置の制御方法。
  4. さらに、前記蓄積部に蓄積している素材データ読み出すべく制御し、
    前記蓄積部から読み出される素材データを読み出し用バッファメモリに一時的に保存して外部に出力することを特徴とする請求項3に記載の映像蓄積装置の制御方法。
JP2007070925A 2007-03-19 2007-03-19 映像蓄積装置とその制御方法 Expired - Fee Related JP4358249B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2007070925A JP4358249B2 (ja) 2007-03-19 2007-03-19 映像蓄積装置とその制御方法
CA2619344A CA2619344C (en) 2007-03-19 2008-01-30 Content data storage device and its control method
MX2008001567A MX2008001567A (es) 2007-03-19 2008-02-01 Dispositivo de almacenamiento de datos de contenido y su metodo de control.
BRPI0800137-5A BRPI0800137A (pt) 2007-03-19 2008-02-01 dispositivo de armazenamento de dados de conteúdo e seu método de controle
US12/024,173 US8527717B2 (en) 2007-03-19 2008-02-01 Content data storage device and its control method
CN2008100094874A CN101271729B (zh) 2007-03-19 2008-02-03 内容数据存储装置及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2007070925A JP4358249B2 (ja) 2007-03-19 2007-03-19 映像蓄積装置とその制御方法

Publications (2)

Publication Number Publication Date
JP2008236187A JP2008236187A (ja) 2008-10-02
JP4358249B2 true JP4358249B2 (ja) 2009-11-04

Family

ID=39764633

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007070925A Expired - Fee Related JP4358249B2 (ja) 2007-03-19 2007-03-19 映像蓄積装置とその制御方法

Country Status (6)

Country Link
US (1) US8527717B2 (ja)
JP (1) JP4358249B2 (ja)
CN (1) CN101271729B (ja)
BR (1) BRPI0800137A (ja)
CA (1) CA2619344C (ja)
MX (1) MX2008001567A (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6582589B2 (ja) * 2015-06-16 2019-10-02 ヤマハ株式会社 オーディオ機器
TWI606388B (zh) * 2016-12-14 2017-11-21 慧榮科技股份有限公司 資料儲存裝置及其資料維護方法
US11043222B1 (en) 2018-12-03 2021-06-22 Amazon Technologies, Inc. Audio encryption

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003178591A (ja) 1991-12-19 2003-06-27 Toshiba Corp メモリシステム
CN2251185Y (zh) * 1996-05-28 1997-04-02 张奇峰 分体式数字语音记录管理器
KR100235438B1 (ko) * 1997-02-04 1999-12-15 구자홍 광디스크의 오디오재생신호 보상처리방법 및 장치
US5956743A (en) * 1997-08-25 1999-09-21 Bit Microsystems, Inc. Transparent management at host interface of flash-memory overhead-bytes using flash-specific DMA having programmable processor-interrupt of high-level operations
CN1253017C (zh) * 1997-12-15 2006-04-19 松下电器产业株式会社 用于把视频目标记录在光盘上的记录设备及其方法
JP3612455B2 (ja) * 1999-10-07 2005-01-19 インターナショナル・ビジネス・マシーンズ・コーポレーション データ記録・再生装置、映像データの記録・再生方法およびディスクドライブユニット
JP2001229616A (ja) * 2000-02-10 2001-08-24 Matsushita Electric Ind Co Ltd データ記録方法及びそれを用いたデータ記録装置
JP2002094938A (ja) 2000-09-13 2002-03-29 Sony Corp データ処理方法及び装置、データ伝送システム、伝送媒体
TWI257085B (en) * 2002-01-21 2006-06-21 Koninkl Philips Electronics Nv Method of encoding and decoding
CN1250954C (zh) * 2002-07-26 2006-04-12 精碟科技股份有限公司 检测判级方法
JP2004350091A (ja) 2003-05-23 2004-12-09 Fujitsu Ltd オーディオデータの分離方法,ダミーデータ挿入方法及び復号装置
US20080147963A1 (en) * 2006-12-15 2008-06-19 Accusys. Inc. Disk array device

Also Published As

Publication number Publication date
CA2619344A1 (en) 2008-09-19
US8527717B2 (en) 2013-09-03
JP2008236187A (ja) 2008-10-02
CA2619344C (en) 2014-03-11
MX2008001567A (es) 2009-02-24
US20080232175A1 (en) 2008-09-25
CN101271729B (zh) 2011-11-09
CN101271729A (zh) 2008-09-24
BRPI0800137A (pt) 2008-11-04

Similar Documents

Publication Publication Date Title
US8144528B2 (en) Memory with data control
US9760433B2 (en) Flash memory control apparatus utilizing buffer to temporarily storing valid data stored in storage plane, and control system and control method thereof
US9026722B2 (en) Storing/reading several data streams into/from an array of memories
JP5905547B1 (ja) 半導体記憶装置
JP2008052895A (ja) 不揮発性データ保存装置のプログラミング方法及びその装置
US9431114B2 (en) Semiconductor device and method of operating the same using state code
JP4358249B2 (ja) 映像蓄積装置とその制御方法
JP2007250101A (ja) 不揮発性メモリ装置および不揮発性メモリ装置の制御方法
JP2003317489A (ja) 不揮発性半導体記憶装置、そのデータ書き込み制御方法およびプログラム
JP2003140980A (ja) 記録装置
JP2005182996A (ja) 同期式フラッシュメモリ装置及びその動作方法
JP2005182872A (ja) 不揮発性半導体記憶装置
JP2007310680A (ja) 不揮発性記憶装置およびそのデータ転送方法
US10521157B2 (en) Jump page cache read method in NAND flash memory and NAND flash memory
JP2009075774A (ja) 映像・音声記録再生装置
JP2003203490A (ja) 半導体記憶装置、制御装置、および半導体記憶装置の制御方法
JP2008181596A (ja) 半導体記憶装置
JP2007280330A (ja) 不揮発性記憶装置および不揮発性記憶システム
US8452158B2 (en) Recording apparatus, imaging and recording apparatus, recording method, and program
KR100308134B1 (ko) 디지탈 오디오 디코더 및 그에 따른 디코딩 방법
JP2009042398A (ja) 半導体メモリ蓄積装置とその素材管理方法
JP2009212794A (ja) 撮影信号符号化記録装置
WO2019205443A1 (zh) 一种有效利用内存带宽的方法
JP2007018219A5 (ja)
JP6738705B2 (ja) 不揮発性メモリ管理システム、不揮発性メモリコントローラ及び不揮発性メモリ管理方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090120

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090316

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090714

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090805

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120814

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130814

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees