JP3444499B2 - 映像再生装置及び映像再生方法 - Google Patents

映像再生装置及び映像再生方法

Info

Publication number
JP3444499B2
JP3444499B2 JP2001223621A JP2001223621A JP3444499B2 JP 3444499 B2 JP3444499 B2 JP 3444499B2 JP 2001223621 A JP2001223621 A JP 2001223621A JP 2001223621 A JP2001223621 A JP 2001223621A JP 3444499 B2 JP3444499 B2 JP 3444499B2
Authority
JP
Japan
Prior art keywords
standard
video signal
recording
recorded
digital video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001223621A
Other languages
English (en)
Other versions
JP2002094936A (ja
Inventor
史浩 長沢
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2001223621A priority Critical patent/JP3444499B2/ja
Publication of JP2002094936A publication Critical patent/JP2002094936A/ja
Application granted granted Critical
Publication of JP3444499B2 publication Critical patent/JP3444499B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は映像再生装置及び映
像再生方法に関し、例えば放送局用以外の一般用途を主
目的にしたデイジタルビデオテープレコーダに適用して
好適なものである。
【0002】
【従来の技術】従来、放送局用以外の一般用途を主目的
にしたデイジタルビデオテープレコーダ(VTR)にお
いては、小型化のために映像信号の記録効率を上げる必
要があり、デイジタル映像信号を圧縮符号化して記録再
生するようになされている。この圧縮アルゴリズムとし
ては、DCT(Discrete Cosine Transform )等の直交
変換符号化方法が用いられている。
【0003】DCT等の直交変換符号化方法では、入力
した映像信号を圧縮処理のために例えば8×8画素の単
位でブロツク化することが必要で、このため映像信号の
記録領域が8画素×8ラインの整数倍で決められる。例
えば走査線数で 525方式の映像信号については 480ライ
ン分が記録領域とされ、また 625方式の映像信号につい
ては、 576ライン分が記録領域とされる。このように一
般用途を主目的にしたデイジタルVTRのテープフオー
マツトでは、テレビ画面上に映る領域が記録されていれ
ば十分であることから、放送規格で必要とする走査線の
全てを記録しない場合がある。
【0004】
【発明が解決しようとする課題】ところでこのような一
般用途を主目的としたデイジタルVTRにおいても、映
像信号をデイジタル記録しているため画質の劣化はアナ
ログVTRに比べて格段的に少ない。従つてこのデイジ
タルVTRを放送局用として使用することができれば、
従来の放送局用のデイジタルVTRに比べて、格段的に
簡易な構成で安価な放送用デイジタルVTRを実現でき
ると考えられる。
【0005】ところが一般用途を主目的としたデイジタ
ルVTRにおいては、上述したように放送規格で必要な
走査線数として、例えば 525方式の場合 485本、 625方
式の場合 576本及び 1/2本分の映像信号が記録されてい
ないため、このままでは使用できない問題がある。
【0006】この問題を解決するため放送規格で必要な
走査線数に合わせて、8ラインの整数倍で走査線数を増
やし、例えば 525方式の場合 488本分、 625方式の場合
584本分の映像信号を記録することが考えられる。とこ
ろがこのようにすると一般用途を主目的としたデイジタ
ルVTRの記録方法としては、その分圧縮符号化の処理
時間が長くなると共に記録効率が下がる問題があり、解
決策としては未だ不十分であつた。
【0007】本発明は以上の点を考慮してなされたもの
で、例えば放送規格(第1の規格)に準拠したデイジタ
ル映像信号が例えば放送規格以外の規格(第2の規格)
のデイジタル映像信号に準拠した記録方式にて記録媒体
に記録されている場合においても、再生時には第1の規
格のデイジタル映像信号に復元することが可能な簡易な
構成の映像再生装置及び方法を提案しようとするもので
ある。
【0008】
【課題を解決するための手段】かかる課題を解決するた
め、本発明における映像再生装置においては、第1の規
格に準拠したデイジタル映像信号が第2の規格のデイジ
タル映像信号に準拠した記録方式にて記録媒体に記録さ
れている場合であつて、その記録に際して、第2の規格
で想定する1フレームの画像範囲が第1の規格で想定す
る1フレームの画像範囲の一部領域に限られているため
に、第1の規格に準拠したデイジタル映像信号のうち第
2の規格では記録対象範囲とされない範囲の画像部分が
間引き処理され、当該間引き処理された映像信号が記録
媒体上の付加的な記録領域に記録されているとき、記録
媒体上から第2の規格に準拠したデイジタル映像信号と
間引き処理された映像信号とを再生する再生手段と、間
引き処理された映像信号を補間処理することにより、第
2の規格では記録対象範囲とされなかつた画像部分に対
応するデイジタル映像信号を得る補間手段と、補間手段
にて得られたデイジタル映像信号と、再生された第2の
規格に準拠したデイジタル映像信号とを結合することに
より、第1の規格に準拠したデイジタル映像信号を再構
成する再構成手段とを設けることにする。
【0009】また本発明における映像再生方法において
は、第1の規格に準拠したデイジタル映像信号が第2の
規格のデイジタル映像信号に準拠した記録方式にて記録
媒体に記録されている場合であつて、その記録に際し
て、第2の規格で想定する1フレームの画像範囲が第1
の規格で想定する1フレームの画像範囲の一部領域に限
られているために、第1の規格に準拠したデイジタル映
像信号のうち第2の規格では記録対象範囲とされない範
囲の画像部分が間引き処理され、当該間引き処理された
映像信号が記録媒体上の付加的な記録領域に記録されて
いるときに、記録媒体上から第2の規格に準拠したデイ
ジタル映像信号と間引き処理された映像信号とを再生す
る第1のステツプと、間引き処理された映像信号を補間
処理することにより、第2の規格では記録対象範囲とさ
れなかつた画像部分に対応するデイジタル映像信号を得
る第2のステツプと、第2のステツプで得られたデイジ
タル映像信号と、第1のステツプで再生された第2の規
格に準拠したデイジタル映像信号とを結合することによ
り、第1の規格に準拠したデイジタル映像信号を再構成
する第3のステツプとを設けることにする。
【0010】
【0011】
【0012】
【発明の実施の形態】以下図面について、本発明の一実
施の形態を詳述する。
【0013】(1)本発明の原理 図1は全体として本発明による映像情報の記録方法とし
て、走査線数で 525方式のデイジタル映像信号を圧縮符
号化した映像情報をコンポーネント方式で記録するデイ
ジタルVTRを示す。この実施例では映像記録領域とし
て映像情報の第1フイールドの23〜 262ライン分と、第
2フイールドの 285〜 524ライン分を記録する場合に、
放送規格に満たない走査線として第1フイールドの21、
22ライン及び 263ラインの半分、第2フイールドの 283
ラインの半分、 284及び 525ラインでなる合計5ライン
分の映像情報を付加情報記録領域に記録するようになさ
れている。
【0014】走査線は4画素毎にサンプリングされて付
加情報記録領域に記録されており、互いに隣接する21ラ
イン及び22ライン、 283ライン及び 284ラインで、サン
プリングの位相が2画素分ずらされて配置され、再生時
の補間処理に適した方法で記録する。記録される画素デ
ータは付加情報記録領域の容量を考慮して、輝度情報の
みに選定され色差情報は記録されない。
【0015】コンポーネント信号としての記録方式が
4:2:2及び4:2:0、4:1:1等の場合、8ビ
ツトで量子化された1ライン当たり 180画素の輝度情報
が5ライン分で、1フレーム当たりに付加情報記録領域
に記録される記録データの記録データの全情報量は、次
【数1】 で求められるように 900バイトとなる。
【0016】また図2は本発明による映像情報の記録方
法として、走査線数が 625本方式のデイジタル映像信号
を圧縮符号化した映像情報をコンポーネント方式で記録
するデイジタルVTRを示す。この実施例では映像記録
領域として映像情報の第1フイールドの23〜 310ライン
分と、第2フイールドの 335〜 622ライン分を記録する
場合に、放送規格に満たない走査線として第2フイール
ドの 623ラインの半分でなる映像情報を、付加情報記録
領域に記録するようになされている。
【0017】コンポーネント信号としての記録方式が
4:2:0の場合、 360画素の輝度情報と 180画素の色
差情報を合わせて、1フレーム当たりに付加情報記録領
域に記録される記録データの全情報量は、次式
【数2】 で求められるように 540バイトとなる。
【0018】このように記録時に映像記録領域に記録す
る映像情報の走査線数が、所定の放送規格の走査線数を
満たしていない場合、欠落した走査線に対応する映像情
報を付加情報記録領域に記録するようにしたことによ
り、再生時記録媒体上の映像記録領域及び付加情報記録
領域に記録された映像情報を再生して、所定の放送規格
を満たす走査線数のデイジタル映像信号を復元し得る。
これにより一般用途を主目的としたデイジタルVTRを
放送局用に使用し得る。
【0019】(2)実施例の映像記録装置 図3において1は全体として例えば一般用途を主目的と
したデイジタルVTRでなる映像記録装置を示し、入力
された映像信号S1がアナログデイジタル変換回路2で
デイジタル信号に変換される。
【0020】デイジタル信号に変換された映像信号S1
のうち映像記録領域に記録される映像情報S2(図1で
は23〜 262ライン及び 285〜524ライン、図2では23〜3
10ライン及び 335〜 622ライン)は、圧縮符号化ブロツ
ク3で例えば8画素×8ライン分毎にブロツク化されて
DCT等によつて圧縮符号化処理が施されて、テープに
記録可能な所定のデータ量に圧縮され、エラー訂正コー
ド付加部6に入力される。
【0021】一方映像信号S1のうち付加情報記録領域
に記録されるべき映像情報S3(図1では21、22ライ
ン、 263ラインの半分、283ラインの半分、 284、 525
ライン、図2の623ラインの半分)は、記録データサ
ンプリング部4で付加情報記録領域に記録するために、
図1又は図2について上述した間引きやサンプリングさ
れ、付加情報記録処理部5でテープ上の付加情報記録領
域に記録するためのデータ配列を施されてエラー訂正コ
ード付加部6に入力される。
【0022】エラー訂正コード付加部6では入力された
データにエラー訂正コードを付加し、この結果得られる
データがチヤンネルコーデイング部6において磁気テー
プに記録するため記録符号化された後、記録アンプ8を
通じて記録信号に変換されテープトランスポート部9の
磁気ヘツドに供給される。このようにして磁気テープ上
のヘリカル記録トラツクの映像記録領域及び付加情報記
録領域にそれぞれ映像情報が記録される。
【0023】このヘリカル記録トラツクは例えば図4に
示すように構成され、このうち映像情報S2が映像記録
領域ARVDの主記録領域ARV1に記録されると共に、当
該映像記録領域ARVD中において映像信号が記録されな
い部分でなる付加情報記録領域ARV2に映像情報S3が
記録される。なお映像記録領域ARVDの前後には、サブ
コード記録領域ARSBや音声記録領域ARAUが配置され
ている。
【0024】(3)実施例の映像再生装置 図5において10は全体として例えば一般用途を主目的
としたデイジタルVTRでなる映像再生装置を示し、テ
ープトランスポート部9の磁気ヘツドで得られた再生信
号S10が再生アンプ11で増幅される。増幅された再
生信号はデータ抽出部12に入力されて、再生信号から
再生クロツクが発生され、この再生クロツクに基づいて
再生信号からデータが抽出される。
【0025】データ抽出部12で抽出されたデータは、
チヤンネルデコーデイング部13で磁気記録用に符号化
されたデータから、チヤンネルコーデイング前のデイジ
タルデータに変換され、エラー訂正処理部14でエラー
訂正処理が行なわれる。このうち映像記録領域AR
VD(ARV1)より再生されたデータは、圧縮復号化ブロ
ツクで圧縮された状態から元のデイジタル映像信号に復
号化され、データ再生処理部17に入力される。
【0026】付加情報記録領域より再生されたデータ
は、エラー訂正処理部14から付加情報再生処理部16
に入力されて、ここで再生されたデータから付加情報記
録領域ARV2に記録されているデータが抽出され、デー
タ再生処理部17に入力される。このデータ再生処理部
17においては、映像記録領域ARVD(ARV1)のデー
タと付加情報記録領域ARV2のデータが記録前の状態に
復元され、このようにして得られるデイジタル映像信号
をがデイジタルアナログ変換回路18でアナログ信号に
変換され、放送規格に合致した映像信号が送出される。
【0027】ここで走査線数が 525本方式のデイジタル
映像信号についてのデータ再生処理としては、図6に示
すように、再生時に付加情報記録領域ARV2に記録され
た画素データと映像記録領域ARVD(ARV1)に記録さ
れた画素データを基にして、記録されていない画素を補
間するようになされている。
【0028】実際上このデータ再生処理は、付加情報記
録領域ARV2や映像記録領域ARVD(ARV1)に記録さ
れた画素データの輝度情報を、ビツトシフトによつて1
/2や1/4に重み付けすると共に、近接する画素デー
タの輝度情報を図6のように加算して、記録されていな
い画素データの輝度情報を補間するようになされてい
る。また色差情報については、映像記録領域ARVD(A
V1)に記録された画素データの色差情報を、ビツトシ
フトによつて1/2や1/4に重み付けして、上下に近
接する記録されていない画素データの色差情報として補
間するようになされている。
【0029】さらに走査線数が 625本方式のデイジタル
映像信号についてデータ再生処理については、単に付加
情報記録領域ARV2に記録された 623ラインの半分の画
素データを、映像記録領域ARVD(ARV1)に記録され
た 622ラインの画素データの後に付加するようになされ
ている。
【0030】(4)実施例の効果 以上の構成によれば、磁気テープ上の付加情報記録領域
ARV2に、テープ上の映像記録領域ARVD(ARV1)に
は記録されない放送規格で必要とされる走査線の映像情
報を記録し、再生時に、付加情報記録領域ARV2に記録
された映像を映像記録領域ARVD(ARV1)に記録され
ている映像に付加して再生し、放送規格の再生信号を得
るようにしたことにより、記録される走査線数が足りな
いため、放送規格としては使用できなかつた一般用途を
種目的とするデイジタルVTRを放送用として使用でき
る。
【0031】かくして一般用途のデイジタルVTRの付
加情報記録領域ARV2を用いて全体として放送用の信号
が記録できるため、安価な放送用デイジタルVTRを実
現でき、逆に放送用として記録されたテープの再生が一
般用途のVTRで可能になる。
【0032】(5)他の実施例 上述の実施例においては、映像記録領域ARVD(A
V1)には記録されない放送規格で必要とされる走査線
の映像情報を、映像記録領域ARVD中の付加情報記録領
域ARV2に記録した場合について述べたが、これに代
え、図7に示すように、映像記録領域ARVDの前に配置
された、サブコード記録領域ARSBに記録するようにし
ても上述の実施例と同様の効果を実現できる。
【0033】また上述の実施例においては、本発明によ
る映像記録装置、映像再生装置及び映像記録再生装置を
一般用途を主とするビデオテープレコーダに適用した場
合について述べたが、本発明はこれに限らず、映像信号
を記録し再生するものであれば例えばビデオデイスク装
置や磁気デイスク装置等にも広く適用して好適なもので
ある。
【0034】
【発明の効果】上述のように本発明によれば、第1の規
格に準拠したデイジタル映像信号のうち第2の規格では
記録対象とされない範囲の画像部分であつても、これを
間引き処理したものが付加的な記録領域に記録されてい
ることを利用して、第1の規格に準拠したデイジタル映
像信号を復号する必要が生じた場合には、当該間引き処
理された映像信号を補間処理することによつて第2の規
格では記録対象範囲とされなかつた画像部分に対応する
デイジタル映像信号を再生し、これを第2の規格に準拠
したデイジタル映像信号と結合することによつて、第1
の規格に準拠したデイジタル映像信号を出力できる再生
への復元も考慮した記録技術を実現できる。
【図面の簡単な説明】
【図1】本発明の原理として走査線が 525方式の映像情
報を記録する記録方法の説明に供する略線図である。
【図2】本発明の原理として走査線が 625方式の映像情
報を記録する記録方法の説明に供する略線図である。
【図3】本発明による映像記録装置の一実施例の構成を
示すブロツク図である。
【図4】本発明による磁気テープ上の記録トラツクのフ
オーマツトの説明に供する略線図である。
【図5】本発明による映像再生装置の一実施例の構成を
示すブロツク図である。
【図6】図5の映像再生装置で実行するデータ再生処理
として画素の補間方法を示す略線図である。
【図7】磁気テープ上の記録フオーマツトの他の実施例
を示す略線図である。
【符号の説明】
1……映像記録装置、2……アナログデイジタル変換回
路、3……圧縮符号化ブロツク、4……記録データサン
プリング部、5……付加情報記録処理部、6……エラー
訂正コード付加部、7……チヤンネルコーデイング部、
8……記録アンプ、9……テープトランスポート、10
……映像再生装置、11……再生アンプ、12……デー
タ抽出部、13……チヤンネルデコーデイング部、14
……エラー訂正処理部、15……圧縮復号化ブロツク
部、16……付加情報再生処理部、17……データ再生
処理部、18……デイジタルアナログ変換回路。

Claims (2)

    (57)【特許請求の範囲】
  1. 【請求項1】デイジタル映像信号が記録された記録媒体
    を再生する映像再生装置において、 第1の規格に準拠したデイジタル映像信号が第2の規格
    のデイジタル映像信号に準拠した記録方式にて記録媒体
    に記録されている場合であつて、その記録に際して、第
    2の規格で想定する1フレームの画像範囲が第1の規格
    で想定する1フレームの画像範囲の一部領域に限られて
    いるために、上記第1の規格に準拠したデイジタル映像
    信号のうち上記第2の規格では記録対象範囲とされない
    範囲の画像部分が間引き処理され、当該間引き処理され
    た映像信号が上記記録媒体上の付加的な記録領域に記録
    されているとき、 上記記録媒体上から第2の規格に準拠したデイジタル映
    像信号と上記間引き処理された映像信号とを再生する再
    生手段と、 上記間引き処理された映像信号を補間処理することによ
    り、上記第2の規格では記録対象範囲とされなかつた画
    像部分に対応するデイジタル映像信号を得る補間手段
    と、 上記補間手段にて得られたデイジタル映像信号と、再生
    された上記第2の規格に準拠したデイジタル映像信号と
    を結合することにより、第1の規格に準拠したデイジタ
    ル映像信号を再構成する再構成手段と を具えることを特
    徴とする映像再生装置。
  2. 【請求項2】デイジタル映像信号が記録された記録媒体
    を再生する映像再生方法において、 第1の規格に準拠したデイジタル映像信号が第2の規格
    のデイジタル映像信号に準拠した記録方式にて記録媒体
    に記録されている場合であつて、その記録に際して、第
    2の規格で想定する1フレームの画像範囲が第1の規格
    で想定する1フレームの画像範囲の一部領域に限られて
    いるために、上記第1の規格に準拠したデイジタル映像
    信号のうち上記第2の規格では記録対象範囲とされない
    範囲の画像部分が間引き処理され、当該間引き処理され
    た映像信号が上記記録媒体上の付加的な記録領域に記録
    されているときに、 上記記録媒体上から第2の規格に準拠したデイジタル映
    像信号と上記間引き処 理された映像信号とを再生する第
    1のステツプと、 上記間引き処理された映像信号を補間処理することによ
    り、上記第2の規格では記録対象範囲とされなかつた画
    像部分に対応するデイジタル映像信号を得る第2のステ
    ツプと、 上記第2のステツプで得られたデイジタル映像信号と、
    上記第1のステツプで再生された上記第2の規格に準拠
    したデイジタル映像信号とを結合することにより、第1
    の規格に準拠したデイジタル映像信号を再構成する第3
    のステツプと を有することを特徴とする映像再生方法。
JP2001223621A 2001-07-24 2001-07-24 映像再生装置及び映像再生方法 Expired - Lifetime JP3444499B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001223621A JP3444499B2 (ja) 2001-07-24 2001-07-24 映像再生装置及び映像再生方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001223621A JP3444499B2 (ja) 2001-07-24 2001-07-24 映像再生装置及び映像再生方法

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP9685093A Division JP3248640B2 (ja) 1993-03-31 1993-03-31 映像記録装置及び映像記録方法

Publications (2)

Publication Number Publication Date
JP2002094936A JP2002094936A (ja) 2002-03-29
JP3444499B2 true JP3444499B2 (ja) 2003-09-08

Family

ID=19056923

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001223621A Expired - Lifetime JP3444499B2 (ja) 2001-07-24 2001-07-24 映像再生装置及び映像再生方法

Country Status (1)

Country Link
JP (1) JP3444499B2 (ja)

Also Published As

Publication number Publication date
JP2002094936A (ja) 2002-03-29

Similar Documents

Publication Publication Date Title
JP3177383B2 (ja) デジタルvcrのトリックプレイモードを容易にする機能を備えた高精細度テレビ受信装置
CA2270188C (en) Video transmission apparatus employing intra-frame-only video compression that is mpeg-2 compatible
JP2728192B2 (ja) 映像信号の記録方法と記録再生装置及びその方法
JP3046226B2 (ja) ディジタルビデオテ−プレコ−ダのビットストリ−ム配置/復元方法およびそれに適合なデ−タ圧縮装置および伸長装置
JP3141629B2 (ja) 映像信号の記録および再生装置
JP3248640B2 (ja) 映像記録装置及び映像記録方法
JP2002528003A (ja) 記録担体にディジタル情報信号を記録する記録装置
JP3444499B2 (ja) 映像再生装置及び映像再生方法
JP3444498B2 (ja) 映像記録装置及び映像記録方法
JP3397777B2 (ja) 映像再生装置及び映像再生方法
JP2989417B2 (ja) デジタル情報再生装置
US6208803B1 (en) Recording and/or reproducing apparatus which produces main information and historical information with respect to signal processing performed on the main information
JPH1023371A (ja) ディジタル画像信号記録装置
JP3084983B2 (ja) ビデオ信号記録再生装置
JP3166735B2 (ja) ディスク装置
JP3371155B2 (ja) ディジタル信号処理装置
JPH09130744A (ja) デジタル記録再生装置
JP3706408B2 (ja) ディジタル画像データの記録装置および方法
JP3705459B2 (ja) ディジタル画像信号記録装置及び画像信号記録再生装置
JP3825367B2 (ja) 圧縮映像記録再生装置および圧縮映像記録再生方法
JP3191803B2 (ja) 信号処理装置及び方法
JP2998631B2 (ja) ディスク装置
JP3240755B2 (ja) ディジタルテレビとディジタルvtr
JP3628069B2 (ja) 画像データ処理装置および方法ならびに画像データ記録装置および方法ならびに画像データ再生装置および方法
JP3787906B2 (ja) ディジタル画像信号記録装置及び画像信号記録再生装置

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080627

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090627

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090627

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100627

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100627

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110627

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120627

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130627

Year of fee payment: 10