JP4341458B2 - 信号処理装置 - Google Patents

信号処理装置 Download PDF

Info

Publication number
JP4341458B2
JP4341458B2 JP2004120259A JP2004120259A JP4341458B2 JP 4341458 B2 JP4341458 B2 JP 4341458B2 JP 2004120259 A JP2004120259 A JP 2004120259A JP 2004120259 A JP2004120259 A JP 2004120259A JP 4341458 B2 JP4341458 B2 JP 4341458B2
Authority
JP
Japan
Prior art keywords
color difference
signal
format
line
field
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004120259A
Other languages
English (en)
Other versions
JP2005303887A (ja
Inventor
卓 梅園
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Victor Company of Japan Ltd
Original Assignee
Victor Company of Japan Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Victor Company of Japan Ltd filed Critical Victor Company of Japan Ltd
Priority to JP2004120259A priority Critical patent/JP4341458B2/ja
Publication of JP2005303887A publication Critical patent/JP2005303887A/ja
Application granted granted Critical
Publication of JP4341458B2 publication Critical patent/JP4341458B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Color Television Systems (AREA)
  • Processing Of Color Television Signals (AREA)

Description

本発明は、PAL方式の放送信号を標本化してデジタルコンポーネント信号に変換する信号処理装置に関する。
テレビ信号をMPEG(Moving Picture Experts Group)2形式で圧縮してデジタルでDVD(Digital Versatile Disk)等のディスクメディアに記録する場合、まずアナログビデオ信号を標本化してデジタルコンポーネント信号に変換しなければならない。
ITU-RBT.601(ITU-R:国際電気通信連合電気通信標準化部門、BT.601:勧告601)では、デジタルコンポーネント信号を構成する輝度信号(Y)と色差信号(Cb,Cr)の標本化周波数はそれぞれ13.5MHzと6.75MHzと定められており、その比は、4:2:2となっている。
一方、DVD-Video規格では、MPEGストリームとしてMP@ML(Main Profile at Main Level)を採用しており、輝度信号と色差信号の標本化周波数の比は4:2:0となっている(例えば、特許文献1)。なお、実際には、4:2:0のフォーマットと4:0:2のフォーマットの繰り返しとなるが、便宜的に4:2:0と表記する。
このため、テレビ放送をMPEG2形式で圧縮してデジタルで記録再生するデジタルビデオレコーダーにおいては、MPEGエンコーダに入力する信号の輝度信号と色差信号の標本化周波数の比を4:2:2から4:2:0に変換することが必要である(例えば、特許文献2)。
この標本化周波数の比を4:2:2から4:2:0へ変換する処理では、フィルタを用いて空間的に4:2:0の位置に存在する色差信号を生成している。4:2:2のフォーマットでは、図3に示すような空間的な位置に輝度信号と色差信号が配置される。図3中、「×」マークは輝度信号の1フレーム中の空間的な位置を示し、「○」マークは色差信号の1フレーム中の空間的な位置を示す。MPEGでは、通常、輝度信号と色差信号の情報はそれぞれ8ビットのデータで表されるが、4:2:2のフォーマットでは、1画素毎に8ビットの輝度信号の情報が割り当てられ、2画素毎に1つの色差信号の情報が割り当てられる。
一方、4:2:0のフォーマットでは、1画素毎に8ビットの輝度信号の情報が割り当てられ、4画素毎に8ビットずつの色差信号(Cb,Cr)の情報が割り当てられ、図4に示すような空間的な位置に輝度信号と色差信号が配置される。
これを時間軸方向で表すと、TopフィールドおよびBottomフィールドは、それぞれ図5(4:2:2のフォーマット)および図6(4:2:0のフォーマット)に示すような空間的な位置に配置されることになる。
色差信号を4:2:2のフォーマットから4:2:0のフォーマットへの変換は、サンプリング位置を考慮したフィルタ係数を各色差信号の情報に対して乗算することによって行われている。例えば、図6に示す4:2:0のフォーマットにおけるTopフィールドのC’3ラインの色差信号は、4:2:2のフォーマットにおけるC3ラインとC5ラインとC7ラインの色差信号の情報を用いて、
[数1]
C’3=(16×C3+192×C5+48×C7)/256
といった式で変換されている。同様に、BottomフィールドのC’2ラインの色差信号も、4:2:2のフォーマットにおけるC2ラインとC4ラインとC6ラインの色差信号の情報を用いて、
[数2]
C’2=(48×C2+192×C4+16×C6)/256
といった式で変換されている。これらフィルタ係数は、上記の値に限定されているものではないが、予め設定された値である。
ところで、PAL(Phase Alternation by Line)方式の放送信号(以降、PAL信号と称す)においては、色副搬送波(カラーサブキャリア)の位相は、フィールド内で1テレビ水平ライン毎に反転している。
例えば、あるフレームでのそれぞれのラインにおける色差信号の位相を“+”と“−”で表すと、図5の4:2:2のフォーマットにおいて、各色差信号に対する色副搬送波の位相は、
Topフィールド:+C1、−C3、+C5、−C7、+C9、…
Bottomフィールド:+C2、−C4、+C6、−C8、+C10、…
と表現できる。
しかし、次のフレームでは、
Topフィールド:−C1、+C3、−C5、+C7、−C9、…
Bottomフィールド:+C2、−C4、+C6、−C8、+C10、…
となり、前のフレームと比較して、Topフィールドの色差信号に対する色副搬送波の位相が逆転している。これはPAL信号の水平走査線の数が625本と奇数であり、フレーム間で1ラインのずれが生じ、順番が交互に反転するためである。
色副搬送波の位相を考慮してそれぞれのフレームにおける色差信号を4:2:0のフォーマットに変換すると、最初のフレームでは、TopフィールドおよびBottomフィールドそれぞれに、
[数3]
Topフィールド
C’31=(−16×C3+192×C5−48×C7)/256
C’51=(−16×C7+192×C9−48×C11)/256

[数4]
Bottomフィールド
C’21=(48×C2−192×C4+16×C6)/256
C’41=(48×C6−192×C8+16×C10)/256

となり、次のフレームでは、TopフィールドおよびBottomフィールドそれぞれに、
[数5]
Topフィールド
C’32=(16×C3−192×C5+48×C7)/256
C’52=(16×C7−192×C9+48×C11)/256

[数6]
Bottomフィールド
C’22=(48×C2−192×C4+16×C6)/256
C’42=(48×C6−192×C8+16×C10)/256

となる。
特に、各色差信号の値が同じである場合には、最初のフレームでは、TopフィールドおよびBottomフィールドそれぞれに、
[数7]
Topフィールド
C’31= C’51=(−16×C+192×C−48×C)/256=+C/2
[数8]
Bottomフィールド
C’21= C’41=(48×C−192×C+16×C)/256=−C/2
となり、次のフレームでは、TopフィールドおよびBottomフィールドそれぞれに、
[数9]
Topフィールド
C’32= C’52=(16×C−192×C+48×C)/256=−C/2
[数10]
Bottomフィールド
C’22= C’42=(48×C−192×C+16×C)/256=−C/2
となる。
図6の4:2:0における変換後の各色差信号の位相は、
Topフィールド:+C/2、−C/2、+C/2、−C/2、+C/2、…
Bottomフィールド:−C/2、−C/2、−C/2、−C/2、−C/2、…
となり、Topフィールドはフレーム毎にその位相が反転することになる。Bottomフィールドは常に位相が一定なので、各色差信号の値が同じであるこの信号をテレビ上で見ると、フレーム毎に明暗を繰り返し、フリッカーとなってしまう。
通常のテレビ放送では、このようにフレーム毎に位相が反転しても視聴に影響を与えることはほとんど無いが、各色差信号の値が全く同じである特殊な状況の信号パターンにおいては、フリッカーが顕著に表れてしまう。
特許3296758号 特開2001−359118号公報
本発明は、上記事情に鑑みてなされたものであり、再生する際にフリッカーが発生しないように、PAL方式の放送信号を標本化してデジタルコンポーネント信号を生成する信号処理装置を提供する。
上記の目的を達成するために、本発明の信号処理装置は、PAL方式の映像信号を、輝度信号Y、色差信号Cb,Crのデジタルコンポーネント信号に変換した映像データに対して、輝度信号Y、色差信号Cb、色差信号Crの各標本化周波数の比が4:2:2である4:2:2フォーマットから、4:2:0である4:2:0フォーマットへの変換を行なう変換手段を備え、前記PAL方式の映像信号は、奇数フィールドと偶数フィールドとから構成されるフレームにおける前記奇数フィールドが、前記フレームの複数の奇数ラインから構成され、色副搬送波の位相が前記奇数ライン毎に180度異なり、前記フレーム毎に同一番目の前記奇数ラインにおける色副搬送波の位相が180度異なり、前記偶数フィールドが、前記フレームの複数の偶数ラインから構成され、色副搬送波の位相が前記偶数ライン毎に180度異なる、映像信号であり、前記変換手段は、前記4:2:2フォーマットにおける前記奇数フィールドの各ラインにおける色差信号Cb,Crに所定のフィルタ係数を乗算して加算することによって、前記4:2:0フォーマットにおける前記奇数フィールドの各ラインにおける色差信号Cb,Crを生成すると共に、前記4:2:2フォーマットにおける前記偶数フィールドの各ラインにおける色差信号Cb,Crに所定のフィルタ係数を乗算して加算することによって、前記4:2:0フォーマットにおける前記偶数フィールドの各ラインにおける色差信号Cb,Cr を生成し、前記所定のフィルタ係数は、加算対象となる各色差信号Cb,Crの値が全て等しい場合において、加算した結果、当該ラインにおける色差信号Cb,Crが消滅するよう設定されることを特徴とする。
本発明によれば、各色差信号の値が同じである場合に、色差信号が無くなるので、フリッカーが発生しなくなり、視覚上良好な結果が得られる。
本発明の信号処理装置の実施形態を、図1〜図2を用いて説明する。
本実施形態における信号処理装置としての記録再生装置1は、図1に示すように、チューナ2、ビデオデコーダ3、オーディオA/Dコンバータ4、ビデオキャプチャ5、MPEGエンコーダ6、出力コントローラ7、入力コントローラ8、MPEGデコーダ9、ビデオエンコーダ10、およびオーディオD/Aコンバータ11から構成される。
チューナ2は、PAL方式の放送信号(以降、PAL信号と称す)を受信し、受信したPAL信号を映像信号と音声信号に分離して出力する機能を有する。ビデオデコーダ3は、チューナ2から出力された映像信号をデジタルコンポーネント信号(輝度信号(Y)と色差信号(Cb,Cr))である映像データに変換する機能を有し、オーディオA/Dコンバータ4は、チューナ2から出力された音声信号をデジタルデータ(音声データ)に変換する機能を有する。
ビデオキャプチャ5は、水平フィルタ15、および垂直色差信号除去フィルタ16から構成され、ビデオデコーダ3から出力される映像データに対してフィルタリング処理を行う機能を有する。
具体的には、水平フィルタ15は、ビデオデコーダ3から出力される映像データを所定の画像サイズになるよう調整する機能を有し、垂直色差信号除去フィルタ16は、水平フィルタ15によってサイズ調整された映像データに対して、4:2:2のフォーマットから4:2:0のフォーマットへの色差信号(Cb,Cr)の変換処理を行う機能を有する(詳細については後述)。
MPEGエンコーダ6は、オーディオA/Dコンバータ4から出力される音声データと、ビデオキャプチャ5から出力される映像データを圧縮し、MPEG2形式のビデオデータを生成する機能を有する。
出力コントローラ7は、記憶媒体12にビデオデータを書き込む記録装置21を含み、MPEGエンコーダ6によって生成されたビデオデータの記憶媒体12へ記録する際の記録制御を行う機能を有し、入力コントローラ8は、記憶媒体12に書き込まれているビデオデータを読み取る読取装置を含み、記憶媒体12に記録されているビデオデータを読み取る際の読取制御を行う機能を有する。
MPEGデコーダ9は、入力コントローラ8から出力されるビデオデータから映像データと音声データを分離、伸長する機能を有する。ビデオエンコーダ10は、MPEGデコーダ9から出力される映像データを基に、映像信号を生成し出力する機能を有し、オーディオD/Aコンバータ11は、MPEGデコーダ9から出力される音声データを基に、音声信号を生成し出力する機能を有する。
また、記憶媒体12は、書き込み可能なCD-R、CD-RW、DVD-R、DVD-RW、DVD-RAM、DVD+RW、ハードディスク等である。
記録再生装置1が、PAL信号の記録を開始すると、チューナ2は、受信したPAL信号を映像信号と音声信号に分離して出力する。オーディオA/Dコンバータ4は、チューナ2から出力された音声信号をデジタルの音声データに変換し、ビデオデコーダ3は、チューナ2から出力された映像信号をデジタルの映像データに変換する。
次に、ビデオキャプチャ5の水平フィルタ15は、ビデオデコーダ3から出力される映像データを所定の画像サイズになるよう調整し、垂直色差信号除去フィルタ16は、各フレームのフィールド毎に色差信号の変換処理を行う。
例えば、垂直色差信号除去フィルタ16は、フィルタ係数を下記の数11の式で示す値に設定し、4:2:2のフォーマットにおけるTopフィールドのC3〜C7(CN〜C(N+4))ラインにおける色差信号の情報を用いて、数11の式に従って演算し、4:2:0のフォーマットにおけるC’3(C’N)の色差信号の情報を生成する。
[数11]
Topフィールド
C’3=(0×C3+128×C5+128×C7)/256
(C’N=(0×CN+128×C(N+2)+128×C(N+4))/256:Nは奇数のライン番号)
同様に、垂直色差信号除去フィルタ16は、フィルタ係数を下記の数12の式で示す値に設定し、4:2:2のフォーマットにおけるBottomフィールドのC2〜C6ラインにおける色差信号の情報を用いて、数12の式に従って演算し、4:2:0のフォーマットにおけるC’2(C’M)の色差信号の情報を生成する。
[数12]
Bottomフィールド
C’2=(128×C2+128×C4+0×C6)/256
(C’M=(128×CM+128×C(M+2)+0×C(M+4))/256:Mは偶数のライン番号)
この時、フレーム毎に各色差信号の色副搬送波(カラーサブキャリア)の位相を見ると、Topフィールドの色副搬送波の位相はライン毎に180度反転しているので、各色差信号は、実際には、下記の数13および数14の式に従って、生成される。
[数13]
1フレーム目
C’31=(0×C3+128×C5−128×C7)/256=128(C5−C7)/256
C’21=(128×C2−128×C4+0×C6)/256=128(C2−C4)/256

[数14]
2フレーム目
C’32=(0×C3−128×C5+128×C7)/256=128(−C5+C7)/256
C’22=(128×C2−128×C4+0×C6)/256=128(C2−C4)/256

各色差信号の値が全く同じである特殊な状況であれば、結果はいずれも“0”となり、色差信号は相殺され無くなることになるが、フリッカーは発生しなくなる。フリッカーの発生するより、色差信号が無くなる方が視覚上与える影響は小さいので、視覚上良好な結果が得られることになる。
このように、フレーム毎にTopフィールドとBottomフィールドとの色差信号の情報が変換された映像データにおけるその色差信号の空間的な位置は、図2に示すように、従来のものに比べて少し移動するだけで、視聴に影響を与えるほどの変化にはならない。図2中、破線で示す色差信号が、従来の変換方法での空間的な位置である(図6に相当する)。
次に、MPEGエンコーダ6は、オーディオA/Dコンバータ4から出力される音声データと、ビデオキャプチャ5から出力される映像データを圧縮し、MPEG2形式のビデオデータを生成し、出力コントローラ7は、MPEGエンコーダ6によって生成されたビデオデータの記憶媒体12へ記録する。
このように変換された映像データを再生する場合においては、入力コントローラ8は記憶媒体12からビデオデータを読み込み、MPEGデコーダ9に供給し、MPEGデコーダ9は、供給されたビデオデータを映像データと音声データに分離、伸長する。ビデオエンコーダ10は、伸長された映像データをアナログの映像信号に変換し、オーディオD/Aコンバータ11は、伸長された音声データをアナログの音声信号に変換し、それぞれ出力する。
なお、数11〜数14の式は、本実施形態における一例であって、これに限定されるものではない。
また、本発明の実施形態として、記録再生装置1を示したが、これに限定されるものではなく、図1中の破線で示すように、記録装置21と再生装置22とに分けて構成しても良い。この場合、再生装置22は、入力コントローラ8、MPEGデコーダ9、ビデオエンコーダ10、およびオーディオD/Aコンバータ11を備え、従来のものと再生機能に変わりは無い。一方、記録装置21は、チューナ2、ビデオデコーダ3、オーディオA/Dコンバータ4、ビデオキャプチャ5、MPEGエンコーダ6、および出力コントローラ7を備え、上述した記録再生装置1と同様の処理を行う。
記録再生装置の機能構成を示す図である。 4:2:0フォーマットにおける輝度信号と色差信号の空間的位置を示す図である。 4:2:2フォーマットにおける輝度信号と色差信号の空間的位置を示す図である。 4:2:0フォーマットにおける輝度信号と色差信号の空間的位置を示す図である。 4:2:2フォーマットにおける輝度信号と色差信号の空間的位置(Y−t断面)を示す図である。 4:2:0フォーマットにおける輝度信号と色差信号の空間的位置(Y−t断面)を示す図である。
符号の説明
1…記録再生装置、2…チューナ、3…ビデオデコーダ、4…オーディオA/Dコンバータ、5…ビデオキャプチャ、6…MPEGエンコーダ、7…出力コントローラ、8…入力コントローラ、9…MPEGデコーダ、10…ビデオエンコーダ、11…オーディオD/Aコンバータ、12…記憶媒体、15…水平フィルタ、16…垂直色差信号除去フィルタ、21…記録装置、22…再生装置

Claims (1)

  1. PAL方式の映像信号を、輝度信号Y、色差信号Cb,Crのデジタルコンポーネント信号に変換した映像データに対して、輝度信号Y、色差信号Cb、色差信号Crの各標本化周波数の比が4:2:2である4:2:2フォーマットから、4:2:0である4:2:0フォーマットへの変換を行なう変換手段を備え、
    前記PAL方式の映像信号は、
    奇数フィールドと偶数フィールドとから構成されるフレームにおける前記奇数フィールドが、前記フレームの複数の奇数ラインから構成され、色副搬送波の位相が前記奇数ライン毎に180度異なり、前記フレーム毎に同一番目の前記奇数ラインにおける色副搬送波の位相が180度異なり、
    前記偶数フィールドが、前記フレームの複数の偶数ラインから構成され、色副搬送波の位相が前記偶数ライン毎に180度異なる、
    映像信号であり、
    前記変換手段は、
    前記4:2:2フォーマットにおける前記奇数フィールドの各ラインにおける色差信号Cb,Crに所定のフィルタ係数を乗算して加算することによって、前記4:2:0フォーマットにおける前記奇数フィールドの各ラインにおける色差信号Cb,Crを生成すると共に、
    前記4:2:2フォーマットにおける前記偶数フィールドの各ラインにおける色差信号Cb,Crに所定のフィルタ係数を乗算して加算することによって、前記4:2:0フォーマットにおける前記偶数フィールドの各ラインにおける色差信号Cb,Cr を生成し、
    前記所定のフィルタ係数は、加算対象となる各色差信号Cb,Crの値が全て等しい場合において、加算した結果、当該ラインにおける色差信号Cb,Crが消滅するよう設定されることを特徴とする信号処理装置。
JP2004120259A 2004-04-15 2004-04-15 信号処理装置 Expired - Fee Related JP4341458B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004120259A JP4341458B2 (ja) 2004-04-15 2004-04-15 信号処理装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004120259A JP4341458B2 (ja) 2004-04-15 2004-04-15 信号処理装置

Publications (2)

Publication Number Publication Date
JP2005303887A JP2005303887A (ja) 2005-10-27
JP4341458B2 true JP4341458B2 (ja) 2009-10-07

Family

ID=35334865

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004120259A Expired - Fee Related JP4341458B2 (ja) 2004-04-15 2004-04-15 信号処理装置

Country Status (1)

Country Link
JP (1) JP4341458B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5035154B2 (ja) 2008-03-07 2012-09-26 富士通株式会社 映像信号処理装置及び映像信号処理方法
GB2514298B (en) * 2012-03-06 2016-08-24 Ibm Image signal processing method and apparatus

Also Published As

Publication number Publication date
JP2005303887A (ja) 2005-10-27

Similar Documents

Publication Publication Date Title
JP3093494B2 (ja) 多様性信号処理装置
US7536089B2 (en) Image signal reproduction apparatus
CA2204228C (en) Noise reducer
KR101007838B1 (ko) 정보 처리 장치 및 기록 매체
US7463295B2 (en) Characteristic correction apparatus for gamma correcting an image based on the image type
JP4341458B2 (ja) 信号処理装置
KR100377697B1 (ko) 영상 신호의 기록 재생 장치
EP1575309A1 (en) Optical recording/reproducing apparatus having a function of separating luminance and color components
JP5161935B2 (ja) 映像処理装置
KR20010092316A (ko) 영상 기록 재생 장치 및 방법
US7558471B2 (en) Video recording apparatus and method, and video output apparatus and method
JP2006121183A (ja) 映像記録再生装置
JP4099917B2 (ja) 映像信号再生装置
US7450831B2 (en) Method for DVD-subpicture compositing in 420 chroma format
JP2007243706A (ja) データフォーマット変換装置及びデータフォーマット変換方法
EP1253788A1 (en) Method and circuit for video signal correction
US5513009A (en) High-definition picture signal recording/reproducing apparatus for recording and reproducing a high-definition picture signal controlled its amplitude level
JP2001223989A (ja) 画像再生装置
JP2004248320A (ja) 画像記録再生装置
JP2001112012A (ja) 撮像信号処理装置、撮像信号処理方法、データ復号装置、及び撮像装置
JP2006217214A (ja) 再生装置および撮像装置並びに再生方法
JPH0576027A (ja) 雑音低減装置
EP1261214A2 (en) Method and circuit for video signal correction
US20080219645A1 (en) Reproducing Apparatus
JP2002084506A (ja) 映像信号再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060630

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090330

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090424

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090521

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090616

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090629

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120717

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130717

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees