JP3715666B2 - 直交変換装置及び方法 - Google Patents

直交変換装置及び方法 Download PDF

Info

Publication number
JP3715666B2
JP3715666B2 JP23790394A JP23790394A JP3715666B2 JP 3715666 B2 JP3715666 B2 JP 3715666B2 JP 23790394 A JP23790394 A JP 23790394A JP 23790394 A JP23790394 A JP 23790394A JP 3715666 B2 JP3715666 B2 JP 3715666B2
Authority
JP
Japan
Prior art keywords
sum
difference
component
orthogonal
circuit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23790394A
Other languages
English (en)
Other versions
JPH08101825A (ja
Inventor
慎吾 野澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP23790394A priority Critical patent/JP3715666B2/ja
Priority to US08/534,886 priority patent/US5825676A/en
Publication of JPH08101825A publication Critical patent/JPH08101825A/ja
Priority to US09/087,966 priority patent/US6201895B1/en
Application granted granted Critical
Publication of JP3715666B2 publication Critical patent/JP3715666B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Complex Calculations (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【0001】
【産業上の利用分野】
本発明は映像信号等の高能率符号化に用いられる直交変換装置に関するものである。
【0002】
【従来の技術】
従来より画像や音声の高能率符号化を行う場合の手法として、離散コサイン変換(DCT)等の直交変換処理が知られている。
図12は8×8個の画素ブロックから成る入力信号に対する従来の2次元DCT処理回路を示したもので、8個の入力信号に対する2つの1次元DCT回路と転置回路から成るが、特に1次元DCT回路の処理時間が大きいため、いくつかの高速アルゴリズムが考え出されている。図13は既知の高速アルゴリズムを用いた1次元DCTの一従来例である。この例ではDCTの変換式が持つ対称性を利用し、あらかじめ入力信号を対称に和差演算し、まとめることで乗算回数を半分に減らしている。
【0003】
また、FFTのようなバタフライによる高速アルゴリズムも広く知られている。このアルゴリズムはDCTの変換式に含まれる共通部分をまとめることで、乗算回数を更に減らしている。しかし、高速アルゴリズムを用いた装置の多くは回路規模が大きく、LSI化等の応用に不向きであることが指摘されている。
【0004】
また、人間は高域の周波数に鈍いという視覚特性を利用し、DCTによって変換した信号に重み付けを行う方式も一般に用いられている。このような方式では、低域を表す信号に大きな重み付けを行い、高域を表す信号に小さな重み付けを行うことにより、符号化の能率を高めようとすることが多い。図14は重み付けを行う2次元DCTの従来例である。図14(a)は通常の2次元DCT後に重み付けを行う例、図14(b)は1次元DCT毎に重み付けを行う例である。また、DCTと重み付けの乗数とを共用する方法が特開平2−116969号公報により公知である。
【0005】
一方、入力信号が時間のずれを持った2フィールドで構成されるTV映像信号等の高能率符号化では、フィールド間の動きを検出してDCTの方式を切り換える工夫が広く用いられている。図15はこの方法の従来例の1つである。DCT処理を行う前に動き検出回路(図示せず)から動き情報信号がDCT回路に供給され、動きの有無に応じて8×8個の入力信号を通常の2次元DCTする方式と、フィールド間の和および差から成る4×8個の入力信号2組に分けて2次元DCTする方式とを切り換えている。
【0006】
【発明が解決しようとする課題】
従来のDCT回路においては、上記の様に高速性や高能率性を向上させる工夫のために、回路規模が大きくなるという問題があった。特にDCTとその逆変換であるIDCTとの両方を必要とする用途では、更に回路規模が大きくなり、LSI化が困難になるという問題があった。
【0007】
本発明は上記のような問題を解決するためになされたもので、処理を高速化すると共に回路規模を縮小することのできる直交変換装置を得ることを目的としている。
【0008】
【課題を解決するための手段】
請求項1の発明による直交変換装置においては、2n個の入力信号X=(x0 ,x1 ,…,x2n-1)を対称要素の和の成分=(x0 +x2n-1,x1 +x2n-2,…,xn-1 +xn )と上記対称要素の差の成分=(x0 −x2n-1,x1 −x2n-2,…,xn-1 −xn )とに分割して処理する直交変換装置において、上記入力信号を受け取り、対象要素の和の成分および差の成分を算出する和差演算手段と、上記和差演算手段から対象要素の和の成分を受け取り、バタフライ回路を用いて直交変換するバタフライ手段と、上記和差演算手段から対象要素の差の成分を受け取り、係数器と切り換え器とを用いて直交変換する積和演算手段とを有することを特徴とする。
【0009】
請求項2の発明による直交変換方法においては、2n個の入力信号X=(x0 ,x1 ,…,x2n-1)を対称要素の和の成分=(x0 +x2n-1,x1 +x2n-2,…,xn-1 +xn )と上記対称要素の差の成分=(x0 −x2n-1,x1 −x2n-2,…,xn-1 −xn )とに分割し、それぞれ重み付けして処理する直交変換装置において、上記入力信号を受け取り、対象要素の和の成分および差の成分を算出する和差演算手段と、上記和差演算手段から対象要素の和の成分を受け取り、直交変換する第1の直交変換手段と、上記和差演算手段から対象要素の差の成分を受け取り、直交変換する第2の直交変換手段と、上記第2の直交変換手段の出力を受け取り、所定の係数を乗じる重み付け手段とを有し、さらに、上記第1の直交変換手段は、その変換行列に予め重み付け演算を行うことを特徴とする。
【0012】
【実施例】
図1は本発明による直交変換装置の実施例を示すブロック図であり、縦横8×8個の画素から成る入力信号を2次元DCTする場合の例を示す。
図2は本実施例によるDCTの処理過程を表す流れ図である。
図1、図2において本装置は、入力端子1、出力端子2、及び和差演算、積和演算、重み付け、転置、動き検出等の各処理を行う回路3〜8がバス10で接続された構成になっている。また、バス制御回路9がバス10のデータの流れを制御すると共に、上記諸回路3〜8と制御信号のやりとりを行い、動作状態の切り換えを制御して、図2に示した流れ図に従って処理を行うように成されている。
【0013】
入力端子1から1ライン分(画素8個)の信号が取り込まれ、バス10を介して和差演算回路3に供給される。図3は、和差演算回路3の実施例の1つを示す。図3において、バス10を介して端子301〜308に供給された信号の対称要素間の和が加算器317〜320から端子309〜312に出力される。また対称要素間の差が減算器321〜324から端子313〜316に出力される。この和差演算回路3が端子309〜312に出力した加算信号列は、バス制御回路9によって積和演算回路4に供給される。同様に和差演算回路3が端子313〜316に出力した減算信号列はバス制御回路9によって積和演算回路5に供給される。
【0014】
積和演算回路4の実施例の1つを図4に示す。この実施例は加算器410〜413を含む1組の4ポイントバタフライ演算器401、係数器414〜419、切り換え器sw1〜sw8、加算器420、遅延回路421〜424により図示のように構成されており、DCTおよびIDCT処理両方に対応した積和演算回路4である。図4において、係数器414〜419は各回路内に示した数字を乗算する。点線は符号の反転を表している。この積和演算回路4は端子402〜405に供給された信号を2サイクルで処理し、端子406〜409に出力する。図5はこの回路4がDCTおよびIDCT処理を行う際の各サイクルにおける切り換え器sw1〜sw8の状態を示したものである。
【0015】
一方、積和演算回路5の実施例の1つを図6に示す。図6において積和演算回路5は端子601に供給された減算信号列を4サイクルにわたってシリアルに係数器602〜605へ供給する。係数器602〜605は所定の係数k1〜k4を供給された信号に乗じ、それぞれ乗算結果と乗算結果の符号を点線のように反転した信号とが切り換え器606に供給される。切り換え器606は供給された信号を各サイクルで切り換え、積算回路607〜610に供給する。図7は各サイクルにおける切り換え器606の状態を示す。切り換え器606はDCTとIDCTとで各サイクルの状態が全く同一である。積算回路607〜610は、4サイクルにわたって供給される信号を積算し、端子611〜614に出力する。
【0016】
端子611〜614に出力された信号は、重み付け回路6に供給される。図8は重み付け回路6の実施例の1つを示す。図8において、重み付け回路6は端子801〜804に供給された信号にそれぞれ所定の係数を乗じて端子805〜808に出力する。図8において809〜816は係数器でそれぞれ係数w1、iw1〜w4、iw4を乗じる。817〜820は切り換え器である。切り換え器817〜820はDCT処理においてはa側を選択し、IDCT処理においてはb側を選択する。
【0017】
次に積和演算回路4と重み付け回路6の出力は、転置回路7に供給される。このとき、バス制御回路9は、積和演算回路4からの信号列と重み付け回路6からの信号列とを図9(a)に示すように互い違いに並べ換えて転置回路7に供給する。転置回路7は8ライン分(64個)の入力信号についての上記処理結果を保持した後、転置する。
【0018】
次に動き検出回路8は転置回路7に格納された信号から入力信号中の動き情報を検出する。図10は動き検出回路8の実施例の1つである。図10において動き検出回路8は、転置回路7からDC成分列を供給される。DC成分列は各ラインの直流成分から成るものである。この動き検出回路8は端子1001〜1008に供給されたDC成分列を奇数ライン列と偶数ライン列とに分け、それぞれの総和を加算器1012〜1017で求めた後、各総和同士の差を減算器1018で算出し、絶対値器1009によってその絶対値を求めて検出器1010に供給する。検出器1010は供給された値を定数256と比較し、256より小さい時は動き無し、256以上の時は動き有りを表す動き情報信号を端子1011に出力する。
【0019】
この動き情報信号は図1の出力端子2から出力されると共にバス制御回路9に供給され、以降の処理方式を決定する。尚、動き検出回路8を設けずに外部から動き情報信号を供給するように構成してもよい。動き無しの場合はバス制御回路9は、転置回路7から供給される8個ずつの信号に図1の入力端子1からの信号列と同様の処理過程を与える。すなわち、図2の分岐ブロック200から分岐路201側を介しての和算演算回路3への流れで処理され、出力端子2から順次出力される。また、動き有りの場合は、図2の分岐ブロック200から分岐路202側を介しての和算演算回路3への流れで処理される。この場合バス制御回路9は転置回路7が出力する8個ずつの信号を、図9(b)の様に並べ換えて和差演算回路3に供給する。
【0020】
動き無しの場合は、和差演算回路3が出力する加算信号列は積和演算回路4に供給され、前記した処理と同様の処理を同様にまた2サイクルで行うと共に積和演算回路5、重み付け回路6で同様に処理され、各処理結果を出力端子2から出力する。動き有りの場合は、和差演算回路3が出力する減算信号列は、今度は加算信号列と同様に積和演算回路4に供給される。積和演算回路4を図4の実施例のように構成した場合、処理時間が短いため、加算信号列と減算信号列それぞれに対する処理を順次直列に行っても、積和演算回路5と重み付け回路6の各処理時間の和以内の時間で処理可能である。積和演算回路4で処理された減算信号列は出力端子2から出力される。
【0021】
図11は図1の実施例によるIDCT処理過程を表す流れ図である。図1、図11、において、DCT係数列に先立って動き情報信号が入力端子1に供給される。動き情報信号が動き無しを示している場合はバス制御回路9は以降入力端子1から8個ずつ供給されるDCT係数列を、分岐ブロック1101を介して奇数番と偶数番の4個ずつの信号列に分離し、奇数番信号列を積和演算回路4に偶数番信号列を重み付け回路6に供給する。重み付け回路6は、供給された信号にIDCT時の所定の係数を乗じる。図8の重み付け回路6の実施例では、このとき切り換え器817〜820をb側に選択する。重み付け回路6の演算結果は、積和演算回路5に供給される。積和演算回路4を図4の実施例のように構成した場合、図5に従って切り換え器sw1〜sw8を選択し、2サイクルで処理を行う。積和演算回路5を図6の実施例のように構成した場合、図7に従って切り換え器606を選択し、4サイクルで処理を行う。
【0022】
積和演算回路4、積和演算回路5の処理結果は、バスを経由して和差演算回路3に供給される。このときバス制御回路9は、図9(c)のように信号を並べ換えて出力端子301〜308から和差演算回路3に供給する。和差演算回路3は図3の実施例のように、供給された信号を対称的に加減算し、その結果は転置回路7に供給される。
【0023】
一方、動き情報信号が動き有りを表している場合は、バス制御回路9は、以降8個ずつ入力端子1に供給される信号を分岐ブロック1101を介して4つずつ前半信号列と後半信号列とに分離し、順次、積和演算回路4に供給する。積和演算回路4で処理された前半信号列と後半信号列とはバス制御回路9により、図9(c)のように並べ換えられて、和差演算回路3に供給される。
【0024】
和差演算回路3は図3の実施例のように、供給された信号を対称的に加減算する。バス制御回路9は和差演算回路3の出力を図9(d)のように並べ換え、転置回路7に供給する。これ以降の処理は動き情報信号によらず同一である。転置回路は64個の信号をバッファに保持した後、転置して信号を8個ずつ出力する。8個ずつの信号は前述した図2の動き無しの場合のDCT係数列の処理と同様に処理され、出力端子2から順次出力される。
【0025】
本実施例においては図2、図11のいずれの処理過程も図1の和差演算回路3、積和演算回路4、積和演算回路5、重み付け回路6及び転置回路7の構成を共有している。即ち、図1における回路3〜8は、図2及び図11の各回路3〜8と共有される。
以上説明したように、本実施例によれば、入力信号列を対象要素の和成分と差成分とに分割する既知の高速アルゴリズムにおける上記和成分と上記差成分のそれぞれの積和演算を異なる構成の積和演算手段で行うように構成したことにより、DCTとIDCTとを行う各積和演算回路を一部で共有することができ、装置の回路規模を削減できると共に処理を高速化できる効果がある。
また、入力信号列を対象要素の和成分と差成分とに分割する既知の高速アルゴリズムにおける上記和成分と上記差成分のそれぞれの積和演算および重み付けを異なる方法で行うようにしたことにより、DCTとIDCTとを行う各積和演算回路を一部で共有することができ、回路規模を削減できると共に処理を高速化できる効果がある。
【0026】
【発明の効果】
本発明によれば、直交変換の順変換と逆変換とを行う部分を、可及的に多く共有させることができ、回路規模を削減できると共に処理を高速化できる。
【図面の簡単な説明】
【図1】本発明の実施例を示すブロック図である。
【図2】図1の装置によるDCTの流れ図である。
【図3】図1の装置における和差演算回路3の実施例を示すブロック図である。
【図4】図1の装置における積和演算回路4の実施例を示すブロック図である。
【図5】図4の切り換え器のサイクル毎の状態を示す構成図である。
【図6】図1の装置における積和演算回路5の実施例を示すブロック図である。
【図7】図6中の切り換え器のサイクル毎の状態を示す構成図である。
【図8】図1の装置における重み付け回路6の実施例を示すブロック図である。
【図9】図1の装置におけるバス制御回路9の信号並べ換え順を示す構成図である。
【図10】図1の装置における動き検出回路8の実施例を示すブロック図である。
【図11】図1の装置によるIDCTの流れ図である。
【図12】従来例を示すブロック図である。
【図13】高速アルゴリズムによる従来例を示すブロック図である。
【図14】重み付けの従来例を示すブロック図である。
【図15】動き情報に対応した従来例を示すブロック図である。
【符号の説明】
1 入力端子
2 出力端子
3 和差演算回路
4 積和演算回路
5 積和演算回路
6 重み付け回路
7 転置回路
8 動き検出回路
9 バス制御回路
10 バス

Claims (9)

  1. 2n個の入力信号X=(x0 ,x1 ,…,x2n-1)を対称要素の和の成分=(x0 +x2n-1,x1 +x2n-2,…,xn-1 +xn )と上記対称要素の差の成分=(x0 −x2n-1,x1 −x2n-2,…,xn-1 −xn )とに分割して処理する直交変換装置において、
    上記入力信号を受け取り、対象要素の和の成分および差の成分を算出する和差演算手段と、
    上記和差演算手段から対象要素の和の成分を受け取り、バタフライ回路を用いて直交変換するバタフライ手段と、
    上記和差演算手段から対象要素の差の成分を受け取り、係数器と切り換え器とを用いて直交変換する積和演算手段とを有することを特徴とする直交変換装置。
  2. 2n個の入力信号X=(x0 ,x1 ,…,x2n-1)を対称要素の和の成分=(x0 +x2n-1,x1 +x2n-2,…,xn-1 +xn )と上記対称要素の差の成分=(x0 −x2n-1,x1 −x2n-2,…,xn-1 −xn )とに分割し、それぞれ重み付けして処理する直交変換装置において、
    上記入力信号を受け取り、対象要素の和の成分および差の成分を算出する和差演算手段と、
    上記和差演算手段から対象要素の和の成分を受け取り、直交変換する第1の直交変換手段と、
    上記和差演算手段から対象要素の差の成分を受け取り、直交変換する第2の直交変換手段と、
    上記第2の直交変換手段の出力を受け取り、所定の係数を乗じる重み付け手段とを有し、
    さらに、上記第1の直交変換手段は、その変換行列に予め重み付け演算を行うことを特徴とする直交変換装置。
  3. 上記第1の直交変換手段は、バタフライ回路を備えて構成され、上記第2の直交変換手段は係数器と切り換え器とを含む積和演算手段を備えて構成されていることを特徴とする請求項2に記載の直交変換装置。
  4. 上記差の成分を直交変換する積和演算手段は、順変換と逆変換とで共通に用いられると共に、この積和演算手段を構成する上記係数器の個数が上記nに等しいことを特徴とする請求項1に記載の直交変換装置。
  5. 上記和の成分を直交変換するバタフライ手段は、順変換と逆変換とで共通に用いられることを特徴とする請求項1に記載の直交変換装置。
  6. 上記積和演算手段を構成する上記係数器と切り換え器は、順変換と逆変換とで共通に用いられると共に、上記係数器の個数が上記nに等しいことを特徴とする請求項3に記載の直交変換装置。
  7. 上記バタフライ回路は、順変換と逆変換とで共通に用いられることを特徴とする請求項3に記載の直交変換装置。
  8. 2n個の入力信号X=(x0 ,x1 ,…,x2n-1)を対称要素の和の成分=(x0 +x2n-1,x1 +x2n-2,…,xn-1 +xn )と上記対称要素の差の成分=(x0 −x2n-1,x1 −x2n-2,…,xn-1 −xn )とに分割して処理する直交変換方法において、
    上記入力信号を受け取り、対象要素の和の成分および差の成分を算出する和差演算工程と、
    上記和差演算工程により算出された対象要素の和の成分を、バタフライ回路により直交変換するバタフライ工程と、
    上記和差演算工程により算出された対象要素の差の成分を、係数器と切り換え器により直交変換する積和演算工程を有することを特徴とする直交変換方法。
  9. 2n個の入力信号X=(x0 ,x1 ,…,x2n-1)を対称要素の和の成分=(x0 +x2n-1,x1 +x2n-2,…,xn-1 +xn )と上記対称要素の差の成分=(x0 −x2n-1,x1 −x2n-2,…,xn-1 −xn )とに分割し、それぞれ重み付けして処理する直交変換方法において、
    上記入力信号を受け取り、対象要素の和の成分および差の成分を算出する和差演算工程と、
    上記和差演算工程により算出された対象要素の和の成分を直交変換する第1の直交変換工程と、
    上記和差演算工程により算出された対象要素の差の成分を直交変換する第2の直交変換工程と、
    上記第2の直交変換工程により直交された対象要素の差の成分に対し、所定の係数を乗じる重み付け工程とを有し、
    さらに、上記第1の直交変換工程は、その変換行列に予め重み付け演算を行うことを特徴とする直交変換方法。
JP23790394A 1994-09-30 1994-09-30 直交変換装置及び方法 Expired - Fee Related JP3715666B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP23790394A JP3715666B2 (ja) 1994-09-30 1994-09-30 直交変換装置及び方法
US08/534,886 US5825676A (en) 1994-09-30 1995-09-27 Orthogonal converting apparatus
US09/087,966 US6201895B1 (en) 1994-09-30 1998-06-01 Orthogonal converting apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP23790394A JP3715666B2 (ja) 1994-09-30 1994-09-30 直交変換装置及び方法

Publications (2)

Publication Number Publication Date
JPH08101825A JPH08101825A (ja) 1996-04-16
JP3715666B2 true JP3715666B2 (ja) 2005-11-09

Family

ID=17022145

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23790394A Expired - Fee Related JP3715666B2 (ja) 1994-09-30 1994-09-30 直交変換装置及び方法

Country Status (1)

Country Link
JP (1) JP3715666B2 (ja)

Also Published As

Publication number Publication date
JPH08101825A (ja) 1996-04-16

Similar Documents

Publication Publication Date Title
US7127482B2 (en) Performance optimized approach for efficient downsampling operations
KR100311251B1 (ko) 2차원이산코사인변환장치,2차원역이산코사인변환장치및디지탈신호처리장치
EP0720104B1 (en) Method for inverse discrete cosine transform
JPH04313157A (ja) 演算処理装置
EP1179787A1 (en) Fast calculation apparatus for carrying out a forward and an inverse transform
EP0366435B1 (en) Orthogonal and inverse orthogonal transform apparatus
JP2870756B2 (ja) 空間フィルタ画像処理装置
JP3577325B2 (ja) 離散余弦変換(dct)によるデータ処理方法、dct方法、およびdctデータ処理回路
US5652625A (en) Multi-stage pipeline architecture for motion estimation block matching
JP3715666B2 (ja) 直交変換装置及び方法
JP3715665B2 (ja) 直交変換装置
JP3630727B2 (ja) 直交変換装置及び直交変換方法
US5825676A (en) Orthogonal converting apparatus
JP2003030174A (ja) Dct行列分解方法及びdct装置
US5999958A (en) Device for computing discrete cosine transform and inverse discrete cosine transform
JPH04277932A (ja) 画像データ圧縮装置
JPH06225287A (ja) 演算回路
JPH0644291A (ja) 離散コサイン変換器及び情報符号化器
JP3652717B2 (ja) 離散コサイン高速演算器
US6493737B1 (en) Method and circuit for computing the discrete cosine transform (DCT) in microcontrollers
JP3046116B2 (ja) 離散コサイン変換器
JP2646844B2 (ja) 離散コサイン変換装置
JPH05153402A (ja) 離散コサイン変換器
EP0321584A1 (en) System for calculating sum of products
JP2945013B2 (ja) 空間フイルタ画像処理装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20041108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20041130

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050128

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050816

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050826

R150 Certificate of patent (=grant) or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090902

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090902

Year of fee payment: 4

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100902

Year of fee payment: 5

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110902

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110902

Year of fee payment: 6

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120902

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120902

Year of fee payment: 7

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130902

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees