JP3577455B2 - 画像処理方法、装置、および画像処理プログラムを記録した記録媒体 - Google Patents

画像処理方法、装置、および画像処理プログラムを記録した記録媒体 Download PDF

Info

Publication number
JP3577455B2
JP3577455B2 JP2000257468A JP2000257468A JP3577455B2 JP 3577455 B2 JP3577455 B2 JP 3577455B2 JP 2000257468 A JP2000257468 A JP 2000257468A JP 2000257468 A JP2000257468 A JP 2000257468A JP 3577455 B2 JP3577455 B2 JP 3577455B2
Authority
JP
Japan
Prior art keywords
image data
value
pixel
converted
original
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000257468A
Other languages
English (en)
Other versions
JP2002072994A (ja
Inventor
隆 佐藤
行信 谷口
治彦 児島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP2000257468A priority Critical patent/JP3577455B2/ja
Publication of JP2002072994A publication Critical patent/JP2002072994A/ja
Application granted granted Critical
Publication of JP3577455B2 publication Critical patent/JP3577455B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Controls And Circuits For Display Device (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は画像処理方法および装置に関する。
【0002】
【従来の技術】
従来の画像データを表示する装置では、フレームバッファという記憶手段に画像データを記憶し、その内容をブラウン管や液晶パネルなどの表示装置に表示していた。
【0003】
【発明が解決しようとする課題】
しかしながら、従来の技術では、表示しようとする画像データそのものがフレームバッファに格納されているため、フレームバッファの内容をコピーすれば、容易に画像データの複製ができるという問題があった。
【0004】
たとえば、コンピュータを用いて画像を表示しているとき、スクリーンダンプを行えば容易に画像データをコピーすることができる。
【0005】
このため、たとえば、ネットワークを通じて画像データを流通させるときに、端末のコンピュータで画像の複製が容易にできてしまうため、画像データの著作権を保護するのが難しいという問題があった。
【0006】
本発明の目的は、表示しようとする画像データの複製を困難にする画像処理方法、装置、および画像処理プログラムを記録した記録媒体を提供することにある。
【0007】
【課題を解決するための手段】
本発明の画像処理方法は、原画像データを2つ以上の相異なる画像データに、それらの平均が前記原画像データと同等となるように変換する変換ステップと、変換画像データを高速に順次切替えて表示する表示ステップを有する画像処理方法において、
前記変換ステップが、前記原画像データの原画素値Sにインデックスカラーの輝度値を割り当てたときの、前回の処理における誤差値eを前記原画素値Sに加算して画素値sを求め、画素値sと前記原画像データの画素値Sの変動値Dから画素値s−Dとs+Dを計算して、これらを変換画像データの対応する変換画素値T 1 ,T 2 とし、これら変換画素値T 1 ,T 2 をそれぞれ減色処理によってインデックスカラーに変換し、その画素値Q 1 ,Q 2 を求め、画素値Q 1 ,Q 2 の平均値と画素値sの差である誤差eを求め、誤差eを周囲の画素の誤差に重みをかけて加算することを含む。
本発明の他の画像処理方法は、現画像データを2つ以上の相異なる画像データに、それらの平均が前記原画像データと同等となるように変換する変換ステップと、変換画像データを高速に順次切替えて表示する表示ステップを有する画像処理方法において、
各画素毎に変動値の上限を格納したパターンP(x,y)を予め設定しておき、前記変換ステップは、前記原画像データの各画素(画素値S)についてパターンP(x,y)を越えないように変動値Dを計算し、画素値S−DとS+Dを変換画像データの対応する画素の画素値とすることを含む。
【0008】
したがって、変換画像データは表示部の残像と人間の視覚特性によりそれらが重なり合って、原画像と同じ1つの画像として知覚される。しかも、表示部に瞬間瞬間に表示された画像は原画像データを変換したものであるので、原画像データの複製が困難である。
【0009】
【発明の実施の形態】
次に、本発明の実施の形態について図面を参照して説明する。
【0010】
図1は本発明の第1の実施形態の画像表示装置のブロック図、図2はその動作を示すフローチャートである。
【0011】
原画像記憶部1は原画像データを記憶する(ステップ11)。原画像記憶部1としては、半導体、磁気ディスクなどの記憶手段を用いることができる。また、原画像記憶部1は、不正なアクセスができない保護された領域に配置するのが望ましい。
【0012】
画像変換部2は原画像データをN(N≧2)個の画像データに、それらの平均が原画像データと同等になるように変換する(ステップ12)。
【0013】
変換画像記憶部3,3,…,3は変換画像データを記憶する(ステップ13)。変換画像記憶部3〜3としては半導体メモリ、磁気ディスクなどの記憶手段を用いることができる。また、変換画像記憶部3〜3も不正なアクセスができないように保護された領域に配置するのが望ましい。
【0014】
切替部4は、変換画像記憶部3〜3に記憶されたN個の変換画像を高速に順次切り替えて、ブラウン管、液晶パネルなどの表示部5に表示する(ステップ14)。なお、画像のちらつきを抑えるために、画像の切替えは、図3(1)に示すように、表示部5の走査線の垂直無表示期間tに行なうのが望ましく、切替え周期は短いにこしたことがない。切替え周期はフレーム周期(インタレース表示法のときはフィールド周期)tが上限になるが、図3(2)に示すように、tの倍数のこともありうる。
【0015】
このように、複数の変換画像を高速に切り替えて表示することにより、表示部5の残像と人間の視覚特性により、それらが重なり合って、原画像と同じひとつの画像であると知覚される。
【0016】
しかも、表示部5が表示画像データをフレームバッファに記憶している場合でも、そのフレームバッファには変換画像が記憶されているので、原画像データを復元するのが困難である。したがって、原画像データの複製を防ぐことができる。なお、複数の変換画像データを入手すれば、原画像データを復元することが容易になるので、ときどき変換画像を作成し直すのが望ましい。
【0017】
次に、画像変換部3〜3について説明する。
【0018】
原画像データで座標(x,y)の画素値をS(x,y)とするとき、N枚の変換画像を、i番目(i=1〜N)の変換画像の同じ座標(x,y)の画素値T(x,y)が、
【0019】
【数1】
Figure 0003577455
【0020】
となるように、すなわち、平均が原画像と同じになるように作成する。
【0021】
この変換画像を高速に切り替えて表示すると、互いに重なり合って、変換画像の平均画像が知覚される。したがって、見た目には原画像と変わらないように表示することができる。
【0022】
次に、平均が原画像と等しい2つの変換画像の作成例について説明する。原画像データで座標(x,y)の画素値をS(x,y)とするとき、変動値Dを考え、a=S(x,y)−D、b=S(x,y)+Dを計算する。このとき、a,bが画素値の最小値と最大値を超えないように、変動値Dの値は、図4の斜線で示すようなS(x,y)に依存する範囲内である必要がある。なお、図4は、最小値=0、最大値=255の例である。Dの値は、この範囲内の値をランダムに選択するのが望ましい。
【0023】
変換画像の画素値は、a,bのいずれかを割り当てる。つまり、T(x,y)=a,T(x,y)=bとするか、T(x,y)=b,T(x,y)=aとする。この割り当て方は、画素毎にランダムに変えてもよい。
【0024】
さらに、図5のようなパターンを用意しておき、Dの値の上限を設定してもよい。パターンは画像データと同様の数値列であり、座標(x,y)の値をP(x,y)とすると、上の条件にくわえて、D<P(x,y)となるようにDを決める。図の例で斜線領域は最小画素値、白い領域は最大画素値を表しているとすると、斜線領域については原画像データがそのまま用いられ、白い領域のみ画素値が変換される。その結果、変換画像には、このパターンに従った模様が現れることになる。なお、パターン上の値は、最小画素値と最大画素値の中間の値を用いてもよい。
【0025】
図6のフローチャートは、乱数とパターンを用いてDの値や、T,Tの割り当てをランダムに決定する例である。
【0026】
まず、ステップ21に画素値S(x,y)をsに入れる。ステップ22に、sが128より小さいかどうか判定する。小さければ、ステップ23にsの値をrに代入し、小さくなければステップ24に255−sの値をrに代入する。ステップ25に、rがP(x,y)より大きいかどうか判定する。大きければ、ステップ26にP(x,y)をrとする。ステップ27に0≦D≦rの乱数Dを発生する。ステップ28に、s−Dをa、s+Dをbにそれぞれ代入する。ステップ29に、Dがr/2より小さいかどうか判定する。小さければ、ステップ30にaをT(x,y)に、bをT(x,y)に代入し、小さくなければステップ31にbをT(x,y)に、aをT(x,y)に代入する。
【0027】
図7は本発明の第2の実施形態の画像表示装置のブロック図である。本実施形態は原画像データが暗号化されている場合で、暗号化された原画像データを復号部6により復号して原画像記憶部1に記憶する。暗号の方法として、DESや、FEAL、MD5、RSAなどの従来技術の暗号方法を用いることができる。また、画像スクランブル解除方法を用いてもよい。
【0028】
次に、色数が限定されている表示部5に表示するために、減色処理を行いながら原画像データを変換する画像変換部2の例について図面を用いながら説明する。
【0029】
まず、減色処理について説明する。図8に示すように、1画素を(赤R,緑G,青B)の3つの輝度値によって表すとき、各々の輝度値が0〜255の256階調の分解能があるとすると、256の3乗の約1,600万色を表すことができる。この画像を、256色しか表示できない表示部5に表示するためには、色数を256色以下に減らす必要がある。これを減色処理という。このとき、参照表に基づき、原画素のRGBの組にもっとも近いインデックス番号によって画像を表す方法をインデックスカラーという。この例では、RGBの輝度値をそれぞれ0,51,102,153,204,255の6階調に量子化し、6の3乗の216色のインデックスを用意している。
【0030】
図9に示すように、原画素値Sに対し、インデックスカラーの輝度値Qを割り当てると、誤差eが生じる。この誤差を無視すると、原画像の微妙な濃淡が失われて、のっぺりした画像になってしまう。そこで、誤差を周囲の画素に加算して拡散させると、複数の画素が網点のように組み合わさって、原画素値に似たように見える。これを、誤差拡散法によるディザという。誤差を周囲の画素に加算する方法として、図10に示すように、注目画素を*とすると、走査方向の次の画素に誤差の7/16、次の走査線の画素に誤差の3/16,5/16、1/16の重みをかけて、それぞれ加算する方法が知られている。
【0031】
さて、前記の画像変換部2によって変換された複数の変換画像について、それぞれ独立に上記の誤差拡散法によるディザを施し、減色処理すると、減色処理した画像の平均画像は必ずしも原画像に近くなるとは限らない。そこで、図11に示すように、変動値Dによって変換された画素値T,Tをそれぞれ減色処理して得られたインデックスカラーの画素値Q,Qの平均画素値を考え、原画素値Sとの誤差eを計算する。そして誤差eを周囲の画素に拡散すれば、減色処理後の変換画像の平均と原画像が近くなる。
【0032】
図12に、図6のフローチャートに減色処理を追加した処理手順を示す。最初に、原画素値S(x、y)に前回の処理における誤差e(x、y)を加算して、画素値sを求める(ステップ21′)。次に、図5と同様にして、変動値Dを求めて、変換画素値T1,T2を求める(ステップ22〜31)。T1,T2をそれぞれ減色処理qによってインデックスカラーに変換し、その画素値を求めてQ1,Q2とする(ステップ32)。Q1,Q2の平均値と画素値sとの差を誤差eとして求める(ステップ33)。誤差eは、周囲の誤差e(x+dx,y+dy)に重みwをかけて加算する(ステップ34)。このときの重みは図10に示した通りである。
【0033】
以上のように、変換画像の作成に減色を組み合わせることによって、減色処理後の変換画像の平均と原画像が近くなる。
【0035】
13は第1の実施形態の画像処理装置をパソコン等のコンピュータを用いて実現する場合の構成図である。入力部41は原画像データを入力するためのものである。記憶装置42は原画像記憶部1と変換画像記憶部31〜3Nに相当し、原画像データおよび変換画像データを記憶する。記憶装置43はハードディスクである。表示装置44は表示部5に相当し、変換画像データを表示する。記憶媒体45は、フロッピィ・ディスク、CD−ROM、光磁気ディスク、DVD等の記録媒体で、図2に示したステップ11〜14からなる画像処理プログラムを記憶している。データ処理装置46は、CPU、各種インタフェース等を含み、記録媒体45から画像処理プログラムを記憶装置43に読み込んで、これを実行する。
【0036】
なお、図7の実施形態の画像処理装置も同様にしてパソコン等のコンピュータ上で実現することができる。
【0037】
また、図1に示すように、上記の画像処理プログラムを、サーバコンピュータ51からクライアントコンピュータ52に、ネットワーク53を経由して伝送し、クライアントコンピュータ52において実行することもできる。また、同じネットワーク53を用いて、画像データやパターンデータを伝送してもよい。また、同じネットワーク53を用いて暗号の復号に必要な情報を伝送してもよい。
【0038】
なお、本発明は、その主旨を変えない範囲で様々に実施することができる。例えば、時間的に変動する複数の画像から構成される動画像を対象にして用いることができる。
【0039】
【発明の効果】
以上説明したように、本発明によれば、表示する画像データの複製が困難であるという効果がある。
【図面の簡単な説明】
【図1】本発明の第1の実施形態の画像処理装置のブロック図である。
【図2】第1の実施形態の画像処理装置の動作を示すフローチャートである。
【図3】切替部4における切替のタイミングの説明図である。
【図4】画素の変動値の範囲を説明する図である。
【図5】画素の変動値の範囲を設定するパターンの例を示す図である。
【図6】乱数とパターンを用い画像を変換する方法を示すフローチャートである。
【図7】本発明の第2の実施形態の画像処理装置のブロック図である。
【図8】減色処理の説明図である。
【図9】減色後画素値の誤差を示す図である。
【図10】誤差を周囲の画素に加算する方法の説明図である。
【図11】減色処理後の変換画像の平均と原画像が近くなることの説明図である。
【図12】図5の処理に減色処理を追加した処理を示すフローチャートである。
【図13】第1の実施形態の画像処理装置をコンピュータ上で実施する場合の構成図である。
【図14】画像処理プログラムをネットワークを介してサーバコンピュータからクライアントコンピュータへ転送する説明図である。
【符号の説明】
1 原画像記憶部
2 画像変換部
1〜3N 変換画像記憶部
4 切替部
5 表示部
6 復号部
11〜14,21′,21〜34 ステップ
41 入力装置
42,43 記憶装置
44 表示装置
45 記録媒体
46 データ処理装置
51 サーバコンピュータ
52 クライアントコンピュータ
53 ネットワーク

Claims (9)

  1. 原画像データを2つ以上の相異なる画像データに、それらの平均が前記原画像データと同等となるように変換する変換ステップと、変換画像データを高速に順次切替えて表示する表示ステップを有する画像処理方法において、
    前記変換ステップが、
    前記原画像データの原画素値Sにインデックスカラーの輝度値を割り当てたときの、前回の処理における誤差値eを前記原画素値Sに加算して画素値sを求め、
    画素値sと前記原画像データの画素値Sの変動値Dから画素値s−Dとs+Dを計算して、これらを変換画像データの対応する変換画素値T 1 ,T 2 とし、
    これら変換画素値T 1 ,T 2 をそれぞれ減色処理によってインデックスカラーに変換し、その画素値Q 1 ,Q 2 を求め、
    画素値Q 1 ,Q 2 の平均値と画素値sの差である誤差eを求め、
    誤差eを周囲の画素の誤差に重みをかけて加算することを特徴とする画像処理方法。
  2. 原画像データを2つ以上の相異なる画像データに、それらの平均が前記原画像データと同等となるように変換する変換ステップと、変換画像データを高速に順次切替えて表示する表示ステップを有する画像処理方法において、
    各画素毎に変動値の上限を格納したパターンP(x,y)を予め設定しておき、前記変換ステップは、前記原画像データの各画素(画素値S)についてパターンP(x,y)を越えないように変動値Dを計算し、画素値S−DとS+Dを変換画像データの対応する画素の画素値とすることを特徴する画像処理方法。
  3. 前記原画像データの画素毎に変動値Dの値域を制御するステップをさらに有する、請求項1または2記載の方法。
  4. 暗号化された原画像データを復号する復号ステップを、前記変換ステップの前に有する、請求項1からのいずれか1項に記載の方法。
  5. 原画像データを2つ以上の相異なる画像に、これらの平均が前記原画像データと同等になるように変換する画像変換手段と、変換画像データを高速に順次切替えて表示部に表示する切替手段を有する画像処理装置において、
    前記画像変換手段は、前記原画像データの原画素値Sにインデックスカラーの輝度値を割り当てたときの、前回の処理における誤差値eを前記原画素値Sに加算して画素値sを求め、画素値sと前記原画像データの原画素値Sの変動値Dから画素値s−Dとs+Dを計算して、これらを変換画像データの対応する変換画素値T 1 ,T 2 とし、これら変換画素値T 1 ,T 2 をそれぞれ減色処理によってインデックスカラーに変換し、その画素値Q 1 ,Q 2 を求め、画素値Q 1 ,Q 2 の平均値と画素値sの差である誤差eを求め、誤差eを周囲の画素の誤差に重みをかけて加算することを特徴とする画像処理装置。
  6. 原画像データを2つ以上の相異なる画像に、これらの平均が前記原画像データと同等になるように変換する画像変換手段と、変換画像データを高速に順次切替えて表示部に表示する切替手段を有する画像処理装置において、
    各画像毎に変動値の上限を格納したパターンP(x,y)を予め設定しておく手段をさらに有し、前記画像変換手段は前記画像データの各画素(画素値S)についてパターンP(x,y)を越えないように変動値Dを計算し、画像値S−DとS+Dを変換画像データの対応する画素の画素値とすることを特徴とする画像処理装置。
  7. 前記画像変換手段は、前記原画像の画素ごとに変動値Dの値域を制御する、請求項5または6に記載の装置。
  8. 暗号化された原画像データを復号する復号手段をさらに有する、請求項5から7のいずれか1項に記載の装置。
  9. 請求項1から4のいずれかに記載の方法をコンピュータに実行させるための画像処理プログラムを記録した記録媒体。
JP2000257468A 2000-08-28 2000-08-28 画像処理方法、装置、および画像処理プログラムを記録した記録媒体 Expired - Fee Related JP3577455B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000257468A JP3577455B2 (ja) 2000-08-28 2000-08-28 画像処理方法、装置、および画像処理プログラムを記録した記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000257468A JP3577455B2 (ja) 2000-08-28 2000-08-28 画像処理方法、装置、および画像処理プログラムを記録した記録媒体

Publications (2)

Publication Number Publication Date
JP2002072994A JP2002072994A (ja) 2002-03-12
JP3577455B2 true JP3577455B2 (ja) 2004-10-13

Family

ID=18745921

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000257468A Expired - Fee Related JP3577455B2 (ja) 2000-08-28 2000-08-28 画像処理方法、装置、および画像処理プログラムを記録した記録媒体

Country Status (1)

Country Link
JP (1) JP3577455B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810493B2 (en) 2007-02-15 2014-08-19 Nec Corporation Display system, control system, and display method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008026403A1 (fr) 2006-08-30 2008-03-06 Nec Corporation Dispositif de traitement d'image, procédé de traitement d'image, son programme, dispositif d'affichage et système d'affichage d'image
JP4696099B2 (ja) 2007-08-07 2011-06-08 日立オムロンターミナルソリューションズ株式会社 表示画像変換装置
JP2009205198A (ja) * 2008-02-26 2009-09-10 Nec Corp 画像処理装置、方法、及び、プログラム
JP4950316B2 (ja) * 2010-02-26 2012-06-13 楽天株式会社 データ生成装置、データ生成方法、及びデータ生成プログラム
JP5618630B2 (ja) * 2010-05-31 2014-11-05 日立オムロンターミナルソリューションズ株式会社 表示画像変換装置および表示情報変換装置
JP6028477B2 (ja) * 2012-09-13 2016-11-16 大日本印刷株式会社 スクリーンキャプチャの抑制機能を備えた画像表示装置
WO2014118960A1 (ja) 2013-01-31 2014-08-07 楽天株式会社 画像表示装置、画像表示方法及びプログラム
JP5374671B1 (ja) * 2013-03-29 2013-12-25 楽天株式会社 動画像処理システム、動画像処理方法及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8810493B2 (en) 2007-02-15 2014-08-19 Nec Corporation Display system, control system, and display method

Also Published As

Publication number Publication date
JP2002072994A (ja) 2002-03-12

Similar Documents

Publication Publication Date Title
JP3359140B2 (ja) ブロック並列誤差拡散方法と装置
JP5029610B2 (ja) 画像処理装置、画像処理方法及びそのプログラム、表示装置並びに画像表示システム
JP3577455B2 (ja) 画像処理方法、装置、および画像処理プログラムを記録した記録媒体
EP2541891B1 (en) Data-generating device, data-generating method, data-generating program, and recording medium
EP1730722A1 (en) Error accumulation dithering of image data
JP4240435B2 (ja) 画像表示装置及び該画像表示装置を備えた機器
JP4262980B2 (ja) ディザリングによるlcos表示装置の輪郭低減方法及びシステム
US20010048771A1 (en) Image processing method and system for interpolation of resolution
JP2003338929A (ja) 画像処理方法および画像処理装置
Zhang Space-filling curve ordered dither
US7460277B2 (en) System and method for halftoning using a time-variable halftone pattern
JP2003513317A (ja) グレースケール制御を行うディスプレイ回路
JP2003076341A (ja) シーケンシャル・カラー・ディスプレイ装置
JP2000050315A (ja) 立体画像の階調表示制御方法および装置
JP2004029639A (ja) ビット数削減方法
JPH01312671A (ja) 画像処理装置
JP3815514B2 (ja) 拡大画像の画素高速補間方式および画像処理装置
JP4024643B2 (ja) 画像信号処理装置
JP4270795B2 (ja) カラーディスプレイ用のサブピクセルを再マッピングする方法および装置
JP2001265299A (ja) アクティブマトリクス型液晶表示装置および液晶パネルの表示制御方法
JP2589953B2 (ja) 文字・画像データ生成装置及び方法
JPH09204171A (ja) グラフィックデータ発生方法およびグラフィックコントローラ
JP2008040405A (ja) 画像データ処理装置、画像表示装置、駆動画像データ生成方法、およびコンピュータプログラム
JPH10153981A (ja) 画像表示装置
JPH05333831A (ja) 階調表示制御回路

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040623

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040712

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080716

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080716

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090716

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090716

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100716

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100716

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110716

Year of fee payment: 7

LAPS Cancellation because of no payment of annual fees