JP4078534B2 - 画像処理装置および画像処理方法 - Google Patents

画像処理装置および画像処理方法 Download PDF

Info

Publication number
JP4078534B2
JP4078534B2 JP2002172953A JP2002172953A JP4078534B2 JP 4078534 B2 JP4078534 B2 JP 4078534B2 JP 2002172953 A JP2002172953 A JP 2002172953A JP 2002172953 A JP2002172953 A JP 2002172953A JP 4078534 B2 JP4078534 B2 JP 4078534B2
Authority
JP
Japan
Prior art keywords
image
data
color
shape
generating
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002172953A
Other languages
English (en)
Other versions
JP2004021410A (ja
Inventor
成輝 林
勝也 坂牧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2002172953A priority Critical patent/JP4078534B2/ja
Publication of JP2004021410A publication Critical patent/JP2004021410A/ja
Application granted granted Critical
Publication of JP4078534B2 publication Critical patent/JP4078534B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Image Generation (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、肌の質感をリアルに再現できる画像処理装置および画像処理方法に関する。
【0002】
【従来の技術】
3次元のコンピュータグラフィックス(以下、CGと略称する)画像を生成するには、「モデルとなる物体の形状」、「テクスチャによる色再現およびバンプマッピングによる凹凸表現を含み、物体表面の質感を出すための画像」、「視点位置」、「光源位置」および「光源色」を表す各データやパラメータを用いる。CG画像では、視点位置および光源位置に応じてモデルに陰影が付けられるので、例えば人の顔をモデルとした場合には肌の上に黒っぽい陰として描画されてしまう。
しかしながら、実際の肌はその表面が半透明で、真皮以下が不透明となっているので、表面上では光透過や散乱が生じて単純な陰は出来ない。つまり、実際の肌では光透過や散乱により生じる乱反射光として、「血の色」を反映した赤味を帯びた明るさが生じており、これがいわゆる「肌の透明感」となって肌のリアルな質感を再現する要素となっている。
【0003】
【発明が解決しようとする課題】
ところで、従来の画像処理装置では、上述した肌内での乱反射をシミュレートすることで肌のリアルな質感を再現できるものの、その乱反射のシミュレートには非常に膨大な演算が要求される結果、一つのCG画像を作成するのに多大な処理時間を要してしまい効率的でない、という問題がある。
そこで本発明は、このような事情に鑑みてなされたもので、多大な処理時間を要することなく効率的に肌の質感をリアルに再現することができる画像処理装置および画像処理方法を提供することを目的としている。
【0004】
【課題を解決するための手段】
上記目的を達成するため、請求項1に記載の発明では、モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って元画像を生成する元画像生成手段と、前記形状データと、前記色データと、前記撮影データ中の光源色だけを赤色に変更した撮影データとから構成される使用データに従って補正画像を生成する補正画像生成手段と、前記元画像と前記補正画像とを重ね合わせて合成画像を作成する画像合成手段とを具備することを特徴とする。
【0006】
請求項に記載の発明では、モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って元画像を生成する元画像生成手段と、前記形状データと、前記色データと、前記撮影データ中の光源色だけを赤色に変更した撮影データとから構成される使用データに従って補正画像を生成する補正画像生成手段と、前記元画像と前記補正画像とを重ね合わせて合成画像を作成すると共に、当該合成画像が最適な肌の質感を再現するよう前記補正画像の色調を調整する画像合成手段とを具備することを特徴とする。
【0007】
請求項に記載の発明では、モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って元画像を生成する元画像生成過程と、前記形状データと、前記色データと、前記撮影データ中の光源色だけを赤色に変更した撮影データとから構成される使用データに従って補正画像を生成する補正画像生成過程と、前記元画像と前記補正画像とを重ね合わせて合成画像を作成する画像合成過程とを具備することを特徴とする。
【0009】
請求項に記載の発明では、モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って元画像を生成する元画像生成過程と、前記形状データと、前記色データと、前記撮影データ中の光源色だけを赤色に変更した撮影データとから構成される使用データに従って補正画像を生成する補正画像生成過程と、前記元画像と前記補正画像とを重ね合わせて合成画像を作成すると共に、当該合成画像が最適な肌の質感を再現するよう前記補正画像の色調を調整する画像合成過程とを具備することを特徴とする。
【0010】
請求項に記載の発明では、モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って元画像を生成する元画像生成手段と、前記形状データと、前記色データ中の反射色だけを赤色に変更した色データと、前記撮影データとから構成される使用データに従って補正画像を生成する補正画像生成手段と、前記元画像と前記補正画像とを重ね合わせて合成画像を作成する画像合成手段とを具備することを特徴とする。
【0012】
請求項に記載の発明では、モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って元画像を生成する元画像生成手段と、前記形状データと、前記色データ中の反射色だけを赤色に変更した色データと、前記撮影データとから構成される使用データに従って補正画像を生成する補正画像生成手段と、前記元画像と前記補正画像とを重ね合わせて合成画像を作成すると共に、当該合成画像が最適な肌の質感を再現するよう前記補正画像の色調を調整する画像合成手段とを具備することを特徴とする。
【0013】
請求項に記載の発明では、モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って元画像を生成する元画像生成過程と、前記形状データと、前記色データ中の反射色だけを赤色に変更した色データと、前記撮影データとから構成される使用データに従って補正画像を生成する補正画像生成過程と、前記元画像と前記補正画像とを重ね合わせて合成画像を作成する画像合成過程とを具備することを特徴とする。
【0015】
請求項に記載の発明では、モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って元画像を生成する元画像生成過程と、前記形状データと、前記色データ中の反射色だけを赤色に変更した色データと、前記撮影データとから構成される使用データに従って補正画像を生成する補正画像生成過程と、前記元画像と前記補正画像とを重ね合わせて合成画像を作成すると共に、当該合成画像が最適な肌の質感を再現するよう前記補正画像の色調を調整する画像合成過程とを具備することを特徴とする。
【0016】
本発明では、モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って生成される元画像と、前記撮影データ中の光源色だけを赤色に変更した使用データに従って生成される補正画像とを重ね合わせて「肌の透明感」を再現する合成画像を形成するようにしたので、従来のように、非常に膨大な演算が要求される肌内の乱反射のシミュレートを行うことなく効率的に肌の質感をリアルに再現することが可能になる。
また、本発明では、色データ中の反射色だけを赤色に変更した使用データに従って生成される補正画像と元画像とを重ね合わせて「肌の透明感」を再現する合成画像を形成するので、従来のように、非常に膨大な演算が要求される肌内の乱反射のシミュレートを行うことなく効率的に肌の質感をリアルに再現することが可能になる。
【0017】
【発明の実施の形態】
以下、図面を参照して本発明の実施の一形態について説明する。図1は実施の一形態による画像処理装置の構成を示すブロック図である。この図において、1はハードディスク等の外部記憶装置である。この外部記憶装置1には、後述するCPU3によって実行されるレンダリング実行プログラムの他、CG画像生成に必要な形状データ、色データ、撮影データおよび合成パラメータが記憶される。形状データはモデル形状を表す。色データはモデル表面の色を再現するためのテクスチャデータ、凹凸を表現するためのバンプマップデータおよび光反射を表すスペキュラーマップデータから構成される。撮影データはカメラ位置(視点位置)や光源条件(ライト位置/色/照度)などから構成される。
【0018】
2はCPU3のワークエリアとして用いられるワークRAMであり、CG画像生成演算に使用される各種レジスタ・フラグデータを一時記憶する。CPU3はユーザの入力操作に応じてキーボード5あるいはマウス6が発生する入力データや入力イベントに従い装置各部を制御する。本発明の要旨に係わるCPU3の処理動作については追って述べる。4はCPU3によって生成されるCG画像を画面表示する表示部である。キーボード5およびマウス6はユーザの入力操作に応じて入力データや入力イベントを発生してCPU3に供給する。
【0019】
次に、図2を参照してCPU3が実行する画像作成処理の動作について述べる。先ず、ユーザの入力操作によってレンダリング実行プログラムの実行が指示されると、ステップS1に処理を進め、外部記憶装置1から該当するプログラムを読み出す。次いで、ステップS2では、ユーザの入力操作によって使用データが指定されると、外部記憶装置1から対応する形状データ、色データおよび撮影データを読み出す。そして、ステップS3に進むと、指定された使用データ(形状データ、色データおよび撮影データ)に従って周知のレイトレーシング法あるいはラジオシティ法などによるレンダリング処理を行い、続くステップS4では上記レンダリング処理にて得られた元画像データを途中結果として外部記憶装置1のテンポラリフォルダtemp1に保存する。
【0020】
次に、ステップS5では、光源条件の内、光源色を「白色」から「赤色」に変更する。ここで言う赤色とは、R:G:Bの比で190:5:10を基準としている。そして、ステップS6では、上記ステップS3と同様、指定された使用データ(形状データ、色データおよび撮影データ)の内、撮影データ中の光源色だけを「赤色」に変更して再度レンダリング処理を実行する。続いてステップS7では、光源色を「赤色」に変更して得られた補正画像データを外部記憶装置1のテンポラリフォルダtemp2に保存する。
次いで、ステップS8に進み、外部記憶装置1からテンポラリフォルダtemp1(元画像データ)とテンポラリフォルダtemp2(補正画像データ)をそれぞれ読み出す。ステップS9では、読み出した元画像データに補正画像データを重ね合わせて合成画像データを形成し、続くステップS10にてその合成画像データを表示部4に画面表示する。
【0021】
こうした画像作成処理によって、例えば頭部左後方に光源を、顔正面に正対する視点をそれぞれ位置させた条件で人の左耳部分のCG画像を生成すると、元画像データでは耳の舟状窩(耳輪内側の凹み)や外聴道の入口部分が黒っぽい陰として描画され、一方、補正画像データではそれらの部分が赤色光を透過し易い為に赤く描画される。
したがって、元画像データと補正画像データとを重ね合わせた合成画像データでは、耳の舟状窩(耳輪内側の凹み)や外聴道の入口部分が赤味を帯び、これが前述した「肌の透明感」となって肌のリアルな質感を再現し得るようになる。
【0022】
以上のように、本実施の形態によれば、モデル形状を表す形状データと、モデル表面の色を再現する色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って生成される元画像と、この使用データの内、撮影データ中の光源色だけを「赤色」に変更して生成される補正画像とを重ね合わせて「肌の透明感」を再現する合成画像を形成するようにしたので、従来のように、非常に膨大な演算が要求される肌内の乱反射のシミュレートを行うことなく効率的に肌の質感をリアルに再現することが可能になる。
【0023】
なお、本実施例では、光源色を「赤」に変えて補正画像を得ているが、これに替えて、色再現するためのテクスチャーを「赤」にしたものに同一の光源色を当てる手段を用いても同様の補正画像を得ることができる。
【0024】
また、上述した実施の形態では、赤色光源を一定成分色としているが、これに限らず元画像中の肌の色に応じて波長成分を変化させる手段や、補正画像の色調を調整する手段を設け、これら手段によって合成画像が最適な「肌の透明感」を再現するようにしても構わない。
【0025】
【発明の効果】
請求項1,に記載の発明によれば、モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って生成される元画像と、前記形状データと、前記色データと、前記撮影データ中の光源色だけを赤色に変更した撮影データとから構成される使用データに従って生成される補正画像とを重ね合わせて「肌の透明感」を再現する合成画像を形成するようにしたので、従来のように、非常に膨大な演算が要求される肌内の乱反射のシミュレートを行うことなく効率的に肌の質感をリアルに再現することができる。
請求項2,4に記載の発明によれば、モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って生成される元画像と、前記形状データと、前記色データと、前記撮影データ中の光源色だけを赤色に変更した撮影データとから構成される使用データに従って生成される補正画像とを重ね合わせて合成画像を作成すると共に、当該合成画像が最適な肌の質感を再現するよう前記補正画像の色調を調整するので、従来のように、非常に膨大な演算が要求される肌内の乱反射のシミュレートを行うことなく効率的に肌の質感をリアルに再現することができる。
請求項5,7に記載の発明によれば、モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って生成される元画像と、前記形状データと、前記色データ中の反射色だけを赤色に変更した色データと、前記撮影データとから構成される使用データに従って生成される補正画像とを重ね合わせて「肌の透明感」を再現する合成画像を形成するようにしたので、従来のように、非常に膨大な演算が要求される肌内の乱反射のシミュレートを行うことなく効率的に肌の質感をリアルに再現することができる。
請求項6,8に記載の発明によれば、モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って生成される元画像と、前記形状データと、前記色データ中の反射色だけを赤色に変更した色データと、前記撮影データとから構成される使用データに従って生成される補正画像とを重ね合わせて合成画像を作成すると共に、当該合成画像が最適な肌の質感を再現するよう前記補正画像の色調を調整するので、従来のように、非常に膨大な演算が要求される肌内の乱反射のシミュレートを行うことなく効率的に肌の質感をリアルに再現することができる。
【図面の簡単な説明】
【図1】本発明による実施の一形態の構成を示すブロック図である。
【図2】画像作成処理の動作を示すフローチャートである。
【符号の説明】
1 外部記憶装置
2 ワークRAM
3 CPU
4 表示部
5 キーボード
6 マウス

Claims (8)

  1. モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って元画像を生成する元画像生成手段と、
    前記形状データと、前記色データと、前記撮影データ中の光源色だけを赤色に変更した撮影データとから構成される使用データに従って補正画像を生成する補正画像生成手段と、
    前記元画像と前記補正画像とを重ね合わせて合成画像を作成する画像合成手段と
    を具備することを特徴とする画像処理装置。
  2. モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って元画像を生成する元画像生成手段と、
    前記形状データと、前記色データと、前記撮影データ中の光源色だけを赤色に変更した撮影データとから構成される使用データに従って補正画像を生成する補正画像生成手段と、
    前記元画像と前記補正画像とを重ね合わせて合成画像を作成すると共に、当該合成画像が最適な肌の質感を再現するよう前記補正画像の色調を調整する画像合成手段と
    を具備することを特徴とする画像処理装置。
  3. モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って元画像を生成する元画像生成過程と、
    前記形状データと、前記色データと、前記撮影データ中の光源色だけを赤色に変更した撮影データとから構成される使用データに従って補正画像を生成する補正画像生成過程と、
    前記元画像と前記補正画像とを重ね合わせて合成画像を作成する画像合成過程と
    を具備することを特徴とする画像処理方法。
  4. モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って元画像を生成する元画像生成過程と、
    前記形状データと、前記色データと、前記撮影データ中の光源色だけを赤色に変更した撮影データとから構成される使用データに従って補正画像を生成する補正画像生成過程と、
    前記元画像と前記補正画像とを重ね合わせて合成画像を作成すると共に、当該合成画像が最適な肌の質感を再現するよう前記補正画像の色調を調整する画像合成過程と
    を具備することを特徴とする画像処理方法。
  5. モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って元画像を生成する元画像生成手段と、
    前記形状データと、前記色データ中の反射色だけを赤色に変更した色データと、前記撮影データとから構成される使用データに従って補正画像を生成する補正画像生成手段と、
    前記元画像と前記補正画像とを重ね合わせて合成画像を作成する画像合成手段と
    を具備することを特徴とする画像処理装置。
  6. モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って元画像を生成する元画像生成手段と、
    前記形状データと、前記色データ中の反射色だけを赤色に変更した色データと、前記撮影データとから構成される使用データに従って補正画像を生成する補正画像生成手段と、
    前記元画像と前記補正画像とを重ね合わせて合成画像を作成すると共に、当該合成画像が最適な肌の質感を再現するよう前記補正画像の色調を調整する画像合成手段と
    を具備することを特徴とする画像処理装置。
  7. モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って元画像を生成する元画像生成過程と、
    前記形状データと、前記色データ中の反射色だけを赤色に変更した色データと、前記撮影 データとから構成される使用データに従って補正画像を生成する補正画像生成過程と、
    前記元画像と前記補正画像とを重ね合わせて合成画像を作成する画像合成過程と
    を具備することを特徴とする画像処理方法。
  8. モデル形状を表す形状データと、モデル表面の色および質感を表す色データと、視点位置および光源条件を表す撮影データとから構成される使用データに従って元画像を生成する元画像生成過程と、
    前記形状データと、前記色データ中の反射色だけを赤色に変更した色データと、前記撮影データとから構成される使用データに従って補正画像を生成する補正画像生成過程と、
    前記元画像と前記補正画像とを重ね合わせて合成画像を作成すると共に、当該合成画像が最適な肌の質感を再現するよう前記補正画像の色調を調整する画像合成過程と
    を具備することを特徴とする画像処理方法。
JP2002172953A 2002-06-13 2002-06-13 画像処理装置および画像処理方法 Expired - Fee Related JP4078534B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002172953A JP4078534B2 (ja) 2002-06-13 2002-06-13 画像処理装置および画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002172953A JP4078534B2 (ja) 2002-06-13 2002-06-13 画像処理装置および画像処理方法

Publications (2)

Publication Number Publication Date
JP2004021410A JP2004021410A (ja) 2004-01-22
JP4078534B2 true JP4078534B2 (ja) 2008-04-23

Family

ID=31172378

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002172953A Expired - Fee Related JP4078534B2 (ja) 2002-06-13 2002-06-13 画像処理装置および画像処理方法

Country Status (1)

Country Link
JP (1) JP4078534B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2580913A4 (en) 2010-06-08 2017-06-07 Dolby Laboratories Licensing Corporation Tone and gamut mapping methods and apparatus
JP7116767B2 (ja) * 2020-11-09 2022-08-10 キヤノン株式会社 画像処理装置およびその方法

Also Published As

Publication number Publication date
JP2004021410A (ja) 2004-01-22

Similar Documents

Publication Publication Date Title
AU2003295586B2 (en) Method for digitally rendering skin or like materials
Hess Blender foundations: The essential guide to learning blender 2.5
Hall et al. A testbed for realistic image synthesis
US7583264B2 (en) Apparatus and program for image generation
US20050180657A1 (en) System and method for image-based surface detail transfer
JPH05174129A (ja) 3次元モデルを映像化するためのモデリング装置
US9183654B2 (en) Live editing and integrated control of image-based lighting of 3D models
JP2005216131A (ja) 化粧シミュレーション装置、化粧シミュレーション方法、化粧シミュレーションプログラム
JP2004110598A (ja) 画像生成情報、情報記憶媒体及び画像生成装置
US20080150943A1 (en) Accurate transparency and local volume rendering
JP2004110597A (ja) 画像生成情報、情報記憶媒体及び画像生成装置
JP4078534B2 (ja) 画像処理装置および画像処理方法
JP6825315B2 (ja) 質感調整支援システム及び質感調整支援方法
Yoshimoto Ballerinas generated by a personal computer
US20060033736A1 (en) Enhanced Color and Lighting Model for Computer Graphics Productions
JP3261832B2 (ja) 画像生成装置
WO2021113309A1 (en) Encoding stereo splash screen in static image
Bredow et al. Renderman on film
Takeuchi et al. Projection Mapping under Environmental Lighting by Replacing Room Lights with Heterogeneous Projectors
Chai et al. Narrative Experience of Animation Based on Virtual Reality Technology: Take the League of Legends: Arcane as an Example
KR101752701B1 (ko) 영상에 화장 효과를 재현하는 방법
JP2002056405A (ja) テクスチャマッピング処理装置
KR20050080334A (ko) 멀티 텍스쳐링 방법 및 이를 기록한 기록매체
Budakov et al. 3D-Rendered Images and Their Application in the Interior Design.
Yazgan Developing a Virtual Reality Application for Realistic Architectural Visualizations

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050307

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071016

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071018

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080109

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080122

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110215

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110215

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120215

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120215

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130215

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130215

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140215

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees