JP3341926B2 - 画像変換装置 - Google Patents

画像変換装置

Info

Publication number
JP3341926B2
JP3341926B2 JP11377993A JP11377993A JP3341926B2 JP 3341926 B2 JP3341926 B2 JP 3341926B2 JP 11377993 A JP11377993 A JP 11377993A JP 11377993 A JP11377993 A JP 11377993A JP 3341926 B2 JP3341926 B2 JP 3341926B2
Authority
JP
Japan
Prior art keywords
read address
video signal
image conversion
image
conversion device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP11377993A
Other languages
English (en)
Other versions
JPH06303514A (ja
Inventor
且明 守分
敏洋 白石
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP11377993A priority Critical patent/JP3341926B2/ja
Priority to US08/224,680 priority patent/US5668933A/en
Priority to DE69419652T priority patent/DE69419652T2/de
Priority to EP94302660A priority patent/EP0621727B1/en
Priority to KR1019940007912A priority patent/KR100338447B1/ko
Priority to CN94103851A priority patent/CN1044062C/zh
Publication of JPH06303514A publication Critical patent/JPH06303514A/ja
Application granted granted Critical
Publication of JP3341926B2 publication Critical patent/JP3341926B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/18Image warping, e.g. rearranging pixels individually
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Description

【発明の詳細な説明】
【0001】
【目次】以下の順序で本発明を説明する。 産業上の利用分野 従来の技術 発明が解決しようとする課題 課題を解決するための手段(図2及び図10) 作用(図2及び図10) 実施例(図1〜図10) 発明の効果
【0002】
【産業上の利用分野】本発明は画像変換装置に関し、例
えばビデオ信号に特殊効果を与える特殊効果装置に適用
して好適なものである。
【0003】
【従来の技術】従来、この種の画像変換装置において
は、入力ビデオ信号をライトアドレス発生回路から出力
されるライトアドレスに基づいてフレームメモリの所定
領域に順次書き込むと共に、当該フレームメモリのデー
タをリードアドレス発生回路から入力されるリードアド
レスによつて読み出すことにより、ビデオ信号に種々の
特殊効果を与えて画像を変形させて表示するようになさ
れている。
【0004】
【発明が解決しようとする課題】ところでこの種のリー
ドアドレス制御方式の画像変換装置においては、例えば
画面の下方部分があたかも砂が崩落するような特殊効果
を付与するようになされたものがなかつた。
【0005】本発明は以上の点を考慮してなされたもの
で、画像の一部があたかも砂が崩落するような特殊効果
を与えることができる画像変換装置を提案しようとする
ものである。
【0006】
【課題を解決するための手段】かかる課題を解決するた
め本発明においては、入力ビデオ信号S1によつて形成
された画像をメモリ11に記憶し、メモリ11の入力ビ
デオ信号S1を所定のリードアドレス発生手段13のリ
ードアドレスによつて読み出すことにより、画像に対し
て所定の画像変換を施す画像変換装置10において、一
次微分係数が1から0に単調に近づく関数F(y)によ
つてリードアドレスを変換する変換手段25を備え、変
換されたリードアドレスによつてメモリ11から入力ビ
デオ信号を読み出すことにより、入力ビデオ信号S1に
よつて形成された画像に対して崩落効果を与えるように
する。
【0007】また本発明においては、画像変換装置10
は、関数F(y)に乱数R(y)を加えるようにする。
【0008】また本発明においては、画像変換装置10
は、リードアドレス発生手段13に関数F(y)に加え
る乱数R(y)を発生する乱数発生手段29を備えるよ
うにする。
【0009】また本発明においては、画像変換装置10
は、関数F(y)に乱数R(y)を加え、乱数量を変化
させるようにする。
【0010】また本発明においては、画像変換装置10
は、一次微分係数が1から変化する位置TS を変化させ
るようにする。
【0011】また本発明においては、画像変換装置10
は、一次微分係数の減少度合いCVを変化させるように
する。
【0012】また本発明においては、画像変換装置10
は、3次元変換マトリクスを介して入力されたリードア
ドレスによつてメモリ11のビデオ信号S1を読み出す
ようにする。
【0013】また本発明においては、入力ビデオ信号S
1によつて形成された画像をメモリ11に記憶し、メモ
リ11の入力ビデオ信号S1を所定のリードアドレス発
生手段13のリードアドレスによつて読み出すことによ
り、画像に対して所定の画像変換を施す画像変換装置1
0において、リードアドレス発生手段13に入力される
x及びyで表されるリードアドレスは、一次微分係数が
1から0に単調に近づく関数F(y)及び崩落形状を表
すパターン関数G(x)を用いる次の式、
【数4】
【数5】 によつてX及びYで表されるリードアドレスに変換さ
れ、変換されたリードアドレスによつてメモリ11から
入力ビデオ信号を読み出すことにより、入力ビデオ信号
S1によつて形成された画像に対して崩落効果を与える
ようにする。
【0014】また本発明においては、入力ビデオ信号S
1によつて形成された画像をメモリ11に記憶し、メモ
リ11の入力ビデオ信号を所定のリードアドレス発生手
段13のリードアドレスによつて読み出すことにより、
画像に対して所定の画像変換を施す画像変換装置10に
おいて、リードアドレス発生手段13に入力されるx及
びyで表されるリードアドレスは、一次微分係数が1か
ら0に単調に近づく関数F(y)、崩落形状を表すパタ
ーン関数G(x)及びリードアドレスyに応じた乱数値
R(y)を用いる次の式、
【数6】 によつてX及びYで表されるリードアドレスに変換さ
れ、変換されたリードアドレスによつてメモリ11から
入力ビデオ信号を読み出すことにより、入力ビデオ信号
S1によつて形成された画像に対して崩落効果を与える
ようにする。
【0015】また本発明においては、画像変換装置10
は、パターン関数G(x)を時間関数で変換するように
する。
【0016】また本発明においては、画像変換装置10
は、パターン関数G(x)を正弦又は余弦でなる時間関
数で変換するようにする。
【0017】また本発明においては、画像変換装置10
は、xの関数A(x)に応じた値をパターン関数G
(x)に加えるようにする。
【0018】
【作用】乱数発生手段29によつて発生された乱数をメ
モリ11に対するリードアドレスに付加することによ
り、あたかも画素が砂のように崩落するような特殊効果
を与えることができる。
【0019】
【実施例】以下図面について、本発明の一実施例を詳述
する。
【0020】図1において10は全体として画像変換装
置を示し、デイジタル化された入力ビデオ信号S1を、
シーケンシヤルライトアドレスカウンタ12から送出さ
れるライトアドレス信号S2に基づいてフレームメモリ
11に画像を変形させない状態で書き込む。
【0021】またフレームメモリ11から画像データを
読み出すためのリードアドレスを発生するリードアドレ
スジエネレータ13は、シーケンシヤルなリードアドレ
ス信号S3を入力し、当該シーケンシヤルなリードアド
レスを加工し、当該加工されたリードアドレスをリード
アドレス信号S4としてフレームメモリ11に送出する
ことにより、当該リードアドレスに基づいてフレームメ
モリ11から読み出された出力ビデオ信号S5は、入力
ビデオ信号S1に対して所定の変形を加えた画像を形成
する。
【0022】ここで図2はリードアドレスジエネレータ
13における砂の崩落効果リードアドレス生成処理手順
を示し、リードアドレスジエネレータ13はステツプS
P1から当該処理手順に入ると、続くステツプSP2に
おいて直交座標系(x、y)で指定されるシーケンシヤ
ルリードアドレスをリードアドレス信号S3によつて入
力し、続くステツプSP3に移る。
【0023】リードアドレスジエネレータ13はステツ
プSP3において崩落開始位置の形状をy1 =G(x)
の関数によつて算出する。この関数は図3(A)及び
(B)に示すようなパターン関数であり、この関数はs
in関数、sin関数及びcos関数の復号関数等を用
いても良い。
【0024】また当該関数として周期関数を用いて、次
式、
【数7】 としても良い。但しλをG(x)の波長、p(t)を時
間関数とする。
【0025】さらに崩落開始位置の形状に角度θをもた
せるようにしても良く、この場合次式、
【数8】 によつて表され、図4に示すように関数G(x)に角度
成分tan(θ)×xを加えて角度θをもつ崩落開始曲
線y´を得る。従つて当該崩落開始曲線y´でリードア
ドレスを変換することにより角度θだけ傾いた崩落曲線
を出力画に表すことができる。
【0026】さらにリードアドレスジエネレータ13は
続くステツプSP4においてy2 =F(y+G(x))
を求める。ここでy´=F(y)は崩落する様相を規定
する関数であり、図5に示すように一次微分係数(傾
き)が1から0へ向かう単調減少関数とする。
【0027】従つて傾きが1から変化し始めるyの値
(TS )を境にして傾きが小さくなる領域に対応した出
力画の領域が拡大される。この変化点TS は崩落を開始
する位置となる。従つて当該変化点TS の位置を変化さ
せることにより、図6に示すように出力画の崩落開始位
置を変化させることができる。図7に示すように、一次
微分係数の減少度合いCV を変えることにより、崩落の
度合いを制御することができる。
【0028】さらにリードアドレスジエネレータ13は
続くステツプSP5に移つて砂が崩落するような効果を
得るために図8(A)に示すように当該リードアドレス
ジエネレータ13内に設けられた乱数発生器29におい
て、入力ゲイン関数L(y)に応じた出力乱数R(y)
を算出する。この乱数発生器の出力乱数の大きさ(絶対
値)は乱数発生器へのゲイン関数にて制御される。この
ゲイン関数を上述の関数F(y)とリンクし、変化点T
S 、一次微分係数の減少度合いCV 及びゲイン関数の増
幅率RP 等のパラメータによつて制御することにより、
視覚上自然な砂の崩落効果を得ることができる。
【0029】ここで関数R(y)及び出力画の関係を図
9に示し、乱数幅Dによつて砂が崩落するような効果を
得ることができる範囲を指定することができる。このよ
うにして得られたy1 、y2 及びR(y2 )に基づい
て、リードアドレスジエネレータ13はステツプSP6
においてy3 を求め、さらに続くステツプSP7におい
て崩落画像が画面内から外れないようにするため、y3
から関数G(x)を減算することにより、次式
【数9】 を得、ステツプSP8において当該(9)式によつて求
められたリードアドレスY及びX=xによつて得られる
リードアドレスXをメモリ11に送出することにより、
あたかも砂が崩落するような出力画像を得ることができ
る。
【0030】ここで図10はリードアドレスジエネレー
タ13の構成を示し、シーケンシヤルなリードアドレス
xをRAM21及び22に入力する。ここでRAM21
はリードアドレスxによつて参照されるテーブルであ
り、当該RAM21に設定されるデータは上述の(9)
式からy´=−1×G(x)となる。
【0031】またRAM22も同様にしてリードアドレ
スxによつて参照されるテーブルであり、当該RAM2
2に設定されるデータは上述の(9)式からy´=G
(x)となる。
【0032】これらのRAM21及び22はCPU24
によつてデータが設定される。またRAM22の出力デ
ータは加算回路23においてリードアドレスyに加算さ
れ、当該加算出力はRAM25及び26にそれぞれ入力
される。
【0033】RAM25はリードアドレスy及びRAM
22の出力データの加算値によつて参照されるテーブル
であり、当該RAM25に設定されるデータは上述の
(9)式からy´=F(y)となる。
【0034】またRAM26も同様にしてリードアドレ
スy及びRAM22の出力データの加算値によつて参照
されるテーブルであり、当該RAM26に設定されるデ
ータは上述の(9)式から後段の乱数発生器29の出力
y´=R(y)を得るためのゲイン関数g=L(y)と
なる。これらのRAM21及び22はCPU24によつ
てデータが設定される。
【0035】さらにRAM26の出力データは乱数発生
器29に入力され、当該RAM26の出力データに基づ
いて乱数発生器29から出力される乱数出力データは加
算回路27においてRAM25の出力データに加算さ
れ、さらに続く加算回路28においてRAM21の出力
データを加算することにより、(9)式について上述し
たリードアドレスYを得る。
【0036】ここでリードアドレスジエネレータ13に
入力されるリードアドレスxはそのままリードアドレス
Xとして出力される。
【0037】以上の構成によれば、乱数発生器29をリ
ードアドレスジエネレータ13に付加したことにより、
あたかも画素が砂のようにばらばらになつて崩落するよ
うな崩落効果を得ることができる。
【0038】ここで崩落効果を得る前の入力画像を参考
図面1に示し、入力画像に対して関数G(x)及びF
(x)を付加した場合の出力画像を参考図面2に示し、
さらにこれに加えて乱数R(y)を付加した場合の出力
画像を参考図面3に示す。
【0039】なお上述の実施例においては、2次元平面
上において崩落効果を得るようにした場合について述べ
たが、本発明はこれに限らず、リードアドレスジエネレ
ータ13に入力されるシーケンシヤルなリードアドレス
(x、y)を3次元マトリクスを通したものとしても良
い。
【0040】すなわち3次元マトリクスを通したリード
アドレスをx3D及びy3D、α11〜α33を3次元変換マト
リクスとして次式、
【数10】
【数11】 によつて表されるリードアドレス(x3D、y3D)をリー
ドアドレスジエネレータ13に入力するようにすれば良
い。
【0041】
【発明の効果】上述のように本発明によれば、乱数発生
器をリードアドレスジエネレータに付加したことによ
り、あたかも画素が砂のようにばらばらに崩落するよう
な崩落効果を得ることができる画像変換装置を実現でき
る。
【図面の簡単な説明】
【図1】本発明による画像変換装置の一実施例を示すブ
ロツク図である。
【図2】本発明による崩落効果リードアドレス生成処理
手順を示すフローチヤートである。
【図3】関数G(x)及び出力画の関係を示す曲線図及
び略線図である。
【図4】崩落開始曲線に角度を持たせた場合の説明に供
する曲線図及び略線図である。
【図5】関数F(y)、入力画及び出力画の関係を示す
曲線図及び略線図である。
【図6】T値を変化させた場合の関数F(y)、入力
画及び出力画の関係を示す曲線図及び略線図である。
【図7】C値を変化させた場合の関数F(y)、入力
画及び出力画の関係を示す曲線図及び略線図である。
【図8】乱数発生器の動作概要を示すブロツク図及び曲
線図である。
【図9】乱数R(y)及び出力画の関係を示す曲線図及
び略線図である。
【図10】崩落効果用リードアドレスジエネレータの構
成を示すブロツク図である。
【符号の説明】
10……画像変換装置、11……フレームメモリ、13
……リードアドレスジエネレータ、21、22、25、
26……RAM、24……CPU。
フロントページの続き (58)調査した分野(Int.Cl.7,DB名) H04N 5/262 G06T 3/00 100

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】入力ビデオ信号によつて形成された画像を
    メモリに記憶し、上記メモリの上記入力ビデオ信号を所
    定のリードアドレス発生手段のリードアドレスによつて
    読み出すことにより、上記画像に対して所定の画像変換
    を施す画像変換装置において、 上記リードアドレス発生手段に入力されるx及びyで表
    されるリードアドレスは、一次微分係数が1から0に単
    調に近づく関数F(y)及び崩落形状を表すパターン関
    数G(x)を用いる次の式、 【数1】 【数2】 によつてX及びYで表されるリードアドレスに変換さ
    れ、 上記変換されたリードアドレスによつて上記メモリから
    上記入力ビデオ信号を読み出すことにより、上記入力ビ
    デオ信号によつて形成された画像に対して崩落効果を与
    えるようにした ことを特徴とする画像変換装置。
  2. 【請求項2】入力ビデオ信号によつて形成された画像を
    メモリに記憶し、上記メモリの上記入力ビデオ信号を所
    定のリードアドレス発生手段のリードアドレスによつて
    読み出すことにより、上記画像に対して所定の画像変換
    を施す画像変換装置において、 上記リードアドレス発生手段に入力されるx及びyで表
    されるリードアドレスは、一次微分係数が1から0に単
    調に近づく関数F(y)、崩落形状を表すパターン関数
    G(x)及び上記リードアドレスyに応じた乱数値R
    (y)を用いる次の式、 【数3】 によつてX及びYで表されるリードアドレスに変換さ
    れ、 上記変換されたリードアドレスによつて上記メモリから
    上記入力ビデオ信号を読み出すことにより、上記入力ビ
    デオ信号によつて形成された画像に対して崩落効果を与
    えるようにした ことを特徴とする画像変換装置。
  3. 【請求項3】上記画像変換装置は、 上記パターン関数G(x)を時間関数で変換するように
    した ことを特徴とする請求項1又は請求項2に記載の画
    像変換装置。
  4. 【請求項4】上記画像変換装置は、 上記パターン関数G(x)を正弦又は余弦でなる時間関
    数で変換するようにした ことを特徴とする請求項1又は
    請求項2に記載の画像変換装置。
JP11377993A 1993-04-17 1993-04-17 画像変換装置 Expired - Lifetime JP3341926B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP11377993A JP3341926B2 (ja) 1993-04-17 1993-04-17 画像変換装置
US08/224,680 US5668933A (en) 1993-04-17 1994-04-07 Image transformation apparatus for producing an image collapsing effect
DE69419652T DE69419652T2 (de) 1993-04-17 1994-04-14 Bildtransformationsvorrichtung
EP94302660A EP0621727B1 (en) 1993-04-17 1994-04-14 Image transformation apparatus
KR1019940007912A KR100338447B1 (ko) 1993-04-17 1994-04-15 화상변환장치
CN94103851A CN1044062C (zh) 1993-04-17 1994-04-15 图象变换装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP11377993A JP3341926B2 (ja) 1993-04-17 1993-04-17 画像変換装置

Publications (2)

Publication Number Publication Date
JPH06303514A JPH06303514A (ja) 1994-10-28
JP3341926B2 true JP3341926B2 (ja) 2002-11-05

Family

ID=14620904

Family Applications (1)

Application Number Title Priority Date Filing Date
JP11377993A Expired - Lifetime JP3341926B2 (ja) 1993-04-17 1993-04-17 画像変換装置

Country Status (6)

Country Link
US (1) US5668933A (ja)
EP (1) EP0621727B1 (ja)
JP (1) JP3341926B2 (ja)
KR (1) KR100338447B1 (ja)
CN (1) CN1044062C (ja)
DE (1) DE69419652T2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0183155B1 (ko) * 1995-06-19 1999-05-01 김광호 동영상 압축부호화시 움직임 보상을 위한 시작 및 끝주소 발생회로
HUE041300T2 (hu) 2006-06-26 2019-05-28 Akebia Therapeutics Inc Prolilhidroxiláz inhibitorok és alkalmazási eljárások

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2157126B (en) * 1981-04-10 1986-05-29 Ampex Controller for system for spatially transforming images
JPH0681275B2 (ja) * 1985-04-03 1994-10-12 ソニー株式会社 画像変換装置
GB2200266B (en) * 1986-12-11 1991-06-05 Nec Corp Special effect system for video signal
JPS63174478A (ja) * 1987-01-14 1988-07-18 Nec Corp デイジタル式テレビジヨン特殊効果発生装置
JPH07121084B2 (ja) * 1987-11-06 1995-12-20 日本電気株式会社 テレビジョン映像信号特殊効果装置
JPH03205976A (ja) * 1989-10-27 1991-09-09 Nec Corp 特殊効果装置を用いた画面合成システム
US5051734A (en) * 1990-01-11 1991-09-24 The Grass Valley Group, Inc. Special effects using polar image coordinates
JP3038878B2 (ja) * 1990-10-25 2000-05-08 ソニー株式会社 特殊効果装置
GB2267007B (en) * 1992-04-24 1995-09-13 Sony Broadcast & Communication Video special effect apparatus and method
US5408274A (en) * 1993-03-11 1995-04-18 The Regents Of The University Of California Method and apparatus for compositing compressed video data

Also Published As

Publication number Publication date
JPH06303514A (ja) 1994-10-28
US5668933A (en) 1997-09-16
CN1044062C (zh) 1999-07-07
KR100338447B1 (ko) 2002-11-29
EP0621727B1 (en) 1999-07-28
DE69419652D1 (de) 1999-09-02
EP0621727A1 (en) 1994-10-26
CN1099212A (zh) 1995-02-22
DE69419652T2 (de) 2000-03-02
KR940024618A (ko) 1994-11-18

Similar Documents

Publication Publication Date Title
US5363476A (en) Image converter for mapping a two-dimensional image onto a three dimensional curved surface created from two-dimensional image data
JPH03280154A (ja) 統合画像記録装置
JP3341926B2 (ja) 画像変換装置
JP3458963B2 (ja) 画像変換装置
JP3289850B2 (ja) 画像変換装置
JP5208043B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2985236B2 (ja) ディジタル特殊効果装置
JP2677582B2 (ja) 輪郭ベクトルデータ生成装置
US5680153A (en) Image Processing apparatus
JPH0564393B2 (ja)
JP3610131B2 (ja) テクスチャデータ生成方法及び装置及びコンピュータ制御装置
JP3211591B2 (ja) イメージ処理装置
JP3064305B2 (ja) ディジタル複写機
JP2001022917A (ja) 画像合成方法および装置
JP3254770B2 (ja) 丸文字発生装置
JPH04141789A (ja) 高精度ベクトル近似装置及び方法
JP2543124B2 (ja) 階調テ―ブル修正方法
JPS63265370A (ja) 画像処理方法
JP3024479B2 (ja) データ変換装置
JP2000236550A (ja) 画像圧縮装置および画像伸張装置
JP2641432B2 (ja) インタフエース装置
JPH0581428A (ja) 画像処理方法
JPH04167077A (ja) 二次元ラスタ画像の変形装置
JPH04207869A (ja) 画像変換装置
JPS63116193A (ja) 画像のアフイン変換方式

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080823

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090823

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100823

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110823

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120823

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130823

Year of fee payment: 11

EXPY Cancellation because of completion of term