JPH08111868A - クラス分類装置 - Google Patents

クラス分類装置

Info

Publication number
JPH08111868A
JPH08111868A JP27170394A JP27170394A JPH08111868A JP H08111868 A JPH08111868 A JP H08111868A JP 27170394 A JP27170394 A JP 27170394A JP 27170394 A JP27170394 A JP 27170394A JP H08111868 A JPH08111868 A JP H08111868A
Authority
JP
Japan
Prior art keywords
register
supplied
average value
value
pixel value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP27170394A
Other languages
English (en)
Other versions
JP3704730B2 (ja
Inventor
Hideo Nakaya
秀雄 中屋
Tetsujiro Kondo
哲二郎 近藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP27170394A priority Critical patent/JP3704730B2/ja
Publication of JPH08111868A publication Critical patent/JPH08111868A/ja
Application granted granted Critical
Publication of JP3704730B2 publication Critical patent/JP3704730B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Landscapes

  • Television Systems (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Compression Of Band Width Or Redundancy In Fax (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

(57)【要約】 【目的】 クラス分類の回路を簡略化する。 【構成】 入力された8ビットの画素値(Data)がレジ
スタ5、10へ供給され、レジスタ10〜25におい
て、画素値は、16クロック遅延される。画素値は、レ
ジスタ8において、前クロック時に加減算されたデータ
と加算器6で加算され、さらに減算器7でレジスタ26
において保持されている画素値が減算される。この加算
器6、減算器7、レジスタ8の回路間では、12ビット
のデータラインとなる。レジスタ8に保持されている1
2ビットのデータの上位8ビットがレジスタ8から比較
器9へ平均値として供給され、比較器9では、レジスタ
19から供給される画素値と平均値とが比較され、1ビ
ットの量子化が施され、レジスタ27へ供給される。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】この発明は、例えばSD(Stande
rd Difinition )TV画像からHD(High Difinition
)TV画像を生成する解像度創造や、圧縮符号化にお
ける適応復号、時空間間引き補間などにクラス分類適応
処理を行って、精度を向上させる手法を用いた場合の汎
用技術であるクラス分類装置に関する。
【0002】
【従来の技術】従来、クラス分類においてADRC(Ad
aptive Dinamic Range Coding )を用いた場合、例えば
図5に示すように水平方向の15画素からなるタップよ
りクラスが形成されると、1画素毎に移動したとき、そ
のクラスは、移動したタップ毎にクラスの計算を行って
いた。
【0003】ここで、従来のADRCを使用したクラス
形成回路の1例のブロック図を図6に示す。入力端子1
01から1画素のデータが供給され、供給された画素値
は、レジスタ106、122、128、比較器123、
129へ供給される。また、入力端子102からクラス
コード発生回路105へロード信号LD1が供給され、
供給されたロード信号LD1は、ANDゲート124、
130、レジスタ125、132へ供給される。入力端
子103からクラスコード発生回路105へロード信号
LD2が供給され、入力端子104からクラスコード発
生回路105へイネーブル信号OEが供給され、供給さ
れたロード信号LD2、およびイネーブル信号OEは、
クラス生成回路143へ供給される。このロード信号L
D1、LD2、イネーブル信号OEは、15クロックに
1回信号レベルが `L' となる。
【0004】レジスタ106へ供給された画素値は、ク
ロック信号に従ってレジスタ107へ供給される。この
ように、レジスタ106へ供給された画素値は、レジス
タ121まで、クロック信号に従って、画素値は、遅延
される。そして、レジスタ122、比較器123、AN
Dゲート124により最小値MINが検出され、検出さ
れた最小値MINは、レジスタ125へ供給される。こ
の比較器123は、A端子に供給されるデータと、B端
子に供給されるデータとを比較し、A端子に供給される
データの方が大きければ `L' を出力する。レジスタ1
25では、検出された最小値MINが保持され、減算器
126へ供給される。減算器126では、レジスタ12
1から供給された画素値から検出された最小値MINの
減算が行われ、減算結果は、レジスタ127を介して、
量子化回路134へ供給される。
【0005】レジスタ128、比較器129、ANDゲ
ート130により最大値MAXが検出され、検出された
最大値MAXは減算器131へ供給される。この比較器
129は、比較器123と同様にA端子に供給されるデ
ータの方が大きければ `L'を出力する。減算器131
では、検出された最大値MAXから検出された最小値M
INが減算され、ダイナミックレンジDRが算出され、
算出されたダイナミックレンジDRは、レジスタ132
へ供給される。レジスタ132では、ダイナミックレン
ジDRが保持され、ダイナミックレンジDRは、レジス
タ133を介して、量子化回路134へ供給される。量
子化回路134では、レジスタ127から供給された画
素値とレジスタ133から供給されたダイナミックレン
ジDRとから供給された画素の量子化が行われる。
【0006】量子化された画素値は、レジスタ135へ
供給され、供給された画素値は、クロック毎にレジスタ
142まで伝送され、レジスタ135〜142に保持さ
れた量子化された画素値は、次のレジスタに伝送される
と共に、クラス生成回路143へ供給される。クラス生
成回路143では、量子化された8つの画素値が1つの
クラスコードへ変換され、変換されたクラスコードは、
出力端子144から取り出される。
【0007】
【発明が解決しようとする課題】上述のような回路で
は、クラスコードが算出されるまでに30クロック以上
のスループットディレイが必要となり、注目画素を1個
ずらす毎にリアルタイムでクラスコードの計算を行うと
すれば、図7のブロック図で示すように上述の回路を1
5個並列し、出力されるクラスコードを選択する必要が
あるため、ハードウェアはかなり重いものになる問題が
あった。
【0008】従って、この発明の目的は、基本的なパタ
ーン分類を変更することなくクラス分類を行うためのハ
ードウェアを簡略化することができるクラス分類装置を
提供することにある。
【0009】
【課題を解決するための手段】この発明は、注目する画
素値と、所定数内の移動平均による平均値との比較を行
う比較手段と、比較手段の結果を1ビット、または2ビ
ット以上の量子化を行う量子化手段と、量子化手段によ
り生成された量子化データを所定のタップ数だけ集める
ことによりクラスコードとするクラスコード生成手段と
からなることを特徴とするクラス分類装置である。
【0010】さらに、この発明は、注目する画素値と、
所定数内の移動平均による平均値との差分を行う比較手
段と、差分手段の結果を固定の量子化ステップ幅で除算
することにより符号化付きqビット量子化が生成される
量子化手段と、量子化手段により生成された符号化付き
qビット量子化を所定のタップ数だけ集めることにより
クラスコードとするクラスコード生成手段とからなるこ
とを特徴とするクラス分類装置である。
【0011】
【作用】入力された画素値が移動平均による期間遅延さ
れると共に、入力画素が移動平均による期間加算され、
移動平均による期間が終了するときに入力された画素値
が減算される。この入力された画素値が移動平均の中心
となったとき、その画素値の量子化が行われ、量子化が
行われた画素値をあるタップ数だけ集めてクラスコード
とする。
【0012】
【実施例】以下、この発明に係るクラス分類装置の一実
施例について、図面を参照しながら説明する。図1は、
この発明のクラス分類装置の一実施例のブロック図を示
す。ここでは、画素をシフトすることで平均化を実現す
るためにタップ数は、水平方向に16タップとした実施
例である。図1において、1で示す入力端子から画素値
(Data)が供給され、供給された画素値は、レジス
タ5、10へ供給される。さらに、2で示す入力端子か
らクリア信号CL1がレジスタ5へ供給され、入力端子
3からクリア信号CL2がレジスタ26へ供給され、入
力端子4からクリア信号CL3がレジスタ8へ供給され
る。このクリア信号CL1、CL2、CL3がハイレベ
ルとなるとき各レジスタから供給された画素値が出力さ
れる。
【0013】レジスタ5へ供給された画素値は、加算器
6において、前クロック時に加減算されレジスタ8に保
持されていた画素値と加算される。また、レジスタ10
に入力された画素値は、レジスタ10からレジスタ25
まで遅延された後、レジスタ26へ供給される。減算器
7では、加算器6の加算結果からレジスタ26から供給
される画素値が減算され、その減算結果はレジスタ8で
保持される。すなわち、ここではレジスタ10〜25に
より16クロック遅延されている間、レジスタ8に保持
されるデータは、供給された16画素が加算されたデー
タとなる。16画素が加算されたデータは、次のクロッ
ク時に加算器6において、17画素目の画素値との加算
がなされ、減算器7において、17画素が加算されたデ
ータから16クロック遅延された画素、すなわち加算さ
れた16画素の最初に加算された画素値が減算される。
このとき、入力端子1から供給される画素値が例えば8
ビットから構成されていると、加算器6の加算結果がオ
ーバーフローするため、加算器6、減算器7、レジスタ
8の回路間では、伝送されるデータのビット数を12ビ
ットとする。
【0014】レジスタ8に保持されたデータを比較器9
へ供給する場合、12ビットのデータの上位8ビットが
レジスタ8から比較器9へ供給される。すなわち、この
処理は、加算結果を1/16とすることを意味し、その
結果得られる移動平均値がクロック毎に算出されること
になる。比較器9では、レジスタ8から供給されるた移
動平均値と、レジスタ19から供給される10クロック
遅延されたデータ、すなわち16画素の中心をなす画素
値とを比較し、レジスタ8からのデータが大きい場合
は、比較器9から `1' が出力され、レジスタ8からの
データが小さい場合は、比較器9から `0' が出力され
る。すなわち、比較器9では、1ビットの量子化が施さ
れた結果がレジスタ27へ供給される。比較器9の出力
をレジスタ27〜34により順次遅延させ、レジスタ3
5において、レジスタ27〜34のデータをラッチする
ことでクロック毎に8ビットのクラスコードが出力端子
36から取り出される。
【0015】ここで、この一実施例を図2のタイミング
チャートを用いて説明する。図2Aに示す信号は、ハイ
レベルのとき、入力端子1から有効な画素値(Valid Da
ta)が入力されたことを示す。図2Bに示す信号は、入
力端子2から供給されるクリア信号CL1を示し、図2
Cに示す信号は、入力端子3から供給されるクリア信号
CL2を示す。クリア信号CL1がローレベルのとき、
レジスタ5の出力は、クリアされ、クリア信号CL1が
ハイレベルとなるとき、レジスタ5から供給された画素
値が出力される。同様に、クリア信号CL2、およびC
L3がローレベルのとき、レジスタ26、およびレジス
タ8は、クリアされ、クリア信号CL2、およびCL3
がハイレベルとなるとき、レジスタ26、およびレジス
タ8から供給された画素値が出力される。
【0016】また、クリア信号CL2は、クリア信号C
L1よりハイレベルとなるときが、レジスタ10〜25
において遅延される期間、すなわち16クロック遅延さ
れる期間遅れる。以下、図2D〜図2Lに示す信号は、
この16クロック遅延される期間を時間軸方向に拡大し
たタイミングチャートである。図2Dに示す信号は、ク
リア信号CL1を表し、図2Eに示す信号は、クリア信
号CL2を表す。図2Fに示す信号は、入力端子1から
供給される有効な画素値(Valid Data)がクロック毎に
画素単位で供給される信号を示す。また、図2F、G、
H、J、K中の番号は、供給された画素の順番を示す。
図2Gに示す信号は、レジスタ5からクロック毎に画素
単位で加算器6へ供給される信号を示す。この図2Gに
示す信号は、入力端子1からクロックに従って供給され
た画素値1は、レジスタ5に保持され、次のクロック時
にレジスタ5から加算器6へ供給される。
【0017】図2Hに示す信号は、レジスタ26からク
ロック毎に画素単位で減算器7へ供給される信号を示
す。この図2Hに示す信号は、入力端子1からクロック
に従って供給された画素値1がレジスタ10〜25にお
いて遅延された後、すなわち17クロック時にレジスタ
26へ供給され、18クロック時にクロックに従ってレ
ジスタ26から減算器7へ供給される。図2Iに示す信
号は、入力端子4から供給されるクリア信号CL3を示
し、クリア信号CL1の1クロック後にローレベルから
ハイレベルとなる。すなわち、クロックに従ってレジス
タ5から出力された画素値は、加算器6、減算器7にお
いて加減算された後、レジスタ8に保持され、次のクロ
ック時にレジスタ8に保持されたデータが加算器6、お
よび比較器9へ供給される。
【0018】図2Jに示す信号は、レジスタ8に保持さ
れたデータがクロック毎に出力される信号を示す。図中
に示されるΣxi は、加算器6、減算器7において加減
算され、16画素が加算されたデータを表す。図2Kに
示す信号は、レジスタ19からクロック毎に画素単位で
比較器9、およびレジスタ20へ供給される信号を示
す。このレジスタ19から比較器9へ画素値が供給され
ることにより、比較器9ではこの画素値が量子化、例え
ば2値化される。図2Lに示す信号は、比較器9の出力
信号、すなわちレジスタ19から比較器9へ供給される
画素値が比較器9において、例えば2値化された値を示
す。
【0019】ここで、比較器9の代わりに量子化回路を
用いた一実施例のブロック図を図3Aに示す。41で示
す入力端子は、図1に示すレジスタ8から供給される移
動平均値が供給され、入力端子42は、レジスタ19か
ら供給される注目する画素値が供給される。供給された
移動平均値と供給された注目する画素値が減算器43に
おいて、差分値が求められ、その差分値は、量子化回路
44へ供給される。量子化回路44では、固定された量
子化ステップを用いて供給された差分値が量子化され
る。その量子化結果、すなわち符号化qビット量子化が
出力端子45から取り出される。出力端子45から取り
出された量子化結果は、図1中のレジスタ27へ供給さ
れる。
【0020】この場合、量子化回路44において、図3
Bに示すような非線形量子化が行うようにしても良い。
また、図3Bは、横軸に差分を表し、縦軸に量子化コー
ドの値Qを表す。この量子化特性は、データ(差分)が
小さいほど差分の変化に対する量子化コードの平均値の
割合が小さくされるものである。
【0021】さらに、度数分布作成回路、および量子化
回路を用いた一実施例のブロック図を図4に示す。51
で示す入力端子は、図1に示すレジスタ8から供給され
る移動平均値が供給され、入力端子52は、レジスタ1
9から供給される注目する画素値が供給される。供給さ
れた移動平均値と供給された注目する画素値が減算器5
3において、差分値が求められ、その差分値は、遅延回
路54、および度数分布作成回路55へ供給される。遅
延回路54では、供給された差分値が度数分布作成回路
55において、処理が行われている時間遅延され、遅延
回路54から量子化回路56、および量子化ステップ幅
決定回路57へ差分値が供給される。
【0022】度数分布作成回路55では、所定期間に供
給された差分値の度数分布表が作成され、その結果は度
数分布作成回路55から量子化ステップ幅決定回路57
へ供給される。量子化ステップ幅決定回路57では、供
給された度数分布に基づいて量子化ステップ幅Δを選択
する差分値に対するしきい値が制御される。さらに、発
生するクラスコードの合計ビット数が略一定となるよう
に量子化ステップ幅Δが制御される。量子化ステップ幅
決定回路57において、量子化ステップ幅Δが決定され
ると、量子化ステップ幅Δは量子化回路56へ供給され
る。量子化回路56では、供給された量子化ステップ幅
Δを用いて供給された差分値が符号化付きqビット量子
化が行われる。この符号化付きqビット量子化は、出力
端子58から取り出され、図1中のレジスタ27へ供給
される。
【0023】上述した実施例では、レジスタ35は、レ
ジスタ27〜34において、保持されたデータを単にラ
ッチしてクラスコードを出力端子36へ出力している
が、レジスタ27〜34のデータをラッチする際にタッ
プの位置と上位から選択するビットを変えることでクロ
ック毎にクラスコードを出力端子36へ出力することも
可能である。
【0024】
【発明の効果】この発明によれば、入力画素とある期間
(m)の移動平均による平均値との比較を行い、その比
較結果に対して1ビット量子化を行い、1ビット量子化
が行われたデータをあるタップ数(n)だけ集めて、入
力画素のクラスコードとすることを特徴とする、パター
ン分類によるクラス分類を採用することで、簡単なハー
ドウェアでクラス分類することが可能となる。
【0025】さらに、この発明によれば、入力画素とあ
る期間(m)の移動平均による平均値との差分を行い、
その差分値に対して固定の量子化ステップ幅で割算する
ことで、符号化付きqビット量子化が行われたデータか
ら、タップの位置と上位から選択するビットを変えるこ
とによって、より効果的なクラス分類を行うことが可能
となる。
【図面の簡単な説明】
【図1】この発明のクラス分類装置の一実施例を示すブ
ロック図である。
【図2】この発明のクラス分類装置の一例を示すタイミ
ングチャートである。
【図3】この発明に係る非線形量子化の一例を示すブロ
ック図、および略線図である。
【図4】この発明に係る度数分布作成による量子化の一
例を示すブロック図である。
【図5】中心となる画素とその画素のクラスの一例を示
す略線図である。
【図6】従来のクラス分類装置の一例を示すブロック図
である。
【図7】従来のクラス分類装置を並列して用いた一例を
示すブロック図である。
【符号の説明】
5、8、10、11、19、20、21、25、26、
27、28、29、34、35 レジスタ 6 加算器 7 減算器 9 比較器
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 7/01 G

Claims (6)

    【特許請求の範囲】
  1. 【請求項1】 注目する画素値と、所定数内の移動平均
    による平均値との比較を行う比較手段と、 上記比較手段の結果を1ビット、または2ビット以上の
    量子化を行う量子化手段と、 上記量子化手段により生成された量子化データを所定の
    タップ数だけ集めることによりクラスコードとするクラ
    スコード生成手段とからなることを特徴とするクラス分
    類装置。
  2. 【請求項2】 注目する画素値と、所定数内の移動平均
    による平均値との差分を行う比較手段と、 上記差分手段の結果を固定の量子化ステップ幅で除算す
    ることにより符号化付きqビット量子化が生成される量
    子化手段と、 上記量子化手段により生成された符号化付きqビット量
    子化を所定のタップ数だけ集めることによりクラスコー
    ドとするクラスコード生成手段とからなることを特徴と
    するクラス分類装置。
  3. 【請求項3】 請求項2に記載のクラス分類装置におい
    て、 上記量子化手段により生成された上記符号化付きqビッ
    ト量子化のタップの位置を選択する選択手段と、 さらに、上記符号化付きqビット量子化の上位から選択
    されるビットを変更する変更手段と、 上記変更手段により生成された上記ビットを所定のタッ
    プ数だけ集めることによりクラスコードとするクラスコ
    ード生成手段とからなることを特徴とするクラス分類装
    置。
  4. 【請求項4】 請求項1に記載のクラス分類装置におい
    て、 上記比較手段では、連続する16画素の画素値が加算さ
    れ平均値が算出される平均値手段と、 入力された上記画素値と上記平均値とが加算されると共
    に、最初に加算された画素値が減算され、平均値が算出
    される移動平均値手段と、 注目する上記画素値と、上記平均値との比較を行うこと
    を特徴とするクラス分類装置。
  5. 【請求項5】 請求項2に記載のクラス分類装置におい
    て、 上記比較手段では、連続する16画素の画素値が加算さ
    れ平均値が算出される平均値手段と、 入力された上記画素値と上記平均値とが加算されると共
    に、最初に加算された画素値が減算され、平均値が算出
    される移動平均値手段と、 注目する上記画素値と、上記平均値との差分を行うこと
    を特徴とするクラス分類装置。
  6. 【請求項6】 請求項1、請求項2、および請求項3に
    記載のクラス分類装置において、 上記所定のタップ数は、上記量子化された8画素からな
    ることを特徴とするクラス分類装置。
JP27170394A 1994-10-11 1994-10-11 クラス分類装置および方法 Expired - Lifetime JP3704730B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP27170394A JP3704730B2 (ja) 1994-10-11 1994-10-11 クラス分類装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP27170394A JP3704730B2 (ja) 1994-10-11 1994-10-11 クラス分類装置および方法

Publications (2)

Publication Number Publication Date
JPH08111868A true JPH08111868A (ja) 1996-04-30
JP3704730B2 JP3704730B2 (ja) 2005-10-12

Family

ID=17503674

Family Applications (1)

Application Number Title Priority Date Filing Date
JP27170394A Expired - Lifetime JP3704730B2 (ja) 1994-10-11 1994-10-11 クラス分類装置および方法

Country Status (1)

Country Link
JP (1) JP3704730B2 (ja)

Also Published As

Publication number Publication date
JP3704730B2 (ja) 2005-10-12

Similar Documents

Publication Publication Date Title
US7860160B2 (en) Video encoding device
US4837618A (en) Moving image signal coding system
JP2509469B2 (ja) 変換による連続画像の適応型符号化及び復号方法及び装置
US6912318B2 (en) Method and system for compressing motion image information
US4792851A (en) Method and apparatus for coding motion image signal
US5740277A (en) Image encoding device in which zero-valued points and points subordinate thereto are not encoded
JPH07226937A (ja) 輝度信号適応動き評価方法
JP2003528475A (ja) ビデオシーケンス内の冗長画像を検出するシステム
US6473465B1 (en) Method and apparatus for video coding at high efficiency
US6631161B1 (en) Method and system for compressing motion image information
JPH08111868A (ja) クラス分類装置
US6810154B2 (en) Method and apparatus for automatic spatial resolution setting for moving images
EP1695557A2 (en) Methods and apparatus for spatial scalable compression scehme
JP4143880B2 (ja) 画像符号化装置および方法、画像復号装置および方法、並びに記録媒体
Akare et al. Compression of old marathi manuscript images using context-based, adaptive, lossless image coding
JP2537246B2 (ja) 画像符号化方式
US6112205A (en) Data processing equipment and method for classifying data into classes in accordance with a plurality of thresholds for quantizing data
JP2001285882A (ja) ノイズ低減装置および方法
EP1479240A2 (en) Automated mask selection in object-based video encoding
JP2924279B2 (ja) 画像信号予測符号化・復号装置
JP3831955B2 (ja) クラス分類適応処理装置および方法
JP2518215B2 (ja) 高能率符号化装置
EP1170956A2 (en) Method and system for compressing motion image information
JP3709572B2 (ja) クラス分類装置および方法
JP3204952B2 (ja) 画像処理装置及びその方法

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040824

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041019

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20041116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050113

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20050126

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20050705

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20050718

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080805

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090805

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100805

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110805

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110805

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120805

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120805

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130805

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term