JP3324726B2 - 画像認識装置 - Google Patents

画像認識装置

Info

Publication number
JP3324726B2
JP3324726B2 JP23078796A JP23078796A JP3324726B2 JP 3324726 B2 JP3324726 B2 JP 3324726B2 JP 23078796 A JP23078796 A JP 23078796A JP 23078796 A JP23078796 A JP 23078796A JP 3324726 B2 JP3324726 B2 JP 3324726B2
Authority
JP
Japan
Prior art keywords
input
unit
layer
image recognition
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP23078796A
Other languages
English (en)
Other versions
JPH09134433A (ja
Inventor
徹 中川
一 北川
康弘 玉井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yazaki Corp
Original Assignee
Yazaki Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yazaki Corp filed Critical Yazaki Corp
Priority to JP23078796A priority Critical patent/JP3324726B2/ja
Publication of JPH09134433A publication Critical patent/JPH09134433A/ja
Application granted granted Critical
Publication of JP3324726B2 publication Critical patent/JP3324726B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Analysis (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明の画像認識装置は、入
力層、中間層、および出力層が階層化されて成る多層型
ニューラルネットワークを用いて、入力された画像情報
の認識を実行する画像認識装置に関し、特に、照明変動
を補正するための濃度検出ユニットを備えた画像認識装
置に関する。
【0002】
【従来の技術】従来この種の画像認識装置9として、例
えば、図4に示すようなものがある。光学的に照明され
た対象物体1からの光学画像情報は、入力手段2に装置
された画像入力部2bによって画像情報として電気信号
に変換された後、画像処理を行う画素数を低減するため
に12×12画素程度のモザイク処理が行われていた。
【0003】さらに識別に必要な特徴の抽出精度を確保
するために、入力手段2に装置された前処理部2cが、
光学的に入力された原画像情報に対していくつかの前処
理を予め実行していた。前処理として、具体的には、白
黒256階調程度の、所謂、階調の正規化を予め実行し
ていた。
【0004】前処理をされた画像情報は、入力手段2に
装置されたディレイライン2dを介して画像認識手段
(則ち、ニューラルネットワーク)3に入力されてい
た。画像認識手段(則ち、ニューラルネットワーク)3
においては、入力層3aを構成する各ユニットは、中間
層3bを構成する全ユニットについて予め学習された重
みによって当該全ユニットの各々と結合されており、さ
らに、中間層3bを構成する各ユニットは、出力層3c
を構成する全ユニットについて予め学習された重みによ
って当該全ユニットの各々と結合されていた。
【0005】このような構成の画像認識手段(則ち、ニ
ューラルネットワーク)3は、バックプロパゲーション
等の学習規則を用いて予め教示学習されている各層間の
重みと、所定の演算とに従って、入力されたモザイク化
画像情報の認識を実行していた。
【0006】
【発明が解決しようとする課題】しかしながら、このよ
うな従来の画像認識手段3では、識別に必要な特徴の抽
出精度を確保するために、原画像情報に対して階調の正
規化等の前処理を予め実行する必要があるため処理時間
がかかり、実時間で高精度の画像識別を行うためには、
高速な画像認識手段や高速・高精度な撮像装置が要求さ
れるという問題点があった。
【0007】また、階調処理等の前処理をされた画像情
報やモザイク化画像情報のような濃淡画像情報から特徴
を抽出する手法は、対象物体の照明条件に強く依存する
ため、照明変動に弱いという問題点があった。本発明
は、このような従来の問題点に着目してなされたもの
で、階調処理等の前処理をされた画像情報に代えてビデ
オ信号情報を入力層に入力される入力画像情報として用
いる方式を採用するとともに、画像入力時の照明の変動
を補正するための単一の濃度検出ユニットを入力層と中
間層との間に設けることによって、画像識別に必要な特
徴の抽出精度を照明変動にかかわらず確保できるととも
に、高い認識精度でかつ実時間で画像識別が可能な、装
置コストの低い画像認識装置を提供することを目的とし
ている。
【0008】
【課題を解決するための手段】かかる目的を達成するた
めの要旨とするところは、以下の各項に存する。 [1]項 入力層22、中間層23、および出力層24が階層化さ
れて成る多層型ニューラルネットワークを画像認識手段
20として用いて、入力された画像情報の認識を実行す
る画像認識装置10において、前記入力層22と前記中
間層23との間に、画像情報入力時の照明の変動を補正
するため、前記中間層23を構成する各ユニットについ
て予め学習された重みによって当該各ユニットと各々結
合されるとともに、前記入力層22を構成する各ユニッ
トについて予め学習された重みによって当該各ユニット
と各々結合されて成る単一の濃度検出ユニット25を設
、前記中間層23は、前記単一の濃度検出ユニット2
5からの出力の変化に応じて、自己の増幅率を可変する
ことにより、前記照明の変動を補正することを特徴とす
る画像認識装置10。
【0009】
【0010】[2]項 前記入力層22を構成する各ユニットは、前記中間層2
3を構成する全ユニットについて予め学習された重みに
よって当該全ユニットの各々と結合されて成り、さら
に、前記中間層23を構成する各ユニットは、前記出力
層24を構成する全ユニットについて予め学習された重
みによって当該全ユニットの各々と結合されて成こと
を特徴とする[1]項に記載の画像認識装置10。
【0011】[3]項 前記単一の濃度検出ユニット25の入出力関数は、シグ
モイド関数25Aであことを特徴とする[1]項〜
[2]項に記載の画像認識装置10。
【0012】[4]項 前記単一の濃度検出ユニット25と前記中間層23を構
成する各ユニット間の重み、または、前記単一の濃度検
出ユニット25と前記入力層22を構成する各ユニット
間の重みは、前記シグモイド関数25Aへの入力値が所
定の範囲内に収まるように予め学習されことを特徴と
する[1]項〜[3]項に記載の画像認識装置10。
【0013】[6]項 前記中間層23は、前記単一の濃度検出ユニット25か
らの出力の変化に応じて、自己の増幅率を可変すること
により、前記照明変動を補正することができる、ことを
特徴とする[1]項〜[5]項に記載の画像認識装置1
0。
【0014】
【発明の実施の形態】以下、図面に基づき本発明の実施
の形態を説明する。図1は本発明の実施の形態にかかる
画像認識装置10を示す機能ブロック図である。図2は
本発明の実施の形態にかかる単一の濃度検出ユニット2
5の入出力関数(シグモイド関数25A)の特性を示す
グラフである。図3は本発明の実施の形態にかかる単一
の濃度検出ユニット25の出力値と画像階調値との関係
を示すグラフである。
【0015】始めに、発明の実施の形態の画像認識装置
10の構成を説明する。本発明の実施の形態の画像認識
装置10は、入力層22、中間層23、および出力層2
4が階層化されて成る多層型ニューラルネットワークを
画像認識手段20として用いて、入力された画像情報の
認識を実行する装置において、図1に示すように、対象
物体11の光学的な画像情報を読み取って電気的な入力
画像情報に変換するための入力手段30と、入力画像情
報に対して画像情報の認識を実行して対象物体11の識
別を実行することができる画像認識手段20とを備えて
成る。
【0016】対象物体11は光学的な照明手段(図示せ
ず)によって、照明が施されている。入力手段30に装
置された光学レンズ系31は、照明された対象物体11
の光学画像情報を次段の画像入力部34上にフォーカシ
ングするためのものである。
【0017】光学レンズ系31の後段に装置された画像
入力部34は、対象物体11の光学画像情報を電気的な
入力画像情報に変換するものである。具体的には、12
×12=144画素を有するCCDエリアセンサのよう
な光電変換デバイスを用いている。
【0018】画像入力部34の後段に装置された信号増
幅処理部(具体的には、ビデオアンプ)32は、画像入
力部34が生成した画像情報を電気的に増幅するビデオ
信号増幅処理を実行してビデオ信号情報を生成するもの
である。本発明の実施の形態の画像入力部34は、具体
的には、ビデオアンプ等の画像入力用の電子回路および
入力された画像情報の画像処理を実行するためのコンピ
ュータハードウェア等でその主要部を実現することがで
きる。
【0019】ディレイライン33は、シリアル伝送され
てきたビデオ信号情報をパラレル変換して、画像認識手
段(多層型ニューラルネットワーク)20の入力層22
の各ユニットに伝送するものである。本発明の実施の形
態のディレイライン33は、具体的には、半導体ICで
実現することができる。
【0020】次に、発明の実施の形態の画像認識手段
(多層型ニューラルネットワーク)20の構成を説明す
る。本発明の実施の形態の画像認識手段(多層型ニュー
ラルネットワーク)20は、バックプロパゲーション等
の学習規則を用いて予め教示学習されている各層間の重
みと、所定の演算(則ち、ニューロ演算)とに従って、
入力された画像情報の認識を実行するものにおいて、図
1に示すように、入力層22と単一の濃度検出ユニット
25と中間層23と出力層24とから構成されている。
【0021】本発明の実施の形態の画像認識手段(多層
型ニューラルネットワーク)20は、具体的には、コン
ピュータ上でのプログラムによって達成することができ
る。入力層22を構成する各ユニットは、中間層23を
構成する全ユニットについて予め学習された重みによっ
て当該中間層23の全ユニットの各々と結合されて成
る。
【0022】入力層22を構成するユニット数は、画像
入力部34の画素数(則ち、12×12=144)と同
数だけ設けられている。本発明の実施の形態では、14
4ユニットに設定している。入力層22に入力される入
力画像情報は、所定の画素数(具体的には、12×12
=144)を用いたビデオ信号情報である。
【0023】中間層23を構成する各ユニットは、出力
層24を構成する全ユニットについて予め学習された重
みによって当該全ユニットの各々と結合されて成る。中
間層23を構成するユニット数は、可変とすることがで
きるが、本発明の実施の形態では、35ユニットに設定
している。
【0024】出力層24を構成する各ユニットは、中間
層23を構成する全ユニットについて予め学習された重
みによって当該全ユニットの各々と結合されて成る。出
力層24を構成するユニット数は、識別したい対象物体
11の種類数だけ設けられている。本発明の実施の形態
では、硬貨の判定等に応用可能なように、12ユニット
程度に設定している。
【0025】画像情報入力時の照明の変動を補正するた
めの単一の濃度検出ユニット25は、入力層22と中間
層23との間に設けられて成る。単一の濃度検出ユニッ
ト25は、中間層23を構成する各ユニットについて予
め学習された重みによって当該中間層23の各ユニット
と各々結合されるとともに、入力層22を構成する各ユ
ニットについて予め学習された重みによって当該入力層
22の各ユニットと各々結合されて成る。
【0026】具体的には、単一の濃度検出ユニット25
が、中間層23を構成する各ユニットについて予め学習
された重みによって当該中間層23の各ユニットと各々
結合されるとともに、入力層22を構成する各ユニット
について予め学習された重みによって当該入力層22の
各ユニットと各々結合されて成る。
【0027】また、単一の濃度検出ユニット25の入出
力関数として、図2に示すようなシグモイド関数25A
を用いている。次に、発明の実施の形態の動作を説明す
る。初めに、発明の実施の形態の画像認識装置10の動
作を説明する。
【0028】本発明の実施の形態の画像認識装置10
は、入力層22、中間層23、および出力層24が階層
化されて成る多層型ニューラルネットワークを画像認識
手段20として用いて、入力された画像情報の認識を実
行することができる。多層型ニューラルネットワーク
は、高等な動物の神経回路網の仕組みを模倣し、情報処
理を行うことができる。多層型ニューラルネットワーク
20を利用したアプリケーションの特徴として、学習済
みのネットワークは、複雑な計算なしで、出力を得るこ
とができる。
【0029】画像情報の認識とは、与えられた入力され
た画像情報から識別に必要な特徴を抽出し、その特徴か
ら物体を与えられたカテゴリーに割り当てることであ
る。各カテゴリーは、出力層24の各ユニットに対応し
ている。通常、カテゴリーの数と同数のユニットが出力
層24に設定されている。カテゴリーの割り当て結果
は、出力層24のどのユニットが興奮状態になっている
かを検出することによって、知ることができる。
【0030】また、本発明の実施の形態の画像認識装置
10は、階調処理等の前処理をされた画像情報に代えて
ビデオ信号情報を入力層に入力される入力画像情報とし
て用いることによって、画像識別に必要な特徴の抽出精
度を照明変動にかかわらず確保できる。
【0031】本発明の実施の形態では、画素数を12×
12=144としているが、分割数は対象物体11の複
雑さ(具体的には、細かさ)に依存する。そこで、計算
の簡略化、および実用化される画像認識装置10を安価
で簡単なものにするために、最低限の分割数を用いてい
る。
【0032】これにより、高い認識精度でかつ実時間で
画像識別が可能な、装置コストの低い画像認識装置を実
現できる。さらに、画像情報入力時の照明の変動を補正
するための単一の濃度検出ユニット25を入力層22と
中間層23との間に設けることによって、画像識別に必
要な特徴の抽出精度を照明変動にかかわらず確保できる
画像認識装置10を実現できる。
【0033】次に、発明の実施の形態の入力手段30の
動作を説明する。対象物体11は、光学的な照明手段
(図示せず)によって照明が施されている。入力手段3
0に装置された光学レンズ系31は、照明された対象物
体11の光学画像情報を次段の画像入力部34上にフォ
ーカシングすることができる。
【0034】光学レンズ系31の後段に装置された画像
入力部(具体的には、12×12=144画素を有する
CCDエリアセンサ)34は、対象物体11の光学画像
情報を電気的な入力画像情報に変換することができる。
画像入力部34の後段に装置された信号増幅処理部32
は、画像入力部34が生成した画像情報を電気的に増幅
するビデオ信号増幅処理を実行してビデオ信号情報を生
成することができる。
【0035】ディレイライン33は、シリアル伝送され
てきたビデオ信号情報をパラレル変換して、画像認識手
段(多層型ニューラルネットワーク)20の入力層22
の各ユニットに伝送することができる。次に、発明の実
施の形態の画像認識手段(多層型ニューラルネットワー
ク)20の動作を説明する。
【0036】本発明の実施の形態の画像認識手段(多層
型ニューラルネットワーク)20は、バックプロパゲー
ション等の学習規則を用いて予め教示学習されている各
層間の重みと、所定の演算(則ち、ニューロ演算)とに
従って、入力された画像情報の認識を実行することがで
きる。
【0037】識別の判定は、画像情報を提示したときの
出力層24の出力値を調べ、該当するユニットが最大値
を示しているかどうかを調べることによって実行され
る。また判定基準として、従来技術を用い、正解、誤
り、および該当なしの三つの基準を設けている。該当な
しとは、最大の出力をmax1、第2位の出力をmax
2とした時、max1<0.4あるいは(max2−m
ax1)/max1<0.2の場合である。
【0038】本発明の実施の形態の画像認識手段(多層
型ニューラルネットワーク)20は、具体的には、コン
ピュータ上でのプログラムによって実現されている。単
一の濃度検出ユニット25と中間層23を構成する各ユ
ニット間の重み、または、単一の濃度検出ユニット25
と入力層22を構成する各ユニット間の重みは、シグモ
イド関数25Aへの入力値が所定の範囲内(則ち、図2
の非線形部分を囲んだ破線部分)に収まるように予め学
習される。
【0039】シグモイド関数25Aにおいては、図2に
示すように、シグモイド関数25Aの入力を負にして、
その非線形な出力部分を用いている。また、図3に示す
ように、単一の濃度検出ユニット25の出力は、全体の
階調が増加するにつれ、指数関数的に減少するものであ
る。
【0040】中間層23は、単一の濃度検出ユニット2
5からの出力の変化に応じて、自己の増幅率を可変する
ことにより、照明変動を補正することができる。次に、
発明の実施の形態の学習動作を説明する。出力層24
は、識別すべき対象物体11の数分のユニットを設け、
各々に対応させる。ビデオ信号情報に対応する個別の識
別信号を教師とし、対象出力ユニットに0.9、その他
のユニットに0.1を与え、これを繰り返すことによ
り、バックプロパゲーション学習を行う。
【0041】以下にその学習のプロセスを示す。 [プロセス1]:提示パターンに対応する教師信号Tk
と出力層24の出力Okとの差から、出力層24とつな
がる重みと中間層23のしきい値に対する誤差δkを求
める。
【0042】[プロセス2]:重みおよびしきい値の初
期値として、−0.3から0.3までの乱数値を与え
る。また、バックプロパゲーション学習時の係数α、β
の値は1.0としている。
【0043】[プロセス3]:全対象物体11に対し、
出力層24の出力ユニットにおける出力値と正解値との
平均2乗誤差が一定値内となったとき(則ち、学習が収
束したとき)、学習を終了する。
【0044】なお、重みとしきい値を修正する際、振動
を減らし、学習の収束を早めるために慣性項を与えても
よい。この様なアルゴリズムに従い学習された多層型ニ
ューラルネットワーク20は、ネットワークの重みとし
きい値を修正し、識別に必要な特徴抽出能力をそのネッ
トワーク内に構築する。
【0045】以上のプロセスによって、学習済み多層型
ニューラルネットワーク20は、抽出された特徴から、
その物体が何であるか、カテゴリーに結びつける能力を
持つようになる。この様な画像認識手段(多層型ニュー
ラルネットワーク)20においては、中間層23におい
て識別に必要な特徴が抽出され、出力層24はその特徴
から出力を決定する。
【0046】以上説明したように本発明の実施の形態に
よれば、画像情報入力時の照明の変動を補正するための
単一の濃度検出ユニット25を入力層22と中間層23
との間に設けることによって、画像識別に必要な特徴の
抽出精度を照明変動にかかわらず確保できる高い認識精
度でかつ実時間で画像識別が可能な、装置コストの低い
画像認識装置10を実現できる。
【0047】具体的には、工場の製品検査等の実時間で
の識別処理が要求される現場において、高速なパソコン
程度の余り装置コストのかからない画像認識装置10を
用いて、実時間で画像情報を識別することができるよう
になる。
【0048】
【発明の効果】本発明によれば、画像情報入力時の照明
の変動を補正するための単一の濃度検出ユニットを入力
層と中間層との間に設けることによって、画像識別に必
要な特徴の抽出精度を照明変動にかかわらず確保でき、
さらに高い認識精度でかつ実時間で画像識別が可能な、
装置コストの低い画像認識装置を実現できる。
【図面の簡単な説明】
【図1】本発明の実施の形態にかかる画像認識装置を示
す機能ブロック図である。
【図2】本発明の実施の形態にかかる単一の濃度検出ユ
ニットの入出力関数(シグモイド関数)の特性を示すグ
ラフである。
【図3】本発明の実施の形態にかかる単一の濃度検出ユ
ニットの出力値と画像階調値との関係を示すグラフであ
る。
【図4】従来の画像認識装置を示す機能ブロック図であ
る。
【符号の説明】
10 画像認識装置 11 対象物体 20 画像認識手段(多層型ニューラルネットワー
ク) 22 入力層 23 中間層 24 出力層 25 単一の濃度検出ユニット 25A シグモイド関数 30 入力手段 31 光学レンズ系 32 ビデオ信号増幅処理部 33 ディレイライン 34 画像入力部
───────────────────────────────────────────────────── フロントページの続き (58)調査した分野(Int.Cl.7,DB名) G06T 7/00 - 7/60 G06N 3/00 - 3/10 G06T 1/00 G06K 9/62

Claims (4)

    (57)【特許請求の範囲】
  1. 【請求項1】 入力層、中間層、および出力層が階層化
    されて成る多層型ニューラルネットワークを画像認識手
    段として用いて、入力された画像情報の認識を実行する
    画像認識装置において、 前記入力層と前記中間層との間に、画像情報入力時の照
    明の変動を補正するため、前記中間層を構成する各ユニ
    ットについて予め学習された重みによって当該各ユニッ
    トと各々結合されるとともに、前記入力層を構成する各
    ユニットについて予め学習された重みによって当該各ユ
    ニットと各々結合されて成る単一の濃度検出ユニットを
    設け 前記中間層は、前記単一の濃度検出ユニットからの出力
    の変化に応じて、自己の増幅率を可変することにより、
    前記照明の変動を補正する ことを特徴とする画像認識装
    置。
  2. 【請求項2】 前記入力層を構成する各ユニットは、前
    記中間層を構成する全ユニットについて予め学習された
    重みによって当該全ユニットの各々と結合されて成り、 さらに、前記中間層を構成する各ユニットは、前記出力
    層を構成する全ユニットについて予め学習された重みに
    よって当該全ユニットの各々と結合されて成ことを特
    徴とする請求項1に記載の画像認識装置。
  3. 【請求項3】 前記単一の濃度検出ユニットの入出力関
    数は、シグモイド関数であことを特徴とする請求項1
    2に記載の画像認識装置。
  4. 【請求項4】 前記単一の濃度検出ユニットと前記中間
    層を構成する各ユニット間の重み、または、前記単一の
    濃度検出ユニットと前記入力層を構成する各ユニット間
    の重みは、前記シグモイド関数への入力値が所定の範囲
    内に収まるように予め学習されることを特徴とする請求
    項1〜に記載の画像認識装置。
JP23078796A 1995-09-04 1996-08-30 画像認識装置 Expired - Fee Related JP3324726B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP23078796A JP3324726B2 (ja) 1995-09-04 1996-08-30 画像認識装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP7-226500 1995-09-04
JP22650095 1995-09-04
JP23078796A JP3324726B2 (ja) 1995-09-04 1996-08-30 画像認識装置

Publications (2)

Publication Number Publication Date
JPH09134433A JPH09134433A (ja) 1997-05-20
JP3324726B2 true JP3324726B2 (ja) 2002-09-17

Family

ID=26527193

Family Applications (1)

Application Number Title Priority Date Filing Date
JP23078796A Expired - Fee Related JP3324726B2 (ja) 1995-09-04 1996-08-30 画像認識装置

Country Status (1)

Country Link
JP (1) JP3324726B2 (ja)

Also Published As

Publication number Publication date
JPH09134433A (ja) 1997-05-20

Similar Documents

Publication Publication Date Title
JPH0737087A (ja) 画像処理装置
US5692065A (en) Apparatus and method for determining image quality
US5617484A (en) Image binarizing apparatus
US5475768A (en) High accuracy optical character recognition using neural networks with centroid dithering
CN112861945A (zh) 一种多模态融合谎言检测方法
Hinduja et al. Enhanced Character Recognition using Deep Neural Network-A Survey
JP3324726B2 (ja) 画像認識装置
CN116612355A (zh) 人脸伪造识别模型训练方法和装置、人脸识别方法和装置
JPH06113139A (ja) 画像2値化装置
JPH08327559A (ja) パターン検査装置およびその検査方法
JP3279099B2 (ja) マーク認識装置およびマーク認識方法
Mohammed et al. Neural network behavior analysis based on transfer functions MLP & RB in face recognition
KR100338473B1 (ko) 다-차원 신경 회로망을 이용한 얼굴 검출 방법 및 그 장치
JPH08138025A (ja) 画像識別パラメータの決定方法及び画像認識方法
JPH06273346A (ja) はんだ付け状態検査装置
JP3225179B2 (ja) パターン欠陥検査装置
JPH08251404A (ja) 画像領域属性判別方法及び装置
JP3303253B2 (ja) パターンマッチング方法および装置
JPH1070652A (ja) 画像領域属性判別装置
JPH117536A (ja) ニューラルネットワークを用いた画像認識装置、画像認識方法、及び変換装置
JPH09330406A (ja) 学習支援装置およびパターン認識装置
JP3173690B2 (ja) ニューラルネットワークによる外観検査装置
JPH07271907A (ja) アナログ画像の二値化装置
KR20210112992A (ko) 다각형 기반의 객체 인식 성능 보정 장치 및 방법
JPH05303627A (ja) はんだ付けの状態検査装置

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20020528

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080705

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080705

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090705

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090705

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100705

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110705

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees