JP3708383B2 - パターン認識方法及びパターン認識装置 - Google Patents
パターン認識方法及びパターン認識装置 Download PDFInfo
- Publication number
- JP3708383B2 JP3708383B2 JP30365899A JP30365899A JP3708383B2 JP 3708383 B2 JP3708383 B2 JP 3708383B2 JP 30365899 A JP30365899 A JP 30365899A JP 30365899 A JP30365899 A JP 30365899A JP 3708383 B2 JP3708383 B2 JP 3708383B2
- Authority
- JP
- Japan
- Prior art keywords
- vector
- pattern
- feature
- model
- class
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像から物体の検出と認識、及び距離推定を行うパターン認識方法ならびにパターン認識装置に関するものである。
【０００２】
【従来の技術】
従来のパターン認識装置は、特開平９−５３９１５号公報に記載されたものが知られている。
【０００３】
図８は、従来のパターン認識装置のブロック構成図を示しており、画像を入力する画像入力部１１と、抽出対象物のモデルを予め格納しているモデル記憶部１３と、入力画像の特徴ベクトルを抽出する特徴ベクトル抽出部１２と、モデル記憶部１３からのモデルの特徴ベクトルを抽出記憶する特徴ベクトル記憶部１４と、画像入力部１１からの入力画像と特徴ベクトル記憶部１４からの各モデルの特徴ベクトルとの照合を行う照合部１５と、照合部１５の結果からパターンを判別して出力する判定部１６とから構成されている。
【０００４】
パターン認識に当たっては、画像情報、あるいはエッジ情報を使って特徴量を抽出し、モデルとの照合を行っている。その際、全てのパターンベクトルに対して共通な処理を施し、特徴抽出行列を求めている。パターンベクトルの要素数は統一する必要があるため、各パターンの大きさや形を考慮しない表現方法がとられている。例えば、入力画像から共通な大きさ、及び共通な形の部分画像を取り出し、パターンベクトルの要素数を統一する。あるいは、入力画像から取り出した部分画像を、共通な大きさ、及び共通な形に、共通な手段で規格化する。
【０００５】
【発明が解決しようとする課題】
しかし前記のような従来のパターン認識装置においては、実際は、パターンの大きさや形も固有な情報の一部として認識や判別に有用な場合が多い。ところが、パターンベクトルの要素数を統一するという制約条件を守りつつ、パターンの大きさや形も有効に表現することは難しいという課題を有していた。
【０００６】
本発明は、パターンベクトルの作成方法を統一せず、クラス毎に縮尺の変換や形を自由に選択できる手段を加え、個々のパターンの大きさや形の情報も取り入れて照合することにより、パターンを高精度に認識することを可能にしたパターン認識方法およびパターン認識装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、本発明では、予め複数のモデルパターンをクラス毎に分類し、各クラスの特徴を表現する縮尺、及び形をクラス毎に選択し、モデルのパターンベクトルを作成する。この際、作成したパターンベクトルの要素数が統一されるように、縮尺と形を選択する。前記作成したパターンベクトルから求めた特徴抽出行列と、前記特徴抽出行列からその代表特徴量ベクトルとを求め蓄積する学習手段と、入力パターンから入力パターンベクトル作成手段と、前記入力パターンベクトルと前記学習手段からの特徴抽出行列を用いて特徴量ベクトルを抽出する特徴量抽出手段と、前記学習手段からの代表特徴量ベクトルと前記入力パターンの特徴量ベクトルとの類似度を計算する類似度判別手段と、前記類似度から入力パターンを推定する判定手段とを備えたものである。
【０００８】
これにより、パターンの持つ大きさや形の情報を有効に取り出して特徴抽出を行なうことで、高精度のパターン認識が可能になるという効果を奏するものである。
【０００９】
【発明の実施の形態】
本発明の請求項１に記載の発明は、予め複数のモデルをクラス毎に分類し、各クラス毎にモデルの種類、形状、尺度の分類項目で作成された各パターンセットからクラス間分散とクラス内分散を求め、そのクラス分散比である判別評価基準が最大となる分類項目を予め選択し、同一要素数の各モデルのパターンベクトルを作成し、前記モデルパターンベクトルから求めた特徴抽出行列と、前記特徴抽出行列から求めたその代表特徴量ベクトルとをモデル特徴ベクトルデータベースに記憶しておき、
入力パターンから前記クラス毎に決定した各クラス毎に予め選択された特徴を表現する分類項目で入力パターンベクトルを作成し、前記入力パターンベクトルと前記モデル特徴ベクトルデータベースからの特徴抽出行列を用いて特徴量ベクトルを算出し、前記モデル特徴ベクトルデータベースからの代表特徴量ベクトルと前記入力パターンの特徴量ベクトルとの類似度の最も高いものを認識結果として１つまたは２つ以上出力するもので、クラス毎の特徴を表現した分類項目を予め選択し、同一要素数の各モデルのパターンベクトルを作成することで、クラスの違いが顕著となり、高精度な認識を可能にするという作用を有する。
【００１２】
請求項２に記載の発明は、請求項１に記載パターン認識方法において、特徴抽出行列を、前記パターンベクトルから求めたクラス内の共分散行列とクラス間の共分散行列から求めるもので、クラスの違いを顕著にするため、高精度なパターン認識を可能にするという作用を有する。
【００１３】
請求項３に記載の発明は、請求項１または２に記載のパターン認識方法において、類似度は、特徴空間における相関距離で判定するもので、ユークリッド距離で判定するよりも高精度なパターン認識を可能にするという作用を有する。
【００１６】
請求項４に記載の発明は、予め複数のモデルをクラス毎に分類し、各クラス毎にモデルの種類、形状、尺度の分類項目で作成された各パターンセットからクラス間分散とクラス内分散を求め、そのクラス分散比である判別評価基準が最大となる分類項目を予め選択し、同一要素数の各モデルのパターンベクトルを作成するパターンベクトル作成手段と、前記モデルパターンベクトルから求めた特徴抽出行列と、前記特徴抽出行列から求めたその代表特徴量ベクトルとをモデル特徴ベクトルデータベースに蓄積する学習手段と、
入力パターンから前記各クラス毎に予め選択された特徴を表現する分類項目で入力パターンベクトルを作成し、前記入力パターンベクトルと前記モデル特徴ベクトルデータベースからの特徴抽出行列を用いて特徴量ベクトルを抽出する特徴量抽出手段と、前記モデル特徴ベクトルデータベースからの代表特徴量ベクトルと前記入力パターンの特徴量ベクトルとの類似度を計算する類似度判別手段と、前記類似度から入力パターンを推定する判定手段とを備えるもので、クラス毎の特徴を表現した分類項目を予め選択し、同一要素数の各モデルのパターンベクトルを作成することで、クラスの違いが顕著となり、高精度なパターン認識を可能にするという作用を有する。
【００１９】
請求項５に記載の発明は、請求項４に記載のパターン認識装置において、類似度は、特徴空間における相関距離で判定するようにしたもので、ユークリッド距離で判定するよりも高精度なパターン認識を可能にするという作用を有する。
【００２２】
請求項６に記載の発明は、コンピュータによりパターン認識を行うプログラムであって、予め複数のモデルをクラス毎に分類し、各クラス毎にモデルの種類、形状、尺度の分類項目で作成された各パターンセットからクラス間分散とクラス内分散を求め、そのクラス分散比である判別評価基準が最大となる分類項目を予め選択し、同一要素数の各モデルのパターンベクトルを作成し、前記モデルパターンベクトルから求めた特徴抽出行列と、前記特徴抽出行列から求めたその代表特徴量ベクトルとをモデル特徴ベクトルデータベースに記憶しておき、入力パターンから前記各クラス毎に予め選択された特徴を表現する分類項目で入力パターンベクトルを作成し、前記入力パターンベクトルと前記モデル特徴ベクトルデータベースからの特徴抽出行列を用いて特徴量ベクトルを算出し、前記モデル特徴ベクトルデータベースからの代表特徴量ベクトルと前記入力パターンの特徴量ベクトルとの類似度の最も高いものを認識結果とし、入力パターンを推定するパターン認識プログラムを記録した記録媒体から、コンピュータに読み込み実行することにより、物体を分類したクラスの違いを顕著にするため、高精度なパターン認識を可能にするという作用を有する。
【００２３】
以下、本発明の実施の形態について、図１から図７を用いて説明する。
【００２４】
（実施の形態１）
図１は、本発明の実施の形態１におけるパターン認識装置のブロック構成図を示している。
【００２５】
対象データとしては、可視カメラや赤外カメラ、ＣＴスキャナーなど異なる入力手段を用い、例えば画像データの濃淡画像、カラー画像、エッジ画像などのデータを用いることが考えられる。これらのデータを単独あるいは複数組み合わせて、各要素に値を持つパターンベクトルを作成できるものであればよい。
【００２６】
本実施の形態では、説明を容易にするために、可視カメラを入力手段とし、それから得られる画像データを用いるものとし、長方形の部分画像（パターンと呼ぶ）の画素値を一次元ベクトルに表現したパターンベクトルとして説明をする。ただし、実際にはデータの種類、パターンの大きさ、及びその形は問わない。また、各パターンのデータ上での位置関係は連続、不連続、重なりの有無を問わない。そして、画像の全体または部分、あるいは、画像の全体または部分から新たな表現方法に変換された（例えばエッジ情報をとるなど）全体または部分をパターンとして利用することができる。また、特徴量の表現方法は問わないが特徴ベクトルとして説明する。
【００２７】
図１において、１は認識したい対象物の画像データを入力するデータ入力部、２はデータ入力部１で入力した画像からパターンを取り出すパターン作成部、３はパターン作成部２で作成したパターンから一次元のパターンベクトルを作成するパターンベクトル作成部、４は認識したいパターンのモデルを予め作成する学習手段である。
【００２８】
４１は各モデルパターンをクラスに分類し、モデルパターンベクトルとして格納しているモデルパターンベクトルデータベース、４２はモデルパターンベクトルデータベースに格納されている各モデルパターンベクトルから、クラス内が最もまとまり且つクラス間が最も分離されるような特徴抽出行列を算出する特徴抽出行列算出手段、４３は特徴抽出行列算出手段４２で求めた特徴抽出行列を用いて計算するモデル特徴ベクトルのクラス毎の平均を格納しているモデル特徴ベクトルデータベースである。
【００２９】
５はパターンベクトル作成部３で作成した各入力パターンベクトルに対して学習手段４で算出した特徴抽出行列を用いて特徴ベクトルを抽出する特徴ベクトル抽出手段、６は特徴ベクトル抽出手段５で抽出した特徴ベクトルと、モデル特徴ベクトルデータベースのモデル特徴ベクトルとを比較して類似度を計算する入力パターンベクトル判別手段、７は入力画像内で、入力パターンベクトル判別手段６から得られた類似度のうち、最も高い値である入力パターンベクトルとクラスを判定する入力データ判定部、８は判定結果を出力する結果出力部である。
【００３０】
また、図２は、コンピュータによりパターン認識装置を実現した場合のブロック構成図であり、２０１は物体の画像を撮影するためのビデオカメラ、２０２は大規模な画像情報を保存する画像データベース（２次記憶装置：光磁気ディスクなど）、２０３、２０４はビデオカメラ２０１、画像データベース２０２からの画像を格納する画像メモリ、２０５はプログラムの格納やワーク用メモリ、２０６はＣＰＵ、２０７は画像パターンを記憶するパターンメモリ、２０８は特徴抽出の実行によって計算された特徴ベクトルを記憶する特徴ベクトルメモリ、２０９はキーボード及びディスプレイ、２１０は種々のモデルを含む画像から作成したモデルパターンベクトルを格納しているモデルパターンベクトルデータベース、２１１は特徴抽出行列メモリ、２１２はモデルの特徴ベクトルを格納しているモデル特徴ベクトルデータベース、２１３はＣＰＵバス、２１４は得られた認識結果を出力する出力端子、２１５〜２１８はＩ／Ｆユニット、２１９はコンピュータシステムで構成されている。
【００３１】
以上のように構成されたパターン認識装置において、その入力データの対象のクラスがモデルパターンベクトルデータベースに登録されているクラスのうち、どれに一番類似しているかを認識する。その処理は、特徴抽出行列の計算とモデルパターンベクトルデータベースの構築を行うオフライン処理と、入力された画像が最も類似するモデル特徴ベクトルデータベースの特徴ベクトルからクラス判定を行うオンライン処理とに大別される。
【００３２】
以下、最初にオフライン処理について、図３のオフライン処理の動作フローチャートを用いて説明する。オフライン処理の目的は、特徴抽出行列の計算とモデルパターンベクトルデータベースの構築にある。
【００３３】
まず、ビデオカメラ２０１から得られた物体の画像信号がＩ／Ｆ２１５を介してデジタル変換された画像メモリ２０３に蓄積される。または、画像データベース２０２から取り出されたモデルの画像は画像メモリ２０４に蓄積される（Ｓ３０１）。
【００３４】
画像メモリ２０３にモデル入力画像として一旦蓄えられた画像からモデル部分を取り出し、モデルパターンを作成する（Ｓ３０２）。モデルパターンから同一要素数の一次元のデータ列として表現したパターンベクトルを作成し、パターンメモリ２０７に保持する（Ｓ３０３）。
【００３５】
これら各モデルパターンは予めクラスに分類しておく。上記のパターンからパターンベクトルを作成する際、クラス毎に異なるスケール変換を施す、あるいはクラス毎に取り出すパターンの形状を選択する等、クラス毎に異なる処理を行って同一要素数のパターンベクトルを用意する。ここが、この認識方法の中で最も重要な点である。
【００３６】
特徴抽出行列は、以下の手順で計算される。例えば判別方法には、文献（Fisher.R.A., "The use of multiple measurements in taxonomic problems", Ann. Eugenics. 7. Part II,pp.179-188, 1936.) に記載されたものが知られている。特徴抽出行列は、このFisherの判別関数の考えに従って、同一クラスに分類される各パターンのセットからクラス内共分散行列ＣWが、クラス毎に（数１）に従って計算される（Ｓ３０４）。
【００３７】
【数１】
【００３８】
クラス間共分散行列ＣBが、各パターンセットから（数２）に従って計算される（Ｓ３０５）。
【００３９】
【数２】
【００４０】
また、クラス全共分散行列ＣTが、（数３）に従って計算される。
【００４１】
【数３】
【００４２】
ここで、Fisherの考えに従って、判別評価基準としてクラス間分散をできるだけ大きく、同時にクラス内分散をできるだけ小さくなるように、その分散比（数４）を最大にするような変換ａを求める。クラスが３つの場合の判別分析法の概念図を図４に示す。
【００４３】
【数４】
【００４４】
これは、固有値問題（数５）を解くことに等しく、求めたＡTを特徴抽出行列メモリ２１１に記憶する（Ｓ３０６）。
【００４５】
【数５】
【００４６】
学習に用いた、モデルパターンベクトルをモデルパターンベクトルデータベースに登録する。また、特徴抽出行列を用いて計算される各モデル特徴ベクトルのクラス毎の代表値、例えば平均値をモデル特徴ベクトルとしてモデル特徴ベクトルデータベースに登録する（Ｓ３０７）。
【００４７】
以上がオフラインで実行されるプロセスである。
【００４８】
次に、オンライン処理について、オンライン処理の動作フローチャートを図５に示し説明する。オンライン処理目的は、入力された画像が最も類似するクラスの判定である。
【００４９】
ビデオカメラ２０１から認識対象となる画像データが入力され、画像メモリ２０３に記憶される（Ｓ４０１）。
【００５０】
画像メモリ２０３に一旦蓄えられた入力画像から、各クラス毎に定められたパターンベクトルの作成方法に従い、入力パターンを作成し、一次元のデータ列として表現した入力パターンベクトルをパターンメモリ２０７に蓄積する（Ｓ４０２）。入力パターンベクトルの目印、例えば入力パターンにした入力画像部分の中心点の座標も同時に蓄積する。
【００５１】
入力パターンベクトルは、オフライン時に求めた特徴抽出行列メモリ２１１からの特徴抽出行列ＡTを用いて（数６）に従って入力特徴ベクトルｆａを計算し、特徴ベクトルメモリ２０８に蓄積する（Ｓ４０３）。
【００５２】
【数６】
【００５３】
次は、最適マッチング処理で、各入力特徴ベクトルｆａとモデル特徴ベクトルデータベース２１２からの各モデル特徴ベクトルから類似度をそれぞれ計算する（Ｓ４０４）。
【００５４】
計算された類似度をそれぞれ比較し、最も類似度の高いモデル特徴ベクトルのクラスを認識結果として判定する（Ｓ４０５）。入力画像に対して１つ以上のクラスの判定結果を、その対応入力パターンの蓄積しておいた座標とともに、Ｉ／Ｆユニットを介して出力端子２１４に出力する（Ｓ４０６）。
【００５５】
入力及び学習時のモデル作成に用いた画像、パターン、パターンベクトル、特徴ベクトルの相互関係を図６に示し説明する。まず、オフライン処理で、モデル入力画像７５からパターン７６のＴ１を入力し、クラスに分類し、モデルパターンベクトル７７のＴ０１を求める。クラス毎に分類されたモデルパターンベクトルから、特徴抽出行列を求めるとともにクラス毎のモデル特徴ベクトル７８の平均値を求め、モデル特徴ベクトルデータベース７９に格納する。
【００５６】
次に、オンライン処理で、入力画像７１からパターン７２のＡ１を入力し、クラス毎に異なる作成方法で入力パターンベクトル７３のＡ０１−（１）等を求め、オフライン時に求めた特徴抽出行列との計算により入力特徴ベクトル７４のａ０１−（１）等を求めるものである。以降は、図５のＳ４０４〜Ｓ４０６と同様である。
【００５７】
なお、類似度の判定処理（Ｓ４０５）において、特徴空間上で入力特徴ベクトルと各クラスのモデル特徴ベクトルとの相関距離をとり、最も近いクラスを認識結果として判定してもよい。
【００５８】
なお、、モデルパターンのクラスの分類方法において、モデルの種類や形状、大きさ等によって分類すると、この認識方法においてはより効果的である。図７にクラスの分類方法の１例を示す。
【００５９】
【発明の効果】
以上のように本発明によれば、パターンベクトルとして要素数を等しくし、クラス毎に異なるパターンの大きさや形状の情報を保存しているため、全てのクラスで同一のパターンベクトル作成方法を用いるよりも、クラスの違いをより顕著に表現することが可能になり、高精度にパターン認識をすることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１におけるパターン認識装置のブロック構成図
【図２】本発明の実施の形態１におけるコンピュータによるパターン認識装置のブロック構成図
【図３】本発明の実施の形態１におけるオフライン処理の流れを示すフローチャート
【図４】判別分析法の概念図
【図５】入力およびモデルの画像、パターン、パターンベクトル、特徴ベクトルの相互関係説明図
【図６】本発明の実施の形態１におけるオンライン処理の流れを示すフローチャート
【図７】クラスの分類方法の一例を示す説明図
【図８】従来のパターン認識装置の一例を示すブロック図
【符号の説明】
１ データ入力部
２ パターン作成部
３ パターンベクトル作成部
４ 学習手段
５ 特徴ベクトル抽出手段
６ 入力パターンベクトル判別手段
７ 入力データ判定部
４１ モデルパターンベクトルデータベース
４２ 特徴抽出行列算出手段
４３ モデル特徴ベクトルデータベース
２０１ ビデオカメラ
２０２ 画像データベース
２０３〜２０４ 画像メモリ
２０５ メモリ
２０６ ＣＰＵ
２０７ パターンメモリ
２０８ 特徴ベクトルメモリ
２０９ キーボード／ディスプレイ
２１０ モデルパターンベクトルデータベース
２１１ 特徴抽出行列メモリ
２１２ モデル特徴ベクトルデータベース
２１３ ＣＰＵバス
２１４ 出力端子
２１５〜２１８ Ｉ／Ｆユニット
２１９ コンピュータ
【発明の属する技術分野】
本発明は、画像から物体の検出と認識、及び距離推定を行うパターン認識方法ならびにパターン認識装置に関するものである。
【０００２】
【従来の技術】
従来のパターン認識装置は、特開平９−５３９１５号公報に記載されたものが知られている。
【０００３】
図８は、従来のパターン認識装置のブロック構成図を示しており、画像を入力する画像入力部１１と、抽出対象物のモデルを予め格納しているモデル記憶部１３と、入力画像の特徴ベクトルを抽出する特徴ベクトル抽出部１２と、モデル記憶部１３からのモデルの特徴ベクトルを抽出記憶する特徴ベクトル記憶部１４と、画像入力部１１からの入力画像と特徴ベクトル記憶部１４からの各モデルの特徴ベクトルとの照合を行う照合部１５と、照合部１５の結果からパターンを判別して出力する判定部１６とから構成されている。
【０００４】
パターン認識に当たっては、画像情報、あるいはエッジ情報を使って特徴量を抽出し、モデルとの照合を行っている。その際、全てのパターンベクトルに対して共通な処理を施し、特徴抽出行列を求めている。パターンベクトルの要素数は統一する必要があるため、各パターンの大きさや形を考慮しない表現方法がとられている。例えば、入力画像から共通な大きさ、及び共通な形の部分画像を取り出し、パターンベクトルの要素数を統一する。あるいは、入力画像から取り出した部分画像を、共通な大きさ、及び共通な形に、共通な手段で規格化する。
【０００５】
【発明が解決しようとする課題】
しかし前記のような従来のパターン認識装置においては、実際は、パターンの大きさや形も固有な情報の一部として認識や判別に有用な場合が多い。ところが、パターンベクトルの要素数を統一するという制約条件を守りつつ、パターンの大きさや形も有効に表現することは難しいという課題を有していた。
【０００６】
本発明は、パターンベクトルの作成方法を統一せず、クラス毎に縮尺の変換や形を自由に選択できる手段を加え、個々のパターンの大きさや形の情報も取り入れて照合することにより、パターンを高精度に認識することを可能にしたパターン認識方法およびパターン認識装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、本発明では、予め複数のモデルパターンをクラス毎に分類し、各クラスの特徴を表現する縮尺、及び形をクラス毎に選択し、モデルのパターンベクトルを作成する。この際、作成したパターンベクトルの要素数が統一されるように、縮尺と形を選択する。前記作成したパターンベクトルから求めた特徴抽出行列と、前記特徴抽出行列からその代表特徴量ベクトルとを求め蓄積する学習手段と、入力パターンから入力パターンベクトル作成手段と、前記入力パターンベクトルと前記学習手段からの特徴抽出行列を用いて特徴量ベクトルを抽出する特徴量抽出手段と、前記学習手段からの代表特徴量ベクトルと前記入力パターンの特徴量ベクトルとの類似度を計算する類似度判別手段と、前記類似度から入力パターンを推定する判定手段とを備えたものである。
【０００８】
これにより、パターンの持つ大きさや形の情報を有効に取り出して特徴抽出を行なうことで、高精度のパターン認識が可能になるという効果を奏するものである。
【０００９】
【発明の実施の形態】
本発明の請求項１に記載の発明は、予め複数のモデルをクラス毎に分類し、各クラス毎にモデルの種類、形状、尺度の分類項目で作成された各パターンセットからクラス間分散とクラス内分散を求め、そのクラス分散比である判別評価基準が最大となる分類項目を予め選択し、同一要素数の各モデルのパターンベクトルを作成し、前記モデルパターンベクトルから求めた特徴抽出行列と、前記特徴抽出行列から求めたその代表特徴量ベクトルとをモデル特徴ベクトルデータベースに記憶しておき、
入力パターンから前記クラス毎に決定した各クラス毎に予め選択された特徴を表現する分類項目で入力パターンベクトルを作成し、前記入力パターンベクトルと前記モデル特徴ベクトルデータベースからの特徴抽出行列を用いて特徴量ベクトルを算出し、前記モデル特徴ベクトルデータベースからの代表特徴量ベクトルと前記入力パターンの特徴量ベクトルとの類似度の最も高いものを認識結果として１つまたは２つ以上出力するもので、クラス毎の特徴を表現した分類項目を予め選択し、同一要素数の各モデルのパターンベクトルを作成することで、クラスの違いが顕著となり、高精度な認識を可能にするという作用を有する。
【００１２】
請求項２に記載の発明は、請求項１に記載パターン認識方法において、特徴抽出行列を、前記パターンベクトルから求めたクラス内の共分散行列とクラス間の共分散行列から求めるもので、クラスの違いを顕著にするため、高精度なパターン認識を可能にするという作用を有する。
【００１３】
請求項３に記載の発明は、請求項１または２に記載のパターン認識方法において、類似度は、特徴空間における相関距離で判定するもので、ユークリッド距離で判定するよりも高精度なパターン認識を可能にするという作用を有する。
【００１６】
請求項４に記載の発明は、予め複数のモデルをクラス毎に分類し、各クラス毎にモデルの種類、形状、尺度の分類項目で作成された各パターンセットからクラス間分散とクラス内分散を求め、そのクラス分散比である判別評価基準が最大となる分類項目を予め選択し、同一要素数の各モデルのパターンベクトルを作成するパターンベクトル作成手段と、前記モデルパターンベクトルから求めた特徴抽出行列と、前記特徴抽出行列から求めたその代表特徴量ベクトルとをモデル特徴ベクトルデータベースに蓄積する学習手段と、
入力パターンから前記各クラス毎に予め選択された特徴を表現する分類項目で入力パターンベクトルを作成し、前記入力パターンベクトルと前記モデル特徴ベクトルデータベースからの特徴抽出行列を用いて特徴量ベクトルを抽出する特徴量抽出手段と、前記モデル特徴ベクトルデータベースからの代表特徴量ベクトルと前記入力パターンの特徴量ベクトルとの類似度を計算する類似度判別手段と、前記類似度から入力パターンを推定する判定手段とを備えるもので、クラス毎の特徴を表現した分類項目を予め選択し、同一要素数の各モデルのパターンベクトルを作成することで、クラスの違いが顕著となり、高精度なパターン認識を可能にするという作用を有する。
【００１９】
請求項５に記載の発明は、請求項４に記載のパターン認識装置において、類似度は、特徴空間における相関距離で判定するようにしたもので、ユークリッド距離で判定するよりも高精度なパターン認識を可能にするという作用を有する。
【００２２】
請求項６に記載の発明は、コンピュータによりパターン認識を行うプログラムであって、予め複数のモデルをクラス毎に分類し、各クラス毎にモデルの種類、形状、尺度の分類項目で作成された各パターンセットからクラス間分散とクラス内分散を求め、そのクラス分散比である判別評価基準が最大となる分類項目を予め選択し、同一要素数の各モデルのパターンベクトルを作成し、前記モデルパターンベクトルから求めた特徴抽出行列と、前記特徴抽出行列から求めたその代表特徴量ベクトルとをモデル特徴ベクトルデータベースに記憶しておき、入力パターンから前記各クラス毎に予め選択された特徴を表現する分類項目で入力パターンベクトルを作成し、前記入力パターンベクトルと前記モデル特徴ベクトルデータベースからの特徴抽出行列を用いて特徴量ベクトルを算出し、前記モデル特徴ベクトルデータベースからの代表特徴量ベクトルと前記入力パターンの特徴量ベクトルとの類似度の最も高いものを認識結果とし、入力パターンを推定するパターン認識プログラムを記録した記録媒体から、コンピュータに読み込み実行することにより、物体を分類したクラスの違いを顕著にするため、高精度なパターン認識を可能にするという作用を有する。
【００２３】
以下、本発明の実施の形態について、図１から図７を用いて説明する。
【００２４】
（実施の形態１）
図１は、本発明の実施の形態１におけるパターン認識装置のブロック構成図を示している。
【００２５】
対象データとしては、可視カメラや赤外カメラ、ＣＴスキャナーなど異なる入力手段を用い、例えば画像データの濃淡画像、カラー画像、エッジ画像などのデータを用いることが考えられる。これらのデータを単独あるいは複数組み合わせて、各要素に値を持つパターンベクトルを作成できるものであればよい。
【００２６】
本実施の形態では、説明を容易にするために、可視カメラを入力手段とし、それから得られる画像データを用いるものとし、長方形の部分画像（パターンと呼ぶ）の画素値を一次元ベクトルに表現したパターンベクトルとして説明をする。ただし、実際にはデータの種類、パターンの大きさ、及びその形は問わない。また、各パターンのデータ上での位置関係は連続、不連続、重なりの有無を問わない。そして、画像の全体または部分、あるいは、画像の全体または部分から新たな表現方法に変換された（例えばエッジ情報をとるなど）全体または部分をパターンとして利用することができる。また、特徴量の表現方法は問わないが特徴ベクトルとして説明する。
【００２７】
図１において、１は認識したい対象物の画像データを入力するデータ入力部、２はデータ入力部１で入力した画像からパターンを取り出すパターン作成部、３はパターン作成部２で作成したパターンから一次元のパターンベクトルを作成するパターンベクトル作成部、４は認識したいパターンのモデルを予め作成する学習手段である。
【００２８】
４１は各モデルパターンをクラスに分類し、モデルパターンベクトルとして格納しているモデルパターンベクトルデータベース、４２はモデルパターンベクトルデータベースに格納されている各モデルパターンベクトルから、クラス内が最もまとまり且つクラス間が最も分離されるような特徴抽出行列を算出する特徴抽出行列算出手段、４３は特徴抽出行列算出手段４２で求めた特徴抽出行列を用いて計算するモデル特徴ベクトルのクラス毎の平均を格納しているモデル特徴ベクトルデータベースである。
【００２９】
５はパターンベクトル作成部３で作成した各入力パターンベクトルに対して学習手段４で算出した特徴抽出行列を用いて特徴ベクトルを抽出する特徴ベクトル抽出手段、６は特徴ベクトル抽出手段５で抽出した特徴ベクトルと、モデル特徴ベクトルデータベースのモデル特徴ベクトルとを比較して類似度を計算する入力パターンベクトル判別手段、７は入力画像内で、入力パターンベクトル判別手段６から得られた類似度のうち、最も高い値である入力パターンベクトルとクラスを判定する入力データ判定部、８は判定結果を出力する結果出力部である。
【００３０】
また、図２は、コンピュータによりパターン認識装置を実現した場合のブロック構成図であり、２０１は物体の画像を撮影するためのビデオカメラ、２０２は大規模な画像情報を保存する画像データベース（２次記憶装置：光磁気ディスクなど）、２０３、２０４はビデオカメラ２０１、画像データベース２０２からの画像を格納する画像メモリ、２０５はプログラムの格納やワーク用メモリ、２０６はＣＰＵ、２０７は画像パターンを記憶するパターンメモリ、２０８は特徴抽出の実行によって計算された特徴ベクトルを記憶する特徴ベクトルメモリ、２０９はキーボード及びディスプレイ、２１０は種々のモデルを含む画像から作成したモデルパターンベクトルを格納しているモデルパターンベクトルデータベース、２１１は特徴抽出行列メモリ、２１２はモデルの特徴ベクトルを格納しているモデル特徴ベクトルデータベース、２１３はＣＰＵバス、２１４は得られた認識結果を出力する出力端子、２１５〜２１８はＩ／Ｆユニット、２１９はコンピュータシステムで構成されている。
【００３１】
以上のように構成されたパターン認識装置において、その入力データの対象のクラスがモデルパターンベクトルデータベースに登録されているクラスのうち、どれに一番類似しているかを認識する。その処理は、特徴抽出行列の計算とモデルパターンベクトルデータベースの構築を行うオフライン処理と、入力された画像が最も類似するモデル特徴ベクトルデータベースの特徴ベクトルからクラス判定を行うオンライン処理とに大別される。
【００３２】
以下、最初にオフライン処理について、図３のオフライン処理の動作フローチャートを用いて説明する。オフライン処理の目的は、特徴抽出行列の計算とモデルパターンベクトルデータベースの構築にある。
【００３３】
まず、ビデオカメラ２０１から得られた物体の画像信号がＩ／Ｆ２１５を介してデジタル変換された画像メモリ２０３に蓄積される。または、画像データベース２０２から取り出されたモデルの画像は画像メモリ２０４に蓄積される（Ｓ３０１）。
【００３４】
画像メモリ２０３にモデル入力画像として一旦蓄えられた画像からモデル部分を取り出し、モデルパターンを作成する（Ｓ３０２）。モデルパターンから同一要素数の一次元のデータ列として表現したパターンベクトルを作成し、パターンメモリ２０７に保持する（Ｓ３０３）。
【００３５】
これら各モデルパターンは予めクラスに分類しておく。上記のパターンからパターンベクトルを作成する際、クラス毎に異なるスケール変換を施す、あるいはクラス毎に取り出すパターンの形状を選択する等、クラス毎に異なる処理を行って同一要素数のパターンベクトルを用意する。ここが、この認識方法の中で最も重要な点である。
【００３６】
特徴抽出行列は、以下の手順で計算される。例えば判別方法には、文献（Fisher.R.A., "The use of multiple measurements in taxonomic problems", Ann. Eugenics. 7. Part II,pp.179-188, 1936.) に記載されたものが知られている。特徴抽出行列は、このFisherの判別関数の考えに従って、同一クラスに分類される各パターンのセットからクラス内共分散行列ＣWが、クラス毎に（数１）に従って計算される（Ｓ３０４）。
【００３７】
【数１】
クラス間共分散行列ＣBが、各パターンセットから（数２）に従って計算される（Ｓ３０５）。
【００３９】
【数２】
また、クラス全共分散行列ＣTが、（数３）に従って計算される。
【００４１】
【数３】
ここで、Fisherの考えに従って、判別評価基準としてクラス間分散をできるだけ大きく、同時にクラス内分散をできるだけ小さくなるように、その分散比（数４）を最大にするような変換ａを求める。クラスが３つの場合の判別分析法の概念図を図４に示す。
【００４３】
【数４】
これは、固有値問題（数５）を解くことに等しく、求めたＡTを特徴抽出行列メモリ２１１に記憶する（Ｓ３０６）。
【００４５】
【数５】
学習に用いた、モデルパターンベクトルをモデルパターンベクトルデータベースに登録する。また、特徴抽出行列を用いて計算される各モデル特徴ベクトルのクラス毎の代表値、例えば平均値をモデル特徴ベクトルとしてモデル特徴ベクトルデータベースに登録する（Ｓ３０７）。
【００４７】
以上がオフラインで実行されるプロセスである。
【００４８】
次に、オンライン処理について、オンライン処理の動作フローチャートを図５に示し説明する。オンライン処理目的は、入力された画像が最も類似するクラスの判定である。
【００４９】
ビデオカメラ２０１から認識対象となる画像データが入力され、画像メモリ２０３に記憶される（Ｓ４０１）。
【００５０】
画像メモリ２０３に一旦蓄えられた入力画像から、各クラス毎に定められたパターンベクトルの作成方法に従い、入力パターンを作成し、一次元のデータ列として表現した入力パターンベクトルをパターンメモリ２０７に蓄積する（Ｓ４０２）。入力パターンベクトルの目印、例えば入力パターンにした入力画像部分の中心点の座標も同時に蓄積する。
【００５１】
入力パターンベクトルは、オフライン時に求めた特徴抽出行列メモリ２１１からの特徴抽出行列ＡTを用いて（数６）に従って入力特徴ベクトルｆａを計算し、特徴ベクトルメモリ２０８に蓄積する（Ｓ４０３）。
【００５２】
【数６】
次は、最適マッチング処理で、各入力特徴ベクトルｆａとモデル特徴ベクトルデータベース２１２からの各モデル特徴ベクトルから類似度をそれぞれ計算する（Ｓ４０４）。
【００５４】
計算された類似度をそれぞれ比較し、最も類似度の高いモデル特徴ベクトルのクラスを認識結果として判定する（Ｓ４０５）。入力画像に対して１つ以上のクラスの判定結果を、その対応入力パターンの蓄積しておいた座標とともに、Ｉ／Ｆユニットを介して出力端子２１４に出力する（Ｓ４０６）。
【００５５】
入力及び学習時のモデル作成に用いた画像、パターン、パターンベクトル、特徴ベクトルの相互関係を図６に示し説明する。まず、オフライン処理で、モデル入力画像７５からパターン７６のＴ１を入力し、クラスに分類し、モデルパターンベクトル７７のＴ０１を求める。クラス毎に分類されたモデルパターンベクトルから、特徴抽出行列を求めるとともにクラス毎のモデル特徴ベクトル７８の平均値を求め、モデル特徴ベクトルデータベース７９に格納する。
【００５６】
次に、オンライン処理で、入力画像７１からパターン７２のＡ１を入力し、クラス毎に異なる作成方法で入力パターンベクトル７３のＡ０１−（１）等を求め、オフライン時に求めた特徴抽出行列との計算により入力特徴ベクトル７４のａ０１−（１）等を求めるものである。以降は、図５のＳ４０４〜Ｓ４０６と同様である。
【００５７】
なお、類似度の判定処理（Ｓ４０５）において、特徴空間上で入力特徴ベクトルと各クラスのモデル特徴ベクトルとの相関距離をとり、最も近いクラスを認識結果として判定してもよい。
【００５８】
なお、、モデルパターンのクラスの分類方法において、モデルの種類や形状、大きさ等によって分類すると、この認識方法においてはより効果的である。図７にクラスの分類方法の１例を示す。
【００５９】
【発明の効果】
以上のように本発明によれば、パターンベクトルとして要素数を等しくし、クラス毎に異なるパターンの大きさや形状の情報を保存しているため、全てのクラスで同一のパターンベクトル作成方法を用いるよりも、クラスの違いをより顕著に表現することが可能になり、高精度にパターン認識をすることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１におけるパターン認識装置のブロック構成図
【図２】本発明の実施の形態１におけるコンピュータによるパターン認識装置のブロック構成図
【図３】本発明の実施の形態１におけるオフライン処理の流れを示すフローチャート
【図４】判別分析法の概念図
【図５】入力およびモデルの画像、パターン、パターンベクトル、特徴ベクトルの相互関係説明図
【図６】本発明の実施の形態１におけるオンライン処理の流れを示すフローチャート
【図７】クラスの分類方法の一例を示す説明図
【図８】従来のパターン認識装置の一例を示すブロック図
【符号の説明】
１ データ入力部
２ パターン作成部
３ パターンベクトル作成部
４ 学習手段
５ 特徴ベクトル抽出手段
６ 入力パターンベクトル判別手段
７ 入力データ判定部
４１ モデルパターンベクトルデータベース
４２ 特徴抽出行列算出手段
４３ モデル特徴ベクトルデータベース
２０１ ビデオカメラ
２０２ 画像データベース
２０３〜２０４ 画像メモリ
２０５ メモリ
２０６ ＣＰＵ
２０７ パターンメモリ
２０８ 特徴ベクトルメモリ
２０９ キーボード／ディスプレイ
２１０ モデルパターンベクトルデータベース
２１１ 特徴抽出行列メモリ
２１２ モデル特徴ベクトルデータベース
２１３ ＣＰＵバス
２１４ 出力端子
２１５〜２１８ Ｉ／Ｆユニット
２１９ コンピュータ
Claims (6)
- 予め複数のモデルをクラス毎に分類し、各クラス毎にモデルの種類、形状、尺度の分類項目で作成された各パターンセットからクラス間分散とクラス内分散を求め、そのクラス分散比である判別評価基準が最大となる分類項目を予め選択し、同一要素数の各モデルのパターンベクトルを作成し、前記モデルパターンベクトルから求めた特徴抽出行列と、前記特徴抽出行列から求めたその代表特徴量ベクトルとをモデル特徴ベクトルデータベースに記憶しておき、
入力パターンから前記クラス毎に決定した各クラス毎に予め選択された特徴を表現する分類項目で入力パターンベクトルを作成し、前記入力パターンベクトルと前記モデル特徴ベクトルデータベースからの特徴抽出行列を用いて特徴量ベクトルを算出し、前記モデル特徴ベクトルデータベースからの代表特徴量ベクトルと前記入力パターンの特徴量ベクトルとの類似度の最も高いものを認識結果として１つまたは２つ以上出力することを特徴とするパターン認識方法。 - 特徴抽出行列は、前記パターンベクトルから求めたクラス内の共分散行列とクラス間の共分散行列から求めることを特徴とする請求項１に記載のパターン認識方法。
- 類似度は、特徴空間における相関距離で判定することを特徴とする請求項１または２に記載のパターン認識方法。
- 予め複数のモデルをクラス毎に分類し、各クラス毎にモデルの種類、形状、尺度の分類項目で作成された各パターンセットからクラス間分散とクラス内分散を求め、そのクラス分散比である判別評価基準が最大となる分類項目を予め選択し、同一要素数の各モデルのパターンベクトルを作成するパターンベクトル作成手段と、前記モデルパターンベクトルから求めた特徴抽出行列と、前記特徴抽出行列から求めたその代表特徴量ベクトルとをモデル特徴ベクトルデータベースに蓄積する学習手段と、
入力パターンから前記各クラス毎に予め選択された特徴を表現する分類項目で入力パターンベクトルを作成し、前記入力パターンベクトルと前記モデル特徴ベクトルデータベースからの特徴抽出行列を用いて特徴量ベクトルを抽出する特徴量抽出手段と、前記モデル特徴ベクトルデータベースからの代表特徴量ベクトルと前記入力パターンの特徴量ベクトルとの類似度を計算する類似度判別手段と、前記類似度から入力パターンを推定する判定手段とを備えることを特徴とするパターン認識装置。 - 類似度判別手段は、特徴空間における相関距離で判定することを特徴とする請求項４に記載のパターン認識装置。
- コンピュータによりパターン認識を行うプログラムであって、予め複数のモデルをクラス毎に分類し、各クラス毎にモデルの種類、形状、尺度の分類項目で作成された各パターンセットからクラス間分散とクラス内分散を求め、そのクラス分散比である判別評価基準が最大となる分類項目を予め選択し、同一要素数の各モデルのパターンベクトルを作成し、前記モデルパターンベクトルから求めた特徴抽出行列と、前記特徴抽出行列から求めたその代表特徴量ベクトルとをモデル特徴ベクトルデータベースに記憶しておき、
入力パターンから前記各クラス毎に予め選択された特徴を表現する分類項目で入力パターンベクトルを作成し、前記入力パターンベクトルと前記モデル特徴ベクトルデータベースからの特徴抽出行列を用いて特徴量ベクトルを算出し、前記モデル特徴ベクトルデータベースからの代表特徴量ベクトルと前記入力パターンの特徴量ベクトルとの類似度の最も高いものを認識結果とし、入力パターンを推定するパターン認識プログラムを記録した記録媒体。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30365899A JP3708383B2 (ja) | 1999-10-26 | 1999-10-26 | パターン認識方法及びパターン認識装置 |
| US09/506,483 US6647139B1 (en) | 1999-02-18 | 2000-02-17 | Method of object recognition, apparatus of the same and recording medium therefor |
| US10/656,390 US7120292B2 (en) | 1999-02-18 | 2003-09-05 | Method of object recognition, apparatus of the same and recording medium therefor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP30365899A JP3708383B2 (ja) | 1999-10-26 | 1999-10-26 | パターン認識方法及びパターン認識装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001126063A JP2001126063A (ja) | 2001-05-11 |
| JP3708383B2 true JP3708383B2 (ja) | 2005-10-19 |
Family
ID=17923676
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP30365899A Expired - Lifetime JP3708383B2 (ja) | 1999-02-18 | 1999-10-26 | パターン認識方法及びパターン認識装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3708383B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4556120B2 (ja) | 2005-01-07 | 2010-10-06 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
| JP4556121B2 (ja) * | 2005-01-07 | 2010-10-06 | ソニー株式会社 | 情報処理装置および方法、並びにプログラム |
-
1999
- 1999-10-26 JP JP30365899A patent/JP3708383B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001126063A (ja) | 2001-05-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6430307B1 (en) | Feature extraction system and face image recognition system | |
| EP2063393B1 (en) | Color classifying method, color recognizing method, color classifying device, color recognizing device, color recognizing system, computer program, and recording medium | |
| US11837017B2 (en) | System and method for face recognition based on dynamic updating of facial features | |
| US8818034B2 (en) | Face recognition apparatus and methods | |
| JP5202148B2 (ja) | 画像処理装置、画像処理方法、及びコンピュータプログラム | |
| CN100492397C (zh) | 人脸元数据生成设备和生成方法、人脸识别系统和方法 | |
| JP3938872B2 (ja) | データ分類装置および物体認識装置 | |
| JP2821348B2 (ja) | 指紋照合装置 | |
| JP2014232533A (ja) | Ｏｃｒ出力検証システム及び方法 | |
| TWI254891B (en) | Face image detection method, face image detection system, and face image detection program | |
| JP5361664B2 (ja) | 画像処理装置、画像処理方法 | |
| JP2001167110A (ja) | 画像検索方法及びその装置 | |
| JP5777380B2 (ja) | 画像認識装置、画像認識方法、及びプログラム | |
| CN113158777A (zh) | 质量评分方法、质量评分模型的训练方法及相关装置 | |
| JP4721829B2 (ja) | 画像検索方法及び装置 | |
| WO2014183275A1 (zh) | 一种基于在线学习的局部可形变目标检测方法及其系统 | |
| Goud et al. | Smart attendance notification system using SMTP with face recognition | |
| JP3708383B2 (ja) | パターン認識方法及びパターン認識装置 | |
| JP2001014465A (ja) | 物体認識方法及び物体認識装置 | |
| JP2001351104A (ja) | パターン認識方法及びパターン認識装置、並びにパターン照合方法及びパターン照合装置 | |
| JPWO2019009366A1 (ja) | 特徴量生成装置、システム、特徴量生成方法及びプログラム | |
| JP3680658B2 (ja) | 画像認識方法及び画像認識装置 | |
| JP2003168113A (ja) | 画像認識システム、画像認識方法および画像認識プログラム | |
| JP3796997B2 (ja) | 物体認識方法及び物体認識装置 | |
| JP3411796B2 (ja) | 文字認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041025 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041102 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20041126 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050125 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050315 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20050412 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050512 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20050620 |
|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20050620 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050712 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050803 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 3708383 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080812 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090812 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090812 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100812 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110812 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110812 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120812 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130812 Year of fee payment: 8 |
|
| EXPY | Cancellation because of completion of term |