JP4891197B2 - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP4891197B2 JP4891197B2 JP2007285403A JP2007285403A JP4891197B2 JP 4891197 B2 JP4891197 B2 JP 4891197B2 JP 2007285403 A JP2007285403 A JP 2007285403A JP 2007285403 A JP2007285403 A JP 2007285403A JP 4891197 B2 JP4891197 B2 JP 4891197B2
- Authority
- JP
- Japan
- Prior art keywords
- weak
- branch destination
- discriminator
- branch
- image processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
- G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
- G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/24—Classification techniques
- G06F18/243—Classification techniques relating to the number of classes
- G06F18/24323—Tree-organised classifiers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
- G06V40/161—Detection; Localisation; Normalisation
Description
・顔の向きに対応する検出器を選択するまでの処理においてオーバーヘッドが大きい。
・顔の向きに対応する検出器を選択するための処理を実行する回数が多い。
という課題がある。このため、画像データ中の複数種類の対象オブジェクトの検出にあたっては、このような課題を克服し、処理速度の向上を図ることが望まれている。
画像データに含まれる複数種類のオブジェクトを検出するために、該オブジェクトの種類に対応した分岐数を有する木構造により、複数の弱判別器を配置可能な画像処理装置であって、
前記弱判別器は、
前記画像データ内に前記オブジェクトが含まれているか否かを判別するための評価値の算出に用いられる特徴量を算出する算出手段と、
分岐点として機能する場合に、各分岐先に含まれる弱判別器において算出された前記特徴量の少なくとも一部を用いて、分岐先を選択する選択手段とを備える。
1.画像処理装置のハードウェア構成
図1は、本発明の第1の実施形態に係る画像処理装置100のハードウエア構成を示すブロック図である。図1において、101はCPU(中央演算装置)で、後述する画像処理方法を実現するための検出処理プログラム110に従って、処理を実行する。
図2は検出処理プログラム110のモジュール構成を示す図である。図2に示すように、検出処理プログラム110は、モジュールである弱判別器が、対象オブジェクトの種類に対応する分岐数を有する木構造で形成するように配置された構成となっている。
次に検出処理プログラム110における処理の流れについて図3を用いて説明する。ステップS300にて検出処理プログラム110が実行されると、ステップS301では、処理対象の画像データのうち、処理ウィンドウに含まれる画像データを読み出す。
続いて、図3のステップS302に示す、各弱判別器内での処理の詳細について説明する。
続いて、図3のステップS305に示す、各弱判別器内の選択処理の詳細について説明する。
続いて、図2にモジュール構成が示された検出処理プログラム110が、実際にどのような手順で処理が実行されていくのかを、図3〜5を参照しながら、具体例をもって説明する。
動作例1として、分岐先の最後の弱判別器に到達するまで打ち切り指示が出力されなかった場合の動作を説明する(なお、途中で打ち切り指示が出力される場合の動作は、動作例2で説明する)。
次に動作例2として、最後の弱判別器に到達するまでの間に打ち切り指示が出力された場合の動作を説明する。一例として、弱判別器201で打ち切り指示が出力される場合の動作を説明する。
次に動作例3として、分岐先の最後の弱判別器に到達するまで打ち切り指示が出力されなかった場合の動作を説明する。なお、動作例1では、選択処理対象弱判別器として204−A、204−B、204−Cが処理を実行し、累積評価値を算出することで分岐先を選択することとした。これに対して、動作例3では、選択処理対象弱判別器として204−A〜206−A、204−B〜206−B、204−C〜206−Cが処理を実行し、累積評価値を算出することで、分岐先を選択することとする。
上記第1の実施形態では、選択処理において、各分岐先において算出された累積評価値を比較することにより、分岐先を選択することとしたが、本発明はこれに限られない。例えば、分岐先の各弱判別器のうち、算出される特徴量が所定の閾値以上となる弱判別器の数を、分岐先ごとに比較することにより、分岐先を選択するようにしてもよい。
図7は、本実施形態に係る画像処理装置において、次に実行されるべき弱判別器を選択するための選択処理の流れを示すフローチャートである。なお、説明の簡略化のため、ここでは、図5と異なる点について説明する。
続いて、本実施形態における検出処理プログラム110において実行される具体的な動作例を説明する。
上記第1の実施形態では、選択処理において、各分岐先において算出された1または複数の弱判別器の累積評価値を比較することにより、分岐先を選択することとしたが、本発明はこれに限られない。例えば、分岐先ごとに予め選択閾値を設定し、いち早く累積評価値が選択閾値を上回った分岐先を選択するように構成してもよい。
図8は、本実施形態に係る画像処理装置において、次に実行されるべき弱判別器を選択するための選択処理の流れを示すフローチャートである。なお、説明の簡略化のため、ここでは、図5と異なる点について説明する。
続いて、本実施形態における検出処理プログラム110において実行される具体的な動作例を説明する。
上記第1〜第3の実施形態では、図2に示すモジュール構成における検出処理について説明したが、本発明にかかる画像処理装置のモジュール構成は、これに限られない。以下、図2とは異なるモジュール構成の場合における検出処理について説明する。
図9は、本実施形態にかかる画像処理装置における検出処理プログラム920のモジュール構成を示す図である。図9に示すように、検出処理プログラム920は、複数の弱判別器がカスケードに接続された強判別器を備え、検出処理の打ち切り指示を、強判別器単位で行うように構成されている。
図9の検出処理プログラム920は、基本的に図3に示されるフローチャートに従って検出処理を実行する。ただし、ステップS302における弱判別器内の処理は異なるため、以下、当該処理について相違点を中心に説明する。
上述のように、第1乃至第3の実施形態において示した検出処理プログラム110のモジュール構成による検出処理と、本実施形態の検出処理プログラム920のモジュール構成による検出処理との相違点は、打ち切り指示の出力のタイミングである。
上記第4の実施形態では、検出処理プログラム920における検出処理と検出処理プログラム110における検出処理との相違点が、弱判別器内での処理のみにあるとしたが、本発明はこれに限られず、弱判別器の選択処理に相違点があるとしてもよい。
・最大の累積評価値を出力した選択処理対象弱判別器が配置されている分岐先と、
・最大の累積評価値から許容値内にある累積評価値を出力した選択処理対象弱判別器が配置されている分岐先と、
を分岐先候補として選択することとする。つまり、本実施形態では、複数の分岐先が選択される可能性がある。
図11は、本実施形態における弱判別器の選択処理の流れを示すフローチャートである。このうち、図3と同じ工程については同一の符号を割り当てることとし、説明は省略する。
続いて、図12のフローチャートにより、弱判別器における選択処理について説明する。このうち、図5と同じ工程については同一の符号を割り当てることとし、説明は省略する。
・最大の累積評価値を出力した選択処理対象弱判別器が配置されている分岐先と、
・最大の累積評価値から許容値内にある累積評価値を出力した選択処理対象弱判別器が配置されている分岐先と、
を分岐先候補として選択する。
続いて、図9にモジュール構成が示された検出処理プログラム920が、実際にどのような手順で処理が実行されていくのかを、図10〜12を参照しながら、具体例をもって説明する。
動作例1として、分岐先の最後の弱判別器に到達するまで打ち切り指示が出力されなかった場合の動作を説明する(なお、途中で打ち切り指示が出力される場合の動作は、動作例2で説明する)。
次に動作例2として、最後の弱判別器に到達するまでの間に打ち切り指示が出力された場合の動作を説明する。一例として、弱判別器905−Aで打ち切り指示が出された場合の動作を説明する。
上記第1〜第3の実施形態では、図2に示すモジュール構成における検出処理について説明し、第4〜第5の実施形態では、図9に示すモジュール構成における検出処理プログラムの検出処理について説明した。しかし、本発明にかかる画像処理装置のモジュール構成は、これに限られない。以下、図2、図9とは異なるモジュール構成における検出処理について説明する。
図13は、本実施形態にかかる画像処理装置における検出処理プログラム1320のモジュール構成を示す図である。図13に示すように、検出処理プログラム1320では、分岐方向判別器1310が出力する分岐先判別結果に基づいて、選択処理を行う。
図13の検出処理プログラム1320は、基本的に図3に示されるフローチャートに従って検出処理を実行する。ただし、ステップS305における選択処理の内容は異なるため、以下、図14を用いて当該選択処理について相違点を中心に説明する。図14において、図5と同じ工程は同一の符号を割り当て、その説明は省略する。
上記各実施形態では、検出処理プログラムのモジュール構成として、分岐数が2乃至3の場合について説明を行ったが、本発明にかかる画像処理装置が有する検出処理プログラムの分岐数は、これに限定されるものでない。
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェース機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
Claims (16)
- 画像データに含まれる複数種類のオブジェクトを検出するために、該オブジェクトの種類に対応した分岐数を有する木構造により、複数の弱判別器を配置して処理を行う画像処理装置であって、
前記弱判別器は、
前記画像データ内に前記オブジェクトが含まれているか否かを判別するための評価値の算出に用いられる特徴量を算出する算出手段と、
前記木構造における分岐点として機能する場合に、各分岐先に含まれる弱判別器において算出された前記特徴量の少なくとも一部を用いて、分岐先を選択する選択手段と
を備えることを特徴とする画像処理装置。 - 前記算出手段は、
前記弱判別器ごとに予め定められた演算により、前記特徴量を算出することを特徴とする請求項1に記載の画像処理装置。 - 前記算出手段は、
前記弱判別器ごとに予め定められた閾値と前記算出された特徴量とを比較した結果と、前記弱判別器ごとに予め定められた信頼度とに基づいて前記評価値を算出することを特徴とする請求項1に記載の画像処理装置。 - 前記各弱判別器ごとに算出された前記評価値を累積することで算出された累積評価値に基づいて、前記画像データ内に前記オブジェクトが含まれているか否かを判定することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
- 前記選択手段は、前記各分岐先に含まれる前記弱判別器のうち、先頭の弱判別器において算出された前記特徴量に基づいて、前記分岐先を選択することを特徴とする請求項1または2に記載の画像処理装置。
- 前記選択手段は、前記各分岐先に含まれる前記弱判別器のうち、先頭の弱判別器における前記比較した結果に基づいて、前記分岐先を選択することを特徴とする請求項3に記載の画像処理装置。
- 前記選択手段は、前記各分岐先に含まれる前記弱判別器のうち、先頭の弱判別器において算出された前記累積評価値に基づいて、前記分岐先を選択することを特徴とする請求項4に記載の画像処理装置。
- 前記選択手段は、前記各分岐先に含まれる前記弱判別器のうち、予め定められた数の弱判別器が実行されることにより算出された前記累積評価値に基づいて、前記分岐先を選択することを特徴とする請求項4に記載の画像処理装置。
- 前記選択手段は、前記各分岐先に含まれる前記弱判別器のうち、算出された前記特徴量が予め定められた閾値を上回った弱判別器の数が、最も多い分岐先を選択することを特徴とする請求項2に記載の画像処理装置。
- 前記選択手段は、前記各分岐先に含まれる前記弱判別器において算出された前記累積評価値が、予め定められた閾値を、最も早く上回った弱判別器が含まれる分岐先を選択することを特徴とする請求項4に記載の画像処理装置。
- 前記選択手段は、前記各分岐先に含まれる前記弱判別器のうち、予め定められた数の弱判別器が実行されることにより算出された前記累積評価値が最も大きい分岐先と、該累積評価値が予め定められた許容値内にある分岐先とを、選択することを特徴とする請求項4に記載の画像処理装置。
- 前記弱判別器の処理は、アンサンブル学習によって求められるパラメータにより規定されることを特徴とする請求項1に記載の画像処理装置。
- 前記累積評価値が予め定められた閾値未満であった場合に、該累積評価値を算出した弱判別器より下位層に配置された弱判別器が処理を実行しないようにすることを特徴とする請求項1に記載の画像処理装置。
- 前記複数の弱判別器が、カスケードに接続された弱判別器からなる複数のグループから構成されている場合において、該複数のグループのそれぞれの最後尾に配置された弱判別器において算出された前記累積評価値が、予め定められた閾値未満であった場合に、該弱判別器が属するグループより下位層に配置されたグループに含まれる弱判別器が処理を実行しないようにすることを特徴とする請求項1に記載の画像処理装置。
- 画像データに含まれる複数種類のオブジェクトを検出するために、該オブジェクトの種類に対応した分岐数を有する木構造により、複数の弱判別器を配置して処理を行う画像処理装置における画像処理方法であって、
前記弱判別器が、
前記画像データ内に前記オブジェクトが含まれているか否かを判別するための評価値の算出に用いられる特徴量を算出する算出工程と、
前記木構造における分岐点として機能する場合に、各分岐先に含まれる弱判別器において算出された前記特徴量の少なくとも一部を用いて、分岐先を選択する選択工程と
を実行することを特徴とする画像処理方法。 - 請求項15に記載の画像処理方法をコンピュータによって実行させるためのプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007285403A JP4891197B2 (ja) | 2007-11-01 | 2007-11-01 | 画像処理装置および画像処理方法 |
US12/262,052 US8401313B2 (en) | 2007-11-01 | 2008-10-30 | Image processing apparatus and image processing method |
US13/759,129 US8885930B2 (en) | 2007-11-01 | 2013-02-05 | Image processing apparatus and image processing method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007285403A JP4891197B2 (ja) | 2007-11-01 | 2007-11-01 | 画像処理装置および画像処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009116401A JP2009116401A (ja) | 2009-05-28 |
JP4891197B2 true JP4891197B2 (ja) | 2012-03-07 |
Family
ID=40588129
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007285403A Expired - Fee Related JP4891197B2 (ja) | 2007-11-01 | 2007-11-01 | 画像処理装置および画像処理方法 |
Country Status (2)
Country | Link |
---|---|
US (2) | US8401313B2 (ja) |
JP (1) | JP4891197B2 (ja) |
Families Citing this family (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4891197B2 (ja) * | 2007-11-01 | 2012-03-07 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
EP2438575A4 (en) * | 2009-06-01 | 2016-06-29 | Hewlett Packard Development Co | DETERMINATION OF DETECTION CERTAINTY IN A CASCADE CLASSIFIER |
JP5523053B2 (ja) * | 2009-10-19 | 2014-06-18 | キヤノン株式会社 | 物体識別装置及び物体識別方法 |
US8693791B2 (en) | 2010-02-01 | 2014-04-08 | Morpho, Inc. | Object detection apparatus and object detection method |
CN102147851B (zh) * | 2010-02-08 | 2014-06-04 | 株式会社理光 | 多角度特定物体判断设备及多角度特定物体判断方法 |
JP5394959B2 (ja) * | 2010-03-23 | 2014-01-22 | 富士フイルム株式会社 | 判別器生成装置および方法並びにプログラム |
CN103518224B (zh) * | 2011-03-04 | 2017-05-17 | Lbt创新有限公司 | 用于分析微生物生长的方法 |
JP5895624B2 (ja) * | 2012-03-14 | 2016-03-30 | オムロン株式会社 | 画像処理装置、画像処理方法、制御プログラムおよび記録媒体 |
JP5895629B2 (ja) * | 2012-03-15 | 2016-03-30 | オムロン株式会社 | 画像処理装置、画像処理方法、制御プログラムおよび記録媒体 |
US9208404B2 (en) | 2013-11-15 | 2015-12-08 | Adobe Systems Incorporated | Object detection with boosted exemplars |
US9269017B2 (en) * | 2013-11-15 | 2016-02-23 | Adobe Systems Incorporated | Cascaded object detection |
JP6700712B2 (ja) | 2015-10-21 | 2020-05-27 | キヤノン株式会社 | 畳み込み演算装置 |
JP6700791B2 (ja) | 2016-01-05 | 2020-05-27 | キヤノン株式会社 | 情報処理装置、情報処理方法及びプログラム |
JP6977383B2 (ja) * | 2017-08-08 | 2021-12-08 | 富士通株式会社 | データ処理装置、プログラム及びデータ処理方法 |
CN107766946B (zh) * | 2017-09-28 | 2020-06-23 | 第四范式(北京)技术有限公司 | 生成机器学习样本的组合特征的方法及系统 |
JP7345262B2 (ja) | 2019-03-11 | 2023-09-15 | キヤノン株式会社 | データ圧縮装置、データ処理装置、データ圧縮方法、プログラム、及び学習済みモデル |
JP7382245B2 (ja) | 2020-02-07 | 2023-11-16 | 株式会社日立製作所 | 代替候補推薦システム及び方法 |
JP2022022876A (ja) | 2020-07-09 | 2022-02-07 | キヤノン株式会社 | 畳み込みニューラルネットワーク処理装置 |
US11354543B2 (en) | 2020-09-21 | 2022-06-07 | Kyocera Document Solutions Inc. | Convolutional neural network filter stacker for colorization preprocessing |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005044330A (ja) * | 2003-07-24 | 2005-02-17 | Univ Of California San Diego | 弱仮説生成装置及び方法、学習装置及び方法、検出装置及び方法、表情学習装置及び方法、表情認識装置及び方法、並びにロボット装置 |
JP4517633B2 (ja) * | 2003-11-25 | 2010-08-04 | ソニー株式会社 | 対象物検出装置及び方法 |
JP5025893B2 (ja) | 2004-03-29 | 2012-09-12 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
US7769228B2 (en) * | 2004-05-10 | 2010-08-03 | Siemens Corporation | Method for combining boosted classifiers for efficient multi-class object detection |
CN100472556C (zh) * | 2005-10-09 | 2009-03-25 | 欧姆龙株式会社 | 特定被摄体检测装置及方法 |
JP4556891B2 (ja) * | 2006-03-17 | 2010-10-06 | ソニー株式会社 | 情報処理装置および方法、記録媒体、並びにプログラム |
JP4933186B2 (ja) * | 2006-07-26 | 2012-05-16 | キヤノン株式会社 | 画像処理装置、画像処理方法、プログラム及び記憶媒体 |
US7899253B2 (en) * | 2006-09-08 | 2011-03-01 | Mitsubishi Electric Research Laboratories, Inc. | Detecting moving objects in video by classifying on riemannian manifolds |
JP4891197B2 (ja) * | 2007-11-01 | 2012-03-07 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
-
2007
- 2007-11-01 JP JP2007285403A patent/JP4891197B2/ja not_active Expired - Fee Related
-
2008
- 2008-10-30 US US12/262,052 patent/US8401313B2/en active Active
-
2013
- 2013-02-05 US US13/759,129 patent/US8885930B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8401313B2 (en) | 2013-03-19 |
JP2009116401A (ja) | 2009-05-28 |
US8885930B2 (en) | 2014-11-11 |
US20130156303A1 (en) | 2013-06-20 |
US20090116693A1 (en) | 2009-05-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4891197B2 (ja) | 画像処理装置および画像処理方法 | |
EP3712805B1 (en) | Gesture recognition method, device, electronic device, and storage medium | |
CN110717470B (zh) | 一种场景识别方法、装置、计算机设备和存储介质 | |
US8606022B2 (en) | Information processing apparatus, method and program | |
JP5235691B2 (ja) | 情報処理装置及び情報処理方法 | |
CN109919077B (zh) | 姿态识别方法、装置、介质和计算设备 | |
CN112329505A (zh) | 用于检测对象的方法和装置 | |
US20210124976A1 (en) | Apparatus and method for calculating similarity of images | |
US20090228510A1 (en) | Generating congruous metadata for multimedia | |
CN111125658B (zh) | 识别欺诈用户的方法、装置、服务器和存储介质 | |
US20080175447A1 (en) | Face view determining apparatus and method, and face detection apparatus and method employing the same | |
JP2014106736A (ja) | 情報処理装置及びその制御方法 | |
CN112749666A (zh) | 一种动作识别模型的训练及动作识别方法与相关装置 | |
WO2012085923A1 (en) | Method and system for classification of moving objects and user authoring of new object classes | |
CN110850982A (zh) | 基于ar的人机交互学习方法、系统、设备及存储介质 | |
JP7348296B2 (ja) | 目標志向的強化学習方法及びこれを遂行するための装置 | |
CN107705417A (zh) | 纸币版本的识别方法、装置、金融设备及存储介质 | |
KR101362768B1 (ko) | 객체 검출 방법 및 장치 | |
US20220122341A1 (en) | Target detection method and apparatus, electronic device, and computer storage medium | |
US20210342642A1 (en) | Machine learning training dataset optimization | |
CN114937246A (zh) | 一种行人识别方法、电子设备及存储介质 | |
CN112989869B (zh) | 人脸质量检测模型的优化方法、装置、设备及存储介质 | |
CN115346143A (zh) | 行为检测方法、电子设备、计算机可读介质 | |
CN111860289A (zh) | 一种时序动作检测方法、装置及计算机设备 | |
US11798255B2 (en) | Sign language video segmentation method by gloss for sign language sentence recognition, and training method therefor |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20101101 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111114 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111215 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4891197 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141222 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |