JP4553044B2 - 集団学習装置及び方法 - Google Patents
集団学習装置及び方法 Download PDFInfo
- Publication number
- JP4553044B2 JP4553044B2 JP2008248698A JP2008248698A JP4553044B2 JP 4553044 B2 JP4553044 B2 JP 4553044B2 JP 2008248698 A JP2008248698 A JP 2008248698A JP 2008248698 A JP2008248698 A JP 2008248698A JP 4553044 B2 JP4553044 B2 JP 4553044B2
- Authority
- JP
- Japan
- Prior art keywords
- learning
- weak
- image
- discriminator
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Analysis (AREA)
Description
図1は、本実施の形態における対象物検出装置の処理機能を示す機能ブロック図である。図1に示すように、対象物検出装置1は、入力画像として濃淡画像(輝度画像)を出力する画像出力部2と、入力画像を拡大又は縮小してスケーリングを行うスケーリング部3と、スケーリングされた入力画像において、所定サイズのウィンドウ画像の大きさで例えば左上から順次スキャンする走査部4と、走査部4にて順次スキャンされた各ウィンドウ画像が対象物か非対象物かを判別する判別器5とを有し、与えられる画像(入力画像)の中から対象物体の領域を示す対象物の位置及び大きさを出力する。すなわち、スケーリング部3は、入力画像を指定された全てのスケールに拡大又は縮小しスケーリング画像を出力する。走査部3は、各スケーリング画像について、検出したい対象物の大きさとなるウィンドウを順次スキャンしてウィンドウ画像を切り出し、判別器5は、各ウィンドウ画像が顔か否かを判別する。
ブースティングアルゴリズムを用いて集団学習する集団学習機6は、上述したように複数の弱判別器を複数個組み合わせ、結果的に強い判定結果が得られるよう学習するものである。弱判別器は、1つ1つは、極めて簡単な構成とし、1つでは顔か顔でないかの判別能力も低いものであるが、これを例えば数百〜数千個組み合わせることで、高い判別能力を持たせることができる。この集団学習機6は、例えば数千の学習サンプルといわれる予め正解付け(ラベリング)された対象物と非対象物、例えば顔画像と、非顔画像とからならなるサンプル画像を使用し、多数の学習モデル(仮説の組み合わせ)から所定の学習アルゴリズムに従って1つの仮説を選択(学習)することで弱判別器を生成し、この弱判別器の組み合わせ方を決定していく。弱判別器はそれ自体では判別性能が低いものであるが、これらの選別、組み合わせ方により結果的に判別能力が高い判別器を得ることができるため、集団学習機6では、弱判別器の組み合わせ方、即ち弱判別器の選別及びそれらの出力値を重み付き多数決する際の重みなどの学習をする。
本実施の形態における判別器5は、これを構成する弱判別器が弱判別器に入力される画像に含まれる全画素において選択された2つの画素の輝度値の差分(ピクセル間差分特徴)により顔か否かを判別する極めて簡単な構成とすることで、判別工程において弱判別器の判別結果の算出を高速化するものである。弱判別器に入力される画像は、学習工程では、学習サンプルであり、判別工程では、スケーリング画像から切り出されたウィンドウ画像である。
確定的な出力をする弱判別器は、ピクセル間差分特徴の値に応じて、対象物か否かの2クラス判別をおこなう。対象画像領域中のある2つのピクセルの輝度値をI1、I2とし、ピクセル間差分特徴により対象物か否かを判別するための閾値をThとすると、下記式(3)を満たすか否かで、いずれのクラスに属するかを決定することができる。
確率的な出力をする弱判別器としては、上述した如く、例えばReal-AdaBoost又はGentle Boostなどのように弱判別器が連続値を出力するものがある。この場合は、ある決められた一定値(閾値)により判別問題を解き、2値出力(f(x)=1又は−1)する上述の場合と異なり、入力された画像が対象物である度合いを例えば確率密度関数として出力する。
次に、打ち切り閾値について説明する。ブースティングを用いた集団学習機においては、通常は、上述したように判別器5を構成する全弱判別器の出力の重み付き多数決によりウィンドウ画像が対象物か否かを判別する。重み付き多数決は、弱判別器の判別結果(推定値)を逐次足し合わせていくことで算出される。例えば、弱判別器の個数をt(=1,・・・,K)、各弱判別器に対応する多数決の重み(信頼度)をαt、各弱判別器の出力をft(x)としたとき、AdaBoostにおける重み付き多数決の値F(x)は、下記式(7)により求めることができる。
次に、集団学習機6の学習方法について説明する。与えられたデータが、例えば顔か否かを判別する問題など、一般的な2クラス判別のパターン認識問題の前提として、予め人手によりラベリング(正解付け)された学習サンプルとなる画像(訓練データ)を用意する。学習サンプルは、検出したい対象物体の領域を切り出した画像群と、全く関係のない例えば風景画などを切り出したランダムな画像群とからなる。
(A)2つのピクセル位置の組(K個)
(B)弱判別器の閾値(K個)
(C)重み付き多数決の重み(弱判別器の信頼度)(K個)
(D)打ち切り閾値(K個)
以下に、上述したような多数の学習サンプルから、上記(A)乃至(D)に示す4種類の学習データを学習するアルゴリズムを説明する。図9は、集団学習機6の学習方法を示すフローチャートである。なお、ここでは、学習アルゴリズムとして、弱判別の際の閾値として一定の値を使用するアルゴリズム(AdaBoost)に従った学習について説明するが、閾値として正解の確からしさ(確率)を示す連続値を使用する例えばReal-AdaBoostなど、弱判別器を複数結合するために集団学習するものであれば、学習アルゴリズムはAdaBoostに限らない。
上述のように、予め対象物又は非対象物であることがラベリングされた学習サンプル(xi,yi)を用意する。
ここで、
学習サンプル(xi,yi):(x1,y1),・・・,(xN,yN)
xi∈X,yi∈{−1,1}
X:学習サンプルのデータ
Y:学習サンプルのラベル(正解)
N:学習サンプル数
を示す。即ち、xiは、学習サンプル画像の全輝度値からなる特徴ベクトルを示す。また、yi=−1は、学習サンプルが非対象物としてラベリングされている場合を示し、yi=1は、学習サンプルが対象物としてラベリングされていることを示す。
ブースティングにおいては、各学習サンプルの重み(データ重み)を異ならせ、判別が難しい学習サンプルに対するデータ重みを相対的に大きくしていく。判別結果は、弱判別器を評価する誤り率(エラー)の算出に使用されるが、判別結果にデータ重みを乗算することで、より難しい学習サンプルの判別を誤った弱判別器の評価が実際の判別率より下まわることになる。後述する方法にてデータ重みは逐次更新されるが、先ず最初にこの学習サンプルのデータ重みの初期化を行う。学習サンプルのデータ重みの初期化は、全学習サンプルの重みを一定にすることにより行われ、下記式(9)のように定義される。
次に、以下に示すステップS2〜ステップS7の処理を繰り返すことで判別器5を生成する。ここで、繰り返し処理回数をt=1,2,・・・,Kとする。1回の繰り返し処理を行う毎に1つの弱判別器、即ち1組の画素と、その位置でのピクセル間差分特徴が学習され、従って繰り返し処理回数(K回)分、弱判別器が生成されて、K個の弱判別器からなる判別器5が生成されることになる。なお、通常、数百〜数千個の繰り返し処理により、数百〜数千個の弱判別器が生成されるが、繰り返し処理回数(弱判別器の個数)tは、要求される判別性能、判別する問題(対象物)に応じて適宜設定すればよい。
ステップS2では弱判別器の学習(生成)を行うが、この学習方法については後述する。本実施の形態においては、1回の繰り返し処理毎に1つの弱判別器を後述する方法に従って生成する。
次に、ステップS2にて生成された弱判別器の重み付き誤り率を下記式(10)により算出する。
次に、上述の式(10)に示す重み付き誤り率etに基づき、重み付き多数決の重み(以下、信頼度という。)信頼度αtを下記式(11)により算出する。この、重み付き多数決の重みは、繰り返し回数t回目に生成された弱判別器の信頼度αtを示す。
次に、上記式(11)にて得られた信頼度αtを使用して、下記式(12)により学習サンプルのデータ重みDt,iを更新する。データ重みDt,iは、通常全部足し合わせると1になるよう正規化されており、下記式(13)はデータ重みDt,iを正規化するためのものである。
次に、上述したように、判別工程にて判別を打ち切るための打ち切り閾値Rtを算出する。打ち切り閾値Rtは、上述の式(8)に従って、対象物である学習サンプル(ポジディブな学習サンプル)x1〜xJの重み付き多数決の値又は0のうち最も小さい値が選択される。なお、上述したように、最小値又は0を打ち切り閾値に設定するのは、0を閾値にして判別を行うAdaBoostの場合である。いずれにせよ、打ち切り閾値Rtは、少なくとも全てのポジティブな学習サンプルが通過できる最大の値となるよう設定する。
次に、上述したステップS2における弱判別器の学習方法(生成方法)について説明する。弱判別器の生成は、弱判別器が2値出力の場合と、上記式(6)に示す関数f(x)として連続値を出力する場合とで異なる。また、2値出力の場合においても、上記式(2)に示すように1つの閾値Thで判別する場合と、2つの閾値Th1、Th2で判別する場合とで処理が若干異なる。ここでは、1つの閾値Thで2値出力する弱判別器の学習方法(生成方法)を説明する。図10は、1つの閾値Thで2値出力する弱判別器の学習方法(生成方法)を示すフローチャートである。
ここでは、学習サンプルにおける全画素から任意の2つを選択する。例えば20×20画素の学習サンプルを使用する場合、2つの画素の選択方法は、400×399通りあるがそのうちの1つを選択する。ここで、2つの画素の位置をS1、S2、その輝度値をそれぞれI1、I2とする。
次に、全ての学習サンプルに対して、ステップS11にて選択した2つの画素の輝度値の差(I1−I2)であるピクセル間差分特徴dを求め、図6(a)に示したようなヒストグラム(頻度分布)を求める。
そして、ステップS12にて求めた頻度分布から、上記式(10)に示す重み付き誤り率etを最小(emin)にする閾値Thminを求める。
更に、上記式(10)に示す重み付き誤り率etを最大(emax)にする閾値Thmaxを求め、下記(14)に示す方法にて閾値を反転する。即ち、弱判別器は1つの閾値Thより大きいか否かで正解か不正解かの2つの値を出力するものであり、従って重み付き誤り率etが0.5未満である場合は、反転することで誤り率を0.5以上にすることができる。
最後に、上述のeminとemax’とから、弱判別器を構成する各パラメータ、即ち2つの画素の位置S1、S2と、その閾値Thとを決定する。すなわち、
emin<emax’の場合:S1、S2、Thmin
emin>emax’の場合:S1’(=S2)、S2’(=S1)、Thmin
そして、ステップS16において、所定回数M回繰り返したか否かを判定し、所定回数繰り返した場合はステップS17に進み、M回の繰り返し処理にて生成された弱判別器のうち最も誤り率etが小さいものを弱判別器とし、図9に示すステップS3に進む。一方、ステップS16にて所定回数に達していない場合は、ステップS11〜ステップS16の処理を繰り返す。このように、1つの弱判別器の生成にあたって、m(=1,2,・・・,M)回の繰り返し処理が行われる。なお、説明の都合上、図9に示すステップS3において重み付き誤り率etを算出するものとして説明したが、ステップS17において、最も誤り率etが小さい弱判別器を選択した時点でステップS3に示す誤り率etが自動的に得られる。
次に、図1に示す対象物検出装置の対象物検出方法について説明する。図11は、対象物検出方法を示すフローチャートである。検出時(判別工程)においては、上述のようにして生成された弱判別器群を利用した判別器5を使用し、所定のアルゴリズムに従って画像中から対象物体を検出する。
先ず、図1に示すスケーリング部3は、画像出力部2から与えられた濃淡画像を一定の割合で縮小スケーリングする。なお、画像出力部2には、入力画像として濃淡画像が入力されてもよく、画像出力部2にて入力画像を濃淡画像に変換してもよい。スケーリング部3に画像出力部2から与えられる画像をスケール変換せずに出力し、次のタイミング以降で縮小スケーリングしたスケーリング画像を出力するが、スケーリング部3から出力する画像をまとめてスケーリング画像という。ここで、スケーリング画像を生成するタイミングは、前に出力したスケーリング画像全領域の顔検出が終了した時点とし、スケーリング画像がウィンドウ画像より小さくなった時点で次のフレームの入力画像の処理に移る。
スケーリングされた画像に対し、図1に示す走査部4が探索ウィンドウの位置を縦横に走査し、ウィンドウ画像を出力する。
そして、走査部4により出力されるウィンドウ画像が対象物であるか否かを判定する。判別器5は、ウィンドウ画像に対して上述した複数の弱判別器の推定値f(x)を逐次重み付き加算した値(重み付き多数決の値の更新値)を評価値sとして算出する。そして、この評価値sに基づきウィンドウ画像が対象物か否か、及び判別を打ち切るか否かを判定する。
そして、判別器5は、上述に示す例えば4つの方法の何れかにより得られた(更新された)評価値sが打ち切り閾値Rtより大きいか否かを判定する。評価値sが打ち切り閾値Rtより大きい場合は、所定回数(=K回)繰り返したか否かを判定し(ステップS26)、繰り返していない場合はステップS23からの処理を繰り返す。
1枚の入力画像に対して、全てのスケーリング画像の処理が終了すると、ステップS29の処理に移る。ステップS29以降の処理においては、1枚の入力画像において、対象物体であると判定された領域が重複している場合に、互いに重なっている領域を取り除く。先ず、互いに重なっている領域が在るか否かを判定し、ステップS26にて記憶した領域が複数あり、かつ重複している場合は、ステップS30に進む。そして、互いに重なっている2つの領域を取り出し、この2つの領域のうち、評価値sが小さい領域は信頼度が低いとみなし削除し、評価値sの大きい領域を選択する(ステップS29)。そして、再びステップS29からの処理を繰り返す。これにより、複数回重複して抽出されている領域のうち、最も評価値sが高い領域1枚のみが選択される。なお、2以上の対象物領域が重複しない場合及び対象物領域が存在しない場合は1枚の入力画像についての処理を終了し、次のフレーム処理に移る。
次に、対象物として実際に顔を検出した本発明の実施例について説明する。なお、対象物は顔に限らず、例えばロゴタイプや模様又は人間の顔以外の対象物画像など、2次元的な平面での特徴を有するものであって、上記ピクセル間差分特徴によりある程度の判別ができる(弱判別器を構成できる)ものであれば、どのような対象物でも検出できることはいうまでもない。
Claims (12)
- 対象物であるか非対象物であるかの正解付けがされた複数の濃淡画像からなる学習サンプルを使用して集団学習する集団学習装置において、
上記学習サンプルを使用し、任意の位置の2つの画素の輝度値の差を特徴量とし入力として与えられる濃淡画像が対象物か否かを示す推定値を出力する複数の弱判別器を集団学習する学習手段を有する
集団学習装置。 - 上記学習手段は、
上記各学習サンプルの上記特徴量を算出し、各特徴量に基づき上記弱判別器を生成する弱判別器生成手段と、
上記弱判別器生成手段が生成した弱判別器について、各学習サンプルに設定されたデータ重みに基づき上記学習サンプルを判別した誤り率を算出する誤り率算出手段と、
上記誤り率に基づき上記弱判別器に対する信頼度を算出する信頼度算出手段と、
上記弱判別器が不正解とした学習サンプルの重みが相対的に増すよう上記データ重みを更新するデータ重み算出手段とを有し、
上記弱判別器生成手段は、上記データ重みが更新されると新たな弱判別器を生成する
請求項1記載の集団学習装置。 - 上記弱判別器生成手段は、上記特徴量を算出する処理を複数回繰り返して複数種の特徴量を算出し、該特徴量毎に弱判別器候補を生成し、生成された複数の各弱判別器候補について、各学習サンプルに設定された上記データ重みに基づき上記学習サンプルを判別した誤り率を算出し、該誤り率が最小のものを上記弱判別器とする
請求項2記載の集団学習装置。 - 上記弱判別器生成手段は、上記濃淡画像の上記特徴量が所定の閾値以上であるか否かに応じて対象物であるか否かを判定する上記弱判別候補を生成する
請求項2記載の集団学習装置。 - 上記弱判別器生成手段は、上記特徴量に基づき上記濃淡画像が対象物である確率を出力する上記弱判別候補を生成する
請求項2記載の集団学習装置。 - 上記弱判別器生成手段が上記弱判別器を生成する毎に、当該弱判別器により上記対象物である各学習サンプルに対する上記推定値を算出し該推定値に上記信頼度を重み付けして加算した重み付き多数決の値を算出し、その最小値を記憶する打ち切り閾値記憶手段を有する
請求項2記載の集団学習装置。 - 対象物であるか非対象物であるかの正解付けがされた複数の濃淡画像からなる学習サンプルを使用して集団学習する集団学習方法において、
上記学習サンプルを使用し、任意の位置の2つの画素の輝度値の差を特徴量とし入力として与えられる濃淡画像が対象物か否かを示す推定値を出力する複数の弱判別器を集団学習する学習工程を有する
集団学習方法。 - 上記学習工程では、上記各学習サンプルの上記特徴量を算出し、各特徴量に基づき上記弱判別器を生成する弱判別器生成工程と、上記弱判別器生成工程が生成した弱判別器について、各学習サンプルに設定されたデータ重みに基づき上記学習サンプルを判別した誤り率を算出する誤り率算出工程と、上記誤り率に基づき上記弱判別器に対する信頼度を算出する信頼度算出工程と、上記弱判別器が不正解とした学習サンプルの重みが相対的に増すよう上記データ重みを更新するデータ重み算出工程とからなる一連の工程を繰り返す
請求項7記載の集団学習方法。 - 上記弱判別器生成工程では、上記特徴量を算出する処理を複数回繰り返して複数種の特徴量を算出し、該特徴量毎に弱判別器候補を生成し、生成された複数の各弱判別器候補について、各学習サンプルに設定された上記データ重みに基づき算上記学習サンプルを判別した誤り率を算出し、該誤り率が最小のものを上記弱判別器とする
請求項8記載の集団学習方法。 - 上記弱判別器生成工程では、上記濃淡画像の上記特徴量が所定の閾値以上であるか否かに応じて対象物であるか否かを判定する上記弱判別候補を生成する
請求項8記載の集団学習方法。 - 上記弱判別器生成工程では、上記特徴量に基づき上記濃淡画像が対象物である確率を出力する上記弱判別候補を生成する
請求項8記載の集団学習方法。 - 上記弱判別器生成工程にて上記弱判別器を生成する毎に、当該弱判別器により上記対象物である各学習サンプルに対する上記推定値を算出し該推定値に上記信頼度を重み付けして加算した重み付き多数決の値を算出し、その最小値を記憶する打ち切り閾値記憶工程を有する
請求項8記載の集団学習方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008248698A JP4553044B2 (ja) | 2008-09-26 | 2008-09-26 | 集団学習装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008248698A JP4553044B2 (ja) | 2008-09-26 | 2008-09-26 | 集団学習装置及び方法 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003394556A Division JP4517633B2 (ja) | 2003-11-25 | 2003-11-25 | 対象物検出装置及び方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009026326A JP2009026326A (ja) | 2009-02-05 |
JP4553044B2 true JP4553044B2 (ja) | 2010-09-29 |
Family
ID=40398025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008248698A Expired - Fee Related JP4553044B2 (ja) | 2008-09-26 | 2008-09-26 | 集団学習装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4553044B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9208374B2 (en) | 2012-11-27 | 2015-12-08 | Canon Kabushiki Kaisha | Information processing apparatus, control method therefor, and electronic device |
Families Citing this family (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011013732A (ja) * | 2009-06-30 | 2011-01-20 | Sony Corp | 情報処理装置、情報処理方法、およびプログラム |
JP5706647B2 (ja) | 2010-09-03 | 2015-04-22 | キヤノン株式会社 | 情報処理装置、およびその処理方法 |
JP5565869B2 (ja) * | 2011-08-01 | 2014-08-06 | 株式会社ユニバーサルエンターテインメント | 識別装置及び識別プログラム |
JP5733158B2 (ja) * | 2011-11-02 | 2015-06-10 | 富士通株式会社 | 認識支援装置、認識支援方法、およびプログラム |
JP5901054B2 (ja) * | 2011-12-02 | 2016-04-06 | 国立大学法人九州工業大学 | 物体の検出方法及びその方法を用いた物体の検出装置 |
JP5856235B2 (ja) * | 2014-06-12 | 2016-02-09 | 株式会社ユニバーサルエンターテインメント | 遊技用装置 |
JP6031181B2 (ja) * | 2015-12-10 | 2016-11-24 | 株式会社ユニバーサルエンターテインメント | 識別装置及び遊技用装置 |
JP6866095B2 (ja) * | 2016-09-26 | 2021-04-28 | キヤノン株式会社 | 学習装置、画像識別装置、学習方法、画像識別方法及びプログラム |
JP6680663B2 (ja) * | 2016-11-09 | 2020-04-15 | ヤフー株式会社 | 情報処理装置、情報処理方法、予測モデルの生成装置、予測モデルの生成方法、およびプログラム |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3046326B2 (ja) * | 1990-06-15 | 2000-05-29 | 株式会社東芝 | 画像処理装置及び画像処理方法 |
JP3053512B2 (ja) * | 1993-09-22 | 2000-06-19 | 三菱電機株式会社 | 画像処理装置 |
-
2008
- 2008-09-26 JP JP2008248698A patent/JP4553044B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9208374B2 (en) | 2012-11-27 | 2015-12-08 | Canon Kabushiki Kaisha | Information processing apparatus, control method therefor, and electronic device |
Also Published As
Publication number | Publication date |
---|---|
JP2009026326A (ja) | 2009-02-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4517633B2 (ja) | 対象物検出装置及び方法 | |
JP4553044B2 (ja) | 集団学習装置及び方法 | |
JP4482796B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
JP5025893B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
JP4556891B2 (ja) | 情報処理装置および方法、記録媒体、並びにプログラム | |
JP4767595B2 (ja) | 対象物検出装置及びその学習装置 | |
JP4708909B2 (ja) | デジタル画像の対象物検出方法および装置並びにプログラム | |
JP4624889B2 (ja) | 顔検出方法および装置並びにプログラム | |
JP2006318341A (ja) | 検知対象画像判定装置、検知対象画像判定方法および検知対象画像判定プログラム | |
KR101330636B1 (ko) | 얼굴시점 결정장치 및 방법과 이를 채용하는 얼굴검출장치및 방법 | |
JP2009140369A (ja) | 集団学習装置及び集団学習方法、対象物検出装置及び対象物検出方法、並びにコンピュータ・プログラム | |
JP4795864B2 (ja) | 特徴点検出装置および方法並びにプログラム | |
CN110503090B (zh) | 基于受限注意力模型的字符检测网络训练方法、字符检测方法和字符检测器 | |
JP2011170890A (ja) | 顔検出方法および装置並びにプログラム | |
JP2009059047A (ja) | 対象物検出装置、対象物検出方法、および対象物検出プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100622 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100705 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 3 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 4553044 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130723 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |