JP4935561B2 - 画像処理装置 - Google Patents
画像処理装置 Download PDFInfo
- Publication number
- JP4935561B2 JP4935561B2 JP2007195044A JP2007195044A JP4935561B2 JP 4935561 B2 JP4935561 B2 JP 4935561B2 JP 2007195044 A JP2007195044 A JP 2007195044A JP 2007195044 A JP2007195044 A JP 2007195044A JP 4935561 B2 JP4935561 B2 JP 4935561B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- image
- gradation value
- area
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 71
- 238000006243 chemical reaction Methods 0.000 claims abstract description 35
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 238000003786 synthesis reaction Methods 0.000 claims description 2
- 230000002194 synthesizing effect Effects 0.000 claims 1
- 238000001514 detection method Methods 0.000 abstract description 89
- 238000000034 method Methods 0.000 description 75
- 238000012986 modification Methods 0.000 description 27
- 230000004048 modification Effects 0.000 description 27
- 238000004590 computer program Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 6
- 238000012937 correction Methods 0.000 description 3
- 239000003086 colorant Substances 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 241000282472 Canis lupus familiaris Species 0.000 description 1
- 241000282326 Felis catus Species 0.000 description 1
- 241001465754 Metazoa Species 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003750 conditioning effect Effects 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000012447 hatching Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000003137 locomotive effect Effects 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 238000012706 support-vector machine Methods 0.000 description 1
Images
Landscapes
- Collating Specific Patterns (AREA)
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Analysis (AREA)
Description
(a)所定の第1の条件が満たされた場合に、第1の画像データの少なくとも一部の数値範囲に含まれる基準階調値をより明るい色に対応する基準階調値に変換する第1の変換を行うことによって、第2の画像データを生成する。なお、基準階調値は画像データの画素の色に関する階調値である。
(b)第1の画像データの画素の色の基準階調値に基づいて、第1の画像データの画像中において、所定の対象物が存在する第1の部分を特定する。
(c)第2の画像データが生成された場合に、第2の画像データの画素の色の基準階調値に基づいて、第2の画像データの画像中において、所定の対象物が存在する第2の部分を特定する。
(d)第1の画像データの画像の第1の部分と、第2の画像データの画像の第2の部分と、に基づいて、第1の画像データの画像中において、所定の対象物が存在する部分の集合を決定する。
このような態様としても、たとえば人の顔などの対象物を、他の色成分の階調値を使用する態様に比べて高精度に特定することができる。
(e)第1のサンプル画像データを準備する。
(f)所定の第2の条件が満たされた場合に、第1のサンプル画像データの画素の色に関する階調値であって少なくとも一部の数値範囲に含まれる基準階調値を、より明るい色に対応する基準階調値に変換する第2の変換を行うことによって、第2のサンプル画像データを生成する。
(g)工程(b)に先だって、第1のサンプル画像データを使用して検出モジュールに学習をさせる。
(h)第2のサンプル画像データが生成された場合に、工程(c)に先だって、第2のサンプル画像データを使用して検出モジュールに学習をさせる。
A1.装置の構成:
図1は、本発明の実施例である画像処理装置の概略構成を示す説明図である。この画像処理装置は、画像データに対して所定の画像処理を行うパーソナルコンピュータ100と、パーソナルコンピュータ100に情報を入力する装置としてのキーボード120、マウス130およびCD−R/RWドライブ140と、情報を出力する装置としてのディスプレイ110、プリンタ22およびプロジェクタ32と、を備えている。コンピュータ100では、所定のオペレーティングシステムの下で、アプリケーションプログラム95が動作している。このアプリケーションプログラム95が実行されることで、コンピュータ100のCPU102は様々な機能を実現する。
本実施例では、画像中で人間の顔が存在する領域を特定する処理は、プリンタドライバ96のあるモジュールが実行する。このモジュールを「顔検出部962」と呼ぶ。顔検出部962については、プリンタドライバ96に実装されるのに先立って、あらかじめサンプルの画像データを使って学習が行われる。
図5は、顔検出部962の学習の際の処理を示すフローチャートである。ステップS110では、第1の学習サンプル画像データグループが準備される。第1の学習サンプル画像データグループを構成する第1の学習サンプル画像データは、たとえば20画素×20画素の画像データである。第1の学習サンプル画像データは、各画素について0〜255の階調値で表される明度のみの情報を有する。階調値0が最も暗い明度を表し、階調値255が最も明るい明度を表す。第1の学習サンプル画像データグループは、画像中に実際に顔が存在する、たとえば10000個の画像データと、画像中に顔が存在しない、たとえば20000個の画像データと、を含む。
以下では、図6のステップS230において、第1の画像データに基づいて第2の画像データを生成する方法について説明する。図5のステップS130において、暗サンプルデータに基づいて第2の学習サンプル画像データを生成する方法も同様である。
第2実施例の画像処理装置は、図6のステップS230において、第1の画像データに基づいて第2の画像データを生成する方法、および図5のステップS130において、暗サンプルデータに基づいて第2の学習サンプル画像データを生成する方法が、第1実施例の画像処理装置とは異なる。第2実施例の画像処理装置の他の点は、第1実施例の画像処理装置と同じである。
第3実施例の画像処理装置は、図6のステップS230において、第1の画像データに基づいて第2の画像データを生成する方法、および図5のステップS130において、暗サンプルデータに基づいて第2の学習サンプル画像データを生成する方法が、第1実施例の画像処理装置とは異なる。第2実施例の画像処理装置の他の点は、第1実施例の画像処理装置と同じである。
図10は、第4実施例における顔領域を決定する処理を示すフローチャートである。 第1実施例では、画像データの全画素の平均明度AYが所定のしきい値Thp以下である場合に(図6のステップS220参照)、第2の画像データが生成され、顔領域が特定される(同、ステップS230,S240)。第4実施例では、図10に示すように、画像データの平均明度に関する条件づけなしに第2の画像データが生成される(図10のステップS230参照)。また、第2の画像データに関する顔領域の特定と、第1の画像データに関する顔領域の特定とは、並行して行われる。その後、ステップS240で特定された顔領域と、ステップS250で特定された顔領域と、の両方を要素として含む集合をステップS260で決定する。第4実施例の他の点は、第1実施例と同じである。
なお、この発明は上記の実施例や実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば次のような変形も可能である。
上記実施例では、画像データは320画素×240画素の画像データに変換されて、顔領域が特定される(図6のステップS210参照)。しかし、顔領域を特定する処理の対象とする画像データは、320画素×240画素の画像データに限らず、任意の大きさおよび画素数の画像データとすることができる。ただし、顔領域を特定する処理の対象とする画像データは、一定の大きさの画像データとすることが好ましい。そのような態様とすれば、その大きさの画像データのために1種類の顔検出モジュールを用意すれば、顔領域の特定の処理を行うことができる。
上記第1実施例では、画像データの全画素の平均明度AYが所定のしきい値Thp以下である場合に(図6のステップS220参照)、第2の画像データが生成され、顔領域が特定される(同、ステップS230,S240)。しかし、階調値(明度)を改変した画像データを生成し顔領域の特定を行うための条件は、他の条件とすることもできる。
上記実施例では、第2の画像データを生成するために、第1の画像データのすべての明度が変換される(図6のステップS230参照)。しかし、第1の画像データの一部の範囲の階調値(明度)についてのみ改変を行って、第2の画像データを生成することもできる。そのような態様においては、階調値が取りうる範囲のうち、少なくとも最も暗い色に対応する階調値から、階調値が取りうる範囲の幅の10%までの範囲の階調値について変換を行うことが好ましい。なお、階調値が取りうる範囲のうち、少なくとも最も暗い色に対応する階調値から、階調値が取りうる範囲の幅の20%までの範囲の階調値について変換を行うことが、より好ましい。そして、階調値が取りうる範囲のうち、少なくとも最も暗い色に対応する階調値から、階調値が取りうる範囲の幅の30%までの範囲の階調値について変換を行うことが、さらに好ましい。
上記第1実施例では、第2の画像データを生成する際に、第1の画像データの明度が2倍される。また、第2の学習サンプル画像データを生成する際に、暗サンプルデータ(第1の学習サンプル画像データ)の明度が2倍される。しかし、階調値(明度)を定数倍する際の定数は2以外の値とすることができる。ただし、その定数は、1.5〜2.5であることが好ましく、1.8〜2.2であることがより好ましい。
上記第2実施例では、明度が0から255で表されるという条件の下で、第2の画像データおよび第2の学習サンプル画像データを生成する際に、明度70を明度160に置き換えるガンマ変換が行われる。しかし、第2の画像データおよび第2の学習サンプル画像データを生成する際に使用されるガンマ曲線は、他の形状とすることもできる。ただし、ガンマ曲線は、明度が0(黒)から255(白)で表されるという条件の下で、明度70を明度100〜180のいずれかの明度に置き換えるガンマ曲線であることが好ましく、明度70を明度130〜170のいずれかの明度に置き換えるガンマ曲線であることがより好ましい。そして、ガンマ曲線は、明度70を明度140〜160のいずれかの明度に置き換えるガンマ曲線であることがさらに好ましい。
上記第3実施例では、明度が0から255で表されるという条件の下で、明度の改変量Δは70に設定されている。しかし、明度の改変量Δは、たとえば60,50など、他の値に設定することができる。ただし、階調値(明度)の改変量Δは、階調値が取りうる範囲の幅の10%〜40%であることが好ましく、20%〜30%であることがより好ましい。そして、階調値の改変量Δは、階調値が取りうる範囲の幅の23%〜27%であることがさらに好ましい。画素の色の階調値に基づいて対象物が存在するか否かの判定を行う際、精度が低くなる階調値の範囲は、階調値が取りうる範囲全体に対して、通常、10%〜40%である。よって、上記のような態様とすれば、判定精度が低くなる範囲に含まれる階調値を、そのような範囲外の階調値に置き換えて判定を行うことができる。
上記実施例および変形例では、さまざまな手法で、対象物を検出する際の画像の階調値の改変、および学習の際の画像の階調値の改変が行われる。それら、対象物を検出する際の画像の階調値の改変、および学習の際の画像の階調値の改変は、同じ条件(たとえば、画像の平均の明度についての条件)にしたがって行うか否かが決定され、かつ同じ変換(たとえば、明度を定数倍するなど)で実行されることが好ましい。そのような態様とすれば、対象物を検出する際の精度が高くなるように、効率的な学習を行うことができる。
上記実施例では、画像中において人間の顔が存在する領域が特定される。しかし、画像中において特定される対象物は、人間の顔に限らず、他の物とすることもできる。本明細書で説明した処理は、たとえば、犬や猫などの動物の顔や、電車や蒸気機関車などの車両、自動車、建造物、花や紅葉などの植物など、様々な対象を特定する処理に適用することができる。
上記実施例では、画像PI1中の顔領域の集合を決定する際に、互いに75%以上の画素を共有するN個(Nは2以上の整数)の顔領域については、その中から一つの顔領域が選択され、他の顔領域は廃棄される。しかし、その中から一つの顔領域が選択される複数の顔領域(以下、「候補顔領域」という)は、他の方法で定めることもできる。たとえば、複数の候補顔領域は、互いに70%以上の画素を共有する複数の顔領域とすることができる。そして、複数の候補顔領域は、互いに80%以上の画素を共有する複数の顔領域とすることがより好ましい。また、複数の候補顔領域は、互いに90%以上の画素を共有する複数の顔領域とすることがさらに好ましい。
上記実施例では、第1の学習サンプル画像データを使った学習(図5のステップS150参照)と、明度を上げた第2の学習サンプル画像データを使った学習(同、ステップS140参照)とが行われる。そして、第1の画像データを使った顔領域の特定(図6のステップS250参照)と、明度を上げた第2の画像データを使った顔領域の特定(同、ステップS240参照)とが行われる。
上記実施例では、一つの顔検出部962に対して、第1の学習サンプル画像データを使った学習(図5のステップS150参照)と、第2の学習サンプル画像データを使った学習(同、ステップS140参照)とが行われる。そして、画像データに対する顔領域の特定も、一つの顔検出部962を使用して行われる。
上記実施例では、図2〜図4に示す方法で顔領域の特定を行う。しかし、顔領域の特定は、ブースティング(たとえばAdaBoost)や、サポートベクターマシン、ニューラルネットワークなど様々な方法を使用して行うことができる。ただし、画像中の各画素の色に関する階調値の差に基づいて顔領域の特定を行う手法であることが好ましい。
上記実施例および変形例では、画像の画素の明度に基づいて顔領域の特定(図2〜図4)、第2の画像データの生成(図6および図10のステップS230)、第2の学習サンプル画像データの生成(図5のステップS130)、さらには、第2の画像データや第2の学習サンプル画像データの生成に関する判定(図5のステップS120、S220)が行われる。しかし、それらの処理は、明度以外の階調値に基づいて行うこともできる。
画像処理装置は、原画像データの画像中において所定の対象物が存在する部分を特定した後に、その対象物が存在する部分を表示する態様とすることもできる。そのような態様において、原画像データの画像を表示し、さらに、その画像上において、対象物が存在する部分を表示することがより好ましい。
画像処理装置は、原画像データの画像中において所定の対象物が存在する部分を特定した後に、原画像データの画像中において所定の対象物が存在する部分の大きさに基づいて、原画像データに対して画像処理を行う態様とすることもできる。なお、原画像データの画像中に、対象物が存在する部分が複数ある場合には、画像処理の際に考慮される「対象物が存在する部分の大きさ」は、対象物が存在する複数の部分のうち最も大きい部分の大きさとすることができる。また、画像処理の際に考慮される「対象物が存在する部分の大きさ」は、対象物が存在する複数の部分の合計の大きさとすることもできる。
上記実施例では、プリンタドライバ96が、顔領域を特定する処理を行い、その結果に基づいて画像処理を行っている。しかし、対象物を特定する処理は、他の構成が行うこともできる。対象物を特定する処理は、たとえば、パーソナルコンピュータ100のOS上で実行されるアプリケーションソフト95が実行することもでき、プリンタ22やプロジェクタ32等の出力装置が備えるCPU104,106が実行することもできる。さらに、顔領域を特定する処理は、プリンタ22やプロジェクタ32等の出力装置が備えるハードウェア回路で実行することもできる。さらには、液晶ディスプレイなどの出力装置を備えたデジタルスチルカメラが備えるCPUやハードウェア回路で実行することもできる。
30…明度
32…プロジェクタ
88…ホストコンピュータ
91…ビデオドライバ
95…アプリケーションプログラム
96…プリンタドライバ
98…プロジェクタのドライバ
100…パーソナルコンピュータ
102…CPU
110…ディスプレイ
120…キーボード
130…マウス
140…R/RWドライブ
962…顔検出部
A11a,b…矩形フィルタF11を使用してデータが取り出される領域
A11al…A11aの左半分の領域
A11ar…A11bの右半分の領域
A12a,b…矩形フィルタF12を使用してデータが取り出される領域
Af1…顔が存在する領域
Af2…顔が存在する領域
Ah…検出窓DWの移動を示す矢印
As…検出窓DWの上下左右の移動を示す矢印
D1…第1の画像データにおける画素の明度の分布
D2a,b…第2の画像データにおける画素の明度の分布
D11y,n…矩形フィルタF11を使用した判定の結果を表す定数
D12y,n…矩形フィルタF11を使用した判定の結果を表す定数
DW…検出窓
F11,F12…矩形フィルタ
IDW…検出窓DWでデータを取り出される画像領域
P1…人物
P2…人物
PI1…第1の画像データの画像
R1…明度の範囲
R2a〜c…第1の画像データの画像中において範囲R1内にあった明度の範囲
St1〜St24…第1〜第24のステージ
Wh…検出窓DWの幅
Y11a…領域A11aの各画素の明度
Y11b…領域A11bの各画素の明度
Y12a…領域A12aの各画素の明度
Y12b…領域A12bの各画素の明度
Yi…変換前の明度
Yo…変換後の明度
dh…検出窓の移動距離
α11a,b…矩形フィルタに関連づけられている定数
α12a,b…矩形フィルタに関連づけられている定数
Claims (5)
- 画像中において人間の顔が存在する部分を特定する画像処理装置であって、
所定の第1の条件が満たされた場合に、第1の画像データの少なくとも一部の数値範囲に含まれる基準階調値をより明るい色に対応する基準階調値に変換することによって、第2の画像データを生成する画像データ生成部であって、前記基準階調値は画像データの画素の色に関する階調値である、画像データ生成部と、
前記第1の画像データの画素の色の基準階調値に基づいて、前記第1の画像データの画像中において、人間の顔が存在する第1の部分を特定する第1の対象物特定部と、
前記第2の画像データの画素の色の基準階調値に基づいて、前記第2の画像データの画像中において、前記人間の顔が存在する第2の部分を特定する第2の対象物特定部と、
前記第1の画像データの画像の第1の部分と、前記第2の画像データの画像の第2の部分と、に基づいて、前記第1の画像データの画像中において前記人間の顔が存在する部分を決定する合成部と、を備え、
前記少なくとも一部の数値範囲は、前記基準階調値が取りうる範囲のうち、最も暗い色に対応する基準階調値から、前記取りうる範囲の幅の25%までの範囲を含み、
前記合成部は、前記人間の顔が存在する複数の前記部分であって、互いに所定量以上の領域を共有する複数の前記部分については、そのうちの一つの部分を前記人間の顔が存在する前記部分として決定し、他の部分を前記人間の顔が存在する前記部分の集合から廃棄する、画像処理装置。 - 請求項1記載の装置であって、
前記画像データ生成部は、前記基準階調値を定数倍することによって、前記変換を行う、装置。 - 請求項1記載の装置であって、
前記画像データ生成部は、前記基準階調値をガンマ変換することによって、前記変換を行う、装置。 - 請求項1ないし3のいずれかに記載の装置であって、
前記基準階調値は、他の条件が同じである場合に、前記基準階調値の値が小さいほど暗い色を表す階調値であり、
前記第1の条件は、前記第1の画像データの画素の基準階調値の平均値が所定のしきい値よりも小さいことを含む、装置。 - 請求項1ないし3のいずれかに記載の装置であって、
前記基準階調値は、他の条件が同じである場合に、前記基準階調値の値が小さいほど暗い色を表す階調値であり、
前記第1の条件は、前記第1の画像データの画像の領域を、第1の領域と、前記第1の領域を囲む第2の領域と、に分けたときに、前記第1の領域に含まれる画素の基準階調値の平均値が所定のしきい値よりも小さいことを含む、装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007195044A JP4935561B2 (ja) | 2007-07-26 | 2007-07-26 | 画像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007195044A JP4935561B2 (ja) | 2007-07-26 | 2007-07-26 | 画像処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2009032018A JP2009032018A (ja) | 2009-02-12 |
JP2009032018A5 JP2009032018A5 (ja) | 2010-03-25 |
JP4935561B2 true JP4935561B2 (ja) | 2012-05-23 |
Family
ID=40402454
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2007195044A Expired - Fee Related JP4935561B2 (ja) | 2007-07-26 | 2007-07-26 | 画像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4935561B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011134045A (ja) | 2009-12-24 | 2011-07-07 | Seiko Epson Corp | 画像処理装置 |
Family Cites Families (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH08202868A (ja) * | 1995-01-30 | 1996-08-09 | Konica Corp | 画像処理装置 |
JP4376352B2 (ja) * | 1999-05-12 | 2009-12-02 | パナソニック株式会社 | 階調補正装置 |
JP4469476B2 (ja) * | 2000-08-09 | 2010-05-26 | パナソニック株式会社 | 眼位置検出方法および眼位置検出装置 |
JP2006004090A (ja) * | 2004-06-16 | 2006-01-05 | Mitsubishi Electric Corp | 画像正規化装置及び画像正規化プログラム |
JP2007025901A (ja) * | 2005-07-13 | 2007-02-01 | Canon Inc | 画像処理装置、画像処理方法 |
JP2007048108A (ja) * | 2005-08-11 | 2007-02-22 | Seiko Epson Corp | 画像評価システム及び画像評価方法並びに画像評価プログラム |
JP4619927B2 (ja) * | 2005-11-01 | 2011-01-26 | 富士フイルム株式会社 | 顔検出方法および装置並びにプログラム |
-
2007
- 2007-07-26 JP JP2007195044A patent/JP4935561B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009032018A (ja) | 2009-02-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4118749B2 (ja) | 画像処理装置、画像処理プログラムおよび記憶媒体 | |
JP5032911B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5810628B2 (ja) | 画像処理装置及び画像処理プログラム | |
US9930218B2 (en) | Content aware improvement of captured document images | |
US8463038B2 (en) | Image processing apparatus and method for correcting an image based upon features of the image | |
EP3136723A1 (en) | Image processing apparatus | |
JP4350778B2 (ja) | 画像処理装置、画像処理プログラムおよび記録媒体 | |
US9299003B2 (en) | Image processing apparatus, non-transitory computer readable medium, and image processing method | |
JP5782838B2 (ja) | 画像処理装置及び画像処理プログラム | |
EP3407589B1 (en) | Image processing apparatus, image processing method, and storage medium | |
US20030231856A1 (en) | Image processor, host unit for image processing, image processing method, and computer products | |
JP2004336282A (ja) | 画像処理装置、画像処理プログラム及び該プログラムを記録した記録媒体 | |
JP3667181B2 (ja) | 画像処理方法および画像処理装置 | |
JP6791593B2 (ja) | 認識装置、認識プログラム、及び認識方法 | |
US20150278661A1 (en) | Image processing apparatus | |
JP5098488B2 (ja) | 画像処理装置 | |
EP3096294B1 (en) | Computer program, image processing apparatus, and method for improving quality of image data | |
JP4935561B2 (ja) | 画像処理装置 | |
US20190259168A1 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5067224B2 (ja) | オブジェクト検出装置、オブジェクト検出方法、オブジェクト検出プログラムおよび印刷装置 | |
JP5109518B2 (ja) | 画像処理装置 | |
JP4219577B2 (ja) | 画像処理装置と画像出力装置と画像処理方法及び記憶媒体 | |
JP6003574B2 (ja) | 画像処理装置及び画像処理プログラム | |
US20070165284A1 (en) | System and method for content based color scanning optimized enhancement using a localized approach | |
EP1919189B1 (en) | Method and apparatus for processing digital images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100204 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20100204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20110810 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20110816 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20111017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120124 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120206 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150302 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4935561 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |