JP3956970B2 - 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 - Google Patents
画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 Download PDFInfo
- Publication number
- JP3956970B2 JP3956970B2 JP2004327172A JP2004327172A JP3956970B2 JP 3956970 B2 JP3956970 B2 JP 3956970B2 JP 2004327172 A JP2004327172 A JP 2004327172A JP 2004327172 A JP2004327172 A JP 2004327172A JP 3956970 B2 JP3956970 B2 JP 3956970B2
- Authority
- JP
- Japan
- Prior art keywords
- image processing
- image
- image data
- correspondence
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 211
- 238000003672 processing method Methods 0.000 title claims description 8
- 238000006243 chemical reaction Methods 0.000 claims description 90
- 238000000034 method Methods 0.000 claims description 36
- 238000012937 correction Methods 0.000 description 26
- 238000009826 distribution Methods 0.000 description 21
- 230000008569 process Effects 0.000 description 21
- 230000007704 transition Effects 0.000 description 13
- 230000001965 increasing effect Effects 0.000 description 9
- 230000008859 change Effects 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000002708 enhancing effect Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 230000002093 peripheral effect Effects 0.000 description 5
- 230000002411 adverse Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 235000012736 patent blue V Nutrition 0.000 description 3
- 239000008280 blood Substances 0.000 description 2
- 210000004369 blood Anatomy 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000003702 image correction Methods 0.000 description 2
- 238000003860 storage Methods 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 238000005282 brightening Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000012423 maintenance Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000016776 visual perception Effects 0.000 description 1
Images
Landscapes
- Facsimile Image Signal Circuits (AREA)
- Color Image Communication Systems (AREA)
- Image Processing (AREA)
- Picture Signal Circuits (AREA)
- Processing Of Color Television Signals (AREA)
Description
画像処理の適用対象とされる部位に関する部位関係情報を、画像処理の内容を表わす処理内容情報と関連付けて、該部位関係情報および処理内容情報の組を複数保持する第2保持手段と、前記入力された画像データに対応する画素が画像処理の適用対象であるか否かを、前記複数の部位関係情報を参照して判定する適用対象判定手段と、前記画素が画像処理の適用対象であると判定された場合に、前記参照した複数の部位関係情報に関連付けられた処理内容情報を参照して、前記複数の対応関係のうちから、複数種類の画像処理の内容のそれぞれを実現する対応関係を特定する対応関係特定手段と、該対応関係の特定が行なわれた画素については、該特定した対応関係を参照して、当該画素の画像データを変換する画像データ変換手段とを具備する構成としてある。
例えば、画像の上方部分には空色に対する対応関係を適用し、下方部分は特に変換しないというものが含まれる。この場合の画像の部位の単位は特に制限されるものではなく、矩形であったり、丸形であったり、フリーな図形などを採用可能である。また、必ずしもある範囲を持って部位を特定する必要もなく、ある部分を中心として所定の範囲を指定するといったものでも良い。この場合、中心から離れるに従って徐々に変換度合いを下げていくといったものでも良い。むろん、一つの対応関係を複数の部位に適用しても構わない。また、上記の画像処理装置において、前記第2保持手段を、部位関係情報および処理内容情報の組を、複数保持する手段とした場合には、前記適用対象判定手段を、前記複数の各部位関係情報を参照して、前記判定を行なう手段とし、前記対応関係特定手段を、前記参照した複数の各部位関係情報に関連付けられた処理内容情報を参照して、複数種類の画像処理の内容のそれぞれを実現する前記対応関係の特定を行なう手段としてもよい。
前記画像データを変換する対応関係を複数保持すると共に、画像処理の適用対象とされる部位に関する部位関係情報を、画像処理の内容を表わす処理内容情報と関連付けて保持し、前記入力された画像データに対応する画素が画像処理の適用対象であるか否かを、前記部位関係情報を参照して判定し、前記画素が画像処理の適用対象であると判定された場合に、前記参照した部位関係情報に関連付けられた処理内容情報を参照して、前記複数の対応関係のうちから、画像処理の内容を実現する前記対応関係を特定し、該対応関係の特定が行なわれた画素については、該特定した対応関係を参照して、当該画素の画像データを変換する構成としてある。
レベルは画像処理の程度を示すものであり、上述した上矢印と下矢印のクリック回数によって処理程度を強めたり弱めたりするためのデータである。処理種類は後述するように画像処理の種類を示すものであり、この例では「コントラスト」修正は1で「明るさ」修正は2で、「シャープネス」修正は3で、「彩度」修正は4となってそれぞれ対象を意味する。なお、処理種類とレベルについては画像処理の内容の説明とともに後述する。また、選択した画像処理を削除する場合にはそれぞれの指定をクリックしてハイライトさせ、キーボード23の削除キーを押下すればよい。この他、編集は通常のアプリケーションの操作に準ずればよい。
r=R/(R+G+B) ...(1)
g=G/(R+G+B) ...(2)
とおくとすると、XYZ表色系における色度座標x,yとの間には、
x=(1.1302+1.6387r+0.6215g) /(6.7846-3.0157r-0.3857g) ...(3)
y=(0.0601+0.9399r+4.5306g)/(6.7846-3.0157r-0.3857g) ...(4)
なる対応関係が成立する。ここにおいて、色度は明るさに左右されることなく色の刺激値の絶対的な割合を表すものであるから、色度からその画素がどのような対象物かを判断することができるといえる。
0.35<x<0.40 ...(5)
0.33<y<0.36 ...(6)
というような範囲に含まれているから、各画素の色度を求めたときにこの範囲内であればその画素は人間の肌を示す画素と考えてもあながち誤っていないと言える。同様に青空の色度や木々の緑の色度といったものも色度として判断すれば明るさに関わらず空の画素や木々の緑の画素を概ね特定できる。図11はx−y色度の分布関係を示しており、肌色の領域であるとか、青空の色の領域であるとか、木々の緑の色の領域がこのような矩形の領域として把握できる様子を示している。なお、図10に示すようにこのx−y色度の分布範囲を直に指定して個別指定できるようにしても良い。
x=0.375 ...(7)
y=0.345 ...(8)
が得られる。そこで、この中心点を基準として一定半径の円内に入っていれば上記領域に属するものと判定するようにすればよい。
Y=ay+b ...(9)
なる関係で変換させるとすると、a>1において変換元の最大輝度ymaxと最小輝度yminの画素の差は変換後においてより大きくなり、図15に示すように輝度の分布が広がることになる。この場合、輝度の分布に応じて傾きaとオフセットbを決定すればより好適である。例えば、
a=255/(ymax−ymin) ...(10)
b=−a・yminあるいは255−a・ymax ...(11)
とおくとすると、あるせまい幅を持った輝度分布を再現可能な範囲まで広げることができる。ただし、再現可能な範囲を最大限に利用して輝度分布の拡大を図った場合、ハイライト部分が白く抜けてしまったり、ハイシャドウ部分が黒くつぶれてしまうことが起こる。これを防止するには再現可能な範囲の上端と下端に拡大しない範囲として輝度値で「5」ぐらいを残すようにすればよい。この結果、変換式のパラメータは次式のようになる。
b=5−a・yminあるいは250−a・ymax ...(13)
そして、この場合にはy<yminと、y>ymaxの範囲においては変換を行わないようにする。
このように階調データと輝度yとの間に線形の変換か可能であることを前提とすれば、変換前の階調データ(R0,G0,B0)と変換後の階調データ(R1,G1,B1)との間には(9)式を適用可能であり、
R1=aR0+b ...(15)
G1=aG0+b ...(16)
B1=aB0+b ...(17)
なる関係で求めることができるから、結果として図16に示す変換テーブルを利用して階調データを変換すればよいことが分かる。
あるいは、
γ=(ymed/85)**(1/2) ...(19)
とする。ただし、γ<0.7となっても、γ=0.7とする。このような限界を設けておかないと夜の画像が昼間のようになってしまうからである。なお、明るくしすぎると全体的に白っぽい画像になってコントラストが弱い画像になりやすいため、彩度を合わせて強調するなどの処理が好適である。
あるいは、
γ=(ymed/128)**(1/2) ...(21)
とする。この場合、γ>1.3となっても、γ=1.3として暗くなり過ぎないように限界を設けておく。
Y'=Y+Eenhance・(Y−Yunsharp) ...(22)
として演算される。ここで、Eenhanceは、エッジ強調度であるとともに、Yunsharpは各画素の画像データに対してアンシャープマスク処理を施したものであり、ここでアンシャープマスク処理について説明する。図21は一例として5×5画素のアンシャープマスク60を示している。このアンシャープマスク60は、中央の「100」の値をマトリクス状の画像データにおける処理対象画素Y(x,y)の重み付けとし、その周縁画素に対して同マスクの升目における数値に対応した重み付けをして積算するのに利用される。このアンシャープマスク60を利用する場合、
Eenhance=ks・(SLopt−SL)**(1/2) ...(25)
として求める。ここにおいて、係数ksは画像の大きさに基づいて変化するものであり、画像データが縦横方向にそれぞれheightドットとwidthドットからなる場合、
ks=min(height,width)/A ...(26)
のようにして求めればよい。ここにおいて、min(height,width)はheightドットとwidthドットのうちのいずれか小さい方を指し、Aは定数で「768」としている。むろん、これらは実験結果から得られたものであり、適宜変更可能であることはいうまでもない。ただし、基本的には画像が大きいものほど強調度を大きくするということで良好な結果を得られている。
G'=B+(G−B)×Sratio ...(28)
B'=B ...(29)
この結果、RGB表色空間とLuv空間との間で一往復する二度の色変換が不要となるため、演算時間の低減をはかることができる。この実施形態においては、無彩度の成分について単純に最小値の成分を他の成分値から減算する手法を採用しているが、無彩度の成分を減算するにあたっては別の変換式を採用するものであっても構わない。ただし、(27)〜(29)式のように最小値を減算するだけの場合には乗除算が伴わないので演算量が容易となるという効果がある。
R'=R+ΔR ...(30)
G'=G+ΔG ...(31)
B'=B+ΔB ...(32)
となるとすると、この加減値ΔR,ΔG,ΔBは輝度との差分値に基づいて次式のように求める。すなわち、
ΔR=(R−Y)×Sratio ...(33)
ΔG=(G−Y)×Sratio ...(34)
ΔB=(B−Y)×Sratio ...(35)
となり、この結果、
R'=R+(R−Y)×Sratio ...(36)
G'=G+(G−Y)×Sratio ...(37)
B'=B+(B−Y)×Sratio ...(38)
として変換可能となる。なお、輝度の保存は次式から明らかである。
ΔY=0.30ΔR+0.59ΔG+0.11ΔB
=Sratio{(0.30R+0.59G+0.11B)−Y}
=0 ...(40)
また、入力がグレー(R=G=B)のときには、輝度Y=R=G=Bとなるので、加減値ΔR=ΔG=ΔB=0となり、無彩色に色が付くこともない。(36)式〜(38)式を利用すれば輝度が保存され、彩度を強調しても全体的に明るくなることはない。
本来的には彩度は、R=G=Bの場合に「0」となり、RGBの単色あるいはいずれか二色の所定割合による混合時において最大値となる。この性質から直に彩度を適切に表すのは可能であるものの、簡易な(41)式によっても赤の単色および緑と青の混合色である黄であれば最大値の彩度となり、各成分が均一の場合に「0」となる。また、緑や青の単色についても最大値の半分程度には達している。むろん、
X'=|R+B−2×G| ...(42)
X"=|G+R−2×B| ...(43)
という式にも代替可能である。
S=−A×(10/92)+50 ...(44)
92≦A<184なら
S=−A×(10/46)+60 ...(45)
184≦A<230なら
S=−A×(10/23)+100 ...(46)
230≦Aなら
S=0 ...(47)
というように彩度強調指数Sを決定する。図23はこの彩度「A」と彩度強調指数Sとの関係を示している。図に示すように、彩度指数Sは最大値「50」〜最小値「0」の範囲で彩度「A」が小さいときに大きく、同彩度「A」が大きいときに小さくなるように徐々に変化していくことになる。この彩度指数Sから彩度強調指数Sratioへの変換は、
Sratio=(S+100)/100 ...(48)
として求めればよい。この場合、彩度強調指数S=0のときに彩度強調パラメータSratio=1となって彩度強調されない。
なお、自動設定する場合には理想値に近い画像について青空、木々の緑、肌色について平均値(Rs.ideal,Gs.ideal,Bs.ideal)を求めるとともに、その平均値(Rs.ideal,Gs.ideal,Bs.ideal)と当該画像での集計結果に基づく平均値(Rs.ave,Gs.ave,Bs.ave)とのずれを求め、その差を修正量ΔR,ΔG,ΔBとすればよい。
Rfinl=k・Rpost+(1−k)・Rpre ...(49)
Gfinl=k・Gpost+(1−k)・Gpre ...(50)
Bfinl=k・Bpost+(1−k)・Bpre ...(51)
と変換する。この意味するところは、適用度kが「0」〜「1」で変化する遷移領域において徐々に画像処理が重みを持つようになり、段差が生じなくなることである。
Rfinl=k'・Rpart+(1−k')・Rtotal ...(52)
Gfinl=k'・Gpart+(1−k')・Gtotal ...(53)
Bfinl=k'・Bpart+(1−k')・Btotal ...(54)
といった重み付け加算で演算すればよい。
すなわち、画像全体を対象とする左下下がりのハッチング領域に対する変換結果(Rtotal,Gtotal,Btotal)と、人物像を対象とする右下下がりのハッチング領域に対する変換結果(Rpart,Gpart,Bpart)とが、適用度k'を利用して重ね合わされる。この場合、人物像に対して指定した領域内で適用度k'が最大の0.5となるとともに、その周縁の遷移領域で適用度k'が0<k'<0.5の範囲で変化させればよい。これに対して、人物像に対して指定した領域内での適用度k'を最大1.0となるように設定し、その周縁の遷移領域で適用度k'が0<k'<1.0の範囲で変化させるようにすれば、人物像に対して指定した領域内では画像全体に対する変換を適用させないようにすることもできる。むろん、同様にしてさらに多数の画像処理の結果を適用させることもできる。
20...画像処理装置
21...コンピュータ
21a...オペレーティングシステム
21b...プリンタドライバ
21c...ディスプレイドライバ
21d...画像処理アプリケーション
22...ハードディスク
23...キーボード
24...CD−ROMドライブ
25...フレキシブルディスクドライブ
26...モデム
30...画像出力装置
Claims (10)
- 複数の画素からなる実写画像の画像データを入力し、各画素の画像データを変換する画像処理装置であって、
前記画像データを変換する対応関係を複数保持する第1保持手段と、
画像処理の適用対象とされる部位に関する部位関係情報を、画像処理の内容を表わす処理内容情報と関連付けて、該部位関係情報および処理内容情報の組を複数保持する第2保持手段と、
前記入力された画像データに対応する画素が画像処理の適用対象であるか否かを、前記複数の部位関係情報を参照して判定する適用対象判定手段と、
前記画素が画像処理の適用対象であると判定された場合に、前記参照した複数の部位関係情報に関連付けられた処理内容情報を参照して、前記複数の対応関係のうちから、複数種類の画像処理の内容のそれぞれを実現する対応関係を特定する対応関係特定手段と、
該対応関係の特定が行なわれた画素については、該特定した対応関係を参照して、当該画素の画像データを変換する画像データ変換手段と
を備えた画像処理装置。 - 前記第1保持手段は、前記対応関係を、トーンカーブの形態で保持する請求項1に記載の画像処理装置。
- 前記第1保持手段は、前記対応関係を、変換元の画像データと変換後の画像データの対応関係を表わした色変換テーブルの形態で保持する請求項1または2記載の画像処理装置。
- 前記第1保持手段は、前記複数の対応関係を、一の対応関係と該対応関係を適用する度合いを変化させることによって生成される他の対応関係として保持する請求項1ないし3のいずれかに記載の画像処理装置。
- 前記第2保持手段は、使用者の操作によって入力された前記部位関係情報および前記処理内容情報を保持する手段である請求項1ないし4のいずれかに記載の画像処理装置。
- 前記第1保持手段は、前記対応関係として、前記画像データに基づいて明るさを変化させる関係を保持する請求項1ないし5のいずれかに記載の画像処理装置。
- 請求項1ないし6のいずれかに記載の画像処理装置であって、
前記第1保持手段は、前記対応関係として、画像データを変換する関係を保持しており、
前記画像データ変換手段は、前記特定された一の対応関係に基づいて、前記画像データの色度を変換する手段である
画像処理装置。 - 前記第1保持手段は、前記対応関係として、前記画像データに基づいて色の鮮やかさを変化させる関係を保持する請求項1ないし7のいずれかに記載の画像処理装置。
- 複数の画素からなる実写画像の画像データを入力し、各画素の画像データを変換する方法であって、
前記画像データを変換する対応関係を複数保持すると共に、画像処理の適用対象とされる部位に関する部位関係情報を、画像処理の内容を表わす処理内容情報と関連付けて、該部位関係情報および処理内容情報の組を複数保持し、
前記入力された画像データに対応する画素が画像処理の適用対象であるか否かを、前記複数の部位関係情報を参照して判定し、
前記画素が画像処理の適用対象であると判定された場合に、前記参照した複数の部位関係情報に関連付けられた処理内容情報を参照して、前記複数の対応関係のうちから、複数種類の画像処理の内容のそれぞれを実現する対応関係を特定し、
該対応関係の特定が行なわれた画素については、該特定した対応関係を参照して、当該画素の画像データを変換する
画像処理方法。 - 複数の画素からなる実写画像の画像データを変換するプログラムを、コンピュータに読み取り可能に記録した記録媒体であって、
前記画像データを変換するために用意された複数の対応関係と、画像処理の適用対象とされる部位に関する部位関係情報および画像処理の内容を表わす処理内容情報を関連付けた複数の組とを、それぞれ参照する機能と、
前記入力された画像データに対応する画素が画像処理の適用対象であるか否かを、画像処理の適用対象とされる部位に関する前記複数の部位関係情報を参照して判定する機能と、
前記画素が画像処理の適用対象であると判定された場合に、前記参照した複数の部位関係情報に関連付けられた処理内容情報を参照して、前記複数の対応関係のうちから、複数種類の画像処理の内容のそれぞれを実現する対応関係を特定する機能と、
該対応関係の特定が行なわれた画素については、該特定した対応関係を参照して、当該画素の画像データを変換する機能と
を記録した記録媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004327172A JP3956970B2 (ja) | 2004-11-11 | 2004-11-11 | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004327172A JP3956970B2 (ja) | 2004-11-11 | 2004-11-11 | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP31212697A Division JP3918257B2 (ja) | 1997-06-17 | 1997-11-13 | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005130516A JP2005130516A (ja) | 2005-05-19 |
JP3956970B2 true JP3956970B2 (ja) | 2007-08-08 |
Family
ID=34650952
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004327172A Expired - Fee Related JP3956970B2 (ja) | 2004-11-11 | 2004-11-11 | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3956970B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007036968A (ja) * | 2005-07-29 | 2007-02-08 | Noritsu Koki Co Ltd | 画像形成装置 |
JP4622874B2 (ja) * | 2006-02-02 | 2011-02-02 | 富士ゼロックス株式会社 | 色調整方法および色調整装置 |
JP5299282B2 (ja) * | 2007-11-13 | 2013-09-25 | 富士通株式会社 | 画像補正装置 |
-
2004
- 2004-11-11 JP JP2004327172A patent/JP3956970B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005130516A (ja) | 2005-05-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6535301B1 (en) | Image processing apparatus, image processing method, image processing program recording medium, color adjustment method, color adjustment device, and color adjustment control program recording medium | |
US7057768B2 (en) | Automatic color balance | |
US8363125B2 (en) | Image processing apparatus, image processing method, and computer program product | |
JP3918257B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 | |
EP2060107A1 (en) | Color correction method | |
US8290262B2 (en) | Color processing apparatus and method thereof | |
JP2006033383A (ja) | 画像処理装置およびその方法 | |
JP4243362B2 (ja) | 画像処理装置、画像処理方法、および画像処理プログラムを記録した記録媒体 | |
JP4019204B2 (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JP3956970B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 | |
JP3941810B2 (ja) | 画像処理装置、画像処理方法、画像処理プログラムを記録した媒体 | |
JP3921737B2 (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JP3501151B2 (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JP3705250B2 (ja) | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 | |
JP3573143B2 (ja) | 画像処理装置、画像処理方法、画像処理制御プログラムを記録した媒体 | |
JP3570416B2 (ja) | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 | |
JP3664394B2 (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラムを記録した媒体 | |
JP4475316B2 (ja) | 画像処理装置、画像処理プログラムを記録した記録媒体および画像処理方法 | |
JP5029779B2 (ja) | 画像処理方法、画像処理プログラムを記録した媒体および画像処理装置 | |
JP3731573B2 (ja) | 画像処理装置、画像評価装置、画像処理方法、画像評価方法および画像処理プログラムを記録した記録媒体 | |
JP2000067239A (ja) | 画像評価装置、画像評価方法、画像評価プログラムを記録した媒体および画像修整装置 | |
JP2000067239A5 (ja) | ||
JP2008245321A (ja) | 画像処理装置、画像処理方法、および記録媒体 | |
JP2003051001A (ja) | 画像処理装置、画像処理方法および画像処理制御プログラムを記録した媒体 | |
JP2010165379A (ja) | 画像評価方法、画像評価プログラムを記録した媒体および画像評価装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070123 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070323 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070417 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070430 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110518 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120518 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130518 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140518 Year of fee payment: 7 |
|
LAPS | Cancellation because of no payment of annual fees |