JP5020615B2 - 画像処理装置及び撮像装置及び画像処理方法及びプログラム - Google Patents
画像処理装置及び撮像装置及び画像処理方法及びプログラム Download PDFInfo
- Publication number
- JP5020615B2 JP5020615B2 JP2006332611A JP2006332611A JP5020615B2 JP 5020615 B2 JP5020615 B2 JP 5020615B2 JP 2006332611 A JP2006332611 A JP 2006332611A JP 2006332611 A JP2006332611 A JP 2006332611A JP 5020615 B2 JP5020615 B2 JP 5020615B2
- Authority
- JP
- Japan
- Prior art keywords
- plane
- estimated value
- color
- region
- interest
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 67
- 238000003672 processing method Methods 0.000 title claims description 18
- 230000008859 change Effects 0.000 claims description 38
- 230000000740 bleeding effect Effects 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 13
- 239000003086 colorant Substances 0.000 claims description 3
- 230000004075 alteration Effects 0.000 description 43
- 230000003287 optical effect Effects 0.000 description 37
- 229920006395 saturated elastomer Polymers 0.000 description 26
- 238000000034 method Methods 0.000 description 25
- 238000012937 correction Methods 0.000 description 23
- 238000006243 chemical reaction Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 230000001629 suppression Effects 0.000 description 12
- 230000000007 visual effect Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 230000006835 compression Effects 0.000 description 7
- 238000007906 compression Methods 0.000 description 7
- 238000003860 storage Methods 0.000 description 7
- 230000009466 transformation Effects 0.000 description 6
- 230000009467 reduction Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 238000000926 separation method Methods 0.000 description 4
- 238000004519 manufacturing process Methods 0.000 description 3
- QSHDDOUJBYECFT-UHFFFAOYSA-N mercury Chemical compound [Hg] QSHDDOUJBYECFT-UHFFFAOYSA-N 0.000 description 2
- 229910052753 mercury Inorganic materials 0.000 description 2
- 241001326510 Phacelia sericea Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000007688 edging Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000002474 experimental method Methods 0.000 description 1
- 238000003702 image correction Methods 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000003595 spectral effect Effects 0.000 description 1
- 238000002834 transmittance Methods 0.000 description 1
Images
Description
また、本発明に係わる画像処理装置は、複数のプレーンの信号を含むカラー画像に基づいて、前記カラー画像における領域別に、第1のプレーンの信号に基づく色の滲み量を示す第1の推定値と、第2のプレーンの信号に基づく色の滲み量を示す第2の推定値を求める推定手段と、前記第1のプレーンの信号の強度から前記第1の推定値を減ずるとともに、前記第2のプレーンの信号の強度から前記第2の推定値を減ずる除去手段と、を有し、前記推定手段は、前記第1の推定値と前記第2の推定値を互いに異なる演算で求め、前記除去手段は、着目する領域の前記第1のプレーンの信号の強度から前記第1の推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化しないのであれば、前記第1のプレーンの信号の強度から前記推定手段によって推定された前記第1の推定値を減じ、前記着目する領域の前記第1のプレーンの信号の強度から前記第1の推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化するのであれば、色相が予め定めた範囲を超えて変化しないように前記第1の推定値を補正し、前記第1のプレーンの信号の強度から補正された前記第1の推定値を減じ、前記着目する領域の前記第2のプレーンの信号の強度から前記第2の推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化しないのであれば、前記第2のプレーンの信号の強度から前記推定手段によって推定された前記第2の推定値を減じ、かつ、前記着目する領域の前記第2のプレーンの信号の強度から前記第2の推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化するのであれば、色相が予め定めた範囲を超えて変化しないように前記第2の推定値を補正し、前記第2のプレーンの信号の強度から補正された前記第2の推定値を減ずることを特徴とする。
また、本発明に係わる画像処理方法は、複数のプレーンの信号を含むカラー画像に基づいて、前記カラー画像における領域別に、第1のプレーンの信号に基づく色の滲み量を示す第1の推定値と、第2のプレーンの信号に基づく色の滲み量を示す第2の推定値を求める推定工程と、前記第1のプレーンの信号の強度から前記第1の推定値を減ずるとともに、前記第2のプレーンの信号の強度から前記第2の推定値を減ずる除去工程と、を有し、前記推定工程では、前記第1の推定値と前記第2の推定値を互いに異なる演算で求め、前記除去工程では、着目する領域の前記第1のプレーンの信号の強度から前記第1の推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化しないのであれば、前記第1のプレーンの信号の強度から前記推定工程によって推定された前記第1の推定値を減じ、前記着目する領域の前記第1のプレーンの信号の強度から前記第1の推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化するのであれば、色相が予め定めた範囲を超えて変化しないように前記第1の推定値を補正し、前記第1のプレーンの信号の強度から補正された前記第1の推定値を減じ、前記着目する領域の前記第2のプレーンの信号の強度から前記第2の推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化しないのであれば、前記第2のプレーンの信号の強度から前記推定工程によって推定された前記第2の推定値を減じ、かつ、前記着目する領域の前記第2のプレーンの信号の強度から前記第2の推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化するのであれば、色相が予め定めた範囲を超えて変化しないように前記第2の推定値を補正し、前記第2のプレーンの信号の強度から補正された前記第2の推定値を減ずることを特徴とする。
以下、添付図面を参照して、本発明の第1の実施形態の画像処理方法について説明する。なお、各図において同一の参照符号は同一部材を示している。
E=(k1(dG+dnB)+k0)×dG/(dG+dnB)
と算出する。
E=(k1(dG−dB)+k0)exp(−k2dB)
と算出し、過除去抑制ステップS154に渡す。このとき両者は領域A1と領域A2の境界線上ではE0=(k1dG+k0)と一致するためマッハバンドを生じない。
b=2(y−z)
とする。この色度座標ab面を図10に記すと、青色は第4象限にあり、B強度から推定量Eを除去すると、点線矢印のように左上方向へ移動する。矢印の始点が除去前の色度であり、先端が推定量Eの除去後の色度である。このことから作用する色相範囲をa’>0かつb’<0に制限する。
となる。このため、ステップS154ではまずこの条件を満たさない画素に対しE’=0とし、除去対象から外す。これにより、これらの画素は除去ステップS155によって変化せず、色滲みの除去ステップS155によって画素値が影響を受けることがない。すなわち、この条件を満たす画素のみが除去対象となる。
E’=min(E,B−(0.22R+0.68G),B−(−1.84R+3.30G))
として、除去ステップS155に渡す。このE’の除去による色度変化は図10に実線矢印で記したように、第4象限内に留まるようになる。これにより、除去ステップにより色相制限範囲を超えてBが減少するのを防ぐことができる。
B=B−E’
とする。このようにBプレーンを修正したカラー画像を色滲み除去部150の出力として視覚補正部160に渡す。
次に、本発明の第2の実施形態の画像処理方法を適用可能なカラー撮像装置200の例を図11に示す。なお、図11では、図3と同じ機能部分には同じ符号を付している。
EV=0.877fR・SR
このfB、fRは飽和部の本来の画像強度に相当し、1〜10程度の値となるが、例えば4とおけば概ね良好な結果を得られる。
EU’=min(EU,U)
V>0の画素に対しては、
EV’=min(EV,V)
として除去ステップS255に渡す。このEU’,EV’の除去に依る色度変化は図16に実線矢印で記したように、各象限内に留まるようになる。更に第二象限ではVのみが変化し、第4象限ではUのみが変化し、第三象限では無変化となる。これはR、Bの変化で言うと、R、Bの強度が輝度Yを下回って減少することはなく、また、元々Yの下にあるR、Bは変化しないことを示す。
U=U−EU’
V=V−EV’
とする。
次に、本発明の第3の実施形態の画像処理方法を適用可能なカラー撮像装置300の例を図18に示す。なお、図18では、図3と同じ機能部分には同じ符号を付している。
R(x+1,y)、B(x+1,y)は、Rプレーン、Bプレーンにおける注目画素の右隣の画素値である。
ここで、k1は正値であり、3前後が好適である。
ここで、k2は正値であり、3前後が好適である。
E=E1 (S=0の場合)
E=E2 (S=1の場合)
とする。
E=(1−S)E1+SE2
とする。
Hori=H(R,G,B)
を求め、その前後一定角δの変化を与えるRの除去量Er,Elを計算する。
H(R−El,G,B)=Hori+δ
δとしては10〜45度程度にするのが好適である
これらのEr,Elと領域判定ステップS353から除去量E’を、
E’=min(E,max(Er,El,0))
とし、除去ステップS355に渡す。
R=R−E’
とする。
また、各実施形態の目的は、次のような方法によっても達成される。すなわち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行する。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、本発明には次のような場合も含まれる。すなわち、プログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される。
110 結像光学系
120 イメージセンサ
130 A/D変換部
140 デモザイク部
150 色滲み除去部
160 視覚補正部
170 圧縮部
180 記録部
Claims (9)
- 複数のプレーンの信号を含むカラー画像に基づいて、前記カラー画像における領域別の色の滲み量を示す推定値を求める推定手段と、
前記複数のプレーンのうちのいずれか一つのプレーンの信号の強度から前記推定値を減ずる除去手段と、を有し、
前記除去手段は、
着目する領域の前記いずれか一つのプレーンの信号の強度から前記推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化しないのであれば、前記いずれか一つのプレーンの信号の強度から前記推定手段によって推定された前記推定値を減じ、
前記着目する領域の前記いずれか一つのプレーンの信号の強度から前記推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化するのであれば、色相が予め定めた範囲を超えて変化しないように前記推定値を補正し、前記いずれか一つのプレーンの信号の強度から補正された前記推定値を減ずることを特徴とする画像処理装置。 - 複数のプレーンの信号を含むカラー画像に基づいて、前記カラー画像における領域別に、第1のプレーンの信号に基づく色の滲み量を示す第1の推定値と、第2のプレーンの信号に基づく色の滲み量を示す第2の推定値を求める推定手段と、
前記第1のプレーンの信号の強度から前記第1の推定値を減ずるとともに、前記第2のプレーンの信号の強度から前記第2の推定値を減ずる除去手段と、を有し、
前記推定手段は、前記第1の推定値と前記第2の推定値を互いに異なる演算で求め、
前記除去手段は、
着目する領域の前記第1のプレーンの信号の強度から前記第1の推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化しないのであれば、前記第1のプレーンの信号の強度から前記推定手段によって推定された前記第1の推定値を減じ、
前記着目する領域の前記第1のプレーンの信号の強度から前記第1の推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化するのであれば、色相が予め定めた範囲を超えて変化しないように前記第1の推定値を補正し、前記第1のプレーンの信号の強度から補正された前記第1の推定値を減じ、
前記着目する領域の前記第2のプレーンの信号の強度から前記第2の推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化しないのであれば、前記第2のプレーンの信号の強度から前記推定手段によって推定された前記第2の推定値を減じ、かつ
前記着目する領域の前記第2のプレーンの信号の強度から前記第2の推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化するのであれば、色相が予め定めた範囲を超えて変化しないように前記第2の推定値を補正し、前記第2のプレーンの信号の強度から補正された前記第2の推定値を減ずることを特徴とする画像処理装置。 - 前記複数のプレーンは、緑、赤、および、青であり、前記いずれか一つの色プレーンは、赤または青であることを特徴とする請求項1に記載の画像処理装置。
- 前記複数のプレーンは、輝度および2つの色差であり、前記第1のプレーンと前記第2のプレーンは、ともに色差であることを特徴とする請求項2に記載の画像処理装置。
- 前記領域は、ひとつの画素であることを特徴とする請求項1乃至4のいずれか1項に記載の画像処理装置。
- 複数のプレーンの信号を含むカラー画像に基づいて、前記カラー画像における領域別の色の滲み量を示す推定値を求める推定工程と、
前記複数のプレーンのうちのいずれか一つのプレーンの信号の強度から前記推定値を減ずる除去工程と、を有し、
前記除去工程では、
着目する領域の前記いずれか一つのプレーンの信号の強度から前記推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化しないのであれば、前記いずれか一つのプレーンの信号の強度から前記推定工程によって推定された前記推定値を減じ、
前記着目する領域の前記いずれか一つのプレーンの信号の強度から前記推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化するのであれば、色相が予め定めた範囲を超えて変化しないように前記推定値を補正し、前記いずれか一つのプレーンの信号の強度から補正された前記推定値を減ずることを特徴とする画像処理方法。 - 複数のプレーンの信号を含むカラー画像に基づいて、前記カラー画像における領域別に、第1のプレーンの信号に基づく色の滲み量を示す第1の推定値と、第2のプレーンの信号に基づく色の滲み量を示す第2の推定値を求める推定工程と、
前記第1のプレーンの信号の強度から前記第1の推定値を減ずるとともに、前記第2のプレーンの信号の強度から前記第2の推定値を減ずる除去工程と、を有し、
前記推定工程では、前記第1の推定値と前記第2の推定値を互いに異なる演算で求め、
前記除去工程では、
着目する領域の前記第1のプレーンの信号の強度から前記第1の推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化しないのであれば、前記第1のプレーンの信号の強度から前記推定工程によって推定された前記第1の推定値を減じ、
前記着目する領域の前記第1のプレーンの信号の強度から前記第1の推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化するのであれば、色相が予め定めた範囲を超えて変化しないように前記第1の推定値を補正し、前記第1のプレーンの信号の強度から補正された前記第1の推定値を減じ、
前記着目する領域の前記第2のプレーンの信号の強度から前記第2の推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化しないのであれば、前記第2のプレーンの信号の強度から前記推定工程によって推定された前記第2の推定値を減じ、かつ
前記着目する領域の前記第2のプレーンの信号の強度から前記第2の推定値を減じた場合に、前記着目する領域の色相が予め定めた範囲を超えて変化するのであれば、色相が予め定めた範囲を超えて変化しないように前記第2の推定値を補正し、前記第2のプレーンの信号の強度から補正された前記第2の推定値を減ずることを特徴とする画像処理方法。 - 請求項6または7に記載の画像処理方法をコンピュータに実行させるためのプログラム。
- 被写体像を光電変換する撮像手段と、
請求項1乃至5のいずれか1項に記載の画像処理装置と、
を具備することを特徴とする撮像装置。
Priority Applications (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006332611A JP5020615B2 (ja) | 2006-12-08 | 2006-12-08 | 画像処理装置及び撮像装置及び画像処理方法及びプログラム |
US11/947,297 US8144984B2 (en) | 2006-12-08 | 2007-11-29 | Image processing apparatus, image processing method, and program for color fringing estimation and compensation |
EP07122694A EP1931130B1 (en) | 2006-12-08 | 2007-12-07 | Image processing apparatus, image processing method, and program |
US13/180,683 US8155441B2 (en) | 2006-12-08 | 2011-07-12 | Image processing apparatus, image processing method, and program for color fringing estimation and compensation |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2006332611A JP5020615B2 (ja) | 2006-12-08 | 2006-12-08 | 画像処理装置及び撮像装置及び画像処理方法及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2008147981A JP2008147981A (ja) | 2008-06-26 |
JP2008147981A5 JP2008147981A5 (ja) | 2010-01-28 |
JP5020615B2 true JP5020615B2 (ja) | 2012-09-05 |
Family
ID=39607666
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2006332611A Expired - Fee Related JP5020615B2 (ja) | 2006-12-08 | 2006-12-08 | 画像処理装置及び撮像装置及び画像処理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5020615B2 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4730412B2 (ja) | 2008-08-12 | 2011-07-20 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JP4618355B2 (ja) | 2008-09-25 | 2011-01-26 | ソニー株式会社 | 画像処理装置及び画像処理方法 |
JP5486273B2 (ja) * | 2008-12-26 | 2014-05-07 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP2011041094A (ja) * | 2009-08-14 | 2011-02-24 | Canon Inc | 画像処理装置、撮像装置および画像処理方法 |
JP5660711B2 (ja) * | 2010-09-16 | 2015-01-28 | 富士フイルム株式会社 | 復元ゲインデータ生成方法 |
US8908062B2 (en) * | 2011-06-30 | 2014-12-09 | Nikon Corporation | Flare determination apparatus, image processing apparatus, and storage medium storing flare determination program |
JP5847471B2 (ja) | 2011-07-20 | 2016-01-20 | キヤノン株式会社 | 画像処理装置、撮像装置、画像処理方法および画像処理プログラム |
JP5917048B2 (ja) * | 2011-08-26 | 2016-05-11 | キヤノン株式会社 | 画像処理装置、画像処理方法およびプログラム |
JP6143575B2 (ja) | 2013-06-25 | 2017-06-07 | キヤノン株式会社 | 画像処理装置、画像処理方法および画像処理プログラム |
WO2019058981A1 (ja) * | 2017-09-25 | 2019-03-28 | 株式会社日立国際電気 | 撮像装置 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001177731A (ja) * | 1999-12-15 | 2001-06-29 | Canon Inc | 画像処理方法、装置および記憶媒体 |
JP3879728B2 (ja) * | 2003-10-14 | 2007-02-14 | 三菱電機株式会社 | 色変換装置および色変換方法 |
JP3944151B2 (ja) * | 2003-10-31 | 2007-07-11 | キヤノン株式会社 | 画像処理方法、画像処理装置および画像処理プログラム |
JP4539278B2 (ja) * | 2004-10-13 | 2010-09-08 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
JP4770154B2 (ja) * | 2004-11-08 | 2011-09-14 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにコンピュータ・プログラム |
US7577292B2 (en) * | 2005-12-30 | 2009-08-18 | Microsoft Corporation | Automatic removal of purple fringing from images |
-
2006
- 2006-12-08 JP JP2006332611A patent/JP5020615B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2008147981A (ja) | 2008-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP1931130B1 (en) | Image processing apparatus, image processing method, and program | |
JP5020615B2 (ja) | 画像処理装置及び撮像装置及び画像処理方法及びプログラム | |
JP4963598B2 (ja) | 画像処理装置及び撮像装置及び画像処理方法及びプログラム | |
JP5349790B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP5132401B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5047048B2 (ja) | 画像処理装置、撮像装置、制御方法、プログラム、及び記憶媒体 | |
JP3944151B2 (ja) | 画像処理方法、画像処理装置および画像処理プログラム | |
KR101536162B1 (ko) | 화상처리장치 및 방법 | |
WO2011122283A1 (ja) | 画像処理装置、およびそれを用いた撮像装置 | |
JP2015156615A (ja) | 画像処理装置、画像処理方法、制御プログラム、および記録媒体 | |
JP4986820B2 (ja) | 画像処理装置及び画像処理方法 | |
JP5917048B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
US10218953B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP5047055B2 (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP5907590B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
JP5274697B2 (ja) | 画像処理装置及び画像処理方法 | |
JP2010068465A (ja) | 画像処理装置、撮像装置及び画像処理方法 | |
JP5178421B2 (ja) | 画像処理装置、画像処理方法及び撮像装置 | |
JP6238673B2 (ja) | 画像処理装置、撮像装置、撮像システム、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP6604737B2 (ja) | 画像処理装置、撮像装置、画像処理方法、画像処理プログラム、および、記憶媒体 | |
JP2017224906A (ja) | 画像処理方法およびそれを用いた撮像装置、画像処理装置、画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091204 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20091204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20111205 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120116 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120305 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120611 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120613 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5020615 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150622 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |