JP4251635B2 - 画像処理装置及び方法 - Google Patents
画像処理装置及び方法 Download PDFInfo
- Publication number
- JP4251635B2 JP4251635B2 JP2004194295A JP2004194295A JP4251635B2 JP 4251635 B2 JP4251635 B2 JP 4251635B2 JP 2004194295 A JP2004194295 A JP 2004194295A JP 2004194295 A JP2004194295 A JP 2004194295A JP 4251635 B2 JP4251635 B2 JP 4251635B2
- Authority
- JP
- Japan
- Prior art keywords
- removal
- image
- pixel
- target image
- target
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
処理対象の画像から顔および器官の領域を抽出し、抽出した顔の領域から器官の領域を除いた除去処理対象領域を決定する決定手段と、
前記除去処理対象領域内において除去対象画像を検出する検出手段と、
前記除去対象画像内の注目画素に対して、該除去対象画像の中心位置から該注目画素までの距離に基づいて大きさが決定される参照領域を設定する設定手段と、
前記参照領域の内部であって、かつ前記除去対象画像の外部にある画素の値に基づいて、前記注目画素の画素値を更新することにより、該除去対象画像を除去する除去手段とを備える。
また、本発明の他の態様による画像処理装置は以下の構成を備える。すなわち、
処理対象の画像から顔および器官の領域を決定する決定手段と、
前記顔の領域内において除去対象画像を検出する検出手段と、
前記除去対象画像内の注目画素に対して、該除去対象画像の中心位置から該注目画素までの距離に基づいて大きさが決定される参照領域を設定する設定手段と、
前記参照領域の内部であって、かつ前記除去対象画像の外部にある画素の値に基づいて、前記注目画素の画素値を更新することにより、該除去対象画像を除去する除去手段と、
前記除去手段による前記注目画素の画素値の除去強度を前記決定手段で決定された前記器官の各々位置から前記注目画素までの距離に基づいて変更する変更手段とを備える。
また、本発明の他の態様による画像処理装置は以下の構成を備える。すなわち、
処理対象の画像から除去対象画像を検出する検出手段と、
前記除去対象画像内の注目画素に対して、該除去対象画像の中心位置から該注目画素までの距離に基づいて大きさが決定される参照領域を設定する設定手段と、
前記参照領域の内部であって、かつ前記除去対象画像の外部にある画素の値に基づいて、前記注目画素の画素値を更新することにより、該除去対象画像を除去する除去手段とを備える。
更に本発明の他の態様による画像処理装置は以下の構成を備える。すなわち、
ユーザの操作入力によって処理対象の画像から除去対象画像を指定する指定手段と、
前記除去対象画像内の注目画素に対して、該除去対象画像の中心位置から該注目画素までの距離に基づいて大きさが決定される参照領域を設定する設定手段と、
前記参照領域の内部であって、かつ前記除去対象画像の外部にある画素の値に基づいて、前記注目画素の画素値を更新することにより、該除去対象画像を除去する除去手段とを備える。
処理対象の画像から顔および器官の領域を抽出し、抽出した顔の領域から器官の領域を除いた除去処理対象領域を決定する決定工程と、
前記除去処理対象領域内において除去対象画像を検出する検出工程と、
前記除去対象画像内の注目画素に対して、該除去対象画像の中心位置から該注目画素までの距離に基づいて大きさが決定される参照領域を設定する設定工程と、
前記参照領域の内部であって、かつ前記除去対象画像の外部にある画素の値に基づいて、前記注目画素の画素値を更新することにより、該除去対象画像を除去する除去工程とを有する。
また、本発明の他の態様による画像処理方法は、
処理対象の画像から顔および器官の領域を決定する決定工程と、
前記顔の領域内において除去対象画像を検出する検出工程と、
前記除去対象画像内の注目画素に対して、該除去対象画像の中心位置から該注目画素までの距離に基づいて大きさが決定される参照領域を設定する設定工程と、
前記参照領域の内部であって、かつ前記除去対象画像の外部にある画素の値に基づいて、前記注目画素の画素値を更新することにより、該除去対象画像を除去する除去工程と、
前記除去工程による前記注目画素の画素値の除去強度を前記決定工程で決定された前記器官の各々の位置から前記注目画素までの距離に基づいて変更する変更工程とを有する。
また、本発明の他の態様による画像処理方法は、
処理対象の画像から除去対象画像を検出する検出工程と、
前記除去対象画像内の注目画素に対して、該除去対象画像の中心位置から該注目画素までの距離に基づいて大きさが決定される参照領域を設定する設定工程と、
前記参照領域の内部であって、かつ前記除去対象画像の外部にある画素の値に基づいて、前記注目画素の画素値を更新することにより、該除去対象画像を除去する除去工程とを有する。
更に、本発明の他の態様による画像処理方法は、
ユーザの操作入力によって処理対象の画像から除去対象画像を指定する指定工程と、
前記除去対象画像内の注目画素に対して、該除去対象画像の中心位置から該注目画素までの距離に基づいて大きさが決定される参照領域を設定する設定工程と、
前記参照領域の内部であって、かつ前記除去対象画像の外部にある画素の値に基づいて、前記注目画素の画素値を更新することにより、該除去対象画像を除去する除去工程とを有する。
(ハードウエア構成)
図1は第1実施形態による画像処理を実現するためのコンピュータにおけるハードウエア構成例を示すブロック図である。図1に示されるように、コンピュータ100は、CPU101、ROM102、RAM103、ディスプレイなどの表示装置104、キーボード107、マウス106などのユーザインターフェース、ハードディスクなどの2次記憶装置105、他のコンピュータやプリンタ109などと接続するためのインターフェース108とで構成されている。以上の構成において、CPU101が2次記憶装置105に記憶された制御プログラムをRAM103へロードし、これを実行することにより以下に説明する各機能が実現される。
図2は、本実施形態における画像処理の機能構成を示すブロック図である。以下、図2を参照しながら本実施形態の画像処理の概要を説明する。図2に示すように、本実施形態の画像処理は、顔・器官位置検出部201、除去対象物検出部202、除去処理部203、除去強度入力部204を含む。
上述したように、本実施形態においては、顔・器官位置検出部201が、入力画像中から人物の顔および目や口などの器官位置情報を検出する。顔および器官位置の検出に関しては、従来より様々な方法が提案されている。
図4は、除去対象物検出部202の処理を示すフローチャートである。除去対象物検出部202では、器官位置情報を基に、まずステップS401において、入力画像に対し、除去対象物を検出する対象領域を表すマスク情報を生成する。
以下では、除去処理部203の処理の説明を行う。図7は除去処理部の処理のフローチャートを示したものである。除去処理部203では、除去対象物検出部202で検出した除去対象物の中心位置と半径を用いて除去対象物を削除、あるいは目立たなくする処理を行う。本実施形態で説明する除去処理では、基本的に、除去対象物に隣接する領域を参照し、その平均画素値を用いて除去対象物内の画素の置換を行う。以下、図7のフローチャートに従って説明する。
M=R−d+Q
により算出する。
Rnew(x,y)=L(d)×w×Rref(x,y)+(1.0−L(d)×w)×Rorg(x,y)
で求めることができる。
第1実施形態では、自動で黒いホクロやシミなどを、検出した顔および器官位置に基づいて適切に除去する方法について説明した。しかし、ニキビなど、除去対象物の色が肌の色とそれほど差異がない場合、除去対象物検出部202で検出できない可能性がある。第2実施形態ではそのような場合に対応するべく、更に、ユーザが手動で除去対象物を指定し、指定された除去対象物を除去することを可能とした構成について説明する。
第1実施形態では、自動で顔のホクロやシミを除去する方法を説明した。しかし、人間の顔の中には、その人を特徴付ける上で重要なホクロも存在し、そのようなホクロは除去しないようにしたい場合もある。
第4実施形態では、ホクロやシミを除去する際に、ユーザが入力した被写体情報、例えば、被写体の性別や年齢に応じて、除去処理を適応的に変化させる方法について説明する。
これまで説明した実施形態では、検出した器官位置情報を基にマスク情報を生成し、器官領域付近では除去対象物の検出を行わないようにすることで、器官領域付近では除去処理を行わないようにしたが、本発明はこれに限定されるものではない。例えば、除去処理部203内において除去処理を実行する際に、目の中心位置から除去対象物までの距離を算出し、距離が近いほど除去強度を徐々に弱めるように構成することも容易に可能である。この場合、マスク情報は不要となる。なお、この場合、複数検出されている器官位置との距離のうち、最小の距離を用いて除去強度を決定するようにしてもよい。
また、上記実施形態では検出する器官として目と口を用いた例を説明したが、その他にも、耳や鼻等を検出して、これをマスク情報に反映させるようにしてもよいことは言うまでもない。
また、器官や顔の領域を楕円により近似したが、他の閉図形領域を用いてもよいことはいうまでも無い。例えば、顔の輪郭を忠実に抽出して得られた閉図形を用いることもできる。しかしながら、輪郭検出法では、顔の近くに肌色の壁などがあると、壁の部分も肌色とするなど、必ず誤検出が生じてしまう。また、顔輪郭は一般には複雑な形状を有するため、輪郭抽出等、処理量が増加することも考えられる。以上のことを鑑みると、単純に楕円で顔輪郭を近似することのメリットは大である。
Claims (22)
- 処理対象の画像から顔および器官の領域を抽出し、抽出した顔の領域から器官の領域を除いた除去処理対象領域を決定する決定手段と、
前記除去処理対象領域内において除去対象画像を検出する検出手段と、
前記除去対象画像内の注目画素に対して、該除去対象画像の中心位置から該注目画素までの距離に基づいて大きさが決定される参照領域を設定する設定手段と、
前記参照領域の内部であって、かつ前記除去対象画像の外部にある画素の値に基づいて、前記注目画素の画素値を更新することにより、該除去対象画像を除去する除去手段とを備えることを特徴とする画像処理装置。 - 前記設定手段において、該除去対象画像の中心位置から該注目画素までの距離が大きいほど、参照領域のサイズが小さくなるように該参照領域を設定することを特徴とする請求項1に記載の画像処理装置。
- 前記除去手段は、前記参照領域の内部であって、かつ前記除去対象画像の外部にある画素値の平均値を算出し、前記平均値と前記注目画素の画素値とに基づいて該注目画素の画素値を更新することを特徴とする請求項1または2に記載の画像処理装置。
- 前記除去手段は、前記平均値と前記注目画素の画素値とを所定の合成比率で合成し、該除去対象画像の中心位置から該注目画素までの距離が大きくなるほど前記平均値の割合が小さくなるように前記合成比率が設定されることを特徴とする請求項3に記載の画像処理装置。
- 前記除去対象画像の除去強度を設定する除去強度設定手段を更に備え、
前記除去手段は、前記平均値と前記注目画素の画素値とを所定の合成比率で合成し、前記除去強度が大きいほど前記平均値の割合が大きくなるように前記合成比率が設定されることを特徴とする請求項3に記載の画像処理装置。 - 前記処理対象の画像において、ユーザの操作入力によって除去対象画像を指定する指定手段と、
前記指定手段で指定された除去対象画像を前記除去手段を用いて除去する手動除去手段と、
前記指定手段で指定された除去対象画像の少なくとも一部が前記除去処理対象領域の外部にある場合に、その旨の警告を提示する警告提示手段とを更に備えることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 - 前記処理対象の画像において、ユーザの操作入力によって除去対象画像を指定する指定手段と、
前記指定手段で指定された除去対象画像を前記除去手段を用いて除去する手動除去手段とを更に備え、
前記手動除去手段では、前記指定手段で指定された除去対象画像の少なくとも一部が前記除去処理対象領域の外部にある場合には前記除去手段の除去強度を下げて前記除去対象画像の除去を行うことを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 - 前記指定手段は、
前記処理対象の画像を表示する表示手段と、
ユーザからの操作入力に応じて、前記表示手段で表示された前記処理対象の画像上に閉図形を描画する描画手段とを備え、
前記描画手段で描画された閉図形の部分を前記除去対象画像とすることを特徴とする請求項6または7に記載の画像処理装置。 - 前記処理対象の画像において、ユーザの操作入力によって非処理領域を指定する指定手段を更に備え、
前記決定手段は、更に前記指定手段で指定された非処理領域を除外して前記除去処理対象領域を決定することを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 - 前記指定手段は、
前記処理対象の画像を表示する表示手段と、
ユーザからの操作入力に応じて、前記表示手段で表示された前記処理対象の画像上に閉図形を描画する描画手段とを備え、
前記描画手段で描画された閉図形を前記非処理領域とすることを特徴とする請求項9に記載の画像処理装置。 - 前記処理対象の画像の被写体に関する情報を入力する入力手段と、
前記被写体に関する情報に基づいて、前記決定手段による除去処理対象範囲の決定、前記検出手段による除去対象画像の検出、前記除去手段による除去対象画像の除去の少なくとも何れかにおける処理内容を変更する変更手段とを更に備えることを特徴とする請求項1乃至5のいずれか1項に記載の画像処理装置。 - 処理対象の画像から顔および器官の領域を決定する決定手段と、
前記顔の領域内において除去対象画像を検出する検出手段と、
前記除去対象画像内の注目画素に対して、該除去対象画像の中心位置から該注目画素までの距離に基づいて大きさが決定される参照領域を設定する設定手段と、
前記参照領域の内部であって、かつ前記除去対象画像の外部にある画素の値に基づいて、前記注目画素の画素値を更新することにより、該除去対象画像を除去する除去手段と、
前記除去手段による前記注目画素の画素値の除去強度を前記決定手段で決定された前記器官の各々の位置から前記注目画素までの距離に基づいて変更する変更手段とを備えることを特徴とする画像処理装置。 - 処理対象の画像から除去対象画像を検出する検出手段と、
前記除去対象画像内の注目画素に対して、該除去対象画像の中心位置から該注目画素までの距離に基づいて大きさが決定される参照領域を設定する設定手段と、
前記参照領域の内部であって、かつ前記除去対象画像の外部にある画素の値に基づいて、前記注目画素の画素値を更新することにより、該除去対象画像を除去する除去手段とを備えることを特徴とする画像処理装置。 - ユーザの操作入力によって処理対象の画像から除去対象画像を指定する指定手段と、
前記除去対象画像内の注目画素に対して、該除去対象画像の中心位置から該注目画素までの距離に基づいて大きさが決定される参照領域を設定する設定手段と、
前記参照領域の内部であって、かつ前記除去対象画像の外部にある画素の値に基づいて、前記注目画素の画素値を更新することにより、該除去対象画像を除去する除去手段とを備えることを特徴とする画像処理装置。 - 前記設定手段において、該除去対象画像の中心位置から該注目画素までの距離が大きいほど、参照領域のサイズが小さくなるように該参照領域を設定することを特徴とする請求項14記載の画像処理装置。
- 前記除去手段は、前記参照領域の内部であって、かつ前記除去対象画像の外部にある画素値の平均値を算出し、前記平均値と前記注目画素の画素値に基づいて該注目画素の画素値を更新することを特徴とする請求項14または15記載の画像処理装置。
- 処理対象の画像から顔および器官の領域を抽出し、抽出した顔の領域から器官の領域を除いた除去処理対象領域を決定する決定工程と、
前記除去処理対象領域内において除去対象画像を検出する検出工程と、
前記除去対象画像内の注目画素に対して、該除去対象画像の中心位置から該注目画素までの距離に基づいて大きさが決定される参照領域を設定する設定工程と、
前記参照領域の内部であって、かつ前記除去対象画像の外部にある画素の値に基づいて、前記注目画素の画素値を更新することにより、該除去対象画像を除去する除去工程とを有することを特徴とする画像処理方法。 - 処理対象の画像から顔および器官の領域を決定する決定工程と、
前記顔の領域内において除去対象画像を検出する検出工程と、
前記除去対象画像内の注目画素に対して、該除去対象画像の中心位置から該注目画素までの距離に基づいて大きさが決定される参照領域を設定する設定工程と、
前記参照領域の内部であって、かつ前記除去対象画像の外部にある画素の値に基づいて、前記注目画素の画素値を更新することにより、該除去対象画像を除去する除去工程と、
前記除去工程による前記注目画素の画素値の除去強度を前記決定工程で決定された前記器官の各々の位置から前記注目画素までの距離に基づいて変更する変更工程とを有することを特徴とする画像処理方法。 - 処理対象の画像から除去対象画像を検出する検出工程と、
前記除去対象画像内の注目画素に対して、該除去対象画像の中心位置から該注目画素までの距離に基づいて大きさが決定される参照領域を設定する設定工程と、
前記参照領域の内部であって、かつ前記除去対象画像の外部にある画素の値に基づいて、前記注目画素の画素値を更新することにより、該除去対象画像を除去する除去工程とを有することを特徴とする画像処理方法。 - ユーザの操作入力によって処理対象の画像から除去対象画像を指定する指定工程と、
前記除去対象画像内の注目画素に対して、該除去対象画像の中心位置から該注目画素までの距離に基づいて大きさが決定される参照領域を設定する設定工程と、
前記参照領域の内部であって、かつ前記除去対象画像の外部にある画素の値に基づいて、前記注目画素の画素値を更新することにより、該除去対象画像を除去する除去工程とを有することを特徴とする画像処理方法。 - 請求項17乃至20のいずれか1項に記載の画像処理方法をコンピュータに実行させるための制御プログラム。
- 請求項17乃至20のいずれか1項に記載の画像処理方法をコンピュータに実行させるための制御プログラムを格納した記憶媒体。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004194295A JP4251635B2 (ja) | 2004-06-30 | 2004-06-30 | 画像処理装置及び方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004194295A JP4251635B2 (ja) | 2004-06-30 | 2004-06-30 | 画像処理装置及び方法 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2006018467A JP2006018467A (ja) | 2006-01-19 |
JP2006018467A5 JP2006018467A5 (ja) | 2006-03-02 |
JP4251635B2 true JP4251635B2 (ja) | 2009-04-08 |
Family
ID=35792699
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004194295A Expired - Fee Related JP4251635B2 (ja) | 2004-06-30 | 2004-06-30 | 画像処理装置及び方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4251635B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7889242B2 (en) * | 2006-10-26 | 2011-02-15 | Hewlett-Packard Development Company, L.P. | Blemish repair tool for digital photographs in a camera |
US20080187184A1 (en) * | 2007-02-01 | 2008-08-07 | Kabushiki Kaisha Toshiba | System and method for facial image enhancement |
JP2008234342A (ja) | 2007-03-20 | 2008-10-02 | Fujifilm Corp | 画像処理装置及び画像処理方法 |
JP4289415B2 (ja) | 2007-03-27 | 2009-07-01 | セイコーエプソン株式会社 | 画像変形のための画像処理 |
CN102027505A (zh) * | 2008-07-30 | 2011-04-20 | 泰塞拉技术爱尔兰公司 | 使用脸部检测的自动脸部和皮肤修饰 |
JP4930525B2 (ja) * | 2009-02-16 | 2012-05-16 | セイコーエプソン株式会社 | 画像変形のための画像処理 |
JP5286215B2 (ja) * | 2009-09-30 | 2013-09-11 | エヌ・ティ・ティ・コムウェア株式会社 | 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム |
JP2013074569A (ja) * | 2011-09-29 | 2013-04-22 | Sanyo Electric Co Ltd | 画像処理装置 |
JP6088260B2 (ja) * | 2013-01-24 | 2017-03-01 | 株式会社リコー | 処理装置、処理システム、処理方法及びプログラム |
JP7003558B2 (ja) * | 2017-10-12 | 2022-01-20 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7194348B2 (ja) * | 2018-07-11 | 2022-12-22 | オムロン株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP7383891B2 (ja) * | 2019-03-25 | 2023-11-21 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
JP7400198B2 (ja) * | 2019-03-25 | 2023-12-19 | カシオ計算機株式会社 | 画像処理装置、画像処理方法、及びプログラム |
CN113808027B (zh) | 2020-06-16 | 2023-10-17 | 北京达佳互联信息技术有限公司 | 一种人体图像处理方法、装置、电子设备及存储介质 |
JP6994704B1 (ja) * | 2020-12-22 | 2022-01-14 | 株式会社スワローインキュベート | 虹彩検出方法、虹彩検出装置、及び虹彩検出プログラム |
-
2004
- 2004-06-30 JP JP2004194295A patent/JP4251635B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2006018467A (ja) | 2006-01-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4251635B2 (ja) | 画像処理装置及び方法 | |
JP5538909B2 (ja) | 検出装置およびその方法 | |
EP2797053B1 (en) | Image compositing device and image compositing method | |
JP3684017B2 (ja) | 画像処理装置及び方法 | |
JP4574249B2 (ja) | 画像処理装置及びその方法、プログラム、撮像装置 | |
US7724950B2 (en) | Image processing apparatus, image processing method, computer program, and storage medium | |
EP1596573B1 (en) | Image correction apparatus | |
JP5713790B2 (ja) | 画像処理装置、画像処理方法、及びプログラム | |
US20060280363A1 (en) | Image processing apparatus and method, computer program, and storage medium | |
JP2007504719A (ja) | 組み込みアプリケーションに適した、画像における赤目の検出と補正を行うシステム及び方法 | |
JP2002342756A (ja) | デジタル画像において目と口の位置を検出する方法 | |
JP2001169080A (ja) | カラー画像処理方法、カラー画像処理装置、及びそのための記録媒体 | |
JP2002183731A (ja) | 画像内の人間の目、顔及び他の対象物を検出する画像処理方法及びその装置 | |
JP2011059194A (ja) | 制御装置、画像形成装置、画像形成装置の制御方法、プログラムおよび記録媒体 | |
JP5436104B2 (ja) | 画像検索装置及び画像検索方法 | |
CN112396050B (zh) | 图像的处理方法、设备以及存储介质 | |
EP2782065B1 (en) | Image-processing device removing encircling lines for identifying sub-regions of image | |
JPWO2017061106A1 (ja) | 情報処理装置、画像処理システム、画像処理方法及びプログラム | |
JP4853560B2 (ja) | 画像処理方法、画像処理装置およびコンピュータプログラム | |
JP2004120092A (ja) | 画像処理装置、画像処理システム、画像処理方法、記憶媒体、及びプログラム | |
JP2009237627A (ja) | 画像処理方法、画像処理装置、画像処理プログラムおよび印刷装置 | |
JP2006113658A (ja) | 画像処理装置及び方法、及びプログラムを記録した記憶媒体 | |
JP3754786B2 (ja) | 画像処理装置およびその方法 | |
JP6711031B2 (ja) | 画像処理装置、画像処理方法、画像処理システムおよびプログラム | |
JP3927979B2 (ja) | 画像処理装置及び方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051208 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081009 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081017 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090116 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090119 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4251635 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120130 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130130 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140130 Year of fee payment: 5 |
|
S802 | Written request for registration of partial abandonment of right |
Free format text: JAPANESE INTERMEDIATE CODE: R311802 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
LAPS | Cancellation because of no payment of annual fees |