JP3682021B2 - ソフトフォーカス処理装置、撮像装置及び携帯端末 - Google Patents
ソフトフォーカス処理装置、撮像装置及び携帯端末 Download PDFInfo
- Publication number
- JP3682021B2 JP3682021B2 JP2001400008A JP2001400008A JP3682021B2 JP 3682021 B2 JP3682021 B2 JP 3682021B2 JP 2001400008 A JP2001400008 A JP 2001400008A JP 2001400008 A JP2001400008 A JP 2001400008A JP 3682021 B2 JP3682021 B2 JP 3682021B2
- Authority
- JP
- Japan
- Prior art keywords
- pass filter
- low
- soft focus
- image
- video signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Studio Circuits (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
【発明の属する技術分野】
この発明は、撮像装置のソフトフォーカス撮像機能(既撮像の画像からソフトフォーカスのかかった画像を得る機能)に関するものである。又、本発明に係る撮像装置は、例えば携帯電話やPDA(personal digital assistant)等の携帯端末に適用可能である。
【0002】
【従来の技術】
「ソフトフォーカス」とは、ソフト描写とも言われる撮影技法の一つであり、明るい部分(ハイライト)の光を滲ませたりして柔らかい感じの画面効果を得ることである。従来の銀塩フィルムを用いる銀塩カメラ等においては、通常、次の様にしてソフトフォーカス撮像を行う。
【0003】
先ず、図7に示す様に、被写体12の像をレンズ系1によりフィルム13上に合焦させて、1度目の撮像を行う。これにより、例えば図10に示す様な合焦した像を撮像することが出来る。次に、図8に示す様に、レンズ系1を動かすことで被写体12の結像を大きくぼかして、再度撮像する。これにより、図11に示す様な、レンズ系1の合焦位置をずらしたピンぼけ画像を撮像することが出来る。この様に図7及び図8に示す二重露光を行なうことにより、図10に示す像と図11に示す像とをフィルム13上で重ね合わすことが出来、その結果、図12に示す様に、撮像した被写体をソフトフォーカスに見せることが出来る。但し、この方法は多重露光を行なうため、動きのある物については、二重露光の間に被写体が移動し、ソフトフォーカスに撮像することが出来ない。
【0004】
又、ソフトフォーカス用のフィルタを利用する方法もある。例えば、図9に示す様に、その表面にグリス15を塗布したフィルタ14をカメラ16のレンズの前に装着することで、像を柔らかくぼかした撮像を行なうことが出来る。
【0005】
【発明が解決しようとする課題】
従来の撮像装置は、以上の様な撮像方式によりソフトフォーカスの撮像を行なうため、以下に示す問題点が有る。
【0006】
先ず、図7及び図8に示す第1従来技術では、動きのある被写体をソフトフォーカスで撮像することが出来ないと言う問題点がある。更に、レンズ系1を動かすための機構部品が必要であるという問題点がある。
【0007】
次に、図9に示す第2従来技術では、フィルタ14の様な別部品を必要とすると言う問題点がある。
【0008】
この発明は以上のような問題点を解決するために成されたものであり、簡易な方法によってソフトフォーカスの画像を撮像出来る撮像装置、及び、当該撮像装置を具備した携帯端末を実現することを目的としている。
【0009】
【課題を解決するための手段】
請求項1の発明は、ソフトフォーカス処理装置であって、被写体を合焦させて撮像することにより得られる映像信号を受信する入力端と、前記入力端より入力する前記映像信号のレベルを減衰させる第1利得調整手段と、前記第1利得調整手段の出力信号の直流成分を調整する第1オフセット調整手段と、前記映像信号に対してローパスフィルタ処理を行うローパスフィルタ手段と、前記ローパスフィルタ手段の出力信号のレベルを減衰させる第2利得調整手段と、前記第2利得調整手段の出力信号の直流成分を調整する第2オフセット調整手段と、前記第1オフセット調整手段の出力信号と前記第2オフセット調整手段の出力信号とを加算する加算手段とを備えることを特徴とする。
【0010】
しかも、請求項1の発明は、前記映像信号に対してハイパスフィルタ処理を行うハイパスフィルタ手段と、前記ハイパスフィルタ手段の出力信号を積算する積算手段と、前記積算手段の積算値に応じて、前記第1利得調整手段の利得値、前記第1オフセット手段の直流成分量、前記第2利得調整手段の利得値、及び前記第2オフセット手段の直流成分量を定める制御手段とを更に備えることを特徴とする。
【0011】
請求項2の発明は、請求項1記載のソフトフォーカス処理装置であって、前記ローパスフィルタ手段は、第1ローパスフィルタ手段と、前記第1ローパスフィルタ手段の周波数特性とは異なる周波数特性を有する第2ローパスフィルタ手段と、前記第1ローパスフィルタ手段の出力信号及び前記第2ローパスフィルタ手段の出力信号の内の何れか一方を選択するスイッチ手段とを備えており、前記制御手段は、前記積算手段の前記積算値に応じて前記スイッチ手段の選択動作を制御することを特徴とする。
【0012】
請求項3の発明は、撮像装置であって、請求項1又は2の何れかに記載の前記ソフトフォーカス処理装置を備えることを特徴とする。
【0013】
請求項4の発明は、携帯端末であって、請求項3記載の前記撮像装置を備えることを特徴とする。
【0014】
【発明の実施の形態】
図1は、本発明に係る撮像装置の構成を示すブロック図である。図1において、1はレンズ系、2は撮像素子(CCD等)、3は増幅器、4は映像信号処理回路、5はソフトフォーカス処理回路(ソフトフォーカス処理装置とも称す)、6は出力端子である。以下に、本撮像装置の動作を説明する。
【0015】
レンズ系1は、被写体(図示せず)を撮像素子2上に結像する。ここでは、被写体の像を常に撮像素子2上に合焦させる様に、レンズ系1及び撮像素子2は配置されている。撮像素子2は、結像した光学像を電気信号に変換する。増幅器3は、撮像素子2の出力端から出力される電気信号を増幅する。更に、映像信号処理回路4は、本撮像装置に必要な所定の信号処理を行ない、撮像した被写体の映像信号V1を得る。例えば、同回路4は、撮像素子2から得られる電気信号からノイズ成分を除去する処理を行ったり、あるいは、階調特性補正(ガンマ補正)を行なったりする。カラー撮像装置の場合には、同回路4は白バランス処理等をも行うが、ここでは、同回路4の処理内容の詳細は問わない。
【0016】
被写体が人物顔などの場合には、信号処理回路4から得られる画像は、例えば図10に示す様な焦点の合ったものとなる。
【0017】
ソフトフォーカス処理回路5は、本発明の中核を成す部分であり、信号処理回路4から得られる画像(映像信号V1)からソフトフォーカス処理のかかった画像(映像信号V3)を電気的信号処理により生成する回路である。ここで言う「ソフトフォーカス処理」とは、既述した通り、柔らかい感じの画面効果を得ることである。以下、本回路5の具体的な構成及び動作を、実施の形態1〜4として説明する。
【0018】
(実施の形態1)
図2は、実施の形態1に係るソフトフォーカス処理回路5を備えた撮像装置の構成を示す図である。図2中、図1と同一の参照符号を有するものは、同一のものを示す。図2において、ITは入力端、5aは第1乗算器(第1利得調整手段に該当)、5bは第1加算器(第1オフセット調整手段に該当)、5cは第3加算器(加算手段に該当)、5dはLPF(Low Pass Filter)(ローパスフィルタ手段に該当)、5eは第2乗算器(第2利得調整手段に該当)、5fは第2加算器(第2オフセット調整手段に該当)である。次に、ソフトフォーカス処理回路5の動作について記載する。
【0019】
先ず、被写体を撮像素子2に合焦させて同素子2で結像した光学像を撮像して得られる電気信号は、増幅された上で、映像信号処理回路4によって所定の処理を受ける。そして、同回路4から出力される映像信号V1は、入力端ITで受信される。
【0020】
次に、第1乗算器5aは、入力した映像信号V1に対して1よりも小さい定数k1(k1<1)を乗算することにより、映像信号V1の利得を調整する(レベル減衰)。更に、第1加算器5bは、利得調整後の映像信号V1に対して定数k2を加算することにより、同映像信号の直流成分を調整する。その結果、上記処理により得られる第1映像信号V1A(=k1×V1+k2)は、その信号レベルを減衰させられ、且つ、一定の値分のオフセットを加えられた信号となる。
【0021】
他方、LPF5dは、入力した映像信号V1の低周波成分のみを通過させる。このローパスフィルタ処理により得られる信号V2が与える画像は、ピントのボケた様な画像となる。例えば、図10に示す顔画像は、図11に示す様な画像となる。更に、第2乗算器5eは、LPF5dを介して得られた映像信号V2に対して定数i1(i1<1)を乗算して、映像信号V2の利得を調整する(レベル減衰)。更に、第2加算器5fは、利得調整済みの映像信号V2に対して定数i2を加算することにより、同映像信号の直流成分を調整する。その結果、上記一連の処理により得られる、低周波成分のみから成る第2映像信号V2A(=i1×V1+i2)は、その信号レベルを減衰させられ、且つ、一定の値分のオフセットを加えられた信号となる。
【0022】
次に、第3加算器5cは、第1加算器5bが出力する第1映像信号V1Aと、第2加算器5fが出力する第2映像信号V2Aとの加算処理を行う。これにより、例えば、図10の焦点が合った顔画像と図11の焦点が合っていない顔画像とが加算された状態となり、映像信号V3が与える画像は、図12に示す様な、柔らかい印象を与えるソフトフォーカスの掛かった画像となる。即ち、映像信号V3が与える画像は、焦点の合った画像を単にぼかせただけの画像とは明白に異なる。以上の信号処理によって得られる画像は、出力端子6より出力される。
【0023】
図13は、図10の顔画像を与える映像信号V1に対してローパスフィルタ処理を行った後の出力信号V2の顔画像が図12の顔画像に近くなる様に、LPF5dの周波数特性を変えることにより得られた顔画像の一例を示す図である。しかしながら、図13に示す顔画像は、やはり単なるピントのボケた顔画像であって、合焦した画像でありながら柔らかい印象を与えるソフトフォーカス画像とは異なる。
【0024】
ここで、第1乗算器5a及び第2乗算器5eは、第3加算器5cによって2つの画像が合成されることで映像信号V3が飽和しない様にするために、その信号レベルを減衰させるものである。又、第1加算器5b及び第2加算器5fによってDC成分を加算することで画像にオフセットを与えることになり、柔らかい感じのする画像を得ることが出来る。
【0025】
(実施の形態2)
本実施の形態は、実施の形態1の改良に関するものであり、撮像素子より得られる映像信号V1の高周波成分の積算値に基づいて既述の各定数k1,k2,i1,i2の設定値を変更する点に特徴を有する。
【0026】
図3は、実施の形態2に係るソフトフォーカス処理回路5Aを備えた撮像装置の構成を示す図である。図3中、図2と同一の参照符号を有するものは、同一のものを示す。図3において、7は映像信号V1に対してハイパスフィルタ処理を行うHPF(High Pass Filter)(ハイパスフィルタ手段に該当)、8は積算回路(積算手段に該当)、9はマイクロコンピュータ(以下、マイコンと称する)である。尚、後述する通り、マイコン9は、「積算手段の積算値に応じて、上記第1利得調整手段の利得値、上記第1オフセット手段の直流成分量、上記第2利得調整手段の利得値、及び上記第2オフセット手段の直流成分量の各々を定める制御手段」として、機能する。以下に、図3の撮像装置における特徴部分の動作を説明する。
【0027】
HPF7は、信号処理回路4から得られる画像から高周波成分のみを通過させる。更に、積算回路8は、HPF7から出力される映像信号V1の高周波成分を積算し、その積算値をマイコン9へ出力する。マイコン9は、得られた積算値から、その画像の種類を判別する。即ち、得られた積算値が相対的に高いときには、撮像した画像は高周波成分を多く含む画像である。逆に、得られた積算値が相対的に低いときには、撮像した画像は、高周波成分を多く含まない画像であるか、あるいは、レンズ系1の状態に起因して被写体の合焦度が不十分な画像である。そこで、マイコン9は、得られた積算値に応じて、定数k1,k2,i1,i2の設定値を変更する。例えば、定数k1と定数k2との比において、定数k2の値を大きく設定し、定数k1の値を小さく設定すれば、ソフトフォーカスの感じとしてはより一層柔らかな感じの画像が得られる。
【0028】
以上の通り、本実施の形態によれば、ソフトフォーカスの度合いを、得られた画像の種類に応じて変更することが可能となる。
【0029】
(実施の形態3)
本実施の形態は、実施の形態2の改良に関するものである。尚、以下に述べる本実施の形態の特徴部分(構成要素5g,5h,5i,7,8,9)を図1のソフトフォーカス処理回路5に適用することも可能である。
【0030】
図4は、実施の形態3に係るソフトフォーカス処理回路5Bを備えた撮像装置の構成を示す図である。図4中、図3と同一の参照符号を有するものは、同一のものを示す。図4の装置が図3の装置と構成上異なる点は、LPF5dに代えて、第1LPF5g、第2LPF5h及びスイッチ5i(スイッチ手段に該当)を備えた点にある。しかも、第1LPF5gが有する、その通過させる信号の第1周波数特性と、第2LPF5hが有する、その通過させる信号の第2周波数特性とは、互いに異なる。以下、図4に示す撮像装置の動作の内で、図3に示した撮像装置のそれと異なる動作についてのみ記載する。
【0031】
マイコン9は、▲1▼実施の形態2と同様に、積算回路8の積算値に応じて定数k1,k2,i1,i2の値を変えると共に、▲2▼積算回路8の積算値に応じてスイッチ5iを切り替える(上記積算値に応じてその指令内容が定まる制御信号VCTによってスイッチ5iの選択動作を制御する)。これにより、スイッチ5iは、第1LPF5gの出力信号及び第2LPF5hの出力信号の何れか一方を、低周波数成分のみから成る映像信号V2として選択する。
【0032】
この様に、スイッチ5iにおいて2種類のLPFを選択することで、ソフトフォーカスのソフト感を変えることが出来る。
【0033】
(実施の形態4)
実施の形態1〜3において記載したソフトフォーカス処理装置5、5A、5Bの各々を、信号処理可能なマイコンを用いてソフトウェアによって実現することは、可能である。そこで、以下では、一例として、本実施の形態を実施の形態1に適用した場合について、説明する。
【0034】
図5は、実施の形態1に係るソフトフォーカス処理装置5の機能をプログラム制御の下でソフトウェアによって実現して成るソフトフォーカス処理装置5Cの処理手順を記載したフローチャートである。その処理手順は以下の通りである。
【0035】
先ず、本装置5CのCPU(図示せず)は、撮像素子2(図1)によって得られた入力映像信号V1の低域周波数成分だけを通過させるローパスフィルタ処理を行なう(ステップS1)。次に、上記CPUは、ステップS1の処理を行なった後の信号レベルを減衰させる利得調整処理及びオフセットを加算するDC調整処理を、順次に実行する(ステップS2)。次に、上記CPUは、入力映像信号V1の信号レベルを減衰させる利得調整及びDC調整(オフセット調整)の各処理を順次に行なう(ステップS3)。最後に、上記CPUは、ステップS2の処理を行なった後の画像とステップS3の処理を行なった後の画像とを加算する。
【0036】
以上の処理により、ソフトウェアを用いた電気信号処理により、容易にソフトフォーカス処理を実現することが出来る。
【0037】
尚、図5のステップS3を最初に行い、その後に、ステップS1及びステップS2を行う様にしても良いことは、勿論である。
【0038】
(応用例)
図6は、図1に示す撮像装置(図2乃至図5の何れかのソフトフォーカス処理装置を含む)を具備した携帯電話10を模式的に示す斜視図である。携帯電話10の一部に上記撮像装置を組み込み、本撮像装置によって撮像した画像をLED等の表示装置11上に表示したり、あるいは当該画像を伝送したりする。
【0039】
又、本発明に係る上記撮像装置を、携帯端末の一つであるPDA用カメラとして用いることも可能である。
【0040】
【発明の効果】
請求項1、3及び4の発明によれば、多重撮像を行なったり、あるいはレンズ系を移動させたりすること無く、得られた画像からソフトフォーカスのかかった画像を電気信号処理によって容易に得ることが出来ると言う効果がある。
【0041】
請求項1の発明によれば、ソフトフォーカスの度合いを、得られた画像に応じて変えることが出来ると言う効果がある。
【0042】
請求項2の発明によれば、ソフトフォーカスのボケ度合いを、得られた画像に応じて変えることが出来ると言う効果がある。
【0043】
請求項4の発明によれば、ソフトフォーカス撮像の出来る撮像装置を具備した携帯端末を得ることができる。
【図面の簡単な説明】
【図1】 本発明に係る撮像装置の構成を示すブロック図である。
【図2】 本発明の実施の形態1に係るソフトフォーカス処理装置を含む撮像装置の構成を示すブロック図である。
【図3】 本発明の実施の形態2に係るソフトフォーカス処理装置を含む撮像装置の構成を示すブロック図である。
【図4】 本発明の実施の形態3に係るソフトフォーカス処理装置を含む撮像装置の構成を示すブロック図である。
【図5】 本発明の実施の形態4に係るソフトフォーカス処理装置における信号処理アルゴリズムを示すフローチャートである。
【図6】 撮像装置を具備した携帯電話を示す図である。
【図7】 従来のソフトフォーカス撮影の方法を示す図である。
【図8】 従来のソフトフォーカス撮影の方法を示す図である。
【図9】 従来の他のソフトフォーカス撮影方法を示す図である。
【図10】 焦点を合わして撮像したときの被写体の一例を示す図である。
【図11】 被写体のピントをぼかして撮像したときの被写体の一例を示す図である。
【図12】 ソフトフォーカス処理の掛かった被写体の一例を示す図である。
【図13】 ソフトフォーカス処理の掛かった被写体に近づける様にピントの合った映像信号にLPF処理を加えたときの画像を示す図である。
【符号の説明】
1 光学系(レンズ系)、2 撮像素子、3 増幅器、4 信号処理回路、5ソフトフォーカス処理回路、5a 第1乗算器、5b 第1加算器、5c 第3加算器、5d LPF、5e 第2乗算器、5f 第2加算器、5g 第1LPF、5h 第2LPF、5i スイッチ、6 出力端子、7 HPF、8 積算回路、9 マイコン、10 携帯電話、11 表示装置、12 被写体、13フィルム、14 フィルタ、15 グリス、16 カメラ。
Claims (4)
- 被写体を合焦させて撮像することにより得られる映像信号を受信する入力端と、
前記入力端より入力する前記映像信号のレベルを減衰させる第1利得調整手段と、
前記第1利得調整手段の出力信号の直流成分を調整する第1オフセット調整手段と、
前記映像信号に対してローパスフィルタ処理を行うローパスフィルタ手段と、
前記ローパスフィルタ手段の出力信号のレベルを減衰させる第2利得調整手段と、
前記第2利得調整手段の出力信号の直流成分を調整する第2オフセット調整手段と、
前記第1オフセット調整手段の出力信号と前記第2オフセット調整手段の出力信号とを加算する加算手段と、
前記映像信号に対してハイパスフィルタ処理を行うハイパスフィルタ手段と、
前記ハイパスフィルタ手段の出力信号を積算する積算手段と、
前記積算手段の積算値に応じて、前記第1利得調整手段の利得値、前記第1オフセット手段の直流成分量、前記第2利得調整手段の利得値、及び前記第2オフセット手段の直流成分量を定める制御手段とを備えることを特徴とする、
ソフトフォーカス処理装置。 - 請求項1記載のソフトフォーカス処理装置であって、
前記ローパスフィルタ手段は、
第1ローパスフィルタ手段と、
前記第1ローパスフィルタ手段の周波数特性とは異なる周波数特性を有する第2ローパスフィルタ手段と、
前記第1ローパスフィルタ手段の出力信号及び前記第2ローパスフィルタ手段の出力信号の内の何れか一方を選択するスイッチ手段とを備えており、
前記制御手段は、前記積算手段の前記積算値に応じて前記スイッチ手段の選択動作を制御することを特徴とする、
ソフトフォーカス処理装置。 - 請求項1又は2の何れかに記載の前記ソフトフォーカス処理装置を備えることを特徴とする、
撮像装置。 - 請求項3記載の前記撮像装置を備えることを特徴とする、
携帯端末。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001400008A JP3682021B2 (ja) | 2001-12-28 | 2001-12-28 | ソフトフォーカス処理装置、撮像装置及び携帯端末 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001400008A JP3682021B2 (ja) | 2001-12-28 | 2001-12-28 | ソフトフォーカス処理装置、撮像装置及び携帯端末 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003198922A JP2003198922A (ja) | 2003-07-11 |
JP3682021B2 true JP3682021B2 (ja) | 2005-08-10 |
Family
ID=27604799
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001400008A Expired - Fee Related JP3682021B2 (ja) | 2001-12-28 | 2001-12-28 | ソフトフォーカス処理装置、撮像装置及び携帯端末 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3682021B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100696107B1 (ko) | 2005-04-11 | 2007-03-19 | 삼성전자주식회사 | 디스플레이장치 및 그 제어방법 |
JP4622809B2 (ja) * | 2005-10-28 | 2011-02-02 | 株式会社ニコン | 撮像装置 |
-
2001
- 2001-12-28 JP JP2001400008A patent/JP3682021B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003198922A (ja) | 2003-07-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3680827B2 (ja) | デジタルカメラ | |
CN103888661B (zh) | 摄像设备、摄像系统和摄像设备的控制方法 | |
KR100925319B1 (ko) | 화상흔들림의 검출기능을 구비한 촬상장치, 촬상장치의제어방법 및 촬상장치의 제어프로그램을 기록한 기록매체 | |
JP5237978B2 (ja) | 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法 | |
JP4891647B2 (ja) | カメラ | |
JP5525592B2 (ja) | 映像信号処理装置 | |
KR20100096805A (ko) | 디지털 영상 처리 장치, 그 제어방법 및 이를 실행시키기 위한 프로그램을 저장한 기록매체 | |
JP4160205B2 (ja) | 電子スチルカメラ | |
JP2008209577A (ja) | カメラ | |
JP2009043047A (ja) | 画像表示装置、画像表示方法、およびプログラム | |
US7705883B2 (en) | Systems and methods of anti-aliasing with image stabilizing subsystems for cameras | |
JP2006287330A (ja) | 電子カメラ及び撮像制御プログラム | |
JP2004172820A (ja) | 撮像装置 | |
JP3394019B2 (ja) | 画像入力装置の露光制御回路 | |
JP5014253B2 (ja) | 撮像装置及びその制御方法 | |
JP3682021B2 (ja) | ソフトフォーカス処理装置、撮像装置及び携帯端末 | |
JP2002305682A (ja) | 電子カメラおよび画像処理システム | |
JPH1042184A (ja) | フイルムスキャナーの自動焦点調節装置 | |
JP2005184246A (ja) | 撮像装置 | |
JP3947912B2 (ja) | 画像信号処理装置 | |
JP2022171438A (ja) | 露光制御装置、撮像装置、制御方法及びプログラム | |
JP3274692B2 (ja) | 画像入力装置の露光制御回路 | |
JP2002084446A (ja) | 撮像装置 | |
JP3084695B2 (ja) | 輪郭補正装置 | |
JP3469590B2 (ja) | 合焦装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20041207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041214 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20050517 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20050519 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080527 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090527 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100527 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100527 Year of fee payment: 5 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110527 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110527 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120527 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120527 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130527 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140527 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |