JP4334179B2 - 電子カメラ - Google Patents

電子カメラ Download PDF

Info

Publication number
JP4334179B2
JP4334179B2 JP2002062324A JP2002062324A JP4334179B2 JP 4334179 B2 JP4334179 B2 JP 4334179B2 JP 2002062324 A JP2002062324 A JP 2002062324A JP 2002062324 A JP2002062324 A JP 2002062324A JP 4334179 B2 JP4334179 B2 JP 4334179B2
Authority
JP
Japan
Prior art keywords
edge
warning
value
determination
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002062324A
Other languages
English (en)
Other versions
JP2003262909A (ja
Inventor
茂孝 野口
毅 小野寺
Original Assignee
シャープ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by シャープ株式会社 filed Critical シャープ株式会社
Priority to JP2002062324A priority Critical patent/JP4334179B2/ja
Publication of JP2003262909A publication Critical patent/JP2003262909A/ja
Application granted granted Critical
Publication of JP4334179B2 publication Critical patent/JP4334179B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、ピントの合否検出を行う電子カメラに関するものである。
【0002】
【従来の技術】
近年、電子カメラを用いた電子スチル写真が広く普及しつつある。電子カメラは、被写体を写す光学レンズにより結像された光学像をCCD(Charged1 Coupled Device)カメラで光電変換し、その電気信号を画像処理して、デジタル画像データに変換後に、撮像画像を表示装置に表示させ、あるいはデジタルデータとして記憶装置に記憶させることができる。
【0003】
銀塩写真と比較した電子スチル写真の利点は、デジタル画像データとして保存が可能であり、経年変化による画質の劣化が無い点、画像処理の容易な点である。さらに、銀塩写真のようにフィルムの現像処理が必要ないので、撮影直後の写真画像を確認でき、ピントが合っていない等の不必要な画像の消去や撮り直しが可能であるのも大きな利点である。しかし、通常電子カメラに付属する液晶モニタ等の表示装置は大きさと解像度に制約があるために、前記表示装置に撮影画像をそのまま表示しただけでは、ピントのずれ等の不具合を撮影者が認知できないことも多い。
【0004】
このような課題を解決した事例としては、特開平11−196301号公報がある。前記公報では、図11(a)に示すように画像記録時に表示される被写体のモニタ画像と共にフォーカス確認用のフォーカス枠81内の画像部分を選択および拡大を行って、画面の一部83または全部82に表示する(図11(b),(b'))。使用者は拡大された画像をみて、ピント合わせのやり直しや再撮影が可能である。図11(c)には、再撮影画像84が示されている。
【0005】
【発明が解決しようとする課題】
しかしながら、特開平11−196301号公報では、表示画面の一部を拡大することにより、ピントのずれやブレの状態の確認を容易にはしているが、単に被写体のピント位置を拡大しただけでは、微妙なピントずれやボケを見逃してしまう可能性がある。さらに、微妙なピントずれやボケの認識を撮影者の主観に頼っているので、撮影者個々の技量により認識度が異なるという課題が存在している。撮影者にとっては、被写体にピントが確実にあっているかどうかは重要な関心事であり、特に夜間撮影等で、オートフォーカス機能が不十分になる可能性がある場合においては、ピントの合否判定の有効度は高い。
【0006】
従って、本発明の目的は、上記の課題を解決するために、撮影者の個人的な技量によらずに、被写体に対するピントの合否判断を簡単に行うことが可能な電子カメラを提供することにある。
【0009】
本発明は、被写体画像を取り込んで記録媒体に記憶させる電子カメラであって、取り込んだ前記被写体画像からエッジを検出して検出データを出力するエッジ検出手段と、前記被写体画像の特定の領域内のピクセル毎の輝度データを抽出する輝度抽出手段と、前記エッジ検出データに基づいて、焦点判定の処理を行なう判定手段と、前記判定手段から出力される警告の度合いを示す信号に応じて警告を行なう警告手段とを備え、前記エッジ検出手段はエッジの長さ、エッジの方向のペア性の数を検出し、前記判定手段は前記輝度データの最小値と最大値を求め、該最小値と該最大値との間に第1の閾値を設定し、該第1の閾値と該最大値との間に第2の閾値を設定し、エッジを含む所定範囲内における輝度の値が該第1の閾値と該第2の閾値の間であるピクセルの個数を求め、該判定手段には前記エッジの長さ、前記エッジの方向のペア性の数、及び前記ピクセルの個数それぞれに応じた警告ポイント値、並びに該警告ポイント値に応じた警告の度合いが設定されており、該判定手段は前記エッジの最大長、前記エッジの方向のペア性の数及び前記ピクセルの個数よりそれぞれについて前記警告ポイント値を算出し、これら警告ポイント値を積算した値が所定の前記警告の度合いとなったかを判定して前記焦点判定の処理を行なうことを特徴とする。
【0010】
本発明においては、通常の撮影者が電子カメラ等を用いるときを考慮して、ピントの合焦度を判定してアラーム等の警告を発する。
まず被写体画像から特開2000−172855号公報の方法でエッジを検出し、先鋭度、長さ、方向を判定する。すなわち、エッジ検出方向の画素のバラツキから、エッジ判定に用いる閾値を決定して、この閾値に基づいてエッジ検出を行う。この時、全画面を一様にエッジ検出を行っても良いし、特定のエリアを拡大してエッジ検出を行っても良い。特に先鋭度に対しては特定のエリアのエッジ検出を重視し、長さ及び方向に対しては全画面のエッジ検出の方が望ましい。
【0011】
なぜならば、通常の撮影の場合、人物,風景を被写体として選ぶのが普通である。このとき、エッジは最低限ある長さと方向を持っている。さらに、被写体のエッジは縦方向について、ペア性を有している。例えば、男性のズボンでも、女性のスカートでも最低1組のペアは存在する。また山や塔でも最低1組のペアがあるように、ペア性は、人物,建物,風景等一般的に見られるものである。
【0012】
つまり、最初にエッジの有無によりピントの合否を判断し、ピントが合っている可能性があると判断した場合(エッジ有り)は、エッジの先鋭度,長さ,方向のペア性を所定の規則で演算し、その結果に基づいて、警告の度合いを変えることで、撮影者にピントの合焦度を認知させる。
【0013】
【発明の実施の形態】
以下に、本発明の実施の形態について図面を参照しながら説明する。
図1は本発明に係わる被写体の撮影画像の一例を示した図であり、図2は図1に示す被写体の撮影画像の特定部位を拡大した図である。
【0014】
図1で、本発明の電子カメラにより撮像された画像1aは、画像表示部に表示される画像である。画像1aは演台に上っている講演者4と2人の聴衆者5,6から構成されており、講演者4の部位2aにピントを合わせて撮影した画像である。
図2で、画像2bは図1でピントを合わせた特定部位2aを拡大した図であり、エッジの一例として、横方向の点線8と交差する、縦方向のエッジ7aとエッジ7bが存在している。
【0015】
図3は本発明に係わる電子カメラの構成を示すブロック図であり、図3を用いて本発明の電子カメラの構成の一例について説明する。
撮像部11は光学系レンズとCCDから構成され、被写体の光学像をCCDのRGB各画素で光電変換して、電荷信号として撮像信号処理部12に送る。撮像信号処理部12は、前記電荷信号に対して、ガンマ補正やホワイトバランスの補正等の信号処理を施して、JPEG等の画像データをフレーム記憶部13に一時的に記憶させる。フレーム記憶部13に蓄えられた前記画像データは、制御部19を介して、画像表示部15に表示される。さらに、前記画像データは画像信号処理部14に送られ、前記画像データを解析して、エッジ検出等の処理を行う。画像信号処理部14から出力されるエッジ検出データは、制御部19で焦点(ピント)が合っているかどうかを判断され、焦点が合っていない場合は、警告表示部18により、撮影者に報知される。
【0016】
制御部19は、前記警告情報の報知に関する判断機能のほかに電子カメラを構成する各処理部の制御も行っている。入力部16は撮影者が電子カメラを操作するためのボタンやダイヤル等の入力機能を有しており、撮影者が入力行為を制御部に伝達するインターフェイスの役割も果たしている。補助記憶部17はフラッシュメモリ等の着脱可能な記憶媒体から構成され、撮像した画像を保存する機能を有している。警告表示部18は警告を撮影者に認知させる機能を有しており、警告を示すLEDランプの他に、音で撮影者に知らせるためのアラーム発声機能も有している。また、画像表示部15は警告表示部18を兼ねても良く、スーパーインポーズで前記撮像画面上に表示することも可能である。
【0017】
図4は本発明に係わる電子カメラの動作のフローチャートであり、図5は本発明に係わる電子カメラのエッジ判定と焦点の合否判定処理と警告処理を詳細に示したフローチャートである。本発明の電子カメラの動作フローについて、図4と図5を用いて説明する。
【0018】
まず、電子カメラは光学系レンズとCCDカメラ等で構成される撮像部11により、被写体のある部位にピントを合わせて撮像を行う(ステップS11)。次に、撮像された画像は撮像信号処理部12により、CCDカメラのRGB信号を処理して、画面表示部15に表示可能なJPEG等の画像フォーマットに変換されて、フレーム記憶部13に一時的に記憶される。フレーム記憶部13に記憶された画像は制御部19の制御により画像表示部15に表示される(ステップS12)。
【0019】
次に、撮影者が焦点判定処理をするかどうかの決定を行う(ステップS13)。撮影者が被写体をわざとぼかして撮影するような場合は、焦点判定処理を行わないので、ステップS17に進み、焦点判定処理を行う場合にはステップS14のエッジの検出処理を行う。エッジ検出処理は、フレーム記憶部13から送られた画像データを画像信号処理部14が解析して、エッジを検出する。具体的なエッジの検出方法は特開2000−172855号公報の方法を使用することができる。すなわち、エッジ検出方向の画素のバラツキから、エッジ判定に用いる閾値を決定して、この閾値に基づいてエッジ検出を行う。
【0020】
次に、制御部19が画像信号処理部14から送られたエッジ検出データに基づいて、エッジ判定処理と警告処理を行う(ステップS15)。
エッジ判定処理は、最初に警告ポイントの初期設定を行う(ステップS21)。ここで、警告ポイントの初期値をY0とする。次に、撮像画像の中にエッジが有るかどうかを判断し(ステップS22)、全くエッジが無い場合には、警告表示部18より強度の警告を発して(ステップS31)、撮影者にピントが合っていないことを認識させる。エッジが全くない例としては、全体的にピントがボケている場合が主である。その他、特殊な場合として、快晴の空や白一色の壁面を撮影したものが考えられるが、これは撮影時の構図により、撮影者が容易に判断できる。
【0021】
次に、ステップS23に進み、所定の長さ以上のエッジが撮像画面全体に存在するかどうかを検出する。所定の長さのエッジを検出する目的は、2〜3ピクセル程度の微少なエッジの場合は、ノイズ等が検出されている可能性があり、本来のエッジではないことが多い。また容易に類推できるように人物・風景では縦のエッジが多く見られ、それらは画面の縦の長さの少なくとも1/4はあるのが普通である。
所定の長さ以上のエッジが全く無い場合は、ステップS31で強度の警告を発し、所定の長さ以上のエッジが存在した場合には、エッジの最大長に応じて、警告ポイントをY0からA1だけ(減じる)操作を行い(ステップS24)、ステップS25に進む。ここで、ステップS24で操作後の警告ポイントをY1とする。
【0022】
ステップS25では、エッジの方向のペア性を判断する。前述したように通常の撮影では、最低1組のペアが存在するが、このペアは縦割りした画面の中央にあることが普通であり、ペア性の判断ではこの点も考慮する。エッジの方向のペア性が全く無い場合は、正常にピントが合っていないと判断できるので、ステップ32で中度の警告を発する。方向のペア性がある場合には、ペア性の数に応じて、警告ポイントをY1からA2だけ(減じる)操作をし(ステップS26)、ステップS27に進む。ここで、ステップS26で操作後の警告ポイントをY2とする。
【0023】
次に、撮像画像上の特定エリアに対して拡大を行う。(例えば図2の例では、ピントを合わせた部位2aを画像2bとして拡大する。)拡大した画像をエッジ検出に使用する目的は、電子カメラの焦点が合う範囲が画面全体ではない場合が多いことに起因している。特に、絞りを広げた場合には、ピントの合う領域が必然的に狭くなるので、画面の両端はエッジの先鋭度が落ちてしまうので、画面全体で先鋭度を判断することは適当ではない。
【0024】
この拡大した特定部位に対して、エッジの先鋭度が所定量以上であるかどうか判断を行い(ステップS28)、所定の先鋭度が無い場合には、ステップS32で中度の警告を発し、所定の先鋭度以上の場合には、先鋭度に応じて警告ポイントY2からA3だけ(減じる)操作をする(ステップS29)。ここでは、ステップS29で操作後の警告ポイントをY3とする。つまり、最終的な警告ポイントはY3となり、Y3=Y0−A1−A2−A3で表現できる。
【0025】
次に、ステップS30で、最終的な警告ポイントY3が一定以上の警告ポイントをもっている場合には、ステップS33でピントが合っていない可能性があることを、撮影者に認識させるために弱度の警告を発する。もし、警告ポイントY3が一定以上の警告ポイントに達していない場合には、何も警告を発せずにステップS16に進む。
ステップS16では、さらに撮影を続けるかどうかを、撮影者が判断して、撮影を続ける場合はステップS11に戻り、撮影を続けない場合は終了となる。
【0026】
本発明の電子カメラによれば、最初にエッジの有無によりピントの合否を判断し、ピントが合っている可能性があると判断した場合(エッジ有り)は、エッジの先鋭度,長さ,方向のペア性を所定の規則で演算し、その結果に基づいて、警告の度合いを変えることで、ピントの合否を撮影者に認知させることができる。つまり、ピントの合否に係わる撮影者個人の技能によらずに、被写体に対するピントの合否判断を簡単に行うことが可能である。特に、夜間等のオートフォーカス機能が不十分になる可能性が高い場合や、ピントのずれが微妙で、モニタの表示画像だけでは、判断がつきにくい場合に有効である。
【0027】
次に、図5から図9を使用して、横800×縦600ピクセルで撮像した画像について、具体的な警告ポイントの演算方法の例を述べる。
まず、ステップS21で、警告ポイントの初期値Y0を10ポイントに設定する。ステップS22で、前記画像のエッジの検出を試み、エッジが検出されたので、ステップS23の処理に進む。ステップS23では、前記画像内に存在する最大エッジ長が所定の長さ(L1)以上であるかどうかを検知する。
【0028】
図6は、エッジの長さによるポイント操作の判断基準を示した図である。前記画像内に存在する最大エッジ長L1が300ピクセルである場合には、ポイントY1=Y0−3のポイント操作を行うので、Y1は7ポイントとなる(ステップS24)。
【0029】
次にエッジの方向のペア性を検出し(ステップS25)、エッジの方向のペア性の本数(D1)により、警告ポイントの操作を行う(ステップS26)。図7はエッジの方向のペア性の本数による判断基準を示した図である。前記画像内のP1が8本存在した場合には、ポイントY2=Y1−0のポイント操作を行うので、Y2は7ポイントとなる(ステップS26)。
【0030】
次に、画面内の特定エリア(撮影者がピントを合わせようとした領域)の拡大を行い(ステップS27)、特定エリア内に存在するエッジの中で先鋭度が一番低いエッジを検出(ステップS28)し、警告ポイントの操作を行う(ステップS29)。図8はエッジの先鋭度による判断基準を示した図であり、図9は先鋭度の判定方法の一例を示した図である。
【0031】
図9において、エッジはピクセルP3とピクセルP4の間に位置しているので、P3から左に数ピクセル、右に数ピクセルを抽出してピクセルP1からP6で1つのピクセル列を構成させる。図9では、ピクセル列はエッジの左右3ピクセルづつで構成しているが、前記ピクセル列を構成するピクセル数を輝度の分布状況に応じて増減させる。
【0032】
次に、前記特定のエリア内に存在するピクセル毎の輝度データを抽出して、輝度の最大値と最小値を求め、前記輝度の最小値と最大値の間に第1の閾値を設定し、前記第1の閾値と前記最大値の間に第2の閾値を設定する。前記第1の閾値と第2の閾値の設定はエッジ周辺の輝度分布を考慮して行う。
【0033】
次に、第1の閾値と第2の閾値の間に存在するピクセルの個数(T1)をカウントする。図9では、第1の閾値と第2の閾値の間に存在するピクセルの個数は2個であるので、図8に示す判断基準に従いY3=Y2−2のポイント操作を行う。結果として、Y3は5ポイントとなる。このように、ピクセルの個数によりエッジ先鋭度の判定を行うので、簡単に判定することができる。
【0034】
次に、警告ポイントが一定以下になっているか判定を行う(ステップS30)。図10は警告ポイントの判定基準を示した図であり、図10に従うと、Y3は5ポイントであるのでステップS33に進み、撮影者に弱度の警告を行う。
【0035】
【発明の効果】
以上のように、本発明の電子カメラによれば、一般の撮影者がピントの合否を簡単に認識できるので、ピントが合っていない場合の再撮影やピントが合っているのにもかかわらず、再撮影を行わなくても済むので、電子カメラ撮影の効率化ができる。
【図面の簡単な説明】
【図1】本発明に係わる被写体の撮影画像の一例を示した図である。
【図2】図1に示す被写体の撮影画像の特定部位を拡大した図である。
【図3】本発明に係わる、撮像装置の構成を示したブロック図である。
【図4】本発明に係わる電子カメラの撮影動作に関するフローチャートである。
【図5】本発明に係わる電子カメラのエッジ判定、焦点の合否判定処理及び警告処理を詳細に示したフローチャートである。
【図6】エッジの長さによるポイント操作の判断基準を示した図である。
【図7】エッジの方向のペア性の本数による判断基準を示した図である。
【図8】エッジの先鋭度による判断基準を示した図である。
【図9】エッジの先鋭度の判定方法の一例を示した図である。
【図10】エッジの先鋭度による判断基準を示した図である。
【図11】従来の電子カメラの例を示した図である。
【符号の説明】
1a 撮像画像
2a 撮像画像の特定部位
2b 2aを拡大表示した画像
3a,3b エッジ
7a,7b 縦方向のエッジ
8 エッジの横断方向を示す補助線
11 撮像部
12 撮像信号処理部
13 フレーム記憶部
14 画像信号処理部
15 画像表示部
16 入力部
17 補助記憶部
18 警告表示部
19 制御部

Claims (1)

  1. 被写体画像を取り込んで記録媒体に記憶させる電子カメラであって、
    取り込んだ前記被写体画像からエッジを検出して検出データを出力するエッジ検出手段と、
    前記被写体画像の特定の領域内のピクセル毎の輝度データを抽出する輝度抽出手段と、
    前記エッジ検出データに基づいて、焦点判定の処理を行なう判定手段と、
    前記判定手段から出力される警告の度合いを示す信号に応じて警告を行なう警告手段とを備え、
    前記エッジ検出手段はエッジの長さ、エッジの方向のペア性の数を検出し、前記判定手段は前記輝度データの最小値と最大値を求め、該最小値と該最大値との間に第1の閾値を設定し、該第1の閾値と該最大値との間に第2の閾値を設定し、エッジを含む所定範囲内における輝度の値が該第1の閾値と該第2の閾値の間であるピクセルの個数を求め、該判定手段には前記エッジの長さ、前記エッジの方向のペア性の数、及び前記ピクセルの個数それぞれに応じた警告ポイント値、並びに該警告ポイント値に応じた警告の度合いが設定されており、該判定手段は前記エッジの最大長、前記エッジの方向のペア性の数及び前記ピクセルの個数よりそれぞれについて前記警告ポイント値を算出し、これら警告ポイント値を積算した値が所定の前記警告の度合いとなったかを判定して前記焦点判定の処理を行なうことを特徴とする電子カメラ。
JP2002062324A 2002-03-07 2002-03-07 電子カメラ Expired - Fee Related JP4334179B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002062324A JP4334179B2 (ja) 2002-03-07 2002-03-07 電子カメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002062324A JP4334179B2 (ja) 2002-03-07 2002-03-07 電子カメラ

Publications (2)

Publication Number Publication Date
JP2003262909A JP2003262909A (ja) 2003-09-19
JP4334179B2 true JP4334179B2 (ja) 2009-09-30

Family

ID=29196152

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002062324A Expired - Fee Related JP4334179B2 (ja) 2002-03-07 2002-03-07 電子カメラ

Country Status (1)

Country Link
JP (1) JP4334179B2 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4908742B2 (ja) * 2004-05-21 2012-04-04 セイコーエプソン株式会社 撮影装置およびこの制御方法
US20060072820A1 (en) * 2004-10-05 2006-04-06 Nokia Corporation System and method for checking framing and sharpness of a digital image
JP2008072696A (ja) 2006-08-14 2008-03-27 Seiko Epson Corp 合焦情報の視覚化装置、その方法、プログラム及び記録媒体
JP2009044757A (ja) * 2006-08-14 2009-02-26 Seiko Epson Corp 合焦情報の視覚化装置、その方法、プログラム及び記録媒体
JP6057086B2 (ja) * 2010-12-07 2017-01-11 ナム タイ,ヒョク 画像の鮮明さ度合いを決定する方法および画像ピックアップ装置
SG181173A1 (en) 2009-12-07 2012-07-30 Hiok Nam Tay Auto-focus image system
US8724009B2 (en) 2010-05-05 2014-05-13 Hiok Nam Tay Auto-focus image system
WO2015107928A1 (ja) * 2014-01-17 2015-07-23 ソニー株式会社 撮影システム、警告発生装置および方法、撮像装置および方法、並びにプログラム
US10237466B2 (en) 2014-01-17 2019-03-19 Sony Corporation Recognition of degree of focus of an image

Also Published As

Publication number Publication date
JP2003262909A (ja) 2003-09-19

Similar Documents

Publication Publication Date Title
JP4334179B2 (ja) 電子カメラ
US7825969B2 (en) Image stabilization using multi-exposure pattern
JP4135100B2 (ja) 撮影装置
CN105934940B (zh) 图像处理装置、方法与程序
JP3971240B2 (ja) アドバイス機能付きカメラ
JP5736796B2 (ja) 電子カメラ、プログラム及び記録媒体
JP2006254229A (ja) 撮像装置、撮像方法及び撮像プログラム
JP2006019874A (ja) 手ぶれ・ピンボケレベル報知方法および撮像装置
JP2009207119A (ja) 撮像装置及びプログラム
JP2004309653A (ja) 撮像装置
JP2006157342A (ja) カメラモジュール
JP2007124399A (ja) 画像処理装置、電子カメラおよび画像処理プログラム
JP2006287814A (ja) 撮像装置及び動きベクトル決定方法
JP2008252711A (ja) ディジタルカメラ
JP2008136073A (ja) カメラ
JP5092673B2 (ja) 撮像装置及びそのプログラム
JP2009055415A (ja) カメラ
JP2008054031A (ja) デジタルカメラ及び表示制御方法
JP2005062469A (ja) デジタルカメラ
JP5316923B2 (ja) 撮像装置及びそのプログラム
JP6389342B2 (ja) 撮影装置及びその制御方法
JP2009017427A (ja) 撮像装置
JP2009182832A (ja) 撮影装置およびスルー画表示方法
JP2007264250A (ja) 撮影装置及びプログラム
JPWO2005026803A1 (ja) 撮影レンズ位置制御装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040728

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060921

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061003

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071016

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071113

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090407

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090603

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090623

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090623

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120703

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130703

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees