JP4027364B2 - 撮像方法及び装置並びに記憶媒体 - Google Patents

撮像方法及び装置並びに記憶媒体 Download PDF

Info

Publication number
JP4027364B2
JP4027364B2 JP2004350209A JP2004350209A JP4027364B2 JP 4027364 B2 JP4027364 B2 JP 4027364B2 JP 2004350209 A JP2004350209 A JP 2004350209A JP 2004350209 A JP2004350209 A JP 2004350209A JP 4027364 B2 JP4027364 B2 JP 4027364B2
Authority
JP
Japan
Prior art keywords
image
white balance
imaging
switch
light emitting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004350209A
Other languages
English (en)
Other versions
JP2005102315A5 (ja
JP2005102315A (ja
Inventor
善郎 宇田川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2004350209A priority Critical patent/JP4027364B2/ja
Publication of JP2005102315A publication Critical patent/JP2005102315A/ja
Publication of JP2005102315A5 publication Critical patent/JP2005102315A5/ja
Application granted granted Critical
Publication of JP4027364B2 publication Critical patent/JP4027364B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、撮像方法及び装置並びにその撮像装置を制御するための制御プログラムを格納した記憶媒体に関する。
従来、撮像装置であるデジタルカメラにおけるホワイトバランス処理では、次のような手法が採られていた。
即ち、図5に示すごとく、不図示のシャッターが第1ストロークまで押された時点(SW1)でホワイトバランス処理(WB処理)が開始され、その処理が収束、完了した後に、前記シャッターが第2ストロークまで押し下げ可能(SW2)となり、SW2が閉成されたタイミングで画像がメモリに取り込まれる。該メモリに取り込まれたデータは、CCD(撮像素子)等から出力された生データであり、いわゆる信号処理回路で信号処理が施されて記録データとなって記録媒体に記録される。そして、SW2の閉成直前のホワイトバランス係数(WB係数)が記録データへの処理に用いられるべきパラメータとして取得されて信号処理回路にセットされ、前記メモリに取り込まれた生データが信号処理された後、記録媒体に記録される(例えば、特許文献1参照)。
特開平7−240929号公報
しかしながら、上述した従来例では、静止画撮影前に、表示回路(表示手段)がオンでライブ画像が表示され、ホワイトバランス処理が、所定の間隔で連続的に行われている状態と、表示回路がオフとなっている状態の両方で、正確なホワイトバランス再現を得ることができないという問題があった。
本発明の目的は、静止画撮影前に、表示手段がオンでライブ画像が表示され、ホワイトバランス処理が、所定の間隔で連続的に行われている状態と、表示手段がオフとなっている状態の両方で、正確なホワイトバランス再現が得られるようにした撮像方法及び装置並びに記憶媒体を提供することにある。
記目的を達成するため、請求項1記載の撮像方法は、被写体像を撮像する撮像ステップと、前記撮像手段で撮像した画像を表示手段により表示する表示ステップと、静止画像の撮像/記録を開始させるスイッチの動作に基づき前記撮像ステップで撮像した第1の画像を記録するように制御する制御ステップと、前記スイッチの動作前に前記表示手段がオンとなっており且つ前記表示手段に前記撮像ステップで得られた第2の画像が表示される場合であって、前記第1の画像を撮像するときに発光装置による発光動作が行われた場合には、前記第1の画像及び前記第2の画像の両方に基づき得られたホワイトバランス補正のためのデ−タを用いて前記第1の画像を補正し前記スイッチの動作前に前記表示手段がオフとなっている場合は前記第1の画像に基づき得られたホワイトバランス補正のためのデータを用いて前記第1の画像をホワイトバランス補正する補正ステップとを有することを特徴とする。
また、上記目的を達成するため、請求項3記載の撮像装置は、被写体像を撮像する撮像手段と、前記撮像手段で撮像した画像が表示される表示手段と、静止画像の撮像/記録を開始させるスイッチと、前記スイッチの動作に基づき前記撮像手段で撮像した第1の画像を記録するように制御する制御手段と、前記スイッチの動作前に前記表示手段がオンとなっており且つ前記表示手段に前記撮像手段で得られた第2の画像が表示される場合であって、前記第1の画像を撮像するときに発光装置による発光動作が行われた場合には、前記第1の画像及び前記第2の画像の両方に基づき得られたホワイトバランス補正のためのデ−タを用いて前記第1の画像を補正し前記スイッチの動作前に前記表示手段がオフとなっている場合は前記第1の画像に基づき得られたホワイトバランス補正のためのデータを用いて前記第1の画像をホワイトバランス補正する補正手段とを有することを特徴とする。
本発明によれば、静止画撮影前に表示手段がオンになっていても、オフになっていても、適切にホワイトバランス補正が可能となる。
以下、本発明の実施の形態について、図面を参照しながら説明する。
(第1の実施の形態)
まず、本発明の第1の実施の形態を、図1〜図4に基づき説明する。
図1は、本発明の第1の実施の形態に係る撮像装置であるデジタルスチルカメラのシステム構成を示すブロック図である。
図1において、1はレンズ等の光学系、2は光電変換素子(本実施の形態ではCCD)で、光学系1からの光信号を電気信号に変換する。3はCDS回路(相関二重サンプリング回路)で、CCD2の出力信号を映像信号に変換する。4はA/Dコンバータで、CDS回路3の出力であるアナログ信号をデジタル信号に変換する。5はメモリコントローラで、後述するメモリ9を制御する。6はシステムコントローラで、図示しないCCDドライバーを駆動するための信号の発生及びメモリコントローラ5の制御を行う。7はD/Aコンバータで、メモリコントローラ5の出力であるデジタル信号をアナログ信号に変換する。8はカラー液晶表示器等の表示回路で、データや撮影した画像等を表示する。9はメモリで、データ等を記録する。10はJPEG回路で、信号を圧縮処理する。11はDSP(デジタル信号処理プロッサ)で、色信号処理及び輝度信号処理等の各種信号処理を行う。12はEEPROM(電気的消去型プログラマブルリードオンリーメモリ)で、その中には、標準光源に対するホワイトバランス係数(WBstd)、第1のストロボに対するホワイトバランス係数(WBf1)、第2のストロボに対するホワイトバランス係数(WBf2)等が保持されている。13はカードメモリで、撮像データ等が記録される。14はシャッターで、第1スイッチSW1及び第2スイッチSW2を有している。15はストロボ制御回路で、図示しないストロボを制御する。
図1において、不図示の被写体像は光学系1によってCCD2の撮像面上に結像する。CCD2による光電変換によって生成された電気信号は、CCD2の出力信号としてCDS回路3及びA/Dコンバータ4に入力し、映像信号及びデジタル信号に変換された後、メモリコントローラ5を介して1画面分のデータとしてメモリ9に蓄えられる。メモリ9内の撮像データは、メモリコントローラ5を経由しながらDSP11によって信号処理が施された後、JPEG回路10で圧縮処理が施され、その後、I/F(インターフェース)16を経由してカードメモリ13に記録される。
また、不図示の画像表示スイッチをオン(ON)にすれば、A/Dコンバータ4によりA/D変換されたデータは、メモリ9に取り込まれることなく、そのままDSP11に入力し、このDSP11で信号処理が施された後、D/Aコンバータ7を経て表示回路8に出力される。
次に、ホワイトバランス処理の基本動作について、図2のフローチャートを用いて説明する。
ホワイトバランス処理が開始すると、まず、ステップS201で初期値が読み出され、次のステップS202でホワイトバランス係数(WB係数)が図1のDSP11に設定される。次に、ステップS203で前記ステップS202において設定されたホワイトバランス係数に従ってホワイトバランスデータ(WBデータ)が取得される。次に、ステップS204で前記ステップS203において取得したホワイトバランスデータが所定値以内であるか否かが判断される。そして、ホワイトバランスデータが所定値以内である場合には、ホワイトバランス係数決定として本処理動作を終了する。
一方、前記ステップS204において、ホワイトバランスデータが所定値以内でないと判断された場合には、ステップS205でホワイトバランス係数の値を変更した後、前記ステップS202へ戻って再度ホワイトバランス係数を設定し、前記ステップS203でホワイトバランスデータを取得し、前記ステップS204で前記ステップS203において取得したホワイトバランスデータが所定値以内であるか否かを判断するというループを繰り返す。
図1の表示回路8にライブ画像が表示されている状態では、前記ホワイトバランス処理は、所定の間隔で連続的に行われている。
次に、各撮影モード毎に行うホワイトバランス処理について、図3を用いて説明する。
(1)表示回路8がオン、ストロボ無し「図3(a)」
表示回路8にはライブ画像が表示されており、連続的にホワイトバランス処理が行われている。その時のホワイトバランス処理の開始点はWBstdである。そして、シャッター14により第1スイッチSW1が押されると、その時点で行われているホワイトバランス処理ループが終了するまで継続され、終了した時点のホワイトバランス係数(WBsw1)を記憶する。この状態では、第2スイッチSW2が閉成可能となり、この第2スイッチSW2がオンされると画像データがメモリ9に取り込まれる。該メモリ9に取り込まれた画像データは、ホワイトバランス係数(WBsw1)を用いて信号処理される。
(2)表示回路8がオフ、ストロボ無し「図3(b)」
シャッター14により第1スイッチSW1が押されると、そこでは、ホワイトバランス処理は行わずに直ちに第2スイッチSW2が閉成可能となる。そして、第2スイッチSW2がオンされると画像データがメモリ9に取り込まれる。該メモリ9に取り込まれた画像データは、WBstdを初期値としてホワイトバランス処理が開始され、そのホワイトバランス処理が終了した時点のホワイトバランス係数(WBsw2)を用いて信号処理される。
(3)表示回路8がオン、第1ストロボ有り「図3(c)」
表示回路8にはライブ画像が表示されており、連続的にホワイトバランス処理が行われている。その時のホワイトバランス処理の開始点はWBstdである。そして、シャッター14により第1スイッチSW1が押されると、その時点で行われているホワイトバランス処理ループが終了するのを待つ。そして、ホワイトバランス処理ループが終了した時点でのホワイトバランス係数をWBsw1とする。この状態では、第2スイッチSW2が閉成可能となり、この第2スイッチSW2がオンされると第1ストロボが同調して発光し、画像データがメモリ9に取り込まれる。該メモリ9に取り込まれた画像データは、WBsw1とWBf1との平均値を初期値としてホワイトバランス処理が開始され、そのホワイトバランス処理が終了した時点のホワイトバランス係数(WBsw2)と、第1のストロボに対するホワイトバランス係数(WBf1)の平均値を用いて信号処理される。
(4)表示回路8がオフ、第1ストロボ有り「図3(d)」
シャッター14により第1スイッチSW1が押されると、そこでは、ホワイトバランス処理は行わずに直ちに第2スイッチSW2が閉成可能となる。そして、第2スイッチSW2がオンされると第1ストロボが同調して発光し、画像データがメモリ9に取り込まれる。該メモリ9に取り込まれた画像データは、WBstdとWBf1との平均値を初期値としてホワイトバランス処理が開始され、そのホワイトバランス処理が終了した時点のホワイトバランス係数(WBsw2)と、第1のストロボに対するホワイトバランス係数(WBf1)の平均値を用いて信号処理される。
なお、第1ストロボの代わりに第2ストロボを装着した場合には、前記WBf1の代わりに第2のストロボに対するホワイトバランス係数(WBf2)を用いる。
上述した(1)から(4)の各撮影モードにおけるホワイトバランス処理の初期値と記録データの信号処理用のホワイトバランス係数との関係を図4に示す。このように構成することにより、各撮影モードにおいて、より正確なホワイトバランス係数を得ることが可能となる。また、ホワイトバランス処理のループ処理に関して、より収束値に近い初期値を設定できるために、収束時間を短くすることができる。
(他の実施の形態)
上述した第1の実施の形態では、ストロボのホワイトバランス係数は、予めカメラ本体のEEPROM12に記憶しておく構成としたが、本発明はこれに限られるものではなく、ストロボの内部にホワイトバランス係数を記憶しておき、その記憶したホワイトバランス係数を撮影毎に読み出すか、ストロボ装着時に読み出してカメラ本体内に記憶しておくことも可能である。
また、上述した第1の実施の形態では、最終結果を記録としたが、本発明はこれに限られるものではなく、最終結果を表示とすることも可能である。即ち、決定されたホワイトバランス係数によって処理された画像データを表示回路8或いは不図示の表示装置に表示するものである。
また、上述した第1の実施の形態では、1つのホワイトバランス係数のみによる処理画像を記録するようにしたが、本発明はこれに限られるものではなく、複数の異なるホワイトバランス係数による処理画像を記録するようにしても良い。また、異なる2種類の処理画像を表示回路8に表示させた後に、不図示の選択装置によって前記2種類の処理画像のいずれかを選択して、その一方の処理画像のみを記録するようにしても良い。
また、上述した第1の実施の形態では、ストロボ使用時に記録データの記録データの信号処理用のホワイトバランス係数をWBsw2とWBf1の平均値としたが、本発明はこれに限られるものではなく、ストロボの性能が弱い場合等には、ホワイトバランス係数をWBsw2のみとすることも可能である。
また、上述した第1の実施の形態では、カメラ本体に装着する外部ストロボを例示して説明したが、本発明はこれに限られるものではなく、カメラ本体に内蔵された内蔵型ストロボでも可能である。
また、上述した第1の実施の形態では、2つのホワイトバランス係数の演算として、その平均値を用いたが、本発明はこれに限られるものではない。特に、ストロボのホワイトバランス係数の演算を行う場合には、ストロボの発光した光量を検出し、外光とストロボの発光量との比率を計算して、その比率に従ってWBsw2とWBf1との内分点をホワイトバランス係数として用いることも可能である。
なお、本発明は、上述した第1の実施の形態に限られるものではなく、本発明の主題に基づき、どのようなものであっても適用可能である。
また、本発明の目的は、上述した第1の実施の形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ(またはCPUやMPU等)が記憶媒体に格納されたプログラムコードを読み出して実行することによっても達成される。
この場合、記憶媒体から読み出されたプログラムコード自体が上述した第1の実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。
また、プログラムコードを供給するための記憶媒体としては、例えば、フロッピー(登録商標)ディスク、ハードディスク、光磁気ディスク、CD−ROM、CD−R、CD−RW、DVD−ROM、DVD−RAM、DVD−RW、DVD+RW、磁気テープ、不揮発性のメモリカード、ROM等を用いることができる。または、プログラムコードを、ネットワークを介してダウンロードしても良い。
また、コンピュータが読み出したプログラムコードを実行することにより、上述した第1の実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているOS(オペレーティングシステム)等が実際の処理の一部または全部を行い、その処理によって上述した実施の形態の機能が実現される場合も含まれる。
更に、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPU等が実際の処理の一部または全部を行い、その処理によって上述した第1の実施の形態の機能が実現される場合も含まれる。
また、コンピュータが読み出したプログラムコードを実行することにより、前述した各実施の形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS等が実際の処理の一部または全部を行い、その処理によって上述した第1の実施の形態の機能が実現される場合も、本発明に含まれることは言うまでもない。
この場合、上記プログラムは、該プログラムを記憶した記憶媒体から直接、またはインターネット、商用ネットワーク、若しくはローカルエリアネットワーク等に接続された不図示の他のコンピュータやデータベース等からダウンロードすることにより供給される。
更に、上記プログラムの形態は、オブジェクトコード、インタプリタにより実行されるプログラムコード、OS(オペレーティングシステム)に供給されるスクリプトデータ等の形態から成っても良い。
本発明の第1の実施の形態に係る撮像装置のシステム構成を示すブロック図である。 本発明の第1の実施の形態に係る撮像装置のホワイトバランス処理動作の流れを示すフローチャートである。 本発明の第1の実施の形態に係る撮像装置の各撮影モードにおけるホワイトバランス処理を示す図である。 本発明の第1の実施の形態に係る撮像装置の各撮影モードにおけるホワイトバランス処理における初期値と記録データの信号処理用のホワイトバランス係数との関係を示す図である。 従来のホワイトバランス処理動作を示す図である。
符号の説明
1 光学系(撮像手段)
5 メモリコントローラ
6 システムコントローラ
8 表示回路
14 シャッター

Claims (4)

  1. 被写体像を撮像する撮像ステップと、
    前記撮像ステップで撮像した画像を表示手段により表示する表示ステップと、
    静止画像の撮像/記録を開始させるスイッチの動作に基づき前記撮像ステップで撮像した第1の画像を記録するように制御する制御ステップと、
    前記スイッチの動作前に前記表示手段がオンとなっており且つ前記表示手段に前記撮像ステップで得られた第2の画像が表示される場合であって、前記第1の画像を撮像するときに発光装置による発光動作が行われた場合には、前記第1の画像及び前記第2の画像の両方に基づき得られたホワイトバランス補正のためのデ−タを用いて前記第1の画像を補正し前記スイッチの動作前に前記表示手段がオフとなっている場合は前記第1の画像に基づき得られたホワイトバランス補正のためのデータを用いて前記第1の画像をホワイトバランス補正する補正ステップと
    を有することを特徴とする撮像方法。
  2. 記補正ステップは、前記スイッチの動作前に前記表示手段がオンとなっており且つ前記表示手段に前記撮像ステップで得られた第2の画像が表示される場合であって、前記第1の画像を撮像するときに発光装置による発光動作が行われた場合には、更に、前記第2の画像から得られた外光の情報と、前記第1の画像から得られた前記発光装置の発光情報とに基づいて、前記第1の画像に対してホワイトバランス補正を行うことを特徴とする請求項1記載の撮像方法。
  3. 被写体像を撮像する撮像手段と、
    前記撮像手段で撮像した画像が表示される表示手段と、
    静止画像の撮像/記録を開始させるスイッチと、
    前記スイッチの動作に基づき前記撮像手段で撮像した第1の画像を記録するように制御する制御手段と、
    前記スイッチの動作前に前記表示手段がオンとなっており且つ前記表示手段に前記撮像手段で得られた第2の画像が表示される場合であって、前記第1の画像を撮像するときに発光装置による発光動作が行われた場合には、前記第1の画像及び前記第2の画像の両方に基づき得られたホワイトバランス補正のためのデ−タを用いて前記第1の画像を補正し前記スイッチの動作前に前記表示手段がオフとなっている場合は前記第1の画像に基づき得られたホワイトバランス補正のためのデータを用いて前記第1の画像をホワイトバランス補正する補正手段と
    を有することを特徴とする撮像装置。
  4. 前記補正手段は、前記スイッチの動作前に前記表示手段がオンとなっており且つ前記表示手段に前記撮像手段で得られた第2の画像が表示される場合であって、前記第1の画像を撮像するときに発光装置による発光動作が行われた場合には、更に、前記第2の画像から得られた外光の情報と、前記第1の画像から得られた前記発光装置の発光情報とに基づいて、前記第1の画像に対してホワイトバランス補正を行うことを特徴とする請求項3記載の撮像装置。
JP2004350209A 2004-12-02 2004-12-02 撮像方法及び装置並びに記憶媒体 Expired - Fee Related JP4027364B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004350209A JP4027364B2 (ja) 2004-12-02 2004-12-02 撮像方法及び装置並びに記憶媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004350209A JP4027364B2 (ja) 2004-12-02 2004-12-02 撮像方法及び装置並びに記憶媒体

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP34932898A Division JP4532613B2 (ja) 1998-11-25 1998-11-25 撮像方法及び装置並びに記憶媒体

Publications (3)

Publication Number Publication Date
JP2005102315A JP2005102315A (ja) 2005-04-14
JP2005102315A5 JP2005102315A5 (ja) 2006-12-28
JP4027364B2 true JP4027364B2 (ja) 2007-12-26

Family

ID=34464426

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004350209A Expired - Fee Related JP4027364B2 (ja) 2004-12-02 2004-12-02 撮像方法及び装置並びに記憶媒体

Country Status (1)

Country Link
JP (1) JP4027364B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4137085B2 (ja) 2005-04-21 2008-08-20 キヤノン株式会社 撮像装置

Also Published As

Publication number Publication date
JP2005102315A (ja) 2005-04-14

Similar Documents

Publication Publication Date Title
TWI293846B (en) Image pickup device with brightness correcting function and method of correcting brightness of image
US7697034B2 (en) Moving image playback device with camera-shake correction function
US7880771B2 (en) Imaging apparatus, image processing apparatus, image processing system and image processing method
JP5488548B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2007053537A (ja) 撮像装置
JP5824972B2 (ja) 撮像装置、フレームレート制御装置、撮像制御方法及びプログラム
JP2010130437A (ja) 撮像装置、及び、プログラム
JP2010063036A (ja) 撮像装置及び画像表示方法
JP5115619B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP4532613B2 (ja) 撮像方法及び装置並びに記憶媒体
JP4349288B2 (ja) 撮像装置、画像処理方法及びプログラム
JP4027364B2 (ja) 撮像方法及び装置並びに記憶媒体
US7688367B2 (en) Image signal processing apparatus and image signal processing method
JP2007082076A (ja) カメラ装置、画像記録方法及び画像表示方法
JP4646725B2 (ja) 撮像装置及び撮像装置の制御方法
JP2005268952A (ja) 撮像装置、画像処理装置、画像処理システム、及び画像処理方法
JP5188277B2 (ja) 撮像装置及びその制御方法、並びにプログラム
JP2003241071A (ja) 撮像装置及びその自動合焦方法
JP4535089B2 (ja) 撮像装置、画像処理方法及びプログラム
JP2009276610A (ja) 画像表示装置,画像表示方法及び撮像装置
JP2005249959A (ja) 撮像装置、この撮像装置に用いられる発光制御方法及びプログラム
JP2006186930A (ja) 撮像装置、画像処理方法及びプログラム
JP4654677B2 (ja) 撮像装置、画像パラメータ設定方法及びプログラム
JP2005269144A (ja) 画像処理装置、画像処理システム、及び画像処理方法
JP2005277609A (ja) 動画撮像装置、動画記録方法及び動画記録制御プログラム

Legal Events

Date Code Title Description
RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20060420

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061110

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070118

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070130

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070402

RD05 Notification of revocation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7425

Effective date: 20070626

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071009

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101019

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111019

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121019

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131019

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees