JP4489338B2 - 撮像装置およびその制御方法 - Google Patents

撮像装置およびその制御方法 Download PDF

Info

Publication number
JP4489338B2
JP4489338B2 JP2002058135A JP2002058135A JP4489338B2 JP 4489338 B2 JP4489338 B2 JP 4489338B2 JP 2002058135 A JP2002058135 A JP 2002058135A JP 2002058135 A JP2002058135 A JP 2002058135A JP 4489338 B2 JP4489338 B2 JP 4489338B2
Authority
JP
Japan
Prior art keywords
image data
image
line memory
clock pulse
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002058135A
Other languages
English (en)
Other versions
JP2003259222A (ja
JP2003259222A5 (ja
Inventor
一紀 末元
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2002058135A priority Critical patent/JP4489338B2/ja
Priority to US10/378,739 priority patent/US20030169356A1/en
Publication of JP2003259222A publication Critical patent/JP2003259222A/ja
Publication of JP2003259222A5 publication Critical patent/JP2003259222A5/ja
Application granted granted Critical
Publication of JP4489338B2 publication Critical patent/JP4489338B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/616Noise processing, e.g. detecting, correcting, reducing or removing noise involving a correlated sampling function, e.g. correlated double sampling [CDS] or triple sampling
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Description

【0001】
【技術分野】
この発明は,撮像装置およびその制御方法に関する。
【0002】
【発明の背景】
ディジタル・スチル・カメラのような撮像装置においては,CCDを用いて被写体が撮像される。被写体像を表す信号がCCDから出力する。CCDの出力信号は,相関二重サンプリング回路により,基準となる黒信号部分(フィードスルー・レベル)と映像信号部分(画素信号部分)とが画素ごとにサンプリングされる。映像信号部分のサンプリング値がディジタル画像データに変換される。
【0003】
ディジタル・スチル・カメラには,2つのライン・メモリが設けられており,1水平走査ライン分の画像データが2つのライン・メモリに交互に書き込まれ,そして読み出される。すなわち,一方のライン・メモリに画像データを書き込んでいるときには,他方のライン・メモリから画像データが読み出される。
【0004】
DMA(Direct Memory Access)コントローラからDMAクロック・パルスが出力され,ライン・メモリに与えられることにより,ライン・メモリに記憶されている画像データが読み出される。
【0005】
CCDの出力信号は,非常に微少であるので,DMAクロック・パルスがCCDの出力信号にノイズとなって現れることがある。ノイズが重畳された映像信号部分をサンプリングすることとなり,表示される被写体像にノイズが現れてしまう。
【0006】
【発明の開示】
この発明は,ノイズが除去されている被写体像を表示できるようにすることを目的とする。
【0007】
第1の発明による撮像装置(ディジタル・スチル・カメラ,ディジタル・ムービ・カメラ,携帯型電子機器にカメラの機能を持たせたものを含む)は,被写体を撮像し,被写体像を表す画像データを出力する固体電子撮像素子,上記固体電子撮像素子の有効撮像領域から得られる1水平走査ライン分の画像データを記憶するライン・メモリ,有効画像表示期間内に,上記固体電子撮像素子から画像データを出力し,かつ上記有効撮像領域から得られる1水平走査ライン分の画像データを記憶するように上記ライン・メモリを制御する制御手段,1水平走査ライン分の画像データを無効画像期間内に読み出すように上記ライン・メモリを制御する読み出し制御手段,および上記読み出し制御手段による読み出し制御のもとに上記ライン・メモリから読み出された画像データによって表される1水平走査ライン分の画像を表示するように表示装置を制御する表示制御手段を備えていることを特徴とする。
【0008】
第1の発明は,上記撮像装置に適した制御方法も提供している。すなわち,この方法は,固体電子撮像素子を用いて被写体を撮像し,被写体像を表す画像データを得,有効画像表示期間内に,上記固体電子撮像素子から画像データを得,かつ上記有効撮像領域から得られる1水平走査ライン分の画像データをライン・メモリに書き込み,無効画像期間内に,1水平走査ライン分の画像データを上記ライン・メモリから読み出し,上記ライン・メモリから読み出された画像データによって表される1水平走査ライン分の画像を表示するように表示装置を制御するものである。
【0009】
第1の発明によると,撮像装置には,上記固体電子撮像素子の有効撮像領域から得られる1水平走査ライン分の画像データを記憶するライン・メモリが設けられている。有効画像表示期間内に,上記固体電子撮像素子から画像データを出力し,かつこの有効画像表示期間内に,有効撮像領域から得られる1水平走査ライン分の画像データが上記ライン・メモリに記憶される。
【0010】
上記ライン・メモリに記憶された1水平走査ライン分の画像データは,無効画像期間内に読み出される。読み出された画像データが表示装置に与えられることにより,撮像により得られた被写体像が表示される。
【0011】
第1の発明によると,有効画像表示期間内に上記固体電子撮像素子から出力された画像データが被写体像の表示のために用いられる。有効画像表示期間内にはライン・メモリからデータの読み出しが行われずに,無効画像期間内に行われる。被写体像の表示に用いられる画像データにはライン・メモリからの画像データの読み出し時に発生するノイズが重畳されないので,被写体像にライン・メモリからの画像データの読み出しにもとづくノイズが表示されることを未然に防止できる。
【0012】
第2の発明による撮像装置は,被写体を撮像し,被写体像を表す信号を出力する固体電子撮像素子,上記固体電子撮像素子の出力信号のうち,映像信号部分を画素ごとにサンプリングするサンプリング回路,上記サンプリング回路によりサンプリングされた映像信号部分をディジタル画像データに変換するアナログ/ディジタル変換回路,上記アナログ/ディジタル変換回路により変換されたディジタル画像データを記憶し,記憶したディジタル画像データを,与えられる読み出しクロック・パルスに応じて画素ごとに読み出す画像メモリ,上記サンプリング回路における映像信号部分のサンプリング後に上記画像メモリに与えるように,上記読み出しクロック・パルスを制御する読み出しクロック・パルス制御手段,および上記画像メモリから出力された画像データによって表される画像を表示するように表示装置を制御する表示制御手段を備えていることを特徴とする。
【0013】
第2の発明は,上記撮像装置に適した制御方法も提供している。すなわち,この方法は,固体電子撮像素子を用いて被写体を撮像し,被写体像を表す信号を得,上記固体電子撮像素子の出力信号のうち,映像信号部分を画素ごとにサンプリングし,サンプリングされた映像信号部分をディジタル画像データに変換し,変換されたディジタル画像データを画像メモリに記憶し,映像信号部分のサンプリング後に上記読み出しクロック・パルスを上記画像メモリに与えて,上記画像メモリに記憶されたディジタル画像データを,画素ごとに読み出し,上記画像メモリから出力された画像データによって表される画像を表示するように表示装置を制御するものである。
【0014】
第2の発明によると,上記固体電子撮像素子の出力信号の映像信号部分が画素ごとにサンプリングされる。サンプリングされた映像信号部分がディジタル画像データに変換され,画像メモリに記憶される。読み出しクロック・パルスが画像メモリに与えられることにより,画像メモリに記憶されている画像データが読み出される。読み出された画像データが表示装置に与えられることにより,撮像により得られた被写体像が表示画面に表示される。
【0015】
画像メモリに与えられる読み出しクロック・パルスは,映像信号のサンプリング後に画素ごとに与えられる。映像信号のサンプリング後に,読み出しクロック・パルスが画像メモリに与えられるので,サンプリングする時点ではノイズが発生していない。ノイズが重畳されていない映像信号部分をサンプリングすることができる。被写体像に画像メモリからの画像データの読み出しにもとづくノイズが重畳することを未然に防止できる。
【0016】
【実施例の説明】
図1は,この発明の実施例を示すもので,ディジタル・スチル・カメラの電気的構成の一部を示すブロック図である。
【0017】
発振回路(図示略)によりマスタ・クロック・パルスMCLKが生成され,PLL(Phase Locked Loop )回路1に入力する。PLL回路1において,位相が確立したマスタ・クロック・パルスMCLKが得られる。PLL回路1から出力されたマスタ・クロック・パルスMCLKは,タイミング・ジェネレータ2および位相制御回路3に入力する。タイミング・ジェネレータ2において,各種パルス等が生成される。
【0018】
タイミング・ジェネレータ2において生成された各種パルス等は,位相制御回路3に入力する。相関二重サンプリング回路9におけるサンプリングのための第1のサンプリング・パルスSH1および第2のサンプリング・パルスSH2,ADクロック・パルスADCLK ならびにCCD6における信号電荷の水平転送のためのパルス等のための信号が位相制御回路3から出力され,相関二重サンプリング回路9,アナログ/ディジタル・コンバータ11およびHドライバ4にそれぞれ与えられる。
【0019】
CCD6は,インターライン型のもので,フォトダイオードに蓄積された信号電荷を垂直方向に転送する垂直転送路および信号電荷を水平方向に転送する水平転送路を備えている。
【0020】
Hドライバ4において,信号電荷を水平方向に転送するための水平転送パルスφHが生成され,CCD6に与えられる。また,Hドライバ4においてリセット・パルスRPも生成され,CCD6に与えられる。さらに,CCD6には,タイミング・ジェネレータ2から水平転送路用のオーバ・フロー・ドレイン・パルスOFDP1が与えられる。
【0021】
Vドライバ5において,信号電荷を垂直方向に転送するための垂直転送パルスφV,フォトダイオードに蓄積された信号電荷を垂直転送路にシフトするためのフィールド・シフト・パルスFSおよび垂直転送路用のオーバ・フロー・ドレイン・パルスOFDP2が生成され,CCD6に与えられる。
【0022】
図2は,CCD6の受光面を示している。
【0023】
CCD6は,水平方向1280画素垂直方向960画素のものであり,約130万個のフォトダイオード(図示略)が配列されている。
【0024】
受光面上における周囲には領域(無効画素領域ということにする。ハッチングで示す。)32がある。この無効画素領域32内のフォトダイオードに蓄積された信号電荷は画像の表示には用いられない。無効画素領域32は,受光面の左側は数十画素分程度,受光面の右側は 100画素程度である。無効画素領域32の内部に領域(有効画素領域ということにする)31がある。有効画素領域31内のフォトダイオードに蓄積された信号電荷が表示装置の表示画面上に表示される画像の生成に用いられることとなる。したがって,無効画素領域32内のフォトダイオードに蓄積された信号電荷によって表される像は表示装置の表示画面上には現れない。
【0025】
図1に戻って,CCD6から出力された信号電荷は,コンデンサ7において蓄積され,映像信号(CCD出力信号という)に変換される。CCD出力信号は,増幅回路8を介して相関二重サンプリング回路9に入力する。
【0026】
上述したように,第1のサンプリング・パルスSH1および第2のサンプリング・パルスSH2にしたがって,相関二重サンプリング回路9において相関二重サンプリングが行われる。相関二重サンプリングについて詳しくは後述する。
【0027】
相関二重サンプリング回路9から出力された映像信号は,増幅回路10において増幅され,アナログ・ディジタル・コンバータ11に入力する。アナログ・ディジタル・コンバータ11において,入力した映像信号がディジタル画像データに変換される。変換されたディジタル画像データがディジタル信号処理回路20に入力する。
【0028】
図3は,ディジタル信号処理回路20の電気的構成を示すブロック図である。
【0029】
ディジタル信号処理回路20には,DMAコントローラ22をもつCPU21が含まれている。CPU21から制御信号が出力され,タイミング・ジェネレータ2に与えられる。
【0030】
アナログ・ディジタル・コンバータ11から出力された画像データは,ライン・メモリ23に与えられる。ライン・メモリ23は,CCD6の有効画素領域31の1水平走査ライン分の画像データを蓄積する容量をもつものである。ライン・メモリ23に書き込まれた1水平走査ライン分の画像データは,DMAコントローラ23の転送クロック・パルスにしたがって読み出され,信号処理回路24に入力する。信号処理回路24において,白バランス調整などの所定の信号処理が行われる。タイミング・ジェネレータ2から垂直同期信号VDおよび水平同期信号HDが与えられ,信号処理回路24において画像データに付加される。信号処理回路24から出力された画像データが外部バスを通してディジタル信号処理回路20から出力される。
【0031】
ディジタル信号処理回路20から出力された画像データが表示装置に与えられることにより,撮像により得られた被写体像が表示画面上に表示される。また,画像データはメモリ・カード(図示略)に与えられ,記録される。
【0032】
図4(A)は,ディジタル・スチル・カメラの各種信号等を示すタイム・チャート,(B)は,表示装置の表示画面を示すものである。
【0033】
上述したように,表示装置の表示画面40はCCD6の有効画素領域31に対応するもので,有効画素領域31内のフォトダイオードに蓄積された信号電荷にもとづいて得られる画像データによって表される画像が表示画面40に表示される。CCD6の無効画素領域32にフォトダイオードに蓄積された信号電荷にもとづいて得られるデータによって表される像は,表示画面40には現れない。
【0034】
この実施例においては,1水平走査期間のうち,有効画素領域31に蓄積された信号電荷をCCD6から読み出す期間(上述したCCD出力信号が得られる期間)を有効画像表示期間といい,無効画素領域32に蓄積された信号電荷をCCD6から読み出す期間を無効画像期間ということにする。
【0035】
上述したライン・メモリ23への1水平走査ライン分の画像データ(有効画素領域31の1水平走査ライン分の画像データ)の書き込みは,有効画像表示期間(たとえば,時刻t11から時刻t12の間)において行われる。ライン・メモリ23からの1水平走査ライン分の画像データの読み出しは,無効画像期間(たとえば,時刻t12から時刻t15の間)の間(たとえば,時刻t13から時刻t14の間)にDMA転送クロック・パルスにしたがって行われる。
【0036】
CCD6からの信号電荷の読み出しからライン・メモリ23への画像データの書き込みまでの処理は,有効画像表示期間内において行われ,ライン・メモリ23からの画像データの読み出しは,無効画像期間内において行われるので,画像データの読み出しにより生じるノイズがCCD出力信号に重畳されてしまうことを未然に防止できる。表示画面40上に表示される画像には,ライン・メモリ23からの画像データの読み出しにもとづいて生じるノイズが重畳することを未然に防止することができる。
【0037】
図5は,他の実施例を示すもので,ディジタル・スチル・カメラの各種信号等を示すタイム・チャートである。
【0038】
上述したマスタ・クロック・パルスMCLKの周期Δt1とDMA転送クロック・パルス(読み出しクロック・パルス)の周期Δt2とは同じであり,位相関係は一定である。マスタ・クロック・パルスMCLKの周期Δt1に対応して1画素分のCCD出力信号が得られる。
【0039】
CCD出力信号のうち,フィード・スルー・レベルの信号が第1のサンプリング・パルスSH1によって相関二重サンプリング回路9においてサンプリングされ(たとえば,時刻t21),画素信号(映像信号,CCD6のフォトダイオードに蓄積された信号電荷の量に対応する)が第2のサンプリング・パルスSH2によって相関二重サンプリング回路9においてサンプリングされる(たとえば,時刻t22)。
【0040】
この実施例においては,第2のサンプリング・パルスSH2の出力後に立ち上がるようにDMA転送クロック・パルスの位相が制御されている。DMA転送クロック・パルスが立ち上がる(たとえば,時刻t22)ことによりノイズNが発生し,CCD出力信号に重畳することがある。第2のサンプリング・パルスSH2の出力後にDMA転送クロック・パルスが立ち上がるので,ノイズNが発生するときにはすでにサンプリングが終わっている。ノイズNの影響を無視することができる。したがって,表示画面に表示される画像はノイズNが除去されたものとなる。
【図面の簡単な説明】
【図1】ディジタル・スチル・カメラの電気的構成の一部を示すブロック図である。
【図2】CCDの受光面を示している。
【図3】ディジタル信号処理回路の電気的構成を示すブロック図である。
【図4】(A)は,ディジタル・スチル・カメラに流れる各種信号のタイム・チャート,(B)は,表示画面を示している。
【図5】他の実施例を示すもので,ディジタル・スチル・カメラに流れる各種信号のタイム・チャートである。
【符号の説明】
2 タイミング・ジェネレータ
3 位相制御回路
6 CCD
9 相関二重サンプリング回路
20 ディジタル信号処理回路
21 CPU
22 DMAコントローラ
23 ライン・メモリ
31 有効撮像領域
32 無効領域
40 表示画面

Claims (1)

  1. 被写体を撮像し,被写体像を表す画像データを出力する固体電子撮像素子,
    上記固体電子撮像素子の出力信号のうち,映像信号部分を画素ごとにサンプリングするサンプリング回路,
    上記サンプリング回路によりサンプリングされた映像信号部分をディジタル画像データに変換するアナログ/ディジタル変換回路,
    上記アナログ/ディジタル変換回路により変換されたディジタル画像データを記憶し,記憶したディジタル画像データを,与えられる読み出しクロック・パルスに応じて画素ごとに読み出すライン・メモリ,
    上記アナログ/ディジタル変換回路から出力される画像データの上記ライン・メモリへの入力に用いられる第1のデータ・バス,
    上記ライン・メモリへの上記読み出しクロック・パルスの入力および上記ライン・メモリからの画像データの出力に用いられる第2のデータ・バス,
    上記サンプリング回路における画素ごとの映像信号部分のサンプリング後に上記ライン・メモリに上記第2のデータ・バスを介して画素ごとに読み出しクロック・パルスが与えられるように,上記読み出しクロック・パルスを制御する読み出しクロック・パルス制御手段,ならびに
    上記ライン・メモリから上記第2のデータ・バスを介して出力された画像データによって表される画像を表示するように表示装置を制御する表示制御手段,
    を備えた撮像装置。
JP2002058135A 2002-03-05 2002-03-05 撮像装置およびその制御方法 Expired - Fee Related JP4489338B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2002058135A JP4489338B2 (ja) 2002-03-05 2002-03-05 撮像装置およびその制御方法
US10/378,739 US20030169356A1 (en) 2002-03-05 2003-03-05 Image sensing apparatus and method of controlling same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002058135A JP4489338B2 (ja) 2002-03-05 2002-03-05 撮像装置およびその制御方法

Publications (3)

Publication Number Publication Date
JP2003259222A JP2003259222A (ja) 2003-09-12
JP2003259222A5 JP2003259222A5 (ja) 2005-03-10
JP4489338B2 true JP4489338B2 (ja) 2010-06-23

Family

ID=27784683

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002058135A Expired - Fee Related JP4489338B2 (ja) 2002-03-05 2002-03-05 撮像装置およびその制御方法

Country Status (2)

Country Link
US (1) US20030169356A1 (ja)
JP (1) JP4489338B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4481758B2 (ja) * 2004-07-28 2010-06-16 株式会社東芝 信号処理装置及びデータ処理装置
TW200630852A (en) * 2005-02-24 2006-09-01 Sonix Technology Co Ltd Image output and input systems
JP2008028811A (ja) * 2006-07-24 2008-02-07 Matsushita Electric Ind Co Ltd アナログフロントエンド装置および撮像装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS59125177A (ja) * 1982-12-29 1984-07-19 Sony Corp 撮像出力のクランプ回路
DE3887547T2 (de) * 1987-03-20 1994-08-25 Canon Kk Abbildungsgerät.
JP3287056B2 (ja) * 1993-03-24 2002-05-27 ソニー株式会社 固体撮像装置
JP3239087B2 (ja) * 1997-07-15 2001-12-17 三洋電機株式会社 撮像装置
US6507365B1 (en) * 1998-11-30 2003-01-14 Kabushiki Kaisha Toshiba Solid-state imaging device

Also Published As

Publication number Publication date
JP2003259222A (ja) 2003-09-12
US20030169356A1 (en) 2003-09-11

Similar Documents

Publication Publication Date Title
JP3260216B2 (ja) Ccdディジタルカメラシステム
JPS5934772A (ja) 画像信号処理装置
KR20060007225A (ko) 촬상소자 구동제어와 메모리 읽기제어를 이용한 손떨림보정방법 및 이를 적용한 촬영장치
JP2010050538A (ja) 撮像装置、スミア低減方法、および、プログラム
JP2004297546A (ja) 撮像装置
JP2000092396A (ja) 増幅型固体撮像素子を用いた撮像装置
JP2004320180A (ja) 撮像装置およびその制御方法
JP4489338B2 (ja) 撮像装置およびその制御方法
JPH01146476A (ja) 高感度テレビカメラ
JP2007325026A (ja) 撮像装置、その駆動方法およびその信号処理方法、電子情報機器
JPH0795841B2 (ja) 画像記録装置
JP2008072512A (ja) 撮像装置及びその制御方法、撮像システム
JP3755175B2 (ja) 固体撮像装置
JPS6359074A (ja) 高速ビデオカメラ
JP3486779B2 (ja) 固体撮像素子の駆動回路及び電子スチルカメラ
JPH11177888A (ja) スミア補正方式
JPS6053383A (ja) 電子カメラにおける撮像方式
JP2000032353A (ja) 撮像装置
JP2000278612A (ja) 撮像装置及び撮像装置のメカシャッタ応答遅れ測定方法
JPH09252423A (ja) 高感度テレビカメラ
JP3299295B2 (ja) カメラおよびその動作方法
JP3985282B2 (ja) 画像入力装置
JPH057332A (ja) 撮像装置
JP2583648B2 (ja) 固体撮像装置
JP2004304256A (ja) 広ダイナミックレンジ撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20040407

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20061003

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061201

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061207

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070522

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070620

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070803

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070928

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100301

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100331

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130409

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140409

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees