JP4094123B2 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
JP4094123B2
JP4094123B2 JP17124398A JP17124398A JP4094123B2 JP 4094123 B2 JP4094123 B2 JP 4094123B2 JP 17124398 A JP17124398 A JP 17124398A JP 17124398 A JP17124398 A JP 17124398A JP 4094123 B2 JP4094123 B2 JP 4094123B2
Authority
JP
Japan
Prior art keywords
area
effective
ccd
mode
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP17124398A
Other languages
English (en)
Other versions
JP2000013685A (ja
Inventor
貴行 木島
昌孝 井出
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP17124398A priority Critical patent/JP4094123B2/ja
Publication of JP2000013685A publication Critical patent/JP2000013685A/ja
Application granted granted Critical
Publication of JP4094123B2 publication Critical patent/JP4094123B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、撮像素子から画素信号を取り出して静止画を記録したり、動画処理を行う撮像装置に関するものである。
【0002】
【従来の技術】
この種の撮像装置に用いられる撮像素子は、従来種々のものが提案されており、例えば、図14に模式的に示すように、縦型オーバーフロードレイン構造をもつインターライン形CCDの固体撮像素子が知られている。このCCDは、水平方向および垂直方向に二次元的に配列され、光の入射により電荷の蓄積を行うフォトダイオード21と、このフォトダイオード21に蓄積された電荷をトランスファーゲート22を介して受け取った後に、垂直方向に順次転送する垂直シフトレジスタ23と、この垂直シフトレジスタ23により転送される電荷を水平方向に順次転送する水平シフトレジスタ24と、この水平シフトレジスタ24の出力信号を増幅して出力する信号検出器25とを有している。
【0003】
このようなCCDは、近年の微細加工技術の進歩に伴って高画素化が進んでいることから、最近では高画素数のCCDを内蔵する種々の撮像装置が提案されている。しかしながら、例えば、電子スチールカメラのような携帯用の撮像装置においては、高画素数のCCDを用いても、消費電力やコスト等の観点から、CCDの駆動周波数をあまり高くできず、一般には20MHz以下で駆動するようにしている。したがって、例えば、100万画素相当のCCDを用いた場合には、毎秒10〜15フレーム程度のコマ数しか得られないことになる。
【0004】
しかし、この程度のコマ数では、例えば、撮像装置にCCDで撮像した動画像を表示する液晶表示装置を設ける場合や、CCDからの動画データを用いてオートフォーカス制御(AF)、自動露出制御(AE)、オートホワイトバランス制御(AWB)等の処理を行う場合には、不都合が生じることになる。
【0005】
すなわち、液晶表示装置に動画像を表示する場合には、毎秒60コマ程度の画像データを供給しないと良好な動画像を表示することができない。そこで、従来は、CCDからの画像データを記憶するメモリを設け、このメモリに記憶された同一フレームのデータを、例えば1/60秒のフレーム周期で複数回繰り返し読み出して液晶表示装置に供給して表示するようにしている。したがって、この場合には、CCDから毎秒10コマの割合で画像データが得られるとすると、同一コマの画像が6回繰り返し表示されることになる。しかし、このように表示用にコマ数を調整するためだけに、高価なメモリを設けるのは、コスト的に不利となる。
【0006】
また、電子スチールカメラのように静止画の撮影を行う場合には、シャッタチャンス等を逃さないことが重要であるが、そのためには上記のAF、AE、AWB等の処理を高速で行う必要がある。しかし、毎秒10コマ程度の画像データしか得られないと、例えば、AFにおいては、1コマ分の画像データを用いて必ず合焦させることができるとは限らず、複数コマを用いてAF動作を行うことになるため、AF、AE、AWB等の処理を順次に行ったのでは、処理に長時間を要し、制御が間に合わなくなる場合がある。そこで、従来は、これらの処理を同時に平行して行うか、あるいは上述したようなメモリを設けて画像データを記憶することにより、これらの処理を順次行うようにしている。しかし、前者のようにAF、AE、AWB等の処理を同時に平行して行う場合には、回路規模が大きくなると共に、コスト的に不利となり、また後者のように処理用のためにメモリを設けることもコスト的に不利となる。
【0007】
このような不具合を解決する方法として、上記のように液晶表示装置に動画像を表示したり、AF、AE、AWB等の処理を行う動画処理モードでは、CCDの水平画素ラインを間引きして読み出しすることが提案されている。しかし、全画素を読み出してカラー画像信号を得るCCDの場合には、一般に、図15に示すように、奇数ラインが、例えば赤(R)と緑(G)との繰り返しパターン、偶数ラインが、例えばGと青(B)との繰り返しパターンからなるベイヤー配列の色差線順次形式の色フィルタが用いられるため、間引き読み出しによって、例えば奇数ラインのみを読み出すとBの色信号が欠落し、また偶数ラインのみを読み出すとRの色信号が欠落することになる。このため、特に、液晶表示装置に表示する場合に、正確なカラー画像を表示できなくなるという問題が生じることになる。
【0008】
そこで、本出願人は、上述した種々の問題点を解決し、高い駆動周波数を用いることなく、動画処理モードにおいて固体撮像素子から単位時間当たりに多くのコマ数の画像信号が得られる撮像装置を既に提案している(特願平9−7831号)。この撮像装置では、動画処理モードでの固体撮像素子の画面を、例えば図16に示すように、画面中央部の垂直方向に一部連続する第j+1ラインから第j+kラインまでのkライン(例えば、全ライン数のほぼ40%)を有効出力エリア、その前後の第1ラインから第jラインまでを掃き出しエリアA、第j+k+1ラインから最終Lラインまでを掃き出しエリアBと予め定め、図17に示すように、各フレームについて、有効出力エリア(有効領域)では、該有効領域に蓄積された信号電荷を、実効的水平走査期間内に掃き出しエリアAおよびB(不要領域)におけるよりも粗な頻度で転送するようなタイミングで垂直転送して読み出し、不要領域では、該不要領域に蓄積された信号電荷を、実効的水平走査期間内に有効領域におけるよりも密な頻度で転送するようなタイミングで高速に垂直転送して掃き出すことにより、所望のフレーム周期T′、例えば1/60秒周期で、有効出力エリアの動画データを得るようにしている。したがって、この場合、掃き出しエリアAおよびBのそれぞれのライン数を例えば同じとして、その不要電荷の掃き出し時間をtH ′、有効出力エリアの読み出し時間をtR ′とすると、T′=2・tH ′+tR ′となる。
【0009】
図18は、この動画処理モードにおける固体撮像素子の電荷の読み出しおよび掃き出し動作を示すタイミングチャートである。ここでは、固体撮像素子として、図14に示した縦型オーバーフロードレイン構造をもつインターライン形CCDを用いている。なお、図18において、垂直同期信号VDは、一つの画像を表す信号(ここでは1フレーム)を得るための所定の単位期間T、例えば1/60秒を規定するパルス列である。トランスファーゲートパルスTGPは、フォトダイオード21に蓄積された電荷を垂直シフトレジスタ23に転送するタイミングを決めるパルスで、垂直同期信号VDに同期してトランスファーゲート22に印加される。
【0010】
また、サブパルスSUBは、フォトダイオード21に発生した電荷を基板縦方向に排出するためのパルスであり、このサブパルスSUBが出力されている間は電荷の排出が行われるようになっている。したがって、フォトダイオード21に電荷が蓄積されるのは、このサブパルスSUBが停止している期間tsで、この蓄積時間tsを制御することにより、実効的露出時間を制御するいわゆる素子シャッタを実現している。なお、この蓄積時間tsは、動画データを用いるAE制御によって決定され、その時間はサブパルスSUBを計数することによって計測される。
【0011】
垂直シフトレジスタ転送パルスVTは、垂直シフトレジスタ23内の電荷を水平シフトレジスタ24側へ順次転送させるためのパルスである。本出願人が先に提案した撮像装置では、この垂直シフトレジスタ転送パルスVTを、図16および図17に示す掃き出しエリアAおよびBの電荷の掃き出しにおいては、有効出力エリアの電荷の転送における場合とは異なった形態で印加するようにしている。すなわち、有効エリアに対応する期間中は、所定パルス幅の転送パルスを所定の繰り返し周波数で一定期間印加した後、所定期間転送パルスの印加を休止するように、転送パルスの印加期間と休止期間とを交互に繰り返す形態で信号電荷の転送を行い、掃き出しエリアAおよびBに対応する期間中は、同じパルス幅および繰り返し周波数の転送パルスを上記の休止期間を俟つことなく定常的に印加することによって、不要電荷を高速で掃き出して廃棄する。なお、この垂直シフトレジスタ転送パルスVTは、有効出力エリアの電荷の転送においては、水平シフトレジスタ24における図示しない水平ブランキング期間に同期させる必要があるが、掃き出しエリアAおよびBの電荷の掃き出しにおいては、その電荷は情報として使用しない不要な電荷であるので、必ずしも水平ブランキング期間に同期させる必要はない。
【0012】
このようにして、動画処理モードでは、掃き出しエリアAおよびBの不要電荷を高速で掃き出して廃棄することにより、所望のフレーム周期T′で有効出力エリアの動画データ(図18のCCD信号)を得るようにしている。
【0013】
【発明が解決しようとする課題】
上述したように、本出願人の先の提案に係る撮像装置によれば、動画処理モードでは、CCDの全ラインを所定の読み出し周波数で順次走査して画像信号を読み出す場合に比べて、フレームレートを(全ライン数)/k倍に向上することができるので、高い駆動周波数を用いることなく、CCDから単位時間当たりに多くのコマ数の画像信号を得ることができる。したがって、従来のように表示用として高価なメモリを用いることなく、液晶表示装置に良好な動画を表示することができるので、コスト的に有利となる。また、動画データを用いてAF,AE,AWB等の処理を行う場合でも、それらの処理をメモリを用いることなく順次行うことが可能となるので、回路規模の面でも、コスト面でも有利となる。
【0014】
しかしながら、本発明者らによる種々の検討によれば、上述した本出願人の先の提案に係る撮像装置には、以下に説明するような改良すべき点があることが判明した。すなわち、上述した撮像装置では、動画処理モードにおけるCCDの有効領域(有効出力エリア)および不要領域(掃き出し領域AおよびB)を予め設定して、不要領域の電荷を高速掃き出しすることによりフレームレートの向上を図っている。このため、例えば、被写体が高輝度で、図18に示すように、CCDへの電荷蓄積開始からその蓄積電荷(CCD蓄積レベル)が適正レベルVtに達するまでの適正蓄積時間tsが短時間の場合(高速シャッタ時)でも、有効領域の読み出し時間tR ′でフレーム周期T′がほぼ決定されることになるため、それ以上フレームレートを向上させることができないことになる。これは、CCDの画素数の増大に伴って、より顕著となる。また、被写体が低輝度の場合には、図19に示すように、CCD蓄積レベルが適正レベルVtに達するまでの適正蓄積時間ts″が長くなり、その蓄積時間ts″でフレーム周期T″がほぼ決定されるため、そのフレーム周期T″が所望のフレーム周期T′よりも長くなってしまい、フレームレートが低下することになる。
【0015】
このようなことから、特に、被写体の静止画像を連続的に撮影する連写モードや、被写体像をCCD受光面上に連続的にオートフォーカスさせるコンティニュアンスAFモードや、被写体が動体の場合において、フレームレートを更に向上させて、レリーズ動作からのタイムラグ(レリーズタイムラグ)を減少させようとしても、十分対処することができず、満足な操作性を得ることができないことになる。
【0016】
この発明は、このような点に鑑みてなされたもので、レリーズタイムラグを十分減少でき、操作性を向上できるよう適切に構成した撮像装置を提供することを目的とするものである。
【0017】
【課題を解決するための手段】
上記目的を達成するため、請求項1に係る発明は、
画素信号を読み出し可能な撮像素子と、
前記撮像素子の有効領域に蓄積された信号電荷を実効的水平走査期間内に相対的に粗な頻度で転送するようなタイミングで垂直転送して読み出す読み出しモードと、前記撮像素子の不要領域に蓄積された信号電荷を実効的水平走査期間内に相対的に密な頻度で転送するようなタイミングで垂直転送して掃き出す掃き出しモードとを制御する読み出し制御手段と、
前記有効領域および不要領域の範囲を設定する領域設定手段とを有する撮像装置において、
被写体の静止画像を連続的に撮影する連写モードを有し、
この連写モードが設定されているときは、前記領域設定手段により前記有効領域の範囲を縮小し、前記不要領域の範囲を拡大してフレーム周期を縮小するよう構成したことを特徴とするものである。
【0018】
さらに、上記目的を達成するため、請求項2に係る発明は、
画素信号を読み出し可能な撮像素子と、
前記撮像素子の有効領域に蓄積された信号電荷を実効的水平走査期間内に相対的に粗な頻度で転送するようなタイミングで垂直転送して読み出す読み出しモードと、前記撮像素子の不要領域に蓄積された信号電荷を実効的水平走査期間内に相対的に密な頻度で転送するようなタイミングで垂直転送して掃き出す掃き出しモードとを制御する読み出し制御手段と、
前記有効領域および不要領域の範囲を設定する領域設定手段と、を有する撮像装置において、
被写体が移動しているか否かを判定する動体判定手段を有し、
この動体判定手段により被写体が動体と判定されたときは、前記領域設定手段により前記有効領域の範囲を縮小し、前記不要領域の範囲を拡大してフレーム周期を縮小するよう構成したことを特徴とするものである。
【0032】
【発明の実施の形態】
以下、この発明の実施の形態について図面を参照して説明する。
図1は、この発明に係る撮像装置の第1実施形態の構成を示すブロック図である。この撮像装置は、基本的には静止画を撮像して記録することを主目的としたもので、レンズおよび絞り17を介して入射した被写体像を電気信号に変換する二次元配列の固体撮像素子たるCCD1と、このCCD1の出力からリセット雑音等を除去するための相関二重サンプリング回路(CDS)2と、このCDS2の出力のゲインを調節するゲインコントロールアンプ(AMP)3と、このAMP3の出力信号をデジタル信号に変換するアナログデジタル変換器(A/D)4と、デジタル信号に変換された画像信号に各種の処理を施すプロセス処理回路5と、CCD1を駆動するための各種の転送パルス等の駆動信号を出力すると共に、CDSでのサンプルホールド用のパルスを出力し、さらにA/D4でA/D変換を行うためのタイミングパルスを出力するタイミングジェネレータ(TG)6と、このTG6と後述するCPU8との同期をとるための信号を発生するシグナルジェネレータ(SG)7と、CCD1の読み出し制御手段を構成すると共に、撮像装置全体についてタイミング等を含む各種の制御を行う例えばマイクロコンピュータからなるCPU8と、プロセス処理回路5から出力されるCCD1の画素データや、後述する記録媒体16から圧縮伸長回路15を経て供給される画像データを蓄積するメモリを構成するDRAM9と、レンズおよび絞り17によるオートフォーカスを制御するためのオートフォーカス回路(AF)10と、CCD1に結像される被写体像の測光を行うための自動露出制御回路(AE)11と、ホワイトバランス自動的に制御するためのオートホワイトバランス回路(AWB)12と、この撮像装置に内蔵されているモニタである液晶表示装置13と、外部のモニタ等の表示装置に画像信号等を出力するための外部表示用端子14と、DRAM9に蓄積された一フレーム分の画像データを後述する記録媒体16にデータ量を減らして記録するために圧縮し、また該記録媒体16から読み出した圧縮された画像データを伸長する圧縮伸長回路15と、静止画データを記録する記録媒体16とを有する。
【0033】
また、CPU8には、レリーズボタン(図示せず)を1段目まで押し込むことによりオンするファーストレリーズスイッチ(1RSW)18a、2段目まで押し込むことによりオンするセカンドレリーズスイッチ(2RSW)18bの他、2RSW18bがオン中は連続撮影を行う連写モードを設定する連写モード設定スイッチ19a、被写体に対してオートフォーカスを連続的に行うコンティニュアンスAFモードを設定するコンティニュアンスAFモード設定スイッチ19b、被写体に対して一度フォーカスするとその状態をロックするシングルAFモードを設定するシングルAFモードスイッチ19cを含む各種のモード設定スイッチが接続されている。
【0034】
かかる電子的撮像装置において、記録媒体16に画像を記録する際には、CCD1から、CDS2、AMP3、A/D4およびプロセス処理回路5を介して出力される画像データが、例えば液晶表示装置13に供給されて表示される。これにより、撮影者は、液晶表示装置13を見ながら被写体の構図等を決定することができる。この状態で、レリーズボタンが押されると、プロセス処理回路5からDRAM9を介して圧縮伸長回路15に供給されている画像データが圧縮されて記録媒体16に記録される。
【0035】
また、記録媒体16に記録されている画像データを再生する際には、記録媒体16から読み出された圧縮データが圧縮伸長回路15で伸長処理されてDRAM9に書き込まれ、このDRAM9に書き込まれた画像データがプロセス処理回路5を介して液晶表示装置13や、外部表示用端子14を経て外部表示装置に供給されて静止画として再生される。
【0036】
次に、CCD1を駆動して画像データを得るための読み出し動作について、図2を参照して説明する。なお、図2では、CCD1を構成する二次元配列の水平方向の画素の並びをラインとし、このラインが第1ラインから第Lラインまで垂直方向に並んでいるものとする。図2(A)は、CCD1を最初の第1ラインから最終の第Lラインまで順次走査することにより、全画素に係る画素信号を所定の読み出し周波数で順次読み出して、静止画を記録するモードを示している。この静止画記録モードにおける読み出しは、いわゆるプログレッシブスキャニングと呼ばれるもので、図16において外側の大きな矩形枠で示すようなフル画面エリアについて、順次走査を行って全画素に係る情報を出力するので、静止画として高解像度の画像を得ることができる。
【0037】
図2(B)は、動画処理モードを示すものである。この動画処理モードでは、垂直方向の一部連続するk(kは正の整数)ライン、つまり第j+1ラインから第j+kライン(jは0以上の整数)の画素信号を読み出して動画処理を行う。このように、連続するkラインの有効出力エリアのみの画像データを読み出すことにより、全Lラインを読み出す場合に比べてフレームレートをL/k倍向上することができ、速いフレームレートの動画データを得ることができる。ここで、連続するkラインの有効出力エリアは、好ましくは、CCD1のフル画面エリアの中央部分とする。すなわち、このモードで読み出した有効出力エリアの画像データは、液晶表示装置13に表示される他、後述するように、例えばAF10、AE11、AWB12におけるそれぞれの処理で用いられるが、これらの処理ではフル画像エリアの中央部分の画像データを用いる中央重点処理が行われることが多いので、有効出力エリアをフル画面エリアの中央部分とすることにより、所要の処理を容易に行うことが可能となる。なお、このモードで読み出した有効出力エリアの画像データは、静止画として記録することも可能である。
【0038】
次に、図2(A)に示したような静止画記録モードと、図2(B)に示したような動画処理モードとがどのように実行されるかを、図3に示すCCD1の読み出しモードを示すタイミングチャート、および図4に示す読み出しモードと制御用データとを示すタイムチャートを参照しながら説明する。CCD1からの画像データの読み出しは、例えば1/60秒周期の垂直同期信号VDに同期して行われるが、静止画用の高画質の画像を取り込む以外のときは、例えば、1RSW18aのオンにより動画処理モードが実行され、この動画処理モードにより、例えば図16に示した順次のフレームにおける中央部の有効出力エリアの画像データが垂直同期信号VDに同期して読み出される。この動画処理モードで読み出される画像データは、CDS2、AMP3、A/D4およびプロセス処理回路5を介して液晶表示装置13に供給されて動画表示に用いられると共に、図4に示すように、AE,AF,AWB等の制御用データを算出する処理に、例えば1フレームずつ順に繰り返し用いられる。なお、このようにフレーム毎に異なる処理を繰り返し行う場合には、例えば、制御用データを蓄積することが考えられるが、この場合には、蓄積するデータを各々の処理内容に合わせて、同一の蓄積系により蓄積して処理することも可能となる。
【0039】
上記の動画処理を行っている最中に、2RSW18bがオンになってトリガが発生すると、それまでの1RSW18aのオンによる動画処理モードにより、露光やピントが適切に合った状態に既に制御されているので、トリガが入力された時点のフレームの次から直ちに静止画記録モードに移行する。
【0040】
この静止画記録モードでは、図2(A)で説明したように、CCD1の第1ラインから第Lラインまでの全画素に係る静止画の画素信号が所定の読み出し周波数で順次読み出されて、CDS2、AMP3、A/D4、プロセス処理回路5、DRAM9を経て圧縮伸長回路15に供給され、ここで圧縮されて記録媒体16に記録される。ここで、CCD1の全ラインの走査に、例えば1/10秒を要するとすれば、静止画の全データを出力するのに6コマ分の時間を要することになるが、この時間は、例えば垂直同期信号VDをカウントすることにより制御される。
【0041】
この静止画記録モードによる静止画データの出力が終了すると、1RSW18aがオンの間、撮像装置は再び動画処理モードに移行して、順次のフレームにおける中央部の有効出力エリアの画像データが垂直同期信号VDに同期して読み出され、これにより液晶表示装置13への動画表示、およびAE,AF,AWB等の制御用データの算出処理が行われて、次の撮影に備える。
【0042】
この発明とともに開発した参考例では、上記の動画処理モードで読み出すCCD1の中央部の有効出力エリアのライン数kを、図5(A)および(B)に示すように予め二種類設定し、そのいずれか一方を被写体の輝度に応じて選択すると共に、図5(B)に示す狭い有効出力エリアの場合は、そのフレーム周期を所定の値Tに設定しておく。ここで、有効出力エリアのライン数kは、図5(A)の場合は、図16の場合と同様に、全ライン数のほぼ40%とし、図5(B)の場合は、全ライン数のほぼ15%とする。このため、CPU8による動画処理モードの制御にあたっては、被写体輝度に応じてフレーム周期を設定するためのフラグKを設定し、K=1のときはフレーム周期Tを設定して、図5(B)に示す狭い有効出力エリアを選択し、K=0のときは図5(A)に示す広い有効出力エリアを選択するようにする。
【0043】
図6は、この参考例におけるCPU8での動作を示すフローチャートである。先ず、フラグKを「0」にクリア(ステップS1)して1RSW18aがオンか否かをチェックする(ステップS2)。ここで、1RSW18aがオンになったのが検知されたら、CCD1の適正蓄積時間tsと所定値tth(例えば、図5(B)の場合のフレーム周期T)とを比較し(ステップS3)、ts<tthのときはフラグKを「1」に設定し(ステップS4)、ts≧tthのときはフラグKを「0」に設定する(ステップS5)。したがって、被写体が高輝度の場合には、フレーム周期Tが設定されて、図5(B)に示す有効出力エリアが選択され、低輝度の場合には、図5(A)に示す有効出力エリアが選択されることになる。
【0044】
その後、フラグKに応じた読み出しモードの設定データをTG6へ送信して、TG6においてその設定データに基づいて選択された有効出力エリアの読み出しを行い(ステップS6)、その読み出された動画データに基づいてAF,AE,AWB等の処理を行う(ステップS7)。このステップS7での動画処理の実行中、2RSW18bがオンか否かをチェックし(ステップS8)、オンになったのが検知されたら、CCD1の全ラインを読み出して制止画像を記録媒体16に記録する処理を実行する(ステップS9)。
【0045】
図7は、参考例におけるCCD1の蓄積動作および読み出し動作を示すタイミングチャートで、図6のステップS4でフラグKを「1」とすることによりフレーム周期Tを設定した場合、すなわち被写体が高輝度で、図5(B)に示す有効出力エリアが選択された場合のタイミングチャートを示している。図18との比較から明らかなよう、図18の場合には、有効読み出しエリアが例えば40%のライン数と固定されているため、被写体が高輝度で蓄積時間tsが小さくても、読み出し時間tR ′によってフレームレート(1/T′)がほぼ決定されてしまうことになるが、この参考例においては、CCD蓄積レベルが適正レベルVtに達する蓄積時間tsが短い高輝度の場合には、図5(B)に示すように掃き出しエリアを拡大することにより有効出力エリアをほぼ15%のライン数に縮小して読み出すようにしたので、その読み出し時間tR を図18の場合の読み出し時間tR ′よりも短くでき、フレームレートを1/T′から1/Tに向上することができる。
【0046】
なお、図7では、蓄積時間tsを図5(B)の場合のフレーム周期Tと同一にしているが、この蓄積時間tsはフレーム周期T以下であれば何ら問題はない。すなわち、最大蓄積時間はフレーム周期Tで制限されるが、フレーム周期T以下の蓄積時間は、サブパルスSUBによる通常のオーバーフロードレインへの電荷排出による電子シャッタで任意に実現できるからである。これは、後述する実施形態においても同様である。
【0047】
以上の参考例によれば、被写体の輝度に応じて、適正蓄積時間が短い高輝度の場合には、掃き出しエリアを拡大し、有効出力エリアを縮小するようにしたので、フレームレートを有効に向上できる。したがって、レリーズタイムラグを有効に低減できるので、操作性を向上することができる。
【0048】
この発明の第1実施形態においては、上記の参考例において、フレーム周期Tの設定を、連写モード、コンティニュアンスAFモードまたは被写体が動体かの条件と、被写体輝度とに基づいて行って、図5(B)に示す狭い有効出力エリアを選択する。
【0049】
図8は、この第1実施形態におけるCPU8での動作を示すフローチャートである。先ず、フラグKを「0」にクリア(ステップS11)して1RSW18aがオンか否かをチェックする(ステップS12)。ここで、1RSW18aがオンになったのが検知されたら、連写モードか否か(ステップS13)、コンティニュアンスAFモードか否か(ステップS14)、被写体が動体か否か(ステップS15)をそれぞれチェックする。なお、連写モードは連写モード設定スイッチ19aの状態を、コンティニュアンスAFモードはコンティニュアンスAFモード設定スイッチ19bの状態をそれぞれ検知してチェックする。また、被写体が動体か否かは、複数回のAFデータに基づいて、例えば特開平5−308557号公報記載の技術を適用してチェックする。
【0050】
上記のステップS13〜ステップS15のうち、少なくとも一つのステップでのチェック結果が「Y」の場合、すなわち連写モード、コンティニュアンスAFモードおよび被写体が動体の少なくとも一つを満足する場合には、CCD1の適正蓄積時間tsと所定値tth(例えば、フレーム周期T)とを比較し(ステップS16)、ts<tthのときはフラグKを「1」に設定し(ステップS17)、ts≧tthのときはフラグKを「0」に設定する(ステップS18)。したがって、ステップS16での比較結果に応じて、被写体が高輝度の場合には、フレーム周期Tが設定されて、図5(B)に示すほぼ15%のライン数からなる有効出力エリアが選択され、低輝度の場合には、図5(A)に示すほぼ40%のライン数からなる有効出力エリアが選択されることになる。これに対し、ステップS13〜ステップS15での各チェック結果が、いずれも「N」の場合には、ステップS18でフラグKを「0」に設定する。
【0051】
その後、上記参考例の場合と同様に、フラグKに応じた読み出しモードの設定データをTG6へ送信して、TG6においてその設定データに基づいて選択された有効出力エリアの読み出しを行い(ステップS19)、その読み出された動画データに基づいてAF,AE,AWB等の処理を行う(ステップS20)。このステップS20での動画処理の実行中、2RSW18bがオンか否かをチェックし(ステップS21)、オンになったのが検知されたら、CCD1の全ラインを読み出して制止画像を記録媒体16に記録する処理を実行する(ステップS22)。
【0052】
このように、第1実施形態においては、連写モード、コンティニュアンスAFモードおよび被写体が動体の少なくとも一つを満足する場合にのみ、ts<tthを判定して、ts<tthのときは、フレーム周期Tを設定して、図5(B)のように掃き出しエリアを拡大し、有効出力エリアを縮小して、フレームレートを向上させるようにしたので、連写モードの場合には単位時間当たりの撮影コマ数を多くでき、コンティニュアンスAFモードまたは被写体が動体の場合には、移動する被写体に対してAFの追従性を向上することができる。また、上記以外の場合には、図5(A)に示す有効エリアが選択され、AF,AE,AWB等に利用できる領域が広くなるので、それらの動画処理機能を向上することができる。
【0053】
上述した第1実施形態では、連写モード、コンティニュアンスAFモードおよび被写体が動体の少なくとも一つを満足する場合で、ts≧tthのとき、すなわち被写体が低輝度のときは、図5(A)に示す広い有効出力エリアを選択するようにしたが、この発明の第2実施形態では、ts≧tthの場合でも、フレーム周期Tを設定して、図5(B)に示す狭い有効出力エリアを選択してフレームレートを向上させるようにし、その際のCCD蓄積レベルの不足分を、CCD1から読み出した信号を加算することによって補うようにする。このため、第2実施形態では、フレーム周期を設定するためのフラグKの他に、ts≧tthで、フレーム周期Tを設定した場合に、CCD1からの読み出し信号を加算するためのフラグGを設定する。ここで、フラグGは、G=1で加算を行い、G=0で加算を行わないものとする。
【0054】
図9は、この第2実施形態におけるCPU8での動作を示すフローチャートである。先ず、フラグKおよびフラグGをそれぞれ「0」にクリア(ステップS31)して1RSW18aがオンか否かをチェックする(ステップS32)。ここで、1RSW18aがオンになったのが検知されたら、第1実施形態と同様にして、連写モードか否か(ステップS33)、コンティニュアンスAFモードか否か(ステップS34)、被写体が動体か否か(ステップS35)をそれぞれチェックする。
【0055】
上記のステップS33〜ステップS35のうち、少なくとも一つのステップでのチェック結果が「Y」の場合には、蓄積時間tsと所定値tthとを比較し(ステップS36)、ts<tthのときはフラグKを「1」に、フラグGを「0」にそれぞれ設定し(ステップS37)、ts≧tthのときはフラグKおよびフラグGをそれぞれ「1」に設定する(ステップS38)。したがって、連写モード、コンティニュアンスAFモードおよび被写体が動体の少なくとも一つを満足する場合には、フレーム周期Tが設定されて、図5(B)に示す狭い有効出力エリアが選択され、さらにその場合において被写体が低輝度の場合には、CCD1から読み出した信号を加算処理することが選択されることになる。これに対して、ステップS33〜ステップS35での各チェック結果が、いずれも「N」の場合には、ステップS39でフラグKおよびフラグGをそれぞれ「0」に設定する。したがって、この場合には、図5(A)に示す広い有効出力エリアが選択され、CCD1から読み出した信号の加算処理も行われないことになる。
【0056】
その後、フラグKに応じた読み出しモードの設定データをTG6へ送信して、TG6においてその設定データに基づいて選択された有効出力エリアの読み出しを行い(ステップS40)、その読み出された動画データに対して、フラグGの内容に応じて選択的に加算処理を行ってAF,AE,AWB等の処理を行う(ステップS41)。
【0057】
ここで、CCD1から読み出した信号の加算処理は、例えばCCD1が図15に示したようなベイヤー配列の色差線順次形式の色フィルタを有する場合には、例えば図10に示すように、それぞれ一ライン隔てた二ライン間で同色の2画素の信号を加算する。なお、図10において、(CR)は、図15においてRおよびGの繰り返しパターンのラインを、同様に(CB)は、GおよびBの繰り返しパターンのラインをそれぞれ示している。
【0058】
図9において、ステップS41での動画処理の実行中、2RSW18bがオンか否かをチェックし(ステップS42)、オンになったのが検知されたら、CCD1の全ラインを読み出して制止画像を記録媒体16に記録する処理を実行する(ステップS43)。勿論、この静止画の記録処理では、CCD1からの読み出し信号の加算処理は行わない。
【0059】
図11は、この第2実施形態におけるCCD1の蓄積動作および読み出し動作を示すタイミングチャートで、図9においてステップS38でフラグKおよびフラグGがそれぞれ「1」に設定された場合、すなわちフレーム周期Tの設定により、図5(B)に示す有効出力エリアが選択され、かつ被写体が低輝度の場合のタイミングチャートを示している。図11から明らかなように、例えば所定値tthをフレーム周期Tとすると、CCD蓄積レベルが適正レベルVtとなる適正蓄積時間tsは、ts>Tとなるため、実際の蓄積時間ts′をts′=Tとすると、蓄積量が不足することになる。この蓄積量の不足分は、図10に示したように、CCD1から読み出した信号を加算することで補われる。
【0060】
このように、第2実施形態では、被写体が低輝度の場合でも、フレーム周期Tを設定して、図5(B)に示す狭い有効出力エリアを選択することで、フレームレートの向上を優先させ、その場合のCCD蓄積レベルの不足分を、CCD1から読み出した信号を加算することで補うようにしたので、フレームレートを低下させずに、AF,AE,AWB等の処理を適切に行うことができる。なお、CCD1から読み出した信号の加算処理は、図10に示したように、同色の2画素の信号の加算に限らず、同色の3画素以上の信号を加算するようにすることもできるし、tsとtthとの差に基づいて、その加算する同色の画素数を制御することもできる。
【0061】
この発明の第3実施形態では、第2実施形態において、ts≧tthの場合に、フレーム周期Tを設定して、図5(B)に示す狭い有効出力エリアを選択したときのCCD蓄積レベルの不足分を、AMP3(図1参照)のゲインを選択的に高くすることによって補うようにする。このため、第3実施形態では、フレーム周期Tを設定するフラグKの他に、ts≧tthで、フレーム周期Tを設定場合に、AMP3のゲインを選択的に高くするためのフラグAを設定する。ここで、フラグAは、A=1でゲインを2倍に、A=0でゲインを1倍にするものとする。
【0062】
図12は、この第3実施形態におけるCPU8での動作を示すフローチャートである。先ず、フラグKおよびフラグAをそれぞれ「0」にクリア(ステップS51)して1RSW18aがオンか否かをチェックする(ステップS52)。ここで、1RSW18aがオンになったのが検知されたら、第2実施形態と同様にして、連写モードか否か(ステップS53)、コンティニュアンスAFモードか否か(ステップS54)、被写体が動体か否か(ステップS55)をそれぞれチェックする。
【0063】
上記のステップS53〜ステップS55のうち、少なくとも一つのステップでのチェック結果が「Y」の場合には、蓄積時間tsと所定値tthとを比較し(ステップS56)、ts<tthのときは、フラグKを「1」に、フラグAを「0」にそれぞれ設定し(ステップS57)、ts≧tthのときは、さらにその蓄積時間tsでのCCD蓄積レベルVsが、適正レベルVtに対して1/2未満か否かをチェックする(ステップS58)。ここで、Vs≧Vt/2のときは、ステップS57でフラグKを「1」に、フラグAを「0」にそれぞれ設定し、Vs<Vt/2のときは、ステップS59でフラグKおよびフラグAをそれぞれ「1」に設定する。したがって、連写モード、コンティニュアンスAFモードおよび被写体が動体の少なくとも一つを満足する場合には、フレーム周期Tが設定されて、図5(B)に示す狭い有効出力エリアが選択され、さらにその場合において被写体が低輝度で、Vs<Vt/2のときは、AMP3のゲインが2倍に設定されることになる。これに対して、ステップS53〜ステップS55での各チェック結果が、いずれも「N」の場合には、ステップS60でフラグKおよびフラグAをそれぞれ「0」に設定する。したがって、この場合には、図5(A)に示す広い有効出力エリアが選択され、AMP3のゲインも1倍に設定される。
【0064】
その後、フラグKに応じた読み出しモードの設定データをTG6へ送信して、TG6においてその設定データに基づいて選択された有効出力エリアの読み出しを行って(ステップS61)、その読み出された動画データに対して、フラグAの内容に応じてAMP3で増幅処理を行ってAF,AE,AWB等の処理を行う(ステップS62)。この動画処理の実行中は、2RSW18bがオンか否かをチェックし(ステップS63)、オンになったのが検知されたら、CCD1の全ラインを読み出し、AMP3のゲインを1倍として制止画像を記録媒体16に記録する処理を実行する(ステップS64)。
【0065】
図13は、第3実施形態における図1のAMP3の要部の一例の構成を示すものである。このAMP3は、CDS2(図1参照)からの信号を増幅するゲイン切り替え可能な反転増幅回路31と、CCD1の暗電流によるノイズ成分を除去するために、CDS2からの信号のうち、CCD1内の遮光画素からの出力をサンプルホールドするサンプルホールド回路32とを有する。反転増幅回路31には、OPアンプ33を設け、その反転入力端子に抵抗R1を経てCDS2からの信号を供給する。OPアンプ33の反転入力端子は、抵抗R2,R3を経て出力端子に接続して帰還回路を構成し、非反転入力端子は、抵抗R4およびR5を経て基準電源(図示せず)に接続する。また、抵抗R3および抵抗R5には、ゲインを切り替えるためにそれぞれアナログスイッチ35および36を並列に接続する。
【0066】
サンプルホールド回路32には、OPアンプ37を設け、その非反転入力端子にホールドコンデンサCを接続し、このホールドコンデンサCにアナログスイッチ38を経てCDS2からの信号を供給するようにして、OPアンプ37の出力を抵抗R6を経てOPアンプ33の非反転入力端子に供給する。なお、抵抗R1〜R6の各抵抗値は、それぞれ等しくする。
【0067】
このようにして、CPU8の制御のもとに、サンプルホールド回路32で、CCD1内の遮光画素の出力のタイミングでアナログスイッチ38をオンにして、その遮光画素出力をホールドコンデンサCにホールドし、その出力をOPアンプ37および抵抗R6を経て反転増幅回路31を構成するOPアンプ33の非反転入力端子に供給する。また、反転増幅回路31では、CPU8の制御のもとに、図12で説明したフラグAが「0」のときは、アナログスイッチ35,36をオンとして、そのゲインを1倍とし、フラグAが「1」のときは、アナログスイッチ35,36をオフとして、そのゲインを2倍にして、CDS2からの信号を暗電流によるノイズを除去して増幅する。
【0068】
以上のように、第3実施形態では、被写体が低輝度の場合でも、図5(B)に示す狭い有効出力エリアが選択されるフレーム周期Tを設定することでフレームレートを向上させ、その場合のCCD蓄積レベルの不足分を、AMP3のゲインを切り替えることで補うようにしたので、フレームレートを低下させずに、AF,AE,AWB等の処理を高精度で行うことができる。なお、AMP3でのゲインの切り替えは、1倍および2倍の切り替えに限らず、CCD蓄積レベルに応じて任意に設定するよう構成することもできる。
【0069】
なお、この発明は、上述した実施形態にのみ限定されるものではなく、幾多の変形または変更が可能である。例えば、上述した実施形態では、CCD1の有効出力エリアを、全ライン数のほぼ40%とほぼ15%の二種類設定して、フレーム周期Tが設定されたときは、ほぼ15%の有効出力エリアを選択するようにしたが、さらに多くのフレーム周期を、被写体輝度に応じて、あるいは任意に設定できるようにして、その設定されたフレーム周期に応じて有効出力エリアを適宜設定するようにすることもできる。また、有効出力エリアは、画面中央部に限らず任意の領域に設定することができる。さらに、フレーム周期を設定することなく、被写体輝度に応じて、有効出力エリアを、例えば高輝度の場合には、フレーム周期が短くなるように狭く設定するようにすることもできる。また、撮像素子は、上述した縦型オーバーフロードレイン構造をもつインターライン形CCDに限らず、他のCCDやMOS形撮像デバイス等の種々の固体撮像素子を用いる場合でも、この発明を有効に適用することができる。
【0070】
【発明の効果】
この発明によれば、撮像素子に蓄積された信号電荷を、実効的水平走査期間内に相対的に粗な頻度で転送するようなタイミングで垂直転送して読み出す有効領域と、相対的に密な頻度で転送するようなタイミングで垂直転送して掃き出す不要領域との範囲を設定できるようにしたので、被写体輝度、連写モード、コンティニュアンスAFモード、被写体が動体等に応じて、有効領域および不要領域を適宜設定してフレームレートを有効に向上することができる。したがって、動画データを用いるAF,AE,AWB等の処理を迅速に行うことができるので、レリーズタイムラグを十分減少でき、満足な操作性を得ることができる。
【図面の簡単な説明】
【図1】この発明に係る撮像装置の第1実施形態の構成を示すブロック図である。
【図2】第1実施形態によるCCDの読み出し動作を説明するための図である。
【図3】同じく、CCDの読み出しモードを示すタイミングチャートである。
【図4】同じく、CCDの読み出しモードと制御用データとを示すタイミングチャートである。
【図5】この発明とともに開発した参考例による動画処理モードで選択的に読み出すCCDの有効出力エリアの二つの例を示す図である。
【図6】参考例の動作を示すフローチャートである。
【図7】同じく、CCDの蓄積動作および読み出し動作を示すタイミングチャートである。
【図8】この発明の第1実施形態の動作を示すフローチャートである。
【図9】同じく、第2実施形態の動作を示すフローチャートである。
【図10】第2実施形態における信号の加算処理を説明するための図である。
【図11】同じく、第2実施形態におけるCCDの蓄積動作および読み出し動作を示すタイミングチャートである。
【図12】この発明の第3実施形態の動作を示すフローチャートである。
【図13】同じく、第3実施形態におけるAMPの要部の一例の構成を示す図である。
【図14】この発明に係る撮像装置に使用可能な撮像素子としてのCCDの一例の構成を示す図である。
【図15】図14に示すCCDに用いられる色フィルタの一例を示す図である。
【図16】本出願人の先の提案に係る撮像装置による動画処理モードでのCCD画面の有効出力エリアおよび掃き出しエリアを示す図である。
【図17】同じく、本出願人の先の提案に係る撮像装置による動画処理モードでのCCDの電荷読み出しおよび掃き出し動作を示す模式図である。
【図18】同じく、動画処理モードでの高輝度の場合のCCDの電荷の読み出しおよび掃き出し動作を示すタイミングチャートである。
【図19】同じく、動画処理モードでの低輝度の場合のCCDの電荷の読み出しおよび掃き出し動作を示すタイミングチャートである。
【符号の説明】
1 CCD
2 相関二重サンプリング回路(CDS)
3 ゲインコントロールアンプ(AMP)
4 アナログデジタル変換器(A/D)
5 プロセス処理回路
6 タイミングジェネレータ(TG)
7 シグナルジェネレータ(SG)
8 CPU
9 DRAM
10 オートフォーカス回路(AF)
11 自動露出制御回路(AE)
12 オートホワイトバランス回路(AWB)
13 液晶表示装置
14 外部表示用端子
15 圧縮伸長回路
16 記録媒体
17 レンズおよび絞り
18a ファーストレリーズスイッチ(1RSW)
18b セカンドレリーズスイッチ(2RSW)
19a 連写モード設定スイッチ
19b コンティニュアンスAFモード設定スイッチ
19c シングルAFモードスイッチ
21 フォトダイオード
22 トランスファーゲート
23 垂直シフトレジスタ
24 水平シフトレジスタ
25 信号検出器
31 反転増幅回路
32 サンプルホールド回路
33,37 OPアンプ
35,36,38 アナログスイッチ

Claims (2)

  1. 画素信号を読み出し可能な撮像素子と、
    前記撮像素子の有効領域に蓄積された信号電荷を実効的水平走査期間内に相対的に粗な頻度で転送するようなタイミングで垂直転送して読み出す読み出しモードと、前記撮像素子の不要領域に蓄積された信号電荷を実効的水平走査期間内に相対的に密な頻度で転送するようなタイミングで垂直転送して掃き出す掃き出しモードとを制御する読み出し制御手段と、
    前記有効領域および不要領域の範囲を設定する領域設定手段とを有する撮像装置において、
    被写体の静止画像を連続的に撮影する連写モードを有し、
    この連写モードが設定されているときは、前記領域設定手段により前記有効領域の範囲を縮小し、前記不要領域の範囲を拡大してフレーム周期を縮小するよう構成したことを特徴とする撮像装置。
  2. 画素信号を読み出し可能な撮像素子と、
    前記撮像素子の有効領域に蓄積された信号電荷を実効的水平走査期間内に相対的に粗な頻度で転送するようなタイミングで垂直転送して読み出す読み出しモードと、前記撮像素子の不要領域に蓄積された信号電荷を実効的水平走査期間内に相対的に密な頻度で転送するようなタイミングで垂直転送して掃き出す掃き出しモードとを制御する読み出し制御手段と、
    前記有効領域および不要領域の範囲を設定する領域設定手段と、を有する撮像装置において、
    被写体が移動しているか否かを判定する動体判定手段を有し、
    この動体判定手段により被写体が動体と判定されたときは、前記領域設定手段により前記有効領域の範囲を縮小し、前記不要領域の範囲を拡大してフレーム周期を縮小するよう構成したことを特徴とする撮像装置。
JP17124398A 1998-06-18 1998-06-18 撮像装置 Expired - Fee Related JP4094123B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP17124398A JP4094123B2 (ja) 1998-06-18 1998-06-18 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP17124398A JP4094123B2 (ja) 1998-06-18 1998-06-18 撮像装置

Publications (2)

Publication Number Publication Date
JP2000013685A JP2000013685A (ja) 2000-01-14
JP4094123B2 true JP4094123B2 (ja) 2008-06-04

Family

ID=15919706

Family Applications (1)

Application Number Title Priority Date Filing Date
JP17124398A Expired - Fee Related JP4094123B2 (ja) 1998-06-18 1998-06-18 撮像装置

Country Status (1)

Country Link
JP (1) JP4094123B2 (ja)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007110639A (ja) * 2005-10-17 2007-04-26 Fujifilm Corp 固体撮像素子、その駆動方法および撮像装置
JP2008187614A (ja) * 2007-01-31 2008-08-14 Sanyo Electric Co Ltd 撮影装置
JP5072562B2 (ja) * 2007-12-06 2012-11-14 株式会社キーエンス 動画像撮像装置、動画像撮像装置の設定支援装置、動画像撮像装置の設定方法
JP5340036B2 (ja) * 2009-05-27 2013-11-13 キヤノン株式会社 自動合焦装置を有する撮像装置
JP2011147076A (ja) * 2010-01-18 2011-07-28 Nikon Corp 画像処理装置、撮像装置およびプログラム
KR101756839B1 (ko) 2011-05-17 2017-07-11 삼성전자주식회사 디지털 촬영 장치 및 이의 제어 방법
JP7367569B2 (ja) 2020-03-10 2023-10-24 株式会社リコー センサ制御装置、プログラムおよびセンサ制御方法

Also Published As

Publication number Publication date
JP2000013685A (ja) 2000-01-14

Similar Documents

Publication Publication Date Title
TWI422219B (zh) 攝影裝置及攝影方法以及電腦可讀取的記錄媒體
JP2520581B2 (ja) ビデオカメラ
US6618090B1 (en) Automatic exposure control apparatus
TW582172B (en) Image pickup device and image quality correction method
JPH10210367A (ja) 電子的撮像装置
US5563658A (en) Electronic camera with rapid automatic focus of an image upon an image sensor
JP2004328117A (ja) ディジタルカメラおよび撮像制御方法
JP4616429B2 (ja) 画像処理装置
JP3738652B2 (ja) デジタルカメラ
US20080008465A1 (en) Photographing apparatus and method
JP4094123B2 (ja) 撮像装置
JP4464006B2 (ja) 撮像装置および露光方法
JP4311776B2 (ja) 撮像装置
JP5452269B2 (ja) 撮像装置
JP4013026B2 (ja) 電子カメラ及び自動焦点調節時の画像表示方法
JP2001057645A (ja) 電子カメラ
JP4282262B2 (ja) 撮像装置
JP4199381B2 (ja) 固体撮像装置および固体撮像素子駆動方法
JP3738654B2 (ja) デジタルカメラ
JP4365460B2 (ja) 撮像装置
JP2000013686A (ja) 撮像装置
JP2010081422A (ja) 撮影装置
JP3794672B2 (ja) 固体撮像装置
JP4158767B2 (ja) 撮像装置
JP2003069863A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050309

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060718

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071211

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080129

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080305

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110314

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110314

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110314

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120314

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120314

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130314

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140314

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees