JP4125502B2 - 固体撮像装置およびその駆動方法 - Google Patents
固体撮像装置およびその駆動方法 Download PDFInfo
- Publication number
- JP4125502B2 JP4125502B2 JP2001282776A JP2001282776A JP4125502B2 JP 4125502 B2 JP4125502 B2 JP 4125502B2 JP 2001282776 A JP2001282776 A JP 2001282776A JP 2001282776 A JP2001282776 A JP 2001282776A JP 4125502 B2 JP4125502 B2 JP 4125502B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- line
- exposure
- solid
- imaging device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 105
- 238000000034 method Methods 0.000 title claims description 44
- 238000012545 processing Methods 0.000 claims description 95
- 238000012546 transfer Methods 0.000 claims description 31
- 230000008569 process Effects 0.000 claims description 24
- 239000000758 substrate Substances 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims 2
- 230000001360 synchronised effect Effects 0.000 claims 2
- 230000007274 generation of a signal involved in cell-cell signaling Effects 0.000 description 18
- 230000003287 optical effect Effects 0.000 description 10
- 238000007781 pre-processing Methods 0.000 description 9
- 238000012937 correction Methods 0.000 description 8
- 230000000875 corresponding effect Effects 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 8
- 238000007906 compression Methods 0.000 description 7
- 230000006837 decompression Effects 0.000 description 7
- 230000006835 compression Effects 0.000 description 6
- 230000000694 effects Effects 0.000 description 5
- 238000011156 evaluation Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000002411 adverse Effects 0.000 description 4
- 239000003086 colorant Substances 0.000 description 4
- 238000010408 sweeping Methods 0.000 description 4
- 230000001276 controlling effect Effects 0.000 description 3
- 230000002596 correlated effect Effects 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 230000000630 rising effect Effects 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 238000012935 Averaging Methods 0.000 description 2
- 230000015556 catabolic process Effects 0.000 description 2
- 230000000295 complement effect Effects 0.000 description 2
- 238000006731 degradation reaction Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000004973 liquid crystal related substance Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007599 discharging Methods 0.000 description 1
- 230000010355 oscillation Effects 0.000 description 1
- 238000005375 photometry Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Transforming Light Signals Into Electric Signals (AREA)
- Solid State Image Pick-Up Elements (AREA)
Description
【発明の属する技術分野】
本発明は、固体撮像装置およびその駆動方法に関し、たとえば電子シャッタを用いて露出時間を調節するディジタルカメラ、より具体的にはビデオカメラ、電子スチルカメラおよび画像入力装置等に適用して好適な固体撮像装置に関するものであり、さらにこの固体撮像装置に適用した好適な駆動方法に関するものである。
【0002】
【従来の技術】
たとえば、特開昭63-105579号公報の固体撮像装置に示されるように、露出時間を所望の値にすることおよびこの露出時間制御に要する電力消費を抑えることのためにこの固体撮像装置を適用したCCD(Charge Coupled Device)型の画像センサにおいて、画像センサは、電子シャッタパルスを水平ブランキング(HBLK: Horizontal BLanKing)期間に印加して動作させている。これにより、得られる画像には、電子シャッタパルスを映像期間内に印加することで生じていた横線やムラの発生が避けられる。
【0003】
【発明が解決しようとする課題】
しかしながら、前述した条件での電子シャッタパルスの印加は、最小の露出時間が1Hになり、画像センサはこの1H単位で露出制御が行われることになる。このことは、露出制御は露出時間が1H期間の整数倍でしか制御できないことを意味する。したがって、この条件を用いる画像センサは、厳密なシャッタ速度で露出制御ができない。さらに画像センサに一層の高画素化が施されると、画像センサの水平方向の画素数も高画素化にともない増加する。この増加は、出力する撮像信号の1H期間が長くなることを意味し、結果的に露出時間の制御単位がますます長くなってしまう。
【0004】
本発明はこのような従来技術の欠点を解消し、動画モードにおける露出時間を正確に制御しながら良好な画像を得ることができる固体撮像装置およびその駆動方法を提供することを目的とする。
【0005】
【課題を解決するための手段】
本発明は上述の課題を解決するために、被写界からの入射光を信号電荷に変換する受光素子がアレイ状に基板上に配され、この受光素子のそれぞれに入射光を変換して得られる信号電荷を蓄積する露出とこの露出前に蓄積した信号電荷を基板に廃棄する電荷除去処理の期間中に印加する電子シャッタパルスとにより露出制御を行って、露出の間に蓄積した信号電荷を受光素子から読み出す撮像手段と、読み出して得られる画像信号に信号処理を施す信号処理手段とを備え、信号処理手段は、画像信号のうち、電子シャッタパルスの印加されたラインに対応する画像信号をこのラインに対して相前後するラインまたは水平ラインの上に位置するラインの画像信号を用いて補間するライン補間手段を含むことを特徴とする。
【0006】
本発明の固体撮像装置は、信号処理手段に供給される画像信号のうち、電子シャッタパルスの印加されたラインの信号を使わずに、ライン補間手段でこのラインに対して相前後するラインまたは水平ラインの上に位置するラインの画像信号を用い、電子シャッタパルスの印加されたラインの信号を補間することにより、横線やムラ等の発生を回避させている。
【0007】
また、本発明は上述の課題を解決するために、被写界からの入射光を信号電荷に変換する受光素子がアレイ状に基板上に配され、この受光素子のそれぞれに入射光を変換して得られる信号電荷を蓄積する露出とこの露出前に蓄積した信号電荷を基板に廃棄する電荷除去処理とにより露出制御を行って、露出の間に蓄積した信号電荷を受光素子から読み出し、この信号電荷を電圧信号にして出力し、この電圧信号を画像信号とし、この画像信号に信号処理を施す固体撮像装置の駆動方法において、信号処理からの露出に関する情報を基に電荷除去処理の期間と露出の期間を求める第1の工程と、この得られたこれらの期間に応じた制御信号を生成する第2の工程と、この制御信号を基に電荷除去処理の期間および露出の期間のタイミング信号を生成する中で、電荷除去処理の期間に蓄積した信号電荷を廃棄させる廃棄信号のタイミング信号を生成する第3の工程と、廃棄信号の印加に際して露出で印加される電圧レベルより高く、信号電荷を廃棄させる直流電圧レベルを出力し、露出の期間では信号電荷の蓄積を行う電圧レベルを出力する第4の工程と、露出にともない得られた信号電荷を読み出して、この信号電荷から画像信号を生成する第5の工程と、この画像信号のうち、電荷除去処理と露出との境界にある水平ラインに対して相前後するラインまたは水平ラインの上に位置するラインの画像信号を用いて補間する第6の工程とを含むことを特徴とする。
【0008】
本発明の固体撮像装置の駆動方法は、信号処理からの露出に関する情報を基に電荷除去処理の期間と露出の期間を求め、この得られたこれらの期間に応じた制御信号を生成し、タイミング信号を生成する中で廃棄信号のタイミング信号も生成し、廃棄信号の印加に際して露出で印加される電圧レベルより高く、信号電荷を廃棄させる直流電圧レベルで出力し、露出の期間では信号電荷の蓄積を行う電圧レベルで出力し、露出により得られた信号電荷を読み出して、この信号電荷から画像信号を生成し、この画像信号のうち、電荷除去処理と露出との境界にある水平ラインに対して相前後するラインまたは水平ラインの上に位置するラインの画像信号を用いて補間することにより、電荷除去処理の期間をこれまでのパルス制御でなく、直流制御で行い、基板に生じるゆがみを防ぎ、上述した境界の水平ラインを補間して横線やムラ等の発生を回避させている。
【0009】
本発明は上述の課題を解決するために、被写界からの入射光を信号電荷に変換する受光素子がアレイ状に基板上に配され、この受光素子のそれぞれに前記入射光を変換して得られる信号電荷を蓄積する露出とこの露出前に蓄積した信号電荷を基板に廃棄する電荷除去処理の期間中に印加する電子シャッタパルスとにより露出制御を行って、露出の間に蓄積した信号電荷を受光素子から読み出す撮像手段と、この読み出して得られる画像信号に信号処理を施す信号処理手段とを含み、撮像手段の出力のうち、電子シャッタパルスの印加されるラインに対して水平同期信号の入力が禁止されていることを特徴とする。
【0010】
本発明の固体撮像装置は、撮像手段で電子シャッタパルスの印加されるラインに対して水平同期信号を入れないように駆動され、信号処理手段では電子シャッタパルスの印加されたラインの採込みが行われない。これにより、固体撮像装置の出力画像には、電子シャッタパルスの印加されたラインが出力されないので、これまで電子シャッタの印加にともなって生じていた悪影響を現れないようにすることができる。
【0011】
さらに、本発明は上述の課題を解決するために、被写界からの入射光を信号電荷に変換する受光素子がアレイ状に基板上に配され、この受光素子のそれぞれに前記入射光を変換して得られる信号電荷を蓄積する露出とこの露出前に蓄積した信号電荷を基板に廃棄する電荷除去処理の期間中に印加する電子シャッタパルスとにより露出制御を行って、露出の間に蓄積した信号電荷を受光素子から読み出す撮像手段と、この読み出して得られる画像信号に信号処理を施す信号処理手段とを含み、撮像手段は、電子シャッタパルスの印加に応じて信号電荷の転送を停止し、これにより得られた撮像出力を出力し、信号処理手段は、供給される画像信号に対して転送の停止に対応するタイミング調整を行うことを特徴とする。
【0012】
本発明の固体撮像装置は、撮像手段で電子シャッタパルスの印加に応じて信号電荷の転送を停止し、電子シャッタパルスによる影響が画像信号に含まれないようにした撮像出力信号を出力し、画像信号に信号処理手段で供給される画像信号に転送の停止に対応したタイミング調整を施すことにより、画像には、電子シャッタパルスの悪影響が現れないようにすることができる。
【0013】
【発明の実施の形態】
次に添付図面を参照して本発明による固体撮像装置の実施例を詳細に説明する。
【0014】
本実施例は、本発明の固体撮像装置をディジタルカメラ10に適用した場合である。本発明と直接関係のない部分について図示および説明を省略する。ここで、信号の参照符号はその現れる接続線の参照番号で表す。
【0015】
ディジタルカメラ10には、図1に示すように、光学レンズ系12、撮像部14、ドライバ16、前処理部18、システム制御部20、タイミング信号生成部22、信号処理部24、ストレージ部26、モニタ28およびレリーズシャッタボタン30が備えられている。
【0016】
光学レンズ系12は、たとえば、複数枚の光学レンズを組み合わせて構成されて図示しない絞り機構でつくるアイリスを介して入射光束が撮像部14に焦点を結ぶように結像させる。光学レンズ系12は、本撮像の前に行う予備の撮像から被写体とカメラ10との距離を求め、得られた距離に応じてピント調節する、AF(Automatic Focus:自動焦点)調節機構および入射光量を調節するAE(Automatic Exposure)調節機構を含んでいる。図示しないこれらの調節機構は、ドライバ16から供給される駆動信号160に応動する。絞り機構は、図示しない絞り駆動回路からの駆動信号に応じてリング部を回転させる。リング部は羽根を部分的に重ならせてアイリスの形状を丸く形成し、アイリスの口径を変えている。絞り機構は、メカニカルシャッタ(図示せず)をレンズシャッタとして組み込んでもよい。
【0017】
撮像部14には、光学ローパスフィルタ14a、色フィルタ14bおよび固体撮像素子14cが含まれている。光学ローパスフィルタ14aは入射光の空間周波数をナイキスト周波数以下にするフィルタである。色フィルタ14bは三原色RGBの色フィルタセグメントが固体撮像素子14cの個々の受光素子と一対一に所定の位置関係に配されたフィルタである。したがって、色フィルタ14bは固体撮像素子14cの受光素子の配置に依存する。色フィルタ14bは三原色RGBに限定するものでなく、補色系の色フィルタセグメントであってもよい。ただし、この場合、後段の信号処理には補色を原色に変換する処理が追加される。
【0018】
固体撮像素子14cは、CCD型を用いる。固体撮像素子14cは光学レンズ系12、絞り機構のアイリスを通った入射光を光電変換して信号電荷を生成している。固体撮像素子14cは、図示しないが受光素子、フィールドシフトゲート、垂直転送CCD、水平転送CCDを含み、得られた信号電荷をドライバ16から供給される駆動信号162, 164に応動してアナログ信号にして読み出している。このアナログ信号が画像信号14dである。駆動信号162はフィールドシフトパルス、垂直駆動信号および水平駆動信号を表し、駆動信号164はオーバーフロードレイン(Over Flow Drain: 以下、OFDという)信号である。
【0019】
受光素子は、アレイ状に配置された感光部で、入射光を信号電荷に変換する機能を有している。受光素子には、たとえばホトダイオードが用いられる。受光素子は入射光の強さに応じて信号電荷に変換し、この信号電荷を時間とともに蓄積させていく。
【0020】
フィールドシフトゲートは、受光素子の信号電荷が垂直転送CCDに漏れないように閉状態にして遮蔽し、信号電荷を垂直転送CCDに読み出す際にゲートを開状態にして信号電荷を垂直転送CCDに移動させる機能を有するゲートである。すなわち、フィールドシフトゲートは、ドライバ16から駆動信号162に含まれるフィールドシフトパルスがゲートをオン状態にするように印加された際にゲートを開放し、これ以外のときにゲートを閉じる。
【0021】
垂直転送CCDには、一つの受光素子に隣接してCCDが垂直方向に形成されている。各CCDには電極が形成されて、それぞれ駆動信号162に含まれる垂直駆動信号φVが供給されている。垂直転送CCDには、ドライバ16から位相の異なる垂直駆動信号φVが供給されている。水平転送CCDは、垂直転送CCDから供給された信号電荷をドライバ16からの駆動信号162に含まれる水平転送駆動信号φHに応じて水平転送する。水平転送CCDは、信号電荷を出力アンプ(図示せず)に向かって転送させている。
【0022】
また、固体撮像素子14cには、ドライバ16から電子シャッタとしてOFD信号164が印加されている。本実施例のOFD信号164は、これまでのOFD信号のように20〜30Vの電圧を一瞬に印加するパルス制御でなく、直流(Direct Current:以下、DCという)制御により変化させたDCレベルの電圧を印加する。
【0023】
ここで、本実施例のDC制御について簡単に説明する。DC制御は、図2に示すように水平同期信号HDにおけるブランキング期間内にOFD信号164の立下りエッジおよび立上りエッジが含まれるように行われる。このように制御することにより、図2(b)に示すOFD信号164は、従来のOFD信号と逆位相の関係で基板に印加される。このようにOFD信号164を印加すると、OFD信号164のレベル変動を水平ブランキング内で行い、不要電荷の排出において基板の電位変動を抑えることで横線やムラ等の発生を防止している。
【0024】
さらに厳密なシャッタ速度に制御するため、不要電荷掃出し時間OFFと露出時間EXとを求めて、ドライバ16は不要電荷掃出し時間OFFの期間を高電位のOFD信号164を固体撮像素子14cに印加する(図3(c)を参照)。このとき、ドライバ16は、図3(a)に示すように垂直同期信号VDのブランキング期間内にて正極のフィールドシフトパルス(図3(b)を参照)を印加して読み出した信号電荷が図示しないドレインに掃き出されるようにOFD信号164の立上りタイミングを調整している。不要電荷掃出し時間OFFと露出時間EXとの境界、すなわち露出開始に対応する水平ラインは後段の信号処理において読み出した信号電荷が影響を受けるので、この水平ラインに隣接する上下のラインまたは上のラインの画像データで補間する。この補間については後段でさらに説明する。
【0025】
このように画質劣化を生じさせる原因をなくすことにより、電子シャッタの印加をこれまでの水平ブランキング期間に限定することなく、電子シャッタを自由に印加させることができる。このような電子シャッタの印加は、動画(ムービ)撮像やモニタ28へのスルー画表示を行う場合、有効である。
【0026】
図1に戻って、固体撮像素子14cは、静止画撮像(スチル)において画素すべてを読み出すように駆動して撮像信号14dを生成する。また、固体撮像素子14cは、動画(ムービ)撮像やモニタ28へのスルー画表示を行う場合、間引きを行った撮像信号14dを出力する。撮像信号14dは、撮像部14の図示しない出力アンプにおいて信号電荷(Q)を電圧信号(V)に変換して得られたアナログ信号である。撮像部14は、得られた撮像信号14dを前処理部18に出力する。
【0027】
ドライバ16は、システム制御部20からの制御信号20bと、タイミング信号生成部22からのタイミング信号220とを基に駆動信号160, 162およびOFD信号(駆動信号)164を生成する。駆動信号160は、前述した光学レンズ系12のAF, AEを行うように各調節機構に供給される。駆動信号162は、垂直駆動信号、水平駆動信号および撮像に関与する同期信号等を固体撮像素子14cに供給する。そして、ドライバ16は、OFD信号164を固体撮像素子14cに印加している。OFD信号164は前述したようにこれまでのOFD信号とブランキング期間の位相が逆相であり、ブランキング外の不要電荷掃出し時間OFFの期間が高電位に継続している。
【0028】
なお、長い期間にわたって高電位を継続させるためには、高電位を維持させるドライバが用いられる。しかしながら、市販のドライバには、このような仕様を満足するものがなく、専用のドライバを用いることが望ましい。新たに専用ドライバを製作すると、製品をコストアップさせることが想到される。市販のドライバを用いてこの高電位の維持が難しい場合、市販のドライバで高電位状態を満足する時間と電荷除去処理の時間とを考慮し、電荷除去処理の時間内にて複数回間欠的にOFD信号164を印加させるようにすることが好ましい。電荷除去処理は、最終回のOFD信号164の印加を支配的にして調整する。これにより、信号電荷の廃棄を行う電圧を維持し、この後の露出を正確に制御することができる。
【0029】
前処理部18には、図示しないが、相関二重サンプリング回路(CDS:Correlated Double Sampling)、自動ゲインコントロール(AGC:Automatic Gain Control)アンプ、および A/D変換部(ADC:Analog to Digital Converter)が含まれている。前処理部18は、システム制御部20からの制御信号20aを受け、タイミング信号生成部22から供給される各種のタイミング信号222, 224に応じて動作する。
【0030】
相関二重サンプリング回路は、供給される撮像信号14dが含む低周波のノイズ成分をタイミング信号生成部22から供給されるCDSパルス222に応動して除去する。ノイズ除去された信号は、AGCアンプで制御信号20aに応じて増幅することにより波形整形される。A/D変換部は、供給されるアナログ信号をタイミング信号生成部22から供給されるADクロック224に応じてディジタル信号18aに変換して信号処理部24に出力する。
【0031】
信号処理部24は、画像信号処理部で、RISC(Reduced Instruction Set Computer:縮小命令セットコンピュータ)チップである。このチップ内には、図示しない信号発生回路、メモリ、ガンマ補正回路、評価値算出部、画素補間処理回路、色差マトリクス処理回路、および圧縮/伸長処理回路に加えてライン補間回路240が含まれている。
【0032】
信号処理部24には、システム制御部20からの制御信号20cが供給される。信号処理部24の図示しない信号発生回路は制御信号20cに応動して動作する。信号発生回路は、複数の周波数を生成することができるPLL(Phase Locked Loop)回路を有している。信号処理部24には、タイミング信号生成部22からタイミング信号226が供給されている。タイミング信号226は、水平同期信号HD、垂直同期信号VDおよび後述する各部の動作クロック等を含んでいる。信号発生回路は、源発の発振周波数を基準クロックとして逓倍して複数種類のクロック信号24aを生成し、システム制御部20およびタイミング信号生成部22に出力する。
【0033】
ライン補間回路240は、1Hラインメモリ242および選択スイッチ244を含んでいる。1Hラインメモリ242は、ディジタルデータに変換した画像データ18aの1H分を入力し、一時記憶する。選択スイッチ244は、そのままの画像データ18aが供給される入力端子244aと、1Hラインメモリ242から読み出した画像データ246の入力端子244bとを制御信号20dに応じて切り換えている。制御信号20dは、システム制御部20から出力される。制御信号20dは、露出開始位置の画像データおよびOFD信号164が入力された画像データのいずれかの画像データに対応して選択スイッチ244を入力端子244b側に切り換える。
【0034】
特に、後者の場合、ライン補間は一つ前の画像データで行う。システム制御部20は、これ以外の場合、入力端子244a側を選択するよう制御信号20dを生成する。切換タイミングは、補間される対象のラインに隣接したラインの画像データを用いるように切り換える。このとき、システム制御部20は、プログレッシブスキャンまたはインタレーススキャンかを考慮して切換タイミングを選ぶ。このように切り換えてライン補間の施された画像データ180をメモリ(図示せず)に出力する。たとえば、ムービー(動画)のように一枚の画像処理の時間が規定され、リアルタイム性が求められている場合、この構成は有効である。
【0035】
また、ライン補間は、上述した構成に限定されるものでなく、メモリに全画像データを記憶させた後、ライン補間の要求される画像データに対して隣接する相前後する画像データを読み出し、画素ごとに加算平均を行って得られた画素データを用いて補間する。ただし、相前後する画像データは、単に対象の画像データに対する直前および直後の画像データでもよいが、対象の画像データの色が同じパターンにある画像データを用いてもよい。この場合、1Hラインメモリ242は画像データの選択信号を受けて取り込むとよい。
【0036】
メモリは、ライン補間回路240を経た画像データ180を入力し、一時的に記憶する。ライン補間処理は、処理時間が許す場合このメモリを用いて上述したように行ってもよい。メモリからは補間済みの画像データがガンマ補正回路に供給される。また、メモリは、繰り返し読出しを行う場合、不揮発性メモリを用いることが好ましい。ガンマ補正回路には、たとえばガンマ補正用のルックアップテーブルが含まれている。ガンマ補正回路は、画像処理における前処理の一つとして供給される画像データをテーブルのデータを用いてガンマ補正する。ガンマ補正回路は、ガンマ補正した画像データをそれぞれ評価値算出部および画素補間処理回路に供給する。
【0037】
評価値算出部には、絞り値・シャッタ速度、ホワイトバランス(White Balance:以下、WBという)調整値および階調補正値を算出する演算回路が含まれている。評価値算出部は、上述した回路にて、供給される画像データを基に適切な各パラメータを演算処理により算出する。これらの算出結果は、パラメータ24bとしてシステム制御部20に供給される。
【0038】
なお、評価値算出部は、信号処理部24への配設に限定することなく、システム制御部20に配設するようにしてもよい。この場合、信号処理部24は、ガンマ補正した画像データをシステム制御部20に供給する。
【0039】
画素補間処理回路は、画素データを補間生成して算出する機能を有している。撮像部14は単板の色フィルタ14bを用いているため、実際の色フィルタセグメントの色以外の色が撮像素子から得られない。そこで、画素補間処理回路は、この得られない色の画素データを補間により生成する。画素補間処理回路は、プレーンな画像データを色差マトリクス処理回路に供給する。
【0040】
なお、画素補間処理回路は、生成した画素データを広帯域化する機能を含んでもよい。また、画素補間処理回路は、いわゆるハニカムタイプの固体撮像素子14cを撮像部14に用いている場合、このガンマ補正した画像データを用いて実際に画素の存在する位置(実画素)や画素の存在しない位置(仮想画素)に三原色RGBの画素データを補間処理により生成する。
【0041】
色差マトリクス処理回路は、画素補間処理回路から供給される画像データと所定の係数を用いて輝度データYと色データCb, Crを生成する。生成した画像データは、圧縮/伸長処理回路に供給される。
【0042】
圧縮/伸長処理回路は、静止画や動画(ムービ)モードにおいて供給される画像データ(Y/C)にJPEG(Joint Photographic coding Experts Group)等の規格で圧縮処理を施す。圧縮/伸長処理回路は、圧縮処理した画像データ24cをストレージ部26に送って記録する。圧縮/伸長処理部は、ストレージ部26に記録した画像データ24cを読み出して伸長処理を施す。この伸長処理は、圧縮処理の逆処理である。
【0043】
また、信号処理部24は、生成した画像データや再生にともなって伸長した画像データ(Y/C)24cに対してRGB変換を行い、このRGB変換した画像データをアナログ信号に変換する。信号処理部24は、アナログ信号に変換した画像信号24dをモニタ28に出力する。信号処理部24は、画像データを外部の機器と入出力する場合、図示しないが外部I/F回路を配するとよい。外部I/F回路としては、たとえば、PIO (Programmed Input/Output)、UART (Universal Asynchronous Receive-Transceiver:非同期シリアル通信用送受信回路)、USB(Universal Serial Bus)、IEEE1394規格(the Institute of Electrical and Electronics Engineers:米国電気電子技術者協会)に基づくインタフェース等がある。
【0044】
PIOは、入出力をプログラムで変更することのできるインタフェース部である。UARTは、シリアル・インタフェースに用いられるデバイスである。このデバイスは、供給されるパラレル信号をシリアル信号に変換したり、シリアル・デバイスから送られるシリアル信号をパラレル信号に変換する機能を有している。IEEE1394規格のI/Fは、たとえば400Mbpsまでのデータ転送をサポートしている。
【0045】
システム制御部20は、カメラ全体の汎用な部分やディジタル処理を行う部分を制御するマイクロコンピュータまたはCPU(Central Processing Unit)である。システム制御部20には、キー操作部の一つであるレリーズシャッタボタン30から操作信号300が供給される。システム制御部20は、撮像モードでレリーズシャッタボタン30の半押し(S1)や全押し(S2)を示す操作信号300を受けて、信号処理部24に制御信号20dを生成する。システム制御部20は信号処理部24内におけるライン補間や信号発生回路に対する制御、および信号処理を行う上での制御をも考慮して制御信号20dを生成する。
【0046】
本実施例のライン補間を行う場合、システム制御部20は、タイミング信号生成部22から供給される水平同期信号HDとOFD信号の印加するタイミング信号とをタイミング信号228として入力する。システム制御部20は、たとえば、水平同期信号HDをカウントし、OFD(電子シャッタ)を印加するタイミング信号が入力された際のカウント値を記憶する。また、システム制御部20は、この水平同期信号HDをカウントのクロックに用いてライン補間回路240に入力する画像データのライン数が記憶したカウント値と同じになったならば、対象の画像データと判断してメモリ242側からのデータを選択するように制御信号20dを生成する。システム制御部20は、前述したようにドライバ16および前処理部18を制御する他、ストレージ部26も制御している。
【0047】
タイミング信号生成部22は、クロック信号24aを基準にシステム制御部20から供給される制御信号20bに応じてタイミング信号を生成する。タイミング信号は、垂直同期信号、水平同期信号、フィールドシフトパルス、垂直転送信号および水平転送信号等がある。タイミング信号生成部22は、これら生成したタイミング信号220, 222および224, 226ならびに228を動作に応じてそれぞれ、ドライバ16、前処理部18、信号処理部24およびシステム制御部20に供給している。
【0048】
タイミング信号生成部22は、前述したように市販のドライバを用いても電圧降下が生じないように、複数回のOFD信号を印加するタイミング信号を生成する。生成したタイミング信号は、タイミング信号220に含めてドライバ16に供給する。
【0049】
ストレージ部26は、半導体メモリ等を記録媒体として用いて、供給される画像データ24cを記録する。記録媒体には、光ディスクや光磁気ディスクを用いてもよい。ストレージ部26は、各記録媒体に適したピックアップやピックアップと磁気ヘッドを組み合わせて記録再生用ヘッドを用いてデータの書込み/読出しを行う。データの書込み/読出しは、図示しないがシステム制御部20の制御に応じて行われる。
【0050】
モニタ28は、信号処理部24から供給される画像信号24dを表示させる。モニタ28には、一般的に液晶モニタが用いられる。モニタ28は、液晶モニタに限定されず、小型、画像の確認および電力の消費が抑えられる表示機器であれば十分に用いることができることは言うまでもない。
【0051】
次にディジタルカメラ10の動作について動画(ムービ)モードでのタイミングチャートを用いて説明する(図5および図6を参照)。
【0052】
信号処理部24にてAE測光の演算を行い、 不要電荷掃出し時間OFFと露出時間EXに関するパラメータ24bがシステム制御部20に供給される。システム制御部20では供給されたパラメータ24bに基づいてタイミング信号生成部22に出力する制御信号20bを生成する。
【0053】
制御信号20bは、不要電荷掃出し時間OFFの期間中にOFD信号164として出力させるタイミング信号の制御情報を含んでいる。制御情報は、このタイミング信号を一定期間ごとに生成させる情報である。この一定期間としては、水平方向のラインを数本または数十本ごとにするとよい。図5(b), (c)からOFD信号164は、たとえば垂直駆動信号φVの3本間隔ごとに供給している。
【0054】
タイミング信号生成部22でOFD信号用のタイミング信号は、制御信号20bの制御情報を基に生成され、ドライバ16に供給される。ドライバ16はOFD信号164を生成する。この生成は、OFD信号164の開始を図5(a)の垂直ブランキング内で行う。また、OFD信号164は、前述したDC制御にともないレベル変化するエッジ部分をブランキング期間内で行っている(図2(b)を参照)。ドライバ16は、安価に構成することを目的に市販のドライバを用いる。さらに、不要電荷掃出し時間OFFの期間中に信号電荷を掃き出す直流電圧レベルが維持できる期間を考慮してこの期間を分けて、ドライバ16は、固体撮像素子14cに対して複数回OFD信号164を印加させている。ドライバ16は、露出期間EXに信号電荷の蓄積を行うように基準レベルにしている。
【0055】
本実施例では、厳密な露出を行うために算出された露出時間を優先させる露出制御を行う。このため、不要電荷掃出しと露出との境界、すなわち露出開始が時間拡大した図5(d), (e)からわかるように映像期間内で行う場合がある。システム制御部20では、OFD信号164の印加する水平ライン(映像読出し期間における画像信号の位置)および露出開始の水平ラインを記憶する。
【0056】
撮像部14は、撮像して得られた画像信号14dを前処理部18に出力する。前処理部18は、ディジタル信号に変換した画像データ18aを信号処理部24に送る。信号処理部24のライン補間回路240で上述したように記憶された水平ラインの画像データに対して一つ上の水平ラインの画像データで置換する。この置換は、システム制御部20からの制御信号20dにより制御される。また、スキャン方式を考慮すると、相前後する水平ラインを用いてもよい。これにより、OFD信号164の印加および露出開始で生じる画像劣化した水平ラインの画像が補間されるので、画像に横線やムラ等の発生を防ぐことができる。
【0057】
これに対して、従来の駆動は、垂直同期信号VDに同期させ、信号電荷を垂直駆動信号φVにより垂直転送駆動をさせながら(図6(a), (b)を参照)、OFD信号をパルス制御により不要電荷掃出し期間にパルスを印加している(図6(c)を参照)。このOFD信号の印加タイミングは、図6(d), (e)に示すように時間拡大して表すと、水平ブランキング期間内に印加させている。このように映像信号に影響が現れないようにタイミングを選ぶことにより画像劣化を防いでいる。しかしながら、このタイミングでOFD信号が印加されると、露出時間が1H単位に限定され、固体撮像素子の画素数が増加した際に1H期間も延びてしまう。
【0058】
本実施例のディジタルカメラ10は、OFD信号164の印加する制御をDC制御にして、パルス制御に比べて格段に印加する回数を少なくし、厳密な露出時間の制御を行うことを優先させて、映像期間であってもOFD信号164を固体撮像素子14cに印加する。このように厳密に露出して適正な露出による画像が得られる。ただし、OFD信号164の印加により画像の一部にたとえば横線等が生じる。この横線等の生じる水平ラインに対しては、この水平ラインの上に位置するライン等の画像データによってライン補間することにより画像劣化を防ぎ、かつ正確な露出を行って画像を得ることができる。
【0059】
次に本発明の固体撮像装置を適用したディジタルカメラ10の他の実施例を説明する。ディジタルカメラ10は、図1と同じ構成を用いていることから、構成の説明を省略する。この構成のうち、本実施例の撮像部14は、電子シャッタパルス(OFD信号164)の印加されるラインに対して水平同期信号のない画像信号を出力するように動作する。これは、動作対象が撮像部14であるが、実際にシステム制御部20、タイミング信号生成部22およびドライバ16も関与している。
【0060】
このような電子シャッタパルスの印加に際して、システム制御部20は、タイミング信号生成部22に制御信号20bを供給する。タイミング信号生成部22は、OFD信号164の生成タイミング信号および駆動信号162に含まれる水平同期信号HDの供給停止を行う。ドライバ16は、OFD信号164を撮像部14に供給した際に水平同期信号HDが入力されない。撮像部14は、電子シャッタパルスの印加されたラインに水平同期信号がないことになる。このため、信号処理部24は、水平同期信号のないラインを採り込めない。
【0061】
信号処理部24は、電子シャッタパルスの印加されたライン以外の画像信号に対して信号処理を施す。電子シャッタパルスの印加されたラインについて何も考慮しなければそのまま処理した信号を出力する。また、電子シャッタパルスの印加されたライン位置に対して補間処理を施すとき、ライン補間部を用いて電子シャッタパルスの印加されるラインと相前後するラインまたはこの印加されるラインの上に位置するラインの画像信号を用いて補間するとよい。
【0062】
このようにディジタルカメラ10は、出力画像には、電子シャッタパルスの印加されたラインが出力されないので、これまで電子シャッタの印加にともなって生じていた悪影響を現れないようにすることができる。
【0063】
さらに、他の実施例を簡単に説明する。ここでも、ディジタルカメラ10は、図1と同じ構成を用いていることから、構成の説明を省略する。この構成のうち、本実施例の撮像部14は、電子シャッタパルスの印加に応じて信号電荷の転送を停止する。転送を停止するためには、少なくとも、垂直駆動信号および水平駆動信号のいずれか一方の転送駆動信号の供給を停止させるとよい。また、前述したように転送の停止に対応するラインに水平同期信号の供給を停止させてもよい。
【0064】
ここで、撮像部14における信号電荷の転送停止には、電子シャッタパルスの印加されるタイミングがわかることを利用して、システム制御部20、タイミング信号生成部22およびドライバ16が、前述した実施例と同様に、駆動信号の供給の仕方が大きく関与する。
【0065】
これにより、撮像部14は、電子シャッタパルスによる影響が含まれない撮像信号を画像信号として出力することができる。撮像部14は、得られた撮像出力14dを前処理部18を介して信号処理部24に出力する。信号処理部24は、図示していないが、供給される画像信号18aに対して転送の停止に対応して出力するタイミング調整を行う出力タイミング調整部を含む。本実施例では、このようにタイミングにずれがあることから、出力タイミング調整部にたとえばフレームメモリ等を配設して供給される画像信号を一旦格納する。そして、出力タイミング調整部は、適切なタイミングで信号処理部24から出力させる。このため、本実施例は、リアルタイムな処理に向かないことは言うまでもない。
【0066】
また、信号処理部24は、補間処理を行って出力させるようにしてもよい。この場合、信号処理部24は、前述した実施例におけるライン補間回路240のように、電子シャッタパルスの印加されるラインと相前後するラインまたはこの印加されるラインの上に位置するラインの画像信号を用いて補間する。ライン補間に用いるメモリは、1個用いた場合を例示したが、相前後するラインに対応させるため複数用い、平均化演算を行う回路を配設させてもよい。このように構成しても出力画像には、電子シャッタパルスの悪影響が現れないようにすることができる。
【0067】
以上のように構成することにより、ブランキング期間に限定してOFD信号を印加しないで済ませることができるので、露出時間を正確に制御することができる。この制御により画質劣化の生じるラインには隣接するラインの画像データを置換させてライン補間を行うことにより、良好な画像を得ることができる。
【0068】
【発明の効果】
このように本発明の固体撮像装置およびその駆動方法によれば、信号処理手段に供給される画像信号のうち、電子シャッタパルスの印加されたラインの信号を使わずに、ライン補間手段でこのラインに対して相前後するラインまたは水平ラインの上に位置するラインの画像信号を用い、電子シャッタパルスの印加されたラインの信号を補間することにより、横線やムラ等の発生を防止して、従来であればブランキング期間に限定されていた廃棄信号の印加を避けることができ、露出時間を正確に制御することができ、良好な画像を得ることができる。
【図面の簡単な説明】
【図1】本発明の固体撮像装置を適用したディジタルカメラの概略的なブロック図である。
【図2】図1のディジタルカメラにおけるOFD信号の立下りエッジおよび立上りエッジのタイミング関係を説明するタイミングチャートである。
【図3】図1のディジタルカメラにおける不要電荷掃出し時間と露出時間との関係を説明するタイミングチャートである。
【図4】図1の信号処理部に配設するライン補間回路の構成を示すブロック図である。
【図5】図1のディジタルカメラにおけるOFD信号の印加タイミングを説明するタイミングチャートである。
【図6】従来のディジタルカメラにおけるOFD信号の印加タイミングを説明するタイミングチャートである。
【符号の説明】
10 ディジタルカメラ
12 光学レンズ系
14 撮像部
16 ドライバ
20 システム制御部
22 タイミング信号生成部
24 信号処理部
240 ライン補間回路
Claims (22)
- 被写界からの入射光を信号電荷に変換する受光素子がアレイ状に基板上に配され、該受光素子のそれぞれに前記入射光を変換して得られる信号電荷を蓄積する露出と該露出前に蓄積した信号電荷を前記基板に廃棄する電荷除去処理の期間中に印加する電子シャッタパルスとにより露出制御を行って、前記露出の間に蓄積した信号電荷を前記受光素子から読み出す撮像手段と、
読み出して得られる画像信号に信号処理を施す信号処理手段とを含み、
該信号処理手段は、前記画像信号のうち、前記電子シャッタパルスの印加されたラインに対応する画像信号を該ラインに対して相前後するラインまたは前記水平ラインの上に位置するラインの前記画像信号を用いて補間するライン補間手段を含むことを特徴とする固体撮像装置。 - 請求項1に記載の装置において、前記電子シャッタパルスは、少なくとも該電子シャッタパルスの印加開始が垂直方向および水平方向のいずれか一方の同期検出に用いる信号のブランキング期間内に設定されていることを特徴とする固体撮像装置。
- 請求項1または2に記載の装置において、前記電子シャッタパルスは、前記電荷除去処理の期間中において一定期間ごとに生成することを特徴とする固体撮像装置。
- 請求項3に記載の装置において、前記電子シャッタパルスは、前記一定期間として前記画像信号が表す水平方向のラインを数本または数十本ごとに生成することを特徴とする固体撮像装置。
- 請求項1ないし4のいずれか一項に記載の装置において、前記電子シャッタパルスは、前記電荷除去処理の期間に前記蓄積した信号電荷を廃棄させる所定の直流電圧レベルで前記撮像手段に印加することを特徴とする固体撮像装置。
- 請求項1ないし5のいずれか一項に記載の装置において、前記電子シャッタパルスは、該電子シャッタパルスのレベル変化するエッジ部分を前記ブランキング期間内にすることを特徴とする固体撮像装置。
- 請求項1に記載の装置において、前記信号処理手段は、前記画像信号のうち、前記電子シャッタパルスが印加されたラインに対して一つ前のラインの前記画像信号で補間することを特徴とする固体撮像装置。
- 請求項7に記載の装置において、前記信号処理手段は、前記画像信号のうち、前記電荷除去処理と前記露出との境界にあるラインに対して相前後するラインまたは前記水平ラインの上に位置するラインの前記画像信号を用いて補間することを特徴とする固体撮像装置。
- 請求項1ないし8のいずれか一項に記載の装置において、該装置は、所定の期間中に複数の画像を連続的に出力する動画モードで撮像および信号処理を行うことを特徴とする固体撮像装置。
- 請求項9に記載の装置において、該装置は、前記信号電荷の読み出しにおいて所定の間隔ごとに信号電荷を読み出す間引き読出しを行うことを特徴とする固体撮像装置。
- 被写界からの入射光を信号電荷に変換する受光素子がアレイ状に基板上に配され、該受光素子のそれぞれに前記入射光を変換して得られる信号電荷を蓄積する露出と該露出前に蓄積した信号電荷を前記基板に廃棄する電荷除去処理とにより露出制御を行って、前記露出の間に蓄積した信号電荷を前記受光素子から読み出し、該信号電荷を電圧信号にして出力し、該電圧信号を画像信号とし、該画像信号に信号処理を施す固体撮像装置の駆動方法において、該方法は、
前記信号処理からの露出に関する情報を基に前記電荷除去処理の期間と前記露出の期間を求める第1の工程と、
該得られたこれらの期間に応じた制御信号を生成する第2の工程と、
該制御信号を基に前記電荷除去処理の期間および前記露出の期間のタイミング信号を生成する中で、前記電荷除去処理の期間に前記蓄積した信号電荷を廃棄させる廃棄信号のタイミング信号を生成する第3の工程と、
前記廃棄信号の印加に際して前記露出で印加される電圧レベルより高く、前記信号電荷を廃棄させる直流電圧レベルを出力し、前記露出の期間では前記信号電荷の蓄積を行う電圧レベルを出力する第4の工程と、
前記露出にともない得られた信号電荷を読み出して、該信号電荷から前記画像信号を生成する第5の工程と、
該画像信号のうち、前記電荷除去処理と前記露出との境界にある水平ラインに対して相前後するラインまたは前記水平ラインの上に位置するラインの前記画像信号を用いて補間する第6の工程とを含むことを特徴とする固体撮像装置の駆動方法。 - 請求項11に記載の方法において、第3の工程は、少なくとも前記電荷除去処理の期間における開始を垂直方向および水平方向のいずれか一方の同期検出に用いる信号のブランキング期間内に設定することを特徴とする固体撮像装置の駆動方法。
- 請求項11または12に記載の方法において、第3の工程は、前記電荷除去処理の期間中に前記廃棄信号のタイミング信号を一定期間ごとに生成することを特徴とする固体撮像装置の駆動方法。
- 請求項13に記載の方法において、第3の工程は、前記一定期間として前記画像信号が表す水平方向のラインを数本または数十本ごとに前記廃棄信号を生成することを特徴とする固体撮像装置の駆動方法。
- 請求項11ないし14のいずれか一項に記載の方法において、第3の工程は、前記廃棄信号のレベル変化するエッジ部分を前記ブランキング期間内にすることを特徴とする固体撮像装置の駆動方法。
- 請求項11に記載の方法において、第6の工程は、前記画像信号のうち、前記廃棄信号が印加されたラインに対して一つ前のラインの前記画像信号で補間することを特徴とする固体撮像装置の駆動方法。
- 被写界からの入射光を信号電荷に変換する受光素子がアレイ状に基板上に配され、該受光素子のそれぞれに前記入射光を変換して得られる信号電荷を蓄積する露出と該露出前に蓄積した信号電荷を前記基板に廃棄する電荷除去処理の期間中に印加する電子シャッタパルスとにより露出制御を行って、前記露出の間に蓄積した信号電荷を前記受光素子から読み出す撮像手段と、
該読み出して得られる画像信号に信号処理を施す信号処理手段とを含み、
前記撮像手段の出力のうち、前記電子シャッタパルスの印加されるラインに対して水平同期信号の入力が禁止されていることを特徴とする固体撮像装置。 - 請求項17に記載した装置において、前記信号処理手段は、前記電子シャッタパルスの印加されるラインと相前後するラインまたは前記印加されるラインの上に位置するラインの前記画像信号を用いて補間するライン補間手段を含むことを特徴とする固体撮像装置。
- 被写界からの入射光を信号電荷に変換する受光素子がアレイ状に基板上に配され、該受光素子のそれぞれに前記入射光を変換して得られる信号電荷を蓄積する露出と該露出前に蓄積した信号電荷を前記基板に廃棄する電荷除去処理の期間中に印加する電子シャッタパルスとにより露出制御を行って、前記露出の間に蓄積した信号電荷を前記受光素子から読み出す撮像手段と、
該読み出して得られる画像信号に信号処理を施す信号処理手段とを含み、
前記撮像手段は、前記電子シャッタパルスの印加に応じて前記信号電荷の転送を停止し、これにより得られた撮像出力信号を出力し、
前記信号処理手段は、供給される画像信号に対して前記転送の停止に対応するタイミング調整を行うことを特徴とする固体撮像装置。 - 請求項19に記載の装置において、前記撮像手段は、前記転送の停止に対応するラインに水平同期信号の入力を禁止することを特徴とする固体撮像装置。
- 請求項19または20に記載の装置において、前記転送の停止は、少なくとも、垂直方向および水平方向のいずれか一方の転送の停止を示すことを特徴とする固体撮像装置。
- 請求項21に記載の装置において、前記信号処理手段は、前記電子シャッタパルスの印加されるラインと相前後するラインまたは前記印加されるラインの上に位置するラインの前記画像信号を用いて補間するライン補間手段を含むことを特徴とする固体撮像装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001282776A JP4125502B2 (ja) | 2001-09-18 | 2001-09-18 | 固体撮像装置およびその駆動方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2001282776A JP4125502B2 (ja) | 2001-09-18 | 2001-09-18 | 固体撮像装置およびその駆動方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2003092708A JP2003092708A (ja) | 2003-03-28 |
JP4125502B2 true JP4125502B2 (ja) | 2008-07-30 |
Family
ID=19106380
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001282776A Expired - Fee Related JP4125502B2 (ja) | 2001-09-18 | 2001-09-18 | 固体撮像装置およびその駆動方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4125502B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008028811A (ja) * | 2006-07-24 | 2008-02-07 | Matsushita Electric Ind Co Ltd | アナログフロントエンド装置および撮像装置 |
-
2001
- 2001-09-18 JP JP2001282776A patent/JP4125502B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2003092708A (ja) | 2003-03-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4208904B2 (ja) | 撮像装置及びその制御方法並びに撮像システム | |
JP2004304706A (ja) | 固体撮像装置およびその補間処理方法 | |
JP2005130045A (ja) | 撮像装置及びこれに用いる撮像素子 | |
JPH10150668A (ja) | 撮像装置及びカラー画像信号の処理方法 | |
US7944494B2 (en) | Solid-state image pickup apparatus driven at a frequency adaptive to photographic sensitivity | |
JP5523065B2 (ja) | 撮像装置及びその制御方法 | |
JP2007300368A (ja) | 固体撮像装置 | |
JP4616429B2 (ja) | 画像処理装置 | |
JP4584544B2 (ja) | 画像再生装置および固体撮像装置 | |
US7292277B2 (en) | Solid-state image pick-up device and digital still camera | |
JP4125502B2 (ja) | 固体撮像装置およびその駆動方法 | |
JP2004007048A (ja) | 撮像装置 | |
JP4243462B2 (ja) | 固体撮像装置および受光素子の感度対応出力調整方法 | |
JP2000295535A (ja) | 固体撮像装置および撮影制御方法 | |
JP4434556B2 (ja) | 固体撮像装置および固体撮像素子 | |
JP4267844B2 (ja) | 固体撮像装置およびその制御方法 | |
JP4146186B2 (ja) | 固体撮像装置およびその欠陥補正方法 | |
JP3794672B2 (ja) | 固体撮像装置 | |
JP2009017586A (ja) | 画像再生装置およびその再生方法 | |
JP2004120492A (ja) | 固体撮像装置およびその信号処理方法 | |
JP2006148591A (ja) | 固体撮像装置および固体撮像素子駆動方法 | |
JP4642580B2 (ja) | 撮像装置 | |
JP4199391B2 (ja) | 固体撮像装置および信号読出し方法 | |
JP2004088703A (ja) | デジタルスチルカメラ | |
JP2004312123A (ja) | 画像記録装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060126 |
|
A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20061207 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080415 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080508 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110516 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120516 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130516 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |