JPS63196180A - 撮像装置 - Google Patents

撮像装置

Info

Publication number
JPS63196180A
JPS63196180A JP62027268A JP2726887A JPS63196180A JP S63196180 A JPS63196180 A JP S63196180A JP 62027268 A JP62027268 A JP 62027268A JP 2726887 A JP2726887 A JP 2726887A JP S63196180 A JPS63196180 A JP S63196180A
Authority
JP
Japan
Prior art keywords
signal
accumulation
bit
time
image signal
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP62027268A
Other languages
English (en)
Other versions
JPH0563070B2 (ja
Inventor
Akira Ishizaki
明 石崎
Yoshio Nakamura
中村 佳夫
Shigetoshi Sugawa
成利 須川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP62027268A priority Critical patent/JPS63196180A/ja
Publication of JPS63196180A publication Critical patent/JPS63196180A/ja
Publication of JPH0563070B2 publication Critical patent/JPH0563070B2/ja
Granted legal-status Critical Current

Links

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02EREDUCTION OF GREENHOUSE GAS [GHG] EMISSIONS, RELATED TO ENERGY GENERATION, TRANSMISSION OR DISTRIBUTION
    • Y02E60/00Enabling technologies; Technologies with a potential or indirect contribution to GHG emissions mitigation
    • Y02E60/30Hydrogen technology
    • Y02E60/50Fuel cells

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 (発明の利用分野) 本発明は、カメラのパッシブ方式の焦点検出装置等に用
いられる、光電変換素子の蓄積信号ノイズ処理装置の改
良に関するものである。
(発明の背景) COD等の複数画素(ここでの説明及び後述する実施例
説明においては以後ビットと記す)から成る光電変換素
子での蓄積制御方式として、例えば蓄積電荷がある所定
レベルに達したことを検知した時点で終了させるといっ
たものがあるが、前記光電変換素子への入射光輝度が低
い場合、蓄積に時間を要し、応答性が悪いものとなって
しまう、ここ点に鑑み本願出願人は、低輝度時用のしき
い値レベルとして、前記所定レベルよりも低い第2の所
定レベルを設け、低輝度時には該第2の所定レベルに蓄
積電荷が達した時点で蓄積動作を終了させて上記問題を
解決するようにし、且つこうすることにより低輝度時の
蓄積信号の分解能が低下するため、この時の蓄積信号の
ピーク値を、高輝度時に得られる蓄積信号のピーク値と
同一のレベルまで増幅し、出力するようした実施例装置
を出願(同日出願)している。
ところが、光電変換素子の各ビット毎の出力のバラツキ
に関する補正対策は種々の方式、例えば全てをビットを
遮光状態(各ビットに対して同一の輝度をもつ光を当て
るようにしても良い)し、この時に得られる信号のバラ
ツキ量を記憶させておき、実使用時に蓄積信号からその
バラツキ量を除去するといったことが考えられるが、前
記のように蓄積信号を処理する系列を2系列とした場合
、蓄積信号から前記バラツキ量を除去することのみでは
正確な補正を行っているとは言えない。
(発明の目的) 本発明の目的は、光電変換素子への入射光輝度パターン
に対応した、より正確な蓄積信号を得ることのできる光
電変換素子の蓄積信号ノイズ処理装置を提供することで
ある。
(発明の特徴) 上記目的を達成するために、本発明は、光電変換素子の
各画素毎の、第1の増幅手段を介して予め得られた第1
の固定ノイズを記憶している第1の記憶手段と、光電変
換素子の各画素毎の、第2の増幅手段を介して予め得ら
れた第2の固定ノイズを記憶している第2の記憶手段と
、第1の増幅手段より蓄積信号が入力した場合には、第
1の記憶手段よりその時の蓄積信号に対応した固定ノイ
ズを選択し、該固定ノイズにより読み込んだ蓄積信号に
補正を加え、第2の増幅手段より蓄積信号が入力した場
合には、第2の記憶手段よりその時の蓄積信号に対応し
た固定ノイズを選択し、該固定ノイズにより読み込んだ
蓄積信号に補正を加える補正手段とを備え、以て、蓄積
信号に補正を加える情報として、光電変換素子の各画素
固有のノイズのみならず、第1と第2の増幅手段の誤差
によるノイズをも含んだ固定ノイズを用いるようにした
ことを特徴とする。
(発明の実施例) 第1図は本発明の一実施例を示すブロック図であり、1
は像信号Vo(蓄積電荷)出力とは別に該像信号vOの
ピーク信号Vp及び暗信号Vdを出力し得る複数ビット
から成るラインセンサで、具体的な構成例は第2図を用
いて後述する。
2は、前記ラインセンサ1より入力するピーク信号Vp
及び暗信号Vdより該暗信号Vdによる雑音成分を除去
したピーク検出信号Viを算出し、該ピーク検出信号V
iと後述するマイクロコンピュータ(以後マイコンと記
す)より送られてくるバスBUSI 、  BUS2に
基づいて決定される基準電圧v1 、V2とで蓄積時間
を制御するために必要な利得制御信号AGCL 、 A
GCHを発生する利得制御信号発生部2a(詳細は後述
)、前記利得制御信号AGCL 、 ACCH及びマイ
コンより送られてくるリセット信号R9E? 、クロッ
クCLK 、蓄積終了強制信号INTENDに基づいて
信号φt、蓄積終了信号TinTE 、利得選択信号H
g1n 、 Lginを生成する、蓄積の終了時期の制
御と利得選択を行う蓄積時間制御や利得選択部2b(詳
細は後述)、及びマイコンより送られてくるサンプル信
号DSAMPLE 、 SSAMPLEと前記利得選択
信号Hg1n 、 Lginに基づいて前記ラインセン
サlにて読み取られた像信号Voを増幅する像信号増幅
部2c(詳細は後述)を備えた信号処理回路である。
3は前記ラインセンサ1及び信号処理回路2等の制御を
行う1チツプマイコンであり、内部に前記利得制御信号
発生部2aへ伝送するバスBUS1 、  BUS2の
内容や各ビット毎の固定ノイズ等を記憶しているEEF
ROM、読み込んだ像信号や最長蓄積時間MAXIN?
及び遮光されたビットの順番を示す所定値DARK等を
記憶する他、蓄積時間を1msの単位でカウントするカ
ウンタ(INTCNT)及び前記ラインセンサlにおけ
る暗信号或いは像信号の読み取りを終えたビットの数値
をカウントするカウンタ(bitCNT)或いはレジス
タなどの各種機能としても用いられるRAM、最大電圧
VRHと最小電圧VRLの間で動作し、前記像信号増幅
部2Cより送られてくるアナログ値である像信号ADs
igをディジタル値の像信号に変換するA/D変換部、
及び後述する「像信号入力」ルーチン等が書き込まれて
いるR、OM等を備えている。
ここで、前記第1図を用いて全体の概略動作を説明する
と、まずマイコン3より像信号の蓄積動作開始指示を示
す各種信号がラインセンサlに送られると、該ラインセ
ンサ1では像信号蓄積動作(入射光を光電変換して電荷
として蓄積する動作)が行われると共に、その時の像信
号のピーク信号Vp及び暗信号Vd算出が行われ、これ
ら各信号は信号処理回路2へ出力される。信号処理回路
2はマイコン3より送られてくる各種信号(BUSI 
、  BUS2)及び前記各信号に基づいて、前記ライ
ンセンサ1にて行なわれている蓄積動作の終了時間を決
定(φt)L、該時間が経過すると前記ラインセンサl
による蓄積動作を終了させ且つその事をマイコン3へ知
らせる(TinT1! )と共に、その後に送られてく
る像信号vOの増幅率の決定(Hg1n e Lgin
)等を行う。
次に、マイコン3より蓄積信号(読み取った像信号)の
送出指示を示す信号が前記ラインセンサ1にビット毎に
順次送られると、ラインセンサ1は蓄積信号を像信号V
oとして順次信号処理回路2へ出力する。−力信号処理
回路2は順次送られてくる前記像信号Voをマイコン3
の指示(DSAMPLE 、 SSAMPL! >によ
り一旦保持し、且つ前記決定した増幅率によりそれぞれ
各ビット毎に該像信号■Oの増幅を行い、アナログ値の
像信号ADsigとしてマイコン3のA/D変換部へ順
次出力する。
また、マイコン3は該信号が順次入力すると、固定ノイ
ズ情報を記憶しているEEPROM内よりそれの時のビ
ットに対応する固定ノイズを選択し、その分を補正した
値をRAM内に格納する(詳細は後述)。
以上で全ビットの像信号入力動作が終了することになり
、例えば前記各回路がカメラのパッシブ方式の自動焦点
検出装置に配置されていたとすると、その後マイコン3
は前記像信号(RAM内に格納されている)に基づいて
その時の焦点状態を演算し、それ演算結果を不図示の撮
影レンズ駆動回路へ出力する。以後、前記と同様の動作
が繰り返される。
次に、第2,3図に示す各回路の具体的な構成及びそこ
での動作を詳述するが、その前に、第4図を用いて本実
施例における蓄積動作の終了時期の制御及び蓄積された
像信号Voの読み込み制御のやり方について説明する。
第4図において、■、■、■はラインセンサ1に当る入
射光輝度が異なる場合を示すグラフであり、入射光輝度
の高低関係は言うまでもなく、■〉■〉■の順番である
。又Toは蓄積動作開始後の所定時間を示している。
l)蓄積動作開始後、所定時間To以前に基準電圧V2
  (詳細は後述がマイコン3内のA/D変換部のダイ
マミックレンジに近い値(飽和電圧から後述する基準電
圧VCを減算した値位)に予め設定されている)にその
時のピーク検出信号Viが達した場合(■の様なケース
) ピーク検出信号Vi (=Vp−Vd)が基準電圧v2
に達する時刻11時に蓄積を終了させる。
これはA/D変換部のグイマミックレンジを越えてしま
い、正確な像信号の読み込みができないといった不都合
を解消するためと、高輝度時の応答性を満足させるため
である。また、この場合の各ビット毎の像信号Toの増
幅率は、1倍とする。
2)蓄積動作開始後、所定時間T、以後に基準電圧■2
にその時のピーク検出信号Viが達した場合(■の様な
ケース) ピーク検出信号Viが基準電圧V2に達するまで蓄積動
作を続行させ、その後基準電圧v2に達した時刻t2時
に蓄積を終了させる。また、この場合の各ビット毎の像
信号vOの増幅率は、1倍とする。
3)蓄積動作開始後、所定時間TOが経過しても基準電
圧Vs(詳細は後述がこの値は低輝度時における応答性
等を考慮して予め設定されている)にその時のピーク検
出信号Vtが達した場合(■の様なケース) ピーク検出信号Viが基準電圧v1に達するまで蓄積動
作を続行させ、その後基準電圧v2に達した時刻13時
に蓄積を終了させる。また、この場合の各ビット毎の像
信号voの増幅率は、V 2 / V 1倍とする。つ
まり、この場合のピーク検出信号Viは基準電圧v1と
等しいわけで、このようなピーク検出信号Viをもつ各
ビット毎の像信号Voをそのまま(1倍で)A/D変換
部へ出力した場合、例えば精度の良い焦点状態の検出が
行えないことになる。そこで前記1)、2)の場合と囮
じピーク検出信号Viをもつ各ビット毎の像信号vOと
して出力し、応答性を満足させながら且つ精度の面にお
いても満足させ得るようにしている。
また、上記の蓄積動作の終了時期の制御とは別に、蓄積
動作の終了が強制的に決定される場合がある。それはマ
イコン3より蓄積路q強鋼上号INTENDが送られて
きた場合(詳細は後述)であり、該信号入力により蓄積
動作が終了する0通常この信号は最長蓄積時間を決める
ために用いられ、(To X V 2 / V t )
より長くとられている。
以下、上記の如き制御を実現するための各回路の具体的
な構成及びそこでの動作説明を行う。
第2図は前記ラインセンサ1の構成例を示すものである
該ラインセンサlを成すもめとして、暗信号を得るため
にアルミニウムで周囲が遮光された遮光ビットSl及び
入射光輝度パターンに相当する信号の蓄積を行うための
開口ビットS2〜Snが並設されている。
各ビットのキャパシタ電極aは端子103に共通に接続
され、コレクタ電極すには一定の正電圧が印加される。
またリセットMOSトランジスタの電極Cは接地され、
ゲート電極dは端子105に共通に接続されている。さ
らに各ビットのエミッタ電極e1は垂直ラインLH−L
nに夫々接続されており、各垂直ラインはトランジスタ
Ta1−Tanを介して電荷蓄積用キャパシタ01〜C
nに接続されると共に、トランジスタT、−Tnを介し
て出力信号線110に接続されている。出力信号線11
0はリセットトランジスタTslを介して接地され、且
つアンプ107に接続されている。トランジスタT1〜
Tnのゲート電極は端子lotを介してシフトパルスφ
spが入力される走査回路106の並列出力端子に夫々
接続されており、該トランジスタTl−Tnは前記走査
回路106に従って順次オン状態となる。
垂直ティンL1〜LnはトランジスタTb、〜Tbnを
介して接地され、各トランジスタのゲート電極は端子1
04に共通に接続されている。遮光ビットSlのエミッ
タ電極e2はライン111に接続され、該ラインill
はトランジスタTs2を介して接地されていると共に、
アンプ109に接続されている。開ロビッ)32〜Sn
の各エミッタ電極e2はライン112に接続され、該ラ
イン112はトランジスタT、s3を介して接地されて
いると共に、アンプ108に接続されている。また、ト
ランジスタTs2及びTo3の各ゲート電極は端子10
4に接続されている。
上記の如き構成において、マイコン3より端子105に
信号φr@Sを印加されると、各ビットのリセットMO
3)ランジスタがオン状態となり、全てのビットのpベ
ース領域の蓄積電荷が除去されてその電位が一定となる
。続いて端子104に信号φマrsが印加されると、ト
ランジスタTb□〜T b n及びTo3がオン状態と
なり、全てのエミッタ電極e□ee2が接地されたこと
になる。さらに端子103に初期化するためのパルスφ
rが印加されると、既に述べた様にPペース領域の蓄積
電荷が除去される。
この状態から光信号の蓄積動作を開始させるために端子
105への信号φresの印加が停止され、且つ端子1
01を介してシフトパルスφstが走査回路106に印
加されると(マイコン3により)、リセットMO3)ラ
ンジスタがオフ状態となり、まず各ピッ)52〜Snへ
の入射光量に対応した光電変換動作が開始する。なお遮
光ビットSlにおいては暗信号が生じることになる0次
に、前記動作により生じる電荷をキャパシタC□〜Cn
に蓄積させるためにまず端子104へ信号φマrsの印
加が停止されると、トランジスタT b 1〜T b 
n 、 T s 2及びTa2がオフ状態となり、各ビ
ットのエミッタ電極else2が浮遊状態となる。続い
てマイコン3により信号処理回路2を介して端子102
に信号φtが印加されることになるが、これによりトラ
ンジスタTa、〜T a nがオン状態となる0次いで
端子103に読み出し用のパルスφrが印加されると、
遮光ビットSlからは垂直ラインL1を介して暗信号が
読み出されてキャパシタCIに蓄積され、また開口ビッ
ト82〜Snからは垂直ラインL2〜Lnを介して入射
光量に対応した信号が読み出されてキャパシタ02〜C
nに夫々蓄積される。
その後信号処理回路2より端子103に蓄積終了を示す
信号φtが印加される(詳細は後述する)と、トランジ
スタTa、〜T a nがオフ状態となり、キャパシタ
C1或いは02〜Cnへの蓄積動作が終了する。そして
端子101にシフトパルスφspが順次印加されると、
走査回路106によってトランジスタT1〜Tnが順次
オン状態となり(尚走査回路108はシフトパルスφs
pが印加される毎にトランジスタT1からTnへ順次い
ずれか1つをオン状態とするものである)、オン状態と
なったトランジスタTl −Tnに対応したキャパシタ
01〜Cnの電荷が出力信号線110及びアンプ107
を介して順次像信号Voとして信号処理回路2へ送出さ
れることになる。またその直後に端子113に信号φh
rsがマイコン3より印加されると、これに伴ってトラ
ンジスタTslがオン状態となり、出力信号線110の
残留電荷が除去される。
また、前記蓄積動作と並行してピーク信号Vpと暗信号
Vdの検出動作が行われることになる。
すなわち、前記動作時に端子103に印加される信号φ
rにより、遮光ピッ) S 1から暗信号がライン11
2に読み出され、アンプ109を介してVdとして出力
され、又開口ビットS2〜Snからの信号がライン11
1に読み出され、アンプ1O8を介してピーク信号Vp
として、つまりライン111は前述したように共通に接
続されているために該ライン111には開口ビットS2
〜Snからの信号のピーク信号がアンプ108の出力側
に現われ、該ピーク信号がVpとして出力される。
第3図(A)は前記利得制御信号発生部2aの構成例を
示すものであり、ここでは前述したように蓄積時間制御
に用いられる利得制御信号AGCL 、 AGcmが生
成される。
つまり、前記暗信号Vd、ピーク信号VpがアンプAM
P lへ入力し、暗信号Vdによる雑音成分を除去した
ピーク検出信号Viを得るための(VP−Vd)なる演
算が行われ、得られたピーク検出信号Viはコンパレー
タCIIPI 、 CHF2の弊反転入力端に出力され
る。一方、マイコン3より送られてくるディジタル信号
であるバスBUSI 、  BUS2がD/A変換器り
轟1.DA2に入力し、ここで前記ピーク検出信号Vi
のしきい値レベルとなるアナログ信号である基準電圧V
、、v2 (Vl<V2)等に変換され、前記コンパレ
ータCNPI。
CHF2の反転入力端に出力される。そして該コンパレ
ータCNPI 、  CHF2により前記各信号の比較
が行われ、利得制御信号AGCL 、 ACCIIが発
生する。
尚、前記バスBUSI 、 BUS2は組み立て工程中
等に調整され、マイコン3のEEPROM内に記憶され
ている。また、その内容、つまり例えば基準電圧vxは
マイコン3内のA/D変換部のフルレンジに近い値、す
なわち分解能を上げるために許容でき得る最大値に予め
設定されており、また基準電圧V2は低輝度時における
応答性、及び暗信号のパテツキによる像信号への悪影響
(蓄積時間が長くなる程、暗信号のバラツキが生じてく
る)を考慮して予め設定されている。
第3図(B)は前記蓄積時間制御拳利得選択部2bの構
成例を示すものであり、ここでは前述したように蓄積の
終了時期の制御と像信号Voの利得選択が行われる。
カウンタ201はアンドゲートAND Iを介して、蓄
積動作開始と同時に入力されるクロックCLKのカウン
トを行い、所定時間T0に達するとハイレベル(以後H
レベルと記す)の信号を出力するものであり、所定時間
Toに達するとインバータIllの出力がローレベル(
以後Lレベルと記す)の信号を出力する様になるのでそ
の後のクロックCLKは入力しない、アンドゲート A
ND 2〜AND 4の一入力端には、前記Hレベルの
信号が遅延線202、インバータIN2を介して入力し
ており、他の入力端には、前記利得制御信号発生部2a
よりの利得制御信号AGCL或いはACCIが入力して
いる。 従って、前述した第4図の■〜■の各場合をこ
の回路に適用してみると、 ■のようなケースには、蓄積動作が開始されてから所定
時間T0はまだ経過しでいないうちはインバータIN2
の出力はHレベルであり、この時のピーク検出信号Vi
が基準電圧v2に達すると利得制御信号AGCHがHレ
ベルとなるので、アントゲ−)  AMDIの出力がH
レベルとなる。よって該アンドゲートAND1の出力が
Hレベル反転した時点(第4図時刻t1)でオアゲート
ORl及びインバータ183を介して信号φtがライン
センサ1へ出力され、蓄積が終了となる。また、この時
の増幅率を決定するための利得選択信号としては、利得
制御信号AGCLがHレベルであるので、Dフリップフ
ロップ203のQ出力がHレベルで、結局増幅率1倍を
示す利得選択信号Lginが選択出力(詳細は後述)は
されることになる。
■のようなケースには、蓄積動作が開始されてから所定
時間Toが経過するとその出力はHレベルであり、又こ
の時利得制御信号AG(1:LがHレベルであるので、
Dフリップフロー2プ203のQ出力がHレベルであり
、この時のピーク検出信号V 、tが基準電圧v2に達
すると利得制御信号AGC)IがHレベルとなるので、
この場合アントゲ−)  AND2の出力がHレベルと
なる。よって該アンドゲートAND 2の出力がHレベ
ル反転した時点(第4図時刻t2)でオアゲー)ORI
及びインバータIN3を介して信号φtがラインセンサ
lへ出力され、蓄積が終了となる。また、この時の増幅
率を決定するための利得選択信号としては、前記の如く
Dフリップフロップ203のQ出力がHレベルであるの
で、増幅率1倍を示す利得選択信号Lginが選択出力
されることになる。
■のようなケースには、蓄積動作が開始されてから所定
時間T0が経過するとその出力はHレベルであり、又こ
の時利得制御信号AGCLがLレベルであるので、Dフ
リップフロップ203のQ出力がHレベルであり、この
時のピーク検出信号Viが基準電圧Vlに達すると利得
制御信号AGCLがHレベルとなるので、この場合アン
トゲ−)  AND3の出力がHレベルとなる。よって
該アンドゲートAND3の出力がHレベル反転した時点
(第4図時刻t、)でオアゲー)ORI及びインバータ
INSを介して信号φtがラインセンサ1へ出力され、
蓄積が終了となる。また、この時の増幅率を決定するた
めの利得選択信号としては、前記の如くDフリップフロ
ップ203のQ出力がHレベルであるので、増幅率V 
2 / V 1倍を示す利得選択信号Hg1nが選択出
力(詳細は後述)されることになる。
また、前述したように蓄積終了強制信号INTEND(
Hレベルの)が送られてくることにより、オアゲートO
R1及びインバータINSを介して信号φtがラインセ
ンサlへ出力され、蓄積が終了となることになる。又前
記いずれの場合においても、信号φtが発生すると同時
にHレベルの蓄積終了信号TinTEが発生し、マイコ
ン3へ該信号が出力される。
第3図(C)は前記像信号増幅部2Cの構成例を示すも
のであり、ここでは前述したように前記利得制御信号発
生部2aよりの利得制御信号AGCL或いはAGCHに
基づいた、像信号vOの増幅が行われる。
遮光ピッ)Ssに生じた暗信号が像信号Voとして送ら
れてくると、この時マイコン3よりサンプル信号DSA
MPLEが送られてきている(詳細は後述)ので、サン
プルホールド回路SHIによってその値が保持される。
その後開ロビッ)S2〜Snに生じた信号が順次像信号
vOとして送られてくると、この時マイコン3よりサン
プル信号SSAMPLEが送られてきている(詳細は後
述)ので、各ビット毎に、一旦サンプルホールド回路S
HIによってその値に基準電圧源VREFよりの基準電
圧Vcが加算された値が保持され、その時前記前記利得
制御信号発生部2aより送られてきている利得制御信号
AGCL或いはAGCHに対応した増幅率をもつアンプ
ANP4 、  ANP5によって適宜増幅され(尚増
幅される信号は前記遮光ビットにより得られる暗信号分
が引かれた値である)、像信号ADsigとして出力さ
れる。なお、前記利得制御信号AGCL或いはAGCH
は相補信号であり、一方がHレベルの場合、もう一方は
Lレベルとなっている。
またアンプANP4の増幅率は既に示されているように
アンプANP5のV 2 / V 1倍にほぼ一致する
ように設定されている。又前記基準電圧@ VREFは
アンプANP4 、  ANP5の原点をシフトさせる
ためのもので、ここに発生する基準電圧Vcはマイコン
3内のA/D変換部の信号処理可能な最大電圧VRH,
!:最小電圧VRL(7)間(例えばVRH/10cy
)電圧)に設定されている。こうする理由は、前記アン
プANP4 、  ANP5の原点(差動入力jりは遮
光ピッ)31の暗信号の電位(この電位はほぼA/D変
換部の最小電圧V RL)であるため、この該ビットの
暗信号より低い電位をもつ開口ビットの暗信号の電位を
もA/D変換部で読み込めるようにするためである。こ
のように暗信号にバラツキがあるのは、MOS)ランジ
スタを構成要件としたラインセンサlの固定ノイズによ
るものと考えられ、本件では各ビット毎の固定ノイズは
後述のような動作によりEEFROM内に遮光ビットS
Lの暗信号との差分電位として組立て工程の最終段階等
に格納されている。
第5図はマイコン3内のRAM及びEEFROMのアド
レスマツプを示すもので、RAMはRAM0RGという
アドレスで始まる連続した領域を有し、EEPROMは
HA口JORG 、 LA[1JORGとういアドレス
で始まる連続した領域を有している。
前記LADJORGで始まる連続したEEFROM領域
には、ラインセンサ1の全てのビットが遮光された状態
で得られた各開口ビット毎の固定ノイズ分が第3図(C
) +7)V2 /Vt倍すルアンブAMP 4を介し
てこの信号処理系列における固定ノイズとしてA/D変
換された後、記憶されている(詳細は第8図を用いて後
述する)、又前記HADJORGで始まる連続したEE
FROM領域には、ラインセンサ1の全てのビットが遮
光された状態で得られた各開口ビット毎の固定ノイズが
第3図(C)の1倍するアンプANP5を介してこの信
号処理系列における固定ノイズとしてA/D変換された
後、記憶されている(詳細は第9図を用いて後述する)
前述の説明からもわかるように、上記EEFROM領域
に記憶される情報はラインセンサlの各ビットのバラツ
キ量及びアンプANP4とアンプANP5の誤差量に相
当し、この情報は、実使用時に各ビット毎にそれぞれ対
応した値を選択し該僅によりその時得られる像信号Vo
に補正を加えて固定ノイズ分の補償をするのに用いられ
る。
次に、使用者によって該装置が用いられている場合のマ
イコン3での動作を第6,7図に示すフローチャートに
より説明する。尚、第6.7図ともにサブルーチン形式
の表現となっているが、これは蓄積動作制御部分が汎用
性の高いものである事を示している。
第6図に示す「像信号人力」ルーチンがコールされると
、ステップ301よりの動作が開始される。
[ステラ7’301]  ここでは、ラインセンサlに
蓄積動作を開始させるため、該ラインセンナlへ各種制
御信号(φr+LtIvrs、φres等)を出カポ−
) CMTPORT’Sより出力すると同時に、信号処
理回路2へリセットパルスR9ETを出力する。このよ
うな信号が出力されることにより、ラインセンサ1にて
第2図を用いて説明したような蓄積動作が行われる。ま
た、信号処理回路2へ出力するバスBust 、  B
US2 (基準電圧V、、V2に相当するディジタル信
号)をセットする。
[ステップ302] 蓄積時間を1msの単位でカウン
トするカウンタとして用いられるRAM上に設定された
蓄積時間カウンタINTCNTの内容を「0」にする(
 INTCMT←0)。
[ステップ3033 1 m sをカウントする1mS
タイマとしても用いられているRAM上に設定された1
 m sタイマをリセットする。
[ステップ304] 信号処理回路2より入力している
蓄積終了信号TinTHの状態を検知し、蓄積動作が終
了したか否かを、つまり蓄積終了信号TinTEがHレ
ベルであるかLレベルであるかを調べ、Hレベルである
と判断した場合にはステップ310へ進み、Lレベルで
あると判断した場合にはステップ305へ進む。
[ステップ305] 先にリセットした1mSタイマが
1 m sを計時したか否かを調べ、経過していいなけ
ればステップ304へ戻り、経過していればステップ3
06へ進む、尚参考までに、前述したカウンタ201で
カウントされる所定時間TOは例えば10wg〜20m
5位に設定されている。
[ステップ306] 蓄積時間カウンタINTCN↑の
内容を1つカウントアツプする( INTCNT −I
NTCMT+ 1)。
[ステップ307] ここでは予め設定されている最長
蓄積時間NAXINTと蓄積時間カウンタIN?(:N
Tの内容との比較を行い、蓄積時間カウンタINTCN
Tの内容が最長蓄積時間MAXIM↑未満であれば(I
NTCNT< MAXIN?)ステップ303へ戻り、
再び蓄積動作の終了待ちとなる。また、そうでなければ
(rNTCNT≧MAXINT) スフyブ308へ進
む。
[ステップ308] 前記ステップ307で蓄積時間が
最長蓄積時間NAXINTに達したと判断されたので、
ここでは蓄積動作を強制的に終了させるためにHレベル
の蓄積終了強制信号INTENDを信号処理回路2へ出
力する。
[ステップ309] 蓄積動作が終了したので、次に像
信号の読み込みを行わせるために「像信号読み込み」ル
ーチンをコールする。尚このルーチンにおける詳細は第
5図を用いて後述する。
前記ステップ304にて蓄積終了信号TinTEがHレ
ベルであると判断された場合にはステップ310へ進む
ことになるが、ここでは以下の判断が行われる。
[ステップ3103  蓄積時間カウンタINTCNT
の内容が所定時間TO先越えているか否かを調べ、越え
ている場合(INTCMT> T o )にはステップ
311へ進み、越えていない場合(INTCNT≦To
)にはステップ305へ戻り、所定直Toを越えるのを
待つ、これは、第354(B)中の利得選択信号Lgi
n 、 Hg1nが所定時間Toの時点で決定されるた
めである。
[ステップ311]  Hレベルの蓄積終了信号Tin
TEが入力するのを待ち、入力することにより先のステ
ップ309へ進む。
次に、第7図を用いて「像信号読み込み」ルーチンにつ
いて述べる。前記ステップ309にて「像信号読み込み
」ルーチンがコールされると、ステップ401よりの動
作が開始される。
[ステップ401] 信号処理回路2より入力している
利得選択信号Hg1nがHレベルであるかLレベルであ
るかを検知し、Hレベルである場合にはステップ402
へ進み、Lレベルである場合にはステ、プ403へ進む
[ステップ402]  RAM上に設定されている!!
!!ADHというアドレス指示レジスタに利得選択信号
Hg1nがHレベルである場合に使用すべき固定パター
ンノイズを記憶しているEEFROMの先頭アドレスH
ADJORGを代入する。
[ステップ403] ここではRAM上に設定されてい
るEEADHというアドレス指示レジスタに利得選択信
号Hg inがLレベルである場合に使用すべき固定ノ
イズを記憶しているEEFROMの先頭アドレスLAD
JORGを代入する。
[ステップ404]  A/D変換された像信号を記憶
すべきアドレスを指示するアドレス指示レジスタDTA
DHにワークエリアであるRAMの先頭アドレスRAM
0RGを代入する。
[ステップ405] 前記ラインセンサ1における暗信
号或いは像信号の蓄積を終えたビットの数値をカウント
するカウンタとして用いられているRAM上に設定され
たビット数計数カラン、りbitCNTの内容を「0」
にする(bitcNT−0) −[ステップ406] 
ビットを1つシフトさせるための信号φspをラインセ
ンサlの走査回路l。
6へ送出する。
[ステップ407] ここでは前記ビット数計数カウン
タbitcNTの内容とRAM内に記憶されている遮光
ピッ)Stの順番を示す所定値DARK (実施例では
該ビットは第2図に示すように先頭位置に配置されてい
るので、DARK= 0である)とを比較し、各値が等
しければ(bitcNT = DARK)ステップ40
8へ進み、等L < ナケJlf (bitcNTII
&IIARK)ステップ409へ進む、従って、遮光ビ
ットS。
の読み出し時にはステップ408へ進み、開口ビットS
2〜Snの読み出し時にはステップ409へ進むことに
なる。
[ステップ408] 信号処理回路z内の像信号増幅部
2Cヘサンプル信号DSANPLIE &送出する。
これにより、前述したように遮光ビットS□の電位(暗
信号)が像信号増幅mZc内のサンプルホールド回路S
HIによって保持される。
[ステップ409] 信号処理回路2内の像信号増幅部
2Cヘサンプル信号SSAMPLEを送出する。
これにより、前述したように開口ビット52〜Snの電
位(像信号)が像信号増幅部2c内のサンプルホールド
回路SH2によって保持される。
この時点での像信号ADsigの値としては、(開口ビ
ット出力−遮光ビット出力)なる値がアンプANP4若
しくはアンプANP5ニヨッ’t”V2 / Vt倍若
しくは1倍された値となっている。
[ステップ41O] 前記V 2 / V 1倍若しく
は1倍された値となって入力する像信号ADsigをA
/D変換部にてA/D変換し、その結果をアドレス指示
レジスタDTADHによって指示されるアドレスに格納
する。
[ステップ411]  ここでは前記A/D変換された
像信号より固定ノイズ分を除去するための重要なステッ
プであり、アドレス指示レジスタDTADHの指示する
アドレスの内容からアドレス指示レジスタ!l!ADR
の指示するアドレスの内容を減算し、再び前記アドレス
指示レジスタDTADHの指示するアドレスにその結果
を格納する。
[ステップ412] ビット数計数カウンタbitCI
T、アドレス指示レジスタDTADH及びアドレス指示
レジスタEEADRのそれぞれの内容を1つカウントア
ツプす6 (bitcNT+bitcNT+ 1 、 
DTADR4−DTADR+  l  、EEADR−
EEADR+  1 )  。
[ステップ413] ここではビット数計数カウンタb
itcNTの内容と予めRAM内に設定されている最大
ビット値MAXbit (開口ビットの総数値)との比
較を行い、ビット数計数カウンタbitcNTの内容が
最大と・ット値MAXbitを越えていない場合(bi
tcNT≦NAXbit)はX テyプ402へ戻り、
読み込み動作を繰り返す、また、ビット数計数カウンタ
bitcNTの内容が最大ビット値NAXbit越えた
場合(bitONT>NAXbit)は前記第6図(F
) X 7” yブ3゜9ヘリターンする。
以後、前記と同様の動作を繰り返す。
次に、第8図及び第9図に示すフローチャートを用いて
前記ラインセンサlの固定パターンノイ、ズをEEPR
OM内に格納する場合の動作を説明する。この様な動作
はラインセンサlの全てのビットを遮光した状態で、該
装置組立て工程の最終段階等に行われる。
第8図のrHgain調整」ルーチンをコールすると、
ステップ501よりの動作が開始される。
[ステップ501] 蓄積動作を開始させるために第6
図ステップ301とほぼ同様の動作を行う、異なる点は
パスBUSI 、  BUS2のセット内容、つまり前
記第6図ステップ301におけるバスBUSI 、  
BUS2のセット内容は基準電圧vIsv2であったが
、ここではこれらの電圧よりも大きい値をもつ基準電圧
Vfu11(例えばVRHと等しいレベル値)に相当す
るディジタル値をその内容とする。こうすることにより
、利得制御信号AGCLは必ずLレベルとなり、所定時
間To時点での利得選択信号HgainはHレベルとな
る。よってアンプANP4が選択され、この時送られて
くる信号(各ビットの暗信号)はV 2 / V 1倍
されることになる。
[ステップ502]  RAM上に設定された蓄積時間
カウンタ!N1cNiノ内容t rOJ ニt6 (I
NTCNT←0)。
[ステップ503]  RAM上に設定された1msタ
イマをリセットする。
[ステップ504]  1msタイマが1 m sを計
時したか否かを調べ、1msを計時していればステップ
505へ進み、1msを計時していなければ計時するま
で待つ。
[ステップ505] 蓄積時間カウンタINTCNTの
内容を1つカウントアツプする( INT(:NT←I
NTCMT+1)。
[ステップ506] ここでは予め設定されている1m
s単位の所定の蓄積時間INTTiNIEと蓄積時間カ
ウンタINTCNTの内容との比較を行い、蓄積時間カ
ウンタINTCNTの内容が所定の蓄積時間INTTi
ME未満であれば(INTCNT< INTTiME 
)ステップ503へ戻り、再び蓄積動作の終了待ちとな
る。また、そうでなければ(INTCMT≧INTTi
ME )ステップ507へ進む、尚前記所定の蓄積時間
INTTiMIEはDフリップッフロップ203(第3
図(C)参照)の出力が確定する所定時間TOより長く
とられている。
[ステップ507] 前記ステップ507で蓄積時間が
所定の蓄積時間INTTiMEに達したと判断されたの
で、ここでは蓄積動作を強制的に終了させるためにHレ
ベルの蓄積終了強制信号INTENDを信号処理回路2
へ出力する。
[ステップ508]  RAM上に設定されたビット数
計数カウンタbitcNTの内容を「0」にする(bi
tcNT←0)、又アドレス指示レジスタEEAIIR
に利得選択信号Hg1nがHレベルである場合に使用す
べき固定パターンノイズを記憶しているEEFROMの
先頭アドレスHADJORGを代入する(HEADH、
−HADJORG ) 。
[ステップ509] ビットを1つシフトさせるための
信号φ3pをラインセンサ1の走査回路106へ送出す
る。
[ステップ510] ここでは前記ビット数計数カウン
タbitcMTの内容とRAM内に記憶されている遮光
ビットS1の順番を示す所定値DARKとを比較し、各
値が等しければ(bitcNT= DARK)ステップ
511へ進み、等しくなければ(bitcNT≠DAR
K)ステップ512へ進む。
[ステップ511]  信号処理回路2内の像信号増幅
部2Cヘサンプル信号DSAMPLEを送出する。
[ステップ512] 信号処理回路2内の像信号増幅部
2Cヘサンプル信号SSAMPLEを送出する。
[ステップ513] 前記ステップ512が実行される
ことにより送られてくるV 2 / V 1倍若しくは
1倍された値の信号(固定ノイズ)をA/D変換し、そ
の結果をアドレス指示レジスタDTADHによって指示
されるアドレスに格納する。
[ステップ514] ビット数計数カウンタbitCN
T及びアドレス指示レジスタ!EADHの各内容を1つ
カウントアツプする(bitONT+bitcNT+ 
l 、 EEADR−EEADR+ 1) 。
[ステップ515] ここではビット数計数カウンタb
itcNTの内容と予めRAM内に設定されている最大
ビット値MAXbitとの比較を行い、ビット数計数カ
ウンタbitcNTの内容が最大ビット値MAXbit
を越えていない場合(bi tcNT≦MAXbit)
はステップ509へ戻り、読み込み動作を繰り返す、ま
た、ビット数計数カウンタbitcNTの内容が最大ビ
ット値MAXbit越えた場合(bitcNT>MAX
bit) ハこのプログラムを終了する。
また、第9図のrLgain調整」ルーチンをコールす
ると、ステップ601よりの動作が開始されることにな
るが、ここでの動作は前記第8図のrLgain調整」
ルーチンとほぼ同一であるので、異なるステップ、つま
りステップ601とステップ608のみについて説明す
る。
ステップ601でのバスBustとして、(Vp−V 
d)より常に低い電圧(−V full)に相当するデ
ィジタル信号を出力する。こうすることにより、利得制
御信号AGCHは必ずHレベルとなり、所定時間10時
点での利得選択信号LgainはLレベルとなる。よっ
てアンプAMP 5が選択され、この時送られてくる信
号(各ビットの暗信号)は1倍されることになる。他の
動作は同様である。
ステップ608では、ビット数計数カウンタbitcN
Tの内容を「0」にする(bitcN〒←0)点は同様
であるが、アドレス指示レジスタEEADRに代入する
アドレスとして、利得選択信号LginがLレベルであ
る場合に使用すべき固定ノイズを記憶しているEEFR
OMの先頭アドレスLADJORGを代入する(EEA
DR4−LADJORG ) 。
以上の動作が実行されることにより、該装置が実際に使
用された場合にラインセンサ1より送られてくる像信号
Voの補正値情報となる各ビット毎の固有のノイズ及び
各アンプANP4とAMP 5の誤差(AMP4と A
MP 5には固有のノイズがあるが、その固有ノイズの
差)を含む固定ノイズが第5図に示したEEFROM内
にそれぞれの倍率により増幅されてから格納さ゛れる。
本実施例によれば、各ビット毎のバラツキ及びアンプA
NP4を用いるか、アンプANPO5ヲ用いるかによっ
て生じる同一増幅率でみた場合の出力誤差を補正するた
めに、予め前記第8図及び第9図にて説明したようにし
てEEFROMに記憶されているこれらを含む固定ノイ
ズを、実使用時に補正値情報として使用するようにした
から、ラインセンサ1への入射光輝度パターンに対応し
た、より正確な信号として記憶することができる。
(発明と実施例の対応) 本実施例において、アンプAl1IP4 、  AMP
5が本発明の第1.2の増幅手段に、EEFROMが第
1.2の記憶手段に、マイコン3内の第7図のルーチン
を実行する部分が補正手段に、それぞれ相当する。
(発明の効果) 以上説明したように、本発明によれば、光電変換素子の
各画素毎の、第1の増幅手段を介して予め得られた第1
の固定ノイズを記憶している第1の記憶手段と、光電変
換素子の各画素毎の、第2の増幅手段を介して予め得ら
れた第2の固定ノイズを記憶している第2の記憶手段と
、第1の増幅手段より蓄積信号が入力した場合には、第
1の記憶手段よりその時の蓄積信号に対応した固定ノイ
ズを選択し、該固定ノイズにより読み込んだ蓄積信号に
補正を加え、第2の増幅手段より蓄積信号が入力した場
合には、第2の記憶手段よりその時の蓄積信号に対応し
た固定ノイズを選択し、該固定ノイズにより読み込んだ
蓄積信号に補正を加える補正手段とを備え、以て、蓄積
信号に補正を加える情報として、光電変換素子の各画素
固有のノイズのみならず、第1と第2の増幅手段の誤差
によるノイズをも含んだ固定ノイズを用いるようにした
から、光電変換素子への入射光輝度パターンに対応した
、より正確な蓄積信号を得ることができる。
【図面の簡単な説明】
第1図は本発明の一実施例を示す概略ブロック図、第2
図は第1図図示ラインセンサの構成例を示す回路図、第
3図(A)、CB)、(C)は第1図図不信号処理回路
内の各部の構成例を示す回路図、第4図は蓄積時間制御
を説明するためのグラフ、第5図は第1図図示RAM、
EEFROMのアドレス領域を説明する図、第6図及び
第7図は第1図図示マイコンの動作を示すフローチャー
ト、第8図及び第9図は最終組立て工程時等に実行され
る固定ノイズ記憶時のフローチャートである。 1・・・・・・ラインセンサ、2a・・・・・・利得制
御信号発生部、2b・・・・・・蓄積時間制御・利得選
択部、2C・・・・・・像信号増幅部、3・・・・・・
マイコン、Vo・・・・・・像信号、Vp・・・・・・
ピーク検出信号、V 1  、v2+Vfull 、 
−Vfull 、 V C・・・・・・基準電圧、φt
・・・・・・信号、Hg1n 、 Lgin・・・・・
・利得選択信号。 特許出願人  キャノン株式会社 代 理 人   中   村    稔第1図 (ヤイクロコンヒュータ) 第4図 υ1 第5図 第6図 〜コ 第7図 第8図 第9図 C=■大二つ

Claims (1)

    【特許請求の範囲】
  1. (1)高輝度時に、複数画素から成る光電変換素子より
    送られてくる蓄積信号を、その後段に配置される各回路
    の飽和電圧近傍のレベル値まで増幅する第1の増幅手段
    と、低輝度時に、前記光電変換素子より送られてくる蓄
    積信号を、その後段に配置される各回路の飽和電圧近傍
    のレベル値まで増幅する、前記第1の増幅手段よりも高
    い増幅率をもつ第2の増幅手段と、前記光電変換素子の
    各画素毎の、前記第1の増幅手段を介して予め得られた
    第1の固定ノイズを記憶している第1の記憶手段と、前
    記光電変換素子の各画素毎の、前記第2の増幅手段を介
    して予め得られた第2の固定ノイズを記憶している第2
    の記憶手段と、前記第1の増幅手段より蓄積信号が入力
    した場合には、前記第1の記憶手段よりその時の蓄積信
    号に対応した固定ノイズを選択し、該固定ノイズにより
    読み込んだ蓄積信号に補正を加え、前記第2の増幅手段
    より蓄積信号が入力した場合には、前記第2の記憶手段
    よりその時の蓄積信号に対応した固定ノイズを選択し、
    該固定ノイズにより読み込んだ蓄積信号に補正を加える
    補正手段とを備えた光電変換素子の蓄積信号ノイズ処理
    装置。
JP62027268A 1987-02-10 1987-02-10 撮像装置 Granted JPS63196180A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP62027268A JPS63196180A (ja) 1987-02-10 1987-02-10 撮像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP62027268A JPS63196180A (ja) 1987-02-10 1987-02-10 撮像装置

Publications (2)

Publication Number Publication Date
JPS63196180A true JPS63196180A (ja) 1988-08-15
JPH0563070B2 JPH0563070B2 (ja) 1993-09-09

Family

ID=12216329

Family Applications (1)

Application Number Title Priority Date Filing Date
JP62027268A Granted JPS63196180A (ja) 1987-02-10 1987-02-10 撮像装置

Country Status (1)

Country Link
JP (1) JPS63196180A (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992016083A1 (fr) * 1991-03-11 1992-09-17 Jcd Ingenierie Dispositif de controle d'un appareil de chauffage
JP2006060292A (ja) * 2004-08-17 2006-03-02 Konica Minolta Holdings Inc 撮像装置

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101055772B1 (ko) 2005-12-15 2011-08-11 서울반도체 주식회사 발광장치
KR100875443B1 (ko) 2006-03-31 2008-12-23 서울반도체 주식회사 발광 장치

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO1992016083A1 (fr) * 1991-03-11 1992-09-17 Jcd Ingenierie Dispositif de controle d'un appareil de chauffage
FR2674005A1 (fr) * 1991-03-11 1992-09-18 Jcd Ingenierie Dispositif de controle d'un appareil de chauffage.
JP2006060292A (ja) * 2004-08-17 2006-03-02 Konica Minolta Holdings Inc 撮像装置
JP4725052B2 (ja) * 2004-08-17 2011-07-13 コニカミノルタホールディングス株式会社 撮像装置

Also Published As

Publication number Publication date
JPH0563070B2 (ja) 1993-09-09

Similar Documents

Publication Publication Date Title
CN100539648C (zh) 摄像元件及摄像装置和方法
EP2612492B1 (en) High dynamic range image sensor
JP4998056B2 (ja) 撮像装置、撮像システム及び撮像方法
JP4649313B2 (ja) 固体撮像装置
JP2787710B2 (ja) 光電変換装置の信号補正装置
JP3748267B2 (ja) 撮像装置
US7995133B2 (en) Method, apparatus for correcting image signal from image sensor, and imaging system with apparatus
US7221396B2 (en) Digital camera having CMOS image sensor with improved dynamics and method for controlling a CMOS image sensor
US20060176519A1 (en) Black out correction device
JP2005341612A (ja) ライン及びカラム・アドレス可能な画像センサーにおける露光依存ノイズの修正方法及び装置
US7801384B2 (en) CMOS image sensors
US20090251580A1 (en) Circuit and Method for Reading Out and Resetting Pixels of an Image Sensor
US5493334A (en) Automatic digital black shading for cameras
US7102675B1 (en) Photoelectric conversion device, focus detection device, method of controlling these devices, and storage medium
JPS63196180A (ja) 撮像装置
JPS63196181A (ja) 光電変換素子の蓄積信号処理装置
JPH0530350A (ja) 固体撮像装置
JP2000307962A (ja) 固体撮像装置
JP2002016841A (ja) 固体撮像装置
JP3212858B2 (ja) 固体撮像装置
US6806901B1 (en) Controlling the range and resolution of offset correction applied to the output of a charge coupled device
JPH0556356A (ja) 信号処理回路
JP6635700B2 (ja) 撮像装置、撮像システム及び信号処理方法
JP2019140464A (ja) 撮像装置及び撮像方法
JP2006148455A (ja) 固体撮像装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees