JP3579462B2 - スチルビデオカメラの自動焦点調節装置 - Google Patents

スチルビデオカメラの自動焦点調節装置 Download PDF

Info

Publication number
JP3579462B2
JP3579462B2 JP22079394A JP22079394A JP3579462B2 JP 3579462 B2 JP3579462 B2 JP 3579462B2 JP 22079394 A JP22079394 A JP 22079394A JP 22079394 A JP22079394 A JP 22079394A JP 3579462 B2 JP3579462 B2 JP 3579462B2
Authority
JP
Japan
Prior art keywords
signal
color
value
video camera
photographing lens
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP22079394A
Other languages
English (en)
Other versions
JPH07123314A (ja
Inventor
伸一 垣内
Original Assignee
ペンタックス株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ペンタックス株式会社 filed Critical ペンタックス株式会社
Priority to JP22079394A priority Critical patent/JP3579462B2/ja
Publication of JPH07123314A publication Critical patent/JPH07123314A/ja
Application granted granted Critical
Publication of JP3579462B2 publication Critical patent/JP3579462B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Focusing (AREA)
  • Automatic Focus Adjustment (AREA)
  • Color Television Image Signal Generators (AREA)

Description

【0001】
【産業上の利用分野】
本発明は、スチルビデオカメラに設けられ、撮影レンズを合焦位置に定める自動焦点調節装置に関する。
【0002】
【従来の技術】
従来、撮像素子の前面にカラーフィルタを設けてカラー画像を得るように構成されたスチルビデオカメラにおける自動焦点調節装置として、カラーの画素信号から輝度信号を検出し、この輝度信号を利用してコントラスト法により撮影レンズの合焦状態を検出するものが知られている。この装置における自動焦点調節では、輝度信号はカラーフィルタの全ての色の画素信号から求められ、撮影レンズは、その輝度信号に基づいて、光量変化の高周波成分が最も多くなるような位置に定められる。
【0003】
【発明が解決しようとする課題】
ところが各色フィルタ別に考えた時、各々の出力信号信号のなかには、各画素間の輝度差が小さい色信号も含まれており、このためコントラストが低下して合焦状態を高精度に検出することは困難であった。また全ての色の画素信号から輝度信号を得ているため、信号処理に時間がかかり、従来、自動焦点調節動作をさらに迅速に行うことが望まれていた。
【0004】
本発明は、撮影レンズの合焦状態の検出精度を向上させるとともに、自動焦点調節に要する時間を短縮させることを目的としている。
【0005】
【問題を解決するための手段】
本発明に係るスチルビデオカメラの自動焦点調節装置は、所定の色の画素信号を出力する撮像素子と、各色毎に画素信号を処理し、画素信号のレベル変化の最も大きい色を選択する手段と、この選択手段によって選択された画素信号に基づいて撮影レンズの合焦状態を検出する合焦状態検出手段と、この合焦状態検出手段の出力信号に従って撮影レンズを合焦位置の方向に移動させるレンズ移動手段とを備えたことを特徴としている。
【0006】
【実施例】
以下図示実施例により本発明を説明する。
図1は本発明の実施例を適用したスチルビデオカメラのブロック図である。
【0007】
システムコントロール回路10はマイクロコンピュータであり、本スチルビデオカメラ全体の制御を行う。
【0008】
撮影レンズ11はモータ12により駆動され光軸Xに沿って移動し、モータ12はモータ駆動回路13によって駆動される。モータ駆動回路13はシステムコントロール回路10によって制御され、これにより撮影レンズ11は合焦位置に定められる。なおシステムコントロール回路10には、自動焦点調節(以下、単にAFという)およびシャッターレリーズを行うためのレリーズボタン19が接続されている。
【0009】
撮影レンズ11の後方にはCCD(撮像素子)21が設けられ、この撮像素子21の前面にはカラーフィルタ29が配設されている。カラーフィルタ29は、後述するようにグリーン(G)、マゼンタ(Mg)、イエロー(Ye)およびシアン(Cy)のカラーフィルタ要素から構成される補色市松カラーフィルタである。撮影レンズ11を通った光線は、カラーフィルタ29を介してCCD21に入射する。
【0010】
CCD21上に結像された画像に対応した信号は相関二重サンプリング(CDS)回路23に供給される。CDS23に入力された画像信号は、リセット雑音の除去等の所定の処理を施された後、A/D変換器25においてデジタル信号に変換され、各色毎に、Gメモリ81、Mgメモリ82、Yeメモリ83およびCyメモリ84に格納される。すなわちGメモリ81、Mgメモリ82、Yeメモリ83およびCyメモリ84には、それぞれG、Mg、YeおよびCyの色信号が格納される。
【0011】
これらの色信号はAF時、システムコントロール回路10において所定の処理を施され、これにより撮影レンズ11の合焦状態を示すAF信号が得られる。このAF信号に基づいてモータ駆動回路13が制御され、撮影レンズ11は合焦位置に定められる。
【0012】
図2は、カラーフィルタ29のカラーフィルタ要素の配列を有している。この図に示されるようにカラーフィルタ29は、MgとGを交互に配置して成る水平方向の列T1、T1’と、YeとCyを交互に配置して成る水平方向の列T2とを有し、これらの列は垂直方向に交互に、T1、T2、T1’、T2、T1、T2・・・の順に配置されている。なおMgとGとから成る列T1と、この列T1に近接し、MgとGとから成る他の列T1’において、列T1のMgとGの垂直方向下方には、列T1’のGとMgがそれぞれ位置している。
【0013】
本実施例におけるAF動作を説明する。
図3は、一般的な被写体からの反射光線が撮影レンズ11を介してカラーフィルタ29に入射した場合における、CCD21の各フォトダイオード(各画素に対応している)への入力信号と各フォトダイオードからの出力信号との一例を示している。実線S1はカラーフィルタ29への光線の入力レベル、すなわち1本の水平走査線上における光量分布を示している。Gのカラーフィルタ要素を通過した光線は、このフィルタ要素を通過したことにより、被写体に含まれるグリーンの要素に応じて、実線S2に示されるような画素信号分布となる。同様に、Mg、YeおよびCyのカラーフィルタ要素を通過した各光線は、各フィルタ要素を通過したことにより、それぞれ実線S3、S4およびS5に示されるような画素信号分布となる。この図の例では、特にYeとCyのフィルタ要素を通過した光線は、画素信号のレベル変化が入力信号のレベル変化に比べてなだらかになっている。
【0014】
実線S2〜S5によって示される各色信号は、CDS23において所定の処理を施された後、A/D変換器25においてデジタル信号に変換され、それぞれGメモリ81、Mgメモリ82、Yeメモリ83およびCyメモリ84に格納される。これらの信号は、後述するようにシステムコントロール回路10において所定の微積処理を施され、これにより撮影レンズ11の合焦状態を示すAF信号に変換される。
【0015】
図4はAF信号を求める過程で得られる輝度変化信号を示すものである。輝度変化信号S6、S7、S8およびS9は、それぞれG、Mg、YeおよびCyの各色信号を横方向画素に関して微分するとともに、その微分値の絶対値をとることにより得られる。AF信号は輝度変化信号を横方向画素に関して積分することにより得られ、実線S6、S7、S8およびS9により囲まれる面積に等しい。この図において、各色信号におけるAF信号は、Gの色信号が最大値をとり、Mgの色信号、Yeの色信号およびCyの色信号の順に小さくなっている。すなわちこの例では、Gの色信号によるAF信号が被写体の各部における輝度の差異(コントラスト)を最もよく表しており、G信号が高周波成分を最も多く含んでいる。本実施例では、このように最大値を示すAF信号が得られる色信号を用いて、AF動作が行われる。
【0016】
図5はAF動作のフローチャートであり、AF動作はレリーズボタン19を半押しすることにより開始する。
ステップ101ではCCD21の出力信号がA/D変換され、ステップ102では、G、Mg、YeおよびCyの色信号がそれぞれGメモリ81、Mgメモリ82、Yeメモリ83およびCyメモリ84に読み込まれる。ステップ103では、各メモリ毎に、所定の領域の画素データが読み出される。この所定の領域とは、例えば1画面の中央に位置する1本の水平走査線に対応している。
【0017】
ステップ104では、ステップ103において読み出された各色の画素データに微積処理が施され、AF信号が求められる。すなわち、図4において実線S2〜S5によって示される各色信号に対応したデジタル信号が、微分された後、絶対値をとって積分されることにより、実線S6〜S9によって囲まれる面積、すなわちAF信号が得られる。この微積処理の内容については後に詳述する。
【0018】
ステップ105では、各色信号から、AF信号が最大値をとる色信号が選択される。この後のAF動作では、ステップ105において選択された色信号が用いられる。ステップ105における色信号の選択処理については後に詳述する。
【0019】
ステップ106では、撮影レンズ11が初期位置から所定量だけ移動させられる。なおこのとき、撮影レンズ11を合焦位置に移動させるための移動方向は不明であるため、撮影レンズ11は取敢えず所定の方向(例えば前方)に移動させられる。
【0020】
ステップ107、108では、それぞれステップ101、102と同様に、CCD21の出力信号がA/D変換され、G、Mg、YeおよびCyの色信号がそれぞれ各メモリ81〜84に読み込まれる。なお、この後の処理ではステップ105において選択した色信号のみが用いられるため、ステップ108の処理では、この色信号だけをメモリに読み込むようにしてもよい。これによりAF動作を高速化することができる。
【0021】
ステップ109では、最初に選んだ色信号、すなわちステップ105において選択した色信号の微積処理が行われ、AF信号が求められる。ステップ110では、前回ステップ104(あるいは109)において求められたAF信号と今回ステップ109において求められたAF信号とが比較されることにより、ステップ106における撮影レンズ11の移動によってAF信号の値が大きくなったか否かが判別される。AF信号が大きくなっている場合、ステップ106に戻り、撮影レンズ11はそれまでの移動方向と同じ方向に所定量だけ移動させられる。これに対し、ステップ110においてAF信号の値が小さくなっていると判断された場合、前回のステップ106の処理により撮影レンズ11は合焦位置から遠ざかる方向に移動しているので、ステップ111へ移り、撮影レンズ11はそれまでとは逆方向に、所定量だけ移動させられる。
【0022】
ステップ112、113では、それぞれステップ107、108と同様に、CCD21の出力信号がA/D変換され、G、Mg、YeおよびCyの色信号がそれぞれ各メモリ81〜84に読み込まれる。このステップ113の処理でもステップ108と同様に、ステップ105において選択された色信号だけをメモリに読み込むようにしてもよい。
【0023】
ステップ114では、ステップ109と同様に、最初に選んだ色信号の微積処理が行われ、AF信号が求められる。ステップ115では、ステップ110と同様に、前回ステップ109(あるいは114)において求められたAF信号と今回ステップ114において求められたAF信号とが比較されることにより、ステップ111における撮影レンズ11の移動によってAF信号の値が大きくなったか否かが判別される。AF信号が大きくなっている場合、ステップ111に戻り、撮影レンズ11はそれまでの移動方向と同じ方向に所定量だけ移動させられる。これに対し、ステップ115においてAF信号の値が小さくなっていると判断された場合、前回のステップ111の処理により撮影レンズ11は合焦位置から遠ざかる方向に移動しているので、撮影レンズ11はほぼ合焦位置にあると判断され、AF動作は終了する。すなわち、この直前のステップ111の処理により、撮影レンズ11は厳密には合焦位置から外れているが、ステップ111における撮影レンズ11の移動量は充分に小さく、その量は本実施例における自動焦点調節の誤差範囲内であると見做される。
【0024】
次に、ステップ104、109、114における微積処理の内容について説明する。
【0025】
画素データは、水平走査線方向の距離によって微分される。n番目の画素データに対する微分値は、(n−1)番目の画素データと(n+1)番目の画素データとの和の半分をn番目の画素データから引くことにより得られる。すなわち、(n−1)番目、n番目および(n+1)番目の画素データを(N−1)、N、(N+1)とすると、n番目の画素データの微分値N’は、
N’=N−(1/2){(N−1)+(N+1)}
となる。そしてこの微分値N’の絶対値をとることにより、輝度変化信号(図4参照)が得られる。すなわち輝度変化信号Lは、
L=|N−(1/2){(N−1)+(N+1)}| (1)
として表される。
【0026】
n−4 からKn+4 までの積分処理は、これらのデータの和をその個数で割ることにより得られる。すなわち、その積分値Iは、
I=(1/9){ΣK} (2)
であり、ここでΣは(n−4)番目のデータから(n+4)番目のデータまでの和をとることを示す。
【0027】
したがって、(n−4)番目の画素データから(n+4)番目の画素データまでに基づいてAF信号SAFを求めると、
AF=(1/7) Σ|〔N− (1/2){(N−1)+(N+1)}〕| (3)
であり、Σは(n−3)番目の画素データから(n+3)番目の画素データまでの和をとることを示す。
【0028】
図6は微積処理のフローチャートを示す。
ステップ201では、Gメモリ81から読み出された画素データに基づき、(3)式に従ってGの色信号によるAF信号GAFが算出される。このAF信号GAFは、ステップ202においてシステムコントロール回路10内のメモリに格納される。
【0029】
同様にして、ステップ203では、Mgメモリ82から読み出された画素データに基づいて、Mgの色信号によるAF信号MgAFが算出され、ステップ204においてメモリに格納される。ステップ205では、Yeメモリ83から読み出された画素データに基づいて、Yeの色信号によるAF信号YeAFが算出され、ステップ206においてメモリに格納される。またステップ207では、Cyメモリ84から読み出された画素データに基づいて、Cyの色信号によるAF信号CyAFが算出され、ステップ208においてメモリに格納される。
【0030】
図7は色信号選択処理のフローチャートを示す。
ステップ301では、AF信号GAFがAF値としていったんシステムコントロール回路10のAF値メモリに格納される。ステップ302ではAF値がAF信号MgAFよりも大きいか否かが判別される。AF値がAF信号MgAFよりも大きいとき、次にステップ304が実行されるが、AF値がAF信号MgAF以下であるとき、ステップ303においてAF信号MgAFがAF値としてAF値メモリに格納される。
【0031】
ステップ304では、AF値がAF信号YeAFよりも大きいか否かが判別され、AF値がAF信号YeAFよりも大きいとき、次にステップ306が実行される。これに対してAF値がAF信号YeAF以下であるとき、ステップ305においてAF信号YeAFがAF値としてAF値メモリに格納される。ステップ306では、AF値がAF信号CyAFよりも大きいか否かが判別され、AF値がAF信号CyAFよりも大きいとき、このルーチンはこのまま終了する。これに対してAF値がAF信号CyAF以下であるとき、ステップ307においてAF信号CyAFがAF値としてAF値メモリに格納される。
【0032】
このようにして、AF信号GAF、MgAF、YeAF、CyAFの中から最も大きい値をとるものが、AF値としてAF値メモリに格納される。
【0033】
以上のように本実施例は、各色信号のうち、各画素間の輝度差が大きい色信号のみを選択して合焦状態を判定するように構成されているため、被写体からの反射信号に含まれる高周波成分の量を高精度に検出することでき、したがって合焦状態の検出精度を向上させることができる。また本実施例では、1つの色の画素信号から輝度信号を得ているため、信号処理の時間を短縮化することができ、AF動作を迅速に行うことが可能となる。
【0034】
なお上記実施例は、1つの色信号だけからを用いて撮影レンズ11の合焦状態を検出するように構成されていたが、2以上の色信号を用いてもよい。
【0035】
また上記実施例では、CCD21は1つのみ示されているが、複数のCCDが撮影レンズ11から相互に等しい光路長の位置に設けられ、また各CCDの前面には同じ構成を有するカラーフィルタが配設される構成であってもよい。
【0036】
さらにカラーフィルタ29については、補色市松カラーフィルタに限定されず、G,R/B方式の2板式のフィルタでもよく、またG,R,Bの3板式のフィルタでもよい。
【0037】
また図5のステップ103において、画素データを読み出す領域としては、水平走査線に限定されず、例えば1画面の中央部に位置する矩形の領域であってもよい。
【0038】
【発明の効果】
以上のように本発明によれば、撮影レンズの合焦状態の検出精度を向上させ、また自動焦点調節に要する時間を短縮させることが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施例を適用したスチルビデオカメラのブロック図である。
【図2】補色市松カラーフィルタのフィルタ要素の配列を示す図である。
【図3】各カラーフィルタ要素を通ってCCDへ入力する信号とCCDからの出力信号とを示す図である。
【図4】CCDからの出力信号とこの信号から得られる輝度変化信号とを示す図である。
【図5】AF動作のフローチャートである。
【図6】微積処理のフローチャートである。
【図7】色信号選択処理のフローチャートである。
【符号の説明】
11 撮影レンズ
21 CCD(撮像素子)

Claims (5)

  1. 所定の色の画素信号を出力する撮像素子と、撮影レンズが第1の位置に位置する場合における各色毎前記画素信号を処理し、前記画素信号のレベル変化の最も大きい色を選択する手段と、この選択手段によって選択された色の画素信号に基づいて前記撮影レンズの合焦状態を検出する合焦状態検出手段と、この合焦状態検出手段の出力信号に従って撮影レンズを合焦位置の方向に移動させるレンズ移動手段とを備え、
    前記撮影レンズが、前記第1の位置から第2の位置への移動によって生じる前記選択された色の画素信号の変化に基づき、移動させられることにより、合焦状態が検出され前記撮影レンズは合焦位置の方向に移動させられることを特徴とするスチルビデオカメラの自動焦点調整装置。
  2. 前記選択手段は画素信号に微積処理を施すことにより各色毎にAF信号を生成し、AF信号が最大値をとる色を選択することを特徴とする請求項1に記載のスチルビデオカメラの自動焦点調節装置。
  3. 前記微積処理は、画素信号を水平走査線方向の距離によって微分するとともに、その微分値の絶対値を積分するものであることを特徴とする請求項2に記載のスチルビデオカメラの自動焦点調節装置。
  4. 前記合焦状態検出手段は、選択された色のAF信号の値が撮影レンズの移動によって大きくなっていると判断したとき、撮影レンズをそれまでの移動方向と同じ方向に移動させることを特徴とする請求項2に記載のスチルビデオカメラの自動焦点調節装置。
  5. 前記合焦状態検出手段は、選択された色のAF信号の値が撮影レンズの移動によって小さくなっていると判断したとき、撮影レンズをそれまでの移動方向とは逆方向に移動させることを特徴とする請求項2に記載のスチルビデオカメラの自動焦点調節装置。
JP22079394A 1993-09-02 1994-08-24 スチルビデオカメラの自動焦点調節装置 Expired - Fee Related JP3579462B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP22079394A JP3579462B2 (ja) 1993-09-02 1994-08-24 スチルビデオカメラの自動焦点調節装置

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP24027593 1993-09-02
JP5-240275 1993-09-02
JP22079394A JP3579462B2 (ja) 1993-09-02 1994-08-24 スチルビデオカメラの自動焦点調節装置

Publications (2)

Publication Number Publication Date
JPH07123314A JPH07123314A (ja) 1995-05-12
JP3579462B2 true JP3579462B2 (ja) 2004-10-20

Family

ID=26523915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP22079394A Expired - Fee Related JP3579462B2 (ja) 1993-09-02 1994-08-24 スチルビデオカメラの自動焦点調節装置

Country Status (1)

Country Link
JP (1) JP3579462B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6201619B1 (en) * 1998-06-18 2001-03-13 Agfa Corporation Autofocus process and system with fast multi-region sampling
JP2006267261A (ja) * 2005-03-22 2006-10-05 Victor Co Of Japan Ltd オートフォーカス装置
JP2016170182A (ja) * 2013-07-22 2016-09-23 オリンパスメディカルシステムズ株式会社 医療用観察装置
JP6987097B2 (ja) * 2016-02-25 2021-12-22 株式会社東京精密 制御装置及び制御方法

Also Published As

Publication number Publication date
JPH07123314A (ja) 1995-05-12

Similar Documents

Publication Publication Date Title
JP4908067B2 (ja) 固体撮像装置及びそれを用いた撮像装置システム
US5648817A (en) Dual type imaging device having multiple light sensitive elements
US7358999B2 (en) Focus sensing apparatus, focus sensing method using phase-differential detection and computer-readable storage medium therefor
US7471329B2 (en) Digital camera that performs autofocusing according to chromatic and achromatic sensing elements
JP2959142B2 (ja) 固体撮像装置
CN103843318A (zh) 摄像设备及其控制方法
JPH06133206A (ja) 撮像装置のオートフォーカス方式
US7158183B1 (en) Digital camera
JPH0779444A (ja) スチルビデオカメラ
JP2008176114A (ja) 焦点検出装置および撮像装置
JP2008310072A (ja) デジタルカメラ
JPH07288824A (ja) 輝度信号生成装置
JP2001174696A (ja) カラー撮像装置
JP2001275033A (ja) デジタルスチルカメラ
JP3579462B2 (ja) スチルビデオカメラの自動焦点調節装置
US5192998A (en) In-focus detecting device
US6094537A (en) Auto focus camera
US5835143A (en) Automatic focusing system for a still video camera
JP6512989B2 (ja) 焦点検出装置及び方法、及び撮像装置
JP3943610B2 (ja) カメラ及びレンズユニット
JP3658063B2 (ja) 撮像装置
JP3563508B2 (ja) 自動焦点調節装置
JP4015269B2 (ja) 電子カメラ
JP5239250B2 (ja) 電子カメラ
JP2006285094A (ja) オートフォーカスカメラおよびオートフォーカス装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040706

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040716

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090723

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100723

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110723

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110723

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120723

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120723

Year of fee payment: 8

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120723

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120723

Year of fee payment: 8

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120723

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130723

Year of fee payment: 9

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees