JPH06103182B2 - 焦点検出装置 - Google Patents

焦点検出装置

Info

Publication number
JPH06103182B2
JPH06103182B2 JP13686091A JP13686091A JPH06103182B2 JP H06103182 B2 JPH06103182 B2 JP H06103182B2 JP 13686091 A JP13686091 A JP 13686091A JP 13686091 A JP13686091 A JP 13686091A JP H06103182 B2 JPH06103182 B2 JP H06103182B2
Authority
JP
Japan
Prior art keywords
image
focus detection
amount
photoelectric element
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP13686091A
Other languages
English (en)
Other versions
JPH04230715A (ja
Inventor
健 歌川
洋介 日下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP13686091A priority Critical patent/JPH06103182B2/ja
Publication of JPH04230715A publication Critical patent/JPH04230715A/ja
Publication of JPH06103182B2 publication Critical patent/JPH06103182B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Automatic Focus Adjustment (AREA)

Description

【発明の詳細な説明】 【0001】 【産業上の利用分野】本発明は、一対の光電素子アレイ
上にそれぞれ結像されたほぼ同一物体の光像の相対的変
位を検出する焦点検出装置に係わり、特に、カメラ等の
焦点検出装置や測距装置に使用される。 【0002】 【従来の技術】図1(a)は一般のカメラ等の焦点検出
装置の光学系を示すもので被写体100は撮影レンズ1
01によりフィールドレンズ102の近傍に結像され
る。この被写体100の一次像は第1、第2の再結像レ
ンズ103、104によりそれぞれ第1、第2の光電素
子アレイ105、106上に2次像として結像される。
このアレイ105、106上の2次像の相対的位置関係
がアレイのイメージ出力から検出される。 【0003】このような焦点検出を高精度に行う為に
は、光電素子アレイ105上に分布する光像の各点と光
電素子アレイ106上に分布する光像の対応する各点と
が、合焦時には互に相対的に完全に一致し、非合焦時に
は各対応する点とも非合焦量に応ずる同量だけずれてい
ることが必要である。もちろん、合焦時に対応する各点
が一定量ずれるように定めることもできる。 【0004】 【発明が解決しようとする課題】ところが、フィールド
レンズ102や再結像レンズ103、104等から成る
焦点検出光学系の収差や調整不足等の原因により、上記
条件が満たされず、例えば合焦時に図1(b)に示すよ
うに被写体100の中心点100aの像点107a、1
08aは、各アレイ105、106の同一位置(例えば
中心)に結像するが、周辺の点100bの像点107
b、108bは相対的にずれて結像される。 【0005】この為、点像107aと108aとに基づ
く焦点検出結果と点像107bと108bとに基づく焦
点検出結果とでは差異が生じ正しい焦点検出が不可能と
なる。このような各アレイとその上の光像との相対位置
の、アレイの場所に応じた差異(以下これを位置ずれと
称する。)を除去するには、収差の極めて少ない焦点検
出光学系を採用しかつ光学的調整を極めて入念に行なわ
なければならず、これは焦点検出光学系のコストの上昇
及び量産性の著しい低下を招来する。 【0006】以上のような問題は図1の瞳分割式焦点検
出装置に限らず、同一物体に関する一対の光像を光電検
出しその相対位置から測距又は焦点検出する装置におい
て、光電的像変位検出を行う際に共通するものである。
本発明の目的は光学的調整が容易でかつ量産性が高い高
精度な焦点検出装置(測距装置)を提供することであ
る。 【0007】上記目的を達成する為に、本発明では焦点
検出光学系の収差や調整不足の影響を補正するために、
光電素子アレイの場所に応じた補正データを記憶すると
共に、光電素子アレイ上の光像のどの部分が焦点検出結
果である相対的ずれ量にどの程度寄与したかを求め、前
記補正データと前記寄与度データとに基づいて焦点検出
結果である相対的ずれ量を補正している。 【0008】 【実施例】以下、本発明の一実施例を図面を参照して説
明する。図2において、光電変換部201にはそれぞれ
CCD等のイメージセンサーから成る一対の光電素子ア
レイ105、106が並置されている。この各光電素子
アレイには図1と同様の焦点検出光学系により同一被写
体の像が結像される。アレイ105からのイメージ出力
a1…aNは順次時系列的にA/Dコンバータ202に
よりA/D変換され、マイクロコンピュータ203内の
データメモリ手段204に記憶され、全く同様にアレイ
106からのイメージ出力b1…bNもA/Dコンバー
タ202を介してデータメモリ手段204に記憶され
る。 【0009】像ずれ演算手段205は前記一対のイメー
ジ出力a1…aN、b1…bNに基づき両イメージ出力
の相対的ずれ量、即ち、一対のアレイ上の光像の相対的
ずれ量を演算する。もちろん、像ずれ演算に用いるデー
タは必ずしもアレイの直接のイメージ出力である必要は
なく,これらの出力を適当にフィルタリング処理したり
サンプリングしたイメージ出力であってもよい。 【0010】補正データ記憶手段207は、上記像ずれ
演算手段205の出力を補正する補正データを記憶して
いる。この補正データは以下のように定められている。
即ち、焦点検出装置の製造の際に焦点検出光学系の一応
の調整が済んだ後に、合焦状態時におけるアレイ10
5、106上の光像の対応する各像点毎の相対的位置ず
れ量を測定しこのアレイ上の各像点毎の相対的位置ずれ
量を上記補正量として記憶手段207に記憶する。 【0011】具体的な一例を述べると、図1(b)に示
すようにアレイ105、106の光電素子の配列方向の
位置をxとし、各アレイ105、106の中心xoとし
た時、アレイ105、106上の光像の対応する像点が
アレイの中心xoにおいて合焦時に合致するように調整
することは比較的容易である。そこでこの様に調整する
と各点の相対的位置ずれ量は、例えば図3に示すように
合焦点には実線に示す特性S(x)を、非合焦時には特
性Z(x)をそれぞれ持つ。 【0012】ここで合焦時の特性S(x)は上記調整に
よりアレイ中心xoで相対的位置ずれ量が零でありここ
からアレイ周辺に向かって一次関数的に大きくなること
を示し、非合焦点の特性Z(x)はその非合焦の程度に
応じた量ZTだけ、特性S(x)から平行移動されたも
のとなっている。この合焦点の位置ずれS(x)が補正
データ記憶手段207に記憶される。 【0013】この記憶の仕方としてアレイの場所x毎の
S(x)の値をすべて記憶することは記憶データの数が
多くなり好ましくない。このため、図3のように位置ず
れ量S(x)がほぼ原点xoを通る直線で近似できる時
には、この直線の傾きのみによりこの位置ずれ量S
(x)を特定出来るので、記憶手段207にはこの傾き
を表すデータを記憶すればよい。この場合、補正データ
記憶手段207は極めて簡単化でき、図4(a)に示す
ようにポテンショメータ401の値を前記特性直線S
(x)の傾きを表すように調整し、このポテンショメー
タ401の出力をA/Dコンバータ402を介してマイ
コン203に入力する構成とすることができる。 【0014】また補正データ記憶手段207として図4
(a)の如き上記傾きを記憶したROMを用いてもよ
い。このROMは、出力端子P1〜P8の各々も電源ラ
インVccとアースラインEtとに夫々接続していたも
のと、記憶すべきデータに応じて各出力端子P1〜P8
が電源ラインとアースラインとの一方のみに接続するよ
うに処理したものである。また、補正データ記憶手段2
07としてマイコン203内のROMを用いることもで
きる。 【0015】補正データS(x)が直線でなく図5に示
すように曲線となる場合にはこの曲線をn次式で近似し
て、これを(n+1)個の数値で特定するようにすれば
よい。あるいは、数個の所定の位置xiに関する補正デ
ータを記憶しておき、その中間の位置の補正データが必
要であれば、例えばラグランジエ補間を使用してもよ
い。 【0016】再び図2に戻って、補正演算手段206は
像ずれ演算手段205の出力Z(x)を補正データ記憶
手段207の補正データS(x)で補正し、具体的には
Z(x)−S(x)の演算を行って、補正された像ずれ
量ZTを算出する。この補正済像ずれ量ZTは、補正演
算手段206でデフォーカス量(被写体像と撮影レンズ
の所定結像面との間のずれ量)に換算され、表示駆動手
段208に送られる。この手段208はデフォーカス量
に基づき焦点調節状態を表示し、また撮影レンズを合焦
位置に駆動する。 【0017】この作用を以下に述べる。一対のアレイ1
05、106からのイメージ出力a1…aN、b1…b
NはA/D変換後にデータメモリ手段204に記憶され
る。データメモリ手段204に記憶されたイメージ出力
a1…aNを図6(a)に例示する。像ずれ演算手段2
05は、このイメージ出力を図6(b)又は(c)に示
すように例えば5個の領域X−2、X−1、X0、X
1、X2に分割し、全く同様にイメージ出力b1…bN
をも5個の領域X−2、X−1、X0、X1、X2に分
割し、各部分領域X1のイメージ出力から部分領域Xi
の中心xiに関する部分像ずれ量Z(xi)を個々に演
算する。 【0018】補正演算手段206は補正データ記憶手段
207の内容から場所xiの部分補正量S(xi)を算
出する。この部分補正量S(xi)は図3に示すように
関数S(x)にx=xiを代入したものである。この
後、補正演算手段206は部分像ずれ量Z(xi)から
部分補正量S(xi)を減じて、補正済部分像ずれ量Z
T(xi)を得る。即ち、ZT(xi)=Z(xi)−
S(xi)を得る。 【0019】こうして、補正演算手段206は各部分領
域Xiに関する補正済部分像ずれ量ZT(xi)を求
め、例えば、これらの値の単純平均ΣZT(xi)/5
を最終像ずれ量として算出して、これをデフォーカス量
に換算し表示駆動手段208に送出する。尚、各部分領
域Xiに関する部分像ずれ量ZT(xi)から最終像ず
れ量ZTを求める方法はその目的に応じて種々考えられ
るが、以下にいくつかの例を示す。 (A1) 上述の如く補正済部分像ずれ量ZT(xi)
の平均値を最終像ずれ量ZTとする。 (A2) 補正済部分像ずれ量ZT(xi)の最大と最
小のものを除いた残りの補正済部分像ずれ量の平均値を
最終像ずれ量ZTとする。 (A3) 補正済部分像ずれ量ZT(xi)を大きい順
にならべた時の中央のものを最終像ずれ量ZTとする。 (A4) 後述する情報量E(x)が最大の部分領域に
関する補正済部分像ずれ量ZTを最終像ずれ量ZTとす
る。 (A5) 上記情報量が相対的に大きい複数の部分領域
に関する補正済部分像ずれ量ZT(xi)の平均値を又
は情報量に応じて加重加算した平均値を最終像ずれ量Z
Tとする。 【0020】尚、各部分領域Xiのデータから部分像ず
れ演算を行うアルゴリズムとしては、例えばイメージ出
力をフーリエ変換し位相を比較する手段(特開昭54−
104859号公報)や相関演算を行い最大相関を与え
るシフト量を求める手段(特開昭57−45510号公
報)を用いることが可能である。部分領域Xiに含まれ
る光電変換素子数の少ない時は上記フーリエ変換法を用
いる方が精度がよい。 【0021】アレイ上に奥行きのある被写体が結像され
ている場合、アレイの全領域のイメージ出力を用いて像
ずれ量を算出すると、奥行き被写体のどの部分に自動合
焦されるかは全く不明となる。このような奥行き被写体
に関する問題は、上述のように部分領域Xi毎の部分像
ずれ量Z(xi)を演算することにより以下の如く解決
できる。 (B1) 複数の部分像ずれ量Z(xi)のうちから最
も像ずれ量の小さいものを選択し、これに基づき最終像
ずれ量ZTを求めれば、奥行き被写体の最も近い部分に
ついてのデフォーカス量を得ることができ、逆に部分像
ずれ量の最も大きいものの選択により遠方部分について
のデフォーカス量を、更に中間のものの選択により中間
距離の部分についてのデフォーカス量を得ることができ
る。 (B2) 複数の部分像ずれ量Z(xi)のうちでほぼ
等しい値をとるものがあれば、その値を選択しこれに基
づき最終像ずれ量ZTを求めれば、比較的広い領域を占
める被写体についてのデフォーカス量を得ることができ
る。 (B3) 後述する情報量の最も大きい部分領域Xiで
の部分像ずれ量を選択しこれに基づき最終像ずれ量ZT
を求めれば、焦点検出の為の情報が最も多い被写体、一
般的にはコントラストの最も良い被写体についてのデフ
ォーカス量を得ることができる。 【0022】次に上述のように部分像ずれ量を算出する
場合の具体例をフローチャートを用いて説明する。図7
においてステップで各部分領域Xiにおける部分像ず
れ量Z(xi)と情報量E(xi)とを像ずれ演算手段
205によって算出する。ここで情報量E(xi)とは
対応する部分像ずれ量Z(xi)の信頼度を表すもの
で、この情報量の値が大きい程、対応する部分像ずれ量
の精度が高くなる。具体的には、情報量としては像ずれ
演算がフーリエ変換後の位相比較により行われるのであ
るならば、フーリエ変換後の振幅に関連した値(特開昭
55−98710号公報のr1、r1' 、r2、r2'
が該当する。)を用いることができ、また像ずれ演算が
相関法である場合には後述の自己相関値Wmを用いるこ
とができる。 【0023】ステップにおいて、上記各部分領域Xi
の情報量E(xi)を所定閾値Ethと比較し、この閾
値よりも大きい値の情報量E(xj)の部分領域Xiを
選択する。ステップにおいて、補正データ記憶手段2
07の内容S(x)から上記選択された部分領域xjに
おける部分補正量S(xj)を算出すると共に、選択部
分領域Xjでの部分像ずれ量Z(xj)を部分像ずれ量
Z(xi)から選択する。 【0024】ステップにおいて選択領域Xjに関する
補正された部分像ずれ量ZT(xj)をZT(xj)=
Z(xj)−S(xj)から求める。ステップにおい
て、ステップで求めた補正済部分像ずれ量ZT(x
j)のバラツキが所定値ΔZより小さいか否か、具体的
には、補正済部分像ずれ量ZT(xj)のうちの最大値
と最小値との差が所定値より小さいか否かを判別し、小
である時、被写体に奥行きがないとしてステップへ移
り、小でない時、奥行きある被写体と判定しステップ
へ移る。 【0025】ステップでは、例えば前記(A1)〜
(A5)のいずれかの処理により最終ずれ量ZTを求め
る。ステップでは、例えば上述の(B1)〜(B3)
のいずれかの処理で最終像ずれ量ZTを求める。以上の
実施例では、一対のイメージ出力から複数の部分像ずれ
量を算出する例であったが、次に単一の像ずれ量を算出
する第2実施例を説明する。 【0026】図8(a)は図2のデータメモリ手段20
4に記憶される一対のデータ列A1…AN、B1…BN
の一方を示す。このデータ列としては、前述の如く光電
素子アレイのイメージ出力そのものでも、またそれをフ
ィルタリングやサンプリング処理したイメージ出力であ
ってもよい。図2において、像ずれ演算手段205はデ
ータメモリ手段204に記憶された一対のデータ列A1
…AN、B1…BNを用い、一方のデータ列A1…AN
を他方のデータ列B1…BNに対して所定量ずつシフト
しながら、各シフト量L毎の相関量C(L)を求める。 【0027】即ち、 【0028】 【数1】 【0029】この関数C(L)が最小となるシフト量L
m を像ずれ量として求める。このように相関演算により
求めた像ずれ量Lm は上述のような光学系の調整不足等
に起因する誤差を含んでいるので、この像ずれ量Lm
補正データS(x)で補正しなければならない。しかし
ながら、この像ずれ量はデータ列A1…AN、B1…B
Nの全領域から算出しているので、補正量として補正デ
ータS(x)のどの領域を用いるかが問題となる。 【0030】この問題は、次のように解決される。デー
タ列A1…AN、B1…BNは、そのどの部分も上記相
関量C(L)に等しく寄与しているのでなく、図8
(a)に示した如くデータ列の変化の激しい部分Yが大
きく寄与し変化のゆるやかな部分は寄与が小さい。即ち
各部分のコントラストの大小に依存している。従ってデ
ータ列A1…AN、B1…BNの場所x毎の上記寄与の
程度(以下寄与度と称する。)を求め、この場所に応じ
た寄与度補正データS(x)とから補正量を求めればよ
い。この寄与度Wm は、例えばデータ列の隣接するデー
タの差分から求め得る。 【0031】 即ち、Wm =|Am −Am+1 |又は|Bm −Bm+1 |。 この値Wm を図8(b)に示す。もちろんWm として|
m −Am+1 |+|Bm −Bm+1 |を用いることもでき
る。補正量STは、 【0032】 【数2】 【0033】ここでSm は、x=mとしたときのs
(x)である。従って、補正済像ずれ量ZTは次式より
求まる。ZT=Lm −ST尚、第1光電素子アレイとそ
れ上の光像との相対位置と、第2光電素子アレイとそれ
上の光像との相対位置との間の場所に応じた位置ずれ量
が著しく大きい場合には、補正データS(x)により像
ずれ量を高精度で補正することは困難となることがあ
る。そこで、第1及び第2光電素子アレイの光電素子の
ピッチを場所に応じて変化させることにより上記位置ず
れ量を予め或る程度補正し、それでも残存した位置ずれ
量を補正データとして記憶するようにすることが望まし
い。 【0034】 【発明の効果】以上本発明によれば、ほぼ合焦状態にお
ける、第1の光電素子アレイ上の光像と第2の光電素子
アレイ上の光像との互いに対応する各像点毎の相対的位
置ずれ量に関連する補正データを記憶すると共に、焦点
検出結果である相対的ずれ量に対して前記光像のどの部
分がどの程度の寄与をしたかを評価し、前記光像の部分
に応じた寄与度を算出し、この補正データと寄与度デー
タとにより相対的ずれ量を補正しているので、精度の良
い、焦点検出(測距)が可能となる。
【図面の簡単な説明】 【図1】(a)は一般的な焦点検出光学系と光電素子ア
レイとの関係を示す光学図。(b)は光電素子上の光像
位置を示す正面図。 【図2】本発明の一実施例を示すブロック図。 【図3】相対的位置ずれ量の一例を示すグラフ。 【図4】 (a)及び(b)は補正データ記憶手段の具
体的構成例を示す回路図。 【図5】 相対的位置ずれ量の別の例を示すグラフ。 【図6】(a)はイメージ出力の一例を示すグラフ。
(b)及び(c)はイメージ出力を複数の領域に分割す
る様子を示す図。 【図7】第1実施例の具体的な作用を示すフローチャー
ト。 【図8】(a)はイメージ出力の別の例を示すグラフ。
(b)はイメージ出力の変化の激しさを示すグラフであ
る。 【主要部分の符号の説明】 105、106…光電素子アレイ 205…像ずれ演算手段 206…補正演算手段 207…補正データ記憶手段

Claims (1)

  1. 【特許請求の範囲】 (1) 第1、第2の光電素子アレイと、前記第1、第2
    の光電素子アレイ上に被写体に関して視差を有する一対
    の光像を形成する焦点検出光学系と、前記第1、第2光
    電素子アレイの光電出力に基づき前記各光電素子アレイ
    の一対の光像の相対的ずれ量を検出する像ずれ演算手段
    とを有し、前記像ずれ演算手段の出力に基づいて焦点調
    節を行う焦点検出装置において、前記像ずれ演算手段の
    前記相対的ずれ量の検出において前記光像のどの部分が
    どの程度の寄与をしたかを評価し、前記光像の部分に応
    じた寄与度を算出する寄与度算出手段と、前記焦点検出
    光学系の収差等の影響を除去するように前記第1もしく
    は第2の光電素子アレイ上の位置に対応して決められる
    補正データを記憶する記憶手段と、前記記憶手段の前記
    補正データと、前記寄与度算出手段の前記寄与度データ
    とに基づいて、前記検出された前記相対的ずれ量を補正
    する補正演算手段とを具備し、前記補正演算手段による
    補正結果に基づいて前記焦点調節を行うことを特徴とす
    る焦点検出装置。 (2) 前記寄与度算出手段の前記寄与度は、前記光像の
    部分ごとのコントラストに関連するデータであることを
    特徴とする特許請求の範囲第(1)項記載の焦点検出装
    置。 (3) 前記コントラストは、前記光像の部分における隣
    接する前記光電出力の差分に対応することを特徴とする
    特許請求の範囲第(2)項記載の焦点検出装置。
JP13686091A 1991-06-07 1991-06-07 焦点検出装置 Expired - Fee Related JPH06103182B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP13686091A JPH06103182B2 (ja) 1991-06-07 1991-06-07 焦点検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP13686091A JPH06103182B2 (ja) 1991-06-07 1991-06-07 焦点検出装置

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP11946284A Division JPH0684890B2 (ja) 1984-06-11 1984-06-11 焦点検出装置

Publications (2)

Publication Number Publication Date
JPH04230715A JPH04230715A (ja) 1992-08-19
JPH06103182B2 true JPH06103182B2 (ja) 1994-12-14

Family

ID=15185211

Family Applications (1)

Application Number Title Priority Date Filing Date
JP13686091A Expired - Fee Related JPH06103182B2 (ja) 1991-06-07 1991-06-07 焦点検出装置

Country Status (1)

Country Link
JP (1) JPH06103182B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10311945A (ja) * 1997-05-12 1998-11-24 Canon Inc 焦点検出装置
JP4817552B2 (ja) * 2001-08-10 2011-11-16 セイコープレシジョン株式会社 位相差検出方法、位相差検出装置、測距装置および撮像装置
JP5966426B2 (ja) * 2012-02-22 2016-08-10 株式会社ニコン 焦点検出装置
JP5963514B2 (ja) * 2012-04-19 2016-08-03 キヤノン株式会社 測距装置、測距方法及び撮像システム

Also Published As

Publication number Publication date
JPH04230715A (ja) 1992-08-19

Similar Documents

Publication Publication Date Title
JP6021780B2 (ja) 画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法
JP6053347B2 (ja) 撮像装置およびその制御方法ならびにプログラム
JP2012141435A (ja) 焦点検出装置及び焦点検出方法
JP6014452B2 (ja) 焦点検出装置及びそれを有するレンズ装置及び撮像装置
JPH01237610A (ja) オートフォーカス装置
JPH0684890B2 (ja) 焦点検出装置
JPH0666007B2 (ja) カメラのピント検出装置
JP2003247823A (ja) 位相差検出方法、位相差検出装置、測距装置および撮像装置
JPH0328691B2 (ja)
JP6485116B2 (ja) 合焦位置検出装置、合焦位置検出方法及び合焦位置検出用コンピュータプログラム
JP6173549B2 (ja) 画像データ処理装置、距離算出装置、撮像装置および画像データ処理方法
JP2753544B2 (ja) 焦点検出装置
JPH06103182B2 (ja) 焦点検出装置
JP2545758B2 (ja) 焦点検出装置
JPH0762732B2 (ja) 焦点検出装置
JPH06100466B2 (ja) 焦点検出装置
JP4817552B2 (ja) 位相差検出方法、位相差検出装置、測距装置および撮像装置
JPH06100465B2 (ja) 焦点検出装置
JP3230759B2 (ja) 測距装置
JPH0693059B2 (ja) 焦点検出装置
JP2017223879A (ja) 焦点検出装置、フォーカス制御装置、撮像装置、焦点検出方法および焦点検出プログラム
JPH03196106A (ja) カメラの焦点検出装置
JP2558377B2 (ja) ピント検出装置
JPH0561610B2 (ja)
JPH0823624B2 (ja) ピント検出装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees