JPH0373668A - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法

Info

Publication number
JPH0373668A
JPH0373668A JP1209656A JP20965689A JPH0373668A JP H0373668 A JPH0373668 A JP H0373668A JP 1209656 A JP1209656 A JP 1209656A JP 20965689 A JP20965689 A JP 20965689A JP H0373668 A JPH0373668 A JP H0373668A
Authority
JP
Japan
Prior art keywords
image
brightness
processing
signal
correction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP1209656A
Other languages
English (en)
Other versions
JP2964492B2 (ja
Inventor
Hideaki Omuro
秀明 大室
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP1209656A priority Critical patent/JP2964492B2/ja
Publication of JPH0373668A publication Critical patent/JPH0373668A/ja
Application granted granted Critical
Publication of JP2964492B2 publication Critical patent/JP2964492B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 [産業上の利用分野] 本発明は、入力された画像信号に所望の処理を施して出
力することができる画像処理装置において、特に、自動
輝度調整手段を備えた画像処理装置に関するものである
[発明の概要] 本発明の画像処理装置は、輝度信号及び色差信号からな
る1画面分の静止画像信号(デジタルデータ)に対して
各種処理を施して印刷用画像信号として出力しようとす
る際に、特に、例えばオートモードのときは輝度信号デ
ータに自動的に補正を加え、印刷時に印刷画像として適
した輝度(コントラスト)が得られるようにする。そし
て、これを実現するために、所定区分毎の輝度データの
発生頻度を算出する輝度データ検索手段と、算出された
各区間毎の発生頻度に基ずいて補正用テーブルを作成す
る補正用テーブル作成手段と、補正用テーブルに基ずい
て各輝度データを変換する輝度補正処理手段を備えるよ
うにしたものである。
[従来の技術] テレビカメラ、ビデオディスク、スチルカメラ等の映像
ソースからlフレーム分の映像信号(静止画像)を画像
処理装置に入力し、画像処理装置において入力画像信号
に対して各種処理を施して所望の印刷用画像信号を生成
し、プリンタ等の印刷手段に供給されて印刷がなされる
ようにした印刷用静止画像処理システムが開発されてい
る。
第11図は画像処理システムの一例を示すブロック図で
あり、1はテレビカメラ等から得られる映像信号から1
画面分の映像信号(静止画)を出力することができる画
像信号出力部であり、例えばY/C信号で出力された静
止画像信号は画像処理装置2に入力され、処理制御コン
ソール2Aからの操作に基づいて画像信号処理が行なわ
れる。
画像処理内容としては、入力された原静止画像信号に対
して、ノイズ低減処理、輝度調整、彩度調整、各種画像
変換処理(拡大・縮小、回転、画サイズ変更等)など、
各挿荷なわれている。なお、処理制御コンソール2Aは
キーボード、マウス等の入力手段と、処理操作画面、画
像モニタ画面等のデイスプレィ手段から構成されている
3はプリンタであり、このプリンタ3には、画像処理装
置2において、画像処理終了後に例えばC/M/Y/K
 (シアン、マゼンタ、イエロー、ブラック)の各印刷
用色信号に変換されて出力された信号が供給され、1枚
のカラー画像印刷が実行される。
[発明が解決しようとする問題点] ところで、成る画像信号をCRT等のモニタ表示画面を
見ながら処理を行ない、プリンタ3に供給して印刷出力
を行なった場合、その印刷画像は必ずしもモニタ表示で
確認した輝度状態と同一になるとは限らず、特に、画像
のコントラストは場合によってはかなりの差が生じる。
つまり、印刷画像上では紙の白さ以上に輝度を上げるこ
とは不可能であり、また、モニタ上では管面の黒さ以上
に輝度を下げることは不可能であって、モニタ出力とプ
リンタ出力として表現可能な輝度レベル範囲(出力ダイ
ナミックレンジ)にずれがあるためである。
このため、印刷出力がよりモニタ出力に近い輝度レベル
における画像とされるようにするには、印刷用の信号に
変換する際に、輝度信号の階調補正を行なわれなければ
ならず、上記したように、画像処理の一つとして輝度調
整が行なわれている。
しかしながら、このように輝度信号の補正をコンソール
2Aからの手動操作で行なうには、高度な専門知識を持
つとともに煩雑な操作を行なわなければならず、取り扱
い難いという欠点があり、また、専門のオへレーク以外
では十分な輝度補正を行なうことができないという問題
点があった。
った。
[問題点を解決するための手段] 本発明はこのような問題点にかんがみて、例えば自動処
理指令を入力することによって、適正な輝度補正を自動
的に行なうことができるようになされた画像処理装置を
提供するものである。
そして、自動的に輝度調整を達成する手段として、処理
する画像信号の輝度データを調べることによって、該画
像信号が有する最も暗い輝度レベルと最も明るい輝度レ
ベルの間を所定数に分割し、分割した各区間に含まれる
輝度データの発生頻度を算出する輝度データ検索手段と
、算出された各区間毎の発生頻度に基ずいて補正用テー
ブルを作成する補正用テーブル作成手段と、作成された
補正用テーブルに基ずいて輝度信号を変換する輝度補正
処理手段とを備えるようにするものである。
[作用] 処理を行なう成る画像信号が有する最も高い輝度レベル
と最も低い輝度レベルの間を所定数に分割して、各区間
の発生頻度を調べ、これをもとに補正用のテーブル(補
正曲線データ)を作成して輝度補正を行なうことにより
、各処理画面に応じて、ブリンク出力のダイナミックレ
ンジを最大限有効に活用できるように輝度信号を変換で
きる。
[実施例] 第1図は本発明の画像処理装置を備えた画像処理システ
ムの一例を示したシステムブロック図であり、特に、電
送されてきた画像信号を、例えば新聞の紙面の掲載写真
として処理することができるように構成された例である
。まず、この画像処理システムについて説明する。
10はテレビカメラ等の撮影装置、11は撮影装置10
によって撮影された映像を再生する映像再生装置(TV
モニタ)、12は撮影された映像の中から所望の1画面
(1フレ一ム分のカラー映像信号)を電話回線、或は通
信衛星等を介して送信することができる静止画電送機で
ある。
20は静止画電送機12から送信された画像を受信する
静止画受信機であり、21は受信された画像を表示する
受信モニタである。この静止画受信機20によって受信
された静止画像信号、すなわち1フレ一ム分の輝度信号
(Y信号)及び色差信号(C(R−Y、B−Y)信号)
は、順次、画像処理装置30に入力される。なお、22
はビデオディスク装置、VTR,TV等の各種映像出力
機器を示し、これらの映像出力機器も静止画像信号ソー
スとして利用することもできる。
画像処理装置30では、後述するように、供給された画
像信号に対して、画像信号の記憶動作、画像処理動作、
印刷用画像信号としての出力処理動作が行なわれるよう
に構成されている。
また、40は制御用デイスプレィ4f、キーボード42
、マウス43、処理画像モニタ44等からなるコンソー
ルを示し、オペレータの操作によって画像処理装置30
の各種動作が実行される。
50は画像処理装置30において各種処理が施され、例
えばC,M、Y、K (シアン、マゼンタ、イエロー、
ブラック)の各印刷用色信号に変換された印刷画像デー
タが供給され、印刷が行なわれる印刷装置部を示す。
以上のようにシステムが構成されることにより、例えば
成るニュースを取材したときに撮影した画像を、そのま
ま静止画電送機12によって電送して印刷用のための画
像処理を行ない、直接印刷装置に画像信号を供給するこ
とができ、例えば新聞社における紙面編集システムとオ
ンラインで有効的に利用することができる。
この第1図に示したような画像処理システムにおいて、
本発明の一実施例としての画像処理装置30は、例えば
第2図に示すように構成され、システム上でホストコン
ピュータとして機能している。すなわち、各種制御プロ
グラムを記憶保持しているプログラムROM31、静止
画受信機20等の画像ソースから入力された画像データ
を逐次記憶していく入力画像メモリ(ハードディスク)
32、CPU (処理制御部)33、印刷のために各種
画像処理を行ない、C,M、Y、K (シアン、マゼン
タ、イエロー、ブラック)の各色信号に変換された出力
用画像信号を記憶する出力画像メモリ34、コンソール
40とのやりとりや画像データの入出力を行なう入出力
インターフェース部35等から構成されるものである。
なお、CPO33は、動作プログラムに基ずいて各構成
部分の動作制御を行なうシステム制御部33A、各種演
算処理を行なう演算処理部33B、及びワークメモリC
主記憶装置)33cから構成されている。
画像処理装置30に入力された静止画像信号は、順次入
力画像メモリ(ハードディスク)32に記憶されていく
、そして必要に応じてハードディスク32から画像デー
タが読み出され、主にCPU33内の動作によって、例
えば第3図のフローチャートに示すような画像処理を行
なうことになる。
画像処理を行なう場合は、まず処理を行なう画像データ
を入力画像メモリ32からCPU33内にロードしくF
loo)、またコンソール4oの制御用デイスプレィ4
1には各種処理内容を示した処理制御用画面を、例えば
メニュー形式で表示する(FIOI)。
オペレータが、実行すべき処理内容を選択してキーボー
ド42或はマウス43から入力することによって、処理
内容が決定され(Fl(121、処理が実行される。す
なわちF103a 、 F103b 、 F103cm
・に示すように画像変換処理、ノイズ低減処理、輝度調
整処理等から選択された処理が実行されることになる。
F103aの画像変換処理としては、入力された原画像
の拡大縮小、中心位置変更、回転、画サイズ変更等が実
行される。なお、このフローチャートではF103a 
、 F103b・・・・は並列させたが、所定の順序で
シーケンシャルに実行していくようにしてもよい。
F103において成る処理を施された画像信号は、オペ
レータが処理確認を行なうことができるようにモニタ4
4に供給されて表示される(F104J。そして、さら
に他の処理を行なう場合は、オペレータの操作によって
再び処理選択がなされる(FLO5→F1021 必要な画像処理をすべて終えた段階で、Y/C信号で形
成される画像信号は印刷用のC/M/Y/にの信号に変
換され(F106)、出力データとして出力画像メモリ
34に記憶される(F107)。そして、必要に応じて
自動的に或はコンソール40からの操作によって印刷装
置部50に出力され、C,M、Y、にの4色の画像信号
によって1画像のカラー印刷が実行される。
本実施例の画像処理装置は特に、上記各種画像信号処理
のうち、輝度調整(F103clを、以下説明するよう
に、具体的な処理数値等を入力しなくても自動的に達成
されるようになされたものである。
第4図は本実施例における輝度調整方式を実現する手段
を示した機能ブロック図であり、この第4図に示した各
、ブロックは、CPU33内においてソフトウェア手段
によって構築される機能ブロックである。
61はハードディスク32から、画像処理を行なうため
に読み出された1画面分の画像信号(Y、R−Y、B−
Yのデジタル信号)を保持する画像信号メモリ手段、6
2は画像信号メモリ手段61に記憶されたY信号データ
を検索し、後述するように所定数に区分けした各輝度レ
ベル区間に含まれる輝度データの発生頻度を算出する輝
度データ検索手段、63は供給された発生頻度データを
利用して補正用テーブルを作成する補正用テーブル作成
手段、64は補正用テーブルに基すいて1画像信号メモ
リ手段に記憶されている輝度データ(デジタルデータ)
を変換する輝度補正処理手段である。
以上の各手段の動作は、制御手段65から供給される動
作制御指令、アドレス情報によって制御される(制御信
号系を点線で示す)。なお、制御手段65には、輝度調
整を行なう際にコンソール40から調整処理の実行指令
が供給されることになる。
CPU33において以上の機能ブロックを構成すること
により、ロードされた画像データに対して、例えば第5
図のフローチャートに示すような輝度自動調整動作を行
なうことができる。
画像データがロードされて画像信号メモリ手段61に保
持された段階で、前記第3図のフローチャートにおける
F103cに示した輝度調整が開始されると、最初に輝
度データ検索手段62によってF201− F2O3の
輝度分布検出動作が実行される。
まず、画像データを第6図に示すように縦横それぞれ数
十個に分割してブロックB、B・・・・を形成しくF2
01)、各ブロックB内で各画素G、G・・・・の輝度
データの平均値を求め、これを該ブロックの輝度データ
とする(F2021゜そして、求められた各ブロックB
、B・・・・のデータから、縦軸に発生頻度をとって第
7図に示したようなヒストグラムを作成する(F203
)。さらに、各ブロックの輝度データから作成されたヒ
ストグラムにおいて、最も暗い輝度レベルY3と、最ち
明るい輝度レベルYHとの間を複数個に分割しく本実施
例では5分割)、第8図に示すように、各区間内での平
均値を区間ごとの発生頻度データ(a −e )として
算出する(F205)。
以上のように、輝度データ検出手段62によって各輝度
レベル区分毎の発生頻度が算出されたら、補正用テーブ
ル作成手段63によってF206〜F2O3の動作が実
行される。
まず求められた発生頻度データ(a −e )の和S 
(=a+b+c+d+e)を求め(F2061 、第9
図に示すように、各区分の発生頻度の比(a/Sb /
 S 、 c / S 、 d / s 、 e / 
S )によって補正用テーブル作成のための代表点P、
〜P6を設定する(F207)。なお、この第9図及び
次の第10図における縦軸の輝度レベル、すなわち、Y
 Ill l II〜Y @ a xは印刷装置部50
の輝度出力ダイナミックレンジに相当するものとしてい
る。そして、上記代表点設定時において、画像信号メモ
リ手段61に保持されている処理画像から検出された、
最も暗い輝度レベル¥3と最も明るい輝度レベルYHの
対応する代表点P1.P、は、出力ダイナミックレンジ
におけるY、、n、Y□工に対応するようになされる。
代表点P、〜P、が決定されたら、各代表点の間を補間
、内挿して第10図に実線で示すような補正曲線による
補正テーブルを作成する(F208)。
このように補正用テーブルの作成が完了したら、輝度補
正処理手段64によって、処理画像上の全輝度データが
該補正用テーブルに基ずいて変換されることになる(F
2091.すなわち、処理画像におけるY s ”” 
Y Hまでの各輝度データが変換曲線に従って、Yl、
、〜Y□8までの各輝度データに変換されるものである
前述したように、Y□。〜Y、□は印刷装置部50にお
ける出力ダイナミックレンジに相当するため(y、、、
=印刷する紙の白さ、Y□8=印刷濃度の限界値)、上
記のように輝度信号が変換された画像信号は、印刷出力
においても画像コントラストが十分に再現されることに
なる。
なお、補正用テーブルは、処理を行なうために画像信号
メモリ手段61内に読み込まれた画像毎に行なわれ、そ
の画像の輝度レベル分布に基ずいて上記に手順で作成さ
れるため、例えば、全体的に明るい画像では第10図で
点線で示されるように、また、比較的暗い画像では一点
鎖綿で示されるような変換曲線が設定されることになる
6以上の輝度調整動作が終了した後は、第3図のフロー
チャートにおけるF104に進み、さらに、所望の処理
が終了した後、前述したように印刷用の画像信号に変換
され、印刷装置部50において印刷画像として出力され
ることになる。
本実施例の画像処理装置では上記各手段を設けることに
より、自動的に最適な輝度調整を行なうことができ、オ
ペレータが輝度補正値等を入力する必要はない。また、
入力された処理画像の輝度レベル分布に基すいて補正さ
れるため、如何なる画像でも、印刷出力は十分にコント
ラストのとれた画像とすることができる。
なお、補正用テーブルの設定動作は、上記第5図のフロ
ーチャートの演算方式に限定されるものではないことは
いうまでもなく、輝度レベル分布に基ずいて作成する方
式であれば他の演算方式によってもよい。
また、作成された補正用テーブルに対しては、コンソー
ル40からの手動入力操作によって、追加、修正を可能
とすることによって、より詳細な輝度補正にち対応でき
る。
[発明の効果] 以上説明してきたように本発明の画像処理装置は、自動
的に、画像信号の輝度レベル分布に応じて輝度信号の補
正用テーブルを作成し、処理を行なうため、輝度調整を
行なう際にオペレータが手動操作で処理数値等を入力し
ていく必要はなく、操作性は著しく向上し、また、あら
ゆる画像信号に対して最適なコントラスト状態で印刷出
力することができるようになるという効果がある。
【図面の簡単な説明】
第1図は本発明の画像処理装置を備えた画像処理システ
ムのシステムブロック図、第2図は画像処理装置の構成
ブロック図、第3図は画像処理装置の動作の一例を示す
フローチャート、第4図は本発明の一実施例を示す機能
ブロック図、第5図は本発明の一実施例の動作を示すフ
ローチャ−ト、第6図は画像信号のブロック分割の説明
図、第7図は輝度データのヒストグラムの説明図、第8
図は輝度レベルを5段階に区分したヒストグラムの説明
図、第9図は代表点設定動作の説明図、第10図は補正
用テーブル作成動作の説明図、第11図、は画像処理シ
ステムの説明図である。 30は画像処理装置部、32はハードディスク、33は
CPU、40はコンソール、61は画像信号メモリ手段
、62は輝度データ検索手段、63は補正用テーブル作
成手段、64は輝度補正処理手段を示す。 画像信号読み込み 実行指令 YS 第 図 ’fs 第 図 →輝度レベル 5 Y+ 第 図 −→II壌シ嶋 YS H 第 図

Claims (1)

  1. 【特許請求の範囲】 入力画像信号に対して各種処理を施し、印刷用の信号と
    して出力することができる画像処理装置において、 前記画像信号が有する最も暗い輝度と最も明るい輝度の
    間を輝度レベルで所定数に分割し、分割した各区間に含
    まれる輝度データの発生頻度を算出する輝度データ検索
    手段と; 算出された各区間毎の発生頻度に基ずいて補正用テーブ
    ルを作成する補正用テーブル作成手段と; 前記画像信号内の各輝度データを前記補正用テーブル作
    成手段によって作成された補正用テーブルに基ずいて変
    換する輝度補正処理手段と;を備えることによって、自
    動的に輝度調整を行なうことができるようにしたことを
    特徴とする画像処理装置。
JP1209656A 1989-08-15 1989-08-15 画像処理装置及び画像処理方法 Expired - Fee Related JP2964492B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP1209656A JP2964492B2 (ja) 1989-08-15 1989-08-15 画像処理装置及び画像処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP1209656A JP2964492B2 (ja) 1989-08-15 1989-08-15 画像処理装置及び画像処理方法

Publications (2)

Publication Number Publication Date
JPH0373668A true JPH0373668A (ja) 1991-03-28
JP2964492B2 JP2964492B2 (ja) 1999-10-18

Family

ID=16576421

Family Applications (1)

Application Number Title Priority Date Filing Date
JP1209656A Expired - Fee Related JP2964492B2 (ja) 1989-08-15 1989-08-15 画像処理装置及び画像処理方法

Country Status (1)

Country Link
JP (1) JP2964492B2 (ja)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5499769A (en) * 1992-07-16 1996-03-19 Unisia Jecs Corporation Fuel injection valve including air promoting atomization
JP2003046808A (ja) * 2001-07-31 2003-02-14 Matsushita Electric Ind Co Ltd 階調補正装置
US7155053B2 (en) 2003-05-13 2006-12-26 Olympus Corporation Color image processing method and apparatus
US7155060B2 (en) 1996-11-13 2006-12-26 Seiko Epson Corporation Image processing system, image processing method, and medium having an image processing control program recorded thereon
JP2007221446A (ja) * 2006-02-16 2007-08-30 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2007221447A (ja) * 2006-02-16 2007-08-30 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2010009609A (ja) * 1996-11-13 2010-01-14 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP2016535485A (ja) * 2013-10-17 2016-11-10 ノースロップ グラマン システムズ コーポレイションNorthrop Grumman Systems Corporation デュアルバンドセンサからの画像の可視カラー画像への変換
JP2020004268A (ja) * 2018-06-29 2020-01-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5499769A (en) * 1992-07-16 1996-03-19 Unisia Jecs Corporation Fuel injection valve including air promoting atomization
US7155060B2 (en) 1996-11-13 2006-12-26 Seiko Epson Corporation Image processing system, image processing method, and medium having an image processing control program recorded thereon
US7512263B2 (en) 1996-11-13 2009-03-31 Seiko Epson Corporation Image processing system, image processing method, and medium having an image processing control program recorded thereon
JP2010009609A (ja) * 1996-11-13 2010-01-14 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP2011010342A (ja) * 1996-11-13 2011-01-13 Seiko Epson Corp 画像処理装置、画像処理方法および画像処理プログラムを記録した媒体
JP2003046808A (ja) * 2001-07-31 2003-02-14 Matsushita Electric Ind Co Ltd 階調補正装置
US7155053B2 (en) 2003-05-13 2006-12-26 Olympus Corporation Color image processing method and apparatus
JP2007221446A (ja) * 2006-02-16 2007-08-30 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2007221447A (ja) * 2006-02-16 2007-08-30 Sony Corp 画像処理装置および画像処理方法、並びにプログラム
JP2016535485A (ja) * 2013-10-17 2016-11-10 ノースロップ グラマン システムズ コーポレイションNorthrop Grumman Systems Corporation デュアルバンドセンサからの画像の可視カラー画像への変換
JP2020004268A (ja) * 2018-06-29 2020-01-09 キヤノン株式会社 画像処理装置、画像処理方法、及びプログラム

Also Published As

Publication number Publication date
JP2964492B2 (ja) 1999-10-18

Similar Documents

Publication Publication Date Title
US6778186B2 (en) Method of and apparatus for carrying out gray conversion on color image
US6434266B1 (en) Image processing method and apparatus for converting colors in a color image
EP0357385B1 (en) Image processing method and apparatus
US8103119B2 (en) Image processing device, image processing method, image processing program product, and image-capturing device
US6775408B1 (en) Image processor
US5200832A (en) Color image recording device with color edit and conversion processing
JPH0832827A (ja) ディジタル画像の階調補正装置
JPH0373668A (ja) 画像処理装置及び画像処理方法
JPH07193724A (ja) 画像処理装置および色画像を表わすデータを作る方法
JP3057255B2 (ja) 画像処理装置及び画像処理方法
US5361141A (en) Image processor
JP2784805B2 (ja) 画像処理装置及び画像処理方法
JPH11514166A (ja) 電気的形式の映像の視覚的品質を最大限に改善する方法および装置
US5497248A (en) Method and apparatus for viewing screened images
JPH03139976A (ja) トーンカーブ設定方法
JP4083823B2 (ja) 画像処理装置
JP2756048B2 (ja) カラー画像の色調整及び画像合成方法並びに装置
JPH07131666A (ja) 画像形成装置
JP2714027B2 (ja) カラー画像処理装置およびカラー画像処理方法
JP3382277B2 (ja) 画像処理装置およびその方法
JPH07264426A (ja) カラー画像処理装置
JPH09214767A (ja) 画像処理装置
JPS62110366A (ja) レイアウトスキヤナ
JPH0728994A (ja) 濃度階調補正装置
JPH0865514A (ja) 画像処理装置

Legal Events

Date Code Title Description
LAPS Cancellation because of no payment of annual fees