JP4470587B2 - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP4470587B2
JP4470587B2 JP2004157387A JP2004157387A JP4470587B2 JP 4470587 B2 JP4470587 B2 JP 4470587B2 JP 2004157387 A JP2004157387 A JP 2004157387A JP 2004157387 A JP2004157387 A JP 2004157387A JP 4470587 B2 JP4470587 B2 JP 4470587B2
Authority
JP
Japan
Prior art keywords
signal
color
luminance
color saturation
value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004157387A
Other languages
English (en)
Other versions
JP2005341220A (ja
Inventor
純弘 土光
英行 中西
裕司 小田原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2004157387A priority Critical patent/JP4470587B2/ja
Publication of JP2005341220A publication Critical patent/JP2005341220A/ja
Application granted granted Critical
Publication of JP4470587B2 publication Critical patent/JP4470587B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、画像表示装置に関するものである。
従来のテレビジョン受像機等のディスプレイ装置において、画像の表現力を高めるために入力信号や、周囲の明るさに応じて、映像信号のコントラストやブライトを適応的に制御してシーン毎に最適な画像を創出する試みがなされている。特許文献1にはその具体例が示され、周囲の明るさレベルを検出する手段と、映像信号の輝度レベルを検出する手段を備えて、検出された明るさレベル及び映像信号の輝度レベルに応じて、表示画像のコントラストを制御するものである。
一方で、ディジタルビデオカメラやディジタルカメラの液晶ディスプレイのように屋外の視認性を上げるためカラーフィルタの色純度を薄めに設定されたディスプレイでは、一般的に色再現範囲がテレビに比べて乏しく、輝度に加えて色の表現力を高める手法が望まれている。
特開平6−303551号公報
信号処理で色表現力を高める場合、従来から色差信号のレベルを上げて色を調整するのが一般的であるが、色差信号のレベル調整による色調整ではディスプレイの駆動信号であるRGB信号に変換した際に、オーバーフローが発生し、正しく変換されない色が発生する。これにより色相が変化したり、薄い青空の色が白飛びするなどの課題が発生する。
またRGBでコントラストを上げることにより色のレベルも上がるが、コントラストの基準レベルにより一画面中で色レベルが所定よりも低い部分が発生したり、逆に高い部分が発生したりする場合がある。
図10にグレイレベルを基準にコントラスト伸長した場合の色の変化の様子を示す。図において、図10(A)は基準レベルよりも暗い画素データの場合を、図10(B)は基準レベル付近の画素データの場合を、図10(C)は基準レベルよりも明るい画素データの場合を示す。
図13(A)に示すように着目した画素データが基準レベルより暗いレベルにあるときは、輝度レベルは下がっているのに対し色レベルは上がる。次いで図10(B)のように着目した画素データが基準レベル付近にあるときは、視覚的な輝度レベルは変わらずに色レベルのみが上がる。従ってこの場合、色レベルの上昇のみが強調され視覚的に色が濃くなった印象を与える。次いで着目した画素データが図10(c)基準レベルより明るいレベルにあるときは色レベルに対して輝度レベルの上昇が大きく、視覚的に色が薄くなった印象を与える。
さらに図10(D)に示す画素データの場合は色が飽和し、色相も変化する。さらにコントラストを上げた場合は色が無くなって白つぶれが発生するいわゆる白飛びという問題が発生する。
このようにコントラスト制御においては基準レベルにより色の変化の仕方が画素ごとに異なり、また色のみが強調されて濃くなったりし、自然な色の表現を損なったり、色相も変化するなどの不具合が発生する課題を有していた。
本発明は上記のような課題を改善するためになされたもので、輝度コントラスト制御と色相変化や色飽和の発生しない色レベル制御の両立を実現する画像表示装置を実現するものである。
上記課題を解決するための第1の手段は、入力信号に応じて最適な画像調整を行う画像表示装置において、入力の輝度信号の調整を行う輝度調整手段と、上記輝度調整手段から出力される輝度信号と入力の色差信号を、色相信号、色彩度信号、明度信号の3つの信号に変換する色空間変換手段と、上記色空間変換手段から出力される色彩度信号を調整する色彩度調整手段と、上記色彩度調整手段から出力される色彩度信号と上記色空間変換手段から出力される色相信号、明度信号を、R、G、Bの映像信号に変換する色空間逆変換手段と、入力の輝度信号から画像の輝度に関する特徴値を検出する輝度情報検出手段と、上記色彩度信号から画像の色彩度に関する特徴値を検出する色彩度検出手段と、上記輝度情報検出手段および上記色彩度検出手段から得られる画像の特徴情報により輝度信号の制御値および色彩度信号の制御値を演算し、上記輝度調整手段および上記色彩度調整手段に出力する制御パラメータ演算手段とから構成するものである。
上記課題を解決するための第2の手段は、入力信号に応じて最適な画像調整を行う画像表示装置において、入力の輝度信号の調整を行う輝度調整手段と、上記輝度調整手段から出力される輝度信号と入力の色差信号を、色相信号、色彩度信号、明度信号の3つの信号に変換する色空間変換手段と、上記色空間変換手段から出力される色彩度信号を調整する色彩度調整手段と、上記色彩度調整手段から出力される色彩度信号と上記色空間変換手段から出力される色相信号、明度信号を、R、G、Bの映像信号に変換する色空間逆変換手段と、入力の輝度信号から画像の輝度に関する特徴値を検出する輝度情報検出手段と、上記色彩度信号から画像の色彩度に関する特徴値を検出する色彩度検出手段と、上記輝度情報検出手段および上記色彩度検出手段から得られる画像の特徴情報により輝度信号の制御値および色彩度信号の制御値を演算し、上記輝度調整手段および上記色彩度調整手段に出力する制御パラメータ演算手段と上記制御パラメータ値演算手段から出力される制御値により上記色空間逆変換手段から出力された信号の輝度値を補正する輝度補正手段とから構成するようにしたものである。
本発明の画像表示装置は、色相変化や色飽和がない色制御が可能なため、色の表現力を格段に高めることができるという効果を有する。さらには、色を上げた場合に視覚的な輝度が低下する場合があるが、本発明の色制御では輝度に与える影響が極めて小さいため、従来の輝度コントラスト制御に影響を与えることのない色制御が可能であり、極めて高い画像表現力が得られるという格別の効果を有するものである。
(実施の形態1)
以下に、本発明の一実施の形態について、図1を用いて説明する。
図1において、輝度信号と色差信号から構成される映像信号(以下、輝度信号と色差信号から構成される映像信号の色空間をYUV空間と記す)に対し、1はYUV空間における輝度信号の特徴を検出する輝度情報検出手段であり、輝度信号の1フレーム内における輝度平均値、輝度最大値、輝度最小値を検出する。
2は上記輝度信号のコントラストおよびブライトの調整を行う輝度調整手段、3は輝度調整手段2から出力される輝度信号と入力される色差信号から、明度信号V、色彩度信号S、色相信号H(以下、明度信号V、色彩度信号S、色相信号Hから構成される映像信号の色空間をHSV空間と記す)に変換する色空間変換手段である。具体的には、輝度信号と色差信号から一旦RGB信号に変換され、RGB信号を次の変換式で明度信号、色彩度信号、色相信号に変換する。
明度信号V=MAX(R,G,B)・・・・数式1
ここでMAX(R,G,B)とは、各画素データにおけるRGB信号のうち最大レベルの信号を示す。
色彩度信号S={MAX(R,G,B)−MIN(R,G,B)}/MAX(R,G,B)
・・・・数式2
ここでMIN(R,G,B)とは、各画素データにおけるRGB信号のうち最小レベルの信号を示す。
色相信号H={MID(R,G,B)−MIN(R,G,B)}/
{MAX(R,G,B)−MIN(R,G,B)} ・・・・・・・・数式3
ここでMID(R,G,B)とは、各画素データにおけるRGB信号のうち中間レベルの信号を示す。さらに色相情報は上記色相信号とともにRGBの大小関係で区別される色相補助信号Tを伴う。この色相補助信号Tは、R>G≧B(赤〜黄のデータ)のときは「0」、G≧R>B(黄色〜緑のデータ)のときは「1」、G>B≧R(緑〜シアンのデータ)のときは「2」、B≧G>R(シアン〜青のデータ)のときは「3」、B>R≧G(青〜マゼンタのデータ)のときは「4」、R≧B>G(マゼンタ〜赤のデータ)のときは「5」となるように構成される。
4は上記色彩度信号Sの特徴を検出する色彩度検出手段であり、1フレーム内における色彩度最大値を検出する。5は色彩度信号Sのレベル(色レベルと等価)を調整する色彩度調整手段、6は輝度情報検出手段1と色彩度検出手段4から得られた画像の特徴をもとに入力画像に最適な輝度コントラスト値、輝度ブライト値、色彩度値を算出し、輝度調整手段2および色彩度調整手段5の各調整値に反映させる制御パラメータ演算手段、7は明度信号V、色彩度信号S、色相信号HからRGB信号に変換する色空間逆変換手段である。
ここでHSVカラーモデルは近年映像系においても注目されている色空間であり周知の通りであるが、以下の説明を判りやすくするため、HSV空間での色表現を、図を用いて説明する。
図2は明度信号Vを変化させたときの画素データの変化を示す。図2に示すように明度信号のゲインを変えることはRGB空間において黒レベル基準でコントラストを変えることと等価となる。
図3は色相信号Hを変化させたときの画素データの変化を示す。図3は画素データが赤〜黄色までの変化を示しているが、RGBのうちの最大レベルの信号と最小レベルの信号を変えずに、つまり色の彩度を変えずに色相を変える動作をする。
図4は色彩度信号Sを変化させたときの画素データの変化を示す。図4に示すように色彩度信号Sのレベルを大きくした場合、(数式3)で表される比率を変えずにRGBのうちの最小レベルの信号を小さくする動作をする。逆に小さくした場合は最小レベルの信号を大きくする動作を行い、「0」にした場合はR=G=Bとなり色のない画素データとなる。
上記のように構成された本発明のポイントは、輝度制御をHSV空間の明度信号ではなくYUV空間で行い、色の制御をYUV空間の色差信号ではなくHSV空間の色彩度信号で行っていることである。
まず輝度制御について言えば、HSV空間の明度信号VはRGBの最大レベルの信号を示すため、例えば視覚的に輝度レベルが小さい青の信号でも明度信号Vは大きな値を示す。このように明度信号Vは、RGBの色が人間の目に与える輝度感と必ずしも一致した信号ではないため、明るい画像と暗い画像のメリハリをダイナミックに表現することに適していない。
一方で、YUV空間の輝度信号は人間の目に与える視覚的な輝度レベルと概ね等価な信号であるため輝度制御によって明るい画像と暗い画像のメリハリをダイナミックに表現することが可能である。しかしながら、前述したようにYUV空間での色制御は正しくRGB空間に変換されないことから色相が変化したり、色つぶれが発生するなどの課題がある。これに対しHSV空間の色彩度信号Sの値を変えても色相が変化することはない。さらに色彩度調整手段5の入出力特性を図5に示すようにすれば、色彩度を上げたときの色飽和を簡単に抑制することができる。
以下、具体的な例を挙げて動作を説明する。
図6は輝度の制御例としてコントラスト伸長とブライト調整を行う例を示している。輝度情報検出手段1から得られた情報が輝度最大値、輝度平均値、輝度最小値である入力信号に対し、ダイナミックレンジを表す図6のDと(輝度最大値―輝度最小値)の値を用いて、D/(輝度最大値―輝度最小値)倍のコントラスト伸長を行う。図6で示すD/(輝度最大値―輝度最小値)倍した信号は、輝度平均値を基準にコントラスト伸長したものである。
次に、コントラスト伸長によりダイナミックレンジに収まらなくなったレベル(図6のB)をブライト調整によりダイナミックレンジに収まるように調整を行う。ここで用いているYUV空間の輝度信号は前述のように人間の目に与える視覚的な輝度レベルと概ね等価な信号であるため、入力された輝度信号をダイナミックレンジまで伸長することでコントラスト感を高めることが可能である。
次に、色の制御について図4と図5を用いて説明を行う。色彩度検出手段4から得られた色彩度最大値が図5で示されるYの値を取る場合には、図5の入出力特性に示されているA,Bの値の比率により、色彩度信号Sのレベルが求まり、図4に示している画素データの調整が行われる。
入力信号が図4の色彩度信号Sのレベル1.0で表される大小関係であり、B/Aの値が例えば1.5である場合には、画素データは図4で示される色彩度信号Sのレベル1.0で表される大小関係から色彩度信号Sのレベル1.5で表される大小関係へ変化する。この時、前述のように色彩度信号のレベルを大きくしても(数式3)で表される比率、即ち、
{MID(R,G,B)−MIN(R,G,B)}/{MAX(R,G,B)−MIN(R,G,B)}
は変化しないので色相が変化することはない。前述の図10(D)で生じた色飽和も同様の理由から発生することはない。
このように、本実施例では輝度コントラスト制御と色相変化や色飽和の発生しない色レベル制御の両立が実現できるため、極めて高い画像表現力が得られる。
(実施の形態2)
つぎに、本発明の他の一実施の形態について図を用いて説明する。
図7において、9は制御パラメータ演算手段6により算出された色彩度の制御量に応じて、RGB信号を補正し、色制御による輝度変化を最小限に抑制する輝度補正手段である。その他の構成および動作は図1の実施例で説明した構成、動作と同一である。
つぎに、本発明の他の一実施の形態について図を用いて説明する。図7において、9は制御パラメータ演算手段6により算出された色彩度の制御量に応じて、RGB信号を補正し、色制御による輝度変化を最小限に抑制する輝度補正手段である。その他の構成および動作は図1の実施例で説明した構成、動作と概略同一であるが、異なる点は、色空間変換手段3からは明度信号V、色彩度信号S、色相信号Hを生成する過程で生じる第1のMIN(R,G,B)の信号を出力するように構成されておりさらに、色空間逆変換手段7からはRGBの信号に変換する過程で生じる第2のMIN(R,G,B)の信号を出力するように構成されているものである。
次いで本実施例の特徴である輝度補正手段9について説明する。図8に輝度補正手段9によるRGB信号の補正をした場合の動作を示す。色彩度信号Sのゲインを大きくしたときの色空間逆変換手段7のRGBの出力信号は図8(A)に示すようになる。図8(A)に示すように色彩度信号Sのゲインを大きくすれば、RGBのトータルでの輝度レベルは低下する。すなわち、輝度制御で最適な輝度レベルに制御しても色制御により画面の明るさが変化する不具合が発生する。輝度補正手段9は図8(B)に示すように色制御で低下した輝度レベルに相当する輝度補正値をRGB信号に一様に加えるものである。
これを実現する簡易的な手法の一例を図8(B)に示している。図9に輝度補正手段9の具体的な構成例を示すように、色空間変換手段3から出力される第1のMINレベルの信号と、色空間逆変換手段7から出力される第2のMINレベルの信号の差(この差は図8(A)の差dになる)の1/2のレベルをRGBの各信号に加えるものである。
これにより色制御によって発生した輝度低下を大きく改善することができる。
この例では、簡易的な手法で輝度補正を行っているが、回路規模やマイコンの負荷の制約がなければ次のように変換後の輝度値と変換前の輝度値から補正係数を演算すればなお正確な輝度補正が可能である。
変換前の輝度値L1= MAX(R,G,B)×α+MID(R,G,B)×β
+MIN(R,G,B)×γ ・・・数式4
ここでαはMAX(R,G,B)の輝度係数、βはMID(R,G,B)の輝度係数、
γはMIN(R,G,B)の輝度係数である。例えば
MAX(R,G,B)=R、MID(R,G,B)=G、MIN(R,G,B)=B
であれば、例えばα:β:γはRGBの輝度比率から概ね1:2:1とすればよい。
変換後の輝度値L2= MAX‘(R,G,B)×α+MID‘(R,G,B)×β+MIN‘(R,G,B)×γ ・・・数式5
RGBの輝度補正係数は、L2/L1となり、輝度補正手段9では、入力のRGBのそれぞれに上記輝度補正係数(L2/L1)を乗じて出力すればよい。
以上説明したように、本実施例では、色制御に伴う輝度低下を補正することで輝度に影響することなく色の制御が可能となり、色再現範囲の狭いディスプレイの色表現力を大幅に高めることができる。
本発明は、屋内あるいは屋外で使用する機器の画像表示装置に適用できる。
本発明の第1の手段による画像表示装置を示すブロック図 HSV空間において明度信号Vを変化させた時の画素データの変化を説明する図 HSV空間において色相信号Hを変化させた時の画素データの変化を説明する図 HSV空間において色彩度信号Sを変化させた時の画素データの変化を説明する図 本発明の第1の手段による色彩度調整手段の入出力特性を説明する図 本発明の第1の手段による輝度調整手段の動作を説明する図 本発明の第2の手段による画像表示装置を示すブロック図 本発明の第2の手段による輝度補正手段の動作を説明するブロック図 本発明の第2の手段による輝度補正手段の具体例を示すブロック図 RGB信号でコントラストを変化させた時の画素データの変化を説明する図
符号の説明
1 輝度情報検出手段
2 輝度調整手段
3 色空間変換手段
4 色彩度検出手段
5 色彩度調整手段
6 制御パラメータ演算手段
7 色空間逆変換手段
8 パネル
9 輝度補正手段

Claims (2)

  1. 入力信号に応じて最適な画像調整を行う画像表示装置において、入力の輝度信号の調整を行う輝度調整手段と、上記輝度調整手段から出力される輝度信号と入力の色差信号を、色相信号、色彩度信号、明度信号の3つの信号に変換する色空間変換手段と、上記色空間変換手段から出力される色彩度信号を調整する色彩度調整手段と、上記色彩度調整手段から出力される色彩度信号と上記色空間変換手段から出力される色相信号、明度信号を、R、G、Bの映像信号に変換する色空間逆変換手段と、入力の輝度信号から画像の輝度に関する特徴値を検出する輝度情報検出手段と、上記色彩度信号から画像の色彩度に関する特徴値を検出する色彩度検出手段と、上記輝度情報検出手段および上記色彩度検出手段から得られる画像の特徴情報により輝度信号の制御値および色彩度信号の制御値を演算し、上記輝度調整手段および上記色彩度調整手段に出力する制御パラメータ演算手段と、上記制御パラメータ値演算手段から出力される制御値により上記色空間逆変換手段から出力された信号の輝度値を補正する輝度補正手段とから構成されたことを特徴とする画像表示装置。
  2. 上記輝度補正手段は、上記色空間変換手段で明度信号、色彩度信号、色相信号に変換する過程で生じるR、G、B信号の最小値である第1のMINレベルの信号と、上記色空間逆変換手段でRGBの信号に変換する過程で生じるRGB信号の最小値である第2のMINレベルの信号との差の1/2のレベルを、上記色空間逆変換手段で出力されるRGBの信号に加算することを特徴とする請求項1記載の画像表示装置。
JP2004157387A 2004-05-27 2004-05-27 画像表示装置 Expired - Fee Related JP4470587B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004157387A JP4470587B2 (ja) 2004-05-27 2004-05-27 画像表示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004157387A JP4470587B2 (ja) 2004-05-27 2004-05-27 画像表示装置

Publications (2)

Publication Number Publication Date
JP2005341220A JP2005341220A (ja) 2005-12-08
JP4470587B2 true JP4470587B2 (ja) 2010-06-02

Family

ID=35494274

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004157387A Expired - Fee Related JP4470587B2 (ja) 2004-05-27 2004-05-27 画像表示装置

Country Status (1)

Country Link
JP (1) JP4470587B2 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4626533B2 (ja) * 2006-02-16 2011-02-09 パナソニック株式会社 画像処理装置およびその方法、プログラム、記録媒体
JP4622900B2 (ja) * 2006-03-17 2011-02-02 パナソニック株式会社 画像処理装置、画像処理方法、プログラムおよび記録媒体
KR100763239B1 (ko) 2006-06-27 2007-10-04 삼성전자주식회사 디스플레이되는 영상의 시인성 향상을 위한 영상 처리 장치및 방법

Also Published As

Publication number Publication date
JP2005341220A (ja) 2005-12-08

Similar Documents

Publication Publication Date Title
JP4668986B2 (ja) カラー画像データの処理方法
JP5611508B2 (ja) 周辺光適応的な色補正装置および方法
JP3922306B2 (ja) 画像表示装置、および画像表示方法
EP1858247B1 (en) Image correction circuit, image correction method and image display
JP5374802B2 (ja) 画像表示装置、画像表示方法、画像表示プログラムおよび画像表示プログラムを記録した記録媒体
JP4622899B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2006093753A (ja) 映像表示装置
TWI387318B (zh) 影像校正電路、影像校正方法以及影像顯示器
WO2007069478A1 (ja) 画像処理装置及び画像表示装置
WO2010061493A1 (ja) 映像処理装置及び映像処理方法
JP2010085524A (ja) 液晶表示装置
JP2008065185A (ja) 表示コントローラ、表示装置、表示システム、および表示制御方法
JP2018026794A (ja) 画像処理装置、画像投影装置、及び画像処理方法
JP2004326082A (ja) 表示制御装置及び表示装置
JP2004326082A5 (ja)
JP2007311889A (ja) 画像補正回路、画像補正方法および画像表示装置
JP4930781B2 (ja) 画像補正回路、画像補正方法および画像表示装置
JP3709981B2 (ja) 階調補正装置及び方法
JP2003099010A (ja) 映像表示装置および映像表示方法
JP4470587B2 (ja) 画像表示装置
JP2006229616A (ja) 映像信号処理回路
EP1895781B1 (en) Method of and apparatus for adjusting colour saturation
JP5012195B2 (ja) 画像補正回路、画像補正方法および画像表示装置
JP4831173B2 (ja) 映像表示装置
WO2013069177A1 (ja) 画像表示装置、画像表示方法、および画像表示プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070507

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070613

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20091106

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20091120

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20091124

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100118

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20100209

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20100222

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130312

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140312

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees