JP5267803B2 - 画像処理装置、画像処理方法、プログラムおよび記録媒体 - Google Patents

画像処理装置、画像処理方法、プログラムおよび記録媒体 Download PDF

Info

Publication number
JP5267803B2
JP5267803B2 JP2009096793A JP2009096793A JP5267803B2 JP 5267803 B2 JP5267803 B2 JP 5267803B2 JP 2009096793 A JP2009096793 A JP 2009096793A JP 2009096793 A JP2009096793 A JP 2009096793A JP 5267803 B2 JP5267803 B2 JP 5267803B2
Authority
JP
Japan
Prior art keywords
color
change amount
image data
image
reproduction range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009096793A
Other languages
English (en)
Other versions
JP2010251883A (ja
Inventor
敬徳 伊東
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ricoh Co Ltd
Original Assignee
Ricoh Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ricoh Co Ltd filed Critical Ricoh Co Ltd
Priority to JP2009096793A priority Critical patent/JP5267803B2/ja
Publication of JP2010251883A publication Critical patent/JP2010251883A/ja
Application granted granted Critical
Publication of JP5267803B2 publication Critical patent/JP5267803B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

本発明は、入力された画像データを、プリンタやディスプレイなどの画像出力装置の色再現範囲内の画像データに、変換する処理を行う画像処理装置、画像処理方法、プログラムおよび記憶媒体に関する。
画像処理の一つに、入力された画像データの色を、画像出力装置の色再現範囲(色域、ガマット)の色に変換するガマット処理がある。プリンタやディスプレイなどの画像出力装置は、人が知覚できる全ての色を再現できるわけではなく、限られた範囲の色しか再現することができないが、画像データ自体は、比較的大きな色再現範囲を表現可能であることが多く、場合によっては人が知覚できる全ての色を表現することができる。画像データの表色形式に依存するが、何れにしろ、画像出力装置の色再現範囲外の画像データの色を、再現可能な色に変換して、出力可能にするガマット処理が必要である。
従来より、画像出力装置で再現できない色をどのような色に変換するかという問題に関して、種々の方法が提案され、代表的な変換方法として、階調保存変換法、色相保存変換法、彩度保存変換法がある。
階調保存変換法は、画像出力装置の色再現範囲外の色だけでなく色再現範囲内の色も、色相を保存したまま、画像出力装置の色再現範囲内のグレー軸上の定点に向かってある割合で変化させて、圧縮する方法である。この方法では、色の違いが保存されるので、階調性を重視する写真などの画像に対するガマット処理に適している。しかし、入力画像の色の範囲の如何にかかわらず、入力画像を一定の割合で圧縮するので、圧縮が不要な範囲まで圧縮してしまうという欠点があった。また、色の変化自体も圧縮されるため、迫力に欠けた眠たい画像となり易いという欠点もあった。
これに対して色相保存変換法は、画像出力装置の色再現範囲外の色に関して、色相を保存したまま、画像出力装置の色再現範囲内のグレー軸上の定点に向かう画像出力装置の色再現範囲の最外郭に貼り付ける方法である。この方法も、比較的自然な再現がなされるため写真画像に適している。
また、彩度保存変換法は、画像出力装置の色再現範囲外の色に関して、彩度を出来る限り保存しながら、明度と色相が大幅に狂わないように変換する方法である。画像の鮮やかさが維持されるので、色再現性を重視するグラフィックスや文字などの画像に対するガマット処理には適している。しかし、これらの変換方法は色再現範囲外の色だけを変化させるため、変換後の色およびその近傍の色が変換前の画像データに存在していると、それらの色との識別性が劣化するという欠点があった。また、変換する前の画像データでは識別できていた色が、同じ様な最外郭の色に変換されて識別性が劣化することもあった。
このため、これらの欠点を補う画像処理装置・方法が提案されている。例えば、特許文献1の画像処理方法は、入力された画像データの色を、所定の色再現範囲内の色に変換する色変換ステップと、入力された画像データの色と、色変換ステップにより変換された色との差を算出する色差算出ステップと、色差算出ステップが算出した差をフィルタリングする色差フィルタリング・ステップと、色変換ステップにより変換された色を、色差フィルタリング・ステップがフィルタリングした差に基づいて補正する色補正ステップとを有している。この方法では、色変換ステップで消失する情報が色差算出ステップで抽出され、色差フィルタリング・ステップによるフィルタリングによってその中の識別性に関わる情報が取り出される。そして、色補正ステップで、取り出した識別性に関わる情報を、色変換ステップにより変換された色に付加することで、識別性の劣化を防止している。
しかし、この方法は、色補正ステップが出力する画像データの色が、前述の所定の色再現範囲の外となる可能性を含むため、実質的に、所定の色再現範囲内の色に変換する第2の色変換ステップを必要とする。このため、所定の色再現範囲内の色に変換する処理を2重に施すことによる量子化誤差の蓄積が大きく、精度が得られないという欠点があった。また、量子化誤差を低減するための各処理の高精度化は、画像処理における処理負荷が増大し、画像処理装置を複雑にする、という欠点があった。
また、非特許文献1による画像処理方法は、入力された画像データの色を、所定の色再現範囲内の色に変換した際の、色域の圧縮率を算出する圧縮率算出ステップと、圧縮率算出ステップが算出した圧縮率をフィルタリングするフィルタリング・ステップと、フィルタリング・ステップがフィルタリングを施した圧縮率に基づいて、入力された画像データの色域を圧縮する色変換ステップとを有している。この方法では、例えば前述の色相保存変換法に基づく色変換が使用され、画像出力装置の色再現範囲内のグレー軸上の定点に向かう特定方向に関する識別性を向上することができる。しかし、前記方向に直交する方向に関しては、効果が無く、識別性を向上することができないという欠点があった。
さらに、特許文献2の画像処理装置は、入力された画像データの色を変換するための補正量を算出する補正量算出手段と、補正量算出手段が算出した補正量に含まれる雑音を除去する雑音除去手段と、雑除去手段が雑音を除去した補正量に基づいて、入力された画像データの色を補正する色補正手段とを有している。
上記した画像処理装置は、画像データの彩度や明度を強調する際に、伝送路で受けた雑音の影響を受けにくくするため、雑音除去手段は1次元フィルタとなっており、雑音を含む画像データの彩度や明度を強調する補正量を算出後、画素周波数に近い高周波成分の雑音を除去してから、画像データの色を補正することで、彩度や明度を強調している。一方、ガマット処理では基本的に強調を行わない。また、識別性の劣化は、画像の2次元平面における画像データの変化が、消失または圧縮されてしまうために生じるものであるので、伝送路で受けるような雑音を除去しても回復できない、という欠点があった。
本発明は上記した課題に鑑みてなされたもので、
本発明の目的(請求項1)は、入力された画像データを、画像出力装置の色再現範囲内の画像データに、変換する処理を行う画像処理装置において、高精度かつ簡単な構成でありながら、入力された画像データの識別性の劣化が少ない画像処理装置を提供することにある。
また、本発明の目的(請求項2)は、請求項1の改良に関わり、入力された画像データの属性情報に応じ、画像データの識別性の劣化をより少なくすることができる画像処理装置を提供することにある。
また、本発明の目的(請求項3)は、請求項1または2の改良に関わり、入力された画像データの色の色相を保持しつつ、識別性の劣化を少なくすることができる画像処理装置を提供することにある。
また、本発明の目的(請求項4)は、請求項1乃至3の改良に関わり、画像処理装置をより簡単な構成で、識別性の劣化を少なくすることができる画像処理装置を提供することにある。
また、本発明の目的(請求項5)は、高精度かつ簡単な構成でありながら、入力された画像データの識別性の劣化が少ない画像処理方法を提供することにある。
また、本発明の目的(請求項6、7)は、請求項5記載の画像処理方法を実行するコードを有するプログラム、記憶媒体を提供することにある。
本発明は、入力された画像データを、画像出力装置の色再現範囲内の画像データに、変換する処理を行う画像処理装置であって、前記入力された画像データの色を、第1の色再現範囲内の色に変換した際の、色の変化量を算出する変化量算出手段と、少なくとも前記変化量算出手段が算出した変化量の画像平面におけるエッジと低周波数成分を残すように、前記変化量算出手段が算出した注目の変化量を、平面的に近傍の変化量に基づいて修正する変化量修正手段と、前記変化量修正手段が修正した変化量に基づいて、前記入力された画像データの色を補正する色補正手段と、前記色補正手段が補正した画像データの色を、第2の色再現範囲内の色に、変換する色変換手段とを少なくとも有することを最も主要な特徴とする。
請求項1:入力された画像データを、画像出力装置の色再現範囲内の画像データに、変換する処理を行う画像処理装置であって、前記入力された画像データの色を、第1の色再現範囲内の色に変換した際の、色の変化量を算出する変化量算出手段と、少なくとも前記変化量算出手段が算出した変化量の画像平面におけるエッジと低周波数成分を残すように、前記変化量算出手段が算出した注目の変化量を、平面的に近傍の変化量に基づいて修正する変化量修正手段と、前記変化量修正手段が修正した変化量に基づいて、前記入力された画像データの色を補正する色補正手段と、前記色補正手段が補正した画像データの色を、第2の色再現範囲内の色に、変換する色変換手段とを少なくとも有することを特徴とする画像処理装置においては、画像平面におけるエッジと低周波数成分を残すように修正された変化量に基づいて、前記入力された画像データの色を補正し、画像出力装置等の第2の色再現範囲内の色に変換するので、高精度かつ簡単な構成でありながら、入力された画像データの識別性の劣化が少ない画像処理装置を実現することができた。
請求項2:前記入力された画像データの属性情報を設定する属性情報設定手段を有し、前記変化量算出手段は、前記属性情報設定手段が設定した属性に基づいて、色の変化量を算出することを特徴とする請求項1記載の画像処理装置においては、入力された画像データの属性情報に応じて色の変化量を算出することができるので、入力された画像データの属性情報に応じ、画像データの識別性の劣化をより少なくすることができる画像処理装置を実現することができた。
請求項3:前記変化量算出手段は、前記入力された画像データの色の色相を保持して第1の色再現範囲内の色に変換した際の色の変化量を算出することを特徴とする請求項1または2記載の画像処理装置においては、入力された画像データの色の色相を保持することができるので、入力された画像データの色の色相を保持しつつ、識別性の劣化を少なくすることができる画像処理装置を実現することができた。
請求項4:画像データの解像度を小さくする低解像度変換手段と、前記低解像度変換手段に対応して画像データの解像度を元に戻す解像度復元手段とを有し、前記変化量算出手段は、前記低解像度変換手段により処理された前記入力された画像データの色を、第1の色再現範囲内の色に変換した際の、色の変化量を算出し、前記色補正手段は、前記解像度復元手段により処理された上記変化量修正手段が修正した変化量に基づいて、前記入力された画像データの色を補正することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置においては、前記変化量算出手段および前記変化量修正手段が解像度を小さくした画像データまたは変化量を取り扱うことができるので、より簡単な構成で、識別性の劣化を少なくすることができる画像処理装置を実現することができた。
請求項5:入力された画像データを、画像出力装置の色再現範囲内の画像データに、変換する処理を行う画像処理方法であって、前記入力された画像データの色を、第1の色再現範囲内の色に変換した際の、色の変化量を算出する変化量算出工程と、少なくとも前記変化量算出工程が算出した変化量の画像平面におけるエッジと低周波数成分を残すように、前記変化量算出工程が算出した注目の変化量を、平面的に近傍の変化量に基づいて修正する変化量修正工程と、前記変化量修正工程が修正した変化量に基づいて、前記入力された画像データの色を補正する色補正工程と、前記色補正工程が補正した画像データの色を、第2の色再現範囲内の色に、変換する色変換工程とを少なくとも有することを特徴とする画像処理方法においては、画像平面におけるエッジと低周波数成分を残すように修正された変化量に基づいて、前記入力された画像データの色を補正し、画像出力装置等の第2の色再現範囲内の色に変換するので、高精度かつ簡単な構成でありながら、入力された画像データの識別性の劣化が少ない画像処理方法を実現することができた。
請求項6:請求項5記載の画像処理方法をコンピュータに実現させるためのプログラムを実現することができた。
請求項7:請求項5記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体を実現することができた。
実施例1の画像処理システムの構成を示す。 明度変換部による明度変換を説明する図である。 明度変換部の構成を示す。 出力可能色域の最高明度と最低明度が無彩でない場合の補正例を示す。 色相保存変換法を説明する図である。 変化量算出部の構成を示す。 変化量修正部による修正を説明する図である。 変化量修正部が実施する処理を説明する図である。 実施例2の画像処理システムの構成を示す。 実施例3の画像処理システムの構成を示す。 実施例4の画像処理方法に係る処理フローチャートを示す。
以下、発明の実施の形態について図面により詳細に説明する。
図1は、本発明の実施例1の画像処理システムの構成を示す。図1において、101は画像入力装置、102は画像処理装置、103は画像出力装置である。画像入力装置101は、例えば風景や人物等を撮影して画像データとして記憶するデジタルスチルカメラ、原稿等を走査して画像データを生成するカラースキャナ、あるいは上述した画像データ等を記憶した記憶媒体(例えばSDメモリやハードディスク・ドライブ等)と該記憶媒体の読み書きを制御する制御部等からなる補助記憶装置(ストレージ)が該当し、画像データ(以下では原画像データと呼ぶ)を画像処理装置102に出力する装置である。ここで、画像入力装置101が出力する原画像データは、その表色形式が、該原画像データに埋め込まれているICCプロファイルや、画像入力装置101と画像処理装置102との通信等によって、明示的に決められているものとする。あるいは、sRGBやAdobe(登録商標)RGB等の標準的な表色形式が、その表色形式として暗黙のうちに決められていても良い。いずれにせよ、画像入力装置101は画像処理装置102に、表色形式が定まっている原画像データを出力する。尚、以下では、画像入力装置101としてデジタルスチルカメラ、原画像データの表色形式としてAdobeRGBが通信により決められているものとして説明するが、本発明はこの限りでないことは勿論である。
画像処理装置102は、画像出力装置103の出力可能な色域を超えている画像入力装置101からの原画像データを、画像出力装置103の色域内に変換する等の処理を行う。
また、画像出力装置103は、例えば画像データを画面上に表示するLCDディスプレイ、画像データを紙等の記録媒体に記録するカラープリンタ等が該当し、画像処理装置102が出力した画像データ(以下では出力画像データと呼ぶ)を可視化出力する装置である。尚、以下では、画像出力装置103としてカラープリンタが使用される例を説明するが、本発明はこの限りでないことは勿論である。
画像処理装置102は、表色変換部104、明度変換部105、変化量算出部106、変化量修正部107、色補正部108、色変換部109等から構成されている。
ここで、本実施例の画像処理装置102内部では、画像データの色を、主にLCh表色値で取り扱うものとする。LCh表色値とは、CIELAB表色値を円筒座標系に変換した値である。即ち、上述したように本実施例では表色形式がAdobeRGBの原画像データが入力されるので、表色変換部104は、入力された画像データの色をCIELAB表色値に変換し、更に円筒座標系(LCh1)に変換する処理を行っている。
具体的には、AdobeRGBの8ビットの画素値をR’,G’,B’とすると、
Figure 0005267803
によって、CIEXYZ(D50)に変換し、
Figure 0005267803
によって、CIELAB(D50)に変換し、
Figure 0005267803
によって、Chに変換する。
また、明度変換部105は、原画像データが表現可能な明度域と画像出力装置103が出力可能な明度域等に基づいて、画像出力装置103の明度域内に原画像データの明度を変換して出力(LCh2)するブロックである。ここで、原画像データが表現可能な明度域は、上述の表色形式によって定まる。例えばAdobeRGBでは明度L=0〜100である。また、画像出力装置103が出力可能な明度域は、画像出力装置103が出力可能な色域によって定まる。例えばカラープリンタでは、明度域の上限はカラープリンタで使用する記録媒体で、明度域の下限はコンポジットブラック等を該記録媒体に記録した時の明度で定まる。
尚、本実施例では、画像出力装置103が出力可能な色域が、画像出力装置103から画像処理装置102に通信によって知らされており、画像出力装置103が出力可能な色域から、明度変換部105は出力可能な明度域、即ち、明度の上下限を抽出して明度変換に使用する。
尚、画像出力装置103が出力可能な色域の連絡は、これに限らず、例えば画像出力装置103のICCプロファイルを画像処理装置102に直接供給する等の方法を用いて知らせても良い。
次に、明度変換部105が行う変換を図2を用いて説明する。図2(a)は、LCh色空間を明度軸で切断した断面図で、原画像データが表現可能な色域と画像出力装置103が出力可能な色域との関係の一例を示している。図示したように、原画像データが表現可能な色域は、画像出力装置103が出力可能な色域よりも一般に大きく、特に明度軸方向の範囲(明度範囲)は、包含関係にあることが多い。このため、明度変換部105は、画像出力装置103の明度域内に原画像データの明度範囲を圧縮変換して、画像出力装置でその画像データ(以下、明度変換画像データと呼ぶ)の明度を滑らかに再現できるようにする。
図2(b)の実線は、その明度変換特性の一例を示しており、原画像データが表現可能な明度範囲を、画像出力装置103が出力可能な明度範囲に対して直線的に変換している。
また図2(c)は、上述した変換を施した後の画像データ(明度変換画像データ)が表現可能な色域と画像出力装置103が出力可能な色域との関係を示しており、画像出力装置103の明度範囲内に原画像データの明度が変換された様子を示している。
尚、以上では明度変換を直線的に行ったが、明度範囲の上下限が一致して途中が単純増加になっていれば、本発明はこれに限るものでない。例えば図2(b)の破線のようなS字形状の非線形な変換を用いても良い。
また、上述したような明度変換部105の詳細ブロック図を図3に示す。図3において、301は1DLUT(1次元ルック・アップ・テーブル)であり、図2(b)に示したような明度変換特性を記載した1次元テーブルによって、原画像データの明度を変換する。
また、以上では説明を容易にするため、原画像データが表現可能な最高明度と最低明度、画像出力装置103が出力可能な最高明度と最低明度が、それぞれ無彩(C=0)である例を示したが、本発明はこれに限るものでない。例えば、図4(a)に示したように、画像出力装置103が出力可能な最高明度(点401)が無彩でない場合(C≠0)、同じ明度の無彩色(点402)とするための色度修正量(Δa,Δb)で、出力可能な最高明度点を補正する。また、画像出力装置103が出力可能な色域は、その明度に応じて上記色度修正量を重み付けし、出力可能な色域を補正することで、同様に取り扱えるようになる。また、図4(b)に示したように、画像出力装置103が出力可能な最低明度(点403)が無彩でない場合(C≠0)は、無彩で最低明度となる点(点404)を、画像出力装置103が出力可能な最低明度と見なすことで、同様に取り扱えるようになる。
再度、図1を参照すると、変化量算出部106は、前記明度変換部105が出力した画像データの色を、所定の色再現範囲内の色に変換した際の、色の変化量(ΔLCh1)を算出するブロックである。ここで、所定の色再現範囲とは、例えば前述した画像出力装置103の色再現範囲あるいはそれを補正した色再現範囲である。また、その際の変換の方法としては、例えば、上述した代表的な変換方法を使用することができる。尚、以下では、色相保存変換法を使用した場合を例に説明するが、本発明はこれに限るものではない。
図5に、色相保存変換法の説明図を示す。図5は、LCh色空間を明度軸で切断した断面図であり、明度変換後画像データが表現可能な色域と画像出力装置103が出力可能な色域との関係の一例を示している。ここでは、明度軸で切断しているので、明度軸を境とする2つの色相面が表示されている。色相保存変換法は、画像出力装置の色再現範囲外の色についてのみ、色相を保存したまま、画像出力装置の色再現範囲内のグレー軸上の定点に向かって、画像出力装置の色再現範囲の最外郭に貼り付ける方法である。図5の例では、グレー軸上の定点として、画像出力装置の色再現範囲の各色相における最高彩度点と同じ明度を有するグレー軸上の点を使用する。即ち、最高彩度点501に対するグレー軸上の点502、および、最高彩度点503に対するグレー軸上の点504に向って、画像出力装置の色再現範囲の最外郭に貼り付ける。従って、明度変換後画像データ505は、画像出力装置の色再現範囲の最外郭506に貼り付けられる。また、明度変換後画像データ508は、画像出力装置の色再現範囲の最外郭509に貼り付けられる。そして、明度変換後画像データ505に対応する変化量が507で示されるベクトルであり、明度変換後画像データ508に対応する変化量が510で示されるベクトルとなる。尚、色相保存変換法では、色相を保存したまま貼り付けを行うので、ベクトル507あるいは510等で示される変化量は、色相差に相当する成分を持たず、明度差と彩度差で表現することができる。
変化量算出部106は、例えば図6に示すように、LCh表色値を入力とする3DLUT(3次元ルック・アップ・テーブル)601〜603で構成することができる。即ち、3DLUTには、LCh色空間を代表する格子点に対して、前述した色相保存変換法で、画像出力装置103の色再現範囲の色に変換した際の色の変化量が、色相差(Δh、但し本実施例ではΔh=0)、明度差(ΔL)、彩度差(ΔC)毎に記憶されており、任意のLCh色空間座標に対して、近傍の格子点座標と変化量に基づく補間演算を行って、それぞれの変化量を算出する。
再度、図1を参照すると、変化量修正部107は、前記変化量算出部106が出力した変化量(ΔLCh1)の画像平面におけるエッジと低周波数成分を残すように、前記変化量算出手段が算出した注目の変化量を、平面的に近傍の前記変化量算出手段が算出した変化量に基づいて修正して出力(ΔLCh2)するブロックである。
以下では、図7を用いて、変化量修正部107が行う修正を説明する。図7(a)は、画像の一例であり、明度変換後画像データが、画像出力装置103が出力可能な色域外となっている領域701と、色域内となっている領域702がある。また、画像の破線703上の画素の彩度を、プロットしたものを図7(b)に示す。
図7(b)において、横軸は画素位置、縦軸は彩度を表しており、模式的に示した画像出力装置103が出力可能な色域704に対して、領域701に対応する範囲705では高彩度、即ち、色域外、領域702に対応する範囲706、707では低彩度、即ち、色域内であることが示されている。尚、ここで示した出力可能な色域704は、各画素の色空間上の座標と上述したグレー軸上の定点と結ぶ直線、あるいはその延長線と、画像出力装置の色再現範囲の最外郭との交点における彩度に対応する。また、この彩度は、本来、各画素に対して一定とならないが、図7(b)では便宜上一定として示している。変化量算出部106が算出する変化量(彩度)は、領域701に対応する範囲では矢印708に対応し、領域702に対応する範囲では0となる。
図7(c)に、画像の破線703上の画素の変化量(彩度)709を示す。図7(c)において、横軸は画素位置、縦軸は変化量(彩度)を表している。
変化量修正部107は、変化量の画像平面におけるエッジと低周波数成分を残すように、変化量を修正する。ここで、低周波成分を残すとは、裏返すと高周波成分を除去することを意味し、例えば画像平面上で平滑化フィルタを施すことで実現できる。また、エッジを残すとは、エッジ情報を残すことを意味する。即ち、一般的に平滑化フィルタを施すとエッジ情報も平滑化されてエッジ情報も消滅する方向に処理されるが、エッジが存在する場合は、例えばエッジを境にそれぞれの側のみで平滑化処理することで、エッジと低周波数成分を残すように処理することが出来る。図7(d)は、その一例を示したものであり、エッジを境に、領域701に対応する範囲と、領域702に対応する範囲でそれぞれ平滑化フィルタを施すと、710に示すような処理結果が得られることを示す。即ち、領域701に対応する範囲では、変化量が平滑化されて、より変化量の変動が緩やかになっている。一方、領域702に対応する範囲では、領域701に対応する範囲の変化量が遮断されて影響を受けず、変化量が0のままとなっている。即ち、エッジと低周波数成分を保存した処理が実現される。
次に、変化量修正部107が実施する処理(エッジと低周波数成分を保存するように、変化量に対して空間フィルタ処理を施す)の一例を図8に示し、説明する。図8(a)は、変化量修正部107の処理フロー図である。変化量修正部107は、はじめに、画像データ中の注目画素の位置ポインタを初期化する(ステップ801)。
次に、変化量修正部107は、注目画素の変化量Cを抽出する(ステップ802)。次に、変化量修正部107は、点対称ペアの位置ポインタを初期化する(ステップ803)。ここで、変化量修正部107は所定の処理範囲を有しており、注目画素をその範囲の中心画素とする。図8(b)に所定の処理範囲を7×7画素とした例の、注目画素821の位置を示す。また、変化量修正部107は、注目画素821を中心として点対象位置にある画素のペア(例えば、画素822と823、画素824と825等)の変化量を比較して、注目画素821の変化量に近いものを選択する。そして、図8(c)に例示したような、あらかじめ決定されている加重係数を乗算し(例えば、画素824、825の変化量には、それぞれ係数2を乗算、×印の注目画素821の変化量Cには係数4を乗算)、それを処理範囲全体に渡って集計する。例えば、図8(b)のように処理範囲を7×7画素とした場合は、点対象位置にある画素のペアは、(7x7−1)÷2=24となる。
再度、図8(a)に注目すると、点対称ペアの位置ポインタを初期化した後、ポインタで示される点対称ペアの変化量(それぞれ、AとBとする)を取得する(ステップ804)。
次に、注目画素の変化量Cと点対称ペアの変化量A,Bと差を比較して(ステップ805)、注目画素821の変化量Cに近いものを重み付け加算する(変化量AとCの差分の方が小さいときには、ステップ806で変化量Aを選択して変化量Aを重み付け加算し、変化量BとCの差分の方が小さいときには、ステップ807で変化量Bを選択して変化量Bを重み付け加算する)。また、差が等しい場合は、変化量AとBを比較し(ステップ808)、等しければ、どちらか(図8(a)ではB)を重み付け加算する。一方、等しくなければ、変化量AとBの平均、即ち、変化量Cを重み付け加算する(ステップ809)。
そして、全ての画素ペアの処理が済んだか否かを判断して、未処理であれば点対称ペアの位置ポインタを次に動かして、ステップ804〜809の処理を繰り返す(ステップ810)。また、全ての画素ペアの処理が終了していれば、重み付け加算結果から変化量の加重平均(注目画素821の重み付け加算結果を、重み付け加算した画素位置の係数の総和で割る)を算出して、修正された変化量を得る(ステップ811)。
そして、画像データの全画素を注目画素として処理したか判断して、未処理であれば注目画素の位置ポインタを次に動かして、ステップ802〜811の処理を繰り返す(ステップ812)。また、画像データの全画素の処理が終了していれば、変化量修正の処理を終了する。
上述した処理によると、例えば、図8(d)のように変化量の直線エッジが注目画素821近傍に存在する場合、注目画素821に近い変化量が集計されて(斜線部の加重平均をとる)、修正された変化量は、変化量のエッジを効率よく保存したものとなる。
尚、本発明の変化量修正部107の処理は、上述したものに限るものではない。例えば、図8(e)に示すように、注目画素821を中心として点対象位置にある4方向の画素(例えば、画素826〜829等)の変化量を比較して、注目画素821の変化量に最も近いものを選択、重み付け加算するようにしても良い。この場合、例えば、図8(f)のように変化量の直角エッジが注目画素821近傍に存在する場合、修正された変化量は、変化量のエッジを効率よく保存したものとなる。
また、以上では彩度の変化量の処理に着目して説明を行ったが、明度、更に、場合によっては色相の変化量に関しても同様であるので、説明は省略する。
再度、図1を参照すると、色補正部108は、前記変化量修正部107が修正した変化量(ΔLCh2)に基づいて、明度変換部105が出力する明度変換画像データ(LCh2)の色を補正して、色補正画像データ(LCh3)を出力するブロックである。ここで、変化量(ΔLCh2)の各成分を、(ΔL2,ΔC2,Δh2)、明度変換画像データの各成分を(L2,C2,h2)、色補正画像データの各成分を(L3,C3,h3)とすると、色補正部108は例えば以下のような処理により、補正を実施する。
Figure 0005267803
尚、本実施例では、色相保存変換法を使用しているので、Δh2=0である。
また、図7(a)の画像の破線703上の補正された彩度711を図7(e)に示す。図7(e)に示したように、補正された彩度711は、画像出力装置103が出力可能な色域704に近傍に移動するが、最外郭に張り付くことなく、明度変換画像データが有していた彩度変化の情報(低周波数成分)を保持している。
再度、図1を参照すると、色変換部109は、前記色補正部108が出力した色補正画像データ(LCh3)を、前述した画像出力装置103の色再現範囲あるいはそれを補正した色再現範囲の色に変換するブロックである。その際の変換の方法としては、例えば、色相保存変換法を始めとする上述した代表的な変換方法を使用することができる。尚、本実施例では、画像出力装置103としてカラープリンタが使用しているので、色変換部109が出力する出力画像データは、カラープリンタで使用されるシアン(C),マゼンタ(M),イエロー(Y)及び黒(K)の色材記録信号(CMYK)となっている。
また、図7(a)の画像の破線703上の色変換部109が出力する出力画像データの彩度712を図7(f)に示す。図7(f)に示したように、出力装置103の色再現範囲あるいはそれを補正した色再現範囲の色に変換されるので、部分的に最外郭に張り付くが、明度変換画像データが有していた彩度変化の情報(低周波数成分)が残るので、入力された画像データの識別性を保持することができた。
図1に示した画像処理システムの画像入力装置101は、デジタルスチルカメラとしたので写真画像を出力する。このため変化量算出部106が所定の色再現範囲内の色に変換する際の変換方法や色変換部109の変換方法の制御には触れなかった。しかし、グラフや図表などのグラフィックスと写真画像とでは、適した変換方法が異なるので、画像入力装置がこれら両方を出力する場合は、その種類(グラフィックスと写真画像)に応じて変換方法を制御すると、より良い。
図9は、実施例2の画像処理システムの構成を示す。尚、以下の説明では、実施例1と同じブロックには同じ番号を付して、詳細な説明は省略するものとする。
図9において、901は画像入力装置であり、写真画像や図表等のグラフィックス画像を、その属性データと共に出力する装置である。例えば、ワード・プロセッサ・ソフトを実行するパーソナル・コンピュータが、プリンタに画像を出力する場合が該当し、パーソナル・コンピュータは、写真画像の画像データを出力したり、グラフ等のベクトルデータをビットマップの画像データに変換して、画像処理装置902の表色変換部104に出力する。また、画像入力装置901は、画像データに対応する属性データを変換方法設定部903に出力する。ここで、属性データとは、画像データの種別、即ち、写真画像であるか図表等のグラフィックス画像であるか等を示すデータであり、上述のような変換方法、即ち、階調保存変換法、色相保存変換法、彩度保存変換法にそれぞれ適した画像に応じた分類を示す。
変換方法設定部903は、入力された属性データに応じて、変換方法を指定する信号を生成する。例えば、属性データが写真画像であれば 色相保存変換法、図表等のグラフィックス画像であれば彩度保存変換法を指定する。
また、変化量算出部904は、前記明度変換部105が出力した画像データの色を、所定の色再現範囲内の色に変換した際の、色の変化量(ΔLCh1)を算出するブロックである。ここで、所定の色再現範囲とは、例えば前述した画像出力装置103の色再現範囲あるいはそれを補正した色再現範囲である。また、その際の変換の方法は、変換方法設定部903が指定した方法に従う。
また、色補正部108は、前記変化量修正部107が修正した変化量(ΔLCh2)に基づいて、明度変換部105が出力する明度変換画像データ(LCh2)の色を補正して、色補正画像データ(LCh3)を出力するブロックである。これによると、画像出力装置103の色域外となっている明度変換後画像データは、画像データの属性データに応じて、図7(e)に示した例と同様、画像出力装置103が出力可能な色域にほぼ一致する画像データに補正される。尚、その際、色域の最外郭に完全に張り付くことなく、明度変換画像データが有していた彩度変化等の情報(低周波数成分)は保持している。
また、色変換部109は、前記色補正部108が出力した色補正画像データ(LCh3)を、前述した画像出力装置103の色再現範囲あるいはそれを補正した色再現範囲の色に変換するブロックである。その際の変換の方法としては、例えば、画像データの属性データに応じた変換方法を使用しても良いが、既に、色補正部108により画像出力装置103が出力可能な色域近傍に集まった画像データに変換されているため、属性データに応じた変換方法はここではあまり意味をなさない。このため本実施例では、属性データによらず色相保存変換法を使用した変換を行っている。
以上のように、本実施例によれば、入力された画像データの属性情報に応じ、最適な変化量を算出して、画像データを補正するので、画像データの識別性の劣化をより少なくすることができる。
図10は、実施例3の画像処理システムの構成を示す。尚、以下の説明では、実施例1、2と同じブロックには同じ番号を付して、詳細な説明は省略するものとする。
図10において、101は画像入力装置、1001は画像処理装置、103は画像出力装置であり、画像処理装置1001の明度変換部105から出力された明度変換後画像データは、解像度低減処理部1002に入力される。
解像度低減処理部1002は、明度変換後画像データの解像度を小さくしてデータ量を減らすブロックであり、例えば、明度変換後画像データを主副1/4に間引く等の処理を行う。
また、変化量修正部1003は、変化量の画像平面におけるエッジと低周波数成分を残すように、変化量を修正するブロックである。ここで、変化量修正部1003に入力される変化量は、解像度低減処理部1002で低解像度に変換された明度変換後画像データの色に基づいて算出されているので、前出の変化量修正部107に入力される変化量に比べて低周波成分の割合が大きくなっている。このため、変化量修正部1003は処理範囲を小さくしても同様の効果を得ることができる。即ち、図8(a)に示したフロー図の繰り返し回数を減らして、処理を簡素化することが可能になっている。
解像度復元処理部1004は、エッジと低周波数成分を残すように修正された変化量の解像度を、明度変換後画像データの解像度に合わせるブロックであり、例えば上述したように明度変換後画像データを主副1/4に間引いている場合は、主副4倍に、ニヤレストネイバー法,バイリニア法,バイキュービック法等によって変換する。
これにより、色補正部108は、解像度が合わされた変化量(ΔLCh2)に基づいて、明度変換部105が出力する明度変換画像データ(LCh2)の色を補正することができる。
以上のように本実施例によれば、解像度低減処理部1002と解像度復元処理部1004を有しているので、識別性の劣化を少なくすることなく、変化量修正部1003における処理をより簡単な構成で実現することができる。
また、以上では、図1などに示したような処理ブロックを有する画像処理装置として本発明を説明したが、本発明の目的は、前述した実施形態の機能を有する画像処理方法として達成しても良い。
図11に、図1に示した画像処理装置と同等の機能を有する画像処理方法の流れ図を示す。
始めに、画像入力装置等に記憶されたAdobeRGBの原画像データを取得する画像データ取得処理(ステップ1101)を行なう。尚、ここでは、画像データの表色方式が暗黙のうちAdobeRGBに決められているとして説明するが、予め画像入力装置等と通信を行って表色方式を決めるような処理を追加しておいても良い。
次に、表色変換処理(ステップ1102)を行って、入力された画像データを、内部で取り扱う表色方式に変換する。表色変換処理(ステップ1102)では、例えば上述した(1)〜(6)式の変換を行って、CIELAB表色値の円筒座標系であるLCh1等に変換する。
次に、明度変換処理(ステップ1103)では、原画像データが表現可能な明度域と画像出力装置103等が出力可能な明度域等に基づいて、画像出力装置の明度域内に原画像データの明度を変換して出力する処理を行う。ここで、原画像データが表現可能な明度域は、上述の表色形式によって定まる。また、画像出力装置が出力可能な明度域は、画像出力装置103が出力可能な色域によって定まり、例えば予め画像出力装置103と通信を行って取得されている。
次に、変化量算出処理(ステップ1104)では、前記明度変換処理(ステップ1103)で変換した画像データの色を、所定の色再現範囲内の色に変換した際の、色の変化量(ΔLCh1)を算出する。ここで、所定の色再現範囲とは、例えば前述した画像出力装置103の色再現範囲あるいはそれを補正した色再現範囲である。また、その際の変換の方法としては、例えば、上述した代表的な変換方法を使用することができる。尚、以下では、色相保存変換法を使用した場合を例に説明するが、本発明はこれに限るものではない。
次に、変化量修正処理(ステップ1105)では、前記変化量算出処理(ステップ1104)で算出した変化量(ΔLCh1)の画像平面におけるエッジと低周波数成分を残すように、前記変化量算出手段が算出した変化量を、平面的に近傍の前記変化量算出手段が算出した変化量とに基づいて修正して出力(ΔLCh2)する。
次に、色補正処理(ステップ1106)では、前記変化量修正処理(ステップ1105)で修正した変化量(ΔLCh2)に基づいて、明度変換処理(ステップ1103)で変換した明度変換画像データ(LCh2)の色を補正して、色補正画像データ(LCh3)を出力する。ここでは、例えば(7)式に示したような処理が行われる。
次に、色変換処理(ステップ1107)では、前記色補正処理(ステップ1106)が補正した色補正画像データ(LCh3)を、前述した画像出力装置103等の色再現範囲あるいはそれを補正した色再現範囲の色に変換する。その際の変換の方法としては、例えば、色相保存変換法を始めとする上述した代表的な変換方法を使用することができる。尚、本実施例では、画像出力装置103としてカラープリンタが使用しているので、色変換処理1107が出力する出力画像データは、カラープリンタで使用されるシアン(C),マゼンタ(M),イエロー(Y)及び黒(K)の色材記録信号(CMYK)となっている。
また、最後に色変換処理(ステップ1107)で変換した画像データを画像出力装置103等に送出する画像データ送出処理(ステップ1108)を行う。
以上のように、本実施例は、図1の画像処理装置が有するブロックと同等の機能を有する処理ステップを有しているので、入力された画像データを画像出力装置の色再現範囲内の画像データに変換する際に、高精度かつ簡単な構成でありながら、入力された画像データの識別性の劣化を少なくすることができた。
尚、図9、10に示した画像処理装置と同等の機能を有する画像処理方法も、同様に実現することができるので説明は省略する。
また、本発明の目的は、前述した実施例の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(CPUやMPU)が記憶媒体に格納されたプログラムコードを読出し実行することによっても達成される。この場合、記憶媒体から読出されたプログラムコード自体が前述した各実施例の機能を実現することになる。プログラムコードを供給するための記憶媒体としては、例えば、ハードディスク、光ディスク、光磁気ディスク、不揮発性のメモリカード、ROMなどを用いることができる。また、コンピュータが読出したプログラムコードを実行することにより、前述した実施例の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているOS(オペレーティングシステム)などが実際の処理の一部または全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれる。さらに、記憶媒体から読出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した各実施例の機能が実現される場合も含まれる。本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。また、本発明の実施例の機能等を実現するためのプログラムは、ネットワークを介した通信によってサーバから提供されるものでも良い。
101 画像入力装置
102 画像処理装置
103 画像出力装置
104 表色変換部
105 明度変換部
106 変化量算出部
107 変化量修正部
108 色補正部
109 色変換部
特開2001−169136号公報 特許第3865696号公報
「Efficient hue−preserving and edge−preserving spatial color gamut mapping(15th Color Imaging Conference)」

Claims (7)

  1. 入力された画像データを、画像出力装置の色再現範囲内の画像データに、変換する処理を行う画像処理装置であって、前記入力された画像データの色を、第1の色再現範囲内の色に変換した際の、色の変化量を算出する変化量算出手段と、少なくとも前記変化量算出手段が算出した変化量の画像平面におけるエッジと低周波数成分を残すように、前記変化量算出手段が算出した注目の変化量を、平面的に近傍の変化量に基づいて修正する変化量修正手段と、前記変化量修正手段が修正した変化量に基づいて、前記入力された画像データの色を補正する色補正手段と、前記色補正手段が補正した画像データの色を、第2の色再現範囲内の色に、変換する色変換手段とを少なくとも有することを特徴とする画像処理装置。
  2. 前記入力された画像データの属性情報を設定する属性情報設定手段を有し、前記変化量算出手段は、前記属性情報設定手段が設定した属性に基づいて、色の変化量を算出することを特徴とする請求項1記載の画像処理装置。
  3. 前記変化量算出手段は、前記入力された画像データの色の色相を保持して第1の色再現範囲内の色に変換した際の色の変化量を算出することを特徴とする請求項1または2記載の画像処理装置。
  4. 画像データの解像度を小さくする低解像度変換手段と、前記低解像度変換手段に対応して画像データの解像度を元に戻す解像度復元手段とを有し、前記変化量算出手段は、前記低解像度変換手段により処理された前記入力された画像データの色を、第1の色再現範囲内の色に変換した際の、色の変化量を算出し、前記色補正手段は、前記解像度復元手段により処理された前記変化量修正手段が修正した変化量に基づいて、前記入力された画像データの色を補正することを特徴とする請求項1乃至3のいずれか1項に記載の画像処理装置。
  5. 入力された画像データを、画像出力装置の色再現範囲内の画像データに、変換する処理を行う画像処理方法であって、前記入力された画像データの色を、第1の色再現範囲内の色に変換した際の、色の変化量を算出する変化量算出工程と、少なくとも前記変化量算出工程が算出した変化量の画像平面におけるエッジと低周波数成分を残すように、前記変化量算出工程が算出した注目の変化量を、平面的に近傍の変化量に基づいて修正する変化量修正工程と、前記変化量修正工程が修正した変化量に基づいて、前記入力された画像データの色を補正する色補正工程と、前記色補正工程が補正した画像データの色を、第2の色再現範囲内の色に、変換する色変換工程とを少なくとも有することを特徴とする画像処理方法。
  6. 請求項5記載の画像処理方法をコンピュータに実現させるためのプログラム。
  7. 請求項5記載の画像処理方法をコンピュータに実現させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
JP2009096793A 2009-04-13 2009-04-13 画像処理装置、画像処理方法、プログラムおよび記録媒体 Expired - Fee Related JP5267803B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009096793A JP5267803B2 (ja) 2009-04-13 2009-04-13 画像処理装置、画像処理方法、プログラムおよび記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009096793A JP5267803B2 (ja) 2009-04-13 2009-04-13 画像処理装置、画像処理方法、プログラムおよび記録媒体

Publications (2)

Publication Number Publication Date
JP2010251883A JP2010251883A (ja) 2010-11-04
JP5267803B2 true JP5267803B2 (ja) 2013-08-21

Family

ID=43313761

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009096793A Expired - Fee Related JP5267803B2 (ja) 2009-04-13 2009-04-13 画像処理装置、画像処理方法、プログラムおよび記録媒体

Country Status (1)

Country Link
JP (1) JP5267803B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5577279B2 (ja) * 2011-02-28 2014-08-20 京セラドキュメントソリューションズ株式会社 画像形成装置及び色域補正方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0668251A (ja) * 1992-08-14 1994-03-11 Matsushita Electric Ind Co Ltd 雑音除去の方法並びに装置
JP2906974B2 (ja) * 1994-01-14 1999-06-21 富士ゼロックス株式会社 カラー画像処理方法および装置
JPH09200531A (ja) * 1996-01-18 1997-07-31 Ricoh Co Ltd 画像明度変換装置
JPH09200549A (ja) * 1996-01-19 1997-07-31 Fuji Xerox Co Ltd 画像処理装置
JPH11308448A (ja) * 1998-04-24 1999-11-05 Canon Inc 画像処理装置及び画像処理方法
JP3754944B2 (ja) * 2002-08-30 2006-03-15 キヤノン株式会社 画像処理装置およびその方法
JP3865696B2 (ja) * 2003-02-04 2007-01-10 三菱電機株式会社 色変換装置および色変換方法
JP2005130537A (ja) * 2005-02-08 2005-05-19 Canon Inc 画像処理装置およびその方法
JP2008061069A (ja) * 2006-09-01 2008-03-13 Fuji Xerox Co Ltd 画像処理装置、画像出力装置、端末装置および画像形成システムならびにプログラム
JP4235217B2 (ja) * 2006-09-29 2009-03-11 日本電信電話株式会社 フィルタリング型画像補正装置およびフィルタリング型画像補正方法

Also Published As

Publication number Publication date
JP2010251883A (ja) 2010-11-04

Similar Documents

Publication Publication Date Title
JP4424216B2 (ja) 画像処理装置、画像処理方法、および、画像処理プログラム
US7310167B2 (en) Color converting device emphasizing a contrast of output color data corresponding to a black character
JP4368880B2 (ja) 画像処理装置、画像形成装置、画像処理方法、画像処理プログラム、コンピュータ読み取り可能な記録媒体
US9036199B2 (en) Image processing apparatus for performing color matching processing, image processing method, and computer-readable medium
US8040557B2 (en) Image processing apparatus and image processing method
JP4565642B2 (ja) 画像処理方法および画像処理装置
JP2004192614A (ja) 画像処理装置および画像処理方法並びにプログラムおよび記録媒体
JP2012029276A (ja) 画像形成装置、色調整方法及び色調整プログラム
JP2008028679A (ja) 色変換テーブル生成方法、色変換テーブル及び色変換テーブル生成装置
JP4823051B2 (ja) 結合ルックアップテーブルを生成する方法、画像処理装置、画像形成装置
JP3818098B2 (ja) 画像信号処理方法及び画像信号処理装置
KR20200002683A (ko) 화상 처리 장치, 화상 처리 방법, 및 컴퓨터 프로그램
JP2008092055A (ja) 印刷装置、印刷方法、および、印刷用プログラム
JP2008147937A (ja) 画像処理装置および画像処理方法
US20100328343A1 (en) Image signal processing device and image signal processing program
JP2015122619A (ja) 情報処理装置、情報処理方法、およびプログラム
JP5267803B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP4533277B2 (ja) 画像処理装置、画像処理方法およびテーブル作成方法
US8830509B2 (en) Image processing apparatus, method, and medium for performing density adjustment
JP2008042835A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP2008072550A (ja) 色処理方法、色処理装置、画像形成装置、プログラムおよび記録媒体
JP2005260404A (ja) 画像処理装置
JP5112234B2 (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
JP4926128B2 (ja) 画像処理装置、画像読取装置、画像形成装置、コンピュータプログラム、記録媒体、及び画像処理方法
JP4423016B2 (ja) 画像処理装置、画像処理方法、記憶媒体、プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120313

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120622

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121219

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130410

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130423

LAPS Cancellation because of no payment of annual fees