JP2695074B2 - 測光画像データ収集方法及び露光量決定方法 - Google Patents

測光画像データ収集方法及び露光量決定方法

Info

Publication number
JP2695074B2
JP2695074B2 JP26223391A JP26223391A JP2695074B2 JP 2695074 B2 JP2695074 B2 JP 2695074B2 JP 26223391 A JP26223391 A JP 26223391A JP 26223391 A JP26223391 A JP 26223391A JP 2695074 B2 JP2695074 B2 JP 2695074B2
Authority
JP
Japan
Prior art keywords
size
image
face
pixel
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP26223391A
Other languages
English (en)
Other versions
JPH05100329A (ja
Inventor
隆章 寺下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Holdings Corp
Original Assignee
Fuji Photo Film Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Photo Film Co Ltd filed Critical Fuji Photo Film Co Ltd
Priority to JP26223391A priority Critical patent/JP2695074B2/ja
Priority to US07/958,163 priority patent/US5463470A/en
Publication of JPH05100329A publication Critical patent/JPH05100329A/ja
Application granted granted Critical
Publication of JP2695074B2 publication Critical patent/JP2695074B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Control Of Exposure In Printing And Copying (AREA)

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は測光画像データ収集方法
及び露光量決定方法に係り、より詳しくは、カラー原画
像をカラー複写材料または黒白複写材料に複写するとき
にカラー原画像を多数の画素に分割して測光するときの
測光画像データ収集方法及びカラー原画像をカラー複写
材料または黒白複写材料に複写するときに使用する、人
物の顔の濃度データ等の特徴画像データを抽出して露光
量を決定する露光量決定方法に関する。
【0002】
【従来の技術及び発明が解決しようとする課題】カラー
原画像を複写材料へ複写するためには、カラー原画像を
適正な露光量で露光する必要がある。そこで、従来で
は、カラー原画像を数百個の画素に分割し、この画素毎
に測光した測光データに基づいてカラー原画像を複写す
るための露光量を決定している。
【0003】また、人物写真を観賞するときに最も注目
される部位は、人物の顔であり、品質の良い写真を作成
するためには人物の顔の色と濃度を適正な色と濃度に焼
付ける必要がある。
【0004】この人物の顔の色を適正な色に焼付けるた
めに、肌色データを抽出することによって人物の顔のデ
ータを抽出する方法が提案されている(特開昭52−1
56624号公報、特開昭52−156625号公報、
特開昭53−12330号公報、特開昭53−1456
20号公報、特開昭53−145621号公報、特開昭
53−145622号公報参照)。これによれば、カラ
ー原画像を多数の測光点に分割すると共に各測光点をR
(赤)、G(緑)、B(青)の3色に分解して測光し、
測光データから計算した各測光点の色が肌色範囲内か否
か判断する。そして、肌色範囲と判断された測光点のク
ラスタ(群)を顔の濃度データとしている。
【0005】このように、人物の顔を抽出して露光量を
決定する場合に、顔のサイズが小さいと、カラー原画像
を数万画素に細かく分割して測光する必要がある。
【0006】しかしながら、このようにカラー原画像を
細かく分割して測光するとカラー原画像における顔等の
主要画像に無関係な部位も同一の画素サイズで測光する
ことになるため、顔のサイズが小さい場合には、露光量
を決定するのに不必要な測光データが増加する。このた
め、カラー原画像を解析するのに不都合を生じたり、顔
の抽出を誤ったりすることがある。一方、顔のサイズが
大きい場合には、顔の部位から得られる同一の測光デー
タが増加すると共に顔以外の露光量を決定するのに不必
要な部位も微細に測光してしまう。このため、露光量を
決定する効率が低下してしまう。
【0007】本発明は上記問題点を解決するために成さ
れたもので、カラー原画像の人物の顔等の主要画像サイ
ズに拘わらず最適な測光データを効率よく収集すること
ができる測光画像データ収集方法を提供することを目的
とする。
【0008】また、上記目的に加えて、カラー原画像の
人物の顔等の主要画像の画像サイズに拘わらず最適な測
光データによって主要画像領域を求め、求めた主要画像
領域の測光データに基づいて複写材料への露光量を効率
よく決定することができる露光量決定方法を提供するこ
とを目的とする。
【0009】
【課題を解決するための手段】上記目的を達成するため
に請求項1の発明は、カラー原画像を多数画素に分割
し、分割された画素単位で各画素を赤光、緑光及び青光
の3色に分解して測光し、測光した画像データを収集す
る測光画像データ収集方法において、主要画像サイズに
関連した情報に基づいて前記1画素の大きさを決定して
画像データを収集することを特徴としている。
【0010】請求項2の発明は、請求項1に記載の測光
画像データ収集方法であって、前記主要画像サイズに関
連した情報は、主要被写体のサイズを表すサイズ情報及
び撮影光学系の撮影倍率を表す倍率情報であることを特
徴としている。
【0011】請求項3の発明は、請求項2に記載の測光
画像データ収集方法であって、前記主要画像サイズに関
連した情報は、撮影時の撮影レンズから被写体までの距
離を表す距離情報をさらに有することを特徴としてい
る。
【0012】請求項4の発明は、カラー原画像を多数画
素に分割し、分割された画素単位で各画素を赤光、緑光
及び青光の3色に分解して測光し、測光した画像データ
に基づいてカラー原画像を複写材料へ複写する露光量を
決定する露光量決定方法であって、主要画像サイズに関
連した情報に基づいて前記1画素の大きさを決定して画
像データを収集し、収集した画像データを色相値または
色相値及び彩度値が同一または近似した群に分類し、分
類された各群に対応するように前記カラー原画像を分割
し、分割された前記カラー原画像の各領域及びその近傍
の領域の画像データから画像特徴量を求め、求めた画像
特徴量から主要画像領域を決定し、決定された主要画像
領域の画像データに基づいて複写材料への露光量を決定
する、ことを特徴としている。
【0013】請求項5の発明は、請求項4に記載の露光
量決定方法であって、前記主要画像サイズに関連した情
報は、主要被写体のサイズを表すサイズ情報、及び撮影
光学系の撮影倍率を表す倍率情報であることを特徴とし
ている。
【0014】請求項6の発明は、請求項5に記載の露光
量決定方法であって、前記主要画像サイズに関連した情
報は、撮影時の撮影レンズから被写体までの距離を表す
距離情報をさらに有することを特徴としている。
【0015】
【0016】
【0017】
【作用】請求項1の発明は、主要画像サイズに関連した
情報に基づいて1画素の大きさを決定する。この決定さ
れた1画素の大きさでカラー原画像の各画素を赤光、緑
光及び青光の3色に分解して測光し、測光した画像デー
タを収集する。上記主要画像サイズに関連した情報とし
ては、請求項2に記載した主要被写体のサイズを表すサ
イズ情報、及び撮影光学系の撮影倍率を表す倍率情報、
そして請求項3に記載した撮影時の撮影レンズから被写
体までの距離を表す距離情報がある。これらのサイズ情
報及び倍率情報、またはサイズ情報、倍率情報及び距離
情報を用いることによって主要画像の大きさを特定する
ことができ、これによって測光した画像データから必要
な情報を得るために充分な1画素の大きさを特定するこ
とができる。このように、測光するための1画素の大き
さを適正な大きさに決定することができるので、カラー
原画像における主要画像の大きさに拘わらず最適な測光
データを得ることができる。
【0018】請求項4に記載の発明は、主要画像サイズ
に関連した情報に基づいて1画素の大きさを決定する。
この決定された1画素の大きさでカラー原画像の各画素
を赤光、緑光及び青光の3色に分解して測光し、測光し
た画像データを収集する。上記主要画像サイズに関連し
た情報としては、請求項5に記載した主要被写体のサイ
ズを表すサイズ情報、及び撮影光学系の撮影倍率を表す
倍率情報、請求項6に記載した撮影時の撮影レンズから
被写体までの距離を表す距離情報がある。これらのサイ
ズ情報及び倍率情報、またはサイズ情報、倍率情報及び
距離情報を用いることによって主要画像の大きさを特定
することができ、これによって測光した画像データから
必要な情報を得るために充分な1画素の大きさを特定す
ることができる。次に、収集した画像データを色相値ま
たは色相値及び彩度値が同一または近似した群に分類す
る。そして、分類された各群に対応するように前記カラ
ー原画像を分割し、分割された前記カラー原画像の各領
域及びその近傍の領域の画像データから画像特徴量を求
める。この画像特徴量を求めるための画像データは、上
記のように決定された必要な情報を得るために充分な大
きさの画素から得られるため、主要画像の大きさに応じ
て最適な画像データが得られる。求めた画像特徴量から
主要画像領域を決定し、決定された主要画像領域の画像
データに基づいて複写材料への露光量を決定する。この
ように、1画素の大きさを決定した後画像データを得
て、主要画像領域を決定するため、主要画像の大きさに
拘わらず最適な画素数による測光データを得ることがで
きることにより高い確度で主要画像領域を決定でき、主
要画像の色再現性の良い露光量を決定できる。
【0019】
【実施例】以下図面を参照して本発明の実施例を詳細に
説明する。本実施例は、オートプリンタに本発明を適用
したものである。
【0020】図1に示されるように、本実施例のオート
プリンタは、カラーネガフィルム10を搬送する搬送ロ
ーラ12を備えている。この搬送ローラ12のカラーネ
ガフィルム10搬送方向上流側には、磁気ヘッド50が
配設されている。この磁気ヘッド50はカラーネガフィ
ルム10に記録された撮影時の情報を読み取り可能な位
置に配置している。磁気ヘッド50は、磁気ヘッド50
の出力を増幅する増幅器52及びアナログ−デジタル
(A/D)変換器54を介して顔抽出回路36に接続さ
れている。
【0021】また、搬送ローラ12によって搬送される
カラーネガフィルム10の下方には、光源14、調光フ
イルタ等の色補正フィルタ16および拡散ボックス18
が順に配列されている。
【0022】一方、カラーネガフィルム10の上方に
は、カラーネガフィルム10を透過した光線を2方向に
分配する分配用プリズム20が配置されている。分配用
プリズム20によって分配された一方の光路上には、投
影光学系22、ブラックシャッタ23及びカラーペーパ
ー(印画紙)24が順に配列され、他方の光路上には投
影光学系26及びCCDイメージセンサ28が順に配列
されている。
【0023】投影光学系22は、ズームレンズで構成さ
れており、カラーネガフィルム10の画像コマ60の全
ての画素がCCDイメージセンサ28によって測光可能
な倍率に設定されている。
【0024】このCCDイメージセンサ28は、カラー
ネガフィルム10の1画面(1コマ)全体を多数の単位
領域(例えば512×512)に分割して各単位領域を
R(赤)、G(緑)、及びB(青)の3色に分解して測
光する。CCDイメージセンサ28は、CCDイメージ
センサ出力を増幅する増幅器30及びアナログ−デジタ
ル(A/D)変換器32を介してCCDイメージセンサ
の感度補正用の3×3マトリックス回路34に接続され
ている。
【0025】3×3マトリックス回路34は、以下で説
明するルーチンのプログラムを記憶したマイクロコンピ
ュータで構成された顔抽出回路36を介して適正露光量
計算回路40に接続されると共に、1画面全体の平均濃
度を演算する平均濃度演算回路38を介して適正露光量
計算回路40に接続されている。そして、適正露光量計
算回路40は、色補正フイルタを駆動するドライバ42
を介して色補正フィルタ16に接続されている。
【0026】カラーネガフィルム10には、主要画像サ
イズに関連した情報としてのカメラ情報が磁気的に記録
されている。このカメラ情報から主要画像サイズZが得
られる。主要画像サイズZは、主要被写体のサイズを表
す情報としての主要被写体のサイズZ0、撮影倍率を表
す情報としての撮影倍率mを用いて以下に示した式
(1)によって求めることができる。なお、この主要被
写体のサイズZ0には、例えば、顔の長径、短径、長径
及び短径の平均値、周囲長等を用いることができる。こ
の長さを情報として記録してもよく、上記の長さに対応
した標準的な長さから選択して用いてもよい。
【0027】 Z=Z0・m −−−−−(1) 上記主要画像として、本実施例では微妙な色再現が要求
される人物の顔を採用する。この主要画像は人物に限定
されるものではなく、適正な色再現を行ないたい画像領
域であってもよい。なお、主要画像サイズ(以下顔サイ
ズ)Zはカメラによって求めて記録してもよく、主要被
写体(実物の顔)のサイズZ0、撮影倍率mをカメラ側
で記録しておきオートプリンタ側で顔サイズZを求めて
もよい。更に、上記値に基づいてオートプリンタ側で顔
サイズZを求めてもよい。また、撮影レンズから人物ま
での距離Lを用いて上記顔のサイズZを求めてもよい。
【0028】なお、上記カメラ情報は、カラーネガフィ
ルム10に磁気的に記録したが、情報を記録できるもの
であればよく、バーコードや光学マーク等によって光学
的に記録してもよい。この情報が光学的に記録されてい
る場合の情報の読み取りは、上記磁気ヘッドの代わりに
光電センサ等の検出器を配設することにより行なう。検
出器からは情報に応じて信号が出力され、この信号に基
づいて情報を読み取ることができる。また、情報を、カ
ラーネガフィルム10に記録することなく、LSIカー
ドやICカード等の記憶媒体に記憶してもよい。
【0029】次に本実施例の作用を説明する。現像処理
が終了したカラーネガフィルム10は、オートプリンタ
の所定位置に設置される。焼付処理が開始されるとカラ
ーネガフィルム10の焼付処理する画像コマが焼付位置
まで搬送される。この搬送時には、磁気ヘッド50は、
カラーネガフィルム10に記録された情報を読み取り、
読み取った情報に応じた信号を出力する。この出力信号
は増幅器52で増幅された後、A/D変換器54でデジ
タル信号に変換され、顔抽出回路36に入力される。
【0030】画像コマが焼付位置に至ると焼付処理が開
始される。光源14から照射された光線は、色補正フィ
ルタ16、拡散ボックス18及びカラーネガフィルム1
0を透過し、分配用プリズム20によって分配され、投
影光学系26を介してCCDイメージセンサ28に受光
される。なお、このときブラックシャツタ23は閉じら
れている。
【0031】この受光によってCCDイメージセンサ2
8は、1画面全体を多数の単位領域に分割して各単位領
域をR、G、B3色に分解して測光し、測光データ信号
を出力する。測光データ信号は増幅器30で増幅された
後A/D変換器32でデジタル信号に変換され、3×3
マトリックス回路34でイメージセンサの感度補正が行
われ、顔抽出回路36と平均濃度演算回路38に入力さ
れる。平均濃度演算回路38では、1画面全体の平均濃
度を演算する。
【0032】顔抽出回路36では、詳細は後述するが、
カラーネガフィルム10に記録された顔のサイズZに基
づいて画像コマ60を分割し、この1分割領域を測光画
素(以下、画素)62とする。この画素62は1以上の
単位領域からなる単位領域群によって構成されている。
この単位領域群の平均測光データを画素62の測光デー
タとし、この測光データとカメラ情報とに基づいて1画
面中の人物の顔(主要画像)の部位を推定し、顔と推定
された部位のR、G、B3色測光データを出力する。露
光量演算回路40は、顔抽出回路36から出力された3
色測光データと平均濃度演算回路38で求められた平均
濃度とを用いて露光量を演算し、ドライバ42を介して
色補正フイルタ16を制御すると共にブラックシャッタ
23を開閉して焼付けを行う。
【0033】なお、平均濃度演算回路38で求めた平均
濃度を用いるとき、平均濃度に対する露光補正量を求め
ることができる。露光補正量を求めない場合、必ずしも
平均濃度演算回路38を必要とせず、直接顔抽出回路3
6から出力された3色測光データより露光量を求めても
よい。
【0034】また、上記単位領域群によって形成される
画素のデータとしての平均測光データは、上記のように
演算によって求めるのではなく電気回路を構成してその
出力値を用いてもよい。
【0035】ここで、本発明者は、カラーネガフィルム
10に記録された顔の領域から、特徴量を見いだすため
に必要な画素数は、顔の大きさに拘わらず少なくとも縦
横各々10画素づつであることが望ましいことを実験に
より得た。
【0036】例えば、標準画像コマサイズ(35x24
mm)のカラーネガフィルム10に記録されているサイズ
が3mmである顔の特徴を抽出するためには、3x3mm2
内に100画素が必要である。このため、標準画像コマ
サイズの画像コマ60を測光するためには、 {(35・24)/(3・3)}・100=9280 画素が必要である。同様に顔のサイズが1mmである顔の
特徴を抽出する場合、 {(35・24)/(1・1)}・100=84000 画素が必要になる。したがって、顔のサイズが1mmであ
っても測光できるように画素のサイズを1単位領域に固
定して顔の領域を抽出処理すると、顔のサイズが大きく
なるにしたがって、不要な細かい画素で測光した測光デ
ータから顔の特徴を抽出することになり無駄な処理が増
加する。
【0037】そこで、本実施例では、最小の顔のサイズ
において顔の特徴を抽出するのに必要な画素数になるよ
うに投影光学系26のズーム比を設定する。そして、読
み取ったカメラ情報から顔のサイズZを演算した後、顔
の画像領域が10x10の画素になるように、1画素の
単位領域数を求めている。すなわち、顔のサイズZが求
められると以下の式(2)によって、画像コマ60の一
方向の画素数NAを求め、求めた画素数NAから以下の
式(3)によって、画素62内に含まれる一方向の単位
領域数Nを求める。なお、本実施例では、画素62内の
縦横の単位領域数を同一にして、単位領域数を増減させ
ることにより画素62の大きさが均一に拡大縮小するよ
うにした。また、画素62内の縦横の単位領域数が異な
るようにしてもよい。
【0038】 NA=(J/Z)・10 −−−−−(2) N =U/NA −−−−−(3) 但し、J:画像コマ60の一辺の長さ U:画像コマ60の一辺の長さに対応する方向のCCD
イメージ センサ28の単位領域数(本実施例では512個) 上記値は全て自然数になるように小数点は切り捨てる 図4には、画素62の大きさを決定する過程のイメージ
図を示した。例えば、図4(1)に示した顔のサイズが
3mmの顔領域64Aの場合には、図4(2)左側に示し
た顔領域64Aを縦横10x10に分割した1領域が1
画素になる。そして、上記式(2)、(3)から一方向
の単位領域数Nを求める。これにより、一方向の単位領
域数Nは4として得られ、1画素62は図4(3)に示
した16単位領域からなる単位領域群になる。したがっ
て、上記説明したように画素62から得られる平均測光
データを1測光データとして用いることにより、顔の領
域64Aから、特徴量を見いだすに充分なデータを得る
ことができる。同様に、顔のサイズが1mmの場合には、
単位領域数Nが1になり、顔の領域64Bから、特徴量
を見いだすに充分なデータを得ることができる。
【0039】図2は顔抽出回路36による顔抽出処理の
メインルーチンを示すものであり、ステップ80では、
顔のサイズZに基づいて最適な画像コマ60の画素62
のサイズを演算する。次のステップ82では、ステップ
80で求めた画素62毎の平均測光データを演算する。
次のステップ84では、この測光データに基づいて顔抽
出を行ない、ステップ88において全画像コマ60の焼
付処理が終了したか否かを判断し、焼付が終了と判断さ
れた場合には本ルーチンを終了する。
【0040】次に、上記ステップ80の詳細について説
明する。図3は、ステップ80の詳細を示すもので、ス
テップ90においてカラーネガフィルム10に記録され
たカメラ情報を読み取る。読み取りが終了するとステッ
プ92において上記式(1)に基づいて顔のサイズZを
演算する。顔のサイズZが演算された後にはステップ9
4において画素の大きさを演算し、本ルーチンを終了す
る。
【0041】なお、上記では、画素62の単位領域数を
変えて仮想的に顔の領域を10x10に分割して1画素
にするしたが、CCDイメージセンサの1単位領域が1
画素に対応するように投影光学系26のズーム比を決定
し、顔の領域内に10x10画素を含むようにしてもよ
い。
【0042】次に、上記ステップ84の顔抽出ルーチン
を図5を参照して説明する。ステップ100では、入力
された3色測光データのノイズ除去、すなわちスムージ
ングを行う。次のステップ102では下記の(4)〜
(6)式によってR、G、B3色測光データをH(色相
値)、L(明度値)、S(彩度値)に変換する。
【0043】 L=(R+G+B)/3 ・・・・(4) S=1−min(r’,g’,b’)・・・・(5) H=H’/2Pi ・・・・(6) ただし、R、G、Bは図6の3次元色座標に示すように
各々最小値が0、最大値が1になるように規格された3
色測光データ、min( )は( )内の数値の最小
値、r’、g’、b’はr’=R/L、g’=G/L、
b’=B/Lを表す。またH’は次の(7)式で与えら
れ、Pi(iは、R、G、Bのうちの1つ)は図6のP
である。
【0044】
【数1】 ただし、
【0045】
【数2】 ステップ104では、図7(1)に示すように、各々直
交する色相値軸、彩度値軸及び画素数軸から成る座標系
を用いて色相値及び彩度値についての2次元ヒストグラ
ムを求め、次のステップ106において後述するよう
に、求めた2次元ヒストグラムを山毎に分割する、すな
わち2次元ヒストグラムのクラスタリングを行う。次の
ステップ108ではクラスタリングされた2次元ヒスト
グラムの山に基づいて多数の画素のクラスタリングを行
い、このクラスタリングに基づいて画面を分割し、分割
された領域から人物の顔の候補となる領域を抽出する。
次のステップ110では、詳細は後述するが顔の候補と
して抽出された領域とカメラ情報とに基づいて顔の領域
を推定し、顔として推定された領域のR、G、B3色測
光データを出力し、このルーチンを終了する。
【0046】次に、上記ステップ106〜110の詳細
を説明する。図8はステップ106の詳細を示すもの
で、ステップ120において色相値及び彩度値について
の2次元ヒストグラムから評価すべき領域を切り出す。
図7では説明を簡単にするため1コマを評価領域とし
た。ステップ122では評価領域があるか否か判断す
る。ステップ120で評価領域が切り出せなかったと
き、すなわち全ての領域の評価が終了したときには評価
領域がないため、このルーチンを終了する。評価領域が
ある場合には、ステップ124において山切り出し用ヒ
ストグラムを作成するためのX、Y軸の決定を行う。す
なわち、評価領域を画素数軸と平行な軸を中心に回転さ
せ、ヒストグラムの山を横から見たときに多峰性を優先
しかつ山が最も尖鋭となる位置を求め、この位置を基準
にX、Y軸を決定する。処理時間の短縮が必要な場合
は、精度が多少低下するが、X、Y軸としてヒストグラ
ムの分散が最大となる軸を用いてもよい。図7(1)の
例では、1〜4の符号を付した4つの山を横から見たと
きに多峰性を優先しかつ山が最も尖鋭になる位置は3つ
の山が見える位置であるので見る方向と直交する方向に
X軸を定め、このX軸と直交する方向にY軸を定めてい
る。
【0047】次のステップ126では、2次元ヒストグ
ラムをX、Y軸に投影させて各々1次元ヒストグラムを
作成する。図7(1)の例では、X軸と直交する方向か
ら見ると1、2の符号を付した山が重なって見えるため
X軸についての1次元ヒストグラムには、符号3を付し
た山、符号1、2を付した山、符号4を付した山の3つ
の山が現れ、Y軸と直交する方向から見ると1〜4の符
号を付した山が重なって見えるためY軸についての1次
元ヒストグラムには1つの山が現れている。次のステッ
プ128では、次の(8)式によってヒストグラムを評
価関数H(a)に変換しこの評価関数に基づいてX軸に
ついてのヒストグラムから山の切り出しを行う。
【0048】
【数3】 ただし、f(a)はX軸方向の値(特徴量)がaのとき
の画素数、xは特徴量aからの変位である。
【0049】すなわち、評価関数H(a)の平均値Tを
求め、評価関数H(a)の平均値T以下の範囲(谷、裾
部の存在範囲)を求める。次に、この範囲内のヒストグ
ラムが最小の位置をヒストグラムの谷または裾部とす
る。そして、求められた谷または裾部でヒストグラムを
切り出す。
【0050】上記山の切り出しを図9を参照して説明す
ると、実線SIで表わされたヒストグラムから評価関数
H(a)を求めると図の破線で示すようになる。この評
価関数H(a)が負の部分に関しての平均値T以下の範
囲は特徴量がv0〜v1、v2〜v3の範囲である。こ
の範囲内のヒストグラムの度数が最小の位置は、範囲v
0〜v1ではav0=v0、範囲v2〜v3ではav1
であり、av0が裾部として、av2が谷として各々求
められ、この位置でヒストグラムの切り出しを行う。
【0051】ステップ130ではX軸についてのヒスト
グラムの山の切り出しと同様の方法でY軸についてのヒ
ストグラムの山の切り出しを行う。次のステップ132
では、2次元ヒストグラム上で上記のように切り出され
たX軸、Y軸についての1次元ヒストグラムの山が重な
る領域を求め、色相値及び彩度値についての2次元ヒス
トグラムから山の切り出しを行う。図7(1)の領域E
1は上記のようにして切り出した山の一例を示すもので
ある。
【0052】次のステップ134では、2次元ヒストグ
ラムから切り出された山が単峰か否か判断し、単峰でな
い場合は2次元ヒストグラムから切り出された山が単峰
になるまでステップ124〜ステップ134を繰り返
す。図7(3)の領域E2は、上記のようにして切り出
された単峰の山の一例を示すものである。
【0053】次のステップ136では、切り出された単
峰の山を識別するためのラベルを付ける処理(ラベリン
グ)を行い、ステップ138ではラベリングされた山を
マスクしてステップ120へ戻る。そして、上記のステ
ップを繰り返して色相値及び彩度値についての2次元ヒ
ストグラムの全領域を単峰の山に分割する。
【0054】図10は図5のステップ108の詳細を示
すもので、ステップ140では、上記のようにして分割
された単峰の山のX軸方向の範囲XR(図7(3))及
びY軸方向の範囲YR(図7(3))を単峰の山毎に各
々求め、原画像の各画素について色相値及び彩度値がこ
れらの範囲に属しているかを判断して画素のクラスタリ
ングを行うと共に、範囲XR、YRで囲まれた範囲に属
している画素を集め、集めた画素が原画像上で1つの領
域となるように原画像を分割する。また、分割された領
域にナンバリングする。
【0055】図7(2)は、原画像を分割した例を示す
もので符号1〜4を付した各領域の画素は、図7(1)
の、符号1〜4を付した単峰の山に含まれる画素に対応
している。図7(1)で同じ単峰の山に属している画素
が図7(2)では異る領域に分割されているが、これは
図7(1)では単峰の山の色相値範囲及び彩度値範囲を
持つ画素であるが、図7(2)では領域が分かれている
からである。
【0056】次のステップ142では、分割された領域
の面積を判断することにより微小領域を除去し、ナンバ
リングをし直す。次のステップ144では、領域の境界
画素をすべて削除してひと皮分取り除く収縮処理と、収
縮処理とは逆に境界画素を背景画素方向へ増殖させてひ
と皮分太らせる膨張処理とを行って大領域と繁がってい
る小領域を大領域から分離する。次のステップ146で
はステップ142と同様に微小領域を除去してリナンバ
リングを行い、ステップ148で弱い結合をしている領
域同士を分離するために、上記と同様の収縮、膨張処理
を行い、ステップ150において上記と同様に微小領域
の除去とリナンバリングを行う。
【0057】図11はステップ110の詳細を示すもの
で、ステップ162において原画像に対応するカラーネ
ガフィルム10に記録されたカメラ情報を取り込み、上
記説明したように式(1)に従って顔のサイズを演算す
る。
【0058】顔のサイズを演算した後、ステップ163
において、ステップ108、すなわち図10のルーチン
で抽出された領域の中から1つの領域を注目領域として
順に選択し、この注目領域の水平フィレ径および垂直フ
ィレ径を演算し、注目領域の画像サイズを導出する。な
お、注目領域の最大長及び最大長垂直幅から注目領域の
画像サイズを求めてもよい。
【0059】ステップ164では、導出された注目領域
の画像サイズと演算された顔のサイズZとを比較する。
ステップ166では抽出された全領域について比較が終
了したか否か判断し、終了していないときには上記画像
サイズの比較を繰り返す。全ての画像サイズの比較が終
了するとステップ168において比較値が最も大きな領
域を顔の画像領域と決定し、決定された領域のR、G、
B測光データを適正露光量計算回路40に出力する。
【0060】このR、G、B測光データを出力するとき
には、上記説明したように、顔のサイズまたは撮影倍率
に基づいて決定された1以上の単位領域からなる画素の
平均測光データが用いられているため、顔のサイズが大
きな場合であっても不必要に微細な測光データが出力さ
れることなく、適正なデータが出力される。
【0061】適正露光量計算回路40は、顔抽出回路3
6で上記のように抽出された顔領域のR、G、B測光デ
ータと平均濃度演算回路38で演算された1コマの画面
平均濃度Di (i=R、G、Bのうちのいずれか)とを
用いて以下の式に従って適正露光量Ei を演算し、ドラ
イバ42に出力する。ドライバ42は適正露光量Ei
ら露光コントロール値を演算して調光フイルタ16を制
御する。
【0062】 logi =LMi ・CSi ・(DNi −Di ) +PBi +LBi +MBi +NBi +K1 +K2 ……(9) ただし、各記号は次のものを表す。
【0063】LM:倍率スロープ係数であり、カラーネ
ガフィルムの種類とプリントサイズから決まる引伸倍率
に応じて予め設定されている。
【0064】CS:カラーネガフィルムの種類毎に用意
されたカラースロープ係数でアンダー露光用とオーバー
露光用とがあり、プリントすべきコマの平均濃度が標準
ネガ濃度値に対してアンダーかオーバーかを判定してア
ンダー露光用またはオーバー露光用のいずれかが選択さ
れる。
【0065】DN:標準ネガ濃度値 D :プリントコマの平均濃度値。
【0066】PB:標準カラーペーパーに対する補正バ
ランス値であり、カラーペーパーの種類に応じて決定さ
れている LB:標準焼付レンズに対する補正レンズバランス値で
あり、焼付レンズの種類に応じて決定されている MB:プリント光源の変動やペーパー現像性能の変化に
対する補正値(マスターバランス値) NB:カラーネガフィルムの特性によって定められるネ
ガバランス(カラーバランス)値。
【0067】K2 :カラー補正量 K1 :以下の式で表される濃度補正量
【0068】
【数4】 ここで、Ka 、Kb は定数であり、FDは顔領域平均濃
度である。
【0069】また、上記(9)式の濃度補正量K1 をフ
ィルム検定装置によって求められた補正値とし、カラー
補正量K2 を次のように顔領域平均濃度を用いて表して
もよい。
【0070】
【数5】 ただし、Kc は定数である。
【0071】更に、上記(9)式の濃度補正量K1 、カ
ラー補正量K2 をフィルム検定装置によって求められた
補正量とし、(9)式のプリントコマの平均濃度Di
顔領域の平均濃度FDi 置きかえて露出量を求めてもよ
い。
【0072】このように、本実施例では、カラーネガフ
ィルム10上の顔のサイズに応じて画素の大きさが決定
された画素の測光データによって顔画像領域を抽出する
ことができるため、短時間で精度よく顔の領域を特定す
ることができる。また、顔のサイズに応じて画素の大き
さ、すなわち最適な単位領域数による測光点のサイズが
決定されるため、カラー原画像の主要画像のサイズに拘
わらず適正な測光データを得ることができ、再現性の良
好なプリントを作成できる。
【0073】なお、ステップ108で抽出された候補領
域の各々について注目領域の形状及び色情報と注目領域
の周辺に位置する領域である近傍領域の形状及び色情報
とから注目領域が顔か否かを判断してもよい。例えば、
注目領域の周辺に注目領域と同一色相値、及び彩度値ま
たは近似した色相値及び彩度値を持ち、かつ、画像サイ
ズが注目領域の画像サイズの所定の範囲の領域が抽出さ
れているか否か判断することによって、判断の対象とな
る範囲を人物の身体が存在する範囲とすることができ
る。人物の体は、通常左右軸対象でかつ上下方向に非対
象であると共に顔に連続しているので、注目領域と連続
する領域が存在しかつその領域が左右軸対象でかつ上下
非対象かを判断することにより人物の体に対応する領域
が存在するか否かを判断することができる。ここで、頭
部は顔と隣接し、顔と統合したとき略惰円形になり、通
常頭部には帽子、頭髪等が存在するから色相または彩度
が顔と相異している。従って、注目領域に隣接する領域
についてこの領域の周囲長と、注目領域との隣接部の境
界長との比が30%以上であるか、注目領域と隣接する
領域とを統合したときの円形度が向上するか、注目領域
の色相値と注目領域に隣接する領域の色相値との色相差
に対する彩度値差または明度値差が大きいか、注目領域
に隣接する領域の彩度値または明度値が注目領域に比較
して小さいかを判断することにより頭部が存在するか否
かを判断することができる。
【0074】また、画像サイズが或る範囲で一致する領
域が顔か否かを判断してもよい。例えば、成人、幼児、
背丈等のバラツキや顔の向きによって顔の領域及び存在
範囲が分散する。このため、複数の標準的な顔の画像、
複数の標準的な体の画像、複数の標準的な頭部の画像を
予め記憶しておいて、注目領域とこれらの標準的な画像
とを比較して顔か否かを判断することができる。
【0075】上記第1実施例では、決定された単位領域
数から形成される1画素の測光データは、各単位領域か
ら得られるデータの平均値であるとしたが、1画素内の
代表的な単位領域のデータを測光データとしてもよく、
また、所定数の単位領域のデータ或いはその平均値を測
光データとしてもよい。
【0076】次に、本発明の第2実施例を説明する。本
実施例は、カラーネガフィルム10に結像された主要画
像(本実施例では、人物の顔)のフォーカス位置および
撮影倍率に基づいて測光エリアを定め、その測光エリア
を測光し、顔抽出処理をするものである。図13に示さ
れるように、フォーカス位置70の情報を読み取り、読
み取った情報と撮影時の撮影倍率mに応じてフォーカス
位置70の周辺に所定の大きさの測光エリア72を定め
る。例えば、多点測距方式のオートフォーカス(AF)
装置を備えたカメラによってフォーカス位置及び撮影倍
率の情報を記録し、この情報を用いる。したがって、こ
のフォーカス位置及び撮影倍率により測光エリア72を
定めることができる。
【0077】図12は顔抽出回路36による顔抽出ルー
チンを示すものであり、ステップ170においてカメラ
情報を読み取る。このカメラ情報は上記第1実施例に用
いたサイズ情報に加えて、本実施例では多点測距装置に
おけるフォーカス位置情報を用いる。なお、フォーカス
点は1つであっても複数点であってもよい。この情報に
基づいてステップ172において、測光エリア72を設
定する。すなわち、予め基準の撮影倍率のときの測光エ
リア72を定めておき、撮影倍率mに応じて測光エリア
72を拡大縮小する。また、このとき、顔のサイズの大
小に応じて上記第1実施例と同様に、画素62を形成す
る単位領域数を増減する。
【0078】ステップ174では、測光エリア72の3
色測光データのノイズ除去(スムージング)を行う。次
のステップ176では上記の(4)〜(6)式によって
R、G、B3色測光データをH(色相値)、L(明度
値)、S(彩度値)に変換する。
【0079】ステップ176では、各々直交する色相値
軸、彩度値軸及び画素数軸から成る座標系を用いて色相
値及び彩度値についての2次元ヒストグラムを求め、次
のステップ178において、求めた2次元ヒストグラム
を山毎に分割(2次元ヒストグラムのクラスタリング)
を行う。次のステップ180ではクラスタリングされた
2次元ヒストグラムの山に基づいて多数の画素のクラス
タリングを行い、ステップ182において、このクラス
タリングに基づいて画面を分割し、分割された領域から
人物の顔の候補となる領域を抽出する。次のステップ1
84では、上記第1実施例と同様に抽出された領域の画
像サイズと顔のサイズとを比較し、一致度の最も高い領
域を顔の領域と推定し、顔として推定された領域のR、
G、B3色測光データを出力する。そして、ステップ1
86において全コマの焼付けが終了したか否か判断し、
焼付終了と判断されたときにこのルーチンを終了する。
ここで、上記顔のサイズが小さい場合には、測光エリア
の変更(縮小)と共に画素の大きさ、すなわち第1実施
例と同様に画素を形成する単位領域数を少なくする。こ
の方法により、小さい人物であっても正確に顔の画像領
域が抽出可能である。また、抽出処理時間も顔のサイズ
によっても変わることはない。一方、顔のサイズが大き
い場合には、画素の大きさを大きく、すなわち単位領域
数を多くして、一度に測光する画素の面積を増加させて
顔の抽出処理を行なう。このようにすることによって、
顔の画像が存在する領域の測光データの演算時間を短縮
でき、処理の短縮化が図れる。
【0080】また、上記顔のサイズが微小であり、1画
素が所定の単位領域(例えば、1)未満であると演算ま
たは推定される場合には、領域抽出を中止し、画面全体
の情報、すなわち、平均濃度演算回路38で求めた平均
濃度から露光量を決定する。このようにすることによっ
て、少ない画像情報から露光量を決定することによる色
再現性の劣化を防ぐことができる。
【0081】本実施例では、フォーカス点及び周辺の領
域から注目領域を特定し顔か否かを判断しているため、
適正な顔の領域を特定することができると共に顔の存在
する領域の決定精度が向上する。更に、人物の顔は主に
フォーカス位置の周辺に存在するので、顔の領域を誤り
無く特定することができると共に、顔の存在性が低い領
域に無駄な抽出時間を費やすことなく、顔の特定が可能
になる。
【0082】なお、上記顔の領域を決定するには、測光
後、顔抽出のための演算処理範囲をフォーカス位置に基
づいて定めてもよい。また、撮影レンズの焦点距離と撮
影レンズから被写体までの距離との関数として顔のサイ
ズ及び画素の大きさを求めてもよい。
【0083】また、上記のように、カラーネガフィルム
上の顔の位置及びサイズが特定される場合には、顔のサ
イズに一致する領域の大きさに画素の大きさを設定し、
得られる測光データから顔の濃度を求めてもよい。
【0084】図14はプリンタまたはプリンタプロセッ
サとは別体の露光量決定装置に本発明を適用した変形例
を示すものである。なお、図14において図1と対応す
る部分には同一符号を付して説明を省略する。また、平
均濃度演算回路38は必ずしも必要ではないが、これに
代えて画面全体のLATDを検出する積算透過濃度検出
回路を用いてもよい。
【0085】図15は、図14の顔抽出回路を複数の顔
抽出回路361 、362 ・・・36nで構成し、並列処
理により露光量を演算するものである。顔抽出回路36
1 、362 ・・・36nは図16のタイムチャートに従
って画像を読込み、露光量を演算し、その結果を出力す
る。図16においてt1 は1コマの画像読込み時間、t
2 は1コマの露光量演算時間、t3 は1コマの露光量演
算結果転送時間であり、t2 >>t1 、t3 である。顔
抽出回路361 はt1 時間で1コマの画像を読込み、t
2 時間で露光量を演算し、t3 時間で演算結果を転送す
る。顔抽出回路361 による1コマの画像読込みが終了
すると同時にフィルムが1コマ分送られ顔抽出回路36
2 による1コマり画像読込みが開始され、顔抽出回路3
1 の露光量演算と顔抽出回路362 の画像読込みとが
並列して行われ、以下同様に顔抽出回路363 、364
・・・36nによって並列処理される。
【0086】mxnのコマを並列処理するに要する時間
Tpは、 Tp=m(t1 +t2 +t3 )+(n−1)t1 である。一方、並列処理を行わない場合の処理時間Ts
は Ts=m・n(t1 +t2 +t3 ) である。従って、
【0087】
【数6】 倍高速化が可能である。
【0088】なお、この並列処理装置は図1のプリンタ
にも適用できる。本発明は写真焼付装置の露光量決定以
外に、ディジタルカラープリンタの露光量決定、複写機
の複写条件決定、カメラの露出量決定、CRT画面の表
示条件決定、磁気画像データからハードコピーを作成す
るときの光量決定における測光データを収集するときに
適用することができる。
【0089】また、本発明は、例えば、画像が表示され
たモニター上で主要画像領域の位置をライトペンやマウ
ス等の指示装置により入力指示する高速性を必要としな
いものや、高い品質を要求するものに指示装置の代わり
に上記説明した情報を読み取る読取装置を用いることに
より、上記実施例と同様の効果が得られる。
【0090】
【発明の効果】以上説明したように本発明によれば、主
要画像サイズに関連した情報に基づいてカラー原画像の
主要画像を抽出することができるため、主要画像の抽出
に要する演算時間を短縮できると共に主要画像の大きさ
に応じてカラー原画像を測光するときの1画素の大きさ
を適正にすることができ、得られる画像の色再現性を良
好にすることができる、という効果が得られる。
【0091】また、主要画像サイズに関連した情報に基
づいて主要画像が存在する領域を特定することができる
ため、主要画像の決定精度が向上する、という効果が得
られる。
【0092】更に、主要画像の存在や抽出可能性が主要
画像サイズに関連した情報より得ることができ、主要画
像領域の存在性が低い領域に費やす無駄な抽出時間を短
縮することや誤った画像の抽出を無くすことができる、
という効果が得られる。
【図面の簡単な説明】
【図1】本発明の実施例のプリンタを示す概略図であ
る。
【図2】顔抽出回路のメインルーチンを示す流れ図であ
る。
【図3】図2のステップ80の詳細を示す流れ図であ
る。
【図4】(1)はカラーネガフィルムの原画像である画
像コマを示す線図である。 (2)は(1)の顔部分を抽出した顔領域を示す拡大図
である。 (3)は測光時の1画素の単位領域数を示すイメージ図
である。
【図5】顔抽出回路の顔抽出ルーチンを示す流れ図であ
る。
【図6】色座標を示す線図である。
【図7】(1)は色相値及び彩度値についての2次元ヒ
ストグラムを示す線図である。 (2)は原画像を分割した状態を示す線図である。 (3)は2次元ヒストグラムから単峰の山を切り出した
状態を示す線図である。
【図8】図5のステップ106の詳細を示す流れ図であ
る。
【図9】ヒストグラムと評価関数を示す線図である。
【図10】図5のステップ108の詳細を示す流れ図で
ある。
【図11】図5のステップ110の詳細を示す流れ図で
ある。
【図12】第2実施例における顔抽出回路の顔抽出ルー
チンを示す流れ図である。
【図13】画像コマのフォーカス点周辺の測光エリアを
示す線図である。
【図14】本発明を適用した露光量演算装置の概略図で
ある。
【図15】複数の顔抽出回路によって並列処理を行う露
光量演算装置の概略図である。
【図16】並列処理のタイムチャートを示す線図であ
る。
【符号の説明】
26 投影光学系 28 CCDイメージセンサ 30 増幅器 36 顔抽出回路 50 磁気ヘッド 60 画像コマ 62 画素 66 単位領域

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】 カラー原画像を多数画素に分割し、分割
    された画素単位で各画素を赤光、緑光及び青光の3色に
    分解して測光し、測光した画像データを収集する測光画
    像データ収集方法において、 主要画像サイズに関連した情報に基づいて前記1画素の
    大きさを決定して画像データを収集することを特徴とす
    る測光画像データ収集方法。
  2. 【請求項2】 前記主要画像サイズに関連した情報は、
    主要被写体のサイズを表すサイズ情報及び撮影光学系の
    撮影倍率を表す倍率情報であることを特徴とする請求項
    1に記載の測光画像データ収集方法。
  3. 【請求項3】 前記主要画像サイズに関連した情報は、
    撮影時の撮影レンズから被写体までの距離を表す距離情
    報をさらに有することを特徴とする請求項2に記載の測
    光画像データ収集方法。
  4. 【請求項4】 カラー原画像を多数画素に分割し、分割
    された画素単位で各画素を赤光、緑光及び青光の3色に
    分解して測光し、測光した画像データに基づいてカラー
    原画像を複写材料へ複写する露光量を決定する露光量決
    定方法であって、 主要画像サイズに関連した情報に基づいて前記1画素の
    大きさを決定して画像データを収集し、 収集した画像データを色相値または色相値及び彩度値が
    同一または近似した群に分類し、 分類された各群に対応するように前記カラー原画像を分
    割し、 分割された前記カラー原画像の各領域及びその近傍の領
    域の画像データから画像特徴量を求め、 求めた画像特徴量から主要画像領域を決定し、 決定された主要画像領域の画像データに基づいて複写材
    料への露光量を決定する、 ことを特徴とする露光量決定方法。
  5. 【請求項5】 前記主要画像サイズに関連した情報は、
    主要被写体のサイズを表すサイズ情報、及び撮影光学系
    の撮影倍率を表す倍率情報であることを特徴とする請求
    項4に記載の露光量決定方法。
  6. 【請求項6】 前記主要画像サイズに関連した情報は、
    撮影時の撮影レンズから被写体までの距離を表す距離情
    報をさらに有することを特徴とする請求項5に記載の露
    光量決定方法。
JP26223391A 1991-10-09 1991-10-09 測光画像データ収集方法及び露光量決定方法 Expired - Fee Related JP2695074B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP26223391A JP2695074B2 (ja) 1991-10-09 1991-10-09 測光画像データ収集方法及び露光量決定方法
US07/958,163 US5463470A (en) 1991-10-09 1992-10-08 Methods of collecting photometric image data and determining light exposure by extracting feature image data from an original image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP26223391A JP2695074B2 (ja) 1991-10-09 1991-10-09 測光画像データ収集方法及び露光量決定方法

Publications (2)

Publication Number Publication Date
JPH05100329A JPH05100329A (ja) 1993-04-23
JP2695074B2 true JP2695074B2 (ja) 1997-12-24

Family

ID=17372931

Family Applications (1)

Application Number Title Priority Date Filing Date
JP26223391A Expired - Fee Related JP2695074B2 (ja) 1991-10-09 1991-10-09 測光画像データ収集方法及び露光量決定方法

Country Status (1)

Country Link
JP (1) JP2695074B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4966077B2 (ja) * 2007-04-12 2012-07-04 キヤノン株式会社 画像処理装置及びその制御方法

Also Published As

Publication number Publication date
JPH05100329A (ja) 1993-04-23

Similar Documents

Publication Publication Date Title
US5463470A (en) Methods of collecting photometric image data and determining light exposure by extracting feature image data from an original image
US6023524A (en) Method for determining amount of exposure
US5497431A (en) Method of extracting characteristic image data and color data conversion device for image processing apparatus
EP0514909B1 (en) Method of determining exposure
US6646760B1 (en) Image processing method and apparatus
JP2695067B2 (ja) 人物の顔のデータの抽出方法及び露光量決定方法
US7164496B2 (en) Image correction apparatus
JP2638691B2 (ja) 露光量決定方法
JP3516786B2 (ja) 顔領域抽出方法及び複写条件決定方法
JP3576025B2 (ja) 主要被写体抽出方法および装置
JP2848749B2 (ja) 特徴画像データの抽出方法
JP2642262B2 (ja) 露光量決定方法
JP2695074B2 (ja) 測光画像データ収集方法及び露光量決定方法
JP2638693B2 (ja) 特徴画像データの抽出方法
JP2638702B2 (ja) 特徴画像データの抽出方法
JPH09281605A (ja) 画像記録装置
JP3575976B2 (ja) 主要被写体抽出方法
JP2638692B2 (ja) 人物の顔のデータの抽出方法及び露光量決定方法
JP2638701B2 (ja) 特徴画像データの抽出方法
JP3386373B2 (ja) 撮影画像の類似性判定方法およびこれを用いた画像処理方法および画像処理装置
JP2923401B2 (ja) 露光量決定方法
JP2763221B2 (ja) 人物の顔のデータの抽出方法
JP2848750B2 (ja) 露光量決定方法
JP2001076149A (ja) 主要被写体抽出方法および装置
US7099048B2 (en) Image reproducing method and image reproducing apparatus

Legal Events

Date Code Title Description
R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (prs date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080912

Year of fee payment: 11

LAPS Cancellation because of no payment of annual fees