JP4136317B2 - 撮像装置及びその制御方法及びその制御プログラム - Google Patents

撮像装置及びその制御方法及びその制御プログラム Download PDF

Info

Publication number
JP4136317B2
JP4136317B2 JP2001027342A JP2001027342A JP4136317B2 JP 4136317 B2 JP4136317 B2 JP 4136317B2 JP 2001027342 A JP2001027342 A JP 2001027342A JP 2001027342 A JP2001027342 A JP 2001027342A JP 4136317 B2 JP4136317 B2 JP 4136317B2
Authority
JP
Japan
Prior art keywords
light emission
histogram
detection
luminance
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001027342A
Other languages
English (en)
Other versions
JP2001296578A5 (ja
JP2001296578A (ja
Inventor
英夫 河原
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP2001027342A priority Critical patent/JP4136317B2/ja
Publication of JP2001296578A publication Critical patent/JP2001296578A/ja
Publication of JP2001296578A5 publication Critical patent/JP2001296578A5/ja
Application granted granted Critical
Publication of JP4136317B2 publication Critical patent/JP4136317B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Studio Devices (AREA)
  • Exposure Control For Cameras (AREA)
  • Stroboscope Apparatuses (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、被写体の照明制御又は閃光撮影制御に関するものである。
【0002】
【従来の技術】
撮像装置においては従来より適正な露出を得るべく、被写体に対し補助光を事前に発光させ、その被写体による反射光の光量に応じて、例えば補助光の発光量や、発光時間等を制御する調光手法が数多く提案されている。
【0003】
撮像装置の従来技術に於ける代表的な調光手法について図2を用いて説明する。
【0004】
図2において、150及び152は撮像光学系であり、被写体像を撮像面上に結像するものである。
【0005】
151は撮像光学系150及び152の間におかれた絞りであり、一般にアフォーカル(平行光)領域に設けられている。
【0006】
161は結像した光量を電気あるいは電荷量に変換する光電変換素子であり、例えばCCD(電荷結合素子)等の撮像素子である。
【0007】
162は撮像素子161から得られた電気量に基づき、撮像された信号を例えば標準的な映像信号に変換するカメラ信号処理回路である。
【0008】
13はカメラ信号処理回路162で信号処理された映像信号を撮影信号として記録する記録装置である。
【0009】
1はカメラ信号処理回路162により信号処理された映像信号の輝度成分を、例えば積分処理などの検波処理を施し露出制御に用いる検波信号を発生させる検波手段である。
【0010】
2は露出制御の基準となる所定の基準値であり、電圧あるいは電荷発生手段である。
【0011】
3は前記検波信号と前記基準値2とを比較しその大小に応じた信号を出力する比較手段である。
【0012】
4は比較手段3による比較結果に基づき発光量を制御する発光制御手段である。
【0013】
5は補助光であるストロボ、6は被写体である。
【0014】
次に、上記の従来例における動作を図3のフローチャートを用いて説明する。
【0015】
同フローチャートを順を追って説明していくと、
ステップS1:このフローの始まりであり、例えば撮像開始スイッチに連動してスタートするものとする。
【0016】
ステップS2:ストロボ5の充電が完了したことを確認する。ストロボの充電が終了していない場合は充電が完了するまで待つ。
【0017】
ステップS3:ストロボ5を所定の光量にて、初期発光を行う。
【0018】
ステップS4:ストロボ5の発光と同時に撮像画を取り込み画像信号に変換する。
【0019】
ステップS5:検波手段1により、撮像信号から露出制御に用いる検波信号を発生させる。
【0020】
ステップS6:発光制御手段により検波信号から露出レベルを判定する。露出が適正であればステップS6へ、露出が不足していればステップS7へ、露出が過多であればステップS8へそれぞれ進む。
【0021】
ステップS7:先の発光と同光量で発光準備し、ステップS10に進む。
【0022】
ステップS8:先の発光不足分に応じ発光量を増して発光準備し、ステップS10に進む。
【0023】
ステップS9:先の発光過多分に応じ発光量を減らして発光準備し、ステップS10に進む。
【0024】
ステップS10:ストロボ5の充電が完了したことを確認する。ストロボの充電が終了していない場合は充電が完了するまで待つ。
【0025】
ステップS11:ストロボ5を本発光すると同時に撮像画をカメラ信号処理回路162にて画像信号に変換し、記録装置13に記録する。
【0026】
ステップS12:このフローを終了する。
【0027】
以上の動作により補助光を発光させた撮影における適正な露光が可能となる。
【0028】
このように、ストロボの初期発光はあらかじめ決められた所定光量にて発光され、本発光は初期発光の検波信号と基準値2とのレベル差の大小関係に基づき、発光制御手段4にて決定されるものである。
【0029】
【発明が解決しようとする課題】
しかしながら、上記従来例で示す撮像装置の構成では、補助光の初期発光時の検波出力を基準に露出制御を行う。この露出の調整は前記検波手段の方式や特性により異なるが、一般的に用いられる検波手法である画面全体の明るさを平均化処理する積分器を用いた平均測光を想定した場合には、主被写体の撮像範囲に占める割合が大きければ適正な露光状態が得られるが、反対に主被写体の撮像範囲に占める割合が少なく、また背景と被写体との距離が離れている場合、あるいは背景色が黒色系の場合においては、上記の積分検波出力が背景の影響を大きく受けてしまい、被写体に対し適正な露光状態を得られないことがある。
【0030】
例えば図4で示すような被写体条件を想定してみる。同図で6は撮影者が撮影しようとしている主被写体、21は遠景にある木、22は撮影者の撮影方向である。また、被写体の照明条件は補助光を必要とする明るさであるものとする。
【0031】
次に、図5に図4で示した被写体条件に於ける撮像装置の撮像画を示す。
【0032】
同図において、5a及び5bは被写体6が一人の場合の撮像画を示す。また、5c及び5dは、5a、5bに対して、同程度の反射率の被写体6が撮像装置から同距離に二人となった場合を示している。
【0033】
同図において、5b及び5dはストロボの発光時に於ける被写体の照明の度合いを模式的に明るさで示したものであり、撮影者(ストロボを含む撮像装置)に近い被写体ほど明るく、背景の木6や、それよりも遠景となる被写体の反射光は非常に暗くなる。
【0034】
この5b及び5dを比較して露出レベルを想定してみると、前記従来例で説明した検波手段を積分検波を前提に考えた場合、検波出力は“5b<5d”という関係となる。これは検波領域25に占める近距離の主被写体の割合が大きいためである。
【0035】
したがって、初期発光を基準とした主発光量の制御を考えると、被写体距離が同等であるにも関わらず5bは補助光の初期発光時の検波出力が5dより小さくなるため、主発光時には前記結果より求められた発光量は“5b>5d”という関係となる。
【0036】
このように、検波方式が上記のような積分検波の場合は検波領域25内の輝度信号の総和が所定のレベルとなるような制御となるために、同図の例の様に画角全体に占める被写体の割合が少なく、背景の占める割合が大きい場合、積分検波を前提とした検波手段の出力は小さくなるため、発光制御手段4は露出不足と判断して補助光の発光量を制御することになり、主被写体の明るさを適当とする制御にはならなず、露出過多となってしまう。
【0037】
このような現象は、一般に被写体位置と背景の明るさや被写体の占める割合等により左右されてしまう。
【0038】
なお、同図に示す25は撮像エリア全体(検波領域)を示す枠である。
【0039】
従って、本発明は上述した課題に鑑みてなされたものであり、その目的は、背景の条件に左右されることなく主被写体を適正に照明又は閃光撮影できるようにしようとするものである。
【0040】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するために、本発明に係わる撮像装置は、被写体像が結像される撮像面上に配置された光電変換手段と、前記光電変換手段により光電変換された電気信号を複数のエリアに分割する分割手段と、前記分割手段により分割された各エリアの電圧あるいは電荷を検出する検出手段と、被写体を照明する発光手段と、前記発光手段が補助発光している時に、前記検出手段により検出された各エリアの検出値に基づいて撮像画像の輝度に関するヒストグラムを算出するヒストグラム演算手段と、前記ヒストグラム演算手段により算出された、輝度に関するヒストグラムにおいて、低輝度レベルと見なされる範囲に属する輝度値を示す領域の分布が所定量を超えた場合に、該低輝度レベルと見なされる範囲に属する輝度値を示す領域を除いた領域の撮像信号に基づいて、前記発光手段による発光量を求める発光量演算手段と、
を具備することを特徴としている。
【0046】
また、本発明に係わる撮像装置の制御方法は、被写体像が結像される撮像面上に配置された光電変換手段を備える撮像装置を制御するための撮像装置の制御方法であって、
前記光電変換手段により光電変換された電気信号を複数のエリアに分割する分割工程と、前記分割工程において分割された各エリアの電圧あるいは電荷を検出する検出工程と、被写体を照明する発光工程と、前記発光工程において補助発光している時に、前記検出工程において検出された各エリアの検出値に基づいて撮像画像の輝度に関するヒストグラムを算出するヒストグラム演算工程と、前記ヒストグラム演算工程において算出された、輝度に関するヒストグラムにおいて、低輝度レベルと見なされる範囲に属する輝度値を示す領域の分布が所定量を超えた場合に、該低輝度レベルと見なされる範囲に属する輝度値を示す領域を除いた領域の撮像信号に基づいて、前記発光工程による発光量を求める発光量演算工程と、を具備することを特徴としている。
【0084】
また、本発明に係わる撮像装置の制御プログラムは、被写体像が結像される撮像面上に配置された光電変換手段を備える撮像装置を制御するための制御プログラムであって、コンピュータに、前記光電変換手段により光電変換された電気信号を複数のエリアに分割する分割工程と、前記分割工程において分割された各エリアの電圧あるいは電荷を検出する検出工程と、被写体を照明する発光工程と、前記発光工程において補助発光している時に、前記検出工程において検出された各エリアの検出値に基づいて撮像画像の輝度に関するヒストグラムを算出するヒストグラム演算工程と、前記ヒストグラム演算工程において算出された、輝度に関するヒストグラムにおいて、低輝度レベルと見なされる範囲に属する輝度値を示す領域の分布が所定量を超えた場合に、該低輝度レベルと見なされる範囲に属する輝度値を示す領域を除いた領域の撮像信号に基づいて、前記発光工程による発光量を求める発光量演算工程と、を実行させることを特徴としている。
【0086】
【発明の実施の形態】
以下、本発明の好適な実施形態について、添付図面を参照して詳細に説明する。
【0087】
(第1の実施形態)
図1は本発明における撮像装置の第1の実施形態の構成を示すブロック図である。
【0088】
同図において、上述の図2に示す従来例と同構成部分については同一の符号を付し、詳細な説明は省略する。
【0089】
先の従来例と異なる構成は、ブロック分割手段31、ヒストグラム生成手段41、輝度分布判定手段42が追加されている点である。
【0090】
撮像光学系150及び152、絞り151を通過し、撮像素子161の撮像面に結像した被写体像は光電変換された後に、カメラ信号処理回路162より信号処理され、映像信号のうちの輝度信号がブロック分割手段31により単位画面に分割される。このブロックの分割は、図6の6aに示すような複数の区切られたエリアで構成される単位画面に分割するものである。
【0091】
分割された輝度信号は単位画面それぞれについて検波手段1により例えば積分処理などの検波処理をおこない、ヒストグラム生成手段41により前記の単位ブロック毎に求められた輝度レベルに応じヒストグラムを取る。このヒストグラムの分布を輝度分布判定手段により、特に低輝度レベルを占めるヒストグラム・レベルの大小を判定する。
【0092】
これは、低輝度レベルの分布が多い撮影条件は撮像画角全体に占める背景の割合が広く、かつ遠景である場合が考えられる。言い換えれば画面全体に占める主被写体の割合が小さく、露出を決定するうえで重視しなければならないブロックの割合が小さくなっていることになる。
【0093】
このように低輝度部分の占める割合が大きい場合は輝度分布判定手段により、この低輝度レベルの情報を無効とし、残りの各ブロックの輝度レベルの総和を露出を決定する為の検波信号として求め、そして次段の比較器36により前記輝度レベルの総和と基準値35を比較し先の発光量の状況を判定する。
【0094】
発光制御手段4は前記従来例同様に入力された検波データに基づき発光量を決定し、ストロボ5に対して決定された発光量で発光を制御するものであり、例えば入力された検波データの総和に基づき露出の適正、過不足を判定し発光量を決定する手段である。
【0095】
先の輝度分布のヒストグラム処理について図6を用いて説明していく。
【0096】
図6の6aの25で示す枠は撮像画全体を示し、6は主被写体である。ここで、28で示す円の中を拡大し、輝度ヒストグラムを与えた様子を同図6bに示す。図6bに示す四角いブロックは分割された画面を検波し複数の輝度の段階に当てはめ各輝度レベルに対応した輝度レベルにナンバーリングしたものである。ここでは0から10までの11段階の輝度レベルを判定してナンバーリングを行っている。これを画面全体の輝度レベルのナンバーごとに、その値を取り得るブロックの個数をカウントしたものを輝度分布のヒストグラムとする。この様子を図7に示す。図7(a)は、先の図6で示した被写体条件における輝度分布のヒストグラムを示したものであり、ナンバーリングされた「0」が一番多く次に「10」が多いという極端な分布となっている。これは補助光が発光したときに到達できない遠景が画面に占める割合が多いため最低輝度の「0」が多く分布する。そして反対に補助光が到達しやすい近距離の被写体も同一画面に存在するために最高輝度の「10」という値が存在することとなる。
【0097】
ここで「0」という値は適正露光より暗い側に大きくずれており、反対に「10」という値は明るい側に大きくずれていることになるのであるが、仮に従来の画面全体における輝度平均を求めた場合には、これらの平均値から露出を決定することになり、適正、あるいは多少の露出不足とし判断される。しかし、本来主被写体の露出を適正にあわせる露出制御を行うことを考えると、従来の技術では主被写体の露出が過多になってしまうことになる。
【0098】
これは例えば図7(b)に示すような理想的な被写体照明条件である輝度のヒストグラム分布があった場合の平均値と、先の説明に用いた図7(a)に示す輝度のヒストグラム分布の平均値がほぼ等しいことからもわかる。
【0099】
ゆえに、本実施形態ではヒストグラムの分布に基づいて、画面に占める低輝度部分の分布が多い場合に、その低輝度の分布を加えずに、露出レベルを算出し、次の本発光にそなえるのである。したがって、先の低輝度レベルを組み入れずに露出の状態を算出する、すなわち、補助光のとどかない遠景被写体を除いた露出レベルを用い露出量を演算することにより、主被写体に重みをおいた露出制御が可能になる。
【0100】
以上の動作を図8のフローチャートを用いて説明する。
【0101】
同フローチャートを順を追って説明していくと、
ステップS71:このフローの始まりであり、例えば撮像開始スイッチに連動してスタートするものとする。
【0102】
ステップS72:ストロボ5の充電が完了したことを確認する。ストロボの充電が終了していない場合は充電が完了するまで待つ。
【0103】
ステップS73:ストロボ5を補助発光すると同時に撮像画を電気的な画像信号に変換する。
【0104】
ステップS74:撮像した画像信号をブロック分割する。
【0105】
ステップS75:単位画面にブロック分割した撮像信号より検波信号を発生させる。
【0106】
ステップS76:ブロック毎の検波データからヒストグラムを生成する。
【0107】
ステップS77:ヒストグラムのパターンを判定する。
【0108】
具体的には、低輝度レベルの占める割合により撮像画に占める遠景被写体の割合が所定の基準値を超える(パターンA)かそれ以下(パターンB)かを判定する。
【0109】
ステップS78:低輝度レベルのヒストグラム分布が所定量を超えた場合、低輝度レベルのブロック(例えば「0」で示したブロック)を含めずにストロボ5の発光量を決定する。
【0110】
ステップS79:低輝度レベルのヒストグラム分布が所定量以下の場合、すべてのブロックを含めストロボ5の発光量を決定する。
【0111】
ステップS80:ストロボ5の充電が完了したことを確認する。ストロボの充電が終了していない場合は充電が完了するまで待つ。
【0112】
ステップS81:ストロボ5を主発光すると同時に撮像画を画像信号に変換する。
【0113】
ステップS82:このフローを終了する。
【0114】
以上の動作により補助光を発光させた撮影において、被写体位置と背景の明るさや主被写体が占める割合等に左右されず適正な露光が可能となる。
【0115】
なお、ブロックの分割に関しては、撮像素子の最小画素単位以上であればよく、一般に細かく分割するほど精度の良い制御が可能となる。また、ヒストグラムも説明の便宜上0〜10までの11段階としてあるが、この段階に関してもさらに多くの分割数とすることも可能である。
【0116】
(第2の実施形態)
図9は本発明における撮像装置の第2の実施形態の構成を示すブロック図である。
【0117】
同図において、上述の従来例及び第1の実施形態と同構成部分については同一の符号を付し、詳細な説明は省略する。
【0118】
第1の実施形態では撮像レンズと露出制御に用いる光学系が共通のいわゆるTTL露出制御方式といわれる実施形態であったが、第2の実施形態では、撮像光学系と、露出制御のための光学系が異なる場合の方式について説明する。
【0119】
図9において、150及び152は撮像専用の撮像光学系であり、被写体像を撮像面上に結像するものである。
【0120】
151は撮像光学系150及び152の間におかれた絞りであり、一般にアフォーカル(平行光)領域に設けられている。
【0121】
262は結像した光量を電気(あるいは電荷)量に変換する光電変換素子、あるいは光により物性を変化させる、例えば感光剤を含む銀塩フィルムなどである。
【0122】
264はシャッター幕であり、撮像時に所定の時間だけ開閉する機構を備える。また、同図では図示していないが、例えばシャッターボタンの操作に連動したシャッター幕264の開閉機構を備えるものとする。
【0123】
263は絞りエンコーダであり、現在の絞り値を検出し出力するものである。
【0124】
本実施形態においても、第1の実施形態と同様に、映像信号のうちの輝度信号をブロック分割手段31により単位画面に分割し、検波手段1により積分処理などの検波処理をおこない、ヒストグラム生成手段41により単位ブロック毎に求められた輝度レベルに応じヒストグラムを取る。このヒストグラムの分布の低輝度レベルを占めるヒストグラム・レベルの大小を輝度分布判定手段42にて判定し、有効とされた輝度ブロックのデータのみを用いた検波信号として求め、比較器36により輝度レベルの総和と基準値35を比較し、発光量の過不足の状況を判定する。
【0125】
さらに、第2の実施形態は発光制御手段4により、発光量の過不足に加え、撮像光学系に配置された絞り151の絞り量に基づき、発光量を決定し、求められた発光量でストロボ5の発光を行うことを特徴とする。
【0126】
これらの動作を図10A,10Bを用いて説明する。
【0127】
同フローチャートを順を追って説明していくと、
ステップS101:このフローの始まりであり、例えば撮像開始スイッチに連動してスタートするものとする。
【0128】
ステップS102:ストロボ5の充電が完了したことを確認する。ストロボの充電が終了していない場合は充電が完了するまで待つ。
【0129】
ステップS103:ストロボを補助発光すると同時に撮像画を電気的な画像信号に変換する。
【0130】
ステップS104:撮像画信号を取り込み、さらに画像をブロック分割する。
【0131】
ステップS105:ブロック分割した撮像信号から検波信号を発生させる。
【0132】
ステップS106:ブロック毎の検波データからヒストグラムを生成する。
【0133】
ステップS107:ヒストグラムのパターンを判定する。
【0134】
具体的には、低輝度レベルの占める割合により撮像画に占める遠景被写体の割合が所定の基準値を超える(パターンA)かそれ以下(パターンB)かを判定する。
【0135】
ステップS108:低輝度レベルのヒストグラム分布が所定量を超えた場合、低輝度レベルのブロック(例えば「0」で示したブロック)を含めずにストロボ5の発光量を仮決定する。
【0136】
ステップS109:低輝度レベルのヒストグラム分布が所定量以下の場合、すべてのブロックを含めストロボ5の発光量を仮決定する。
ステップS110:先に仮決定した発光量と、絞り情報より露出レベルを判定し、ストロボ5の発光量を最終決定する。
【0137】
ここでいう絞り情報とは、絞りのない光学系250を通過した被写体光量に対し絞り151を含む撮像光学系150,152の通過光量を加味し露出の適正、過不足を決定するものである。
【0138】
一般的には絞りが一段階絞られていたならば、発光量は倍になる。
【0139】
ステップS114:ストロボ5の充電が完了したことを確認する。ストロボの充電が終了していない場合は充電が完了するまで待つ。
【0140】
ステップS115:シャッター264を開き光電変換素子、あるい銀塩フィルム等に光線を導く。
【0141】
ステップS116:ストロボ5を発光すると同時に撮像画を画像信号に変換する。
【0142】
ステップS117:シャッター264を閉じる。
【0143】
ステップS118:このフローを終了する。
【0144】
以上の動作により補助光を発光させた撮影に於ける適正な露光での撮影が可能となる。
【0145】
撮像画の分割については、図6に説明したものと同じ条件でよく、補助光の発光による輝度変化の影響が大きいブロックのみが実際の露出制御に用いられるものである。
【0146】
なお、本説明において、撮像信号の輝度レベルをヒストグラムに用いているが、例えば撮像信号を色分解した赤、青、緑、3色のそれぞれの信号レベルについてヒストグラムを取り、それらの信号レベルを輝度分布判定手段42と同様な原理でそれぞれ処理した後に、3色の検波平均を取り発光制御をすることも可能である。
【0147】
(第3の実施形態)
図11は本発明における撮像装置の第3の実施形態の構成を示すブロック図である。
【0148】
同図において、前述の図2に示す従来例と同構成部分については同一の符号を付し、詳細な説明は省略する。
【0149】
先の従来例と異なる構成は、ブロック分割手段331、記憶手段332、通過/遮断手段333が追加されている点である。
【0150】
まず初めに、補助光5を発光させる以前の処理として、撮像光学系150及び152、絞り151を通過し、撮像素子161の撮像面に結像した被写体像は光電変換された後に、カメラ信号処理回路162より信号処理され、映像信号のうちの輝度信号がブロック分割手段331により単位画面に分割される。分割された輝度信号は単位画面それぞれについて検波手段1により例えば積分処理などの検波処理をおこなう。検波手段より出力された検波信号はそれぞれのブロック毎に記憶手段332に記憶される。このブロックの分割は、図12に示すような例えば8×6のエリアで構成される単位画面に分割する。
【0151】
次に、補助光5を発光したと同時に取り込んだ画像の後の処理として、補助光5が初期発光した時の撮像画の輝度信号成分を前記同様にブロック分割手段331に入力し単位画面に分割する。分割された単位画面それぞれについて検波手段1により例えば従来例で説明した積分処理などの検波処理をおこなう。
【0152】
補助光初期発光時の各ブロック毎の検波値と、補助光未発光時の各ブロック毎の検波値とを対応する単位画面のブロック毎に減算回路334にて減算処理をおこなう。この演算結果を所定の基準値335と比較器336により比較する。
【0153】
単位画面のブロックの減算出力が所定の基準値335より大きな値を取った場合、そのブロックの検波データが有効であると判断し、通過/遮断手段333を経て発光制御手段4に入力される。反対に基準値335より小さな値を取った場合、そのブロックの検波データが無効であると判断し、通過/遮断手段333にて遮断され、発光制御手段4には入力されない。
【0154】
発光制御手段4は前記従来例同様に入力された検波データに基づき発光量を決定し、決定された発光量でストロボ5の発光を制御するものであり、例えば入力された検波データの総和に基づき露出の適正、過不足を判定し発光量を決定する手段である。
【0155】
以上の動作を図13A,13Bのフローチャートを用いて説明する。
【0156】
同フローチャートを順を追って説明していく。
【0157】
ステップS371:このフローの始まりであり、例えば撮像開始スイッチに連動してスタートするものとする。
【0158】
ステップS372:ストロボ5の充電が完了したことを確認する。ストロボの充電が終了していない場合は充電が完了するまで待つ。
【0159】
ステップS373:撮像画を取り込み画像信号に変換する(ストロボは発光させない)。
【0160】
ステップS374:撮像した画像信号をブロック分割する。
【0161】
ステップS375:単位画面にブロック分割した撮像信号から検波信号を発生させる。
【0162】
ステップS376:ブロック毎の検波データを記憶手段に記憶する。
【0163】
ステップS377:ストロボを初期発光する。
【0164】
ステップS378:撮像画を取り込み画像信号に変換する。
【0165】
ステップS379:撮像した画像を単位画面にブロック分割する。
【0166】
ステップS380:ブロック分割した撮像信号から検波信号を発生させる。
【0167】
ステップS381:検波信号から記憶手段332に格納されている検波データを各ブロック毎に減算し、その結果と基準値335を比較する。
【0168】
比較結果が 演算結果>基準値 ならばステップS382に進み、比較結果が演算結果≦基準値 ならばステップS383に進む。
【0169】
ステップS382:検波されたブロックのデータが有効であると判断し、通過/遮断回路333を通過させる。
【0170】
ステップS383:検波されたブロックのデータが無効であると判断し、通過/遮断回路333を遮断させる。
【0171】
ステップS384:検波信号から露出レベルを判定する。
【0172】
露出が適正であればステップS385に進み、露出が不足していればステップS386に進み、露出が過多であればステップS387に進む。
【0173】
ステップS385:初期発光と同光量で発光準備し、ステップS388に進む。
【0174】
ステップS386:初期発光不足分に応じ発光量を増して発光準備し、ステップS388に進む。
【0175】
ステップS387:初期発光過多分に応じ発光量を減らして発光準備し、ステップS388に進む。
【0176】
ステップS388:ストロボ5の充電が完了したことを確認する。ストロボの充電が終了していない場合は充電が完了するまで待つ。
【0177】
ステップS389:ストロボ5を本発光すると同時に撮像画を画像信号に変換する。
【0178】
ステップS390:このフローを終了する。
【0179】
以上の動作により、補助光を発光させた撮影において、被写体位置と背景の明るさや主被写体の占める割合等により左右されず適正な露光が可能となる。
【0180】
次に、これまでの撮像画の分割について図12を用いて説明する。
【0181】
図12(a)は図5に説明した条件と同様の条件において、撮像画中のどのエリアが選択されているかを図示したものである。図中8×9のマス目が単位画面に分割したブロックを示している。
【0182】
429の太線で示される選択枠内のブロックのみが露出制御の情報として用いられる。また、同様に図6(b)においても429’で示される選択枠内のブロックのみが露出制御の情報として用いられる。
【0183】
この範囲は、被写体までの距離が背景に比べ近距離にあるため、補助光であるストロボの発光が十分届く範囲に位置する。前記フローでも説明したように、単位画面に分割した検波信号と、記憶手段332に蓄積された単位画面毎の検波値を各ブロック毎に減算し、その結果とさらに基準値335を比較した結果、すなわち、補助光の発光による輝度変化の影響度を示す値が大きいブロックのみ(即ち主被写体が存在するブロックのみ)が実際の露出制御に用いられることとなり、近距離の主被写体が撮像画に占める割合によらず適正な露出を得ることができる。
【0184】
(第4の実施形態)
図14は本発明における撮像装置の第4の実施形態の構成を示すブロック図である。
【0185】
同図において、上述の従来例及び第3の実施形態と同構成部分については同一の符号を付し、詳細な説明は省略する。
【0186】
第3の実施形態では撮像レンズと露出制御に用いる光学系が共通のいわゆるTTL露出制御方式といわれる実施形態であったが、第4の実施例は撮像光学系と、露出制御のための光学系が異なる場合の方式について説明する。
【0187】
図14において、150及び152は撮像専用の撮像光学系であり、被写体像を撮像面上に結像するものである。
【0188】
151は撮像光学系150及び152の間におかれた絞りであり、一般にアフォーカル(平行光)領域に設けられている。
【0189】
462は結像した光量を電気(あるいは電荷)量に変換する光電変換素子、あるいは光により物性を変化させる、例えば感光剤を含む銀塩フィルムなどである。
【0190】
464はシャッター幕であり、撮像時に所定の時間だけ開閉する機構を備える。また、同図では図示していないが、例えばシャッターボタンの操作に連動したシャッター幕464の開閉機構を備えるものとする。
【0191】
463は絞りエンコーダであり、現在の絞り値を検出し出力するものである。
【0192】
本実施形態においても第3の実施形態同様に、補助光5を発光させる以前の処理として、撮像素子461にて光電変換された電気信号を、信号処理回路462により信号処理し、その映像信号の輝度成分をブロック分割手段331により単位画面に分割する。分割された単位画面それぞれについて検波手段1により例えば積分処理などの検波処理をおこなう。検波手段より出力された検波信号はそれぞれのブロック毎に記憶手段332に記憶される。
【0193】
なお、本実施形態においては撮像素子461の光電変換素子数は最低ブロック単位であればよく、例えば図12に示した分割であれば最低8×9ブロックの光電変換素子数があればよい。
【0194】
次に、補助光5を発光したタイミングで取り込んだ画像の後の処理として、補助光5が発光した時の撮像画の輝度成分を前記同様にブロック分割手段331に入力して単位画面に分割する。分割された単位画面それぞれについて検波手段1により例えば積分処理などの検波処理をおこなう。
【0195】
補助光発光時の各ブロック毎の検波値と、補助光未発光時の各ブロック毎の検波値とを対応するブロック毎に減算回路334にて減算処理をおこなう。この演算結果を所定の基準値335と比較器336により比較する。
【0196】
減算出力が所定の基準値335より大きな値を取った場合、そのブロックの検波データが有効であると判断し、通過/遮断手段333を経て発光制御手段4に入力する。反対に基準値335より小さな値を取った場合、そのブロックの検波データが無効であると判断し、通過/遮断手段333にて遮断し、発光制御手段4には入力しない。
【0197】
発光制御手段4は入力された検波データと、撮像光学系に配置された絞り151の絞り量に基づき、発光量を決定し、決定された発光量でストロボ5の発光をおこなう。
【0198】
これらの動作を図15A,15Bのフローチャートを用いて説明する。
【0199】
同フローチャートを順を追って説明していくと、
ステップS471:このフローの始まりであり、例えば撮像開始スイッチに連動してスタートするものとする。
【0200】
ステップS472:ストロボ5の充電が完了したことを確認する。ストロボの充電が終了していない場合は充電が完了するまで待つ。
【0201】
ステップS473:撮像画を取り込み画像信号に変換する(ストロボは発光させない)。
【0202】
ステップS474:撮像した画像信号をブロック分割する。
【0203】
ステップS475:ブロック分割した撮像信号から検波信号を発生させる。
【0204】
ステップS476:ブロック毎の検波データを記憶手段に記憶する。
【0205】
ステップS477:ストロボを初期発光する。
【0206】
ステップS478:撮像画を取り込み画像信号に変換する。
【0207】
ステップS479:撮像した画像を単位画面にブロック分割する。
【0208】
ステップS480:ブロック分割した撮像信号から検波信号を発生させる。
【0209】
ステップS481:検波信号から記憶手段332に格納されている検波データを減算し、その結果と基準値335を比較する。
【0210】
比較結果が 演算結果>基準値ならば、ステップS482に進み、比較結果が演算結果≦基準値ならば、ステップS483に進む。
【0211】
ステップS482:検波されたブロックのデータが有効であると判断し、通過/遮断回路333を通過させる。
【0212】
ステップS483:検波されたブロックのデータが無効であると判断し、通過/遮断回路33を遮断させる。
【0213】
ステップS484:検波信号と、絞り情報から露出レベルを判定する。
【0214】
露出が適正であればステップS485に進み、露出が不足していればステップS486に進み、露出が過多であればステップS487に進む。
【0215】
ここでいう絞り情報とは、絞りのない光学系450を通過した被写体光量に対し、絞り151を含む撮像光学系150,152の通過光量を加味し露出の適正、過不足を決定するものである。
【0216】
ステップS485:先の発光と同光量で発光準備し、ステップS488に進む。
【0217】
ステップS486:先の発光不足分に応じ発光量を増して発光準備し、ステップS488に進む。
【0218】
ステップS487:先の発光過多分に応じ発光量を減らして発光準備し、ステップS488に進む。
【0219】
ステップS488:ストロボ5の充電が完了したことを確認する。ストロボの充電が終了していない場合は充電が完了するまで待つ。
【0220】
ステップS489:シャッター464を開き光電変換素子、あるいは銀塩フィルム等に光線を導く。
【0221】
ステップS490:ストロボ5を本発光すると同時に撮像画を画像信号に変換する。
【0222】
ステップS491:シャッター464を閉じる。
【0223】
ステップS492:このフローを終了する。
【0224】
以上の動作により補助光を発光させた撮影における適正な露光が可能となる。撮像画の分割については、図12に説明したものと同じ条件でよく、補助光の発光による輝度変化の影響が大きいブロックのみが実際の露出制御に用いられるものである。
【0225】
【他の実施形態】
なお、本発明は、複数の機器(例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど)から構成されるシステムに適用しても、一つの機器からなる装置(例えば、複写機、ファクシミリ装置など)に適用してもよい。
【0226】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体(または記録媒体)を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ(またはCPUやMPU)が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム(OS)などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0227】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるCPUなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【0228】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明した(図8、又は図10、又は図13、又は図15示す)フローチャートに対応するプログラムコードが格納されることになる。
【0229】
以上説明したように、上記の第1及び第2の実施形態によれば、補助光初期発光時の撮像画を複数のブロックに分割、検波し、各ブロックごとの検波レベルに応じたヒストグラムを算出し、輝度レベルのヒストグラム・パターンから補助光の発光制御に有効な検波ブロックを抽出し、本発光の発光量を調整する。
【0230】
これにより被写体の画面に占める割合や、被写体までの距離などの条件によらず、適正な露光を行うことが可能となる。
【0231】
また、第3及び第4の実施形態によれば、撮像画を複数のブロックに分割し、各ブロック毎の補助光発光時と非発光時の被写体輝度の変化レベルに基づき、前記分割されたブロックの輝度情報を露出制御に用いるか否かを判断し、露出制御を行うことにより、被写体の画面に占める割合や、被写体までの距離などの条件によらず、適正な露光を行うことが可能となる。
【0232】
なお、以上の実施の形態においては、輝度レベルのヒストグラムに応じて選択された輝度レベルに応じてストロボの発光量(発光時間を含む)を制御するようにしているが、これは、ストロボの発光量だけなく、絞り、シャッタ秒時等の他の閃光露出ファクターを制御するようにしてもよい。
【0233】
また、以上の実施の形態においては、輝度レベルのヒストグラムに応じて所定の低輝度レベルを除外するようにしているが、これは、必要に応じて所定の高輝度レベルを除外するようにしても良い。
【0234】
また、本発明は、輝度レベルのヒストグラムに応じて所定の輝度レベルを完全に除外するのではなく、輝度レベルごとの重み付けを変えるたものに基づいて閃光撮影動作を制御するようにしても良い。
【0235】
また、本発明は、所定の輝度レベルは、最初から除外したヒストグラムに基づいて閃光撮影動作を制御するようにしても良い。
【0236】
また、以上の実施の形態のソフト構成とハード構成は、適宜置き換えることができるものである。
【0237】
また、本発明は、以上の各実施形態、または、それら技術要素を必要に応じて組み合わせるようにしてもよい。
【0238】
また、本発明は、クレーム、または、実施の形態の構成の全体若しくは一部が、1つの装置を形成するものであっても、他の装置と結合するようなものであっても、装置を構成する要素となるようなものであってもよい。
【0239】
また、本発明は、動画、又は、静止画を撮像する電子カメラ、銀塩フィルムを使用するカメラ、一眼レフカメラ、レンズシャッタカメラ、監視カメラ等、種々の形態のカメラ、更には、カメラ以外の撮像装置や、画像読取装置、光学装置、その他の装置、更には、それらカメラ、撮像装置、画像読取装置、光学装置、その他の装置に適用される装置、そして、これら装置を構成する要素、これら装置の制御方法、その制御方法を提供するコンピュータプログラム、そのコンピュータプログラムを格納する記憶媒体等の媒体に対しても適用できるものである。
【0240】
【発明の効果】
以上説明したように、本発明によれば、背景の条件に左右されることなく主被写体を適正に照明又は閃光撮影することが可能となる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係わる撮像装置のブロック図である。
【図2】従来の撮像装置示すブロック図である。
【図3】従来の撮像装置の動作を説明するフローチャートである。
【図4】被写体の撮影条件を説明するための図である。
【図5】被写体の撮影状態を説明するための図である。
【図6】第1の実施形態におけるブロック分割、検波の状態を示すブロック図である。
【図7】第1の実施形態におけるヒストグラムの算出状況を示した図である。
【図8】第1の実施形態における撮像装置の動作を説明するフローチャートである。
【図9】第2の実施形態に係わる撮像装置のブロック図である。
【図10A】第2の実施形態における撮像装置の動作を説明するフローチャートである。
【図10B】第2の実施形態における撮像装置の動作を説明するフローチャートである。
【図11】第3の実施形態に係わる撮像装置のブロック図である。
【図12】画面の分割状態を示す図である。
【図13A】第3の実施形態における撮像装置の動作を説明するフローチャートである。
【図13B】第3の実施形態における撮像装置の動作を説明するフローチャートである。
【図14】第4の実施形態に係わる撮像装置のブロック図である。
【図15A】第4の実施形態における撮像装置の動作を説明するフローチャートである。
【図15B】第4の実施形態における撮像装置の動作を説明するフローチャートである。

Claims (3)

  1. 被写体像が結像される撮像面上に配置された光電変換手段と、
    前記光電変換手段により光電変換された電気信号を複数のエリアに分割する分割手段と、
    前記分割手段により分割された各エリアの電圧あるいは電荷を検出する検出手段と、
    被写体を照明する発光手段と、
    前記発光手段が補助発光している時に、前記検出手段により検出された各エリアの検出値に基づいて撮像画像の輝度に関するヒストグラムを算出するヒストグラム演算手段と、
    前記ヒストグラム演算手段により算出された、輝度に関するヒストグラムにおいて、低輝度レベルと見なされる範囲に属する輝度値を示す領域の分布が所定量を超えた場合に、該低輝度レベルと見なされる範囲に属する輝度値を示す領域を除いた領域の撮像信号に基づいて、前記発光手段による発光量を求める発光量演算手段と、
    を具備することを特徴とする撮像装置。
  2. 被写体像が結像される撮像面上に配置された光電変換手段を備える撮像装置を制御するための撮像装置の制御方法であって、
    前記光電変換手段により光電変換された電気信号を複数のエリアに分割する分割工程と、
    前記分割工程において分割された各エリアの電圧あるいは電荷を検出する検出工程と、
    被写体を照明する発光工程と、
    前記発光工程において補助発光している時に、前記検出工程において検出された各エリアの検出値に基づいて撮像画像の輝度に関するヒストグラムを算出するヒストグラム演算工程と、
    前記ヒストグラム演算工程において算出された、輝度に関するヒストグラムにおいて、低輝度レベルと見なされる範囲に属する輝度値を示す領域の分布が所定量を超えた場合に、該低輝度レベルと見なされる範囲に属する輝度値を示す領域を除いた領域の撮像信号に基づいて、前記発光工程による発光量を求める発光量演算工程と、
    を具備することを特徴とする撮像装置の制御方法。
  3. 被写体像が結像される撮像面上に配置された光電変換手段を備える撮像装置を制御するための制御プログラムであって、
    コンピュータに、
    前記光電変換手段により光電変換された電気信号を複数のエリアに分割する分割工程と、
    前記分割工程において分割された各エリアの電圧あるいは電荷を検出する検出工程と、
    被写体を照明する発光工程と、
    前記発光工程において補助発光している時に、前記検出工程において検出された各エリアの検出値に基づいて撮像画像の輝度に関するヒストグラムを算出するヒストグラム演算工程と、
    前記ヒストグラム演算工程において算出された、輝度に関するヒストグラムにおいて、低輝度レベルと見なされる範囲に属する輝度値を示す領域の分布が所定量を超えた場合に、該低輝度レベルと見なされる範囲に属する輝度値を示す領域を除いた領域の撮像信号に基づいて、前記発光工程による発光量を求める発光量演算工程と、
    を実行させるための撮像装置の制御プログラム。
JP2001027342A 2000-02-07 2001-02-02 撮像装置及びその制御方法及びその制御プログラム Expired - Fee Related JP4136317B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001027342A JP4136317B2 (ja) 2000-02-07 2001-02-02 撮像装置及びその制御方法及びその制御プログラム

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2000029486 2000-02-07
JP2000-29486 2000-02-07
JP2001027342A JP4136317B2 (ja) 2000-02-07 2001-02-02 撮像装置及びその制御方法及びその制御プログラム

Publications (3)

Publication Number Publication Date
JP2001296578A JP2001296578A (ja) 2001-10-26
JP2001296578A5 JP2001296578A5 (ja) 2005-07-28
JP4136317B2 true JP4136317B2 (ja) 2008-08-20

Family

ID=26584991

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001027342A Expired - Fee Related JP4136317B2 (ja) 2000-02-07 2001-02-02 撮像装置及びその制御方法及びその制御プログラム

Country Status (1)

Country Link
JP (1) JP4136317B2 (ja)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319255A (ja) 2002-02-20 2003-11-07 Casio Comput Co Ltd 閃光装置付撮像装置、閃光装置の制御方法及び撮像方法、並びに撮像装置制御プログラム
JP4593900B2 (ja) * 2003-10-15 2010-12-08 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム及び記憶媒体
JP4661285B2 (ja) * 2004-05-28 2011-03-30 コニカミノルタホールディングス株式会社 撮像装置及び撮像方法
US7697062B2 (en) * 2006-11-08 2010-04-13 Sony Ericsson Mobile Communications Ab Camera and method in a camera
US8018525B2 (en) 2007-12-21 2011-09-13 Nokia Corporation Camera flash module and method for controlling same
JP2009276560A (ja) * 2008-05-14 2009-11-26 Ricoh Co Ltd 撮像装置および撮像方法
JP5531433B2 (ja) * 2009-03-30 2014-06-25 カシオ計算機株式会社 撮像装置、撮影方法、及びそのプログラム
KR101217785B1 (ko) * 2011-04-14 2013-01-02 누비코 주식회사 조명 광도 조절이 가능한 비디오 카메라 장치 및 이의 조명 광도 조절방법
KR101368955B1 (ko) * 2012-05-03 2014-03-03 주식회사 아이브이넷 감시용 카메라의 광량 조정장치 및 방법
JP6025400B2 (ja) * 2012-05-29 2016-11-16 キヤノン株式会社 ワーク位置検出装置、及びワーク位置検出方法
JP6904560B2 (ja) * 2017-08-01 2021-07-21 株式会社シグマ 信号処理装置

Also Published As

Publication number Publication date
JP2001296578A (ja) 2001-10-26

Similar Documents

Publication Publication Date Title
US11403740B2 (en) Method and apparatus for image capturing and processing
CN108933899B (zh) 全景拍摄方法、装置、终端及计算机可读存储介质
WO2019237992A1 (zh) 拍照方法、装置、终端及计算机可读存储介质
US7345702B2 (en) Image sensing apparatus, control method for illumination device, flash photographing method, and computer program product
WO2020034737A1 (zh) 成像控制方法、装置、电子设备以及计算机可读存储介质
JP4236433B2 (ja) 写真撮影においてフィル・フラッシュをシミュレートするシステム及び方法
JP4826028B2 (ja) 電子カメラ
CN101237530B (zh) 照相装置,控制照相装置的方法
CN101848327B (zh) 摄像装置及图像处理方法
CN107846556B (zh) 成像方法、装置、移动终端和存储介质
WO2009087446A1 (en) Camera flash module and method for controlling same
JP2002300373A (ja) 画像処理方法、画像処理装置、記録媒体及びプログラム
JP4136317B2 (ja) 撮像装置及びその制御方法及びその制御プログラム
CN106454149B (zh) 图像拍摄方法、装置及终端设备
CN108683863A (zh) 成像控制方法、装置、电子设备以及可读存储介质
US8520095B2 (en) Imaging apparatus and imaging method
WO2020034702A1 (zh) 控制方法、装置、电子设备和计算机可读存储介质
WO2020034739A1 (zh) 控制方法、装置、电子设备和计算机可读存储介质
JP2010072619A (ja) 露出演算装置およびカメラ
US8035730B2 (en) Digital camera and flash emission control method based on face detection
JPH1169372A (ja) 画像の明度調整方法およびその方法に使用するデジタルカメラ並びに画像処理装置
JP4270638B2 (ja) 撮像装置
JP5256912B2 (ja) 電子カメラ
JPH11196324A (ja) 画像出力方法および装置
JP4142199B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041214

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20041214

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7426

Effective date: 20041214

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20041214

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060518

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060605

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060802

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071120

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080526

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080603

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110613

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120613

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130613

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees