JP5137196B2 - 撮影装置およびその制御方法並びにプログラム - Google Patents

撮影装置およびその制御方法並びにプログラム Download PDF

Info

Publication number
JP5137196B2
JP5137196B2 JP2008131801A JP2008131801A JP5137196B2 JP 5137196 B2 JP5137196 B2 JP 5137196B2 JP 2008131801 A JP2008131801 A JP 2008131801A JP 2008131801 A JP2008131801 A JP 2008131801A JP 5137196 B2 JP5137196 B2 JP 5137196B2
Authority
JP
Japan
Prior art keywords
camera shake
photographing
flash
light emission
exposure
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008131801A
Other languages
English (en)
Other versions
JP2009282117A (ja
Inventor
晃治 古林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2008131801A priority Critical patent/JP5137196B2/ja
Publication of JP2009282117A publication Critical patent/JP2009282117A/ja
Application granted granted Critical
Publication of JP5137196B2 publication Critical patent/JP5137196B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Description

本発明は、手ブレ補正機能を備えたデジタルカメラ等の撮影装置およびその制御方法並びに制御方法をコンピュータに実行させるためのプログラムに関するものである。
撮影時の手ブレによる画像のボケを防止するために、手ブレ補正機能を備えたカメラが提案されている。この手ブレ補正機能は、ジャイロセンサ等の加速度センサを用いて手ブレに起因するカメラのブレ量(手ブレ量)を検出し、撮影レンズを構成する手ブレ補正レンズまたはCCD等の撮像素子等からなる手ブレ補正系を、検出結果に基づいて光軸と直交するブレとは逆の方向に移動することにより、撮影により取得される画像の手ブレによるボケを防止するものである。
ところで、本撮影の前にフラッシュの発光を伴わない露光による画像およびフラッシュの発光を伴う露光による画像を取得し、2つの画像を用いて本撮影時のフラッシュの発光量を制御する(すなわちフラッシュ調光する)手法が提案されている。このようにフラッシュ調光を行ってフラッシュの発光量を制御することにより、適切な明るさを有する画像を取得することができる。
図21はフラッシュ調光によるフラッシュ発光量の算出を説明するための図である。図21に示すように、フラッシュ調光を行う場合には、フラッシュの発光を伴わない露光および発光を伴う露光により2つの画像G1,G2が取得される。そして、取得された2つの画像G1,G2を複数(ここでは8×8)の調光エリアに分割し、2つの画像G1,G2の対応する調光エリアにおける輝度の平均値の差分値を算出し、差分値に基づいて、本撮影時におけるフラッシュの発光量を算出している。
具体的には、画像G1,G2の背景にある塔は、フラッシュの発光を伴う露光においても、フラッシュは届かないため、画像G1,G2における輝度は同一となるが、人物にはフラッシュが届くため、画像G2に含まれる人物の方が輝度が高くなる。したがって、人物が含まれる調光エリアの輝度が、フラッシュ発光によって適切な明るさとなるように、本撮影時におけるフラッシュの発光量が算出される。
また、このようなフラッシュ調光を行うカメラにおいて、発光を伴う露光時における被写体からの反射光の測光領域を撮影者が任意に設定可能とすることにより、主要被写体が撮影範囲の中央にいない場合にも、フラッシュの発光量を適切なものとする手法が提案されている(特許文献1参照)。
特開2003−66505号公報
ところで、フラッシュ調光を行う場合に本撮影時と同様に手ブレを起こしてしまうと、発光を伴わない露光および発光を伴う露光時における画角がずれてしまうため、2回の露光により取得される画像の対応する調光エリアに同一の被写体が存在しなくなり、その結果、フラッシュの発光量を正確に算出することができなくなってしまう。
本発明は上記事情に鑑みなされたものであり、フラッシュ調光時における手ブレの影響を除去することを目的とする。
また本発明は、フラッシュ調光時に手ブレの影響を除去するに際し、フラッシュ調光および/または手ブレ補正の制御を効果的に行うことを目的とする。
本発明による撮影装置は、撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
手ブレに関する情報を取得する手ブレ情報取得手段と、
該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
フラッシュを発光する発光手段と、
本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を行う発光制御手段と、
前記手ブレに関する情報に基づいて、前記フラッシュ調光の調光条件および前記手ブレ補正手段の手ブレ補正条件の少なくとも一方を変更する制御変更手段とを備えたことを特徴とするものである。
「本撮影」とは、レリーズボタンを全押しすることにより被写体を撮影して被写体を表す本画像を得る撮影であり、レリーズボタンを半押しすることにより、AE処理およびAF処理等の撮影準備を行うプレ撮影とは異なる撮影である。
「発光手段」は、撮影装置に内蔵されたフラッシュでも、脱着可能な外付フラッシュでもよい。
なお、本発明による撮影装置においては、前記制御変更手段を、前記手ブレに関する情報が手ブレ補正オンの情報を含む場合、前記手ブレ補正系の駆動の態様を変更するよう前記手ブレ補正条件を変更する手段としてもよい。
この場合、前記制御変更手段を、前記手ブレ補正系の基準位置への復帰を禁止することにより、前記手ブレ補正系の駆動の態様を変更する手段としてもよい。
「基準位置」としては、手ブレ補正系を最大限に駆動することが可能なように手ブレ補正系の駆動を制御する制御上の位置であり、例えば手ブレ補正系の制御上の中心と定めた位置、具体的には、手ブレ補正系の駆動中心であってもよく、駆動中心の周囲所定範囲内の領域における任意の位置であってもよい。
また、本発明による撮影装置においては、前記制御変更手段を、前記手ブレに関する情報が手ブレ補正オフの情報を含む場合、前記フラッシュ調光時に手ブレ補正をオンとするよう前記手ブレ補正条件を変更する手段としてもよい。
また、本発明による撮影装置においては、前記制御変更手段を、さらに前記手ブレ補正系の駆動の態様を変更するよう前記手ブレ補正条件を変更する手段としてもよい。
また、本発明による撮影装置においては、前記発光制御手段が、前記撮影手段による撮影範囲を複数の調光エリアに分割することにより前記フラッシュ調光を行う手段であり、前記手ブレに関する情報が、前記フラッシュ調光前に取得された手ブレ量を含む場合、
前記制御変更手段を、前記手ブレ量が大きいほど前記調光エリアのサイズを大きくするよう前記調光条件を変更する手段としてもよい。
また、本発明による撮影装置においては、前記発光制御手段が、前記撮影手段による撮影範囲を複数の調光エリアに分割することにより前記フラッシュ調光を行う手段であり、前記手ブレに関する情報が、前記フラッシュ調光前に取得された前記手ブレ補正手段により前記手ブレ補正系を駆動しても手ブレを補正することができないブレ残り量を含む場合、
前記制御変更手段を、前記ブレ残り量が大きいほど前記調光エリアのサイズを大きくするよう前記調光条件を変更する手段としてもよい。
また、本発明による撮影装置においては、前記発光制御手段が、前記撮影手段による撮影範囲を複数の調光エリアに分割することにより前記フラッシュ調光を行う手段であり、前記手ブレに関する情報が手ブレ方向を含む場合、
前記制御変更手段を、前記第1の露光および前記第2の露光のうちの後に行われる露光前に、前記手ブレ方向とは逆方向に前記調光エリアを移動することにより、前記調光条件を変更する手段としてもよい。
また、本発明による撮影装置においては、前記手ブレに関する情報が、前記フラッシュ調光後に取得された前記手ブレ補正手段により前記手ブレ補正系を駆動しても手ブレを補正することができないブレ残り量を含む場合、
前記制御変更手段を、前記ブレ残り量が所定のしきい値よりも大きい場合、前記フラッシュ調光を再度行うよう前記調光条件を変更する手段としてもよい。
この場合、前記制御変更手段を、前記再度のフラッシュ調光時における前記調光エリアのサイズを、該再度のフラッシュ調光の直前のフラッシュ調光時における前記調光エリアのサイズよりも大きくするよう、前記調光条件を変更する手段としてもよい。
本発明による撮影装置の制御方法は、撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
手ブレに関する情報を取得する手ブレ情報取得手段と、
該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
フラッシュを発光する発光手段と、
本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を行う発光制御手段とを備えた撮影装置の制御方法であって、
前記手ブレに関する情報に基づいて、前記フラッシュ調光の調光条件および前記手ブレ補正手段の手ブレ補正条件の少なくとも一方を変更することを特徴とするものである。
なお、本発明による撮影装置の制御方法をコンピュータに実行させるためのプログラムとして提供してもよい。
本発明によれば、手ブレに関する情報に基づいて、フラッシュ調光の調光条件および手ブレ補正手段の手ブレ補正条件の少なくとも一方を変更するようにしたため、フラッシュ調光時に手ブレ補正手段を駆動するように制御を行うことにより、フラッシュ調光により取得される画像から手ブレの影響を除去することができ、その結果、精度良くフラッシュの発光量を算出することができる。
一方、フラッシュ調光時に手ブレ補正手段を駆動する場合において、手ブレ補正系がその駆動範囲を超えて駆動されようとする場合、手ブレ補正系は基準位置に復帰するように制御される。しかしながら、フラッシュ調光時における第1の露光および第2の露光の間において手ブレ補正系が基準位置に復帰すると、2回の露光により取得される2つの画像の画角がずれてしまうため、フラッシュの発光量を正確に算出することができなくなってしまう。
したがって、手ブレに関する情報が手ブレ補正オンの情報を含む場合に、手ブレ補正系の駆動の態様を変更する、より具体的には手ブレ補正系の基準位置への復帰を禁止することにより、2回の露光により取得される2つの画像の画角のずれを防止できるため、フラッシュの発光量を正確に算出することができる。
また、フラッシュ調光前の手ブレ量が大きいほど、調光エリアのサイズを大きくすることにより、手ブレ補正により手ブレ補正系が移動しても、第1の露光および第2の露光により取得される2つの画像における同一の調光エリアに、同一の被写体が存在する可能性が高くなる。したがって、フラッシュの発光量を正確に算出することができる。
また、フラッシュ調光前のブレ残り量が大きいほど、調光エリアのサイズを大きくすることにより、ブレ残り量が大きくなるほど大きな手ブレが起こっている場合でも、第1の露光および第2の露光により取得される2つの画像における同一の調光エリアに同一の被写体が存在する可能性が高くなる。したがって、フラッシュの発光量を正確に算出することができる。
また、第1の露光および第2の露光のうちの後に行われる露光前に、手ブレ方向とは逆方向に調光エリアを移動することにより、第1の露光および第2の露光により取得される2つの画像における同一の調光エリアに同一の被写体が存在する可能性が高くなる。したがって、フラッシュの発光量を正確に算出することができる。
また、フラッシュ調光後のブレ残り量が所定のしきい値よりも大きい場合、フラッシュ調光を再度行うことにより、本撮影時の手ブレの影響を除去することができる。
以下、図面を参照して本発明の実施形態について説明する。
図1および図2は、本発明の第1の実施形態におけるデジタルカメラ1の外観を示す図である。図1および図2に示すように、このデジタルカメラ1の上部には、レリーズボタン2、電源ボタン3およびズームレバー4が備えられている。
レリーズボタン2は、2段階の押下により2種類の動作を指示できる構造となっている。例えば、自動露出調整機能(AE:Auto Exposure)、自動焦点調節機能(AF:Auto Focus)を利用した撮影では、デジタルカメラ1は、レリーズボタン2が軽く押下される第1の押下操作(半押しともいう)がなされたときに、露出調整、焦点合わせ等の撮影準備を行う。その状態で、レリーズボタン2が強く押下される第2の押下操作(全押しともいう)がなされると、デジタルカメラ1は露光を開始し、露光により得られた1画面分の画像データをメモリカードに記録する。
また、デジタルカメラ1の正面には、内蔵フラッシュ(以下単にフラッシュとする)5が設けられている。
また、デジタルカメラ1の背面には、液晶モニタ(LCD:Liquid Crystal Display)6、撮影モード等の設定に利用されるモードダイヤル7、および各種操作ボタン8が備えられている。
フラッシュ5は、レリーズボタン2の2段階目の押下操作と連動して2回発光する。1回目の発光は被写体からの反射光量を測定するための予備発光(プリ発光)であり、通常の発光に比べれば発光量は微小である。予備発光には反射光量の測定のほか、赤目を予防する目的もある。2回目の発光は被写体に対して撮影に十分な光を供給するための(適切な露光量を得るための)本発光であり、本発光の発光量が適正であれば、適切な明るさの画像を得ることができる。
フラッシュ5の動作は、レリーズボタン2の操作のみならず、モードダイヤル7により設定された撮影モードにも依存する。撮影モードとしては、撮影に係る全設定をカメラが自動で行う「AUTO」、撮影に係る全設定をユーザが手動で行う「マニュアル」のほか、「プログラムオート」、「シャッタ優先オート」、「絞り優先オート」、「ブレ軽減」、「ナチュラルフォト」、「人物」、「風景」、「夜景」等、撮影シーン毎のモードが用意されている。「AUTO」モードに設定されたデジタルカメラ1は、フラッシュ撮影が必要と判断すれば、レリーズボタン2の操作と連動してフラッシュ5を発光させる。一方、「ナチュラルフォト」はフラッシュなしで撮影を行うモードであるため、このモードに設定されたデジタルカメラ1では、レリーズボタン2を操作してもフラッシュ5は発光しない。他のモードについても、それぞれ、そのモードの目的に適うフラッシュ5の発光動作が定められている。
次いで、図3を参照して、デジタルカメラ1の内部構成について概要を説明する。図3に示すように、デジタルカメラ1は撮影部10を備える。撮影部10は、撮影レンズ11、レンズ駆動部12、絞り13、絞り駆動部14、CCD15およびタイミングジェネレータ(TG)16を備える。
撮影レンズ11は、被写体にピントを合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズにより構成される。レンズ駆動部12はステッピングモータ等小型のモータで、CCD15から各機能別レンズのまでの距離が目的に適った距離となるように各機能別レンズの位置を調整する。
絞り13は、複数の絞り羽根からなる。絞り駆動部14は、ステッピングモータ等小型のモータで、絞りの開口サイズが目的に適ったサイズになるように絞り羽根の位置を調整する。
CCD15は、原色カラーフィルタを伴うCCDであり、タイミングジェネレータ16からの指示に応じて蓄積された電荷をCCD15から放出する。タイミングジェネレータ16は、CCD15に所望の時間のみ電荷が蓄積されるようにCCD15に対して信号を送り、これによりシャッタ速度を調整する。
また、デジタルカメラ1は、ジャイロセンサ17、手ブレ補正部18および防振ユニット19を備える。
ジャイロセンサ17は、撮影部10の光軸に対して垂直な方向におけるデジタルカメラ1の角速度を検出し、その検出信号を手ブレ補正部18に入力する。手ブレ補正部18は、検出信号に基づいて、デジタルカメラ1の手ブレ量および手ブレ方向を算出し、算出した手ブレ量および手ブレ方向に基づいて、手ブレを打ち消す方向、すなわち手ブレの方向とは反対の方向にCCD15を駆動するように防振ユニット19に指示を行う。
防振ユニット19は、CCD15を光軸に垂直な方向に駆動するための不図示のx方向駆動機構およびy方向駆動機構を備え、手ブレ補正部18からの指示により、CCD15を光軸に垂直な方向に2次元的に駆動する。なお、CCD15は、その光軸が撮影レンズ11の光軸と一致する位置を駆動中心として駆動される。この駆動中心が手ブレ補正の基準位置となる。ここで、CCD15は、その光軸が駆動中心にあるときに光軸に垂直な全方向に最大限に駆動できるものである。また、手ブレ補正部18は、CCD15が手ブレ補正の限界まで移動した場合、CCD15を駆動中心に復帰させるセンタリングを行うように防振ユニット19に指示を行う。
また、デジタルカメラ1は、CCD15の出力信号をデジタル信号に変換するA/D変換部20、A/D変換部20が出力した画像データをシステムバスを介して他の処理部に転送する画像入力制御部21、および画像入力制御部21から転送された画像データを一時記憶するSDRAM22を備える。
また、デジタルカメラ1は、フラッシュ5の発光タイミングや発光量を制御する発光制御部23、レンズ駆動部12にレンズの移動を指示して焦点合わせを行う焦点調節部24、および絞り値とシャッタ速度とを決定し、絞り駆動部14およびタイミングジェネレータ16に指示を行う露出調整部25を備える。
発光制御部23、焦点調節部24および露出調整部25は、SDRAM22に記憶されている画像データを参照して処理を行う
デジタルカメラ1は、この他、SDRAM22に記憶されている画像データに対して信号処理を施す画像処理部27を備える。画像処理部27は、画像を自然な色合い、明るさにするための色階調補正や明るさ補正、また画像データが赤目を含むものであるときに赤目を黒目に修正する処理等、画像の見栄えをよくするための各種信号処理を行った後、処理済みの画像データを再度SDRAM22に格納する。
また、デジタルカメラ1は、SDRAM22に記憶されている画像データの液晶モニタ6への出力を制御する表示制御部29を備える。表示制御部29は、SDRAM22に記憶されている画像データの画素数を、表示に適した大きさとなるように間引きしてから液晶モニタ6に出力する。
また、デジタルカメラ1は、SDRAM22に記憶されている画像データのメモリカード30への書込み、およびメモリカード30に記録されている画像データのSDRAM22へのロードを制御する記録読出制御部31を備える。記録読出制御部31は、ユーザの設定に応じてRAWデータをそのまま、もしくは圧縮符号化によりJPEGデータに変換してからメモリカード30に記録する。JPEGデータをロードするときは、その逆の変換を行ってからデータをSDRAM22にロードする。
デジタルカメラ1は、この他、CPU(Central Processor Unit)32、操作/制御プログラムが格納されたRAM(Random Access Memory)33、および各種設定値が記憶されているEEPROM(Electronically Erasable and Programmable Read Only Memory)34からなる全体制御部35を備える。全体制御部35は、モードダイヤルによる撮影モードの設定、手ブレ補正のオン、オフ等のユーザが行う各種設定操作を検出し、設定された内容をEEPROM34に記憶せしめる。そして、その設定操作が行われたとき、もしくは撮影操作が行われたときに、EEPROM34に記憶された設定値にしたがって、前述したジャイロセンサ17、手ブレ補正部18、画像入力制御部21、発光制御部23、焦点調節部24、露出調整部25、画像処理部27、表示制御部29、および記録読出制御部31に対し、システムバス36を介して、実行すべき処理や、その処理の実行タイミングを指示する信号を送出する。
以下、第1の実施形態によるデジタルカメラ1におけるフラッシュ5の発光の制御および手ブレ補正の制御について説明する。図4は第1の実施形態において、手ブレ補正機能および発光制御機能が有効な場合のデジタルカメラにおけるカメラ制御処理および手ブレ補正処理を、時間の流れとともに図の左から右に並べた図であり、第1の実施形態によるデジタルカメラ1におけるレリーズボタンの操作とデジタルカメラ1の動作、フラッシュ5を発光させるために発光制御部23が出力する発光パルス、ジャイロセンサ17の動作および手ブレ補正処理との関係を示したものである。また、図5は第1の実施形態において行われる処理を示すフローチャートである。
全体制御部35は、EEPROM34の設定値のうち手ブレ補正のオン、オフを示す値が「オン」に設定されていれば、ジャイロセンサ17および手ブレ補正部18に対し、手ブレ補正処理を実行するよう指示を行う。これにより、手ブレ補正部18が手ブレ補正処理を開始し、ジャイロセンサ17の検出結果に基づいて、防振ユニット19に対してCCD15の移動量および移動方向の指示を行う。これにより、防振ユニット19がCCD15を駆動して手ブレ補正処理を行う(ステップST1)。ここで、ステップST1における手ブレ補正処理はセンタリング有りに設定されており、CCD15が手ブレ補正の限界まで移動した際には、防振ユニット19がCCD15を駆動中心に復帰させるセンタリングを行う。なお、カメラ制御処理はボタン操作待ちの状態となる。
全体制御部35は、レリーズボタン2の第1の押下操作(半押し、以下S1とする)を検出すると(ステップST2:肯定)、焦点調節部24および露出調整部25に第1の押下操作が検出されたことを通知する。これにより、露出調整部25がAE処理を、焦点調節部24がAF処理を行う(AE/AF処理、ステップST3)。なお、この後もセンタリング有りの手ブレ補正処理が引き続き行われる。一方、カメラ制御処理はAE/AF処理後、ボタン操作待ちの状態となる。
そして、全体制御部35が、レリーズボタン2の第2の押下操作(全押し、以下S2とする)を検出すると(ステップST4:肯定)、全体制御部35からの指示により手ブレ補正部18が防振ユニット19に対して、手ブレ補正処理のセンタリングを無しとする指示を行う(ステップST5)。これにより、CCD15が手ブレ補正の限界まで移動しても、CCD15は駆動中心に復帰されないこととなる。一方、カメラ制御処理においてはフラッシュ調光が行われる(ステップST6)。
すなわち、全体制御部35がフラッシュ調光の開始の指示を発光制御部23に対して行い、これにより、発光を伴わない非発光露光により撮影された画像、すなわち、SDRAM22に記憶されている最新の画像データ(非発光時画像データ)が取得される(図4の調光1)。さらに、発光制御部23が発光パルスをフラッシュ5に出力することによりフラッシュ5が予備発光を行って、予備発光露光により撮影されSDRAM22に記憶された画像データ(予備発光時画像データ)が取得される(図4の調光2)。
次いで、全体制御部35からの指示により、手ブレ補正部18が防振ユニット19に対して、手ブレ補正処理のセンタリングを有りとする指示を行う(ステップST7)。
次いで、発光制御部23がフラッシュの発光量を算出する(ステップST8)。具体的には、まず発光制御部23は、非発光時画像データおよび予備発光時画像データにより表される画像を複数の調光エリアに分割し、調光エリア毎の輝度情報の差分値を算出する。図6は調光エリアへの分割の一例を示す図であり、非発光時画像データまたは予備発光時画像データにより表される画像を、n×m(ここでは16×16=256)個に分割した状態を示している。以下の説明では、(1,1)、(n,m)といった符号により、位置が異なる調光エリアを区別するものとする。
そして、発光制御部23は、非発光時画像データの調光エリア毎の非発光輝度情報Ya(1,1)〜Ya(n,m)を取得する。例えば、非発光時画像データをRGB−YCC変換し、各画素の輝度値を求め、その輝度値の調光エリア毎の平均値を求め、非発光輝度情報Yaとする。予備発光時画像データについても、同様の手順により、各調光エリアの予備発光の輝度情報Yb(1,1)〜Yb(n,m)を取得する。次いで発光制御部23は、調光エリア毎に非発光の輝度情報Ya(x,y)と予備発光の輝度情報Yb(x,y)との差分値Yd(x,y)(=Yb(x,y)−Ya(x,y))を算出する。
そして、全領域ブロックの差分Yd(1,1)〜Yd(n,m)に基づいて、フラッシュ発光量の予備発光に対する発光倍率を算出する。例えば、差分Yd(1,1)〜Yd(n,m)および非発光輝度情報Ya(1,1)〜Ya(n,m)の単純平均あるいは加重平均Ydm、Yamを算出し、目標輝度Yoを用いて下記の式(1)により、目標輝度を得るために必要な、予備発光の発光量に対する発光倍率を算出する。
発光倍率=(Yo−Yam)/Ydm (1)
さらに、発光制御部23は発光倍率からフラッシュ5の発光時間を算出し、さらにあらかじめ発光時間と発光倍率との関係を対応付けたルックアップテーブルを参照して発光時間を算出する。なお、算出した発光倍率および発光時間が、フラッシュ5の発光量となる。
次いで、全体制御部35が本撮影を行う(ステップST9)。本撮影においては、フラッシュの発光(本発光)および画像の取得は、全体制御部35の指示の下、同期して行われる。発光制御部23は、全体制御部35から指示されたタイミングで、算出した発光量、すなわち予備発光に対する発光倍率および発光時間にてフラッシュ5を発光させる。また、同じタイミングで、露出調整部25はステップST3において決定された絞り値およびシャッタ速度を、絞り駆動部14およびタイミングジェネレータ16に伝え、CCD15の露光を行う。なお、露光の間は、引き続きセンタリング有りの手ブレ補正処理が行われる。
露光が終了すると、CCD15からA/D変換部20に電荷が読み出される。なお、露光が終了すると、信号処理が終了するまで手ブレ補正処理はオフとされ、ジャイロセンサ17の駆動も停止される。そして、画像入力制御部21がA/D変換部20から供給された画像データを画像処理部27に転送し、画像処理部27は必要な信号処理を画像データに対して施して記録読出制御部31に転送し、記録読出制御部31はその画像データをメモリカード30に記録する。以上により、撮影が完了する。
このように、第1の実施形態においては、手ブレ補正がオンに設定されている場合において、フラッシュ調光時にCCD15のセンタリングを無しとして、CCD15の駆動中心への復帰を禁止するようにしたため、調光1および調光2の2回の露光により取得される2つの画像の画角のずれを防止できる。したがって、フラッシュ調光によるフラッシュの発光量を正確に算出することができる。
なお、上記第1の実施形態においては、CCD15のセンタリングを無しとしているが、フラッシュ調光時におけるCCD15の駆動の態様としてはこれに限定されるものではない。例えば、手ブレ補正時におけるCCD15の移動量は、撮影レンズ11のシェーディングを考慮して、撮影レンズ11の光軸を中心とする所定範囲に制限されているが、フラッシュ調光は、2回の露光による取得される画像の明るさのみが分かればよいものであるため、取得される画像が歪んでいてもそれほど問題はない。したがって、フラッシュ調光時においては、手ブレ補正処理によるCCD15の駆動の範囲を通常の手ブレ補正処理のときよりも大きくすることにより、手ブレ補正処理によるCCD15の駆動の態様を変更するようにしてもよい。
次いで、本発明の第2の実施形態について説明する。なお、本発明の第2の実施形態および以降に説明する実施形態によるデジタルカメラの構成は、本発明の第1の実施形態によるデジタルカメラ1の構成と同一であり、行われる処理のみが異なるため、以降の実施形態においては構成についての詳細な説明は省略する。
第2の実施形態においては、手ブレ補正がオフに設定されている場合においても、フラッシュ調光の間に手ブレ補正処理を行うようにしたものである。
以下、第2の実施形態によるデジタルカメラ1におけるフラッシュ5の発光の制御および手ブレ補正の制御について説明する。図7は第2の実施形態におけるカメラ制御処理および手ブレ補正処理を、時間の流れとともに図の左から右に並べた図、図8は第2の実施形態において行われる処理を示すフローチャートである。なお、第2の実施形態において、S1の検出およびAE/AF処理は第1の実施形態と同様に行われるため、図8のフローチャートには、AE/AF処理が行われた以降の処理のみを示す。
第2の実施形態においては、手ブレ補正はオフに設定されているため、S2が検出されるまでは手ブレ補正はオフとされる(ステップST11)。そしてS2を検出すると(ステップST12:肯定)、全体制御部35が、ジャイロセンサ17および手ブレ補正部18に対し、手ブレ補正処理を実行するよう指示を行う(手ブレ補正オン、ステップST13)。これにより、手ブレ補正部18が手ブレ補正処理を開始し、ジャイロセンサ17の検出結果に基づいて、防振ユニット19に対してCCD15の移動量および移動方向の指示を行い、防振ユニット19がCCD15を駆動して手ブレ補正処理を行う。なお、この際の手ブレ補正処理は、第1の実施形態と同様にセンタリング無しとすることが好ましいが、センタリング有りとしてもよい。
一方、カメラ制御処理においてはフラッシュ調光が行われる(ステップST14)。フラッシュ調光が終了すると手ブレ補正はオフとされ、ジャイロセンサ17の駆動も停止される(ステップST15)。次いで、発光制御部23がフラッシュの発光量を算出し(ステップST16)、全体制御部35が本撮影を行い(ステップST17)、撮影が完了する。
このように、第2の実施形態においては、手ブレ補正がオフに設定されている場合において、フラッシュ調光時に手ブレ補正をオンとするようにしたため、フラッシュ調光により取得される画像から手ブレの影響を除去することができ、その結果、精度良くフラッシュの発光量を決定することができる。
次いで、本発明の第3の実施形態について説明する。第3の実施形態においては、手ブレ補正がオフに設定されている場合において、フラッシュ調光の直前にジャイロセンサ17を駆動して手ブレ量を算出し、手ブレ量がしきい値Th1以上である場合に、調光エリアのサイズを大きくするようにしたものである。
以下、第3の実施形態によるデジタルカメラ1におけるフラッシュ5の発光の制御および手ブレ補正の制御について説明する。図9は第3の実施形態におけるカメラ制御処理および手ブレ補正処理を、時間の流れとともに図の左から右に並べた図、図10は第3の実施形態において行われる処理を示すフローチャートである。なお、第3の実施形態において、S1の検出およびAE/AF処理は第1の実施形態と同様に行われるため、図10のフローチャートには、AE/AF処理が行われた以降の処理のみを示す。
第3の実施形態においては、手ブレ補正はオフに設定されているため、手ブレ補正はオフとされる(ステップST21)。そしてS2を検出すると(ステップST22:肯定)、全体制御部35が、ジャイロセンサ17および手ブレ補正部18に対し、手ブレ量を算出する処理を実行するよう指示を行う(手ブレ量算出オン、ステップST23)。これにより、ジャイロセンサ17の検出結果に基づいて、手ブレ補正部18が手ブレ量を算出する(ステップST24)。続いて、全体制御部35は、ジャイロセンサ17および手ブレ補正部18に対し、手ブレ量を算出する処理を停止する指示を行う(手ブレ量算出オフ、ステップST25)。
次いで、全体制御部35が、手ブレ量がしきい値Th1以上であるか否かを判定する(ステップST26)。ここで、本実施形態においては、初期状態において調光エリアを図6に示すように16×16=256に分割していることから、しきい値Th1としては、フラッシュ調光により得られる画像を256分割した場合の1つの調光エリアの縦または横のサイズの10%の値を用いるものとする。
ステップST26が否定される、すなわち、手ブレ量が初期状態の調光エリアのサイズの10%未満である場合には、フラッシュ調光により得られる画像の分割数を大きくして調光エリアのサイズを小さくする(ステップST27)。具体的には、フラッシュ調光により得られる画像を初期状態と同一の256に分割する。一方、ステップST26が肯定される、すなわち、手ブレ量が初期状態における調光エリアのサイズの10%以上である場合には、フラッシュ調光により得られる画像の分割数を小さくして調光エリアのサイズを大きくする(ステップST28)。具体的には、図11に示すようにフラッシュ調光により得られる画像を8×8=64に分割する。
続いて、カメラ制御処理においてフラッシュ調光が行われる(ステップST29)。フラッシュ調光が終了すると、発光制御部23がフラッシュ5の発光量を算出し(ステップST30)、全体制御部35が本撮影を行い(ステップST31)、撮影が完了する。
このように第3の実施形態においては、フラッシュ調光前の手ブレ量が大きいほど、調光エリアのサイズを大きくするようにしたため、手ブレ補正処理によりCCD15が移動しても、調光1および調光2の露光により取得される2つの画像における同一の調光エリアに、同一の被写体が存在する可能性が高くなる。したがって、フラッシュ5の発光量を正確に決定することができる。
なお、上記第3の実施形態においては、手ブレ補正をオフに設定した場合の処理について説明したが、手ブレ補正をオンに設定した場合においても、フラッシュ調光の直前に算出した手ブレ量をしきい値Th1と比較し、比較の結果に応じて調光エリアのサイズを変更するようにしてもよい。手ブレ補正をオンに設定した場合、手ブレ補正処理は本撮影における露光が終了するまで常時行われることとなる。また、手ブレ補正をオンに設定した場合、フラッシュ調光時の手ブレ補正処理は、センタリング無しとしてもよい。
また、上記第3の実施形態においては、手ブレ量としきい値Th1との比較結果に応じて、2段階に調光エリアのサイズを変更しているが、手ブレ量が大きいほど調光エリアのサイズが大きくなるように、段階的に調光エリアのサイズを変更するようにしてもよい。具体的には、しきい値Th11<しきい値Th12とした場合、手ブレ量がしきい値Th11未満の場合には256分割、手ブレ量がしきい値Th11以上しきい値Th12未満の場合には128分割、手ブレ量がしきい値Th12以上の場合には64分割というように、段階的に調光エリアのサイズを変更すればよい。
次いで、本発明の第4の実施形態について説明する。第4の実施形態においては、手ブレ補正がオンに設定されている場合において、フラッシュ調光の直前の手ブレ量から手ブレ補正処理によっても補正できないブレ残り量を算出し、ブレ残り量がしきい値Th1以上となった場合に、調光エリアのサイズを大きくするようにしたものである。
以下、第4の実施形態によるデジタルカメラ1におけるフラッシュ5の発光の制御および手ブレ補正の制御について説明する。図12は第4の実施形態におけるカメラ制御処理および手ブレ補正処理を、時間の流れとともに図の左から右に並べた図、図13は第4の実施形態において行われる処理を示すフローチャートである。なお、第4の実施形態において、S1の検出およびAE/AF処理は第1の実施形態と同様に行われるため、図13のフローチャートには、AE/AF処理が行われた以降の処理のみを示す。
第4の実施形態においては、手ブレ補正はオンに設定されているため、手ブレ補正はオンとされる(ステップST41)。そしてS2を検出すると(ステップST42:肯定)、全体制御部35が、手ブレ補正部18に対しブレ残り量を算出する処理を実行するよう指示を行う。これにより、手ブレ補正部18が、現在の手ブレ量からCCD15を駆動しても除去しきれない手ブレ量であるブレ残り量を算出する(ブレ残り量算出、ステップST43)。
次いで、全体制御部35が、ブレ残り量がしきい値Th2以上であるか否かを判定する(ステップST44)。ここで、本実施形態においては、初期状態において調光エリアを図6に示すように16×16=256に分割していることから、しきい値Th2としては、256分割時における1つの調光エリアの縦または横のサイズの10%の値を用いるものとする。
ステップST44が否定される、すなわち、ブレ残り量が初期状態の調光エリアのサイズの10%未満である場合には、分割数を大きくして調光エリアのサイズを小さくする(ステップST45)。具体的には、フラッシュ調光により得られる画像を初期状態と同一の256に分割する。一方、ステップST44が肯定される、すなわち、ブレ残り量が初期状態における調光エリアのサイズの10%以上である場合には、フラッシュ調光により得られる画像の分割数を小さくして調光エリアのサイズを大きくする(ステップST46)。具体的には、図11に示すようにフラッシュ調光により得られる画像を8×8=64に分割する。
続いて、カメラ制御処理においてフラッシュ調光が行われる(ステップST47)。フラッシュ調光が終了すると、発光制御部23がフラッシュの発光量を算出し(ステップST48)、全体制御部35が本撮影を行い(ステップST49)、撮影が完了する。
このように第4の実施形態においては、フラッシュ調光前のブレ残り量が大きいほど、調光エリアのサイズを大きくするようにしたため、手ブレ補正によりCCD15が移動しても、調光1および調光2の露光により取得される2つの画像における同一の調光エリアに、同一の被写体が存在する可能性が高くなる。したがって、フラッシュの発光量を正確に決定することができる。
なお、上記第4の実施形態においては、手ブレ補正をオンに設定した場合の処理について説明したが、手ブレ補正をオフに設定した場合においても、フラッシュ調光の直前に第3の実施形態と同様に手ブレ量を算出するとともにブレ残り量を算出し、算出したブレ残り量をしきい値Th2と比較し、比較の結果に応じて調光エリアのサイズを変更するようにしてもよい。なお、フラッシュ調光時の手ブレ補正処理は、センタリング無しとしてもよい。
また、上記第4の実施形態においては、ブレ残り量としきい値Th2との比較結果に応じて、2段階に調光エリアのサイズを変更しているが、手ブレ量が大きいほど調光エリアのサイズが大きくなるように、段階的に調光エリアのサイズを変更するようにしてもよい。具体的には、しきい値Th21<しきい値Th22とした場合、ブレ残り量がしきい値Th21未満の場合には256分割、ブレ残り量がしきい値Th21以上しきい値Th22未満の場合には128分割、ブレ残り量がしきい値Th22以上の場合には64分割というように、段階的に調光エリアのサイズを変更すればよい。
次いで、本発明の第5の実施形態について説明する。第5の実施形態においては、手ブレ補正がオンに設定されている場合において、フラッシュ調光の直前の手ブレ量から手ブレ補正処理によっても補正できないブレ残り量を算出し、ブレ残り量がしきい値Th2以上となった場合に調光エリアのサイズを大きくし、さらに手ブレが一定方向に連続するものである場合に、調光2の処理を行う際に手ブレ方向とは逆の方向に調光エリアをシフトするようにしたものである。
以下、第5の実施形態によるデジタルカメラ1におけるフラッシュ5の発光の制御および手ブレ補正の制御について説明する。図14は第5の実施形態におけるカメラ制御処理および手ブレ補正処理を、時間の流れとともに図の左から右に並べた図、図15は第5の実施形態において行われる処理を示すフローチャートである。なお、第5の実施形態において、調光エリアの分割は第4の実施形態と同様に行われるため、図15のフローチャートには、調光エリアの分割が行われた以降の処理のみを示す。また、第5の実施形態においては、調光エリアの分割は図16に示すようにフラッシュ調光により得られる画像よりも若干狭い範囲において行うものとする。なお、図16においてはフラッシュ調光により得られる画像が64分割された状態を示している。
第5の実施形態において、調光エリアの分割が行われると、全体制御部35が調光1の処理を行い(ステップST51)、続いて手ブレが一定方向に連続しているか否かを判定する(ステップST52)。ステップST52の処理は、例えばブレ残り量を算出した際の手ブレ方向と、調光1の処理が終了した直後の手ブレ方向とが同一であるか否かを判定することにより行う。
ステップST52が肯定されると、全体制御部35は、調光エリアを手ブレの方向とは逆の方向にシフトする(ステップST53)。そして、調光エリアのシフト後に調光2の処理を行う(ステップST54)。ステップST52が否定されると、調光エリアをシフトとすることなくステップST54に進み、調光2の処理を行う。
図17は手ブレ方向が図面に向かって右方向である場合の調光エリアのシフトを説明するための図である。図17に示すように手ブレ方向が右方向である場合には、調光エリアの全体が左方向にシフトされる。これにより、人物の顔が含まれる調光エリアは、調光1および調光2において略同一となる。
続いて、発光制御部23がフラッシュの発光量を算出し(ステップST55)、全体制御部35が本撮影を行い(ステップST56)、撮影が完了する。
このように、第5の実施形態においては、手ブレが一定方向に連続している場合において調光2を行う際に、手ブレ方向とは逆方向に調光エリアをシフトするようにしたため、調光1および調光2の処理により取得される2つの画像における同一の調光エリアに、同一の被写体が存在する可能性が高くなる。したがって、同一の被写体に基づいてフラッシュの発光量を正確に決定することができる。
なお、上記第5の実施形態においては、手ブレ補正をオンに設定した場合の処理について説明したが、手ブレ補正をオフに設定した場合においても、フラッシュ調光の直前に第3の実施形態と同様に手ブレ量を算出するとともにブレ残り量を算出し、算出したブレ残り量をしきい値Th2と比較し、比較の結果に応じて調光エリアのサイズを変更するとともに、調光エリアをシフトするようにしてもよい。なお、フラッシュ調光時の手ブレ補正処理は、センタリング無しとしてもよい。
また、上記第5の実施形態においては、ブレ残り量としきい値Th2との比較結果に基づいて調光エリアのサイズを変更しているが、第3の実施形態と同様に、手ブレ量としきい値Th1との比較結果に基づいて、調光エリアのサイズを変更するようにしてもよい。
また、上記第5の実施形態においては、ブレ残り量としきい値Th2との比較結果に応じて、2段階に調光エリアのサイズを変更しているが、手ブレ量が大きいほど調光エリアのサイズが大きくなるように、段階的に調光エリアのサイズを変更するようにしてもよい。
また、上記第5の実施形態においては、調光エリアのサイズを変更しているが、調光エリアのサイズを変更することなく、調光エリアのシフトのみを行ってもよい。また、第1および第2の実施形態において、調光エリアをシフトさせるようにしてもよい。
次いで、本発明の第6の実施形態について説明する。第6の実施形態においては、第4の実施形態において、フラッシュ調光を行った後に再度ブレ残り量を算出し、ブレ残り量がしきい値Th3以上となった場合に調光エリアのサイズをさらに大きくして、再度のフラッシュ調光を行うようにしたものである。
以下、第6の実施形態によるデジタルカメラ1におけるフラッシュ5の発光の制御および手ブレ補正の制御について説明する。図18は第6の実施形態におけるカメラ制御処理および手ブレ補正処理を、時間の流れとともに図の左から右に並べた図、図19は第6の実施形態において行われる処理を示すフローチャートである。なお、第6の実施形態において、調光エリアの分割は第4の実施形態と同様に行われるため、図18および図19には1回目のフラッシュ調光以降の処理のみを示す。また、図18には、2回目のフラッシュ調光を行う場合の処理を示す。
第6の実施形態において、第4の実施形態と同様に調光エリアの分割が行われると、全体制御部35がフラッシュ調光を行い(ステップST61)、続いて全体制御部35が、手ブレ補正部18に対しブレ残り量を算出する処理を実行する指示を行う。これにより、手ブレ補正部18がブレ残り量を算出する(ステップST62)。
次いで、全体制御部35が、ブレ残り量がしきい値Th3以上であるか否かを判定する(ステップST63)。ここで、第6の実施形態においては、ステップST61のフラッシュ調光の前において調光エリアのサイズを変更しているため、しきい値Th3としては、1回目のフラッシュ調光時における調光エリアの縦または横のサイズの10%の値を用いるものとする。
ステップST63が否定される、すなわち、ブレ残り量が1回目のフラッシュ調光時における調光エリアのサイズの10%未満である場合には、調光エリアのサイズを変更することなくステップST66の処理に進む。一方、ステップST63が肯定される、すなわち、ブレ残り量が1回目のフラッシュ調光時の調光エリアのサイズの10%以上である場合には、フラッシュ調光により得られる画像の分割数を小さくして調光エリアのサイズを大きくする(ステップST64)。具体的には、1回目のフラッシュ調光時のフラッシュ調光により得られる画像の分割数が256分割である場合には64分割に、64分割である場合には、図20に示すように16分割する。
次いで、カメラ制御処理において2回目のフラッシュ調光が行われる(ステップST65)。フラッシュ調光が終了すると、発光制御部23がフラッシュの発光量を算出し(ステップST66)、全体制御部35が本撮影を行い(ステップST67)、撮影が完了する。
このように、第6の実施形態においては、フラッシュ調光後のブレ残り量がしきい値Th3以上の場合に、フラッシュ調光を再度行うようにしたため、本撮影時の手ブレの影響を除去することができる。また、調光エリアのサイズを1回目のフラッシュ調光時よりもさらに大きくしているため、調光1および調光2の処理により取得される2つの画像における同一の調光エリアに、同一の被写体が存在する可能性がより高くなり、その結果、フラッシュの発光量を正確に決定することができる。
なお、上記第6の実施形態においては、手ブレ補正をオンに設定した場合の処理について説明したが、手ブレ補正をオフに設定した場合においても、フラッシュ調光の直前に第3の実施形態と同様に手ブレ量を算出するとともにブレ残り量を算出し、算出したブレ残り量をしきい値Th2と比較し、比較の結果に応じて調光エリアのサイズを変更するようにしてもよい。なお、フラッシュ調光時の手ブレ補正処理は、センタリング無しとしてもよい。
また、上記第6の実施形態において、第5の実施形態と同様に、手ブレが一定方向に連続するものである場合に、調光2の処理を行う際に(1回目、2回目のフラッシュ調光を問わず)、手ブレ方向とは逆の方向に調光エリアをシフトするようにしてもよい。
また、上記第6の実施形態においては、フラッシュ調光を2回のみ行っているが、2回目のフラッシュ調光の後に再度ブレ残り量を算出し、さらに調光エリアのサイズを大きくして3回目のフラッシュ調光を行うようにしてもよい。さらには、調光エリアのサイズがフラッシュ調光により得られる画像と同一サイズとなるまで、ブレ残り量の算出およびフラッシュ調光を繰り返し行うようにしてもよい。
また、上記第6の実施形態においては、フラッシュ調光の際に調光エリアのサイズを変更しているが、調光エリアのサイズを変更することなく、初期の調光エリアのサイズを使用し、フラッシュ調光の後にブレ残り量がしきい値Th3以上となった場合に、フラッシュ調光を繰り返すようにしてもよい。また、第1および第2の実施形態において、フラッシュ調光の後にブレ残り量がしきい値Th3以上となった場合に、フラッシュ調光を繰り返すようにしてもよい。
また、上記第1から第6の実施形態においては、CCD15を移動させることにより手ブレ補正処理を行っているが、撮影部10に手ブレ補正レンズを設け、手ブレ補正レンズを移動させることにより手ブレ補正処理を行うようにしてもよい。
以上、本発明の実施形態に係るデジタルカメラ1について説明したが、コンピュータに図5,8,10,13,15,19に示すような処理を行わせるプログラムも、本発明の実施形態の1つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の1つである。
本発明の第1の実施形態によるデジタルカメラの正面側斜視図 本発明の第1の実施形態によるデジタルカメラの背面側斜視図 本発明の第1の実施形態によるデジタルカメラの内部構成を示す図 第1の実施形態におけるカメラ制御処理および手ブレ補正処理を時間の流れとともに図の左から右に並べた図 第1の実施形態において行われる処理を示すフローチャート 調光エリアの分割の一例を示す図 第2の実施形態におけるカメラ制御処理および手ブレ補正処理を時間の流れとともに図の左から右に並べた図 第2の実施形態において行われる処理を示すフローチャート 第3の実施形態におけるカメラ制御処理および手ブレ補正処理を時間の流れとともに図の左から右に並べた図 第3の実施形態において行われる処理を示すフローチャート 第3の実施形態における調光エリアの分割の一例を示す図 第4の実施形態におけるカメラ制御処理および手ブレ補正処理を時間の流れとともに図の左から右に並べた図 第4の実施形態において行われる処理を示すフローチャート 第5の実施形態におけるカメラ制御処理および手ブレ補正処理を時間の流れとともに図の左から右に並べた図 第5の実施形態において行われる処理を示すフローチャート 調光エリアのシフトを説明するための図(その1) 調光エリアのシフトを説明するための図(その2) 第6の実施形態におけるカメラ制御処理および手ブレ補正処理を時間の流れとともに図の左から右に並べた図 第6の実施形態において行われる処理を示すフローチャート 第6の実施形態における調光エリアの分割の一例を示す図 フラッシュ調光を説明するための図
符号の説明
1 デジタルカメラ
2 レリーズボタン
3 電源ボタン
5 フラッシュ
11 撮影レンズ
15 CCD
17 ジャイロセンサ
18 手ブレ補正部
19 防振ユニット
35 全体制御部

Claims (20)

  1. 撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
    手ブレに関する情報を取得する手ブレ情報取得手段と、
    該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
    フラッシュを発光する発光手段と、
    本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を行う発光制御手段と、
    前記手ブレに関する情報が手ブレ補正オンの情報を含む場合、前記フラッシュ調光時に前記手ブレ補正系の基準位置への復帰を禁止するよう、前記手ブレ補正系の駆動の態様を変更する制御変更手段とを備えたことを特徴とする撮影装置。
  2. 撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
    手ブレに関する情報を取得する手ブレ情報取得手段と、
    該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
    フラッシュを発光する発光手段と、
    本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を行う発光制御手段と、
    前記手ブレに関する情報が手ブレ補正オフの情報を含む場合、前記フラッシュ調光時に手ブレ補正をオンとするよう前記手ブレ補正条件を変更する制御変更手段とを備えたことを特徴とする撮影装置。
  3. 前記制御変更手段は、さらに前記手ブレ補正系の駆動の態様を変更するよう前記手ブレ補正条件を変更する手段であることを特徴とする請求項記載の撮影装置。
  4. 撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
    手ブレに関する情報を取得する手ブレ情報取得手段と、
    該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
    フラッシュを発光する発光手段と、
    本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を、前記撮影手段による撮影範囲を複数の調光エリアに分割して行う発光制御手段と、
    前記手ブレに関する情報が前記フラッシュ調光前に取得された手ブレ量を含む場合、該手ブレ量が大きいほど前記フラッシュ調光時の前記調光エリアのサイズを大きくするよう前記調光条件を変更する制御変更手段とを備えたことを特徴とする撮影装置。
  5. 撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
    手ブレに関する情報を取得する手ブレ情報取得手段と、
    該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
    フラッシュを発光する発光手段と、
    本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を、前記撮影手段による撮影範囲を複数の調光エリアに分割して行う発光制御手段と、
    前記手ブレに関する情報が、前記フラッシュ調光前に取得された前記手ブレ補正手段により前記手ブレ補正系を駆動しても手ブレを補正することができないブレ残り量を含む場合、該ブレ残り量が大きいほど前記フラッシュ調光時の前記調光エリアのサイズを大きくするよう前記調光条件を変更する制御変更手段とを備えたことを特徴とする撮影装置。
  6. 撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
    手ブレに関する情報を取得する手ブレ情報取得手段と、
    該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
    フラッシュを発光する発光手段と、
    本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を、前記撮影手段による撮影範囲を複数の調光エリアに分割して行う発光制御手段と、
    前記手ブレに関する情報が手ブレ方向を含む場合、前記第1の露光および前記第2の露光のうちの後に行われる露光前に、前記手ブレ方向とは逆方向に前記調光エリアを移動するよう前記調光条件を変更する制御変更手段とを備えたことを特徴とする撮影装置。
  7. 撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
    手ブレに関する情報を取得する手ブレ情報取得手段と、
    該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
    フラッシュを発光する発光手段と、
    本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を行う発光制御手段と、
    前記手ブレに関する情報が、前記フラッシュ調光後に取得された前記手ブレ補正手段により前記手ブレ補正系を駆動しても手ブレを補正することができないブレ残り量を含む場合において、該ブレ残り量が所定のしきい値よりも大きい場合、前記フラッシュ調光を再度行うよう前記調光条件を変更する制御変更手段とを備えたことを特徴とする撮影装置。
  8. 前記制御変更手段は、前記再度のフラッシュ調光時における前記調光エリアのサイズを、該再度のフラッシュ調光の直前のフラッシュ調光時における前記調光エリアのサイズよりも大きくするよう、前記調光条件を変更する手段であることを特徴とする請求項記載の撮影装置。
  9. 撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
    手ブレに関する情報を取得する手ブレ情報取得手段と、
    該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
    フラッシュを発光する発光手段と、
    本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を行う発光制御手段とを備えた撮影装置の制御方法であって、
    前記手ブレに関する情報が手ブレ補正オンの情報を含む場合、前記フラッシュ調光時に前記手ブレ補正系の基準位置への復帰を禁止するよう前記手ブレ補正系の駆動の態様を変更することを特徴とする撮影装置の制御方法。
  10. 撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
    手ブレに関する情報を取得する手ブレ情報取得手段と、
    該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
    フラッシュを発光する発光手段と、
    本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を行う発光制御手段とを備えた撮影装置の制御方法であって、
    前記手ブレに関する情報が手ブレ補正オフの情報を含む場合、前記フラッシュ調光時に手ブレ補正をオンとするよう前記手ブレ補正条件を変更することを特徴とする撮影装置の制御方法。
  11. 撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
    手ブレに関する情報を取得する手ブレ情報取得手段と、
    該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
    フラッシュを発光する発光手段と、
    本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を、前記撮影手段による撮影範囲を複数の調光エリアに分割して行う発光制御手段とを備えた撮影装置の制御方法であって、
    前記手ブレに関する情報が前記フラッシュ調光前に取得された手ブレ量を含む場合、該手ブレ量が大きいほど前記フラッシュ調光時の前記調光エリアのサイズを大きくするよう前記調光条件を変更することを特徴とする撮影装置の制御方法。
  12. 撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
    手ブレに関する情報を取得する手ブレ情報取得手段と、
    該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
    フラッシュを発光する発光手段と、
    本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を、前記撮影手段による撮影範囲を複数の調光エリアに分割して行う発光制御手段とを備えた撮影装置の制御方法であって、
    前記手ブレに関する情報が、前記フラッシュ調光前に取得された前記手ブレ補正手段により前記手ブレ補正系を駆動しても手ブレを補正することができないブレ残り量を含む場合、該ブレ残り量が大きいほど前記フラッシュ調光時の前記調光エリアのサイズを大きくするよう前記調光条件を変更することを特徴とする撮影装置の制御方法。
  13. 撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
    手ブレに関する情報を取得する手ブレ情報取得手段と、
    該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
    フラッシュを発光する発光手段と、
    本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を、前記撮影手段による撮影範囲を複数の調光エリアに分割して行う発光制御手段とを備えた撮影装置の制御方法であって、
    前記手ブレに関する情報が手ブレ方向を含む場合、前記第1の露光および前記第2の露光のうちの後に行われる露光前に、前記手ブレ方向とは逆方向に前記調光エリアを移動するよう前記調光条件を変更することを特徴とする撮影装置の制御方法。
  14. 撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
    手ブレに関する情報を取得する手ブレ情報取得手段と、
    該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
    フラッシュを発光する発光手段と、
    本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を行う発光制御手段とを備えた撮影装置の制御方法であって、
    前記手ブレに関する情報が、前記フラッシュ調光後に取得された前記手ブレ補正手段により前記手ブレ補正系を駆動しても手ブレを補正することができないブレ残り量を含む場合において、該ブレ残り量が所定のしきい値よりも大きい場合、前記フラッシュ調光を再度行うよう前記調光条件を変更することを特徴とする撮影装置の制御方法。
  15. 撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
    手ブレに関する情報を取得する手ブレ情報取得手段と、
    該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
    フラッシュを発光する発光手段と、
    本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を行う発光制御手段とを備えた撮影装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記手ブレに関する情報が手ブレ補正オンの情報を含む場合、前記フラッシュ調光時に前記手ブレ補正系の基準位置への復帰を禁止するよう前記手ブレ補正系の駆動の態様を変更する手順をコンピュータに実行させることを特徴とするプログラム。
  16. 撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
    手ブレに関する情報を取得する手ブレ情報取得手段と、
    該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
    フラッシュを発光する発光手段と、
    本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を行う発光制御手段とを備えた撮影装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記手ブレに関する情報が手ブレ補正オフの情報を含む場合、前記フラッシュ調光時に手ブレ補正をオンとするよう前記手ブレ補正条件を変更する手順をコンピュータに実行させることを特徴とするプログラム。
  17. 撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
    手ブレに関する情報を取得する手ブレ情報取得手段と、
    該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
    フラッシュを発光する発光手段と、
    本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を、前記撮影手段による撮影範囲を複数の調光エリアに分割して行う発光制御手段とを備えた撮影装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記手ブレに関する情報が前記フラッシュ調光前に取得された手ブレ量を含む場合、該手ブレ量が大きいほど前記フラッシュ調光時の前記調光エリアのサイズを大きくするよう前記調光条件を変更する手順をコンピュータに実行させることを特徴とするプログラム。
  18. 撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
    手ブレに関する情報を取得する手ブレ情報取得手段と、
    該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
    フラッシュを発光する発光手段と、
    本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を、前記撮影手段による撮影範囲を複数の調光エリアに分割して行う発光制御手段とを備えた撮影装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記手ブレに関する情報が、前記フラッシュ調光前に取得された前記手ブレ補正手段により前記手ブレ補正系を駆動しても手ブレを補正することができないブレ残り量を含む場合、該ブレ残り量が大きいほど前記フラッシュ調光時の前記調光エリアのサイズを大きくするよう前記調光条件を変更する手順をコンピュータに実行させることを特徴とするプログラム。
  19. 撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
    手ブレに関する情報を取得する手ブレ情報取得手段と、
    該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
    フラッシュを発光する発光手段と、
    本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を、前記撮影手段による撮影範囲を複数の調光エリアに分割して行う発光制御手段とを備えた撮影装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記手ブレに関する情報が手ブレ方向を含む場合、前記第1の露光および前記第2の露光のうちの後に行われる露光前に、前記手ブレ方向とは逆方向に前記調光エリアを移動するよう前記調光条件を変更する手順をコンピュータに実行させることを特徴とするプログラム。
  20. 撮影の指示により被写体を撮影して該被写体を表す画像を取得する撮影手段と、
    手ブレに関する情報を取得する手ブレ情報取得手段と、
    該手ブレに関する情報に基づいて、該手ブレに起因する前記撮影により取得される画像のブレを補正するよう、前記撮影手段における手ブレ補正系を駆動する手ブレ補正手段と、
    フラッシュを発光する発光手段と、
    本撮影の指示を受けると、該本撮影の前に前記撮影手段による発光を伴わない第1の露光および発光を伴う第2の露光を行い、該露光結果に基づく演算を行って前記本撮影時における前記フラッシュの発光量を制御するフラッシュ調光を行う発光制御手段とを備えた撮影装置の制御方法をコンピュータに実行させるためのプログラムであって、
    前記手ブレに関する情報が、前記フラッシュ調光後に取得された前記手ブレ補正手段により前記手ブレ補正系を駆動しても手ブレを補正することができないブレ残り量を含む場合において、該ブレ残り量が所定のしきい値よりも大きい場合、前記フラッシュ調光を再度行うよう前記調光条件を変更する手順をコンピュータに実行させることを特徴とするプログラム。
JP2008131801A 2008-05-20 2008-05-20 撮影装置およびその制御方法並びにプログラム Expired - Fee Related JP5137196B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008131801A JP5137196B2 (ja) 2008-05-20 2008-05-20 撮影装置およびその制御方法並びにプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008131801A JP5137196B2 (ja) 2008-05-20 2008-05-20 撮影装置およびその制御方法並びにプログラム

Publications (2)

Publication Number Publication Date
JP2009282117A JP2009282117A (ja) 2009-12-03
JP5137196B2 true JP5137196B2 (ja) 2013-02-06

Family

ID=41452659

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008131801A Expired - Fee Related JP5137196B2 (ja) 2008-05-20 2008-05-20 撮影装置およびその制御方法並びにプログラム

Country Status (1)

Country Link
JP (1) JP5137196B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5450200B2 (ja) 2009-07-17 2014-03-26 富士フイルム株式会社 撮像装置、方法およびプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3461383B2 (ja) * 1994-06-17 2003-10-27 オリンパス光学工業株式会社 カメラのぶれ補正装置
JPH08313953A (ja) * 1995-05-23 1996-11-29 Nikon Corp ブレ補正装置付きカメラ
JPH0973114A (ja) * 1995-09-05 1997-03-18 Olympus Optical Co Ltd ぶれ補正可能なカメラシステム
JP4160205B2 (ja) * 1999-06-18 2008-10-01 オリンパス株式会社 電子スチルカメラ
JP2001142108A (ja) * 1999-11-17 2001-05-25 Canon Inc カメラ
JP2004021205A (ja) * 2002-06-20 2004-01-22 Olympus Corp カメラ
JP4040613B2 (ja) * 2004-08-31 2008-01-30 キヤノン株式会社 撮像装置
JP2007013586A (ja) * 2005-06-30 2007-01-18 Fujifilm Holdings Corp 撮像装置

Also Published As

Publication number Publication date
JP2009282117A (ja) 2009-12-03

Similar Documents

Publication Publication Date Title
JP4808578B2 (ja) デジタルカメラおよびその制御方法
US8130280B2 (en) Electronic camera
US20130120615A1 (en) Imaging device
JP2007243250A (ja) 撮像装置および撮像方法
JP2013214878A (ja) 撮像装置、露出制御方法、及びプログラム
JP5228354B2 (ja) ディジタルカメラ
JP5316070B2 (ja) 撮像装置
JP2010072619A (ja) 露出演算装置およびカメラ
JP2006091915A (ja) 撮像装置
JP2013005325A (ja) 電子カメラ
JP5054635B2 (ja) 撮像装置
JP5137196B2 (ja) 撮影装置およびその制御方法並びにプログラム
JP5027582B2 (ja) 撮影装置およびその制御方法並びにプログラム
JP4879840B2 (ja) デジタルカメラおよびその制御方法
JP5849515B2 (ja) 露出演算装置およびカメラ
JP2010026039A (ja) 撮影装置および撮影装置の制御方法並びにプログラム
JP2008146024A (ja) 撮影装置及び撮影方法
JP2006157342A (ja) カメラモジュール
JP2008209760A (ja) 撮影方法及び撮影装置
CN111835980A (zh) 摄像设备及其控制方法以及存储介质
JP4758379B2 (ja) 撮影装置
JP4782649B2 (ja) デジタルカメラおよびその制御方法
JP4938989B2 (ja) 電子カメラ
JP4663607B2 (ja) デジタルカメラおよびその制御方法
JP5027581B2 (ja) 撮影装置およびその制御方法並びにプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110124

RD15 Notification of revocation of power of sub attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7435

Effective date: 20110418

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20120209

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120306

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121030

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121109

R150 Certificate of patent or registration of utility model

Ref document number: 5137196

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151122

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees