以下、本発明の実施形態について、添付図面を参照して詳細に説明する。各実施形態ではデジタルカメラやデジタルビデオ等への適用例を示すが、本発明は撮像機能を有する各種電子機器に適用可能である。
[第1実施例]
図1から図4を参照して、本実施例の撮像装置について説明する。図1(A)は撮像装置の中央断面図であり、図1(B)は撮像装置の電気的構成を示すブロック図である。撮像装置1は、その本体部にレンズユニット2を装着可能である。図1にはレンズ交換式の撮像装置を例示するが、レンズユニットが撮像装置1の本体部と一体化された構成の撮像装置への適用が可能である。撮像光学系3は複数のレンズ、絞り等の光学部材を備える。図1には撮像光学系3の光軸4を1点鎖線で示している。以下では被写体側を前側と定義して各部の位置関係を説明する。
撮像装置本体部(以下、単に本体部という)は、撮像素子6、背面表示装置9a、EVF(Electronic View Finder)9bを備える。ぶれ補正部14はぶれ検出部15による手ぶれ等の検出信号に基づいて撮像画像の像ブレ補正を行う。
撮像装置1の本体部とレンズユニット2は、電気接点11を介して電気的に接続される。この状態において、本体部内のカメラシステム制御部5とレンズユニット2内のレンズシステム制御部12とは互いに通信可能である。
図1(B)に示す撮像システムにおいて撮像部は、撮像光学系3、撮像素子6を備える。画像処理部7は撮像素子6の出力する撮像画像信号を処理する。記録再生部はメモリ部8と表示部9を備え、画像データの記録や再生表示等を行う。表示部9は背面表示装置9aとEVF9bを含み、撮像画像等の表示処理を行う。
撮像システムの制御部は、カメラシステム制御部5、操作検出部10、レンズシステム制御部12、レンズ側のぶれ補正部13およびぶれ検出部16、本体部側のぶれ補正部14およびぶれ検出部15を備える。レンズユニット2が備えるぶれ補正部13は、像ブレ補正を行う補正レンズ3aを駆動する。レンズユニット2の撮像光学系は、フォーカスレンズや絞り等を備えており、レンズシステム制御部12は不図示のレンズ駆動部により焦点調節や露出動作等の制御を行う。像ブレ補正はレンズユニット2および本体部にてそれぞれ行うことが可能である。
ぶれ検出部15,16はそれぞれ、本体部とレンズユニット2に加わる振れ(光軸4に対する回転)を検出可能であり、ジャイロセンサ(角速度センサ)等が使用される。本体部側のぶれ補正部14は撮像素子6を、光軸4に垂直な平面上で駆動させる機構を備える。レンズ側のぶれ補正部13は補正レンズ3aを、光軸4に垂直な平面上で駆動させる機構を備える。
レンズユニット2内のぶれ検出部16はレンズユニット2の振れ量を検出する。レンズシステム制御部12はぶれ検出部16の検出信号を取得して、ぶれ補正部13を介して補正レンズ3aの駆動制御を行う。ぶれ補正部13により補正レンズ3aは光軸4に垂直な平面内で駆動される。ぶれ補正部13は、補正レンズ3aの位置検出を行う位置検出部13aを備え、補正レンズ3aの位置検出信号を取得する。
また、本体部内のぶれ検出部15は本体部の振れ量を検出する。カメラシステム制御部5はぶれ検出部15の検出信号を取得して、ぶれ補正部14を介して撮像素子6の駆動制御を行う。ぶれ補正部14により撮像素子6は光軸4に垂直な平面内で駆動される。ぶれ補正部14は、撮像素子6を含むぶれ補正ユニット(像ブレ補正ユニット)の位置検出を行う位置検出部14aを備え、ぶれ補正ユニットの位置検出信号を取得する。
図1の撮像システムにて被写体からの光は、撮像光学系3を介して撮像素子6の撮像面に結像する。撮像素子6からの信号に基づいて焦点検出状態の評価量や適切な露光量が取得される。カメラシステム制御部5からの指令により、レンズシステム制御部12は撮像光学系3を調整することで、適切な光量の物体光が撮像素子6に露光される。撮像素子6は結像した被写体像に対して光電変換を行い、電気信号を出力する。
画像処理部7は、その内部にA/D変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像データを生成することができる。画像処理部7は色補間処理部を備え、ベイヤ配列の信号から色補間(デモザイキング)処理を施してカラー画像を生成する。また、画像処理部7は、予め定められた方法で画像、動画、音声等のデータ圧縮を行う。画像処理部7は、異なる条件での複数回の撮影により取得された画像の合成処理を行い、ダイナミックレンジの拡大された画像信号を生成する処理を行う。さらには、画像処理部7は撮像素子6により取得された複数の画像間の比較結果に基づいてぶれ検出信号を生成することも可能である。この場合、撮像素子6と画像処理部7とで本体部側のぶれ検出手段を構成することができる。
メモリ部8は不揮発性メモリを備え、取得された画像データを記憶保持する。カメラシステム制御部5の指令にしたがって、画像処理部7からメモリ部8へ信号が出力され、またメモリ部8から読み出された画像データは表示部9の画面に表示されてユーザに提示される。表示部9はカメラシステム制御部5の指令にしたがって、各種の情報表示を行う表示デバイスを備える。背面表示装置9aがタッチパネルを有する場合、ユーザが画面上で行う操作を検出可能であり、接触検出デバイスは操作検出部10に含まれる。
カメラシステム制御部5は撮像の際のタイミング信号等を生成して各部に出力する。カメラシステム制御部5は操作検出部10からの操作信号に応じて撮像系、画像処理系、記録再生系の回路部をそれぞれ制御する。例えば、操作検出部10はシャッタレリーズ釦の押下を検出して、操作検出信号をカメラシステム制御部5に出力する。カメラシステム制御部5は撮像素子6の駆動、画像処理部7の動作、圧縮処理等を制御する。操作検出部10によって検出されるユーザ操作に応じて撮像装置1の各部の動作を制御することで、静止画および動画の撮影が可能である。
次に撮像光学系3の調整動作について説明する。画像処理部7は撮像素子6の出力信号に基づき、適切な焦点位置、絞り値を算出する。カメラシステム制御部5は撮像素子6の信号に基づく測光および測距動作の制御を行い、露出条件(Fナンバーやシャッタスピード等)を決定する。
カメラシステム制御部5は、電気接点11を介してレンズシステム制御部12に指令信号を送信し、レンズシステム制御部12はフォーカスレンズ駆動部および絞り駆動部を適切に制御する。さらに、像ブレ補正を行うモードにおいてカメラシステム制御部5は、本体部側のぶれ検出部15から取得した振れ検出信号に基づいて、ぶれ補正部14を適切に制御する。レンズシステム制御部12はカメラシステム制御部5からの指令信号にしたがい、レンズ側のぶれ検出部16から取得した振れ検出信号に基づいて、ぶれ補正部13を適切に制御する。
像ブレ補正の具体的な制御方法としては、まずカメラシステム制御部5およびレンズシステム制御部12がそれぞれ、本体部側のぶれ検出部15およびレンズ側のぶれ検出部16によって検出された振れ検出信号を取得する。振れ検出信号に基づいてカメラシステム制御部5およびレンズシステム制御部12はそれぞれ、撮像素子6の駆動量および補正レンズ3aの駆動量を算出する。その後、カメラシステム制御部5およびレンズシステム制御部12は算出した駆動量を示す指令値を、本体部側のぶれ補正部14およびレンズ側のぶれ補正部13へそれぞれ送出する。ぶれ補正部14,13はそれぞれの指令値と、位置検出部14a,13aから取得した位置検出信号に基づき、撮像素子6および補正レンズ3aを駆動する。なお、本実施例では、ぶれ補正部および位置検出部が本体部およびレンズユニット2にそれぞれ設けられた例を説明した。この例では本体部側のぶれ補正とレンズ側のぶれ補正とを連携させる制御と、本体部側のぶれ補正とレンズ側のぶれ補正を独立して行う制御とが可能である。この例に限らず、ぶれ補正部および位置検出部が本体部またはレンズユニット2のいずれかに設けられている場合であっても本発明を適用可能である。
ここでHDR撮影について説明する。HDR撮影の際、まずカメラシステム制御部5は、撮影準備時に撮像素子6により得られる露光量に基づいて、撮影時の適切な撮影条件を決定する。撮影条件としてシャッタスピード、絞り値、ISO感度等を決定する処理が実行される。その後、カメラシステム制御部5はダイナミックレンジ拡大処理を行うために、撮影準備時に取得した被写体の適切な明るさに対して、例えば撮影秒時を長秒時、中秒時、短秒時に変更する制御を行う。なお、長秒時、中秒時、短秒時は相対的な表現であり、例えば、3回の撮影の撮影秒時がいずれも一般的に短秒時と考えられる秒時であっても、3回の撮影の撮影秒時の中で一番長い秒時を長秒時、一番短い秒時を短秒時とする。オーバー露出、適正露出、アンダー露出での3枚の画像の撮影制御が行われる。これらの撮影により得られた3枚の撮影画像に基づいてカメラシステム制御部5は画像合成の制御を行い、ダイナミックレンジの拡大されたHDR画像信号が生成される。
次に図2を参照して、本体部側のぶれ補正部14について説明する。ぶれ補正部14は、撮像素子6を光軸4に対して垂直な平面内で駆動することで、像ブレ補正を行う。図2(A)はぶれ補正部14の斜視図であり、図2(B)はぶれ補正部14の分解斜視図である。座標軸の設定に関して撮像素子6の長辺方向をx軸方向とし、撮像素子6の短辺方向をy軸方向とし、光軸4と平行な方向をz軸方向として定義する。
図2(B)に示すぶれ補正部14は可動部と固定部を有する。可動部材20は可動部を構成し、可動部材20には複数の駆動コイル21が設けられている。本実施例では3つの駆動コイル21a~cを示す。駆動コイル21aは可動部材20をx軸方向(以下、x方向ともいう)に駆動する、x方向駆動コイルである。駆動コイル21b,21cは可動部材20をy軸方向(以下、y方向ともいう)に駆動する、y方向駆動コイルである。3つの駆動コイル21により可動部材20はxy平面内で平行移動が可能であり、z軸を中心とする回転が可能である。
複数の位置検出素子22は、駆動コイル21の位置を検出する素子であり、像ブレ補正ユニットの位置検出部14aを構成する(図1(B)参照)。複数の位置検出素子22a~cは、各駆動コイル21a~cの位置検出を行うために各駆動コイルの内側に設けられている。位置検出素子22aは、x方向駆動コイル21aの位置を検出する。位置検出素子22b,22cはy方向駆動コイル21b,21cの位置をそれぞれ検出する。これらの位置検出素子22にはホール素子が使用され、位置検出素子22は後述するマグネットの発生する磁界内の磁束密度の変化を検出することで、可動部材20の位置を検出する。
フレキシブル基板23には駆動コイル21および位置検出素子22が実装され、フレキシブル基板23は不図示の駆動回路と可動部材20とを電気的に接続する。フレキシブル基板23および、実装された駆動コイル21、位置検出素子22、撮像素子6は可動部材20と一体となって、xy平面上で駆動される。つまり、可動部は可動部材20、駆動コイル21、位置検出素子22、フレキシブル基板23を有する。
固定部材28はぶれ補正部14の固定部を構成し、複数の駆動マグネット24が取り付けられる。図2(B)にて上側(被写体側)ヨーク25と、下側ヨーク29をそれぞれ示す。本実施例では、下側ヨーク29が2つのヨーク29a,29bにより構成される。第1のヨーク29aはx方向駆動コイル21aに対向するヨークであり、第2のヨーク29bはy方向駆動コイル21b,21cに対向するヨークである。2つのヨークから成る構成は例示であって分割数は任意である。または下側ヨークを1つの部材で構成してもよい。
複数のスペーサ27は、固定部材28と上側ヨーク25との間隔を一定に維持しつつ、上側ヨーク25を固定部材28に固定するための部材である。スペーサ27は可動部材20が駆動時に駆動限界領域まで移動する前に突き当たる駆動規制部の役割も果たしている。つまり、駆動コイル22は駆動マグネット24が配置された領域よりも外に出て行くまで移動可能である。
駆動マグネット24は、上側ヨーク25に固定される上側マグネット24a~fと、下側ヨーク29に固定される下側マグネット24g~lの、合計12個の永久磁石である。上側マグネット24a~fが固定された上側ヨーク25はビス等で複数のスペーサ27に締結されて固定部材28に固定される。下側マグネット24g~lは、固定部材28に形成された開口部に挿入される。z方向(z軸方向)にて下側から下側ヨーク29が固定されることで、下側マグネット24g~lが位置決めされる。
複数の転動ボール26は、可動部材20と固定部材28との間に配置される転動部材である。固定部材28に対して可動部材20が移動する際、転動ボール26が転動することで、可動部材20は固定部材28に対して、低摩擦の状態で移動することができる。
次に、可動部材20の駆動時における各部の役割について説明する。x方向の駆動の場合、x方向駆動コイル21aおよび、x方向駆動コイル21aに対向している駆動マグネット24a,24b,24g,24hを用いて可動部材20がx方向に移動する。駆動マグネット24a,24b,24g,24hによって形成される磁気回路内に配置されたx方向駆動コイル21aへの通電により、x方向駆動コイル21aがローレンツ力を受けるので、可動部材20はx方向に移動する。
y方向の駆動の場合、y方向駆動コイル21b,21cおよび、y方向駆動コイル21b,21cに対向している駆動マグネット24c,24d,24e,24f,24i,24j,24k,24lを用いて可動部材20がy方向に移動する。駆動マグネット24c,24d,24i,24jによって形成される磁気回路内に配置されたy方向駆動コイル21bへの通電により、y方向駆動コイル21bはy方向のローレンツ力を受ける。駆動マグネット24e,24f,24k,24lによって形成される磁気回路内に配置されたy方向駆動コイル21cへの通電により、y方向駆動コイル21cはy方向のローレンツ力を受ける。y方向駆動コイル21bおよび21cのそれぞれが同じ方向に力を受けるように通電された場合、可動部材20はy方向に平行移動する。また、y方向駆動コイル21bおよび21cのそれぞれが逆方向に力を受けるように通電された場合、可動部材20はz軸を中心軸として回転する。このように、ぶれ補正部14の可動部は、光軸4に対して垂直な平面(xy平面)内において平行移動が可能であり、z軸を中心軸として回転可能である。
次に、可動部材20の駆動時の位置検出について説明する。可動部材20のx方向の駆動の場合、位置検出素子22aは駆動マグネット24a,24b,24g,24hによって形成される磁気回路内の磁束密度の変化を検出する。可動部材20がx方向に動いた位置の検出が行われる。同様に、位置検出素子22b,22cは駆動マグネット24c,24d,24e,24f,24i,24j,24k,24lによって形成される磁気回路内の磁束密度の変化を検出する。可動部材20がy方向に動いた位置の検出が行われる。また、位置検出素子22bの出力と位置検出素子22cの出力との差から、z軸回り方向における可動部材20の回転量を検出可能である。このようにして位置検出素子22a~cは、ぶれ補正部14において可動部の位置および姿勢を検出する。
本実施例では撮像素子6を光軸4に対して垂直な平面内で駆動することにより像ブレ補正を行う例を説明するが、レンズユニット2に設けられた補正レンズ3aを駆動することにより像ブレ補正を行う補正手段にも本発明を適用可能である。
図3を参照して、本実施例におけるHDR撮影の動作を説明する。図3(A)~(D)において横軸は時間軸であり、露光開始時刻を起点とする経過時間を表している。なお、本実施例では基本的に、撮影準備状態での像ブレ補正は、レンズ側のぶれ補正部13により行われ、露光開始時刻から本体部側のぶれ補正部14の駆動が行われる。撮影準備状態は、ユーザが所定の操作(所謂シャッタレリーズ釦の半押し操作であり、以下ではS1操作という)によって開始される。ユーザがさらシャッタレリーズ釦を押し下げる全押し操作(以下ではS2操作という)を行うと撮影動作(画像記録動作)が開始される。
図3(A)は縦軸に示すぶれ補正量の時間変化を表している。ぶれ補正量は、ぶれ検出部15により検出された振れ検出信号に基づいて算出された、ぶれ補正部14で補正すべき量であり、グラフ線31はぶれ補正量の時間変化を表している。
図3(B)は縦軸に示すユニット位置の時間変化を表している。ユニット位置は可動部材20の位置であり、像ブレ補正ユニットの位置検出部14aによって検出される。グラフ線32は、ぶれ補正部14の可動部材20の位置の時間変化を表している。なお、以下では簡略化のため、可動部材20の駆動範囲を1次元で図示して説明する。実際には光軸4に対して垂直な平面内で可動部材20を駆動可能である。図中の33aと33bで示す範囲33は、ぶれ補正部14に係る駆動可能範囲を表している。便宜上、駆動可能範囲33の上限を駆動範囲上側端33aと呼び、駆動可能範囲33の下限を駆動範囲下側端33bと呼ぶ。
位置検出部14aによって検出されたユニット位置(グラフ線32)に応じて、HDR撮影の撮影条件を変更する処理が行われる。本実施例では、撮影準備段階にてレンズ側のぶれ補正部13によって像ブレ補正が行われる。そのため、HDR撮影の露光開始時、本体部側のぶれ補正部14の可動部材20はおおよそ駆動可能範囲33の中央に位置しており、露光開始とともに、算出されたぶれ補正量で駆動が行われるように可動部材20が位置制御される。よって、HDR撮影の露光開始時には可動部の駆動可能な余地が最も大きい状態となっている。基本的にはHDR撮影において最も露光時間の長い、長秒露光から撮影を開始するほうが、可動部材20の駆動可能範囲の観点から有利である。したがって、本実施例においても、HDR撮影は長秒露光から撮影が開始されるものとして説明する。
図3(B)に示す各撮影条件の推移34は、ユニット位置の時間変化(グラフ線32)の各時刻に対するHDR撮影での露光状態を表している。露光開始後、露光時間が長い画像から順番に、長秒露光、中秒露光、短秒露光の3回の撮影が行われる様子を表している。撮影準備状態において決定された長秒露光の撮影が行われた後のユニット位置が、露光開始前と同じように駆動可能範囲33のおおよそ中央に位置していた場合を表している。そして、HDR撮影における1枚目の撮影の次に露光時間の長い、つまり、駆動範囲に余裕を持たせるのが好ましい中秒露光が行われ、その後に短秒露光が行われるシーケンスとなっている。
図3(C)は手ぶれ等が検出された場合の、あるHDR撮影の動作を表した図である。図3(C)に示すグラフ線32は位置検出部14aによって検出された可動部材20の位置の時間変化を表している。駆動可能範囲33、駆動範囲上側端33a、駆動範囲下側端33bについては図3(B)にて説明済みである。また、各撮影条件の推移35は、図3(C)の場合の、ユニット位置の時間変化(グラフ線32)の各時刻に対するHDR撮影での露光状態を表している。露光開始後、長秒露光、短秒露光、中秒露光での撮影が行われる様子を表している。
図3(C)では、撮影準備状態において決定された長秒露光の撮影が行われた後のユニット位置は、駆動範囲上側端33aに近い位置となっている。この場合、次の露光では、駆動範囲が比較的小さくて済む短秒露光が先に実施される。短秒露光後、ユニット位置は長秒露光が行われた直後よりも、像ブレ補正範囲に余裕のある駆動可能範囲の中心に近い位置である。そのため、短秒露光での撮影後に、駆動範囲に余裕が必要な中秒露光が行われるシーケンスとなっている。従来技術では長秒露光後に、ユニット位置(可動部材20の位置)によってはセンタリング動作が行われるので、画角変動が発生する可能性がある。その際、HDR撮影での画像合成時に画角が狭くなってしまうという弊害があった。そこで本実施例では、位置検出部14aによって検出された可動部材20の位置に応じて、HDR撮影の撮影条件を変更する処理が実行される。これにより、画角変動を抑制しつつ、像ブレ補正手段に係る補正範囲の不足の問題を解決可能である。
図3(D)は手ぶれ等が検出された場合の、あるHDR撮影の撮影動作を表した図である。図3(D)の縦軸はユニット位置を表し、グラフ線36は位置検出部14aによって検出された可動部材20の位置の時間変化を表している。図3(D)に示す範囲37は、ぶれ補正部14に係る駆動可能範囲を表し、図3(B)、(C)に示す駆動可能範囲33よりも狭い。例えば本体部側のぶれ補正部14の小型化等に伴って、駆動可能範囲を減少させた像ブレ補正ユニットを採用した場合等が挙げられる。
図3(D)に示すグラフ線36は、位置検出部14aによって検出された可動部材20の位置の時間変化を表している。可動部材20の駆動可能範囲37は、駆動範囲上側端37aと駆動範囲下側端37bとの間の範囲である。また、各撮影条件の推移38は、図3(D)の場合の、ユニット位置の時間変化(グラフ線36)の各時刻に対するHDR撮影での露光状態を表している。露光開始後、長秒露光、中秒露光、短秒露光での撮影が行われる様子を表している。
図3(D)にて、撮影準備状態において決定された長秒露光の撮影が行われた後のユニット位置は、駆動範囲上側端37aにほぼ到達している。つまり、これ以上の駆動余裕がない状態となっている。このような場合、その後に露光を行ったとしても、像ブレ補正を十分に行うことができず、ぶれた画像となってしまう。そこで、センタリング動作により、駆動可能範囲37の中心位置へ可動部材20が移動する。その後、長秒露光の次に駆動余裕が必要となる中秒露光で撮影が行われ、その次に短秒露光で撮影が行われる。この場合、従来技術では中秒露光後にセンタリング動作が実施されると画角変動がさらに起きてしまう可能性がある。一方、本実施例では、短秒露光の露光時間と、可動部材20の位置を考慮して、露光時間に対して駆動範囲に余裕がある場合にはセンタリング動作なしで露光が行われる。よって、画角変動が発生せず、HDR撮影全体での画角変動量を抑制することが可能となる。
本実施例では、3枚の画像合成を行うHDR撮影の動作について説明したが、撮影枚数については任意であり、例えば5枚またはそれ以上の枚数の場合でも同様の動作が可能である。また、図3(D)ではユニット位置が駆動可能範囲の端に到達した場合にセンタリング動作を行うことで、次の撮影でのぶれ補正部14の駆動範囲を十分に確保する例を示した。これに限らず、ユニット位置が駆動可能範囲の端に到達した際、撮影を一時中断しても構わない。その後、ユニット位置が次の撮影条件において十分な駆動範囲を有する位置になったところで、次の撮影が行われる(この方法については後述の第4実施例で説明する)。
図4を参照して、本実施例におけるHDR撮影の制御例について説明する。図4は本実施例におけるHDR撮影の制御を説明するフローチャートであり、HDR撮影のための撮影準備指示開始(S1操作)とともに処理が開始する。
S4001でカメラシステム制御部5は、ユーザにより撮影開始指示の操作(S2操作)が行われたか否かを判定する。S2操作が行われたことが判定された場合、S4002へ進む。S2操作が行われたと判定されない場合には待機状態となり、S4001の判定処理が繰り返し実行される。
S4002でカメラシステム制御部5は、撮影準備状態において取得した測光結果等に基づき、HDR撮影における全撮影の撮影条件を決定し、1枚目の撮影に係る撮影条件を設定する。撮影条件は、基本的には露光時間に対応するシャッタスピード、ISO感度、絞り値等である。
次にS4003の処理へ進み、カメラシステム制御部5は1枚目の撮影処理を開始する。撮影開始とともに、本体部側のぶれ補正部14が駆動を開始して、S4004の処理へ進む。S4004でカメラシステム制御部5は、1枚目の撮影が終了したか否かを判定する。図3で説明したように長秒露光で撮影が行われ、当該撮影が終了したと判定された場合、S4005の処理へ進む。当該撮影が未終了である場合には待機状態となり、S4004の判定処理が繰り返し実行される。
S4005でカメラシステム制御部5は、センタリング動作が必要であるか否かを判定する。センタリング動作が必要であると判定された場合、S4006の処理へ進み、センタリング動作が必要でないと判定された場合にはS4007の処理へ進む。本実施例においては、基本的にセンタリング動作を行わずに次の撮影に移るが、可動部材20が駆動可能範囲の端に、すでに位置する場合等においては、センタリング動作が必要であると判定される。
S4006でカメラシステム制御部5はセンタリング動作の制御を行い、S4007の処理へ進む。S4007でカメラシステム制御部5は、位置検出部14aの出力および、未撮影の撮影条件に基づき、次の撮影に係る撮影条件を決定し、その撮影条件を設定してからS4008へ進む。例えば、図3(B)で示すように、ユニット位置が駆動可能範囲の中央位置に近い場合、未撮影の撮影条件のうち、最も露光時間の長い中秒露光が選択される。一方、図3(C)に示すように、ユニット位置が駆動可能範囲の端に近い場合には、未撮影の撮影条件のうち、最も露光時間の短い短秒露光が選択される。
S4008でカメラシステム制御部5は、S4007にて設定した撮影条件で撮影を開始する。次のS4009でカメラシステム制御部5は、ユーザが設定したHDR撮影の撮影枚数分の撮影が完了したか否かを判定する。必要枚数分の撮影が完了したと判定された場合、S4010の処理へ進む。また必要枚数分の撮影が完了していないと判定された場合にはS4005の処理へ戻る。その場合、S4005で再度、センタリング動作の必要性について判定処理が行われたのち、次の撮影条件の決定処理が実行される。
HDR撮影における必要枚数分(図3の例では3枚分)の撮影動作が行われると、S4010でカメラシステム制御部5は、取得された各撮影画像を用いて画像合成処理を実行する。次のS4011でカメラシステム制御部5はセンタリング動作を行うか否かを判定する。センタリング動作を行うと判定された場合、S4012の処理へ進み、センタリング動作を行わないと判定された場合にはS4013の処理へ進む。センタリング動作では画角変動を伴うので、HDR撮影中(S4006)には実施しないほうが好ましい。その理由は、その後の画像合成時の位置ずれが大きくなる可能性があることによる。一方で1回の撮影の実施後にはセンタリング動作を行い、次の撮影時にぶれ補正部14の駆動範囲を広い状態にしておくほうが好ましい場合もある。ただし、HDR撮影をさらに連続で行う場合等においては、画角変動を回避するためにセンタリング動作を行わずに次の撮影へ移行するほうが好ましい。このように、センタリング動作の実施に関しては、ユーザの意図や次の撮影等によって実施の要否が異なる。そこでS4011においてカメラシステム制御部5は、ユーザの設定等にしたがってセンタリング動作の実施の判定を行う。
S4012でカメラシステム制御部5はセンタリング動作の制御を行い、S4013の処理へ進む。S4013でカメラシステム制御部5は、ユーザの操作入力等にしたがい、撮影の終了判定を行う。撮影を終了することが判定された場合、一連の処理を終了する。撮影を終了しないことが判定された場合にはS4001の処理へ戻る。
本実施例では像ブレ補正手段の位置検出部の出力を用いてカメラシステム制御部5がHDR撮影時の撮影条件を変更する。これにより、複数回の撮影および画像合成を行うHDR撮影において、画角変動を抑制しつつ、像ブレ補正手段の補正範囲の不足を防ぐことが可能である。
[第2実施例]
次に図5および図6を参照して、本発明の第2実施例を説明する。本実施例は、第1実施例に対して、撮影準備状態における本体部側のぶれ補正部14の動作が異なる。撮影準備状態においても、ぶれ補正部14が駆動される構成であり、その他の構成に関しては、基本的には第1実施例と同様である。よって、第1実施例との相違点を主に説明し、第1実施例と同様の事項については既に使用した符号や記号を流用することで、それらの詳細な説明を省略する。このような説明の省略方法は後述の実施例でも同じである。
撮影準備状態においてぶれ補正部14が駆動される場合としては、以下の例がある。
・レンズユニット2が像ブレ補正手段を備えていない場合。
・撮影準備状態においてレンズ側のぶれ補正部13と本体部側のぶれ補正部14とが協調して駆動される場合。
いずれの場合でも、S1操作による撮影準備状態において本体部側のぶれ補正部14が駆動される。カメラシステム制御部5は、HDR撮影開始時の位置検出部14aの出力に応じて、HDR撮影における1枚目の撮影条件を決定し、または変更する。
図5は、本実施例におけるHDR撮影の動作を説明する図である。図5(A)~(D)の縦軸の設定については図3(A)~(D)と同様であるが、横軸はS1操作による撮影準備状態からの経過時刻を表している。図5(A)に示すグラフ線51は、本体部側のぶれ検出部15の検出信号に基づいて算出された、ぶれ補正量の時間変化を表している。図5(B)~(D)の縦軸は、位置検出部14aによって検出された各時刻における可動部材20の位置(ユニット位置)を表している。
図5(B)に示すグラフ線52は、位置検出部14aによって検出された可動部材20の位置の時間変化を表している。可動部材20の駆動可能範囲53は、駆動範囲上側端53aと駆動範囲下側端53bとの間の範囲である。本実施例においても、位置検出部14aによって検出されたユニット位置に応じてHDR撮影の撮影条件を変更する処理が行われる。
図5(B)に示す各撮影条件の推移54は、ユニット位置の時間変化の各時刻に対する、撮影準備(S1)と、HDR撮影での露光状態を表している。露光開始後、露光時間が長い画像から順番に、長秒露光、中秒露光、短秒露光の3回の撮影が行われる様子を表している。図5(B)では、撮影準備状態において像ブレ補正が行われた後のユニット位置が駆動可能範囲53のおおよそ中央に位置していた場合を表している。この場合、HDR撮影が開始されると、露光時間の長い、つまり、駆動範囲に余裕を持たせるのが好ましい長秒露光から露光が開始され、その後の撮影条件はさらにユニット位置を参照しながら決定される。図5(B)では長秒露光終了後においても、ユニット位置は、駆動可能範囲53のおおよそ中央である。そのため、次の撮影条件として中秒露光が選択され、その後に短秒露光が選択される。
図5(C)は手ぶれ等が検出された場合の、あるHDR撮影の撮影動作を表した図である。図5(C)の縦軸はユニット位置を表し、グラフ線52は位置検出部14aによって検出された可動部材20の位置の時間変化を表している。駆動可能範囲53、駆動範囲上側端53a、駆動範囲下側端53bは図5(B)にて説明済みである。
図5(C)に示す各撮影条件の推移55は、ユニット位置の時間変化の各時刻に対する、撮影準備(S1)と、HDR撮影での露光状態を表している。撮影準備(S1)の次に短秒露光が行われ、さらに長秒露光、中秒露光が行われる。撮影準備状態において像ブレ補正が行われた後のユニット位置は、駆動範囲上側端53aに近い位置(駆動可能範囲53の限界近傍)となっている。このような場合、次の露光では、駆動範囲が比較的小さくて済む短秒露光を先に実施することが好ましい。さらに、短秒露光後、ユニット位置は像ブレ補正範囲に余裕のある駆動可能範囲53の中心に近い場所に位置している。そのため、短秒露光での撮影後には駆動範囲に余裕が必要な長秒露光が行われ、その後に中秒露光が行われるシーケンスとなっている。
以上のように、撮影準備状態においてぶれ補正部14を駆動して像ブレ補正を行う場合であっても、可動部材20の位置に応じて撮影条件を変更することで画角変動を抑制しつつ、像ブレ補正手段の補正範囲の不足を防ぐことが可能である。
図5(D)は手ぶれ等が検出された場合の、あるHDR撮影の撮影動作を表した図である。図5(D)の縦軸はユニット位置を表し、グラフ線56は位置検出部14aによって検出された可動部材20の位置の時間変化を表している。図5(D)に示す駆動可能範囲57は図5(B)、(C)に示す駆動可能範囲53よりも狭い。これは図3(D)と同様、ぶれ補正部14の小型化等に伴う駆動可能範囲の減少等を表している。
図5(D)のグラフ線56に示すように、ユニット位置は駆動可能範囲57内で変化している。撮影準備(S1)の終わりでユニット位置が駆動範囲上側端57aに到達しており、長秒露光後にユニット位置が駆動範囲下側端57bに到達している例を示す。
図5(D)に示す各撮影条件の推移58は、ユニット位置の時間変化の各時刻に対する、撮影準備(S1)と、HDR撮影での露光状態を表している。撮影準備状態において像ブレ補正が行われた後のユニット位置は駆動範囲上側端57aにほぼ到達しており、これ以上の駆動余裕がない状態となっている。このような場合、その後に露光を行ったとしても、像ブレ補正を十分に行うことができず、ぶれた画像となってしまう。そのため、センタリング動作によって、駆動可能範囲57の中心位置へ可動部材20を移動させる処理が行われる。その後、カメラシステム制御部5は長秒露光からHDR撮影を実施する。図5(D)では長秒露光にて可動部材20が駆動範囲下側端57bに到達した状況を表している。その場合、さらにセンタリング動作が行われ、その後にカメラシステム制御部5は中秒露光から撮影を再開する。中秒露光後には、短秒露光を行う際に十分な駆動範囲があるので、カメラシステム制御部5はセンタリング動作の制御を行わずに短秒露光での撮影処理を直ちに実行する。本実施例においては、中秒露光と短秒露光との間ではセンタリング動作なしに撮影が行われるので、この間での画角変動は発生せず、HDR撮影全体での画角変動量を抑制可能である。
次に図6のフローチャートを参照して、本実施例におけるHDR撮影の制御について説明する。図6に示す処理は図4とは異なり、本体部の電源が投入される度に開始される。以下、図4との相違点であるS6001からS6003を主に説明する。
S6001でカメラシステム制御部5は、撮影準備開始指示(S1操作)の判定を行い、撮影準備開始指示が行われたと判定された場合、S6002の処理へ進む。撮影準備開始指示が行われない間は一時的に待機し、S6001の判定処理が繰り返される。
S6002でカメラシステム制御部5は、測光や測距の制御を行うとともに、本体部側のぶれ補正部14の駆動を開始させて像ブレ補正を行う。次のS4001でカメラシステム制御部5は、撮影開始指示(S2操作)を受け付けると、S6003の処理へ進む。S6003でカメラシステム制御部5はHDR撮影の全撮影条件を決定し、S4005の処理へ進む。以降、S4005~S4013の処理が実行される。
第1実施例において図4のS4002では1枚目の撮影条件として、基本的には最も露光時間の長い長秒露光が選択される。一方で本実施例では、撮影準備状態においても像ブレ補正が行われるので、その限りではなく、図6のS4007でカメラシステム制御部5は1枚目の撮影条件の決定および設定も行う。
本実施例では、撮影準備状態において本体部側のぶれ補正部14を用いて像ブレ補正が行われる場合、像ブレ補正手段の検出位置に応じてHDR撮影時の撮影条件を変更する。これにより、画角変動を抑制しつつ、像ブレ補正手段の補正範囲の不足を防ぐことが可能である。
[第3実施例]
次に図7および図8を参照して、本発明の第3実施例を説明する。本実施例では、撮影モードが連写モードである撮影動作において、複数回のHDR撮影(合成)画像が連続的に取得される。この場合、各合成画像間の画角変動を抑制するために、可能な限り、センタリング動作を行わずに各撮影が行われる。例えば、2枚目以降のHDR撮影(合成画像として2枚目、撮影としては4枚目)においても、引き続き位置検出部14aの出力に基づいて撮影条件の変更処理が実行される。
図7は本実施例におけるHDR撮影の動作を説明する図である。図7(A)~(D)の横軸および縦軸の設定については、図3と同様であるので詳細な説明を割愛する。図7(A)に示すグラフ線71は、本体部側のぶれ検出部15の検出信号に基づいて算出された、ぶれ補正部14で補正すべきぶれ補正量の時間変化を表している。
図7(B)に示すグラフ線72は、位置検出部14aによって検出された可動部材20の位置の時間変化を表している。可動部材20の駆動可能範囲73は、駆動範囲上側端73aと駆動範囲下側端73bとの間の範囲である。本実施例においてもユニット位置に応じてHDR撮影の撮影条件が変更される。
図7(B)に示す各撮影条件の推移74は、ユニット位置の時間変化の各時刻に対するHDR撮影での露光状態を表している。連写モードにて2回のHDR撮影が行われる様子を示す。露光開始後、露光時間が長い画像から順番に、長秒露光、中秒露光、短秒露光の3回の撮影が行われる。2枚目のHDR撮影でも同様に長秒露光、中秒露光、短秒露光の3回の撮影が行われる。
図7(B)では、1枚目のHDR撮影(3回の撮影)が行われた後のユニット位置が、駆動可能範囲73のおおよそ中央である場合を表している。この場合、2枚目のHDR撮影を行う場合に駆動範囲に十分余裕があるので、再び長秒露光から撮影が開始される。その後の撮影に係る撮影条件は、さらにユニット位置を参照しながら決定される。図7(B)では2枚目のHDR撮影にて長秒露光の終了後でもユニット位置は、駆動可能範囲73のおおよそ中央の位置である。そのため、次の撮影条件として中秒露光が選択され、その後に短秒露光が選択される。
図7(C)は手ぶれ等が検出された場合の、あるHDR撮影の撮影動作を表した図である。グラフ線72は図7(B)と同様であり、可動部材20の位置の時間変化を表している。可動部材20の駆動可能範囲73、駆動範囲上側端73a、駆動範囲下側端73bは図7(B)と同様である。図7(C)に示す各撮影条件の推移75は、ユニット位置の時間変化の各時刻に対するHDR撮影での露光状態を表している。1枚目のHDR撮影(長秒露光、中秒露光、短秒露光での3回の撮影)の後、2枚目のHDR撮影では短秒露光が行われ、その次に長秒露光が行われる。
図7(C)では、1枚目のHDR撮影(3回の撮影)が行われた後のユニット位置は、駆動範囲上側端73aに近い位置となっている。この場合、次のHDR撮影においては、駆動範囲が比較的小さくて済む短秒露光を先に実施することが好ましい。図7(C)ではさらに、短秒露光後、ユニット位置が像ブレ補正範囲に余裕のある駆動可能範囲73の中心に近い位置である。そのため、短秒露光での撮影後に、駆動範囲に余裕が必要な長秒露光が行われる。なお、図7(C)では省略しているが、長秒露光の後、中秒露光が行われる。
以上のように、HDR撮影の連写モードにおいて、可動部材20の位置に応じて撮影条件を変更することで、画角変動を抑制しつつ、像ブレ補正手段の補正範囲の不足を防ぐことが可能となる。
図7(D)は手ぶれ等が検出された場合の、あるHDR撮影の撮影動作を表した図である。図7(D)に示すグラフ線76は、位置検出部14aによって検出された可動部材20の位置の時間変化を表している。可動部材20の駆動可能範囲77は、駆動範囲上側端77aと駆動範囲下側端77bとの間の範囲であり、図7(B)、(C)に示す駆動可能範囲73よりも狭い。これは図3(D)と同様、ぶれ補正部14の小型化等に伴う駆動範囲の減少等を表している。図7(D)に示す各撮影条件の推移78は、ユニット位置の時間変化の各時刻に対するHDR撮影での露光状態を表している。1枚目のHDR撮影(長秒露光、中秒露光、短秒露光での3回の撮影)の後、2枚目のHDR撮影では長秒露光が行われ、その次に中秒露光が行われる。
図7(D)では、1枚目のHDR撮影(3回の撮影)が行われた後のユニット位置が駆動範囲上側端77aにほぼ到達しており、これ以上の駆動余裕がない状態となっている。この場合、その後に露光を行ったとしても、像ブレ補正を十分に行うことができず、ぶれた画像となってしまう。そのため、センタリング動作により、駆動可能範囲77の中心位置へ可動部材20が移動した後に長秒露光から2枚目のHDR撮影が実施される。この場合、センタリング動作により、1枚目のHDR画像と2枚目のHDR画像との間の画角変動が発生し得るが、各HDR画像用の3枚の撮影画像間においてセンタリング動作は行われない。よって、各HDR画像用の3枚の撮影画像間では画角変動は発生せず、各HDR撮影での画角変動量を抑制可能である。
次に図8のフローチャートを参照して、連写モードでのHDR撮影の制御について説明する。図8では図4と同様、HDR撮影のための撮影準備指示開始(S1操作)とともに処理が開始する。以下、図4との相違点であるS8001およびS8002を主に説明する。
S4001でカメラシステム制御部5は撮影開始指示(S2操作)を受け付けた場合、S8001では、HDR撮影の全撮影条件を決定してからS4005の処理へ進む。S4005からS4010の処理が実行された後、S8002の処理へ進む。S8002でカメラシステム制御部5は、HDR撮影の連写を終了するか否かを判定する。連写を終了すると判定された場合、S4011の処理へ進み、連写を終了しないと判定された場合にはS8001の処理へ戻る。
第1実施例における図4のS4002では1枚目の撮影条件として、基本的には最も露光時間の長い長秒露光が選択される。一方で本実施例においては、連写モードである場合に必ずしもHDR撮影の1枚目で長秒露光になるとは限らない。そのため、図8のS4007においてカメラシステム制御部5は、1枚目の撮影条件の決定および設定も行う。
本実施例では、連写モードでのHDR撮影の場合、ユニット位置に応じてHDR撮影時の撮影条件を変更することで、画角変動を抑制しつつ、像ブレ補正手段の補正範囲の不足を防ぐことが可能である。
[第4実施例]
次に図9および図10を参照して、本発明の第4実施例を説明する。本実施例では、ぶれ補正部14の可動部材20の位置が駆動可能範囲の端に到達した時点で露光を一時的に中断し、可動部材20が駆動可能範囲の中央に向けて戻ってくるまで待つ処理が行われる。本実施例は第1実施例に対して、撮影のシーケンスが異なる。
図9は本実施例におけるHDR撮影の動作を説明する図である。図8(A)および(B)の横軸および縦軸の設定については、図3と同様であるので詳細な説明を割愛する。図9(A)に示すグラフ線91は、本体部側のぶれ検出部15の検出信号に基づいて算出された、ぶれ補正部14で補正すべきぶれ補正量の時間変化を表している。図9(B)に示すグラフ線92は、位置検出部14aによって検出された可動部材20の位置の時間変化を表しており、可動部材20の駆動可能範囲93内で変化している。駆動可能範囲93は駆動範囲上側端93aと駆動範囲下側端93bとの間の範囲である。本実施例においても、位置検出部14aにより検出されたユニット位置に応じてHDR撮影の撮影条件が変更される。図9(B)に示す各撮影条件の推移94は、ユニット位置の時間変化の各時刻に対するHDR撮影での露光状態を表している。長秒露光の後、待機時間をおいて中秒露光が行われ、次に短秒露光が行われる場合を示す。
図9(B)では、撮影準備状態において決定された長秒露光の撮影が行われた後のユニット位置が、駆動範囲上側端93aに近い位置となった場合を表している。そのままHDR撮影が継続された場合、駆動可能範囲93を超えて可動部材20が移動しない限り、撮影画像がぶれてしまう可能性がある。そこで本実施例では、ユニット位置(グラフ線92参照)が駆動範囲上側端93a(または駆動範囲下側端93b)に到達した場合、次の撮影条件において十分な駆動範囲が確保されるまで、HDR撮影を一時中断するシーケンスが採用される。つまりHDR撮影においてカメラシステム制御部5は、ユニット位置に応じて次の撮影開始時刻(露光開始時刻)を決定する。可動部材20が駆動可能範囲の中央位置へ向けて戻り、次の撮影条件において十分な駆動範囲が確保されると、次の露光(中秒露光)が開始される。
本実施例では、撮影中断後、比較的露光時間の長い中秒露光から撮影を再開する処理が実行されるが、撮影中断後の撮影条件として短秒露光を選択することで、撮影の中断時間をより短くすることも可能である。中秒露光を行うのに十分な駆動範囲は、短秒露光を行うのに十分な駆動範囲に対して大きい。可動部材20の位置は、より駆動範囲の中心であることが望まれる。したがって、撮影中断後、短秒露光を行う場合に比べて、中秒露光を行う場合の方が、より長く撮影が中断する可能性がある。そのような場合には撮影中断後に短秒露光を選択する処理が実行される。
次に図10のフローチャートを参照して、本実施例におけるHDR撮影の制御について説明する。図4との相違点であるS1101の処理のみ説明する。S4004の次にS1101に進み、カメラシステム制御部5は連続撮影が可能かどうかを判定する。位置検出部14aの出力および未撮影の撮影条件に基づいて、カメラシステム制御部5は次の撮影を行うのに十分な駆動範囲が確保されているかどうかを判定する。連続する次の撮影が可能であると判定された場合、S4007の処理へ進み、既に説明したS4013までの処理が実行される。またS1101にて、次の撮影が可能でないと判定された場合(NOの場合)には、十分な駆動範囲が確保される位置に可動部材20が来るまで撮影を中断する。つまり、S1101で一時待機処理となり、判定処理が繰り返される。
本実施例では、位置検出部14aの出力に応じてHDR撮影時の各撮影での露光開始時刻を変更する処理が行われる。複数回の撮影および画像合成を行うHDR撮影にて各画像の画角変動を抑制しつつ、像ブレ補正手段の補正範囲の不足を防ぐことが可能である。
[第5実施例]
次に図11から図14を参照して、本発明の第5実施例について説明する。図11は本実施例の撮像装置111の断面構成と像ブレ補正システムの簡易的な制御ブロックを示す図である。撮像装置111の本体部111aと、本体部111aに着脱可能な交換レンズ111bとで構成される撮像システムの例を示す。
本体部111aはカメラCPU112aを備え、交換レンズ111bはレンズCPU112bを備える。カメラCPU112aは撮影者による撮影指示操作等の信号に応答して撮影動作や像ブレ補正の制御を行う。本体部111aに装着された交換レンズ111bのレンズCPU112bは、カメラCPU112aからの指令信号に応答して交換レンズ111b内のレンズ動作(焦点調節動作等)の制御を行う。例えば撮像光学系におけるレンズの一部は焦点調節部113を構成している。本体部111aからの焦点状態検出信号に基づく指令に応答してフォーカスレンズが移動して焦点調節が行われる。
図11において撮像光学系の光軸110を1点鎖線で示す。被写体から光は撮像光学系を通して撮像素子114に入射する。撮像素子114は、被写体像に対して光電変換を行って電気信号を出力する。
角速度計115は振動検出手段であり、撮像装置111に加わる振れ(矢印15a参照)の角速度を検出して検出信号を出力する。信号処理部116は角速度計115の検出信号を取得して像ブレ補正に用いるブレ補正目標値を算出する。ブレ補正目標値は駆動部114aに入力され、駆動部114aは撮像素子114を矢印114bの方向に移動させる。これにより撮像面に沿う方向の像ブレ補正が行われる。
本体部111aにおいて撮像素子114と駆動部114aは像ブレ補正手段を構成している。尚、角速度計115は矢印115aとは異なる方向の振れの角速度も検出して検出信号を出力する。その検出信号に対しても信号処理部116は適宜にブレ補正目標値を算出する。そして駆動部114aは算出されたブレ補正目標値に応じて撮像素子114を適した方向に移動させることで、その方向の像ブレ補正が行われる。
静止画露光部118は、被写体の明るさに応じた露光時間や絞り値、ISO感度等を設定するとともに、露光タイミングの信号をカメラCPU112aに送信する。カメラCPU112aは、特にHDR撮影において被写体の主たる明るさに対して撮影秒時を長秒時、中秒時、短秒時に変更する処理を行う。これにより、オーバー露出、適正露出、アンダー露出での3枚の撮影制御が行われる。露光制御部117は信号処理部116からの後述する時定数情報に基づいてHDR撮影の撮影秒時を設定し、静止画露光部118に出力する。画像処理部119は撮像素子114から露光後の撮像信号を取得して画像処理を行う。
図12はHDR撮影における像ブレ補正手段の動きを説明する図である。上側にはHDR撮影における各撮影条件の推移を示す。下側に示すグラフの横軸は時間軸であり、1枚目の撮像に係る露光開始時点から経過時間を表す。縦軸は像ブレ補正量を表す。グラフ線121は像ブレ補正手段の軌跡を表している。
図13は、図11における演算部の概略ブロック図である。信号処理部116はハイパスフィルタ(以下、HPFとも記す)116a、積分器116b、調整器116cを備える。角速度計115の出力信号は、HPF116aが取得して処理することにより、低周波成分が減衰する。積分器116bは手ぶれ等の角速度信号を積分して角度信号に変換する。この角度信号は調整器116cにより、交換レンズ111bのレンズ焦点距離等の光学条件に応じて利得調整されてブレ補正目標値に変換される。
ハイパスフィルタ116aはその特性を変更可能である。具体的にはHPF116aの時定数が可変である。その時定数により、角速度計115の検出信号に含まれる低周波成分の減衰能力が変更可能である。なお、HPF116aの時定数の変更処理のひとつとして、HPF116aを通さない場合(HPF116aの時定数が無限に大きいことに相当する)があっても構わない。この場合、角速度計115の検出信号は、オフセット成分を減算する処理が実行されたのち、積分器116bが角速度信号を角度信号に変換する。HPF116aを通さない場合には、角速度計115の検出信号に含まれる低周波成分が減衰されることはない。そのため、撮影者によるゆっくりとした手ぶれに対しても像ブレ補正が可能になる。その一方で、角速度計115の検出信号からオフセット成分を正確に差し引くことができないと、低周波ノイズ成分の影響が大きくなる。
ハイパスフィルタ116aの時定数を変化させることのメリットおよびデメリットを、以下に示す。
(1)時定数を大きくすること。
長秒時の撮影でも高い防振(像ブレ補正)精度が得られる。像ブレ補正手段の向心力が弱く、手ぶれの状態や角速度計115の低周波ノイズ等により、像ブレ補正手段がその補正ストローク限界に近づく。
(2)時定数を小さくすること。
像ブレ補正手段の向心力が強く、像ブレ補正手段がその補正中心(補正範囲の中心位置)に近づく。長秒時の撮影では高い防振精度が得られない。
このようなハイパスフィルタ116aの可変特性を活かして、図12にグラフに併記されている様にハイパスフィルタ116aの時定数が設定される。
図12において矢印122aで示す期間ではHPF116aの時定数が「大」である。撮像装置の像ブレ補正能力は高いが、グラフ線121は次第に像ブレ補正の補正ストローク限界123(破線参照)に近づいていく。矢印122bで示す期間ではHPF116aの時定数が「中」である。撮像装置の像ブレ補正能力は時定数「大」の場合より低く、グラフ線121が補正ストローク限界123を超えることはない。矢印122cで示す期間ではHPF116aの時定数が「小」である。撮像装置の像ブレ補正能力は時定数「中」の場合より低く、グラフ線121は補正中心(補正範囲の中心位置)に戻っていく。
本実施例は図12に示す様に、時定数の「大中小中」をひと組(時定数セット)にして繰り返す構成である。これにより、像ブレ補正量(グラフ線121参照)を像ブレ補正の補正ストローク限界123以内に収めることができる。
図12に矢印122aで示す期間(時定数「大」)でカメラCPU112aは長秒時の静止画露光(画像124a)の制御を行う。長秒時の撮影の場合、暗い被写体でも少ないノイズで撮影可能である。矢印122bで示す期間(時定数「中」)でカメラCPU112aは中程度の秒時(中秒時)で静止画露光(画像124b)の制御を行う。適正露出の被写体に対して最適な撮影が行われる。また中秒時の静止画撮影時間は、長秒時の静止画露光時間に比べると短いので、像ブレ補正性能の低下は画像には現れにくい。矢印122cで示す期間(時定数「小」)でカメラCPU112aは短秒時で静止画露光(画像124c)の制御を行う。明るい被写体に対して画像信号の飽和なく最適な撮影が行われる。また短秒時の静止画撮影時間は、中秒時の静止画露光時間に比べると短いので、像ブレ補正性能の低下は画像にはさらに現れにくい。
こうして撮影された3枚の画像は公知の位置合わせ技術で位置合わせが行われてから合成され、ダイナミックレンジの広い画像(HDR画像)が得られる。また像ブレ補正手段の位置は補正ストローク限界内に収まっているので、各撮影において像ブレ補正量の範囲が不足することなく、良好な像ブレ補正を実行可能である。
上記3枚の撮影以降においてもHPF116aの時定数に合わせて静止画露光期間が設定される。すなわち、時定数が「大」の期間では長秒露光、時定数が「中」の期間では中秒露光、時定数が「小」の期間では短秒露光が行われる。取得された各画像を互いに重なるように合成することでHDR画像を連続して生成することができる。
図12の画像例により、具体的に説明すると、各画像は以下のとおりである。
・長秒露光での撮影により取得される画像124a,124e,124i。
・中秒露光での撮影により取得される画像124b,124d,124f,124h。
・短秒露光での撮影により取得される画像124c,124g。
画像124a,124b,124cの合成により1枚目のHDR画像が生成され、画像124c,124d,124eの合成により2枚目のHDR画像が生成される。画像124e,124f,124gの合成により3枚目のHDR画像が生成され、画像124g,124h,124iの合成により4枚目のHDR画像が生成される。画像の一部を共有して合成することでHDR画像の高速な連写が可能となる。
図14のフローチャートを参照して、本実施例におけるHPF116aの時定数と撮影条件との関係について説明する。以下の処理はHDR撮影のための連写の開始とともに開始され、カメラCPU112aが所定のプログラムを実行することにより実現される。
S1401でカメラCPU112aは、HPF116aの時定数を「大」に設定する。S1402では長秒時の静止画露光が行われる。S1403でカメラCPU112aは長秒露光での撮影が終了したか否かを判定する。長秒露光での撮影が終了したと判定された場合、S1404の処理に進む。長秒露光での撮影が終了しない間は、S1402に戻って長秒露光が継続する。
S1404では、撮像素子114からの画像信号を画像処理部119に取り込む処理が実行される。S1405では今回撮影された長秒露光時の静止画像と、それ以前に撮影された中秒露光時と短秒露光時の2枚の静止画像との合成処理が実行される。但し、連写の1枚目の撮影では中秒露光時、短秒露光時の各静止画像は取得されていないので、合成処理は行われない。
S1406でカメラCPU112aはHPF116aの時定数を「中」に設定する。S1407では中秒時の静止画露光が行われる。S1408でカメラCPU112aは中秒露光での撮影が終了したか否かを判定する。中秒露光での撮影が終了したと判定された場合、S1409の処理に進む。中秒露光での撮影が終了しない間は、S1407に戻って中秒露光が継続する。
S1409では撮像素子114からの画像信号を画像処理部119に取り込む処理が実行される。S1410でカメラCPU112aはHPF116aの時定数を「小」に設定する。S1411では短秒時の静止画露光が行われる。S1412でカメラCPU112aは短秒露光での撮影が終了したか否かを判定する。短秒露光での撮影が終了したと判定された場合、S1413の処理に進む。短秒露光での撮影が終了しない間は、S1411に戻って短秒露光が継続する。
S1413では撮像素子114からの画像信号を画像処理部119に取り込む処理が実行される。S1414では今回撮影された短秒時の静止画像と、それ以前に撮影された中秒露光時と長秒露光時の2枚の静止画像との合成処理が実行される。
S1415でカメラCPU112aはHPF116aの時定数を「中」に設定する。S1416では中秒時の静止画露光が行われる。S1417でカメラCPU112aは中秒露光での撮影が終了したか否かを判定する。中秒露光での撮影が終了したと判定された場合、S1418の処理に進む。中秒露光での撮影が終了しない間は、S1416に戻って中秒露光が継続する。S1418では撮像素子114からの画像信号を画像処理部119に取り込む処理が実行される。そしてS1401の処理に戻る。
以上の処理を繰り返すことでHDR撮影にて像ブレ補正範囲が不足することなく補正ストロークを有効に使うことができる。また、撮影中に像ブレ補正手段の位置が補正ストローク限界に到達することがないので、各撮影の間に像ブレ補正手段の位置を補正中心に戻す必要がない。よって小型で高速な応答の必要がない像ブレ補正手段を用いて、より精度の高い像ブレ補正を行いつつ、HDR画像を取得できる。
本実施例において、ハイパスフィルタ116aの時定数の変更順序として、時定数「大」から徐々に時定数を小さくしていく処理を説明したが、それとは逆に時定数「小」から徐々に時定数を大きくしていく処理であっても構わない。このことは後述の実施例でも同じである。時定数「小」から徐々に時定数を大きくしていく処理の場合、短秒露光から露光が行われるので、像ブレ補正手段が光軸に近い位置において各露光が開始されるようになる。よって、各露光で得られる画像の画質が良くなるという特徴がある。一般に、光軸に近い位置で露光されるときの画像のほうが、光軸から離れた周辺像高で露光されるときの画像に比べて、収差や光量の面で有利であり、画質が良くなることが知られている。よって各露光において光軸に近い位置で露光を開始した画像を取得して合成すること、すなわち時定数を小さい値から大きい値に徐々に変更する順序のほうが、より良質な合成画像が得られる。一方で、長秒露光が比較的後の順番になるので、像ブレ補正ストロークの観点からすると時定数「大」から撮影を開始する場合よりも不利である。しかしながら、各露光において時定数を切り替えることにより、像ブレ補正ストロークについても従来技術での撮影に対しては補正に余裕を持つことが可能となる。
本実施例(図11参照)は、撮像装置111に加わる手ぶれ等の振れを検出する角速度計115と、角速度計115の検出信号を処理して、時定数の変更を一定の周期で繰り返し行う信号処理部116を備える。撮像素子114の駆動部114aは、信号処理部116の出力する信号に基づいて手ぶれ等による撮像画像の像ブレ補正を行い、画像劣化を抑制する。静止画露光部118は異なる静止画露光時間で複数枚の撮影を行う。露光制御部117は、信号処理部116で変更される時定数に基づいて静止画露光部118による各撮影の静止画露光時間を設定する。小型の像ブレ補正手段を用いて、より精度の高い像ブレ補正を行いつつ、HDR画像を取得することができる。
信号処理部116のハイパスフィルタ116aの時定数が大きい時の静止画露光時間(図12:画像124aの露光時間)は、時定数が小さい時の静止画露光時間(図12:画像124cの露光時間)より長く設定される。信号処理部116は時定数を大きい値から小さい値へ、あるいは、小さい値から大きい値へと順次変更する。
連続するHDR撮影において、複数枚の画像(124a,124b,124c)の合成処理が繰り返される過程において、前回の合成で利用した複数の画像の一部(124c)は次回の合成(複数枚の画像124c,124d,124eの合成)で利用される。これによりHDR画像を効率的に生成することが可能となる。
HDR撮影では複数回の撮影が行われるので、長時間の像ブレ補正に対処するために従来技術では補正範囲を拡大させる必要性が生じ、またセンタリング動作に高速な応答性が求められる結果、像ブレ補正手段の大型化を余儀なくされる。これに対し、本実施例によれば、小型の像ブレ補正手段で、より精度の高い像ブレ補正を行いつつ、HDR撮影を行ってダイナミックレンジの拡大された画像信号を取得することができる。
[第6実施例]
図15を参照して、本発明の第6実施例について説明する。図15は本実施例におけるHDR撮影時の像ブレ補正手段の動作を説明する図である。上側にはHDR撮影における各撮影条件の推移を示す。下側に示すグラフの横軸は時間軸であり、縦軸は像ブレ補正量を表す。グラフ線151は像ブレ補正手段の軌跡を表している。
図15に矢印152aで示す期間ではハイパスフィルタ116aの時定数が「大」である。撮像装置の像ブレ補正能力は高いが、グラフ線151は次第に像ブレ補正の補正ストローク限界153(破線参照)に近づいていく。矢印152bで示す期間ではハイパスフィルタ116aの時定数が「中」である。撮像装置の像ブレ補正能力は時定数が「大」の場合より低く、グラフ線151は補正ストローク限界153を超えることはない。矢印152cで示す期間ではハイパスフィルタ116aの時定数が「小」である。撮像装置の像ブレ補正能力は時定数が「中」の場合より低く、グラフ線151は補正中心に戻っていく。
本実施例においては図15に示す様に、時定数の「大中小」をひと組(時定数セット)にして繰り返す構成とすることで、グラフ線151を補正ストローク限界153内に収めることができる。
図15に矢印152aで示す期間(時定数「大」)では長秒時の静止画露光(画像154a)が行われる。長秒時の撮影では暗い被写体でも少ないノイズで撮影可能である。矢印152bで示す期間(時定数「中」)では中秒時の静止画露光(画像154b)が行われ、適正露出の被写体に対して最適な撮影が行われる。中秒時の静止画撮影の時間は、長秒時の静止画露光の時間に比べると短いので、像ブレ補正性能の低下は画像には現れにくい。矢印152cで示す期間(時定数「小」)では短秒時の静止画露光(画像154c)が行われる。明るい被写体に対して画像信号の飽和なく最適な撮影が行われる。短秒時の静止画撮影の時間は、中秒時の静止画露光の時間に比べると短いので、像ブレ補正性能の低下は画像にはさらに現れにくい。
撮影された3枚の画像は、位置合わせが行われてから合成されてHDR画像が取得される。また像ブレ補正手段の位置は補正ストローク限界内に収まっているので、各撮影において像ブレ補正に必要な補正範囲が不足することなく、良好な像ブレ補正を実行可能である。
連写時には上記3枚の撮影以降もハイパスフィルタ116aの時定数に合わせて静止画露光期間が設定される。すなわち時定数が「大」の期間では長秒露光、時定数が「中」の期間では中秒露光、時定数が「小」の期間では短秒露光が行われる。撮影された各画像を合成してHDR画像を連続して取得することができる。具体的には図15にて、画像154a,154b,154cの合成により1枚目のHDR画像が生成される。画像154d,154e,154fの合成により2枚目のHDR画像が生成され、画像154g,154h,154iの合成により3枚目のHDR画像が生成される。図15では長秒、中秒、短秒の各露光時間でHDR撮影が繰り返される例を示すが、必要に応じてその逆順、つまり短秒、中秒、長秒の各露光時間でHDR撮影が繰り返されてもよい。
本実施例では第5実施例と異なり、1枚目と2枚目の各撮影画像、2枚目と3枚目の各撮影画像で共有される画像が存在しないので、連写コマ数は減ることになるが、互いに独立したHDR画像を取得可能である。
[その他の実施形態]
前記実施例では以下の実施形態を説明した。
・像ブレ補正手段の位置に応じて複数回の撮影時の各撮影条件を決定する第1の実施形態(第1乃至第4実施例)。
・信号処理部の特性(例えばHPFの時定数の変更)に応じて複数回の撮影時の各撮影条件を決定する第2の実施形態(第5および第6実施例)。
撮影条件とは、例えばHDR撮影における各露光条件とその順序である。
第1および第2の実施形態を組み合わせて実施することができる。その場合の実施形態としては、像ブレ補正手段の位置に応じて複数回の撮影時の各撮影条件を決定し、撮影条件に対応したHPFの時定数となるように時定数の変更処理が行われる。HDR撮影にて撮影条件(露光時間、露光開始時刻等)を変更して、画角変動を抑制しつつ像ブレ補正範囲を十分に確保することができる。前記実施形態によれば、画像信号のダイナミックレンジ拡大と像ブレ補正性能の向上との両立を実現可能である。
なお、上記のいずれの実施形態でも撮像装置で画像合成を行う例を説明した。これに限らず、撮像装置で画像合成に用いる画像取得のための複数回の撮影を行い、取得された画像に対して、撮影を行った撮像装置とは異なる外部装置で画像合成処理を実行してもよい。ここでの外部装置にはPCやクラウドコンピューティングの利用も含まれる。