(第1実施形態)
図1は、本発明の第1実施形態であるカメラ(撮影装置)の構成を示した図である。撮影レンズ11から入射した光束(撮影光)は、絞り13aで光量制限された後に、シャッタ12aを通り撮像部19に結像する。
撮像部19は、MOSやCCDなどの半導体撮像素子で構成されており、撮影光を受光することで、この受光量に応じた電気信号(画像信号)を出力する。撮像駆動部16は、撮影制御部18からの命令に応じて撮像部19を駆動する。これにより、撮像部19での画像信号の蓄積および読み出しが行われる。
撮影レンズ11は複数の光学レンズ群により構成されており、これらの光学レンズ群のうち一部又は全部がAF駆動モータ14aからの駆動力を受けて光軸10上を移動し、所定の合焦位置に停止することで焦点調節を行う。AF駆動モータ14aは焦点駆動部14bからの駆動信号を受けることで駆動する。
また、撮影レンズ11のうち一部の光学レンズ群は、ズーム駆動モータ15aからの駆動力を受けて光軸10上を移動し、所定のズーム位置に停止することで撮影画角を変更する。ズーム駆動モータ15aは、ズーム駆動部15bからの駆動信号を受けることで駆動する。
絞り13aは、複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動部13bからの駆動力を受けることで作動して光通過口となる開口面積(絞り口径)を変化させる。シャッタ12aは、複数のシャッタ羽根を有しており、これらのシャッタ羽根は、シャッタ駆動部12bからの駆動力を受けることで光通過口となる固定開口部を開閉する。これにより、撮像部19に入射する光束を制御する。
照明装置16aは、撮影時の条件(被写体輝度等)などに応じて照明駆動部16bからの駆動信号を受けて駆動(発光)する。撮影動作を撮影者に知らせるためのスピーカ17aは、発音駆動部17bからの駆動信号を受けて駆動(発音)する。
焦点駆動部14b、ズーム駆動部15b、絞り駆動部13b、シャッタ駆動部12b、照明駆動部16b、発音駆動部17bの駆動は、撮影制御部18により制御されている。
撮影制御部18は、レリーズ操作部12c、絞り操作部13c、ズーム操作部15c、照明操作部16c及び防振操作部120からの操作信号の入力を受けることにより、この入力に応じた動作を行うようになっている。
なお、本実施形態において、絞り13aの絞り口径や照明装置16aの発光は、カメラ側で自動的に設定することもできるし、撮影者が絞り操作部13cや照明操作部16cを操作することにより任意に設定することもできる。
撮影制御部18は、後述する信号処理部111に取り込まれた画像信号に基づいて被写体輝度の測定(測光)を行い、この測光結果に基づいて絞り13aの絞り口径とシャッタ12aの閉じタイミング(露光時間)を定めている。また、撮影制御部18は、焦点駆動部14bを駆動させながら、信号処理部111からの出力に基づいて撮影レンズ11の合焦位置を求めている。
撮像部19から出力された映像信号は、A/D変換部110によりデジタル信号に変換されて信号処理部111に入力される。信号処理部111は、入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー映像信号を形成する。
信号処理部111で信号処理された映像信号は、信号切替部112を介して第1の画像補正部117aや第2の画像補正部117bに入力される。
画像補正部117a、117bでは、入力された信号のガンマ補正や圧縮処理を行う。画像補正部117a、117bの信号は、表示部118と記録部119に入力され、撮影された画像が表示部118に表示されるとともに記録部119に記録される。
ここで、撮影者が防振操作部120を操作することにより、防振モード(撮像部19から複数の画像を読み出すとともに、これらの画像を合成して1枚の静止画像(撮影画像)を作成することにより像振れを補正する撮影モード)に設定すると、以下に説明する動作が行われる。
まず、撮影者がレリーズボタン(レリーズ操作部12c)を半押しすると、撮影準備動作(焦点調節動作や測光動作等)が開始される。撮影制御部18は、測光動作により得られた測光値に基づいてシャッタ12aの閉じタイミング(露光時間)と絞り13aの絞り口径を設定する。
一般的に防振モードを設定して撮影を行う際の撮影条件は、被写体が暗い場合が多い。このように被写体が暗い場合において、1回の露光によって適正露出を得るための撮影(通常撮影)においては、絞りが全開、露光時間が長秒時露光となる。
そこで、防振モードでの撮影においては、通常撮影での露光時間を複数の短い露光時間に分割し、この分割した数だけ露光(撮像部19からの画像の読み出し)を繰り返す。このように短い露光時間に分割すると、露光により得られる1枚1枚の画像は露出不足になるが、これらの画像は手振れの影響が少ない画像となる。
そして、複数回の露光が終了した後に、これによって得られた複数の画像を合成して1枚の画像にすることで露出を改善する。
しかし、複数回の露光を行うとき、これにより得られた各画像においては手振れの影響が生じていなくても、連続露光中の手振れにより各画像間における構図が微妙にずれている場合がある。ここで、これらの画像をこのまま合成すると、合成された画像は各画像の構図がずれた分だけぶれた画像になってしまう。
そこで、本実施形態では、後述するように各画像に対して座標変換を行うことにより構図のずれを補正している。
本実施形態において、連続露光の際に撮像部19から撮影ごとに出力される画像信号は、A/D変換部110でデジタル信号に変換されてから信号処理部111にて信号処理が施される。
ここで、防振操作部120を操作して防振モードの設定を行った場合には、信号処理部111から出力される画像データが、信号切替部112を介して画像記憶部113に入力され、第2の画像補正部117bへの入力は絶たれる。
画像記憶部113は、撮像部19から読み出された複数の画像すべてを記憶する。変位検出部(或いは動き検出部)(検出手段)114は、画像記憶部113に記憶された複数の画像のうち各画像内における特徴点を抽出し、この特徴点の位置座標を割り出す。
例えば、図2のフレーム121aに示すように、人物122aが建物123aを背景にして立っている写真を撮影する場合を考える。このとき、複数回の露光を行うと、フレーム121bに示すように手振れによりフレーム121aに対して構図のずれた画像を得ることがある。
この場合、変位検出部114は、フレーム121aの画面のうち外周近傍に位置する建物123aの中から輝度の高い点である窓124aのエッジ125aをエッジ検出により特徴点として取り出す。同様にして、フレーム121bの画面内から窓124bのエッジ125bをエッジ検出により特徴点として取り出す。
そして、座標変換部(座標変換手段)115は、変位検出部114で抽出された特徴点125aと特徴点125bを比較し、この差分を補正(座標変換)する。すなわち、座標変換部115は、フレーム121bの特徴点125bを図2の矢印126のようにフレーム121aの特徴点125aに重ねるようにして、フレーム121bの画像に対して座標変換を行う。
ここで、撮影画面の外周近傍の領域から特徴点を抽出する理由について、以下に説明する。
多くの撮影の場合では、画面の中央近傍に主被写体が位置し、且つ主被写体は人物である場合が多い。このとき、主被写体が位置する領域内から特徴点を抽出すると被写体振れによる不都合が出てくる。
すなわち、複数回の露光を行っているときには、撮影画像に撮影者の手振ればかりでなく被写体振れも重畳してくるため、被写体振れに基づいて画像の座標変換をしてしまうことがある。
この場合、主被写体の構図が適正になるように座標変換を行うので好ましい画像ができるように思われるが、一般的には人物の動きは複雑であり、主被写体における特徴点を選ぶ場所によってずれ検出精度が大きく左右される。
例えば、主被写体(人物)の眼を特徴点として選んだ場合は瞬きの影響が出るし、手の先を特徴点として選択した場合には手は動きやすいので実際の被写体全体の振れとは異なってしまう。
このように人物の1点を特徴点として画像の座標変換を行っても、この人物画像のすべてが適正に座標変換される訳ではないし、複数の画像を座標変換して合成する場合においても、画像ごとに座標の位置がばらつき、好ましい画像は得られない。
そこで、本実施形態では、背景のような静止被写体を特徴点の抽出領域とすることで、画像の座標変換を行っても好ましい合成画像が得られるようにしている。一方、この場合には、上述したように被写体振れの影響が出てくる。
そこで、本実施形態では、被写体振れの影響をなくすために、複数回の露光のうち1回目の露光を行うときだけ照明光を被写体に照射するようにしている。なお、照明光の照射は、1回目の露光に限るものではなく、複数回(N回)の露光のうちn回目(1≦n:任意≦N)の露光時に照射するようにしてもよい。また、照明光の照射回数も適宜設定することができる。
ここで、照明装置16aを使用して得られた画像を第1の画像、照明装置16aを使用しないで得られた複数の画像を第2の画像群とする。
このとき、第1の画像と第2の画像群の間には、上述した構図ずれ以外にも以下の違いが生じる。すなわち、第1の画像において照明光の届いた被写体領域の明るさは、第2の画像群の各画像における同じ領域の明るさとは異なる。
ここで、第1の画像において照明光の届いた被写体に対しては十分な露出が得られ、照明光の届かない被写体に対しては露出が不足することになる。一般的に人物などの主被写体は、カメラの近くに位置しているために照明光が届くことで十分な露出が得られ、背景はカメラから遠いために照明光が届かずに露出が不足する。
したがって、露出の不足している背景に対しては、第2の画像群の構図ずれを修正(座標変換)しながら合成することで露出不足を補う。
図3は、変位検出部114による特徴点の抽出方法を説明するための図である。図3(a)は、照明装置16aを使用した第1の画像127を示し、図3(b)は、照明装置16aを使用しない第2の画像群(例として1つの画像128を示す)を示す。
第1の画像127では人物に照明光が届くため人物122aが明るくなっており、第2の画像128では人物に照明光が照射されていないため人物122bが暗くなっている。
これに対して、照明光の届かない背景(例えば、建物123a、123b)の明るさは、第1の画像127および第2の画像128間で変化が無い。このように明るさの変化の無い背景領域は、照明光が届かずに露出が不足するので、この領域を特徴点の抽出領域とする。
変位検出部114は、第1の画像127及び第2の画像128間で明るさの変化が無い領域(建物123a、123b)において、輝度の高い点である窓のエッジ125a、125bをエッジ検出により特徴点として取り出す。
そして、座標変換部115は、図2で説明したのと同様に第1の画像127における特徴点125aと、第2の画像128における特徴点125bと比較し、その差分を補正(座標変換)する。すなわち、第2の画像128の特徴点125bが第1の画像127の特徴点125aに重なるように第2の画像128を座標変換する。
そして、第2の画像群における他の画像についても各々特徴点(特徴点125bに相当する点)の座標を求め、この特徴点が第1の画像127における特徴点125aに重なるように各画像(第2の画像群)の座標変換を行う。
ここでは、説明のために各画像における特徴点の座標を求めているが、実際には第1の画像127の特徴点と第2の画像群の各画像における特徴点とを相関演算し、各々対応する画素の変化を変位検出部114が動きベクトルとして求め、特徴点の変化としている。
なお、特徴点の抽出は1箇所だけに限るものではなく、複数の特徴点を抽出しておき、これらの特徴点の動きベクトルの平均値、又はスカラーの最小値を特徴点の変化としてもよい。ここで、特徴点の変化として上記最小値を利用するのは、撮影画面内で選択された特徴点もそれ自身が移動する可能性があるため、もっとも移動しない特徴点を選ぶためである。
座標変換部115で座標変換された画像データは画像合成部(合成手段)116に出力され、画像合成部116は、第1の画像127及び座標変換された各画像を合成して、1つの画像(静止画像)を生成する。
以上のように本実施形態では、照明装置16aを用いた第1の画像127を基準(中心)にして、この画像に重なるように第2の画像群128の各画像を座標変換している。
ここで、第1の画像127を画像合成の際の基準にする理由を説明する。
図2に示すように構図のずれた2つの画像を合成する場合、図4に示すように2つの画像が重ならない領域129が生ずる。そこで、画像合成部116は、領域129をカットして、2つの画像が重なった領域のみについて拡散補完処理を行い、もとのフレームの大きさにする。
ここで、第1の画像127は、照明装置16aを使用して得られた画像であるため、第1の画像127及び第2の画像群の中でもっとも画像情報が良好な画像となる。
そこで、第1の画像127の一部を削らないようにするために、第1の画像127を基準とし、この基準画像に対して第2の画像群の各画像を重ねてゆく(合成してゆく)のが好ましい。
デジタル画像の場合には、露出不足の画像でもゲインアップすることで露出の補正が可能であるが、ゲインを高くするとノイズも多くなり見苦しい画像になってしまう。
しかし、本実施形態のように多くの画像を合成することで画像全体のゲインをアップさせる場合には、各画像のノイズが平均化されるためにS/N比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。別の考え方をすれば、例えばノイズを許容して撮像部19を高感度にして複数回の露光を行い、これらの画像を加算平均することで画像に含まれるランダムノイズを減少させているともいえる。
画像合成部116で合成された画像データは、第1の画像補正部117aに入力されてガンマ補正や圧縮処理が行われ、その後表示部118に撮影画像として表示されるとともに記録部119に記録される。
図5は、本実施形態のカメラの撮影動作をまとめたフローチャートであり、このフローはカメラの電源がオンになったときにスタートする。
ステップ♯1001では、撮影者がレリーズボタンの半押し操作によりsw1がオンになるまで待機し、sw1がオンになるとステップ♯1002に進む。
ステップ♯1002では、撮像部19において撮像が行われる。撮影制御部18は、信号処理部111からの出力に基づいて撮影画像のコントラストを検出しながら、AF駆動モータ14aを駆動して撮影レンズ11を光軸方向に移動させる。
そして、もっともコントラストが高かった時点で撮影レンズ11の駆動を停止させることにより撮影光学系を合焦状態とする(山登り方式によるAF)。なお、公知の位相差検出方式による焦点調節を行うこともできる。
また、撮影制御部18は、撮像部19の出力に基づいて被写体の明るさを求める。ここで、撮影制御部18は、撮影画面の中央領域(主被写体が位置する可能性の高い領域)と、この周辺領域とを分けて測光しており、これらの測光結果から画面全体における最適な露光値を演算する。
ステップ♯1003では、撮像部19によって撮像された画像を、カメラの外部に設けられた液晶表示部等(表示部118)に表示する。これにより、撮影者はカメラに設けられた不図示の光学ファインダや上記の液晶表示部等によって被写体像を観察することができる。
ステップ♯1004では、撮影者が防振操作部120を操作して防振モードを設定しているか否かを判別し、防振モードがオンのときにはステップ♯1005に進み、オフのときにはステップ♯1025に進む。
まず、防振モードがオンのときに流れるフローについて説明する。
ステップ♯1005では、ステップ♯1002で求めた被写体の明るさ等の撮影条件に基づいて露光回数と各露光の露光時間を求める。
ここでいう撮影条件とは、
・被写体の明るさ
・撮影光学系の焦点距離
・撮影光学系の明るさ(絞り値)
・撮像部19の感度
の4点である。
例えば、撮像部19の感度がISO200に設定されていたとする。そして、ステップ♯1002での測光結果に基づいた演算により、1回の撮影(通常撮影)で適正に露光するためには、絞り13aを全開(例えばf2.8)にするとともにシャッタ12aの閉じタイミング、すなわち露光時間を1/8秒にする必要があるとする。
ここで、撮影光学系の焦点距離が35mmフィルム換算で30mmであるとき、露光時間を1/8秒とする撮影では手振れによる像振れが発生する恐れがあるので、像振れが生じないように露光時間を1/32秒に設定して4回露光を行うように設定する。
一方、撮影光学系の焦点距離が300mmであるときには、像振れが生じないように露光時間を1/320秒に設定して40回露光を行うように設定する。
このように複数回の露光を行うときの各露光時間を撮影条件に合わせて決定し、さらに何回露光するかも撮影条件に合わせて設定する。
同一被写体を複数回に分けて露光するとしても、各露光条件はなるべく適正露光に近い方が撮像部19での撮像によって被写体に関する正確な情報を得ることができる。
このため、暗い被写体の場合や、絞り13aが絞り込んでおり暗い場合や、撮像部19の感度が低く設定されている場合には、複数回の露光といえども各撮影の露光時間はなるべく長くして有効な露光条件とする。ただし、あまり露光時間を長くすると、手振れによる画像劣化の影響が像面に現れるため、各露光時間は上記の事情を考慮に入れて適宜設定する。
具体的には、上述したように撮影光学系の焦点距離が35mmフィルム換算で30mmであるときは像振れが生じないように約焦点距離分の1に等しい露光時間である1/32秒に設定することができる。
そして、各露光時間では足りない分を複数回の露光によって補うことで露出を補完するようにしている。
ここで、撮影光学系の焦点距離が上記の30mmよりも長い場合には、さらに露光時間を短くしないと手振れによる像劣化が生ずるので露光時間を短くするとともに、露光時間を短くした分だけ露光回数を増やして露出補完を行う。
このように複数回露光における各露光時間は、被写体が暗いほど、撮影レンズが暗いほど、撮像部19の感度が低いほど長くなり、撮影光学系の焦点距離が長いほど短くなる。また、露光回数は、被写体が暗いほど、撮影レンズが暗いほど、撮像部19の感度が低いほど少なくなり、撮影光学系の焦点距離が長いほど多くなる。
ステップ♯1005では、上述した露光回数及び各露光時間の演算が終了した後で、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モードが設定されたことを表示するとともに、上記の演算した露光回数を表示して撮影者に知らせる。
ステップ♯1006では、防振モードでの撮影を行う必要があるか否かについて判定し、防振モードでの撮影を行う必要がある場合にはステップ♯1007に進み、必要がない場合にはステップ♯1029に進む。
この防振モードの判定は、具体的には以下のように行う。なお、本実施形態では、撮影画面の中央領域(第1の領域)に人物などの主被写体が位置していることとして防振モードの判定を行うようにしている。
撮影画面の中央領域における被写体が暗く(中央領域における被写体輝度が所定値以下)、中央領域の周辺の領域(周辺領域(第2の領域))における被写体が暗い(周辺領域における被写体輝度が所定値以下)場合には、防振モードでの撮影を行う必要があると判断する。中央領域における被写体が明るく(中央領域における被写体輝度が所定値以上)、周辺領域における被写体が明るい(周辺領域における被写体輝度が所定値以上)場合には、防振モードでの撮影を行う必要がないと判断する。
また、中央領域における被写体が暗く、周辺領域における被写体が明るい場合(例えば、逆光での撮影)において、照明光が中央領域の被写体に届く場合には防振モードでの撮影を行う必要がないと判断し、照明光が中央領域の被写体に届かない場合には防振モードでの撮影を行う必要があると判断する。
さらに、中央領域における被写体が明るく、周辺領域における被写体が暗い場合には、防振モードでの撮影を行う必要があると判断する。
ここで、照明光が中央領域の被写体に届くか否かの判断は、照明装置16aをプリ発光させて、このときの反射光の情報に基づいて判断することができる。また、ピント合わせのための鏡筒(撮影レンズ11)の繰り出し量から被写体距離を求め、この被写体距離と照明装置16aの発光量や絞り値の関係から照明光が主被写体に到達するか否かを判断することができる。
ステップ♯1007では、照明装置16aの反射光量や鏡筒の繰り出し量から求めた被写体距離が所定距離以下(例えば60cm以下)であるか否かを判定しており、所定距離以下の場合にはステップ♯1030に進み、所定距離以上の場合にはステップ♯1008に進む。
ここで、被写体距離が所定距離以下であるか否かを判定している理由を説明する。
上述したように特徴点の抽出は、撮影画面の周辺領域内から行うようにしている。これは、被写体振れにより座標変換に誤差が生じ、背景がずれるのを防止するためである。
しかし、主被写体がカメラから近距離の位置にある場合、撮影画面内には殆ど背景が写り込まないため、主被写体のみを座標変換の基準と考えてよく、また、近距離では主被写体の動きも敏感に画像劣化につながるため、主被写体を特徴点の抽出対象として選ぶ(防振ではなく被写体追尾)ほうが良好な画像が得られる。
このため、ステップ♯1007、♯1008、♯1030では、主被写体の距離に応じて特徴点の抽出領域を変えるようにしている。
ステップ♯1008では、図2に示した窓のエッジ部125a、125bのように撮影画面の周辺領域から特徴点を抽出し、この特徴点の動きベクトルの検出を防振モードでの撮影(静止画撮影)に先立って行う。
ここで、防振モードでの静止画撮影を行う前に特徴点の抽出や動きベクトルの検出を行うのは、静止画撮影を行う際に実際に特徴点が抽出でき、且つ動きベクトルが求められるか否かを予め知っておくためであり、特徴点を抽出できなかったり、動きベクトルを求められなかったりしたときには、静止画撮影を行う前に予め対策を施すためである。
特徴点が抽出できない場合としては、例えば、背景が模様の無い壁のように特徴の無い場合や、極端な逆光条件又は被写体が激しく動いている場合がある。また、動きベクトルが求められない場合としては、特徴点のコントラストが極めて低いとき、又は複数の領域で求めた動きベクトルの方向が揃っていない場合等がある。
ステップ♯1009では、ステップ♯1008(ステップ♯1030)において特徴点が抽出できたか否かを判別するとともに、動きベクトルが検出できたか否かを判別する。ここで、特徴点が抽出でき、動きベクトルが検出できた場合にはステップ♯1010に進む。また、特徴点が抽出できない場合や、動きベクトルが検出できない場合にはステップ♯1031に進む。
ステップ♯1010では、レリーズボタンの全押し操作によりsw2がオンになるまでステップ♯1001からステップ♯1010を循環して待機する。そして、sw2がオンになった時点でステップ♯1011に進む。
ステップ♯1011では、発音駆動部17bを介してスピーカ17aを駆動する(発音させる)ことにより、撮影者に静止画撮影が開始されたことを知らせる。この音は例えば、「ピッ」という電子音でもよいし、シャッタ12aの開き音でもよい。
ステップ♯1012では、1回目の露光を開始する。なお、ステップ♯1012から後述するステップ♯1020までは、短い露光時間での露光を複数回繰り返し、これらの露光により得られた複数の画像を合成してみかけの露出を適正にする防振モードでの撮影動作である。
ここで、1回目の露光は、上述した第1の画像127(図3(a))を得るために照明装置16aを発光させて撮影する。ただし、ステップ♯1006の判定において、撮影画面の中央領域における被写体が明るい場合には、照明装置16aを発光させずに撮影を行う。また、ステップ♯1006の判定において、照明光が撮影画面の中央領域における被写体に届かない場合には、照明装置16aを発光させても、発光させなくてもよい。
ステップ♯1013では、露光によって取得した画像を一旦画像記憶部113に記憶しておく。
ステップ♯1014では、ステップ♯1005で設定された回数の露光が完了するまでステップ♯1012〜ステップ♯1014を循環して露光を続行する。このとき、2回目以降の露光は第2の画像群(図3(b))を得るために照明装置16aを使用しないで行う。そして、すべての露光が完了するとステップ♯1015に進む。
ステップ♯1015では、発音駆動部17bを介してスピーカ17aを駆動する(発音させる)ことにより、撮影者に静止画撮影が完了したことを知らせる。この音は、例えば「ピッピッ」という電子音でもよいし、シャッタ12aの閉じ音でもよい。
このように防振モードでの静止画撮影を行う場合において、この動作を表す発音は1セット(1回目の露光開始および最終回目の露光完了のそれぞれ1回)であるため、撮影者に複数回露光の違和感を与えることはない。
すなわち、通常の静止画撮影(1回の露光で適正露出を得る撮影)を行う場合と防振モードでの静止画撮影を行う場合とで、発音の回数を等しくしており、撮影者に撮影時の違和感を与えるのを防止することができる。
ステップ♯1016では、ステップ♯1007での判定結果に基づいて主被写体が所定距離よりも遠い位置にある場合には変位検出部114が撮影画像の周辺領域(例えば図2の建物123a)の中から特徴的な像(特徴点)を抽出し、撮影画面内における特徴点の座標を求める。このとき、ステップ♯1008又はステップ♯1030で既に特定された領域から特徴点を再抽出して特徴点が抽出できることを確認しておく。
なお、1回目の露光で照明装置16aを発光させた場合、ステップ♯1016では、ステップ♯1008と異なり、第1の画像と第2の画像群の各画像とをそれぞれ比較して明るさの異なる領域(照明光が十分被写体を照射した領域)以外の領域(照明光が被写体を十分照射していない領域)から特徴点を抽出できるのでより正確に特徴点の座標を求めることができる。
一方、主被写体が所定距離以内にある場合には、撮影画像の中央領域から特徴的な像(特徴点)を抽出し、撮影画面における特徴点の座標を求める。
ステップ♯1017では、座標変換部115により第2の画像群の各画像の座標変換を行う。ここで、照明装置16aを用いることによって得られた第1の画像については、座標変換を行う際の基準画像とし、座標変換は行わない。
なお、1回目の露光で照明装置16aを使用しなかった場合、複数回露光によって得られた複数の画像のうちいずれか1つの画像を座標変換の基準画像とする。
ステップ♯1018では、座標変換の対象となるすべての画像について座標変換が終了するまでステップ♯1016からステップ♯1018を循環して待機し、すべての画像の座標変換が完了した時点でステップ♯1019に進む。
ステップ♯1019では、基準画像と座標変換された各画像の合成を行う。ここで、画像合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した合成画像をゲインアップして露出の適正化を図る。
ステップ♯1020では、合成画像のうち各画像が構図ぶれにより重ならなかった領域(図4の領域129)をカットし、元のフレームの大きさになるように合成画像を拡散補完する。
ステップ♯1021では、第1の画像補正部117aにより合成画像信号に対してガンマ補正や圧縮処理を行う。ステップ♯1022では、ステップ♯1021で得られた合成画像を、カメラに設けられた液晶表示部に表示する。
ステップ♯1023では、ステップ♯1021で得られた合成画像データを、例えば半導体メモリなどで構成され、カメラに対して着脱可能な記録媒体(記録部119)に記録する。ステップ♯1024では、スタートに戻る。
なお、ステップ♯1024の段階でまだsw1がオンになっているときは、そのままステップ♯1001、♯1002、♯1003、♯1004と再度フローを進めてゆく。また、ステップ♯1024の段階でsw2がオンになっているときには、スタートに戻らずステップ♯1024で待機する。
次に、ステップ♯1004で防振モードがオフのときに流れるフローについて説明する。
ステップ♯1004において、防振操作部120が操作されておらず防振モードがオフと判断したときには、ステップ♯1025に進む。
ステップ♯1025では、防振モードを設定しないと手振れによる画像劣化が生ずる撮影条件(防振撮影条件)であるか否かを判断する。
この撮影条件は上述したように被写体の明るさ、撮影レンズの明るさ、撮像感度、撮影光学系の焦点距離であり、被写体の明るさ、撮影レンズの明るさ、撮像感度に基づいて通常撮影における露光時間を求め、この露光時間と現在の撮影光学系の焦点距離では手振れによる画像劣化の可能性があるか否かをステップ♯1025で判断している。
そして、画像劣化の可能性があるときにはステップ♯1026に進み、そうでないときにはステップ♯1027に進む。
ステップ♯1026では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モードに設定することを推奨する表示(防振必要表示)を行う。なお、音声により防振モードの設定を撮影者に促すようにしてもよい。
ステップ♯1027では、レリーズボタンが全押し操作され、sw2がオンになるまでステップ♯1001からステップ♯1027を循環して待機する。ステップ♯1028では、通常の静止画撮影が完了する迄待機し、この撮影完了とともにステップ♯1021に進む。
なお、ここでは省いているが、通常の静止画撮影の場合においても撮影開始と撮影完了の動作に合わせて撮影動作音をスピーカ17aから発している。すなわち、防振モードでの静止画撮影においても通常の静止画撮影においても同じ形式の撮影動作音を発している。この場合には、撮影開始音から撮影完了音迄の時間の違いにより長秒時露光か否かを撮影者が認識できる程度であり、複数回露光を行っているか否かは撮影者には分からないようになっている。
このため、防振モードでの静止画撮影においても特別な撮影を行っているという認識を撮影者に与えることがなく、使いやすいカメラになっている。
ステップ♯1021では、第2の画像補正部117bにおいて通常の静止画撮影によって得られた画像信号に対してガンマ補正や圧縮処理を行う。ステップ♯1022では、ステップ♯1021で得られた画像を、カメラの液晶表示部に表示する。
ステップ♯1023では、ステップ♯1021で得られた画像データを、例えば半導体メモリなどで構成され、カメラに対して着脱可能な記録媒体(記録部119)に記録する。ステップ♯1024では、スタートに戻る。
上述したフローで分かるように防振モードをオフにしている場合においても手振れによる画像劣化が生ずる撮影条件(防振撮影条件)のときには、撮影者に防振モードの設定を促すことにより手振れによる画像劣化を未然に防止することができる。
また、防振モードが設定されている場合、上述したように複数回の露光における各露光時間は撮影光学系の焦点距離に応じて変更することでいかなる焦点距離においても好ましい画像(合成画像)を得ることができる。
次に、ステップ♯1006で防振モードの設定が不要と判断した場合に流れるフローについて説明する。
例えば、撮影画面の中央領域における被写体が暗く、周辺領域における被写体が明るい場合において、中央領域の被写体に照明光が届く場合には、中央領域の被写体(主被写体)は照明光で適正露出になり、周辺領域の被写体も明るいため、手振れの影響がでない短い露光時間で適正露出が得られる。また、中央領域及び周辺領域の被写体が明るい場合にも、短い露光時間で適正露出が得られる。
このため、上記の場合には、予め防振モードが設定されているときであっても防振モードを使用しない方がよい。防振モードでの静止画撮影は、複数回の露光によって得られた複数の画像を合成して適正露出を得る方法であり、複数回の露光における合計の露光時間(露光時間)が長くなるため、短い露光時間で適正露出が得られる場合にまで防振モードを設定するのは好ましくないからである。
そこで、ステップ♯1006で防振モードの設定が不要と判断した場合には、ステップ♯1029に進み、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モードの設定解除を推奨する表示(防振不要表示)を行う。なお、音声によって防振モードの設定解除を撮影者に知らせるようにしてもよい。また、通常の撮影モード(1回の露光で撮影画像を得るモード)に設定すべきことを表示したり、音声によって撮影者に知らせたりすることもできる。
ステップ♯1007では、上述したように被写体距離が所定距離以下(例えば60cm以下)であるか否かを判別しており、所定距離以下の場合にはステップ♯1030に進み、所定距離以上の場合にはステップ♯1008に進む。
ここでは、被写体距離が所定距離以下の場合について説明する。
主被写体が近距離に位置している場合には、撮影画面内に背景がほとんど写り込まないため、主被写体のみを座標変換の基準と考えてよく、また、近距離では被写体の動きも敏感に画像劣化に影響を与えるため、主被写体を特徴点の抽出対象として選ぶ(防振ではなく被写体追尾)ほうが良好な画像が得られる。
したがって、上記の場合には、ステップ♯1007からステップ♯1030にフローが流れ、ステップ♯1030では、図2に示すように主被写体である人物122aが存在していることの多い撮影画面の中央領域から特徴点を抽出し、この特徴点の動きベクトルの検出を静止画撮影に先立って行う。例えば、人物122aの輪郭のエッジなどを特徴点として抽出する。
ここで、静止画撮影を行う前に特徴点の抽出と動きベクトルの検出を行うのは、静止画撮影の際に実際に特徴点が抽出でき、且つ動きベクトルが求められるか否かを予め知っておくためであり、精度良く動きベクトルが求められないときには静止画撮影を行う前に予め対策を施すためである。
ステップ♯1009では、特徴点が抽出できたか否かを判別するとともに、動きベクトルが検出できたか否かを判別する。特徴点を抽出でき、精度良く動きベクトルが検出できた場合にはステップ♯1010に進む。また、特徴点が抽出できない場合や、動きベクトルを検出できなかった場合にはステップ♯1031に進む。
ここでは、特徴点の抽出又は動きベクトルの検出が良好にできなかった場合について説明する。
この場合には、防振モードでの静止画撮影を行った際の実際の撮影画像から特徴点を抽出し、動きベクトルを求めてもその信頼性が低いために、画像合成によって得られた画像(静止画像)はぶれた画像になってしまう恐れがある。
そこで、特徴点の抽出又は動きベクトルの検出ができない場合には、ステップ♯1009からステップ♯1031にフローが流れ、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モードでの撮影では良好な画像が得られないことを表示(防振不安定表示)し、ステップ♯1010に進む。なお、音声により防振不安定表示に関する情報を撮影者に知らせるようにしてもよい。
このように防振不安定表示を行うことにより、撮影者は、防振モードでの静止画撮影によって像振れのない画像(合成画像)を得ることができるように各種の対策を講じることができる。
具体的には、正確に特徴点の抽出が行われるようにフレーミングをし直す等の操作を行ったり、防振モードでの静止画撮影の間に手振れが生じにくいようにカメラの構え方を工夫(例えば、木などの静止物にカメラを押し付けて固定する)したりすることができる。
(第2実施形態)
本実施形態のカメラは、第1実施形態の変形例である。本実施形態のカメラの構成は、第1実施形態(図1)と概ね同様であり、同じ部材については同一符号を付して説明する。
第1実施形態では、静止画撮影を行う前における変位検出部114による特徴点の抽出領域を、撮影画面内の中央領域や周辺領域(図5のステップ♯1008、ステップ♯1030)としている。
一方、上述した場合に限らず、撮影画面内に設けられたフォーカシングエリアや現在ピントが合っている領域に基づいて、静止画撮影を行う前における特徴点の抽出領域を選択することもできる。
これは、静止画撮影を行うときには、主被写体(人物)に対して、撮影画面内に設けられたフォーカシングエリアを重ねるため、特徴点を主被写体以外の領域から抽出するためには、フォーカシングエリア以外の領域を特徴点抽出領域に設定すればよいからである。
図6は、撮影画面内における特徴点抽出領域を示した図である。撮影画面内に設けられたフォーカシングエリア131a、131b、131c、131d、131eの中で主被写体を捕らえているフォーカシングエリア131cで合焦している場合には、このフォーカシングエリア131cを中心とする所定範囲の領域である主被写体領域(第1の領域)132を除く周辺領域(第2の領域)130(図6の斜線領域)を特徴点抽出領域に設定する。
この場合、フォーカシングエリア131a〜131eのうち主被写体を捕らえているフォーカシングエリアに応じて、主被写体領域および周辺領域(特徴点抽出領域)が変更される。
そして、この特徴点抽出領域のなかで適した像を特徴点として抽出し、この特徴点の座標に基づいて各画像のずれを補正して画像合成を行うようにすれば、像振れのない好ましい静止画像が得られる。
第1実施形態では、防振モードの設定が必要でない撮影条件(防振撮影条件)において、予め防振モードが設定されている場合には、防振不要表示(図5のステップ♯1029)を行い、撮影者に防振モードの設定解除を促していた。これにより、撮影者は防振不要表示に基づいて防振モードの設定可否を判断することができる。
一方、防振モードの設定が不要であるときに自動的に防振モードの設定を解除するようにしてもよい。これにより、撮影者が防振不要表示に基づいて防振モードの設定を解除する場合に比べて、カメラの操作性を向上させることができる。
また、第1実施形態では、特徴点の抽出又は動きベクトルの検出ができない場合に、防振不安定表示(図5のステップ♯1031)を行い、撮影者に対応を促していた。
一方、防振不安定表示を行うとともに、自動的に防振モードの設定を解除し、通常の静止画撮影を行う通常撮影モードに切り替えて撮影を実行するようにしてもよい。
図7は、本実施形態であるカメラの撮影動作をまとめたフローチャートであり、このフローはカメラの電源がオンになったときにスタートする。
ステップ♯1001では、撮影者がレリーズボタンの半押し操作によりsw1がオンになるまで待機し、sw1がオンになるとステップ♯1002に進む。
ステップ♯1002では、撮像部19において画像の読み出しが行われる。撮影制御部18は、信号処理部111からの出力に基づいて画像のコントラストを検出しながら、AF駆動モータ14aを駆動して撮影レンズ11を光軸方向に移動させる。
そして、もっともコントラストが高かった時点で撮影レンズ11の駆動を停止させることにより撮影光学系を合焦状態とする(山登り方式によるAF)。なお、位相差検出により焦点調節を行うこともできる。
また、撮影制御部18は、撮像部19の出力に基づいて被写体の明るさを求める。ここで、撮影制御部18は、撮影画面内の主被写体領域(例えば、図6の領域132)と、この主被写体領域以外の周辺領域(例えば、図6の領域130)とを分けて測光しており、これらの測光結果から画面全体における最適な露出値を演算する。
ステップ♯1003では、撮像部19から読み出された画像を、カメラの外部に設けられた液晶表示部等(表示部118)に表示する。
ステップ♯1004では、撮影者が防振操作部120を操作して防振モードを設定しているか否かを判別し、防振モードがオンのときはステップ♯1005に進み、オフのときにはステップ♯1025に進む。
まず、防振モードが設定されている場合に流れるフローについて説明する。
ステップ♯1005では、ステップ♯1002で求めた被写体の明るさ等の撮影条件に基づいて露光回数と各露光時間を求める。
ここでいう撮影条件とは、
・被写体の明るさ
・撮影光学系の焦点距離
・撮影光学系の明るさ(絞り値)
・撮像部19の感度
の4点である。
例えば、撮像部19の感度がISO200に設定されていたとする。そして、ステップ♯1002での測光結果に基づいた演算により、通常撮影で適正に露光するためには、絞り13aを全開(例えばf2.8)にするとともにシャッタ12aの閉じタイミング、すなわち露光時間を1/8秒にする必要があるとする。
ここで、撮影光学系の焦点距離が35mmフィルム換算で30mmであるとき、露光時間を1/8秒とする撮影では手振れにより像振れが発生する恐れがあるので、像振れが生じないように露光時間を1/32秒に設定して4回露光を行うように設定する。
一方、撮影光学系の焦点距離が300mmであるときには、像振れが生じないように露光時間を1/320秒に設定して40回露光を行うように設定する。
このように複数回露光を行うときの各露光時間を撮影条件に合わせて決定し、さらに何回露光するかも撮影条件に合わせて設定する。
同一被写体を複数回に分けて露光するとしても、各露光条件はなるべく適正露光に近い方が撮像部19での撮像によって被写体に関する正確な情報を得ることができる。
このため、暗い被写体の場合や、絞り13aが絞り込んでおり暗い場合や、撮像部19の感度が低く設定されている場合には、複数回の露光といえども各露光時間はなるべく長くして有効な露光条件とする。ただし、あまり露光時間を長くすると、手振れによる画像劣化の影響が像面に現れるため、各露光時間は上記の事情を考慮に入れて適宜設定する。
具体的には、上述したように撮影光学系の焦点距離が35mmフィルム換算で30mmであるときは像振れが生じないように約焦点距離分の1に等しい露光時間である1/32秒に設定することができる。
そして、各露光時間では足りない分を複数回の露光によって補うことで露出を補完するようにしている。
ここで、撮影光学系の焦点距離が上記の30mmよりも長い場合には、さらに露光時間を短くしないと手振れによる像劣化が生ずるので露光時間を短くするとともに、露光時間を短くした分だけ露光回数を増やして露出補完を行う。
このように複数回露光における各露光時間は、被写体が暗いほど、撮影レンズが暗いほど、撮像部19の感度が低いほど長くなり、撮影光学系の焦点距離が長いほど短くなる。また、露光回数は、被写体が暗いほど、撮影レンズが暗いほど、撮像部19の感度が低いほど少なくなり、撮影光学系の焦点距離が長いほど多くなる。
ステップ♯1005では、上述した露光回数及び各露光時間の演算が終了した後で、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モードが設定されたことを表示するとともに、上記の演算した露光回数を表示して撮影者に知らせる。
ステップ♯1006では、防振モードでの静止画撮影を行う必要があるか否かについて判定し、防振モードでの静止画撮影を行う必要がある場合にはステップ♯1007に進み、必要がない場合にはステップ♯1029に進む。
この防振モードの判定は、具体的には以下のように行う。
撮影画面の主被写体領域における被写体(主被写体)が暗く(主被写体領域における被写体輝度が所定値以下)、周辺領域における被写体が暗い(周辺領域における被写体輝度が所定値以下)場合には、防振モードでの撮影を行う必要があると判断する。主被写体が明るく(被写体輝度が所定値以上)、周辺領域の被写体が明るい(周辺領域における被写体輝度が所定値以上)場合には、防振モードでの撮影を行う必要がないと判断する。
また、主被写体が暗く、周辺領域の被写体が明るい場合(例えば、逆光での撮影)において、照明光が主被写体に届く場合には防振モードでの撮影を行う必要がないと判断し、照明光が主被写体に届かない場合には防振モードでの撮影を行う必要があると判断する。
さらに、主被写体が明るく、周辺領域の被写体が暗い場合には、防振モードでの撮影を行う必要があると判断する。
ここで、ストロボが主被写体に届くか否かの判断は、照明装置16aをプリ発光させて、このときの反射光の情報に基づいて判断することができる。また、ピント合わせのための鏡筒(撮影レンズ11)の繰り出し量から被写体距離を求め、この被写体距離と照明装置16aの発光量や絞り値の関係から照明光が主被写体に到達するか否かを判断することができる。
ステップ♯1007では、照明装置16aの反射光量や鏡筒の繰り出し量から求めた被写体距離が所定距離以下(例えば60cm以下)であるか否かを判定しており、所定距離以下の場合にはステップ♯1030に進み、所定距離以上の場合にはステップ♯1008に進む。
ここで、被写体距離が所定距離以下であるか否かを判定している理由を説明する。
上述したように特徴点の抽出は、主被写体領域以外の周辺領域内で行うようにしている。これは、被写体振れにより座標変換に誤差が生じ、背景がぶれるのを防止するためである。
しかし、主被写体がカメラから近距離の位置にある場合、撮影画面内には殆ど背景が写り込まないため、主被写体のみを座標変換の基準と考えてよく、また、近距離では主被写体の動きも敏感に画像劣化につながるため、主要被写体を特徴点の抽出対象として選ぶ(防振ではなく被写体追尾)ほうが良好な画像が得られる。
このため、ステップ♯1007、♯1008、♯1030では、主被写体の距離に応じて特徴点の抽出領域を変えるようにしている。
ステップ♯1008では、周辺領域(例えば、図6の領域130)から特徴点を抽出し、この特徴点の動きベクトルの検出を静止画撮影(防振モードでの撮影)に先立って開始する。
ここで、防振モードでの静止画撮影を行う前に特徴点の抽出や動きベクトルの検出を行うのは、静止画撮影の際に実際に特徴点が抽出でき、且つ動きベクトルが求められるか否かを予め知っておくためであり、特徴点を抽出できなかったり、動きベクトルが求められなかったりしたときには、静止画撮影を行う前に予め対策を施すためである。
特徴点が検出できない場合としては、例えば、背景が模様の無い壁のように特徴の無い場合や、極端な逆光条件又は被写体が激しく動いている場合がある。また、動きベクトルが求められない場合として、特徴点のコントラストが極めて低いとき、又は複数の領域で求めた動きベクトルの方向が揃っていない場合等がある。
ステップ♯1009では、ステップ♯1008(ステップ♯1030)で特徴点が抽出できたか否かを判別するとともに、動きベクトルが検出できたか否かを判別する。ここで、特徴点が抽出でき、良好に動きベクトルが検出できた場合にはステップ♯1010に進む。また、特徴点が抽出できない場合や、動きベクトルを検出できない場合にはステップ♯1031に進む。
ステップ♯1010では、レリーズボタンの全押し操作によりsw2がオンになるまでステップ♯1001からステップ♯1010を循環して待機する。そして、sw2がオンになった時点でステップ♯1011に進む。
ステップ♯1011では、発音駆動部17bを介してスピーカ17aを駆動する(発音させる)ことにより、撮影者に撮影が開始されたことを知らせる。この音は例えば、「ピッ」という電子音でもよいし、シャッタ12aの開き音でもよい。
ステップ♯1012では、1回目の露光を開始する。なお、ステップ♯1012から後述するステップ♯1020までは、短い露光時間での露光を複数回繰り返し、これにより得られた複数の画像を合成してみかけの露出を適正にする防振モードでの静止画撮影動作である。
ここで、1回目の露光は、第1実施形態で説明した第1の画像127(図3(a))を得るために照明装置16aを発光させて行う。ただし、ステップ♯1006の判定において、主被写体が明るい場合には、照明装置16aを発光させずに露光を行う。また、ステップ♯1006の判定において、照明光が被写体に届かない場合には、照明装置16aを発光させても、発光させなくてもよい。
ステップ♯1013では、撮影した画像を一旦画像記憶部113に記憶しておく。
ステップ♯1014では、ステップ♯1005で設定された回数の露光が完了するまでステップ♯1012からステップ♯1014を循環して露光を続行する。このとき、2回目以降の露光は第1実施形態で説明した第2の画像群(図3(b))を得るために照明装置16aを発光させないで行う。そして、すべての露光が完了するとステップ♯1015に進む。
ステップ♯1015では、発音駆動部17bを介してスピーカ17aを駆動する(発音させる)ことにより、撮影者に撮影が完了したことを知らせる。この音は、例えば「ピッピッ」という電子音でもよいし、シャッタ12aの閉じ音でもよい。
このように防振モードで静止画撮影を行う場合において、この動作を表す発音は1セット(1回目の露光開始および最終回目の露光完了のそれぞれ1回)であるため、撮影者に複数回露光の違和感を与えることはない。
すなわち、通常の静止画撮影(1回の露光で適正露出を得る撮影)を行う場合と防振モードの静止画撮影を行う場合とで、発音の回数が等しくなっており、撮影者に撮影時の違和感を与えるのを防止することができる。
ステップ♯1016において、ステップ♯1007での判定結果に基づいて主被写体が所定距離よりも遠い位置にある場合には、変位検出部114が撮影画面の周辺領域(例えば、図6の領域130)の中から特徴的な像(特徴点)を抽出し、撮影画面内における特徴点の座標を求める。このとき、ステップ♯1008又はステップ♯1030で既に特定された領域から特徴点を再抽出して特徴点が抽出できることを確認しておく。
なお、1回目の露光で照明装置16aを発光させた場合、ステップ♯1016では、ステップ♯1008と異なり、第1の画像と第2の画像群の各画像とをそれぞれ比較して明るさの異なる領域(照明光が十分被写体を照射した領域)以外の領域(照明光が被写体を十分照射していない領域)から特徴点を抽出できるのでより正確に特徴点の座標を求めることができる。
一方、主被写体がカメラから所定距離以内にある場合には、主被写体領域から特徴的な像(特徴点)を抽出し、撮影画面内における特徴点の座標を求める。
ステップ♯1017では、座標変換部115により第2の画像群の各画像に対して座標変換を行う。ここで、照明装置16aを発光させることにより得られた第1の画像については、座標変換を行う際の基準画像とし、座標変換は行わない。なお、1回目の露光で照明光を照射させなかったときには、第1の画像及び第2の画像群のうちいずれか1つの画像を基準画像とする。
ステップ♯1018では、座標変換の対象となるすべての画像について座標変換が終了するまでステップ♯1016からステップ♯1018を循環して待機し、すべての画像の座標変換が完了した時点でステップ♯1019に進む。
ステップ♯1019では、基準画像と座標変換された各画像の合成を行う。ここで、画像合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した合成画像をゲインアップして露出の適正化を図る。
ステップ♯1020では、合成画像のうち各画像が構図ぶれにより重ならなかった領域(図4の領域129)をカットし、元のフレームの大きさになるように合成画像を拡散補完する。
ステップ♯1021では、第1の画像補正部117aにより合成画像信号に対してガンマ補正や圧縮処理を行う。ステップ♯1022では、ステップ♯1021で得られた画像を、カメラに設けられた液晶表示部に表示する。
ステップ♯1023では、ステップ♯1021で得られた合成画像データを、例えば半導体メモリなどで構成され、カメラに対して着脱可能な記録媒体(記録部119)に記録する。ステップ♯1024では、スタートに戻る。
なお、ステップ♯1024の段階でまだsw1がオンになっているときは、そのままステップ♯1001、♯1002、♯1003、♯1004と再度フローを進めてゆく。また、ステップ♯1024の段階でsw2がオンになっているときには、スタートに戻らずステップ♯1024で待機する。
次に、ステップ♯1004で防振モードが設定されていない場合に流れるフローについて説明する。
ステップ♯1004において、防振モードがオフと判断したときには、ステップ♯1025に進む。
ステップ♯1025では、防振モードを設定しないと手振れによる画像劣化が生ずる撮影条件(防振撮影条件)であるか否かを判断する。
この撮影条件は上述したように被写体の明るさ、撮影レンズの明るさ、撮像感度、撮影光学系の焦点距離であり、被写体の明るさ、撮影レンズの明るさ、撮像感度に基づいて通常の静止画撮影における露光時間を求め、この露光時間と現在の撮影光学系の焦点距離では手振れによる画像劣化の可能性があるか否かをステップ♯1025で判断している。
そして、画像劣化の可能性があるときにはステップ♯1026に進み、そうでないときはステップ♯1027に進む。
ステップ♯1026では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部(表示部118)に、防振モードに設定することを推奨する表示(防振必要表示)を行う。なお、音声により防振モードの設定を撮影者に促すようにしてもよい。
ステップ♯1027では、レリーズボタンが全押し操作され、sw2がオンになるまでステップ♯1001からステップ♯1027を循環して待機する。ステップ♯1028では、通常の静止画撮影が完了する迄待機し、この撮影完了とともにステップ♯1021に進む。
なお、ここでは省いているが、通常の静止画撮影の場合においても撮影開始と撮影完了の動作に合わせて撮影動作音をスピーカ17aから発している。すなわち、防振モードでの静止画撮影においても通常の静止画撮影においても同じ形式の撮影動作音を発している。この場合には、撮影開始音から撮影完了音迄の時間の違いにより長秒時露光か否かを撮影者が認識できる程度であり、複数回の露光を行っているか否かは撮影者には分からないようになっている。
このため、防振モードでの静止画撮影においても特別な撮影を行っているという認識を撮影者に与えることがなく、使いやすいカメラになっている。
ステップ♯1021では、第2の画像補正部117bにおいて通常の静止画撮影によって得られた画像信号に対してガンマ補正や圧縮処理を行う。ステップ♯1022では、ステップ♯1021で得られた画像を、カメラの背面などに配置された液晶表示部(表示部118)に表示する。
ステップ♯1023では、ステップ♯1021で得られた画像データを、例えば半導体メモリなどで構成され、カメラに対して着脱可能な記録媒体(記録部119)に記録する。ステップ♯1024では、スタートに戻る。
上述したフローで分かるように防振モードを設定していない場合においても手振れによる画像劣化が生ずる撮影条件(防振撮影条件)のときには、撮影者に防振モードの設定を促すことにより手振れによる画像劣化を未然に防ぐことができる。
また、防振モードが設定されている場合、上述したように複数回の露光における各露光時間は撮影光学系の焦点距離に応じて変更することでいかなる焦点距離においても好ましい画像(合成画像)を得ることができる。
次に、ステップ♯1006で防振モードの設定が不要と判断した場合に流れるフローについて説明する。
例えば、主被写体が暗く、周辺領域における被写体が明るい場合において、主被写体に照明光が届く場合には、主被写体は照明光で適正露出になり、周辺領域の被写体も明るいため、手振れの影響がでない短い露光時間で適正露出が得られる。また、主被写体及び周辺領域の被写体が明るい場合にも、短い露光時間で適正露出が得られる。
このため、上記の場合には予め防振モードが設定されているときであっても防振モードを使用しない方がよい。防振モードでの静止画撮影は、複数回の露光によって得られた複数の画像を合成して適性露出を得る方法であり、複数回の露光における合計の露光時間が長くなるため、短い露光時間で適正露出が得られる場合にまで防振モードを設定するのは好ましくないからである。
そこで、ステップ♯1006で防振モードの設定が不要と判断した場合には、ステップ♯1029に進み、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部(表示部118)に、防振モードの設定解除を促す表示(防振不要表示)を行う。なお、音声によって防振モードの設定解除を撮影者に知らせるようにしてもよい。
そして、ステップ♯1027に進むことにより、防振モードの設定を解除して通常の静止画撮影を行う撮影モードに切り替える。これにより、不要に防振モードでの静止画撮影を行わないようにしている。
ステップ♯1007では、上述したように被写体距離が所定距離以下(例えば60cm以下)であるか否かを判別しており、所定距離以下の場合にはステップ♯1030に進み、所定距離以上の場合にはステップ♯1008に進む。
ここでは、被写体距離が所定距離以下である場合について説明する。
主要被写体が近距離に位置している場合には、撮影画面内に背景がほとんど写り込まないため、主被写体のみを座標変換の基準と考えてよく、また、近距離では主被写体の動きも敏感に画像劣化に影響を与えるため、主被写体を特徴点の抽出対象として選ぶ(防振ではなく被写体追尾)ほうが良好な画像が得られる。
したがって、上記の場合には、ステップ♯1007からステップ♯1030にフローが流れ、ステップ♯1030では、主被写体領域(例えば、図6におけるフォーカシングエリア131cを中心とする主被写体領域132)から特徴点を抽出し、この特徴点の動きベクトルの検出を静止画撮影に先立って行う。例えば、人物122aの輪郭のエッジなどを特徴点として抽出する。
ここで、静止画撮影を行う前に特徴点の抽出と動きベクトルの検出を行うのは、静止画撮影の際に実際に特徴点が抽出でき、且つ動きベクトルが求められるか否かを予め知っておくためであり、精度良く動きベクトルが求められないときには静止画撮影の前に予め対策を施すためである。
ステップ♯1009では、ステップ♯1008(ステップ♯1030)で特徴点が抽出できたか否かを判別するとともに、動きベクトルが検出できたか否かを判別する。ここで、特徴点が抽出でき、精度良く動きベクトルが検出できた場合にはステップ♯1010に進む。また、特徴点が抽出できない場合や、動きベクトルを検出できない場合にはステップ♯1031に進む。
ここでは、特徴点の抽出又は動きベクトルの検出が良好にできなかった場合について説明する。
この場合には、防振モードでの静止画撮影を行った際の実際の撮影画像から特徴点を抽出し、動きベクトルを求めてもその信頼性が低いために、画像合成によって得られた静止画像はぶれた画像になってしまう恐れがある。
そこで、特徴点の抽出又は動きベクトルの検出ができない場合には、ステップ♯1009からステップ♯1031にフローが流れ、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部(表示部118)に、防振モードでの静止画撮影では良好な画像が得られないことを表示(防振不安定表示)する。なお、音声により防振不安定表示に関する情報を撮影者に知らせるようにしてもよい。
そして、ステップ♯1031からステップ♯1027にフローが流れることにより、防振モードから通常の静止画撮影を行う通常撮影モードに切り替える。
ここで、通常撮影モードに変更された場合には、1回の撮影で適正露出を得る必要があるため、露光時間を複数回露光の各露光時間よりも長く設定する。
なお、撮影者は防振モードに設定したうえで静止画撮影に臨む場合もあるため、通常の撮影モードに変更しても露光時間が長くなる場合には、露光時間を制限(短く)して照明光を照射させるようにしてもよい。
本実施形態では、上述したフローのように防振モードでの静止画撮影によっては不安定な画像が得られる場合には、防振モードから通常撮影モードに自動的に切り替わる構成になっているため、撮影者にとって扱いやすいカメラとなる。
(第3実施形態)
次に、本発明の第3実施形態であるカメラについて説明する。本実施形態のカメラの構成は、第1実施形態で説明したカメラの構成(図1)と概ね同様である。
上述した第1実施形態および第2実施形態では、複数回の露光によって得られたすべての画像を一旦画像記憶部113で記憶させておいてから、これらの画像を用いて画像合成を行っていた。
一方、本実施形態のカメラでは、複数回の露光を行いながら同時に画像の合成を行うようになっている。
図8は、このような動作を説明するタイミングチャートである。なお、同図では、4回の露光によって1枚の静止画像(合成画像)を得る場合について説明する。
まず、1回目の露光f1(照明光を用いた露光)によって撮像部18で光電変換されて電荷蓄積された信号が、撮像信号F1として読み出される。同様にして、2回目の露光f2(照明光を用いない露光)によって撮像部18で光電変換されて電荷蓄積された信号が、撮像信号F2として読み出される。
撮像信号F2の読み出しと同時進行で先に得られた撮像信号F1と今回の撮像信号F2の相関演算を行う。これにより、2つの画像における特徴点の変化を求め、2つの画像信号F1、F2を合成して合成信号C2を得る。
次に、撮像信号F3の読み出しと同時進行で前回の合成信号C2と今回の撮像信号F3の相関演算を行うことで特徴点の変化を求め、合成信号C2および撮像信号F3を合成して合成信号C3を得る。
次に、撮像信号F4の読み出しと同時進行で前回の合成信号C3と今回の撮像信号F4の相関演算を行うことで特徴点の変化を求め、合成信号C3および撮像信号F4を合成し合成信号C4を得る。
そして、得られた合成信号C4を、カメラに設けられた液晶表示部に撮影画像として表示するとともに、カメラに着脱可能な記録媒体に記録する。
図9は、本実施形態であるカメラの撮影動作を説明するフローチャートである。同図のフローチャートは、図7のフローチャートと比較すると、画像保存のステップがなく、複数回露光のうち各露光が完了するたびに座標変換を行って画像合成を行うようになっている点で異なる。
本実施形態では、露光ごとに合成画像が更新されるため、複数回の露光によって得られた各画像を保存しておく必要がない。このため、本実施形態のカメラでは、図1で示した画像記憶部112を備えていない。
なお、図9のフローにおいて、ステップ♯2002の全画像処理が完了するまで次の露光を行わないように見えるが、実際は図7のタイミングチャートのように露光や撮像信号出力、相関演算や画像合成は同時進行で行われる。
図9のフローはカメラの電源がオンになったときにスタートする。
ステップ♯1001では、撮影者がレリーズボタンの半押し操作によりsw1がオンになるまで待機し、sw1がオンになるとステップ♯1002に進む。
ステップ♯1002では、撮像部19において撮像(画像の読み出し)が行われる。撮影制御部18は、信号処理部111からの出力に基づいて撮影画像のコントラストを検出しながら、AF駆動モータ14aを駆動して撮影レンズ11を光軸方向に移動させる。
そして、もっともコントラストが高かった時点で撮影レンズ11の駆動を停止させることにより撮影光学系を合焦状態とする(山登り方式によるAF)。なお、位相差検出により焦点調節を行うこともできる。
また、撮影制御部18は、同時に撮像部19の出力に基づいて被写界の明るさを求める。ここで、撮影制御部18は、撮影画面内の主被写体領域(例えば、図6の領域132)と、この主被写体領域以外の周辺領域(例えば、図6の領域130)とを分けて測光しており、これらの測光結果から画面全体における最適な露光値を演算する。
ステップ♯1003では、撮像部19によって撮像された画像を、カメラの液晶表示部などに表示する。
ステップ♯1004では、撮影者が防振操作部120を操作して防振モードを設定しているか否かを判別し、防振モードがオンのときにはステップ♯1005に進み、オフのときにはステップ♯1025に進む。
まず、防振モードが設定されている場合に流れるフローについて説明する。
ステップ♯1005では、ステップ♯1002で求めた被写体の明るさ等の撮影条件に基づいて露光回数と各露光時間を求める。
ここでいう撮影条件とは、
・被写体の明るさ
・撮影光学系の焦点距離
・撮影光学系の明るさ(絞り値)
・撮像部19の感度(設定値)
の4点である。
例えば、撮像部19の感度がISO200に設定されていたとする。そして、ステップ♯1002での測光結果に基づいた演算により、通常撮影で適正に露出するためには、絞り13aを全開(例えばf2.8)にするとともにシャッタ12aの閉じタイミング、すなわち露光時間を1/8秒にする必要であるとする。
ここで、撮影光学系の焦点距離が35mmフィルム換算で30mmであるとき、露光時間を1/8秒とする撮影では手振れにより像振れが発生する恐れがあるので、像振れが生じないように露光時間を1/32秒に設定して4回露光を行うように設定する。
一方、撮影光学系の焦点距離が300mmであるときには、像振れが生じないように露光時間を1/320秒に設定して40回露光を行うように設定する。
このように複数回露光を行うときの各露光時間を撮影条件に合わせて決定し、さらに何回露光するかも撮影条件に合わせて設定する。
同一被写体を複数回に分けて露光するとしても、各露光条件はなるべく適正露光(通常撮影における露光条件)に近い方が撮像部19での撮像によって被写体に関する正確な情報を得ることができる。
このため、暗い被写体の場合や、絞り13aが絞り込んでおり暗い場合や、撮像部19の感度が低く設定されている場合には、複数回の露光といえども各露光時間はなるべく長くして有効な露光条件にする。ただし、あまり露光時間を長くすると、手振れによる画像劣化の影響が像面に現れるため、各露光時間は上記の事情を考慮に入れて適宜設定する。
具体的には、上述したように撮影光学系の焦点距離が35mmフィルム換算で30mmであるときは像振れが生じないように約焦点距離分の1に等しい露光時間である1/32秒に設定することができる。
そして、各露光時間では足りない分を複数回の露光によって補うことで露出を補完するようにしている。
ここで、撮影光学系の焦点距離が上記の30mmよりも長い場合には、さらに露光時間を短くしないと手振れによる像劣化が生ずるので露光時間を短くするとともに、露光時間を短くした分だけ露光回数を増やして露出補完を行う。
このように複数回露光における各露光時間は、被写体が暗いほど、撮影レンズが暗いほど、撮像部19の感度が低いほど長くなり、撮影光学系の焦点距離が長いほど短くなる。また、露光回数は、被写体が暗いほど、撮影レンズが暗いほど、撮像素子19の感度が低いほど少なくなり、撮影光学系の焦点距離が長いほど多くなる。
ステップ♯1005では、上述した露光回数及び各露光時間の演算が終了した後で、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モードが設定されたことを表示するとともに、上記の演算によって得られた露光回数を表示して撮影者に知らせる。
ステップ♯1006では、防振モードでの静止画撮影を行う必要があるか否かについて判定し、防振モードでの静止画撮影を行う必要がある場合にはステップ♯1007に進み、必要がない場合にはステップ♯1029に進む。
この防振モードの判定は、具体的には以下のように行う。
撮影画面の主被写体領域における被写体(主被写体)が暗く(主被写体領域における被写体輝度が所定値以下)、周辺領域における被写体が暗い(周辺領域における被写体輝度が所定値以下)場合には、防振モードでの静止画撮影を行う必要があると判断する。主被写体が明るく(被写体輝度が所定値以上)、周辺領域の被写体が明るい(周辺領域における被写体輝度が所定値以上)場合には、防振モードでの静止画撮影を行う必要がないと判断する。
また、主被写体が暗く、周辺領域の被写体が明るい場合(例えば、逆光での撮影)において、照明光が主被写体に届く場合には防振モードでの静止画撮影を行う必要がないと判断し、照明光が主被写体に届かない場合には防振モードでの静止画撮影を行う必要があると判断する。
さらに、主被写体が明るく、周辺領域の被写体が暗い場合には、防振モードでの撮影を行う必要があると判断する。
ここで、照明光が主被写体に届くか否かの判断は、照明装置16aをプリ発光させて、このときの反射光の情報に基づいて判断することができる。また、ピント合わせのための鏡筒(撮影レンズ11)の繰り出し量から被写体距離を求め、この被写体距離と照明装置16aの発光量や絞り値の関係から照明光が主被写体に到達するか否かを判断することができる。
ステップ♯1007では、照明装置16aの反射光量や鏡筒の繰り出し量から求めた被写体距離が所定距離以下(例えば60cm以下)であるか否かを判定しており、所定距離以下の場合にはステップ♯1030に進み、所定距離以上の場合にはステップ♯1008に進む。
ここで、被写体距離が所定距離以下であるか否かを判定している理由を説明する。
上述したように特徴点の抽出は、主被写体領域以外の周辺領域内で行うようにしている。これは、被写体振れにより座標変換に誤差が生じ、背景がぶれるのを防止するためである。
しかし、主被写体がカメラから近距離の位置にある場合、撮影画面内には殆ど背景が写り込まないため、主被写体のみを座標変換の基準と考えてよく、また、近距離では主被写体の動きも敏感に画像劣化につながるため、主被写体を特徴点の抽出対象として選ぶ(防振ではなく被写体追尾)ほうが良好な画像が得られる。
このため、ステップ♯1007、♯1008、♯1030では、主被写体の距離に応じて特徴点の抽出領域を変えるようにしている。
ステップ♯1008では、周辺領域(例えば、図6の領域130)から特徴点を抽出し、この特徴点の動きベクトルの検出を静止画撮影(防振モードでの撮影)に先立って開始する。
ここで、防振モードでの静止画撮影を行う前に特徴点の抽出や動きベクトルの検出を行うのは、静止画撮影の際に実際に特徴点が抽出でき、且つ動きベクトルが求められるか否かを予め知っておくためであり、特徴点を抽出できなかったり、動きベクトルが求められなかったりしたときには、静止画撮影を行う前に予め対策を施すためである。
特徴点が抽出できない場合としては、例えば、背景が模様の無い壁のように特徴の無い場合や、極端な逆光条件又は被写体が激しく動いている場合がある。また、動きベクトルが求められない場合としては、特徴点のコントラストが極めて低いとき、又は複数の領域で求めた動きベクトルの方向が揃っていない場合等がある。
ステップ♯1009では、ステップ♯1008(ステップ♯1030)で特徴点が抽出できたか否かを判別するとともに、動きベクトルが検出できたか否かを判別する。ここで、特徴点が抽出でき、良好に動きベクトルが検出できた場合にはステップ♯1010に進む。また、特徴点が抽出できない場合や、動きベクトルを検出できない場合にはステップ♯1031に進む。
ステップ♯1010では、レリーズボタンの全押し操作によりsw2がオンになるまでステップ♯1001からステップ♯1010を循環して待機する。そして、sw2がオンになった時点でステップ♯1011に進む。
ステップ♯1011では、発音駆動部17bを介してスピーカ17aを駆動する(発音させる)ことにより、撮影者に静止画撮影が開始されたことを知らせる。この音は例えば、「ピッ」という電子音でもよいし、シャッタ12aの開き音でもよい。
ステップ♯1012では、1回目の露光を開始する。なお、ステップ♯1012から後述するステップ♯2002までは、短い露光時間での露光を複数回繰り返し、これによって得られた複数の画像を合成してみかけの露出を適正にする防振モードでの撮影動作である。
ここで、1回目の露光は、第1実施形態で説明した第1の画像127(図3(a))を得るために照明装置16aを発光させて行う。ただし、ステップ♯1006の判定において、主被写体が明るい場合には、照明装置16aを発光させずに露光を行う。また、ステップ♯1006の判定において、照明光が主被写体に届かない場合には、照明装置16aを発光させても、発光させなくてもよい。
ステップ♯2001では、1回目の露光が終了するまで露光を継続させて待機し、露光が完了するとステップ♯1016に進む。ここで、第1実施形態及び第2実施形態ではすべての露光が完了するまで露光を続行していたが、本実施形態では1回の露光が完了するごとに次のステップにフローが流れるようになっている。
ステップ♯1016、♯1017、♯1019は、特徴点抽出、座標計算、画像の座標変換、画像合成を行うステップであるが、1枚目の画像しか取り込んでいない場合(1回目の露光)では、この撮影画像から特徴点を抽出するだけである。このとき、ステップ♯1008(ステップ♯1030)で既に特定してある領域から特徴点を再抽出できることを確認しておく。
ステップ♯2002では、すべての画像について画像合成が終了するまでステップ♯1012からステップ♯2002を循環して待機し、すべての画像の画像合成が完了するとステップ♯1015に進む。
すなわち、まだ1回しか露光していない場合にはステップ♯1012に戻り、2回目の露光を開始する。2回目の露光は、照明装置16aを発光させないで行い、この露光が終了するとステップ♯2001からステップ♯1016に進む。
ステップ♯1016において、ステップ♯1007での判定結果より被写体距離が所定距離以上の場合には、変位検出部114が撮影画像の周辺領域(例えば図2の建物123a)の中から特徴的な像(特徴点)を抽出し、その像の座標を求める。このとき、ステップ♯1008(ステップ♯1030)で特定した領域から特徴点を再抽出できることを確認しておく。
この場合、ステップ♯1008、♯1009と異なり第1の画像と第2の画像をそれぞれ比較して明るさの異なる領域(照明光が被写体を照射した領域)以外の領域(照明光が被写体を照射していない領域)から特徴点を抽出し、この特徴点の座標を求めることができる。
また、被写体距離が所定距離以下の場合には、主被写体領域から特徴的な像(特徴点)を抽出し、この特徴点の座標を求める。
ステップ♯1017では、座標変換部115が第2の画像の座標変換を行う。ここで、1回目の露光によって得られた画像(照明光を用いた第1の画像)については、座標変換の際の基準画像とし、座標の変換は行わない。
ステップ♯1019では、第1の画像と座標変換された第2の画像の合成を行う。
画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
ここで、3回目以降の露光についても、上述したようにステップ♯1012〜ステップ♯1019までの処理を行う。3回目以降の露光については、照明装置16aを発光させないで行う。また、3回目以降の露光によって得られた画像については、上述したように先に生成された合成画像に対して座標変換を行うことになる。
ステップ♯2002では、すべての画像について座標変換が終了するまでステップ♯1012からステップ♯2002を循環して待機し、すべての画像の座標変換が完了するとステップ♯1015に進む。
ステップ♯1015では、発音駆動部17bを介してスピーカ17aを駆動する(発音させる)ことにより、撮影者に撮影が完了したことを知らせる。この音は、例えば「ピッピッ」という電子音でもよいし、シャッタ12aの閉じ音でもよい。
このように防振モードで静止画撮影を行う場合において、この動作を表す発音は1セット(1回目の露光開始および最終回目の露光完了のそれぞれ1回)であるため、撮影者に複数回露光の違和感を与えることはない。
すなわち、通常の静止画撮影(1回の露光で適正露出を得る撮影)を行う場合と防振モードの静止画撮影を行う場合とで、発音の回数が等しくなっており、撮影者に撮影時の違和感を与えるのを防止することができる。
ステップ♯1020では、合成画像のうち各画像が構図ぶれにより重ならなかった領域(図4の領域129)をカットし、元のフレームの大きさになるように合成画像を拡散補完する。
ステップ♯1021では、第1の画像補正部117aにより合成画像信号に対してガンマ補正や圧縮処理を行う。ステップ♯1022では、ステップ♯1021で得られた画像を、カメラに設けられた液晶表示部(表示部118)に表示する。
ステップ♯1023では、ステップ♯1021で得られた合成画像データを、例えば半導体メモリなどで構成され、カメラに対して着脱可能な記録媒体(記録部119)に記録する。ステップ♯1024では、スタートに戻る。
なお、ステップ♯1024の段階でまだsw1がオンになっているときは、そのままステップ♯1001、♯1002、♯1003、♯1004と再度フローを進めてゆく。また、ステップ♯1024の段階でsw2がオンになっているときには、スタートに戻らずステップ♯1024で待機する。
次に、ステップ♯1004で防振モードが設定されていない場合に流れるフローについて説明する。
ステップ♯1004において、防振モードがオフと判断したときには、ステップ♯1025に進む。
ステップ♯1025では、防振モードを設定しないと手振れによる画像劣化が生ずる撮影条件(防振撮影条件)であるか否かを判断する。
この撮影条件は上述したように被写体の明るさ、撮影レンズの明るさ、撮像感度、撮影光学系の焦点距離であり、被写体の明るさ、撮影レンズの明るさ、撮像感度に基づいて通常の静止画撮影における露光時間を求め、この露光時間と現在の撮影光学系の焦点距離では手振れによる画像劣化の可能性があるか否かをステップ♯1025で判断している。
そして、画像劣化の可能性があるときにはステップ♯1026に進み、そうでないときにはステップ♯1027に進む。
ステップ♯1026では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部(表示部118)に、防振モードに設定することを推奨する表示(防振必要表示)を行う。なお、音声により防振モードの設定を撮影者に促すようにしてもよい。
ステップ♯1027では、レリーズボタンが全押し操作され、sw2がオンになるまでステップ♯1001からステップ♯1027を循環して待機する。ステップ♯1028では、通常の静止画撮影が完了する迄待機し、この撮影完了とともにステップ♯1021に進む。
なお、ここでは省いているが、通常の静止画撮影の場合においても撮影開始と撮影完了の動作に合わせて撮影動作音をスピーカ17aから発している。すなわち、防振モードでの静止画撮影においても通常の静止画撮影においても同じ形式の撮影動作音を発している。この場合には、撮影開始音から撮影完了音迄の時間の違いにより長秒時露光か否かを撮影者が認識できる程度であり、複数回の露光を行っているか否かは撮影者には分からないようになっている。
このため、防振モードでの静止画撮影においても特別な撮影を行っているという認識を撮影者に与えることがなく、使いやすいカメラになっている。
ステップ♯1021では、第2の画像補正部117bにおいて通常の静止画撮影によって得られた画像信号に対してガンマ補正や圧縮処理を行う。ステップ♯1022では、ステップ♯1021で得られた画像を、カメラ背面などに配置された液晶表示部(表示部118)に表示する。
ステップ♯1023では、ステップ♯1021で得られた画像データを、例えば半導体メモリなどで構成され、カメラに対して着脱可能な記録媒体(記録部119)に記録する。ステップ♯1024では、スタートに戻る。
上述したフローで分かるように防振モードを設定していない場合においても手振れによる画像劣化が生ずる撮影条件(防振撮影条件)のときには、撮影者に防振モードの設定を促すことにより手振れによる画像劣化を未然に防ぐことができる。
また、防振モードが設定されている場合、上述したように複数回の露光における各露光時間は撮影光学系の焦点距離に応じて変更することでいかなる焦点距離においても好ましい画像(合成画像)を得ることができる。
次に、ステップ♯1006で防振モードの設定が不要と判断した場合に流れるフローについて説明する。
例えば、主被写体が暗く、周辺領域における被写体が明るい場合において、主被写体に照明光が届く場合には、主被写体は照明光で適正露出になり、周辺領域の被写体も明るいため、手振れの影響がでない短い露光時間で適正露出が得られる。また、主被写体及び周辺領域の被写体が明るい場合にも、短い露光時間で適正露出が得られる。
このため、上記の場合には予め防振モードが設定されているときであっても防振モードを使用しない方がよい。防振モードでの静止画撮影は、複数回の露光によって得られた複数の画像を合成して適性露出を得る方法であり、複数回の露光における合計の露光時間が長くなるため、短い露光時間で適正露出が得られる場合にまで防振モードを設定するのは好ましくないからである。
そこで、ステップ♯1006で防振モードの設定が不要と判断した場合には、ステップ♯1029に進み、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部(表示部118)に、防振モードの設定解除を促す表示(防振不要表示)を行う。なお、音声によって防振モードの設定解除を撮影者に知らせるようにしてもよい。
そして、ステップ♯1027に進むことにより、防振モードの設定を解除して通常の静止画撮影を行う撮影モードに切り替える。これにより、不要に防振モードでの静止画撮影を行わないようにしている。
ステップ♯1007では、上述したように被写体距離が所定距離以下(例えば60cm以下)であるか否かを判別しており、所定距離以下の場合にはステップ♯1030に進み、所定距離以上の場合にはステップ♯1008に進む。
ここでは、被写体距離が所定距離以下である場合について説明する。
主被写体が近距離に位置している場合には、撮影画面内に背景がほとんど写り込まないため、主被写体のみを座標変換の基準と考えてよく、また、近距離では主被写体の動きも敏感に画像劣化に影響を与えるため、主被写体を特徴点の抽出対象として選ぶ(防振ではなく被写体追尾)ほうが良好な画像が得られる。
したがって、上記の場合には、ステップ♯1007からステップ♯1030にフローが流れ、ステップ♯1030では、主被写体領域(例えば、図6におけるフォーカシングエリア131cを中心とする主被写体領域132)から特徴点を抽出し、この特徴点の動きベクトルの検出を静止画撮影に先立って行う。例えば、人物122aの輪郭のエッジなどを特徴点として抽出する。
ここで、静止画撮影を行う前に特徴点の抽出と動きベクトルの検出を行うのは、静止画撮影の際に実際に特徴点が抽出でき、且つ動きベクトルが求められるか否かを予め知っておくためであり、精度良く動きベクトルが求められないときには静止画撮影の前に予め対策を施すためである。
ステップ♯1009では、ステップ♯1030で特徴点が抽出できたか否かを判別するとともに、動きベクトルが検出できたか否かを判別する。ここで、特徴点を抽出でき、精度良く動きベクトルが検出できた場合にはステップ♯1010に進む。また、特徴点を抽出できない場合や、動きベクトルを検出できない場合にはステップ♯1031に進む。
ここでは、特徴点の抽出又は動きベクトルの検出が良好にできなかった場合について説明する。
この場合には、防振モードでの静止画撮影を行った際の実際の撮影画像から特徴点を抽出し、動きベクトルを求めてもその信頼性が低いために、画像合成によって得られた静止画像はぶれた画像になってしまう恐れがある。
そこで、特徴点の抽出又は動きベクトルの検出ができない場合には、ステップ♯1009からステップ♯1031にフローが流れ、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部(表示部118)に、防振モードでの静止画撮影では良好な画像(概ね像振れのない画像)が得られないことを表示(防振不安定表示)する。なお、音声により防振不安定表示に関する情報を撮影者に知らせるようにしてもよい。
そして、ステップ♯1031からステップ♯1027にフローが流れることにより、防振モードから通常の静止画撮影を行う通常撮影モードに切り替える。
ここで、通常撮影モードに変更される場合には、1回の撮影で適正露出を得る必要があるため、露光時間を複数回露光の各露光時間よりも長く設定する。
なお、撮影者は防振モードを設定したうえで撮影に臨む場合もあるため、通常撮影モードに変更しても露光時間が長くなる場合には、露光時間を制限(短く)して照明光を照射させるようにしてもよい。
本実施形態では、上述したフローのように防振モードでの静止画撮影によっては不安定な画像が得られる場合には、防振モードから通常撮影モードに自動的に切り替わる構成になっているため、撮影者にとって扱いやすいカメラとすることができる。
なお、上述した実施形態では、撮影レンズ11を備えたカメラについて説明したが、撮影レンズを備えたレンズ装置と、このレンズ装置が着脱可能に装着されるカメラ本体からなるカメラシステムについても本発明を適用することができる。
また、上述した実施形態のカメラでは、照明装置16aを内蔵したカメラについて説明したが、カメラに着脱可能に装着され、装着時にカメラと通信可能な照明装置を用いることもできる。