JP4378237B2 - 撮影装置 - Google Patents

Description

本発明は、手振れを補正することで撮影画像の精度を向上させる撮影装置に関するものである。

現在のカメラは露出決定やピント合わせ等の撮影にとって重要な作業は全て自動化され、カメラ操作に未熟な人でも撮影失敗を起こす可能性は非常に少なくなっている。

また、最近では、カメラに加わる手振れを防ぐシステムも研究されており、撮影者の撮影ミスを誘発する要因は殆ど無くなってきている。

ここで、手振れを防ぐ防振システムについて簡単に説明する。

撮影時のカメラの手振れは、周波数として通常１Ｈｚないし１０Ｈｚの振動であるが、露光時点においてこのような手振れを起こしていても像振れの無い写真を撮影可能とするための基本的な考えとして、手振れによるカメラの振動を検出し、この検出結果に応じて補正レンズを光軸直交面内で変位させなければならない（光学防振システム）。

すなわち、カメラ振れが生じても像振れが生じない写真を撮影するためには、第１にカメラの振動を正確に検出し、第２に手振れによる光軸変化を補正することが必要となる。

像振れの補正は、原理的には、レーザージャイロ等により加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理する振動検出部をカメラに搭載することによって行うことができる。そして、振動検出部からのカメラ振れの検出情報に基づき撮影光軸を偏心させる補正光学装置を駆動することにより像振れ補正が行われる。

一方、手振れが生じない程度の露光時間で複数回撮影をくり返し、これらの撮影により得られた画像に対して画像のズレを修正しながら合成して長い露光時間の撮影画像（合成画像）を得る方法がある（例えば、特許文献１、特許文献２）。
特許第３１１０７９７号公報 特開２０００−２２４４７０号公報

ここで、特許文献２で開示されている撮影方法では、複数回の撮影における１枚１枚の撮影時間は手振れによる像振れの影響を少なくする為、手振れ限界撮像時間か又はそれより短い撮像時間で撮影するようにしている。

ここで、手振れ限界撮像時間について説明する。例えば、１３５サイズ銀塩フィルムを用いたカメラでは、手振れ限界撮像時間に相当する手振れ限界シャッタ速度として、撮影光学系の焦点距離ｆの逆数である１/ｆの値を用いている。例えば、焦点距離が１００ｍｍの場合、手振れ限界シャッタ速度は１/１００秒となる。デジタルカメラの場合も同様であり、撮像素子のサイズに応じて撮影光学系の焦点距離ｆに補正係数ｋを掛けたものの逆数である１/ｋ・ｆの値を手振れ限界撮像時間としている。例えば、フルサイズの撮像素子の場合、ｋ＝１となり焦点距離が１００ｍｍの場合、手振れ限界撮像時間は１/１００秒となる。手振れ限界シャッタ速度又は、手振れ限界撮像時間は、人間の目の分解能から逆算されるものである。すなわち、所定サイズに引き伸ばされたプリント上又はモニタ画面上に再生された画像の像振れ量が人間の目の分解能以下である場合、像振れを認識することが出来ないので、その画像では手振れが生じていないことになる。

しかしながら、複数回の撮影における１枚１枚の撮影時間を手振れ限界撮像時間に一律に決めてしまう場合、例えば、焦点距離が２００ｍｍでシャッタ速度１/１５秒で撮影したい場合、手振れ限界積分時間は前述の補正係数がｋ＝１のとして、１/２００秒となるので１３枚も撮影する必要が生じてくる。このような一律の決め方は焦点距離が長い程かつシャッタ速度が遅い程より多くの撮影枚数となってしまう。撮影枚数が多くなると、それだけシーケンスが多くなり撮影間の処理時間（例えば画像データの転送時間やデータ保存時間等）の増加、撮影画像の記憶容量の増加、電力の増加等さまざまな条件に対して負荷を大きくしてしまう問題が生じてくる。この問題を解決する方法の一つとして、複数回の撮影における１枚１枚の撮影時間を手振れ限界撮像時間に一律に決めてしまうのではなく、装置に加わる振れ量に応じて手振れ限界撮像時間を最適化することが考えられる。これにより撮影条件によっては撮影枚数を減らすことが可能となる。

本発明の目的は、手振れが生じない程度の露光時間で複数回撮影をくり返し、この複数の撮影により得られた画像に対してズレを修正しながら合成して長い露光時間の撮影画像（合成画像）を得る撮影装置において、その時の撮影条件（装置に加わる振れ量）に応じて撮影枚数を少なくする方向で最適化し、処理時間や画像記憶容量や電力に対し負担を少なくすることが可能な撮影装置を提供することに有る。

上記の目的を達成する為に、本発明は、１回の撮影動作で撮影された複数の画像を記憶する画像記憶部と、
前記記憶された複数の画像のズレを検出するズレ検出部と、
前記複数の画像の１つを基準として前記ズレを含む画像の座標を変換する座標変換部と、
前記基準とする画像、及び前記座標を変換された画像とを合成する画像合成部と、を有する撮影装置において、
前記撮影装置に加わる振動を検出する振動検出部と、
前記１回の撮影動作における各画像の撮影の度に、撮影直前の前記振動検出部の検出結果に基づいて露光時間を決定し、前記決定の後前記露光時間の撮影を行い、前記露光時間の合計が所望の露光時間を越えるまで複数の画像を撮影するように制御する撮影制御部と、を有することを特徴とする。

以上説明したように、請求項１〜３記載の本発明によれば、手振れが生じない程度の露光時間で複数回撮影をくり返し、この複数の撮影により得られた画像に対してズレを修正しながら合成して長い露光時間の撮影画像（合成画像）を得る撮影装置において、装置に加わる振れ量に応じて撮影枚数を少なくする方向で最適化し、処理時間や画像記憶容量や電力等に対し負担を少なくすることが可能な撮影装置を提供できるものである。

（参考実施形態）
図１は、参考実施形態であるカメラ（撮影装置）の構成を示した図である。撮影レンズ１１から入射した光束（撮影光）は、絞り１３ａで光量制限された後に、シャッタ１２ａを通り撮像部１９に結像する。撮像部１９は、ＭＯＳやＣＣＤなどの半導体撮像素子からなる。

撮影レンズ１１は複数の光学レンズ群により構成され、これらのレンズ群のうち一部又は全部がＡＦ駆動モータ１４ａからの駆動力を受けて光軸１０上を移動し、所定の合焦位置に停止することで焦点調節を行う。ＡＦ駆動モータ１４ａは焦点駆動部１４ｂからの駆動信号を受けることで駆動する。

また、撮影レンズ１１のうち一部の光学レンズ群は、ズーム駆動モータ１５ａからの駆動力を受けて光軸１０上を移動し、所定のズーム位置に停止することで撮影画角を変更する。ズーム駆動モータ１５ａは、ズーム駆動部１５ｂからの駆動信号を受けることで駆動する。

絞り１３ａは、複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動部１３ｂからの駆動力を受けることで作動して光通過口となる開口面積（絞り口径）を変化させる。シャッタ１２ａは、複数のシャッタ羽根を有しており、これらのシャッタ羽根は、シャッタ駆動部１２ａからの駆動力を受けることで光通過口となる開口部を開閉する。これにより、撮像部１９に入射する光束を制御する。

また、撮影時の条件（被写体輝度等）などに応じてストロボ１６ａは閃光駆動部１６ｂからの駆動信号を受けて駆動（発光）する。

さらに、撮影動作を撮影者に知らせるためにスピーカー１７ａが発音駆動部１７ｂからの駆動信号を受けて駆動（発音）する。

焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、閃光駆動部１６ｂ、発音駆動部１７ｂの駆動は、撮影制御部１８により制御されている。

撮影制御部１８には、レリーズ操作部１２ｃ、絞り操作部１３ｃ、ズーム操作部１５ｃ、閃光操作部１６ｃ、後述する防振操作部１２０からの操作信号が入力されるようになっており、カメラの撮影状態に合わせて上記各信号を各々焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、閃光駆動部１６ｂに与えて撮影条件を設定し、撮影を行うようにしている。

さらに撮影制御部１８には、振動検出部３１の出力信号も入力されるようになっており、振動検出部出力信号に応じて撮影条件を変更するようになっている。

振動検出部３１は、光学防振に用いられる振動ジャイロなどの高精度センサを用いることが理想的ではあるが、手振れの大きさが大雑把に分かれば良いので、やや精度の落ちるセンサでも良い。加速度センサや光学センサ（ＡＦセンサ）等のセンサでも構わない。

なお、絞り１３ａの開口径やストロボ１６ａの発光は、通常は撮影時にカメラ側で自動的に設定するために、絞り操作部１３ｃおよび閃光駆動部１６ｂは不要であるが、撮影者が任意に撮影条件を設定する時のために設けられている。

撮影制御部１８は、後述する信号処理部１１１に取り込まれた画像信号に基づいて被写体輝度の測定（測光）を行い、この測光結果に基づいて絞り１３ａの絞り口径とシャッタ１２ａの閉じタイミング（露光時間）を定めている。また、撮影制御部１８は、焦点駆動部１４ｂを駆動させながら、信号処理部１１１からの出力に基づいて撮影レンズ１１の合焦位置を求めている。

撮像部１９から出力される映像信号は、Ａ／Ｄ変換部１１０によりディジタル信号に変換されて信号処理部１１１に入力される。信号処理回路１１１は、入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー映像信号を形成する。

そして、信号処理回路１１１で信号処理された映像信号は、信号切替部１１２を介して画像補正部１１７に入力される。

画像補正部１１７では、入力された信号のガンマ補正や圧縮処理を行う。

画像補正部１１７の信号は、表示部１１８と記録部１１９に入力され、撮影された画像が表示部１１８に表示されるとともに記録部１１９に記録される。

以上説明した動作において、撮影被写体が暗く、露光秒時が長くなる場合には手振れの恐れが有るので、撮影者は防振操作部１２０を操作して防振システムをオンにし、以下の動作に切り替える。

まず、撮影者がレリーズ操作部１２ｃのレリーズボタンを半押しすると、撮影準備動作（焦点調節動作や測光動作等）が開始される。測光動作により得られた測光値に基づいてシャッタ１２ａの閉じタイミング（露光時間）と絞り１３ａの絞り口径を設定するが、一般的に防振システムを使用するような撮影条件では被写体が暗いので絞りは全開、露光時間は長秒時露光になっている。

そこで、この露光時間を複数の短い露光時間に分割し、この分割した数だけ撮影を繰り返す。このように短い露光時間に分割すると、露光により得られる１枚１枚の画像は露出不足になるが、これらの画像には手振れの影響が少ない画像となる。

そして、複数の画像を撮影終了後に合成して１枚の画像にすることで露出を改善する。

しかし、複数の画像を撮影するとき、複数の撮影により得られた各画像においては手振れの影響が生じていなくても、連続撮影中の手振れにより各画像間における構図は微妙にズレている場合がある。ここで、これらの画像をこのまま合成すると、合成された画像は各画像における構図がズレ分だけぶれた画像になってしまう。

本実施形態において、連続撮影に応じて撮像部１９から撮影ごとに複数出力される画像信号は、Ａ／Ｄ変換部１１０でディジタル信号に変換されてから信号処理部１１１にて信号処理が施される。

一方、防振操作部１２０を操作して防振システムをオンにすることを撮影制御部１８に伝えた場合には、信号処理部１１１からの画像データは信号切替部１１２を介して画像記憶部１１３に入力される。すなわち、画像補正部１１７への入力は絶たれる。

画像記憶部１１３は、撮影された複数の画像すべてを記憶しておく。

ズレ検出部１１４は、画像記憶部１１３に記憶された画像内における特徴点を抽出し、この特徴点の撮影画面内における位置座標を割り出す。

例えば、図２に示すようにフレーム１２１ａにおいて人物１２２ａが建物１２３ａを背景にして立っている写真を撮影する場合を考える。このとき、複数枚撮影するとフレーム１２１ｂのように手振れによりフレーム１２１ａに対して構図がずれた画像が撮影されることがある。

ズレ検出部１１４は、画面の周辺に位置する建物１２３ａのうち輝度の高い点である窓１２４ａのエッジ１２５ａをエッジ検出により特徴点として取り出し、この特徴点１２５ａと、フレーム１２１ｂにおける特徴点１２５ｂと比較し、この差分を補正（座標変換）する。

図２では、フレーム１２１ｂの特徴点１２５ｂを矢印１２６のようにフレーム１２１ａの特徴点１２５ａに重ねるようにして、フレーム１２１ｂを座標変換する。

ここで、特徴点として撮影画面の周辺を選択する理由を以下に説明する。

多くの撮影の場合では、画面中央近傍に主被写体が位置し、且つ主被写体は人物である場合が多い。このようなとき、主被写体を特徴点として選ぶと被写体振れによる不都合が出てくる。

すなわち、複数枚の撮影を行っているときに撮影者の手振ればかりでなく、被写体振れも重畳してくるので被写体振れに基づいて画像の座標変換をしてしまう。

この場合、主被写体の構図が適正になるように座標変換するので好ましい画像ができるように思われるが、一般的には人物の動きは複雑であり、特徴点を選ぶ場所によってズレ検出精度が大きく左右される。

例えば、主被写体（人物）の眼を特徴点として選んだ場合は瞬きの影響が出るし、手の先を特徴点として選択した場合には手は動きやすいので実際の被写体全体の振れとは異なってしまう。

このように人物の１点を特徴点として画像の座標変換を行っても、その人物のすべてが適正に座標変換される訳ではないし、複数の画像を座標変換して合成する場合においても、各画像ごとに座標の位置がばらつき、好ましい画像は得られない。

そこで、本実施形態のように背景のような静止被写体を特徴点として選択して、画像の座標変換を行ったほうが好ましい画像が得られる。この場合には、上述した被写体振れの影響が出てくる。

そこで、本実施形態においては、複数回に分けた撮影コマの１枚にだけストロボ１６ａの光を被写体に照射するようにしている。

ここで、ストロボ１６ａを使用して撮影した画像を第１の画像、ストロボ１６ａを使用しないで撮影した複数の画像を第２の画像群とする。

このとき、第１の画像と第２の画像群の間には、前述した構図ズレ以外にも以下の違いが有る。

それは、第１の画像において閃光の届いた被写体領域の明るさは、第２の画像群のうち各画像における同じ領域の明るさとは異なるということである。

そして、第１の画像において閃光の届いた被写体に対しては十分な露出が得られ、届かない背景は露出が不足することになる。これは、一般的に人物などの主被写体は、カメラの近くに位置しているために閃光が届き、背景はカメラから遠いために閃光が届かないからである。

そして、露出の不足している背景に対しては、第２の画像群を構図ズレを修正しながら合成することで補う。

図３は、ズレ検出部１１による特徴点の抽出領域の選択方法を示したものである。ストロボ１６ａを使用した第１の画像１２７（図３（ａ））と、ストロボ１６ａを使用しない第２の画像群（図３（ｂ）に例として１つの画像１２８を示す）とを比較すると、人物１２２ａに関して第１の画像１２７ではストロボ光が届き、第２の画像１２８では人物にストロボ光が照射されていないため人物が暗くなっている。

これに対して、ストロボ光の届かない背景では、建物の特徴点１２３ａの明るさの変化は、第１の画像１２７および第２の画像１２８間で変化が無い。

このように明るさの変化の無い背景領域は、ストロボ光が届かずに露出が不足するので、この領域を画像合成のポイントと考えて、この部分を特徴点の抽出領域にして構図ズレを補正する。

図３においては、上記のように第１の画像１２７と第２の画像１２８で明るさの変化が無い画面周辺の建物１２３ａの中において、輝度の高い点である窓のエッジ１２５ａをエッジ検出により特徴点として取り出す。

そして、図２で説明したのと同様に第１の画像１２７における特徴点１２５ａと、第２の画像１２８における特徴点１２５ｂと比較し、その差分を補正（座標変換）する。すなわち、座標変換部１１５は、第２の画像１２８の特徴点１２５ｂを第１の画像１２７の特徴点１２５ａに重ねるように第２の画像１２８を座標変換する。

そして、第２の画像群の中で２枚目以降の画像についても各々特徴点１２５ｂの座標を求め、その座標が第１の画像１２７で定めた特徴点１２５ａの座標と重なるように座標変換部１１５は各画像（第２の画像群）を座標変換してゆく。

ここでは、説明のために各画像ごとの特徴点座標を求めているが、実際には第１の画像１２７と第２の画像群のうち１枚目の画像１２８を相関演算し、各々対応する画素の変化をズレ検出部１１４が動きベクトルとして求め、特徴点の変化としている。

そして、第２の画像群の２枚目に対しても画像１２７との相関演算で特徴点の変化を求め、以下同様にして各画像の特徴点の変化を求めてゆく。

なお、特徴点は１箇所だけ選択するのではなく、複数のポイントを選択しておき、これらのポイントの動きベクトルの平均値、又はスカラーの最小値を特徴点の変化としてもよい。

ここで、特徴点の変化として上記最小値を利用するのは、画面周辺で選択された特徴点もそれ自身が移動する可能性があるため、もっとも移動しない特徴点を選ぶためである。

座標変換部１１５で座標変換された各画像は、画像合成部１１６に出力されて各画像が１枚の画像に合成される。

以上のように本発明ではストロボ１６ａを用いた第１の画像１２７を基準（中心）にして、その画像に重なるように第２の画像群１２８の各画像を座標変換している。

ここで、第１の画像１２７を基準にする理由を説明する。

図２のように構図のズレた２枚の写真を合成する場合、図４に示すように２枚の画像が重ならない領域１２９が生ずる。そこで、画像合成部１１６は、領域１２９をカットして、２枚の画像が重なった領域のみについて拡散補完処理を行い、もとのフレームの大きさにする。

このため、第２の画像群の各画像は構図ズレの向きや大きさに応じて画面の周辺が削られてしまう。

第１の画像１２７と第２の画像群１２８の中でもっとも画像情報が良好なのは、ストロボ１６ａを使用した第１の画像１２７である。

そこで、第１の画像１２７の周辺を削らないようにするために、第１の画像１２７を基準にしてその基準に対して第２の画像群１２８の各画像を重ねてゆくのが好ましい。

ディジタル画像の場合には、１枚の露出不足の写真でもゲインアップすることで露出の補正が可能であるが、ゲインを高くするとノイズも多くなり見苦しい画像になってしまう。

しかし、本実施形態のように多くの画像を合成することで画像全体のゲインをアップさせる場合には、各画像のノイズが平均化されるためにＳ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。

別の考え方をすれば、例えばノイズを許容して撮像部１９を高感度にして複数枚撮影し、これらを加算平均することで画像に含まれるランダムノイズを減少させているとも云える。

合成された画像データは、画像補正部１１７に入力されてガンマ補正や圧縮処理が行われ、その後表示部１１８に撮影画像として表示されるとともに記録部１１９に記録される。

図５は、本実施形態のカメラの撮影動作をまとめたフローチャートであり、このフローはカメラの電源がオンになったときにスタートする。

ステップ♯１００１では、撮影者がレリーズボタンの半押し操作によりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップ♯１００２に進む。

ステップ♯１００２では、撮像部１９において撮像が行われる。撮影制御部１８は、信号処理部１１１からの出力に基づいて画像のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。

そして、もっともコントラストが高かった時点で撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（山登り方式によるＡＦ）。なお、位相差検出により焦点調節を行うこともできる。

また、撮影制御部１８は、同時に撮像部１９の出力に基づいて被写体の明るさを求める。

ステップ♯１００３では、撮影者が防振操作部１２０をオンにしているか否かを判別し、オンにしているときはステップ♯１００４に進み、オフの時はステップ♯１０１９に進む。

先ず始めに防振操作部１２０をオンにしている場合に流れるフローについて説明する。

ステップ♯１００４では、ステップ♯１００２で求めた被写体の明るさ等の撮影条件から撮影する枚数と各々の露光時間を求める。

ここで云う撮影条件とは、
・被写体の明るさ
・撮影光学系の焦点距離
・撮影光学系の明るさ（絞りの値）
・撮像素子の感度
・装置に加わる振れ量
の５点である。

例えば、撮像部１９の感度がＩＳＯ２００に設定されていたとする。

被写体の明るさを測定（測光）し、この測光結果に基づいて適正に露光するためには、絞り１３ａを全開（例えばｆ２．８）にするとともにシャッタ１２ａの閉じタイミング、すなわち露光時間を１／８秒にする必要があるとする。

ここで、この条件における複数枚撮影での露光時間と露光枚数の決定方法について図６のフローチャートを基に説明する。

まず、ステップ＃６０１では、装置に加わる振れ量を振動検出部３１の出力信号によりモニタし、振れ量を参照する。ここでは出力信号そのもので判定するようにしているが、所定時間の出力信号の変化量で判定するようにしても構わない。

ステップ＃６０２では、この振れ量が所定の比較値より大きいかどうかを判定する。この所定の比較値は手振れの大きさを判別する為のしきい値である。比較値より大きい場合には手振れが大きいと判断して、ステップ＃６０３へ進み、比較値以下である場合には手振れは小さいと判断してステップ＃６０４へ進む。

ステップ＃６０３では手振れが大きいと判断されたので、手振れ限界撮像時間は１／焦点距離を基準として露光時間と露光枚数を決定する。例えば、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では、手振れが生じないように露光時間を１／３２秒に設定して４回撮影を行うように設定する。また、例えば撮影焦点距離が３００ｍｍであるときには、手振れが生じないように露光時間を１／３２０秒に設定して４０回撮影を行うように設定する。この設定方法は従来からの方法であり、焦点距離をｆ(mm)、設定したシャッタ速度をＴｖ(sec)とすると、
複数枚撮影における１枚あたりの露光時間Ｙ＝１/ｆ(sec)
複数枚撮影における露光枚数Ｘ≒Ｔｖ・ｆ （枚）
で与えられる。

一方で、ステップ＃６０４では手振れが小さいと判断されたので、手振れ限界撮像時間は必ずしも１／焦点距離である必要は無く、やや長い時間としても像振れは許容できると考えられる。そこで、例えば手振れ限界撮像時間は２／焦点距離を基準とする。例えば、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では、露光時間をステップ＃１０３での値の倍の２／３２＝１／１６秒に設定して４／２＝２回撮影を行うように設定する。また、例えば撮影焦点距離が３００ｍｍであるときには、同様に露光時間を２／３２０＝１／１６０秒に設定して４０/２＝２０回撮影を行うように設定する。この場合、焦点距離をｆ’(mm)、設定したシャッタ速度を
Ｔｖ’(sec)とすると、
複数枚撮影における１枚あたりの露光時間Ｙ’＝２/ｆ’(sec)
複数枚撮影における露光枚数Ｘ’≒（Ｔｖ・ｆ）/２ （枚）
で与えられる。このように、複数枚撮影を行う時の露光時間と露光枚数を装置に加わる振れ量に応じて最適な値に決定する。尚、本実施の形態では振れが小さいと判断した場合には、手振れ限界撮像時間は２／焦点距離としているが、像振れを許容できる範囲において１／焦点距離より長い時間であれば必ずしも２／焦点距離である必要は無い。更に、本実施の形態ではしきい値一つで２条件に変更するようにしているが、複数のしきい値で更に多くの複数の条件に変更するようにしても良い。

同一被写体を複数枚に分けて撮影するとしても、各撮影の露光条件はなるべく適正露光に近い方が撮像部１９において正確な情報が撮像できる。

このため、暗い被写体の場合や、撮影レンズが絞り込んでおり暗い場合、撮像部１９の感度が低く設定されている場合には、複数撮影といえども各撮影の露光時間はなるべく長くして有効な露光条件にする。

但し、あまり露光時間を長くすると、手振れによる画像劣化の影響が像面に表れるため、上述したように撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは手振れが生じないように約焦点距離分の一に等しい露光時間である１／３２秒に設定している。

そして、その露光時間では足りない分を撮影枚数で補完している。

焦点距離が長い場合には、さらに露光時間を短くしないと手ぶれによる像劣化が生ずるのでさらに露光時間を短くして、その分撮影枚数を増やして露出補完を行う。

このように複数枚撮影における露光時間は、撮影被写体が暗いほど、また撮影レンズが暗いほど長くなり、また撮像部１８の感度が低いほど長くなり、レンズの焦点距離が長いほど短くなる。さらに装置に加わる振れ量が所定値より小さい場合は大きい場合に比べて長くなる。

そして、複数枚撮影における撮影枚数は、撮影被写体が暗いほど、また撮影レンズが暗いほど多くなり、撮像素子の感度が低いほど多くなり、レンズの焦点距離が長いほど多くなる。さらに装置に加わる振れ量が所定値より小さい場合は大きい場合に比べて少なくなる。

以上の計算が終了した後で、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モード（複数回撮影モード）が設定されたことを表示すると同時に、求めた撮影枚数を表示して撮影者に知らせる。

ステップ♯１００５では、レリーズボタンの全押し操作によりｓｗ２がオンになるまでステップ♯１００１からステップ♯１００５を循環して待機する。

ステップ♯１００６では、１枚目の撮影を開始する。

また、この時同時に撮影開始の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。

この音は例えば、「ピッ」と云う電子音でもよいし、フィルムカメラなどにおけるシャッタの開き音、ミラーアップの音でもよい。

なお、ステップ♯１００６から後述するステップ♯１０１４までは短い露光時間の撮影を複数回繰り返し、複数の撮影により得られた画像を合成してみかけの露出を適正にする合成撮影モードの動作である。

ここで、このステップに記載されているように始めの１枚目の撮影は、上述した第１の画像１２７（図３ａ）を得るためにストロボ１６ａを発光させて撮影する。

ステップ♯１００７では、撮影した画像を一旦画像記憶部１１３に記憶しておく。

ステップ♯１００８では、すべての撮影が完了するまでステップ♯１００６、♯１００７を循環して待機する。このとき、２枚目以降の撮影は第２の画像群を得るためにストロボ１６ａを使用しないで撮影する。

そして、撮影が完了するとステップ♯１００９に進む。

ステップ♯１００９では、撮影完了の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。

この音は、例えば「ピッピッ」と云う電子音でもよいし、フィルムカメラなどにおけるシャッタの閉じ音、ミラーダウン音やフィルム巻き上げ音でもよい。

このように複数枚撮影する場合において、その動作を表す発音は１セット（最初の撮影の露光開始および最後の撮影の露光完了のそれぞれ１回）なので撮影者に複数枚撮影の違和感を与えることはない。

すなわち、通常の撮影（１回の露光）を行う場合と複数枚撮影を行う場合とで、発音の回数が等しくなっており、撮影者に撮影時の違和感を与えるのを防止することができる。

ステップ♯１０１０では、ズレ検出部１１４が画像の周辺領域（例えば図１ｂの建物１２３ａ）の中から特徴的な像（特徴点）を抽出し、その像の座標を求める。

これは前述したように第１の画像と第２の画像群の各画像とをそれぞれ比較して明るさの異なる領域（即ちストロボ１６ａの閃光が十分被写体を照射した領域）以外の領域（即ち閃光部の閃光が被写体を十分照射していない領域）から特徴点を抽出しその座標を求めることである。

ステップ♯１０１１では、座標変換部１１５が各画像の座標変換を行う。ここで、最初の１枚の画像（ストロボ１６ａを用いた第１の画像）のみ座標の変換は行わない。すなわち、この第１の画像を座標変換の際の基準とする。

ステップ♯１０１２では、第２の画像のうちすべての画像について座標変換が終了するまでステップ♯１０１０、１０１１を循環して待機し、すべての画像の座標変換が完了するとステップ♯１０１３に進む。

ステップ♯１０１３では、第１の画像と座標変換された第２の画像群の各画像との合成を行う。

ここで、画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。

ステップ♯１０１４では、合成された画像のうち各画像が構図ブレにより重ならなかった領域（図４の領域１２９）をカットし、元のフレームの大きさになるように画像を拡散補完する。

ステップ♯１０１５では、合成画像信号に対してガンマ補正や圧縮処理を行う。

ステップ♯１０１６では、ステップ♯１０１５で得られた画像を、カメラの背面などに配置された液晶表示部（表示部１１８）に表示する。

ステップ♯１０１７では、ステップ♯１０１５で求まった画像データを、例えば半導体メモリなどで構成されカメラに対して着脱可能な記録媒体（記録部１１９）に記録する。

ステップ♯１０１８では、スタートに戻る。

なお、ステップ♯１０１８の段階でまだ継続してレリーズボタンが半押し操作されｓｗ１がオンになっているときは、そのままステップ♯１００１、♯１００２、♯１００３、♯１００４と再度フローを進めてゆく。

また、ステップ♯１０１８の段階でレリーズボタンが全押し操作されｓｗ２がオンになっているときには、スタートに戻らずステップ♯１０１８で待機する。

次に、ステップ♯１００３で防振操作部１２０がオフの場合のときに流れるフローについて説明する。

ステップ♯１００３において、防振操作部１２０がオフと判断されたときには、ステップ♯１０１９に進む。

ステップ♯１０１９では、防振システムを使用しないと手振れによる画像劣化が生ずる撮影条件であるか否かを判断する。

撮影条件は前述したように被写体の明るさ、レンズの明るさ、撮像感度、撮影焦点距離であり、被写体の明るさ、レンズの明るさ、撮像感度に基づいて露光時間を求め、その露光時間が現状の撮影焦点距離においては手振れによる画像劣化の可能性があるか否かをステップ♯１０１９で判断している。

そして、画像劣化の可能性がある時にはステップ♯１０２０に進み、そうでない時はステップ♯１０２１に進む。

ステップ♯１０２０では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部（表示部１１８）に、防振モードに設定することを推奨する表示を行う。

ステップ♯１０２１では、レリーズボタンが全押し操作され、ｓｗ２がオンになるまでステップ♯１００１からステップ♯１０２１を循環して待機する。

ステップ♯１０２２では、通常の撮影（一回の露光で有効な露光条件を形成する通常撮影モード）が完了する迄待機し、露光完了と共にステップ♯１０１５に進む。

ここでは省いているが、通常撮影の場合においても撮影開始から完了の動作に合わせて撮影動作音をスピーカー１７ａより発音している。

すなわち、合成撮影モード（複数枚の撮影の合成）においても通常撮影モードにおいても同じ様式の撮影動作音を発音している。この場合には、スピーカー１７ａの動作音の長さ（撮影開始音から撮影完了音迄の長さ）の違いにより長秒時露光か否かを撮影者が認識できる程度であり、複数枚の撮影を行っているか否かは撮影者には分からないようになっている。

このため、合成撮影モードにおいても特別な撮影を行っているという認識を撮影者に与えることがなく、使いやすいカメラになっている。

ステップ♯１０１５では、合成画像信号に対してガンマ補正や圧縮処理を行う。

ステップ♯１０１６では、ステップ♯１０１５で得られた画像を、カメラ背面などに配置された液晶表示部（表示部１１８）に表示する。

ステップ♯１０１７では、ステップ♯１０１５で得られた画像データを、例えば半導体メモリなどで構成されるカメラに対して着脱可能な記録媒体（記録部１１９）に記録する。

ステップ♯１０１８では、スタートに戻る。

このフローで分かるように防振操作部１２０をオフしている場合においても手振れによる画像劣化が生ずる撮影条件の時には、撮影者に防振システムの活用（合成撮影モード）を促す表示を行って画像劣化を未然に防いでいる。

そして合成撮影モードにおいても各々の露光時間は焦点距離に応じて変更することでいかなる焦点距離においても望ましい撮影ができる。

以上説明したように、複数枚撮影を行う時の露光時間と露光枚数を撮影１枚目の直前の装置に加わる振れ量に応じて最適な値に決定することで振れ量が小さい時には撮影枚数を減らすことが可能となる。従って、撮影時の画像処理時間、撮影画像の記憶容量、電力といったさまざまな条件に対して与える負荷を減少させることが出来る。

（第１実施形態）
参考実施形態においては、撮影１枚目の直前の振れ量に応じて露光時間と露光枚数を変更するようにしていたが、本実施形態では露光動作に入った後もリアルタイムで振れ量をモニタし、複数枚撮影の各撮影の直前の振れ量に応じてその都度露光時間を変更し、最終的に所望の撮影時間になるまで撮影を行うようにしている。この為、露光動作に入った後に装置に加わる振れの状態が変化した場合でも最適な露光時間と露光枚数とすることが出来る。

本実施の形態であるカメラの構成図は図１と同じである。

図７は、本実施の形態におけるカメラの撮影動作をまとめたフローチャートであり、このフローはカメラの電源がオンになったときスタートする。ここで図７においてステップ＃１００１〜ステップ＃１００３及びステップ＃１００９〜ステップ＃１０２２は図１のステップの説明と全く同じである為、説明を省略し、本実施の形態におけるステップ＃２００１〜ステップ＃２００９まで（図１のステップ＃１００４〜ステップ＃１００８までがステップ＃２００１〜ステップ＃２００９に入れ替わる）を説明する。

ステップ♯１００３では、撮影者が防振操作部１２０をオンにしているか否かを判別し、オンにしているときはステップ♯２００１に進み、オフの時はステップ♯１０１９に進む。

ここでは防振操作部１２０をオンにしている場合に流れるフローについて説明する。

ステップ♯２００１では、防振モード（複数回撮影モード）が設定されたことを表示して撮影者に知らせる。

ステップ♯２００２では、レリーズボタンの全押し操作によりｓｗ２がオンになるまでステップ♯１００１から循環して待機する。

ステップ♯２００３では、装置に加わる振れ量を振動検出部３１の出力信号によりモニタし、振れ量を参照する。ここでは出力信号そのもので判定するようにしているが、所定時間の出力信号の変化量で判定するようにしても構わない。

ステップ＃２００４では、この振れ量が所定の比較値より大きいかどうかを判定する。この所定の比較値は手振れの大きさを判別する為のしきい値である。比較値より大きい場合には手振れが大きいと判断して、ステップ＃２００５へ進み、比較値以下である場合には手振れは小さいと判断してステップ＃２００６へ進む。

ステップ＃２００５では手振れが大きいと判断されたので、手振れ限界撮像時間は１／焦点距離を基準として露光時間を決定する。例えば、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では、手振れが生じないように露光時間を１／３２秒に設定して撮影を行う。また、例えば撮影焦点距離が３００ｍｍであるときには、手振れが生じないように露光時間を１／３２０秒に設定して撮影を行う。

一方で、ステップ＃２００６では手振れが小さいと判断されたので、手振れ限界撮像時間は必ずしも１／焦点距離である必要は無く、やや長い時間としても像振れは許容できると考えられる。そこで、例えば手振れ限界撮像時間は２／焦点距離を基準とする。例えば、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では、露光時間をステップ＃１０３での値の倍の１／１６秒に設定して撮影を行う。また、例えば撮影焦点距離が３００ｍｍであるときには、同様に露光時間を１／１６０秒に設定して撮影を行う。尚、本実施の形態では振れが小さいと判断した場合には、手振れ限界撮像時間は２／焦点距離としているが、像振れを許容できる範囲において１／焦点距離より長い時間であれば必ずしも２／焦点距離である必要は無い。更に、本実施の形態ではしきい値一つで２条件に変更するようにしているが、複数のしきい値で更に多くの複数の条件に変更するようにしても良い。

ステップ♯２００７では、１枚目の撮影を開始する。

また、この時同時に撮影開始の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。

この音は例えば、「ピッ」と云う電子音でもよいし、フィルムカメラなどにおけるシャッタの開き音、ミラーアップの音でもよい。

なお、ステップ♯２００３からステップ♯１０１４までは短い露光時間の撮影を複数回繰り返し、複数の撮影により得られた画像を合成してみかけの露出を適正にする合成撮影モードの動作である。

ここで、このステップに記載されているように始めの１枚目の撮影は、上述した第１の画像１２７（図３ａ）を得るためにストロボ１６ａを発光させて撮影する。但し、２枚目以降の撮影は第２の画像群を得るためにストロボ１６ａを使用しないで撮影する。

ステップ♯２００８では、撮影した画像を一旦画像記憶部１１３に記憶しておく。

ステップ♯２００９では、複数枚撮影の合計撮影時間が所望の撮影時間になったかを判定し、撮影時間が経過していればステップ＃１００９へ進み、撮影時間が残っていれば再度撮影を行う為、ステップ＃２００３へ戻る。

ステップ♯１００９では、全ての撮影が完了したので撮影完了の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。

以後のステップは図１と同様の為説明を省略する。

以上説明したように、複数枚撮影を行う時の露光時間と露光枚数を各撮影の直前の装置に加わる振れ量に応じて最適な値に決定することで振れ量が小さい時には撮影枚数を減らすことが可能となる。従って、撮影時の画像処理時間、撮影画像の記憶容量、電力等の条件に対して与える負荷を減少させることが出来る。

本発明の第１実施形態であるカメラのブロック図。 参考実施形態における座標変換説明図。 参考実施形態における特徴点抽出領域の説明図（ａ、ｂ）。 参考実施形態における画像合成の説明図。 参考実施形態における撮影動作を示すフローチャート。 参考実施形態における露光枚数と露光時間の決定方法を示すフローチャート。 本発明の第１実施形態における撮影動作を示すフローチャート。

符号の説明

１０ 光軸
１１ 撮影レンズ
１２ａ シャッタ
１２ｂ シャッタ駆動部
１３ａ 絞り
１３ｂ 絞り駆動部
１４ａ ＡＦ駆動モータ
１４ｂ 焦点駆動部
１５ａ ズーム駆動モータ
１５ｂ ズーム駆動部
１６ａ ストロボ
１６ｂ 閃光駆動部
１７ａ スピーカー
１７ｂ 発音駆動部
１８ 撮影制御部
１９ 撮像部
１１０ Ａ／Ｄ変換部
１１１ 信号処理部
１１２ 信号切替部
１１３ 画像記憶部
１１４ ズレ検出部
１１５ 座標変換部
１１６ 画像合成部
１１７ 画像補正部
１１８ 表示部
１１９ 記録部
１２０ 防振操作部
１２１ａ フレーム
１２２ａ 人物
１２３ａ 建物
１２４ａ 窓
１２５ａ 特徴点（エッジ）
１２６ 座標変換方向（量）
１２７ 第１の画像
１２８ 第２の画像群
１２９ ２枚の画像が重ならない領域
１３０ 画像周辺領域
１３１ａ フォーカスエリア
１３１ｂ フォーカスエリア
１３１ｃ フォーカスエリア
１３１ｄ フォーカスエリア
１３１ｅ フォーカスエリア
１３２ 主被写体領域
３１ 振動検出部

Claims (3)

1. １回の撮影動作で撮影された複数の画像を記憶する画像記憶部と、
   前記記憶された複数の画像のズレを検出するズレ検出部と、
   前記複数の画像の１つを基準として前記ズレを含む画像の座標を変換する座標変換部と、
   前記基準とする画像、及び前記座標を変換された画像とを合成する画像合成部と、を有する撮影装置において、
   前記撮影装置に加わる振動を検出する振動検出部と、
   前記１回の撮影動作における各画像の撮影の度に、撮影直前の前記振動検出部の検出結果に基づいて露光時間を決定し、前記決定の後前記露光時間の撮影を行い、前記露光時間の合計が所望の露光時間を越えるまで複数の画像を撮影するように制御する撮影制御部と、を有することを特徴とする撮影装置。
2. 前記撮影制御部は、前記振動検出部の検出結果が所定値より大きい場合には、焦点距離の逆数に基づく時間を前記露光時間と決定し、前記振動検出部の検出結果が前記所定値より小さい場合には、前記焦点距離の逆数に基づく時間よりも長い時間を前記露光時間と決定することを特徴とする請求項１に記載の撮影装置。
3. 前記座標変換部は、前記複数の画像のうち最初に撮影する画像を前記基準とする画像とし、
   前記撮影制御部は、前記最初に撮影する際にのみストロボを発光するように制御することを特徴とする請求項２に記載の撮影装置。

Images