JP4378272B2

JP4378272B2 - 撮影装置

Info

Publication number: JP4378272B2
Application number: JP2004363411A
Authority: JP
Inventors: 浩司岡田
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2004-12-15
Filing date: 2004-12-15
Publication date: 2009-12-02
Anticipated expiration: 2024-12-15
Also published as: US7386228B2; US20060127084A1; JP2006174069A; EP1672914A2; EP1672914A3

Description

本発明は、手振れを補正することで撮影画像の画質を向上させる撮影装置に関するものである。

現在のカメラにおいては、露出決定やピント合わせ等の撮影にとっての重要な作業は殆ど自動化されており、未熟な操作者でも撮影失敗を起こす虞れは少ない。また最近では、カメラに加わる手振れを防止するシステムも研究されており、撮影ミスを誘発する要因は殆どなくなっている。

撮影時のカメラの手振れは、通常では１〜１０Ｈｚの周波数の振動である。露光時点においてこのような手振れを起こしていても、像振れのない写真を撮影可能とするために、手振れによるカメラの振動を検出し、この検出結果に応じて補正レンズを光軸直交面内で変位させる光学防振システムが使われている。

つまり、カメラ振れが生じても像振れが生じない写真を撮影するためには、第１にカメラの振動を正確に検出し、第２に手振れによる光軸変化を補正することが必要となる。像振れの補正は、原理的にはレーザージャイロ等によりカメラに加わる加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理する振動検出部をカメラに搭載することによって行うことができる。そして、振動検出部からのカメラ振れの検出情報に基づいて、撮影光軸を偏心させる振れ補正光学手段を駆動することにより像振れ補正は行われる。

一方、手振れが生じない程度の露光時間で複数回の撮影を繰り返し、これらの撮影により得られた画像に対して画像のずれを修正しながら画像合成して、長い露光時間から成る合成した撮影画像を得る方法が特許文献１において知られている。

特開平５−７３３６号公報

最近のデジタルカメラは、銀塩コンパクトカメラに比べて小さくなってきており、例えば携帯電話のような携帯電子機器に内蔵されるほど小型化されている。このような小型機器に、上述した光学防振システムを持つカメラを搭載しようとすると、振れ補正光学手段を更に小型化するか、振動検出部を小型化する必要がある。

しかし振れ補正光学手段では、補正レンズを支持し、この補正レンズを高精度に駆動してゆく必要があるために、小型化には限界がある。また、現在使用されている振動検出部は、殆どが慣性力を利用するものなので、振動検出部を小型化すると検出感度が低下し、精度の良い振れ補正ができないという問題もある。

更に、カメラに加わる振れとしては、所定の軸を中心とする角度振れと、カメラを平行に揺らすシフト振れがあり、角度振れは光学防振システムによって補正可能であるが、シフト振れの対策は困難である。特に、カメラが小型になるほどこのシフト振れは大きくなる傾向がある。

一方、別手段の防振システムとしては、ビデオカメラでの動画撮影に用いられているように、撮像素子で画面の動きベクトルを検出し、その動きベクトルに合わせて画像の読み出し位置を変更することで、振れのない動画を得る方法もある。このような方法の場合には、上述した光学防振システムのような専用の振動検出部や補正レンズが不要となるため、製品全体を小型にできる利点がある。

しかし、このビデオカメラの防振システムをデジタルカメラに簡単に適用することは困難である。つまり、ビデオカメラにおける動きベクトルの抽出は画像を読み出すごとに行っており、例えば１秒に１５コマの画像を取り出すとすると、この取り出した各画像を比較して動きベクトルを検出している。

ところが、デジタルカメラで静止画を撮影する場合には、撮影被写体に対して１回の露光しか行わないため、ビデオカメラのように画像の比較を行って、動きベクトルを検出することはできない。このため、ビデオカメラの防振システムを単純にデジタルカメラに適応させることは困難である。

一方、特許文献１に示すような防振方法においては、複数回撮影した画像を合成して像振れ補正された１枚の画像を得ることから、撮影時間が長時間に渡ることになる。また、現在では殆どのカメラに、複数の画像を連続撮影する連写機能が搭載されているが、特許文献１に示すような防振方法をこの連写機能と組み合わせて使用すると、撮影時間の長期化が更に問題となる。

本発明の目的は、上述の問題点を解消し、手振れが生じない程度の露光時間で複数回の撮影を繰り返し、この複数回の撮影により得られた画像をずれを修正しながら合成し、連写時の撮影時間の長期化を未然に防ぐと共に、この扱い方に対して撮影者が違和感を感ずることのない撮影装置を提供することにある。

上記目的を達成するための本発明に係る撮影装置の技術的特徴は、１回の撮影スイッチの操作で撮影された複数の画像を記憶する画像記憶部と、前記記憶された複数の画像のずれを検出するずれ検出部と、前記複数の画像の１つを基準として前記ずれ検出部で検出したずれを基に他の画像の座標を変換する座標変換部と、前記基準とする画像及び前記座標を変換した画像を合成する画像合成部とを有し、前記複数の画像を合成することにより像振れ補正した画像を生成する撮影装置において、１回の撮影スイッチの操作で最終的に前記像振れ補正した１枚の画像を生成する単写モードと１回の撮影スイッチの操作で最終的に前記像振れ補正した時間的に連続する複数枚の画像を生成する連写モードとを切換える撮影モード選択部と、前記連写モードが選択された場合に、時間的に連続する２枚の前記像振れ補正した画像は、共通するｎ（ｎは１以上の整数）枚の画像を前記合成する画像として含むように制御する撮影制御部とを有することにある。

本発明に係る撮影装置によれば、画像の像振れ補正を行うと共に、撮影時間の長期化を抑え、小型で撮影者にとって使い勝手の良いものとなる。

本発明を図示の実施例に基づいて詳細に説明する。
図１は実施例のカメラのブロック回路構成図である。光軸Ｏ上に配置した撮影レンズ１の後方に、絞り２、シャッタ３、ＭＯＳやＣＣＤなどの半導体撮像素子から成る撮像部４が配列され、撮影レンズ１はＡＦ（オートフォーカス）駆動モータ５、ズーム駆動モータ６により光軸Ｏ方向に移動可能とされている。

撮像部４の出力はＡ／Ｄ変換部１１、信号処理部１２に接続され、信号処理部１２の出力は信号切換部１３と撮影制御部１４に接続されている。信号切換部１３の出力は、画像記憶部１５、ずれ検出部１６、座標変換部１７、画像合成部１８、画像補正部１９、カメラの背面に設けられた液晶から成る表示部２０、例えばカメラに対して着脱自在の半導体メモリなどの記録部２１に順次に接続されている。また、信号切換部１３の出力は切換えにより画像補正部１９にも直接に接続され、画像補正部１９の出力の一部も記録部２１に直接に接続されている。

撮影制御部１４の出力は、信号切換部１３、画像合成部１８、撮像部４を駆動する撮像駆動部２２に接続されている。また、撮影制御部１４の出力は、シャッタ３を駆動するシャッタ駆動部２３、絞り２を駆動する絞り駆動部２４、ＡＦ駆動モータ５を駆動する焦点駆動部２５、ズーム駆動モータ６を駆動するズーム駆動部２６、ストロボ２７を駆動する閃光駆動部２８、スピーカ２９を駆動する発音駆動部３０に接続されている。

更に、撮影制御部１４には、撮影スイッチであるレリーズ操作部３１、絞り操作部３２、ズーム操作部３３、閃光操作部３４、防振操作部３５、撮影モード選択部３６の出力が接続されている。

また、図１においては省略しているが、このカメラには画像を合成して像振れを補正する機能に加えて、光学的に像振れを補正する機能を付加してもよい。

撮影レンズ１は複数の光学レンズ群により構成され、これらの光学レンズ群のうちの一部又は全てがＡＦ駆動モータ５からの駆動力を受けて光軸Ｏ上を移動し、所定の合焦位置に停止することで焦点調節を行う。ＡＦ駆動モータ５は撮影制御部１４による焦点駆動部２５からの駆動信号を受けることで駆動する。

更に、撮影レンズ１のうちの一部の光学レンズ群は、ズーム駆動モータ６からの駆動力により光軸Ｏ上を移動し、所定のズーム位置に停止することで撮影画角を変更し、ズーム駆動モータ６はズーム駆動部２６からの駆動信号を受けることで駆動する。

絞り２は複数の絞り羽根を有しており、絞り２は絞り駆動部２４からの駆動力を受けることで絞り羽根が作動して、光通過口となる開口面積の絞り口径を変化させる。シャッタ３は複数のシャッタ羽根を有しており、シャッタ３はシャッタ駆動部２３からの駆動力により、シャッタ羽根により光通過口となる開口部を開閉する。

このような構成により、撮影レンズ１から入射した撮影光は、絞り２で光量制限された後に、シャッタ３を通り撮像部４に入射する。また、撮影時の被写体輝度等の条件に応じて、ストロボ２７は閃光駆動部２８からの駆動信号を受けて発光する。更に、撮影動作を撮影者に知らせるために、スピーカ２９が発音駆動部３０からの駆動信号を受けて発音する。

撮影制御部１４はカメラの撮影状態に合わせて、焦点駆動部２５、ズーム駆動部２６、絞り駆動部２４、シャッタ駆動部２３、閃光駆動部２８に出力して撮影条件を設定し撮影を行う。なお、絞り２の開口径やストロボ２７の発光は、通常は撮影時にカメラ側で自動的に設定するために、絞り操作部３２及び閃光操作部３４は不要であるが、撮影者が任意に撮影条件を設定する場合のために設けられている。

撮像部４から出力される映像信号は、Ａ／Ｄ変換部１１によりデジタル信号に変換されて信号処理部１２に入力される。信号処理部１２は入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行って、カラー映像信号を形成する。信号処理部１２で信号処理された映像信号は、信号切換部１３を介して画像補正部１９に入力され、この画像補正部１９では入力された信号のガンマ補正や圧縮処理を行う。画像補正部１９の信号は表示部２０と記録部２１に入力され、撮影された画像が表示部２０に表示されると共に記録部２１に記録される。

以上の動作において、撮影すべき被写体が暗く、露光秒時が長くなる場合には手振れが生ずる虞れがあるので、撮影者は防振操作部３５を操作して防振システムをオンにし、防振動作に切換える。この防振システムのオン／オフは防振操作部３５を通して撮影者が操作してもよいし、カメラで自動的に設定できるようにしてもよい。

防振システムをオンにした場合において、撮影モード選択部３６では、１回のレリーズ操作部３１の操作により複数回の撮像を行い、これらを合成して最終的に１枚の画像を取得する単写モードと、１回のレリーズ操作部３１の操作により最終的にそれぞれ像振れ補正がなされた複数枚の画像を取得する連写モードを撮影者が選択できるようになっている。なお、ここで云う連写モードとは、後述する防振を目的とした分割露光ではなく、従来から多くのカメラに備えられ、最終的に複数枚の画像を得ることを目的とした撮影モードのことである。

防振システムをオンとし、撮影モード選択部３６で撮影者が単写モードを選択した場合に、撮影者がレリーズ操作部３１のレリーズボタンを半押し（ＳＷ１）すると、焦点調節動作や測光動作等の撮影準備動作が開始される。測光動作により得られた測光値に基づいて、シャッタ３による露光時間と絞り２の絞り口径を設定するが、一般的に防振システムを使用するような撮影条件では被写体が暗く、絞りは全開、露光時間は長秒時露光になっている。

そこで、この露光時間を複数の短い露光時間に分割し、この分割した数だけ撮影を繰り返す。このように、短い露光時間に分割すると、露光により得られる個々の画像は露出不足になるが、露光時間が短いためにこれらの個々の画像には手振れの影響が少ない画像となる。そして、複数の画像を撮影終了後に合成して１枚の画像にすることで露出を改善する。

複数の撮影により得られた個々の画像においては、手振れの影響が生じていなくとも、連続撮影中の手振れにより各画像間における構図は微妙にずれている場合がある。ここで、これらの画像をこのまま合成すると、合成された画像は各画像における構図のずれ分だけ振れた画像になってしまう。

本実施例において、分割露光に応じて撮像部４から露光ごとに複数出力される画像信号は、Ａ／Ｄ変換部１１でデジタル信号に変換されてから、信号処理部１２において信号処理が施される。防振操作部３５を操作して防振システムをオンにすることを撮影制御部１４に伝えた場合には、信号処理部１２からの画像データは、信号切換部１３を介して撮影された複数の画像の全てが画像記憶部１５に入力され、画像補正部１９への入力は絶たれる。

ずれ検出部１６は画像記憶部１５に記憶された画像内における特徴点を抽出し、この特徴点の撮影画面内における位置座標を割り出す。例えば、図２に示すようにフレームＦａにおいて、人物Ｍが建物Ｂａを背景にして立っている写真を撮影する場合を考える。このとき、複数枚撮影すると、フレームＦｂのように、手振れによりフレームＦａに対して構図がずれた画像が撮影されることがある。

ずれ検出部１６は画面の周辺に位置する建物Ｂａのうち、輝度の高い点である窓Ｗａのエッジをエッジ検出により特徴点Ｃａとして取り出し、この特徴点ＣａとフレームＦｂにおける窓Ｗｂのエッジによる特徴点Ｃｂとを比較し、この差分を座標変換部１７により座標変換による補正を行う。

ここで、特徴点として撮影画面の周辺を選択するのは次の理由がある。多くの撮影の場合では、画面中央近傍に主被写体が位置し、かつ主被写体は人物である場合が多い。このようなとき、主被写体を特徴点として選択すると、被写体の振れによる不具合が生じてくる。即ち、複数枚の撮影を行っているときに、撮影者の手振ればかりでなく、被写体の振れも重畳してくるので、被写体の振れに基づいて画像の座標変換をしてしまう。

この場合に、主被写体の構図が適正になるように座標変換するので、好ましい画像が得られるように考えられるが、一般的には人物の動きは複雑であり、特徴点を選択する場所によってずれの検出精度が大きく左右される。例えば、人物である主被写体の眼を特徴点として選択した場合には瞬きの影響が出るし、手の先を特徴点として選択した場合には、手は動き易いので実際の被写体全体の振れとは異なってしまう。

このように、人物の１点を特徴点として画像の座標変換を行っても、その人物の全てが適正に座標変換されるわけではなく、複数の画像を座標変換して合成する場合においても、各画像ごとに座標の位置がばらつき、好ましい画像は得られない。そこで、本実施例の背景の建物のような静止被写体である固定画像部を特徴点として選択して、画像の座標変換を行ったほうが好ましい画像が得られる。座標変換された画像は画像合成部１８により合成され、画像補正部１９で入力された信号のガンマ補正や圧縮処理を行い画像が表示部２０に表示され、記録部２１に記録される。

画像の合成処理を行うには、図２においてフレームＦｂの特徴点Ｃｂを矢印ＡのようにフレームＦａの特徴点Ｃａに重ねるようにして、フレームＦｂを座標変換する。図３はその説明図であり、（ａ）に示す第１の画像Ｐ１と、（ｂ）に示す第２の画像Ｐ２とで、画面周辺の建物Ｂ１、Ｂ２の中において、輝度の高い点である窓Ｗ１、Ｗ２のエッジをエッジ検出により特徴点Ｃ１、Ｃ２として取り出す。

図２で説明したと同様に、第１の画像Ｐ１における特徴点Ｃ１と、第２の画像Ｐ２における特徴点Ｃ２とを比較し、その差分を座標変換し補正する。即ち、座標変換部１７は第２の画像Ｐ２の特徴点Ｃ２を第１の画像Ｐ１の特徴点Ｃ１に重ねるように、第２の画像Ｐ２を座標変換する。そして、第２の画像群の中で２枚目以降の画像についても、それぞれ特徴点Ｃの座標を求め、その座標が第１の画像Ｐ１で定めた特徴点Ｃ１の座標と重なるように、座標変換部１７は第２の画像群を座標変換してゆく。

ここでは、説明のために各画像ごとの特徴点の座標を求めているが、実際には第１の画像Ｐ１と第２の画像群のうちの１枚目の画像Ｐ２との相関を演算し、それぞれ対応する画素の変化をずれ検出部１６により動きベクトルとして求め、特徴点Ｃの変化としている。そして、第２の画像群の２枚目に対しても第１の画像Ｐ１との相関演算で特徴点Ｃの変化を求め、以下に同様にして、各画像の特徴点の変化を求めてゆく。

なお、特徴点Ｃは１個所だけ選択するのではなく、複数のポイントを選択しておき、これらのポイントの動きベクトルの平均値、又はスカラー値の最小値を特徴点の変化としてもよい。ここで、特徴点の変化として最小値を利用するのは、画面周辺で選択された特徴点もそれ自身が移動する可能性があるため、最も移動しない特徴点を選択するためである。

デジタル画像の場合には、１枚の露出不足の写真でもゲインアップすることで露出の補正が可能であるが、ゲインを高くするとノイズも多くなり、見苦しい画像になる。しかし、本実施例のように多くの画像を合成することで、画像全体のゲインを高める場合には、各画像のノイズが平均化されるために、Ｓ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。別の考え方をすれば、例えばノイズを許容して撮像部４を高感度にして複数枚撮影を行い、これらを加算平均することで画像に含まれるランダムノイズを減少させているとも云える。

図４は防振動作を行わない単写モード時のタイミングチャート図を示している。先ず、（ａ）のように時刻ｔ１１においてレリーズ操作部３１のリレーズボタンが半押し（ＳＷ１）されると、カメラは測光、焦点調節等の各種撮影準備動作を実行する。続いて、（ｂ）のように時刻ｔ１２においてレリーズ操作部３１が全押し（ＳＷ２）されると撮影駆動に移行し、（ｃ）のように時刻ｔ１３において電荷蓄積開始タイミングパルスが入力される。

すると、（ｄ）のように撮像部４には電荷が蓄積され、時刻ｔ１４において電荷蓄積が終了し、直ちに（ｅ）のように蓄積電荷の転送が開始される。時刻ｔ１５において電荷の転送が終了すると、（ｆ）のように画像補正部１９、記録部２１で画像処理、記録動作が行われる。

図５は防振オン、単写モード時の撮影条件において防振システムをオンにし、露光時間の分割数を４回として、これらを合成した１枚の画像を得るときのタイミングチャート図を示し、（ａ）のように時刻ｔ２１においてレリーズ操作部３１が半押し（ＳＷ１）されると、カメラは測光、焦点調節等の各種撮影準備動作を実行する。続いて、（ｂ）のように時刻ｔ２２においてレリーズ操作部３１が全押し（ＳＷ２）されると撮影駆動に移行し、（ｃ）のように時刻ｔ２３において電荷蓄積開始タイミングパルスが入力される。

すると、（ｄ）のように撮像部４には電荷が蓄積され、時刻ｔ２４において電荷蓄積が終了し、直ちに（ｅ）のように蓄積電荷の転送が開始される。電荷蓄積、蓄積電荷の転送を４回繰り返した後に、（ｆ）のように時刻ｔ３１において画像処理、記録が始まり、時刻ｔ３２で終了する。

電荷蓄積開始から転送終了までの時間を撮影時間として、防振オン時と防振オフ時を比べると、例えば防振オフ時の露光時間（ｔ１４−ｔ１３）を１／１５秒、転送時間を１／３０秒とすると、撮影時間（ｔ１５−ｔ１３）は１／１０秒である。

一方、防振オン時の１画像当たりの露光時間（ｔ２４−ｔ２３、ｔ２６−ｔ２５、ｔ２８−ｔ２７、ｔ３０−ｔ２９）は１／６０秒なので、４枚撮影しても１／１５秒であるが、電荷転送時間を考えなければならないので、撮影時間（ｔ３１−ｔ２３）は２倍の１／５秒になる。

次に、撮影モード選択部３６で撮影者が連写モードを選択した場合には、撮影制御部１４において防振システムの使用を禁止する第１の連写モードと、防振システムをオンにする第２の連写モードとの何れかに設定される。なお、ここで云う連写モードとは、撮影者が最終的に複数枚の画像を得ることを目的とした撮影モードのことであり、最終的に1枚の画像を得ることを目的とした、前記単写モードにおける分割露光とは異なる。

第１の連写モードが設定された場合には、前述の防振システムのオフの時と同様な、つまり通常のカメラの連写モードのような複数回撮影動作をレリーズ操作部３１が全押しされている間に繰り返す。

第２の連写モードに設定された場合には、前述のように適正露出となる露光時間を複数の短い露光時間に分割し、レリーズ操作部３１が全押し（ＳＷ２）されている間はこの分割露光を繰り返し、全ての画像を画像記憶部１５に記憶し全ての画像について像振れ補正を行う。

ずれ検出部１６は画像記憶部１５に記憶された画像内における前述の特徴点を抽出し、この特徴点の撮影画面内における位置座標を割り出す。座標変換部１７で座標変換された画像は画像合成部１８で合成されるが、ここで撮影制御部１４から第２の連写モードであることを伝える信号が画像合成部１８に送られると、時間的に所定コマずらして合成された複数の画像が、順次に画像補正部１９に送られる。ここで、画像補正部１９に送られる複数の合成画像のうち時間的に連続する２枚の合成画像は、ｎ（ｎは１以上の整数）枚の共通な分割露光画像を含む分割露光画像群によって構成されている。

撮影時間は画像の分割露光枚数に比例して増えて行くため、分割数が多過ぎると撮影者に違和感を与えることになる。第２の連写モードでは分割露光枚数は増えないが、像振れ補正をすべき撮影枚数が増えるため、撮影時間の更なる長期化を招き、使い難いシステムになってしまう。そこで、第２の連写モード時には、図６に示すようなコマずらし合成方法を用いている。

図６は防振オフ時の連写、即ち（ａ）、（ｂ）に示す第１の連写モードと、（ｃ）〜（ｆ）の防振オン時の連写つまり第２の連写モードとにおける電荷蓄積開始から転送終了までのタイミングチャート図を示している。ここでは、第１、第２の連写モードは共に連写枚数３枚、つまり撮影者が最終的に３枚の画像を取得することを想定している。

防振オン時の分割露光枚数を４枚とすると、防振オンにして単純に３枚の合成画像を得るために、図６（ｅ）のように画像を時間的に連続合成してしまうと、必要な分割露光回数は４×３＝１２回となり、撮影時間は約２倍となる。この撮影時間は上述したように、電荷転送時間と分割露光枚数による影響が支配的なので、焦点距離や明るさ等の撮影条件や画素数や電荷転送速度等のカメラの特性によっては、更に長時間化する虞れがある。

そこで、（ｆ）のように２枚目、３枚目の合成を時間的に２コマ分前の画像から始めるようにしている（ｎ＝２）。このようにすることで、３枚の合成画像を得るために必要な分割露光回数は８回となり、単純に連続合成した（ｅ）と比べて撮影時間を短縮している。また、（ｆ）で生成される３枚の合成画像は時間的に重なった部分が生ずるが、時系列的に連続した異なる画像となるので、何コマずらして合成するかを適切に設定すれば、撮影者が違和感を感ずることはない。

なお、図６では２コマ分ずらしているが、ずらすコマ数（ｎ）は予め定められた所定量でもよいし、或いは分割露光枚数等によってカメラが自動的に設定するようにしてもよいし、撮影者が設定できるようにしても支障はない。

図７は合成時にずらすコマ数を変えたときの撮影時間と合成した撮影枚数の関係を示している。図７の太線は防振オフの時の第１の連写モードの時間関係である。図６では２コマずらして合成しているので、図７における２コマずらしにほぼ相当する。３コマずらしでは、防振を行わないときよりも早く撮影が終わっているが、あまりコマをずらし過ぎると、１つの分割露光画像が何回も合成に使われることになり、最終的な合成画像に違いが見られなくなってしまうので注意を要する。

図８は単写モード、連写モードを含めたカメラの撮影動作のフローチャート図であり、カメラの電源がオンになったときにスタートする。ステップＳ１０１では、撮影者がレリーズ操作部３１を半押し（ＳＷ１）するまで待機し、半押し（ＳＷ１）がされるとステップＳ１０２に進む。

ステップＳ１０２では、撮像部４において撮像が行われる。撮影制御部１４は信号処理部１２からの出力に基づいて画像のコントラストを検出しながら、ＡＦ駆動モータ５を駆動して撮影レンズ１を光軸方向に移動させる。そして、最もコントラストが高かった時点で、撮影レンズ１の駆動を停止させることにより撮影光学系を山登り方式、或いは位相差検出により合焦に向けて焦点調節をする。また、撮影制御部１４は同時に撮像部４の出力に基づいて被写体の明るさを求める。

ステップＳ１０３では、撮影モード選択部３６に単写モード、連写モードの何れが選択されているかを判別し、単写モードの時はステップＳ１０４に進み、連写モードの時はステップＳ１２０に進み連写モード時の処理に移行する。

先ず、単写モードの場合にはステップＳ１０４では、撮影者が防振操作部３５をオンにしているか否かを判別し、オンにしているときはステップＳ１０５に進み、オフの時はステップＳ１２１に進む。

防振操作部３５がオンになっている場合にはステップＳ１０５において、ステップＳ１０２で求めた被写体の明るさ等の撮影条件から、撮影する枚数とそれぞれの露光時間を求める。なお、ここで云う撮影条件とは、被写体の明るさ、撮影光学系の焦点距離、撮影光学系の絞りの値、撮像素子の感度の４点である。

例えば、撮像部４の感度がＩＳＯ２００に設定されていたとすると、被写体の明るさを測光し、この測光結果に基づいて適正に露光するためには、絞り２を例えばｆ２．８の全開にすると共に、シャッタ３の閉じタイミング、即ち露光時間を１／１５秒にする必要があるとする。

ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で６０ｍｍであるとき、露光時間を１／１５秒とする撮影では、手振れにより像振れが発生する虞れがあるので、手振れが生じないように露光時間を１／６０秒に設定して、４回の分割露光撮影を行う。一方、撮影焦点距離が９０ｍｍであるときには、手振れが生じないように露光時間を１／９０秒に設定して６回の撮影を行う。

このように、複数枚撮影を行う時の露光時間を撮影条件に合わせて決定し、更に何枚撮影するかも撮影条件に合わせて設定する。同一被写体を複数枚に分けて撮影するとしても、各撮影の露光条件はなるべくは適正露光に近い方が、撮像部４において正確な情報が撮像できる。このため、暗い被写体の場合や、絞り２が絞り込まれて暗い場合や、撮像部４の感度が低く設定されている場合には、複数回の撮影であっても、各撮影の露光時間はなるべく長くして有効な露光条件にする。

ただし、あまり露光時間を長くすると、手振れによる画像劣化の影響が像面に表れるため、上述したように撮影光学系の焦点距離が３５ｍｍフィルム換算で６０ｍｍであるときは手振れが生じないように、約焦点距離分の１に等しい露光時間である１／６０秒に設定する。そして、その露光時間では足りない分を撮影枚数で補完する。

焦点距離が長い場合には、更に露光時間を短くしないと手振れによる像劣化が生ずるので露光時間を短くして、その分だけ撮影枚数を増やして露出の補完を行う。このように、複数枚撮影における露光時間は、被写体が暗いほど、また撮影レンズ１が暗いほど長くなり、撮像部４の感度が低いほど長くなり、撮影レンズ１の焦点距離が長いほど短くなる。そして、複数枚撮影における撮影枚数は、被写体が暗いほど、また撮影レンズ１が暗いほど多くなり、撮像素子の感度が低いほど多くなり、撮影レンズ１の焦点距離が長いほど多くなる。

このような計算が終了した後に、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モードつまり分割露光モードが設定されていることを表示すると同時に、求めた撮影枚数を表示して撮影者に知らせる。

ステップＳ１０６では、レリーズ操作部３１の全押し（ＳＷ２）がされるまで、ステップＳ１０１〜Ｓ１０６を繰り返して待機する。ステップＳ１０７では１枚目の撮影を開始する。同時に、撮影開始の発音を発音駆動部３０を介してスピーカ２９で出力する。この音は例えば、「ピッ」と云う電子音でもよいし、フィルムカメラなどにおけるシャッタの開き音、ミラーアップの音でもよい。

なお、ステップＳ１０７から後述するステップＳ１１５までは、短い露光時間の撮影を複数回繰り返し、複数の撮影により得られた画像を合成して、見掛けの露出を適正にする合成撮影モードの動作である。１枚目の撮影が終わると、ステップＳ１０８では撮影した画像を一旦画像記憶部１５に記憶しておく。ステップＳ１０９では、全ての撮影が完了するまでステップＳ１０７、Ｓ１０８を繰り返して待機する。

そして、撮影が完了するとステップＳ１１０に進み、撮影完了の発音を発音駆動部３０を介してスピーカ２９で出力する。このように複数枚撮影する場合において、その動作を表す発音は、最初の撮影の露光開始及び最後の撮影の露光完了のそれぞれ１回行う１セットなので、撮影者に複数枚撮影の違和感を与えることはない。即ち、通常の１回の露光撮影を行う場合と複数枚撮影を行う場合とで、発音の回数が等しくなっており、撮影者に自然な感じを与える。

ステップＳ１１１では、ずれ検出部１６が画像の周辺領域、例えば図３（ａ）の建物Ｂ１の中から特徴点Ｃ１を抽出し、その像の座標を求める。ステップＳ１１２では、座標変換部１７が各画像の座標変換を行う。ここで、最初の１枚の画像Ｐ１のみ座標の変換は行わない。即ち、この第１の画像Ｐ１を座標変換の際の基準とする。

ステップＳ１１３では、２枚目以降の全ての画像について、座標変換が終了するまでステップＳ１１１、Ｓ１１２を繰り返して待機し、全ての画像の座標変換が完了するとステップＳ１１４に進み、第１の画像Ｐ１と座標変換された第２の画像群の各画像との合成を行う。ここで、画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少する。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。

ステップＳ１１５では、合成された画像のうち各画像が構図振れにより重ならなかった領域をカットし、元のフレームの大きさになるように画像を拡散補完する。ステップＳ１１６では、合成画像信号に対してガンマ補正や圧縮処理を行い、ステップＳ１１７ではステップＳ１１６で得られた画像を、カメラの背面などに配置された表示部２０に表示する。ステップＳ１１８では、ステップＳ１１６で求めた画像データを記録部２１に記録し、ステップＳ１１９で図８のスタートに戻る。

なお、ステップＳ１１９の段階で、まだ継続してレリーズ操作部３１が半押し（ＳＷ１）されているときは、そのままステップＳ１０１、Ｓ１０２、Ｓ１０３、Ｓ１０４と再度フローを進めてゆく。また、ステップＳ１１９の段階でレリーズ操作部３１が全押し（ＳＷ２）されているときには、スタートに戻らずステップＳ１１９で待機する。

ステップＳ１０４において、防振操作部３５がオフと判断されたときには、ステップＳ１２１に進み、防振システムを使用しないと手振れによる画像劣化が生ずる撮影条件であるか否かを判断する。

撮影条件は前述したように、被写体の明るさ、レンズの明るさ、撮像感度、撮影焦点距離であり、被写体の明るさ、レンズの明るさ、撮像感度に基づいて露光時間を求め、その露光時間が現状の撮影焦点距離においては、手振れによる画像劣化の可能性があるか否かをステップＳ１２１で判断する。

そして、画像劣化の可能性があるときにはステップＳ１２２に進み、そうでないときはステップＳ１２３に進む。ステップＳ１２２では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた表示部２０に、防振モードに設定することを推奨する表示を行う。ステップＳ１２３では、レリーズ操作部３１が全押し（ＳＷ２）されるまでステップＳ１０１〜Ｓ１２３を繰り返して待機する。

ステップＳ１２４では、１回の露光で有効な露光条件を形成する通常撮影モードが完了するまで待機し、露光完了と共にステップＳ１１６に進む。ここでは説明を省略しているが、通常撮影の場合においても撮影開始から完了の動作に合わせて、撮影動作音をスピーカ２９から発音する。

即ち、複数枚の撮影画像を合成する合成撮影モードにおいても、通常の撮影モードにおいても、同じ様式の撮影動作音を発音している。この場合には、スピーカ２９の撮影開始音から撮影完了音までの動作音の長さの違いにより、長時間露光か否かを撮影者が認識できる程度であり、複数枚の撮影を行っているか否かは撮影者には分からない。

ステップＳ１１６では、合成画像信号に対してガンマ補正や圧縮処理を行い、ステップＳ１１７ではステップＳ１１６で得られた画像を表示部２０に表示する。ステップＳ１１８では、ステップＳ１１６で得られた画像データを記録部２１に記録する。ステップＳ１１９ではスタートに戻る。

このフローチャート図で分かるように、防振操作部３５をオフにしている場合においても、手振れによる画像劣化が生ずる撮影条件の時には、撮影者に合成撮影モードにより防振システムの活用を促す表示を行って画像劣化を未然に防いでいる。そして、合成撮影モードにおいても、それぞれの露光時間は焦点距離に応じて変更することで、如何なる焦点距離においても望ましい撮影が可能となる。

次に、ステップＳ１０３において撮影モード選択部３６で連写モードが選択されている場合には、ステップＳ１２０の連写モード処理ルーチンに移行する。

図９は図８のステップＳ１２０における連写モード時の処理のフローチャート図を示している。連写モード処理では、先ずステップＳ２０１で防振操作部３５のオン／オフを判別する。防振操作部３５がオンの場合にはステップＳ２０２に進み、防振操作部３５がオフの場合にはステップＳ２０３に進む。

ステップＳ２０２では、撮影条件に応じて露光時間分割数の演算を行い、その結果を基に第１の連写モードか第２の連写モードかの判定を行う。第１の連写モードの場合にはステップＳ２０３に進み、第２の連写モードの場合にはステップＳ２０９に進む。

例えば、３５ｍｍフィルム換算で焦点距離が３００ｍｍ、必要な露光時間が１／１０とすると分割露光枚数は３０枚になるが、前述したように分割露光枚数が増えるほど、撮像部４からの電荷転送時間×分割数だけ撮影時間が長くなる。更に連写モードなので、この３０枚の撮影を複数回繰り返すことになり、撮影時間が大幅に長期化してしまう。

そこで、例えば分割露光枚数が１０枚を超えるような場合には、防振を強制的にオフにしてしまう。これが第１の連写モードで、この場合の処理は撮影者が防振操作部３５で防振オフに設定した場合と同様の動作をする。

一方、分割露光枚数が１０枚以内であれば、第２の連写モードにより前述したコマずらし合成を用いて撮影を行う。なお、ここでは第１の連写モードと第２の連写モードの分岐点を分割露光枚数１０枚としたが、この条件はカメラの撮像素子からの電荷転送時間等の特性によって最適値が異なるため、カメラによって適切な値を設定することがよい。

また図示はしていないが、ステップＳ２０１で防振操作部３５がオフの時で、第２の連写モードでの撮影が好ましい場合、つまり防振が必要な場合は、単写モードで防振操作部３５がオフのときと同様に、防振システムの作動が必要である旨の表示を行う。

ステップＳ２０３では、レリーズ操作部３１が全押し（ＳＷ２）されるまで、ステップＳ１０１〜Ｓ２０３を繰り返して待機する。全押し（ＳＷ２）がなされるとステップＳ２０４で撮影を開始し、開始と同時にスピーカ２９により撮影動作音を発音する。１枚目の撮影が終了すると、ステップＳ２０５へ進んで画像を保存し、ステップＳ２０６で撮影完了音を発音しステップＳ２０７に進み、全押し（ＳＷ２）が終わったかどうかの判定を行う。

全押し（ＳＷ２）が終了していなければ、ステップＳ２０４に戻り、２枚目の撮影を開始する。撮影者がレリーズ操作部３１の全押し（ＳＷ２）を終了するまでステップＳ２０４〜Ｓ２０７を繰り返す。全押し（ＳＷ２）が終わっていれば撮影を終了し、ステップＳ２２１から元の処理に戻り、図８のステップＳ１１６に進む。

ステップＳ２０２で第２の連写モードと判定された場合には、ステップＳ２０９に進み防振モード表示を行う。ステップＳ２１０ではレリーズ操作部３１が全押し（ＳＷ２（撮影スイッチ））されるまでステップＳ１０１〜Ｓ２１０を繰り返して待機する。全押し（ＳＷ２）がなされるとステップＳ２１１に進み、分割露光１枚目の撮影が開始され、スピーカ２９より撮影動作開始の発音がなされる。

１枚目の撮影が終了するとステップＳ２１２で画像を保存し、ステップＳ２１３に進み、全押し（ＳＷ２）が終了したかどうかの判定を行い、全押し（ＳＷ２）が終了していなければ、ステップＳ２１１に戻り２枚目の撮影に入り、全押し（ＳＷ２）が終わるまでステップＳ２１１〜Ｓ２１３を繰り返す。全押し（ＳＷ２）が終了しているとステップＳ２１４に進み、ステップＳ２１４では撮影に必要な回数だけ分割露光を終了しているかどうかの判定を行う。

例えば、図６（ｆ）ではｔ２５〜ｔ２６の間に全押し（ＳＷ２）が終了したとしても、３枚目の合成に必要な分割露光画像の撮影が終了するまでは撮影終了とは見倣さない。つまり、全押し（ＳＷ２）が終了した時点で、撮影中の分割露光画像が含まれる合成画像の最後のコマの撮影が終了した時に撮影終了となる。撮影が終了するまでステップＳ２１１〜Ｓ２１４を繰り返す。撮影が終了すると、ステップＳ２１５に進み撮影終了音をスピーカ２９から発音する。

ステップＳ２１６では、ずれ検出部１６が画像の周辺領域の中から特徴点を抽出し、その像の座標を求め、ステップＳ２１７では座標変換部１７が各画像の座標変換を行う。ここで、最初の１枚の画像のみ座標の変換は行わず、第１の画像Ｐ１を座標変換の際の基準とする。

ステップＳ２１８では、２枚目以降の全ての画像について座標変換が終了するまでステップＳ２１６、Ｓ２１７を繰り返して待機し、全ての画像の座標変換が完了するとステップＳ２１９に進み、図６（ｆ）のように予め定められた所定コマ分ずらして合成処理が行われ、撮影者が全押し（ＳＷ２）していた時間に応じた複数枚の画像が生成される。

ステップＳ２２０では合成された画像のうち、各画像が構図振れにより重ならなかった領域をカットし、元のフレームの大きさになるように画像を拡散補完する。ステップＳ２２１で元のルーチンに戻り、図８のステップＳ１１６以降の処理を行う。

第２の連写モードでは、複数枚の合成画像を得ることを目的としているので、例えば図６（ｆ）のように３枚の合成画像を得ることを考えると、撮影者に違和感を与えないためには、撮影開始と完了の発音は３セットなされることが望ましい。しかし、（ｆ）のように合成するコマが時間的に重なっているため、合成に用いる最初のコマ（ｔ２１、ｔ２２、ｔ２３）で撮影開始の発音、合成に用いる最後のコマ（ｔ２５、ｔ２６、ｔ２７）で撮影完了の発音をすると、撮影者が違和感を覚えることになる。

図１０は図６（ｆ）と同条件での発音タイミングで発音動作を行うタイミングチャート図である。（ｅ）のように時刻ｔ４１で１枚目の分割露光が始まり、時刻ｔ４９で撮影が終了する。そのため、（ａ）のように最初の撮影開始の発音は時刻ｔ４１で、最後の撮影終了の発音は時刻ｔ４９でなされる必要がある。

第２の連写モードにおいて、撮影が終了するのは全押し（ＳＷ２）が終了した時点で、撮影中の分割露光画像が含まれる合成画像の最後のコマの撮影が終了したときである。例えば、時刻ｔ４３〜ｔ４４の間に全押し（ＳＷ２）が終了すると、２枚目の合成画像を生成するのに必要な分割露光が終了する時刻ｔ４７まで撮影が続くことになる。

仮に、時刻ｔ４３より前に全押し（ＳＷ２）が終了すれば、合成画像１枚分つまり時刻ｔ４５で撮影が終了することになる。同様に、時刻ｔ４３〜ｔ４５の間に全押し（ＳＷ２）が終了すれば合成画像２枚分、時刻ｔ４５〜ｔ４７の間に全押し（ＳＷ２）が終了すれば合成画像３枚分で撮影が終了する。

図１０では、時刻ｔ４５〜ｔ４７の間に全押し（ＳＷ２）されたことを想定している。（ａ）のように１回目の撮影開始の発音は時刻ｔ４１、終了の発音は時刻ｔ５３、２回目の撮影開始の発音は時刻ｔ４４、終了の発音は時刻ｔ５６、３回目の撮影開始の発音は時刻ｔ４７、終了の発音は時刻ｔ４９である。

このように、撮影時間（時刻ｔ４１〜ｔ４９）において、ほぼ均等に撮影開始と撮影終了の発音が計３セットなされることで、撮影者は３枚の合成画像を撮影していると認識でき、撮影中に撮影者を混乱させたり違和感を与えることがない。また、仮に時刻ｔ４３より以前に全押し（ＳＷ２）が終了すると、時刻ｔ５３では発音せずに、時刻ｔ４５で撮影終了の発音をして撮影終了となればよいし、時刻ｔ４３と時刻ｔ４５の間に全押し（ＳＷ２）が終了すると、時刻ｔ５６で発音せずに時刻ｔ４７で発音すればよい。

カメラのブロック回路構成図である。座標変換の説明図である。特徴点抽出の説明図である。防振オフ単写モード時のタイミングチャート図である。防振オン単写モード時のタイミングチャート図である。連写モード時のタイミングチャート図である。連写モード時の撮影時間と撮影枚数の関係のグラフ図である。撮影処理動作のフローチャート図である。連写モード時の処理動作のフローチャート図である。連写モード時の発音のタイミングチャート図である。

１撮影レンズ
２絞り
３シャッタ
４撮像部
１２信号処理部
１４撮影制御部
１５画像記憶部
１６ずれ検出部
１７座標変換部
１８画像合成部
１９画像補正部
２０表示部
２１記録部
２７ストロボ
２９スピーカ
３１レリーズ操作部
３５防振操作部
３６撮影モード選択部

Claims

１回の撮影スイッチの操作で撮影された複数の画像を記憶する画像記憶部と、
前記記憶された複数の画像のずれを検出するずれ検出部と、
前記複数の画像の１つを基準として前記ずれ検出部で検出したずれを基に他の画像の座標を変換する座標変換部と、
前記基準とする画像及び前記座標を変換した画像を合成する画像合成部とを有し、前記複数の画像を合成することにより像振れ補正した画像を生成する撮影装置において、
１回の撮影スイッチの操作で最終的に前記像振れ補正した１枚の画像を生成する単写モードと１回の撮影スイッチの操作で最終的に前記像振れ補正した時間的に連続する複数枚の画像を生成する連写モードとを切換える撮影モード選択部と、
前記連写モードが選択された場合に、時間的に連続する２枚の前記像振れ補正した画像は、共通するｎ（ｎは１以上の整数）枚の画像を前記合成する画像として含むように制御する撮影制御部とを有することを特徴とする撮影装置。
撮影開始及び撮影終了の発音をするスピーカと、前記合成に用いる複数の画像の撮影の間に前記スピーカを駆動する発音駆動部とを有し、
前記連写モードが選択された場合には、前記撮影制御部は時間的に連続する複数の前記像振れ補正した画像を生成する際に、１枚目の前記像振れ補正した画像の生成に用いる最初の画像の撮影開始の時点で前記１枚目の前記像振れ補正した画像の撮影開始の発音をし、前記像振れ補正した画像の生成に用いる最後の画像の撮影終了の時点で前記最後の前記像振れ補正した画像の撮影終了の発音をし、かつ時間的に連続する２枚の前記像振れ補正した画像において、１枚目の前記像振れ補正した画像の前記撮影終了の発音の後に２枚目の前記像振れ補正した画像の前記撮影開始の発音をするように制御することを特徴とする請求項１に記載の撮影装置。
前記撮影制御部は被写体の明るさ、撮影光学系の焦点距離、該撮影光学系の絞りの値、撮像素子の感度から成る撮影条件によって前記合成に用いる画像の枚数を演算し、
前記連写モードが選択された場合において前記枚数が所定の枚数を越える場合には、前記撮影制御部は前記単写モードを選択した場合と同様の制御を行うことを特徴とする請求項１に記載の撮影装置。