JP4418632B2 - 撮影装置、合成画像生成方法およびプログラム - Google Patents
撮影装置、合成画像生成方法およびプログラム Download PDFInfo
- Publication number
- JP4418632B2 JP4418632B2 JP2003007609A JP2003007609A JP4418632B2 JP 4418632 B2 JP4418632 B2 JP 4418632B2 JP 2003007609 A JP2003007609 A JP 2003007609A JP 2003007609 A JP2003007609 A JP 2003007609A JP 4418632 B2 JP4418632 B2 JP 4418632B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- displacement amount
- predetermined value
- focus area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Adjustment Of Camera Lenses (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、手振れによる撮影画像の振れを補正することで撮影精度を向上させる撮影装置およびプログラムに関するものである。
【０００２】
【従来の技術】
現在のカメラは露出決定やピント合わせ等の撮影にとって重要な作業は全て自動化され、カメラ操作に未熟な人でも撮影失敗を起こす可能性は非常に少なくなっている。
【０００３】
また、最近では、カメラに加わる手振れを防ぐシステムも研究されており、撮影者の撮影ミスを誘発する要因は殆ど無くなってきている。
【０００４】
ここで、手振れを防ぐ防振システムについて簡単に説明する。
【０００５】
撮影時のカメラの手振れは、周波数として通常１Ｈｚないし１０Ｈｚの振動であるが、露光時点においてこのような手振れを起こしていても像振れの無い写真を撮影可能とするための基本的な考えとして、手振れによるカメラの振動を検出し、この検出結果に応じて補正レンズを光軸直交面内で変位させなければならない（光学防振システム）。
【０００６】
すなわち、カメラ振れが生じても像振れが生じない写真を撮影するためには、第１にカメラの振動を正確に検出し、第２に手振れによる光軸変化を補正することが必要となる。
【０００７】
像振れの補正は、原理的には、レーザージャイロ等により加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理する振動検出部をカメラに搭載することによって行うことができる。そして、振動検出部からのカメラ振れの検出情報に基づき撮影光軸を偏心させる振れ補正光学装置（補正レンズを含む）を駆動することにより像振れ補正が行われる。
【０００８】
一方、手振れが生じない程度の露光時間で複数回撮影を繰り返し、この撮影により得られた複数の画像に対して画像のズレを修正しながら合成して長い露光時間の撮影画像（合成画像）を得る方法がある（例えば、特許文献１参照）。
【０００９】
【特許文献１】
特許第３１１０７９７号
【００１０】
【発明が解決しようとする課題】
最近のデジタルカメラは、銀塩コンパクトカメラに比べて小さくなってきており、特にＶＧＡクラスの撮像素子を持つカメラは携帯電子機器（例えば、携帯電話）に内蔵されるほど小型になってきている。
【００１１】
このような中で、上述した光学防振システムをカメラに搭載しようとすると、振れ補正光学装置をよりいっそう小型化するか、振動検出部を小型化する必要がある。
【００１２】
しかし、振れ補正光学装置では、補正レンズを支持し、これを高精度に駆動してゆく必要があるために小型化には限度がある。また、現在使用されている振動検出部は、ほとんどが慣性力を利用するものなので、振動検出部を小型化すると検出感度が低下し、精度の良い振れ補正ができないという問題がある。
【００１３】
さらに、カメラに加わる振れとしては、所定の軸を中心とする角度振れと、カメラを平行に揺らすシフト振れがあり、角度ぶれは光学防振システムで補正可能であるがシフト振れは慣性力を利用する光学防振システムでは対応できない。特に、カメラが小型になるほどこのシフト振れは大きくなる傾向がある。
【００１４】
一方、別の防振システムとしては、ビデオカメラでの動画撮影に用いられているように撮像素子で画面の動きベクトルを検出し、その動きベクトルに合わせて画像の読み出し位置を変更することで振れのない動画を得る方法もある。
【００１５】
このような方法の場合には、上述した光学防振システムのような専用の振動検出部や補正レンズが不要となるため、製品全体を小型にできるメリットがある。
【００１６】
しかし、このビデオカメラの防振システムをデジタルカメラに簡単に適用することはできない。この理由を以下に説明する。
【００１７】
ビデオカメラにおける動きベクトルの抽出は画像を読み出すごとに行っており、例えば１秒に１５コマの画像を取り出すとすると、この取り出した各画像を比較して動きベクトルを検出している。
【００１８】
ところが、デジタルカメラで静止画を撮影する場合には、撮影被写体に対して１回の露光しか行わないため、ビデオカメラのように画像の比較を行って動きベクトルを検出することはできない。
【００１９】
このため、ビデオカメラの防振システムを単純にデジタルカメラに適応させることはできない。
【００２０】
そこで、本発明は、フォーカスエリア内とフォーカスエリア外から特徴点を抽出し、フォーカスエリア内の特徴点の移動量に応じてフォーカスエリア外の特徴点の移動量を用いて位置あわせすることによって、銀塩カメラの光学防振システムやビデオカメラの防振システムとは異なるデジタルカメラの静止画撮影向けの小型の防振システムを提供することにある。
【００２１】
本願第１の発明は、フォーカスエリアにて合焦させて撮影した複数の画像を合成して合成画像を得る撮影装置であって、前記複数の画像のそれぞれに対して、前記フォーカスエリア内に対応する領域と前記フォーカスエリア外に対応する領域にて特徴点をそれぞれ抽出する抽出手段と、前記複数の画像間で前記フォーカスエリア内に対応する領域にて抽出した特徴点に基づいて第１の変位量を検出し、前記複数の画像間で前記フォーカスエリア外に対応する領域にて抽出した特徴点に基づいて第２の変位量を検出する検出手段と、前記第１の変位量が第１の所定値を超えるかどうかを判定し、前記第２の変位量が第２の所定値を超えるかどうかを判定する判定手段とと、前記判定手段にて前記第１の変位量が前記第１の所定値を超えないと判定され、かつ、前記判定手段にて前記第２の変位量が前記第２の所定値を超えないと判定されたときは、前記フォーカスエリア外に対応する領域にて抽出した前記複数の画像の特徴点同士が一致するように、前記複数の画像を合成する合成手段とを有し、前記第１の所定値は前記複数の画像を撮影する際の露光時間によって変化することを特徴とする。
【００２２】
本願第２の発明は、フォーカスエリアにて合焦させて撮影した複数の画像を合成して合成画像を得る撮影装置であって、前記複数の画像のそれぞれに対して、前記フォーカスエリア内に対応する領域と前記フォーカスエリア外に対応する領域にて特徴点をそれぞれ抽出する抽出手段と、前記複数の画像間で前記フォーカスエリア内に対応する領域にて抽出した特徴点の変位量である第１の変位量と、前記複数の画像間で前記フォーカスエリア外に対応する領域にて抽出した特徴点の変位量である第２の変位量とを検出する検出手段と、前記第１の変位量が第１の所定値を超えるかどうかを判定し、前記第１の変位量と前記第２の変位量の差分が第２の所定値を超えるかどうかを判定する判定手段と、前記判定手段にて前記第１の変位量が前記第１の所定値を超えないと判定され、かつ、前記判定手段にて前記第１の変位量と前記第２の変位量の差分が前記第２の所定値を超えないと判定されたときは、前記第１の変位量と前記第２の変位量の差分に基づいて座標変換を行うことで前記複数の画像を合成する合成手段とを有し、前記第１の所定値は前記複数の画像を撮影する際の露光時間によって変化することを特徴とする。
【００２３】
【発明の実施の形態】
（第１実施形態）
図１は、本発明の第１実施形態であるカメラ（撮影装置）の構成を示した図である。撮影レンズ１１から入射した光束（撮影光）は、シャッタ１２を通り、絞り１３で光量制限された後に撮像部１５に結像する。撮像部１５は、ＭＯＳやＣＣＤなどの半導体撮像素子からなる。
【００２４】
撮影レンズ１１は、ＡＦ駆動モータ１４からの駆動力を受けて光軸１０上を移動し、所定の合焦位置に停止することで焦点調節を行う。ＡＦ駆動モータ１４は焦点駆動部１９からの駆動信号を受けることで駆動する。
【００２５】
絞り１３は複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動部１７からの駆動力を受けることで作動して光通過口となる開口面積（絞り口径）を変化させる。シャッタ１２は複数のシャッタ羽根を有しており、これらのシャッタ羽根は、シャッタ駆動部１８からの駆動力を受けることで光通過口となる開口部を開閉する。これにより、撮像部１５に入射する光束を制御する。
【００２６】
そして、焦点駆動部１９、絞り駆動部１７およびシャッタ駆動部１８の駆動は、撮影制御部１１１により制御されている。
【００２７】
撮影制御部１１１は、後述する信号処理部１１２に取り込まれた画像信号に基づいて被写体輝度の検出（測光）を行い、この測光結果に基づいて絞り１３の絞り口径とシャッタ１２の開き時間を定めている。また、撮影制御部１１１は、焦点駆動部１９を駆動させながら、信号処理部１１２からの出力に基づいて合焦位置を求めている。
【００２８】
撮像部１５から出力される画像信号は、Ａ／Ｄ変換部１１０によりディジタル信号に変換されて信号処理部１１２に入力される。信号処理回路１１２は、入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー映像信号を形成する。
【００２９】
そして、信号処理回路１１２で信号処理された画像信号は、表示部１１６に出力されることにより撮影画像として表示されるとともに、記録部１１７に出力されて記録される。
【００３０】
以上説明した動作は、振れ補正を必要としないような明るさの被写体を撮影する場合である。一方、被写体が暗く、露光秒時が長くなるために手振れの恐れがある場合には、撮影者がカメラに設けられた不図示の操作部（防振スイッチ）を操作することにより、防振システムがオン状態となって以下の動作に切り替わる。
【００３１】
まず、撮影者がカメラに設けられたレリースボタンを半押しすると、撮影準備動作（焦点調節動作や測光動作等）が開始される。測光動作により得られた測光値に基づいてシャッタ１２の開き時間（露光時間）と絞り１３の絞り口径を決定するが、一般的に防振システムを使用するような撮影条件では被写体が暗いので絞りは全開、露光時間は長秒時露光になっている。
【００３２】
そこで、この露光時間を複数の短い露光時間に分割し、この分割した数だけ撮影を繰り返す。このように短い露光時間に分割すると、露光により得られる１枚１枚の画像は露出不足になるが、これらの画像は手振れの影響が少ない画像となる。
【００３３】
そして、複数の画像を撮影終了後に合成して１枚の画像にすることで露出を改善する。
【００３４】
しかし、複数の画像を撮影するとき、複数の撮影により得られた各画像においては手振れの影響が生じていなくても、連続撮影中の手振れにより各画像間における構図（被写体像）は微妙にズレている場合がある。ここで、これらの画像をそのまま合成すると、合成された画像は各画像における構図がズレた分だけぶれた画像になってしまう。
【００３５】
本実施形態において、連続撮影に応じて撮像部１５から撮影毎に複数出力される画像信号は、上述したようにＡ／Ｄ変換部１１０でディジタル信号に変換されてから信号処理部１１２にて信号処理が施される。信号処理部１１２の出力は、撮影制御部１１１に入力されるととともに、ズレ検出部１１３にも入力される。
【００３６】
ズレ検出部（検出手段）１１３は、撮影画像中における特徴点（特定点）を抽出し、この特徴点の撮影画面内における位置座標を割り出す。
【００３７】
例えば、図２に示すようにフレーム１１９ａにおいて人物１２０ａが建物１２１ａを背景にして立っている写真を撮影する場合を考える。このとき、複数枚撮影するとフレーム１１９ｂのように手振れによりフレーム１１９ａに対して構図のずれた画像が撮影されることがある。
【００３８】
ズレ検出部１１３は、フレーム１１９ａの周辺に位置する建物１２１ａのうち輝度の高い点である窓１２２ａのエッジ１２３ａをエッジ検出により特徴点として取り出し、この特徴点１２３ａと、フレーム１１９ｂにおいて取り出した特徴点１２３ｂとを比較し、この差分を補正（座標変換）する。
【００３９】
図２では、フレーム１１９ｂの特徴点１２３ｂを矢印１２４のようにフレーム１１９ａの特徴点１２３ａに重ねるようにして、フレーム１１９ｂを座標変換する。
【００４０】
ここで、特徴点として撮影画面（フレーム）の周辺を選択する理由を以下に説明する。
【００４１】
多くの撮影の場合では、画面中央近傍に主被写体が位置し、且つ主被写体は人物である場合が多い。このようなとき、主被写体を特徴点として選ぶと被写体振れによる不都合が出てくる。
【００４２】
すなわち、複数枚の撮影を行っているときに撮影者の手振ればかりでなく、被写体振れも重畳してくるので被写体振れに基づいて画像の座標変換をしてしまう。
【００４３】
この場合、主被写体の構図が適正になるように座標変換するので好ましい画像ができるように思われるが、一般的には人物の動きは複雑であり、特徴点を選ぶ場所によってズレ検出精度が大きく左右される。
【００４４】
例えば、主被写体（人物）の眼を特徴点として選んだ場合には瞬きの影響が出るし、手の先を特徴点として選択した場合には手は動きやすいので実際の被写体全体の振れとは異なってしまう。
【００４５】
このように人物の１点を特徴点として画像の座標変換を行っても、その人物のすべてが適正に座標変換される訳ではないし、複数の画像を座標変換して合成する場合においても、画像ごとに座標の位置がばらつき、好ましい画像は得られない。
【００４６】
そこで、本実施形態のように撮影画面内の周辺に位置する可能性の高い背景のような静止被写体を特徴点として選択して、画像の座標変換を行ったほうが好ましい画像（像振れの少ない画像）が得られる。この場合には、上述した被写体振れの影響が出てくるが、被写体全体としての振れはわずかなのでそれほど大きな画像劣化にはならない。
【００４７】
図３は、１つのフレームにおいてズレ検出部１１３によって抽出される特徴点の抽出領域を示した図である。
【００４８】
フレーム１１９ａの中で主被写体が位置する可能性の高い領域１２６を避けた周辺領域１２５（斜線部、一方の領域）が特徴点の抽出領域である。この抽出領域１２５は、適宜設定することができる。ズレ検出部１１３は、抽出領域１２５の中で輝度が高く、且つコントラストの高い像を選択して特徴点とする（エッジ検出）。
【００４９】
そして、２枚目以降に撮影された画像については、ひとつ前に撮影された画像における特徴点の位置座標の周辺近傍（カメラの焦点距離で決まる手振れによる構図振れの範囲）から同じ像を探して特徴点とする。
【００５０】
ここでは、説明のために画像ごとの特徴点座標を求めているが、実際には１枚目の画像と２枚目の画像を相関演算し、各々対応する画素の変化を動きベクトルとして特徴点の変化としている。そして、３枚目の画像に対しては２枚目の画像との相関演算で特徴点の変化を求め、以下同様にして各画像の特徴点の変化を求めてゆく。
【００５１】
なお、特徴点は抽出領域１２５の中で１箇所だけ選択するのではなく、複数のポイントを選択しておき、これらのポイントの動きベクトルの平均値、又はスカラーの最小値を特徴点の変化としてもよい。
【００５２】
ここで、特徴点の変化として上記最小値を利用するのは、画面周辺で選択された特徴点もそれ自身が移動する可能性があるため、最も移動しない特徴点を選ぶためである。
【００５３】
座標変換部（座標変換手段）１１４は、ズレ検出部１１３で求めた特徴点の変化にあわせて各画像の画像変換を行う。画像記憶部１１５は、座標変換後の各画像データを記憶する。
【００５４】
画像記憶部１１５に記憶された各画像データは、画像合成部（合成手段）１１８に出力されて各画像が１枚の画像に合成される。
【００５５】
デジタル画像の場合には、１枚の露出不足の写真でもゲインアップすることで露出の補正が可能であるが、ゲインを高くするとノイズも多くなり見苦しい画像になってしまう。
【００５６】
しかし、本実施形態のように多くの画像を合成することで画像全体のゲインをアップさせる場合には、各画像のノイズが平均化されるためにＳ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。
【００５７】
別の考え方をすれば、例えばノイズを許容して撮像部１５を高感度にして複数枚撮影し、これらを加算平均することで画像に含まれるランダムノイズを減少させているともいえる。
【００５８】
ここで、図２のように構図のズレた２枚の写真を合成する場合、図４に示すように２枚の画像が重ならない領域１２７が生ずる。そこで、画像合成部１１８は、領域１２７をカットして、２枚の画像が重なった領域のみについて拡散補完処理を行い、もとのフレームの大きさにする。
【００５９】
合成された画像データは、表示部１１６に撮影画像（静止画像）として表示されるとともに、記録部１１７に記録される。
【００６０】
図５は、上述した動作をまとめたフローチャートであり、このフローは防振スイッチが操作（オン）されたときにスタートする。
【００６１】
ステップＳ１００１では、撮影者がレリースボタンの半押し操作によりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【００６２】
ステップＳ１００２では、撮像部１５において被写体を撮像する。撮影制御部１１１は、信号処理部１１２からの出力に基づいて被写体像（撮影画像）のコントラストを検出しながら、ＡＦ駆動モータ１４を駆動して撮影レンズ１１を光軸方向に移動させる。
【００６３】
そして、最もコントラストが高くなった時点で撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（いわゆる、山登り方式によるＡＦ）。なお、位相差検出により焦点調節を行うこともできる。
【００６４】
また、撮影制御部１１１は、撮像部１５の出力に基づいて被写体の明るさを求める。
【００６５】
ステップＳ１００３では、ステップＳ１００２で求めた被写体の明るさから撮影する枚数を求める。例えば、被写体の明るさを測定（測光）し、この測光結果に基づいて適正に露光するためには、絞り１３を全開（例えばｆ２．８）にし、シャッタ１２の開き時間、すなわち露光時間を１／８秒にする必要があるとする。
【００６６】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では手振れにより像振れが発生する恐れがあるので、像振れが生じないように露光時間を１／３２秒に設定して４回撮影を行うように設定する。
【００６７】
一方、撮影光学系の焦点距離が３００ｍｍであるときには、像振れが生じないように露光時間を１／３２０秒に設定して４０回撮影を行うように設定する。
【００６８】
ステップＳ１００４では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、撮影枚数を表示して撮影者に知らせる。
【００６９】
ステップＳ１００５では、レリースボタンの全押し操作によりｓｗ２がオンになるまで待機する。なお、この待機ステップ中にレリースボタンの半押し操作が解除、すなわちｓｗ１がオフになるとスタートに戻る。
【００７０】
ステップＳ１００６では、１枚目の撮影を開始する。
【００７１】
ステップＳ１００７では、１枚目の撮影が完了するまでステップＳ１００６、ステップＳ１００７を循環して待機する。そして、１枚目の撮影が完了するとステップＳ１００８に進む。
【００７２】
ステップＳ１００８では、ズレ検出部１１３によりフレーム内の抽出領域１２５の中から特徴的な像（特徴点）を抽出し、この像の座標を求める。
【００７３】
ステップＳ１００９では、座標変換部１１４により座標変換を行うが、１枚目の画像のみの場合には、座標変換は行わずそのままステップＳ１０１０に進む。
【００７４】
ステップＳ１０１０では、１枚目の画像データ又は２枚目以降の画像データであれば座標変換された画像データを画像記憶部１１５に記憶する。
【００７５】
ステップＳ１０１１では、ステップＳ１００３で求めた撮影枚数の撮影が終了したか否かを判断しており、全撮影枚数の撮影が終了するまではステップＳ１００６に戻り撮影、特徴点抽出、座標変換、画像記憶（ステップ１００６からステップＳ１０１０）を繰り返す。
【００７６】
このフローでは１枚目の撮影を行い（座標変換）、画像記憶が終了した後に２枚目の撮影を実行しているように見えるが、実際には１枚目の画像データに対して特徴点抽出（座標変換）、画像記憶を行っている間にも２枚目の画像の撮影、撮像部１５からの読み出しが行われている。
【００７７】
ステップＳ１００６からステップＳ１０１１のフローを繰り返すことで、２枚目以降に撮影された画像に関してはステップＳ１００８で特徴点の座標を求めた後、１枚目の画像における特徴点の座標に２枚目以降の画像における特徴点の座標が重なるように座標変換が行われ、２枚目以降の画像の構図はすべて１枚目の画像の構図に揃う。
【００７８】
ステップＳ１０１１ですべての撮影が終了したと判断すると、ステップＳ１０１２に進む。
【００７９】
ステップＳ１０１２では、画像記憶部１１５に記憶された複数の画像を合成する。ここで、画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
【００８０】
ステップＳ１０１３では、合成された画像のうち図４の領域１２７のように各画像が構図振れにより重ならなかった領域をカットし、元のフレームの大きさになるように画像を拡散補完する。
【００８１】
ステップＳ１０１４では、ステップＳ１０１３で得られた画像データをカメラ背面などに配置された液晶表示部に静止画像として表示する。これにより、撮影者は撮影された画像を観察することができる。
【００８２】
ステップＳ１０１５では、ステップＳ１０１３で得られた画像データを、例えば半導体メモリなどで構成されカメラに対して着脱可能な記録媒体に記録する。ステップＳ１０１６では、スタートに戻る。
【００８３】
なお、ステップＳ１０１６の段階でまだ継続してレリースボタンが半押し操作されており、ｓｗ１がオンになっているときには、ステップＳ１００１、♯１００２、♯１００３、♯１００４と再度フローを進めてゆく。また、ステップＳ１０１６の段階でレリースボタンが全押し操作されており、ｓｗ２がオンになっているときには、スタートに戻らずステップＳ１０１６で待機する。
【００８４】
ところで上記フローにおいては各撮影に平行して特徴点のズレ検出と画像の座標変換を行っている。その為に高速の画像処理が必要となる。
【００８５】
もっと廉価なシステムとしては複数枚の撮影をすべて終了してからゆっくりズレ検出と座標変換、合成を行う方法も考えられる。
【００８６】
このような方法では、上述した画像処理の負荷が格段に減り、更にＶＧＡクラスの小さな画像を扱う場合には画像メモリの容量も小さくて済むために手ごろなシステムになる。
【００８７】
図６はその場合のフローであり、図５のフローとはステップ＃１００６から＃１０１２の間が入れ替わっている。
【００８８】
ステップ＃１００６で各撮影を行い、その撮影が終了するたびにステップ＃１０１０で画像を画像記録部１１５に保存する。すべての画像を撮影、保存しおえるまでステップ＃１００７からステップ＃１００６を循環し、すべての画像の保存を終了するとステップ＃１００８に進む。
【００８９】
ステップ＃１００８では、画像記録部１１５に保存された画像に対して上述と同様にズレ検出部１１３によりフレーム内の抽出領域１２５の中から特徴的な像（特徴点）を抽出し、この像の座標を求める。
【００９０】
ステップＳ１００９では、座標変換部１１４により座標変換を行い変換後の画像を再度、画像記録部１１５に保存する。なお、１枚目の画像のみ座標変換は行わない。
【００９１】
ステップＳ１０１２では、画像記録部１１５に保存され、座標変換された画像（１枚目は座標変換されていない）をすべて合成する。
【００９２】
この様にすべての撮影が終了した後、画像を表示するまでの時間（例えば１秒）を利用してゆっくり画像の処理を行えるので高価な画像処理チップを用いなくても防振システムを構築できる。
【００９３】
また、携帯電子機器に搭載されるカメラのように画像サイズが小さい（たとえばＶＧＡ）場合には、撮影画像データを一時的に保存する画像記録部１１５の容量は小さくてすむ。
【００９４】
この様にすべての画像の撮影が終了した後でズレ検出や或いは座標変換、画像合成を行うことで大掛かりな装置が不要で簡単に防振システムを実現できる。
【００９５】
（第２実施形態）
本実施形態のカメラは、上述した第１実施形態におけるカメラの変形例である。ここで、本実施形態のカメラの構成は、第１実施形態（図１）で説明した構成と概ね同様である。
【００９６】
第１実施形態において、ズレ検出部１１３により抽出される特徴点の抽出領域は、フレームの周辺領域１２５に設定されている。
【００９７】
しかし、特徴点の抽出領域は、フレームの周辺領域１２５に限られず、撮影画面内に設けられたフォーカスエリア以外の領域を特徴点の抽出領域としたり、現在ピントが合っている領域以外を特徴点の抽出領域としたりすることができる。
【００９８】
これは撮影するときには主被写体（人物）をフォーカスエリアに重ねるため、特徴点を主被写体以外にするためには、フォーカスエリア以外の領域を特徴点抽出領域に設定すればよいからである。
【００９９】
図７は、撮影画面内における特徴点抽出領域を示した図である。撮影画面（フレーム１１９ａ）内に設けられたフォーカスエリア（焦点検出領域）１２８ａ、１２８ｂ、１２８ｃ、１２８ｄ、１２８ｅの中で主被写体を捕らえているフォーカスエリア１２８ｃで合焦している場合には、このフォーカスエリア１２８ｃを中心とする主被写体領域１２６を除く画面周辺領域１２５を特徴点抽出領域に設定する。
【０１００】
すなわち、主被写体が、フォーカスエリア１２８ａ、１２８ｂ、１２８ｃ、１２８ｄ、１２８ｅのうちいずれかのフォーカスエリアに位置しているかに応じて、主被写体領域１２６および特徴点抽出領域が変更される。
【０１０１】
そして、この特徴点抽出領域の中で適した像を特徴点として、この特徴点の座標に基づいて各画像のズレを補正して画像合成を行うようにすれば好ましい画像合成が行える。
【０１０２】
また、図５のフローのようにすべての画像の座標変換が終了して、これらの画像の保存が終わってから画像の合成を行うのではなく、撮影を続行しながら画像の合成を同時進行で行ってもよい。
【０１０３】
図８は、このような動作を説明するタイミングチャートである。露光ｆ１に対して、撮像部１５で光電変換されて電荷蓄積された信号が撮像信号Ｆ１として読み出される。そして、撮像信号Ｆ２の読み出しと同時進行で前の撮像信号Ｆ１と今回の撮像信号Ｆ２との相関演算を行う。これにより２つの画像における特徴点の変化を求め、２つの画像信号Ｆ１、Ｆ２を合成して合成信号Ｃ２を得る。
【０１０４】
次に、撮像信号Ｆ３の読み出しと同時進行で前回の合成信号Ｃ２と今回の撮像信号Ｆ３との相関演算を行うことで特徴点の変化を求め、合成信号Ｃ２及び撮像信号Ｆ３を合成して合成信号Ｃ３を得る。
【０１０５】
次に、撮像信号Ｆ４の読み出しと同時進行で前回の合成信号Ｃ３と今回の撮像信号Ｆ４との相関演算を行うことで特徴点の変化を求め、合成信号Ｃ３及び撮像信号Ｆ４を合成して合成信号Ｃ４を得る。
【０１０６】
そして、得られた合成信号Ｃ４（合成画像）を、カメラ背面などに設けられた液晶表示部に表示するとともに、記録媒体に記録する。
【０１０７】
図９は、以上の動作を説明するフローチャートである。図５のフローチャートと比較すると、ステップＳ１０１０の画像保存がなくなり、座標変換（ステップＳ１００９）が行われた後、画像合成（ステップＳ１０１２）が行われ、全撮影枚数の撮影が完了したか否かを判断（ステップＳ１０１１）するようになっている。
【０１０８】
本実施形態において、ステップＳ１０１０の画像保存が廃止されたのは、撮影された画像は撮影と同時進行で前の撮影で得られた画像と合成されるため、最終的には１枚の合成画像しか存在しておらず、複数の撮影画像を保存する必要がないためである。
【０１０９】
すなわち、撮影ごとに合成画像が更新されるので各撮影画像を保存しておく必要がない。したがって、本実施形態のカメラでは、図１で示した画像記憶部１１５を備えていない。
【０１１０】
なお、図９のフローにおいてもステップＳ１０１１の全画像処理が完了するまで次の撮影を行わないように見えるが、実際は図８のタイミングチャートのように撮影や撮像信号出力、相関演算や画像合成は同時進行で行われている。
【０１１１】
以上説明したように本発明の第１実施形態及び第２実施形態においては、手振れの生じないような短い露光時間で撮影を複数回繰り返し、撮影された複数の画像を合成することで露出の不足を補完できることに着目し、更に合成前に各画像ごとに座標変換を行い手振れにより生ずる各画像の構図のズレを補正することで、合成画像に生ずる像振れをなくす構成にしている。
【０１１２】
これにより、デジタルカメラでありながらビデオカメラと同様に電子的に振れ補正が行えるため、銀塩カメラに比べて格段に小さい防振システムを構築でき、且つ、画像そのもののズレを補正しているために角度振ればかりではなくシフト振れも補正することができる。
【０１１３】
しかも、上述した第１実施形態および第２実施形態は、撮影される各画像の構図のズレを補正する座標変換のためのズレ検出において、撮影画面内のどの領域で特徴点を抽出すべきかを考えたものである。
【０１１４】
例えば、撮影画面を図３や図７に示すように２つの領域１２５、１２６に分割し、主被写体（人物）が位置する可能性の高い領域１２６で特徴点を抽出して構図ズレの検出を行うと、人物そのものの振れにより構図のズレが正確に判断することができない。
【０１１５】
このため、上述した第１実施形態および第２実施形態のように、撮影画面内のうち領域１２６以外の領域である領域１２５において、輝点１２２ａなどの特徴点の位置座標を画像ごとに検出し、各画像で検出された特徴点が同じ位置に揃うように各画像を座標変換した後に、画像合成を行うことで像振れのない１枚の画像を得ることができる。
【０１１６】
（第３実施形態）
図１０は、本発明の第３実施形態であるカメラのブロック図である。本実施形態において、第１実施形態（第２実施形態）と異なる点は、画像の合成時に各画像を座標変換するのではなく、まず構図ズレの小さい画像のみを選択して、この選択された画像を合成することで振れのない合成画像を得るようにしている点である。
【０１１７】
このため、本実施形態におけるカメラの構成では、第１実施形態（図１）で設けられていた座標変換部１１４が省略され、代わりに画像選択部（画像選択手段）２１及び選択制御部（選択制御手段）２２が設けられている。なお、他の構成については、第１実施形態と同様である。
【０１１８】
画像選択部２１は、第１実施形態と同様にズレ検出部１１３で求められた各画像における特徴点座標の中で座標位置が概ねずれていない画像だけを選択し、画像記憶部１１５に記憶するようになっている。
【０１１９】
このため、画像合成部１１８で合成に使われる画像は、特徴点座標のズレが少ない画像となるため、座標変換しなくても画像を合成しただけで像振れのない画像を得ることができる。
【０１２０】
しかし、第１実施形態と異なりあらかじめ設定された撮影枚数だけでは画像合成に必要な画像が足りなくなる場合がある。すなわち、本実施形態では、構図ズレの大きい画像は画像選択部２１により画像合成に必要な画像として選択されないからである。
【０１２１】
これを防止するためには、あらかじめ撮影する画像の枚数を、実際に必要な画像枚数（測光結果により求められる撮影枚数）よりも多くしておく必要がある。
【０１２２】
一方、被写体が暗くなってゆくと、それにしたがって撮影に必要な枚数が増加し、すべての撮影を終わらせるのに必要な時間が長くなる。
【０１２３】
このように撮影時間が長くなると、手振れによる構図ズレも多くなってしまい、画像選択部２１で選択できる画像が少なくなり、いつまでたっても適正露出の画像を得ることができなくなってしまう。
【０１２４】
そこで、本実施形態では、被写体が暗くなるのに伴い画像選択部２１の選択基準を低くして、ある程度の構図ズレは許容して画像合成を行うようにしている。
【０１２５】
図１０において、選択制御部２２は、画像選択部２１における選択基準を決定する役割を担っており、撮影制御部１１１からの撮影情報として被写体が暗く、適正露出を得るための撮影枚数が多くなる場合には、画像選択部２１の選択基準をゆるく、すなわち特徴点座標の許容変化量を大きくしている。
【０１２６】
図１１は、本実施形態のカメラにおける撮影動作を示すフローチャートであり、このフローは、カメラに設けられた防振スイッチをオンさせたときにスタートする。
【０１２７】
ステップＳ１００１では、撮影者がレリースボタンを半押し操作することによりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【０１２８】
ステップＳ１００２では、撮像部１５で露光が行われる。撮影制御部１１１は、信号処理部１１２からの出力に基づいて撮影画像のコントラストを検出しながら、ＡＦ駆動モータ１４を駆動して撮影レンズ１１を光軸方向に移動させる。そして、被写体像のコントラストがピークに達した時点で、撮影レンズ１１の移動を停止させることにより、撮影光学系を合焦状態とする。また、撮影制御部１１１は、撮像部１５の出力に基づいて被写体の明るさを求める。
【０１２９】
ステップＳ１００３では、ステップＳ１００２で求めた被写体の明るさから撮影する枚数を求める。
【０１３０】
例えば、被写体の明るさを測光し、この測光結果に基づいて適正に露光を行うためには、絞り１３を全開（例えばｆ２．８）にするとともにシャッタ１２の開き時間、すなわち露光時間を１／８秒にする必要があるとする。
【０１３１】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときには、露光時間を１／８秒とする撮影では手振れによる像振れが発生する恐れがあるので、像振れが生じないように露光時間を１／３２秒に設定して８回撮影を行うように設定する。
【０１３２】
第１実施形態では、同一条件下で連続撮影回数を４回としているが、本実施形態では構図ズレの大きい画像が画像合成に使われないため、破棄する画像を見込んで撮影枚数を倍に設定している。
【０１３３】
一方、撮影光学系の焦点距離が３００ｍｍであるときには、像振れが生じないように露光時間を１／３２０秒に設定して８０回撮影を行うように設定する。これも第１実施形態の場合に比べて倍の撮影回数に設定している。
【０１３４】
ステップＳ１００４では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、撮影枚数を表示して撮影者に知らせる。
【０１３５】
ステップＳ１００５では、レリースボタンの全押し操作により、ｓｗ２がオンになるまで待機する。なお、この待機ステップ中にレリースボタンの半押し操作が解除され、ｓｗ１がオフになったときにはスタートに戻る。
【０１３６】
ステップＳ１００６では、１枚目の撮影を開始する。
【０１３７】
ステップＳ１００７では、１枚目の撮影が完了するまでステップＳ１００６、♯１００７を循環して待機する。そして、１枚目の撮影が完了するとステップＳ１００８に進む。
【０１３８】
ステップＳ１００８では、ズレ検出部１１３によりフレームの領域１２５（図３又は図７）の中から特徴的な像（特徴点）を抽出し、この像の座標を求める。
【０１３９】
実際には、ここで相関演算が行われて特徴点の変化量が求められ、２枚目の画像がこのステップに来た時に１枚目の画像と相関演算されて特徴点の変化量が求められる。
【０１４０】
また、３枚目、４枚目の画像に対してもこのステップで、予め記憶してある１枚目の画像との相関演算が行われて特徴点の変化量が求められる。
【０１４１】
ステップＳ２００１では、選択制御部２２がステップＳ１００２で求めた画像の明るさに対応して画像選択部２１の選択基準（画像選択の際に基準となる特徴点の変化量）を変更する。
【０１４２】
具体的には、適正露出を得るためにトータルの露光時間が１／８秒必要な被写体の明るさの場合には、トータルの露光時間が１／１５秒必要な被写体の明るさの場合に比べて構図ズレ（特徴点の変化量）の許容量（選択基準の値）を倍に設定している。
【０１４３】
例えば、トータルの露光時間が１／１５秒の場合には、特徴点における変化量を撮像部１５の５画素分（選択基準）まで許容して、画像合成に使用する画像を選択する。一方、トータルの露光時間が１／８秒の場合には、特徴点における変化量を１０画素分（選択基準）まで許容して、画像合成に使用する画像を選択する。
【０１４４】
ステップＳ２００２では、ステップＳ２００１で求めた画像の選択基準に基づいて撮影された画像を判定し、判定対象となる画像のうち特徴点座標の変化量が許容量（選択基準）を超える画像がある場合には、ステップＳ２００３に進んでこの画像を破棄するとともにステップＳ１００６に戻る。
【０１４５】
なお、最初の１枚目の画像が撮影されたときには、画像の選択は行わずにそのままステップＳ１０１０に進む。
【０１４６】
ステップＳ１０１０では、選択された画像データを画像記憶部１１５に記憶する。
【０１４７】
ステップＳ１０１１では、ステップＳ１００３で求めた撮影枚数の撮影が終了したか否かを判断しており、全撮影枚数の撮影が終了するまではステップＳ１００６に戻り撮影、特徴点抽出、画像選択、画像記憶（ステップ１００６〜ステップＳ１０１０）を繰り返す。
【０１４８】
これにより、画像記憶部１１５に記憶される２枚目以降の画像の構図はすべて１枚目の画像の構図にほぼ揃うことになる。そして、すべての撮影が終了するとステップＳ１０１２に進む。
【０１４９】
ステップＳ１０１２では、画像記憶部１１５に記憶された複数の画像を合成する。
【０１５０】
ここで、画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
【０１５１】
本実施形態と第１実施形態との違いは、第１実施形態において合成される画像は、例えばトータル１／８秒の露光時間の場合には撮影枚数が４枚に決まっていたが、本実施形態の場合には選択される画像が何枚かが分からない点にある。
【０１５２】
ここで、画像合成に使用される画像（適正画像）が４枚以上得られたときには、得られた画像の中から最も構図ズレ（特徴点の変化量）の少ない画像から順番に選択された４枚の画像を画像合成に使用している。逆に２枚しか適正画像が得られなかった場合には、この２枚の画像だけで画像合成を行い、多少のノイズは許容して画像のゲインアップを行い露出の適正化を図る。
【０１５３】
なお、第１実施形態においては、ステップＳ１０１３で合成された画像のうち、各画像が構図ズレにより重ならなかった領域をカットし、元のフレームの大きさになるように画像を拡散補完している。
【０１５４】
しかし、本実施形態においては、構図ズレの少ない画像を選んで画像合成に使用しているため画像が重ならない領域は少なく、第１実施形態におけるステップＳ１０１３に相当するステップはなくなっている。
【０１５５】
すなわち、本実施形態においては、撮影画面全体を無駄なく再現した振れ補正を行うことができる。
【０１５６】
ステップＳ１０１４では、ステップＳ１０１２で得られた画像データを、カメラ背面などに配置された液晶表示部に撮影画像として表示する。
【０１５７】
ステップＳ１０１５では、ステップＳ１０１２で得られた画像データを記録媒体に記録する。
【０１５８】
ステップＳ１０１６では、スタートに戻る。
【０１５９】
なお、ステップＳ１０１６の段階でまだ継続してレリースボタンが半押し操作されており、ｓｗ１がオンになっているときはそのままステップＳ１００１、♯１００２、♯１００３、♯１００４と再度フローを進めてゆく。また、ステップＳ１０１６の段階でレリースボタンが全押し操作されており、ｓｗ２がオンになっているときには、スタートに戻らずステップＳ１０１６で待機する。
【０１６０】
以上説明したように本実施形態においては、第１実施形態のように画像の座標変換を行うのではなく、構図ズレの少ない画像のみを選択して画像合成をしている。
【０１６１】
このため、デメリットとしては構図ズレの大きな画像の破棄を見込んで撮影枚数が多くなってしまうが、画像の座標変換の大きな負荷がなくなるとともに、座標変換後の合成に伴う画面の欠けがないために画面全体を再現できるメリットがある。
【０１６２】
（第４実施形態）
本発明の第４実施形態であるカメラは、第３実施形態におけるカメラの変形例であり、本実施形態におけるカメラの構成は、第３実施形態（図１０）で説明した構成と同様である。
【０１６３】
第３実施形態では、図１１のフローチャートから分かるようにステップＳ２００３で画像の破棄を行った後、画像を破棄した分だけ撮影を追加する構成となっており、はじめの撮影枚数に余裕を見込まない構成にすれば余分な撮影を避けることができる。しかし、この場合にはあらかじめ何枚撮影するのかが撮影者に分からない点、撮影終了の予測がつかない点などが問題になる。
【０１６４】
しかしながら、上記方法においても撮影枚数の目安を表示して撮影者に知らせるようにし、表示した枚数を超える撮影が行われるときには強制的に撮影を終了する構成にしておけば無駄の少ない撮影が行えるようになる。
【０１６５】
図１２は、上述した動作を説明するフローチャートであり、このフローはカメラに設けられた防振スイッチをオンさせたときにスタートする。
【０１６６】
ステップＳ１００１では、撮影者がレリースボタンを半押し操作することにより、ｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【０１６７】
ステップＳ１００２では、撮像部１５での露光が行われる。撮影制御部１１１は、信号処理部１１２からの出力に基づいて画像のコントラストを検出しながら、ＡＦ駆動モータ１４を駆動することにより撮影レンズ１１を光軸方向に移動させる。そして、被写体像のコントラストがピーク値になった時点で、撮影レンズ１１の移動を停止することにより撮影光学系を合焦状態にする。また、同時に撮像部１５の出力に基づいて被写体の明るさを求める。
【０１６８】
ステップＳ１００３では、ステップＳ１００２で求めた被写体の明るさから撮影する枚数を求める。
【０１６９】
例えば、被写体の明るさを測光し、この測光結果に基づいて適正に露光を行うためには、絞り１３を全開状態（例えばｆ２．８）にするとともにシャッタ１２の開き時間（露光時間）を１／８秒にする必要があるとする。
【０１７０】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では手振れによる像振れが発生する恐れがあるので、像振れの恐れがないように露光時間を１／３２秒に設定して８回撮影を行うように設定する。
【０１７１】
第１実施形態では、同一条件下で撮影回数を４回としているが、本実施形態では構図ズレの大きい画像は合成に使わないようにしているため、破棄する画像を見込んで撮影枚数を倍に設定している。
【０１７２】
一方、上記条件下で、撮影光学系の焦点距離が３００ｍｍであるときには、像振れの恐れのないように露光時間を１／３２０秒に設定して８０回撮影を行うように設定する。これも第１実施形態に比べて倍の設定にしている。
【０１７３】
ステップＳ２００６では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、推定する撮影枚数を表示して撮影者に知らせる。
【０１７４】
ここで、推定枚数としたのは、実際に画像合成に使用する画像の枚数は、各撮影画像の構図のズレ量（特徴点の変化量）により変化するためである。例えば、カメラがしっかりと固定されており、１枚も構図ズレがない場合には４枚の撮影枚数で終了する。一方、構図ズレが大きい画像が得られたときには、８枚の撮影でも画像合成に必要な画像は足りなくなる可能性がある。
【０１７５】
ステップＳ１００５では、レリースボタンの全押し操作により、ｓｗ２がオンになるまで待機する。なお、この待機ステップ中にレリースボタンの半押し操作が解除され、ｓｗ１がオフになったときにはスタートに戻る。
【０１７６】
ステップＳ１００６では、１枚目の撮影を開始する。
【０１７７】
ステップＳ１００７では、１枚目の撮影が完了するまでステップＳ１００６、♯１００７を循環して待機する。そして、１枚目の撮影が完了するとステップＳ１００８に進む。
【０１７８】
ステップＳ１００８では、ズレ検出部１１３によりフレームの周辺領域１２５（図３又は図６）の中から特徴的な像（特徴点）を抽出し、その像の座標を求める。
【０１７９】
実際には、ここで相関演算が行われて特徴点の変化量が求められ、２枚目の画像がこのステップに来た時に１枚目の画像と相関演算されて特徴点の変化量が求められる。
【０１８０】
また、３枚目、４枚目の画像に対してもこのステップで、予め記憶してある１枚目の画像との相関演算が行われて特徴点の変化量が求められる。
【０１８１】
ステップＳ２００１では、選択制御部２２がステップＳ１００２で求めた像の明るさに対応して画像選択部２１の選択基準（画像選択の際に基準となる特徴点の変化量）を変更する。
【０１８２】
具体的には、適正露出のためにトータルの露光時間が１／８秒必要な被写体の明るさの場合には、トータルの露光時間が１／１５秒必要な被写体の明るさの場合に比べて構図ズレの許容量（選択基準）を倍に設定する。
【０１８３】
例えば、トータルの露光時間が１／１５秒の場合に、特徴点における変化量を撮像部１５の５画素分（選択基準）まで許容するとしたとき、トータルの露光時間が１／８秒の場合には特徴点の変化量を１０画素分（選択基準）まで許容するようにする。
【０１８４】
ステップＳ２００２では、ステップＳ２００１で求めた画像の選択基準に基づいて撮影された画像を判定し、判定対象となる画像のうち特徴点座標が許容量（選択基準の値）を超える画像がある場合には、ステップＳ２００３に進んでこの画像を破棄するとともにステップＳ１００６に戻る。
【０１８５】
なお、最初の１枚目の画像を撮影したときには、画像の選択は行わずにそのままステップＳ１０１２に進む。
【０１８６】
ステップＳ１０１２では、選択された画像の合成を行う。
【０１８７】
ここで、画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
【０１８８】
ステップＳ２００４では、露出適正化に必要な撮影枚数（推定枚数）だけ画像合成を行えたか否かを判別している。
【０１８９】
例えば、トータル１／８秒の露光時間の場合に、露光時間１／３２秒として複数回の撮影を行う場合において、ステップＳ２００２で選択された構図ズレの少ない画像が４枚得られ、これらの画像が合成された時点でステップＳ２００５に進む。
【０１９０】
一方、必要枚数の画像が合成されていない場合には、必要枚数の画像合成が完了するまでステップＳ１００６に戻り、撮影、特徴点抽出、画像選択、画像合成（ステップＳ１００６〜ステップＳ１０１２）を繰り返す。
【０１９１】
なお、ステップＳ２００７は、ステップＳ２００４とステップＳ１００６の間に設けられており、現在の撮影枚数が推定した撮影枚数（例えば８枚）以内の場合にはステップＳ１００６に進み、推定枚数を超えたときはステップＳ２００５に進む。
【０１９２】
これは、構図ズレの少ない画像を撮影するためにむやみに撮影枚数を増やすことを防ぐためである。
【０１９３】
そして、適正露出に必要な撮影枚数だけ合成用の画像として得られなかった場合、例えば画像合成に４枚の画像が必要なのに構図ズレの小さい画像が２枚しか得られなかった場合には、得られた画像のみを合成して合成画像信号のゲインアップをして露出の補正を行う。
【０１９４】
なお、第１実施形態においてはステップＳ１０１３で合成された画像のうち各画像が構図ズレにより重ならなかった領域をカットし、元のフレームの大きさになるように画像を拡散補完している。
【０１９５】
しかし、本実施形態においては構図ズレの少ない画像を選んで画像合成に使用しているので画像が重ならない領域は少なく、第１実施形態のステップＳ１０１３に相当するステップはなくなっている。
【０１９６】
すなわち、本実施形態においては、撮影画面全体を無駄なく再現した振れ補正を行うことができる。
【０１９７】
ステップＳ２００５では、実際に撮影した枚数を、カメラのファインダ内に設けられた表示部やカメラ背面に設けられた液晶表示部に表示する。
【０１９８】
ステップＳ１０１４では、ステップＳ１０１２で得られた合成画像データを、カメラ背面などに配置された液晶表示部に撮影画像として表示する。
【０１９９】
ステップＳ１０１５では、ステップＳ１０１２で得られた画像データを記録媒体に記録する。
【０２００】
ステップＳ１０１６では、スタートに戻る。
【０２０１】
なお、ステップＳ１０１６の段階でまだ継続してレリースボタンが半押し操作されることによりｓｗ１がオンになっているときには、そのままステップＳ１００１、♯１００２、♯１００３、♯１００４と再度フローを進めてゆく。また、ステップＳ１０１６の段階でレリースボタンが全押し操作されて、ｓｗ２がオンになっているときには、スタートに戻らずステップＳ１０１６で待機する。
【０２０２】
複数枚の画像はそれらを合成するごとに１枚１枚の露出不足が改善されてゆく。このため、撮影前の測光によりあらかじめ露出改善に必要な撮影枚数は分かる。
【０２０３】
しかし、これらの撮影画像の中には構図ズレが大きく合成に適さない画像もある。
【０２０４】
そこで、上述した第３実施形態および第４実施形態では、複数の撮影を実行するときにはあらかじめ必要な撮影枚数以上の撮影を行い、これにより得られた画像の中から比較的構図ズレの少ない画像を選択し、選択された画像を合成することで振れの少ない合成画像を得ることができる。
【０２０５】
例えば、長時間の露光を行いたい場合には、１回の露光撮影を多くの短時間露光撮影に分けて撮影するが、撮影枚数が多くなるに伴い各画像の構図ズレも大きくなる。
【０２０６】
このため、画像選択部２１で合成に適する画像を必要枚数選択することができなくなる恐れがある。
【０２０７】
そこで、第４実施形態では、長時間露光のような撮影条件の場合には画像の選択基準を甘くして、多少の構図ズレの画像は選択するようにして確実に撮影が続行できるようにしている。
【０２０８】
（第５実施形態）
図１３は、本発明の第５実施形態であるカメラの構成図である。同図において、図１および図１０で説明した部材と同じ部材については、同一符号を付して説明を省略する。
【０２０９】
本実施形態において第３実施形態（第４実施形態）と異なる点は、ある程度の構図ズレの画像は画像選択部で許容して合成画像として使用し、このような画像は第１実施形態のように座標変換して構図ズレの補正を行う点にある。
【０２１０】
しかも、画像の選択に際しては、第３実施形態のようにフレームの周辺の静止物など（図３又は図７の領域１２５）における特徴点の変化だけではなく、主被写体（人物）の特徴点の変化も考慮に入れている点にある。
【０２１１】
ここで、第１実施形態のように画像の座標変換を行うとともに、第２実施形態のように画像の選択を行う理由について説明する。
【０２１２】
実際に複数撮影した画像においては、撮影時間が長くなるにしたがって大きな構図ズレの画像も出てくる。
【０２１３】
そして、このような大きな構図ズレの場合、画像を座標変換してから合成しても画面欠け（図４の領域１２７）の部分が大きくなり、鑑賞用の画像領域が極端に狭くなってしまう。
【０２１４】
また、大きな構図ズレの場合には、単に座標上で像がシフトしただけではなく、カメラのレンズ特性やカメラのあおり姿勢の変化による画像ひずみが大きくなるので、画像上の一部の特徴点の変化を座標変換で補完しても像全体が前の画像とうまく重ならなくなる。
【０２１５】
このため、ある程度構図ズレの小さい画像のみを選択し、この選択した画像に対して座標変換を行ってから画像合成を行うようにしている。
【０２１６】
次に、画像の選択として第２実施形態のように画面周辺の特徴点の変化ばかりではなく主被写体の動きの大きさも考慮に入れている点を説明する。
【０２１７】
露光時間が長くなると手振れによる構図の変化ばかりでなく、主被写体の動き（被写体振れ）も大きくなる。
【０２１８】
そして、各撮影の中で主被写体の動きの大きな画像を合成してしまうと、合成された画像の主被写体はボケた画像になってしまう。
【０２１９】
例えば、複数枚の撮影を行う時に最後の撮影に近くなると、主被写体（人物）は撮影が終了したと勘違いして撮影位置から動いてしまうことがある。
【０２２０】
そこで、本実施形態では、このように主被写体の動きが大きい画像も合成には使用しない構成にしている。
【０２２１】
図１３において、第２の画像選択部３２は、図３の領域１２６や図７の領域１２６のように主被写体の位置する領域における特徴点の変化が大きいときには、この画像は合成用には使用しないようにしている。
【０２２２】
信号処理部１１２から出力される信号は、ズレ検出部１１３に入力され、このズレ検出部１１３において特徴点の変化が求められる。
【０２２３】
この特徴点の変化は、撮影画面を、図３や図７の領域１２５（主被写体領域以外の領域）と領域１２６（主被写体領域など）に分けて、それぞれの領域において特徴点の変化を求めている。そして、各領域において複数の特徴点の変化が求められ、各領域ごとに平均値、又は上述した最小値が求められる。
【０２２４】
第１の画像選択部３１は、ズレ検出部１１３により撮影画像の領域１２５（図３や図７）における特徴点の変化と、選択制御部２２で決定される選択基準（画像選択の際に基準となる特徴点の変化量）とに基づいて画像選択を行い、選択された画像のみ第２の画像選択部３２に出力する。
【０２２５】
ここで、画像の選択基準は、第３実施形態における選択基準ほど厳しくはしていない。これは、ある程度の構図ズレ（特徴点の変化）は、座標変換部１１４により補正（座標変換）できるからである。
【０２２６】
このため、第３実施形態では、例えばトータルの露光時間が１／１５秒の場合には、特徴点の変化量が撮像部１５の５画素分（選択基準）まで許容するとしているが、本実施形態では特徴点の変化量が１０画素分（選択基準）まで許容するようになっている。
【０２２７】
また、この選択基準も第３実施形態と同様に選択制御部２２により変更されて、トータルの露光時間が１／８秒必要な被写体の明るさの場合には、トータルの露光時間が１／１５秒必要な被写体の明るさの場合に比べて選択基準の値を倍に設定している。
【０２２８】
例えば、トータルの露光時間が１／１５秒の場合には、特徴点の変化量が撮像部１５の１０画素分（選択基準）まで許容し、トータルの露光時間が１／８秒の場合には２０画素分（選択基準）まで許容して画像の選択を行う。
【０２２９】
第２の画像選択部３２は、ズレ検出部１１３の領域１２６（図３や図７）における特徴点変化に基づき画像選択を行い、選択された画像のみを座標変換部１１４に出力する。
【０２３０】
なお、ここでの特徴点の変化は領域１２５における特徴点の変化分を削除した値であり、構図ズレのない純粋な主被写体（人物）の動きを特徴点の変化としており、単純に領域１２６における特徴点の変化を求めた値ではない。
【０２３１】
第２の画像選択部３２の役割は、前述したように主被写体の振れが大きい画像を画像合成には使わないようにすることであり、例えば主被写体の振れ（特徴点の変化量）が撮像部１５の１０画素以上変化している画像は合成に使用しないようにしている。
【０２３２】
座標変換部１１４は、第１実施形態と同様に第２の画像選択部３２より出力された画像を領域１２５における特徴点変化に基づいて座標変換し、この結果を画像記憶部１１５に出力する。
【０２３３】
画像記憶部１１５は、各画像データが適正露出のために必要な合成枚数だけ蓄積すると、これらの画像データを画像合成部１１８に出力する。
【０２３４】
画像合成部１１８は、入力された画像を加算平均して１枚の画像に合成し、適正にゲイン変更するとともに、図４の画面欠け領域１２７をカットして、元のフレームの大きさにあわせるように画像を拡大補完する。
【０２３５】
そして、仕上がった画像データは、表示部１１６及び記録部１１７に出力されて、カメラの背面に設けられた液晶表示部に撮影画像として表示されるとともに、半導体メモリなどで構成される記録媒体に記録される。
【０２３６】
図１４は、本実施形態における撮影動作を示すフローチャートであり、このフローは防振スイッチをオンさせたときにスタートする。
【０２３７】
ステップＳ１００１では、撮影者がレリースボタンの半押し操作を行うことにより、ｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【０２３８】
ステップＳ１００２では、撮像部１５で撮像が行われる。撮影制御部１１１は、信号処理部１１２の出力に基づいて画像のコントラストを検出しながら、ＡＦ駆動モータ１４を駆動して撮影レンズ１１を光軸方向に移動させる。そして、コントラストがピーク値に達した時点で、撮影レンズ１１の移動を停止させる。これにより、撮影光学系は合焦状態となる。
【０２３９】
また、撮影制御部１１１は、撮像部１５の出力に基づいて被写体の明るさを求める。
【０２４０】
ステップＳ１００３では、ステップＳ１００２で求めた被写体の明るさから撮影する枚数を求める。
【０２４１】
例えば、被写体の明るさを測光し、この測光結果に基づいて適正に露光するためには、絞り１３を全開（例えばｆ２．８）にするとともにシャッタ１２の開き時間、露光時間を１／８秒にする必要があるとする。
【０２４２】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では手振れによる像振れが生じる恐れがあるので、像振れの恐れがないように露光時間を１／３２秒に設定して６回撮影を行うように設定する。
【０２４３】
第１実施形態では、同一条件下で撮影回数を４回としており、第３実施形態では構図ズレ（特徴点の変化量）の大きい画像は合成に使わないため、破棄する画像を見込んで撮影枚数を倍に設定している。
【０２４４】
一方、本実施形態においては、構図ズレによる破棄画像の判定をゆるく（選択基準の値を大きく）し、このときの信号処理工程で座標変換により構図ズレを補正するため、第３実施形態よりも撮影枚数は少なくしている。
【０２４５】
また、撮影光学系の焦点距離が３００ｍｍであるとき、像振れの恐れがないように露光時間を１／３２０秒に設定して６０回撮影を行うように設定する。
【０２４６】
これも第１実施形態より多く、第３実施形態より少ない枚数に設定にしている。
【０２４７】
ステップＳ１００４では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、撮影枚数を表示して撮影者に知らせる。
【０２４８】
ステップＳ１００５では、レリースボタンが全押し操作されることによりｓｗ２がオンになるまで待機する。
【０２４９】
なお、この待機ステップ中にレリースボタンの半押し操作が解除され、ｓｗ１がオフになったときにはスタートに戻る。
【０２５０】
ステップＳ１００６では、１枚目の撮影を開始する。
【０２５１】
ステップＳ１００７では、１枚目の撮影が完了するまでステップＳ１００６、ステップＳ１００７を循環して待機する。そして、１枚目の撮影が完了するとステップＳ１００８に進む。
【０２５２】
ステップＳ１００８では、ズレ検出部１１３が撮影画面内の領域１２５（図３や図７）の中から特徴的な像（特徴点）を抽出し、その像の座標を求める。
【０２５３】
実際には、ここで相関演算が行われて特徴点の変化量が求められ、２枚目の画像がこのステップに来た時に１枚目の画像と相関演算され特徴点の変化量が求められる。
【０２５４】
前述したようにこのステップにおいては２つの領域１２５、１２６（図３、図６）における特徴点変化を求めており、領域１２５（画面の周辺など）と領域１２６（主被写体領域など）の各領域において複数の特徴点の変化が求められる。そして、領域ごとに平均値、又は前述したように最小値を求め、それぞれの領域における特徴点の変化量としている。
【０２５５】
また、領域１２６における特徴点は、実際の領域１２６の画像の座標の動き量に対して領域１２５の動き量の差分を求めており、これにより領域１２６の特徴点変化は手振れによる構図ズレが排除された純粋な被写体振れのみとして求められる。
【０２５６】
３枚目、４枚目の画像に対しても同様にステップＳ１００８で、予め記憶してある１枚目の画像との相関演算が行われ特徴点の変化量が求められる。
【０２５７】
ステップＳ２００１では、選択制御部２２は、ステップＳ１００２で求めた画像の明るさに対応して第１の画像選択部３１の選択基準（第１の選択基準）を変更する。
【０２５８】
この第１の選択基準の変更は、前述したように適正露出のためにトータルの露光時間が１／８秒必要な被写体の明るさの場合には、トータルの露光時間が１／１５秒必要な被写体の明るさの場合に比べて第１の選択基準の値を倍に設定している。
【０２５９】
例えば、トータルの露光時間が１／１５秒の場合は、特徴点の変化量が撮像部１５の１０画素分まで許容するようにしたとき、トータルの露光時間が１／８秒の場合には２０画素分まで許容するようにしている。
【０２６０】
ステップＳ３００１では、ステップＳ１００８で求めた領域１２５における特徴点の変化と、ステップＳ２００１で求めた第１の選択基準とに基づいて撮影された画像の構図ズレを判定する。ここで、特徴点の座標変化が許容量（第１の選択基準の値）を超える場合にはステップＳ２００３に進んで、この画像を破棄するとともにステップＳ１００６に戻る。
【０２６１】
なお、最初の１枚の画像のみの場合には、画像の選択は行わずにそのままステップＳ１０１０に進む。
【０２６２】
ステップＳ３００２では、ステップＳ１００８で求めた領域１２６における特徴点の変化に基づいて撮影された画像の構図ズレを判定する。そして、特徴点の座標変化量が所定の許容量（第２の選択基準の値）を超える場合にはステップＳ２００３に進んで、この画像を破棄するとともにステップＳ１００６に戻る。
【０２６３】
なお、このステップにおける判定基準（第２の選択基準の値）もステップＳ３００１と同様に露光時間などの撮影条件で変更するようにしてもよい。
【０２６４】
また、このステップＳ３００２においても、最初の１枚の画像のみの場合には、画像の選択は行わずそのままステップＳ１００９に進む。
【０２６５】
ステップＳ１００９では、ステップＳ１００８で求められた領域１２５の特徴点の変化に基づいて画像の座標変換が行われ、２枚目以降の画像が１枚目の画像と重なるように処理される。
【０２６６】
ステップＳ１０１０では、１枚目の画像および２枚目以降の選択された画像を画像記憶部１１５に記憶する。
【０２６７】
ステップＳ１０１１では、ステップＳ１００３で求めた全画像の撮影が終了したか否かを判断しており、全画像の撮影が終了するまではステップＳ１００６に戻り撮影、特徴点抽出、画像選択、画像記憶（ステップＳ１００６からステップＳ１０１０）を繰り返す。
【０２６８】
なお、このフローでは１枚目の撮影が終了した後に２枚目の撮影を実行しているように見えるが、実際には１枚目の画像の特徴点抽出、座標計算、画像保存を行っている間にも２枚目の画像の撮像、撮像部１５からの読み出しが行われている。
【０２６９】
これにより、画像記憶部１１５に記憶される２枚目以降の画像の構図はすべて１枚目の構図に揃うことになる。
【０２７０】
すべての撮影が終了するとステップＳ１０１２に進む。
【０２７１】
ステップＳ１０１２では、画像の合成を行う。
【０２７２】
ここで、画像の合成は、各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
【０２７３】
また、このステップにおいて第３実施形態と同様に合成に必要な枚数だけ画像が得られるか分からない。
【０２７４】
すなわち、６枚撮影してもその中で構図ズレや主被写体ズレが少なくて画像合成に使える画像が６枚あるかもしれないし、３枚しか合成に使えない画像があるかもしれない。
【０２７５】
そこで、このステップにおいて、例えば、合成に必要な画像枚数が４枚である場合であって、４枚以上の適正画像が得られたときには、その画像の中からもっとも構図ズレ（特徴点の変化量）の少ない画像から順番に４枚の画像を合成に使用するようにしている。
【０２７６】
逆に、３枚しか適正画像が得られなかった場合には、その３枚のみで画像合成を行い多少のノイズは許容して画像のゲインアップを行い露出の適正化を図る。
【０２７７】
ステップＳ１０１３では、ステップＳ１０１２で合成された画像のうち各画像が構図ズレにより重ならなかった領域（図４の領域１２７）をカットし、元のフレームの大きさになるように画像を拡散補完している。
【０２７８】
ステップＳ１０１４では、ステップＳ１０１２で得られた画像を、カメラの背面などに配置された液晶表示部に表示する。
【０２７９】
ステップＳ１０１５では、ステップＳ１０１２で得られた画像を、記録媒体に記録する。
【０２８０】
ステップＳ１０１６では、スタートに戻る。
【０２８１】
なお、ステップＳ１０１６の段階でまだ継続してレリースボタンが半押し操作されてｓｗ１がオンになっているときには、そのままステップＳ１００１、♯１００２、♯１００３、♯１００４と再度フローを進めてゆく。
【０２８２】
また、ステップＳ１０１６の段階でレリースボタンが全押し操作されてｓｗ２がオンになっているときには、スタートに戻らずステップＳ１０１６で待機する。
【０２８３】
（第６実施形態）
本発明の第６実施形態は、上述した第５実施形態の変形例であり、本実施形態におけるカメラの構成は、第５実施形態（図１３）で説明した構成と同様である。
【０２８４】
図１４のフローチャートから分かるように、ステップＳ２００３で画像の破棄を行った後、その分だけ撮影を追加する構成にし、はじめの撮影枚数は余裕を見込まない構成にすれば余分な撮影を避けることができる。しかし、この場合にはあらかじめ何枚撮影するのかが撮影者に分からない点、撮影終了の予測が付かない点などが問題になる。
【０２８５】
しかしながら、上記方法においても撮影枚数の目安を撮影者に表示し、その枚数を超える撮影が行われるときには強制的に撮影を終了する構成にしておけば無駄の少ない撮影が行えるようになる。
【０２８６】
図１５はそのような構成を説明するフローチャートであり、このフローは防振スイッチをオンさせたときにスタートする。
【０２８７】
ステップＳ１００１では、撮影者がレリースボタンを半押し操作してｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【０２８８】
ステップＳ１００２では、撮像部１５で撮像が行われる。撮影制御部１１１は、信号処理部１１２からの出力に基づいて画像のコントラストを検出しながら、ＡＦ駆動モータ１４を駆動して撮影レンズ１１を光軸方向に移動させる。そして、コントラストが最も高くなった時点で撮影レンズ１１の移動を停止させる。これにより、撮影光学系は合焦状態となる。
【０２８９】
また、撮影制御部１１１は、同時に撮像部１５の出力に基づいて被写体の明るさを求める。
【０２９０】
ステップＳ１００３では、ステップＳ１００２で求めた被写体の明るさから撮影する枚数を求める。
【０２９１】
例えば、被写体の明るさを測光し、この測光結果に基づいて適正に露光するためには、絞り１３を全開（例えばｆ２．８）にするとともにシャッタ１２の開き時間、露光時間を１／８秒とする必要があるとする。
【０２９２】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では、手振れによる像振れの恐れがあるので、像振れの恐れがないように露光時間を１／３２秒に設定して６回撮影を行うように設定する。
【０２９３】
第１実施形態では、同一条件下で撮影回数を４回としており、第３実施形態では構図ズレの大きい画像は合成に使わないため、破棄する画像を見込んで撮影枚数を倍に設定している。
【０２９４】
本実施形態においては、構図ズレにより破棄する画像の判定をゆるくし、このときの信号処理工程において座標変換により構図ズレを補正することを前提にして第３実施形態よりも撮影枚数は少なくしている。
【０２９５】
一方、撮影光学系の焦点距離が３００ｍｍであるときには、像振れの恐れがないように露光時間を１／３２０秒に設定して６０回撮影を行うように設定する。
【０２９６】
これも第１実施形態よりも多く、第３実施形態よりも少ない枚数に設定にしている。
【０２９７】
ステップＳ２００６では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、推定撮影枚数を表示して撮影者に知らせる。
【０２９８】
ここで、推定枚数としたのは、実際に合成に使用する枚数は、このときの各撮影画像における構図ズレ（特徴点の変化量）により変化するためである。例えば、カメラをしっかりと固定しており、１枚も構図ズレがない場合には４枚の撮影枚数で終了する。また、各撮影とも構図ズレが大きい時には、８枚の撮影でも合成に必要な画像は足りなくなる可能性があるからである。
【０２９９】
ステップＳ１００５では、レリースボタンが全押し操作されることによりｓｗ２がオンになるまで待機する。
【０３００】
なお、この待機ステップ中にレリースボタンが半押し操作が解除されて、ｓｗ１がオフになったときには、スタートに戻る。
【０３０１】
ステップＳ１００６では、１枚目の撮影を開始する。
【０３０２】
ステップＳ１００７では、１枚目の撮影が完了するまでステップＳ１００６、♯１００７を循環して待機する。そして、１枚目の撮影が完了するとステップＳ１００８に進む。
【０３０３】
ステップＳ１００８では、ズレ検出部１１３が撮影画面内の領域１２５（図３又は図６）の中から特徴的な像（特徴点）を抽出し、その像の座標を求める。
【０３０４】
実際には、ここで相関演算が行われて特徴点の変化量が求められ、２枚目の画像がこのステップに来た時に１枚目の画像と相関演算されて特徴点の変化量が求められる。
【０３０５】
前述したようにこのステップにおいては、２つの領域１２５、１２６における特徴点の変化を求めており、領域１２５（画面の周辺など）と領域１２６（主被写体領域など）の各領域において複数の特徴点の変化が求められる。そして、各領域において平均値、又は前述したように最小値を求め、それぞれの領域の特徴点変化としている。
【０３０６】
また、領域１２６における特徴点は、実際の領域１２６の画像の座標の動き量に対して領域１２５の動き量の差分を求めており、これにより領域１２６の特徴点変化は手振れによる構図ズレが排除された純粋な被写体振れのみとして求められる。
【０３０７】
３枚目、４枚目の画像に対しても同様にしてステップＳ１００８で、予め記憶してある１枚目の画像との相関演算が行われ特徴点の変化量が求められる。
【０３０８】
ステップＳ２００１では、選択制御部２２は、ステップＳ１００２で求めた画像の明るさに対応して第１の画像選択部３１における第１の選択基準（画像選択の際に基準となる特徴点の変化量）を変更する。
【０３０９】
この第１の選択基準の変更は、前述したように適正露出のためにトータルの露光時間が１／８秒必要な被写体の明るさの場合は、トータルの露光時間が１／１５秒必要な被写体の明るさの場合に比べて構図ズレの許容量（第１の選択基準の値）を倍に設定している。
【０３１０】
例えば、トータルの露光時間が１／１５秒の場合には、特徴点の変化量が撮像部１５の１０画素分（第１の選択基準）まで許容し、トータルの露光時間が１／８秒の場合には２０画素分（第１の選択基準）まで許容する。そして、後述するように特徴点の変化量と第１の選択基準との比較により、合成に利用される画像を選択する。
【０３１１】
ステップＳ３００１では、ステップＳ１００８で求めた領域１２５における特徴点の変化と、ステップＳ２００１で求めた画像の選択基準とに基づいて、撮影された画像の構図ズレを判定する。そして、特徴点の座標変化量が許容量（第１の選択基準の値）を超える場合にはステップＳ２００３に進んで、この画像を破棄するとともにステップＳ１００６に戻る。
【０３１２】
なお、最初の１枚の画像のみの場合には、画像の選択は行わずそのままステップＳ１０１０に進む。
【０３１３】
ステップＳ３００２では、ステップＳ１００８で求めた領域１２６における特徴点の変化に基づいて撮影された画像の構図ズレを判定する。そして、特徴点の座標変化量が所定の許容量（第２の選択基準の値）を超える場合にはステップＳ２００３に進んで、この画像を破棄するとともにステップＳ１００６に戻る。
【０３１４】
なお、このステップにおける判定基準（第２の選択基準）もステップＳ３００１と同様に露光時間などの撮影条件で変更するようにしてもよい。また、このステップＳ３００２においても最初の１枚の画像のみの場合には、画像の選択は行わずそのままステップＳ１００９に進む。
【０３１５】
ステップＳ１００９では、ステップＳ１００８で求められた領域１２５における特徴点の変化に基づいて画像の座標変換が行われ、２枚目以降の画像が１枚目の画像と重なるように処理される。
【０３１６】
ステップＳ１０１２では、画像の合成を行う。
【０３１７】
ここで、画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
【０３１８】
ステップＳ２００４では、露出適正化に必要な枚数だけ合成を行えたか否かを判別している。
【０３１９】
例えば、トータル１／８秒の露光を１／３２秒の複数回の露光で行う場合において、ステップＳ３００１、３００２を通過した構図ズレの少ない画像が４枚（必要枚数）得られ、これらの画像が合成された時点でステップＳ１０１３に進み、そうでないときは全画像の撮影が終了するまではステップＳ１００６に戻り、撮影、特徴点抽出、画像選択、画像合成（ステップＳ１００６〜ステップＳ１０１２）を繰り返す。
【０３２０】
なお、ステップＳ２００７は、ステップＳ２００４とステップＳ１００６の間に設けられており、現在の撮影枚数が推定した撮影枚数（例えば８枚）以内の場合にはステップＳ１００６に進み、推定枚数を超えたときはステップＳ２００５に進む。
【０３２１】
これは、構図ズレの少ない画像を撮影するためにむやみに撮影枚数を増やすことを防ぐためである。
【０３２２】
そして、適正露出に必要な撮影枚数だけ合成用の画像として得られなかった場合、例えば合成には４枚必要なのに構図ズレの小さい（上記選択基準に適した）画像が２枚しか得られなかった場合には、得られた画像のみを合成し、信号のゲインアップをして露出の補正を行う。
【０３２３】
ステップＳ１０１３では、ステップＳ１０１２で合成された画像のうち各画像が構図ズレにより重ならなかった領域（図４の領域１２７）をカットし、元のフレームの大きさになるように画像を拡散補完している。
【０３２４】
ステップＳ２００５では、撮影枚数をカメラの液晶表示部等に表示する。
【０３２５】
ステップＳ１０１４では、ステップＳ１０１２で得られた画像を、カメラ背面などに配置された液晶表示部に表示する。
【０３２６】
ステップＳ１０１５では、ステップＳ１０１２で得られた画像を記録媒体に記録する。
【０３２７】
ステップＳ１０１６では、スタートに戻る。
【０３２８】
なお、ステップＳ１０１６の段階でまだ継続してレリースボタンが半押し操作されｓｗ１がオンになっているときは、そのままステップＳ１００１、♯１００２、♯１００３、♯１００４と再度フローを進めてゆく。
【０３２９】
また、ステップＳ１０１６の段階でレリースボタンが全押し操作されてｓｗ２がオンになっているときには、スタートに戻らずステップＳ１０１６で待機する。
【０３３０】
複数枚の画像はそれらを合成するごとに１枚１枚の露出不足が改善されてゆく。このため、撮影前の測光によりあらかじめ露出改善に必要な撮影枚数は分かる。
【０３３１】
しかし、それらの撮影画像の中には構図ズレが大きく合成に適さない画像もある。
【０３３２】
そこで、上述した本実施形態では、撮影を実行するときにはあらかじめ必要な撮影枚数以上の撮影を行い、それら画像の中から比較的構図ズレの少ない（選択基準を満たす）画像を選択し、選択された画像を合成することで振れの少ない合成画像を得ることができる。
【０３３３】
しかも、選択された画像の中での微妙な構図ズレを画像ごとに座標変換して構図を揃えた後に合成することで、より良い画像を得ることができる。
【０３３４】
一方、複数枚の撮影画像の中には主被写体（人物）が大きく動いてしまった画像もある。これらの画像は画像ごとの構図ズレ（複数枚撮影中の手振れ）がなくても合成を行うと主被写体は鮮明な画像にはならない。
【０３３５】
そこで、主被写体の位置などをフォーカスエリア（図７の１２８ａ〜１２８ｅ）で特定し、このエリア（図７の領域１２６）内の動きが他の撮影画像に比べて大きく異なる画像は合成しないようにして、主被写体が鮮明な合成画像を得るようにしている。
【０３３６】
以上説明した各実施形態は、以下に示す各発明を実施した場合の一例でもあり、下記の各発明は上記各実施形態に様々な変更や改良が加えられて実施されるものである。
【０３７２】
【発明の効果】
本発明の撮影装置又はプログラムによれば、フォーカスエリア内とフォーカスエリア外から特徴点を抽出し、フォーカスエリア内の特徴点の移動量に応じてフォーカスエリア外の特徴点の移動量を用いて位置あわせすることによって、像振れのない精度良い合成画像（１枚の撮影画像）を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態であるカメラのブロック図。
【図２】本発明の第１実施形態における座標変換説明図。
【図３】本発明の第１実施形態における特徴点抽出領域の説明図。
【図４】本発明の第１実施形態における画像合成の説明図。
【図５】本発明の第１実施形態における撮影動作を示すフローチャート。
【図６】本発明の第１実施形態における撮影動作を示すフローチャート（変形例）。
【図７】本発明の第２実施形態における特徴点抽出領域の説明図。
【図８】本発明の第２実施形態における撮影処理動作を示すタイミングチャート。
【図９】本発明の第２実施形態における撮影動作を示すフローチャート。
【図１０】本発明の第３実施形態であるカメラのブロック図。
【図１１】本発明の第３実施形態における撮影動作を示すフローチャート。
【図１２】本発明の第４実施形態における撮影動作を示すフローチャート。
【図１３】本発明の第５実施形態であるカメラのブロック図。
【図１４】本発明の第５実施形態における撮影動作を示すフローチャート。
【図１５】本発明の第６実施形態における撮影動作を示すフローチャート。
【符号の説明】
１０ ：光軸
１１ ：撮影レンズ
１２ ：シャッタ
１３ ：絞り
１４ ：ＡＦ駆動モータ
１５ ：撮像部
１６ ：駆動部
１７ ：絞り駆動部
１８ ：シャッタ駆動部
１９ ：焦点駆動部
１１０ ：Ａ／Ｄ変換部
１１１ ：撮影制御部
１１２ ：信号処理部
１１３ ：ズレ検出部
１１４ ：座標変換部
１１５ ：画像記録部
１１６ ：表示部
１１７ ：記録部
１１８ ：画像合成部
１１９ ：フレーム
１２０ ：主被写体
１２３ ：特徴点
１２４ ：特徴点の変化
１２５ ：特徴点抽出領域
１２６ ：主被写体領域
１２７ ：画面欠け領域
１２８ ：フォーカスエリア
２１ ：画像選択部
２２ ：選択制御部
３１ ：第１の画像選択部
３２ ：第２の画像選択部
【発明の属する技術分野】
本発明は、手振れによる撮影画像の振れを補正することで撮影精度を向上させる撮影装置およびプログラムに関するものである。
【０００２】
【従来の技術】
現在のカメラは露出決定やピント合わせ等の撮影にとって重要な作業は全て自動化され、カメラ操作に未熟な人でも撮影失敗を起こす可能性は非常に少なくなっている。
【０００３】
また、最近では、カメラに加わる手振れを防ぐシステムも研究されており、撮影者の撮影ミスを誘発する要因は殆ど無くなってきている。
【０００４】
ここで、手振れを防ぐ防振システムについて簡単に説明する。
【０００５】
撮影時のカメラの手振れは、周波数として通常１Ｈｚないし１０Ｈｚの振動であるが、露光時点においてこのような手振れを起こしていても像振れの無い写真を撮影可能とするための基本的な考えとして、手振れによるカメラの振動を検出し、この検出結果に応じて補正レンズを光軸直交面内で変位させなければならない（光学防振システム）。
【０００６】
すなわち、カメラ振れが生じても像振れが生じない写真を撮影するためには、第１にカメラの振動を正確に検出し、第２に手振れによる光軸変化を補正することが必要となる。
【０００７】
像振れの補正は、原理的には、レーザージャイロ等により加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理する振動検出部をカメラに搭載することによって行うことができる。そして、振動検出部からのカメラ振れの検出情報に基づき撮影光軸を偏心させる振れ補正光学装置（補正レンズを含む）を駆動することにより像振れ補正が行われる。
【０００８】
一方、手振れが生じない程度の露光時間で複数回撮影を繰り返し、この撮影により得られた複数の画像に対して画像のズレを修正しながら合成して長い露光時間の撮影画像（合成画像）を得る方法がある（例えば、特許文献１参照）。
【０００９】
【特許文献１】
特許第３１１０７９７号
【００１０】
【発明が解決しようとする課題】
最近のデジタルカメラは、銀塩コンパクトカメラに比べて小さくなってきており、特にＶＧＡクラスの撮像素子を持つカメラは携帯電子機器（例えば、携帯電話）に内蔵されるほど小型になってきている。
【００１１】
このような中で、上述した光学防振システムをカメラに搭載しようとすると、振れ補正光学装置をよりいっそう小型化するか、振動検出部を小型化する必要がある。
【００１２】
しかし、振れ補正光学装置では、補正レンズを支持し、これを高精度に駆動してゆく必要があるために小型化には限度がある。また、現在使用されている振動検出部は、ほとんどが慣性力を利用するものなので、振動検出部を小型化すると検出感度が低下し、精度の良い振れ補正ができないという問題がある。
【００１３】
さらに、カメラに加わる振れとしては、所定の軸を中心とする角度振れと、カメラを平行に揺らすシフト振れがあり、角度ぶれは光学防振システムで補正可能であるがシフト振れは慣性力を利用する光学防振システムでは対応できない。特に、カメラが小型になるほどこのシフト振れは大きくなる傾向がある。
【００１４】
一方、別の防振システムとしては、ビデオカメラでの動画撮影に用いられているように撮像素子で画面の動きベクトルを検出し、その動きベクトルに合わせて画像の読み出し位置を変更することで振れのない動画を得る方法もある。
【００１５】
このような方法の場合には、上述した光学防振システムのような専用の振動検出部や補正レンズが不要となるため、製品全体を小型にできるメリットがある。
【００１６】
しかし、このビデオカメラの防振システムをデジタルカメラに簡単に適用することはできない。この理由を以下に説明する。
【００１７】
ビデオカメラにおける動きベクトルの抽出は画像を読み出すごとに行っており、例えば１秒に１５コマの画像を取り出すとすると、この取り出した各画像を比較して動きベクトルを検出している。
【００１８】
ところが、デジタルカメラで静止画を撮影する場合には、撮影被写体に対して１回の露光しか行わないため、ビデオカメラのように画像の比較を行って動きベクトルを検出することはできない。
【００１９】
このため、ビデオカメラの防振システムを単純にデジタルカメラに適応させることはできない。
【００２０】
そこで、本発明は、フォーカスエリア内とフォーカスエリア外から特徴点を抽出し、フォーカスエリア内の特徴点の移動量に応じてフォーカスエリア外の特徴点の移動量を用いて位置あわせすることによって、銀塩カメラの光学防振システムやビデオカメラの防振システムとは異なるデジタルカメラの静止画撮影向けの小型の防振システムを提供することにある。
【００２１】
本願第１の発明は、フォーカスエリアにて合焦させて撮影した複数の画像を合成して合成画像を得る撮影装置であって、前記複数の画像のそれぞれに対して、前記フォーカスエリア内に対応する領域と前記フォーカスエリア外に対応する領域にて特徴点をそれぞれ抽出する抽出手段と、前記複数の画像間で前記フォーカスエリア内に対応する領域にて抽出した特徴点に基づいて第１の変位量を検出し、前記複数の画像間で前記フォーカスエリア外に対応する領域にて抽出した特徴点に基づいて第２の変位量を検出する検出手段と、前記第１の変位量が第１の所定値を超えるかどうかを判定し、前記第２の変位量が第２の所定値を超えるかどうかを判定する判定手段とと、前記判定手段にて前記第１の変位量が前記第１の所定値を超えないと判定され、かつ、前記判定手段にて前記第２の変位量が前記第２の所定値を超えないと判定されたときは、前記フォーカスエリア外に対応する領域にて抽出した前記複数の画像の特徴点同士が一致するように、前記複数の画像を合成する合成手段とを有し、前記第１の所定値は前記複数の画像を撮影する際の露光時間によって変化することを特徴とする。
【００２２】
本願第２の発明は、フォーカスエリアにて合焦させて撮影した複数の画像を合成して合成画像を得る撮影装置であって、前記複数の画像のそれぞれに対して、前記フォーカスエリア内に対応する領域と前記フォーカスエリア外に対応する領域にて特徴点をそれぞれ抽出する抽出手段と、前記複数の画像間で前記フォーカスエリア内に対応する領域にて抽出した特徴点の変位量である第１の変位量と、前記複数の画像間で前記フォーカスエリア外に対応する領域にて抽出した特徴点の変位量である第２の変位量とを検出する検出手段と、前記第１の変位量が第１の所定値を超えるかどうかを判定し、前記第１の変位量と前記第２の変位量の差分が第２の所定値を超えるかどうかを判定する判定手段と、前記判定手段にて前記第１の変位量が前記第１の所定値を超えないと判定され、かつ、前記判定手段にて前記第１の変位量と前記第２の変位量の差分が前記第２の所定値を超えないと判定されたときは、前記第１の変位量と前記第２の変位量の差分に基づいて座標変換を行うことで前記複数の画像を合成する合成手段とを有し、前記第１の所定値は前記複数の画像を撮影する際の露光時間によって変化することを特徴とする。
【００２３】
【発明の実施の形態】
（第１実施形態）
図１は、本発明の第１実施形態であるカメラ（撮影装置）の構成を示した図である。撮影レンズ１１から入射した光束（撮影光）は、シャッタ１２を通り、絞り１３で光量制限された後に撮像部１５に結像する。撮像部１５は、ＭＯＳやＣＣＤなどの半導体撮像素子からなる。
【００２４】
撮影レンズ１１は、ＡＦ駆動モータ１４からの駆動力を受けて光軸１０上を移動し、所定の合焦位置に停止することで焦点調節を行う。ＡＦ駆動モータ１４は焦点駆動部１９からの駆動信号を受けることで駆動する。
【００２５】
絞り１３は複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動部１７からの駆動力を受けることで作動して光通過口となる開口面積（絞り口径）を変化させる。シャッタ１２は複数のシャッタ羽根を有しており、これらのシャッタ羽根は、シャッタ駆動部１８からの駆動力を受けることで光通過口となる開口部を開閉する。これにより、撮像部１５に入射する光束を制御する。
【００２６】
そして、焦点駆動部１９、絞り駆動部１７およびシャッタ駆動部１８の駆動は、撮影制御部１１１により制御されている。
【００２７】
撮影制御部１１１は、後述する信号処理部１１２に取り込まれた画像信号に基づいて被写体輝度の検出（測光）を行い、この測光結果に基づいて絞り１３の絞り口径とシャッタ１２の開き時間を定めている。また、撮影制御部１１１は、焦点駆動部１９を駆動させながら、信号処理部１１２からの出力に基づいて合焦位置を求めている。
【００２８】
撮像部１５から出力される画像信号は、Ａ／Ｄ変換部１１０によりディジタル信号に変換されて信号処理部１１２に入力される。信号処理回路１１２は、入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー映像信号を形成する。
【００２９】
そして、信号処理回路１１２で信号処理された画像信号は、表示部１１６に出力されることにより撮影画像として表示されるとともに、記録部１１７に出力されて記録される。
【００３０】
以上説明した動作は、振れ補正を必要としないような明るさの被写体を撮影する場合である。一方、被写体が暗く、露光秒時が長くなるために手振れの恐れがある場合には、撮影者がカメラに設けられた不図示の操作部（防振スイッチ）を操作することにより、防振システムがオン状態となって以下の動作に切り替わる。
【００３１】
まず、撮影者がカメラに設けられたレリースボタンを半押しすると、撮影準備動作（焦点調節動作や測光動作等）が開始される。測光動作により得られた測光値に基づいてシャッタ１２の開き時間（露光時間）と絞り１３の絞り口径を決定するが、一般的に防振システムを使用するような撮影条件では被写体が暗いので絞りは全開、露光時間は長秒時露光になっている。
【００３２】
そこで、この露光時間を複数の短い露光時間に分割し、この分割した数だけ撮影を繰り返す。このように短い露光時間に分割すると、露光により得られる１枚１枚の画像は露出不足になるが、これらの画像は手振れの影響が少ない画像となる。
【００３３】
そして、複数の画像を撮影終了後に合成して１枚の画像にすることで露出を改善する。
【００３４】
しかし、複数の画像を撮影するとき、複数の撮影により得られた各画像においては手振れの影響が生じていなくても、連続撮影中の手振れにより各画像間における構図（被写体像）は微妙にズレている場合がある。ここで、これらの画像をそのまま合成すると、合成された画像は各画像における構図がズレた分だけぶれた画像になってしまう。
【００３５】
本実施形態において、連続撮影に応じて撮像部１５から撮影毎に複数出力される画像信号は、上述したようにＡ／Ｄ変換部１１０でディジタル信号に変換されてから信号処理部１１２にて信号処理が施される。信号処理部１１２の出力は、撮影制御部１１１に入力されるととともに、ズレ検出部１１３にも入力される。
【００３６】
ズレ検出部（検出手段）１１３は、撮影画像中における特徴点（特定点）を抽出し、この特徴点の撮影画面内における位置座標を割り出す。
【００３７】
例えば、図２に示すようにフレーム１１９ａにおいて人物１２０ａが建物１２１ａを背景にして立っている写真を撮影する場合を考える。このとき、複数枚撮影するとフレーム１１９ｂのように手振れによりフレーム１１９ａに対して構図のずれた画像が撮影されることがある。
【００３８】
ズレ検出部１１３は、フレーム１１９ａの周辺に位置する建物１２１ａのうち輝度の高い点である窓１２２ａのエッジ１２３ａをエッジ検出により特徴点として取り出し、この特徴点１２３ａと、フレーム１１９ｂにおいて取り出した特徴点１２３ｂとを比較し、この差分を補正（座標変換）する。
【００３９】
図２では、フレーム１１９ｂの特徴点１２３ｂを矢印１２４のようにフレーム１１９ａの特徴点１２３ａに重ねるようにして、フレーム１１９ｂを座標変換する。
【００４０】
ここで、特徴点として撮影画面（フレーム）の周辺を選択する理由を以下に説明する。
【００４１】
多くの撮影の場合では、画面中央近傍に主被写体が位置し、且つ主被写体は人物である場合が多い。このようなとき、主被写体を特徴点として選ぶと被写体振れによる不都合が出てくる。
【００４２】
すなわち、複数枚の撮影を行っているときに撮影者の手振ればかりでなく、被写体振れも重畳してくるので被写体振れに基づいて画像の座標変換をしてしまう。
【００４３】
この場合、主被写体の構図が適正になるように座標変換するので好ましい画像ができるように思われるが、一般的には人物の動きは複雑であり、特徴点を選ぶ場所によってズレ検出精度が大きく左右される。
【００４４】
例えば、主被写体（人物）の眼を特徴点として選んだ場合には瞬きの影響が出るし、手の先を特徴点として選択した場合には手は動きやすいので実際の被写体全体の振れとは異なってしまう。
【００４５】
このように人物の１点を特徴点として画像の座標変換を行っても、その人物のすべてが適正に座標変換される訳ではないし、複数の画像を座標変換して合成する場合においても、画像ごとに座標の位置がばらつき、好ましい画像は得られない。
【００４６】
そこで、本実施形態のように撮影画面内の周辺に位置する可能性の高い背景のような静止被写体を特徴点として選択して、画像の座標変換を行ったほうが好ましい画像（像振れの少ない画像）が得られる。この場合には、上述した被写体振れの影響が出てくるが、被写体全体としての振れはわずかなのでそれほど大きな画像劣化にはならない。
【００４７】
図３は、１つのフレームにおいてズレ検出部１１３によって抽出される特徴点の抽出領域を示した図である。
【００４８】
フレーム１１９ａの中で主被写体が位置する可能性の高い領域１２６を避けた周辺領域１２５（斜線部、一方の領域）が特徴点の抽出領域である。この抽出領域１２５は、適宜設定することができる。ズレ検出部１１３は、抽出領域１２５の中で輝度が高く、且つコントラストの高い像を選択して特徴点とする（エッジ検出）。
【００４９】
そして、２枚目以降に撮影された画像については、ひとつ前に撮影された画像における特徴点の位置座標の周辺近傍（カメラの焦点距離で決まる手振れによる構図振れの範囲）から同じ像を探して特徴点とする。
【００５０】
ここでは、説明のために画像ごとの特徴点座標を求めているが、実際には１枚目の画像と２枚目の画像を相関演算し、各々対応する画素の変化を動きベクトルとして特徴点の変化としている。そして、３枚目の画像に対しては２枚目の画像との相関演算で特徴点の変化を求め、以下同様にして各画像の特徴点の変化を求めてゆく。
【００５１】
なお、特徴点は抽出領域１２５の中で１箇所だけ選択するのではなく、複数のポイントを選択しておき、これらのポイントの動きベクトルの平均値、又はスカラーの最小値を特徴点の変化としてもよい。
【００５２】
ここで、特徴点の変化として上記最小値を利用するのは、画面周辺で選択された特徴点もそれ自身が移動する可能性があるため、最も移動しない特徴点を選ぶためである。
【００５３】
座標変換部（座標変換手段）１１４は、ズレ検出部１１３で求めた特徴点の変化にあわせて各画像の画像変換を行う。画像記憶部１１５は、座標変換後の各画像データを記憶する。
【００５４】
画像記憶部１１５に記憶された各画像データは、画像合成部（合成手段）１１８に出力されて各画像が１枚の画像に合成される。
【００５５】
デジタル画像の場合には、１枚の露出不足の写真でもゲインアップすることで露出の補正が可能であるが、ゲインを高くするとノイズも多くなり見苦しい画像になってしまう。
【００５６】
しかし、本実施形態のように多くの画像を合成することで画像全体のゲインをアップさせる場合には、各画像のノイズが平均化されるためにＳ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。
【００５７】
別の考え方をすれば、例えばノイズを許容して撮像部１５を高感度にして複数枚撮影し、これらを加算平均することで画像に含まれるランダムノイズを減少させているともいえる。
【００５８】
ここで、図２のように構図のズレた２枚の写真を合成する場合、図４に示すように２枚の画像が重ならない領域１２７が生ずる。そこで、画像合成部１１８は、領域１２７をカットして、２枚の画像が重なった領域のみについて拡散補完処理を行い、もとのフレームの大きさにする。
【００５９】
合成された画像データは、表示部１１６に撮影画像（静止画像）として表示されるとともに、記録部１１７に記録される。
【００６０】
図５は、上述した動作をまとめたフローチャートであり、このフローは防振スイッチが操作（オン）されたときにスタートする。
【００６１】
ステップＳ１００１では、撮影者がレリースボタンの半押し操作によりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【００６２】
ステップＳ１００２では、撮像部１５において被写体を撮像する。撮影制御部１１１は、信号処理部１１２からの出力に基づいて被写体像（撮影画像）のコントラストを検出しながら、ＡＦ駆動モータ１４を駆動して撮影レンズ１１を光軸方向に移動させる。
【００６３】
そして、最もコントラストが高くなった時点で撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（いわゆる、山登り方式によるＡＦ）。なお、位相差検出により焦点調節を行うこともできる。
【００６４】
また、撮影制御部１１１は、撮像部１５の出力に基づいて被写体の明るさを求める。
【００６５】
ステップＳ１００３では、ステップＳ１００２で求めた被写体の明るさから撮影する枚数を求める。例えば、被写体の明るさを測定（測光）し、この測光結果に基づいて適正に露光するためには、絞り１３を全開（例えばｆ２．８）にし、シャッタ１２の開き時間、すなわち露光時間を１／８秒にする必要があるとする。
【００６６】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では手振れにより像振れが発生する恐れがあるので、像振れが生じないように露光時間を１／３２秒に設定して４回撮影を行うように設定する。
【００６７】
一方、撮影光学系の焦点距離が３００ｍｍであるときには、像振れが生じないように露光時間を１／３２０秒に設定して４０回撮影を行うように設定する。
【００６８】
ステップＳ１００４では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、撮影枚数を表示して撮影者に知らせる。
【００６９】
ステップＳ１００５では、レリースボタンの全押し操作によりｓｗ２がオンになるまで待機する。なお、この待機ステップ中にレリースボタンの半押し操作が解除、すなわちｓｗ１がオフになるとスタートに戻る。
【００７０】
ステップＳ１００６では、１枚目の撮影を開始する。
【００７１】
ステップＳ１００７では、１枚目の撮影が完了するまでステップＳ１００６、ステップＳ１００７を循環して待機する。そして、１枚目の撮影が完了するとステップＳ１００８に進む。
【００７２】
ステップＳ１００８では、ズレ検出部１１３によりフレーム内の抽出領域１２５の中から特徴的な像（特徴点）を抽出し、この像の座標を求める。
【００７３】
ステップＳ１００９では、座標変換部１１４により座標変換を行うが、１枚目の画像のみの場合には、座標変換は行わずそのままステップＳ１０１０に進む。
【００７４】
ステップＳ１０１０では、１枚目の画像データ又は２枚目以降の画像データであれば座標変換された画像データを画像記憶部１１５に記憶する。
【００７５】
ステップＳ１０１１では、ステップＳ１００３で求めた撮影枚数の撮影が終了したか否かを判断しており、全撮影枚数の撮影が終了するまではステップＳ１００６に戻り撮影、特徴点抽出、座標変換、画像記憶（ステップ１００６からステップＳ１０１０）を繰り返す。
【００７６】
このフローでは１枚目の撮影を行い（座標変換）、画像記憶が終了した後に２枚目の撮影を実行しているように見えるが、実際には１枚目の画像データに対して特徴点抽出（座標変換）、画像記憶を行っている間にも２枚目の画像の撮影、撮像部１５からの読み出しが行われている。
【００７７】
ステップＳ１００６からステップＳ１０１１のフローを繰り返すことで、２枚目以降に撮影された画像に関してはステップＳ１００８で特徴点の座標を求めた後、１枚目の画像における特徴点の座標に２枚目以降の画像における特徴点の座標が重なるように座標変換が行われ、２枚目以降の画像の構図はすべて１枚目の画像の構図に揃う。
【００７８】
ステップＳ１０１１ですべての撮影が終了したと判断すると、ステップＳ１０１２に進む。
【００７９】
ステップＳ１０１２では、画像記憶部１１５に記憶された複数の画像を合成する。ここで、画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
【００８０】
ステップＳ１０１３では、合成された画像のうち図４の領域１２７のように各画像が構図振れにより重ならなかった領域をカットし、元のフレームの大きさになるように画像を拡散補完する。
【００８１】
ステップＳ１０１４では、ステップＳ１０１３で得られた画像データをカメラ背面などに配置された液晶表示部に静止画像として表示する。これにより、撮影者は撮影された画像を観察することができる。
【００８２】
ステップＳ１０１５では、ステップＳ１０１３で得られた画像データを、例えば半導体メモリなどで構成されカメラに対して着脱可能な記録媒体に記録する。ステップＳ１０１６では、スタートに戻る。
【００８３】
なお、ステップＳ１０１６の段階でまだ継続してレリースボタンが半押し操作されており、ｓｗ１がオンになっているときには、ステップＳ１００１、♯１００２、♯１００３、♯１００４と再度フローを進めてゆく。また、ステップＳ１０１６の段階でレリースボタンが全押し操作されており、ｓｗ２がオンになっているときには、スタートに戻らずステップＳ１０１６で待機する。
【００８４】
ところで上記フローにおいては各撮影に平行して特徴点のズレ検出と画像の座標変換を行っている。その為に高速の画像処理が必要となる。
【００８５】
もっと廉価なシステムとしては複数枚の撮影をすべて終了してからゆっくりズレ検出と座標変換、合成を行う方法も考えられる。
【００８６】
このような方法では、上述した画像処理の負荷が格段に減り、更にＶＧＡクラスの小さな画像を扱う場合には画像メモリの容量も小さくて済むために手ごろなシステムになる。
【００８７】
図６はその場合のフローであり、図５のフローとはステップ＃１００６から＃１０１２の間が入れ替わっている。
【００８８】
ステップ＃１００６で各撮影を行い、その撮影が終了するたびにステップ＃１０１０で画像を画像記録部１１５に保存する。すべての画像を撮影、保存しおえるまでステップ＃１００７からステップ＃１００６を循環し、すべての画像の保存を終了するとステップ＃１００８に進む。
【００８９】
ステップ＃１００８では、画像記録部１１５に保存された画像に対して上述と同様にズレ検出部１１３によりフレーム内の抽出領域１２５の中から特徴的な像（特徴点）を抽出し、この像の座標を求める。
【００９０】
ステップＳ１００９では、座標変換部１１４により座標変換を行い変換後の画像を再度、画像記録部１１５に保存する。なお、１枚目の画像のみ座標変換は行わない。
【００９１】
ステップＳ１０１２では、画像記録部１１５に保存され、座標変換された画像（１枚目は座標変換されていない）をすべて合成する。
【００９２】
この様にすべての撮影が終了した後、画像を表示するまでの時間（例えば１秒）を利用してゆっくり画像の処理を行えるので高価な画像処理チップを用いなくても防振システムを構築できる。
【００９３】
また、携帯電子機器に搭載されるカメラのように画像サイズが小さい（たとえばＶＧＡ）場合には、撮影画像データを一時的に保存する画像記録部１１５の容量は小さくてすむ。
【００９４】
この様にすべての画像の撮影が終了した後でズレ検出や或いは座標変換、画像合成を行うことで大掛かりな装置が不要で簡単に防振システムを実現できる。
【００９５】
（第２実施形態）
本実施形態のカメラは、上述した第１実施形態におけるカメラの変形例である。ここで、本実施形態のカメラの構成は、第１実施形態（図１）で説明した構成と概ね同様である。
【００９６】
第１実施形態において、ズレ検出部１１３により抽出される特徴点の抽出領域は、フレームの周辺領域１２５に設定されている。
【００９７】
しかし、特徴点の抽出領域は、フレームの周辺領域１２５に限られず、撮影画面内に設けられたフォーカスエリア以外の領域を特徴点の抽出領域としたり、現在ピントが合っている領域以外を特徴点の抽出領域としたりすることができる。
【００９８】
これは撮影するときには主被写体（人物）をフォーカスエリアに重ねるため、特徴点を主被写体以外にするためには、フォーカスエリア以外の領域を特徴点抽出領域に設定すればよいからである。
【００９９】
図７は、撮影画面内における特徴点抽出領域を示した図である。撮影画面（フレーム１１９ａ）内に設けられたフォーカスエリア（焦点検出領域）１２８ａ、１２８ｂ、１２８ｃ、１２８ｄ、１２８ｅの中で主被写体を捕らえているフォーカスエリア１２８ｃで合焦している場合には、このフォーカスエリア１２８ｃを中心とする主被写体領域１２６を除く画面周辺領域１２５を特徴点抽出領域に設定する。
【０１００】
すなわち、主被写体が、フォーカスエリア１２８ａ、１２８ｂ、１２８ｃ、１２８ｄ、１２８ｅのうちいずれかのフォーカスエリアに位置しているかに応じて、主被写体領域１２６および特徴点抽出領域が変更される。
【０１０１】
そして、この特徴点抽出領域の中で適した像を特徴点として、この特徴点の座標に基づいて各画像のズレを補正して画像合成を行うようにすれば好ましい画像合成が行える。
【０１０２】
また、図５のフローのようにすべての画像の座標変換が終了して、これらの画像の保存が終わってから画像の合成を行うのではなく、撮影を続行しながら画像の合成を同時進行で行ってもよい。
【０１０３】
図８は、このような動作を説明するタイミングチャートである。露光ｆ１に対して、撮像部１５で光電変換されて電荷蓄積された信号が撮像信号Ｆ１として読み出される。そして、撮像信号Ｆ２の読み出しと同時進行で前の撮像信号Ｆ１と今回の撮像信号Ｆ２との相関演算を行う。これにより２つの画像における特徴点の変化を求め、２つの画像信号Ｆ１、Ｆ２を合成して合成信号Ｃ２を得る。
【０１０４】
次に、撮像信号Ｆ３の読み出しと同時進行で前回の合成信号Ｃ２と今回の撮像信号Ｆ３との相関演算を行うことで特徴点の変化を求め、合成信号Ｃ２及び撮像信号Ｆ３を合成して合成信号Ｃ３を得る。
【０１０５】
次に、撮像信号Ｆ４の読み出しと同時進行で前回の合成信号Ｃ３と今回の撮像信号Ｆ４との相関演算を行うことで特徴点の変化を求め、合成信号Ｃ３及び撮像信号Ｆ４を合成して合成信号Ｃ４を得る。
【０１０６】
そして、得られた合成信号Ｃ４（合成画像）を、カメラ背面などに設けられた液晶表示部に表示するとともに、記録媒体に記録する。
【０１０７】
図９は、以上の動作を説明するフローチャートである。図５のフローチャートと比較すると、ステップＳ１０１０の画像保存がなくなり、座標変換（ステップＳ１００９）が行われた後、画像合成（ステップＳ１０１２）が行われ、全撮影枚数の撮影が完了したか否かを判断（ステップＳ１０１１）するようになっている。
【０１０８】
本実施形態において、ステップＳ１０１０の画像保存が廃止されたのは、撮影された画像は撮影と同時進行で前の撮影で得られた画像と合成されるため、最終的には１枚の合成画像しか存在しておらず、複数の撮影画像を保存する必要がないためである。
【０１０９】
すなわち、撮影ごとに合成画像が更新されるので各撮影画像を保存しておく必要がない。したがって、本実施形態のカメラでは、図１で示した画像記憶部１１５を備えていない。
【０１１０】
なお、図９のフローにおいてもステップＳ１０１１の全画像処理が完了するまで次の撮影を行わないように見えるが、実際は図８のタイミングチャートのように撮影や撮像信号出力、相関演算や画像合成は同時進行で行われている。
【０１１１】
以上説明したように本発明の第１実施形態及び第２実施形態においては、手振れの生じないような短い露光時間で撮影を複数回繰り返し、撮影された複数の画像を合成することで露出の不足を補完できることに着目し、更に合成前に各画像ごとに座標変換を行い手振れにより生ずる各画像の構図のズレを補正することで、合成画像に生ずる像振れをなくす構成にしている。
【０１１２】
これにより、デジタルカメラでありながらビデオカメラと同様に電子的に振れ補正が行えるため、銀塩カメラに比べて格段に小さい防振システムを構築でき、且つ、画像そのもののズレを補正しているために角度振ればかりではなくシフト振れも補正することができる。
【０１１３】
しかも、上述した第１実施形態および第２実施形態は、撮影される各画像の構図のズレを補正する座標変換のためのズレ検出において、撮影画面内のどの領域で特徴点を抽出すべきかを考えたものである。
【０１１４】
例えば、撮影画面を図３や図７に示すように２つの領域１２５、１２６に分割し、主被写体（人物）が位置する可能性の高い領域１２６で特徴点を抽出して構図ズレの検出を行うと、人物そのものの振れにより構図のズレが正確に判断することができない。
【０１１５】
このため、上述した第１実施形態および第２実施形態のように、撮影画面内のうち領域１２６以外の領域である領域１２５において、輝点１２２ａなどの特徴点の位置座標を画像ごとに検出し、各画像で検出された特徴点が同じ位置に揃うように各画像を座標変換した後に、画像合成を行うことで像振れのない１枚の画像を得ることができる。
【０１１６】
（第３実施形態）
図１０は、本発明の第３実施形態であるカメラのブロック図である。本実施形態において、第１実施形態（第２実施形態）と異なる点は、画像の合成時に各画像を座標変換するのではなく、まず構図ズレの小さい画像のみを選択して、この選択された画像を合成することで振れのない合成画像を得るようにしている点である。
【０１１７】
このため、本実施形態におけるカメラの構成では、第１実施形態（図１）で設けられていた座標変換部１１４が省略され、代わりに画像選択部（画像選択手段）２１及び選択制御部（選択制御手段）２２が設けられている。なお、他の構成については、第１実施形態と同様である。
【０１１８】
画像選択部２１は、第１実施形態と同様にズレ検出部１１３で求められた各画像における特徴点座標の中で座標位置が概ねずれていない画像だけを選択し、画像記憶部１１５に記憶するようになっている。
【０１１９】
このため、画像合成部１１８で合成に使われる画像は、特徴点座標のズレが少ない画像となるため、座標変換しなくても画像を合成しただけで像振れのない画像を得ることができる。
【０１２０】
しかし、第１実施形態と異なりあらかじめ設定された撮影枚数だけでは画像合成に必要な画像が足りなくなる場合がある。すなわち、本実施形態では、構図ズレの大きい画像は画像選択部２１により画像合成に必要な画像として選択されないからである。
【０１２１】
これを防止するためには、あらかじめ撮影する画像の枚数を、実際に必要な画像枚数（測光結果により求められる撮影枚数）よりも多くしておく必要がある。
【０１２２】
一方、被写体が暗くなってゆくと、それにしたがって撮影に必要な枚数が増加し、すべての撮影を終わらせるのに必要な時間が長くなる。
【０１２３】
このように撮影時間が長くなると、手振れによる構図ズレも多くなってしまい、画像選択部２１で選択できる画像が少なくなり、いつまでたっても適正露出の画像を得ることができなくなってしまう。
【０１２４】
そこで、本実施形態では、被写体が暗くなるのに伴い画像選択部２１の選択基準を低くして、ある程度の構図ズレは許容して画像合成を行うようにしている。
【０１２５】
図１０において、選択制御部２２は、画像選択部２１における選択基準を決定する役割を担っており、撮影制御部１１１からの撮影情報として被写体が暗く、適正露出を得るための撮影枚数が多くなる場合には、画像選択部２１の選択基準をゆるく、すなわち特徴点座標の許容変化量を大きくしている。
【０１２６】
図１１は、本実施形態のカメラにおける撮影動作を示すフローチャートであり、このフローは、カメラに設けられた防振スイッチをオンさせたときにスタートする。
【０１２７】
ステップＳ１００１では、撮影者がレリースボタンを半押し操作することによりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【０１２８】
ステップＳ１００２では、撮像部１５で露光が行われる。撮影制御部１１１は、信号処理部１１２からの出力に基づいて撮影画像のコントラストを検出しながら、ＡＦ駆動モータ１４を駆動して撮影レンズ１１を光軸方向に移動させる。そして、被写体像のコントラストがピークに達した時点で、撮影レンズ１１の移動を停止させることにより、撮影光学系を合焦状態とする。また、撮影制御部１１１は、撮像部１５の出力に基づいて被写体の明るさを求める。
【０１２９】
ステップＳ１００３では、ステップＳ１００２で求めた被写体の明るさから撮影する枚数を求める。
【０１３０】
例えば、被写体の明るさを測光し、この測光結果に基づいて適正に露光を行うためには、絞り１３を全開（例えばｆ２．８）にするとともにシャッタ１２の開き時間、すなわち露光時間を１／８秒にする必要があるとする。
【０１３１】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときには、露光時間を１／８秒とする撮影では手振れによる像振れが発生する恐れがあるので、像振れが生じないように露光時間を１／３２秒に設定して８回撮影を行うように設定する。
【０１３２】
第１実施形態では、同一条件下で連続撮影回数を４回としているが、本実施形態では構図ズレの大きい画像が画像合成に使われないため、破棄する画像を見込んで撮影枚数を倍に設定している。
【０１３３】
一方、撮影光学系の焦点距離が３００ｍｍであるときには、像振れが生じないように露光時間を１／３２０秒に設定して８０回撮影を行うように設定する。これも第１実施形態の場合に比べて倍の撮影回数に設定している。
【０１３４】
ステップＳ１００４では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、撮影枚数を表示して撮影者に知らせる。
【０１３５】
ステップＳ１００５では、レリースボタンの全押し操作により、ｓｗ２がオンになるまで待機する。なお、この待機ステップ中にレリースボタンの半押し操作が解除され、ｓｗ１がオフになったときにはスタートに戻る。
【０１３６】
ステップＳ１００６では、１枚目の撮影を開始する。
【０１３７】
ステップＳ１００７では、１枚目の撮影が完了するまでステップＳ１００６、♯１００７を循環して待機する。そして、１枚目の撮影が完了するとステップＳ１００８に進む。
【０１３８】
ステップＳ１００８では、ズレ検出部１１３によりフレームの領域１２５（図３又は図７）の中から特徴的な像（特徴点）を抽出し、この像の座標を求める。
【０１３９】
実際には、ここで相関演算が行われて特徴点の変化量が求められ、２枚目の画像がこのステップに来た時に１枚目の画像と相関演算されて特徴点の変化量が求められる。
【０１４０】
また、３枚目、４枚目の画像に対してもこのステップで、予め記憶してある１枚目の画像との相関演算が行われて特徴点の変化量が求められる。
【０１４１】
ステップＳ２００１では、選択制御部２２がステップＳ１００２で求めた画像の明るさに対応して画像選択部２１の選択基準（画像選択の際に基準となる特徴点の変化量）を変更する。
【０１４２】
具体的には、適正露出を得るためにトータルの露光時間が１／８秒必要な被写体の明るさの場合には、トータルの露光時間が１／１５秒必要な被写体の明るさの場合に比べて構図ズレ（特徴点の変化量）の許容量（選択基準の値）を倍に設定している。
【０１４３】
例えば、トータルの露光時間が１／１５秒の場合には、特徴点における変化量を撮像部１５の５画素分（選択基準）まで許容して、画像合成に使用する画像を選択する。一方、トータルの露光時間が１／８秒の場合には、特徴点における変化量を１０画素分（選択基準）まで許容して、画像合成に使用する画像を選択する。
【０１４４】
ステップＳ２００２では、ステップＳ２００１で求めた画像の選択基準に基づいて撮影された画像を判定し、判定対象となる画像のうち特徴点座標の変化量が許容量（選択基準）を超える画像がある場合には、ステップＳ２００３に進んでこの画像を破棄するとともにステップＳ１００６に戻る。
【０１４５】
なお、最初の１枚目の画像が撮影されたときには、画像の選択は行わずにそのままステップＳ１０１０に進む。
【０１４６】
ステップＳ１０１０では、選択された画像データを画像記憶部１１５に記憶する。
【０１４７】
ステップＳ１０１１では、ステップＳ１００３で求めた撮影枚数の撮影が終了したか否かを判断しており、全撮影枚数の撮影が終了するまではステップＳ１００６に戻り撮影、特徴点抽出、画像選択、画像記憶（ステップ１００６〜ステップＳ１０１０）を繰り返す。
【０１４８】
これにより、画像記憶部１１５に記憶される２枚目以降の画像の構図はすべて１枚目の画像の構図にほぼ揃うことになる。そして、すべての撮影が終了するとステップＳ１０１２に進む。
【０１４９】
ステップＳ１０１２では、画像記憶部１１５に記憶された複数の画像を合成する。
【０１５０】
ここで、画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
【０１５１】
本実施形態と第１実施形態との違いは、第１実施形態において合成される画像は、例えばトータル１／８秒の露光時間の場合には撮影枚数が４枚に決まっていたが、本実施形態の場合には選択される画像が何枚かが分からない点にある。
【０１５２】
ここで、画像合成に使用される画像（適正画像）が４枚以上得られたときには、得られた画像の中から最も構図ズレ（特徴点の変化量）の少ない画像から順番に選択された４枚の画像を画像合成に使用している。逆に２枚しか適正画像が得られなかった場合には、この２枚の画像だけで画像合成を行い、多少のノイズは許容して画像のゲインアップを行い露出の適正化を図る。
【０１５３】
なお、第１実施形態においては、ステップＳ１０１３で合成された画像のうち、各画像が構図ズレにより重ならなかった領域をカットし、元のフレームの大きさになるように画像を拡散補完している。
【０１５４】
しかし、本実施形態においては、構図ズレの少ない画像を選んで画像合成に使用しているため画像が重ならない領域は少なく、第１実施形態におけるステップＳ１０１３に相当するステップはなくなっている。
【０１５５】
すなわち、本実施形態においては、撮影画面全体を無駄なく再現した振れ補正を行うことができる。
【０１５６】
ステップＳ１０１４では、ステップＳ１０１２で得られた画像データを、カメラ背面などに配置された液晶表示部に撮影画像として表示する。
【０１５７】
ステップＳ１０１５では、ステップＳ１０１２で得られた画像データを記録媒体に記録する。
【０１５８】
ステップＳ１０１６では、スタートに戻る。
【０１５９】
なお、ステップＳ１０１６の段階でまだ継続してレリースボタンが半押し操作されており、ｓｗ１がオンになっているときはそのままステップＳ１００１、♯１００２、♯１００３、♯１００４と再度フローを進めてゆく。また、ステップＳ１０１６の段階でレリースボタンが全押し操作されており、ｓｗ２がオンになっているときには、スタートに戻らずステップＳ１０１６で待機する。
【０１６０】
以上説明したように本実施形態においては、第１実施形態のように画像の座標変換を行うのではなく、構図ズレの少ない画像のみを選択して画像合成をしている。
【０１６１】
このため、デメリットとしては構図ズレの大きな画像の破棄を見込んで撮影枚数が多くなってしまうが、画像の座標変換の大きな負荷がなくなるとともに、座標変換後の合成に伴う画面の欠けがないために画面全体を再現できるメリットがある。
【０１６２】
（第４実施形態）
本発明の第４実施形態であるカメラは、第３実施形態におけるカメラの変形例であり、本実施形態におけるカメラの構成は、第３実施形態（図１０）で説明した構成と同様である。
【０１６３】
第３実施形態では、図１１のフローチャートから分かるようにステップＳ２００３で画像の破棄を行った後、画像を破棄した分だけ撮影を追加する構成となっており、はじめの撮影枚数に余裕を見込まない構成にすれば余分な撮影を避けることができる。しかし、この場合にはあらかじめ何枚撮影するのかが撮影者に分からない点、撮影終了の予測がつかない点などが問題になる。
【０１６４】
しかしながら、上記方法においても撮影枚数の目安を表示して撮影者に知らせるようにし、表示した枚数を超える撮影が行われるときには強制的に撮影を終了する構成にしておけば無駄の少ない撮影が行えるようになる。
【０１６５】
図１２は、上述した動作を説明するフローチャートであり、このフローはカメラに設けられた防振スイッチをオンさせたときにスタートする。
【０１６６】
ステップＳ１００１では、撮影者がレリースボタンを半押し操作することにより、ｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【０１６７】
ステップＳ１００２では、撮像部１５での露光が行われる。撮影制御部１１１は、信号処理部１１２からの出力に基づいて画像のコントラストを検出しながら、ＡＦ駆動モータ１４を駆動することにより撮影レンズ１１を光軸方向に移動させる。そして、被写体像のコントラストがピーク値になった時点で、撮影レンズ１１の移動を停止することにより撮影光学系を合焦状態にする。また、同時に撮像部１５の出力に基づいて被写体の明るさを求める。
【０１６８】
ステップＳ１００３では、ステップＳ１００２で求めた被写体の明るさから撮影する枚数を求める。
【０１６９】
例えば、被写体の明るさを測光し、この測光結果に基づいて適正に露光を行うためには、絞り１３を全開状態（例えばｆ２．８）にするとともにシャッタ１２の開き時間（露光時間）を１／８秒にする必要があるとする。
【０１７０】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では手振れによる像振れが発生する恐れがあるので、像振れの恐れがないように露光時間を１／３２秒に設定して８回撮影を行うように設定する。
【０１７１】
第１実施形態では、同一条件下で撮影回数を４回としているが、本実施形態では構図ズレの大きい画像は合成に使わないようにしているため、破棄する画像を見込んで撮影枚数を倍に設定している。
【０１７２】
一方、上記条件下で、撮影光学系の焦点距離が３００ｍｍであるときには、像振れの恐れのないように露光時間を１／３２０秒に設定して８０回撮影を行うように設定する。これも第１実施形態に比べて倍の設定にしている。
【０１７３】
ステップＳ２００６では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、推定する撮影枚数を表示して撮影者に知らせる。
【０１７４】
ここで、推定枚数としたのは、実際に画像合成に使用する画像の枚数は、各撮影画像の構図のズレ量（特徴点の変化量）により変化するためである。例えば、カメラがしっかりと固定されており、１枚も構図ズレがない場合には４枚の撮影枚数で終了する。一方、構図ズレが大きい画像が得られたときには、８枚の撮影でも画像合成に必要な画像は足りなくなる可能性がある。
【０１７５】
ステップＳ１００５では、レリースボタンの全押し操作により、ｓｗ２がオンになるまで待機する。なお、この待機ステップ中にレリースボタンの半押し操作が解除され、ｓｗ１がオフになったときにはスタートに戻る。
【０１７６】
ステップＳ１００６では、１枚目の撮影を開始する。
【０１７７】
ステップＳ１００７では、１枚目の撮影が完了するまでステップＳ１００６、♯１００７を循環して待機する。そして、１枚目の撮影が完了するとステップＳ１００８に進む。
【０１７８】
ステップＳ１００８では、ズレ検出部１１３によりフレームの周辺領域１２５（図３又は図６）の中から特徴的な像（特徴点）を抽出し、その像の座標を求める。
【０１７９】
実際には、ここで相関演算が行われて特徴点の変化量が求められ、２枚目の画像がこのステップに来た時に１枚目の画像と相関演算されて特徴点の変化量が求められる。
【０１８０】
また、３枚目、４枚目の画像に対してもこのステップで、予め記憶してある１枚目の画像との相関演算が行われて特徴点の変化量が求められる。
【０１８１】
ステップＳ２００１では、選択制御部２２がステップＳ１００２で求めた像の明るさに対応して画像選択部２１の選択基準（画像選択の際に基準となる特徴点の変化量）を変更する。
【０１８２】
具体的には、適正露出のためにトータルの露光時間が１／８秒必要な被写体の明るさの場合には、トータルの露光時間が１／１５秒必要な被写体の明るさの場合に比べて構図ズレの許容量（選択基準）を倍に設定する。
【０１８３】
例えば、トータルの露光時間が１／１５秒の場合に、特徴点における変化量を撮像部１５の５画素分（選択基準）まで許容するとしたとき、トータルの露光時間が１／８秒の場合には特徴点の変化量を１０画素分（選択基準）まで許容するようにする。
【０１８４】
ステップＳ２００２では、ステップＳ２００１で求めた画像の選択基準に基づいて撮影された画像を判定し、判定対象となる画像のうち特徴点座標が許容量（選択基準の値）を超える画像がある場合には、ステップＳ２００３に進んでこの画像を破棄するとともにステップＳ１００６に戻る。
【０１８５】
なお、最初の１枚目の画像を撮影したときには、画像の選択は行わずにそのままステップＳ１０１２に進む。
【０１８６】
ステップＳ１０１２では、選択された画像の合成を行う。
【０１８７】
ここで、画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
【０１８８】
ステップＳ２００４では、露出適正化に必要な撮影枚数（推定枚数）だけ画像合成を行えたか否かを判別している。
【０１８９】
例えば、トータル１／８秒の露光時間の場合に、露光時間１／３２秒として複数回の撮影を行う場合において、ステップＳ２００２で選択された構図ズレの少ない画像が４枚得られ、これらの画像が合成された時点でステップＳ２００５に進む。
【０１９０】
一方、必要枚数の画像が合成されていない場合には、必要枚数の画像合成が完了するまでステップＳ１００６に戻り、撮影、特徴点抽出、画像選択、画像合成（ステップＳ１００６〜ステップＳ１０１２）を繰り返す。
【０１９１】
なお、ステップＳ２００７は、ステップＳ２００４とステップＳ１００６の間に設けられており、現在の撮影枚数が推定した撮影枚数（例えば８枚）以内の場合にはステップＳ１００６に進み、推定枚数を超えたときはステップＳ２００５に進む。
【０１９２】
これは、構図ズレの少ない画像を撮影するためにむやみに撮影枚数を増やすことを防ぐためである。
【０１９３】
そして、適正露出に必要な撮影枚数だけ合成用の画像として得られなかった場合、例えば画像合成に４枚の画像が必要なのに構図ズレの小さい画像が２枚しか得られなかった場合には、得られた画像のみを合成して合成画像信号のゲインアップをして露出の補正を行う。
【０１９４】
なお、第１実施形態においてはステップＳ１０１３で合成された画像のうち各画像が構図ズレにより重ならなかった領域をカットし、元のフレームの大きさになるように画像を拡散補完している。
【０１９５】
しかし、本実施形態においては構図ズレの少ない画像を選んで画像合成に使用しているので画像が重ならない領域は少なく、第１実施形態のステップＳ１０１３に相当するステップはなくなっている。
【０１９６】
すなわち、本実施形態においては、撮影画面全体を無駄なく再現した振れ補正を行うことができる。
【０１９７】
ステップＳ２００５では、実際に撮影した枚数を、カメラのファインダ内に設けられた表示部やカメラ背面に設けられた液晶表示部に表示する。
【０１９８】
ステップＳ１０１４では、ステップＳ１０１２で得られた合成画像データを、カメラ背面などに配置された液晶表示部に撮影画像として表示する。
【０１９９】
ステップＳ１０１５では、ステップＳ１０１２で得られた画像データを記録媒体に記録する。
【０２００】
ステップＳ１０１６では、スタートに戻る。
【０２０１】
なお、ステップＳ１０１６の段階でまだ継続してレリースボタンが半押し操作されることによりｓｗ１がオンになっているときには、そのままステップＳ１００１、♯１００２、♯１００３、♯１００４と再度フローを進めてゆく。また、ステップＳ１０１６の段階でレリースボタンが全押し操作されて、ｓｗ２がオンになっているときには、スタートに戻らずステップＳ１０１６で待機する。
【０２０２】
複数枚の画像はそれらを合成するごとに１枚１枚の露出不足が改善されてゆく。このため、撮影前の測光によりあらかじめ露出改善に必要な撮影枚数は分かる。
【０２０３】
しかし、これらの撮影画像の中には構図ズレが大きく合成に適さない画像もある。
【０２０４】
そこで、上述した第３実施形態および第４実施形態では、複数の撮影を実行するときにはあらかじめ必要な撮影枚数以上の撮影を行い、これにより得られた画像の中から比較的構図ズレの少ない画像を選択し、選択された画像を合成することで振れの少ない合成画像を得ることができる。
【０２０５】
例えば、長時間の露光を行いたい場合には、１回の露光撮影を多くの短時間露光撮影に分けて撮影するが、撮影枚数が多くなるに伴い各画像の構図ズレも大きくなる。
【０２０６】
このため、画像選択部２１で合成に適する画像を必要枚数選択することができなくなる恐れがある。
【０２０７】
そこで、第４実施形態では、長時間露光のような撮影条件の場合には画像の選択基準を甘くして、多少の構図ズレの画像は選択するようにして確実に撮影が続行できるようにしている。
【０２０８】
（第５実施形態）
図１３は、本発明の第５実施形態であるカメラの構成図である。同図において、図１および図１０で説明した部材と同じ部材については、同一符号を付して説明を省略する。
【０２０９】
本実施形態において第３実施形態（第４実施形態）と異なる点は、ある程度の構図ズレの画像は画像選択部で許容して合成画像として使用し、このような画像は第１実施形態のように座標変換して構図ズレの補正を行う点にある。
【０２１０】
しかも、画像の選択に際しては、第３実施形態のようにフレームの周辺の静止物など（図３又は図７の領域１２５）における特徴点の変化だけではなく、主被写体（人物）の特徴点の変化も考慮に入れている点にある。
【０２１１】
ここで、第１実施形態のように画像の座標変換を行うとともに、第２実施形態のように画像の選択を行う理由について説明する。
【０２１２】
実際に複数撮影した画像においては、撮影時間が長くなるにしたがって大きな構図ズレの画像も出てくる。
【０２１３】
そして、このような大きな構図ズレの場合、画像を座標変換してから合成しても画面欠け（図４の領域１２７）の部分が大きくなり、鑑賞用の画像領域が極端に狭くなってしまう。
【０２１４】
また、大きな構図ズレの場合には、単に座標上で像がシフトしただけではなく、カメラのレンズ特性やカメラのあおり姿勢の変化による画像ひずみが大きくなるので、画像上の一部の特徴点の変化を座標変換で補完しても像全体が前の画像とうまく重ならなくなる。
【０２１５】
このため、ある程度構図ズレの小さい画像のみを選択し、この選択した画像に対して座標変換を行ってから画像合成を行うようにしている。
【０２１６】
次に、画像の選択として第２実施形態のように画面周辺の特徴点の変化ばかりではなく主被写体の動きの大きさも考慮に入れている点を説明する。
【０２１７】
露光時間が長くなると手振れによる構図の変化ばかりでなく、主被写体の動き（被写体振れ）も大きくなる。
【０２１８】
そして、各撮影の中で主被写体の動きの大きな画像を合成してしまうと、合成された画像の主被写体はボケた画像になってしまう。
【０２１９】
例えば、複数枚の撮影を行う時に最後の撮影に近くなると、主被写体（人物）は撮影が終了したと勘違いして撮影位置から動いてしまうことがある。
【０２２０】
そこで、本実施形態では、このように主被写体の動きが大きい画像も合成には使用しない構成にしている。
【０２２１】
図１３において、第２の画像選択部３２は、図３の領域１２６や図７の領域１２６のように主被写体の位置する領域における特徴点の変化が大きいときには、この画像は合成用には使用しないようにしている。
【０２２２】
信号処理部１１２から出力される信号は、ズレ検出部１１３に入力され、このズレ検出部１１３において特徴点の変化が求められる。
【０２２３】
この特徴点の変化は、撮影画面を、図３や図７の領域１２５（主被写体領域以外の領域）と領域１２６（主被写体領域など）に分けて、それぞれの領域において特徴点の変化を求めている。そして、各領域において複数の特徴点の変化が求められ、各領域ごとに平均値、又は上述した最小値が求められる。
【０２２４】
第１の画像選択部３１は、ズレ検出部１１３により撮影画像の領域１２５（図３や図７）における特徴点の変化と、選択制御部２２で決定される選択基準（画像選択の際に基準となる特徴点の変化量）とに基づいて画像選択を行い、選択された画像のみ第２の画像選択部３２に出力する。
【０２２５】
ここで、画像の選択基準は、第３実施形態における選択基準ほど厳しくはしていない。これは、ある程度の構図ズレ（特徴点の変化）は、座標変換部１１４により補正（座標変換）できるからである。
【０２２６】
このため、第３実施形態では、例えばトータルの露光時間が１／１５秒の場合には、特徴点の変化量が撮像部１５の５画素分（選択基準）まで許容するとしているが、本実施形態では特徴点の変化量が１０画素分（選択基準）まで許容するようになっている。
【０２２７】
また、この選択基準も第３実施形態と同様に選択制御部２２により変更されて、トータルの露光時間が１／８秒必要な被写体の明るさの場合には、トータルの露光時間が１／１５秒必要な被写体の明るさの場合に比べて選択基準の値を倍に設定している。
【０２２８】
例えば、トータルの露光時間が１／１５秒の場合には、特徴点の変化量が撮像部１５の１０画素分（選択基準）まで許容し、トータルの露光時間が１／８秒の場合には２０画素分（選択基準）まで許容して画像の選択を行う。
【０２２９】
第２の画像選択部３２は、ズレ検出部１１３の領域１２６（図３や図７）における特徴点変化に基づき画像選択を行い、選択された画像のみを座標変換部１１４に出力する。
【０２３０】
なお、ここでの特徴点の変化は領域１２５における特徴点の変化分を削除した値であり、構図ズレのない純粋な主被写体（人物）の動きを特徴点の変化としており、単純に領域１２６における特徴点の変化を求めた値ではない。
【０２３１】
第２の画像選択部３２の役割は、前述したように主被写体の振れが大きい画像を画像合成には使わないようにすることであり、例えば主被写体の振れ（特徴点の変化量）が撮像部１５の１０画素以上変化している画像は合成に使用しないようにしている。
【０２３２】
座標変換部１１４は、第１実施形態と同様に第２の画像選択部３２より出力された画像を領域１２５における特徴点変化に基づいて座標変換し、この結果を画像記憶部１１５に出力する。
【０２３３】
画像記憶部１１５は、各画像データが適正露出のために必要な合成枚数だけ蓄積すると、これらの画像データを画像合成部１１８に出力する。
【０２３４】
画像合成部１１８は、入力された画像を加算平均して１枚の画像に合成し、適正にゲイン変更するとともに、図４の画面欠け領域１２７をカットして、元のフレームの大きさにあわせるように画像を拡大補完する。
【０２３５】
そして、仕上がった画像データは、表示部１１６及び記録部１１７に出力されて、カメラの背面に設けられた液晶表示部に撮影画像として表示されるとともに、半導体メモリなどで構成される記録媒体に記録される。
【０２３６】
図１４は、本実施形態における撮影動作を示すフローチャートであり、このフローは防振スイッチをオンさせたときにスタートする。
【０２３７】
ステップＳ１００１では、撮影者がレリースボタンの半押し操作を行うことにより、ｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【０２３８】
ステップＳ１００２では、撮像部１５で撮像が行われる。撮影制御部１１１は、信号処理部１１２の出力に基づいて画像のコントラストを検出しながら、ＡＦ駆動モータ１４を駆動して撮影レンズ１１を光軸方向に移動させる。そして、コントラストがピーク値に達した時点で、撮影レンズ１１の移動を停止させる。これにより、撮影光学系は合焦状態となる。
【０２３９】
また、撮影制御部１１１は、撮像部１５の出力に基づいて被写体の明るさを求める。
【０２４０】
ステップＳ１００３では、ステップＳ１００２で求めた被写体の明るさから撮影する枚数を求める。
【０２４１】
例えば、被写体の明るさを測光し、この測光結果に基づいて適正に露光するためには、絞り１３を全開（例えばｆ２．８）にするとともにシャッタ１２の開き時間、露光時間を１／８秒にする必要があるとする。
【０２４２】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では手振れによる像振れが生じる恐れがあるので、像振れの恐れがないように露光時間を１／３２秒に設定して６回撮影を行うように設定する。
【０２４３】
第１実施形態では、同一条件下で撮影回数を４回としており、第３実施形態では構図ズレ（特徴点の変化量）の大きい画像は合成に使わないため、破棄する画像を見込んで撮影枚数を倍に設定している。
【０２４４】
一方、本実施形態においては、構図ズレによる破棄画像の判定をゆるく（選択基準の値を大きく）し、このときの信号処理工程で座標変換により構図ズレを補正するため、第３実施形態よりも撮影枚数は少なくしている。
【０２４５】
また、撮影光学系の焦点距離が３００ｍｍであるとき、像振れの恐れがないように露光時間を１／３２０秒に設定して６０回撮影を行うように設定する。
【０２４６】
これも第１実施形態より多く、第３実施形態より少ない枚数に設定にしている。
【０２４７】
ステップＳ１００４では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、撮影枚数を表示して撮影者に知らせる。
【０２４８】
ステップＳ１００５では、レリースボタンが全押し操作されることによりｓｗ２がオンになるまで待機する。
【０２４９】
なお、この待機ステップ中にレリースボタンの半押し操作が解除され、ｓｗ１がオフになったときにはスタートに戻る。
【０２５０】
ステップＳ１００６では、１枚目の撮影を開始する。
【０２５１】
ステップＳ１００７では、１枚目の撮影が完了するまでステップＳ１００６、ステップＳ１００７を循環して待機する。そして、１枚目の撮影が完了するとステップＳ１００８に進む。
【０２５２】
ステップＳ１００８では、ズレ検出部１１３が撮影画面内の領域１２５（図３や図７）の中から特徴的な像（特徴点）を抽出し、その像の座標を求める。
【０２５３】
実際には、ここで相関演算が行われて特徴点の変化量が求められ、２枚目の画像がこのステップに来た時に１枚目の画像と相関演算され特徴点の変化量が求められる。
【０２５４】
前述したようにこのステップにおいては２つの領域１２５、１２６（図３、図６）における特徴点変化を求めており、領域１２５（画面の周辺など）と領域１２６（主被写体領域など）の各領域において複数の特徴点の変化が求められる。そして、領域ごとに平均値、又は前述したように最小値を求め、それぞれの領域における特徴点の変化量としている。
【０２５５】
また、領域１２６における特徴点は、実際の領域１２６の画像の座標の動き量に対して領域１２５の動き量の差分を求めており、これにより領域１２６の特徴点変化は手振れによる構図ズレが排除された純粋な被写体振れのみとして求められる。
【０２５６】
３枚目、４枚目の画像に対しても同様にステップＳ１００８で、予め記憶してある１枚目の画像との相関演算が行われ特徴点の変化量が求められる。
【０２５７】
ステップＳ２００１では、選択制御部２２は、ステップＳ１００２で求めた画像の明るさに対応して第１の画像選択部３１の選択基準（第１の選択基準）を変更する。
【０２５８】
この第１の選択基準の変更は、前述したように適正露出のためにトータルの露光時間が１／８秒必要な被写体の明るさの場合には、トータルの露光時間が１／１５秒必要な被写体の明るさの場合に比べて第１の選択基準の値を倍に設定している。
【０２５９】
例えば、トータルの露光時間が１／１５秒の場合は、特徴点の変化量が撮像部１５の１０画素分まで許容するようにしたとき、トータルの露光時間が１／８秒の場合には２０画素分まで許容するようにしている。
【０２６０】
ステップＳ３００１では、ステップＳ１００８で求めた領域１２５における特徴点の変化と、ステップＳ２００１で求めた第１の選択基準とに基づいて撮影された画像の構図ズレを判定する。ここで、特徴点の座標変化が許容量（第１の選択基準の値）を超える場合にはステップＳ２００３に進んで、この画像を破棄するとともにステップＳ１００６に戻る。
【０２６１】
なお、最初の１枚の画像のみの場合には、画像の選択は行わずにそのままステップＳ１０１０に進む。
【０２６２】
ステップＳ３００２では、ステップＳ１００８で求めた領域１２６における特徴点の変化に基づいて撮影された画像の構図ズレを判定する。そして、特徴点の座標変化量が所定の許容量（第２の選択基準の値）を超える場合にはステップＳ２００３に進んで、この画像を破棄するとともにステップＳ１００６に戻る。
【０２６３】
なお、このステップにおける判定基準（第２の選択基準の値）もステップＳ３００１と同様に露光時間などの撮影条件で変更するようにしてもよい。
【０２６４】
また、このステップＳ３００２においても、最初の１枚の画像のみの場合には、画像の選択は行わずそのままステップＳ１００９に進む。
【０２６５】
ステップＳ１００９では、ステップＳ１００８で求められた領域１２５の特徴点の変化に基づいて画像の座標変換が行われ、２枚目以降の画像が１枚目の画像と重なるように処理される。
【０２６６】
ステップＳ１０１０では、１枚目の画像および２枚目以降の選択された画像を画像記憶部１１５に記憶する。
【０２６７】
ステップＳ１０１１では、ステップＳ１００３で求めた全画像の撮影が終了したか否かを判断しており、全画像の撮影が終了するまではステップＳ１００６に戻り撮影、特徴点抽出、画像選択、画像記憶（ステップＳ１００６からステップＳ１０１０）を繰り返す。
【０２６８】
なお、このフローでは１枚目の撮影が終了した後に２枚目の撮影を実行しているように見えるが、実際には１枚目の画像の特徴点抽出、座標計算、画像保存を行っている間にも２枚目の画像の撮像、撮像部１５からの読み出しが行われている。
【０２６９】
これにより、画像記憶部１１５に記憶される２枚目以降の画像の構図はすべて１枚目の構図に揃うことになる。
【０２７０】
すべての撮影が終了するとステップＳ１０１２に進む。
【０２７１】
ステップＳ１０１２では、画像の合成を行う。
【０２７２】
ここで、画像の合成は、各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
【０２７３】
また、このステップにおいて第３実施形態と同様に合成に必要な枚数だけ画像が得られるか分からない。
【０２７４】
すなわち、６枚撮影してもその中で構図ズレや主被写体ズレが少なくて画像合成に使える画像が６枚あるかもしれないし、３枚しか合成に使えない画像があるかもしれない。
【０２７５】
そこで、このステップにおいて、例えば、合成に必要な画像枚数が４枚である場合であって、４枚以上の適正画像が得られたときには、その画像の中からもっとも構図ズレ（特徴点の変化量）の少ない画像から順番に４枚の画像を合成に使用するようにしている。
【０２７６】
逆に、３枚しか適正画像が得られなかった場合には、その３枚のみで画像合成を行い多少のノイズは許容して画像のゲインアップを行い露出の適正化を図る。
【０２７７】
ステップＳ１０１３では、ステップＳ１０１２で合成された画像のうち各画像が構図ズレにより重ならなかった領域（図４の領域１２７）をカットし、元のフレームの大きさになるように画像を拡散補完している。
【０２７８】
ステップＳ１０１４では、ステップＳ１０１２で得られた画像を、カメラの背面などに配置された液晶表示部に表示する。
【０２７９】
ステップＳ１０１５では、ステップＳ１０１２で得られた画像を、記録媒体に記録する。
【０２８０】
ステップＳ１０１６では、スタートに戻る。
【０２８１】
なお、ステップＳ１０１６の段階でまだ継続してレリースボタンが半押し操作されてｓｗ１がオンになっているときには、そのままステップＳ１００１、♯１００２、♯１００３、♯１００４と再度フローを進めてゆく。
【０２８２】
また、ステップＳ１０１６の段階でレリースボタンが全押し操作されてｓｗ２がオンになっているときには、スタートに戻らずステップＳ１０１６で待機する。
【０２８３】
（第６実施形態）
本発明の第６実施形態は、上述した第５実施形態の変形例であり、本実施形態におけるカメラの構成は、第５実施形態（図１３）で説明した構成と同様である。
【０２８４】
図１４のフローチャートから分かるように、ステップＳ２００３で画像の破棄を行った後、その分だけ撮影を追加する構成にし、はじめの撮影枚数は余裕を見込まない構成にすれば余分な撮影を避けることができる。しかし、この場合にはあらかじめ何枚撮影するのかが撮影者に分からない点、撮影終了の予測が付かない点などが問題になる。
【０２８５】
しかしながら、上記方法においても撮影枚数の目安を撮影者に表示し、その枚数を超える撮影が行われるときには強制的に撮影を終了する構成にしておけば無駄の少ない撮影が行えるようになる。
【０２８６】
図１５はそのような構成を説明するフローチャートであり、このフローは防振スイッチをオンさせたときにスタートする。
【０２８７】
ステップＳ１００１では、撮影者がレリースボタンを半押し操作してｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【０２８８】
ステップＳ１００２では、撮像部１５で撮像が行われる。撮影制御部１１１は、信号処理部１１２からの出力に基づいて画像のコントラストを検出しながら、ＡＦ駆動モータ１４を駆動して撮影レンズ１１を光軸方向に移動させる。そして、コントラストが最も高くなった時点で撮影レンズ１１の移動を停止させる。これにより、撮影光学系は合焦状態となる。
【０２８９】
また、撮影制御部１１１は、同時に撮像部１５の出力に基づいて被写体の明るさを求める。
【０２９０】
ステップＳ１００３では、ステップＳ１００２で求めた被写体の明るさから撮影する枚数を求める。
【０２９１】
例えば、被写体の明るさを測光し、この測光結果に基づいて適正に露光するためには、絞り１３を全開（例えばｆ２．８）にするとともにシャッタ１２の開き時間、露光時間を１／８秒とする必要があるとする。
【０２９２】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるとき、露光時間を１／８秒とする撮影では、手振れによる像振れの恐れがあるので、像振れの恐れがないように露光時間を１／３２秒に設定して６回撮影を行うように設定する。
【０２９３】
第１実施形態では、同一条件下で撮影回数を４回としており、第３実施形態では構図ズレの大きい画像は合成に使わないため、破棄する画像を見込んで撮影枚数を倍に設定している。
【０２９４】
本実施形態においては、構図ズレにより破棄する画像の判定をゆるくし、このときの信号処理工程において座標変換により構図ズレを補正することを前提にして第３実施形態よりも撮影枚数は少なくしている。
【０２９５】
一方、撮影光学系の焦点距離が３００ｍｍであるときには、像振れの恐れがないように露光時間を１／３２０秒に設定して６０回撮影を行うように設定する。
【０２９６】
これも第１実施形態よりも多く、第３実施形態よりも少ない枚数に設定にしている。
【０２９７】
ステップＳ２００６では、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、推定撮影枚数を表示して撮影者に知らせる。
【０２９８】
ここで、推定枚数としたのは、実際に合成に使用する枚数は、このときの各撮影画像における構図ズレ（特徴点の変化量）により変化するためである。例えば、カメラをしっかりと固定しており、１枚も構図ズレがない場合には４枚の撮影枚数で終了する。また、各撮影とも構図ズレが大きい時には、８枚の撮影でも合成に必要な画像は足りなくなる可能性があるからである。
【０２９９】
ステップＳ１００５では、レリースボタンが全押し操作されることによりｓｗ２がオンになるまで待機する。
【０３００】
なお、この待機ステップ中にレリースボタンが半押し操作が解除されて、ｓｗ１がオフになったときには、スタートに戻る。
【０３０１】
ステップＳ１００６では、１枚目の撮影を開始する。
【０３０２】
ステップＳ１００７では、１枚目の撮影が完了するまでステップＳ１００６、♯１００７を循環して待機する。そして、１枚目の撮影が完了するとステップＳ１００８に進む。
【０３０３】
ステップＳ１００８では、ズレ検出部１１３が撮影画面内の領域１２５（図３又は図６）の中から特徴的な像（特徴点）を抽出し、その像の座標を求める。
【０３０４】
実際には、ここで相関演算が行われて特徴点の変化量が求められ、２枚目の画像がこのステップに来た時に１枚目の画像と相関演算されて特徴点の変化量が求められる。
【０３０５】
前述したようにこのステップにおいては、２つの領域１２５、１２６における特徴点の変化を求めており、領域１２５（画面の周辺など）と領域１２６（主被写体領域など）の各領域において複数の特徴点の変化が求められる。そして、各領域において平均値、又は前述したように最小値を求め、それぞれの領域の特徴点変化としている。
【０３０６】
また、領域１２６における特徴点は、実際の領域１２６の画像の座標の動き量に対して領域１２５の動き量の差分を求めており、これにより領域１２６の特徴点変化は手振れによる構図ズレが排除された純粋な被写体振れのみとして求められる。
【０３０７】
３枚目、４枚目の画像に対しても同様にしてステップＳ１００８で、予め記憶してある１枚目の画像との相関演算が行われ特徴点の変化量が求められる。
【０３０８】
ステップＳ２００１では、選択制御部２２は、ステップＳ１００２で求めた画像の明るさに対応して第１の画像選択部３１における第１の選択基準（画像選択の際に基準となる特徴点の変化量）を変更する。
【０３０９】
この第１の選択基準の変更は、前述したように適正露出のためにトータルの露光時間が１／８秒必要な被写体の明るさの場合は、トータルの露光時間が１／１５秒必要な被写体の明るさの場合に比べて構図ズレの許容量（第１の選択基準の値）を倍に設定している。
【０３１０】
例えば、トータルの露光時間が１／１５秒の場合には、特徴点の変化量が撮像部１５の１０画素分（第１の選択基準）まで許容し、トータルの露光時間が１／８秒の場合には２０画素分（第１の選択基準）まで許容する。そして、後述するように特徴点の変化量と第１の選択基準との比較により、合成に利用される画像を選択する。
【０３１１】
ステップＳ３００１では、ステップＳ１００８で求めた領域１２５における特徴点の変化と、ステップＳ２００１で求めた画像の選択基準とに基づいて、撮影された画像の構図ズレを判定する。そして、特徴点の座標変化量が許容量（第１の選択基準の値）を超える場合にはステップＳ２００３に進んで、この画像を破棄するとともにステップＳ１００６に戻る。
【０３１２】
なお、最初の１枚の画像のみの場合には、画像の選択は行わずそのままステップＳ１０１０に進む。
【０３１３】
ステップＳ３００２では、ステップＳ１００８で求めた領域１２６における特徴点の変化に基づいて撮影された画像の構図ズレを判定する。そして、特徴点の座標変化量が所定の許容量（第２の選択基準の値）を超える場合にはステップＳ２００３に進んで、この画像を破棄するとともにステップＳ１００６に戻る。
【０３１４】
なお、このステップにおける判定基準（第２の選択基準）もステップＳ３００１と同様に露光時間などの撮影条件で変更するようにしてもよい。また、このステップＳ３００２においても最初の１枚の画像のみの場合には、画像の選択は行わずそのままステップＳ１００９に進む。
【０３１５】
ステップＳ１００９では、ステップＳ１００８で求められた領域１２５における特徴点の変化に基づいて画像の座標変換が行われ、２枚目以降の画像が１枚目の画像と重なるように処理される。
【０３１６】
ステップＳ１０１２では、画像の合成を行う。
【０３１７】
ここで、画像の合成は各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。そして、ノイズの減少した画像をゲインアップして露出の適正化を図る。
【０３１８】
ステップＳ２００４では、露出適正化に必要な枚数だけ合成を行えたか否かを判別している。
【０３１９】
例えば、トータル１／８秒の露光を１／３２秒の複数回の露光で行う場合において、ステップＳ３００１、３００２を通過した構図ズレの少ない画像が４枚（必要枚数）得られ、これらの画像が合成された時点でステップＳ１０１３に進み、そうでないときは全画像の撮影が終了するまではステップＳ１００６に戻り、撮影、特徴点抽出、画像選択、画像合成（ステップＳ１００６〜ステップＳ１０１２）を繰り返す。
【０３２０】
なお、ステップＳ２００７は、ステップＳ２００４とステップＳ１００６の間に設けられており、現在の撮影枚数が推定した撮影枚数（例えば８枚）以内の場合にはステップＳ１００６に進み、推定枚数を超えたときはステップＳ２００５に進む。
【０３２１】
これは、構図ズレの少ない画像を撮影するためにむやみに撮影枚数を増やすことを防ぐためである。
【０３２２】
そして、適正露出に必要な撮影枚数だけ合成用の画像として得られなかった場合、例えば合成には４枚必要なのに構図ズレの小さい（上記選択基準に適した）画像が２枚しか得られなかった場合には、得られた画像のみを合成し、信号のゲインアップをして露出の補正を行う。
【０３２３】
ステップＳ１０１３では、ステップＳ１０１２で合成された画像のうち各画像が構図ズレにより重ならなかった領域（図４の領域１２７）をカットし、元のフレームの大きさになるように画像を拡散補完している。
【０３２４】
ステップＳ２００５では、撮影枚数をカメラの液晶表示部等に表示する。
【０３２５】
ステップＳ１０１４では、ステップＳ１０１２で得られた画像を、カメラ背面などに配置された液晶表示部に表示する。
【０３２６】
ステップＳ１０１５では、ステップＳ１０１２で得られた画像を記録媒体に記録する。
【０３２７】
ステップＳ１０１６では、スタートに戻る。
【０３２８】
なお、ステップＳ１０１６の段階でまだ継続してレリースボタンが半押し操作されｓｗ１がオンになっているときは、そのままステップＳ１００１、♯１００２、♯１００３、♯１００４と再度フローを進めてゆく。
【０３２９】
また、ステップＳ１０１６の段階でレリースボタンが全押し操作されてｓｗ２がオンになっているときには、スタートに戻らずステップＳ１０１６で待機する。
【０３３０】
複数枚の画像はそれらを合成するごとに１枚１枚の露出不足が改善されてゆく。このため、撮影前の測光によりあらかじめ露出改善に必要な撮影枚数は分かる。
【０３３１】
しかし、それらの撮影画像の中には構図ズレが大きく合成に適さない画像もある。
【０３３２】
そこで、上述した本実施形態では、撮影を実行するときにはあらかじめ必要な撮影枚数以上の撮影を行い、それら画像の中から比較的構図ズレの少ない（選択基準を満たす）画像を選択し、選択された画像を合成することで振れの少ない合成画像を得ることができる。
【０３３３】
しかも、選択された画像の中での微妙な構図ズレを画像ごとに座標変換して構図を揃えた後に合成することで、より良い画像を得ることができる。
【０３３４】
一方、複数枚の撮影画像の中には主被写体（人物）が大きく動いてしまった画像もある。これらの画像は画像ごとの構図ズレ（複数枚撮影中の手振れ）がなくても合成を行うと主被写体は鮮明な画像にはならない。
【０３３５】
そこで、主被写体の位置などをフォーカスエリア（図７の１２８ａ〜１２８ｅ）で特定し、このエリア（図７の領域１２６）内の動きが他の撮影画像に比べて大きく異なる画像は合成しないようにして、主被写体が鮮明な合成画像を得るようにしている。
【０３３６】
以上説明した各実施形態は、以下に示す各発明を実施した場合の一例でもあり、下記の各発明は上記各実施形態に様々な変更や改良が加えられて実施されるものである。
【０３７２】
【発明の効果】
本発明の撮影装置又はプログラムによれば、フォーカスエリア内とフォーカスエリア外から特徴点を抽出し、フォーカスエリア内の特徴点の移動量に応じてフォーカスエリア外の特徴点の移動量を用いて位置あわせすることによって、像振れのない精度良い合成画像（１枚の撮影画像）を得ることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態であるカメラのブロック図。
【図２】本発明の第１実施形態における座標変換説明図。
【図３】本発明の第１実施形態における特徴点抽出領域の説明図。
【図４】本発明の第１実施形態における画像合成の説明図。
【図５】本発明の第１実施形態における撮影動作を示すフローチャート。
【図６】本発明の第１実施形態における撮影動作を示すフローチャート（変形例）。
【図７】本発明の第２実施形態における特徴点抽出領域の説明図。
【図８】本発明の第２実施形態における撮影処理動作を示すタイミングチャート。
【図９】本発明の第２実施形態における撮影動作を示すフローチャート。
【図１０】本発明の第３実施形態であるカメラのブロック図。
【図１１】本発明の第３実施形態における撮影動作を示すフローチャート。
【図１２】本発明の第４実施形態における撮影動作を示すフローチャート。
【図１３】本発明の第５実施形態であるカメラのブロック図。
【図１４】本発明の第５実施形態における撮影動作を示すフローチャート。
【図１５】本発明の第６実施形態における撮影動作を示すフローチャート。
【符号の説明】
１０ ：光軸
１１ ：撮影レンズ
１２ ：シャッタ
１３ ：絞り
１４ ：ＡＦ駆動モータ
１５ ：撮像部
１６ ：駆動部
１７ ：絞り駆動部
１８ ：シャッタ駆動部
１９ ：焦点駆動部
１１０ ：Ａ／Ｄ変換部
１１１ ：撮影制御部
１１２ ：信号処理部
１１３ ：ズレ検出部
１１４ ：座標変換部
１１５ ：画像記録部
１１６ ：表示部
１１７ ：記録部
１１８ ：画像合成部
１１９ ：フレーム
１２０ ：主被写体
１２３ ：特徴点
１２４ ：特徴点の変化
１２５ ：特徴点抽出領域
１２６ ：主被写体領域
１２７ ：画面欠け領域
１２８ ：フォーカスエリア
２１ ：画像選択部
２２ ：選択制御部
３１ ：第１の画像選択部
３２ ：第２の画像選択部
Claims (11)
- フォーカスエリアにて合焦させて撮影した複数の画像を合成して合成画像を得る撮影装置であって、
前記複数の画像のそれぞれに対して、前記フォーカスエリア内に対応する領域と前記フォーカスエリア外に対応する領域にて特徴点をそれぞれ抽出する抽出手段と、
前記複数の画像間で前記フォーカスエリア内に対応する領域にて抽出した特徴点に基づいて第１の変位量を検出し、前記複数の画像間で前記フォーカスエリア外に対応する領域にて抽出した特徴点に基づいて第２の変位量を検出する検出手段と、
前記第１の変位量が第１の所定値を超えるかどうかを判定し、前記第２の変位量が第２の所定値を超えるかどうかを判定する判定手段と、
前記判定手段にて前記第１の変位量が前記第１の所定値を超えないと判定され、かつ、前記判定手段にて前記第２の変位量が前記第２の所定値を超えないと判定されたときは、前記フォーカスエリア外に対応する領域にて抽出した前記複数の画像の特徴点同士が一致するように、前記複数の画像を合成する合成手段とを有し、
前記第１の所定値は前記複数の画像を撮影する際の露光時間によって変化することを特徴とする撮影装置。 - 前記第１の所定値を変更する設定手段を更に有し、
前記フォーカスエリア内に対応する領域における輝度が低いときは、前記設定手段によって前記第１の所定値を上げることを特徴とする請求項１に記載の撮像装置。 - 前記合成手段は、前記判定手段によって前記第２の変位量が前記第２の所定値を超えないと判定された画像のうち、前記第２の変位量が小さい画像から順に合成することを特徴とする請求項１又は２に記載の撮像装置。
- フォーカスエリアにて合焦させて撮影した複数の画像を合成して合成画像を得る撮影装置であって、
前記複数の画像のそれぞれに対して、前記フォーカスエリア内に対応する領域と前記フォーカスエリア外に対応する領域にて特徴点をそれぞれ抽出する抽出手段と、
前記複数の画像間で前記フォーカスエリア内に対応する領域にて抽出した特徴点の変位量である第１の変位量と、前記複数の画像間で前記フォーカスエリア外に対応する領域にて抽出した特徴点の変位量である第２の変位量とを検出する検出手段と、
前記第１の変位量が第１の所定値を超えるかどうかを判定し、前記第１の変位量と前記第２の変位量の差分が第２の所定値を超えるかどうかを判定する判定手段と、
前記判定手段にて前記第１の変位量が前記第１の所定値を超えないと判定され、かつ、前記判定手段にて前記第１の変位量と前記第２の変位量の差分が前記第２の所定値を超えないと判定されたときは、前記第１の変位量と前記第２の変位量の差分に基づいて座標変換を行うことで前記複数の画像を合成する合成手段とを有し、
前記第１の所定値は前記複数の画像を撮影する際の露光時間によって変化することを特徴とする撮影装置。 - 前記第１の所定値を変更する設定手段を更に有し、
前記フォーカスエリア内に対応する領域における輝度が低いときは、前記設定手段によって前記第１の所定値を上げることを特徴とする請求項４に記載の撮像装置。 - 前記合成手段は、前記判定手段によって前記第１の変位量と前記第２の変位量の差分が前記第２の所定値を超えないと判定された画像のうち、前記変位量が小さい画像から順に合成することを特徴とする請求項４又は５の何れか１項に記載の撮像装置。
- 前記合成手段は、前記判定手段によって前記第１の変位量が前記第１の所定値を超えると判定された際は、前記合成手段による合成動作を行わないことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
- 前記合成手段は、前記複数の画像の撮影がすべて終了した後に合成動作を行うことを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
- フォーカスエリアにて合焦させて撮影した複数の画像を合成して合成画像を得る合成画像生成方法であって、
前記複数の画像のそれぞれに対して、前記フォーカスエリア内に対応する領域と前記フォーカスエリア外に対応する領域にて特徴点をそれぞれ抽出する抽出ステップと、
前記複数の画像間で前記フォーカスエリア内に対応する領域にて抽出した特徴点に基づいて第１の変位量を検出し、前記複数の画像間で前記フォーカスエリア外に対応する領域にて抽出した特徴点に基づいて第２の変位量を検出する検出ステップと、
前記第１の変位量が第１の所定値を超えるかどうかを判定し、前記第２の変位量が第２の所定値を超えるかどうかを判定する判定ステップと、
前記判定ステップにて前記第１の変位量が前記第１の所定値を超えないと判定され、かつ、前記判定ステップにて前記第２の変位量が前記第２の所定値を超えないと判定されたときは、前記フォーカスエリア外に対応する領域にて抽出した前記複数の画像の特徴点同士が一致するように、前記複数の画像を合成する合成ステップとを有し、
前記第１の所定値は前記複数の画像を撮影する際の露光時間によって変化することを特徴とする合成画像生成方法。 - フォーカスエリアにて合焦させて撮影した複数の画像を合成して合成画像を得る合成画像生成方法であって、
前記複数の画像のそれぞれに対して、前記フォーカスエリア内に対応する領域と前記フォーカスエリア外に対応する領域にて特徴点をそれぞれ抽出する抽出ステップと、
前記複数の画像間で前記フォーカスエリア内に対応する領域にて抽出した特徴点の変位量である第１の変位量と、前記複数の画像間で前記フォーカスエリア外に対応する領域にて抽出した特徴点の変位量である第２の変位量とを検出する検出ステップと、
前記第１の変位量が第１の所定値を超えるかどうかを判定し、前記第１の変位量と前記第２の変位量の差分が第２の所定値を超えるかどうかを判定する判定ステップと、
前記判定ステップにて前記第１の変位量が前記第１の所定値を超えないと判定され、かつ、前記判定ステップにて前記第１の変位量と前記第２の変位量の差分が前記第２の所定値を超えないと判定されたときは、前記第１の変位量と前記第２の変位量の差分に基づいて座標変換を行うことで前記複数の画像を合成する合成ステップとを有し、
前記第１の所定値は前記複数の画像を撮影する際の露光時間によって変化することを特徴とする合成画像生成方法。 - 請求項９又は１０に記載の合成画像生成方法をコンピュータに実行させることを特徴とするプログラム。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003007609A JP4418632B2 (ja) | 2003-01-15 | 2003-01-15 | 撮影装置、合成画像生成方法およびプログラム |
| US10/756,034 US7295232B2 (en) | 2003-01-15 | 2004-01-13 | Camera and program |
| US11/876,408 US8558897B2 (en) | 2003-01-15 | 2007-10-22 | Image-pickup apparatus and method for obtaining a synthesized image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003007609A JP4418632B2 (ja) | 2003-01-15 | 2003-01-15 | 撮影装置、合成画像生成方法およびプログラム |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004219765A JP2004219765A (ja) | 2004-08-05 |
| JP2004219765A5 JP2004219765A5 (ja) | 2006-03-02 |
| JP4418632B2 true JP4418632B2 (ja) | 2010-02-17 |
Family
ID=32897658
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003007609A Expired - Fee Related JP4418632B2 (ja) | 2003-01-15 | 2003-01-15 | 撮影装置、合成画像生成方法およびプログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4418632B2 (ja) |
Families Citing this family (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4536641B2 (ja) * | 2005-11-02 | 2010-09-01 | ルネサスエレクトロニクス株式会社 | 画像ぶれ補正装置、画像ぶれ補正方法及び画像ぶれ補正プログラム |
| JP4621991B2 (ja) * | 2006-07-13 | 2011-02-02 | 富士フイルム株式会社 | 像振れ補正装置及びその補正方法 |
| JP4771896B2 (ja) * | 2006-08-31 | 2011-09-14 | 三洋電機株式会社 | 動き検出装置及び方法並びに撮像装置 |
| JP4762089B2 (ja) | 2006-08-31 | 2011-08-31 | 三洋電機株式会社 | 画像合成装置及び方法並びに撮像装置 |
| JP4483841B2 (ja) | 2006-09-06 | 2010-06-16 | カシオ計算機株式会社 | 撮像装置 |
| JP4656168B2 (ja) | 2008-03-05 | 2011-03-23 | カシオ計算機株式会社 | 画像合成装置 |
| JP4483963B2 (ja) | 2008-03-25 | 2010-06-16 | ソニー株式会社 | 撮像装置、撮像方法 |
| JP5077003B2 (ja) | 2008-03-25 | 2012-11-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| JP4483962B2 (ja) | 2008-03-25 | 2010-06-16 | ソニー株式会社 | 撮像装置、撮像方法 |
| JP4492724B2 (ja) | 2008-03-25 | 2010-06-30 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| JP4544332B2 (ja) | 2008-04-07 | 2010-09-15 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
| JP2010050745A (ja) | 2008-08-21 | 2010-03-04 | Canon Inc | 画像処理装置およびその方法 |
| US9171372B2 (en) * | 2010-11-23 | 2015-10-27 | Qualcomm Incorporated | Depth estimation based on global motion |
| JP5488558B2 (ja) * | 2011-10-04 | 2014-05-14 | カシオ計算機株式会社 | カメラ、及びカメラ制御プログラム |
| CN117278865A (zh) * | 2023-11-16 | 2023-12-22 | 荣耀终端有限公司 | 一种图像处理方法及相关装置 |
-
2003
- 2003-01-15 JP JP2003007609A patent/JP4418632B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004219765A (ja) | 2004-08-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4378272B2 (ja) | 撮影装置 | |
| JP4136793B2 (ja) | 撮像装置および撮像装置の制御方法 | |
| JP4181923B2 (ja) | 撮像装置および撮像装置の制御方法 | |
| US7295232B2 (en) | Camera and program | |
| EP1808014B1 (en) | Camera and image processing method for camera | |
| JP4390286B2 (ja) | カメラ及びその制御方法及びプログラム及び記憶媒体 | |
| JP2004357202A (ja) | 撮影装置 | |
| JP4418632B2 (ja) | 撮影装置、合成画像生成方法およびプログラム | |
| JP4164424B2 (ja) | 撮像装置及び方法 | |
| JP2006050457A (ja) | 撮像装置 | |
| JP2007215091A (ja) | 撮像装置及びそのプログラム | |
| JP2006086933A (ja) | 撮像装置及び制御方法 | |
| JP2001177761A (ja) | デジタルカメラ | |
| JP4533252B2 (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
| JP2004221992A (ja) | 撮影装置およびプログラム | |
| JP4323969B2 (ja) | 撮影装置 | |
| JP4324234B2 (ja) | 撮影装置 | |
| JP2010233188A (ja) | 撮像装置、その制御方法及びプログラム | |
| JP4170194B2 (ja) | 撮影装置 | |
| JP2003241066A (ja) | カメラ | |
| JP2006050139A (ja) | 光学機器 | |
| JP2006091252A (ja) | 撮像装置及び撮像方法およびプログラム | |
| JP4378237B2 (ja) | 撮影装置 | |
| JP2000231055A (ja) | 自動焦点調節カメラ | |
| JP2006115172A (ja) | 撮影装置およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060106 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060106 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20081023 |
|
| RD05 | Notification of revocation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7425 Effective date: 20081201 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090317 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090630 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090827 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090929 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20091022 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20091124 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20091130 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4418632 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121204 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131204 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |