JP4181923B2 - 撮像装置および撮像装置の制御方法 - Google Patents
撮像装置および撮像装置の制御方法 Download PDFInfo
- Publication number
- JP4181923B2 JP4181923B2 JP2003153176A JP2003153176A JP4181923B2 JP 4181923 B2 JP4181923 B2 JP 4181923B2 JP 2003153176 A JP2003153176 A JP 2003153176A JP 2003153176 A JP2003153176 A JP 2003153176A JP 4181923 B2 JP4181923 B2 JP 4181923B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- displacement
- unit
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003384 imaging method Methods 0.000 title claims description 69
- 238000000034 method Methods 0.000 title claims description 39
- 238000006073 displacement reaction Methods 0.000 claims abstract description 76
- 238000012545 processing Methods 0.000 claims abstract description 34
- 238000006243 chemical reaction Methods 0.000 claims description 57
- 238000001514 detection method Methods 0.000 claims description 53
- 239000002131 composite material Substances 0.000 claims description 27
- 230000015572 biosynthetic process Effects 0.000 claims description 22
- 238000003786 synthesis reaction Methods 0.000 claims description 22
- 230000009466 transformation Effects 0.000 claims description 13
- 230000002194 synthesizing effect Effects 0.000 claims description 6
- 239000013598 vector Substances 0.000 description 108
- 238000005286 illumination Methods 0.000 description 45
- 230000006641 stabilisation Effects 0.000 description 44
- 238000011105 stabilization Methods 0.000 description 44
- 239000000203 mixture Substances 0.000 description 42
- 230000008569 process Effects 0.000 description 24
- 238000010586 diagram Methods 0.000 description 22
- 230000003287 optical effect Effects 0.000 description 21
- 238000000605 extraction Methods 0.000 description 18
- 230000008859 change Effects 0.000 description 16
- 238000012937 correction Methods 0.000 description 15
- 238000004091 panning Methods 0.000 description 13
- 238000003860 storage Methods 0.000 description 13
- 230000000694 effects Effects 0.000 description 9
- 239000000284 extract Substances 0.000 description 9
- 230000006872 improvement Effects 0.000 description 9
- 238000003825 pressing Methods 0.000 description 7
- 238000002955 isolation Methods 0.000 description 6
- 230000035945 sensitivity Effects 0.000 description 6
- 238000003702 image correction Methods 0.000 description 5
- 230000000295 complement effect Effects 0.000 description 4
- 230000006866 deterioration Effects 0.000 description 4
- 239000004065 semiconductor Substances 0.000 description 4
- 238000012935 Averaging Methods 0.000 description 3
- 239000004973 liquid crystal related substance Substances 0.000 description 3
- 230000002093 peripheral effect Effects 0.000 description 3
- 238000005375 photometry Methods 0.000 description 3
- 230000001133 acceleration Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000009792 diffusion process Methods 0.000 description 2
- 230000000737 periodic effect Effects 0.000 description 2
- 238000002360 preparation method Methods 0.000 description 2
- 238000004904 shortening Methods 0.000 description 2
- GGCZERPQGJTIQP-UHFFFAOYSA-N sodium;9,10-dioxoanthracene-2-sulfonic acid Chemical compound [Na+].C1=CC=C2C(=O)C3=CC(S(=O)(=O)O)=CC=C3C(=O)C2=C1 GGCZERPQGJTIQP-UHFFFAOYSA-N 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 230000002411 adverse Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000004397 blinking Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000009432 framing Methods 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- -1 silver halide Chemical class 0.000 description 1
- 238000004804 winding Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/64—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image
- G02B27/646—Imaging systems using optical elements for stabilisation of the lateral and angular position of the image compensating for small deviations, e.g. due to vibration or shake
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
-
- G06T5/73—
-
- G06T5/92—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/681—Motion detection
- H04N23/6811—Motion detection based on the image signal
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
- H04N23/682—Vibration or motion blur correction
- H04N23/684—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time
- H04N23/6842—Vibration or motion blur correction performed by controlling the image sensor readout, e.g. by controlling the integration time by controlling the scanning position, e.g. windowing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20172—Image enhancement details
- G06T2207/20201—Motion blur correction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/14—Picture signal circuitry for video frequency region
- H04N5/144—Movement detection
- H04N5/145—Movement estimation
Description
【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ等における撮像精度向上のための技術に関し、特に手振れを補正することで撮像精度を改善する撮像装置および撮像装置の制御方法に関するものである。
【０００２】
【従来の技術】
現在のカメラは、露出決定やピント合わせ等の撮像にとって重要な作業はすべて自動化され、カメラ操作に未熟な人でも撮影失敗を起こす可能性は非常に少なくなっている。
【０００３】
また、最近では、カメラに加わる手振れを防ぐシステムも研究されており、撮影者の撮影ミスを誘発する要因は殆ど無くなってきている。
【０００４】
ここで、手振れを防ぐ防振システムについて簡単に説明する。
【０００５】
撮影時のカメラの手振れは、周波数として通常１Ｈｚないし１０Ｈｚの振動であるが、撮影時点においてこのような手振れを起こしていても像振れの無い写真を撮影可能とするための基本的な考えとして、手振れによるカメラの振動を検出し、この検出結果に応じて補正レンズを光軸直交面内で変位させなければならない（光学防振システム）。
【０００６】
すなわち、カメラ振れが生じても像振れが生じない写真を撮影するためには、第１にカメラの振動を正確に検出し、第２に手振れによる光軸変化を補正することが必要となる。
【０００７】
像振れの補正は、原理的には、レーザージャイロ等により加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理する振動検出部をカメラに搭載することによって行うことができる。そして、振動検出部からのカメラ振れの検出情報に基づき撮影光軸を偏心させる補正光学装置を駆動することにより像振れ補正が行われる。
【０００８】
一方、手振れが生じない程度の露出時間で複数回撮影を繰り返し、これらの撮影により得られた画像に対しての画像の変位を修正しながら合成して長い露出時間の撮影画像（合成画像）を得る方法がある（例えば特許文献１）。
【０００９】
【特許文献１】
特許第３１１０７９７号
【００１０】
【発明が解決しようとする課題】
最近のデジタルカメラは、銀塩コンパクトカメラに比べて小さくなってきており、特にＶＧＡクラスの撮像素子を持つカメラは携帯電子機器（例えば、携帯電話）に内蔵されるほど小型になってきている。
【００１１】
このような中で、上述した光学防振システムをカメラに搭載しようとすると、振れ補正光学装置をよりいっそう小型化するか、振動検出部を小型化する必要がある。
【００１２】
しかし、振れ補正光学装置では、補正レンズを支持し、これを高精度に駆動してゆく必要があるために小型化には限度がある。また、現在使用されている振動検出部は、ほとんどが慣性力を利用するものなので、振動検出部を小型化すると検出感度が低下し、精度の良い振れ補正ができないという問題がある。
【００１３】
更に、カメラに加わる振れとしては、所定の軸を中心とする角度振れと、カメラを平行に揺らすシフト振れがあり、角度振れは光学防振システムで補正可能であるがシフト振れ対策はできない。特に、カメラが小型になるほどこのシフト振れは大きくなる傾向がある。
【００１４】
一方、別の防振システムとしては、ビデオカメラでの動画撮影に用いられているように撮像素子で画面の動きベクトルを検出し、その動きベクトルに合わせて画像の読み出し位置を変更することで振れのない動画を得る方法もある。
【００１５】
このような方法の場合には、上述した光学防振システムのような専用の振動検出部や補正レンズが不要となるため、製品全体を小型にできるメリットがある。
【００１６】
しかし、このビデオカメラの防振システムをデジタルカメラに簡単に適用することはできない。この理由を以下に説明する。
【００１７】
ビデオカメラにおける動きベクトルの抽出は画像を読み出すごとに行っており、例えば１秒に１５コマ画像を取り出すとすると、この取り出した各画像を比較して動きベクトルを検出している。
【００１８】
ところが、デジタルカメラで静止画を撮影する場合には、撮影被写体に対して１回の露出しか行わないため、ビデオカメラのように画像の比較を行って動きベクトルを検出することはできない。
【００１９】
このため、ビデオカメラの防振システムを単純にデジタルカメラに適応させることはできない。
【００２０】
また、特許文献１にあるような方法においては複数回撮影を繰り返すことから撮影時間が長期にわたることになる。
【００２１】
これは静止被写体の場合には問題にはならないが、被写体が人物の様に僅かでも動く場合には被写体側の振れ（被写体振れ）を生じさせてしまい、手振れは抑制できても被写体振れによる画像劣化の恐れがあった。
【００２２】
また、ビデオカメラの様に動きベクトルを抽出して構図の変位を検出するとパンニングなどでカメラを意図的に動かした場合においても映像は初めの被写体にロックしたままになるので、撮影者は、意図するカメラのフレームワークが出来ない。
【００２３】
そのために、わざと変位信号の低周波成分を減衰させることでビデオカメラの使用感を向上させている。これはいわば防振精度を落としていることになり、それらの画像を合成しても精度の高い振れ補正が行われた像にはならない。
【００２４】
そこで本発明の目的は銀塩カメラの防振システムやビデオカメラの防振システムとは異なるデジタルカメラ向けの小型の防振システムを提供することにあり、また、被写体観察段階や撮影段階においても扱いやすく、かつ精度の高い小型の防振システムを提供することにある。
【００２５】
【課題を解決するための手段】
上記の目的を達成するために、本発明の撮像装置は、被写体像を光電変換する撮像素子を有し、該撮像素子からの出力信号により画像を得る撮像装置であって、各画像における特徴点を抽出し、基準画像上での特徴点に対する他の画像上での特徴点の変位量を検出する変位検出手段と、変位検出手段の検出結果に基づいて、他の画像が基準画像に重なるように他の画像に対して座標変換を行う座標変換手段と、基準画像および座標変換手段で座標変換された他の画像を合成して合成画像を生成する合成手段と、合成画像を表示する表示手段と、合成画像を記録する記録手段とを有し、撮像装置は、合成画像を所定の周期で順次、表示手段に表示する動作及び、合成画像を所定の周期で順次、記録手段に記録する動作のうち少なくとも一方の動作を行う。そして、変位検出手段は、前回の周期で合成された合成画像に対する今回の周期で合成された合成画像の変位量に応じた変位信号を生成し、座標変換手段は、この合成画像間の変位信号のうち、第１の周波数以上の周波数成分を通過させるハイパスフィルタを介して得られた信号に基づいて合成画像の座標変換を行い、合成画像の生成に用いられる一周期内の複数の画像に関しては、変位検出手段は、画像間の変位量に応じた変位信号を生成し、座標変換手段は、この画像間の変位信号のうち、第１の周波数よりも低い第２の周波数以上の周波数成分を通過させるハイパスフィルタを介して得られた信号に基づいて座標変換を行うことを特徴とする。
【００２６】
【発明の実施の形態】
（第１実施形態）
図１は、本発明の第１実施形態であるカメラ（撮影装置）の構成を示した図である。撮影レンズ１１から入射した光束（撮影光）は、シャッタ１２ａを通り、絞り１３ａで光量制限された後に撮像部１９に結像する。撮像部１９は、ＭＯＳやＣＣＤなどの半導体撮像素子からなる。
【００２７】
撮影レンズ１１は、ＡＦ駆動モータ１４ａからの駆動力を受けて光軸１０上を移動し、所定の合焦位置に停止することで焦点調節を行う。ＡＦ駆動モータ１４ａは焦点駆動部１４ｂからの駆動信号を受けることで駆動する。
【００２８】
絞り１３ａは、複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動部１３ｂからの駆動力を受けることで作動して光通過口となる開口面積（絞り口径）を変化させる。シャッタ１２ａは複数のシャッタ羽根を有しており、これらのシャッタ羽根は、シャッタ駆動部１２ｂからの駆動力を受けることで光通過口となる開口部を開閉する。これにより、撮像部１９に入射する光束を制御する。
【００２９】
そして、焦点駆動部１４ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、照明駆動部１６ｂ、および発音駆動部１７ｂの駆動は、撮影制御部１８により制御されている。
【００３０】
また撮影制御部１８には、レリーズ操作部１２ｃ、絞り操作部１３ｃ、ズーム操作部１５ｃ、照明操作部１６ｃ及び防振操作部１２０からの操作信号が入力され、カメラの撮影状態に合わせてそれら操作信号を焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、照明駆動部１６ｂに出力する。
【００３１】
撮影制御部１８は、後述する信号処理部１１１に取り込まれた画像信号に基づいて被写体輝度の検出（測光）を行い、この測光結果に基づいて絞り１３ａの絞り口径とシャッタ１２ａの開き時間、および照明部１６ａを使用するか否かを決定する。また、撮影制御部１８は、焦点駆動部１４ｂを駆動させながら、信号処理部１１１からの出力に基づいて合焦位置を求めている。
【００３２】
撮像部１９から出力される画像信号は、Ａ／Ｄ変換部１１０によりデジタル信号に変換されて信号処理部１１１に入力される。信号処理部１１１は、入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー映像信号を形成する。
【００３３】
そして、信号処理部１１１で信号処理された画像信号は、表示部１１８に出力されることにより撮影画像として表示されるとともに、記録部１１９に出力されて記録される。
【００３４】
ここで撮影者がレリーズ操作部１２ｃのレリーズボタンを半押し（以下ｓ１）し、カメラを通して被写体を観察している状態である場合を説明する。なお、撮影者は防振操作部１２０を操作してカメラを防振オン状態に設定しているものとする。
【００３５】
まず、撮影者がカメラに設けられたレリーズボタンを半押しすると、撮影準備動作（焦点調節動作や測光動作等）が開始される。測光動作により得られた測光値に基づいてシャッタ１２ａの開き時間（露出時間）と絞り１３ａの絞り口径を決定する。また、信号処理部１１１の像状態と焦点駆動部１４ｂとの連携で、合焦するレンズ位置を求めている。そして、得られた測光値等から照明部（閃光発光またはフラット発光による照明）１６ａの発光設定を行う。
【００３６】
変位検出部１１４は、撮像画像中の特徴点を抽出し、その特徴点の撮像画面内における位置座標を割り出す。
【００３７】
例えば、図２にあるようにフレーム１２１ａにおいて人物１２２ａが建物１２３ａを背景にして立っている写真を撮影する場合を考える。
【００３８】
このとき、複数フレームの画像の取得をすると、フレーム１２１ｂの様に手振れで構図がずれた写真も取得されることがある。
変位検出部１１４は、フレーム１２１ａの周辺に位置する建物１２３ａのうち輝度の高い点である窓１２４ａのエッジ１２５ａを特徴点として取り出す。そして、この特徴点１２５ａと、フレーム１２１ｂにおいて取り出した特徴点１２５ｂと比較し、この差分を補正（座標変換）する。
【００３９】
例えば、テンプレートマッチング等によりエッジ１２５ａと１２５ｂとを対応づけ、次のフレーム１２１ｂにおいて対応する特徴点１２５ｂをサーチすることにより、フレーム１２１ａと１２１ｂとの間のフレームの切り替わりに要する時間と、特徴点１２５ａと１２５ｂとの変位より動きベクトル量を算出する。
図２では、フレーム１２１ｂの特徴点１２５ｂを矢印１２６の様に特徴点１２５ａに重ねるようにして、フレーム１２１ｂを座標変換する。
【００４０】
ここで特徴点として撮像画面の周辺を選択する理由を以下に説明する。多くの撮影の場合では画面中央近傍に主被写体が位置し、かつ主被写体は人物である場合が多い。このようなとき、主被写体を特徴点として選ぶと被写体振れによる不都合が出てくる。
【００４１】
すなわち、複数フレームの画像の取得を行っているときに撮影者の手振ればかりでなく被写体振れも重畳してくるので被写体振れに基づいて画像の座標変換をしてしまう。
【００４２】
この場合、主被写体の構図が適正になるように座標変換するので好ましい画像ができるように思われるが、一般的には人物の動きは複雑であり、特徴点を選ぶ場所によって変位検出精度が大きく左右される。
【００４３】
例えば、主被写体（人物）の眼を特徴点として選んだ場合は瞬きの影響が出るし、手の先を特徴点として選択してしまった場合には、手は動きやすいので実際の被写体全体の振れとは異なってしまう。このように人物中の１点を特徴点として画像の座標変換を行っても、その人物のすべてが適正に座標変換される訳ではないし、複数の画像を座標変換して合成する場合においても、画像ごとに座標の位置がばらつき、好ましい画像は得られない。
【００４４】
そこで、本実施形態のように背景のような静止被写体を特徴点として選択して画像の座標変換を行ったほうが好ましい画像が得られる。
【００４５】
座標変換部１１５は、変位検出部１１４で検出した取得画像を１つ前の取得画像の特徴点と重ねるように座標変換する。ここで、座標変換部１１５は、各取得画像を変位検出部１１４から出力された画像データに基づいて、切り出し位置を変更することにより、各画像の特徴点が重なる様に座標変換を行う。すなわち、図２において、フレーム１２１ａの画像は範囲１２１ｃで画像を切り出し、フレーム１２１ｂの画像は範囲１２１ｄで画像を切り出す。
【００４６】
図２の特徴点１２５ａの位置との座標関係に基づいて、フレーム１２１ａにおける画像切り出し位置を設定することにより、それ以降の画像においては各特徴点（例えば特徴点１２５ｂ）を基準にして画像切り出し位置が設定される。
【００４７】
この設定された画像切り出し位置は画像表示のための基準位置（表示基準位置）となり、画像表示を行うときには、画像切り出し位置のみそろえて表示することで振れの無い安定した画像表示が行われる。
【００４８】
また、画像切り出し位置は観察状態のすべての画像に対して一定に設定されており、フレーム全体に対してかなり余裕をとっている。これは、被写体観察中はどのような大きな振れが生ずるか予想がつかないためであり、画像切り出し範囲に余裕が無いと大きな振れが生じた時に切り出し位置が画面外になってしまうからである。（範囲１２１ｅ）
座標変換部１１５で座標変換された各画像データは信号切替部１１２に送られる。
【００４９】
信号切替部１１２は、被写体観察中は座標変換後の撮像信号を画像補正部２（１１７ｂ）に送り、露出中は座標変換後の撮像信号を画像記憶部１１３に送る。
【００５０】
画像補正部２（１１７ｂ）に入力された画像は、ガンマ補正や圧縮処理が行われ、その後表示部１１８で画像切り出し位置をそろえて撮像周期にあわせて表示される。ここで撮影被写体が暗い時には画像補正部２（１１７ｂ）は画像のゲインアップも行っている。
【００５１】
これは被写体観察中の画像は１／３０秒ごとの周期などで表示部１１８に表示することで動画として表示している訳であるが、動画として表示するには、表示の周期より短い露出時間で撮像しなくてはならない。
【００５２】
短い露出時間で撮像した場合、被写体が暗いときは撮像される画像は露出が不足することとなる。そこで、ゲインをアップして露出を補正して表示する必要がある。もちろんゲインアップする事でノイズ成分も増えてしまうが、動画表示であることやカメラの背面などの表示部は小さい事からノイズはそれほど目立たない。なお、ゲインアップは撮像部１９で撮像段階で行っても良い。
【００５３】
撮影者が、被写体を観察中である場合は、この様に切り出し位置（表示基準位置）を変えることで座標変換された画像が連続して表示部１１８に表示されるために振れが無く安定した動画を観察することが出来る。
【００５４】
なお、被写体観察状態における変位検出部１１４の変位検出は、撮像される各フレームの特徴点を相関演算することで動きベクトルを求めて検出する訳であるが、この動きベクトルに忠実に各フレームを座標変換すると不都合が生ずる点がある。
【００５５】
例えば、撮影者がカメラのパンなどのフレームワークを行う場合に、そのフレームワークによる特徴点の変化も動きベクトルとして拾ってしまうと、パンを行っても画面は変化せず、画面が被写体にロックしてしまう現象が生じる。
【００５６】
それを避けるために、実際の変位検出においては撮像中の変位（動きベクトル）の変動の中で、動きベクトル信号の低周波の成分を除去した信号を元に座標変換を行うようにしている。
【００５７】
これは、手振れはおおよそ１〜１０Ｈｚ程度の周期振動であるのに対して、パンは、より低い周波数の運動（例えば０．０５Ｈｚ）であるために、得られる動きベクトル信号を低域除去フィルタ（以下ハイパスフィルタ）に通し、ハイパスフィルタは、第１の周波数（例えば０．３Ｈｚ）以下の周波数を除去する特性にすることで手振れにより生じる振動とパンにより生じる振動を区別している。
【００５８】
また、カメラの運動が大きいほど、このハイパスフィルタの時定数を小さくして（例えば１Ｈｚ以下の周波数の振れ信号を除去するように変更する）、防振の効果を更に下げて、カメラの動きに撮像信号の表示が追従する様にしており、明らかな流し撮りの動きベクトルの場合には、その方向は防振を使わないようにする。
【００５９】
次に、撮影者がレリーズ操作部１２ｃのレリーズボタンを押し切り（以下ｓ２）撮影を開始した場合を説明する。
【００６０】
前述したように、被写体観察段階のはじめ（ｓ１）にピント合わせや測光を行っている。このときの測光値に基づいて、撮影時のシャッタ１２ａの閉じタイミング（露出時間）と、絞り１３ａの絞り開口径を設定する訳であるが、一般的に防振システムを使用するような撮影条件では被写体が暗いので絞りは全開、露出時間は長秒時露出になっている。
【００６１】
そこで、この撮影時間を複数の短い撮影時間に分割し、その分割数だけ画像の取得を繰り返すように設定する。このように短い撮影時間に分割すると１枚１枚の画像は露出不足になるが、これらの画像には手振れの影響が少ない画像となる。そして、複数の画像を取得終了後に合成して１枚の画像にすることで露出を改善する。
【００６２】
しかし、複数の画像を取得するとき、各画像においては手振れはなくても、連続取得中の手振れにより各画像間における構図（被写体像）は微妙に変位している場合がある。これらの画像をこのまま合成すると、合成された画像は各画像における構図が変位分だけ振れた画像になってしまう。
【００６３】
本実施形態において、連続した画像の取得に応じて撮像部１９から取得毎に複数出力される画像信号は、上述したように、Ａ／Ｄ変換部１１０でデジタル信号に変換されてから、信号処理部１１１で信号処理が施される。信号処理部１１１の出力は撮影制御部１８に入力されるとともに、変位検出部１１４にも入力される。
【００６４】
変位検出部１１４は、取得画像中における画像の特徴点を抽出し、この特徴点の取得画面における位置座標を割り出す。
【００６５】
図２では、フレーム１２１ｂの特徴点１２５ｂを矢印１２６の様にフレーム１２１ａの特徴点１２５ａに重ねるようにして、フレーム１２１ｂを座標変換している。（各画像の特徴点が合成基準位置になる）
しかし、複数の画像を座標変換して合成する場合、それら複数の画像を連続して取得している間のカメラの運動、および被写体の運動により、被写体振れの影響が出てくる。そこで本発明においては複数回に分けた画像の取得の１枚にだけ照明部１６ａで被写体を照射する様にしている。
【００６６】
ここで照明部１６ａを使用して取得した画像を第１フレーム、照明部を作用させないで取得した複数の画像を第２のフレーム群と分ける。
【００６７】
このとき、第１フレームと第２のフレーム群の間には、前述した構図の変位以外にも以下の違いが有る。それは第１フレームにおいて、照明の届いた領域の明るさは第２のフレーム群の同じ領域の明るさとは異なるということである。そして、第１フレームにおいて、照明の届いた領域（例えば主被写体）に対しては十分な露出が得られ、届かない領域（例えば背景）は露出が不足することになる。これは一般的に人物などの主被写体はカメラの近くに位置しているために照明が届き、背景はカメラから遠いために照明が届かないからである。
【００６８】
そこで、露出の不足している背景に対しては、第２のフレーム群の構図の変位を修正しながら、第１フレームと合成することで露出を補う。
【００６９】
図３は、変位検出部１１４の特徴点抽出領域の選択方法を示す図である。
【００７０】
照明部１６ａを使用した第１フレーム１２７と、照明部１６ａを使用しない第２のフレーム群（図３では例として１つの画像１２８）とを比較すると、人物１２２ａには、第１フレーム１２７では照明が届き、第２のフレーム１２８では照明が届かず人物が暗くなっている。
【００７１】
それに対して、照明の届かない背景では建物の特徴点１２３ａの明るさは第１フレーム１２７と第２のフレーム１２８で変化が無い。
【００７２】
この様に、明るさの変化のない背景領域は、照明が届かずに露出が不足するので、この領域を画像合成のポイントと考えて、この部分を特徴点抽出の領域にして構図の変位を補正する。
【００７３】
図３においては、上記の様に第１フレーム１２７と第２のフレーム１２８で明るさの変化が無い、画像１２７周辺の建物１２３ａの中で輝度の高い点である窓１２３ａのエッジ１２５ａを特徴点として取り出し、図２で説明したのと同様に、第１フレーム１２７に特徴点１２５ａと第２のフレーム１２８の特徴点１２５ｂと比較する。
【００７４】
座標変換部１１５は、第２のフレーム１２８の特徴点１２５ｂを第１フレーム１２７の特徴点１２５ａに重ねるように第２のフレーム１２８を座標変換する。
【００７５】
そして、第２のフレーム群の中で２枚以降の画像についても各々特徴点１２５ｂの座標を求め、その座標が第１フレーム１２７で定めた特徴点１２５ａの座標と重なるように座標変換部１１５は各画像を座標変換してゆく。（特徴点１２５ａを合成基準位置にする）
ここでは、説明のために画像ごとの特徴点座標を求めているが、実際には第１フレーム１２７と第２のフレーム群の１枚目の画像１２８を相関演算し、各々対応する画素の位置の変化を動きベクトルとして求め、特徴点の変化としている。
【００７６】
そして、第２のフレーム群の２枚目に対しても画像１２７との相関演算で特徴点の変化を求め、以下同様にして各画像の特徴点の変化を求めてゆく。
【００７７】
なお、特徴点は抽出領域１２７の中で１箇所だけ選択するのではなく、複数のポイントを選択しておき、これらの動きベクトルの平均値、あるいはスカラーの最小値を特徴点の変化としても良い。
【００７８】
ここで、特徴点の変化として上記最小値を利用するのは、画面周辺で選択された特徴点もそれ自身が移動する可能性があるため、もっとも移動しない特徴点を選ぶためである。
【００７９】
被写体観察段階においては、画像の取得中の変位（動きベクトル）の変動により生ずる振動の中で、低周波の成分を除去した信号を元に座標変換を行うようにしていた。これは、被写体観察中のフレームワークを良くするためであるが、反面動きベクトルの検出の精度が落ちることになる。
【００８０】
前述したように得られる動きベクトル信号をハイパスフィルタに通し、ハイパスフィルタは第１の周波数（例えば０．３Ｈｚ）以下を除去する特性にするとそのような低周波の振れに関しては補正することが出来なくなる。
【００８１】
実際の手振れはおおよそ１〜１０Ｈｚ程度の周期振動であるために０．３Ｈｚ以下の振れ信号を除去しても問題ない様に思われるが０．３Ｈｚ以下を除去するフィルタは１Ｈｚの信号に対しても位相の変位などの悪影響を与える。
【００８２】
そのために、精度よい振れ補正を実現するためには、ハイパスフィルタは設けたくない。しかし、撮影段階においては流し撮りなどの特殊な撮影の条件を除けば、カメラのフレームワークを行うことは無いので、ハイパスフィルタは使用しないで高い精度の動きベクトル信号に基づいて座標変換が行える。
【００８３】
また、流し撮りなどの特殊な撮影の条件においては、動きベクトル量が、ある一定の方向について大きくなるため、その動きベクトルの方向のみ、動きベクトルの検出を止めて、カメラのフレームワークに追従する様にすればよい。
【００８４】
カメラのパンを行う時には、被写体観察段階から、カメラには所定の方向に運動が生じており、この運動は被写体観察時の各撮像信号を比較すること（動きベクトルが所定の方向に大きく、それが継続している）でわかる。
【００８５】
そして、前述した様にカメラをパンしていることがわかると、被写体観察段階においても、その方向の画像切り出し位置（表示基準位置）の制御を変更し、防振効果を低くするか、あるいはその方向の防振動作を止めるようにする。
【００８６】
このように、撮影段階においても被写体観察段階と同様な振れ検出特性にすることで撮影者の意図に応じた撮影を可能にしている。
【００８７】
また、前述したように被写体観察段階においては座標変換部１１５が画像の画像切り出し範囲を指定し、各画像取得周期で画像の切り出しを行っている訳であるが、撮影段階においては特徴点の変化から動きベクトルを求め、その動きベクトルに応じて第１フレーム１２７に第２のフレーム群の各画像が重なるように座標変換を行うが、画像の切り出しは行わない。
【００８８】
座標変換部１１５で座標変換された各画像データは、信号切替部１１２を介して画像記憶部１１３に出力される。画像記憶部１１３では、照明部１６ａを用いて取得した１枚の画像のみ記憶しておく。画像記憶部１１３に記憶された画像データは、画像合成部１１６に出力される。
【００８９】
画像合成部１１６では取得された各画像が順次合成され、１枚の画像になる。そして、上述ｓ１時にあらかじめ設定されたフレーム数の取得が完了するとそれ以上の画像の取得は止めるとともに画像の合成を止める。
【００９０】
以上のように、本実施例に係る発明では照明部１６ａを用いた第１フレーム１２７を基準（中心）にして、その画像に重なるように第２のフレーム群１２８の各画像を座標変換している。
【００９１】
ここで、第１フレーム１２７を基準にする理由を説明する。
【００９２】
図２の様に構図の変位した２枚の写真を合成する場合、図４に示すように２枚の画像が重ならない領域１２９が生ずる。（画像切り出し範囲外）
そこで、画像合成部１１６は、この領域はカットして、２枚の画像が重なった領域のみ拡散補完処理を行い、もとのフレームの大きさにする。そのために、第２のフレーム群の各画像は構図の変位の向きや大きさにしたがって画面の周辺が削られてしまう。
【００９３】
ここで、第１フレーム１２７と第２のフレーム群１２８の中でもっとも画像情報（主被写体の露出、構図など）が良好なのは、照明部１６ａを使用した第１フレーム１２７である。そのために、第１フレーム１２７のなるべく中央を画像切り出しするようにするために第１フレームを基準にして、その基準に対して第２のフレーム群１２８の各画像を重ねてゆくのが好ましい。
【００９４】
デジタル画像の場合には、１枚の露出不足の写真でもゲインアップすることで露出の補正が可能であるが、ゲインを高くするとノイズも多くなり見苦しい画像になってしまう。しかし、本実施形態のように多くの画像を合成することで画像全体のゲインをアップさせる場合には、各画像のノイズが平均化されるためにＳ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。別の考え方をすれば、例えばノイズを許容して撮像部１９を高感度にして複数フレーム画像を取得し、それらを加算平均することで画像に含まれるランダムノイズを減少させているともいえる。
【００９５】
画像合成部１１６は取得された画像のすべてが重なっている領域を切り出し範囲（画像切り出し領域）にして、前述重ならない領域１２９をカットする。
【００９６】
このように、被写体観察段階ではあらかじめ画像切り出し領域を設定しているが、撮影段階では画像合成終了後に画像切り出し領域を決めている。
【００９７】
そのために、手振れが少ないほどカットされる領域が小さくなり、広い画角の画像を得ることが出来る。
【００９８】
合成された画像データは、画像補正部１（１１７ａ）に入力されてガンマ補正や圧縮処理が行われ、その後表示部１１８に表示されるとともに記録部１１９に記録される。ここで、照明部１６ａを用いた合成前の画像データも記録部１１９に記録する。
【００９９】
これは、照明部１６ａを用いた標準的な（照明部１６ａの照射が届いた被写体のみ露出が適正で、背景は露出が不足している）画像を選択する第１のモードと、合成後の（背景の露出も適正化された）画像を選択する第２のモードとを、ユーザーが不図示の選択手段により選択できるようにするためである。
【０１００】
図５は、本発明における撮影される画像状態を表した図である。図５は、防振システムをオンにしたときに撮影される画像状態を示している。
【０１０１】
被写体観察段階における各画像は、フレーム１２１ｈ、１２１ｉ、１２１ｊ、１２１ｋ、１２１ｌであり、各々の画像はそれらの相関演算で求まる動きベクトル信号をハイパスフィルタで処理した信号に基づいて切り出し位置１２１ｆを変更し、表示部１１８に表示される。
【０１０２】
この表示サイクルは撮像サイクルと同じであり、１回の撮像ごとに上記処理を行って表示する動作を繰り返し、画面では手振れが少なく、かつフレームワークのしやすい動画を表示することが出来る。
【０１０３】
撮影段階においては、照明部１６ａを使用して取得したフレーム１２７（第１フレーム）、および照明部１６ａを使用しないフレーム１２８ａ、１２８ｂ（第２のフレーム群）を順次画像の取得をしつつ、それらの相関演算で求まる動きベクトル信号をハイパスフィルタで処理しない信号に基づいて座標変換して合成し、合成後の互いに重ならない範囲を除いて切り出し位置１２１ｇを設定し、記録部１１９に記録するとともにフレーム１２７も記録部１１９に記録する。
【０１０４】
ここで、被写体観察段階及び撮影段階後に、表示部１１８に表示される画像の状態を説明する。
【０１０５】
図６は、各々の段階で取得される画像を左に、表示部１１８に表示される画像を右に表している。また、被写体観察段階の画像を上、撮影段階の画像を下に表している。被写体観察段階においては、表示のための基準位置は切り出し位置１２１ｆで設定され、それを表示部１１８で表示するときには、切り出し位置１２１ｆが表示画面１３０の中央に位置するように画面設定される。
【０１０６】
そのため取得画像の中で表示画面１３０からはみ出す部分１３２は表示されない。また、表示画面１３０の中で画面欠けを起こす部分は例えばグレーのマスク１３１ａ、１３１ｂで表示される。
【０１０７】
撮影者は、このマスク部の大小を見ることで自分の手振れの大きさを知ることが出来る。また、範囲１２１ｆ内では画像が安定しており、範囲１２１ｆ外でも画像が見える領域があるので、周囲の状況を見ながら露出のためのフレーミングが出来る。
【０１０８】
撮影段階においては、合成画像の切り出し範囲１２１ｇは画像合成後に求まるが、露出という短い時間内で発生する振れは小さいので、その面積は範囲１２１ｆより大きく設けることが出来る。
【０１０９】
そして、表示部１１８で表示されるときには、画像切り出し範囲１２１ｇが表示画面１３０の中央に位置するように表示設定される。また、画像切り出し範囲外は記録部１１９に記録されないので、例えばグレーのマスク１３３で外周を囲んで表示される。このような構成にすると、被写体観察段階の表示画像と撮影後の表示画像の倍率がそろうために、違和感の無い画像表示が行われる。
【０１１０】
図７は、上述した動作をまとめたフローチャートであり、このフローはカメラの電源がオンになったときにスタートする。
【０１１１】
ステップＳ１００１（図では、ステップをＳとする）では、撮影者がレリーズボタンの半押し操作によりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【０１１２】
ステップＳ１００２では、撮像部１９において被写体を撮像する。撮影制御部１８は、信号処理部１１１からの出力に基づいて被写体像（撮影画像）のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。そして、もっともコントラストが高くなった時点で、撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（いわゆる、山登り方式によるＡＦ）。なお位相差検出により焦点調節を行うこともできる。
【０１１３】
また、撮影制御部１８は、撮像部１９の出力に基づいて被写体の明るさを求める。
【０１１４】
ステップＳ１００３では、撮影制御部１８はステップＳ１００２で求めた被写体の明るさから取得するフレーム数を求める。
【０１１５】
例えば、被写体の明るさを測光し、この測光結果に基づいて適正に露出するには、絞り１３ａは全開（例えばｆ２．８）にし、シャッタ１２ａの開き時間、すなわちは露出時間を１／８秒とする必要があるとする。
【０１１６】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは、露出時間を１／８秒とする撮影では、手振れにより像振れが発生する恐れがあるので、手振れが生じないように露出時間を１／３２秒に設定して、４回のフレームの取得を行うように設定する。一方、撮影焦点距離が３００ｍｍであるときには、手振れが生じないように露出時間を１／３２０秒に設定して４０回のフレームの取得を行うように設定する。
【０１１７】
このように、複数フレームの取得を行う時の露出時間を撮影条件に合わせて決定し、更に何フレーム取得するかも撮影条件に合わせて設定する。同一被写体を複数フレームに分けて取得するとしても、各撮影の露出条件はなるべく適正露出に近い方が撮像部１９に正確な情報が画像の取得ができる。
【０１１８】
そのために暗い被写体の場合や、撮影レンズが絞り込んでおりレンズが暗い場合、撮像素子の感度が低く設定されている場合には各画像の取得における露出時間はなるべく長くして有効な露出条件にする。
【０１１９】
ただし、あまり露出時間を長くすると手振れによる劣化の影響が像面に表れるために上述したように撮影焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは手振れの恐れのない約焦点距離分の一である露出時間１／３２秒に設定している。そして、その露出時間では足りない分を取得フレーム数で補完している。
【０１２０】
焦点距離が長い場合には更に露出時間を短くしないと手振れによる像劣化が生ずるので更に露出時間を長くして、その分取得フレーム数を増やして露出補完を行う。
【０１２１】
このように、複数フレームの画像取得における露出時間は被写体が暗いほど、また撮影レンズが暗いほど長くなり、撮像素子の感度が低いほど長くなり、レンズの焦点距離が長いほど短くなる。
【０１２２】
そして、複数フレームの取得フレーム数は撮影被写体が暗いほど、また撮影レンズが暗いほど多くなり、撮像素子の感度が低いほど多くなり、レンズの焦点距離が長いほど多くなる。
【０１２３】
以上の計算が終了した後で、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モード（複数回取得モード）が設定されたことを表示すると、同時に取得フレーム数を表示して撮影者に知らせる。
【０１２４】
ステップＳ１００４では変位検出部１１４がフレーム内の抽出領域（例えば図２の建物１２３ａ）の中から特徴的な像を抽出し、その像の座標を求める。
【０１２５】
ここで、被写体観察段階における動きベクトル信号は、ハイパスフィルタにより低周波の動きが除去されており、カメラのフレームワークを行いやすくしている。
【０１２６】
ステップＳ１００５では、ステップＳ１００４で求めた座標から、座標変換部１１５が画像の切り出し位置（表示基準位置）を算出する。
【０１２７】
また、検出される動きベクトルの大きさが所定以上の場合には、その方向の動きに関しては切り出し位置の変更を行っている。
【０１２８】
これは、前述したカメラのフレームワークに対応させるためであり、カメラの運動（速度）が大きいときは、検出した動きベクトルに対しては、ハイパスフィルタにより、通常よりも高周波の動きも除去され、明らかな流し撮りの場合には検出した動きベクトルを画像の切り出しに反映させない。
【０１２９】
このことを図８のフローチャートを用いて説明する。
【０１３０】
図８は、図７のステップＳ１００５のサブルーチンであり、ステップＳ１００５にフローが流れて来た時にスタートする。
初めに、画像内の特徴点における動きベクトルのＸ（水平）方向の大きさを判定する。
【０１３１】
ここで、Ｘ方向とは図９の画像における矢印１３４ｘ方向であり、図９においてはＸ方向に大きなフレームワークが行われている。
【０１３２】
ステップＳ１０１９では、ステップＳ１００４で求まったＸ（水平）方向の動きベクトルが所定値ａ（例えば１ｄｅｇ／ｓ）より大きいか否かを判別する。
【０１３３】
ここでＸ方向とは図９の画像における矢印１３４ｘ方向であり、図９においてはＸ方向に大きなフレームワークが行われている。
【０１３４】
動きベクトルが所定値ａより、小さい場合にはステップＳ１０２１に進み、そうでないときはステップＳ１０２２に進む。
【０１３５】
ステップＳ１０２１では、ステップＳ１００４で得られた動きベクトルに対して第１の特性のハイパスフィルタをかける。
図１０は、ハイパスフィルタの周波数特性を模式的に表しており、破線１３５ａは周波数ｆ１（例えば０．３Ｈｚ）より低い周波数を除去（減衰）する第１の特性のハイパスフィルタであり、実線１３５ｂは周波数ｆ２（例えば１．０Ｈｚ）より低い周波数を除去（減衰）する第２の特性のハイパスフィルタである。
【０１３６】
このように、動きベクトルが小さいときはカメラのフレームワークは行われていないと判定して、時定数の大きい（低周波除去能力の低い）ハイパスフィルタを用いる。
【０１３７】
ステップＳ１０２２では、ステップＳ１００４で求まったＸ方向の動きベクトルが所定値ｂ（例えば１５ｄｅｇ／ｓ）より大きいか否かを判別する。小さい場合にはステップＳ１０２３に進み、そうでないときはステップＳ１０２４に進む。
【０１３８】
ステップＳ１０２３では、ステップＳ１００４で得られた動きベクトル信号に対して、図１０１０で示した第２の特性のハイパスフィルタをかける。
【０１３９】
このように、動きベクトルの大きさがある程度大きくなるとカメラのフレームワークが行われていると判定して、時定数の小さい（低周波除去能力の高い）ハイパスフィルタを用いる。
ステップＳ１０２４は、動きベクトルが大きくカメラがパン動作をしていると判定された場合に流れてくるステップであり、動きベクトルをゼロに設定してＸ方向の防振動作を行わせないようにする。そのために撮影者は軽快に被写体を追うことが出来る。
【０１４０】
次に、画面内の特徴点のＹ方向の動きベクトルの判別についてもＸ方向の動きベクトルの判別と同様の手法により行う（ステップＳ１０２５から１０２９まで）。その後ステップ１０３０へ進む。
【０１４１】
ステップＳ１０３０では、求まった動きベクトルに基づいて画像の切り出し位置（表示基準位置）を設定する。
【０１４２】
ステップＳ１０３１ではメインのフローチャートに戻る。（ステップＳ１００６に進む）
ステップＳ１００６では、表示部１１８に画像を表示する。このときの表示様式は図６の被写体観察段階の表示のようにフレーム（ステップＳ１００５で求めた画像切り出し位置）が表示画面１３０の中央に位置するように表示設定を行い、画像のない領域はマスク処理（マスク１３１ａ、１３１ｂ）を行う。
【０１４３】
ステップＳ１００７では、レリーズボタンを全押し操作によりｓｗ２がオンになるまで、被写体観察画像を表示しながら待機する。なお、この待機ステップ中にレリーズボタンの半押し操作が解除、すなわちｓｗ１がオフになるとスタートへ戻る。
【０１４４】
ステップＳ１００８では、撮影制御部１１１で１枚目のフレームの取得であるかの判断を行う。１枚目である場合には、ステップ１０１０に進む。１枚目でない場合には、ステップ１００９へ進む。
【０１４５】
ステップ１００９では、照明部１６ａを発光させずに取得を行い、ステップ１０１１へ進む。
【０１４６】
ステップ１０１０では、照明部１６ａを発光させ取得を行い、ステップ１０１１へ進む。また、この時同時に撮影開始の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。この音は例えばピッ！という電子音でも良いし、フィルムカメラなどにおけるシャッタの開き音、ミラーアップの音でも良い。
【０１４７】
ステップＳ１０１２では、変位検出部１１４がフレームの周辺の領域（例えば図２の建物１２３ａ）の中から特徴的な像を抽出し、その像の座標を求める。
【０１４８】
これは、前述したように第１フレームと第２のフレーム群の像各々をそれぞれ比較して、明るさの異なる領域（すなわち照明が十分被写体を照射した領域）以外の領域（すなわち照明が被写体を十分照射していない領域）から特徴点を抽出し、その座標を求めることである。更に、ステップＳ１０１２では、照明部１６ａを用いて撮影した第１フレームを記憶部１１３に一時的に記憶させておく。
【０１４９】
ステップＳ１０１３では、座標変換部１１５が各画像の座標変換を行うが、最初の１枚の画像（照明部を用いた第１フレーム）のみ座標の変換は行わない。（この画像を座標変換の基準位置とする）
また、この撮影段階における動きベクトルに基づく座標変換では、動きベクトル信号にハイパスフィルタの処理を行わず、精度の高い動き検出が行われる。
【０１５０】
ただし、ステップＳ１００４において、カメラがフレームワークを行っていると判定した場合には、ステップＳ１０１３での動きベクトル信号に対して、ハイパスフィルタでの処理をし、更に、カメラの動きが激しい場合には、その方向の動きベクトルを座標変換に反映させないようにする。この動きベクトルの処理も、基本的にはステップＳ１００５と同様である。
【０１５１】
図１１のフローチャートを用いて動作を説明する。
図１１は、図７のステップＳ１０１３のサブルーチンであり、ステップＳ１０１３にフローが流れて来た時にスタートする。
【０１５２】
ステップＳ１０３２では、ステップＳ１０１０で求まった画面内の特徴点のＸ方向の動きベクトルが所定値ａ（例えば１ｄｅｇ／ｓ）より大きいか否かを座標変換部１１５が判別する。小さい場合には、ステップＳ１０３３に進み、そうでないときはステップＳ１０３４に進む。
【０１５３】
ステップＳ１０３３では、動きベクトルの値をそのまま使用する。ここでは、ステップＳ１００５の様にステップＳ１００４で得られた動ベクトルに対して第１の特性のハイパスフィルタをかけることはしない。このように、動きベクトルの大きさが小さいときは、カメラのフレームワークは行われていないと判定してハイパスフィルタを用いず、被写体にロックした高精度の防振を可能としている。
【０１５４】
ステップＳ１０３４では、ステップＳ１０１０で求まったＸ方向の動きベクトルが所定値ｂ（例えば１５ｄｅｇ／ｓ）より大きいか否かを判別しており、小さい場合にはステップＳ１０３５に進み、そうでないときはステップＳ１０３６に進む。
【０１５５】
ステップＳ１０３５では、ステップＳ１０１０で得られた動きベクトルに対して図１０で示した第１の特性のハイパスフィルタをかける。
【０１５６】
すなわち、撮影段階においてもハイパスフィルタを用いてフレームワークを行いやすくするものの、被写体観察段階（この角速度のときは第２の特性のハイパスフィルタになっている）よりは防振精度を高める設定になっている。
もちろん、カメラワークを尊重して、被写体観察段階も撮影段階も同じ防振特性にしても良い。
【０１５７】
ステップＳ１０３６では、動きベクトルをゼロに設定してＸ方向の防振動作を行わせないようにする。そのために、撮影者は軽快にパン動作により被写体を追うことが出来る。このように、カメラがパン動作に入っている時には被写体観察段階も撮影段階も同じ特性にしている。
【０１５８】
次に、画面内の特徴点のＹ方向の動きベクトル判別についても、Ｘ方向の動きベクトルの判別と同様の手法により行う（ステップ１０３７から１０４１まで）。その後ステップ１０４２へ進む。
【０１５９】
ステップＳ１０４２では、求まった動きベクトルに基づいて座標変換を行う。
【０１６０】
ステップＳ１０４３では、メインのフローチャートに戻る。（ステップＳ１０１３に進む）
ステップＳ１０１４では、画像記憶部１１３に記憶された複数の画像を合成する。ここで、画像の合成は、各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。
【０１６１】
画像を合成することで露出の不足は補完されてゆくが、初めの画像では主被写体には照明部１６ａが照射され、既に露出は適正化している。そのために、画像を合成してゆくと、主被写体の領域は露出がオーバーとなる場合が考えられる。
【０１６２】
しかしながら、主被写体は自ら発光している訳ではなく、２枚目以降の撮影において、もっとも露出が不足している領域である。このことにより、照明部１６ａを使用しない２枚目以降の画像を１枚目の画像に合成しても主被写体の領域が露出がオーバーとはならない。ただし、１枚目の画像と２枚目以降の画像では、照明部の差が明らかなために、１枚目で照明部が照射されている領域の２枚目以降の画像のゲインを落とすことで、合成画像の露出オーバーを防ぐことも可能である。
【０１６３】
画像は、新たに取得された画像が入力されるたびに、順次前の画像に合成してゆく。すなわち、画像の取得を続行しながら画像の合成も同時進行で行っており、この合成タイミングについて、図１２のタイミングチャートを用いて説明する。
【０１６４】
図１２において、各露出ｆ１からｆ４（ｆ１は照明部１６ａを利用した露出）に対して、撮像部１９より光電変換された信号電荷が撮像信号として読み出され、撮像信号Ｆ２の読み出しと同時進行で、前の撮像信号Ｆ１と今回の信号Ｆ２の相関演算を行うことで特徴点の変化を求め、２つの画像信号Ｆ１、Ｆ２を合成し合成信号Ｃ２を得る。
【０１６５】
次に、撮像信号Ｆ３の読み出しと同時進行で、前回の合成信号Ｃ２と今回の信号Ｆ３の相関演算を行うことで特徴点の変化を求め、２つの画像信号Ｃ２、Ｆ３を合成し、合成信号Ｃ３を得る。
【０１６６】
次に、撮像信号Ｆ４の読み出しと同時進行で、前回の合成信号Ｃ３と今回の信号Ｆ４の相関演算を行うことで特徴点の変化を求め、２つの画像信号Ｃ３、Ｆ４を合成し合成信号Ｃ４を得る。
【０１６７】
この様なタイミングで撮影と同時に画像の合成を進めてゆく。
【０１６８】
ステップＳ１０１５では、ステップＳ１００３で設定されたフレーム数分の、画像の処理がすべて終了したか否かを判別しており、終了するまでステップＳ１００８に戻り処理を続行する。
【０１６９】
ステップＳ１０１６では、撮影完了の発音を発音駆動部１７ｂを介して、スピーカー１７ａで発音する。
【０１７０】
この音は、例えばピッピッ！という電子音でも良いし、フィルムカメラなどにおけるシャッタの閉じ音、ミラーダウン音やフィルム巻き上げ音でも良い。
【０１７１】
この様に、複数フレーム画像を取得する場合においても、その動作を表す発音は１セット（最初の画像を取得の露出開始と最後の画像を取得の露出完了との２回）なので、撮影者に、複数フレームの画像の取得の違和感を与える事はない。
【０１７２】
ステップＳ１０１７では、合成画像の中で重なっている部分（４フレームの合成なら４フレームとも重なっている領域）を画像切り出し範囲として設定し、その範囲が適正な縦横アスペクト比になる様に、画像切り出し範囲を調整した後に、図６の撮影段階の表示の様に求まる画像切り出し範囲が、表示画面の中央に位置する様に表示設定し、画像切り出し範囲外をマスク処理（マスク１３３）して、表示部１１８で表示を行う。
【０１７３】
ステップＳ１０１８では、画像合成部１１６は切り出された画像が所定の画像サイズになる様に、画像を拡散補完する。
【０１７４】
ステップＳ１０１９では、ステップＳ１０１８で拡散補完された画像を、例えば、半導体メモリなどで構成されており、カメラに対して着脱可能な記録媒体（記録部１１９）に記録する。また、このとき同時に記憶部１１３に記憶されていた第１画像も、記録部１１９に記録する。
【０１７５】
これにより、撮影者は画像合成され、主被写体も背景も露出が適正な画像と、背景は露出不足であるが、照明部１６ａにより主被写体は露出が適正な画像を選択できる。
【０１７６】
ステップＳ１０２０では、スタートに戻る。
【０１７７】
なお、ステップＳ１０２０の段階で、まだ継続してレリーズボタンの半押しｓｗ１操作が行われているときは、そのままステップＳ１００１、Ｓ１００２、Ｓ１００３、Ｓ１００４と再度フローを進めてゆく。また、ステップＳ１０２０の段階でレリーズボタンの押し切りｓｗ２が継続して操作されているときには、スタートに戻らずステップＳ１０２０で待機する。
【０１７８】
（第２実施形態）
本実施形態のカメラは、上述した第１実施形態におけるカメラの変形例である。
【０１７９】
ここで、本実施形態のカメラの構成は、第１実施形態（図１）で説明した構成とおおむね同様である。
【０１８０】
第１実施形態において、変位検出部１１４の特徴点の抽出領域は、取得された各画像の明るさを比較して、照明部１６ａの照明の照射が不十分な領域を特徴点として設定していた。しかし、特徴点の抽出領域は、照明の照射が不十分な領域に限られず、撮影画面（フレーム１２１ａ）内に設けられたフォーカスエリア以外を、特徴点の抽出領域としたり、現在ピントが合っている領域以外を、特徴点の抽出領域としたりすることもできる。
【０１８１】
これは、撮影するときには、主被写体（人物）をフォーカスエリアに重ねるため、特徴点を主被写体以外にするためには、フォーカスエリア以外の領域を特徴点抽出領域に設定すればよいからである。
【０１８２】
図１３は、取得画面内における特徴点の抽出領域を示した図であり、撮影画面（フレーム１２１ａ）内のフォーカスエリア１３１ａ、１３１ｂ、１３１ｃ、１３１ｄ、１３１ｅの中で、被写体を捕らえているフォーカスエリア１３０ｃに合焦している場合には、このフォーカスエリア１３０ｃを中心とする主被写体領域１３２を除く画面周辺領域１３０を特徴点抽出領域に設定する。すなわち、主被写体がフォーカスエリア１３１ａ、１３１ｂ、１３１ｃ、１３１ｄ、１３１ｅの中のいずれかのフォーカスエリアに位置しているかに応じて、主被写体領域１３２および特徴点抽出領域が変更される。
【０１８３】
そして、この特徴点抽出領域の中で適した像を特徴点として、この特徴点の座標に基づいて画像ごとの変位を補正して、画像合成するようにすれば好ましい画像合成が行える。
【０１８４】
以上説明したように本発明の第１実施形態および第２実施形態においては、被写体観察段階と撮影段階で、防振の特性を変更することで使いやすい防振システムを構築することができる。
【０１８５】
すなわち、振れを抑制する防振システムを有する撮影装置において、被写体観察段階では被写体の動きベクトル信号に基づいて、撮像素子からの信号読み出し周期で画像の切り出し位置（表示基準位置）を設定して得られた画像を表示し、撮影段階では被写体の動きベクトル信号に基づいて、画像切り出し位置（合成基準位置）を設定し、得られた複数の画像を合成して映像信号の露出を見かけ上補正し、撮影段階では合成した画像を表示するとともにその画像を記憶媒体に記録する構成となっている。
【０１８６】
そして、被写体観察段階では、変位検出部において第１の周波数特性（カメラのフレームワーク重視）で取得画面中の被写体の動きベクトル信号の低周波成分を除去し、画像切り出し位置を設定することにより、撮影者がフレームワークやパンなどの撮影動作を行った場合でも、軽快に被写体を追うことが可能となる。
【０１８７】
撮影段階では、変位検出部において、第２の周波数特性（防振精度重視）で、取得画面中の被写体の動きベクトル信号の低周波成分を除去し、画像切り出し位置を設定し、画像を合成して映像信号の露出を補正することにより、精度の高い振れ補正を行うことを可能としている。
また、撮影機器が、所定の速度以上の運動を行っているときは、運動を行っている方向にのみ、第２の周波数特性を第１の周波数特性に合わせることにより、撮影者の意図に応じた撮影を可能にしている。
【０１８８】
また、被写体観察段階と撮影段階では振れ補正のための画像切り出し面積を変更する構成にしており、被写体観察段階と撮影段階で画像切り出し面積を変更しても撮像画像を被写体観察段階も撮影段階も同一倍率で表示する。このことにより、被写体観察段階の表示画像と露出後の表示画像の倍率がそろうために、違和感の無い画像表示が可能となる。
【０１８９】
（第３実施形態）
本発明の第３実施形態であるカメラの構成は第１実施形態のカメラの構成と同様である。ただし、ハイパスフィルタの特性および画像の切り出し位置などの点で、第１の実施形態のカメラと第３の実施形態のカメラは相違する。
【０１９０】
図１４は防振システムがオンのときの撮影動作をまとめたフローチャートであり、このフローはカメラの電源がオンになったときにスタートする。
【０１９１】
ステップＳ１００１では、撮影者がレリーズボタンの半押し操作によりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【０１９２】
ステップＳ１００２では、撮像部１９において被写体を撮像する。撮影制御部１８は、信号処理部１１１からの出力に基づいて被写体像（撮影画像）のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。そして、最もコントラストが高くなった時点で、撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（いわゆる、山登り方式によるＡＦ）。なお位相差検出により焦点調節を行うこともできる。
【０１９３】
また、撮影制御部１８は、撮像部１９の出力に基づいて被写体の明るさを求める。
【０１９４】
ステップＳ１００３では、ステップＳ１００２で求めた被写体の明るさから取得するフレーム数を求める。その後、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に防振モード（複数回画像取得モード）が設定されたことを表示すると、同時に取得フレーム数を表示して撮影者に知らせる。
【０１９５】
ステップＳ１００４では、変位検出部１１４がフレーム内の抽出領域（例えば図２の建物１２３ａ）の中から特徴的な像を抽出し、その像の座標を求める。
【０１９６】
ステップＳ１００５では、変位検出部１１４がステップＳ１００４で求めた座標から、座標変換部１１５が画像の切り出し位置（表示基準位置）を算出する。
【０１９７】
ここで、被写体観察段階における動きベクトル信号は、ハイパスフィルタにより低周波の動きが除去されており、カメラのフレームワークを行いやすくしている。
【０１９８】
ステップＳ２００１では、表示部１１８に画像を表示する。このときの表示様式について図１５を用いて説明する。図左上は被写体観察段階の撮像状態を示しており、枠１２１ｆはあらかじめ設定された面積で、その位置はステップＳ１００５で求められている。なお、枠１２１ｆの位置は被写体観察中の手振れにより全画面（フレーム１２１ａ）の中を移動する。そして、大きな手振れが生じた時に枠１２１ｆが全画面（フレーム１２１ａ）からはみ出ることのない様に余裕を持って枠１２１ｆの面積を全画面より小さく設定している。
【０１９９】
図右上は、表示部１１８に表示される画像を表しており、枠１２１ｆで設定される領域が表示画面にそろうように画像の拡大表示が行われる。
【０２００】
ステップＳ１００７では、レリーズボタンを全押し操作によりｓｗ２がオンになるまで、被写体観察画像を表示しながら待機する。なお、この待機ステップ中にレリーズボタンの半押し操作が解除、すなわちｓｗ１がオフになるとスタートへ戻る。
【０２０１】
撮影制御部１１１で、１枚目の画像の取得であるかの判断を行う。１枚目である場合にはステップ１０１０に進む。１枚目でない場合にはステップ１００９へ進む。
【０２０２】
ステップ１００９では、照明部１６ａを発光させずに画像の取得を行い、ステップ２００２へ進む。
【０２０３】
ステップ１０１０では、照明部１６ａを発光させ画像の取得を行い、ステップ２００２へ進む。また、このとき同時に撮影開始の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。この音は例えばピッ！という電子音でも良いし、フィルムカメラなどにおけるシャッタの開き音、ミラーアップの音でも良い。
【０２０４】
ステップＳ２００２では、変位検出部１１４がフレームの周辺の領域（例えば図２の建物１２３ａ）の中から特徴的な像を抽出し、その像の座標を求める。
【０２０５】
更に、ステップＳ２００２では、照明部１６ａを用いて取得した第１フレームを記憶部１１３に一時的に記憶させておくとともに表示部１１８に表示する。
【０２０６】
ここで表示の倍率は被写体観察段階とは異なっている。このことを図１５を用いて説明する。
図１５において、図左下が撮影段階における取得画像の１枚であり、枠１２１ｇは被写体観察段階の枠１２１ｆより面積が広く設定されており、フレーム１２１ａに対してぎりぎりで余裕のない大きな画像切り出し面積にしている。
【０２０７】
これは、露出という短い時間の間に大きな振れが生ずる恐れがないためであり、画像切り出し面積を大きくして撮影画角に忠実な画像を得ることが出来る。
【０２０８】
表示方法は、図１５の右下の図の様に枠１２１ｇが表示画面一杯になる様に撮像画像を拡大して表示する。ここで、画像切り出し面積は被写体観察段階よりも広いために、その面積を表示画面とそろえると撮影段階の表示倍率は被写体観察段階よりも小さくなる。なお、画像切り出し面積は露出時間に応じて可変にし、露出時間が長いほど画像切り出し面積を狭くする（被写体観察時の画像切り出し面積に近づける）ようにしても良い。
【０２０９】
図１６は、画像切り出し面積の変化を示しており、被写体観察段階の取得画像の画像切り出し面積（切り出し画面１２１ｆ）に対して撮影段階の画像切り出し面積（切り出し画面２１）は広くなっている。
【０２１０】
ステップＳ２００２では、図１６のフレーム１２７の画像で露出が行われ、画像合成が終了するまで表示部１１８に表示される。
【０２１１】
ステップＳ２００３では、座標変換部１１５が各画像の座標変換を行う。
【０２１２】
また、この撮影段階における動きベクトルに基づく座標変換でも被写体観察段階と同様に、動きベクトル信号にハイパスフィルタの処理を行っている。
このハイパスフィルタの特性は、被写体観察段階のハイパスフィルタの特性よりは低周波の除去能力を弱めており、防振精度が高くなっている。
【０２１３】
しかし、第１実施形態のように撮影段階においては動きベクトル信号のハイパスフィルタ処理を止めてはいない。これは撮影段階からカメラのフレームワークを始める場合に対処したためである。
【０２１４】
もちろん、第１の実施例と同様に被写体観察段階からフレームワークを行っていること（カメラが運動している等）がわかっているときには、その大きさに合わせて、その運動方向のみハイパスフィルタの低周波除去能力を高めたり、あるいは動きベクトルを座標変換に反映させない様にすることも可能である。
【０２１５】
ステップＳ１０１２では、画像の合成を行う。
【０２１６】
ステップＳ１０１３では、ステップＳ１００３で設定されたフレーム数分の画像の処理がすべて終了したか否かを判別しており、終了するまでステップＳ１００８に戻り処理を続行する。
【０２１７】
ステップＳ１０１４では、撮影完了の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。
【０２１８】
ステップＳ２００４では、ステップＳ１０１２で合成した画像を表示部１１８に表示する。ここでも表示方法は図１５の右下の図の様に枠１２１ｇが表示画面一杯になる様に撮像画像を拡大して表示する。このステップＳ２００４で、ステップＳ２００２で表示されていた合成前の画像が、合成後の画像に切り替わる。これにより、撮影者は、画像合成後の画面をみることができ、露出の改善効果を知ることができる。
【０２１９】
ステップＳ１０１６では、切り出された画像が所定の画像サイズになる様に画像を拡散補完する。
【０２２０】
ステップＳ１０１７では、ステップＳ１０１６で、求まった画像を例えば半導体メモリなどでカメラに対して着脱可能な記録媒体（記録部１１９）に記録する。
【０２２１】
また、このとき同時に記憶部１１３に記憶されていた第１画像も記録部１１９に記録する。これにより、撮影者は画像合成され、主被写体も背景も露出が適正な画像と、背景は露出不足であるが、照明部１６ａにより主被写体は露出が適正な画像とを比較することができ、撮影者は、不図示の選択手段により、いずれかの画像を選択できる。
【０２２２】
ステップＳ１０１８ではスタートに戻る。
【０２２３】
以上説明したように、本発明の第３実施形態においては、画像観察段階だけではなく、撮影段階においても動きベクトル信号のハイパスフィルタ処理を止めてはいない。このことにより、撮影段階からカメラのフレームワークを始める場合にも、フレームワークを行いやすくしている。
【０２２４】
そして、撮影段階の画像切り出し面積は被写体観察段階より広くする。このことにより、画像切り出し面積を大きくして撮影画角に忠実な画像を得ることが出来る。
【０２２５】
（第４実施形態）
第１、２、３の実施形態においては、被写体観察段階では振れ補正は行っているものの、画像合成による露出の補完を行っていない。
【０２２６】
一般的に、被写体観察段階における取得間隔は１／３０秒程度であり、各撮像の露出時間は１／６０秒か、それより短く設定されている。
【０２２７】
そのために、低輝度の被写体においては、かなり露出不足になっており、暗い表示しか出来ない。そして、表示を明るくするために、撮像時あるいはその後の信号処理の時に、撮像信号をかなりゲインアップしている。そのために、夜景の撮影などでは、ノイズの多い見苦しい表示画像になってしまうという問題がある。
【０２２８】
本発明の第４実施形態においては、被写体観察段階の撮影露出を出来るだけ適正にすることを考えており、従来どおり手振れの発生が気にならない露出時間（例えば１／６０秒）で画像の取得を繰り返し、それらを合成して露出を補完して表示する構成にしている。
【０２２９】
もちろん、その場合には各撮影の露出時間が長くなってしまうために表示の間隔も長くなり、動体を観察するのには適していないが、ノイズが問題になるほど暗い状況で動体を観察することはまれであり、それよりも表示のノイズ減少を図ることを優先している。
【０２３０】
そして、被写体の明るさに応じて被写体観察段階における撮像の方法を今までどおりの、通常撮像方法と画像合成撮像方法に切り替えるように構成して、表示間隔の問題と撮像ノイズの問題を両立している。
更に、被写体観察段階において、複数フレームの画像を合成して露出を補完する場合、合成画像の間では動きベクトルに応じて、画像の切り出し位置（合成基準位置）を変えて、手振れの抑制を図っている。このときは、動きベクトル信号に対してハイパスフィルタを使用せずに高精度の防振を行っているが、次の合成画像の表示との画像の接合時には、ハイパスフィルタを使用してフレームワークを行いやすくしている。
つまり、表示される画像に対しては、ハイパスフィルタを使用してカメラの取扱いを向上させ、表示画像を作り出すための複数の画像の取得時にはハイパスフィルタを使用せず防振精度を高めている。以上の内容を図１７を用いて説明する。
【０２３１】
図１７における図上部の３グループの画像はそれぞれ４フレームの画像（フレーム３１ａからフレーム３３ｄ）で構成されており、各画像の露出時間は例えば１／６０秒である。なお、焦点距離が長い場合にはより短い露出時間にして（１３５ｍｍフィルム換算で３００ｍｍの場合には１／３００秒で撮影）各画像の手振れを抑えることも可能である。
【０２３２】
初めに、フレーム３１ａからフレーム３１ｄの各４フレームの画像は各画像間の手振れを動きベクトルを検出することで画像の切り出し位置（合成基準位置）を設定し、それらを合成して１フレームの画像にして表示する。（フレーム３１）
ここで、撮影被写体が暗いほど、その露出を補完する目的で、合成するための取得フレーム数は多くなるが、むやみに取得フレーム数を増やすと表示間隔が長くなり使いにくいカメラになってしまう。そのために露出補完の目的とはいえ、ある程度の合成フレーム数（例えば４フレーム）で画像の取得は止め、その後の露出不足に関しては撮像信号のゲインアップで対処している。暗い被写体では幾分ノイズの多い画像にはなるが、従来の表示方法よりはかなりノイズの少ない画像の表示が可能である。
そして、これらの合成基準位置を設定する際には、その基準位置を被写体にロックし、また、動きベクトル信号をハイパスフィルタで処理しないことにより高い防振精度を用いる。
【０２３３】
合成された画像は表示部１１８に表示される。
【０２３４】
表示中には、次に表示する画像（フレーム３２）を合成（フレーム３２ａからフレーム３２ｄを用いる）している。これらの画像の合成段階でも、動きベクトル信号をハイパスフィルタで処理せず、被写体にロックした高い防振精度を用いる。
【０２３５】
しかし、フレーム３１に続けてフレーム３２を表示するとき、その２画像の動きベクトルを検出し、フレーム３２の画像の切り出し位置（表示基準位置）を設定するときには、動きベクトル信号をハイパスフィルタで処理することでカメラのフレームワークを行いやすくしている。
【０２３６】
同様に、フレーム３３の画像に関しても、フレーム３２の画像表示中に合成（フレーム３３ａからフレーム３３ｄを用いる）している。これらの画像の合成段階でも動きベクトル信号をハイパスフィルタで処理せず、被写体にロックした高い防振精度を用いる。
【０２３７】
そして、フレーム３２に続けてフレーム３３を表示するとき、その２画像の動きベクトルを検出し、フレーム３３の画像の切り出し位置（表示基準位置）を設定するときには、動きベクトル信号をハイパスフィルタで処理することでカメラのフレームワークを行いやすくしている。
【０２３８】
このようにして露出が補完されることにより、高い防振精度の画像表示を続けることができ、同時にカメラのフレームワークを行いやすくしている。
【０２３９】
もちろん、第１、第２の実施例と同様に、カメラの運動（フレームワーク）の量に応じて、各表示画像間のハイパスフィルタの低周波除去能力を変更して、カメラを使いやすくしている。
【０２４０】
そして、撮影段階では第１、第２の実施例と同じように被写体の明るさ、レンズの明るさ、撮像感度、焦点距離に合わせて露出時間と取得フレーム数を設定し、撮影後の画像を合成して適正な露出の１フレームの画像にする（フレーム３６）。
【０２４１】
図１８は、上述した動作をまとめたフローチャートであり、このフローはカメラの電源がオンになったときにスタートする。
【０２４２】
ステップＳ１００１では撮影者がレリーズボタンの半押し操作によりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【０２４３】
ステップＳ１００２では撮像部１９において被写体を撮像する。撮影制御部１８は、信号処理部１１１からの出力に基づいて被写体像（撮影画像）のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。そして、最もコントラストが高くなった時点で、撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（いわゆる、山登り方式によるＡＦ）。なお位相差検出により焦点調節を行うこともできる。
【０２４４】
また、撮影制御部１８は、撮像部１９の出力に基づいて被写体の明るさを求める。
【０２４５】
ステップＳ１００３では、撮影制御部１８は、ステップＳ１００２で求めた被写体の明るさ等の撮影条件から取得するフレーム数と各々の露出時間を求める。
【０２４６】
以上の計算が終了した後で、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モード（複数回画像取得モード）が設定されたことを表示すると、同時に取得フレーム数を表示して撮影者に知らせる。
【０２４７】
ステップＳ１００４では、変位検出部１１４がフレーム内の抽出領域（例えば図２の建物１２３ａ）の中から特徴的な像を抽出し、その像の座標を求める。
ステップＳ３００１では、撮影制御部１８はステップＳ１００３で求めた撮影条件から画像合成して画像表示を行うか否かを判別している。ここで、画像合成を行う場合には、例えば望遠撮影の場合では、露出時間を短くして（例えば１／３００秒に設定する）手振れを防ぎ、その代わりに複数回画像を取得したのち、画像を合成して露出を補完するか、あるいは被写体が非常に暗い場合は露出時間は現状（１／６０秒）のままで、複数回画像を取得した後、画像を合成して露出を補完する。
【０２４８】
そして、望遠撮影ではない場合や被写体が暗くない場合には、画像合成する必要が無いために、通常どおり１回の取得画像をその都度表示する。
【０２４９】
ステップＳ３００１で、画像合成表示の必要があると判断された時にはステップＳ３００２に進み、そうでない時にはステップＳ１００５に進む。
ステップＳ１００５では、座標変換部１１５はステップＳ１００４で求めた座標から画像の切り出し位置（表示基準位置）を算出する。このとき、画像の切り出し位置は、ステップＳ１００４で求めた動きベクトルに基づく訳であるが、カメラのフレームワークを考慮して動きベクトル信号の低周波成分を除去（ハイパスフィルタを通す）した信号で切り出し位置（表示基準位置）を設定する。
【０２５０】
ステップＳ２００１では、表示部１１８に画像を表示する。このときの表示様式は、第３実施形態と同様であり、画像切り出し設定のされる領域が表示画面にそろうように画像の拡大表示が行われる。
【０２５１】
ステップＳ３００２では、取得された画像が表示のために合成される画像のなかで、初めの１枚目か否かを判定しており、初めの１枚目の場合にはステップＳ３００３に進み、そうでない時にはステップＳ３００４に進む。
【０２５２】
ステップＳ３００３では、前に表示を行った合成画像との関連からの動きベクトルに基づいて画像の切り出し位置（表示基準位置）を算出する。
【０２５３】
このときの画像切り出し位置は、動きベクトルに基づく訳であるが、カメラのフレームワークを行いやすくするために動きベクトル信号に対しハイパスフィルタを使用して、画像切り出し位置（表示基準位置）を設定する。画像切り出し位置設定後ステップＳ３００６に進む。
【０２５４】
ステップＳ３００４ではステップＳ３００３で求まった１枚目の画像の切り出し位置（表示基準位置）に対する現画像の動きベクトルから、画像切り出し位置（合成基準位置）を算出する。このときの画像の切り出し位置は画像合成を目的としているために、カメラのフレームワークを考慮しないで動きベクトル信号に対しハイパスフィルタを使用しないで、画像切り出し位置（合成基準位置）を設定する。
【０２５５】
ステップＳ３００５では、画像合成部１１６で合成基準位置を得られた画像を、順次重ね合わせて画像の合成を行う。
【０２５６】
ステップＳ３００６では露出補完に必要なフレーム数の撮影が行われたか否かを判定しており、撮影完了の場合はステップＳ２００１に進み、そうでない時はステップＳ１００２に戻り次の撮影を行う。
【０２５７】
ここで画像合成フレーム数に関して説明する。今までの例では、１／１０秒の露出を１／６０秒で得るためには６フレームの画像を取得し、それらを合成して適性露出にしていた。
【０２５８】
しかしながら、被写体観察中に動画を表示する場合には、そのような構成にすると表示間隔が長くなってしまい、見にくい動画像になってしまう。
【０２５９】
そのために、被写体観察段階においては、むやみに適正露出にこだわらず、１／１０秒の露出時間に場合には１／６０秒で３フレーム取得し合成することで露出を補完し、なお露出が不足する分は画像信号のゲインアップで補っている。
【０２６０】
ステップＳ２００１では表示部１１８に合成した画像を表示する。このときの表示方式は第３実施形態と同様であり切り出し設定される領域が表示画面にそろうように画像の拡大表示が行われる。
【０２６１】
ステップＳ１００７では、レリーズボタンの全押し操作によりｓｗ２がオンになるまで待機する。なお、この待機ステップ中にレリーズボタンの半押し操作が解除、すなわちｓｗ１がオフになるとスタートに戻る。
【０２６２】
ここで、ステップＳ１００１に戻る場合について説明を補足する。ステップＳ１００１に戻ると、再度表示のための画像の取得を始める訳であるが、このとき、ステップＳ３００３にフローが流れた場合（画像合成表示を行う撮影条件）、ステップＳ３００３では、画像が始めの１枚目か否かを判断していた。
合成のため画像が、２枚目以降の場合には、前述したように画像の切り出し位置は画像合成を目的としているために、カメラのフレームワークを考慮しないで動きベクトルに対し、ハイパスフィルタを使用しない信号で画像切り出し位置（合成基準位置）を設定する。
しかし、合成のための画像が１枚目の場合には前に表示した画像との関連については、動きベクトルとハイパスフィルタに基づいて画像切り出し位置を設定している。図１７においてフレーム３１ａ〜３１ｄの切り出し位置設定ではハイパスフィルタを使用せず、フレーム３１ｄと３２ａの間の切り出し位置設定ではハイパスフィルタを使用する。同様にフレーム３２ａ〜３２ｄの切り出し位置設定ではハイパスフィルタを使用せず、フレーム３２ｄと３３ａの間の切り出し位置設定ではハイパスフィルタを使用する。
【０２６３】
このように、画像合成を始める一番初めの撮影画像とその前の表示画像の間の関係のみ動きベクトル信号の低周波を除去して表示設定する。
【０２６４】
ステップＳ１００８では、撮影を開始する。
【０２６５】
第１実施形態と同様に１枚目の撮影のみ照明部１６ａを用いて撮影する。また、この時同時に撮影開始の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。撮影が完了するとステップＳ２００２に進む。
【０２６６】
ステップＳ２００２では変位検出部１１４が画像の周辺領域（例えば図２の建物１２３ａ）の中から特徴的な像を抽出し、その像の座標を求める。
【０２６７】
更にステップＳ２００２では照明部１６ａを用いて撮影した第１フレームを記憶部１１３に一時的に記憶させておくとともに表示部１１８に表示する。
【０２６８】
ステップＳ１０１１では座標変換部１１５が各画像の座標変換を行う。
【０２６９】
また、この撮影段階における動きベクトルに基づく座標変換では被写体観察段階とは異なり動きベクトルにハイパスフィルタの処理を行わないで高精度の防振を得ている。
【０２７０】
ステップＳ１０１２では画像の合成を行う。
【０２７１】
ステップＳ１０１３ではステップＳ１００３で求められた全画像がすべて終了したか否かを判別しており、終了するまでステップＳ１００８に戻り２枚目、３枚目の画像の取得を続行する。ここで画像の合成はステップＳ３００６の様に合成フレーム数より表示レスポンスを優先する事はせず、画像が適正な露出になるまで画像合成を続ける。
【０２７２】
ステップＳ１０１４では撮影完了の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。
【０２７３】
ステップＳ２００４では、ステップＳ１０１２で合成した画像を表示部１１８に表示する。このステップＳ２００４によりステップＳ２００２で表示されていた合成前の画像が合成後の画像に切り替わる。これにより撮影者は露出の改善効果を知ることが出来る。
【０２７４】
ステップＳ１０１６では、切り出された画像が所定の画像サイズになる様に画像を拡散補完する。
【０２７５】
ステップＳ１０１７ではステップＳ１０１６で求まった画像を、例えば半導体メモリなどでカメラに対して着脱可能な記録媒体に記録する。また、このとき同時に記憶部１１３に記憶されていた第１画像も記録部１１９に記録する。これにより撮影者は画像合成され、主被写体も背景も露出が適正な画像と、背景は露出不足であるが、照明部１６ａにより主被写体は露出が適正な画像を選択できる。
【０２７６】
ステップＳ１０１８ではスタートに戻る。
【０２７７】
以上説明したように本発明の第４実施形態においては、被写体観察中の表示画像の品位向上も実現しており、特に被写体観察中の防振特性を画像合成のための区間と動画として次の画像を取り込む区間で異ならせることで防振精度の向上とカメラの使用感向上を両立させている。
【０２７８】
つまり、複数画像の合成を周期的に実行する撮影機器において、周期内における複数画像取り込み時の変位検出特性と周期ごとの変位検出特性を異ならせる様にしている。そして周期ごとの変位検出特性では検出される振れ信号の中で低周波の振れ信号を減衰させ、周期内における変位検出特性においては検出される変位信号の中で低周波の変位信号を減衰させないように構成することで防振精度の向上とカメラの使用感向上を両立させている。
【０２７９】
（第５実施形態）
第４実施形態に係る発明は、デジタルカメラばかりでなく、ビデオカメラにおいても用いることができる。ただし、ビデオカメラにおける撮影周期は、鑑賞機器との間で制約があるために被写体が暗い場合でも撮影周期を長くすることは出来ない。
【０２８０】
しかし、望遠撮影などの撮影条件で、通常の１／６０秒の露出時間では手振れが生じやすい。そこで、露出時間を手振れが生じない程度に短くして、それらを複数フレームの画像を取得し、特徴点を合わせて合成して露出を補完して表示することで、表示品位を向上させる事ができる。そして、画像合成時の防振特性と動画作成時の防振特性を変える事で防振効果とカメラの使用感向上を両立できる。
【０２８１】
以上の内容を図１９を用いて説明する。なお、ビデオカメラの装置構成は図１の第１実施形態のカメラの構成と概ね同様である。
【０２８２】
図１９における図上部の３グループの画像はそれぞれ４フレームの画像（フレーム３６ａからフレーム３８ｄ）で構成されており、各画像の露出時間は例えば１／３００秒である。これは、撮影時のビデオカメラの焦点距離が１３５銀塩フィルム換算３００ｍｍであり、その時の手振れによる画像劣化が生じない様にするために、焦点距離分の１の露出時間に設定したためである。
【０２８３】
初めに、フレーム３６ａからフレーム３６ｄの各４フレームの画像は、各画像間の手振れを動きベクトルを検出することで画像の切り出し位置（合成基準位置）を設定し、それらを合成して１枚の画像にして表示する。（フレーム３６）
ここで、撮影被写体が暗いほど、その露出を補完する目的で、合成するための取得フレーム数は多くなるが、むやみに取得フレーム数を増やすと表示間隔が長くなり使いにくいカメラになってしまう。そのために、露出を補完する目的とはいえ、ある程度の合成フレーム数（例えば４フレーム）で画像の取得は止め、その後の露出不足に関しては撮像信号のゲインアップで対処している。暗い被写体では幾分ノイズの多い画像にはなるが、従来の表示方法よりは、ノイズの少ない画像の表示が可能である。
【０２８４】
そして、これらの合成基準位置を設定する際には、第４実施形態とは異なり、各画像間の手振れによる動きベクトル信号をハイパスフィルタで処理を行っている。これは、表示の切り替わりを滑らかにするためにはカメラのフレームワークの低周波成分をある程度残しておいたほうが自然な画像となるからである。
そのために、動きベクトル信号に関しては、図１０で示した１３５ａのボード線図の周波数ｆ１より低い周波数の時定数の大きい（低周波除去能力の小さい）ハイパスフィルタを用いている。
【０２８５】
合成された画像は表示部１１８に表示される。画像を表示している間には、次に表示する画像（フレーム３７）を合成（フレーム３７ａからフレーム３７ｄを用いる）している。これらの画像の合成段階でも動きベクトル信号をハイパスフィルタで処理している。
【０２８６】
フレーム３６に続けてフレーム３７を表示するときは、その２画像の動きベクトルを検出し、フレーム３７の画像の切り出し位置（表示基準位置）を設定するときには、動きベクトル信号をハイパスフィルタで処理することでカメラのフレームワークを行いやすくしている。
【０２８７】
このときのハイパスフィルタの特性は、図１０で示した１３５ｂのボード線図の様に周波数ｆ２より低い周波数の手振れ成分を除去する時定数の小さい（低周波除去能力の大きい）ハイパスフィルタを用いている。
【０２８８】
同様に、フレーム３８の画像に関しても、フレーム３７の画像の表示中に合成（フレーム３８ａからフレーム３８ｄを用いる）している。これらの画像の合成段階でも動きベクトル信号をハイパスフィルタで処理している。
【０２８９】
そして、フレーム３７に続けてフレーム３８を表示するとき、その２画像の動きベクトルを検出し、フレーム３８の画像の切り出し位置（表示基準位置）を設定するときには、動きベクトル信号をハイパスフィルタで処理することで、カメラのフレームワークを行いやすくしている。
【０２９０】
このときのハイパスフィルタの特性は、図１０で示した１３５ｂのボード線図の様に周波数ｆ２より低い周波数の手振れ成分を除去する時定数の小さい（低周波除去能力の大きい）ハイパスフィルタを用いている。
【０２９１】
このようにして、露出が補完され、かつ高い防振精度の画像表示を続けることができ、かつカメラのフレームワークを行いやすくしている。もちろん、第１、２、３の実施形態と同様にカメラの運動（フレームワーク）の量に応じて各表示画像間のハイパスフィルタの低周波除去能力を変更して、カメラを使いやすくすることも可能である。
【０２９２】
図２０は防振システムオンの時の撮影動作をまとめたフローチャートであり、このフローはカメラの電源がオンになったときにスタートする。
【０２９３】
ステップＳ４００１では、撮影者が不図示の録画ボタンをオンするまで待機し、録画ボタンがオンされると、ステップＳ１００２に進む。なお、ここで録画ボタンではなく録画準備動作でステップＳ１００２に進んでも良い。
【０２９４】
ステップＳ１００２では、撮像部１９において被写体を撮像する。撮影制御部１８は、信号処理部１１１からの出力に基づいて被写体像（撮影画像）のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。そして、もっともコントラストが高くなった時点で、撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（いわゆる、山登り方式によるＡＦ）。なお位相差検出により焦点調節を行うこともできる。
【０２９５】
また、撮影制御部１８は、撮像部１９の出力に基づいて被写体の明るさを求める。
【０２９６】
ステップＳ４００２では、ステップＳ１００２で求めた被写体の明るさ等の撮影条件から取得するフレーム数と各々の露出時間を求める。
【０２９７】
ステップＳ１００４では、変位検出部１１４が画像の周辺領域（例えば図２の建物１２３ａ）の中から特徴的な像を抽出し、その像の座標を求める。
【０２９８】
ステップＳ３００１では、ステップＳ４００２で求めた撮影条件から画像を合成して、画像表示を行うか否かを判別している。画像の合成を行う場合とは、例えば望遠撮影の場合であり、露出時間を短くして（例えば１／３００秒に設定する）手振れを防ぎ、その代わりに複数回の画像の取得をし、画像を合成して露出を補完する場合である。そして、望遠撮影等ではない場合には、画像を合成して表示を行う必要が無いために通常どおり１回の取得画像をその都度表示する。ステップＳ３００１で、画像合成表示の必要があると判断された時にはステップＳ３００２に進み、そうでない時にはステップＳ１００５に進む。
【０２９９】
ステップＳ１００５では、座標変換部１１５でステップＳ１００４で求めた座標から画像の切り出し位置（表示基準位置）を算出する。このときの、画像の切り出し位置は、ステップＳ１００４で求めた動きベクトルに基づく訳であるが、カメラのフレームワークを考慮して、動きベクトル信号の低周波成分を除去（ハイパスフィルタを通す）した信号で切り出し位置（表示基準位置）を設定する。その後ステップＳ２００１へ進む。
【０３００】
ステップＳ３００２では、座標変換部１１５は撮影された画像が、表示のために合成される画像のなかで、最初の１枚目か否かを判定している。最初の１枚目の場合にはステップＳ３００３に進み、そうでない時にはステップＳ４００３に進む。
【０３０１】
ステップＳ３００３では、座標変換部１１５は、前に表示を行った合成画像の画像切り出し位置からの動きベクトルに基づいて、最初の１枚目の画像の切り出し位置（表示基準位置）を算出する。
【０３０２】
このときの画像の切り出し位置は、動きベクトルに基づく訳であるが、カメラのフレームワークを行いやすくするために、動きベクトル信号に対しハイパスフィルタを使用して切り出し位置（表示基準位置）を設定する。ハイパスフィルタの設定は図１０の特性１３５ｂの様に周波数ｆ２より低い周波数を除去するようにして、カメラのフレームワークを行いやすくしている。切り出し位置設定後ステップＳ３００６に進む。
【０３０３】
ステップＳ４００３では、座標変換部１１５はステップＳ３００３で求まった１枚目の画像の切り出し位置（表示基準位置）に対する現画像の動きベクトルから、画像切り出し位置（合成基準位置）を算出する。このときの画像の切り出し位置は、画像合成を目的としているが動画間のつながりが自然に見える様に、画像合成間も動きベクトル信号に対しハイパスフィルタを使用して画像切り出し位置（合成基準位置）を設定する。このハイパスフィルタの設定は、図１０の特性１３５ａの様に周波数ｆ１より低い周波数を除去するようにして、ゆっくりとしたフレームワーク成分に対しては追従する様にしている。
【０３０４】
ステップＳ３００５では、合成基準位置を得られた画像を、順次合成してゆく。
【０３０５】
ステップＳ３００６では、露出補完に必要なフレーム数の画像の取得が行われたか否かを判定しており、取得が行われた場合はステップＳ２００１に進み、そうでない時はステップＳ１００２に戻り、次の画像の取得を行う。
【０３０６】
ステップＳ２００１では、表示部１１８に合成した画像を表示する。このときの表示様式は第３実施形態と同様であり、切り出し設定される領域が表示画面にそろう様に画像の拡大表示が行われる。
【０３０７】
画像表示後ステップＳ１００１に戻り録画動作を繰り返す。
【０３０８】
以上説明したように本発明の第５実施形態においては、ビデオにおける望遠撮影の場合の表示画像の品位向上を実現しており、特に防振特性を画像合成のための区間と、動画として次の画像を取り込む区間で異ならせることで、防振精度の向上とカメラの使用感向上を両立させている。
【０３０９】
なお、本実施形態では表示基準位置を、取得するフレームの最初の１枚目を基準としているが、取得するフレーム数内であれば例えば２枚目、３枚目の画像を基準とすることも可能である。
【０３１０】
以上説明した各実施形態は一例であり、本発明は上記各実施形態に様々な変更や改良が加えられて実施されるものである。
【０３１１】
【発明の効果】
本発明によれば、振れが無く安定した合成画像を順次、表示させたり、記録させたりすることができるとともに、合成画像間の切り替わりを滑らかにすることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態であるカメラのブロック図。
【図２】本発明の第１実施形態における座標変換説明図。
【図３】本発明の第１実施形態における特徴点抽出領域の説明図。
【図４】本発明の第１実施形態における画像合成の説明図。
【図５】本発明の第１実施形態における撮影される画像状態の説明図。
【図６】本発明の第１実施形態における画像表示の説明図。
【図７】本発明の第１実施形態における撮影動作を示すフローチャート。
【図８】本発明の第１実施形態におけるハイパスフィルタの作用を示すサブルーチン。
【図９】本発明の第１実施形態における防振特性の方向の説明図。
【図１０】本発明の第１実施形態における防振特性を定めるボード線図。
【図１１】本発明の第１実施形態におけるハイパスフィルタの作用を示すサブルーチン。
【図１２】本発明の第１実施形態における撮影処理動作を示すタイミングチャート。
【図１３】本発明の第２実施形態における特徴点抽出領域の説明図。
【図１４】本発明の第３実施形態における撮影動作を示すフローチャート。
【図１５】本発明の第３実施形態における画像表示の説明図。
【図１６】本発明の第３実施形態における撮影される画像状態の説明図。
【図１７】本発明の第４実施形態における防振特性の説明図。
【図１８】本発明の第４実施形態における撮影動作を示すフローチャート。
【図１９】本発明の第５実施形態における防振特性の説明図。
【図２０】本発明の第５実施形態における撮影動作を示すフローチャート。
【符号の説明】
１０ ：光軸
１１ ：レンズ
１２ａ：シャッタ
１２ｂ：シャッタ駆動部
１３ａ：絞り
１３ｂ：絞り駆動部
１４ａ：ＡＦ駆動モータ
１４ｂ：焦点駆動部
１５ａ：ズーム駆動モータ
１５ｂ：ズーム駆動部
１６ａ：照明部
１６ｂ：照明駆動部
１７ａ：発音部
１７ｂ：発音駆動部
１８ ：撮影制御部
１９ ：撮像部
１１０ ：Ａ／Ｄ変換部
１１１ ：信号処理部
１１２ ：信号切替部
１１３ ：画像記憶部
１１４ ：変位検出部
１１５ ：座標変換部
１１６ ：画像合成部
１１７ ：画像補正部
１１８ ：表示部
１１９ ：記録部
１２０ ：防振操作部
１２１ａ：フレーム
１２２ａ：人物
１２３ａ：建物
１２４ａ：窓
１２５ａ：特徴点
１２６ ：座標変換方向（量）
１２７ ：第１フレーム
１２８ ：第２のフレーム群
１２９ ：２枚の画像が重ならない領域
１３０ ：表示画面
１３１ａ：マスク
１３１ｂ：マスク
１３２ ：はみ出し領域
１３３ ：マスク
【発明の属する技術分野】
本発明は、デジタルカメラ等における撮像精度向上のための技術に関し、特に手振れを補正することで撮像精度を改善する撮像装置および撮像装置の制御方法に関するものである。
【０００２】
【従来の技術】
現在のカメラは、露出決定やピント合わせ等の撮像にとって重要な作業はすべて自動化され、カメラ操作に未熟な人でも撮影失敗を起こす可能性は非常に少なくなっている。
【０００３】
また、最近では、カメラに加わる手振れを防ぐシステムも研究されており、撮影者の撮影ミスを誘発する要因は殆ど無くなってきている。
【０００４】
ここで、手振れを防ぐ防振システムについて簡単に説明する。
【０００５】
撮影時のカメラの手振れは、周波数として通常１Ｈｚないし１０Ｈｚの振動であるが、撮影時点においてこのような手振れを起こしていても像振れの無い写真を撮影可能とするための基本的な考えとして、手振れによるカメラの振動を検出し、この検出結果に応じて補正レンズを光軸直交面内で変位させなければならない（光学防振システム）。
【０００６】
すなわち、カメラ振れが生じても像振れが生じない写真を撮影するためには、第１にカメラの振動を正確に検出し、第２に手振れによる光軸変化を補正することが必要となる。
【０００７】
像振れの補正は、原理的には、レーザージャイロ等により加速度、角加速度、角速度、角変位等を検出し、この検出結果に対して適宜演算処理する振動検出部をカメラに搭載することによって行うことができる。そして、振動検出部からのカメラ振れの検出情報に基づき撮影光軸を偏心させる補正光学装置を駆動することにより像振れ補正が行われる。
【０００８】
一方、手振れが生じない程度の露出時間で複数回撮影を繰り返し、これらの撮影により得られた画像に対しての画像の変位を修正しながら合成して長い露出時間の撮影画像（合成画像）を得る方法がある（例えば特許文献１）。
【０００９】
【特許文献１】
特許第３１１０７９７号
【００１０】
【発明が解決しようとする課題】
最近のデジタルカメラは、銀塩コンパクトカメラに比べて小さくなってきており、特にＶＧＡクラスの撮像素子を持つカメラは携帯電子機器（例えば、携帯電話）に内蔵されるほど小型になってきている。
【００１１】
このような中で、上述した光学防振システムをカメラに搭載しようとすると、振れ補正光学装置をよりいっそう小型化するか、振動検出部を小型化する必要がある。
【００１２】
しかし、振れ補正光学装置では、補正レンズを支持し、これを高精度に駆動してゆく必要があるために小型化には限度がある。また、現在使用されている振動検出部は、ほとんどが慣性力を利用するものなので、振動検出部を小型化すると検出感度が低下し、精度の良い振れ補正ができないという問題がある。
【００１３】
更に、カメラに加わる振れとしては、所定の軸を中心とする角度振れと、カメラを平行に揺らすシフト振れがあり、角度振れは光学防振システムで補正可能であるがシフト振れ対策はできない。特に、カメラが小型になるほどこのシフト振れは大きくなる傾向がある。
【００１４】
一方、別の防振システムとしては、ビデオカメラでの動画撮影に用いられているように撮像素子で画面の動きベクトルを検出し、その動きベクトルに合わせて画像の読み出し位置を変更することで振れのない動画を得る方法もある。
【００１５】
このような方法の場合には、上述した光学防振システムのような専用の振動検出部や補正レンズが不要となるため、製品全体を小型にできるメリットがある。
【００１６】
しかし、このビデオカメラの防振システムをデジタルカメラに簡単に適用することはできない。この理由を以下に説明する。
【００１７】
ビデオカメラにおける動きベクトルの抽出は画像を読み出すごとに行っており、例えば１秒に１５コマ画像を取り出すとすると、この取り出した各画像を比較して動きベクトルを検出している。
【００１８】
ところが、デジタルカメラで静止画を撮影する場合には、撮影被写体に対して１回の露出しか行わないため、ビデオカメラのように画像の比較を行って動きベクトルを検出することはできない。
【００１９】
このため、ビデオカメラの防振システムを単純にデジタルカメラに適応させることはできない。
【００２０】
また、特許文献１にあるような方法においては複数回撮影を繰り返すことから撮影時間が長期にわたることになる。
【００２１】
これは静止被写体の場合には問題にはならないが、被写体が人物の様に僅かでも動く場合には被写体側の振れ（被写体振れ）を生じさせてしまい、手振れは抑制できても被写体振れによる画像劣化の恐れがあった。
【００２２】
また、ビデオカメラの様に動きベクトルを抽出して構図の変位を検出するとパンニングなどでカメラを意図的に動かした場合においても映像は初めの被写体にロックしたままになるので、撮影者は、意図するカメラのフレームワークが出来ない。
【００２３】
そのために、わざと変位信号の低周波成分を減衰させることでビデオカメラの使用感を向上させている。これはいわば防振精度を落としていることになり、それらの画像を合成しても精度の高い振れ補正が行われた像にはならない。
【００２４】
そこで本発明の目的は銀塩カメラの防振システムやビデオカメラの防振システムとは異なるデジタルカメラ向けの小型の防振システムを提供することにあり、また、被写体観察段階や撮影段階においても扱いやすく、かつ精度の高い小型の防振システムを提供することにある。
【００２５】
【課題を解決するための手段】
上記の目的を達成するために、本発明の撮像装置は、被写体像を光電変換する撮像素子を有し、該撮像素子からの出力信号により画像を得る撮像装置であって、各画像における特徴点を抽出し、基準画像上での特徴点に対する他の画像上での特徴点の変位量を検出する変位検出手段と、変位検出手段の検出結果に基づいて、他の画像が基準画像に重なるように他の画像に対して座標変換を行う座標変換手段と、基準画像および座標変換手段で座標変換された他の画像を合成して合成画像を生成する合成手段と、合成画像を表示する表示手段と、合成画像を記録する記録手段とを有し、撮像装置は、合成画像を所定の周期で順次、表示手段に表示する動作及び、合成画像を所定の周期で順次、記録手段に記録する動作のうち少なくとも一方の動作を行う。そして、変位検出手段は、前回の周期で合成された合成画像に対する今回の周期で合成された合成画像の変位量に応じた変位信号を生成し、座標変換手段は、この合成画像間の変位信号のうち、第１の周波数以上の周波数成分を通過させるハイパスフィルタを介して得られた信号に基づいて合成画像の座標変換を行い、合成画像の生成に用いられる一周期内の複数の画像に関しては、変位検出手段は、画像間の変位量に応じた変位信号を生成し、座標変換手段は、この画像間の変位信号のうち、第１の周波数よりも低い第２の周波数以上の周波数成分を通過させるハイパスフィルタを介して得られた信号に基づいて座標変換を行うことを特徴とする。
【００２６】
【発明の実施の形態】
（第１実施形態）
図１は、本発明の第１実施形態であるカメラ（撮影装置）の構成を示した図である。撮影レンズ１１から入射した光束（撮影光）は、シャッタ１２ａを通り、絞り１３ａで光量制限された後に撮像部１９に結像する。撮像部１９は、ＭＯＳやＣＣＤなどの半導体撮像素子からなる。
【００２７】
撮影レンズ１１は、ＡＦ駆動モータ１４ａからの駆動力を受けて光軸１０上を移動し、所定の合焦位置に停止することで焦点調節を行う。ＡＦ駆動モータ１４ａは焦点駆動部１４ｂからの駆動信号を受けることで駆動する。
【００２８】
絞り１３ａは、複数の絞り羽根を有しており、これらの絞り羽根は、絞り駆動部１３ｂからの駆動力を受けることで作動して光通過口となる開口面積（絞り口径）を変化させる。シャッタ１２ａは複数のシャッタ羽根を有しており、これらのシャッタ羽根は、シャッタ駆動部１２ｂからの駆動力を受けることで光通過口となる開口部を開閉する。これにより、撮像部１９に入射する光束を制御する。
【００２９】
そして、焦点駆動部１４ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、照明駆動部１６ｂ、および発音駆動部１７ｂの駆動は、撮影制御部１８により制御されている。
【００３０】
また撮影制御部１８には、レリーズ操作部１２ｃ、絞り操作部１３ｃ、ズーム操作部１５ｃ、照明操作部１６ｃ及び防振操作部１２０からの操作信号が入力され、カメラの撮影状態に合わせてそれら操作信号を焦点駆動部１４ｂ、ズーム駆動部１５ｂ、絞り駆動部１３ｂ、シャッタ駆動部１２ｂ、照明駆動部１６ｂに出力する。
【００３１】
撮影制御部１８は、後述する信号処理部１１１に取り込まれた画像信号に基づいて被写体輝度の検出（測光）を行い、この測光結果に基づいて絞り１３ａの絞り口径とシャッタ１２ａの開き時間、および照明部１６ａを使用するか否かを決定する。また、撮影制御部１８は、焦点駆動部１４ｂを駆動させながら、信号処理部１１１からの出力に基づいて合焦位置を求めている。
【００３２】
撮像部１９から出力される画像信号は、Ａ／Ｄ変換部１１０によりデジタル信号に変換されて信号処理部１１１に入力される。信号処理部１１１は、入力された信号に対して輝度信号や色信号を形成するなどの信号処理を行ってカラー映像信号を形成する。
【００３３】
そして、信号処理部１１１で信号処理された画像信号は、表示部１１８に出力されることにより撮影画像として表示されるとともに、記録部１１９に出力されて記録される。
【００３４】
ここで撮影者がレリーズ操作部１２ｃのレリーズボタンを半押し（以下ｓ１）し、カメラを通して被写体を観察している状態である場合を説明する。なお、撮影者は防振操作部１２０を操作してカメラを防振オン状態に設定しているものとする。
【００３５】
まず、撮影者がカメラに設けられたレリーズボタンを半押しすると、撮影準備動作（焦点調節動作や測光動作等）が開始される。測光動作により得られた測光値に基づいてシャッタ１２ａの開き時間（露出時間）と絞り１３ａの絞り口径を決定する。また、信号処理部１１１の像状態と焦点駆動部１４ｂとの連携で、合焦するレンズ位置を求めている。そして、得られた測光値等から照明部（閃光発光またはフラット発光による照明）１６ａの発光設定を行う。
【００３６】
変位検出部１１４は、撮像画像中の特徴点を抽出し、その特徴点の撮像画面内における位置座標を割り出す。
【００３７】
例えば、図２にあるようにフレーム１２１ａにおいて人物１２２ａが建物１２３ａを背景にして立っている写真を撮影する場合を考える。
【００３８】
このとき、複数フレームの画像の取得をすると、フレーム１２１ｂの様に手振れで構図がずれた写真も取得されることがある。
変位検出部１１４は、フレーム１２１ａの周辺に位置する建物１２３ａのうち輝度の高い点である窓１２４ａのエッジ１２５ａを特徴点として取り出す。そして、この特徴点１２５ａと、フレーム１２１ｂにおいて取り出した特徴点１２５ｂと比較し、この差分を補正（座標変換）する。
【００３９】
例えば、テンプレートマッチング等によりエッジ１２５ａと１２５ｂとを対応づけ、次のフレーム１２１ｂにおいて対応する特徴点１２５ｂをサーチすることにより、フレーム１２１ａと１２１ｂとの間のフレームの切り替わりに要する時間と、特徴点１２５ａと１２５ｂとの変位より動きベクトル量を算出する。
図２では、フレーム１２１ｂの特徴点１２５ｂを矢印１２６の様に特徴点１２５ａに重ねるようにして、フレーム１２１ｂを座標変換する。
【００４０】
ここで特徴点として撮像画面の周辺を選択する理由を以下に説明する。多くの撮影の場合では画面中央近傍に主被写体が位置し、かつ主被写体は人物である場合が多い。このようなとき、主被写体を特徴点として選ぶと被写体振れによる不都合が出てくる。
【００４１】
すなわち、複数フレームの画像の取得を行っているときに撮影者の手振ればかりでなく被写体振れも重畳してくるので被写体振れに基づいて画像の座標変換をしてしまう。
【００４２】
この場合、主被写体の構図が適正になるように座標変換するので好ましい画像ができるように思われるが、一般的には人物の動きは複雑であり、特徴点を選ぶ場所によって変位検出精度が大きく左右される。
【００４３】
例えば、主被写体（人物）の眼を特徴点として選んだ場合は瞬きの影響が出るし、手の先を特徴点として選択してしまった場合には、手は動きやすいので実際の被写体全体の振れとは異なってしまう。このように人物中の１点を特徴点として画像の座標変換を行っても、その人物のすべてが適正に座標変換される訳ではないし、複数の画像を座標変換して合成する場合においても、画像ごとに座標の位置がばらつき、好ましい画像は得られない。
【００４４】
そこで、本実施形態のように背景のような静止被写体を特徴点として選択して画像の座標変換を行ったほうが好ましい画像が得られる。
【００４５】
座標変換部１１５は、変位検出部１１４で検出した取得画像を１つ前の取得画像の特徴点と重ねるように座標変換する。ここで、座標変換部１１５は、各取得画像を変位検出部１１４から出力された画像データに基づいて、切り出し位置を変更することにより、各画像の特徴点が重なる様に座標変換を行う。すなわち、図２において、フレーム１２１ａの画像は範囲１２１ｃで画像を切り出し、フレーム１２１ｂの画像は範囲１２１ｄで画像を切り出す。
【００４６】
図２の特徴点１２５ａの位置との座標関係に基づいて、フレーム１２１ａにおける画像切り出し位置を設定することにより、それ以降の画像においては各特徴点（例えば特徴点１２５ｂ）を基準にして画像切り出し位置が設定される。
【００４７】
この設定された画像切り出し位置は画像表示のための基準位置（表示基準位置）となり、画像表示を行うときには、画像切り出し位置のみそろえて表示することで振れの無い安定した画像表示が行われる。
【００４８】
また、画像切り出し位置は観察状態のすべての画像に対して一定に設定されており、フレーム全体に対してかなり余裕をとっている。これは、被写体観察中はどのような大きな振れが生ずるか予想がつかないためであり、画像切り出し範囲に余裕が無いと大きな振れが生じた時に切り出し位置が画面外になってしまうからである。（範囲１２１ｅ）
座標変換部１１５で座標変換された各画像データは信号切替部１１２に送られる。
【００４９】
信号切替部１１２は、被写体観察中は座標変換後の撮像信号を画像補正部２（１１７ｂ）に送り、露出中は座標変換後の撮像信号を画像記憶部１１３に送る。
【００５０】
画像補正部２（１１７ｂ）に入力された画像は、ガンマ補正や圧縮処理が行われ、その後表示部１１８で画像切り出し位置をそろえて撮像周期にあわせて表示される。ここで撮影被写体が暗い時には画像補正部２（１１７ｂ）は画像のゲインアップも行っている。
【００５１】
これは被写体観察中の画像は１／３０秒ごとの周期などで表示部１１８に表示することで動画として表示している訳であるが、動画として表示するには、表示の周期より短い露出時間で撮像しなくてはならない。
【００５２】
短い露出時間で撮像した場合、被写体が暗いときは撮像される画像は露出が不足することとなる。そこで、ゲインをアップして露出を補正して表示する必要がある。もちろんゲインアップする事でノイズ成分も増えてしまうが、動画表示であることやカメラの背面などの表示部は小さい事からノイズはそれほど目立たない。なお、ゲインアップは撮像部１９で撮像段階で行っても良い。
【００５３】
撮影者が、被写体を観察中である場合は、この様に切り出し位置（表示基準位置）を変えることで座標変換された画像が連続して表示部１１８に表示されるために振れが無く安定した動画を観察することが出来る。
【００５４】
なお、被写体観察状態における変位検出部１１４の変位検出は、撮像される各フレームの特徴点を相関演算することで動きベクトルを求めて検出する訳であるが、この動きベクトルに忠実に各フレームを座標変換すると不都合が生ずる点がある。
【００５５】
例えば、撮影者がカメラのパンなどのフレームワークを行う場合に、そのフレームワークによる特徴点の変化も動きベクトルとして拾ってしまうと、パンを行っても画面は変化せず、画面が被写体にロックしてしまう現象が生じる。
【００５６】
それを避けるために、実際の変位検出においては撮像中の変位（動きベクトル）の変動の中で、動きベクトル信号の低周波の成分を除去した信号を元に座標変換を行うようにしている。
【００５７】
これは、手振れはおおよそ１〜１０Ｈｚ程度の周期振動であるのに対して、パンは、より低い周波数の運動（例えば０．０５Ｈｚ）であるために、得られる動きベクトル信号を低域除去フィルタ（以下ハイパスフィルタ）に通し、ハイパスフィルタは、第１の周波数（例えば０．３Ｈｚ）以下の周波数を除去する特性にすることで手振れにより生じる振動とパンにより生じる振動を区別している。
【００５８】
また、カメラの運動が大きいほど、このハイパスフィルタの時定数を小さくして（例えば１Ｈｚ以下の周波数の振れ信号を除去するように変更する）、防振の効果を更に下げて、カメラの動きに撮像信号の表示が追従する様にしており、明らかな流し撮りの動きベクトルの場合には、その方向は防振を使わないようにする。
【００５９】
次に、撮影者がレリーズ操作部１２ｃのレリーズボタンを押し切り（以下ｓ２）撮影を開始した場合を説明する。
【００６０】
前述したように、被写体観察段階のはじめ（ｓ１）にピント合わせや測光を行っている。このときの測光値に基づいて、撮影時のシャッタ１２ａの閉じタイミング（露出時間）と、絞り１３ａの絞り開口径を設定する訳であるが、一般的に防振システムを使用するような撮影条件では被写体が暗いので絞りは全開、露出時間は長秒時露出になっている。
【００６１】
そこで、この撮影時間を複数の短い撮影時間に分割し、その分割数だけ画像の取得を繰り返すように設定する。このように短い撮影時間に分割すると１枚１枚の画像は露出不足になるが、これらの画像には手振れの影響が少ない画像となる。そして、複数の画像を取得終了後に合成して１枚の画像にすることで露出を改善する。
【００６２】
しかし、複数の画像を取得するとき、各画像においては手振れはなくても、連続取得中の手振れにより各画像間における構図（被写体像）は微妙に変位している場合がある。これらの画像をこのまま合成すると、合成された画像は各画像における構図が変位分だけ振れた画像になってしまう。
【００６３】
本実施形態において、連続した画像の取得に応じて撮像部１９から取得毎に複数出力される画像信号は、上述したように、Ａ／Ｄ変換部１１０でデジタル信号に変換されてから、信号処理部１１１で信号処理が施される。信号処理部１１１の出力は撮影制御部１８に入力されるとともに、変位検出部１１４にも入力される。
【００６４】
変位検出部１１４は、取得画像中における画像の特徴点を抽出し、この特徴点の取得画面における位置座標を割り出す。
【００６５】
図２では、フレーム１２１ｂの特徴点１２５ｂを矢印１２６の様にフレーム１２１ａの特徴点１２５ａに重ねるようにして、フレーム１２１ｂを座標変換している。（各画像の特徴点が合成基準位置になる）
しかし、複数の画像を座標変換して合成する場合、それら複数の画像を連続して取得している間のカメラの運動、および被写体の運動により、被写体振れの影響が出てくる。そこで本発明においては複数回に分けた画像の取得の１枚にだけ照明部１６ａで被写体を照射する様にしている。
【００６６】
ここで照明部１６ａを使用して取得した画像を第１フレーム、照明部を作用させないで取得した複数の画像を第２のフレーム群と分ける。
【００６７】
このとき、第１フレームと第２のフレーム群の間には、前述した構図の変位以外にも以下の違いが有る。それは第１フレームにおいて、照明の届いた領域の明るさは第２のフレーム群の同じ領域の明るさとは異なるということである。そして、第１フレームにおいて、照明の届いた領域（例えば主被写体）に対しては十分な露出が得られ、届かない領域（例えば背景）は露出が不足することになる。これは一般的に人物などの主被写体はカメラの近くに位置しているために照明が届き、背景はカメラから遠いために照明が届かないからである。
【００６８】
そこで、露出の不足している背景に対しては、第２のフレーム群の構図の変位を修正しながら、第１フレームと合成することで露出を補う。
【００６９】
図３は、変位検出部１１４の特徴点抽出領域の選択方法を示す図である。
【００７０】
照明部１６ａを使用した第１フレーム１２７と、照明部１６ａを使用しない第２のフレーム群（図３では例として１つの画像１２８）とを比較すると、人物１２２ａには、第１フレーム１２７では照明が届き、第２のフレーム１２８では照明が届かず人物が暗くなっている。
【００７１】
それに対して、照明の届かない背景では建物の特徴点１２３ａの明るさは第１フレーム１２７と第２のフレーム１２８で変化が無い。
【００７２】
この様に、明るさの変化のない背景領域は、照明が届かずに露出が不足するので、この領域を画像合成のポイントと考えて、この部分を特徴点抽出の領域にして構図の変位を補正する。
【００７３】
図３においては、上記の様に第１フレーム１２７と第２のフレーム１２８で明るさの変化が無い、画像１２７周辺の建物１２３ａの中で輝度の高い点である窓１２３ａのエッジ１２５ａを特徴点として取り出し、図２で説明したのと同様に、第１フレーム１２７に特徴点１２５ａと第２のフレーム１２８の特徴点１２５ｂと比較する。
【００７４】
座標変換部１１５は、第２のフレーム１２８の特徴点１２５ｂを第１フレーム１２７の特徴点１２５ａに重ねるように第２のフレーム１２８を座標変換する。
【００７５】
そして、第２のフレーム群の中で２枚以降の画像についても各々特徴点１２５ｂの座標を求め、その座標が第１フレーム１２７で定めた特徴点１２５ａの座標と重なるように座標変換部１１５は各画像を座標変換してゆく。（特徴点１２５ａを合成基準位置にする）
ここでは、説明のために画像ごとの特徴点座標を求めているが、実際には第１フレーム１２７と第２のフレーム群の１枚目の画像１２８を相関演算し、各々対応する画素の位置の変化を動きベクトルとして求め、特徴点の変化としている。
【００７６】
そして、第２のフレーム群の２枚目に対しても画像１２７との相関演算で特徴点の変化を求め、以下同様にして各画像の特徴点の変化を求めてゆく。
【００７７】
なお、特徴点は抽出領域１２７の中で１箇所だけ選択するのではなく、複数のポイントを選択しておき、これらの動きベクトルの平均値、あるいはスカラーの最小値を特徴点の変化としても良い。
【００７８】
ここで、特徴点の変化として上記最小値を利用するのは、画面周辺で選択された特徴点もそれ自身が移動する可能性があるため、もっとも移動しない特徴点を選ぶためである。
【００７９】
被写体観察段階においては、画像の取得中の変位（動きベクトル）の変動により生ずる振動の中で、低周波の成分を除去した信号を元に座標変換を行うようにしていた。これは、被写体観察中のフレームワークを良くするためであるが、反面動きベクトルの検出の精度が落ちることになる。
【００８０】
前述したように得られる動きベクトル信号をハイパスフィルタに通し、ハイパスフィルタは第１の周波数（例えば０．３Ｈｚ）以下を除去する特性にするとそのような低周波の振れに関しては補正することが出来なくなる。
【００８１】
実際の手振れはおおよそ１〜１０Ｈｚ程度の周期振動であるために０．３Ｈｚ以下の振れ信号を除去しても問題ない様に思われるが０．３Ｈｚ以下を除去するフィルタは１Ｈｚの信号に対しても位相の変位などの悪影響を与える。
【００８２】
そのために、精度よい振れ補正を実現するためには、ハイパスフィルタは設けたくない。しかし、撮影段階においては流し撮りなどの特殊な撮影の条件を除けば、カメラのフレームワークを行うことは無いので、ハイパスフィルタは使用しないで高い精度の動きベクトル信号に基づいて座標変換が行える。
【００８３】
また、流し撮りなどの特殊な撮影の条件においては、動きベクトル量が、ある一定の方向について大きくなるため、その動きベクトルの方向のみ、動きベクトルの検出を止めて、カメラのフレームワークに追従する様にすればよい。
【００８４】
カメラのパンを行う時には、被写体観察段階から、カメラには所定の方向に運動が生じており、この運動は被写体観察時の各撮像信号を比較すること（動きベクトルが所定の方向に大きく、それが継続している）でわかる。
【００８５】
そして、前述した様にカメラをパンしていることがわかると、被写体観察段階においても、その方向の画像切り出し位置（表示基準位置）の制御を変更し、防振効果を低くするか、あるいはその方向の防振動作を止めるようにする。
【００８６】
このように、撮影段階においても被写体観察段階と同様な振れ検出特性にすることで撮影者の意図に応じた撮影を可能にしている。
【００８７】
また、前述したように被写体観察段階においては座標変換部１１５が画像の画像切り出し範囲を指定し、各画像取得周期で画像の切り出しを行っている訳であるが、撮影段階においては特徴点の変化から動きベクトルを求め、その動きベクトルに応じて第１フレーム１２７に第２のフレーム群の各画像が重なるように座標変換を行うが、画像の切り出しは行わない。
【００８８】
座標変換部１１５で座標変換された各画像データは、信号切替部１１２を介して画像記憶部１１３に出力される。画像記憶部１１３では、照明部１６ａを用いて取得した１枚の画像のみ記憶しておく。画像記憶部１１３に記憶された画像データは、画像合成部１１６に出力される。
【００８９】
画像合成部１１６では取得された各画像が順次合成され、１枚の画像になる。そして、上述ｓ１時にあらかじめ設定されたフレーム数の取得が完了するとそれ以上の画像の取得は止めるとともに画像の合成を止める。
【００９０】
以上のように、本実施例に係る発明では照明部１６ａを用いた第１フレーム１２７を基準（中心）にして、その画像に重なるように第２のフレーム群１２８の各画像を座標変換している。
【００９１】
ここで、第１フレーム１２７を基準にする理由を説明する。
【００９２】
図２の様に構図の変位した２枚の写真を合成する場合、図４に示すように２枚の画像が重ならない領域１２９が生ずる。（画像切り出し範囲外）
そこで、画像合成部１１６は、この領域はカットして、２枚の画像が重なった領域のみ拡散補完処理を行い、もとのフレームの大きさにする。そのために、第２のフレーム群の各画像は構図の変位の向きや大きさにしたがって画面の周辺が削られてしまう。
【００９３】
ここで、第１フレーム１２７と第２のフレーム群１２８の中でもっとも画像情報（主被写体の露出、構図など）が良好なのは、照明部１６ａを使用した第１フレーム１２７である。そのために、第１フレーム１２７のなるべく中央を画像切り出しするようにするために第１フレームを基準にして、その基準に対して第２のフレーム群１２８の各画像を重ねてゆくのが好ましい。
【００９４】
デジタル画像の場合には、１枚の露出不足の写真でもゲインアップすることで露出の補正が可能であるが、ゲインを高くするとノイズも多くなり見苦しい画像になってしまう。しかし、本実施形態のように多くの画像を合成することで画像全体のゲインをアップさせる場合には、各画像のノイズが平均化されるためにＳ／Ｎ比の大きい画像を得ることができ、結果的にノイズを抑えて露出を適正化することができる。別の考え方をすれば、例えばノイズを許容して撮像部１９を高感度にして複数フレーム画像を取得し、それらを加算平均することで画像に含まれるランダムノイズを減少させているともいえる。
【００９５】
画像合成部１１６は取得された画像のすべてが重なっている領域を切り出し範囲（画像切り出し領域）にして、前述重ならない領域１２９をカットする。
【００９６】
このように、被写体観察段階ではあらかじめ画像切り出し領域を設定しているが、撮影段階では画像合成終了後に画像切り出し領域を決めている。
【００９７】
そのために、手振れが少ないほどカットされる領域が小さくなり、広い画角の画像を得ることが出来る。
【００９８】
合成された画像データは、画像補正部１（１１７ａ）に入力されてガンマ補正や圧縮処理が行われ、その後表示部１１８に表示されるとともに記録部１１９に記録される。ここで、照明部１６ａを用いた合成前の画像データも記録部１１９に記録する。
【００９９】
これは、照明部１６ａを用いた標準的な（照明部１６ａの照射が届いた被写体のみ露出が適正で、背景は露出が不足している）画像を選択する第１のモードと、合成後の（背景の露出も適正化された）画像を選択する第２のモードとを、ユーザーが不図示の選択手段により選択できるようにするためである。
【０１００】
図５は、本発明における撮影される画像状態を表した図である。図５は、防振システムをオンにしたときに撮影される画像状態を示している。
【０１０１】
被写体観察段階における各画像は、フレーム１２１ｈ、１２１ｉ、１２１ｊ、１２１ｋ、１２１ｌであり、各々の画像はそれらの相関演算で求まる動きベクトル信号をハイパスフィルタで処理した信号に基づいて切り出し位置１２１ｆを変更し、表示部１１８に表示される。
【０１０２】
この表示サイクルは撮像サイクルと同じであり、１回の撮像ごとに上記処理を行って表示する動作を繰り返し、画面では手振れが少なく、かつフレームワークのしやすい動画を表示することが出来る。
【０１０３】
撮影段階においては、照明部１６ａを使用して取得したフレーム１２７（第１フレーム）、および照明部１６ａを使用しないフレーム１２８ａ、１２８ｂ（第２のフレーム群）を順次画像の取得をしつつ、それらの相関演算で求まる動きベクトル信号をハイパスフィルタで処理しない信号に基づいて座標変換して合成し、合成後の互いに重ならない範囲を除いて切り出し位置１２１ｇを設定し、記録部１１９に記録するとともにフレーム１２７も記録部１１９に記録する。
【０１０４】
ここで、被写体観察段階及び撮影段階後に、表示部１１８に表示される画像の状態を説明する。
【０１０５】
図６は、各々の段階で取得される画像を左に、表示部１１８に表示される画像を右に表している。また、被写体観察段階の画像を上、撮影段階の画像を下に表している。被写体観察段階においては、表示のための基準位置は切り出し位置１２１ｆで設定され、それを表示部１１８で表示するときには、切り出し位置１２１ｆが表示画面１３０の中央に位置するように画面設定される。
【０１０６】
そのため取得画像の中で表示画面１３０からはみ出す部分１３２は表示されない。また、表示画面１３０の中で画面欠けを起こす部分は例えばグレーのマスク１３１ａ、１３１ｂで表示される。
【０１０７】
撮影者は、このマスク部の大小を見ることで自分の手振れの大きさを知ることが出来る。また、範囲１２１ｆ内では画像が安定しており、範囲１２１ｆ外でも画像が見える領域があるので、周囲の状況を見ながら露出のためのフレーミングが出来る。
【０１０８】
撮影段階においては、合成画像の切り出し範囲１２１ｇは画像合成後に求まるが、露出という短い時間内で発生する振れは小さいので、その面積は範囲１２１ｆより大きく設けることが出来る。
【０１０９】
そして、表示部１１８で表示されるときには、画像切り出し範囲１２１ｇが表示画面１３０の中央に位置するように表示設定される。また、画像切り出し範囲外は記録部１１９に記録されないので、例えばグレーのマスク１３３で外周を囲んで表示される。このような構成にすると、被写体観察段階の表示画像と撮影後の表示画像の倍率がそろうために、違和感の無い画像表示が行われる。
【０１１０】
図７は、上述した動作をまとめたフローチャートであり、このフローはカメラの電源がオンになったときにスタートする。
【０１１１】
ステップＳ１００１（図では、ステップをＳとする）では、撮影者がレリーズボタンの半押し操作によりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【０１１２】
ステップＳ１００２では、撮像部１９において被写体を撮像する。撮影制御部１８は、信号処理部１１１からの出力に基づいて被写体像（撮影画像）のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。そして、もっともコントラストが高くなった時点で、撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（いわゆる、山登り方式によるＡＦ）。なお位相差検出により焦点調節を行うこともできる。
【０１１３】
また、撮影制御部１８は、撮像部１９の出力に基づいて被写体の明るさを求める。
【０１１４】
ステップＳ１００３では、撮影制御部１８はステップＳ１００２で求めた被写体の明るさから取得するフレーム数を求める。
【０１１５】
例えば、被写体の明るさを測光し、この測光結果に基づいて適正に露出するには、絞り１３ａは全開（例えばｆ２．８）にし、シャッタ１２ａの開き時間、すなわちは露出時間を１／８秒とする必要があるとする。
【０１１６】
ここで、撮影光学系の焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは、露出時間を１／８秒とする撮影では、手振れにより像振れが発生する恐れがあるので、手振れが生じないように露出時間を１／３２秒に設定して、４回のフレームの取得を行うように設定する。一方、撮影焦点距離が３００ｍｍであるときには、手振れが生じないように露出時間を１／３２０秒に設定して４０回のフレームの取得を行うように設定する。
【０１１７】
このように、複数フレームの取得を行う時の露出時間を撮影条件に合わせて決定し、更に何フレーム取得するかも撮影条件に合わせて設定する。同一被写体を複数フレームに分けて取得するとしても、各撮影の露出条件はなるべく適正露出に近い方が撮像部１９に正確な情報が画像の取得ができる。
【０１１８】
そのために暗い被写体の場合や、撮影レンズが絞り込んでおりレンズが暗い場合、撮像素子の感度が低く設定されている場合には各画像の取得における露出時間はなるべく長くして有効な露出条件にする。
【０１１９】
ただし、あまり露出時間を長くすると手振れによる劣化の影響が像面に表れるために上述したように撮影焦点距離が３５ｍｍフィルム換算で３０ｍｍであるときは手振れの恐れのない約焦点距離分の一である露出時間１／３２秒に設定している。そして、その露出時間では足りない分を取得フレーム数で補完している。
【０１２０】
焦点距離が長い場合には更に露出時間を短くしないと手振れによる像劣化が生ずるので更に露出時間を長くして、その分取得フレーム数を増やして露出補完を行う。
【０１２１】
このように、複数フレームの画像取得における露出時間は被写体が暗いほど、また撮影レンズが暗いほど長くなり、撮像素子の感度が低いほど長くなり、レンズの焦点距離が長いほど短くなる。
【０１２２】
そして、複数フレームの取得フレーム数は撮影被写体が暗いほど、また撮影レンズが暗いほど多くなり、撮像素子の感度が低いほど多くなり、レンズの焦点距離が長いほど多くなる。
【０１２３】
以上の計算が終了した後で、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モード（複数回取得モード）が設定されたことを表示すると、同時に取得フレーム数を表示して撮影者に知らせる。
【０１２４】
ステップＳ１００４では変位検出部１１４がフレーム内の抽出領域（例えば図２の建物１２３ａ）の中から特徴的な像を抽出し、その像の座標を求める。
【０１２５】
ここで、被写体観察段階における動きベクトル信号は、ハイパスフィルタにより低周波の動きが除去されており、カメラのフレームワークを行いやすくしている。
【０１２６】
ステップＳ１００５では、ステップＳ１００４で求めた座標から、座標変換部１１５が画像の切り出し位置（表示基準位置）を算出する。
【０１２７】
また、検出される動きベクトルの大きさが所定以上の場合には、その方向の動きに関しては切り出し位置の変更を行っている。
【０１２８】
これは、前述したカメラのフレームワークに対応させるためであり、カメラの運動（速度）が大きいときは、検出した動きベクトルに対しては、ハイパスフィルタにより、通常よりも高周波の動きも除去され、明らかな流し撮りの場合には検出した動きベクトルを画像の切り出しに反映させない。
【０１２９】
このことを図８のフローチャートを用いて説明する。
【０１３０】
図８は、図７のステップＳ１００５のサブルーチンであり、ステップＳ１００５にフローが流れて来た時にスタートする。
初めに、画像内の特徴点における動きベクトルのＸ（水平）方向の大きさを判定する。
【０１３１】
ここで、Ｘ方向とは図９の画像における矢印１３４ｘ方向であり、図９においてはＸ方向に大きなフレームワークが行われている。
【０１３２】
ステップＳ１０１９では、ステップＳ１００４で求まったＸ（水平）方向の動きベクトルが所定値ａ（例えば１ｄｅｇ／ｓ）より大きいか否かを判別する。
【０１３３】
ここでＸ方向とは図９の画像における矢印１３４ｘ方向であり、図９においてはＸ方向に大きなフレームワークが行われている。
【０１３４】
動きベクトルが所定値ａより、小さい場合にはステップＳ１０２１に進み、そうでないときはステップＳ１０２２に進む。
【０１３５】
ステップＳ１０２１では、ステップＳ１００４で得られた動きベクトルに対して第１の特性のハイパスフィルタをかける。
図１０は、ハイパスフィルタの周波数特性を模式的に表しており、破線１３５ａは周波数ｆ１（例えば０．３Ｈｚ）より低い周波数を除去（減衰）する第１の特性のハイパスフィルタであり、実線１３５ｂは周波数ｆ２（例えば１．０Ｈｚ）より低い周波数を除去（減衰）する第２の特性のハイパスフィルタである。
【０１３６】
このように、動きベクトルが小さいときはカメラのフレームワークは行われていないと判定して、時定数の大きい（低周波除去能力の低い）ハイパスフィルタを用いる。
【０１３７】
ステップＳ１０２２では、ステップＳ１００４で求まったＸ方向の動きベクトルが所定値ｂ（例えば１５ｄｅｇ／ｓ）より大きいか否かを判別する。小さい場合にはステップＳ１０２３に進み、そうでないときはステップＳ１０２４に進む。
【０１３８】
ステップＳ１０２３では、ステップＳ１００４で得られた動きベクトル信号に対して、図１０１０で示した第２の特性のハイパスフィルタをかける。
【０１３９】
このように、動きベクトルの大きさがある程度大きくなるとカメラのフレームワークが行われていると判定して、時定数の小さい（低周波除去能力の高い）ハイパスフィルタを用いる。
ステップＳ１０２４は、動きベクトルが大きくカメラがパン動作をしていると判定された場合に流れてくるステップであり、動きベクトルをゼロに設定してＸ方向の防振動作を行わせないようにする。そのために撮影者は軽快に被写体を追うことが出来る。
【０１４０】
次に、画面内の特徴点のＹ方向の動きベクトルの判別についてもＸ方向の動きベクトルの判別と同様の手法により行う（ステップＳ１０２５から１０２９まで）。その後ステップ１０３０へ進む。
【０１４１】
ステップＳ１０３０では、求まった動きベクトルに基づいて画像の切り出し位置（表示基準位置）を設定する。
【０１４２】
ステップＳ１０３１ではメインのフローチャートに戻る。（ステップＳ１００６に進む）
ステップＳ１００６では、表示部１１８に画像を表示する。このときの表示様式は図６の被写体観察段階の表示のようにフレーム（ステップＳ１００５で求めた画像切り出し位置）が表示画面１３０の中央に位置するように表示設定を行い、画像のない領域はマスク処理（マスク１３１ａ、１３１ｂ）を行う。
【０１４３】
ステップＳ１００７では、レリーズボタンを全押し操作によりｓｗ２がオンになるまで、被写体観察画像を表示しながら待機する。なお、この待機ステップ中にレリーズボタンの半押し操作が解除、すなわちｓｗ１がオフになるとスタートへ戻る。
【０１４４】
ステップＳ１００８では、撮影制御部１１１で１枚目のフレームの取得であるかの判断を行う。１枚目である場合には、ステップ１０１０に進む。１枚目でない場合には、ステップ１００９へ進む。
【０１４５】
ステップ１００９では、照明部１６ａを発光させずに取得を行い、ステップ１０１１へ進む。
【０１４６】
ステップ１０１０では、照明部１６ａを発光させ取得を行い、ステップ１０１１へ進む。また、この時同時に撮影開始の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。この音は例えばピッ！という電子音でも良いし、フィルムカメラなどにおけるシャッタの開き音、ミラーアップの音でも良い。
【０１４７】
ステップＳ１０１２では、変位検出部１１４がフレームの周辺の領域（例えば図２の建物１２３ａ）の中から特徴的な像を抽出し、その像の座標を求める。
【０１４８】
これは、前述したように第１フレームと第２のフレーム群の像各々をそれぞれ比較して、明るさの異なる領域（すなわち照明が十分被写体を照射した領域）以外の領域（すなわち照明が被写体を十分照射していない領域）から特徴点を抽出し、その座標を求めることである。更に、ステップＳ１０１２では、照明部１６ａを用いて撮影した第１フレームを記憶部１１３に一時的に記憶させておく。
【０１４９】
ステップＳ１０１３では、座標変換部１１５が各画像の座標変換を行うが、最初の１枚の画像（照明部を用いた第１フレーム）のみ座標の変換は行わない。（この画像を座標変換の基準位置とする）
また、この撮影段階における動きベクトルに基づく座標変換では、動きベクトル信号にハイパスフィルタの処理を行わず、精度の高い動き検出が行われる。
【０１５０】
ただし、ステップＳ１００４において、カメラがフレームワークを行っていると判定した場合には、ステップＳ１０１３での動きベクトル信号に対して、ハイパスフィルタでの処理をし、更に、カメラの動きが激しい場合には、その方向の動きベクトルを座標変換に反映させないようにする。この動きベクトルの処理も、基本的にはステップＳ１００５と同様である。
【０１５１】
図１１のフローチャートを用いて動作を説明する。
図１１は、図７のステップＳ１０１３のサブルーチンであり、ステップＳ１０１３にフローが流れて来た時にスタートする。
【０１５２】
ステップＳ１０３２では、ステップＳ１０１０で求まった画面内の特徴点のＸ方向の動きベクトルが所定値ａ（例えば１ｄｅｇ／ｓ）より大きいか否かを座標変換部１１５が判別する。小さい場合には、ステップＳ１０３３に進み、そうでないときはステップＳ１０３４に進む。
【０１５３】
ステップＳ１０３３では、動きベクトルの値をそのまま使用する。ここでは、ステップＳ１００５の様にステップＳ１００４で得られた動ベクトルに対して第１の特性のハイパスフィルタをかけることはしない。このように、動きベクトルの大きさが小さいときは、カメラのフレームワークは行われていないと判定してハイパスフィルタを用いず、被写体にロックした高精度の防振を可能としている。
【０１５４】
ステップＳ１０３４では、ステップＳ１０１０で求まったＸ方向の動きベクトルが所定値ｂ（例えば１５ｄｅｇ／ｓ）より大きいか否かを判別しており、小さい場合にはステップＳ１０３５に進み、そうでないときはステップＳ１０３６に進む。
【０１５５】
ステップＳ１０３５では、ステップＳ１０１０で得られた動きベクトルに対して図１０で示した第１の特性のハイパスフィルタをかける。
【０１５６】
すなわち、撮影段階においてもハイパスフィルタを用いてフレームワークを行いやすくするものの、被写体観察段階（この角速度のときは第２の特性のハイパスフィルタになっている）よりは防振精度を高める設定になっている。
もちろん、カメラワークを尊重して、被写体観察段階も撮影段階も同じ防振特性にしても良い。
【０１５７】
ステップＳ１０３６では、動きベクトルをゼロに設定してＸ方向の防振動作を行わせないようにする。そのために、撮影者は軽快にパン動作により被写体を追うことが出来る。このように、カメラがパン動作に入っている時には被写体観察段階も撮影段階も同じ特性にしている。
【０１５８】
次に、画面内の特徴点のＹ方向の動きベクトル判別についても、Ｘ方向の動きベクトルの判別と同様の手法により行う（ステップ１０３７から１０４１まで）。その後ステップ１０４２へ進む。
【０１５９】
ステップＳ１０４２では、求まった動きベクトルに基づいて座標変換を行う。
【０１６０】
ステップＳ１０４３では、メインのフローチャートに戻る。（ステップＳ１０１３に進む）
ステップＳ１０１４では、画像記憶部１１３に記憶された複数の画像を合成する。ここで、画像の合成は、各画像の対応する座標の信号を加算平均することで行い、画像内のランダムノイズは加算平均することで減少させられる。
【０１６１】
画像を合成することで露出の不足は補完されてゆくが、初めの画像では主被写体には照明部１６ａが照射され、既に露出は適正化している。そのために、画像を合成してゆくと、主被写体の領域は露出がオーバーとなる場合が考えられる。
【０１６２】
しかしながら、主被写体は自ら発光している訳ではなく、２枚目以降の撮影において、もっとも露出が不足している領域である。このことにより、照明部１６ａを使用しない２枚目以降の画像を１枚目の画像に合成しても主被写体の領域が露出がオーバーとはならない。ただし、１枚目の画像と２枚目以降の画像では、照明部の差が明らかなために、１枚目で照明部が照射されている領域の２枚目以降の画像のゲインを落とすことで、合成画像の露出オーバーを防ぐことも可能である。
【０１６３】
画像は、新たに取得された画像が入力されるたびに、順次前の画像に合成してゆく。すなわち、画像の取得を続行しながら画像の合成も同時進行で行っており、この合成タイミングについて、図１２のタイミングチャートを用いて説明する。
【０１６４】
図１２において、各露出ｆ１からｆ４（ｆ１は照明部１６ａを利用した露出）に対して、撮像部１９より光電変換された信号電荷が撮像信号として読み出され、撮像信号Ｆ２の読み出しと同時進行で、前の撮像信号Ｆ１と今回の信号Ｆ２の相関演算を行うことで特徴点の変化を求め、２つの画像信号Ｆ１、Ｆ２を合成し合成信号Ｃ２を得る。
【０１６５】
次に、撮像信号Ｆ３の読み出しと同時進行で、前回の合成信号Ｃ２と今回の信号Ｆ３の相関演算を行うことで特徴点の変化を求め、２つの画像信号Ｃ２、Ｆ３を合成し、合成信号Ｃ３を得る。
【０１６６】
次に、撮像信号Ｆ４の読み出しと同時進行で、前回の合成信号Ｃ３と今回の信号Ｆ４の相関演算を行うことで特徴点の変化を求め、２つの画像信号Ｃ３、Ｆ４を合成し合成信号Ｃ４を得る。
【０１６７】
この様なタイミングで撮影と同時に画像の合成を進めてゆく。
【０１６８】
ステップＳ１０１５では、ステップＳ１００３で設定されたフレーム数分の、画像の処理がすべて終了したか否かを判別しており、終了するまでステップＳ１００８に戻り処理を続行する。
【０１６９】
ステップＳ１０１６では、撮影完了の発音を発音駆動部１７ｂを介して、スピーカー１７ａで発音する。
【０１７０】
この音は、例えばピッピッ！という電子音でも良いし、フィルムカメラなどにおけるシャッタの閉じ音、ミラーダウン音やフィルム巻き上げ音でも良い。
【０１７１】
この様に、複数フレーム画像を取得する場合においても、その動作を表す発音は１セット（最初の画像を取得の露出開始と最後の画像を取得の露出完了との２回）なので、撮影者に、複数フレームの画像の取得の違和感を与える事はない。
【０１７２】
ステップＳ１０１７では、合成画像の中で重なっている部分（４フレームの合成なら４フレームとも重なっている領域）を画像切り出し範囲として設定し、その範囲が適正な縦横アスペクト比になる様に、画像切り出し範囲を調整した後に、図６の撮影段階の表示の様に求まる画像切り出し範囲が、表示画面の中央に位置する様に表示設定し、画像切り出し範囲外をマスク処理（マスク１３３）して、表示部１１８で表示を行う。
【０１７３】
ステップＳ１０１８では、画像合成部１１６は切り出された画像が所定の画像サイズになる様に、画像を拡散補完する。
【０１７４】
ステップＳ１０１９では、ステップＳ１０１８で拡散補完された画像を、例えば、半導体メモリなどで構成されており、カメラに対して着脱可能な記録媒体（記録部１１９）に記録する。また、このとき同時に記憶部１１３に記憶されていた第１画像も、記録部１１９に記録する。
【０１７５】
これにより、撮影者は画像合成され、主被写体も背景も露出が適正な画像と、背景は露出不足であるが、照明部１６ａにより主被写体は露出が適正な画像を選択できる。
【０１７６】
ステップＳ１０２０では、スタートに戻る。
【０１７７】
なお、ステップＳ１０２０の段階で、まだ継続してレリーズボタンの半押しｓｗ１操作が行われているときは、そのままステップＳ１００１、Ｓ１００２、Ｓ１００３、Ｓ１００４と再度フローを進めてゆく。また、ステップＳ１０２０の段階でレリーズボタンの押し切りｓｗ２が継続して操作されているときには、スタートに戻らずステップＳ１０２０で待機する。
【０１７８】
（第２実施形態）
本実施形態のカメラは、上述した第１実施形態におけるカメラの変形例である。
【０１７９】
ここで、本実施形態のカメラの構成は、第１実施形態（図１）で説明した構成とおおむね同様である。
【０１８０】
第１実施形態において、変位検出部１１４の特徴点の抽出領域は、取得された各画像の明るさを比較して、照明部１６ａの照明の照射が不十分な領域を特徴点として設定していた。しかし、特徴点の抽出領域は、照明の照射が不十分な領域に限られず、撮影画面（フレーム１２１ａ）内に設けられたフォーカスエリア以外を、特徴点の抽出領域としたり、現在ピントが合っている領域以外を、特徴点の抽出領域としたりすることもできる。
【０１８１】
これは、撮影するときには、主被写体（人物）をフォーカスエリアに重ねるため、特徴点を主被写体以外にするためには、フォーカスエリア以外の領域を特徴点抽出領域に設定すればよいからである。
【０１８２】
図１３は、取得画面内における特徴点の抽出領域を示した図であり、撮影画面（フレーム１２１ａ）内のフォーカスエリア１３１ａ、１３１ｂ、１３１ｃ、１３１ｄ、１３１ｅの中で、被写体を捕らえているフォーカスエリア１３０ｃに合焦している場合には、このフォーカスエリア１３０ｃを中心とする主被写体領域１３２を除く画面周辺領域１３０を特徴点抽出領域に設定する。すなわち、主被写体がフォーカスエリア１３１ａ、１３１ｂ、１３１ｃ、１３１ｄ、１３１ｅの中のいずれかのフォーカスエリアに位置しているかに応じて、主被写体領域１３２および特徴点抽出領域が変更される。
【０１８３】
そして、この特徴点抽出領域の中で適した像を特徴点として、この特徴点の座標に基づいて画像ごとの変位を補正して、画像合成するようにすれば好ましい画像合成が行える。
【０１８４】
以上説明したように本発明の第１実施形態および第２実施形態においては、被写体観察段階と撮影段階で、防振の特性を変更することで使いやすい防振システムを構築することができる。
【０１８５】
すなわち、振れを抑制する防振システムを有する撮影装置において、被写体観察段階では被写体の動きベクトル信号に基づいて、撮像素子からの信号読み出し周期で画像の切り出し位置（表示基準位置）を設定して得られた画像を表示し、撮影段階では被写体の動きベクトル信号に基づいて、画像切り出し位置（合成基準位置）を設定し、得られた複数の画像を合成して映像信号の露出を見かけ上補正し、撮影段階では合成した画像を表示するとともにその画像を記憶媒体に記録する構成となっている。
【０１８６】
そして、被写体観察段階では、変位検出部において第１の周波数特性（カメラのフレームワーク重視）で取得画面中の被写体の動きベクトル信号の低周波成分を除去し、画像切り出し位置を設定することにより、撮影者がフレームワークやパンなどの撮影動作を行った場合でも、軽快に被写体を追うことが可能となる。
【０１８７】
撮影段階では、変位検出部において、第２の周波数特性（防振精度重視）で、取得画面中の被写体の動きベクトル信号の低周波成分を除去し、画像切り出し位置を設定し、画像を合成して映像信号の露出を補正することにより、精度の高い振れ補正を行うことを可能としている。
また、撮影機器が、所定の速度以上の運動を行っているときは、運動を行っている方向にのみ、第２の周波数特性を第１の周波数特性に合わせることにより、撮影者の意図に応じた撮影を可能にしている。
【０１８８】
また、被写体観察段階と撮影段階では振れ補正のための画像切り出し面積を変更する構成にしており、被写体観察段階と撮影段階で画像切り出し面積を変更しても撮像画像を被写体観察段階も撮影段階も同一倍率で表示する。このことにより、被写体観察段階の表示画像と露出後の表示画像の倍率がそろうために、違和感の無い画像表示が可能となる。
【０１８９】
（第３実施形態）
本発明の第３実施形態であるカメラの構成は第１実施形態のカメラの構成と同様である。ただし、ハイパスフィルタの特性および画像の切り出し位置などの点で、第１の実施形態のカメラと第３の実施形態のカメラは相違する。
【０１９０】
図１４は防振システムがオンのときの撮影動作をまとめたフローチャートであり、このフローはカメラの電源がオンになったときにスタートする。
【０１９１】
ステップＳ１００１では、撮影者がレリーズボタンの半押し操作によりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【０１９２】
ステップＳ１００２では、撮像部１９において被写体を撮像する。撮影制御部１８は、信号処理部１１１からの出力に基づいて被写体像（撮影画像）のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。そして、最もコントラストが高くなった時点で、撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（いわゆる、山登り方式によるＡＦ）。なお位相差検出により焦点調節を行うこともできる。
【０１９３】
また、撮影制御部１８は、撮像部１９の出力に基づいて被写体の明るさを求める。
【０１９４】
ステップＳ１００３では、ステップＳ１００２で求めた被写体の明るさから取得するフレーム数を求める。その後、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に防振モード（複数回画像取得モード）が設定されたことを表示すると、同時に取得フレーム数を表示して撮影者に知らせる。
【０１９５】
ステップＳ１００４では、変位検出部１１４がフレーム内の抽出領域（例えば図２の建物１２３ａ）の中から特徴的な像を抽出し、その像の座標を求める。
【０１９６】
ステップＳ１００５では、変位検出部１１４がステップＳ１００４で求めた座標から、座標変換部１１５が画像の切り出し位置（表示基準位置）を算出する。
【０１９７】
ここで、被写体観察段階における動きベクトル信号は、ハイパスフィルタにより低周波の動きが除去されており、カメラのフレームワークを行いやすくしている。
【０１９８】
ステップＳ２００１では、表示部１１８に画像を表示する。このときの表示様式について図１５を用いて説明する。図左上は被写体観察段階の撮像状態を示しており、枠１２１ｆはあらかじめ設定された面積で、その位置はステップＳ１００５で求められている。なお、枠１２１ｆの位置は被写体観察中の手振れにより全画面（フレーム１２１ａ）の中を移動する。そして、大きな手振れが生じた時に枠１２１ｆが全画面（フレーム１２１ａ）からはみ出ることのない様に余裕を持って枠１２１ｆの面積を全画面より小さく設定している。
【０１９９】
図右上は、表示部１１８に表示される画像を表しており、枠１２１ｆで設定される領域が表示画面にそろうように画像の拡大表示が行われる。
【０２００】
ステップＳ１００７では、レリーズボタンを全押し操作によりｓｗ２がオンになるまで、被写体観察画像を表示しながら待機する。なお、この待機ステップ中にレリーズボタンの半押し操作が解除、すなわちｓｗ１がオフになるとスタートへ戻る。
【０２０１】
撮影制御部１１１で、１枚目の画像の取得であるかの判断を行う。１枚目である場合にはステップ１０１０に進む。１枚目でない場合にはステップ１００９へ進む。
【０２０２】
ステップ１００９では、照明部１６ａを発光させずに画像の取得を行い、ステップ２００２へ進む。
【０２０３】
ステップ１０１０では、照明部１６ａを発光させ画像の取得を行い、ステップ２００２へ進む。また、このとき同時に撮影開始の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。この音は例えばピッ！という電子音でも良いし、フィルムカメラなどにおけるシャッタの開き音、ミラーアップの音でも良い。
【０２０４】
ステップＳ２００２では、変位検出部１１４がフレームの周辺の領域（例えば図２の建物１２３ａ）の中から特徴的な像を抽出し、その像の座標を求める。
【０２０５】
更に、ステップＳ２００２では、照明部１６ａを用いて取得した第１フレームを記憶部１１３に一時的に記憶させておくとともに表示部１１８に表示する。
【０２０６】
ここで表示の倍率は被写体観察段階とは異なっている。このことを図１５を用いて説明する。
図１５において、図左下が撮影段階における取得画像の１枚であり、枠１２１ｇは被写体観察段階の枠１２１ｆより面積が広く設定されており、フレーム１２１ａに対してぎりぎりで余裕のない大きな画像切り出し面積にしている。
【０２０７】
これは、露出という短い時間の間に大きな振れが生ずる恐れがないためであり、画像切り出し面積を大きくして撮影画角に忠実な画像を得ることが出来る。
【０２０８】
表示方法は、図１５の右下の図の様に枠１２１ｇが表示画面一杯になる様に撮像画像を拡大して表示する。ここで、画像切り出し面積は被写体観察段階よりも広いために、その面積を表示画面とそろえると撮影段階の表示倍率は被写体観察段階よりも小さくなる。なお、画像切り出し面積は露出時間に応じて可変にし、露出時間が長いほど画像切り出し面積を狭くする（被写体観察時の画像切り出し面積に近づける）ようにしても良い。
【０２０９】
図１６は、画像切り出し面積の変化を示しており、被写体観察段階の取得画像の画像切り出し面積（切り出し画面１２１ｆ）に対して撮影段階の画像切り出し面積（切り出し画面２１）は広くなっている。
【０２１０】
ステップＳ２００２では、図１６のフレーム１２７の画像で露出が行われ、画像合成が終了するまで表示部１１８に表示される。
【０２１１】
ステップＳ２００３では、座標変換部１１５が各画像の座標変換を行う。
【０２１２】
また、この撮影段階における動きベクトルに基づく座標変換でも被写体観察段階と同様に、動きベクトル信号にハイパスフィルタの処理を行っている。
このハイパスフィルタの特性は、被写体観察段階のハイパスフィルタの特性よりは低周波の除去能力を弱めており、防振精度が高くなっている。
【０２１３】
しかし、第１実施形態のように撮影段階においては動きベクトル信号のハイパスフィルタ処理を止めてはいない。これは撮影段階からカメラのフレームワークを始める場合に対処したためである。
【０２１４】
もちろん、第１の実施例と同様に被写体観察段階からフレームワークを行っていること（カメラが運動している等）がわかっているときには、その大きさに合わせて、その運動方向のみハイパスフィルタの低周波除去能力を高めたり、あるいは動きベクトルを座標変換に反映させない様にすることも可能である。
【０２１５】
ステップＳ１０１２では、画像の合成を行う。
【０２１６】
ステップＳ１０１３では、ステップＳ１００３で設定されたフレーム数分の画像の処理がすべて終了したか否かを判別しており、終了するまでステップＳ１００８に戻り処理を続行する。
【０２１７】
ステップＳ１０１４では、撮影完了の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。
【０２１８】
ステップＳ２００４では、ステップＳ１０１２で合成した画像を表示部１１８に表示する。ここでも表示方法は図１５の右下の図の様に枠１２１ｇが表示画面一杯になる様に撮像画像を拡大して表示する。このステップＳ２００４で、ステップＳ２００２で表示されていた合成前の画像が、合成後の画像に切り替わる。これにより、撮影者は、画像合成後の画面をみることができ、露出の改善効果を知ることができる。
【０２１９】
ステップＳ１０１６では、切り出された画像が所定の画像サイズになる様に画像を拡散補完する。
【０２２０】
ステップＳ１０１７では、ステップＳ１０１６で、求まった画像を例えば半導体メモリなどでカメラに対して着脱可能な記録媒体（記録部１１９）に記録する。
【０２２１】
また、このとき同時に記憶部１１３に記憶されていた第１画像も記録部１１９に記録する。これにより、撮影者は画像合成され、主被写体も背景も露出が適正な画像と、背景は露出不足であるが、照明部１６ａにより主被写体は露出が適正な画像とを比較することができ、撮影者は、不図示の選択手段により、いずれかの画像を選択できる。
【０２２２】
ステップＳ１０１８ではスタートに戻る。
【０２２３】
以上説明したように、本発明の第３実施形態においては、画像観察段階だけではなく、撮影段階においても動きベクトル信号のハイパスフィルタ処理を止めてはいない。このことにより、撮影段階からカメラのフレームワークを始める場合にも、フレームワークを行いやすくしている。
【０２２４】
そして、撮影段階の画像切り出し面積は被写体観察段階より広くする。このことにより、画像切り出し面積を大きくして撮影画角に忠実な画像を得ることが出来る。
【０２２５】
（第４実施形態）
第１、２、３の実施形態においては、被写体観察段階では振れ補正は行っているものの、画像合成による露出の補完を行っていない。
【０２２６】
一般的に、被写体観察段階における取得間隔は１／３０秒程度であり、各撮像の露出時間は１／６０秒か、それより短く設定されている。
【０２２７】
そのために、低輝度の被写体においては、かなり露出不足になっており、暗い表示しか出来ない。そして、表示を明るくするために、撮像時あるいはその後の信号処理の時に、撮像信号をかなりゲインアップしている。そのために、夜景の撮影などでは、ノイズの多い見苦しい表示画像になってしまうという問題がある。
【０２２８】
本発明の第４実施形態においては、被写体観察段階の撮影露出を出来るだけ適正にすることを考えており、従来どおり手振れの発生が気にならない露出時間（例えば１／６０秒）で画像の取得を繰り返し、それらを合成して露出を補完して表示する構成にしている。
【０２２９】
もちろん、その場合には各撮影の露出時間が長くなってしまうために表示の間隔も長くなり、動体を観察するのには適していないが、ノイズが問題になるほど暗い状況で動体を観察することはまれであり、それよりも表示のノイズ減少を図ることを優先している。
【０２３０】
そして、被写体の明るさに応じて被写体観察段階における撮像の方法を今までどおりの、通常撮像方法と画像合成撮像方法に切り替えるように構成して、表示間隔の問題と撮像ノイズの問題を両立している。
更に、被写体観察段階において、複数フレームの画像を合成して露出を補完する場合、合成画像の間では動きベクトルに応じて、画像の切り出し位置（合成基準位置）を変えて、手振れの抑制を図っている。このときは、動きベクトル信号に対してハイパスフィルタを使用せずに高精度の防振を行っているが、次の合成画像の表示との画像の接合時には、ハイパスフィルタを使用してフレームワークを行いやすくしている。
つまり、表示される画像に対しては、ハイパスフィルタを使用してカメラの取扱いを向上させ、表示画像を作り出すための複数の画像の取得時にはハイパスフィルタを使用せず防振精度を高めている。以上の内容を図１７を用いて説明する。
【０２３１】
図１７における図上部の３グループの画像はそれぞれ４フレームの画像（フレーム３１ａからフレーム３３ｄ）で構成されており、各画像の露出時間は例えば１／６０秒である。なお、焦点距離が長い場合にはより短い露出時間にして（１３５ｍｍフィルム換算で３００ｍｍの場合には１／３００秒で撮影）各画像の手振れを抑えることも可能である。
【０２３２】
初めに、フレーム３１ａからフレーム３１ｄの各４フレームの画像は各画像間の手振れを動きベクトルを検出することで画像の切り出し位置（合成基準位置）を設定し、それらを合成して１フレームの画像にして表示する。（フレーム３１）
ここで、撮影被写体が暗いほど、その露出を補完する目的で、合成するための取得フレーム数は多くなるが、むやみに取得フレーム数を増やすと表示間隔が長くなり使いにくいカメラになってしまう。そのために露出補完の目的とはいえ、ある程度の合成フレーム数（例えば４フレーム）で画像の取得は止め、その後の露出不足に関しては撮像信号のゲインアップで対処している。暗い被写体では幾分ノイズの多い画像にはなるが、従来の表示方法よりはかなりノイズの少ない画像の表示が可能である。
そして、これらの合成基準位置を設定する際には、その基準位置を被写体にロックし、また、動きベクトル信号をハイパスフィルタで処理しないことにより高い防振精度を用いる。
【０２３３】
合成された画像は表示部１１８に表示される。
【０２３４】
表示中には、次に表示する画像（フレーム３２）を合成（フレーム３２ａからフレーム３２ｄを用いる）している。これらの画像の合成段階でも、動きベクトル信号をハイパスフィルタで処理せず、被写体にロックした高い防振精度を用いる。
【０２３５】
しかし、フレーム３１に続けてフレーム３２を表示するとき、その２画像の動きベクトルを検出し、フレーム３２の画像の切り出し位置（表示基準位置）を設定するときには、動きベクトル信号をハイパスフィルタで処理することでカメラのフレームワークを行いやすくしている。
【０２３６】
同様に、フレーム３３の画像に関しても、フレーム３２の画像表示中に合成（フレーム３３ａからフレーム３３ｄを用いる）している。これらの画像の合成段階でも動きベクトル信号をハイパスフィルタで処理せず、被写体にロックした高い防振精度を用いる。
【０２３７】
そして、フレーム３２に続けてフレーム３３を表示するとき、その２画像の動きベクトルを検出し、フレーム３３の画像の切り出し位置（表示基準位置）を設定するときには、動きベクトル信号をハイパスフィルタで処理することでカメラのフレームワークを行いやすくしている。
【０２３８】
このようにして露出が補完されることにより、高い防振精度の画像表示を続けることができ、同時にカメラのフレームワークを行いやすくしている。
【０２３９】
もちろん、第１、第２の実施例と同様に、カメラの運動（フレームワーク）の量に応じて、各表示画像間のハイパスフィルタの低周波除去能力を変更して、カメラを使いやすくしている。
【０２４０】
そして、撮影段階では第１、第２の実施例と同じように被写体の明るさ、レンズの明るさ、撮像感度、焦点距離に合わせて露出時間と取得フレーム数を設定し、撮影後の画像を合成して適正な露出の１フレームの画像にする（フレーム３６）。
【０２４１】
図１８は、上述した動作をまとめたフローチャートであり、このフローはカメラの電源がオンになったときにスタートする。
【０２４２】
ステップＳ１００１では撮影者がレリーズボタンの半押し操作によりｓｗ１がオンになるまで待機し、ｓｗ１がオンになるとステップＳ１００２に進む。
【０２４３】
ステップＳ１００２では撮像部１９において被写体を撮像する。撮影制御部１８は、信号処理部１１１からの出力に基づいて被写体像（撮影画像）のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。そして、最もコントラストが高くなった時点で、撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（いわゆる、山登り方式によるＡＦ）。なお位相差検出により焦点調節を行うこともできる。
【０２４４】
また、撮影制御部１８は、撮像部１９の出力に基づいて被写体の明るさを求める。
【０２４５】
ステップＳ１００３では、撮影制御部１８は、ステップＳ１００２で求めた被写体の明るさ等の撮影条件から取得するフレーム数と各々の露出時間を求める。
【０２４６】
以上の計算が終了した後で、カメラのファインダ内に設けられた表示部やカメラの外装に設けられた液晶表示部に、防振モード（複数回画像取得モード）が設定されたことを表示すると、同時に取得フレーム数を表示して撮影者に知らせる。
【０２４７】
ステップＳ１００４では、変位検出部１１４がフレーム内の抽出領域（例えば図２の建物１２３ａ）の中から特徴的な像を抽出し、その像の座標を求める。
ステップＳ３００１では、撮影制御部１８はステップＳ１００３で求めた撮影条件から画像合成して画像表示を行うか否かを判別している。ここで、画像合成を行う場合には、例えば望遠撮影の場合では、露出時間を短くして（例えば１／３００秒に設定する）手振れを防ぎ、その代わりに複数回画像を取得したのち、画像を合成して露出を補完するか、あるいは被写体が非常に暗い場合は露出時間は現状（１／６０秒）のままで、複数回画像を取得した後、画像を合成して露出を補完する。
【０２４８】
そして、望遠撮影ではない場合や被写体が暗くない場合には、画像合成する必要が無いために、通常どおり１回の取得画像をその都度表示する。
【０２４９】
ステップＳ３００１で、画像合成表示の必要があると判断された時にはステップＳ３００２に進み、そうでない時にはステップＳ１００５に進む。
ステップＳ１００５では、座標変換部１１５はステップＳ１００４で求めた座標から画像の切り出し位置（表示基準位置）を算出する。このとき、画像の切り出し位置は、ステップＳ１００４で求めた動きベクトルに基づく訳であるが、カメラのフレームワークを考慮して動きベクトル信号の低周波成分を除去（ハイパスフィルタを通す）した信号で切り出し位置（表示基準位置）を設定する。
【０２５０】
ステップＳ２００１では、表示部１１８に画像を表示する。このときの表示様式は、第３実施形態と同様であり、画像切り出し設定のされる領域が表示画面にそろうように画像の拡大表示が行われる。
【０２５１】
ステップＳ３００２では、取得された画像が表示のために合成される画像のなかで、初めの１枚目か否かを判定しており、初めの１枚目の場合にはステップＳ３００３に進み、そうでない時にはステップＳ３００４に進む。
【０２５２】
ステップＳ３００３では、前に表示を行った合成画像との関連からの動きベクトルに基づいて画像の切り出し位置（表示基準位置）を算出する。
【０２５３】
このときの画像切り出し位置は、動きベクトルに基づく訳であるが、カメラのフレームワークを行いやすくするために動きベクトル信号に対しハイパスフィルタを使用して、画像切り出し位置（表示基準位置）を設定する。画像切り出し位置設定後ステップＳ３００６に進む。
【０２５４】
ステップＳ３００４ではステップＳ３００３で求まった１枚目の画像の切り出し位置（表示基準位置）に対する現画像の動きベクトルから、画像切り出し位置（合成基準位置）を算出する。このときの画像の切り出し位置は画像合成を目的としているために、カメラのフレームワークを考慮しないで動きベクトル信号に対しハイパスフィルタを使用しないで、画像切り出し位置（合成基準位置）を設定する。
【０２５５】
ステップＳ３００５では、画像合成部１１６で合成基準位置を得られた画像を、順次重ね合わせて画像の合成を行う。
【０２５６】
ステップＳ３００６では露出補完に必要なフレーム数の撮影が行われたか否かを判定しており、撮影完了の場合はステップＳ２００１に進み、そうでない時はステップＳ１００２に戻り次の撮影を行う。
【０２５７】
ここで画像合成フレーム数に関して説明する。今までの例では、１／１０秒の露出を１／６０秒で得るためには６フレームの画像を取得し、それらを合成して適性露出にしていた。
【０２５８】
しかしながら、被写体観察中に動画を表示する場合には、そのような構成にすると表示間隔が長くなってしまい、見にくい動画像になってしまう。
【０２５９】
そのために、被写体観察段階においては、むやみに適正露出にこだわらず、１／１０秒の露出時間に場合には１／６０秒で３フレーム取得し合成することで露出を補完し、なお露出が不足する分は画像信号のゲインアップで補っている。
【０２６０】
ステップＳ２００１では表示部１１８に合成した画像を表示する。このときの表示方式は第３実施形態と同様であり切り出し設定される領域が表示画面にそろうように画像の拡大表示が行われる。
【０２６１】
ステップＳ１００７では、レリーズボタンの全押し操作によりｓｗ２がオンになるまで待機する。なお、この待機ステップ中にレリーズボタンの半押し操作が解除、すなわちｓｗ１がオフになるとスタートに戻る。
【０２６２】
ここで、ステップＳ１００１に戻る場合について説明を補足する。ステップＳ１００１に戻ると、再度表示のための画像の取得を始める訳であるが、このとき、ステップＳ３００３にフローが流れた場合（画像合成表示を行う撮影条件）、ステップＳ３００３では、画像が始めの１枚目か否かを判断していた。
合成のため画像が、２枚目以降の場合には、前述したように画像の切り出し位置は画像合成を目的としているために、カメラのフレームワークを考慮しないで動きベクトルに対し、ハイパスフィルタを使用しない信号で画像切り出し位置（合成基準位置）を設定する。
しかし、合成のための画像が１枚目の場合には前に表示した画像との関連については、動きベクトルとハイパスフィルタに基づいて画像切り出し位置を設定している。図１７においてフレーム３１ａ〜３１ｄの切り出し位置設定ではハイパスフィルタを使用せず、フレーム３１ｄと３２ａの間の切り出し位置設定ではハイパスフィルタを使用する。同様にフレーム３２ａ〜３２ｄの切り出し位置設定ではハイパスフィルタを使用せず、フレーム３２ｄと３３ａの間の切り出し位置設定ではハイパスフィルタを使用する。
【０２６３】
このように、画像合成を始める一番初めの撮影画像とその前の表示画像の間の関係のみ動きベクトル信号の低周波を除去して表示設定する。
【０２６４】
ステップＳ１００８では、撮影を開始する。
【０２６５】
第１実施形態と同様に１枚目の撮影のみ照明部１６ａを用いて撮影する。また、この時同時に撮影開始の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。撮影が完了するとステップＳ２００２に進む。
【０２６６】
ステップＳ２００２では変位検出部１１４が画像の周辺領域（例えば図２の建物１２３ａ）の中から特徴的な像を抽出し、その像の座標を求める。
【０２６７】
更にステップＳ２００２では照明部１６ａを用いて撮影した第１フレームを記憶部１１３に一時的に記憶させておくとともに表示部１１８に表示する。
【０２６８】
ステップＳ１０１１では座標変換部１１５が各画像の座標変換を行う。
【０２６９】
また、この撮影段階における動きベクトルに基づく座標変換では被写体観察段階とは異なり動きベクトルにハイパスフィルタの処理を行わないで高精度の防振を得ている。
【０２７０】
ステップＳ１０１２では画像の合成を行う。
【０２７１】
ステップＳ１０１３ではステップＳ１００３で求められた全画像がすべて終了したか否かを判別しており、終了するまでステップＳ１００８に戻り２枚目、３枚目の画像の取得を続行する。ここで画像の合成はステップＳ３００６の様に合成フレーム数より表示レスポンスを優先する事はせず、画像が適正な露出になるまで画像合成を続ける。
【０２７２】
ステップＳ１０１４では撮影完了の発音を発音駆動部１７ｂを介してスピーカー１７ａで発音する。
【０２７３】
ステップＳ２００４では、ステップＳ１０１２で合成した画像を表示部１１８に表示する。このステップＳ２００４によりステップＳ２００２で表示されていた合成前の画像が合成後の画像に切り替わる。これにより撮影者は露出の改善効果を知ることが出来る。
【０２７４】
ステップＳ１０１６では、切り出された画像が所定の画像サイズになる様に画像を拡散補完する。
【０２７５】
ステップＳ１０１７ではステップＳ１０１６で求まった画像を、例えば半導体メモリなどでカメラに対して着脱可能な記録媒体に記録する。また、このとき同時に記憶部１１３に記憶されていた第１画像も記録部１１９に記録する。これにより撮影者は画像合成され、主被写体も背景も露出が適正な画像と、背景は露出不足であるが、照明部１６ａにより主被写体は露出が適正な画像を選択できる。
【０２７６】
ステップＳ１０１８ではスタートに戻る。
【０２７７】
以上説明したように本発明の第４実施形態においては、被写体観察中の表示画像の品位向上も実現しており、特に被写体観察中の防振特性を画像合成のための区間と動画として次の画像を取り込む区間で異ならせることで防振精度の向上とカメラの使用感向上を両立させている。
【０２７８】
つまり、複数画像の合成を周期的に実行する撮影機器において、周期内における複数画像取り込み時の変位検出特性と周期ごとの変位検出特性を異ならせる様にしている。そして周期ごとの変位検出特性では検出される振れ信号の中で低周波の振れ信号を減衰させ、周期内における変位検出特性においては検出される変位信号の中で低周波の変位信号を減衰させないように構成することで防振精度の向上とカメラの使用感向上を両立させている。
【０２７９】
（第５実施形態）
第４実施形態に係る発明は、デジタルカメラばかりでなく、ビデオカメラにおいても用いることができる。ただし、ビデオカメラにおける撮影周期は、鑑賞機器との間で制約があるために被写体が暗い場合でも撮影周期を長くすることは出来ない。
【０２８０】
しかし、望遠撮影などの撮影条件で、通常の１／６０秒の露出時間では手振れが生じやすい。そこで、露出時間を手振れが生じない程度に短くして、それらを複数フレームの画像を取得し、特徴点を合わせて合成して露出を補完して表示することで、表示品位を向上させる事ができる。そして、画像合成時の防振特性と動画作成時の防振特性を変える事で防振効果とカメラの使用感向上を両立できる。
【０２８１】
以上の内容を図１９を用いて説明する。なお、ビデオカメラの装置構成は図１の第１実施形態のカメラの構成と概ね同様である。
【０２８２】
図１９における図上部の３グループの画像はそれぞれ４フレームの画像（フレーム３６ａからフレーム３８ｄ）で構成されており、各画像の露出時間は例えば１／３００秒である。これは、撮影時のビデオカメラの焦点距離が１３５銀塩フィルム換算３００ｍｍであり、その時の手振れによる画像劣化が生じない様にするために、焦点距離分の１の露出時間に設定したためである。
【０２８３】
初めに、フレーム３６ａからフレーム３６ｄの各４フレームの画像は、各画像間の手振れを動きベクトルを検出することで画像の切り出し位置（合成基準位置）を設定し、それらを合成して１枚の画像にして表示する。（フレーム３６）
ここで、撮影被写体が暗いほど、その露出を補完する目的で、合成するための取得フレーム数は多くなるが、むやみに取得フレーム数を増やすと表示間隔が長くなり使いにくいカメラになってしまう。そのために、露出を補完する目的とはいえ、ある程度の合成フレーム数（例えば４フレーム）で画像の取得は止め、その後の露出不足に関しては撮像信号のゲインアップで対処している。暗い被写体では幾分ノイズの多い画像にはなるが、従来の表示方法よりは、ノイズの少ない画像の表示が可能である。
【０２８４】
そして、これらの合成基準位置を設定する際には、第４実施形態とは異なり、各画像間の手振れによる動きベクトル信号をハイパスフィルタで処理を行っている。これは、表示の切り替わりを滑らかにするためにはカメラのフレームワークの低周波成分をある程度残しておいたほうが自然な画像となるからである。
そのために、動きベクトル信号に関しては、図１０で示した１３５ａのボード線図の周波数ｆ１より低い周波数の時定数の大きい（低周波除去能力の小さい）ハイパスフィルタを用いている。
【０２８５】
合成された画像は表示部１１８に表示される。画像を表示している間には、次に表示する画像（フレーム３７）を合成（フレーム３７ａからフレーム３７ｄを用いる）している。これらの画像の合成段階でも動きベクトル信号をハイパスフィルタで処理している。
【０２８６】
フレーム３６に続けてフレーム３７を表示するときは、その２画像の動きベクトルを検出し、フレーム３７の画像の切り出し位置（表示基準位置）を設定するときには、動きベクトル信号をハイパスフィルタで処理することでカメラのフレームワークを行いやすくしている。
【０２８７】
このときのハイパスフィルタの特性は、図１０で示した１３５ｂのボード線図の様に周波数ｆ２より低い周波数の手振れ成分を除去する時定数の小さい（低周波除去能力の大きい）ハイパスフィルタを用いている。
【０２８８】
同様に、フレーム３８の画像に関しても、フレーム３７の画像の表示中に合成（フレーム３８ａからフレーム３８ｄを用いる）している。これらの画像の合成段階でも動きベクトル信号をハイパスフィルタで処理している。
【０２８９】
そして、フレーム３７に続けてフレーム３８を表示するとき、その２画像の動きベクトルを検出し、フレーム３８の画像の切り出し位置（表示基準位置）を設定するときには、動きベクトル信号をハイパスフィルタで処理することで、カメラのフレームワークを行いやすくしている。
【０２９０】
このときのハイパスフィルタの特性は、図１０で示した１３５ｂのボード線図の様に周波数ｆ２より低い周波数の手振れ成分を除去する時定数の小さい（低周波除去能力の大きい）ハイパスフィルタを用いている。
【０２９１】
このようにして、露出が補完され、かつ高い防振精度の画像表示を続けることができ、かつカメラのフレームワークを行いやすくしている。もちろん、第１、２、３の実施形態と同様にカメラの運動（フレームワーク）の量に応じて各表示画像間のハイパスフィルタの低周波除去能力を変更して、カメラを使いやすくすることも可能である。
【０２９２】
図２０は防振システムオンの時の撮影動作をまとめたフローチャートであり、このフローはカメラの電源がオンになったときにスタートする。
【０２９３】
ステップＳ４００１では、撮影者が不図示の録画ボタンをオンするまで待機し、録画ボタンがオンされると、ステップＳ１００２に進む。なお、ここで録画ボタンではなく録画準備動作でステップＳ１００２に進んでも良い。
【０２９４】
ステップＳ１００２では、撮像部１９において被写体を撮像する。撮影制御部１８は、信号処理部１１１からの出力に基づいて被写体像（撮影画像）のコントラストを検出しながら、ＡＦ駆動モータ１４ａを駆動して撮影レンズ１１を光軸方向に移動させる。そして、もっともコントラストが高くなった時点で、撮影レンズ１１の駆動を停止させることにより撮影光学系を合焦状態とする（いわゆる、山登り方式によるＡＦ）。なお位相差検出により焦点調節を行うこともできる。
【０２９５】
また、撮影制御部１８は、撮像部１９の出力に基づいて被写体の明るさを求める。
【０２９６】
ステップＳ４００２では、ステップＳ１００２で求めた被写体の明るさ等の撮影条件から取得するフレーム数と各々の露出時間を求める。
【０２９７】
ステップＳ１００４では、変位検出部１１４が画像の周辺領域（例えば図２の建物１２３ａ）の中から特徴的な像を抽出し、その像の座標を求める。
【０２９８】
ステップＳ３００１では、ステップＳ４００２で求めた撮影条件から画像を合成して、画像表示を行うか否かを判別している。画像の合成を行う場合とは、例えば望遠撮影の場合であり、露出時間を短くして（例えば１／３００秒に設定する）手振れを防ぎ、その代わりに複数回の画像の取得をし、画像を合成して露出を補完する場合である。そして、望遠撮影等ではない場合には、画像を合成して表示を行う必要が無いために通常どおり１回の取得画像をその都度表示する。ステップＳ３００１で、画像合成表示の必要があると判断された時にはステップＳ３００２に進み、そうでない時にはステップＳ１００５に進む。
【０２９９】
ステップＳ１００５では、座標変換部１１５でステップＳ１００４で求めた座標から画像の切り出し位置（表示基準位置）を算出する。このときの、画像の切り出し位置は、ステップＳ１００４で求めた動きベクトルに基づく訳であるが、カメラのフレームワークを考慮して、動きベクトル信号の低周波成分を除去（ハイパスフィルタを通す）した信号で切り出し位置（表示基準位置）を設定する。その後ステップＳ２００１へ進む。
【０３００】
ステップＳ３００２では、座標変換部１１５は撮影された画像が、表示のために合成される画像のなかで、最初の１枚目か否かを判定している。最初の１枚目の場合にはステップＳ３００３に進み、そうでない時にはステップＳ４００３に進む。
【０３０１】
ステップＳ３００３では、座標変換部１１５は、前に表示を行った合成画像の画像切り出し位置からの動きベクトルに基づいて、最初の１枚目の画像の切り出し位置（表示基準位置）を算出する。
【０３０２】
このときの画像の切り出し位置は、動きベクトルに基づく訳であるが、カメラのフレームワークを行いやすくするために、動きベクトル信号に対しハイパスフィルタを使用して切り出し位置（表示基準位置）を設定する。ハイパスフィルタの設定は図１０の特性１３５ｂの様に周波数ｆ２より低い周波数を除去するようにして、カメラのフレームワークを行いやすくしている。切り出し位置設定後ステップＳ３００６に進む。
【０３０３】
ステップＳ４００３では、座標変換部１１５はステップＳ３００３で求まった１枚目の画像の切り出し位置（表示基準位置）に対する現画像の動きベクトルから、画像切り出し位置（合成基準位置）を算出する。このときの画像の切り出し位置は、画像合成を目的としているが動画間のつながりが自然に見える様に、画像合成間も動きベクトル信号に対しハイパスフィルタを使用して画像切り出し位置（合成基準位置）を設定する。このハイパスフィルタの設定は、図１０の特性１３５ａの様に周波数ｆ１より低い周波数を除去するようにして、ゆっくりとしたフレームワーク成分に対しては追従する様にしている。
【０３０４】
ステップＳ３００５では、合成基準位置を得られた画像を、順次合成してゆく。
【０３０５】
ステップＳ３００６では、露出補完に必要なフレーム数の画像の取得が行われたか否かを判定しており、取得が行われた場合はステップＳ２００１に進み、そうでない時はステップＳ１００２に戻り、次の画像の取得を行う。
【０３０６】
ステップＳ２００１では、表示部１１８に合成した画像を表示する。このときの表示様式は第３実施形態と同様であり、切り出し設定される領域が表示画面にそろう様に画像の拡大表示が行われる。
【０３０７】
画像表示後ステップＳ１００１に戻り録画動作を繰り返す。
【０３０８】
以上説明したように本発明の第５実施形態においては、ビデオにおける望遠撮影の場合の表示画像の品位向上を実現しており、特に防振特性を画像合成のための区間と、動画として次の画像を取り込む区間で異ならせることで、防振精度の向上とカメラの使用感向上を両立させている。
【０３０９】
なお、本実施形態では表示基準位置を、取得するフレームの最初の１枚目を基準としているが、取得するフレーム数内であれば例えば２枚目、３枚目の画像を基準とすることも可能である。
【０３１０】
以上説明した各実施形態は一例であり、本発明は上記各実施形態に様々な変更や改良が加えられて実施されるものである。
【０３１１】
【発明の効果】
本発明によれば、振れが無く安定した合成画像を順次、表示させたり、記録させたりすることができるとともに、合成画像間の切り替わりを滑らかにすることができる。
【図面の簡単な説明】
【図１】本発明の第１実施形態であるカメラのブロック図。
【図２】本発明の第１実施形態における座標変換説明図。
【図３】本発明の第１実施形態における特徴点抽出領域の説明図。
【図４】本発明の第１実施形態における画像合成の説明図。
【図５】本発明の第１実施形態における撮影される画像状態の説明図。
【図６】本発明の第１実施形態における画像表示の説明図。
【図７】本発明の第１実施形態における撮影動作を示すフローチャート。
【図８】本発明の第１実施形態におけるハイパスフィルタの作用を示すサブルーチン。
【図９】本発明の第１実施形態における防振特性の方向の説明図。
【図１０】本発明の第１実施形態における防振特性を定めるボード線図。
【図１１】本発明の第１実施形態におけるハイパスフィルタの作用を示すサブルーチン。
【図１２】本発明の第１実施形態における撮影処理動作を示すタイミングチャート。
【図１３】本発明の第２実施形態における特徴点抽出領域の説明図。
【図１４】本発明の第３実施形態における撮影動作を示すフローチャート。
【図１５】本発明の第３実施形態における画像表示の説明図。
【図１６】本発明の第３実施形態における撮影される画像状態の説明図。
【図１７】本発明の第４実施形態における防振特性の説明図。
【図１８】本発明の第４実施形態における撮影動作を示すフローチャート。
【図１９】本発明の第５実施形態における防振特性の説明図。
【図２０】本発明の第５実施形態における撮影動作を示すフローチャート。
【符号の説明】
１０ ：光軸
１１ ：レンズ
１２ａ：シャッタ
１２ｂ：シャッタ駆動部
１３ａ：絞り
１３ｂ：絞り駆動部
１４ａ：ＡＦ駆動モータ
１４ｂ：焦点駆動部
１５ａ：ズーム駆動モータ
１５ｂ：ズーム駆動部
１６ａ：照明部
１６ｂ：照明駆動部
１７ａ：発音部
１７ｂ：発音駆動部
１８ ：撮影制御部
１９ ：撮像部
１１０ ：Ａ／Ｄ変換部
１１１ ：信号処理部
１１２ ：信号切替部
１１３ ：画像記憶部
１１４ ：変位検出部
１１５ ：座標変換部
１１６ ：画像合成部
１１７ ：画像補正部
１１８ ：表示部
１１９ ：記録部
１２０ ：防振操作部
１２１ａ：フレーム
１２２ａ：人物
１２３ａ：建物
１２４ａ：窓
１２５ａ：特徴点
１２６ ：座標変換方向（量）
１２７ ：第１フレーム
１２８ ：第２のフレーム群
１２９ ：２枚の画像が重ならない領域
１３０ ：表示画面
１３１ａ：マスク
１３１ｂ：マスク
１３２ ：はみ出し領域
１３３ ：マスク
Claims (2)
- 被写体像を光電変換する撮像素子を有し、該撮像素子からの出力信号により、順次取得した複数の画像を合成して合成画像を得る撮像装置であって、
前記各画像における特徴点を抽出し、基準画像上での特徴点に対する他の画像上での特徴点の変位量を検出する変位検出手段と、
前記変位検出手段の検出結果に基づいて、前記他の画像が前記基準画像に重なるように前記他の画像に対して座標変換を行う座標変換手段と、
前記基準画像および前記座標変換手段で座標変換された他の画像を合成して合成画像を生成する合成手段と、
前記合成画像を表示する表示手段と、
前記合成画像を記録する記録手段とを有し、
前記撮像装置は、前記合成画像を所定の周期で順次、前記表示手段に表示する動作及び、前記合成画像を所定の周期で順次、前記記録手段に記録する動作のうち少なくとも一方の動作を行い、
前記変位検出手段は、前回の周期で合成された合成画像に対する今回の周期で合成された合成画像の変位量に応じた変位信号を生成し、前記座標変換手段は、該合成画像間の変位信号のうち、第１の周波数以上の周波数成分を通過させるハイパスフィルタを介して得られた信号に基づいて合成画像の座標変換を行い、
前記合成画像の生成に用いられる一周期内の複数の画像に関しては、前記変位検出手段は、画像間の変位量に応じた変位信号を生成し、前記座標変換手段は、該画像間の変位信号のうち、前記第１の周波数よりも低い第２の周波数以上の周波数成分を通過させるハイパスフィルタを介して得られた信号に基づいて座標変換を行うことを特徴とする撮像装置。 - 被写体像を光電変換する撮像素子からの出力信号により、順次取得した複数の画像を合成して合成画像を得る撮像装置の制御方法であって、
前記各画像における特徴点を抽出し、基準画像上での特徴点に対する他の画像上での特徴点の変位量を検出する変位検出ステップと、
前記変位検出ステップでの検出結果に基づいて、前記他の画像が前記基準画像に重なるように前記他の画像に対して座標変換を行う座標変換ステップと、
前記基準画像および前記座標変換ステップで座標変換された他の画像を合成して合成画像を生成する合成ステップと、
前記合成画像を所定の周期で順次、表示部に表示する表示ステップと、
前記合成画像を所定の周期で順次、記録部に記録する記録ステップとを有し、
前記表示ステップ及び前記記録ステップのうち少なくとも一方の処理を行い、
前記変位検出ステップにおいて、前回の周期で合成された合成画像に対する今回の周期で合成された合成画像の変位量に応じた変位信号を生成し、前記座標変換ステップにおいて、該合成画像間の変位信号のうち、第１の周波数以上の周波数成分を通過させるハイパスフィルタを介して得られた信号に基づいて合成画像の座標変換を行い、
前記合成画像の生成に用いられる一周期内の複数の画像に関しては、前記変位検出ステップにおいて、画像間の変位量に応じた変位信号を生成し、前記座標変換ステップにおいて、該画像間の変位信号のうち、前記第１の周波数よりも低い第２の周波数以上の周波数成分を通過させるハイパスフィルタを介して得られた信号に基づいて座標変換を行うことを特徴とする制御方法。
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003153176A JP4181923B2 (ja) | 2003-05-29 | 2003-05-29 | 撮像装置および撮像装置の制御方法 |
| US10/852,503 US7180043B2 (en) | 2003-05-29 | 2004-05-24 | Image taking apparatus |
| CNB200410046212XA CN100413320C (zh) | 2003-05-29 | 2004-05-31 | 图像摄取装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003153176A JP4181923B2 (ja) | 2003-05-29 | 2003-05-29 | 撮像装置および撮像装置の制御方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2004357040A JP2004357040A (ja) | 2004-12-16 |
| JP2004357040A5 JP2004357040A5 (ja) | 2006-07-06 |
| JP4181923B2 true JP4181923B2 (ja) | 2008-11-19 |
Family
ID=33447822
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003153176A Expired - Fee Related JP4181923B2 (ja) | 2003-05-29 | 2003-05-29 | 撮像装置および撮像装置の制御方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US7180043B2 (ja) |
| JP (1) | JP4181923B2 (ja) |
| CN (1) | CN100413320C (ja) |
Families Citing this family (52)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101431684B (zh) | 2003-06-23 | 2013-10-23 | 索尼株式会社 | 处理图像的方法和设备 |
| US8331723B2 (en) | 2004-03-25 | 2012-12-11 | Ozluturk Fatih M | Method and apparatus to correct digital image blur due to motion of subject or imaging device |
| US9215363B2 (en) * | 2004-09-29 | 2015-12-15 | Hewlett-Packard Development Company, L.P. | Implementing autofocus in an image capture device while compensating for movement |
| JP4533119B2 (ja) * | 2004-12-13 | 2010-09-01 | キヤノン株式会社 | 撮像装置及び撮像装置の画像表示方法 |
| JP4487191B2 (ja) | 2004-12-24 | 2010-06-23 | カシオ計算機株式会社 | 画像処理装置および画像処理プログラム |
| WO2006082967A1 (ja) | 2005-02-07 | 2006-08-10 | Matsushita Electric Industrial Co., Ltd. | 撮像装置 |
| JP4756892B2 (ja) * | 2005-04-01 | 2011-08-24 | キヤノン株式会社 | 画像処理装置 |
| JP2006345472A (ja) * | 2005-05-13 | 2006-12-21 | Sanyo Electric Co Ltd | 画像信号処理装置、それを備えた撮像装置及び画像信号処理方法 |
| JP4680992B2 (ja) * | 2005-05-25 | 2011-05-11 | パナソニック株式会社 | 撮像装置、表示制御装置、印刷制御装置、および印刷装置 |
| JP4595733B2 (ja) | 2005-08-02 | 2010-12-08 | カシオ計算機株式会社 | 画像処理装置 |
| JP4636979B2 (ja) * | 2005-09-09 | 2011-02-23 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP4708479B2 (ja) * | 2005-09-14 | 2011-06-22 | ノキア コーポレイション | 動き主導のマルチショット画像安定化を実現するためのシステム及び方法 |
| JP4307430B2 (ja) * | 2005-09-22 | 2009-08-05 | 三洋電機株式会社 | 手ぶれ検出装置 |
| US7509038B2 (en) * | 2005-09-29 | 2009-03-24 | Seiko Epson Corporation | Determining maximum exposure time to limit motion blur during image capture |
| US20070097221A1 (en) * | 2005-10-28 | 2007-05-03 | Stavely Donald J | Systems and methods of exposure restart for cameras |
| JP4341613B2 (ja) * | 2005-11-29 | 2009-10-07 | セイコーエプソン株式会社 | 制御装置、撮影装置、撮影装置の制御方法、および、制御プログラム |
| WO2007069294A1 (ja) * | 2005-12-12 | 2007-06-21 | Atsuhiro Ueda | 画像診断用データ・サンプリング・デバイス並びに該デバイスに用いられる撮像用アダプタ |
| JP4567593B2 (ja) * | 2005-12-27 | 2010-10-20 | 三星デジタルイメージング株式会社 | 撮像装置および撮影方法 |
| JP4662880B2 (ja) * | 2006-04-03 | 2011-03-30 | 三星電子株式会社 | 撮像装置，及び撮像方法 |
| JP4979969B2 (ja) * | 2006-04-03 | 2012-07-18 | 三星電子株式会社 | 撮像装置および撮像方法 |
| JP2007306418A (ja) * | 2006-05-12 | 2007-11-22 | Fujifilm Corp | 撮像装置および撮像制御方法 |
| JP4483841B2 (ja) * | 2006-09-06 | 2010-06-16 | カシオ計算機株式会社 | 撮像装置 |
| JP2008070611A (ja) * | 2006-09-14 | 2008-03-27 | Casio Comput Co Ltd | 撮像装置、露出条件調整方法及びプログラム |
| CN101512596B (zh) | 2006-09-14 | 2012-06-13 | 富士通株式会社 | 图像处理方法和装置 |
| EP1973338A1 (en) * | 2007-03-19 | 2008-09-24 | Sony Deutschland GmbH | Apparatus and method for reducing motion blur in a video signal |
| JPWO2008117584A1 (ja) * | 2007-03-23 | 2010-07-15 | 株式会社東芝 | 手ぶれ補正装置、撮像装置、手ぶれ補正プログラム、撮像プログラム、手ぶれ補正方法、撮像方法 |
| US7982775B2 (en) * | 2007-08-02 | 2011-07-19 | Texas Instruments Incorporated | Method and apparatus for motion stabilization |
| JP4656168B2 (ja) * | 2008-03-05 | 2011-03-23 | カシオ計算機株式会社 | 画像合成装置 |
| JP5199736B2 (ja) * | 2008-06-06 | 2013-05-15 | シャープ株式会社 | 画像撮像装置 |
| CN101626457B (zh) * | 2008-07-08 | 2011-09-07 | 华晶科技股份有限公司 | 影像撷取方法 |
| US8228400B2 (en) * | 2009-04-17 | 2012-07-24 | Sony Corporation | Generation of simulated long exposure images in response to multiple short exposures |
| JP5226600B2 (ja) * | 2009-04-28 | 2013-07-03 | 富士フイルム株式会社 | 画像変形装置およびその動作制御方法 |
| JP5195660B2 (ja) * | 2009-06-15 | 2013-05-08 | カシオ計算機株式会社 | 撮像装置、合焦方法及びプログラム |
| JP2011029905A (ja) * | 2009-07-24 | 2011-02-10 | Fujifilm Corp | 撮像装置、方法およびプログラム |
| CN101729665B (zh) | 2009-12-11 | 2013-10-02 | 惠州Tcl移动通信有限公司 | 一种具有防抖功能的拍照手机及其在拍照中的防抖方法 |
| CN102375713A (zh) * | 2010-08-17 | 2012-03-14 | 宏碁股份有限公司 | 电子装置及图像抗晃动的方法 |
| JP5141733B2 (ja) * | 2010-08-18 | 2013-02-13 | カシオ計算機株式会社 | 撮像装置、撮像方法、及びプログラム |
| JP2012075088A (ja) * | 2010-09-03 | 2012-04-12 | Pentax Ricoh Imaging Co Ltd | 画像処理システムおよび画像処理方法 |
| CN102625120B (zh) * | 2011-01-31 | 2016-01-20 | 索尼公司 | 图像处理设备和方法 |
| JP5050256B1 (ja) * | 2011-06-21 | 2012-10-17 | オリンパス株式会社 | 撮像装置及び撮像方法 |
| JP5784426B2 (ja) * | 2011-09-06 | 2015-09-24 | オリンパス株式会社 | 撮像装置 |
| JP5959850B2 (ja) * | 2011-12-27 | 2016-08-02 | キヤノン株式会社 | 撮像装置及びその制御方法 |
| JP5917258B2 (ja) * | 2012-04-20 | 2016-05-11 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| JP6061657B2 (ja) * | 2012-12-10 | 2017-01-18 | オリンパス株式会社 | 撮影装置 |
| CN107534722B (zh) | 2015-03-31 | 2019-09-20 | 华为技术有限公司 | 一种终端设备和拍照的方法 |
| US11263769B2 (en) * | 2015-04-14 | 2022-03-01 | Sony Corporation | Image processing device, image processing method, and image processing system |
| CN107995432A (zh) * | 2016-10-26 | 2018-05-04 | 努比亚技术有限公司 | 一种实现慢门拍照的方法和装置 |
| US11010947B2 (en) * | 2017-01-23 | 2021-05-18 | Ntt Docomo, Inc. | Information processing system and information processing apparatus |
| US10477107B2 (en) * | 2017-01-27 | 2019-11-12 | Invensense, Inc. | Electronic image stabilization of a captured image |
| CN108540728A (zh) * | 2017-03-06 | 2018-09-14 | 中兴通讯股份有限公司 | 长曝光拍照方法及装置 |
| CN111698421B (zh) * | 2020-06-09 | 2021-12-17 | 展讯通信（上海）有限公司 | 一种图像处理方法、装置及计算机可读存储介质 |
| JP2022138536A (ja) * | 2021-03-10 | 2022-09-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、撮像装置、プログラムおよび記録媒体 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| DE3927888A1 (de) | 1989-08-24 | 1991-02-28 | Philips Patentverwaltung | Wechselrichteranordnung |
| US5768443A (en) * | 1995-12-19 | 1998-06-16 | Cognex Corporation | Method for coordinating multiple fields of view in multi-camera |
| CN1186991A (zh) * | 1996-11-01 | 1998-07-08 | 松下电器产业株式会社 | 图象合成装置,图象合成方法及所用媒体 |
| US6429895B1 (en) * | 1996-12-27 | 2002-08-06 | Canon Kabushiki Kaisha | Image sensing apparatus and method capable of merging function for obtaining high-precision image by synthesizing images and image stabilization function |
| JPH11271853A (ja) * | 1998-03-25 | 1999-10-08 | Toybox:Kk | 画像合成カメラおよび画像担持体 |
| JP2000358144A (ja) * | 1999-06-17 | 2000-12-26 | Canon Inc | 画像入出力システム及びその制御方法 |
| JP3697129B2 (ja) * | 2000-01-20 | 2005-09-21 | キヤノン株式会社 | 撮像装置 |
| JP2003057711A (ja) * | 2001-08-16 | 2003-02-26 | Canon Inc | 防振機能付き光学電子機器 |
| US7379094B2 (en) * | 2002-04-18 | 2008-05-27 | Olympus Corporation | Electronic still imaging apparatus and method having function for acquiring synthesis image having wide-dynamic range |
| JP4024581B2 (ja) * | 2002-04-18 | 2007-12-19 | オリンパス株式会社 | 撮像装置 |
| JP4004943B2 (ja) * | 2002-12-25 | 2007-11-07 | 富士フイルム株式会社 | 画像合成方法および撮像装置 |
-
2003
- 2003-05-29 JP JP2003153176A patent/JP4181923B2/ja not_active Expired - Fee Related
-
2004
- 2004-05-24 US US10/852,503 patent/US7180043B2/en active Active
- 2004-05-31 CN CNB200410046212XA patent/CN100413320C/zh not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| US20040238718A1 (en) | 2004-12-02 |
| CN100413320C (zh) | 2008-08-20 |
| US7180043B2 (en) | 2007-02-20 |
| CN1574898A (zh) | 2005-02-02 |
| JP2004357040A (ja) | 2004-12-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4181923B2 (ja) | 撮像装置および撮像装置の制御方法 | |
| JP4378272B2 (ja) | 撮影装置 | |
| JP4136793B2 (ja) | 撮像装置および撮像装置の制御方法 | |
| EP1808014B1 (en) | Camera and image processing method for camera | |
| JP2004357202A (ja) | 撮影装置 | |
| JP4522207B2 (ja) | カメラシステム、カメラ本体及び交換レンズ | |
| JP4562182B2 (ja) | 画像処理装置、画像処理方法およびプログラム | |
| JP4164424B2 (ja) | 撮像装置及び方法 | |
| JP2004221992A (ja) | 撮影装置およびプログラム | |
| JP4323969B2 (ja) | 撮影装置 | |
| JP4418632B2 (ja) | 撮影装置、合成画像生成方法およびプログラム | |
| JP2007053617A (ja) | 露出値演算方法及び撮像装置 | |
| JP2006345317A (ja) | 撮像装置及びその制御方法及びプログラム及び記憶媒体 | |
| JP5495598B2 (ja) | 撮像装置及びその制御方法 | |
| JP5693664B2 (ja) | 撮像装置、撮像装置の制御方法及びプログラム | |
| JP4324234B2 (ja) | 撮影装置 | |
| JP4956403B2 (ja) | 撮像装置及びその制御方法及びプログラム | |
| JP2006050139A (ja) | 光学機器 | |
| JP4378237B2 (ja) | 撮影装置 | |
| JP2006295708A (ja) | 撮像装置及びその制御方法 | |
| JP2006115172A (ja) | 撮影装置およびプログラム | |
| JP2006033578A (ja) | 光学機器補正装置及びシステム | |
| JPH089232A (ja) | 撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060519 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060519 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071225 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080225 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20080507 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080604 |
|
| A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20080730 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080826 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080901 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110905 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120905 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130905 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |