JP4351270B2 - 撮影装置および撮影方法 - Google Patents

Description

本発明は、静止像を示す情報を生成する情報生成装置、所定の露光期間に静止像を撮影する撮影装置および撮影方法に関する。

撮影された画像の手振れを補正する方式には、光学手振れ補正方式と電子手振れ補正方式とがある（例えば、特許文献１参照）。

光学手振れ補正方式を用いた技術は、撮影された静止画像の手振れ補正技術として知られている。

電子手振れ補正方式を用いた技術は、撮影された動画像の手振れ補正技術として知られている。この技術は、光学駆動部を必要としないため、装置の小型化が可能である。
特開昭６０−１４３３３０号公報

しかし、光学手振れ補正方式を用いた技術は、画質が劣化することはなく静止画の撮影に有効であるが、光学駆動部を必要とするため、装置の小型化に限界がある。

電子手振れ補正方式を用いた技術は、光学駆動部を必要としないため、装置の小型化が可能であるが、静止画像の手振れ補正には、有効でないと考えられていた。この技術はフレーム間の補正を行うのみで、１フレームからなる静止画の手振れ補正は原理的に不可能だからである。

本発明は、上記課題を解決するものであり、撮影された静止画像の手振れの補正可能な電子手振れ補正方式を用いた情報生成装置、撮影装置および撮影方法を提供することを目的とする。

本発明の撮影装置は、静止像を撮像する撮影装置であって、露光時間に複数のフレーム情報を取得する撮像部と、前記複数のフレーム間の揺動量を検出する揺動量検出手段と、前記複数のフレームのうち所定のフレームから明部を抽出する明部抽出部と、前記揺動量と前記明部とに基づいて前記所定のフレームとは異なる他のフレームの補正画像を取得するマスキング部と、前記所定のフレームと前記他のフレームの補正画像とを合成し、前記静止像を示す静止画像情報を生成する第１の演算部と、設定された露出時間を取得する手段と、設定解像度を取得する手段と、前記設定解像度が第１解像度より高い場合に、転送クロックを速くするクロック制御手段と、前記転送クロックが速いほどフレームレートを高く設定するフレームレート変更部と、前記露出時間と前記フレームレートとに応じて撮像枚数を決定する制御部と、前記露出時間に、決定された前記撮像枚数の画像データを取得し、取得された画像データを合成し静止画を表す１枚の画像データを生成する第２の演算部とを含み、そのことにより上記目的が達成される。
ストロボ発光を行うストロボ発光手段をさらに含み、前記所定のフレームは、前記複数のフレームのうち前記ストロボ発光時に撮像されたフレームであって、前記他のフレームより前に撮像されたフレームであってもよい。
更に、手ぶれの程度を判定し、判定の結果手ぶれが大きい場合に、前記設定解像度を第１解像度より低い第２解像度に変更し、新たにフレームレートを高く変更し、前記露出時間と新たに変更されたフレームレートとに基づいて、前記撮像枚数を決定してもよい。
前記第２解像度への変更を、水平方向または垂直方向の画素加算により行ってもよい。
本発明の撮影方法は、静止像を撮像する撮影方法であって、露光時間に複数のフレーム情報を取得するステップと、前記複数のフレーム間の揺動量を検出するステップと、前記複数のフレームのうち所定のフレームから明部を抽出するステップと、前記揺動量と前記明部とに基づいて前記所定のフレームとは異なる他のフレームの補正画像を取得するステップと、前記所定のフレームと前記他のフレームの補正画像とを合成し、前記静止像を示す静止画像情報を生成するステップと、設定された露出時間を取得するステップと、設定解像度を取得するステップと、前記設定解像度が第１解像度より高い場合に、転送クロックを速くするステップと、前記転送クロックが速いほどフレームレートを高く設定するステップと、前記露出時間と前記フレームレートとに応じて撮像枚数を決定するステップと、前記露出時間に、決定された前記撮像枚数の画像データを取得し、取得された画像データを合成し静止画を表す１枚の画像データを生成するステップとを含み、そのことにより上記目的が達成される。

本発明の情報生成装置、撮影装置および撮影方法によれば、複数のフレームを示す情報を揺動補正し、静止画を示す情報を生成することができるため、手ぶれ補正された１枚の静止画像を得ることができる。

本発明は、所定の露光期間中に複数の画像を撮影し、複数の画像の各々の手振れを補正する。複数の補正画像を演算処理することによって、１枚の静止画像を得ることにより、手振れを補正したＳ／Ｎのよい静止画像を得ることができる。

本発明は、手振れ補正時にフレームレートが低い場合には、クロック速度を上げる、または解像度を落とすことによって、フレームレートを上げる。したがって、電子的な手振れ補正に起因する画質劣化が少ない。

本発明の撮影装置によれば、撮影者は手振れの程度を確認することができる。手振れの程度を確認することによって、撮影者はカメラの固定方法を変更することができ、その結果、人間の操作により通常より手振れの少ない静止画像を得ることができる。

以下、図を参照して本発明の実施の形態を説明する。

１．撮影装置
図１は、本発明の実施の形態の撮影装置１００を示す。

撮影装置１００は、所定の露光期間に静止像を撮影する。撮影装置１００は、撮影装置１００の外部から光を入射するためのレンズ部２と、光３を自動焦点調整する自動焦点部４と、レンズ部２のズーム比を設定するズーム部６と、撮像部５とを含む。撮像部５には、光学像が結像される。撮像部５は、結像された光学像を示す出力データを出力する。撮像部５は、例えば、ＣＣＤもしくはＭＯＳ型撮像装置である。レンズ部２から入射した光３は、自動焦点部４により焦点調整される。ズーム部６により、レンズ部２のズーム比が設定され、撮像部５上に光学像７が結像される。

撮影装置１００は、表示切替部１０と、表示回路１１と、表示部１２と、記録部１３と、記録媒体１４とをさらに含む。静止像を表す静止画の揺動を補正することなく静止像を撮影する場合は、撮像部５から出力された出力データは表示切替部１０に直接送られる。静止画像を表示する場合は、撮像部５から出力された出力データは、表示回路１１によって表示部１２に表示される。静止画像を記録する場合は、撮像部５から出力された出力デ
ータは、記録部１３によって記録媒体１４に記録される。

撮影装置１００は、シャッターボタン２５と、データを記憶する副画像メモリ８と、撮影された静止像を表す複数の画像（フレーム）間の揺動量を検出する揺動検出手段１５と、検出された揺動量に応じて、複数の画像（フレーム）を示す複数の画像情報を補正する揺動補正部９と、揺動補正制御部２１と、タテ方向の揺動を除去するように制御されるトリミング部２２と、画面データによって示される画像の解像度を変更する解像度変更部２４と、間引き制御部２５ａと、画素転送部２３と、揺動量に応じてフレームレートを変更するフレームレート変更部４０とをさらに含む。揺動検出手段１５は、揺動検出手段１５に入力されたデータを演算する演算部１８と、第１メモリ１６と、第２メモリ１７とを含む。揺動補正制御部２１は、検出された揺動量に応じて撮像部５から出力された出力データを補正するために、各構成要素を制御する。

静止像を表す静止画の揺動を補正して静止像を撮影する場合（揺動補正設定がＯＮである場合）には、シャッタボタン２５を押す前に、撮像部５から出力された出力データが一旦副画像メモリ８に蓄積される。撮像部５から出力された出力データは、揺動検出手段１５に入力される。演算部１８は、入力された複数の出力データ（例えば、ｎ−１番目の画面データ（即ち、前の画面のデータ）とｎ番目の画像データ（即ち、現在の画面のデータ））を演算し、揺動情報を求める。揺動情報は、動きベクトル１９である。なお、撮影装置１００がタテ用振動ジャイロとヨコ用振動ジャイロとを備える場合にも、タテの揺動量とヨコの揺動量とを検出することができる。この場合には、揺動情報は、タテの揺動量およびヨコの揺動量である。

揺動補正制御部２１が、トリミング部２２と画素転送部２３とを制御することによって、タテ方向の揺動が除去される。揺動補正制御部２１が揺動補正部９を制御することによって、ヨコ方向の揺動が除去される。したがって、画像データのタテの揺動および画像データのヨコの揺動を補正することができ、揺動補正された画像データを得ることができる。

揺動補正された画像データは、順次、表示切替部１０を介して表示部１２に出力される。ユーザは、表示部１２から、揺動補正された連続画像を所定のフレームレートで視認できる。

なお、表示部１２に、揺動補正された画像データによって示された全画像のうち、一部の領域の画像を表示することができる。したがって、被写体のフレーミングを正確にできる。この場合、解像度は解像度変更部２４および間引き制御部２５ａによって、静止画撮影時より低い解像度に設定される。したがって、フレームレートを高くすることが可能になり、１秒間の表示枚数を多くすることができる。その結果、ユーザは、よりスムーズに被写体の画像を視認できる。

記録部１３は、フレームレートの高い複数の画像を動画として記録媒体１４に記録してもよい。

解像度変更部２４は、例えば、明るさ、揺動量、ズーム比のうちの少なくとも１つに応じて、複数のフレームの解像度を変更する。

撮影装置１００は、クロック制御手段２７と、転送クロック供給部３２と、処理クロック供給部２８と、ＣＰＵ２６とをさらに含む。ユーザがシャッターボタン２５を半押しにすると、処理クロック供給部２８が演算部２９等のクロックの動作開始又はクロック速度の向上を実行するように、ＣＰＵ２６はクロック制御手段２７に指令を与える。

撮影装置１００は、揺動補正された複数の画像情報を記憶する主画像メモリ３０と、記憶手段に記憶された複数の画像情報に基づいて、静止像を示す静止画像情報を生成する演算部２９と、副演算部２９ａとをさらに含む。なお、演算部２９の機能、主画像メモリ３０の機能、および副演算部２９ａの機能の詳細は、後述される。

撮影装置１００は、マスキング部２０と、明部抽出部３９とをさらに含む。マスキング部２０の機能および明部抽出部３９の機能の詳細は、後述される。

撮影装置１００は、バイブレータ３６と、スピーカ３７とをさらに含む。バイブレータ３６の機能およびスピーカ３７の機能の詳細は、後述される。

図２は、揺動検出手段１５の構成を示す。揺動検出手段１５は、演算部１８と第１メモリ１６と第２メモリ１７とを含む。

第１メモリ１６には、時刻ｔ＝ｔ_ｎ−１に撮影された画像Ｄ_ｎ−１を示す画像データが格納されている。第２メモリ１７には、時刻ｔ＝ｔ_ｎに撮影された画像Ｄ_ｎを示す画像データが格納されている。２枚の画像を示すデータ（画像Ｄ_ｎ−１を示す画像データおよび画像Ｄ_ｎを示す画像データ）に基づいて、画像Ｄ_ｎ−１と画像Ｄ_ｎとの間の揺動量（例えば、動きベクトル（ｘ_１、ｙ_１））が検出され、揺動量を示すデータが出力される。

２．手振れ補正の動作
図３は、本発明の実施の形態の手振れ補正の動作を示す。

画像Ｄ_ｎ＝１は、時刻ｎ＝１に撮影された画像を示し、画像Ｄ_ｎ＝２は、時刻ｎ＝２に撮影された画像を示し、画像Ｄ_ｎ＝３は、時刻ｎ＝３に撮影された画像を示し、画像Ｄ_ｎ＝４は、時刻ｎ＝４に撮影された画像を示す。

画像Ｄ_ｎ＝１を示す画像データが主画像メモリ部３０に蓄積される。

画像Ｄ_ｎ＝２を示す画像データは、揺動量Ｍ_２（Ｍ_２＝（ｘ_０＋ｘ_１、ｙ_０＋ｙ_１））に応じて補正される。演算部２９によって、補正された画像データは、主画像メモリ部３０に蓄積されている画像Ｄ_ｎ＝１を示す画像データに加算される。加算結果を示すデータは主画像メモリー部３０に蓄積される。補正された画像データを画像Ｄ_ｎ＝１を示す画像データに加算するため、被写体の静止部は正確に重なり、画像のＳＮ比は向上する。

画像Ｄ_ｎ＝３を示す画像データは、揺動量Ｍ_３（Ｍ_３＝（ｘ_０＋ｘ_１＋ｘ_２、ｙ_０＋ｙ_１＋ｙ_２））に応じて補正される。演算部２９によって、この補正された画像データは、主画像メモリ部３０に蓄積されている加算結果を示すデータに加算される。加算結果を示すデータは主画像メモリー部３０に蓄積される。

画像Ｄ_ｎ＝４を示す画像データは、揺動量Ｍ_４（Ｍ_４＝（ｘ_０＋ｘ_１＋ｘ_２＋ｘ_３、ｙ_０＋ｙ_１＋ｙ_２＋ｙ_３））に応じて補正される。演算部２９によって、この補正された画像データは、主画像メモリ部３０に蓄積されている加算結果を示すデータに加算される。加算結果を示すデータは主画像メモリー部３０に蓄積される。

このように、データの加算を繰り返すことによって、主画像メモリ部３０には、加算された４枚のほぼ同じ画像を示す画像データが格納され、１枚の静止画を示すデータが生成される。したがって、露光期間中にシャッターを１００％開けていた場合には、時刻ｎ＝１から時刻ｎ＝４の期間中にシャッターを継続して開けていた場合とほぼ同じ明るさの画
像が得られるとともに、各画面毎に手振れが補正される。

なお、手振れの程度（揺動量）やズーム比に応じて、例えばシャッタ開時間（露光時間）、フレームレートを適切に設定することによって、ＳＮを劣化させることなく電子的に手振れを補正することができる。なお、各画像を撮影する時のシャッタ開時間を短くすると手振れ補正に起因する画像劣化は減少するが光量が減る。この場合には、撮影するフレームの枚数を増やす。

本発明の実施の形態では、転送クロックを上げることによってフレームレートを上げたり、解像度を下げることによってフレームレートを上げたりして最適なフレームレートを得ることができる。したがって、適用範囲が広いという効果がある。

なお、演算部２９によって為される演算は、加算に限らない。複数の画像データ（フレーム情報）に基づいて１枚の静止画を示すデータを生成することができる限り、演算は、例えば積分でもよい。

３．マスキングの動作
図４は、本発明の実施の形態のマスキングの動作を示す。

画像Ｄ_ｎ＝１は、時刻ｎ＝１に撮影された画像を示し、画像Ｄ_ｎ＝２は、時刻ｎ＝２に撮影された画像を示し、画像Ｄ_ｎ＝３は、時刻ｎ＝３に撮影された画像を示し、画像Ｄ_ｎ＝４は、時刻ｎ＝４に撮影された画像を示す。

時刻ｎ＝１で、ストロボが発光する。したがって、例えば、画像３５ｅに表された人物は背景（例えば、夜景）に比べて明るくなる。ここで画像３５ｅに表された人物を明部３８ａと定義する。明部抽出部３９は、画像３５ｅを示すデータから明部３８ａを示すデータを抽出し、抽出された明部ａを示すデータに基づいて、マスキングデータ３１を生成する。

時刻ｎ＝２で、画像Ｄ_ｎ＝２を示す画像データからマスキングデータ３１を切り出す。明部３８ｂの画像がとり去られ、かつ手振れが補正された補正画像３３ａを示すデータが生成される。補正画像３３ａを示すデータが画像３５ｅを示すデータに加算され、積分画像３５ａを示すデータが生成される。

時刻ｎ＝３で、画像Ｄ_ｎ＝３を示す画像データからマスキングデータ３１を切り出す。明部３８ｃの画像がとり去られ、かつ手振れが補正された補正画像３３ｂを示すデータが生成される。補正画像３３ｂを示すデータが積分画像３５ａを示すデータに加算され、積分画像３５ｂを示すデータが生成される。

時刻ｎ＝４で、画像Ｄ_ｎ＝４を示す画像データからマスキングデータ３１を切り出す。明部３８ｄの画像がとり去られ、かつ手振れが補正された補正画像３３ｃを示すデータが生成される。補正画像３３ｃを示すデータが積分画像３５ｂを示すデータに加算され、積分画像３５ｃを示すデータが生成される。

積分画像３５ｃを示すデータがリサイズされ、積分画像３５ｄを示すデータが生成される。

上述したように、時刻ｎ＝１で、ストロボの発光により明るくなった人物等の明部をとり込み、時刻ｎ＝２、３、４で、撮影された画像のうち、明部以外の領域の画像をとり込む。夜景撮影等で人物を対象にスローシャッタでストロボ撮影を行う場合には、例えば、
ストロボ発光時の人物の顔の画像にスローシャッタ期間中に露光された人物の顔の画像が重なり（二重露光）、画像がぼける。しかし本発明の実施の形態のマスキングの動作によれば、手振れ補正によって、明部である人物の顔等が二重露光されない。その結果、明部を明瞭に撮影できる。

４．フレームレートの変更
図５は、画素数とフレーム周波数との関係を示す。

解像度変更部２４（図１参照）によって、撮像部５（図１参照）での解像度を下げると、フレームレート（ｆｐｓ）を上げることができる。また、クロック制御手段２７、処理クロック供給部２８および転送クロック供給部３２によって、転送クロック速度を上げた場合にも、フレームレート（ｆｐｓ）を上げることができる。

本発明の実施の形態では、手振れ補正を目的として画像をとり出す時に転送クロックを上げたり、解像度を下げることにより、実質的にフレームレートを上げて、電子的手振れ補正に特有の残像（画像劣化）をなくすことができる。この場合、通常の撮像部は２００万画素であり、フレームレートは７．５ｆｐｓ程度であるため、残像の影響が残ってしまう。フレームレートは２０ｆｐｓ以上でないと電子的手振れ補正に特有の残像をなくすことは困難である。

図６は、４分割された画素領域を含む撮像部５の構成を示す。

撮像部５は、画素領域４０を含む。画素領域４０は、４つの画素領域（画素領域４０ａ、画素領域４０ｂ、画素領域４０ｃおよび画素領域４０ｄ）に分割されている。撮像部５は、４分割された水平方向転送部（水平方向転送部４１ａ、水平方向転送部４１ｂ、水平方向転送部４１ｃおよび水平方向転送部４１ｄ）と、４分割された垂直方向転送部（垂直方向転送部４２ａ、垂直方向転送部４２ｂ、垂直方向転送部４２ｃおよび垂直方向転送部４２ｄ）とをさらに含む。したがって、全画素の掃き出し時間は１／４に、フレームレートは４倍になり、２１０万画素のＣＣＤ型の撮像素子およびクロック速度＝１８ＭＨｚの条件で、フレームレートは３０ｆｐｓになる。その結果、手振れ補正に起因する画像劣化を目立たなくできる。撮像部５は左右に２分割してもよい。

図７は、本発明の実施の形態におけるフレームレートを速くした場合の動作図である。

露出時間＝１／４秒の場合、１／８秒毎にフレームを得る。このとき、ｘ方向の手振れ量＝∫_０（ｘ_i＋ｘ_i＋１）ｄｔ≒（（ｘ_１＋ｘ_２）＋（ｘ_３＋ｘ_４））／２である。

露出時間＝１／２秒の場合、フレームレートを高くすることにより、１／１６秒毎にフレームを得る。このとき、ｘ方向の手振れ量≒（ｘ_１＋ｘ_２＋ｘ_３＋ｘ_４＋ｘ_５＋ｘ_６＋ｘ_７＋ｘ_８）／８≒（（ｘ_１＋ｘ_２＋ｘ_３＋ｘ_４）／２＋（ｘ_５＋ｘ_６＋ｘ_７＋ｘ_８）／２）／４である。

露出時間が長い場合は、フレームレートを速くし、多くのフレームを得るようにする。その結果、手振れ量を詳細に検出することが可能になり、手振れ補正に起因した画像劣化を減少することが出来る。

このように、本発明の撮影装置によれば、複数のフレームを示す情報を揺動補正し、静止画を示す情報を生成することができるため、手ぶれ補正された１枚の静止画像を得ることができる。

以上、（１．撮影装置）〜（４．フレームレートの変更）において、図１〜図７を参照して本発明の実施の形態の一例を説明した。

例えば、図１〜図７に示される実施の形態では、揺動量検出手段１５が「撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手段」に対応し、揺動補正部９が「検出された揺動量に応じて、複数のフレームを示す複数のフレーム情報を補正する揺動補正手段」に対応し、主画像メモリ３０が「揺動補正された複数のフレーム情報を記憶する記憶手段」に対応し、演算部２９が「記憶手段に記憶された複数のフレーム情報に基づいて、静止像を示す静止画像情報を生成する情報生成手段」に対応する。

しかし、本発明の撮影装置が図１〜図７に示される実施の形態に限定されるわけではない。撮影装置が備える各構成要素が、上述した「撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手段」、「検出された揺動量に応じて、複数のフレームを示す複数のフレーム情報を補正する揺動補正手段」、「揺動補正された複数のフレーム情報を記憶する記憶手段」および「記憶手段に記憶された複数のフレーム情報に基づいて、静止像を示す静止画像情報を生成する情報生成手段」の各々の機能を有する限りは、任意の構成を有し得る。

５．撮影方法１
図８は、本発明の実施の形態の撮影処理の手順（ステップ５０ａ〜ステップ５０ｆ）を示す。

図９は、本発明の実施の形態の撮影処理の手順（ステップ５１ａ〜ステップ５１ｙ）を示す。

図１０は、本発明の実施の形態の撮影処理の手順（ステップ５２ａ〜ステップ５２ｔ）を示す。

以下、図１および図８〜図１０を参照して、本発明の実施の形態の撮影処理の手順をステップごとに説明する。

図８を参照して、ステップ５０ａ〜ステップ５０ｆを説明する。

ステップ５０ａ：操作者が、静止画の撮影を準備する。

ステップ５０ｂ：操作者が、シャッターボタン２５を半押しにすると、処理クロック供給部２８が演算部２９等のクロックの動作開始又はクロック速度を向上するように、ＣＰＵ２６がクロック制御手段２７に指令を与える。処理クロック供給部２８が演算部２９等のクロックの動作開始又はクロック速度を向上すると、処理はステップ５０ｃに進む。

ステップ５０ｃ：撮像部５は、設定解像度より小さい画像、または間引きした画像を取り出す。ｎ−１番目の画像を示すデータとｎ番目の画像を示すデータとに基づいて、ｎ−１番目の画像とｎ番目の画像との特定点または特定領域の位置の差情報を生成し、揺動情報（揺動量）を得る。

ステップ５０ｄ：撮影場所の明るさが暗く設定解像度が一定値以上の条件下で、揺動情報（揺動量）が所定の値より大きいか否かを判定する。所定の値より大きい場合（Ｙｅｓ）には、処理はステップ５０ｅに進む。所定の値と同じまたは所定の値より小さい場合（Ｎｏ）には、処理はステップ５０ｆに進む。

ステップ５０ｅ：揺動情報の値に応じて表示部１２に“手振れ注意”の警告を表示する。

ステップ５０ｆ：操作者はシャッターボタン２５を押すか否かを判断する。押す（Ｙｅｓ）場合には、処理はステップ５１ａ（図７参照）に進む。押さない（Ｎｏ）場合には、ステップ５０ｆの処理が繰り返される。

以下、図９を参照して、ステップ５１ａ〜ステップ５１ｙを説明する。

ステップ５１ａ：シャッター速度（露光時間）がｔ_１より長いか否かが判定される。例えば、ＣＰＵ２６が、シャッター速度（露光時間）がｔ_１より長いか否かを判定する。

ズーム部６のズーム比が一定値以下で、シャッター速度（露光時間）がｔ_１と同じまたはｔ_１より短い場合（Ｎｏ）には、処理はステップ５１ｂに進む。シャッター速度（露光時間）がｔ_１より長い場合（Ｙｅｓ）には、処理はステップ５１ｄに進む。

ステップ５１ｂ：揺動補正なし（手振れ補正なし）で撮影する。

ステップ５１ｃ：撮影が完了し、処理が終了する。

ステップ５１ｄ：手段振れ補正優先スイッチをＯＮにする。

ステップ５１ｅ：シャッター速度（露光時間）がｔ_２より長いか否かが判定される。

シャッター速度（露光時間）がｔ_２と同じまたはｔ_２より短い場合（Ｎｏ）には、処理はステップ５１ｆに進む。シャッター速度（露光時間）がｔ_２より長い場合（Ｙｅｓ）には、処理はステップ５１ｈに進む。

ステップ５１ｆ：手振れが激しいか否か、ズーム比が一定値より大きいか否かが判定される。

手振れが激しくなく、ズーム比が一定値より大きい場合（Ｎｏ）には、処理はステップ５１ｇに進む。手振れが激しく、ズーム比が一定値以下である場合（Ｙｅｓ）には、処理はステップ５１ｉに進む。

ステップ５１ｇ：解像度を予め設定されている解像度Ｎ_０に設定したままで手振れ補正ルーチン（ステップ５１ｒ）に進む。

ステップ５１ｈ：設定解像度Ｎ_０が所定解像度Ｎ_１より高いか否かが判定される。

設定解像度Ｎ_０が所定解像度Ｎ_１であるか所定解像度Ｎ_１より低い場合（Ｎｏ）には、処理はステップ５１ｒに進む。設定解像度Ｎ_０が所定解像度Ｎ_１より高い場合（Ｙｅｓ）には、処理はステップ５１ｉに進む。

ステップ５１ｉ：クロック制御手段２７によって画素転送部２３の転送クロックを速くする。こうしてフレームレートを上げる。

ステップ５１ｊ：手振れが激しいか否かを判定する。

手振れが激しくなく、ズーム比が所定値以下、つまり手振れが非常に少ない場合（Ｎｏ
）には、処理はステップ５１ｋに進む。手振れが激しい時や、ズーム比等の値が所定値より大きい場合、つまり手振れがある程度ある場合（Ｙｅｓ）には、処理はステップ５１ｍへ進む。

ステップ５１ｋ：所定解像度Ｎ_１のまま、処理はステップ５１ｒに進む。

ステップ５１ｍ：設定解像度が所定解像度Ｎ_２より高いか否か、またはフレームレートが所定値ｆｎより低いか否かが判定される。

設定解像度が所定解像度Ｎ_２と同じ、または所定解像度Ｎ_２より低い場合、あるいは、フレームレートが所定値ｆｎと同じ、または所定値ｆｎより高い場合（Ｎｏ）には、処理はステップ５１ｒに進む。

設定解像度が所定解像度Ｎ_２より高い場合、またはフレームレートが所定値ｆｎより低い場合（Ｙｅｓ）には、処理はステップ５１ｎに進む。

ステップ５１ｎ：解像度を所定解像度Ｎ_１より低い解像度Ｎ_２に設定するために、処理はステップ５１ｐに進む。

ステップ５１ｐ：解像度変更部２４および間引き制御部２５ａによって、撮像部５からの画素出力を間引くか、面内方向の複数の画素を示す情報を加算して一つの画素を示す情報を生成し、画素数（即ち、解像度）を下げる（解像度Ｎ_２に設定）。

ステップ５１ｑ：解像度を所定解像度Ｎ_１より低い解像度Ｎ_２に設定した結果、フレームレートの最高速度の値が上がる。フレームレートを上げる。

ステップ５１ｒ：複数のフレーム（画像）を撮影装置１００にとり込むために、手振れ補正ルーチンのための撮影画像の入力を開始するか否かを判定する。撮影画像の入力を開始する場合（Ｙｅｓ）には、処理はステップ５１ｙに進む。

ステップ５１ｙ：露出時間（即ち、シャッター時間）、絞り値およびフレームレートに基づいて、分割露光するために必要な総枚数ｎ_ｌａｓｔを演算する。手振れの激しい時は各静止画のシャッター時間を短くする。

ステップ５１ｓ：ｎ＝０に設定する。

ステップ５１ｔ：ｎを１つインクリメントする（ｎ＝ｎ＋１）。

ステップ５１ｕ：ｎ枚目の画像を撮影し、撮像部５からｎ枚目の静止画像を副メモリ８にとり込む（ｎ枚目の静止画像データを得る）。

ステップ５１ｖ：静止画像データが１枚目の静止画像データであるか否かを判定する。

静止画像データが１枚目の静止画像データである場合（Ｙｅｓ）には、処理はステップ５１ｗに進む。静止画像データが１枚目の静止画像データでない場合（Ｎｏ）には、処理はステップ５２ａ（図１０参照）に進む。

ステップ５１ｗ：撮像部５の画像の一部を切り出し、画像データＩ_１を得る。

ステップ５１ｘ：画像データＩ_１を主画像メモリ３０に保存する。

以下、図８を参照して、ステップ５２ａ〜ステップ５２ｔを説明する。

ステップ５２ａ：揺動検出手段１５によって、１枚目の画像データと２枚目の画像データとの特定点の動きを演算し、揺動量Ｍｎを算出する（図２参照）。

揺動検出手段１５に含まれる第１メモリ１６に、時刻ｔ＝ｔ_１に撮影された１枚目の画像Ｄ_１を示す画像データが格納されており、かつ揺動検出手段１５に含まれる第２メモリ１７に、時刻ｔ＝ｔ_２に撮影された２枚目の画像Ｄ_２を示す画像データが格納されている場合には、揺動検出手段１５は、２枚の画像を示すデータ（画像Ｄ_１を示す画像データおよび画像Ｄ_２を示す画像データ）に基づいて、画像Ｄ_１と画像Ｄ_２との間の揺動量Ｍ_１（例えば、動きベクトル（ｘ１、ｙ１））を検出し、揺動量を示すデータを出力する。

ステップ５２ｂ：揺動量Ｍｎの積分値が一定値以上か否かを判定する。

揺動量Ｍｎの積分値が一定値以上である場合（Ｙｅｓ）には、撮影画像が特定領域をはみ出したと判定され、処理はステップ５２ｃに進む。揺動量Ｍｎの積分値が一定値より小さい場合（Ｎｏ）には、処理はステップ５２ｓに進む。

ステップ５２ｃ：エラーレジスタに１が追加される。ｎ番目の画像を主画像メモリ３０に保存しないで、処理はステップ５２ｈに進む。

ステップ５２ｓ：揺動量Ｍｎの積分値が別の一定値以上か否かが判定され、揺動量Ｍｎの積分値が別の一定値以上である場合には、第２エラーレジスタに１が追加される。

ステップ５２ｄ：撮像部５から出力された画像データのうち、揺動量Ｍｎに応じてタテ方向に切り出された画像データＩ_ｎを副画像メモリ８に保存する。

ステップ５２ｅ：ストロボをＯＮにするか否かを判定する。ストロボをＯＮにする場合（Ｙｅｓ）には、処理はステップ５２ｆに進む。ストロボをＯＮにしない場合（Ｎｏ）には、処理はステップ５２ｇに進む。

ステップ５２ｆ：マスキング部２０によって、画像データＩ_ｎを予めマスキングする（図４および（３．マスキングの動作）参照）。

ステップ５２ｇ：揺動補正部９からヨコ方向の揺動とタテ方向の揺動とが補正された画像データＩ_ｎを得る。

例えば、画像データＩ_ｎを演算部２９に送り、主画像メモリ３０の画像データと画像データＩ_ｎとを演算（例えば、加算、積分）し、再び、演算結果を主画像メモリ３０に保存する。

ステップ５２ｈ：揺動補正制御部２１は、ｎ＝ｎ_ｌａｓｔ（即ち、最後の値）であるか否かを判定する。

ｎ＝ｎ_ｌａｓｔである場合（Ｙｅｓ）には、処理はステップ５２ｉに進む。ｎ＝ｎ_ｌａｓｔでない場合（Ｎｏ）には、もう１枚画像データを取り込むために、処理はステップ５１ｔ（図９参照）に進む。

ステップ５２ｉ：クロック制御手段２７によって撮像部５の転送クロックを下げる。ま
たは、省電力のために、撮像部５の転送クロックを停止させる。

ステップ５２ｊ：第２エラーレジスタの値が一定値以上であるか否かを判定する。

第２エラーレジスタの値が一定値より小さい場合（Ｎｏ）には、処理はステップ５２ｎに進む。第２エラーレジスタの値が一定値以上である場合（Ｙｅｓ）には、処理はステップ５２ｋに進む。

ステップ５２ｋ：積分画像をリサイズすることによって、欠除部を排除可能か否か（欠除部の範囲が排除可能な範囲内であるか否か）を判定する。

例えば、補正画像３３ｃには欠除部３４ａが生じている（図４参照）。この場合には、積分画像３５ｃにも欠除部３４ｂが生じてしまう。したがって、欠除部３４ｂを排除するために、積分画像３５ｃをリサイズする必要がある。この場合に、積分画像３５ｃをリサイズすることによって欠除部３４ｂを排除可能か否か（欠除部３４ｂの範囲が排除可能な範囲内であるか否か）を判定する。

排除可能な場合（Ｙｅｓ）には、処理はステップ５２ｍに進む。排除可能でない場合（Ｎｏ）には、処理はステップ５２ｐに進む。

ステップ５２ｍ：積分画像３５ｃをリサイズすることによって欠除部３４ｂを排除し、欠除部のない積分画像３５ｄを得る（図４参照）。

ステップ５２ｎ：積分画像３５ｄを示すデータを記録媒体１４に記録する。

ステップ５２ｐ：手振れ補正しても欠除部を排除不可能であるため、操作者に手振れ補正の失敗を伝える。例えば、表示部１２に“手振れ補正エラー（範囲外である）”との意味の表示をする（図１参照）。また、スピーカー３７からエラー警告音を出力する。また、バイブレーター３６を振動させる。

ステップ５２ｑ：主表示設定がＯＮか否か判定する。

主表示設定がＯＮである場合（Ｙｅｓ）には、処理はステップ５２ｒに進む。主表示設定がＯＮでない場合（Ｎｏ）には、処理はステップ５２ｔに進む。

ステップ５２ｒ：主画像メモリ３０に格納されている手振れ補正された積分画像、またはリサイズされた画像を表示部１２に表示する。

ステップ５２ｔ：手振れ補正された画像を記録媒体１４に記録する。一定時間経過後、別の手振れ補正された画像を撮影する場合には、再び最初のステップ５０ａに戻る（図８参照）。

このように、本発明の撮影方法によれば、複数のフレームを示す情報を揺動補正し、静止画を示す情報を生成することができるため、手振れ補正された１枚の静止画像を得ることができる。

以上、（５．撮影方法１）において、図１および図８〜図１０を参照して、本発明の実施の形態の一例を説明した。

例えば、図８〜図１０に示される実施の形態では、ステップ５２ａが「撮影された静止
像を表す複数のフレーム間の揺動量を検出するステップ」に対応し、ステップ５２ｂ〜ステップ５２ｇが「検出された揺動量に応じて、複数のフレームを示す複数のフレーム情報を補正するステップ」に対応し、ステップ５２ｇが「揺動補正された複数のフレーム情報を記憶するステップ」に対応し、ステップ５２ｇまたはステップ５２ｍが「記憶手段に記憶された複数のフレーム情報に基づいて、静止像を示す静止画像情報を生成するステップ」に対応する。

しかし、本発明の撮影方法が図８〜図１０に示される実施の形態に限定されるわけではない。撮影方法に包含される各ステップが、上述した「撮影された静止像を表す複数のフレーム間の揺動量を検出するステップ」、「検出された揺動量に応じて、複数のフレームを示す複数のフレーム情報を補正するステップ」、「揺動補正された複数のフレーム情報を記憶するステップ」および「記憶手段に記憶された複数のフレーム情報に基づいて、静止像を示す静止画像情報を生成するステップ」の各々が有する機能を有する限りは、任意の手順を有し得る。

例えば、図８〜図１０を参照して説明したように、演算部２９は、主画像メモリ３０に記憶された複数の画像データ（フレーム情報）の各々を順次演算することによって、静止画像情報を生成する。また、演算部２９は、主画像メモリ３０に記憶された複数の画像データ（フレーム情報）を一括して演算することによって、静止画像情報を生成してもよい。

６．撮影方法１（順次演算）
図１１は、本発明の実施の形態の順次演算処理手順を示す。順次演算処理手順は、複数の画像データ（フレーム情報）の各々を順次演算することによって、静止画像情報を生成する手順である。

以下、図１と図１１とを参照して、撮影準備終了後（図９のステップ５１ｓ以降）の順次演算処理手順をステップごとに説明する。

ステップ１０ａ：ｎ＝０に設定する。

ステップ１０ｂ：ｎを１つインクリメントする（ｎ＝ｎ＋１）。

ステップ１０ｃ：ｎ枚目の画像を撮影し、副メモリ８にとり込む。

ステップ１０ｄ：ｎ枚目の画像を手振れ補正し、手振れ補正された画像Ｐ_ｎを得る。

ステップ１０ｅ：演算部２９は、手振れ補正された画像Ｐ_ｎを示すデータをｍ倍する（Ｐ_ｎ×ｍ）。

ステップ１０ｆ：演算部２９は、ｍ倍された画像Ｐ_ｎを示すデータを主画像メモリ３０の画像データに加算する（Σ^ｎ-１ _ｉ＝１（Ｐ_ｉ×ｍ）＋（Ｐ_ｎ×ｍ））。

ステップ１０ｇ：加算結果を主画像メモリ３０に蓄積する。

ステップ１０ｈ：ｎ＝ｎ_ｌａｓｔ（即ち、最後の値）であるか否かを判定する。

ｎ＝ｎ_ｌａｓｔである場合（Ｙｅｓ）には、処理はステップ１０ｉに進む。ｎ＝ｎ_ｌａｓｔでない場合（Ｎｏ）には、もう１枚の画像データを取り込むために、処理はステップ１０ｂに進む。

ステップ１０ｉ：副演算部２９ａは、ｍ倍され、順次加算された画像データを１／ｓ倍し、静止画を示す画像データＰ_ｘを生成する（Ｐ_ｘ＝（Σ^ｎ _ｉ＝１（Ｐ_ｉ×ｍ））／ｓ）。

ステップ１０ｊ：生成された画像データＰ_ｘを記録部１３に出力する。

記録部１３に出力した後、処理は終了する。

このように、順次演算処理手順によれば、複数の画像データ（フレーム情報）の各々を順次演算することによって、静止画像情報を生成するため、静止画像情報の生成時間を短縮することができる。

また、演算部２９が、ｍ倍された画像Ｐ_ｎを示すデータを主画像メモリ３０の画像データに加算し、副演算部２９ａが、ｍ倍され、順次加算された画像データを１／ｓ倍し、静止画を示す画像データＰ_ｘを生成するため、ｍの値とｓの値とを任意に設定することによって、所望の明るさを有する１枚の静止画を得ることができる。

７．撮影方法１（一括演算）
図１２は、本発明の実施の形態の一括演算処理手順を示す。一括演算処理手順は、複数の画像データ（フレーム情報）を一括して演算することによって、静止画像情報を生成する手順である。

以下、図１と図１２とを参照して、撮影準備終了後（図９のステップ５１ｓ以降）の一括演算処理手順をステップごとに説明する。

ステップ２０ａ：ｎ＝０に設定する。

ステップ２０ｂ：ｎを１つインクリメントする（ｎ＝ｎ＋１）。

ステップ２０ｃ：ｎ枚目の画像を撮影する。

ステップ２０ｄ：ｎ枚目の画像を示すデータを主画像メモリ３０に蓄積する。

ステップ２０ｅ：演算部２９は、ｎ＝ｎ_ｌａｓｔ（即ち、最後の値）であるか否かを判定する。

ｎ＝ｎ_ｌａｓｔである場合（Ｙｅｓ）には、処理はステップ２０ｆに進む。ｎ＝ｎ_ｌａｓｔでない場合（Ｎｏ）には、もう１枚の画像データを取り込むために、処理はステップ２０ｂに進む。

ステップ２０ｆ：ｎ枚の画像を手振れ補正する。手振れ補正されたｎ枚の画像の各々を画素積分し、１枚の静止画を示す画像データＰ_ｘを生成する。

ステップ２０ｇ：生成された画像データＰ_ｘを記録部１３に出力する。

記録部１３に出力した後、処理は終了する。

このように、一括演算処理手順によれば、複数の画像データ（フレーム情報）を一括演算することによって、静止画像情報を生成するため、演算部２９の負荷を低減することが
できる。

なお、上述の（６．撮影方法１（順次演算））で説明したように、副演算部２９ａによって、画像データを適宜ｍ倍、１／ｓ倍することができるため、所望の明るさを有する１枚の静止画を得ることができる。

８．撮影方法２
図１３は、撮影場所の明るさや、シャッター速度（露光時間）に応じて、複数の画像（分割画像）を積分することによって、手振れ補正を行うための処理手順を示す。

以下、この処理手順をステップごとに説明する。

ステップ９９ａ：解像度、画素数および分割画像数を設定する。

ステップ９９ｂ：手段振れ補正優先スイッチがＯＮであるか否かを判定する。

ＯＮでない場合（Ｎｏ：解像度優先モード）には、例えば、処理はステップ８０ｃ（後述される図１９参照）に進む。ＯＮである場合（Ｙｅｓ：手段振れ補正優先モード）には、処理はステップ９９ｃに進む。

ステップ９９ｃ：撮影場所の明るさが、解像度に応じて定められた所定値より小さいか否かが判定される。

所定値より小さい場合（Ｙｅｓ）には、処理はステップ９９ｆに進む。所定値と同じか所定値より大きい場合（Ｎｏ）には、処理はステップ９９ｄに進む。

ステップ９９ｄ：シャッタ開口時間（露光時間）Ｓが、解像度に応じて定められた所定値より大きいか否かが判定される。

所定値より大きい場合（Ｙｅｓ）には、処理はステップ９９ｆに進む。所定値と同じか所定値より小さい場合（Ｎｏ）には、処理はステップ９９ｅに進む。

ステップ９９ｅ：手振れ量が所定値より大きいか否かが判定される。

所定値より大きい場合（Ｙｅｓ）には、処理はステップ９９ｆに進む。所定値と同じか所定値より小さい場合（Ｎｏ）には、通常撮影（時間方向の画素加算をしない撮影）を行う（ステップ９９ｍ）。

ステップ９９ｆ：撮影場所の明るさ、シャッタ開口時間（露光時間）およびフレームレートのうちの少なくとも１つに応じて、手振れが目立たない解像度（限界解像度）Ｎ_１を設定する。

設定後、処理はステップ９９ｇに進む。

ステップ９９ｇ：解像度Ｎ_１が初期解像度Ｎ_０より大きいか否かを判定する。

大きい場合（Ｙｅｓ）には、通常撮影（時間方向の画素加算をしない撮影）を行う（ステップ９９ｍ）。同じか小さい場合（Ｎｏ）には、処理はステップ９９ｈに進む。

ステップ９９ｈ：解像度Ｎ_１を初期解像度Ｎ_０より小さい解像度Ｎ_２に変更する。

ステップ９９ｉ：水平方向の画素加算（水平加算処理）および垂直方向の画素加算（垂直加算処理）のうちの少なくとも一方を実施し、解像度をＮ_２に設定する。水平加算処理および垂直加算処理の詳細は、後述される。

ステップ９９ｊ：フレームレートを上げる。

ステップ９９ｋ：多重撮影を行う（時間方向、画素加算モード）。次に、処理は、例えば、ステップ５１ｙ（図９参照）に進む。

９．解像度の変更
図１４は、面内画素加算と時間軸内画素加算とによって解像度を変更する手順を示す。

以下、図１４を参照して面内画素加算と時間軸内画素加算とによって解像度を変更する手順をステップごとに説明する。

ステップ７０ａ：撮像素子内の９個の画素（画素６０ａ〜画素６０ｉ）を示すデータを面内方向に加算して、１つの画素６２を示すデータを生成する。

ステップ７０ｂ：実際のアドレスより多い仮想アドレスを設定する（実際のアドレスの量を拡大することによって、仮想アドレスを設定する）。手振れ補正情報（揺動情報）に応じて仮想的な切り出し部６５を設定する。

ステップ７０ｃ：手振れ補正情報に応じて、仮想アドレス上で、画像６１を示すデータをシフトする。この場合、元の画素６２を示すデータと周囲の画素を示すデータとに基づいて、新たな画素６６を示すデータを生成する。

図１５は、本発明の実施の形態による実際の画素数より多い画素数を設定して手振れを補正する原理を示す。手振れ補正量は画素の１／１０の分解能をもつため、精密に補正するために、画素６２を１０分割した仮想画素６７を生成し、仮想画素６７をシフトする。

仮想画素６７を仮想空間上でシフトした後、処理はステップ７０ｄに進む。

ステップ７０ｄ：画像を切り出す。

ステップ７０ｅ：切り出し画像６４を示すデータを得る。はみ出した部分６８を示すデータは捨てる。

ステップ７０ｆ：主画像メモリ３０に切り出し画像６４を示すデータを記録する。この時の手振れ補正量は、主画像メモリ３０に記録される。

ステップ７０ｇ：新たな画像６１ａを示すデータが入力されると、ステップ７０ａ〜ステップ７０ｄと同様の処理を行う。

ステップ７０ｈ：手振れ補正量に基づいて、切り出し画像６４ａを示すデータを得る。

ステップ７０ｉ：切り出し画像６４の画素を示すデータと切り出し画像６４ａの画素を示すデータとを時間軸方向に加算（または積分）することによって、合成画像７１を示すデータを得る。

ステップ７０ｊ：合成画像７１を示すデータを主画像メモリ３０に記録する。

ステップ７０ｋ：新たな画像６１ｂを示すデータが入力されると、ステップ７０ａ〜ステップ７０ｅと同様の処理を行う。切り出し画像６４ｂを示すデータを得る。

ステップ７０ｍ：合成画像７１の画素を示すデータと切り出し画像６４ｂの画素を示すデータを時間軸方向に加算することにより、合成画像７１ａを示すデータを得る。

ステップ７０ｎ：１回目の手振れ補正量６９、２回目の手振れ補正量６９ａおよび３回目の手振れ補正量６９ｂを演算することにより、手振れ補正量７２を生成する。手振れ補正量７２に基づいて、３枚の画像が重複して加算された重複領域７３を合成画像７１ａから特定する。

ステップ７０ｐ：重複領域７３を示すデータに対してズーミング演算を行うことにより、拡大補間し、拡大画像７４を示すデータを得る。拡大補間および縮小補間の詳細は後述される。

手振れ補正された静止画７４を示すデータを得て、処理は終了する。

図１４を参照して説明された実施の形態では、３枚の画像を積分する例を説明したが、積分される画像の枚数は３枚に限らない。例えば、露光時間が長くなると、より多くの画像を積分する。より多くの画像を積分することによって、暗い場所の撮影が可能となる。

図１６は、面内方向の加算方法を示す。面内方向の加算は、垂直方向の加算と水平方向の加算とを含む。

図１６（ａ）は、垂直方向の加算方法を示す。垂直方向の読み出し時にＲ（赤）（ｍ、ｎ＋１）とＲ（ｍ、ｎ）とを垂直加算処理し、Ｒ（ｍ、ｎ＋１）＋Ｒ（ｍ、ｎ）を生成する。

図１６（ｂ）は、水平方向の加算方法を示す。同じ色同志の画素を水平方向に加算する。例えば、Ｇ（ｍ、ｎ＋１）＋Ｇ（ｍ、ｎ）とＧ（ｍ＋１、ｎ＋１）＋Ｇ（ｍ＋１、ｎ）とを水平加算処理し、Ｇ（ｍ、ｎ＋１）＋Ｇ（ｍ、ｎ）＋Ｇ（ｍ＋１、ｎ＋１）＋Ｇ（ｍ＋１、ｎ）を生成する。

図１６を参照して説明したように、面内方向の加算によって、４画素を示すデータから１画素を示すデータを生成することができる。

なお、以下に説明するように、面内方向の加算処理において、画像の切り出し位置をシフトすることによって、さらに正確に画像を切り出すことができる。

図１７は、画像の切り出し位置のシフトを説明するための図である。

加算切り換え手段１０２ａと加算切り換え手段１０２ｂとは、揺動検出手段１５（図１参照）から出力された補正信号または検出信号（揺動情報）に応じて、加算モードをＡモード１０３とＢモード１０４との間で切り替える。このように、面内方向の加算処理（図１６参照）において、画像の切り出し位置を１画素分シフトすることによって、さらに正確に画像を切り出すことができる。

図１８は、縮小補間の原理、拡大補間の原理、および高分解能の手振れ補正の原理を示
す。図１８（ａ）は、縮小補間の原理を示す。元の画素（８個）から縮小補間された画素（６個）を得ることができる。図１８（ｂ）は、拡大補間の原理を示す。元の画素（６個）から拡大補間された画素（８個）を得ることができる。図１８（ｃ）は、高分解能の手振れ補正の原理を示す。

１０．手振れ検出に失敗した画像の除去
図１９は、手振れ検出に失敗した画像を除去する手順を示す。

以下、図１９を参照して手振れ検出に失敗した画像を除去する手順をステップごとに説明する。

ステップ８０ａ：シャッター速度（露光時間）がｔ’より長いか否かが判定される。

シャッター速度（露光時間）がｔ’より長い場合（Ｙｅｓ）には、処理はステップ８０ｂに進む。

ステップ８０ｂ：手振れが激しいか否かが判定される。

手振れが激しくない場合（Ｎｏ）には、処理はステップ８０ｃに進む。手振れが激しい場合（Ｙｅｓ）には、処理はステップ８０ｄに進む。

ステップ８０ｃ：解像度を予め設定されている解像度に設定したままで、撮影を行う。

ステップ８０ｄ：手振れ補正を優先的に行うか否かを判定する。手振れ補正を優先的に行うための設定がＯＮである場合（Ｙｅｓ）には、処理はステップ８０ｅに進む。手振れ補正を優先的に行うための設定がＯＮでない場合（Ｎｏ）には、処理はステップ８０ｃに進む。

ステップ８０ｅ：手振れ補正モードが表示される。

ステップ８０ｆ：露光時間ｔがｔ_１＜ｔ＜ｔ_２であるか否かを判定する。

露光時間ｔがｔ_１＜ｔ＜ｔ_２である場合（Ｙｅｓ）には、処理はステップ８１ｄに進み、面内画素が加算され（ステップ８１ｄ）、露光時間ｔをｔ＜ｔ_１に設定し（ステップ８１ｅ）、撮影が開始される（ステップ８１ｆ）。

露光時間ｔがｔ_１＜ｔ＜ｔ_２でない場合（Ｎｏ）には、処理はステップ８０ｇに進み、ｔ_２＜ｔ＜ｔ_３であるか否かを判定し、ｔ_２＜ｔ＜ｔ_３でない場合（Ｎｏ）には、処理を停止する（ステップ８１ｇ）。ｔ_２＜ｔ＜ｔ_３である場合（Ｙｅｓ）には、処理はステップ８０ｈに進む。

ステップ８０ｈ：面内の画素加算の設定を行う。

ステップ８０ｉ：露光時間ｔをｔ＜ｔ_２にし、手振れ補正用に撮影する画像数Ｐを求める。

ステップ８０ｊ：撮影を開始する。Ｒ＝０に設定する。

ステップ８０ｋ：ｎ＝０に設定する。

ステップ８０ｍ：ｎ＝ｎ＋１に設定する。

ステップ８０ｎ：第ｎ番目の画像の面内方向の画素加算を行う。

ステップ８０ｐ：手振れの検出を行う。

ステップ８０ｑ：手振れの検出に成功したか否かを判定する。

手振れの検出に失敗した場合（Ｎｏ）には、Ｒ＝Ｒ＋１とし（ステップ８０ｒ）、Ｒ＜Ｒ_０であるか否か（Ｒが設定値Ｒ_０より小さいか否か）を判定し、Ｒ＜Ｒ_０でない場合（Ｎｏ）には、処理が停止される（ステップ８０ｔ）。Ｒ＜Ｒ_０である場合（Ｙｅｓ）には、動きベクトルの検出点および動きベクトルの検出数のうちの少なくとも一方を変更し（ステップ８０ｖ）、最初から補正作業をやり直すために、処理はステップ８０ｋに進む。

手振れの検出に成功した場合（Ｙｅｓ）には、処理はステップ８０ｕに進む。

ステップ８０ｕ：主画像メモリ３０に補正後の画像を蓄積する。

ステップ８０ｗ：ｎ＝Ｐであるか否かを判定する。

ｎ＝Ｐでない場合（Ｎｏ）には、処理はステップ８０ｍに進む。ｎ＝Ｐである場合（Ｙｅｓ）には、手振れ補正用に撮影する全ての画像（全分割画像）の処理が終ったと判断され、処理はステップ８０ｘに進む。

ステップ８０ｘ：主画像メモリ３０の中の複数の補正画像を時間軸方向に加算もしくは積分する。

ステップ８０ｙ：１枚の画像を示すデータを生成する。

ステップ８０ｚ：生成された１枚の画像を示すデータに対して間引き処理等を行い、表示部１２に表示する。

ステップ８１ａ：操作者が画像保存スイッチをＯＮにするか否かを判断する。

ステップ８１ｂ：画像を示すデータに対して圧縮処理（ＪＰＥＧ等）を行い、画像データの容量を小さくする。

ステップ８１ｃ：記録媒体１４（例えば、ＩＣカード）に記録する。

図１９を参照して説明したように、本発明の実施の形態によれば、手振れの検出に失敗した補正画像データの加算（積分）を防止できる。例えば、時間軸方向に加算（積分）した検出に失敗するような検出困難な画像の場合でも、手振れ補正された画像を得ることができる。また手振れの検出に失敗した画像の次の画像から時間軸方向の積分を開始することができるため、時間利用効率が良い。

１１．手振れ量の表示
図２０は、本発明の実施の形態の撮影装置２００の構成を示す。

撮影装置２００は、撮影装置１００と同様に、手振れ量の表示を行うことができる。撮影装置２００は、手振れ量演算部９２と、軌跡演算部９１と、表示部９５と、スピーカ９
７と、バイブレータ９８と、ＣＰＵ９９と、振動ジャイロ１０１ａと、振動ジャイロ１０１ｂとを含む。

手振れ量演算部９２（揺動検出手段１５：図１参照）は、手振れ量（揺動量）を演算し、表示回路を介して表示部９５に出力する。軌跡演算部９１は、手振れ補正しても補正しきれなかった手振れの軌跡を演算し、表示回路を介して表示部９５に出力する。

ＣＰＵ９９は、手振れ量が所定の値より大きいか否かを判定し、所定の値より大きい場合には、表示部９５、スピーカ９７およびバイブレータ９８のうちの少なくとも１つに、判定結果を出力するよう指示する。

表示部９５は、ＣＰＵ９９の指示に従って、判定結果を表示する。スピーカ９７は、ＣＰＵ９９の指示に従って、警告音を発生する。バイブレータ９８は、ＣＰＵ９９の指示に従って、振動する。

図２１は、撮影装置２００に含まれる表示部９５の一例を示す。

表示部９５では、手振れ量が、インジケーター９３、９３ａ、９３ｂ、９３ｃによって、表示される。撮影者がこの表示を目視することによって、撮影者は手振れ量と手振れ方向とを確認することができる。手振れ量と手振れ方向とを確認することによって、撮影者はカメラの固定方法を変更する。その結果、人間の操作により通常より手振れの少ない静止画を得ることができる。

図２２は、撮影装置２００に含まれる表示部９５の別の例を示す。

表示部９５では、手振れ補正しても補正しきれなかった手振れの軌跡が、軌跡９４ｂおよび軌跡９４ｄのように表示される。撮影者がこの表示を目視することによって、撮影後に、その静止画がどの程度手振れしているかを確認することができる。手振れの失敗をカメラの小さな表示部で確認できるので、撮影者は、手振れ補正の失敗をチェックできる。流し撮りモード（例えばパンニング、パノラマ撮影）の場合には、タテ方向の手振れのみをチェックしてもよい。

なお、表示部９５では、手段振れ量（ｘ、ｙ）が所定の値（ｘ_０、ｙ_０）より大きい場合（（ｘ＞ｘ_０、またはｙ＞ｙ_０）あるいは（ｘ＞ｘ_０、かつｙ＞ｙ_０））には、警告表示を行ってもよい。また、スピーカは警告音を発生してもよい。所定の値（ｘ_０、ｙ_０）は、例えば、ズーム比に応じて設定される。

さらに、表示部９５では、手段振れ量（ｘ、ｙ）が所定の値（ｘ_０、ｙ_０）より小さい場合（（ｘ＜ｘ_０、またはｙ＜ｙ_０）あるいは（ｘ＜ｘ_０、かつｙ＜ｙ_０））には、表示（例えば「ＯＫ」）を行ってもよい。また、スピーカは音を発生してもよい。所定の値（ｘ_０、ｙ_０）は、例えば、ズーム比に応じて設定される。

図２３は、パンニングまたはパノラマ撮影時の境界インジケーター９７の表示を示す。

図２３（ａ）は、３つのフレームに分けて撮影するための風景を示す。

図２３（ｂ）は、フレーム９８ａを示す。図２３（ｃ）は、フレーム９８ｂを示す。図２３（ｄ）は、フレーム９８ｃを示す。図２３（ｅ）は、フレーム９８ｄを示す。

図２３（ａ）に示された風景を右方向へパノラマ撮影する場合、手振れ補正用の動きベ
クトルの検出用の代表点である検出点９６ａ、９６ｂ、９６ｃ（図２３（ｂ）参照）のうちの検出点９６ａは、フレーム上を移動し、フレーム９８ｂの左端にくる（図２３（ｃ）参照）。この時、Ｌ１だけ画面が右にシフトしたことを動き検出のための揺動検出手段１５が検出し、図２３（ｂ）のフレームの右端の境界を示す境界インジケーター９７ａをフレーム右端からＬ１に位置に表示する（図２３（ｃ）参照）。

同様にして、揺動検出手段１５が、Ｌ２だけ画面が右にシフトしたことを検出し、境界インジケーター９７ｂをフレーム右端からＬ２に位置に表示する（図２３（ｄ）参照）。

同様にして、図２３（ｅ）では境界インジケーター９７ｃは画面左端にくる。この段階で撮影者は次の撮影位置にきたことを知ることができる。必要ならスピーカー３７（図１参照）により通知音を発生させ撮影者に知らせることができる。この時、撮影者がシャッターボタンを押すことにより、ほぼ完全なパノラマ撮影をすることができる。

以上、検出点を画面上に複数個設定し、その検出点の動きベクトルから撮影者の移動をフレームの動きと見なして判別する方法を述べた。

この方法では、手振れ補正のための手振れ検出手段によってパンニング検出を行う。しかし、図２０に示すように、振動ジャイロ１０１ａおよび振動ジャイロ１０１ｂを用いて手振れ検出を行う撮影装置では、振動ジャイロにより撮影者のパンニング回転角を検出し、１フレーム分の左右方向のパンニングに必要な回転角θ_０をズーム検出部のズーム比に応じて求めることもできる。

まず、図２３（ｂ）の状態では、右端に境界インジケータ９７を表示させる。この状態で撮影者は、パノラマ撮影の最初の１枚目を撮影する。次に、撮影者がカメラを右方向に回転角θ_０パンニング（つまり回転）した場合、撮影者はカメラが２枚目のフレームの撮影位置にきたことがわかる。

回転角θ_０に達した時点で、左端に境界インジケータ９７ｃを表示する（図２３（ｅ）参照）。この時点で、回転角θ_０に達したことをスピーカーもしくは表示によって撮影者に通知する。撮影者に次のシャッターを切らせることにより左右方向に正確なパノラマ撮影ができる。

左右方向だけでなく、上下方向の境界インジケータ９９ａ、９９ｂを表示部１２に表示することにより、撮影者が容易に、上下と左右とが一致したパノラマ撮影をすることができる（図２３（ｂ）参照）。この場合、パンニング方向を表示画面上に矢印で示し、正しいパンニング方向を表示することによって、撮影者は矢印通りにカメラを向けるだけで容易にパノラマ撮影ができる。一般に、撮影者はカメラを手持ちして撮影するため、正確に撮影方向を定めることができない。しかし、カメラの手振れ補正機能を用いて画面の左右上下を自動的に調整することによって、極めて正確なパノラマ撮影が可能となる。

なお、カメラの手振れ補正機能を用いて画面の左右上下を自動的に調整する場合でも、撮影したパノラマ画面と理想的なパノラマ画面との誤差が発生する。撮影状態の属性を示す属性データ（Ｅｘｉｆ等）に、この誤差を追加記録することによって、複数の画像を合成して１枚のパノラマ画像に変換する時に左右上下の位置合わせをより正確に行うことが可能になる。この誤差情報に基づて、誤差を修正できるからである。

以上述べたことは、手振れ検出方式が電子検出方式である場合でも、同様に実現できる。

図２４は、フレーム内の手振れ検出のための検出点を示す。手振れ検出の失敗が多い場合、またはフレームレートが遅い場合に、フレーム９８内での、検出点９６の位置の変更、または、検出点９６の数の増加によって、手振れ検出の成功率を上げることができる。

このように、本発明の撮影装置によれば、撮影者は手振れの程度を確認することができる。手振れの程度を確認することによって、撮影者はカメラの固定方法を変更することができ、その結果、人間の操作により通常より手振れの少ない静止画を得ることができる。

以上、（１１．手振れ量の表示）において、図１および図２０〜図２３を参照して本発明の実施の形態の一例を説明した。

例えば、図１および図２０〜図２３に示される実施の形態では、揺動検出手段１５（手振れ量演算部９２）が「撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手段」に対応し、ＣＰＵ９９が「揺動量が所定の値より大きいか否かを判定する判定手段」に対応し、表示部９５、スピーカ９７およびバイブレータ９８が「判定結果を出力する出力手段」に対応する。

しかし、本発明の撮影装置が図１および図２０〜図２３に示される実施の形態に限定されるわけではない。撮影装置が備える各構成要素が、上述した「撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手段」、「揺動量が所定の値より大きいか否かを判定する判定手段」および「判定結果を出力する出力手段」の各々の機能を有する限りは、任意の構成を有し得る。

以上のように、本発明の好ましい実施形態を用いて本発明を例示してきたが、本発明は、この実施形態に限定して解釈されるべきものではない。本発明は、特許請求の範囲によってのみその範囲が解釈されるべきであることが理解される。当業者は、本発明の具体的な好ましい実施形態の記載から、本発明の記載および技術常識に基づいて等価な範囲を実施することができることが理解される。本明細書において引用した特許、特許出願および文献は、その内容自体が具体的に本明細書に記載されているのと同様にその内容が本明細書に対する参考として援用されるべきであることが理解される。

本発明の情報生成装置、撮影装置および撮影方法によれば、複数のフレームを示す情報を揺動補正し、静止画を示す情報を生成することができるため、手ぶれ補正された１枚の静止画像を得ることができる。

本発明は、所定の露光期間中に複数の画像を撮影し、複数の画像の各々の手振れを補正する。複数の補正画像を演算処理することによって、１枚の静止画像を得ることにより、手振れを補正したＳ／Ｎのよい静止画像を得ることができる。

本発明は、手振れ補正時にフレームレートが低い場合には、クロック速度を上げる、または解像度を落とすことによって、フレームレートを上げる。したがって、電子的な手振れ補正に起因する画質劣化が少ない。

本発明の撮影装置によれば、撮影者は手振れの程度を確認することができる。手振れの程度を確認することによって、撮影者はカメラの固定方法を変更することができ、その結果、人間の操作により通常より手振れの少ない静止画像を得ることができる。

本発明の情報生成装置は、複数のフレーム情報を記憶する記憶手段と、前記記憶手段に記憶された複数のフレーム情報に基づいて、前記静止像を示す静止画像情報を生成する情報生成手段とを備え、前記複数のフレーム情報は、所定の露光期間に撮影された静止像を表す複数のフレームを示す情報であって、前記複数のフレーム間の揺動量に応じて補正された情報であってもよい。

前記情報生成手段は、前記記憶手段に記憶された複数のフレーム情報を一括して演算することによって、前記静止画像情報を生成してもよい。

前記情報生成手段は、前記記憶手段に記憶された複数のフレーム情報の各々を順次演算することによって、前記静止画像情報を生成してもよい。

前記複数のフレーム情報は、撮像素子の撮像面に含まれる複数の画素を示す情報を水平方向および垂直方向のうちの少なくとも一方向に加算して生成された情報に基づいて生成されてもよい。

本発明の撮影装置は、所定の露光期間に静止像を撮影する撮影装置であって、前記撮影
された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手段と、前記検出された揺動量に応じて、前記複数のフレームを示す複数のフレーム情報を補正する揺動補正手段と、前記揺動補正された複数のフレーム情報を記憶する記憶手段と、前記記憶手段に記憶された複数のフレーム情報に基づいて、前記静止像を示す静止画像情報を生成する情報生成手段とを備えていてもよい。

前記情報生成手段は、前記記憶手段に記憶された複数のフレーム情報を一括して演算することによって、前記静止画像情報を生成してもよい。

前記情報生成手段は、前記記憶手段に記憶された複数のフレーム情報の各々を順次演算することによって、前記静止画像情報を生成してもよい。

前記揺動量に応じて、前記複数のフレームの解像度を変更する解像度変更手段をさらに備えてもよい。

前記揺動量に応じて、フレームレートを変更するフレームレート変更手段をさらに備えてもよい。前記フレームレートは、単位時間当たりに撮影された静止像を表す複数のフレームの数を示してもよい。

明るさに応じて、前記複数のフレームの解像度を変更する解像度変更手段をさらに備えてもよい。

ズーム比に応じて、前記複数のフレームの解像度を変更する解像度変更手段をさらに備えてもよい。

前記揺動量検出手段は、撮像素子の撮像面に含まれる複数の画素を示す情報を加算して生成された情報に基づいて前記揺動量を検出し、前記揺動補正手段は、前記揺動量に応じて、前記複数のフレーム情報の一部を切り出すことによって前記複数のフレーム情報を補正してもよい。

前記揺動量検出手段は、撮像素子の撮像面に含まれる複数の画素に基づいて生成された情報に基づくことなく前記揺動量を検出してもよい。

前記所定の露光時間が所定の値より大きいか否かを判定する判定手段をさらに備え、前記所定の露光時間が所定の値より大きいと判定された場合には、前記揺動量検出手段は、撮像素子の撮像面に含まれる複数の画素を示す情報を加算して生成された情報に基づいて前記揺動量を検出してもよい。

本発明の撮影方法は、所定の露光期間に静止像を撮影する撮影方法であって、前記撮影された静止像を表す複数のフレーム間の揺動量を検出するステップと、前記検出された揺動量に応じて、前記複数のフレームを示す複数のフレーム情報を補正するステップと、前記揺動補正された複数のフレーム情報を記憶するステップと、前記記憶手段に記憶された複数のフレーム情報に基づいて、前記静止像を示す静止画像情報を生成するステップとを包含してもよい。

本発明の撮影装置は、所定の露光期間に静止像を撮影する撮影装置であって、前記撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手段と、前記所定の露光期間経過後、前記検出された揺動量を表示する表示手段とを備えていてもよい。

本発明の撮影装置は、所定の露光期間に静止像を撮影する撮影装置であって、前記撮影された静止像を表す複数のフレーム間の揺動量を検出する揺動量検出手段と、前記揺動量が所定の値より大きいか否かを判定する判定手段と、前記判定結果を出力する出力手段とを備えていてもよい。

前記出力手段は、前記揺動量が前記所定の値より大きいと判定された場合に前記判定結果を表示してもよい。

前記出力手段は、前記揺動量が前記所定の値より大きいと判定された場合に音を発生してもよい。

前記出力手段は、前記揺動量が前記所定の値より大きいと判定された場合に振動してもよい。

本発明の実施の形態の撮影装置１００を示す図である。 揺動検出手段１５の構成を示す図である。 本発明の実施の形態の手振れ補正の動作を示す図である。 本発明の実施の形態のマスキングの動作を示す図である。 画素数とフレーム周波数との関係を示す図である。 ４分割された画素領域を含む撮像部５の構成を示す図である。 本発明の実施の形態におけるフレームレートを速くした場合の動作図である。 本発明の実施の形態の撮影処理の手順（ステップ５０ａ〜ステップ５０ｆ）を示すフローチャートである。 本発明の実施の形態の撮影処理の手順（ステップ５１ａ〜ステップ５１ｙ）を示すフローチャートである。 本発明の実施の形態の撮影処理の手順（ステップ５２ａ〜ステップ５２ｔ）を示すフローチャートである。 本発明の実施の形態の順次演算処理手順を示すフローチャートである。 本発明の実施の形態の一括演算処理手順を示すフローチャートである。 撮影場所の明るさや、シャッター速度（露光時間）に応じて、複数の画像（分割画像）を積分することによって、手振れ補正を行うための処理手順を示すフローチャートである。 面内画素加算と時間軸内画素加算とによって解像度を変更する手順を示すフローチャートである。 本発明の実施の形態による実際の画素数より多い画素数を設定して手振れを補正する原理を示す図である。 面内方向の加算方法を示す図である。 画像の切り出し位置のシフトを説明するための図である。 縮小補間の原理、拡大補間の原理、および高分解能の手振れ補正の原理を示す図である。 手振れ検出に失敗した画像を除去する手順を示すフローチャートである。 本発明の実施の形態の撮影装置２００の構成を示す図である。 撮影装置２００に含まれる表示部９５の一例を示す図である。 撮影装置２００に含まれる表示部９５の別の例を示す図である。 パンニングまたはパノラマ撮影時の境界インジケーター９７の表示を示す図である。 フレーム内の手振れ検出のための検出点を示す図である。

符号の説明

２ レンズ部
４ 自動焦点部
５ 撮像部
６ ズーム部
８ 副画像メモリ
９ 揺動補正部
１０ 表示切替部
１１ 表示回路
１２ 表示部
１３ 記録部
１４ 記録媒体
１５ 揺動検出手段
１６ 第１メモリ
１７ 第２メモリ
１８ 演算部
２０ マスキング部
２１ 揺動補正制御部
２２ トリミング部
２３ 画素転送部
２４ 解像度変更部
２５ シャッターボタン
２５ａ 間引き制御部
２６ ＣＰＵ
２７ クロック制御手段
２８ 処理クロック供給部
２９ 演算部
２９ａ 副演算部
３０ 主画像メモリ
３２ 転送クロック供給部
３６ バイブレータ
３７ スピーカ
３９ 明部抽出部
４０ フレームレート変更部
１００ 撮影装置

Claims (5)

1. 静止像を撮像する撮影装置であって、
   露光時間に複数のフレーム情報を取得する撮像部と、
   前記複数のフレーム間の揺動量を検出する揺動量検出手段と、
   前記複数のフレームのうち所定のフレームから明部を抽出する明部抽出部と、
   前記揺動量と前記明部とに基づいて前記所定のフレームとは異なる他のフレームの補正画像を取得するマスキング部と、
   前記所定のフレームと前記他のフレームの補正画像とを合成し、前記静止像を示す静止画像情報を生成する第１の演算部と、
   設定された露出時間を取得する手段と、
   設定解像度を取得する手段と、
   前記設定解像度が第１解像度より高い場合に、転送クロックを速くするクロック制御手段と、
   前記転送クロックが速いほどフレームレートを高く設定するフレームレート変更部と、
   前記露出時間と前記フレームレートとに応じて撮像枚数を決定する制御部と、
   前記露出時間に、決定された前記撮像枚数の画像データを取得し、取得された画像データを合成し静止画を表す１枚の画像データを生成する第２の演算部と
   を含む撮影装置。
2. ストロボ発光を行うストロボ発光手段をさらに含み、
   前記所定のフレームは、前記複数のフレームのうち前記ストロボ発光時に撮像されたフレームであって、前記他のフレームより前に撮像されたフレームである、請求項１記載の撮影装置。
3. 更に、手ぶれの程度を判定し、判定の結果手ぶれが大きい場合に、前記設定解像度を第１解像度より低い第２解像度に変更し、新たにフレームレートを高く変更し、
   前記露出時間と新たに変更されたフレームレートとに基づいて、前記撮像枚数を決定する、請求項１に記載の撮影装置。
4. 前記第２解像度への変更を、水平方向または垂直方向の画素加算により行う、請求項３に記載の撮影装置。
5. 静止像を撮像する撮影方法であって、
   露光時間に複数のフレーム情報を取得するステップと、
   前記複数のフレーム間の揺動量を検出するステップと、
   前記複数のフレームのうち所定のフレームから明部を抽出するステップと、
   前記揺動量と前記明部とに基づいて前記所定のフレームとは異なる他のフレームの補正画像を取得するステップと、
   前記所定のフレームと前記他のフレームの補正画像とを合成し、前記静止像を示す静止画像情報を生成するステップと、
   設定された露出時間を取得するステップと、
   設定解像度を取得するステップと、
   前記設定解像度が第１解像度より高い場合に、転送クロックを速くするステップと、
   前記転送クロックが速いほどフレームレートを高く設定するステップと、
   前記露出時間と前記フレームレートとに応じて撮像枚数を決定するステップと、
   前記露出時間に、決定された前記撮像枚数の画像データを取得し、取得された画像データを合成し静止画を表す１枚の画像データを生成するステップと
   を含む撮影方法。

Images