JP6740052B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、撮像装置およびその制御方法に関する。

従来、カメラの手持ち撮影を行うときに、手振れなどによる像ブレの影響を抑制するため、像ブレが画像に現れにくい短時間露光で複数枚の画像を撮影、合成して、像ブレを抑制した十分な露出の画像を生成する技術がある。
特許文献１には、短時間で撮像した複数枚の画像を位置合わせ合成して、像ブレを抑制した長時間露光と等しい画像を得る、画像合成防振の技術が開示されている。

特開平９−２６１５２６号公報

しかしながら、特許文献１のように、像の重なり合った十分な露出の領域のみを用いて長時間露光と等しい画像を取得すると、像ブレによる画像のずれによって生じた露出不足の領域をトリミングすることになり、出力画像が小さくなってしまう。

本発明は、連続撮影した画像を合成する場合に、画像間の被写体像のずれを抑制する撮像装置を提供することを目的とする。

上記課題を解決するために、本発明の一側面である撮像装置は、連続して撮像された複数の画像を用いた合成画像を生成する撮像装置であって、撮像部と、前記撮像部で撮像された複数の画像間の位置ずれを検出する検出部と、前記検出部により検出された位置ずれに基づいて、光学的に画像の像振れを補正する振れ補正部を駆動する駆動部と、前記検出部により検出された位置ずれに基づいて、前記像振れが補正された複数の画像の座標変換を行う座標変換部と、を有し、前記検出部は、前記合成画像を生成する際に合成されない画像を含む複数の画像間の位置ずれを検出する。

本発明によれば、連続撮影した画像を合成する場合に、画像間の被写体像のずれを抑制する撮像装置を提供することができる。

第１実施形態における撮像装置の構成を示すブロック図である。 構図ズレ検出を説明する図である。 第１実施形態における撮像中の構図ズレとその補正を説明する図である。 第１実施形態におけるブレ補正部の効果を説明する図である。 第１実施形態における撮像動作のフローチャートである。 第２実施形態における撮像装置の構成を示すブロック図である。 第２実施形態における撮像中の構図ズレ補正を説明する図である。 第２実施形態における撮像動作のフローチャートである。 第２実施形態におけるＣＭＯＳの特性を説明する図である。 第２実施形態における撮像動作のフローチャートである。 第３実施形態における撮像装置の構成を示すブロック図である。 第３実施形態における撮像中の構図ズレ補正を説明する図である。

（第１実施形態）
図１は、撮像装置の構成を示すブロックである。本実施形態において、撮像装置はカメラ本体とレンズが一体となったものを例に説明するが、これに限られるものではなく、撮像装置であるカメラ本体にレンズ装置が着脱可能に取り付けられているものでもよい。
第１実施形態における撮像装置は、レンズである撮像光学系１１、カメラ本体１２を含む。カメラ本体１２は、ＣＭＯＳやＣＣＤなどの撮像素子を有する撮像部１３、撮像部やレンズの駆動制御を行う駆動部、画像から座標を検出する検出部、画像処理を行う処理部、画像合成を行う画像合成部など有する。

撮像準備用撮像駆動部（準備用駆動部）１４は、撮像に先立ち被写体を観察するために撮像部１３を駆動し、静止画撮像用撮像駆動部（撮像用駆動部）１５は、静止画撮像用に撮像部１３を駆動する。ブレ補正部１６は、カメラ本体に加わる像ブレを撮像光学系であるレンズ群の一部を移動させることで光学的に補正する。画像処理部１７は、撮像部１３の信号が入力され、その信号に対して輝度信号や色信号を形成するなどの信号処理を行ない、更にガンマ補正や圧縮処理を行う。第１座標検出部１８は、撮像部１３が時系列に出力する各画像の座標を求める。より具体的には、撮像部１３が取得した画像の所定特徴点の座標を求め、次に取得する画像においても同一の特徴点の座標を求める。駆動部１９は、第１座標検出部１８の出力に基づいてブレ補正部１６を駆動する。なお、ブレ補正部１６でブレ補正された撮像光束が撮像部１３に入射されるので、第１座標検出部１８からの座標情報はブレ補正部１６のブレ補正残りの座標情報となる。そして、撮像部１３のブレ補正残りが少なくなるようにブレ補正部が駆動されるので、被写体観察中の像ブレによる観察画像劣化が軽減されることになる。

撮像操作部１１０は、撮像者が操作することで不図示であるピントや絞りの調整、シャッタの開閉制御を行い複数枚の静止画撮像を開始させる。撮像操作部１１０の信号は、静止画撮像用撮像駆動部１５または撮像準備用撮像駆動部１４に入力され、撮像操作部１１０の操作により撮像部１３は静止画撮像およびその準備のための画像取得を行う。シャッタの開閉制御による露光時間は、像ブレによる画像劣化が目立たなくなる程度に短く設定される。また、像ブレによる画像劣化は撮像レンズの焦点距離が長いほど目立つため、上記露光時間も焦点距離に応じて変更される。

しかしながら、露光時間が短いと像ブレによる画像劣化は少ないが露出が不足する。そこで、連続して撮像した露出時間の短い複数の画像を順次合成して露出の不足を補う。そのため、撮像部１３が取得する画像枚数は、各々の撮像画像の露光時間と生成する合成画像の適正な露出時間で決定される。例えば、撮像光学系１１の焦点距離が長く各撮像の露光時間を短くする必要がある場合に、主被写体が暗いために合成画像の適正な露光時間が長くなるときには、撮像枚数は多くなる。

連続して撮像した複数の画像を合成するときには、撮像間の像ブレにより各画像の構図は微妙に変化する。そして、構図が微妙に変化した画像を合成することにより画像劣化が生じてしまう。そのため本実施形態では、像ブレに起因する画像劣化を抑制するために、画像合成に先立って各画像の位置合わせを行う。
第２座標検出部１１１は、撮像部１３が順次取得する複数の画像に対して、それぞれの構図の座標を検出する。より具体的には、主被写体の瞳等の様に各画像で共通する特徴点座標を画像ごとに求める。

図２を参照して、第２座標検出部１１１、座標変換部１１２、画像合成部１１３について説明する。図２は、順次記憶される画像を示している。
第２座標検出部１１１は、まず、図２（Ａ）の画像において主被写体左瞳２１ａを特徴点として設定する。そして、撮像部１３で図２（Ａ）の次に撮像された図２（Ｂ）の画像において、設定した特徴点（主被写体左瞳２１ｂ）の座標を求めている。図２（Ａ）と図２（Ｂ）では、特徴点の座標が像ブレにより上下にＡだけずれている。この特徴点の座標のずれ量は、一般的に動きベクトルと呼ばれている。

座標変換部１１２は、第２座標検出部１１１で求めた座標に基づいて画像をずらす。例えば、図２（Ａ）の画像を基準として図２（Ｂ）の画像をＡだけずらす、すなわち、図２（Ｂ）の画像を図２（Ａ）の画像に対する特徴点の座標のずれ量に基づいてずらすことで構図のずれを補正する。
画像合成部１１３は、座標変換部１１２で座標変換された画像を合成する。
ここでは２枚の画像で説明したが、より多くの画像を合成する場合においても第２座標検出部１１１が各画像の特徴点の座標を検出し、座標変換部１１２が互いの画像間のズレを補正し、画像合成部１１３が座標変換された画像を合成して露出の適正化を図る。

図３を参照して、トリミング部１１４について説明する。図３は、連続した撮像中の構図ズレとその補正を説明する図である。
トリミング部１１４は、画像を合成したことで生じた余分な領域をカットし、画像の大きさを整える。図３において、一点鎖線で示す枠３１は図２（Ａ）の画像、破線で示す枠３２は図２（Ｂ）の画像であり、互いに位置をＡだけズラして合成されている。実線のトリミング枠３３は一点鎖線の枠３１、破線の枠３２と同じ大きさのトリミング枠であり２枚の画像における中心位置に設けられている。トリミング枠３３をはみ出る画像は、トリミング部１１４においてカットされる。尚、トリミング枠３３は２枚の画像の中心に限られるものではなく、合成を開始する一番初めの枠と同じ位置に設けるなどしてもよい。
表示部１１５は、トリミング部１１４でトリミングされた画像をカメラ本体１２の背面液晶に表示する。また、記録部１１６は、トリミングされた画像を記録する。

図４は、本実施形態におけるブレ補正部の効果を説明する図である。
まず、ブレ補正部１６を駆動しない場合を考える。図４（Ａ）から図４（Ｄ）は、ブレ補正部１６を駆動しない場合に撮像部１３が連続して取得する画像であり、各々の画像は像ブレにより構図が微妙にずれている。

図４（Ｆ）の黒丸４１から黒丸４４は、図４（Ａ）から図４（Ｄ）の画像における実線４５で示した像ブレに起因した構図ズレを座標情報にした結果である。座標情報の取得タイミングは、座標算出演算時間を極めて短いとした場合には、画像信号をすべて取得した直後に得られることになる。すなわち、画像取得開始時の座標は、画像取得終了後である１フレーム分遅れて得られることになる。座標の変化を、破線４６で示す。

図４（Ｇ）から図４（Ｊ）は、ブレ補正部１６を駆動させた場合に、撮像部１３が連続して取得する画像である。ブレ補正部１６は、黒丸４２及び黒丸４３の座標情報に基づいて、座標が基準の破線４９に近づくように、矢印４７、４８に示されるように駆動される。ブレ補正部１６を駆動させることにより、図４（Ａ）から図４（Ｄ）の画像は、図４（Ｇ）から図４（Ｊ）の画像となり、構図のずれを軽減できる。

図４（Ｇ）から図４（Ｊ）では、ブレ補正が行われているのにもかかわらず、画像に僅かな構図ズレが発生している。これは、座標の検出が、画像の取得から１フレーム程度遅れることが影響している。そのため、画像取得の初期である図４（Ｇ）の画像に対して、図４（Ｈ）の画像は構図がずれることになる。また、黒丸４３から黒丸４４の様に構図のずれが生じない場合においてもその変化をすぐにブレ補正には反映できない。これにより、図４（Ｊ）は、図４（Ｉ）と構図がずれることになる。僅かな構図のズレが発生するため、ブレ補正後の各画像を合成する段階においても各画像の特徴点合わせ（座標変換）を行う。

なお、上記ではブレ補正部１６を、画像取得の合間に（例えば、図４（Ｃ）から図４（Ｄ）の間など）に破線４９に近づく矢印の量だけ駆動する場合を説明したが、これに限られるものではない。例えば、破線矢印４１０、４１１の様な駆動目標値を与えて、画像を露光している間にその画像の前後の座標情報の差分だけブレ補正部１６が直線的に動く様に駆動してもよい。
また、上記は説明のためにブレ補正を行わない場合に検出した座標を基準にしているが、実際にはブレ補正を行いながら座標を求めるために得られる座標は構図ズレ補正残りとなる。そのため実際に求められる座標は図４（Ｆ）の黒丸４１から黒丸４４と多少異なってくる。

図４（Ｅ）は、ブレ補正部１６を駆動させない場合である図４（Ａ）から図４（Ｄ）の画像合成結果である。主被写体の位置を合わせて画像を合成した結果、破線４１２や一点鎖線４１３、二点鎖線４１４で示すように各画像の撮像領域が異なってくる。そのため、実線４１５でトリミングしたときに、その領域内で画像合成枚数が足りずに露出が不足する範囲が多く存在する。すなわち高品位の画像を得ることが出来ない。

図４（Ｋ）は、ブレ補正部１６を駆動させた場合である図４（Ｇ）から図４（Ｊ）の画像合成結果である。主被写体の位置を合わせて画像を合成した結果、破線４１６や一点鎖線４１７で示すように異なる撮像領域が生まれる。これは上述した座標信号の遅れに起因する、画像のずれによるものである。しかしながら、各画像の撮像領域ズレが少なく、実線でトリミングしたときの画像合成枚数も適正な露出を確保するのに十分なものであり、図４（Ｅ）の画像より高品位な画像が得られる。

図５は、第１実施形態の撮像動作の流れを説明するフローチャートである。説明を分かりやすくするために、撮像装置の動作フローにおいて本実施形態とは直接関係しないステップは省いている。図５のフローは、撮像装置の主電源オンによりスタートする。
ステップＳ５００１では、撮像操作部１１０であるレリーズボタン半押し（Ｓ１）までこのステップを循環して待機し、レリーズボタン半押し（Ｓ１ ｏｎ）でステップＳ５００２に進む。レリーズ半押し（Ｓ１）は、撮像準備の操作である。

ステップＳ５００２では、撮像部１３は、準備用駆動部１５の入力に従って画像を取得する（画像取得１）。この画像取得は、撮像に先立って予め撮像構図を定めるための画像取得である。そのため、後述するステップＳ５００９の画像取得より、撮像信号の間引きなどにより、撮像サイズが小さくてもよい。
ステップＳ５００３では、第１座標検出部１８が、ステップＳ５００２で取得した画像の所望の特徴点の座標を検出する（座標検出１）。
ステップＳ５００４では、Ｓ５００３で検出した座標に基づいて、駆動部１９がブレ補正部１６を駆動し、光学的に像ブレを補正する。
ステップＳ５００５では、ステップＳ５００２で取得した画像を表示部１１５に表示する（表示１）。これにより、表示部１１５には撮像に先だって像ブレによる劣化の少ない画像が表示され、被写体観察中の像ブレによる観察画像劣化を軽減できる。

ステップＳ５００６では、撮像操作部１１０であるレリーズボタンの押し切り（Ｓ２ ｏｎ）で、撮像（露光開始）の指示が行われるまでステップＳ５００１からステップＳ５００６を循環する。
ステップＳ５００７では、露光開始の指示が行われると、撮影用駆動部１４が、撮像光学系１１の焦点距離に応じて像ブレの許容できる露光時間を設定する。例えば焦点距離をｆとすると露光時間を１／ｆに設定する。また、撮影用駆動部１４が、撮像被写体の明るさと設定された露光時間に応じて連続撮像の撮像枚数を設定する。例えば、撮像被写体に適正な露光時間に対して設定した露光時間が１／４の長さの場合には、４枚撮像を設定する。なお、合成により適正な露光時間で撮像したときと同等の明るさの画像を取得できればよいので、例えば、撮像被写体に適正な露光時間に対して設定した露光時間が１／４の長さの場合に５枚以上の撮像を行ってもよい。

ステップＳ５００８では、撮像部１３が、撮像用駆動部１４からの指示に基づいて、画像を取得する（画像取得２）。
ステップＳ５００９では、第１座標検出部１８が、ステップＳ５００８で取得した画像の座標を検出する（座標検出２）。
ステップＳ５０１０では、駆動部１９が、ステップＳ５００９で検出した座標に基づいてブレ補正部１６を駆動し、光学的に像ブレを補正する。ここでは、ステップＳ５００８で取得した画像の特徴点の座標と、ステップＳ５００８よりも前に取得した画像の特徴点の座標とのずれ量に基づいて光学的に像ブレを補正すればよい。
ステップＳ５０１１では、ステップＳ５００７で設定した撮像枚数に達するまでステップＳ５００８からステップＳ５０１１を循環して連続した撮像を進める。そして設定枚数の撮像が終了すると、ステップＳ５０１２に進む。

ステップＳ５０１２では、第２座標検出部１１１が、ステップＳ５０１０で取得した各画像の特徴点座標を検出する（座標検出３）。
ステップＳ５０１３では、座標変換部１１２が、ブレ補正部１６の補正残りを座標変換して補正する。
ステップＳ５０１４では、画像合成部１１３が、ステップＳ５０１３で座標変換して構図を揃えた画像を合成する。これにより、例えば図４（Ｋ）に示されるような、合成画像が得られる。ここで、露光時間の合計が適正な露光時間よりも長くなるように余分に画像を取得している場合には、補正残りが最も多い画像は合成対象から除外するようにしてもよい。
ステップＳ５０１５では、トリミング部１１４が、合成した画像をトリミングして適正な画像サイズにトリミングし、記録画像を生成する。

ステップＳ５０１６では、ステップＳ５０１５で記録画像を記録部１１６に記録する。
ステップＳ５０１７では、表示部１１５に記録画像を表示する（表示２）。
ステップＳ５０１８ではレリーズボタンの半押し（Ｓ１ ｏｎ）が継続されているか否かを判断する。半押しが継続されている間はステップＳ５００２に戻り以上説明したフローを繰り返し、レリーズボタンの半押しが解除された時にはこのフローは終了する。

以上説明したように、複数枚の画像を取得している間の像ブレによる構図変化を、画像取得中の座標信号に基づいてブレ補正部を駆動することで軽減し、さらに、位置合わせを行い合成することで、露出不足の領域が少ない高品位な画像を得ることができる。

（第２実施形態）
図６は、第２実施形態が適用される撮像装置の構成を示したブロック図である。図６と図１との違いは、予測部６１が設けられている点である。予測部６１は、現在の信号とその前の信号から、次の信号を予測する。予測部６１は、例えばカルマンフィルタなどの公知の技術で構成されている。予測部６１は、第１座標検出部１８や第２座標検出部１１１から取得した座標信号に基づいて次の座標信号の予測を行い、予測結果を駆動部１９に出力する。駆動部１９は、予測結果に基づきブレ補正部１６を駆動する。

第１実施形態において説明したように、連続する画像の構図ズレを表す座標信号は画像信号が取得された後に求められるために、座標信号は画像信号取得時より１フレーム程度遅くなる。予測部６１は、今得られた座標信号とその前に得られた座標信号に基づいて、次の座標信号を予測する。そのため、画像が取得される時点におけるその画像の構図ズレを示す信号を得ることができる。

図７は、第２実施形態におけるブレ補正部の効果を説明する図である。
図７（Ａ）の黒丸４１〜黒丸４４は、図４（Ｆ）と同じ座標情報を示している。それに対して、白丸７１〜白丸７４は、黒丸４１〜黒丸４４を予測部６１で処理した結果である。白丸７１〜白丸７４は、画像取得開始時にその画像の構図ズレを座標情報として遅れなく検出した結果と等しくなるため、実線４５の像ブレと重なっている。

ブレ補正部１６は、白丸７２から白丸７４の座標情報に基づいて、座標が基準の破線４９に近づくように、矢印７５から矢印７７に示されるように駆動される。ブレ補正部１６を駆動させることにより、図４（Ａ）から図４（Ｄ）の画像は図７（Ｂ）から図７（Ｅ）の画像となり、構図のずれを軽減できる。
なお、ブレ補正部１６の駆動は、矢印７５から矢印７７に示されるような駆動に限られるものではない。例えば、或いは破線矢印７８から破線矢印７１０のような駆動目標値を与え、画像を露光している間にその画像の前後の座標情報の差分だけブレ補正部１６が直線的に動くように駆動してもよい。
また、図４を用いて説明したときと同様に、図７においても説明のためにブレ補正を行わない場合に検出した座標を基準にしているが、実際にはブレ補正を行いながら座標を求めるために得られる座標は構図ズレ補正残りとなる。そのため、実際に求められる座標である白丸７１から白丸７４は図７（Ａ）とは多少異なってくる。

図７（Ｆ）は、ブレ補正部１６を駆動させた場合である図７（Ｂ）から図７（Ｅ）の画像を、主被写体の位置を合わせて合成した結果である。図７（Ｆ）は、図７（Ｂ）から図７（Ｅ）の各画像の撮像領域ズレが少ないため、予測部６１を有しない撮像装置で得られた図４（Ｋ）の画像より高品位な画像が得られる。

図８は、第２実施形態における撮像動作の流れを説明するフローチャートである。図８において第１実施形態のフローチャート（図５）と同じステップには同じ符号を付し、その説明は省略する。
ステップＳ８００１では、予測部６１が、第１座標検出部１８から順次送られてくるＳ５００３で検出された座標信号に基づいて１フレーム先の座標信号を予測する。予測された座標信号（予測信号）は、駆動部１９に送られる。
ステップＳ５００４では、駆動部１９が、予測信号に基づいてブレ補正部１６を駆動する。これにより、被写体観察中の像ブレによる観察画像劣化を高い精度で軽減できる。

同様に、ステップＳ８００２では、予測部６１が、第１座標検出部１８から順次送られてくるＳ５００８で検出された座標信号に基づいて、１フレーム先の座標信号を予測する。予測された座標信号（予測信号）は、駆動部１９に送られる。
ステップＳ５０１０では、駆動部１９が、この予測信号に基づいてブレ補正部１６を駆動する。この動作により複数枚の撮像画像には、ほぼ構図ズレがなくなる。

しかしながらブレ補正部１６のメカニカルな摩擦や制御不足によるブレ補正誤差も含まれる。そこで、ステップＳ５０１２、ステップＳ５０１３で再度撮像された画像の座標を求め座標変換を行うことでこの誤差を更に小さくしている。
以上説明したように、第２実施形態においては予測部６１を設けることで画像取得時の構図ズレを予測して検出できるようになり、合成画像の品位を更に向上させることができる。

撮像部１３がＣＭＯＳイメージセンサの場合には、特徴点の読み出しタイミングが画面上の特徴点位置により変わる。この特性を利用することにより、画像の構図ずれを早期に求め、予測部６１の作動を制御することも可能になる。
図９（Ａ）から図９（Ｄ）はＣＭＯＳイメージセンサを用いた撮像部が時系列に取得した画像である。
この画像において画像を領域９１、領域９２、領域９３で分ける。ＣＭＯＳイメージセンサ形式の撮像部では時系列的に画像を取得できるため、各々の領域における画像信号取得のタイミングを図９（Ａ）のＡ、Ｂ、Ｃのように異ならせることができる。

例えば、所定の領域である領域９１に特徴点がある場合にはタイミングＡで取得した画像から、図９（Ｅ）の黒丸９４から黒丸９７の座標情報を得ることができる。タイミングＡは次の画像取得開始のタイミングに対して大きな遅れは無いために、特徴点が読み出しの早い所定の領域にある場合にはその情報でブレ補正を行えばよい。
また、領域９２に特徴点がある場合にはタイミングＢで取得した画像から、図９（Ｆ）の黒丸９８から黒丸９１１の座標情報を得ることができる。領域９３に特徴点がある場合には、図４と同じようにタイミングＣで取得した画像から座標情報を得る。タイミングＢで画像を取得した場合にはタイミングＣで取得した場合よりも実測から予測迄の時間が短いため予測部６１による予測精度を上げることができる。
このように画像の中の特徴点が存在する領域に基づいて予測部６１を制御することで、予測負荷の軽減や予測精度の向上も可能になる。

図１０は、撮像部１３がＣＭＯＳの場合における撮像動作のフローを説明するフローチャートであり、図８のフローチャートと同じステップは同じ符号を付し、説明は省く。
ステップＳ１０００１では、予測部６１が、ステップＳ５００３で座標検出を行った第１座標検出部から順次送られてくる座標信号の特徴点が、図９（Ａ）の領域９１に存在するか否か判断する。領域９１に存在する場合には、予測を行うステップであるステップＳ８００１をスキップし、ステップＳ５００４に進む。

またステップＳ１０００２でも、同様に予測部６１が、ステップＳ５００９で座標検出を行った第１座標検出部から順次送られてくる座標信号の特徴点が、図９（Ａ）の領域９１に存在するか否か判定する。特徴点が図９（Ａ）の領域９１に存在する場合には、次のステップであるステップＳ８００２をスキップし、ステップＳ５０１０に進む。
このように、撮像部１３がＣＭＯＳイメージセンサの場合には、特徴点が画像内の何処に配置されているかに基づいて予測部６１の作動を制御することができるため、予測負荷を軽減することができる。

（第３実施形態）
図１１は、第３実施形態が適用される撮像装置の構成を示すブロック図である。図１１と図６との違いは、コマ間座標検出用撮像駆動部（コマ間座標部）１１０１が設けられている点である。コマ間座標部１１０１は、合成画像を作るために静止画を複数取得する間に、構図ズレの座標検出を目的としたコマ間画像を取得するよう撮像部１３を駆動する。

第１実施形態及び第２実施形態においては、静止画用に取得した画像から第１座標検出部が構図ズレの座標情報を取得し、それに基づいて駆動部１９がブレ補正部１６を駆動していた。第３実施形態では、静止画露光の合間に座標情報を得ることを目的としたコマ間画像の取得を行う。このコマ間画像は、サイズの小さな画像でもよく、また、露光時間も静止画露光にあわせる必要はない。静止画撮像の連写間に挿入される画像取得であるために、特徴点の座標情報が得られる範囲でできるだけ連写間隔を妨げない短い露光時間が好ましい。

コマ間座標部１１０１の動作を、図１２を参照して説明する。図１２は、第３実施形態における撮像中の構図ズレ補正を説明する図である。
図１２（Ａ）において、画像１２０１〜画像１２０３は、撮像準備中の被写体観察を目的とした画像であり、準備用駆動部１５の指示に従って撮像部１３が画像を取得する。これら画像の露光時間Ｔ１は、例えば1／３０秒や１／６０秒のように動画撮像等に適した露光時間等に設定される。

画像１２０５、画像１２０７、画像１２０９、画像１２１１は、静止画を得ることを目的とした画像であり、撮像用駆動部１４の指示に従って撮像部１３は画像を取得する。これら画像の露光時間Ｔ２は、例えば１／６０秒など、撮像光学系の焦点距離や被写体距離に基づいて像ブレによる画質劣化の影響が少ない時間に設定される。
画像１２０４、画像１２０６、画像１２０８、画像１２１０は、静止画撮像の合間に座標情報を得ることを目的としたコマ間画像であり、コマ間座標部１１０１の指示に従って撮像部１３は画像を取得する。これらコマ間画像の露光時間Ｔ３は、例えば１／１２０秒など、コマ間画像から座標情報が求められる明るさとなる最短時間に設定される。

いま、準備用の画像、静止画撮像用の画像及びコマ間画像において特徴点が矢印１２１２〜１２１８のタイミングで画像情報を取得し座標情報が算出されるとする。
図１２（Ｂ）において実線１２１９は、画像取得中の像ブレによる画像の構図ズレ変化を示す。黒丸１２２０から黒丸１２２２は画像１２０１から画像１２０３の各々の画像取得後に得られる座標情報を示し、黒丸１２２３から黒丸１２２６は画像１２０４、画像１２０６、画像１２０８、画像１２１０の画像取得後に得られる座標情報を示す。破線１２２７は、これら座標情報から求めた構図ズレである。

白丸１２２８〜白丸１２３４は、それまでの座標情報（黒丸１２２０から黒丸１２２６など）に基づいて予測部６１が予測する予測座標情報であり、時系列的に得られる各々の画像取得領域における重心タイミングＡからＧにおける座標予測結果である。白丸１２２８〜白丸１２３４で求まる軌跡（実線１２１９で示した像ブレによる画像の構図ズレ変化と同じになる）に基づいて駆動部１９がブレ補正部１６を駆動することで、画像間の構図ズレを良好に補正しつつ撮像を続行できる。
また、静止画用画像の各画像からも座標情報を求め、それぞれの画像取得タイミングにおける座標情報からも、予測部６１による予測により予測座標情報を得ることができる。予測座標情報も用いてブレ補正を行うことで、より滑らかで高精度なブレ補正が行われる。

以上説明したように、静止画用の画像取得の合間に、撮像準備のための画像取得と同じサイズの画像で座標情報を得ることができるため、撮像準備から静止画撮像中の一連の動作において安定した座標情報を得ることができる。そのため、第３実施形態においては静止画撮像の合間に座標情報取得用の画像を挿入することで安定したブレ補正が行え、合成画像の品位を更に向上させることができる。座標情報取得タイミングを画像の領域ごとに細分化することで、滑らかなブレ補正も可能になる。

（第４実施形態）
第１実施形態から第３実施形態において、第１座標検出部１８及び第２座標検出部１１１における各画像の座標の検出は、１つの特徴点の座標を求めることで行われていたが、これに限られるものではない。例えば、各画像において複数の特徴点を設定し、それぞれの特徴点の座標を検出するようにしてもよい。例えば、動く被写体を撮影する場合には、主被写体に設定された特徴点のみを用いて座標を検出する。一方、静止している被写体を撮影する場合には、撮像領域全体に設定された特徴点と主被写体に設定された特徴点を用いて座標を検出する。撮像装置に、撮影対象が動く被写体であるのか静止している被写体であるのかの判定を行い、判定結果に基づいて撮影モード（検出方法）を切り替える切替手段を備えるようにしてもよい。切替手段は、例えば、顔検出や動物検知の機能により、主被写体が動体であるか否か判定する。被写体に応じて座標情報の取得方法を切り替えることで、より高精度な補正を行うことができ、画像の品位を向上させることができる。
なお、上記の４つの実施形態では、撮像装置が画像合成及びトリミングを行う例を説明したが、撮像装置は画像合成に用いる画像を取得するための撮像時に光学的にブレ補正を行う構成であればよく、取得した画像を外部に送信し外部機器で画像合成してもよい。
また、上記の４つの実施形態では、光学的にブレ補正を行うためにレンズを移動させる例を説明したが、撮像部１３の撮像素子を移動させてもよい。

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

以上、本発明の好ましい実施形態について説明したが、本発明は、これらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

１３ 撮像部
１８ 座標検出変換１
１９ 駆動部
１１１ 座標検出部２
１１２ 座標変換部
１１３ 画像合成部

Claims (10)

1. 連続して撮像された複数の画像を用いた合成画像を生成する撮像装置であって、
   撮像部と、
   前記撮像部で撮像された複数の画像間の位置ずれを検出する検出部と、
   前記検出部により検出された位置ずれに基づいて、光学的に画像の像ブレを補正する振れ補正部を駆動する駆動部と、
   前記検出部により検出された位置ずれに基づいて、前記像ブレが補正された複数の画像の座標交換を行う座標変換部と、を有し、
   前記検出部は、前記合成画像を生成する際に合成されない画像を含む複数の画像間の位置ずれを検出することを特徴とする撮像装置。
2. 前記検出部により検出された位置ずれに基づいて、次に取得される画像の位置ずれを予測する予測部を有し、
   前記駆動部は、前記予測部により予測された位置ずれに基づいて、振れ補正部を駆動することを特徴とする請求項１に記載の撮像装置。
3. 前記検出部は、画像の特徴点を検出し、前記複数の画像間における該特徴点の座標情報に基づいて、位置ずれを検出する請求項２に記載の撮像装置。
4. 前記予測部は、前記検出部により検出された位置ずれに基づいて、次に取得される画像の前記特徴点の座標情報を予測する請求項３に記載の撮像装置。
5. 前記撮像部は、ＣＭＯＳイメージセンサであり、
   前記駆動部は、前記検出部が検出した前記特徴点が、所定の領域にある場合には、前記検出部により検出された位置ずれに基づいて振れ補正部を駆動し、前記特徴点が前記所定の領域にない場合には、前記予測部により予測された位置ずれに基づいて、振れ補正部を駆動することを特徴とする請求項３または４に記載の撮像装置。
6. 前記予測部は、カルマンフィルタを有することを特徴とする請求項２乃至５のうちいずれか１項に記載の撮像装置。
7. 前記検出部が位置ずれを検出する複数の画像には、前記合成画像の生成に用いられる画像を撮像する間に前記撮像部が取得するコマ間画像が含まれることを特徴とする請求項１乃至６のうちいずれか１項に記載の撮像装置。
8. 前記撮像装置は、さらに、前記合成画像をトリミングし、記録画像を生成するトリミング部を備えることを特徴とする請求項１乃至７のうちいずれか１項に記載の撮像装置。
9. 前記撮像装置は、さらに、光学的に画像の像ブレを補正する振れ補正部を有することを特徴とする請求項１乃至８のうちいずれか１項に記載の撮像装置。
10. 連続して撮像された複数の画像を用いた合成画像を生成する撮像装置の制御方法であって、
    撮像工程と、
    撮像された複数の画像間の位置ずれを検出する検出工程と、
    前記検出工程において検出された位置ずれに基づいて、光学的に画像の像ブレを補正する振れ補正部を駆動する駆動工程と、
    前記検出工程において検出された位置ずれに基づいて、前記像ブレが補正された複数の画像の座標変換を行う座標変換工程と、を有し、
    前記検出工程では、前記合成画像を生成する際に合成されない画像を含む複数の画像間の位置ずれを検出することを特徴とする制御方法。

Images