JP5377179B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

Description

本発明は、撮像装置及び撮像装置の制御方法に関する。

可変頂角プリズム、シフトレンズ等を駆動して撮影範囲を変更しながら複数回の撮影を行い、この複数回の撮影によって得られた複数枚の画像を合成することで、１回の撮影で得られるパノラマ画像等よりも広い領域の撮影画像を作り出す技術が提案されている。この技術によれば、撮像装置が撮影可能な領域を広げることができる。
特許文献１は、可変頂角プリズムを有するレンズとＣＣＤを用いた撮像装置であって、可変頂角プリズムの光軸を制御して得た撮影信号を画像信号処理して、解像度の高い画像を得る撮像装置を開示している。

特開平７−１２３３１２号公報

撮影範囲を変更しながら複数回の撮影を行い、この複数回の撮影によって得られた複数枚の画像を合成すると、合成画像中にそれぞれの撮影画像が重なる画像重畳領域が存在する場合がある。ここで、この画像重畳領域を有効活用し、画像重畳領域について解像度の高い画像が得られるように各々の画像を撮影することが考えられる。しかし、従来、撮影範囲を変更しながら撮影して得られたそれぞれの撮影画像が重なる画像重畳領域を有効活用することは行われていなかった。例えば、上記特許文献１に開示される撮像装置は、複数の撮影画像が重なる画像重畳領域が存在する場合には、重畳した一方の撮影画像を削除してから結合する処理が行われる。従って、従来は、画像重畳領域について解像度の高い画像を得ることはできなかった。また、画像重畳領域を合焦点領域とし、この合焦点領域について解像度の高い画像を得るようにすれば、画像の拡大処理やトリミングを行った場合にも画質の劣化が少なくなり、撮像装置としての利便性が向上すると考えられる。
本発明は、撮影範囲を変更しながら撮影した複数枚の画像を合成して合成画像を生成する撮像装置であって、合成画像中の合焦点領域について高い解像度の画像を得る撮像装置及び撮像装置の制御方法の提供を目的とする。

本発明の一実施形態の撮像装置は、撮影範囲を変更しながら複数枚の画像を撮影する撮像装置である。前記撮像装置は、合焦点領域を検出する合焦点領域検出手段と、光軸を補正する光軸補正レンズと、前記光軸補正レンズを移動させることによって、前記合焦点領域が重畳して撮影されるように前記合焦点領域検出手段により検出された合焦点領域の位置に基づいて撮影範囲を変更して複数枚の画像を撮影し、前記撮影された複数枚の画像を合成して、前記合焦点領域の画像が所定の解像度の画像となる合成画像を生成する撮影制御手段とを備える。

本発明の撮像装置によれば、光軸補正レンズを移動させることによって、撮影範囲が異なる複数枚の画像を撮影することができる。従って、光軸補正レンズ以外の光軸補正手段を撮像装置に設けることなく簡易な構成で撮影領域を拡大することができる。また、本発明の撮像装置によれば、撮影された複数枚の画像の合成画像における合焦点領域について、高い解像度の画像を得ることができる。

本実施形態の撮像装置の構成例を示す図である。 本実施形態の撮像装置の外観の一例を示す図である。 手振れ補正用レンズの機能を説明する図である。 本実施形態の撮像装置による撮影画角の変更処理を説明する図である。 本実施形態の撮像装置の動作処理フローの例を示す図である。 図５のステップＳ２乃至Ｓ４における処理を説明する図である。 連続撮影処理の詳細と画像重畳領域の高解像度化処理を説明する図である。 図５のステップＳ８及びＳ９における処理を説明する図である。

図１は、本実施形態の撮像装置の構成例を示す図である。以下に、図１に示す撮像装置としてデジタルカメラを適用した例について説明する。この撮像装置は、鏡筒１、モータドライバ２、ＡＦＥ（Analog Front End）３、ＳＤＲＡＭ（Synchronous Dynamic Random Access Memory）４、フラッシュメモリ５を備える。また、この撮像装置は、不揮発性メモリ６、カードコネクタ７、バス信号ライン８、ＣＰＵ（Central Processing Unit ）９、マイクロホン１０、スピーカ１１を備える。また、この撮像装置は、ビデオエンコーダ１２、ビデオアンプ１３、ＴＶ（Television）モニタ１４、液晶パネルドライバ１５、液晶パネル１６、操作スイッチ１７、外部接続端子１８を備える。

鏡筒１は、フォーカッシングモータ１０１、レンズ群１０２、アイリスモータ１０３、絞り１０４、ＣＣＤ（Charge Coupled Device ）１０５を備える。被写体からの光はレンズ群１０２から入射し、絞り１０５を通してＣＣＤ１０５に到達する。フォーカッシングモータ１０１が、ＣＣＤ１０５の受光面と平行に配置されたレンズ群１０２を平行移動させる。これにより、レンズ群１０２とＣＣＤ１０５間の距離が調節され、被写体像がＣＣＤ１０５上に結像する。レンズ群１０２は、複数枚のレンズを含んでいる。例えば、レンズ群１０２は、図３（Ａ）乃至（Ｃ）に示すように、レンズ２０２、２０４と、手振れ補正用レンズ２０３とを含む。手振れ補正用レンズ２０３は、光軸を補正する光軸補正レンズであって、例えば、手ぶれ補正に用いられる可動式レンズである。

フォーカッシングモータ１０１が、鏡筒１に設けられたそれぞれのレンズ間の距離を変化させることによって、ＣＣＤ１０５に結像する被写体の焦点距離を調節することができる。フォーカッシングモータ１０１は、フォトインタラプタ（図示を省略）によってその回転数が読み取られる。これにより、レンズ群１０２の存在する位置を認識することができる。フォーカッシングモータ１０１は、モータドライバ２によって回転数を制御することができ、レンズ群１０２を所望の位置に移動することが可能である。撮像装置と被写体との距離や角度によって、レンズ群１０２に入射する光線の入光量や角度が変化するので、撮影の都度、レンズ群１０２とＣＣＤ１０５との間の距離を調整する焦点検出動作が必要になる。

アイリスモータ１０３は、絞り１０４を制御するモータである。アイリスモータ１０３が、被写体の明るさに応じて絞り１０４の開口径を制御することによって、ＣＣＤ１０５に入射する光量が制御され、最適な露出が得られる撮影を行うことができる。なお、鏡筒１は、フォーカッシングモータ１０１、アイリスモータ１０３の他に、手振れ補正用レンズ２０３を移動させる手振れ補正用モータ（図示を省略）を備える。モータドライバ２は、ＣＰＵ９の制御に従って手振れ補正用モータを駆動させることによって、手振れ補正用レンズ２０３を移動させることができる。

ＣＣＤ１０５に結像した被写体像に対して光電変換が行われ、ＣＣＤ１０５の画素一つ一つが得た光量に比例した電荷量が得られる。被写体像の明るい部分については大きな電荷量が得られ、被写体像の暗い部分の電荷量は小さくなる。すなわち、被写体像の濃淡を電荷量の差として得ることができる。ＣＣＤ１０５は、数百万画素〜数千万画素で構成されており、それぞれの画素にマイクロレンズ、カラーフィルタが配置されている。赤、緑、青のカラーフィルタを配置することで、３原色の入光量を得ることができ、その結果、フルカラー画像を得ることができる。ＣＣＤ１０５からの電荷は、プリント基板上の配線パターン（図示を省略）を通してＡＦＥ３に入力される。

ＡＦＥ３には、ＣＣＤ１０５で発生する固定パターンノイズを除去するＣＤＳ回路、ＣＣＤ１０５からの信号をアナログ−デジタル変換するＡ／Ｄ変換回路等のアナログ信号処理回路が組み込まれている。また、ＡＦＥ３には、ＣＣＤ１０５からの電気信号を読み出すためのタイミング信号を作り出すＴＧ回路が組み込まれている。このＴＧ回路は、ＣＣＤ１０５を制御するタイミング信号を生成する。生成されたタイミング信号に従って、ＣＣＤ１０５からＡＦＥ３に電荷が転送される。ＣＤＳ回路が、読み出された電荷について、ノイズ成分の低減処理を行う。そして、Ａ／Ｄ変換回路が、アナログ信号である電荷量をデジタル信号に変換する。上記変換されたデジタル信号は、バス信号ライン８を介して高速送受信が可能なデバイスであるＳＤＲＡＭ４に一時蓄積される。そして、一時蓄積されたデジタル信号が、ＳＤＲＡＭ４から逐次ＣＰＵ９へ読み出され、エッジ強調やノイズ除去、ホワイトバランス等の各種画像処理が行われる。各種画像処理が終了した画像データは、数メガバイト程度の大容量のデータである。この画像データは、ＪＰＥＧ方式等による画像圧縮処理が施された後に、フラッシュメモリ５やカードコネクタ７に挿入可能な不揮発性メモリ６等に保存される。

持ち運び可能な不揮発性メモリ６に画像データを記憶することで、撮像装置で撮影した画像を他のデバイス、例えば、パーソナルコンピュータやプリンタで読み出すことが可能となる。これにより、大画面のディスプレイ上で画像を閲覧したり、写真紙にプリントアウトして写真として閲覧したりすることが可能になる。このように、不揮発性メモリ６を介した画像出力の他に、液晶表示手段である液晶パネル１６を備える撮像装置によれば、撮影した画像を、液晶パネルドライバ１５を介して、撮影後すぐに液晶パネル１６の画面上で確認することができる。液晶パネル１６は、撮像装置に内蔵されているため、小型で解像度が低い場合が多く、複数人で同時に画像を閲覧することが困難である場合がある。このため、図１に示す撮像装置は、内部にビデオエンコーダ１２、ビデオアンプ１３を搭載している。撮像装置が、ビデオエンコーダ１２、ビデオアンプ１３を介してＴＶモニタ１４に映像を出力するようにしてもよい。ＴＶモニタ１４は、液晶パネル１６と比較して大画面で解像度に優れるため、高画素化の進んだデジタルカメラの画像の解像感を十分に表現でき、また、ユーザが多くの人と一緒に画像の閲覧を楽しむことが可能である。

ＣＰＵ９は、撮像装置全体を制御する。以下に、ＣＰＵ９の本実施形態に特有の機能について説明する。ＣＰＵ９は、ＣＣＤ１０５からの電気信号に基づいて、周知の合焦点領域検出技術を用いて合焦点領域を検出する合焦点領域検出手段として機能する。また、ＣＰＵ９は、モータドライバ２を制御して手振れ補正用レンズ２０３を移動させることによって、合焦点領域が重畳して撮影されるように、上記検出された合焦点領域の位置に基づいて撮影範囲を変更して複数枚の画像を撮影する撮影制御手段として機能する。具体的には、ＣＰＵ９は、手振れ補正用レンズ２０３を移動させることによって、撮影画角を変更させながら、複数枚の画像を撮影する。上記撮影制御手段としてのＣＰＵ９は、撮影された複数枚の画像を合成して、合焦点領域の画像が所定の解像度の画像となる合成画像を生成する。なお、ＣＰＵ９には、マイクロホン１０、スピーカ１１、操作スイッチ１７、外部接続端子１８も接続されている。本実施形態の撮像装置の制御方法は、図１に示す撮像装置が備える処理部の機能によって実現される。

図２は、本実施形態の撮像装置の外観の一例を示す図である。図２（Ａ）は、図１に示す撮像装置の正面斜視図を示す。図２（Ｂ）は、図１に示す撮像装置の背面斜視図を示す。図２（Ａ）に示すように、撮像装置は、鏡筒１、外部接続端子１８の他、レリーズスイッチ２１、ズームレバー２２、電源スイッチ２３、ストロボ２４を備える。また、図２（Ｂ）に示すように、撮像装置は、液晶パネル１６、操作スイッチ１７、光学ファインダ２５の他、モードスイッチ２６を備える。

液晶パネル１６上には撮像装置の撮影モードが表示される。撮影者は、液晶パネル１６上に表示される撮影モードを確認しながら、操作スイッチ１７を押して、撮像装置の撮影モードを所望の撮影モードに移行させることができる。本実施形態の撮像装置には、静止画撮影モード、動画撮影モード等の撮影モードと、撮影した画像を確認するための再生モード等が用意されている。本実施形態の撮像装置が、様々な撮影条件をユーザが設定することができるマニュアルモードや、撮影シーンに合わせて最適な撮影が可能な各種撮影シーンモードを備えるようにしてもよい。本実施形態の撮像装置は、特に、広画角・高解像撮影モードを撮影モードとして有している。広画角・高解像撮影モードは、通常の撮影よりも広画角かつ高解像度で撮影できる撮影モードである。具体的には、広画角・高解像撮影モードは、撮影範囲を変更しながら複数枚の画像を撮影し、かつ、撮影された複数枚の画像を合成した場合に、合成画像における合焦点領域の画像が所定の解像度の画像となるようにする撮影モードである。画角とは写真が写る範囲のことであり、広画角であるほど広い範囲の被写体を撮影することが可能である。

図３は、本実施形態の撮像装置が備える手振れ補正用レンズの機能を説明する図である。手振れ補正用レンズは、本来、撮像装置の光学式手ぶれ補正に用いられる。手振れの現象は、主に、撮影者が撮像装置を三脚座に固定せず、手で持って撮影する時などに発生し易い。すなわち、手振れの現象は、撮像装置を握る撮影者の手の揺れが主な原因となって発生する。手ぶれの現象は、特に、撮影時のシャッタースピードが遅く、露光時間が長い場合に顕著に現れる。

図３に示すレンズ群１０２は、レンズ２０２、２０４、手振れ補正用レンズ２０３、図示を省略するフォーカッシングレンズ等を備える。図３（Ａ）は、手振れのない状態におけるレンズ配置と被写体からの光線の進行方向を示す。被写体からの光線は、レンズ群１０２を通じてＣＣＤ１０５に結像する。図３（Ａ）に示すように、撮像装置の画角の中央にある被写体からの光線２０１は、ＣＣＤ１０５の中央に結像する。

図３（Ｂ）は、手振れが発生した状態でのレンズ配置と被写体からの光線の進行方向を示す。撮像装置に手振れが発生すると、鏡筒１が傾き、被写体からの光線２０１の入射角が変化する。この影響で、被写体からの光線２０１は、ＣＣＤ１０５の中央からずれて結像してしまう。図３（Ｂ）中の結像ずれ２０５は、手振れ発生時のＣＣＤ１０５の中央からの結像のずれを示す。図３（Ｃ）は、手振れが発生時の光学式手ぶれ補正を示す。手振れが発生した場合、撮像装置のＣＰＵ９が、モータドライバ２を制御して、手振れの発生方向と同じ方向に手ぶれ補正用レンズ２０３を移動させる。具体的には、手ぶれ補正用レンズ２０３が、図３（Ｃ）中の点線で示す手振れのない状態における位置から、実線で示す手ぶれ補正時の位置に移動する。これにより、被写体からの光線２０１の進行方向が補正されて、この光線２０１がＣＣＤ１０５の中央に結像する。本実施形態の撮像装置は、図３を参照して説明した手振れ補正機能を持つ手振れ補正用レンズ２０３を、撮影画角を広げるために用いる。以下に、本実施形態の撮像装置による、手振れ補正用レンズ２０３を用いた撮影画角の変更処理について説明する。

図４は、本実施形態の撮像装置による撮影画角の変更処理を説明する図である。図４（Ａ）中の矢印は、手振れのない状態におけるレンズ配置と被写体３０１からの光線３０２の進行方向を示す。この光線３０２は、被写体３０１からの光線のうち、レンズ２０２の中央を通過する光線を示す。図４（Ａ）に示すように、光線３０２は、レンズ群１０２を通じてＣＣＤ１０５の中央に結像する。そして、レンズ群１０２を通った後の被写体からの光線は、光軸の中心を中央として、上下左右反転してＣＣＤ１０５に結像する。従って、ＣＣＤ１０５には、被写体３０１の画像として画像３０３が結像する。

図４（Ｂ）は、撮影画角変更時のレンズ配置と被写体からの光線の進行方向を示す。図１に示す撮像装置が備えるＣＰＵ９が手振れ補正用レンズ２０３を下方に移動させた場合を想定する。手振れ補正用レンズ２０３が下方に移動すると、手振れ補正用レンズ２０３の状態は、図５（Ｂ）中の点線で示す状態から実線で示す状態に変更される。被写体３０１からの光線３０２は、下方に移動した手ぶれ補正用レンズ２０３によって屈曲して、ＣＣＤ１０５の上方に結像する。そして、レンズ群１０２を通った後の被写体からの光線は、光軸の中心を中央として、上下左右反転してＣＣＤ１０５に結像する。従って、ＣＣＤ１０５には、被写体３０１の画像として画像３０４が結像する。

図４（Ａ）に示す画像３０３、図４（Ｂ）に示す画像３０４は、ＣＣＤ１０５からＡＦＥ３への読み出し時には、図４（Ａ）、（Ｂ）における下側の画素から読み出され、ＳＤＲＡＭ４上には被写体上方が上向きの画像として展開される。従って、撮影画像は被写体上方が上向きの画像として不揮発性メモリ６等に保存される。その結果、手振れ補正用レンズ２０３が下方に移動した時の画像３０４は、画像３０３が撮影された時の撮像装置の画角（撮影画角）を上にずらした場合、すなわち、撮像装置の光軸中心を撮影者が上方に動かした場合に得られる画像と等価になる。

また、撮像装置のＣＰＵ９が手ぶれ補正用レンズ２０３を上方に移動させて撮影した撮影画像は、撮影画角を下方にずらした場合に得られる撮影画像と等価になる。また、ＣＰＵ９が手ぶれ補正用レンズ２０３を左方向に移動させて撮影した撮影画像、右方向に移動させて撮影した撮影画像は、それぞれ、撮影画角を右方向にずらした場合に得られる撮影画像、右方向にずらした場合に得られる撮影画像と等価になる。すなわち、手振れ補正用レンズ２０３を移動させると、この移動方向と反対方向に撮影画角を変えたときの撮影画像が得られる。従って、本実施形態の撮像装置は、手ぶれ補正用レンズ２０３を移動しながら、撮影画角の異なる複数枚の画像を撮影することができる。

図５は、本実施形態の撮像装置の動作処理フローの例を示す図である。図５に示す動作処理フローは、図１に示す撮像装置のＣＰＵ９の制御の下に実行される。まず、ＣＰＵ９が、撮像装置の撮影モードが広画角・高解像撮影モードに設定されているかを判断する（ステップＳ１）。ＣＰＵ９が、撮影モードが広画角・高解像撮影モードに設定されていないと判断した場合は、ステップＳ１に戻る。ＣＰＵ９が、撮影モードが広画角・高解像撮影モードに設定されていると判断した場合は、ＣＰＵ９が、撮影画角内に人物の顔が検出されるかを判断する（ステップＳ２）。具体的には、予めフラッシュメモリ５にデータベースとして顔の情報を保存しておき、ＣＰＵ９が、撮影時に、顔の情報と、撮影画角内の顔と思われる物体との比較を行う。ＣＰＵ９は、まゆげ、目、鼻、口など特徴的な部分の位置関係を比較して撮影画角内の上記比較対象の物体が人物の顔であるかを判断する。ＣＰＵ９が、撮影画角内に人物の顔が検出されると判断した場合は、ステップＳ３に進む。ＣＰＵ９が、撮影画角内に人物の顔が検出されないと判断した場合は、ステップＳ８に進む。

ステップＳ３において、ＣＰＵ９が、上記ステップＳ２において検出された顔の領域（顔領域）に焦点を合わせて、顔領域を合焦点領域として検出し（ステップＳ３）、ステップＳ４に進む。ステップＳ３においては、ＣＰＵ９が、撮影画角内の顔の位置と、撮像装置から顔までの距離を検出し、この検出結果に基づいて、レンズ群１０２に含まれる図示しないフォーカッシングレンズを動かす方向と距離とを算出する。ＣＰＵ９は、フォーカッシングレンズを動かす方向と距離との算出結果をモータドライバ２に送り、モータドライバ２が、フォーカッシングモータ１０１を駆動してフォーカッシングレンズを動かす。これにより、焦点を顔領域に合わせることができる。

次に、ＣＰＵ９が、手振れ補正用レンズ２０３を移動させて、顔領域を中心に撮像装置の撮影画角を変えながら複数枚の画像を連続撮影する（ステップＳ４）。これにより、合焦点領域である顔領域が重畳して撮影される。ステップＳ４においては、ＣＰＵ９は、撮影した複数枚の画像を合成したときに顔領域の画像が所定の解像度の画像となるように、例えば、顔領域について、各々の画像を水平又は垂直方向に半画素ずらして撮影する。

図６は、図５のステップＳ２乃至Ｓ４における処理を説明する図である。図６（Ａ）は手ぶれ補正用レンズが移動していない状態における、撮像装置の液晶パネル１６と、液晶パネル１６上に表示される画像４０１を示す。図６（Ａ）中の４０３は被写体を示す。画像４０１が表示されている時の撮影画角は、デフォルトの撮影画角である撮影画像角ａ４０２である。撮影画角ａ４０２は、図６（Ａ）中の撮影領域４０２に対応する撮影画角である。図６（Ｂ）は、図５のステップＳ２において、ＣＰＵ９が被写体４０３の顔を検出した時の状態を示す。ＣＰＵ９は、被写体４０３の顔領域に焦点を合わせ（顔領域を合焦点領域として検出し）、この顔領域に対応させて顔検出枠４０４を表示する。顔検出枠４０４は、検出された顔領域を示す枠である。

図６（Ｃ）乃至（Ｇ）は、図５のステップＳ４の処理の概略を説明する図である。ＣＰＵ９が、手振れ補正用レンズ２０３を、光軸を基準として右下方向に移動させる。これにより、撮影画角が光軸を基準として左上方向に移動し、撮影画角ａ４０５となる。撮影画角ａ４０５は、図６（Ｃ）中の撮影領域４０５に対応する撮影画角である。ＣＰＵ９は、例えば、図６（Ｃ）に示すように、顔検出枠４０４で囲まれた顔領域が撮影領域４０５の右下の位置に配置されるように手振れ補正用レンズ２０３を移動させる。ＣＰＵ９は、撮影画角が撮影画角ａ４０５となった状態で１枚目の画像を撮影する。これにより、図６（Ｃ）中の撮影領域４０５に対応する画像である画像Ｉ４０５が得られる。

次に、ＣＰＵ９が、手振れ補正用レンズ２０３を、光軸を基準として左下方向に移動させる。これにより、撮影画角が光軸を基準として右上方向に移動し、撮影画角ａ４０６となる。撮影画角ａ４０６は、図６（Ｄ）中の撮影領域４０６に対応する撮影画角である。ＣＰＵ９は、例えば、図６（Ｄ）に示すように、顔検出枠４０４で囲まれた顔領域が撮影領域４０６の左下の位置に配置されるように手振れ補正用レンズ２０３を移動させる。ＣＰＵ９は、撮影画角が撮影画角ａ４０６となった状態で２枚目の画像を撮影する。これにより、図６（Ｄ）中の撮影領域４０６に対応する画像である画像Ｉ４０６が得られる。

次に、ＣＰＵ９が、手振れ補正用レンズ２０３を、光軸を基準として左上方向に移動させる。これにより、撮影画角が光軸を基準として右下方向に移動し、撮影画角ａ４０７となる。撮影画角ａ４０７は、図６（Ｅ）中の撮影領域４０７に対応する撮影画角である。ＣＰＵ９は、例えば、図６（Ｅ）に示すように、顔検出枠４０４で囲まれた顔領域が撮影領域４０７の左上の位置に配置されるように手振れ補正用レンズ２０３を移動させる。ＣＰＵ９は、撮影画角が撮影画角ａ４０７となった状態で３枚目の画像を撮影する。これにより、図６（Ｅ）中の撮影領域４０７に対応する画像である画像Ｉ４０７が得られる。

次に、ＣＰＵ９が、手振れ補正用レンズ２０３を、光軸を基準として右上方向に移動させる。これにより、撮影画角が光軸を基準として左下方向に移動し、撮影画角ａ４０８となる。撮影画角ａ４０８は、図６（Ｆ）中の撮影領域４０８に対応する撮影画角である。ＣＰＵ９は、例えば、図６（Ｆ）に示すように、顔検出枠４０４で囲まれた顔領域が撮影領域４０８の右上の位置に配置されるように手振れ補正用レンズ２０３を移動させる。ＣＰＵ９は、撮影画角が撮影画角ａ４０８となった状態で４枚目の画像を撮影する。これにより、図６（Ｆ）中の撮影領域４０８に対応する画像である画像Ｉ４０８が得られる。

図６（Ｃ）乃至（Ｆ）を参照して説明した複数枚の画像の撮影処理によって、各々の画像における顔領域が重畳して撮影される。また、上記複数枚の画像の撮影処理によって、図６（Ｇ）中に示す領域４０９の範囲が撮影される。すなわち、画像Ｉ４０５乃至Ｉ４０８を合成すると、領域４０９に対応する合成画像が生成される。なお、ＣＰＵ９が、撮影された各々の画像を合成して得られる画像領域の大きさが所定の大きさ（例えば、最大）になるように手振れ補正用レンズ２０３の移動方向と移動量とを適宜調整してもよい。

図５に戻って、ＣＰＵ９が、画像重畳領域の高解像度化処理を行う（ステップＳ５）。画像重畳領域は、連続撮影によって得られた複数の画像が重畳する領域である。例えば、図６を参照して説明した画像Ｉ４０５乃至Ｉ４０８が重畳する部分である顔領域が画像重畳領域である。

図７は、図５のステップＳ４において実行される連続撮影処理の詳細と、ステップＳ５において実行される画像重畳領域の高解像度化処理とを説明する図である。図７（Ａ）、（Ｂ）、（Ｃ）、（Ｄ）は、それぞれ、前述した画像Ｉ４０５、Ｉ４０６、Ｉ４０７、Ｉ４０８における、顔領域に対応する画像を示す。本実施形態の撮像装置が備えるＣＣＤ１０５は、Ｒ，Ｇ，Ｂに対応するカラーフィルタを有するので、画像Ｉ４０５乃至Ｉ４０８は、赤に対応するＲ画素、緑に対応するＧ画素、青に対応するＢ画素を有する。具体的には、画像Ｉ４０５における顔領域に対応する画像は、Ｒ１、Ｇ１、Ｂ１を有する。画像Ｉ４０６における顔領域に対応する画像は、Ｒ２、Ｇ２、Ｂ２を有する。画像Ｉ４０７における顔領域に対応する画像は、Ｒ３、Ｇ３、Ｂ３を有する。画像Ｉ４０８における顔領域に対応する画像は、Ｒ４、Ｇ４、Ｂ４を有する。

ＣＰＵ９は、画像Ｉ４０５の撮影に続いて画像Ｉ４０６を撮影する際に、顔領域について、画像Ｉ４０６のＲＧＢの画素配列が画像Ｉ４０５のＲＧＢの画素配列と比べて水平方向に半画素ずれるように手振れ補正用レンズ２０３を移動させる。また、ＣＰＵ９は、画像Ｉ４０６の撮影に続いて画像Ｉ４０７を撮影する際に、顔領域について、画像Ｉ４０７のＲＧＢの画素配列が画像Ｉ４０５のＲＧＢの画素配列と比べて水平及び垂直方向に半画素ずれるように手振れ補正用レンズ２０３を移動させる。また、ＣＰＵ９は、画像Ｉ４０７の撮影に続いて画像Ｉ４０８を撮影する際に、顔領域について、画像Ｉ４０８のＲＧＢの画素配列が画像Ｉ４０５のＲＧＢの画素配列と比べて垂直方向に半画素ずれるように手振れ補正用レンズ２０３を移動させる。

ＣＰＵ９が、上記のように、顔領域について、各々の画像を、水平又は垂直方向に半画素ずらして撮影することにより、各々の画像を合成した場合に、顔領域について高い解像度の画像Ｉ４０４が得られる。すなわち、図５のステップＳ５において、ＣＰＵ９が、画像Ｉ４０５乃至Ｉ４０８を合成して、顔領域について、図７（Ｅ）に示すように、水平、垂直の解像度が画像Ｉ４０５乃至Ｉ４０８の解像度の倍である高解像度画像Ｉ４０４を生成する。高解像度画像Ｉ４０４に含まれる各々の画素は１色の色情報を有する。しかし、ＣＰＵ９は、それぞれの画素の色情報に周辺画素の情報から演算して得られる他の２色の色情報を加えて、ＲＧＢ３色の色情報を得ることができ、その結果、フルカラーの画像を生成することができる。

図５に戻って、ＣＰＵ９が、ステップＳ５における高解像度化処理によって得られた高解像度画像とステップＳ４において撮影された複数の画像とを合成する（ステップＳ６）。これにより、例えば図７（Ｆ）に示す合成画像Ｉ４０９が生成される。図７（Ｆ）に示す合成画像Ｉ４０９中に示す顔検出枠４０４に対応する画像が、図７（Ｅ）に示す高解像度画像Ｉ４０４である。

次に、ＣＰＵ９が、ステップＳ６において合成された合成画像に対してフィルタリング処理を実行する（ステップＳ７）。ステップＳ６の処理によって生成された合成画像Ｉ４０９においては、高解像度画像Ｉ４０４と高解像度画像Ｉ４０４以外の画像との境界領域に、画素数の差による不自然な境界線が見えてしまう。従って、ステップＳ７において、ＣＰＵ９は、高解像度画像Ｉ４０４と高解像度画像Ｉ４０４以外の画像との境界領域にフィルタリング処理を行って境界領域をぼかし、不自然な境界線を見え難くする。具体的には、ＣＰＵ９は、ガウシアンフィルタ等、画像をぼかす効果のあるフィルタによるフィルタリング処理を行う。

以上のようにして生成された合成画像Ｉ４０９は、デフォルトの撮影画角ａ４０５に対応する画像より広範囲の画像であり、かつ、合成画像Ｉ４０９における顔検出枠４０４に対応する顔領域の画像が高精細である。上述した本実施形態の撮像装置によれば、主被写体となることが多い人物の顔を中心として撮影領域の拡大を図ることができる。また、合成画像における顔周辺部について高精細な画像が得られる。その結果、合成画像を拡大した場合や画像のトリミングを行った場合にも画質の劣化が少なくなり、撮像装置としての利便性が向上する。

図５のステップＳ２に戻って、ＣＰＵ９が、撮影画角内に人物の顔が検出されないと判断した場合、ＣＰＵ９が、合焦点領域を検出する（ステップＳ８）。そして、ＣＰＵ９が、手振れ補正用レンズ２０３を移動させて、合焦点領域を中心に撮像装置の撮影画角を変えながら（撮影範囲を変えながら）複数枚の画像を連続撮影し（ステップＳ９）、ステップＳ５に進む。ステップＳ９においては、ＣＰＵ９は、撮影した複数枚の画像を合成したときに合焦点領域の画像が所定の解像度の画像となるように、例えば、合焦点領域について、各々の画像を水平又は垂直方向に半画素ずらして撮影する。

図８は、図５のステップＳ８及びＳ９における処理を説明する図である。図８（Ａ）は手ぶれ補正用レンズが移動していない状態における、撮像装置の液晶パネル１６と、液晶パネル１６上に表示される画像５０１を示す。図８（Ａ）中の５０３は被写体を示す。画像５０１が表示されている時の撮影画角は、デフォルトの撮影画角である撮影画像角ａ５０２である。撮影画角ａ５０２は、図８（Ａ）中の撮影領域５０２に対応する撮影画角である。

図８（Ｂ）は、図５のステップＳ８において、ＣＰＵ９が合焦点領域を検出した時の状態を示す。ＣＰＵ９は、例えば、図８（Ｂ）中の画像５０１における、５個の矩形内の各々の領域を合焦点領域の候補となる複数の領域として検出する。そして、ＣＰＵ９は、合焦点領域の候補となる複数の領域のうち、コントラストが最も高い領域を合焦点領域として検出する。図８（Ｂ）に示す例では、被写体５０３に対応する領域が合焦点領域として検出される。ＣＰＵ９は、検出した合焦点領域に対応させて、合焦検出枠５０４を表示する。合焦検出枠５０４は、検出された合焦点領域を示す枠である。

図８（Ｃ）乃至（Ｇ）は、図５のステップＳ９の処理を説明する図である。ＣＰＵ９が、手振れ補正用レンズ２０３を、光軸を基準として右下方向に移動させる。これにより、撮影画角が光軸を基準として左上方向に移動し、撮影画角ａ５０５となる。撮影画角ａ５０５は、図８（Ｃ）中の撮影領域５０５に対応する撮影画角である。ＣＰＵ９は、例えば、図８（Ｃ）に示すように、合焦検出枠５０４で囲まれた領域が撮影領域５０５の右下の位置に配置されるように手振れ補正用レンズ２０３を移動させる。ＣＰＵ９は、撮影画角が撮影画角ａ５０５となった状態で１枚目の画像を撮影する。これにより、図８（Ｃ）中の撮影領域５０５に対応する画像である画像Ｉ５０５が得られる。

次に、ＣＰＵ９が、手振れ補正用レンズ２０３を、光軸を基準として左下方向に移動させる。これにより、撮影画角が光軸を基準として右上方向に移動し、撮影画角ａ５０６となる。撮影画角ａ５０６は、図８（Ｄ）中の撮影領域５０６に対応する撮影画角である。ＣＰＵ９は、例えば、図８（Ｄ）に示すように、合焦検出枠５０４で囲まれた領域が撮影領域５０６の左下の位置に配置されるように手振れ補正用レンズ２０３を移動させる。ＣＰＵ９は、撮影画角が撮影画角ａ５０６となった状態で２枚目の画像を撮影する。これにより、図８（Ｄ）中の撮影領域５０６に対応する画像である画像Ｉ５０６が得られる。

次に、ＣＰＵ９が、手振れ補正用レンズ２０３を、光軸を基準として左上方向に移動させる。これにより、撮影画角が光軸を基準として右下方向に移動し、撮影画角ａ５０７となる。撮影画角ａ５０７は、図８（Ｅ）中の撮影領域５０７に対応する撮影画角である。ＣＰＵ９は、例えば、図８（Ｅ）に示すように、合焦検出枠５０４で囲まれた領域が撮影領域５０７の左上の位置に配置されるように手振れ補正用レンズ２０３を移動させる。ＣＰＵ９は、撮影画角が撮影画角ａ５０７となった状態で３枚目の画像を撮影する。これにより、図８（Ｅ）中の撮影領域５０７に対応する画像である画像Ｉ５０７が得られる。

次に、ＣＰＵ９が、手振れ補正用レンズ２０３を光軸を基準として右上方向に移動させる。これにより、撮影画角が光軸を基準として左下方向に移動し、撮影画角ａ５０８となる。撮影画角ａ５０８は、図８（Ｆ）中の撮影領域５０８に対応する撮影画角である。ＣＰＵ９は、例えば、図８（Ｆ）に示すように、合焦検出枠５０４で囲まれた領域が撮影領域４０８の右上の位置に配置されるように手振れ補正用レンズ２０３を移動させる。ＣＰＵ９は、撮影画角が撮影画角ａ５０８となった状態で４枚目の画像を撮影する。これにより、図８（Ｆ）中の撮影領域５０８に対応する画像である画像Ｉ５０８が得られる。

具体的には、ＣＰＵ９は、画像Ｉ５０５の撮影に続いて画像Ｉ５０６を撮影する際に、合焦点領域について、画像Ｉ５０６のＲＧＢの画素配列が画像Ｉ５０５のＲＧＢの画素配列と比べて水平方向に半画素ずれるように手振れ補正用レンズ２０３を移動させる。ＣＰＵ９は、画像Ｉ５０６の撮影に続いて画像Ｉ５０７を撮影する際に、合焦点領域について、画像Ｉ５０７のＲＧＢの画素配列が画像Ｉ５０５のＲＧＢの画素配列と比べて水平及び垂直方向に半画素ずれるように手振れ補正用レンズ２０３を移動させる。また、ＣＰＵ９は、画像Ｉ５０７の撮影に続いて画像Ｉ５０８を撮影する際に、合焦点領域について、画像Ｉ５０８のＲＧＢの画素配列が画像Ｉ５０５のＲＧＢの画素配列と比べて垂直方向に半画素ずれるように手振れ補正用レンズ２０３を移動させる。

図８（Ｃ）乃至（Ｆ）を参照して説明した複数枚の画像の撮影処理によって、各々の画像における合焦点領域が重畳して撮影される。また、上記複数枚の画像の撮影処理によって、図８（Ｇ）中に示す領域５０９の範囲が撮影される。なお、ＣＰＵ９が、撮影された各々の画像を合成して得られる画像領域の大きさが所定の大きさ（例えば、最大）になるように手振れ補正用レンズ２０３の移動方向と移動量とを適宜調整してもよい。次に、ＣＰＵ９は、図７を参照して前述した画像重畳領域の高解像度化処理と同様の高解像度化処理を実行し（図５のステップＳ５）、ステップＳ６に進む。具体的には、ＣＰＵ９は、画像Ｉ５０５乃至Ｉ５０８を合成して、合焦点領域すなわち画像重畳領域について、水平、垂直の解像度が画像Ｉ５０５乃至Ｉ５０８の解像度の倍である高解像度画像を生成する。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２ モータドライバ
９ ＣＰＵ

Claims (7)

1. 撮影範囲を変更しながら複数枚の画像を撮影する撮像装置であって、
   合焦点領域を検出する合焦点領域検出手段と、
   光軸を補正する光軸補正レンズと、
   前記光軸補正レンズを移動させることによって、前記合焦点領域が重畳して撮影されるように前記合焦点領域検出手段により検出された合焦点領域の位置に基づいて撮影範囲を変更して複数枚の画像を撮影し、前記撮影された複数枚の画像を合成して、前記合焦点領域の画像が所定の解像度の画像となる合成画像を生成する撮影制御手段とを備える
   ことを特徴とする撮像装置。
2. 前記撮影制御手段が、前記合焦点領域について、前記複数枚の画像に含まれる各々の画像を、水平又は垂直方向に半画素ずらして撮影する
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記撮影制御手段が、前記複数枚の画像を合成して得られる画像領域の大きさが所定の大きさになるように各々の画像を撮影する
   ことを特徴とする請求項１又は請求項２に記載の撮像装置。
4. 前記合焦点領域が顔領域である
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記合焦点領域検出手段が、前記合焦点領域の候補となる複数の領域のうち、コントラストが最も高い領域を前記合焦点領域として検出する
   ことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 前記光軸補正レンズが、手ぶれ補正に用いられる可動式レンズである
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 撮影範囲を変更しながら複数枚の画像を撮影する撮像装置の制御方法であって、
   合焦点領域を検出し、
   光軸を補正する光軸補正レンズを移動させることによって、前記合焦点領域が重畳して撮影されるように前記検出された合焦点領域の位置に基づいて撮影範囲を変更して複数枚の画像を撮影し、前記撮影された複数枚の画像を合成して、前記合焦点領域の画像が所定の解像度の画像となる合成画像を生成する
   ことを特徴とする撮像装置の制御方法。

Images