JP6124700B2 - 撮像装置、その制御方法、プログラム、記憶媒体 - Google Patents

Description

本発明は、撮像装置を使ったパンニング中の連続撮影に関し、特に連続撮影中に撮影条件を変更する方法に関する。

特許文献１には、パンニングしながら静止画を連続撮影し、連続撮影した静止画を合成することでパノラマ画像を生成する手法が提案されている。以下、このような手法をパンニングパノラマ合成と呼ぶ。

特開２０１０−２８７６４号公報

しかし、特許文献１に開示の撮影方法では、パノラマ撮影の対象とする範囲内に暗い被写体や動く被写体などが存在した場合、それらの被写体と背景とを同時に適切に撮影することができなかった。

本発明は、上記課題を鑑み、パンニングパノラマ合成において高品質な合成画像を生成可能な撮像装置を提供することを例示的目的とする。

本発明の一側面としての撮像装置は、連続撮影を行う撮像装置であって、被写体像を撮像する撮像手段と、前記撮像手段で撮像される複数の画像を合成する合成手段と、前記撮像装置の位置情報を検出する検出手段と、撮影準備動作の開始を指示する第１の指示手段と、撮影動作の開始を指示する第２の指示手段と、前記第１の指示手段による指示に応じて、第１の撮影条件及び第２の撮影条件を決定し、かつ、前記第１の指示手段による指示があったときの前記検出手段により検出される位置情報に基づく基準位置情報を保持し、前記第２の指示手段による指示に応じて、前記撮像手段に前記第１の撮影条件で連続撮影を開始させ、前記検出手段により前記撮像装置の位置情報が前記基準位置情報に対応すると検出されるときには前記撮像手段に前記第２の撮影条件で撮影させる制御手段と、を有することを特徴とする。

本発明によれば、パンニングパノラマ合成において高品質な合成画像を生成することができる。

本発明の実施例における撮像装置の背面外観を示す外観図である。 本発明の実施例における撮像装置の構成を示すブロック図である。 本発明の実施例１におけるパンニングパノラマ合成処理のフローチャートである。 本発明の実施例におけるパンニングの方向と画像の切り抜き領域を表す図である。 本発明の実施例１における処理の流れと画像データとの対応関係を表す図である。 本発明の実施例２における第２の撮影条件で撮影した画像データの切り抜き領域を表す図である。 発光画像と該発光画像を撮影した後にパンニングしながら非発光画像を連続撮影してパノラマ合成した画像を表す図である。

まず、本発明に至った経緯と本実施例の課題、本実施例の特徴について説明する。手持ち撮影を対象として、夜景ポートレートのパノラマ、日中のポートレートで人物が逆光となっているシーンのパノラマなど発光画像を含むパノラマ画像を合成する場合について考える。ここでは、発光が届く範囲の主被写体と発光が届かない背景を適切な明るさにしたパノラマ画像を合成するようにする。

この合成画像の合成方法として、図７（ａ）のように発光画像を１枚撮影した画像と、図７（ｂ）のように発光画像を撮影した後にパンニングしながら非発光画像を連続撮影した画像を合成する方法について考える。

パンニング中の連続撮影において、被写体の位置は発光画像の位置と同じ位置となるように撮影することが望ましい。しかし、パンニングしているため、デジタルカメラのあおりやロールやパンニング方向と垂直な方向への位置ずれなどが発生し、被写体の位置が同じ位置となるように撮影することは難しい。この結果、被写体の位置が同じ位置の画像と比較して、合成画像の画質が低くなってしまう。

次にパンニングしながら静止画を連続撮影している最中にフラッシュを発光させて画像を合成する方法について考える。

パンニングしながら静止画を連続撮影する際に、全ての撮影でフラッシュを発光させることは、電解コンデンサへのチャージ時間の速度から市場で普及しているデジタルカメラの内臓フラッシュでは現実的ではなく、専用のストロボが必要となってしまう。また、主被写体が人物の場合、複数回フラッシュを発光させると目つぶりが懸念される。これらの理由からフラッシュを１回発光させた撮影方法を採用することが現実的である。

ユーザがスイッチを押して、パンニングしながらフラッシュを発光させる撮影のタイミングを指示する場合、パンニング中のためスイッチを押すタイミングが合わず、フラッシュの発光位置が所望のパンニング位置と合わない場合がある。また、スイッチを押す操作によりデジタルカメラがブレてしまう可能性がある。

このため、パンニングしながらの連続撮影中に所望の位置でフラッシュを発光させる撮影を行うことが課題となる。フラッシュを発光させる撮影は、フラッシュを発光させない撮影と比較して、フラッシュ以外にもホワイトバランスなどが異なるため、別の言い方をすると、パンニングしながらの連続撮影中に所望の位置で撮影条件を変更させることが課題となる。

そこで、本発明の実施例１では、パンニングパノラマ合成処理で、夜景ポートレートのパノラマ画像を生成する処理において、パンニングしながら連続撮影している最中に、第１の撮影指示の位置（所望の位置）でフラッシュを発光させて撮影する。以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

図１に本発明の撮像装置の一例としてのデジタルカメラ１００の外観図を示す。本実施例では、撮像装置としてデジタルカメラを挙げているが、本発明はこれに限らず例えばテレビジョンカメラなどでもよい。表示部２８は画像や各種情報を表示する表示部である。シャッターボタン６１は撮影指示を行うための操作部である。モード切替スイッチ６０は各種モードを切り替えるための操作部である。コネクタ１１２は接続ケーブル１１１とデジタルカメラ１００とのコネクタである。操作部７０はユーザからの各種操作を受け付ける各種スイッチ、ボタン、タッチパネル等の操作部材より成る操作部である。コントローラホイール７３は操作部７０に含まれる回転操作可能な操作部材である。電源スイッチ７２は、電源オンと電源オフを切り替える部材である。フラッシュ９０（発光手段）は、発光撮影時に電解コンデンサに蓄積した電荷を放電させることで発光させるフラッシュ部材である。記録媒体２００はメモリカードやハードディスク等の記録媒体である。記録媒体スロット２０１は記録媒体２００を格納するためのスロットである。記録媒体スロット２０１に格納された記録媒体２００は、デジタルカメラ１００との通信が可能となる。蓋２０２は記録媒体スロット２０１の蓋である。

図２は、本実施形態によるデジタルカメラ１００の構成例を示すブロック図である。

図２において、撮影レンズ１０３はズームレンズやフォーカスレンズを含むレンズ群である。シャッター１０１は絞り機能を備えるシャッターである。撮像部２２（撮像手段）はレンズ１０３を介して形成された被写体像（光学像）を光電変換して撮像信号を生成するＣＣＤやＣＭＯＳ素子等で構成される撮像素子である。Ａ／Ｄ変換器２３は、撮像部２２から出力されるアナログ信号をデジタル信号に変換する。バリア１０２は、デジタルカメラ１００の、撮影レンズ１０３を含む撮像系を覆うことにより、撮影レンズ１０３、シャッター１０１、撮像部２２を含む撮像系の汚れや破損を防止する。

画像処理部２４は、Ａ／Ｄ変換器２３からのデータ、又は、メモリ制御部１５からのデータに対し所定の画素補間、縮小といったリサイズ処理や色変換処理を行う。また、画像処理部２４では撮像した画像データを用いて所定の演算処理が行われ、得られた演算結果に基づいて後述するシステム制御部５０により露光制御、測距制御、ＡＦ制御等が行われる。具体的には、後述するシステム制御部５０では、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、フラッシュ調光処理、フラッシュプリ発光処理が行われる。更に、システム制御部５０では、ＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。また、システム制御部５０では、複数枚の画像を合成する処理を行い、パノラマ合成処理も行っている。

Ａ／Ｄ変換器２３からの出力データは、画像処理部２４及びメモリ制御部１５を介して、或いは、メモリ制御部１５を介してメモリ３２に直接書き込まれる。メモリ３２は、撮像部２２によって得られＡ／Ｄ変換器２３によりデジタルデータに変換された画像データや、表示部２８に表示するための画像データを格納する。メモリ３２は、所定枚数の静止画像や所定時間の動画像および音声を格納するのに十分な記憶容量を備えている。

また、メモリ３２は画像表示用のメモリ（ビデオメモリ）を兼ねている。Ｄ／Ａ変換器１３は、メモリ３２に格納されている画像表示用のデータをアナログ信号に変換して表示部２８に供給する。こうして、メモリ３２に書き込まれた表示用の画像データはＤ／Ａ変換器１３を介して表示部２８により表示される。表示部２８は、ＬＣＤ等の表示器上に、Ｄ／Ａ変換器１３からのアナログ信号に応じた表示を行う。Ａ／Ｄ変換器２３によって一度Ａ／Ｄ変換されメモリ３２に蓄積されたデジタル信号をＤ／Ａ変換器１３においてアナログ変換し、表示部２８に逐次転送して表示することで、電子ビューファインダとして機能し、スルー画像の表示を行える。

不揮発性メモリ５６は、電気的に消去・記録可能なメモリであり、例えばＥＥＰＲＯＭ等が用いられる。不揮発性メモリ５６には、システム制御部５０の動作用の定数、プログラム等が記憶される。ここでいう、プログラムとは、本実施形態にて後述する各種フローチャートを実行するためのプログラムのことである。

システム制御部５０（制御手段、合成手段）は、デジタルカメラ１００全体を制御する。前述した不揮発性メモリ５６に記録されたプログラムを実行することで、後述する本実施形態の各処理を実現する。５２はシステムメモリであり、ＲＡＭが用いられる。システムメモリ５２には、システム制御部５０の動作用の定数、変数、不揮発性メモリ５６から読み出したプログラム等を展開する。また、システム制御部５０はメモリ３２、Ｄ／Ａ変換器１３、表示部２８等を制御することにより表示制御も行う。

システムタイマー５３は各種制御に用いる時間や、内蔵された時計の時間を計測する計時部である。

モード切替スイッチ６０、第１シャッタースイッチ６２（第１の指示手段）、第２シャッタースイッチ６３（第２の指示手段）、操作部７０はシステム制御部５０に各種の動作指示を入力するための操作手段である。

モード切替スイッチ６０は、システム制御部５０の動作モードを静止画記録（撮影）モード、動画記録（撮影）モード、再生モード等のいずれかに切り替える。静止画撮影モードに含まれるモードとして、オート撮影モード、オートシーン判別モード、マニュアルモード、撮影シーン別の撮影設定となる各種シーンモード、プログラムＡＥモード、カスタムモード等がある。モード切替スイッチ６０で、静止画撮影モードに含まれるこれらのモードのいずれかに直接切り替えられる。あるいは、モード切替スイッチ６０で静止画撮影モードに一旦切り換えた後に、静止画撮影モードに含まれるこれらのモードのいずれかに、他の操作部材を用いて切り替えるようにしてもよい。同様に、動画撮影モードにも複数のモードが含まれていてもよい。第１シャッタースイッチ６２は、デジタルカメラ１００に設けられたシャッターボタン６１の操作途中、いわゆる半押し（撮影準備指示）でＯＮとなり第１シャッタースイッチ信号ＳＷ１を発生する。第１シャッタースイッチ信号ＳＷ１により、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、フラッシュ調光処理、フラッシュプリ発光処理等の撮影準備動作を開始する。

第２シャッタースイッチ６３は、シャッターボタン６１の操作完了、いわゆる全押し（撮影指示）でＯＮとなり、第２シャッタースイッチ信号ＳＷ２を発生する。システム制御部５０は、第２シャッタースイッチ信号ＳＷ２により、撮像部２２からの信号読み出しから記録媒体２００に画像データを書き込むまでの一連の撮影処理の動作、すなわち撮影動作を開始する。

操作部７０の各操作部材は、表示部２８に表示される種々の機能アイコンを選択操作することなどにより、場面ごとに適宜機能が割り当てられ、各種機能ボタンとして作用する。機能ボタンとしては、例えば終了ボタン、戻るボタン、画像送りボタン、ジャンプボタン、絞込みボタン、属性変更ボタン等がある。例えば、メニューボタンが押されると各種の設定可能なメニュー画面が表示部２８に表示される。利用者は、表示部２８に表示されたメニュー画面と、上下左右の４方向ボタンやＳＥＴボタンとを用いて直感的に各種設定を行うことができる。

コントローラホイール７３は、操作部７０に含まれる回転操作可能な操作部材であり、方向ボタンと共に選択項目を指示する際などに使用される。コントローラホイール７３を回転操作すると、操作量に応じて電気的なパルス信号が発生し、このパルス信号に基づいてシステム制御部５０はデジタルカメラ１００の各部を制御する。このパルス信号によって、コントローラホイール７３が回転操作された角度や、何回転したかなどを判定することができる。なお、コントローラホイール７３は回転操作が検出できる操作部材であればどのようなものでもよい。例えば、ユーザの回転操作に応じてコントローラホイール７３自体が回転してパルス信号を発生するダイヤル操作部材であってもよい。また、タッチセンサよりなる操作部材で、コントローラホイール７３自体は回転せず、コントローラホイール７３上でのユーザの指の回転動作などを検出するものであってもよい（いわゆる、タッチホイール）。

電源制御部３１は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り替えるスイッチ回路等により構成され、電池の装着の有無、電池の種類、電池残量の検出を行う。また、電源制御部３１は、その検出結果及びシステム制御部５０の指示に基づいてＤＣ−ＤＣコンバータを制御し、必要な電圧を必要な期間、記録媒体２００を含む各部へ供給する。

電源部３０は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプター等からなる。記録媒体Ｉ／Ｆ１８は、メモリカードやハードディスク等の記録媒体２００とのインターフェースである。記録媒体２００は、撮影された画像を記録するためのメモリカード等の記録媒体であり、半導体メモリや磁気ディスク等から構成される。

検出部８０（検出手段）は、素子を振動させコリオリ力を計測するジャイロセンサや地磁気から方位を計測する方位検出センサ等から構成される。システム制御部５０は、検出部８０の検出結果からデジタルカメラ１００の角速度や角度や方位を検出する。システム制御部５０は、例えば検出部８０の出力が角速度の場合、角速度の出力値を積分することで該積分値から角度を算出する。システム制御部５０は、検出部８０の検出結果からデジタルカメラ１００の手振れ量やパンニング撮影時のカメラの角度を算出する。

フラッシュ制御部９１は、システム制御部５０からの指示に基づいて、フラッシュ９０を発光させるタイミングを制御する。

上述したデジタルカメラ１００では中央１点ＡＦや顔ＡＦを用いた撮影が可能である。中央１点ＡＦとは撮影画面内の中央位置１点に対してＡＦを行うことである。顔ＡＦとは顔検出手段によって検出された撮影画面内の顔に対してＡＦを行うことである。

顔検出手段について説明する。システム制御部５０は顔検出対象の画像データを画像処理部２４に送る。システム制御部５０の制御下で画像処理部２４は、当該画像データに水平方向バンドパスフィルタを作用させる。また、システム制御部５０の制御下で画像処理部２４は、処理された画像データに垂直方向バンドパスフィルタを作用させる。これら水平及び垂直方向のバンドパスフィルタにより、画像データよりエッジ成分が検出される。

その後、システム制御部５０は、検出されたエッジ成分に関してパターンマッチングを行い、目及び鼻、口、耳の候補群を抽出する。そして、システム制御部５０は、抽出された目の候補群の中から、予め設定された条件（例えば２つの目の距離、傾き等）を満たすものを、目の対と判断し、目の対があるもののみ目の候補群として絞り込む。そして、システム制御部５０は、絞り込まれた目の候補群とそれに対応する顔を形成する他のパーツ（鼻、口、耳）を対応付け、また、予め設定した非顔条件フィルタを通すことで、顔を検出する。システム制御部５０は、顔の検出結果に応じて顔情報を出力し、処理を終了する。このとき、顔の数やサイズなどの特徴量をシステムメモリ５２に記憶する。

以上のようにライブビュー表示あるいは再生表示される画像データを画像解析して、画像データの特徴量を抽出して被写体情報を検出することが可能である。本実施例では被写体情報として顔情報を例に挙げたが、被写体情報には他にも赤目判定や目の検出、目つむり検出、笑顔検出等の様々な情報がある。さらに、背景の被写体情報も併せて、夜景シーン、夜景ポートレートシーン、逆光シーンなど撮影されるシーンを判別することもできる。

なお、顔ＡＦと同時に顔ＡＥ，顔ＦＥ、顔ＷＢを行うことができる。顔ＡＥとは検出された顔の明るさに合わせて、画面全体の露出を最適化することである。顔ＦＥとは検出された顔を中心にフラッシュの調光をすることである。顔ＷＢとは、検出された顔の色に合わせて画面全体のＷＢを最適化することである。

図３は、本実施例の処理の流れを示すフローチャートである。モード切替スイッチ６０で、第１の撮影指示の位置でフラッシュを発光させて撮影するパンニングパノラマ合成モードが選択された場合に図３の処理を実行する。ここでの処理は、主にシステム制御部５０がコンピュータプログラムに従って実行する。このことは、後述する他の実施例でも同じである。

システム制御部５０は、操作部７０の設定ボタンが押されたか否かの判定を行い（Ｓ１００）、設定ボタンが押されたと判定された場合、撮影のパンニング角度やパンニングの方向などの設定を変更する（Ｓ１０１）。設定ボタンが押されなかったと判定された場合、Ｓ１０２の処理に移る。設定が変更されなかった場合で、初めて動作させる場合は初期設定値を使用する。

続いて、システム制御部５０は、第１シャッタースイッチ６２が押されたか否かの判定を行い（Ｓ１０２）、第１シャッタースイッチ６２が押されたと判定された場合、Ｓ１０３の処理に移る。第１シャッタースイッチ６２が押されなかったと判定された場合、Ｓ１００の処理に戻る。

続いて、システム制御部５０は、ＡＥ処理とＡＦ処理を行う（Ｓ１０３）。この際、フラッシュプリ発光処理を行っても良い。

続いて、システム制御部５０は、Ｓ１０３のＡＥ処理結果に基づき第１の撮影条件と第２の撮影条件の露出、撮影感度、発光の有無、発光量などを決定する（Ｓ１０４）（Ｓ１０５）。本実施例では、第１の撮影条件と第２の撮影条件どちらも同一露出、同一撮影感度で撮影する。また、第１の撮影条件ではフラッシュを発光させず、第２の撮影条件ではフラッシュを発光させ、互いに異なるホワイトバランスで撮影する。また、本実施例では、第１の撮影条件と第２の撮影条件ともに、Ｓ１０３のＡＦ処理で被写体にフォーカスされたレンズ位置で撮影する。

続いて、システム制御部５０は、第１シャッタースイッチ６２が押された位置をパンニング撮影時のデジタルカメラ１００の基準角度とし、該基準角度の情報（基準位置情報）をシステムメモリ５２等により保持する（Ｓ１０６）。デジタルカメラ１００の基準角度はパンニングの方向とパンニングと垂直な方向それぞれの方向に関して持つものとする。

続いて、システム制御部５０は、第２シャッタースイッチ６３が押されたか否かの判定を行う（Ｓ１０７）。

Ｓ１０７において、第２シャッタースイッチ６３が押されなかったと判定された場合、システム制御部５０は、第１シャッタースイッチ６２が押されたままか否か（いわゆる半押しのままか否か）判定する（Ｓ１０８）。

Ｓ１０８において、第１シャッタースイッチ６２が離されたと判定された場合、Ｓ１００の処理に戻る。Ｓ１０８において、第１シャッタースイッチ６２が押されたままと判定された場合、Ｓ１０７の処理に戻る。

Ｓ１０７において、第２シャッタースイッチ６３が押されたと判定された場合、システム制御部５０は、第１の撮影条件で撮影する（Ｓ１０９）。第１の撮影条件で撮影した画像データ（非発光画像）は、画像処理部２４によってパンニングの方向に応じて矩形状に切り抜かれて、前回までの撮影で得られた合成画像の端部にさらに合成され（Ｓ１１０）、メモリ３２に保存される。画像データの切り抜きおよび上記の合成処理（パノラマ合成処理）の詳細は後述する。

続いて、システム制御部５０は、デジタルカメラ１００の角度（位置情報）を検出し（Ｓ１１１）、Ｓ１１１で検出したカメラの角度からカメラの角度が基準角度であるか否か判定する（Ｓ１１２）。

Ｓ１１２において、デジタルカメラ１００の角度が基準角度でないと判定された場合、システム制御部５０は、Ｓ１１１で検出したデジタルカメラ１００の角度からパンニングが終了されたか否か判定する（Ｓ１１３）。

パンニングが終了されたか否かの判定は、パンニングの方向と同じ方向とパンニングの方向と垂直な方向の２方向に関して判定を行う。パンニングの方向と同方向の判定に関しては、撮影直後のデジタルカメラ１００の角度と１フレーム前のデジタルカメラ１００の角度とを比較して、パンニングの方向に角度が増加しているか否かなどの方法で判定する。また、パンニングの方向と垂直な方向の判定に関しては、デジタルカメラ１００の基準角度と撮影直後のデジタルカメラ１００の角度を比較して、角度の差分が決められた閾値よりも大きいか否かで判定する。

Ｓ１１３において、パンニングが終了されたと判定された場合、システム制御部５０は、表示部２８に撮影失敗を通知して（Ｓ１１４）、Ｓ１００の処理に戻る。Ｓ１１３において、パンニング中であると判定された場合、システム制御部５０は、Ｓ１０９の処理に戻り第１の撮影条件で撮影する。Ｓ１０９からＳ１１３までの処理の繰り返しにより、第２撮影条件で撮影するまでのパンニング中の連続撮影を行う。

Ｓ１１２において、カメラの角度が基準角度であると判定された場合、システム制御部５０は、第２の撮影条件で撮影する（Ｓ１１５）。本実施例の第２の撮影条件は、フラッシュを発光させるので、このタイミングでフラッシュを発光させて撮影する。第２の撮影条件で撮影した画像データ（発光画像）は、画像処理部２４によるパノラマ合成処理が実行され（Ｓ１１６）、メモリ３２に保存される。

続いて、システム制御部５０は、デジタルカメラ１００の角度を検出し（Ｓ１１７）、Ｓ１１７で検出したデジタルカメラ１００の角度からデジタルカメラ１００の角度がパンニング終了角度に到達したか判定する（Ｓ１１８）。Ｓ１１８において、デジタルカメラ１００の角度がパンニング終了角度に到達したと判定された場合、この撮影モードの処理を終了する。

Ｓ１１８において、デジタルカメラ１００の角度がパンニング終了角度に到達していないと判定された場合、システム制御部５０は、Ｓ１１７で検出したデジタルカメラ１００の角度からパンニングが終了されたか否か判定する（Ｓ１１９）。Ｓ１１９の処理はＳ１１３と同様の処理である。

Ｓ１１９において、パンニング中と判定された場合、システム制御部５０は、第１の撮影条件で撮影し（Ｓ１２０）、画像処理部２４によるパノラマ合成処理を実行してから（Ｓ１１６）、Ｓ１１７の処理に戻る。Ｓ１１６からＳ１２０までの処理の繰り返しにより、第２の撮影条件で撮影してから撮影終了までの連続撮影を行う。

Ｓ１１９において、パンニングが終了されたと判定された場合、この撮影モードの処理を終了する。本実施例では、パンニング終了角度までパンニングしていなくても主被写体を撮影する第２の撮影条件の撮影が完了しているため、合成画像データを生成するものとしたが、Ｓ１１４のように撮影失敗を通知して、Ｓ１００に戻ってもよい。

次に画像データの切り抜きの詳細について説明する。まずは、第１の撮影条件と第２の撮影条件の画像データの切り抜き領域（画像範囲）に関して図４を用いて説明する。図４の線のハッチング領域は、画像データの切り抜き（取得）領域を示し、図４の黒く塗りつぶされた矢印は、パンニングの方向を示すものとする。

図４（ａ）は、撮像部２２の有効画像領域を示しており、Ｗ_Ｖが水平方向の有効画素数で、Ｈ_Ｖが垂直方向の有効画素数である。図４（ｂ）は、画像データの切り抜き領域を示しており、Ｗ_cropが水平方向の切り抜き画素数で、Ｈ_cropが垂直方向の切り抜き画素数とする。

図４（ｃ）は、水平方向にパンニングした場合の画像の切り抜き領域を示しており、水平方向の画像データの切り抜きは、Ｗ_Ｖ＞Ｗ_cropとし、垂直方向の画像データの切り抜きは、Ｈ_Ｖ＝Ｈ_cropとする。

図４（ｄ）は、垂直方向にパンニングした場合の画像の切り抜き領域を示しており、水平方向の画像データの切り抜きは、Ｗ_Ｖ＝Ｗ_cropとし、垂直方向の画像データの切り抜きは、Ｈ_Ｖ＞Ｈ_cropとする。

第１の撮影条件で撮影した画像データの切り抜き領域は、画像データ毎に異なる切り抜き領域としてもよい。また、パンニング開始時とパンニング終了時の画像データは、画角を広くするために切り抜き領域を広くしてもよい。また、第１の撮影条件と第２の撮影条件では、画像データの切り抜き領域（画像範囲）を異なる切り抜き領域（可変）としてもよい。画像データの切り抜き領域の決定方法は、例えば撮影直後のカメラの角度と１フレーム前のカメラの角度の差などにより決定する。

このように画像データを切り抜いてパノラマ合成処理に必要な画像データ領域を保存することで、メモリ容量を節約することができる。

次に合成処理について説明する。システム制御部５０は、第１の撮影条件と第２の撮影条件で撮影され、切り抜かれて保存された画像データをメモリ３２から読み込む。

続いて、システム制御部５０は、撮影した画像間の位置ずれを検出する。位置ずれの検出は、画像を任意のサイズの小ブロックに分割して、小ブロック毎に輝度のＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）が最小となる対応点を算出して、動きベクトルを算出する方法などにより行う。これに限らず、検出部８０に依り検出される角速度情報あるいは位置情報などを用いてもよい。

続いて、システム制御部５０は、算出した動きベクトルから写像パラメータを算出して位置ずれを補正して、画像間の重複部を加重加算などを行い合成する。第２の撮影条件で発光させた画像データに関しては、例えば特許第４７１６１８２号に記載されているような方法を用いて、発光が届く範囲の被写体と発光が届かない背景を適切な明るさにして合成する。

図５に本実施例の処理の流れと、画像データとの対応関係を示す。図５は夜景で、点でハッチングされた領域はイルミネーションなどの輝度が明るい領域とし、線でハッチングされた領域は画像データの切り抜き領域とする。

図５（ａ）は、第１のシャッタースイッチ６２が押された位置とする。図５（ｂ）は、第２のシャッタースイッチ６３が押された位置とする。図５（ｃ）は、パンニングしながら第１の撮影条件で、連続撮影している状態を示す。図５（ｄ）は、パンニング中に第２の撮影条件で撮影した位置を示す。図５（ｅ）は、設定した角度までパンニングが行われ、連続撮影が終了した位置を示す。図５（ｆ）は、パノラマ合成画像を示す。

実施例１では、夜景ポートレートのパノラマ画像を生成する処理について示したが、逆光のポートレートのパノラマ画像を生成する処理などにも適用できる。また、第１の撮影指示の位置で露出を変えて撮影し、第１の撮影指示位置をＨＤＲ合成したパノラマ合成画像を生成する処理などについても適用できる。すなわち、第１の撮影条件と第２の撮影条件について、どの条件を異ならせるかは限定されず、露光時間(シャッタースピード)、ＩＳＯ感度、フォーカスなどを異ならせてもよい。この場合、第１の撮影条件として第１シャッタースイッチ６２が押されたときのＡＦ、ＡＥ、あるいはシーン判別結果から得られるパラメータを設定し、第２の撮影条件として第２シャッタースイッチ６３が押されたときのパラメータを設定するなどすればよい。

実施例２では、パンニングパノラマ合成処理で、顔検出手段により検出された顔の大きさを使用して、第２の撮影条件の画像データの切り抜き領域（画像範囲）を決定する方法を示す。なお装置構成など前述した実施例１と同等の説明は省略し、特徴的な処理のみ説明する。

実施例２の処理は、第２の撮影条件の画像データの切り抜き領域を除き、実施例１と同様の処理を行う。

図６（ａ）のウエストショット（人物のウエスト（腰）よりも上をフレーミングする）のように、人物の顔が大きく撮影された画像データが第２の撮影条件で撮影した画像データである場合ついて考える。

図６（ｂ）のように、第２の撮影条件で撮影した画像データの切り抜き領域が人物の顔のサイズよりも小さいとパノラマ合成した画像の人物の顔の領域は、発光画像と非発光画像が混在されてしまうため問題となる。

そこで、第１シャッタースイッチ６２が押された時のスルー画像、または第２の撮影条件で撮影した画像データに対して、顔検出手段で顔のサイズを検出し、検出された顔の位置と大きさに応じて、第２の撮影条件で撮影した画像の切り抜き領域を決定する。

図６（ｃ）に顔検出手段で検出した顔のサイズに応じて、第２の撮影条件で撮影した画像データの切り抜き領域を決定した例を示す。図６（ｃ）に示されるように、第２の撮影条件で撮影した画像データの切り抜き領域の大きさは、顔検出手段で検出した顔の全領域が水平方向、垂直方向において含まれるように決められる。

このように、顔検出手段で検出した顔のサイズに応じて第２の撮影条件で撮影した画像データの切り抜き領域を決定することで、人物の顔の領域で、発光画像と非発光画像が混在されてしまうことを防ぐことができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

例えば、上述した実施形態では、第２の撮影条件で撮影する位置を検出する際に、角速度センサあるいは変位センサを用いて基準角度を検出し、撮影時にも角度を検出することで達成していたが、これに限らない。すなわち、Ｓ１０６で基準角度の記憶の代わりに現在の位置で基準となる基準画像を撮影、記録し、Ｓ１１２で現在の撮影画像（撮像画像）と基準画像とのマッチングによって基準位置に来たかを検出する。Ｓ１１２で撮影画像と基準画像との適合具合が所定の条件を満たせば第２の撮影条件での撮影を行う。このようにすることで第２の撮影条件で撮るべき被写体を適切に検出し、撮影することが出来る。

さらに、Ｓ１０６で基準角度の記憶の代わりに現在の位置で基準の被写体距離を測定、記録し、Ｓ１１２で現在の被写体距離を検出することによって基準位置に来たかを検出してもよい。Ｓ１１２で現在の被写体距離が基準被写体距離と等しくなっていれば第２の撮影条件での撮影を行う。このようにすることで第２の撮影条件で撮るべき被写体を適切に検出し、撮影することが出来る。

上述したように、第２の撮影条件で撮影する基準となる位置の基準位置情報と、撮影時に基準位置かどうかを検出する基準位置検出方法は複数考えられ、限定されない。

本発明によれば、パンニングパノラマ合成において高品質な合成画像を生成することができる。
（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

本発明は、パンニングしながら連続撮影が可能なデジタルカメラあるいはビデオカメラなどの撮像装置に好適に利用できる。さらに、本発明はデジタルカメラのような撮影を主目的とした機器にかぎらず、携帯電話、パーソナルコンピュータ（ラップトップ型、デスクトップ型、タブレット型など）、ゲーム機など、撮像装置を内蔵もしくは外部接続する任意の機器に適用可能である。従って、本明細書における「撮像装置」は、撮像機能を備えた任意の電子機器を包含することが意図されている。

２２ 撮像部
５０ システム制御部
６２ 第１シャッタースイッチ
６３ 第２シャッタースイッチ
８０ 検出部
９０ フラッシュ
１００ デジタルカメラ

Claims (12)

1. 連続撮影を行う撮像装置であって、
   被写体像を撮像する撮像手段と、
   前記撮像手段で撮像される複数の画像を合成する合成手段と、
   前記撮像装置の位置情報を検出する検出手段と、
   撮影準備動作の開始を指示する第１の指示手段と、
   撮影動作の開始を指示する第２の指示手段と、
   前記第１の指示手段による指示に応じて、第１の撮影条件及び第２の撮影条件を決定し、かつ、前記第１の指示手段による指示があったときの前記検出手段により検出される位置情報に基づく基準位置情報を保持し、
   前記第２の指示手段による指示に応じて、前記撮像手段に前記第１の撮影条件で連続撮影を開始させ、前記検出手段により前記撮像装置の位置情報が前記基準位置情報に対応すると検出されるときには前記撮像手段に前記第２の撮影条件で撮影させる制御手段と、
   を有することを特徴とする撮像装置。
2. 前記撮像装置は、被写体に向けて発光する発光手段をさらに有し、
   前記制御手段は、前記撮像装置の位置情報が前記基準位置情報に対応すると検出されるときに前記発光手段を発光させることを特徴とする請求項１に記載の撮像装置。
3. 前記第１の撮影条件は、前記発光手段を発光させず、前記第２の撮影条件は、前記発光手段を発光させることを特徴とする請求項２に記載の撮像装置。
4. 前記検出手段は、ジャイロセンサであり、
   前記ジャイロセンサの角度の出力値または角速度の出力値の積分値により、前記位置情報として前記撮像装置の角度を検出することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 前記検出手段は、方位検出センサであり、
   前記方位検出センサの出力値により、前記位置情報として前記撮像装置の角度を検出することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 前記検出手段は、前記位置情報として前記撮像手段による撮像画像を使用することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
7. 前記検出手段は、前記位置情報として被写体距離を検出することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
8. 前記合成手段は、合成に使用する前記撮像手段により撮像された画像から取得する画像範囲を可変とする手段をさらに有し、
   前記制御手段は、前記第１の撮影条件で撮像された画像から取得する画像範囲と前記第２の撮影条件で撮像された画像から取得する画像範囲を異ならせることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 前記撮像装置は、顔検出手段をさらに有し、
   前記制御手段は、前記第１の指示手段による指示に応じて、前記顔検出手段で被写体の顔の位置と大きさを検出させ、
   検出した顔の位置と大きさから前記第２の撮影条件で撮像された画像から取得する画像範囲を決定することを特徴とする請求項８に記載の撮像装置。
10. 被写体像を撮像する撮像手段を有する撮像装置の制御方法であって、
    前記撮像手段で撮像される複数の画像を合成する合成ステップと、
    前記撮像装置の位置情報を検出する検出ステップと、
    撮影準備動作の開始を指示する第１の指示ステップと、
    撮影動作の開始を指示する第２の指示ステップと、
    前記第１の指示ステップによる指示に応じて、第１の撮影条件及び第２の撮影条件を決定し、かつ、前記第１の指示ステップによる指示があったときの前記検出ステップにより検出される位置情報に基づく基準位置情報を保持し、
    前記第２の指示ステップによる指示に応じて、前記撮像手段に前記第１の撮影条件で連続撮影を開始させ、前記検出ステップにより前記撮像装置の位置情報が前記基準位置情報に対応すると検出されるときには前記撮像手段に前記第２の撮影条件で撮影させる制御ステップと、
    を有することを特徴とする撮像装置の制御方法。
11. 請求項１０に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
12. コンピュータに、請求項１０に記載の撮像装置の制御方法の各工程を実行させるためのプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。