JP7102301B2 - 撮像装置及びその制御方法、並びにプログラム - Google Patents

Description

本発明は、撮像装置及びその制御方法、並びにプログラムに関し。特に星空パノラマ撮影を行う撮像装置及びその制御方法、並びにプログラムに関する。

広大な天体を１枚の画像として収めるための撮影方法の一つとして星空パノラマ撮影がある。

また、パノラマ画像を生成する技術としては以下の技術が知られている（例えば特許文献１参照）。まず、撮影方向を順次変化させて撮影範囲の一部を構成する複数枚の単位画像を撮像する。その後、Ｎ－１枚目及びＮ枚目に撮像された各単位画像の一部を構成する所定サイズの画像領域を互いに重ね合わせ領域が生じるように切り出す。この切り出しを全ての単位画像に対して行い、切り出された画像領域を順次重ね合わせて合成するという方法である。

一方、天体の日周運動による撮影面上での位置ずれを光学式振れ補正を行いながら撮影と合成を繰り返すことで位置合わせの失敗を防ぎつつより広い画角の撮影画像を得る技術も知られている（例えば特許文献２参照）。

天体を撮影する際は星の光量が微量であることから３０秒や１分といった長時間の露光を行うことが多い。一方、天体は地球の自転に合わせて日周運動をしているため、特許文献２のように光学式振れ補正を行うことなく長時間露光すると星は点像にならず光跡となってしまう。

従って、天体をパノラマ撮影する際は、光跡にならない程度の露光時間で画角の異なる画像（天体画像）を単位画像として撮影することが必要になる。

特開２００５－３２８４９７号公報 特開２０１６－００５１６０号公報

しかしながら長時間露光で撮影された天体画像同士では時間の経過により星が動くため、各単位画像から切り出された画像領域を順次重ね合わせて合成する際、背景及び星の夫々を位置合わせすることは困難である。

図３は、星空パノラマ撮影の際の画角の異なる２つの画像３０１，３０２を合成した際の位置合わせの失敗例である。

図３では、まず、カメラを所定方向に向けて長秒露光撮影を行うことにより画像３０１を取得する。その後、カメラを所定角度までパンニングした後、再度長秒露光撮影を行うことにより画像３０２を取得する。

その後、画像３０１，３０２の重ね合わせ領域に対してぶれ量算出と位置合わせを行い、合成することでパノラマ画像３０３を生成している。しかし、被写体となる星は移動体であるため、生成されたパノラマ画像３０３の重ね合わせ領域において星が二重像になってしまうという問題が生じる。また、星空パノラマ撮影際に行われる複数回の長秒露光撮影を全て終了するまでには時間がかかり、撮り始めの画像と撮り終わりの画像とでは背景と星の相対関係が変わってしまうという問題も生じる。

また、特許文献１，２で開示されている従来技術では、背景または星のどちらか一方の被写体に対する位置合わせはできるが、撮影と撮影の間で被写体となる星が動いた場合に背景と星の両方の位置合わせを行うことはできない。

そこで本発明の目的は、星空パノラマ撮影において画角の異なる撮影と撮影の間で被写体となる星が動いても背景と星の両方の位置合わせを行うことができる撮像装置及びその制御方法、並びにプログラムを提供する。

本発明の請求項１に係る撮像装置は、異なる画角での長秒露光撮影により得られるｎ枚の長秒撮影画像を使用して星空パノラマ画像を生成する撮像装置において、前記異なる画角の夫々で、前記長秒露光撮影の前後に短秒露光撮影を行うことにより第１及び第２の短秒撮影画像を取得する取得手段と、Ｎ－１枚目（Ｎは２～ｎまでの整数）の前記第２の短秒撮影画像とＮ枚目の前記第１の短秒撮影画像から画角間ぶれ量を算出する第１のぶれ量算出手段と、前記画角間ぶれ量を用いて、Ｎ－１枚目の前記長秒撮影画像に対する、Ｎ枚目の長秒撮影画像の位置合わせを行う第１の位置合わせ手段と、順次、前記位置合わせが行われたＮ枚目の前記長秒撮影画像と、Ｎ－１枚目までの前記長秒撮影画像の合成結果である比較暗合成画像とを比較暗合成し、背景のみパノラマ画像を生成する第１の合成手段と、Ｎ－１枚目の前記長秒撮影画像とＮ枚目までの合成結果である比較暗合成画像の差分画像をＮ－１枚目の星のみ画像として抽出する差分画像抽出手段と、Ｎ－１枚目の前記星のみ画像とＮ枚目の前記星のみ画像から星のみ画像間ぶれ量を算出する第２のぶれ量算出手段と、前記星のみ画像間ぶれ量を用いて、Ｎ－１枚目の前記星のみ画像に対する、Ｎ枚目の前記星のみ画像の位置合わせを行う第２の位置合わせ手段と、順次、前記位置合わせが行われたＮ枚目の前記星のみ画像と、Ｎ－１枚目までの前記星のみ画像の合成結果である比較明合成画像とを比較明合成し、星のみパノラマ画像を生成する第２の合成手段と、前記背景のみパノラマ画像と前記星のみパノラマ画像とを加算合成して星空パノラマ画像を生成する第３の合成手段とを備えることを特徴とする。

本発明によれば、星空パノラマ撮影において画角の異なる撮影と撮影の間で被写体となる星が動いても背景と星の両方の位置合わせを行うことができる。

本発明の実施例１に係る撮像装置のハードウェア構成を示すブロック図である。 パノラマ撮影の概要を説明するための図である。 星空パノラマ合成の課題を説明する概念図である。 図１の撮像装置における通常の撮影処理の手順を示すフローチャートである。 本発明の実施例１に係る星空パノラマ撮影処理の手順を示すフローチャートである。 図５のステップＳ５０３の撮影及び背景のみパノラマ画像生成の並行処理の手順を示すフローチャートである。 図６の処理における撮影及び背景のみパノラマ画像生成の並行処理の流れを示すデータフローダイアグラムである。 図５のステップＳ５０４の星のみパノラマ画像生成処理の手順を示すフローチャートである。 図８の処理における星空のみパノラマ画像の生成の流れを示す概念図である。 図５のステップＳ５０５の星空パノラマ画像生成処理の手順を示すフローチャートである。 本発明の実施例２に係る星空パノラマ画像生成処理の手順を示すフローチャートである。 本発明の実施例２に係る星空パノラマ画像の生成の流れを示す概念図である。 本発明の実施例２に係る警告表示の例を示す図である。

以下、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

はじめにパノラマ撮影の概要について図２を用いて説明する。

まず、図２（ａ）に示すように、撮像装置１００をユーザ２０２が直接、もしくは自動雲台等に載せた状態でパンニングしながら順次撮影が行われ、複数の画像を取得する。図２（ｂ）に示すように、この取得される複数の画像の夫々に、被写体の重ね合わせ領域が含まれるように撮影は行われる。

１枚目の画像と２枚目の画像が取得されると重ね合わせ領域の特徴点を両画像から抽出し、その特徴点が画像間でどのくらい動いたかを示す移動ベクトル（ぶれ量）を検出する。その移動ベクトルを例えばアフィン変換の係数に変換し、特徴点が一致するように１枚目の画像と２枚目の画像を重ね合わせることで合成画像が得られる。

以降は、合成画像と直前に撮影された画像を順次重ね合わせることでパノラマ画像（全景画像）を生成する。生成するパノラマ画像が星空パノラマ画像である場合、パンニングしながら順次行われる撮影は長秒露光撮影となるため、三脚を使った撮影が望ましい。

図１は本発明の実施例１に係る撮像装置１００のハードウェア構成を示すブロック図である。

図１において、撮像装置１００は、撮影レンズ１０１、ＡＦ（オートフォーカス）駆動回路１０２、マイクロコンピュータ１２３、絞り１０３、絞り駆動回路１０４、主ミラー１０５、サブミラー１０６、及びミラー駆動回路１０７を備える。また、撮像装置１００は、ペンタプリズム１０８、露光量算出回路１０９、フォーカルプレーンシャッタ（以下、単に「シャッタ」という）１１０、シャッタ駆動回路１１１、撮像センサ１１２、Ａ／Ｄ変換器１１５、及び映像信号処理回路１１６を備える。撮像装置１００は、さらに、メモリコントローラ１１９、メモリ１２０、外部インターフェイス１２１、バッファメモリ１２２、操作部材１２４、レリーズスイッチ１２５、及び液晶駆動回路１２７を備える。また、撮像装置１００は、外部液晶表示部材（以下「液晶モニタ」という）１２８、ファインダ内液晶表示部材１２９、不揮発性メモリ１３０、電源部１３１、時計１３２、ジャイロ１３３、及び方位計１３４を備える。

ＡＦ駆動回路１０２は、例えばＤＣモータやステッピングモータによって構成され、マイクロコンピュータ１２３の制御によって撮影レンズ１０１のフォーカスレンズ位置を変化させることによりピントを合わせる。

絞り駆動回路１０４は、絞り１０３を駆動する。駆動されるべき量はマイクロコンピュータ１２３によって算出され、光学的な絞り値を変化させる。

主ミラー１０５は、撮影レンズ１０１から入射した光束をファインダを構成するペンタプリズム１０８側に導くか撮像センサ１１２側に導くかを切り替えるためのミラーである。主ミラー１０５は、常時はペンタプリズム１０８へと光束を導くが、撮影が行われる場合やライブビュー表示の場合には、撮像センサ１１２へと光束を導くように上方に跳ね上がり光束中から待避する。また主ミラー１０５はその中央部が光の一部を透過できるようにハーフミラーとなっており、光束の一部を、焦点検出を行うためのセンサ（不図示）に入射するように透過させる。尚、ファインダはペンタプリズム１０８の他に図１においては不図示のピント板やアイピースレンズなどによって構成される。

サブミラー１０６は、主ミラー１０５から透過してきた光束を反射させ、焦点検出を行うためのセンサ（不図示）や露光量算出回路１０９内に配置されているセンサ（不図示）に導く。

ミラー駆動回路１０７は、マイクロコンピュータ１２３の制御によって主ミラー１０５を駆動する。

露光量算出回路１０９は、主ミラー１０５の中央部を透過し、サブミラー１０６で反射された光束を、その内部に配置された光電変換を行うためのセンサで受光する。フォーカス演算に用いるデフォーカス量は、このセンサの出力を演算することによって求められる。マイクロコンピュータ１２３は、演算結果を評価してＡＦ駆動回路１０２に指示し、撮影レンズ１０１を駆動させる。

シャッタ駆動回路１１１は、マイクロコンピュータ１２３の制御によってシャッタ１１０を駆動する。すなわち、シャッタ１１０の開口時間はマイクロコンピュータ１２３によって制御される。

撮像センサ１１２は、ＣＣＤやＣＭＯＳセンサなどが用いられ、撮影レンズ１０１によって結像された被写体像をアナログ化された画像信号に変換し、出力する。

Ａ／Ｄ変換器１１５は、撮像センサ１１２から出力された画像信号をＡＤ変換し、出力する。

映像信号処理回路１１６は、ゲートアレイなどのロジックデバイスにより実現され、Ａ／Ｄ変換器１１５から出力された画像信号の画像に対し各種処理を行ない、画像データとして出力する。具体的には、映像信号処理回路１１６は、輝度調整回路１１６ａ、ガンマ補正回路１１６ｂ、ぶれ量算出回路１１６ｃ、位置合わせ回路１１６ｄ、及び幾何変換回路１１６ｅを備える。また、映像信号処理回路１１６は、変倍回路１１６ｆ、トリミング回路１１６ｇ、合成回路１１６ｊ、現像回路１１６ｋ、圧縮・伸長回路１１６ｌ、及び差分画像抽出回路１１６ｍを備える。

輝度調整回路１１６ａは、デジタルゲインによって画像の明るさを調整し、ガンマ補正回路１１６ｂは、ガンマ特性によって画像の輝度を調整する。ぶれ量算出回路１１６ｃは、２枚の画像の間のぶれ量を算出し、位置合わせ回路１１６ｄは、その算出されたぶれ量に応じて２枚の画像の位置合わせを行う。幾何変換回路１１６ｅは、撮影レンズ１０１の歪曲を補正し、変倍回路１１６ｆは、画像のサイズを変倍し、トリミング回路１１６ｇは、画像の一部を切り出し、合成回路１１６ｊは、複数の画像を１枚の画像に合成する。現像回路１１６ｋは、画像信号を画像データに変換する現像を行い、圧縮・伸長回路１１６ｌは、Ｊｐｅｇなどの一般的な画像形式に圧縮する変換を行い、差分画像抽出回路１１６ｍは、複数の画像から差分画像を抽出する。尚、合成回路１１６ｊは、単純な加算合成や加算平均合成だけでなく、合成対象の画像の各領域において最も明るい値又は暗い値を持つ画素を選択して１枚の画像を生成する比較明合成や比較暗合成等の処理も行う。

メモリ１２０は、ＳＤカードやコンパクトフラッシュ（登録商標）などからなる取り外し可能なメモリである。

外部インターフェイス１２１は外部のコンピュータ等に撮像装置１００を接続可能とするインターフェイスである。

メモリコントローラ１１９は、映像信号処理回路１１６から出力された処理済みの画像データを、メモリ１２０で保持させるべく出力する。また、メモリコントローラ１１９は、映像信号処理回路１１６より処理途中の画像データが送信された場合、これを一時的にバッファメモリ１２２に保持させるべく出力する。メモリコントローラ１１９による出力先切り替えはマイクロコンピュータ１２３の指示により行われる。

メモリコントローラ１１９は、また、逆にバッファメモリ１２２やメモリ１２０から画像データを映像信号処理回路１１６にマイクロコンピュータ１２３の指示により出力する。

マイクロコンピュータ１２３は、映像信号処理回路１１６により、必要に応じて撮像センサ１１２からの画像信号に含まれる露出情報やホワイトバランスなどの情報を取得し、それらの情報を基にホワイトバランスやゲインを調整するための指示を行う。また、連続撮影動作の場合においては、メモリコントローラ１１９を制御し、撮影毎に得られる処理途中の各画像データをバッファメモリ１２２に一時的に保持させつつ、映像信号処理回路１１６にて画像処理や圧縮処理を順次行う。連像撮影可能枚数は、バッファメモリ１２２の容量に左右される。またパノラマ撮影時の連続撮影可能枚数についてはさらに１回の撮影で得られる画像データの画像サイズの大きさにも左右される。

メモリコントローラ１１９は、さらに、外部のコンピュータ等と撮像装置１００を接続する外部インターフェイス１２１を介してメモリ１２０に記憶されている画像を出力可能である。

操作部材１２４は、レリーズスイッチ１２５と接続し、マイクロコンピュータ１２３にレリーズスイッチ１２５の信号状態を伝える。マイクロコンピュータ１２３は操作部材１２４を介して受信したレリーズスイッチ１２５の信号の状態に応じて各部をコントロールする。具体的には、レリーズスイッチ１２５は、ユーザ押下により半押し状態となった場合にＳＷ１信号の状態をＯＮとする。マイクロコンピュータ１２３はＳＷ１信号の状態がＯＮになるとオートフォーカスの動作を行うと共に、測光動作を行う。また、レリーズスイッチ１２５は、ユーザ押下により全押し状態となった場合にＳＷ２信号の状態をＯＮとする。マイクロコンピュータ１２３はＳＷ２信号の状態がＯＮになると画像の記録（撮影）を開始する。またＳＷ１信号及びＳＷ２信号の状態が共にＯＮである間は、連続撮影動作が行われる。

操作部材１２４には、他に、図１において不図示の各種ボタン・スイッチと接続されており、これらのボタン・スイッチの状態をマイクロコンピュータ１２３に伝える。ここで、不図示の各種ボタン・スイッチは、特に限定されるものではない。例えば、ＩＳＯ設定ボタン、メニューボタン、セットボタン、フラッシュ設定ボタン、単写/連写/セルフタイマー切り替えボタン、メニューや再生画像移動のための移動＋（プラス）ボタン、移動－（マイナス）ボタン、露出補正ボタンである。また、表示画像拡大ボタン、表示画像縮小ボタン、再生スイッチ、絞り１０３を設定された絞り量とするための絞りボタン、撮影した画像を消去するための消去ボタン、撮影や再生に関する情報表示ボタンも不図示の各種ボタン・スイッチに含んでいてもよい。尚、上記プラスボタン及びマイナスボタンの各機能は、回転ダイアルスイッチを備えることによって、より軽快に数値や機能を選択することが可能となる。

液晶駆動回路１２７は、マイクロコンピュータ１２３の表示内容命令に従って、文字、画像を用いて動作状態やメッセージ等を表示する液晶モニタ１２８やファインダ内液晶表示部材１２９を駆動する。

また、ファインダ内液晶表示部材１２９には、不図示のＬＥＤなどのバックライトが配置されており、そのＬＥＤも液晶駆動回路１２７で駆動される。

マイクロコンピュータ１２３は撮影前に設定されているＩＳＯ感度、画像サイズ、画質に応じた、画像サイズの予測値データをもとに、メモリコントローラ１１９を通して、メモリ１２０の容量を確認した上で撮影可能残数を演算することができる。また、この演算結果を必要に応じて液晶モニタ１２８やファインダ内液晶表示部材１２９に表示する。

不揮発性メモリ１３０は、ＥＥＰＲＯＭからなり、撮像装置１００の電源部１３１がＯＦＦの状態でも、データを保存することができる。

電源部１３１は、ＯＮ状態のときに各ＩＣや駆動系に必要な電源を供給する。

時計１３２は、メモリ１２０に記録する画像データに撮影時刻などを保存したり、後述するように画像そのものに撮影時刻を重畳したりできる。

ジャイロ１３３は、２軸もしくは３軸で、撮像装置１００の回転の角速度を検出する。

方位計１３４は、撮像装置１００の撮影レンズ１０１の光軸方向を検出する。

以下、図４のフローチャートを用いて撮像装置１００における通常の撮影処理を説明する。この処理を開始する前に予め露光量算出回路１０９によって露光量を算出し、絞り量、蓄積時間、ＩＳＯ感度を決定しておく。

本処理は、レリーズスイッチ１２５がユーザによって全押しされ、ＳＷ２信号の状態がＯＮになったときにマイクロコンピュータ１２３において開始する。

まず、マイクロコンピュータ１２３は予め決められた絞り量を絞り駆動回路１０４に通知し、絞り１０３を目的の絞り量にする。次に、撮像センサ１１２、Ａ／Ｄ変換器１１５などに電源部１３１から電源を供給し、撮影準備を行う。準備が完了するとミラー駆動回路１０７を駆動して、主ミラー１０５を光束中から退避させると共に、シャッタ駆動回路１１１を駆動してシャッタ１１０の不図示の先幕を開け、被写体像を撮影レンズ１０１を通して撮像センサ１１２に結像させる。

続いて予め決められた蓄積時間後にシャッタ駆動回路１１１を駆動してシャッタ１１０の不図示の後幕を閉じ、撮像センサ１１２に蓄積時間の間だけ光が入るようにする。この一連の動作を行って露光を行う（ステップＳ４０１）。

続いて撮像センサ１１２に結像した被写体像の画像信号をＡ／Ｄ変換器１１５でデジタル信号へと変換し、映像信号処理回路１１６に画像信号を読み出すと共にバッファメモリ１２２へと格納する（ステップＳ４０２）。

次に、映像信号処理回路１１６に読み出した画像信号を現像回路１１６ｋにて画像データに変換する現像処理を行う（ステップＳ４０３）。この時、画像が適正になるようホワイトバランスを調整してもよいし、ガンマ補正回路１１６ｂで暗部にゲインをかける等の画像処理を行ってもよい。

その後、ステップＳ４０３の現像処理により得られた画像データを圧縮・伸長回路１１６ｌでＪＰＥＧなどの汎用的な画像形式に圧縮する変換を行い（ステップＳ４０４）、これをメモリ１２０に書き込み（ステップＳ４０５）、本処理を終了する。

尚、ステップＳ４０３における画像処理や現像処理を行わず、ステップＳ４０２から直接ステップＳ４０４に進み、読み出した画像信号そのままを可逆圧縮して、ステップＳ４０５でその可逆圧縮された画像信号をメモリ１２０に保存するよう切り替えてもよい。この切り替えはユーザが操作部材１２４で行うことが可能である。

以下、図５のフローチャートを用いてマイクロコンピュータ１２３により実行される星空パノラマ撮影処理を説明する。尚、星空パノラマ撮影モードには、撮像装置１００を横方向に向きを変えながら撮影するモードと、縦方向に向きを変えながら撮影するモードがあるが、ここでは前者のモードについて説明する。

ユーザがメニューボタンを操作して星空パノラマ撮影モードを選択すると（ステップＳ５００でＹＥＳ）、撮影準備を行う（ステップＳ５０１）。

ここで、撮影準備とは、具体的には以下の処理を指す、まず、撮像センサ１１２、Ａ／Ｄ変換器１１５などに電源部１３１から電源を供給し、初期設定を行う。次に、ミラー駆動回路１０７を駆動して主ミラー１０５を光束中から退避させると共に、シャッタ駆動回路１１１を駆動してシャッタ１１０を開いて、被写体像を撮影レンズ１０１を通して撮像センサ１１２に結像させる。

その後、液晶モニタ１２８でライブビューの表示を開始する。すなわち、撮像センサ１１２からの画像信号をＡ／Ｄ変換器１１５でデジタル信号へと変換し、映像信号処理回路１１６の現像回路１１６ｋで画像データに変換する現像を行い、輝度調整回路１１６ａ、ガンマ補正回路１１６ｂで画像の明るさ及び輝度を調整する。さらに、その画像データを変倍回路１１６ｆで液晶モニタ１２８に適した画像サイズへと変倍して表示を行う。これを１秒間に２４乃至は６０回繰り返して行う。

次に、ユーザが液晶モニタ１２８におけるライブビューを確認しながら、画角を調整した後、レリーズスイッチ１２５を半押しすると、レリーズスイッチ１２５はＳＷ１信号の状態をＯＮとする。マイクロコンピュータ１２３はＳＷ１信号の状態がＯＮになると、測光動作を行い、露光量算出回路１０９で露光量を算出する。本実施例では、この露光量の算出の際、ライブビューを中止し、サブミラー１０６に反射された光を露光量算出回路１０９内のセンサに導くことにより、露光量算出回路１０９において最適な露光量を算出する。尚、この露光量の算出の際もライブビューを継続するようにしてもよい。この場合は映像信号処理回路１１６に含まれる不図示の露光量算出回路で最適な露光量を決定する。

その後、算出された露光量に基づき露光制御を行う。具体的には、算出された露光量に基づき絞り量を決定し、その絞り量を絞り駆動回路１０４に通知し、絞り１０３をその絞り量とする。また、算出された露光量に基づき、撮像センサ１１２の感度や蓄積時間も制御する。このとき、星空パノラマ撮影では長秒露光撮影の際に星が軌跡にならない程度の露光時間になるよう、プログラム線図を用いて蓄積時間が設定される。

露光制御後、ＡＦ駆動回路１０２で撮影レンズ１０１を駆動し、焦点調整も終了すると、不図示のブザー等でユーザに星空パノラマ撮影の準備が終了した旨を通知し、撮影準備を終える。

ステップＳ５０１で撮影準備が終了し、ユーザが上記通知を受け、撮像装置１００を撮り始めたい向きに向け、レリーズスイッチ１２５を全押しすると、レリーズスイッチ１２５はＳＷ２信号の状態をＯＮとする。マイクロコンピュータ１２３はＳＷ１信号の状態がＯＮになると（ステップＳ５０２でＹＥＳ）、撮影及び背景のみパノラマ画像生成の並行処理へと移行する（ステップＳ５０３）。この処理では、星空パノラマ画像を生成するために必要な全ての画像を取得るための撮影と並行して背景のみのパノラマ画像が生成される。この背景のみのパノラマ画像の生成方法については、図７のデータフローダイアグラム、及び図９の概念図も用いて以下に詳細に説明する。

図６において、まず、撮影レンズ１０１のレンズ情報を取得する（ステップＳ６０１）。このレンズ情報は後述する歪曲やレンズ周辺部の光量の低下を補正するためのデータなどが含まれる。

次に、最初の画角での長秒露光撮影（以下「１枚目の長秒撮影」という。）を行う（ステップＳ６０２）。撮像センサ１１２、Ａ／Ｄ変換器１１５はライブビュー用の駆動に設定されているため、これを静止画撮影用に切り替える。その後、前述した図４の処理を行なう。尚、ステップＳ４０３において、映像信号処理回路１１６に読み出した画像信号は、映像信号処理回路１１６に含まれる不図示の回路によって、例えば撮像センサ１１２のシェーディングなどの補正を行う。このように最小限の加工しか行っていない画像データを以下ＲＡＷ画像と呼ぶ。続いてこのＲＡＷ画像を現像回路１１６ｋによって現像しＹＵＶ画像とする。具体的には、図７のＮが２である場合、１枚目の長秒撮影によりＲＡＷ画像６０１が得られ、これが現像回路１１６ｋによって現像され１枚目のＹＵＶ画像６０２となる。

ステップＳ６０３では、１枚目の高感度短秒露光撮影を行う。以下、Ｎ枚目の長秒撮影の直前の高感度短秒露光撮影をＮ枚目の短秒撮影Ａと称し、Ｎ枚目の長秒撮影の直後の高感度短秒露光撮影をＮ枚目の短秒撮影Ｂと称する。短秒撮影Ａ，Ｂで得られる画像はぶれ量算出のためだけに使用し、パノラマ合成画像としては使用しない。また、ステップＳ６０３で行われる高感度短秒露光撮影はステップＳ６０２の長秒撮影の直後の処理であるため、短秒撮影Ｂに該当する。Ｎ枚目の短秒撮影Ａ，ＢをＮ枚目の長秒撮影と同じＩＳＯ感度で行うと、Ｎ枚目の短秒撮影Ａ，Ｂで得られる画像の星がＮ枚目の長秒撮影と比べて小さく薄くなる。このため、Ｎ枚目の短秒撮影Ａ，Ｂでは、Ｎ枚目の長秒撮影より高いＩＳＯ感度に切り替えて、前述した図４の処理を行なう。具体的には、図７のＮが２である場合、１枚目の短秒撮影ＢによりＲＡＷ画像６０４が得られ、これが現像回路１１６ｋによって現像され１枚目のＹＵＶ画像６０５となる。

ステップＳ６０４では、２枚目の長秒撮影までに撮像装置１００がどのくらいスイング（回転）されたかを取得するため、まず１枚目の撮影時のジャイロ情報の初期化（リセット）を行う。

ステップＳ６０５では、ステップＳ６０２の１枚目の長秒撮影及びステップＳ６０３の１枚目の短秒撮影Ｂで得られたＹＵＶ画像６０２，６０５に対して幾何変換回路１１６ｅで既存の技術を用いて撮影レンズ１０１の歪曲収差を補正する。この補正により、幾何変換後画像６０３，６０６を取得する。長秒撮影で得られた幾何変換後画像６０３を液晶モニタ１２８に表示させるため、変倍回路１１６ｆで液晶モニタ１２８の画素数に応じて縮小し、バッファメモリ１２２のＶＲＡＭ領域６１１に格納する。その後、カウンタＮを２に設定してステップＳ６０６に進む。

ステップＳ６０６では、Ｎ枚目の短秒撮影ＡによりＲＡＷ画像６０８を得た後、現像回路１１６ｋによって現像しＹＵＶ画像６０９とする。

続いてステップＳ６０７では、Ｎ枚目の長秒撮影によりＲＡＷ画像６１３を得た後、現像回路１１６ｋによって現像しＹＵＶ画像６１４とする。

さらに、ステップＳ６０８では、Ｎ枚目の短秒撮影ＢによりＲＡＷ画像６１６を得た後、現像回路１１６ｋによって現像しＹＵＶ画像６１７とする。

ステップＳ６０９では、Ｎ－１枚目の撮影時からＮ枚目の撮影時までの撮像装置１００の回転角度をジャイロ情報として取得する。ジャイロ情報としては、撮像装置１００に対してＹａｗ方向、Ｐｉｔｃｈ方向の２軸に関する回転角度を取得するが、光軸に対しての回転であるＲｏｌｌ方向の３軸に関する回転角度を取得することも好ましい。尚、ジャイロ１３３からの出力そのものは角速度であるため、これを積分した回転角度をジャイロ情報として算出する。この算出された回転角度は、Ｎ＞２の場合のジャイロ情報を計算する際必要となるため、ジャイロ情報６０７として記憶しておく。

ステップＳ６１０では、ステップＳ６０１で取得した撮影レンズ１０１の焦点距離や、画角、撮像センサ１１２の情報などから、ステップＳ６０９で算出されたジャイロ情報を画素単位に変換し、撮像装置１００の移動量を計算する。

ここで、撮影レンズ１０１の歪曲補正後の画角（α）は、実効焦点距離をｆ［ｍｍ］、撮像センサ１１２の幅をｗ［ｍｍ］とすると、以下の式１で計算される。
α[°] = 2 × arctan( w[mm]÷ 2 ÷f[mm] ) （式１）

撮像センサ１１２の１画素あたりのサイズをｐ［μｍ］、スイング角［°］をθとすると、画像における移動量ｄ［ｐｉｘ］は式７の通りとなる。
ｄ[pix] = tan( α[°]÷2 ) × f[mm] / p[μm] × 1000 （式２）

ステップＳ６１１では、Ｎ枚目の短秒撮影Ａ、長秒撮影、及び短秒撮影Ｂで得られたＹＵＶ画像６０９，６１４，６１７に対してステップＳ６０５と同様の方法で撮影レンズ１０１の歪曲収差の補正を行い、幾何変換後画像６１０,６１５，６１８を取得する。この際、１枚目の長秒撮影で得られた幾何変換後画像６０３と同様に、Ｎ枚目の長秒撮影で得られた幾何変換後画像６１５を液晶モニタ１２８に表示させる。このため、幾何変換後画像６１５は、変倍回路１１６ｆで液晶モニタ１２８の画素数に応じて縮小された後、バッファメモリ１２２のＶＲＡＭ６１９に格納される。

ステップＳ６１２では、ぶれ量算出回路１１６ｃを用いてＮ－１枚目（前回）の短秒撮影Ｂで得られた幾何変換後画像６０６とＮ枚目（今回）の短秒撮影Ａで得られた幾何変換後画像６１０の間のぶれ量、すなわち画角間ぶれ量を算出する。ぶれ量の算出に関しては既知の方法が使えるが、本実施例ではぶれ量算出回路１１６ｃで両画像内の重ね合わせ領域における特徴点を抽出し、標本化することでぶれ量としてのアフィン係数６１２を算出している。例えばここで特徴点１が座標（ｘ１，ｙ１）から座標（ｕ１，ｖ１）に、特徴点２が座標（ｘ２，ｙ２）から（ｕ２，ｖ２）に、特徴点３が座標（ｘ３，ｙ３）から（ｕ３，ｖ３）にずれていたとする。すると式１から連立方程式を作ると式３、式４のようになる。

この方程式を解くことでａ～ｆのアフィン係数を算出することが可能である。４点以上の特徴点が検出できた場合は、近い点を除外して最小二乗法を用いて正規化する。３点以上の特徴点が検出できない場合、検出された３点の特徴点が直線状になっている場合、及び検出された３点のうち２点が近い場合は、ぶれ量の算出に失敗したと判断する。

このようにして算出されたぶれ量（アフィン係数）と、ステップＳ６１０で計算された移動量とが大きく異なる場合は、幾何変換後画像６０６，６０１に繰り返しパターンや移動体が含まれていることが考えられる。この場合、別の条件下で再度ぶれ量を算出したり、この撮影を失敗とし、ステップＳ６０６に戻り、Ｎ枚目の撮影を再度行ったり、あるいは星空パノラマ撮影を失敗したことの警告を出す。

ステップＳ６１３では、ステップＳ６１２で算出したぶれ量（アフィン係数）をもとに、位置合わせ回路１１６ｄが、Ｎ－１枚目の長秒撮影で得られた幾何変換後画像６０３に対して、Ｎ枚目の長秒撮影で得られた幾何変換後画像６１５の位置合わせを行う。これにより、位置合わせ画像６２１を取得する。

ステップＳ６１４では、合成回路１１６ｊが、ステップＳ６１３で取得した位置合わせ画像６２１とＮ－１枚目までの合成結果である比較暗合成画像６２０に対して比較暗合成を行ない、比較暗合成画像６２２を取得する。尚、Ｎ＝２の場合は、１枚目の長秒撮影で得られた幾何変換後画像６０３をＮ－１枚目までの合成結果である比較暗合成画像６２０として用いる。以下、比較暗合成処理について図９の画像処理の概念図を用いて説明する。

図９に示すように、被写体である星が移動している間に、画角９０１～９０４の長秒撮影により得られた１枚目から４枚目の幾何変換後画像（以下単に「長秒撮影画像」という。）９０５，９０８，９１１，９１４が取得される。

一方、１枚目の長秒撮影の直後に１枚目の短秒撮影Ｂにより得られた幾何変換後画像（以下「短秒撮影Ｂ画像」（第２の短秒撮影画像）という。）９０６が取得される。また、２枚目の長秒撮影の直前に短秒撮影Ａにより得られた幾何変換後画像（以下「短秒撮影Ａ画像」（第１の短秒撮影画像）という。）９０７が取得され、２枚目の長秒撮影の直後に短秒撮影Ｂ画像９０９が取得される。同様に、３枚目、４枚目の長秒撮影の直前には夫々短秒撮影Ａ画像９１０，９１３が取得され、３枚目、４枚目の長秒撮影の直後には夫々短秒撮影Ｂ画像９１２，９１５が取得される。

まず、１枚目の短秒撮影Ｂ画像９０６と２枚目の短秒撮影Ａ画像９０７の重ね合わせ領域における星のぶれ量９１６を算出する。同様に、２枚目の短秒撮影Ｂ画像９０９と３枚目の短秒撮影Ａ画像９１０を使ってぶれ量９１７を算出し、３枚目の短秒撮影Ｂ画像９１２と４枚目の短秒撮影Ａ画像９１３を使ってぶれ量９１８を算出する。

算出されたぶれ量９１６，９１７，９１８は夫々、長秒撮影画像９０８，９１１，９１４に対して比較暗合成処理を行なうことにより比較暗合成画像９１９，９２０，９２１を取得する際に用いられる。具体的には、比較暗合成画像９１９は、１枚目の長秒撮影画像９０１と２枚目の長秒撮影画像９０８をぶれ量９１６に基づく位置合わせをした状態で比較暗合成することにより生成される。比較暗合成画像９１９で示すように、比較暗合成の対象となる画像（ここでは、長秒撮影画像９０５，９０８）の重ね合わせ領域において、背景は動いていないため残るが、星は動いているため残らない。

尚、Ｎ＞２の場合、Ｎ－１枚目までの合成結果である比較暗合成画像とＮ枚目の長秒撮影画像を、Ｎ－１枚目の短秒撮影Ｂ画像とＮ枚目の短秒撮影Ａ画像を使って算出されたぶれ量に基づく位置合わせをした状態で比較暗合成する。これにより、Ｎ枚目までの合成結果である比較暗合成画像を生成する。例えば、３枚目までの合成結果である比較暗合成画像９２０は、２枚目までの合成結果である比較暗合成画像９１９と３枚目の長秒撮影画像９１１をぶれ量９１７に基づく位置合わせをした状態で比較暗合成することにより生成される。同様の比較暗合成を繰り返すことで、比較暗合成画像９２１のように背景部分の領域が徐々に繋がった背景のみパノラマ画像が生成できる。

図６に戻り、ステップＳ６１５では、ステップＳ６０８の短秒撮影Ｂが終了した後、所定時間が経過するまでの期間中にユーザがレリーズスイッチ１２５を全押しすると、レリーズスイッチ１２５はＳＷ２信号をＯＮとする。この場合、撮影はまだ終了しないと判定し（ステップＳ６１５でＮＯ）、カウントＮを１つインクリメントした後、ステップＳ６０６からの処理を繰り返す。一方、上記期間中にユーザがレリーズスイッチ１２５を全押ししなかった場合、撮影を終了すると判定し（ステップＳ６１５でＹＥＳ）、本処理を終了する。尚、以下の処理では、ステップＳ６１５において撮影を終了すると判定したときのカウンタＮの値がｎである場合について説明する。

以上、図６の処理によれば、カウンタＮを２～ｎまでインクリメントすることで、各画角で長秒露光撮影及びその前後で短秒露光撮影を行い、各長秒撮影画像について、得られた短秒撮影画像から算出したぶれ量での位置合わせ及び比較暗合成を繰り返す。これにより、比較暗合成画像９２１のように背景部分のみの領域が徐々に繋がった背景のみパノラマ画像が生成できる。

また、ステップＳ６０２，Ｓ６０３で示すように、最初の画角、すなわち１枚目の長秒撮影画像の取得時においては、長秒露光撮影の後にのみ短秒露光撮影が行われる。

図５に戻り、図６において詳述したステップＳ５０３の撮影及び背景のみパノラマ画像生成の並行処理が終了すると、星のみパノラマ生成処理へと移行する（ステップＳ５０４）。

以下、ステップＳ５０４の星のみパノラマ画像生成処理について、図８のフローチャートと図９の画像処理の概念図を用いて詳細に説明する。

図８において、まず、カウンタＮを１に初期化する（ステップＳ８０１）。

続いて、Ｎ枚目の長秒撮影画像とＮ＋１枚目までの合成結果である比較暗合成画像を差分画像抽出回路１１６ｍで差分画像抽出を行ない、Ｎ枚目の比較暗合成画像を生成する（ステップＳ８０２）。

例えば、Ｎ＝１の場合、図９に示すように、１枚目の長秒撮影画像９０５と２枚目までの合成結果である比較暗合成画像９１９を差分画像抽出回路１１６ｍで差分画像抽出を行ない、１枚目の星のみ画像９２２を生成する。この星のみ画像９２２は、長秒撮影画像９０５の重ね合わせ領域における星のみが差分画像として残った画像である。

次にカウンタＮの値をインクリメントする（ステップＳ８０３）。

その後、ステップＳ８０２で用いた長秒撮影画像が、Ｎ＞ｎとなったとき、すなわちＮ－１枚目がｎ枚目（最後）の長秒撮影画像となるまで（ステップＳ８０４でＮＯ）、ステップＳ８０２からの処理を繰り返す。これにより、図９に示すように、Ｎ＝２の場合に２枚目の星のみ画像９２３が生成され、Ｎ＝３の場合に３枚目の星のみ画像９２４が生成される。

その後、ステップＳ８０４で最後の長秒撮影画像となったと判定されると、ステップＳ８０５へ移行し、カウンタＮを２に初期化する。

続いてぶれ量算出回路１１６ｃによりＮ－１枚目及びＮ枚目の星のみ画像の間の星のぶれ量（星のみ画像間ぶれ量）の算出する（ステップＳ８０６）。例えば、Ｎ＝２の場合、図９に示すように、１枚目及び２枚目の星のみ画像９２２，９２３からぶれ量算出回路１１６ｃによりそのぶれ量が算出される。

次に、ステップＳ８０６での算出されたぶれ量をもとにＮ－１枚目及びＮ枚目の星のみ画像の位置合わせを位置合わせ回路１１６ｄにより行う（ステップＳ８０７）。例えば、Ｎ＝２の場合、図９に示すように、１枚目及び２枚目の星のみ画像９２２，９２３の位置合わせが行われる。

ステップＳ８０８では、ステップＳ８０７で位置合わせされた、Ｎ－１枚目までの星のみ画像の合成結果である比較明合成画像とＮ枚目の星のみ画像を合成回路１１６ｊを使って比較明合成し、Ｎ枚目までの合成結果である比較明合成画像を生成する。例えば、Ｎ＝３の場合、図９に示すように、２枚目までの合成結果である比較明合成画像９２５と３枚目の星のみ画像９２４を合成回路１１６ｊを使って比較明合成し、３枚目までの合成結果である比較明合成画像９２６を生成する。尚、Ｎ＝２の場合のみは、Ｎ－１枚目までの合成結果である比較明合成画像として１枚目の星のみ画像９２２が用いられる。

次にカウンタＮの値をインクリメントし（ステップＳ８０９）、Ｎ＞ｎとなったとき、すなわちＮ－１枚目がｎ枚目（最後）の星のみ画像となるまで（ステップＳ８１０でＮＯ）、ステップＳ８０６からの処理を繰り返し、本処理を終了する。

以上、図８の処理によれば、カウンタＮの値を２～ｎまで順にインクリメントすることで、各長秒撮影画像と比較暗合成結果の差分から抽出された各星のみ画像について、星のみ画像の間のぶれ量での位置合わせ及び比較明合成を繰り返す。これにより、比較明合成画像９２６のように星部分の領域が徐々に繋がった星のみパノラマ画像が生成できる。

図５に戻り、図１０において詳述したステップＳ５０４の星のみパノラマ画像生成処理が終了すると、星空パノラマ画像生成処理へと移行する（ステップＳ５０５）。

以下、ステップＳ５０５の星空パノラマ画像生成処理について、図９の画像処理の概念図と図１０のフローチャートを用いて詳細に説明する。

図１０において、まず、背景のみパノラマ画像（例えば図９の比較暗合成画像９２１）と星のみパノラマ画像（例えば図９の比較明合成画像９２６）を合成回路１１６ｊにより加算合成する（ステップＳ１００１）。これにより、図９に示すように、星空パノラマ画像９２７を生成する。

続いて、生成された星空パノラマ画像９２７を圧縮・伸長回路１１６ｌでＪｐｅｇなどの汎用フォーマットに圧縮して（ステップＳ１００２）、メモリ１２０に保存して（ステップＳ１００３）、本処理を終了する。尚、この時に、星空パノラマ画像９２７の暗部を見やすくするためにガンマ補正回路１１６ｂでγ補正を行うことや、画像全体の色調を統一するために補正を行うことも好ましい。またこのようにして得られる画像はサイズが大きいため、あらかじめユーザが指示したサイズに変倍回路１１６ｆで変倍を行っても良い。さらに最大内接矩形あるいは予め決められた領域で、トリミング回路１１６ｇで切り出しを行ってから保存することも好ましい。

図５に戻り、図１０において詳述したステップＳ５０５の星空パノラマ画像生成処理が終了すると、星空パノラマ撮影処理の全体の処理が終了する。

尚、本実施例では撮像装置１００に対して横方向にスイングする例を示したが、縦方向にスイングするようにしてもよい。

以上説明したように、星空パノラマ撮影において画角の異なる撮影と撮影の間で被写体となる星が動いても背景と星の両方の位置合わせを行うことができる。

本実施例では、図５の星空パノラマ撮影処理のステップＳ５０４の星のみパノラマ画像生成処理において、星のみ画像間でのぶれ量の算出に失敗した際にユーザに適切な警告を表示し、比較暗合成処理の代替手段を実行する。以下、本実施例について図１１、図１２、図１３を用いて具体的に説明する。

尚、本実施例は、実施例１とは星のみパノラマ画像生成処理のみが一部異なるが、その他の処理及びハードウェア構成は実施例１と同一であるため同一の構成及びステップには同一の符号を付し、重複した説明を省略する。

図１１において、まず、図８のステップＳ８０１～Ｓ８０６の処理を行なうと、ステップＳ１１０１に進む。

ステップＳ１１０１では、星のみ画像間でのぶれ量の算出に成功したか、具体的には、図１２に示すＭ－１枚目及びＭ枚目の星のみ画像１１０１，１１０２内の重ね合わせ領域における特徴点の抽出に成功したか否かを判定する（２≦Ｍ≦ｎの整数）。この判定の結果、成功していれば、図８のステップＳ８０７以降の処理を行なって、本処理を終了する。

一方、特徴点の抽出に失敗した場合は（ステップＳ１１０１でＮＯ）、星のみ画像の位置合わせ失敗した旨をユーザに警告表示する（ステップＳ１１０２）。この警告表示の方法は特に限定されるものではないが、例えば、図１３に示す通知画面を液晶モニタ１２８に表示することにより行う。

続いてＭ－１枚目及びＭ枚目の星のみ画像１１０１，１１０２から合成回路１１６ｊを使って結合画像１１０５を生成する（ステップＳ１１０３）。このとき、本実施例では、星のみ画像１１０１，１１０２の重ね合わせ領域の画像は、Ｍ－１枚目の星のみ画像１１０１を採用するが、Ｍ枚目の星のみ画像１１０２を採用してもよい。また、このような結合画像１１０５はその境界部に輝度差が生じやすくなるため、境界部にフィルターをかけてぼかす等の処理を実施してもよい。

その後ステップＳ８０９以降の処理を行なって、本処理を終了する。

以上説明したように、星のみ画像間のぶれ量の算出の際の特徴点の抽出に失敗した場合、その両画像の結合処理を実施する。これにより、ユーザが図６の撮影及び背景のみパノラマ画像生成の並行処理において時間をかけて複数回の撮影を行ったにも関わらず星空パノラマ画像が生成できないという事態を防ぐことができる。

一方、かかる結合処理をした場合、星空パノラマ撮影における星のみ画像の位置合わせに失敗する場合も想定される。よって、かかる結合処理を行なう直前に予め警告表示を行いつつ、星空パノラマ画像を生成する、これによりユーザの利便性を向上させることが可能となる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

１００ 撮像装置
１１６ 映像信号処理回路
１１６ｃ ぶれ量算出回路
１１６ｄ 位置合わせ回路
１１６ｊ 合成回路
１１６ｍ 差分画像抽出回路
１２３ マイクロコンピュータ
１２４ 操作部材
１２５ レリーズスイッチ
１３３ ジャイロ

Claims (10)

1. 異なる画角での長秒露光撮影により得られるｎ枚の長秒撮影画像を使用して星空パノラマ画像を生成する撮像装置において、
   前記異なる画角の夫々で、前記長秒露光撮影の前後に短秒露光撮影を行うことにより第１及び第２の短秒撮影画像を取得する取得手段と、
   Ｎ－１枚目（Ｎは２～ｎまでの整数）の前記第２の短秒撮影画像とＮ枚目の前記第１の短秒撮影画像から画角間ぶれ量を算出する第１のぶれ量算出手段と、
   前記画角間ぶれ量を用いて、Ｎ－１枚目の前記長秒撮影画像に対する、Ｎ枚目の長秒撮影画像の位置合わせを行う第１の位置合わせ手段と、
   順次、前記位置合わせが行われたＮ枚目の前記長秒撮影画像と、Ｎ－１枚目までの前記長秒撮影画像の合成結果である比較暗合成画像とを比較暗合成し、背景のみパノラマ画像を生成する第１の合成手段と、
   Ｎ－１枚目の前記長秒撮影画像とＮ枚目までの合成結果である比較暗合成画像の差分画像をＮ－１枚目の星のみ画像として抽出する差分画像抽出手段と、
   Ｎ－１枚目の前記星のみ画像とＮ枚目の前記星のみ画像から星のみ画像間ぶれ量を算出する第２のぶれ量算出手段と、
   前記星のみ画像間ぶれ量を用いて、Ｎ－１枚目の前記星のみ画像に対する、Ｎ枚目の前記星のみ画像の位置合わせを行う第２の位置合わせ手段と、
   順次、前記位置合わせが行われたＮ枚目の前記星のみ画像と、Ｎ－１枚目までの前記星のみ画像の合成結果である比較明合成画像とを比較明合成し、星のみパノラマ画像を生成する第２の合成手段と、
   前記背景のみパノラマ画像と前記星のみパノラマ画像とを加算合成して星空パノラマ画像を生成する第３の合成手段とを備えることを特徴とする撮像装置。
2. Ｎ－１枚目及びＮ枚目の前記星のみ画像の夫々の重ね合わせ領域から特徴点を抽出する抽出手段を更に備え、
   前記第２のぶれ量算出手段は、前記抽出された特徴点に基づき、前記星のみ画像間ぶれ量を算出することを特徴とする請求項１記載の撮像装置。
3. 前記抽出手段がＭ－１枚目及びＭ枚目の前記星のみ画像の夫々の重ね合わせ領域からの前記特徴点の抽出に失敗をした場合（２≦Ｍ≦ｎの整数）、前記第２の合成手段は、Ｍ枚目の前記星のみ画像については、Ｍ－１枚目までの前記星のみ画像の合成結果である比較明合成画像と比較明合成することなく、Ｍ－１枚目の前記星のみ画像との結合画像を生成することを特徴とする請求項２記載の撮像装置。
4. 前記抽出手段が前記失敗をした場合、Ｍ枚目の前記星のみ画像の位置合わせに失敗した旨をユーザに警告する通知を行う通知手段を更に備えることを特徴とする請求項３記載の撮像装置。
5. 前記取得手段は、前記異なる画角の最初の画角については、前記長秒露光撮影の後にのみ前記短秒露光撮影を行うことを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
6. 前記短秒露光撮影の際の感度は、前記長秒露光撮影の際の感度より高いことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記第１の合成手段は、Ｎ＝２である場合、Ｎ－１枚目のまでの前記長秒撮影画像の合成結果である比較暗合成画像として１枚目の前記長秒撮影画像を用いることを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記第２の合成手段は、Ｎ＝２である場合、Ｎ－１枚目のまでの前記星のみ画像の合成結果である比較明合成画像として１枚目の前記星のみ画像を用いることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。
9. 異なる画角での長秒露光撮影により得られるｎ枚の長秒撮影画像を使用して星空パノラマ画像を生成する撮像装置の制御方法において、
   前記異なる画角の夫々で、前記長秒露光撮影の前後に短秒露光撮影を行うことにより第１及び第２の短秒撮影画像を取得する取得ステップと、
   Ｎ－１枚目（Ｎは２～ｎまでの整数）の前記第２の短秒撮影画像とＮ枚目の前記第１の短秒撮影画像から画角間ぶれ量を算出する第１のぶれ量算出ステップと、
   前記画角間ぶれ量を用いて、Ｎ－１枚目の前記長秒撮影画像に対する、Ｎ枚目の長秒撮影画像の位置合わせを行う第１の位置合わせステップと、
   順次、前記位置合わせが行われたＮ枚目の前記長秒撮影画像と、Ｎ－１枚目までの前記長秒撮影画像の合成結果である比較暗合成画像とを比較暗合成し、背景のみパノラマ画像を生成する第１の合成ステップと、
   Ｎ－１枚目の前記長秒撮影画像とＮ枚目までの合成結果である比較暗合成画像の差分画像をＮ－１枚目の星のみ画像として抽出する差分画像抽出ステップと、
   Ｎ－１枚目の前記星のみ画像とＮ枚目の前記星のみ画像から星のみ画像間ぶれ量を算出する第２のぶれ量算出ステップと、
   前記星のみ画像間ぶれ量を用いて、Ｎ－１枚目の前記星のみ画像に対する、Ｎ枚目の前記星のみ画像の位置合わせを行う第２の位置合わせステップと、
   順次、前記位置合わせが行われたＮ枚目の前記星のみ画像と、Ｎ－１枚目までの前記星のみ画像の合成結果である比較明合成画像とを比較明合成し、星のみパノラマ画像を生成する第２の合成ステップと、
   前記背景のみパノラマ画像と前記星のみパノラマ画像とを加算合成して星空パノラマ画像を生成する第３の合成ステップとを備えることを特徴とする制御方法。
10. 請求項９に係る制御方法を実行することを特徴とするプログラム。
    

Images