JP5800664B2 - 撮像装置およびその制御方法 - Google Patents

Description

本発明は、複数枚撮影した画像を合成し、振れのない画像を撮影する機能を有する撮像装置およびその制御方法に関するものである。

打ち上げ花火を撮影する場合は、花火が開く瞬間を狙って撮影することが困難であるため、通常はカメラを固定して長秒時露光を行う。

一般的に花火は２〜３秒程度光っているため、カメラを固定せずに手持ちで撮影することが困難であった。

特許文献１は、異なる露光条件にて複数枚撮影した画像を合成してダイナミックレンジ拡大する撮影方法について記載され、更に撮影した複数の画像に対して画像間の位置ずれを修正しながら画像合成する撮影方法が開示されている。

また、特許文献２では、撮影開始前に撮像素子からの出力信号により取得した画像によって、複数の画像間の動きベクトルを検出するための検出領域をあらかじめ設定し、撮影者が複数の画像間の基準点となる被写体を含めて撮影することで、複数の画像を精度良く位置合わせすることを可能とする技術が開示されている。

特許第３１１０７９７号公報 特許第４３２４２３４号公報

従来から長秒時露光の際に、複数回連続して撮影された画像の相関をとって位置合わせを行い、加算合成する撮影方法が提案されている。

しかし、花火は放射状に火花が広がるため、連続して撮影した複数の画像を精度良く位置合わせをすることが課題であった。

この問題の解決方法の一手法として、複数の画像間を位置合わせするための特徴点を花火以外の被写体とし、特徴点が含まれる検出領域を撮影者があらかじめ設定しておく方法が知られている。

しかし、撮影前にあらかじめ特徴点を検出する検出領域を設定しなくてはならないため、画角やフレーミングを変える度に特徴点が含まれる検出領域を設定する必要があった。

（発明の目的）
本発明の目的は、打ち上げ花火のような移動する輝点を手持ち撮影しても、複数の画像を正確に位置合わせして合成することで、振れのない合成画像を得ることができる撮像装置およびその制御方法を提供することである。

上記目的を達成するために、本発明の撮像装置は、順次撮影することにより複数の画像を取得する複数画像取得手段と、前記複数の画像に写る輝点を抽出する輝点抽出手段と、前記輝点抽出手段により抽出された輝点の大きさから、前記輝点が移動輝点か静止輝点かを判定する輝点判定手段と、前記輝点判定手段により判定された静止輝点を基準として前記複数の画像間における動きベクトルを算出する動きベクトル算出手段と、前記動きベクトル算出手段によって算出された動きベクトルに基づいて、一枚の合成画像を合成する画像合成手段とを有することを特徴とするものである。

本発明によれば、打ち上げ花火のような移動する輝点を手持ち撮影しても、複数の画像を正確に位置合わせして合成することで、振れのない合成画像を得ることができる。

本発明の実施例１に係る撮像装置の概略構成を示すブロック図である。 実施例１における画像合成処理を説明する図である。 実施例１における静止輝点を撮影画像中から抽出する処理を説明する図である。 実施例１の花火撮影動作を示すフローチャートである。 実施例１の特徴点検出動作を示すフローチャートである。 実施例１の特徴点検出領域設定動作を示すフローチャートである。 本発明の実施例２に係る複眼の撮像装置の概略構成を示すブロック図である。 従来技術、実施例１および２の露光タイミングを説明する図である。 実施例２における画像合成処理を説明する図である。 実施例２の花火撮影動作を示すフローチャートである。

本発明を実施するための形態は、以下の実施例１および２に記載される通りである。

図１は、本発明の実施例１に係る撮像装置としてのデジタルカメラの概略構成を示すブロック図である。

図１において、撮像装置１００は、変倍レンズ（以下、ズームレンズ）１０、焦点調節レンズ（以下、フォーカスレンズ）１２、絞りとシャッタが組み込まれた絞りシャッタユニット１３、光学像を電気信号に変換する撮像素子１４を備える。

また、撮像装置１００は、撮像素子１４のアナログ信号出力を増幅して撮像素子１４の感度を設定するゲインアンプ１５、撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器１６を備える。

また、撮像装置１００は、撮像素子１４、Ａ／Ｄ変換器１６、Ｄ／Ａ変換器２６にクロック信号や制御信号を供給するタイミング発生回路１８を備える。タイミング発生回路１８は、メモリ制御回路２２及びシステム制御回路５０により制御される。

また、撮像装置１００は、画像処理回路２０を備える。画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して所定の画素補間処理や色変換処理を行う。

また、画像処理回路２０は、撮像した画像データを用いて所定の演算処理を行う。得られた演算結果に基づいてシステム制御回路５０が、露出制御回路４０、焦点調節回路４２に対して制御を行う、ＴＴＬ（スルー・ザ・レンズ）方式のＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＥＦ（フラッシュプリ発光）処理を行っている。

更に、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＴＴＬ方式のＡＷＢ（オートホワイトバランス）処理も行っている。

また、画像処理回路２０は、複数枚連続して撮影したそれぞれの画像について共通となる特徴点を抽出する特徴点検出処理部２００と、この特徴点を基準に動きベクトルを演算して画像を加算合成する処理を行う動きベクトル演算部２０１、および画像合成処理部２０２を備える。動きベクトル演算部２０１は動きベクトル算出手段を構成する。

特徴点検出処理部２００は、複数の画像を加算合成するのに好適な特徴点が含まれる検出領域をそれぞれの画像に設定する特徴点検出領域設定処理部２０３と、特徴点検出領域設定処理部２０３で設定された検出領域から特徴点となる輝点を抽出する輝点抽出処理部２０４を備える。なお、特徴点検出処理部２００は特徴点を抽出するが、効果が得られるならば、ブロックマッチング法のような他のベクトル検出方法を使用して特徴点抽出の代わりとする方法であっても良い。

上記特徴点検出処理部２００については、操作部６３によって設定される撮影モードに応じて処理を実行するか否かが決定される。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、画像表示メモリ２４、Ｄ／Ａ変換器２６、メモリ３０、圧縮伸長回路３２を制御する。

Ａ／Ｄ変換器１６のデータが、画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６のデータが、直接メモリ制御回路２２を介して、画像表示メモリ２４或いはメモリ３０に書き込まれる。

撮像装置１００全体を制御するシステム制御回路５０は、メモリ制御回路２２を介してＴＴＬによって測光された輝度レベルを基に、適正露出値を演算して露出制御回路４０を制御する。

画像表示メモリ２４に書き込まれた表示用の画像データは、Ｄ／Ａ変換器２６を介してＴＦＴ、ＬＣＤ等からなる画像表示部２８により表示される。画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダ機能を実現することが可能である。

メモリ３０は、撮像した静止画像や動画像を格納するためのものであり、所定枚数の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影するパノラマ撮影、連写撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。

また、メモリ３０は、システム制御回路５０の作業領域としても使用することが可能である。メモリ３０は、被写体像を変倍する変倍手段としてのズーム制御回路４４の動作に対する焦点調節回路４２の相対情報を記憶する記憶手段として機能する。

適応離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する圧縮伸長回路３２は、メモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

メモリ６６は、システム制御回路５０の動作用の定数、変数、プログラム等を記憶する。露出制御回路４０は、絞り機能とシャッタ機能を備える絞りシャッタユニット１３を制御する。

焦点調節回路４２は、フォーカスレンズ１２のフォーカシングを制御する。ズーム制御回路４４は、ズームレンズ１０のズーミングを制御する。

露出制御回路４０、焦点調節回路４２はＴＴＬ方式を用いて制御されており、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０がこれら露出制御回路４０、焦点調節回路４２に対して制御を行う。

表示部６４は、システム制御回路５０でのプログラムの実行に応じて、文字、画像、音声等を用いて動作状態やメッセージ等を表示する液晶表示パネル、スピーカー等で構成される。表示部６４は、撮像装置１００の操作部６３の近辺の視認し易い位置に単数或いは複数個所設置される。

電気的に消去・記録可能な不揮発性メモリ６５は、例えばフラッシュＲＯＭ等が用いられる。

次に、システム制御回路５０の各種の動作指示を入力するための操作部材６０、６１及び操作部６３は、スイッチやダイアルで構成される。ここで、これらの具体的な説明を行う。

シャッタスイッチＳＷ１（６０）は、不図示のシャッタスイッチ部材の操作途中でオンとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理、ＥＦ（ストロボプリ発光）処理等の撮影準備動作開始を指示する。

シャッタスイッチＳＷ２（６１）は、不図示のシャッタスイッチ部材の操作完了でオンとなり、一連の処理の開始を指示する。

一連の処理とは、撮像素子１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に書き込む露光処理であり、さらに画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理である。また、一連の処理とは、メモリ３０から画像データを読み出し、圧縮伸長回路３２で圧縮を行い、記録媒体７０に画像データを書き込む記録処理である。

各種ボタンやタッチパネル等からなる操作部６３は、オートモードやプログラムモード、絞り優先モード、シャッタ速度優先モードのほか、夜景モード、子供撮影モード、花火撮影モード、水中撮影モード等、様々な撮影シーンに応じた設定を選択できるようになっている。

フラッシュ発光部６２は、システム制御回路５０によって測光された輝度レベルを基に適正発光量を演算して発光制御するものである。

電源制御回路８０は、電池検出回路、ＤＣ−ＤＣコンバータ、通電するブロックを切り換えるスイッチ回路等により構成されている。

電源８６は、アルカリ電池やリチウム電池等の一次電池やＮｉＣｄ電池やＮｉＭＨ電池、Ｌｉ電池等の二次電池、ＡＣアダプタ等からなる。電源制御回路８０と電源８６は、コネクタ８２、８４を介して接続される。

記録媒体７０は、半導体メモリや磁気ディスク等から構成される記録部７３、インタフェース（Ｉ／Ｆ）７２、コネクタ７１を備えている。インタフェース７２は、コネクタ７１及び撮像装置１００のコネクタ９２を介して撮像装置１００のインタフェース９０に接続される。

以下、撮像装置１００の動作について説明する。

一般に被写体が暗い場合、一回の露光で適正露出を得るためには絞りを開放にして露光時間は長秒時露光になる。

この場合、手持ちで撮影すると手振れした写真になってしまうため、感度を上げて露光時間が出来る限り短くなるようにして撮影することが多い。しかし、感度を上げて撮影すると撮像素子１４の暗電流の影響や撮像素子１４の信号を増幅するゲインアンプ１５のノイズなどによって画質が劣化してしまう。

そこで、暗い被写体であっても画質劣化が少なく手振れしていない画像を撮影する方法が従来より提案されている。まず、手振れしない程度の短い時間で露光時間を分割し、分割枚数だけ連続して撮影した複数枚の画像を位置合わせしながら加算合成する撮影方法である。

しかし、打ち上げ花火のように放射状に広がるように被写体が動く場合、この撮影方法では合成する画像の位置合わせを正確に行うことが困難であった。

以下では、短い露光時間で複数枚撮影した画像をそれぞれ位置合わせしながら加算合成する画像合成加算撮影による方法であって、打ち上げ花火を手振れすることなく所望の位置に合わせて画像合成する撮像装置１００について説明する。

図２は移動する輝点である打ち上げ花火を画像合成加算撮影で順次撮影することにより取得した複数の画像の一例である。撮影間隔を出来る限り短くして撮影することで、より自然な花火画像が得られる。

図２（ａ）〜（ｄ）は花火が打ち上がってから、最も花火が開いた状態になるまでを連続撮影したときの画像を時系列に並べた図である。

図２（ａ）は花火が広がった直後の撮影画像であり、殆ど火花は広がっていない。図２（ｂ）は少し広がっており、図２（ｃ）、図２（ｄ）と時間が立つごとに花火は大きく広がっていく。

ここで、各画像に対して加算合成を行う場合、花火の火花の大きさや形も異なることから花火を画像の位置合わせの基準となる特徴点とすることが難しいことは明らかである。

図２（ｅ）は画像合成したときに、位置合わせが出来ずに失敗した画像の一例である。各画像の花火を特徴点として位置合わせしたが、正確に合成出来なかった例を示している。

図２の（ａ）から（ｄ）の画像を正確に位置合わせするためには、花火（移動輝点）よりも背景に写る建物の窓の明かり（静止輝点）を特徴点とするほうが良いことは明らかであるが、今までは花火と夜景の明かりが重なってしまうことも多く、夜景の輝点だけを抽出して処理することが困難であった。

実施例１では、花火を特徴点とせずに、花火以外に写っている背景の夜景の輝点を抽出して画像合成の特徴点とすることで正確な位置合わせを可能とする。

まず、図２の（ａ）から（ｄ）の画像中に重ねて書かれている格子状の線は画像の分割エリアである。各画像を合成する際に、この分割エリア単位で特徴点検出領域設定や動きベクトル算出を行うものである。

なお、上記分割エリアの分割サイズや分割数については、画像サイズや撮像光学系の焦点距離、被写体が画面上に占める割合などで動的に変更しても良い。

実施例１の特徴点検出領域設定方法としては、撮影した連続画像図２（ａ）から図２（ｄ）のなかで、最も画面の平均輝度が低い画像図２（ａ）と最も画面の平均輝度が高い画像図２（ｄ）を比較する。

画面の平均輝度が最も低い場合、花火が打ち上がる直前、あるいは打ち上がった直後である可能性が高く、夜景の中に光る照明などの輝点を抽出しやすいという特徴がある。

ここで、画像の平均輝度が最も低い画像が複数あった場合、撮影順序が早い画像を選択する。

一方、画像の平均輝度が最も高い場合、花火が最も大きく広がっている状態である可能性が高く、夜景の中に光る照明などの輝点に花火の火花が重ならない領域を抽出しやすいという特徴がある。ここで、画像の平均輝度が最も高い画像が複数あった場合、撮影順序が遅い画像を選択する。

これら２枚の画像において、対応する分割エリアの輝度レベルの差が所定の閾値（第２の閾値）より小さく、尚且つそれぞれの輝度レベルが所定の閾値（第１の閾値）より大きい分割エリアを抽出すると、連続して撮影した全画像に特徴点検出領域を設定することが可能となる。

ここで、画像の周辺領域はレンズの歪曲や周辺光量不足などによって鮮明な画像が得られない場合があるため、特徴点を検出しても画像を正確に位置合わせして合成するには不向きである。そこで、画像の周辺領域または四隅の領域は特徴点検出領域には設定しないようにしても良い。

上記条件で、図２の（ａ）から（ｄ）に対して特徴点検出領域を設定した場合、図中に囲んだ４つの分割エリアを特徴点抽出領域とすることが出来る。

撮影した構図によっては夜景の照明などの輝点が含まれない場合があるため、特徴点検出領域が設定出来ない場合がある。この場合、画面全体または周辺領域の分割エリアを除く中心部の分割エリアを特徴点検出領域として設定しても良いし、特徴点検出領域を設定出来なかったとして、画像の平均輝度が最も高い画像のみを記録部に保存しても良い。

複数の連続画像を正確に位置合わせすることが困難であると判定された場合、複数の連続画像の中から最も条件の良い１枚の画像のみを保存することが望まれる。画像の平均輝度が最も高い画像とは、花火が最も大きく開いた状態または複数の花火が画面全体に写っている瞬間である可能性が高い。したがって、最も画像の平均輝度が高い画像を連続画像の中から選択することで、失敗写真を保存してしまう確率を減らすことが期待出来る。
図２（ｆ）は画像合成したときに、精度良く位置合わせが出来た画像の一例である。

次に、各画像に設定された特徴点検出領域から特徴点として静止輝点を検出する。特徴点検出領域にある、花火の火花のような移動する輝点（移動輝点）と、動かない被写体の輝点（静止輝点）を判定する処理を行う。

図３は花火の火花の軌跡αと建物の窓の明かりβを例に挙げた図である。
花火が打ち上げられると火花は放射状に広がっていくため、所定時間より長い露光時間で撮影すれば、火花の軌跡が長細い形となって撮影される（図３のα）。
一方、建物の窓の明かりβの場合は、露光時間に関係なく輝点の形は変化しない。

実施例１ではこの特徴を活かして、動く被写体と静止した被写体の輝点を判定する輝点判定方法を提案する。
画像中から抽出した輝点に対し、輝点を構成する画素数や輝点の周囲長さを検出して大きさの指標とする。

ここで、抽出した輝点の大きさに対し、所定の大きさ（閾値）よりも小さい輝点を静止輝点と判定する。
また、輝点の大きさに加え、輝点の長さについても判定条件に加えることで、より精度良く静止した被写体の輝点を抽出してもよい。

まず輝点の縦と横の長さを撮影画像より検出する。これにより輝点の長さが算出される。

Ｃ＝√（Ａ^２＋Ｂ^２）
ｃ＝√（ａ^２＋ｂ^２）

上記Ｃおよびｃの長さが、所定の長さＤより短かければ特徴点と判定し、長ければ特徴点としないように判定する。このとき、所定の長さＤは撮影画像サイズや撮影時の露光時間に応じて決定されるものとする。

Ｃ≦Ｄ、 ｃ≦Ｄ ：Ｃ、ｃは特徴点
Ｃ＞Ｄ、 ｃ＞Ｄ ：Ｃ、ｃは特徴点ではない

さらに、輝点の長さの判定条件として前述の所定の長さＤより短いことと説明したが、所定の長さＤより短い所定の長さＥを設定し、Ｅよりも輝点の長さが長いことを判定条件に加えてもよい。

Ｅ≦Ｃ≦Ｄ、 Ｅ≦ｃ≦Ｄ ：Ｃ、ｃは特徴点
Ｃ＞Ｄ、 ｃ＞Ｄ ：Ｃ、ｃは特徴点ではない
連続画像間において検出した特徴点の動きベクトルを算出し、この動きベクトルに合わせて、各画像の位置を合わせて合成する。

これにより、花火が打ち上げられてから最も花火が広がるまでの間、手持ち撮影であっても手振れせずに画質劣化の少ない画像を撮影することが可能となる。

以下では、上記の処理の流れを図４を用いて説明していく。
図４は実施例１の花火撮影シーケンスを示す図である。撮像装置１００の撮影モードを花火撮影モードに設定し、シャッタスイッチ６０（ＳＷ１）を押下する（Ｓ１００）。シャッタスイッチ６０を押下すると、被写体の輝度を測定して撮影準備を行う。ここで、測光結果に基づいて露光時間が決まり、画像合成するための連続撮影枚数ｎが決定される（Ｓ１０１）。撮影が開始されると（Ｓ１０２）、撮影カウンタがｎになるまで撮影を続ける（Ｓ１０３でＮｏ）。ステップＳ１０２を実行する画像処理回路２０などが複数画像取得手段に相当する。撮影枚数がｎになったら（Ｓ１０３でＹｅｓ）、画像合成のための特徴点検出処理を実施する（Ｓ１０４）。特徴点検出処理については後述する。

このとき、特徴点が検出出来たら（Ｓ１０５でＹｅｓ）、各画像の特徴点を基準として動きベクトルを算出し（Ｓ１０６）、算出した動きベクトルを各画像の位置合わせに用いて画像を合成する（Ｓ１０７）。

特徴点が検出できなかったときは（Ｓ１０５でＮｏ）、ｎ枚の連続撮影画像から画像の平均輝度が最大となる画像を抽出して記録媒体７０に記録する（Ｓ１０８）。

上述のステップＳ１０４で行われる特徴点検出処理については図５を用いて詳しく説明する。
ステップＳ２００で連続撮影画像から抽出した輝点に対し、花火のように動く輝点と夜景の照明などのように静止した輝点に分析する（Ｓ２０１）。

まず、輝点の大きさについての判定を行う。このとき、輝点の大きさとは一つの輝点を構成するピクセル数であったり、輝点の周囲の長さをピクセル数で表したりことで大きさを表現するものである。輝点の大きさが所定以下の大きさであれば（Ｓ２０２でＹｅｓ）、次に輝点の長さを算出する。算出方法は輝点の縦方向のピクセル数と横方向のピクセル数から長さを算出し、所定の長さ以下であれば（Ｓ２０３のＹｅｓ）特徴点と判定されるが（Ｓ２０４）、輝点の大きさや輝点の長さが所定のピクセル数より大きい場合には（Ｓ２０２でＮｏ、Ｓ２０３でＮｏ）、この輝点は特徴点とは判定されない（Ｓ２０６）。ステップＳ２０２、Ｓ２０３を実行する画像処理回路２０が輝点判定手段に相当する。

これら一連の処理を連続撮影画像ｎ枚に実施し、図４のステップＳ１０５で特徴点の検出結果に合わせて次の処理に進める。ここで、特徴点検出の判定処理としては輝点の長さだけで判定しても良いし、輝点の大きさだけで判定しても良いし、あるいは輝点の色や明るさなど別の異なる条件で判定しても構わない。

さらに、図５のステップＳ２００で行う輝点の抽出処理の中で、特徴点が画像中に含まれる検出領域を撮影画像から設定し、この検出領域から特徴点を検出することで処理の高速化を行ってもよい。

この特徴点検出領域の設定方法については図６を用いて詳しく説明する。
図６のステップＳ３００では連続撮影画像ｎ枚の画像に対して平均輝度を算出する。このうち平均輝度が最小となる画像（Ｓ３０１）と、平均輝度が最高となる画像（Ｓ３０２）を抽出し、それぞれの画像内を複数の分割エリアに分割する（Ｓ３０３）。次に、画像の周辺部の分割エリアから検出した特徴点は、画像の歪曲や解像度の低下などによる影響で、画像の位置合わせを行った場合に精度が低下してしまう問題がある。このため、特徴点検出には使用しないで無効領域としてもよい（Ｓ３０４）。ステップＳ３０１とステップＳ３０２で抽出した最小平均輝度の画像と最大平均輝度の画像を分割エリア毎に輝度の比較を行い（Ｓ３０５）、２つの画像間で輝度変化が少ない分割エリアを抽出する（Ｓ３０６）。抽出した輝度変化が少ない分割エリアの画像が所定の輝度以上であれば（Ｓ３０７でＹｅｓ）、この分割エリアを特徴点検出領域として設定し（Ｓ３０８）、抽出した輝度変化が少ない分割エリアの画像が所定の輝度未満であった場合には（Ｓ３０７でＮｏ）この分割エリアを特徴点検出領域としないようにする。

上述の実施例１により花火を手持ち撮影しても振れない撮影方法を実現しているが、花火の種類によっては連続して撮影した画像間に露光されていない時間が存在するため、花火の軌跡が連続に繋がらないで撮影される場合がある。そこで、実施例２に係る撮像装置による花火の撮影方法について説明する。

図７は、本発明の実施例２に係る複数の撮像光学系を備えた撮像装置の概略構成を示すブロック図である。

図７において、撮像装置４００は、主撮像光学系３００と副撮像光学系３０１を備える。ここで、副撮像光学系３０１として１つの撮像光学系を図示しているが、副撮像光学系は複数備わっていても問題ない。
また、主撮像光学系３００は図１の撮像光学系と同じ構成である。

主撮像光学系３００は、変倍レンズ（以下、ズームレンズ）１０、焦点調節レンズ（以下、フォーカスレンズ）１２、絞りとシャッタが組み込まれた絞りシャッタユニット１３、光学像を電気信号に変換する撮像素子１４を備える。

また、撮像素子１４のアナログ信号出力を増幅して撮像素子１４の感度を設定するゲインアンプ１５、撮像素子１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器１６を備える。

副撮像光学系３０１は、変倍レンズ（以下、ズームレンズ）３１０、焦点調節レンズ（以下、フォーカスレンズ）３１２、絞りとシャッタが組み込まれた絞りシャッタユニット３１３、光学像を電気信号に変換する撮像素子３１４を備える。

また、撮像素子３１４のアナログ信号出力を増幅して撮像素子３１４の感度を設定するゲインアンプ３１５、撮像素子３１４のアナログ信号出力をディジタル信号に変換するＡ／Ｄ変換器３１６を備える。

撮像装置４００全体を制御するシステム制御回路５０は、メモリ制御回路２２を介してＴＴＬによって測光された輝度レベルを基に、適正露出値を演算して露出制御回路３４０を制御する。

露出制御回路３４０は、絞り機能とシャッタ機能を備える絞りシャッタユニット３１３と撮像素子３１４のアナログ信号出力を増幅して撮像素子３１４の感度を設定するゲインアンプ３１５を制御する（ＡＥ処理）。

システム制御回路５０は、画像処理回路２０によって撮像した画像データから演算される情報を用い、焦点調節回路３４２に対してフォーカスレンズ３１２のフォーカシングを制御する（ＡＦ処理）。

ここで、主撮像光学系３００にてＡＦ処理やＡＥ処理を行う場合は、主撮像光学系３００の処理結果を用いて、副撮像光学系３０１を制御しても良い。
ズーム制御回路３４４は、ズームレンズ３１０のズーミングを制御する。

メモリ３０は、被写体像を変倍する変倍手段としてのズーム制御回路３４４の動作に対する焦点調節回路３４２の相対情報を記憶する記憶手段として機能する。

図７における撮像装置４００を構成するシステムは、図１の撮像装置１００に対して副撮像光学系３０１と副撮像光学系の制御に関する構成が異なるが、その他の構成については、図１の撮像装置１００と同じである。

図８は実施例２による撮影方法の露光タイミングのチャートである。従来の花火撮影方法では、花火の打ち上げ前から露光を開始し、花火が最も開いた瞬間が含まれるように露光を終了する（露光チャートａ）。そのため、露光時間は必ず長くなってしまう。しかし、本発明の実施例１における撮像光学系による画像合成撮影では（露光チャートｂ）、手振れしないで、尚且つ花火の軌跡が写る程度のシャッタ速度で連続して撮影する。これにより、従来の花火撮影方法と同様に、花火が打ち上げられてから最も開いた瞬間までを、手振れしないで一枚の撮影画像中に収めることが出来る。

しかし、撮像装置１００によって連続撮影した場合、撮影間に露光していない時間が出来てしまう。このため、花火の種類によっては露光していない時間に途切れが発生してしまう。

そこで、複数の撮像光学系３００、３０１を備える撮像装置４００を用いた撮影方法の一例を説明すると、露光チャートｃに示すように、主撮像光学系３００の露光を開始し、手振れしないで尚且つ花火の軌跡が写る程度の露光時間で撮影を行う。副撮像光学系３０１は主撮像光学系３００の露光終了のタイミングに合わせて露光を開始する。同様に副撮像光学系３０１の露光終了のタイミングに合わせて主撮像光学系３００の露光を開始する。このように複数の撮像光学系の露光タイミングに合わせて繰り返し撮影することで、花火撮影中に露光の途切れが発生することなく撮影が可能になる。

複数の撮像光学系で撮影した連続画像は、撮像装置１００による画像合成撮影と同様に各画像の特徴点を検出して動きベクトルを算出し、画像の位置合わせをして合成することで、一枚の画像を得るものである。

上記では、複眼撮像光学系による画像合成撮影において、途切れないように露光終了と露光開始のタイミングを合わせるように説明したが、露光タイミングが重なると、合成画像で重なった部分が明るくなってしまうため、露光期間を重ねてはならない。

また、図示していないが、複眼撮像光学系を備える撮像装置では、画角を揃えて撮影したとしても、両眼視差の影響で画像に視差が発生する。花火撮影では無限遠に合焦させるため、輻輳角が無視できるが、望遠レンズで撮影する場合など、より厳密に位置合わが必要となる場合には、視差の影響を例えばアフィン変換などの画像補正によって解決しても良い。

図９は主撮像光学系３００で撮影した合成画像図９（ａ）と副撮像光学系３０１で撮影した合成画像図９（ｂ）を説明するための例として示した図である。合成画像図９（ａ）と図９（ｂ）を位置合わせして合成すると、図９（ｃ）のように途切れの無い打ち上げ花火の合成画像を得ることが可能となる。

ここで、主撮像光学系３００の合成画像と副撮像光学系３０１の合成画像を合成して一枚の撮影画像が完成すると説明したが、主撮像光学系３００で撮影した複数枚の画像と副撮像光学系３０１で撮影した複数枚の画像を時系列に並べて、それぞれの画像を位置合わせするようにしても良い。

以下では、上記の処理の流れの一例を図１０により説明していく。
図１０は実施例２の複眼撮像光学系を用いた花火撮影シーケンスを示す図である。
花火撮影モードにてシャッタスイッチ６０を押下し（Ｓ４００）、測光を行う。測光結果によって複数の撮像光学系で撮影するそれぞれの撮影枚数とシャッタ速度を決定する（Ｓ４０１）。処理の例として、主撮像光学系３００ではｎ枚、副撮像光学系３０１ではｍ枚の撮影を行うものとする。このとき、それぞれの撮像光学系の撮影枚数はｍ＝ｎまたはｍ＝ｎ＋１となる。

主撮像光学系３００で露光を開始し（Ｓ４０２）、ステップＳ４０１で決定したシャッタ速度で露光を行う。主撮像光学系３００の露光を終了するとき（Ｓ４０３）、露光が途切れないように副撮像光学系３０１の露光を開始する（Ｓ４０５）。副撮像光学系３０１で露光終了すると（Ｓ４０６）、撮影枚数がｍ枚に達していなければ（Ｓ４０７でＮ０）露光が途切れないように主撮像光学系３００で露光を開始する（Ｓ４０３）。これら一連の処理を繰り返し、副撮像光学系３０１の撮影枚数がｍになったところで撮影を終了して（Ｓ４０７でＹｅｓ）、撮影画像から画像合成用の特徴点を検出する（Ｓ４０８）。

このとき、特徴点が検出出来たら（Ｓ４０９でＹｅｓ）、各画像の特徴点を基準として動きベクトルを算出し（Ｓ４１０）、算出した動きベクトルを各画像の位置合わせに用いて画像を合成する（Ｓ４１１）。

特徴点が検出できなかったときは（Ｓ４０９でＮｏ）、ｎ＋ｍ枚の連続撮影画像から画像の平均輝度が最大となる画像を抽出して記録媒体７０に記録する（Ｓ４１２）。

以上、本発明の好ましい実施例１、実施例２について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

本発明は、実施例において撮像装置としてデジタルカメラを例に説明した。しかしながら、本発明は撮像可能な装置を備えている機器であれば良い。たとえばカメラ付きの携帯電話や電子機器であっても良い。

１００ 撮像装置
５０ システム制御部
２０ 画像処理部
２００ 特徴点検出処理部
２０１ 動きベクトル演算部
２０２ 画像合成処理部
２０３ 特徴点検出領域設定処理部
３００ 主撮像光学系
３０１ 副撮像光学系
４００ 撮像装置

Claims (9)

1. 順次撮影することにより複数の画像を取得する複数画像取得手段と、
   前記複数の画像に写る輝点を抽出する輝点抽出手段と、
   前記輝点抽出手段により抽出された輝点の大きさから、前記輝点が移動輝点か静止輝点かを判定する輝点判定手段と、
   前記輝点判定手段により判定された静止輝点を基準として前記複数の画像間における動きベクトルを算出する動きベクトル算出手段と、
   前記動きベクトル算出手段によって算出された動きベクトルに基づいて、一枚の合成画像を合成する画像合成手段とを有することを特徴とする撮像装置。
2. 前記輝点判定手段は、前記輝点抽出手段により抽出された輝点の大きさが、所定の大きさよりも小さい場合に、静止輝点と判定することを特徴とする請求項１に記載の撮像装置。
3. 前記輝点判定手段は、前記輝点抽出手段により抽出された輝点の長さが、所定の長さよりも短い場合に、静止輝点と判定することを特徴とする請求項２に記載の撮像装置。
4. 前記動きベクトル算出手段は、前記複数の画像から、最も輝度レベルが低い画像と最も輝度レベルが高い画像を抽出し、前記抽出した画像を複数の分割エリアに分割し、対応する前記分割エリアの輝度レベルを比較して、前記動きベクトルを算出するための特徴点検出領域を設定することを特徴とする請求項１ないし３のいずれか１項に記載の撮像装置。
5. 前記動きベクトル算出手段は、前記最も輝度レベルが低い画像と最も輝度レベルが高い画像との間で対応する前記分割エリアのうち、それぞれの輝度レベルが第１の閾値より大きく、なおかつ輝度レベルの差が第２の閾値より小さい前記分割エリアを前記特徴点検出領域に設定することを特徴とする請求項４に記載の撮像装置。
6. 前記動きベクトル算出手段は、前記複数の画像の周辺領域を前記特徴点検出領域とはしないことを特徴とする請求項４または５のいずれか１項に記載の撮像装置。
7. 前記動きベクトル算出手段は、前記分割エリアの大きさを撮像光学系の焦点距離に応じて変更することを特徴とする請求項４ないし６のいずれか１項に記載の撮像装置。
8. 複数の撮像光学系を有し、
   前記複数画像取得手段は、前記複数の撮像光学系によって露光が途切れず、かつ露光が重ならないように撮影された複数の画像を取得することを特徴とする請求項１ないし７のいずれか１項に記載の撮像装置。
9. 順次撮影することにより複数の画像を取得する複数画像取得ステップと、
   前記複数の画像に写る輝点を抽出する輝点抽出ステップと、
   前記輝点抽出ステップにて抽出された輝点の大きさから、前記輝点が移動輝点か静止輝点かを判定する輝点判定ステップと、
   前記輝点判定ステップにて判定された静止輝点を基準として前記複数の画像間における動きベクトルを算出する動きベクトル算出ステップと、
   前記動きベクトル算出ステップにて算出された動きベクトルに基づいて、一枚の合成画像を合成する画像合成ステップとを有することを特徴とする撮像装置の制御方法。

Images