JP6012333B2 - 撮像装置及び撮像装置の制御方法 - Google Patents

Description

本発明は、光源等の被写体の軌跡を撮影する撮像装置及び撮像装置の制御方法に関するものである。

ビデオカメラやデジタルスチルカメラなどの撮像機器に用いられる撮像素子には、ＣＣＤ（Ｃｈａｒｇ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像素子とＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子がある。ＣＭＯＳ撮像素子はＣＣＤ撮像素子に比べて高速読み出し対応が可能で、連写や動画で有益な機能を提供している。

また、ＣＭＯＳ撮像素子などのＸ−ＹアドレスセンサーはＣＣＤ撮像素子と異なり構造上スミアが発生しにくい。この特性を利用して、長秒撮影時に、蓄積した電荷を途中で読み出し、デジタル加算を行うことで、長秒撮影の蓄積の途中経過を確認することが可能となる。これは、ユーザーにとって使い勝手のよい撮影機能となっている。特許文献１では長秒撮影時における分割読み出しの途中経過画像を見やすくするための手法が提案されている。

特開２０１０−０８１３１３号公報

しかしながら特許文献１等の従来の長秒撮影手法では、花火等の光源の軌跡を撮影する際に長秒シャッターを使用すると、長い軌跡を撮影するために露光時間が長くなり、背景が白飛びを起こしてしまう可能性がある。

上記課題に鑑み、本発明は、背景を適正な明るさにしつつ光源の軌跡も適正な明るさである画像を得ることができる撮像装置及び撮像装置の制御方法を提供することである。

上記課題を解決するために、本発明の撮像装置は、請求項１に記載の通り、撮像手段と、前記撮像手段の撮像を制御する撮像制御手段と、前記撮像手段から得られる複数の画像から使用する画素を選択して合成画像を生成する合成処理を行う合成手段と、前記撮像手段による撮像を指示する指示手段と、を有し、前記撮像制御手段は、前記指示手段による第１の指示に応じて、前記撮像手段によって第１の撮影条件で連続的に撮像して複数の第１の画像を出力し、前記指示手段による第２の指示に応じて、前記撮像手段によって前記第１の撮影条件とは異なる第２の撮影条件で撮像し第２の画像を出力し、前記合成手段は、前記複数の第１の画像と前記第２の画像とから前記合成処理により合成画像を生成することを特徴とする。

また、本発明の撮像装置は、請求項２に記載の通り、撮像手段と、前記撮像手段の撮像を制御する撮像制御手段と、前記撮像手段から得られる複数の画像を合成する合成手段と、前記撮像手段による撮像を指示する指示手段と、を有し、前記撮像制御手段は、前記指示手段による第１の指示に応じて、前記撮像手段によって第１の撮影条件で連続的に撮像して複数の第１の画像を出力し、前記指示手段による第２の指示に応じて、前記撮像手段によって前記第１の撮影条件とは異なる第２の撮影条件で撮像し第２の画像を出力し、前記合成手段は、前記複数の第２の画像を加算合成して得られる画像と、前記複数の第１の画像とから、使用する画素を選択して合成画像を生成することを特徴とする。

また、本発明の撮像装置の制御方法は、請求項１１に記載の通り、撮像手段と、前記撮像手段から得られる複数の画像から使用する画素を選択して合成画像を生成する合成処理を行う合成手段とを有する撮像装置の制御方法であって、前記撮像手段による撮像を指示する指示ステップと、前記撮像手段による撮像を指示する指示手段の第１の指示に応じて、前記撮像手段によって第１の撮影条件で連続的に撮像され、複数の第１の画像が出力される第１の撮像ステップと、前記指示手段の第２の指示に応じて、前記撮像手段によって前記第１の撮影条件とは異なる第２の撮影条件で複数撮像され、複数の第２の画像が出力される第２の撮像ステップと、前記合成手段が、前記複数の第１の画像と前記第２の画像とから前記合成処理により合成画像を生成する合成ステップと、を有することを特徴とする。

また、本発明の撮像装置の制御方法は、請求項１２に記載の通り、撮像手段と、前記撮像手段から得られる複数の画像から使用する画素を選択して合成画像を生成する合成処理を行う合成手段とを有する撮像装置の制御方法であって、前記撮像手段による撮像を指示する指示ステップと、前記撮像手段による撮像を指示する指示手段の第１の指示に応じて、前記撮像手段によって第１の撮影条件で連続的に撮像され、複数の第１の画像が出力される第１の撮像ステップと、前記指示手段の第２の指示に応じて、前記撮像手段によって前記第１の撮影条件とは異なる第２の撮影条件で複数撮像され、複数の第２の画像が出力される第２の撮像ステップと、前記複数の第２の画像を加算合成する第１の合成ステップと、前記第１の合成ステップで得られる画像と前記複数の第１の画像とから、使用する画素を選択して合成画像を生成する第２の合成ステップと、を有することを特徴とする。

本発明によれば、背景を適正な明るさにしつつ光源の軌跡も適正な明るさである画像を得ることができる。

第１の実施形態における撮像装置のブロック図 第１の実施形態における撮影フローを示した図 第１の実施形態における露光タイミングを示すタイミングチャート図 第１の合成画像の生成イメージ図 第２の合成画像の生成イメージ図 第２の実施形態における撮影フローを示した図

（第１の実施形態）
図１は、第１の実施形態における撮像装置１００の構成を示すブロック図である。

撮影レンズ１０は、シャッター１２と共に撮像部１４に光束（光学像）を導く光学系である。シャッター１２は絞り機能を備える機械式のシャッターである。撮像素子１４は上記光学系により導かれた光束を電気信号に変換することで被写体像を撮像する。Ａ／Ｄ変換器１６は撮像部１４のアナログ信号出力をデジタル信号に変換する。

タイミング発生回路１８は、撮像部１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給する回路であり、メモリ制御回路２２及びシステム制御回路５０により制御される。タイミング発生回路１８の動作によってシャッター１２以外にも、撮像部１４のリセットタイミングを制御することで、電子シャッタとして蓄積時間を制御することが可能である。

画像処理回路２０は、Ａ／Ｄ変換器１６からの画像データ或いはメモリ制御回路２２からの画像データに対して所定の画素補間処理やホワイトバランス処理、ガンマ変換処理、色空間変換処理（現像処理）等を行う。また画像処理回路２０によって画像の切り出し、変倍処理を行うことで電子ズーム機能が実現される。

また、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてシステム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。具体的にはＡＦ（Ａｕｔｏ Ｆｏｃｕｓ）処理、ＡＥ（Ａｕｔｏ Ｅｘｐｏｓｕｒｅ）処理、ＥＦ（Ｅｌｅｃｔｏｒｏｎｉｃａｌ Ｆｌａｓｈ）処理などを行っている。

さらに、画像処理回路２０においては、撮像した画像データを用いて所定の演算処理を行い、得られた演算結果に基づいてＡＷＢ（Ａｕｔｏ Ｗｈｉｔｅ Ｂａｌａｎｃｅ）処理も行っている。画像処理回路２０では上述したような処理の一部あるいは全部をハードウェアによって実現しても良いし、ファームウェアで実現しても良い。

メモリ制御回路２２は、Ａ／Ｄ変換回路１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。

Ａ／Ｄ変換器１６から出力される画像データが画像処理回路２０、メモリ制御回路２２を介して、或いはＡ／Ｄ変換器１６の画像データが直接メモリ制御回路２２を介して、メモリ３０に書き込まれる。

画像表示回路２８はＴＦＴ（Ｔｈｉｎ Ｆｉｌｍ Ｔｒａｎｓｉｓｔｏｒ） ＬＣＤ（ＴＦＴ液晶）等から成り、メモリ３０に書き込まれた表示用の画像データはメモリ制御回路２２を介して画像表示部２８により表示される。

画像表示部２８を用いて撮像した画像データを逐次表示すれば、電子ファインダー機能を実現することが可能である。

また、画像表示部２８は、システム制御回路５０からの指示により任意に表示をＯＮ／ＯＦＦすることが可能であり、表示をＯＦＦにした場合には撮像装置１００の電力消費を大幅に低減することが出来る。

メモリ３０は撮影した静止画像や動画像を格納するためのものであり、多量の静止画像や所定時間の動画像を格納するのに十分な記憶量を備えている。これにより、複数枚の静止画像を連続して撮影する連写撮影やパノラマ撮影の場合にも、高速かつ大量の画像書き込みをメモリ３０に対して行うことが可能となる。また、メモリ３０はシステム制御回路５０の作業領域としても使用することが可能である。

圧縮・伸長回路３２は適応型離散コサイン変換（ＡＤＣＴ）等により画像データを圧縮伸長する。圧縮・伸長回路３２はメモリ３０に格納された画像を読み込んで圧縮処理或いは伸長処理を行い、処理を終えたデータをメモリ３０に書き込む。

露光制御部４０は絞り機能を備えるシャッター１２を制御する。フラッシュ４８と連動することによりフラッシュ調光機能も有する。

測距制御部４２は撮影レンズ１０を駆動し、フォーカシングを制御する。ズーム制御部４４は撮影レンズ１０を駆動し、ズーミングを制御する。

フラッシュ４８はＡＦ補助光の投光機能、フラッシュ調光機能の最適化を可能としている。

露光制御部４０、測距制御部４２は、撮像した画像データを画像処理回路２０によって演算した演算結果に基づき、システム制御回路５０が露光制御部４０、測距制御部４２に対して制御を行う。

システム制御回路５０は撮像装置１００全体の各部を制御し、撮像制御、画像処理制御、表示制御、記録制御等を実行する演算回路（ＣＰＵ）である。

モードダイアルスイッチ６０は、電源オンオフ、自動撮影モード、マニュアル撮影モード、パノラマ撮影モード、動画撮影モード、再生モード、ＰＣ接続モード等の各機能モードを切り替え設定するためのものである。

シャッタースイッチはＳＷ１としての６２とＳＷ２としての６４を有し、ＳＷ１６２は、シャッターボタンの操作途中（半押し）でＯＮとなり、ＡＦ（オートフォーカス）処理、ＡＥ（自動露出）処理、ＡＷＢ（オートホワイトバランス）処理等の動作開始を指示する。

シャッタースイッチＳＷ２６４は、シャッターボタンの操作完了（全押し）でＯＮとなる。フラッシュ撮影の場合、プリ発光処理を行った後に、ＡＥ処理で決定された露光時間分、撮像部１４を露光させる。フラッシュ撮影の場合、この露光期間中に発光させて、露光期間終了と同時に露光制御部４０により遮光することで、撮像部１４への露光を終了させる。また、撮像部１４から読み出した信号をＡ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む読み出し処理、画像処理回路２０やメモリ制御回路２２での演算を用いた現像処理の動作開始も指示する。また、メモリ３０から画像データを読み出し、圧縮・伸長回路３２で圧縮・伸長を行う圧縮・伸長処理、記録媒体２００に画像データを書き込む記録処理という一連の処理の撮影・記録動作開始を指示する。

表示切替スイッチ６６は画像表示部２８の表示切替をすることが出来る。この機能により、光学ファインダー１０４を用いて撮影を行う際に、画像表示部への電流供給を遮断することにより、省電力を図ることが可能となる。

操作部７０は各種ボタン、タッチパネルや回転式ダイアル等からなり、メニューボタンなどを含む。

ズームスイッチ７２はユーザーが撮像画像の倍率変更指示を行うズーム操作手段である。ズームスイッチ７２は、撮像画角を望遠側に変更させるテレスイッチと、広角側に変更させるワイドスイッチからなる。このズームスイッチ７２を用いることにより、ズーム制御部４４に撮影レンズ１０の撮像画角の変更を指示し光学ズーム操作を行う。また、画像処理回路２０による画像の切り出しや、画素補間処理などによる撮像画角の電子的なズーミング変更も光学ズームと組み合わせて行う。

電源８６は電池やＡＣアダプター等からなる。

コネクタ９０はメモリカードやハードディスク等の記録媒体２００とのインタフェース、９２はメモリカードやハードディスク等の記録媒体と接続を行う。

光学ファインダ１０４は、画像表示部２８による電子ファインダー機能を使用すること無しに、被写体像を光学視認するためのものである。

通信部１１０は外部装置に対してＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信、等の各種通信機能の少なくとも１つを有する。

コネクタ／アンテナ１１２は通信部１１０により撮像装置１００を他の機器と通信可能に接続する。有線通信ではコネクタ、無線通信の場合はアンテナである。

記録媒体２００はメモリカードやハードディスク等で構成される。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０２、撮像装置１００とのインタフェース２０４、撮像装置１００と電気的に接続を行うコネクタ２０６を備えている。

図２は、本実施形態における撮影フローを示した図である。各ステップはシステム制御回路５０において、あるいはシステム制御回路５０による指示に基づき各部で行われる。

本実施形態では、１枚の画像で光源等の高輝度な被写体（第１の被写体。以下、単に光源と呼ぶこともある）と光源以外の被写体（第２の被写体）が適正な明るさである画像を生成するために、光源に適した撮像と被写体に適した撮像をそれぞれ行い合成する。具体的には、光源に適した撮影条件（光源が適正な明るさになる、全体あるいは光源が第１の輝度となることを目標としたシャッター速度、絞り、ＩＳＯ感度等）で撮像を行い複数の第１の画像を取得し、ピークホールド加算を行うことで第１の合成画像を生成する。一方、光源以外の被写体に適した撮影条件（光源以外の被写体が適正な明るさになる、光源以外の被写体あるいは全体の領域が第２の輝度となることを目標した撮影条件）で撮像を行い第２の画像を取得する。得られた第２の画像と第１の合成画像とをピークホールド加算で合成して第２の合成画像を生成し、最終的な画像出力とする。

システム制御回路５０はシャッタースイッチＳＷ２としての６４が押下されたならば、ステップＳ２０１から始まる撮影動作を行う。また、シャッタースイッチＳＷ１としての６４が押し下げられることで測光や露光制御部４０による露光制御や、測距制御部４２による焦点調節などがすでに行われているものとする。

ステップＳ２０１では、予め露光制御部４０を用いて決定された第１の撮影条件（シャッター速度１：Ｔｖ１）で順次撮像を行う。ここで、露光制御部４０は、光源からの光が飽和しないような撮影条件を予め記憶しておいて使用しても良いし、公知の露光制御によって光源からの信号が飽和しないように適宜撮影条件を決定する。

ステップＳ２０２では、今回の露光で得られた画像と前回の露光で得られた画像とをピークホールド加算する。今回の撮像が１枚目であるときには、ピークホールド加算は行わないで次のステップに進む。ピークホールド加算とは、加算対象の画素同士を比較して、レベルの小さくない方を出力する加算方式のことを言う。具体的には以下のようになる。
Ｉ（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ），・・・，Ｉ＿Ｎ（ｘ，ｙ）） （１）

ここで、合成前の画像のそれぞれの画素値をＩ＿ｉ（ｘ，ｙ）（ｉ＝１〜Ｎ，ｘ，ｙは画面内の座標を表す）、それらのＮ枚の画像の合成後の画像の画素値をＩ（ｘ，ｙ）とする。本実施形態では、第１の撮影条件で撮影される画像を順次ピークホールド加算により合成していくので、
Ｉ２（ｘ，ｙ）＝ｍａｘ（Ｉ＿１（ｘ，ｙ），Ｉ＿２（ｘ，ｙ）），
Ｉ３（ｘ，ｙ）＝ｍａｘ（Ｉ２（ｘ，ｙ），Ｉ＿３（ｘ，ｙ）），
‥‥
Ｉ（ｘ，ｙ）＝ＩＮ（ｘ，ｙ）＝ｍａｘ（ＩＮ−１（ｘ，ｙ），Ｉ＿Ｎ（ｘ，ｙ））， （２）
となる。合成処理の手法としてはこれに限らず、前述した式（１）のように、Ｎ枚をメモリに記憶しておき、一度に合成するなどしてもよい。

この撮影方法によって、花火等の光源の軌跡を捉えた画像を得ることができる。ステップＳ２０３では、前回の画像と今回の画像との画像間の差異を検出して、差異が所定レベル以下であれば光源の移動が完了したとみなし、ステップＳ２０４に進む。花火を撮影する場合なら、花火の軌跡が消えた事を意味する。差異の検出に関しては、双方の画像の同一位置ピクセルのレベルの差の絶対値を求め、絶対値の総和が所定レベル以下であるときに差異が小さいとみなす。以下の式で求めることができる。
Ｄｉｆｆ＝Σ｜Ｉｋ−１（ｘ，ｙ）−Ｉ＿ｋ（ｘ，ｙ）｜ （３）

上記Ｄｉｆｆ値が所定レベル以下であれば、軌跡が消えたと考える。差分が所定値より大きければ、引き続き光源の軌跡を捉えるためにステップＳ２０１に戻り、次の露光を行う。なお、ステップＳ２０３でユーザによる手動でのシャッタースイッチＳＷ２の押し下げを検出することによってシャッター速度１での撮影を終了してもよい。

ステップＳ２０４では、ステップＳ２０３までの露光で得られる光源以外の背景の撮影のためにシャッター速度２（Ｔｖ２）の撮影条件で露光を行う。撮影条件（シャッター速度２）は背景の露出に適した設定になっている。

ステップＳ２０５では、露光した画像を、ステップＳ２０３までで得られた第１の合成画像にピークホールド加算する。ここで一般的に背景の露出に適した撮影条件は、花火等の光源より暗いため、撮影条件（Ｔｖ２）は光源より明るく撮影するようなＴｖより大きな値の設定になる。するとステップＳ２０５のピークホールド加算によって、背景部分には適正レベルの背景が上書き合成されることになる。ピークホールド加算が終わると、撮影動作が終了となる。

光源の軌跡を露光するシャッター速度１（Ｔｖ１）に関しては、本撮像装置の１フレームの最短読み出し時間に対応するシャッター速度にすることで光源の軌跡を白飛びさせないようにする。もちろん、シャッター速度１はより適応的に、光源が色味も明るさも含めて適正に見えるようなシャッター速度にしてもよい。

背景を露光するシャッター速度２（Ｔｖ２）の関係は、背景の露光がシャッター速度２で最適になるように設定するので、シャッター速度２（Ｔｖ２）の方をより低速シャッターにして、シャッター速度２の露光がピークホールドで採用されるようにする。

本実施形態では、光源の移動が終了したことを自動的に検出して背景の露光に移行しているが、ユーザーがタイミングを指示する構成でもよい。その場合、レリーズ開始指示（例えばシャッタースイッチ６４のＳＷ２（全押し）を押し下げる）で図２におけるステップＳ２０１に進み、シャッター速度１（Ｔｖ１）で露あｓｌ光しピークホールド加算を行う。レリーズ終了指示（例えばシャッタースイッチ６４のＳＷ２（全押し）を離す）でステップＳ２０３からステップＳ２０４に進み、シャッター速度２（Ｔｖ２）で露光しピークホールド加算を行う動作へと移行する。また、予めユーザによってシャッター速度１の撮影枚数が指定されていても良い。前記操作により、ユーザはリアルタイムに撮影期間を決定することができる。

次に、シャッター速度１の撮影時、すなわち光源の撮影時における露光のタイミング制御の方法について図３を用いて説明する。

図３（ａ）は撮像部１４にＣＭＯＳイメージセンサを使用した場合のタイミングチャートである。ここで、ＳＲはシステム制御回路５０より撮像部１４に出力される読み出し開始信号を、ＲＳＴはリセット開始信号を示す。また、ＥＸＰは画像の露光タイミングを示し、ＵＰが撮像素子上の画素の画面上部を、ＬＯが画面下部を示す。

まず、ｔ１でリセット開始信号ＲＳＴがシステム制御回路５０よりタイミング発生回路１８を参照します。撮像部１４に発せられる上記信号を受けて、撮像部１４の画素が上部より順次行単で電荷の排出が行われ、ｔ２までに全画素の電荷の排出が完了する。

上記電荷の吐き捨てを画素のリセット動作という。ＣＭＯＳイメージセンサで電子シャッタを使用した撮影を行うと、原理上画素の読み出しタイミングと露光の終了タイミングがほぼ等しく、かつ画面内の複数行を同時に読み出すことはできないのが一般的である。

そこで、上記のように、画面内でリセット動作のタイミングと各行の読み出し動作のタイミングの間に同じ時間差を持たせることにより、画面内での各行の露光時間を均一に保っている。上記をローリングシャッタと呼ぶ。

ｔ３は画面の読み出し開始タイミングであり、ｔ１〜ｔ３までが画面上部第１行の露光期間となる。ｔ３は読み出し開始パルスがＣＰＵからタイミング発生回路１８を介して撮像部１４に発せられることで画素の信号を読み出してゆく。

画面全体を読み出すのにかかる期間はｔ５−ｔ３であるが、この時間差が画面上部と画面下部の露光タイミング差となる。ｔ４は２フレーム目のためのリセット開始位置である。ここでは、露光しない期間をできる限り短くするため、１フレーム目の読み出しが完了する前に、２フレーム目のリセット動作を開始している。

このように、露光しない期間を短くすることで、時間と共に位置を変える輝線の軌跡を出来るだけ途切れることなく連続的にとらえることが可能となる。ｔ６は２フレーム目のリセット完了のタイミングである。ｔ７、ｔ８、ｔ９、ｔ１０は、それぞれ、ｔ４、ｔ５、ｔ６、ｔ７に相当する。以下同様の繰り返しとなる。

最終的な露光枚数をｎとすると、そのフレームのタイミングは下記のようになる。ｔ４ｎのタイミングで画面上部から露光開始、ｔ４ｎ＋２のタイミングで画面下部までの露光終了。ｔ４ｎ＋３のタイミングで画面上部から読み出し開始ｔ４ｎ＋４のタイミングで画面下部までの読み出し終了となる。

上記のように、露光間隔を空けずに撮影するため、現在のフレームの読み出し完了前に次フレームの露光を開始することが望ましく、露光時間はフレームレートと略等しくなることが望ましい。

また、上記フレームレートと略等しい露光時間では露出がオーバーする場合は、絞りの絞り光量を減らすか、信号ゲインを下げることにより、フレームレートと略等しい露光時間のまま適正な信号値を確保することができる。

上記のように、適正露光に相当する信号値を得るために絞りや信号ゲインを調節することが望ましい。具体的な適正露光を得る方法は周知の技術であるためここでは省略する。

また、上記フレームレートでは露光時間が十分に確保できない場合において、絞りや、ゲインの設定範囲を超えている状況では、フレームレートを遅くすることにより適正なフレームレートを確保することもできる。

次に、図３（ｂ）は本発明の撮像部１４に使用可能な、例えばインタライン・トランスファー型のＣＣＤイメージセンサ（以下、ＣＣＤイメージセンサと言う）の構成例であり、図３（ｃ）はこのＣＣＤイメージセンサを動作させるタイミングチャート例である。ここで、ＳＲ１はシステム制御回路５０よりタイミング発生回路１８を介して撮像部１４に出力される第１フィールドの読み出し開始パルス信号を、ＳＲ２は第２フィールドの読み出し開始パルス信号を、ＳＲ３は第３フィールドの読み出し開始パルス信号を示す。図３（ａ）に示すように、ＣＣＤイメージセンサは画素部、垂直転送部、水平転送部で構成され、本実施形態では、例示として３フィールドで１フレーム分の全画面の画素を読み出すものを示している。従って、垂直転送部は各列に３フィールドに１つ設けられている。１フィールドを構成するフィールド数はいくつでもよい。

ＳＲ１が入力されるのを受けて、第１フィールドの画素部に蓄積された電荷が垂直転送部に移動する。垂直転送部はその後繰り返し垂直転送信号を受け、下方向に電荷を順次転送する。垂直転送部から水平転送部に移動された電荷は、水平転送信号を受け電荷信号を順次出力する。この出力信号をＡＤ変換して、デジタル映像信号を得ている。ＳＲ１の信号で垂直転送部に転送される電荷が転送され終わってからのタイミングでＳＲ２が入力され、ＳＲ２の信号を受けて第２フィールドも同様の動作で画像信号を出力する。その後、第３フィールドもＳＲ３の信号を受けて同様の動作で電荷信号を出力し、結果１フレーム分の全画面の画像信号を出力する。

上記の動作を図３（ｃ）のタイミングチャートに照らし合わせて説明する。図３（ａ）と同様の記号のものは同じものを表わすものとする。まず、ｔ１で第１フィールドの読み出し開始パルス信号ＳＲ１をシステム制御回路５０よりタイミング発生回路１８を介して撮像部１４へ送り、上記読み出し信号を受けた撮像部１４より、第１フィールドに相当する画素の信号を読み出す。

次に、ｔ２、ｔ３において同様に第２フィールド、第３フィールドの読み出し信号をＣＰＵよりタイミング発生回路１８を介して撮像部１４へ送り、画素の信号を読み出す。

通常ＣＣＤイメージセンサでは全画面一括露光を行うのが一般的であるが、その場合露光終了時にメカニカルシャッタを使用しないと各フィールドで露光時間差が発生してしまう。しかし、本実施形態では、露光しない期間をできる限り短くするため、電子シャッタを使用し、全画面一括リセットでなく、各フィールドの読み出しによるリセット動作を行う。

それぞれのフィールドの読み出し期間は、第１フィールドがｔ４−ｔ１，第２フィールドがｔ５−ｔ２，第３フィールドがｔ６−ｔ３となり、それぞれのフィールドの読み出し期間は略等しい。

ｔ４、ｔ５、ｔ６では１番目のフレームの第１フィールド、第２フィールド、第３フィールドの出力値が読み出され、左記出力値を１枚目の画像としてバッファメモリに蓄える。

次にｔ７、ｔ８、ｔ９では２番目のフレームの第１フィールド、第２フィールド、第３フィールドの出力値が読み出され、左記出力値を２枚目の画像としてバッファメモリの信号値と比較し、演算結果を再度バッファメモリに書き込む。

ｎフレーム目の露光では、第１フィールド、第２フィールド、第３フィールドの露光開始タイミングは、その前の読み出しタイミングである、ｔ３ｎ＋１、ｔ３ｎ＋２、ｔ３ｎ＋３にあたる。

また、第１フィールド、第２フィールド、第３フィールドの露光終了タイミングは、ｔ３ｎ＋４、ｔ３ｎ＋５、ｔ３ｎ＋６にあたる。

上記のように、ＣＣＤイメージセンサでは、読み出しを行うと同時に、次のフレームの露光が開始される。このように露光間隔を空けずに撮影するため、前のフレームの読み出し完了前に次フレームの露光を開始することが望ましい。

また、各露光時間は、フレームレートと略等しくなることが望ましい。また、上記フレームレートと略等しい露光時間では露出がオーバーする場合は、絞り光量を減らすか、信号ゲインを下げる（ＩＳＯ感度を下げる）ことにより、フレームレートと略等しい露光時間のまま適正な露光量を確保することができる。

また、適正露光を得るために絞りや信号ゲインを調節することが望ましい。また、上記フレームレートでは露光時間が十分に確保できない場合において、絞りや、ゲインの設定範囲を超えている状況では、フレームレートを遅くすることにより適正なフレームレートを確保することができる。

図４、図５は本実施形態における最終的な合成画像の生成までの過程を示した図である。

図４は、第１の撮影条件で繰り返し撮像を行うことで花火の軌跡を捉え、ピークホールド加算により第１の合成画像を生成しているイメージ図である。図４（ａ）は、１度目の露光によって得られた画像、図４（ｂ）は２度目の露光によって得られた画像、図４（ｃ）は３度目の露光によって得られた画像である。図３で説明した露光タイミングで撮像すると、図４（ａ）〜（ｃ）のように連続的な花火の軌跡を追う画像が得られ、これらをピークホールド加算することで、う４（ｄ）のような花火の軌跡全体が適正な明るさで得られる画像が生成される。

図５において、画像５０１は上述した第１の撮影条件で連続して繰り返し撮影された画像をピークホールド加算で合成して生成される第１の合成画像である。花火の軌跡は飽和せずきれいに残るが、１枚当たりの露光時間は短いため、背景である家の輝度は暗く、適正な露出になっていない。次に画像５０２は、背景である家の明るさに合わせたシャッター速度２（Ｔｖ）で撮影を行った画像である。画像５０２では、花火は写っていないが、家は適正な露出で撮影される。

これらの２枚をピークホールド加算することで、花火、家（光源と被写体）の両方が適正な明るさの合成画像を得ることになる。すなわち、ピークホールド加算による合成後の画像５０３では、花火はシャッター速度２（Ｔｖ２）の画像には写っていないので、シャッター速度１（Ｔｖ１）の花火が残り、家は明るいシャッター速度２（Ｔｖ２）での画像が残った画像となる。

以上のように、本実施形態では、撮影指示に応じて光源に適した第１の撮影条件で複数枚の撮像を行いピークホールド加算を行うことで光源が適正な明るさの第１の合成画像を生成する。さらに、続けて光源以外の被写体に適した第２の撮影条件で撮像を行い、得られた画像と第１の合成画像とをピークホールド加算で合成して第２の合成画像を生成し、最終的な画像出力とする。これにより、ユーザは簡易な操作で、背景を適正な明るさにしつつ光源の軌跡も適正な明るさである画像を得ることができる。

（第２の実施形態）
第１の実施形態では、光源以外の被写体（背景）を撮像して得られる画像に対して被写体に適した第２の撮影条件で１枚撮像を行う実施例を示した。これに対して本実施形態では、光源以外の被写体を撮像する際に、当該被写体に適した第２の撮影条件から決まる明るさの画像を得られるように、第３の撮影条件で分割露光して得られる複数の画像を加算合成する。例えば、絞り値、ＩＳＯ感度は変えずにシャッター速度を可変にして考えるとシャッター速度Ｔｖ２の画像を得るために、第３の撮影条件（シャッター速度Ｔｖ３）で繰り返し撮影を行い、順次合成してシャッター速度Ｔｖ２相当の明るさの画像を得る（Ｔｖ２＝Ｎ［枚］×Ｔｖ３）。本実施形態では、電子的シャッター速度を変更して上記撮影を達成するが、これに限らず、例えば、ＩＳＯ感度を可変としてＩＳＯ感度の低い画像を複数枚加算合成してＩＳＯ感度の高い第２の撮影条件で撮影した画像に相当する画像を生成しても良い。具体的には、ＩＳＯ１００の画像を４枚合成してＩＳＯ４００相当の画像を得ることができる。

本実施形態に係る撮像装置の構成は第１の実施形態のものと同様に図１で表されるので説明は省略する。また、撮像素子の最終的な出力画像までの工程と出力画像のイメージ図も図４、図５と同様である。

図６は本実施形態における撮影フローを示した図である。図２と同様のステップには同じ番号が付しており、説明を省略する。各ステップはシステム制御回路５０、あるいはシステム制御回路５０による指示で各部で行われる。

ステップＳ２０３までで第１の実施形態と同様の光源等の高輝度の被写体の撮影が終了すると、ステップＳ６００に進み、ｎ＝１とする。次にステップＳ６０１に進み、光源以外の被写体の撮影が開始される。ステップＳ６０１では、システム制御回路５０によって撮影対象となっている光源以外の被写体に適した第２の撮影条件としてトータルのシャッター速度２（Ｔｖ２）が算出されており、それをＮ分割したシャッター速度３（Ｔｖ３）での撮像が行われる。ステップＳ６０２では、ステップＳ６０１で今回得られた画像と前回得られた画像とを単純加算する合成処理を行う。ステップＳ６０３では、システム制御回路５０は、所定のＮ枚数分の撮像が終了したか否かを判定する。撮像枚数が所定の枚数Ｎに到達しておらず終了していない場合は、ステップＳ６０１に戻り次の撮像を行う。撮像枚数が所定の枚数に到達し撮像が終了した場合は、ステップＳ２０５に進み、ステップＳ２０２で得られた合成画像とステップＳ６０３で得られた合成画像とがＰｅａｋＨｏｌｄ加算で合成される。

以上のように、本実施形態では、撮影指示に応じて光源に適した第１の撮影条件で複数枚の撮像を行いピークホールド加算を行うことで光源が適正な明るさの第１の合成画像を生成する。さらに、続けて光源以外の被写体に適した第２の撮影条件を合成により得られる第３の撮影条件で複数枚の撮像を行い単純加算合成する。そして得られた合成画像と第１の合成画像とをピークホールド加算で合成して第２の合成画像を生成し、最終的な画像出力とする。これにより、ユーザは簡易な操作で、背景を適正な明るさにしつつ光源の軌跡も適正な明るさである画像を得ることができる。

また、本実施形態では光源以外の被写体を撮影する際に分割露光により実現しているので、手振れや被写体ブレなどの影響を低減した最終的な合成画像を得ることができる。

上記各実施形態では、最初に光源等の高輝度な被写体の撮像を複数行い、その後光源以外の被写体に向けた撮像を行っているが、これに限らず、順番が逆であっても良い。

上記各実施形態では、画像合成を行う際の画像信号の形式は特に限定されず、例えばＲ（赤）、Ｇ（緑）、Ｂ（青）の画像信号であったり、Ｙ（輝度）、Ｕ、Ｖ（色差）信号の画像信号であってもよい。ＲＧＢの信号であった場合、ピークホールド加算は色毎に最大値をとってもよいし、Ｇの比較結果をＲ、Ｂに反映して合成後の信号として用いたり、ＲＧＢ信号から得られる輝度信号で大小の比較をしたりしても良い。

（他の実施形態）
本発明の目的は以下のようにしても達成できる。すなわち、前述した各実施形態の機能を実現するための手順が記述されたソフトウェアのプログラムコードを記録した記憶媒体を、システムまたは装置に供給する。そしてそのシステムまたは装置のコンピュータ（またはＣＰＵ、ＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出して実行するのである。

この場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した記憶媒体およびプログラムは本発明を構成することになる。

また、プログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどが挙げられる。また、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ、ＤＶＤ−Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭ等も用いることができる。

また、コンピュータが読み出したプログラムコードを実行可能とすることにより、前述した各実施形態の機能が実現される。さらに、そのプログラムコードの指示に基づき、コンピュータ上で稼動しているＯＳ（オペレーティングシステム）等が実際の処理の一部または全部を行い、その処理によって前述した各実施形態の機能が実現される場合も含まれる。

更に、以下の場合も含まれる。まず記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。その後、そのプログラムコードの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行う。

１０ 撮影レンズ
１２ シャッター
１４ 撮像素子
１６ Ａ／Ｄ変換器
１８ タイミング発生回路
２０ 画像処理回路
２２ メモリ制御回路
３０ メモリ
４０ 露光制御部
５０ システム制御回路
６２ シャッタースイッチＳＷ１
６４ シャッタースイッチＳＷ２
７０ 操作部
１００ 撮像装置

Claims (11)

1. 撮像手段と、
   前記撮像手段の撮像を制御する撮像制御手段と、
   前記撮像手段から得られる複数の画像から使用する画素を選択して合成画像を生成する合成処理を行う合成手段と、
   前記撮像手段による撮像を指示する指示手段と、
   ユーザからの操作を受け付ける操作手段と、を有し、
   前記撮像制御手段は、前記指示手段による第１の指示に応じて、前記撮像手段によって第１の撮影条件で連続的に撮像して複数の第１の画像を出力し、前記指示手段による第２の指示に応じて、前記撮像手段によって前記第１の撮影条件とは異なる第２の撮影条件で撮像し第２の画像を出力し、
   前記合成手段は、前記複数の第１の画像と前記第２の画像とから前記合成処理により合成画像を生成し、
   前記指示手段は、ユーザによる前記操作手段への操作に応じて前記第１の指示を行い、前記第１の画像間の差分が所定値より小さくなるまで前記第１の撮影条件で撮像されたことを受けて前記第２の指示を行うことを特徴とする撮像装置。
2. 撮像手段と、
   前記撮像手段の撮像を制御する撮像制御手段と、
   前記撮像手段から得られる複数の画像を合成する合成手段と、
   前記撮像手段による撮像を指示する指示手段と、
   ユーザからの操作を受け付ける操作手段と、
   を有し、
   前記撮像制御手段は、前記指示手段による第１の指示に応じて、前記撮像手段によって第１の撮影条件で連続的に撮像して複数の第１の画像を出力し、前記指示手段による第２の指示に応じて、前記撮像手段によって前記第１の撮影条件とは異なる第２の撮影条件で複数撮像して複数の第２の画像を出力し、
   前記合成手段は、前記複数の第２の画像を加算合成して得られる画像と、前記複数の第１の画像とから、使用する画素を選択して合成画像を生成し、
   前記指示手段は、ユーザによる前記操作手段への操作に応じて前記第１の指示を行い、前記第１の画像間の差分が所定値より小さくなるまで前記第１の撮影条件で撮像されたことを受けて前記第２の指示を行うことを特徴とする撮像装置。
3. 前記合成手段は、画像間で領域ごとにレベルの小さくない方の画素を選択することで前記合成画像を生成することを特徴とする請求項１に記載の撮像装置。
4. 前記第１の撮影条件は、前記撮像装置の１フレームの最短読み出し時間に対応するシャッター速度であることを特徴とする請求項１乃至３のいずれか１つに記載の撮像装置。
5. 前記第１の撮影条件は第１の被写体の撮像に適した撮影条件であり、前記第２の撮影条件は前記第１の被写体とは異なる第２の被写体の撮像に適した撮影条件であることを特徴とする請求項１乃至４のいずれか１つに記載の撮像装置。
6. 前記撮像手段にはＣＭＯＳイメージセンサが用いられ、
   前記撮像手段は、前記複数の画像データを取得する時の露光において、現在のフレームの信号を読み出し中に、次のフレームのリセット動作を開始することを特徴とする請求項１乃至５のいずれか１つに記載の撮像装置。
7. 前記撮像手段よって撮像される画像はＲＧＢの成分を持つ画像であり、
   前記合成手段は、画像間で領域ごとにＧの成分に基づく信号のレベルの小さくない方の画素を選択することで前記合成画像を生成することを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 撮像手段と、前記撮像手段から得られる複数の画像から使用する画素を選択して合成画像を生成する合成処理を行う合成手段とを有する撮像装置の制御方法であって、
   前記撮像手段による撮像を指示する指示ステップと、
   前記撮像手段による撮像を指示する指示手段の第１の指示に応じて、前記撮像手段によって第１の撮影条件で連続的に撮像され複数の第１の画像が出力される第１の撮像ステップと、前記指示手段の第２の指示に応じて、前記撮像手段によって前記第１の撮影条件とは異なる第２の撮影条件で撮像され第２の画像が出力される第２の撮像ステップと、
   前記合成手段が、前記複数の第１の画像と前記第２の画像とから前記合成処理により合成画像を生成する合成ステップと、を有し、
   前記指示手段による指示は、ユーザからの操作を受け付ける操作手段へのユーザによる操作に応じて前記第１の指示が行われ、前記第１の画像間の差分が所定値より小さくなるまで第１の撮影条件で撮像されたことを受けて前記第２の指示が行われることを特徴とする撮像装置の制御方法。
9. 撮像手段と、前記撮像手段から得られる複数の画像から使用する画素を選択して合成画像を生成する合成処理を行う合成手段とを有する撮像装置の制御方法であって、
   前記撮像手段による撮像を指示する指示ステップと、
   前記撮像手段による撮像を指示する指示手段の第１の指示に応じて、前記撮像手段によって第１の撮影条件で連続的に撮像され、複数の第１の画像が出力される第１の撮像ステップと、前記指示手段の第２の指示に応じて、前記撮像手段によって前記第１の撮影条件とは異なる第２の撮影条件で複数撮像され、複数の第２の画像が出力される第２の撮像ステップと、
   前記複数の第２の画像を加算合成する第１の合成ステップと、
   前記第１の合成ステップで得られる画像と前記複数の第１の画像とから、使用する画素を選択して合成画像を生成する第２の合成ステップと、を有し、
   前記指示手段による指示は、ユーザからの操作を受け付ける操作手段へのユーザによる操作に応じて前記第１の指示が行われ、前記第１の画像間の差分が所定値より小さくなるまで第１の撮影条件で撮像されたことを受けて前記第２の指示が行われることを特徴とする撮像装置の制御方法。
10. 請求項８または９に記載の撮像装置の制御方法の手順が記述されたコンピュータで実行可能なプログラム。
11. 請求項８または９に記載の撮像装置の制御方法の手順が記述されたプログラムが記憶されたコンピュータが読み取り可能な記憶媒体。

Images