JP4942572B2 - 画像加算装置および方法並びにプログラム - Google Patents

Description

本発明は、デジタルカメラ等の撮影装置において取得された複数の画像を加算する処理を行う画像加算装置および方法並びに画像加算方法をコンピュータに実行させるためのプログラムに関するものである。

デジタルカメラにおいて撮影を行う際に、撮影環境が暗い場合には長時間の露光を行う必要がある。しかしながら、長時間露光を行うと、デジタルカメラを構成するＣＣＤの暗電流等の影響により、Ｓ／Ｎが低下して画質が低下してしまう。このため、デジタルカメラを構成するＣＣＤ等の撮像手段から得られる１フレーム毎の画像信号を順次累積加算することにより、実質的に長時間露光に匹敵する画像を得るようにしたデジタルカメラが提案されている（特許文献１参照）。
特開平５−２３６４２２号公報

しかしながら、上記特許文献１に記載されたように複数の画像を加算する場合、複数の画像が正確に同じ画角でないと、加算した画像がボケてしまうという問題がある。

本発明は上記事情に鑑みなされたものであり、複数の画像を加算する際にボケがないようにすることを目的とする。

本発明による第１の画像加算装置は、所定の露光時間の撮影により取得した複数の画像のうち、１の基準画像と該基準画像以外の他の画像との対応点を検出する対応点検出手段と、
前記対応点に基づいて、前記基準画像と前記他の画像との位置合わせを行う位置合わせ手段と、
位置合わせ後の前記基準画像と前記他の画像のうちの加算対象となる１の加算対象画像とを加算して加算画像を生成する加算手段と、
前記加算画像の明るさを評価する明るさ評価手段とを備えたことを特徴とするものである。

ここで、「対応点」とは、基準画像と他の画像とで対応する双方の点のみならず、一方の画像の対応点およびこの対応点から他方の画像の対応点へ向かうベクトル等、双方の画像の位置の対応関係を表す情報であればよい。

なお、本発明による第１の画像加算装置においては、所望の明るさを有する加算画像が取得されるまで、または前記複数の画像がすべて加算されるまで、前記加算画像を新たな基準画像としつつ順次前記加算対象画像を変更して、前記新たな基準画像と前記加算対象画像との加算および前記明るさの評価を行うよう、前記加算手段および前記明るさ評価手段を制御する制御手段とを備えるようにしてもよい。

本発明による第２の画像加算装置は、所定の露光時間の撮影により複数の画像を取得し、該複数の画像を加算して加算画像を取得するに際し、前記加算画像を所望とする明るさとするのに必要な枚数の複数の画像のうち、１の基準画像と該基準画像以外の他の画像との対応点を検出する対応点検出手段と、
前記対応点に基づいて、前記基準画像とすべての前記他の画像との位置合わせを行う位置合わせ手段と、
位置合わせ後の前記基準画像とすべての前記他の画像とを加算して前記加算画像を生成する加算手段とを備えたことを特徴とするものである。

本発明による第１の撮影装置は、撮影により画像を取得する撮影手段と、
所定の露光時間の撮影により複数の画像を取得し、該複数の画像を加算して加算画像を取得するに際し、前記加算画像を所望とする明るさとするのに必要な画像の枚数を算出する画像枚数算出手段と、
前記算出された枚数の画像を取得するよう前記撮影手段を制御する撮影制御手段と、
前記必要な枚数の複数の画像のうち、１の基準画像と該基準画像以外の他の画像との対応点を検出する対応点検出手段と、
前記対応点に基づいて、前記基準画像とすべての前記他の画像との位置合わせを行う位置合わせ手段と、
位置合わせ後の前記基準画像とすべての前記他の画像とを加算して前記加算画像を生成する加算手段とを備えたことを特徴とするものである。

本発明による第３の画像加算装置は、所定の露光時間の撮影により取得した複数の画像のうち、１の基準画像と該基準画像以外の他の画像との対応点を検出する対応点検出手段と、
前記対応点に基づいて、前記基準画像と前記他の画像との位置合わせを行う位置合わせ手段と、
位置合わせ後の前記基準画像と前記他の画像のうちの加算対象となる１の加算対象画像とを加算して加算画像を生成する加算手段と、
前記加算画像の明るさを所望の明るさに調整して明るさ調整済み画像を生成する明るさ調整手段と、
前記複数の画像がすべて加算されるまで、前記加算画像を新たな基準画像としつつ順次前記加算対象画像を変更して前記新たな基準画像と前記加算対象画像との加算および前記明るさの調整を行って、加算数に応じた複数の明るさ調整済み画像を生成するよう、前記加算手段および前記明るさ調整手段を制御する制御手段とを備えたことを特徴とするものである。

なお、本発明による第３の画像加算装置においては、前記複数の明るさ調整済み画像を表示する表示手段と、
前記複数の明るさ調整済み画像のうち、所望とされる１の画像の選択を受け付ける選択手段とをさらに備えるものとしてもよい。

また、本発明による第３の画像加算装置においては、前記複数の画像の枚数を、周囲の明るさに基づいて算出された、前記加算画像を所望とする明るさとするのに必要な枚数の画像としてもよい。

本発明による第２の撮影装置は、撮影により画像を取得する撮影手段と、
所定の露光時間の撮影により複数の画像を取得し、該複数の画像を加算して加算画像を取得するに際し、前記加算画像を所望とする明るさとするのに必要な画像の枚数を算出する画像枚数算出手段と、
前記算出された枚数の画像を取得するよう前記撮影手段を制御する撮影制御手段と、
前記必要な枚数の複数の画像のうち、１の基準画像と該基準画像以外の他の画像との対応点を検出する対応点検出手段と、
前記対応点に基づいて、前記基準画像と前記他の画像との位置合わせを行う位置合わせ手段と、
位置合わせ後の前記基準画像と前記他の画像のうちの加算対象となる１の加算対象画像とを加算して加算画像を生成する加算手段と、
前記加算画像の明るさを所望の明るさに調整して明るさ調整済み画像を取得する明るさ調整手段と、
前記複数の画像がすべて加算されるまで、前記加算画像を新たな基準画像としつつ順次前記加算対象画像を変更して前記新たな基準画像と前記加算対象画像との加算および前記明るさ調整済み画像の取得を行って、加算数に応じた複数の明るさ調整済み画像を取得するよう、前記加算手段および前記明るさ調整手段を制御する制御手段とを備えたことを特徴とするものである。

なお、本発明による第２の撮影装置においては、前記複数の明るさ調整済み画像を表示する表示手段と、
前記複数の明るさ調整済み画像のうち、所望とされる１の画像の選択を受け付ける選択手段とをさらに備えるものとしてもよい。

本発明による第４の画像加算装置は、所定の露光時間の撮影により取得した複数の画像のうち、１の基準画像と該基準画像以外の他の画像との対応点を検出する対応点検出手段と、
前記対応点に基づいて、前記他の画像のうち加算に必要な画像を決定する画像決定手段と、
前記対応点に基づいて、前記基準画像と前記加算に必要な画像との位置合わせを行う位置合わせ手段と、
前記位置合わせ後の前記基準画像と前記加算に必要な画像とを加算して加算画像を生成する加算手段と、
前記加算画像の明るさを調整する明るさ調整手段とを備えたことを特徴とするものである。

本発明による第１の画像加算方法は、所定の露光時間の撮影により取得した複数の画像のうち、１の基準画像と該基準画像以外の他の画像との対応点を検出し、
前記対応点に基づいて、前記基準画像と前記他の画像との位置合わせを行い、
位置合わせ後の前記基準画像と前記他の画像のうちの加算対象となる１の加算対象画像とを加算して加算画像を生成し、
前記加算画像の明るさを評価することを特徴とするものである。

本発明による第２の画像加算方法は、所定の露光時間の撮影により複数の画像を取得し、該複数の画像を加算して加算画像を取得するに際し、前記加算画像を所望とする明るさとするのに必要な枚数の複数の画像のうち、１の基準画像と該基準画像以外の他の画像との対応点を検出し、
前記対応点に基づいて、前記基準画像とすべての前記他の画像との位置合わせを行い、
位置合わせ後の前記基準画像とすべての前記他の画像とを加算して前記加算画像を生成することを特徴とするものである。

本発明による第３の画像加算方法は、所定の露光時間の撮影により取得した複数の画像のうち、１の基準画像と該基準画像以外の他の画像との対応点を検出し、
前記対応点に基づいて、前記基準画像と前記他の画像との位置合わせを行い、
位置合わせ後の前記基準画像と前記他の画像のうちの加算対象となる１の加算対象画像とを加算して加算画像を生成し、
前記加算画像の明るさを所望の明るさに調整して明るさ調整済み画像を生成し、
前記複数の画像がすべて加算されるまで、前記加算画像を新たな基準画像としつつ順次前記加算対象画像を変更して前記新たな基準画像と前記加算対象画像との加算および前記明るさの調整を行って、加算数に応じた複数の明るさ調整済み画像を生成することを特徴とするものである。

本発明による第４の画像加算方法は、所定の露光時間の撮影により取得した複数の画像のうち、１の基準画像と該基準画像以外の他の画像との対応点を検出し、
前記対応点に基づいて、前記他の画像のうちの加算に必要な画像を決定し、
前記対応点に基づいて、前記基準画像と前記加算に必要な画像との位置合わせを行い、
前記位置合わせ後の前記基準画像と前記加算に必要な画像とを加算して加算画像を生成し、
前記加算画像の明るさを調整することを特徴とするものである。

なお、本発明による第１から第４の画像加算方法をコンピュータに実行させるためのプログラムとして提供してもよい。

本発明の第１の画像加算装置および方法によれば、複数の画像のうち、１の基準画像と基準画像以外の他の画像との対応点が検出され、対応点に基づいて基準画像と他の画像とが位置合わせされ、位置合わせ後の基準画像と他の画像のうちの加算対象となる１の加算対象画像とが加算され、加算画像が生成される。そして、加算画像の明るさが評価される。このため、加算画像の明るさを評価するに当たり、基準画像と加算対象画像との位置が合わせられるため、加算画像にボケが生じることを防止でき、その結果、高画質の加算画像を取得することができる。

また、所望の明るさを有する加算画像が取得されるまで、または複数の画像がすべて加算されるまで、加算画像を新たな基準画像としつつ順次加算対象画像を変更して、新たな基準画像と加算対象画像との加算および明るさの評価を行うことにより、所望の明るさを有するボケのない加算画像を取得することができる。

本発明の第２の画像加算装置および方法によれば、所定の露光時間の撮影により複数の画像を取得し、複数の画像を加算して加算画像を取得するに際し、加算画像を所望とする明るさとするのに必要な枚数の複数の画像のうち、１の基準画像と基準画像以外の他の画像との対応点が検出され、対応点に基づいて、基準画像とすべての他の画像とが位置合わせされ、位置合わせ後の基準画像とすべての他の画像とが加算されて加算画像が生成される。このため、撮影時に、所望の明るさを有する加算画像を取得するのに必要な画像の枚数を算出し、その枚数の画像を撮影により取得することにより、所望の明るさを有するボケのない加算画像を取得することができる。

ここで、複数の画像の撮影中に被写体が大きく移動したり手ぶれしてしまった場合に複数の画像を加算すると、加算画像がボケてしまう。このような場合、加算する画像の枚数に応じて画像のボケの程度が異なるものとなる。

本発明の第３の画像加算装置および方法によれば、複数の画像のうち、１の基準画像と基準画像以外の他の画像との対応点が検出され、対応点に基づいて基準画像と他の画像とが位置合わせされ、位置合わせ後の基準画像と他の画像のうちの加算対象となる１の加算対象画像とが加算され、加算画像が生成される。さらに、加算画像の明るさが所望の明るさに調整されて明るさ調整済み画像が生成される。そして、複数の画像がすべて加算されるまで、加算画像を新たな基準画像としつつ順次前記加算対象画像を変更して新たな基準画像と加算対象画像との加算および明るさの調整が行われて、加算数に応じた複数の明るさ調整済み画像が生成される。

ここで、複数の明るさ調整済み画像は略同一の明るさを有し、加算数に応じてボケの程度が異なるものとなる。このため、ユーザは複数の明るさ調整済み画像から所望とするボケの程度となる、すなわちボケが少ない明るさ調整済み画像を選択することにより、所望の明るさを有するよりボケの少ない加算画像を取得することができる。

この場合、複数の明るさ調整済み画像を表示することにより、所望とする画像の選択が容易となる。

本発明の第４の画像加算装置および方法によれば、複数の画像のうち、１の基準画像と基準画像以外の他の画像との対応点が検出され、対応点に基づいて、他の画像から加算に必要な画像が決定され、基準画像と加算に必要な画像とが位置合わせされ、位置合わせ後の基準画像と加算に必要な画像とが加算されて加算画像が生成される。そして、加算画像の明るさが調整される。このため、対応点が少なかったり、基準画像との対応点が大きくずれているような画像を加算の対象から除外することができ、これにより、よりボケが少ない加算画像を取得することができる。

以下、図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像加算装置を適用したデジタルカメラの構成を示す概略ブロック図である。図１に示すように第１の実施形態によるデジタルカメラ１は、動作モードスイッチ、ズームレバー、上下左右ボタン、レリーズボタンおよび電源スイッチ等の操作系２と、操作系２の操作内容をＣＰＵ４２に伝えるためのインターフェース部分である操作系制御部３とを有している。

撮像系６としては、撮影レンズ１０を構成するフォーカスレンズ１０ａおよびズームレンズ１０ｂを有している。各々のレンズは、モータとモータドライバとからなるフォーカスレンズ駆動部１１およびズームレンズ駆動部１２によって光軸方向に移動可能である。フォーカスレンズ駆動部１１はＡＦ処理部３０から出力されるフォーカス駆動量データに基づいて、ズームレンズ駆動部１２はズームレバーの操作量データに基づいて、各々のレンズの移動を制御する。

また、絞り１４は、モータとモータドライバとからなる絞り駆動部１５によって駆動される。この絞り駆動部１５は、ＡＥ／ＡＷＢ処理部３１から出力される絞り値データに基づいて絞り径の調整を行う。

シャッタ１６は、メカニカルシャッタであり、モータとモータドライバとからなるシャッタ駆動部１７によって駆動される。シャッタ駆動部１７は、レリーズボタンの押下により発生する信号と、ＡＥ／ＡＷＢ処理部３１から出力されるシャッタスピードデータとに応じて、シャッタ１６の開閉の制御を行う。

光学系の後方には撮像素子であるＣＣＤ１８を有している。ＣＣＤ１８は、多数の受光素子を２次元的に配列した光電面を有しており、光学系を通過した被写体光がこの光電面に結像し、光電変換される。光電面の前方には、各画素に光を集光するためのマイクロレンズアレイと、Ｒ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタアレイとが配置されている。ＣＣＤ１８は、ＣＣＤ制御部１９から供給される垂直転送クロックおよび水平転送クロックに同期して、画素毎に蓄積された電荷を１ラインずつシリアルなアナログ撮影信号として出力する。各画素において電荷を蓄積する時間、すなわち、露光時間は、ＣＣＤ制御部１９から与えられる電子シャッタ駆動信号によって決定される。また、ＣＣＤ１８はＣＣＤ制御部１９により、あらかじめ定められた大きさのアナログ撮像信号が得られるようにゲインが調整されている。

ＣＣＤ１８から取り込まれたアナログ撮影信号は、アナログ信号処理部２０に入力される。アナログ信号処理部２０は、アナログ信号のノイズを除去する相関２重サンプリング回路（ＣＤＳ）と、アナログ信号のゲインを調節するオートゲインコントローラ（ＡＧＣ）と、アナログ信号をデジタル信号に変換するＡ／Ｄコンバータ（ＡＤＣ）とからなる。なお、アナログ信号処理部２０が行う処理をアナログ信号処理とする。このデジタル信号に変換された画像データは、画素毎にＲ，Ｇ，Ｂの濃度値を持つＣＣＤ−ＲＡＷデータである。

タイミングジェネレータ２１は、タイミング信号を発生させるものであり、このタイミング信号をシャッタ駆動部１７、ＣＣＤ制御部１９、およびアナログ信号処理部２０に供給することにより、レリーズボタンの操作、シャッタ１６の開閉、ＣＣＤ１８の電荷の取込み、およびアナログ信号処理部２０の処理の同期をとっている。

フラッシュ制御部２３は、撮影時にフラッシュ２４を発光させる。

画像入力コントローラ２５は、アナログ信号処理部２０から入力されたＣＣＤ−ＲＡＷデータをフレームメモリ２６に書き込む。

フレームメモリ２６は、画像データに対して後述の各種画像処理（信号処理）を行う際に使用する作業用メモリであり、例えば、一定周期のバスクロック信号に同期してデータ転送を行うＳＤＲＡＭ(Synchronous Dynamic Random Access Memory)が使用される。

表示制御部２７は、フレームメモリ２６に格納された画像データをスルー画像としてモニタ２８に表示させたり、再生モード時に記録メディア３５に保存されている画像データをモニタ２８に表示させたりするためのものである。なお、スルー画像は、撮影モードが選択されている間、所定時間間隔でＣＣＤ１８により連続して撮影される。

ＡＦ処理部３０およびＡＥ／ＡＷＢ処理部３１は、プレ画像に基づいて撮影条件を決定する。このプレ画像とは、レリーズボタンが半押しされることによって発生する半押し信号を検出したＣＰＵ４２がＣＣＤ１８にプレ撮影を実行させた結果、フレームメモリ２６に格納された画像データにより表される画像である。

ＡＦ処理部３０は、プレ画像に基づいて焦点位置を検出し、フォーカス駆動量データを出力する（ＡＦ処理）。焦点位置の検出方式としては、例えば、所望とする被写体にピントが合った状態では画像のコントラストが高くなるという特徴を利用して合焦位置を検出するパッシブ方式が考えられる。

ＡＥ／ＡＷＢ処理部３１は、プレ画像に基づいて被写体輝度を測定し、測定した被写体輝度に基づいて、撮影した画像が所望とする明るさとなるように、ＩＳＯ感度、絞り値およびシャッタスピード等を決定し、ＩＳＯ感度データ、絞り値データおよびシャッタスピードデータを露出設定値として決定するとともに（ＡＥ処理）、撮影時のホワイトバランスを自動調整する（ＡＷＢ処理）。

画像処理部３２は、本画像の画像データに対して、階調補正、シャープネス補正、色補正等の画質補正処理、およびＣＣＤ−ＲＡＷデータを輝度信号であるＹデータと、青色色差信号であるＣｂデータおよび赤色色差信号であるＣｒデータとからなるＹＣデータに変換するＹＣ処理を行う。この本画像とは、レリーズボタンが全押しされることによって実行される本撮影によりＣＣＤ１８から取り込まれ、アナログ信号処理部２０、画像入力コントローラ２５経由でフレームメモリ２６に格納された画像データによる画像である。

圧縮／伸長処理部３３は、画像処理部３２によって補正・変換処理が行われた本画像の画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、画像ファイルを生成する。この画像ファイルには、Ｅｘｉｆフォーマット等に基づいて、撮影日時等の付帯情報が格納されたタグが付加される。

メディア制御部３４は、記録メディア３５にアクセスして画像ファイルの書き込みと読み込みの制御を行う。

内部メモリ３６は、デジタルカメラ１において設定される各種定数、およびＣＰＵ４２が実行するプログラム等を記憶する。

また、デジタルカメラ１は、画像枚数算出部３７、対応点検出部３８、位置合わせ部３９、加算部４０および明るさ評価部４１を備える。画像枚数算出部３７、対応点検出部３８、位置合わせ部３９、加算部４０および明るさ評価部４１が行う処理については後述する。

ＣＰＵ４２は、操作系２およびＡＦ処理部３０等の各種処理部からの信号に応じてデジタルカメラ１の本体各部を制御する。また、ＣＰＵ４２は、後述する加算処理を行う際に、画像枚数算出部３７、対応点検出部３８、位置合わせ部３９、加算部４０および明るさ評価部４１の動作を制御する。また、ＣＰＵ４２は、本撮影の際に、ＡＥ／ＡＷＢ処理部３１が決定したシャッタスピードにより表される露光時間を分割して、一定時間間隔で複数回の撮影を行うよう撮影系６を制御する。この一定時間ｔ０はあらかじめ定められており、例えばデジタルカメラ１が撮影する動画像のフレームレートが３０フレーム／秒であるとすると、ｔ０＝３０ｍｓとされる。なお、ＣＰＵ４２が撮影制御手段および制御手段を構成する。

データバス４３は、各種処理部、フレームメモリ２６およびＣＰＵ４２等に接続されており、デジタル画像データおよび各種指示等のやり取りを行う。

次いで、第１の実施形態における加算処理について説明する。図２は第１の実施形態における加算処理のフローチャートである。デジタルカメラ１が撮影モードにある状態において、プレ撮影が行われることによりＣＰＵ４２が処理を開始し、画像枚数算出部３７が、加算処理に必要な画像の枚数（必要画像枚数）Ｎを算出する（ステップＳＴ１）。なお、画像枚数算出部３７は、ＡＥ／ＡＷＢ処理部３１が決定したシャッタスピードにより表される露光時間と、１回の撮影当たりの露光時間とから必要画像枚数Ｎを算出する。例えばＡＥ／ＡＷＢ処理部３１が決定したシャッタスピードにより表される露光時間が１／１０秒であり、一回の撮影当たりの露光時間が１／１００秒であったとすると、必要画像枚数Ｎは１０枚となる。

次いで、ＣＰＵ４２の指示により撮影系６が撮影を行う（ステップＳＴ２）。撮影により取得された画像データは画像処理部３２等において必要な処理が施された後にフレームメモリに記憶される（ステップＳＴ３）。そして、ＣＰＵ４２はフレームメモリに記憶された画像数が必要画像枚数Ｎとなったか否かを判定し（ステップＳＴ４）、ステップＳＴ４が否定されるとステップＳＴ２に戻る。これにより、３０ｍｓ毎にＮ回の撮影を行ってＮ枚の画像が取得される。

ステップＳＴ４が肯定されると、対応点検出部３８が、Ｎ枚の画像のうちの１つの画像を基準画像Ｂ０とし、基準画像Ｂ０と基準画像Ｂ０以外のＮ−１枚の画像Ｓｉ（ｉ＝Ｎ−１）との対応点を検出する（ステップＳＴ５）。具体的には、基準画像Ｂ０および画像Ｓｉ上のエッジや画像に含まれる構造物の角の部分等の特徴点を抽出し、抽出した特徴点のうち、基準画像Ｂ０および画像Ｓｉ間で対応する点を対応点として検出する。なお、対応点の検出は、ＫＬＴ法、および基準画像Ｂ０における特徴点の周囲の領域をテンプレートとしたテンプレートマッチング等、公知の種々の方法を用いることができる。また、基準画像Ｂ０としては、例えば最初の撮影により取得した画像を用いればよいが、これに限定されるものではない。

次いで、位置合わせ部３９が、基準画像Ｂ０と画像Ｓｉとの位置合わせを行う（ステップＳＴ６）。すなわち、各画像Ｓｉの対応点が基準画像Ｂ０の対応点と一致するように各画像Ｓｉをワーピングすることにより位置合わせを行う。具体的には、各対応点について、各画像Ｓｉと基準画像Ｂ０との間での対応点を一致させるために必要なシフト量を算出し、そのシフト量に基づいて、下記の式（１）から（４）の２次元５次多項式により各画像Ｓｉの画素毎の基準画像Ｂ０へのシフト量を算出し、各画像Ｓｉを画素毎に基準画像Ｂ０へワーピングする。

ここで、ｘ，ｙは各画像Ｓｉ中の各対応点の座標、ｘ′，ｙ′は基準画像Ｂ０上の座標、Δｘ，Δｙは基準画像Ｂ０へのシフト量、ｎは次数、ａij，ｂijは係数である。なお、多項式近似の係数は最小自乗法を用いて求める。このとき、ワーピング後の座標が整数ではなく小数点以下を含む位置に移動する画素については、４近傍から１次近似で画素値を求める。つまり、ワーピング後の座標を囲む４つの画素に対して、ワーピング後の座標から各画素の座標までの距離に比例して画素値をそれぞれ分配するようにする。

なお、位置合わせの手法としては、ワーピングに限定されるものではなく、アフィン変換等、任意の手法を用いることができる。

次いで、加算部４０が、位置合わせ後の画像Ｓｉのうち、加算対象の画像Ｓｏｉを最初の画像に設定し（ｎ＝１：ステップＳＴ７）、位置合わせ後の基準画像Ｂ０と加算対象画像Ｓｏｉとの相対応する画素同士を加算して加算画像Ｓａｉを生成する（ステップＳＴ８）。さらに、明るさ評価部４１が、加算画像Ｓａ１の明るさの評価値を算出する（ステップＳＴ９）。なお、明るさの評価値としては、加算画像Ｓａｉの全画素の画素値の平均値、または画素値の最大値等を用いればよい。

次いで、ＣＰＵ４２が、すべての画像Ｓｉの加算を行ったか否かを判定し（ステップＳＴ１０）、ステップＳＴ１０が肯定されると、加算画像Ｓａｉを記録メディア３５に記録し（ステップＳＴ１１）、処理を終了する。なお、この際、圧縮／伸長処理部３３が加算画像Ｓａｉを圧縮して記録メディア３５に記録する。

ステップＳＴ１０が否定されると、明るさの評価値が所定のしきい値Ｔｈ１未満であるか否かを判定する（ステップＳＴ１２）。なお、しきい値Ｔｈ１としては、ＡＥ／ＡＷＢ処理部３１が決定した露出設定値に基づいて、加算画像Ｓａｉが所望とする明るさとなるように設定すればよい。ステップＳＴ１２が肯定されると、加算対象画像Ｓｏｉを次の画像に設定するとともに（ｎ＝ｎ＋１）、加算画像Ｓａｉを新たな基準画像Ｂ０に設定し（ステップＳＴ１３）、ステップＳＴ８に戻ってステップＳＴ８以降の処理を繰り返す。ステップＳＴ１２が否定されるとステップＳＴ１１に進み、加算画像Ｓａｉを記録メディア３５に記録し、処理を終了する。

このように第１の実施形態においては、１の基準画像Ｂ０と基準画像以外の他の画像Ｓｉとの対応点を検出し、対応点に応じて基準画像Ｂ０と他の画像Ｓｉとの位置合わせを行い、位置合わせ後の基準画像Ｂ０と他の画像Ｓｉのうちの加算対象となる１の加算対象画像Ｓｏｉとを加算し、加算画像Ｓａｉの明るさを評価するようにしたものである。このため、加算画像の明るさを評価するに当たり、基準画像Ｂ０と加算対象画像Ｓｏｉとが位置合わせされることとなり、その結果、加算画像Ｓａｉにボケが生じることを防止できる。したがって、高画質の加算画像Ｓａｉを取得することができる。

また、明るさの評価値がしきい値Ｔｈ１以上となる加算画像Ｓａｉが取得されるまで、または複数の画像Ｓｉがすべて加算されるまで、加算画像Ｓａｉを新たな基準画像Ｂ０としつつ順次加算対象画像Ｓｏｉを変更して、新たな基準画像Ｂ０と加算対象画像Ｓｏｉとの加算および明るさの評価を行うことにより、所望とする明るさを有するボケのない加算画像を取得することができる。

なお、上記第１の実施形態においては、画像枚数算出部３７が必要画像枚数Ｎを算出しているが、撮影する枚数をあらかじめ設定しておき、設定された枚数の画像を撮影により取得するようにしてもよい。この場合、画像枚数算出部３７は不要となる。

次いで、本発明の第２の実施形態について説明する。なお、第２の実施形態による画像加算装置を適用したデジタルカメラは、第１の実施形態による画像加算装置を適用したデジタルカメラ１と同一の構成を有し、行われる処理のみが異なるため、ここでは構成についての詳細な説明は省略する。

図３は本発明の第２の実施形態における加算処理のフローチャートである。なお、第２の実施形態において、ステップＳＴ２１〜ステップＳＴ２８までの処理は、第１の実施形態におけるステップＳＴ１〜ステップＳＴ８までの処理と同一であるため、ここでは詳細な説明は省略する。

ステップＳＴ２８に続いて、ＣＰＵ４２が、すべての画像Ｓｉの加算を行ったか否かを判定し（ステップＳＴ２９）、ステップＳＴ２９が否定されると、加算対象画像Ｓｏｉを次の画像に設定するとともに（ｎ＝ｎ＋１）、加算画像Ｓａｉを新たな基準画像Ｂ０に設定し（ステップＳＴ３０）、ステップＳＴ２８に戻ってステップＳＴ２８以降の処理を繰り返す。ステップＳＴ２９が肯定されると、加算画像Ｓａｉを記録メディア３５に記録し（ステップＳＴ３０）、処理を終了する。

このように、第２の実施形態においては、周囲の明るさに基づいて算出された、加算画像を所望とする明るさとするのに必要な画像の枚数Ｎを算出し、Ｎ数の画像のうち、１の基準画像Ｂ０と基準画像以外の他の画像Ｓｉとの対応点を検出し、対応点に応じて基準画像Ｂ０と他の画像Ｓｉとの位置合わせを行い、位置合わせ後の基準画像Ｂ０とすべての他の画像Ｓｉとを加算するようにしたものである。このため、所望とする明るさを有するボケのない高画質の加算画像を取得することができる。

次いで、本発明の第３の実施形態について説明する。図４は本発明の第３の実施形態による画像加算装置を適用したデジタルカメラの構成を示す概略ブロック図である。なお、第３の実施形態において第１の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第３の実施形態によるデジタルカメラ１Ａは、明るさ評価部４１に代えて、明るさ調整部４４を備えた点が第１の実施形態と異なる。

次いで、第３の実施形態における加算処理について説明する。図５は第１の実施形態おける加算処理のフローチャートである。なお、第３の実施形態において、ステップＳＴ４１〜ステップＳＴ４８までの処理は、第１の実施形態におけるステップＳＴ１〜ステップＳＴ８までの処理と同一であるため、ここでは詳細な説明は省略する。

ステップＳＴ４８に続いて、加算画像Ｓａｉをフレームメモリ２６に記憶する（ステップＳＴ４９）。そして、ＣＰＵ４２が、すべての画像Ｓｉの加算を行ったか否かを判定し（ステップＳＴ５０）、ステップＳＴ５０が否定されると、加算対象画像Ｓｏｉを次の画像に設定するとともに（ｎ＝ｎ＋１）、加算画像Ｓａｉを新たな基準画像Ｂ０に設定し（ステップＳＴ５１）、ステップＳＴ４８に戻ってステップＳＴ４８以降の処理を繰り返す。

ステップＳＴ５０が肯定されると、明るさ調整部４４がフレームメモリ２６に記憶されたすべての加算画像Ｓａｉの明るさを調整する（ステップＳＴ５２）。ここで、本実施形態においては、Ｎ枚の画像が撮影により取得されているため、Ｎ−１枚の加算画像Ｓａｉが生成される。また、所望とする明るさを有する画像が取得されるように必要画像枚数Ｎを算出しているため、すべての画像Ｓｉを加算することにより生成した加算画像ＳａＮ−１は所望とする明るさとなっている。その一方で他の加算画像Ｓａｉは、加算する画像の枚数が少ないほど画像は暗くなっている。このため、明るさ調整部４４は、すべての加算画像Ｓａｉの明るさが所望とする明るさとなるように各加算画像Ｓａｉの明るさを調整する。したがって、加算枚数が少ない加算画像Ｓａｉほど、大きく明るさが調整される。

なお、明るさの調整の手法としては、ゲインを上げる手法および階調を補正する手法が考えられるが、いずれの手法を用いてもよい。また、いずれの手法を用いるかをデジタルカメラ１Ａに対してユーザが設定できるようにしてもよい。

そして、明るさ調整済みのすべての加算画像Ｓａｉをモニタ２８に表示する（ステップＳＴ５３）。図６はモニタに表示された明るさ調整済みの加算画像を示す図である。ここで、必要画像枚数Ｎの画像の撮影中に被写体が大きく移動したり手ぶれしてしまった場合に複数の画像を加算すると、加算画像がボケてしまう。このような場合、加算する画像の枚数に応じて画像のボケの程度が異なるものとなる。例えば、図７に示すように必要画像枚数Ｎが５枚である場合において、３枚目の画像Ｓ３と４枚目の画像Ｓ４との間において被写体が移動してしまったとすると、すべての画像Ｓ１〜Ｓ５を加算した場合、移動している腕の部分において画像がボケてしまう。

第３の実施形態においては、加算画像Ｓａｉの明るさを所望の明るさとなるように調整し、加算枚数に応じた複数の明るさ調整済み画像を生成するようにしたものである。このため、画像Ｓ１〜Ｓ３を加算することにより生成した加算画像はボケがなくしかも所望の明るさを有するものとなっている。一方、画像Ｓ１〜Ｓ４または画像Ｓ１〜Ｓ５を加算することにより生成した加算画像は所望とする明るさを有するが腕の部分がボケたものとなっている。

ＣＰＵ４２はユーザによる画像の選択がなされたか否かを判定し（ステップＳＴ５４）、ステップＳＴ５４が否定されるとステップＳＴ５３に戻る。ステップＳＴ５４が肯定されると、選択された加算画像Ｓａｉを記録メディア３５に記録し（ステップＳＴ５５）、処理を終了する。

これにより、ユーザは、モニタ２８に表示された複数の明るさ調整済み画像から所望とするボケの程度となる、すなわちボケが少ない明るさ調整済み画像を選択することができ、その結果、所望とする明るさを有するよりボケの少ない加算画像を取得することができる。

なお、上記第３の実施形態においては、複数の明るさ調整済み加算画像をモニタ２８に表示し、ユーザにより選択された加算画像を記録メディア３５に記録しているが、すべての加算画像を記録メディア３５に記録し、後でユーザに所望とする加算画像を選択させるようにしてもよい。

また、上記第３の実施形態においては、画像枚数算出部３７が必要画像枚数Ｎを算出しているが、撮影する枚数をあらかじめ設定しておき、設定された枚数の画像を撮影により取得するようにしてもよい。この場合、画像枚数算出部３７は不要となる。

次いで、本発明の第４の実施形態について説明する。図８は本発明の第４の実施形態による画像加算装置を適用したデジタルカメラの構成を示す概略ブロック図である。なお、第４の実施形態において第３の実施形態と同一の構成については同一の参照番号を付与し、ここでは詳細な説明は省略する。第４の実施形態によるデジタルカメラ１Ｂは、加算に必要な画像を決定する画像決定部４５を備えた点が第３の実施形態と異なる。

次いで、第４の実施形態における加算処理について説明する。図９は第４の実施形態おける加算処理のフローチャートである。なお、第４の実施形態において、ステップＳＴ６１〜ステップＳＴ６５までの処理は、第３の実施形態におけるステップＳＴ４１〜ステップＳＴ４５までの処理と同一であるため、ここでは詳細な説明は省略する。

ステップＳＴ６５に続いて、画像決定部４５が複数の画像Ｓｉのうち加算に必要な画像を決定する（ステップＳＴ６６）。

図１０は加算に必要な画像の決定処理のフローチャートである。まず、画像決定部４５が、画像Ｓｉのうち処理対象の画像を最初の画像に設定し（ｎ＝１：ステップＳＴ８１）、対応点の数がしきい値Ｔｈ２未満であるか否かを判定する（ステップＳＴ８２）。ステップＳＴ８２が肯定されると、処理対象の画像は対応点の数が少なく、位置合わせが困難なため画像の加算には向かないことから、その画像を加算の対象から除外し（ステップＳＴ８３）、ステップＳＴ８６へ進む。

ステップＳＴ８２が否定されると、基準画像Ｂ０と処理対象の画像とを重ね合わせた状態におけるすべての対応点間の距離がしきい値Ｔｈ３未満であるか否かを判定する（ステップＳＴ８４）。ステップＳＴ８４が否定されると、処理対象の画像の対応点を基準画像Ｂ０の対応点と一致させるためには、画像を大きく変形させる必要があるため、画像の加算には向かないことから、ステップＳＴ８３に進んでその画像を加算の対象から除外する。

ステップＳＴ８４が肯定されると、処理対象の画像を加算に必要な画像に決定し（ステップＳＴ８５）、さらに、すべての画像Ｓｉについて加算に必要か否かを判定したかを判定する（ステップＳＴ８６）。ステップＳＴ８６が否定されると、処理の対象を次の画像に設定し（ｎ＝ｎ＋１：ステップＳＴ８７）、ステップＳＴ８２に戻ってステップＳＴ８２以降の処理を繰り返す。ステップＳＴ８６が肯定されると、加算に必要な画像決定の処理を終了する。

図９に戻り、ステップＳＴ６６に続いて、位置合わせ部３９が、基準画像Ｂ０と画像Ｓｉとの位置合わせを行い（ステップＳＴ６７）、加算部４０が、位置合わせ後の画像Ｓｉのうち加算対象の画像Ｓｏｉを最初の画像に設定し（ｎ＝１：ステップＳＴ６８）、位置合わせ後の基準画像Ｂ０と加算対象画像Ｓｏｉとの相対応する画素同士を加算して加算画像Ｓａｉを生成する（ステップＳＴ６９）。

そして、ＣＰＵ４２が、加算に必要であると決定されたすべての画像Ｓｉの加算を行ったか否かを判定し（ステップＳＴ７０）、ステップＳＴ７０が否定されると、加算対象画像Ｓｏｉを次の画像に設定するとともに（ｎ＝ｎ＋１）、加算画像Ｓａｉを新たな基準画像Ｂ０に設定し（ステップＳＴ７１）、ステップＳＴ６９に戻ってステップＳＴ６９以降の処理を繰り返す。

ステップＳＴ７０が肯定されると、明るさ調整部が加算画像Ｓａｉの明るさを調整し（ステップＳＴ７２）、明るさ調整済みの加算画像Ｓａｉを記録メディア３５に記録し（ステップＳＴ７３）、処理を終了する。なお、第４の実施形態における明るさの調整は、加算の対象から除外した画像の分、加算画像の明るさが低減するために、加算画像の明るさを所望とする明るさとするために行うものである。

このように、第４の実施形態においては、対応点に基づいて、複数の画像Ｓｉから加算に必要な画像を決定し、加算に必要な画像のみを用いて加算画像を生成するようにしたため、基準画像との対応点が大きくずれているような画像を加算の対象から除外することができ、これにより、よりボケが少ない加算画像を取得することができる。また、加算画像の明るさを調整しているため、所望の明るさを有する加算画像を生成できる。

なお、上記第４の実施形態において、加算画像の明るさを調整する処理は、第３の実施形態と同様に、ゲインを上げる手法および階調を補正する手法が考えられるが、いずれの手法を用いてもよい。また、いずれの手法を用いるかをデジタルカメラ１Ｂに対してユーザが設定できるようにしてもよい。

また、上記第４の実施形態においては、画像枚数算出部３７が必要画像枚数Ｎを算出しているが、撮影する枚数をあらかじめ設定しておき、設定された枚数の画像を撮影により取得するようにしてもよい。この場合、画像枚数算出部３７は不要となる。

また、上記第１から第４の実施形態においては、プレ画像の明るさに基づいて必要画像枚数Ｎを算出しているが、スルー画像の明るさに基づいて必要画像枚数Ｎを算出してもよい。この場合、ステップＳＴ２等の撮影の処理においてはプレ撮影に続いて本撮影が行われることとなる。

以上、本発明の実施形態に係るデジタルカメラについて説明したが、コンピュータを、上記の画像枚数算出部３７、対応点検出部３８、位置合わせ部３９、加算部４０、明るさ評価部４１、明るさ調整部４４および画像決定部４５に対応する手段として機能させ、図２，３，５，９，１０に示すような処理を行わせるプログラムも、本発明の実施形態の１つである。また、そのようなプログラムを記録したコンピュータ読取り可能な記録媒体も、本発明の実施形態の１つである。

本発明の第１の実施形態による画像加算装置を適用したデジタルカメラの構成を示す概略ブロック図 第１の実施形態における画像加算処理のフローチャート 第２の実施形態における画像加算処理のフローチャート 本発明の第３の実施形態による画像加算装置を適用したデジタルカメラの構成を示す概略ブロック図 第３の実施形態における画像加算処理のフローチャート 明るさ調整済み画像をモニタに表示した状態を示す図 画像の加算を説明するための図 本発明の第４の実施形態による画像加算装置を適用したデジタルカメラの構成を示す概略ブロック図 第４の実施形態における画像加算処理のフローチャート 第４の実施形態における加算に必要な画像の決定の処理のフローチャート

符号の説明

１，１Ａ，１Ｂ デジタルカメラ
３７ 画像枚数算出部
３８ 対応点検出部
３９ 位置合わせ部
４０ 加算部
４１ 明るさ評価部
４２ ＣＰＵ
４４ 明るさ調整部
４５ 画像決定部

Claims (4)

1. 所定の露光時間の撮影により取得した複数の画像のうち、１の基準画像と該基準画像以外の他の画像との対応点を検出する対応点検出手段と、
   前記対応点に基づいて、前記他の画像のうち加算に必要な画像を決定する画像決定手段と、
   前記対応点に基づいて、前記基準画像と前記加算に必要な画像との位置合わせを行う位置合わせ手段と、
   前記位置合わせ後の前記基準画像と前記加算に必要な画像とを加算して加算画像を生成する加算手段と、
   前記加算画像の明るさを調整する明るさ調整手段とを備えたことを特徴とする画像加算装置。
2. 前記画像決定手段は、前記他の画像のうち、前記対応点の数が第１のしきい値以上であり、かつ前記基準画像と重ね合わせた場合における前記対応点間の距離が第２のしきい値未満である画像を、前記加算に必要な画像に決定する手段であることを特徴とする請求項１記載の画像加算装置。
3. 所定の露光時間の撮影により取得した複数の画像のうち、１の基準画像と該基準画像以外の他の画像との対応点を検出し、
   前記対応点に基づいて、前記他の画像のうち加算に必要な画像を決定し、
   前記対応点に基づいて、前記基準画像と前記加算に必要な画像との位置合わせを行い、
   前記位置合わせ後の前記基準画像と前記加算に必要な画像とを加算して加算画像を生成し、
   前記加算画像の明るさを調整することを特徴とする画像加算方法。
4. 所定の露光時間の撮影により取得した複数の画像のうち、１の基準画像と該基準画像以外の他の画像との対応点を検出する手順と、
   前記対応点に基づいて、前記他の画像のうちの加算に必要な画像を決定する手順と、
   前記対応点に基づいて、前記基準画像と前記加算に必要な画像との位置合わせを行う手順と、
   前記位置合わせ後の前記基準画像と前記加算に必要な画像とを加算して加算画像を生成する手順と、
   前記加算画像の明るさを調整する手順とを有する画像加算方法をコンピュータに実行させることを特徴とするプログラム。

Images