JP5663989B2 - 撮像装置、および画像合成プログラム - Google Patents

Description

本発明は、撮像装置、および画像合成プログラムに関する。

本撮像を複数回の連続した露光に分けて行い、各回ごとに得られた画像信号を合成して１つの露光画像を得る技術が知られている（例えば、特許文献１）。

特開２００１−８６３９８号公報

しかしながら、従来の技術では、連続して撮像された画像間での位置ズレ量が大き過ぎる場合には、画像間で位置合わせすることができず、画像を合成できない。このため、位置合わせをすることができない画像を合成の対象から除外し、除外した画像の代わりに他の画像を用いることも考えられるが、この場合、除外した画像が複数ある場合には、同じ画像が複数合成に用いられた結果、合成された画像において、特定の画像のゲインアップ成分が大きくなり過ぎてしまうという問題があった。

本発明による撮像装置は、被写体像を撮像して画像を取得する撮像手段と、撮像手段によって連続して撮像された複数の画像の中から、１つの画像を基準画像として選択する選択手段と、選択手段によって選択された基準画像と、撮像手段によって連続して撮像された複数の画像のうちの基準画像以外の複数の画像のそれぞれとの位置ズレ量を算出する算出手段と、算出手段によって算出された位置ズレ量が所定のズレ量以下の対象画像を、位置合わせをしてから合成して合成画像を生成する生成手段と、撮像手段によって連続して撮像された複数の画像の枚数と、生成手段によって合成に用いられた対象画像の枚数とに基づいて、合成画像の露出と、複数の画像の全てを合成して得られる画像の露出とを一致させるために、合成画像を対象画像の枚数に応じた回数だけ、それぞれ異なる方向へ所定量ずらして加算合成する処理実行手段と、を備える。
本発明による画像合成プログラムは、被写体像を撮像して画像を取得する撮像手順と、撮像手順で連続して撮像した複数の画像の中から、１つの画像を基準画像として選択する選択手順と、選択手順で選択した基準画像と、撮像手順で連続して撮像した複数の画像のうちの基準画像以外の複数の画像のそれぞれとの位置ズレ量を算出する算出手順と、算出手順で算出した位置ズレ量が所定のズレ量以下の対象画像を、位置合わせをしてから合成して合成画像を生成する生成手順と、撮像手順によって連続して撮像された複数の画像の枚数と、生成手順によって合成に用いられた対象画像の枚数とに基づいて、合成画像の露出と、複数の画像の全てを合成して得られる画像の露出とを一致させるために、合成画像を対象画像の枚数に応じた回数だけ、それぞれ異なる方向へ所定量ずらして加算合成する処理実行手順と、をコンピュータに実行させる。

本発明によれば、特定の画像のゲインアップ成分が大きくなり過ぎることを防ぐことができる。

カメラの一実施の形態の構成を示すブロック図である。 ６回に分けて連写撮影した場合を例示する図である。 手持ち夜景撮影モード時の画像合成処理の流れを示すフローチャート図である。 コンピュータ装置を例示する図である。

図１は、第１の実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。図１において、カメラ１は、撮影光学系１１と、撮像素子１２と、画像処理部１３と、バッファメモリ１４と、表示部材１５と、ＣＰＵ１６と、フラッシュメモリ１７と、カードインターフェース（Ｉ／Ｆ）１８と、操作部材１９とを備える。

ＣＰＵ１６、フラッシュメモリ１７、カードインターフェース１８、画像処理部１３、バッファメモリ１４および表示部材１５は、それぞれがバス２０を介して接続されている。

撮影光学系１１は、ズームレンズやフォーカシングレンズを含む複数のレンズ群で構成され、被写体像を撮像素子１２の受光面に結像させる。なお、図１を簡単にするため、撮影光学系１１を単レンズとして図示している。

撮像素子１２は、受光素子が受光面に二次元配列されたＣＭＯＳイメージセンサなどによって構成される。撮像素子１２は、撮影光学系１１を通過した光束による像を光電変換し、デジタル画像信号を生成する。デジタル画像信号は、画像処理部１３に入力される。

画像処理部１３は、デジタル画像データに対して各種の画像処理（色補間処理、階調変換処理、輪郭強調処理、ホワイトバランス調整処理など）を施す。また、後述する手持ち夜景撮影モードにおける合成処理（位置合わせ、加算）も行う。

表示部材１５は液晶パネルなどによって構成され、ＣＰＵ１６からの指示に応じて画像や操作メニュー画面などを表示する。バッファメモリ１４は、画像処理部１３による画像処理の前工程や後工程でのデジタル画像データを一時的に記憶する。フラッシュメモリ１７は、ＣＰＵ１６に実行させるプログラムを記憶する他に、後述するテーブルデータを記憶する。

ＣＰＵ１６は、フラッシュメモリ１７が記憶するプログラムを実行することにより、カメラ１が行う動作を制御する。ＣＰＵ１６は、ＡＦ（オートフォーカス）動作制御や、自動露出（ＡＥ）演算も行う。ＡＦ動作は、たとえば、スルー画像のコントラスト情報に基づいてフォーカシングレンズ（不図示）の合焦位置を求めるコントラスト検出方式を用いる。スルー画像は、レリーズ操作前に撮像素子１２によって所定の時間間隔（たとえば６０コマ／毎秒）で繰り返し取得されるモニタ用画像のことをいう。

メモリカードインターフェース１８はコネクタ（不図示）を有し、該コネクタにメモリカードなどの記憶媒体３０が接続される。メモリカードインターフェース１８は、接続された記憶媒体３０に対するデータの書き込みや、記憶媒体３０からのデータの読み込みを行う。記憶媒体３０は、半導体メモリを内蔵したメモリカード、またはハードディスクドライブなどで構成される。

操作部材１９は、レリーズボタンやメニュースイッチなどを含む。操作部材１９は、撮影操作、モード切替え操作やメニュー選択操作など、各操作に応じた操作信号をＣＰＵ１６へ送出する。

本実施形態のカメラ１は、手持ち夜景撮影モードという撮影モードを有する。この撮影モードは、カメラ１を三脚に固定することなく、手持ちした状態で手軽に夜景撮影を行うモードである。本実施形態は、手持ち夜景撮影モード時の撮影制御に特徴を有するので、手持ち夜景撮影モード時の処理を中心に以降の説明を行う。

一般に、夜景撮影は被写体が暗いため、長秒時の露光時間が必要である。一方、手持ち撮影する場合は、いわゆる手ブレ限界とよばれる露光時間Ｔｌｉｍｉｔより長い露光時間では撮影画像にブレが生じるおそれがある。露光時間Ｔｌｉｍｉｔは、たとえば、撮影光学系１１の焦点距離をｆ(ｍｍ)とする場合に、１／ｆ(秒)といわれている（３５ｍｍ版カメラシステムに換算時）。

通常の夜景撮影では露光時間Ｔｌｉｍｉｔより長い露光時間を必要とするので、手ブレが生じないように手持ち撮影することは困難である。そこで、手持ち夜景撮影モードでは、本撮影を複数回（Ｎ回とする）の連続した露光に分けて行ない（連写撮影）、各回の撮影で得られたＮ枚分の画像信号を公知のデジタル演算技術により加算して１つの長秒時露光画像とする。なお、手持ち夜景撮影モード時の連写による撮影回数Ｎは、あらかじめ設定された固定回数でもよいし、使用者が任意に変更可能であってもよいし、ＣＰＵ１６が撮影条件に応じて変更するようにしてもよい。

ＣＰＵ１６は、各回の撮影における露光時間Ｔｄｉｖを、上記露光時間Ｔｌｉｍｉｔより短く、かつ連写回数Ｎを最少とするように必要な露光時間Ｔを等分することにより決定する。ここで、露光時間Ｔは、自動露出演算（ＡＥ）によって適正露出が得られるように決定される露光時間である。ＣＰＵ１６は、たとえば、上記スルー画像を構成する画像信号値に基づいて自動露出演算（ＡＥ）を行い、該スルー画像の平均的な明るさに基づいて露光時間Ｔを決定する。そして、Ｔ＝Ｎ×Ｔｄｉｖが成立し、各回の露光時間ＴｄｉｖがＴｌｉｍｉｔより短く、かつ連写回数Ｎを最小にする露光時間Ｔｄｉｖを求める。

ＣＰＵ１６は、Ｎ回に分けて連写撮影したＮ枚の画像について、それぞれ位置合わせをした上で加算する。例えば、各画像において所定の領域（共通の被写体を含む領域）に含まれる画像信号（約６０画素分）に基づいてエッジ検出を行い、該エッジを構成する画素位置を揃えるように位置合わせを行う。

ところが、Ｎ回に分けて連写撮影したＮ枚の画像のうち、前後の画像に比べてブレが大きい特異な画像が撮影される場合がある。この場合のＣＰＵ１６は、当該特異な画像に代えて、Ｎ枚の画像のうち特異でない他の画像の複製を加算に用いる。例えば、ＣＰＵ１６は、Ｎ枚の画像のうちのいずれか１枚を基準画像とし、該基準画像と他の画像との位置ズレ量が所定のズレ量よりも大きい画像を特異な画像として特定する。例えば、ＣＰＵ１６は、連写によって得られたＮ枚の画像の中から、最初に撮影された画像や、中ほどで撮影された画像等のいずれか１枚を基準画像として選択する。そして、ＣＰＵ１６は、特定した特異な画像を加算対象から除外し、該特異な画像の代わりに他の画像のいずれかを複製した画像を用いて、それらを位置合わせして加算する。

図２は、Ｎ＝６回に分けて連写撮影した場合を例示する図である。図２において、４枚目の画像に大きなブレが生じたと仮定する。ＣＰＵ１６は、Ｎ＝６枚の画像のうち特異でない１〜３枚目および５，６枚目の画像の中から、たとえば１枚目の画像を複製し、該１枚目の画像で４枚目の特異な画像を代替する。これにより、複製された１枚目の画像は、他のコマの画像に比べて数多く（本例では２回）加算されることになる。

一般に、カメラ１による撮影画像には、アナログノイズとよばれるランダムノイズが含まれている。ランダムノイズであることから時々刻々と変化するため、連写撮影された各コマの画像には、それぞれ異なる時刻で発生した異なる状態のノイズが含まれる。一般に、互いに異なるコマの画像を加算する場合、各コマに含まれるランダムノイズは他のコマのランダムノイズによって相殺されるので、ランダムノイズの影響は低減する。

しかしながら、上述したようにブレ画像を他のコマの複製画像で代替する場合、複製に用いられたコマの画像は他のコマに比べて加算回数が多くなることから、複製に用いられたコマに含まれるランダムノイズは他のコマのランダムノイズによって相殺されにくくなる。すなわち、加算後の画像において、複製に用いられた画像、例えば１枚目の画像に含まれるランダムノイズが目立ちやすくなるおそれが生じる。

本実施の形態では、このようなランダムノイズの影響を低減するための方法として、特異な画像を除いた画像を用いて、上述した基準画像を位置合わせの基準として用いて位置合わせを行って加算（加算合成）した後、該加算後の画像に対して、ランダムノイズを低減させるために露出補正のための処理を行う。ランダムノイズを低減させるための露出補正処理として、以下の（Ａ）、（Ｂ）の方法を用いる。

（Ａ）デジタルゲインをかける
本実施の形態では、ランダムノイズを低減させるための第１の方法として、加算後の合成画像に対して、加算した画像の枚数に応じたデジタルゲインをかけるという方法をとる。すなわち、ＣＰＵ１６は、特異な画像を除いた画像を加算合成して得た合成画像に対して、該合成画像の露出が特異な画像を除かないで加算合成した場合の画像の露出と一致するように、デジタルゲインをかける。例えば、連写で６枚撮影をし、そのうちの２枚目、３枚目、４枚目、６枚目の４枚が特異な画像であり、１枚目と５枚目のみが合成加算可能な画像の場合には、１枚目と５枚目とを加算合成した後、合成画像に対して３倍のデジタルゲインをかける。このように処理することにより、同じ画像、例えば基準画像が複数回加算されることがないため、加算後の画像のランダムノイズ量を減少させることができる。

（Ｂ）Ｐｉｘｅｌシフト合成
本実施の形態では、ランダムノイズを低減させるための第２の方法として、加算後の合成画像を、加算した画像の枚数に応じた数だけ複製し、複製した合成画像同士を、合成画像を構成する画素並び方向において上下左右のいずれかの方向に１ピクセル分ずつずらして加算する。本実施の形態では、このように複数の合成画像を１ピクセル分ずつずらして加算合成することをＰｉｘｅｌシフト合成と呼ぶ。例えば、写で６枚撮影をし、そのうちの２枚目、３枚目、４枚目、６枚目の４枚が特異な画像であり、１枚目と５枚目のみが合成加算可能な画像の場合には、１枚目と５枚目とを加算合成して得た合成画像を複製して３枚用意し、１枚目の合成画像と２枚目の合成画像とを上下左右のいずれかの方向に１ピクセル分ずらしてＰｉｘｅｌシフト合成し、Ｐｉｘｅｌシフト合成によって得られた合成画像と３枚目の合成画像とを上下左右のいずれかの方向に１ピクセル分ずらしてＰｉｘｅｌシフト合成する。このとき、１回目のＰｉｘｅｌシフト合成と２回目のＰｉｘｅｌシフト合成では、１ピクセルずらす方向を変えるようにする。このように処理することにより、同じ画像が複数回加算されることがないため、加算後の画像のランダムノイズ量を減少させることができる。

ここで、上記第１の方法により合成画像に対してデジタルゲインをかける場合には、合成画像に対してかけるデジタルゲインの量が大きくなると、デジタルゲインをかけたことによって生じるノイズが大きくなってしまう。このため、ＣＰＵ１６は、合成画像に対してかけるデジタルゲインの必要ゲイン量が所定倍未満以上、例えば２倍未満である場合には、上記第１の方法に示した処理を実行し、合成画像に対してかけるデジタルゲインの必要ゲイン量が所定倍以上、例えば２倍以上である場合には、上記第２の方法に示した処理を実行する。これにより、合成画像に対してかけるデジタルゲインの量が大きくなることにより、デジタルゲインをかけたことによって生じるノイズが大きくなってしまうことを防ぐことができる。

図３は、本実施の形態における手持ち夜景撮影モード時の画像合成処理の流れを示すフローチャートである。図３に示す処理は、手持ち夜景撮影モード時に複数の画像が連写撮影されると起動するプログラムとして、ＣＰＵ１６によって実行される。

ステップＳ１０において、ＣＰＵ１６は、連写が完了したか否かを判断する。ステップＳ１０で肯定判断した場合には、ステップＳ２０へ進む。ステップＳ２０では、ＣＰＵ１６は、上述したように、連写によって得られたＮ枚の画像のうちいずれか１枚、例えば最初に撮影された画像を基準画像とし、該基準画像と他の画像との位置ズレ量が所定のズレ量よりも大きい画像を特異な画像として特定する。そして、ＣＰＵ１６は、特定した特異な画像を加算対象から除外する。その後、ステップＳ３０へ進み、ＣＰＵ１６は、ステップＳ２０で特定した特異な画像の代わりに他の画像のいずれかを複製した画像を用いて、それらを位置合わせして加算して、ステップＳ４０へ進む。

ステップＳ４０では、ＣＰＵ１６は、特異な画像を除いた画像を加算合成して合成画像の露出を、特異な画像を除かないで加算合成した場合の画像の露出と一致させるための必要ゲイン量が所定倍以上、例えば２倍以上であるか否かを判断する。ステップＳ４０で肯定判断した場合には、ステップＳ５０へ進む。ステップＳ５０では、ＣＰＵ１６は、ステップＳ３０で加算合成して得た合成画像に対して、上述したようにＰｉｘｅｌシフト合成を行って、処理を終了する。

これに対して、ステップＳ４０で否定判断した場合には、ステップＳ６０へ進む。ステップＳ６０では、ＣＰＵ１６は、ステップＳ５０へ進む。ステップＳ５０では、ＣＰＵ１６は、ステップＳ３０で加算合成して得た合成画像に対して、上述したようにデジタルゲインをかけて、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）ＣＰＵ１６は、特異な画像を除いた画像を加算合成して得た合成画像の露出が特異な画像を除かないで加算合成した場合の画像の露出と一致するように、デジタルゲインをかけるようにした。これによって、同じ画像が複数回加算されることを防いで、加算後の画像のランダムノイズ量を減少させることができる。

（２）ＣＰＵ１６は、特異な画像を除いた画像を加算合成して得た合成画像の露出が特異な画像を除かないで加算合成した場合の画像の露出と一致するように、加算した画像の枚数に応じた数だけ複製し、複製した合成画像同士を、合成画像を構成する画素並び方向において上下左右のいずれかの方向に１ピクセル分ずつずらして加算するようにした。これによって、同じ画像が複数回加算されることを防いで、加算後の画像のランダムノイズ量を減少させることができる。

（３）ＣＰＵ１６は、合成画像に対してかけるデジタルゲインの必要ゲイン量が所定倍未満以上、例えば２倍未満である場合には、合成画像に対してデジタルゲインをかけるようにし、必要ゲイン量が所定倍以上、例えば２倍以上である場合には、Ｐｉｘｅｌシフト合成を行うようにした。これによって、合成画像に対してかけるデジタルゲインの量が大きくなることにより、デジタルゲインをかけたことによって生じるノイズが大きくなってしまうことを防ぐことができる。

―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
（１）上述した実施の形態では、ＣＰＵ１６は、合成画像に対してかけるデジタルゲインの必要ゲイン量が所定倍未満以上、例えば２倍未満である場合には、合成画像に対してデジタルゲインをかけ、合成画像に対してかけるデジタルゲインの必要ゲイン量が所定倍以上、例えば２倍以上である場合には、Ｐｉｘｅｌシフト合成を行うようにした。しかしながら、ＣＰＵ１６は、必要ゲイン量の大きさにかかわらず、合成画像に対してデジタルゲインをかけることによって、ランダムノイズの発生を防ぐようにしてもよい。あるいは、ＣＰＵ１６は、必要ゲイン量の大きさにかかわらず、合成画像をＰｉｘｅｌシフト合成することによって、ランダムノイズの発生を防ぐようにしてもよい。

（２）また、ＣＰＵ１６は、Ｐｉｘｅｌシフト合成処理とデジタルゲインをかける処理とを組み合わせて行うようにしてもよい。例えば、上述した必要ゲイン量が４倍である場合には、２つの合成画像をＰｉｘｅｌシフト合成した後に、これによって得られた画像に２倍のデジタルゲインをかけるようにしてもよい。

（３）上述した実施の形態では、Ｐｉｘｅｌシフト合成において、ＣＰＵ１６は、複製した合成画像同士を、合成画像を構成する画素並び方向において上下左右のいずれかの方向に１ピクセル分ずつずらして加算する例について説明した。しかしながら、ＣＰＵ１６は、加算対象の合成画像が複数の場合には、少なくとも１枚の合成画像について１ピクセルずらすようにすれば、全ての合成画像をそのまま加算合成するよりもランダムノイズを低減することができる。

（４）上述した実施の形態では、本発明をカメラに適用する例について説明した。しかしながら、図３に示した処理を行う画像合成プログラムを図４に示すコンピュータ装置１００に実行させることにより、夜景画像合成処理装置を構成してもよい。画像合成プログラムをパーソナルコンピュータ１００に取込んで使用する場合には、パーソナルコンピュータ１００のデータストレージ装置にプログラムをローディングした上で、当該プログラムを実行させることによって画像合成処理装置として使用する。この場合のコンピュータ装置１００のワークメモリ（不図示）には、連写によって得られたＮ枚の連写撮影画像が一時的に記憶される。

パーソナルコンピュータ１００に対するプログラムのローディングは、プログラムを格納したＣＤ−ＲＯＭなどの記録媒体１０４をパーソナルコンピュータ１００にセットして行ってもよいし、ネットワークなどの通信回線１０１を経由する方法でパーソナルコンピュータ１００へローディングしてもよい。通信回線１０１を経由する場合は、通信回線１０１に接続されたサーバー（コンピュータ）１０２のハードディスク装置１０３などにプログラムを格納しておく。画像合成プログラムは、記憶媒体１０４や通信回線１０１を介する提供など、種々の形態のコンピュータプログラム製品として供給することができる。

なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。

１ カメラ、１１ 撮影光学系、１２ 撮像素子、１３ 画像処理部、１４ バッファメモリ、１５ 表示部材、１６ ＣＰＵ、１７ フラッシュメモリ、１８ カードインターフェース、１９ 操作部材、３０ 記憶媒体

Claims (3)

1. 被写体像を撮像して画像を取得する撮像手段と、
   前記撮像手段によって連続して撮像された複数の画像の中から、１つの画像を基準画像として選択する選択手段と、
   前記選択手段によって選択された前記基準画像と、前記撮像手段によって連続して撮像された複数の画像のうちの前記基準画像以外の複数の画像のそれぞれとの位置ズレ量を算出する算出手段と、
   前記算出手段によって算出された前記位置ズレ量が所定のズレ量以下の対象画像を、位置合わせをしてから合成して合成画像を生成する生成手段と、
   前記撮像手段によって連続して撮像された複数の画像の枚数と、前記生成手段によって合成に用いられた前記対象画像の枚数とに基づいて、前記合成画像の露出と、前記複数の画像の全てを合成して得られる画像の露出とを一致させるために、前記合成画像を前記対象画像の枚数に応じた回数だけ、それぞれ異なる方向へ所定量ずらして加算合成する処理実行手段と、を備える撮像装置。
2. 請求項１に記載の撮像装置において、
   前記処理実行手段は、前記撮像手段によって連続して撮像された複数の画像の枚数と、合成に用いた前記対象画像の枚数とに基づいて、前記合成画像の露出と、前記複数の画像の全てを合成して得られる画像の露出とを一致させるために必要なゲイン量を算出し、前記必要なゲイン量が所定の倍率以下である場合には、前記合成画像に対して、前記対象画像の枚数に応じたデジタルゲインをかけ、前記合成画像を前記対象画像の枚数に応じた回数だけ、それぞれ異なる方向へ所定量ずらして加算合成しない撮像装置。
3. 被写体像を撮像して画像を取得する撮像手順と、
   前記撮像手順で連続して撮像した複数の画像の中から、１つの画像を基準画像として選択する選択手順と、
   前記選択手順で選択した前記基準画像と、前記撮像手順で連続して撮像した複数の画像のうちの前記基準画像以外の複数の画像のそれぞれとの位置ズレ量を算出する算出手順と、
   前記算出手順で算出した前記位置ズレ量が所定のズレ量以下の対象画像を、位置合わせをしてから合成して合成画像を生成する生成手順と、
   前記撮像手順によって連続して撮像された複数の画像の枚数と、前記生成手順によって合成に用いられた前記対象画像の枚数とに基づいて、前記合成画像の露出と、前記複数の画像の全てを合成して得られる画像の露出とを一致させるために、前記合成画像を前記対象画像の枚数に応じた回数だけ、それぞれ異なる方向へ所定量ずらして加算合成する処理実行手順と、をコンピュータに実行させるための画像合成プログラム。
   

Images