JP5649927B2 - 画像処理装置、画像処理方法、および、画像処理プログラム - Google Patents

Description

本発明は、画像処理技術に関し、特に、露光時間の異なる２つの画像を合成する技術に関する。

ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）撮像素子や、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）撮像素子に代表される固体撮像素子のダイナミックレンジは、人間の視覚度に比べて非常に狭いため、露光量の異なる複数枚の画像を合成することによって、ダイナミックレンジを拡大する手法が知られている（特許文献１参照）。

また、露光時間の異なる複数の画像の合成を、画像間の位置ズレを考慮して行う技術も知られている（特許文献２参照）。

特開平７−７５０２６号公報 特開２００３−９００６号公報

しかしながら、特許文献１に記載の技術では、合成対象の複数枚の画像間に位置ズレがあると、合成画像の品質が低下するという問題がある。

また、特許文献２に記載の技術では、合成対象の複数枚の画像間に位置ズレがある箇所については、合成を行わずに、平滑化された短露光画像を適用している。しかし、この方法では、画像間の位置ズレ量が大きい場合、または１フレーム区間に対して短露光画像の露光時間が非常に短い場合には、画像上で被写体の動きの連続性が損なわれ、動画像の画質が低下するという問題が生じる。

本発明は、上述した点に鑑みてなされたものであり、合成対象である複数枚画像間において、比較的大きな位置ズレが存在する場合でも、不自然な二重像の発生を抑制して、画質の良いダイナミックレンジ拡大画像を得る技術を提供することを目的とする。

本発明のある態様に係る画像処理装置は、露光時間の異なる複数枚の画像を取得する撮像部と、前記露光時間の異なる複数枚の画像間の位置ズレ量を検出する位置ズレ検出部と、前記露光時間の異なる複数枚の画像のうちの少なくとも１枚の画像の画素値と、前記位置ズレ検出部によって検出された位置ズレ量とに基づいて、前記露光時間の異なる複数枚の画像を合成する際の合成比率を算出する合成比率算出部と、前記合成比率算出部によって算出された合成比率に基づいて、前記露光時間の異なる複数枚の画像を合成する画像合成部と、を備え、前記合成比率算出部は、前記露光時間の異なる複数枚の画像のうちの長露光画像信号の大きさに比例して短露光画像信号の比率が大きくなるような前記合成比率であって、かつ、前記位置ズレ検出部によって検出された位置ズレ量が大きくなるほど、前記露光時間の異なる複数枚の画像が均等に合成されるような前記合成比率を算出する。

本発明の別の態様に係る画像処理方法は、露光時間の異なる複数枚の画像を取得するステップと、取得した前記露光時間の異なる複数枚の画像間の位置ズレ量を検出するステップと、取得した前記露光時間の異なる複数枚の画像のうちの少なくとも１枚の画像の画素値と、検出した前記位置ズレ量とに基づいて、前記露光時間の異なる複数枚の画像を合成する際の合成比率を算出するステップであって、前記露光時間の異なる複数枚の画像のうちの長露光画像信号の大きさに短露光画像信号の比率が比例して大きくなるような合成比率であって、かつ、前記位置ズレ量を検出するステップで検出された位置ズレ量が大きくなるほど、前記露光時間の異なる複数枚の画像が均等に合成されるような合成比率を算出するステップと、算出した前記合成比率に基づいて、前記露光時間の異なる複数枚の画像を合成するステップと、を備える。

本発明のさらに別の態様に係る画像処理プログラムは、露光時間の異なる複数枚の画像を取得するステップと、取得した前記露光時間の異なる複数枚の画像間の位置ズレ量を検出するステップと、取得した前記露光時間の異なる複数枚の画像のうちの少なくとも１枚の画像の画素値と、検出した前記位置ズレ量とに基づいて、前記露光時間の異なる複数枚の画像を合成する際の合成比率を算出するステップであって、前記露光時間の異なる複数枚の画像のうちの長露光画像信号の大きさに比例して短露光画像信号の比率が大きくなるような合成比率であって、かつ、前記位置ズレ量を検出するステップで検出された位置ズレ量が大きくなるほど、前記露光時間の異なる複数枚の画像が均等に合成されるような合成比率を算出するステップと、算出した前記合成比率に基づいて、前記露光時間の異なる複数枚の画像を合成するステップと、をコンピュータに実行させる。

本発明によれば、露光時間の異なる複数枚の画像を合成して、ダイナミックレンジを拡大した合成画像を生成する際に、画像間の位置ズレ量に基づいて合成比を制御するので、位置ズレに起因する不自然な二重像の発生を抑制して、高品質の合成画像を得ることができる。

本発明の第１の実施形態に係る画像処理装置の主要構成を表すブロック図である。 画像合成部の詳細な内部構成を示すブロック図である。 長露光画像信号Ｌｏｎｇと合成比αとの関係を示す図である。 合成比α’と合成比αとの関係を示すグラフである。 画像合成部の内部で行われる処理の流れを示すフローチャートである。 図６（ａ）は、ある撮像シーンを示す図、図６（ｂ）は、図６（ａ）に示す撮像シーンを撮像することにより得られた短露光画像信号Ｓｈｏｒｔを示す図、図６（ｃ）は、図６（ａ）に示す撮像シーンを撮像することにより得られた長露光画像信号Ｌｏｎｇを示す図である。 領域５３が移動体ではなく、静止体であると仮定した場合の出力画像信号Ｓｏｕｔの生成過程を示す図であり、図７（ａ）は短露光画像信号Ｓｈｏｒｔを、図７（ｂ）は長露光画像信号Ｌｏｎｇを、図７（ｃ）は領域ごとの合成比αを、図７（ｄ）は出力画像信号Ｓｏｕｔをそれぞれ示している。 領域５３が移動体である場合であって、かつ、本発明の位置ズレ補正を適用しない場合の出力画像信号Ｓｏｕｔの生成過程を示す図であり、図８（ａ）は短露光画像信号Ｓｈｏｒｔを、図８（ｂ）は長露光画像信号Ｌｏｎｇを、図８（ｃ）は領域ごとの合成比αを、図８（ｄ）は出力画像信号Ｓｏｕｔをそれぞれ示している。 領域５３が移動体である場合であって、かつ、本発明の位置ズレ補正を適用した場合の出力画像信号Ｓｏｕｔの生成過程を示す図であり、図９（ａ）は短露光画像信号Ｓｈｏｒｔを、図９（ｂ）は長露光画像信号Ｌｏｎｇを、図９（ｃ）は位置ズレ量ｄｉｆｆを、図９（ｄ）は領域ごとの合成比αを、図９（ｅ）は領域ごとの合成比α’を、図９（ｆ）は出力画像信号Ｓｏｕｔをそれぞれ示している。 本発明の第２の実施形態に係る画像処理装置の主要構成を表すブロック図である。

−第１の実施形態−
図１は、本発明の第１の実施形態に係る画像処理装置１００の主要構成を表すブロック図である。

画像処理装置１００は、例えば、デジタルスチルカメラ、デジタルビデオカメラ、監視カメラ、およびデジタルカメラ付きモバイル端末等、撮像系にて取り込んだ画像をリアルタイムに表示する機能を有する画像処理装置、または、それを映像として記録する画像処理装置である。

撮像光学系１１０は、例えば、光学レンズ、絞り、光学ローパスフィルタ等から構成され、被写体を撮像素子１２０上に結像させるものである。光学系駆動装置１１１は、図示しない中央処理装置からの信号に基づいて、撮像光学系１１０を機械的に駆動する。

撮像素子１２０は、例えば、ＣＣＤ撮像素子や、ＣＭＯＳ撮像素子であり、受光面上に結像した光による画像情報を光電変換することによって、アナログ電圧信号に変換する。タイミングジェネレータ（ＴＧ）１２１は、撮像素子１２０を駆動する信号、例えば、垂直／水平同期信号、電子シャッターパルス、読み出しパルス等を発生する。

ＡＤ変換器（ＡＤＣ：Ａ／Ｄ Ｃｏｎｖｅｒｔｅｒ）１３０は、撮像素子１２０によってアナログ電圧信号に変換された画像情報を、さらにデジタル電圧信号に変換して、後段の信号処理部１４０に供給する。

信号処理部１４０は、前処理部１４１と、画像合成部１４２と、カメラ画像処理部１４３と、表示系Ｉ／Ｆ部１４４とを備える。

前処理部１４１は、ＡＤ変換器１３０から供給される画像信号に対して、画像処理を行う。ここで行う画像処理は、例えば、オプティカルブラック補正、画素欠陥補正など、いわゆるＲＡＷデータに対して行うことが望ましい処理、または必然的にＲＡＷデータに対して行わなければならない処理が含まれる。処理後の画像信号は、後段の画像合成部１４２に供給されるとともに、フレームメモリ１５０に格納される。

画像合成部１４２は、前処理部１４１から供給される画像信号Ｓｉｎ１と、フレームメモリ１５０から供給される画像信号Ｓｉｎ２とを合成する。画像信号Ｓｉｎ２は、画像信号Ｓｉｎ１の直前に得られた画像信号であり、画像信号Ｓｉｎ１とは異なる露光時間で撮像された画像である。本実施形態では、撮像によって、露光時間の長い長露光画像と、露光時間の短い短露光画像とを交互に取得する。すなわち、画像信号Ｓｉｎ１および画像信号Ｓｉｎ２のうち、一方は長露光画像信号であり、他方は短露光画像信号である。画像合成部１４２の内部の詳細な構成は、図２を用いて後述する。

カメラ画像処理部１４３は、画像合成部１４２から出力される画像信号Ｓｏｕｔに対して、例えば、Ｙ／Ｃ分離処理、階調変換、色補正、ノイズリダクション等の処理を行う。また、撮像素子１２０が単板式である場合、カメラ画像処理部１４３は、デモザイキング処理やエッジ補正処理等も行う。カメラ画像処理部１４３による画像処理後の画像は、表示系Ｉ／Ｆ部１４４に供給されるとともに、フレームメモリ１５０に格納される。フレームメモリ１５０に格納された画像は、図示しない圧縮記録部等で使用される。

表示系Ｉ／Ｆ部１４４は、カメラ画像処理部１４３から出力される画像信号に対して、表示装置１６０の特性もしくは仕様に合わせた形式に変換する処理を行う。具体的には、例えば、画像の切り出しやリサイズ処理、ユーザーインターフェース関連の文字やシンボル画像との重ね合わせ等を行う。

表示装置１６０は、例えば、液晶パネル、電子ビューファインダー等であり、表示系Ｉ／Ｆ部１４４を介して入力される画像信号に応じた画像を表示する。

図２は、画像合成部１４２の詳細な内部構成を示すブロック図である。画像合成部１４２は、信号選択部２００と、第１の合成比算出部２１０と、ズレ検出部２２０と、第２の合成比算出部２３０と、乗算器２４０と、重み付け合成部２５０と、低域通過部２６０Ａ、２６０Ｂとを備える。

信号選択部２００は、前処理部１４１から供給される画像信号Ｓｉｎ１、および、フレームメモリ１５０から供給される画像信号Ｓｉｎ２を、長露光画像信号Ｌｏｎｇおよび短露光画像信号Ｓｈｏｒｔに判別する。ここでは、長露光画像信号Ｌｏｎｇおよび短露光画像信号Ｓｈｏｒｔの取り得る値を０以上１以下とする。信号値０は黒レベル、信号値１は飽和レベルを示すものとする。

第１の合成比算出部２１０は、長露光画像信号Ｌｏｎｇに基づいて合成比αを算出する。合成比αは、合成後の画像における短露光画像の比率であり、その取り得る値は０以上１以下である。合成比αは、長露光画像信号Ｌｏｎｇの大きさに比例する。図３は、長露光画像信号Ｌｏｎｇと合成比αとの関係を示す図である。

低域通過部２６０Ａは、長露光画像信号Ｌｏｎｇから高周波数成分を除去した信号Ｌｏｎｇ＿Ｌを生成し、ズレ検出部２２０に出力する。また、低域通過部２６０Ｂは、短露光画像信号Ｓｈｏｒｔから高周波数成分を除去した信号Ｓｈｏｒｔ＿Ｌを生成し、ズレ検出部２２０に出力する。

ズレ検出部２２０は、低域通過部２６０Ａ、２６０Ｂで高周波数成分が除去された長露光画像信号Ｌｏｎｇ＿Ｌと短露光画像信号Ｓｈｏｒｔ＿Ｌとの間の位置ズレ箇所および位置ズレ量を求める。このため、まず初めに、長露光画像信号Ｌｏｎｇと短露光画像信号Ｓｈｏｒｔとの露光時間の比ｄｅｌｔａ＿ｅｖ（＝Ｌｏｎｇの露光時間／Ｓｈｏｒｔの露光時間）を求め、次式（１）より、ｄｅｌｔａ＿ｅｖで規格化した短露光画像信号Ｓｈｏｒｔ＿Ｌ’を求める。

続いて、次式（２）より、長露光画像信号Ｌｏｎｇ＿Ｌと、式（１）により求めた短露光画像信号Ｓｈｏｒｔ＿Ｌ’との差の絶対値を位置ズレ量ｄｉｆｆとして算出する。

第２の合成比算出部２３０は、第１の合成比算出部２１０で算出された合成比αと、ズレ検出部２２０で算出された位置ズレ量ｄｉｆｆとに基づいて、合成比α’を算出する。合成比α’は、位置ズレ量ｄｉｆｆがゼロ、すなわち、画像間で動きが無い箇所については、合成比αと等しく、位置ズレ量ｄｉｆｆが大きくなるにつれて、０．５に近づいていくような関数で定義する。このような関数の一例を次式（３）に示す。式（３）において、Ｃは位置ズレ補正量を調整するための所定の係数である。

図４は、式（３）で定義される関数を表すグラフであり、横軸は合成比αを、縦軸は合成比α’を表している。図４では、異なる位置ずれ量ｄｉｆｆに応じたグラフを３つ示しており、同一の合成比αに対して、ｄｉｆｆが大きくなるほど、合成比α’は０．５に近づいていくのが分かる。

乗算器２４０は、短露光画像信号Ｓｈｏｒｔに、露光時間の比ｄｅｌｔａ＿ｅｖを乗算して、乗算後の短露光画像信号Ｓｈｏｒｔ’を算出する（式（４）参照）。

重み付け合成部２５０は、長露光画像信号Ｌｏｎｇと、乗算器２４０から出力される短露光画像信号Ｓｈｏｒｔ’とを、第２の合成比算出部２３０で算出された合成比α’で合成することによって、出力画像信号（合成画像信号）Ｓｏｕｔを求める。ここでは、次式（５）より、出力画像信号Ｓｏｕｔを算出する。

この場合、短露光画像信号Ｓｈｏｒｔの有するダイナミックレンジに、露光時間の比ｄｅｌｔａ＿ｅｖを乗じた値が出力画像信号Ｓｏｕｔのダイナミックレンジとなる。すなわち、ダイナミックレンジがｄｅｌｔａ＿ｅｖ倍拡大、もしくは、ｌｏｇ₂（ｄｅｌｔａ＿ｅｖ）ビット拡大される。

図５は、画像合成部１４２の内部で行われる処理の流れを示すフローチャートである。ただし、画像合成部１４２の内部で行われる処理の順序は、図５に示すフローチャートのステップ順に限定されることはない。

ステップＳ１０において、信号選択部２００は、前処理部１４１から画像信号Ｓｉｎ１を取得するとともに、フレームメモリ１５０から画像信号Ｓｉｎ２を取得する。

ステップＳ２０において、信号選択部２００は、ステップＳ１０で取得した画像信号Ｓｉｎ１、Ｓｉｎ２を、長露光画像信号Ｌｏｎｇと短露光画像信号Ｓｈｏｒｔとに判別する。

ステップＳ３０において、乗算器２４０は、短露光画像信号Ｓｈｏｒｔに、長露光画像信号Ｌｏｎｇと短露光画像信号Ｓｈｏｒｔとの露光時間の比ｄｅｌｔａ＿ｅｖを乗算することによって、短露光画像信号Ｓｈｏｒｔ’を算出する。

ステップＳ４０において、第１の合成比算出部２１０は、長露光画像信号Ｌｏｎｇに基づいて合成比αを算出する。

ステップＳ５０において、低域通過部２６０Ａ、２６０Ｂは、長露光画像信号Ｌｏｎｇ、短露光画像信号Ｓｈｏｒｔから高周波数成分を除去し、高周波数成分除去後の信号Ｌｏｎｇ＿Ｌ、Ｓｈｏｒｔ＿Ｌをそれぞれ生成する。

ステップＳ６０において、ズレ検出部２２０は、長露光画像信号Ｌｏｎｇ＿Ｌと短露光画像信号Ｓｈｏｒｔ＿Ｌとの間の位置ズレ量diffを求める。

ステップＳ７０において、第２の合成比算出部２３０は、ステップＳ４０で算出された合成比αと、ステップＳ６０で算出された位置ズレ量ｄｉｆｆとに基づいて、合成比α’を算出する。

ステップＳ８０において、重み付け合成部２５０は、長露光画像信号Ｌｏｎｇと、乗算器２４０から出力される短露光画像信号Ｓｈｏｒｔ’とを、ステップＳ７０で算出された合成比α’で合成することによって、出力画像信号Ｓｏｕｔを求める。

ステップＳ９０において、重み付け合成部２５０は、ステップＳ８０で求めた出力画像信号Ｓｏｕｔを、カメラ画像処理部１４３に出力する。

上述したステップＳ１０からステップＳ９０までの処理を行うことにより、ダイナミックレンジを拡大した合成画像を生成することができる。また、長露光画像信号Ｌｏｎｇと短露光画像信号Ｓｈｏｒｔとを交互に繰り返し撮像する動画撮像時に、ステップＳ１０からステップＳ９０までの処理を繰り返し行うことにより、ダイナミックレンジを拡大した動画像を生成することができる。

ダイナミックレンジの拡大について、図６〜図９を用いて詳しく説明する。

図６（ａ）は、ある撮像シーンを示す図である。図６（ａ）において、領域５１は室内の壁面、領域５２は窓の外の風景、領域５３は車や人等の移動体とする。領域５１〜５３の明るさの関係は、領域５２＞領域５１＞領域５３とする。

図６（ｂ）および図６（ｃ）は、図６（ａ）に示す撮像シーンを撮像することにより得られた画像を示す図である。図６（ｂ）は、時刻（ｔ−１）の撮像により得られた短露光画像信号Ｓｈｏｒｔであり、図６（ｃ）は、時刻ｔの撮像により得られた長露光画像信号Ｌｏｎｇである。短露光画像信号Ｓｈｏｒｔと長露光画像信号Ｌｏｎｇとの間の露光差は、１段（１ＥＶ）であり、露光時間の比ｄｅｌｔａ＿ｅｖ＝２である。

ここでは、説明を簡略化するために、ＡＤ変換器１３０の分解能が５段階であるとし、短露光画像信号Ｓｈｏｒｔの画素値は、（領域５１、領域５２、領域５３）＝（２、３、０）であり、長露光画像信号Ｌｏｎｇの画素値は、（領域５１、領域５２、領域５３）＝（４、５、１）であるとする。この例では、短露光画像信号Ｓｈｏｒｔの領域５３の画素値が０で黒つぶれしており、長露光画像信号Ｌｏｎｇの領域５２の画素値が５で白飛びしている。

図７は、領域５３が移動体ではなく、静止体であると仮定した場合の出力画像信号Ｓｏｕｔの生成過程を示す図である。図７（ａ）および図７（ｂ）はそれぞれ、短露光画像信号Ｓｈｏｒｔおよび長露光画像信号Ｌｏｎｇを示す図である。

図７（ｃ）は、領域ごとの合成比αを示す図である。上述したように、合成比αは、長露光画像信号Ｌｏｎｇの大きさに比例するため、領域５１〜領域５３の合成比はそれぞれ、４／５、５／５、１／５となる。

図７（ｄ）は、重み付け合成部２５０によって生成される出力画像信号Ｓｏｕｔを示す図である。移動体が存在しない場合には、位置ズレ量ｄｉｆｆがゼロとなるため、式（３）より、α’＝αとなる。従って、式（４）および式（５）より、出力画像信号Ｓｏｕｔにおける領域５１〜領域５３の画素値はそれぞれ、２０／５、３０／５、４／５となる（図７（ｄ）参照）。出力画像信号（合成画像信号）Ｓｏｕｔのダイナミックレンジは０〜１０の１０段階であるため、領域５３の黒つぶれ、および、領域５２の白飛びは改善されている。

続いて、領域５３が移動体であって、画像上の右方向に移動する場合について説明する。本発明の効果を説明するため、まず初めに、本発明の位置ズレ補正を適用しない場合について、図８を用いて説明する。

図８（ａ）および図８（ｂ）はそれぞれ、短露光画像信号Ｓｈｏｒｔおよび長露光画像信号Ｌｏｎｇを示す図である。図８（ｃ）は、領域ごとの合成比αを示す図である。時刻（ｔ−１）から時刻ｔにかけて、領域５３が画像上の右方向に移動しているため、図８（ｂ）および図８（ｃ）では、図８（ａ）の領域５２および領域５３に対応する領域をそれぞれ、領域５２ａおよび領域５３ａとしている。

図８（ｄ）は、出力画像信号Ｓｏｕｔの生成過程を示す図である。位置ズレ補正を適用しないため、式（３）における位置ズレ補正量を調整するための所定の係数Ｃは０である。従って、α’＝αとなる。

領域５３が移動体であるため、長露光画像信号Ｌｏｎｇと短露光画像信号Ｓｈｏｒｔとの間に位置ズレが生じる。従って、出力画像信号Ｓｏｕｔは、５つの領域７１〜領域７５に分けられる。式（４）および式（５）より、出力画像信号Ｓｏｕｔにおける領域７１〜領域７５の画素値はそれぞれ、０、４／５、１０／５、２０／５、３０／５となる（図８（ｄ）参照）。すなわち、画素値が０である領域７１は、画像上で黒つぶれとなっている。

続いて、本発明の位置ズレ補正を適用する場合について、図９を用いて説明する。

図９（ａ）および図９（ｂ）はそれぞれ、短露光画像信号Ｓｈｏｒｔおよび長露光画像信号Ｌｏｎｇを示す図である。

図９（ｃ）は、短露光画像信号Ｓｈｏｒｔと長露光画像信号Ｌｏｎｇとの間の位置ズレ量ｄｉｆｆを示す図である。ここでは、説明を容易にするために、短露光画像信号Ｓｈｏｒｔと長露光画像信号Ｌｏｎｇとの間で位置ズレが生じている領域の位置ズレ量ｄｉｆｆは１であり、位置ズレが生じていない領域の位置ズレ量ｄｉｆｆは０とする。

図９（ｄ）は、領域ごとの合成比αを示す図である。

図９（ｅ）は、領域ごとの合成比α’を示す図である。合成比α’は、式（３）より算出することができる。ただし、式（３）中の所定の係数Ｃは４とする。

図９（ｆ）は、出力画像信号Ｓｏｕｔの生成過程を示す図である。領域５３が移動体であるため、長露光画像信号Ｌｏｎｇと短露光画像信号Ｓｈｏｒｔとの間に位置ズレが生じる。従って、出力画像信号Ｓｏｕｔは、５つの領域９１〜領域９５に分けられる。式（４）および式（５）より、出力画像信号Ｓｏｕｔにおける領域９１〜領域９５の画素値はそれぞれ、１０／５、４／５、１５／５、２０／５、３０／５となる（図９（ｆ）参照）。

図９（ｅ）に示すように、本発明による位置ズレ補正を適用した場合には、長露光画像信号Ｌｏｎｇと短露光画像信号Ｓｈｏｒｔとの間に位置ズレが生じている領域９１の合成比α’は３／５となっている。これにより、出力画像信号Ｓｏｕｔにおける領域９１の画素値が１０／５となるため、画像上で黒つぶれとならない。すなわち、図８（ｄ）に示すような黒つぶれ二重像の発生が抑制され、画像上で自然な二重像として表現される。

なお、図８および図９で示した画像ブレは、画像の合成により発生するブレではなく、１枚の画像上で発生する動きブレに近いため、２枚の画像を合成して得られるダイナミックレンジ拡大画像として、より自然な画像を得ることができる。

以上、第１の実施形態に係る画像処理装置によれば、複数枚の画像間の位置ズレを検出し、複数枚の画像のうちの少なくとも１枚の画像の画素値および検出した位置ズレ量に基づいて合成比率を算出し、算出した合成比率に基づいて、複数枚の画像を合成する。これにより、位置ズレに起因する黒つぶれ二重像等の不自然な二重像の発生を抑制して、ダイナミックレンジを拡大した高品質の合成画像を得ることができる。

特に、第１の実施形態に係る画像処理装置によれば、検出した位置ズレ量が大きくなるほど、複数枚の画像が均等に合成されるように合成比率を算出するので、位置ズレに起因する不自然な二重像の発生を効果的に抑制することができる。

また、ズレ検出部２２０は、長露光画像信号Ｌｏｎｇおよび短露光画像信号Ｓｈｏｒｔから高周波数成分を除去した信号Ｌｏｎｇ＿ＬおよびＳｈｏｒｔ＿Ｌ間の位置ズレを検出するので、ノイズの影響を除去して、精度良く位置ズレを検出することができる。

−第２の実施形態−
第２の実施形態に係る画像処理装置は、露光量の異なる３枚の画像を合成して、ダイナミックレンジを拡大した合成画像を生成する。ここでは、露光量の異なる３つの画像信号Ｓｉｎ１、Ｓｉｎ２、Ｓｉｎ３の露光量の大小関係がＳｉｎ１＞Ｓｉｎ２＞Ｓｉｎ３であるとする。

図１０は、本発明の第２の実施形態に係る画像処理装置１０００の主要構成を表すブロック図である。図１に示す第１の実施形態に係る画像処理装置と同じ構成要素については、同一の符号を付して詳しい説明は省略する。第２の実施形態に係る画像処理装置１０００が第１の実施形態に係る画像処理装置１００と異なるのは、信号処理部１０４０の内部の構成である。

信号処理部１０４０は、前処理部１４１と、第１の画像合成部１０４２と、第２の画像合成部１０４５と、カメラ画像処理部１４３と、表示系Ｉ／Ｆ部１４４とを備える。

第１の画像合成部１０４２および第２の画像合成部１０４５は、第１の実施形態に係る画像処理装置１００の画像合成部１４２と同一の機能を有する。

第１の画像合成部１０４２は、画像信号Ｓｉｎ１および画像信号Ｓｉｎ２を合成することによって、出力画像信号Ｓ１２ｏｕｔを生成して、第２の画像合成部１０４５に出力する。

第２の画像合成部１０４５は、出力画像信号Ｓ１２ｏｕｔおよび画像信号Ｓｉｎ３を合成することによって、出力画像信号Ｓ１２３ｏｕｔを生成して、カメラ画像処理部１４３に出力する。

以上、第２の実施形態に係る画像処理装置によれば、露光量の異なる３枚の画像を合成する場合でも、第１の実施形態に係る画像処理装置と同様に、位置ズレに起因する不自然な二重像の発生を抑制して、ダイナミックレンジを拡大した高品質の合成画像を得ることができる。

なお、上述した第１、第２の実施形態の説明では、画像処理装置が行う処理としてハードウェアによる処理を前提としていたが、このような構成に限定される必要はない。例えば、別途ソフトウェアにて処理する構成も可能である。この場合、画像処理装置は、ＣＰＵ、ＲＡＭ等の主記憶装置、上記処理の全て或いは一部を実現させるためのプログラムが記憶されたコンピュータ読み取り可能な記憶媒体を備えている。ここでは、このプログラムを画像処理プログラムと呼ぶ。そして、ＣＰＵが上記記憶媒体に記憶されている画像処理プログラムを読み出して、情報の加工・演算処理を実行することにより、上述の画像処理装置と同様の処理を実現させる。

ここで、コンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。また、この画像処理プログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該画像処理プログラムを実行するようにしても良い。

本発明は、上述した第１〜第２の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。例えば、第１の実施形態では、露光量の異なる２枚の画像を合成する例について説明し、第２の実施形態では、露光量の異なる３枚の画像を合成する例について説明したが、露光量の異なる４枚以上の画像を合成することもできる。

１１０…撮像光学系（撮像部）
１２０…撮像素子（撮像部）
１４２…画像合成部
２１０…第１の合成比算出部（合成比率算出部）
２２０…ズレ検出部
２３０…第２の合成比算出部（合成比率算出部）
２５０…重み付け合成部（画像合成部）
２６０Ａ、２６０Ｂ…低域通過部（高周波成分除去部）
１０４２…第１の画像合成部
１０４５…第２の画像合成部

Claims (7)

1. 露光時間の異なる複数枚の画像を取得する撮像部と、
   前記露光時間の異なる複数枚の画像間の位置ズレ量を検出する位置ズレ検出部と、
   前記露光時間の異なる複数枚の画像のうちの少なくとも１枚の画像の画素値と、前記位置ズレ検出部によって検出された位置ズレ量とに基づいて、前記露光時間の異なる複数枚の画像を合成する際の合成比率を算出する合成比率算出部と、
   前記合成比率算出部によって算出された合成比率に基づいて、前記露光時間の異なる複数枚の画像を合成する画像合成部と、
   を備え、
   前記合成比率算出部は、前記露光時間の異なる複数枚の画像のうちの長露光画像信号の大きさに比例して短露光画像信号の比率が大きくなるような前記合成比率であって、かつ、前記位置ズレ検出部によって検出された位置ズレ量が大きくなるほど、前記露光時間の異なる複数枚の画像が均等に合成されるような前記合成比率を算出することを特徴とする画像処理装置。
2. 前記合成比率算出部は、
   前記露光時間の異なる複数枚の画像のうちの前記長露光画像の画素値に基づいて、第１の合成比率を算出し、前記算出された第１の合成比率と、前記位置ズレ検出部によって検出された位置ズレ量とに基づいて、第２の合成比率を算出する、
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記撮像部は、前記長露光画像と、前記短露光画像とを交互に取得する、
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記合成比率算出部は、最も露光時間の長い画像の画素値に基づいて、前記第１の合成比率を算出する、
   ことを特徴とする請求項２に記載の画像処理装置。
5. 前記露光時間の異なる複数枚の画像から高周波成分を除去する高周波成分除去部をさらに備え、
   前記位置ズレ検出部は、前記高周波成分除去部によって高周波成分が除去された複数枚の画像間の位置ズレ量を検出する、
   ことを特徴とする請求項１に記載の画像処理装置。
6. 露光時間の異なる複数枚の画像を取得するステップと、
   取得した前記露光時間の異なる複数枚の画像間の位置ズレ量を検出するステップと、
   取得した前記露光時間の異なる複数枚の画像のうちの少なくとも１枚の画像の画素値と、検出した前記位置ズレ量とに基づいて、前記露光時間の異なる複数枚の画像を合成する際の合成比率を算出するステップであって、前記露光時間の異なる複数枚の画像のうちの長露光画像信号の大きさに比例して短露光画像信号の比率が大きくなるような合成比率であって、かつ、前記位置ズレ量を検出するステップで検出された位置ズレ量が大きくなるほど、前記露光時間の異なる複数枚の画像が均等に合成されるような合成比率を算出するステップと、
   算出した前記合成比率に基づいて、前記露光時間の異なる複数枚の画像を合成するステップと、
   を備えることを特徴とする画像処理方法。
7. 露光時間の異なる複数枚の画像を取得するステップと、
   取得した前記露光時間の異なる複数枚の画像間の位置ズレ量を検出するステップと、
   取得した前記露光時間の異なる複数枚の画像のうちの少なくとも１枚の画像の画素値と、検出した前記位置ズレ量とに基づいて、前記露光時間の異なる複数枚の画像を合成する際の合成比率を算出するステップであって、前記露光時間の異なる複数枚の画像のうちの長露光画像信号の大きさに比例して短露光画像信号の比率が大きくなるような合成比率であって、かつ、前記位置ズレ量を検出するステップで検出された位置ズレ量が大きくなるほど、前記露光時間の異なる複数枚の画像が均等に合成されるような合成比率を算出するステップと、
   算出した前記合成比率に基づいて、前記露光時間の異なる複数枚の画像を合成するステップと、
   をコンピュータに実行させるための画像処理プログラム。