JP4821626B2 - 画像処理装置、電子カメラ、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、電子カメラ、および画像処理プログラムに関する。

従来、露出設定を変えながら同一被写体を複数回にわたって撮影し、得られた複数の画像群を合成することにより広ダイナミックレンジの合成画像を生成する技術が知られている（例えば、特許文献１）。
また、解像度の異なる別の撮像素子から出力された画像間において、絵柄の位置ズレを検出する技術として、下記の特許文献２が公知である。この従来技術では、高解像度画像と低解像度画像との間で、まず大域的探索を行って、一致領域の候補を見つける。次に、この一致領域の範囲内で両画像をそれぞれ画素補間し、補間された画素間の比較によって絵柄が細部まで一致する領域を見つける。
特開２００２−３０５６８４号公報 国際公開ＷＯ９５／０４３２９号パンフレット

ところで、特許文献１の従来技術では、高解像度の静止画像を複数回にわたって読み出さなければならない。通常、高解像度の画像読み出し時間は長いため、これら画像間の撮影時刻が大きく開いてしまう。そのため、被写体やカメラに動きが生じると、複数画像間の絵柄の一致度が低くなり、良好な階調拡大効果を得ることが難しくなる。
一方、電子カメラ側では、この複数回の静止画撮影の期間、カメラアングルが動かないようにしっかり固定しなければならず、手軽に階調拡大撮影を行うことが困難であった。
そこで、本発明は、上述した問題点に鑑みて、広ダイナミックレンジの合成画像を手軽に得るための技術を提供することを目的とする。

《１》 本発明の画像処理装置は、画像入力部、ズレ検出部、および階調拡大部を備える。
画像入力部は、露出条件および解像度を変えて同一被写体を撮影して得られる低解像度画像と高解像度画像とを取り込む。
ズレ検出部は、低解像度画像と高解像度画像との間で絵柄の位置ズレを検出する。
階調拡大部は、位置ズレに基づいて低解像度画像と高解像度画像との間で位置合わせを行う。階調拡大部は、この低解像度画像から階調情報を抽出して高解像度画像に合成することにより、階調再現域を拡大した合成画像を生成する。
《２》 なお好ましくは、低解像度画像は、複数枚の画像である。階調拡大部は、複数の低解像度画像がそれぞれ有する低解像度の階調情報を、高解像度画像に多重に合成する。
《３》 また好ましくは、ズレ検出部は、位相分割部、および精密検出部を備える。
位相分割部は、高解像度画像から絵柄のエッジ成分を抽出する。位相分割部は、このエッジ成分の標本位置をずらしながらサブサンプリングすることで、位相のずれた複数のサンプリング情報を生成する。
精密検出部は、低解像度画像と複数のサンプリング情報との間で絵柄が最も一致する位置ズレを検出することにより、低解像度画像の画素間隔よりも細かな精度で位置ズレを検出する。
《４》 なお好ましくは、階調拡大部は、高解像度画像について高輝度領域および低輝度領域を判定する。階調拡大部は、高解像度画像の高輝度領域について露出アンダーの低解像度画像の合成比率を高める。また、階調拡大部は、高解像度画像の低輝度領域については露出オーバーの低解像度画像の合成比率を高める。
《５》 本発明の電子カメラは、《１》ないし《４》のいずれか１項に記載の画像処理装置と、被写体を少なくとも２種類の解像度で撮影する撮像部とを備える。この場合、画像処理装置が処理する高解像度画像は、撮像部で撮影される高解像度の静止画像である。また、画像処理装置が処理する低解像度画像は、静止画像の撮影前および／または撮影後に、高解像度画像とは異なる露出条件で撮像部に撮影される低解像度の画像である。
《６》 なお好ましくは、本発明の電子カメラは、画像を表示するモニタ部を備える。撮像部は、低解像度のスルー画像を順次撮影して、モニタ部に動画表示する。さらに、撮像部は、スルー画像の撮影とは重ならないタイミングで、かつ高解像度画像と異なる露出条件で、低解像度画像を撮影する。
《７》 本発明の画像処理プログラムは、コンピュータを、《１》ないし《４》のいずれか１項に記載の画像処理装置として機能させるためのプログラムである。

本発明の画像処理装置は、露出条件の異なる低解像度画像と高解像度画像とを合成して、階調再現域を拡大する。この場合、低解像度画像については、画素数が少ないため、撮影時の読み出し時間を短くできる。そのため、高解像度画像と低解像度画像の撮影時刻を接近させ、画像間の絵柄の一致度を高めることができる。その結果、画像合成に際して絵柄が良く一致するので、良好な階調拡大効果を得ることができる。

また、本発明の電子カメラは、露出条件を変えて高解像度画像と低解像度画像を撮影する。この場合、低解像度画像の読み出し時間は短いため、低解像度画像の撮影を短期間に完了できる。そのため、ユーザーがカメラアングルを固定すべき期間は短くなり、従来よりも手軽な階調拡大撮影が可能になる。

［電子カメラの構成説明］
図１は、本実施形態の電子カメラ１０（画像処理装置２５を含む）を示すブロック図である。
図１において、電子カメラ１０には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１１の撮像面が配置される。この撮像素子１１は、高解像度画像を読み出すモードと、素子内部で画素間引きや画素加算を行って低解像度画像を読み出すモードとを備える。これらの読み出しモードは、撮像制御部１４によって制御される。この撮像素子１１で生成された画像信号は、信号処理部１５、およびＡ／Ｄ変換部１６を介して処理された後、メモリ１７に一時蓄積される。
このメモリ１７は、バス１８に接続される。このバス１８には、撮像制御部１４、マイクロプロセッサ１９、記録部２２、画像圧縮部２４、モニタ表示部３０、および画像処理装置２５なども接続される。上記のマイクロプロセッサ１９には、レリーズ釦などの操作部１９ａが接続される。また、上記の記録部２２には、記録媒体２２ａが着脱自在に装着される。

［画像処理装置２５の説明］
図２は、画像処理装置２５の構成を模式的に示したブロック図である。
ゲイン補正部３１は、メモリ１７内の画像に対してゲイン補正や階調補正を実施する。メモリ１７から読み出される高解像度画像は、縮小画像生成部３２、特徴量抽出部３３、および階調合成部３４ｂにそれぞれ供給される。縮小画像生成部３２の出力データは、特徴量抽出部３５を介して、粗検出部３６に供給される。特徴量抽出部３３の出力データは、位相分割部３７を介して、精密検出部３８に供給される。また、特徴量抽出部３３からエッジに関する情報がゲイン補正部３１に供給される。

一方、メモリ１７から読み出される複数の低解像度画像は、特徴量抽出部３９および位置合わせ部３４ａにそれぞれ供給される。特徴量抽出部３９の出力データは、粗検出部３６および精密検出部３８にそれぞれ供給される。
粗検出部３６で粗く検出された位置ズレは、精密検出部３８に供給される。精密検出部３８で高精度に検出された位置ズレは、位置合わせ部３４ａに供給される。位置合わせ部３４ａは、この位置ズレに基づいて低解像度画像の画素位置を調整し、階調合成部３４ｂへ出力する。階調合成部３４ｂは、ゲイン補正部３１からゲイン補正量に関する情報を取得し、この取得情報に基づいて、高解像度画像に複数の低解像度画像を合成する。
なお、請求項記載の階調拡大部は、位置合わせ部３４ａおよび階調合成部３４ｂに対応する。

［動作説明］
図３および図４は、電子カメラ１０の動作を説明する流れ図である。以下、これらの図に示すステップ番号に沿って、この動作を説明する。

ステップＳ１： 電子カメラ１０の主電源が投入されると、マイクロプロセッサ１９は、撮像制御部１４にスルー画像の読み出しを指示する。撮像制御部１４は、撮像素子１１を低解像度の読み出しモードで駆動し、図５に示すようにスルー画像を例えば３０フレーム／秒で順次に読み出す。

ステップＳ２： 撮像素子１１から読み出されたスルー画像は、信号処理部１５、およびＡ／Ｄ変換部１６を介して処理される。スルー画像の内、後述する露出調整による明暗変化の少ないものが、モニタ表示部３０に動画表示される。ユーザーは、このスルー画像の動画表示を見ることで、電子カメラ１０の撮影構図を決定することができる。
一方、マイクロプロセッサ１９は、測光部（不図示）の測光結果やスルー画像の明るさに基づいて露出計算を実施し、高解像度画像の露出条件を決定する。

ステップＳ３： 撮像制御部１４は、スルー画像の撮影の期間中、撮像素子１１を低解像度読み出しモードで駆動する。その結果、図５に示すように、１つまたは複数のスルー画像（低解像度画像）が生成される。
このとき、撮像制御部１４は、高解像度画像とは階調再現域が異なるように、低解像度画像の露出条件を調整する。例えば、高解像度画像の露光時間に対して、低解像度画像の露光時間を−２段，−１段，＋１段，＋２段に変化させる。このように生成される低解像度画像は、メモリ１７に一時記録される。
なお、低解像度画像の記録枚数が、予め定められた上限枚数を超えた場合は、撮像制御部１４は、古い低解像度画像から順番に消去する。この上限枚数は、メモリ１７の使用可能な記憶容量などに応じて定めておくことが好ましい。

ステップＳ４： ここで、マイクロプロセッサ１９は、ユーザーによってレリーズ釦が全押し操作されたか否かを判断する。
レリーズ釦が全押し操作された場合、マイクロプロセッサ１９は、ステップＳ５に動作を移行する。
一方、レリーズ釦が全押し操作されていない場合、マイクロプロセッサ１９は、ステップＳ１に動作を戻す。

ステップＳ５： ここで、マイクロプロセッサ１９は、ステップＳ２で決定した高解像度画像の露光時間が、ブレの目立たない許容上限以下か否かを判定する。例えば、この許容上限は、１／（撮影レンズ１２の３５ｍｍ判換算の焦点距離）秒程度に設定される。
露光時間設定が許容上限以下の場合、マイクロプロセッサ１９はステップＳ６に動作を移行する。
一方、露光時間設定が許容上限を超える場合、マイクロプロセッサ１９はステップＳ７に動作を移行する。

ステップＳ６： 撮像制御部１４は、設定された露光時間に従って撮像素子１１に対してシャッタ制御を行う。続いて、撮像制御部１４は、撮像素子１１を高解像度の読み出しモードで駆動し、高解像度画像を読み出す。この高解像度画像（静止画像）は、信号処理部１５およびＡ／Ｄ変換部１６を介して、メモリ１７に一時記録される。
この動作の後、マイクロプロセッサ１９は動作をステップＳ９に移行する。

ステップＳ７： 一方、露光時間設定がブレの許容上限を超えると判断された場合、マイクロプロセッサ１９は、露光時間を、ブレの生じない許容上限以下に制限する。
撮像制御部１４は、短く制限された露光時間に従って撮像素子１１に対してシャッタ制御を行う。その状態で、撮像制御部１４は、撮像素子１１を高解像度の読み出しモードで駆動し、高解像度画像を読み出す。この高解像度画像は、露光不足のために信号レベルは低いが、画像ブレの少ない画像である。この高解像度画像は、メモリ１７に一時記録される。

ステップＳ８： ゲイン補正部３１は、露光不足の高解像度画像をゲイン補正する。

ステップＳ９： ゲイン補正部３１は、メモリ１７内の高解像度画像と低解像度画像がガンマ補正済みか否かを判断する。ガンマ補正済みの画像に対し、ゲイン補正部３１は逆ガンマ補正を実施する（このとき、画像の階調幅が実質的に制限されないよう、階調成分の量子化ビット数を増やすことが好ましい）。
この処理により、後述する画像の合成処理を、ほぼリニアな階調軸上で行うことが可能になる。

ステップＳ１０： 特徴量抽出部３３は、高解像度画像を取り込み、エッジ抽出フィルタを用いて、縦エッジ成分gvと横エッジ成分ghを抽出する。
なお、ここでのエッジ抽出フィルタは、低解像度画像の読み出し方式に応じて、下記のように切り替えることが好ましい。
・低解像度画像が画素加算または画素平均によって作成される場合
gv(x,y)=[-f(x,y-4)-f(x,y-3)-f(x,y-2)-f(x,y-1)+f(x,y+4)+f(x,y+5)+f(x,y+6)+f(x,y+7)]/4
gh(x,y)=[-f(x-4,y)-f(x-3,y)-f(x-2,y)-f(x-1,y)+f(x+4,y)+f(x+5,y)+f(x+6,y)+f(x+7,y)]/4
・低解像度画像が画素間引きによって作成される場合
gv(x,y)=-f(x,y-4)+f(x,y+4)
gh(x,y)=-f(x-4,y)+f(x+4,y)
なお、ノイズの影響を軽減するため、特徴量抽出部３３は、所定の微小振幅に収まる縦エッジ成分gvと横エッジ成分ghについては、ゼロに置き換えることが好ましい。
特徴量抽出部３３は、このエッジ成分gv,ghに基づいて、画像中でエッジ成分の多い領域を選定し、その領域を注目領域に定める。

ステップＳ１１： 低解像度画像は、高解像度画像とは露出条件が異なるため、輝度レベルが異なる。そこで、ゲイン補正部３１は、メモリ１７内の低解像度画像に対してゲイン補正を実施し、高解像度画像の輝度レベルに合わせる。
例えば、ｎ段の露出補正を行った低解像度画像については、リニアな輝度レベルを１／（２ⁿ）倍することで高解像度画像の輝度レベルに合わせることができる。
なお、ステップＳ１０で求めた注目領域において、高解像度画像と低解像度画像の輝度レベルが一致するように、低解像度画像をゲイン補正してもよい。

ステップＳ１２： 縮小画像生成部３２は、ゲイン調整後の高解像度画像を解像度変換して、低解像度画像の画素数と合わせる。
例えば、４×４画素の平均値を抽出することにより、高解像度画像の縦横画素数をそれぞれ１／４に解像度変換することができる。
このように低解像度化された画像（以下、縮小画像という）は、特徴量抽出部３５に伝達される。

ステップＳ１３： 続いて、粗検出部３６は、縮小画像と低解像度画像との間で位置ズレを検出する。

図６は、この位置ズレを射影エッジの比較によって求める手順を示す図である。以下、この図６を用いて、位置ズレを高速検出する処理を説明する。
まず、特徴量抽出部３５は、下式に示す縦エッジ抽出用のフィルタ（図６［Ａ］参照）を用いて、縮小画像ｆ（ｘ，ｙ）から縦エッジ成分gv′を抽出する。
gv′(x,y)=-f(x,y-1)+f(x,y+1)
さらに、特徴量抽出部３５は、下式に示す横エッジ抽出用のフィルタ（図６［Ｂ］参照）を用いて、縮小画像ｆ（ｘ，ｙ）から横エッジ成分gh′を抽出する。
gh′(x,y)=-f(x-1,y)+f(x+1,y)
なお、ノイズの影響を軽減するため、特徴量抽出部３５は、所定の微小振幅に収まる縦エッジ成分gv′と横エッジ成分gh′については、ゼロに置き換えることが好ましい。
次に、特徴量抽出部３５は、図６［Ａ］に示すように、縦エッジ成分gv′を水平行の単位に累積加算することにより、縦射影波形を算出する。
さらに、特徴量抽出部３５は、図６［Ｂ］に示すように、横エッジ成分gh′を垂直列の単位に累積加算することにより、横射影波形を算出する。
一方、特徴量抽出部３９は、メモリ１７から複数の低解像度画像を取り込む。特徴量抽出部３９は、個々の低解像度画像に対して特徴量抽出部３５と同一の処理を実施し、縦射影波形および横射影波形をそれぞれ求める。
ここで、粗検出部３６は、図６［Ａ］に示すように、縮小画像の中央域の縦射影波形と、低解像度画像の中央域の縦射影波形とをずらしながら差分をとり、その差分の絶対値和が最小となる波形ズレを検出する。この波形ズレは、縮小画像と低解像度画像との縦方向の位置ズレに相当する。
また、粗検出部３６は、図６［Ｂ］に示すように、縮小画像の中央域の横射影波形と、低解像度画像の中央域の横射影波形とをずらしながら差分をとり、差分の絶対値和が最小となる波形ズレを検出する。この波形ズレは、縮小画像と低解像度画像との横方向の位置ズレに相当する。
このようにして、粗検出部３６は、縮小画像を位置基準として複数の低解像度画像の位置ズレ（粗検出結果）をそれぞれ求め、精密検出部３８に出力する。

ステップＳ１４： 次に、高解像度画像と低解像度画像の位置ズレを精密に検出する。
まず、特徴量抽出部３３は、ステップＳ１０で求めた縦エッジ成分gvを水平行の単位に累積加算することにより、高解像度画像の縦射影波形を算出する。また、特徴量抽出部３３は、ステップＳ１０で横エッジ成分ghを垂直列の単位に累積加算することにより、高解像度画像の横射影波形を算出する。
位相分割部３７は、高解像度画像の縦射影波形を４画素おきにサブサンプリングする。このとき、位相分割部３７は、サブサンプリングの位相をずらすことによって、図７に示すように、位相が互いにずれた４種類のサンプリング情報を生成する。
同様に、位相分割部３７は、高解像度画像の横射影波形を４画素おきにサブサンプリングする。このとき、サブサンプリングの位相をずらすことにより、位相が互いにずれた４種類のサンプリング情報を生成する。

ステップＳ１５： 精密検出部３８は、粗検出部３６による位置ズレの粗検出結果を出発点として、高解像度画像から求めた縦射影波形のサンプリング情報と、低解像度画像の縦射影波形とをずらしながら差分をとり、差分の絶対値和が最小となる波形ズレを検出する。
精密検出部３８は、この波形ズレの検出を４種類のサンプリング情報それぞれについて実施することにより、絵柄の特徴（ここでは波形）が最も一致する波形ズレを求める。この波形ズレは、横方向の位置ズレに相当する。さらに、精密検出部３８は、同様にして縦方向の位置ズレを検出する。
このようにして、精密検出部３８は、高解像度画像を位置基準として複数の低解像度画像の位置ズレ（精密検出結果）を、低解像度画像の画素間隔よりも細かな精度で求め、位置合わせ部３４ａに出力する。

ステップＳ１６： 位置合わせ部３４ａは、低解像度画像を拡大（４×４倍）する。このとき、位置合わせ部３４ａは、画素補間を行わず、画素間隔の開いた拡大画像を得る。
次に、位置合わせ部３４ａは、精密検出部３８が求めた位置ズレの精密検出結果に基づいて、低解像度画像の拡大画像の画素位置をそれぞれ変位させ、図８に示すようにマッピング（再配置）を行う。このようにして、高解像度画像と同程度の縦横画素数を有する再配置画像を得ることができる。

ステップＳ１７： マッピング処理を完了した再配置画像には、隙間の埋まらない画素や、正規の画素位置からずれた画素や、重なった画素が存在する。
そこで、位置合わせ部３４ａは、この再配置画像の正規の画素位置ごとに、近傍画素をピックアップする。位置合わせ部３４ａは、これら近傍画素の色差成分に、下式のガウシアンフィルタをかける。
ｆ(x,y)は、再配列画像の画素位置(x,y)の色差成分である。ｍは近傍画素の範囲である。σは加重比率を調整する数値である。例えば、具体的な数値としては、ｍ＝５，σ＝３が好ましい。
位置合わせ部３４ａは、ガウシアンフィルタの計算結果を、正規の画素位置の色差成分とすることにより、再配置画像の色差成分を決定する。

ステップＳ１８： 階調合成部３４ｂは、高解像度画像の輝度成分に対して、次のフィルタ処理を実施する。まず、階調合成部３４ｂは、ゲイン補正後の高解像度画像から輝度成分を抽出し、メディアン処理およびガウシアンフィルタを合わせたフィルタ処理を施す。例えば、フィルタサイズを３×３画素に設定し、このフィルタサイズ内の９つの画素から中央３つの値を抽出して、ガウシアンフィルタを実施する。この処理により、露光不足などの原因で輝度成分に生じるノイズ分を低減することができる。

ステップＳ１９： 階調合成部３４ｂは、高解像度画像から階調潰れの可能性が高い画像領域をマップ情報として抽出する。例えば、輝度レベルが撮像素子１１の飽和レベルに達する画像領域を、高輝度領域として抽出する。また例えば、輝度レベルが撮像素子１１の黒潰れ範囲を超えない画像領域を、低輝度領域として抽出する。

ステップＳ２０： 階調合成部３４ｂは、ステップＳ１１で実施した低解像度画像のゲイン補正量をゲイン補正部３１から情報取得する。このゲイン補正量に従って、階調合成部３４ｂは、高解像度画像と低解像度画像の合成比率を次のように決定する。
(1)高解像度画像の低輝度領域…ゲイン補正量が１より小さい低解像度画像の合成比率を例えば３０〜５０％程度に高く設定する。一方、ゲイン補正量が１より大きい低解像度画像については合成比率を０％程度に低く設定する。この設定により、プラス露出補正された低解像度画像が有する暗部の階調情報を、高解像度画像に反映させることができる。
(2)高解像度画像の高輝度領域…ゲイン補正量が１より大きい低解像度画像の合成比率を例えば３０〜５０％程度に高く設定する。一方、ゲイン補正量が１より小さい低解像度画像については合成比率を０％程度に低く設定する。この設定により、マイナス露出補正された低解像度画像が有する明部の階調情報を、高解像度画像に反映させることができる。
(3)高解像度画像のエッジ…輝度成分が局所的に所定比率を超えて変化する箇所（エッジ）を抽出する。このエッジに対する低解像度画像の合成比率を０％程度に低くする。この設定により、高解像度画像のエッジ構造を保持することができる。

ステップＳ２１： 位置合わせ部３４ａは、ステップＳ１５で検出した位置ズレの精密検出結果に従って、低解像度画像の位置ズレを補正する。階調合成部３４ｂは、位置ズレ補正後の低解像度画像から輝度成分を抽出し、ステップＳ２０で定めた合成比率に従って高解像度画像の輝度成分に加重加算する。この加重加算により、合成画像の階調再現域はほぼリニアに拡大される。

ステップＳ２２： 階調合成部３４ｂは、この合成画像の輝度成分を、図９に示すような階調変換特性を用いて階調補正する。この階調変換特性では、中〜高輝度の階調範囲を階調圧縮することにより、高輝度領域に復元された階調情報を実用的な信号値の範囲に収める。さらに低輝度の階調範囲については、黒潰れを抑えたり、暗部ノイズが増加しない程度に階調伸張することにより、低輝度領域に復元された階調情報を実用的な信号値の範囲に収める。

ステップＳ２３： ステップＳ１７で生成された色差成分（再配置画像）と、ステップＳ２２で生成された輝度成分（合成画像）とを組み合わせ、階調再現域を拡大したカラー画像を完成する。
このカラー画像は、画像圧縮部２４および記録部２２などを介して、記録媒体２２ａに記録保存される。

［実施形態の効果など］
本実施形態では、低解像度読み出しモードで生成される低解像度画像を、静止画像（高解像度画像）の階調拡大に利用する。この低解像度画像は、例えば３０〜６０フレーム／秒と高速で読み出される。そのため、高解像度画像と低解像度画像の合成に際して、絵柄の違いに起因する破綻は生じづらく、良好な階調拡大効果を得ることができる。

さらに、本実施形態では、プラス方向およびマイナス方向に露出補正しながら、複数枚の低解像度画像を生成する。そのため、様々な階調域について階調情報を得ることが可能になる。そのため、図１０に示すように、高輝度および低輝度の階調域において、良好な階調拡大効果を得ることができる。

また、このように複数枚の低解像度画像を撮影しても、高フレームレートで連続撮影できるため、一瞬で撮影は完了する。そのため、従来に比べ、ユーザーがカメラアングルを固定すべき時間は格段に短くなる。そのため、ユーザーは、手軽に階調拡大撮影を行うことができる。

さらに、本実施形態では、高解像度画像から、サンプリング位相が互いにずれた複数のサンプリング情報を生成する。これらサンプリング情報と低解像度画像との間で位置ズレ検出を行うことにより、低解像度画像の画素間隔よりも細かな精度で位置ズレを検出できる。その結果、高解像度画像と低解像度画像との絵柄の位置合わせ精度を一段と高めることが可能になり、一段と良好な階調拡大効果を得ることができる。

また、本実施形態では、階調潰れの少ない領域については、低解像度画像の合成比率を適応的に下げる。そのため、高解像度画像の本来の階調情報を忠実に残すことも可能になる。

さらに、本実施形態では、高解像度画像のエッジにおいて、低解像度画像の合成比率を局所的に下げる。そのため、合成後にエッジが多重線化するなどの弊害を回避することができる。

《実施形態の補足事項》
なお、本発明者は、特願２００５−３４５７１５において、位置ズレ検出を更に高速化する手順を開示している。この手順に従って、本実施形態の位置ズレ検出を高速化してもよい。

また、ステップＳ１３では、高解像度画像の縮小画像と、低解像度画像との間で絶対的な位置ズレを粗く検出している。しかしながら、本発明はこれに限定されるものではない。複数の低解像度画像の間で相対的な位置ズレを粗く検出してもよい。精密検出部３８は、この相対的な粗検出結果と、少なくとも１つの位置ズレの精密検出結果とに基づいて、残りの絶対的な位置ズレを粗く知ることができる。精密検出部３８は、この絶対的な粗検出結果を出発点として位置ズレ探索を行うことで、精密な位置ズレを迅速に検出することが可能になる。

なお、上述した実施形態では、射影波形の比較により画像の位置ズレを検出している。しかしながら、本発明はこれに限定されるものではない。例えば、両画像の画素配列の空間比較によって位置ズレを検出してもよい。

また、上述した実施形態では、電子カメラ１０に画像処理装置２５を搭載するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。上述した画像処理をプログラムコード化した画像処理プログラムを作成してもよい。この画像処理プログラムをコンピュータで実行することにより、低解像度画像の階調情報を有効活用して、高解像度画像の階調を拡大することが可能になる。

なお、上述した実施形態では、高解像度画像の撮影前に、低解像度画像を取得する。しかしながら、本発明はこれに限定されるものではない。

例えば、高解像度画像の撮影後に、低解像度画像を取得してもよい。また、高解像度画像の撮影前および撮影後にまたがって、複数の低解像度画像を取得してもよい。

なお、上述した実施形態では、高輝度領域および低輝度領域の双方に対して、低解像度画像の階調情報を補っている。しかしながら、本発明はこれに限定されるものではない。高輝度領域または低輝度領域の一方に対して、低解像度画像の階調情報を補ってもよい。例えば、マイナス露出補正した低解像度画像の階調情報を、高解像度画像の高輝度領域に補うことにより、高輝度領域の階調再現域を拡大することができる。また例えば、プラス露出補正した低解像度画像の階調情報を、高解像度画像の低輝度領域に補うことにより、低輝度領域の階調再現域を拡大することができる。

なお、上述した実施形態では、輝度色差の画像信号を扱うケースについて説明した。しかしながら、本発明はこれに限定されるものではない。一般に、本発明をＲＧＢ、Ｌａｂその他の画像信号を扱うケースに適用してもよい。

また、上述した実施形態では、画像処理によって絵柄の位置ズレを検出している。しかしながら、本発明はこれに限定されるものではない。例えば、カメラ側に加速度センサなどを搭載してカメラの撮影域の移動（振動）を求め、この撮影域の移動（振動）から複数画像の絵柄の位置ズレを検出してもよい。

なお、上述した実施形態では、露出条件を変えた低解像度画像のみを、高解像度画像に合成している。しかしながら、本発明はこれに限定されるものではない。例えば、高解像度画像と露出条件の等しい低解像度画像を合成に加えてもよい。この露出条件の等しい低解像度画像については、例えば合成画像のＳ／Ｎを高める効果がある。

なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、何ら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。

以上説明したように、本発明は、画像処理装置などに利用可能な技術である。

本実施形態の電子カメラ１０（画像処理装置２５を含む）を示すブロック図である。 画像処理装置２５の構成を模式的に示したブロック図である。 電子カメラ１０の動作を説明する流れ図（１／２）である。 電子カメラ１０の動作を説明する流れ図（２／２）である。 電子カメラ１０の撮影シーケンスを説明する流れ図である。 位置ズレの検出手順を説明する図である。 高解像度画像のサブサンプリングを説明する図である。 再配置画像の生成を説明する図である。 合成画像の階調変換を説明する図である。 階調拡大効果を説明する図である。

符号の説明

１０…電子カメラ，１１…撮像素子，１２…撮影レンズ，１４…撮像制御部，１５…信号処理部，１６…Ａ／Ｄ変換部，１７…メモリ，１８…バス，１９…マイクロプロセッサ，１９ａ…操作部，２２…記録部，２２ａ…記録媒体，２４…画像圧縮部，２５…画像処理装置，３０…モニタ表示部，３１…ゲイン補正部，３２…縮小画像生成部，３３…特徴量抽出部，３４ａ…位置合わせ部，３４ｂ…階調合成部，３５…特徴量抽出部，３６…粗検出部，３７…位相分割部，３８…精密検出部，３９…特徴量抽出部

Claims (6)

1. 露出条件および解像度を変えながら同一被写体を撮影して得られる低解像度画像と高解像度画像とを取り込む画像入力部と、
   前記低解像度画像と前記高解像度画像との間で絵柄の位置ズレを検出するズレ検出部と、
   前記位置ズレに基づいて前記低解像度画像と前記高解像度画像との間の位置合わせをし、前記低解像度画像の階調情報を抽出して前記高解像度画像に合成することにより、階調再現域を拡大した合成画像を生成する階調拡大部とを備え、
   前記ズレ検出部は、
   前記高解像度画像から絵柄のエッジ成分を抽出し、前記エッジ成分を位相をずらしてサブサンプリングすることで、標本位置が互いにずれた複数のサンプリング情報を生成する位相分割部と、
   前記低解像度画像と前記複数のサンプリング情報との間で絵柄が最も一致する位置ズレを検出することにより、前記低解像度画像の画素間隔よりも細かな精度で前記位置ズレを検出する精密検出部とを備えた
   ことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記低解像度画像は、複数枚の画像であり、
   前記階調拡大部は、複数の前記低解像度画像がそれぞれ有する低解像度の階調情報を、前記高解像度画像に多重に合成する
   ことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記階調拡大部は、
   前記高解像度画像について高輝度領域および低輝度領域を判定し、
   前記高解像度画像の前記高輝度領域については露出アンダーの前記低解像度画像の合成比率を高め、
   前記高解像度画像の前記低輝度領域については露出オーバーの前記低解像度画像の合成比率を高める
   ことを特徴とする画像処理装置。
4. 請求項１ないし請求項３のいずれか１項に記載の画像処理装置と、
   被写体を少なくとも２種類の解像度で撮影する撮像部とを備え、
   前記画像処理装置が処理する前記高解像度画像は、前記撮像部に撮影される高解像度の静止画像であり、
   前記画像処理装置が処理する前記低解像度画像は、前記静止画像の撮影前および／または撮影後に、前記高解像度画像と異なる露出条件で、前記撮像部によって撮影される低解像度の画像である
   ことを特徴とする電子カメラ。
5. 請求項４に記載の電子カメラにおいて、
   画像を表示するモニタ部を備え、
   前記撮像部は、
   低解像度のスルー画像を順次撮影して、前記モニタ部に動画表示し、
   前記スルー画像の撮影とは重ならないタイミングで、かつ前記高解像度画像と異なる露出条件で、低解像度画像を撮影する
   ことを特徴とする電子カメラ。
6. コンピュータを、請求項１ないし請求項３のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。