JP5103984B2 - 画像処理装置、撮像装置、および画像処理プログラム - Google Patents

Description

本発明は、画像処理装置、撮像装置、および画像処理プログラムに関する。

従来、輝度差の大きな被写体を撮影することにより、画像データの暗部階調が暗く潰れるという現象が知られている。特許文献１には、このような階調の偏りを補正するために、画像データの信号解析に基づいて階調補正特性を決定する技術が開示されている。
特開平６−２５２３１７６号公報

上述した従来技術では、暗部階調の偏りを解消するために、主要被写体の階調が圧縮され、かえって見栄えが悪くなるケースがあった。
また、夜景を写した画像データにおいて、暗部全体が明るく浮き上がり、夜景本来の印象を損ねてしまうケースもあった。
そこで、本発明の目的は、撮影時の被写体の印象（見た目）に近い処理結果が得られる階調補正技術を提供することである。

《１》 本発明の一態様である画像処理装置は、入力部、調整部、平滑化処理部および補正部を備える。
入力部は、画像データ、および画像データの撮影時の被写体状況を情報取得する。
調整部は、この被写体状況に応じて、画像データの暗部階調の明度向上量を決定する。
平滑化処理部は、画像データに平滑化処理を施して平滑化画像を生成する。
補正部は、平滑化処理部により生成された平滑化画像を用いて、調整部で決定された明度向上量に従って、画像データの暗部階調を補正する。
《２》 なお好ましくは、入力部は、被写体状況として被写体輝度を取得する。調整部は、この被写体輝度が暗いほど、暗部階調の明度向上量を下げる。
《３》 また好ましくは、調整部は、被写体輝度に比べて画像データの信号成分が相対的に暗いほど、暗部階調の明度向上量を上げる。
《４》 本発明の他の態様である画像処理装置は、入力部、調整部、および補正部を備える。
入力部は、画像データ、および画像データの撮影時の被写体状況を情報取得する。
調整部は、この被写体状況に応じて、画像データの暗部階調の明度向上量を決定する。
補正部は、調整部で決定された明度向上量に従って、画像データの暗部階調を補正する。
入力部は、被写体状況として被写体輝度を取得する。そして、調整部は、この被写体輝度が暗いほど、暗部階調の明度向上量を下げるとともに、被写体輝度に比べて画像データの信号成分が相対的に暗いほど、暗部階調の明度向上量を上げる。
《５》 なお好ましくは、調整部は、画像データの部分領域ごとに、明度向上量を決定する。調整部は、これら部分領域ごとの明度向上量について、平均処理、重み付け平均処理、最大値算出処理、最頻度値、および中間値算出処理からなる群の一つを実施して、明度向上量の代表値を決定する。補正部では、この明度向上量の代表値に従って、画像データの暗部階調を補正する。
《６》 また好ましくは、調整部は、画像周辺に位置する部分領域ほど、明度向上量を低めに決定する。
《７》 本発明の撮像装置は、上記《１》〜《６》のいずれか１項に記載の画像処理装置と、被写体を撮影して画像データを生成する撮像部とを備える。この画像処理装置は、撮像部により生成される画像データの暗部階調を補正する。
《８》 本発明の画像処理プログラムは、コンピュータを、上記《１》〜《６》のいずれか１項に記載の画像処理装置として機能させるためのプログラムである。

本発明では、画像データの撮影時の被写体状況に対応して、暗部階調の明度向上量を決定する。したがって、撮影時の被写体状況から大きくかけ離れないように明度向上をコントロールすることにより、見た目に近い処理結果を得ることができる。

［１］撮像装置１１の構成説明
図１は、撮像装置１１（画像処理装置を含む）の構成を示すブロック図である。
図１において、撮像装置１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の受光面が配置される。この撮像素子１３は、タイミングジェネレータ２２ｂの出力パルスによって動作が制御される。この撮像素子１３で生成される画像データは、信号処理部１５（撮像感度に対応するゲイン調整部を含む）およびＡ／Ｄ変換部１６を介して、バッファメモリ１７に一時記憶される。バッファメモリ１７は、バス１８に接続される。このバス１８には、カードインターフェース２０、マイクロプロセッサ２２、圧縮伸張部２３、および画像表示部２４が接続される。カードインターフェース２０は、着脱自在なメモリカード２１に画像データを記録する。また、マイクロプロセッサ２２には、撮像装置１１のスイッチ群２２ａ、タイミングジェネレータ２２ｂ、および測光センサ２２ｃが接続される。さらに、画像表示部２４は、撮像装置１１の背面に設けられたモニタ画面２５に画像などを表示する。

［２］画像処理の説明
図２は、撮像装置１１の動作を説明する流れ図である。以下、図２に示すステップ番号に沿って、この動作を説明する。

ステップＳ１： 撮像装置１１は、ユーザーのレリーズ操作に応じて、被写体像を撮影し、画像データを生成する。撮像素子１３から読み出された画像データは、信号処理部１５およびＡ／Ｄ変換部１６を介して、バッファメモリ１７に一時記録される。

ステップＳ２： マイクロプロセッサ２２は、画像データを撮影した際の分割測光データを情報取得または算出する。
例えば、マイクロプロセッサ２２は、ステップＳ１の撮影直前に、測光センサ２２ｃから分光測光データを取得してもよい。
また例えば、マイクロプロセッサ２２は、画像データの輝度成分を、撮影時の（絞り値、撮像感度、電荷蓄積時間）で逆算することで被写体輝度を求め、分割測光データとしてもよい。
カードインターフェース２０は、得られた分割測光データを、画像データと一緒に、メモリカード２１に記録する。

ステップＳ３： マイクロプロセッサ２２は、メモリカード２１またはバッファメモリ１７から画像データを読み出す。マイクロプロセッサ２２は、読み出した画像データを複数の分割領域ｉ（ｉ＝１・・ｎ）に分割する。例えば、縦８区分×横８区分に分割することで、６４個の分割領域ｉを得ることができる。マイクロプロセッサ２２は、これらの分割領域ｉごとに輝度成分の平均値を求め、明度Ｍｙ（ｉ）とする。

ステップＳ４： マイクロプロセッサ２２は、ステップＳ２で得られた分割測光データを分割領域ｉごとに割り振って、分割領域ｉごとの被写体輝度Ｂｖ（ｉ）を求める。

ステップＳ５： マイクロプロセッサ２２は、分割領域ｉごとに下式を計算し、部分領域ｉごとの明度向上量Ｇ（ｉ）を決定する。
Ｇ（ｉ）＝１＋Ｋｂ［Ｂｖ（ｉ）］・Ｋｒ（ｉ）・ｆｒ［Ｍｙ（ｉ）］ …［１］

図３は、［１］式中のパラメータＫｂ［Ｂｖ（ｉ）］の一例を示す図である。
被写体輝度Ｂｖ（ｉ）が見た目に認識困難な程度に暗い場合（図３中のＢ１範囲）、パラメータＫｂ［Ｂｖ（ｉ）］はゼロとなる。逆に、被写体輝度Ｂｖ（ｉ）が十分に明るくて階調認識に全く支障がない場合（図３中のＢ３範囲）、パラメータＫｂ［Ｂｖ（ｉ）］は１となる。一方、被写体輝度Ｂｖ（ｉ）が、これらの中間の明るさにある場合（図３中のＢ２範囲）、被写体輝度Ｂｖ（ｉ）が大きいほど、パラメータＫｂ［Ｂｖ（ｉ）］を徐々に大きくする。

図４は、［１］式中のパラメータｆｒ［Ｍｙ（ｉ）］の一例を示す図である。
黒側への階調偏りが目立つ程に明度Ｍｙ（ｉ）が低い場合（図４中のＹ１範囲）、パラメータｆｒ［Ｍｙ（ｉ）］は１となる。逆に、明度Ｍｙ（ｉ）が十分に高く、明度向上の必要がない場合（図４中のＹ３範囲）、パラメータｆｒ［Ｍｙ（ｉ）］はゼロとなる。一方、明度Ｍｙ（ｉ）が、これらの中間にある場合（図４中のＹ２範囲）、明度Ｍｙ（ｉ）が大きいほど、パラメータｆｒ［Ｍｙ（ｉ）］は徐々に小さくなる。

図５は、［１］式中のパラメータＫｒ（ｉ）の一例を示す図である。
画像中央の部分領域ｉでは、パラメータＫｒ（ｉ）は１となる。逆に、画像周縁の部分領域ｉでは、パラメータＫｒ（ｉ）は０．１またはゼロとなる。一方、これらの中間にある部分領域ｉでは、画像中央から離れるに従って、パラメータＫｒ（ｉ）は徐々に小さくなる。

ステップＳ６： マイクロプロセッサ２２は、複数の明度向上量Ｇ（ｉ）を母集団として、平均処理、重み付け平均処理、最大値算出処理、最頻度値、または中間値算出処理などの統計処理を実施することで、明度向上量の代表値Ｍｇを決定する。これら統計処理の種類を選択することによって、明度向上の反映具合を更に細かくコントロールすることが可能になる。

ステップＳ７： マイクロプロセッサ２２は、画像データの輝度成分Ｙ（ｘ,ｙ）に下式の平滑化処理を施し、平滑化画像ＹＬ（ｘ,ｙ）を求める。

上式中の（ｘ,ｙ）は処理画素の位置を示す座標値である。(ｉ,ｊ)は平滑化処理に反映する近傍画素の相対座標値である。ｒは、この近傍画素の選択範囲を示す半径値である。Ｌｐｗは、図６に示すような近傍画素の加重比率である。このように求めた平滑化画像ＹＬ（ｘ,ｙ）からは、画像データの画素位置（ｘ,ｙ）が明暗いずれの領域内に位置しているかを知ることができる。

ステップＳ８： マイクロプロセッサ２２は、下式を用いてゲインマップＧＭ（ｘ,ｙ）を求める。
ＧＭ（ｘ,ｙ）＝Ｍｇ・ｆｇ［ＹＬ（ｘ,ｙ）］ …［３］
図７は、［３］式中のパラメータｆｇ［ＹＬ（ｘ,ｙ）］の一例を示す図である。
ＹＬ（ｘ,ｙ）が小さいほど（処理画素を含む近傍範囲が暗いほど）、パラメータｆｇ［ＹＬ（ｘ,ｙ）］は大きくなる。逆に、ＹＬ（ｘ,ｙ）が大きいほど（処理画素を含む近傍範囲が明るいほど）、パラメータｆｇ［ＹＬ（ｘ,ｙ）］は１に近づく。
マイクロプロセッサ２２は、このパラメータｆｇ［ＹＬ（ｘ,ｙ）］に対して、ステップＳ６で求めた明度向上量の代表値Ｍｇを乗算して、ゲインマップＧＭ（ｘ,ｙ）を得る。このような処理により、撮影時の被写体状況に近づくように、ゲインマップＧＭ（ｘ,ｙ）が調整される。

ステップＳ９： マイクロプロセッサ２２は、画像データの信号成分ＲＧＢに対して、下式のようなゲインマップＧＭ（ｘ,ｙ）による階調補正を施し、階調補正後の画像データＲｃＧｃＢｃを得る。
Ｒｃ（ｘ,ｙ）＝Ｒ（ｘ,ｙ）・ＧＭ（ｘ,ｙ）
Ｇｃ（ｘ,ｙ）＝Ｇ（ｘ,ｙ）・ＧＭ（ｘ,ｙ）
Ｂｃ（ｘ,ｙ）＝Ｂ（ｘ,ｙ）・ＧＭ（ｘ,ｙ）
ステップＳ１０： カードインターフェース２０は、階調補正後の画像データをメモリカード２１に圧縮保存する。

［３］本実施形態の効果など
本実施形態では、画像データの被写体の輝度に応じて、暗部階調の明度向上量を調整する。そのため、実際の被写体の明るさから大きくかけ離れないように、画像データの階調補正をコントロールし、見た目の印象に近い処理結果を得ることができる。

特に、本実施形態では、図３に示すパラメータＫｂ［Ｂｖ（ｉ）］によって、実際の被写体が暗いほど暗部階調の明度向上量を引き下げる。そのため、夜景撮影のように現実に暗い画像データに対しては明度向上が適宜に抑制される。その結果、夜景の見た目の印象に近い処理結果を得ることができる。

さらに、本実施形態では、図３に示すパラメータＫｂ［Ｂｖ（ｉ）］と、図４に示すパラメータｆｒ［Ｍｙ（ｉ）］との積の効果により、現実の被写体輝度に比べて画像データの信号成分が相対的に暗いほど、暗部階調の明度向上量を引き上げることができる。そのため、見た目の印象と比べて相対的に暗い画像データについては、より明るく暗部階調が補正される。その結果、この場合も見た目の印象に近い処理結果を得ることができる。

また、本実施形態では、画像の周辺域ほど、図５に示すパラメータＫｒ（ｉ）によって、明度向上量を低く目に設定する。そのため、逆光撮影のように主要被写体の周囲の輝度が極端に明るくても、明度向上量が極端に引き上がることがない。その結果、画像中央の被写体輝度を基づいて、明度向上量を適切に決定することが可能になる。

《実施形態の補足事項》
上述した実施形態では、部分領域ごとの明度向上量を統計処理し、画面全体に適用する明度向上量を決定する。しかしながら、本発明はこれに限定されるものではない。例えば、画像データの中央領域について明度向上量をじかに決定してもよい。また、顔認識や焦点検出エリア選択などから主要被写体領域を判定し、その主要被写体領域について明度向上量をじかに決定してもよい。

また、上述した実施形態では、本発明の画像処理装置を撮像装置１１に搭載するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、コンピュータと画像処理プログラム（図２参照）とにより、画像処理装置をソフトウェア的に実現してもよい。この場合、画像データのExif情報などから、被写体状況（被写体輝度など）を情報取得することにより、別途情報を入力することなく、本実施形態と同様の処理を実施することが可能になる。

なお、上述した実施形態では、撮影時の被写体状況として被写体輝度の情報を使用している。しかしながら、本発明はこれに限定されるものではない。例えば、フラッシュなどをプリ発光させて得られる被写体の反射率情報などを、被写体輝度に代わる被写体状況として使用してもよい。

また、上述した実施形態では、各パラメータの変化傾向（図３〜図７）を具体的に示している。しかしながら、本発明はこれに限定されるものではない。実際には、複数のテスト画像において適切な明度向上量を実験的にそれぞれ求め、これらを［１］式で近似するように、各パラメータの変化傾向を決定すればよい。

なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。

以上説明したように、本発明は、画像処理装置などに利用可能な技術である。

撮像装置１１の構成を示すブロック図である。 撮像装置１１の動作を説明する流れ図である。 パラメータＫｂ［Ｂｖ（ｉ）］の一例を示す図である。 パラメータｆｒ［Ｍｙ（ｉ）］の一例を示す図である。 パラメータＫｒ（ｉ）の一例を示す図である。 パラメータＬｐｗの一例を示す図である。 パラメータｆｇ［ＹＬ（ｘ,ｙ）］の一例を示す図である。

符号の説明

１１…撮像装置，１２…撮影レンズ，１３…撮像素子，１５…信号処理部，１６…Ａ／Ｄ変換部，１７…バッファメモリ，１８…バス，２０…カードインターフェース，２１…メモリカード，２２…マイクロプロセッサ，２２ａ…スイッチ群，２２ｂ…タイミングジェネレータ，２２ｃ…測光センサ，２３…圧縮伸張部，２４…画像表示部，２５…モニタ画面

Claims (8)

1. 画像データ、および前記画像データの撮影時の被写体状況を情報取得する入力部と、
   前記被写体状況に応じて、前記画像データの暗部階調の明度向上量を決定する調整部と、
   前記画像データに平滑化処理を施して平滑化画像を生成する平滑化処理部と、
   前記平滑化処理部により生成された平滑化画像を用いて、前記調整部で決定された前記明度向上量に従って、前記画像データの暗部階調を補正する補正部と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記入力部は、前記被写体状況として被写体輝度を情報取得し、
   前記調整部は、前記被写体輝度が暗いほど、前記暗部階調の明度向上量を下げる
   ことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記入力部は、前記被写体状況として被写体輝度を情報取得し、
   前記調整部は、前記被写体輝度に比べて前記画像データの信号成分が相対的に暗いほど、前記暗部階調の明度向上量を上げる
   ことを特徴とする画像処理装置。
4. 画像データ、および前記画像データの撮影時の被写体状況を情報取得する入力部と、
   前記被写体状況に応じて、前記画像データの暗部階調の明度向上量を決定する調整部と、
   前記調整部で決定された前記明度向上量に従って、前記画像データの暗部階調を補正する補正部と、を備え、
   前記入力部は、前記被写体状況として被写体輝度を情報取得し、
   前記調整部は、前記被写体輝度が暗いほど、前記暗部階調の明度向上量を下げるとともに、前記被写体輝度に比べて前記画像データの信号成分が相対的に暗いほど、前記暗部階調の明度向上量を上げる
   ことを特徴とする画像処理装置。
5. 請求項１ないし請求項４のいずれか１項に記載の画像処理装置において、
   前記調整部は、
   前記画像データの部分領域ごとに、前記明度向上量を決定し、
   前記部分領域ごとの前記明度向上量について、平均処理、重み付け平均処理、最大値算出処理、最頻度値、および中間値算出処理からなる群の一つを実施して、前記明度向上量の代表値を決定し、
   前記補正部は、前記明度向上量の代表値に従って、前記画像データの暗部階調を補正する
   ことを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記調整部は、
   画像周辺に位置する前記部分領域ほど、前記明度向上量を低めに決定する
   ことを特徴とする画像処理装置。
7. 請求項１ないし請求項６のいずれか１項に記載の画像処理装置と、
   前記被写体を撮影して画像データを生成する撮像部とを備え、
   前記画像処理装置は、前記撮像部により生成される前記画像データの暗部階調を補正する
   ことを特徴とする撮像装置。
8. コンピュータを、請求項１ないし請求項６のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。

Images