以下、本発明に係る実施の一形態を図面に基づいて説明する。なお、各図において同一の符号を付した構成は、同一の構成であることを示し、その説明を省略する。
(実施形態の構成)
まず、実施形態における画像処理装置を備えた撮像装置の構成について説明する。図1は、実施形態における画像処理装置を備えた撮像装置の構成を示す図である。図1において、デジタルカメラ等に適用される撮像装置CAは、レンズ部1と、撮像センサ2と、アンプ3と、AD変換部4と、画像処理部5と、制御部6と、画像メモリ7と、モニタ部8と、操作部9とを備えている。
レンズ部1は、被写体光(光像)を取り込むレンズ窓として機能するとともに、この被写体光を撮像装置本体の内部に配置されている撮像センサ2の受光面に形成するように、この被写体光を撮像センサ2へ導くための光学系を構成するものである。レンズ部1は、例えば被写体光の光軸AXに沿って直列的に配置される、例えばズームレンズ、フォーカスレンズおよびその他の固定レンズ等を備え、当該レンズ部1の透過光量を調節するための絞り(図略)やシャッタ(図略)をさらに備え、制御部6によってこれらズームレンズ、フォーカスレンズ、絞りおよびシャッタが駆動制御される構成となっている。
撮像センサ2は、2次元平面の受光面を形成するように配置された複数の光電変換素子を備え、レンズ部1によってその受光面に結像された被写体光像の光量に応じてR(赤)、G(緑)、B(青)の各成分の画像信号に光電変換して後段のアンプ3へ出力する素子である。撮像センサ2は、例えば、CCD型イメージセンサ、MOS型イメージセンサおよびVMIS型イメージセンサ等である。
アンプ3は、撮像センサ2から出力された画像信号を増幅する回路である。アンプ3は、例えば、AGC(オートゲインコントロール)回路を備え、当該出力信号のゲイン(増幅率)調整を行う。アンプ3は、AGC回路の他、アナログ値としての当該画像信号のサンプリングノイズの低減を行うCDS(相関二重サンプリング)回路を備えていてもよい。AGC回路は、適正露出が得られなかった場合、例えば非常に低輝度の被写体を撮影する場合の撮影画像のレベル不足を補償する機能も有する。なお、AGC回路に対するゲイン値は、制御部6によって設定される。
AD変換部4は、アンプ3によって増幅されたアナログ値の画像信号(アナログ信号)をデジタル値の画像信号(デジタル信号)に変換するAD変換処理を行う回路である。AD変換部4は、撮像センサ2の各画素で受光して得られる各画素信号をそれぞれ例えば12ビットの画素データに変換する。
画像処理部5は、AD変換部4のAD変換処理によって得られた画像信号に対する各種画像処理を行う回路である。画像処理部5は、例えば、前処理部11で黒レベル補正や固定パターンノイズ補正といった前処理を行い、ホワイトバランス補正処理部(WB処理部)12でホワイトバランスの補正処理を行い、色処理部13で色補間処理や色補正処理や色空間変換といった色処理を行い、ダイナミックレンジ圧縮部(DR圧縮部)15でダイナミックレンジの圧縮処理を行い、そして、ガンマ補正部(γ補正部)16でガンマ補正を行う。このようにダイナミックレンジ圧縮部15は、撮像画像に対し輝度や色の各種調整がなされた後の画像に対してダイナミックレンジの圧縮を行うように、画像処理部5内に配置されることが好ましい。これら前処理、ホワイトバランス補正処理、色処理およびガンマ補正は、公知の処理方法によって処理される。
画像メモリ7は、画像処理部5によって画像処理される前のRAWデータや、画像処理部5や制御部6における各種処理時または処理後の画像データ等のデータを保存(記憶)する回路である。画像メモリ7は、例えば、書き換え可能な不揮発性の記憶素子であるEEPROM(Electrically Erasable Programmable Read Only Memory)や、揮発性の記憶素子であるRAM(Random Access Memory)等のメモリを備えて構成される。
モニタ部8は、撮像センサ2で撮影された画像、すなわち画像処理部5で処理された画像や画像メモリ7に保存されている画像等を表示する装置である。モニタ部8は、例えば、撮像装置本体に配設されたカラー液晶表示器(LCD;Liquid Crystal Display)等を備えて構成される。
操作部9は、撮像装置CAに対するユーザによる操作指示(指示入力)を行う装置である。操作部9は、例えば、電源スイッチ、レリーズスイッチ、各種撮影モードを設定するモード設定スイッチ、メニュー選択スイッチ等の各種の操作スイッチ群(操作ボタン群)を備えて構成される。例えば、レリーズスイッチが押下(オン)されることによって、撮像動作すなわち撮像センサ2によってレンズ部1を介した被写体光が撮像され、これによって得られた撮影画像に対して所要の画像処理が施された後、画像メモリ7等に記録されるといった一連の静止画や動画の撮影動作が実行される。
制御部6は、各部を当該機能に応じて制御することによって撮像装置CA全体の動作制御を司る回路である。制御部6は、撮像センサ2や操作部9等の各部からの各種信号に基づき、各部が必要とする制御パラメータ、例えば撮影時における最適な露光量に設定するための露光量制御パラメータ等を算出し、制御パラメータを各部に出力することによって各部の動作を制御する。例えば、制御部6は、制御パラメータに基づきレンズ部1や撮像センサ2に対する撮像動作の制御を行い、また画像処理部5における画像処理の制御を行い、また画像メモリ7に記憶される画像データ等のモニタ部8への表示の制御等を行う。制御部6は、例えば、各制御プログラム等を記憶する不揮発性の記憶素子であるROM(Read Only Memory)、一時的に各種データを格納するRAMおよび制御プログラム等をROMから読み出して実行する中央演算処理装置(CPU)等を備えて構成される。
次に、ダイナミックレンジ圧縮部15の構成について説明する。図2は、実施形態の撮像装置におけるダイナミックレンジ圧縮部の構成を示す図である。図3は、実施形態の撮像装置におけるダイナミックレンジ圧縮部の動作を示すフローチャートである。
図2において、ダイナミックレンジ圧縮部15は、上述のRetinex理論に基づいて入力画像Iのダイナミックレンジを圧縮するものであり、入力画像ぼかし処理部21と、圧縮特性生成部22と、ベース成分画像圧縮部23と、除算部24と、合成部25とを備えて構成される。
入力画像ぼかし処理部21は、入力画像Iから、遮断周波数が互いに異なることで互いに異なる空間周波数成分から成り互いに異なる解像度(サイズ、画素数)の複数の平滑画像を生成すると共に、これら複数の平滑画像に基づいて入力画像Iの解像度と等しいベース成分画像Lを生成するものである。ベース成分画像Lは、平滑化され、穏やかに変化するぼけた画像であり、Retinex理論における照明光成分の画像に相当する。本実施形態では、入力画像ぼかし処理部21に平滑画像生成部とベース成分画像生成部とが組み込まれており、平滑画像生成部は、入力画像Iから複数の平滑画像を生成するものであり、ベース成分画像生成部は、これら複数の平滑画像に基づいてベース成分画像Lを生成するものである。
圧縮特性生成部22は、入力画像ぼかし処理部21の処理途中で生成される複数の平滑画像のうちのいずれかの平滑画像を圧縮特性生成用画像Sとし、圧縮特性生成用画像Sに基づいてベース成分画像Lを圧縮するための圧縮特性X(ib)を生成するものである。圧縮特性X(ib)は、入力画像Iのダイナミックレンジを圧縮するに当たって、圧縮前の画素値ibと圧縮後の画素値iaとの対応関係を表すものである。圧縮特性X(ib)は、後述するように関数式によって表される。なお、圧縮特性X(ib)は、ルックアップテーブル等によって表されてもよい。
ベース成分画像圧縮部23は、入力画像ぼかし処理部21で生成されたベース成分画像Lに圧縮特性生成部22で生成した圧縮特性X(ib)を用いることによって、ベース成分画像Lよりもダイナミックレンジの小さい圧縮ベース成分画像Lsを生成するものである。
除算部24は、入力画像Iをベース成分画像生成部21で生成されたベース成分画像Lで除算することによって反射率成分画像Rを生成するものである。この反射率成分画像Rは、入力画像Iからベース成分画像を除去した入力画像Iにおける高周波成分の画像であり、Retinex理論における物体の反射率成分の画像に相当する。
合成部25は、ベース成分画像圧縮部23で生成された圧縮ベース成分画像Lsと除算部24で生成された反射率成分画像Rとを合成するものである。
このような構成のダイナミックレンジ圧縮部15では、入力画像Iが入力画像ぼかし処理部21および除算部24に入力される。入力画像ぼかし処理部21では、入力画像Iから複数の平滑画像が生成され、これら複数の平滑画像を用いて入力画像Iのベース成分画像Lが生成され、このベース成分画像Lがベース成分画像圧縮部23および除算部24に入力される。また、入力画像ぼかし処理部21では、入力画像Iからベース成分画像Lを生成する処理の途中で中間生成物として生成される複数の平滑画像のうちのいずれかの平滑画像が圧縮特性生成用画像Sとされ、この圧縮特性生成用画像Sが圧縮特性生成部22に入力される。圧縮特性生成部22では、この入力された圧縮特性生成用画像Sに基づいて圧縮特性X(ib)が生成され、この圧縮特性X(ib)がベース成分画像圧縮部23に入力される。ベース成分画像圧縮部23では、ベース成分画像生成部21から入力されたベース成分画像Lが圧縮特性生成部22から入力された圧縮特性X(ib)によって圧縮され、入力画像Iのベース成分画像Lを圧縮した圧縮ベース成分画像Lsが生成される。すなわち、ベース成分画像圧縮部23では、ベース成分画像Lの画素の画素値ibがX(ib)(=ia)に変換され、圧縮ベース成分画像Lsの画素の画素値iaとなる。この圧縮ベース成分画像Lsは、ベース成分画像圧縮部23から合成部25へ出力される。一方、除算部24では、入力画像Iがベース成分画像生成部21から入力されたベース成分画像Lで除算され、反射率成分画像Rが生成される。この反射率成分画像Rは、除算部24から合成部25へ出力される。合成部25では、このベース成分画像圧縮部23から入力された圧縮ベース成分画像Lsと除算部24から入力された反射率成分画像Rとを合成(加算)し、入力画像Iのダイナミックレンジを圧縮した圧縮画像Isが生成される。
このようにダイナミックレンジ圧縮部15は、まず、図3に示すように、第1工程では、入力画像Iからベース成分画像Lが生成されると共に、その生成処理の際に圧縮特性生成用画像Sが生成される(S1)。第2工程では、圧縮特性生成用画像Sに基づいて圧縮特性X(ib)が生成される(S2)。第3工程では、ベース成分画像Lに前記第2工程で生成された圧縮特性X(ib)を用いることによって圧縮ベース成分画像Lsが生成される(S3)。一方、第4工程では、入力画像Iをベース成分画像Lで除算することによって反射率成分画像Rが生成される(S4)。そして、第5工程では、圧縮ベース成分画像Lsと反射率成分画像Rとを合成することによって、入力画像Iの圧縮画像Isが生成される(S5)。ここで、第1ないし第3工程(S1〜S3)と第4工程(S4)とは、第5工程(S5)が実行される前に実行されればよく、同時に実行されても、順次に実行されてもよい。
次に、入力画像ぼかし処理部21の構成について説明する。図4は、実施形態の撮像装置における3段構成の入力画像ぼかし処理部の構成を示す図である。図5は、実施形態の入力画像ぼかし処理部におけるボケ画像合成部の構成を示す図である。
図4に示す入力画像ぼかし処理部21Aは、ダイナミックレンジ圧縮部15における入力画像ぼかし処理部21の一例である。この入力画像ぼかし処理部21Aは、まず、予め設定された遮断周波数でローパスフィルタ処理することによって遮断周波数よりも低い空間周波数成分から成る低空間周波数画像を生成するローパスフィルタ部(LPF部)31と、この低空間周波数画像を予め設定された所定の第1レートでダウンサンプリング処理することによって入力画像Iよりも解像度の小さい低解像度画像を生成するダウンサンプリング部(DS部)32とを備え、入力画像Iに対してLPF部31によるローパスフィルタ処理とDS部32によるダウンサンプリング処理とを所定の回数n(図4に示す例では3回)だけ繰り返すことによって、入力画像Iから、互いに異なる空間周波数成分であって互いに異なる解像度の複数のボケ画像を生成するように構成されている。そして、この入力画像ぼかし処理部21Aは、これら複数のボケ画像のうちの1つを上述の第1レートに対応する第2レートでアップサンプリング処理することによってアップ解像度画像を生成するアップサンプリング部(US部)33と、US部33でアップサンプリング処理によって得られたアップ解像度画像とこのアップ解像度画像の解像度と等しい解像度のボケ画像とを合成することによって合成ボケ画像を生成するボケ画像合成部(Mix部)34とを備え、これら複数のボケ画像に対してUS部33によるアップサンプリング処理とMix部34による合成処理とを前述の所定の回数n(図4に示す例では3回)だけ繰り返すことによって、ベース成分画像Lを生成するように構成されている。ベース成分画像Lは、最終段階の合成処理によって得られた合成ボケ画像である。
このように入力画像Iを多段階でローパスフィルタ処理することによって入力画像Iを1段階でローパスフィルタ処理する場合よりも小さいローパスフィルタを利用することができるので、より簡素に構成することができ、また、ローパスフィルタにデジタルフィルタを採用した場合にその計算量が低減される。
ここで、入力画像ぼかし処理部21Aの上記構成において、LPF部31と、DS部32とを備え、入力画像Iに対してLPF部31によるローパスフィルタ処理とDS部32によるダウンサンプリング処理とを所定の回数nだけ繰り返すことによって、入力画像Iを互いに異なる空間周波数成分(互いに異なる平滑化度合い、互いに異なるボケ度合い)であって互いに異なる解像度の複数のボケ画像を生成する構成が平滑画像生成部に相当し、前記複数の平滑画像は、これら複数のボケ画像であり、複数のボケ画像のいずれか1つの画像が圧縮特性生成用画像Sに対応する。このように、本実施形態では、遮断周波数が互いに異なることで互いに異なる空間周波数成分から成り互いに異なる解像度の複数の平滑画像(ボケ画像)を生成するものであり、これら複数の平滑画像のうちのいずれか1つが圧縮特性生成用画像Sとして選択され、入力画像ぼかし処理部21Aから圧縮特性生成部22へ出力される。このため、より適切な圧縮特性の生成が可能となる。
例えば、3段構成の入力画像ぼかし処理部21Aは、図4に示すように、その段数に応じて3個のLPF部31−1〜31−3と、3個のDS部32−1〜32−3と、3個のUS部33−1〜33−3と、3個のMiX部34−1〜34−3とを備える。そして、入力画像ぼかし処理部21Aは、LPF部31と、DS部32と、US部33と、Mix部34とを備えて成る構成を1段構成とし、上段構成のDS部32の出力を下段構成の入力画像Iと見なすと共に下段構成のMix部34の出力を上段構成のUS部33の入力と見なして、上段構成のDS部32とUS部33との間に下段構成が介在するように構成されている。
なお、本明細書において、総称する場合には添え字を省略した参照符号で示し、個別の構成を指す場合には添え字を付した参照符号で示す。
入力画像I(=I1)は、LPF部31−1およびMix部34−1に入力される。LPF部31−1では、例えばタップ(tap)数7のフィルタサイズの2次元デジタルフィルタが用いられ、入力画像I1をローパスフィルタ処理することによって第1低空間周波数画像が生成され、この第1低空間周波数画像がDS部32−1に入力される。DS部32−1では、第1低空間周波数画像の画素数を縦横ともに例えば1/2倍にする例えば画素間引きを行うことによって第1低空間周波数画像をダウンサンプリング処理して第1低解像度画像、すなわち、第1ボケ画像(第1平滑画像)I2が生成され、この第1ボケ画像I2が下段の入力画像IとしてLPF31−2およびMix部34−2に入力される。この例では、第1レートは、1/2とされている。
LPF部31−2では、LPF部31−1と同様に第1ボケ画像I2をローパスフィルタ処理することによって第1底空間周波数画像よりも低い空間周波数成分から成る(よりも平滑化された、よりもぼけた)第2低空間周波数画像が生成され、この第2低空間周波数画像がDS部32−2に入力される。DS部32−2では、DS部32−1と同様に第2低空間周波数画像をダウンサンプリング処理することによって第1低解像度画像よりも解像度の小さい(サイズの小さい、画素数の少ない)第2低解像度画像、すなわち、第2ボケ画像(第2平滑画像)I3が生成され、この第2ボケ画像I3が下段の入力画像IとしてLPF31−3およびMix部34−3に入力される。
LPF部31−3では、LPF部31−1と同様に第3ボケ画像I3をローパスフィルタ処理することによって第2底空間周波数画像よりも低い空間周波数成分から成る(よりも平滑化された、よりもぼけた)第3低空間周波数画像が生成され、この第3低空間周波数画像がDS部32−3に入力される。DS部32−3では、DS部32−1と同様に第3低空間周波数画像をダウンサンプリング処理することによって第2低解像度画像よりも解像度の小さい(サイズの小さい、画素数の少ない)第3低解像度画像、すなわち、第3ボケ画像(第3平滑画像)I4が生成される。最下段では、下段のMix部34がないので、第3ボケ画像I4は、当該最下段におけるUP部33−3に入力される。
そして、図4に示す入力画像ぼかし処理部21Aでは、第3ボケ画像(第3平滑画像)I4が圧縮特性生成用画像Sとされ、この第3ボケ画像I4は、DS部32−3から図2に示す圧縮特性生成部22へ出力される。なお、第3ボケ画像I4に代え、破線で示すように、例えば、第1ボケ画像(第1平滑画像)I2が圧縮特性生成用画像Sとされ、第1ボケ画像I2がDS部32−3から図2に示す圧縮特性生成部22へ出力されてもよく、また例えば、第2ボケ画像(第2平滑画像)I3が圧縮特性生成用画像Sとされ、第2ボケ画像I3がDS部32−3から図2に示す圧縮特性生成部22へ出力されてもよい。ここで、第1ないし第3ボケ画像(第1ないし第3平滑画像)I2〜I4のうちのいずれか1つを圧縮特性生成用画像Sとして選択する場合に、第1ないし第3ボケ画像I2〜I4の空間周波数に基づいて第1ないし第3ボケ画像I2〜I4のうちのいずれか1つが圧縮特性生成用画像Sとして選択されるように構成されてもよい。このように構成されることによって、適切な圧縮特性生成用画像Sに基づいて圧縮特性が生成されるので、より適切な圧縮特性の生成が可能となる。例えば、第1ないし第3ボケ画像I2〜I4のうちの空間周波数の最も高いボケ画像が圧縮特性生成用画像Sとして選択される。この場合、例えば、各DS部32−1〜32−3から第1ないし第3ボケ画像I2〜I4が入力され、各ボケ画像I2〜I4の空間周波数を求めて空間周波数の最も高いボケ画像を圧縮特性生成部22へ出力するボケ画像選択部がダイナミックレンジ圧縮部15にさらに設けられる。
そして、US部33−3では、上段の第2ボケ画像I3の解像度と一致するように第2レートがDS部32の第1レートに応じて2倍に設定され、第3ボケ画像I4の画素数を縦横ともに2倍にする例えば画素補間(例えば線形画素補間)を行うことによって第3ボケ画像I4をアップサンプリング処理して第3アップ解像度画像J3が生成され、この第3アップ解像度画像J3がMix部34−3に入力される。Mix部34−3では、US部33−3から入力された第3アップ解像度画像J3と、この第3アップ解像度画像J3の解像度が等しい、上段のDS部32−2から入力された第2ボケ画像I3と、を合成(加算)することによって第3合成ボケ画像が生成され、この第3合成ボケ画像が上段のUS部33−2に入力される。
US部33−2では、US部33−3と同様に第3合成ボケ画像をアップサンプリング処理して第2アップ解像度画像J2が生成され、この第2アップ解像度画像J2がMix部34−2に入力される。Mix部34−2では、Mix部34−3と同様に、第2アップ解像度画像J2と第1ボケ画像I2とを合成(加算)することによって第2合成ボケ画像が生成され、この第2合成ボケ画像が上段のUS部33−1に入力される。
US部33−2では、US部33−3と同様に第2合成ボケ画像をアップサンプリング処理して第1アップ解像度画像J1が生成され、この第1アップ解像度画像J1がMix部34−1に入力される。Mix部34−1では、Mix部34−3と同様に、第1アップ解像度画像J1と入力画像I(=I1)とを合成(加算)することによって第1合成ボケ画像が生成される。この第1合成ボケ画像がベース成分画像Lである。
このようにベース成分画像生成部21Aは、構成され、動作することによって入力画像Iから複数のボケ画像(平滑画像)を生成した後にベース成分画像Lを生成する。
そして、本実施形態のベース成分画像生成部21におけるボケ画像合成部(Mix部)34は、次のように構成され、動作している。
図5は、本実施形態の入力画像ぼかし処理部におけるボケ画像合成部を説明するための図である。図5(A)は、ボケ画像合成部の構成を示し、図5(B)は、エッジ強度eと重みwとの対応関係を表す重み付け関数を示す。図5(B)の横軸は、エッジ強度eであり、その縦軸は、重みwである。
図5(A)において、Mix部34は、第1乗算器41と、加算器42と、第2乗算器43と、エッジ部44と、ルックアップテーブル部(LUT部)45とを備える。
エッジ部44は、当該段構成におけるUS部33からアップ解像度画像Jnが入力され、アップ解像度画像Jnのエッジ強度eを求め、この求めたエッジ強度eをLUT部45へ出力する。エッジ強度eは、例えば、ソベルフィルタ(Sobelフィルタ)やプレウィットフィルタ(Prewittフィルタ)等のエッジ抽出フィルタによって求められる。
LUT部45は、エッジ部44から入力されたエッジ強度eに基づいて、当該Mix部34で合成される前段構成のDS部32から入力されたボケ画像In−1および当該段構成のUS部33から入力されるアップ解像度画像Jnのそれぞれに重み付ける各重みw、1−wを求め、これら求めた各重みw、1−wを第1および第2乗算器41、43へ出力する。
この重みwは、次のように決定される。図5(B)に示すように、エッジ強度eが0以上であって予め設定された所定の第1エッジ保存閾値th1以下である場合には重みwが0とされ、エッジ強度eが予め設定された所定の第2エッジ保存閾値th2以上である場合には重みwが0とされ、そして、エッジ強度eが0第1エッジ保存閾値th1以上であって第2エッジ保存閾値th2以下である場合には重みwが(e−th1)/(th2−th1)とされる。
図5(A)に戻って、第1乗算器41は、前段構成のDS部32から入力されたボケ画像In−1にLUT部45から入力された重みwを乗算し、この重みwで重み付けされたボケ画像In−1を加算器42へ出力する。
第2乗算器43は、当該段構成のUS部33から入力されたアップ解像度画像JnにLUT部45から入力された重み1−wを乗算し、この重み1−wで重み付けされたアップ解像度画像Inを加算器42へ出力する。
加算器42は、第1乗算器41から入力された重みwで重み付けされたボケ画像In−1と第2乗算器43から入力された重み1−wで重み付けされたアップ解像度画像Jnとを加算することによって合成ボケ画像を生成し、この生成した合成ボケ画像を前段構成のUS部33へ出力する。
このような構成のMix部34では、当該段構成のUS部33で生成されたアップ解像度画像Jnのエッジ強度eがエッジ部44によって求められ、このエッジ強度eに基づいてLUT部45によって各重みw、1−wが求められる。前段構成のDS部32から入力されたボケ画像In−1が第1乗算器41によって重みwで重み付けされ、当該段構成のUS部33から入力されたアップ解像度画像Jnが第2乗算器43によって重み1−wで重み付けされる。そして、これら各重みw、1−wで重み付けされたボケ画像In−1、アップ解像度画像Jnが加算器42によって加算され、合成ボケ画像が生成される。
第1および第2エッジ保存閾値th1、th2は、前段構成のDS部32から入力されたボケ画像In−1と当該段構成のUS部33から入力されたアップ解像度画像Jnとの混合割合を制御する値である。第1エッジ保存閾値th1は、各段構成で同一の値でも異なった値でもよく、また第1エッジ保存閾値th2も各段構成で同一の値でも異なった値でもよい。
このようにMix部34が構成され、動作することによって、ベース成分画像Lのエッジ部分は、入力画像Iのエッジ部分の情報をより多く含むことなり、エッジが保存される。
なお、図4には、3段構成の入力画像ぼかし処理部21Aを示したが、入力画像ぼかし処理部21Aは、1段構成でも、2段構成でも、あるいは、4段構成以上であってもよく、任意の段数構成でよい。また、上述では、第1レートは、1/2とされたが、例えば、1/3や1/4等のように、任意のレートでよい。第2レートは、上述のように第1レートに応じて設定され、例えば第1レートが1/3の場合では3とされ、また例えば第1レートが1/4の場合では4とされる。
次に、圧縮特性生成部22について説明する。図6は、実施形態のダイナミックレンジ圧縮部における圧縮特性を示す図である。図6の横軸は、圧縮前の画素値ib(ベース成分画像Lの画素値ib)であり、その縦軸は、圧縮後の画素値ia(圧縮ベース成分画像Lsの画素値ia)である。
本実施形態の圧縮特性X(ib)は、連続する2つの第1および第2直線SL1、SL2で表され、両端点O、Qの座標値と連続点(接続点)Pの座標値によって一意に決定される。第1および第2直線SL1、SL2の各傾きおよび各切片をそれぞれa1、a2およびb1、b2とすると、第1直線SL1は、ia=a1×ib+b1で表され、第2直線SL2は、ia=a2×ib+b2で表される。
圧縮特性X(ib)が両端点O、Qの座標値と連続点Pの座標値によって一意に決定されるので、圧縮特性生成部22は、これら各点O,P,Qの座標値を設定することによって圧縮特性X(ib)を生成するものである。そして、これら各点O,P,Qの座標点の設定に当たって、圧縮特性生成部22は、これら各点O,P,Qのうちの少なくとも1つの点の座標値を入力画像ぼかし処理部21から入力された圧縮特性生成用画像Sに基づいて設定する。
圧縮特性X(ib)の一方の端点Oの座標値は、例えば、図6に示すように座標原点(0,0)に設定され、固定される(b1=0)。なお、端点Oは、ia軸上の点(0,b1)(b1≠0)に設定され、固定されてもよい。
圧縮特性X(ib)の他方の端点Qの座標値(qi,qo)において、その値qiは、例えば、圧縮特性生成用画像Sの最大画素値Smaxに設定される(qi=Smax)。また例えば、その値qiは、圧縮特性生成用画像Sの最小画素値Smixの定数倍に設定される(qi=Smin×k1、k1は定数)。また例えば、その値qiは、圧縮特性生成用画像Sにおける画素値の平均値Saveと圧縮特性生成用画像Sにおける画素値の標準偏差Sσの定数倍との和に設定される(qi=Save+Sσ×k2、k2は定数)。そして、その値qoは、圧縮後のダイナミックレンジにおける画素値の最大値に設定される。
圧縮特性X(ib)の連続点(接続点)Pの座標値(pi,po)において、各値pi、poは、例えば、圧縮前の暗部が圧縮後に適切な明るさとなるような値に設定され、固定される。また例えば、その値poは、圧縮前の暗部が圧縮後に適切な明るさとなるような値に設定され、固定されると共に、piは、圧縮特性生成用画像Sにおける画素値の平均値Saveと圧縮特性生成用画像Sにおける画素値の標準偏差Sσの定数倍との差に設定される(pi=Save−Sσ×k3、k3は定数)。
第1直線SL1の傾きa1および切片b1は、点Oの座標値および点Pの座標値をia=a1×ib+b1に代入し、a1、b1の連立方程式を解くことによって求められる。第2直線SL2の傾きa2および切片b2は、点Pの座標値および点Qの座標値をia=a2×ib+b2に代入し、a2、b2の連立方程式を解くことによって求められる。
このように圧縮特性生成部22は、圧縮特性生成用画像Sにおける画素値の最大値Smaxまたは最小値Sminを用いることによって圧縮特性X(ib)を生成するものである。あるいは、圧縮特性生成部22は、圧縮特性生成用画像Sにおける画素値の平均値Saveおよびばらつき度合い、本実施形態では標準偏差Sσを用いることによって圧縮特性X(ib)を生成するものである。なお、標準偏差Sσに代え、圧縮特性生成用画像Sにおける画素値の分散を用いてもよい。
このように一般的な最大値や最小値や平均値や標準偏差等を用いることによって圧縮特性X(ib)が圧縮特性生成部22によって生成されるので、圧縮特性生成部22を簡素に構成することができ、また適切な圧縮特性X(ib)の生成が可能となる。
また、圧縮特性生成部22は、次のように圧縮特性X(ib)を生成してもよい。図7は、実施形態のダイナミックレンジ圧縮部における他の圧縮特性を示す図である。図7の横軸は、圧縮前の画素値ib(ベース成分画像Lの画素値ib)であり、その縦軸は、圧縮後の画素値ia(圧縮ベース成分画像Lsの画素値ia)である。
本実施形態の他の圧縮特性X(ib)は、曲線、例えば、対数曲線CLで表され、両端点O、Qの座標値とその間の中間点Pの座標値によって一意に決定される。対数曲線CLは、例えば、ia=exp(ln(ib)×c)×dで表される(c、dは、定数)。
圧縮特性X(ib)が両端点O、Qの座標値と中間点Pの座標値によって一意に決定されるので、圧縮特性生成部22は、これら各点O,P,Qの座標値を設定することによって圧縮特性X(ib)を生成するものである。そして、これら各点O,P,Qの座標点の設定に当たって、圧縮特性生成部22は、これら各点O,P,Qのうちの少なくとも1つの点の座標値を入力画像ぼかし処理部21から入力された圧縮特性生成用画像Sに基づいて設定する。
圧縮特性X(ib)の一方の端点Oの座標値は、例えば、図7に示すように座標原点(0,0)に設定される。なお、端点Oは、ia軸上の点に設定され、固定されてもよい。
圧縮特性X(ib)の他方の端点Qの座標値(qi,qo)において、その値qiは、例えば、圧縮特性生成用画像Sの最大画素値Smaxに設定される(qi=Smax)。また例えば、その値qiは、圧縮特性生成用画像Sの最小画素値Smixの定数倍に設定される(qi=Smin×k4、k4は定数)。また例えば、その値qiは、圧縮特性生成用画像Sにおける画素値の平均値Saveと圧縮特性生成用画像Sにおける画素値の標準偏差Sσの定数倍との和に設定される(qi=Save+Sσ×k5、k5は定数)。そして、その値qoは、圧縮後のダイナミックレンジにおける画素値の最大値に設定される。
圧縮特性X(ib)の連続点(接続点)Pの座標値(pi,po)において、各値pi、poは、例えば、圧縮前の暗部が圧縮後に適切な明るさとなるような値に設定され、固定される。また例えば、その値poは、圧縮前の暗部が圧縮後に適切な明るさとなるような値に設定され、固定されると共に、piは、圧縮特性生成用画像Sにおける画素値の平均値Saveと圧縮特性生成用画像Sにおける画素値の標準偏差Sσの定数倍との差に設定される(pi=Save−Sσ×k6、k6は定数)。また例えば、その値poは、圧縮前の暗部が圧縮後に適切な明るさとなるような値に設定され、固定されると共に、piは、圧縮特性生成用画像Sにおける画素値の最小値Sminの定数倍に設定される(pi=Smin×k7、k7は定数)。
対数曲線CLの定数c、dは、点Pの座標値および点Qの座標値をia=exp(ln(ib)×c)×dに代入し、c、dの連立方程式を解くことによって求められる。
このように圧縮特性生成部22は、圧縮特性生成用画像Sにおける画素値の最大値Smaxまたは最小値Sminを用いることによって圧縮特性X(ib)を生成するものである。あるいは、圧縮特性生成部22は、圧縮特性生成用画像Sにおける画素値の平均値Saveおよびばらつき度合い、本実施形態では標準偏差Sσを用いることによって圧縮特性X(ib)を生成するものである。なお、標準偏差Sσに代え、圧縮特性生成用画像Sにおける画素値の分散を用いてもよい。
このように一般的な最大値や最小値や平均値や標準偏差等を用いることによって圧縮特性X(ib)が圧縮特性生成部22によって生成されるので、圧縮特性生成部22を簡素に構成することができ、また適切な圧縮特性X(ib)の生成が可能となる。
また、圧縮特性生成部22は、次のように圧縮特性X(ib)を生成してもよい。図8は、実施形態のダイナミックレンジ圧縮部における他の圧縮特性を説明するための図である。図8(A)は、圧縮特性X(ib)を示し、その横軸は、圧縮前の画素値ib(ベース成分画像Lの画素値ib)であり、その縦軸は、圧縮後の画素値ia(圧縮ベース成分画像Lsの画素値ia)である。図8(B)は、圧縮特性生成用画像Sのヒストグラム(度数分布図)であり、その横軸は、画素値ibの階級であり、その縦軸は、画素値ibの度数である。
本実施形態の他の圧縮特性X(ib)は、圧縮特性生成用画像Sにおける画素値のヒストグラムを用いることによって生成される。例えば、圧縮特性X(ib)は、圧縮特性生成用画像Sに基づいてヒストグラム均等化(ヒストグラムイコライゼーション)法によって求められる。ヒストグラムイコライゼーション法は、大略、圧縮特性生成用画像Sのヒストグラムが求められ、この圧縮特性生成用画像Sのヒストグラムから累積度数分布が求められ、累積度数分布の縦軸が圧縮後の画素のとり得る値の範囲に正規化される。例えば、圧縮特性生成用画像Sのヒストグラムが図8(B)に示す分布の場合では、圧縮特性X(ib)は、図8(A)に示す曲線となる。背景技術で前述した特許文献6では、入力画像Iに対してヒストグラムイコライゼーション法が適用されたが、本実施形態では、圧縮特性生成用画像Sに対してヒストグラムイコライゼーション法が適用される。
このように公知のヒストグラムイコライゼーション法を用いることによって圧縮特性X(ib)が圧縮特性生成部22によって生成されるので、圧縮特性生成部22を簡素に構成することができ、また適切な圧縮特性X(ib)の生成が可能となる。
ここで、ダイナミックレンジ圧縮部15に入力される入力画像Iのダイナミックレンジは、任意でよいが、ダイナミックレンジ圧縮部15は、広ダイナミックレンジの入力画像Iが入力される場合に好適に機能する。
この広ダイナミックレンジの入力画像Iは、例えば、次のように生成される。まず、制御部6がレンズ部1および撮像センサ2の露出を制御することによって、露出量(露光量)の異なる複数の画像(多重露光画像)が撮影される。そして、広ダイナミックレンジ画像生成部(広DR画像生成部)14Aで複数の画像に当該画像の露出に反比例したゲインをかけて複数の画像が加算され、広ダイナミックレンジの画像が生成される。例えば、露出1、1/2、1/4の3枚の画像が撮影され、露出1の画像にゲイン1がかけられ、露出1/2の画像にゲイン2がかけられ、露出1/4の画像にゲイン4がかけられ、そして、各ゲインをかけた各露出の画像が加算され、広ダイナミックレンジの画像が生成される。この広DR画像生成部14Aは、AD変換部4より後段であって画像処理部5のDR圧縮部15より前段に配置される。図1には、広DR画像生成部14AがDR圧縮部15の前段に配置される例が示されている。
また例えば、この広ダイナミックレンジの入力画像Iは、次のように生成される。図9は、ニー特性の撮像センサにおける光電変換特性および光電変換特性の伸張を示す図である。図9の横軸は、被写体輝度であり、その縦軸は、画素値である。図9における実線は、撮像センサ2自体の光電変換特性を示し、その一点鎖線は、高輝度範囲の光電変換特性が低輝度範囲の光電変換特性の延長線上に乗るように変換された光電変換特性を示す。まず、撮像センサ2には、光電変換特性がニー特性の撮像センサが用いられる。ニー特性の撮像センサでは、被写体輝度Dと撮像センサ2の画素値iとの対応関係を示す光電変換特性が予め設定された所定の閾値Dthで低輝度範囲の第1光電変換特性と高輝度範囲の第2光電変換特性とに二分されている。被写体輝度Dが0から所定の閾値Dthまでの低輝度範囲内である場合には、第1傾きで被写体輝度Dが画素値iに光電変換され、被写体輝度Dが所定の閾値Dthから撮像センサの光電変換可能な最大値Dmaxまでの高輝度範囲内である場合には、被写体輝度Dthで画素値iが連続するように、そして、第1傾きよりも小さい第2傾きで被写体輝度Dが画素値iに光電変換される。すなわち、高輝度範囲の光電変換特性が低輝度範囲の光電変換特性よりも圧縮されている。図9に示す例では、第1傾きが1とされ、第2傾きがa3(0<a3<1)とされている。このようなニー特性の撮像センサ2で撮影された画像は、広ダイナミックレンジ画像生成部(広DR画像生成部)14Bで高輝度範囲の光電変換特性が低輝度範囲の光電変換特性の延長線上に乗るように変換され、伸張され、広ダイナミックレンジの画像が生成される。より具体的には、広輝度範囲の光電変換特性がi=a3×D+b3(b3=ith−a3×Dth)で表される場合では、画素値iが0から所定の閾値Dthに対応する画素値ithまでは、撮像センサ2の画素値iがそのまま採用され、画素値iが画素値ithから最大値Dmaxに対応する画素値imaxまでは、撮像センサ2の画素値iが(i−b3)/a3に変換され、広ダイナミックレンジの画像が生成される。この広DR画像生成部14Bは、AD変換部4より後段であって画像処理部5のDR圧縮部15より前段に配置される。図1には、広DR画像生成部14BがDR圧縮部15の前段に配置される例が示されている。
また例えば、この広ダイナミックレンジの入力画像Iは、次のように生成される。図10は、リニアログ特性の撮像センサにおける光電変換特性および光電変換特性の伸張を示す図である。図10の横軸は、被写体輝度であり、その縦軸は、画素値である。図10における実線は、撮像センサ2自体の光電変換特性を示し、その一点鎖線は、高輝度範囲の光電変換特性が低輝度範囲の光電変換特性の延長線上に乗るように変換された光電変換特性を示す。まず、撮像センサ2には、光電変換特性がリニアログ特性の撮像センサが用いられる。リニアログ特性の撮像センサでは、被写体輝度Dと撮像センサ2の画素値iとの対応関係を示す光電変換特性が予め設定された所定の閾値Dthで低輝度範囲の第1光電変換特性と高輝度範囲の第2光電変換特性とに二分されている。被写体輝度Dが0から所定の閾値Dthまでの低輝度範囲内である場合には、被写体輝度Dが画素値iに線形で光電変換され、被写体輝度Dが所定の閾値Dthから撮像センサの光電変換可能な最大値Dmaxまでの高輝度範囲内である場合には、被写体輝度Dthで画素値iが連続するように、そして、被写体輝度Dが画素値iに対数で光電変換される。すなわち、高輝度範囲の光電変換特性が低輝度範囲の光電変換特性よりも圧縮されている。図10に示す例では、低輝度範囲における線形の第1光電変換特性がi=Dとされ、高輝度範囲における対数の第2光電変換特性がi=α×ln(D)+β(β=ith−α×ln(Dth))とされている。このようなリニアログ特性の撮像センサ2で撮影された画像は、広ダイナミックレンジ画像生成部(広DR画像生成部)14Cで高輝度範囲の光電変換特性が低輝度範囲の光電変換特性の延長線上に乗るように変換され、伸張され、広ダイナミックレンジの画像が生成される。より具体的には、第1および第2光電変換特性が上記のように表される場合では、画素値iが0から所定の閾値Dthに対応する画素値ithまでは、撮像センサ2の画素値iがそのまま採用され、画素値iが画素値ithから最大値Dmaxに対応する画素値imaxまでは、撮像センサ2の画素値iがexp((i−β)/α)に変換され、広ダイナミックレンジの画像が生成される。この広DR画像生成部14Cは、AD変換部4より後段であって画像処理部5のDR圧縮部15より前段に配置される。図1には、広DR画像生成部14CがDR圧縮部15の前段に配置される例が示されている。
広ダイナミックレンジの入力画像Iは、この他、公知の方法、例えば、前記特許文献1ないし特許文献4のいずれかに開示の方法で得られたものであってもよい。
以上のように、本実施形態における画像処理装置を備えた撮像装置CAでは、入力画像Iから遮断周波数が互いに異なることで互いに異なる空間周波数成分から成り互いに異なる解像度(サイズ、画素数)の複数の平滑画像が生成され、圧縮特性X(ib)がこれら複数の平滑画像のうちのいずれかに基づいて生成されるので、より適切な圧縮特性X(ib)が設定されるから、例えばいわゆる白飛びや黒つぶれ等の無い背景技術より高画質で入力画像Iのダイナミックレンジの圧縮が可能となる。そして、ベース成分画像生成部(ベース成分画像生成工程(S1))と圧縮特性生成部22(圧縮特性生成工程(S1))とは、共に、この平滑画像を用いるので、平滑画像生成部(平滑画像生成工程)は、それら各構成の前処理部として兼用することができるから、入力画像Iやベース成分画像Lに基づいて圧縮特性X(ib)を生成するよりも簡素に画像処理装置および画像処理方法を構成することが可能となる。
特に、本実施形態では、ダイナミックレンジ圧縮部15は、入力画像Iの特徴を反映した、言い換えれば、ベース成分画像Lあるいはその生成過程の中間ベース成分画像の特徴を反映した圧縮特性生成用画像Sに基づいて圧縮特性X(ib)を生成し、この圧縮特性X(ib)を用いてベース成分画像Lを圧縮し、このベース成分画像Lを圧縮した圧縮ベース成分画像Lsを用いて入力画像Iのダイナミックレンジを圧縮した画像を生成する。このため、ベース成分画像Lが適切に圧縮され、入力画像Iのダイナミックレンジを圧縮したより高画質な画像が得られる。
なお、上述の実施形態において、入力画像ぼかし処理部21は、図2に示す構成に限定されるものではない。例えば、前記特許文献6に開示の画像処理装置を利用することも可能である。この特許文献6に開示の画像処理装置は、当該特許文献6に詳述されているが、大略、次のように構成され、動作する。
図11は、実施形態のダイナミックレンジ圧縮における入力画像ぼかし処理部の他の構成を示す図である。図11において、入力画像ぼかし処理部21Bは、複数のイプシロンフィルタ120、120A、120Bと、複数の線形ローパスフィルタ(線形LPF)121A、121Bと、複数のダウンサンプリング器122A、122Bと、複数のアップサンプリング器123A、123Bと、複数の補間器124A、124Bと、複数の合成器125A、125Bとを備えて構成されている。
入力画像I1は、第1イプシロンフィルタ120と第1線形LPF121Aとに分割入力される。第1イプシロンフィルタ120では、入力画像I1に対して所定の非線形フィルタリング処理を行い、最も平滑化の度合いが小さく、解像度の最も高い第1平滑画像RH0を生成し、この第1平滑画像RH0を第2合成器125Bに出力する。第1線形LPF121Aは、後段の第1ダウンサンプリング器122Aでのダウンサンプリング処理においてエリアシングの発生を回避するためのものであり、ダウンサンプリングのレートに応じて適当なフィルタ処理を施す。第1LPF121Aの出力は、第1ダウンサンプリング器122Aに入力され、第1ダウンサンプリング器122Aで予め設定された所定のレートによりダウンサンプリング処理が施される。第1線形LPF121Aおよび第1ダウンサンプリング器122Aによって縮小された画像I2は、第2イプシロンフィルタ120Aおよび第2線形LPF121Bに入力される。
第2イプシロンフィルタ120Aおよび第2線形LPF121Bは、入力画像Iの大きさが異なる以外、すなわち、入力画像Iとして第1ダウンサンプリング器122Aからの画像I2が入力される以外、それぞれ、第1イプシロンフィルタ120および第1線形LPF121Aと実質的に同じ働きをする。すなわち、第2イプシロンフィルタ120Aでは、第1ダウンサンプリング器122Aからの入力画像I2に対して所定の非線形フィルタリング処理を行って第2平滑画像RH1を生成し、この第2平滑画像RH1を第1合成器125Aに出力する。第2線形LPF121Bでは、後段の第2ダウンサンプリング器122Bでのダウンサンプリングのレートに応じて適当なフィルタ処理を施す。第2LPF121Bの出力は、第2ダウンサンプリング器122Bに入力され、第2ダウンサンプリング器122Bで予め設定されたレートによりダウンサンプリング処理が施される。これよって縮小された画像I3は、第3イプシロンフィルタ120Bに入力される。
第3イプシロンフィルタ120Bも第1イプシロンフィルタ120と実質的に同じ働きをする。すなわち、第3イプシロンフィルタ120Bでは、第2ダウンサンプリング器122Bからの入力画像I3に対して所定の非線形フィルタリング処理を行って第3平滑画像RH2を生成し、この第3平滑画像RH2を第1アップサンプリング器123Aに出力する。
第1アップサンプリング器123Aでは、第3平滑画像RH2に対して、第2ダウンサンプリング器122Bと同じレートでアップサンプリング処理を施す。すなわち、第2ダウンサンプリング器122Bにおけるダウンサンプリングレートが1/Nである場合、第1アップサンプリング器123Aでは、隣接する画素の間に値が0であるN−1個の画素を挿入する処理を行う。第1補間器124Aでは、アップサンプリング処理の施された画像に対して適当な補間処理を行うことによって中間合成画像を生成し、第1合成器125Aに出力する。第1合成器125Aでは、エッジ強度Gの算出を行い、それに基づいて第2イプシロンフィルタ120Aからの第2平滑画像RH1と第1補間器124Aからの中間合成画像とを合成して、第1合成平滑画像を生成し、第1合成平滑画像を第2アップサンプリング器123Bに出力する。
第2アップサンプリング器123Bおよび第2補間器124Bは、それぞれ、第1アップサンプリング器123Aおよび第1補間器124Aと実質的に同じ働きをする。これらによって生成された中間合成画像は、第2合成器125Bに出力される。第2合成器125Bは、第1合成器125Aと実質的に同じ働きをする。すなわち、第2合成器125Aは、第1イプシロンフィルタ120から出力された第1平滑画像RH0と第2補間器124Bから出力された中間合成画像とを合成して、ベース成分を表す最終的なベース成分画像Lとして第2合成平滑画像を生成し、出力する。
このように入力画像ぼかし処理部21Bでは、入力画像I1を分割入力し、その分割された複数の入力画像Iのそれぞれに対して平滑化を行い、平滑化の度合いの異なる複数の平滑画像RH0、RH1、RH2を生成する。そして、ベース成分画像生成部21Bでは、これら複数の平滑画像RH0、RH1、RH2に基づいてエッジ強度Gを算出し、さらにこの算出されたエッジ強度Gに基づいて、複数の平滑画像RH0、RH1、RH2を合成することによって、ベース成分を表す最終的なベース成分画像Lを生成する。
そして、この入力画像ぼかし処理部21Bでは、第3イプシロンフィルタ120Bの入力または出力が圧縮特性生成用画像Sとされる。あるいは、第1ダウンサンプリング器122Aの出力が圧縮特性生成用画像Sとされる。このように複数の圧縮特性生成用画像Sのうちのいずれか1つが選択され、入力画像ぼかし処理部21Bから圧縮特性生成部22へ出力される。このため、より適切な圧縮特性の生成が可能となる。
また、上述の入力画像ぼかし処理部21Aと同様に、複数の圧縮特性生成用画像Sの空間周波数に基づいて複数の圧縮特性生成用画像Sのうちのいずれか1つが選択されるように構成されてもよい。このように構成されることによって、適切な圧縮特性生成用画像Sに基づいて圧縮特性が生成されるので、より適切な圧縮特性の生成が可能となる。
なお、上述の実施形態では、入力画像I、ベース成分画像Lおよび圧縮ベース成分画像Lsに基づいて圧縮画像Isが生成される一構成例として、DR圧縮部15において、入力画像Iとベース成分画像Lとに基づいて反射率成分画像Rが生成され、圧縮ベース成分画像Lsと反射率成分画像Rとに基づいて圧縮画像Isが生成される構成を挙げたが、これに限定されるものではなく、他の構成でもよい。例えば、入力画像Iは、I=L×Rであり、圧縮画像Isは、Is=Ls×Rであるから、Is=(Ls/L)×Iとなるので、DR圧縮部15において、圧縮ベース成分画像Lsがベース成分画像Lで除算され、その除算結果が入力画像Iと乗算される構成でもよい。この場合では、DR圧縮部15は、入力画像ぼかし処理部21と、圧縮特性生成部22と、ベース成分画像圧縮部23と、入力画像I、ベース成分画像Lおよび圧縮ベース成分画像Lsが入力され、圧縮ベース成分画像Lsをベース成分画像Lで除算した後に、その除算結果に入力画像Iを乗算する除乗算部とを備えて構成される。
本発明を表現するために、上述において図面を参照しながら実施形態を通して本発明を適切且つ十分に説明したが、当業者であれば上述の実施形態を変更および/または改良することは容易に為し得ることであると認識すべきである。従って、当業者が実施する変更形態または改良形態が、請求の範囲に記載された請求項の権利範囲を離脱するレベルのものでない限り、当該変更形態または当該改良形態は、当該請求項の権利範囲に包括されると解釈される。