JP4802333B2 - 画像合成における露光比決定方法 - Google Patents

Description

本発明は、ダイナミックレンジ拡大のための画像合成における露光比決定方法に関する。

明暗の差の大きい被写体をカメラで撮影し、撮影した画像を表示すると、表示された画像に明るい部分の白とびや暗い部分の黒つぶれが見られることがある。これはカメラが撮影可能な輝度の範囲、いわゆるダイナミックレンジが不足していることにより生じている。

従来、ダイナミックレンジを拡大するため、大きくわけてふたつの工夫が行われている。一つは、撮像素子そのものに手を加える手法である。例えば画素の半分を高輝度用、残りの半分を低輝度用とし、双方の画像出力を回路またはメモリ上で合成する手法である。対数増幅器を読出し用ＣＣＤ（Charge Coupled Devices）の前につけている例もある。

ダイナミックレンジを拡大するためのもう一の工夫は、通常の撮像素子を用いて露光時間の異なる複数の画像を撮影し、これを回路またはメモリ上で合成する手法である。このような画像の合成によってダイナミックレンジを拡大させる場合、各画像の露光時間比は合成された画像の画質を左右する重要なパラメータである。

ここで、画像合成によるダイナミックレンジの拡大について、具体的に説明する。まず、低輝度領域に露光を合わせた画像（この画像を以下、画像Ａとする）と、高輝度領域に露光を合わせた画像（この画像を以下、画像Ｂとする）を撮影する。画像Ａの露光時間は、画像Ｂの露光時間のｋ倍である。

撮影した画像Ａ、画像Ｂの両方の画像の入力輝度に対する信号値をグラフにすると図６に示すとおりである。図６に示すように、画像Ｂは撮影シーンの全輝度範囲に対して飽和のない信号が得られているが、画像Ａはある輝度以上になると信号が飽和している。画像Ｂの入力輝度に対する信号値の傾きをｍとすると、画像Ａの傾きはｋ×ｍである。

そして、画像Ａから低輝度部の情報を、画像Ｂから高輝度部の情報をそれぞれ取り出して合成画像（この画像を以下、画像Ｃとする）を作成する。この場合、画像Ａのうちの飽和している信号部分を、画像Ｂの信号に画像Ａ、Ｂの露光時間の比である露光比ｋをかけ、傾きをｋ×ｍとした画像で置き換えて合成することにより、画像Ｃが得られる。

以上のようにして、全入力輝度に対し、信号が飽和していないダイナミックレンジの広い画像が得られる。

しかしながら、合成された画像Ｃの元の２つの画像（画像Ａ、Ｂ）の境目、すなわち、図６に示した入力輝度Ｘ１に相当する領域に、擬似的な輪郭が生じることが多い。これを回避するための従来技術として、例えば特許文献１，２，３に開示されている技術があった。
特開平７−１３１７０８号公報 特開平８−２１４２１１号公報 特開２００４−４８４４５号公報

上記特許文献１には、擬似輪郭発生の原因を画像合成時の２枚の画像の輝度レベル（上記図６での傾きに相当）のずれにあるとし、このずれをなくすために合成する画像信号を解析し、より正確な輝度レベルと合成するときの入力輝度を算出するようにした画像合成装置が開示されている。しかし、この画像合成装置によると、擬似輪郭は減少するものの、まったくなくなるというわけではない。

また、特許文献２には、撮影した画像の信号レベルのヒストグラムを解析し、その結果から２枚目の撮影のためのパラメータ、レンズの絞り値とシャッター時間を決定して撮影するようにした画像合成装置が開示されている。しかし、この画像合成装置では、レンズの絞りが変わるため、１枚目と２枚目の画像の被写界深度が異なってしまい、画像の合成境界付近に不自然さが見られるようになってしまう。また、発生するであろう擬似輪郭については、まったく考慮されていない。

さらに、特許文献３には、画像を滑らかにつなぐために合成境界領域についてローパスフィルター処理を行い、その後、輪郭強調処理を行うようにした画像合成装置および画像合成方法が開示されている。しかし、この画像合成装置および画像合成方法では、高い空間周波数を有する被写体の場合、合成された画像に不自然さが発生するおそれがあった。

以上のように、上述した従来のダイナミックレンジ拡大のための画像合成技術では、合成画像の境界（合成境界）付近における擬似輪郭または不自然さの発生が解消されていないという課題があった。

そこで、本発明は上記課題を解決するためになされたもので、ダイナミックレンジ拡大のための画像合成を行う場合の合成される２つの画像の露光比を決める露光比決定方法において、合成境界付近における擬似輪郭および不自然さの双方の発生を解消できるようにすることを目的とする。

上記課題を解決するため、本発明は、ダイナミックレンジ拡大のために画像合成を行う場合の合成される２つの画像の露光比を決める露光比決定方法であって、高輝度部が飽和しないように露光量を調整して撮影した画像について、各信号の頻度分布を作成し、作成した頻度分布と、ランダムノイズの差を視覚的に認識できる認識限界面積との関係から、２つの画像の合成境界における擬似輪郭の発生を抑制可能な信号範囲を求め、その求めた信号範囲に収まる２つの画像の輝度境界値を与える露光比のうち、各信号に含まれるランダムノイズの均等色空間上での変化量の総和として定義される評価値を最小とする露光比を最適露光比として決定する露光比決定方法を特徴とする。

上記の評価値が小さいほど、画像全体としてランダムノイズによる均等色空間上での変化が少ないことになるので、評価値を最小とする露光比を最適露光比として決定することによって、擬似輪郭が認識され難く、しかも色再現性への影響も小さい露光比が得られる。

また、上記評価値は、ランダムノイズの均等色空間上での変化量を考慮した重み付けを行える合成評価関数を用いて定義されているようにすることができる。

ランダムノイズは、絶対値ではなく基準となる信号値に対する相対的な量として知覚されるため、上記のような合成評価関数を用いることにより、評価値にランダムノイズ特性による均等色空間を考慮した重み付けを行うことができる。

さらに、認識限界面積よりも頻度の低い信号値の範囲を信号範囲とすることができる。

このような信号範囲に含まれる信号値を合成境界に用いると、合成境界部分の擬似輪郭を抑制することが可能となる。

そして、上記いずれの露光比決定方法についても、ランダムノイズの半値幅σおよび定数ａ，ｂを用いた以下の数式にしたがい認識限界面積を求めることができる。

以上詳述したように、本発明によれば、ダイナミックレンジ拡大のための画像合成を行う場合の合成される２つの画像の露光比を決める露光比決定方法において、合成境界付近における擬似輪郭および不自然さの双方の発生を解消できるようになる。

以下、本発明の実施の形態について説明する。なお、同一要素には同一符号を用い、重複する説明は省略する。

ダイナミックレンジ拡大のために画像合成を行う場合において、合成される２つの画像の露光比を大きくとった場合、合成境界を境にランダムノイズ特性が急激に変化する。そのため、連続的に信号が変化する領域に合成境界が存在すると、ランダムノイズ特性の急変により、合成境界に擬似輪郭が発生する可能性がある。このように、合成境界付近に擬似輪郭が発生する原因は、合成境界を境にランダムノイズ特性が急変することにある。

したがって、合成境界付近における擬似輪郭の発生を回避するには、合成境界の前後でランダムノイズが視覚的に認識できる限界（本実施の形態では、これを認識限界面積とする）を求める必要があり、本実施の形態では、この認識限界面積を後述するようにして定量的に把握するようにしている。

そして、本実施の形態では、合成境界付近における擬似輪郭および不自然さの双方の発生を解消可能な露光比で、撮影するシーン（撮影シーン）に適応した最適な露光比を最適露光比といい、最適露光比を決定する露光比決定方法は、以下の手順１〜手順６を有している。

手順１ まず、撮影シーンの高輝度部が飽和しないように露光時間を選んで露光量を調整し、撮像装置で画像を一枚撮影する。この撮像装置は、例えば、単板面順次方式のカラー撮像装置を用いることができる。また、この撮像装置では、３バンドの出力信号値を３×３の変換Ｍａｔｒｉｘを用いてＸＹＺ三刺激値を取得している。

手順２ 次に手順１で撮影した画像（高輝度画像ともいい、図６の画像Ｂに相当する画像）についての撮像装置の出力信号（撮影した画像を構成するための信号）の頻度分布（ヒストグラムＨｉｓｔ（Ｓｉｇ））を作成する。

手順３ 擬似輪郭の認識限界面積を後述のようにして求める。

手順４ 次に、手順２で作成したヒストグラムＨｉｓｔ（Ｓｉｇ）に手順３で求めた認識限界面積を重ねた上で、ヒストグラムと認識限界面積との関係から、後述するようにして、合成してもランダムノイズを認識することがなく、合成境界において擬似輪郭の発生を抑制可能な信号の範囲（境界信号範囲という）を求める。

手順５ そして、手順４で求めた境界信号範囲内に収まる合成露光比（図６の入力輝度Ｘ１に相当する入力輝度の境界値を与える露光比）を用いて、ランダムノイズによる均等色空間上での変化量を考慮した重み付けを行える後述する合成評価関数ΔＥｉ（Ｓｉｇ）を求める。ここで、ｉは擬似輪郭の発生しないｉ番目の露光比を示している。

手順６ それぞれの合成露光比における合成評価関数を用いて、式（１）より評価値sumＥｉを求め、評価値sumＥｉの値が最も小さくなる露光比を選択し、選択した露光比を最適露光比として決定する。

式（１）に示すように、この評価値sumＥｉは、合成評価関数ΔＥｉ（Ｓｉｇ）と、合成対象となる画像のヒストグラムＨｉｓｔ（Ｓｉｇ）により定義されるものである。合成評価関数は画像合成時におけるランダムノイズの色視覚特性への影響の与え方を示すもので、詳しくは後述するが、ランダムノイズにＣＩＥＬＡＢの均等色空間（ＣＩＥＬＡＢ色空間）を考慮した重み付けを行ったものである。

式（１）は、各画素の信号に含まれるノイズの、ＣＩＥＬＡＢ色空間上での変化量について、全画素の総和を求めることを意味している。つまり、評価値sumＥｉが小さいほど、画像全体としてランダムノイズによる均等色空間上での変化が少ないということになる。したがって、この評価値sumＥｉが小さいほど、画像合成時の均等色空間上でのランダムノイズの影響が小さいため、擬似輪郭が認識され難くなり、しかも色再現性への影響も小さくなるということになる。

したがって、求めた評価値sumＥｉの最も値が小さくなる露光比を求めれば、その露光比が撮影シーンに適応した最適な露光比（最適露光比）ということになる。

ここで、上述の合成評価関数について説明する。撮影装置のランダムノイズの半値幅σが、信号値Ｓｉｇに対し、図１のような特性を示したとする。なお、図１では、σは信号値Ｓｉｇを変数とした直線（図１に示す直線Ｐ１）として近似できるとしている。

ランダムノイズは、絶対値ではなく基準となる信号値に対する相対的な量として知覚されるため、このノイズ特性（ランダムノイズ特性）による均等色空間を考慮した重み付けを行う。

ランダムノイズが基準となる信号値に対し十分に小さいとすれば、ランダムノイズが基準となる信号に加わった場合のＣＩＥＬＡＢ色空間における変化量ΔＥはＣＩＥＬＡＢ色空間への変換式の微分で与えられる。そのため、変化量ΔＥはＸＹＺ三刺激値からの変換項である１／３乗項を用いて下記の式（２）で表すような傾向を示すといえる。

上記式（２）より、ランダムノイズの均等色空間上での変化量を考慮した重み付けが可能となる。

次に、式（２）より得られる評価関数を基本形とし、これを基に各露光比を用いた場合の合成画像におけるΔＥを作成する。こうして、合成評価関数ΔＥｉ（Ｓｉｇ）を求めることができる。

合成される画像は、高輝度部と低輝度部でそれぞれ別の画像信号を参照するため、ランダムノイズについても合成境界を挟んで、露光量の異なる画像の特性を引き継ぐことになる。そのため、合成により得られる画像のＣＩＥＬＡＢ色空間におけるランダムノイズ特性は図２に示すようになる。図２に示すように、大きい露光比とした場合ほどノイズによる影響を改善する信号範囲は狭くなるが、ＣＩＥＬＡＢ色空間上での変化量をより抑制することが可能となる。

続いて、合成境界における擬似輪郭の認識限界について説明する。本実施の形態では、合成境界の前後でランダムノイズが視覚的に認識できる限界を調べるにあたり、ディスプレイにおける輝度ムラの認識限界に関する文献１（森由美、田村徹、吉武良治、森口喜代、棚橋高成、辻智、「認識限界コントラストに基づいた輝度ムラの定量化手法」、映像情報メディア学会誌、vol.56，no.11，pp.1837-1840，2002）を参考にした。

文献１より、均一背景中に呈示される輝度ムラの呈示面積の変化に対する認識限界コントラストは、下記の式（３）に示すように、輝度ムラの呈示面積Ｓの１／３乗に比例して変化する。ここで、Ｌは背景輝度を示し、ΔＬはＬに対する輝度ムラの差を示している。ａ，ｂは主観評価実験（具体的には後述する）より求められる定数である。

この式（３）に対し、本実施の形態では、輝度ムラの差ΔＬをランダムノイズの半値幅σに置き換え、呈示面積Ｓを合成境界信号の頻度と置き換えても同様の関係式が得られると仮定している。

そして、背景輝度の変化に対し、認識限界コントラストがウェーバー則（基礎刺激Ｌによらず刺激の弁別閾はΔＬ／Ｌ＝一定）に従い一定であるとすれば、式（３）から式（４）が得られる。式（４）より、各基準信号における擬似輪郭の認識限界面積Ｓが求められる。

式（４）によって認識限界面積を求めると、手順２で求めた撮影シーンのヒストグラムＨｉｓｔ（Ｓｉｇ）を用い次のようにして境界信号範囲を求めることができる。例えば、ヒストグラムＨｉｓｔ（Ｓｉｇ）に認識限界面積を重ねた結果、図３に示すようになったとする。

この場合、認識限界面積よりも頻度の低い信号値（Ｓｉｇ０．１以上の信号値）を合成境界に用いるとすると、合成境界部分の擬似輪郭を抑制することが可能となるから、この場合はＳｉｇ０．１以上の信号値が境界信号範囲になる。

次に、認識限界面積を求めるための主観評価実験について説明する。主観評価実験は、例えば以下の実験条件によって行うことができる。
Display ： ２１インチ、広色域ＬＣＤ（Liquid Crystal Display）
画素数 ： １６００×１２００
視距離 ： １ｍ
水平面照度 ： １２４ｌｘ（室内照明下）
被験者 ： ５名

使用するノイズ画像は、信号値Ｓｉｇに半値幅σのランダムノイズを加え、マトリクス変換とガンマ変換（γ＝２．２）によりＲＧＢ階調値に変換して作成した。

評価には調整法１（大串健吾，他，「画質と音質の評価技術」、昭晃堂，１９９１）を用い、１０種のノイズ面積についてノイズの分散量を徐々に上げる、または下げる方向に調整しながら、各被験者にノイズがちょうど認識できなくなるレベルを指示させた。また、実験は各条件の評価を３回ずつ試行し、その平均を測定値とした．

この実験結果は図４に示すとおりである。図４では、プロット点が測定点を表し、上述した文献１に従い、直線近似を行っている。図４に示す近似直線Ｐ２より、式（４）のａ，ｂが決まる。そのため、決定されたａ，ｂを用い、式（４）により、認識限界面積を求めることができる。

そして、本発明の有効性を確認するため、図示しない撮影シーンに対して、本実施の形態の露光比決定方法により最適露光比を決定し、その最適露光比にしたがって画像の合成を行った。各露光比の評価結果は図５に示すとおりである。図５に示す数値は各バンド（Ｓ１、Ｓ２、Ｓ３）におけるsumＥｉを表している。

図５において、各バンドにおける最小値を表示している欄に網掛けを施し、擬似輪郭が発生すると判断された数値には取り消し線を表示している。

sumＥｉの最小値はバンドＳ１、Ｓ２、Ｓ３毎にそれぞれ６４倍、３２倍、６４倍の露光比を指している。ところが、これらは上述した主観評価実験の結果で擬似輪郭が発生すると判断されたために、取り消し線の表示されていない範囲での最小値である１６倍、１６倍、８倍が撮影シーンに対する最適露光比として決定されている。

こうして求められた最適露光比を用いて画像の合成を行うと、図示はしないが、原画像に対して、低輝度部でノイズが少なく、しかも合成境界付近の擬似輪郭が無い自然で鮮明な合成画像を得ることができる。

以上詳述したように、本実施の形態における露光比決定方法により決定した最適露光比を用いて画像の合成を行うと、原画像に対し低輝度部でノイズが少なく、しかも合成境界の擬似輪郭が無く自然で鮮明な合成画像を得ることができる。
また、上記露光比決定方法はランダムノイズという物理現象と人の平均的な視覚特性に基づいているため汎用性の高いものである。

以上の説明は、本発明の実施の形態についての説明であって、この発明を限定するものではなく、様々な変形例を容易に実施することができる。又、各実施形態における構成要素、機能、特徴あるいは方法ステップを適宜組み合わせて構成される装置又は方法も本発明に含まれるものである。

ランダムノイズ特性の一例を示す図である。 ＣＩＥＬＡＢ色空間を考慮した合成評価関数の一例を示す図である。 画像の信号分布と認識限界面積との関係の一例を示す図である。 主観評価実験の結果の一例を示す図である。 本実施の形態の露光比選択方法による評価結果の一例を示す図である。 撮影した２つの画像の入力輝度に対する信号値を示すグラフである。

符号の説明

Ｐ１…直線、Ｐ２…近似直線

Claims (4)

1. ダイナミックレンジ拡大のために画像合成を行う場合の合成される２つの画像の露光比を決める露光比決定方法であって、
   高輝度部が飽和しないように露光量を調整して撮影した画像について、各信号の頻度分布を作成し、
   前記作成した頻度分布と、ランダムノイズの差を視覚的に認識できる認識限界面積との関係から、前記２つの画像の合成境界における擬似輪郭の発生を抑制可能な信号範囲を求め、
   その求めた前記信号範囲に収まる前記２つの画像の輝度境界値を与える露光比のうち、前記各信号に含まれるランダムノイズの均等色空間上での変化量の総和として定義される評価値を最小とする露光比を最適露光比として決定する露光比決定方法。
2. 前記評価値は、ランダムノイズによる均等色空間上での変化量を考慮した重み付けを行える合成評価関数を用いて定義されている請求項１記載の露光比決定方法。
3. 前記認識限界面積よりも頻度の低い信号値の範囲を前記信号範囲とする請求項１または２記載の露光比決定方法。
4. ランダムノイズの半値幅σおよび定数ａ，ｂを用いた以下の数式にしたがい前記認識限界面積を求める請求項１〜３のいずれか一項記載の露光比決定方法。
   

   

Images