JP4550016B2

JP4550016B2 - 輝度変換装置

Info

Publication number: JP4550016B2
Application number: JP2006168438A
Authority: JP
Inventors: 一永三宅; 眞人西澤; 俊幸中嶋
Original assignee: Panasonic Corp; Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Corp; Panasonic Holdings Corp
Priority date: 2006-06-19
Filing date: 2006-06-19
Publication date: 2010-09-22
Anticipated expiration: 2026-06-19
Also published as: JP2007336419A

Description

本発明は、撮像素子より得られる画像に対して輝度変換による補正を施す輝度変換装置に関し、特に、輝度の分布に偏りがあり、コントラストが小さくなっている画像を補正する輝度変換装置に関する。

従来の輝度変換装置は、輝度の分布に偏りがあり、コントラストが小さくなっている画像を補正するために、ヒストグラム平滑化による手法に過補正を防止する手法を追加して、コントラスト強調を行っている。図６はその構成図であり、図７は従来の輝度変換処理の概略説明図である。

図６において、輝度ヒストグラム作成部６０１では、入力画像の各画素位置における輝度のヒストグラムが作成され、その結果は図７（ａ）に示すグラフになる。輝度変換処理の概要としては、当該ヒストグラムを累積した累積曲線が作成され、出力輝度の範囲に収まるように累積値が正規化されて、輝度変換ルックアップテーブル（輝度変換ＬＵＴ）が作成され、当該輝度変換ＬＵＴを用いて入力画像の輝度変換が行われる。図７（ｂ）は輝度変換ＬＵＴを示している。図７（ａ）の輝度ヒストグラムと図７（ｂ）の輝度変換ＬＵＴを比べると、輝度ヒストグラムで高い頻度になる輝度７０１では、輝度変換ＬＵＴ７０２の傾きが大きくなる。したがって、上記の処理により、コントラストを大きくする輝度変換がなされる。

ただし、上記の輝度変換処理では、輝度が一定の画素が広範囲にあると、過剰にコントラストが強調される。そこで、従来の輝度変換装置は、輝度ヒストグラムに上限を設ける輝度ヒストグラムリミット部６０２によって過剰なコントラスト強調を防いでいた。図７（ｃ）はリミットを設けた場合の輝度ヒストグラムを示している。図７（ａ）の輝度ヒストグラムがリミット７０３により制限されて、図７（ｃ）の輝度ヒストグラム７０４になる。輝度変換ＬＵＴ作成部６０３は、リミットがかけられた輝度ヒストグラムを累積して輝度変換ＬＵＴを作成し、これにより、図７（ｃ）の輝度変換ＬＵＴ７０５が作成される。輝度変換部６０４は当該輝度変換ＬＵＴにより入力画像の輝度を変換する。このようにして、過剰なコントラスト強調を防止しつつ、コントラストの改善がなされる。

輝度ヒストグラムを用いる従来の輝度変換装置は、例えば、特許文献１に開示されている。
特開２００１−１１８０６２号公報

しかしながら、従来の輝度変換装置においては、過剰な変換を防ぐ機能を有してはいるが、輝度ヒストグラムに依存した輝度変換を行うため、輝度ヒストグラムの小さい撮影対象を処理したときにコントラストが低下する問題があった。

例えば、図８（ａ）の画像が入力されたとする。この入力画像では、建物の壁面８０１に人物８０２が書かれている。壁面８０１には、輝度ヒストグラムの上限に抵触しない程度にグラデーションが掛かっているとする。このような画像が入力された場合、輝度ヒストグラムは、図８（ｂ）に示すグラフになる。図８（ｂ）において、符号８０３は人物の輝度を示し、符号８０４は建物の壁面部分の輝度を示している。この輝度ヒストグラムを累積して得られる輝度変換ＬＵＴは、図８（ｃ）になる。この輝度変換ＬＵＴを用いると、建物の壁面と人物との輝度差（コントラスト）８０５を減少させしまうことになる。

上記の例に示されるように、従来の輝度変換装置は、輝度変化が小さく輝度が一様な建物の壁面などを背景に、輝度変化が大きく輝度が一様でない人物などが撮影された場合に、人物などのコントラストを低下させてしまうことがある。

本発明は、従来の問題を解決するためになされたもので、その目的は、上記の例のような場合に、輝度が一様な部分のコントラストを下げ、輝度が一様でない部分のコントラストを強調する好適な輝度変換を行うことができる輝度変換装置を提供することにある。

本発明の輝度変換装置は、入力画像の輝度を輝度変換テーブルを用いて変換し出力画像を得る装置であって、前記入力画像の各画素位置におけるエッジ強度を算出するエッジ強度算出部と、前記エッジ強度から各画素位置がエッジであるか否かを判定するエッジ判定部と、前記エッジの数を輝度別に積算して、輝度別のエッジ数を表すエッジヒストグラムを算出する輝度別エッジ頻度算出部と、入力画像の輝度別の画素数を表す輝度ヒストグラムを算出する輝度ヒストグラム算出部と、前記エッジヒストグラムと前記輝度ヒストグラムを用いて、輝度毎にエッジ数を画素数で除算することにより、輝度別のエッジ密度を算出する輝度別エッジ密度算出部と、前記輝度別のエッジ密度を用いて輝度変換ルックアップテーブルを作成する輝度変換ルックアップテーブル作成部と、前記輝度変換ルックアップテーブル作成部により作成された前記輝度変換ルックアップテーブルを使用して入力画像の輝度を変換する輝度変換部と、を備えている。

この構成により、輝度毎にエッジ数を画素数で除算することにより求められた輝度別のエッジ密度に基づいて輝度変換ルックアップテーブル（輝度変換ＬＵＴ）が作成される。輝度変換ＬＵＴの作成では、エッジ密度をコントラストの評価値としてＬＵＴが作成され、より詳細には、エッジ密度の累積曲線を輝度の出力幅に応じて正規化して輝度変換ＬＵＴが作成される。エッジ密度は、輝度が一様な部分では小さくなり、輝度が一様でない部分で高くなる。したがって、エッジ密度から作成した輝度変換ＬＵＴを用いて変換を行うと、輝度が一様な部分のコントラストが小さくなり、輝度が一様でない部分のコントラストが大きくなる。こうして、本発明によれば、従来のように輝度ヒストグラムに依存して輝度を決定する代わりに、輝度の変化量の程度を表すエッジ密度を用いることにより、輝度が一様な部分のコントラストを下げ、輝度が一様な部分のコントラストを強調する好適な輝度変換を行うことができる。

また、本発明の輝度変換装置は、前記エッジ強度が所定の閾強度範囲外である画素位置をエッジから除外するエッジリミット部を備えている。

この構成により、エッジ強度の上限値が設けられ、エッジ強度が上限値を超える画素位置はエッジから除外される。この構成は、逆光などの照明条件下において、非常に明るい部分と非常に暗い部分がある画像が入力された場合に有利である。このような画像が入力されたときに、両部分の境界でエッジが検出されると、両部分間の輝度差を広げる変換がなされてしまう。しかし、本発明によれば、境界のエッジが検出されないので、境界部分の影響を抑えることができ、これにより、各部分におけるコントラストを強調する変換がなされる。したがって、逆光などの照明条件下の画像のコントラスト感が上昇し、鮮明な画像が得られる。

本発明の別の態様は撮像装置であり、この撮像装置は、上述した本発明の輝度変換装置を備え、撮像素子で撮影された画像を前記輝度変換装置で処理する。この態様によっても上述の本発明の利点が得られる。

本発明の別の態様は、入力画像の輝度を輝度変換テーブルを用いて変換し出力画像を得る輝度変換方法であって、前記入力画像の各画素位置におけるエッジ強度を算出し、前記エッジ強度から各画素位置がエッジであるか否かを判定し、前記エッジの数を輝度別に積算して、輝度別のエッジ数を表すエッジヒストグラムを算出し、入力画像の輝度別の画素数を表す輝度ヒストグラムを算出し、前記エッジヒストグラムと前記輝度ヒストグラムを用いて、輝度毎にエッジ数を画素数で除算することにより、輝度別のエッジ密度を算出し、前記輝度別のエッジ密度を用いて輝度変換ルックアップテーブルを作成し、前記輝度変換ルックアップテーブルを使用して入力画像の輝度を変換する。この態様によっても上述の本発明の利点が得られる。

本発明は、輝度の変化量を表すエッジ密度を輝度変換ＬＵＴ作成に使用することにより、輝度が一様な建物の壁面などを背景に輝度が一様でない人物などが撮影された場合に、輝度が一様な部分のコントラストを下げ、輝度が一様でない部分のコントラストを強調する好適な輝度変換を行うことができるという効果を有する輝度変換装置を提供できる。

以下、本発明の実施の形態の輝度変換装置について、図面を用いて説明する。

（実施の形態１）
本発明の第１の実施の形態における輝度変換装置の構成を図１に示す。図１の輝度変換装置は、撮像素子と共に撮像装置に設けられ、撮像素子からの入力画像である静止画を処理して輝度を変換するように構成される。

図１において、本実施の形態の輝度変換装置は、入力画像の各画素位置におけるエッジ強度を出力するエッジ強度算出部１００と、エッジ強度からエッジを判定するエッジ判定部１０１と、エッジ判定部１０１により判定されたエッジの数を輝度別に積算してエッジヒストグラムを算出する輝度別エッジ頻度算出部１０２と、入力画像の輝度ヒストグラムを算出する輝度ヒストグラム算出部１０３と、エッジヒストグラムと輝度ヒストグラムを用いて、輝度毎にエッジ数を画素数で除算することで輝度別にエッジ密度を算出する輝度別エッジ密度算出部１０４と、エッジ密度をコントラスト強調の評価値とする輝度変換ＬＵＴを作成する輝度変換ＬＵＴ作成部１０５と、その輝度変換ＬＵＴを使用して入力輝度を変換する輝度変換部１０６とを有する。

上記構成において、エッジ強度算出部１００は、入力画像の各画素位置における輝度と周辺画素の輝度からエッジ強度を算出する。エッジ強度は、各々の着目画素における輝度と周辺画素の輝度の差分で表される。エッジ判定部１０１は、所定の閾値以上のエッジ強度をエッジ強度算出部１００から受け取った場合に、着目画素がエッジであると判定する（この処理おいて、エッジとは、エッジ強度が閾値以上である画素である）。輝度別エッジ頻度算出部１０２は、輝度別のエッジ数を表すエッジヒストグラムを作成する。

輝度ヒストグラム算出部１０３は、入力画像の輝度別に画素数を算出して、輝度ヒストグラムを作成する。

輝度別エッジ密度算出部１０４は、その輝度ヒストグラムとエッジヒストグラムより、同じ輝度のエッジ数を画素数で割ることで、輝度別エッジ密度を算出する。こうして得られる輝度別エッジ密度は、面積の影響を受けることなく、各輝度における輝度変化の程度を表すパラメータである。輝度変換ＬＵＴ作成部１０５は、輝度別エッジ密度を累積して、出力輝度の範囲に収まるように累積値を正規化し、輝度変換ＬＵＴの作成を行う。この処理では、従来の輝度ヒストグラムの代わりに輝度別エッジ密度が用いられる。輝度変換部１０６は、輝度変換ＬＵＴ作成部１０５により作成された輝度変換ＬＵＴを使用して、入力輝度を変換する。

以上のように構成された輝度変換装置について、図２および図３を用いてその動作を説明する。図２は、輝度変換装置の動作を示すフロー図であり、図３は、輝度変換処理の概要を示している。

入力画像は、図１のエッジ強度算出部１００、頻度ヒストグラム算出部１０３および輝度変換部１０６へ入力される。エッジ強度算出部１００とエッジ判定部１０１では、以下のようにして、入力画像からエッジが検出される（図２、ステップ１）。

エッジ強度算出部１００は、入力画像の各画素において、着目画素とその周辺８画素の輝度から、８方向のエッジ強度を算出する。図３（ａ）はその様子を示している。図３（ａ）では、中央の画素が着目画素であり、各矢印は輝度の比較を示している。本実施の形態では、エッジ強度は、着目画素の輝度と各矢印方向の画素の輝度の差分絶対値であり、図示のように着目画素から周辺８方向のエッジ強度が算出される。次に、エッジ判定部１０１で、８方向のエッジ強度それぞれに対して閾値処理を行い、エッジ判定が行われる。ここでは、エッジ強度が閾値以上で有れば、着目画素がエッジであると判定される。判定結果は輝度別エッジ頻度算出部１０２へ出力される。このようにして、エッジ強度算出部１００とエッジ判定部１０１によりエッジが検出される。

次に、輝度別エッジ頻度算出部１０２、輝度ヒストグラム算出部１０３および輝度別エッジ密度算出部１０４で、輝度毎のエッジ密度が算出される（図２のステップ２）。ここでは、前述したように、輝度別のエッジ数が積算されてエッジヒストグラムが作成され、一方で輝度別の画素数が積算されてヒストグラムが作成され、そして、輝度毎にエッジ数が画素数で割られる。

図３（ｂ）〜図３（ｄ）は、輝度別エッジ密度の算出処理を示している。図３（ｂ）は入力画像の例である。この入力画像は、輝度の変化が激しい矩形領域３０１と、輝度が一様に変化している背景３０２をもっている。例えば、背景３０２は輝度変換が少ない建物の壁面であり、領域３０１は人物である。

図３（ｃ）は、図３（ｂ）の入力画像から作成されたエッジヒストグラムである。入力画像では、輝度の変化が激しい矩形領域３０１よりも、輝度が一様な背景３０２の面積が大きい。そのため、矩形領域３０１に対応するエッジ頻度３０３よりも、背景３０２のエッジ頻度３０４が大きくなる。

そこで、輝度ヒストグラム算出部１０３より算出された輝度の頻度で、同じ輝度のエッジ頻度に対して除算が行われ、エッジ密度が算出される。これにより、図３（ｄ）に示すように、輝度の変化が激しい矩形領域３０１の密度３０５は大きくなり、輝度が一様に変化している背景３０２のエッジ密度３０６は小さくなる。こうして、面積の影響を抑えて、輝度変化の程度を表すパラメータであるエッジ密度が得られる。

次に、輝度変換ＬＵＴ作成部１０５にて、輝度毎に算出したエッジ密度を使用して輝度変換ＬＵＴを作成する（図２のステップ３）。輝度変換ＬＵＴ作成部１０５では、輝度変換ＬＵＴの作成にヒストグラム平滑化と同じ手順が適用され、輝度ヒストグラムの代わりにエッジ密度を使用して輝度変換ＬＵＴが作成される。つまり、エッジ密度を積算した累積曲線を作成して、出力輝度の範囲に収まるように累積値を正規化したものが、輝度変換ＬＵＴである。当該輝度変換ＬＵＴでは、エッジ密度の大きさに比例して輝度変換ＬＵＴの傾きが大きくなるので、出力輝度のエッジの振幅は大きくなる。

図３（ｅ）は輝度変換ＬＵＴを示したグラフである。入力画像にて輝度が一様でない矩形領域３０１に対応する領域３０７では、輝度変換ＬＵＴの傾きが大きくなる。また、入力画像にて輝度が一様な背景３０２に対応する領域３０８では、輝度変換ＬＵＴの傾きが小さくなる。

そして、輝度変換部１０６では、上述のようにして作成された輝度変換ＬＵＴを使用して、輝度変換が行われる（図２のステップ４）。これにより、入力画像にて輝度値が一様な変化をする部分では変化量を少なくし、一様でない部分では変化量を多くする輝度変換が行われる。

このような本発明の第１の実施の形態の輝度変換装置によれば、輝度変換ＬＵＴ作成時に、平均変化量を表すエッジ密度を使用することにより、一様な変化をする部分では変化量を少なく、一様でない部分では変化量を多くさせる輝度変換ＬＵＴが作成される。作成された輝度変換ＬＵＴを使用して、入力画像の輝度を変換することで、輝度が一様でない部分のコントラストを強調する輝度変換装置を提供することができる。

したがって、例えば、輝度変化が乏しい建物の壁面を背景に人物などが撮影された場合にも、人物のコントラストを好適に強調することができる。

（実施の形態２）
次に、本発明の第２の実施の形態の輝度変換装置の構成を示すブロック図を図４に示す。図４において、図１と同様の構成要素には同一の参照符号が付されている。以下、第１の実施の形態と重複する事項の説明は省略する。

第２の実施の形態の輝度変換装置は、入力画像に非常に明るい部分と、非常に暗い部分がある場合に対応するために、第１の実施の形態のエッジ判定部１０１の前に、エッジリミット部４００を設けて、明暗境界部分のエッジを除外するものである。

逆光などの照明条件下における撮影画像は、入力画像に非常に明るい部分と、非常に暗い部分を含むことがある。このような場合において、明るい部分と暗い部分の境界では、十分に輝度差が大きいのでコントラスト強調を行う必要がない。

しかし、上述の実施の形態の輝度変換装置を使用すると、境界部分でエッジが検出され、エッジを用いて輝度変換処理が行われ、その結果、非常に明るい部分と、非常に暗い部分それぞれのコントラストは低下してしまう。

そこで、本実施の形態では、当該コントラスト低下を防止するため、図４に示すように、エッジ判定部１０１の前にエッジリミット部４００が設けられている。エッジリミット部４００は、エッジ強度が所定の閾強度範囲外である画素位置をエッジから除外するための構成である。閾強度範囲としては上限値が設定される。上限値と下限値が設けられてもよい。

図５は、エッジリミット部４００の処理を示している。本実施の形態では、エッジリミット部４００は、前段階で算出されるエッジ強度が所定のレベル以上（図５の上限値Ｔｈ以上）であれば、エッジ強度が閾強度範囲外であるとして、画素のエッジ強度を０とする。エッジ強度を０にすることによって、エッジリミット部４００は、後段のエッジ判定部１０１にて当該画素がエッジと判定されないようにしている。これにより、明暗部分間の輝度の差が開くのを防止することができる。また、この処理を行うことによって、明暗の境界部分では、輝度別エッジ密度算出部１０４で算出されるエッジ密度が下がり、その結果、コントラストが強調される部分が、非常に明るい部分と非常に暗い部分との境界以外になる。

このような本発明の第２の実施の形態の輝度変換装置によれば、本発明の第１の実施の形態の輝度変換装置の作用に加えて、逆光などの照明条件下の画像においてもコントラスト感が上昇し、鮮明な画像が得られる。

（実施の形態３）
次に、本発明の第３の実施の形態について説明する。以下、上述の第１、第２の実施の形態と重複する事項の説明は省略する。

第３の実施の形態は、第１または第２の輝度変換装置を有する撮像装置であり、この撮像装置は、ＣＣＤ等の撮像素子を備え、撮像素子で撮影された画像を輝度変換装置に入力して、輝度変換処理を行う。

本実施の形態においては、撮像装置は、連続して２回撮影する機能を有している。これにより、輝度変換装置は、１回目の撮影で得られた画像データにより、輝度変換ＬＵＴの作成を行う。そして、輝度変換装置は、続いて２回目の撮影で得られた画像データに対して、１回目の撮影で作成された輝度変換ＬＵＴを用いて輝度変換を行い、その結果を出力する。

このような本発明の第３の実施の形態の撮像装置によれば、上述の第１、第２の実施の形態で説明した本発明の輝度変換機能を好適に提供することができる。

以上のように、本発明にかかる輝度変換装置は、輝度エッジの密度を輝度変換ＬＵＴ作成に使用することで、輝度の変化が乏しく一様な建物の壁面などを背景にして撮影された人物などのコントラストを増加させ、また、逆光などの照明条件下においても、コントラスト感を損なうことのない輝度変換が行えるという効果を有し、撮像素子から得られる画像を処理する輝度変換装置等として有用である。

本発明の第１の実施の形態における輝度変換装置のブロック図本発明の第１の実施の形態における輝度変換アルゴリズムのフロー図（ａ）８方向のエッジ強度の算出処理を示す図（ｂ）入力画像の例を示す図（ｃ）エッジヒストグラムを示す図（ｄ）輝度別エッジ密度のグラフを示す図（ｅ）輝度変換ＬＵＴのグラフを示す図本発明の第２の実施の形態における輝度変換装置のブロック図エッジ強度と修正エッジ強度との関係を示す図従来の輝度変換装置のブロック図（ａ）従来技術における輝度のヒストグラムを示すグラフ（ｂ）従来技術における輝度変換ＬＵＴを示すグラフ（ｃ）従来技術におけるリミットを設けた輝度のヒストグラムを示すグラフ（ｄ）従来技術においてリミットを場合の輝度変換ＬＵＴを示すグラフ（ａ）従来技術の問題を説明するための入力画像の例を示す図（ｂ）上記入力画像から作成される輝度ヒストグラムを示す図（ｃ）上記輝度ヒストグラムから作成される輝度変換ＬＵＴのグラフを示す図

符号の説明

１００エッジ強度算出部
１０１エッジ判定部
１０２輝度別エッジ頻度算出部
１０３輝度ヒストグラム算出部
１０４輝度別エッジ密度算出部
１０５輝度変換ＬＵＴ作成部
１０６輝度変換部
４００エッジリミット部

Claims

入力画像の輝度を輝度変換テーブルを用いて変換し出力画像を得る輝度変換装置であって、
前記入力画像の各画素位置におけるエッジ強度を算出するエッジ強度算出部と、
前記エッジ強度から各画素位置がエッジであるか否かを判定するエッジ判定部と、
前記エッジの数を輝度別に積算して、輝度別のエッジ数を表すエッジヒストグラムを算出する輝度別エッジ頻度算出部と、
入力画像の輝度別の画素数を表す輝度ヒストグラムを算出する輝度ヒストグラム算出部と、
前記エッジヒストグラムと前記輝度ヒストグラムを用いて、輝度毎にエッジ数を画素数で除算することにより、輝度別のエッジ密度を算出する輝度別エッジ密度算出部と、
前記輝度別のエッジ密度を用いて輝度変換ルックアップテーブルを作成する輝度変換ルックアップテーブル作成部と、
前記輝度変換ルックアップテーブル作成部により作成された前記輝度変換ルックアップテーブルを使用して入力画像の輝度を変換する輝度変換部と、
を備えることを特徴とする輝度変換装置。
前記エッジ強度が所定の閾強度範囲外である画素位置をエッジから除外するエッジリミット部を備えたことを特徴とする請求項１に記載の輝度変換装置。
請求項１または２に記載の輝度変換装置を備え、撮像素子で撮影された画像を前記輝度変換装置で処理することを特徴とする撮像装置。
入力画像の輝度を輝度変換テーブルを用いて変換し出力画像を得る輝度変換方法であって、
前記入力画像の各画素位置におけるエッジ強度を算出し、
前記エッジ強度から各画素位置がエッジであるか否かを判定し、
前記エッジの数を輝度別に積算して、輝度別のエッジ数を表すエッジヒストグラムを算出し、
入力画像の輝度別の画素数を表す輝度ヒストグラムを算出し、
前記エッジヒストグラムと前記輝度ヒストグラムを用いて、輝度毎にエッジ数を画素数で除算することにより、輝度別のエッジ密度を算出し、
前記輝度別のエッジ密度を用いて輝度変換ルックアップテーブルを作成し、
前記輝度変換ルックアップテーブルを使用して入力画像の輝度を変換することを特徴とする輝度変換方法。