WO2005059833A1

WO2005059833A1 - 輝度補正装置および輝度補正方法

Info

Publication number: WO2005059833A1
Application number: PCT/JP2004/018641
Authority: WO
Inventors: Hidenobu Iida
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2003-12-17
Filing date: 2004-12-14
Publication date: 2005-06-30
Also published as: JP2005182232A

Abstract

　輝度補正装置（１）は、原画像を取得する画像取得部（１２）と、画像取得部（１２）にて取得した原画像に、輝度平滑化処理を施して、輝度平滑化処理画像を生成するシングルスケールレチネックス処理部（１３）と、輝度平滑化処理画像を用いて、画像を鮮鋭化するための強調画像を生成する強調画像生成部（１４）とを備え、画像合成部（１５）にて輝度平滑化処理画像と強調画像とを合成することにより、輝度補正された画像を生成する。

Description

明細書

輝度補正装置および輝度補正方法

技術分野

[0001] 本発明は、カメラなどで得られた原画像が、極端に暗い画像、極端に明るい画像、または部分的な影をもつ画像である場合に、それらの原画像を見やすレ、画像に補正するための輝度補正技術に関する。

背景技術

[0002] カメラで被写体を撮影すると、被写体の明るさによって、極端に暗い画像や極端に明るい画像が生成されることがある。また、部分的に影になっている画像が生成されることもある。これらの画像では、画素値がダイナミックレンジ内で特定のレベルに偏つており、見にくい画像になっている。

[0003] 従来より、ダイナミックレンジ内で輝度を平滑化するための輝度平滑化処理を含む輝度補正処理が知られている。輝度平滑化処理としては、例えば、シングルスケールレチネックス法およびマルチスケールレチネックス法がある。シングルスケールレチネックス法は、例えば、ダニエル'ジェ^ ~ ·ジョブソン（Daniel J. Jobson)、他 2名，「プロパティズアンドパフォーマンスォブセンタ Zサラウンドレチネックス（Properties and Performance of a Center/Surround Retinex)」，（米国）， IEEEトランザクションズォンイメージプロセッシング（IEEE Transactions On Image Processing) , 1997年 3月， Vol. 6 , No. 3 , p. 451—462に開示され、マルチスケールレチネックス法は、ダニェノレ'ジエー'ジョブソン（Daniel J. Jobson)、他 2名，「ァマルチスケーノレレチネックスフォーブリッジングザギャップビトウウィーンカラーイメージズアンドザヒューマンォブザべーシヨンォブシーンズ (A Multiscale Retinex for Bridging the Gap Between Color Images and the Human Observation oiScenes)」 , (米国) , IEEEトフンザクシヨンズオンイメージプロセッシング（IEEE Transactions On Image

Processing) , 1997年 7月， Vol. 6 , No. 7, p. 965— 976【こ開示されてレヽる。

[0004] これらの輝度補正処理では、画像に対して、輝度値が低くて暗い部分の輝度値を高くし、輝度値が高くて明るい部分の輝度値を低くすることにより、画像を見やすくしている。

発明の開示

発明が解決しょうとする課題

[0005] しかし、レチネックス処理のような輝度平滑化処理を原画像に施した場合、画像における低輝度部分では輝度値が高くされ、高輝度部分では輝度値が低くされる。このため、輝度平滑化処理によって得られる輝度平滑化処理画像では、原画像よりもダイナミックレンジが狭くなる。ダイナミックレンジが狭くなると、画像中の線分やエッジなどの特徴が小さくなつてしまう。そのため、輝度平滑化処理画像は、原画像よりも、メリハリがなぐボケた画像になってしまう。このようなボケた画像では、画像中の特徴を利用した認識処理などが困難になる。

[0006] そこで本発明は、画像をより見やすくするとともに、画像のボケを抑えることができる輝度補正装置を提供することを目的とする。

課題を解決するための手段

[0007] 本発明の輝度補正装置は、原画像を取得する画像取得手段と、前記画像取得手段にて取得した原画像から輝度平滑化処理画像を生成する輝度平滑化手段と、前記輝度平滑化処理画像の生成過程で生成されたボケ画像を用いて、画像鮮鋭化のための強調画像を生成する強調画像生成手段と、前記輝度平滑化処理画像と前記強調画像とを合成して合成画像を生成する画像合成手段とを備えている。

[0008] この構成により、輝度平滑化処理によって原画像からメリノ、リのない輝度平滑化処理画像が生成されたとしても、その輝度平滑化処理画像と画像鮮鋭化のための強調画像とを合成するので、認識処理等にも適したメリノ、リのある輝度補正画像が得られる。また、輝度平滑化処理画像の生成過程で生成されたボケ画像を用いて強調画像を生成するので、強調画像の生成のためにわざわざボケ画像を生成する処理をする必要がなぐ強調画像生成の処理負担が軽減される。

[0009] また、本発明の輝度補正装置は、前記画像取得手段にて取得した原画像を色画像と輝度画像とに分離する分離手段と、前記合成画像と前記色画像とを合成する色合成手段とを備えている。そして、前記輝度平滑化手段は、前記輝度画像の輝度を平滑化して前記輝度平滑化処理画像を生成する。 [0010] この構成により、カラーの原画像についても、認識処理等にも適したメリノ、リのある輝度補正画像が得られる。

[0011] また、本発明の輝度補正装置では、前記輝度平滑化手段が、シングルスケールレチネックス処理またはマルチスケールレチネックス処理によって前記輝度平滑化処理画像を生成する。

[0012] この構成により、シングルスケールレチネックス処理またはマルチスケールレチネッタス処理に伴うボケの影響を好適に低減できる。

[0013] また、本発明の輝度補正方法は、原画像を取得する画像取得ステップと、前記画像取得ステップにて取得した原画像から輝度平滑化処理画像を生成する輝度平滑化ステップと、前記輝度平滑化画像の生成過程で生成されたボケ画像を用いて、画像鮮鋭化のための強調画像を生成する強調画像生成ステップと、前記輝度平滑化処理画像と前記強調画像とを合成して合成画像を生成する画像合成ステップとを含んでいる。

[0014] この構成により、輝度平滑化処理によって原画像からメリノ、リのない輝度平滑化処理画像が生成されたとしても、その輝度平滑化処理画像と画像鮮鋭化のための強調画像とを合成するので、認識処理等にも適したメリノ、リのある輝度補正画像が得られる。また、輝度平滑化処理画像の生成過程で生成されたボケ画像を用いて強調画像を生成するので、強調画像の生成のためにわざわざボケ画像を生成する処理をする必要がなぐ強調画像生成の処理負担が軽減される。

[0015] また、本発明の輝度補正方法は、前記画像取得ステップにて取得した原画像を色画像と輝度画像とに分離する分離ステップと、前記合成画像と前記色画像とを合成する色合成ステップとを含んでいる。そして、前記輝度平滑化ステップでは、前記輝度画像の輝度を平滑化して前記輝度平滑化処理画像を生成する。

[0016] この構成により、カラーの原画像についても、認識処理等にも適したメリノ、リのある輝度補正画像が得られる。

[0017] また、本発明は、輝度補正装置および輝度補正方法の態様には限定されない。本発明の別の態様は、例えば、上記の輝度補正方法をコンピュータに実行させるためのプログラムであり、また例えば、そのプログラムを記録した記録媒体である。 [0018] 以上説明したように、本発明は、原画像から輝度平滑化処理画像を生成する輝度平滑化手段と、輝度平滑化処理画像の生成過程で生成されたボケ画像を用いて、画像鮮鋭化のための強調画像を生成する強調画像生成手段とを含み、輝度平滑化処理画像と強調画像とを合成する構成としたので、カメラでの撮像等によって得られた原画像に対して、その輝度をダイナミックレンジ内で平滑化するとともに、画像のボケを抑えて、認識処理などにも適した画像に補正できるとレ、う効果を有する輝度補正装置を提供することができる。

図面の簡単な説明

[0019] [図 1]図 1は、本発明の第 1の実施の形態における輝度補正装置のブロック図

[図 2]図 2は、本発明の第 1の実施の形態における輝度補正装置の動作説明のためのフロー図

[図 3]図 3は、本発明の第 2の実施の形態における輝度補正装置のブロック図

[図 4]図 4は、本発明の第 2の実施の形態における輝度補正装置の動作説明のためのフロー図

発明を実施するための最良の形態

[0020] (第 1の実施の形態）

以下、本発明の第 1の実施の形態について、図面を用いて説明する。図 1において、本発明の第 1の実施の形態における輝度補正装置 1は、画像取得部 12、シングルスケールレチネックス処理部 13、強調画像生成部 14および画像合成部 15を備えている。輝度補正装置 1には、カメラ 11および画像出力装置 16が接続されている。

[0021] 輝度補正装置 1は、コンピュータで構成されている。輝度補正装置 1が輝度補正用のプログラムを実行することにより、画像取得部 12、シングルスケールレチネックス処理部 13、強調画像生成部 14および画像合成部 15が構成され、以下に説明する輝度補正処理が実行される。なお、輝度補正装置 1において、画像取得部 12、シングルスケールレチネックス処理部 13、強調画像生成部 14および画像合成部 15はハードウエアによって構成されてもよい。

[0022] カメラ 11は、 CCD (Charge Coupled Device)や CMOS (Complementary Meta卜 Oxide-Silicon)等の固定撮像素子を備えている。そして、カメラ 11は、固定撮像素子を用いて被写体像を撮像することにより画像信号を生成し、画像取得部 12に出力する。カメラ 11には、図示しないパン機構、チルト機構およびズーム機構が備えられている。カメラ 11は、例えば、屋外に監視用カメラとして設置され、または、自動車に設置される。

[0023] カメラ 11がモノクロ画像を撮影するカメラであるときは、輝度補正装置 1の画像取得部 12は、カメラ 11から入力された原画像の画像信号をモノクロ画像の画像信号としてシングルスケールレチネックス処理部 13及び強調画像生成部 14へ出力する。カメラ 11が RGBのフィルタを備えており、カラー画像を撮影するカメラであるときは、画像取得部 12は、カメラ 11から入力された原画像の画像信号を RGBのフルカラー画像の画像信号として出力する。

[0024] シングルスケールレチネックス処理部 13は、画像取得部 12から入力された原画像に対してシングルスケールレチネックス処理を施す。原画像における注目画素（X, y) の画素値を Ii (x, y)とすると、レチネックス処理画像の画素値 Ri (x, y)は、式（1)で表される。なお、 iは画像の輝度成分を表している。

[数 1]

ここで、「*」は畳み込み積分を表している。また、 Gは、式（2)で表されるガウシァン関数である。

式（2)に含まれる Kは正規化のための定数である。また、 δはガウス周辺関数の標準偏差であり、平滑化処理を行う際に用いる周辺領域の面積の大きさの度合レ、を表す。式（1)で示されるレチネックス処理画像は、本発明の輝度平滑化画像に相当する。

[0025] 強調画像生成部 14は、画像鮮鋭化のための強調画像を生成する。強調画像は、画像取得部 12にて取得した原画像のエッジ部分が強調された画像である。原画像における注目画素 (x， y)の画素値を Ii(x, y)とすると、強調画像生成部 14にて生成される強調画像の画素値 I'i(x, y)は式（3)で表される。

[数 3] ΐ (χ,γ) = B' G ( ， ) 一 ( ， ■·■ (3) 式（3)に示されるように、強調画像は G(x, y) *Ii(x, y) (以下、ボケ画像という）と原画像 Ii(x, y)の差分の絶対値を定数倍したものである。

[0026] ここで、式（3)にて強調画像の生成に用いるボケ画像 G(x, y) *Ii(x, y)は、式（1 )で表されるシングルスケールレチネックス処理の過程で既に生成されてレ、る。そこで、強調画像生成部 14は、図 1に示すように、式（3)によって強調画像を生成する際に、シングルスケールレチネックス処理部 13にて式（1)によって既に生成されたボケ画像 G(x， y) *Ii(x, y)を用いる。なお、式（3)の定数 Bは、実験により得られた値であり、 0. 1-0. 5程度に設定するのが望ましい。

[0027] 画像合成部 15は、シングルスケールレチネックス処理部 13の出力と強調画像生成部 14の出力、すなわち、レチネックス処理画像と強調画像とを合成する。この合成処理は、式 (4)で表される。

[数 4]

O_t ~ R^x.yj+I^y) -·'(4) ここで、〇i(x， y)は、合成画像の画素値であり、本実施の形態の輝度補正装置 1における輝度補正の結果である。なお、式 (4)の計算結果が値の上限を超えた場合には、クリッピング処理が施される。例えば、 Oi(x, y)の取り得る範囲力 0 255である場合に、ある画素についての式 (4)の計算結果が 255を超えたときは、その画素値は 255とされる。 [0028] 画像出力装置 16は、画像合成部 15で生成された合成画像を、モニタや後段の処理装置へ出力する。

[0029] 以上のように構成された輝度補正装置 1について、図 2を用いてその動作を説明する。

まず、シングルスケールレチネックス処理部 13が、画像取得部 12にて取得された原画像に、シングルスケールレチネックス処理を施す（ステップ S31)。次に、強調画像生成部 14が、シングルスケールレチネックス処理の過程で生成されたボケ画像と画像取得部 12にて取得された原画像を用いて、エッジの強調された強調画像を生成する（ステップ S32)。そして、画像合成部 15が、強調画像とレチネックス処理画像を合成して、合成画像を生成する (ステップ S33)。

[0030] 以上に説明した第 1の実施の形態では、強調画像生成部 14にて生成される強調画像は、上記の通り、原画像におけるエッジ部分が強調された画像であるので、レチネックス処理画像がボケてしまっている場合にも、そのレチネックス処理画像に強調画像を合成することにより、エッジ部分が強調されて鮮鋭化された画像になる。したがつて、第 1の実施の形態の輝度補正装置 1によれば、入力された原画像の輝度をダイナミックレンジ内で平滑化するとともに、認識処理等にも適したメリノ、リのある画像に補正できる。

[0031] また、第 1の実施の形態の輝度補正装置 1では、強調画像生成部 14にて画像鮮鋭化のための強調画像を生成するために用いるボケ画像として、既にレチネックス処理の過程で生成されたボケ画像を用いる。これにより、強調画像生成のためにわざわざボケ画像を生成する必要がなぐ強調画像生成のための処理負担を軽減できる。

[0032] (第 2の実施の形態）

次に、本発明の第 2の実施の形態の画像補正装置 2を図 3に示す。

本実施の形態の輝度補正装置 2は、第 1の実施の形態の輝度補正装置 1の構成にカロえて、色情報分離部 23および色情報合成部 27を備えている。

[0033] カメラ 21は、 RGBのフィルタを備えている。画像取得部 22は、カメラ 11の撮影によつて生成された原画像の画像信号を取得して、 RGBのフルカラー画像の画像信号として色情報分離部へ出力する。 [0034] 色情報分離部 23は、入力された原画像から、色情報を抽出して色画像を生成し、また、原画像から輝度情報を抽出して輝度画像を生成する。色情報分離部 23において、フルカラー画像である原画像を色画像および輝度画像に分離する手法としては、公知の種々の手法を採用できる。本実施の形態では、色情報分離部 23は、 HS V空間を用いて、原画像を HSVデータに変換する。そして、色情報分離部 23は、色情報として (H, S)を用い、輝度情報として Vを用レ、、色画像および輝度画像を生成する。 RGBデータから HSVデータへの変換は以下の変換式を用いて行う。

[0035] H = tan ¹ { (G-B) / (2R-G-B) }

S = { (B-R) ² + (R-G) ² + (G-B) ² } /3

V = R+ G + B

ただし、 R、 G、 Bは、それぞれ 0から 1に規格化されており、 Vは 0から 3に、 Hは 0から 2 πに、 Sは 0から 2/3に、それぞれ規格化されている。 RGBデータ力、ら HSVデータへの変換は、例えば、高木幹雄ら著，「画像解析ハンドブック」，東京大学出版会， p. 485—491 ( 1991 )にも記載されてレヽる。

[0036] 画像分離の他の手法としては、 HSV空間の他にも、色情報と輝度情報が分離可能である別の色空間を用いることができる。例えば、式（5)で表される YIQ空間、または式（6)で表される YCrCv空間を用いてもょレ、。

[数 5]

色画像は、色情報合成部 27に出力され、輝度画像は、シングルスケールレチネッタス処理部 24および強調画像生成部 25に出力される。

[0037] シングルスケールレチネックス処理部 24は、色情報分離部 23から入力された輝度画像に対して、第 1の実施の形態と同様にして、シングルスケールレチネックス処理を施す。強調画像生成部 25は、色情報分離部 23にて生成された輝度画像とシングノレスケールレチネックス処理部 24にて生成されたボケ画像を用いて、第 1の実施の形態と同様にして、エッジ部分が強調された強調画像を生成する。また、画像合成部 26も第 1の実施の形態と同様にして、レチネックス処理画像と強調画像とを合成し、合成画像を生成する。

[0038] 色情報合成部 27は、色情報分離部 23にて生成された色画像を取り込んで、この色画像と画像合成部 26にて生成された合成画像とを合成し、色合成画像を生成する。ここで、画像合成部 26にて生成された合成画像は、輝度情報のみを表す画像であって、一方、色情報分離部 23から出力された色画像は、画像取得部 22から出力された原画像の色情報のみを表す画像である。したがって、両画像を合成することにより生成される色合成画像は、輝度成分が補正されたカラーの画像である。

[0039] 画像出力装置 28は、色情報合成部 27にて生成された色合成画像を取り込み、モニタゃ後段の処理装置へ出力する。

[0040] 以上のように構成された輝度補正装置 2について、図 4を用いてその動作を説明する。

まず、色情報分離部 23が、画像取得部 22にて取得された原画像を色画像と輝度画像に分離する（ステップ S41)。そして、シングルスケールレチネックス処理部 24が、色情報分離部 23にて分離された輝度画像に、シングルスケールレチネックス処理を施す（ステップ S42)。次に、強調画像生成部 25が、そのシングルスケールレチネッタス処理の過程で生成されたボケ画像と色情報分離部 23にて分離された輝度画像を用いて、エッジの強調された強調画像を生成する（ステップ S43)。次に、画像合成部 26が、強調画像とレチネックス処理画像を合成して、合成画像を生成する（ステツプ S44)。最後に、色情報合成部 27が、色情報分離部 23にて分離された色画像と画像合成部 26にて生成された合成画像とを合成して、色合成画像を生成する (ステツプ S45)。 [0041] このような第 2の実施の形態の輝度補正装置 2によれば、入力されたカラーの原画像の輝度成分のみを用いて、シングルスケールレチネックス処理、強調画像生成処理および合成処理を行うので、カラー画像についても、好適にダイナミックレンジ内で画素値が平滑化された見やすい画像に補正するとともに、認識処理等にも適したメリハリのある輝度補正画像が得られる。

[0042] なお、上記の第 1および第 2の実施の形態では、シングルスケールレチネックス処理部 13を設けて、原画像または原画像から分離された輝度画像にシングルスケールレチネックス処理を施した力画像の輝度を平滑化する処理は、マルチスケールレチネックス処理でもよレ、し、他の輝度平滑化処理でもよレ、。

産業上の利用可能性

[0043] 以上のように、本発明にかかる輝度補正装置は、原画像から輝度平滑化処理画像を生成する輝度平滑化手段と、輝度平滑化処理画像の生成過程で生成されたボケ画像を用いて、画像鮮鋭化のための強調画像を生成する強調画像生成手段とを含み、輝度平滑化処理画像と強調画像とを合成する構成としたので、カメラで撮像すること等によって得られた原画像に対して、その輝度をダイナミックレンジ内で平滑化するとともに、画像のボケを抑えて、認識処理などにも適した画像に補正できるという効果を有し、カメラなどで得られた原画像が、極端に暗い画像、極端に明るい画像、または部分的に影がある画像である場合に、それらの原画像を見やすい画像に補正するための輝度補正装置として有用である。

Claims

請求の範囲

[1] 原画像を取得する画像取得手段と、

前記画像取得手段にて取得した原画像から輝度平滑化処理画像を生成する輝度平滑化手段と、

前記輝度平滑化処理画像の生成過程で生成されたボケ画像を用いて、画像鮮鋭化のための強調画像を生成する強調画像生成手段と、

前記輝度平滑化処理画像と前記強調画像とを合成して合成画像を生成する画像合成手段と

を備えたことを特徴とする輝度補正装置。

[2] 前記画像取得手段にて取得した原画像を色画像と輝度画像とに分離する分離手段と、

前記合成画像と前記色画像とを合成する色合成手段とを備え、

前記輝度平滑化手段は、前記輝度画像の輝度を平滑化して前記輝度平滑化処理画像を生成することを特徴とする請求項 1に記載の輝度補正装置。

[3] 前記輝度平滑化手段は、シングルスケールレチネックス処理またはマルチスケールレチネックス処理によって前記輝度平滑化処理画像を生成すること特徴とする請求項 1または 2に記載の輝度補正装置。

[4] 原画像を取得する画像取得ステップと、

前記画像取得ステップにて取得した原画像から輝度平滑化処理画像を生成する輝度平滑化ステップと、

前記輝度平滑化画像の生成過程で生成されたボケ画像を用いて、画像鮮鋭化のための強調画像を生成する強調画像生成ステップと、

前記輝度平滑化処理画像と前記強調画像とを合成して合成画像を生成する画像合成ステップと

を含むことを特徴とする輝度補正方法。

[5] 前記画像取得ステップにて取得した原画像を色画像と輝度画像とに分離する分離ステップと、

前記合成画像と前記色画像とを合成する色合成ステップとを含み、前記輝度平滑化ステップでは、前記輝度画像の輝度を平滑化して前記輝度平滑化処理画像を生成することを特徴とする請求項 4に記載の輝度補正方法。

[6] 原画像を取得する画像取得ステップと、

を含むことを特徴とする輝度補正方法をコンピュータに実行させるためのプログラム

[7] 前記画像取得ステップにて取得した原画像を色画像と輝度画像とに分離する分離ステップと、

前記合成画像と前記色画像とを合成する色合成ステップとを含み、

前記輝度平滑化ステップでは、前記輝度画像の輝度を平滑化して前記輝度平滑化処理画像を生成することを特徴とする請求項 6に記載の輝度補正方法をコンビュータに実行させるためのプログラム。

[8] 請求項 6または 7に記載のプログラムを記録した、コンピュータにて読み取り可能な記録媒体。