JP4076302B2

JP4076302B2 - 画像の輝度補正方法

Info

Publication number: JP4076302B2
Application number: JP24679299A
Authority: JP
Inventors: 小▲忙▼ 張; 登久保; 宏之奥畑; 章雅丹羽
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 1999-08-31
Filing date: 1999-08-31
Publication date: 2008-04-16
Anticipated expiration: 2019-08-31
Also published as: US6788822B1; JP2001076122A

Description

【０００１】
【発明の属する技術分野】
本発明は、デジタルカメラ、監視カメラ等にて撮像されるデジタルカラー静止画像を、要求される最適なダイナミックレンジとすることができる画像の輝度補正方法に関する。
【０００２】
【従来の技術】
デジタルカラーの静止画像の輝度情報、色情報等を補正する方法として、眼球の網膜をモデル化して、画像の局所的な情報によって、ダイナミックレンジ（動的特性）に偏りのある画像の輝度値を補正する網膜法が提案されている。このような網膜法では、画像における輝度値が低くて暗い部分では輝度値を高くし、輝度値が高くて明るい部分では、輝度値を低くすることによって、画像を見やすくしている。
【０００３】
このような網膜法としては、シングルスケール網膜法(Daniel J.Jobson et al,"Properties and Performance of a Center/Surround Retinex,"IEEE Trans.on Image Processing vol.6,pp.451-462,March 1997.）と、マルチスケール網膜法（Daniel J.Jobson et al,"A Multiscale Retinex for Bridging the Gap Between Color Image and the Human Observation of Scenes,"IEEE Trans.on Image Processing vol.6,pp.956-976,July 1997.）とが提案されている。
【０００４】
シングルスケール網膜法では、原画像における注目画素I(x,y)のスペクトル成分Ii(x,y)（ただし、ｉ＝１，２，…）を、周辺画素の情報に基づいて得られる周辺関数F(x,y)によって補正するものであり、網膜処理結果は、次の（１）式によって表される。
【０００５】
【数１】

【０００６】
この場合、周辺関数F(x,y)は、注目画素I(x,y)に対する周辺画素の画像情報に基づく関数であり、次の（２）式によって表される。
【０００７】
【数２】

【０００８】
ただし、ｒは、注目画素と周辺画素との距離（r²＝x²＋y²）であり、ｃはスケール変数である。また、Ｋは平坦化係数であり、∬F(x,y)dxdy＝１、すなわち、周辺関数の総合計が１となるように定められる。また、「＊」は、畳み込み演算を示す。
【０００９】
（１）式および（２）式によって、シングルスケール網膜処理結果Ri(x,y)が求められると、次の（３）式によって、シングルスケール網膜処理結果Ri(x,y)が、ゲイン補正値Agおよびオフセット補正値Aoによって補正されて、適当なダイナミックレンジに引き伸ばされる。補正網膜処理結果I_Riは次の(３)式によって表される。
【００１０】
【数３】

【００１１】
このように、シングルスケール網膜法では、注目画素のスペクトルバンド成分が、周辺関数に基づいて網膜処理されるが、色回復マルチスケール網膜法(Multi Scale Retinex：MSR）では、注目画素の各スペクトルバンド成分Iiに対して、Ｎ種類のスケールにて網膜処理を行うようになっている。この場合、各スケールに対するシングル網膜処理結果に対して、各スケールに対する重みｗ_nが付けられて、全てのスケールに対する網膜処理結果が加算される。マルチスケール網膜法による網膜処理結果R_MSRiは、次の（４）式によって表される。
【００１２】
【数４】

【００１３】
そして、（４）式によって求められたマルチスケール網膜処理結果R_MSRiが、色補正係数Ci(x,y)によって補正される。色補正係数Ci(x,y)は、次の（５）式によって表される。
【００１４】
【数５】

【００１５】
色補正係数Ci(x,y)にて補正された網膜処理結果、すなわち、色補正マルチスケール網膜処理結果R_MSRCRi(x,y)は、次の（６）式によって表される。
【００１６】
【数６】

【００１７】
得られた色補正マルチスケール網膜処理結果R_MSRCRi(x,y)は、シングルスケール網膜法と同様に、補正パラメータであるゲイン補正値Agおよびオフセット補正値Aoによって補正されて、適当なダイナミックレンジに引き伸ばされる。このようにして得られる最終色補正マルチスケール網膜処理結果Ｉ_MSRCRiは、次の（７）式によって表される。
【００１８】
【数７】

【００１９】
【発明が解決しようとする課題】
このような色補正マルチスケール網膜法では、通常、スモール、ミドル、ラージの３スケールに関してシングルスケール網膜処理された補正画像を合成することによって、輝度および色補正された画像を得ている。スモールスケールは、注目画素に対する周辺画素の距離（半径）が短く設定されており、ラージスケールは、注目画素に対する周辺画素の距離（半径）が長く設定されている。そして、ミドルスケールは、スモールスケールとラージスケールの中間の距離（半径）に設定されている。
【００２０】
スモール、ミドル、ラージの各スケールでは、それぞれのスケールサイズが固定されており、しかも、それぞれのスケールサイズが必ずしも十分な大きさになっていないために、対象となる原画像の大きさ、色等によっては、補正結果が大きく変化し、十分な補正効果が得られないおそれがある。特に、画像サイズが大きな場合に、スモールスケールのスケールサイズが小さな状態で固定されていると、補正画像にノイズが発生するという問題がある。
【００２１】
また、（７）式に示す補正パラメータAgおよびAoは、それぞれ固定された値が使用されており、画像によっては、画素の輝度を適切なダイナミックレンジとすることができないおそれがある。このように、従来の色補正マルチスケール網膜法では、十分な柔軟性が得られず、画像によっては適切に補正することができないおそれがあり、画像における輝度の補正方法としては、必ずしも満足できるものではないという問題がある。
【００２２】
本発明は、このような問題を解決するものであり、その目的は、画像サイズに対応した適切なダイナミックレンジとすることができる画像の輝度補正方法を提供することにある。
【００２３】
【課題を解決するための手段】
本発明の画像の輝度補正方法は、デジタル静止画像である原画像のカラー画像情報における輝度成分を、原画像の画像スケールに基づいてそれぞれ算出されるスモールスケールおよびラージスケールの２種類のスケールに関してのみシングルスケール網膜処理する工程と、前記各シングルスケール網膜処理結果を、前記スモールスケールおよびラージスケールに対する重みを考慮して加算処理して、前記原画像の画像情報における輝度成分と合成する工程とを包含し、前記シングルスケール網膜処理する工程において、前記ラージスケールが前記原画像の画像スケールに基づいて算出され、算出されたラージスケールに基づいて前記スモールスケールが算出されることを特徴とする。
【００２４】
前記各シングルスケール網膜処理結果が、ゲイン補正値と、前記原画像の画像情報から得られる階調度−頻度を示すヒストグラムに基づいて得られるオフセット補正値とに基づいてそれぞれ補正される。
【００２５】
前記ヒストグラムが輝度に対する画素数をグラフ化したものである。
【００２６】
【発明の実施の形態】
以下、図面を参照しながら本発明の実施の形態を説明する。図１は、本発明の画像の輝度補正方法の実施に使用される輝度補正装置の一例を示すブロック線図、図２は、その輝度補正装置の動作説明のためのフローチャートである。
【００２７】
この輝度補正装置では、入力画像１１が読み込まれると、その入力画像１１の画像サイズが、スケールサイズを算出するスケールサイズ算出部１４に与えられる。スケールサイズ算出部１２では、入力された画像サイズに基づいて、スモールスケールおよびラージスケールの２種類のスケールサイズがそれぞれ算出される（図２のステップＳ１参照、以下同様）。ラージスケールでは、入力画像における画像サイズの長辺の１／２の長さが半径となるように、スケールサイズが算出される。スモールサイズでは、ラージスケールの半径×0.4、すなわち、入力画像における画像サイズの長辺×0.2の長さが半径となるように、スケールサイズが算出される。
【００２８】
なお、スモールスケールおよびラージスケールの半径は、このような値に限らず、入力画像の画質、画像サイズ等に応じて、適宜、変更されて設定される。
【００２９】
スケールサイズ算出部にてラージスケールおよびスモールスケールの各スケールサイズが算出されると、算出されたラージスケールおよびスモールスケールの各スケールサイズが、2スケール網膜処理部１２に与えられる。
【００３０】
また、入力画像の画像情報は、補正値算出部１３に与えられており、補正値算出部１３にて、入力画像の画像情報に基づいて、階調値−頻度を示すヒストグラムが作成されて、そのヒストグラムに基づいてオフセット補正値Aoが算出される（ステップＳ２）。
【００３１】
具体的には、入力画像の画像情報に基づいて、階調値−頻度を示すヒストグラムが、例えば図３（ａ）に示すように作成される。このヒストグラムは、輝度（横軸）に対する画素数（縦軸）をグラフ化したものである。このヒストグラムを輝度の低い値から、画素数を加算していき、全画素数の５０％になる境界点がオフセット輝度値Yoとして演算される。なお、図３（ｂ）は、網膜処理後のダイナミックレンジが圧縮された輝度分布を示すグラフである。
【００３２】
すなわち、オフセット輝度値をYoとすると、オフセット輝度値Yoは、このオフセット輝度値Yoよりも大きな輝度値を有する画素数と、この輝度値Yoよりも小さな輝度値を有する画素数とが等しくなるように設定される。そして、補正算出部１３は、このようなオフセット輝度値Yoと、量子化されたヒストグラムにおける平均輝度値Yvとに基づいて、オフセット補正値Aoが、次の（８）式に基づいて演算される。
【００３３】
【数８】

【００３４】
（８）式における数値「３」は、経験的に求められたものである。
【００３５】
このようにして、オフセット算出部１３にてオフセット補正値Aoが求められると、このオフセット補正値Aoが、２スケール網膜処理部１２に出力される。
【００３６】
２スケール網膜処理部１２では、入力画像１１の画像情報に基づいて、スケールサイズ算出部１４から与えられたスモールサイズおよびラージサイズの２種類の各スケールサイズに基づいて、スモールスケールとラージスケールの各スケールにおけるシングル網膜処理が実施される（ステップＳ３およびＳ４）。スモールスケールとラージスケールの各スケールにおける網膜処理は、従来のシングル網膜処理と同様に、（１）式に基づいて、入力画像１１の各スペクトルバンド成分毎に実施される。この場合の周辺関数も（２）式にて示されるものであり、また、周辺関数における平坦化係数Ｋも、周辺関数の総合計が１となるように、すなわち、∬F(x,y)dxdy＝１となるように定められている。
【００３７】
このようにして、スモールおよびラージの各スケールサイズに関するシングルスケール網膜処理が実施されると、各網膜処理結果に対して、（４）式に示すように、重み係数ｗ_nがそれぞれ乗じられて加算され、マルチスケール網膜処理結果R_MSRiとされる。その後、得られたマルチスケール網膜処理結果R_MSRiに対して、（５）式に示す色補正係数Ci(x,y)に基づいて、（６）式によって補正される。
【００３８】
このようにして得られた色補正マルチスケール網膜処理結果CR_MSRCRi(x,y)が、補正値算出部１３によって算出されたオフセット補正値Aoと、予め設定されたゲイン補正値Agとに基づいて、(７)式にて補正される。
【００３９】
２スケール網膜処理部１２では、このように、スケールサイズ算出部１４にて、入力画像１１のサイズに基づいて、それぞれのスケールサイズが算出されたスモールおよびラージの２種類のスケールに基づいてマルチスケール網膜処理されて、補正値算出部１３にて算出されたオフセット補正値Aoと、予め設定されたゲイン補正値Agとに基づいて、適当なダイナミックレンジに引き延ばされて、最終色補正マルチスケール網膜処理結果Ｉ_MSRCRiとして出力される。
【００４０】
そして、２スケール網膜処理部１２にて出力される最終色補正マルチスケール網膜処理結果Ｉ_MSRCRiが、入力画像１１の画像情報と合成されて、出力画像として出力される（ステップＳ５）。
【００４１】
【発明の効果】
本発明の画像の輝度補正方法は、このように、原画像の画像スケールに基づいて得られるスモールスケールおよびラージスケールの２種類のスケールサイズに関するマルチスケール網膜処理と原画像とに基づいて、画像の輝度が補正されるために、２種類の網膜処理結果によって強調される画像の階調が、原画像との合成によって弱められた状態になるために、画像の劣化が抑制されて、画像サイズに対応した適切な輝度補正処理が実施される。しかも、演算に際してのメモリ使用量、アクセス回数、計算量が大幅に削減されるために、マルチスケール網膜処理を迅速に実施することができる。また、マルチスケール網膜処理結果を補正する際のオフセット補正値が、階調値−頻度のヒストグラムに基づいて算出されるようになっているために、原画像に対して柔軟的に輝度の補正が実施される。
【図面の簡単な説明】
【図１】本発明の画像の輝度補正方法の実施に使用される輝度補正装置の概略構成を示すブロック図である。
【図２】その輝度補正装置の動作説明のためのフローチャートである。
【図３】（ａ）は、原画像の階調値−頻度の一例を示すヒストグラム、（ｂ）は、網膜処理された後のダイナミックレンジが圧縮されたヒストグラムの一例である。
【符号の説明】
１１入力画像
１２２スケール網膜処理部
１３補正値算出部
１４スケールサイズ算出部
１５出力画像

Claims

デジタル静止画像である原画像のカラー画像情報における輝度成分を、原画像の画像スケールに基づいてそれぞれ算出されるスモールスケールおよびラージスケールの２種類のスケールに関してのみシングルスケール網膜処理する工程と、
前記各シングルスケール網膜処理結果を、前記スモールスケールおよびラージスケールに対する重みを考慮して加算処理して、前記原画像の画像情報における輝度成分と合成する工程とを包含し、
前記シングルスケール網膜処理する工程において、前記ラージスケールが前記原画像の画像スケールに基づいて算出され、算出されたラージスケールに基づいて前記スモールスケールが算出されることを特徴とする画像の輝度補正方法。
前記各シングルスケール網膜処理結果が、ゲイン補正値と、前記原画像の画像情報から得られる階調度−頻度を示すヒストグラムに基づいて得られるオフセット補正値とに基づいてそれぞれ補正される請求項１に記載の画像の輝度補正方法。
前記ヒストグラムが輝度に対する画素数をグラフ化したものである、請求項２に記載の画像の輝度補正方法。