KR101665409B1 - Apparatus and Method of Decomposing Image Signal based on Retinex Model - Google Patents

Apparatus and Method of Decomposing Image Signal based on Retinex Model Download PDF

Info

Publication number
KR101665409B1
KR101665409B1 KR1020150143716A KR20150143716A KR101665409B1 KR 101665409 B1 KR101665409 B1 KR 101665409B1 KR 1020150143716 A KR1020150143716 A KR 1020150143716A KR 20150143716 A KR20150143716 A KR 20150143716A KR 101665409 B1 KR101665409 B1 KR 101665409B1
Authority
KR
South Korea
Prior art keywords
value
component
reflectance
image
pixel
Prior art date
Application number
KR1020150143716A
Other languages
Korean (ko)
Inventor
최윤식
김용구
유성복
최장원
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020150143716A priority Critical patent/KR101665409B1/en
Application granted granted Critical
Publication of KR101665409B1 publication Critical patent/KR101665409B1/en

Links

Images

Classifications

    • H04N5/2351—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/40—Picture signal circuits
    • H04N1/407—Control or modification of tonal gradation or of extreme levels, e.g. background level
    • H04N1/4072—Control or modification of tonal gradation or of extreme levels, e.g. background level dependent on the contents of the original
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6083—Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086—Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • H04N5/243—

Abstract

The present invention relates to an apparatus for decomposing an image signal based on Retinex model, which is capable of decomposing a lighting component and a reflectivity component from an image to generate an image from which the lighting component is removed, and a method thereof. The apparatus for decomposing an image signal based on Retinex model includes: an image input unit for receiving a target image to decompose a lighting component; and an image signal decomposing unit for modeling an image signal value of a pixel of the received target image with a calculation value between the lighting component and a reflective component, wherein the image signal decomposing unit extracts the lighting component and the reflective component based on the image signal value of the pixel by using a cost function including a parameter.

Description

레티넥스 모델 기반 영상 신호 분리 장치 및 그 방법{Apparatus and Method of Decomposing Image Signal based on Retinex Model}[0001] The present invention relates to a Retinex model-based video signal separation apparatus and a method thereof,

본 발명은 영상에서 조명 성분과 반사율 성분을 분리하여, 조명의 영향을 제거한 영상을 생성하는 장치 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for separating an illumination component and a reflectance component from an image and generating an image from which the influence of illumination is removed.

사람은 객체의 색상을 인지할 때 객체의 색상과 함께 주변 환경의 조명을 함께 고려하기 때문에 조명 환경에 크게 영향을 받지 않고 객체의 색상을 인지할 수 있다. 반면 기계의 시각 시스템(MVS)의 경우 조명 환경에 따라 획득하는 영상 신호의 값이 크게 차이가 나게 되며, 그 결과 기계의 시각 시스템(MVS)이 인식하는 객체의 색상과 사람의 인지 시각 시스템(HVS)이 인지하는 색상은 서로 상이하게 된다.When a person perceives the color of an object, the color of the object can be perceived without being largely affected by the lighting environment since the ambient light is considered together with the color of the object. On the other hand, in the case of a machine vision system (MVS), the value of the video signal acquired according to the illumination environment is significantly different. As a result, the color of the object recognized by the machine vision system (MVS) ) Are different from each other.

이에 기존에 E.Land는 원 영상에서 반사율과 조명 성분을 분리함으로써 조명이 변화하는 환경에서도 기계의 시각 시스템(MVS)이 인간의 시각 시스템(HVS)과 같이 색상을 원래대로 인식할 수 있도록 하는 레티넥스 알고리즘을 제안하였다(하기 선행기술문헌 0001 참조). 또한 이상과 같은 레티넥스 알고리즘 중 하나로써 제안된 물리 기반 레티넥스 알고리즘(Physics-based Retinex algorithm)은 물체의 색이 조명(illumination : L)과 반사율(reflectance : R)의 곱으로 구성된다는 점에 착안하여, 색으로부터 반사율 성분을 분리해냄으로써 조명에 의해 발생하는 기계 시스템의 색상 변화 문제를 해결하고자 하였다(하기 선행기술문헌 0002 참조). E.Land previously separated the reflectance and illumination components from the original image so that the machine's visual system (MVS), like the human visual system (HVS) (See the following prior art document 0001). The Physics-based Retinex algorithm proposed as one of the Retinex algorithms described above is based on the fact that the color of an object is formed by a product of illumination (L) and reflectance (R) And separating the reflectance component from the color, thereby solving the problem of color change of the mechanical system caused by illumination (refer to the prior art document 0002).

이상과 같은 기존의 레티넥스 알고리즘을 이용한 방법들은 조명과 반사율을 이용하여 비용함수 모델링을 할 때, 조명의 특성만을 고려하여 비용함수를 모델링 하거나, 반사율만 고려하는 방식으로 비용함수를 모델링 하였다(하기 선행기술문헌 0003, 0004 참조). 그런데 위와 같이 하지만 반사율 또는 조명의 특성만을 고려하는 레티넥스 모델로는 반사율을 정교하게 분리하기 어려운 단점이 있다. The conventional methods using the Retinex algorithm described above model the cost function by modeling the cost function considering only the characteristics of illumination, or considering the reflectivity only when the cost function modeling is performed using illumination and reflectance Prior art document 0003, 0004). However, there is a disadvantage that it is difficult to precisely separate the reflectance of a retinex model considering only the reflectance or the characteristics of the illumination.

또한 기존의 레티넥스 알고리즘을 이용한 방법들 중에서 조명과 반사율 특성을 모두 고려하는 레티넥스 모델(total variational Retinex model)을 이용하여 반사율을 분리하는 방법이 제안되었고(하기 선행기술문헌 0005 참조), 이와 같은 기존 방법은 조명과 반사율을 모두 고려하기 때문에 이를 하나만 고려하는 경우보다 정교하게 두 성분을 분리해낼 수 있기는 하지만, 조명과 반사율의 비용함수를 각각 독립적으로 고려하는 방식을 사용하였기 때문에 두 비용함수 사이의 정규화 파라미터 값에 따라 분리 결과가 일관성 있게 도출되지 못하는 문제점이 존재하였다.In addition, a method of separating reflectance using a total variational retinex model considering both illumination and reflectance characteristics has been proposed (refer to the prior art document 0005) Since the conventional method considers both illumination and reflectance, it is possible to separate the two components more precisely than when considering only one of them. However, since the cost function of illumination and reflectance are independently considered, There is a problem that the separation result can not be derived consistently according to the normalization parameter value of the parameter.

(논문자료 0001) E. H. Land and J. McCann, "Lightness and retinex theory," JOSA, vol. 61,no. 1, pp. 1-11, 1971.(Paper No. 0001) E. H. Land and J. McCann, "Lightness and retinex theory," JOSA, vol. 61, no. 1, pp. 1-11, 1971.

(논문자료 0002) J. M. Morel, A. B. Petro, and C. Sbert, "A pde formalization of retinex theory," Image Processing, IEEE Transactions on, vol. 19, no. 11, pp. 2825-2837, 2010.(Paper No. 0002) J. M. Morel, A. B. Petro, and C. Sbert, "A pde formalization of retinex theory," Image Processing, IEEE Transactions on, vol. 19, no. 11, pp. 2825-2837, 2010.

(논문자료 0003) R. Kimmel, M. Elad, D. Shaked, R. Keshet, and I. Sobel, "A variational framework for retinex," International Journal of computer vision, vol. 52, no. 1, pp. 7-23, 2003. (Paper No. 0003) R. Kimmel, M. Elad, D. Shaked, R. Keshet, and I. Sobel, "A Variational Framework for Retinex," International Journal of computer vision, vol. 52, no. 1, pp. 7-23, 2003.

(논문자료 0004) W. Ma and S. Osher,"A tv bregman iterative model of retinex theory," UCLA CAM Report, pp. 10-13, 2010.(Paper No. 0004) W. Ma and S. Osher, "A TV bregman's iterative model of retinex theory," UCLA CAM Report, pp. 10-13, 2010.

(논문자료 0005) M. K. Ng and W.Wang, "A total variation model for retinex," SIAM Journal on Imaging Sciences, vol. 4, no. 1, pp. 345-365, 2011.(Paper No. 0005) M. K. Ng and W. Wang, "A total variation model for retinex," SIAM Journal on Imaging Sciences, vol. 4, no. 1, pp. 345-365, 2011.

본 발명은 이상과 같은 기존의 레티넥스 모델을 기반으로 하는 조명 및 반사율 분리 방법들의 한계점을 극복하기 위하여, 희소 신호 분리 알고리즘을 레티넥스 모델에 적용하여 보다 정교하게 반사율 및 조명 성분을 분리하는 영상 신호 분리 장치와 그에 관한 방법을 제공하고자 한다.In order to overcome the limitations of the illumination and reflectance separation methods based on the conventional retinex model as described above, a rare signal separation algorithm is applied to the Retinex model to more accurately reflect the image signal Separation apparatus and a method therefor.

또한 본 발명은 기본 방법들의 한계점을 극복하기 위하여, 현재 위치의 색상과 주변 색상들과의 상대적인 반사율(relative reflectance) 성질을 더 고려하여 설계한 비용함수를 이용하여, 보다 정교하게 반사율 및 조명 성분을 분리하는 영상 신호 분리 장치와 그에 관한 방법을 제공하고자 한다.Further, in order to overcome the limitations of the basic methods, the present invention uses a cost function designed considering further the relative reflectance property with respect to the color of the current position and the surrounding colors, And a method for the same.

상기 과제를 해결하기 위해, 본 발명의 일 유형에 따른 레티넥스 모델 기반 영상 신호 분리 장치는 조명 성분을 분리할 대상 영상을 입력받는 영상 입력부; 및 상기 입력받은 대상 영상의 화소의 영상 신호 값을 상기 조명 성분과 반사율 성분 간의 연산 값으로 모델링하고, 상기 조명 성분과 상기 반사율 성분을 파라미터로 포함하는 비용함수를 이용하여 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 반사율 성분을 분리하여 추출하는 영상 신호 분리부를 포함할 수 있다.According to one aspect of the present invention, there is provided an apparatus and method for separating video signals based on a Retinex model, the apparatus comprising: an image input unit receiving an image to be separated; And a method of modeling a video signal value of a pixel of the input target image as a calculated value between the illumination component and a reflectance component and using a cost function including the illumination component and the reflectance component as parameters, And a video signal separator for separating and extracting the illumination component and the reflectance component.

여기서 상기 영상 신호 분리 장치는 상기 추출된 반사율 성분을 이용하여 복원 영상을 생성하는 영상 생성부를 더 포함할 수 있다.The video signal separating apparatus may further include an image generating unit for generating a reconstructed image using the extracted reflectance component.

여기서 상기 영상 신호 분리부는 상기 대상 영상의 화소의 영상 신호 값을 상기 조명 성분과 상기 반사율 성분 간의 곱으로 모델링하는 것을 특징으로 할 수 있다.The image signal separator may be configured to model a video signal value of a pixel of the target image as a product of the illumination component and the reflectance component.

여기서 상기 영상 신호 분리부는, 희소 신호 분리 알고리즘에 따라 설계된 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 할 수 있다.The image signal separator may separate the illumination component and the reflectance component from the image signal value of the pixel using the cost function designed according to the sparse signal separation algorithm.

여기서 상기 영상 신호 분리부는, 상기 조명 성분에 대한 그래디언트 연산 값의 놈 연산 값에 따른 항과 상기 반사율 성분에 대한 그래디언트 연산 값의 주파수 변환 값의 놈 연산 값에 따른 항을 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 할 수 있다.Wherein the image signal separator uses the cost function including a term according to a norm computation value of a gradient computation value for the illumination component and a term according to a norm computation value of a frequency transformation value of a gradient computation value for the reflectivity component And separates the illumination component and the reflectance component from the video signal value of the pixel.

여기서 상기 영상 신호 분리부는, 상기 조명 성분의 로그 값의 그래디언트의 놈 연산 값에 따른 항과 상기 반사율 성분의 로그 값의 그래디언트의 주파수 변환 값의 놈 연산 값에 따른 항을 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 할 수 있다.Wherein the image signal separator uses the cost function including a term according to a norm calculation value of a gradient of a logarithm of the illumination component and a term according to a norm calculation value of a frequency conversion value of a gradient of a logarithm value of the reflectance component And separates the illumination component and the reflectance component from the video signal value of the pixel.

여기서 상기 영상 신호 분리부는, 하기 식 1과 같은 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 할 수 있다.Here, the image signal separator may separate the illumination component and the reflectance component from the image signal value of the pixel using the cost function expressed by Equation (1) below.

식 1.Equation 1.

Figure 112015099469658-pat00001
Figure 112015099469658-pat00001

여기서 r은 상기 반사율 성분의 로그 연산 값이고, l은 상기 조명 성분의 로그 연산 값이고, s는 상기 화소의 영상 신호 값의 로그 연산 값이고, '은 그래디언트 연산이고, ＾는 상기 비용함수의 결과에 따라 산출되는 값을 지칭하는 연산자이고, D는 주파수 변환 연산이고, ∥∥1는 L1 놈 연산이고, N x M은 상기 대상 영상의 크기이고, : 는 조건 제한을 나타내는 기호이다.Where r is a logarithmic value of the reflectivity component, l is a logarithmic value of the illumination component, s is a logarithmic value of the image signal value of the pixel, 'is a gradient operation, Where D is a frequency transformation operation,? 1 is an L1 norm operation, N x M is a size of the target image, and: is a symbol indicating a conditional limit.

여기서 상기 영상 신호 분리부는, 상기 조명 성분 및 상기 반사율 성분을 연산한 값과 상기 화소의 영상 신호 값 간의 차이의 크기에 따른 항을 더 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 할 수 있다.Here, the image signal separator may further include a cost function that further includes a term based on a difference between a value obtained by calculating the illumination component and the reflectance component and a value of a difference between the image signal value of the pixel, And separates the illumination component and the reflectance component from each other.

여기서 상기 영상 신호 분리부는, 상기 조명 성분의 그래디언트 및 상기 반사율 성분의 그래디언트를 연산한 값과 상기 화소의 영상 신호 값의 그래디언트 간의 차이의 크기에 따른 항을 더 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 할 수 있다.Here, the image signal separator may further include a term based on a magnitude of a difference between a value obtained by calculating a gradient of the illumination component and a gradient of the reflectance component and a gradient of a video signal value of the pixel, And separates the illumination component and the reflectance component from the image signal value of the pixel.

여기서 상기 영상 신호 분리부는, 지역 상대 반사율에 따른 항을 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 할 수 있다.The image signal separating unit may separate the illumination component and the reflectance component from the image signal value of the pixel using the cost function including terms based on the relative relative reflectance.

여기서 상기 지역 상대 반사율에 따른 항은 상기 화소의 영상 신호 값과 상기 화소의 주변 화소들의 영상 신호 값 간의 차이에 따른 값과, 상기 화소에서의 상기 반사율 성분 값과 상기 화소의 주변 화소들의 상기 반사율 성분 값 간의 차이 값 간의 차분 값에 따라 연산되는 항인 것을 특징으로 할 수 있다.Here, the term according to the relative relative reflectance is a value corresponding to a difference between a video signal value of the pixel and a video signal value of surrounding pixels of the pixel, a reflectance component value of the pixel, And a difference value between the difference values.

여기서 상기 영상 신호 분리부는, 상기 대상 영상의 화소의 영상 신호 값을 상기 비용함수의 입력으로 하고, 상기 비용함수를 최소화하는 해를 산출하여 상기 조명 성분과 상기 반사율 성분을 산출하는 것을 특징으로 할 수 있다.Wherein the image signal separation unit calculates the illumination component and the reflectance component by calculating a solution for minimizing the cost function by using the image signal value of the pixel of the target image as the input of the cost function have.

상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 레티넥스 모델에 기반한 영상 신호 분리 장치는 조명 성분을 분리할 대상 영상을 입력받는 영상 입력부; 및 상기 입력받은 대상 영상의 화소의 영상 신호 값을 상기 조명 성분과 반사율 성분 간의 연산 값으로 모델링하고, 상기 조명 성분과 상기 반사율 성분을 파라미터로 포함하고 지역 상대 반사율에 따른 항을 포함하는 비용함수를 이용하여 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 반사율 성분을 분리하여 추출하는 영상 신호 분리부를 포함할 수 있다.According to another aspect of the present invention, there is provided an apparatus and method for separating video signals based on a Retinex model, the apparatus comprising: And an image processing unit for modeling a video signal value of a pixel of the input target image as an arithmetic value between the illumination component and a reflectance component, and calculating a cost function including the illumination component and the reflectance component as parameters, And separating and extracting the illumination component and the reflectance component from the video signal value of the pixel.

여기서 상기 지역 상대 반사율에 따른 항은 상기 화소의 영상 신호 값과 상기 화소의 주변 화소들의 영상 신호 값 간의 차이에 따른 값과, 상기 화소에서의 상기 반사율 성분 값과 상기 화소의 주변 화소들의 상기 반사율 성분 값 간의 차이 값 간의 차분 값에 따라 연산되는 항인 것을 특징으로 할 수 있다.Here, the term according to the relative relative reflectance is a value corresponding to a difference between a video signal value of the pixel and a video signal value of surrounding pixels of the pixel, a reflectance component value of the pixel, And a difference value between the difference values.

상기 과제를 해결하기 위해, 본 발명의 또 다른 유형에 따른 레티넥스 모델에 기반한 영상 신호 분리 방법은 조명 성분을 분리할 대상 영상을 입력받는 영상 입력 단계; 및 상기 입력받은 대상 영상의 화소의 영상 신호 값을 상기 조명 성분과 반사율 성분 간의 연산 값으로 모델링하고, 상기 조명 성분과 상기 반사율 성분을 파라미터로 포함하는 비용함수를 이용하여 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 반사율 성분을 분리하여 추출하는 영상 신호 분리 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided a method of separating an image signal based on a Retinex model, the method comprising: inputting a target image to be separated; And a method of modeling a video signal value of a pixel of the input target image as a calculated value between the illumination component and a reflectance component and using a cost function including the illumination component and the reflectance component as parameters, And an image signal separating step of separating and extracting the illumination component and the reflectance component.

여기서 상기 영상 신호 분리 방법은 상기 추출된 반사율 성분을 이용하여 복원 영상을 생성하는 영상 생성 단계를 더 포함할 수 있다.The image signal separation method may further include an image generation step of generating a reconstructed image using the extracted reflectance component.

여기서 상기 영상 신호 분리 단계는, 상기 대상 영상의 화소의 영상 신호 값을 상기 조명 성분과 상기 반사율 성분 간의 곱으로 모델링하고, 희소 신호 분리 알고리즘에 따라 설계된 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 할 수 있다.Wherein the image signal separation step includes the steps of modeling a video signal value of a pixel of the target image as a product of the illumination component and the reflectance component and using the cost function designed according to a sparse signal separation algorithm, And separating the illumination component and the reflectance component from the value.

여기서 상기 영상 신호 분리 단계는, 상기 조명 성분의 로그 값의 그래디언트의 놈 연산 값에 따른 항과 상기 반사율 성분의 로그 값의 그래디언트의 주파수 변환 값의 놈 연산 값에 따른 항을 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 할 수 있다.Wherein the dividing the image signal includes dividing the logarithm of the logarithm of the illumination component into a logarithm of the logarithm of the logarithm of the logarithm of the logarithm of the logarithm of the logarithm of the logarithm of the logarithm of the logarithm of the logarithm of the logarithm of the illumination component, And separates the illumination component and the reflectance component from the video signal value of the pixel.

여기서 상기 영상 신호 분리 단계는, 지역 상대 반사율에 따른 항을 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 할 수 있다.The image signal separating step separates the illumination component and the reflectance component from the image signal value of the pixel using the cost function including a term according to the relative relative reflectance.

여기서 상기 지역 상대 반사율에 따른 항은 상기 화소의 영상 신호 값과 상기 화소의 주변 화소들의 영상 신호 값 간의 차이에 따른 값과, 상기 화소에서의 상기 반사율 성분 값과 상기 화소의 주변 화소들의 상기 반사율 성분 값 간의 차이 값 간의 차분 값에 따라 연산되는 항인 것을 특징으로 할 수 있다.Here, the term according to the relative relative reflectance is a value corresponding to a difference between a video signal value of the pixel and a video signal value of surrounding pixels of the pixel, a reflectance component value of the pixel, And a difference value between the difference values.

본 발명에 따른 레티넥스 모델 기반 영상 신호 분리 장치 및 방법에 의하면 기존의 물리기반 레티넥스 모델에 비해 조명과 반사율(reflectance)을 정교하게 분리할 수 있는 효과가 있다.According to the retinex model-based video signal separation apparatus and method according to the present invention, illumination and reflectance can be finely separated as compared with the conventional physics-based Retinex model.

또한 본 발명에서 제공하는 레티넥스 모델 기반 영상 신호 분리 장치 및 방법에 의하면, 조명의 변화로 인해 성능이 열화되는 기존의 pattern recognition, image enhancement 등 다양한 분야에 적용되어 장치의 성능을 향상시킬 수 있는 효과가 있다.In addition, according to the retinex model-based video signal separation apparatus and method provided by the present invention, it is possible to improve the performance of a device by applying it to various fields such as pattern recognition and image enhancement, .

도 1은 조명(Illumination)에 따라 원 색상에 대하여 카메라와 같은 기계의 시각 시스템(MVS)이 인식하는 색상과 사람의 인지 시각 시스템(HVS)이 인지하는 색상이 서로 상이함을 나타내는 참고도이다.
도 2는 영상신호에서 조명 성분과 반사율 성분을 분리하는 동작을 설명하기 위한 참고도이다.
도 3은 기존의 레티넥스 모델을 이용하여 조명 성분과 반사율 성분을 분리하는 경우 두 비용 함수 간의 영향도를 조절하는 정규화 파라미터의 값에 따라 추출되는 반사율 성분이 크게 변화하는 현상을 나타내는 참고도이다.
도 4와 도 5는 본 발명에 따른 레티넥스 모델 기반 영상 신호 분리 장치의 블록도이다.
도 6은 희소 신호 분리 기법의 원리를 설명하기 위한 참고도이다.
도 7은 본 발명에 따른 영상 신호 분리부에 의하여 분리된 반사율 성분과 기존의 레티넥스 모델에 의하여 분리된 반사율 성분을 원래의 반사율 값과 비교한 결과를 나타내는 참고도이다.
도 8은 본 발명에 따른 영상 신호 분리부에 의하여 분리된 반사율 성분에 따른 영상을 나타내는 참고도이다.
도 9는 영상 신호 분리부가 조명이 적용된 입력 영상으로부터 분리해낸 반사율 성분에 따른 영상과, 기존의 레티넥스 모델을 이용하여 분리해낸 반사율 성분에 따른 영상을 비교하는 참고도이다.
도 10 및 도 11은 상기 본 발명에 따른 레티넥스 모델 기반 영상 신호 분리 방법의 흐름도이다.FIG. 1 is a reference diagram showing that colors perceived by a visual system (MVS) of a machine such as a camera and colors perceived by a human perception system (HVS) are different from each other according to illumination.
2 is a reference diagram for explaining an operation of separating an illumination component and a reflectance component from a video signal.
3 is a reference diagram showing a phenomenon in which a reflectance component extracted according to a value of a normalization parameter that controls the influence between two cost functions is largely changed when an illumination component and a reflectance component are separated using an existing Retinex model.
4 and 5 are block diagrams of a retinex model-based video signal separation apparatus according to the present invention.
6 is a reference diagram for explaining the principle of the sparse signal separation technique.
7 is a reference view showing a result of comparing the reflectance component separated by the image signal separator according to the present invention and the reflectance component separated by the conventional retinex model with the original reflectance value.
8 is a reference view showing an image according to the reflectance component separated by the image signal separator according to the present invention.
9 is a reference diagram for comparing an image according to a reflectance component separated from an illuminated input image and an image according to a reflectance component separated using a conventional Retinex model.
FIG. 10 and FIG. 11 are flowcharts of a retinex model-based video signal separation method according to the present invention.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to designate the same or similar components throughout the drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. In addition, the preferred embodiments of the present invention will be described below, but it is needless to say that the technical idea of the present invention is not limited thereto and can be variously modified by those skilled in the art.

사람은 객체의 색상을 인지할 때 객체의 색상과 함께 주변 환경의 조명을 함께 고려하기 때문에 조명 환경에 크게 영향을 받지 않고 객체의 색상을 인지할 수 있다. 반면 기계의 시각 시스템(MVS)의 경우 조명 환경에 따라 획득하는 영상 신호의 값이 크게 차이가 나게 되며, 그 결과 기계의 시각 시스템(MVS)이 인식하는 객체의 색상과 사람의 인지 시각 시스템(HVS)이 인지하는 색상은 서로 상이하게 된다. 따라서 사람이 본 풍광의 색감이 사진에서 잘 나타나지 않는 경우가 많이 있다. When a person perceives the color of an object, the color of the object can be perceived without being largely affected by the lighting environment since the ambient light is considered together with the color of the object. On the other hand, in the case of a machine vision system (MVS), the value of the video signal acquired according to the illumination environment is significantly different. As a result, the color of the object recognized by the machine vision system (MVS) ) Are different from each other. Therefore, there are many cases where the color of the scenery seen by a person does not appear well in the photograph.

도 1은 이와 같이 조명(Illumination)에 따라 원 색상에 대하여 카메라와 같은 기계의 시각 시스템(MVS)이 인식하는 색상과 사람의 인지 시각 시스템(HVS)이 인지하는 색상이 서로 상이함을 나타내는 참고도이다.1 is a reference diagram showing that colors perceived by a visual system (MVS) of a machine such as a camera and colors perceived by a human perception system (HVS) are different from each other with respect to a circle color according to illumination. to be.

이러한 차이점은 색상 기반 영상 세그멘테이션, 패턴 인식 및 객체 추적 등의 성능에 영향을 미치는 요인이 된다. 즉 사람의 눈이 조명의 영향에 따른 색상의 변화를 감지하여 원 색상을 인지하도록 적응하는 것과 달리, 기기의 영상 시스템은 그와 같은 적응을 하지 못하여 객체 인식 및 추적에 있어서 성능이 열화될 수 있는 것이다.These differences affect performance such as color-based image segmentation, pattern recognition, and object tracking. In other words, the human eye adapts to perceive the original color by sensing the change in color according to the influence of illumination. However, since the image system of the apparatus can not adapt to such a situation, performance in object recognition and tracking may deteriorate will be.

이상과 같은 문제점을 해결하기 위하여 E. Land는 "E. H. Land and J. McCann, 'Lightness and retinex theory,' JOSA, vol. 61,no. 1, pp. 1-11, 1971."에서 원 영상에서 반사율과 조명 성분을 분리함으로써 조명이 변화하는 환경에서도 기계의 시각 시스템(MVS)이 인간의 시각 시스템(HVS)과 같이 색상을 원래대로 인식할 수 있도록 하는 시도를 하였다. 보다 구체적으로 Land는 영상에서의 색상과 그에 대응하는 영역에서의 색상 간의 관계를 정의하는 레티넥스(Retinex) 이론을 제시하면서, 그에 따라 원 영상에서 반사율 성분을 추출하여 내는 경로 기반의 레티넥스 알고리즘을 제안하였다. 이와 같은 Land의 선행연구를 이어 다양한 레티넥스 알고리즘 연구가 현재까지 진행되고 있다.In order to solve the above problems, E. Land has been used in the original image in EH Land and J. McCann, 'Lightness and retinex theory,' JOSA, vol. 61, no.1, pp. 1-11, By separating the reflectance and the illumination, we tried to make the machine's visual system (MVS) recognize the same color as the human visual system (HVS), even in the changing lighting environment. More specifically, Land proposes a Retinex theory that defines the relationship between color in the image and its corresponding color, and then uses a path-based Retinex algorithm to extract the reflectance component from the original image. The Following this precedent study of Land, various researches of Retinex algorithm are going on to date.

이상과 같은 레티넥스 알고리즘 중 하나인 물리 기반 레티넥스 알고리즘(Physics-based Retinex algorithm)은 영상에 포함된 물체의 영상 신호(S)가 조명(illumination : L) 성분과 반사율(reflectance : R) 성분의 조합으로 표현될 수 있다는 점에 착안하여, 영상 신호(S)로부터 반사율(R)을 분리해냄으로써 조명에 의해 발생하는 기계 시각 시스템의 색상 변화 문제를 해결하고자 하였다(J. M. Morel, A. B. Petro, and C. Sbert, "A pde formalization of retinex theory," Image Processing, IEEE Transactions on, vol. 19, no. 11, pp. 2825-2837, 2010.). The Physics-based Retinex algorithm, which is one of the Retinex algorithms described above, is a method in which an image signal S of an object included in an image is divided into an illumination (L) component and a reflectance (R) component (JM Morel, AB Petro, and C) by solving the problem of color change caused by illumination by separating the reflectance (R) from the video signal (S) Sbert, "A pde formalization of retinex theory," Image Processing, IEEE Transactions on, Vol. 19, No. 11, pp. 2825-2837, 2010.).

여기서 반사율은 물체의 원래의 색에 따른 신호 성분을 나타내고 조명은 주변의 조명 환경에 따른 신호 성분을 나타낸다. 물리 기반 레티넥스 알고리즘은 기본적으로 S=L·R 식을 log domain으로 치환하여 L과 R의 더하기 식으로 바꾼 후(s=l+r, s=logS, l=logL, r=logR) l과 r을 모델링 하여 비용함수를 통해 s로부터 r, l의 값을 도출하는 방식으로 동작한다.Here, the reflectance represents a signal component according to the original color of the object, and the illumination represents a signal component depending on the surrounding illumination environment. The physics-based Retinex algorithm is based on the assumption that the logarithm of S = L · R is replaced by a logarithm of the addition of L and R (s = l + r, s = logS, l = logL, r is modeled and r and l are derived from s through a cost function.

예를 들면 도 2와 같이 입력 영상 (a)의 영상 신호에서 분리한 반사율 성분에 따른 영상 (b)와 조명 성분에 따른 영상 (c)를 각각 생성할 수 있다.For example, as shown in FIG. 2, an image b according to a reflectance component and an image c according to an illumination component separated from the image signal of the input image a can be respectively generated.

그런데 이와 같은 기존의 물리 기반 레티넥스 알고리즘들은 조명과 반사율을 이용하여 비용함수 모델링을 할 때 조명의 특성만을 고려하여 비용함수를 모델링 하거나(R. Kimmel, M. Elad, D. Shaked, R. Keshet, and I. Sobel, "A variational framework for retinex," International Journal of computer vision, vol. 52, no. 1, pp. 7-23, 2003.), 반사율만 고려하거나(W. Ma and S. Osher,"A tv bregman iterative model of retinex theory," UCLA CAM Report, pp. 10-13, 2010.), 조명과 반사율의 특성을 모두 고려하는 방식으로 비용함수를 모델링 하였다(M. K. Ng and W.Wang, "A total variation model for retinex," SIAM Journal on Imaging Sciences, vol. 4, no. 1, pp. 345-365, 2011.).However, the conventional physics-based Retinex algorithms model the cost function by considering only the characteristics of illumination when the cost function modeling is performed using illumination and reflectance (R. Kimmel, M. Elad, D. Shaked, R. Keshet , and I. Sobel, "A Variational Framework for Retinex," International Journal of Computer Vision, vol. 52, no. 1, pp. , UCLA CAM Report, pp. 10-13, 2010.), modeling the cost function in a way that considers both illumination and reflectivity characteristics (MK Ng and W. Wang, "A total variation model for retinex," SIAM Journal on Imaging Sciences, vol. 4, no. 1, pp. 345-365, 2011.).

하기 수학식 1은 조명 성분만을 고려한 비용함수를 이용하는 기존의 방식, 하기 수학식 2는 반사율 성분 만을 고려한 비용함수를 이용하는 기존 방식, 하기 수학식 3은 반사율과 조명 성분을 모두 고려하지만 양 성분 간에 정규화 파라미터(α)를 적용한 비용함수를 이용하는 기존 방식에서의 각 비용함수를 나타낸다.In Equation (1), Equation (1) is an existing method using a cost function considering only illumination components, Equation (2) is an existing method using a cost function considering only reflectance components, Equation (3) Represents each cost function in the existing method using the cost function to which the parameter [alpha] is applied.

Figure 112015099469658-pat00002
Figure 112015099469658-pat00002

여기서 α, β는 상수이고, x는 영상의 좌표이고, Ω는 영상 영역을 나타낸다.Where α and β are constants, x is the coordinates of the image, and Ω is the image area.

Figure 112015099469658-pat00003
Figure 112015099469658-pat00003

여기서 t는 상수이다.Where t is a constant.

Figure 112015099469658-pat00004
Figure 112015099469658-pat00004

여기서 α, β, μ는 상수이다.Where α, β, and μ are constants.

그러나 위와 같은 기존의 방식들은 반사율 또는 조명 만을 고려하는 레티넥스 모델을 이용하여, 반사율을 정교하게 분리하기 어려운 단점이 있다. 또한 위 M. K. Ng and W.Wang에 의하여 제안된 조명과 반사율 특성을 모두 고려하는 레티넥스 모델(total variational Retinex model) 역시 비록 조명과 반사율을 모두 고려하기 때문에 이를 하나만 고려하는 경우보다 정교하게 두 성분을 분리해낼 수 있기는 하지만, 상기 수학식 3과 같이 조명과 반사율의 비용함수를 각각 독립적으로 고려하는 방식을 사용하였기 때문에 두 비용함수 사이의 정규화 파라미터 값에 따라 결과가 일관성 있게 도출되지 못하는 문제점이 발생한다.However, the above conventional methods have a disadvantage in that it is difficult to finely separate the reflectance by using a Retinex model which considers only reflectance or illumination. Also, the total variational model, which considers both the illumination and reflectance characteristics proposed by MK Ng and W. Wang above, also considers both illumination and reflectivity, However, since the cost function of illumination and reflectance is independently considered as shown in Equation (3), the result is not consistently derived according to the normalization parameter value between the two cost functions. do.

도 3은 이와 같은 기존의 total variational Retinex model을 이용하여 조명 성분과 반사율 성분을 분리하는 경우 두 비용 함수 간의 영향도를 조절하는 정규화 파라미터의 값에 따라 추출되는 반사율 성분이 크게 변화하는 현상을 나타내는 참고도이다. 여기서 도 3의 (a)는 입력 영상이고, (b) 내지 (f)는 반사율 성분을 나타내는 영상으로 (b) α=0.5, (c) α=1.0, (d) α=2.0, (e) α=4.0, (f) α=8.0의 정규화 파리미터 값(α)을 가지는 경우를 각 나타낸 것이다.FIG. 3 is a graph showing the relationship between the illuminance component and the reflectance component of the conventional total variational retinex model. In FIG. 3, the reflectance component extracted according to the value of the normalization parameter . (B), (c), (c), (d) and (d) show the input image, alpha = 4.0, and (f) alpha = 8.0, respectively.

상술한 바와 같이 기존의 레티넥스 모델들은 조명과 반사율을 독립적으로 고려하고 있기 때문에, 모델 내 조명 비용함수 및 반사율 비용함수를 이어주는 정규화 파라미터의 값에 따라 결과 값이 크게 바뀌는 문제점이 있다. As described above, existing Retinex models consume illumination and reflectance independently. Therefore, there is a problem in that the resultant value is greatly changed according to the value of the normalization parameter connecting the illumination cost function and the reflectance cost function in the model.

이러한 문제점을 해결하기 위해 본 발명에서는 희소 신호 분리(Sparse source separation) 알고리즘을 레티넥스 모델에 적용하여 입력 영상에서 조명 성분과 반사율 성분을 분리하는 장치와 그 방법을 제공한다. 희소 신호 분리 알고리즘은 혼합된 두 신호를 분리하는 알고리즘이기 때문에 비용함수에서 양 신호 사이의 정규화 파라미터가 불필요한 특징을 갖고 있다. 따라서 이를 레티넥스 모델에 적용함으로써 보다 정교하고 일관성 있게 반사율 성분과 조명 성분을 분리할 수 있는 효과가 있다.In order to solve such problems, the present invention provides an apparatus and method for separating an illumination component and a reflectance component from an input image by applying a sparse source separation algorithm to a Retinex model. Since the sparse signal separation algorithm is an algorithm that separates the mixed signals, the normalization parameter between the two signals in the cost function is unnecessary. Therefore, by applying this to the Retinex model, it is possible to separate the reflectance component and the illumination component more precisely and consistently.

이하에서는 먼저 이와 같은 희소 신호 분리 알고리즘을 적용한 레티넥스 모델에 기반한 영상 신호 분리 장치에 대하여 보다 상세히 설명한다.Hereinafter, a video signal separator based on a Retinex model using such a sparse signal separation algorithm will be described in detail.

본 발명의 일 실시예에 따른 레티넥스 모델 기반 영상 신호 분리 장치는 영상 입력부(50), 영상 신호 분리부(100)를 포함할 수 있다. 또한 필요에 따라 영상 생성부(200)를 더 포함할 수도 있다.The retinex model-based video signal separating apparatus according to an embodiment of the present invention may include an image input unit 50 and a video signal separating unit 100. And may further include the image generating unit 200 as needed.

도 4와 도 5는 상기 본 발명에 따른 레티넥스 모델 기반 영상 신호 분리 장치의 블록도이다.4 and 5 are block diagrams of a retinex model-based video signal separation apparatus according to the present invention.

영상 입력부(50)는 조명 성분을 분리할 대상 영상을 입력받는다.The image input unit 50 receives a target image from which an illumination component is to be separated.

여기서 입력받는 영상은 카메라 또는 이미지 센서와 같은 영상 획득 장치를 이용하여 획득된 영상이 될 수 있고, 이와 같은 장치들을 이용하여 획득된 영상이 저장 매체에 저장된 것을 읽어들여 입력받는 영상이 될 수도 있다. 또한 획득된 영상이 전송 매체를 통하여 전송된 것을 입력받을 수도 있다. 이와 같이 다양한 경로를 통하여 영상 입력부(50)는 대상 영상을 입력받을 수 있다. 여기서 영상 입력부(50)는 영상을 입력받는 포트 또는 단자가 될 수 있고, 하드웨어 상에서 영상 신호를 입력받는 포트가 될 수도 있다. 또는 영상 입력부(50)는 메모리 또는 저장 매체에 저장된 대상 영상의 영상 신호나 또는 전송 매체로부터 전송되는 대상 영상의 영상 신호 값을 읽어 들이는 모듈이 될 수 있고, 이와 같은 모듈은 하드웨어 또는 소프트웨어 적으로 구현될 수도 있다. Here, the input image may be an image obtained by using an image acquisition device such as a camera or an image sensor, or may be an image obtained by reading an image acquired using the devices and reading the input image. Also, it may be inputted that the acquired image is transmitted through the transmission medium. The image input unit 50 can receive the target image through various paths. Here, the image input unit 50 may be a port or a terminal for receiving an image, or may be a port for receiving a video signal on hardware. Alternatively, the image input unit 50 may be a module for reading image signals of a target image stored in a memory or a storage medium, or image signal values of a target image transmitted from a transmission medium, and the module may be implemented in hardware or software .

영상 신호 분리부(100)는 상기 입력받은 대상 영상의 화소의 영상 신호 값을 상기 조명 성분과 반사율 성분 간의 연산 값으로 모델링하고, 상기 조명 성분과 상기 반사율 성분을 파라미터로 포함하는 비용함수를 이용하여 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 반사율 성분을 분리하여 추출한다.The image signal separation unit 100 models the image signal value of the pixel of the input subject image as a calculated value between the illumination component and the reflectance component and uses the cost function including the illumination component and the reflectance component as parameters And separates and extracts the illumination component and the reflectance component from the video signal value of the pixel.

영상 생성부(200)는 상기 추출된 반사율 성분을 이용하여 복원 영상을 생성한다.The image generating unit 200 generates a reconstructed image using the extracted reflectance component.

여기서 영상 생성부(200)는 추출된 반사율 성분을 그대로 복원 영상으로 하여 출력할 수도 있고, 또는 추출된 반사율 성분의 신호 레인지를 조절하여 복원 영상을 생성할 수도 있다. 또는 영상 생성부(200)는 필요에 따라 추출된 반사율 성분에 필터링을 수행하여 그 결과물을 복원 영상으로 생성할 수도 있고, 또 다른 조명 성분을 추출된 반사율 성분에 적용하여 다른 조명 효과가 적용된 복원 영상을 생성할 수도 있다.Here, the image generator 200 may output the extracted reflectance component as a reconstructed image as it is, or may generate a reconstructed image by adjusting the signal range of the extracted reflectance component. Alternatively, the image generating unit 200 may perform filtering on the extracted reflectance component as needed to generate the reconstructed image as a reconstructed image, apply another illumination component to the extracted reflectance component, May be generated.

여기서 본 발명에 따른 레티넥스 모델 기반 영상 신호 분리 장치는 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있다. 또는 본 발명에 따른 레티넥스 모델 기반 영상 신호 분리 장치는 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한 본 발명에 따른 레티넥스 모델 기반 영상 신호 분리 장치는 소프트웨어 프로그램으로 구현되어 프로세서 또는 신호 처리 모듈 위에서 동작할 수 있고, 또는 하드웨어의 형태로 구현되어 칩(Chip), 소자 등에 포함될 수 있음은 물론이다. 또한 본 발명에 따른 레티넥스 모델 기반 영상 신호 분리 장치는 하드웨어 또는 소프트웨어 모듈에 포함되어 동작할 수 있다. 예를 들면 본 발명에 따른 레티넥스 모델 기반 영상 신호 분리 장치는 카메라 장치나 영상을 저장하고 있는 저장 매체 또는 영상을 전송받는 전송 매체에 연결되어 입력 영상을 수신하고, 수신한 입력 영상으로부터 조명 성분 또는 반사율 성분을 추출하여 출력하는 디바이스 또는 컴퓨터나 임베디드 시스템이 될 수 있다. Here, all components of the Retinex model-based video signal separation apparatus according to the present invention can be implemented as independent hardware. Alternatively, the Retinex model-based video signal separating apparatus according to the present invention is a computer program having a program module which performs a part or all of the functions of a part or all of components selectively combined and combined in one or a plurality of hardware . In addition, the Retinex model-based video signal separation apparatus according to the present invention may be implemented as a software program and operated on a processor or a signal processing module, or may be embodied in hardware to be included in a chip, . Also, the Retinex model-based video signal separating apparatus according to the present invention may be included in a hardware or software module. For example, the Retinex model-based video signal separation apparatus according to the present invention is connected to a camera device, a storage medium storing an image or a transmission medium for receiving an image, receives an input image, A device or a computer or an embedded system that extracts and outputs a reflectance component.

다음으로는 영상 신호 분리부(100)의 동작에 대하여 보다 상세히 설명한다.Next, the operation of the video signal separation unit 100 will be described in more detail.

영상 신호 분리부(100)는 먼저 상기 입력받은 대상 영상의 화소의 영상 신호 값을 상기 조명 성분과 반사율 성분 간의 연산 값으로 모델링한다.The image signal separation unit 100 first models the image signal value of the pixel of the input subject image as an arithmetic value between the illumination component and the reflectance component.

바람직하게는 영상 신호 분리부(100)는 상기 대상 영상의 화소의 영상 신호 값을 상기 조명 성분과 상기 반사율 성분 간의 곱으로 모델링할 수 있다.Preferably, the image signal separation unit 100 may model the image signal value of the pixel of the target image as a product between the illumination component and the reflectance component.

여기서 화소의 영상 신호 값은 다양한 색 공간에서의 채널에 있어서의 영상 신호 값이 될 수 있음은 물론이다. 이하에서는 대상 영상에 포함된 화소들의 영상 신호 값을 S로 표현하고, 상기 영상 신호 값에 혼합된 조명(Illuminance) 성분은 L, 반사율(Reflectance) 성분은 R로 각각 표현한다.It goes without saying that the image signal value of the pixel can be the image signal value of the channel in the various color spaces. Hereinafter, an image signal value of pixels included in a target image is represented by S, and an illumination component mixed with the image signal value is represented by L, and a reflectance component is expressed by R, respectively.

여기서 화소의 영상 신호 값 S는 하기 수학식 4와 같이 조명 성분 L과 반사율 성분 R의 곱으로 산출되는 것으로 모델링할 수 있다.Here, the image signal value S of the pixel can be modeled as a product of the illumination component L and the reflectance component R, as shown in Equation (4).

Figure 112015099469658-pat00005
Figure 112015099469658-pat00005

여기서 바람직하게는 R과 L의 범위는, 0 < R < 1, 0 < L < ∞으로 설정될 수 있다. 다만 필요에 따라 상기 범위는 달리 설정될 수 있음은 물론이다.Here, the range of R and L is preferably set to 0 <R <1, 0 <L <infinity. However, it is needless to say that the above range can be set differently if necessary.

여기서 계산의 편의를 위하여 상기 수학식 4는 하기 수학식 5와 같이 로그 영역으로 변환될 수 있다.For convenience of calculation, Equation (4) can be converted into a logarithmic region as shown in Equation (5).

Figure 112015099469658-pat00006
Figure 112015099469658-pat00006

여기서 s = log S, r = log R, l = log L이다.Where s = log S, r = log R, and l = log L.

위와 같은 모델링을 기반으로 주어진 S 값으로부터 R과 L을 산출하는 것은 NP hard Problem이 된다. 이와 같은 문제를 풀기 위하여 본 발명에 따른 영상 신호 분리부(100)는 상기 조명 성분과 상기 반사율 성분을 파라미터로 포함하는 비용함수를 이용하여 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 반사율 성분을 분리하여 추출한다. 그리고 이때 영상 신호 분리부(100)는 희소 신호 분리(Sparse source separation) 기법을 이용하여 설계한 비용함수에 따라 대상 영상의 영상 신호 값으로부터 조명 성분과 반사율 성분을 분리하여 추출할 수 있다.Based on the above modeling, it is NP hard problem to calculate R and L from a given S value. In order to solve such a problem, the image signal separator 100 according to the present invention separates the illumination component and the reflectance component from the image signal value of the pixel by using a cost function including the illumination component and the reflectance component as parameters . At this time, the image signal separation unit 100 can separate the illumination component and the reflectance component from the image signal value of the target image according to the cost function designed using the sparse source separation technique.

희소 신호 분리 기법은 "D. L. Donoho and X. Huo, 'Uncertainty principles and ideal atomic decomposition,' Information Theory, IEEE Transactions on, vol. 47, no. 7, pp.2845-2862, 2001."에 의하여 제안된 기법으로 서로 다른 두 신호가 혼합된 신호를 분리하는 기법이다. 희소 신호 분리 기법에 의하면 공간 도메인에서 희소성을 가지는 신호와 주파수 도메인에서 희소성을 가지는 신호가 혼합되었을 경우, 양 신호를 서로 분리할 수 있다.Sparse signal separation techniques are proposed by DL Donoho and X. Huo, Uncertainty principles and ideal atomic decomposition, Information Theory, IEEE Transactions on, vol. 47, no. 7, pp. 2845-2862, This technique separates the mixed signals of two different signals. According to the sparse signal separation technique, when a signal having a sparity in a spatial domain is mixed with a signal having a sparse frequency domain, both signals can be separated from each other.

도 6은 이와 같은 희소 신호 분리 기법의 원리를 설명하기 위한 참고도이다.FIG. 6 is a reference diagram for explaining the principle of such a sparse signal separation technique.

도 6과 같이 (a)와 같이 공간 도메인에서 희소하게 분포하는 신호 x와 (b)와 같이 일정한 주기를 가지는 신호들의 혼합으로 생성되어 주파수 도메인에서 희소하게 분포하는 신호 y가 혼합된 신호 z (c)가 있을 경우, 희소 신호 분리 기법을 이용하면 z로부터 x와 y를 분리해낼 수 있다.As shown in (a) of FIG. 6, a signal z (c) mixed with a signal y, which is generated by mixing signals having a certain period such as signals x and b rarely distributed in the spatial domain and rarely distributed in the frequency domain, ), We can separate x and y from z using the sparse signal separation technique.

이를 위하여 희소 신호 분리 기법은 z가 주어졌을 때 하기 수학식 6과 같은 비용함수를 최소화하도록 x와 y를 산출하는 방식으로 z로부터 x와 y를 추출한다.To this end, the sparse signal separation technique extracts x and y from z in such a way that x and y are calculated to minimize the cost function as given by Equation (6) given z.

Figure 112015099469658-pat00007
Figure 112015099469658-pat00007

여기서 D는 주파수 변환을 위한 행렬이고, 바람직하게는 DCT 행렬이 될 수 있다. 또한 ∥∥1는 L1 놈 연산이다.Here, D is a matrix for frequency conversion, and may be a DCT matrix. Also, 1 is an L1 norm operation.

영상 신호 분리부(100)는 위와 같은 희소 신호 분리 알고리즘에 따라 설계된 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리할 수 있다.The image signal separator 100 may separate the illumination component and the reflectance component from the image signal value of the pixel using the cost function designed according to the sparse signal separation algorithm.

상술한 바와 같이 희소 신호 분리 알고리즘은 두 개의 혼합된 신호를 분리하는 알고리즘으로, 두 신호 중 한 신호는 공간적으로 희소(sparse)하며, 다른 한 신호는 주파수 영역에서 희소(sparse)할 경우 두 신호를 분리해 낼 수 있는 알고리즘이다. 이러한 희소 신호 분리 알고리즘은 처음부터 혼합된 두 신호의 분리를 목적으로 접근하기 때문에 두 신호 사이의 정규화 파라미터가 불필요한 장점이 있으며, 따라서 보다 정교한 신호 분리가 가능한 장점을 갖는다.As described above, the sparse signal separation algorithm is an algorithm that separates two mixed signals. One of the signals is spatially spatially sparse, and the other signal is sparse in the frequency domain. It is an algorithm that can separate. Since the sparse signal separation algorithm approaches the purpose of separating two mixed signals from the beginning, there is an advantage that a normalization parameter between the two signals is unnecessary, and therefore, there is an advantage that more sophisticated signal separation can be performed.

그런데 일반적인 영상에서 반사율 성분의 그래디언트(gradient) 도메인 신호 ∇r은 공간 영역에서 희소(sparse)하며 조명 성분의 그래디언트 도메인 신호 ∇l은 주파수 영역에서 희소(sparse)한 성질을 가지고 있다. 즉 조명 성분의 경우 영상 전체에서 급격하게 변화하지 아니하고 일정한 패턴을 가지고 형성될 확률이 높고, 따라서 조명 성분을 그래디언트 연산하고 주파수 변환하면 특정 주파수 부분에 값이 집중되어, 그 결과 주파수 영역에서 희소 분포 패턴을 가지게 된다. 또한 반사율 성분의 경우는 영상에 포함된 객체의 경계 즉 에지 부분에서 신호값이 급격히 변화하고, 객체의 내부에서는 신호값의 변화가 적은 특성을 가질 확률이 높고, 따라서 반사율 성분을 그래디언트 연산하면 에지 부분에 해당하는 부분에서 신호 값이 집중되어, 그 결과 공간 영역에서 희소 분포 패턴을 가지게 된다.In a typical image, however, the gradient domain signal ∇r of the reflectance component is sparse in the spatial domain and the gradient domain signal ∇l of the illumination component has a sparse property in the frequency domain. That is, in the case of the illumination component, there is a high probability that the illumination component will not change abruptly in the entire image but will be formed with a certain pattern. Therefore, when the gradient component of the illumination component is calculated and frequency- . In the case of the reflectance component, the signal value rapidly changes at the boundary or edge of the object included in the image, and the probability that the signal value changes little in the interior of the object is high. Therefore, when the reflectance component is graded, The signal values are concentrated at the portion corresponding to the spatial distribution of the signal, resulting in a sparse distribution pattern in the spatial region.

일예로 도 2를 참조하면, (b)와 같은 반사율 성분은 에지 부분에서 신호 값의 변화가 큰 관계로, 반사율 성분의 그래디언트는 공간 영역에서 희소성을 가지고, (c)와 같은 조명 성분은 전체적으로 일정한 패턴을 가지고 형성되므로, 조명 성분의 그래디언트는 주파수 영역에서 희소성을 가지게 된다.For example, referring to FIG. 2, the reflectance component shown in (b) has a large change in the signal value at the edge portion, so that the gradient of the reflectance component has a sparse in the spatial domain and the illumination component such as (c) Pattern, the gradients of the illumination components become scarce in the frequency domain.

이에 본 발명에서는 위와 같은 사실에 착안하여, 반사율 성분의 그래디언트 신호와 조명 성분의 그래디언트 신호에 대하여 상술한 희소 신호 분리 알고리즘을 적용하여, 입력된 대상 영상의 영상 신호에 혼합되어 있는 반사율 성분과 조명 성분을 분리하는 영상 신호 분리부(100)를 제공한다.Accordingly, in the present invention, the sparse signal separation algorithm described above is applied to the gradient signal of the reflectance component and the gradient signal of the illumination component, and the reflectance component mixed with the video signal of the input target image and the illumination component The video signal separator 100 separates the video signal from the video signal.

이를 위하여 영상 신호 분리부(100)는 희소 신호 분리 알고리즘에 따라 비용함수를 설계하고 이를 기반으로 영상 신호로부터 조명 성분과 반사율 성분을 분리할 수 있다.For this, the video signal separation unit 100 can design a cost function according to the sparse signal separation algorithm, and can separate the illumination component and the reflectance component from the video signal based on the cost function.

여기서 영상 신호 분리부(100)는, 상기 조명 성분에 대한 그래디언트 연산 값의 놈 연산 값에 따른 항과 상기 반사율 성분에 대한 그래디언트 연산 값의 주파수 변환 값의 놈 연산 값에 따른 항을 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리할 수 있다.Here, the image signal separator 100 may divide the luminance component of the luminance component into a luminance component, a luminance component, and a luminance component of the luminance component, Function can be used to separate the illumination component and the reflectance component from the image signal value of the pixel.

여기서 상기 주파수 변환은 다양한 종류의 주파수 변환이 될 수 있고, 바람직하게는 DCT 변환이 될 수 있다. 또한 상기 놈 연산은 L0 놈 연산이 될 수 있다. 다만 계산의 편의를 위하여 상기 놈 연산은 L1 놈 연산이 될 수 있다.Here, the frequency conversion may be various types of frequency transforms, and preferably, may be a DCT transform. Further, the above-mentioned norm operation may be an L0 norm operation. However, for the sake of convenience of calculation, the genomic operation can be an L1 norm operation.

이때 영상 신호 분리부(100)는, 상기 조명 성분의 로그 값의 그래디언트의 놈 연산 값에 따른 항과 상기 반사율 성분의 로그 값의 그래디언트의 주파수 변환 값의 놈 연산 값에 따른 항을 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리할 수 있다.Here, the image signal separator 100 may divide the logarithm of the logarithm of the illumination component into a logarithm of the logarithm of the logarithm of the logarithm, Function can be used to separate the illumination component and the reflectance component from the image signal value of the pixel.

먼저 상기 수학식 5는 그래디언트 연산을 통하여 하기 수학식 7과 같이 변환될 수 있다.The equation (5) can be transformed as shown in Equation (7) through a gradient operation.

Figure 112015099469658-pat00008
Figure 112015099469658-pat00008

여기서 ∇는 2차원 그래디언트 연산을 의미하며, 각각 x 방향과 y 방향으로의 그래디언트 연산을 포함하는 (∇x, ∇y)이 된다. 이하에서는 ∇를 '와 동일한 연산으로 표현한다. 즉 s' = ∇s이다.Here, ∇ denotes a two-dimensional gradient operation, which is (∇x, ∇y) including the gradient operation in the x direction and the y direction, respectively. In the following, ∇ is expressed by the same operation as'. That is, s' = ∇s.

그렇다면 조명 성분의 그래디언트 연산 값 r'은 공간 영역에서 희소성을 가지고, 반사율 성분의 그래디언트 연산 값의 주파수 변환 값 Dl'은 주파수 영역에서 희소성을 가진다. 여기서 조명 성분과 반사율 성분은 계산의 편의를 위하여 각각 R과 L에 대한 로그 연산을 취하여 획득한 r와 l을 이용한다.Then, the gradient computation value r 'of the illumination component has a sparseness in the spatial domain, and the frequency transformation value Dl' of the gradient computation value of the reflectance component has scarcity in the frequency domain. Here, for convenience of calculation, the illumination component and the reflectance component use r and l obtained by taking the logarithm of R and L, respectively.

따라서 수학식 6을 영상 신호 s로부터 조명 성분 r과 반사율 성분 l을 분리하는 문제에 적용하면(상술한 바 계산의 편의를 위하여 각각 로그 연산 값을 이용한다), 하기 수학식 8과 같이 될 수 있다.Therefore, when Equation (6) is applied to the problem of separating the illumination component r and the reflectance component l from the image signal s (the log operation values are respectively used for the convenience of calculation), the following Equation 8 can be obtained.

Figure 112015099469658-pat00009
Figure 112015099469658-pat00009

여기서 r은 상기 반사율 성분의 로그 연산 값이고, l은 상기 조명 성분의 로그 연산 값이고, s는 상기 화소의 영상 신호 값의 로그 연산 값이고, ' 은 그래디언트 연산이고, ＾는 상기 비용함수의 결과에 따라 산출되는 값을 지칭하는 연산자이고, D는 주파수 변환 연산이고, ∥∥1는 L1 놈 연산이고, N x M은 상기 대상 영상의 크기이고, : 는 조건 제한을 나타내는 기호이다. 즉 상기 비용함수는 s' = r' + l'의 조건 제한을 가진다.Where r is a logarithmic value of the reflectivity component, l is a logarithmic value of the illumination component, s is a logarithmic value of the image signal value of the pixel, 'is a gradient operation, Where D is a frequency transformation operation,? 1 is an L1 norm operation, N x M is a size of the target image, and: is a symbol indicating a conditional limit. That is, the cost function has a conditional restriction of s' = r '+ 1'.

여기서 영상 신호 분리부(100)는, 상기 수학식 8과 같은 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리할 수 있다.Here, the image signal separator 100 may separate the illumination component and the reflectance component from the image signal value of the pixel using the cost function expressed by Equation (8).

여기서 상기 수학식 8의 해를 구하기 위하여 s' = r' + l'의 조건 제한이 포함되는 형태로 식을 변환할 수 있다.Here, in order to obtain the solution of Equation (8), an equation can be transformed into a form including a conditional restriction of s' = r '+ 1'.

이를 위하여 영상 신호 분리부(100)는, 상기 비용함수가 상기 조명 성분의 그래디언트 및 상기 반사율 성분의 그래디언트를 연산한 값과 상기 화소의 영상 신호 값의 그래디언트 간의 차이의 크기에 따른 항을 더 포함하도록 하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리할 수도 있다.To this end, the image signal separation unit 100 may further include a term according to a difference between a value obtained by calculating the gradient of the illumination component and a gradient of the reflectance component and a gradient of the image signal value of the pixel And may separate the illumination component and the reflectance component from the video signal value of the pixel.

예를 들면 상기 비용함수는 하기 수학식 9와 같이 표현될 수 있다.For example, the cost function can be expressed by the following equation (9).

Figure 112015099469658-pat00010
Figure 112015099469658-pat00010

여기서 α는 정규화 파라미터이고, Ω는 대상 영상의 영역을 나타내고, x는 영상의 좌표를 나타내는 변수이다.Where? Is a normalization parameter,? Represents a region of the target image, and x is a variable representing the coordinates of the image.

또한 여기서 상기 비용함수의 신뢰도를 높이기 위하여 s = r + l인 조건 제한을 더 포함하도록 비용함수에 항을 추가할 수 있다.Also, in order to increase the reliability of the cost function, it is possible to add a term to the cost function to further include a condition restriction of s = r + l.

이를 위하여 영상 신호 분리부(100)는, 상기 비용함수가 상기 조명 성분 및 상기 반사율 성분을 연산한 값과 상기 화소의 영상 신호 값 간의 차이의 크기에 따른 항을 더 포함하도록 하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리할 수 있다.For this, the video signal separation unit 100 may further include a term according to a magnitude of a difference between a value obtained by calculating the cost function and the reflectance component and a video signal value of the pixel, The illumination component and the reflectance component can be separated from the signal value.

이 경우 상기 비용함수는 하기 수학식 10과 같이 표현될 수 있다.In this case, the cost function can be expressed as Equation (10).

Figure 112015099469658-pat00011
Figure 112015099469658-pat00011

여기서 α1, α2는 각각 정규화 파라미터이다.Where α 1 and α 2 are the normalization parameters, respectively.

이때 영상 신호 분리부(100)는, 상기 대상 영상의 화소의 영상 신호 값을 상기 비용함수의 입력으로 하고, 상기 비용함수를 최소화하는 해를 산출하여 상기 조명 성분과 상기 반사율 성분을 산출할 수 있다. 이때 영상 신호 분리부(100)는 상기 비용함수를 최소화하는 해로 r'와 l'을 산출한 다음 이를 적분 연산하여 각각 r과 l을 산출할 수 있다.At this time, the image signal separation unit 100 may calculate the illumination component and the reflectance component by calculating a solution for minimizing the cost function, by inputting the image signal value of the pixel of the target image as the cost function . At this time, the video signal separator 100 may calculate r 'and l' as solutions for minimizing the cost function, and then integrate them to calculate r and l, respectively.

여기서 영상 신호 분리부(100)는 상기 비용함수를 최소화하는 해를 산출하기 위하여 기존의 다양한 비용함수 최소화 해를 구하는 방법들을 이용할 수 있다. 예를 들면 영상 신호 분리부(100)는 "Y. Nesterov, 'Introductory lectures on convex optimization: a basic course.' 2004."에서 제안하는 black box interior point method를 이용할 수 있다. Here, the video signal separation unit 100 may use various methods to obtain various cost function minimization solutions in order to calculate a solution for minimizing the cost function. For example, the video signal demultiplexing unit 100 may be configured as described in "Y. Nesterov, Introductory Lectures on Convex Optimization: a basic course. 2004. "The black box interior point method can be used.

또한 영상 신호 분리부(100)는 상술한 비용함수들을 최소화하는 해를 산출하기 위하여 "M. K. Ng and W.Wang, 'A total variation model for retinex,' SIAM Journal on Imaging Sciences, vol. 4, no. 1, pp. 345-365, 2011."에서 제안한 반복 연산 기법을 적용할 수도 있다. In order to calculate the solution for minimizing the above-described cost functions, the video signal separation unit 100 performs a video signal separation process using the MK Ng and W. Wang, 'A total variation model for retinex,' SIAM Journal on Imaging Sciences, vol. 1, pp. 345-365, 2011. &quot;.

여기서 영상 신호 분리부(100)는 하기 수학식 11 및 12을 반복 연산하여 r'과 l'을 산출할 수 있다.Here, the video signal demultiplexing unit 100 may calculate r 'and l' by repeating Equations (11) and (12) below.

Figure 112015099469658-pat00012
Figure 112015099469658-pat00012

Figure 112015099469658-pat00013
Figure 112015099469658-pat00013

여기서 k는 반복 회수를 나타내는 인덱스이다.Here, k is an index indicating the number of repetitions.

또한 영상 신호 분리부(100)는 상술한 비용함수들을 최소화하는 해를 산출하기 위하여 "T. Goldstein and S. Osher, 'The split bregman method for l1-regularized problems,' SIAM Journal on Imaging Sciences, vol. 2, no. 2, pp. 323-343, 2009."와 "T. Goldstein, X. Bresson, and S. Osher, 'Geometric applications of the split bregman method: segmentation and surface reconstruction,' Journal of Scientic Computing, vol. 45, no. 1-3, pp. 272-293, 2010."에서 제안하는 Bregman Method를 이용할 수도 있다.In addition, the video signal separator 100 may be configured to perform the above-described cost function minimization by calculating the following equation: T. Goldstein and S. Osher, 'The split bregman method for l1-regularized problems', SIAM Journal on Imaging Sciences, vol. 2, pp. 323-343, 2009. "T. Goldstein, X. Bresson, and S. Osher," Geometric applications of the split bregman method: segmentation and surface reconstruction, "Journal of Scientific Computing, vol. 45, no. 1-3, pp. 272-293, 2010. "

여기서 영상 신호 분리부(100)는 Bregman Method를 이용하여 r과 l을 바로 산출할 수 있는데, 예를 들어 하기 수학식 13 및 14를 이용한 반복 연산을 통하여 r과 l을 산출할 수 있다.Here, the video signal separation unit 100 can directly calculate r and l using the Bregman Method. For example, r and l can be calculated through iterative operations using the following equations (13) and (14).

Figure 112015099469658-pat00014
Figure 112015099469658-pat00014

Figure 112015099469658-pat00015
Figure 112015099469658-pat00015

여기서 d1은 r'이고, d2는 Dl'이다.Here, d1 is r 'and d2 is Dl'.

상술한 본 발명에 따른 영상 신호 분리부(100)에 의하면 기존의 물리 기반 레티넥스 모델에 비해 조명 성분과 반사율 성분을 정교하게 분리할 수 있는 효과가 있다. 또한 본 발명에서 제공하는 영상 신호 분리부(100)를 이용하면, 조명의 변화로 인해 성능이 열화되는 현상을 제거함으로써, 패턴 인식이나 영상 화질 개선 분야에서 적용되어 각 어플리케이션들의 성능을 향상시킬 수 있는 효과가 있다.According to the video signal separation unit 100 of the present invention, the illumination component and the reflectance component can be finely separated as compared with the existing physically based Retinex model. Further, by using the video signal separator 100 provided in the present invention, it is possible to improve the performance of each application by being applied in the field of pattern recognition and image quality improvement by eliminating the phenomenon that the performance is deteriorated due to the change of illumination It is effective.

도 7은 본 발명에 따른 영상 신호 분리부(100)에 의하여 분리된 반사율 성분과 기존의 레티넥스 모델에 의하여 분리된 반사율 성분을 원래의 반사율 값과 비교한 결과를 나타내는 참고도이다. 도 7을 참조하면 확인할 수 있는 바와 같이, 본 발명에 따른 영상 신호 분리부(100)를 이용함으로써 조명이 적용된 입력 영상 (a)으로부터 기존의 방법들 보다(c : 논문자료 0003에 따른 방법 이용, d : 논문자료 0005에 따른 방법 이용) 정확하게 원래의 반사율 성분에 따른 영상 (b)와 유사하도록 반사율을 분리, 추출(e)할 수 있음을 확인할 수 있다.7 is a reference view showing a result of comparing the reflectance component separated by the image signal separator 100 and the reflectance component separated by the conventional retinex model with the original reflectance value. As can be seen from FIG. 7, the use of the image signal separator 100 according to the present invention makes it possible to extract, from the input image a with illumination, d: Using the method according to Article 0005) It can be confirmed that the reflectance can be separated and extracted (e) so as to be exactly similar to the image (b) according to the original reflectance component.

도 8은 입력 영상 (a)와 본 발명에 따른 영상 신호 분리부(100)에 의하여 분리된 반사율 성분에 따른 영상 (b)를 나타내는 참고도이다. 도 6과 같이 조명 환경에 영향을 받아 영상 촬영 장치가 획득한 영상 (a)을 본 발명에 따른 영상 신호 분리부(100)를 이용하여 (b)와 같이 반사율 성분을 추출함으로써 원 색상이 복원된 영상을 획득할 수 있다.8 is a reference diagram showing an input image (a) and an image (b) according to the reflectance component separated by the image signal separator 100 according to the present invention. As shown in FIG. 6, by using the image signal separation unit 100 according to the present invention, the image (a) acquired by the image capturing apparatus under the influence of the illumination environment is extracted to obtain a reflectance component as shown in (b) Images can be acquired.

다음으로는 영상 신호 분리부(100)가 지역 상대 반사율을 고려하여 설계한 비용함수에 따라 대상 영상의 영상 신호 값으로부터 조명 성분과 반사율 성분을 분리하여 추출하는 동작에 대하여 설명한다.Next, an operation of separating and extracting the illumination component and the reflectance component from the video signal value of the target image according to the cost function designed by the video signal separation unit 100 considering the relative relative reflectance will be described.

기존의 반사율 또는 조명의 특성만을 고려하는 레티넥스 모델에서는 HVS의 생리학적 이론에 기반하여 본래 E. Land가 제안하였던 본래의 레티넥스 이론을 고려하지 않고 있다는 문제점이 있다. 원래 E. Land는 사람의 눈이 관심을 가지는 위치의 색상을 판단하기 위해 해당 위치의 주변의 색상을 고려하는 현상을 밝힌 바가 있다. 그런데 기존의 물리 기반 레티넥스 모델들은 조명 또는 반사율만을 고려하여 비용함수를 설계하였기 때문에, 상술한 바와 같이 사람의 눈이 현재 위치의 색상을 판단하기 위해 주변 색상을 고려하는 현상을 반영하지 못하는 한계점이 있었다.In the Retinex model considering only the existing reflectance or illumination characteristics, there is a problem in that the original Retinex theory proposed by E. Land is not considered based on the physiological theory of HVS. Originally E. Land has identified a phenomenon that considers the color around the location to determine the color of the location of interest to the human eye. However, since the existing physics-based Retinex models are designed with the cost function considering only the illumination or the reflectance, as described above, there is a limit point in which the human eye does not reflect the phenomenon of considering the surrounding color to judge the color of the current position there was.

따라서 보다 정교한 레티넥스 모델을 위해서는 이와 같은 인간의 눈의 인지적 특성을 고려할 필요가 있다. 이에 본 발명은 상술한 바 사람의 눈이 관심을 가지는 위치의 색상을 판단하기 위해 해당 위치의 주변의 색상을 고려하는 현상을 모델링하기 위하여, 지역적인 상대 반사율을 고려하는 영상 신호 분리부(100)를 제공한다. Therefore, for a more sophisticated Retinex model, it is necessary to consider the cognitive characteristics of the human eye. Accordingly, in order to model the phenomenon of considering the color of the periphery of the corresponding position in order to determine the color of the position of interest of the human eye, the present invention includes a video signal separator 100 considering a local relative reflectance, Lt; / RTI &gt;

보다 구체적으로 본 발명에 따른 영상 신호 분리부(100)는 입력 영상의 화소에 있어서 해당 화소의 위치의 색상과 해당 화소의 주변 화소들의 색상들과의 상대적인 반사율(relative reflectance) 성질을 더 고려하여, 대상 영상의 영상 신호 값으로부터 조명 성분과 반사율 성분을 분리하여 추출한다. 이를 위하여 본 발명에서는 이와 같은 상대적 반사율(relative reflectance) 성질을 반영하는 지역 상대 반사율(Local Relative Reflectance)을 정의하고, 이를 비용함수의 한 항으로 더 포함시켜 영상 신호로부터 조명 성분과 반사율 성분을 분리한다.More specifically, the video signal separator 100 according to the present invention considers the relative reflectance property of the color of the position of the pixel and the hues of the surrounding pixels of the pixel in the input image, The illumination component and the reflectance component are separated and extracted from the image signal value of the target image. To this end, in the present invention, a local relative reflectance that reflects the relative reflectance property is defined and further included as a term of the cost function to separate the illumination component from the reflectance component from the image signal .

여기서 상기 지역 상대 반사율은 하기 수학식 15와 같이 산출될 수 있다.Here, the local relative reflectance can be calculated by Equation (15).

Figure 112015099469658-pat00016
Figure 112015099469658-pat00016

여기서 (x, y)는 지역 상대 반사율을 산출하고자 하는 화소의 좌표이고, (xn, yn)은 상기 화소의 주변 화소로

Figure 112015099469658-pat00017
가 될 수 있다. 그리고 여기서 δ 함수는 하기 수학식 16과 같이 산출될 수 있다.Here, (x, y) is a coordinate of a pixel for which an area relative reflectance is to be calculated, and (x n , y n )
Figure 112015099469658-pat00017
. Here, the? Function can be calculated as shown in Equation (16).

Figure 112015099469658-pat00018
Figure 112015099469658-pat00018

여기서 tedge는 소정의 임계값이다.Where t edge is a predetermined threshold value.

여기서 상기 수학식 15와 같이 지역 상대 반사율이 우변의 두 식과 같이 산출되는 것은 인접한 화소들 간의 조명 성분은 거의 동일하므로 주로 반사율 성분의 비율에 따라 화소의 영상 신호의 비율이 결정되고, 또한 주변 화소 간의 의미 있는 반사율 성분의 비율은 에지 부분에서 나타나기 때문이다.Since the local relative reflectance is calculated as the two expressions of the right side in Equation (15), the ratio of the image signal of the pixel is determined mainly according to the ratio of the reflectance component, This is because the ratio of the meaningful reflectance component appears at the edge portion.

여기서 상기 수학식 15의 우변의 두 식은 로그 연산에 의하여 하기 수학식 17과 같이 변환될 수 있고, S, R의 로그 값을 각각 s, r로 나타낼 경우 하기 수학식 18 및 수학식 19와 같이 표현될 수 있다.Here, the two expressions on the right side of Equation (15) can be transformed as shown in Equation (17) by logarithm, and when the logarithm values of S and R are expressed as s and r, .

Figure 112015099469658-pat00019
Figure 112015099469658-pat00019

Figure 112015099469658-pat00020
Figure 112015099469658-pat00020

Figure 112015099469658-pat00021
Figure 112015099469658-pat00021

이에 본 발명에 따른 영상 신호 분리부(100)는 이상과 같이 지역 상대 반사율에 따라 도출된 수학식 19와 같은 조건을 비용함수에 포함시켜, 상기 비용함수를 이용하여 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리한다.Accordingly, the image signal separator 100 according to the present invention may include a condition such as Equation 19 derived according to the relative relative reflectance, as described above, from the image signal value of the pixel using the cost function, And separates the illumination component and the reflectance component.

즉 영상 신호 분리부(100)는, 지역 상대 반사율에 따른 항을 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리할 수 있다.That is, the video signal separation unit 100 may separate the illumination component and the reflectance component from the video signal value of the pixel using the cost function including the term based on the relative relative reflectance.

여기서 상기 지역 상대 반사율에 따른 항은 상기 화소의 영상 신호 값과 상기 화소의 주변 화소들의 영상 신호 값 간의 차이에 따른 값과, 상기 화소에서의 상기 반사율 성분 값과 상기 화소의 주변 화소들의 상기 반사율 성분 값 간의 차이 값 간의 차분 값에 따라 연산되는 항이 될 수 있다.Here, the term according to the relative relative reflectance is a value corresponding to a difference between a video signal value of the pixel and a video signal value of surrounding pixels of the pixel, a reflectance component value of the pixel, And can be a term operated on according to a difference value between difference values between values.

예를 들면 영상 신호 분리부(100)는 하기 수학식 20과 같이 상기 수학식 10에 상기 지역 상대 반사율에 따른 항을 더 포함시켜, 상기 비용함수가 최소화되도록 해를 산출하여 상기 조명 성분과 상기 반사율 성분을 산출할 수 있다.For example, the video signal separator 100 may further include a term according to the relative relative reflectance in Equation (10) as shown in Equation (20) to calculate the solution so that the cost function is minimized, Components can be calculated.

Figure 112015099469658-pat00022
Figure 112015099469658-pat00022

여기서 r은 상기 반사율 성분의 로그 연산 값이고, l은 상기 조명 성분의 로그 연산 값이고, s는 상기 화소의 영상 신호 값의 로그 연산 값이고, '은 그래디언트 연산이고, D는 주파수 변환 연산이고, ∥∥1는 L1 놈 연산이고, ∇s는 상기 화소의 영상 신호 값과 상기 화소의 주변 화소들의 영상 신호 값 간의 차이 값이고, ∇r은 상기 화소에서의 상기 반사율 성분 값과 상기 화소의 주변 화소들의 상기 반사율 성분 값 간의 차이 값이고, δ는 입력값이 소정의 임계치 이상의 값을 가지는 경우만 입력값을 출력하고 나머지의 경우는 0을 출력하는 함수이고, α1, α2, σ는 각각 소정의 정규화 파라미터이고, x는 영상의 좌표를 나타내는 변수이고, Ω는 상기 영상의 모든 좌표를 포함하는 집합이다.Wherein r is a logarithmic value of the reflectance component, l is a logarithmic value of the illumination component, s is a logarithmic value of the image signal value of the pixel, 'is a gradient operation, D is a frequency conversion operation, 1 is an L1 norm operation, ∇s is a difference value between the image signal value of the pixel and the image signal value of the surrounding pixels of the pixel, ∇r is the reflectance component value of the pixel, Is a function of outputting an input value only when the input value has a value equal to or greater than a predetermined threshold value and outputting 0 when the input value is greater than or equal to a predetermined threshold value, and? 1 ,? 2 , X is a variable representing the coordinates of the image, and [Omega] is a set including all the coordinates of the image.

영상 신호 분리부(100)는, 상기 대상 영상의 화소의 영상 신호 값을 상기 비용함수의 입력으로 하고, 상기 비용함수를 최소화하는 해를 산출하여 상기 조명 성분과 상기 반사율 성분을 산출할 수 있다.The image signal separation unit 100 may calculate the illumination component and the reflectance component by calculating a solution for minimizing the cost function by inputting the image signal value of the pixel of the target image as the cost function.

도 9는 이와 같이 지역 상대 반사율에 따른 항을 포함하면서 동시에 상술한 바와 같이 희소 신호 분리 알고리즘을 적용하여 설계된 비용함수를 이용하여, 영상 신호 분리부(100)가 조명이 적용된 입력 영상 (a) 으로부터 분리해낸 반사율 성분에 따른 영상 (d) 와, 기존의 레티넥스 모델을 이용하여 분리해낸 반사율 성분에 따른 영상 (c : 논문자료 0005에 따른 방법을 이용)을 비교하는 참고도이다. 도 9와 같이 기존의 방식보다 본 발명에 따른 영상 신호 분리부(100)를 이용하여 분리해낸 결과가 본래의 반사율 영상 (b) 와 더욱 일치함을 확인할 수 있다.FIG. 9 is a graph showing the relationship between the input image (a) and the input image (a) applied to the image signal separator 100 using the cost function designed by applying the sparse signal separation algorithm as described above, (C) is a reference diagram for comparing an image (d) according to a separated reflectance component with an image (c: a method according to Article 0005) according to a reflectance component separated using a conventional Retinex model. As shown in FIG. 9, it can be seen that the result obtained by using the image signal separator 100 according to the present invention is more consistent with the original reflectivity image b than the conventional method.

다음으로는 본 발명의 또 다른 실시예에 따른 레티넥스 모델 기반 영상 신호 분리 방법에 대하여 설명한다.Next, a retinex model-based video signal separation method according to another embodiment of the present invention will be described.

상기 본 발명에 따른 레티넥스 모델 기반 영상 신호 분리 방법은 영상 입력 단계(S50), 영상 신호 분리 단계(S100)를 포함할 수 있고, 필요에 따라 영상 생성 단계(S200)를 더 포함할 수도 있다.The retinex model-based video signal separation method according to the present invention may include an image input step S50 and a video signal separation step S100, and may further include an image generation step S200 as needed.

여기서 상기 본 발명에 따른 레티넥스 모델 기반 영상 신호 분리 방법은 위에서 도면과 함께 상세히 설명한 본 발명에 따른 레티넥스 모델 기반 영상 신호 분리 장치와 동일한 방식으로 동작할 수 있다. 이에 중복되는 부분은 생략하고 간략히 설명한다.Here, the retinex model-based video signal separation method according to the present invention can operate in the same manner as the retinex model-based video signal separation apparatus according to the present invention described in detail above with reference to the drawings. The overlapping portions will be omitted and briefly explained.

도 10 및 도 11은 상기 본 발명에 따른 레티넥스 모델 기반 영상 신호 분리 방법의 흐름도이다.FIG. 10 and FIG. 11 are flowcharts of a retinex model-based video signal separation method according to the present invention.

영상 입력 단계(S50)는 조명 성분을 분리할 대상 영상을 입력받는다.The image input step S50 receives a target image from which the illumination component is to be separated.

영상 신호 분리 단계(S100)는 상기 입력받은 대상 영상의 화소의 영상 신호 값을 상기 조명 성분과 반사율 성분 간의 연산 값으로 모델링하고, 상기 조명 성분과 상기 반사율 성분을 파라미터로 포함하는 비용함수를 이용하여 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 반사율 성분을 분리하여 추출한다.In the image signal separation step S100, the image signal value of the pixel of the input image is modeled as a computed value between the illumination component and the reflectance component, and using the cost function including the illumination component and the reflectance component as parameters And separates and extracts the illumination component and the reflectance component from the video signal value of the pixel.

여기서 영상 신호 분리 단계(S100)의 각 동작은 영상 신호 분리부(100)에 의하여 수행될 수 있다.Here, each operation of the video signal separation step (S100) may be performed by the video signal separation unit (100).

영상 생성 단계(S200)는 상기 추출된 반사율 성분을 이용하여 복원 영상을 생성한다. 여기서 영상 생성 단계(S200)의 동작은 영상 생성부(200)에 의하여 수행될 수 있다.The image generation step S200 generates a reconstructed image using the extracted reflectance component. Here, the operation of the image generation step (S200) may be performed by the image generation unit (200).

여기서 영상 신호 분리 단계(S100)는 상기 대상 영상의 화소의 영상 신호 값을 상기 조명 성분과 상기 반사율 성분 간의 곱으로 모델링한다.Here, the image signal separation step S100 models the image signal value of the pixel of the target image as a product between the illumination component and the reflectance component.

여기서 영상 신호 분리 단계(S100)는, 희소 신호 분리 알고리즘에 따라 설계된 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리할 수 있다.Here, the video signal separation step S100 may separate the illumination component and the reflectance component from the video signal value of the pixel using the cost function designed according to the sparse signal separation algorithm.

이때 영상 신호 분리 단계(S100)는, 상기 조명 성분의 로그 값의 그래디언트의 놈 연산 값에 따른 항과 상기 반사율 성분의 로그 값의 그래디언트의 주파수 변환 값의 놈 연산 값에 따른 항을 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리할 수 있다.In this case, the image signal separation step S100 may include a step of dividing the image signal into a plurality of colors, each of which includes a term corresponding to a norm calculation value of a gradient of a logarithm of the illumination component and a term corresponding to a norm calculation value of a frequency conversion value of a gradient of the logarithm of the reflectance component. Function can be used to separate the illumination component and the reflectance component from the image signal value of the pixel.

또한 영상 신호 분리 단계(S100)는, 지역 상대 반사율에 따른 항을 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리할 수도 있다.Also, the image signal separation step S100 may separate the illumination component and the reflectance component from the image signal value of the pixel using the cost function including the term based on the relative relative reflectance.

이때 상기 지역 상대 반사율에 따른 항은 상기 화소의 영상 신호 값과 상기 화소의 주변 화소들의 영상 신호 값 간의 차이에 따른 값과, 상기 화소에서의 상기 반사율 성분 값과 상기 화소의 주변 화소들의 상기 반사율 성분 값 간의 차이 값 간의 차분 값에 따라 연산되는 항이 될 수 있다.Here, the term according to the relative relative reflectance is a value corresponding to the difference between the video signal value of the pixel and the video signal value of the surrounding pixels of the pixel, the reflectance component value of the pixel, And can be a term operated on according to a difference value between difference values between values.

여기서 영상 신호 분리 단계(S100)는, 상기 대상 영상의 화소의 영상 신호 값을 상기 비용함수의 입력으로 하고, 상기 비용함수를 최소화하는 해를 산출하여 상기 조명 성분과 상기 반사율 성분을 산출할 수 있다.In this case, the image signal separation step S100 may calculate the illumination component and the reflectance component by calculating a solution for minimizing the cost function by using the image signal value of the pixel of the target image as the input of the cost function .

이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. It is to be understood that the present invention is not limited to these embodiments, and all elements constituting the embodiment of the present invention described above are described as being combined or operated in one operation. That is, within the scope of the present invention, all of the components may be selectively coupled to one or more of them.

또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. In addition, such a computer program may be stored in a computer readable medium such as a USB memory, a CD disk, a flash memory, etc., and read and executed by a computer to implement an embodiment of the present invention. As the recording medium of the computer program, a magnetic recording medium, an optical recording medium, a carrier wave medium, and the like can be included.

또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Furthermore, all terms including technical or scientific terms have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined in the Detailed Description. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.It will be apparent to those skilled in the art that various modifications, substitutions and substitutions are possible, without departing from the scope and spirit of the invention as disclosed in the accompanying claims. will be. Therefore, the embodiments disclosed in the present invention and the accompanying drawings are intended to illustrate and not to limit the technical spirit of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments and the accompanying drawings . The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

50 : 영상 입력부
100 : 영상 신호 분리부
200 : 영상 생성부
S50 : 영상 입력 단계
S100 : 영상 신호 분리 단계
S200 : 영상 생성 단계50:
100: a video signal separator
200:
S50: Image input step
S100: Video signal separation step
S200: image generation step

Claims (20)

조명 성분을 분리할 대상 영상을 입력받는 영상 입력부; 및
상기 입력받은 대상 영상의 화소의 영상 신호 값을 상기 조명 성분과 반사율 성분 간의 연산 값으로 모델링하고, 상기 조명 성분과 상기 반사율 성분을 각각 그래디언트 연산한 값을 파라미터로 포함하고 희소 신호 분리 알고리즘에 따라 설계된 비용함수를 이용하여 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 반사율 성분을 분리하여 추출하는 영상 신호 분리부를 포함하는 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 장치.An image input unit for receiving a target image to separate illumination components; And
The image signal value of the pixel of the input target image is modeled as an arithmetic value between the illumination component and the reflectance component and a value obtained by performing a gradient arithmetic operation of the illumination component and the reflectance component is used as a parameter, And a video signal separator for separating the illumination component and the reflectance component from the video signal value of the pixel using a cost function. 제1항에 있어서,
상기 추출된 반사율 성분을 이용하여 복원 영상을 생성하는 영상 생성부를 더 포함하는 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 장치.The method according to claim 1,
Further comprising an image generator for generating a reconstructed image using the extracted reflectance component. 제1항에 있어서,
상기 영상 신호 분리부는 상기 대상 영상의 화소의 영상 신호 값을 상기 조명 성분과 상기 반사율 성분 간의 곱으로 모델링하는 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 장치.The method according to claim 1,
Wherein the image signal separation unit models the image signal value of the pixel of the target image as a product between the illumination component and the reflectance component. 삭제delete 제1항에 있어서, 상기 영상 신호 분리부는,
상기 조명 성분에 대한 그래디언트 연산 값의 놈 연산 값에 따른 항과 상기 반사율 성분에 대한 그래디언트 연산 값의 주파수 변환 값의 놈 연산 값에 따른 항을 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 장치.The apparatus of claim 1, wherein the video signal separator comprises:
Using the cost function including a term according to a norm calculation value of a gradient calculation value for the illumination component and a term according to a norm calculation value of a frequency conversion value of a gradient calculation value for the reflection factor, And separates the illumination component and the reflectance component from the value of the reflectance component. 제1항에 있어서, 상기 영상 신호 분리부는,
상기 조명 성분의 로그 값의 그래디언트의 놈 연산 값에 따른 항과 상기 반사율 성분의 로그 값의 그래디언트의 주파수 변환 값의 놈 연산 값에 따른 항을 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 장치.The apparatus of claim 1, wherein the video signal separator comprises:
Using the cost function including a term according to a norm calculation value of a gradient of a logarithm of the illumination component and a term according to a norm calculation value of a frequency conversion value of a gradient of a logarithm value of the reflectance component, And separates the illumination component and the reflectance component from the value of the reflectance component. 제6항에 있어서, 상기 영상 신호 분리부는, 하기 식 1과 같은 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 장치.
식 1.
Figure 112016087608044-pat00023

(여기서 r은 상기 반사율 성분의 로그 연산 값이고, l은 상기 조명 성분의 로그 연산 값이고, s는 상기 화소의 영상 신호 값의 로그 연산 값이고, ' 은 그래디언트 연산이고, ＾는 상기 비용함수의 결과에 따라 산출되는 값을 지칭하는 연산자이고, D는 주파수 변환 연산이고, ∥∥1는 L1 놈 연산이고, N x M은 상기 대상 영상의 크기이고, : 는 조건 제한을 나타내는 기호이다.)The retinex model-based image processing method according to claim 6, wherein the image signal separation unit separates the illumination component and the reflectance component from the image signal value of the pixel using the cost function as expressed by Equation (1) Signal separator.
Equation 1.
Figure 112016087608044-pat00023

(Where r is the logarithmic value of the reflectance component, l is the logarithmic value of the illumination component, s is the logarithmic value of the image signal value of the pixel, D is a frequency conversion operation, 1 is an L1 norm operation, N x M is a size of the target image, and: is a symbol indicating a conditional limit. 제5항에 있어서, 상기 영상 신호 분리부는,
상기 조명 성분 및 상기 반사율 성분을 연산한 값과 상기 화소의 영상 신호 값 간의 차이의 크기에 따른 항을 더 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 장치.6. The apparatus of claim 5,
Wherein the luminance component and the reflectance component are calculated from the image signal value of the pixel by using the cost function further including a term according to a magnitude of a difference between a value obtained by calculating the illumination component and the reflectivity component and a value of a difference between the image signal value of the pixel, And separating the video signal from the video signal. 제5항에 있어서, 상기 영상 신호 분리부는,
상기 조명 성분의 그래디언트 및 상기 반사율 성분의 그래디언트를 연산한 값과 상기 화소의 영상 신호 값의 그래디언트 간의 차이의 크기에 따른 항을 더 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 장치.6. The apparatus of claim 5,
Wherein the method further comprises the step of using the cost function further including a term according to a difference between a value obtained by calculating a gradient of the illumination component and a gradient of the reflectance component and a gradient of a video signal value of the pixel, And separates the illumination component and the reflectance component from each other. 제1항에 있어서, 상기 영상 신호 분리부는,
지역 상대 반사율에 따른 항을 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 장치.The apparatus of claim 1, wherein the video signal separator comprises:
And separates the illumination component and the reflectance component from the video signal value of the pixel by using the cost function including a term according to an area relative reflectance. 제10항에 있어서,
상기 지역 상대 반사율에 따른 항은 상기 화소의 영상 신호 값과 상기 화소의 주변 화소들의 영상 신호 값 간의 차이에 따른 값과, 상기 화소에서의 상기 반사율 성분 값과 상기 화소의 주변 화소들의 상기 반사율 성분 값 간의 차이 값 간의 차분 값에 따라 연산되는 항인 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 장치.11. The method of claim 10,
Wherein the term according to the relative relative reflectance is a value corresponding to a difference between a video signal value of the pixel and a video signal value of peripheral pixels of the pixel and a value depending on the reflectance component value of the pixel and the reflectance component value And a difference value between the values of the difference between the values obtained by the subtracting means. 제1항 내지 제3항 및 제5항 내지 제11항 중 어느 하나의 항에 있어서, 상기 영상 신호 분리부는,
상기 대상 영상의 화소의 영상 신호 값을 상기 비용함수의 입력으로 하고, 상기 비용함수를 최소화하는 해를 산출하여 상기 조명 성분과 상기 반사율 성분을 산출하는 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 장치.The video signal processing apparatus according to any one of claims 1 to 3 and 5 to 11,
Wherein the image signal value of the pixel of the target image is input to the cost function and the solution for minimizing the cost function is calculated to calculate the illumination component and the reflectance component, . 조명 성분을 분리할 대상 영상을 입력받는 영상 입력부; 및
상기 입력받은 대상 영상의 화소의 영상 신호 값을 상기 조명 성분과 반사율 성분 간의 연산 값으로 모델링하고, 상기 조명 성분과 상기 반사율 성분을 각각 그래디언트 연산한 값을 파라미터로 포함하고 지역 상대 반사율에 따른 항을 포함하는 비용함수를 이용하여 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 반사율 성분을 분리하여 추출하는 영상 신호 분리부를 포함하는 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 장치.An image input unit for receiving a target image to separate illumination components; And
The image signal value of the pixel of the input target image is modeled as a calculated value between the illumination component and the reflectance component, and a value obtained by performing a gradient calculation of the illumination component and the reflectance component is included as a parameter, And separating the illumination component and the reflectance component from the image signal value of the pixel by using a cost function including the cost function. 제13항에 있어서,
상기 지역 상대 반사율에 따른 항은 상기 화소의 영상 신호 값과 상기 화소의 주변 화소들의 영상 신호 값 간의 차이에 따른 값과, 상기 화소에서의 상기 반사율 성분 값과 상기 화소의 주변 화소들의 상기 반사율 성분 값 간의 차이 값 간의 차분 값에 따라 연산되는 항인 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 장치.14. The method of claim 13,
Wherein the term according to the relative relative reflectance is a value corresponding to a difference between a video signal value of the pixel and a video signal value of peripheral pixels of the pixel and a value depending on the reflectance component value of the pixel and the reflectance component value And a difference value between the values of the difference between the values obtained by the subtracting means. 조명 성분을 분리할 대상 영상을 입력받는 영상 입력 단계; 및
상기 입력받은 대상 영상의 화소의 영상 신호 값을 상기 조명 성분과 반사율 성분 간의 연산 값으로 모델링하고, 상기 조명 성분과 상기 반사율 성분을 각각 그래디언트 연산한 값을 파라미터로 포함하고 희소 신호 분리 알고리즘에 따라 설계된 비용함수를 이용하여 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 반사율 성분을 분리하여 추출하는 영상 신호 분리 단계를 포함하는 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 방법.An image input step of receiving an image to be separated from an illumination component; And
The image signal value of the pixel of the input target image is modeled as an arithmetic value between the illumination component and the reflectance component and a value obtained by performing a gradient arithmetic operation of the illumination component and the reflectance component is used as a parameter, And separating the illumination component and the reflectance component from the video signal value of the pixel using a cost function. 제15항에 있어서,
상기 추출된 반사율 성분을 이용하여 복원 영상을 생성하는 영상 생성 단계를 더 포함하는 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 방법.16. The method of claim 15,
Further comprising an image generation step of generating a reconstructed image using the extracted reflectance component. 제15항에 있어서, 상기 영상 신호 분리 단계는,
상기 대상 영상의 화소의 영상 신호 값을 상기 조명 성분과 상기 반사율 성분 간의 곱으로 모델링하고,
희소 신호 분리 알고리즘에 따라 설계된 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 방법.16. The method of claim 15,
Modeling a video signal value of a pixel of the target image as a product between the illumination component and the reflectance component,
Wherein the illumination component and the reflectance component are separated from the image signal value of the pixel by using the cost function designed according to the sparse signal separation algorithm. 제15항에 있어서, 상기 영상 신호 분리 단계는,
상기 조명 성분의 로그 값의 그래디언트의 놈 연산 값에 따른 항과 상기 반사율 성분의 로그 값의 그래디언트의 주파수 변환 값의 놈 연산 값에 따른 항을 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 방법.16. The method of claim 15,
Using the cost function including a term according to a norm calculation value of a gradient of a logarithm of the illumination component and a term according to a norm calculation value of a frequency conversion value of a gradient of a logarithm value of the reflectance component, And separating the illumination component and the reflectance component from the retinex model-based image signal. 제15항에 있어서, 상기 영상 신호 분리 단계는,
지역 상대 반사율에 따른 항을 포함하는 상기 비용함수를 이용하여, 상기 화소의 영상 신호 값으로부터 상기 조명 성분과 상기 반사율 성분을 분리하는 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 방법.16. The method of claim 15,
And separating the illumination component and the reflectance component from the image signal value of the pixel using the cost function including a term according to an area relative reflectance. 제19항에 있어서,
상기 지역 상대 반사율에 따른 항은 상기 화소의 영상 신호 값과 상기 화소의 주변 화소들의 영상 신호 값 간의 차이에 따른 값과, 상기 화소에서의 상기 반사율 성분 값과 상기 화소의 주변 화소들의 상기 반사율 성분 값 간의 차이 값 간의 차분 값에 따라 연산되는 항인 것을 특징으로 하는 레티넥스 모델 기반 영상 신호 분리 방법.20. The method of claim 19,
Wherein the term according to the relative relative reflectance is a value corresponding to a difference between a video signal value of the pixel and a video signal value of peripheral pixels of the pixel and a value depending on the reflectance component value of the pixel and the reflectance component value And a difference value between the values of the difference between the values obtained by the subtracting means.
KR1020150143716A 2015-10-14 2015-10-14 Apparatus and Method of Decomposing Image Signal based on Retinex Model KR101665409B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150143716A KR101665409B1 (en) 2015-10-14 2015-10-14 Apparatus and Method of Decomposing Image Signal based on Retinex Model

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150143716A KR101665409B1 (en) 2015-10-14 2015-10-14 Apparatus and Method of Decomposing Image Signal based on Retinex Model

Publications (1)

Publication Number Publication Date
KR101665409B1 true KR101665409B1 (en) 2016-10-24

Family

ID=57256820

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150143716A KR101665409B1 (en) 2015-10-14 2015-10-14 Apparatus and Method of Decomposing Image Signal based on Retinex Model

Country Status (1)

Country Link
KR (1) KR101665409B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101942198B1 (en) * 2017-12-27 2019-04-11 중앙대학교 산학협력단 Terminal devise, Method and Recording medium for enhancing image based on Retinex model

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070039347A (en) * 2005-10-07 2007-04-11 삼성전자주식회사 Method and system for enhancement color image quality

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070039347A (en) * 2005-10-07 2007-04-11 삼성전자주식회사 Method and system for enhancement color image quality

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
(논문자료 0001) E. H. Land and J. McCann, "Lightness and retinex theory," JOSA, vol. 61,no. 1, pp. 1-11, 1971.
(논문자료 0002) J. M. Morel, A. B. Petro, and C. Sbert, "A pde formalization of retinex theory," Image Processing, IEEE Transactions on, vol. 19, no. 11, pp. 2825-2837, 2010.
(논문자료 0003) R. Kimmel, M. Elad, D. Shaked, R. Keshet, and I. Sobel, "A variational framework for retinex," International Journal of computer vision, vol. 52, no. 1, pp. 7-23, 2003.
(논문자료 0004) W. Ma and S. Osher,"A tv bregman iterative model of retinex theory," UCLA CAM Report, pp. 10-13, 2010.
(논문자료 0005) M. K. Ng and W.Wang, "A total variation model for retinex," SIAM Journal on Imaging Sciences, vol. 4, no. 1, pp. 345-365, 2011.

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101942198B1 (en) * 2017-12-27 2019-04-11 중앙대학교 산학협력단 Terminal devise, Method and Recording medium for enhancing image based on Retinex model

Similar Documents

Publication Publication Date Title
Krig Computer vision metrics: Survey, taxonomy, and analysis
Ancuti et al. Single-scale fusion: An effective approach to merging images
Fattal Single image dehazing
Solomon et al. Fundamentals of Digital Image Processing: A practical approach with examples in Matlab
Jagalingam et al. A review of quality metrics for fused image
Umbaugh Computer imaging: digital image analysis and processing
US9159121B2 (en) Method for image denoising
Indhumadhi et al. Enhanced image fusion algorithm using laplacian pyramid and spatial frequency based wavelet algorithm
CN114746895A (en) Noise reconstruction for image denoising
KR20130112311A (en) Apparatus and method for reconstructing dense three dimension image
Thanki et al. Digital image processing using SCILAB
Yang et al. Underwater image enhancement using scene depth-based adaptive background light estimation and dark channel prior algorithms
Vazquez-Corral et al. A fast image dehazing method that does not introduce color artifacts
Barros et al. Single-shot underwater image restoration: A visual quality-aware method based on light propagation model
KR101405435B1 (en) Method and apparatus for blending high resolution image
Wang et al. Single Underwater Image Enhancement Based on $ L_ {P} $-Norm Decomposition
Parvatikar et al. Comparative study of different image fusion techniques
Honnutagi et al. Fusion-based underwater image enhancement by weight map techniques
JP5914046B2 (en) Image processing apparatus and image processing method
US20210374527A1 (en) Information processing apparatus, information processing method, and storage medium
KR20170069635A (en) Apparatus and Method of Decomposing Image Signal based on Retinex Model
KR101665409B1 (en) Apparatus and Method of Decomposing Image Signal based on Retinex Model
CN116579959B (en) Fusion imaging method and device for hyperspectral image
Babu et al. EED: Enhanced edge detection algorithm via generalized integer and fractional-order operators
KR101849696B1 (en) Method and apparatus for obtaining informaiton of lighting and material in image modeling system

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20191205

Year of fee payment: 4