KR20130053962A - Apparatus and method for restoration color image - Google Patents
Apparatus and method for restoration color image Download PDFInfo
- Publication number
- KR20130053962A KR20130053962A KR1020110119704A KR20110119704A KR20130053962A KR 20130053962 A KR20130053962 A KR 20130053962A KR 1020110119704 A KR1020110119704 A KR 1020110119704A KR 20110119704 A KR20110119704 A KR 20110119704A KR 20130053962 A KR20130053962 A KR 20130053962A
- Authority
- KR
- South Korea
- Prior art keywords
- vector
- color
- image
- pixel
- input image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
Abstract
Description
본 발명의 실시예들은 컬러 영상 복원 장치 및 방법에 관한 것으로서, 더욱 상세하게는 컬러 영상 처리 과정에서 발생할 수 있는 컬러 쉬프팅 문제를 개선할 수 있는 컬러 영상 복원 장치 및 방법에 관한 것이다. Embodiments of the present invention relate to a color image reconstruction apparatus and method, and more particularly, to a color image reconstruction apparatus and method that can improve the color shifting problem that may occur in the color image processing process.
다이내믹 영역(dynamic range)은 영상에서 가장 밝은 부분과 가장 어두운 부분의 밝기의 범위를 의미한다. 실 세계에서 밝기의 다이내믹 영역은 약 1010 이상으로서 넓은 범위를 가지며, 이에 비해 LCD와 같은 디스플레이 장치의 다이내믹 영역은 102~103 정도로서 좁은 범위를 갖는다. Dynamic range refers to a range of brightness of the lightest and darkest parts of the image. In the real world, the dynamic range of brightness has a wide range of about 10 10 or more, whereas the dynamic range of display devices such as LCDs has a narrow range of about 10 2 to 10 3 .
이러한 디스플레이 장치의 다이내믹 영역을 LDR(Low Dynamic Range), 디스플레이 장치보다 넓은 다이내믹 영역을 HDR(High Dynamic Range)이라고 한다. The dynamic area of such a display device is referred to as a low dynamic range (LDR), and the dynamic area wider than that of the display device is referred to as a high dynamic range (HDR).
이러한 다이내믹 영역의 차이로 인하여, 디지털 카메라, 이동 단말기에 장착된 카메라 등 촬상 장치에 의해 획득된 영상을 디스플레이 장치에 디스플레이하는 경우, HDR 영상을 LDR 영상으로 압축하는 컬러 영상 처리가 필요하다. Due to such a difference in dynamic area, when displaying an image obtained by an imaging device such as a digital camera or a camera mounted on a mobile terminal on a display device, color image processing for compressing an HDR image into an LDR image is required.
특히, 대비(contrast)가 심한 환경하에서 촬상된 영상의 경우, 사람의 눈으로 보여진 것과는 다르게, 어두운 쪽이나 밝은 쪽으로 치우친 영상이 디스플레이되므로, 영상 향상 알고리즘을 통한 컬러 영상 처리가 더욱 요청된다. In particular, in the case of an image photographed under a high contrast environment, unlike a human eye, an image biased toward a dark side or a bright side is displayed, so that color image processing through an image enhancement algorithm is further required.
일례로, 밝은 창가에 위치하는 피사체를 디지털 카메라로 촬상하는 경우, 사람의 눈으로는 식별 가능했던 피사체의 형상이 디스플레이 장치에서 디스플레이되지 않는 문제점이 발생하게 된다. For example, when photographing a subject located near a bright window with a digital camera, a problem occurs in that the shape of the subject, which can be identified by the human eye, is not displayed on the display device.
이러한 문제점을 해결하기 위한 영상 향상 알고리즘으로 레티넥스(retinex)가 대표적이며, 컬러 영상에 대해서는 멀티 스케일 레티넥스(Multi Scale Retinex, MSR)를 수행한다. 멀티 스케일 레티넥스 알고리즘은 하기의 수학식에 따라 영상 향상을 수행한다.
Retinex is a typical image enhancement algorithm to solve this problem, and multi-scale Retinex (MSR) is performed on color images. The multi-scale Retinex algorithm performs image enhancement according to the following equation.
여기서, R은 MSR에 따른 출력을, *는 콘볼루션 연산을, i는 i번째 컬러 스펙트럴 밴드(spectral band)를, K는 스케일의 수를, Wk는 Fk와 관련된 가중치를, (x,y)는 픽셀의 위치를, I는 원본 영상을, F는 가우시안 서라운드 함수(Gausian surround function)를, σ는 가우시안 함수의 표준 편차를, κ는 노멀라이징 상수를 각각 의미한다. Where R is the output according to MSR, * is the convolution operation, i is the i-th color spectral band, K is the number of scales, W k is the weight associated with F k, and (x where y denotes the pixel position, I denotes the original image, F denotes a Gaussian surround function, σ denotes a standard deviation of the Gaussian function, and κ denotes a normalizing constant.
수학식 1에 따라, 레티넥스 알고리즘은 촬상된 영상의 낮은 대비를 향상시킬 수 있다. According to Equation 1, the Retinex algorithm may improve low contrast of the captured image.
한편, 상기와 같은 컬러 영상 처리 과정에서는 컬러 톤이 변하는 컬러 쉬프팅 문제(color shifting problem)가 발생할 수 있으며, 이를 해결하기 위해 레티넥스 알고리즘은 영상 향상 과정 이후에 color restoration 과정을 추가적으로 수행할 수 있다. Meanwhile, in the color image processing process as described above, a color shifting problem in which color tones change may occur. To solve this problem, the Retinex algorithm may additionally perform a color restoration process after the image enhancement process.
그러나, 레티넥스 알고리즘의 컬러 복원 과정은 원본 영상이 갖는 컬러 채널들의 분포 차이가 큰 경우에 컬러 복원을 제대로 하지 못하는 문제점을 갖는다.
However, the color restoration process of the Retinex algorithm has a problem that color restoration is not properly performed when the distribution difference of the color channels of the original image is large.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 컬러 영상 처리 과정에서 발생할 수 있는 컬러 쉬프팅 문제를 개선할 수 있는 컬러 영상 복원 장치 및 방법을 제안하고자 한다.In order to solve the problems of the prior art as described above, the present invention proposes a color image reconstruction apparatus and method that can improve the color shifting problem that may occur during the color image processing process.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.Other objects of the present invention may be derived by those skilled in the art through the following examples.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 컬러 영상 처리가 수행된 입력영상의 컬러를 복원하는 장치에 있어서, 상기 입력영상을 구성하는 복수의 픽셀 중 제1 픽셀의 색상 값에 기초하는 제1 벡터가 상기 입력영상에 대한 컬러 영상 처리가 수행되기 전의 원본영상을 구성하는 복수의 픽셀 중 상기 제1 픽셀과 동일한 위치의 픽셀의 색상 값에 기초하는 제2 벡터와 동일한 방향을 갖도록 보정하는 벡터 보정부; 및 상기 보정에 기초하여 상기 제1 픽셀의 색상 값을 복원하는 색상 값 복원부를 포함하는 컬러 영상 복원 장치가 제공된다. According to an embodiment of the present invention to achieve the above object, in the apparatus for reconstructing the color of the input image, the color image processing is performed, the color value of the first pixel of the plurality of pixels constituting the input image The first vector based on the same direction as the second vector based on the color value of the pixel at the same position as the first pixel among the plurality of pixels constituting the original image before the color image processing on the input image is performed. A vector correcting unit to correct to have; And a color value reconstruction unit reconstructing the color value of the first pixel based on the correction.
상기 색상 값은 RGB 색 공간에 관한 값일 수 있다. The color value may be a value relating to an RGB color space.
상기 벡터 보정부는 상기 제1 벡터를 상기 제2 벡터의 방향으로 프로젝션 시킬 수 있다. The vector corrector may project the first vector in the direction of the second vector.
상기 벡터 보정부는 하기의 수학식에 따라 상기 제1 벡터를 보정할 수 있다.
The vector corrector may correct the first vector according to the following equation.
여기서, x, y는 입력영상과 원본영상의 픽셀 좌표를, r, g, b는 RGB 색 공간상에서의 R, G, B 채널에 해당하는 값, V는 원본영상에 관하여 설정된 제2 벡터에 대한 매트릭스, γ는 입력영상에 관하여 설정된 제1 벡터의 좌표값에 대한 매트릭스, V'는 보정된 제1 벡터에 대한 매트릭스, P v 는 임의의 벡터를 제2 벡터로 프로젝션 하기 위한 프로젝션 매트릭스를 각각 의미함.Here, x, y are pixel coordinates of the input image and the original image, r, g, b are the values corresponding to the R, G, B channels in the RGB color space, V is for the second vector set with respect to the original image Matrix γ is a matrix for coordinate values of the first vector set with respect to the input image, V ' is a matrix for the corrected first vector, and P v is a projection matrix for projecting an arbitrary vector into the second vector, respectively. box.
본 발명의 다른 측면에 따르면, 컬러 영상 처리가 수행된 입력영상의 컬러를 복원하는 방법에 있어서, 상기 입력영상을 구성하는 복수의 픽셀 중 제1 픽셀의 색상 값에 기초하는 제1 벡터가 상기 입력영상에 대한 컬러 영상 처리가 수행되기 전의 원본영상을 구성하는 복수의 픽셀 중 상기 어느 하나의 픽셀과 동일한 위치의 픽셀 색상 값에 기초하는 제2 벡터와 동일한 방향을 갖도록 보정하는 단계; 및 상기 보정된 결과에 기초하여 상기 어느 하나의 픽셀의 색상 값을 복원하는 단계를 포함하는 컬러 영상 복원 방법이 제공된다. According to another aspect of the invention, in the method for reconstructing the color of the input image subjected to the color image processing, the first vector based on the color value of the first pixel of the plurality of pixels constituting the input image is the input Correcting to have the same direction as a second vector based on pixel color values at the same position as any one of a plurality of pixels constituting the original image before color image processing on the image is performed; And restoring a color value of the one pixel based on the corrected result.
본 발명에 따르면, 컬러 영상 처리 과정에서 발생할 수 있는 컬러 쉬프팅 문제를 개선할 수 있는 장점이 있다. According to the present invention, there is an advantage that can improve the color shifting problem that may occur in the color image processing process.
또한, 본 발명에 따르면, 입력영상에 적용되는 컬러 영상 처리의 방식에 관계없이 컬러 쉬프팅 문제를 개선할 수 있는 장점이 있다.
In addition, according to the present invention, there is an advantage that can improve the color shifting problem regardless of the color image processing method applied to the input image.
도 1은 본 발명에 따른 컬러 영상 복원 장치(100)에 의해 복원되는 영상에 관한 블록도를 도시하는 도면이다.
도 2는 본 발명에 따른 컬러 영상 복원 장치(100)의 상세한 구성을 도시하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 제1 벡터 설정부(110) 및 제2 벡터 설정부(120)에 의해 설정되는 제1 벡터와 제2 벡터를 각각 도시하는 도면이다.
도 4는 본 발명의 일 실시예에 따른 벡터 보정부(130)에 의해 보정되는 도 3의 제1 벡터를 도시하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 색상 값 복원부(140)에 의해 픽셀의 색상 값이 복원되는 과정을 도시하는 도면이다.
도 6은 본 발명의 일 실시예에 따라 복원된 영상과 종래의 기술인 MSRCR에 따라 복원된 영상을 비교하여 도시하는 도면이다.
도 7은 본 발명의 일 실시예에 따른 컬러 영상 복원 방법의 전체적인 흐름을 도시하는 순서도이다.1 is a block diagram of an image restored by the color
2 is a diagram illustrating a detailed configuration of the color
3 is a diagram illustrating a first vector and a second vector set by the
4 is a diagram illustrating the first vector of FIG. 3 corrected by the
5 is a diagram illustrating a process of restoring a color value of a pixel by the color
FIG. 6 is a diagram illustrating comparison of a reconstructed image according to an embodiment of the present invention with an image reconstructed according to a conventional MSRCR.
7 is a flowchart illustrating an overall flow of a color image reconstruction method according to an embodiment of the present invention.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. Like reference numerals are used for like elements in describing each drawing.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
도 1은 본 발명에 따른 컬러 영상 복원 장치(100)에 의한 영상 처리 과정을 도시한 도면이다. 1 is a diagram illustrating an image processing process by the color
도 1에 도시된 바와 같이, 컬러 영상 복원 장치(100)는 원본영상에 대한 컬러 영상 처리가 수행된 후의 결과영상(입력영상)을 입력 받아, 원본영상에 가깝게 입력영상의 컬러를 복원한다. As shown in FIG. 1, the color
이때, 원본영상은 디지털 카메라와 같은 촬상 장치에 의해 획득된 영상을 의미하며, 컬러 영상 처리는 획득된 원본영상의 화질 향상을 위해 수행되는 컬러 영상 처리 과정을 의미할 수 있다. 앞서 설명한 바와 같이, 컬러 영상 처리는 일례로, 레티넥스 알고리즘에 의한 HDR 영상 압축 과정일 수 있다. In this case, the original image may mean an image acquired by an imaging device such as a digital camera, and the color image processing may mean a color image processing process performed to improve the quality of the obtained original image. As described above, the color image processing may be, for example, an HDR image compression process by a Retinex algorithm.
즉, 촬상 장치에 의해 획득된 원본영상은 HDR 영상으로서, 레티넥스 알고리즘과 같은 영상 처리 과정에 의해 LDR 영상으로 압축될 수 있으며, 압축 과정에서 발생된 컬러 쉬프팅 감소를 위해, LDR 영상에 대해 본 발명에 따른 컬러 복원이 수행될 수 있다.That is, the original image obtained by the image capturing apparatus is an HDR image, and may be compressed into an LDR image by an image processing process such as a Retinex algorithm. Color restoration according to the above may be performed.
컬러 영상 처리 과정과 본 발명에 따른 컬러 복원은 모두 RGB 색 공간상에서 수행될 수 있다. Both the color image processing process and the color restoration according to the present invention can be performed in the RGB color space.
RGB 색 공간은 빛의 삼원색인 적색(R), 녹색(G), 청색(B)의 3가지 색의 합성 성분으로 임의의 색을 표현하는 것으로서, 임의의 색을 R, G, B의 세 값으로 표현하며, 가산혼합의 원리에 따라 R, G, B의 세 값이 0인 경우 검은색을 표현한다. The RGB color space is a composite component of three colors, red (R), green (G), and blue (B), which are the three primary colors of light. If the three values of R, G, and B are 0 according to the principle of addition mixing, black is represented.
본 발명에서는 설명의 편의를 위하여, 컬러 영상 복원 장치(100)가 RGB 색 공간상에서 컬러를 복원하는 것으로 가정하여 설명하기로 하나, 컬러를 복원하기 위한 다양한 색 공간이 사용될 수 있음은 당업자에게 자명하다 할 것이다.In the present invention, for convenience of description, it will be described on the assumption that the color
본 발명에 따른 컬러 영상 복원 장치(100)는 디스플레이 장치 내에 장착되어 입력 영상의 컬러를 복원할 수도 있으며, 본 발명의 다른 실시예에 따르면, 디스플레이 장치의 외부에 장착되어 컬러를 복원할 수도 있다. The color
본 발명에 따르면, 컬러 영상 처리 과정에서 발생할 수 있는 컬러 쉬프팅을 감소시키며, 영상의 컬러 분위기도 원본 영상에 가깝게 복원할 수 있는 바, 이하 도 2 내지 도 6을 참조하여, 본 발명에 따른 컬러 영상 복원 장치(100)의 구성을 보다 상세히 살펴보기로 한다.
According to the present invention, it is possible to reduce color shifting that may occur in the color image processing process, and to restore the color atmosphere of the image closer to the original image. Hereinafter, referring to FIGS. 2 to 6, the color image according to the present invention. The configuration of the
도 2는 본 발명에 따른 컬러 영상 복원 장치(100)의 상세한 구성을 도시하는 도면이다.2 is a diagram illustrating a detailed configuration of the color
도 2에 도시된 바와 같이, 본 발명에 따른 컬러 영상 복원 장치(100)는 제1 벡터 설정부(110), 제2 벡터 설정부(120), 벡터 보정부(130) 및 색상 값 복원부(140)를 포함한다.As shown in FIG. 2, the color
먼저, 본 발명의 일 실시예에 따른 제1 벡터 설정부(110)는 입력영상을 구성하는 복수의 픽셀 중 어느 하나의 픽셀의 색상 값에 기초하여 벡터(이하, '제1 벡터'라 함)를 설정할 수 있다.First, the first
벡터는 입력영상을 구성하는 픽셀의 RGB 색 공간상에서 설정되는 벡터를 의미하며, 보다 상세하게 R, G, B 채널을 각각 x, y, z 좌표축으로 놓았을 때, R, G, B 채널 값을 x, y, z 좌표값으로 갖는 벡터를 의미한다. Vector refers to a vector set in the RGB color space of the pixels constituting the input image. More specifically, when the R, G, and B channels are placed in the x, y, and z coordinate axes, respectively, the R, G, and B channel values are set. Means a vector having x, y, z coordinate values.
일례로, 입력영상을 구성하는 복수의 픽셀 중 (460, 240)에 위치하는 픽셀의 색상 값이 sRGB(125, 150, 180)인 경우, 제1 벡터 설정부(110)는 제1 벡터를 C1=(125, 150, 180)로 설정할 수 있다.For example, when the color value of the pixel located at (460, 240) among the plurality of pixels constituting the input image is sRGB (125, 150, 180), the first
이때, 입력영상은 앞서 설명한 바와 같이, 컬러 영상 처리가 수행된 후의 결과영상으로서, 일례로 레티넥스 알고리즘에 의해 LDR 영상으로 압축된 영상일 수 있다. In this case, as described above, the input image may be a result image after color image processing is performed, and may be, for example, an image compressed into an LDR image by a Retinex algorithm.
그리고, 본 발명의 일 실시예에 따른 제2 벡터 설정부(120)는 입력영상에 대한 컬러 영상 처리가 수행되기 전의 원본영상을 구성하는 복수의 픽셀 중 상기 어느 하나의 픽셀과 동일한 위치의 픽셀 색상 값에 기초하여 벡터(이하, '제2 벡터'라 함)를 설정한다.In addition, the second
일례로, 원본영상을 구성하는 복수의 픽셀 중 상기 어느 하나의 픽셀과 동일한 위치인 (460, 240)에 위치하는 픽셀의 색상 값이 sRGB(74, 75, 50)인 경우, 제2 벡터 설정부(120)는 제2 벡터를 C2=(74, 75, 50)로 설정할 수 있다.For example, when the color value of the pixel located at (460, 240) which is the same position as the one of the plurality of pixels constituting the original image is sRGB (74, 75, 50), the second
이와 같이, 제1 벡터 설정부(110)는 입력영상을 구성하는 복수의 픽셀 중 어느 하나의 픽셀에 관하여 제1 벡터를 설정하고, 제2 벡터 설정부(120)는 입력영상에 대한 영상 처리가 수행되기 전의 원본영상을 구성하는 복수의 픽셀 중 동일한 위치에 존재하는 픽셀에 관하여 제2 벡터를 설정하여, 이하 설명하는 벡터 보정부(130)에 의해 두 벡터가 서로 같은 방향을 갖도록 한다. As such, the first
도 3은 본 발명의 일 실시예에 따른 제1 벡터 설정부(110) 및 제2 벡터 설정부(120)에 의해 설정되는 제1 벡터와 제2 벡터를 각각 도시하는 도면이다.3 is a diagram illustrating a first vector and a second vector set by the
도 3을 참조하면, 제1 벡터 설정부(110)에 의해 설정되는 제1 벡터는 파란색으로, 제2 벡터 설정부(120)에 의해 설정되는 제2 벡터는 검정색으로 도시되고 있으며, RGB 색 공간상에서 원점을 기준으로, 크기와 방향을 가짐을 확인할 수 있다. Referring to FIG. 3, the first vector set by the
한편, 제1 벡터 설정부(110)에 의한 제1 벡터의 설정과 제2 벡터 설정부(120)에 의한 제2 벡터의 설정은 순서에 무관하므로, 원본영상에 대해 제1 벡터가 설정되고, 입력영상에 대해 제2 벡터가 설정될 수도 있다. On the other hand, since the setting of the first vector by the first
또한, 본 발명의 다른 실시예에 따르면, 제1 벡터 및 제2 벡터의 설정 과정은 모두 영상의 데이터 처리에 관한 것으로서, 이하 설명하는 벡터 보정부(130)의 데이터 처리 과정에서 함께 수행될 수도 있다. In addition, according to another embodiment of the present invention, the setting process of the first vector and the second vector are all related to the data processing of the image, and may be performed together in the data processing process of the
즉, 벡터 보정부(130)는 입력영상을 구성하는 복수의 픽셀 중 어느 하나의 픽셀의 색상 값에 기초하는 제1 벡터와 원본영상을 구성하는 복수의 픽셀 중 상기 어느 하나의 픽셀과 동일한 위치의 픽셀 색상 값에 기초하는 제2 벡터가 서로 상응하는 방향을 갖도록 제1 벡터를 보정할 수도 있다.That is, the
본 발명의 일 실시예에 따른 벡터 보정부(130)는 제1 벡터 설정부(110)에 의해 설정된 제1 벡터와 제2 벡터 설정부(120)에 의해 설정된 제2 벡터가 서로 상응하는 방향을 갖도록 제1 벡터를 보정한다.The
보다 상세하게, 벡터 보정부(130)는 입력영상에 관하여 설정된 제1 벡터가 원본영상에 관하여 설정된 제2 벡터와 동일한 방향을 갖도록 하기의 수학식에 따라 제1 벡터를 보정할 수 있다.
In more detail, the
여기서, x, y는 입력영상과 원본영상의 픽셀 좌표를, r, g, b는 RGB 색 공간상에서의 R, G, B 채널에 해당하는 값, V는 원본영상에 관하여 설정된 제2 벡터에 대한 매트릭스, γ는 입력영상에 관하여 설정된 제1 벡터에 대한 매트릭스, V'는 보정된 제1 벡터에 대한 매트릭스, P v 는 임의의 벡터를 제2 벡터로 프로젝션 하기 위한 프로젝션 매트릭스를 각각 의미한다. Here, x, y are pixel coordinates of the input image and the original image, r, g, b are the values corresponding to the R, G, B channels in the RGB color space, V is for the second vector set with respect to the original image The matrix γ denotes a matrix for the first vector set with respect to the input image, V ′ denotes a matrix for the corrected first vector, and P v denotes a projection matrix for projecting an arbitrary vector into the second vector.
예를 들어, 입력영상을 구성하는 복수의 픽셀 중 (460, 240)에 위치하는 픽셀에 관한 벡터가 C1=(125, 150, 180)이고, 원본영상을 구성하는 복수의 픽셀 중 동일한 위치인 (460, 240)에 위치하는 픽셀에 관한 벡터가 C2=(74, 75, 50)인 경우, 제1 벡터는 벡터 보정부(130)에 의해 C1'=(161, 163, 108)로 보정될 수 있다. 이때, 보정된 제1 벡터 C1'는 RGB 색 공간상에서 설정되는 벡터이므로, 0에서 255까지의 자연수로 표현될 수 있다.For example, a vector regarding a pixel located at (460, 240) among a plurality of pixels constituting the input image is C1 = (125, 150, 180), and the same position among the plurality of pixels constituting the original image ( When the vector for a pixel located at 460 and 240 is C2 = (74, 75, 50), the first vector may be corrected by C1 ' = (161, 163, 108) by the
즉, 벡터 보정부(130)에 의해, 좌표값이 125, 150, 180으로 점차 증가하는 경향을 갖는 입력영상에 관한 벡터가 원본영상에 관한 벡터 좌표값의 경향과 유사하게, 161, 163, 108의 좌표값을 가지게 되며, 결과적으로 입력영상에 관한 컬러 정보는 원본영상에 관한 컬러 정보와 서로 상응하게 된다.
That is, by the
다음의 표는 상기한 예를 수학식 4에 따라 연산한 결과를 나타낸다. The following table shows the result of calculating the above example according to the equation (4).
표 1에 나타난 바와 같이, 벡터 보정부(130)는 입력영상에 관하여 설정된 제1 벡터가 원본영상에 관하여 설정된 제2 벡터와 동일한 방향을 갖도록 제1 벡터를 보정할 수 있다. As shown in Table 1, the
도 4는 본 발명의 일 실시예에 따른 벡터 보정부(130)에 의해 보정되는 도 3의 제1 벡터를 도시하는 도면이다. 4 is a diagram illustrating the first vector of FIG. 3 corrected by the
도 4를 참조하면, 본 발명에 따른 벡터 보정부(130)에 의해 보정된 제1 벡터는 빨간색으로 도시되고 있으며, 보정된 제1 벡터는 제2 벡터와 상응하는 방향을 가짐을 확인할 수 있다. Referring to FIG. 4, it can be seen that the first vector corrected by the
계속하여, 본 발명의 일 실시예에 따른 색상 값 복원부(140)는 벡터 보정부(130)에 의해 보정된 제1 벡터에 기초하여 해당 픽셀의 색상 값을 복원한다. Subsequently, the
보다 상세하게, 색상 값 복원부(140)는 벡터 보정부(130)에 의해 보정된 제1 벡터(C1')의 x, y, z 좌표값을 해당 픽셀의 색상 값으로 복원할 수 있다. In more detail, the
일례로, 표 1에 나타난 바와 같이, C1'=(161, 163, 108)인 경우, 본 발명의 일 실시예에 따른 색상 값 복원부(140)는 상기 어느 하나의 픽셀 색상 값을 sRGB(161, 163, 108)로 복원한다.For example, as shown in Table 1, when C1 ' = (161, 163, 108), the color
한편, 본 발명의 일 실시예에 따르면, 벡터 설정부(110, 120)에 의한 벡터 설정, 벡터 보정부(130)에 의한 벡터 보정 및 색상 값 복원부(140)에 의한 색상 값 복원은 입력영상을 구성하는 복수의 픽셀 각각에 대해 순차적으로 수행될 수 있다. Meanwhile, according to an embodiment of the present invention, the vector setting by the
즉, 도 5에 도시된 바와 같이, 입력영상을 구성하는 복수의 픽셀 각각에 대한 색상 값의 복원은 픽셀 좌표 값 (0, 0)에서 오른쪽 아래 방향으로 'ㄹ'자 형태로 진행하면서 이루어질 수 있다. 그러나, 색상 값 복원의 방향은 컬러 영상 복원 장치(100)의 구성에 따라 다르게 이루어질 수 있다.
That is, as shown in FIG. 5, the restoration of the color values for each of the plurality of pixels constituting the input image may be performed while proceeding in the form of '′' in the lower right direction from the pixel coordinate values (0, 0). . However, the direction of color value restoration may be different according to the configuration of the color
도 6은 본 발명의 일 실시예에 따라 복원된 영상과 종래의 기술인 MSRCR(Multi Scale Retinex with Color Restoration)에 따라 복원된 영상을 비교하여 도시하는 도면이며, 도 6a는 노란색 조명하에서 촬상된 원본영상을, 도 6b는 MSRCR에 따라 복원된 영상을, 도 6c는 본 발명에 따라 복원된 영상을 각각 도시한다. FIG. 6 is a view illustrating a comparison of a reconstructed image according to an embodiment of the present invention with a reconstructed image according to a conventional technology, Multi Scale Retinex with Color Restoration (MSRCR), and FIG. 6A is an original image photographed under yellow illumination. 6B shows an image reconstructed according to the MSRCR, and FIG. 6C shows an image reconstructed according to the present invention.
도 6b에 도시된 바와 같이, 종래의 기술인 MSRCR에 따라 복원되는 경우, 컬러 분위기가 상당히 원본영상에 가깝게 복원되긴 하였으나, 여전히 상대적으로 밝은 픽셀 영역에서는 color shifting이 존재함을 확인할 수 있다. As shown in FIG. 6B, in the case of reconstruction according to the conventional MSRCR, although the color atmosphere is reconstructed to be close to the original image, it can be seen that color shifting is still present in the relatively bright pixel region.
이에 비해, 도 6c에 도시된 바와 같이, 본 발명에 따른 컬러 영상 복원 장치(100)에 의해 복원되는 경우, 컬러 쉬프팅이 효과적으로 감소되며, 원본 영상에 가까운 컬러 분위기로 복원된다. In contrast, as illustrated in FIG. 6C, when the color
이와 같이, 본 발명에 따른 컬러 영상 복원 장치(100)는 원본영상의 컬러 정보를 이용하여 입력영상의 컬러를 복원함으로써, 기존의 방법 대비 컬러 쉬프팅을 감소시킴과 동시에 컬러 분위기를 원본영상에 가깝게 복원할 수 있는 장점이 있다. As described above, the color
또한, 본 발명에 따른 컬러 영상 복원 장치(100)는 입력영상에 적용되는 컬러 영상 처리의 방식에 관계없이 컬러 쉬프팅 문제를 개선하기 위해 적용할 수 있는 장점을 갖는다.
In addition, the color
도 7은 본 발명의 일 실시예에 따른 컬러 영상 복원 방법의 전체적인 흐름을 도시하는 순서도이다.7 is a flowchart illustrating an overall flow of a color image reconstruction method according to an embodiment of the present invention.
도 7에 도시된 바와 같이, 컬러 영상 복원 방법은 제1 벡터를 설정하는 단계(S710), 제2 벡터를 설정하는 단계(S720), 제1 벡터를 보정하는 단계(S730) 및 색상 값을 복원하는 단계(S740)를 포함한다. 이하, 각 단계별로 보다 상세히 살펴보기로 한다.As shown in FIG. 7, the color image reconstruction method includes setting a first vector (S710), setting a second vector (S720), correcting a first vector (S730), and restoring a color value. It includes the step (S740). Hereinafter, each step will be described in more detail.
먼저, 본 발명의 일 실시예에 따른 단계(S710)에서는 입력영상을 구성하는 복수의 픽셀 중 어느 하나의 픽셀의 색상 값에 기초하여 제1 벡터를 설정한다.First, in step S710 according to an embodiment of the present invention, a first vector is set based on a color value of one of a plurality of pixels constituting the input image.
그리고, 본 발명의 일 실시예에 따른 단계(S720)에서는 입력영상에 대한 컬러 영상 처리가 수행되기 전의 원본영상을 구성하는 복수의 픽셀 중 상기 어느 하나의 픽셀과 동일한 위치의 픽셀 색상 값에 기초하여 제2 벡터를 설정한다. In operation S720, the pixel color value of the same position as the one of the plurality of pixels constituting the original image before the color image processing is performed on the input image may be used. Set the second vector.
이때, 벡터는 각 영상을 구성하는 픽셀의 RGB 색 공간상에서 설정되는 벡터를 의미하며, 보다 상세하게 R, G, B 채널을 각각 x, y, z 좌표축으로 놓았을 때, R, G, B 채널 값을 x, y, z 좌표값으로 갖는 벡터를 의미한다. In this case, the vector refers to a vector set in the RGB color space of the pixels constituting each image, and more specifically, when the R, G, and B channels are placed in the x, y, and z coordinate axes, respectively, the R, G, and B channels Means a vector having values as x, y, and z coordinate values.
다음으로, 본 발명의 일 실시예에 따른 단계(S730)에서는 제1 벡터가 제2 벡터와 상응하는 방향을 갖도록 제1 벡터를 보정한다.Next, in step S730 according to an embodiment of the present invention, the first vector is corrected such that the first vector has a direction corresponding to the second vector.
이때, 단계(S730)에서는 단계(S720)에서 설정된 제2 벡터를 이용하여 제1 벡터가 제2 벡터와 상응하는 방향을 갖도록 제1 벡터를 보정할 수 있다.In this case, in operation S730, the first vector may be corrected such that the first vector has a direction corresponding to the second vector using the second vector set in operation S720.
보다 상세하게, 본 발명의 일 실시예에 따른 단계(S730)에서는 상기한 수학식 4에 따라 제1 벡터가 제2 벡터와 상응하는 방향을 갖도록 제1 벡터를 보정할 수 있다. In more detail, in step S730 according to an embodiment of the present invention, the first vector may be corrected to have a direction corresponding to the second vector according to Equation 4 described above.
마지막으로, 본 발명의 일 실시예에 따른 단계(S740)에서는 단계(S730)에서 보정된 제1 벡터에 기초하여 상기 어느 하나의 픽셀의 색상 값을 복원한다. Finally, in step S740 according to an embodiment of the present invention, the color value of the one pixel is restored based on the first vector corrected in step S730.
지금까지 본 발명에 따른 컬러 영상 복원 방법 방법의 실시예들에 대하여 설명하였고, 앞서 도 1 내지 도 6에서 설명한 컬러 영상 복원 장치(100)에 관한 구성이 본 실시예에도 그대로 적용 가능하다. 이에, 보다 상세한 설명은 생략하기로 한다.Embodiments of the method for reconstructing a color image according to the present invention have been described so far, and the configuration of the color
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일 실시예들의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.In addition, embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded on a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks, and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Examples of program instructions, such as magneto-optical and ROM, RAM, flash memory and the like, can be executed by a computer using an interpreter or the like, as well as machine code, Includes a high-level language code. The hardware devices described above may be configured to operate as at least one software module to perform operations of one embodiment of the present invention, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described by specific embodiments such as specific components and the like. For those skilled in the art, various modifications and variations are possible from these descriptions. Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .
100 : 컬러 영상 복원 장치 110 : 제1 벡터 설정부
120 : 제2 벡터 설정부 130 : 벡터 보정부
140 : 색상 값 복원부100: color image restoration apparatus 110: first vector setting unit
120: second vector setting unit 130: vector correction unit
140: color value recovery unit
Claims (6)
상기 입력영상을 구성하는 복수의 픽셀 중 제1 픽셀의 색상 값에 기초하는 제1 벡터가 상기 입력영상에 대한 컬러 영상 처리가 수행되기 전의 원본영상을 구성하는 복수의 픽셀 중 상기 제1 픽셀과 동일한 위치의 픽셀의 색상 값에 기초하는 제2 벡터와 동일한 방향을 갖도록 보정하는 벡터 보정부; 및
상기 보정에 기초하여 상기 제1 픽셀의 색상 값을 복원하는 색상 값 복원부
를 포함하는 컬러 영상 복원 장치.An apparatus for restoring color of an input image on which color image processing has been performed,
The first vector based on the color value of the first pixel of the plurality of pixels constituting the input image is the same as the first pixel of the plurality of pixels constituting the original image before the color image processing on the input image is performed. A vector correcting unit correcting to have the same direction as the second vector based on the color value of the pixel at the position; And
A color value restorer that restores a color value of the first pixel based on the correction
Color image restoration apparatus comprising a.
상기 색상 값은 RGB 색 공간에 관한 값인 것을 특징으로 하는 컬러 영상 복원 장치.The method of claim 1,
And the color value is a value relating to an RGB color space.
상기 벡터 보정부는 상기 제1 벡터를 상기 제2 벡터의 방향으로 프로젝션 시키는 것을 특징으로 하는 컬러 영상 복원 장치. The method of claim 1,
And the vector corrector projects the first vector in the direction of the second vector.
상기 벡터 보정부는 하기의 수학식에 따라 상기 제1 벡터를 보정하는 것을 특징으로 하는 컬러 영상 복원 장치.
여기서, x, y는 입력영상과 원본영상의 픽셀 좌표를, r, g, b는 RGB 색 공간상에서의 R, G, B 채널에 해당하는 값, V는 원본영상에 관하여 설정된 제2 벡터에 대한 매트릭스, γ는 입력영상에 관하여 설정된 제1 벡터의 좌표값에 대한 매트릭스, V'는 보정된 제1 벡터에 대한 매트릭스, P v 는 임의의 벡터를 제2 벡터로 프로젝션 하기 위한 프로젝션 매트릭스를 각각 의미함.The method of claim 1,
And the vector corrector corrects the first vector according to the following equation.
Here, x, y are pixel coordinates of the input image and the original image, r, g, b are the values corresponding to the R, G, B channels in the RGB color space, V is for the second vector set with respect to the original image Matrix γ is a matrix for coordinate values of the first vector set with respect to the input image, V ' is a matrix for the corrected first vector, and P v is a projection matrix for projecting an arbitrary vector into the second vector, respectively. box.
상기 입력영상을 구성하는 복수의 픽셀 중 제1 픽셀의 색상 값에 기초하는 제1 벡터가 상기 입력영상에 대한 컬러 영상 처리가 수행되기 전의 원본영상을 구성하는 복수의 픽셀 중 상기 제1 픽셀과 동일한 위치의 픽셀의 색상 값에 기초하는 제2 벡터와 동일한 방향을 갖도록 보정하는 단계; 및
상기 보정된 결과에 기초하여 상기 제1 픽셀의 색상 값을 복원하는 단계
를 포함하는 컬러 영상 복원 방법.A method for restoring color of an input image on which color image processing has been performed,
The first vector based on the color value of the first pixel of the plurality of pixels constituting the input image is the same as the first pixel of the plurality of pixels constituting the original image before the color image processing on the input image is performed. Correcting to have the same direction as the second vector based on the color value of the pixel at the location; And
Restoring the color value of the first pixel based on the corrected result
Color image restoration method comprising a.
상기 보정하는 단계는 상기 제1 벡터를 상기 제2 벡터의 방향으로 프로젝션 시키는 것을 특징으로 하는 컬러 영상 복원 방법.The method of claim 5,
The correcting of the color image may include projecting the first vector in a direction of the second vector.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110119704A KR101310076B1 (en) | 2011-11-16 | 2011-11-16 | Apparatus and method for restoration color image |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020110119704A KR101310076B1 (en) | 2011-11-16 | 2011-11-16 | Apparatus and method for restoration color image |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20130053962A true KR20130053962A (en) | 2013-05-24 |
| KR101310076B1 KR101310076B1 (en) | 2013-09-24 |
Family
ID=48663087
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020110119704A KR101310076B1 (en) | 2011-11-16 | 2011-11-16 | Apparatus and method for restoration color image |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101310076B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019177368A1 (en) * | 2018-03-15 | 2019-09-19 | 삼성전자 주식회사 | Electronic device and method for compressing image obtained using camera, by using reconstruction information of same image |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5818966A (en) * | 1995-01-23 | 1998-10-06 | Ricoh Company, Ltd. | Method and apparatus for encoding color information on a monochrome document |
| KR100545116B1 (en) * | 1997-03-14 | 2006-07-12 | 소니 가부시끼 가이샤 | Color Correction Device and Color Correction Method, Image Processing Device and Image Processing Method |
| US6177962B1 (en) | 1999-06-30 | 2001-01-23 | Thomson Licensing S.A. | Apparatus and method for preventing oversaturation of chrominance signals |
| KR101266919B1 (en) * | 2009-08-28 | 2013-05-23 | 한국전자통신연구원 | System for converting color of images cinematograph and method thereof |
-
2011
- 2011-11-16 KR KR1020110119704A patent/KR101310076B1/en not_active IP Right Cessation
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019177368A1 (en) * | 2018-03-15 | 2019-09-19 | 삼성전자 주식회사 | Electronic device and method for compressing image obtained using camera, by using reconstruction information of same image |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101310076B1 (en) | 2013-09-24 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101328741B1 (en) | Apparatus and method for image enhancement using color channel | |
| CN110447051B (en) | Perceptually preserving contrast and chroma of a reference scene | |
| KR100924121B1 (en) | Multi-view camera color calibration using color checker chart | |
| CN108668093B (en) | HDR image generation method and device | |
| US9214010B2 (en) | Image processing apparatus, image processing method, and program product | |
| KR20170107487A (en) | Metadata-based image processing method and apparatus | |
| WO2021218603A1 (en) | Image processing method and projection system | |
| JP2009171585A (en) | Color recovery method and system | |
| US11941791B2 (en) | High-dynamic-range image generation with pre-combination denoising | |
| CN110827225A (en) | Non-uniform illumination underwater image enhancement method based on double exposure frame | |
| WO2016114148A1 (en) | Image-processing device, image-processing method, and recording medium | |
| KR20200089410A (en) | Low-light image correction method based on optimal gamma correction | |
| US20160286090A1 (en) | Image processing method, image processing apparatus, and image processing program | |
| TW201806378A (en) | Information processing device, information processing method, and program | |
| JP5410378B2 (en) | Video signal correction apparatus and video signal correction program | |
| JP5932392B2 (en) | Image processing apparatus and image processing method | |
| KR101310076B1 (en) | Apparatus and method for restoration color image | |
| KR102644946B1 (en) | Image processing method and apparatus thereof | |
| KR101289698B1 (en) | Apparatus and method for enhancing image | |
| JP2019106173A (en) | Image processing method, image processing apparatus and program | |
| US11647298B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
| CN114078094A (en) | Image edge brightness correction method, device and system | |
| WO2019116975A1 (en) | Image processing method, image processing device, and program | |
| JP2005039458A (en) | Image processing apparatus and method | |
| JP2016127505A (en) | Image processing apparatus and image processing method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20160701 Year of fee payment: 4 |
|
| LAPS | Lapse due to unpaid annual fee |