KR101733345B1 - color transfer apparatus and method - Google Patents
color transfer apparatus and method Download PDFInfo
- Publication number
- KR101733345B1 KR101733345B1 KR1020160018402A KR20160018402A KR101733345B1 KR 101733345 B1 KR101733345 B1 KR 101733345B1 KR 1020160018402 A KR1020160018402 A KR 1020160018402A KR 20160018402 A KR20160018402 A KR 20160018402A KR 101733345 B1 KR101733345 B1 KR 101733345B1
- Authority
- KR
- South Korea
- Prior art keywords
- channel
- image
- input image
- value
- color
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
- H04N9/70—Circuits for processing colour signals for colour killing
- H04N9/71—Circuits for processing colour signals for colour killing combined with colour gain control
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
- G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
- G06T7/38—Registration of image sequences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/87—Regeneration of colour television signals
- H04N9/8722—Regeneration of a colour reference signal, e.g. the colour synchronisaton burst signal, the chrominance signal carrier
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Color Image Communication Systems (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명의 실시예들은 입력영상의 색상 및 밝기를 참조영상을 유사하게 만들어주는 색 전달 장치 및 방법에 관한 것으로서, 보다 상세하게는 색상 전달 성능을 높이고, 분할 영역 간 부자연스러운 결과를 해결할 수 있는 색 전달 장치 및 방법에 대한 것이다. Embodiments of the present invention relate to a color transmission apparatus and method for making a reference image similar to a color and a brightness of an input image. More specifically, the present invention relates to a color transmission apparatus and method for enhancing color transmission performance, Transmitting apparatus and method.
종래에 제안된 디지털 영상(Digital image) 기반 색상 전달(Color transfer) 방법은 영상 내 픽셀들에 대한 색상(color) 및 밝기(intensity)의 통계정보(statistics)를 이용한다. 입력 영상(input image)과 참조 영상(reference image)을 Lab 색 공간으로 변환한 후, 각 채널 픽셀값들의 평균(Mean)과 표준편차(standard deviations)을 계산한다. 최종적으로 입력 영상의 평균 및 표준편차가 참조 영상의 평균 및 표준편차와 동일하게 되도록 픽셀값을 변화시킴으로써 입력 영상의 색상 스타일을 참조 영상과 비슷하게 만들어준다. Conventionally proposed digital image based color transfer method uses statistical statistics of color and intensity for pixels in an image. After converting the input image and the reference image into the Lab color space, the mean and standard deviations of the pixel values of each channel are calculated. Finally, the pixel value is changed so that the average and standard deviation of the input image become equal to the average and standard deviation of the reference image, thereby making the color style of the input image similar to the reference image.
하지만, 두 영상의 색상 및 밝기의 통계정보가 너무 상이한 경우에는 색상 전달이 효과적으로 이루어지지 않는 문제점이 있었다. 이를 보완하기 위해, 두 영상을 분할한 후, 각 영역의 통계정보를 이용하여 영역별로 색상을 전달하는 지역적 기술이 제안되었다. However, when the statistical information on the color and brightness of the two images is too different, the color transmission is not effectively performed. In order to compensate for this, a regional technique has been proposed for dividing two images and then transmitting color by region using statistical information of each region.
종래의 지역적 색상 전달 기술은 영역 단위로 색상을 전달하기 때문에 영역 분할이 성공적으로 이루어지지 않은 경우에는 색상 전달의 성능이 저하될 수 있다. 또한, 입력 영상에서는 관찰되지 않던 부자연스러운 결과가 분할 영역 간에 발생할 수 있기 때문에 추가적인 경계 처리가 요구되는 단점이 있다. Conventional regional color transfer technology transfers color in units of regions, so that the performance of color transfer may be degraded if region segmentation is not successful. In addition, there is a disadvantage that additional boundary processing is required because an unnatural result that is not observed in the input image can occur between the divided regions.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 색상 전달 성능을 높이고, 분할 영역 간 부자연스러운 결과를 해결할 수 있는 색 전달 장치 및 방법을 제안하고자 한다. In order to solve the problems of the related art as described above, the present invention proposes a color transmission device and method which can improve color transfer performance and solve unnatural results between divided areas.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.Other objects of the invention will be apparent to those skilled in the art from the following examples.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, Lab 색공간의 입력영상을 분할하여 L-채널 입력영상, a-채널 입력영상 및 b-채널 입력영상으로 분할하고, Lab 색공간의 참조영상을 분할하여 L-채널 참조영상, a-채널 참조영상 및 b-채널 참조영상으로 분할하는 채널 분할부; 상기 L-채널 입력영상과 상기 L-채널 참조영상을 이용하여 L-채널 출력영상을 생성하는 제1 영상 생성부; 상기 a-채널 입력영상, 상기 a-채널 참조영상, 상기 b-채널 입력영상, 및 상기 b-채널 참조영상 각각을 K개의 영역으로 분할하는 영역 분할부; 상기 K개의 a-채널 입력영상의 영역과 상기 K개의 a-채널 참조영상의 영역을 각각 매칭하고, 상기 매칭된 K개의 a-채널 입력영상의 영역 및 a-채널 참조영상의 영역 각각의 색상매핑함수인 K개의 a-채널 색상매핑함수를 산출하고, 상기 K개의 a-채널 색상매핑함수를 이용하여 a-채널 출력영상을 생성하는 제2 영상 생성부; 상기 K개의 b-채널 입력영상의 영역과 상기 K개의 b-채널 참조영상의 영역을 각각 매칭하고, 상기 매칭된 K개의 b-채널 입력영상의 영역 및 b-채널 참조영상의 영역 각각의 색상매핑함수인 K개의 b-채널 색상매핑함수를 산출하고, 상기 K개의 b-채널 색상매핑함수를 이용하여 b-채널 출력영상을 생성하는 제3 영상 생성부; 및 상기 L-채널 출력영상, 상기 a-채널 출력영상 및 상기 b-채널 출력영상을 병합하여 출력영상을 산출하는 병합부;를 포함하는 것을 특징으로 하는 색 전달 장치가 제공된다. According to a preferred embodiment of the present invention, an input image in a Lab color space is divided into an L-channel input image, an a-channel input image, and a b-channel input image, Channel reference image, an a-channel reference image, and a b-channel reference image; A first image generator for generating an L-channel output image using the L-channel input image and the L-channel reference image; An area dividing unit dividing each of the a-channel input image, the a-channel reference image, the b-channel input image, and the b-channel reference image into K regions; Channel input image and the K a-channel reference image, respectively, and performs color mapping of each of the K a-channel input image regions and the a-channel reference image region, A second image generator for generating K a-channel color mapping functions and generating an a-channel output image using the K a-channel color mapping functions; Channel input image and the K b-channel reference image, respectively, and performs color mapping of the areas of the matched K b-channel input image and b-channel reference image, A third image generator for generating K b-channel color mapping functions and generating a b-channel output image using the K b-channel color mapping functions; And a merging unit for merging the L-channel output image, the a-channel output image, and the b-channel output image to calculate an output image.
상기 제1 영상 생성부는 상기 L-채널 입력영상의 누적분포함수(CDFs) 및 상기 L-채널 참조영상의 누적분포함수를 이용하여 L-채널 출력영상을 생성할 수 있다. The first image generator may generate an L-channel output image using cumulative distribution functions (CDFs) of the L-channel input image and cumulative distribution functions of the L-channel reference image.
상기 제1 영상 생성부는 아래의 수학식을 이용하여 L-채널 출력영상을 생성할 수 있다.The first image generator may generate an L-channel output image using the following equation.
여기서, l'(x, y)는 상기 L-채널 출력영상, l(x,y)는 상기 L-채널 입력영상, CI는 상기 L-채널 입력영상의 누적분포함수, CR는 상기 L-채널 참조영상의 누적분포함수, hI는 L-채널 입력영상의 2차원 히스토그램, hR는 L-채널 참조영상의 2차원 히스토그램, h* I는 L-채널 입력영상의 2차원 히스토그램의 정규화값, h* R는 L-채널 참조영상의 2차원 히스토그램의 정규화값을 각각 의미함.Here, l '(x, y) is the channel output image L-, l (x, y) is the L- channel input image, I C is the cumulative distribution function, C R of the input image is the L channel L- H I is the 2D histogram of the L-channel input image, h R is the 2D histogram of the L-channel reference image, h * I is the normalization of the 2D histogram of the L-channel input image, And h * R are the normalized values of the two-dimensional histogram of the L-channel reference image, respectively.
상기 제2 영상 생성부는 상기 분할된 영역에 포함된 픽셀 수의 다소(多少)에 기초하여 상기 K개의 a-채널 입력영상의 영역과 상기 K개의 a-채널 참조영상의 영역을 매칭하고, 상기 제3 영상 생성부는 상기 분할된 영역에 포함된 픽셀 수의 다소에 기초하여 상기 K개의 b-채널 입력영상의 영역과 상기 K개의 b-채널 참조영상의 영역을 매칭할 수 있다. Wherein the second image generator matches an area of the K a-channel input image and an area of the K a-channel reference image based on a somewhat smaller number of pixels included in the divided area, 3 image generating unit may match the areas of the K b-channel input images and the areas of the K b-channel reference images based on a number of pixels included in the divided area.
상기 K개의 a-채널 색상매핑함수 중 k번째 a-채널 색상매핑함수는 상기 K개의 a-채널 입력영상의 영역 중 k번째 a-채널 입력영상의 영역의 a값의 평균, 상기 k번째 a-채널 입력영상의 영역의 a값의 표준편차, 상기 K개의 a-채널 참조영상의 영역 중 k번째 a-채널 참조영상의 영역의 a값의 평균 및 상기 k번째 a-채널 참조영상의 영역의 a값의 표준편차를 이용하여 산출되고, 상기 K개의 b-채널 색상매핑함수 중 k번째 b-채널 색상매핑함수는, 상기 K개의 b-채널 입력영상의 영역 중 k번째 b-채널 입력영상의 영역의 b값의 평균, 상기 k번째 b-채널 입력영상의 영역의 b값의 표준편차, 상기 K개의 b-채널 참조영상의 영역 중 k번째 b-채널 참조영상의 영역의 b값의 평균 및 상기 k번째 b-채널 참조영상의 영역의 b값의 표준편차를 이용하여 산출될 수 있다. The k-th a-channel color mapping function among the K a-channel color mapping functions may include an average of a values of a region of the k-th a-channel input image among the regions of the K a-channel input images, Channel reference image, a standard deviation of a value of a region of a channel input image, an average of a values of a region of a k-th a-channel reference image among the K a-channel reference images, and a Channel color mapping function of the k b-channel input image is calculated using the standard deviation of the k b-channel input image, and the kth b-channel color mapping function of the K b- Channel input image, the average of b values of the k-th b-channel input image, the standard deviation of the b-value of the k-th b-channel input image, and the standard deviation of the b value of the region of the k-th b-channel reference image.
상기 k번째 a-채널 색상매핑함수 및 상기 k번째 b-채널 색상매핑함수는 아래의 수학식과 같이 표현될 수 있다. The k-th a-channel color mapping function and the k-th b-channel color mapping function may be expressed by the following equations.
여기서, fk a(a)는 상기 k번째 a-채널 색상매핑함수, fk b(b)는 상기 k번째 b-채널 색상매핑함수, μa I,k는 상기 k번째 a-채널 입력영상의 영역의 a값의 평균, σa I,k는 상기 k번째 a-채널 입력영상의 영역의 a값의 표준편차, μb I,k는 상기 k번째 b-채널 입력영상의 영역의 b값의 평균, σb I,k는 상기 k번째 b-채널 입력영상의 영역의 b값의 표준편차, μa R,k는 상기 k번째 a-채널 참조영상의 영역의 a값의 평균, σa R,k는 상기 k번째 a-채널 참조영상의 영역의 a값의 표준편차, μb R,k는 상기 k번째 b-채널 참조영상의 영역의 b값의 평균, σb R,k는 상기 k번째 b-채널 참조영상의 영역의 b값의 표준편차를 각각 의미함.The kth a -channel color mapping function, f k b (b) is the k-th b-channel color mapping function, and μ a I, Of the region of a value of a, a a , k is a standard deviation of a value of a region of the k-th a-channel input image, μ b I, k is a standard deviation of a value of a region of the k- average value of b, b σ I, k is the k-th b- standard deviation of the b value of the area of the input image channel, μ a R, k is the k-th region of the a- channel reference image a value of a, a a R, k is a standard deviation of a value of a region of the k-th a-channel reference image, and b R, k is a standard deviation of a value of a region of the k- b b R, k mean the standard deviation of the b value of the region of the k-th b-channel reference image, respectively.
상기 제2 영상 생성부는 상기 K개의 a-채널 색상매핑함수를 이용하여 K개의 a-채널의 색상매핑영상을 산출하고, 가중치를 이용한 상기 K개의 a-채널의 색상매핑영상의 합산을 통해 상기 a-채널 출력영상을 생성하고, 상기 제3 영상 생성부는 상기 K개의 b-채널 색상매핑함수를 이용하여 K개의 b-채널의 색상매핑영상을 산출하고, 상기 가중치를 이용한 상기 K개의 b-채널의 색상매핑영상의 합산을 통해 상기 b-채널 출력영상을 생성할 수 있다. The second image generator may calculate K a-channel color-mapped images using the K a-channel color mapping functions and sum up the K a-channel color-mapped images using the weights, - channel output image, the third image generating unit calculates K b-channel color mapping images using the K b-channel color mapping functions, and calculates the K b-channel color mapping images using the weight values And the b-channel output image can be generated through summation of color mapping images.
상기 가중치는 픽셀 단위로 산출되되, 상기 분할된 K개의 a-채널 입력영상의 영역 및 b-채널 입력영상의 영역에서 가장 많이 사용된 색상값과, 픽셀에 대한 a-채널 입력영상 및 b-채널 입력영상에서 색상값에 기초하여 산출될 수 있다. The weight value is calculated in units of pixels. The weight value is calculated in units of K, a-channel input image region and b-channel input image region, the a-channel input image and b- And can be calculated based on the color value in the input image.
상기 a-채널 출력영상 및 상기 b-채널 출력영상은 아래의 수학식과 같이 표현될 수 있다.The a-channel output image and the b-channel output image can be expressed by the following equations.
여기서, a'(x,y)는 픽셀(x,y)에서의 a-채널 출력영상, b'(x,y)는 픽셀 (x,y)에서의 b-채널 출력영상, a(x,y)는 픽셀 (x,y)에서의 a-채널 입력영상, b(x,y)는 픽셀 (x,y)에서의 b-채널 입력영상, fk a(a)는 상기 k번째 a-채널 색상매핑함수, fk b(b)는 상기 k번째 상기 k번째 b-채널 색상매핑함수, μa I,k는 상기 K개의 a-채널 입력영상의 영역 중 k번째 a-채널 입력영상의 영역의 a값의 평균, σa I,k는 상기 k번째 a-채널 입력영상의 영역의 a값의 표준편차, μb I,k는 상기 K개의 b-채널 입력영상의 영역 중 k번째 b-채널 입력영상의 영역의 b값의 평균, σb I,k는 상기 k번째 b-채널 입력영상의 영역의 b값의 표준편차, μa R,k는 상기 K개의 a-채널 참조영상의 영역 중 k번째 a-채널 참조영상의 영역의 a값의 평균, σa R,k는 상기 k번째 a-채널 참조영상의 영역의 a값의 표준편차, μb R,k는 상기 K개의 b-채널 참조영상의 영역 중 k번째 b-채널 참조영상의 영역의 b값의 평균, σb R,k는 상기 k번째 b-채널 참조영상의 영역의 b값의 표준편차, Wk(x,y)는 픽셀 (x,y)의 가중치, W* k(x,y)는 Wk(x,y)의 정규화 값, Rk는 상기 분할된 K개의 영역 중 k번째 영역의 a-채널 입력영상 및 b-채널 입력영상에서 가장 많이 사용된 색상값, Rinput(x,y)는 픽셀(x,y)에 대한 a-채널 입력영상 및 b-채널 입력영상에서 색상값, || ||2는 유클리드 노름(Euclidean norm)를 각각 의미함.(X, y) is the a-channel output image at the pixel (x, y), b '(x, y) y) is the pixel (x, y) a- channel input image, b (x, y in) is the pixel (x, y) b- channel input video in, f k a (a) is the k-th a- Channel color mapping function, f k b (b) is the k-th b-channel color mapping function, μ a I, k is the kth a-channel input image of the K a- Area a value, a a , k is a standard deviation of a value of a region of the k-th a-channel input image, μ b I, k is a standard deviation of a value of a region of the k b- The area of the input image average value of b, b σ I, k is the standard deviation of k b value of the area of the second channel input video b-, μ a R, k is the k-th channel of the a- region of the reference K of a- channel image The region of the reference image a value of a, a a R, k is a standard deviation of a value of a region of the k-th a-channel reference image, and b R, k is a k-th b- The region of the reference image the average value b, σ b R, b k is the standard deviation of the value of the k-th region of the b- channel reference image, W k (x, y) is the weight for the pixel (x, y) * W k (x , y) is the normalized value of W k (x, y), R k is the most commonly used color value in the a-channel input image and b-channel input image of the k th region of the divided K regions, R input (x, y) is a color value in the a-channel input image and the b-channel input image for pixel (x, y), || || 2 refers to the Euclidean norm.
또한, 본 발명의 다른 실시예에 따르면, Lab 색공간의 입력영상을 분할하여 L-채널 입력영상, a-채널 입력영상 및 b-채널 입력영상으로 분할하고, Lab 색공간의 참조영상을 분할하여 L-채널 참조영상, a-채널 참조영상 및 b-채널 참조영상으로 분할하는 단계; 상기 L-채널 입력영상과 상기 L-채널 참조영상을 이용하여 L-채널 출력영상을 생성하는 단계; 상기 a-채널 입력영상, 상기 a-채널 참조영상, 상기 b-채널 입력영상, 및 상기 b-채널 참조영상 각각을 K개의 영역으로 분할하는 단계; 상기 K개의 a-채널 입력영상의 영역과 상기 K개의 a-채널 참조영상의 영역을 각각 매칭하고, 상기 매칭된 K개의 a-채널 입력영상의 영역 및 a-채널 참조영상의 영역 각각의 색상매핑함수인 K개의 a-채널 색상매핑함수를 산출하고, 상기 K개의 a-채널 색상매핑함수를 이용하여 a-채널 출력영상을 생성하는 단계; 상기 K개의 b-채널 입력영상의 영역과 상기 K개의 b-채널 참조영상의 영역을 각각 매칭하고, 상기 매칭된 K개의 b-채널 입력영상의 영역 및 b-채널 참조영상의 영역 각각의 색상매핑함수인 K개의 b-채널 색상매핑함수를 산출하고, 상기 K개의 b-채널 색상매핑함수를 이용하여 b-채널 출력영상을 생성하는 단계; 및 상기 L-채널 출력영상, 상기 a-채널 출력영상 및 상기 b-채널 출력영상을 병합하여 출력영상을 산출하는 단계;를 포함하는 것을 특징으로 하는 색 전달 방법이 제공된다.According to another embodiment of the present invention, an input image in a Lab color space is divided into an L-channel input image, an a-channel input image and a b-channel input image, and a reference image in a Lab color space is divided An L-channel reference image, an a-channel reference image, and a b-channel reference image; Generating an L-channel output image using the L-channel input image and the L-channel reference image; Dividing each of the a-channel input image, the a-channel reference image, the b-channel input image, and the b-channel reference image into K regions; Channel input image and the K a-channel reference image, respectively, and performs color mapping of each of the K a-channel input image regions and the a-channel reference image region, Calculating K a-channel color mapping functions that are functions, and generating a-channel output images using the K a-channel color mapping functions; Channel input image and the K b-channel reference image, respectively, and performs color mapping of the areas of the matched K b-channel input image and b-channel reference image, Channel color mapping function, and generating a b-channel output image using the K b-channel color mapping functions; And outputting the output image by merging the L-channel output image, the a-channel output image, and the b-channel output image.
본 발명에 따른 색 전달 장치 및 방법은 색상 전달 성능을 높이고, 분할 영역 간 부자연스러운 결과를 해결할 수 있는 장점이 있다. The color transfer device and method according to the present invention have the advantage of enhancing color transfer performance and resolving unnatural results between divided areas.
도 1은 본 발명의 일 실시예에 따른 색 전달 장치의 개략적인 구성을 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 색 전달 방법의 개략적인 구성을 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따른 색 전달 장치 및 방법의 동작 개념을 설명하기 위한 도면이다.
도 4 및 도 5는 본 발명의 시뮬레이션 결과를 설명하기 위한 도면이다. FIG. 1 is a view showing a schematic configuration of a color transfer device according to an embodiment of the present invention.
2 is a diagram illustrating a schematic configuration of a color transmission method according to an embodiment of the present invention.
FIG. 3 is a view for explaining operational concepts of a color transfer apparatus and method according to an embodiment of the present invention.
Figs. 4 and 5 are diagrams for explaining simulation results of the present invention. Fig.
본 명세서에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "구성된다" 또는 "포함한다" 등의 용어는 명세서상에 기재된 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.As used herein, the singular forms "a", "an" and "the" include plural referents unless the context clearly dictates otherwise. In this specification, the terms "comprising ", or" comprising "and the like should not be construed as necessarily including the various elements or steps described in the specification, Or may be further comprised of additional components or steps. Also, the terms "part," " module, "and the like described in the specification mean units for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software .
이하, 본 발명의 다양한 실시예들을 첨부된 도면을 참조하여 상술한다.
Various embodiments of the present invention will now be described in detail with reference to the accompanying drawings.
도 1은 본 발명의 일 실시예에 따른 색 전달 장치의 개략적인 구성을 도시한 도면이다. FIG. 1 is a view showing a schematic configuration of a color transfer device according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 일 실시예에 따른 색 전달 장치(100)는 변환부(110), 채널 분할부(120), 제1 영상 생성부(130), 영역 분할부(140), 제2 영상 생성부(150), 제3 영상 생성부(160) 및 병합부(170)를 포함한다. Referring to FIG. 1, a
그리고, 도 2는 본 발명의 일 실시예에 따른 색 전달 방법의 개략적인 구성을 도시한 도면이고, 도 3은 본 발명의 일 실시예에 따른 색 전달 장치 및 방법의 동작 개념을 설명하기 위한 도면이다. FIG. 2 is a diagram illustrating a schematic configuration of a color transmission method according to an embodiment of the present invention. FIG. 3 is a view for explaining operation concepts of a color transmission apparatus and method according to an embodiment of the present invention. to be.
이하, 도 1 내지 도 3을 참조하여, 각 구성 요소 별 기능 및 각 단계 별로 수행되는 과정을 설명하기로 한다. Hereinafter, the function of each component and the process performed for each step will be described with reference to FIG. 1 to FIG.
먼저, 단계(202)에서, 변환부(110)는 입력영상을 Lab 색공간의 입력영상으로 변환한다. First, in
그리고, 단계(204)에서, 채널 분할부(120)는 Lab 색공간의 입력영상을 분할하여 L-채널 입력영상, a-채널 입력영상 및 b-채널 입력영상으로 분할한다. 또한, 단계(206)에서, 채널 분할부(120)는 Lab 색공간의 참조영상을 분할하여 L-채널 참조영상, a-채널 참조영상 및 b-채널 참조영상으로 분할한다. In
다음으로, 단계(208)에서, 제1 영상 생성부(130)는 L-채널 입력영상과 L-채널 참조영상을 이용하여 L-채널 출력영상을 생성한다. Next, in
본 발명의 일 실시예에 따르면, 제1 영상 생성부(130)는 L-채널 입력영상의 누적분포함수(CDFs) 및 L-채널 참조영상의 누적분포함수를 이용하여 L-채널 출력영상을 생성할 수 있다. 이에 대해 보다 상세하게 설명하면 다음과 같다.
According to an embodiment of the present invention, the
제1 영상 생성부(130)는 두개의 히스토그램 사이의 매핑 함수를 찾기 위한 히스토그램 명세화 방법(histogram specification method)를 사용한다. 또한, 제1 영상 생성부(130)는 영상의 공간 그라데이션 정보를 고려하기 위해 2차원 히스토그램(two-dimensional histogram)을 사용한다. 이 때, 입력영상의 2차원 히스토그램은 아래의 수학식 1과 같이 표현될 수 있다. The
여기서, hI(m,n)는 입력영상에 대한 2차원 히스토그램, m 및 n는 0~255 값을 가지는 정수 휘도 픽셀값, (p,q)는 영상 좌표, Ni ,j는 (i,j)를 중심으로 한 스쿼어 윈도우(square window) 내의 픽셀 세트(5x5 크기)를 각각 의미한다. 그리고, 입력영상의 2차원 히스토그램 hI(m,n)는 아래의 수학식 2와 같이 bin 값의 총 합(total summation of the bin values)에 의해 정규화될 수 있다. Here, h I (m, n) is a two-dimensional histogram, m and n are integers luminance pixel values with a 0 to 255 values for the input image, (p, q) is the image coordinates, N i, j is (i, (5x5 size) within a square window centered on a pixel (j). The two-dimensional histogram h I (m, n) of the input image can be normalized by a total summation of the bin values as shown in Equation (2) below.
여기서, hI *(m,n)는 정규화된 입력영상의 2차원 히스토그램을 의미한다.Here, h I * (m, n) denotes a two-dimensional histogram of the normalized input image.
또한, 제1 영상 생성부(130)는 참조영상에 대해서도 입력영상과 동일하게 절차를 수행하여 참조영상의 정규화된 2차원 히스토그램 hR *(m,n)를 산출할 수 있다. Also, the
그리고, 제1 영상 생성부(130)는 정규화된 입력영상의 2차원 히스토그램 hI *(m,n)를 이용하여 L-채널 입력영상의 누적분포함수(CDFs)를 산출하고, 정규화된 참조영상의 2차원 히스토그램 hR *(m,n)를 이용하여 L-채널 참조영상의 누적분포함수를 산출할 수 있다. 이는 아래의 수학식 3과 같이 표현될 수 있다. The
여기서, CI(m)는 L-채널 입력영상의 누적분포함수, CR(m)는 L-채널 참조영상의 누적분포함수, m는 0~255의 값을 가지는 픽셀값을 의미한다. Here, C I (m) is a cumulative distribution function of the L-channel input image, C R (m) is a cumulative distribution function of the L-channel reference image, and m is a pixel value having a value of 0 to 255.
그 후, 제1 영상 생성부(130)는 L-채널 입력영상의 누적분포함수 및 L-채널 참조영상의 누적분포함수를 이용하여 L-채널 출력영상을 생성할 수 있으며, 이는 아래의 수학식 4과 같이 표현될 수 있다. Then, the
여기서, l'(x, y)는 L-채널 출력영상, l(x,y)는 L-채널 입력영상을 각각 의미한다.Here, l '(x, y) denotes an L-channel output image, and l (x, y) denotes an L-channel input image.
정리하면, 제1 영상 생성부(130)는 아래의 수학식 5에 기초하여 L-채널 출력영상을 생성할 수 있다. In summary, the
여기서, hI는 L-채널 입력영상의 2차원 히스토그램, hR는 L-채널 참조영상의 2차원 히스토그램, h* I는 L-채널 입력영상의 2차원 히스토그램의 정규화값, h* R는 L-채널 참조영상의 2차원 히스토그램의 정규화값을 각각 의미한다.
Here, h I is the two-dimensional histogram of the input video channel L-, R h is a two-dimensional histogram of the L- channel reference image, I h * are normalized values of the two-dimensional histogram of the input video channel L-, R * h is L - the normalized value of the two-dimensional histogram of the channel reference image, respectively.
계속하여, 단계(210)에서, 영역 분할부(140)는 a-채널 입력영상, a-채널 참조영상, b-채널 입력영상 및 b-채널 참조영상 각각을 K개의 영역으로 분할한다. 일례로서, 영역 분할부(140)는 평균 이동 군집화(mean-shift clustering)를 이용하여 a-채널 입력영상, a-채널 참조영상, b-채널 입력영상 및 b-채널 참조영상 각각을 K개의 영역으로 분할할 수 있다. Subsequently, in
다음으로, 단계(212)에서, 제2 영상 생성부(150)는 K개의 a-채널 입력영상의 영역과 K개의 a-채널 참조영상의 영역을 각각 매칭한다. Next, in
본 발명의 일 실시예에 따르면, 제2 영상 생성부(150)는 분할된 영역에 포함된 픽셀 수의 다소(多少)에 기초하여 K개의 a-채널 입력영상의 영역과 K개의 a-채널 참조영상의 영역을 매칭한다. 즉, 픽셀 수에 기초하여 K개의 a-채널 입력영상의 영역 및 K개의 a-채널 참조영상의 영역을 올림차순 또는 내림차순으로 정렬하고, 정렬된 순서에 따라 분할된 a-채널 입력영상의 영역 및 분할된 a-채널 참조영상의 영역을 매칭할 수 있다. 일례로, 픽셀 수가 제일 많은 a-채널 입력영상의 영역과 픽셀 수가 제일 많은 a-채널 참조영상의 영역이 매칭될 수 있고, 픽셀 수가 제일 작은 a-채널 입력영상의 영역과 픽셀 수가 제일 작은 a-채널 참조영상의 영역이 매칭될 수 있다. According to an embodiment of the present invention, the second
그리고, 단계(214)에서, 제2 영상 생성부(150)는 매칭된 K개의 a-채널 입력영상의 영역 및 a-채널 참조영상의 영역 각각의 색상매핑함수인 K개의 a-채널 색상매핑함수(Color Mapping Function)를 산출한다. In
본 발명의 일 실시예에 따르면, K개의 a-채널 색상매핑함수 중 k번째 a-채널 색상매핑함수는 K개의 a-채널 입력영상의 영역 중 k번째 a-채널 입력영상의 영역의 a값의 평균(mean), k번째 a-채널 입력영상의 영역의 a값의 표준편차(standard deviations), K개의 a-채널 참조영상의 영역 중 k번째 a-채널 참조영상의 영역의 a값의 평균 및 k번째 a-채널 참조영상의 영역의 a값의 표준편차를 이용하여 산출될 수 있다. 보다 상세하게, k번째 a-채널 색상매핑함수는 아래의 수학식 6과 같이 표현될 수 있다.According to an embodiment of the present invention, the k-th a-channel color mapping function among the K a-channel color mapping functions is a function of the a-value of the k-th a- Average of the a values of the a-channel input image, the standard deviations of the a-values of the k-th a-channel input image, the average of the a values of the a-channel reference image of the k- can be calculated using the standard deviation of the a value of the region of the k-th a-channel reference image. More specifically, the k-th a-channel color mapping function can be expressed as Equation (6) below.
여기서, fk a(a)는 k번째 a-채널 색상매핑함수, μa I,k는 k번째 a-채널 입력영상의 영역의 a값의 평균, σa I,k는 k번째 a-채널 입력영상의 영역의 a값의 표준편차, μa R,k는 k번째 a-채널 참조영상의 영역의 a값의 평균, σa R,k는 k번째 a-채널 참조영상의 영역의 a값의 표준편차를 각각 의미한다. Here, f k a (a) is a k-th a-channel color mapping function, μ a I, k is a a is the standard deviation of the a value of the region of the k-th a-channel input image, σ a i, k is the standard deviation of the a-channel input image, μ a R, The mean of a values, σ a R, k, is the standard deviation of the a value of the region of the k-th a-channel reference image.
다음으로, 단계(216)에서, 제2 영상 생성부(150)는 K개의 a-채널 색상매핑함수를 이용하여 a-채널 출력영상을 생성한다. Next, in step 216, the
본 발명의 일 실시예에 따르면, 제2 영상 생성부(150)는 K개의 a-채널 색상매핑함수를 이용하여 K개의 a-채널의 색상매핑영상을 산출하고, 가중치를 이용한 K개의 a-채널의 색상매핑영상의 합산을 통해 a-채널 출력영상을 생성할 수 있다. 일례로서, a-채널 출력영상은 아래의 수학식 7과 같이 산출될 수 있다. According to an exemplary embodiment of the present invention, the
여기서, a'(x,y)는 픽셀(x,y)에서의 a-채널 출력영상, W* k(x,y)는 정규화된 가중치를 각각 의미한다. 그리고, ak(x,y)는 아래의 수학식 8과 같이 표현될 수 있다. Here, a '(x, y) denotes an a-channel output image at pixel (x, y), and W * k (x, y) denotes a normalized weight. Then, a k (x, y) can be expressed by Equation (8) below.
여기서, a(x,y)는 픽셀 (x,y)에서의 a-채널 입력영상을 의미한다. Here, a (x, y) denotes an a-channel input image at pixel (x, y).
이 때, 가중치는 픽셀 단위로 산출되되, K개의 a-채널 입력영상의 영역에서 가장 많이 사용된 색상값과 픽셀에 대한 a-채널 입력영상에서 색상값에 기초하여 산출될 수 있다. 일례로서, 가중치는 아래의 수학식 9과 같이 표현될 수 있으며, 정규화된 가중치는 아래의 수학식 10과 같이 표현될 수 있다.In this case, the weights are calculated in units of pixels, and can be calculated based on the color values most commonly used in the K a-channel input image regions and the a-channel input images for the pixels. As an example, the weight can be expressed as Equation (9) below, and the normalized weight can be expressed as Equation (10) below.
여기서, Wk(x,y)는 k개의 a-채널 입력영상의 영역 내의 픽셀 (x,y)의 가중치, W* k(x,y)는 Wk(x,y)의 정규화값, Rk는 분할된 K개의 영역 중 k번째 영역의 a-채널 입력영상에서 가장 많이 사용된 색상값, Rinput(x,y)는 픽셀(x,y)에 대한 a-채널 입력영상, || ||2는 유클리드 노름(Euclidean norm)(각 요소를 제곱한 값을 합하고 루트를 취한 값)을 각각 의미한다.Where W k (x, y) is a weight of pixels (x, y) in the area of k a-channel input images, W * k (x, y) is a normalized value of W k k is the most commonly used color value in the a-channel input image of the kth region among the K regions, R input (x, y) is the a-channel input image for the pixel (x, y) || 2 denotes the Euclidean norm (the value obtained by adding the squared values of the respective elements and taking the root).
정리하면, 제2 영상 생성부(150)는 상기의 수학식 6 내지 10에 기초하여 a-채널 출력영상을 생성할 수 있다.In summary, the second
계속하여, 단계(218)에서, 제3 영상 생성부(160)는 K개의 b-채널 입력영상의 영역과 K개의 b-채널 참조영상의 영역을 각각 매칭한다. Subsequently, in
본 발명의 일 실시예에 따르면, 제3 영상 생성부(160) 역시 분할된 영역에 포함된 픽셀 수의 다소에 기초하여 K개의 b-채널 입력영상의 영역과 K개의 b-채널 참조영상의 영역을 매칭한다. 즉, 픽셀 수에 기초하여 K개의 b-채널 입력영상의 영역 및 K개의 b-채널 참조영상의 영역을 올림차순 또는 내림차순으로 정렬하고, 정렬된 순서에 따라 분할된 b-채널 입력영상의 영역 및 분할된 b-채널 참조영상의 영역을 매칭할 수 있다. According to an exemplary embodiment of the present invention, the
그리고, 단계(220)에서, 제3 영상 생성부(160)는 매칭된 K개의 b-채널 입력영상의 영역 및 b-채널 참조영상의 영역 각각의 색상매핑함수인 K개의 b-채널 색상매핑함수를 산출한다.In
본 발명의 일 실시예에 따르면, K개의 b-채널 색상매핑함수 중 k번째 b-채널 색상매핑함수는, K개의 b-채널 입력영상의 영역 중 k번째 b-채널 입력영상의 영역의 b값의 평균, k번째 b-채널 입력영상의 영역의 b값의 표준편차, K개의 b-채널 참조영상의 영역 중 k번째 b-채널 참조영상의 영역의 b값의 평균 및 k번째 b-채널 참조영상의 영역의 b값의 표준편차를 이용하여 산출될 수 있다. 보다 상세하게, k번째 b-채널 색상매핑함수는 아래의 수학식 11과 같이 표현될 수 있다..According to an embodiment of the present invention, the k-th b-channel color mapping function among the K b-channel color mapping functions includes a b-channel color mapping function of the k b- Channel reference image, the average of the b-values of the region of the k-th b-channel reference image and the k-th b-channel reference image of the K b- Can be calculated using the standard deviation of the b value of the region of the image. More specifically, the k-th b-channel color mapping function can be expressed as Equation (11) below.
여기서, fk b(b)는 k번째 k번째 b-채널 색상매핑함수, μb I,k는 k번째 b-채널 입력영상의 영역의 b값의 평균, σb I,k는 k번째 b-채널 입력영상의 영역의 b값의 표준편차, μb R,k는 k번째 b-채널 참조영상의 영역의 b값의 평균, σb R,k는 k번째 b-채널 참조영상의 영역의 b값의 표준편차를 각각 의미한다. Here, k b f (b) is the k-th k-th channel b- color mapping function, μ I b, k is the k-th region of the b- channel input video b is the mean of the b-values, σ b I, k is the standard deviation of the b-values of the region of the k-th b-channel input image, μ b R, The mean of the b-values, σ b R, k, is the standard deviation of the b-values of the region of the k-th b-channel reference image.
다음으로, 단계(222)에서, 제3 영상 생성부(160)는 K개의 b-채널 색상매핑함수를 이용하여 b-채널 출력영상을 생성한다. Next, in
본 발명의 일 실시예에 따르면, 제3 영상 생성부(160)는 K개의 b-채널 색상매핑함수를 이용하여 K개의 b-채널의 색상매핑영상을 산출하고, 가중치를 이용한 K개의 b-채널의 색상매핑영상의 합산을 통해 b-채널 출력영상을 생성할 수 있다. 일례로서, b-채널 출력영상은 아래의 수학식 12과 같이 산출될 수 있다. According to an exemplary embodiment of the present invention, the
여기서, b'(x,y)는 픽셀(x,y)에서의 b-채널 출력영상, W* k(x,y)는 정규화된 가중치를 각각 의미한다. 그리고, bk(x,y)는 아래의 수학식 13과 같이 표현될 수 있다. Here, b '(x, y) denotes a b-channel output image at pixel (x, y), and W * k (x, y) denotes a normalized weight. Then, b k (x, y) can be expressed by the following equation (13).
여기서, b(x,y)는 픽셀 (x,y)에서의 b-채널 입력영상을 의미한다. Here, b (x, y) denotes a b-channel input image at pixel (x, y).
이 때, 가중치는 픽셀 단위로 산출되되, K개의 b-채널 입력영상의 영역에서 가장 많이 사용된 색상값과 픽셀에 대한 b-채널 입력영상에서 색상값에 기초하여 산출될 수 있다. 일례로서, 가중치는 상기의 수학식 9과 같이 표현될 수 있으며, 정규화된 가중치는 상기의 수학식 10과 같이 표현될 수 있는데, 상기의 수학식에서, Rk는 분할된 K개의 영역 중 k번째 영역의 b-채널 입력영상에서 가장 많이 사용된 색상값, Rinput(x,y)는 픽셀(x,y)에 대한 b-채널 입력영상을 각각 의미한다. In this case, the weights are calculated in units of pixels, and can be calculated based on the color values most frequently used in the regions of the K b-channel input images and the b-channel input images of the pixels. As an example, the weight can be expressed as Equation (9), and the normalized weight can be expressed as Equation (10), where R k is the kth region R input (x, y) represents a b-channel input image for a pixel (x, y), respectively.
정리하면, 제3 영상 생성부(160)는 상기의 수학식 6, 7 11 내지 13에 기초하여 b-채널 출력영상을 생성할 수 있다.In summary, the third
마지막으로, 단계(224)에서, 병합부(170)는 L-채널 출력영상, a-채널 출력영상 및 b-채널 출력영상을 병합하여 출력영상을 산출한다. Finally, in step 224, the merging
요컨대, 본 발명에 따른 색 전달 장치(100) 및 방법은 영상 퓨전을 사용하며, 일대일 매칭을 통해 독립적인 색상 전달이 아닌 전체 사상 함수에 대한 색상 전달을 수행하고 이를 가중합한다. 이를 통해, 추가적인 경계 처리 없이도 지역적 색상 전달 기술의 문제점 즉, 각 영역간 경계에서 발생하는 부자연스러운 결과가 발생하지 않고, 영상 분할 성능에 강인한 장점이 있다. In other words, the
이하, 도 4 및 도 5를 참조하여 본 발명의 시뮬레이션 결과를 설명하기로 한다. Hereinafter, simulation results of the present invention will be described with reference to FIGS. 4 and 5. FIG.
먼저, 도 4은 본 발명의 시뮬레이션 결과의 제1 실시예를 도시한 도면이다. First, FIG. 4 is a diagram showing a first embodiment of a simulation result of the present invention.
보다 상세하게, 도 4의 (a)는 입력영상이고, 도 4의 (b)는 참조영상이고, 도 4의 (c)는 종래의 Reinhard가 제안한 방법에 따른 출력영상이고, 도 4의 (d)는 종래의 Rouli가 제안한 방법에 따른 출력영상이고, 도 4의 (e)는 종래의 He가 제안한 방법에 따른 출력영상이고, 도 4의 (f)는 본 발명에 따른 출력영상이다.4 (a) is an input image, Fig. 4 (b) is a reference image, Fig. 4 (c) is an output image according to a conventional Reinhard method, 4 (e) is an output image according to the method proposed by the conventional He, and FIG. 4 (f) is an output image according to the present invention.
이 때, 도 4의 (c) 및 (e)를 참조하면, 땅 영역이 녹색으로 변화하지 않았고, 특히 도 4의 (c)의 경우 하늘 영역에서 과포화(oversaturation) 현상이 발생한다. 그러나, 본 발명에 따른 출력영상인 도 4의 (f)의 경우, 참조영상의 휘도 및 색상이 입력영상으로 효과적으로 전달되는 것을 확인할 수 있다. In this case, referring to FIGS. 4C and 4E, the ground area does not change to green, and in particular, in FIG. 4C, oversaturation occurs in the sky area. However, in the case of FIG. 4F, which is an output image according to the present invention, it can be confirmed that the brightness and color of the reference image are effectively transferred to the input image.
다음으로, 도 5는 본 발명의 시뮬레이션 결과의 제2 실시예를 도시한 도면이다. Next, Fig. 5 is a diagram showing a second embodiment of the simulation result of the present invention.
보다 상세하게, 도 5의 (a)는 입력영상이고, 도 5의 (b)는 참조영상이고, 도 5의 (c)는 종래의 Reinhard가 제안한 방법에 따른 출력영상이고, 도 5의 (d)는 종래의 Rouli가 제안한 방법에 따른 출력영상이고, 도 5의 (e)는 종래의 He가 제안한 방법에 따른 출력영상이고, 도 5의 (f)는 본 발명에 따른 출력영상이다.5 (a) is an input image, Fig. 5 (b) is a reference image, Fig. 5 (c) is an output image according to a conventional Reinhard method, 5 (e) is an output image according to a method proposed by the conventional He, and FIG. 5 (f) is an output image according to the present invention.
이 때, 도 5의 (c)의 경우 휘도 분포(luminance distribution)를 효과적으로 전달하지 못한다. 그리고, 도 5의 (d) 및 (e)의 경우 색상 분포(color distribution)를 효과적을 전달하지 못한다. 그러나, 본 발명에 따른 출력영상인 도 5의 (f)의 경우, 참조영상의 휘도 및 색상이 입력영상으로 효과적으로 전달되는 것을 확인할 수 있다.
In this case, in FIG. 5 (c), the luminance distribution can not be effectively transmitted. 5 (d) and 5 (e), the color distribution can not be effectively conveyed. However, in the case of FIG. 5F, which is an output image according to the present invention, it can be confirmed that the luminance and color of the reference image are effectively transferred to the input image.
또한 앞서 기술적 내용들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체에 기록되는 프로그램 명령은 실시예들을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 하드웨어 장치는 실시예들의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.Also, the technical contents may be recorded in a computer readable medium in the form of a program command which can be executed through various computer means. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. Program instructions to be recorded on the medium may be those specially designed and constructed for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다. As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and limited embodiments and drawings. However, it should be understood that the present invention is not limited to the above- Various modifications and variations may be made thereto by those skilled in the art to which the present invention pertains. Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .
Claims (10)
상기 L-채널 입력영상과 상기 L-채널 참조영상을 이용하여 L-채널 출력영상을 생성하는 제1 영상 생성부; 상기 a-채널 입력영상, 상기 a-채널 참조영상, 상기 b-채널 입력영상, 및 상기 b-채널 참조영상 각각을 K개의 영역으로 분할하는 영역 분할부;
상기 K개의 a-채널 입력영상의 영역과 상기 K개의 a-채널 참조영상의 영역을 각각 매칭하고, 상기 매칭된 K개의 a-채널 입력영상의 영역 및 a-채널 참조영상의 영역 각각의 색상매핑함수인 K개의 a-채널 색상매핑함수를 산출하고, 상기 K개의 a-채널 색상매핑함수를 이용하여 a-채널 출력영상을 생성하는 제2 영상 생성부;
상기 K개의 b-채널 입력영상의 영역과 상기 K개의 b-채널 참조영상의 영역을 각각 매칭하고, 상기 매칭된 K개의 b-채널 입력영상의 영역 및 b-채널 참조영상의 영역 각각의 색상매핑함수인 K개의 b-채널 색상매핑함수를 산출하고, 상기 K개의 b-채널 색상매핑함수를 이용하여 b-채널 출력영상을 생성하는 제3 영상 생성부; 및
상기 L-채널 출력영상, 상기 a-채널 출력영상 및 상기 b-채널 출력영상을 병합하여 출력영상을 산출하는 병합부;를 포함하는 것을 특징으로 하는 색 전달 장치.Channel input image, an a-channel input image, and a b-channel input image, and divides the reference image of the Lab color space into L-channel reference images and a-channel reference images And a b-channel reference image;
A first image generator for generating an L-channel output image using the L-channel input image and the L-channel reference image; An area dividing unit dividing each of the a-channel input image, the a-channel reference image, the b-channel input image, and the b-channel reference image into K regions;
Channel input image and the K a-channel reference image, respectively, and performs color mapping of each of the K a-channel input image regions and the a-channel reference image region, A second image generator for generating K a-channel color mapping functions and generating an a-channel output image using the K a-channel color mapping functions;
Channel input image and the K b-channel reference image, respectively, and performs color mapping of the areas of the matched K b-channel input image and b-channel reference image, A third image generator for generating K b-channel color mapping functions and generating a b-channel output image using the K b-channel color mapping functions; And
And a merging unit for merging the L-channel output image, the a-channel output image, and the b-channel output image to calculate an output image.
상기 제1 영상 생성부는 상기 L-채널 입력영상의 누적분포함수(CDFs) 및 상기 L-채널 참조영상의 누적분포함수를 이용하여 L-채널 출력영상을 생성하는 것을 특징으로 하는 색 전달 장치.The method according to claim 1,
Wherein the first image generator generates an L-channel output image using cumulative distribution functions (CDFs) of the L-channel input image and cumulative distribution functions of the L-channel reference image.
상기 제1 영상 생성부는 아래의 수학식을 이용하여 L-채널 출력영상을 생성하는 것을 특징으로 하는 색 전달 장치.
여기서, l'(x, y)는 상기 L-채널 출력영상, l(x,y)는 상기 L-채널 입력영상, CI는 상기 L-채널 입력영상의 누적분포함수, CR는 상기 L-채널 참조영상의 누적분포함수, hI는 L-채널 입력영상의 2차원 히스토그램, hR는 L-채널 참조영상의 2차원 히스토그램, h* I는 L-채널 입력영상의 2차원 히스토그램의 정규화값, h* R는 L-채널 참조영상의 2차원 히스토그램의 정규화값을 각각 의미함.3. The method of claim 2,
Wherein the first image generator generates an L-channel output image using the following equation.
Here, l '(x, y) is the channel output image L-, l (x, y) is the L- channel input image, I C is the cumulative distribution function, C R of the input image is the L channel L- H I is the 2D histogram of the L-channel input image, h R is the 2D histogram of the L-channel reference image, h * I is the normalization of the 2D histogram of the L-channel input image, And h * R are the normalized values of the two-dimensional histogram of the L-channel reference image, respectively.
상기 제2 영상 생성부는 상기 분할된 영상에 포함된 픽셀 수의 다소(多少)에 기초하여 상기 K개의 a-채널 입력영상의 영역과 상기 K개의 a-채널 참조영상의 영역을 매칭하고,
상기 제3 영상 생성부는 상기 분할된 영역에 포함된 픽셀 수의 다소에 기초하여 상기 K개의 b-채널 입력영상의 영역과 상기 K개의 b-채널 참조영상의 영역을 매칭하는 것을 특징으로 하는 색 전달 장치.The method according to claim 1,
Wherein the second image generator matches an area of the K a-channel input image and an area of the K a-channel reference image based on a somewhat smaller number of pixels included in the divided image,
Wherein the third image generator matches an area of the K b-channel input image and an area of the K b-channel reference image based on a number of pixels included in the divided area. Device.
상기 K개의 a-채널 색상매핑함수 중 k번째 a-채널 색상매핑함수는 상기 K개의 a-채널 입력영상의 영역 중 k번째 a-채널 입력영상의 영역의 a값의 평균, 상기 k번째 a-채널 입력영상의 영역의 a값의 표준편차, 상기 K개의 a-채널 참조영상의 영역 중 k번째 a-채널 참조영상의 영역의 a값의 평균 및 상기 k번째 a-채널 참조영상의 영역의 a값의 표준편차를 이용하여 산출되고,
상기 K개의 b-채널 색상매핑함수 중 k번째 b-채널 색상매핑함수는, 상기 K개의 b-채널 입력영상의 영역 중 k번째 b-채널 입력영상의 영역의 b값의 평균, 상기 k번째 b-채널 입력영상의 영역의 b값의 표준편차, 상기 K개의 b-채널 참조영상의 영역 중 k번째 b-채널 참조영상의 영역의 b값의 평균 및 상기 k번째 b-채널 참조영상의 영역의 b값의 표준편차를 이용하여 산출되는 것을 특징으로 하는 색 전달 장치.The method according to claim 1,
The k-th a-channel color mapping function among the K a-channel color mapping functions may include an average of a values of a region of the k-th a-channel input image among the regions of the K a-channel input images, Channel reference image, a standard deviation of a value of a region of a channel input image, an average of a values of a region of a k-th a-channel reference image among the K a-channel reference images, and a Is calculated using the standard deviation of the values,
The k-th b-channel color mapping function among the K b-channel color mapping functions may include an average of b values of a region of the k-th b-channel input image among the K b-channel input images, - the standard deviation of the b value of the region of the channel input image, the average of the b values of the region of the kth b-channel reference image of the K b-channel reference images, b value of the color difference value.
상기 k번째 a-채널 색상매핑함수 및 상기 k번째 b-채널 색상매핑함수는 아래의 수학식과 같이 표현되는 것을 특징으로 하는 색 전달 장치.
여기서, fk a(a)는 상기 k번째 a-채널 색상매핑함수, fk b(b)는 상기 k번째 b-채널 색상매핑함수, μa I,k는 상기 k번째 a-채널 입력영상의 영역의 a값의 평균, σa I,k는 상기 k번째 a-채널 입력영상의 영역의 a값의 표준편차, μb I,k는 상기 k번째 b-채널 입력영상의 영역의 b값의 평균, σb I,k는 상기 k번째 b-채널 입력영상의 영역의 b값의 표준편차, μa R,k는 상기 k번째 a-채널 참조영상의 영역의 a값의 평균, σa R,k는 상기 k번째 a-채널 참조영상의 영역의 a값의 표준편차, μb R,k는 상기 k번째 b-채널 참조영상의 영역의 b값의 평균, σb R,k는 상기 k번째 b-채널 참조영상의 영역의 b값의 표준편차를 각각 의미함.6. The method of claim 5,
Wherein the k-th a-channel color mapping function and the k-th b-channel color mapping function are expressed by the following equations.
The kth a -channel color mapping function, f k b (b) is the k-th b-channel color mapping function, and μ a I, Of the region of a value of a, a a , k is a standard deviation of a value of a region of the k-th a-channel input image, μ b I, k is a standard deviation of a value of a region of the k- average value of b, b σ I, k is the k-th b- standard deviation of the b value of the area of the input image channel, μ a R, k is the k-th region of the a- channel reference image a value of a, a a R, k is a standard deviation of a value of a region of the k-th a-channel reference image, and b R, k is a standard deviation of a value of a region of the k- b b R, k mean the standard deviation of the b value of the region of the k-th b-channel reference image, respectively.
상기 제2 영상 생성부는 상기 K개의 a-채널 색상매핑함수를 이용하여 K개의 a-채널의 색상매핑영상을 산출하고, 가중치를 이용한 상기 K개의 a-채널의 색상매핑영상의 합산을 통해 상기 a-채널 출력영상을 생성하고,
상기 제3 영상 생성부는 상기 K개의 b-채널 색상매핑함수를 이용하여 K개의 b-채널의 색상매핑영상을 산출하고, 상기 가중치를 이용한 상기 K개의 b-채널의 색상매핑영상의 합산을 통해 상기 b-채널 출력영상을 생성하는 것을 특징으로 하는 색 전달 장치.The method according to claim 1,
The second image generator may calculate K a-channel color-mapped images using the K a-channel color mapping functions and sum up the K a-channel color-mapped images using the weights, - generate a channel output image,
Wherein the third image generator calculates K b-channel color-mapped images using the K b-channel color mapping functions, and outputs the color-mapped images of the K b- b-channel output image.
상기 가중치는 픽셀 단위로 산출되되, 상기 분할된 K개의 a-채널 입력영상의 영역 및 b-채널 입력영상의 영역에서 가장 많이 사용된 색상값과, 픽셀에 대한 a-채널 입력영상 및 b-채널 입력영상에서 색상값에 기초하여 산출되는 것을 특징으로 하는 색 전달 장치.8. The method of claim 7,
The weight value is calculated in units of pixels. The weight value is calculated in units of K, a-channel input image region and b-channel input image region, the a-channel input image and b- Wherein the color information is calculated based on a color value in an input image.
상기 a-채널 출력영상 및 상기 b-채널 출력영상은 아래의 수학식과 같이 표현되는 것을 특징으로 하는 색 전달 장치.
여기서, a'(x,y)는 픽셀(x,y)에서의 a-채널 출력영상, b'(x,y)는 픽셀 (x,y)에서의 b-채널 출력영상, a(x,y)는 픽셀 (x,y)에서의 a-채널 입력영상, b(x,y)는 픽셀 (x,y)에서의 b-채널 입력영상, fk a(a)는 k번째 a-채널 색상매핑함수, fk b(b)는 k번째 k번째 b-채널 색상매핑함수, μa I,k는 상기 K개의 a-채널 입력영상의 영역 중 k번째 a-채널 입력영상의 영역의 a값의 평균, σa I,k는 k번째 a-채널 입력영상의 영역의 a값의 표준편차, μb I,k는 상기 K개의 b-채널 입력영상의 영역 중 k번째 b-채널 입력영상의 영역의 b값의 평균, σb I,k는 k번째 b-채널 입력영상의 영역의 b값의 표준편차, μa R,k는 상기 K개의 a-채널 참조영상의 영역 중 k번째 a-채널 참조영상의 영역의 a값의 평균, σa R,k는 k번째 a-채널 참조영상의 영역의 a값의 표준편차, μb R,k는 상기 K개의 b-채널 참조영상의 영역 중 k번째 b-채널 참조영상의 영역의 b값의 평균, σb R,k는 k번째 b-채널 참조영상의 영역의 b값의 표준편차, Wk(x,y)는 픽셀 (x,y)의 가중치, W* k(x,y)는 Wk(x,y)의 정규화 값, Rk는 상기 분할된 K개의 영역 중 k번째 영역의 a-채널 입력영상 및 b-채널 입력영상에서 가장 많이 사용된 색상값, Rinput(x,y)는 픽셀(x,y)에 대한 a-채널 입력영상 및 b-채널 입력영상에서 색상값, || ||2는 유클리드 노름(Euclidean norm)를 각각 의미함. 9. The method of claim 8,
Wherein the a-channel output image and the b-channel output image are expressed by the following equations.
(X, y) is the a-channel output image at the pixel (x, y), b '(x, y) y) is the pixel (x, y) a- channel input image, b (x, y in) is the pixel (x, y) b- channel input image, f k a (a) in the k-th channel a- The color mapping function f k b (b) is a k-th k-th b-channel color mapping function, μ a I, k is a function of a k-th a- a value of a, a a , k is a standard deviation of a value of a region of the k-th a-channel input image, and μ b I, k is a k-th b-channel input of the K b- The area of the image average value of b, b σ I, k is a k b value of the standard deviation of the area of the second channel input video b-, μ a R, k is the k-th reference a- channel of the area of the reference image channel K of a- The area of the image a value of a, a a R, k is a standard deviation of a value of a region of the k-th a-channel reference image, b b R, k is a k-th b- The area of the image the average value b, σ b R, b k is the standard deviation of the value of the k-th region of the b- channel reference image, W k (x, y) is the weight, W of the pixel (x, y) * k ( x, y) is the normalized value of W k (x, y), R k is the most commonly used color value in the a-channel input image and b-channel input image of the k th region, R input x, y) is a color value in the a-channel input image and the b-channel input image for pixel (x, y), || || 2 refers to the Euclidean norm.
상기 L-채널 입력영상과 상기 L-채널 참조영상을 이용하여 L-채널 출력영상을 생성하는 단계; 상기 a-채널 입력영상, 상기 a-채널 참조영상, 상기 b-채널 입력영상, 및 상기 b-채널 참조영상 각각을 K개의 영역으로 분할하는 단계;
상기 K개의 a-채널 입력영상의 영역과 상기 K개의 a-채널 참조영상의 영역을 각각 매칭하고, 상기 매칭된 K개의 a-채널 입력영상의 영역 및 a-채널 참조영상의 영역 각각의 색상매핑함수인 K개의 a-채널 색상매핑함수를 산출하고, 상기 K개의 a-채널 색상매핑함수를 이용하여 a-채널 출력영상을 생성하는 단계;
상기 K개의 b-채널 입력영상의 영역과 상기 K개의 b-채널 참조영상의 영역을 각각 매칭하고, 상기 매칭된 K개의 b-채널 입력영상의 영역 및 b-채널 참조영상의 영역 각각의 색상매핑함수인 K개의 b-채널 색상매핑함수를 산출하고, 상기 K개의 b-채널 색상매핑함수를 이용하여 b-채널 출력영상을 생성하는 단계; 및
상기 L-채널 출력영상, 상기 a-채널 출력영상 및 상기 b-채널 출력영상을 병합하여 출력영상을 산출하는 단계;를 포함하는 것을 특징으로 하는 색 전달 방법.Channel input image, an a-channel input image, and a b-channel input image, and divides the reference image of the Lab color space into L-channel reference images and a-channel reference images And b-channel reference images;
Generating an L-channel output image using the L-channel input image and the L-channel reference image; Dividing each of the a-channel input image, the a-channel reference image, the b-channel input image, and the b-channel reference image into K regions;
Channel input image and the K a-channel reference image, respectively, and performs color mapping of each of the K a-channel input image regions and the a-channel reference image region, Calculating K a-channel color mapping functions that are functions, and generating a-channel output images using the K a-channel color mapping functions;
Channel input image and the K b-channel reference image, respectively, and performs color mapping of the areas of the matched K b-channel input image and b-channel reference image, Channel color mapping function, and generating a b-channel output image using the K b-channel color mapping functions; And
And outputting the output image by merging the L-channel output image, the a-channel output image, and the b-channel output image.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160018402A KR101733345B1 (en) | 2016-02-17 | 2016-02-17 | color transfer apparatus and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020160018402A KR101733345B1 (en) | 2016-02-17 | 2016-02-17 | color transfer apparatus and method |
Publications (1)
Publication Number | Publication Date |
---|---|
KR101733345B1 true KR101733345B1 (en) | 2017-05-25 |
Family
ID=59050922
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020160018402A KR101733345B1 (en) | 2016-02-17 | 2016-02-17 | color transfer apparatus and method |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101733345B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111968150A (en) * | 2020-08-19 | 2020-11-20 | 中国科学技术大学 | Weak surveillance video target segmentation method based on full convolution neural network |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011180984A (en) | 2010-03-03 | 2011-09-15 | Ricoh Co Ltd | Image processing device, image processing method, program and recording medium |
WO2012017946A1 (en) | 2010-08-04 | 2012-02-09 | 日本電気株式会社 | Image processing method, image processing device and image processing program |
-
2016
- 2016-02-17 KR KR1020160018402A patent/KR101733345B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011180984A (en) | 2010-03-03 | 2011-09-15 | Ricoh Co Ltd | Image processing device, image processing method, program and recording medium |
WO2012017946A1 (en) | 2010-08-04 | 2012-02-09 | 日本電気株式会社 | Image processing method, image processing device and image processing program |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111968150A (en) * | 2020-08-19 | 2020-11-20 | 中国科学技术大学 | Weak surveillance video target segmentation method based on full convolution neural network |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11182917B2 (en) | Stereo camera depth determination using hardware accelerator | |
US11501507B2 (en) | Motion compensation of geometry information | |
EP2731075B1 (en) | Backfilling points in a point cloud | |
US10542249B2 (en) | Stereoscopic video generation method based on 3D convolution neural network | |
US8724885B2 (en) | Integrated image processor | |
TWI406180B (en) | Systems and methods for generating high compression image data files having multiple foreground planes | |
US8718356B2 (en) | Method and apparatus for 2D to 3D conversion using scene classification and face detection | |
KR102350232B1 (en) | Method and apparatus for matching stereo images | |
JP2016505186A (en) | Image processor with edge preservation and noise suppression functions | |
US9628751B2 (en) | Method, device, and system for pre-processing a video stream for subsequent motion detection processing | |
US11270415B2 (en) | Image inpainting with geometric and photometric transformations | |
KR20080047673A (en) | Apparatus for transforming 3d image and the method therefor | |
Sadiq et al. | Edge detection: A collection of pixel based approach for colored images | |
JP7463186B2 (en) | Information processing device, information processing method, and program | |
KR101733345B1 (en) | color transfer apparatus and method | |
TWI536280B (en) | Text localization system for street view image and device thereof | |
KR101592087B1 (en) | Method for generating saliency map based background location and medium for recording the same | |
US9129406B2 (en) | Image processing method | |
CN105046696A (en) | Image matching method based on deep planar constraint graph cut optimization | |
CN112465715B (en) | Image scattering removal method based on iterative optimization of atmospheric transmission matrix | |
WO2022149127A1 (en) | Method of training a neural network configured for converting 2d images into 3d models | |
CN110688999B (en) | Mach-band effect simulated point light source metal steel seal character detection method | |
KR101956203B1 (en) | Method for Image Information Recognition Using Saliency Map and Saliency Cut | |
WO2019211429A1 (en) | A method and an apparatus for reducing an amount of data representative of a multi-view plus depth content | |
Tigora et al. | Image Color Reduction Using Iterative Refinement |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20200309 Year of fee payment: 4 |