KR102097189B1 - Pallet-based Image Recoloring Method and Apparatus - Google Patents
Pallet-based Image Recoloring Method and Apparatus Download PDFInfo
- Publication number
- KR102097189B1 KR102097189B1 KR1020170118644A KR20170118644A KR102097189B1 KR 102097189 B1 KR102097189 B1 KR 102097189B1 KR 1020170118644 A KR1020170118644 A KR 1020170118644A KR 20170118644 A KR20170118644 A KR 20170118644A KR 102097189 B1 KR102097189 B1 KR 102097189B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- colors
- palette
- input image
- coloring
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 239000003086 colorant Substances 0.000 claims abstract description 66
- 238000004040 coloring Methods 0.000 claims abstract description 41
- 230000011218 segmentation Effects 0.000 claims description 9
- 238000003709 image segmentation Methods 0.000 claims description 5
- 238000012937 correction Methods 0.000 abstract description 3
- 230000000875 corresponding effect Effects 0.000 description 10
- 238000006243 chemical reaction Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000012545 processing Methods 0.000 description 5
- 238000003064 k means clustering Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000008569 process Effects 0.000 description 2
- 238000004590 computer program Methods 0.000 description 1
- 230000002596 correlated effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000001629 suppression Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T11/00—2D [Two Dimensional] image generation
- G06T11/001—Texturing; Colouring; Generation of texture or colour
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/40—Image enhancement or restoration using histogram techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/90—Determination of colour characteristics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
팔레트 기반 영상 재채색 방법 및 장치가 제공된다. 본 발명의 실시예에 따른 영상 재채색 방법은, 입력 영상에서 재채색 영역들을 결정하고, 참조 영상에서 컬러들을 추출하여 참조 팔레트를 생성하며, 참조 팔레트를 이용하여 입력 영상의 재채색 영역들을 재채색한다. 이에 의해, 숙련도가 낮은 비전문가는 물론 컬러 보정 전문가의 경우도, 보다 간편하고 신속하게 직관적으로 영상을 재채색할 수 있게 된다.A method and apparatus for re-coloring a palette-based image are provided. In the image re-coloring method according to an embodiment of the present invention, re-coloring regions are determined from an input image, colors are extracted from a reference image to generate a reference palette, and re-coloring regions of the input image are re-colored using the reference palette do. As a result, it is possible to recolor the image more easily and quickly and intuitively in the case of a color correction expert as well as a non-expert with low skill level.
Description
본 발명은 영상 처리 기술에 관한 것으로, 더욱 상세하게는 입력 영상(사진, 그림, 카툰 등)의 전부 또는 일부를 다른 컬러로 재채색하기 위한 방법 및 장치에 관한 것이다.The present invention relates to an image processing technology, and more particularly, to a method and apparatus for recoloring all or part of an input image (photo, picture, cartoon, etc.) in a different color.
기존의 컬러 변환 기술은 사용자가 직접 영상의 채도, 명암, 대비 등의 값을 직접 입력하여 수정하거나, 영상의 히스토그램을 계산하여 히스토그램을 직접 수정하는 절차로 수행된다.The existing color conversion technology is performed by a user directly inputting values such as saturation, contrast, and contrast of an image, or calculating a histogram of the image to directly modify the histogram.
구체적으로는, 사용자가 툴을 실행하여, 영상에서 수정하고자 하는 영역을 지정하고, 변경하고자 하는 색상을 선택하면, 지정한 영역이 선택한 색상으로 변경하게 된다.Specifically, when a user executes a tool, designates an area to be modified in an image, and selects a color to be changed, the designated area is changed to a selected color.
이러한 종래 기술의 문제점은 채도, 명암, 대비, 히스토그램(분포) 등이 사람이 직접적으로 느끼는 색상이 아니기 때문에 높은 숙련도가 요구되며, 그렇지 않은 경우에는 많은 시간이 필요하다는 것이다.The problem of the prior art is that saturation, contrast, contrast, and histogram (distribution) are not the colors directly felt by a person, so high proficiency is required, otherwise it takes a lot of time.
이에, 보다 간편하고 신속하게 영상을 만족스럽게 재채색하기 위한 방안의 모색이 요청된다.Accordingly, it is required to seek a method for recoloring the image satisfactorily and quickly.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 보다 간편하고 신속하게 영상을 직관적으로 만족스럽게 재채색할 수 있는 팔레트 기반 영상 재채색 방법 및 장치를 제공함에 있다.The present invention has been devised to solve the above problems, and an object of the present invention is to provide a palette-based image re-coloring method and apparatus that can recolor images in an intuitively satisfactory manner more quickly and easily.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 영상 재채색 방법은, 입력 영상에서 재채색 영역들을 결정하는 단계; 참조 영상에서 컬러들을 추출하여 참조 팔레트를 생성하는 단계; 및 참조 팔레트를 이용하여, 입력 영상의 재채색 영역들을 재채색하는 단계;를 포함한다.According to an embodiment of the present invention for achieving the above object, the image re-coloring method, determining the re-colored areas in the input image; Generating a reference palette by extracting colors from the reference image; And re-coloring the re-colored areas of the input image using the reference palette.
그리고, 참조 영상의 장면은, 입력 영상의 장면과 상이할 수 있다.In addition, the scene of the reference image may be different from the scene of the input image.
또한, 본 발명의 일 실시예에 따른 영상 재채색 방법은, 재채색 영역들의 컬러들로 입력 영상 팔레트를 구성하는 단계; 입력 영상 팔레트의 컬러들과 참조 팔레트의 컬러들을 대응시키는 단계;를 더 포함하고, 재채색 단계는, 컬러 대응 관계들에 따라, 재채색 영역들을 재채색할 수 있다.In addition, the image re-coloring method according to an embodiment of the present invention, comprising: constructing an input image palette with the colors of the re-colored areas; The method further includes matching the colors of the input image palette with the colors of the reference palette, and the re-coloring step may re-color the re-colored areas according to the color correspondence relationships.
그리고, 재채색 단계에서 이용하는 컬러 대응 관계들은, 대응 단계에서 생성된 대응 관계들 중 사용자에 의해 선택된 대응 관계들만을 포함할 수 있다.In addition, the color correspondence relations used in the re-coloring step may include only correspondences selected by the user among correspondence relations generated in the correspondence step.
또한, 본 발명의 일 실시예에 따른 영상 재채색 방법은, 사용자 입력에 따라, 참조 팔레트의 컬러들 중 일부를 수정하는 단계;를 더 포함할 수 있다.Also, the image re-coloring method according to an embodiment of the present invention may further include modifying some of the colors of the reference palette according to a user input.
그리고, 입력 영상 팔레트를 구성하는 컬러들은, 재채색 영역들의 컬러 히스토그램들에서 가장 빈도수가 많은 빈(bin)들일 수 있다.In addition, the colors constituting the input image palette may be bins having the highest frequency in color histograms of re-colored areas.
또한, 참조 팔레트를 구성하는 컬러들은, 영상 분할 기법으로 구분된 영역들의 컬러 히스토그램들에서 가장 빈도수가 많은 빈들일 수 있다.In addition, colors constituting the reference palette may be bins having the most frequency in color histograms of regions divided by an image segmentation technique.
그리고, 대응단계는, 입력 영상과 참조 영상 간의 특징이 대응되는 영역들이나 의미론적 분할 결과가 대응되는 영역들의 컬러들을 대응시킬 수 있다.In addition, in the corresponding step, colors of regions corresponding to characteristics between the input image and the reference image or regions corresponding to the semantic segmentation result may be matched.
또한, 본 발명의 일 실시예에 따른 영상 재채색 방법은, 수정된 참조 팔레트와 수정된 대응 관계의 가중치를 기초로, 입력 영상의 재채색 영역들을 재채색하는 단계;를 더 포함할 수 있다.Also, the image re-coloring method according to an embodiment of the present invention may further include re-coloring the re-coloring regions of the input image based on the weights of the modified reference palette and the modified corresponding relationship.
한편, 본 발명의 다른 실시예에 따른, 영상 재채색 장치는, 입력 영상과 참조 영상을 입력받는 입력부; 및 입력 영상에서 재채색 영역들을 결정하고, 참조 영상에서 컬러들을 추출하여 참조 팔레트를 생성하며, 참조 팔레트를 이용하여 입력 영상의 재채색 영역들을 재채색하는 프로세서;를 포함한다.On the other hand, according to another embodiment of the present invention, the image re-coloring apparatus, an input unit for receiving an input image and a reference image; And a processor for determining re-colored areas in the input image, extracting colors from the reference image to generate a reference palette, and re-coloring the re-colored areas of the input image using the reference palette.
한편, 본 발명의 다른 실시예에 따른, 영상 재채색 방법은, 참조 영상에서 컬러들을 추출하여 참조 팔레트를 생성하는 단계; 및 참조 팔레트를 이용하여, 입력 영상의 재채색 영역들을 재채색하는 단계;를 포함한다.Meanwhile, according to another embodiment of the present invention, an image recoloring method includes: extracting colors from a reference image to generate a reference palette; And re-coloring the re-colored areas of the input image using the reference palette.
한편, 본 발명의 다른 실시예에 따른, 영상 재채색 장치는, 참조 영상에서 컬러들을 추출하여 참조 팔레트를 생성하고, 참조 팔레트를 이용하여 입력 영상의 재채색 영역들을 재채색하는 프로세서; 및 재채색된 영상을 출력하는 출력부;를 포함한다.Meanwhile, according to another embodiment of the present invention, an image re-coloring apparatus includes: a processor that extracts colors from a reference image to generate a reference palette, and re-colors re-colored areas of an input image using the reference palette; And an output unit that outputs the re-colored image.
이상 설명한 바와 같이, 본 발명의 실시예들에 따르면, 숙련도가 낮은 비전문가는 물론 컬러 보정 전문가의 경우도, 보다 간편하고 신속하게 직관적으로 영상을 재채색할 수 있게 된다.As described above, according to the embodiments of the present invention, in the case of a non-expert, as well as a low-skilled color correction expert, it is possible to recolor an image more easily and quickly and intuitively.
또한, 본 발명의 실시예들에 따르면, 입력 영상에서 재채색을 원하는 영역을 사용자가 섬세하게 선택할 필요 없이 개략적인 영역으로 지정하여도, 원하는 재채색이 가능하다.Further, according to embodiments of the present invention, even if a user wants to specify a region to be recolored in the input image as a rough region without the user having to select delicately, desired recoloring is possible.
나아가, 본 발명의 실시예들에 따르면, 팔레트의 컬러수, 팔레트들 간의 대응 관계 설정 및 가중치의 변화 등을 통해 사용자 만족도가 높은 컬러 재채색이 가능해진다.Furthermore, according to embodiments of the present invention, color re-coloring with high user satisfaction is possible through the number of colors of the palette, setting a correspondence relationship between the palettes, and changing the weight.
도 1은 본 발명의 일 실시예에 따른 영상 재채색 방법의 설명에 제공되는 흐름도,
도 2는 사각형 프레임으로 재채색 영역을 지정한 예,
도 3은 올가미 도구를 이용하여 재채색 영역을 지정한 예,
도 4는 영상 분할 기법을 이용하여 영상을 다수의 영역들로 자동 분할한 예,
도 5는 입력 영상의 컬러 히스토그램을 예시한 도면,
도 6은 입력 영상 팔레트와 참조 팔레트의 컬러 대응 결과,
도 7은 불변 특징 대응을 통한 컬러 대응의 설명에 제공되는 도면,
도 8 및 도 9는, 의미론적 분할 기법에 의한 컬러 대응의 설명에 제공되는 도면,
도 10은 컬러 변환 과정의 설명에 제공되는 도면, 그리고,
도 11은 본 발명의 다른 실시예에 따른 영상 처리 장치의 블럭도이다.1 is a flow chart provided to explain the image re-coloring method according to an embodiment of the present invention,
2 is an example of designating a re-colored area as a square frame,
Figure 3 is an example of specifying the re-colored area using the lasso tool,
4 is an example of automatically segmenting an image into a plurality of regions using an image segmentation technique,
5 is a diagram illustrating a color histogram of an input image,
6 is a color correspondence result of the input image palette and the reference palette,
7 is a view provided for explanation of color correspondence through invariant feature correspondence;
8 and 9 are diagrams provided for explanation of color correspondence by semantic segmentation,
10 is a diagram provided to explain the color conversion process, and
11 is a block diagram of an image processing apparatus according to another embodiment of the present invention.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.Hereinafter, the present invention will be described in more detail with reference to the drawings.
도 1은 본 발명의 일 실시예에 따른 영상 재채색(recoloring) 방법의 설명에 제공되는 흐름도이다.1 is a flowchart provided for describing an image recoloring method according to an embodiment of the present invention.
본 발명의 실시예에 따른 영상 재채색 방법은, 입력 영상(사진, 그림, 카툰 등)으로부터 입력 영상 팔레트를 추출하고, 주어진 참조(reference) 영상으로부터 참조 팔레트를 생성하여, 입력 영상 팔레트와 참조 팔레트를 컬러 대응시켜 입력 영상을 재채색한다.The image recoloring method according to an embodiment of the present invention extracts an input image palette from an input image (picture, picture, cartoon, etc.), generates a reference palette from a given reference image, and inputs the image palette and the reference palette Recolor the input image by color matching.
이를 위해, 도 1에 도시된 바와 같이, 먼저, 재채색하고자 하는 영상이 선택되어 입력되면(S110), 입력 영상에서 재채색 영역들을 결정한다(S120).To this end, as illustrated in FIG. 1, first, when an image to be recolored is selected and input (S110), re-colored areas in the input image are determined (S120).
영상 재채색은 전부 또는 일부에 대해 가능하다. 전부 재채색의 경우 영역 결정은 자동으로 수행되고, 일부 재채색의 경우 자동 또는 수동으로 재채색할 영역들을 결정한다.Video recoloring is possible for all or part of the image. In the case of all recolors, area determination is automatically performed, and in the case of some recolors, areas to be recolored are determined automatically or manually.
수동 결정은, 사용자가 사각형, 원형 등의 프레임으로 영역들을 지정하거나 올가미 도구 등을 사용하여 지정하는 것이다. 도 2에는 사각형 프레임으로 영역을 지정한 경우, 도 3에는 올가미 도구를 이용하여 영역을 지정한 경우를 각각 예시하였다.The manual determination is that the user designates areas with a frame such as a square or a circle, or by using a lasso tool or the like. In FIG. 2, when an area is designated by a square frame, FIG. 3 illustrates a case where an area is designated by using a lasso tool.
자동 결정은, 영상 분할(Image Segmentation) 기법을 이용하여 영상을 비슷한 컬러를 갖는 영역들로 그룹핑하여 영역들을 생성하고, 크기가 기준 이상인 영역들을 자동으로 선택하거나 사용자로 하여금 원하는 영역들만 선택하도록 하는 것이다.The automatic determination is to create regions by grouping images into regions having similar colors using an image segmentation technique, to automatically select regions having a size larger than a standard, or to allow a user to select only desired regions. .
도 4에는 영상 분할 기법을 이용하여 영상을 다수의 영역들로 자동 분할한 경우를 예시하였다.4 illustrates a case where an image is automatically divided into a plurality of regions using an image segmentation technique.
재채색 영역 결정이 완료되면, 입력 영상 팔레트를 생성한다(S130). 입력 영상 팔레트는 입력 영상의 주된 컬러들로 구성되므로, S130단계는 입력 영상의 주된 컬러들을 추출하는 절차에 의해 수행된다.When the re-coloring area determination is completed, an input image palette is generated (S130). Since the input image palette is composed of the main colors of the input image, step S130 is performed by a procedure of extracting the main colors of the input image.
주된 컬러들은, 입력 영상의 컬러 히스토그램을 K-means 클러스터링하여 추출한다. 입력 영상의 컬러 히스토그램에 대해 K-means 클러스터링하면, 정해진 개수, 이를 테면, K개의 컬러들을 입력 영상의 주된 컬러들로 추출할 수 있다.The main colors are extracted by K-means clustering the color histogram of the input image. When K-means clusters the color histogram of the input image, a predetermined number, such as K colors, can be extracted as the main colors of the input image.
아래의 수학식은 K-means 클러스터링을 위한 목적 함수이고, 이를 최소화하는 클러스터링 결과를 얻으면 된다.The following equation is an objective function for K-means clustering, and you can obtain the clustering result that minimizes it.
여기서, N은 클러스터링하고자 하는 입력 영상의 전체 픽셀 개수이고, K는 기설정된 클러스터의 개수이다. rnk는 각 픽셀이 어느 클러스터에 속해 있는지에 따라서 결정되는 가중치로 다음의 수학식으로 정의된다.Here, N is the total number of pixels of the input image to be clustered, and K is the preset number of clusters. r nk is a weight determined according to which cluster each pixel belongs to, and is defined by the following equation.
위 식을 통해 알 수 있는 바와 같이, 각 픽셀이 각 클러스터의 평균 μj와 가장 가까이 있는 경우에는 1이 되고, 그렇지 않은 경우에는 0이 된다. 이 rnk을 이용하여 각 클러스터의 평균값 μk를 다음의 수학식으로 계산할 수 있다.As can be seen from the above equation, it is 1 when each pixel is closest to the mean μ j of each cluster, and 0 otherwise. Using this r nk , the average value of each cluster μ k can be calculated by the following equation.
지금까지, K-means 클러스터링을 이용하여 입력 영상의 주된 컬러들을 추출하는 기법에 대해 상세히 설명하였다. 설명한 기법은 예시적인 것에 불과하므로, 다른 기법으로 대체될 수 있다.So far, the technique of extracting the main colors of the input image using K-means clustering has been described in detail. The described technique is merely exemplary, and may be replaced by other techniques.
이를 테면, S120단계에서 결정된 재채색 영역들에 대해 3D 히스토그램을 작성하여, 빈도수가 가장 많은 빈(bin)을 주된 컬러로 추출하여 입력 영상 팔레트를 생성하는 것도 가능하다.For example, it is also possible to create a 3D histogram for the re-colored areas determined in step S120, and extract the bin with the most frequency as the main color to generate an input image palette.
도 5에는 입력 영상의 컬러 히스토그램을 예시하였다. 도시된 컬러 히스토그램에서 가장 빈도수가 많은 빈을 입력 영상 팔레트의 컬러로 선택하고, 비최대 억제(Non-maximum suppression)를 통해서 주변의 작은 빈은 제거하게 된다.5 illustrates a color histogram of the input image. In the illustrated color histogram, the most frequent bin is selected as the color of the input image palette, and small bins around are removed through non-maximum suppression.
일정 크기 이상의 빈을 결정하는 임계치(threshold)와 주변 얼마 만큼의 빈을 고려해서 비최대 억제를 하는지에 따라서 입력 영상 팔레트의 컬러와 개수가 결정된다.The color and number of input image palettes are determined according to the threshold for determining bins of a certain size or more, and how many bins are suppressed in consideration of surrounding bins.
컬러 개수에 해당하는 클러스터의 개수 K를 결정하여야 하는 K-means 클러스터링 기법과 달리, 컬러 개수를 사용자가 미리 설정하지 않아도 된다.Unlike the K-means clustering technique in which the number K of clusters corresponding to the number of colors is determined, the number of colors does not need to be set in advance by the user.
한편, 주된 컬러 추출에 필요한 3D 히스토그램은, RGB 컬러 스페이스의 히스토그램은 물론 다른 컬러 스페이스의 히스토그램을 이용하여도 무방하다.Meanwhile, the 3D histogram required for the main color extraction may be a histogram of an RGB color space as well as a histogram of another color space.
입력 영상 팔레트 생성이 완료되면, 참조 팔레트를 생성한다(S140). 참조 팔레트는 S130단계에서 결정된 주된 색상들을 변환/대체하기 위한 색상들로 이루어진 팔레트이다.When the input image palette generation is completed, a reference palette is generated (S140). The reference palette is a palette composed of colors to convert / replace the main colors determined in step S130.
참조 팔레트는 입력 영상과 다른 참조 영상에서 주된 컬러들을 추출하여 생성한다. 참조 영상으로부터 생성된다는 점만 상이할 뿐, 참조 팔레트는 입력 영상 팔레트를 생성하는 전술한 기법에 따라 생성할 수 있다.The reference palette is generated by extracting main colors from the input image and other reference images. The only difference is that it is generated from a reference image, and the reference palette can be generated according to the above-described technique for generating an input image palette.
참조 영상에 대한 제한은 없다. 즉, 참조 영상과 입력 영상 간의 관련성은 불문하다. 이를 테면, 참조 영상의 장면이 입력 영상의 장면과 무관한 경우에도, 참조 팔레트를 생성하는데 이용될 수 있다.There are no restrictions on the reference image. That is, the relationship between the reference image and the input image is irrespective. For example, even when the scene of the reference image is independent of the scene of the input image, it can be used to generate a reference palette.
이후, 입력 영상 팔레트의 컬러들과 참조 팔레트의 컬러들을 대응시킨다(S150). 도 6의 좌측에는 입력 영상을 나타내었고, 우측에는 입력 영상 팔레트의 컬러들과 참조 팔레트의 컬러들의 대응 결과를 나타내었다.Thereafter, the colors of the input image palette and the colors of the reference palette are matched (S150). The input image is shown on the left side of FIG. 6, and the corresponding result of the colors of the input image palette and the colors of the reference palette is shown on the right side.
입력 영상 팔레트와 참조 팔레트 간의 컬러 대응은 사용자가 수동으로 지정하여 수행될 수 있지만, 영상 처리 장치에 의한 자동 대응이 가능하다.The color correspondence between the input image palette and the reference palette can be performed manually by a user, but automatic correspondence by an image processing device is possible.
구체적으로, 도 7에 도시된 바와 같이, 입력 영상과 참조 영상 간의 불변적 특징점 대응을 통해 대응된 영역들의 컬러들을 대응시키는 것이 가능하다. 특징점은, 외형(appearance), 형태(shape), 텍스처(texture) 정보 등으로부터 추출할 수 있다.Specifically, as illustrated in FIG. 7, it is possible to match colors of the corresponding regions through the invariant feature point correspondence between the input image and the reference image. The feature points can be extracted from appearance, shape, texture information, and the like.
나아가, 도 8과 도 9에 도시된 바와 같이 의미론적 분할(Semantic Segmentation) 기법을 입력 영상과 참조 영상에 적용하여, 유사한 레이블(label)을 갖는 영역들의 컬러들을 대응하는 것이 가능하다.Furthermore, as illustrated in FIGS. 8 and 9, it is possible to apply the semantic segmentation technique to the input image and the reference image to match colors of regions having similar labels.
한편, 사용자는 S150단계에서 생성되는 컬러 대응 관계들 중 일부만 선택하고 나머지는 배제시킬 수 있다. 배제된 컬러 대응 관계들에 대해서는 그에 따른 재채색이 수행되지 않는다.Meanwhile, the user may select only some of the color correspondence relations generated in step S150 and exclude the rest. Recoloring is not performed for the excluded color correspondence relations.
컬러 대응이 완료되면, 각 대응들의 가중치를 결정한다(S160). 가중치 역시 사용자가 수동으로 지정하여 수행될 수 있지만, 영상 처리 장치에 의한 자동 결정이 가능하다.When the color correspondence is completed, the weight of each correspondence is determined (S160). The weight may also be performed by a user manually designating it, but an automatic determination by the image processing apparatus is possible.
자동 결정은 대응의 신뢰도를 계산하는 과정에 의해 가중치를 결정하게 된다. 구체적으로, 불변 특징 대응을 통해 대응 관계를 추출한 경우, 가중치는 각각의 불변 특징 대응에 대한 신뢰도, 불변 특징에서 포함된 컬러 간의 대응에 대한 빈도수 등을 이용하여 가중치를 결정한다.The automatic determination determines the weight by the process of calculating the reliability of the correspondence. Specifically, when the correspondence relationship is extracted through the invariant feature correspondence, the weight is determined using the reliability of each invariant feature correspondence, the frequency of the correspondence between colors included in the invariant feature, and the like.
의미론적 분할에 기반하여 대응 관계를 추출한 경우, 가중치는 각각의 의미론적 분할 결과에 대한 신뢰도, 분할된 영역 간의 대응으로부터 얻어진 컬러 대응에 대한 빈도수 등을 이용해서 가중치를 결정한다.When a correspondence relationship is extracted based on semantic segmentation, the weight is determined by using the reliability of each semantic segmentation result and the frequency of the color correspondence obtained from the correspondence between the divided areas.
가중치 결정이 완료되면, 입력 영상을 재채색한다(S170). S170단계에서의 재채색은 컬러 변환으로 수행된다.When the weight determination is completed, the input image is recolored (S170). Re-coloring in step S170 is performed by color conversion.
컬러 변환 방법은 계수적(parametric)인 방법과 비계수적(non-parametric)인 방법으로 분류되는데, 계수적인 방법은 수식적인 관계에 따라 필요한 팔레트의 대응 수가 달라질 수 있기 때문에 대응되는 팔레트의 수가 적다면 제약적으로 사용될 수 있다.The color conversion method is classified into a parametric method and a non-parametric method. If the number of corresponding palettes is small because the number of corresponding palettes can be changed according to a mathematical relationship, Can be used pharmaceutical.
비계수적인 방법은 대응되는 팔레트의 수에 대한 제약이 없기 때문에, S170단계에서의 입력 영상 재채색에 효과적으로 사용될 수 있으며, 도 10에 도시된 바와 같이, 3차원 RGB 스페이스 상에서의 대응이 존재할 때 이를 확률적으로 변환하는 확률적 MLS(Moving Least Square) 방법이 가장 효과적으로 사용될 수 있다. Since the non-coefficient method has no limitation on the number of corresponding palettes, it can be effectively used for re-coloring the input image in step S170, and as shown in FIG. 10, when there is a correspondence on a 3D RGB space, A stochastic transforming MLS (Moving Least Square) method can be most effectively used.
입력 영상의 재채색 결과에 만족하지 않는다면, 사용자는 참조 팔레트의 컬러들을 변경/수정하거나 가중치를 변경하여, 만족스러운 결과가 나올 때까지 재채색을 반복하여 수행하도록 할 수 있다.If the user is not satisfied with the recoloring result of the input image, the user can change / correct the colors of the reference palette or change the weight to repeatedly perform recoloring until a satisfactory result is obtained.
지금까지, 영상 재채색 방법에 대해 바람직한 실시예를 들어 상세히 설명하였다.So far, a preferred embodiment of the image recoloring method has been described in detail.
본 발명의 실시예에서는, 입력 영상과 상관성이 없는 참조 영상으로부터 생성한 참조 팔레트를 이용하여 입력 영상을 재채색할 수 있으며, 영상의 일부만을 변환하는 경우에 영역을 정확하게 선택하지 않아도 해당 영역의 팔레트를 추출하여 참조 팔레트로 변환할 수 있으며, 영역의 중심과의 거리에 대한 가중치를 설정하여 원하는 부분에 대한 색상을 변환할 수 있다. In an embodiment of the present invention, an input image may be re-colored using a reference palette generated from a reference image that is not correlated with the input image, and when only a part of the image is converted, the region palette is not selected accurately. Can be extracted and converted to a reference palette, and a weight for a distance from the center of the area can be set to convert the color for the desired part.
또한, 영상 혹은 영역으로부터 얻어진 팔레트에 대해서 사용자가 선택한 컬러에 대해서만 변환시킬 수 있기 때문에, 컬러 변환이 직관적이며, 목적에 맞는 다양한 컬러 변환이 가능하다.In addition, since only the color selected by the user can be converted for a palette obtained from an image or an area, color conversion is intuitive and various color conversions suitable for the purpose are possible.
한편, 위에서 언급한 재채색(recoloring)은, 컬러 변환(color transformation), 컬러 전달(color transfer), 컬러 보정(color correction) 등의 다른 용어로 해석될 수 있으므로, 해당 기술의 경우에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다.Meanwhile, the recoloring mentioned above may be interpreted in other terms, such as color transformation, color transfer, and color correction. It goes without saying that technical ideas can be applied.
도 11은 본 발명의 다른 실시예에 따른 영상 처리 장치의 블럭도이다. 도 11에 도시된 바와 같이, 영상 입력부(210), 영상 프로세서(220), 영상 출력부(230) 및 저장부(240)를 포함한다.11 is a block diagram of an image processing apparatus according to another embodiment of the present invention. 11, an
영상 입력부(210)는 재채색하고자 하는 영상과 참조 영상을 입력받기 위한 수단으로, 저장매체나 네트워크로부터 영상을 입력받는 인터페이스 수단에 해당한다.The
영상 프로세서(220)는 영상 입력부(210)를 통해 전달되는 입력 영상과 참조 영상을 이용하여, 도 1에 도시된 알고리즘에 따라 영상 재채색을 수행한다.The
영상 출력부(230)는 영상 프로세서(220)에 의해 재채색된 입력 영상을 디스플레이, 외부기기, 네트워크 등으로 출력하는 인터페이스 수단에 해당한다.The
저장부(240)는 재채색된 영상을 저장하는 한편, 영상 프로세서(220)가 영상 재채색을 수행함에 있어 필요한 저장공간을 제공한다.The
한편, 본 실시예에 따른 장치와 방법의 기능을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.On the other hand, the technical idea of the present invention can be applied to a computer-readable recording medium containing a computer program that performs functions of the apparatus and method according to the present embodiment. Further, the technical idea according to various embodiments of the present invention may be implemented in the form of computer-readable codes recorded on a computer-readable recording medium. The computer-readable recording medium can be any data storage device that can be read by a computer and stores data. Of course, the computer-readable recording medium may be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, or the like. In addition, computer-readable codes or programs stored in a computer-readable recording medium may be transmitted through a network connected between computers.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.In addition, although the preferred embodiments of the present invention have been shown and described above, the present invention is not limited to the specific embodiments described above, and the technical field to which the present invention belongs without departing from the gist of the present invention claimed in the claims. In addition, various modifications can be implemented by those skilled in the art, and these modifications should not be individually understood from the technical idea or prospect of the present invention.
210 : 영상 입력부
220 : 영상 프로세서
230 : 영상 출력부
240 : 저장부210: video input
220: image processor
230: video output
240: storage unit
Claims (12)
재채색 영역들의 컬러들로 입력 영상 팔레트를 구성하는 단계;
참조 영상에서 컬러들을 추출하여 참조 팔레트를 생성하는 단계;
입력 영상 팔레트의 컬러들과 참조 팔레트의 컬러들을 대응시키는 단계; 및
참조 팔레트를 이용하여, 입력 영상의 재채색 영역들을 재채색하는 단계;를 포함하고,
대응 단계는,
입력 영상과 참조 영상 간의 특징이 대응되는 영역들의 컬러들을 대응시키거나 입력 영상과 참조 영상 간의 의미론적 분할 결과가 대응되는 영역들의 컬러들을 대응시키며,
재채색 단계는,
컬러 대응 관계들에 따라, 재채색 영역들을 대응하는 참조 팔레트의 컬러들로 재채색하는 것을 특징으로 하는 영상 재채색 방법.
Determining re-colored areas in the input image;
Constructing an input image palette with the colors of the re-colored areas;
Generating a reference palette by extracting colors from the reference image;
Matching the colors of the input image palette with the colors of the reference palette; And
Including, using the reference palette, re-coloring the re-colored areas of the input image; includes,
The response phase is,
Corresponding colors of regions corresponding to a feature between an input image and a reference image, or semantic segmentation results between an input image and a reference image correspond to colors of a corresponding region,
The recoloring step,
According to the color correspondence relations, the image re-coloring method, characterized in that the re-coloring areas are re-colored with the colors of the corresponding reference palette.
참조 영상의 장면은,
입력 영상의 장면과 상이한 것을 특징으로 하는 영상 재채색 방법.
The method according to claim 1,
The scene of the reference video,
Image re-coloring method, characterized in that different from the scene of the input image.
재채색 단계에서 이용하는 컬러 대응 관계들은,
대응 단계에서 생성된 대응 관계들 중 사용자에 의해 선택된 대응 관계들만을 포함하는 것을 특징으로 하는 영상 재채색 방법.
The method according to claim 2,
The color correspondence relations used in the re-coloring step,
An image re-coloring method comprising only the corresponding relations selected by the user among the corresponding relations generated in the corresponding step.
사용자 입력에 따라, 참조 팔레트의 컬러들 중 일부를 수정하는 단계;를 더 포함하는 것을 특징으로 하는 영상 재채색 방법.
The method according to claim 4,
And revising some of the colors of the reference palette according to the user input.
입력 영상 팔레트를 구성하는 컬러들은,
재채색 영역들의 컬러 히스토그램들에서 가장 빈도수가 많은 빈(bin)들인 것을 특징으로 하는 영상 재채색 방법.
The method according to claim 1,
The colors that make up the input image palette,
Image recoloring method, characterized in that the most frequent bins in the color histograms of the recolor regions.
참조 팔레트를 구성하는 컬러들은,
영상 분할 기법으로 구분된 영역들의 컬러 히스토그램들에서 가장 빈도수가 많은 빈들인 것을 특징으로 하는 영상 재채색 방법.
The method according to claim 1,
The colors that make up the reference palette,
The image re-coloring method, characterized in that the bins with the most frequency in the color histograms of the regions divided by the image segmentation technique.
수정된 참조 팔레트와 수정된 대응 관계의 가중치를 기초로, 입력 영상의 재채색 영역들을 재채색하는 단계;를 더 포함하는 것을 특징으로 하는 영상 재채색 방법.
The method according to claim 1,
And re-coloring the re-colored areas of the input image based on the weight of the modified reference palette and the modified correspondence relationship.
입력 영상에서 재채색 영역들을 결정하고, 재채색 영역들의 컬러들로 입력 영상 팔레트를 구성하며, 참조 영상에서 컬러들을 추출하여 참조 팔레트를 생성하고, 입력 영상 팔레트의 컬러들과 참조 팔레트의 컬러들을 대응시키며, 참조 팔레트를 이용하여 입력 영상의 재채색 영역들을 재채색하는 프로세서;를 포함하고,
프로세서는,
입력 영상과 참조 영상 간의 특징이 대응되는 영역들의 컬러들을 대응시키거나 입력 영상과 참조 영상 간의 의미론적 분할 결과가 대응되는 영역들의 컬러들을 대응시키며,
컬러 대응 관계들에 따라, 재채색 영역들을 대응하는 참조 팔레트의 컬러들로 재채색하는 것을 특징으로 하는 영상 재채색 장치.
An input unit that receives an input image and a reference image;
Determining the re-colored areas from the input image, constructing the input image palette with the colors of the re-colored areas, extracting colors from the reference image to generate a reference palette, and corresponding the colors of the input image palette and the colors of the reference palette And a processor for re-coloring the re-colored areas of the input image using the reference palette.
The processor,
Corresponding colors of regions corresponding to a feature between an input image and a reference image, or semantic segmentation results between an input image and a reference image correspond to colors of a corresponding region,
The image re-coloring apparatus according to the color correspondence relations, characterized in that re-coloring areas are re-colored with colors of a corresponding reference palette.
참조 영상에서 컬러들을 추출하여 참조 팔레트를 생성하는 단계;
입력 영상 팔레트의 컬러들과 참조 팔레트의 컬러들을 대응시키는 단계; 및
참조 팔레트를 이용하여, 입력 영상의 재채색 영역들을 재채색하는 단계;를 포함하고,
대응 단계는,
입력 영상과 참조 영상 간의 특징이 대응되는 영역들의 컬러들을 대응시키거나 입력 영상과 참조 영상 간의 의미론적 분할 결과가 대응되는 영역들의 컬러들을 대응시키며,
재채색 단계는,
컬러 대응 관계들에 따라, 재채색 영역들을 대응하는 참조 팔레트의 컬러들로 재채색하는 것을 특징으로 하는 영상 재채색 방법.
Constructing an input image palette with the colors of the re-colored areas of the input image;
Generating a reference palette by extracting colors from the reference image;
Matching the colors of the input image palette with the colors of the reference palette; And
Including, using the reference palette, re-coloring the re-colored areas of the input image; includes,
The response phase is,
Corresponding colors of regions corresponding to a feature between an input image and a reference image, or semantic segmentation results between an input image and a reference image correspond to colors of a corresponding region,
The recoloring step,
According to the color correspondence relations, the image re-coloring method, characterized in that the re-coloring areas are re-colored with the colors of the corresponding reference palette.
재채색된 영상을 출력하는 출력부;를 포함하고,
프로세서는,
입력 영상과 참조 영상 간의 특징이 대응되는 영역들의 컬러들을 대응시키거나 입력 영상과 참조 영상 간의 의미론적 분할 결과가 대응되는 영역들의 컬러들을 대응시키며,
컬러 대응 관계들에 따라, 재채색 영역들을 대응하는 참조 팔레트의 컬러들로 재채색하는 것을 특징으로 하는 영상 재채색 장치.
The input image palette is composed of the colors of the re-colored areas of the input image, the colors are extracted from the reference image to generate a reference palette, the colors of the input image palette and the colors of the reference palette are matched, and the reference palette is used. A processor for re-coloring the re-colored areas of the input image; And
Includes; an output unit for outputting the re-colored image,
The processor,
Corresponding colors of regions corresponding to a feature between an input image and a reference image, or semantic segmentation results between an input image and a reference image correspond to colors of a corresponding region,
The image re-coloring apparatus according to the color correspondence relations, characterized in that re-coloring areas are re-colored with colors of a corresponding reference palette.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170118644A KR102097189B1 (en) | 2017-09-15 | 2017-09-15 | Pallet-based Image Recoloring Method and Apparatus |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170118644A KR102097189B1 (en) | 2017-09-15 | 2017-09-15 | Pallet-based Image Recoloring Method and Apparatus |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190030952A KR20190030952A (en) | 2019-03-25 |
| KR102097189B1 true KR102097189B1 (en) | 2020-04-03 |
Family
ID=65907708
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170118644A KR102097189B1 (en) | 2017-09-15 | 2017-09-15 | Pallet-based Image Recoloring Method and Apparatus |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102097189B1 (en) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116597029B (en) * | 2023-04-27 | 2024-03-05 | 北京隐算科技有限公司 | Image re-coloring method for achromatopsia |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003043306A1 (en) | 2001-11-13 | 2003-05-22 | Seiko Epson Corporation | Color conversion device, color conversion method, color change program and recording medium |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3198640B2 (en) * | 1992-07-27 | 2001-08-13 | 富士ゼロックス株式会社 | Multicolor document editing device |
| KR101394363B1 (en) * | 2012-09-17 | 2014-05-14 | 중앙대학교 산학협력단 | Apparatus and method for transferring a color of image |
| KR20140040497A (en) * | 2012-09-26 | 2014-04-03 | 삼성전자주식회사 | Appratus and method for processing image customized for user in a user terminal |
-
2017
- 2017-09-15 KR KR1020170118644A patent/KR102097189B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2003043306A1 (en) | 2001-11-13 | 2003-05-22 | Seiko Epson Corporation | Color conversion device, color conversion method, color change program and recording medium |
| US20050174586A1 (en) * | 2001-11-13 | 2005-08-11 | Seishin Yoshida | Color coversion apparatus color conversion method color change program and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190030952A (en) | 2019-03-25 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10853925B2 (en) | Methods, systems, and media for image processing | |
| US9569827B2 (en) | Image processing apparatus and method, and program | |
| KR101670282B1 (en) | Video matting based on foreground-background constraint propagation | |
| US10204432B2 (en) | Methods and systems for color processing of digital images | |
| JP2009038523A (en) | Unit and method for processing image | |
| JP2015011585A (en) | Image processing apparatus, image forming apparatus, image forming system, image processing method, and program | |
| US20170039683A1 (en) | Image processing apparatus, image processing method, image processing system, and non-transitory computer readable medium | |
| JP2019204333A (en) | Video processing device, video processing method, and video processing program | |
| JP2010205067A (en) | Device, method and program for extracting area | |
| KR102192016B1 (en) | Method and Apparatus for Image Adjustment Based on Semantics-Aware | |
| CN104969240A (en) | Method and system for image processing | |
| US20090116731A1 (en) | Method and system for detection of concha and intertragal notch point in 3D undetailed ear impressions | |
| JP6294524B1 (en) | Image processing method and computer program | |
| JP5914046B2 (en) | Image processing apparatus and image processing method | |
| KR102097189B1 (en) | Pallet-based Image Recoloring Method and Apparatus | |
| WO2015189369A1 (en) | Methods and systems for color processing of digital images | |
| Kang et al. | Hierarchical palette extraction based on local distinctiveness and cluster validation for image recoloring | |
| JP2003303346A (en) | Method, device and program for tracing target, and recording medium recording the program | |
| US10140731B2 (en) | Image processing apparatus, image processing method, and storage medium | |
| CN113095147A (en) | Skin area detection method, system, image processing terminal and storage medium | |
| JP2014099027A (en) | Image feature amount calculation device, learning device, identification device, and program | |
| EP3038059A1 (en) | Methods and systems for color processing of digital images | |
| JP3724525B2 (en) | Image processing method and image processing apparatus | |
| JP5069599B2 (en) | Video conversion apparatus, video conversion method, and video conversion program | |
| JP5227651B2 (en) | Video conversion apparatus, video conversion method, and video conversion program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |