WO2012173320A1 - 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법 - Google Patents

다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법 Download PDF

Info

Publication number
WO2012173320A1
WO2012173320A1 PCT/KR2012/000208 KR2012000208W WO2012173320A1 WO 2012173320 A1 WO2012173320 A1 WO 2012173320A1 KR 2012000208 W KR2012000208 W KR 2012000208W WO 2012173320 A1 WO2012173320 A1 WO 2012173320A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
color
light source
input
white balance
Prior art date
Application number
PCT/KR2012/000208
Other languages
English (en)
French (fr)
Inventor
고성제
김승균
정승원
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to US14/126,235 priority Critical patent/US9355471B2/en
Publication of WO2012173320A1 publication Critical patent/WO2012173320A1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Definitions

  • the present invention relates to a color balancing technique for multi-image synthesis, and more particularly, to reduce color difference between input images synthesized in an image synthesizing apparatus generating a wide area image such as a panoramic image from a plurality of input images.
  • a balancing device and method are provided.
  • Wide area image synthesis technology refers to a technology that creates a wide area image by connecting consecutive input images as an alternative to overcoming a limited viewing angle when acquiring images from a mobile phone camera or a digital camera.
  • alpha blending algorithm was applied to perform natural synthesis between images when performing image synthesis.
  • One of the typical blending algorithms, Alpha Blending Algorithm combines two images at an appropriate ratio in order to combine them.
  • the alpha blending algorithm has a problem of causing a ghost phenomenon in which an image overlaps when applied to an image that does not perfectly match each other.
  • the technical problem to be achieved by the present invention is to avoid the complex operation of the conventional wide-area image synthesis, and to obtain a natural wide-area composite image through a light source prediction method considering multiple light sources To provide a color balancing device and a method for multi-image synthesis to generate the image.
  • Another technical problem to be solved by the present invention is to avoid the complicated operation of the conventional wide-area image synthesis, and to implement a color balancing method for multi-image synthesis to generate a natural wide-area composite image through a light source prediction method considering multiple light sources.
  • the present invention provides a computer-readable recording medium having recorded thereon a program.
  • a color balancing device for multi-image synthesis includes a neutral color representing the input image for each of a plurality of input images obtained by sequentially photographing adjacent scenes. ) Is compared to the chromaticity of the predefined standard light sources (chromatid ty) to determine the standard light source closest to the neutral color as a reference light source, and to perform a white balance for the input image based on the reference light source A white balance unit; And a wide area image synthesizer configured to generate one wide area image by synthesizing the plurality of input images on which white balance is performed based on the reference light source.
  • a color balancing method for multi-image synthesis includes a neutral color representing the input image for each of a plurality of input images obtained by sequentially photographing adjacent scenes. ) Is compared to the chromaticity of the predefined standard light sources (chromatid ty) to determine the standard light source closest to the neutral color as a reference light source, and to perform a white balance for the input image based on the reference light source White balance step; And synthesizing the plurality of input images on which the white balance is performed based on the reference light source to generate one wide image.
  • chromatid ty predefined standard light sources
  • the color balancing apparatus and method for multi-image synthesis according to the present invention, it is possible to avoid the complicated operation of the conventional wide-area image synthesis, and to generate a natural wide-area composite image through a light source prediction method considering the multiple light sources.
  • FIG. 1 is a block diagram showing the configuration of a preferred embodiment of a color balancing apparatus and method for multiple image synthesis according to the present invention
  • FIG. 2 is a diagram showing six standard light sources and their corresponding confidence distances.
  • FIG. 3 is a diagram illustrating a standard light source and performing color correction after synthesizing a wide area image. Is a drawing explaining four types ,
  • FIG. 4 is a diagram illustrating color correction criteria when a plurality of input images adjacent to an input image to which color correction is to be performed are the criteria for color correction for all input images;
  • Figure 5 is a flow chart showing the performance of the preferred embodiment of the color balancing method according to the present invention.
  • FIG. 6 illustrates a plurality of source images for synthesizing a wide image
  • FIG. 7 is a view illustrating a result of synthesizing the images of FIG. 6 using a conventional wide image synthesis method
  • FIG. 8 is an image illustrating a result of synthesizing a wide area image of FIG. 6A using a color balancing device according to the present invention
  • FIG. 9 is an image showing the result of the wide-area image synthesis of Figure 6 (b) by the color balancing apparatus according to the present invention.
  • FIG. 10 is an image showing the result of the wide-area image synthesis of FIG. 6C by the color balancing device according to the present invention.
  • FIG. 1 is a block diagram showing the configuration of a preferred embodiment of a color balancing apparatus and method for multiple image synthesis according to the present invention.
  • the color balancer for multi-image synthesis includes an automatic white balance unit 110, a wide area image synthesizer 120, and a color corrector 130.
  • the automatic white balance unit 110 determines a reference light source of the input image based on a neutral color representative of the input image, and then performs white balance according to the determined reference light source.
  • the process of predicting the reference light source of the input image by the automatic white balance unit 110 will be described first, and then the white balance will be described.
  • the automatic white balance unit 110 first extracts a neutral color representing the input image and then determines a reference light source based on the extracted neutral color. In this case, the auto white balance unit 110 assumes that multiple standard light sources may exist in the input image for wide area image synthesis.
  • the automatic white balance unit 110 may use a multi-homed light source prediction technique to determine the neutral color. In the multi-homed light source prediction technique, the neutral color is determined through the gray world hypothesis, the white patch hypothesis, and the color clustering hypothesis.
  • the auto white balance unit 110 determines the neutral color for each input image, and then compares the chromaticity of the standard light source and the neutral color adopted by the International Illumination Commission (CIE) to neutrality in the chromaticity diagram.
  • the standard light source with the shortest distance between the color and the standard light source is determined as the reference light source of the corresponding input image.
  • a confidence distance in the chromaticity diagram may be set for each standard light source.
  • a confidence region (CR) is set for each standard light source. Except when the input image is photographed by a special light source such as red glow or artificial color illumination, the distance between the neutral color of the image and the reference light source is generally included within the confidence distance set for the reference light source. That is, if the chromaticity of the neutral color is detected outside the confidence distance of all the standard light sources, it may be determined that the light source prediction for the corresponding input image is wrong.
  • the automatic white balance unit 110 determines that the reference light sources of the input images to be synthesized may be multiple light sources, and determine as follows.
  • NCi and stdi are defined as the neutral color (NC) and the reference light source (standard i 1 luminant) of the i-th input image, respectively, and the absolute value of the difference between NCi and stdi in the chromaticity diagram is smaller than CR or The same applies to stdi as the reference light source for the i-th input image.
  • the two input images of the i-th and j-th satisfy the following Equation 1, and stdi and stdj are different from each other, the two input images are regarded as photographed by different light sources.
  • the auto white balance unit 110 inputs a color gain factor for the RGB color channel. Perform white balance after calculating independently.
  • White balance is when shooting under lighting conditions with different color temperatures,
  • the CMOS or CCD image sensor does not recognize the correct white color, and the red (R), green (G), and blue (B) components of the captured image are biased to one side to correct a phenomenon in which the tone of the image is distorted.
  • the von Kries method based on the Gray World Assumption may be used as the white balance method.
  • GWA is a theory that all combinations of colors in the world become achromatic. When various colors exist in an image, the overall average in an image becomes achromatic. In this case, achromatic color exists only in brightness and no color component, and means that the average of each RGB channel is the same. Based on these GWA assumptions, the von Kries method is to make the averages of each channel equal.
  • the wide area image synthesizer 120 synthesizes the input images of the white balance performed by the automatic white balance unit 110 into wide area images.
  • the method proposed by Matthew Brown in "Automatic panoramic image stitching using invariant features" may be used as a wide image synthesis method.
  • Brown's method first finds the Scale Invariant Feature Transform (SIFT) value in each image. After that, the SIFT values are used to determine points that are identified as the same point in two different images, and then, the images are rotated and parallelized to perform wide-area image synthesis.
  • SIFT Scale Invariant Feature Transform
  • color correction may be additionally performed on the areas of the respective input images.
  • the color corrector 130 is based on the color of the input image in which the distance between the neutral color and the reference light source in the chromaticity diagram of the two input images is closer to each other in the wide image. Perform color correction.
  • the color correction unit 130 first based on any one of the first and second input images. Color correction is performed, and then color correction is performed based on any one of the second and third input images. These colors The correction is repeated until the nth input image.
  • FIG. 3 is a diagram illustrating four types of color correction after determining a reference light source for each input image and synthesizing a wide image.
  • the color corrector 130 divides each input image in the wide image into three types of C1, C2, and C3 after synthesizing the wide image, and uses four types of color correction methods according to the type. Classify.
  • an input image in which the distance between the neutral color in the chromaticity diagram and the reference light source is shorter is defined as C1.
  • the input image having a greater distance between the neutral color in the chromaticity diagram and the reference light source is defined as C2.
  • the color corrector 130 determines that the C1 type input image () has a higher priority than the C2 type input image (1 2 ) when two adjacent input images correspond to the C1 and C2 types, respectively. 2 Correct the color distribution of the image to match the color distribution of the image.
  • the input image is defined as C3.
  • the color corrector 130 determines that the reference light source prediction of the input image is wrong, and maintains the color correction without performing color correction on the input image.
  • the color correction unit 130 will be described in detail how to perform color correction according to the CI, C2, C3 type of the input image. Basically, the closer the neutral color is to the reference light source, the more natural and vivid the color is. Therefore, the C1 type input image is the standard for color correction for the C2 type input image.
  • FIG. 3A illustrates a case in which an image is a d type and a 1 2 image is a C 2 type. therefore
  • the Ii image serves as a reference for color correction for the 1 2 image. Therefore, the color corrector 130 corrects the color distribution of the image to match the image. At this time, the color correction is performed by the following equations (2) and (3).
  • a 21 is the color correction matrix applied to the 1 2 image, and the components ⁇ , ⁇ and ⁇ of the matrix are gain values applied to the R, G and ⁇ components, respectively.
  • ⁇ is defined as the ratio of R values in a region where two input images overlap within a wide image, and ⁇ and ⁇ are also defined as a ratio of G and ⁇ values in a region where two images overlap.
  • 3B illustrates a case where an image is a C1 type and a 1 2 image is a C3 type. At this time
  • the color correction unit 130 Since the reference light source prediction for the 1 2 image is wrong, the color correction unit 130 does not perform color correction of the 1 2 image.
  • 3C illustrates a case in which both the image and the 1 2 image are of the C1 type. Even in this case, if the distance between the neutral color and the reference light source for each image is not the same, color correction may be performed based on the image having a close distance between the neutral color and the reference light source.
  • 3D illustrates a case in which both the image and the 1 2 image are C3 type.
  • the color correction unit 130 since the reference light source prediction for the image and the 1 2 image are both wrong, the color correction unit 130
  • FIG. 4 is a diagram illustrating color correction criteria when a plurality of input images adjacent to an input image to be color corrected is used as a color correction reference for the input image.
  • an image 12 is C2 type from the image 13 adjacent to the zero sequence in the wide area image, video, and image 13 is a C1 type. Accordingly, when the color is corrected by the color corrector 130, the image may be a reference for color correction for the 1 2 image, and at the same time, the 1 3 image may be C1 for the 1 2 image and may be a reference for color correction. In this case, when the color corrector 130 corrects the color of the 1 2 image according to the 1 3 image, a color difference occurs in the overlapping area of the image and the 1 2 image.
  • the color correction section 130 in this case, the video image 13 and the second image have 1 To correct the color correction of the 1 2 image by the following equation 4 so as to affect the color correction. That is, the pixels close to the image in the 1 2 image are corrected based on the color distribution of the ⁇ image, and the pixels close to the 1 3 image in the 1 2 image are corrected based on the color distribution of the 1 3 image.
  • Equation 4 In this case, d 21 represents the distance from the (i, j) pixel of the I 2 image to the center point of the image, and d 23 represents the distance from the GJ) pixel of the image to the center point of the 1 3 image. Therefore, as shown in Equation 4, by combining two correction matrices based on the h image and the 1 3 image, colors between two adjacent images can be naturally synthesized.
  • FIG. 5 is a flowchart illustrating the performance of a preferred embodiment of the color balancing method according to the present invention.
  • the automatic white balance unit 110 determines a reference light source after extracting neutral colors of each of a plurality of input images using a multi-home based light source prediction technique (S1100). Next, after determining the reference light source, the automatic white balance unit 110 independently calculates a color gain factor for the RGB color channel for each input image and then performs white balance (S1200).
  • the wide area image synthesis unit 120 synthesizes the input images of the white balance performed by the automatic white balance unit 110 into a wide area image (S1300).
  • the color corrector 130 may determine that two input images having a distance between the neutral color and the reference light source closer to each other in the chromaticity diagram (chromatid ty diagram) of two adjacent images adjacent to each other in the wide area image as the reference for color correction.
  • a gain factor is obtained by using a ratio between the neutral color and the reference light source, and then applied to the RGB color channel to perform color correction (S1400).
  • FIG. 6 is a plurality of images for synthesizing a wide area image, and is an 800 * 600 image taken with the automatic white balance function turned on in a general compact digital camera.
  • FIG. 7 shows a result of synthesizing the images of FIG. 6 using a conventional wide image synthesis method. This image shows the result.
  • FIG. 8 is an image showing the result of the wide-area image synthesis of FIG. 6A by the color balancer according to the present invention.
  • FIG. 8A illustrates simple wide-area image synthesis
  • FIG. 8B illustrates auto white balance performed by the auto white balance unit 110
  • FIG. 8C illustrates wide area.
  • FIG. 8 (d) shows a result of applying both the automatic white balance performance of the automatic white balance unit 110 and the color correction of the color correction unit 130. Indicates.
  • FIG. 9 is an image illustrating a result of synthesizing a wide area image of FIG. 6B using a color balancing apparatus according to the present invention.
  • FIG. 9A illustrates simple wide-area image synthesis.
  • FIG. 9B illustrates auto white balance performed by the auto white balance unit 110.
  • FIG. 9C illustrates wide area.
  • FIG. 9 (d) shows the result of applying the automatic white balance of the automatic white balance unit 110 and the color correction of the color corrector 130. Indicates.
  • FIG. 10 is an image showing the result of the wide-area image synthesis of FIG. 6C by the color balancer according to the present invention. As shown in FIGS. 8 and 9, the color difference between the input images is corrected.
  • the invention can also be embodied as computer readable code on a computer readable recording medium.
  • Computer-readable recording media include all types of recording devices that store data that can be read by a computer system. Examples of computer-readable recording media include ROM, RAM, CD-ROM, magnetic tape, floppy disks, optical data storage devices, and the like, which are also implemented in the form of carrier waves (eg transmission over the Internet). Include.
  • the computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법이 개시된다. 자동 화이트 밸런스부는 인접한 장면을 순차적으로 촬영하여 얻어진 복수의 입력 영상 각각에 대하여 입력 영상을 대표하는 중립 색상과 기 정의된 표준 광원들의 색도를 비교하여 중립 색상과 가장 근접한 표준 광원을 기준 광원으로 결정하고, 기준 광원을 기반으로 입력 영상에 대한 화이트 밸런스를 수행한다. 본 발명에 따르면, 기존의 광역 영상 합성의 복잡한 연산을 피하고, 다중 광원을 고려한 광원 예측 기법을 통해 자연스런 광역 합성 영상을 생성할 수 있다.

Description

【명세서】
【발명의 명칭】
다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법
【기술분야】
본 발명은 다중 영상 합성을 위한 컬러 밸런싱 기법에 관한 것으로, 보다 상 세하게는， 복수의 입력 영상으로부터 파노라마 영상과 같은 광역 영상을 생성하는 영상 합성 장치에서 합성된 입력 영상간 색상 차이를 감소시키는 컬러 밸런싱 장치 및 방법에 관한 것이다.
【배경기술】
광역 영상 합성 기술은 모바일폰 카메라나 디지털 카메라 등에서 영상을 획 득시， 한정된 시야각을 극복하기 위한 대안으로 연속된 입력 영상들을 연결하여 하 나의 광역 영상으로 만드는 기술을 말한다 .
기존의 연구에서는 영상 합성을 수행할 때 여러 영상들 간의 자연스런 합성 을 위하여 알파 블렌딩 (a -blending) 알고리즘을 적용하였다. 대표적인 블렌딩 알 고리즘 중 하나인 알파 블렌딩 알고리즘은 두 영상을 흔합하기 위하여 두 영상을 적당한 비율로 섞어서 영상이 겹쳐 보이도톡 하는 것이다. 하지만 알파 블렌딩 알 고리즘은 서로 완벽하게 일치하지 않는 영상에 적용될 경우 영상이 겹쳐보이는 고 스트 현상을 야기하는 문제가 있다.
한편， 동일한 지역에 대하여 촬영된 영상이라도 촬영하고자 하는 물체의 물 리적 특성， 해당 촬영 장소의 조명， 카메라 자체의 특성 등과 같은 여러 가지 요소 에 의해 영향을 받는다. 이러한 경우 특히 서로 다른 조명에서 촬영된 영상의 색상 차는 자동 화이트 밸런스 (Automatic White Balance ： AWB) 알고리즘을 이용하여 줄 일 수 있으나 다른 요소로 인한 색상 차는 여전히 존재한다.
또한， 기존 알고리즘들은 모바일 기기에서 영상 광역 합성 애플리케이션에 바로 적용되기에는 연산량이 지나치게 많다는 단점을 공통으로 갖는다.
따라서 기존 알고리즘의 복잡한 연산을 피하는 한편， 합성된 입력 영상간 색 상 차이를 감소시켜 자연스러운 광역 합성 영상을 생성하는 컬러 밸런싱 장치 및 방법이 필요하다.
【발명의 상세한 설명】
【기술적 과제】
본 발명이 이루고자 하는 기술적 과제는 기존의 광역 영상 합성의 복잡한 연 산을 피하고， 다중 광원을 고려한 광원 예측 기법을 통해 자연스런 광역 합성 영상 을 생성하는 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법을 제공하는 데 있 다.
본 발명이 이루고자 하는 다른 기술적 과제는 기존의 광역 영상 합성의 복잡 한 연산을 피하고， 다중 광원을 고려한 광원 예측 기법을 통해 자연스런 광역 합성 영상을 생성하는 다중 영상 합성을 위한 컬러 밸런싱 방법을 컴퓨터에서 실행시키 기 위한프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다. 【기술적 해결방법】
상기의 기술적 과제를 달성하기 위한， 본 발명에 따른 다중 영상 합성을 위 한 컬러 밸런싱 장치는， 인접한 장면을 순차적으로 촬영하여 얻어진 복수의 입력 영상 각각에 대하여 상기 입력 영상을 대표하는 중립 색상 (neutral color)과 사전 에 정의된 표준 광원들의 색도 (chromatid ty)를 비교하여 상기 중립 색상과 가장 근접한 표준 광원을 기준 광원으로 결정하고， 상기 기준 광원을 기반으로 상기 입 력 영상에 대한 화이트 밸런스를 수행하는 자동 화이트 밸런스부; 및 상기 기준 광 원을 기반으로 화이트 밸런스가 수행된 상기 복수의 입력 영상을 합성하여 하나의 광역 영상을 생성하는 광역 영상 합성부；를 구비한다.
상기의 기술적 과제를 달성하기 위한， 본 발명에 따른 다중 영상 합성을 위 한 컬러 밸런싱 방법은， 인접한 장면을 순차적으로 촬영하여 얻어진 복수의 입력 영상 각각에 대하여 상기 입력 영상을 대표하는 중립 색상 (neutral color)과 사전 에 정의된 표준 광원들의 색도 (chromatid ty)를 비교하여 상기 중립 색상과 가장 근접한 표준 광원을 기준 광원으로 결정하고， 상기 기준 광원을 기반으로 상기 입 력 영상에 대한 화이트 밸런스를 수행하는 자동 화이트 밸런스 단계; 및 상기 기준 광원을 기반으로 화이트 밸런스가 수행된 상기 복수의 입력 영상을 합성하여 하나 의 광역 영상을 생성하는 광역 영상 합성 단계;를 가진다.
【유리한 효과】
본 발명에 따른 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법에 의하면， 기존의 광역 영상 합성의 복잡한 연산을 피하고， 다중 광원을 고려한 광원 예측 기 법을 통해 자연스런 광역 합성 영상을 생성할 수 있다.
【도면의 간단한 설명】
도 1은 본 발명에 따른 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법에 대한 바람직한 실시 예의 구성을 도시한 블록도，
도 2는 여섯 개의 표준 광원과 그에 대응하는 신뢰거리를 나타낸 도면， 도 3은 기준 광원을 결정하고 광역 영상을 합성한 이후 색상 보정을 수행하 는 4가지 유형을 설명하는 도면，
도 4는 색상 보정을 수행하고자 하는 입력 영상에 인접한 복수의 입력 영상 이 입력 영상에 대하여 모두 색상 보정의 기준이 되는 경우 색상 보정 기준을 나타 내는 도면,
도 5는 본 발명에 따른 컬러 밸런싱 방법에 대한 바람직한 실시예의 수행과 정을 도시한흐름도,
도 6은 광역 영상을 합성하기 위한 복수의 소스 영상，
도 7은 도 6의 영상들을 기존의 광역 영상 합성 방법을 이용하여 합성한 결 과를 나타낸 영상,
도 8은 도 6의 (a)를 본 발명에 따른 컬러 밸런싱 장치에 의해 광역 영상 합 성한 결과를 나타낸 영상,
도 9는 도 6의 (b)를 본 발명에 따른 컬러 밸런싱 장치에 의해 광역 영상 합 성한 결과를 나타낸 영상, 그리고，
도 10은 도 6의 (c)를 본 발명에 따른 컬러 벨런싱 장치에 의해 광역 영상 합성한 결과를 나타낸 영상이다.
【발명의 실시를 위한 형태】
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법에 대한 바람직한 실시예의 구성올 도시한 블록도이다.
도 1을 참조하면， 본 발명에 따른 다중 영상 합성을 위한 컬러 밸런싱 장치 는 자동 화이트 밸런스부 (110)， 광역 영상 합성부 (120) 및 색상 보정부 (130)를 구 비한다.
자동 화이트 밸런스부 (110)는 입력 영상을 대표하는 중립 색상 (neutral color)을 기반으로 입력 영상의 기준 광원을 결정한 후 결정된 기준 광원에 따라 화이트 밸런스 (Automatic White Balance ： AWB)를 수행한다. 이하 자동 화이트 밸 런스부 (110)가 입력 영상의 기준 광원을 예측하는 과정을 먼저 설명한 후 화이트 밸런스 수행에 관하여 설명한다.
자동 화이트 밸런스부 (110)는 우선 입력 영상을 대표하는 중립 색상을 추출 한 후 이를 기반으로 기준 광원을 결정한다. 이때 자동 화이트 밸런스부 (110)는 광 역 영상 합성을 하기 위한 입력 영상에 다중 표준 광원이 존재할 수 있다고 가정한 다. 자동 화이트 밸런스부 (110)는 중립 색상을 결정하기 위해 다중 가정 기반의 광원 예측기법을 사용할 수 있다. 다중 가정 기반의 광원 예측 기법에서는 그레이 월드 (grey world) 가정， 화이트 패치 (white patch) 가정 및 컬러 클러스터링 (color clustering) 가정을 통해서 중립 색상 (neutral color)을 결정한다.
자동 화이트 밸런스부 (110)는 각각의 입력 영상에 대하여 중립 색상을 결정 한 후 국제 조명 위원회 (CIE)에서 채택한 표준 광원의 색도 (chromatid ty)와 중립 색상을 비교하여 색도도 (chromaticity diagram)에서 중립 색상과 표준 광원과의 거 리가 가장 짧은 표준 광원을 해당 입력 영상의 기준 광원으로 결정한다. 또한 기준 광원이 정확하게 결정되었는지 판단하는 기준으로서 각각의 표준 광원에 대하여 색 도도에서의 신뢰거리를 설정할 수 있다.
도 2은 여섯 개의 표준 광원과 그에 대응하는 신뢰거리를 나타낸 도면이다. 도 2을 참조하면， 중립 색상의 신뢰성을 확보하기 위하여 각각의 표준 광원 마다 신뢰거리 (confidence region ： CR)가 설정되어 있다. 입력 영상이 붉은 노을， 인공 컬러 조명 등의 특수한 광원에서 촬영된 경우를 제외하면 일반적으로 영상의 중립 색상과 기준 광원 사이의 거리는 해당 기준 광원에 대하여 설정된 신뢰거리 내에 포함된다. 즉， 중립 색상의 색도가 모든 표준 광원의 신뢰거리 밖에서 검출된 다면 해당 입력 영상에 대한 광원 예측은 잘못된 것으로 판단할 수 있다.
또한， 자동 화이트 밸런스부 (110)는 합성될 입력 영상들의 기준 광원이 다중 광원일 수도 있음을 고려하여 다음과 같이 판단한다. NCi와 stdi를 각각 i번째 입력 영상의 중립 색상 (Neutral Color ： NC)과 기준 광원 (standard i 1 luminant)이라고 정의하고, 색도도에서 NCi와 stdi의 차이에 절대값을 취한 값이 CR 보다 작거나 같 을 때 stdi를 i번째 입력 영상의 기준 광원으로 채택한다. 또한 i번째와 j번째의 두 입력 영상이 다음의 수학식 1을 만족하고 stdi와 stdj가 서로 다르면 두 입력 영상 은 서로 다른 광원에서 촬영된 것으로 본다.
【수학식 1]
I NCi - stdt I < CRi 자동 화이트 밸런스부 (110)는 이상에서 설명한 과정에 의해 각각의 입력 영 상의 기준 광원이 결정되면 RGB 색상 채널에 대한 색상 이득 인자 (color gain factor)를 입력 영상 각각에 대하여 독립적으로 계산한 후에 화이트 밸런스를 수행 한다.
화이트 밸런스란 각각의 다른 색 온도를 갖는 조명 조건에서 촬영했을 때, CMOS 또는 CCD 이미지 센서가 정확한 백색을 인식하지 못해서 촬영 이미지의 적색 (R), 녹색 (G), 청색 (B) 성분이 한쪽으로 편향되어 영상의 색조가 왜곡되는 현상을 보정하는 .것을 말한다.
이때 본 발명에 따른 컬러 밸런싱 장치의 바람직한 실시 예에서는 화이트 밸 런스 방법으로 그레이 월드 가정 (Grey World Assumption ： GWA)에 기반한 von Kries 방법을 사용할 수 있다.
GWA이란 세상의 모든 컬러의 조합은 무채색이 된다는 이론으로 영상 내에 다 양한 컬러가 존재할 때 한 영상 내의 전체적인 평균은 무채색이 된다는 이론이다. 이때， 무채색이란 밝기만 존재하고 색 성분이 없는 것으로， RGB 각 채널의 평균이 같다는 것을 의미한다. 이러한 GWA 가정을 기반으로 각 채널에서 구한 평균이 같도 록 만들어 주는 것이 von Kries 방법이다.
다음으로 광역 영상 합성부 (120)는 자동 화이트 밸런스부 (110)에서 화이트 밸런스를 수행한 입력 영상들을 광역 영상으로 합성한다. 이때 본 발명에 따른 컬 러 밸런싱 장치의 바람직한 실시 예에서는 광역 영상 합성 방법으로 Matthew Brown 이 "Automatic panoramic image stitching using invariant features" 에서 제안한 방법을 사용할 수 있다.
Brown의 방법은 먼저 각 영상에서 스케일 불변 요소 변환 (Scale Invariant Feature Transform ： SIFT)값을 찾는다. 그 후 SIFT값을 이용하여 서로 다른 두 영 상에서 같은 점이라고 판별되어 매칭되는 점들을 구하고， 이것들로부터 영상을 회 전， 평행이동시켜 광역 영상 합성을 수행한다.
한편, 이와 같이 각각의 입력 영상에 대해 화이트 밸런스가 수행된 후 광역 영상으로 합성되었을 때 서로 인접한 입력 영상 사이에서 색상의 불일치가 발생할 수 있다. 따라서 광역 영상이 생성된 후 각각의 입력 영상에 대웅하는 영역에 대하 여 추가적으로 색상 보정을 수행할 수 있다.
색상 보정부 (130)는 광역 영상 내에서 서로 인접한 두 개씩의 입력 영상에 대하여 두 개의 입력 영상 중에서 색도도 (chromaticity diagram)에서의 중립 색상 과 기준 광원 사이의 거리가 더 가까운 입력 영상의 색상을 기준으로 색상 보정올 수행한다.
일 예로서， 1 내지 n의 복수의 입력 영상이 일방향으로 순차적으로 결합되어 광역 영상으로 합성된 후 색상 보정부 (130)는 먼저 제 1， 제 2 입력 영상 중에서 어 느 하나의 입력 영상을 기준으로 색상 보정을 수행하고 다음으로 제 2， 제 3 입력 영 상 중에서 어느 하나의 입력 영상을 기준으로 색상 보정을 수행한다. 이러한 색상 보정은 n번째 입력 영상까지 반복 수행된다.
도 3은 각각의 입력 영상에 대하여 기준 광원을 결정하고 광역 영상을 합성 한 이후 색상 보정을 수행하는 4가지 유형을 설명하는 도면이다.
도 3을 참조하면， 색상 보정부 (130)는 광역 영상을 합성한 이후 광역 영상 내의 각 입력 영상을 C1,C2,C3 세 가지 유형으로 나누고， 그 유형에 따른 색상 보 정 방법을 4가지 유형으로 분류한다.
먼저 입력 영상의 세 가지 유형을 설명한다. 첫째， 색상 보정의 대상이 되는 두 개의 입력 영상 중에서 색도도 (chromaticity diagram)에서의 중립 색상과 기준 광원 사이의 거리가 더 가까운 입력 영상을 C1으로 정의한다.
둘째， 두 개의 입력 영상 중에서 색도도 (chromaticity diagram)에서의 중립 색상과 기준 광원 사이의 거리가 더 먼 입력 영상을 C2로 정의한다.
색상 보정부 (130)는 인접한 두 입력 영상이 각각 C1과 C2 유형에 해당하는 경우에는 C1 유형의 입력 영상 ( )이 C2 유형의 입력 영상 (12)보다 높은 우선순위를 갖는 것으로 결정하고， 12 영상의 색상 분포를 영상의 색상 분포에 맞추어 보정 한다.
셋째， 입력 영상의 중립 색상이 색도도에서 기준 광원으로부터의 신뢰거리 내에 포함되지 않는 경우에는 입력 영상을 C3으로 정의한다. 이때 색상 보정부 (130)는 입력 영상의 기준 광원 예측이 잘못되었다고 판단하고， 해당 입력 영상에 대하여 색상 보정을 수행하지 않고 그대로 유지한다.
다음으로 색상 보정부 (130)에서 입력 영상의 CI, C2, C3 유형에 따라 색상 보정을 수행하는 방법을 자세히 설명한다. 기본적으로 중립 색상이 기준 광원에 가 까을수록 더 자연스럽고 생생한 색상을 표현할 수 있기 때문에 C1 유형의 입력 영 상이 C2 유형의 입력 영상에 대하여 색상 보정의 기준이 된다.
도 3의 (a)는 영상이 d 유형이고 12 영상이 C2 유형인 경우이다. 따라서
Ii 영상이 12 영상에 대하여 색상 보정의 기준이 된다. 따라서 색상 보정부 (130)는 영상의 색상 분포가 영상에 맞추어지도록 보정한다. 이때 색상 보정은 다음의 수학식 2와 수학식 3에 의하여 수행된다.
【수학식 2】
H 21 ^
【수학식 3】
Figure imgf000009_0001
-수학식 2와 3에서 Α21은 12 영상에 적용되는 색상 보정 행렬이고， 행렬의 성 분인 α , β , γ는 각각 R, G, Β 성분에 적용되는 이득 (gain) 값이다. α는 광역 영상 내에서 두 입력 영상이 겹쳐지는 영역에서의 R값들의 비율로 정의되고， β와 Υ 또한 같은 방법으로 두 영상이 겹쳐지는 영역에서의 G, Β 값들의 비율로 정의된 다.
도 3의 (b)는 영상이 C1 유형이고 12 영상이 C3 유형인 경우이다. 이때는
12 영상에 대한 기준 광원 예측이 잘못된 경우이므로 색상 보정부 (130)는 12 영상의 색상 보정을 수행하지 않는다.
도 3의 (c)는 영상과 12 영상이 모두 C1 유형인 경우이다. 이러한 경우에 도 각 영상에 대한 중립 색상과 기준 광원 사이의 거리가 동일하지 않다면 중립 색 상과 기준 광원 사이의 거리가 가까운 영상을 기준으로 색상 보정이 수행될 수 있 다.
도 3의 (d)는 영상과 12 영상이 모두 C3 유형인 경우이다. 이때는 영상 과 12 영상에 대한 기준 광원 예측이 모두 잘못된 경우이므로 색상 보정부 (130)는
Ii 영상과 12 영상에 대하여 색상 보정을 수행하지 않는다.
도 4는 색상 보정을 수행하고자 하는 입력 영상에 인접한 복수의 입력 영상 이 입력 영상에 대하여 색상 보정의 기준이 되는 경우 색상 보정 기준을 나타내는 도면이다.
도 4를 참조하면， 광역 영상 내에서 순차적으로 인접한 영상 내지 13 영 상 중에서 12 영상은 C2 유형이고， 영상 및 13 영상은 C1 유형이다. 따라서 색상 보정부 (130)에 의한 색상 보정시 영상이 12 영상에 대하여 색상 보정의 기준이 되고 동시에 13 영상이 12 영상에 대하여 C1이 되어 색상 보정의 기준이 될 수 있 다. 이때 색상 보정부 (130)가 13 영상에 맞추어 12 영상의 색상을 보정하면 영상 과 12 영상의 겹쳐지는 영역에서 색상 차이가 커지는 문제가 발생한다.
따라서 이런 경우에 색상 보정부 (130)는 영상 및 13 영상이 모두 12 영상 의 색상 보정에 영향을 미칠 수 있도록 다음의 수학식 4에 의해 12 영상의 색상올 보정한다. 즉， 12 영상에서 영상에 가까운 화소들은 ^ 영상의 색상 분포를 기준 으로 보정하고， 12영상에서 13 영상에 가까운 화소들은 13 영상의 색상 분포를 기준 으로 보정한다.
【수학식 4】
Figure imgf000010_0001
이때 d21은 I2 영상의 (i,j) 화소로부터 영상의 중심점까지의 거리， d23은 영상의 GJ) 화소로부터 13 영상의 중심점까지의 거리를 나타낸다. 따라서， 수 학식 4와 같이 h 영상 및 13 영상을 기준으로 하는 두 개의 보정 행렬을 결합함으 로써 인접한 두 영상 간의 색상을 자연스럽게 합성할 수 있다.
도 5는 본 발명에 따른 컬러 밸런싱 방법에 대한 바람직한 실시예의 수행과 정을 도시한 흐름도이다.
도 5를 참조하면， 자동 화이트 밸런스부 (110)는 다중 가정 기반의 광원 예측 기법을 사용하여 복수의 입력 영상 각각의 중립 색상 (neutral color)을 추출한 후 기준 광원을 결정한다 (S1100). 다음으로 자동 화이트 밸런스부 (110)는 기준 광원을 결정한 후 RGB 색상 채널에 대한 색상 이득 인자 (color gain factor)를 입력 영상 각각에 대하여 독립적으로 계산한 후에 화이트 벨런스를 수행한다 (S1200).
광역 영상 합성부 (120)는 자동 화이트 밸런스부 (110)에서 화이트 밸런스를 수행한 입력 영상들을 광역 영상으로 합성한다 (S1300).
색상 보정부 (130)는 광역 영상 내에서 서로 인접한 두 개의 인접 영상 중 중 립 색상과 기준 광원 간의 색도도 (chromatid ty diagram)에서의 거리가 더 가까운 입력 영상을 색상 보정의 기준으로 인접한 두 입력 영상의 중립 색상과 기준 광원 간의 비율을 이용하여 이득 인자 (gain factor)를 구한 후， 이를 RGB 색상 채널에 적용하여 색상 보정을 수행한다 (S1400).
본 발명의 성능을 평가하기 위한 실험을 수행하였다.
도 6은 광역 영상 합성올 하기 위한 복수의 영상으로， 일반 컴팩트 디지털 카메라에서 자동 화이트 밸런스 기능을 켠 상태로 촬영한 800*600 영상이다.
도 7은 도 6의 영상들을 기존의 광역 영상 합성 방법을 이용하여 합성한 결 과를 나타낸 영상이다.
또한 도 8은 도 6의 (a)를 본 발명에 따른 컬러 밸런싱 장치에 의해 광역 영 상 합성한 결과를 나타낸 영상이다.
도 8을 참조하면， 도 8의 (a)는 단순한 광역 영상 합성 결과， 도 8의 (b)는 자동 화이트 밸런스부 (110)에서 자동 화이트 밸런스를 수행한 결과， 도 8의 (c)는 광역 영상 합성 영상을 색상 보정부 (130)에서 색상 보정한 결과， 도 8의 (d)는 자 동 화이트 밸런스부 (110)의 자동 화이트 밸런스 수행과 색상 보정부 (130)의 색상 보정을 모두 적용한 결과를 나타낸다.
도 9는 도 6의 (b)를 본 발명에 따른 컬러 밸런싱 장치에 의해 광역 영상 합 성한 결과를 나타낸 영상이다.
도 9를 참조하면， 도 9의 (a)는 단순한 광역 영상 합성 결과， 도 9의 (b)는 자동 화이트 밸런스부 (110)에서 자동 화이트 밸런스를 수행한 결과， 도 9의 (c)는 광역 영상 합성 영상을 색상 보정부 (130)에서 색상 보정한 결과， 도 9의 (d)는 자 동 화이트 밸런스부 (110)의 자동 화이트 밸런스 수행과 색상 보정부 (130)의 색상 보정을 전부 적용한 결과를 나타낸다.
도 10은 도 6의 (c)를 본 발명에 따른 컬러 밸런싱 장치에 의해 광역 영상 합성한 결과를 나타낸 영상으로， 도 8 및 도 9와 마찬가지로 입력 영상들 간의 색 상차가 보정된 것을 확인할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스 템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프， 플로피 디스크， 광데이터 저장장치 등이 있으몌 또한 캐리어 웨이브 (예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매 체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나， 본 발 명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며， 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고， 그와 같은 변경 은 청구범위 기재의 범위 내에 있게 된다.

Claims

【청구의 범위】
【청구항 11
인접한 장면을 순차적으로 촬영하여 얻어진 복수의 입력 영상 각각에 대하여 상기 입력 영상을 대표하는 중립 색상 (neutral color)과 사전에 정의된 표준 광원 들의 색도 (chromatid ty)를 비교하여 상기 중립 색상과 가장 근접한 표준 광원을 기준 광원으로 결정하고, 상기 기준 광원을 기반으로 상기 입력 영상에 대한 화이 트 밸런스를 수행하는 자동 화이트 밸런스부; 및
상기 기준 광원을 기반으로 화이트 밸런스가 수행된 상기 복수의 입력 영상 을 합성하여 하나의 광역 영상을 생성하는 광역 영상 합성부；를 포함하는 것을 특 징으로 하는 다중 영상 합성을 위한 컬러 밸런싱 장치 .
【청구항 2]
제 1항에 있어서,
상기 광역 영상 내에서 서로 인접한 두 개씩의 입력 영상에 대하여 상기 두 개의 입력 영상 중에서 색도도 (chromaticity diagram)에서의 상기 중립 색상과 상 기 기준 광원 사이의 거리가 더 가까운 입력 영상의 색상을 기준으로 색상 보정을 수행하는 색상 보정부；를 더 포함하는 것을 특징으로 하는 다중 영상 합성을 위한 컬러 밸런싱 장치.
【청구항 3]
제 2항에 있어서，
상기 색상 보정부는 상기 광역 영상 내에서 순차적으로 인접한 세 개의 입력 영상인 제 1영상 내지 계 3영상에서 상기 제 2영상에 대하여 상기 제 1영상과 상기 제 3 영상이 모두 색상 보정의 기준이 되는 경우에, 상기 게 2영상에서 상기 제 1영상에 가까운 화소들의 색상은 상기 제 1영상을 기준으로 보정하고, 상기 제 2영상에서 상 기 제 3영상에 가까운 화소들의 색상은 상기 제 3영상을 기준으로 보정하는 것을 특 징으로 하는 다중 영상 합성을 위한 컬러 밸런싱 장치.
【청구항 4]
제 2항 또는 제 3항에 있어서，
상기 색상 보정부는 색도도에서의 중립 색상과 표준 광원 사이의 거리가 사 전에 설정된 신뢰거리를 초과하는 입력 영상의 색상 보정을 수행하지 않는 것을 특 징으로 하는 다중 영상 합성을 위한 컬러 밸런싱 장치.
【청구항 5】
제 1항 내지 제 3항 중 어느 한 항에 있어서 , 상기 자동 화이트 밸런스부는 그레이 월드 (grey world) 가정， 화이트 패치 (white patch) 가정 및 컬러 클러스터링 (color clustering) 가정을 기초로 상기 입 력 영상의 중립 색상을 결정하는 것을 특징으로 하는 다중 영상 합성을 위한 컬러 밸런싱 장치 .
【청구항 6】
인접한 장면을 순차적으로 촬영하여 얻어진 복수의 입력 영상 각각에 대하여 상기 입력 영상을 대표하는 중립 색상 (neutral color)과 사전에 정의된 표준 광원 들의 색도 (chromaticity)를 비교하여 상기 중립 색상과 가장 근접한 표준 광원을 기준 광원으로 결정하고, 상기 기준 광원을 기반으로 상기 입력 영상에 대한 화이 트 밸런스를 수행하는 자동 화이트 밸런스 단계; 및
상기 기준 광원을 기반으로 화이트 밸런스가 수행된 상기 복수의 입력 영상 을 합성하여 하나의 광역 영상을 생성하는 광역 영상 합성 단계;를 포함하는 것을 특징으로 하는 다중 영상 합성을 위한 컬러 밸런싱 방법.
【청구항 7】
제 6항에 있어서，
상기 광역 영상 내에서 서로 인접한 두 개씩의 입력 영상에 대하여 상기 두 개의 입력 영상 중에서 색도도 (chromaticity diagram)에서의 상기 중립 색상과 상 기 기준 광원 사이의 거리가 더 가까운 입력 영상의 색상을 기준으로 색상 보정을 수행하는 색상 보정 단계;를 더 포함하는 것을 특징으로 하는 다중 영상 합성을 위 한 컬러 밸런싱 방법 .
【청구항 8】
제 7항에 있어서，
상기 색상 보정 단계에서， 상기 광역 영상 내에서 순차적으로 인접한 세 개 의 입력 영상인 제 1영상 내지 계 3영상에서 상기 제 2영상에 대하여 상기 제 1영상과 상기 계 3영상이 모두 색상 보정의 기준이 되는 경우에， 상기 제 2영상에서 상기 제 1 영상에 가까운 화소들의 색상은 상기 제 1영상을 기준으로 보정하고, 상기 제 2영상 에서 상기 제 3영상에 가까운 화소들의 색상은 상기 제 3영상을 기준으로 보정하는 것을 특징으로 하는 다중 영상 합성을 위한 컬러 밸런싱 방법.
【청구항 9】
제 7항 또는 제 8항에 있어서,
상기 색상 보정 단계에서， 색도도에서의 중립 색상과 표준 광원 사이의 거리 가 사전에 설정된 신뢰거리를 초과하는 입력 영상의 색상 보정을 수행하지 않는 것 을 특징으로 하는 다중 영상 합성을 위한 컬러 밸런싱 방법.
【청구항 10】
제 6항 내지 제 8항 중 어느 한 항에 있어서,
상기 자동 화이트 밸런스 단계는 그레이 월드 (grey world) 가정, 화이트 패 치 (white patch) 가정 및 컬러 클러스터링 (color clustering) 가정을 기초로 상기 입력 영상의 중립 색상을 결정하는 것을 특징으로 하는 다중 영상 합성을 위한 컬 러 밸런싱 방법.
【청구항 111
제 6항 내지 제 8항 중 어느 한 항에 기재된 다중 영상 합성을 위한 컬러 밸 런싱 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있 는 기록매체.
PCT/KR2012/000208 2011-06-13 2012-01-09 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법 WO2012173320A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US14/126,235 US9355471B2 (en) 2011-06-13 2012-01-09 Color balancing apparatus for multiple image synthesis and method therefor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2011-0056655 2011-06-13
KR1020110056655A KR101227082B1 (ko) 2011-06-13 2011-06-13 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법

Publications (1)

Publication Number Publication Date
WO2012173320A1 true WO2012173320A1 (ko) 2012-12-20

Family

ID=47357287

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2012/000208 WO2012173320A1 (ko) 2011-06-13 2012-01-09 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법

Country Status (3)

Country Link
US (1) US9355471B2 (ko)
KR (1) KR101227082B1 (ko)
WO (1) WO2012173320A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102599734B1 (ko) * 2020-12-28 2023-11-08 주식회사 라온솔루션 반도체 웨이퍼 칩 분석을 위한 자동 광학측정장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10308890A (ja) * 1997-05-09 1998-11-17 Sony Corp 画像撮像装置及び方法、画像処理装置及び方法
KR0150056B1 (ko) * 1994-08-12 1998-12-01 이대원 색보정 기능을 가지는 카메라
JP2009147465A (ja) * 2007-12-11 2009-07-02 Canon Inc カメラ制御装置、カメラ制御方法、カメラシステム、及びプログラム
KR100916484B1 (ko) * 2007-08-14 2009-09-08 삼성전기주식회사 자동 화이트 밸런스 방법

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6714249B2 (en) * 1998-12-31 2004-03-30 Eastman Kodak Company Producing panoramic digital images by digital camera systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0150056B1 (ko) * 1994-08-12 1998-12-01 이대원 색보정 기능을 가지는 카메라
JPH10308890A (ja) * 1997-05-09 1998-11-17 Sony Corp 画像撮像装置及び方法、画像処理装置及び方法
KR100916484B1 (ko) * 2007-08-14 2009-09-08 삼성전기주식회사 자동 화이트 밸런스 방법
JP2009147465A (ja) * 2007-12-11 2009-07-02 Canon Inc カメラ制御装置、カメラ制御方法、カメラシステム、及びプログラム

Also Published As

Publication number Publication date
KR20120137674A (ko) 2012-12-24
KR101227082B1 (ko) 2013-01-29
US20140126815A1 (en) 2014-05-08
US9355471B2 (en) 2016-05-31

Similar Documents

Publication Publication Date Title
US9767544B2 (en) Scene adaptive brightness/contrast enhancement
US9723285B2 (en) Multi-area white-balance control device, multi-area white-balance control method, multi-area white-balance control program, computer in which multi-area white-balance control program is recorded, multi-area white-balance image-processing device, multi-area white-balance image-processing method, multi-area white-balance image-processing program, computer in which multi-area white-balance image-processing program is recorded, and image-capture apparatus
US8311355B2 (en) Skin tone aware color boost for cameras
US6788813B2 (en) System and method for effectively performing a white balance operation
US10003779B2 (en) Multi-area white-balance control device, multi-area white-balance control method, multi-area white-balance control program, computer in which multi-area white-balance control program is recorded, multi-area white-balance image-processing device, multi-area white-balance image-processing method, multi-area white-balance image-processing program, computer in which multi-area white-balance image-processing program is recorded, and image-capture apparatus
US8941756B2 (en) Image processing apparatus, image processing method, and program
US8165396B2 (en) Digital image editing system and method for combining a foreground image with a background image
US7889245B2 (en) Automatic white balancing of a digital image
WO2007037327A1 (ja) 画像信号処理装置及び画像信号処理プログラム
US8704910B2 (en) Apparatus and method for classifying images
US8717460B2 (en) Methods and systems for automatic white balance
US20080292184A1 (en) Apparatus and method for automatically adjusting white balance
CN110930341A (zh) 一种基于图像融合的低光照图像增强方法
TW200418318A (en) Image processing device, method, and program
WO2012159586A1 (zh) 成像系统或图像输出系统中颜色畸变校正方法及装置
KR101373471B1 (ko) 스테레오 영상 보정 장치 및 그 방법
WO2012153661A1 (ja) 画像補正装置、画像補正表示装置、画像補正方法、プログラム、及び、記録媒体
KR101227082B1 (ko) 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법
KR101143834B1 (ko) 화이트 밸런스 보정 장치 및 방법
CN109600596B (zh) 一种非线性无色恒常的白平衡方法
EP2209298A1 (en) Method for adjusting white balance
CN112348904A (zh) 水下图像及水下视频色彩还原方法和装置
KR101903428B1 (ko) 연관 이미지간 컬러 보정 시스템 및 보정방법
Gil Rodríguez et al. Issues with common assumptions about the camera pipeline and their impact in hdr imaging from multiple exposures
KR101009367B1 (ko) 영상의 색상 신호 처리 시스템 및 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12800520

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 14126235

Country of ref document: US

122 Ep: pct application non-entry in european phase

Ref document number: 12800520

Country of ref document: EP

Kind code of ref document: A1