KR20120137674A - 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법 - Google Patents

다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법 Download PDF

Info

Publication number
KR20120137674A
KR20120137674A KR1020110056655A KR20110056655A KR20120137674A KR 20120137674 A KR20120137674 A KR 20120137674A KR 1020110056655 A KR1020110056655 A KR 1020110056655A KR 20110056655 A KR20110056655 A KR 20110056655A KR 20120137674 A KR20120137674 A KR 20120137674A
Authority
KR
South Korea
Prior art keywords
image
color
light source
input
images
Prior art date
Application number
KR1020110056655A
Other languages
English (en)
Other versions
KR101227082B1 (ko
Inventor
고성제
김승균
정승원
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020110056655A priority Critical patent/KR101227082B1/ko
Priority to US14/126,235 priority patent/US9355471B2/en
Priority to PCT/KR2012/000208 priority patent/WO2012173320A1/ko
Publication of KR20120137674A publication Critical patent/KR20120137674A/ko
Application granted granted Critical
Publication of KR101227082B1 publication Critical patent/KR101227082B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Abstract

다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법이 개시된다.
자동 화이트 밸런스부는 인접한 장면을 순차적으로 촬영하여 얻어진 복수의 입력 영상 각각에 대하여 입력 영상을 대표하는 중립 색상(neutral color)과 사전에 정의된 표준 광원들의 색도(chromaticity)를 비교하여 중립 색상과 가장 근접한 표준 광원을 기준 광원으로 결정하고, 기준 광원을 기반으로 입력 영상에 대한 화이트 밸런스를 수행하고, 광역 영상 합성부는 기준 광원을 기반으로 화이트 밸런스가 수행된 복수의 입력 영상을 합성하여 하나의 광역 영상을 생성한다. 본 발명에 따르면, 기존의 광역 영상 합성의 복잡한 연산을 피하고, 다중 광원을 고려한 광원 예측 기법을 통해 자연스런 광역 합성 영상을 생성할 수 있다.

Description

다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법{Apparatus and method for color balancing of multi image stitch}
본 발명은 다중 영상 합성을 위한 컬러 밸런싱 기법에 관한 것으로, 보다 상세하게는, 복수의 입력 영상으로부터 파노라마 영상과 같은 광역 영상을 생성하는 영상 합성 장치에서 합성된 입력 영상간 색상 차이를 감소시키는 컬러 밸런싱 장치 및 방법에 관한 것이다.
광역 영상 합성 기술은 모바일폰 카메라나 디지털 카메라 등에서 영상을 획득시, 한정된 시야각을 극복하기 위한 대안으로 연속된 입력 영상들을 연결하여 하나의 광역 영상으로 만드는 기술을 말한다.
기존의 연구에서는 영상 합성을 수행할 때 여러 영상들 간의 자연스런 합성을 위하여 알파 블렌딩(α-blending) 알고리즘을 적용하였다. 대표적인 블렌딩 알고리즘 중 하나인 알파 블렌딩 알고리즘은 두 영상을 혼합하기 위하여 두 영상을 적당한 비율로 섞어서 영상이 겹쳐 보이도록 하는 것이다. 하지만 알파 블렌딩 알고리즘은 서로 완벽하게 일치하지 않는 영상에 적용될 경우 영상이 겹쳐보이는 고스트 현상을 야기하는 문제가 있다.
한편, 동일한 지역에 대하여 촬영된 영상이라도 촬영하고자 하는 물체의 물리적 특성, 해당 촬영 장소의 조명, 카메라 자체의 특성 등과 같은 여러 가지 요소에 의해 영향을 받는다. 이러한 경우 특히 서로 다른 조명에서 촬영된 영상의 색상 차는 자동 화이트 밸런스(Automatic White Balance : AWB) 알고리즘을 이용하여 줄일 수 있으나 다른 요소로 인한 색상 차는 여전히 존재한다.
또한, 기존 알고리즘들은 모바일 기기에서 영상 광역 합성 애플리케이션에 바로 적용되기에는 연산량이 지나치게 많다는 단점을 공통으로 갖는다.
따라서 기존 알고리즘의 복잡한 연산을 피하는 한편, 합성된 입력 영상간 색상 차이를 감소시켜 자연스러운 광역 합성 영상을 생성하는 컬러 밸런싱 장치 및 방법이 필요하다.
본 발명이 이루고자 하는 기술적 과제는 기존의 광역 영상 합성의 복잡한 연산을 피하고, 다중 광원을 고려한 광원 예측 기법을 통해 자연스런 광역 합성 영상을 생성하는 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 기존의 광역 영상 합성의 복잡한 연산을 피하고, 다중 광원을 고려한 광원 예측 기법을 통해 자연스런 광역 합성 영상을 생성하는 다중 영상 합성을 위한 컬러 밸런싱 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 다중 영상 합성을 위한 컬러 밸런싱 장치는, 인접한 장면을 순차적으로 촬영하여 얻어진 복수의 입력 영상 각각에 대하여 상기 입력 영상을 대표하는 중립 색상(neutral color)과 사전에 정의된 표준 광원들의 색도(chromaticity)를 비교하여 상기 중립 색상과 가장 근접한 표준 광원을 기준 광원으로 결정하고, 상기 기준 광원을 기반으로 상기 입력 영상에 대한 화이트 밸런스를 수행하는 자동 화이트 밸런스부; 및 상기 기준 광원을 기반으로 화이트 밸런스가 수행된 상기 복수의 입력 영상을 합성하여 하나의 광역 영상을 생성하는 광역 영상 합성부;를 구비한다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 다중 영상 합성을 위한 컬러 밸런싱 방법은, 인접한 장면을 순차적으로 촬영하여 얻어진 복수의 입력 영상 각각에 대하여 상기 입력 영상을 대표하는 중립 색상(neutral color)과 사전에 정의된 표준 광원들의 색도(chromaticity)를 비교하여 상기 중립 색상과 가장 근접한 표준 광원을 기준 광원으로 결정하고, 상기 기준 광원을 기반으로 상기 입력 영상에 대한 화이트 밸런스를 수행하는 자동 화이트 밸런스 단계; 및 상기 기준 광원을 기반으로 화이트 밸런스가 수행된 상기 복수의 입력 영상을 합성하여 하나의 광역 영상을 생성하는 광역 영상 합성 단계;를 가진다.
본 발명에 따른 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법에 의하면, 기존의 광역 영상 합성의 복잡한 연산을 피하고, 다중 광원을 고려한 광원 예측 기법을 통해 자연스런 광역 합성 영상을 생성할 수 있다.
도 1은 본 발명에 따른 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법에 대한 바람직한 실시 예의 구성을 도시한 블록도,
도 2는 여섯 개의 표준 광원과 그에 대응하는 신뢰거리를 나타낸 도면,
도 3은 기준 광원을 결정하고 광역 영상을 합성한 이후 색상 보정을 수행하는 4가지 유형을 설명하는 도면,
도 4는 색상 보정을 수행하고자 하는 입력 영상에 인접한 복수의 입력 영상이 입력 영상에 대하여 모두 색상 보정의 기준이 되는 경우 색상 보정 기준을 나타내는 도면,
도 5는 본 발명에 따른 컬러 밸런싱 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도,
도 6은 광역 영상을 합성하기 위한 복수의 소스 영상,
도 7은 도 6의 영상들을 기존의 광역 영상 합성 방법을 이용하여 합성한 결과를 나타낸 영상,
도 8은 도 6의 (a)를 본 발명에 따른 컬러 밸런싱 장치에 의해 광역 영상 합성한 결과를 나타낸 영상,
도 9는 도 6의 (b)를 본 발명에 따른 컬러 밸런싱 장치에 의해 광역 영상 합성한 결과를 나타낸 영상, 그리고,
도 10은 도 6의 (c)를 본 발명에 따른 컬러 밸런싱 장치에 의해 광역 영상 합성한 결과를 나타낸 영상이다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법의 바람직한 실시예에 대해 상세하게 설명한다.
도 1은 본 발명에 따른 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 다중 영상 합성을 위한 컬러 밸런싱 장치는 자동 화이트 밸런스부(110), 광역 영상 합성부(120) 및 색상 보정부(130)를 구비한다.
자동 화이트 밸런스부(110)는 입력 영상을 대표하는 중립 색상(neutral color)을 기반으로 입력 영상의 기준 광원을 결정한 후 결정된 기준 광원에 따라 화이트 밸런스(Automatic White Balance : AWB)를 수행한다. 이하 자동 화이트 밸런스부(110)가 입력 영상의 기준 광원을 예측하는 과정을 먼저 설명한 후 화이트 밸런스 수행에 관하여 설명한다.
자동 화이트 밸런스부(110)는 우선 입력 영상을 대표하는 중립 색상을 추출한 후 이를 기반으로 기준 광원을 결정한다. 이때 자동 화이트 밸런스부(110)는 광역 영상 합성을 하기 위한 입력 영상에 다중 표준 광원이 존재할 수 있다고 가정한다.
자동 화이트 밸런스부(110)는 중립 색상을 결정하기 위해 다중 가정 기반의 광원 예측기법을 사용할 수 있다. 다중 가정 기반의 광원 예측 기법에서는 그레이 월드(grey world) 가정, 화이트 패치(white patch) 가정 및 컬러 클러스터링(color clustering) 가정을 통해서 중립 색상(neutral color)을 결정한다.
자동 화이트 밸런스부(110)는 각각의 입력 영상에 대하여 중립 색상을 결정한 후 국제 조명 위원회(CIE)에서 채택한 표준 광원의 색도(chromaticity)와 중립 색상을 비교하여 색도도(chromaticity diagram)에서 중립 색상과 표준 광원과의 거리가 가장 짧은 표준 광원을 해당 입력 영상의 기준 광원으로 결정한다. 또한 기준 광원이 정확하게 결정되었는지 판단하는 기준으로서 각각의 표준 광원에 대하여 색도도에서의 신뢰거리를 설정할 수 있다.
도 2은 여섯 개의 표준 광원과 그에 대응하는 신뢰거리를 나타낸 도면이다.
도 2을 참조하면, 중립 색상의 신뢰성을 확보하기 위하여 각각의 표준 광원마다 신뢰거리(confidence region : CR)가 설정되어 있다. 입력 영상이 붉은 노을, 인공 컬러 조명 등의 특수한 광원에서 촬영된 경우를 제외하면 일반적으로 영상의 중립 색상과 기준 광원 사이의 거리는 해당 기준 광원에 대하여 설정된 신뢰거리 내에 포함된다. 즉, 중립 색상의 색도가 모든 표준 광원의 신뢰거리 밖에서 검출된다면 해당 입력 영상에 대한 광원 예측은 잘못된 것으로 판단할 수 있다.
또한, 자동 화이트 밸런스부(110)는 합성될 입력 영상들의 기준 광원이 다중 광원일 수도 있음을 고려하여 다음과 같이 판단한다. NCi와 stdi를 각각 i번째 입력 영상의 중립 색상(Neutral Color : NC)과 기준 광원(standard illuminant)이라고 정의하고, 색도도에서 NCi와 stdi의 차이에 절대값을 취한 값이 CR 보다 작거나 같을 때 stdi를 i번째 입력 영상의 기준 광원으로 채택한다. 또한 i번째와 j번째의 두 입력 영상이 다음의 수학식 1을 만족하고 stdi와 stdj가 서로 다르면 두 입력 영상은 서로 다른 광원에서 촬영된 것으로 본다.
Figure pat00001
자동 화이트 밸런스부(110)는 이상에서 설명한 과정에 의해 각각의 입력 영상의 기준 광원이 결정되면 RGB 색상 채널에 대한 색상 이득 인자(color gain factor)를 입력 영상 각각에 대하여 독립적으로 계산한 후에 화이트 밸런스를 수행한다.
화이트 밸런스란 각각의 다른 색 온도를 갖는 조명 조건에서 촬영했을 때, CMOS 또는 CCD 이미지 센서가 정확한 백색을 인식하지 못해서 촬영 이미지의 적색(R), 녹색(G), 청색(B) 성분이 한쪽으로 편향되어 영상의 색조가 왜곡되는 현상을 보정하는 것을 말한다.
이때 본 발명에 따른 컬러 밸런싱 장치의 바람직한 실시 예에서는 화이트 밸런스 방법으로 그레이 월드 가정(Grey World Assumption : GWA)에 기반한 von Kries 방법을 사용할 수 있다.
GWA이란 세상의 모든 컬러의 조합은 무채색이 된다는 이론으로 영상 내에 다양한 컬러가 존재할 때 한 영상 내의 전체적인 평균은 무채색이 된다는 이론이다. 이때, 무채색이란 밝기만 존재하고 색 성분이 없는 것으로, RGB 각 채널의 평균이 같다는 것을 의미한다. 이러한 GWA 가정을 기반으로 각 채널에서 구한 평균이 같도록 만들어 주는 것이 von Kries 방법이다.
다음으로 광역 영상 합성부(120)는 자동 화이트 밸런스부(110)에서 화이트 밸런스를 수행한 입력 영상들을 광역 영상으로 합성한다. 이때 본 발명에 따른 컬러 밸런싱 장치의 바람직한 실시 예에서는 광역 영상 합성 방법으로 Matthew Brown 이 "Automatic panoramic image stitching using invariant features" 에서 제안한 방법을 사용할 수 있다.
Brown의 방법은 먼저 각 영상에서 스케일 불변 요소 변환(Scale Invariant Feature Transform : SIFT)값을 찾는다. 그 후 SIFT값을 이용하여 서로 다른 두 영상에서 같은 점이라고 판별되어 매칭되는 점들을 구하고, 이것들로부터 영상을 회전, 평행이동시켜 광역 영상 합성을 수행한다.
한편, 이와 같이 각각의 입력 영상에 대해 화이트 밸런스가 수행된 후 광역 영상으로 합성되었을 때 서로 인접한 입력 영상 사이에서 색상의 불일치가 발생할 수 있다. 따라서 광역 영상이 생성된 후 각각의 입력 영상에 대응하는 영역에 대하여 추가적으로 색상 보정을 수행할 수 있다.
색상 보정부(130)는 광역 영상 내에서 서로 인접한 두 개씩의 입력 영상에 대하여 두 개의 입력 영상 중에서 색도도(chromaticity diagram)에서의 중립 색상과 기준 광원 사이의 거리가 더 가까운 입력 영상의 색상을 기준으로 색상 보정을 수행한다.
일 예로서, 1 내지 n의 복수의 입력 영상이 일방향으로 순차적으로 결합되어 광역 영상으로 합성된 후 색상 보정부(130)는 먼저 제1, 제2 입력 영상 중에서 어느 하나의 입력 영상을 기준으로 색상 보정을 수행하고 다음으로 제2, 제3 입력 영상 중에서 어느 하나의 입력 영상을 기준으로 색상 보정을 수행한다. 이러한 색상 보정은 n번째 입력 영상까지 반복 수행된다.
도 3은 각각의 입력 영상에 대하여 기준 광원을 결정하고 광역 영상을 합성한 이후 색상 보정을 수행하는 4가지 유형을 설명하는 도면이다.
도 3을 참조하면, 색상 보정부(130)는 광역 영상을 합성한 이후 광역 영상 내의 각 입력 영상을 C1,C2,C3 세 가지 유형으로 나누고, 그 유형에 따른 색상 보정 방법을 4가지 유형으로 분류한다.
먼저 입력 영상의 세 가지 유형을 설명한다. 첫째, 색상 보정의 대상이 되는 두 개의 입력 영상 중에서 색도도(chromaticity diagram)에서의 중립 색상과 기준 광원 사이의 거리가 더 가까운 입력 영상을 C1으로 정의한다.
둘째, 두 개의 입력 영상 중에서 색도도(chromaticity diagram)에서의 중립 색상과 기준 광원 사이의 거리가 더 먼 입력 영상을 C2로 정의한다.
색상 보정부(130)는 인접한 두 입력 영상이 각각 C1과 C2 유형에 해당하는 경우에는 C1 유형의 입력 영상(I1)이 C2 유형의 입력 영상(I2)보다 높은 우선순위를 갖는 것으로 결정하고, I2 영상의 색상 분포를 I1 영상의 색상 분포에 맞추어 보정한다.
셋째, 입력 영상의 중립 색상이 색도도에서 기준 광원으로부터의 신뢰거리 내에 포함되지 않는 경우에는 입력 영상을 C3으로 정의한다. 이때 색상 보정부(130)는 입력 영상의 기준 광원 예측이 잘못되었다고 판단하고, 해당 입력 영상에 대하여 색상 보정을 수행하지 않고 그대로 유지한다.
다음으로 색상 보정부(130)에서 입력 영상의 C1, C2, C3 유형에 따라 색상 보정을 수행하는 방법을 자세히 설명한다. 기본적으로 중립 색상이 기준 광원에 가까울수록 더 자연스럽고 생생한 색상을 표현할 수 있기 때문에 C1 유형의 입력 영상이 C2 유형의 입력 영상에 대하여 색상 보정의 기준이 된다.
도 3의 (a)는 I1 영상이 C1 유형이고 I2 영상이 C2 유형인 경우이다. 따라서 I1 영상이 I2 영상에 대하여 색상 보정의 기준이 된다. 따라서 색상 보정부(130)는 I2 영상의 색상 분포가 I1 영상에 맞추어지도록 보정한다. 이때 색상 보정은 다음의 수학식 2와 수학식 3에 의하여 수행된다.
Figure pat00002
Figure pat00003
수학식 2와 3에서 A21은 I2 영상에 적용되는 색상 보정 행렬이고, 행렬의 성분인 α, β, γ는 각각 R, G, B 성분에 적용되는 이득(gain) 값이다. α는 광역 영상 내에서 두 입력 영상이 겹쳐지는 영역에서의 R값들의 비율로 정의되고, β와 γ 또한 같은 방법으로 두 영상이 겹쳐지는 영역에서의 G, B 값들의 비율로 정의된다.
도 3의 (b)는 I1 영상이 C1 유형이고 I2 영상이 C3 유형인 경우이다. 이때는 I2 영상에 대한 기준 광원 예측이 잘못된 경우이므로 색상 보정부(130)는 I2 영상의 색상 보정을 수행하지 않는다.
도 3의 (c)는 I1 영상과 I2 영상이 모두 C1 유형인 경우이다. 이러한 경우에도 각 영상에 대한 중립 색상과 기준 광원 사이의 거리가 동일하지 않다면 중립 색상과 기준 광원 사이의 거리가 가까운 영상을 기준으로 색상 보정이 수행될 수 있다.
도 3의 (d)는 I1 영상과 I2 영상이 모두 C3 유형인 경우이다. 이때는 I1 영상과 I2 영상에 대한 기준 광원 예측이 모두 잘못된 경우이므로 색상 보정부(130)는 I1 영상과 I2 영상에 대하여 색상 보정을 수행하지 않는다.
도 4는 색상 보정을 수행하고자 하는 입력 영상에 인접한 복수의 입력 영상이 입력 영상에 대하여 색상 보정의 기준이 되는 경우 색상 보정 기준을 나타내는 도면이다.
도 4를 참조하면, 광역 영상 내에서 순차적으로 인접한 I1 영상 내지 I3 영상 중에서 I2 영상은 C2 유형이고, I1 영상 및 I3 영상은 C1 유형이다. 따라서 색상 보정부(130)에 의한 색상 보정시 I1 영상이 I2 영상에 대하여 색상 보정의 기준이 되고 동시에 I3 영상이 I2 영상에 대하여 C1이 되어 색상 보정의 기준이 될 수 있다. 이때 색상 보정부(130)가 I3 영상에 맞추어 I2 영상의 색상을 보정하면 I1 영상과 I2 영상의 겹쳐지는 영역에서 색상 차이가 커지는 문제가 발생한다.
따라서 이런 경우에 색상 보정부(130)는 I1 영상 및 I3 영상이 모두 I2 영상의 색상 보정에 영향을 미칠 수 있도록 다음의 수학식 4에 의해 I2 영상의 색상을 보정한다. 즉, I2 영상에서 I1영상에 가까운 화소들은 I1 영상의 색상 분포를 기준으로 보정하고, I2영상에서 I3 영상에 가까운 화소들은 I3 영상의 색상 분포를 기준으로 보정한다.
Figure pat00004
이때 d21은 I2 영상의 (i,j) 화소로부터 I1 영상의 중심점까지의 거리, d23은 I2 영상의 (i,j) 화소로부터 I3 영상의 중심점까지의 거리를 나타낸다. 따라서, 수학식 4와 같이 I1 영상 및 I3 영상을 기준으로 하는 두 개의 보정 행렬을 결합함으로써 인접한 두 영상 간의 색상을 자연스럽게 합성할 수 있다.
도 5는 본 발명에 따른 컬러 밸런싱 방법에 대한 바람직한 실시예의 수행과정을 도시한 흐름도이다.
도 5를 참조하면, 자동 화이트 밸런스부(110)는 다중 가정 기반의 광원 예측기법을 사용하여 복수의 입력 영상 각각의 중립 색상(neutral color)을 추출한 후 기준 광원을 결정한다(S1100). 다음으로 자동 화이트 밸런스부(110)는 기준 광원을 결정한 후 RGB 색상 채널에 대한 색상 이득 인자(color gain factor)를 입력 영상 각각에 대하여 독립적으로 계산한 후에 화이트 밸런스를 수행한다(S1200).
광역 영상 합성부(120)는 자동 화이트 밸런스부(110)에서 화이트 밸런스를 수행한 입력 영상들을 광역 영상으로 합성한다(S1300).
색상 보정부(130)는 광역 영상 내에서 서로 인접한 두 개의 인접 영상 중 중립 색상과 기준 광원 간의 색도도(chromaticity diagram)에서의 거리가 더 가까운 입력 영상을 색상 보정의 기준으로 인접한 두 입력 영상의 중립 색상과 기준 광원 간의 비율을 이용하여 이득 인자(gain factor)를 구한 후, 이를 RGB 색상 채널에 적용하여 색상 보정을 수행한다(S1400).
본 발명의 성능을 평가하기 위한 실험을 수행하였다.
도 6은 광역 영상 합성을 하기 위한 복수의 영상으로, 일반 컴팩트 디지털 카메라에서 자동 화이트 밸런스 기능을 켠 상태로 촬영한 800*600 영상이다.
도 7은 도 6의 영상들을 기존의 광역 영상 합성 방법을 이용하여 합성한 결과를 나타낸 영상이다.
또한 도 8은 도 6의 (a)를 본 발명에 따른 컬러 밸런싱 장치에 의해 광역 영상 합성한 결과를 나타낸 영상이다.
도 8을 참조하면, 도 8의 (a)는 단순한 광역 영상 합성 결과, 도 8의 (b)는 자동 화이트 밸런스부(110)에서 자동 화이트 밸런스를 수행한 결과, 도 8의 (c)는 광역 영상 합성 영상을 색상 보정부(130)에서 색상 보정한 결과, 도 8의 (d)는 자동 화이트 밸런스부(110)의 자동 화이트 밸런스 수행과 색상 보정부(130)의 색상 보정을 모두 적용한 결과를 나타낸다.
도 9는 도 6의 (b)를 본 발명에 따른 컬러 밸런싱 장치에 의해 광역 영상 합성한 결과를 나타낸 영상이다.
도 9를 참조하면, 도 9의 (a)는 단순한 광역 영상 합성 결과, 도 9의 (b)는 자동 화이트 밸런스부(110)에서 자동 화이트 밸런스를 수행한 결과, 도 9의 (c)는 광역 영상 합성 영상을 색상 보정부(130)에서 색상 보정한 결과, 도 9의 (d)는 자동 화이트 밸런스부(110)의 자동 화이트 밸런스 수행과 색상 보정부(130)의 색상 보정을 전부 적용한 결과를 나타낸다.
도 10은 도 6의 (c)를 본 발명에 따른 컬러 밸런싱 장치에 의해 광역 영상 합성한 결과를 나타낸 영상으로, 도 8 및 도 9와 마찬가지로 입력 영상들 간의 색상차가 보정된 것을 확인할 수 있다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다.
컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
110 - 자동 화이트 밸런스부
120 - 광역 영상 합성부
130 - 색상 보정부

Claims (11)

  1. 인접한 장면을 순차적으로 촬영하여 얻어진 복수의 입력 영상 각각에 대하여 상기 입력 영상을 대표하는 중립 색상(neutral color)과 사전에 정의된 표준 광원들의 색도(chromaticity)를 비교하여 상기 중립 색상과 가장 근접한 표준 광원을 기준 광원으로 결정하고, 상기 기준 광원을 기반으로 상기 입력 영상에 대한 화이트 밸런스를 수행하는 자동 화이트 밸런스부; 및
    상기 기준 광원을 기반으로 화이트 밸런스가 수행된 상기 복수의 입력 영상을 합성하여 하나의 광역 영상을 생성하는 광역 영상 합성부;를 포함하는 것을 특징으로 하는 다중 영상 합성을 위한 컬러 밸런싱 장치.
  2. 제 1항에 있어서,
    상기 광역 영상 내에서 서로 인접한 두 개씩의 입력 영상에 대하여 상기 두 개의 입력 영상 중에서 색도도(chromaticity diagram)에서의 상기 중립 색상과 상기 기준 광원 사이의 거리가 더 가까운 입력 영상의 색상을 기준으로 색상 보정을 수행하는 색상 보정부;를 더 포함하는 것을 특징으로 하는 다중 영상 합성을 위한 컬러 밸런싱 장치.
  3. 제 2항에 있어서,
    상기 색상 보정부는 상기 광역 영상 내에서 순차적으로 인접한 세 개의 입력 영상인 제1영상 내지 제3영상에서 상기 제2영상에 대하여 상기 제1영상과 상기 제3영상이 모두 색상 보정의 기준이 되는 경우에, 상기 제2영상에서 상기 제1영상에 가까운 화소들의 색상은 상기 제1영상을 기준으로 보정하고, 상기 제2영상에서 상기 제3영상에 가까운 화소들의 색상은 상기 제3영상을 기준으로 보정하는 것을 특징으로 하는 다중 영상 합성을 위한 컬러 밸런싱 장치.
  4. 제 2항 또는 제 3항에 있어서,
    상기 색상 보정부는 색도도에서의 중립 색상과 표준 광원 사이의 거리가 사전에 설정된 신뢰거리를 초과하는 입력 영상의 색상 보정을 수행하지 않는 것을 특징으로 하는 다중 영상 합성을 위한 컬러 밸런싱 장치.
  5. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    상기 자동 화이트 밸런스부는 그레이 월드(grey world) 가정, 화이트 패치(white patch) 가정 및 컬러 클러스터링(color clustering) 가정을 기초로 상기 입력 영상의 중립 색상을 결정하는 것을 특징으로 하는 다중 영상 합성을 위한 컬러 밸런싱 장치.
  6. 인접한 장면을 순차적으로 촬영하여 얻어진 복수의 입력 영상 각각에 대하여 상기 입력 영상을 대표하는 중립 색상(neutral color)과 사전에 정의된 표준 광원들의 색도(chromaticity)를 비교하여 상기 중립 색상과 가장 근접한 표준 광원을 기준 광원으로 결정하고, 상기 기준 광원을 기반으로 상기 입력 영상에 대한 화이트 밸런스를 수행하는 자동 화이트 밸런스 단계; 및
    상기 기준 광원을 기반으로 화이트 밸런스가 수행된 상기 복수의 입력 영상을 합성하여 하나의 광역 영상을 생성하는 광역 영상 합성 단계;를 포함하는 것을 특징으로 하는 다중 영상 합성을 위한 컬러 밸런싱 방법.
  7. 제 6항에 있어서,
    상기 광역 영상 내에서 서로 인접한 두 개씩의 입력 영상에 대하여 상기 두 개의 입력 영상 중에서 색도도(chromaticity diagram)에서의 상기 중립 색상과 상기 기준 광원 사이의 거리가 더 가까운 입력 영상의 색상을 기준으로 색상 보정을 수행하는 색상 보정 단계;를 더 포함하는 것을 특징으로 하는 다중 영상 합성을 위한 컬러 밸런싱 방법.
  8. 제 7항에 있어서,
    상기 색상 보정 단계에서, 상기 광역 영상 내에서 순차적으로 인접한 세 개의 입력 영상인 제1영상 내지 제3영상에서 상기 제2영상에 대하여 상기 제1영상과 상기 제3영상이 모두 색상 보정의 기준이 되는 경우에, 상기 제2영상에서 상기 제1영상에 가까운 화소들의 색상은 상기 제1영상을 기준으로 보정하고, 상기 제2영상에서 상기 제3영상에 가까운 화소들의 색상은 상기 제3영상을 기준으로 보정하는 것을 특징으로 하는 다중 영상 합성을 위한 컬러 밸런싱 방법.
  9. 제 7항 또는 제 8항에 있어서,
    상기 색상 보정 단계에서, 색도도에서의 중립 색상과 표준 광원 사이의 거리가 사전에 설정된 신뢰거리를 초과하는 입력 영상의 색상 보정을 수행하지 않는 것을 특징으로 하는 다중 영상 합성을 위한 컬러 밸런싱 방법.
  10. 제 6항 내지 제 8항 중 어느 한 항에 있어서,
    상기 자동 화이트 밸런스 단계는 그레이 월드(grey world) 가정, 화이트 패치(white patch) 가정 및 컬러 클러스터링(color clustering) 가정을 기초로 상기 입력 영상의 중립 색상을 결정하는 것을 특징으로 하는 다중 영상 합성을 위한 컬러 밸런싱 방법.
  11. 제 6항 내지 제 8항 중 어느 한 항에 기재된 다중 영상 합성을 위한 컬러 밸런싱 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020110056655A 2011-06-13 2011-06-13 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법 KR101227082B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110056655A KR101227082B1 (ko) 2011-06-13 2011-06-13 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법
US14/126,235 US9355471B2 (en) 2011-06-13 2012-01-09 Color balancing apparatus for multiple image synthesis and method therefor
PCT/KR2012/000208 WO2012173320A1 (ko) 2011-06-13 2012-01-09 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110056655A KR101227082B1 (ko) 2011-06-13 2011-06-13 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120137674A true KR20120137674A (ko) 2012-12-24
KR101227082B1 KR101227082B1 (ko) 2013-01-29

Family

ID=47357287

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110056655A KR101227082B1 (ko) 2011-06-13 2011-06-13 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법

Country Status (3)

Country Link
US (1) US9355471B2 (ko)
KR (1) KR101227082B1 (ko)
WO (1) WO2012173320A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220093635A (ko) * 2020-12-28 2022-07-05 주식회사 라온솔루션 반도체 웨이퍼 칩 분석을 위한 자동 광학측정장치

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR0150056B1 (ko) * 1994-08-12 1998-12-01 이대원 색보정 기능을 가지는 카메라
JPH10308890A (ja) * 1997-05-09 1998-11-17 Sony Corp 画像撮像装置及び方法、画像処理装置及び方法
US6714249B2 (en) * 1998-12-31 2004-03-30 Eastman Kodak Company Producing panoramic digital images by digital camera systems
KR100916484B1 (ko) * 2007-08-14 2009-09-08 삼성전기주식회사 자동 화이트 밸런스 방법
JP5180570B2 (ja) 2007-12-11 2013-04-10 キヤノン株式会社 カメラ制御装置、カメラ制御方法、カメラシステム、及びプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220093635A (ko) * 2020-12-28 2022-07-05 주식회사 라온솔루션 반도체 웨이퍼 칩 분석을 위한 자동 광학측정장치

Also Published As

Publication number Publication date
US9355471B2 (en) 2016-05-31
KR101227082B1 (ko) 2013-01-29
WO2012173320A1 (ko) 2012-12-20
US20140126815A1 (en) 2014-05-08

Similar Documents

Publication Publication Date Title
US9723285B2 (en) Multi-area white-balance control device, multi-area white-balance control method, multi-area white-balance control program, computer in which multi-area white-balance control program is recorded, multi-area white-balance image-processing device, multi-area white-balance image-processing method, multi-area white-balance image-processing program, computer in which multi-area white-balance image-processing program is recorded, and image-capture apparatus
US8311355B2 (en) Skin tone aware color boost for cameras
US7394930B2 (en) Automatic white balancing of colour gain values
US10003779B2 (en) Multi-area white-balance control device, multi-area white-balance control method, multi-area white-balance control program, computer in which multi-area white-balance control program is recorded, multi-area white-balance image-processing device, multi-area white-balance image-processing method, multi-area white-balance image-processing program, computer in which multi-area white-balance image-processing program is recorded, and image-capture apparatus
US7652717B2 (en) White balance correction in digital camera images
EP2426928B1 (en) Image processing apparatus, image processing method and program
US11277595B2 (en) White balance method for image and terminal device
EP1819143A1 (en) Color adjusting device and method
US8704910B2 (en) Apparatus and method for classifying images
WO2015113881A1 (en) Method for conversion of a saturated image into a non-saturated image
KR20070090224A (ko) 전자 색 이미지 채도 처리 방법
US20080292184A1 (en) Apparatus and method for automatically adjusting white balance
KR20110016505A (ko) 컬러 조정
US20100238317A1 (en) White balance processing apparatus, method for processing white balance, and white balance processing program
KR101373471B1 (ko) 스테레오 영상 보정 장치 및 그 방법
KR20130058972A (ko) 자동 영상보정을 위한 영상 처리 장치 및 방법
KR101227082B1 (ko) 다중 영상 합성을 위한 컬러 밸런싱 장치 및 방법
JP6196882B2 (ja) マルチエリアホワイトバランス制御装置、マルチエリアホワイトバランス制御方法、マルチエリアホワイトバランス制御プログラム、マルチエリアホワイトバランス制御プログラムを記録したコンピュータ、マルチエリアホワイトバランス画像処理装置、マルチエリアホワイトバランス画像処理方法、マルチエリアホワイトバランス画像処理プログラム、マルチエリアホワイトバランス画像処理プログラムを記録したコンピュータ及びマルチエリアホワイトバランス画像処理装置を備えた撮像装置
WO2016113407A1 (en) Methods and apparatus for groupwise contrast enhancement
KR101131109B1 (ko) 센서 특성을 고려한 화이트 검출에 의한 자동 화이트밸런스 설정방법
KR102260573B1 (ko) 각각 다양한 조명에서 촬영된 인물 사진이 함께 놓인 레이아웃에 대한 색보정 방법 및 장치
EP2209298A1 (en) Method for adjusting white balance
KR101903428B1 (ko) 연관 이미지간 컬러 보정 시스템 및 보정방법
CN112348904A (zh) 水下图像及水下视频色彩还原方法和装置
KR102315200B1 (ko) 자동 화이트 밸런스를 위한 영상 처리 장치 및 그 처리 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160118

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170109

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180108

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20190114

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20200120

Year of fee payment: 8