KR20210069597A

KR20210069597A - 화이트 밸런싱을 수행하는 방법

Info

Publication number: KR20210069597A
Application number: KR1020200167654A
Authority: KR
Inventors: 정영제; 김은정; 이영은; 전성하; 변재운; 이상욱; 오찬수
Original assignee: 한화테크윈 주식회사
Priority date: 2019-12-03
Filing date: 2020-12-03
Publication date: 2021-06-11

Abstract

서로 다른 방향의 영상 센서들을 구비한 파노라믹 카메라 내의 프로세서가 화이트 밸런싱(white balancing)을 수행하는 방법에 있어서, 프로세서는 영상 센서들 각각으로부터의 각각의 입력 영상에 대하여 총 적색 게인(RGain_GL)에 대한 각각의 적색 게인(RGain_1~N)의 비(比)인 각각의 적색 게인 비(RGainRA₁ _~N)를 구한다. 프로세서는 각각의 입력 영상에 대하여 총 청색 게인(BGain_GL)에 대한 각각의 청색 게인(BGain_1~N)의 비(比)인 각각의 청색 게인 비(BGainRA₁ _~N)를 구한다. 프로세서는, 총 입력 영상에 대하여 화이트 밸런싱을 수행하되, 각각의 입력 영상에 대하여 각각의 적색 게인 비(RGainRA₁ _~N) 및 각각의 청색 게인 비(BGainRA₁ _~N)를 적용하여 화이트 밸런싱을 수행한다.

Description

화이트 밸런싱을 수행하는 방법{Method of performing white balancing}

본 발명은, 화이트 밸런싱(white balancing)을 수행하는 방법에 관한 것으로서, 보다 상세하게는, 서로 다른 방향의 영상 센서들을 구비한 파노라믹 카메라 내의 프로세서가 화이트 밸런싱(white balancing)을 수행하는 방법에 관한 것이다.

카메라 또는 디스플레이 장치의 프로세서에 의하여 수행되는 화이트 밸런싱(white balancing)은 고화질의 영상을 출력하기 위하여 필요하다. 특히, 고배율 줌 카메라, 사물 인터넷(IOT : Internet Of Things)용 카메라, B2C(Business To Consumer)용 카메라, 액션 캠(Action Cam), 및 착용(wearable) 카메라와 같이 고화질이 요구되는 카메라의 경우, 고성능의 화이트 밸런싱이 요구된다.

서로 다른 방향의 영상 센서들을 구비한 파노라믹 카메라 내의 프로세서가 화이트 밸런싱(white balancing)을 수행함에 있어서, 통상적으로, 영상 센서들로부터의 총 입력 영상에 대하여 화이트 밸런싱을 수행한다. 즉, 영상 센서들로부터의 총 입력 영상을 하나의 영상으로 간주되어, 총 입력 영상은 복수의 블록들로 구획되고, 화이트 영역에 해당하는 블록들 각각의 적색 게인(gain), 청색 게인, 및 가중값을 적용하여, 입력 영상의 모든 화소 값들을 보정한다.

하지만, 상기와 같이 파노라믹 카메라 내의 프로세서가 일체적으로 화이트 밸런싱을 수행함에도 불구하고, 상기 영상 센서들 각각으로부터의 각각의 입력 영상에서 서로 균일하지 않은 화이트가 나타나는 문제점이 발견되었다. 즉, 사용자가 상기 입력 영상들의 합성 영상에서 화질 이질감을 느낄 수 있는 문제점이 발견되었다. 이와 같은 문제점이 발생할 수 있는 원인은, 상기 영상 센서들의 고유한 특성들 사이에 차이점들이 있고, 일체적으로 화이트 밸런싱이 수행됨에도 불구하고 상기 차이점들이 미세하게 작용하는 데에 있다.

상기 배경 기술의 문제점은, 발명자가 본 발명의 도출을 위하여 보유하고 있었거나, 본 발명의 도출 과정에서 습득한 내용으로서, 반드시 본 발명의 출원 전에 일반 공중에게 공지된 내용이라 할 수 없다.

미국 등록 특허 제9420247호(출원인 : 한화테크윈 주식회사)

본 발명의 실시예는, 파노라믹 카메라 내의 프로세서가 화이트 밸런싱을 수행함에 있어서, 영상 센서들 각각으로부터의 각각의 입력 영상에서 서로 균일한 화이트가 나타날 수 있게 해주는 방법을 제공하고자 한다.

본 발명의 실시예는, 서로 다른 방향의 영상 센서들을 구비한 파노라믹 카메라 내의 프로세서가 화이트 밸런싱(white balancing)을 수행하는 방법으로서, 단계들 (S1) 내지 (S4)를 포함한다.

상기 단계 (S1)에서, 상기 프로세서는 상기 영상 센서들로부터의 총 입력 영상에 대한 총 적색 게인(RGain_GL) 및 총 청색 게인(BGain_GL)을 구한다.

상기 단계 (S2)에서, 상기 프로세서는 상기 영상 센서들 각각으로부터의 각각의 입력 영상에 대하여 상기 총 적색 게인(RGain_GL)에 대한 각각의 적색 게인(RGain_1-M)의 비(比)인 각각의 적색 게인 비(RGainRA_1-M)를 구한다.

상기 단계 (S3)에서, 상기 프로세서는 상기 각각의 입력 영상에 대하여 상기 총 청색 게인(BGain_GL)에 대한 각각의 청색 게인(BGain_1-M)의 비(比)인 각각의 청색 게인 비(BGainRA_1-M)를 구한다.

상기 단계 (S4)에서, 상기 프로세서는, 상기 총 입력 영상에 대하여 화이트 밸런싱을 수행하되, 상기 각각의 입력 영상에 대하여 상기 각각의 적색 게인 비(RGainRA_1-M) 및 상기 각각의 청색 게인 비(BGainRA₁ _-M)를 적용하여 화이트 밸런싱을 수행한다.

본 실시예의 상기 화이트 밸런싱(white balancing)을 수행하는 방법에 의하면, 상기 총 입력 영상에 대하여 화이트 밸런싱을 수행하되, 상기 영상 센서들 각각으로부터의 입력 영상에 대하여 상기 각각의 적색 게인 비(RGainRA₁ _-M) 및 상기 각각의 청색 게인 비(BGainRA_1-M)를 적용하여 화이트 밸런싱을 수행한다.

이에 따라, 상기 영상 센서들 각각으로부터의 각각의 입력 영상에서 서로 균일하지 않은 화이트가 나타나는 문제점이 최소화될 수 있다. 즉, 사용자가 상기 입력 영상들의 합성 영상에서 화질 이질감을 느낄 수 있는 문제점이 해소될 수 있다.

도 1은 본 발명의 일 실시예의 화이트 밸런싱(white balancing)을 수행하는 방법을 보여주는 흐름도이다.
도 2는 도 1의 단계 S4의 상세 단계들을 보여주는 흐름도이다.
도 3은 도 2의 단계 S401의 대상 프레임을 보여주는 도면이다.
도 4는 도 3에서의 어느 한 블록을 보여주는 도면이다.
도 5는 도 2에서의 단계 S405의 상세 단계들을 보여주는 흐름도이다.
도 6은 도 5의 단계 S4053에서의 기준-게인 좌표 영역이 설정됨을 보여주는 도면이다.
도 7은 도 5의 단계 S4054에서의 보정 매트릭스의 예를 보여주는 도면이다.
도 8은 도 1의 단계 S1의 상세 단계들을 보여주는 흐름도이다.
도 9는 도 1의 단계 S2의 상세 단계들을 보여주는 흐름도이다.
도 10은 도 1의 단계 S3의 상세 단계들을 보여주는 흐름도이다.
도 11은 도 2의 단계 (S402)를 수행하기 위하여 화이트 영역을 설정하는 방법을 보여주는 흐름도이다.
도 12는 도 11의 단계 S1101에서 구해진 화이트 영상들을 보여주는 도면이다.
도 13은 도 11의 단계 S1110에서 각각의 좌표가 2차원 그래프 상에 표시됨을 보여주는 도면이다.
도 14는 도 13에서 표시된 좌표들에 따라 화이트 영역이 설정됨을 보여주는 그래프이다.
도 15는 도 11의 단계들이 수행됨에 이어서 추가적으로 수행되는 설정 단계들을 보여주는 흐름도이다.
도 16은 도 15의 단계 S1501에 의하여 설정된 테이블의 예를 보여주는 도면이다.
도 17은 도 5의 단계 S4053 및 도 6에서의 기준-게인 좌표 영역이 설정되는 과정을 보여주는 흐름도이다.
도 18은 복수의 보정 매트릭스들 중에서 도 5의 단계 S4054에서 적용될 보정 매트릭스를 선택하는 방법을 보여주는 흐름도이다.
도 19는 도 2의 단계 S402를 수행하기 위하여 특정 색상 영역을 설정하는 방법을 보여주는 흐름도이다.
도 20은 도 19의 단계 S1901을 수행하기 위하여 촬영되는 컬러 체커(Color checker)의 보드를 보여주는 도면이다.
도 21은 도 19의 단계 S1908에서 특정 색상들 각각의 영역이 도 14의 화이트 영역과 함께 설정됨을 보여주는 그래프이다.
도 22는 도 19의 단계들이 수행됨에 이어서 추가적으로 수행되는 설정 단계들을 보여주는 흐름도이다.
도 23은 본 발명의 제2 실시예의 화이트 밸런싱(white balancing) 방법을 설명하기 위한 룩-업 테이블을 보여주는 도면이다.
도 24는 도 23에서의 총 적색 게인(RGain_GL)과 총 청색 게인(BGain_GL)을 좌표로 하는 그래프를 보여주는 도면이다.
도 25는 도 24에서 인접 좌표 점들이 직선으로 연결된 상태를 보여주는 도면이다.
도 26은 현재 조명의 좌표 점이 인접된 좌표 점들 사이에 위치함을 보여주는 도면이다.
도 27은 도 26의 상태에서 수행되는 보간 계산을 설명하기 위한 도면이다.
도 28은 본 발명의 제3 실시예의 화이트 밸런싱(white balancing) 방법을 설명하기 위한 총 입력 영상을 보여주는 도면이다.
도 29는 제3 실시예에 의하여 도 1의 단계 S1 및 S2가 변형된 결과의 흐름도이다.
도 30은 제3 실시예에 의하여 도 1의 단계 S3이 변형된 결과의 흐름도이다.

하기의 설명 및 첨부된 도면은 본 발명에 따른 동작을 이해하기 위한 것이며, 본 기술 분야의 통상의 기술자가 용이하게 구현할 수 있는 부분은 생략될 수 있다.

또한 본 명세서 및 도면은 본 발명을 제한하기 위한 목적으로 제공된 것은 아니고, 본 발명의 범위는 청구의 범위에 의하여 정해져야 한다. 본 명세서에서 사용된 용어들은 본 발명을 가장 적절하게 표현할 수 있도록 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야 한다.

이하 첨부된 도면들을 참조하여 본 발명의 실시예가 상세히 설명된다.

도 1은 본 발명의 일 실시예의 화이트 밸런싱(white balancing)을 수행하는 방법을 보여준다.

도 1을 참조하면, 본 실시예는, 서로 다른 방향의 영상 센서들을 구비한 파노라믹 카메라 내의 프로세서가 화이트 밸런싱(white balancing)을 수행하는 방법으로서, 단계 (S1) 내지 (S4)를 포함한다.

단계 (S1)에서, 프로세서는 상기 영상 센서들로부터의 총 입력 영상에 대한 총 적색 게인(RGain_GL) 및 총 청색 게인(BGain_GL)을 구한다. 이 단계 (S1)에 대하여 도 8을 참조하여 상세히 설명될 것이다.

단계 (S2)에서, 프로세서는 상기 영상 센서들 각각으로부터의 각각의 입력 영상에 대하여 상기 총 적색 게인(RGain_GL)에 대한 각각의 적색 게인(RGain_1-M)의 비(比)인 각각의 적색 게인 비(RGainRA₁ _-M)를 구한다. 이 단계 (S2)에 대하여 도 9를 참조하여 상세히 설명될 것이다. 여기에서, 아래 첨자들로 사용되는 1-M은 M 개의 입력 영상 채널들 각각을 의미한다.

참고로, 아래 첨자들로 사용되는 1-M은 M 개의 입력 영상 채널들 각각을 의미한다(이하 동일한 의미로 사용됨).

단계 (S3)에서, 프로세서는 상기 각각의 입력 영상에 대하여 상기 총 청색 게인(BGain_GL)에 대한 각각의 청색 게인(BGain_1-M)의 비(比)인 각각의 청색 게인 비(BGainRA_1-M)를 구한다. 이 단계 (S3)에 대하여 도 10을 참조하여 상세히 설명될 것이다.

단계 (S4)에서, 프로세서는, 상기 총 입력 영상에 대하여 화이트 밸런싱을 수행하되, 상기 각각의 입력 영상에 대하여 상기 각각의 적색 게인 비(RGainRA₁ _-M) 및 상기 각각의 청색 게인 비(BGainRA₁ _-M)를 적용하여 화이트 밸런싱을 수행한다. 이 단계 (S4)에 대하여 도 2 내지 7, 및 도 11 내지 22를 참조하여 상세히 설명될 것이다.

이에 따라, 영상 센서들 각각으로부터의 각각의 입력 영상에서 서로 균일하지 않은 화이트가 나타나는 문제점이 최소화될 수 있다. 즉, 사용자가 입력 영상들의 합성 영상에서 화질 이질감을 느낄 수 있는 문제점이 해소될 수 있다.

도 2는 도 1의 단계 S4의 상세 단계들을 보여준다. 도 2의 상세 단계들은 총 입력 영상 즉, 서로 다른 방향의 각각의 입력 영상의 총합에 대하여 수행된다.

도 3은 도 2의 단계 S401의 대상 프레임을 보여준다. 도 3에서의 대상 프레임(301)은 어느 한 영상 센서의 대상 프레임만을 보여주지만, 도 2의 단계 S401은 나머지 영상 센서들의 대상 프레임들에 대해서도 함께 수행된다.

도 3에서 참조 부호 301은 입력 영상의 프레임을, 그리고 B₁ 내지 B_N은 영상 구획에 의한 블록들을 각각 가리킨다.

도 4는 도 3에서의 어느 한 블록을 보여준다. 도 4를 참조하면, 도 3에서의 어느 한 블록은 i x j 개의 화소들로 구성된다.

도 2 내지 4를 참조하여, 본 실시예의 화이트 밸런싱(white balancing)을 수행하는 방법을 설명하기로 한다.

단계 S401에서, 프로세서는 입력 영상(301)을 N 개의 블록들(B₁ 내지 B_N)로 구획한다.

단계 S402에서, 프로세서는 N 개의 블록들(B₁ 내지 B_N) 각각이 화이트 영역 또는 특정 색상 영역에 해당하는지를 판단한다. 이를 위하여, 2차원 그래프 상에서 상기 화이트 영역이 미리 설정되어 있다. 화이트 영역 또는 특정 색상 영역의 설정 방법은 도 11 및 19를 참조하여 상세히 설명될 것이다.

단계 S403에서, 프로세서는, 상기 화이트 영역에 해당하는 블록들 각각에 대하여, 영상 데이터를 사용하여 적색 게인(RGain_Block), 청색 게인(BGain_Block), 및 가중값(Weight_block)을 구한다. 적색 게인(RGain_Block)과 청색 게인(BGain_Block)을 구하는 상세 과정은 다음과 같다.

프로세서는 화이트 영역에 해당하는 블록들 각각의 평균 적색 값(R_average), 평균 녹색 값(G_average), 및 평균 청색 값(B_average)을 계산한다(도 18의 단계 S1801과 동일함).

프로세서는, 화이트 영역에 해당하는 블록들 각각에 대하여, 평균 적색 값(R_average)에 태양광의 화이트 영상의 적색 게인(RGain_solar)이 곱해진 결과의 정규화된 블록 적색 값(R_Block)을 계산한다(도 18의 단계 S1802에 포함됨). 즉, 아래의 수학식 1에 의하여 정규화된 블록 적색 값(R_Block)이 계산된다.

프로세서는, 화이트 영역에 해당하는 블록들 각각에 대하여, 평균 녹색 값(G_average)을 정규화된 블록 녹색 값(G_Block)으로 설정한다(도 18의 단계 S1802에 포함됨). 즉, 아래의 수학식 2에 의하여 정규화된 블록 녹색 값(G_Block)이 설정된다.

프로세서는, 화이트 영역에 해당하는 블록들 각각에 대하여, 평균 청색 값(B_average)에 태양광의 화이트 영상의 청색 게인(BGain_solar)이 곱해진 결과의 정규화된 블록 청색 값(B_Block)을 계산한다(도 18의 단계 S1802에 포함됨). 즉, 아래의 수학식 3에 의하여 정규화된 블록 청색 값(B_Block)이 계산된다.

상기 적색 게인(RGain_Block)은 아래의 수학식 4에 의하여 계산된다.

상기 청색 게인(BGain_Block)은 아래의 수학식 5에 의하여 계산된다.

한편, 서로 다른 색온도의 화이트 영상들 각각의 적색 비율(Dr)과 청색 비율(Db)에 따라 복수의 가중값들이 미리 설정되어 있다. 상기 화이트 영역에 해당하는 블록들 각각에 대한 가중값(Weight_block)은 상기 설정되어 있는 가중값들 중에서 선택된다. 이를 선택하는 방법은 다음과 같다.

프로세서는, 화이트 영역에 해당하는 블록들 각각에 대하여, 상기 정규화된 블록 청색 값(B_Block), 상기 정규화된 블록 적색 값(R_Block), 및 상기 정규화된 블록 녹색 값(G_Block)을 적용하여, 블록 휘도 값(Y_Block), 블록 적색-색차 값(Cr_Block), 및 블록 청색-색차 값(Cb_Block)을 계산한다. 본 실시예의 경우, 아래의 수학식 6 내지 8이 적용된다.

상기 수학식 6 내지 8에서, α₁ 내지 α₉는 응용 시스템 별로 적절히 설정될 수 있는 상수들을 가리킨다.

프로세서는, 화이트 영역에 해당하는 블록들 각각에 대하여, 상기 블록 휘도 값(Y_Block)에 대한 상기 블록 적색-색차 값(Cr_Block)의 비율에 정규화용 숫자 k가 곱해진 결과의 블록 적색 비율(Dr_White _{Region Block})을 계산한다. 즉, 아래의 수학식 9가 실행된다.

프로세서는, 화이트 영역에 해당하는 블록들 각각에 대하여, 상기 블록 휘도 값(Y_Block)에 대한 상기 블록 청색-색차 값(Cb_Block)의 비율에 상기 정규화용 숫자가 곱해진 결과의 블록 청색 비율(Db_White _{Region Block})을 계산한다. 즉, 아래의 수학식 10이 실행된다.

여기에서, 화이트 영역에 해당하는 블록들 각각에 대하여, 미리 설정되어 있는 복수의 가중값들 중에서 블록들 각각의 블록 적색 비율(Dr_White _{Region Block})과 블록 청색 비율(Dr_{White Region Block})에 가장 근접되는 가중값(Weight_block)이 선택된다.

단계 S404에서, 프로세서는, 특정 색상 영역에 해당하는 블록들 각각에 대하여, 색상별로 다르게 설정되어 있는 목표 적색 게인(RGain_co _{target value}), 목표 청색 게인(BGain_{co target value}), 및 목표 가중값(Weight_co _{target value})을 적용하여 적색 게인(RGain_Block), 청색 게인(BGain_Block), 및 가중값(Weight_block)을 선정한다.

여기에서, 목표 적색 게인(RGain_co _{target value}), 목표 청색 게인(BGain_co _{target value}), 및 목표 가중값(Weight_{co target value})은 도 22를 참조하여 설명될 것이다.

단계 S405에서, 프로세서는, 상기 화이트 영역 및 상기 특정 색상 영역에 해당하는 블록들 각각의 적색 게인(RGain_Block), 청색 게인(BGain_Block), 및 가중값(Weight_block)을 적용하여, 상기 입력 영상의 모든 화소 값들을 보정한다. 이와 관련된 내용이 도 5 내지 7을 참조하여 설명될 것이다.

상기와 같이 화이트 밸런싱(white balancing)을 수행하는 방법에 의하면, 화이트 영역에 해당하는 블록들뿐만 아니라 특정 색상 영역에 해당하는 블록들도 적용 대상이 된다. 즉, 화이트 영역 및 특정 색상 영역에 해당하는 블록들 각각의 적색 게인(RGain_Block), 청색 게인(BGain_Block), 및 가중값(Weight_block)을 적용하여, 입력 영상의 모든 화소 값들을 보정한다.

따라서, 특정 색상 영역에 해당하는 블록들 각각의 적색 게인(RGain_Block), 청색 게인(BGain_Block), 및 가중값(Weight_block)을 적절히 설정할 수 있으므로, 화이트 영역이 상대적으로 넓게 설정되더라도 특정 색상들의 색 끌림 현상을 예방할 수 있다. 즉, 서로 다른 색온도의 광원들의 중복 조명에서 얻어진 촬영 영상에 대하여, 특정 색상들의 색 끌림 현상을 예방할 수 있다.

도 5는 도 2에서의 단계 S405의 상세 단계들을 보여준다.

도 6은 도 5의 단계 S4053에서의 기준-게인 좌표 영역이 설정됨을 보여준다.

도 7은 도 5의 단계 S4053에서의 보정 매트릭스의 예를 보여준다.

도 5 내지 7을 참조하여, 도 2에서의 단계 S405의 상세 단계들을 설명하기로 한다.

프로세서는, 상기 화이트 영역 및 상기 특정 색상 영역에 해당하는 블록들 각각의 가중값(Weight_block)의 총합에 대한 상기 화이트 영역 및 상기 특정 색상 영역에 해당하는 블록들 각각의 적색 게인(RGain_Block)과 가중값(Weight_block)의 곱의 총합의 비율인 적색 게인의 총합 비율(RGain_tot)을 계산한다(단계 S4051). 여기에서 아래의 수학식 11이 실행된다.

프로세서는, 상기 화이트 영역 및 상기 특정 색상 영역에 해당하는 블록들 각각의 가중값(Weight_block)의 총합에 대한 상기 화이트 영역 및 상기 특정 색상 영역에 해당하는 블록들 각각의 청색 게인(BGain_Block)과 가중값(Weight_block)의 곱의 총합의 비율인 청색 게인의 총합 비율(BGain_tot)을 계산한다(단계 S4052). 여기에서 아래의 수학식 12가 실행된다.

프로세서는, 적색 게인의 총합 비율(RGain_tot)을 적용될 총 적색-게인 비율RGainPR_GL)로 설정하고, 상기 청색 게인의 총합 비율(BGain_tot)을 적용될 총 청색-게인 비율(BGainPR_GL)로 설정하되, 미리 설정되어 있는 기준 게인-좌표 영역 내에 들도록 상기 총 적색-게인 비율(RGainPR_GL)과 상기 총 청색-게인 비율(BGainPR_GL)을 조정한다(단계 S4053).

상기 기준-게인 좌표 영역의 설정 방법은 도 18을 참조하여 설명될 것이다. 이에 따라 작성된 도 6을 참조하면, 적색 게인과 청색 게인의 2차원 그래프상에서 기준-게인 좌표 영역의 꼭지점들은 1 내지 5이다. 이와 같은 기준-게인 좌표 영역이 적용됨에 의하여, 저색 광원(백열등, 할로겐등)의 고유의 색상이 어느 정도 유지될 수 있으므로, 현실 재현성이 높아질 수 있다.

다음에, 프로세서는, 상기 총 적색-게인 비율(RGainPR_GL), 상기 총 청색-게인 비율(BGainPR_GL), 상기 각각의 적색 게인 비(RGainRA₁ _-M, 도 1 참조), 상기 각각의 청색 게인 비(BGainRA₁ _-M, 도 1 참조), 및 보정 매트릭스(701)를 적용하여, 상기 입력 영상의 모든 화소 값들을 보정한다(단계 S4054).

상기한 바와 같이, 아래 첨자들로 사용되는 1-M은 M 개의 입력 영상 채널들 각각을 의미한다(이하 동일한 의미로 사용됨). 잘 알려져 있는 바와 같이, 도 7과 같은 형식의 보정 매트릭스(701)는 입력 영상의 적색(R), 녹색(G), 및 청색(B)의 화소 값들 모두에 적용된다.

본 실시예의 경우, 상기 총 적색-게인 비율(RGainPR_GL)에 상기 각각의 적색 게인 비(RGainRA₁ _-M)가 곱해진 결과인 각각의 최종 적색-게인 비율(RGainPR₁ _-M), 상기 총 청색-게인 비율(BGainPR_GL)에 상기 각각의 청색 게인 비(BGainRA₁ _-M)가 곱해진 결과인 각각의 최종 청색-게인 비율(BGainPR₁ _-M), 및 상기 보정 매트릭스를 적용하여, 상기 총 입력 영상의 모든 화소 값들을 보정한다(단계 S4054).

즉, 각각의 입력 영상의 화소 값들을 보정하는 데에 적용될 각각의 최종 적색-게인 비율(RGainPR₁ _-M)은 아래의 수학식 13에 의하여 구해진다.

이와 마찬가지로, 각각의 입력 영상의 화소 값들을 보정하는 데에 적용될 각각의 최종 청색-게인 비율(BGainPR_1-M)은 아래의 수학식 14에 의하여 구해진다.

도 8은 도 1의 단계 S1의 상세 단계들을 보여준다. 이를 설명하면 다음과 같다.

단계 S101에서, 프로세서는 상기 영상 센서들로부터의 총 입력 영상에서 모든 적색 값들이 합쳐진 결과인 총 적색 값(R_GL)을 구한다.

본 실시예의 경우, M 개의 영상 센서들로부터의 각각의 영상에서 적색 값들이 합쳐진 결과인 각각의 적색 값(RSum₁ _-M)을 구한 후, 이들이 합쳐진 결과인 총 적색 값(R_GL)을 구한다. 즉, 아래의 수학식 15가 적용된다.

물론, 각각의 적색 값(RSum₁ _-M)을 구하기 위하여 각각의 영상에서의 상기 N 개의 블록들이 이용된다.

단계 S102에서, 프로세서는 상기 영상 센서들로부터의 총 입력 영상에서 모든 녹색 값들이 합쳐진 결과인 총 녹색 값(G_GL)을 구한다.

본 실시예의 경우, M 개의 영상 센서들로부터의 각각의 영상에서 녹색 값들이 합쳐진 결과인 각각의 녹색 값(GSum₁ _-M)을 구한 후, 이들이 합쳐진 결과인 총 녹색 값(G_GL)을 구한다. 즉, 아래의 수학식 16이 적용된다.

물론, 각각의 녹색 값(GSum₁ _-M)을 구하기 위하여 각각의 영상에서의 상기 N 개의 블록들이 이용된다.

단계 S103에서, 프로세서는 상기 영상 센서들로부터의 총 입력 영상에서 모든 청색 값들이 합쳐진 결과인 총 청색 값(B_GL)을 구한다.

본 실시예의 경우, M 개의 영상 센서들로부터의 각각의 영상에서 녹색 값들이 합쳐진 결과인 각각의 청색 값(BSum₁ _-M)을 구한 후, 이들이 합쳐진 결과인 총 청색 값(B_GL)을 구한다. 즉, 아래의 수학식 17이 적용된다.

물론, 각각의 청색 값(BSum₁ _-M)을 구하기 위하여 각각의 영상에서의 상기 N 개의 블록들이 이용된다.

단계 S104에서, 프로세서는 상기 총 적색 값(R_GL)에 대한 상기 총 녹색 값(G_GL)의 비율인 상기 총 적색 게인(RGain_GL)을 구한다. 즉, 아래의 수학식 18이 적용된다.

단계 S105에서, 프로세서는 상기 총 청색 값(B_GL)에 대한 상기 총 청색 값(B_GL)의 비율인 상기 총 청색 게인(BGain_GL)을 구한다. 즉, 아래의 수학식 19가 적용된다.

도 9는 도 1의 단계 S2의 상세 단계들을 보여준다. 이를 설명하면 다음과 같다.

단계 S201에서, 프로세서는 상기 각각의 입력 영상에 대한 각각의 적색 총합 값(RSum_1-M)에 상기 총 적색 게인(RGain_GL)이 곱해진 결과로서의 각각의 보정용 적색 총합 값(RSumC_1-M)을 구한다. 즉, 아래의 수학식 20이 적용된다.

단계 S202에서, 프로세서는 상기 각각의 보정용 적색 총합 값(RSumC₁ _-M)에 대한 각각의 녹색 총합 값(GSum₁ _-M)의 비(比)인 상기 각각의 적색 게인 비(RGainRA₁ _-M)를 구한다. 즉, 아래의 수학식 21이 적용된다.

참고로, 상기 수학식 20을 수학식 21에 대입하면 아래의 수학식 22가 성립한다.

여기에서, 각각의 적색 게인 RGain₁ _-M은 아래의 수학식 23에 의하여 정의될 수 있다.

따라서, 상기 수학식 22 및 23을 참조하면, 각각의 적색 게인 비 RGainRA₁ _-M은 총 적색 게인 RGain_GL에 대한 각각의 적색 게인 RGain₁ _-M의 비(比)임을 알 수 있다.

도 10은 도 1의 단계 S3의 상세 단계들을 보여준다. 이를 설명하면 다음과 같다.

단계 S301에서, 프로세서는 상기 각각의 입력 영상에 대한 각각의 청색 총합 값(BSum_1-M)에 상기 총 청색 게인(BGain_GL)이 곱해진 결과로서의 각각의 보정용 청색 총합 값(BSumC_1-M)을 구한다. 즉, 아래의 수학식 24가 적용된다.

단계 S302에서, 프로세서는 상기 각각의 보정용 청색 총합 값(BSumC₁ _-M)에 대한 각각의 녹색 총합 값(GSum₁ _-M)의 비(比)인 상기 각각의 청색 게인 비(BGainRA₁ _-M)를 구한다. 즉, 아래의 수학식 25가 적용된다.

참고로, 상기 수학식 24를 수학식 25에 대입하면 아래의 수학식 26이 성립한다.

여기에서, 각각의 적색 게인 BGain₁ _-M은 아래의 수학식 27에 의하여 정의될 수 있다.

따라서, 상기 수학식 26 및 27을 참조하면, 각각의 청색 게인 비 BGainRA₁ _-M은 총 청색 게인 BGain_GL에 대한 각각의 청색 게인 BGain₁ _-M의 비(比)임을 알 수 있다.

도 11은 도 2의 단계 (S402)를 수행하기 위하여 화이트 영역을 설정하는 방법을 보여준다.

도 12는 도 11의 단계 S1101에서 구해진 화이트 영상들(I1 내지 Ik)을 보여주는 도면이다.

도 13은 도 11의 단계 S1110에서 각각의 좌표가 2차원 그래프 상에 표시됨을 보여준다. 도 13에서 참조 부호 1301은 색온도 별 화이트 영상의 적색 비율(Dr)과 청색 비율(Db)의 테이블을 가리킨다. 참조 부호 1302는 색온도 별 화이트 영상의 적색 비율(Dr)과 청색 비율(Db)의 그래프를 가리킨다.

도 14는 도 13에서 표시된 좌표들에 따라 화이트 영역이 설정됨을 보여준다. 도 14에서 참조 부호 1401은 화이트 영역을 가리킨다.

도 11 내지 14를 참조하여, 화이트 영역을 설정하는 방법을 설명하기로 한다.

먼저, 주위 조명의 색온도를 다르게 하면서 기준 화이트 보드를 촬영하여, 서로 다른 색온도의 k 개의 화이트 영상들(I1 내지 Ik)을 구한다(단계 S1101).

다음에, 기준 태양광 조명에서 상기 기준 화이트 보드를 촬영하여, 태양광의 화이트 영상을 구한다(단계 S1102).

다음에, 상기 태양광의 화이트 영상의 평균 적색 값(R_solar), 평균 녹색 값(G_solar), 및 평균 청색(B_solar) 값을 계산한다(단계 S1103).

다음에, 상기 태양광의 화이트 영상의 청색 게인(BGain_solar) 및 적색 게인(RGain_solar)을 계산한다(단계 S1104).

상기 단계 S1104는 아래의 두 단계들로 구분될 수 있다.

먼저, 상기 평균 청색(B_solar) 값에 대한 상기 평균 녹색 값(G_solar)의 비율인 상기 태양광의 화이트 영상의 청색 게인(BGain_solar)을 계산한다(단계 S1104-1). 즉, 아래의 수학식 28이 실행된다.

다음에, 상기 평균 적색 값(R_solar)에 대한 상기 평균 녹색 값(G_solar)의 비율인 상기 태양광의 화이트 영상의 적색 게인(RGain_solar)을 계산한다(단계 S1104-2). 즉, 아래의 수학식 29가 실행된다.

다음에, 상기 서로 다른 색온도의 k 개의 화이트 영상들(I1 내지 Ik) 각각을 복수의 블록들로 구획한다(단계 S1105). 구획 방법은 도 3 및 4를 참조하여 설명된 바와 같다.

다음에, 상기 복수의 화이트 영상들(I1 내지 Ik)의 상기 복수의 블록들 각각의 평균 적색 값(R_average), 평균 녹색 값(G_average), 및 평균 청색 값(B_average)을 계산한다(단계 S1106).

다음에, 상기 복수의 화이트 영상들(I1 내지 Ik)의 상기 복수의 블록들 각각에 대하여, 정규화된 블록 적색 값(R_block), 정규화된 블록 청색 값(B_block), 및 정규화된 블록 녹색 값(G_block)을 구한다(단계 S1107).

상기 단계 S1107은 다음의 세 단계들을 포함한다.

첫째, 상기 복수의 화이트 영상들(I1 내지 Ik)의 상기 복수의 블록들 각각에 대하여, 평균 적색 값(R_average)에 상기 태양광의 화이트 영상의 적색 게인(RGain_solar)이 곱해진 결과의 정규화된 블록 적색 값(R_block)을 계산한다(단계 S1107-1). 즉, 아래의 수학식 30을 실행한다.

둘째, 상기 복수의 화이트 영상들(I1 내지 Ik)의 상기 복수의 블록들 각각에 대하여, 상기 평균 청색 값(B_average)에 상기 태양광의 화이트 영상의 청색 게인(BGain_solar)이 곱해진 결과의 정규화된 블록 청색 값(B_block)을 계산한다(단계 S1107-2). 즉, 아래의 수학식 31을 실행한다.

셋째, 상기 복수의 화이트 영상들(I1 내지 Ik)의 상기 복수의 블록들 각각에 대하여, 상기 평균 녹색 값(G_average)을 정규화된 블록 녹색 값(G_block)으로 설정한다(단계 S1107-3). 즉, 아래의 수학식 32를 실행한다.

다음에, 상기 복수의 화이트 영상들(I1 내지 Ik)의 상기 복수의 블록들 각각에 대하여, 상기 정규화된 블록 청색 값(B_block), 상기 정규화된 블록 적색 값(R_block), 및 상기 정규화된 블록 녹색 값(G_block)을 적용하여, 블록 휘도 값(Y_block), 블록 적색-색차 값(Cr_block), 및 블록 청색-색차 값(Cb_block)을 계산한다(단계 S1108). 본 실시예의 경우, 상기 단계 S1108에서 상기 수학식 6 내지 8이 사용된다.

다음에, 상기 복수의 화이트 영상들(I1 내지 Ik) 각각에 대하여 적색 비율(Dr) 및 청색 비율(Db)을 계산한다(단계 S1109). 상기 단계 S1109는 다음 세 단계들을 포함한다.

첫째, 상기 복수의 화이트 영상들(I1 내지 Ik)의 상기 복수의 블록들 각각에 대하여, 상기 블록 휘도 값(Y_block)에 대한 상기 블록 적색-색차 값(Cr_block)의 비율에 정규화용 숫자 k가 곱해진 결과의 블록 적색 비율(Dr_block)을 계산한다(단계 S1109-1). 즉, 아래의 수학식 33이 사용된다.

둘째, 상기 복수의 화이트 영상들(I1 내지 Ik)의 상기 복수의 블록들 각각에 대하여, 상기 블록 휘도 값(Y_block)에 대한 상기 블록 청색-색차 값(Cb_block)의 비율에 상기 정규화용 숫자가 곱해진 결과의 블록 청색 비율(Db_block)을 계산한다(단계 S1109-2). 즉, 아래의 수학식 34가 사용된다.

셋째, 상기 복수의 화이트 영상들(I1 내지 Ik) 각각에 대하여, 상기 블록 적색 비율(Dr_block)의 총합으로서의 적색 비율(Dr) 및 상기 블록 청색 비율(Db_block)의 총합으로서의 청색 비율(Db)을 계산한다(단계 S1109-3).

다음에, 2차원 그래프(902)의 제1축을 상기 적색 비율(Dr)의 축으로, 그리고 제2축을 상기 청색 비율(Db)의 축으로 설정하여, 복수의 화이트 영상들(I1 내지 Ik) 각각의 상기 적색 비율(Dr)과 상기 청색 비율(Db)의 좌표를 상기 2차원 그래프상에 표시하고, 표시된 좌표 영역이 포함되도록 상기 화이트 영역(1102)을 설정한다(단계 S1110). 이를 단계적으로 설명하면 다음과 같다.

먼저, 색온도 별 화이트 영상의 적색 비율(Dr)과 청색 비율(Db)의 테이블(1301)에 따라 색온도 별 화이트 영상의 적색 비율(Dr)과 청색 비율(Db)의 그래프(1302)를 작성한다(도 13 참조).

다음에, 표시된 좌표 영역을 기준으로 하여 화이트 영역의 그래프를 작성함에 의하여, 화이트 영역(1401)을 설정한다(도 14 참조).

도 15는 도 11의 단계들이 수행됨에 이어서 추가적으로 수행되는 설정 단계들을 보여준다.

도 16은 도 15의 단계 S1501에 의하여 설정된 테이블의 예를 보여준다.

도 15 및 16을 참조하면, 화이트 영역(도 14의 1401)을 설정한 후, 이에 상응하는 구간 기준점 테이블(1601)을 설정한다(단계 S1501). 즉, k 개의 색온도에 대한 상기 적색 비율(Dr)과 청색 비율(Db)의 테이블(1601)을 설정한다. 본 실시예의 경우, k 개의 색온도에 대한 상기 적색 비율(Dr)과 청색 비율(Db)의 좌표가 각각의 구간 기준점의 좌표이다.

다음에, 각각의 구간 기준점에 대하여 보정 매트릭스 및 가중값을 설정한다(단계 S1502). 가중값의 설정에 있어서, 색온도가 높아질수록 가중값이 높아지도록 설정되었다. 이에 따라, 인간의 시각적 특성에 보다 부합되는 화이트 밸런싱의 결과를 얻을 수 있다.

아래의 표 1은 각각의 구간 기준점에 대하여 보정 매트릭스 및 가중값이 설정된 예를 보여준다.

구간 기준점 번호	Dr	Db	색온도(K)	보정 매트릭스 번호	가중값
1	.	.	11000	1	ω₁
2	.	.	8000	2	ω₂
3	.	.	7000	3	ω₃
4	.	.	5000	4	ω₄
5	.	.	4000	5	ω₅
.	.	.	.	.	.
.	.	.	.	.	.
.	.	.	.	.	.
K	.	.	1800	K	ω_K

도 17은 도 5의 단계 S4053 및 도 6에서의 기준-게인 좌표 영역이 설정되는 과정을 보여준다. 도 6, 12 및 17을 참조하여, 도 17의 과정을 설명하기로 한다.

프로세서는, 복수의 화이트 영상들(I1 내지 Ik) 각각의 평균 적색 값(R_Temp), 평균 녹색 값(G_Temp), 및 평균 청색 값(B_Temp)을 계산한다(단계 S1701).

프로세서는, 상기 평균 적색 값(R_Temp)에 대한 상기 평균 녹색 값(G_Temp)의 비율인 상기 복수의 화이트 영상들 각각의 적색 게인(RGain_Temp)을 계산한다(단계 S1702). 즉, 아래의 수학식 35가 실행된다.

프로세서는, 상기 평균 청색 값(B_Temp)에 대한 상기 평균 녹색 값(G_Temp)의 비율인 상기 복수의 화이트 영상들 각각의 청색 게인(BGain_Temp)을 계산한다(단계 S1703). 즉, 아래의 수학식 36이 실행된다.

각각의 화이트 영상(I1 내지 Ik) 즉, 각각의 색온도에 대하여 구해진 적색 게인(RGain_Temp)과 청색 게인(BGain_Temp)의 예는 아래의 표 2와 같다(도 6 참조).

화이트 영상 번호	적색 게인(RGain_Temp)	청색 게인(BGain_Temp)	색온도(K)
I1	.	.	11000
I2	.	.	8000
I3	.	.	7000
I4	.	.	5000
I5	.	.	4000
.	.	.	.
.	.	.	.
.	.	.	.
Ik	.	.	1800

다음에, 프로세서는, 2차원 그래프의 제1축(X-축)을 상기 적색 게인(RGain_Temp)의 축으로, 그리고 제2축(Y-축)을 상기 청색 게인(BGain_Temp)의 축으로 설정한다(단계 S1704, 도 6 참조).

그리고 프로세서는, 상기 복수의 화이트 영상들(I1 내지 Ik) 각각의 상기 적색 게인(RGain_Temp)과 상기 청색 게인(BGain_Temp)의 좌표를 상기 2차원 그래프상에 표시하고, 표시된 좌표 영역이 포함되도록 상기 기준 게인-좌표 영역을 설정한다(단계 S1705). 이에 따라 작성된 도 5를 참조하면, 표시된 좌표 영역은 굵은 곡선의 영역이다. 상기한 바와 같이, 기준-게인 좌표 영역의 꼭지점들은 1 내지 5이다.

이와 같은 기준-게인 좌표 영역이 적용됨에 의하여, 저색 광원(백열등, 할로겐등)의 고유의 색상이 어느 정도 유지될 수 있으므로, 현실 재현성이 높아질 수 있다.

한편, 도 5의 단계 S4054에서 적용될 상기 보정 매트릭스는, 상기 복수의 화이트 영상들(I1 내지 Ik) 각각의 상기 적색 비율(Dr)과 상기 청색 비율(Db)에 따라 미리 설정되어 있는 복수의 보정 매트릭스들 중에서 어느 하나이다.

도 18은 복수의 보정 매트릭스들 중에서 도 5의 단계 S4054에서 적용될 보정 매트릭스(도 7의 701)를 선택하는 방법을 보여준다. 도 3 내지 5, 도 7 및 18을 참조하여, 적용될 보정 매트릭스(도 7의 701)를 선택하는 방법을 설명하기로 한다.

프로세서는 상기 화이트 영역에 해당하는 블록들 각각의 평균 적색 값(R_average), 평균 녹색 값(G_average), 및 평균 청색 값(B_average)을 계산한다(단계 S1801).

프로세서는, 상기 화이트 영역에 해당하는 블록들 각각에 대하여, 정규화된 블록 적색 값(R_Block), 정규화된 블록 녹색 값(G_Block), 및 정규화된 블록 청색 값(B_Block)을 구한다(단계 S1802). 이 단계 S1802를 상세히 설명하면 다음과 같다.

프로세서는, 상기 화이트 영역에 해당하는 블록들 각각에 대하여, 평균 적색 값(R_average)에 상기 태양광의 화이트 영상의 적색 게인(RGain_solar)이 곱해진 결과의 정규화된 블록 적색 값(R_Block)을 계산한다(단계 S1802-1). 즉, 상기 수학식 1에 의한 정규화된 블록 적색 값(R_Block)이 사용된다.

프로세서는, 상기 화이트 영역에 해당하는 블록들 각각에 대하여, 상기 평균 녹색 값(G_average)을 정규화된 블록 녹색 값(G_Block)으로 설정한다(단계 S1802-2). 즉, 상기 수학식 2에 의한 정규화된 블록 녹색 값(G_Block)이 사용된다.

그리고 프로세서는, 상기 화이트 영역에 해당하는 블록들 각각에 대하여, 상기 평균 청색 값(B_average)에 상기 태양광의 화이트 영상의 청색 게인(BGain_solar)이 곱해진 결과의 정규화된 블록 청색 값(B_Block)을 계산한다(단계 S1802-3). 즉, 상기 수학식 3에 의한 정규화된 블록 청색 값(B_Block)이 사용된다.

다음에, 프로세서는, 상기 화이트 영역에 해당하는 블록들 각각에 대하여, 상기 정규화된 블록 청색 값(B_Block), 상기 정규화된 블록 적색 값(R_Block), 및 상기 정규화된 블록 녹색 값(G_Block)을 적용하여, 블록 휘도 값(Y_Block), 블록 적색-색차 값(Cr_Block), 및 블록 청색-색차 값(Cb_Block)을 계산한다(단계 S1803). 즉, 상기 수학식 6 내지 8에 의한 값들이 사용된다.

다음에, 프로세서는, 화이트 영역에 해당하는 블록들의 블록 적색 비율(Dr_{White Region Block})의 총합(Dr_tot) 및 블록 청색 비율(Db_White _{Region Block})의 총합(Db_tot)을 계산한다(단계 S1804). 상기 단계 S1804는 아래의 세 단계들로 구분될 수 있다.

첫째, 상기 화이트 영역에 해당하는 블록들 각각에 대하여, 프로세서는 상기 블록 휘도 값(Y_Block)에 대한 상기 블록 적색-색차 값(Cr_Block)의 비율에 상기 정규화용 숫자가 곱해진 결과의 블록 적색 비율(Dr_White _{Region Block})을 계산한다(단계 S1804-1). 즉, 상기 수학식 9에 의한 블록 적색 비율(Dr_White _{Region Block})이 사용된다.

둘째, 상기 화이트 영역에 해당하는 블록들 각각에 대하여, 프로세서는 상기 블록 휘도 값(Y_Block)에 대한 상기 블록 청색-색차 값(Cb_Block)의 비율에 상기 정규화용 숫자가 곱해진 결과의 블록 청색 비율(Db_White _{Region Block})을 계산한다(단계 S1804-2). 즉, 상기 수학식 10에 의한 블록 청색 비율(Db_White _{Region Block})이 사용된다.

셋째, 프로세서는, 화이트 영역에 해당하는 블록들의 블록 적색 비율(Dr_White _{Region Block})의 총합(Dr_tot) 및 블록 청색 비율(Db_White _{Region Block})의 총합(Db_tot)을 계산한다(단계 S1804-3). 즉, 아래의 수학식 37 및 38이 실행된다.

프로세서는, 상기 복수의 보정 매트릭스들 중에서, 상기 블록 적색 비율(Dr_{White Region Block})의 총합(Dr_tot) 및 상기 블록 청색 비율(Db_White _{Region Block})의 총합(Db_tot)에 가장 근접되는 상기 적색 비율(Dr)과 상기 청색 비율(Db)의 보정 매트릭스(도 7의 701)를 선택한다(단계 S1805).

한편, 상기 단계 S402를 수행하기 위하여 2차원 그래프 상에서 상기 특정 색상 영역이 미리 설정되어 있다.

도 19는 도 2의 단계 S402를 수행하기 위하여 특정 색상 영역을 설정하는 방법을 보여준다.

도 20은 도 19의 단계 S1901을 수행하기 위하여 촬영되는 컬러 체커(Color checker)의 보드(2001)를 보여준다.

도 21은 도 19의 단계 S1908에서 특정 색상들 각각의 영역이 도 14의 화이트 영역과 함께 설정됨을 보여준다. 도 21에서 참조 부호 2101은 화이트 영역과 특정 색상 영역의 그래프를, 1401은 화이트 영역을, 그리고 2102 내지 2105는 특정 색상 영역들을 각각 가리킨다.

도 19 내지 21을 참조하여 도 15의 방법을 설명하기로 한다.

프로세서는, 특정 색상들을 포함한 색상들이 배열된 색상 보드(2001)를 기준 태양광 조명에서 촬영하여, 색상 배열 영상을 구한다(단계 S1901).

프로세서는 상기 색상 배열 영상을 복수의 블록들로 구획한다(단계 S1902). 구획 방법은 도 3 및 4를 참조하여 설명된 바와 같다.

프로세서는 상기 색상 배열 영상의 상기 복수의 블록들 중에서 상기 특정 색상들 각각에 해당하는 블록들을 선정한다(단계 S1903). 본 실시예에서의 특정 색상들은 스킨(skin) 색, 녹색, 적색, 및 시안(cyan) 색이다.

프로세서는, 특정 색상 별로 선정된 블록들의 화소 값들을 사용하여, 상기 특정 색상들 각각에 대하여 평균 청색 값(B_average), 평균 적색 값(R_average), 및 평균 녹색 값(G_average)을 계산한다(단계 S1904).

프로세서는, 상기 특정 색상들 각각에 대하여, 정규화된 청색 값(B_co), 정규화된 적색 값(R_co), 및 정규화된 녹색 값(G_co)을 구한다(단계 S1905). 이 단계 S1905는 다음 세 단계들로 구분될 수 있다.

프로세서는, 상기 특정 색상들 각각에 대하여, 상기 평균 청색 값(B_average)에 상기 태양광의 화이트 영상의 청색 게인(BGain_solar)이 곱해진 결과의 정규화된 청색 값(B_co)을 계산한다(단계 S1905-1). 즉, 아래의 수학식 39에 의하여 정규화된 블록 청색 값(R_co)이 계산된다.

프로세서는, 상기 특정 색상들 각각에 대하여, 상기 평균 적색 값(R_average)에 상기 태양광의 화이트 영상의 적색 게인(RGain_solar)이 곱해진 결과의 정규화된 적색 값(R_co)을 계산한다(단계 S1905-2). 즉, 아래의 수학식 40에 의하여 정규화된 블록 청색 값(R_co)이 계산된다.

프로세서는, 상기 특정 색상들 각각에 대하여, 상기 평균 녹색 값(G_average)을 정규화된 녹색 값(G_co)으로 설정한다(단계 S1905-3). 즉, 아래의 수학식 41에 의하여 정규화된 녹색 값(G_co)이 계산된다.

다음에, 프로세서는, 상기 특정 색상들 각각에 대하여, 상기 정규화된 청색 값(B_co), 상기 정규화된 적색 값(R_co), 및 상기 정규화된 녹색 값(G_co)을 적용하여, 휘도 값(Y_co), 적색-색차 값(Cr_co), 및 청색-색차 값(Cb_co)을 계산한다(단계 S1906). 본 실시예의 경우, 아래의 수학식 42 내지 44가 적용된다.

상기 수학식 42 내지 44에서, α₁ 내지 α₉는 응용 시스템 별로 적절히 설정될 수 있는 상수들을 가리킨다.

다음에, 프로세서는, 상기 특정 색상들 각각에 대하여 적색 비율(Dr) 및 청색 비율(Db)을 계산한다(단계 S1907). 이 단계는 다음 두 단계들로 구분될 수 있다.

프로세서는, 상기 특정 색상들 각각에 대하여, 상기 휘도 값(Y_co)에 대한 상기 적색-색차 값(Cr_co)의 비율에 정규화용 숫자 k가 곱해진 결과의 적색 비율(Dr)을 계산한다(단계 S1907-1). 즉, 아래의 수학식 45가 실행된다.

프로세서는, 상기 특정 색상들 각각에 대하여, 상기 휘도 값(Y_co)에 대한 상기 청색-색차 값(Cb_co)의 비율에 상기 정규화용 숫자 k가 곱해진 결과의 청색 비율(Db)을 계산한다(단계 S1907-2). 즉, 아래의 수학식 46이 실행된다.

프로세서는, 특정 색상들 각각의 상기 적색 비율(Dr)과 상기 청색 비율(Db)의 좌표를 상기 2차원 그래프상(2101)에 표시하고, 표시된 좌표 영역이 각각 포함되도록 상기 특정 색상 영역(2102 내지 2105)을 설정한다(단계 S1908).

본 실시예의 경우, 화이트 영역(1401)은 다각형으로 설정되고, 특정 색상 영역(2102 내지 2105)은 타원형으로 설정된다. 물론, 화이트 영역(1401)과 특정 색상 영역(2102 내지 2105)은 하드웨어의 시스템 특성에 따라 또다른 형상으로 설정될 수 있다.

도 22는 도 19의 단계들이 수행됨에 이어서 추가적으로 수행되는 설정 단계들을 보여준다. 이 설정 단계들은 도 2의 단계 S404의 수행을 위하여 미리 수행되어야 한다. 이들을 설명하면 다음과 같다.

프로세서는, 특정 색상들 각각에 대하여, 상기 평균 적색 값(R_average)에 대한 상기 평균 녹색 값(G_average)의 비율인 목표 적색 게인(RGain_{co target value})을 설정한다(단계 S2201). 여기에서 아래의 수학식 47의 계산 결과가 목표 적색 게인(RGain_{co target value})으로 설정된다.

프로세서는, 특정 색상들 각각에 대하여, 상기 평균 청색 값(B_average)에 대한 상기 평균 녹색 값(G_average)의 비율인 목표 청색 게인(BGain_{co target value})을 설정한다(단계 S2202). 여기에서 아래의 수학식 48의 계산 결과가 목표 청색 게인(BGain_{co target value})으로 설정된다.

그리고, 프로세서는 특정 색상들 각각에 대하여 목표 가중값(Weight_co _{target value})을 설정한다(단계 S2203).

도 23은 본 발명의 제2 실시예의 화이트 밸런싱(white balancing) 방법을 설명하기 위한 룩-업 테이블을 보여준다. 이하, 상기 제1 실시예와의 차이 점들만을 설명하기로 한다. 여기에서 설명되지 않은 사항들은 제1 실시예와 동일하게 적용된다. 본 명세서 및 도면에서 동일한 참조 부호는 동일한 기능의 대상을 가리킨다.

도 23을 참조하면, 도 2의 단계들 (S1) 내지 (S4)는 서로 다른 색온도를 가진 각각의 조명에 적용될 수 있다. 즉, 각각의 조명에서의 상기 총 적색 게인(RGain_GL) 및 상기 총 청색 게인(BGain_GL)에 상응하는 상기 각각의 적색 게인 비(RGainRA_1-M) 및 상기 각각의 청색 게인 비(BGainRA_1-M)의 데이터가 저장되어 선택적으로 적용된다. 이와 같은 제2 실시예의 화이트 밸런싱(white balancing) 방법에 의하면, 조명의 교환 또는 조명의 변화에 따라 화이트 밸런싱(white balancing) 상태가 열화되는 현상에 대처할 수 있다.

도 24는 도 23에서의 총 적색 게인(RGain_GL)과 총 청색 게인(BGain_GL)을 좌표로 하는 그래프를 보여준다.

도 25는 도 24에서 인접 좌표 점들이 직선으로 연결된 상태를 보여준다. 도 26은 현재 조명의 좌표 점(Pp)이 인접된 좌표 점들 사이에 위치함을 보여준다. 도 25 및 26에서 참조 부호 251은 기준 연결 선을 가리킨다.

도 27은 도 26의 상태에서 수행되는 보간 계산을 설명하기 위한 도면이다.

도 24 내지 27을 참조하면, 상기 총 적색 게인(RGain_GL)과 상기 총 청색 게인(BGain_GL)을 좌표로 하는 그래프가 형성되고, 상기 그래프에서 인접된 좌표 점들 사이가 직선으로 연결된다. 도 1의 단계 (S4)에서, 프로세서는, 현재의 조명에서의 상기 총 적색 게인(RGain_GL) 및 상기 총 청색 게인(BGain_GL)의 좌표 점(Pp)이 인접된 좌표 점들(P2, P3) 사이에 위치하면, 직선상의 거리를 이용한 보간 계산에 의하여 각각의 적색 게인 비(RGainRA_1-M) 및 상기 각각의 청색 게인 비(BGainRA_1-M)를 구한다.

보다 상세하게는, 현재 조명의 좌표 점이 Pp(a,b), P2 점의 좌표가 (RGain_GL2,BGain_GL2)이면, 현재 조명의 좌표 점과 P2 좌표 점 사이의 거리 d1은 아래의 수학식 49에 의하여 구해진다.

이와 마찬가지로, 현재 조명의 좌표 점이 Pp(a,b), P3 점의 좌표가 (RGain_GL3,BGain_GL3)이면, 현재 조명의 좌표 점과 P3 좌표 점 사이의 거리 d2는 아래의 수학식 50에 의하여 구해진다.

거리 d1, d2를 이용한 보간 계산에 있어서, P2 좌표 점에 상응하는 4 개의 적색 게인 비를 RGainRA_1-4P2, 그리고 P3 좌표 점에 상응하는 4 개의 적색 게인 비를 RGainRA_1-4P3이라 하면, 현재 조명의 좌표 점 Pp 에 상응하는 4 개의 적색 게인 비 RGainRA_1-4Pp는 아래의 수학식 51에 의하여 구해진다.

이와 마찬가지로, P2 좌표 점에 상응하는 4 개의 청색 게인 비를 BGainRA_1-4P2, 그리고 P3 좌표 점에 상응하는 4 개의 청색 게인 비를 BGainRA_1-4P3이라 하면, 현재 조명의 좌표 점 Pp 에 상응하는 4 개의 청색 게인 비 BGainRA_1-4Pp는 아래의 수학식 52에 의하여 구해진다.

도 28은 본 발명의 제3 실시예의 화이트 밸런싱(white balancing) 방법을 설명하기 위한 총 입력 영상을 보여준다. 도 28에서, 참조 부호 281은 파노라마 영상으로서의 총 입력 영상을 가리키고, 참조 부호 As1 내지 As4는 영상 센서들 각각으로부터의 각각의 입력 영상을 가리킨다. 즉, 설명될 제3 실시예의 경우에 각각의 입력 영상의 개수 M은 4이다.

도 29는 제3 실시예에 의하여 도 1의 단계 S1 및 S2가 변형된 결과의 흐름도이다.

도 30은 제3 실시예에 의하여 도 1의 단계 S3이 변형된 결과의 흐름도이다.

도 28 내지 30을 참조하여, 상기 제1 실시예와의 차이 점들만을 설명하기로 한다. 여기에서 설명되지 않은 사항들은 제1 실시예와 동일하게 적용된다. 본 명세서 및 도면에서 동일한 참조 부호는 동일한 기능의 대상을 가리킨다. 제3 실시예의 추가된 사항에 의하면, 총 입력 영상(281)의 전체 영역의 영상에 대한 총 입력 영상(281)의 주변 영역(도 28에서 해칭된 영역)의 영상의 불균일성이 해소될 수 있다. 이하, 총 입력 영상(281)의 주변 영역(도 28에서 해칭된 영역)이란, 각각의 입력 영상(As1 내지 As4)의 주변 영역들이 합쳐진 결과의 영역을 의미한다.

단계 S1a에 있어서, 프로세서는 상기 영상 센서들로부터의 총 입력 영상(281)의 전체 영역에 대한 제1 총 적색 게인(1RGain_GL) 및 제1 총 청색 게인(1BGain_GL)을 구한다(수학식 18, 19를 적용함).

단계 S1b에 있어서, 프로세서는 상기 영상 센서들로부터의 총 입력 영상(281)의 경계 영역(도 28에서 해칭된 영역)에 대한 제2 총 적색 게인(2RGain_GL) 및 제2 총 청색 게인(2BGain_GL)을 구한다(수학식 18, 19를 적용하되 대상이 변경됨).

단계 S2a에 있어서, 상기 영상 센서들 각각으로부터의 각각의 입력 영상(As1 내지 As4)의 전체 영역에 대하여, 프로세서는 상기 제1 총 적색 게인(1RGain_GL)에 대한 각각의 제1 적색 게인(1RGain_1-M)의 비(比)인 각각의 제1 적색 게인 비(1RGainRA_1-M)를 구한다(수학식 25를 적용함).

단계 S2b에 있어서, 상기 영상 센서들 각각으로부터의 각각의 입력 영상(As1 내지 As4)의 경계 영역(도 28에서 해칭된 영역)에 대하여, 프로세서는 상기 제2 총 적색 게인(2RGain_GL)에 대한 각각의 제2 적색 게인(2RGain_1-M)의 비(比)인 각각의 제2 적색 게인 비(2RGainRA_1-M)를 구한다(수학식 25를 적용하되 대상이 변경됨).

단계 S2c에 있어서, 상기 영상 센서들 각각으로부터의 각각의 입력 영상(As1 내지 As4)에 대하여, 상기 제1 적색 게인 비(1RGainRA_1-M)와 상기 제2 적색 게인 비(2RGainRA_1-M)를 곱한 결과에 비례한 각각의 적색 게인 비(RGainRA_1-M)를 구한다. 예를 들어, 아래의 수학식 53이 적용될 수 있다.

적용될 시스템에 따라 상기 수학식 53에서 상수 256이 변경될 수 있음은 물론이다. 예를 들어, 각각의 적색 게인 비(RGainRA_1-M)는 상기 제1 적색 게인 비(1RGainRA_1-M)와 상기 제2 적색 게인 비(2RGainRA_1-M)를 곱한 결과 자체일 수도 있다.

단계 S3a에 있어서, 상기 영상 센서들 각각으로부터의 각각의 입력 영상(As1 내지 As4)의 전체 영역에 대하여, 프로세서는 상기 제1 총 청색 게인(1BGain_GL)에 대한 각각의 제1 청색 게인(1BGain_1-M)의 비(比)인 각각의 제1 청색 게인 비(1BGainRA_1-M)를 구한다(수학식 26을 적용함).

단계 S3b에 있어서, 상기 영상 센서들 각각으로부터의 각각의 입력 영상(As1 내지 As4)의 경계 영역(도 28에서 해칭된 영역)에 대하여, 프로세서는 상기 제2 총 청색 게인(2BGain_GL)에 대한 각각의 제2 청색 게인(2BGain_1-M)의 비(比)인 각각의 제2 청색 게인 비(2BGainRA_1-M)를 구한다(수학식 26을 적용하되 대상이 변경됨).

단계 S2c에 있어서, 상기 영상 센서들 각각으로부터의 각각의 입력 영상(As1 내지 As4)에 대하여, 상기 제1 청색 게인 비(1BGainRA_1-M)와 상기 제2 청색 게인 비(2BGainRA_1-M)를 곱한 결과에 비례한 각각의 청색 게인 비(BGainRA_1-M)를 구한다. 예를 들어, 아래의 수학식 54가 적용될 수 있다.

이상 설명된 바와 같이, 본 실시예의 화이트 밸런싱(white balancing)을 수행하는 방법에 의하면, 총 입력 영상에 대하여 화이트 밸런싱을 수행하되, 영상 센서들 각각으로부터의 입력 영상에 대하여 각각의 적색 게인 비(RGainRA₁ _~N) 및 각각의 청색 게인 비(BGainRA₁ _~N)를 적용하여 화이트 밸런싱을 수행한다.

추가적으로, 본 실시예의 화이트 밸런싱(white balancing)을 수행하는 방법에 의하면, 화이트 영역에 해당하는 블록들뿐만 아니라 특정 색상 영역에 해당하는 블록들도 적용 대상이 된다. 즉, 화이트 영역 및 특정 색상 영역에 해당하는 블록들 각각의 적색 게인(RGain_Block), 청색 게인(BGain_Block), 및 가중값(Weight_block)을 적용하여, 총 입력 영상에 대하여 화이트 밸런싱이 수행된다.

이제까지 본 발명에 대하여 바람직한 실시예를 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 본 발명을 구현할 수 있음을 이해할 것이다.

그러므로 상기 개시된 실시예는 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 특허청구범위에 의해 청구된 발명 및 청구된 발명과 균등한 발명들은 본 발명에 포함된 것으로 해석되어야 한다.

본 발명은 화이트 밸런싱(white balancing) 외의 영상 데이터 조정에도 이용될 가능성이 있다.

301 : 영상 프레임, B₁ 내지 B_N : 블록들,
701 : 보정 매트릭스, I1 내지 Ik : 화이트 영상들,
1301 : 색온도 별 화이트 영상의 적색 비율(Dr)과 청색 비율(Db)의 테이블,
1302 : 색온도 별 화이트 영상의 적색 비율(Dr)과 청색 비율(Db)의 그래프,
1401 : 화이트 영역,
1601 : 구간 기준점 테이블,
2001 : 컬러 체커(Color checker)의 보드,
2101 : 화이트 영역과 특정 색상 영역의 그래프,
2102 내지 2105 : 특정 색상 영역들, P1 : 제1 조명의 좌표 점,
P2 : 제2 조명의 좌표 점, P3 : 제3 조명의 좌표 점,
P4 : 제4 조명의 좌표 점, 251 : 기준 연결 선,
Pp : 현재 조명의 좌표 점,
d1, d2 : 인접 좌표 점과의 거리, 281 : 총 입력 영상,
As1 내지 As4 : 영상 센서들 각각으로부터의 각각의 입력 영상.

Claims

서로 다른 방향의 영상 센서들을 구비한 파노라믹 카메라 내의 프로세서가 화이트 밸런싱(white balancing)을 수행하는 방법에 있어서,
(S1) 상기 영상 센서들로부터의 총 입력 영상에 대한 총 적색 게인(RGain_GL) 및 총 청색 게인(BGain_GL)을 구함;
(S2) 상기 영상 센서들 각각으로부터의 각각의 입력 영상에 대하여 상기 총 적색 게인(RGain_GL)에 대한 각각의 적색 게인(RGain_1-M)의 비(比)인 각각의 적색 게인 비(RGainRA_1-M)를 구함;
(S3) 상기 각각의 입력 영상에 대하여 상기 총 청색 게인(BGain_GL)에 대한 각각의 청색 게인(BGain_1-M)의 비(比)인 각각의 청색 게인 비(BGainRA_1-M)를 구함; 및
(S4) 상기 총 입력 영상에 대하여 화이트 밸런싱을 수행하되, 상기 각각의 입력 영상에 대하여 상기 각각의 적색 게인 비(RGainRA₁ _-M) 및 상기 각각의 청색 게인 비(BGainRA₁ _-M)를 적용하여 화이트 밸런싱을 수행함;을 포함한, 화이트 밸런싱(white balancing)을 수행하는 방법.
청구항 1에 있어서, 상기 단계 (S4)는,
(S401) 상기 총 입력 영상을 복수의 블록들로 구획함;
(S402) 상기 복수의 블록들 각각이 화이트 영역 또는 특정 색상 영역에 해당하는지를 판단함;
(S403) 상기 화이트 영역에 해당하는 블록들 각각에 대하여, 영상 데이터를 사용하여 적색 게인(RGain_Block), 청색 게인(BGain_Block), 및 가중값(Weight_block)을 구함;
(S404) 상기 특정 색상 영역에 해당하는 블록들 각각에 대하여, 색상별로 다르게 설정되어 있는 목표 적색 게인(RGain_co _{target value}), 목표 청색 게인(BGain_co _{target value}), 및 목표 가중값(Weight_co _{target value})을 적용하여 적색 게인(RGain_Block), 청색 게인(BGain_Block), 및 가중값(Weight_block)을 선정함; 및
(S405) 상기 화이트 영역 및 상기 특정 색상 영역에 해당하는 블록들 각각의 적색 게인(RGain_Block), 청색 게인(BGain_Block), 및 가중값(Weight_block)을 적용하고, 상기 각각의 입력 영상에 대하여 상기 각각의 적색 게인 비(RGainRA₁ _-M) 및 상기 각각의 청색 게인 비(BGainRA₁ _-M)를 적용하여, 상기 총 입력 영상의 모든 화소 값들을 보정함;을 포함한, 화이트 밸런싱(white balancing)을 수행하는 방법.
청구항 2에 있어서, 상기 단계 (S405)는,
(S4051) 상기 화이트 영역 및 상기 특정 색상 영역에 해당하는 블록들 각각의 가중값(Weight_block)의 총합에 대한 상기 화이트 영역 및 상기 특정 색상 영역에 해당하는 블록들 각각의 적색 게인(RGain_Block)과 가중값(Weight_block)의 곱의 총합의 비율인 적색 게인의 총합 비율(RGain_tot)을 계산함;
(S4052) 상기 화이트 영역 및 상기 특정 색상 영역에 해당하는 블록들 각각의 가중값(Weight_block)의 총합에 대한 상기 화이트 영역 및 상기 특정 색상 영역에 해당하는 블록들 각각의 청색 게인(BGain_Block)과 가중값(Weight_block)의 곱의 총합의 비율인 청색 게인의 총합 비율(BGain_tot)을 계산함;
(S4053) 상기 적색 게인의 총합 비율(RGain_tot)을 적용될 총 적색-게인 비율(RGainPR_GL)로 설정하고, 상기 청색 게인의 총합 비율(BGain_tot)을 적용될 총 청색-게인 비율(BGainPR_GL)로 설정하되, 미리 설정되어 있는 기준 게인-좌표 영역 내에 들도록 상기 총 적색-게인 비율(RGainPR_GL)과 상기 총 청색-게인 비율(BGainPR_GL)을 조정함; 및
(S4054) 상기 총 적색-게인 비율(RGainPR_GL), 상기 총 청색-게인 비율(BGainPR_GL), 상기 각각의 적색 게인 비(RGainRA₁ _-M), 상기 각각의 청색 게인 비(BGainRA_1-M), 및 보정 매트릭스를 적용하여, 상기 총 입력 영상의 모든 화소 값들을 보정함;을 포함한, 화이트 밸런싱(white balancing)을 수행하는 방법.
청구항 3에 있어서, 상기 단계 (S4054)에서,
상기 총 적색-게인 비율(RGainPR_GL)에 상기 각각의 적색 게인 비(RGainRA₁ _-M)가 곱해진 결과인 각각의 최종 적색-게인 비율(RGainPR₁ _-M), 상기 총 청색-게인 비율(BGainPR_GL)에 상기 각각의 청색 게인 비(BGainRA₁ _-M)가 곱해진 결과인 각각의 최종 청색-게인 비율(BGainPR₁ _-M), 및 상기 보정 매트릭스를 적용하여, 상기 총 입력 영상의 모든 화소 값들을 보정하는, 화이트 밸런싱(white balancing)을 수행하는 방법.
청구항 1에 있어서, 상기 단계 (S1)은,
(S101) 상기 영상 센서들로부터의 총 입력 영상에서 모든 적색 값들이 합쳐진 결과인 총 적색 값(R_GL)을 구함;
(S102) 상기 영상 센서들로부터의 총 입력 영상에서 모든 녹색 값들이 합쳐진 결과인 총 녹색 값(G_GL)을 구함;
(S103) 상기 영상 센서들로부터의 총 입력 영상에서 모든 청색 값들이 합쳐진 결과인 총 청색 값(B_GL)을 구함;
(S104) 상기 총 적색 값(R_GL)에 대한 상기 총 녹색 값(G_GL)의 비율인 상기 총 적색 게인(RGain_GL)을 구함; 및
(S105) 상기 총 청색 값(B_GL)에 대한 상기 총 녹색 값(G_GL)의 비율인 상기 총 청색 게인(BGain_GL)을 구함;을 포함한, 화이트 밸런싱(white balancing)을 수행하는 방법.
청구항 5에 있어서,
상기 단계 (S2)는,
(S201) 상기 각각의 입력 영상에 대한 각각의 적색 총합 값(RSum₁ _-M)에 상기 총 적색 게인(RGain_GL)이 곱해진 결과로서의 각각의 보정용 적색 총합 값(RSumC₁ _-M)을 구함; 및
(S202) 상기 각각의 보정용 적색 총합 값(RSumC₁ _-M)에 대한 각각의 녹색 총합 값(GSum_1-M)의 비(比)인 상기 각각의 적색 게인 비(RGainRA_1-M)를 구함;을 포함하고,
상기 단계 (S3)은,
(S301) 상기 각각의 입력 영상에 대한 각각의 청색 총합 값(BSum₁ _-M)에 상기 총 청색 게인(BGain_GL)이 곱해진 결과로서의 각각의 보정용 청색 총합 값(BSumC₁ _-M)을 구함; 및
(S302) 상기 각각의 보정용 청색 총합 값(BSumC₁ _-M)에 대한 상기 각각의 녹색 총합 값(GSum₁ _-M)의 비(比)인 상기 각각의 청색 게인 비(BGainRA₁ _-M)를 구함;을 포함한, 화이트 밸런싱(white balancing)을 수행하는 방법.
청구항 1에 있어서,
상기 단계 (S1) 내지 (S4)가 서로 다른 색온도를 가진 각각의 조명에 적용되고,
각각의 조명에서의 상기 총 적색 게인(RGain_GL) 및 상기 총 청색 게인(BGain_GL)에 상응하는 상기 각각의 적색 게인 비(RGainRA_1-M) 및 상기 각각의 청색 게인 비(BGainRA_1-M)의 데이터가 저장되어 선택적으로 적용되는, 화이트 밸런싱(white balancing)을 수행하는 방법.
청구항 7에 있어서,
상기 총 적색 게인(RGain_GL)과 상기 총 청색 게인(BGain_GL)을 좌표로 하는 그래프가 형성되고, 상기 그래프에서 인접된 좌표 점들 사이가 직선으로 연결되며,
상기 단계 (S4)에서,
현재의 조명에서의 상기 총 적색 게인(RGain_GL) 및 상기 총 청색 게인(BGain_GL)의 좌표 점이 상기 인접된 좌표 점들 사이에 위치하면, 상기 직선상의 거리를 이용한 보간 계산에 의하여 상기 각각의 적색 게인 비(RGainRA_1-M) 및 상기 각각의 청색 게인 비(BGainRA_1-M)를 구하는, 화이트 밸런싱(white balancing)을 수행하는 방법.
서로 다른 방향의 영상 센서들을 구비한 파노라믹 카메라 내의 프로세서가 화이트 밸런싱(white balancing)을 수행하는 방법에 있어서,
(S1a) 상기 영상 센서들로부터의 총 입력 영상의 전체 영역에 대한 제1 총 적색 게인(1RGain_GL) 및 제1 총 청색 게인(1BGain_GL)을 구함;
(S1b) 상기 영상 센서들로부터의 총 입력 영상의 경계 영역에 대한 제2 총 적색 게인(2RGain_GL) 및 제2 총 청색 게인(2BGain_GL)을 구함;
(S2a) 상기 영상 센서들 각각으로부터의 각각의 입력 영상의 전체 영역에 대하여, 상기 제1 총 적색 게인(1RGain_GL)에 대한 각각의 제1 적색 게인(1RGain_1-M)의 비(比)인 각각의 제1 적색 게인 비(1RGainRA_1-M)를 구함;
(S2b) 상기 영상 센서들 각각으로부터의 각각의 입력 영상의 경계 영역에 대하여, 상기 제2 총 적색 게인(2RGain_GL)에 대한 각각의 제2 적색 게인(2RGain_1-M)의 비(比)인 각각의 제2 적색 게인 비(2RGainRA_1-M)를 구함;
(S2c) 상기 영상 센서들 각각으로부터의 각각의 입력 영상에 대하여, 상기 제1 적색 게인 비(1RGainRA_1-M)와 상기 제2 적색 게인 비(2RGainRA_1-M)를 곱한 결과에 비례한 각각의 적색 게인 비(RGainRA_1-M)를 구함;
(S3a) 상기 영상 센서들 각각으로부터의 각각의 입력 영상의 전체 영역에 대하여, 상기 제1 총 청색 게인(1BGain_GL)에 대한 각각의 제1 청색 게인(1BGain_1-M)의 비(比)인 각각의 제1 청색 게인 비(1BGainRA_1-M)를 구함;
(S3b) 상기 영상 센서들 각각으로부터의 각각의 입력 영상의 경계 영역에 대하여, 상기 제2 총 청색 게인(2BGain_GL)에 대한 각각의 제2 청색 게인(2BGain_1-M)의 비(比)인 각각의 제2 청색 게인 비(2BGainRA_1-M)를 구함;
(S3c) 상기 영상 센서들 각각으로부터의 각각의 입력 영상에 대하여, 상기 제1 청색 게인 비(1BGainRA_1-M)와 상기 제2 청색 게인 비(2BGainRA_1-M)를 곱한 결과에 비례한 각각의 청색 게인 비(BGainRA_1-M)를 구함; 및
(S4) 상기 총 입력 영상에 대하여 화이트 밸런싱을 수행하되, 상기 각각의 입력 영상에 대하여 상기 각각의 적색 게인 비(RGainRA_1-M) 및 상기 각각의 청색 게인 비(BGainRA_1-M)를 적용하여 화이트 밸런싱을 수행함;을 포함한, 화이트 밸런싱(white balancing)을 수행하는 방법.