KR102356372B1

KR102356372B1 - 화이트 밸런스 처리 방법, 전자 장치 및 컴퓨터 판독 가능 저장 매체

Info

Publication number: KR102356372B1
Application number: KR1020207005337A
Authority: KR
Inventors: 휘차오 왕
Original assignee: 광동 오포 모바일 텔레커뮤니케이션즈 코포레이션 리미티드
Priority date: 2017-10-30
Filing date: 2018-09-03
Publication date: 2022-02-08
Also published as: KR20200029036A; US10574960B2; CN107801013A; US20190132566A1; US10798356B2; WO2019085633A1; ES2816425T3; JP2020528248A; JP6888167B2; CN107801013B; EP3477942B1; US20200036951A1; EP3477942A1

Abstract

본 발명은 화이트 밸런스 처리 방법을 제공한다. 상기 화이트 밸런스 처리 방법은 다음과 같다. 컬러 온도 변화가 각각 적용된 상기 복수의 연속 프레임 이미지의 각 이미지는 메인 광원에 대응하는 컬러 온도를 판단하도록 처리된다(S11). 원색 온도의 변화가 기결정된 임계 값 이상인지가 판단된다(S12). 상기 원색 온도의 변화는 제2프레임 이미지에서 상기 메인 광원의 상기 컬러 온도와 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도 사이의 차이를 나타낸다. 상기 원색 온도의 변화가 상기 기결정된 임계 값 미만인 경우, 상기 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 상기 제2프레임 이미지에 대해 상기 화이트 밸런스 처리가 수행된다(S13).

Description

화이트 밸런스 처리 방법, 전자 장치 및 컴퓨터 판독 가능 저장 매체

본 발명은 이미지 처리 기술 분야에 관한 것으로, 더 구체적으로는 화이트 밸런스 처리 방법 및 장치, 전자 장치 및 컴퓨터 판독 가능 저장 매체에 관한 것이다.

다중 광원을 가지는 시나리오에서, 종래 기술의 화이트 밸런스 처리 방법은 이미지를 처리함으로써 상기 광원을 검출하고 상기 광원 중 하나를 메인 광원으로서 선택할 수 있다. 따라서, 상기 메인 광원의 컬러에 기초하여 화이트 밸런스 처리가 수행된다.

본 발명의 실시 예는 화이트 밸런스 처리 방법, 전자 장치 및 컴퓨터 판독 가능 저장 매체를 제공한다. 본 발명의 실시 예들에 따른 화이트 밸런스 처리 방법은 다중 광원을 가지는 시나리오 하에서 컬러 온도 변화가 각각 적용된 복수의 연속적인 프레임 이미지들에 대한 화이트 밸런스 처리를 수행하는데 사용된다. 상기 화이트 밸런스 처리 방법은, 메인 광원에 대응하는 컬러 온도를 판단하기 위해 상기 복수의 연속적인 프레임 이미지의 각 프레임 이미지를 처리하는 단계; 원색 온도의 변화가 기결정된 임계 값 이상인지를 판단하는 단계로서, 상기 원색 온도의 변화는 제2프레임 이미지에서 상기 광원의 상기 컬러 온도와 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도 사이의 차이를 나타내고, 상기 제1프레임 이미지 및 상기 제2프레임 이미지는 서로 인접하고 상기 복수의 연속적인 프레임 이미지로부터의 2개의 프레임 이미지인 단계; 및 상기 원색 온도의 변화가 상기 기결정된 임계 값보다 작은 경우, 상기 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 상기 제2프레임 이미지에 대해 화이트 밸런스 처리를 수행하는 단계를 포함한다.

일 실시 예에서, 상기 메인 광원에 대응하는 상기 컬러 온도를 판단하기 위해 상기 복수의 연속적인 프레임 이미지의 각 프레임 이미지를 처리하는 단계는, 상기 프레임 이미지에서 복수의 광원을 검출하는 단계; 상기 메인 광원을 판단하기 위해 상기 복수의 광원의 기결정된 파라미터들을 서로 비교하는 단계; 및 상기 메인 광원의 상기 컬러 온도를 판단하기 위해 상기 메인 광원의 컬러를 판단하는 단계를 포함한다.

일 실시 예에서, 상기 프레임 이미지에서 상기 복수의 광원을 검출하는 단계는, 상기 프레임 이미지를 복수의 영역으로 분할하는 단계; 각 영역의 히스토그램에 따라, 상기 영역이 상기 광원을 가지는 타깃 영역인지를 판단하는 단계; 상기 영역이 상기 광원을 가지는 상기 타깃 영역인 경우, 서로 인접한 둘 이상의 타깃 영역이 존재하는지를 판단하는 단계; 상기 서로 인접한 둘 이상의 타깃 영역이 존재하는 경우, 상기 둘 이상의 타깃 영역에 포함된 둘 이상의 광원을 상기 복수의 광원 중 하나로 스티칭 하는 단계; 및 상기 서로 인접한 둘 이상의 타깃 영역이 존재하지 않는 경우, 상기 타깃 영역에 포함된 상기 광원을 상기 복수의 광원 중 하나로 판단하는 단계를 포함한다.

일 실시 예에서, 상기 히스토그램은, 가로 축의 픽셀 값 및 세로 축의 픽셀 수를 보여주는 히스토그램; 가로 축의 픽셀 수 및 세로 축의 픽셀 값을 보여주는 히스토그램; 가로 축의 픽셀 수의 비율과 세로 축의 픽셀 값을 보여주는 히스토그램; 및 가로 축의 픽셀 값과 세로 축의 픽셀 수의 비율을 보여주는 히스토그램을 포함하는 그룹에서 선택된다.

일 실시 예에서, 상기 영역의 상기 히스토그램에 따라 상기 영역이 상기 광원을 가지는 상기 타깃 영역인지를 판단하는 단계는, 기결정된 값보다 큰 픽셀 값을 가지는 각각의 픽셀 수의 비율이 기결정된 비율을 초과하는지를 판단하는 단계; 상기 기결정된 값보다 큰 상기 픽셀 값을 가지는 각각의 상기 픽셀 수의 상기 비율이 상기 기결정된 비율을 초과하는 경우, 상기 영역의 상기 히스토그램에 따라 상기 영역이 상기 광원을 가지는 상기 타깃 영역인 것으로 판단하는 단계; 및 상기 기결정된 값보다 큰 상기 픽셀 값을 가지는 각각의 상기 픽셀 수의 상기 비율이 상기 기결정된 비율을 초과하지 않는 경우, 상기 영역의 상기 히스토그램에 따라 상기 영역이 상기 광원을 가지는 상기 타깃 영역이 아닌 것으로 판단하는 단계를 포함한다.

일 실시 예에서, 상기 메인 광원을 판단하기 위해 상기 복수의 광원의 상기 기결정된 파라미터를 비교하는 단계는, 상기 복수의 광원의 시나리오 파라미터들, 영역들 및 휘도 파라미터들 중 어느 하나에 따라 상기 메인 광원을 판단하는 단계를 포함하고, 상기 시나리오 파라미터들은 GPS의 상기 신호 강도 및 상기 이미지를 캡처하기 위한 시간을 포함하고, 상기 휘도 파라미터들은 상기 복수의 광원의 휘도 및 상기 이미지의 평균 휘도를 포함한다.

일 실시 예에서, 상기 복수의 광원의 상기 영역들에 따라 상기 메인 광원을 판단하는 단계는, 최대 영역을 가지는 광원을 상기 메인 광원으로 판단하는 단계를 포함한다.

일 실시 예에서, 상기 복수의 광원의 상기 휘도 및 상기 이미지의 평균 휘도에 따라 상기 메인 광원을 판단하는 단계는, 기결정된 휘도보다 큰 휘도를 가지고, 상기 이미지의 상기 평균 휘도와 매치되는 광원을 상기 메인 광원으로서 판단하는 단계를 포함한다.

일 실시 예에서, 상기 메인 광원의 상기 컬러 온도를 판단하기 위해 상기 메인 광원의 상기 컬러를 판단하는 단계는, 상기 메인 광원의 중심에서 반경 방향으로 휘도 분포에 따라 제1영역 및 제2영역을 판단하는 단계;-상기 제1영역은 상기 메인 광원의 상기 중심에서 상기 반경 방향으로 제1휘도 범위 내의 휘도를 가지는 픽셀들에 의해 정의된 영역을 나타내고, 상기 제2영역은 상기 메인 광원의 상기 중심에서 상기 반경 방향으로 제2휘도 범위 내의 휘도를 가지는 픽셀들에 의해 정의된 영역을 나타내며, 상기 제2휘도 범위의 상한은 상기 제1휘도 범위의 하한 이하이며,- 상기 메인 광원의 컬러를 판단하기 위해 상기 제1영역의 원색 채널들의 평균 픽셀 값으로부터 상기 제2영역의 원색 채널들의 평균 픽셀 값을 차감하는 단계; 및 상기 메인 광원의 상기 컬러에 따라 상기 메인 광원의 상기 컬러 온도를 판단하는 단계를 포함한다.

일 실시 예에서, 상기 화이트 밸런스 처리 방법은, 상기 원색 온도의 상기 변화가 상기 기결정된 임계 값 이상인 경우, 상기 제2프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 상기 제2프레임 이미지에 대한 화이트 밸런스 처리를 수행하는 단계를 더 포함한다.

일 실시 예에서, 상기 화이트 밸런스 처리 방법은, 상기 원색 온도의 상기 변화가 상기 기결정된 임계 값 이상인 경우, 노드 컬러 온도의 변화가 상기 기결정된 임계 값 이상인지를 판단하는 단계로서, 상기 노드 컬러 온도의 상기 변화는 제3프레임 이미지에서 상기 메인 광원의 상기 컬러 온도와 상기 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도 사이의 차이를 나타내고, 상기 제3프레임 이미지는 상기 제1프레임 이미지에 인접하지 않고 상기 복수의 연속적인 프레임 이미지로부터 비롯되는 단계; 상기 노드 컬러 온도의 상기 변화가 상기 기결정된 임계 값 미만인 경우, 상기 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 상기 제3프레임 이미지에 대한 화이트 밸런스 처리를 수행하는 단계; 및 상기 노드 컬러 온도의 상기 변화가 상기 기결정된 임계 값 이상인 경우, 상기 제3프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 상기 제3프레임 이미지에 대한 상기 화이트 밸런스 처리를 수행하는 단계를 더 포함한다.

일 실시 예에서, 상기 화이트 밸런스 처리 방법은, 상기 화이트 밸런스 처리가 적용된 상기 프레임 이미지에 대하여 사용자에 의해 수행되는 동작을 이용하여 상기 메인 광원을 판단하는 단계를 더 포함한다.

일 실시 예에서, 상기 동작은 편집, 저장 및 삭제 중 적어도 하나를 포함한다.

본 발명의 실시 예들에 따른 전자 장치는, 하나 이상의 프로세서, 메모리 및 하나 이상의 프로그램을 포함한다. 상기 하나 이상의 프로그램은 상기 메모리에 저장되고, 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다. 상기 하나 이상의 프로그램은 상기 실시 예들 중 어느 하나에 따른 화이트 밸런스 처리 방법을 실행하기 위한 명령어들을 포함한다.

본 발명의 실시 예에 따른 컴퓨터 판독 가능 저장 매체는 전자 장치와 협력하는 컴퓨터 프로그램들을 포함한다. 상기 컴퓨터 프로그램들은 프로세서에 의해 실행되어 상기 실시 예들 중 어느 하나에 따른 화이트 밸런스 처리 방법을 실행한다.

본 발명의 실시 예들에 따른 상기 화이트 밸런스 처리 방법, 전자 장치 및 컴퓨터 판독 가능 저장 매체에 의하면, 인접한 2개 프레임 이미지 사이의 상기 메인 광원의 상기 원색 온도의 상기 변화가 상기 기결정된 임계 값 미만인 경우, 상기 화이트 밸런스 처리는 인접한 이전 프레임 이미지에서 상기 메인 광원의 컬러 온도에 따라 현재 프레임 이미지에 대해 수행된다.

그러므로, 카메라가 흔들릴 때 상기 시야의 흔들림으로 인한 상기 메인 광원의 빈번한 전환이 방지될 수 있고, 상기 화이트 밸런스가 보정된 프리뷰 이미지의 톤의 변화가 더 방지되며, 이로써 사용자 경험을 향상시킨다.

본 발명의 실시 예들의 추가적인 양태들 및 이점들은 다음의 설명들에서 부분적으로 주어지거나, 다음의 설명들로부터 부분적으로 명백해지거나, 또는 본 발명의 실시 예들의 실시로부터 학습될 것이다.

본 발명의 실시 예들의 이들 및 다른 양상들 및 장점들은 도면들을 참조하여 이루어진 다음 설명으로부터 명백해지고 더 쉽게 이해될 것이다.
도 1은 본 발명의 실시 예에 따른 화이트 밸런스 처리 방법을 도시한 순서도이다.
도 2는 본 발명의 실시 예에 따른 화이트 밸런스 처리 방법의 시나리오를 도시 한 개략도이다.
도 3은 본 발명의 실시 예에 따른 화이트 밸런스 처리 방법을 도시한 순서도이다.
도 4는 본 발명의 실시 예에 따른 화이트 밸런스 처리 방법을 도시한 순서도이다.
도 5는 본 발명의 실시 예에 따른 화이트 밸런스 처리 방법의 시나리오를 도시한 개략도이다.
도 6은 본 발명의 실시 예에 따른 화이트 밸런스 처리 방법의 시나리오를 도시한 개략도이다.
도 7은 본 발명의 실시 예에 따른 화이트 밸런스 처리 방법에서 기술된 각 영역에 대한 히스토그램이다.
도 8은 본 발명의 구현에 따른 화이트 밸런스 처리 방법을 도시한 순서도이다.
도 9는 본 발명의 실시 예에 따른 화이트 밸런스 처리 방법을 도시한 순서도이다.
도 10은 본 발명의 실시 예에 따른 화이트 밸런스 처리 방법의 시나리오를 도시한 개략도이다.
도 11은 본 발명의 실시 예에 따른 화이트 밸런스 처리 방법에 기술된 컬러 온도의 커브 플롯이다.
도 12는 본 발명의 실시 예에 따른 화이트 밸런스 처리 방법을 도시한 순서도이다.
도 13은 본 발명의 실시 예에 따른 화이트 밸런스 처리 방법을 도시한 순서도이다.
도 14는 본 발명의 실시 예에 따른 화이트 밸런스 처리 방법을 도시한 순서도이다.
도 15는 본 발명의 일 실시 예에 따른 화이트 밸런스 처리 장치를 도시한 블록도이다.
도 16은 본 발명의 실시 예에 따른 제1처리 모듈을 도시한 블록도이다.
도 17은 본 발명의 실시 예에 따른 검출 모듈을 도시한 블록도이다.
도 18은 본 발명의 실시 예에 따른 판단 모듈을 도시한 블록도이다.
도 19는 본 발명의 일 실시 예에 따른 화이트 밸런스 처리 장치를 도시한 블록도이다.
도 20은 본 발명의 일 실시 예에 따른 화이트 밸런스 처리 장치를 도시한 블록도이다.
도 21은 본 발명의 일 실시 예에 따른 화이트 밸런스 처리 장치를 도시한 블록도이다.
도 22는 본 발명의 실시 예에 따른 전자 장치를 도시한 블록도이다.
도 23은 본 발명의 실시 예에 따른 전자 장치와 컴퓨터 판독 가능 저장 매체 사이의 연결을 도시한 개략도이다.

본 발명의 실시 예에 대해 상세하게 설명될 것이며, 상기 실시 예들의 보기들은 도면에 도시되어 있다. 동일하거나 유사한 요소들 및 동일하거나 유사한 기능들을 가지는 요소들은 명세서 전체에 걸쳐 동일한 참조 번호로 표시된다. 도면들을 참조하여 본 명세서에 설명된 실시 예들은 설명하기 위한 것이고, 본 발명의 실시 예들을 이해하기 위해 사용되며, 본 발명의 실시 예들을 제한하는 것으로 해석되지 않는다.

본 발명의 실시 예들의 설명에서, "중앙", "세로", "가로", "길이", "폭", "두께", "위", "아래" "전면", "후면", "오른쪽","왼쪽”, "수직”, "수평”, "상단”, "하단”, "내부”, "외부”, "시계 방향”, "반 시계 방향”과 같은 용어로 표시되는 방향 및 위치 관계는, 도면들에 도시된 바와 같이 방향 및 위치 관계에 기초하고, 본 발명의 실시 예들을 기술하고 설명을 단순화하기 위해서만 사용되며, 언급된 장치 또는 요소가 특정 방향을 가져야 하거나 특정 방향으로 구성 또는 작동되어야 함을 나타내거나 암시하지 않는 것으로 이해될 수 있다. 따라서, 이러한 상대적인 용어는 본 발명의 실시 예를 제한하도록 구성되지 않는다. 또한, 용어 "제1" 및 "제2"는 설명의 목적으로만 사용되며 상대적인 중요성 또는 기술적 특징의 수를 나타내거나 암시하도록 의도되지 않는다. 또한, "제1" 및 "제2"로 정의된 특징은 이러한 특징을 하나 이상 명시적으로 또는 암시적으로 포함할 수 있다. 본 명세서의 설명에서, 용어 "복수의"는 달리 명시되지 않는 한 둘 이상을 의미한다.

본 발명의 실시 예들의 설명에서, 명시적으로 지정하거나 달리 제한하지 않는 한, "장착된", "연결된" 및 "결합된"이라는 용어는 광범위하게 사용되며 고정, 분리 가능 또는 일체형 연결과 같이 포함되며; 또한 기계적 또는 전기적 연결일 수 있거나 서로 통신할 수 있으며; 또한, 본 발명의 상세한 실시 예에 따라 당업자가 이해할 수 있는 달리 명시적으로 정의되지 않는 한, 중간 매개체를 통한 직접 및 간접 연결일 수 있고, 또한 내부 연결 또는 두 요소 사이의 상호 작용일 수 있음을 주목하여야 한다.

본 발명의 실시 예에서, 명시적으로 지정하거나 달리 제한하지 않는 한, 제1특징이 제2특징의 "위" 또는 "아래"인 구조는 상기 제1특징이 상기 제2특징과 직접 접촉하는 실시 예를 포함할 수 있고, 또한, 상기 제1특징이 상기 제2특징과 직접 접촉하지 않도록 추가 특징이 상기 제1특징과 상기 제2특징 사이에 형성되는 실시 예를 포함할 수 있다. 또한, 제1특징이 제2특징의 "상", "위" 또는 "상단"에 있는 것은, 상기 제1특징이 상기 제2특징의 바로 "상", "위" 또는 "상단"인 실시 예를 포함할 수 있고, 또한, 상기 제1특징이 상기 제2특징의 바로 "상", "위" 또는 "상단"에 있지 않은 실시 예를 포함하거나, 또는 상기 제1특징이 상기 제2특징보다 높은 높이에 있다는 것을 의미할 수 있다. 제1특징이 제2특징의 "아래", "하부" 또는 "하단"에 있는 경우, 상기 제1특징은 상기 제2특징의 바로 "아래", "하부" 또는 "하단"에 있는 실시 예를 포함할 수 있고, 또한, 상기 제1특징이 상기 제2특징의 바로 "아래", "하부" 또는 "하단"에 있지 않은 실시 예를 포함할 수 있거나, 또는 상기 제1특징이 상기 제2특징의 높이보다 낮은 높이에 있다는 것을 의미할 수 있다.

본 발명의 실시 예에 따른 다른 구조들을 구현하기 위해 본 발명에서 많은 다른 실시 예들 또는 보기들이 제공된다. 본 발명의 실시 예들의 개시를 단순화하기 위해, 특정 예들의 구성 요소 및 배열이 아래에 설명된다. 확실히, 이들은 예시일 뿐이며 본 발명을 제한하려는 것이 아니다. 또한, 참조 번호들 및/또는 참조 문자들은 단순성 및 명료성을 목적으로 하는 본 발명의 구현에서 다른 예에서 반복될 수 있으며, 논의된 다양한 구현들 및/또는 배열들 사이의 관계를 나타내지 않는다. 또한, 본 발명의 실시 예들은 다양한 특정 공정들 및 재료들의 예를 제공하지만, 다른 공정들의 사용 및/또는 다른 재료들의 사용은 당업자에 의해 인식될 수 있다.

관련 기술에서, 카메라가 흔들릴 때, 시야의 흔들림으로 인해 메인 광원이 다중 광원들 사이에서 전환될 수 있다. 결과적으로, 화이트 밸런스가 보정된 프리뷰 이미지의 톤이 변화하여 사용 경험이 저하된다.

본 발명의 실시 예는 다중 광원을 가지는 시나리오 하에서 컬러 온도 변화가 각각 적용된 복수의 연속적인 프레임 이미지에 대해 화이트 밸런스 처리를 수행하는데 사용되는 화이트 밸런스 처리 방법을 제공한다. 상기 화이트 밸런스 처리 방법은, 메인 광원에 대응하는 컬러 온도를 판단하기 위해 상기 복수의 연속적인 프레임 이미지의 각 프레임 이미지를 처리하는 단계; 원색 온도의 변화가 기결정된 임계 값 이상인지를 판단하는 단계로서, 상기 원색 온도의 변화는 제2프레임 이미지에서 상기 광원의 상기 컬러 온도와 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도 사이의 차이를 나타내고, 상기 제1프레임 이미지 및 상기 제2프레임 이미지는 서로 인접하고 상기 복수의 연속적인 프레임 이미지로부터의 2개의 프레임 이미지인 단계; 및 상기 원색 온도의 변화가 상기 기결정된 임계 값보다 작은 경우, 상기 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 상기 제2프레임 이미지에 대해 화이트 밸런스 처리를 수행하는 단계를 포함한다.

본 발명의 실시 예는 다중 광원을 가지는 시나리오 하에서 컬러 온도 변화가 각각 적용된 복수의 연속 프레임 이미지에 대해 화이트 밸런스 처리를 수행하도록 구성된 화이트 밸런스 처리 장치를 제공한다. 상기 화이트 밸런스 처리 장치는, 메인 광원에 대응하는 컬러 온도를 판단하기 위해 상기 복수의 연속적인 프레임 이미지의 각각의 프레임 이미지를 처리하도록 구성된 제1처리 모듈; 원색 온도의 변화가 기결정된 임계 값 이상인지를 판단하도록 구성된 제1판정 모듈로서, 상기 원색 온도의 변화는 제2프레임 이미지에서 상기 메인 광원의 상기 컬러 온도와 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도 사이의 차이를 나타내며, 상기 제1프레임 이미지 및 상기 제2프레임 이미지는 서로 인접하고 상기 복수의 연속적인 프레임 이미지로부터의 2개의 프레임 이미지인 제1판정 모듈; 및 상기 원색 온도의 변화가 상기 기결정된 임계 값 미만인 경우, 상기 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 상기 제2프레임 이미지에 대해 화이트 밸런스 처리를 수행하도록 구성된 제2처리 모듈을 포함한다.

본 발명의 실시 예들은 하나 이상의 프로세서, 메모리 및 하나 이상의 프로그램을 포함하는 전자 장치를 제공한다. 상기 하나 이상의 프로그램은 상기 메모리에 저장되고 상기 하나 이상의 프로세서에 의해 실행 가능하도록 구성된다. 상기 하나 이상의 프로그램은 화이트 밸런스 처리 방법을 실행하기 위한 명령어들을 포함한다.

본 발명의 실시 예들은 본 발명의 실시 예들에 따른 컴퓨터 판독 가능 저장 매체를 제공하여 전자 장치와 협력하는 컴퓨터 프로그램들을 포함한다. 상기 컴퓨터 프로그램들은 프로세서에 의해 실행되어 화이트 밸런스 처리 방법을 실행한다.

도 1을 참조하면, 본 발명의 실시 예에 따른 화이트 밸런스 처리 방법은 다수의 광원을 가지는 시나리오 하에서 복수의 연속적인 프레임 이미지들에 대한 화이트 밸런스 처리를 수행하기 위해 사용된다. 상기 화이트 밸런스 처리 방법은 다음과 같다.

블록(S11)에서, 상기 복수의 연속적인 프레임 이미지의 각 프레임 이미지는 메인 광원에 대응하는 컬러 온도를 판단하도록 처리된다.

블록(S12)에서, 원색 컬러 온도(primary color temperature)의 변화가 기결정된 임계 값 이상인지 여부가 판정된다. 상기 원색 컬러 온도의 상기 변화는 컬러 온도 변화가 적용된 제2프레임 이미지에서 상기 메인 광원의 상기 컬러 온도와 상기 컬러 온도 변화가 적용된 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도 사이의 차이를 나타낸다. 상기 제1프레임 이미지 및 상기 제2프레임 이미지는 서로 인접하고, 상기 복수의 연속적인 프레임 이미지들로부터의 2개의 프레임 이미지이다.

블록(S13)에서, 상기 원색 컬러 온도의 상기 변화가 기결정된 임계 값 미만인 경우, 상기 컬러 온도 변화가 적용된 상기 제1프레임 이미지에서 메인 광원의 상기 컬러 온도에 따라 상기 컬러 온도 변화가 적용된 제2프레임 이미지에 대해 화이트 밸런스 처리가 수행된다. 본 발명의 일 실시 예에 따른 상기 화이트 밸런스 처리 방법에 의하면, 2개의 인접한 프레임 이미지에서 상기 메인 광원의 상기 원색 온도의 상기 변화가 상기 기결정된 임계 값보다 작은 경우, 상기 화이트 밸런스 처리는 인접한 이전 프레임 이미지에서 상기 메인 광원의 상기 컬러 온도를 사용하여 현재 프레임 이미지에 대해 수행된다. 따라서, 상기 카메라가 흔들릴 때 시야(field of view)의 흔들림으로 인한 상기 메인 광원의 빈번한 전환이 방지될 수 있고, 화이트 밸런스가 보정된 프리뷰 이미지의 톤의 변화가 더 방지됨으로써, 사용자 경험을 향상시킨다.

구체적으로, 도 2를 참조하면, 일 실시 예에서, 상기 카메라가 흔들릴 때 (가령, 상하 흔들림과 같은), F0, F1, F2, F3 등을 포함하여 상기 카메라의 상기 시야에 차례로 복수의 프레임 이미지가 제시된다. F0은 상기 컬러 온도 변화가 적용된 제1프레임 이미지이고, F1은 상기 컬러 온도 변화가 적용된 제2프레임 이미지이며, F2는 상기 컬러 온도 변화가 적용된 제3프레임 이미지이며, 그리고 F3은 상기 컬러 온도 변화가 적용된 제4프레임 이미지라고 가정한다. 상기 이미지(F0)에서, 상기 광원(R)은 상기 메인 광원이고, 상기 광원(R)의 상기 컬러 온도는 CCT0이다. 상기 화이트 밸런스 처리는, 상기 화이트 밸런스 처리 방법으로 상기 광원(R)의 상기 컬러 온도(CCT0)에 따라 상기 이미지(F0)에서 수행된다. 상기 이미지(F1)에서, 상기 광원(R)은 상기 시야에서 부분적으로 벗어나고, 상기 광원(B)이 메인 광원이며, 상기 광원(B)의 상기 컬러 온도는 CCT1이다. CCT1과 CCT0의 차이 (즉, 상기 원색 온도의 상기 변화(△T))의 절대 값 │CCT1 ~ CCT0│이 상기 기결정된 임계 값(T0) 이상인지가 판정된다(가령, 기결정된 임계 값(T0)은 50K, 100K, 120K 등일 수 있으나, 여기에 한정되지는 않는다). △T<T0 인 경우, 상기 광원(R)의 상기 컬러 온도(CCT0)에 따라 상기 이미지(F1)에 대해 상기 화이트 밸런스 처리가 수행된다. 따라서, 상기 카메라의 약간의 흔들림으로 인해 선택된 메인 광원의 빈번한 전환이 방지될 수 있다.

도 3을 참조하면, 일부 실시 예에서, 상기 블록(S11)은 다음과 같다.

블록(S111)에서, 상기 이미지에서 복수의 광원이 검출된다.

블록(S112)에서, 상기 복수의 광원의 기결정된 파라미터들이 서로 비교되어, 상기 메인 광원을 판단한다.

블록(S113)에서, 상기 메인 광원의 상기 컬러 온도를 판단하기 위해 상기 메인 광원의 컬러가 판단된다.

본 발명의 일 실시 예에 따른 상기 화이트 밸런스 처리 방법에 의하면, 각 프레임 이미지는 상기 프레임 이미지에서 상기 복수의 광원을 판단하기 위해 검출된다. 상기 현재 프레임 이미지에서 상기 메인 광원의 상기 컬러 온도가 판단되도록, 상기 복수의 광원의 상기 기결정된 파라미터들이 상기 현재 프레임 이미지에서 상기 메인 광원을 판단하기 위해 서로 비교된다. 일부 실시 예에서, 상기 복수의 광원은 상이한 컬러 온도를 가지는 광원들이다.

구체적으로, 도 2를 다시 참조하면, 상기 이미지(F0)를 예로 들어, 상기 이미지(F0)의 상기 복수의 광원(R, G 및 B)은 상기 화이트 밸런스 처리 방법에 의해 검출된다. 상기 복수의 광원(R, G 및 B)의 기결정된 파라미터들은 서로 비교되어 어느 광원들(R, G 및 B)이 상기 메인 광원인지를 판단한다. 상기 광원(R)이 상기 메인 광원으로 판단되면, 상기 광원(R)의 상기 컬러 온도가 검출되어 상기 광원(R)의 상기 컬러 온도가 판단된다. 상기 광원(G)이 상기 메인 광원으로 판단되면, 상기 광원(G)의 상기 컬러 온도가 검출되어 상기 광원(G)의 상기 컬러 온도가 판단된다. 상기 광원(B)이 상기 메인 광원으로 판단되면, 상기 광원(B)의 상기 컬러 온도가 검출되어 상기 광원(B)의 상기 컬러 온도가 판단된다. 본 예에서, 상기 광원(R)은 상기 메인 광원이고, 상기 광원(R)의 상기 컬러 온도는 CCT0 인 것으로 검출된다. 동일한 방식으로, 상기 메인 광원의 대응하는 컬러 온도는 상기 이미지들(F1, F2, F3?)에 대한 상기 화이트 밸런스 처리 방법에 의해 판단될 수 있다.

도 4를 참조하면, 일부 실시 예에서, 상기 블록(S111)은 다음과 같다.

블록(S1111)에서, 상기 프레임 이미지는 복수의 영역으로 분할된다.

블록(S1112)에서, 각 영역의 히스토그램에 따라, 상기 영역이 상기 광원을 가지는 타깃 영역인지가 판단된다.

블록(S1113)에서, 상기 영역이 상기 광원을 가지는 상기 타깃 영역인 경우, 서로 인접한 둘 이상의 타깃 영역이 존재하는지가 판단된다.

블록(S1114)에서, 상기 둘 이상의 타깃 영역이 존재하는 경우, 상기 둘 이상의 타깃 영역에 포함된 둘 이상의 광원이 상기 복수의 광원 중 하나에 스티칭 된다.

블록(S1115)에서, 상기 둘 이상의 타깃 영역이 존재하지 않는 경우, 상기 타깃 영역에 포함된 상기 광원은 상기 복수의 광원 중 하나로 판단된다.

구체적으로, 도 5 내지 도 7을 참조하면, 일 실시 예에서, 상기 프레임 이미지는 4*5 영역과 같은 화이트 밸런스 처리 방법에 의해 복수의 영역으로 분할된다. 각 영역에 대해, 채널들(R, Gr, Gb, B)의 채널 값들에 따라 4개의 히스토그램이 도시될 수 있다. 각 영역의 상기 4 개의 히스토그램에 따라 상기 영역이 상기 광원을 가지는 상기 타깃 영역인지가 판정된다. 도 5 및 도 6을 참조하면, 각 프레임 이미지는 복수의 타깃 영역을 포함한다. 예를 들어, 도 5에 도시된 상기 이미지는 3개의 타깃 영역을 포함하고, 도 6에 도시된 상기 이미지는 8개의 타깃 영역을 포함한다. 상기 이미지에 상기 광원을 가지는 상기 타깃 영역이 존재하는 경우, 상기 화이트 밸런스 처리 방법에 의해 서로 인접한 둘 이상의 타깃 영역이 존재하는지가 판정된다. 즉, 상기 둘 이상의 타깃 영역에 단일 광원이 포함되는지가 판정된다. 상기 "포함된"이라는 용어는 부분적으로 포함되거나 완전히 포함된 것을 지칭한다. 상기 둘 이상의 타깃 영역이 존재하는 경우, 상기 화이트 밸런스 처리 방법에 의해 상기 둘 이상의 타깃 영역에 포함된 둘 이상의 광원이 상기 복수의 광원 중 하나에 스티칭 된다. 상기 둘 이상의 타깃 영역이 존재하지 않는 경우, 상기 화이트 밸런스 처리 방법에 의해 각 타깃 영역에 포함된 각 광원이 상기 복수의 광원 중 하나로 판단된다. 도 5를 참조하면, 서로 인접하지 않은 3개의 타깃 영역에 포함된 상기 광원은 각각 상기 광원(R), 상기 광원(G) 및 상기 광원(B)으로 판단된다. 도 6을 참조하면, 서로 인접한 6개의 타깃 영역에 포함된 상기 광원들은 완전한 광원(R)으로 스티칭 되고, 서로 인접하지 않은 2개의 다른 영역에 포함된 상기 광원들은 각각 상기 광원(G) 및 상기 광원(B)으로 판단된다.

또한, 도 7에 도시된 영역에 대한 상기 히스토그램을 도시하는 상기 방법은 단지 예시적인 것임을 주의해야 한다. 도 7에 도시된 상기 히스토그램의 가로 축은 상기 픽셀 값이고, 상기 히스토그램의 세로 축은 상기 픽셀 수이다. 다른 실시 예들에서, 상기 히스토그램의 상기 가로 축은 또한 상기 픽셀 수일 수 있고, 상기 히스토그램의 세로 축은 상기 픽셀 값일 수 있다. 또는, 상기 히스토그램의 상기 가로 축은 상기 픽셀 수의 비율이고, 상기 히스토그램의 세로 축은 상기 픽셀 값이다. 또는, 상기 히스토그램의 상기 가로 축은 상기 픽셀 값이고, 상기 히스토그램의 상기 세로 축은 상기 픽셀 수의 비율이다.

일부 실시 예에서, 상기 영역의 상기 히스토그램에 따라 상기 영역이 상기 광원을 가지는 상기 타깃 영역인지를 판단하는 단계는, 기결정된 값보다 큰 픽셀 값을 가지는 상기 픽셀 수가 기결정된 비율보다 큰지를 판단함으로써 실현될 수 있다. 예를 들어, 239보다 큰 상기 픽셀 값을 가지는 상기 픽셀 수의 비율이 5%보다 큰지가 판단될 수 있다. 239보다 큰 상기 픽셀 값을 가지는 상기 픽셀 수의 비율이 5%보다 큰 경우, 상기 영역이 상기 광원을 가지는 상기 타깃 영역임을 나타낸다. 상기 픽셀 값이 239보다 큰 상기 픽셀 수의 비율이 5%보다 크지 않는 경우, 상기 영역이 상기 광원을 가지는 타깃 영역이 아님을 나타낸다.

도 8을 참조하면, 일부 실시 예에서, 상기 블록(S112)은 다음과 같다.

블록(S1121)에서, 상기 메인 광원은 상기 복수의 광원의 시나리오 파라미터들(scenario parameters), 영역들(areas) 및 휘도 파라미터들(brightness parameters) 중 적어도 하나에 따라 판단된다. 상기 시나리오 파라미터들은 상기 이미지를 캡처하는 시간과 GPS의 신호 강도가 포함된다. 상기 휘도 파라미터들은 상기 복수의 광원의 휘도 및 상기 이미지의 평균 위도를 포함한다.

구체적으로, 현재 시간이 속하는 기간은 상기 이미지를 캡처하는 시간에 따라 판단될 수 있다. 상기 사용자가 현재 기간 내에 상기 이미지를 캡처하는 위치가 로컬에 저장된 사용자의 시간표 및 루틴에 따라 결정될 수 있다. 예를 들어, 오전 12시에 상기 사용자는 일반적으로 식당에서 점심을 먹는다. 오후 8시 이후에는 사용자가 일반적으로 거실에서 책을 읽는다. 그러므로, 상기 사용자가 상기 이미지를 캡처하는 시간에 따라 실내 환경에 있는지, 실외 환경에 있는지 또는 특정 시나리오에 있는지가 대략적으로 판단될 수 있다. 또한, 상기 실외 환경에서 GPS의 신호 강도는 일반적으로 실내 환경에서 GPS의 신호 강도보다 크다. 따라서, GPS의 상기 신호 세기에 따라 상기 사용자가 상기 실내 환경에 있는지 상기 실외 환경에 있는지를 대략적으로 판단할 수 있다. 상기 실내 광원의 상기 컬러 온도는 일반적으로 5000K보다 낮은 것으로 이해될 수 있다. 예를 들어, 텅스텐 램프의 상기 컬러 온도는 2760 ~ 2900K이며, 플래시 광의 컬러 온도는 3800K이다. 상기 실외 광원의 상기 컬러 온도가 5000K보다 높을 수 있다. 예를 들어 정오의 상기 태양의 상기 컬러 온도는 5000K이고, 정오의 상기 하늘의 상기 컬러 온도는 10000K이다. 따라서, 상기 실내 환경 또는 상기 사용자가 있는 상기 실외 환경에 따라 상기 현재 컬러 온도가 5000K보다 낮은 지 혹은 5000K보다 높은지를 판단할 수 있다. 따라서, 상기 메인 광원이 판단될 수 있다.

상기 메인 광원이 상기 복수의 광원의 상기 영역들에 따라 판단되는 경우, 상기 복수의 광원의 상기 영역들을 서로 비교하여, 상기 메인 광원으로서 가장 큰 영역을 가지는 광원을 선택할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 상기 광원(R)의 상기 영역은 상기 광원(G)의 상기 영역보다 크고, 상기 광원(B)의 상기 영역보다 크다. 따라서, 상기 광원(R)은 상기 메인 광원으로서 판단된다.

상기 복수의 상기 광원의 휘도 및 상기 이미지의 상기 평균 휘도에 따라 상기 메인 광원이 판단되면, 상기 메인 광원은 상기 이미지의 상기 평균 휘도와 조합하여 상기 복수의 광원의 상기 휘도를 서로 비교함으로써 판단될 수 있다. 상기 광원의 상기 휘도가 높을수록 상기 이미지에 대한 상기 전체적인 영향이 크다는 것을 이해할 수 있다. 특정 광원의 상기 휘도가 높고 상기 이미지의 상기 평균 밝기와 일치하면, 상기 특정 광원이 상기 메인 광원으로 결정된다.

본 발명의 상기 실시 예에 따른 상기 화이트 밸런스 처리 방법에 의하면, 상기 메인 광원은 상기 복수의 광원 하에서 상기 이미지를 캡처하는 시간과 GPS의 신호 강도의 조합에 따라 판단될 수 있다. 또는, 상기 메인 광원은 상기 복수의 상기 광원의 상기 영역들에 따라 판단될 수 있다. 또는, 상기 메인 광원은 상기 복수의 광원의 휘도와 상기 이미지의 평균 휘도의 조합에 따라 판단될 수 있다. 또는, 상기 메인 광원은 상기 복수의 상기 광원 하에서 상기 이미지를 캡처하기 위한 상기 시간과 GPS의 신호 강도 및 상기 복수의 상기 광원의 상기 영역들의 조합에 따라 판단될 수 있다. 또는, 상기 메인 광원은 상기 복수의 광원 하에서 상기 이미지를 캡처하기 위한 시간과 GPS의 상기 신호 강도의 조합에 따라, 그리고 상기 복수의 상기 광원의 상기 휘도와 상기 이미지의 상기 평균 휘도의 조합에 따라 판단될 수 있다. 또는, 상기 메인 광원은 상기 복수의 광원의 상기 영역들에 따라, 그리고 복수의 광원의 상기 휘도와 상기 이미지의 상기 평균 휘도의 조합에 따라 판단될 수 있다. 또는, 상기 메인 광원은 상기 복수의 광원 하에서 상기 이미지를 캡처하기 위한 상기 시간과 GPS의 상기 신호 강도의 조합, 상기 영역들, 그리고 상기 이미지의 상기 휘도 및 상기 평균 휘도의 조합에 따라 판단될 수 있다.

일 실시 예에서, 상기 화이트 밸런스 처리 방법에 의하면, 상기 메인 광원은 상기 복수의 광원 하에서 상기 이미지를 캡처하는 상기 시간과 GPS의 상기 신호 강도의 조합에 따라, 상기 영역들, 그리고 상기 이미지의 상기 휘도 및 상기 평균 휘도의 조합에 따라 판단된다. 상기 복수의 상기 광원 하에서 상기 이미지를 캡처하기 위한 상기 시간과 GPS의 상기 신호 강도의 조합, 상기 영역들, 그리고 상기 이미지의 상기 휘도 및 상기 평균 휘도의 조합은 서로 다른 가중치로 설정될 수 있다. 따라서, 상기 이미지에 대한 화이트 밸런스 처리를 수행하기 위해 상기 메인 광원을 정확하게 선택할 수 있어, 상기 사용자가 원하는 화이트 밸런스 효과를 보다 잘 만족시킬 수 있다.

도 9를 참조하면, 일부 실시 예에서, 상기 블록(S113)은 다음과 같다.

블록(S1131)에서, 상기 메인 광원의 중심에서 반경 방향으로 휘도 분포에 따라 고 휘도 영역 및 중 휘도 영역이 판단된다.

블록(S1132)에서, 상기 중 휘도 영역의 원색 채널들의 평균 픽셀 값이 상기 고 휘도 영역의 원색 채널들의 평균 픽셀 값으로부터 차감(subtract)되어 상기 메인 광원의 상기 컬러를 판단한다.

블록(S1133)에서, 상기 메인 광원의 상기 컬러 온도는 상기 메인 광원의 상기 컬러에 따라 판단된다.

구체적으로, 도 10을 참조하면, 상기 이미지에서 상기 메인 광원의 위치가 판단된다. 도 10의 중앙에 도시된 음영 영역은 과다 노출(over-exposed) 영역이며, 이는 일반적으로 큰 백색 반점(white spot)이며, 상기 광원의 상기 컬러에 대한 임의의 정보를 배제한다. 상기 고 휘도 영역(H), 중 휘도 영역(M) 및 저 휘도 영역(L)은 상기 메인 광원의 상기 중심에서 상기 반경 방향으로 분포된다. 상기 고 휘도 영역(H)은 상기 메인 광원의 상기 중심에서 상기 반경 방향으로 제1휘도 범위(L1) 내에서 휘도를 가지는 픽셀들로 정의된 영역을 나타낼 수 있다. 상기 제1휘도 범위(L1)는 예를 들어 [200, 239) 이다. 상기 중 휘도 영역(M)은 상기 메인 광원의 상기 중심에서 상기 반경 방향으로 제2휘도 범위(L2) 내에서 휘도를 가지는 픽셀들로 정의된 영역을 나타낼 수 있다. 상기 제2휘도 범위(L2)는 예를 들어 [150, 200) 이다. 상기 제1휘도 범위(L1) 및 상기 제2휘도 범위(L2)는 상기 메인 광원의 상기 중심에서 상기 반경 방향으로 상기 휘도 분포에 따라 판단될 수 있다. 예를 들어, 상기 광원의 상기 휘도가 빠르게 약화(attenuated rapidly)될 때, 상기 제1휘도 범위(L1) 및 상기 제2휘도 범위(L2)는 적절하게 증가될 수 있다. 예를 들어, 상기 광원의 상기 휘도가 느리게 약화(attenuated slowly)될 때, 상기 제1휘도 범위(L1) 및 상기 제2휘도 범위(L2)는 적절하게 감소될 수 있다.

상기 고 휘도 영역의 상기 원색 채널들의 상기 평균 픽셀 값은 상기 고 휘도 영역의 모든 픽셀의 픽셀 값들의 평균이다. 상기 중 휘도 영역의 상기 원색 채널들의 상기 평균 픽셀 값은 상기 중 휘도 영역에서 모든 픽셀의 픽셀 값들의 평균이다. 상기 고 휘도 영역의 상기 픽셀 수는 C1이고, 상기 중 휘도 영역의 상기 픽셀 수는 C2라고 가정하고, 상기 고 휘도 영역의 상기 원색 채널들의 상기 평균 픽셀 값은 다음과 같이 표시된다.

그리고 상기 중 휘도 영역의 상기 원색 채널들의 상기 평균 픽셀 값은 다음과 같이 표시된다.

상기 중 휘도 영역의 상기 원색 채널들의 상기 평균 픽셀 값(

)을 상기 고 휘도 영역의 상기 원색 채널들의 상기 평균 픽셀 값(

)에서 차감하여(즉,

), 상기 메인 광원의 상기 컬러를 판단한다. 상기 메인 광원의 상기 컬러 온도는 상기 메인 광원의 상기 컬러에 따라 판단될 수 있다. 구체적으로, 도 11을 참조하면, 일 실시 예에서, 3000K, 4000K, 5000K, 6000K...의 상기 컬러 온도를 가지는 표준 광 박스들(standard light boxes) 하에서, 상기 이미지가 획득되고, 상기 컬러 온도 하의 해당 값(

)이 계산된다. 따라서, 상기 광원의 상기 값(

)과 상기 컬러 온도 사이의 관계를 나타내는 커브 플롯(curve plot) (도 11에 도시됨) 또는 맵핑 테이블이 판단될 수 있다. 상기 커브 플롯 및 상기 맵핑 테이블은 로컬 데이터베이스에 저장될 수 있다. 본 발명의 실시 예에서, 상기 값(

)이 계산된 후, 상기 곡선 플롯 및 맵핑 테이블에 기초하여 상기 메인 광원의 상기 컬러 온도가 요청될 수 있다. 화이트 밸런스 파라미터들은 상기 메인 광원의 상기 컬러 온도 및 상기 메인 광원의 상기 컬러 온도와 화이트 밸런스 파라미터들 사이의 관련성에 따라 검색될 수 있다. 따라서, 상기 화이트 밸런스 파라미터들에 따라 상기 이미지에 화이트 밸런스 처리가 수행될 수 있다.

도 12를 참조하면, 일부 실시 예들에서, 상기 화이트 밸런스 처리 방법은 다음과 같다.

블록(S14)에서, 상기 원색의 상기 변화가 상기 기결정된 임계 값 이상인 경우, 상기 화이트 밸런스 처리는 상기 컬러 온도 변화가 적용된 상기 제2프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 상기 컬러 온도 변화가 적용된 제2프레임 이미지에 대해 수행된다.

본 발명의 실시 예에 따른 화이트 밸런스 처리 방법에 의하면, 상기 화이트 밸런스 처리는 상기 카메라의 심한 흔들림으로 인해 (즉, 상기 현재 프레임 이미지와 인접한 이전 프레임 이미지 사이의 상기 메인 광원의 상기 원색 온도의 상기 변화가 상기 기결정된 임계 값 이상이다) 상기 메인 광원의 상기 컬러 온도가 크게 변경될 때 상기 현재 프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 현재 프레임 이미지에 대해 수행될 수 있다.

구체적으로, 도 2를 참조하면, 일 실시 예에서, 상기 카메라가 흔들릴 때 (가령, 상하로 흔들리는 경우), F0, F1, F2, F3...를 포함하여 상기 카메라의 시야에 복수의 프레임 이미지가 연속적으로 제시된다. F0은 상기 컬러 온도 변화가 적용된 상기 제1프레임 이미지이고, F1은 상기 컬러 온도 변화가 적용된 상기 제2프레임 이미지이며, F2는 상기 컬러 온도 변화가 적용된 상기 제3프레임 이미지이며, 그리고 F3은 상기 컬러 온도 변화가 적용된 상기 제4프레임 이미지라고 가정한다. 상기 이미지(F0)에서, 상기 광원(R)은 상기 메인 광원이고, 상기 광원(R)의 상기 컬러 온도는 CCT0이다. 상기 화이트 밸런스 처리 방법에 의해 상기 광원(R)의 상기 컬러 온도(CCT0)에 따라 상기 이미지(F0)에 상기 화이트 밸런스 처리가 수행된다. 상기 이미지(F1)에서, 상기 광원(R)은 상기 시야에서 부분적으로 벗어나고, 상기 광원(B)은 상기 메인 광원이며, 상기 광원(B)의 상기 컬러 온도는 CCT1이다. CCT1과 CCT0의 차이 (상기 원색 온도의 상기 변화(△T))의 절대 값 |CCT1 ~ CCT0|이 상기 기결정된 임계 값(T0) 이상인지가 판단된다(기결정된 임계 값(T0)은 50K, 100K, 120K 일 수 있고, 여기에 한정되지는 않는다). △T≥T0 인 경우, 상기 광원(B)의 상기 컬러 온도(CCT1)에 따라 상기 이미지(F1)에 대해 상기 화이트 밸런스 처리가 수행된다. 따라서, 상기 원색 온도의 상기 변화(△T)가 비교적 큰 경우, 상기 카메라가 정상적으로 이동한 것으로 판단될 수 있다. 따라서, 상기 복수의 광원 중에서 상기 메인 광원을 실시간으로 전환할 수 있다.

도 13을 참조하면, 일부 실시 예에서, 상기 화이트 밸런스 처리 방법은 다음과 같다.

블록(S15)에서, 상기 원색 온도의 상기 변화가 상기 기결정된 임계 값 이상일 때 상기 노드 컬러(node color) 온도의 상기 변화가 상기 기결정된 임계 값 이상인지가 판단된다. 상기 노드 컬러 온도의 상기 변화는 상기 컬러 온도 변화가 적용된 제k프레임 이미지에서의 상기 메인 광원의 상기 컬러 온도와 상기 컬러 온도 변화가 적용된 제1프레임 이미지에서의 상기 메인 광원의 상기 컬러 온도 사이의 차이를 나타낸다. 상기 제k프레임 이미지는 상기 제1프레임 이미지에 인접하지 않은 상기 복수의 연속적인 프레임 이미지 중 하나이다.

블록(S16)에서, 상기 노드 컬러 온도의 상기 변화가 상기 기결정된 임계 값보다 작은 경우, 상기 화이트 밸런스 처리는 상기 컬러 온도 변화가 적용된 상기 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 상기 컬러 온도 변화가 적용된 제k프레임 이미지에 대해 수행된다.

블록(S17)에서, 상기 노드 컬러 온도의 상기 변화가 상기 기결정된 임계 값 이상인 경우, 상기 화이트 밸런스 처리는 상기 컬러 온도 변화가 적용된 제k프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 상기 컬러 온도 변화가 적용된 제k프레임 이미지에 대해 수행된다.

본 발명의 실시 예에 따른 화이트 밸런스 처리 방법에 의하면, 또한 상기 카메라의 심한 흔들림으로 인해 상기 메인 광원의 상기 컬러 온도가 크게 변하는 경우, 상기 현재 프레임 이미지에 대한 후속 프레임 이미지와 상기 현재 프레임 이미지에 대한 인접한 이전 프레임 이미지 사이의 상기 메인 광원의 상기 노드 컬러 온도의 상기 변화가 상기 기결정된 임계 값 이상인지가 판단된다(즉, 상기 현재 프레임 이미지 및 상기 인접한 이전 프레임 이미지에서 상기 메인 광원의 상기 원색 온도의 상기 변화가 상기 기결정된 임계 값 이상이다). 상기 화이트 밸런스 처리는 상기 카메라의 심한 흔들림으로 인해 (즉, 상기 현재 프레임 이미지와 인접한 이전 프레임 이미지 사이의 상기 메인 광원의 상기 원색 온도의 상기 변화가 상기 기결정된 임계 값 이상이다) 상기 메인 광원의 상기 컬러 온도가 크게 변경될 때 상기 현재 프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 현재 프레임 이미지에 대해 수행될 수 있다. 상기 후속 프레임 이미지와 상기 인접한 이전 프레임 이미지 사이의 상기 노드 컬러 온도의 상기 변화가 상기 기결정된 임계 값보다 작은 경우, 상기 화이트 밸런스 처리는 상기 인접한 이전 프레임 이미지에서 메인 광원의 상기 컬러 온도에 따라 상기 후속 프레임 이미지에 대해 수행된다. 상기 후속 이미지와 상기 인접한 이전 이미지 사이의 상기 노드 컬러 온도의 상기 변화가 상기 기결정된 임계 값 이상인 경우, 상기 화이트 밸런스 처리는 상기 후속 프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 상기 후속 프레임 이미지에 대해 수행된다.

구체적으로, 도 2를 다시 참조하면, 일 실시 예에서, 상기 카메라가 흔들릴 때 (상하로 흔들리는 것과 같이), F0, F1, F2, F3...을 포함하여 상기 카메라의 시야에 차례로 복수의 프레임 이미지가 제시된다. F0은 상기 컬러 온도 변화가 적용된 상기 제1프레임 이미지이고, F1은 상기 컬러 온도 변화가 적용된 상기 제2프레임 이미지이며, F2는 상기 컬러 온도 변화가 적용된 상기 제3프레임 이미지이며, 그리고 F3은 상기 컬러 온도 변화가 적용된 상기 제4프레임 이미지라고 가정한다. 상기 이미지(F0)에서, 상기 광원(R)은 상기 메인 광원이고, 상기 광원(R)의 상기 컬러 온도는 CCT0이다. 상기 화이트 밸런스 처리 방법에 의해 상기 광원(R)의 상기 컬러 온도에 따라 상기 이미지(F0)에 대해 상기 화이트 밸런스 처리가 수행된다. 상기 이미지(F1)에서, 상기 광원(R)은 상기 시야에서 부분적으로 벗어나고, 상기 광원(B)은 상기 메인 광원이고, 상기 광원(B)의 상기 컬러 온도는 CCT1이다. 상기 이미지(F2)에서, 상기 광원(R)은 상기 시야에서 완전히 벗어나고, 상기 광원(B)은 상기 메인 광원이며, 상기 광원(B)의 상기 컬러 온도는 CCT2이다. 상기 이미지(F3)에서, 상기 광원(R)은 다시 시야로 이동하고, 상기 광원(R)은 상기 메인 광원이고, 상기 광원(R)의 상기 컬러 온도는 CCT3이다. 실시 예들에서, 상기 화이트 밸런스 처리 방법의 워크 플로우를 설명하기 위한 예로서 k = 3을 취한다. CCT1과 CCT0의 차이 (즉, 상기 원색 온도의 상기 변화(△T))의 절대 값 |CCT1 ~ CCT0|이 상기 기결정된 임계 값(T0) 이상인지가 상기 화이트 밸런스 처리 방법으로 판단된다(가령, 기결정된 임계 값(T0)은 50K, 100K, 120K 등일 수 있으나, 여기에 한정되지는 않는다). △T≥T0 인 경우, CCT3과 CCT0의 차이 (즉, 상기 노드 컬러 온도의 상기 변동(△T1))의 절대 값 |CCT3 ~ CCT0|이 상기 기결정된 임계 값(T0) 이상인지가 판단된다. T1＜T0 인 경우, 상기 광원(R)의 상기 컬러 온도(CCT0)에 따라 상기 이미지(F3)에 대해 상기 화이트 밸런스 처리가 수행된다. △T1≥T0 인 경우, 상기 광원(R)의 상기 컬러 온도(CCT3)에 따라 상기 이미지(F3)에 대해 화이트 밸런스 처리가 수행된다. 따라서, 단시간 내에, 상기 메인 광원은 상기 카메라의 흔들림으로 인해 상기 광원(R)에서 상기 광원(B)으로 전환되고, 상기 광원(B)에서 상기 광원(R)으로 전환된다. 상기 광원(B)의 상기 컬러 온도에 따라 중간 프레임 이미지에서 수행되는 상기 화이트 밸런스 처리는 생략될 수 있다. 즉, 본 발명의 일 실시 예에 따른 화이트 밸런스 처리 방법은, 상기 메인 광원의 빈번한 스위치로 인하여 상기 화이트 밸런스 보정 후 프리뷰 이미지(preview image)의 톤 변화를 방지하기 위해 상기 메인 광원의 빈번한 스위치가 끝날 때까지 상기 이미지에 대한 화이트 밸런스 처리를 수행하지 않는다.

도 14를 참조하면, 일부 실시 예에서, 상기 화이트 밸런스 처리 방법은 다음과 같다.

블록(S18)에서, 상기 메인 광원은 상기 화이트 밸런스 처리가 적용된 상기 프레임 이미지 상에서 사용자에 의해 수행되는 동작에 의해 결정된다.

본 발명의 실시 예에 따른 화이트 밸런스 처리 방법에 의하면, 상기 복수의 광원의 상기 기결정된 파라미터들을 서로 비교함으로써 상기 메인 광원을 판단하면서 상기 화이트 밸런스 처리가 적용된 상기 이미지에 대해 상기 사용자에 의해 일반적으로 수행되는 상기 동작의 도움으로 상기 메인 광원이 판단될 수 있다. 상기 동작은 편집, 저장 및 삭제 중 적어도 하나를 포함할 수 있다.

구체적으로, 상기 화이트 밸런스 처리가 적용된 이미지는 상기 화이트 밸런스 처리 후 로컬 앨범에 저장된 이미지일 수 있다. 상기 사용자는 상기 화이트 밸런스 효과가 좋은 이미지를 저장하고, 상기 화이트 밸런스 효과가 나쁜 이미지를 삭제할 수 있음을 이해할 수 있다. 또한, 상기 사용자는 예컨대, 상기 이미지의 상기 컬러 온도를 조정하는 것과 같이 상기 이미지를 편집할 수 있다. 그러므로, 롱텀 머신 러닝(long-term machine learning) 및 피드백을 통해, 상기 화이트 밸런스 처리 방법에 의해 상기 메인 광원이 더욱 정확하게 판단될 수 있고, 상기 이미지에 대한 상기 화이트 밸런스 처리를 수행하는 화이트 밸런스 효과가 점점 더 만족될 수 있다.

도 15를 참조하면, 본 발명의 일 실시 예에 따른 화이트 밸런스 처리 장치(10)는 다수의 광원을 가지는 시나리오 하에서 컬러 온도 변화가 각각 적용된 상기 복수의 연속적인 프레임 이미지에 대해 화이트 밸런스 처리를 수행하도록 구성된다. 상기 화이트 밸런스 처리 장치(10)는 제1처리 모듈(11), 제1판정 모듈(12) 및 제2처리 모듈(13)을 포함한다. 본 발명의 일 실시 예에 따른 상기 화이트 밸런스 처리 방법은 본 발명의 일 실시 예에 따른 화이트 밸런스 처리 장치(10)에 의해 구현될 수 있다. 예를 들어, 상기 블록(S11)은 상기 제1처리 모듈(11)에 의해 실현될 수 있다. 상기 블록(S12)은 상기 제1판정 모듈(12)에 의해 실현될 수 있다. 상기 블록(S13)은 상기 제2처리 모듈(13)에 의해 실현될 수 있다.

즉, 상기 제1처리 모듈(11)은 메인 광원에 대응하는 컬러 온도를 판단하기 위해 복수의 연속적인 프레임 이미지의 각 프레임 이미지를 처리하도록 구성될 수 있다. 상기 제1판정 모듈(12)은 원색 온도의 변화가 기결정된 임계 값 이상인지를 판단하도록 구성될 수 있다. 상기 원색 온도의 상기 변화는 제2프레임 이미지에서 상기 메인 광원의 상기 컬러 온도와 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도 사이의 차이를 나타낸다. 상기 제1프레임 이미지 및 상기 제2프레임 이미지는 서로 인접하고 상기 복수의 연속적인 프레임 이미지로부터의 2개의 프레임 이미지이다. 상기 제2처리 모듈(13)은 상기 원색 온도의 변화가 상기 기결정된 임계 값보다 작은 경우, 상기 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 제2프레임 이미지에 대해 화이트 밸런스 처리를 수행하도록 구성될 수 있다.

본 발명의 실시 예들에 따른 상기 화이트 밸런스 처리 장치(10)에 의하면, 2개의 인접한 프레임 이미지에서 상기 메인 광원의 상기 원색 온도의 상기 변화가 상기 기결정된 임계 값보다 작은 경우, 상기 화이트 밸런스 처리는 인접한 이전 프레임 이미지에서 상기 메인 광원의 상기 컬러 온도를 사용하여 현재 프레임 이미지에 대해 수행된다. 따라서, 상기 카메라가 흔들릴 때 상기 시야의 흔들림으로 인한 상기 메인 광원의 빈번한 전환이 방지될 수 있고, 상기 화이트 밸런스가 보정된 프리뷰 이미지의 톤의 변화가 더 방지되어, 사용자 경험을 향상시킨다.

도 16을 참조하면, 일부 실시 예에서, 상기 제1처리 모듈(11)은 검출 유닛(detecting unit)(111), 비교 유닛(comparing unit)(112) 및 판단 유닛(determining unit)(113)을 포함한다. 상기 블록(S111)은 상기 검출 유닛(111)에 의해 실현될 수 있다. 상기 블록(S112)은 상기 비교 유닛(112)에 의해 실현될 수 있다. 상기 블록(S113)은 상기 판단 유닛(113)에 의해 실현될 수 있다.

즉, 상기 검출 유닛(111)은 상기 이미지에서 복수의 광원을 검출하도록 구성될 수 있다. 상기 비교 유닛(112)은 복수의 광원의 기결정된 파라미터들을 서로 비교하여 상기 메인 광원을 판단하도록 구성될 수 있다. 상기 판단 유닛(113)은 상기 메인 광원의 상기 컬러 온도를 판단하기 위해 상기 메인 광원의 컬러를 판단하도록 구성될 수 있다.

도 17을 참조하면, 일부 실시 예에서, 상기 검출 유닛(111)은 분할 서브 유닛(dividing subunit)(1111), 제1판정 서브 유닛(first judging subunit)(1112), 제2판정 서브 유닛(second judging subunit)(1113), 제1판단 서브 유닛(first determining subunit)(1114) 및 제2판단 서브 유닛(second determining subunit)(1115)을 포함한다. 상기 블록(S1111)은 상기 분할 서브 유닛(1111)에 의해 실현될 수 있다. 상기 블록(S1112)은 상기 제1판정 서브 유닛(1112)에 의해 실현될 수 있다. 상기 블록(S1113)은 상기 제2판정 서브 유닛(1113)에 의해 실현될 수 있다. 상기 블록(S1114)은 상기 제1판단 서브 유닛(1114)에 의해 실현될 수 있다. 상기 블록(S1115)은 상기 제2결정 서브 유닛(1115)에 의해 실현될 수 있다.

즉, 상기 분할 서브 유닛(1111)은 상기 프레임 이미지를 복수의 영역으로 분할하도록 구성될 수 있다. 상기 제1판정 서브 유닛(1112)은, 각 영역의 히스토그램에 따라, 상기 영역이 상기 광원을 가지는 타깃 영역인지를 판단하도록 구성될 수 있다. 상기 제2판정 서브 유닛(1113)은 상기 영역이 상기 광원을 가지는 상기 타깃 영역일 때 서로 인접한 둘 이상의 타깃 영역이 존재하는지를 판단하도록 구성될 수 있다. 상기 제1판단 서브 유닛(1114)은 상기 둘 이상의 타깃 영역이 존재하는 경우, 상기 둘 이상의 타깃 영역에 포함된 둘 이상의 광원을 상기 복수의 광원 중 하나로 스티칭 하도록 구성될 수 있다. 상기 제2판단 서브 유닛(1115)은 상기 둘 이상의 타깃 영역이 존재하지 않는 경우, 상기 타깃 영역에 포함된 상기 광원을 상기 복수의 광원 중 하나로 판단하도록 구성될 수 있다.

도 16을 참조하면, 일부 실시 예에서, 상기 비교 유닛(112)은 제3판단 서브 유닛(third determining subunit)(1121)을 포함한다. 상기 블록(S1121)은 상기 제3판단 서브 유닛(1121)에 의해 실현될 수 있다.

즉, 상기 제3판단 서브 유닛(1121)은 상기 복수의 광원의 시나리오 파라미터들(scenario parameters), 영역들(areas) 및 휘도 파라미터들(brightness parameters) 중 적어도 하나에 따라 상기 메인 광원을 판단하도록 구성될 수 있다. 상기 시나리오 파라미터들은 상기 이미지를 캡처하는 시간과 GPS의 신호 강도가 포함된다. 상기 휘도 파라미터들은 상기 복수의 광원의 휘도 및 상기 이미지의 평균 휘도를 포함한다.

도 18을 참조하면, 일부 실시 예에서, 상기 판단 유닛(113)은 제4판단 서브 유닛(fourth determining subunit)(1131), 비교 서브 유닛(comparing subunit)(1132) 및 제5판단 서브 유닛(fifth determining subunit)(1133)을 포함한다. 상기 블록(S1131)은 상기 제4판단 서브 유닛(1131)에 의해 실현될 수 있다. 상기 블록(S1132)은 상기 계산 서브 유닛(1322)에 의해 실현될 수 있다. 상기 블록(S1133)은 상기 제5판단 서브 유닛(1133)에 의해 실현될 수 있다.

즉, 상기 제4결정 서브 유닛(1131)은 상기 메인 광원의 중심에서 반경 방향으로 휘도 분포에 따라 고 휘도 영역 및 중 휘도 영역을 판단하도록 구성될 수 있다. 상기 계산 서브 유닛(1132)은 상기 메인 광원의 상기 컬러를 판단하기 위해 고 휘도 영역의 원색 채널들의 평균 픽셀 값에서 상기 중 휘도 영역의 원색 채널들의 평균 픽셀 값을 차감하도록 구성될 수 있다. 상기 제5판단 서브 유닛(1133)은 상기 메인 광원의 상기 컬러에 따라 상기 메인 광원의 상기 컬러 온도를 판단하도록 구성될 수 있다.

도 19를 참조하면, 일부 실시 예에서, 상기 화이트 밸런스 처리 장치(10)는 제3처리 모듈(14)을 더 포함한다. 상기 블록(S14)은 상기 제3처리 모듈(14)에 의해 실현될 수 있다.

즉, 상기 제3처리 모듈(14)은 상기 원색 온도의 상기 변화가 상기 기결정된 임계 값 이상인 경우, 상기 컬러 온도 변화가 적용된 상기 제2프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 상기 컬러 온도 변화가 적용된 상기 제2프레임 이미지에 대해 화이트 밸런스 처리를 수행하도록 구성될 수 있다.

도 20을 참조하면, 일부 실시 예에서, 상기 화이트 밸런스 처리 장치(10)는 제2판정 모듈(second judging module)(15), 제4처리 모듈(fourth processing module)(16) 및 제5처리 모듈(fifth processing module)(17)을 더 포함한다. 상기 블록(S15)은 상기 제2판정 모듈(15)에 의해 실현될 수 있다. 상기 블록(S16)은 상기 제4처리 모듈(16)에 의해 실현될 수 있다. 상기 블록(S17)은 상기 제5처리 모듈(17)에 의해 실현될 수 있다.

도 20을 참조하면, 상기 제2판정 모듈(15)은 상기 원색 온도의 상기 변화가 기결정된 임계 값 이상인 경우, 노드 컬러 온도의 변화가 상기 기결정된 임계 값 이상인지를 판정하도록 구성될 수 있다. 상기 노드 컬러 온도의 상기 변화는 상기 컬러 온도 변화가 적용된 제k프레임 이미지에서의 상기 메인 광원의 상기 컬러 온도와 상기 컬러 온도 변화가 적용된 상기 제1프레임 이미지에서의 상기 메인 광원의 상기 컬러 온도 사이의 차이를 의미한다. 상기 제k프레임 이미지는 상기 제1프레임 이미지에 인접하지 않은 상기 복수의 연속적인 프레임 이미지 중 하나이다. 상기 제4처리 모듈(16)은 상기 컬러 온도 변화가 적용된 상기 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따른 상기 컬러 온도 변화가 적용된 상기 제k프레임 이미지에 대해 화이트 밸런스 처리를 수행하도록 구성될 수 있다. 상기 제5처리 모듈(17)은 상기 컬러 온도 변화가 적용된 상기 제k프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 상기 컬러 온도 변화가 적용된 제k프레임 이미지에 대해 화이트 밸런스 처리를 수행하도록 구성된다.

도 21을 참조하면, 일부 실시 예에서, 상기 화이트 밸런스 처리 장치(10)는 판단 모듈(determining module)(18)을 더 포함한다. 상기 블록(S18)은 상기 결정 모듈(18)에 의해 실현될 수 있다.

즉, 상기 결정 모듈(18)은 상기 화이트 밸런스 처리가 적용된 상기 프레임 이미지에 대해 사용자에 의해 수행되는 동작의 도움으로 상기 메인 광원을 판단하도록 구성될 수 있다.

도 22를 참조하면, 본 발명의 실시 예에 따른 전자 장치(20)는 하나 이상의 프로세서(processors)(21), 메모리(memory)(22) 및 하나 이상의 프로그램(programs)을 포함한다. 상기 하나 이상의 프로그램은 상기 메모리(22)에 저장되고 상기 하나 이상의 프로세서(21)에 의해 실행 가능하도록 구성된다. 상기 프로그램은 전술한 실시 예 중 어느 하나에 따라 화이트 밸런스 처리 방법을 실행하기 위한 명령어들을 포함한다.

예를 들어, 상기 프로그램은 다음과 같이 화이트 밸런스 처리 방법을 실행하기 위한 명령어들을 포함한다.

블록(S12)에서, 원색 온도의 변화가 기결정된 임계 값 이상인지가 판정된다. 상기 원색 온도의 상기 변화는 컬러 온도 변화가 적용된 제2프레임 이미지에서 상기 메인 광원의 상기 컬러 온도와 상기 컬러 온도 변화가 적용된 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도 사이의 차이를 지칭한다.

블록(S13)에서, 상기 원색 온도의 상기 변화가 상기 기결정된 임계 값 미만인 경우, 상기 화이트 밸런스 처리는 상기 컬러 온도 변화가 적용된 상기 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 상기 컬러 온도 변화가 적용된 상기 제2프레임 이미지에 대해 수행된다.

본 발명의 일 실시 예에 따른 전자 장치(20)에 의하면, 상기 화이트 밸런스 처리는 2개의 인접한 프레임 이미지에서 상기 메인 광원의 상기 원색 온도의 상기 변화가 상기 기결정된 임계 값 미만인 경우, 상기 현재 프레임 이미지에 인접한 이전 프레임 이미지에서의 상기 메인 광원의 상기 컬러 온도에 따라 현재 프레임 이미지에 대해 수행된다. 따라서, 상기 카메라가 흔들릴 때 상기 시야의 점프로 인한 상기 메인 광원의 빈번한 전환이 방지될 수 있고, 상기 화이트 밸런스가 보정 된 상기 프리뷰 이미지의 상기 톤의 변화가 더 방지되어, 사용자 경험을 향상시킨다.

본 발명의 일 실시 예에 따른 전자 장치(20)는 폰, 태블릿 컴퓨터, 랩톱 컴퓨터, 카메라 및 촬영 기능을 가지는 다른 전자 장치를 포함하나, 이에 제한되는 것은 아니다.

도 23을 참조하면, 본 발명의 실시 예에 따른 컴퓨터 판독 가능 저장 매체(30)는 상기 전자 장치(20)와 협력하는 컴퓨터 프로그램들을 포함한다. 상기 컴퓨터 프로그램들은 프로세서(21)에 의해 실행되어 전술한 실시 예 중 어느 하나에 따른 상기 화이트 밸런스 처리 방법을 실현할 수 있다.

예를 들어, 상기 컴퓨터 프로그램들은 다음과 같은 화이트 밸런스 처리 방법을 실현하기 위해 상기 프로세서(21)에 의해 실행될 수 있다.

블록(S12)에서, 원색 온도의 변화가 기결정된 임계 값 이상인지가 판단된다.

상기 원색 온도의 상기 변화는 컬러 온도 변화가 적용된 제2프레임 이미지에서 상기 메인 광원의 상기 컬러 온도와 상기 컬러 온도 변화가 적용된 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도 사이의 차이를 지칭한다.

본 발명의 실시 예에 따른 컴퓨터 판독 가능 저장 매체(30)에 의하면, 상기 화이트 밸런스 처리는 2개의 인접한 프레임 이미지에서 상기 메인 광원의 상기 원색 온도의 상기 변화가 상기 기결정된 임계 값 미만인 경우, 상기 현재 프레임 이미지에 인접한 이전 프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 현재 프레임 이미지에 대해 수행된다. 상기 카메라가 흔들릴 때 상기 시야의 점프로 인한 상기 메인 광원의 빈번한 전환이 방지될 수 있고, 상기 화이트 밸런스가 보정된 상기 프리뷰 이미지의 상기 톤의 상기 변화가 더 방지되어, 사용자 경험을 향상시킨다.

본 발명의 설명에서, 본 명세서 전체에 걸쳐 "일 실시 예", "일부 실시 예", "개략 예", "예", "구체적인 예" 또는 "일부 예"에 대한 언급은, 상기 실시 예 또는 예와 관련하여 설명된 특정 특징, 구조, 재료 또는 특성은 본 발명의 적어도 하나의 실시 예 또는 예에 포함된다는 것을 의미한다. 본 명세서에서, 전술한 용어의 개략적인 표현은 반드시 본 발명의 동일한 실시 예 또는 예를 언급하는 것은 아니다. 또한, 상기 특정 특징, 구조, 재료 또는 특성은 하나 이상의 실시 예 또는 예에서 임의의 적절한 방식으로 조합될 수 있다.

순서도에 기술되거나 다른 방식으로 본 명세서에 기술된 임의의 프로세스 또는 방법은 상기 프로세스에서 특정 논리 기능 또는 단계를 달성하기 위한 실행 가능한 명령의 하나 이상의 모듈, 세그먼트 또는 코드의 일부를 포함하는 것으로 이해 될 수 있고, 그리고 본 발명의 바람직한 실시 예의 범위는 실행 순서는 관련 기능에 따라 실질적으로 동시에 또는 반대 순서로 기능을 실행하는 것을 포함하여 도시되거나 논의된 것과 상이할 수 있는 다른 실시 예들을 포함하며, 본 발명의 실시 예들의 당업자에게 이해되어야 한다.

본 명세서의 다른 방식으로 설명되거나 상기 순서도에 도시된 논리 및/또는 단계, 예를 들어, 상기 논리 기능을 실현하기 위한 실행 가능한 명령의 특정 시퀀스 테이블은, 상기 명령 실행 시스템, 장치 또는 장비(컴퓨터 기반 시스템과 같은 시스템과 같고, 상기 시스템은 상기 명령 실행 시스템, 장치 및 장비로부터 명령을 획득하고 명령을 실행할 수 있는 프로세서 또는 다른 시스템을 포함함)에서 사용되거나 상기 명령 실행 시스템, 장치 및 장비와 함께 사용될 임의의 컴퓨터 판독 가능 매체에서 구체적으로 달성될 수 있다. 본 명세서에 있어서, "컴퓨터 판독 가능 매체"는 상기 명령 실행 시스템, 장치 또는 장비에 의해 또는 상기 명령 실행 시스템과 함께 사용될 프로그램을 포함, 저장, 통신, 전파 또는 전송하기에 적합한 임의의 장치일 수 있다. 상기 컴퓨터 판독 가능 매체의 보다 구체적인 예들은 (비 제한적 목록)을 포함하지만 이에 제한되지는 않는다: 하나 이상의 전선이 있는 전자 연결(IPM 과전류 보호 회로), 휴대용 컴퓨터 외장(자기 장치), 임의 접근 메모리(RAM), 읽기 전용 메모리(ROM), 소거 가능형 읽기 전용 메모리(EPROM 또는 플래시 메모리), 광섬유 장치 및 휴대용 컴팩트 디스크 읽기 전용 메모리(CDROM). 또한, 상기 컴퓨터 판독 가능 매체는, 그 위에 프로그램을 인쇄할 수 있는 종이 또는 다른 적절한 매체일 수도 있는데, 이는 예를 들어 상기 종이 또는 다른 적절한 매체가 광학적으로 스캔 된 후 프로그램을 전기 방식으로 획득하기 위해 필요할 때 다른 적절한 방법으로 편집, 복호화 또는 처리될 수 있으며, 그 후 상기 프로그램은 상기 컴퓨터 메모리들에 저장될 수 있기 때문이다.

본 발명의 실시 예들의 각 부분은 상기 하드웨어, 소프트웨어, 펌웨어 또는 이들의 조합에 의해 실현될 수 있음을 이해해야 한다. 전술한 실시 예들에서, 복수의 단계들 또는 방법들은 상기 메모리에 저장된 상기 소프트웨어 또는 펌웨어에 의해 실현될 수 있고, 상기 적절한 명령 실행 시스템에 의해 실행될 수 있다. 예를 들어, 다른 실시 예에서와 같이 상기 하드웨어에 의해 실현된다면, 상기 단계들 또는 방법들은 당업계에 알려진 다음 기술 중 하나 또는 그 조합에 의해 실현될 수 있다: 데이터 신호의 논리 기능을 실현하기 위한 논리 게이트 회로를 가지는 이산 논리 회로, 적절한 조합 논리 게이트 회로, 프로그래머블 게이트 어레이(PGA), 필드 프로그래머블 게이트 어레이(FPGA)를 가지는 애플리케이션 특정 집적 회로 등.

당업자는 상술한 본 발명의 예시적인 방법의 단계들의 전부 또는 일부가 관련 하드웨어에 프로그램을 명령함으로써 달성될 수 있음을 이해할 것이다. 상기 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있고, 상기 프로그램은 컴퓨터에서 실행될 때 본 발명의 방법 실시 예에서의 단계 중 하나 또는 그 조합을 포함한다.

또한, 본 발명의 실시 예들의 각각의 기능 셀은 처리 모듈에 통합될 수 있거나, 또는 이들 셀은 별도의 물리적 존재일 수 있거나, 또는 둘 이상의 셀이 처리 모듈에 통합될 수 있다. 상기 통합 모듈은 하드웨어 형태 또는 소프트웨어 기능 모듈 형태로 구현될 수 있다. 상기 통합 모듈이 소프트웨어 기능 모듈의 형태로 구현되고, 독립형 제품으로서 판매 또는 사용되는 경우, 상기 통합 모듈은 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 전술한 저장 매체는 읽기 전용 메모리, 자기 디스크 또는 CD 등일 수 있다.

Claims

다중 광원을 가지는 시나리오 하에서 컬러 온도 변화가 각각 적용된 복수의 연속적인 프레임 이미지에 대해 화이트 밸런스 처리를 수행하는데 사용되는 화이트 밸런스 처리 방법에 있어서,
메인 광원에 대응하는 컬러 온도를 판단하기 위해 상기 복수의 연속적인 프레임 이미지의 각 프레임 이미지를 처리하는 단계(S11);
원색 온도의 변화가 기결정된 임계 값 이상인지를 판단하는 단계(S12);-상기 원색 온도의 변화는 제2프레임 이미지에서 상기 메인 광원의 상기 컬러 온도와 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도 사이의 차이를 나타내고, 상기 제1프레임 이미지 및 상기 제2프레임 이미지는 서로 인접하고 상기 복수의 연속적인 프레임 이미지로부터의 2개의 프레임 이미지이고, 상기 제1프레임 이미지는 상기 제2프레임 이미지의 인접한 이전 프레임 이미지임- 및
상기 원색 온도의 변화가 상기 기결정된 임계 값보다 작은 경우, 상기 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 상기 제2프레임 이미지에 대해 화이트 밸런스 처리를 수행하는 단계(S13);
를 포함하되,
상기 메인 광원에 대응하는 상기 컬러 온도를 판단하기 위해 상기 복수의 연속적인 프레임 이미지의 각 프레임 이미지를 처리하는 단계(S11)는,
상기 프레임 이미지에서 복수의 광원을 검출하는 단계(S111);
상기 복수의 광원의 기결정된 파라미터들을 서로 비교하여 상기 메인 광원을 판단하는 단계(S112); 및
상기 메인 광원의 컬러를 판단하여 상기 메인 광원의 상기 컬러를 판단하는 단계(S113);
를 포함하되,
상기 프레임 이미지에서 상기 복수의 광원을 검출하는 단계(S111)는,
상기 프레임 이미지를 복수의 영역으로 분할하는 단계(S1111);
각 영역의 히스토그램에 따라, 상기 영역이 상기 광원을 가지는 타깃 영역인지를 판단하는 단계(S1112);
상기 영역이 상기 광원을 가지는 상기 타깃 영역인 경우, 서로 인접한 둘 이상의 타깃 영역이 존재하는지를 판단하는 단계(S1113);
상기 서로 인접한 둘 이상의 타깃 영역이 존재하는 경우, 상기 둘 이상의 타깃 영역에 포함된 적어도 둘 이상의 광원을 상기 복수의 광원 중 하나로 스티칭 하는 단계(S1114); 및
상기 서로 인접한 둘 이상의 타깃 영역이 존재하지 않는 경우, 상기 타깃 영역에 포함된 상기 광원을 상기 복수의 광원 중 하나로 판단하는 단계(S1115);
를 포함하는 것을 특징으로 하는,
화이트 밸런스 처리 방법.
제 1 항에 있어서,
상기 히스토그램은,
가로 축의 픽셀 값 및 세로 축의 픽셀 수를 보여주는 히스토그램;
가로 축의 픽셀 수 및 세로 축의 픽셀 값을 보여주는 히스토그램;
가로 축의 픽셀 수의 비율과 세로 축의 픽셀 값을 보여주는 히스토그램; 및
가로 축의 픽셀 값과 세로 축의 픽셀 수의 비율을 보여주는 히스토그램;
을 포함하는 그룹에서 선택된 것을 특징으로 하는,
화이트 밸런스 처리 방법.
제 1 항에 있어서,
상기 영역의 상기 히스토그램에 따라 상기 영역이 상기 광원을 가지는 상기 타깃 영역인지를 판단하는 단계(S1112)는,
기결정된 값보다 큰 픽셀 값을 가지는 각각의 픽셀 수의 비율이 기결정된 비율을 초과하는지를 판단하는 단계;
상기 기결정된 값보다 큰 상기 픽셀 값을 가지는 각각의 상기 픽셀 수의 상기 비율이 상기 기결정된 비율을 초과하는 경우, 상기 영역의 상기 히스토그램에 따라 상기 영역이 상기 광원을 가지는 상기 타깃 영역인 것으로 판단하는 단계; 및
상기 기결정된 값보다 큰 상기 픽셀 값을 가지는 각각의 상기 픽셀 수의 상기 비율이 상기 기결정된 비율을 초과하지 않는 경우, 상기 영역의 상기 히스토그램에 따라 상기 영역이 상기 광원을 가지는 상기 타깃 영역이 아닌 것으로 판단하는 단계;
를 포함하는 것을 특징으로 하는,
화이트 밸런스 처리 방법.
제 1 항에 있어서,
상기 메인 광원을 판단하기 위해 상기 복수의 광원의 상기 기결정된 파라미터를 비교하는 단계(S112)는,
상기 복수의 광원의 시나리오 파라미터들, 영역들 및 휘도 파라미터들 중 어느 하나에 따라 상기 메인 광원을 판단하는 단계(S1121)를 포함하고, 상기 시나리오 파라미터들은 GPS의 신호 강도 및 상기 이미지를 캡처하기 위한 시간을 포함하고, 상기 휘도 파라미터들은 상기 복수의 광원의 휘도 및 상기 이미지의 평균 휘도를 포함하는 것을 특징으로 하는,
화이트 밸런스 처리 방법.
제 4 항에 있어서,
상기 복수의 광원의 상기 영역들에 따라 상기 메인 광원을 판단하는 단계(S1121)는,
최대 영역을 가지는 광원을 상기 메인 광원으로 판단하는 단계를 포함하는 것을 특징으로 하는,
화이트 밸런스 처리 방법.
제 4 항에 있어서,
상기 복수의 광원의 상기 휘도 및 상기 이미지의 평균 휘도에 따라 상기 메인 광원을 판단하는 단계(S1121)는,
기결정된 휘도보다 큰 휘도를 가지고, 상기 이미지의 상기 평균 휘도와 매치되는 광원을 상기 메인 광원으로서 판단하는 단계를 포함하는 것을 특징으로 하는,
화이트 밸런스 처리 방법.
제 1 항에 있어서,
상기 메인 광원의 상기 컬러를 판단하여 상기 메인 광원의 상기 컬러 온도를 판단하는 단계(S113)는,
상기 메인 광원의 중심에서 반경 방향으로 휘도 분포에 따라 제1영역 및 제2영역을 판단하는 단계(S1131);-상기 제1영역은 상기 메인 광원의 상기 중심에서 상기 반경 방향으로 제1휘도 범위 내의 휘도를 가지는 픽셀들에 의해 정의된 영역을 나타내고, 상기 제2영역은 상기 메인 광원의 상기 중심에서 상기 반경 방향으로 제2휘도 범위 내의 휘도를 가지는 픽셀들에 의해 정의된 영역을 나타내며, 상기 제2휘도 범위의 상한은 상기 제1휘도 범위의 하한 이하이며,-
상기 제1영역의 원색 채널들의 평균 픽셀 값으로부터 상기 제2영역의 원색 채널들의 평균 픽셀 값을 차감하여, 상기 메인 광원의 컬러를 판단하는 단계(S1132); 및
상기 메인 광원의 상기 컬러에 따라 상기 메인 광원의 상기 컬러 온도를 판단하는 단계(S1133);
를 포함하는 것을 특징으로 하는,
화이트 밸런스 처리 방법.
제 1 항에 있어서,
상기 원색 온도의 상기 변화가 상기 기결정된 임계 값 이상인 경우, 상기 제2프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 상기 제2프레임 이미지에 대한 화이트 밸런스 처리를 수행하는 단계(S14)를 더 포함하는 것을 특징으로 하는,
화이트 밸런스 처리 방법.
제 1 항에 있어서,
상기 원색 온도의 상기 변화가 상기 기결정된 임계 값 이상인 경우, 노드 컬러 온도의 변화가 상기 기결정된 임계 값 이상인지를 판단하는 단계(S15);-상기 노드 컬러 온도의 상기 변화는 제3프레임 이미지에서 상기 메인 광원의 상기 컬러 온도와 상기 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도 사이의 차이를 나타내고, 상기 제3프레임 이미지는 상기 제1프레임 이미지에 인접하지 않고 상기 복수의 연속적인 프레임 이미지로부터 비롯되며,-
상기 노드 컬러 온도의 상기 변화가 상기 기결정된 임계 값 미만인 경우, 상기 제1프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 상기 제3프레임 이미지에 대한 화이트 밸런스 처리를 수행하는 단계(S16); 및
상기 노드 컬러 온도의 상기 변화가 상기 기결정된 임계 값 이상인 경우, 상기 제3프레임 이미지에서 상기 메인 광원의 상기 컬러 온도에 따라 상기 제3프레임 이미지에 대한 상기 화이트 밸런스 처리를 수행하는 단계(S17);
를 더 포함하는 것을 특징으로 하는,
화이트 밸런스 처리 방법.
제 1 항에 있어서,
상기 화이트 밸런스 처리가 적용된 상기 프레임 이미지에 대하여 사용자에 의해 수행되는 동작을 이용하여 상기 메인 광원을 판단하는 단계(S18)를 더 포함하는 것을 특징으로 하는,
화이트 밸런스 처리 방법.
제 10 항에 있어서,
상기 동작은 편집, 저장 및 삭제 중 적어도 하나를 포함하는 것을 특징으로 하는,
화이트 밸런스 처리 방법.
하나 이상의 프로세서(21);
메모리(22), 및
상기 메모리(22)에 저장되고, 하나 이상의 프로세서(21)에 의해 실행 가능하도록 구성되는 하나 이상의 프로그램;
을 포함하고,
상기 하나 이상의 프로그램은 명령어들을 포함하고, 상기 명령어들이 실행될 때, 상기 하나 이상의 프로세서는 제 1 항 내지 제 11 항 중 어느 한 항에 따른 화이트 밸런스 처리 방법을 실행하도록 구성되는 것을 특징으로 하는,
전자 장치(20).
전자 장치(20)와 협력하는 컴퓨터 프로그램들을 포함하고,
상기 컴퓨터 프로그램들이 프로세서(21)에 의해 실행되어 제 1 항 내지 제 11 항 중 어느 한 항에 따른 화이트 밸런스 처리 방법을 실행하는 것을 특징으로 하는,
비 일시적 컴퓨터 판독 가능 저장 매체(30).
삭제
삭제