KR20200145670A - 영상의 화이트 밸런스 보정을 수행하는 장치 및 방법 - Google Patents

Abstract

입사 광을 광전 변환하여 전기적인 영상 신호를 생성하는 카메라; 및 상기 영상 신호를 처리하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 영상 신호로부터 생성된 촬영 영상의 영상 데이터에 기초하여 광원 색 온도를 추정하고, 상기 광원 색 온도에 기초하여 색 공간 상에서의 타겟 좌표를 결정하고, 상기 촬영 영상에 기초하여 상기 색 공간 상에서의 캡쳐 좌표를 결정하고, 상기 타겟 좌표에 기초하여 색차 허용 범위를 결정하고, 상기 타겟 좌표와 상기 색차 허용 범위 사이의 거리와 상기 캡쳐 좌표와 상기 색차 허용 범위 사이의 거리에 기초하여 화이트 밸런스 평가 값을 산출하고, 상기 화이트 밸런스 평가 값에 기초하여 상기 촬영 영상의 화이트 밸런스 보정을 수행하는 적어도 하나의 프로세서를 포함하는 전자 장치가 제공된다.

Description

영상의 화이트 밸런스 보정을 수행하는 장치 및 방법 {Device and method for correcting white balance of image}

본 개시의 실시 예들은 영상의 화이트 밸런스 보정을 수행하는 장치 및 방법에 관한 것으로서, 전자 장치, 영상 처리 방법, 및 영상 처리 방법을 수행하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 저장 매체에 관한 것이다.

디지털 카메라 등, 피사체를 전자적으로 촬영하는 전자적 촬영 장치에서, 조명의 광원에 관계없이, 흰 피사체가 희게 촬영되도록, 화이트 밸런스를 보정하는 화상 신호 처리(화이트 밸런스 보정 처리)가, 일반적으로 수행되고 있다. 촬영 영상에 대해 화이트 밸런스 보정 처리를 하면, 조명 광원에 따라서는, 육안으로 관찰한 피사체상과 촬영된 영상에서의 피사체 사이에 색채상의 차이가 생긴다. 특히 백색의 피사체가 희게 재현되도록 하기 위한 보정 처리에서 육안으로 보이는 피사체의 색채와 촬영된 영상에서의 피사체의 색채 사이에 차이가 나타난다. 예를 들면, 햇빛 등의 자연광과 형광등 등의 인공 빛은, 양광원의 색 온도에 차이가 있어, 촬영된 화상의 백색 재현성에 큰 영향을 미치게 된다. 따라서 화이트 밸런스 보정 처리 시, 촬영 장치에 의해 재현되는 영상에 위화감이 생기는 문제가 있다.

본 개시의 실시 예들은 광원에 따라 자연스러운 화이트 밸런스 보정 처리를 제공하는 전자 장치, 영상 처리 방법, 및 컴퓨터 프로그램을 저장하는 저장 매체를 제공하기 위한 것이다.

또한, 본 개시의 실시 예들은 화이트 밸런스 보정 결과에 대한 객관적 평가와 주관적 평가의 괴리를 최소화하기 위한 화이트 밸런스 평가 방식을 제공하여, 화이트 밸런스 보정 처리의 품질을 향상시킬 수 있는 전자 장치, 영상 처리 방법, 및 컴퓨터 프로그램을 저장하는 저장 매체를 제공하기 위한 것이다.

본 개시의 일 실시 예의 일 측면에 따르면, 입사 광을 광전 변환하여 전기적인 영상 신호를 생성하는 카메라; 및 상기 영상 신호를 처리하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는, 상기 영상 신호로부터 생성된 촬영 영상의 영상 데이터에 기초하여 광원 색 온도를 추정하고, 상기 광원 색 온도에 기초하여 색 공간 상에서의 타겟 좌표를 결정하고, 상기 촬영 영상에 기초하여 상기 색 공간 상에서의 캡쳐 좌표를 결정하고, 상기 타겟 좌표에 기초하여 색차 허용 범위를 결정하고, 상기 타겟 좌표와 상기 색차 허용 범위 사이의 거리와 상기 캡쳐 좌표와 상기 색차 허용 범위 사이의 거리에 기초하여 화이트 밸런스 평가 값을 산출하고, 상기 화이트 밸런스 평가 값에 기초하여 상기 촬영 영상의 화이트 밸런스 보정을 수행하는 적어도 하나의 프로세서를 포함하는 전자 장치가 제공된다.

또한, 본 개시의 일 실시 예에 따르면, 상기 색차 허용 범위는, 상기 색 공간 상에서 소정의 영역으로 정의되고, 상기 타겟 좌표는, 상기 색차 허용 범위 내부에 있고, 상기 적어도 하나의 프로세서는, 상기 타겟 좌표와 상기 캡쳐 좌표를 연결한 직선 상에서, 상기 타겟 좌표와 상기 색차 허용 범위 사이의 거리 및 상기 캡쳐 좌표와 상기 색차 허용 범위 사이의 거리를 정의할 수 있다.

또한, 본 개시의 일 실시 예에 따르면, 상기 적어도 하나의 프로세서는, 상기 타겟 좌표와 상기 색차 허용 범위 사이의 거리에 대한, 상기 캡쳐 좌표와 상기 색차 허용 범위 사이의 거리의 비율에 기초하여 상기 화이트 밸런스 평가 값을 결정할 수 있다.

또한, 본 개시의 일 실시 예에 따르면, 상기 적어도 하나의 프로세서는, 상기 촬영 영상 내에서 상기 광원 색 온도 추정에 이용되는 참조 영역을 결정하고, 상기 참조 영역의 영상 데이터에 기초하여, 상기 광원 색 온도 추정을 수행할 수 있다.

또한, 본 개시의 일 실시 예에 따르면, 상기 참조 영역은 미리 정의된 적어도 하나의 무채색 영역을 포함하는 무채색 패치에 대응하는 영역일 수 있다.

또한, 본 개시의 일 실시 예에 따르면, 상기 색차 허용 범위는, 상기 색 공간 상에서 파랑 방향과 주황 방향의 직경이, 연녹 방향과 마젠타 방향의 직경보다 긴 형태로 정의될 수 있다.

또한, 본 개시의 일 실시 예에 따르면, 상기 색차 허용 범위는, 상기 광원 색 온도에 따라 다른 범위로 결정될 수 있다.

또한, 본 개시의 일 실시 예에 따르면, 상기 적어도 하나의 프로세서는, 상기 색차 허용 범위를 정의할 때, 상기 타겟 좌표를 기준으로, 주황 방향으로의 거리, 마젠타 방향으로의 거리, 파랑 방향으로의 거리, 및 연녹 방향으로의 거리를 정의할 수 있다.

또한, 본 개시의 일 실시 예에 따르면, 상기 색차 허용 범위는 촬영 영상의 화이트 밸런스에 대한 다수의 평가 점수를 반영하여 결정될 수 있다.

또한, 본 개시의 일 실시 예에 따르면, 상기 색 공간은 CIE LAB 색 공간에 대응하고, 반사율에 대응하는 L* 축, 빨강 방향 및 초록 방향에 대응하는 a* 축, 및 노랑 방향 및 파랑 방향에 대응하는 b* 축을 포함할 수 있다.

또한, 본 개시의 일 실시 예에 따르면, 상기 적어도 하나의 프로세서는, 촬영 영상의 각 영역의 색이 물체색 또는 광원색인지 여부를 판단하고, 상기 물체색 또는 광원색인지 여부에 대한 판단 결과에 기초하여 화이트 밸런스 보정을 수행할 수 있다.

또한, 본 개시의 일 실시 예에 따르면, 상기 적어도 하나의 프로세서는, 상기 촬영 영상을 복수의 블록으로 분할하고, 상기 복수의 블록 각각에 대해, 객체 종류를 결정하고, 상기 결정된 객체 종류에 대응하는 적어도 하나의 클래스로 클러스터링하고, 상기 화이트 밸런스 평가 값 및 해당 블록의 클래스에 기초하여, 화이트 밸런스 파라미터 값을 결정할 수 있다.

또한, 본 개시의 일 실시 예에 따르면, 상기 적어도 하나의 프로세서는, 상기 캡쳐 좌표가 상기 색차 허용 범위 내에 있는지 여부를 판단하고, 상기 캡쳐 좌표가 상기 색차 허용 범위 내에 있으면, 화이트 밸런스 평가 값을 0으로 판단하고, 상기 캡쳐 좌표가 상기 색차 허용 범위 밖에 있으면, 상기 타겟 좌표와 상기 색차 허용 범위 사이의 거리와 상기 캡쳐 좌표와 상기 색차 허용 범위 사이의 거리에 기초하여 화이트 밸런스 평가 값을 산출할 수 있다.

본 개시의 일 실시 예의 다른 측면에 따르면, 촬영 영상의 영상 데이터에 기초하여 광원 색 온도를 추정하는 단계; 상기 광원 색 온도에 기초하여 색 공간 상에서의 타겟 좌표를 결정하는 단계; 상기 촬영 영상에 기초하여 상기 색 공간 상에서의 캡쳐 좌표를 결정하는 단계; 상기 타겟 좌표에 기초하여 색차 허용 범위를 결정하는 단계; 상기 타겟 좌표와 상기 색차 허용 범위 사이의 거리와 상기 캡쳐 좌표와 상기 색차 허용 범위 사이의 거리에 기초하여 화이트 밸런스 평가 값을 산출하는 단계; 및 상기 화이트 밸런스 평가 값에 기초하여 상기 촬영 영상의 화이트 밸런스 보정을 수행하는 단계를 포함하는 영상 처리 방법이 제공된다.

본 개시의 일 실시 예의 또 다른 측면에 따르면, 프로세서에 의해 수행되었을 때 영상 처리 방법을 수행하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 저장 매체에 있어서, 상기 영상 처리 방법은 촬영 영상의 영상 데이터에 기초하여 광원 색 온도를 추정하는 단계; 상기 광원 색 온도에 기초하여 색 공간 상에서의 타겟 좌표를 결정하는 단계; 상기 촬영 영상에 기초하여 상기 색 공간 상에서의 캡쳐 좌표를 결정하는 단계; 상기 타겟 좌표에 기초하여 색차 허용 범위를 결정하는 단계; 상기 타겟 좌표와 상기 색차 허용 범위 사이의 거리와 상기 캡쳐 좌표와 상기 색차 허용 범위 사이의 거리에 기초하여 화이트 밸런스 평가 값을 산출하는 단계; 및 상기 화이트 밸런스 평가 값에 기초하여 상기 촬영 영상의 화이트 밸런스 보정을 수행하는 단계를 포함하는 컴퓨터로 읽을 수 있는 저장 매체가 제공된다.

본 개시의 실시 예들에 따르면, 광원에 따라 자연스러운 화이트 밸런스 보정 처리를 제공하는 전자 장치, 영상 처리 방법, 및 컴퓨터 프로그램을 저장하는 저장 매체를 제공할 수 있는 효과가 있다.

또한, 본 개시의 실시 예들에 따르면, 화이트 밸런스 보정 결과에 대한 객관적 평가와 주관적 평가의 괴리를 최소화하기 위한 화이트 밸런스 평가 방식을 제공하여, 화이트 밸런스 보정 처리의 품질을 향상시킬 수 있는 전자 장치, 영상 처리 방법, 및 컴퓨터 프로그램을 저장하는 저장 매체를 제공할 수 있는 효과가 있다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치(100)의 구조를 나타낸 도면이다.
도 2는 복수의 기기에 따라 인식되는 객관적 색차와 주관적 색차를 나타낸 그래프이다.
도 3은 본 개시의 일 실시 예에 따른 영상 처리 방법을 나타낸 흐름도이다.
도 4는 본 개시의 일 실시 예에 따른 광원 색 온도 추정 과정을 나타낸 도면이다.
도 5는 본 개시의 일 실시 예에 따라, 광원 색 온도 별로 타겟 좌표의 범위를 나타낸 그래프이다.
도 6a은 본 개시의 일 실시 예에 따라 색차 허용 범위를 결정하는 과정을 나타낸 도면이다.
도 6b는 본 개시의 일 실시 예에 따라 색 공간 상에서 각 색상에 대응되는 영역을 나타낸 도면이다.
도 7은 본 개시의 일 실시 예에 따라 화이트 밸런스 평가 값을 산출하는 과정을 나타낸 도면이다.
도 8은 본 개시의 일 실시 예에 따라 화이트 밸런스 평가 값을 산출하는 과정을 나타낸 흐름도이다.
도 9는 본 개시의 일 실시 예에 따라 화이트 밸런스 보정을 수행하는 과정을 나타낸 도면이다.
도 10은 본 개시의 일 실시 예에 따라 화이트 밸런스 보정을 수행하는 과정을 나타낸 도면이다.
도 11은 본 개시의 일 실시 예에 따른 전자 장치의 구조를 나타낸 도면이다.
도 12는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타낸 도면이다.

본 명세서는 청구항의 권리범위를 명확히 하고, 본 개시의 실시 예들이 속하는 기술분야에서 통상의 지식을 가진 자가 청구항에 기재된 실시 예를 실시할 수 있도록, 실시 예들의 원리를 설명하고 개시한다. 개시된 실시 예들은 다양한 형태로 구현될 수 있다.

명세서 전체에 걸쳐 동일 참조 부호는 동일 구성요소를 지칭한다. 본 명세서가 실시 예들의 모든 요소들을 설명하는 것은 아니며, 본 개시의 실시 예들이 속하는 기술분야에서 일반적인 내용 또는 실시 예들 간에 중복되는 내용은 생략한다. 명세서에서 사용되는 "모듈" 또는 "부"(unit)라는 용어는 소프트웨어, 하드웨어 또는 펌웨어 중 하나 또는 둘 이상의 조합으로 구현될 수 있으며, 실시 예들에 따라 복수의 "모듈" 또는 "부"가 하나의 요소(element)로 구현되거나, 하나의 "모듈" 또는 "부"가 복수의 요소들을 포함하는 것도 가능하다.

실시 예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.

이하 첨부된 도면들을 참고하여 본 개시의 실시 예들의 작용 원리 및 다양한 실시 예들에 대해 설명한다.

또한, 본 명세서에서, '영상(image)'은 정지영상, 복수의 연속된 정지영상(또는 프레임)으로 구성된 동영상, 또는 비디오에 대응될 수 있다.

도 1은 본 개시의 일 실시 예에 따른 전자 장치(100)의 구조를 나타낸 도면이다.

본 개시의 일 실시 예에 따른 전자 장치(100)는 카메라(110) 및 프로세서(120)를 포함한다. 전자 장치(100)는 모바일 장치, 통신 단말, 웨어러블 장치, 스마트폰, 태블릿 PC, 랩톱 컴퓨터, 데스크톱 PC 등 다양한 형태로 구현될 수 있다.

전자 장치(100)는 카메라(110) 및 프로세서(120)를 포함한다.

카메라(110)는 입사 광을 광전 변환하여 검출 신호를 생성한다. 카메라(110)는 입사 광을 광전 변환하는 이미지 센서를 구비하고, 이미지 센서에서 생성된 검출 신호에 소정의 처리를 수행한 후, 프로세서(120)로 출력한다. 일례로, 카메라(110)는 아날로그 신호 형태로 이미지 센서의 검출 신호를 프로세서(120)로 출력하고, 프로세서(120)는 별도의 아날로그-디지털 변환 처리를 거쳐 디지털 신호 형태의 검출 신호를 획득할 수 있다. 다른 예로서, 아날로그-디지털 변환을 거친 디지털 신호 형태로 이미지 센서의 검출 신호를 프로세서(120)로 출력할 수 있다.

이미지 센서는 하나 이상의 색 성분에 각각 대응하는 검출 신호를 생성할 수 있다. 예를 들면, 이미지 센서는 레드(red), 그린(green), 및 블루(blue)에 대응하는 검출 신호를 각각 생성할 수 있다. 이미지 센서에서 생성되는 검출 신호의 색 성분은 이미지 센서에 포함된 컬러 필터 및 검출 신호 전달 패스에 의해 결정된다. 카메라(110)는 각 색 성분에 대응하는 복수의 신호 채널을 구비할 수 있다. 프로세서(120)는 하나의 프레임에 대해, 각 색 성분에 대응하는 검출 신호를 입력 받을 수 있다.

카메라(110)는 다양한 형태의 촬영 기능을 갖는 촬영부로 구현될 수 있다. 카메라(110)는 전자 장치(100)에 내장되거나, 탈착식으로 구현될 수 있다. 또한, 전자 장치(100)는 하나 이상의 카메라(110)를 포함할 수 있다. 예를 들면, 전자 장치(100)는 듀얼 카메라, 또는 트리플 카메라 등의 형태로 카메라를 구비할 수 있다. 카메라(110)는 3D 촬영을 위한 복수의 광학계를 가질 수 있다. 또한, 전자 장치(110)는 장치의 다른 면에 각각 카메라(110)를 구비할 수 있다. 예를 들면, 전자 장치(110)는 장치의 전면에 배치되는 전면 카메라와, 장치의 후면에 배치되는 후면 카메라를 구비할 수 있다. 장치의 전면은 전자 장치(100)의 디스플레이(미도시)가 배치되는 면으로 정의될 수 있다.

본 개시의 일 실시 예에 따르면, 카메라(110)는 렌즈, 셔터, 조리개, 이미지 센서, 신호 증폭기, 및 아날로그-디지털 컨버터를 포함할 수 있다. 또한, 본 개시의 일 실시 예에 따르면, 카메라(110)는 디지털 신호를 처리하는 프로세서를 추가로 포함할 수 있다. 카메라(110)는 프로세서(120)로부터 입력된 제어 신호에 기초하여, 카메라(110) 내의 컴퍼넌트를 제어하는 구동 회로를 포함할 수 있다. 예를 들면, 카메라(110)는 렌즈 구동 회로, 셔터 구동 회로, 또는 신호 증폭기 구동 회로 등을 포함할 수 있다. 이러한 하나 이상의 구동 회로는 별개로 구성되거나 통합되어 구성될 수 있으며, 다양한 조합의 구동 회로가 카메라(110)에 포함될 수 있다.

프로세서(120)는 전자 장치(100) 전반의 동작을 제어한다. 프로세서(120)는 하나 이상의 프로세서(120)를 포함할 수 있다. 프로세서(120)는 메모리(미도시)에 저장된 인스트럭션 또는 커맨드를 실행하여 소정의 동작을 수행할 수 있다.

프로세서(120)는 카메라(110)로부터 입력된 검출 신호로부터 촬영 영상을 생성한다. 프로세서(120)는 카메라(110)로부터 입력된 검출 신호에 대해, 색 좌표 변환, 노이즈 처리, 컨트라스트 보정, 화이트 밸런스 보정, 감마 보정, 보간 처리, 해상도 조절 등의 처리를 수행하여 촬영 영상을 생성한다. 프로세서(120)는 검출 신호로부터 정지 영상을 생성하거나, 복수의 프레임을 포함하는 동영상을 생성한다.

화이트 밸런스 보정 처리는 카메라 촬영 시 반사된 빛의 색감을 보정하여 색 균형을 조절하는 처리이다. 카메라 촬영 시, 빛에 따라 색의 표현에 차이가 존재한다. 색 온도가 낮으면 촬영 영상은 붉은 빛을 띠고, 색 온도가 높을 경우 촬영 영상은 파란 빛을 띤다. 예를 들면, 백열등 하에서는 피사체가 붉게 표현되고, 형광등 하에서는 피사체게 녹색으로 표현되고, 태양광 하에서는 시간 대에 따라 색 온도가 다르게 나타날 수 있다. 이와 같이 광원에 따른 색감의 변화를 보정하기 위해, 프로세서(120)는 화이트 밸런스 보정 처리를 수행한다. 프로세서(120)는 촬영 영상의 R, G, B 각각의 색상에 대한 게인(gain)을 조절하여 화이트 밸런스 보정 처리를 수행할 수 있다. 일 실시 예에 다르면, 프로세서(120)는 흰색 종이 또는 흰색 피사체를 촬영한 촬영 영상을 이용하여 화이트 밸런스를 조절하는 오토 화이트 밸런스(Auto White Balance, AWB) 기능 또는 모드를 제공할 수 있다. 프로세서(120)는 AWB에 의해 자동으로 색 온도 및 색감을 보정할 수 있다.

본 개시의 일 실시 예에 따르면, 프로세서(120)는 촬영 영상의 광원 색 온도를 추정하고, 광원 색 온도에 기초하여 화이트 밸런스 평가 값을 산출한다. 광원 색 온도는 촬영 영상이 촬영될 때의 광원의 색 온도를 의미한다. 화이트 밸런스 평가 값은, 촬영 영상의 화이트 밸런스 보정을 위해, 현재의 촬영 영상의 화이트 밸런스를 평가한 값이다. 본 개시의 실시 예들에 따르면, 화이트 밸런스 평가 값은 색 공간 상에서, 화이트 밸런스 보정의 타겟 좌표와 촬영 영상에서 나타나는 색의 좌표인 캡쳐 좌표와의 기하학적 거리로 정의된다. 프로세서(120)는 화이트 밸런스 평가 값에 기초하여 화이트 밸런스 보정 처리를 수행한다. 예를 들면, 프로세서(120)는 화이트 밸런스 평가 값에 기초하여 화이트 밸런스 보정의 강도, 목표 색 온도 등을 조절할 수 있다.

프로세서(120)는 촬영 영상을 소정의 색 공간의 색 좌표로 변환한다. 본 개시의 일 실시 예에 따르면, 프로세서(120)는 촬영 영상을 CIE LAB 색 공간으로 변환한다. CIE LAB 색 공간은 인간 감성에 접근하기 위해 연구된 결과로 인간이 색채를 감지하는 노랑-파랑, 초록-빨강의 반대색에 기초하여 CIE에서 정의한 색 공간이다. CIE LAB 색 공간은 조색을 할 때, 색채의 오차 범위와 방향을 쉽게 짐작할 수 있게 하여, 세계적으로 널리 통용되고 있다. CIE LAB 색 공간은 L*, a*, 및 b*의 3개의 색 좌표를 가질 수 있다. 좌표 L*은 인간의 시감과 같은 명도의 반사율을 나타내며, 0 내지 100까지의 단계를 갖고, 소수점 이하 단위도 표현할 수 있다. 좌표 a*는 색도 다이어그램으로, 양의 방향은 빨강 방향에 대응되고, 음의 방향은 초록 방향에 대응된다. 좌표 b*는 색도 다이어그램으로 양의 방향은 노랑 방향에 대응되고, 음의 방향은 파랑 방향에 대응된다.

프로세서(120)는 촬영 영상을 CIE LAB 색 공간으로 변환하고, CIE LAB 색 공간 상에서 광원 색 온도에 기초한 타겟 좌표와 색차 허용 범위를 결정한다. 또한 프로세서(120)는 촬영 영상의 영상 데이터에 기초하여 결정된 캡쳐 좌표를 결정한다. 다음으로 프로세서(120)는 타겟 좌표, 캡쳐 좌표, 및 색차 허용 범위에 기초하여, 화이트 밸런스 평가 값을 산출하고, 화이트 밸런스 평가 값에 기초하여 촬영 영상의 화이트 밸런스를 보정한다.

다른 실시 예에 따르면, 프로세서(120)는 촬영 영상을 LAB 색 공간 대신, YCbCr, HSV, HLS 등 다른 색 공간으로 변환할 수 있다. 본 개시의 실시 예들은, 사람이 허용하기 쉬운 색과 사람이 허용하기 어려운 색을 색 좌표 공간에서 판별할 수 있는 것이라면, 다른 색 공간에도 적용 가능하다.

또한, 프로세서(120)는 카메라(110)를 제어하고, 카메라(110)에 적용되는 파라미터 값을 결정하여 카메라(110)로 출력할 수 있다. 프로세서(120)는 셔터 릴리즈 신호, 파라미터 설정 신호 등의 제어 신호를 생성하여 카메라(110)로 출력한다. 카메라(110)로 출력되는 제어 신호는 사용자 입력에 기초하여 결정되거나, 프로세서(120)에서 수행되는 자동 초점(AF, auto focusing) 제어, 자동 노출(AE) 제어 등의 처리에 의해 자동으로 결정될 수 있다. 프로세서(120)는 검출 신호로부터 생성된 입력 영상에 기초하여, AF 또는 AE 등의 처리를 수행하여, 카메라(110)를 제어할 수 있다.

일 실시 예에 따르면, 프로세서(120)는 입력 영상에 기초하여 AE 처리를 수행하여, 카메라(110)의 노출에 관련된 파라미터의 값을 제어한다. 노출에 관련된 파라미터는 예를 들면, 셔터 스피드, 조리개 값, 노출 시간, EV값, 또는 게인 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.

전자 장치(100)는 도 1에 도시된 카메라(110) 및 프로세서(120) 이외에도, 메모리, 디스플레이, 플래시 라이트, 입출력 인터페이스, 또는 통신부 등 다양한 구성 요소를 추가로 포함할 수 있다.

도 2는 복수의 기기에 따라 인식되는 객관적 색차와 주관적 색차를 나타낸 그래프이다.

색차는 2개의 지각색의 지각적 상위를 수치로 표시한 것이다. 예를 들면, 색차는 LAB 색 공간에서 2점 간의 기하학적 거리로서 그 크기를 나타낼 수 있다. LAB 색 공간에서 색차(

)는 수학식 1과 같이 나타낼 수 있다.

[수학식 1]

색상 인식에 있어서, 사람은 블루 방향과 앰버(오렌지) 방향의 색조보다 마젠타, 그린 방향의 색조에서 나타나는 색차를 더 민감하게 인식한다. 예를 들면, 저녁 노을을 촬영한 영상에서, 노을의 느낌을 남길 수 있도록 앰버 배색이 더 선호되고, 해가 지는 저녁(황혼)에는 약간 블루에 가까운 배색이 선호된다. 이와 같이, 색차의 수치 평가와 주관적 평가가 일치하지 않기 때문에, 수치 평가만으로는 사람이 자연스럽게 느끼는 화이트 밸런스 보정을 제공하기 어렵다.

객관적 색차와 주관적 색차의 차이를 알기 위해, 도 2에 도시된 바와 같이, 서로 다른 화이트 밸런스 보정을 제공하는 기기1, 기기2, 기기3, 기기4, 및 기기5에서 동일한 촬영 영상에 대해 화이트 밸런스 보정을 수행한 결과 영상의 색차를 비교해보았다. 비교 결과, LAB 색 공간에서 수학식 1의 색차식에 의해 계산되는 색차 값은 5개의 기기에서 모두 유사하게 산출되었다. 즉, 5개의 기기의 객관적 색차는 유사한 수준이었다. 그러나 사람이 주관적으로 인식하는 색차는 5개의 기기에서 큰 차이를 보였다. 기기 1 및 기기 2는 객관적 색차보다 주관적 색차의 수준이 낮게 평가되는데 반해, 기기 3, 기기 4, 및 기기 5는 객관적 색차에 비해 주관적 색차가 매우 높게 평가되었다. 이러한 차이는 LAB 색 공간 상에서의 색차의 방향에 의한 것이다.

본 개시의 실시 예들에 따르면, 색차 식에 의해 수치적으로 평가되는 객관적 색차의 한계를 보완하기 위해, 화이트 밸런스 보정의 타겟 색 온도를 촬영 영상에서 추정된 광원 색 온도에 따라 결정하고, 광원 색 온도에 따라 정의된 색차 허용 범위를 색상의 방향에 따라 다른 범위로 설정하여, 화이트 밸런스 평가 값을 산출한다. 본 개시의 실시 예들은, 이와 같은 화이트 밸런스 평가 값 산출 방식에 의해, 주관적 색차를 현저하게 감소시키고 자연스러운 화이트 밸런스 보정을 제공할 수 있다.

도 3은 본 개시의 일 실시 예에 따른 영상 처리 방법을 나타낸 흐름도이다.

도 3의 영상 처리 방법은 프로세서 및 메모리를 구비한 다양한 형태의 전자 장치에 의해 수행될 수 있다. 본 개시는 본 개시의 실시 예들에 따른 전자 장치(100)가 영상 처리 방법을 수행하는 실시 예를 중심으로 설명한다. 따라서 전자 장치(100)에 대해 설명된 실시 예들은 영상 처리 방법에 대한 실시 예들에 적용 가능하고, 반대로 영상 처리 방법에 대해 설명된 실시 예들은 전자 장치(100)에 대한 실시 예들에 적용 가능하다. 개시된 실시 예들에 따른 영상 처리 방법은 본 개시에 개시된 전자 장치(100)에 의해 수행되는 것으로 그 실시 예가 한정되지 않고, 다양한 형태의 전자 장치에 의해 수행될 수 있다.

전자 장치는 입력된 촬영 영상의 광원 색 온도를 추정한다(S302). 촬영 영상은 전자 장치의 카메라에 의해 촬영된 영상, 입력 인터페이스를 통해 입력된 영상, 또는 메모리에 저장된 영상 중 적어도 하나 또는 이들의 조합일 수 있다. 도 4를 참조하여, 광원 색 온도를 추정하는 과정을 설명한다.

도 4는 본 개시의 일 실시 예에 따른 광원 색 온도 추정 과정을 나타낸 도면이다.

본 개시의 일 실시 예에 따르면, 전자 장치는 촬영 영상(410)의 영상 데이터로부터 광원 색 온도를 추정한다. 전자 장치는 참조 영역(420)을 포함하는 촬영 영상(410)으로부터 광원 색 온도를 추정할 수 있다. 참조 영역(420)는 무채색 영역에 대응하는 영역이다. 참조 영역(420)은 무채색 패치를 포함하거나, 무채색을 갖는 피사체(예를 들면, 백색 종이)에 대응하는 영역일 수 있다.

일 실시 예에 따르면, 전자 장치는 촬영 영상(410)으로부터 무채색 패치를 검출한다(S430). 참조 영역(420)은 미리 정의된 무채색 패치를 포함할 수 있다. 무채색 패치는 무채색에 대응하는 복수의 영역을 갖는 피사체로서, 각각의 영역은 소정의 그레이 스케일에 대응하는 무채색을 갖는다. 무채색 패치는 미리 정의된 식별자를 포함하고, 전자 장치는 무채색 패치에 포함된 식별자를 검출함에 의해, 촬영 영상으로부터 무채색 패치를 검출할 수 있다.

다음으로, 전자 장치는 무채색 패치에 대응하는 참조 영역(420)의 영상 데이터로부터, R, G, B 값을 측정한다(S432). 전자 장치는 참조 영역(420)의 영상 데이터로부터 R, G, B 값을 산출한다.

다음으로, 전자 장치는 무채색 패치에 대응하는 참조 영역(420)의 R, G, B 값에 기초하여 광원 색 온도를 추정한다(S434). 무채색 패치는 그 피사체 자체가 무채색을 가지기 때문에, 무채색 패치에서 나타나는 색상은 광원 색 온도를 나타낸다. 전자 장치는 촬영 영상 상에서 무채색 패치의 R, G, B 값에서 나타나는 색상을 광원 색 온도로 추정할 수 있다.

다시 도 3을 참조하면, 전자 장치는 촬영 영상의 광원 색 온도에 기초하여, 색 공간 상에서 타겟 좌표를 결정한다(S304). 또한, 전자 장치는 촬영 영상의 영상 데이터에 기초하여 색 공간 상에서 캡쳐 좌표를 결정한다(S306). 캡쳐 좌표는 촬영 영상(410)의 참조 영역(420)의 색 공간 상에서의 좌표를 나타낸다. 전자 장치는 참조 영역(420)의 R, G, B 값을 LAB 색 공간의 색 좌표로 변환하여, 캡쳐 좌표를 정의할 수 있다. 또한, 전자 장치는 타겟 좌표에 기초하여 색차 허용 범위를 결정한다(S308). 색차 허용 범위는 색 공간 상에서 타겟 좌표 주변의 영역으로서, 타겟 좌표로부터 허용되는 색차의 영역을 나타낸다. 타겟 좌표는 색차 허용 범위 내부에 있다. 도 3에서는 촬영 영상의 광원 색 온도 추정(S302), 타겟 좌표 결정(S304), 캡쳐 좌표 결정(S306), 및 색차 허용 범위 결정(S308)의 순서로 도시되었지만, 각 단계의 순서는 실시 예에 따라 달라질 수 있다. S302, S304, 및 S308 단계는 순차적으로 수행되지만, 캡쳐 좌표 결정을 수행하는 S306 단계는 S302, S304, 및 S308 단계와 병렬적으로 수행되거나 도 3에 도시된 순서와 다른 순서로 수행될 수 있다. 아래에서 도 5, 도 6a, 및 도 6b를 참조하여 S302, S304, 및 S308 단계의 동작을 보다 자세히 설명한다.

도 5는 본 개시의 일 실시 예에 따라, 광원 색 온도 별로 타겟 좌표의 범위를 나타낸 그래프이다.

도 5에서는 LAB 색 공간에 있어서, 광원 색 온도 별로 타겟 좌표의 범위를 나타내고 있다. 도 5에서, 가로축은 a* 축을 나타내고, 세로축은 b* 축을 나타낸다. 도 5에서 L* 좌표를 나타내는 L* 축은 생략되었다. 도 5에 도시된 바와 같이, 타겟 좌표 범위는 광원 색 온도에 의해, b* 축 방향으로 다르다. 좌표 b*는 노랑과 남색(blue) 사이의 위치를 나타내는 것으로, 광원 색 온도가 낮을수록, 타겟 좌표 범위는 노랑 방향으로 이동하고, 광원 색 온도가 높을수록 타겟 좌표 범위는 남색으로 이동한다.

전자 장치는 도 5에 도시된 바와 같은, 광원 색 온도 별 타겟 좌표의 범위를 나타내는 색 온도 별 타겟 정보를 미리 저장한다. 또한, 전자 장치는 촬영 영상으로부터 광원 색 온도를 추정하고, 추정된 광원 색 온도 및 색 온도 별 타겟 정보에 기초하여 타겟 좌표를 결정한다. 타겟 좌표는 색 온도에 따라, 각 타겟 좌표 범위 내에서 결정될 수 있다. 예를 들면, 추정된 광원 색 온도가 2000K 내지 2900K 범위 내에 있는 경우, 좌표 T1이 타겟 좌표로 설정되고, 추정된 광원 색 온도가 2900K 내지 3200K 범위 내에 있는 경우, 좌표 T2가 타겟 좌표로 설정되고, 추정된 광원 색 온도가 3200K 내지 6500K 범위 내에 있는 경우, 좌표 T3가 타겟 좌표로 설정되고, 추정된 광원 색 온도가 6500K 내지 8000K 범위 내에 있는 경우, 좌표 T4가 타겟 좌표로 설정되고, 추정된 광원 색 온도가 8000K 내지 12000K 범위 내에 있는 경우, 좌표 T5가 타겟 좌표로 설정된다.

일 실시 예에 따르면, 전자 장치는 화이트 밸런스 설정에 따라 타겟 좌표의 위치를 결정할 수 있다. 화이트 밸런스 설정은 화이트 밸런스 보정 시, 보정의 정도를 나타내는 설정이다. 예를 들면, 하얀 색을 완전히 하얗게 보이게 보정하는 설정이 있고, 광원의 색이 남아있게 하는 설정이 있을 수 있다. 전자 장치는 화이트 밸런스 설정에 따라, 타겟 좌표를 좌표 값을 다르게 설정할 수 있다.

도 6a은 본 개시의 일 실시 예에 따라 색차 허용 범위를 결정하는 과정을 나타낸 도면이다. 도 6b는 본 개시의 일 실시 예에 따라 색 공간 상에서 각 색상에 대응되는 영역을 나타낸 도면이다.

본 개시의 일 실시 예에 따르면, 전자 장치는 타겟 좌표(610)에 기초하여 색차 허용 범위(620)를 결정한다. 본 개시의 일 실시 예에 따르면, 색차 허용 범위(620)는 색 공간 상에서 방향에 따라 타겟 좌표(610)로부터의 거리가 다르게 정의된다. 색차 허용 범위(620)는 색 공간 상에서 파랑 방향(624)과 주황 방향(622)의 직경이, 연녹 방향(626)과 마젠타 방향(628)의 직경보다 길게 정의된다.

색 공간에서는 도 6b에 도시된 바와 같이, 각 색상에 대응되는 좌표가 정의될 수 있다. 예를 들면, CIE LAB 색 공간에서는 도 6b에 도시된 바와 같이, 각 색상에 대응되는 좌표가 정의될 수 있다. 본 개시의 일 실시 예에 따르면, 타겟 좌표(628)를 중심으로, 사람이 색차를 민감하게 인식하는 연녹 방향(626)과 마젠타 방향(628)은 색차 허용 범위(620)를 좁게 설정하고, 사람이 비교적 색차를 덜 민감하게 인식하는 파랑 방향(624)과 주황 방향(622)은 색차 허용 범위(620)를 넓게 설정한다.

도 6b는 MOS(Mean Opinion Score)용 화이트 밸런스 시프트를 나타낸 그래프이다. 도 6b에서는 LAB 색 공간에 있어서 MOS용 화이트 밸런스 시프트를 나타낸다. 도 6b에서 가로축은 a*를 나타내고, 세로축은 b*을 나타낸다. 타겟 범위 결정은 몇 개의 다른 씬의 화상의 화이트 밸런스를 도 6b와 같이 8방향으로 평균 레이어 시프트 한 화상을 준비하고, 다수의 사람 평가를 실시해 MOS에 의해 결정된다. 색차 허용 범위는 다수의 사람 평가의 결과에 의해 결정될 수 있다. 몇 개의 다른 씬은 평가 대상 화상일 필요는 없다. 다수의 사람 평가에 의해 다른 색 온도의 씬에 대해서 사람이 주관적으로 어디까지 허용할 수 있는지를 반영시킨 타겟 범위를 결정할 수 있다. 이러한 결과로부터 색상 별로 색차 허용 범위를 지정할 수 있도록 하기 위해, 파랑 방향과 주황 방향은 넓은 색차 허용 범위를 설정하고, UV(Ultraviolet) 방향인 연녹색 방향은 좁고, 마젠타 방향은 연녹색 방향보다 좁은 색차 허용 범위를 정의하여, 사람의 주관적인 인식을 반영한 색차 허용 범위를 정의하는 것이 가능하다.

이와 같이, 본 개시의 일 실시 예에 따르면, 색의 방향에 따라 색차 허용 범위를 다르게 설정함에 의해, 사람이 색차를 민감하게 인식하는 방향의 색차는 더 크게 평가하고, 사람이 색차를 덜 민감하게 인식하는 방향의 색차는 더 작게 평가한다. 따라서 본 개시의 일 실시 예에 따르면, 사람이 민감하게 인식하는 방향의 색차에 대해 화이트 밸런스 보정의 강도를 크게 하고, 사람이 덜 민감하게 인식하는 방향의 색차에 대해서는 화이트 밸런스 보정의 강도를 작게 하여, 자연스러운 화이트 밸런스 보정을 제공하면서, 원본 영상으로부터의 색상 왜곡은 최소화할 수 있는 효과가 있다.

본 개시의 일 실시 예에 따르면, 색차 허용 범위(620)는 각 색 좌표로부터, 각 색상 방향으로의 거리를 정의함에 의해 미리 정의될 수 있다. 예를 들면, 색차 허용 범위(620)는 타겟 좌표로부터, 파랑 방향(624)으로의 거리, 주황 방향(622)으로의 거리, 연녹 방향(626)으로의 거리, 마젠타 방향으로의 거리(628)에 의해 정의될 수 있다. 이러한 경우, 전자 장치는, 각 색 좌표마다 별개의 기준을 갖지 않고, 각 색 좌표에 미리 정의된 각 방향의 거리를 적용하여 색차 허용 범위(620)를 정의한다.

본 개시의 다른 실시 예에 따르면, 색차 허용 범위(620)는 각 색 좌표마다, 각 색상 방향으로의 거리가 따로 정의될 수 있다. 색차 허용 범위(620)는 각 좌표 값마다 정의되거나, 색 온도 범위마다 정의되거나, 소정의 범위로 각 색 좌표를 그룹핑하여 정의될 수 있다. 전자 장치는, 각 좌표 값 또는 범위에 대해 타겟 좌표로부터, 파랑 방향(624)으로의 거리, 주황 방향(622)으로의 거리, 연녹 방향(626)으로의 거리, 및 마젠타 방향으로의 거리(628)를 정의하는 정보를 미리 저장할 수 있다. 예를 들면, 전자 장치는 미리 저장된 룩 업 테이블을 참조하여 색차 허용 범위(620)를 정의할 수 있다.

다시 도 3을 참조하면, 전자 장치는 타겟 좌표, 캡쳐 좌표, 및 색차 허용 범위에 기초하여, 화이트 밸런스 평가 값을 산출한다(S310). 또한, 전자 장치는 화이트 밸런스 평가 값에 기초하여 촬영 영상에 대한 화이트 밸런스 보정을 수행한다(S312). 도 7 및 도 8을 참조하여, 화이트 밸런스 평가 값 산출 및 보정 과정에 대해 설명한다.

도 7은 본 개시의 일 실시 예에 따라 화이트 밸런스 평가 값을 산출하는 과정을 나타낸 도면이다. 도 8은 본 개시의 일 실시 예에 따라 화이트 밸런스 평가 값을 산출하는 과정을 나타낸 흐름도이다.

일 실시 예에 따르면, 전자 장치는 타겟 좌표(Target[a*, b*]), 색차 허용 범위(620), 캡쳐 좌표(Capture[a*, b*])가 결정되면, 캡쳐 좌표가 색차 허용 범위(620) 내에 있는지 여부를 판단한다(S820). 전자 장치는 캡쳐 좌표가 색차 허용 범위(620) 내에 있는 경우는 화이트 밸런스 평가 값을 0으로 판단하고(S814), 화이트 밸런스 보정 처리 과정을 종료할 수 있다. 전자 장치는 캡쳐 좌표가 색차 허용 범위(620) 밖에 있는 경우, 화이트 밸런스 평가 값 산출 과정을 수행한다.

화이트 밸런스 평가 값 산출을 위해, 전자 장치는 타겟 좌표(Target[a*, b*]), 색차 허용 범위(620), 캡쳐 좌표(Capture[a*, b*])가 결정되면, 타겟 좌표 및 캡쳐 좌표를 연결하는 참조선(710)을 정의한다(S804). 전자 장치는 참조선(710)과 색차 허용 범위(620)의 경계선이 교차하는 교차점 좌표(Region[a*, b*])를 정의한다(S806). 다음으로 전자 장치는 타겟 좌표와 교차점 좌표 사이의 유클리드(Euclid) 거리(d(t, r))를 산출하고(S808), 교차점 좌표와 캡쳐 좌표 사이의 유클리드 거리(d(r, c))를 산출한다(S810). 전자 장치는 수학식 2와 같이, 타겟 좌표와 교차점 좌표 사이의 거리(d(t, r))에 대한 교차점 좌표와 캡쳐 좌표 사이의 거리(d(r, c))의 비율을 산출하여 화이트 밸런스 평가 값(e)을 결정한다(S812).

[수학식 2]

본 개시의 실시 예에 따르면, 화이트 밸런스 평가 값이 타겟 좌표와 캡쳐 좌표 사이의 단순한 기하학적 거리로 결정되지 않고, 캡쳐 좌표가 색차 허용 범위로부터 벗어난 비율로 결정되어, 주관적 색차를 보다 정확하게 판단할 수 있고, 자연스러운 화이트 밸런스 보정을 제공할 수 있는 효과가 있다.

전자 장치는 화이트 밸런스 평가 값에 기초하여 화이트 밸런스 보정을 수행한다. 전자 장치는 참조 영역 내의 무채색 영역의 R, G, B 값을 획득하여, 기준이 되는 화이트 밸런스를 산출할 수 있다. 전자 장치는 참조 영역 내에서 컬러 밸런스가 R:G:B = 1:1:1이 되도록 화이트 밸런스 게인 Kr, Kg, 및 Kb를 산출한다. 전자 장치는 R값, G값, B값 중 최대 값 Mx를 구하고(Mx=max(R, G, B)), 화이트 밸런스 게인을 각각 Kr=Mx/R, Kg=Mx/G, 및 Kb=Mx/B로 산출한다.

다른 실시 예에 따르면, 전자 장치는 광원 색이 남도록 화이트 밸런스 게인을 조절할 수 있고, 컬러 밸런스 R:G:B를 조절할 수 있다. 예를 들면, 전자 장치는 Kr, Kg, 및 Kb 값에 소정의 가중치를 적용하여 컬러 밸런스를 조절할 수 있다.

본 개시의 일 실시 예에 따르면, 전자 장치는 화이트 밸런스 평가 값에 기초하여 화이트 밸런스 게인의 값을 조절할 수 있다. 전자 장치는 화이트 밸런스 평가 값이 0이면 화이트 밸런스 보정을 수행하지 않고, 화이트 밸런스 평가 값이 0을 초과하면, 화이트 밸런스 평가 값에 따라 화이트 밸런스 게인 값을 증가 시키거나 감소시킬 수 있다. 예를 들면, 전자 장치는 Kr, Kg, 및 Kb의 산출 식에 화이트 밸런스 평가 값에 대응하는 값을 곱할 수 있다.

도 9는 본 개시의 일 실시 예에 따라 화이트 밸런스 보정을 수행하는 과정을 나타낸 도면이다.

본 개시의 일 실시 예에 따르면, 전자 장치는 촬영 영상(910)의 각 영역(912)이 물체색인지 또는 광원색인지 여부에 따라 화이트 밸런스 보정을 다르게 수행할 수 있다. 여기서 광원색인 경우는 무채색의 피사체에 대응하는 경우이고, 물체색인 경우는 유채색의 피사체에 대응하는 경우이다. 전자 장치는 촬영 영상(910)의 각 영역(912)은 피사체에 기초한 세그멘테이션이 수행된 영역에 대응하거나, 복수의 블록 어레이로 분할된 촬영 영상(91))의 하나의 블록 영역에 대응할 수 있다.

전자 장치는 촬영 영상(910)의 각 영역(912)이 물체색 또는 광원색인지 여부를 판단한다(S920). 전자 장치는 촬영 영상(910)의 각 영역(912)의 참조 영역(914)의 색상에 기초하여, 각 영역(912)이 물체색 또는 광원색인지 여부를 판단할 수 있다. 예를 들면, 전자 장치는 참조 영역(914)의 R, G, B 값과 동일한 비율의 R, G, B 값을 갖는 영역(912)은 광원색으로 판단하고, 참조 영역(914)의 R, G, B 값과 다른 비율의 R, G, B 값을 갖는 영역(912)은 물체색으로 판단할 수 있다.

촬영 영상(910)의 영역(912)이 광원색에 대응하는 경우, 전자 장치는 해당 영역에 대해, 기본 화이트 밸런스 게인 값에 기초하여 화이트 밸런스 보정을 수행한다. 기본 화이트 밸런스 게인 값은 앞서 설명한 바와 같이, 참조 영역(914)의 R, G, B 값에 기초하여 산출된 Kr, Kg, 및 Kb에 대응하는 값이다.

촬영 영상(910)의 영역(912)이 물체색에 대응하는 경우, 전자 장치는 해당 영역(912)에 대응하는 물체 종류를 나타내는 클래스를 기준으로 클러스터링 처리를 수행한다(S924). 클러스터링은 촬영 영상(910)의 영상 데이터로부터 형태, 질감(텍스처), 색상 등의 정보를 추출하고, 추출된 정보에 기초하여 클래스를 결정함에 의해 수행될 수 있다. 전자 장치는 각 클래스로 나누어진 각 블록에 대해, 클래스 및 화이트 밸런스 평가 값에 기초하여 화이트 밸런스 보정을 수행한다(S926). 전자 장치는 클래스 및 화이트 밸런스 평가 값에 기초하여, 화이트 밸런스 보정을 위한 게인의 크기를 조절하거나, 컬러 밸런스를 조절할 수 있다. 예를 들면, 전자 장치는 클래스에 따라 컬러 밸런스를 조절하고, 화이트 밸런스 평가 값에 기초하여 R, G, B에 대한 게인의 크기를 동일한 비율로 증가시키거나 감소시킬 수 있다.

도 10은 본 개시의 일 실시 예에 따라 화이트 밸런스 보정을 수행하는 과정을 나타낸 도면이다.

본 개시의 일 실시 예에 따르면, 전자 장치는 촬영 영상(910)을 복수의 블록들(1010)로 분할하고, 블록을 단위로 화이트 밸런스 보정의 파라미터 값을 결정할 수 있다.

전자 장치는 참조 영역(1020)에 기초하여 광원 색 온도를 추정하고, 타겟 좌표를 결정한다. 다음으로, 전자 장치는 촬영 영상의 각 블록(1010)에 대해 캡쳐 좌표를 결정한다. 전자 장치는 타겟 좌표 및 캡쳐 좌표에 기초하여 화이트 밸런스 평가 값을 산출한다(S1002).

다음으로 전자 장치는 촬영 영상(910)의 각 블록(1010)에 대해, 객체의 종류를 판단한다(S1004). 객체의 종류는 각 블록(1010)의 영상 데이터에 기초하여, 결정될 수 있다. 전자 장치는 하나의 블록(1010) 내에 복수의 종류의 객체가 포함된 것으로 판단되면, 더 넓은 면적을 차지하는 객체 종류로 해당 블록(1010)의 객체의 종류를 정의한다. 객체의 종류는 실시 예에 따라 다양하게 정의될 수 있고, 예를 들면, 하늘, 건물, 식물, 물, 사람, 땅 등으로 정의될 수 있다.

다음으로 전자 장치는 각 블록(1010)의 객체의 종류에 따라 클래스의 종류를 결정하는 클러스터링 처리를 수행한다(S1006). 클래스는 화이트 밸런스 보정 처리를 수행하는 클래스를 나타내고, 동일한 클래스의 객체에 대해 전자 장치는 동일한 방식으로 화이트 밸런스 보정을 수행한다. 예를 들면, 클래스 1에 대해서는 G 값을 강화하는, 즉, G 값의 게인을 증가시키는 컬러 밸런스를 적용하고, 클래스 2에 대해서는 B 값을 강화하는, 즉, B 값의 게인을 증가시키는 컬러 밸런스를 적용한다.

다음으로 전자 장치는 각 블록(1010)에 대해 클래스에 기초하여 화이트 밸런스 보정의 파라미터 값을 설정한다(S1008). 전자 장치는 클래스에 기초하여 참조 영역(1020)을 기준으로 설정된 화이트 밸런스 게인을 조절하여 화이트 밸런스 보정의 파라미터 값을 설정할 수 있다.

도 11은 본 개시의 일 실시 예에 따른 전자 장치의 구조를 나타낸 도면이다.

본 개시의 일 실시 예에 따른 전자 장치(100a)는 본 개시의 실시 예들에 따른 화이트 밸런스 평가 및 보정을 수행한다. 도 11에 개시된 전자 장치(100a)는 본 개시의 실시 예들에 따른 전자 장치의 구성의 일례에 대응한다. 　　

본 개시의 일 실시 예에 따른 전자 장치(100a)는 렌즈 광학계(1101), 촬상 소자(1102), AFE(Analog Front End) 회로(1103), 영상 신호 처리 회로(1104), 영상 표시부(1105), 영상 기록부(1106), 영상 통계 회로(1107), WB보정 계수 산출부(1108), 노출 보정 산출부(1109), 디바이스 제어부(1110), 타이밍 제네레이터(TG, 1111) 및 드라이버(1112)를 포함한다.

도 11의 전자 장치(100a)의 렌즈 광학계(1101), 촬상 소자(1102), 드라이버(1112), 및 타이밍 제너레이터(TG, 1111)는 도 1의 카메라(110)에 대응될 수 있다. 도 11의 영상 신호 처리 회로(1104), 영상 처리 회로(1107), WB보정계수 산출부(1108), 노출 보정 산출부(1109), 및 디바이스 제어부(1110)는 도 1의 프로세서(120)에 대응될 수 있다.

렌즈 광학계(1101)는 렌즈(1121), 조리개(1122), 및 메카니컬 셔터(1123)를 포함한다. 렌즈 광학계(1101)는, 피사체상을 촬상 소자(1102)의 촬상 면에 결상 한다.

렌즈(1121)는, 빛을 굴절시키는 것으로, 촬상 소자(1102)의 촬상 면에 피사체의 초점을 맞춘다. 렌즈(1121)는, 1매의 렌즈로 한정되지 않고, 복수의 렌즈로 구성되어도 괜찮다. 또한, 도 11에서는, 렌즈(1121)가 조리개(1122)보다 피사체 측에만 배치된 실시 예를 도시하지만, 조리개(1122)와 메카니컬 셔터(1123) 사이에 렌즈(1121)의 일부를 배치하는 실시 예도 가능하다.

조리개(1122)는, 통과하는 빛의 양을 조정하기 위해서, 빛을 차단해, 입사광의 일부만을 통과시키는 구성이다. 구체적으로는, 조리개(1122)는, 빛을 통과시키는 구멍의 사이즈를 변화시켜, 통과하는 빛의 양을 조절할 수 있다.

메카니컬 셔터(1123)는, 촬영 시 노광 시간 중에만 열리고, 그 이외의 시간 동안은 빛을 차단하는 구성이다. 메카니컬 셔터(1123)는 셔터 릴리즈 신호에 따라 개방될 수 있다.

촬상 소자(1102)는, 입사한 빛을 전기신호로 변환하는 소자이다. 예를 들면, 촬상 소자(1102)는, CCD(Charge Coupled Device) 또는 CMOS(Complementary Metal-Oxide-Semiconductor)등의 이미지 센서를 포함할 수 있다. 촬상 소자(1102)는, 타이밍 제네레이터(1111)으로부터 출력된 구동 신호에 근거해 촬상을 실행한다. 또한, 촬상 소자(1102)는, 촬영 영상의 전기신호를 AFE 회로(1103)에 출력한다.

또한, 촬상 소자(1102)에는, 칼라 필터 어레이가 장착되어 색별(파장 영역별)로 빛을 전기신호로 변환한다. 예를 들면, 촬상 소자(1102)는, 복수의 소자가 이차원에 배열되고 있다. 그리고, 각각의 소자의 전면에, 각 색을 통과시켜, 다른 색을 차단하는 필터가 배치되어 있다.

AFE 회로(1103)은, 촬상 소자(1102)로부터의 전기신호를, 영상 신호 처리 회로(1104)및 영상 처리 회로(1107)에 적절한 디지털 신호로 변환하는 아날로그 프론트엔드(Analog Front End) 회로이다. 예를 들면, AFE 회로(1103)은, 촬상 소자(1102)로부터의 전기신호에 대해서 노이즈 저감을 실시하는 CDS(Correlated Double Sampling) 회로, 및 아날로그 신호를 디지털 신호로 변환하는 A/D(Analog/Digital) 변환 회로를 갖춘다. 또한 AFE 회로(1103)은, 소정의 신호 처리를 거쳐 생성된 디지털 영상 신호를 영상 신호 처리 회로(1104)에 출력한다.

영상 신호 처리 회로(1104)는, AFE 회로(1103)로부터 출력된 영상 신호에, 디모자이킹(Demosaic) 처리, 엣지 강조 처리, 화이트 밸런스(WB) 보정 처리, 감마 보정 처리 등을 수행한다. 또한, 영상 신호 처리 회로(1104)는, 처리 후의 영상 신호를 영상 표시부(1105) 및 영상 기록부(1106) 중 적어도 하나에 출력한다. 예를 들어, 영상 신호 처리 회로(1104)는, 영상 신호에 화이트 밸런스 게인을 곱셈하여, 오토 화이트 밸런스 보정 처리를 실시한다.

영상 표시부(1105)는, 촬상한 영상을 표시하는 구성이다. 예를 들면, 영상 표시부(1105)는, 액정 표시 디스플레이(LCD), OLED 디스플레이 등으로 구성될 수 있다.

영상 기록부(1106)은, 영상 데이터를 기록하는 메모리이다.

영상 통계 회로(1107)는, AFE 회로(1103)에 의해 디지털 신호로 변환된 영상 신호에 대해서, 촬상 영상 영역 또는 촬상 영상 영역의 일부의 영역의 통계치를 산출한다. 또한, 영상 통계 회로(1107)는, 통계치를 WB보정 계수 산출부(1108) 및 노출 보정 산출부(1109) 에 출력한다. 영상 통계 회로(1107)에서 출력되는 통계치는, 예를 들면 파장 영역별의 수광량이다.

WB보정 계수 산출부(1108)는, 통계치에 근거해 영상의 화이트 밸런스 보정 계수를 산출한다. 또한, WB보정 계수 산출부(1108)는, 화이트 밸런스 보정 계수를 영상 신호 처리 회로(1104)에 출력한다. 예를 들면, WB보정 계수 산출부(1108)는, 영상을 블록 분할해 각 블록의 R, G, B 값, 휘도 등의 정보를 기초로, 물체색 또는 광원색인지를 판정해 화이트 밸런스 게인을 산출한다.

물체색 또는 광원색인지 여부의 판정에는, 블록마다 색공간 변환을 수행해, 그 좌표 위치나 휘도 등에 기초하여, 대상 블록의 물체가 무엇인지(물체 종별) 클러스터링 하지만, 그 판정의 기준이 되는 최소의 물리량, 각 클래스로 분류된 블록을 어느 정도의 기여도로 평가할지를 나타내는 가중치 계수, 클래스마다 그 블록의 R, G, B 값으로부터 어떠한 컬러 밸런스가 되도록 처리할지를 결정하는 목표 R, G, B 값 등, 수많은 설계 파라미터가 필요하다.

이러한 설계 파라미터는, 형식이 다른 촬상 센서를 이용했을 경우에는 분광 감도가 다름으로 인해 같은 설정치가 되지 않기 때문에, 제품마다에 설계 파라미터를 튜닝 할 필요가 있다. 이 튜닝은 여러 가지 광원이나 피사체의 씬(장면)을 촬영해, 어떠한 결과가 되는지를 확인해 반복 튜닝을 실시한다.

이와 같은 반복 튜닝을 통해 설계 파라미터를 얻기 위해, 튜닝의 전문가가 며칠간을 걸려 튜닝 하지 않으면, 고화질의 화이트 밸런스의 결과를 얻을 수 없다고 하는 문제가 있었다. 예를 들면, 파라미터 항목의 개수가 상당히 많고(수백 항목), 각종 파라미터 간의 상관관계도 있기 때문에 수동으로 파라미터 값의 최적 치를 설정하는 것에 어려움이 있었다.

본 개시의 일 실시 예에 따르면, 전자 장치(100a)는 미리 준비한 학습 데이터(RAW 영상 및 정답의 화이트 밸런스 게인)를 기초로, 연산 장치 상에 구축한 자동조정 시스템을 이용하여, 설계 파라미터의 산출과 현상 시뮬레이션 정답 평가를 반복 실시함에 의해, 오토 화이트 밸런스 설계 파라미터를 자동으로 산출한다.

자동으로 오토 화이트밸런스 설계 파라미터를 조정하려면, 다양한 광원(맑은 하늘, 흐린 하늘, 어두운 곳, 형광등, LED, 전구 등) 아래에서, 여러 가지 씬의 촬영 영상을 기초로, 학습 데이터가 되는 영상을 준비한다. 이 때, 그 씬의 적절한 화이트 밸런스 게인을 용이하게 구할 수 있도록 그레이 스케일 차트를 영상의 일부에 배치해 RAW 데이터 촬영을 한다.

촬영이 완료되면, 영상으로부터 그레이 스케일 차트 내의 무채색 패치의 R, G, B 값을 취득해 정답이 되는 화이트 밸런스를 산출한다. 통상 화이트 밸런스를 맞추는 씬은, 컬러 밸런스가 R:G:B=1：1：1이 되도록, 화이트 밸런스 게인 Kr, Kg, Kb을 산출한다. 예를 들면, Kr, Kg, 및 Kb는, Mx=max(R, G, B), Kr=Mx/R, Kr=Mx/G, Kr=Mx/B로서 산출된다. 또한, 광원색이 남도록 정답이 되는 화이트 밸런스 게인을 설정하는 것도 가능하다.

본 개시의 일 실시 예에 따른 전자 장치(100a)는, 이 정답이 되는 컬러 밸런스의 타겟 좌표 범위에, 앞서 설명한 화이트 밸런스 평가 방법을 적용한다. 즉, 전자 장치(100a)는 촬영 영상의 광원 색 온도를 추정해, 촬영 영상의 컬러 밸런스가 도 5에 나타낸 광원의 색 온도에 대응하는 타겟 좌표 범위 내에 들어가도록 화이트 밸런스를 보정한다.

노출 보정 산출부(1109)는, 통계치에 근거해 노출 보정 정보(셔터 속도, 조리개, 감도)를 산출한다. 그리고, 노출 보정 산출부(1109)는, 노출 보정 정보를 디바이스 제어부(1110)에 출력한다.

디바이스 제어부(1110)는, 렌즈 광학계(1101) 및 촬상 소자(1102)의 제어를 실시하기 위해서, 타이밍 제네레이터(1111) 및 드라이버(1112)를 제어한다. 구체적으로는 디바이스 제어부(1110)은, 노출 보정 산출부(1109)가 산출한 셔터 속도, 조리개, 감도에 따라서 드라이버(1112)를 제어한다.

타이밍 제네레이터(1111)는, 촬상 소자(1102)를 구동하기 위한 타이밍 신호를 생성한다. 또한, 타이밍 제네레이터(1111)는, 생성된 타이밍 신호에 기초하여 촬상 소자(1102)에 구동 신호를 출력한다.

드라이버(1112)는, 디바이스 제어부(1110)의 지시에 따라 렌즈 광학계의 렌즈, 조리개, 및 셔터를 구동한다.

이와 같이 본 개시의 일 실시 예에 따른 전자 장치(100a)에 의하면, 색 좌표 공간에서 사람이 허용 하기 쉬운 색과 사람이 허용 하기 어려운 색을 구별해 허용 할 수 있는 범위인지 아닌지 판단하는 화이트 밸런스 평가에 근거하여, 영상의 화이트 밸런스를 보정할 수 있고, 촬영 영상을 촬영자의 취향에 맞은 색으로 조정할 수 있다.

또한, 본 개시의 일 실시 예에 따른 전자 장치(100a)에 의하면, 오토 화이트 밸런스 설계 파라미터 값의 자동 산출을 안정화시켜, 파라미터를 이용하는 촬영 장치의 화이트 밸런스 성능을 향상시킬 수 있는 효과가 있다.

또한, 본 개시의 일 실시 예에 따른 전자 장치(100a)에 의하면, 스마트폰 카메라의 화이트 밸런스 설계의 알고리즘 및 성능 평가에 앞서 설명된 화이트 밸런스 평가 방법을 사용하여, 스마트폰 카메라에 내장된 화이트 밸런스 보정 기능의 고정밀화를 실현할 수 있다.

본 개시에서 도 11의 각 블록들은 적어도 하나의 소프트웨어 처리 블록 또는 적어도 하나의 전용 하드웨어 프로세서, 및 이들의 조합에 대응될 수 있다. 본 개시에서 영상 신호 처리 회로(1104), 영상 통계 회로(1107), 디바이스 제어부(1110), 노출 보정 산출부(1109), 및 WB 보정 계수 산출부(1108)는 본 개시의 실시예들을 수행하기 위한 소프트웨어 처리 단위의 일례일 뿐이고, 본 개시에서 개시된 처리 단위 이외에도 다양한 방식으로 본 개시의 실시예들을 수행하는 처리 단위가 정의될 수 있다. 또한, 도 11의 각 블록은 하드웨어적으로 CPU(Central Processing Unit), 메모리, 그 외의 회로로 구성될 수 있고, 소프트웨어적으로는, 메모리에 로드 된 프로그램 등에 의해서 실현된다. 따라서 이러한 블록은 하드웨어 또는 소프트웨어 중 하나 또는 이들의 조합에 의해 여러 가지 형태로 실현될 수 있다.

도 12는 본 개시의 일 실시 예에 따른 전자 장치의 구성을 나타낸 도면이다.

전자 장치(100)는 다양한 형태로 구현될 수 있으며, 도 12는 본 개시의 일 실시 예에 따른 전자 장치(1200)의 구조를 나타낸다. 전자 장치(1200)는 프로세서(1210), 메모리(1220), 카메라(1230), 센서부(1240), 입/출력부(1250), 및 통신부(1260)를 포함한다. 도 1의 전자 장치(100)의 카메라(110)는 도 12의 전자 장치(1200)의 카메라(1230)에 대응하고, 도 1의 전자 장치(100)의 프로세서(120)는 전자 장치(1200)의 프로세서(1210)에 대응할 수 있다.

프로세서(1210)는 하나 이상의 프로세서를 포함할 수 있다. 프로세서(1210)는 중앙 제어부(1211), 영상 처리부(1212), AI 처리부(1213) 등의 전용 프로세서를 포함할 수 있다.

메모리(1220)는 휘발성 저장매체, 비휘발성 저장매체, 또는 이들의 조합을 포함할 수 있다. 또한, 메모리(1220)는 메인 메모리, 캐시 메모리, 레지스터, 비휘발성 메모리 등 다양한 종류의 메모리를 포함할 수 있다. 메모리(1220)는 다양한 형태의 저장매체로 구현될 수 있다. 예를 들면, 메모리(1220)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory), SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나 또는 이들의 조합을 포함할 수 있다.

센서부(1240)는 다양한 종류의 센서를 포함할 수 있다. 센서부(1240)는 예를 들면, 조도 센서(1241), 가속도 센서(1242), 자이로 센서(1243), 지문 센서(1244), 압력 센서(1245), 또는 바이오 센서(1246) 또는 이들의 조합을 포함할 수 있다. 센서부(1240)에서 검출된 신호는 프로세서(1210)로 입력되고, 프로세서(1210)는 센서부(1240)의 출력 신호에 기초하여, 디스플레이 밝기 조절, 카메라 밝기 조절, 움직임 검출, 장치 오리엔테이션 검출, 지문 인식, 생체 신호 검출 및 처리, 생체 인증 등의 처리를 수행할 수 있다.

입/출력부(1250)는 다양한 종류의 입출력 인터페이스를 포함할 수 있다. 입/출력부(1250)는 예를 들면, 디스플레이(1251), 터치스크린(1252), 터치패드(1253), 오디오 입출력부(1254), HDMI(1255), 또는 USB(1256) 또는 이들의 조합을 포함할 수 있다. 통신부(1240)는 다양한 종류의 통신 모듈을 포함할 수 있다. 입/출력부(1250)는 다양한 종류의 입출력 컴퍼넌트를 포함할 수 있다. 프로세서(1210)는 입/출력부(1250)로부터 입력된 신호에 기초하여, 제스처 인식, 음성 인식 등의 처리를 수행할 수 있다.

통신부(1260)는 근거리 통신부(1262), 이동 통신부(1264), 또는 방송 수신부(1266) 중 적어도 하나 또는 이들의 조합을 포함할 수 있다. 근거리 통신부(1262)는 블루투스, BLE(Bluetooth Low Energy), 근거리 무선 통신 (Near Field Communication), RFID(Radio Frequency Identification), WLAN(와이파이), 지그비(Zigbee), 적외선(IrDA, infrared Data Association) 통신, WFD(Wi-Fi Direct), UWB(ultra wideband), Ant+ 통신, 또는 이들의 조합에 의한 통신을 수행할 수 있다. 전자 장치(1200)는 통신부(1260)를 통해 다양한 종류의 외부 장치와 통신할 수 있다. 전자 장치(1200)는 예를 들면, 통신부(1260)를 통해 서버, 다른 모바일 장치, 웨어러블 장치, 다른 PC 등과 통신하여, 데이터 및 제어신호를 교환할 수 있다.

한편, 개시된 실시 예들은 컴퓨터로 읽을 수 있는 저장 매체(computer-readable storage media)에 저장된 명령어를 포함하는 S/W 프로그램으로 구현될 수 있다. 또한, 개시된 실시 예들은 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 저장 매체로 구현될 수 있다.

컴퓨터는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 개시된 실시 예에 따른 동작이 가능한 장치로서, 개시된 실시 예들에 따른 전자 장치를 포함할 수 있다.

컴퓨터로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

또한, 개시된 실시 예들에 따른 전자 장치 및 그 동작 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다.

컴퓨터 프로그램 제품은 S/W 프로그램, S/W 프로그램이 저장된 컴퓨터로 읽을 수 있는 저장 매체를 포함할 수 있다. 예를 들어, 컴퓨터 프로그램 제품은 전자 장치의 제조사 또는 전자 마켓(예, 구글 플레이 스토어, 앱 스토어)을 통해 전자적으로 배포되는 S/W 프로그램 형태의 상품(예, 다운로더블 앱)을 포함할 수 있다. 전자적 배포를 위하여, S/W 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사의 서버, 전자 마켓의 서버, 또는 SW 프로그램을 임시적으로 저장하는 중계 서버의 저장매체가 될 수 있다.

컴퓨터 프로그램 제품은, 서버 및 단말(예로, 전자 장치, 휴대용 전자 장치, 웨어러블 장치 등)로 구성되는 시스템에서, 서버의 저장매체 또는 단말의 저장매체를 포함할 수 있다. 또는, 서버 또는 단말과 통신 연결되는 제3 장치(예, 스마트폰)가 존재하는 경우, 컴퓨터 프로그램 제품은 제3 장치의 저장매체를 포함할 수 있다. 또는, 컴퓨터 프로그램 제품은 서버로부터 단말 또는 제3 장치로 전송되거나, 제3 장치로부터 단말로 전송되는 S/W 프로그램 자체를 포함할 수 있다.

이 경우, 서버, 단말 및 제3 장치 중 하나가 컴퓨터 프로그램 제품을 실행하여 개시된 실시 예들에 따른 방법을 수행할 수 있다. 또는, 서버, 단말 및 제3 장치 중 둘 이상이 컴퓨터 프로그램 제품을 실행하여 개시된 실시 예들에 따른 방법을 분산하여 실시할 수 있다.

예를 들면, 서버(예로, 클라우드 서버 또는 인공 지능 서버 등)가 서버에 저장된 컴퓨터 프로그램 제품을 실행하여, 서버와 통신 연결된 단말이 개시된 실시 예들에 따른 방법을 수행하도록 제어할 수 있다.

또 다른 예로, 제3 장치가 컴퓨터 프로그램 제품을 실행하여, 제3 장치와 통신 연결된 단말이 개시된 실시 예에 따른 방법을 수행하도록 제어할 수 있다. 구체적인 예로, 제3 장치는 전자 장치를 원격 제어하여, 전자 장치 동작 방법을 수행하도록 제어할 수 있다.

제3 장치가 컴퓨터 프로그램 제품을 실행하는 경우, 제3 장치는 서버로부터 컴퓨터 프로그램 제품을 다운로드하고, 다운로드된 컴퓨터 프로그램 제품을 실행할 수 있다. 또는, 제3 장치는 프리로드된 상태로 제공된 컴퓨터 프로그램 제품을 실행하여 개시된 실시 예들에 따른 방법을 수행할 수도 있다.

이상에서와 같이 첨부된 도면을 참조하여 개시된 실시예들을 설명하였다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고도, 개시된 실시 예들과 다른 형태로 본 발명이 실시될 수 있음을 이해할 것이다. 개시된 실시 예들은 예시적인 것이며, 한정적으로 해석되어서는 안 된다.

100, 100a, 1200 전자 장치
110 카메라
120 프로세서

Claims (20)

1. 입사 광을 광전 변환하여 전기적인 영상 신호를 생성하는 카메라; 및
   상기 영상 신호를 처리하는 적어도 하나의 프로세서를 포함하고, 상기 적어도 하나의 프로세서는,
   상기 영상 신호로부터 생성된 촬영 영상의 영상 데이터에 기초하여 광원 색 온도를 추정하고,
   상기 광원 색 온도에 기초하여 색 공간 상에서의 타겟 좌표를 결정하고,
   상기 촬영 영상에 기초하여 상기 색 공간 상에서의 캡쳐 좌표를 결정하고,
   상기 타겟 좌표에 기초하여 색차 허용 범위를 결정하고,
   상기 타겟 좌표와 상기 색차 허용 범위 사이의 거리와 상기 캡쳐 좌표와 상기 색차 허용 범위 사이의 거리에 기초하여 화이트 밸런스 평가 값을 산출하고,
   상기 화이트 밸런스 평가 값에 기초하여 상기 촬영 영상의 화이트 밸런스 보정을 수행하는 적어도 하나의 프로세서를 포함하는 전자 장치.
2. 제1항에 있어서,
   상기 색차 허용 범위는, 상기 색 공간 상에서 소정의 영역으로 정의되고,
   상기 타겟 좌표는, 상기 색차 허용 범위 내부에 있고,
   상기 적어도 하나의 프로세서는, 상기 타겟 좌표와 상기 캡쳐 좌표를 연결한 직선 상에서, 상기 타겟 좌표와 상기 색차 허용 범위 사이의 거리 및 상기 캡쳐 좌표와 상기 색차 허용 범위 사이의 거리를 정의하는, 전자 장치.
3. 제2항에 있어서,
   상기 적어도 하나의 프로세서는, 상기 타겟 좌표와 상기 색차 허용 범위 사이의 거리에 대한, 상기 캡쳐 좌표와 상기 색차 허용 범위 사이의 거리의 비율에 기초하여 상기 화이트 밸런스 평가 값을 결정하는, 전자 장치.
4. 제1항에 있어서,
   상기 적어도 하나의 프로세서는,
   상기 촬영 영상 내에서 상기 광원 색 온도 추정에 이용되는 참조 영역을 결정하고,
   상기 참조 영역의 영상 데이터에 기초하여, 상기 광원 색 온도 추정을 수행하는, 전자 장치.
5. 제4항에 있어서,
   상기 참조 영역은 미리 정의된 적어도 하나의 무채색 영역을 포함하는 무채색 패치에 대응하는 영역인, 전자 장치.
6. 제1항에 있어서,
   상기 색차 허용 범위는, 상기 색 공간 상에서 파랑 방향과 주황 방향의 직경이, 연녹 방향과 마젠타 방향의 직경보다 긴 형태로 정의되는, 전자 장치.
7. 제1항에 있어서,
   상기 색차 허용 범위는, 상기 광원 색 온도에 따라 다른 범위로 결정되는, 전자 장치.
8. 제1항에 있어서,
   상기 적어도 하나의 프로세서는, 상기 색차 허용 범위를 정의할 때, 상기 타겟 좌표를 기준으로, 주황 방향으로의 거리, 마젠타 방향으로의 거리, 파랑 방향으로의 거리, 및 연녹 방향으로의 거리를 정의하는, 전자 장치.
9. 제1항에 있어서,
   상기 색차 허용 범위는 촬영 영상의 화이트 밸런스에 대한 다수의 평가 점수를 반영하여 결정된, 전자 장치.
10. 제1항에 있어서,
    상기 색 공간은 CIE LAB 색 공간에 대응하고, 반사율에 대응하는 L* 축, 빨강 방향 및 초록 방향에 대응하는 a* 축, 및 노랑 방향 및 파랑 방향에 대응하는 b* 축을 포함하는, 전자 장치.
11. 제1항에 있어서,
    상기 적어도 하나의 프로세서는, 촬영 영상의 각 영역의 색이 물체색 또는 광원색인지 여부를 판단하고, 상기 물체색 또는 광원색인지 여부에 대한 판단 결과에 기초하여 화이트 밸런스 보정을 수행하는, 전자 장치.
12. 제1항에 있어서,
    상기 적어도 하나의 프로세서는,
    상기 촬영 영상을 복수의 블록으로 분할하고,
    상기 복수의 블록 각각에 대해,
    객체 종류를 결정하고,
    상기 결정된 객체 종류에 대응하는 적어도 하나의 클래스로 클러스터링하고,
    상기 화이트 밸런스 평가 값 및 해당 블록의 클래스에 기초하여, 화이트 밸런스 파라미터 값을 결정하는, 전자 장치.
13. 제1항에 있어서,
    상기 적어도 하나의 프로세서는, 상기 캡쳐 좌표가 상기 색차 허용 범위 내에 있는지 여부를 판단하고, 상기 캡쳐 좌표가 상기 색차 허용 범위 내에 있으면, 화이트 밸런스 평가 값을 0으로 판단하고, 상기 캡쳐 좌표가 상기 색차 허용 범위 밖에 있으면, 상기 타겟 좌표와 상기 색차 허용 범위 사이의 거리와 상기 캡쳐 좌표와 상기 색차 허용 범위 사이의 거리에 기초하여 화이트 밸런스 평가 값을 산출하는, 전자 장치.
14. 촬영 영상의 영상 데이터에 기초하여 광원 색 온도를 추정하는 단계;
    상기 광원 색 온도에 기초하여 색 공간 상에서의 타겟 좌표를 결정하는 단계;
    상기 촬영 영상에 기초하여 상기 색 공간 상에서의 캡쳐 좌표를 결정하는 단계;
    상기 타겟 좌표에 기초하여 색차 허용 범위를 결정하는 단계;
    상기 타겟 좌표와 상기 색차 허용 범위 사이의 거리와 상기 캡쳐 좌표와 상기 색차 허용 범위 사이의 거리에 기초하여 화이트 밸런스 평가 값을 산출하는 단계; 및
    상기 화이트 밸런스 평가 값에 기초하여 상기 촬영 영상의 화이트 밸런스 보정을 수행하는 단계를 포함하는 영상 처리 방법.
15. 제14항에 있어서,
    상기 색차 허용 범위는, 상기 색 공간 상에서 소정의 영역으로 정의되고,
    상기 타겟 좌표는, 상기 색차 허용 범위 내부에 있고,
    상기 영상 처리 방법은, 상기 타겟 좌표와 상기 캡쳐 좌표를 연결한 직선 상에서, 상기 타겟 좌표와 상기 색차 허용 범위 사이의 거리 및 상기 캡쳐 좌표와 상기 색차 허용 범위 사이의 거리를 정의하는 단계를 더 포함하는, 영상 처리 방법.
16. 제15항에 있어서,
    상기 화이트 밸런스 평가 값을 결정하는 단계는, 상기 타겟 좌표와 상기 색차 허용 범위 사이의 거리에 대한, 상기 캡쳐 좌표와 상기 색차 허용 범위 사이의 거리의 비율에 기초하여 상기 화이트 밸런스 평가 값을 결정하는 단계를 포함하는, 영상 처리 방법.
17. 제14항에 있어서,
    상기 광원 색 온도를 추정하는 단계는,
    상기 촬영 영상 내에서 상기 광원 색 온도 추정에 이용되는 참조 영역을 결정하는 단계; 및
    상기 참조 영역의 영상 데이터에 기초하여, 상기 광원 색 온도 추정하는 단계를 포함하는, 영상 처리 방법.
18. 제17항에 있어서,
    상기 참조 영역은 미리 정의된 적어도 하나의 무채색 영역을 포함하는 무채색 패치에 대응하는 영역인, 영상 처리 방법.
19. 제14항에 있어서,
    상기 색차 허용 범위는, 상기 색 공간 상에서 파랑 방향과 주황 방향의 직경이, 연녹 방향과 마젠타 방향의 직경보다 긴 형태로 정의되는, 영상 처리 방법.
20. 프로세서에 의해 수행되었을 때 영상 처리 방법을 수행하는 컴퓨터 프로그램을 저장하는 컴퓨터로 읽을 수 있는 저장 매체에 있어서, 상기 영상 처리 방법은,
    촬영 영상의 영상 데이터에 기초하여 광원 색 온도를 추정하는 단계;
    상기 광원 색 온도에 기초하여 색 공간 상에서의 타겟 좌표를 결정하는 단계;
    상기 촬영 영상에 기초하여 상기 색 공간 상에서의 캡쳐 좌표를 결정하는 단계;
    상기 타겟 좌표에 기초하여 색차 허용 범위를 결정하는 단계;
    상기 타겟 좌표와 상기 색차 허용 범위 사이의 거리와 상기 캡쳐 좌표와 상기 색차 허용 범위 사이의 거리에 기초하여 화이트 밸런스 평가 값을 산출하는 단계; 및
    상기 화이트 밸런스 평가 값에 기초하여 상기 촬영 영상의 화이트 밸런스 보정을 수행하는 단계를 포함하는 컴퓨터로 읽을 수 있는 저장 매체.

Images