KR101595888B1 - 촬영장치, 촬영장치의 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체 - Google Patents

Abstract

본 발명은 처리부하를 늘리지 않고 화이트 밸런스를 보정하는 화상 신호 처리가 가능한 촬영장치, 촬영장치의 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체를 위하여, 촬상소자에서 얻어진 화상 신호를 여러 개의 제1블럭으로 분할하는 제1분할 수단과, 상기 제1블럭을 M개의 제2블럭으로 더 분할하는 제2분할 수단과, 연산 대상인 제2블럭을 프레임마다 변화시키는 위치 변경 수단과, 상기 위치 변경 수단이 변화시킨 제2블럭에 대한 연산 처리를 프레임마다 실행하는 연산 수단과, 상기 연산 수단의 연산 결과를 사용하여 상기 화상 신호의 광원을 추정하는 광원 추정 수단을 구비하는 것을 특징으로 하는 촬영장치, 촬영장치의 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체를 제공한다.

Description

촬영장치, 촬영장치의 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체{Photographing apparatus, controlling method of photographing apparatus, and recording medium storing program to implement the controlling method}

본 발명은 촬영장치, 촬영장치의 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체에 관한 것으로서, 더 상세하게는 처리부하를 늘리지 않고 화이트 밸런스를 보정하는 화상 신호 처리가 가능한 촬영장치, 촬영장치의 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체에 관한 것이다.

디지털 스틸 카메라 등 피사체를 전자적으로 촬영하는 전자적 촬영장치에서는, 조명의 광원에 상관없이 흰 피사체가 하얗게 촬영되도록 화이트 밸런스를 보정하는 화상 신호 처리(화이트 밸런스 보정처리)가 일반적으로 내장되어 있다. 조명 광원에 의해 육안으로 관찰한 피사체상과 촬영된 화상의 사이에 색채상의 차이가 생길 수 있다. 화이트 밸런스 보정처리는 이러한 경우 특히 백색의 피사체가 하얗게 재현되도록 하기 위한 보정처리이다. 예를 들면, 일광 등의 자연광과 형광등 등 의 인공광에서는 두 광원의 색온도에 차이가 있고, 그 결과 촬영된 화상의 백색 재현성에 큰 영향을 미치게 된다. 따라서, 화이트 밸런스 보정처리를 실시함으로써 촬영장치에 의해 재현되는 화상에 위화감이 생기지 않도록 할 수 있다.

화이트 밸런스의 보정은, 촬상소자로부터 얻어진 화상 신호를 복수의 블록으로 분할하고, 분할한 블록마다 R(적색), G(녹색), B(청색) 등의 색별 적산값을 구하여 무채색으로 제어할지 유채색으로 처리할지 판단한다. 그리고, 무채색이라고 판단한 블록에서의 적산값이 R=G=B가 되도록 화이트 밸런스 제어를 하는 것이 일반적이다.

그런데, 분할한 블록에서 복수의 색이 존재함으로써 혼색이 발생하면, 올바르게 유채색·무채색을 판단할 수 없게 되어 버린다. 그래서, 블록을 미세하게 분할함으로써 혼색의 발생을 가능한 한 억제하여 화이트 밸런스 판단이 정상적으로 이루어지는 기술이 개시되어 있다. 예컨대 일본특허공개 2007-336107호, 일본특허공개 2007-228516호, 일본특허공개 2006-211440호, 일본특허공개 2005-12763호 등을 들 수 있다.

그러나 혼색의 발생을 억제하기 위해 화상 신호 처리의 대상이 되는 블록을 미세하게 분할하면, 그만큼 화이트 밸런스 제어 처리시간이 길어져 1프레임 내에 처리를 마칠 수 없다는 문제가 있었다. 특히, 촬상소자로부터 얻어지는 화상을 촬영장치에 구비된 모니터에 차례대로 표시하는 라이브 뷰 시에서는, 화이트 밸런스 게인의 산출시간이 늘어나면 실제로 눈으로 보고 있는 신과 모니터에 라이브 뷰로 표시되는 신에 시간차가 발생한다.

본 발명은 상기와 같은 문제점을 포함하여 여러 문제점들을 해결하기 위한 것으로서, 화상 신호 처리 대상이 되는 블럭을 혼색의 발생을 억제하기 위해 잘게 분할하더라도 처리 부하를 늘리지 않고 화이트 밸런스를 보정하는 화상 신호 처리가 가능한, 신규이면서 개량된 촬영장치, 촬영장치의 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체를 제공하는 것을 목적으로 한다.

본 발명은 촬상소자에서 얻어진 화상 신호를 여러 개의 제1블럭으로 분할하는 제1분할 수단과, 상기 제1블럭을 M개의 제2블럭으로 더 분할하는 제2분할 수단과, 연산 대상인 제2블럭을 프레임마다 변화시키는 위치 변경 수단과, 상기 위치 변경 수단이 변화시킨 제2블럭에 대한 연산 처리를 프레임마다 실행하는 연산 수단과, 상기 연산 수단의 연산 결과를 사용하여 상기 화상 신호의 광원을 추정하는 광원 추정 수단을 구비하는 것을 특징으로 하는 촬영 장치를 제공한다.

이러한 구성에 의하면, 제1분할 수단은 촬상소자에서 얻어진 화상 신호를 여러 개의 제1블럭으로 분할하고, 제2분할 수단은 제1블럭을 M개의 제2블럭으로 더 분할한다. 그리고 위치 변경 수단은 연산 대상인 제2블럭을 프레임마다 변화시키고 연산 수단은 위치 변경 수단이 변화시킨 제2블럭에 대한 연산 처리를 프레임마다 실행하며, 광원 추정 수단은 연산 수단의 연산 결과를 사용하여 화상 신호의 광원을 추정한다. 그 결과 화상 신호 처리 대상이 되는 블럭을 혼색의 발생을 억제하기 위해 제2블럭으로서 잘게 분할하더라도 처리 부하를 늘리지 않고 화상 신호 처리가 가능해진다.

이러한 본 발명의 다른 특징에 의하면, 적어도 M프레임 동안의 상기 광원 추정 수단의 광원 추정 결과를 기억하는 기억 수단과, 상기 기억 수단이 기억한 직근(直近) M프레임 동안의 광원 추정 결과를 사용하여 화이트 밸런스를 보정하는 게인을 산출하는 게인 산출 수단을 더 구비하는 것으로 할 수 있다.

본 발명의 또 다른 특징에 의하면, 상기 게인 산출 수단은, 상기 기억 수단이 기억한 직근 M프레임 동안의 광원 추정 결과를 가중 평균하여 상기 게인을 산출하는 것일 수 있다.

본 발명의 또 다른 특징에 의하면, 적어도 M프레임 동안의 상기 연산 수단의 연산 결과를 기억하는 기억 수단을 더 구비하고, 상기 광원 추정 수단은 상기 기억 수단에 기억된 직근 M프레임 동안의 연산 결과를 사용하여 상기 화상 신호의 광원을 추정하는 것일 수 있다.

본 발명은 또한, 촬상소자에서 얻어진 화상 신호를 여러 개의 제1블럭으로 분할하는 제1분할 단계와, 상기 제1블럭을 M개의 제2블럭으로 더 분할하는 제2분할 단계와, 연산 대상인 제2블럭을 프레임마다 변화시키는 위치 변경 단계와, 상기 위치 변경 단계에서 변화시킨 제2블럭에 대해 연산 처리를 프레임마다 실행하는 연산 단계와, 상기 연산 단계의 연산 결과를 사용하여 상기 화상 신호의 광원을 추정하는 광원 추정 단계를 포함하는 것을 특징으로 하는 촬영 장치 제어방법을 제공한다.

본 발명은 또한, 상기와 같은 제어방법을 실행하기 위한 프로그램을 저장한 기록매체를 제공한다.

상기한 바와 같이 이루어진 본 발명의 촬영장치, 촬영장치의 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체에 따르면, 화상 신호 처리 대상이 되는 블럭을 혼색의 발생을 억제하기 위해 잘게 분할하더라도 처리 부하를 늘리지 않고 화이트 밸런스를 보정하는 화상 신호 처리가 가능한 신규 및 개량된 촬영장치, 촬영장치의 제어방법 및 제어방법을 실행시키기 위한 프로그램을 저장한 기록매체를 제공할 수 있다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명하면 다음과 같다. 본 명세서 및 도면에서 실질적으로 동일한 기능구성을 가지는 구성요소에 대해서는 동일한 부호를 부여함으로써 중복 설명을 생략한다.

우선 본 발명의 바람직한 실시형태에 대해서 설명하기 전에 종래 기술의 문제점에 대해서 도면을 참조하여 설명하기로 한다.

도 7은 화이트 밸런스 보정 처리에서의 블럭 분할에 대해서 설명하는 설명도이다. 화이트 밸런스 보정 처리는, 도 7에 도시한 바와 같이 CCD나 CMOS 등의 촬상소자에서 취출된 화상 신호를 여러 개의 블럭으로 분할하고 분할한 각각의 블럭에 대해 R, G, B 각 색의 화소의 적산값(ΣR,ΣG,ΣB)을 산출한다. 이 R, G, B 각 색의 화소의 적산값(ΣR,ΣG,ΣB)을 산출하면 블럭마다 해당 블럭을 무채색으로서 제 어할지 또는 유채색으로서 처리할지 등을 판단하여 적절한 화이트 밸런스 게인(Kr, Kg, Kb)을 산출하는 방법이 일반적이다.

여기에서 분할한 블럭 안에 여러 개의 색이 혼재되는 경우에는 혼색이 발생하여 화이트 밸런스 보정 처리를 올바르게 판단할 수 없게 된다. 또 분할되는 블럭의 면적을 크게 하면 혼색이 발생하는 빈도가 높아진다.

도 8은 화이트 밸런스 보정 처리 대상이 되는 CCD나 CMOS 등의 촬상소자에서 취출된 화상 신호로부터 얻어지는 화상의 일례를 도시한 설명도이고, 도 9는 도 8에 도시한 화상을 얻을 수 있는 화상 신호를 "가로 4블럭"×"세로 3블럭"으로 분할한 경우를 도시한 설명도고, 도 10은 도 8에 도시한 화상을 얻을 수 있는 화상 신호를 "가로 12블럭"×"세로 9블럭"으로 분할한 경우를 도시한 설명도이다. 통상의 화이트 밸런스 보정 처리에서는 화상중의 빨간 꽃잎 부분 및 녹색 잎 부분은 광원으로는 간주되지 않고 유채색으로 판단된다. 그러나 각 블럭에서의 적산 처리 시에 블럭 안에 적색과 녹색이 혼재되어 있으면 혼색이 발생하여(적색과 녹색이 섞여) 황색 피사체로 오판된다. 이 황색 피사체가 텅스텐광 등의 광원과 같은 컬러 밸런스인 경우 광원색(무채색)으로 판단되어, 화이트 밸런스를 잘못 판단하게 된다. 그래서 혼색의 발생 빈도를 줄이기 위해 블럭 수를 늘려 블럭의 면적을 줄인다.

도 11은 화상 신호를 "가로 4블럭"×"세로 3블럭"으로 분할한 경우에 혼색에 의해 노란 피사체라고 잘못 판단된 블럭의 배치를 도시한 설명도이고, 도 12는, 화상 신호를 "가로 12블럭"×"세로 9블럭"으로 분할한 경우에 혼색에 의해 노란 피사체라고 잘못 판단된 블럭의 배치를 도시한 설명도이다.

도 11 및 도 12에 도시한 경우에서는 4×3으로 분할한 경우에는 83%의 블럭이 노란 피사체라고 오판된 데 반해 12×9로 분할한 경우에는 28%가 노란 피사체라고 오판되었다. 이와 같이 블럭의 수를 늘려 1블럭 당 면적을 줄임으로써 혼색의 발생 빈도를 억제할 수 있다.

그러나 블럭의 수를 늘리면 한 번에 처리해야 하는 데이터수가 늘어나고 화이트 밸런스 게인을 산출할 때까지의 처리 시간이 늘어나 1프레임 안에 처리를 마칠 수 없게 된다는 문제가 있었다. 특히 (실시간 동영상이라고 할 수 있는) 촬상소자로부터 얻어지는 화상을 촬영장치에 구비된 모니터에 차례대로 표시하는 라이브뷰 시에는 화이트 밸런스 게인의 산출 시간이 늘어나면 실제로 눈으로 보는 씬과 모니터에 라이브뷰 표시되어 있는 씬에 시간차가 생긴다.

그래서 이하에서 설명하는 본 발명의 바람직한 실시예에서는 혼색의 발생 빈도를 억제하기 위해 블럭의 면적을 줄이면서도 처리 시간의 증대를 억제할 수 있도록 한다.

우선 본 발명의 일 실시예에 따른 촬영장치의 구성에 대해서 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른 촬영장치(100)의 구성에 대해서 도시한 설명도이다. 이하, 도 1을 사용하여 본 발명의 일 실시예에 따른 촬영장치(100)의 구성에 대해서 설명하기로 한다.

도 1에 도시한 바와 같이 본 발명의 일 실시예에 따른 촬영장치(100)는 줌렌즈(102)와, 조리개(104)와, 초점 렌즈(106)와, CCD(Charge Coupled Devices) 소자(108)와, 앰프 일체형 CDS(Correlated Double Sampling) 회로(110)와, A/D 변환 기(112)와, 화상 입력 컨트롤러(114)와, 화상 신호 처리부(116)와, 압축 처리부(120)와, LCD(Liquid Crystal Display) 드라이버(122)와, LCD(124)와, 타이밍 제너레이터(126)와, 모터 드라이버(142a),(142b),(142c)와, CPU(Central Processing Unit)(128)와, 조작부(132)와, 메모리(134)와, VRAM(Video Random Access Memory)(136)과, 미디어 컨트롤러(138)와, 기록 미디어(140)를 포함한다.

줌렌즈(102)와, 조리개(104)와, 초점 렌즈(106)와, CCD소자(108)로 노광부를 구성한다. 본 실시예에서는 CCD소자(108)를 사용하여 노광부를 구성하였는데, 본 발명은 상기 예로 한정되지 않으며 CCD소자 대신에 CMOS(Complementary Metal Oxide Semiconductor)소자를 사용해도 좋다. CMOS소자는 CCD소자보다도 고속으로 피사체의 영상광을 전기 신호로 변환할 수 있기 때문에 피사체를 촬영하고 나서 화상을 기록하기까지의 시간을 단축할 수 있다.

줌렌즈(102)는 광축 방향으로 이동함으로써 초점 거리가 연속적으로 변화되는 렌즈로서, 피사체의 크기를 변화시켜 촬영한다. 조리개(104)는 화상을 촬영할 때에 CCD소자(108)에 들어오는 광량을 조절한다. 초점 렌즈(106)는 광축 방향으로 이동함으로써 피사체의 핀트를 조절한다.

모터 드라이버(142a, 142b, 142c)는 줌렌즈(102), 조리개(104) 및 초점 렌즈(106)를 동작시키는 모터를 제어한다. 모터 드라이버(142a, 142b, 142c)를 통해 줌렌즈(102), 조리개(104) 및 초점 렌즈(106)를 동작시킴으로써 피사체의 크기나 광량, 핀트를 조절한다.

CCD소자(108)는 줌렌즈(102), 조리개(104) 및 초점 렌즈(106)에서 입사된 광 을 전기 신호로 변환하기 위한 소자이다. 본 실시예에서는 전자 셔터에 의해 입사광을 제어하여 전기 신호를 취출하는 시간을 조절하였으나, 미캐니컬 셔터를 사용하여 입사광을 제어하여 전기 신호를 취출하는 시간을 조절해도 좋다.

CDS회로(110)는 CCD소자(108)에서 출력된 전기 신호의 잡음을 제거하는 샘플링 회로의 일종인 CDS회로와, 잡음을 제거한 후에 전기 신호를 증폭하는 앰프가 일체가 된 회로이다. 본 실시예에서는 CDS회로와 앰프가 일체가 된 회로를 사용하여 촬영장치(100)를 구성하였으나, CDS회로와 앰프를 별개의 회로로 구성해도 좋다.

A/D 변환기(112)는 CCD소자(108)에 생성된 전기 신호를 디지털 신호로 변환하여 화상의 생(生) 데이터를 생성한다.

화상 신호 처리부(116)는 A/D 변환기(112)에서 생성된 화상의 생 데이터에 대한 각종 신호 처리를 한다.

압축 처리부(120)는 화상 신호 처리부(116)에서 신호 처리된 데이터를 적절한 형식의 화상 데이터로 압축하는 압축 처리를 한다. 화상의 압축 형식은 가역 형식이어도 좋고 비가역 형식이어도 좋다. 적절한 형식의 예로서 JPEG(Joint Photographic Experts Group)형식이나 JPEG2000형식으로 변환해도 좋다.

LCD(124)는 촬영 조작을 하기 전의 라이브 뷰 표시나 촬영장치(100)의 각종 설정 화면이나 촬영한 화상을 표시한다. 화상 데이터나 촬영장치(100)의 각종 정보를 LCD(124)에 표시하는 것은 LCD 드라이버(122)를 통해 이루어진다.

타이밍 제너레이터(126)는 CCD소자(108)에 타이밍 신호를 입력한다. 타이밍 제너레이터(126)로부터의 타이밍 신호에 의해 셔터 속도가 결정된다. 즉, 타이밍 제너레이터(126)로부터의 타이밍 신호에 의해 CCD소자(108)의 구동이 제어되고 CCD소자(108)가 구동하는 시간 내에 피사체로부터의 영상광을 입사함으로써 화상 데이터의 기초가 되는 전기 신호가 생성된다.

CPU(128)는 CCD소자(108)나 CDS회로(110) 등에 대해 신호계의 명령을 하거나 조작부(132)의 조작에 대한 조작계의 명령을 한다. 본 실시예에서는 CPU를 하나만 포함하고 있는데, 본 발명에서는 신호계의 명령과 조작계의 명령을 각각 CPU나 DSP(Digital Signal Processor)에서 수행하도록 해도 좋다.

조작부(132)는 촬영 모드 선택부로서의 기능을 포함하여 촬영장치(100)를 조작하거나 촬영 시 각종 설정을 하기 위한 부재가 배치되어 있다. 조작부(132)에 배치되는 부재에는 전원 버튼, 촬영 모드나 촬영 드라이브 모드의 선택 및 효과 파라미터를 설정하는 십자키 및 선택 버튼, 촬영 조작을 개시하는 셔터 버튼 등이 배치된다.

메모리(134)는 촬영한 화상이나 화상 신호 처리부(116)에서 신호 처리된 화상을 (일시적으로) 기억한다. 메모리(134)는 여러 개의 화상을 기억할 수 있는 만큼의 기억 용량을 가지고 있다. 메모리(134)에 화상을 읽고 쓰는 것은 화상 입력 컨트롤러(114)에 의해 제어된다.

VRAM(136)은 LCD(124)에 표시하는 내용을 유지하는 것으로서 LCD(124)의 해상도나 최대 발색수는 VRAM(136)의 용량에 의존한다.

기록 미디어(140)는 촬영한 화상을 기록한다. 기록 미디어(140)로의 입출력은 미디어 컨트롤러(138)에 의해 제어된다. 기록 미디어(140)에는 프록시 메모리에 데이터를 기록하는 카드형 기억 장치인 메모리 카드를 사용할 수 있다.

이상 도 1을 사용하여 본 발명의 일 실시예에 따른 촬영장치(100)의 구성에 대해서 설명하였다. 다음으로 본 발명의 일 실시예에 따른 촬영장치(100)에 포함된 화상 신호 처리부(116)의 구성에 대해서 설명하기로 한다.

도 2는 본 발명의 일 실시예에 따른 촬영장치(100)에 포함된 화상 신호 처리부(116)의 구성에 대해서 설명하는 설명도이다. 이하, 도 2를 사용하여 본 발명의 일 실시예에 따른 촬영장치(100)에 포함된 화상 신호 처리부(116)의 구성에 대해서 설명하기로 한다.

도 2에 도시한 바와 같이, 본 발명의 일 실시예에 따른 화상 신호 처리부(116)는 이미지 프론트 프로세스 처리부(152)와, 화상 평가부(154)와, 화이트 밸런스 게인 산출부(156)와, 화이트 밸런스 보정부(158)와, 디모자이크(de-mosaic) 처리부(160)와, 색보정 처리부(162)와, 감마 보정 처리부(164)를 포함한다.

이미지 프론트 프로세스 처리부(152)는 CCD소자(108)에서 광전 변환되고 A/D 변환기에서 디지털 신호로 변환된 화상 신호에 대해 결함 화소 보정이나 블랙 레벨 보정 등의 이미지 프론트 프로세스 처리를 실행한다. 이미지 프론트 프로세스 처리부(152)에서 이미지 프론트 프로세스 처리된 화상 신호는 화상 평가부(154) 및 화이트 밸런스 보정부(158)에 보내진다.

화상 평가부(154)는 이미지 프론트 프로세스 처리부(152)에서 이미지 프론트 프로세스 처리된 화상 신호에 대해 화이트 밸런스 게인 산출부(156)에서 화이트 밸런스를 보정하기 위한 화이트 밸런스 게인을 산출하기 위해 화상 평가 처리를 실행 한다. 화상 평가부(154)에서는 이미지 프론트 프로세스 처리된 화상 신호를 여러 개의 블럭으로 분할하고, 분할한 각각의 블럭에 대해 RGB 화소의 적산값(ΣR,ΣG,ΣB)을 구하거나 RGB 화소의 적산값에 기초하여 광원을 추정한다. 화상 평가부(154)의 구성에 대해서는 후술한다. 화상 평가부(154)에서의 화상 평가 처리 결과는 화이트 밸런스 게인 산출부(156)에 보내진다.

화이트 밸런스 게인 산출부(156)는 화상 평가부(154)에서의 화상 평가 처리 결과에 기초하여 화이트 밸런스 게인(Kr, Kg, Kb)을 산출한다. 화이트 밸런스 게인 산출부(156)에서 산출된 화이트 밸런스 게인은 화이트 밸런스 보정부(158)에 보내진다.

화이트 밸런스 보정부(158)는 이미지 프론트 프로세스 처리부(152)에서 이미지 프론트 프로세스 처리된 화상 신호에 대해 화이트 밸런스 게인 산출부(156)에서 산출된 화이트 밸런스 게인을 곱한다. 화이트 밸런스 보정부(158)에서 화상 신호에 화이트 밸런스 게인을 곱함으로써 화상 신호에 대한 화이트 밸런스 보정 처리를 실행할 수 있다. 화이트 밸런스 보정 처리된 화상 신호는 디모자이크 처리부(160)에 보내진다.

디모자이크 처리부(160)는 화이트 밸런스 보정 처리된 화상 신호에 대해 색보완 처리(디모자이크 처리)를 한다. 화이트 밸런스 보정 처리된 화상 신호에 대해 디모자이크 처리부(160)에서 디모자이크 처리를 함으로써 컬러 화상을 생성할 수 있지만, 디모자이크 처리의 상세에 대해서는 본 발명과는 직접 관계가 없기 때문에 상세한 설명은 생략한다. 디모자이크 처리된 화상 신호는 색보정 처리부(162)에 보 내진다.

색보정 처리부(162)는 디모자이크 처리부(160)에서 보완 처리(디모자이크 처리)된 화상 신호에 대해 색보정 처리를 실시한다. 색보정 처리부(162)에서 색보정 처리를 함으로써 적절한 컬러 화상을 생성할 수 있지만, 색보정 처리의 상세에 대해서는 본 발명과는 직접 관계가 없기 때문에 상세한 설명은 생략한다. 색보정 처리된 화상 신호는 감마 보정 처리부(164)에 보내진다.

감마 보정 처리부(164)는 색보정 처리부(162)에서 색보정 처리된 화상 신호에 대해 감마 보정 처리를 실시한다. 감마 보정 처리의 상세에 대해서는 본 발명과는 직접 관계가 없기 때문에 상세한 설명은 생략한다. 감마 보정 처리된 화상 신호는 압축 처리부(120)에 보내져 압축 처리되거나 기록 미디어(140)에 기록되거나 LCD(124)에 표시된다.

이상 본 발명의 일 실시예에 따른 화상 신호 처리부(116)의 구성에 대해서 설명하였다. 다음으로 본 발명의 일 실시예에 따른 화상 신호 처리부(116)에 포함된 화상 평가부(154)의 구성에 대해서 설명하기로 한다.

도 3은 본 발명의 일 실시예에 따른 화상 신호 처리부(116)에 포함된 화상 평가부(154)의 구성에 대해서 설명하는 설명도이다. 이하, 도 3을 사용하여 본 발명의 일 실시예에 따른 화상 신호 처리부(116)에 포함된 화상 평가부(154)에 대해서 설명한다.

도 3에 도시한 바와 같이 본 발명의 일 실시예에 따른 화상 평가부(154)는, 제1블럭 분할부(172)와, 제2블럭 분할부(174)와, 블럭 위치 변경부(176)와, 적산 처리부(178)와, 기억부(180)와, 광원 추정부(182)를 포함한다.

제1블럭 분할부(172)는 화상 평가부(154)에 보내지는 화상 신호를 소정 사이즈의 블럭(대(大)블럭)으로 분할한다. 제1블럭 분할부(172)는 화상 신호를 예를 들어 전술한 바와 같이 "가로 4블럭"×"세로 3블럭"으로 분할해도 좋고 "가로 12블럭"×"세로 9블럭"으로 분할해도 좋다. 물론 분할 수는 이들 예에 한정되지 않는다. 또 분할할 때의 대블럭의 형상은 정사각형이어도 좋고 직사각형이어도 좋고 다른 형상이어도 좋다.

제2블럭 분할부(174)는 제1블럭 분할부(172)가 분할한 각 대블럭을 소정 사이즈의 블럭(소블럭)으로 더 분할한다. 예를 들면 제1블럭 분할부(172)에서 화상 신호를 "가로 4블럭"×"세로 3블럭"의 대블럭으로 분할하고 또 각각의 대블럭에 대해 제2블럭 분할부(174)에서 "가로 3블럭"×"세로 3블럭"의 소블럭으로 분할한다. 물론 분할 수는 상기 예에 한정되지 않는다. 또 분할할 때의 소블럭의 형상은 정사각형이어도 좋고 직사각형이어도 좋고 다른 형상이어도 좋다. 이하의 설명에서는 편의상 하나의 대블럭을 "가로 3블럭"×"세로 3블럭"의 9개의 소블럭으로 분할한 경우에 대해 설명한다.

도 4는 제2블럭 분할부(174)에서 하나의 대블럭을 "가로 3블럭"×"세로 3블럭"의 소블럭으로 분할한 경우에 대해서 도시한 설명도이다. 도 4에서는 설명의 편의상 소블럭에 A∼I의 알파벳을 붙여 도시하였다.

블럭 위치 변경부(176)는 후술하는 적산 처리부(178)의 처리 대상이 되는 소블럭을 프레임마다 변경하는 것이다. 예를 들면, 제2블럭 분할부(174)에서 하나의 대블럭을 도 4와 같이 "가로 3블럭"×"세로 3블럭"의 9개의 소블럭으로 분할하였다면, 블럭 위치 변경부(176)는 프레임마다 A∼I의 소블럭에서 하나의 소블럭을 순환식으로 선택한다.

도 5는 블럭 위치 변경부(176)에서의 블럭 위치의 변경 처리를 설명하는 개념도이다. 도 5에서는 제2블럭 분할부(174)에서 분할한 A∼I의 소블럭에서 처리 대상 소블럭을 프레임마다 변화시킨 예를 도시하였다. 도 5에서는 소블럭을 A→E→G→C→H→F→B→D→I→A→…의 순서대로 변화시키는 경우에 대해서 도시하였다. 물론 순번은 도 5에 도시한 것에 한정되지 않는다. 또, 본 실시예에서는 블럭 위치 변경부(176)는 소프레임을 순환식으로 변화시켰는데, 본 발명에서는 적산 처리부(178)의 처리 대상이 되는 소블럭을 랜덤으로 변경해도 좋다.

적산 처리부(178)는 블럭 위치 변경부(176)에 의해 지정된 소블럭에 포함되어 있는 R, G, B 각각의 색의 화소에 대해 화이트 밸런스 게인을 구하기 위한 RGB화소의 적산값(ΣR, ΣG, ΣB)을 구한다. RGB화소의 적산값(ΣR, ΣG, ΣB)을 구함으로써 해당 소블럭에서의 채색을 판정할 수 있다. 적산 처리부(178)에서 구해진 RGB화소의 적산값(ΣR, ΣG, ΣB)이나 해당 소블럭에서의 채색 판정 결과는 기억부(180)에 일시적으로 기억해도 좋다. 그리고 적산 처리부(178)에서 구해진 RGB화소의 적산값(ΣR, ΣG, ΣB)은 광원 추정부(182)에 보내져 광원 추정부(182)에서의 광원 추정 처리에 사용된다.

광원 추정부(182)는 적산 처리부(178)에서 구해진 RGB화소의 적산값(ΣR, ΣG, ΣB)을 사용하여 광원을 추정하는 광원 추정 처리를 실행한다. 광원 추정 부(182)에서의 광원 추정 처리 결과는 기억부(180)에 일시적으로 기억해도 좋다. 광원 추정부(182)에서의 광원 추정 처리 결과는 화이트 밸런스 게인 산출부(156)에 보내져 화이트 밸런스 게인의 산출에 사용된다.

본 실시예에서는 광원 추정부(182)를 화상 평가부(154)에 포함시킨 구성에 대해서 설명하였으나 본 발명이 상기 예에 한정되지 않음은 물론이다. 예를 들면 광원 추정부(182)의 기능을 화이트 밸런스 게인 산출부(156)에 포함시켜도 좋다.

이상 본 발명의 일 실시예에 따른 화상 신호 처리부(116)에 포함된 화상 평가부(154)의 구성에 대해서 설명하였다. 다음으로 본 발명의 일 실시예에 따른 화상 처리 방법(촬영장치 제어방법)에 대해서 설명하기로 한다.

도 6은 본 발명의 일 실시예에 따른 화상 처리 방법(촬영장치 제어방법)을 개략적으로 도시하는 흐름도이다. 도 6은 촬영장치(100)가 CCD소자(108)에서 얻은 화상 신호를 LCD(124)에 라이브뷰 표시하는 경우에 대해서 도시한 것이다. 이하, 도 6을 사용하여 본 발명의 일 실시예에 따른 화상 처리 방법에 대해서 설명한다.

우선 블럭 위치 변경부(176)에서 화이트 밸런스의 평가 대상이 되는 소블럭을 선택한다(단계S102). 전술한 바와 같이 블럭 위치 변경부(176)가 선택하는 화이트 밸런스의 평가 대상이 되는 소블럭은 매 프레임마다 변할 수 있다.

상기 단계S102에서 블럭 위치 변경부(176)가 화이트 밸런스의 평가 대상이 되는 소블럭을 선택하면, 해당 소블럭에서의 RGB화소의 적산값(ΣR, ΣG, ΣB)을 적산 처리부(178)에서 산출한다(단계S104). 단계S104에서 RGB화소의 적산값(ΣR, ΣG, ΣB)을 적산 처리부(178)에서 산출한 후 광원 추정부(182)에서 RGB화소의 적 산값(ΣR, ΣG, ΣB)을 사용하여 해당 소블럭의 채색을 판정한다(단계S106).

상기 단계S106에서 RGB화소의 적산값(ΣR, ΣG, ΣB)을 사용하여 해당 소블럭의 채색을 광원 추정부(182)에서 판정하고, 이어서 해당 소블럭의 채색 판정 결과를 사용하여 해당 소블럭의 광원을 광원 추정부(182)에서 추정해 해당 소블럭이 유채색인지 무채색인지를 판단한다(단계S108). 유채색인지 무채색인지의 정보는 2값이어도 좋고 3단계 이상의 값이어도 좋다. 그리고 단계S108에서 해당 소블럭의 광원을 광원 추정부(182)에서 추정하면 추정 결과를 기억부(180)에 기억한다(단계S110).

상기 단계S110에서 광원의 추정 결과가 기억부(180)에 기억되면 기억부(180)에 기억된 추정 결과를 사용하여 화이트 밸런스 게인을 산출한다. 우선 화이트 밸런스 게인 산출부(156)는 기억부(180)에 기억된 직근의 프레임에서의 추정 결과를 독출한다(단계S112). 본 실시예에서는 하나의 대블럭을 9개의 소블럭으로 분할한 경우에 대해 설명하고 있기 때문에 단계S112에서는 화이트 밸런스 게인 산출부(16)는 직근 9프레임분의 추정 결과를 기억부(180)에서 독출한다.

상기 단계S112에서 기억부(180)에 기억된 직근의 프레임에서의 추정 결과를 독출하면 화이트 밸런스 게인 산출부(156)는 독출한 추정 결과를 가중 평균한다(단계S114). 여기에서는 가중 평균의 일례를 설명하기로 한다. 평가 프레임을 f, 각 프레임에서 무채색으로서 취급하는 블럭의 수를 n, 무채색으로서 취급하는 블럭의 RGB 적산값을 r, g, b로 하면 9프레임분의 컬러 밸런스(Cr, Cg, Cb)는 이하의 수식 1에서 구할 수 있다.

상기 수학식 1과 같이 9프레임분의 컬러 밸런스(Cr, Cg, Cb)를 구하면 계속해서 화이트 밸런스 게인 산출부(156)는 구한 컬러 밸런스(Cr, Cg, Cb)를 사용하여 화상 신호에 대한 화이트 밸런스 게인을 산출한다(단계S116). 화이트 밸런스 게인(Kr, Kg, Kb)은 이하의 수식 2에서 구할 수 있다.

상기 수학식 2는 컬러 밸런스(Cr, Cg, Cb) 중에서 Cg의 값이 가장 큰 경우의 산출식으로서, 다른 색의 값이 큰 경우에는 그 색의 화이트 밸런스 게인이 1이 되도록 상기 수학식을 적절히 변경한다.

상기 단계S116에서 화이트 밸런스 게인을 산출하면 상기 단계S102로 되돌아가 블럭 위치 변경부(176)에서 화이트 밸런스의 평가 대상이 되는 소블럭을 선택한다.

이와 같이 여러 개의 프레임에 걸쳐 위치가 다른 블럭에 대한 신호 처리를 실행함으로써 1프레임 당 처리 부하를 증가시키지 않으면서도 더욱 작은 블럭 분할이 가능해져 혼색 발생을 억제할 수 있다.

상술한 화이트 밸런스 게인의 산출 방법은, 본 발명의 화상 처리 방법(촬영장치 제어방법)의 일례로서, 본 발명에서는 상기 예로 한정되지 않는다는 것은 말할 것도 없다. 예를 들면 상기 단계S108에서의 판정 처리 결과, 유채색으로 판정된 소블럭에는 사전에 구해 놓은 기준의 게인을 적용하는 처리를 실행해도 좋다. 또 예를 들면, 상기 수학식 1에서는 단순하게 9프레임분의 RGB 적산값을 가산하여 평균을 취하는 가중 평균에 의해 컬러 밸런스(Cr, Cg, Cb)를 구했으나, 본 발명은 상기 예로 한정되지 않으며, 예를 들면 과거의 프레임은 값이 작고 직근의 프레임이 됨에 따라 값이 커지는 웨이트를 RGB 적산값에 곱하여 웨이트 부가 가중 평균에 의해 컬러 밸런스(Cr, Cg, Cb)를 구해도 좋다. 이 경우, 무게는 2차함수적으로 커지는 것이어도 좋다.

이상 설명한 바와 같이 본 발명의 일 실시예에 의하면, 화이트 밸런스를 보정하기 위해 화상 신호를 여러 개의 대블럭으로 분할하고, 대블럭을 여러 개의 소블럭으로 더 분할한다. 그리고 분할한 소블럭 각각에 대해 광원을 추정하는데, 그 때에는 1프레임씩 처리 대상의 소블럭을 변화시킨다. 그리고 하나의 대블럭에 포함 되는 모든 소블럭에 대한 광원 추정 결과를 사용하여 화이트 밸런스 게인을 산출한다. 이와 같이 화이트 밸런스 게인을 산출함으로써 블럭을 소형화함에 따른 혼색의 발생 빈도 저감과 처리 부하의 증대 방지라는 2가지 효과를 나타낼 수 있다.

또 전술한 촬영장치(100)의 동작은 촬영장치(100)의 내부에 컴퓨터 프로그램을 기억시키고 해당 컴퓨터 프로그램을 CPU(128)가 독출하여 차례대로 실행함으로써 이루어지도록 해도 좋다.

이상에서 언급된 본 실시예들 및 그 변형예들에 따른 제어방법을 촬영장치에서 실행시키기 위한 프로그램은 기록매체에 저장될 수 있다. 여기서 기록매체라 함은 예컨대 도 1에 도시된 것과 같은 기록 미디어일 수도 있고, 도 1에 도시된 것과 같은 VRAM일 수도 있으며, 메모리일 수도 있고, 이와 다른 별도의 기록매체일 수도 있다. 여기서 기록매체는 마그네틱 저장매체(예컨대, 롬(ROM), 플로피 디스크, 하드디스크 등) 및 광학적 판독 매체(예컨대, 시디롬(CD-ROM), 디브이디(DVD: Digital Versatile Disc))와 같은 저장매체를 포함한다.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 당해 기술 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 촬영장치(100)의 구성에 대해 나타내는 설명도이다.

도 2는 화상 신호 처리부(116)의 구성에 대해 설명하는 설명도이다.

도 3은 화상 평가부(154)의 구성에 대해 설명하는 설명도이다.

도 4는 하나의 대블록을 "가로 3블록"×"세로 3블록"의 소블록으로 분할한 경우에 대해 나타내는 설명도이다.

도 5는 블록 위치 변경부(176)에서의 블록 위치의 변경처리를 설명하는 설명도이다.

도 6은 본 발명의 일 실시예에 따른 촬상방법(촬영장치 제어방법)에 대해 설명하는 흐름도이다.

도 7은 화이트 밸런스 보정처리에서의 블록 분할에 대해 설명하는 설명도이다.

도 8은 화이트 밸런스 보정처리의 대상이 되는 CCD나 CMOS 등의 촬상소자에서 추출된 화상 신호로부터 얻어지는 화상의 일례를 나타내는 설명도이다.

도 9는 도 8에 나타낸 화상이 얻어지는 화상 신호를 "가로 4블록"×"세로 3블록"으로 분할한 경우를 나타내는 설명도이다.

도 10은 도 8에 나타낸 화상이 얻어지는 화상 신호를 "가로 12블록"×"세로 9블록"으로 분할한 경우를 나타내는 설명도이다.

도 11은 화상 신호를 "가로 4블록"×"세로 3블록"으로 분할한 경우의 혼색 발생의 일례를 나타내는 설명도이다.

도 12는 화상 신호를 "가로 12블록"×"세로 9블록"으로 분할한 경우의 혼색 발생의 일례를 나타내는 설명도이다.

<도면의 주요 부분에 대한 부호의 설명>

100: 촬영장치 102: 줌렌즈

104: 조리개 106: 포커스 렌즈

108: CCD소자 110: CDS회로

112: A/D변환기 114: 화상 입력 콘트롤러

116: 화상 신호 처리부 120: 압축 처리부

122: LCD드라이버 124: LCD

126: 타이밍 제너레이터 128: CPU

132: 조작부 134: 메모리

138: 미디어 콘트롤러 140: 기록 미디어

142a, 142b, 142c: 모터 드라이버 152: 이미지 프론트 프로세스 처리부

154: 화상 평가부 156: 화이트 밸런스 게인 산출부

158: 화이트 밸런스 보정부 160: 디모자이크 처리부

162: 색보정 처리부 164: 감마 보정 처리부

172: 제1블록 분할부 174: 제2블록 분할부

176: 블록 위치 변경부 178: 적산 처리부

180: 기억부 182: 광원 추정부

Claims (6)

1. 촬상소자에서 얻어진 화상 신호를 여러 개의 제1블럭으로 분할하는 제1분할수단;

   상기 제1블럭 각각을 M(M>1, 그리고 M은 자연수)개의 제2블럭으로 더 분할하는 제2분할 수단;

   매 프레임마다 상기 M개의 제2블럭 중 어느 하나의 제2블럭을 기 설정된 조건에 따라 연산 대상으로 선택하고, 상기 연산 대상을 상기 매 프레임마다 변경시키는 위치 변경 수단;

   매 프레임마다 상기 위치 변경 수단에 의하여 연산 대상으로 선택된 제2블럭에 포함되어 있는 적, 녹, 청(RGB)화소 각각의 적산값을 연산하는 연산 수단; 및

   상기 연산 수단의 연산 결과를 사용하여 상기 위치 변경 수단에 의하여 변경된 제2블럭의 광원을 추정하는 광원 추정 수단;을 구비하는 것을 특징으로 하는 촬영 장치.
2. 제1항에 있어서,

   적어도 상기 M개의 프레임 동안의 상기 광원 추정 수단의 광원 추정 결과를 기억하는 기억 수단; 및

   상기 기억 수단이 기억한 상기 M개의 직근(直近) 프레임 동안의 광원 추정 결과를 사용하여 화이트 밸런스를 보정하는 게인을 산출하는 게인 산출 수단;을 더 구비하고,

   상기 게인 산출 수단은, 상기 기억 수단이 기억한 상기 M개의 직근 프레임 동안의 광원 추정 결과를 가중 평균하여 상기 게인을 산출하는, 촬영 장치.
3. 삭제
4. 제1항에 있어서,

   적어도 상기 M개의 프레임 동안의 상기 연산 수단의 연산 결과를 기억하는 기억 수단을 더 구비하고,

   상기 광원 추정 수단은 상기 기억 수단에 기억된 상기 M개의 직근 프레임 동안의 연산결과를 사용하여 상기 화상 신호의 광원을 추정하는 촬영 장치.
5. 삭제
6. 삭제

Images