KR20120106921A

KR20120106921A - 화상 처리 장치, 화상 처리 방법, 촬상 장치 및 컴퓨터 프로그램

Info

Publication number: KR20120106921A
Application number: KR1020117003257A
Authority: KR
Inventors: 마사노리 가사이
Original assignee: 소니 주식회사
Priority date: 2009-06-30
Filing date: 2010-05-06
Publication date: 2012-09-27
Also published as: EP2323408A1; US20110134288A1; EP2323408A4; CN102124744A; TWI428025B; JP5152114B2; US8890981B2; TW201106705A; WO2011001738A1; JP2011014966A; CN102124744B; US20150009370A1; US10015424B2

Abstract

사용하는 렌즈 등의 광학 조건이 미지인 상황하에서도 크로스토크량을 적절하게 보정 처리한다. 화이트 화소를 포함하는 색 코딩을 사용한 촬상 소자의 출력 신호로부터, RGB 각 화소의 신호량의 총합과 화이트의 신호량의 비율을 기초로 크로스토크량의 상대적인 변화를 산출한다. 계속해서, 사전에 구한 크로스토크 보정 계수와 크로스토크량의 관계식으로부터, 현재의 크로스토크량에 따른 크로스토크 보정 계수를 산출하면, 인접 화소의 신호의 몇할을 크로스토크량으로 하여 보정 대상 화소의 신호로부터 감산함으로써, 보정 대상 화소의 신호를 보정한다.

Description

화상 처리 장치, 화상 처리 방법, 촬상 장치 및 컴퓨터 프로그램{IMAGE PROCESSING DEVICE, IMAGE PROCESSING METHOD, IMAGE CAPTURING DEVICE, AND COMPUTER PROGRAM}

본 발명은 색 코딩의 색 필터를 갖는 촬상 소자로부터의 출력 신호를 처리하는 화상 처리 장치 및 화상 처리 방법, 촬상 장치, 및 컴퓨터 프로그램에 관한 것이며, 특히 화이트 화소를 색 코딩에 사용한 촬상 소자로부터의 출력 신호를 처리하는 화상 처리 장치 및 화상 처리 방법, 촬상 장치, 및 컴퓨터 프로그램에 관한 것이다.

카메라는 시각적인 정보를 기록하는 수단으로서 긴 역사를 갖는다. 최근에는 필름이나 감광판을 사용하여 촬영하는 은염 카메라를 대신하여 CCD(Charge Coupled Device)나 CMOS(Complementary Metal-Oxide Semiconductor) 등의 고체 촬상 소자로 포착한 화상을 디지털 부호화하는 디지털 카메라가 광범위하게 보급되고 있다. 디지털 카메라에 따르면, 디지털 부호화된 화상을 메모리에 기억하여, 컴퓨터에 의한 화상 처리나 화상 관리를 행할 수 있고, 또한 필름의 수명이라고 하는 문제가 없는 등의 이점이 있다. 현재, 디지털 스틸 카메라, 디지털 비디오 카메라, 혹은 휴대 전화기나 PDA(Personal Digital Assistants)에 탑재된 디지털 카메라, 감시용 카메라의 대부분은 고체 촬상 소자를 사용하여 구성되어 있다.

CCD, CMOS의 어느 촬상 소자도 2차원으로 배열된 각 화소(포토다이오드)가 광전 효과를 이용하여 광을 전하로 변환하는 구조에 의해 구성된다. 각 화소의 표면에는, 예를 들어 R(적), 녹(G), 청(B)의 3색 중 어느 하나의 색 필터가 설치되어, 각 색 필터를 통과한 입사광량에 대응하는 신호 전하가 각 화소에 축적된다. 색 필터는 원하는 파장의 광을 통과시키는 대역 통과 필터이다. 그리고, 각 화소로부터 각 색의 입사광량에 따른 신호 전하가 판독되어, 3색의 각 신호 전하량으로부터 각 화소 위치에서의 입사광의 색을 재현할 수 있다.

최근에는 미세화 기술의 진보와 아울러 촬상 소자의 고해상도화가 진행되고 있다. 그런데, 고해상도화에 따라서 화소가 미세화되면, 화소당 축적되는 전하량의 저하에 의해 감도의 저하가 우려된다. 고감도화를 위한 하나의 방법으로서, 화소 상에 광학적인 대역 통과 필터를 포함하지 않는 「화이트(White) 화소」를 포함한 배열로 이루어지는 색 코딩이 제안되어 있다(예를 들어, 비특허문헌 1을 참조). 화이트 화소와 같은 고감도 화소는 유채색 화소와 비교하여 입사광에 대한 감도가 높다고 하는 특징이 있어, 예를 들어 저조도의 환경에 있어서 감도 특성을 향상시킬 수 있다(예를 들어, 특허문헌 1을 참조).

도 12a에는 원색계의 대표적인 필터 배열인 베이어 배열을 나타내고 있다. 또한, 도 12b에는 화이트 화소를 포함한 필터 배열의 일례를 나타내고 있다. 단, 도면 중의 R은 Red(적)의 색 필터, G는 Green(녹)의 색 필터, B는 Blue(청)의 색 필터, W는 White(백)의 색 필터를 각각 가리킨다. 도시한 예에서는 RGB의 원색계의 각 색 필터간에 화이트 화소가 간헐적으로 끼워 넣기되어 있다.

또한, 화소의 미세화에 따라서 인접하는 사이에서 광학적ㆍ전기적인 크로스토크, 즉 혼색(이하에서는 간단히 「크로스토크」라고 칭함)이 발생할 것이 우려된다. 크로스토크의 요인으로서, 본래 인접하는 화소에 집광되어야 할 광이 누설되는 것이나, 화소간에서 전자가 누설되는 것 등을 들 수 있다.

크로스토크는 해상도의 저하나 색 정보의 상실을 일으키기 때문에, 보정을 행할 필요가 있다. 여기서, 크로스토크는 화이트 화소를 배열에 포함한 색 필터를 사용한 촬상 소자에 한정되는 문제가 아니다. 그러나, 화이트 화소로부터 보다 많은 광이 누설되기 때문에, 화이트 화소를 배열에 포함하지 않는 색 필터를 사용한 촬상 소자에 대하여, 크로스토크에 의한 화상의 열화는 보다 현저해진다.

동일한 촬상 소자라도 개개의 마이크로 렌즈 등의 광학 조건에 따라서 크로스토크량은 여러가지로 변화한다. 이것은 크로스토크가 광의 입사 각도에 의존하고 있기 때문이다. 이로부터 또한 소자의 칩 면 내에서도 위치에 따라서 크로스토크량이 상이하다. 또한, 촬상 소자를 구성하는 실리콘(Si) 기판에의 광의 침입 깊이는, 광의 파장에 따라서 상이하기 때문에, 촬영시의 광원의 색 온도에 따라서도 크로스토크량은 변화한다.

예를 들어, 촬상 소자의 주목 화소에 인접하는 복수의 주위 화소의 각 신호와, 당해 각 신호에 대하여 각각 독립하여 설정되는 보정 파라미터를 사용하여 주목 화소의 신호에 대하여 보정 처리를 행함으로써, 광학 조건에 기인하는 크로스토크량의 변화에 대응한 신호 처리 방법에 대하여 제안이 이루어져 있다(예를 들어, 특허문헌 2를 참조). 그러나, 이 신호 처리 방법에서는 보정 파라미터의 값은 피사체로부터의 광을 촬상 소자로 유도하는 광학계에 포함되는 조리개의 개구 직경에 따라서 설정된다. 바꿔 말하면, 미리 사용하는 렌즈가 정해져 있고, 렌즈에 따른 크로스토크량을 먼저 측정하여, 이에 대하여 보정을 행하는 것이다. 이로 인해, 렌즈를 유저가 자유롭게 교환할 수 있는 교환 렌즈형 등, 렌즈 정보가 미지인 상황하에서는 크로스토크량의 보정이 곤란하다.

일본 특허 공개 제2007-288490호 공보 일본 특허 공개 제2007-142697호 공보

Y.Egawa, "A White-RGB CFA-Patterned CMOS Image Sensor with Wide Dynamic Range"(2008 IEEE International Solid-State Circuits Conference(ISSCC) P.52-53)

본 발명의 목적은 화이트 화소를 색 코딩에 사용한 촬상 소자로부터의 출력 신호를 적절하게 처리할 수 있는, 우수한 화상 처리 장치 및 화상 처리 방법, 촬상 장치, 및 컴퓨터 프로그램을 제공하는 데에 있다.

본 발명의 또 다른 목적은, 화이트 화소를 색 코딩에 사용한 촬상 소자의 출력 신호에 포함되는 크로스토크량을 적절하게 보정 처리할 수 있는, 우수한 화상 처리 장치 및 화상 처리 방법, 촬상 장치, 및 컴퓨터 프로그램을 제공하는 데에 있다.

본 발명의 또 다른 목적은, 사용하는 렌즈 등의 광학 조건이 미지인 상황하에서도, 화이트 화소를 색 코딩에 사용한 촬상 소자의 출력 신호에 포함되는 크로스토크량을 적절하게 보정 처리할 수 있는, 우수한 화상 처리 장치 및 화상 처리 방법, 촬상 장치, 및 컴퓨터 프로그램을 제공하는 데에 있다.

본원은 상기 과제를 참작하여 이루어진 것이며, 청구항 1에 기재된 발명은,

촬상 소자의 보정 대상 화소로부터의 출력 신호에 포함되는 크로스토크량의 평가값을 산출하는 크로스토크량 산출부와,

상기 크로스토크량 산출부로부터 출력되는 평가값에 기초하여 크로스토크 보정 계수를 산출하는 크로스토크 보정 계수 산출부와,

상기 크로스토크 보정 계수를 사용하여, 상기 보정 대상 화소의 출력 신호에 포함되는 크로스토크량을 제거하는 크로스토크 보정부를 구비하는 화상 처리 장치이다.

본 발명의 청구항 2에 기재된 발명에 따르면, 청구항 1에 기재된 화상 처리 장치의 크로스토크량 산출부는, 촬상 소자로부터의 출력 신호에 기초하여, 상기 보정 대상 화소의 출력 신호에 포함되는 크로스토크량의 평가값을 산출하도록 구성되어 있다.

본 발명의 청구항 3에 기재된 발명에 따르면, 청구항 1에 기재된 화상 처리 장치의 크로스토크량 산출부는, 인접 화소간의 출력 신호의 관계에 기초하여, 상기 보정 대상 화소로부터의 출력 신호에 포함되는 크로스토크량의 평가값을 산출하도록 구성되어 있다.

본원의 청구항 4에 기재된 발명에 따르면, 청구항 1에 기재된 화상 처리 장치에 있어서, 촬상 소자에는 화이트 화소를 포함한 색 코딩을 사용하도록 구성되어 있다. 크로스토크는 화이트 화소를 배열에 포함한 색 필터를 사용한 촬상 소자에 한정되는 문제는 아니지만, 화이트 화소로부터 보다 많은 광이 누설되기 때문에, 화이트 화소를 배열에 포함하지 않는 색 필터를 사용한 촬상 소자에 대하여, 크로스토크에 의한 화상의 열화는 보다 현저해진다. 이러한 경우, 청구항 5에 기재된 바와 같이, 청구항 4에 기재된 화상 처리 장치의 크로스토크량 산출부는, 화이트 이외의 각 화소의 신호량의 총합과 화이트 화소의 신호량의 비율에 기초하여, 보정 대상 화소에서의 크로스토크량의 평가값을 산출하도록 구성하면 된다.

보다 구체적으로는, 본원의 청구항 6에 기재된 바와 같이, 청구항 4에 기재된 화상 처리 장치의 크로스토크량 산출부는, RGB 각 화소의 신호량에 각각 소정의 계수(α, β, γ)를 곱한 수치의 총합과 화이트 화소의 신호량에 소정의 계수(ε)를 곱한 수치의 비율에 기초하여, 보정 대상 화소에서의 상대적인 크로스토크량의 평가값을 산출하도록 구성할 수 있다.

본 발명의 청구항 7에 기재된 발명에 따르면, 청구항 4에 기재된 화상 처리 장치의 크로스토크량 산출부는, N×N 화소를 처리 단위로 하여(단, N은 양의 정수) 크로스토크량의 평가값을 산출하도록 구성되어 있다.

본 발명의 청구항 8에 기재된 발명에 따르면, 청구항 7에 기재된 화상 처리 장치는 크로스토크량 산출부가 처리 단위마다 산출한 크로스토크량의 평가값을 보존하는 메모리를 더 구비하고, 크로스토크 보정 계수 산출부, 크로스토크 보정부는, 상기 메모리에 보존되어 있는 이전의 프레임을 사용하여 산출된 평가값을 사용하여 보정 계수의 산출과 크로스토크의 보정을 각각 행하도록 구성되어 있다.

본 발명의 청구항 9에 기재된 발명에 따르면, 청구항 1에 기재된 화상 처리 장치의 크로스토크 보정 계수 산출부는, 미리 상기 크로스토크량 산출부에 의해 산출되는 크로스토크량의 평가값과 보정 계수의 관계식을 산출해 두고, 상기 크로스토크량 산출부로부터 출력되는 평가값이 출력되었을 때에, 상기 관계식을 참조하여 당해 평가값에 대응하는 보정 계수를 산출하도록 구성되어 있다.

본 발명의 청구항 10에 기재된 발명에 따르면, 청구항 1에 기재된 화상 처리 장치의 크로스토크 보정부는, 보정 대상 화소의 출력 신호로부터, 보정 대상 화소에 인접하지만 그 출력 신호에 대하여 상기 보정 계수를 곱한 값을 감산하여, 크로스토크량을 제거하도록 구성되어 있다.

본 발명의 청구항 11에 기재된 발명에 따르면, 청구항 1에 기재된 화상 처리 장치의 촬상 소자는, 화이트 화소를 포함하지 않는 배열 중에, 화이트 화소를 포함한 평가값 산출용의 배열을 복수 배치하고 있다.

본 발명의 청구항 12에 기재된 발명에 따르면, 청구항 11에 기재된 화상 처리 장치의 크로스토크량 산출부는, 각각의 평가값 산출용의 배열을 사용하여 해당하는 위치에 있어서 발생하고 있는 크로스토크량의 평가값을 각각 산출하도록 구성되어 있다. 또한, 크로스토크 보정 계수 산출부는, 평가값 산출용의 배열이 배치된 위치마다, 상기 크로스토크량 산출부로부터 출력되는 평가값에 기초하여 크로스토크 보정 계수를 산출하도록 구성되어 있다. 또한, 크로스토크 보정부는, 평가값 산출용의 배열 내에서는 해당하는 보정 계수를 사용하여 크로스토크의 보정을 행하고, 평가값 산출용의 배열 외의 영역에서는, 인접하는 평가값 산출용의 배열로부터 얻어진 크로스토크량의 평가값에 기초하여 결정되는 크로스토크 보정 계수를 사용하여 크로스토크의 보정을 행하도록 구성되어 있다.

또한, 본원의 청구항 13에 기재된 발명은,

촬상 소자의 보정 대상 화소로부터의 출력 신호에 포함되는 크로스토크량의 평가값을 산출하는 크로스토크량 산출 스텝과,

상기 크로스토크량 산출 스텝에 있어서 얻어지는 평가값에 기초하여 크로스토크 보정 계수를 산출하는 크로스토크 보정 계수 산출 스텝과,

상기 크로스토크 보정 계수를 사용하여, 상기 보정 대상 화소의 출력 신호에 포함되는 크로스토크량을 제거하는 크로스토크 보정 스텝을 갖는 화상 처리 방법이다.

또한, 본원의 청구항 14에 기재된 발명은,

색 코딩의 색 필터를 갖는 촬상 소자와,

상기 촬상 소자의 출력 신호를 처리하는 신호 처리부를 구비하고,

상기 신호 처리부는,

상기 촬상 소자의 보정 대상 화소로부터의 출력 신호에 포함되는 크로스토크량의 평가값을 산출하는 크로스토크량 산출부와,

상기 크로스토크 보정 계수를 사용하여, 상기 보정 대상 화소의 출력 신호에 포함되는 크로스토크량을 제거하는 크로스토크 보정부를 포함하는 촬상 장치이다.

또한, 본원의 청구항 15에 기재된 발명은, 색 코딩의 색 필터를 갖는 촬상 소자로부터의 출력 신호의 처리를 컴퓨터 상에서 실행하도록 컴퓨터 가독 형식으로 기술된 컴퓨터 프로그램이며, 상기 컴퓨터를,

촬상 소자의 보정 대상 화소로부터의 출력 신호에 포함되는 크로스토크량의 평가값을 산출하는 크로스토크량 산출부,

상기 크로스토크량 산출부로부터 출력되는 평가값에 기초하여 크로스토크 보정 계수를 산출하는 크로스토크 보정 계수 산출부,

상기 크로스토크 보정 계수를 사용하여, 상기 보정 대상 화소의 출력 신호에 포함되는 크로스토크량을 제거하는 크로스토크 보정부로서 기능시키기 위한 컴퓨터 프로그램이다.

본원의 청구항 15에 관한 컴퓨터 프로그램은, 컴퓨터 상에서 소정의 처리를 실현하도록 컴퓨터 가독 형식으로 기술된 컴퓨터 프로그램을 정의한 것이다. 바꾸어 말하면, 본원의 청구항 15에 관한 컴퓨터 프로그램을 컴퓨터에 인스톨함으로써, 컴퓨터 상에서는 협동적 작용이 발휘되어, 본원의 청구항 1에 관한 화상 처리 장치와 동일한 작용 효과를 얻을 수 있다.

본 발명에 따르면, 사용하는 렌즈 등의 광학 조건이 미지인 상황하에 있어서도, 화이트 화소를 색 코딩에 사용한 촬상 소자의 출력 신호에 포함되는 크로스토크량을 적절하게 보정 처리할 수 있는, 우수한 화상 처리 장치 및 화상 처리 방법, 촬상 장치, 및 컴퓨터 프로그램을 제공할 수 있다.

본원의 청구항 1, 13 내지 15에 기재된 발명에 따르면, 촬영 중의 광학 정보가 없어도 촬영 데이터만으로 크로스토크량을 알기 위한 평가값을 산출하고, 이 평가값에 적응한 보정 계수를 사용하여 크로스토크의 보정 처리를 행하는 것이 가능하다.

본원의 청구항 2, 3에 기재된 발명에 따르면, 촬상 소자로부터의 출력 신호에 기초하여 크로스토크량을 산출하기 때문에, 사용하는 렌즈 등의 광학 조건이 미지인 상황하에 있어서도 크로스토크의 보정을 행할 수 있고, 또한 디지털 신호 처리에 의해 크로스토크의 보정을 행할 수 있다.

본원의 청구항 4 내지 6에 기재된 발명에 따르면, 화이트 화소와 RGB 등 다른 색의 화소가 인접하는 색 코딩을 사용하는 경우, 세로 방향 및 가로 방향으로부터의 현상이 지배적이 되는 것을 이용하여, 인접하는 RGB가 그 신호량의 총합과 화이트 화소 그 신호량의 비율에 기초하여, 보정 대상 화소에서의 크로스토크량의 평가값을 산출할 수 있다.

본원의 청구항 7에 기재된 발명에 따르면, 예를 들어 N=4 즉 4×4 화소를 최소 단위로 함으로써, 실시간으로 크로스토크량의 평가값을 산출할 수 있다. 이 경우, 처리 단위 내에 동일 색의 화소가 2 이상의 출력을 갖게 되므로, 색마다 신호량의 평균값을 사용하면 된다. 또한, 미세한 입도로 보정 계수를 산출할 필요가 없는 경우나, 동화상에 적용하는 등, 반드시 1매의 촬상 화상에서 보정 계수를 산출할 필요가 없는 경우에는, N=100 즉 100×100 화소 정도의 비교적 큰 블록을 처리 단위로 하면 된다.

본원의 청구항 8에 기재된 발명에 따르면, 이전의 프레임을 사용하여 산출된 평가값을 사용하여 보정 계수의 산출과 크로스토크의 보정을 각각 행하므로, 동화상 처리에 대응할 수 있다.

본원의 청구항 9에 기재된 발명에 따르면, 미리 산출해 둔 크로스토크량의 평가값과 보정 계수의 관계식에 기초하여, 크로스토크량 산출부로부터 출력되는 평가값으로부터 보정 계수를 산출할 수 있다.

본원의 청구항 10에 기재된 발명에 따르면, 보정 대상 화소의 출력 신호로부터, 보정 대상 화소에 인접하지만 그 출력 신호에 대하여 보정 계수를 곱한 값을 감산하여, 크로스토크량을 제거할 수 있다.

본원의 청구항 11, 12에 기재된 발명에 따르면, 각각의 평가값 산출용의 배열을 사용하여 크로스토크량을 각각 평가함으로써, 촬상 소자면 전체에 걸쳐 크로스토크의 상태를 알 수 있다. 그리고, 각각의 영역에서는 인접하는 평가값 산출용의 배열로부터 얻어진 크로스토크량의 평가값에 기초하여 크로스토크 보정 계수를 결정함으로써, 적절하게 크로스토크를 보정할 수 있다.

본 발명의 또 다른 목적, 특징이나 이점은, 후술하는 본 발명의 실시 형태나 첨부하는 도면에 기초하는 보다 상세한 설명에 의해 밝혀질 것이다.

도 1은 본 발명의 실시에 제공되는 촬상 장치(100)의 하드웨어 구성을 모식적으로 나타낸 도면.
도 2는 크로스토크 보정을 위한 화상 신호 처리를 행하는 기능적 구성을 나타낸 도면.
도 3a는 촬상 소자(12)의 색 화소마다의 분광 특성예(크로스토크의 정도 소)(분광 특성 1)를 나타낸 도면.
도 3b는 촬상 소자(12)의 색 화소마다의 분광 특성예(크로스토크의 정도 중)(분광 특성 2)를 나타낸 도면.
도 3c는 촬상 소자(12)의 색 화소마다의 분광 특성예(크로스토크의 정도 대)(분광 특성 3)를 나타낸 도면.
도 4a는 크로스토크가 세로 방향 및 가로 방향으로부터 발생하는 모습을 나타낸 도면.
도 4b는 도 12b에 나타낸 색 화소의 배열에서, 화이트의 신호가 인접하는 RGB의 신호에 혼색하는 모습을 나타낸 도면.
도 4c는 도 12b에 나타낸 색 화소의 배열에서, RGB의 각 신호가 인접하는 화이트의 신호에 혼색하는 모습을 나타낸 도면.
도 5a는 맥베스 컬러 체커 차트(Macbeth Color Checker Chart)에서의 청 패치(패치 번호 13)의 반사 분광 특성을 나타낸 도면.
도 5b는 맥베스 컬러 체커 차트에서의 녹 패치(패치 번호 14)의 반사 분광 특성을 나타낸 도면.
도 5c는 맥베스 컬러 체커 차트에서의 적 패치(패치 번호 15)의 반사 분광 특성을 나타낸 도면.
도 5d는 맥베스 컬러 체커 차트에서의 황 패치(패치 번호 16)의 반사 분광 특성을 나타낸 도면.
도 5e는 맥베스 컬러 체커 차트에서의 마젠타 패치(패치 번호 17)의 반사 분광 특성을 나타낸 도면.
도 5f는 맥베스 컬러 체커 차트에서의 시안 패치(패치 번호 18)의 반사 분광 특성을 나타낸 도면.
도 6a는 도 5a 내지 도 5f에 나타낸 각 맥베스 색 패치의 반사 분광 특성과 도 3a에 나타낸 촬상 소자(12)의 색 화소마다의 크로스토크량에 따른 분광 특성(분광 특성 1)을 적분한 결과를 나타낸 도면.
도 6b는 도 5a 내지 도 5f에 나타낸 각 맥베스 색 패치의 반사 분광 특성과 도 3b에 나타낸 촬상 소자(12)의 색 화소마다의 크로스토크량에 따른 분광 특성(분광 특성 2)을 적분한 결과를 나타낸 도면.
도 6c는 도 5a 내지 도 5f에 나타낸 각 맥베스 색 패치의 반사 분광 특성과 도 3c에 나타낸 촬상 소자(12)의 색 화소마다의 크로스토크량에 따른 분광 특성(분광 특성 3)을 적분한 결과를 나타낸 도면.
도 7a는 크로스토크량에 따른 각각의 분광 특성(도 3a 내지 도 3c)에 대하여, 주요 6색의 맥베스 색 패치마다 구한 평가값을 나타낸 도면.
도 7b는 크로스토크량에 따른 각각의 분광 특성(도 3a 내지 도 3c)에 대하여, 모든 맥베스 색 패치에 대하여 구한 평가값을 나타낸 도면.
도 8은 일반적인 크로스토크의 보정 처리 방법을 설명하기 위한 도면.
도 9는 크로스토크량의 평가값(K)과 보정 계수의 관계식의 일례를 나타낸 도면.
도 10은 어느 정도의 크기에서 보정 계수를 산출하는 영역(블록)의 일례를 나타낸 도면.
도 11은 크로스토크량 산출부(1)에서 산출한 평가값(K)을 보존하기 위한 메모리(4)를 나타낸 도면.
도 12a는 원색계의 대표적인 필터 배열인 베이어 배열을 나타낸 도면.
도 12b는 화이트 화소를 포함한 필터 배열의 일례를 나타낸 도면.
도 13a는 화이트 화소를 포함한 필터 배열의 다른 예를 나타낸 도면.
도 13b는 화이트 화소를 포함한 필터 배열의 다른 예를 나타낸 도면.
도 13c는 보색계의 색 필터를 이용한 필터 배열의 다른 예를 나타낸 도면.
도 14는 화이트 화소를 포함하지 않는 베이어 배열(도 12a를 참조)에, 도 12b에 나타낸 바와 같은 화이트 화소를 포함하는 배열을 산재시킨 필터 배열의 일례를 나타낸 도면.
도 15는 도 12a에 나타낸 베이어 배열을 기본으로 하는 촬상 소자면에 도 12b에 나타낸 바와 같은 평가값 산출용의 배열을 복수 배치한 모습을 모식적으로 나타낸 도면.
도 16은 도 12a에 나타낸 베이어 배열을 기본으로 하는 촬상 소자면에 도 12b에 나타낸 바와 같은 평가값 산출용의 배열을 복수 배치한 모습을 모식적으로 나타낸 도면.

이하, 도면을 참조하면서 본 발명의 실시 형태에 대하여 상세하게 설명한다.

도 1에는 본 발명의 실시에 제공되는 촬상 장치(10)의 하드웨어 구성을 모식적으로 나타내고 있다. 단, 여기에서 말하는 촬상 장치란, 촬상 소자, 당해 촬상 소자의 촬상면(수광면) 상에 피사체의 상 광을 결상시키는 광학계 및 당해 촬상 소자의 신호 처리 회로를 포함하는 카메라 모듈, 및 당해 카메라 모듈을 탑재한 디지털 스틸 카메라나 비디오 카메라 등의 카메라 장치, 휴대 전화 등의 전자 기기를 포함하는 것으로 한다.

도 1에 있어서, 피사체(도시하지 않음)로부터의 상 광은, 광학계, 예를 들어 촬상 렌즈(11)에 의해 촬상 소자(12)의 촬상면 상에 결상된다. 촬상 소자(12)로서 광전 변환 소자를 포함하는 화소가 행렬 형상으로 다수 2차원 배치되고, 휘도 성분을 만드는 데 있어서 주성분이 되는 색 성분과 다른 색 성분을 포함하는 색 필터가 화소의 표면 상에 배치되어 이루어지는 촬상 소자가 사용된다. 색 필터는 원하는 파장의 광을 통과시키는 대역 통과 필터이다.

색 필터를 갖는 촬상 소자로서는, CCD로 대표되는 전하 전송형 촬상 소자나, MOS로 대표되는 X-Y 어드레스형 촬상 소자 등 중 어느 하나이어도 된다.

또한, 색 필터는 휘도(Y) 성분을 만드는 데 있어서 주성분이 되는 색 성분으로서 예를 들어 녹(G)을, 다른 색 성분으로서 예를 들어 적(R), 청(B)을 각각 포함하여, 각 화소 위치에서의 입사광의 색을 재현하도록 색 코딩을 행한다. 본 실시 형태에서는 고감도화 등을 목적으로 하여, 색 필터는 화이트 화소를 포함한 배열로 이루어지는 색 코딩을 행하는 것으로 한다. 단, 화소의 배열은 도 12b에 나타낸 것에 한정되지 않는다. 또한, Y 성분을 만드는 데 있어서 주성분이 되는 색 성분으로서, 예를 들어 화이트, 시안, 옐로우 등을 사용하고, 다른 색 성분으로서, 예를 들어 마젠타, 시안, 옐로우 등을 사용하는 것도 가능하다.

촬상 소자(12)에서는, 입사하는 상 광 중, 각 색 성분의 광만이 색 필터를 통과하여 각 화소에 입사한다. 화소의 각각에 입사한 광은, 포토다이오드 등의 광전 변환 소자에 의해 광전 변환된다. 그리고, 각 화소로부터 아날로그 화상 신호로서 판독되어, A/D 변환기(ADC)(13)에서 디지털 화상 신호로 변환된 후, 본 발명에 관한 화상 처리 장치에 상당하는 카메라 신호 처리 회로(14)에 입력된다.

카메라 신호 처리 회로(14)는 광학계 보정 회로(21), WB(화이트 밸런스) 회로(22), 보간 처리 회로(23), 감마(γ) 보정 회로(24), Y(휘도) 신호 처리 회로(25), C(크로마) 신호 처리 회로(26), 대역 제한 LPF(저역 통과 필터)(27), 씨닝 처리 회로(thinning out circuit; 28) 등으로 구성된다.

광학계 보정 회로(21)는, 카메라 신호 처리 회로(14)에 입력되는 디지털 화상 신호에 대하여 흑 레벨을 맞추는 디지털 클램프, 촬상 소자(12)의 결함을 보정하는 결함 보정, 촬상 렌즈(11)의 주변 광량 누락을 보정하는 쉐이딩 보정 등, 촬상 소자(12)나 광학계의 보정을 행한다.

상술한 바와 같이, 본 실시 형태에서 촬상 소자에 사용되는 색 필터는 화이트 화소를 포함하기 때문에, 크로스토크의 문제가 현저해지므로, 그 보정을 행할 필요가 있다. 본 발명은 디지털 신호 처리의 단계에서 크로스토크량의 산출과 보정을 행하는 점에 주요 특징이 있지만, 그 기능을 예를 들어 광학계 보정 회로(21) 내에 실장할 수 있다. 크로스토크량의 산출 및 보정 처리의 상세에 대해서는 후술한다.

WB 회로(22)는, 광학계 보정 회로(21)를 거친 화상 신호에 대하여, 화이트 밸런스를 조정하는 처리를 실시하여, 흰 피사체에 대하여 RGB가 동일해지게 한다. 보간 처리 회로(23)는, 공간 위상이 상이한 화소를 보간에 의해 만들어내는, 즉 각각 공간적으로 위상이 어긋난 RGB 신호로부터 3매의 플레인(동일한 공간 위치의 RGB 신호)을 만들어낸다.

감마(γ) 보정 회로(24)는, 동일한 공간 위치의 RGB 신호에 대하여 감마 보정을 행한 후, Y 신호 처리 회로(25) 및 C 신호 처리 회로(26)에 공급한다. 감마 보정은, 피사체의 색의 계조를 정확하게 표현하기 위하여, 촬상 소자(12) 및 후단의 영상 재생 수단 등을 포함하는 시스템 전체의 광전 변환 특성을 1로 하도록, WB 회로(22)로부터 출력되는 R, G, B의 색 신호에 대하여 각각 소정의 게인을 거는 처리이다.

Y 신호 처리 회로(25)는 R, G, B의 색 신호로부터 휘도(Y) 신호를 만들고, 또한 C 신호 처리 회로(26)는 R, G, B의 색 신호로부터 색차 신호 Cr(R-Y), Cb(B-Y)를 만든다.

대역 제한 LPF(27)는, 예를 들어 컷오프 주파수 f_c가 샘플링 주파수 f_s의 1/8인 필터이며, 색차 신호 Cr 및 Cb에 관하여 통과 대역을 (1/2)f_s로부터 (1/8)f_s까지 떨어뜨린다. 단, 이것은 TV 신호 포맷에 맞춘 출력이며, 대역 제한을 행하지 않고 출력한 경우에는, 1/8f_s이상의 주파수 신호가 가짜 색 신호로서 출력되게 된다. 씨닝 처리 회로(28)는 색차 신호 Cr, Cb의 샘플링의 씨닝을 행한다.

도 1에 나타낸 촬상 장치(10)에 있어서, 촬상 소자에 사용되는 색 필터는 화이트 화소를 포함하기 때문에, 크로스토크의 문제가 현저해진다. 본 실시 형태에서는 디지털 신호 처리의 단계에서 크로스토크량의 산출과 보정을 행하도록 구성되어 있다. 도 2에는 크로스토크 보정을 위한 화상 신호 처리를 행하는 기능적 구성을 나타내고 있다. 도시한 화상 신호 처리는, 크로스토크량 산출부(1)와, 크로스토크 보정 계수 산출부(2)와, 크로스토크 보정부(3)로 구성되며, 예를 들어 광학계 보정 회로(21) 내에 실장된다.

우선, 크로스토크량 산출부(1)에 대하여 설명한다. 크로스토크량 산출부(1)는, 촬상 소자(12)로부터 출력된 촬상 데이터를 기초로 크로스토크의 정도를 크로스토크량으로서 정량화한다.

도 3에는 촬상 소자(12)의 색 화소마다의 분광 특성예를 나타내고 있다. 도시한 예에서는 도 3a, 도 3b, 도 3c의 순으로 크로스토크의 정도가 증가하고 있다. 청(B) 화소는 450나노미터 부근을 통과하는 색 필터이고, 녹(G) 화소는 550나노미터 부근을 통과하는 색 필터이고, 적(R) 화소는 650나노미터 부근을 통과하는 색 필터이다. 또한, 화이트(W) 화소는 색 필터가 없는 흑백의 촬상 소자와 동일하다. 크로스토크량이 증가하면, 본래는 감도가 있어서는 안되는 주파수 영역에서 출력이 증가한다. 예를 들어 도 3c에서는 청(B_3) 화소의 파형에 있어서, 크로스토크를 위하여 파장 550 내지 650나노미터의 대역에서 출력이 증가하고 있다.

그런데, 도 12b에 나타낸 바와 같은 색 필터의 배열에서는, 화이트 화소와 RGB의 각 화소는 각각 인접하고 있다. 일반적으로, 크로스토크는, 도 4a에 나타낸 바와 같이 세로 방향 및 가로 방향으로부터의 현상이 지배적이다. 따라서, 도 12b에 나타낸 색 필터의 배열에서는, 크로스토크는, 도 4b에 나타낸 바와 같이 화이트의 신호가 인접하는 RGB의 신호에 혼색하는 것과, 도 4c에 나타낸 바와 같이 RGB의 각 신호가 화이트의 신호에 혼색하는 것의 2종류로 크게 구별할 수 있다.

도 4에 나타낸 성질을 이용함으로써, 크로스토크량을 상대적으로 아는 것이 가능하다. 그 방법이란, RGB 각 화소의 신호량의 총합과, 화이트의 신호량의 비율을 산출하는 것이다(후술함).

그런데, 디지털 카메라를 비롯한 컬러 이미징의 분야에서는, 일반적으로 색 재현성의 평가에는 「맥베스 컬러 체커(맥베스 색표)」가 사용된다. 예를 들어, 일본 색채 학회편 「컬러 이미징」(29 내지 33쪽)에는 색 재현성을 지배하는 요인으로서 분광 감도, 상태 재현, 삼원색을 들 수 있는 것, 색 재현성의 평가에는 이들 요인을 개별적으로 평가하지 않고 최종적으로 얻어지는 재현색으로 평가하는 방법이 일반적으로 채용되고 있는 것, 평가 방법으로서 표준적인 색표를 화상 입력하고, 출력한 재현색과 오리지널의 색표의 색을 분광 반사(투과)율로 비교하는 것, 그리고 색표로서 맥베스 색표가 널리 사용되고 있는 것이 기재되어 있다. 맥베스 색표는 6단계의 그레이를 포함하는 24색으로 이루어진다. 각각의 색표의 표면은 무광이고, 45mm×45mm의 크기이다. 또한, 동 문헌에는 부록표 A.1, A.2로서 맥베스 색표의 반사 분광 특성(분광 반사율)이 기재되어 있다. 이하에서는 이 분광 데이터를 이용하여 설명한다.

도 5a 내지 도 5f에는 맥베스 컬러 체커 차트에서의 청(패치 번호 13), 녹(패치 번호 14), 적(패치 번호 15), 황(패치 번호 16), 마젠타(패치 번호 17) 및 시안(패치 번호 18)의 각 패치의 반사 분광 특성을 각각 나타내고 있다. 또한, 여기에서 24색의 맥베스 색표 중 상기 6색만을 다루는 것은, 이들 6색이 대부분의 컬러 이미징 시스템에서 사용되는 주요한 색 성분인 것에 의거한다.

이들 각 맥베스 색표의 반사 분광 특성(도 5a 내지 도 5f)을, 도 3a 내지 도 3c에 나타낸 촬상 소자(12)의 각 색 필터의 분광 특성과의 파장 성분마다의 승산의 총합을 취하는, 즉 적분을 행하면 촬상 소자(12)로부터의 각 색의 출력을 나타내게 된다.

도 6a 내지 도 6c에는 도 5a 내지 도 5f에 나타낸 각 맥베스 색 패치의 반사 분광 특성과, 도 3a 내지 도 3c에 나타낸 촬상 소자(12)의 색 화소마다의 분광 특성을 적분한 결과를 각각 나타내고 있다. 도 6a 내지 도 6c는 요컨대 촬상 소자(12)의 각 색 화소의 크로스토크량에 따른 출력에 상당한다.

촬상 소자(12)의 각 색 화소의 크로스토크량에 따른 분광 특성(도 3a 내지 도 3c를 참조)으로부터 얻어지는 촬상 소자(12)의 색 화소(R, G, B, W)마다의 출력(도 6a 내지 도 6c를 참조)을 기초로, 예를 들어 하기 수학식 1을 이용하여 크로스토크량을 평가하는 평가값(K)을 산출할 수 있다.

상기 수학식 1에 있어서, R, G, B, W는 각 색 화소의 출력값(도 6a 내지 도 6c를 참조)이고, α, β, γ 및 ε는 임의의 계수이고, 평가값(K)은 RGB의 각 색 화소의 출력의 총합과 화이트 화소의 출력의 비율을 산출한 결과에 상당한다. 상기 식은, 예를 들어 도 12b에 나타낸 색 코딩에서는 크로스토크는 화이트의 신호가 인접하는 RGB의 신호에 혼색하는 것과, 도 4c에 나타낸 바와 같이 RGB의 각 신호가 화이트의 신호에 혼색하는 것의 2종류로 크게 구별되는 것(전술함)에 의거하는 것이다.

촬상 소자(12)의 각 색 화소의 크로스토크량에 따른 출력(도 6a 내지 도 6c를 참조)에 대하여, 상기 수학식 1에 나타낸 평가값(K)의 계산을 맥베스 색표의 패치마다 행함으로써, 크로스토크량에 따른 각각의 분광 특성(도 3a 내지 도 3c)에 대하여, 맥베스 색 패치마다의 평가값을 얻을 수 있다.

도 7a에는 크로스토크량에 따른 각각의 분광 특성(도 3a 내지 도 3c)에 대하여 맥베스 색 패치마다 구한 평가값을 나타내고 있다. 또한, 도시한 분광 특성 1 내지 3마다 얻어진 각 평가값 K_1, K_2, K_3에 대하여 전 6색 패치에 걸친 평균과 표준 편차를 이하의 표에 정리하였다.

상기 표로부터 평가값(K)이 피사체(색마다)의 반사 분광에 상관없이 거의 일정한 것을 알 수 있다. 이것은, 즉, 상기 수학식 1로부터 산출되는 평가값(K)이, 크로스토크량의 평가에 사용하는 것이 가능한 것을 의미하는 것이다.

또한, 각 계수 α, β, γ 및 ε의 값은, 예를 들어 도 3a에 나타낸 바와 같은 크로스토크량이 작은 이상적인 분광 특성에 있어서, 평가값(K)이 일정해지도록 최적화를 행한다. 실제로는 최소 제곱법 등의 근사 방법을 사용한다. 그리고, 얻어진 값을 도 3b, 도 3c 등의 다른 분광 특성에 대해서도 사용한다. 도 7a에서는 하기 수학식 2에 나타내는 계수값을 사용하여 평가값(K)의 계산을 행하였다.

상기의 설명에서 24색의 맥베스 색표 중 상기 6색만을 다루는 것은, 이들 6색이 대부분의 컬러 이미징 시스템에서 사용되는 주요한 색 성분인 것에 의거한다(전술함). 본 발명자들은 만약을 위해 24색 모든 맥베스 색표를 사용하여, 마찬가지로 각 분광 특성에 대하여 평가값의 계산을 행하였다. 도 7b에는 그 결과를 나타낸다. 또한, 도시된 분광 특성 1 내지 3마다 얻어진 각 평가값 K_1, K_2, K_3에 대하여 전 24색 패치에 걸친 평균과 표준 편차를, 이하의 표에 정리하였다. 평가값(K)이 피사체(색마다)의 반사 분광에 상관없이 거의 일정하기 때문에, 상기 수학식 1로부터 산출되는 평가값(K)이 크로스토크량의 평가에 사용 가능한 것을 재차 확인할 수 있을 것이다.

이상의 설명에서, RGB 화소에 화이트 화소를 추가한 색 코딩을 사용한 촬상 소자(12)로부터의 출력 신호를 이용하여, 평가값(K)의 산출에 의해 크로스토크량의 상대적인 변화를 검지할 수 있다고 하는 것을 이해할 수 있을 것이다. 즉, 종래(예를 들어, 특허문헌 2를 참조)와 같이 칩 내의 크로스토크량을 먼저 측정할 필요는 없으며, 촬상 소자(12)의 출력 신호만으로 크로스토크량의 정도를 검지할 수 있는 셈이다. 따라서, 사용하는 렌즈 등의 광학 조건이 미지인 상황하에 있어서도, 디지털 신호 처리의 단계에서 크로스토크의 정도를 정량화할 수 있다.

크로스토크량 산출부(1)에서는, 상기 수학식 1로부터 알 수 있는 바와 같이, 화이트 화소를 포함하는 모든 색의 화소의 출력 신호를 필요로 한다. 이로 인해, 도 12b에 나타낸 바와 같은 필터 배열을 갖는 촬상 소자(12)에 대하여 실시간으로 평가값(K)을 산출하는 경우, 4×4 정도의 화소의 값을 최소 단위로서 다루는 것이 바람직하다. 최소 단위 중에 동일 색의 화소가 2개 이상의 출력을 가지므로, 평균값을 사용하여 상기 수학식 1을 계산하면 된다.

계속해서, 크로스토크 보정 계수 산출부(2)에 대하여 설명한다. 크로스토크 보정 계수 산출부(2)에서는, 크로스토크량 산출부(1)로부터 출력되는 크로스토크량과, 사전에 구한 크로스토크 보정 계수와 크로스토크량의 관계식으로부터, 현재의 크로스토크량에 따른 크로스토크 보정 계수를 산출한다.

우선, 일반적인 크로스토크의 보정 처리 방법에 대하여, 도 8을 참조하면서 설명한다. 크로스토크는, 도 4a에 나타낸 바와 같이 세로 방향 및 가로 방향으로부터의 현상이 지배적이다. 따라서, 간단히 말하면, 상하 및 좌우 각각의 인접 화소의 신호의 몇할을 크로스토크량으로 하여, 보정 대상 화소의 신호로부터 차감하면 된다. 보정 대상 화소의 출력 신호는, 하기 수학식 3에 의해 보정할 수 있다.

상기 수학식 3에 있어서, S_crct는 보정 후의 신호, S는 보정 전의 신호, 괄호 안은 화소의 좌표 위치를 각각 나타낸다. (i, j)는 보정 대상 화소의 1 좌표이다. 또한, a, b, c 및 d는 상, 좌, 우 및 하 각각의 인접 화소에 대한 보정 계수이다. a, b, c 및 d는 각 인접 화소의 신호가 크로스토크량이 되는 비율을 나타내는 값이기도 하다.

크로스토크량이 촬영 조건이나 칩 내에서의 화소의 위치에 상관없이 일정하면, 상기의 보정 계수 a, b, c 및 d도 일정하여 좋다. 그러나, 실제로는 광원의 색 온도나 광학 조건, 칩 내의 화소 위치에 따라서 크로스토크량이 변화한다. 일반적으로는 크로스토크량이 증대하면 보정 계수도 커진다.

따라서, 본 실시 형태에서는, 미리 광학 조건이나 조명색 온도 조건 등을 바꾸어 촬영하고, 크로스토크량 산출부(1)로부터의 출력, 즉 평가값(K)에 따른 보정 계수를 산출하여, 도 9에 그래프로 나타낸 바와 같은 관계식을 작성해 둔다. 크로스토크 보정 계수 산출부(2)에서는, 크로스토크량 산출부(1)로부터 평가값(K)이 출력되면, 이러한 관계식을 참조하여, 실제로 촬영 중인 에리어에서의 크로스토크량에 따른 보정 계수를 구한다.

마지막으로 크로스토크 보정부(3)에 대하여 설명한다. 이미 설명한 바와 같이, 크로스토크는 세로 방향 및 가로 방향으로부터의 현상이 지배적이다(도 4a를 참조). 따라서, 크로스토크 보정부(3)에서는 크로스토크 보정 계수 산출부(2)에서 산출한 각 인접 화소의 보정 계수 a, b, c 및 d를 사용하여, 예를 들어 상기 수학식 3에 나타낸 보정식에 따라서, 상하 및 좌우 각각의 인접 화소의 신호의 몇할을 크로스토크량으로 하여 보정 대상 화소의 신호로부터 감산함으로써, 보정 대상 화소의 신호를 보정한다.

여기까지는 4×4 화소 정도의 크기를 최소 단위로 하여 보정 대상 화소의 크로스토크의 보정 계수를 산출하는 방법에 대하여 설명해 왔다. 그러나, 실제로는 이 정도로 미세한 입도로 보정 계수를 산출할 필요가 없는 경우도 있다. 따라서, 이하에서는 동화상 처리 대응으로서, 사전의 화상에서, 또한 어느 정도의 크기에서 보정 계수를 산출하는 방법에 대하여 설명한다.

도 10에는 어느 정도의 크기에서 보정 계수를 산출하는 영역(블록)의 일례를 나타내고 있다. 도시한 예에서는, 각 블록은 100×100 화소로 이루어지고, 1매의 촬상 화상은 6×8 블록으로 이루어지는 것으로 한다.

크로스토크량 산출부(1)에서는, 블록마다의 처리로서 RGB 및 화이트의 각 색의 화소값의 평균을 산출하면, 상기 수학식 1에 따라서 평가값(K)을 산출한다. 그리고, 후단의 크로스토크 보정 계수 산출부(2), 크로스토크 보정부(3)에서는, 보정 계수의 산출과 화소값의 보정 처리를 각각 행한다.

여기서, 도 11에 나타낸 바와 같이, 크로스토크량 산출부(1)에서 산출한 평가값(K)을 보존하기 위한 메모리(4)를 구비하고 있는 것으로 한다. 그리고, 크로스토크량 산출부(1)에서 산출한 평가값(K)을 메모리(4)에 보존하고, 어느 정도의 시상수를 갖고 평가값(K)을 갱신하여, 촬상한 데이터에 대하여 보정 처리를 실시해 간다. 100×100 화소의 블록을 처리 단위로 하면, 처리 단위 중에 동일 색의 화소가 2개 이상의 출력을 가지므로, 하기 수학식 4에 나타낸 바와 같이 평균값을 사용하여 평가값(K)을 계산하면 된다. 평가값(K)을 산출하기 위한 화소수가 많기 때문에, 데이터에 포함되는 노이즈가 많아도 평균화에 의해 정확한 평가값(K)을 얻을 수 있다.

또한, 크로스토크의 보정을 행한 후의 화상에 있어서 블록의 경계 부분에서 보정의 차이가 눈에 띄는 것 같으면, 이러한 경계 부분에서는 인접하는 블록과의 사이에서 보정 계수와의 평균을 취함으로써 보정의 차이가 눈에 띄지 않게 할 수 있다.

여기까지의 설명에서는 화이트 화소를 포함한 필터 배열로서 도 12에 나타낸 예를 사용하여 본 발명의 실시 형태에 대하여 설명해 왔지만, 본 발명의 요지는 색 코딩에 한정되는 것이 아니다. 예를 들어, 도 13a, 도 13b에 나타낸 바와 같이 RGB의 배열이 상이한 것이나, 도 13c에 나타낸 바와 같이 원색이 아니라 보색계의 색 필터를 이용한 배열이라도, 상술한 바와 마찬가지로 촬영 데이터만으로 크로스토크량을 알기 위한 평가값을 산출할 수 있고, 이 평가값에 적응한 보정 계수를 이용하여 크로스토크의 보정 처리를 행하는 것이 가능하다.

또한, 본 발명은 화이트의 신호의 인접하는 RGB의 신호에의 크로스토크량(도 4b를 참조)과, RGB의 각 신호의 화이트의 신호에의 크로스토크량(도 4c를 참조)의 평가 결과에 기초하여 각 화소의 크로스토크의 보정을 행하는 것이며, 바꿔 말하면 크로스토크량을 평가하기 위해서는 화이트 화소가 필요하다.

그러나, 촬상 소자면 전체에 걸쳐 화이트 화소가 균일하게 배열되어 있을 필요는 없으며, 부분적으로만 화이트 화소를 배치하는 것만으로도 크로스토크의 평가값의 산출이 가능하다. 도 14에는 화이트 화소를 포함하지 않는 베이어 배열(도 12a를 참조)에, 도 12b에 나타낸 바와 같은 화이트 화소를 포함하는 배열을 산재시킨 필터 배열의 일례를 나타내고 있다. 이러한 경우, 도 12b에 나타낸 배열로부터 크로스토크량을 얻을 수 있고, 이 크로스토크량을 이용하여 산출되는 크로스토크 보정 계수에 기초하여, 베이어 배열 내의 크로스토크를 보정할 수 있다.

도 15에는 베이어 배열(도 12a를 참조)을 기본으로 하는 촬상 소자면에 도 12b에 나타낸 바와 같은 평가값 산출용의 배열을 복수 배치한 모습을 모식적으로 나타내고 있다. 각각의 평가값 산출용의 배열을 사용하여 크로스토크량을 각각 평가함으로써, 촬상 소자면 전체에 걸쳐 크로스토크의 상태를 알 수 있다. 그리고, 각각의 영역에서는 인접하는 평가값 산출용의 배열로부터 얻어진 크로스토크량의 평가값에 기초하여 크로스토크 보정 계수를 결정함으로써, 적절하게 크로스토크를 보정할 수 있다.

여기서, 크로스토크량의 평가값과 보정 계수의 관계는, 도 9에 나타낸 것과 마찬가지로 미리 구해 둔다. 각각의 평가값 산출용의 배열에 대하여 평가값과 보정 계수의 관계를 구하도록 하여도 된다.

영역마다의 크로스토크의 보정은, 상기 수학식 3을 사용하여 행할 수 있다. 혹은, 보간 처리 회로(23)(도 1을 참조)에서 보간 처리한 후에, 하기 수학식 5에 나타내는 행렬 연산에 따라서 크로스토크의 보정을 행하도록 하여도 된다.

식 중, R', G', B': 보정 후의 신호,

R, G, B: 보정 전의 신호,

R₁₁, G₁₂, B₁₃, R₂₁, G₂₂, B₂₃, R₃₁, G₃₂, B₃₃: 보정 계수,

i: 촬상 소자 어레이에서의 화소의 위치이다.

촬상 소자의 화소의 배열이 도 15에 나타낸 바와 같이 부분적으로 변하는 경우, 보간 처리 회로(23)에의 변경이 필요하게 된다. 이것은 미리 결정된 화소의 위치에 있어서는 보간 방법을 전환하는 변경이어도 된다. 도 16에는 화소의 위치에 따라서 보간 방법을 전환하기 위한 촬상 장치의 구성예를 나타내고 있다. 단, 도 16에서는 관련이 있는 개소만을 추출하여 도시하고 있다. 베이어 배열에 따른 화소의 위치에서는 보간 처리 회로(23A)에서 보간 처리를 행하고, 평가값 산출용의 배열(도 12b를 참조)이 되는 화소의 위치에서는 보간 처리 회로(23B)에서의 보간 처리로 전환하도록 하면 된다.

<산업상 이용가능성>

이상, 특정한 실시 형태를 참조하면서, 본 발명에 대하여 상세하게 설명해 왔다. 그러나, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 상기 실시 형태의 수정이나 대용을 이룰 수 있는 것은 자명하다. 예를 들어 디지털 스틸 카메라나 비디오 카메라 등의 카메라 장치, 휴대 전화 등의 카메라 모듈을 탑재한 각종 전자 기기에 대해서도 본 발명을 적용할 수 있다.

본 명세서에서는 화이트 화소를 포함한 필터 배열로서 도 12에 나타낸 예를 사용하여 본 발명의 실시 형태에 대하여 설명해 왔지만, 본 발명의 요지는 이것에 한정되는 것이 아니다. 예를 들어, 도 13a, 도 13b에 나타낸 바와 같이 RGB의 배열이 상이한 것이나, 도 13c에 나타낸 바와 같이 원색이 아니라 보색계의 색 필터를 이용한 배열이라도, 상술한 바와 마찬가지로 촬영 데이터만으로 크로스토크량을 알기 위한 평가값을 산출할 수 있고, 이 평가값에 적응한 보정 계수를 이용하여 크로스토크의 보정 처리를 행하는 것이 가능하다.

요컨대, 예시라고 하는 형태로 본 발명을 개시해 온 것이며, 본 명세서의 기재 내용을 한정적으로 해석하여서는 안된다. 본 발명의 요지를 판단하기 위해서는 특허청구 범위를 참작해야만 한다.

1: 크로스토크량 산출부
2: 크로스토크 보정 계수 산출부
3: 크로스토크 보정부
10: 촬상 장치
11: 촬상 렌즈
12: 촬상 소자
13: A/D 변환기(ADC)
14: 카메라 신호 처리 회로
21: 광학계 보정 회로
22: WB(화이트 밸런스) 회로
23: 보간 처리 회로
24: 감마 보정 회로
25: Y(휘도) 신호 처리 회로
26: C(크로마) 신호 처리 회로
27: 대역 제한 LPF(저역 통과 필터)
28: 씨닝 처리 회로

Claims

촬상 소자의 보정 대상 화소로부터의 출력 신호에 포함되는 크로스토크량의 평가값을 산출하는 크로스토크량 산출부와,
상기 크로스토크량 산출부로부터 출력되는 평가값에 기초하여 크로스토크 보정 계수를 산출하는 크로스토크 보정 계수 산출부와,
상기 크로스토크 보정 계수를 사용하여, 상기 보정 대상 화소의 출력 신호에 포함되는 크로스토크량을 제거하는 크로스토크 보정부
를 포함하는, 화상 처리 장치.
제1항에 있어서, 상기 크로스토크량 산출부는 촬상 소자로부터의 출력 신호에 기초하여, 상기 보정 대상 화소의 출력 신호에 포함되는 크로스토크량의 평가값을 산출하는, 화상 처리 장치.
제1항에 있어서, 상기 크로스토크량 산출부는 인접 화소간의 출력 신호의 관계에 기초하여, 상기 보정 대상 화소로부터의 출력 신호에 포함되는 크로스토크량의 평가값을 산출하는, 화상 처리 장치.
제1항에 있어서, 상기 촬상 소자는 화이트 화소를 포함한 색 코딩을 사용하는, 화상 처리 장치.
제4항에 있어서, 상기 크로스토크량 산출부는 화이트 이외의 각 화소의 신호량의 총합과 화이트 화소의 신호량의 비율에 기초하여, 보정 대상 화소에서의 크로스토크량의 평가값을 산출하는, 화상 처리 장치.
제4항에 있어서, 상기 크로스토크량 산출부는 RGB 각 화소의 신호량에 각각 소정의 계수(α, β, γ)를 곱한 수치의 총합과 화이트 화소의 신호량에 소정의 계수(ε)를 곱한 수치의 비율에 기초하여, 보정 대상 화소에서의 상대적인 크로스토크량의 평가값을 산출하는, 화상 처리 장치.
제4항에 있어서, 상기 크로스토크량 산출부는 N×N 화소를 처리 단위로 하여(단, N은 양의 정수) 크로스토크량의 평가값을 산출하는, 화상 처리 장치.
제7항에 있어서, 상기 크로스토크량 산출부가 처리 단위마다 산출한 크로스토크량의 평가값을 보존하는 메모리를 더 포함하고,
상기 크로스토크 보정 계수 산출부, 상기 크로스토크 보정부는 상기 메모리에 보존되어 있는 이전의 프레임을 사용하여 산출된 평가값을 사용하여 보정 계수의 산출과 크로스토크의 보정을 각각 행하는, 화상 처리 장치.
제1항에 있어서, 상기 크로스토크 보정 계수 산출부는 미리 상기 크로스토크량 산출부에 의해 산출되는 크로스토크량의 평가값과 보정 계수의 관계식을 산출해 두고, 상기 크로스토크량 산출부로부터 출력되는 평가값이 출력되었을 때에, 상기 관계식을 참조하여 당해 평가값에 대응하는 보정 계수를 산출하는, 화상 처리 장치.
제1항에 있어서, 상기 크로스토크 보정부는 보정 대상 화소의 출력 신호로부터, 보정 대상 화소에 인접하지만 그 출력 신호에 대하여 상기 보정 계수를 곱한 값을 감산하여, 크로스토크량을 제거하는, 화상 처리 장치.
제1항에 있어서, 상기 촬상 소자는 화이트 화소를 포함하지 않는 배열 중에, 화이트 화소를 포함한 평가값 산출용의 배열을 복수 배치하는, 화상 처리 장치.
제11항에 있어서, 상기 크로스토크량 산출부는 각각의 평가값 산출용의 배열을 사용하여 해당하는 위치에 있어서 발생하고 있는 크로스토크량의 평가값을 각각 산출하고,
상기 크로스토크 보정 계수 산출부는 평가값 산출용의 배열이 배치된 위치마다, 상기 크로스토크량 산출부로부터 출력되는 평가값에 기초하여 크로스토크 보정 계수를 산출하고,
상기 크로스토크 보정부는 평가값 산출용의 배열 내에서는 해당하는 보정 계수를 사용하여 크로스토크의 보정을 행하고, 평가값 산출용의 배열 외의 영역에서는, 인접하는 평가값 산출용의 배열로부터 얻어진 크로스토크량의 평가값에 기초하여 결정되는 크로스토크 보정 계수를 사용하여 크로스토크의 보정을 행하는, 화상 처리 장치.
촬상 소자의 보정 대상 화소로부터의 출력 신호에 포함되는 크로스토크량의 평가값을 산출하는 크로스토크량 산출 스텝과,
상기 크로스토크량 산출 스텝에 있어서 얻어지는 평가값에 기초하여 크로스토크 보정 계수를 산출하는 크로스토크 보정 계수 산출 스텝과,
상기 크로스토크 보정 계수를 사용하여, 상기 보정 대상 화소의 출력 신호에 포함되는 크로스토크량을 제거하는 크로스토크 보정 스텝
을 포함하는, 화상 처리 방법.
색 코딩의 색 필터를 갖는 촬상 소자와,
상기 촬상 소자의 출력 신호를 처리하는 신호 처리부를 포함하고,
상기 신호 처리부는,
상기 촬상 소자의 보정 대상 화소로부터의 출력 신호에 포함되는 크로스토크량의 평가값을 산출하는 크로스토크량 산출부와,
상기 크로스토크량 산출부로부터 출력되는 평가값에 기초하여 크로스토크 보정 계수를 산출하는 크로스토크 보정 계수 산출부와,
상기 크로스토크 보정 계수를 사용하여, 상기 보정 대상 화소의 출력 신호에 포함되는 크로스토크량을 제거하는 크로스토크 보정부를 포함하는, 촬상 장치.
색 코딩의 색 필터를 갖는 촬상 소자로부터의 출력 신호의 처리를 컴퓨터 상에서 실행하도록 컴퓨터 가독 형식으로 기술된 컴퓨터 프로그램이며, 상기 컴퓨터를,
촬상 소자의 보정 대상 화소로부터의 출력 신호에 포함되는 크로스토크량의 평가값을 산출하는 크로스토크량 산출부,
상기 크로스토크량 산출부로부터 출력되는 평가값에 기초하여 크로스토크 보정 계수를 산출하는 크로스토크 보정 계수 산출부,
상기 크로스토크 보정 계수를 사용하여, 상기 보정 대상 화소의 출력 신호에 포함되는 크로스토크량을 제거하는 크로스토크 보정부로서 기능시키기 위한, 컴퓨터 프로그램.