KR101265432B1 - 촬상 소자 및 이것을 사용하는 촬상 장치 - Google Patents

Abstract

촬상 소자는, 화소들을 갖는 수광면, 및 상기 수광면의 화소들 중 미리 결정된 화소에 미리 결정된 광을 집광시키도록 구성된 로우패스 필터 장치를 포함한다.

Description

촬상 소자 및 이것을 사용하는 촬상 장치{IMAGING ELEMENT AND IMAGING APPARATUS USING THE SAME}

본 출원은 2009년 1월 26일 출원된 일본 특허 출원 제2009-014195호에 기초하며, 그 우선권을 주장하고, 그 개시가 여기서 전체가 참조용으로 사용되었다.

본 발명은, 디지털 카메라와 같은 촬상 장치에 이용되는 촬상 소자, 및 이것을 갖는 촬상 장치에 관한 것이다.

종래부터, 차의 백 모니터(back-monitor)의 용도를 위하여, 컬러 화상을 획득할 수 있는 고감도 촬상 장치가 알려져 있다. 최근, 예컨대, 노면의 젖은 상태를 고감도로 검출하기 위하여 편광 화상을 촬상할 수 있는 다기능 촬상 장치가 요구되어 왔다.

종래 기술에서, 컬러 화상 또는 편광 화상이 획득되는 경우, 촬상 소자의 화소마다 컬러 필터를 설치하고(예컨대, 일본 특허 공개 공보 제2000-278503호 참조), 또는 미소 편광자(micro-polarizer)를 배치하여(예컨대, 일본 특허 공개 공보 제2007-86720호 참조), 획득된 화상을 디모자이킹(demosaicing)하는 방법이 일반적으로 사용되었다.

그러나, 예컨대, RGB 원색 컬러 필터가 사용되는 경우, 단순하게, 각 화소에 의하여 얻어진 광량은, 필터가 사용되지 않는 경우의 광량의 1/3로 감소된다. 또한, 편광자가 사용되는 경우에서는, 각 화소에 의하여, P 편광 또는 S 편광 중 어느 하나의 광량만, 즉 전체 광량의 1/2만이 받아지므로, 각 화소에 의하여 받아진 광량은, 필터가 사용되지 않은 경우의 광량의 1/2로 감소된다. 따라서, 원리적으로 감도가 낮아진다는 문제점이 있다. 또한, 필터가 사용되지 않은 경우와 비교하여, 휘도 정보의 해상도가 저하하여, 획득된 화상이 인간의 눈에 저해상도로 보이게 된다.

상기 문제점들을 해결하기 위하여, 컬러 화상을 얻기 위한 필터 어레이에 관하여, 예컨대, 휘도 신호에 대한 인간의 눈의 감도는 색 신호에 대한 감도보다 높다는 사실을 이용하여, 휘도 정보를 획득하기 위하여 컬러 필터 어레이에 필터없는 화소가 부가되는 것이 제안되어 있다(일본 특허 제4144630호 참조).

그러나, 상기 종래 기술에서, 예컨대, 휘도 정보와 색 정보를 합성할 때, 휘도 정보에 비교하여 색 정보의 샘플링 주기가 작으면, 색 정보에 발생한 에일리어싱 노이즈(aliasing noise)에 의해 화질이 열화되어, 필터없는 화소의 비가 증가될 수 없다는 문제점이 있다.

또한, 필터를 갖는 화소의 수광량과, 필터없는 화소의 수광량 간의 큰 차이로 인하여, 필터없는 화소의 광량만이 포화되어, 정상적인 색 재현성이 달성될 수 없다는 문제점이 있다.

본 발명은, 높은 해상도 및 감도가 달성될 수 있고, 필터없는 화소의 비가 증가될 수 있으며, 정상적인 색 재현성을 달성할 수 있는 촬상 소자, 및 이 촬상 소자를 사용하는 촬상 장치를 제공하는 것이다.

상기 목표를 달성하기 위하여, 본 발명의 실시예에 따른 촬상 소자는, 화소들을 갖는 수광면, 및 상기 수광면의 화소들 중 미리 결정된 화소에 미리 결정된 광을 집광시키도록 구성된 로우패스 필터 장치를 포함한다.

도 1은 본 발명의 실시예에 따른 촬상 소자를 갖는 촬상 광학 시스템의 개략 구성도이다.
도 2a는 렌즈측에서 본 로우패스 필터를 도시하는 사시도이다.
도 2b는 촬상 소자 본체측에서 본 로우패스 필터를 도시하는 사시도이다.
도 2c는 로우패스 필터를 도시하는 단면도이다.
도 3a는 로우패스 필터의 렌즈측 회절면에서 450 nm 및 550 nm의 파장들을 갖는 광이 로우패스 필터에 입사하는 경우를 도시하는 설명도이다.
도 3b는 로우패스 필터의 렌즈측 회절면에서 650 nm의 파장을 갖는 광이 로우패스 필터에 입사하는 경우를 도시하는 설명도이다.
도 4는 로우패스 필터의 렌즈측 회절면에서, 0차광 투과율 또는 1차광 회절 효율성과, 요철 형상의 홈 깊이 간의 관계를 도시하는 도면이다.
도 5a는 로우패스 필터의 촬상 소자 본체측 회절면에서, 450nm 및 550nm의 파장들을 갖는 광이 로우패스 필터에 입사하는 경우를 도시하는 설명도이다.
도 5b는 로우패스 필터의 촬상 소자 본체측 회절면에서 650nm의 파장을 갖는 광이 로우패스 필터에 입사하는 경우를 도시하는 설명도이다.
도 6은 로우패스 필터의 촬상 소자 본체측 회절면에서, 0차광 투과율 또는 1차광 회절 효율과, 요철 형상의 홈 깊이 간의 관계를 도시하는 도면이다.
도 7은 6 x 6 주기의 필터 어레이의 구조를 설명하는 설명도이다.
도 8은 촬상 소자로 촬상된 화상을 처리하는 흐름을 도시한 도면이다.
도 9는 촬상 소자로 촬상된 화상을 처리하는 흐름을 도시한 도면이다.
도 10은 촬상 소자로 촬상된 화상을 처리하는 흐름을 도시한 도면이다.
도 11은 촬상 소자로 촬상된 화상을 처리하는 흐름을 도시한 도면이다.
도 12는 제2 실시예에서 16 x 16 주기의 필터 어레이의 구조를 설명하는 설명도이다.
도 13은 복굴절 매질에 광 빔들이 투과하는 경우, 광 빔들의 경로들을 도시하는 도면이다.
도 14a는 광 빔이 입사하는 회절 격자를 설명하는 도면이다.
도 14b는 도 14a의 B-B 선을 따른 단면도이다.
도 14c는 광 빔의 편광 방향에 따른 투과 상태를 나타내는 도면이다.
도 14d는 광 빔의 편광 방향에 따른 투과 상태를 나타내는 도면이다.
도 15는 제2 실시예의 로우패스 필터를 나타내는 단면도이다.
도 16은 로우패스 필터의 사시도이다.
도 17a는 이상 광 빔이 로우패스 필터에 입사할 때의 상태를 설명하는 설명도이다.
도 17b는 정상 광 빔이 로우패스 필터에 입사할 때의 상태를 설명하는 설명도이다.
도 18은 로우패스 필터의 촬상 소자 본체측의 회절면 상에, 정상 광 빔의 0차광 투과율 또는 1차광 회절 효율성과, 요철 형상의 홈 깊이 간의 관계를 도시하는 도면이다.
도 19는 회절 구조들이 대향 배치된 로우패스 필터를 나타내는 단면도이다.
도 20은 파장보다도 짧은 주기를 갖는 주기 구조를 갖는 로우패스 필터를 도시하는 사시도이다.
도 21은 제2 실시예에서 6 x 6 주기를 갖는 필터 어레이의 구조를 설명하는 설명도이다.
도 22는 촬상 소자로 촬상된 화상을 처리하는 흐름을 도시한 도면이다.
도 23은 촬상 소자로 촬상된 화상을 처리하는 흐름을 도시한 도면이다.
도 24는 촬상 소자로 촬상된 화상을 처리하는 흐름을 도시한 도면이다.
도 25는 촬상 소자로 촬상된 화상을 처리하는 흐름을 도시한 도면이다.
도 26a는 차량 카메라로 촬상된 화상의 예를 도시한 도면이다.
도 26b는 촬상 결과를 처리하는 방법을 설명하는 설명도이다.

이하, 본 발명의 바람직한 실시예들을 도면에 기초하여 상세히 설명한다.

본 발명의 실시예에 따른 촬상 소자는, 도 1에 도시된 바와 같이, 화소들을 갖는 수광면(15b), 로우패스 필터와 같은 로우패스 필터 장치(14), 및 수광면(15b)의 화소들 중 미리 결정된 화소 또는 미리 결정된 화소들에 미리 결정된 광을 집광하도록 구성된 로우패스 필터(LPF) 기능 등을 갖는 필터 어레이를 포함한다. 본 발명의 실시예에 따른 촬상 소자는 촬상 장치에서 사용될 수도 있다. 촬상 장치는, 렌즈 시스템(13(11)), 렌즈 시스템을 통하여 대상 화상을 형성하기 위해 대상을 촬상하도록 구성된 촬상 소자, 및 대상 화상을 화상 데이터로서 처리하도록 구성된 제어 장치(미도시)를 포함할 수도 있다.

[제1 실시예]

도 1은 본 발명의 실시예에 따른 촬상 소자를 포함하는 촬상 광학 시스템을 설명하는 구성도이다. 도 1의 좌측은 대상측을 나타내고, 도 1의 우측은 촬상면측을 나타낸다. 도면 부호 11은 하나 이상의 렌즈들로 형성된 렌즈 시스템(11)을 나타내고, 도면 부호 12는 F 번호를 약 1 내지 3 이내로 설정하는 구경 조리개(aperture stop)를 나타내고, 도면 부호 13은 하나 이상의 렌즈들로 형성된 렌즈 시스템을 나타내고, 도면 부호 15는 촬상 소자 본체를 나타낸다. 렌즈 시스템(11)은 구경 조리개(12)로부터 대상측에 배치되고, 렌즈 시스템(13)은 구경 조리개(12)로부터 촬상면측에 배치되어 있다. 렌즈 시스템(11), 구경 조리개(12), 및 렌즈 시스템(13)은 광축(L) 상에 배치된다.

광축(L) 상에는, 렌즈 시스템(13)에 가까운 측으로부터 순서대로, 로우패스 필터(14) 및 촬상 소자 본체(15)가 배치된다. 본 실시예에서, 촬상 소자 본체(15)는 분리되어 제공될 수도 있고, 또는 로우패스 필터(14)와 일체화되어 제공될 수도 있다.

다음, 촬상 소자 본체(15) 및 로우패스 필터(14)의 구조들을 상세히 설명한다.

[촬상 소자 본체(15)]

촬상 소자 본체(15)로서, CCD, CMOS 등과 같은 알려진 모노크롬 센서가 이용될 수도 있다. 촬상 소자 본체(15)는 그 용도에 따른 패키지(15c)로 보호되고, 패키지(15c)의 렌즈측 면은 커버 유리(15a)로 밀봉된다. 커버 유리(15a)로 밀봉된 패키지(15c)의 중앙 부분에, 수광면으로서 수광부(15b)가 설치된다. 수광부(15b)는, 예컨대 약 1 내지 9 마이크로미터의 미리 결정된 마이크로미터 크기를 각각이 갖는 화소들을 가질 수도 있고, 이 수광부는 수십만 화소들 또는 최근에 사용되는 약 천만 화소들을 가질 수도 있다. 패키지(15c)로서, 차량 카메라 또는 옥외 감시 카메라로서 사용하기 위하여 높은 내열성 패키지가 선택될 수도 있고, 휴대 장치로서 사용하기 위하여 소형 패키지가 선택될 수도 있다.

[로우패스 필터(14)]

로우패스 필터(14)는, 수광면(15b)의 미리 결정된 화소 또는 미리 결정된 화소들에 미리 결정된 광을 집광할 때, 미리 결정된 광의 파장 성분을 추출하도록 구성될 수도 있다.

로우패스 필터(14)는, 서로 대향하는 면들을 갖는 유리 평판 또는 수지 기판으로 형성되며, 각 면에는 회절 구조들이 제공되어 있다.

도 2a는, 렌즈 시스템들측에서 볼 때, 로우패스 필터의 단부(end portion)를도시하는 사시도이다. 렌즈 시스템(13)에 가까운 측에 배치된, 로우패스 필터(14)의 일단면는, 복수의 영역들(21a, 21b, ...)로 분할되어 있다. 각 영역(21a, 21b,...)은, 로우패스 필터(14)를 투과한 광을, 촬상 소자 본체(15)의 수광부(15b)의 복수의 화소들, 예컨대 4화소들 x 4화소들 = 16화소들에 집광시키도록 구성되어 있다.

각 영역(21a, 21b,...)에는, 동심원의 원형 회절 영역(22a, 22b, ...)이 형성되어 있다. 회절 영역(22a)은 중심으로서의 광축(23a)에 대하여 복수의 동심원의 원형 밴드들로 형성되고, 회절 영역(22b)은 중심으로서의 광축(23b)에 대하여 복수의 동심원의 원형 밴드들로 형성된다. 중심부의 원형 밴드들 간의 피치(간격)는 주변부의 것과 상이하여, 원형 밴드들 간의 피치들을 변조시킨다. 이러한 변조에 따라, 회절 영역들(22a, 22b)은 렌즈 기능을 가질 수 있다. 원형 밴드들 간의 피치 또는 간격이 감소함에 따라, 집광 능력은 더 높아진다.

도 2b는, 촬상 소자 본체(15)측에서 볼 때, 로우패스 필터(14)의 단부를 도시하는 사시도이다. 촬상 소자 본체(15)에 근접한 측에 배치된 로우패스 필터(14)의 타단면은 복수의 영역들(24a, 24b, ...)로 분할되어 있다. 각 영역(24a, 24b, ...)은 동일한 면적을 갖고, 각 영역(24a, 24b,...)은, 로우패스 필터(14)를 투과한 광을, 촬상 소자 본체의 수광부(15b)의 복수의 화소들, 예컨대, 4화소들 x 4화소들 = 16화소들에 집광시키도록 구성되어 있다. 영역들(24a, 24b, ...)은, 각각 영역들(21a, 21b, ...)의 실질적으로 대향하는 위치들에 배치되어 있다.

각 영역(24a, 24b, ...)에는, 동심원의 원형 회절 영역(25a, 25b,...)이 형성되어 있다. 회절 영역(25a)에는 중심으로서의 광축(26a)에 대하여 복수의 동심원의 원형 밴드들이 제공되고, 회절 영역(25b)에는 중심으로서의 광축(26b)에 대하여 복수의 동심원의 원형 밴드들이 제공된다.

도 2c는, 도 2a의 화살표 A의 방향에서 볼 때, 로우패스 필터(14)의 단면을 도시하는 단면도이다. 회절 구조들의 단면 형상들은 직사각형이며, 회절 영역들의 광축들(23a, 26a)은 서로 약간 상하로 어긋나도록 배치되어 있다. 회절 영역들(22a, 25a)의 유효 직경들은 서로 상이하고, 회절 영역들(22a, 25a)의 피치들의 변조 정도 및 홈 깊이들도 서로 상이하다. 로우패스 필터(14)의 일단면과 타단면의 형상들을 서로 상이하게 사용함으로써, 영역들(21a, 21b,...) 및 영역들(24a, 24b,...)을 투과한 광 빔들은, 광 빔들의 파장들에 따라, 촬상 소자 본체(15)의 수광면(15b) 상의 상이한 2점들에 집광된다.

로우패스 필터의 제작 방법으로서는, 포토리소그래피 기술을 적용하는 방법 또는, 예컨대 다이아몬드 바이트로 정밀 절삭 공정을 사용하는 방법이 사용될 수도 있다. 로우패스 필터는, 형상을 갖는 금형에 패턴을 형성하고 사출 성형함으로써, 또는 투명 재료로 복수의 회절 광학 소자들을 복제하는 소위 2P법에 의하여 제작될 수도 있다.

[렌즈 시스템에 가까운 측에 배치된, 로우패스 필터의 일단면]

렌즈 시스템(13)에 가까운 측에 배치된, 로우패스 필터(14)의 대향면의 일단면의 회절 영역들(22a, 22b,...)은, 650 nm의 파장을 갖는 광 빔에 대하여 공간적인 로우패스 필터로서의 기능을 갖는다. 여기서는, 영역(21a)을 대표예로서 설명한다. 도 3a에 도시된 바와 같이, 영역(21a)에 형성된 회절 영역(22a)은, 450 nm 또는 550 nm의 파장을 갖는 광이 로우패스 필터의 회절 영역(22a)에 입사하는 경우에는, 0차 회절광을 출사하도록 구성되고, 즉, 회절 영역(22a)은, 데드 존(dead zone) 투과로서 광을 투과하여, 촬상 소자 본체(15)의 수광부(15b)의 일부로서 수광 영역(31a)에 투과 광을 집광하도록 구성된다. 수광 영역(31a)은 16 화소들을 갖는 영역에 대응한다. 한편, 650 nm의 파장을 갖는 광이 로우패스 필터에 입사하는 경우, 도 3b에 도시된 바와 같이, 광이 1차 회절광으로서 출사되어, 수광부(15b) 상의 하나의 화소(32a)에 집광된다. 따라서, 로우패스 필터(14)의 일단면은, 450 nm과 550 nm의 파장들을 갖는 광에 대해서는 단순한 투과 소자로서 기능하고, 650 nm의 파장을 갖는 광에 대해서는 회절 소자로서 기능하도록 구성된다.

[회절 영역(22a) 등의 홈 깊이]

상술된 파장 선택성은 회절 구조들의 홈 깊이를 선택함으로써 달성될 수 있다. 회절 격자의 단면에서의 요철 형상들의 주기적인 위상차를, 로우패스 필터에 의하여 선택적으로 투과되고자 하는 미리 결정된 광의 미리 결정된 파장(예컨대, 450nm, 550nm)의 2n배(2의 배수)이도록 설정함으로써, 450nm 및 550nm의 파장들을 갖는 광에 대하여 높은 0차광 투과율이 달성될 수 있다. 도 4는, 단면의 요철 형상들을 갖는 회절 격자의 0차광 투과율 또는 1차광 회절 효율성과, 요철 형상들의 홈 깊이 간의 관계를, 450nm, 550nm, 650nm의 파장들에 대하여 도시한 도면이다. 사용된 회절 격자용 재료는 굴절률 1.45를 갖는 석영이다.

도 4에 도시된 바와 같이, 약 5.88 ㎛의 깊이에서, 450nm 및 550nm의 파장에 대한 0차광 투과율이 90% 이상이고, 650nm의 파장에 대한 1차광 회절 효율성은 약 6%이다. 예컨대, 회절 영역(22a)의 홈 깊이를 상술된 조건에 있도록 설정함으로써, 영역(21a)을 투과하는, 650nm의 파장의 평균(16 화소들에 대한 화소당 6%의 광 투과율, 즉 96%의 광 투과율)을 갖는 광이 도 3b에 도시된 화소(32a)에 집광된다. 한편, 화소(32a) 이외의 수광부(31a)의 화소들에 의하여 450nm, 550nm, 650nm의 광이 실질적으로 균일하게 수광된다.

[촬상 소자 본체에 가까운 측에 배치된, 로우패스 필터의 타단면]

촬상 소자 본체에 가까운 측에 배치된, 로우패스 필터(14)의 타단면은 회절 영역들(25a, 25b,...)을 갖는다. 각 회절 영역(25a, 25b,...)은, 주로 파장 550nm을 갖는 광에 대하여 공간적인 로우패스 필터로서 기능한다. 여기서, 영역(24a)을 대표예로서 설명한다. 영역(24a)에 형성된 회절 영역(25a)은, 도 5a에 도시된 바와 같이, 450nm 및 650nm의 파장을 갖는 광이 회절 영역(25a)에 입사한 경우에는, 실질적으로 0차 회절광을 출사하도록 구성되고, 즉, 회절 영역(25a)은, 데드 존 투과로서 450nm 및 650nm의 파장들을 갖는 광을 투과하여, 촬상 소자 본체(15)의 수광부(15b)의 일부의 수광 영역(31a)에 투과광을 집광한다. 수광 영역(31a)은 16 화소들의 영역에 해당한다. 한편, 550nm의 파장을 갖는 광이 로우패스 필터(14)에 입사하는 경우에는, 도 5b에 도시된 바와 같이, 1차 회절광이 촬상 소자 본체의 수광부(15b) 상의 하나의 화소(32b)에 집광된다. 따라서, 로우패스 필터(14)의 타단은, 450nm 및 650nm의 파장들을 갖는 광에 대해서는 단순한 투과 소자로서 기능하고, 550nm의 파장을 갖는 광에 대해서는 회절 소자로서 기능하도록 구성된다. 본 실시예에서, 회절 영역(25a)의 광축(26a)은, 회절 영역(22a)의 광축(23a)으로부터, 집광 위치에서 한 화소만큼 경사지게 어긋나도록 위치된다.

[회절 영역(25a) 등의 홈 깊이]

상술된 파장 선택성은 회절 구조들의 홈 깊이를 선택함으로써 달성될 수 있다. 회절 격자의 단면에서의 요철 형상들의 주기적인 위상차를, 로우패스 필터에 의하여 선택적으로 투과되고자 하는 미리 결정된 광의 미리 결정된 파장(예컨대, 450nm, 650nm)의 2n배(2의 배수)이도록 설정함으로써, 450nm 및 650nm의 파장들을 갖는 광에 대하여 높은 0차광 투과율이 달성될 수 있다. 도 6은, 단면의 요철 형상들을 갖는 회절 격자의 0차광 투과율 및 1차광 회절 효율성과, 요철 형상들의 홈 깊이 간의 관계를, 450nm, 550nm, 및 650nm의 파장들에 대하여 도시하는 도면이다. 사용된 회절 격자용 재료는 굴절률 1.45을 갖는 석영이다.

도 6에 도시된 바와 같이, 약 5.81㎛의 깊이에서, 450nm 및 650nm의 파장들에 대한 0차광 투과율이 90% 이상이고, 550nm의 파장에 대한 1차광 회절 효율성은 약 7%이다. 예컨대, 회절 영역(25a)의 홈 깊이를 상술된 조건에 있도록 설정함으로써, 영역(25a)을 투과하는, 550nm의 파장의 평균(16 화소들에 대하여 화소당 7%의 광 투과율, 즉 약 100%의 광 투과율)을 갖는 광이 도 5b에 도시된 화소(32b)에 집광된다. 한편, 수광부(31a) 중 화소(32b) 이외의 화소들에 의하여, 450nm, 550nm, 650nm의 광이 실질적으로 균일하게 수광된다.

예컨대, 로우패스 필터의 전면 및 후면의 영역들(21a, 24a)을 투과한 광의 광학 시스템 내에 파장 선택성을 갖는 상술된 로우패스 필터(14)를 사용함에 따라, 촬상 소자 본체(15)의 수광 영역(31a) 상의 화소(32a)에 650nm의 파장을 갖는 광이 집광되고, 화소(32b)에 550nm의 파장을 갖는 광이 집광된다. 화소들(32a, 32b) 이외의 화소들에, 450nm, 550nm, 650nm의 파장들을 갖는 광 빔들이 균일하게 입사한다. 이러한 수광 상태 하에서, 예컨대 도 8 내지 도 11을 참조하여 후술된 재구성 처리들에 의해 모노크롬 화상으로부터 컬러 화상이 형성될 수 있다.

본 실시예에서, 450nm, 550nm, 650nm의 3개 파장들이 사용되나, 여기에 이 파장들이 한정되지 않는다. 예컨대, 470nm, 520nm, 600nm의 파장들의 조합이 사용될 수 있다. 또한, 각 파장이 하나의 값을 갖지 않는 경우는, 예컨대 약 20nm의 대역폭을 가질 수도 있다. 파장들의 조합은 3개의 파장들 외에, 예컨대 약 850nm의 근적외 파장 대역을 더 가질 수 있다.

각 영역(21a, 21b, 24a, 24b) 및 각 회절 영역(22a, 22b, 25a, 25b)은 그 위치에 따라 크기 변동(화소수에 대응)을 가질 수도 있다. 즉, 촬상 렌즈 또는 구경 조리개의 광축 중심으로부터 주변 영역(광축외 영역)까지의 위치들에 따라 영역들(21a, 21b, 24a, 24b)의 크기들이 변할 수도 있다.

회절 격자의 단면 형상으로서, 본 실시예에서 직사각형 형상의 단면이 설명되었으나, 회절 격자의 단면 형상은 계단 구조를 가질 수도 있다. 또한, 회절 차수는 0차광과 1차 회절광에 제한되지 않고, 2차광 또는 고차광이 사용될 수도 있다. 또한, 로우패스 필터의 전면측 및 후면측의 회절 영역들의 광축들(23a, 26a, 23b, 26b)은 동축일 수도 있다. 이 경우, 회절 영역들(22a, 25a) 및 회절 영역들(22b, 25b)의 집광 위치들은 위상차 함수에서 서로 어긋나도록 설정된다. 또한, 로우패스 필터(14)가 회절 구조를 각각이 갖는 2개의 단면들을 갖는 경우가 본 실시예에 설명되었으나, 일단면 상에만 회절 구조가 형성될 수도 있다. 이 경우, 파장 선택성은 회절 차수의 차이를 이용하여 달성될 수 있고, 즉, 예컨대 650nm의 파장을 갖는 광이 +1차광으로서 화소에 집광되고, 550nm의 파장을 갖는 광이 -1차광으로서 +1차광이 집광되는 화소와는 상이한 화소에 집광되는 경우에 달성될 수 있다.

회절 영역의 구조는 동심원의 원형 패턴에 한정되지 않고, 선형 패턴도 사용될 수도 있다. 이 경우, 촬상 소자 본체 상에 회절광이 점이 아니라 선으로서 집광되고, 따라서 이 선형 패턴에 따라 화상 재구성이 달성될 수 있다.

또한, 로우패스 필터(14)가 렌즈 시스템(13)과 촬상 소자 본체(15) 사이에, 촬상 소자 본체로부터 분리되어 배치되는 경우가 설명되었으나, 여기에 한정되지 않는다. 예컨대, 촬상 소자 본체(15)의 커버 유리(15a)의 대체물로서, 로우패스 필터가 사용될 수도 있다. 이에 따라, 부품 갯수가 삭감될 수 있다. 또는, 로우패스 필터는 렌즈 시스템(13)의 렌즈면 상에 형성될 수도 있다. 또한, 로우패스 필터는 수광부(15b)와 일체로 형성될 수도 있다. 이 경우, 촬상 소자 본체의 위치 어긋남 등이 감소되어, 안정된 특성를 얻을 수 있다.

이하, 촬상 소자의 필터 어레이의 구조를 설명한다. 도 7에 도시된 바와 같이, 6 x 6의 모든 어레이 주기는, 어레이 주기의 중심에 배치된, 적색 광의 파장 성분을 추출하는 기능을 갖는 화소와, 청색 광의 파장 성분을 추출하는 기능을 갖는 화소를 갖는다. 여기서, 적색 광의 파장 성분을 추출하는 기능을 갖는 화소를 적 필터로 칭하고, 청색 광의 파장 성분을 추출하는 기능을 갖는 화소를 청 필터로 칭한다. 그러나, 파장 성분만을 투과하는 실제 필터가 존재하는 경우에만 한하지 않고, 상술된 회절 소자가 필터로서 사용되는 경우도 포함한다. 도 7의 필터 어레이에서, 컬러 필터 어레이들이 6 x 6 화소 주기로 연속적으로 배치되어 있다.

촬상 소자의 화소들은, 특이 화소를 각각이 갖는 복수의 주기들로 분할될 수도 있다. 필터 어레이는, 미리 결정된 파장 성분을 추출하도록 구성된 특이 화소에 집광된 광 빔의 광량이, 촬상 소자의 화소들의 1 주기 내에 입사하는 특이 화소에 인접하는 화소들에 집광된 미리 결정된 파장 성분의 광 빔들의 평균 광량보다 크다는 LPF 특성을 가질 수도 있다.

적필터와 청필터의 화소들 외의 화소들은 필터 기능을 갖지 않으나 휘도 정보를 획득하도록 구성되므로, 이후 Y 화소로서 칭한다. 중요한 점은, 적 필터의 R(적) 화소와 청 필터의 B(청) 화소는 공간적인 LPF 효과를 갖는다는 것이다. 따라서, 6 x 6의 어레이에 입사되는 적색광 강도의 평균값과, 6 x 6의 어레이에 입사되는 청색광 강도의 평균값은, 각각 적 화소 및 청 화소에 의하여 획득될 수 있다. LPF(로우패스 필터) 효과가 없는 경우에는, 이하의 처리들을 수행하여도, 색 신호들에 매우 큰 에일리어싱 노이즈가 발생하여, 화질이 크게 손상된다.

필터 기능을 갖는 화소들에 공간적 LPF 효과가 부가되어, 이 공간적 LPF 효과를 고려하여 합성 처리가 수행되어, 상술된 문제점들이 해결될 수 있다. 이 경우에서의 처리가 도 8에 도시되어 있다.

상술된 제어 장치는, 촬상 소자에 의하여 형성된 대상 화상을, 미리 결정된 화소들에 의하여 형성된 제1 화상 및 다른 화소들에 의하여 형성된 제2 화상으로 분리하는 분리 처리를 수행하도록 구성될 수도 있다. 제1 화상은 색 정보에 관한 화상일 수도 있고, 제2 화상은 휘도 정보에 관한 화상일 수도 있다.

본 제어 장치는, 분리 처리 외에, 제1 화상을 확대하여 제4 화상을 생성하는 화상 확대 처리, 및 제2 화상과 제4 화상을 합성하여 제3 화상을 형성하는 화상 합성 처리를 수행하도록 구성될 수도 있다.

본 제어 장치는, 화상 확대 처리 및 화상 합성 처리 외에, 제2 화상 및 제3 화상의 색 정보를 휘도 정보로 변환하여, RGB의 휘도값들을 갖는 제5 화상을 형성하는 화상 변환 처리를 수행하도록 구성될 수도 있다.

본 제어 장치는, 분리 처리 외에, 제1 화상을 확대하여 제4 화상을 형성하는 화상 확대 처리, 제1 화상에 LPF 처리를 가하여 제1 화상으로부터 고주파 성분을 제거하여 제6 화상을 형성하는 LPF 처리, 및 제4 화상과 제6 화상을 합성하여 제3 화상을 형성하는 화상 합성 처리를 수행하도록 구성될 수도 있다.

본 제어 장치는, 화상 확대 처리, LPF 처리, 및 화상 합성 처리 외에, 제2 화상과 제3 화상의 색 정보를 휘도 정보로 변환하여, RGB의 휘도값들을 갖는 제5 화상을 형성하는 화상 변환 처리를 수행하도록 구성될 수도 있다. LPF 처리는, 미리 결정된 화소들이 배열되는 주기에 대하여 작은 범위 내의 화소들의 휘도값들을 평균화하는 처리일 수도 있다. LPF 처리는, 화상 축소 처리와 화상 확대 처리를 포함할 수도 있다. 제3 화상은 색 정보에 관한 화상일 수도 있다.

먼저, 분리 처리가 수행된다. 분리 처리에서, 촬상 소자로부터의 신호들이 Y 화소들로 형성된 제2 화상과, R 화소들과 B 화소들로 형성된 제1 화상으로 분리된다. 이 때, Y 화소들로 형성된 제2 화상의 결함부들은 다음의 화상 합성 처리 전에 주변 Y 화소들에 의하여 보간되고, 제2 화상은 촬상 화소와 동일한 크기(화소수)를 갖는다. 다음, R 화소들 및 B 화소들로 형성된 제1 화상을 확대하여, 제1 화상이 제2 화상과 동일한 크기를 갖도록 화상 확대 처리가 실시되고, 그 후 화상 합성 처리가 수행되어 제3 화상을 형성하는 Cb, Cr(색차) 신호들을 생성한다.

다음, 제2 화상과 제3 화상을 합성한 후 제5 화상을 생성하는 화상 변환 처리가 수행된다. 화상 변환 처리에서, 예컨대 다음의 변환식이 이용된다.

여기서, Y_in은 제2 화상의 입력 데이터이고, B_in과 R_in은 제4 화상의 B 화소들과 R 화소들의 입력 신호들이고, Cb_out과 Cr_out은 제3 화상의 출력 휘도 신호들 및 색 신호들이다.

화상 변환 처리에서, 제2 화상의 Y(휘도) 신호들이 합성되고, 상술된 컬러 필터 어레이로부터 얻은 촬상 소자의 신호들을 사용하여, 제5 화상의 YCbCr 신호들로부터 취득된 컬러 화상이 취득될 수 있다.

여기서, 도 9에 도시된 처리가 수행되어, 에일리어싱 노이즈가 감소된 고품질 화상이 획득될 수도 있다.

즉, 도 9에서, 제2 화상에 LPF 처리를 가하여 제6 화상을 얻는 LPF 처리가 부가되어 있다. 본 실시예에서, 6 x 6의 필터 어레이가 사용되므로, 6 x 6 화소들을 평활화하는 필터가 LPF 처리에 대하여 사용되는 것이 바람직하다.

LPF 처리로서, 도 10에 도시된 바와 같이, 화상 확대 처리 및 화상 축소 처리가 사용되어, 고품질 화상이 달성될 수 있다. 여기서, 축소된 화상의 화상 크기는 제1 화상의 크기와 동일한 크기(즉, 촬상 소자의 특이 화소들의 화소수)이고, 확대된 화상의 화상 크기는 제4 화상과 동일한 크기인 것이 바람직하다. 도 11은 도 10에 도시된 처리들의 구체적 예로서 도시되어 있다.

다음에, 공간적 LPF 기능을 갖는 컬러 필터가 제공된 촬상 소자를 이용하여 대상 화상이 촬상된 경우와, 공간적 LPF 기능이 없는 컬러 필터가 제공된 촬상 소자를 이용하여 대상 화상이 촬상된 경우 간에, 촬상 화상들의 품질에서의 상이점들을 설명한다.

표 1(이하, "사진 1"이라고 칭함)은, 컬러 필터가 공간적 LPF 기능을 갖는 경우의 촬상 화상을 보여주고, 표 2(이하, "사진 2"이라고 칭함)는, 컬러 필터가 공간적 LPF 기능을 갖지 않는 경우의 촬상 화상을 보여준다.

[표 1]

[표 2]

사진 1의 경우는, 작은 색 번짐만 있고, 대부분의 화소들이 컬러 필터를 갖지 않기 때문 고감도가 획득될 수 있고, 또한 고 해상도의 화상이 획득될 수 있다. 한편, 사진 2의 경우는, 색 번짐이 크고, 화상의 해상도가 낮다.

비교를 위해, 종래부터 이용되는 베이어 배열(Bayer arrangement) 컬러 필터를 갖는 촬상 소자가 이용된 경우의 촬상 화상이 표 3(이하, "사진 3"이라고 칭함)에 나타나 있다. 사진 3에서, 특히, 문자의 부분을 보면, 사진 3의 해상도가 사진 1의 해상도보다 떨어진다.

[표 3]

사진 1은, 사진 2 및 사진 3과 비교하여 볼 수 있는 바와 같이, 감도가 더 높고, 해상도도 더 우수하다.

상술된 예들에서, R 및 B의 컬러 필터들이 사용되지만, 예컨대 G와 B, R과 G와 B, IR(적외)과 B 등의 컬러 필터들의 다른 조합들이 사용될 수도 있다.

여기서, 참조로, CZP(Circular Zone Plate)가 사용된 경우와의 비교를, 표 4(이하, "사진 4"로 칭함), 표 5(이하, "사진 5"라 칭함), 및 표 6(이하, "사진 6"이라 칭함)을 이용하여 설명한다.

[표 4]

[표 5]

[표 6]

사진 4는 입력 CZP 화상이고, 사진 5는 본 실시예에 따른 촬상 소자, 즉 공간적 LPF 기능을 갖는 컬러 필터를 갖는 촬상 소자를 이용하여 촬상된 화상이고, 사진 6은 베이어 배열의 컬러 필터를 갖는 촬상 소자를 사용하여 촬상된 화상이다. 사진 5에서, 사진 6과 비교해서, 위색(fake color)의 발생이 억제되고, 고 해상도가 달성될 수 있다.

본 실시예에서, 6 x 6의 필터 어레이의 주기가 사용되어 광학적 LPF에서 화소의 R 성분의 1/36을 R 화소에 모으지만, 단순히 말하면, 백색광은 전체 광량의 1/3의 R 성분을 갖는다. 즉, 백색 대상에 대해서 R 화소의 휘도는 Y 화소의 휘도의 1/3이다. 따라서, R 화소들의 S/N이 악화된다는 문제점이 있었다. 이 문제점을 해결하기 위하여, 광학적 LPF에서, 각 R 성분은 3/36을 갖도록, 즉 1/12이 R 화소들에 모이도록 필터 어레이가 구성되는 것이 바람직하다. B 화소들에 대한 구성이 동일한 것이 바람직하다.

감도가 더 필요한 경우에, 6 x 6 보다 많은 필터 어레이의 주기를 사용할 수 있다. 예컨대, 16 x 16의 주기를 갖는 필터 어레이가 사용된 경우, 색 정보의 해상도가 떨어지기 때문에, 출력 화상에 색 번짐이 발생하기 쉽다.

이 경우에서, LPF 처리에서, 1/16의 축소 처리와 16배의 확대 처리가 아니라, 필터 어레이의 주기보다 작은 계수들인 1/8의 축소 처리와 8배의 확대 처리를 수행하는 것이 바람직할 수 있다.

1/16의 축소 처리와 16배의 확대 처리가 수행된 LPF 처리의 결과가 표 7(이하, "사진 7"이라 칭함)에 나타낸다.

[표 7]

1/8의 축소 처리와 8배의 확대 처리가 수행된 LPF 처리의 결과를 표 8(이하, "사진 8"이라 칭함)에 나타낸다.

[표 8]

사진 8의 경우, 사진 7의 경우와 비교하여, 색 번짐이 억제되고, 고품질 화상이 획득될 수 있다. 즉, 필터 어레이보다 작은 계수들을 사용하는 LPF 처리를 수행함으로써, 고품질인 화상이 획득될 수 있다.

[제2 실시예]

로우패스 필터는 미리 결정된 광의 편광 방향에 따라 변하는 편광 의존성 특성을 가질 수도 있다.

로우패스 필터의 편광 의존성 특성은 미리 결정된 편광 성분만을 투과하는 특성일 수도 있다.

다음, 본 발명의 제2 실시예를 설명한다. 제1 실시예에서는 파장 선택성 로우패스 필터가 이용되지만, 본 실시예에서는 편광 선택성 로우패스 필터가 이용된다.

본 실시예에서는, 로우패스 필터(14)로서, 광 편광 선택성을 갖는 회절 격자가 형성되어 있다. 우선, 도 13을 참조하면서, 복굴절 매질에 관하여 편광된 광 빔들의 투과 특성을 설명한다. 도 13은, 광 빔들이 일반적인 복굴절 매질에 입사하여 투과하는 경우의 광 빔들의 경로들을 나타내는 도면이다. 광 빔들이 복굴절 매질에 입사하면, 광 빔들의 편광에 따라 광 빔들의 방향이 변화된다. 즉, 도 13에 도시된 바와 같이, 복굴절 매질에 대하여 도 13의 면에 평행한 방향으로 편광된 광 빔은, 방향의 변화없이 복굴절 매질을 통과한다. 이 광 빔을 정상 광 빔 또는 정규 광 빔이라 칭한다. 한편, 복굴절 매질에 대하여 도 13의 면에 수직인 방향으로 편광된 광 빔은 방향이 변화하여 복굴절 매질을 투과한다. 이 광 빔을 이상 광 빔 또는 특이광이라고 칭한다.

[편광 선택성 회절 격자]

복굴절 매질을 이용한 이러한 편광 선택성 회절 격자를 설명한다. 도 14a는 광 빔이 입사하는 측에서의 회절 격자의 면을 도시하는 도면이고, 도 14b는 도 14a의 B-B선을 따른 단면도이다.

도 14b에 도시된 회절 격자는, 등방성 매질(81), 복굴절 매질(82), 및 등방성 매질(81)과 복굴절 매질을 사이에 끼우도록 배치된 유리들(83)을 포함한다. 복굴절 매질(82)은 복수의 동심원의 원형 밴드들을 갖고(도 14a), 각 원형 밴드는 단면이 직사각형이다. 도 14a의 B-B 선에 따른 단면에서, 복굴절 매질은 요철 형상들을 갖는다. 등방성 매질(81)은, 복굴절 매질의 형상에 관하여 상보적인 형상을 갖고, 복굴절 매질(82)의 요철 형상들의 면들과 접촉 상태에 있다.

도 14a와 도 14b를 참조하여, 편광 선택성 회절 격자를 이용한 집광 기능을 설명한다. 도 14c 및 도 14d 각각은, 편광된 광 빔들의 편광 방향들에 따라 광 빔들의 투과 상태를 설명하는 도면이다. 도 14b에 도시된 바와 같이, 복굴절 매질(82)은, 복굴절 매질에 입사하는 광 빔들의 편광 방향들에 따라 "no"와 "ne"의 굴절률들을 갖는다. 여기서, no는 정상 광 빔에 대한 굴절률(정상 굴절률)이고, ne는 이상 광 빔에 대한 굴절률(이상 굴절률)이다.

등방성 매질의 굴절률(n1)이 ne와 동일하도록, 등방성 매질(81)과 복굴절 매질(82)을 선택하여 편광 선택성 회절 격자가 제작되는 경우를 설명한다. 광 빔의 편광 방향이 이상 광 빔의 편광 방향과 동일하도록 광 빔이 회절 격자에 입사하면, 등방성 매질(81)의 굴절률은 복굴절 매질의 굴절률과 동일하여, 광 빔은 아무런 영향 없이 투과할 수 있다. 한편, 광 빔의 편광 방향이 이상 광 빔의 편광 방향에 수직이도록, 즉 광 빔의 편광 방향이 정상 광 빔의 편광 방향과 동일하도록 광 빔이 회절 격자에 입사하면, 등방성 매질(81)과 복굴절 매질의 굴절률들은 서로 상이하다. 따라서, 회절 격자의 등방성 매질과 복굴절 매질(82)의 경계면들의 형상들에 의해서 회절이 발생하고, 광 빔의 방향이 변한다. 도 14c 및 도 14d에 도시된 바와 같이, 입사 광 빔의 편광에 따라서 데드 존 투과 또는 집광이 선택된다.

[로우패스 필터(14)]

본 실시예에 따른 로우패스 필터(14)는, 상술된 편광 선택성 회절 격자의 구성 및 기능을 갖는다. 즉, 로우패스 필터(14)는, 도 15에 도시된 단면 구조를 가지며, 유리판 또는 수지 기판(91) 상에 복굴절 매질을 이용하여 회절 구조들(92)이 형성되어 있다. 등방성 매질(93)이 상보적으로 추가되고, 회절 격자는 유리판 또는 수지 기판(94)으로 밀봉되어 있다. 광 빔은 밀봉 유리판(94)에 입사된다.

도 16은, 렌즈 시스템 측에서 볼 때, 로우패스 필터(14)의 단부를 도시하는 사시도이다. 이 도면에서, 단순성을 위하여, 유리판(94) 및 등방성 매질(93)은 생략되어 있다. 로우패스 필터(14)는 복수의 영역들(101a, 101b, ...)로 분할되어 있고, 각 영역은 동일한 면적을 갖는다. 각 영역(101a, 101b, ...)은, 로우패스 필터(14)를 투과한 광을, 수광부의 복수의 화소들, 예컨대 4화소들 x 4화소들 = 16화소들에 집광시키도록 구성되어 있다.

각 영역(101a, 101b,...)에는, 동심원의 원형 회절 영역(102a, 102b, ...)이 형성되어 있다. 회절 영역(102a)은 중심으로서의 광축(103a)에 대하여 복수의 동심원의 원형 밴드들로 형성되고, 회절 영역(102b)은 중심으로서의 광축(103b)에 대하여 복수의 동심원의 원형 밴드들로 형성된다. 원형 밴드들 간의 피치(간격)는 중심부에서 주변부로 감에 따라 변하여, 원형 밴드들 간의 피치들을 변조시킨다. 이러한 변조에 따라, 회절 영역들은 렌즈 기능을 가질 수 있다. 원형 밴드들 간의 피치 또는 간격이 감소함에 따라 집광 성능이 더 높아진다.

로우패스 필터(14)를 제작하는 방법으로서, 포토리소그래피 기술을 적용하는 방법, 또는 예컨대 다이아몬드 바이트로 정밀 절삭하는 공정을 사용하는 방법이 사용될 수도 있다. 로우패스 필터는, 금형에 패턴을 형성하고 사출 성형함으로써, 또는 투명 재료로 복수의 회절 광학 소자들을 복제하는 소위 2P법에 의하여 제작될 수도 있다.

[로우패스 필터의 회절 영역]

로우패스 필터(14)의 회절 영역들(102a, 102b,...)은 주로, 정상 광의 편광 방향을 갖는 광 빔에 대하여 공간적인 로우패스 필터로서 기능을 갖는다. 여기서는, 영역(101a)을 대표예로서 설명한다. 도 17a에 도시된 바와 같이, 영역(101a)에 형성된 회절 영역(22a)은, 이상 광 빔의 편광 방향을 갖는 광이 로우패스 필터의 회절 영역(102a)에 입사하는 경우에는, 실질적으로 0차 회절광을 출사하도록 구성되고, 즉, 회절 영역(102a)은 데드 존 투과로서 광을 투과하여, 투과광을 촬상 소자 본체(15)의 수광부(15b)의 일부로서 수광 영역(111a)에 집광하도록 구성된다(도 1 참조). 수광 영역(111a)은 16 화소들을 갖는 영역에 대응한다. 한편, 정상 광 빔이 로우패스 필터에 입사하는 경우, 도 17b에 도시된 바와 같이, 광 빔은 1차 회절광으로서 출사되어, 수광부(15b) 상의 하나의 화소(112a)에 집광된다. 따라서, 로우패스 필터(14)는 이상 광 빔에 대하여 단순한 투과 소자로서 기능하고, 정상 광 빔에 대해서는 회절 소자로서 기능하도록 구성된다.

[회절 영역(25a)의 홈 깊이]

상술된 편광 선택성은, 회절 구조들의 홈 깊이, 정상 광 빔의 굴절률(no), 이상 광 빔에 대한 굴절률(ne), 및 등방성 매질의 굴절률(n1)을 선택함으로써 달성될 수 있다. ne = n1이도록 굴절률들(ne, n1)을 선택함으로써, 이상 광 빔에 대한 데드 존 투과가 달성될 수 있다.

도 18은, 단면 요철의 형상들을 갖는 회절 격자의 정상 광 빔에 대한 0차광 투과율 또는 1차광 회절 효율성과, 요철 형상들의 홈 깊이 간의 관계를 도시하는 도면이다. 굴절률들은 no=1.75 및 ne=1.45이다.

약 1.86㎛의 깊이에서, 0차광 투과율이 90% 이상이고, 1차광 회절 효율성은 약 7%이다. 예컨대, 회절 영역의 홈 깊이를 상술된 조건에 있도록 설정함으로써, 도 17b의 화소(112a)에만 정상 광 빔이 집광되고, 이 광은 영역(111a)을 통과하는 정상광의 평균을 갖는다. 한편, 수광부(121a)의 화소(112a) 이외의 화소들에 의하여, 정상 광 빔과 이상 광 빔이 실질적으로 균일하게 수광된다.

편광 선택성을 갖는 상술된 로우패스 필터(14)를 사용함으로써, 예컨대, 로우패스 필터(14)의 영역(101a)을 통과한 광은, 촬상 소자 본체(15)의 수광 영역(111a)의 화소(112a)에 정상 광 빔으로서 집광된다. 다른 화소들에는, 이상 광 빔의 광이 균일하게 집광된다. 이러한 수광 또는 집광 상태에 의하여, 도 8 내지 도 11을 참조하여, 상술된 재구성 처리에서 모노크롬 촬상을 이용하여 편광 화상이 형성될 수 있다.

본 실시예에서, 회절 구조가 형성되는 면이 1면인 경우를 설명했지만, 회절 구조는 2면들에 형성될 수도 있다. 즉, 도 19에 도시된 바와 같이, 복굴절 매질의 회절 구조(92)가 형성된 판(91) 외에, 로우패스 필터는, 판(91)의 대향면에, 회절 구조(92')가 형성된 판(91')을 가질 수도 있고, 등방성 매질(93)이 그 사이에 추가되어 있다. 또한, 제1 실시예에 설명된 바와 같이, 각 회절면의 집광 위치가 서로 어긋나, 정상 광 빔 및 이상 광 빔이 따로 집광되도록, 각 회절면들을 설정할 수 있다.

각 영역은 그 위치에 따라 크기 변동(화소수에 대응하는)을 가질 수도 있다. 즉, 영역(101a)의 크기는, 촬상 렌즈 또는 구경 조리개의 광축 중심으로부터 주변 영역(광축 외 영역)으로의 위치에 따라 변할 수도 있다.

회절 격자의 단면 형상으로서, 본 실시예에서 직사각형 형상의 단면을 설명하였으나, 회절 격자의 단면 형상은 계단 형상을 가질 수도 있다. 또한, 회절 차수는 0차광에 한정되지 않고, 1차 회절광 및 2차광 또는 고차광이 사용될 수도 있다.

회절 영역의 구조는 동심원의 원형 패턴에 한정되지 않고, 선형 패턴도 사용될 수도 있다. 이 경우, 회절광이 촬상 소자 본체 상에 점이 아니라 선으로서 집광되고, 따라서 선형 패턴에 따라 화상 재구성이 달성될 수 있다.

본 실시예에서, 렌즈 시스템(13)과 촬상 소자 본체(15) 사이에 로우패스 필터(14)가 촬상 소자 본체(15)로부터 분리되어 배치되지만, 이것에 한정되지 않는다. 예컨대, 촬상 소자 본체(15)의 커버 유리(15a) 대신으로서, 로우패스 필터가 사용될 수도 있다.

또한, 편광 선택성 회절 격자는 상술된 등방성 재료와 복굴절 재료의 조합에 한정되지 않고, 서브 파장 구조를 사용하는 회절 격자가 사용될 수도 있다. 즉, 도 20에 도시된 바와 같이, 편광 선택성은, 판(91) 상에 형성된 구조의 파장보다 큰 피치를 갖는 회절 구조(92)에, 파장보다도 짧은 주기(λ)를 갖는 주기 구조를 중첩시킴으로써 달성될 수 있다. 이러한 방법을 이용함으로써, 편광 선택성 회절 격자의 단순한 구조가 달성될 수 있어, 로우패스 필터의 저비용화 및 박형화가 달성될 수 있다.

제1 화상은 편광 정보에 관한 화상일 수도 있고, 제2 화상은 휘도 정보에 관한 화상일 수도 있다.

이하, 촬상 소자의 필터 어레이의 구조를 설명한다. 도 21에 도시된 바와 같이, 6 x 6의 모든 어레이 주기는, 어레이 주기의 중앙에 P 편광을 투과하도록 구성된 필터를 갖는 화소와, S 편광을 투과하도록 구성된 필터를 갖는 화소를 갖는다. 다른 화소들(Y 화소라 칭함)은 필터 기능을 갖지 않는다. S 편광된 필터와 P 편광된 필터는 공간적인 LPF 효과도 갖고, 따라서 6 x 6의 어레이에 입사하는 S 편광의 강도의 평균값과, 6 x 6의 어레이에 입사되는 P 편광의 강도의 평균값이 획득될 수 있다는 것이 중요하다. LPF 효과가 없는 경우에는, 다음의 처리들을 수행하는 경우라도, 편광 정보에 매우 큰 에일리어싱 노이즈가 발생하고, 따라서 정보량이 크게 감소된다. 편광을 투과하도록 구성된 실제 필터가 존재한다는 경우에만 한정되지 않고, 상술된 회절 소자, SWS 등은 필터 기능을 가질 수도 있다.

본 실시예에서의 처리들로서, 도 22에 도시된 바와 같이, 특이 화소들의 분리 처리가 수행된다. 분리 처리에서, 촬상 소자로부터의 신호들은 Y 화소들로 형성된 제2 화상과, S 편광 화소들과 P 편광 화소들로 형성된 제1 화상으로 분리된다. 이 때, Y 화소들로 형성된 제2 화상에서의 결함부들은 다음의 화상 합성 처리 전에 주변의 Y 화소들에 의하여 보간되고, 제2 화상은 촬상 소자의 크기와 동일한 크기(화소수)(예컨대, 상기 예에 도시된 바와 같이, 640 x 480)를 갖는다.

다음, 제1 화상이 제2 화상의 크기와 동일한 크기를 갖도록 S 편광 화소들과 P 편광 화소들로 형성된 제1 화상을 확대하는 화상 확대 처리가 수행되고, 그 후 화상 합성 처리가 수행되어 제3 화상을 형성하고, 따라서 제3 화상을 구성하는 휘도 정보와 대응하는 편광 정보가 획득될 수 있다.

일반적으로, 차의 슬립 방지를 위하여 젖은 노면을 검지하기 위하여 편광 정보가 사용되는 경우에는, 편광 정보는 휘도 정보와 동일한 해상도를 가질 필요는 없으나, 화상을 표시하거나, 노면 검지 처리를 행하는 데 휘도 정보가 사용되므로, 휘도 정보가 고해상도를 가질 필요가 있다. 이 경우, 본 실시예의 방법은, 고해상도의 휘도 정보와, 저해상도를 갖지만 에일리어싱 노이즈가 발생하지 않은 편광 정보가 하나의 촬상 장치로 취득될 수 있기 때문에 바람직하다.

화상 합성 처리는, 단순히, 동일한 화소수를 갖는 휘도 정보와 편광 정보를 서로 패킹하는 단계, 및 그 후 이 정보를 다음 장치에 전달하는 단계를 포함할 수도 있다. 화상 합성 처리는 또한, 편광 정보를 색차 정보에 할당하거나 제공하여, 컬러 편광 정보를 표시하도록 할 수도 있다.

도 23은, 제1 내지 제3 화상들이 실제 데이터에 할당되거나 제공되는 예를 도시한다. 상술된 필터 어레이가 사용되는 경우가 도 24의 처리 흐름도에 보다 구체적으로 도시되어 있다.

제어 장치는, 분리 처리 외에, 제4 화상을 형성하기 위하여 제2 화상을 축소하는 화상 축소 처리와, 제3 화상을 형성하기 위하여 제1 및 제4 화상들을 합성하는 화상 합성 처리를 수행하도록 구성될 수도 있다.

휘도 정보가 고 해상도를 가질 것이 요구되지 않는 경우, 도 25에 도시된 방법이 또한 바람직하다. 즉, 우선, 특이 화소들의 분리 처리가 수행된다. 분리 처리에서, 촬상 소자로부터의 신호들은 S 편광 화소들로 형성된 제2 화상과, P 편광 화소들로 형성된 제1 화상으로 분리된다. 이 때, 다음의 화상 합성 처리 전에, Y 화소들로 형성된 제2 화상의 결함부들은 주변의 Y 화소들로 보간되고, 제2 화상은 촬상 소자와 동일한 크기(화소수), 예컨대 640 x 480 화소들을 갖는다. 다음, 휘도 정보의 제2 화상을 축소시키는 화상 축소 처리가 수행되어, 제2 화상은 S 화소들과 P 화소들로 형성된 제1 화상과 동일한 크기를 가져, 제4 화상을 형성한다. 다음, 제4 화상과 제1 화상으로부터 휘도 정보와 대응하는 편광 정보에 의하여 구성된 제3 화상을 생성하도록 화상 합성 처리가 수행된다.

다음, 예컨대, 차량 카메라 등에 대하여, 도 26a에 도시된 바와 같이, 화면의 상측에 신호등의 색을 검출하기 위한 색 검출 기능이 필요하고, 화면의 하측에 편광 정보를 이용함으로써 젖은 노면을 검출하는 기능이 필요하다.

이 경우, 도 26b에 도시된 바와 같이, 예컨대, 촬상 소자의 상측에, 컬러 화상을 취득하기 위해 제1 실시예의 필터 어레이가 제공되고, 촬상 소자의 하측은, 로우패스 필터가 미리 결정된 광을 집광할 때 미리 결정된 광의 파장 성분을 추출하도록 구성되는 구성, 또는 각 영역에서 사용될 상이한 필터 어레이들의 다른 조합들에 의하여 형성되는 것이 바람직할 수도 있다.

본 발명의 실시예예 따르면, 촬상 소자의 수광부 상의 미리 결정된 화소에 미리 결정된 광을 집광하도록 구성된 로우패스 필터가 제공되므로, 촬상 소자의 높은 해상도 및 감도가 달성될 수 있다. 또한, 필터없는 화소들의 비율이 증가될 수 있고, 정상적인 색 재현성을 달성할 수 있는 촬상 소자가 제공될 수 있다.

Claims (15)

1. 촬상 소자로서,
   화소들을 갖는 수광면; 및
   상기 수광면의 상기 화소들 중 미리 결정된 화소에 미리 결정된 광을 집광시키도록 구성된 로우패스 필터 장치
   를 포함하고,
   상기 로우패스 필터 장치는, 상기 미리 결정된 광을 집광시킬 때, 상기 미리 결정된 광의 파장 성분을 추출하도록 구성되고,
   상기 로우패스 필터 장치는, 상기 수광면의 상기 화소들에, 상기 미리 결정된 광의 파장 성분 이외의 다른 파장 성분의 광을 수광시키도록 구성된 것인 촬상 소자.
2. 삭제
3. 촬상 소자로서,
   화소들을 갖는 수광면; 및
   상기 수광면의 상기 화소들 중 미리 결정된 화소에 미리 결정된 광을 집광시키도록 구성된 로우패스 필터 장치
   를 포함하고,
   상기 로우패스 필터 장치는, 상기 미리 결정된 광의 편광 방향에 따라 변하는 편광 의존성 특성을 갖는 것인 촬상 소자.
4. 제 3 항에 있어서, 상기 로우패스 필터 장치의 상기 편광 의존성 특성은 미리 결정된 편광 성분만을 투과시키는 특성인 것인 촬상 소자.
5. 제 1 항에 있어서, 상기 촬상 소자의 상기 화소들은, 각각이 특이 화소를 갖는 복수의 주기들로 분할되고,
   상기 로우패스 필터 장치는, 미리 결정된 파장 성분을 추출하도록 구성된 상기 특이 화소에 집광된 광 빔의 광량이, 상기 촬상 소자의 상기 화소들의 1 주기 내에 입사하는 상기 특이 화소에 인접하는 화소들에 집광된 상기 미리 결정된 파장 성분의 광 빔들의 평균 광량보다 크다는 LPF 특성을 갖는 것인 촬상 소자.
6. 촬상 장치로서,
   렌즈 시스템;
   상기 렌즈 시스템을 통해 대상 화상을 형성하기 위해 대상을 촬상하도록 구성된 촬상 소자; 및
   상기 대상 화상을 화상 데이터로서 처리하도록 구성된 제어 장치
   를 포함하고,
   상기 촬상 소자는, 화소들을 갖는 수광면, 및 상기 수광면의 상기 화소들 중 미리 결정된 화소에 미리 결정된 광을 집광시키도록 구성된 로우패스 필터 장치를 포함하고,
   상기 로우패스 필터 장치는, 상기 미리 결정된 광을 집광시킬 때, 상기 미리 결정된 광의 파장 성분을 추출하도록 구성되고,
   상기 로우패스 필터 장치는, 상기 수광면의 화소들에, 상기 미리 결정된 광의 파장 성분 이외의 다른 파장 성분의 광을 수광시키도록 구성되고,
   상기 제어 장치는, 상기 촬상 소자에 의하여 형성된 상기 대상 화상을, 상기 미리 결정된 화소로 형성된 제1 화상과, 상기 미리 결정된 화소 이외의 화소들로 형성된 제2 화상으로 분리하는 분리 처리를 수행하도록 구성된 것인 촬상 장치.
7. 제 6 항에 있어서, 상기 제1 화상은 색 정보에 관한 화상이고, 상기 제2 화상은 휘도 정보에 관한 화상인 것인 촬상 장치.
8. 촬상 장치로서,
   렌즈 시스템;
   상기 렌즈 시스템을 통해 대상 화상을 형성하기 위해 대상을 촬상하도록 구성된 촬상 소자; 및
   상기 대상 화상을 화상 데이터로서 처리하도록 구성된 제어 장치
   를 포함하고,
   상기 촬상 소자는, 화소들을 갖는 수광면, 및 상기 수광면의 상기 화소들 중 미리 결정된 화소에 미리 결정된 광을 집광시키도록 구성된 로우패스 필터 장치를 포함하고,
   상기 제어 장치는, 상기 촬상 소자에 의하여 형성된 상기 대상 화상을, 상기 미리 결정된 화소로 형성된 제1 화상과, 상기 미리 결정된 화소 이외의 화소들로 형성된 제2 화상으로 분리하는 분리 처리를 수행하도록 구성되고,
   상기 제1 화상은 편광 정보에 관한 화상이고, 상기 제2 화상은 휘도 정보에 관한 화상인 것인 촬상 장치.
9. 촬상 장치로서,
   렌즈 시스템;
   상기 렌즈 시스템을 통해 대상 화상을 형성하기 위해 대상을 촬상하도록 구성된 촬상 소자; 및
   상기 대상 화상을 화상 데이터로서 처리하도록 구성된 제어 장치
   를 포함하고,
   상기 촬상 소자는, 화소들을 갖는 수광면, 및 상기 수광면의 상기 화소들 중 미리 결정된 화소에 미리 결정된 광을 집광시키도록 구성된 로우패스 필터 장치를 포함하고,
   상기 제어 장치는, 상기 촬상 소자에 의하여 형성된 상기 대상 화상을, 상기 미리 결정된 화소로 형성된 제1 화상과, 상기 미리 결정된 화소 이외의 화소들로 형성된 제2 화상으로 분리하는 분리 처리를 수행하도록 구성되고,
   상기 제어 장치는, 상기 분리 처리 외에, 상기 제1 화상을 확대하여 제4 화상을 생성하는 화상 확대 처리, 및 상기 제2 화상과 상기 제4 화상을 합성하여 제3 화상을 생성하는 화상 합성 처리를 수행하도록 구성된 것인 촬상 장치.
10. 제 9 항에 있어서, 상기 제어 장치는, 상기 화상 확대 처리 및 상기 화상 합성 처리 외에, 상기 제2 화상 및 상기 제3 화상의 색 정보를 휘도 정보로 변환시켜, RGB의 휘도값들을 갖는 제5 화상을 생성하는 화상 변환 처리를 수행하도록 구성된 것인 촬상 장치.
11. 촬상 장치로서,
    렌즈 시스템;
    상기 렌즈 시스템을 통해 대상 화상을 형성하기 위해 대상을 촬상하도록 구성된 촬상 소자; 및
    상기 대상 화상을 화상 데이터로서 처리하도록 구성된 제어 장치
    를 포함하고,
    상기 촬상 소자는, 화소들을 갖는 수광면, 및 상기 수광면의 상기 화소들 중 미리 결정된 화소에 미리 결정된 광을 집광시키도록 구성된 로우패스 필터 장치를 포함하고,
    상기 제어 장치는, 상기 촬상 소자에 의하여 형성된 상기 대상 화상을, 상기 미리 결정된 화소로 형성된 제1 화상과, 상기 미리 결정된 화소 이외의 화소들로 형성된 제2 화상으로 분리하는 분리 처리를 수행하도록 구성되고,
    상기 제어 장치는, 상기 분리 처리 외에, 상기 제2 화상을 축소하여 제4 화상을 생성하는 화상 축소 처리, 및 상기 제1 화상과 상기 제4 화상을 합성하여 제3 화상을 생성하는 화상 합성 처리를 수행하도록 구성된 것인 촬상 장치.
12. 촬상 장치로서,
    렌즈 시스템;
    상기 렌즈 시스템을 통하여 대상 화상을 형성하기 위하여 대상을 촬상하도록 구성된 촬상 소자; 및
    상기 대상 화상을 화상 데이터로서 처리하도록 구성된 제어 장치
    를 포함하고,
    상기 촬상 소자는, 화소들을 갖는 수광면, 및 상기 수광면의 상기 화소들 중 미리 결정된 화소에 미리 결정된 광을 집광시키도록 구성된 로우패스 필터 장치를 포함하고,
    상기 제어 장치는, 상기 촬상 소자에 의하여 형성된 상기 대상 화상을, 상기 미리 결정된 화소로 형성된 제1 화상과, 상기 미리 결정된 화소 이외의 화소들로 형성된 제2 화상으로 분리하는 분리 처리를 수행하도록 구성되고,
    상기 제어 장치는, 상기 제1 화상을 확대하여 제4 화상을 생성하는 화상 확대 처리, 상기 제2 화상에 LPF 처리를 가하여 상기 제2 화상으로부터 고주파 성분을 제거하여 제6 화상을 생성하는 LPF 처리, 및 상기 제4 화상과 상기 제6 화상을 합성하여 제3 화상을 생성하는 화상 합성 처리를 수행하도록 구성된 것인 촬상 장치.
13. 제 12 항에 있어서, 상기 제어 장치는, 상기 화상 확대 처리, 상기 LPF 처리및 상기 화상 합성 처리 외에, 상기 제2 화상 및 상기 제3 화상의 색 정보를 휘도 정보로 변환시켜, RGB의 휘도값들을 갖는 제5 화상을 생성하는 화상 변환 처리를 수행하도록 구성되는 것인 촬상 장치.
14. 제 12 항에 있어서, 상기 LPF 처리는, 상기 미리 결정된 화소가 배열되는 주기에 대하여 상기 주기보다 작은 범위 내의 화소들의 휘도값들을 평균화하는 처리인 것인 촬상 장치.
15. 제 12 항에 있어서, 상기 LPF 처리는, 화상 축소 처리와 화상 확대 처리를 포함하는 것인 촬상 장치.

Images