KR20120111919A - 3차원 촬상 장치 - Google Patents

Abstract

3차원 촬상 장치는, 복수의 편광 영역 및 비편광 영역을 갖는 광 투과부(2)와, 광 투과부(2)를 투과한 광을 받는 고체 촬상 소자(1)와, 고체 촬상 소자(1)의 촬상면(1a)에 상을 형성하는 결상부(3)와, 화상 생성부를 구비한다. 광 투과부(2)는, 특정한 방향으로 편광한 광을 투과시키는 n개(n은 2 이상의 정수)의 편광 영역 P(1), P(2), …, P(n)과, 광을 편광 방향에 관계없이 투과시키는 비편광 영역 P(n+1)을 갖고 있다. n개의 편광 영역의 투과축의 방향은, 서로 다르다. 고체 촬상 소자(1)는, 각각이 (n+1)개의 화소를 포함하는 복수의 화소 블록으로 분할된 화소 어레이, 및 (n+1)개의 화소 중 n개의 화소에 각각 대향하여 배치된 투과축의 방향이 서로 다른 n개의 편광 필터를 포함하는 필터 어레이를 갖고 있다. 화상 생성부는, 각 화소로부터 출력되는 화소 신호에 근거하여, n개의 편광 영역 및 비편광 영역의 각각에 입사한 광에 의한 화상을 생성한다.

Description

3차원 촬상 장치{THREE-DIMENSIONAL IMAGE CAPTURE DEVICE}

본 발명은 하나의 광학계와 하나의 촬상 소자를 이용하여 시차(視差)를 갖는 복수의 화상을 취득하는 단안(單眼)의 3차원 촬상 기술에 관한 것이다.

최근, CCD나 CMOS 등의 고체 촬상 소자(이하, 「촬상 소자」라고 칭하는 경우가 있다)를 이용한 디지털 카메라나 디지털 캠코더의 고기능화, 고성능화는 주목할 만하다. 특히 반도체 제조 기술의 진보에 따라, 촬상 소자에 있어서의 화소 구조의 미세화가 진행되고 있다. 그 결과, 촬상 소자의 화소 및 구동 회로의 고집적화가 도모되고 있다. 이 때문에, 짧은 기간에, 촬상 소자의 화소수는, 100만 화소 정도로부터 1000만 화소 이상으로 현저하게 증가했다. 또한, 촬상에 의해 얻어지는 화상의 질도 비약적으로 향상하고 있다. 한편, 표시 장치에 관하여, 박형 액정이나 플라즈마에 의한 디스플레이에 의해, 장소를 차지하지 않고, 고해상도로 고콘트라스트의 표시가 가능해져, 높은 성능이 실현되고 있다. 이러한 영상의 고품질화의 흐름은, 2차원 화상으로부터 3차원 화상으로 넓어지고 있다. 최근에는, 편광 안경을 필요로 하지만, 고화질의 3차원 표시 장치가 개발되기 시작하고 있다.

3차원 촬상 기술에 관하여, 단순한 구성을 갖는 대표적인 것은, 2개의 카메라로 구성되는 촬상계를 이용하여, 우안용 화상 및 좌안용 화상을 각각 취득한다고 하는 것이다. 이러한, 소위 2안 촬상 방식에서는, 카메라를 2개 사용하기 때문에, 촬상 장치가 대형이 되어, 비용도 높아질 수 있다. 그래서, 하나의 카메라를 이용하여 시차를 갖는 복수의 화상을 취득하는 방식이 연구되고 있다. 예컨대, 특허 문헌 1에는, 투과축의 방향이 서로 직교하는 2장의 편광판과 회전하는 편광 필터를 이용한 방식이 개시되어 있다.

도 8은 당해 방식에 의한 촬상계의 구성을 나타내는 모식도이다. 촬상 장치는, 0도 편광의 편광판(11), 90도 편광의 편광판(12), 반사경(13), 하프미러(14), 원형의 편광 필터(15), 원형의 편광 필터를 회전시키는 구동 장치(16), 광학 렌즈(3), 광학 렌즈에 의해 결상된 상을 취득하는 촬상 장치(9)를 구비하고 있다. 여기서, 하프미러(14)는, 편광판(11)을 투과하여 반사경(13)에서 반사된 광을 반사하고, 편광판(12)을 투과한 광을 투과시킨다. 이상의 구성에 의해, 서로 떨어진 장소에 배치된 편광판(11, 12)을 각각 투과한 광은, 하프미러(14), 원형의 편광 필터(15), 및 광학 렌즈(3)를 경유하여 촬상 장치(9)에 입사하여, 화상이 취득된다. 이 방식에 있어서의 촬상의 원리는, 원형의 편광 필터(15)를 회전시키는 것에 의해, 2장의 편광판(11, 12)의 각각에 입사한 광을 각각의 타이밍에 포착하여, 시차를 갖는 2개의 화상을 취득한다고 하는 것이다.

그러나, 상기 방식에서는, 원형의 편광 필터(15)를 회전시키면서, 시간 분할에 의해 다른 위치의 화상을 촬상하기 때문에, 시차를 갖는 2개의 화상을 동시에 취득할 수 없다고 하는 과제가 있다. 또한, 기계적 구동을 이용하기 때문에, 내구성에 문제가 있을 수 있다. 게다가, 전체 입사광을 편광판 및 편광 필터로 받기 때문에, 촬상 장치(9)가 받는 광의 양(수광량)이 50% 이상이나 저하된다고 하는 과제도 있다.

상기 방식에 비하여, 기계적 구동을 이용하지 않고서 시차가 있는 2개의 화상을 동시에 취득하는 방식이 특허 문헌 2에 개시되어 있다. 이 방식에 의한 촬상 장치는, 2개의 입사 영역으로부터 입사하는 광을 반사경에 의해 집광하고, 2종류의 편광 필터가 교대로 배열된 촬상 소자로 수광함으로써, 기계적 구동부를 이용하지 않고서 시차가 있는 2개의 화상을 취득한다.

도 9는 이 방식에 있어서의 촬상계의 구성을 나타내는 모식도이다. 이 촬상계는, 투과축의 방향이 서로 직교하는 2개의 편광판(11, 12)과, 반사경(13)과, 광학 렌즈(3)와, 촬상 소자(1)를 갖는다. 촬상 소자(1)는, 그 촬상면에, 복수의 화소(10)와, 화소에 1대1로 대응하여 배치된 편광 필터(17, 18)를 구비한다. 편광 필터(17, 18)는 전체 화소상에 교대로 배열되어 있다. 여기서, 편광 필터(17, 18)의 투과축의 방향은, 각각 편광판(11, 12)의 투과축의 방향과 일치하고 있다.

이상의 구성에 의해, 입사광은 편광판(11, 12)을 투과하여, 반사경(13)에서 반사되어, 광학 렌즈(3)를 지나, 촬상 소자(1)의 촬상면에 입사한다. 편광판(11, 12)을 각각 투과하여 촬상 소자(1)에 입사하는 광은, 각각 편광 필터(17, 18)를 투과하여 그들에 대향하는 화소에서 광전 변환된다. 여기서, 편광판(11, 12)을 각각 지나 촬상 소자(1)에 입사하는 광에 의해 형성되는 화상을, 각각 우안용 화상, 좌안용 화상이라고 부르면, 우안용 화상, 좌안용 화상은, 각각 편광 필터(17, 18)에 대향하는 화소군으로부터 얻어진다.

이와 같이, 특허 문헌 2에 개시된 방식에서는, 특허 문헌 1에 개시된 회전하는 원형의 편광 필터를 이용하는 대신에, 촬상 소자의 화소상에 투과축의 방향이 서로 직교하는 2종류의 편광 필터가 교대로 배치된다. 이에 의해, 특허 문헌 1의 방식에 비하여 해상도가 1/2로 저하되지만, 하나의 촬상 소자를 이용하여 시차를 갖는 우안용 화상과 좌안용 화상을 동시에 얻을 수 있다.

그러나, 이 기술에 있어서도, 특허 문헌 1의 기술과 마찬가지로, 입사광이 편광판 및 편광 필터를 투과할 때에 광량이 감소되기 때문에, 촬상 소자의 수광량은 크게 감소된다.

촬상 소자의 수광량이 감소된다고 하는 문제에 대하여, 별도의 접근법으로서, 시차를 갖는 복수의 화상의 촬상과 통상의 화상의 촬상을 기계적으로 전환하는 수법이 특허 문헌 3에 개시되어 있다. 도 10은 당해 수법에 있어서의 촬상계의 구성을 모식적으로 나타내는 도면이다. 도 10에 나타내는 촬상 장치는, 2개의 편광 투과부(20, 21)를 갖고, 그들 투과부를 통해서만 광학 렌즈(3)로부터의 입사광을 투과시키는 광 통과부(19)와, 편광 투과부(20, 21)로부터의 광을 분리하는 특정 성분 투과 필터(23), 및 컬러 필터(24)가 1조가 된 수광부 광학 필터 트레이(22)와, 광 통과부(19) 및 특정 성분 투과 필터(23)를 광로상에서 떼어내고 컬러 필터(24)를 광로에 삽입하거나, 혹은 그 반대의 동작을 행하는 필터 구동부(25)를 구비하고 있다.

이 기술에 의하면, 필터 구동부(25)를 동작시켜, 시차를 갖는 2개의 화상의 촬상에서는 광 통과부(19) 및 특정 성분 투과 필터(23)가 이용되고, 통상의 촬영에서는, 컬러 필터(24)가 이용된다. 시차를 갖는 2개의 화상의 촬영에 있어서는, 기본적으로 특허 문헌 2에 나타내는 것과 같으며, 광 이용률이 크게 저하된다. 한편, 통상의 컬러 화상의 촬영에서는, 광 통과부(19)를 광로에서 떼어내고, 또한, 특정 성분 투과 필터(23) 대신에 컬러 필터(24)를 삽입함으로써, 광 이용률이 높은 컬러 화상을 얻을 수 있다.

(선행 기술 문헌)

(특허 문헌)

(특허 문헌 1) 일본 특허 공개 공보 소 62-291292 호

(특허 문헌 2) 일본 특허 공개 공보 소 62-217790 호

(특허 문헌 3) 일본 특허 공개 공보 제 2001-016611 호

종래 기술에서는, 편광판(편광 투과부) 및 편광 필터를 이용하는 것에 의해, 단안 카메라로 시차를 갖는 2개의 화상을 촬상할 수 있다. 이들 기술에 있어서, 편광판 및 편광 필터는, 모두 0°, 90°의 투과축을 갖는 2종류의 편광자로 구성되어 있다. 그 때문에, 단안 카메라로 시차가 있는 2개의 화상을 촬상할 수 있지만, 광 이용률이 낮아, 촬상 감도가 저하된다고 하는 과제가 있다. 또한, 감도상 문제가 없는 컬러 화상을 얻기 위해서는, 상기에 나타낸 수광부에 광학 필터 트레이나 필터 구동부를 마련할 필요가 있다. 또한, 그것들이 가령 마련되었다고 해도 시차를 갖는 화상의 촬영시와 컬러 화상의 촬영시에 피사체의 상태가 다르면, 시차 화상과 컬러 화상은 같은 상태의 화상이 아니다. 즉, 두 화상을 동시에 얻을 수 없다고 하는 과제가 있다.

본 발명은, 상기 과제를 감안하여, 촬상계에 기계적 구동부를 마련하지 않고서, 시차를 갖는 복수의 화상을 얻을 수 있는 촬상 기술을 제공한다. 본 발명의 바람직한 실시 형태에 의하면, 시차를 갖는 복수의 화상과 감도상 문제가 없는 화상을 동시에 얻는 것이 가능해진다.

본 발명의 3차원 촬상 장치는, 특정한 방향으로 편광한 광을 투과시키는 n개의 편광 영역(n은 2 이상의 정수) 및 광을 편광 방향에 관계없이 투과시키는 비편광 영역을 갖는 광 투과부로서, 상기 n개의 편광 영역의 투과축의 방향이 서로 다른 광 투과부와, 상기 광 투과부를 투과한 광을 수치하도록 배치된 고체 촬상 소자로서, 각각이 (n+1)개의 화소를 포함하는 복수의 화소 블록으로 분할된 화소 어레이, 및 상기 (n+1)개의 화소 중 n개의 화소에 각각 대향하여 배치된 투과축의 방향이 서로 다른 n개의 편광 필터를 포함하는 필터 어레이를 갖는 고체 촬상 소자와, 상기 고체 촬상 소자의 촬상면에 상을 형성하는 결상부와, 상기 (n+1)개의 화소로부터 각각 출력되는 (n+1)개의 화소 신호에 근거하여, 상기 n개의 편광 영역 및 상기 비편광 영역의 각각에 입사한 광에 의한 (n+1)개의 화상을 생성하는 화상 생성부를 구비하고 있다.

한 실시 형태에 있어서, 상기 화상 생성부는, 각 편광 영역의 광 투과율, 각 편광 필터의 광 투과율, 및 상기 비편광 영역의 광 투과율에 근거하여 결정되는 (n+1)행 (n+1)열의 행렬을 이용한 연산에 의해, 상기 (n+1)개의 화상을 생성한다.

한 실시 형태에 있어서, 상기 화상 생성부는, j번째(j는 1 이상 n 이하의 정수)의 편광 영역을 투과하여 i번째(i는 1 이상 n 이하의 정수)의 편광 필터를 투과하는 광의 투과율을 i행 j열째의 요소 a(i, j)로 하고, 상기 비편광 영역을 투과하여 i번째의 편광 필터를 투과하는 광의 투과율을 i행 (n+1)열째의 요소 a(i, n+1)로 하고, 상기 제 1~제 n의 편광 영역 중 어느 하나를 투과하는 광의 투과율을 (n+1)행 j열째의 요소 a(n+1, j)로 하여 상기 행렬을 생성하고, 상기 행렬의 역행렬과 상기 (n+1)개의 화소 신호를 이용한 연산에 의해 상기 (n+1)개의 화상을 생성한다.

한 실시 형태에 있어서, 각 편광 영역의 투과축 방향 및 각 편광 필터의 투과축 방향은, 상기 행렬의 행렬식을 0으로 하지 않도록 설정되어 있다.

한 실시 형태에 있어서, 각 편광 영역의 투과축 방향 및 각 편광 필터의 투과축 방향은, 상기 행렬의 행렬식의 절대치를 최대로 하도록 설정되어 있다.

한 실시 형태에 있어서, n=2이다.

한 실시 형태에 있어서, 상기 n개의 편광 영역의 한쪽을 제 1 편광 영역, 다른 쪽을 제 2 편광 영역이라고 할 때, 상기 제 1 및 제 2 편광 영역은, 상기 광 투과부의 중심을 지나 상기 광 투과부의 수광면의 면적을 2분할하는 선분에 대하여, 서로 반대쪽에 배치되어 있다.

한 실시 형태에 있어서, 상기 비편광 영역의 적어도 일부는, 상기 제 1 편광 영역과 상기 제 2 편광 영역의 사이에 위치하고 있다.

한 실시 형태에 있어서, n=2이며, 상기 n개의 편광 필터의 한쪽을 제 1 편광 필터, 다른 쪽을 제 2 편광 필터라고 할 때, 각 화소 블록은, 상기 n개의 화소를 포함하는 8개의 화소를 포함하고, 상기 8개의 화소는 4행 2열로 배열되고, 1행 1열째 및 3행 1열째의 화소에 대향하여 제 1 파장 영역의 광을 투과시키는 제 1 색 필터가 배치되고, 2행 1열째 및 4행 1열째의 화소에 대향하여 제 2 파장 영역의 광을 투과시키는 제 2 색 필터가 배치되고, 1행 2열째 및 3행 2열째의 화소에 대향하여 제 3 파장 영역의 광을 투과시키는 제 3 색 필터 또는 투명 부재가 배치되고, 2행 2열째의 화소에 대향하여 상기 제 1 편광 필터가 배치되고, 4행 2열째의 화소에 대향하여 상기 제 2 편광 필터가 배치되어 있다.

한 실시 형태에 있어서, n=2이며, 각 화소 블록은, 상기 n개의 화소를 포함하는 4개의 화소를 포함하고, 상기 4개의 화소를 제 1 화소, 제 2 화소, 제 3 화소, 및 제 4 화소로 하고, 상기 n개의 편광 필터의 한쪽을 제 1 편광 필터, 다른 쪽을 제 2 편광 필터라고 할 때, 상기 제 1 화소에 대향하여 제 1 파장 영역의 광을 투과시키는 제 1 색 필터가 배치되고, 상기 제 2 화소에 대향하여 제 2 파장 영역의 광을 투과시키는 제 2 색 필터가 배치되고, 상기 제 3 화소에 대향하여 상기 제 1 편광 필터 및 제 3 파장 영역의 광을 투과시키는 제 3 색 필터가 배치되고, 상기 제 4 화소에 대향하여 상기 제 2 편광 필터 및 제 3 파장 영역의 광을 투과시키는 제 3 색 필터가 배치되어 있다.

한 실시 형태에 있어서, 상기 화상 생성부는, 상기 비편광 영역에 입사한 광에 의한 화상의 신호를, 각 편광 영역에 입사한 광에 의한 화상의 신호에 가하는 것에 의해, 각 편광 영역에 입사한 광에 의한 화상의 SN비를 향상시킨다.

본 발명의 3차원 촬상 장치에 의하면, n개의 편광 영역 및 비편광 영역을 갖는 광 투과부와, 편광 필터가 배치된 n개의 화소군 및 편광 필터가 배치되어 있지 않은 화소군을 갖는 촬상 소자를 구비하고 있다. 그 때문에, 광 투과부의 n+1개의 영역에 입사하는 광에 의한 화상 신호와 촬상 소자에 의해 취득할 수 있는 신호의 관계식이 얻어진다. 그들의 관계식으로부터 광 투과부의 각 영역에 입사한 광에 의한 화상을 산출할 수 있다. 그 결과, 시차를 갖는 복수의 화상을 생성 가능해지고, 또한, 비편광 영역을 투과한 감도적으로 문제가 없는 화상도 얻는 것이 가능해진다.

도 1은 본 발명의 실시 형태에 있어서의 촬상 장치의 전체 구성도,
도 2는 본 발명의 실시 형태 1에 있어서의 투광판, 렌즈, 및 촬상 소자의 배치 관계를 나타내는 모식도,
도 3은 본 발명의 실시 형태 1에 있어서의 투광판의 정면도,
도 4는 본 발명의 실시의 형태 1에 있어서의 고체 촬상 소자의 촬상면에서의 기본 화소 구성도,
도 5는 본 발명의 실시의 형태 2에 있어서의 고체 촬상 소자의 촬상면에서의 기본 색 구성도,
도 6은 본 발명의 실시의 형태 2에 있어서의 투광판의 정면도,
도 7은 본 발명의 실시의 형태 3에 있어서의 고체 촬상 소자의 촬상면에서의 기본 색 구성도,
도 8은 특허 문헌 1에 있어서의 촬상계의 구성도,
도 9는 특허 문헌 2에 있어서의 촬상계의 구성도,
도 10은 특허 문헌 3에 있어서의 촬상계의 구성도이다.

이하, 본 발명의 실시의 형태에 대하여, 도면을 참조하면서 설명한다. 모든 도면에 걸쳐 공통 요소에는 동일한 부호를 붙이고 있다. 또, 본 명세서에 있어서, 화상을 나타내는 신호 또는 정보를 간단히 「화상」이라고 칭하는 경우가 있다. 또한, 시차를 갖는 복수의 화상을 「복수 시점 화상」(multi-viewpoint images)이라고 부르는 경우가 있다.

(실시 형태 1)

우선, 본 발명의 제 1 실시 형태를 설명한다. 도 1은 본 실시 형태에 있어서의 3차원 촬상 장치의 전체 구성을 나타내는 블록도이다. 본 실시 형태의 촬상 장치는, 디지털식의 전자 카메라이며, 촬상부(100)와, 촬상부(100)로부터의 신호에 근거하여 화상을 나타내는 신호(화상 신호)를 생성하는 신호 처리부(200)를 구비하고 있다.

촬상부(100)는, 촬상면상에 배열된 복수의 광감지 셀(화소)을 구비하는 촬상 소자(이미지 센서)(1)와, 특정한 방향으로 편광한 광을 투과시키는 편광 영역 및 광을 편광 방향에 관계없이 투과시키는 비편광 영역을 갖는 투광판(2)과, 촬상 소자(1)의 촬상면상에 상을 형성하기 위한 광학 렌즈(3)와, 적외선 차단 필터(4)를 구비하고 있다. 촬상부(100)는 또한, 촬상 소자(1)를 구동하기 위한 기본 신호를 발생시킴과 함께 촬상 소자(1)로부터의 출력 신호를 수신하여 신호 처리부(200)에 송출하는 신호 발생/수신부(5)와, 신호 발생/수신부(5)에 의해 발생된 기본 신호에 근거하여 촬상 소자(1)를 구동하는 소자 구동부(6)를 구비하고 있다. 촬상 소자(1)는, 전형적으로는 CCD 또는 CMOS 센서이며, 공지의 반도체 제조 기술에 의해 제조된다. 신호 발생/수신부(5) 및 소자 구동부(30)는, 예컨대 CCD 드라이버 등의 LSI로 구성되어 있다.

신호 처리부(200)는, 촬상부(100)로부터 출력된 신호를 처리하여 화상 신호를 생성하는 화상 신호 생성부(7)와, 화상 신호의 생성에 이용되는 각종 데이터를 저장하는 메모리(30)와, 생성한 화상 신호를 외부에 송출하는 인터페이스(IF)부(8)를 구비하고 있다. 화상 신호 생성부(7)는, 공지의 디지털 신호 처리 프로세서(DSP) 등의 하드웨어와, 화상 신호 생성 처리를 포함하는 화상 처리를 실행하는 소프트웨어의 조합에 의해 적절히 실현될 수 있다. 메모리(30)는, DRAM 등에 의해 구성된다. 메모리(30)는, 촬상부(100)로부터 얻어진 신호를 기록함과 함께, 화상 신호 생성부(7)에 의해 생성된 화상 데이터나, 압축된 화상 데이터를 일시적으로 기록한다. 이들 화상 데이터는, 인터페이스부(8)를 통해 도시하지 않은 기록 매체나 표시부 등에 송출된다.

또, 본 실시 형태의 촬상 장치는, 전자 셔터, 뷰파인더, 전원(전지), 플래시라이트 등의 공지의 구성 요소를 구비할 수 있지만, 그들의 설명은 본 발명의 이해에 특별히 필요하지 않기 때문에 생략한다.

다음으로, 도 2~4를 참조하면서 촬상부(100)의 구성을 보다 상세하게 설명한다.

도 2는 촬상부(100)에 있어서의 투광판(2), 광학 렌즈(3), 및 촬상 소자(1)의 배치 관계를 모식적으로 나타내는 도면이다. 또, 도 2에서는, 투광판(2), 광학 렌즈(3), 및 촬상 소자(1) 이외의 구성 요소는 생략되어 있다. 투광판(2)은, n개(n은 2 이상의 정수)의 편광 영역 P(1), P(2), …, P(n), 및 비편광 영역(투명 영역) P(n+1)을 갖고, 입사광을 투과시킨다. 도 2에서는, 4개의 편광 영역을 나타내고 있지만, 편광 영역의 수 n은, 2개 이상이면 몇 개라도 좋다. 광학 렌즈(3)는, 공지의 렌즈이며, 투광판(2)을 투과한 광을 집광하여, 촬상 소자(1)의 촬상면(1a)에 결상한다. 이하의 설명에서는, 도 2에 나타내는 xy 좌표를 이용한다.

도 3은 본 실시 형태에 있어서의 투광판(2)의 정면도이다. 투광판(2)의 형상은, 광학 렌즈(3)와 마찬가지로 원형이지만, 다른 형상이더라도 좋다. 투광판(2)은, 투과축의 방향이 서로 다른 n개의 편광 영역 P(1), P(2), …, P(n)을 갖고 있다. 편광 영역 이외의 영역은, 광을 편광 방향에 관계없이 투과시키는 비편광 영역 P(n+1)이다. 본 실시 형태에서는, i=1, 2, …, n으로 하여, i번째의 편광 영역 P(i)의 투과축의 방향은, x 방향(수평 방향)에 대하여 각도 αi만큼 기울어져 있다. 각 편광 영역 P(1), P(2), …, P(n)은, 공지의 편광판 등에 의해 형성된다. 비편광 영역 P(n+1)은, 광을 높은 투과율로 투과시키는 부재이면 어떠한 것으로 형성되어 있더라도 좋다. 본 실시 형태에서는, 투광판(2)이 본 발명의 광 투과부로서 기능한다. 또, 도 3에 나타내는 투광판(2)은, 그 일부가 차광성 부재로 형성되어 있더라도 좋다.

도 2에 나타내는 촬상 소자(1)의 촬상면(1a)에는, 2차원 형상으로 배열된 복수의 광감지 셀(화소)을 포함하는 광감지 셀 어레이(화소 어레이)가 형성되어 있다. 또한, 화소 어레이에 대향하여 광이 입사하는 쪽에 복수의 편광 필터를 포함하는 필터 어레이가 형성되어 있다. 각 화소는, 전형적으로는 포토다이오드를 포함하고, 광전 변환에 의해 각각이 받은 광의 양(수광량)에 따른 전기 신호(「광전 변환 신호」, 또는 「화소 신호」라고 부른다)를 출력한다. 본 실시 형태에 있어서의 화소 어레이는, 각각이 (n+1)개의 화소를 포함하는 복수의 화소 블록으로 분할되어 있다.

도 4는 촬상면(1a)에 형성되는 필터 어레이(110)의 일부를 모식적으로 나타내는 도면이다. 각 화소 블록에 포함되는 (n+1)개의 화소는, y 방향(수직 방향)으로 1열로 배열되어 있다. 이들의 화소 중, n개의 화소 W1, W2, …, Wn에 대향하는 위치에, n개의 편광 필터가 화소에 1대1로 대응하여 배치되어 있다. 화소 W1, W2, …, Wn에 대향하는 n개의 편광 필터의 투과축의 방향은, 서로 다르고, x 방향에 대하여 각각 각도 β1, β2, …, βn큼 기울어져 있다. (n+1)행 1열째의 화소 Wn+1에 대향하는 위치에는 편광 필터는 배치되어 있지 않다.

이상의 구성에 의해, 촬영시에 촬상 장치에 입사하는 광은, 투광판(2), 광학 렌즈(3), 적외선 차단 필터(4), 필터 어레이(110)를 지나 화소 어레이에 입사한다. 각 화소는, 투광판(2)의 각 편광 영역 P(1), P(2), …, P(n)및 비편광 영역 P(n+1)을 각각 투과한 광을 받고, 받은 광의 양에 따른 광전 변환 신호를 출력한다. 각 화소에 의해 출력된 광전 변환 신호는, 신호 발생/수신부(5)를 통해 신호 처리부(200)에 송출된다. 신호 처리부(200)에 있어서의 화상 신호 생성부(7)는, 촬상부(100)로부터 송출된 신호에 근거하여 복수 시점 화상을 생성한다.

이하, 각 화소로부터 출력되는 광전 변환 신호를 설명한다. 우선 편광 필터가 배치되어 있지 않은 화소 Wn+1로부터 출력되는 광전 변환 신호에 대하여 설명한다. 화소 Wn+1에서는, 투광판(2), 광학 렌즈(3), 적외선 차단 필터(4)를 투과한 입사광을 받아, 광전 변환시킨다. 여기서, 입사광이 투광판(2)의 편광 영역을 통과할 때에는, 감광이 생긴다(그 투과율을 T1로 한다). 여기서, 편광 영역 P(1), P(2), …, P(n)과 비편광 영역 P(n+1)에 입사하는 광이 감광되지 않고서 촬상 소자(1)에서 광전 변환된다고 가정한 경우의 각 신호량을, 당해 기호에 첨자 s를 붙여 표현한다. 즉, 영역 P(1), P(2), …, P(n+1)에 입사하는 광의 양에 상당하는 신호를 Ps(1), Ps(2), …, Ps(n+1)로 나타낸다. 또한, 비편광 영역 P(n+1)의 투과율을 100%로 가정하면, 화소 Wn+1의 광전 변환 신호 Sn+1은 하기의 식 1로 표시된다.

다음으로 편광 필터가 배치된 화소 Wj(j=1, 2, …, n)의 광전 변환 신호에 대하여 설명한다. 각 편광 필터의 특성은, 투과축의 방향을 제외하고, 각 편광 영역의 특성과 동일한 것으로 한다. 화소 Wj에서는, 편광 필터가 배치되어 있기 때문에, 기본적으로 입사 광량에 T1을 곱한 양의 광을 받는다. 상기와 마찬가지로, 화소 Wj는 투광판(2), 광학 렌즈(3), 적외선 차단 필터(4)를 통해 입사광을 수광하지만, 입사광이 투광판(2)의 편광 영역을 통과할 때에 감광된다. 그 때문에, 화소 Wj의 광전 변환량 Sj는 이하의 식 2로 표시된다. 단, 투과축의 방향이 같은 편광판을 2장 겹친 경우의 광 투과율을 T1×T2로 한다.

여기서, 화소 신호 Sj와 영역 P(j)를 투과하여 광전 변환되는 광의 양에 상당하는 신호 Ps(j)의 관계는, 행렬을 이용하여 이하의 식 3으로 표시된다. 단, Sj'=Sj/T1로 한다.

식 3에서, 식 중의 (n+1)행 (n+1)열의 행렬의 역행렬을 구하고, 그것을 양변에 좌측으로부터 곱하는 것에 의해, 투광판(2)의 각 영역 P(1), P(2), …, P(n+1)에 입사한 광에 의한 화상 신호 Ps(1), Ps(2), …, Ps(n+1)을 산출할 수 있다. 도 1에 나타내는 화상 신호 생성부(7)는, 상기 행렬 연산을 화소 블록마다 실행하여, 화소 블록마다 Ps(1), Ps(2), …, Ps(n+1)을 산출한다. 이렇게 하여 생성한 신호의 집합은, 편광 영역 P(1), P(2), …, P(n), 및 비편광 영역 P(n+1)의 각각에 입사한 광에 의한 복수의 화상을 형성한다.

본 실시 형태에서는, 상기 (n+1)행 (n+1)열의 행렬의 행렬식의 값이 0이 아닌 최대치가 되도록, 각 편광 영역의 투과축의 각도 αi(i=1, 2, …, n), 및 각 편광 필터의 투과축의 각도 βj(j=1, 2, …, n)를 설정했다. 행렬식이 0이 되지 않기 때문에, 상기 식 3으로부터 Ps(1), Ps(2), …, Ps(n+1)을 산출할 수 있다. 또한, 행렬식의 값이 최대치가 되기 때문에, 계산 오차를 최소한으로 억제할 수 있다. 그 결과, 화상 신호 생성부(7)에 있어서, 투광판(2)의 각 영역 P(i)에 입사한 광에 의한 화상이 각각 화질이 좋게 얻어진다. 그 중에서 투광판(2)에 있어서 수평(x) 방향으로 가장 떨어진 2개의 편광 영역의 화상(예컨대, 도 3에 나타내는 P(1) 및 P(3))을 우안용 화상 혹은 좌안용 화상이라고 하면, x 방향으로 현저한 시차를 갖는 2개의 화상을 취득할 수 있다. 또한, 비편광 영역 P(n+1)에 입사한 광에 의한 화상도 얻어지기 때문에, 당해 영역을 각 편광 영역보다 크게 하는 것에 의해, 감도적으로 문제없는(광 이용률이 높은) 화상도 얻어진다. 본 실시 형태에서는, 촬상 소자(1)의 컬러화는 도모되고 있지 않지만, 도 4에서 나타낸 화소 기본 배열에 컬러화 화소를 가하는 것에 의해, 감도적으로 문제없는 컬러 화상도 얻어진다. 예컨대, 도 4에 나타내는 화소 W1, W2, …, Wn+1의 일부에 대향하여 색 필터를 더 배치함으로써, 색 정보를 취득할 수 있기 때문에, 컬러 화상을 생성할 수 있다.

또한, 비편광 영역 P(n+1)에 입사한 광에 의한 화상 신호를 편광 영역 P(i)에 입사한 광에 의한 화상 신호에 부분적으로 가산함으로써, 편광 영역 P(i)에 입사한 광에 의한 화상의 S/N비를 향상시킬 수 있다. 이 처리는, 예컨대 이하의 순서로 행할 수 있다. 우선, 투광판(2)의 각 영역 P(i)에 입사한 광에 의한 화상과 비편광 영역 P(n+1)에 입사한 광에 의한 화상의 부분적인 매칭 판정을, 화상상의 장소를 바꿔 반복하여 행한다. 다음으로, 부분적으로 같은 화상이라고 판정한 경우, 비편광 영역 P(n+1)에 입사한 광에 의한 화상의 당해 부분을 영역 P(i)에 입사한 광에 의한 화상의 같은 부분에 가산한다. 이러한 처리에 의해, 시차를 갖는 복수의 화상의 품질을 더욱 높일 수 있다.

이상과 같이, 본 실시 형태의 촬상 장치에 의하면, n+1행 1열을 촬상 소자(1)의 화소의 기본 배열로 하고, 투과축의 방향이 서로 다른 n개의 편광 필터가 각각 배치된 n개의 화소 W1, W2, …, Wn과 편광 필터가 배치되어 있지 않은 화소 Wn+1이 마련된다. 또한, 투과축의 방향이 서로 다른 n개의 편광 영역 P(1), P(2), …, P(n)을 갖고, 그 밖의 영역은 비편광 영역 P(n+1)인 투광판(2)이 마련된다. 이러한 구성에 의해, 편광판(2)의 (n+1)개의 영역에 입사한 광에 의한 화상 신호와 각 화소로부터 출력되는 화소 신호의 관계식이 얻어지기 때문에, 그들의 관계식으로부터 투광판(2)의 각 영역에 입사한 광에 의한 화상 신호를 산출할 수 있다. 그 결과, 복수 시점 화상을 작성할 수 있고, 또한, 비편광 영역에 입사한 광에 의한 감도적으로 문제가 없는 화상도 얻어진다. 또한, 투광판(2)의 각 영역 P(i)에 입사한 광에 의한 화상과 비편광 영역 P(n+1)에 입사한 광에 의한 화상의 부분적인 매칭 판정 처리 및 화상 가산 처리를 행하는 것에 의해, 복수 시점 화상의 품질을 향상시키는 것도 가능하다.

또, 본 실시 형태에서는, 고체 촬상 소자(1)의 촬상면에서의 화소의 기본 구성을 (n+1)행 1열로 했지만, 이 배열에 한정되는 것이 아니다. n개의 편광 필터가 대향하여 배치된 n개의 화소와, 편광 필터가 배치되어 있지 않은 화소가 근접하여 하나의 화소 블록을 구성하고 있으면 어떠한 배열이더라도 좋다. 또한, n개의 편광 영역을 부분적으로 배치한 투광판(2)을 이용했지만, 본 발명의 광 투과부는, 이러한 투광판(2)에 한정되는 것이 아니다. 예컨대, 렌즈 표면, 혹은 조리개의 광 투과 영역 내에 복수의 편광 영역을 마련하더라도 문제는 없다. 요컨대 입사 광학계의 내부에 복수의 편광 영역이 마련되어 있으면 같은 효과를 얻을 수 있다.

(실시 형태 2)

다음으로 본 발명의 제 2 실시 형태에 대하여 설명한다. 본 실시 형태의 촬상 장치는, 투광판(2)의 구성, 촬상 소자(1)의 화소 구성, 및 화상 생성부(7)에 의한 신호 연산 처리만이 실시 형태 1의 촬상 장치와 다르다. 이하, 실시 형태 1과 다른 점을 설명하고, 중복되는 점에 대한 설명은 생략한다.

도 5는 본 실시 형태에 있어서의 고체 촬상 소자(1)의 촬상면에서의 기본 색 구성도이다. 본 실시 형태에 있어서의 촬상 소자(1)의 화소 어레이를 구성하는 복수의 화소 블록의 각각은, 4행 2열로 배열된 8개의 화소를 갖고 있다. 1행 1열째와 3행 1열째에는, 시안(cyan)의 파장 영역(녹색 및 청색의 파장 영역)의 광을 투과시키는 시안 필터(시안 요소 Cy)가 화소에 대향하여 배치되어 있다. 1행 2열째와 3행 2열째에는, 투명 부재(투명 요소 W)가 화소에 대향하여 배치되어 있다. 2행 1열째와 4행 1열째에는, 황색의 파장 영역(적색 및 녹색의 파장 영역)의 광을 투과시키는 황색 필터(황색 요소 Ye)가 화소에 대향하여 배치되어 있다. 2행 2열째에는, 투과축의 방향이 x 방향에 대하여 β1의 각도를 이루는 편광 필터(편광 요소 Wp1)가 화소에 대향하여 배치되어 있다. 4행 2열째에는, 투과축의 방향이 x 방향에 대하여 β2의 각도를 이루는 편광 필터(편광 요소 Wp2)가 화소에 대향하여 배치되어 있다. 이하의 설명에서는, 시안 요소, 황색 요소, 투명 요소, 편광 요소를 합쳐, 「색 요소」라고 부르는 경우가 있다.

도 6은 본 실시 형태에 있어서의 투광판(2a)의 정면도이다. 투광판(2a)의 형상은 원형이고, 광학 렌즈(3)와 같은 유효 직경을 갖는다. 투광판(2a)은, 도 6에 있어서의 좌측에, x 방향에 대하여 각도 α1을 이루는 방향으로 편광한 광을 투과시키는 직사각형의 편광 영역 P(1)을 갖고 있다. 또한, 우측에, 같은 사이즈로 x 방향에 대하여 각도 α2를 이루는 방향으로 편광한 광을 투과시키는 편광 영역 P(2)를 갖고 있다. 투광판(2a)의 그 밖의 영역은 입사광을 편광 방향에 관계없이 투과시키는 비편광 영역 P(3)이다. 투광판(2a)의 편광 영역 P(1) 및 편광 영역 P(2)는, 투광판(2a)의 중심을 지나 수광면의 면적을 2분할하는 선분에 대하여 서로 반대쪽에 위치하고 있다. 또한, 비편광 영역 P(3)의 일부가 2개의 편광 영역 P(1), P(2)의 사이에 위치하고 있다. 이러한 구성에 의해, 편광 영역 P(1), P(2)에 각각 입사하는 광에 의한 복수 시점 화상을 얻을 수 있음과 함께, 광 이용률이 높은 화상을 얻을 수 있다.

이하, 본 실시 형태에 있어서의, 복수 시점 화상을 생성하는 방법을 설명한다. Wp1 요소, Wp2 요소, W 요소를 투과하여 각각에 대향하는 화소에서 광전 변환되는 신호를 각각 S1, S2, S3으로 나타낸다. 단, 투광판(2a)의 편광 영역 P(1), P(2)의 편광 특성, 및 촬상 소자(1)의 Wp1 요소, Wp2 요소의 편광특 성은, 편광 방향의 특성을 제외하고 전부 같은 것으로 한다. 또한, 투광판(2a)의 편광 영역 P(1)의 광 투과율을 100%로 가정한 경우에, 당해 영역을 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량을 Ps(1)로 한다. 마찬가지로, 투광판(2a)의 편광 영역 P(2)의 광 투과율을 100%로 가정한 경우에, 당해 영역을 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량을 Ps(2)로 한다. 투광판(2a)의 비편광 영역 P(3)(투명 영역)을 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량을 Ps(3)으로 한다. 실제로는, 투광판(2a)의 편광 영역 P(1), P(2)의 투과율은 100%가 아니기 때문에, 그 투과율을 T1로 한다. 또한, 투과축의 방향이 같은 편광판을 2장 겹친 경우의 광 투과율을 T1×T2로 한다. 투광판(2a)의 비편광 영역 P(3)의 광 투과율은 100%인 것으로 한다.

W 요소를 투과하여 그 대향 화소에서 광전 변환되는 광의 양에 상당하는 신호량 S3은, 이하와 같이 Ps(1), Ps(2), Ps(3)을 이용하여 나타낼 수 있다. 투광판(2a)의 편광 영역 P(1), P(2)를 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량은 T1×(Ps(1)+Ps(2))로 표시된다. 또한, 투광판(2a)의 비편광 영역 P(3)을 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량은 Ps(3)으로 표시되기 때문에, 신호량 S3은 이하의 식 4로 표시된다.

Wp1 요소를 투과하여 그 대향 화소에서 광전 변환되는 신호량 S1에 대해서도, 이하와 같이 Ps(1), Ps(2), Ps(3)를 이용하여 나타낼 수 있다. 투광판(2a)의 편광 영역 P(1)을 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량은, T1×T2×Ps(1)cos(α1-β1)로 표시된다. 또한, 투광판(2a)의 편광 영역 P(2)를 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량은 T1×T2×Ps(2)cos(α2-β1)로 표시된다. 또한, 투광판(2a)의 비편광 영역 P(3)을 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량은, T1×Ps(3)으로 표시되기 때문에, 결국, 신호량 S1은 이하의 식 5로 표시된다.

Wp2 요소를 투과하여 그 대향 화소에서 광전 변환되는 신호량 S2에 대해서도, 이하와 같이 Ps(1), Ps(2), Ps(3)을 이용하여 나타낼 수 있다. 우선, 투광판(2a)의 편광 영역 P(1)을 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량은 T1×T2×Ps(1)cos(α1-β2)로 표시된다. 또한, 투광판(2a)의 편광 영역 P(2)를 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량은 T1×T2×Ps(2)cos(α2-β2)로 표시된다. 또한, 투광판(2a)의 비편광 영역 P(3)을 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량은 T1×Ps(3)으로 표시된다. 결국, 신호량 S2는 이하의 식으로 표시된다.

여기서, S1'=S1/T1, S2'=S2/T1로 하여, 상기 식 4~식 6은, 행렬을 이용하여, 이하의 식 7로 표시된다.

도 1에 나타내는 화상 생성부(7)는, 식 7 중의 3행 3열의 행렬의 역행렬을 구하여, 투광판(2a)의 영역 P(1), P(2), P(3)을 각각 투과한 광에 의한 3개의 화상을 산출한다. 단, 역행렬을 구하기 위해서는, 행렬식의 값이 0이 아닌 것이 필요하다. 또한, 행렬식의 값이 큰 값일수록 계산 오차는 작아진다.

본 실시 형태에서는, 이 행렬식의 값을 최대로 하도록 편광 방향의 각도 α1, α2, β1, β2를 시뮬레이션에 의해 결정했다. 시뮬레이션에서는, T1=0.45, T2=0.90, α1=0으로 하고, α2, β1, β2를 0~90도까지 1도씩 변화시켰다. 시뮬레이션의 결과, α1=0도, α2=60도, β1=0도, β2=60도에서 행렬식의 값은 최대가 되었기 때문에, 그들의 값을 채용했다. 그 결과, 영역 P(1), P(2)를 투과한 광에 의한 화상을 얻을 수 있어, 복수 시점 화상을 만들 수 있었다.

한편, 화상의 컬러화에 대해서는, 시안 요소를 투과하여 광전 변환되는 광의 양을 나타내는 신호량 Scy, 황색 요소를 투과하여 광전 변환되는 광의 양을 나타내는 신호량 Sye, 및 W 요소를 투과하여 광전 변환되는 광의 양을 나타내는 신호량 S3을 이용하여, 이하와 같이 생성할 수 있다. 우선, 적색의 색 정보 Sr은 (S3-Scy)의 연산에 의해 얻어진다. 또한, 청색의 색 정보 Sb는 (S3-Sye)의 연산에 의해 얻어진다. 또한 (S3-Sr-Sb)에 의해 녹색의 색 정보가 얻어진다. 이상의 연산에 의해, RGB의 컬러 화상을 만들 수 있다. 그 결과, 본 실시 형태에 있어서의 광량의 저하는, 투광판(2a)의 각 편광 영역에서의 손실분만으로 억제된다. 각 편광 영역의 광량의 저하를 50%라고 하면, 비편광 영역을 투과하는 광의 양을 합쳐, 입사광의 75%의 광량을 확보한 컬러 화상이 얻어지게 된다.

이상과 같이, 본 실시 형태의 촬상 장치에 의하면, 4행 2열을 화소의 기본구성으로 하고, 8개의 화소에 대응하여 2개의 시안 요소, 2개의 황색 요소, 2개의 투명 요소, 2개의 편광 요소가 이용된다. 1행 1열째와 3행 1열째에 시안 요소(Cy), 1행 2열째와 3행 2열째에 투명 요소(W), 2행 1열째와 4행 1열째에 황색 요소(Ye), 2행 2열째에 투과축의 방향이 x 방향에 대하여 β1의 각도를 이루는 편광 요소(Wp1), 4행 2열째에 투과축의 방향이 x 방향에 대하여 β2의 각도를 이루는 편광 요소(Wp2)가 배치된다. 또한, 투광판(2a)은, 도 6에 있어서의 좌측에, 투과축의 방향이 x 방향에 대하여 α1의 각도를 이루는 편광 영역 P(1)을 갖고, 우측에도 같은 사이즈로 투과축의 방향이 x 방향에 대하여 α2의 각도를 이루는 편광 영역 P(2)를 갖는다. 이러한 구성에 의해, 투명 요소 W의 대향 화소의 신호, 편광 요소 Wp1의 대향 화소의 신호, 및 편광 요소 Wp2의 대향 화소의 신호를 이용한 연산으로부터, 복수 시점 화상을 만들 수 있다. 이에 의해, 시안 요소 Cy의 대향 화소, 황색 요소 Ye의 대향 화소, 및 투명 요소 W의 대향 화소의 신호를 이용한 연산으로부터, 감도저하를 대폭으로 억제한 컬러 화상을 만들 수 있다. 즉, 종래 기술에서 이용된 기계적 동작 부분을 필요로 하지 않고서, 화상 신호간의 연산만으로 복수 시점 화상과 감도 저하를 대폭으로 억제한 컬러 화상을 동시에 얻을 수 있다고 하는 효과가 있다.

또, 본 실시 형태에서는, 투광판(2a)의 편광 영역 P(1) 및 편광 영역 P(2)의 형상을 직사각형으로 했지만, 이것에 한정되는 것이 아니다. 또한, 바람직한 예로서, 편광 요소 Wp1, Wp2, 편광 영역 P(1), P(2)의 투과축의 방향을 수평(x) 방향에 대하여, 각각 0도, 60도, 0도, 60도로 했지만, 이들에 한정되는 것도 아니다. 식 7에 있어서 Ps(1)~Ps(3)을 구할 수 있는 구성이면, 각각 상기와는 다른 각도라도 문제는 없다. 또한, 상기 실시 형태에서는, 시안 요소, 황색 요소, 투명 요소, 편광 요소를 이용했지만, 투과 파장 영역이 다른 3종류의 색 요소를 이용하는 구성이면 컬러 화상은 얻어지기 때문에, 이들의 요소에 한정되는 것이 아니다. 예컨대, 시안 요소 및 황색 요소 대신에, 청색의 파장 영역의 광을 투과시키는 청색 필터(청색 요소 B), 및 적색의 파장 영역의 광을 투과시키는 적색 필터(적색 요소 R)를 이용하더라도 좋다. 또한, 편광 요소 Wp1, Wp2가 배치된 화소에 대향하여, 색 필터가 더 배치되어 있더라도 좋다. 예컨대, 편광 요소 Wp1, Wp2를 투과하는 광의 광로상에 녹색의 파장 영역의 광을 투과시키는 녹색 필터(녹색 요소 G)를 배치함과 함께, 투명 요소 W 대신에 녹색 요소 G를 배치하더라도 좋다. 이와 같이, 4개의 색 요소 중, 동색의 2요소는 투명 혹은 또는 인간의 시감도 특성에 가까운 녹색 요소가 바람직하다.

본 실시 형태의 변형예로서, 예컨대 이하와 같은 구성이 가능하다. (1) 도 5에 나타내는 구성의 적어도 하나의 행의 2요소를 교체한 구성, (2) 도 5에 나타내는 Cy 요소를 적색 및 청색 요소 중 한쪽으로 교체하고, Ye 요소를 적색 및 청색 요소 중 다른 쪽으로 교체한 구성, (3) 상기 (2)의 구성 중 적어도 하나의 행의 2요소를 교체한 구성, (4) 도 5에 나타내는 Cy 필터를 적색 및 청색 요소 중 한쪽으로 교체하고, Ye 요소를 적색 및 청색 요소 중 다른 쪽으로 교체하고, W 요소를 녹색 요소로 교체하고, Wp1 및 Wp2 요소에 더하여 녹색 요소를 더 배치한 구성, (5) 상기 (4)의 구성 중 적어도 하나의 행의 2요소를 교체한 구성. 이들 중 어느 쪽의 변형예에 있어서도, 같은 신호 연산에 의해, 복수 시점 화상 및 광 이용률이 높은 컬러 화상을 얻을 수 있다.

본 실시 형태에서는 투광판(2a)의 편광 영역의 수를 2개로 했지만, 3개 이상이라도 문제는 없다. 예컨대, 편광 영역의 수가 3개인 경우는 촬상 소자(1)의 2개의 투명 요소 W 중의 하나를 편광 요소 Wp3으로 변경하면 된다. 이 경우, 식 7에서 나타낸 3행 3열의 행렬은 4행 4열이 된다. 그 행렬식을 최대로 하는 편광 방향은, 투광판(2a)측이 0도, 45도, 90도이고, 촬상 소자(1)측도 0도, 45도, 90도이다. 이와 같이, 편광 영역을 늘림과 함께 그들의 편광 방향을 적절히 선택함으로써, 복수의 다른 시차의 화상을 얻는 것이 가능하다.

(실시 형태 3)

다음으로, 본 발명의 제 3 실시 형태에 대하여 설명한다. 도 7은 본 실시 형태에 있어서의 고체 촬상 소자(1)의 촬상면에서의 기본 색 구성을 나타내는 도면이다. 2행 2열을 기본 구성으로 하고, 1행 1열째에 시안 요소(Cy), 1행 2열째에 투과축의 방향이 x 방향에 대하여 β1의 각도를 이루는 편광 요소(Wp1), 2행 1열째에 황색 요소(Ye), 2행 2열째에 투과축의 방향이 x 방향에 대하여 β2의 각도를 이루는 편광 요소(Wp2)가 배치된다. 고체 촬상 소자(1)의 각 화소는, 상기 색 요소에 1대1로 대응하고, 각 색 요소에 대향하여 위치하고 있다. 본 실시 형태에서는, 투광판(2a)은 실시 형태 2와 같다. 이하, 실시 형태 2와 다른 점을 중심으로 설명하고, 중복되는 점에 대해서는 설명을 생략한다.

본 실시 형태의 구성에서는, W 요소가 마련되어 있지 않기 때문에, 실시 형태 2에서 나타낸 계산은 할 수 없다. 그러나, 무채색에 가까운 피사체를 촬상하는 경우는, Cy+Ye=W+G로 표시되기 때문에, RGB의 수광 신호 비율을 Kr, Kg, Kb라고 하면, W 요소를 통해 얻어지는 신호는, Cy 요소와 Ye 요소를 통해 얻어지는 신호의 합산에 (Kr+Kg+Kb)/(Kr+2Kg+Kb)배한 것으로 생각된다. 그래서, 이러한 연산을 행하는 것에 의해, 그 결과를 W 요소의 대향 화소에서 광전 변환되는 광의 양을 나타내는 신호라고 하면, 실시 형태 2에 있어서의 처리와 같은 처리로 시차 화상을 만들 수 있다.

한편, 컬러 화상에 대해서는, 시안 요소를 투과하여 광전 변환되는 광의 양에 상당하는 신호량 Scy, 황색 요소를 투과하여 광전 변환되는 광의 양에 상당하는 신호량 Sye, Wp1 요소를 투과하여 광전 변환되는 광의 양에 상당하는 신호 S1, 및 Wp2 요소를 투과하여 광전 변환되는 광의 양에 상당하는 신호 S2를 이용하여 이하와 같이 생성할 수 있다. 우선, S1과 S2를 가산하고, 그것을 W 요소의 신호량 S3으로 한다. 그러면, 적색의 색 정보 Sr은 (S3-Scy)의 연산에 의해 얻어진다. 청색의 색 정보 Sb는 (S3-Sye)의 연산에 의해 얻어진다. 또한, (S3-Sr-Sb)의 연산에 의해 녹색의 색 정보가 얻어진다. 그 결과, 광량 저하는 투광판(2a)의 편광 영역 P(1), P(2)에서의 손실분만으로 억제되어, 비편광 영역 P(3)의 광량을 합치면 입사광의 광량 저하를 대폭으로 억제한 컬러 화상이 얻어지게 된다.

이상과 같이, 본 실시 형태의 촬상 장치에 의하면, 2행 2열을 화소의 기본 구성으로 하고, 4개의 화소에 대응하여 Cy 요소, Ye 요소, 2개의 편광 요소가 이용된다. 1행 1열째에 시안 요소(Cy), 1행 2열째에 투과축의 방향이 x 방향에 대하여 β1의 각도를 이루는 편광 요소(Wp1), 2행 1열째에 황색 요소(Ye), 2행 2열째에 투과축의 방향이 x 방향에 대하여 β2의 각도를 이루는 편광 요소(Wp2)가 배치된다. 또한, 투광판(2a)은, 도 6에 있어서의 좌측에, 투과축의 방향이 x 방향에 대하여 α1의 각도를 이루는 편광 영역 P(1)을 갖고, 우측에도 같은 사이즈로 투과축의 방향이 x 방향에 대하여 α2의 각도를 이루는 편광 영역 P(2)를 갖는다. 이러한 구성에 의해, 시안 요소 Cy의 대향 화소의 신호, 황색 요소 Ye의 대향 화소의 신호, 편광 요소 Wp1의 대향 화소의 신호, 및 편광 요소 Wp2의 대향 화소의 신호를 이용한 연산으로부터, 복수 시점 화상과 감도 저하를 대폭으로 억제한 컬러 화상을 만들 수 있다. 즉, 실시 형태 1, 2와 같이, 종래 기술에서 이용된 기계적 동작 부분을 필요로 하지 않고서, 화상 신호간의 연산만으로 복수 시점 화상과 감도 저하를 대폭으로 억제한 컬러 화상을 동시에 얻을 수 있다고 하는 효과가 있다.

또, 본 실시 형태에서는, 도 7에 나타내는 색 배치에 한정되는 것이 아니라, 시안 요소, 황색 요소, 편광 요소의 위치를 변경하더라도 상관없다. 또한, 시안 요소 및 황색 요소 대신에 적색 요소 및 청색 요소가 배치되어 있더라도 좋다. 또한, 실시 형태 2와 같이, 편광 요소 Wp1, Wp2에 입사하는 광의 광로상에 녹색 요소 또는 투명 요소가 배치되어 있더라도 좋다.

이상의 실시 형태 1~3에 있어서, 촬상 장치는 복수 시점 화상 및 컬러 화상의 양쪽을 취득하도록 구성되어 있지만, 복수 시점 화상만을 취득하도록 구성되어 있더라도 좋다. 시차 정보만을 얻을 목적으로 본 발명을 이용하는 경우, 도 5, 7에 나타내는 Cy 요소 및 Ye 요소는 없더라도 좋다.

또한, 촬상 장치는, 복수 시점 화상을 얻은 뒤에, 그들의 차분 처리를 실시하는 것에 의해, 차분 화상을 얻더라도 좋다. 또한, 복수 시점 화상으로부터, 각 대응점의 화상상의 위치의 어긋남의 크기를 나타내는 시차 화상(disparity map)을 구하더라도 좋다. 차분 화상이나 시차 화상을 구하는 것에 의해, 피사체의 깊이를 나타내는 정보를 얻을 수 있다.

실시 형태 1~3에서는, 촬상에 의해 얻어지는 광전 변환 신호로부터 신호 연산에 의해 화상을 생성하지만, 신호 연산에 의한 화상의 생성 처리를 촬상 장치와는 독립된 다른 장치에 실행시키더라도 좋다. 그 경우, 촬상 장치는, 도 1에 나타내는 화상 신호 생성부(7)를 구비하고 있지 않더라도 좋다. 예컨대, 실시 형태 1~3에 있어서의 촬상부(100)를 갖는 촬상 장치에 의해 취득한 신호를 다른 장치에 판독시켜, 각 실시 형태의 신호 연산 처리를 규정하는 프로그램을 당해 다른 장치에 실행시키는 것에 의해서도 같은 효과를 얻을 수 있다.

(산업상이용가능성)

본 발명의 3차원 촬상 장치는, 고체 촬상 소자를 이용한 모든 카메라에 유효하다. 예컨대, 디지털 스틸 카메라나 디지털 비디오 카메라 등의 민생용 카메라나, 산업용의 고체 감시 카메라 등에 이용 가능하다.

1 : 고체 촬상 소자
1a : 촬상면
2 : 투광판
3 : 광학 렌즈
4 : 적외선 차단 필터
5 : 신호 발생 및 화상 신호 수신부
6 : 소자 구동부
7 : 화상 신호 생성부
8 : 화상 인터페이스부
9 : 촬상 장치
10 : 화소
11 : 0도 편광의 편광판
12 : 90도 편광의 편광판
13 : 반사경
14 : 하프미러
15 : 원형의 편광 필터
16 : 편광 필터를 회전시키는 구동 장치
17, 18 : 편광 필터
19 : 광 통과부
20, 21 : 편광 투과부
22 : 수광부 광학 필터 트레이
23 : 특정 성분 투과 필터
24 : 컬러 필터
25 : 필터 구동부
30 : 메모리
100 : 촬상부
110 : 필터 어레이
200 : 신호 처리부

Claims (11)

1. 특정한 방향으로 편광한 광을 투과시키는 n개의 편광 영역(n은 2 이상의 정수) 및 광을 편광 방향에 관계없이 투과시키는 비편광 영역을 갖는 광 투과부로서, 상기 n개의 편광 영역의 투과축의 방향이 서로 다른 광 투과부와,
   상기 광 투과부를 투과한 광을 수취하도록 배치된 고체 촬상 소자로서, 각각이 (n+1)개의 화소를 포함하는 복수의 화소 블록으로 분할된 화소 어레이, 및 상기 (n+1)개의 화소 중 n개의 화소에 각각 대향하여 배치된 투과축의 방향이 서로 다른 n개의 편광 필터를 포함하는 필터 어레이를 갖는 고체 촬상 소자와,
   상기 고체 촬상 소자의 촬상면에 상을 형성하는 결상부와,
   상기 (n+1)개의 화소로부터 각각 출력되는 (n+1)개의 화소 신호에 근거하여, 상기 n개의 편광 영역 및 상기 비편광 영역의 각각에 입사한 광에 의한 (n+1)개의 화상을 생성하는 화상 생성부
   를 구비하고 있는 3차원 촬상 장치.
   
2. 제 1 항에 있어서,
   상기 화상 생성부는, 각 편광 영역의 광 투과율, 각 편광 필터의 광 투과율, 및 상기 비편광 영역의 광 투과율에 근거하여 결정되는 (n+1)행 (n+1)열의 행렬을 이용한 연산에 의해, 상기 (n+1)개의 화상을 생성하는 3차원 촬상 장치.
3. 제 2 항에 있어서,
   상기 화상 생성부는, j번째(j는 1 이상 n 이하의 정수)의 편광 영역을 투과하여 i번째(i는 1 이상 n 이하의 정수)의 편광 필터를 투과하는 광의 투과율을 i행 j열째의 요소 a(i, j)로 하고, 상기 비편광 영역을 투과하여 i번째의 편광 필터를 투과하는 광의 투과율을 i행 (n+1)열째의 요소 a(i, n+1)로 하고, 상기 제 1~제 n의 편광 영역 중 어느 하나를 투과하는 광의 투과율을 (n+1)행 j열째의 요소 a(n+1, j)로 하여 상기 행렬을 생성하고, 상기 행렬의 역행렬과 상기 (n+1)개의 화소 신호를 이용한 연산에 의해 상기 (n+1)개의 화상을 생성하는 3차원 촬상 장치.
   
4. 제 2 항 또는 제 3 항에 있어서,
   각 편광 영역의 투과축 방향 및 각 편광 필터의 투과축 방향은, 상기 행렬의 행렬식을 0으로 하지 않도록 설정되어 있는 3차원 촬상 장치.
   
5. 제 2 항 내지 제 4 항 중 어느 한 항에 있어서,
   각 편광 영역의 투과축 방향 및 각 편광 필터의 투과축 방향은, 상기 행렬의 행렬식의 절대치를 최대로 하도록 설정되어 있는 3차원 촬상 장치.
   
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
   n=2인 3차원 촬상 장치.
   
7. 제 6 항에 있어서,
   상기 n개의 편광 영역의 한쪽을 제 1 편광 영역, 다른 쪽을 제 2 편광 영역이라고 할 때,
   상기 제 1 및 제 2 편광 영역은, 상기 광 투과부의 중심을 지나 상기 광 투과부의 수광면의 면적을 2분할하는 선분에 대하여, 서로 반대쪽에 배치되어 있는
   3차원 촬상 장치.
   
8. 제 6 항 또는 제 7 항에 있어서,
   상기 비편광 영역의 적어도 일부는, 상기 제 1 편광 영역과 상기 제 2 편광 영역의 사이에 위치하고 있는 3차원 촬상 장치.
   
9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
   n=2이며,
   상기 n개의 편광 필터의 한쪽을 제 1 편광 필터, 다른 쪽을 제 2 편광 필터라고 할 때,
   각 화소 블록은, 상기 n개의 화소를 포함하는 8개의 화소를 포함하고, 상기 8개의 화소는 4행 2열로 배열되고,
   1행 1열째 및 3행 1열째의 화소에 대향하여 제 1 파장 영역의 광을 투과시키는 제 1 색 필터가 배치되고,
   2행 1열째 및 4행 1열째의 화소에 대향하여 제 2 파장 영역의 광을 투과시키는 제 2 색 필터가 배치되고,
   1행 2열째 및 3행 2열째의 화소에 대향하여 제 3 파장 영역의 광을 투과시키는 제 3 색 필터 또는 투명 부재가 배치되고,
   2행 2열째의 화소에 대향하여 상기 제 1 편광 필터가 배치되고,
   4행 2열째의 화소에 대향하여 상기 제 2 편광 필터가 배치되어 있는
   3차원 촬상 장치.
   
10. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,
    n=2이며,
    각 화소 블록은, 상기 n개의 화소를 포함하는 4개의 화소를 포함하고,
    상기 4개의 화소를 제 1 화소, 제 2 화소, 제 3 화소, 및 제 4 화소로 하고,
    상기 n개의 편광 필터의 한쪽을 제 1 편광 필터, 다른 쪽을 제 2 편광 필터라고 할 때,
    상기 제 1 화소에 대향하여 제 1 파장 영역의 광을 투과시키는 제 1 색 필터가 배치되고,
    상기 제 2 화소에 대향하여 제 2 파장 영역의 광을 투과시키는 제 2 색 필터가 배치되고,
    상기 제 3 화소에 대향하여 상기 제 1 편광 필터 및 제 3 파장 영역의 광을 투과시키는 제 3 색 필터가 배치되고,
    상기 제 4 화소에 대향하여 상기 제 2 편광 필터 및 제 3 파장 영역의 광을 투과시키는 제 3 색 필터가 배치되어 있는
    3차원 촬상 장치.
    
11. 제 1 항 내지 제 10 항 중 어느 한 항에 있어서,
    상기 화상 생성부는, 상기 비편광 영역에 입사한 광에 의한 화상의 신호를, 각 편광 영역에 입사한 광에 의한 화상의 신호에 가하는 것에 의해, 각 편광 영역에 입사한 광에 의한 화상의 SN비를 향상시키는 3차원 촬상 장치.

Images