KR101701527B1

KR101701527B1 - 3차원 촬상 장치

Info

Publication number: KR101701527B1
Application number: KR1020117018633A
Authority: KR
Inventors: 마사오 히라모토; 마사유키 미사키; 데루유키 다키자와; 마사아키 스즈키
Original assignee: 파나소닉 아이피 매니지먼트 가부시키가이샤
Priority date: 2010-01-05
Filing date: 2010-12-22
Publication date: 2017-02-01
Also published as: WO2011083542A1; JPWO2011083543A1; KR20120111918A; JP5421365B2; WO2011083543A1; TW201143366A; CN102342116B; US20110316983A1; TW201143365A; US20120002018A1; US9036004B2; CN102342115B; TWI544779B; CN102342116A; JPWO2011083542A1; KR101701528B1; JP5421364B2; KR20120111919A; CN102342115A; TWI507012B

Abstract

촬상계에 기계적으로 동작시키는 부분이 없고, 시차를 갖는 복수의 화상과 감도상 문제가 없는 화상을 동시에 얻을 수 있는 촬상 기술을 제공한다. 3차원 촬상 장치는, 특정한 방향으로 편광한 광을 투과시키는 편광 영역 A 및 광을 편광 방향에 관계없이 투과시키는 비편광 영역 C를 갖는 광 투과부(2)와, 광 투과부(2)를 투과한 광을 수취하도록 배치된 고체 촬상 소자(1)와, 고체 촬상 소자(1)의 촬상면(1a)에 상을 형성하는 결상부(3)와, 고체 촬상 소자(1)로부터 출력되는 신호에 근거하여 화상을 생성하는 화상 생성부를 구비한다. 고체 촬상 소자(1)는, 편광 필터를 포함하는 필터 어레이를 갖고 있다. 화상 생성부는, 상기 편광 영역 A에 입사한 광에 의한 화상과, 상기 비편광 영역 C에 입사한 광에 의한 화상을 생성한다.

Description

3차원 촬상 장치{THREE-DIMENSIONAL IMAGE CAPTURE DEVICE}

본 발명은 하나의 광학계와 하나의 촬상 소자를 이용하여 시차(視差)를 갖는 복수의 화상을 취득하는 단안(單眼)의 3차원 촬상 기술에 관한 것이다.

최근, CCD나 CMOS 등의 고체 촬상 소자(이하, 「촬상 소자」라고 칭하는 경우가 있다)를 이용한 디지털 카메라나 디지털 캠코더의 고기능화, 고성능화는 주목할 만하다. 특히 반도체 제조 기술의 진보에 따라, 촬상 소자에 있어서의 화소 구조의 미세화가 진행되고 있다. 그 결과, 촬상 소자의 화소 및 구동 회로의 고집적화가 도모되고 있다. 이 때문에, 짧은 기간에, 촬상 소자의 화소수는, 100만 화소 정도로부터 1000만 화소 이상으로 현저하게 증가했다. 또한, 촬상에 의해 얻어지는 화상의 질도 비약적으로 향상되고 있다. 한편, 표시 장치에 관하여, 박형 액정이나 플라즈마에 의한 디스플레이에 의해, 장소를 차지하지 않고, 고해상도로 고콘트라스트의 표시가 가능해져, 높은 성능이 실현되고 있다. 이러한 영상의 고품질화의 흐름은, 2차원 화상으로부터 3차원 화상으로 넓어지고 있다. 최근에는, 편광 안경을 필요로 하지만, 고화질의 3차원 표시 장치가 개발되기 시작하고 있다.

3차원 촬상 기술에 관하여, 단순한 구성을 갖는 대표적인 것은, 2개의 카메라로 구성되는 촬상계를 이용하여, 우안용 화상 및 좌안용 화상을 각각 취득한다고 하는 것이다. 이러한, 소위 2안 촬상 방식에서는, 카메라를 2개 사용하기 때문에, 촬상 장치가 대형이 되어, 비용도 높아질 수 있다. 그래서, 하나의 카메라를 이용하여 시차를 갖는 복수의 화상을 취득하는 방식이 연구되고 있다. 예컨대, 특허 문헌 1에는, 투과축의 방향이 서로 직교하는 2장의 편광판과 회전하는 편광 필터를 이용한 방식이 개시되어 있다.

도 10은 당해 방식에 의한 촬상계의 구성을 나타내는 모식도이다. 촬상 장치는, 0도 편광의 편광판(11), 90도 편광의 편광판(12), 반사경(13), 하프미러(14), 원형의 편광 필터(15), 원형의 편광 필터를 회전시키는 구동 장치(16), 광학 렌즈(3), 광학 렌즈에 의해 결상된 상을 취득하는 촬상 장치(9)를 구비하고 있다. 여기서, 하프미러(14)는, 편광판(11)을 투과하여 반사경(13)에서 반사된 광을 반사하고, 편광판(12)을 투과한 광을 투과시킨다. 이상의 구성에 의해, 서로 떨어진 장소에 배치된 편광판(11, 12)을 각각 투과한 광은, 하프미러(14), 원형의 편광 필터(15), 및 광학 렌즈(3)를 경유하여 촬상 장치(9)에 입사하여, 화상이 취득된다. 이 방식에 있어서의 촬상의 원리는, 원형의 편광 필터(15)를 회전시키는 것에 의해, 2장의 편광판(11, 12)의 각각에 입사한 광을 각각의 타이밍에 포착하여, 시차를 갖는 2개의 화상을 취득한다고 하는 것이다.

그러나, 상기 방식에서는, 원형의 편광 필터(15)를 회전시키면서, 시간 분할에 의해 다른 위치의 화상을 촬상하기 때문에, 시차를 갖는 2개의 화상을 동시에 취득할 수 없다고 하는 과제가 있다. 또한, 기계적 구동을 이용하기 때문에, 내구성에 문제가 있을 수 있다. 게다가, 전체 입사광을 편광판 및 편광 필터로 받기 때문에, 촬상 장치(9)가 받는 광의 양(수광량)이 50% 이상이나 저하된다고 하는 과제도 있다.

상기 방식에 비하여, 기계적 구동을 이용하지 않고서 시차가 있는 2개의 화상을 동시에 취득하는 방식이 특허 문헌 2에 개시되어 있다. 이 방식에 의한 촬상 장치는, 2개의 입사 영역으로부터 입사하는 광을 반사경에 의해 집광하고, 2종류의 편광 필터가 교대로 배열된 촬상 소자로 수광함으로써, 기계적 구동부를 이용하지 않고서 시차가 있는 2개의 화상을 취득한다.

도 11은 이 방식에 있어서의 촬상계의 구성을 나타내는 모식도이다. 이 촬상계는, 투과축의 방향이 서로 직교하는 2개의 편광판(11, 12)과, 반사경(13)과, 광학 렌즈(3)와, 촬상 소자(1)를 갖는다. 촬상 소자(1)는, 그 촬상면에, 복수의 화소(10)와, 화소에 1대1로 대응하여 배치된 편광 필터(17, 18)를 구비한다. 편광 필터(17, 18)는 전체 화소상에 교대로 배열되어 있다. 여기서, 편광 필터(17, 18)의 투과축의 방향은, 각각 편광판(11, 12)의 투과축의 방향과 일치하고 있다.

이상의 구성에 의해, 입사광은 편광판(11, 12)을 투과하여, 반사경(13)에서 반사되어, 광학 렌즈(3)를 지나, 촬상 소자(1)의 촬상면에 입사한다. 편광판(11, 12)을 각각 투과하여 촬상 소자(1)에 입사하는 광은, 각각 편광 필터(17, 18)를 투과하여 그들에 대향하는 화소에서 광전 변환된다. 여기서, 편광판(11, 12)을 각각 지나 촬상 소자(1)에 입사하는 광에 의해 형성되는 화상을, 각각 우안용 화상, 좌안용 화상이라고 부르면, 우안용 화상, 좌안용 화상은, 각각 편광 필터(17, 18)에 대향하는 화소군으로부터 얻어진다.

이와 같이, 특허 문헌 2에 개시된 방식에서는, 특허 문헌 1에 개시된 회전하는 원형의 편광 필터를 이용하는 대신에, 촬상 소자의 화소상에 투과축의 방향이 서로 직교하는 2종류의 편광 필터가 교대로 배치된다. 이에 의해, 특허 문헌 1의 방식에 비하여 해상도가 1/2로 저하되지만, 하나의 촬상 소자를 이용하여 시차를 갖는 우안용 화상과 좌안용 화상을 동시에 얻을 수 있다.

그러나, 이 기술에 있어서도, 특허 문헌 1의 기술과 마찬가지로, 입사광이 편광판 및 편광 필터를 투과할 때에 광량이 감소되기 때문에, 촬상 소자의 수광량은 크게 감소된다.

촬상 소자의 수광량이 감소된다고 하는 문제에 대하여, 별도의 접근법으로서, 시차를 갖는 복수의 화상의 촬상과 통상의 화상의 촬상을 기계적으로 전환하는 수법이 특허 문헌 3에 개시되어 있다. 도 12는 당해 수법에 있어서의 촬상계의 구성을 모식적으로 나타내는 도면이다. 도 12에 나타내는 촬상 장치는, 2개의 편광 투과부(20, 21)를 갖고, 그들 투과부를 통해서만 광학 렌즈(3)로부터의 입사광을 투과시키는 광 통과부(19)와, 편광 투과부(20, 21)로부터의 광을 분리하는 특정 성분 투과 필터(23), 및 컬러 필터(24)가 1조가 된 수광부 광학 필터 트레이(22)와, 광 통과부(19) 및 특정 성분 투과 필터(23)를 광로상에서 떼어내고 컬러 필터(24)를 광로에 삽입하거나, 혹은 그 반대의 동작을 행하는 필터 구동부(25)를 구비하고 있다.

이 기술에 의하면, 필터 구동부(25)를 동작시켜, 시차를 갖는 2개의 화상의 촬상에서는 광 통과부(19) 및 특정 성분 투과 필터(23)가 이용되고, 통상의 촬영에서는, 컬러 필터(24)가 이용된다. 시차를 갖는 2개의 화상의 촬영에 있어서는, 기본적으로 특허 문헌 2에 나타내는 것과 같으며, 광 이용률이 크게 저하된다. 한편, 통상의 컬러 화상의 촬영에서는, 광 통과부(19)를 광로에서 떼어내고, 또한, 특정 성분 투과 필터(23) 대신에 컬러 필터(24)를 삽입함으로써, 광 이용률이 높은 컬러 화상을 얻을 수 있다.

(선행 기술 문헌)

(특허 문헌)

(특허 문헌 1) 일본 특허 공개 공보 소 62-291292 호

(특허 문헌 2) 일본 특허 공개 공보 소 62-217790 호

(특허 문헌 3) 일본 특허 공개 공보 제 2001-016611 호

종래 기술에서는, 편광판(편광 투과부) 및 편광 필터를 이용하는 것에 의해, 단안 카메라로 시차를 갖는 2개의 화상을 촬상할 수 있다. 이들 기술에 있어서, 편광판 및 편광 필터는, 모두 0°, 90°의 투과축을 갖는 2종류의 편광자로 구성되어 있다. 그 때문에, 단안 카메라로 시차가 있는 2개의 화상을 촬상할 수 있지만, 광 이용률이 낮아, 촬상 감도가 저하된다고 하는 과제가 있다. 또한, 감도상 문제가 없는 컬러 화상을 얻기 위해서는, 상기에 나타낸 수광부에 광학 필터 트레이나 필터 구동부를 마련할 필요가 있다. 또한, 그것들이 가령 마련되었다고 해도 시차를 갖는 화상의 촬영시와 컬러 화상의 촬영시에 피사체의 상태가 다르면, 시차 화상과 컬러 화상은 같은 상태의 화상이 아니다. 즉, 두 화상을 동시에 얻을 수 없다고 하는 과제가 있다.

본 발명은, 상기 과제를 감안하여, 촬상계에 기계적 구동부를 마련하지 않고서, 시차를 갖는 복수의 화상을 얻을 수 있는 촬상 기술을 제공한다. 본 발명의 바람직한 실시 형태에 의하면, 시차를 갖는 복수의 화상과 감도상 문제가 없는 화상을 동시에 얻는 것이 가능해진다.

본 발명의 3차원 촬상 장치는, 특정한 방향으로 편광한 광을 투과시키는 편광 영역 및 광을 편광 방향에 관계없이 투과시키는 비편광 영역을 갖는 광 투과부와, 상기 광 투과부를 투과한 광을 수취하도록 배치된 고체 촬상 소자로서, 각각이 제 1 화소 및 제 2 화소를 포함하는 복수의 화소 블록으로 분할된 화소 어레이, 및 상기 제 1 화소에 대향하여 배치된 편광 필터를 포함하는 필터 어레이를 갖고, 상기 편광 필터는, 상기 제 1 화소에 상기 편광 영역을 투과한 광의 적어도 일부를 입사시키는 고체 촬상 소자와, 상기 고체 촬상 소자의 촬상면에 상을 형성하는 결상부와, 상기 제 1 화소로부터 출력된 제 1 화소 신호, 및 상기 제 2 화소로부터 출력된 제 2 화소 신호에 근거하여, 상기 편광 영역에 입사한 광에 의한 화상 및 상기 비편광 영역에 입사한 광에 의한 화상을 생성하는 화상 생성부를 구비한다.

한 실시 형태에 있어서, 상기 편광 영역의 투과축의 방향과 상기 편광 필터의 투과축의 방향은 일치하고 있다.

한 실시 형태에 있어서, 상기 편광 영역을 제 1 편광 영역이라 하고, 상기 편광 필터를 제 1 편광 필터라고 할 때, 상기 광 투과부는, 상기 제 1 편광 영역의 투과축에 직교하는 투과축을 갖는 제 2 편광 영역을 갖고, 각 화소 블록은, 제 3 화소를 포함하고, 상기 필터 어레이는, 상기 제 1 편광 필터의 투과축과 다른 방향의 투과축을 갖는 제 2 편광 필터로서 상기 제 3 화소에 대향하여 배치된 제 2 편광 필터를 갖고, 상기 화상 생성부는, 상기 제 1 화소 신호, 상기 제 2 화소 신호, 및 상기 제 3 화소로부터 출력된 제 3 화소 신호를 이용하여, 상기 편광 영역에 입사한 광에 의한 화상 및 상기 비편광 영역에 입사한 광에 의한 화상을 생성한다.

한 실시 형태에 있어서, 상기 제 1 및 제 2 편광 영역은, 상기 광 투과부의 중심에 대하여 대칭적으로 배치되어 있다.

한 실시 형태에 있어서, 상기 제 2 화소는, 상기 제 1 및 제 3 화소에 인접하여 배치되어 있다.

한 실시 형태에 있어서, 상기 제 1 및 제 2 편광 영역은, 서로 떨어져 배치되어 있다.

한 실시 형태에 있어서, 상기 화상 생성부는, 상기 비편광 영역에 입사한 광에 의한 화상 신호를, 상기 제 1 편광 영역에 입사한 광에 의한 화상 신호, 및 상기 제 2 편광 영역에 입사한 광에 의한 화상 신호에 가산함으로써, 상기 제 1 편광 영역에 대응하는 화상 신호 및 상기 제 2 편광 영역에 대응하는 화상 신호를 생성한다.

한 실시 형태에 있어서, 각 화소 블록은, 4행 2열로 배열된 8개의 화소를 포함하고, 상기 제 1 화소는 2행 2열째에 배치되고, 상기 제 2 화소는 1행 2열째에 배치되고, 상기 제 3 화소는 4행 2열째에 배치되고, 1행 1열째 및 3행 1열째의 화소에는 시안(cyan)의 파장 영역의 광을 투과시키는 시안 필터가 대향하여 배치되고, 2행 1열째 및 4행 1열째의 화소에는 황색의 파장 영역의 광을 투과시키는 황색 필터가 대향하여 배치되고, 1행 2열째 및 3행 2열째의 화소에는 투명 부재가 대향하여 배치되고, 2행 2열째 및 4행 2열째의 화소에는 상기 제 1 및 제 2 편광 필터가 각각 대향하여 배치되어 있다.

한 실시 형태에 있어서, 각 화소 블록은, 4행 2열로 배열된 8개의 화소를 포함하고, 상기 제 1 화소는 2행 1열째에 배치되고, 상기 제 2 화소는 1행 2열째에 배치되고, 상기 제 3 화소는 4행 1열째에 배치되고, 1행 1열째 및 3행 1열째의 화소에는 시안의 파장 영역의 광을 투과시키는 시안 필터가 대향하여 배치되고, 2행 2열째 및 4행 2열째의 화소에는 황색의 파장 영역의 광을 투과시키는 황색 필터가 대향하여 배치되고, 1행 2열째 및 3행 2열째의 화소에는 투명 부재가 대향하여 배치되고, 2행 1열째 및 4행 1열째의 화소에는 상기 제 1 및 제 2 편광 필터가 각각 배치되어 있다.

한 실시 형태에 있어서, 각 화소 블록은, 4행 2열로 배열된 8개의 화소를 포함하고, 상기 제 1 화소는 2행 2열째에 배치되고, 상기 제 2 화소는 1행 2열째에 배치되고, 상기 제 3 화소는 4행 2열째에 배치되고, 1행 1열째 및 3행 1열째의 화소에는 적색의 파장 영역의 광을 투과시키는 적색 필터가 대향하여 배치되고, 2행 1열째 및 4행 1열째의 화소에는 청색의 파장 영역의 광을 투과시키는 청색 필터가 대향하여 배치되고, 1행 2열째 및 3행 2열째의 화소에는 녹색의 파장 영역의 광을 투과시키는 녹색 필터가 대향하여 배치되고, 2행 2열째의 화소에는 상기 제 1 편광 필터 및 녹색의 파장 영역의 광을 투과시키는 녹색 필터가 대향하여 배치되고, 4행 2열째의 화소에는 상기 제 2 편광 필터 및 녹색의 파장 영역의 광을 투과시키는 녹색 필터가 대향하여 배치되어 있다.

한 실시 형태에 있어서, 각 화소 블록은, 4행 2열로 배열된 8개의 화소를 포함하고, 상기 제 1 화소는 2행 1열째에 배치되고, 상기 제 2 화소는 1행 2열째에 배치되고, 상기 제 3 화소는 4행 1열째에 배치되고, 1행 1열째 및 3행 1열째의 화소에는 적색의 파장 영역의 광을 투과시키는 적색 필터가 대향하여 배치되고, 2행 2열째 및 4행 2열째의 화소에는 청색의 파장 영역의 광을 투과시키는 청색 필터가 대향하여 배치되고, 1행 2열째 및 3행 2열째의 화소에는 녹색의 파장 영역의 광을 투과시키는 녹색 필터가 대향하여 배치되고, 2행 1열째의 화소에는 상기 제 1 편광 필터 및 녹색의 파장 영역의 광을 투과시키는 녹색 필터가 대향하여 배치되고, 4행 1열째의 화소에는 상기 제 2 편광 필터 및 녹색의 파장 영역의 광을 투과시키는 녹색 필터가 대향하여 배치되어 있다.

한 실시 형태에 있어서, 각 화소 블록은, 4행 2열로 배열된 8개의 화소를 포함하고, 상기 제 1 화소는 2행 2열째에 배치되고, 상기 제 2 화소는 1행 2열째에 배치되고, 상기 제 3 화소는 4행 2열째에 배치되고, 1행 1열째 및 3행 1열째의 화소에는 적색의 파장 영역의 광을 투과시키는 적색 필터가 대향하여 배치되고, 2행 1열째 및 4행 1열째의 화소에는 청색의 파장 영역의 광을 투과시키는 청색 필터가 대향하여 배치되고, 1행 2열째 및 3행 2열째의 화소에는 투명 부재가 대향하여 배치되고, 2행 2열째 및 4행 2열째의 화소에는 상기 제 1 및 제 2 편광 필터가 각각 대향하여 배치되어 있다.

한 실시 형태에 있어서, 각 화소 블록은, 4행 2열로 배열된 8개의 화소를 포함하고, 상기 제 1 화소는 2행 1열째에 배치되고, 상기 제 2 화소는 1행 2열째에 배치되고, 상기 제 3 화소는 4행 1열째에 배치되고, 1행 1열째 및 3행 1열째의 화소에는 적색의 파장 영역의 광을 투과시키는 적색 필터가 대향하여 배치되고, 2행 2열째 및 4행 2열째의 화소에는 청색의 파장 영역의 광을 투과시키는 청색 필터가 대향하여 배치되고, 1행 2열째 및 3행 2열째의 화소에는 투명 부재가 대향하여 배치되고, 2행 1열째 및 4행 1열째의 화소에는 상기 제 1 및 제 2 편광 필터가 각각 대향하여 배치되어 있다.

한 실시 형태에 있어서, 상기 화상 생성부는, 상기 8개의 화소로부터 출력되는 화소 신호를 이용한 연산에 의해, 상기 제 1 편광 영역에 입사하는 광에 의한 화상, 상기 제 2 편광 영역에 입사하는 광에 의한 화상, 및 컬러 화상을 생성한다.

한 실시 형태에 있어서, 각 화소 블록은, 제 4 화소를 더 포함하고, 상기 제 1 화소, 제 2 화소, 제 3 화소, 및 제 4 화소는, 2행 2열로 배열되고, 상기 제 2 화소에는 제 1 파장 영역의 광을 투과시키는 제 1 색 필터가 대향하여 배치되고, 상기 제 4 화소에는 제 2 파장 영역의 광을 투과시키는 제 2 색 필터가 대향하여 배치되어 있다.

한 실시 형태에 있어서, 상기 제 1 파장 영역은, 적색의 파장 영역에 상당하고, 상기 제 2 파장 영역은, 청색의 파장 영역에 상당한다.

본 발명의 3차원 촬상 장치에 의하면, 편광 영역 및 비편광 영역을 갖는 광 투과부와, 편광 필터가 배치된 제 1 화소군 및 편광 필터가 배치되어 있지 않은 제 2 화소군을 갖는 촬상 소자를 구비하고 있다. 그 때문에, 제 1 화소군의 신호와 제 2 화소군의 신호를 이용한 연산 처리에 의해, 편광 영역에 입사하는 광에 의한 화상과 비편광 영역에 입사하는 광에 의한 화상을 생성할 수 있다. 즉, 시차를 갖는 복수의 화상을 얻을 수 있다. 또한, 비편광 영역을 투과한 화상을 생성할 수 있기 때문에, 감도 저하가 없는 화상도 얻을 수 있다. 이와 같이, 본 발명의 3차원 촬상 장치에 의하면, 기계적 구동부를 마련하지 않고서, 신호 연산만으로 시차를 갖는 복수의 화상과 감도상 문제가 없는 화상을 동시에 얻을 수 있다고 하는 효과가 있다.

도 1은 본 발명의 실시 형태에 있어서의 촬상 장치의 전체 구성도,
도 2는 본 발명의 실시 형태 1에 있어서의 투광판, 렌즈, 및 촬상 소자의 배치 관계를 나타내는 모식도,
도 3은 본 발명의 실시 형태 1에 있어서의 투광판의 정면도,
도 4는 본 발명의 실시 형태 1에 있어서의 고체 촬상 소자의 촬상면에서의 기본 색 구성도,
도 5는 본 발명의 실시 형태 2에 있어서의 고체 촬상 소자의 촬상부의 기본 색 구성도,
도 6은 본 발명의 실시 형태 2에 있어서의 투광판의 정면도,
도 7은 본 발명의 실시 형태 2에 있어서의 D값과 편광각의 관계도,
도 8은 본 발명의 실시 형태 2에 있어서의 E값과 편광각의 관계도,
도 9는 본 발명의 실시 형태 3에 있어서의 고체 촬상 소자의 촬상부의 기본 색 구성도,
도 10은 특허 문헌 1에 있어서의 촬상계의 구성도,
도 11은 특허 문헌 2에 있어서의 촬상계의 구성도,
도 12는 특허 문헌 3에 있어서의 촬상계의 구성도이다.

이하, 본 발명의 실시 형태에 대하여, 도면을 참조하면서 설명한다. 모든 도면에 걸쳐 공통 요소에는 동일한 부호를 붙이고 있다. 또, 본 명세서에 있어서, 화상을 나타내는 신호 또는 정보를 간단히 「화상」이라고 칭하는 경우가 있다. 또한, 시차를 갖는 복수의 화상을 「복수 시점 화상」(multi-viewpoint images)이라고 부르는 경우가 있다.

(실시 형태 1)

우선, 본 발명의 제 1 실시 형태를 설명한다. 도 1은 본 실시 형태에 있어서의 3차원 촬상 장치의 전체 구성을 나타내는 블록도이다. 본 실시 형태의 촬상 장치는, 디지털식의 전자 카메라이며, 촬상부(100)와, 촬상부(100)로부터의 신호에 근거하여 화상을 나타내는 신호(화상 신호)를 생성하는 신호 처리부(200)를 구비하고 있다.

촬상부(100)는, 촬상면상에 배열된 복수의 광감지 셀(화소)을 구비하는 촬상 소자(이미지 센서)(1)와, 특정한 방향으로 편광한 광을 투과시키는 편광 영역 및 광을 편광 방향에 관계없이 투과시키는 비편광 영역을 갖는 투광판(2)과, 촬상 소자(1)의 촬상면상에 상을 형성하기 위한 광학 렌즈(3)와, 적외선 차단 필터(4)를 구비하고 있다. 촬상부(100)는 또한, 촬상 소자(1)를 구동하기 위한 기본 신호를 발생시킴과 함께 촬상 소자(1)로부터의 출력 신호를 수신하여 신호 처리부(200)에 송출하는 신호 발생/수신부(5)와, 신호 발생/수신부(5)에 의해 발생된 기본 신호에 근거하여 촬상 소자(1)를 구동하는 소자 구동부(6)를 구비하고 있다. 촬상 소자(1)는, 전형적으로는 CCD 또는 CMOS 센서이며, 공지의 반도체 제조 기술에 의해 제조된다. 신호 발생/수신부(5) 및 소자 구동부(30)는, 예컨대 CCD 드라이버 등의 LSI로 구성되어 있다.

신호 처리부(200)는, 촬상부(100)로부터 출력된 신호를 처리하여 화상 신호를 생성하는 화상 신호 생성부(7)와, 화상 신호의 생성에 이용되는 각종 데이터를 저장하는 메모리(30)와, 생성한 화상 신호를 외부에 송출하는 인터페이스(IF)부(8)를 구비하고 있다. 화상 신호 생성부(7)는, 공지의 디지털 신호 처리 프로세서(DSP) 등의 하드웨어와, 화상 신호 생성 처리를 포함하는 화상 처리를 실행하는 소프트웨어의 조합에 의해 적절히 실현될 수 있다. 메모리(30)는, DRAM 등에 의해 구성된다. 메모리(30)는, 촬상부(100)로부터 얻어진 신호를 기록함과 함께, 화상 신호 생성부(7)에 의해 생성된 화상 데이터나, 압축된 화상 데이터를 일시적으로 기록한다. 이들 화상 데이터는, 인터페이스부(8)를 통해 도시하지 않은 기록 매체나 표시부 등에 송출된다.

또, 본 실시 형태의 촬상 장치는, 전자 셔터, 뷰파인더, 전원(전지), 플래시라이트 등의 공지의 구성 요소를 구비할 수 있지만, 그들의 설명은 본 발명의 이해에 특별히 필요하지 않기 때문에 생략한다.

다음으로, 도 2~4를 참조하면서 촬상부(100)의 구성을 보다 상세하게 설명한다.

도 2는 촬상부(100)에 있어서의 투광판(2), 광학 렌즈(3), 및 촬상 소자(1)의 배치 관계를 모식적으로 나타내는 도면이다. 또, 도 2에서는, 투광판(2), 광학 렌즈(3), 및 촬상 소자(1) 이외의 구성 요소는 생략되어 있다. 투광판(2)은, 편광 영역 A 및 비편광 영역(투명 영역) C를 갖고, 입사광을 투과시킨다. 광학 렌즈(3)는, 공지의 렌즈이며, 투광판(2)을 투과한 광을 집광하여, 촬상 소자(1)의 촬상면(1a)에 결상시킨다. 또, 이하의 설명에서는, 편광 영역 A의 중심으로부터 비편광 영역 C의 중심으로 향하는 방향을 x 방향이라 하고, 촬상면(1a)에 평행한 평면에 있어서, x 방향에 수직인 방향을 y 방향이라 한다.

도 3은 본 실시 형태에 있어서의 투광판(2)의 정면도이다. 투광판(2)의 형상은, 광학 렌즈(3)와 같이 원형이지만, 다른 형상이더라도 좋다. 도 2에 있어서 투광판(2)의 좌측의 반은, x 방향(수평 방향)으로 투과축을 갖는 편광 영역 A이다. 투광판(2)의 우측의 반은, 입사광을 편광 방향에 관계없이 투과시키는 투명 영역 C이다. 편광 영역 A는, 공지의 편광판 등에 의해 형성된다. 투명 영역 C는, 광을 높은 투과율로 투과시키는 부재이면 어떠한 것으로 형성되어 있더라도 좋다. 본 실시 형태에서는, 투광판(2)이 본 발명의 광 투과부로서 기능한다. 또, 도 3에 나타내는 투광판(2)은, 편광 영역 A 및 투명 영역 C만으로 형성되어 있는 것처럼 그려져 있지만, 일부가 차광성 부재로 형성되어 있더라도 좋다.

도 2에 나타내는 촬상 소자(1)의 촬상면(1a)에는, 2차원 형상으로 배열된 복수의 광감지 셀(화소)을 포함하는 광감지 셀 어레이(화소 어레이)가 형성되어 있다. 또한, 화소 어레이에 대향하여 광이 입사하는 쪽에 복수의 편광 필터 및 색 필터를 포함하는 필터 어레이가 형성되어 있다. 각 화소는, 전형적으로는 포토다이오드를 포함하고, 광전 변환에 의해 각각이 받은 광의 양(수광량)에 따른 전기 신호(「광전 변환 신호」, 또는 「화소 신호」라고 부른다)를 출력한다. 본 실시 형태에서는, 근접하는 4개의 화소의 조를 하나의 화소 블록으로 하고, 각 화소 블록의 4개의 화소에 대응하여 2개의 색 필터, 하나의 투명 부재, 하나의 편광 필터가 배치되어 있다.

도 4는 촬상면(1a)에 형성되는 필터 어레이(110)의 일부를 모식적으로 나타내는 도면이다. 필터 어레이(110)는, 각 화소에 편광 영역 A를 투과한 광의 적어도 일부 및 투명 영역 C를 투과한 광의 적어도 일부를 입사시키도록 구성되어 있다. 각 화소 블록에 있어서, 1행 1열째의 화소에는 시안의 파장 영역(청색 및 녹색의 파장 영역)의 광을 투과시키는 색 필터(시안 요소 Cy)가 대향하여 배치되어 있다. 2행 1열째의 화소에는 황색의 파장 영역(녹색 및 적색의 파장 영역)의 광을 투과시키는 색 필터(황색 요소 Ye)가 대향하여 배치되어 있다. 2행 1열째의 화소에는 가시광을 파장 및 편광 방향에 관계없이 투과시키는 투명 부재(투명 요소 W)가 대향하여 배치되어 있다. 2행 2열째에는 x 방향의 투과축을 갖는 편광 필터(편광 요소 Wh)가 대향하여 배치되어 있다. 또, 투명 요소 W는 공기로 대용하더라도 좋다. Cy, W, Ye, Wh의 배치는, 도 4에 나타내는 배치에 한하지 않고, 서로 어떻게 교체하더라도 좋다. 또한, 도 4에 나타내는 정방 격자 형상의 화소 배열 대신에, x 방향 및 y 방향에 대하여 비스듬히 배열된 사교형(斜交型)의 화소 배열을 채용하더라도 좋다. 이하의 설명에서는, 시안 요소, 황색 요소, 투명 요소, 편광 요소를, 합쳐 「색 요소」라고 부르는 경우가 있다.

이상의 구성에 의해, 촬영시에 촬상 장치에 입사하는 광은, 투광판(2), 광학 렌즈(3), 적외선 차단 필터(4), 필터 어레이(110)를 지나 화소에 입사한다. 각 화소는, 투광판(2)의 편광 영역 A를 투과한 광 및 투명 영역 C를 투과한 광을 받고, 받은 광의 양에 따른 화소 신호를 출력한다. 각 화소에 의해 출력된 화소 신호는, 신호 발생/수신부(5)를 통해 신호 처리부(200)에 송출된다. 신호 처리부(200)에 있어서의 화상 신호 생성부(7)는, 촬상부(100)로부터 송출된 신호에 근거하여 복수 시점 화상을 생성한다.

이하, 각 화소로부터 출력되는 화소 신호를 설명한다. 우선 W 요소 또는 Wh 요소를 투과하여 대향하는 화소에서 광전 변환되는 광에 의한 화소 신호에 대하여 설명한다. 여기서, 투광판(2)의 편광 영역 A의 편광 특성과 Wh 요소의 편광 특성은 같은 것으로 한다. 투광판(2)의 편광 영역 A의 광투과율을 100%로 가정한 경우에, 당해 영역을 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량을 As, 투광판(2)의 투명 영역 C를 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량을 Cs로 한다. 실제로는, 투광판(2)의 편광 영역 A는 투과율이 100%가 아니기 때문에, 그 투과율을 T1로 하고, 또한 투과축의 방향이 같은 편광판을 2장 겹친 경우의 광투과율을 T1×T2로 한다. 투광판(2)의 투명 영역 C의 광투과율은 100%인 것으로 한다.

W 요소를 투과하여 그 대향 화소에서 광전 변환되는 광의 양에 상당하는 신호량을 Sw로 나타낸다. 투광판(2)의 편광 영역 A를 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량은 T1×As로 표시된다. 투광판(2)의 투명 영역 C를 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량은 Cs이기 때문에, 신호량 Sw는 이하의 식 1로 표시된다.

Wh 요소를 투과하여 그 대향 화소에서 광전 변환되는 광의 양에 상당하는 신호량을 Swh로 나타내면, 투광판(2)의 편광 영역 A를 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 통해 광전 변환되는 신호량은 T1×T2×As로 표시된다. 투광판(2)의 투명 영역 C를 투과하여, 광학 렌즈, 적외선 차단 필터를 통해 광전 변환되는 신호량은 T1×Cs이기 때문에, 신호량 Swh는 이하의 식 2로 표시된다.

상기 식 1과 식 2로부터, 투광판(2)의 편광 영역 A를 투과하여 광전 변환되는 광의 양을 나타내는 화상 신호 As와, 투광판(2)의 투명 영역 C를 투과하여 광전 변환되는 광의 양을 나타내는 화상 신호 Cs를 산출할 수 있다. As 및 Cs는, 각각 이하의 식 3 및 식 4로 표시된다.

화상 신호 생성부(7)는, 이상의 연산을 화소 블록마다 실행함으로써, 화소 블록마다 As 및 Cs를 산출한다. 이렇게 하여 생성한 As의 집합은, 편광 영역 A에 입사하는 광에 의한 화상을 형성하고, Cs의 집합은, 투명 영역 C에 입사하는 광에 의한 화상을 형성한다. 이와 같이, 본 발명에서는, 간단한 화소간 연산으로 시차가 있는 2개의 화상을 작성할 수 있다.

한편, 컬러 화상에 대해서는, 시안 요소를 투과하여 광전 변환되는 광의 양을 나타내는 신호량 Scy, 황색 요소를 투과하여 광전 변환되는 광의 양을 나타내는 신호량 Sye, 및 W 요소를 투과하여 광전 변환되는 광의 양을 나타내는 신호량 Sw를 이용하여, 이하와 같이 생성된다. 우선, 적색의 색 정보 Sr은, (Sw-Scy)의 연산에 의해 얻어진다. 청색의 색 정보 Sb는, (Sw-Sye)의 연산에 의해 얻어진다. 또한, (Sw-Sr-Sb)의 연산에 의해, 녹색의 색 정보가 얻어진다. 이상의 연산에 의해, RGB의 컬러 화상을 간단히 만들 수 있다. 그 결과, 본 실시 형태에 있어서의 광량의 저하는, 투광판(2)의 편광 영역 A에서의 손실분만으로 억제되어, 당행 부분의 광량 저하를 50%라고 하면, 투명 영역 C를 투과하는 광의 양을 합쳐, 입사광의 75%의 광량을 확보한 컬러 화상이 얻어지게 된다.

이상과 같이, 본 실시 형태의 촬상 장치에 의하면, 2행 2열을 화소의 기본 구성으로 하고, 4개의 화소에 대응하여 2개의 색 필터, 편광 필터, 및 투광성 부재가 배치된다. 1행 1열째에 시안 요소(Cy), 1행 2열째에 투명 요소(W), 2행 1열째에 황색 요소(Ye), 2행 2열째에 x 방향으로 편광한 광만을 투과시키는 편광 요소(Wh)가 배치된다. 또한, 투광판(2)의 도 3에 나타내는 왼쪽 반은, x 방향으로 편광한 광만을 투과시키고, 오른쪽 반은, 입사광을 편광 방향에 관계없이 통과시키도록 구성되어 있다. 투명 요소 W에 대향하는 화소의 화소 신호와 편광 요소 Wh에 대향하는 화소의 화소 신호의 연산으로부터, 시차가 있는 2개의 화상을 만들 수 있다. 또한, 시안 요소 Cy에 대향하는 화소의 화소 신호와, 황색 요소 Ye에 대향하는 화소의 화소 신호와, 투명 요소 W에 대향하는 화소의 화소 신호를 이용한 연산에 의해, 광량의 저하를 입사 광량의 약 25%로 억제한 컬러 화상을 만들 수 있다. 즉, 본 실시 형태에 의하면, 종래 기술에서 이용된 기계적 구동부를 필요로 하지 않고, 화상 신호간의 연산만으로 복수 시점 화상과 광 이용률 저하를 대폭 억제한 컬러 화상을 동시에 얻을 수 있다고 하는 효과를 나타낸다.

또, 본 실시 형태에서는, 투광판(2)의 편광 영역 A와 투명 영역 C를 같은 면적이 되도록 구성했지만, 투명 영역 C의 비율을 크게 하여 컬러 화상의 광 이용률을 더욱 향상시킬 수도 있다. 단, 그 경우, 시차의 정밀도가 저하될 가능성이 있다. 컬러 화상의 광 이용률과 시차 정밀도는 트레이드오프의 관계에 있기 때문에, 투명 영역 C의 비율을 어느 정도로 설정할지는, 설계 사항이 된다. 또한, 본 실시 형태에서는, 도 4에 나타내는 바와 같이, 시안 요소, 황색 요소, 투명 요소, 편광 요소를 이용했지만, 투과 파장 영역이 다른 3종류의 색 요소를 이용하면, 컬러 화상은 얻어지기 때문에, 이러한 색 구성에 한정되는 것이 아니다. 또한, 도 4에 나타내는 색 배치에 한정되는 것도 아니다. 예컨대, 시안 요소 및 황색 요소 대신에, 청색의 파장 영역의 광을 투과시키는 청색 필터(청색 요소 B) 및 적색의 파장 영역의 광을 투과시키는 적색 필터(적생 요소 R)를 이용하더라도 좋다. 또한, 편광 요소 Wh가 배치된 화소에 대향하여, 색 필터가 더 배치되어 있더라도 좋다. 예컨대, 편광 요소 Wh를 투과하는 광의 광로상에 녹색의 파장 영역의 광을 투과시키는 녹색 필터를 배치하고, 투명 요소 W 대신에 녹색 필터를 배치하더라도 좋다. 이와 같이, 4개의 색 요소 중, 동색의 2요소는, 투명 요소 혹은 인간의 시감도 특성에 가까운 녹색 요소인 것이 바람직하다. 또한, 4화소에 대응하여 4개의 색 요소가 배치되어 있으면, 그들의 배치는 임의이다.

본 실시 형태의 투광판(2)은, 도 3에 나타내는 바와 같이, 중심을 지나는 선으로 2분할되고, 좌측이 편광 영역 A, 우측이 투명 영역 C이지만, 이들 영역은 반드시 서로 접하고 있을 필요는 없다. 예컨대, 편광 영역 A와 투명 영역 C가 차광성 부재를 사이에 두고 서로 떨어져 배치되어 있더라도 좋다.

또한, 본 실시 형태에서는, 투광판(2)의 편광 영역 A와 촬상 소자(1)의 편광 요소 Wh는 동일 방향의 투과축을 갖지만, 이들 투과축은 방향이 다르더라도 좋다. 투광판(2)의 편광 영역 A의 투과축의 방향과 촬상 소자(1)의 편광 요소 Wh의 투과축의 방향이 어떤 각도로 교차하고 있는 경우, 그 각도에 따라, 식 2~4를 변형하면 된다.

촬상부(100)의 구성에 관하여, 도 2에 나타내는 각 구성 요소의 배치 관계는 어디까지나 일례로서, 본 발명은 이러한 배치 관계에 한정되는 것이 아니다. 예컨대, 광학 렌즈(3)는, 촬상면(1a)에 상을 형성할 수 있으면 투광판(2)보다 촬상 소자(1)로부터 떨어져 배치되어 있더라도 좋다. 또한, 복수의 렌즈가 배치되고, 그들 사이에 투광판(2)이 배치되는 구성이더라도 좋다. 또한, 렌즈(3)와 투광판(2)은 독립된 구성 요소일 필요는 없고, 양자는 일체화되어 있더라도 좋다. 또한, 투광판(2)과 촬상 소자(1)의 촬상면은 반드시 평행하게 배치되어 있을 필요는 없다. 예컨대, 양자간에 미러나 프리즘 등의, 광을 반사하는 광학 소자(52)를 배치함으로써, 투광판(2)과 촬상 소자(1)의 촬상면이 서로 교차하는 평면상에 위치하도록 구성하더라도 좋다.

(실시 형태 2)

다음으로 본 발명의 제 2 실시 형태에 대하여 설명한다. 본 실시 형태의 촬상 장치는, 투광판(2) 및 촬상 소자(1)의 구조, 및 화상 신호 생성부(7)의 처리를 제외하고, 실시 형태 1의 촬상 장치와 같다. 그 때문에, 실시 형태 1과 다른 점만을 설명하여, 중복하는 사항에 대해서는 설명을 생략한다.

도 5는 본 실시 형태에 있어서의 고체 촬상 소자(1)의 촬상면에서의 기본 색 구성을 나타내는 도면이다. 본 실시 형태에서는, 4행 2열을 화소의 기본 구성으로 하고, 1행 1열째와 3행 1열째에 시안 요소(Cy), 1행 2열째와 3행 2열째에 투명 요소(W), 2행 1열째 및 4행 1열째에 황색 요소(Ye), 2행 2열째에 투과축의 방향이 x 방향에 대하여 θ의 각도를 이루는 편광 요소(Wh), 4행 2열째에 투과축의 방향이 y 방향에 대하여 θ의 각도를 이루는 편광 요소(Wv)이다. 고체 촬상 소자(1)의 각 화소는 상기 색 요소에 1대1로 대응하고, 각 색 요소에 대향하여 배치되어 있다.

또한, 도 6은 본 실시 형태에 있어서의 투광판(2a)의 정면도이다. 투광판(2a)의 형상은, 원형으로 광학 렌즈(3)와 같은 유효 직경을 갖는다. 투광판(2a)은, 도 6에 있어서의 좌측에 입사광의 x 방향의 편광 성분만을 투과시키는 직사각형의 편광 영역 A(이하, 「편광 좌측부」라고 부른다)를 갖고, 우측에, 같은 사이즈로 입사광의 y 방향의 편광 성분만을 투과시키는 편광 영역 B(이하, 「편광 우측부」라고 부른다)를 갖고 있다. 투광판(2a)에서, 편광 영역 A, B 이외의 영역은, 투광성 부재로 형성되어 있고, 입사광을 편광 방향에 관계없이 투과시키는 투명 영역 C이다. 이와 같이, 본 실시 형태에 있어서의 투광판(2a)은, 중심에 대하여 대칭적으로 배치된 2개의 편광 영역 A, B를 갖고 있다. 이러한 구성에 의해, 편광 영역 A, B에 각각 입사하는 광에 의한 복수 시점 화상을 얻을 수 있다. 또, 편광 좌측부 및 편광 우측부의 형상은 반드시 직사각형일 필요는 없다.

이상의 구성에서, 우선 W 요소, Wh 요소 또는 Wv 요소를 투과하여 각각에 대향하는 화소에서 광전 변환되는 광의 양을 나타내는 신호에 대하여 설명한다. 단, 조건으로서, 투광판(2a)의 편광 영역 A의 편광 특성, Wh 요소의 편광 특성과 Wv 요소의 편광 특성은 투과축의 방향을 제외하고 같다고 한다. 또한, 투광판(2a)의 편광 좌측부의 광투과율을 100%라고 가정했을 때, 당해 영역을 투과하여, 광학 렌즈(2), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량을 As로 한다. 마찬가지로, 투광판(2a)의 편광 우측부의 광투과율을 100%라고 가정했을 때, 당해 영역을 투과하여, 광학 렌즈(2), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량을 Bs로 한다. 또한, 투광판(2a)의 투명 영역 C를 투과하여, 광학 렌즈(2), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량을 Cs로 한다. 실제로는, 투광판(2a)의 편광 영역 A는 투과율이 100%가 아니기 때문에, 그 투과율을 T1로 한다. 또한, 편광 방향이 같은 편광판을 2장 겹친 경우의 광투과율을 T1×T2로 한다.

W 요소를 투과하여 그 대향 화소에서 광전 변환되는 광의 양에 상당하는 신호량을 Sw로 나타내면, 투광판(2a)의 편광 영역 A를 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량은, T1×(As+Bs)로 표시된다. 투광판(2a)의 투명 영역 C를 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량은 Cs이기 때문에, 신호량 Sw는 이하의 식 5로 표시된다.

Wh 요소를 투과하여 그 대향 화소에서 광전 변환되는 광의 양에 상당하는 신호량을 Swh로 나타내면, 투광판(2a)의 편광 좌측부를 투과하여, 광학 렌즈(3), 적외선 차단 필터(4)를 지나 광전 변환되는 광의 양에 상당하는 신호량은, T1×T2×Ascosθ로 표시된다. 투광판(2a)의 편광 우측부를 투과하여, 광학 렌즈, 적외선 차단 필터를 지나 광전 변환되는 광의 양에 상당하는 신호량은, T1×T2×Bssinθ로 표시된다. 투광판(2a)의 투명 영역 C를 투과하여, 광학 렌즈, 적외선 차단 필터를 지나 광전 변환되는 광의 양에 상당하는 신호량은 T1×Cs이기 때문에, 신호량 Swh는 이하의 식 6으로 표시된다.

Wv 요소를 투과하여 그 대향 화소에서 광전 변환되는 광의 양에 상당하는 신호량을 Swv로 나타내면, 투광판(2a)의 편광 좌측부를 투과하여, 광학 렌즈, 적외선 차단 필터를 지나 광전 변환되는 광의 양에 상당하는 신호량은, T1×T2×Assinθ로 표시된다. 투광판(2a)의 편광 우측부를 투과하여, 광학 렌즈, 적외선 차단 필터를 통해 광전 변환되는 신호량은, T1×T2×Bscosθ로 표시된다. 투광판(2a)의 투명 영역 C를 투과하여, 광학 렌즈, 적외선 차단 필터를 통해 광전 변환되는 신호량은 T1×Cs이기 때문에, 신호량 Swv는 이하의 식 7로 표시된다.

상기 식 5, 식 6, 및 식 7에서, 투광판(2a)의 편광 좌측부를 투과하여 광전 변환되는 광의 양에 상당하는 화상 신호 As, 투광판(2a)의 편광 우측부를 투과하여 광전 변환되는 광의 양에 상당하는 화상 신호 Bs, 및 투광판(2a)의 투명 영역 C를 투과하여 광전 변환되는 화상 신호 Cs를 산출할 수 있다. As, Bs, Cs는, 각각 이하의 식 8~식 10으로 표시된다. 단, k, D, E는, 각각 식 11~13으로 표시된다.

이와 같이, 본 실시 형태에서는, 간단한 화소 신호간의 연산에 의해 복수 시점 화상을 나타내는 신호 As, Bs, 및 광 이용률이 높은 화상 Cs를 생성할 수 있다. 화상 Cs는 시차를 나타내는 화상이 아니지만, 복수 시점 화상 As, Bs와 유사한 부분도 있을 수 있다. 그 때문에, 유사한 부분에 대하여, 복수 시점 화상 As, Bs에 화상 Cs를 가하는 것에 의해, 복수 시점 화상 As, Bs의 광 이용률을 높일 수 있다.

여기서, 식 8~식 10에 대하여, 이들 식은 분수로 표시되어 있기 때문에, 분모가 클수록 계산 오차는 작아진다고 생각된다. 그래서, 플라스틱의 편광 필름을 상정하고, T1=0.45, T2=0.9로 하여, θ를 0~45도까지 변화시킨 경우의 상기 D와 E를 계산한 결과를 도 7, 8에 나타낸다. 이들 결과로부터, D의 값을 최대로 하는 각도 θ는 20도이고, E의 값을 최대로 하는 각도 θ는 45도인 것을 알 수 있다. 그러나, D의 값은 θ=45도에서 0이 되기 때문에, D의 값을 우선시켜, θ=20도가 설계치의 하나로서 바람직하다.

한편, 컬러 화상에 대해서는, 실시 형태 1의 경우와 마찬가지로, 시안 요소를 투과하여 광전 변환되는 광의 양을 나타내는 신호량 Scy, 황색 요소를 투과하여 광전 변환되는 광의 양을 나타내는 신호량 Sye와 W 요소를 투과하여 광전 변환되는 광의 양을 나타내는 신호량 Sw를 이용하여, 이하와 같이 생성할 수 있다. 적색의 색 정보 Sr은 (Sw-Scy)의 연산에 의해 얻어진다. 청색의 색 정보 Sb는 (Sw-Sye)의 연산에 의해 얻어진다. 또한, (Sw-Sr-Sb)의 연산에 의해, 녹색의 색 정보가 얻어진다. 이상의 연산에 의해, RGB의 컬러 화상을 간단히 생성할 수 있다. 그 결과, 본 실시 형태에 있어서의 광량의 저하는, 투광판(2)의 편광 영역 A에서의 손실분만으로 억제되고, 투명 영역 C를 투과하는 광의 양을 합치면, 입사광의 광량 저하를 대폭으로 억제한 컬러 화상이 얻어지게 된다.

이상과 같이, 본 실시 형태의 촬상 장치에 의하면, 4행 2열을 화소의 기본 구성으로 하고, 8개의 화소에 대응하여 2개의 Cy 요소, 2개의 Ye 요소, 2개의 투명 요소, 2개의 편광 요소가 이용된다. 1행 1열째 및 3행 1열째에 시안 요소(Cy), 1행 2열째 및 3행 2열째에 투명 요소(W), 2행 1열째 및 4행 1열째에 황색 요소(Ye), 2행 2열째에 투과축의 방향이 x 방향에 대하여 θ의 각도를 이루는 편광 요소(Wh), 4행 2열째에, 투과축의 방향이 y 방향에 대하여 θ의 각도를 이루는 편광 요소(Wv)가 배치된다. 또한, 투광판(2a)은, 도 6에 있어서의 좌측에 투과축의 방향이 x 방향에 일치하고 있는 편광 좌측부를 갖고, 우측에 같은 사이즈로 투과축의 방향이 y 방향에 일치하고 있는 편광 우측부를 갖는다. 이러한 구성에 의해, 투명 요소 W에 대향하는 화소의 신호, 투명 요소 Wh에 대향하는 화소의 신호, 및 투명 요소 Wv에 대향하는 화소의 신호간의 연산으로부터, 복수 시점 화상을 만들 수 있다. 또한, 시안 요소 Cy에 대향하는 화소의 신호, 황색 요소 Ye에 대향하는 화소의 신호, 및 투명 요소 W에 대향하는 화소의 신호간의 연산으로부터, 감도 저하를 대폭으로 억제한 컬러 화상을 만들 수 있다. 즉, 실시 형태 1과 마찬가지로, 본 실시 형태에 의하면, 종래 기술에서 이용된 기계적 동작 부분을 필요로 하지 않고, 화상 신호간의 연산만으로 복수 시점 화상과 감도 저하를 대폭으로 억제한 컬러 화상을 동시에 얻을 수 있다고 하는 효과를 나타낸다.

또, 본 실시 형태에서는, 투광판(2a)의 편광 좌측부 및 편광 우측부의 형상을 직사각형으로 했지만, 이것에 한하는 것이 아니다. 또한, 편광 요소 Wh의 투과축의 방향을 x 방향에 대하여 각도 θ, Wv의 투과축의 방향을 y 방향에 대하여 각도 θ라고 정했지만, 그것에 한하는 것이 아니고, 각각 다른 각도라도 문제는 없다. 또한, 본 실시 형태에서는, 도 6에 나타내는 바와 같이, 시안 요소, 황색 요소, 투명 요소, 편광 요소를 이용했지만, 투과 파장 영역이 다른 3종류의 색 요소를 이용하면, 컬러 화상은 얻어지기 때문에, 이들 요소에 한정되는 것이 아니다. 또한, 도 6에 나타내는 색 배치에 한정되는 것도 아니다. 예컨대, 시안 요소 및 황색 요소 대신에, 청색의 파장 영역의 광을 투과시키는 청색 필터(청색 요소 B), 및 적색의 파장 영역의 광을 투과시키는 적색 필터(적색 요소 R)를 이용하더라도 좋다. 또한, 편광 요소 Wh, Wv가 배치된 화소에 대향하여, 색 필터가 더 배치되어 있더라도 좋다. 예컨대, 편광 요소 Wh, Wv를 투과하는 광의 광로상에 녹색의 파장 영역의 광을 투과시키는 녹색 필터를 배치하고, 투명 요소 W 대신에 녹색 필터를 배치하더라도 좋다. 이와 같이, 4개의 색 요소 중, 동색의 2요소는 투명 요소 혹은 인간의 시감도 특성에 가까운 녹색 요소가 바람직하다.

본 실시 형태의 변형예로서, 예컨대 이하와 같은 구성이 가능하다. (1) 도 5에 나타내는 구성의 적어도 하나의 행의 2요소를 교체한 구성, (2) 도 5에 나타내는 Cy 요소를 적색 및 청색 요소 중 한쪽으로 교체하고, Ye 요소를 적색 및 청색 요소 중 다른 쪽으로 교체한 구성, (3) 상기 (2)의 구성의 적어도 하나의 행의 2요소를 교체한 구성, (4) 도 5에 나타내는 Cy 필터를 적색 및 청색 요소 중 한쪽으로 교체하고, Ye 요소를 적색 및 청색 요소 중 다른 쪽으로 교체하고, W 요소를 녹색 요소로 교체하고, Wh 및 Wv 요소에 가하여 녹색 요소를 더 배치한 구성, (5) 상기 (4)의 구성의 적어도 하나의 행의 2요소를 교체한 구성. 이들 어느 변형예에 있어서도, 같은 신호 연산에 의해, 복수 시점 화상 및 광 이용률이 높은 컬러 화상을 얻을 수 있다.

(실시 형태 3)

다음으로 본 발명의 제 3 실시 형태에 대하여 설명한다. 도 9는 본 실시 형태에 있어서의 고체 촬상 소자(1)의 촬상면에서의 기본 색 구성을 나타내는 도면이다. 2행 2열을 기본 구성으로 하고, 1행 1열째에 시안 요소(Cy), 1행 2열째에 투과축의 방향이 x 방향에 대하여 θ의 각도를 이루는 편광 요소(Wh), 2행 1열째에 황색 요소(Ye), 2행 2열째에 투과축의 방향이 y 방향에 대하여 θ의 각도를 이루는 편광 요소(Wv)이다. 고체 촬상 소자(1)의 각 화소는, 상기 색 요소에 1대1로 대응하고, 각 색 요소의 바로 아래에 위치하고 있다. 또한, 본 실시 형태에서는, 투광판(2a)은 실시 형태 2와 같기 때문에, 설명을 생략한다. 이하, 실시 형태 2와 다른 점을 중심으로 설명한다.

본 실시 형태의 구성에서는, W 요소가 마련되어 있지 않기 때문에, 실시 형태 2에서 나타낸 계산은 할 수 없다. 그러나, 무채색에 가까운 피사체를 촬상하는 경우는, Cy+Ye=W+G이기 때문에, RGB의 수광 신호 비율을 Kr, Kg, Kb라고 하면, W 요소를 통해 얻어지는 신호는, Cy 요소와 Ye 요소를 통해 얻어지는 신호의 합산에 (Kr+Kg+Kb)/(Kr+2Kg+Kb)배한 것으로 생각된다. 그래서, 이러한 연산을 행하는 것에 의해, 그 결과를 W 요소에 대향하는 화소에서 광전 변환되는 광의 양을 나타내는 신호라고 하면, 그 후의 처리는, 실시 형태 2에 있어서의 처리와 같은 처리로 복수 시점 화상을 만들 수 있다.

한편, 컬러 화상에 대해서는, 시안 요소를 투과하여 광전 변환되는 광의 양에 상당하는 신호량 Scy, 황색 요소를 투과하여 광전 변환되는 광의 양에 상당하는 신호량 Sye, Wh 요소를 투과하여 광전 변환되는 광의 양에 상당하는 신호량 Swh, 및 Wv 요소를 투과하여 광전 변환되는 광의 양에 상당하는 신호량 Swv를 이용하여 이하와 같이 생성할 수 있다. 우선, Swh와 Swv를 가산하고, 그것을 W 요소의 신호량 Sw로 한다. 그러면, 적색의 색 정보 Sr은 (Sw-Scy)의 연산에 의해 얻어진다. 청색의 색 정보 Sb는 (Sw-Sye)의 연산에 의해 얻어진다. 또한, (Sw-Sr-Sb)의 연산에 의해 녹색의 색 정보가 얻어진다. 그 결과, 광량 저하는 투광판(2a)의 편광 영역 A만으로 억제되어, 투명 영역 C의 광량을 합치면 입사광의 광량 저하를 대폭으로 억제한 컬러 화상이 얻어지게 된다.

이상과 같이, 본 실시 형태에 의하면, 2행 2열을 화소의 기본 구성으로 하고, 4개의 화소에 대응하여 Cy 요소, Ye 요소, 2개의 편광 요소가 이용된다. 1행 1열째에 시안 요소(Cy), 1행 2열째에 투과축의 방향이 x 방향에 대하여 θ의 각도를 이루는 편광 요소(Wh), 2행 1열째에 황색 요소(Ye), 2행 2열째에 투과축의 방향이 y 방향에 대하여 θ의 각도를 이루는 편광 요소(Wv)가 배치된다. 또한, 투광판(2a)은, 도 6에 있어서의 좌측에 투과축의 방향이 x 방향에 일치하고 있는 편광 좌측부를 갖고, 우측에 같은 사이즈로 투과축의 방향이 y 방향에 일치하고 있는 편광 우측부를 갖는다. 이러한 구성에 의해, 시안 요소 Cy에 대향하는 화소의 신호, 황색 요소 Ye에 대향하는 화소의 신호, 편광 요소 Wh에 대향하는 화소의 신호, 및 편광 요소 Wv에 대향하는 화소의 신호를 이용한 연산으로부터, 복수 시점 화상과 감도 저하를 대폭으로 억제한 컬러 화상을 만들 수 있다. 즉, 실시 형태 1, 2와 같이, 종래 기술에서 이용된 기계적 동작 부분을 필요로 하지 않고, 화상 신호간의 연산만으로 복수 시점 화상과 감도 저하를 대폭으로 억제한 컬러 화상을 동시에 얻을 수 있다고 하는 효과를 나타낸다.

또, 본 실시 형태에서는, 도 9에 나타내는 색 배치에 한하는 것이 아니라, 시안 요소, 황색 요소, 편광 요소의 위치를 변경하더라도 상관없다. 또한, 시안 요소 및 황색 요소 대신에 적색 요소 및 청색 요소가 배치되어 있더라도 좋다.

이상의 실시 형태 1~3에 있어서, 촬상 장치는 복수 시점 화상 및 컬러 화상의 양쪽을 취득하도록 구성되어 있지만, 복수 시점 화상만을 취득하도록) 구성되어 있더라도 좋다. 시차 정보만을 얻을 목적으로 본 발명을 이용하는 경우, 도 4, 5, 9에 나타내는 Cy 요소 및 Ye 요소는 없더라도 좋다.

또한, 촬상 장치는, 복수 시점 화상을 얻은 뒤에, 그들의 차분 처리를 실시하는 것에 의해, 차분 화상을 얻더라도 좋다. 또한, 복수 시점 화상으로부터, 각 대응점의 화상상의 위치의 어긋남의 크기를 나타내는 시차 화상(disparity map)을 구하더라도 좋다. 시차 화상을 구하는 것에 의해, 피사체의 깊이를 나타내는 정보를 얻을 수 있다.

실시 형태 1~3에서는, 촬상에 의해 얻어지는 광전 변환 신호로부터 신호 연산에 의해 화상을 생성하지만, 신호 연산에 의한 화상의 생성 처리를 촬상 장치와는 독립된 다른 장치에 실행시키더라도 좋다. 그 경우, 촬상 장치는, 도 1에 나타내는 화상 신호 생성부(7)를 구비하고 있지 않더라도 좋다. 예컨대, 실시 형태 1~3에 있어서의 촬상부(100)를 갖는 촬상 장치에 의해 취득한 신호를 다른 장치에 판독시켜, 각 실시 형태의 신호 연산 처리를 규정하는 프로그램을 당해 다른 장치에 실행시키는 것에 의해서도 같은 효과를 얻을 수 있다.

(산업상이용가능성)

본 발명의 3차원 촬상 장치는, 고체 촬상 소자를 이용한 모든 카메라에 유효하다. 예컨대, 디지털 스틸 카메라나 디지털 비디오 카메라 등의 민생용 카메라나, 산업용 고체 감시 카메라 등에 이용 가능하다.

1 : 고체 촬상 소자
1a : 촬상면
2 : 투광판
3 : 광학 렌즈
4 : 적외선 차단 필터
5 : 신호 발생 및 화상 신호 수신부
6 : 소자 구동부
7 : 화상 신호 생성부
8 : 화상 인터페이스부
9 : 촬상 장치
10 : 화소
11 : 0도 편광의 편광판
12 : 90도 편광의 편광판
13 : 반사경
14 : 하프미러
15 : 원형의 편광 필터
16 : 편광 필터를 회전시키는 구동 장치
17, 18 : 편광 필터
19 : 광통과부
20, 21 : 편광 투과부
22 : 수광부 광학 필터 트레이
23 : 특정 성분 투과 필터
24 : 컬러 필터
25 : 필터 구동부
30 : 메모리
100 : 촬상부
110 : 필터 어레이
200 : 신호 처리부

Claims

특정한 방향으로 편광한 광을 투과시키는 편광 영역, 및 광을 편광 방향에 관계없이 투과시키는 비편광 영역을 갖는 광 투과부와,
상기 광 투과부를 투과한 광을 수취하도록 배치된 고체 촬상 소자로서, 각각이 제 1 화소 및 제 2 화소를 포함하는 복수의 화소 블록으로 분할된 화소 어레이, 및 상기 제 1 화소에 대향하여 배치된 편광 필터를 포함하는 필터 어레이를 갖고, 상기 편광 필터는, 상기 제 1 화소에 상기 편광 영역을 투과한 광의 적어도 일부를 입사시키는 고체 촬상 소자와,
상기 고체 촬상 소자의 촬상면에 상을 형성하는 결상부와,
상기 제 1 화소로부터 출력된 제 1 화소 신호, 및 상기 제 2 화소로부터 출력된 제 2 화소 신호에 근거하여, 상기 편광 영역에 입사한 광에 의한 화상 및 상기 비편광 영역에 입사한 광에 의한 화상을 생성하는 화상 생성부
를 구비하되,
상기 제 1 화소는 상기 편광 영역을 투과한 광 및 상기 비편광 영역을 투과한 광의 양쪽을 수취하는
3차원 촬상 장치.
제 1 항에 있어서,
상기 편광 영역의 투과축의 방향과 상기 편광 필터의 투과축의 방향은 일치하고 있는 3차원 촬상 장치.
제 1 항 또는 제 2 항에 있어서,
상기 편광 영역을 제 1 편광 영역이라 하고, 상기 편광 필터를 제 1 편광 필터라고 할 때,
상기 광 투과부는, 상기 제 1 편광 영역의 투과축에 직교하는 투과축을 갖는 제 2 편광 영역을 갖고,
각 화소 블록은, 제 3 화소를 포함하고,
상기 필터 어레이는, 상기 제 1 편광 필터의 투과축과 다른 방향의 투과축을 갖는 제 2 편광 필터로서 상기 제 3 화소에 대향하여 배치된 제 2 편광 필터를 갖고,
상기 화상 생성부는, 상기 제 1 화소 신호, 상기 제 2 화소 신호, 및 상기 제 3 화소로부터 출력된 제 3 화소 신호를 이용하여, 상기 편광 영역에 입사한 광에 의한 화상 및 상기 비편광 영역에 입사한 광에 의한 화상을 생성하는
3차원 촬상 장치.
제 3 항에 있어서,
상기 제 1 및 제 2 편광 영역은, 상기 광 투과부의 중심에 대하여 대칭적으로 배치되어 있는 3차원 촬상 장치.
제 3 항에 있어서,
상기 제 2 화소는, 상기 제 1 및 제 3 화소에 인접하여 배치되어 있는 3차원 촬상 장치.
제 3 항에 있어서,
상기 제 1 및 제 2 편광 영역은, 서로 떨어져 배치되어 있는 3차원 촬상 장치.
제 3 항에 있어서,
상기 화상 생성부는, 상기 비편광 영역에 입사한 광에 의한 화상 신호를, 상기 제 1 편광 영역에 입사한 광에 의한 화상 신호, 및 상기 제 2 편광 영역에 입사한 광에 의한 화상 신호에 가산함으로써, 상기 제 1 편광 영역에 대응하는 화상 신호 및 상기 제 2 편광 영역에 대응하는 화상 신호를 생성하는 3차원 촬상 장치.
제 3 항에 있어서,
각 화소 블록은, 4행 2열로 배열된 8개의 화소를 포함하고,
상기 제 1 화소는 2행 2열째에 배치되고, 상기 제 2 화소는 1행 2열째에 배치되고, 상기 제 3 화소는 4행 2열째에 배치되고,
1행 1열째 및 3행 1열째의 화소에는 시안(cyan)의 파장 영역의 광을 투과시키는 시안 필터가 대향하여 배치되고,
2행 1열째 및 4행 1열째의 화소에는 황색의 파장 영역의 광을 투과시키는 황색 필터가 대향하여 배치되고,
1행 2열째 및 3행 2열째의 화소에는 투명 부재가 대향하여 배치되고,
2행 2열째 및 4행 2열째의 화소에는 상기 제 1 및 제 2 편광 필터가 각각 대향하여 배치되어 있는
3차원 촬상 장치.
제 3 항에 있어서,
각 화소 블록은, 4행 2열로 배열된 8개의 화소를 포함하고,
상기 제 1 화소는 2행 1열째에 배치되고, 상기 제 2 화소는 1행 2열째에 배치되고, 상기 제 3 화소는 4행 1열째에 배치되고,
1행 1열째 및 3행 1열째의 화소에는 시안의 파장 영역의 광을 투과시키는 시안 필터가 대향하여 배치되고,
2행 2열째 및 4행 2열째의 화소에는 황색의 파장 영역의 광을 투과시키는 황색 필터가 대향하여 배치되고,
1행 2열째 및 3행 2열째의 화소에는 투명 부재가 대향하여 배치되고,
2행 1열째 및 4행 1열째의 화소에는 상기 제 1 및 제 2 편광 필터가 각각 배치되어 있는
3차원 촬상 장치.
제 3 항에 있어서,
각 화소 블록은, 4행 2열로 배열된 8개의 화소를 포함하고,
상기 제 1 화소는 2행 2열째에 배치되고, 상기 제 2 화소는 1행 2열째에 배치되고, 상기 제 3 화소는 4행 2열째에 배치되고,
1행 1열째 및 3행 1열째의 화소에는 적색의 파장 영역의 광을 투과시키는 적색 필터가 대향하여 배치되고,
2행 1열째 및 4행 1열째의 화소에는 청색의 파장 영역의 광을 투과시키는 청색 필터가 대향하여 배치되고,
1행 2열째 및 3행 2열째의 화소에는 녹색의 파장 영역의 광을 투과시키는 녹색 필터가 대향하여 배치되고,
2행 2열째의 화소에는 상기 제 1 편광 필터 및 녹색의 파장 영역의 광을 투과시키는 녹색 필터가 대향하여 배치되고,
4행 2열째의 화소에는 상기 제 2 편광 필터 및 녹색의 파장 영역의 광을 투과시키는 녹색 필터가 대향하여 배치되어 있는
3차원 촬상 장치.
제 3 항에 있어서,
각 화소 블록은, 4행 2열로 배열된 8개의 화소를 포함하고,
상기 제 1 화소는 2행 1열째에 배치되고, 상기 제 2 화소는 1행 2열째에 배치되고, 상기 제 3 화소는 4행 1열째에 배치되고,
1행 1열째 및 3행 1열째의 화소에는 적색의 파장 영역의 광을 투과시키는 적색 필터가 대향하여 배치되고,
2행 2열째 및 4행 2열째의 화소에는 청색의 파장 영역의 광을 투과시키는 청색 필터가 대향하여 배치되고,
1행 2열째 및 3행 2열째의 화소에는 녹색의 파장 영역의 광을 투과시키는 녹색 필터가 대향하여 배치되고,
2행 1열째의 화소에는 상기 제 1 편광 필터 및 녹색의 파장 영역의 광을 투과시키는 녹색 필터가 대향하여 배치되고,
4행 1열째의 화소에는 상기 제 2 편광 필터 및 녹색의 파장 영역의 광을 투과시키는 녹색 필터가 대향하여 배치되어 있는
3차원 촬상 장치.
제 3 항에 있어서,
각 화소 블록은, 4행 2열로 배열된 8개의 화소를 포함하고,
상기 제 1 화소는 2행 2열째에 배치되고, 상기 제 2 화소는 1행 2열째에 배치되고, 상기 제 3 화소는 4행 2열째에 배치되고,
1행 1열째 및 3행 1열째의 화소에는 적색의 파장 영역의 광을 투과시키는 적색 필터가 대향하여 배치되고,
2행 1열째 및 4행 1열째의 화소에는 청색의 파장 영역의 광을 투과시키는 청색 필터가 대향하여 배치되고,
1행 2열째 및 3행 2열째의 화소에는 투명 부재가 대향하여 배치되고,
2행 2열째 및 4행 2열째의 화소에는 상기 제 1 및 제 2 편광 필터가 각각 대향하여 배치되어 있는
3차원 촬상 장치.
제 3 항에 있어서,
각 화소 블록은, 4행 2열로 배열된 8개의 화소를 포함하고,
상기 제 1 화소는 2행 1열째에 배치되고, 상기 제 2 화소는 1행 2열째에 배치되고, 상기 제 3 화소는 4행 1열째에 배치되고,
1행 1열째 및 3행 1열째의 화소에는 적색의 파장 영역의 광을 투과시키는 적색 필터가 대향하여 배치되고,
2행 2열째 및 4행 2열째의 화소에는 청색의 파장 영역의 광을 투과시키는 청색 필터가 대향하여 배치되고,
1행 2열째 및 3행 2열째의 화소에는 투명 부재가 대향하여 배치되고,
2행 1열째 및 4행 1열째의 화소에는 상기 제 1 및 제 2 편광 필터가 각각 대향하여 배치되어 있는
3차원 촬상 장치.
제 8 항에 있어서,
상기 화상 생성부는, 상기 8개의 화소로부터 출력되는 화소 신호를 이용한 연산에 의해, 상기 제 1 편광 영역에 입사하는 광에 의한 화상, 상기 제 2 편광 영역에 입사하는 광에 의한 화상, 및 컬러 화상을 생성하는 3차원 촬상 장치.
제 3 항에 있어서,
각 화소 블록은, 제 4 화소를 더 포함하고,
상기 제 1 화소, 제 2 화소, 제 3 화소, 및 제 4 화소는, 2행 2열로 배열되고,
상기 제 2 화소에는 제 1 파장 영역의 광을 투과시키는 제 1 색 필터가 대향하여 배치되고,
상기 제 4 화소에는 제 2 파장 영역의 광을 투과시키는 제 2 색 필터가 대향하여 배치되어 있는
3차원 촬상 장치.
제 15 항에 있어서,
상기 제 1 파장 영역은, 적색의 파장 영역에 상당하고, 상기 제 2 파장 영역은, 청색의 파장 영역에 상당하는 3차원 촬상 장치.