KR20200135305A

KR20200135305A - 촬상 소자, 촬상 장치, 및 정보 처리 방법

Info

Publication number: KR20200135305A
Application number: KR1020207023303A
Authority: KR
Inventors: 요시타카 미야타니
Original assignee: 소니 주식회사
Priority date: 2018-03-26
Filing date: 2019-03-26
Publication date: 2020-12-02
Also published as: US20210306582A1; CN111886856A; JP7375746B2; EP3780580B1; WO2019189099A1; JPWO2019189099A1; EP3780580A1; US11252361B2; EP3780580A4

Abstract

본 기술은, 보다 정확한 복원 화상을 생성할 수 있도록 하는 촬상 소자, 촬상 장치, 및 정보 처리 방법에 관한 것이다. 촬상 소자에 대해, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위를 구비하고, 그 복수의 화소 출력 단위는, 행렬 형상으로 배치되며, 적어도 일부의 화소 출력 단위가, 그 행렬의 행방향 및 열방향의 양쪽 모두에 입사각 지향성을 갖는 복수의 화상 복원용 화소 출력 단위와, 그 행렬의 행방향으로만 또는 그 행렬의 열방향으로만 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위를 포함하도록 한다. 본 개시는, 예를 들면, 촬상 소자, 촬상 장치, 정보 처리 장치, 전자기기, 시스템 등에 적용할 수 있다.

Description

촬상 소자, 촬상 장치, 및 정보 처리 방법

본 기술은 촬상 소자, 촬상 장치, 및 정보 처리 방법에 관한 것이며, 특히, 보다 정확한 복원 화상을 생성할 수 있도록 한 촬상 소자, 촬상 장치, 및 정보 처리 방법에 관한 것이다.

종래, 촬상 소자는, 촬상 소자에 집광하는 촬상 렌즈와 조합하여 사용하는 것이 일반적이다. 촬상 렌즈에 의해, 피사체면으로부터의 광을 피사체면의 광 강도 분포를 재현하도록 촬상 소자의 각 화소로 가이드함으로써, 촬상 소자는, 각 화소에 있어서 그 광 강도 분포에 따른 레벨의 검출 신호를 얻을 수 있고, 전체로서 피사체의 촬상 화상을 얻을 수 있다.

그러나, 이 경우, 물리적인 사이즈가 커져 버린다. 이에, 촬상 렌즈를 사용하지 않는 촬상 소자가 생각되었다(예를 들면, 특허문헌 1 내지 특허문헌 3, 및 비특허문헌 1 참조). 이러한 촬상 소자에 있어서는 검출 화상이 생성된다. 그 검출 화상과, 그 촬상 소자의 특성에 따른 복원 행렬을 사용하여, 다원 1차 연립방정식을 푸는(행렬 연산을 행하는) 것에 의해 복원 화상이 복원된다. 이 복원 행렬은, 예를 들면 촬상 소자의 설계값 등에 기초하여 생성된다. 이상적으로는, 올바른 복원 행렬을 사용함으로써, 올바른 복원 화상을 복원할 수 있다.

특허문헌 1: 국제공개 제2016/123529호 특허문헌 2: 일본특허공표 제2016-510910호 공보 특허문헌 3: 국제공개 제2018/012492호

비특허문헌 1: M. Salman Asif, 외 4명, "Flatcam: Replacing lenses with masks and computation", "2015 IEEE International Conference on Computer Vision Workshop (ICCVW)", 2015년, 663-666페이지

그러나, 실제로는, 촬상 소자의 특성은, 제조 시에 개체차가 생겨, 설계값과 어긋날 우려가 있다. 즉, 실제 특성에 대응하지 않는(어긋난) 복원 행렬을 사용하여 복원 화상을 복원함으로써, 올바른 복원 화상을 얻을 수 없을 우려가 있었다.

본 개시는, 이러한 상황을 감안하여 이루어진 것이며, 보다 정확한 복원 화상을 생성할 수 있도록 하는 것이다.

본 기술의 일 측면의 촬상 소자는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위를 구비하고, 상기 복수의 화소 출력 단위는, 행렬 형상으로 배치되며, 적어도 일부의 화소 출력 단위가, 상기 행렬의 행방향 및 열방향의 양쪽 모두에 상기 입사각 지향성을 갖는 복수의 화상 복원용 화소 출력 단위와, 상기 행렬의 행방향으로만 또는 상기 행렬의 열방향으로만 상기 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위를 포함하는 촬상 소자이다.

본 기술의 다른 측면의 촬상 장치는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위를 구비하고, 상기 복수의 화소 출력 단위는, 행렬 형상으로 배치되며, 적어도 일부의 화소 출력 단위가, 상기 행렬의 행방향 및 열방향의 양쪽 모두에 상기 입사각 지향성을 갖는 복수의 화상 복원용 화소 출력 단위와, 상기 행렬의 행방향으로만 또는 상기 행렬의 열방향으로만 상기 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위를 포함하는 촬상 소자와, 상기 일방향 지향성 화소 출력 단위의 출력을 이용하여, 상기 복수의 화상 복원용 화소 출력 단위의 출력인 검출 화상으로부터 복원 화상을 생성할 때에 사용되는 복원 행렬을 생성하는 생성부를 구비하는 촬상 장치이다.

본 기술의 또 다른 측면의 정보 처리 방법은, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위를 구비하고, 상기 복수의 화소 출력 단위는, 행렬 형상으로 배치되며, 적어도 일부의 화소 출력 단위가, 상기 행렬의 행방향 및 열방향의 양쪽 모두에 상기 입사각 지향성을 갖는 복수의 화상 복원용 화소 출력 단위와, 상기 행렬의 행방향으로만 또는 상기 행렬의 열방향으로만 상기 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위를 포함하는 촬상 소자의, 상기 일방향 지향성 화소 출력 단위로부터의 출력을 이용하여, 상기 복수의 화상 복원용 화소 출력 단위의 출력인 검출 화상으로부터 복원 화상을 생성할 때에 사용되는 복원 행렬을 생성하는 정보 처리 방법이다.

본 기술의 일 측면의 촬상 소자에 있어서는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위가 구비되고, 그 복수의 화소 출력 단위는, 행렬 형상으로 배치되며, 적어도 일부의 화소 출력 단위에는, 그 행렬의 행방향 및 열방향의 양쪽 모두에 입사각 지향성을 갖는 복수의 화상 복원용 화소 출력 단위와, 그 행렬의 행방향으로만 또는 그 행렬의 열방향으로만 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위가 포함된다.

본 기술의 다른 측면의 촬상 장치에 있어서는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위가 구비되고, 그 복수의 화소 출력 단위에, 행렬 형상으로 배치되며, 적어도 일부의 화소 출력 단위가, 그 행렬의 행방향 및 열방향의 양쪽 모두에 입사각 지향성을 갖는 복수의 화상 복원용 화소 출력 단위와, 그 행렬의 행방향으로만 또는 그 행렬의 열방향으로만 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위가 포함되는 촬상 소자와, 그 일방향 지향성 화소 출력 단위의 출력을 이용하여, 그 복수의 화상 복원용 화소 출력 단위의 출력인 검출 화상으로부터 복원 화상을 생성할 때에 사용되는 복원 행렬을 생성하는 생성부가 구비된다.

본 기술의 또 다른 측면의 정보 처리 방법에 있어서는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위가 구비되고, 그 복수의 화소 출력 단위에는, 행렬 형상으로 배치되며, 적어도 일부의 화소 출력 단위가, 그 행렬의 행방향 및 열방향의 양쪽 모두에 입사각 지향성을 갖는 복수의 화상 복원용 화소 출력 단위와, 그 행렬의 행방향으로만 또는 그 행렬의 열방향으로만 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위가 포함되는 촬상 소자와, 그 일방향 지향성 화소 출력 단위의 출력이 이용되어, 그 복수의 화상 복원용 화소 출력 단위의 출력인 검출 화상으로부터 복원 화상을 생성할 때에 사용되는 복원 행렬이 생성된다.

본 기술에 의하면, 피사체를 촬상하거나, 또는 정보를 처리할 수 있다. 또한, 본 기술에 의하면, 보다 정확한 복원 화상을 생성할 수 있다.

도 1은 본 기술을 적용한 촬상 소자의 주요 구성예를 나타내는 블록도이다.
도 2는 본 개시의 기술을 적용한 촬상 장치에 있어서의 촬상의 원리를 설명하는 도면이다.
도 3은 종래의 촬상 소자와 본 개시의 촬상 소자 간의 구성의 차이를 설명하는 도면이다.
도 4는 촬상 소자의 제1 구성예를 설명하는 도면이다.
도 5는 촬상 소자의 제1 구성예를 설명하는 도면이다.
도 6은 입사각 지향성의 발생 원리를 설명하는 도면이다.
도 7은 온-칩 렌즈(on-chip lens)를 이용한 입사각 지향성의 변화를 설명하는 도면이다.
도 8은 입사각 지향성의 설계를 설명하는 도면이다.
도 9는 피사체 거리와 입사각 지향성을 표현하는 계수의 관계를 설명하는 도면이다.
도 10은 협화각 화소와 광화각 화소의 관계를 설명하는 도면이다.
도 11은 협화각 화소와 광화각 화소의 관계를 설명하는 도면이다.
도 12는 협화각 화소와 광화각 화소의 관계를 설명하는 도면이다.
도 13은 변형예를 설명하는 도면이다.
도 14는 변형예를 설명하는 도면이다.
도 15는 변형예를 설명하는 도면이다.
도 16은 변형예를 응용하여 화각을 변화시키는 예를 설명하는 도면이다.
도 17은 변형예를 응용하여 화각을 변화시킬 때, 복수의 화각의 화소를 조합시키는 예를 설명하는 도면이다.
도 18은 변형예를 설명하는 도면이다.
도 19는 변형예를 설명하는 도면이다.
도 20은 차광막에 의한 마스크 패턴의 예를 나타내는 도면이다.
도 21은 차광막의 위치 어긋남에 의해 생기는 오차의 예를 설명하기 위한 도면이다.
도 22는 온-칩 렌즈의 높이 어긋남에 의해 생기는 오차의 예를 설명하기 위한 도면이다.
도 23은 온-칩 렌즈의 높이 어긋남에 의해 생기는 오차의 예를 설명하기 위한 도면이다.
도 24는 수광부의 주요 구성예를 나타내는 도면이다.
도 25는 생성 처리의 흐름의 예를 설명하는 플로우차트이다.
도 26은 촬상 처리의 흐름의 예를 설명하는 플로우차트이다.
도 27은 본 개시의 기술을 적용한 교정(calibration) 장치의 주요 구성예를 나타내는 도면이다.
도 28은 교정의 모습의 예를 나타내는 도면이다.
도 29는 교정의 모습의 예를 나타내는 도면이다.
도 30은 교정의 모습의 예를 나타내는 도면이다.
도 31은 교정의 모습의 예를 나타내는 도면이다.
도 32는 교정의 모습의 예를 나타내는 도면이다.
도 33은 교정 처리의 흐름의 예를 설명하는 플로우차트이다.
도 34는 본 개시의 기술을 적용한 촬상 장치의 주요 구성예를 나타내는 도면이다.
도 35는 촬상 소자의 주요 구성예를 나타내는 블록도이다.
도 36은 부착부(attachment)의 예를 나타내는 도면이다.
도 37은 본 개시의 기술을 적용한 촬상 장치의 주요 구성예를 나타내는 도면이다.
도 38은 본 개시의 기술을 적용한 촬상 시스템의 주요 구성예를 나타내는 도면이다.
도 39는 컴퓨터의 주요 구성예를 나타내는 블록도이다.

이하, 본 개시를 실시하기 위한 형태(이하, 실시형태라고 함)에 대해 설명한다. 또한, 설명은 이하의 순서로 행한다.

1. 촬상 소자의 교정

2. 제1 실시형태(촬상 소자)

3. 제2 실시형태(촬상 장치)

4. 제3 실시형태(촬상 장치)

5. 제4 실시형태(교정 시스템)

6. 부기

<1. 촬상 소자의 교정>

<촬상 소자의 교정>

종래, 촬상 소자는, 촬상 소자에 집광하는 촬상 렌즈와 조합하여 이용하는 것이 일반적이다. 촬상 렌즈에 의해, 피사체면으로부터의 광을 피사체면의 광 강도 분포를 재현하도록 촬상 소자의 각 화소로 가이드함으로써, 촬상 소자는, 각 화소에 있어서 그 광 강도 분포에 따른 레벨의 검출 신호를 얻을 수 있고, 전체로서 피사체의 촬상 화상을 얻을 수 있다. 그러나, 이 경우, 물리적인 사이즈가 커져 버린다.

이에, 예를 들면, 특허문헌 1, 특허문헌 2, 및 비특허문헌 1에 기재된 바와 같은, 촬상 렌즈를 사용하지 않는 촬상 소자(촬상 렌즈 프리(imaging lens-free)의 촬상 소자라고도 칭함)가 생각되었다. 이러한 촬상 렌즈 프리의 촬상 소자에 있어서는 검출 화상이 생성된다. 그 검출 화상과, 그 촬상 소자의 특성에 따른 복원 행렬을 이용하여, 다원 1차 연립방정식을 푸는(행렬 연산을 행하는) 것에 의해 복원 화상이 복원된다. 이 복원 행렬은, 예를 들면 촬상 소자의 설계값 등에 기초하여 생성된다. 이상적으로는, 올바른 복원 행렬을 이용함으로써, 올바른 복원 화상을 복원할 수 있다.

그러나, 실제로는, 촬상 소자의 특성(입사각 지향성 등)은, 제조 시에 개체차가 생겨, 설계값과 어긋날 우려가 있다. 즉, 실제 특성에 대응하지 않는(어긋난) 복원 행렬을 이용하여 복원 화상을 복원함으로써, 올바른 복원 화상을 얻을 수 없을 우려가 있었다.

이에, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위를 구비하고, 그 복수의 화소 출력 단위는, 행렬 형상으로 배치되며, 적어도 일부의 화소 출력 단위가, 그 행렬의 행방향 및 열방향의 양쪽 모두에 입사각 지향성을 갖는 복수의 화상 복원용 화소 출력 단위와, 그 행렬의 행방향으로만 또는 그 행렬의 열방향으로만 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위를 포함하는 촬상 소자를 사용하도록 한다.

이와 같이 함으로써, 보다 정확하고 보다 용이하게 그 복원 행렬의 특성을 교정할 수 있다. 즉, 실제의 촬상 소자의 특성과 복원 행렬이 대응하는 특성의 차가 저감하도록 교정을 행할 수 있다. 환언하면, 실제의 촬상 소자의 특성에 의해 대응하는 복원 행렬을 생성하고, 그 복원 행렬을 이용하여 복원 화상을 생성할 수 있다. 따라서, 보다 정확한 복원 화상을 생성할 수 있다.

<2. 제1 실시형태>

<촬상 소자>

도 1은 이상과 같은 본 기술을 적용한 촬상 소자의 주요 구성예를 나타내는 블록도이다. 도 1에 나타내는 촬상 소자(121)는, 피사체의 촬상에 관한 처리를 행하도록 구성된다. 예를 들면, 촬상 소자(121)는, 피사체를 촬상하고, 그 촬상 화상에 관한 데이터(전자 데이터)를 얻는다. 그 때, 촬상 소자(121)는, 촬상 렌즈, 회절 격자 등의 광학 필터 등이나 핀홀 등을 거치지 않고 피사체를 촬상하고, 그 촬상 화상에 관한 데이터를 얻을 수 있다. 예를 들면, 촬상 소자(121)는, 피사체를 촬상하고, 소정의 연산에 의해 그 촬상 화상의 데이터를 얻을 수 있는 데이터(검출 신호 등)를 얻는다.

또한, 본 명세서에 있어서, 촬상 화상은, 피사체의 상이 결상된 화소값에 의해 구성되는, 사용자가 육안으로 화상으로서 인식할 수 있는 화상이다. 반면, 촬상 소자(121)의 화소 단위 출력에 있어서의 입사광의 검출 결과인 검출 신호에 의해 구성되는 화상(검출 화상이라고 칭함)은, 피사체의 상이 결상되지 않기 때문에, 사용자가 육안으로도 화상으로서 인식할 수 없는(즉, 피사체를 시인 불가능한) 화상이다. 즉, 검출 화상은 촬상 화상과는 다른 화상이다. 다만, 상술한 바와 같이, 이 검출 화상의 데이터에 대하여 소정의 연산을 행함으로써, 촬상 화상, 즉, 피사체의 상이 결상된, 사용자가 육안으로 화상으로서 인식할 수 있는(즉, 피사체를 시인 가능한) 화상을 복원할 수 있다. 이 복원된 촬상 화상을 복원 화상이라고 칭한다. 즉, 검출 화상은 복원 화상과는 다른 화상이다.

또한, 본 명세서에 있어서, 이 복원 화상을 구성하는 화상으로서, 동시화 처리나 색분리 처리 등(예를 들면, 디모자이크 처리(demosaic process) 등)의 전의 화상을 Raw 화상이라고도 칭한다. 이 Raw 화상도, 촬상 화상과 마찬가지로, 사용자가 육안으로 화상으로서 인식할 수 있는(즉, 피사체를 시인 가능한) 화상이다. 환언하면, 검출 화상은, 색 필터의 배열에 따른 화상이지만, Raw 화상과는 다른 화상이다.

다만, 촬상 소자(121)가, 예를 들면 적외광이나 자외광 등과 같은 비가시광에만 감도를 갖는 경우, 복원 화상(Raw 화상이나 촬상 화상)도, 사용자가 육안으로 화상으로서 인식할 수 없는(피사체를 시인할 수 없는) 화상이 되는 경우도 있다. 다만, 이것은 검출한 광의 파장역에 의한 것이므로, 복원 화상은, 파장역을 가시광역으로 변환함으로써 피사체를 시인 가능한 화상으로 할 수 있다. 이에 대해, 검출 화상은, 피사체의 상이 결상되어 있지 않으므로, 파장역을 변환하는 것만으로는 피사체를 시인 가능한 화상으로 할 수는 없다. 따라서, 촬상 소자(121)가 비가시광에만 감도를 갖는 경우라도, 상술한 바와 같이 검출 화상에 대하여 소정의 연산을 행함으로써 얻어지는 화상을 복원 화상이라고 칭한다. 또한, 이하에 있어서, 특별히 언급하지 않는 한, 기본적으로 촬상 소자(121)가 가시광을 수광하는 경우를 예로 이용하여 본 기술을 설명한다.

즉, 촬상 소자(121)는, 피사체를 촬상하고, 검출 화상에 관한 데이터를 얻을 수 있다.

이러한 촬상 소자(121)에 있어서, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위를 구비하고, 그 복수의 화소 출력 단위는, 행렬 형상으로 배치되며, 적어도 일부의 화소 출력 단위가, 그 행렬의 행방향 및 열방향의 양쪽 모두에 입사각 지향성을 갖는 복수의 화상 복원용 화소 출력 단위와, 그 행렬의 행방향으로만 또는 그 행렬의 열방향으로만 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위를 포함하도록 한다.

이러한 촬상 소자(121)를 이용함으로써, 복원 행렬의 교정이 가능해지고, 보다 정확한 복원 화상을 생성할 수 있다.

도 1에 나타내는 바와 같이, 이 촬상 소자(121)는, 수광부(111) 및 그 밖의 처리부(112)를 갖는다. 수광부(111)와 그 밖의 처리부(112)는, 동일한 반도체 기판에 형성되도록 해도 되고, 서로 다른 반도체 기판에 형성되도록 해도 된다. 예를 들면, 수광부(111)가 형성되는 반도체 기판과, 그 밖의 처리부(112)가 형성되는 반도체 기판이 적층되도록 해도 된다.

수광부(111)는, 복수의 화소(화소 출력 단위)로 이루어지는 화소 행렬을 가지며, 각 화소에 있어서, 피사체로부터의 광을 수광하여 광전 변환하여, 그 입사광에 따른 전하를 축적하고, 소정의 타이밍에 있어서 그 전하를 검출 신호로서 출력한다(아날로그 신호의 검출 화상을 출력한다).

도 1에 나타내는 바와 같이, 그 밖의 처리부(112)는, A/D 변환부(101), 복원 행렬 생성부(102), 복원 행렬 기억부(103), 복원부(104), 연관부(105), 및 출력부(106)를 갖는다.

A/D 변환부(101)는 신호의 A/D 변환에 관한 처리를 행하도록 구성된다. 예를 들면, A/D 변환부(101)는, 수광부(111)로부터 출력된 아날로그 신호의 검출 신호(검출 화상)를 A/D 변환하고, 디지털 데이터의 검출 신호(검출 화상)로서 복원부(104) 및 연관부(105)에 공급한다.

또한, 이 A/D 변환부(101)의 구성은 임의이다. 예를 들면, A/D 변환부(101)가 1개의 A/D 변환부에 의해 구성되고, 수광부(111)의 전체 화소의 검출 신호를 그 1개의 A/D 변환부에 의해 A/D 변환하도록 해도 된다. 또한, 예를 들면, A/D 변환부(101)가, 수광부(111)의 화소 행렬의 열마다 또는 행마다 A/D 변환부를 가지며, 각 열 또는 각 행의 화소로부터 판독되는 검출 신호를 그 열 또는 행의 A/D 변환부를 이용하여 A/D 변환하도록 해도 된다. 또한, 예를 들면, A/D 변환부(101)가, 수광부(111)의 화소 행렬의 에어리어마다 A/D 변환부를 가지며, 각 에어리어의 화소로부터 판독되는 검출 신호를 그 에어리어의 A/D 변환부를 이용하여 A/D 변환하도록 해도 된다. 또한, 예를 들면, A/D 변환부(101)가, 수광부(111)의 화소마다 A/D 변환부를 가지며, 각 화소로부터 판독되는 검출 신호를 그 화소의 A/D 변환부를 이용하여 A/D 변환하도록 해도 된다.

복원 행렬 생성부(102)는, 복원 행렬의 생성(교정)에 관한 처리를 행하도록 구성된다. 예를 들면, 복원 행렬 생성부(102)는, 촬상 소자(121)의 각 화소의 입사각 지향성의 교정에 관한 정보(이하, 교정 정보라고도 칭함)를 이용하여, 복원 행렬의 생성(교정)을 행한다. 복원 행렬 생성부(102)는, 생성한 복원 행렬을 복원 행렬 기억부(103)에 공급한다.

또한, 이 교정 정보는, 예를 들면 촬상 소자(121)의 외부로부터 공급된다. 또한, 이 교정 정보에는, 예를 들면, 촬상 소자(121)의 실제 입사각 지향성과 그 설계값 사이의 어긋남을 직접적 또는 간접적으로 나타내는 정보가 포함된다.

나아가, 복원 행렬의 생성 방법은 임의이다. 예를 들면, 복원 행렬 생성부(102)는, 촬상 소자(121)의 각 화소의 실제 입사각 지향성(입사광의 입사각에 따른 검출 신호 레벨)을 나타내는 교정 정보를 취득하고, 그 교정 정보에 기초하여 촬상 소자(121)의 실제 입사각 지향성에 대응하는 복원 행렬을 생성하도록 해도 된다. 또한, 예를 들면, 복원 행렬 생성부(102)는, 촬상 소자(121)의 각 화소의 실제 입사각 지향성(입사광의 입사각에 따른 검출 신호 레벨)과 설계값 사이의 어긋남을 나타내는 교정 정보를 취득하고, 그 교정 정보에 기초하여, 설계값에 대응하는 복원 행렬을 교정함으로써, 촬상 소자(121)의 실제 입사각 지향성에 대응하는 복원 행렬을 생성하도록 해도 된다.

또한, 복원 행렬 생성부(102)는, 복원 행렬 기억부(103)에 기억되어 있는 복원 행렬을 판독하고, 교정 정보에 기초하여, 판독된 복원 행렬로 교정(갱신)하도록 해도 된다. 그 경우, 복원 행렬 생성부(102)는, 갱신한 복원 행렬을 복원 행렬 기억부(103)에 공급한다.

복원 행렬 기억부(103)는, 기억 매체(도시하지 않음)를 가지며, 복원 행렬의 기억에 관한 처리를 행한다. 이 기억 매체는 임의이며, 예를 들면, 하드 디스크나 반도체 메모리 등이어도 된다. 복원 행렬 기억부(103)는, 복원 행렬 생성부(102)로부터 공급되는 복원 행렬을 취득하고, 그것을 그 기억 매체에 기억(보유)한다. 또한, 복원 행렬 기억부(103)는, 이미 복원 행렬을 기억 매체에 기억하고 있는 경우, 복원 행렬 생성부(102)로부터 공급되는 복원 행렬로 그 기억하고 있는 복원 행렬을 오버라이트(overwrite)(갱신)하도록 해도 된다. 또한, 복원 행렬 기억부(103)는, 필요에 따라(예를 들면, 소정의 타이밍에 있어서 또는 요구에 따라), 그 기억 매체에 기억되어 있는 복원 행렬을 판독하고, 복원부(104) 또는 연관부(105), 또는 그 양쪽 모두에 공급한다.

복원부(104)는, 복원 화상의 생성에 관한 처리를 행하도록 구성된다. 예를 들면, 복원부(104)는, 복원 행렬 기억부(103)로부터 공급되는 복원 행렬을 취득하고, A/D 변환부(101)로부터 공급되는 검출 화상(검출 신호)에 대하여, 그 복원 행렬을 이용하여 소정의 연산을 행함으로써, 복원 화상을 생성한다. 즉, 복원부(104)는, 실제 입사각 지향성에 대응하도록 교정된 복원 행렬을 이용하여, 복원 화상을 생성한다. 복원부(104)는, 생성한 복원 화상(올바르게 복원된 복원 화상)을 출력 데이터로서 출력부(106)에 공급한다. 또한, 복원부(104)가, 복원 화상에 대하여, 예를 들면, 감마 보정(γ 보정)이나 화이트 밸런스 제어 등의 임의의 화상 처리를 실시하도록 해도 된다. 또한, 복원부(104)가, 복원 화상의 데이터 포맷을 변환하거나, 예를 들면 JPEG(Joint Photographic Experts Group), TIFF(Tagged Image File Format), GIF(Graphics Interchange Format) 등의 소정의 압축 방식으로 압축하거나 하도록 해도 된다.

연관부(105)는, 데이터의 연관에 관한 처리를 행하도록 구성된다. 예를 들면, 연관부(105)는, A/D 변환부(101)로부터 공급되는 검출 화상(검출 신호)을 취득한다. 또한, 연관부(105)는, 복원 행렬 기억부(103)로부터 공급되는 복원 행렬을 취득한다. 나아가, 연관부(105)는, 그 검출 화상과 복원 행렬을 연관시킨다. 연관부(105)는, 연관된 데이터(검출 화상 및 복원 행렬)를, 출력 데이터로서 출력부(106)에 공급한다.

여기서, 「연관시킨다」라고 하는 용어는, 예를 들면, 일방의 정보(데이터, 커맨드, 프로그램 등)를 처리할 때에 타방의 정보를 이용할 수 있도록(링크시킬 수 있도록) 하는 것을 의미한다. 즉, 서로 연관된 정보는, 1개의 파일 등으로서 합쳐져도 되고, 각각 개별의 정보로 해도 된다. 예를 들면, 정보A에 연관된 정보B는, 그 정보A와는 다른 전송로 상에서 전송되도록 해도 된다. 또한, 예를 들면, 정보A에 연관된 정보B는, 그 정보A와는 다른 기록 매체(또는 동일한 기록 매체의 다른 기록 에어리어)에 기록되도록 해도 된다. 또한, 이 「연관」은, 정보 전체가 아니라, 정보의 일부이어도 된다. 예를 들면, 화상과 그 화상에 대응하는 정보가, 복수 프레임, 1프레임, 또는 프레임 내의 일부분 등의 임의의 단위로 서로 연관되도록 해도 된다.

보다 구체적으로는, 예를 들면, 복수의 정보에 동일한 ID(식별 정보)를 부여하는 것, 복수의 정보를 동일한 기록 매체에 기록하는 것, 복수의 정보를 동일한 폴더에 저장하는 것, 복수의 정보를 동일한 파일에 저장하는 것(일방을 타방에 메타데이터로서 부여하는 것), 복수의 정보를 동일한 스트림에 끼워 넣는 것, 예를 들면 디지털 워터마크(digital watermark)와 같이 화상에 메타데이터를 끼워 넣는 것 등의 행위가, 「연관시킨다」에 포함된다.

출력부(106)는, 복원부(104)로부터 공급되는 출력 데이터(복원 화상), 또는, 연관부(105)로부터 공급되는 출력 데이터(검출 화상 및 복원 행렬)를 촬상 소자(121)의 외부에 출력한다.

또한, 복원부(104) 및 연관부(105) 중 어느 일방을 생략해도 된다. 즉, 복원부(104) 및 연관부(105) 중 일방만이, 촬상 소자(121)에 형성되도록 해도 된다.

<촬상 소자에 대해>

다음으로, 촬상 소자(121)에 대해 도 2 내지 도 20을 참조하여 설명한다.

<화소와 화소 출력 단위>

본 명세서에 있어서는, 「화소」(또는 「화소 출력 단위」)라고 하는 용어를 이용하여, 본 기술을 설명한다. 본 명세서에 있어서 「화소」(또는 「화소 출력 단위」)란, 촬상 소자(121)의 입사광을 수광하기 위한 물리 구성이 형성되는 영역(화소 영역이라고도 칭함)의, 다른 화소와는 독립적으로 수광할 수 있는 물리 구성을 적어도 1개 포함하는 분할 단위를 가리키는 것으로 한다. 수광할 수 있는 물리 구성이란, 예를 들면 광전 변환 소자이며, 예를 들면 포토다이오드(PD(Photo Diode))이다. 1화소에 형성되는 이 물리 구성(예를 들면, 포토다이오드)의 수는 임의이며, 단수이어도 되고, 복수이어도 된다. 그 종류, 크기, 형상 등도 임의이다.

또한, 이 「화소」 단위의 물리 구성에는, 상술한 「수광할 수 있는 물리 구성」뿐만 아니라, 예를 들면, 온-칩 렌즈, 차광막, 컬러 필터, 평탄화막, 반사방지막 등, 입사광의 수광에 관한 모든 물리 구성을 포함한다. 나아가, 판독 회로 등의 구성도 포함되는 경우도 있다. 즉, 이 화소 단위의 물리 구성은 어떠한 구성이어도 된다.

또한, 「화소」(즉, 화소 단위의 물리 구성)로부터 판독된 검출 신호를 「화소 단위(또는 화소 출력 단위)의 검출 신호」등이라고 칭하는 경우도 있다. 나아가, 이 화소 단위(또는 화소 출력 단위)의 검출 신호는, 「화소 단위 검출 신호(또는 화소 출력 단위 검출 신호)」라고도 칭한다. 또한, 이 화소 단위 검출 신호는 「화소 출력」이라고도 칭한다. 나아가, 그 값을 「출력 화소값」이라고도 칭한다.

촬상 소자(121)는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 그 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위를 구비한다. 따라서, 이 촬상 소자(121)의 화소 단위의 검출 신호의 값(출력 화소값)은, 다른 것과 독립적으로 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 가질 수 있다. 예를 들면, 촬상 소자(121)의 각 화소 단위(화소 출력 단위)는, 그 출력 화소값의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 독립적으로 설정 가능한 구성을 갖도록 해도 된다. 환언하면, 촬상 소자(121)에 있어서, 적어도 2개의 화소 단위의 출력 화소값의 입사각 지향성이 서로 다르도록 할 수 있다.

또한, 상술한 바와 같이 「화소 (또는 화소 출력 단위)」가 갖는 「수광할 수 있는 물리 구성」의 수는 임의이므로, 화소 단위 검출 신호는, 단수의 「수광할 수 있는 물리 구성」에 의해 얻어진 검출 신호이어도 되고, 복수의 「수광할 수 있는 물리 구성」에 의해 얻어진 검출 신호이어도 된다.

또한, 이 화소 단위 검출 신호(출력 화소값)는, 임의의 단계에서 복수를 합쳐서 1개로 할 수도 있다. 예를 들면, 복수의 화소의 출력 화소값을, 아날로그 신호의 상태에 있어서 가산하도록 해도 되고, 디지털 신호로 변환하고 나서 가산하도록 해도 된다.

또한, 이 검출 신호는, 촬상 소자(121)로부터 판독된 후, 즉, 검출 화상에 있어서, 복수의 검출 신호를 합쳐서 단수화하거나, 단수의 검출 신호를 복수화하거나 할 수도 있다. 즉, 검출 화상의 해상도(데이터수)는 가변이다. 예를 들면, 감도 향상을 위해, 동일한 입사각 지향성을 갖는 복수 화소의 검출 신호끼리를 가산할 수 있다.

그런데, 이하에 있어서는 설명의 편의상, 특별히 언급하지 않는 한, 촬상 소자(121)가 복수의 화소가 행렬 형상으로 배치되는(화소 어레이가 형성되는) 화소 영역을 가지는 것으로서 설명한다. 한편, 촬상 소자(121)의 화소(또는 화소 출력 단위)의 배열 패턴은 임의이며, 이 예에 한정되지 않는다. 예를 들면, 화소(또는 화소 출력 단위)가 허니컴(honeycomb) 구조 형상으로 배치되도록 해도 된다. 또한, 예를 들면, 화소(또는 화소 출력 단위)가 1행(또는 1열) 형상으로 배치되도록 해도 된다. 즉, 촬상 소자(121)가 라인 센서이어도 된다.

또한, 촬상 소자(121)(의 화소)가 감도를 갖는 파장역은 임의이다. 예를 들면, 촬상 소자(121)(의 화소)가, 가시광에 대해 감도를 가지도록 해도 되고, 적외광이나 자외광과 같은 비가시광에 대해 감도를 가지도록 해도 되고, 가시광과 비가시광의 양쪽 모두에 대해 감도를 가지도록 해도 된다. 예를 들면, 촬상 소자가 비가시광인 원적외광을 검출하는 경우, 그 촬상 소자에 있어서 얻어지는 촬상 화상을 이용하여 서모그래프(thermograph)(열 분포를 나타내는 화상)를 생성할 수 있다. 다만, 촬상 렌즈를 따르는 촬상 소자의 경우, 유리는 원적외광을 투과하는 것이 곤란하기 때문에, 고가인 특수 소재의 촬상 렌즈가 필요하게 되고, 제조 비용이 증대될 우려가 있다. 촬상 소자(121)는, 촬상 렌즈 등을 거치지 않고 피사체를 촬상하고, 그 촬상 화상에 관한 데이터를 얻을 수 있으므로, 그 화소가 원적외광을 검출 가능하게 함으로써, 제조 비용의 증대를 억제할 수 있다. 즉, 보다 저렴하게 원적외광의 촬상을 행할 수 있다(보다 저렴하게 서모그래프를 얻을 수 있다). 환언하면, 복원 화상은, 가시광의 화상이어도 되고, 비가시광(예를 들면, (원)적외광이나 자외광 등)의 화상이어도 된다.

<입사각 지향성>

상술한 바와 같이, 촬상 소자(121)는, 복수 화소 출력 단위분의 검출 신호(복수의 화소 출력 단위 검출 신호)를 얻을 수 있다. 그리고, 그 중의 적어도 2개의 화소 출력 단위 검출 신호의 입사각 지향성이 서로 다르도록 할 수도 있다.

여기서 「입사각 지향성」이란, 입사광의 입사각도에 따른 수광 감도 특성, 즉, 입사광의 입사각도에 대한 검출 감도를 가리킨다. 예를 들면, 동일한 광 강도의 입사광이어도 그 입사각도에 따라 검출 감도가 변화되는 경우가 있다. 이러한 검출 감도의 치우침(치우침이 없는 경우도 포함함)을 「입사각 지향성」이라고 칭한다.

예를 들면, 서로 동일한 광 강도의 입사광이, 서로 동일한 입사각으로 그 2개의 화소 출력 단위의 물리 구성에 입사하면, 각 화소 출력 단위의 검출 신호의 신호 레벨(검출 신호 레벨)은, 각각의 입사각 지향성에 따라, 서로 다른 값이 될 수 있다. 촬상 소자(121)(의 각 화소 출력 단위)는, 이러한 특징을 갖는 물리 구성을 갖는다.

이 입사각 지향성은, 어떠한 방법에 의해 실현되도록 해도 된다. 예를 들면, 일반의, 예를 들면, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등의 촬상 소자로 이루어지는 것과 마찬가지의 기본적인 구조를 가지는 촬상 소자의 광전 변환 소자(포토다이오드 등)의 전방(광입사측)에 차광막을 마련하는 등 해서 입사각 지향성을 실현하도록 해도 된다.

일반적인 입사각 지향성이 서로 동일한 화소로 이루어지는 촬상 소자만으로 촬상을 행하면, 촬상 소자의 모든 화소에 거의 동일한 광 강도의 광이 입사하게 되고, 결상된 피사체의 화상을 얻을 수 없다. 이에, 일반적으로는, 촬상 소자의 앞(광입사측)에 촬상 렌즈나 핀홀을 마련한다. 예를 들면, 촬상 렌즈를 마련함으로써, 피사체면으로부터의 광을 촬상 소자의 촬상면에 결상시킬 수 있다. 따라서, 촬상 소자는, 각 화소에 있어서 그 결상된 피사체의 화상에 따른 레벨의 검출 신호를 얻을 수 있다(즉, 결상된 피사체의 촬상 화상을 얻을 수 있다). 그러나, 이 경우, 물리적으로 사이즈가 커지고, 장치의 소형화가 곤란해질 우려가 있었다. 또한, 핀홀을 마련하는 경우, 촬상 렌즈를 마련하는 경우보다 소형화가 가능해지지만, 촬상 소자에 입사하는 광량이 저감하기 때문에, 노광 시간을 길게 하거나, 또는, 게인(gain)을 올리는 등의 대책이 필수로 되고, 고속인 피사체의 촬상에 있어서는 블러링(blurring)이 생기기 쉬워지거나, 또는, 자연스러운 색 표현으로 되지 않을 우려가 있었다.

이에 대해, 촬상 소자(121)는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 그 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위를 구비한다. 또한, 각 화소 출력 단위의 입사각 지향성이 서로 다르도록(입사광의 입사각도에 따른 수광 감도 특성이 화소 출력 단위마다 다르도록) 해도 되고, 일부 화소에 동일한 수광 감도 특성을 가지는 것이 포함되어 있도록 해도 되고, 일부 화소가 다른 수광 감도 특성을 가지도록 해도 된다.

예를 들면, 도 2에 있어서, 피사체면(131)을 구성하는 광원이 점광원인 것을 전제로 한 경우, 촬상 소자(121)에 있어서는, 동일한 점광원으로부터 방출된 동일한 광 강도의 광선이, 모든 화소에 입사되게 되지만, 화소마다 각각 다른 입사각도로 입사된다. 그리고, 촬상 소자(121)의 각 화소는, 서로 다른 입사각 지향성을 가지고 있으므로, 그 동일한 광 강도의 광선을 서로 다른 감도로 검출한다. 즉, 화소마다 다른 신호 레벨의 검출 신호가 검출된다.

보다 상세하게는, 촬상 소자(121)의 각 화소에 있어서 수광되는 입사광의 입사각도에 따른 감도 특성, 즉, 각 화소에 있어서의 입사각도에 따른 입사각 지향성은, 입사각도에 따른 수광 감도를 나타내는 계수로 표현함으로써 해서, 각 화소에 있어서의 입사광에 따른 검출 신호의 신호 레벨(검출 신호 레벨이라고도 칭함)은, 입사광의 입사각도에 따른 수광 감도에 대응하여 설정되는 계수를 곱함으로써 구해지게 된다.

보다 구체적으로는, 도 2의 상단 좌측부에 나타내는 바와 같이, 위치(Pa, Pb, Pc)에 있어서의 검출 신호 레벨(DA, DB, DC)은, 각각 이하의 식(1) 내지 식(3)으로 나타낸다.

[수 1]

여기서, α1은, 촬상 소자(121) 상의 위치(Pa)에 있어서의 복원하는 피사체면(131) 상의 점광원(PA)으로부터의 광선의 입사각도에 따라 설정되는 계수이다. 또한, β1은, 촬상 소자(121) 상의 위치(Pa)에 있어서의 복원하는 피사체면(131) 상의 점광원(PB)으로부터의 광선의 입사각도에 따라 설정되는 계수이다. 나아가, γ1은, 촬상 소자(121) 상의 위치(Pa)에 있어서의 복원하는 피사체면(131) 상의 점광원(PC)으로부터의 광선의 입사각도에 따라 설정되는 계수이다.

식(1)에 나타내는 바와 같이, 위치(Pa)에 있어서의 검출 신호 레벨(DA)은, 위치(Pa)에 있어서의 점광원(PA)으로부터의 광선의 광 강도 "a"와 계수 α1의 곱(product)과, 위치(Pa)에 있어서의 점광원(PB)으로부터의 광선의 광 강도 "b"와 계수 β1의 곱과, 위치(Pa)에 있어서의 점광원(PC)으로부터의 광선의 광 강도 "c"와 계수 γ1의 곱의 합(합성값)에 의해 표현된다. 이하에 있어서, 계수 αx, βx, γx (x는 자연수)를 아울러 계수 세트라고 칭한다.

마찬가지로, 식(2)의 계수 세트 α2, β2, γ2는, 촬상 소자(121) 상의 위치(Pb)에 있어서의 복원하는 피사체면(131) 상의 점광원(PA, PB, PC)으로부터의 광선의 입사각도에 따라 설정되는 계수 세트이다. 즉, 위치(Pb)에 있어서의 검출 신호 레벨(DB)은, 상술한 식(2)과 같이, 위치(Pb)에 있어서의 점광원(PA)으로부터의 광선의 광 강도 "a"와 계수 α2의 곱과, 위치(Pb)에 있어서의 점광원(PB)으로부터의 광선의 광 강도 "b"와 계수 β2의 곱과, 위치(Pb)에 있어서의 점광원(PC)으로부터의 광선의 광 강도 "c"와 계수 γ2의 곱의 합(합성값)에 의해 표현된다. 또한, 식(3)의 계수 α3, β3, γ3은, 촬상 소자(121) 상의 위치(Pc)에 있어서의 복원하는 피사체면(131) 상의 점광원(PA, PB, PC)으로부터의 광선의 입사각도에 따라 설정되는 계수 세트이다. 즉, 위치(Pc)에 있어서의 검출 신호 레벨(DC)은, 상술한 식(3)과 같이, 위치(Pc)에 있어서의 점광원(PA)으로부터의 광선의 광 강도 "a"와 계수 α3의 곱과, 위치(Pc)에 있어서의 점광원(PB)으로부터의 광선의 광 강도 "b"와 계수 β3의 곱과, 위치(Pc)에 있어서의 점광원(PC)으로부터의 광선의 광 강도 "c"와 계수 γ3의 곱의 합(합성값)에 의해 표현된다.

이상과 같이, 이들 검출 신호 레벨은, 점광원(PA, PB, PC)의 각각으로부터 방출된 광선의 광 강도가 혼합된 것으로 되므로, 피사체의 상이 결상된 것과는 다른 것이다. 즉, 도 2의 상단 우측부에 나타내는 검출 신호 레벨은, 피사체의 상이 결상된 화상(촬상 화상)에 대응하는 검출 신호 레벨이 아니므로, 도 2의 하부 우측부에 나타내는 화소값과는 다른 것이다(일반적으로 양자는 일치하지 않는다).

다만, 이 계수 세트 α1, β1, γ1, 계수 세트 α2, β2, γ2, 계수 세트 α3, β3, γ3과, 검출 신호 레벨(DA, DB, DC)을 이용한 연립 방정식을 구성하고, a, b, c를 변수로 하여 상술한 식(1) 내지 식(3)의 연립 방정식을 푸는 것에 의해, 도 2의 하단 우측부에 나타내는 바와 같은 각 위치(Pa, Pb, Pc)의 화소값을 구할 수 있다. 이에 의해 화소값의 집합인 복원 화상(피사체의 상이 결상된 화상)이 복원된다.

촬상 소자(121)는, 이러한 구성에 의해, 촬상 렌즈, 회절 격자 등으로 이루어지는 광학 필터나, 핀홀 등을 필요로 하지 않고, 각 화소에 있어서 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력할 수 있다. 결과로서, 촬상 렌즈, 회절 격자 등으로 이루어지는 광학 필터나, 핀홀 등이 필수구성으로 되지 않으므로, 촬상 장치의 높이를 낮게 하는 것, 즉, 촬상 기능을 실현하는 구성에 있어서의 광의 입사 방향에 대한 두께를 얇게 하는 것이 가능해진다.

<입사각 지향성의 형성>

도 3의 좌측부는, 일반적인 촬상 소자의 화소 어레이부의 일부의 정면도를 나타내고 있고, 도 3의 우측부는, 촬상 소자(121)의 화소 어레이부의 일부의 정면도를 나타내고 있다. 또한, 도 3에 있어서는, 화소 어레이부가 수평 방향×수직 방향의 각각의 화소수가 6화소×6화소의 구성인 경우의 예를 나타내고 있지만, 화소수의 구성은, 이것에 한정되는 것이 아니다.

입사각 지향성은, 예를 들면 차광막에 의해 형성할 수 있다. 일반적인 촬상 소자(121)는, 도 3의 좌측부의 예와 같이, 입사각 지향성이 동일한 화소(121a)가 어레이 형상으로 배치되어 있는 것이 나타나 있다. 이에 대하여 도 3의 우측부의 예의 촬상 소자(121)는, 화소(121a)마다, 그 포토다이오드의 수광 영역의 일부를 덮도록 변조 소자의 하나인 차광막(121b)이 마련되어 있고, 각 화소(121a)에 입사하는 입사광이, 입사각도에 따라서 광학적으로 변조된다. 그리고, 예를 들면, 화소(121a)마다 다른 범위에 차광막(121b)을 마련함으로써, 화소(121a)마다 입사광의 입사각도에 대한 수광 감도가 다른 것이 되고, 각 화소(121a)가 다른 입사각 지향성을 가지도록 된다.

예를 들면, 화소(121a-1)와 화소(121a-2)는, 마련되어 있는 차광막(121b-1)과 차광막(121b-2)에 의해 화소를 차광하는 범위가 다르다(차광하는 영역(위치) 및 차광하는 면적의 적어도 어느 하나가 다르다). 즉, 화소(121a-1)에 있어서는, 포토다이오드의 수광 영역에 있어서의 좌측의 일부를 소정의 폭만 차광하도록 차광막(121b-1)이 마련되어 있고, 화소(121a-2)에 있어서는, 수광 영역에 있어서의 우측의 일부를, 차광막(121b-1)보다 수평 방향으로 넓은 폭만큼 차광하도록 차광막(121b-2)이 마련되어 있다. 그 밖의 화소(121a)에 있어서도, 마찬가지로, 차광막(121b)이, 화소마다 수광 영역에 있어서의 다른 범위가 차광되도록 마련되어 있어, 화소 어레이 내에서 랜덤하게 배치되어 있다.

또한, 차광막(121b)의 범위는, 각 화소의 수광 영역을 덮어 가리는 비율이 커질수록, 수광할 수 있는 광량이 적은 상태가 되기 때문에, 원하는 광량을 확보할 수 있는 정도의 면적으로 하는 것이 바람직하고, 차광막(121b)의 면적을, 예를 들면, 최대로 수광 가능한 범위 전체의 3/4정도까지라는 제한을 가해서 구성하도록 해도 된다. 이와 같이 함으로써, 원하는 양 이상의 광량을 확보하는 것이 가능해진다. 다만, 각 화소에 대해서, 수광하는 광의 파장에 상당하는 폭의 차광되지 않는 범위가 마련되어 있으면, 최소한의 광량을 수광하는 것은 가능하다. 즉, 예를 들면, B 화소(청색 화소)의 경우, 파장은 500nm 정도가 되지만, 이 파장에 상당하는 폭 이상으로 차광되지 않고 있으면, 최소한의 광량을 수광하는 것은 가능하다.

<촬상 소자의 구성예>

도 4를 참조하여, 이 경우의 촬상 소자(121)의 구성예에 대해 설명한다. 도 4의 상단은, 촬상 소자(121)의 측면 단면도이며, 도 4의 중간단은, 촬상 소자(121)의 상면도이다. 또한, 도 4의 상단 측면 단면도는, 도 4의 중간단에 있어서의 AB단면이 된다. 또한, 도 4의 하단은, 촬상 소자(121)의 회로 구성예이다.

도 4에 나타내는 구성의 촬상 소자(121)는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 그 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위를 구비한다. 예를 들면, 이 촬상 소자(121)는, 그 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위의 출력 화소값의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성이, 서로 다른 특성이 되도록 하기 위한 구성을 갖는다. 또한, 이 경우의 촬상 소자(121)는, 그 복수의 화소 출력 단위가, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 화소 출력 단위마다 독립적으로 설정 가능한 구성을 갖는다.

도 4의 상단의 촬상 소자(121)에 있어서는, 도면 중의 상방으로부터 하방을 향해 입사광이 입사한다. 인접하는 화소(121a-15, 121a-16)는, 각각 도면 중의 최하층에 배선층(Z12)이 마련되어 있고, 그 위에 광전 변환층(Z11)이 마련되어 있는, 소위, 이면 조사형(back-illuminated type)이다.

또한, 화소(121a-15, 121a-16)를 구별할 필요가 없는 경우, 단지, 화소(121a)라고 칭하고, 다른 구성에 대해서도, 동일하게 칭한다. 또한, 도 4에 있어서는, 촬상 소자(121)의 화소 어레이를 구성하는 2화소분의 측면도 및 상면도로 되어 있지만, 말할 필요도 없이, 이 이상의 수의 화소(121a)가 배치되어 있지만 도시가 생략되어 있다.

나아가, 화소(121a-15, 121a-16)는, 각각 광전 변환층(Z11)에 포토다이오드(121e-15, 121e-16)를 구비하고 있다. 또한, 포토다이오드(121e-15, 121e-16) 위에는, 각각 위에서부터 온-칩 렌즈(121c-15, 121c-16), 및 컬러 필터(121d-15, 121d-16)가 구성되어 있다.

온-칩 렌즈(121c-15, 121c-16)는, 입사광을 포토다이오드(121e-15, 121e-16) 상에 집광시킨다.

컬러 필터(121d-15, 121d-16)는, 예를 들면, 적색, 녹색, 청색, 적외 및 백색 등의 특정 파장의 광을 투과시키는 광학 필터이다. 또한, 백색의 경우, 컬러 필터(121d-15, 121d-16)는, 투명한 필터이어도 되고, 없어도 된다.

화소(121a-15, 121a-16)의 광전 변환층(Z11)에 있어서의, 각각 화소간의 경계에는, 차광막(121p-15 내지 121p-17)이 형성되어 있고, 인접하는 화소간의 크로스 토크(crosstalk)를 억제한다. 또한, 차광막(121p-15 내지 121p-17)은 생략해도 된다.

또한, 변조 소자의 하나인 차광막(121b-15, 121b-16)은, 도 4의 상단 및 중간단에 나타내는 바와 같이, 수광면(S)의 일부를 차광하고 있다. 차광막(121b)에 의해 수광면(S)의 일부가 차광됨으로써, 화소(121a)에 입사하는 입사광이 입사각도에 따라서 광학적으로 변조된다. 화소(121a)는, 그 광학적으로 변조된 입사광을 검출하므로, 입사각 지향성을 가지도록 된다. 화소(121a-15, 121a-16)에 있어서의 포토다이오드(121e-15, 121e-16)의 수광면(S)에 있어서는, 차광막(121b-15, 121b-16)에 의해, 각각 다른 범위가 차광되고 있고, 이에 의해 화소마다 다른 입사각 지향성이 설정된다. 다만, 차광되는 범위는, 촬상 소자(121)의 모든 화소(121a)의 각각에 있어서 다른 것의 경우에 한정되지 않고, 일부에서 동일한 범위가 차광되는 화소(121a)가 존재하고 있어도 된다.

도 4의 상단에 나타내는 바와 같은 구성에 의해, 차광막(121p-15)의 우측단부와, 차광막(121b-15)의 상방단부가 접속됨과 함께, 차광막(121b-16)의 좌측단부와 차광막(121p-16)의 상방단부가 접속되고, 측면에서 볼 때 L자형으로 구성되어 있다.

나아가, 차광막(121b-15 내지 121b-17), 및 차광막(121p-15 내지 121p-17)은, 금속에 의해 구성되어 있고, 예를 들면, 텅스텐(W), 알루미늄(Al), 또는 Al과 구리(Cu)의 합금으로 구성된다. 또한, 차광막(121b-15 내지 121b-17), 및 차광막(121p-15 내지 121p-17)은, 반도체 프로세스에 있어서의 배선이 형성되는 프로세스와 동일한 프로세스에서, 배선과 동일한 금속에 의해 동시에 형성되도록 해도 된다. 또한, 차광막(121b-15 내지 121b-17), 및 차광막(121p-15 내지 121p-17)의 막 두께는, 위치에 따라 동일한 두께로 하지 않아도 된다.

또한, 도 4의 하단에 나타내는 바와 같이, 화소(121a)는, 포토다이오드(161)(포토다이오드(121e)에 대응함), 전송 트랜지스터(162), FD(Floating Diffusion)부(163), 선택 트랜지스터(164), 증폭 트랜지스터(165), 및 리셋 트랜지스터(166)를 구비하여 구성되고, 수직 신호선(167)을 통해 전류원(168)에 접속되어 있다.

포토다이오드(161)는, 애노드 전극이 각각 접지되고, 캐소드 전극이, 전송 트랜지스터(162)를 통해 증폭 트랜지스터(165)의 게이트 전극에 각각 접속되는 구성으로 되어 있다.

전송 트랜지스터(162)는, 전송 신호(TG)에 따라 각각 구동한다. 예를 들면, 전송 트랜지스터(162)의 게이트 전극에 공급되는 전송 신호(TG)가 하이 레벨이 되면, 전송 트랜지스터(162)는 온으로 된다. 이에 의해, 포토다이오드(161)에 축적되어 있는 전하가 전송 트랜지스터(162)를 통해 FD부(163)에 전송된다.

증폭 트랜지스터(165)는, 포토다이오드(161)에서의 광전 변환에 의해 얻어지는 신호를 판독하는 판독 회로인 소스 폴로어(source follower)의 입력부가 되고, FD부(163)에 축적되어 있는 전하에 따른 레벨의 화소 신호를 수직 신호선(23)에 출력한다. 즉, 증폭 트랜지스터(165)는, 드레인 단자가 전원전압(VDD)에 접속되고, 소스 단자가 선택 트랜지스터(164)를 통해 수직 신호선(167)에 접속됨으로써, 수직 신호선(167)의 일단에 접속되는 전류원(168)과 소스 폴로어를 구성한다.

FD부(163)는, 전송 트랜지스터(162)와 증폭 트랜지스터(165)의 사이에 마련되는 전하 용량 C1을 갖는 부유 확산 영역(floating diffusion region)이며, 전송 트랜지스터(162)를 통해 포토다이오드(161)로부터 전송되는 전하를 일시적으로 축적한다. FD부(163)는, 전하를 전압으로 변환하는 전하 검출부로서, FD부(163)에 축적되어 있는 전하가 증폭 트랜지스터(165)에 있어서 전압으로 변환된다.

선택 트랜지스터(164)는, 선택 신호(SEL)에 따라 구동되고, 게이트 전극에 공급되는 선택 신호(SEL)가 하이 레벨이 되면 온으로 되고, 증폭 트랜지스터(165)와 수직 신호선(167)을 접속시킨다.

리셋 트랜지스터(166)는, 리셋 신호(RST)에 따라 구동된다. 예를 들면, 리셋 트랜지스터(166)는, 게이트 전극에 공급되는 리셋 신호(RST)가 하이 레벨이 되면 온으로 되고, FD부(163)에 축적되어 있는 전하를 전원전압(VDD)에 배출하여, FD부(163)를 리셋한다.

이상과 같은 회로 구성에 의해, 도 4의 하단에 나타내는 화소 회로는 다음과 같이 동작한다.

즉, 제1 동작으로서, 리셋 트랜지스터(166) 및 전송 트랜지스터(162)가 온으로 되고, FD부(163)에 축적되어 있는 전하를 전원전압(VDD)에 배출하여, FD부(163)를 리셋한다.

제2 동작으로서, 리셋 트랜지스터(166) 및 전송 트랜지스터(162)가 오프로 되고, 노광 기간으로 되며, 포토다이오드(161)에 의해, 입사광의 광량에 따른 전하가 축적된다.

제3 동작으로서, 리셋 트랜지스터(166)가 온으로 되고, FD부(163)가 리셋된 후, 리셋 트랜지스터(166)가 오프로 된다. 이 동작에 의해, FD부(163)가 리셋되어, 기준 전위로 설정된다.

제4 동작으로서, 리셋된 상태의 FD부(163)의 전위가, 기준 전위로서 증폭 트랜지스터(165)로부터 출력된다.

제5 동작으로서, 전송 트랜지스터(162)가 온으로 되고, 포토다이오드(161)에 축적된 전하가 FD부(163)에 전송된다.

제6 동작으로서, 포토다이오드의 전하가 전송된 FD부(163)의 전위가, 신호 전위로서 증폭 트랜지스터(165)로부터 출력된다.

이상의 처리에 의해, 신호 전위로부터 기준 전위가 감산되어, CDS(상관 이중 샘플링)에 의해 검출 신호로서 출력된다. 이 검출 신호의 값(출력 화소값)은, 피사체로부터의 입사광의 입사각에 따라 변조되고 있고, 입사각에 따라 특성(지향성)이 다르다(입사각 지향성을 갖는다).

이와 같이, 도 4의 경우의 화소(121a)는, 1개에 대해 포토다이오드(121e)가 1개 마련되어 있고, 화소(121a)마다 다른 범위가 차광막(121b)에 의해 차광되고 있어, 차광막(121b)을 이용한 광학적인 변조에 의해, 1개의 화소(121a)로 입사각 지향성을 구비한 검출 화상의 1화소분의 검출 신호를 표현할 수 있다.

<촬상 소자의 다른 구성예>

또한, 입사각 지향성은, 예를 들면 수광 소자(예를 들면, 포토다이오드)의 화소 내에 있어서의 위치, 크기, 형상 등에 의해 형성할 수 있다. 이 파라미터가 다른 화소끼리는, 동일 방향으로부터의 동일한 광 강도의 입사광에 대한 감도가 다르다. 즉, 이 파라미터를 화소마다 설정함으로써, 화소마다 입사각 지향성을 설정할 수 있다.

예를 들면, 화소 내에 복수의 수광 소자(예를 들면, 포토다이오드)를 마련하고, 그들이 선택적으로 이용할 수 있도록 해도 된다. 이와 같이 함으로써, 그 수광 소자의 선택에 의해 화소마다 입사각 지향성을 설정할 수 있게 된다.

도 5는 촬상 소자(121)의 다른 구성예를 나타내는 도면이다. 도 5의 상단에는, 촬상 소자(121)의 화소(121a)의 측면 단면도가 나타나 있고, 도 5의 중간단에는, 촬상 소자(121)의 상면도가 나타나 있다. 또한, 도 5의 상단의 측면 단면도는, 도 5의 중간단에 있어서의 AB단면이 된다. 또한, 도 5의 하단은, 촬상 소자(121)의 회로 구성예이다.

도 5에 나타내는 구성의 촬상 소자(121)는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 그 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위를 구비한다. 예를 들면, 이 촬상 소자(121)는, 그 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위의 출력 화소값의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성이, 서로 다른 특성이 되도록 하기 위한 구성을 갖는다. 또한, 이 경우의 촬상 소자(121)는, 그 복수의 화소 출력 단위가, 출력에 기여하는 PD(Photo Diode)를 서로 다르게 함으로써, 그 출력 화소값의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 화소 출력 단위마다 독립적으로 설정할 수 있다.

도 5에 나타내는 바와 같이, 촬상 소자(121)는, 화소(121a)에 있어서, 4개의 포토다이오드(121f-1 내지 121f-4)가 형성되고, 차광막(121p)이, 포토다이오드(121f-1 내지 121f-4)끼리를 분리하는 영역에 형성되어 있는 점에서, 도 5의 촬상 소자(121)와 다른 구성으로 되어 있다. 즉, 도 5의 촬상 소자(121)에서, 차광막(121p)은, 상면에서 볼 때 「+」형상으로 형성되어 있다. 또한, 이들의 공통인 구성에 대해서는 동일한 부호를 부여하고, 상세한 설명은 생략한다.

도 5와 같이 구성된 촬상 소자(121)에서는, 차광막(121p)에 의해 포토다이오드(121f-1 내지 121f-4)로 분리함으로써, 포토다이오드(121f-1 내지 121f-4) 사이의 전기적 및 광학적인 크로스토크를 방지할 수 있다. 즉, 도 5의 차광막(121p)은, 도 4의 촬상 소자(121)의 차광막(121p)과 마찬가지로 크로스토크를 방지하기 위한 것이며, 입사각 지향성을 부여하기 위한 것이 아니다.

상세 내용에 대해서는 후술하지만, 포토다이오드(121f-1 내지 121f-4)는, 수광 감도 특성이 높아지는 입사각이 서로 다르다. 즉, 포토다이오드(121f-1 내지 121f-4)의 어느 것으로부터 전하를 판독할지에 따라, 화소(121a)의 출력 화소값에 원하는 입사각 지향성을 갖게 할 수 있다. 즉, 화소(121a)의 출력 화소값의 입사각 지향성을 제어할 수 있다.

도 5의 촬상 소자(121)의 구성예에 있어서는, 1개의 FD부(163)를 4개의 포토다이오드(121f-1 내지 121f-4)에 의해 공유한다. 도 5의 하단은, 1개의 FD부(163)를 4개의 포토다이오드(121f-1 내지 121f-4)에 의해 공유하도록 한 회로 구성예를 나타내고 있다. 또한, 도 5의 하단에 있어서, 도 4의 하단과 동일한 구성에 대해서는, 그 설명을 생략한다.

도 5의 하단에 있어서, 도 4의 하단의 회로 구성과 다른 점은, 포토다이오드(161) 및 전송 트랜지스터(162) 대신에, 포토다이오드(161-1 내지 161-4)(도 5의 상단에 있어서의 포토다이오드(121f-1 내지 121f-4)에 대응함) 및 전송 트랜지스터(162-1 내지 162-4)를 마련하고, FD부(163)를 공유하는 구성으로 하고 있는 점이다.

도 5의 하단에 나타내는 회로에 있어서, 포토다이오드(161-1 내지 161-4)를 서로 구별하여 설명할 필요가 없는 경우, 포토다이오드(161)라고 칭한다. 또한, 전송 트랜지스터(162-1 내지 162-4)를 서로 구별하여 설명할 필요가 없는 경우, 전송 트랜지스터(162)라고 칭한다.

도 5의 하단에 나타내는 회로에 있어서, 어느 하나의 전송 트랜지스터(162)가 온으로 되면, 그 전송 트랜지스터(162)에 대응하는 포토다이오드(161)의 전하가 판독되어, 공통의 FD부(163)에 전송된다. 그리고, FD부(163)에 유지되고 있는 전하의 레벨에 따른 신호가 화소 출력 단위의 검출 신호로서 판독된다. 즉, 각 포토다이오드(161)의 전하는 서로 독립적으로 판독할 수 있고, 어느 전송 트랜지스터(162)를 온으로 할지에 따라, 어느 포토다이오드(161)로부터 전하를 판독할지를 제어할 수 있다. 환언하면, 어느 전송 트랜지스터(162)를 온으로 할지에 따라, 각 포토다이오드(161)에 의한 출력 화소값에의 기여의 정도를 제어할 수 있다. 예를 들면, 적어도 2개의 화소간에 있어서, 전하를 판독하는 포토다이오드(161)를 서로 다른 것으로 함으로써, 출력 화소값에 기여하는 포토다이오드(161)를 서로 다르게 할 수 있다. 즉, 전하를 판독하는 포토다이오드(161)의 선택에 의해, 화소(121a)의 출력 화소값에 원하는 입사각 지향성을 갖게 할 수 있다. 즉, 각 화소(121a)로부터 출력되는 검출 신호를, 피사체로부터의 입사광의 입사각에 따라서 변조된 값(출력 화소값)으로 할 수 있다.

예를 들면, 도 5에 있어서, 포토다이오드(121f-1) 및 포토다이오드(121f-3)의 전하를 FD부(163)에 전송하고, 각각을 판독하여 얻어지는 신호를 가산하도록 함으로써, 화소(121a)의 출력 화소값에 도면 중 좌우 방향의 입사각 지향성을 갖게 할 수 있다. 마찬가지로, 포토다이오드(121f-1) 및 포토다이오드(121f-2)의 전하를 FD부(163)에 전송하고, 각각을 판독하여 얻어지는 신호를 가산하도록 함으로써, 화소(121a)의 출력 화소값에 도면 중 상하 방향의 입사각 지향성을 갖게 할 수 있다.

또한, 도 5의 화소(121a)의 각 포토다이오드(121f)의 각각의 전하에 기초하여 얻어지는 신호는, 화소로부터 판독된 후에 가산하도록 해도 되고, 화소 내(예를 들면, FD부(163))에 있어서 가산하도록 해도 된다.

또한, 전하(또는 그 전하에 대응하는 신호)를 가산하는 포토다이오드(121f)의 조합은 임의이며, 상술한 예에 한정되지 않는다. 예를 들면, 3개 이상의 포토다이오드(121f)의 전하(또는 그 전하에 대응하는 신호)를 가산하도록 해도 된다. 또한, 예를 들면, 가산을 하지 않고, 1개의 포토다이오드(121f)의 전하를 판독하도록 해도 된다.

또한, 전자 셔터 기능을 이용하여 전하의 FD부(163)에의 판독 전에 포토다이오드(161)(포토다이오드(121f))에 축적된 검출값(전하)을 리셋하는 것 등으로, 화소(121a)(의 검출 감도)에 원하는 입사각 지향성을 갖게 하도록 해도 된다.

예를 들면, 전자 셔터 기능을 이용하는 경우, 포토다이오드(121f)의 전하의 FD부(163)에의 판독 직전에 리셋을 하면, 그 포토다이오드(121f)는 화소(121a)의 검출 신호 레벨에의 기여가 없는 상태로 할 수 있고, 리셋과 FD부(163)에의 판독의 사이의 시간을 갖게 하면, 부분적으로 기여시킬 수도 있다.

이상과 같이, 도 5의 화소(121a)는, 1개에 대해 4개의 포토다이오드(121f)가 마련되어 있고, 수광면에 대해 차광막(121b)이 형성되지 않고 있지만, 차광막(121p)에 의해, 복수의 영역으로 분할되어, 4개의 포토다이오드(121f-1 내지 121f-4)가 형성되어 있어, 입사각 지향성을 구비한 검출 화상의 1화소분의 검출 신호를 표현하고 있다. 환언하면, 예를 들면, 포토다이오드(121f-1 내지 121f-4) 중 출력에 기여하지 않는 범위가 차광된 영역과 마찬가지로 기능하고, 입사각 지향성을 구비한, 검출 화상의 1화소분의 검출 신호를 표현하고 있다. 또한, 포토다이오드(121f-1 내지 121f-4)를 이용하여, 1화소분의 검출 신호를 표현하는 경우, 차광막(121b)은 이용되지 않고 있으므로, 검출 신호는, 광학적인 변조에 의해 얻어지는 신호가 아니다.

이상에 있어서는 화소 내에 4개의 포토다이오드를 배치하는 예에 대해 설명했지만, 화소 내에 배치하는 포토다이오드의 수는 임의이며, 상술한 예에 한정되지 않는다. 즉, 화소 내에 있어서의 포토다이오드를 배치하는 부분 영역의 수도 임의이다.

또한, 이상에 있어서는, 화소 내를 4등분한 4개의 부분 영역에 포토다이오드를 배치하도록 설명했지만, 이 부분 영역은 균등 분할된 것이 아니어도 된다. 즉, 각 부분 영역의 크기나 형상이 모두 통일되어 있지 않아도 된다(크기나 형상이 나머지와 다른 부분 영역이 포함되어 있어도 된다). 또는, 각 부분 영역 내에 배치되는 포토다이오드의 위치(부분 영역 내에 있어서의 위치), 크기, 형상 등이, 포토다이오드마다(부분 영역마다) 다르도록 해도 된다. 그 때, 각 부분 영역의 크기나 형상은, 모두 통일되어 있어도 되고, 통일되어 있지 않아도 된다.

나아가, 촬상 소자(121)의 모든 화소에 있어서, 이 파라미터가 통일되어 있지 않아도 된다. 즉, 촬상 소자(121)의 1화소 이상에 있어서, 이들 파라미터 중 1개 이상의 파라미터가, 다른 화소와 달라도 된다.

예를 들면, 화소 내에 있어서의 포토다이오드를 배치하는 부분 영역을 형성하기 위한 분할 위치가 다른 화소와 상이한 화소가, 촬상 소자(121)의 화소군에 포함되도록 해도 된다. 즉, 촬상 소자(121)가, 부분 영역의 크기나 형상이 다른 화소와 상이한 화소를 1화소 이상 가지도록 해도 된다. 예를 들면, 화소마다 이 분할 위치를 다르게 하도록 함으로써, 복수의 화소에서 좌측상부의 포토다이오드만을 이용하도록 했다고 하더라도, 그 복수의 화소 각각에 있어서 검출되는 검출 신호의 입사각 지향성을 서로 다른 것으로 할 수 있다.

또한, 예를 들면, 화소 내에 배치되는 복수의 포토다이오드 위치, 크기, 형상 등이 다른 화소와 상이한 화소가, 촬상 소자(121)의 화소군에 포함되도록 해도 된다. 즉, 촬상 소자(121)가, 배치되는 복수의 포토다이오드의 위치, 크기, 형상 중 적어도 임의의 1개가 다른 화소와 상이한 화소를 1화소 이상 가지도록 해도 된다. 예를 들면, 화소마다 포토다이오드의 위치, 크기, 형상 등을 다르게 하도록 함으로써, 복수의 화소에서 좌측상부의 포토다이오드만을 이용하도록 했다고 하더라도, 그 복수의 화소 각각에 있어서 검출되는 검출 신호의 입사각 지향성을 서로 다른 것으로 할 수 있다.

나아가, 예를 들면, 부분 영역의 파라미터(크기, 형상)와, 포토다이오드의 파라미터(위치, 크기, 형상)의 양쪽 모두가 다른 화소와 상이한 화소를 1화소 이상 가지도록 해도 된다.

또한, 예를 들면, 화소 내에 있어서의 포토다이오드를 배치하는 부분 영역을 형성하기 위한 분할수가 다른 화소와 상이한 화소가, 촬상 소자(121)의 화소군에 포함되도록 해도 된다. 즉, 촬상 소자(121)가, 배치되는 포토다이오드의 수가 다른 화소와 상이한 화소를 1화소 이상 가지도록 해도 된다. 예를 들면, 화소마다 분할수(포토다이오드의 수)를 다르게 하도록 함으로써, 보다 자유롭게 입사각 지향성을 설정할 수 있다.

또한, 도 4의 예와 같은, 차광막을 이용하여 입사각 지향성을 형성하는 화소와, 도 5의 예와 같은, 복수의 수광 소자를 이용하여 입사각 지향성을 형성하는 화소를, 1개의 촬상 소자 내에 혼재시켜도 된다.

<입사각 지향성을 생기게 하는 원리에 대해>

촬상 소자(121)에 있어서의 각 화소의 입사각 지향성은, 예를 들면, 도 6에 나타내는 바와 같은 원리에 의해 발생한다. 또한, 도 6의 좌측상부 및 우측상부는, 도 4의 촬상 소자(121)에 있어서의 입사각 지향성의 발생 원리를 설명하는 도이며, 도 6의 좌측하부 및 우측하부는, 도 5의 촬상 소자(121)에 있어서의 입사각 지향성의 발생 원리를 설명하는 도면이다.

또한, 도 6의 좌측상부 및 우측상부에 있어서의 1화소는, 모두 1개의 포토다이오드(121e)에 의해 구성된다. 이에 대해, 도 6의 좌측하부 및 우측하부에 있어서의 1화소는, 모두 2개의 포토다이오드(121f)에 의해 구성된다. 또한, 여기서는, 1화소가 2개의 포토다이오드(121f)에 의해 구성되는 예에 대해 설명하고 있지만, 이것은 설명의 편의상이며, 1화소를 구성하는 포토다이오드(121f)의 수는, 그 밖의 개수이어도 된다.

도 6의 좌측상부에 있어서는, 도면 중의 상방으로부터 하방을 향해 입사광이 입사할 때, 포토다이오드(121e-11)의 수광면의 우측절반을 차광하도록 차광막(121b-11)이 형성되어 있다. 또한, 도 6의 우측상부에 있어서는, 포토다이오드(121e-12)의 수광면의 좌측절반을 차광하도록 차광막(121b-12)이 형성되어 있다. 또한, 도면 중의 일점쇄선은, 포토다이오드(121e)의 수광면의 도면 중의 수평 방향의 중심 위치로서, 수광면에 대해 수직 방향인 것을 나타내고 있다.

예를 들면, 도 6의 좌측상부와 같은 구성의 경우, 도면 중의 일점쇄선에 대해 입사각 θ1을 이루는 화살표로 나타내는, 도면 중의 우측상방향으로부터의 입사광은, 포토다이오드(121e-11)의 차광막(121b-11)에 의해 차광되지 않는 좌측절반의 범위에서는 수광하기 쉽지만, 도면 중의 일점쇄선에 대해 입사각 θ2를 이루는 화살표로 나타내는, 도면 중의 좌측상방향으로부터의 입사광은, 포토다이오드(121e-11)의 차광막(121b-11)에 의해 차광되지 않는 좌측절반의 범위에서는 수광하기 어렵다. 따라서, 도 6의 좌측상부와 같은 구성의 경우, 도면 중의 우측상방으로부터의 입사광에 대해 수광 감도 특성이 높고, 좌측상방으로부터의 입사광에 대해 수광 감도 특성이 낮다고 하는 입사각 지향성을 구비하게 된다.

이에 대해, 예를 들면, 도 6의 우측상부와 같은 구성의 경우, 도면 중의 일점쇄선에 대해 입사각 θ11을 이루는 화살표로 나타내는, 도면 중의 우측상방향으로부터의 입사광은, 포토다이오드(121e-12)의 차광막(121b-12)에 의해 차광되고 있는 좌측절반의 범위에서는 수광하기 어렵지만, 도면 중의 일점쇄선에 대해 입사각 θ12를 이루는 화살표로 나타내는, 도면 중의 좌측상방향으로부터의 입사광은, 포토다이오드(121e-12)의 차광막(121b-12)에 의해 차광되지 않는 우측절반의 범위에서 수광하기 쉽다. 따라서, 도 6의 우측상부와 같은 구성의 경우, 도면 중의 우측상방으로부터의 입사광에 대해 수광 감도 특성이 낮고, 좌측상방으로부터의 입사광에 대해 수광 감도 특성이 높다고 하는 입사각 지향성을 구비하게 된다.

또한, 도 6의 좌측하부의 경우, 도면 중의 좌우에 포토다이오드(121f-1, 121f-2)가 마련되어 있고, 어느 일방의 검출 신호를 판독하도록 함으로써, 차광막(121b)을 마련하는 일 없이 입사각 지향성을 갖는 구성으로 되어 있다.

즉, 도 6의 좌측하부에 나타내는 바와 같이, 화소(121a)에 2개의 포토다이오드(121f-1, 121f-2)가 형성되어 있는 경우, 도면 중의 좌측에 마련된 포토다이오드(121f-1)의 검출 신호가 이 화소(121a)의 검출 신호 레벨에 기여하도록 함으로써, 도 6의 좌측상부에 있어서의 구성과 같은 입사각 지향성을 구비하도록 할 수 있다. 즉, 도면 중의 일점쇄선에 대해 입사각 θ21을 이루는 화살표로 나타내는, 도면 중의 우측상방향으로부터의 입사광은, 포토다이오드(121f-1)에 입사하여 수광되고, 그 검출 신호가 판독되어, 이 화소(121a)의 검출 신호 레벨에 기여한다. 이에 대해, 도면 중의 일점쇄선에 대해 입사각 θ22를 이루는 화살표로 나타내는, 도면 중의 좌측상방향으로부터의 입사광은, 포토다이오드(121f-2)에 입사하지만, 그 검출 신호는 판독되지 않고, 이 화소(121a)의 검출 신호 레벨에 기여하지 않는다.

마찬가지로, 도 6의 우측하부에 나타내는 바와 같이, 화소(121a)에 2개의 포토다이오드(121f-11, 121f-12)가 형성되어 있는 경우, 도면 중의 좌측에 마련된 포토다이오드(121f-12)의 검출 신호가 이 화소(121a)의 검출 신호 레벨에 기여하도록 함으로써, 도 6의 우측상부에 있어서의 구성과 같은 입사각 지향성을 구비하도록 할 수 있다. 즉, 도면 중의 일점쇄선에 대해 입사각 θ31을 이루는 화살표로 나타내는, 도면 중의 우측상방향으로부터의 입사광은, 포토다이오드(121f-11)에 입사하지만, 그 검출 신호는 판독되지 않고, 이 화소(121a)의 검출 신호 레벨에 기여하지 않는다. 이에 대해, 도면 중의 일점쇄선에 대해 입사각 θ32를 이루는 화살표로 나타내는, 도면 중의 좌측상방향으로부터의 입사광은, 포토다이오드(121f-12)에 입사하여 수광되고, 그 검출 신호가 판독되어, 이 화소(121a)의 검출 신호 레벨에 기여한다.

또한, 도 6에 있어서는, 수직 방향의 일점쇄선이, 포토다이오드(121e)의 수광면의 도면 중의 수평 방향의 중심 위치인 예에 대해 설명해 왔지만, 설명의 편의상이며, 그 밖의 위치이어도 된다. 수직 방향의 일점쇄선으로 나타내는 차광막(121b)의 수평 방향의 위치가 상이한 것에 의해, 다른 입사각 지향성을 생기게 할 수 있다.

<온-칩 렌즈를 포함하는 구성에 있어서의 입사각 지향성에 대해>

이상에 있어서는, 입사각 지향성의 발생 원리에 대해 설명해 왔지만, 여기서는, 온-칩 렌즈(121c)를 포함시킨 구성에 있어서의 입사각 지향성에 대해 설명한다.

즉, 촬상 소자(121)에 있어서의 각 화소의 입사각 지향성은, 상술한 차광막(121b)에 의한 것에 더하여, 온-칩 렌즈(121c)를 이용함으로써, 예를 들면, 도 7에 나타내는 바와 같이 설정된다. 즉, 도 7의 중간단 좌측부에 있어서는, 도면 중 상방의 입사 방향으로부터 입사광을 집광하는 온-칩 렌즈(121c-11), 소정의 파장의 광을 투과시키는 컬러 필터(121d-11), 및 광전 변환에 의해 화소 신호를 생성하는 포토다이오드(121e-11)의 순서대로 적층되고, 도 7의 중간단 우측부에 있어서는, 도면 중 상방의 입사 방향으로부터 온-칩 렌즈(121c-12), 컬러 필터(121d-12), 및 포토다이오드(121e-12)의 순서대로 구성되어 있다.

또한, 온-칩 렌즈(121c-11, 121c-12), 컬러 필터(121d-11, 121d-12), 및 포토다이오드(121e-11, 121e-12)의, 각각을 구별할 필요가 없는 경우, 단지, 온-칩 렌즈(121c), 컬러 필터(121d), 및 포토다이오드(121e)라고 칭한다.

촬상 소자(121)에 있어서는, 나아가, 도 7의 중간단 좌측부, 및 중간단 우측부의 각각에 나타내는 바와 같이, 입사광을 수광하는 영역의 일부를 차광하는 차광막(121b-11, 121b-12)이 마련되어 있다.

도 7의 중간단 좌측부에 나타내는 바와 같이, 도면 중의 포토다이오드(121e-11)의 우측절반을 차광하도록 한 차광막(121b-11)이 마련되어 있는 경우, 도 7의 상단의 실선 파형으로 나타내는 바와 같이, 입사광의 입사각도 θ에 따라 포토다이오드(121e-11)의 검출 신호 레벨이 변화된다.

즉, 포토다이오드(121e) 및 온-칩 렌즈(121c)의 중심 위치로서, 각각에 대해 수직이 되는 일점쇄선에 대해, 입사광이 이루는 각인 입사각도 θ가 커지면(입사각도 θ가 양의 방향으로 커지면(도면 중의 우측방향으로 기울면)), 차광막(121b-11)이 마련되지 않고 있는 범위에 광이 집광됨으로써, 포토다이오드(121e-11)의 검출 신호 레벨이 커진다. 역으로, 입사각도 θ가 작을수록(입사각도 θ가 음의 방향으로 클수록(도면 중의 좌측방향으로 기울면)), 차광막(121b-11)이 마련되어 있는 범위에 광이 집광됨으로써, 포토다이오드(121e-11)의 검출 신호 레벨이 작아진다.

또한, 여기서 말하는 입사각도 θ는, 입사광의 방향이 일점쇄선과 일치하는 경우를 0도라고 하고, 도면 중의 우측상방으로부터의 입사광이 입사하는, 도 7의 중간단 좌측의 입사각도 θ21측의 입사각도 θ를 양의 값이라고 하고, 도 7의 중간단 우측의 입사각도 θ22측의 입사각도 θ를 양의 값이라고 한다. 따라서, 도 7에 있어서는, 온-칩 렌즈(121c)에 대하여, 우측상방으로부터 입사하는 입사광에 대해서는, 좌측상방으로부터 입사하는 입사광보다 입사각도가 커진다. 즉, 입사각도 θ는, 도 7에 있어서, 입사광의 진행 방향이 우측으로 기울어질수록 커지고(양의 방향으로 커지고), 좌측으로 기울어질수록 작아지는(음의 방향으로 커지는) 것으로 한다.

또한, 도 7의 중간단 우측부에 나타내는 바와 같이, 도면 중의 포토다이오드(121e-12)의 좌측절반을 차광하도록 한 차광막(121b-12)이 마련되어 있는 경우, 도 7의 상단의 점선 파형으로 나타내는 바와 같이, 입사광의 입사각도 θ에 따라 포토다이오드(121e-12)의 검출 신호 레벨이 변화된다.

즉, 도 7의 상단에 있어서의 점선의 파형으로 나타내는 바와 같이, 포토다이오드(121e) 및 온-칩 렌즈(121c)의 중심 위치로서, 각각에 대해 수직이 되는 일점쇄선에 대해, 입사광이 이루는 각인 입사각도 θ가 클수록(입사각도 θ가 양의 방향으로 클수록), 차광막(121b-12)이 마련되어 있는 범위에 광이 집광됨으로써, 포토다이오드(121e-12)의 검출 신호 레벨이 작아진다. 역으로, 입사각도 θ가 작을수록(입사각도 θ가 음의 방향으로 클수록), 차광막(121b-12)이 마련되지 않고 있는 범위에 광이 입사함으로써, 포토다이오드(121e-12)의 검출 신호 레벨이 커진다.

또한, 도 7의 상단에 있어서는, 횡축이 입사각도 θ이며, 종축이 포토다이오드(121e)에 있어서의 검출 신호 레벨을 나타내고 있다.

이 도 7의 상단에 나타내는 입사각도 θ에 따른 검출 신호 레벨을 나타내는 실선 및 점선으로 나타내는 파형은, 차광막(121b)의 범위에 따라 변화시킬 수 있으므로, 이에 의해 화소 단위로 서로 다른 입사각 지향성을 갖게 하는(설정하는) 것이 가능해진다. 또한, 도 7의 상단에 있어서의 실선 파형은, 도 7의 중간단 좌측부, 및 하단 좌측부에 있어서의 입사광이, 입사각도 θ를 변화시켜 집광되는 모습을 나타내는 실선의 화살표에 대응하고 있다. 또한, 도 7의 상단에 있어서의 점선 파형은, 도 7의 중간단 우측부, 및 하단 우측부에 있어서의 입사광이, 입사각도 θ를 변화시켜 집광되는 모습을 나타내는 점선의 화살표에 대응하고 있다.

여기서 말하는 입사각 지향성이란, 입사각도 θ에 따른 각 화소의 검출 신호 레벨의 특성(수광 감도 특성)이지만, 도 7의 중간단의 예의 경우, 이것은 입사각도 θ에 따른 차광값의 특성이라고도 말할 수 있다. 즉, 차광막(121b)은, 특정 방향의 입사광은 높은 레벨로 차광하지만, 특정 방향 이외의 방향으로부터의 입사광은 충분히 차광할 수 없다. 이 차광할 수 있는 레벨의 변화가, 도 7의 상단에 나타내는 바와 같은 입사각도 θ에 따른 다른 검출 신호 레벨을 생기게 한다. 따라서, 각 화소에 있어서 가장 높은 레벨로 차광 가능한 방향을 각 화소의 차광 방향으로 정의하면, 화소 단위로 서로 다른 입사각 지향성을 가진다고 하는 것은, 환언하면, 화소 단위로 서로 다른 차광 방향을 가진다는 것으로 된다.

나아가, 도 7의 하단 좌측부에 나타내는 바와 같이, 1개의 온-칩 렌즈(121c-11)에 대해 2개의 포토다이오드(121f-1, 121f-2)가 마련되는 구성으로 하는(화소 출력 단위가 2개의 포토다이오드(121f-1, 121f-2)로 구성되는) 것에 의해, 도면 중 좌측부의 포토다이오드(121f-1)만의 검출 신호를 이용하도록 함으로써, 도 7의 중간단 좌측부에 있어서의 포토다이오드(121e-11)의 우측을 차광한 상태와 같은 검출 신호 레벨을 구하도록 할 수 있다.

즉, 온-칩 렌즈(121c)의 중심 위치로서, 각각에 대해 수직이 되는 일점쇄선에 대해, 입사광이 이루는 각인 입사각도 θ가 커지면(입사각도 θ가 양의 방향으로 커지면), 검출 신호가 판독되는 포토다이오드(121f-1)의 범위에 광이 집광됨으로써, 검출 신호 레벨이 커진다. 역으로, 입사각도 θ가 작을수록(입사각도 θ가 음의 방향으로 클수록), 검출값이 판독되지 않는 포토다이오드(121f-2)의 범위에 광이 집광됨으로써, 검출 신호 레벨이 작아진다.

또한, 마찬가지로, 도 7의 하단 우측부에 나타내는 바와 같이, 1개의 온-칩 렌즈(121c-12)에 대해 2개의 포토다이오드(121f-11, 121f-12)가 마련되는 구성으로 함으로써, 도면 중 우측부의 포토다이오드(121f-12)만의 검출 신호를 이용하도록 함으로써, 도 7의 중간단 우측부에 있어서의 포토다이오드(121e-12)의 좌측을 차광한 상태와 동일한 검출 신호 레벨의 출력 화소 단위의 검출 신호를 얻도록 할 수 있다.

즉, 온-칩 렌즈(121c)의 중심 위치로서, 각각에 대해 수직이 되는 일점쇄선에 대해, 입사광이 이루는 각인 입사각도 θ가 커지면(입사각도 θ가 양의 방향으로 커지면), 검출 신호가 출력 화소 단위의 검출 신호에 기여하지 않는 포토다이오드(121f-11)의 범위에 광이 집광됨으로써, 출력 화소 단위의 검출 신호의 검출 신호 레벨이 작아진다. 역으로, 입사각도 θ가 작을수록(입사각도 θ가 음의 방향으로 클수록), 검출 신호가 출력 화소 단위의 검출 신호에 기여하는 포토다이오드(121f-12)의 범위에 광이 집광됨으로써, 출력 화소 단위의 검출 신호의 검출 신호 레벨이 커진다.

또한, 입사각 지향성에 대해서는, 랜덤성이 높은 쪽이 바람직하다. 예를 들면, 이웃하는 화소 간에 동일한 입사각 지향성을 가지면, 상술한 식(1) 내지 식(3) 또는, 후술하는 식(4) 내지 식(6)이 서로 동일한 식이 될 우려가 있고, 연립 방정식의 해(解)가 되는 미지수와 식의 수의 관계가 만족되지 않을 수 있고, 복원 화상을 구성하는 화소값을 구하지 못하게 될 우려가 있기 때문이다. 또한, 도 7의 중간단에 나타내는 구성에 있어서는, 화소(121a)에, 1개의 포토다이오드(121e-11) 및 포토다이오드(121e-12)가 형성되어 있다. 이에 대해, 도 7의 하단에 나타내는 구성에 있어서는, 화소(121a)에, 2개의 포토다이오드(121f-1, 121f-2) 및 포토다이오드(121f-11, 121f-12)가 형성되어 있다. 따라서, 예를 들면, 도 7의 하단에 있어서는, 포토다이오드(121f) 단독으로는, 1화소는 구성되지 않는다.

또한, 도 7의 하단에 나타내는 바와 같이, 복수의 포토다이오드(121f)로부터 1화소 출력 단위가 구성되는 경우, 입사각도에 따라서, 화소 출력 단위의 출력 화소값이 변조되고 있다고 간주할 수 있다. 따라서, 출력 화소값의 특성(입사각 지향성)을 화소 출력 단위로 다르게 하는 것이 가능해지고, 1화소 출력 단위에서의 입사각 지향성이 설정된다. 나아가, 복수의 포토다이오드(121f)로부터 1화소 출력 단위가 구성되는 경우, 1화소 출력 단위에서의 입사각 지향성을 생기게 한 후에, 1화소 출력 단위에 대하여 1개의 온-칩 렌즈(121c)가 필수구성이 된다.

또한, 도 7의 상단에 나타내는 바와 같이, 1개의 포토다이오드(121e-11) 또는 포토다이오드(121e-12)의 각각이 1화소 출력 단위를 구성하는 경우, 입사각도에 따라서, 1화소 출력 단위를 구성하는 1개의 포토다이오드(121e-11) 또는 포토다이오드(121e-12)에의 입사광이 변조됨으로써, 결과로서 출력 화소값이 변조된다. 따라서, 출력 화소값의 특성(입사각 지향성)이 다르게 하는 것이 가능해지고, 1화소 출력 단위에서의 입사각 지향성이 설정된다. 나아가, 1개의 포토다이오드(121e-11) 또는 포토다이오드(121e-12)의 각각이 1화소 출력 단위를 구성하는 경우, 입사각 지향성은, 1화소 출력 단위마다 마련되는 차광막(121b)에 의해 독립적으로 제조 시에 설정된다.

또한, 도 7의 하단에 나타내는 바와 같이, 복수의 포토다이오드(121f)로부터 1화소 출력 단위가 구성되는 경우, 1화소 출력 단위마다의 입사각 지향성을 설정하기 위한 복수 포토다이오드(121f)의 수(1화소 출력 단위를 구성하는 포토다이오드(121f)의 분할수)나 위치는, 1화소 출력 단위로 독립적으로 제조 시에 설정되고, 나아가, 이 중, 어느 포토다이오드(121f)를 이용하여 입사각 지향성을 설정할지에 대해서는, 촬상시에 전환하도록 할 수 있다.

<입사각 지향성의 설정>

예를 들면, 도 8의 상단에 나타내는 바와 같이, 차광막(121b)의 설정 범위가, 화소(121a)에 있어서의 수평 방향에 대해, 좌측단부에서부터 위치(A)까지의 범위로 하고, 수직 방향에 대해, 상단부에서부터 위치(B)까지의 범위로 한다.

이 경우, 각 화소의 수평 방향의 중심 위치로부터의 입사각도 θx(deg)에 따른, 입사각 지향성의 지표가 되는 수평 방향의 0 내지 1의 가중치 Wx를 설정한다. 보다 상세하게는, 위치(A)에 대응하는 입사각도 θx = θa에 있어서, 가중치 Wx가 0.5가 된다고 가정한 경우, 입사각도 θx < θa-α에 있어서 가중치 Wx가 1이 되고, θa-α≤ 입사각도 θx ≤ θa+α에 있어서, 가중치 Wx가 (-(θx-θa)/2α+1/2)이 되고, 입사각도 θx > θa+α에 있어서 가중치 Wx가 0이 되도록 가중치 Wh를 설정한다. 또한, 여기서는, 가중치 Wh가 0, 0.5, 1인 예에 대해 설명하지만, 가중치 Wh가 0, 0.5, 1이 되는 것은, 이상적인 조건이 만족될 때가 된다.

마찬가지로, 각 화소의 수직 방향의 중심 위치로부터의 입사각도 θy(deg)에 따른, 입사각 지향성의 지표가 되는 수직 방향의 0 내지 1의 가중치 Wy를 설정한다. 보다 상세하게는, 위치(B)에 대응하는 입사각도 θy = θb에 있어서, 가중치 Wv가 0.5가 된다고 가정한 경우, 입사각도 θy < θb-α에 있어서 가중치 Wy가 0이 되고, θb-α≤ 입사각도 θy ≤ θb+α에 있어서, 가중치 Wy가 ((θy-θb)/2α+1/2)이 되고, 입사각도 θy > θb+α에 있어서 가중치 Wy가 1이 되도록 가중치 Wy를 설정한다.

그리고, 이와 같이 하여 구해진 가중치 Wx, Wy를 이용함으로써, 각각의 화소(121a)의 입사각 지향성, 즉, 수광 감도 특성에 대응하는 계수(계수 세트)를 구할 수 있다.

또한, 이 때, 수평 방향의 가중치 Wx 및 수직 방향의 가중치 Wy가 0.5 전후가 되는 범위에 있어서의 가중치의 변화를 나타내는 기울기(1/2α)는, 초점거리가 다른 온-칩 렌즈(121c)를 이용함으로써 설정할 수 있다.

즉, 곡률이 다른 온-칩 렌즈(121c)를 이용함으로써 다른 초점거리로 할 수 있다.

예를 들면, 곡률이 다른 온-칩 렌즈(121c)를 이용함으로써, 도 8의 하단에 있어서의 실선으로 나타내는 바와 같이, 초점거리가, 차광막(121b) 상으로 되도록 집광될 때, 기울기(1/2α)는 가파르게 된다. 즉, 도 8의 상단에 있어서의, 수평 방향의 가중치 Wx 및 수직 방향의 가중치 Wy는, 0.5 부근이 되는 수평 방향의 입사각도 θx = θa 및 수직 방향의 입사각도 θy = θb의 경계 부근에 있어서, 급격하게 0 또는 1로 변화된다.

또한, 예를 들면, 곡률의 다른 온-칩 렌즈(121c)를 이용함으로써, 도 8의 하단에 있어서의 점선에 나타내는 바와 같이, 초점거리가, 포토다이오드(121e) 상에 집광될 때, 기울기(1/2α)는 완만하게 된다. 즉, 도 8의 상부에 있어서의, 수평 방향의 가중치 Wx 및 수직 방향의 가중치 Wy가 0.5 부근이 되는 수평 방향의 입사각도 θx = θa 및 수직 방향의 입사각도 θy = θb의 경계 부근에 있어서, 완만하게 0 또는 1로 변화된다.

이상과 같이, 곡률이 다른 온-칩 렌즈(121c)를 이용하여, 다른 초점거리로 함으로써 다른 입사각 지향성, 즉, 다른 수광 감도 특성을 얻을 수 있다.

따라서, 화소(121a)의 입사각 지향성은, 차광막(121b)에 의해 포토다이오드(121e)가 차광되는 범위와, 온-칩 렌즈(121c)의 곡률이 다르도록 함으로써 다른 값으로 설정할 수 있다. 또한, 온-칩 렌즈의 곡률은, 촬상 소자(121)에 있어서의 모든 화소에서 동일해도 되고, 일부 화소에 있어서 다른 곡률이어도 된다.

<온-칩 렌즈와 촬상 렌즈 간의 차이>

상술한 바와 같이, 촬상 소자(121)는 촬상 렌즈를 필요로 하지 않는다. 다만, 온-칩 렌즈(121c)는, 적어도, 도 5를 참조하여 설명한 바와 같은 화소 내의 복수의 포토다이오드를 이용하여 입사각 지향성을 실현하는 경우에는 필요하다. 온-칩 렌즈(121c)와 촬상 렌즈란, 물리적 작용이 다른 것이다.

촬상 렌즈는, 같은 방향으로부터 입사한 입사광을, 서로 인접하는 복수의 화소에 입사시키기 위한 집광 기능을 갖는다. 이에 대해, 온-칩 렌즈(121c)를 통과하는 광은, 대응하는 1화소를 구성하는 포토다이오드(121e 또는 121f)의 수광면에만 입사된다. 환언하면, 온-칩 렌즈(121c)는, 화소 출력 단위마다 마련되고, 자신에게 입사하는 피사체광을 대응하는 화소 출력 단위에만 집광한다. 즉, 온-칩 렌즈(121c)는, 가상 점광원으로부터 출사한 확산 광을, 서로 인접하는 복수의 화소에 입사시키기 위한 집광 기능을 가지지 않는다.

<피사체면과 촬상 소자 간의 거리의 관계>

다음으로, 도 9를 참조하여, 피사체면과 촬상 소자(121) 간의 거리의 관계에 대해 설명한다.

도 9의 상단 좌측부에 나타내는 바와 같이, 촬상 소자(121)와 피사체면(131)까지의 피사체 거리가 거리 d1인 경우, 예를 들면, 피사체면(131) 상의 점광원(PA, PB, PC)을 설정할 때, 대응하는 촬상 소자(121) 상의 위치(Pa, Pb, Pc)에 있어서의 검출 신호 레벨(DA, DB, DC)이, 상술한 식(1) 내지 식(3)과 동일한 식으로 표현할 수 있는 것으로 한다.

DA = α1×a + β1×b + γ1×c

　···(1)

DB = α2×a + β2×b + γ2×c

　···(2)

DC = α3×a + β3×b + γ3×c

　···(3)

이에 대해, 도 9의 하단 좌측부에 나타내는 바와 같이, 촬상 소자(121)와의 피사체 거리가 거리 d1보다 d만큼 큰 거리 d2인 피사체면(131')인 경우, 즉, 촬상 소자(121)로부터 볼 때, 피사체면(131)보다 안쪽의 피사체면(131')의 경우, 검출 신호 레벨은, 도 9의 상단 중앙부 및 하단 중앙부에 나타내는 바와 같이, 검출 신호 레벨(DA, DB, DC) 모두 마찬가지이다.

그러나, 이 경우, 피사체면(131') 상의 점광원(PA', PB', PC')으로부터의 광 강도가 a', b', c'인 광선이 촬상 소자(121)의 각 화소에 있어서 수광된다. 이 때, 촬상 소자(121) 상에서 수광되는, 광 강도가 a', b', c'인 광선의 입사각도는 다르므로(변화되므로), 각각 다른 계수 세트가 필요해지고, 각 위치(Pa, Pb, Pc)에 있어서의 검출 신호 레벨(DA, DB, DC)은, 예를 들면, 이하의 식(4) 내지 식(6)으로 나타내는 바와 같이 표현되게 된다.

[수 2]

여기서, 계수 세트 α11, β11, γ11, 계수 세트 α12, β12, γ12, 계수 세트 α13, β13, γ13으로 이루어지는 계수 세트군은, 각각 피사체면(131)에 있어서의 계수 세트 α1, β1, γ1, 계수 세트 α2, β2, γ2, 계수 세트 α3, β3, γ3에 대응하는 피사체면(131')의 계수 세트군이다.

따라서, 식(4) 내지 식(6)을, 미리 설정된 계수 세트군 α11, β11, γ11, α12, β12, γ12, α13, β13, γ13을 이용하여 푸는 것으로, 도 9의 상단 우측부에 나타내는 피사체면(131)에 있어서의 경우의 점광원(PA, PB, PC)에 있어서의 광선의 광 강도(a, b, c)를 구한 수법과 마찬가지의 수법으로, 도 9의 하단 우측부에 나타내는 바와 같이, 점광원(PA', PB', PC')으로부터의 광선의 광 강도(a', b', c')로서 구하는 것이 가능해지고, 결과로서, 피사체면(131')의 피사체의 복원 화상을 구하는 것이 가능해진다.

즉, 도 1의 촬상 장치(100)에 있어서는, 촬상 소자(121)로부터의 피사체면까지의 거리마다의 계수 세트군을 미리 기억해 두고, 계수 세트군을 전환하여 연립 방정식을 구성하고, 구성한 연립 방정식을 푸는 것으로, 1개의 검출 화상에 기초하여, 다양한 피사체 거리의 피사체면의 복원 화상을 얻는 것이 가능해진다.

즉, 검출 화상을 1회 촬상하는 것만으로, 그 후의 처리에서, 피사체면까지의 거리에 따라 계수 세트군을 전환하고, 복원 화상을 구하도록 함으로써, 임의의 거리의 복원 화상을 생성하는 것도 가능하다.

또한, 화상 인식이나 가시 화상이나 가시 화상 이외의 피사체의 특성을 얻고 싶은 경우에는, 복원 화상을 얻고 나서 복원 화상을 기초로 화상 인식 등을 행하지 않더라도, 촬상 소자의 검출 신호에 대해, 딥 러닝(deep learning) 등의 기계학습을 적용하고, 검출 신호 자체를 이용하여 화상 인식 등을 행하는 것도 가능하다.

또한, 피사체 거리나 화각을 특정할 수 있도록 한 경우에 대해서는, 모든 화소를 이용하지 않고, 특정된 피사체 거리나 화각에 대응한 피사체면의 촬상에 적합한 입사각 지향성을 갖는 화소의 검출 신호로 이루어지는 검출 화상을 이용하여, 복원 화상을 생성하도록 해도 된다. 이와 같이 함으로써, 특정된 피사체 거리나 화각에 대응한 피사체면의 촬상에 적합한 화소의 검출 신호를 이용하여 복원 화상을 구할 수 있다.

예를 들면, 도 10의 상단에 나타내는 바와 같이, 4변의 각각의 단부로부터 폭 d1만큼 차광막(121b)에 의해 차광되고 있는 화소(121a)와, 도 10의 하단에 나타내는 바와 같이, 4변의 각각의 단부로부터 폭 d2(>d1)만큼 차광막(121b)에 의해 차광되고 있는 화소(121a')를 생각한다.

화소(121a)는, 예를 들면, 도 11의 상단에 나타내는 바와 같은, 피사체가 되는 인물(H101) 전체를 포함하는 화각 SQ1에 대응하는, 도 10의 화상(I1)을 복원하기 위해 이용된다. 이에 대해, 화소(121a')는, 예를 들면, 도 11의 상단에 나타내는 바와 같은, 피사체가 되는 인물(H101)의 얼굴 주변이 줌 업(zoom up)된 화각 SQ2에 대응하는, 도 10의 화상(I2)을 복원하기 위해 이용된다.

이것은, 도 10의 화소(121a)가, 도 12의 좌측부에 나타내는 바와 같이, 촬상 소자(121)에 대해 입사광의 입사 가능 각도 범위(A)로 되므로, 피사체면(131) 상에 있어서, 수평 방향으로 피사체폭 W1분의 입사광을 수광할 수 있기 때문이다.

이에 대해, 도 10의 화소(121a')는, 도 10의 화소(121a)보다 차광되는 범위가 넓기 때문에, 도 12의 좌측부에 나타내는 바와 같이, 촬상 소자(121)에 대해 입사광의 입사 가능 각도 범위(B)(<A)가 되므로, 피사체면(131) 상에 있어서, 수평 방향으로 피사체폭 W2(<W1)분의 입사광을 수광하기 때문이다.

즉, 차광 범위가 좁은 도 10의 화소(121a)는, 피사체면(131) 상의 넓은 범위를 촬상하는 데 적합한 광화각 화소인 것에 대해서, 차광 범위가 넓은 도 10의 화소(121a')는, 피사체면(131) 상의 좁은 범위를 촬상하는 데 적합한 협화각 화소이다. 또한, 여기서 말하는 광화각 화소 및 협화각 화소는, 도 10의 화소(121a, 121a')의 양자를 비교하는 표현으로서, 그 밖의 화각의 화소를 비교한 바에는 이에 한정되지 않는다.

또한, 도 12는, 촬상 소자(121)의 중심 위치(C1)에 대한, 피사체면(131) 상의 위치와, 각각의 위치로부터의 입사광의 입사각도의 관계를 나타내고 있다. 또한, 도 12에 있어서는, 피사체면(131) 상의 위치와, 피사체면(131) 상의 각각의 위치로부터의 입사광의 입사각도의 수평 방향에 대한 관계가 나타나 있지만, 수직 방향에 대해서도 마찬가지의 관계로 된다. 나아가, 도 12의 우측부에는, 도 10에 있어서의 화소(121a, 121a')가 나타나 있다.

이러한 구성에 의해, 도 11의 하단에 나타내는 바와 같이, 촬상 소자(121)에 있어서의, 점선으로 둘러싸인 범위(ZA)에 도 10의 화소(121a)를, 일점쇄선으로 둘러싸인 범위(ZB)에 도 10의 화소(121a')를, 각각 소정 화소수씩 모아서 구성하는 경우, 피사체폭 W1에 대응하는 화각 SQ1의 화상을 복원하려고 할 때에는, 화각 SQ1을 촬상하는 도 10의 화소(121a)를 이용하도록 함으로써, 적절히 피사체면(131)의 피사체폭 W1의 화상을 복원할 수 있다.

마찬가지로, 피사체폭 W2에 대응하는 화각 SQ2의 화상을 복원하려고 할 때에는, 화각 SQ2를 촬상하는 도 10의 화소(121a')의 검출 신호 레벨을 이용하도록 함으로써, 적절히 피사체폭 W2의 화상을 복원할 수 있다.

또한, 도 11의 하단에 있어서는, 도면 중의 좌측에 화소(121a')가 소정 화소수만 마련되고, 우측에 화소(121a)가 소정 화소수만 마련된 구성으로서 나타나 있지만, 이것은 설명을 간단하게 하기 위한 예로서 나타낸 것이며, 화소(121a)와 화소(121a')는, 랜덤하게 혼재해서 배치되는 것이 바람직하다.

이와 같이, 화각 SQ2는, 화각 SQ1보다 화각이 좁으므로, 화각 SQ2와 화각 SQ1의 화상을 동일한 소정 화소수를 이용하여 복원하는 경우, 화각 SQ1의 화상보다, 더 좁은 화각이 되는 화각 SQ2의 화상을 복원하는 편이, 보다 고화질인 복원 화상을 얻을 수 있다.

즉, 동일 화소수를 이용하여 복원 화상을 얻는 것을 생각한 경우, 보다 화각이 좁은 화상을 복원하는 편이, 보다 고화질인 복원 화상을 얻을 수 있다.

또한, 화각이 넓은 화상을 복원 화상으로서 얻는 경우, 광화각 화소의 모든 화소를 이용하도록 해도 되고, 광화각 화소의 일부를 이용하도록 해도 된다. 또한, 화각이 좁은 화상을 복원 화상으로서 얻는 경우, 협화각 화소의 모든 화소를 이용하도록 해도 되고, 협화각 화소의 일부를 이용하도록 해도 된다.

이상과 같은 촬상 소자(121)를 이용함으로써, 결과로서, 촬상 렌즈, 회절 격자 등으로 이루어지는 광학 소자나, 핀홀 등이 불필요해지기 때문에(촬상 렌즈 프리로 되므로), 장치의 설계 자유도를 높이는 것이 가능해짐과 함께, 입사광의 입사 방향에 대한 장치의 소형화를 실현하는 것이 가능해지고, 제조 비용을 저감하는 것이 가능해진다. 또한, 포커스 렌즈 등과 같은, 광학 상(optical image)을 결상시키기 위한 촬상 렌즈에 상당하는 렌즈도 불필요하게 된다.

나아가, 촬상 소자(121)를 이용함으로써, 검출 화상을 취득하는 것만으로, 그 후에 있어서, 피사체 거리나 화각에 따른 계수 세트군을 선택적으로 이용하여 구성한 연립 방정식을 풀어서 복원 화상을 구함으로써, 다양한 피사체 거리나 화각의 복원 화상을 생성하는 것이 가능해진다.

나아가, 촬상 소자(121)는, 화소 단위로 입사각 지향성을 가질 수 있으므로, 회절 격자로 이루어지는 광학 필터와 종래의 촬상 소자 등과 비교하여, 다화소화를 실현할 수 있고, 또한, 고해상도이며 또한 높은 각도 분해능의 복원 화상을 얻을 수 있다. 한편, 광학 필터와 종래의 촬상 소자로 이루어지는 촬상 장치에서는, 화소를 미세화하더라도, 광학 필터의 미세화에 의한 광 회절의 영향을 받기 때문에, 복원 화상의 고해상도화 등의 실현이 어렵다.

또한, 촬상 소자(121)는, 회절 격자로 이루어지는 광학 필터 등을 필요로 하지 않으므로, 사용 환경이 고온으로 되어 광학 필터가 열에 의해 뒤틀리는 일이 없다. 따라서, 이러한 촬상 소자(121)를 이용함으로써, 환경내성이 높은 장치를 실현하는 것이 가능해진다.

<제1 변형예>

도 3의 우측부에 있어서는, 촬상 소자(121)의 각 화소(121a)에 있어서의 차광막(121b)의 구성으로서, 수직 방향에 대해서는 전체를 차광하고, 또한, 수평 방향에 대한 차광 폭이나 위치를 변화시킴으로써, 수평 방향의 입사각 지향성의 차이를 갖게 하는 예를 나타냈지만, 차광막(121b)의 구성은 이 예에 한정되지 않는다. 예를 들면, 수평 방향에 대해 전체로서 차광하고, 수직 방향의 폭(높이)이나 위치를 변화시키도록 하여, 수직 방향의 입사각 지향성의 차이를 갖게 하도록 해도 된다.

또한, 도 3의 우측부에 나타내는 예와 같이, 수직 방향에 대해서는 화소(121a) 전체를 차광하고, 또한, 수평 방향에 대해 소정의 폭으로 화소(121a)를 차광하는 차광막(121b)은, 가로 밴드(horizontal band) 타입의 차광막(121b)이라고 칭한다. 이에 대해, 수평 방향에 대해서는 화소(121a) 전체를 차광하고, 또한, 수직 방향에 대해 소정의 높이로 화소(121a)를 차광하는 차광막(121b)은, 세로 밴드(vertical band) 타입의 차광막(121b)이라고 칭한다.

또한, 도 13의 좌측부에 나타내는 예와 같이, 세로 밴드 타입과 가로 밴드 타입의 차광막(121b)을 조합시켜, 화소(121a)를 L자형의 차광막(121b)을 마련하도록 해도 된다. 도 13의 좌측부에 있어서, 흑색으로 나타내는 부분이 차광막(121b)이다. 즉, 차광막(121b-21) 내지 차광막(121b-24)은, 각각, 화소(121a-21) 내지 화소(121a-24)의 차광막이다.

이들 각 화소(화소(121a-21) 내지 화소(121a-24))는, 도 13의 우측부에 나타내는 바와 같은 입사각 지향성을 가지도록 된다. 도 13의 우측부에 나타내는 그래프는, 각 화소에 있어서의 수광 감도를 나타내고 있다. 횡축이 입사광의 수평 방향(x방향)의 입사각도 θx를 나타내고, 종축이 입사광의 수직 방향(y방향)의 입사각도 θy를 나타내고 있다. 그리고, 범위(C4) 내의 수광 감도가 범위(C4)의 밖보다 높고, 범위(C3) 내의 수광 감도가 범위(C3)의 밖보다 높고, 범위(C2) 내의 수광 감도가 범위(C2)의 밖보다 높고, 범위(C1) 내의 수광 감도가 범위(C1)의 밖보다 높다.

따라서, 각 화소에 대해서, 범위(C1) 내가 되는, 수평 방향(x방향)의 입사각도 θx와, 수직 방향(y방향)의 입사각도 θy의 조건을 만족하는 입사광의 검출 신호 레벨이 가장 높게 되고, 범위(C2) 내, 범위(C3) 내, 범위(C4) 내, 및 범위(C4) 이외의 범위의 조건의 순서대로 검출 신호 레벨이 낮게 되는 것이 나타나 있다. 이러한 수광 감도의 강도는, 차광막(121b)에 의해 차광되는 범위에 의해 결정된다.

또한, 도 13의 좌측부에 있어서, 각 화소(121a) 내의 알파벳은, 컬러 필터의 색을 나타내고 있다(설명의 편의상 기재한 것이며, 실제로 표기되어 있는 것이 아니다). 화소(121a-21)는 녹색의 컬러 필터가 배치되는 G 화소이며, 화소(121a-22)는 적색의 컬러 필터가 배치되는 R 화소이며, 화소(121a-23)는 청색의 컬러 필터가 배치되는 B 화소이며, 화소(121a-24)는 녹색의 컬러 필터가 배치되는 G 화소이다. 즉, 이 화소는, 베이어 배열(Bayer array)을 형성하고 있다. 물론, 이것은 일례이며, 컬러 필터의 배열 패턴은 임의이다. 차광막(121b)의 배치와 컬러 필터는 무관계이다. 예를 들면, 일부 또는 전부의 화소에 있어서, 컬러 필터 이외의 필터가 마련되도록 해도 되고, 필터가 마련되지 않도록 해도 된다.

도 13의 좌측부에 있어서는, 「L자형」의 차광막(121b)이, 화소(121a)의 도면 중 좌변과 하변 측을 차광하는 예가 나타나 있지만, 이 「L자형」의 차광막(121b)의 방위는 임의이며, 도 13의 예에 한정되지 않는다. 예를 들면, 「L자형」의 차광막(121b)이, 화소(121a)의 도면 중 하변과 우변 측을 차광하도록 해도 되고, 화소(121a)의 도면 중 우변과 상변 측을 차광하도록 해도 되고, 화소(121a)의 도면 중 상변과 좌변 측을 차광하도록 해도 된다. 물론, 이 차광막(121b)의 방위는, 화소마다 독립적으로 설정할 수 있다. 또한, 이 「L자형」의 차광막(121b)을 「L자 타입의 차광막(121b)」 모두 총칭한다.

이상에 있어서는 차광막에 대해 설명했지만, 이 예의 설명은, 화소 내에 배치한 복수의 포토다이오드를 선택적으로 이용함으로써 입사각 지향성을 갖게 하는 경우에도 적용할 수 있다. 즉, 예를 들면, 분할 위치(각 부분 영역의 크기나 형상)나, 각 포토다이오드의 위치, 크기, 형상 등을 적절히 설정하거나, 포토다이오드를 적절히 선택하거나 함으로써, 상술한 L자 타입의 차광막(121b)에 의한 입사각 지향성과 동등한 입사각 지향성을 실현할 수 있다.

<제2 변형예>

이상에 있어서는, 가로 밴드 타입, 세로 밴드 타입, 및 L자 타입의 차광막에 대해, 차광되고 있는 범위가 랜덤하게 변화되도록 각 화소에 배치되는 예에 대해 설명해 왔지만, 예를 들면, 도 14의 촬상 소자(121')에서 나타내는 바와 같이, 사각형 개구를 형성한 경우에, 각각의 화소에 있어서 광선이 수광하는 위치 근방의 범위 이외를 차광하는 차광막(121b)(도면 중, 흑색으로 나타낸 범위)을 구성하도록 해도 된다.

즉, 각 화소에 대해, 사각형 개구를 형성한 경우에, 소정의 피사체 거리의 피사체면을 구성하는 점광원으로부터 출사되는 광선 중, 사각형 개구를 투과하여 수광되는 광선만을 수광하도록 한 입사각 지향성을 가지도록 차광막(121b)을 마련하도록 해도 된다.

또한, 도 14에 있어서는, 예를 들면, 수평 방향의 화소 배열에 대해, 차광막(121b)의 수평 방향의 폭이 폭 dx1, dx2, … dxn으로 변화되고 있고, 이것이, dx1 < dx2 < … < dxn의 관계가 된다. 마찬가지로, 수직 방향의 화소 배열에 대해, 차광막(121b)의 수직 방향의 높이가 높이 dy1, dy2, … dym으로 변화되고 있고, 이것이, dy1 < dy2 < … < dxm의 관계가 된다. 또한, 차광막(121b)의 수평 방향의 폭 및 수직 방향의 폭의, 각각의 변화의 간격은, 복원하는 피사체 분해능(각도 분해능)에 따르는 것이다.

환언하면, 도 14의 촬상 소자(121')에 있어서의 각 화소(121a)의 구성은, 수평 방향 및 수직 방향에 대해 촬상 소자(121') 내의 화소 배치에 대응하도록, 차광하는 범위를 변화시키도록 한 입사각 지향성을 갖게 하고 있다고 말할 수 있다.

보다 상세하게는, 도 14의 각 화소(121a)의 차광 범위는, 예를 들면, 도 15의 좌측부에 나타내는 화소(121a)를 이용하여 설명되는 규칙에 따라 결정된다.

또한, 도 15의 우측부는, 도 14와 동일한 촬상 소자(121')의 구성을 나타내고 있다. 또한, 도 15의 좌측부는, 도 15(도 14와 동일)의 우측부에 있어서의 촬상 소자(121')의 화소(121a)의 구성을 나타내고 있다.

도 15의 좌측부에 나타내는 바와 같이, 화소(121a)의 상변 및 하변의 단부로부터 화소(121a) 내를 향하여, 각각 폭 dx1만큼 차광막(121b)에 의해 차광하고, 좌변 및 우변의 단부로부터 화소(121a) 내를 향하여, 각각 높이 dy1만큼 차광막(121b)에 의해 차광한다. 또한, 도 15, 도 16에 있어서, 차광막(121b)은 흑색으로 나타낸 범위이다.

도 15의 좌측부에 있어서, 차광막(121b)이, 이와 같이 형성됨으로써 차광되는 범위를, 이후에 있어서, 화소(121a)의 주 차광부(Z101)(도 15 좌측부의 흑색부)라고 칭하고, 그 이외의 사각형 형상의 범위를 범위(Z102)라고 칭한다.

화소(121a)에 있어서의, 범위(Z102) 내에, 차광막(121b)에 의해 차광되지 않는 사각형 개구부(Z111)가 형성되는 것으로 한다. 따라서, 범위(Z102)에 있어서, 사각형 개구부(Z111) 이외의 범위는, 차광막(121b)에 의해 차광된다.

도 14의 촬상 소자(121') 내의 화소 배열은, 도 15의 우측부(도 14와 동일)에 나타내는 바와 같이, 좌측단부에서, 또한, 상단부의 화소(121a-1)는, 사각형 개구부(Z111)를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx1이며, 그 상변이 화소(121a)의 상변으로부터 dy1의 거리에 배치하는 구성으로 한다.

마찬가지로, 화소(121a-1)의 우측 옆의 화소(121a-2)는, 사각형 개구부(Z111)를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx2이며, 그 상변이 화소(121a)의 상변으로부터 높이 dy1의 거리에 배치하여, 사각형 개구부(Z111) 이외의 범위를 차광막(121b)에 의해 차광하는 구성으로 한다.

이하, 마찬가지로, 수평 방향으로 인접하는 화소(121a)는, 배치가 도면 중의 우측으로 진행함에 따라, 사각형 개구부(Z111)의 우변이, 화소(121a)의 우변으로부터 폭 dx1, dx2 … dxn으로 이동한다. 또한, 도 15의 범위(Z102)에 있어서의 우측상부의 점선 사각형 부분이, 사각형 개구부(Z111)를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dxn이며, 그 상변이 화소(121a)의 상변으로부터 높이 dy1의 거리에 배치했을 때의 상태를 나타내고 있다. 또한, 폭 dx1, dx2… dxn의 각각의 간격은, 범위(Z102)의 수평 방향의 폭에서 사각형 개구부(Z111)의 폭을 뺀 폭을 수평 방향의 화소수 n으로 나눈 값이 된다. 즉, 수평 방향의 화소수 n으로 나눔으로써 수평 방향의 변화의 간격이 결정된다.

또한, 촬상 소자(121')에 있어서의 화소(121a) 내의 사각형 개구부(Z111)의 수평 방향의 위치는, 촬상 소자(121') 내에 있어서의 수평 방향의 위치가 동일한 화소(121a) (동일 열의 화소(121a)) 내에 있어서 동일하게 된다.

나아가, 화소(121a-1)의 바로 아래에 인접하는 화소(121a-3)는, 사각형 개구부(Z111)를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx1이며, 그 상변이 화소(121a)의 상변으로부터 높이 dy2의 거리에 배치하여, 사각형 개구부(Z111) 이외의 범위를 차광막(121b)에 의해 차광하는 구성으로 한다.

이하, 마찬가지로, 수직 방향으로 인접하는 화소(121a)는, 배치가 도면 중의 하측으로 진행함에 따라, 사각형 개구부(Z111)의 상변이, 화소(121a)의 상변으로부터 높이 dy1, dy2… dyn으로 이동한다. 한편, 도 15의 범위(Z102)에 있어서의 좌측하부의 점선 사각형 부분이, 사각형 개구부(Z111)를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx1이며, 그 상변이 화소(121a)의 상변으로부터 높이 dym의 거리에 배치했을 때의 상태를 나타내고 있다. 또한, 높이 dy1, dy2 … dym의 각각의 간격은, 범위(Z102)의 수직 방향의 높이로부터 사각형 개구부(Z111)의 높이를 뺀 높이를 수직 방향의 화소수 m으로 나눈 값이 된다. 즉, 수직 방향의 화소수 m으로 나눔으로써 수직 방향의 변화의 간격이 결정된다.

또한, 촬상 소자(121')에 있어서의 화소(121a) 내의 사각형 개구부(Z111)의 수직 방향의 위치는, 촬상 소자(121') 내에 있어서의 수직 방향의 위치가 동일한 화소(121a)(동일 행의 화소(121a)) 내에 있어서 동일하게 된다.

나아가, 도 15(도 14)에 나타내는 촬상 소자(121')를 구성하는 각 화소(121a)의 주 차광부(Z101), 및 사각형 개구부(Z111)를 변화시킴으로써, 화각을 변화시킬 수 있다.

도 16의 우측부는, 도 15(도 14)의 촬상 소자(121')에 대하여 화각을 넓게 하는 경우의 촬상 소자(121')의 구성을 나타내고 있다. 또한, 도 16의 좌측부는, 도 16의 우측부에 있어서의 촬상 소자(121')의 화소(121a)의 구성을 나타내고 있다.

즉, 도 16의 좌측부에 나타내는 바와 같이, 예를 들면, 화소(121a) 내에, 도 15에 있어서의 주 차광부(Z101)보다 차광 범위가 좁은 주 차광부(Z151)(도 16 좌측부의 흑색부)를 설정하고, 그 이외의 범위를 범위(Z152)로 설정한다. 나아가, 범위(Z152) 내에, 사각형 개구부(Z111)보다 개구 면적이 넓은 사각형 개구부(Z161)를 설정한다.

보다 상세하게는, 도 16의 좌측부에 나타내는 바와 같이, 화소(121a)의 상변 및 하변의 단부로부터 화소(121a) 내를 향하여, 각각 폭 dx1'(<dx1)만큼 차광막(121b)에 의해 차광되고, 좌변 및 우변의 단부로부터 화소(121a) 내를 향하여, 각각 높이 dy1'(<dy1)만큼 차광막(121b)에 의해 차광됨으로써, 사각형 개구부(Z161)가 형성된다.

여기서, 도 16의 우측부에 나타내는 바와 같이, 좌측단부이며 또한 상단부의 화소(121a-1)는, 사각형 개구부(Z161)를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx1'이며, 그 상변이 화소(121a)의 상변으로부터 높이 dy1'의 거리에 배치하여, 사각형 개구부(Z161) 이외의 범위를 차광막(121b)에 의해 차광하는 구성으로 한다.

마찬가지로, 화소(121a-1)의 우측 옆의 화소(121a-2)는, 사각형 개구부(Z161)를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx2'이며, 그 상변이 화소(121a)의 상변으로부터 높이 dy1'에 배치하여, 사각형 개구부(Z161) 이외의 범위를 차광막(121b)에 의해 차광하는 구성으로 한다.

이하, 마찬가지로, 수평 방향으로 인접하는 화소(121a)는, 배치가 도면 중의 우측으로 진행함에 따라, 사각형 개구부(Z161)의 우변이, 화소(121a)의 우변으로부터 폭 dx1', dx2' … dxn'로 이동한다. 여기서, 폭 dx1', dx2' … dxn'의 각각의 간격은, 범위(Z152)의 수평 방향의 폭에서 사각형 개구부(Z161)의 수평 방향의 폭을 뺀 폭을, 수평 방향의 화소수 n으로 나눈 값이 된다. 즉, 수평 방향의 화소수 n으로 나눔으로써 수직 방향의 변화의 간격이 결정된다. 따라서, 폭 dx1', dx2' … dxn'의 변화의 간격은, 폭 dx1, dx2 … dxn의 변화의 간격보다 커진다.

또한, 도 16의 촬상 소자(121')에 있어서의 화소(121a) 내의 사각형 개구부(Z161)의 수평 방향의 위치는, 촬상 소자(121') 내에 있어서의 수평 방향의 위치가 동일한 화소(121a)(동일 열의 화소(121a)) 내에 있어서 동일하게 된다.

나아가, 화소(121a-1)의 바로 아래에 인접하는 화소(121a-3)는, 사각형 개구부(Z161)를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx1'이며, 그 상변이 화소(121a)의 상변으로부터 높이 dy2'에 배치하여, 사각형 개구부(Z161) 이외의 범위를 차광막(121b)에 의해 차광하는 구성으로 한다.

이하, 마찬가지로, 수직 방향으로 인접하는 화소(121a)는, 배치가 도면 중의 하측으로 진행함에 따라, 사각형 개구부(Z161)의 상변이, 화소(121a)의 상변으로부터 높이 dy1', dy2'… dym'로 변화된다. 여기서, 높이 dy1', dy2' … dym'의 변화의 간격은, 범위(Z152)의 수직 방향의 높이에서 사각형 개구부(Z161)의 높이를 뺀 높이를 수직 방향의 화소수 m으로 나눈 값이 된다. 즉, 수직 방향의 화소수 m으로 나눔으로써 수직 방향의 변화의 간격이 결정된다. 따라서, 높이 dy1', dy2' … dym'의 변화의 간격은, 폭높이 dy1, dy2 … dym의 변화의 간격보다 커진다.

또한, 도 16의 촬상 소자(121')에 있어서의 화소(121a) 내의 사각형 개구부(Z161)의 수직 방향의 위치는, 촬상 소자(121') 내에 있어서의 수직 방향의 위치가 동일한 화소(121a)(동일 행의 화소(121a)) 내에 있어서 동일하게 된다.

이와 같이, 주 차광부의 차광 범위와 개구부의 개구 범위의 조합을 변화시킴으로써, 다양한 화각의(다양한 입사각 지향성을 가진) 화소(121a)로 이루어지는 촬상 소자(121')를 실현하는 것이 가능해진다.

나아가, 동일한 화각의 화소(121a)뿐만 아니라, 다양한 화각의 화소(121a)를 조합시켜 촬상 소자(121)를 실현시키도록 해도 된다.

예를 들면, 도 17에 나타내는 바와 같이, 점선으로 나타내는 2화소×2화소로 이루어지는 4화소를 1개의 단위(U)로 하고, 각각의 단위(U)가, 광화각의 화소(121a-W), 중간화각의 화소(121a-M), 협화각의 화소(121a-N), 매우 협화각인 화소(121a-AN)의 4화소로 구성되도록 한다.

이 경우, 예를 들면, 모든 화소(121a)의 화소수가 X인 경우, 4종류의 화각마다 X/4화소씩의 검출 화상을 이용하여 복원 화상을 복원하는 것이 가능해진다. 이때, 화각마다 다른 4종류의 계수 세트가 사용되며, 4종류의 다른 연립 방정식에 의해, 각각 다른 화각의 복원 화상이 복원된다.

이 때문에, 복원하는 화각의 복원 화상을, 복원하는 화각의 촬상에 적합한 화소로부터 얻어지는 검출 화상을 이용하여 복원함으로써, 4종류의 화각에 따른 적절한 복원 화상을 복원하는 것이 가능해진다.

또한, 4종류의 화각의 중간 화각이나, 그 전후의 화각의 화상을, 4종류의 화각의 화상으로부터 보간 생성하도록 해도 되고, 다양한 화각의 화상을 연속적으로 생성함으로써, 유사 광학 줌(pseudo optical zooming)을 실현하도록 해도 된다.

이상에 있어서는 차광막에 대해 설명했지만, 이 예의 설명은, 화소 내에 배치한 복수의 포토다이오드를 선택적으로 이용함으로써 입사각 지향성을 갖게 하는 경우에도 적용할 수 있다. 즉, 예를 들면, 분할 위치(각 부분 영역의 크기나 형상)나, 각 포토다이오드의 위치, 크기, 형상 등을 적절히 설정하거나, 포토다이오드를 적절히 선택하거나 함으로써, 상술한 사각형 개구를 갖는 차광막(121b)에 의한 입사각 지향성과 동등한 입사각 지향성을 실현할 수 있다. 물론, 이 경우도, 다양한 화각의 화소(121a)를 조합시켜 촬상 소자(121)를 실현시킬 수도 있다. 또한, 중간 화각이나, 그 전후의 화각의 화상을, 복수 종류의 화각의 화상으로부터 보간 생성하도록 해도 되고, 다양한 화각의 화상을 연속적으로 생성함으로써, 유사 광학 줌을 실현하도록 해도 된다.

<제3 변형예>

그런데, 촬상 소자(121)에 있어서의 화소(121a)의 차광막(121b)의 차광하고 있는 범위에 랜덤성을 갖게 하고 있는 경우, 차광막(121b)의 차광하고 있는 범위의 차이의 난잡함이 클수록, 복원부(124) 등에 의한 처리의 부하는 큰 것이 된다. 이에, 화소(121a)의 차광막(121b)의 차광하고 있는 범위의 차이의 일부를 규칙적인 것으로 하여, 이 차이의 난잡함을 저감시킴으로써, 처리 부하를 저감시키도록 해도 된다.

예를 들면, 세로 밴드 타입과 가로 밴드 타입을 조합시킨 L자 타입의 차광막(121b)을 구성하도록 하고, 소정의 열방향에 대해서는, 동일한 폭의 가로 밴드 타입의 차광막(121b)을 조합시키고, 소정의 행방향에 대해서는, 동일한 높이의 세로 밴드 타입의 차광막(121b)을 조합시키도록 한다. 이와 같이 함으로써, 각 화소(121a)의 차광막(121b)의 차광 범위가, 열방향 및 행방향에서 규칙성을 갖게 하면서, 화소 단위에서는 랜덤하게 다른 값으로 설정되게 된다. 그 결과, 각 화소(121a)의 차광막(121b)의 차광 범위의 차이, 즉, 각 화소의 입사각 지향성의 차이의 난잡함을 저감시켜, 복원부(124) 등의 촬상 소자(121)의 외부의 처리 부하를 저감시킬 수 있다.

예를 들면, 도 18의 촬상 소자(121")의 경우, 범위(Z130)에 의해 나타내는 동일 열의 화소에 대해서는, 모두 동일한 폭 X0의 가로 밴드 타입의 차광막(121b)이 이용되고, 범위(Z150)에 의해 나타내는 동일 행의 화소에 대해서는, 동일한 높이 Y0의 세로 밴드 타입의 차광막(121b)이 이용되고, 각 행렬에 의해 특정되는 화소(121a)에 대해서는, 이들이 조합된 L자 타입의 차광막(121b)이 설정되어 있다.

마찬가지로, 범위(Z130)에 인접하는 범위(Z131)에 의해 나타내는 동일 열의 화소에 대해서는, 모두 동일한 폭 X1의 가로 밴드 타입의 차광막(121b)이 이용되고, 범위(Z150)에 인접하는 범위(Z151)에 의해 나타내는 동일 행의 화소에 대해서는, 동일한 높이 Y1의 세로 밴드 타입의 차광막(121b)이 이용되고, 각 행렬에 의해 특정되는 화소(121a)에 대해서는, 이들이 조합된 L자 타입의 차광막(121b)이 설정되어 있다.

나아가, 범위(Z131)에 인접하는 범위(Z132)에 의해 나타내는 동일 열의 화소에 대해서는, 모두 동일한 폭 X2의 가로 밴드 타입의 차광막이 이용되고, 범위(Z151)에 인접하는 범위(Z152)에 의해 나타내는 동일 행의 화소에 대해서는, 동일한 높이 Y2의 세로 밴드 타입의 차광막이 이용되고, 각 행렬에 의해 특정되는 화소(121a)에 대해서는, 이들이 조합된 L자 타입의 차광막(121b)이 설정되어 있다.

이와 같이 함으로써, 차광막(121b)의 수평 방향의 폭 및 위치, 및, 수직 방향의 높이 및 위치에 규칙성을 갖게 하면서, 화소 단위로 차광막의 범위를 다른 값으로 설정할 수 있으므로, 입사각 지향성의 차이의 난잡함을 억제할 수 있다. 결과로서, 계수 세트의 패턴을 저감시키는 것이 가능해지고, 후단(예를 들면, 복원부(124) 등)에 있어서의 연산 처리의 처리 부하를 저감시키는 것이 가능해진다.

<제4 변형예>

화소 단위의 차광막(121b)의 형상의 변동(variation)은 임의이며, 상술한 각각의 예에 한정되지 않는다. 예를 들면, 차광막(121b)을 삼각형으로 설정하고, 그 범위를 다른 것으로 함으로써 다른 입사각 지향성을 갖게 하도록(설정하도록) 해도 되고, 차광막(121b)을 원형으로 설정하고, 그 범위를 다른 것으로 함으로써 다른 입사각 지향성을 갖게 하도록 해도 된다. 또한, 예를 들면, 경사 방향의 선 형상의 차광막 등이어도 된다.

또한, 소정 수의 복수의 화소로 이루어지는 패턴 유닛을 구성하는 복수의 화소 단위에서 차광막(121b)의 변동(패턴)을 설정하도록 해도 된다. 이러한 1 패턴 유닛은 어떠한 화소에 의해 구성되도록 해도 된다. 예를 들면, 촬상 소자(121)가 컬러 필터를 구비하는 것으로 하고, 그 컬러 필터의 색배열의 단위를 구성하는 화소에 의해 구성되도록 해도 된다. 또한, 노광 시간이 다른 화소를 조합시킨 화소 그룹을 패턴 유닛으로 하도록 해도 된다. 또한, 패턴 유닛을 구성하는 각 화소에 있어서의 차광막(121b)이 차광하는 범위의 패턴의 랜덤성이 높은 쪽이, 즉, 패턴 유닛을 구성하는 화소가 각각 다른 입사각 지향성을 구비하고 있는 쪽이 바람직하다.

또한, 패턴 유닛 간에 차광막(121b)의 배치 패턴을 설정하도록 해도 된다. 예를 들면, 패턴 유닛마다, 차광막의 폭이나 위치를 전환하도록 해도 된다. 나아가, 다른 카테고리로 분류되는 복수의 화소로 이루어지는 패턴 유닛 내나 패턴 유닛 간에 차광막(121b)이 차광하는 범위의 패턴을 설정하도록 해도 된다.

이상에 있어서는 차광막에 대해 설명했지만, 이 예의 설명은, 화소 내에 배치한 복수의 포토다이오드를 선택적으로 이용함으로써 입사각 지향성을 갖게 하는 경우에도 적용할 수 있다. 즉, 예를 들면, 분할 위치(각 부분 영역의 크기나 형상)나, 각 포토다이오드의 위치, 크기, 형상 등을 적절히 설정하거나, 포토다이오드를 적절히 선택하거나 함으로써, 상술한 화소(121a)의 차광막(121b)의 차광하고 있는 범위의 변화의 일부를 규칙적인 것으로 한 경우의 입사각 지향성과 동등한 입사각 지향성을 실현할 수 있다. 이와 같이 함으로써, 각 화소의 입사각 지향성에 있어서의 난잡함을 저감시켜, 복원부(124) 등의 촬상 소자(121)의 외부의 처리 부하를 저감시킬 수 있다.

이상에 있어서는 차광막에 대해 설명했지만, 이 예의 설명은, 화소 내에 배치한 복수의 포토다이오드를 선택적으로 이용함으로써 입사각 지향성을 갖게 하는 경우에도 적용할 수 있다. 즉, 분할 위치(각 부분 영역의 크기나 형상)나, 각 포토다이오드의 위치, 크기, 형상 등을 적절히 설정하거나, 포토다이오드를 적절히 선택하거나 함으로써, 예를 들면, 삼각형, 원형, 경사 방향의 선 형상 등의, 임의의 형상의 차광막에 의한 입사각 지향성과 동등한 입사각 지향성을 실현할 수 있다.

또한, 예를 들면, 분할 위치(각 부분 영역의 크기나 형상)의 설정, 각 포토다이오드의 위치, 크기, 형상 등의 설정, 및 포토다이오드의 선택 등을, 상술한 차광막(121b)의 경우와 마찬가지로, 패턴 유닛마다 설정하도록 해도 된다.

<포토다이오드의 제어>

도 5를 참조하여 상술한 바와 같은 화소 내에 배치한 복수의 포토다이오드를 선택적으로 이용하는 경우, 복수의 포토다이오드(121f)의 각각의 화소 출력 단위의 출력 화소값에의 기여의 유무나 정도를 전환함으로써 화소 출력 단위의 출력 화소값의 입사각 지향성을 다양하게 변화시킬 수 있도록 해도 된다.

예를 들면, 도 19에 나타내는 바와 같이, 화소(121a)에, 포토다이오드(121f-111 내지 121f-119)의 9개(세로 3개×가로 3개)의 포토다이오드(121f)가 배치되어 있는 것으로 한다. 이 경우, 이 화소(121a)를, 포토다이오드(121f-111 내지 121f-119)를 갖는 화소(121a-b)로서 이용하도록 해도 되고, 포토다이오드(121f-111, 121f-112, 121f-114, 및 121f-115)를 가지는 화소(121a-s)로서 이용하도록 해도 된다.

예를 들면, 화소(121a)를 화소(121a-b)로 하는 경우, 포토다이오드(121f-111 내지 121f-119)의 해당 화소(121a)의 출력 화소값에의 기여의 유무나 정도를 제어함으로써 출력 화소값의 입사각 지향성이 제어된다. 이에 대해, 화소(121a)를 화소(121a-s)로 하는 경우, 포토다이오드(121f-111, 121f-112, 121f-114, 및 121f-115)의 해당 화소(121a)의 출력 화소값에의 기여의 유무나 정도를 제어함으로써 출력 화소값의 입사각 지향성이 제어된다. 이 경우, 그 밖의 포토다이오드(121f)(포토다이오드(121f-113, 121f-116, 121f-117 내지 121f-119)는, 출력 화소값에 기여하지 않도록 제어된다.

즉, 예를 들면 복수의 화소(121a-b) 간에 출력 화소값의 입사각 지향성이 서로 다른 경우, 포토다이오드(121f-111 내지 121f-119) 중 적어도 어느 하나의 출력 화소값에의 기여의 유무나 정도가 다르다. 이에 대해, 예를 들면 복수의 화소(121a-s) 간에 출력 화소값의 입사각 지향성이 서로 다른 경우, 포토다이오드(121f-111, 121f-112, 121f-114, 및 121f-115) 중 적어도 어느 하나의 출력 화소값에의 기여의 유무나 정도가 다르고, 그 밖의 포토다이오드(121f-113, 121f-116, 121f-117 내지 121f-119)는, 이들 화소 간에 공통되고, 출력 화소값에 기여하지 않는다.

또한, 화소(121a)를 화소(121a-b)로 할지 화소(121a-s)로 할지는, 화소마다 설정할 수 있다. 또한, 이 설정을 패턴 유닛(복수 화소)마다 행할 수 있도록 해도 된다.

또한, 상술한 바와 같이 촬상 소자(121)의 각 화소(각 화소 출력 단위)에는 온-칩 렌즈가 1개 형성된다. 즉, 화소(121a)가 도 19에 나타내는 예와 같은 구성의 경우, 도 20에 나타내는 바와 같이, 그 포토다이오드(121f-111 내지 121f-119)에 대해 1개의 온-칩 렌즈(121c)가 설치된다. 따라서, 도 19를 참조하여 설명한 바와 같이 화소(121a)를 화소(121a-b)로 하는 경우에도, 화소(121a-s)로 하는 경우에도, 1화소(1화소 출력 단위)와 1개의 온-칩 렌즈(121c)가 일대일로 대응한다.

<입사각 지향성의 어긋남>

도 8을 참조하여 설명한 바와 같이, 차광막을 이용하여 화소의 입사각 지향성을 설정하는 경우, 차광막의 위치(설정 범위)에 따라, 가중치(Wx, Wy)가 반값(0.5)이 되는 각도(θx, θy)가 결정된다.

예를 들면, 도 21의 A에 나타내는 바와 같이, 화소에 입사하는 입사광(301)은, 온-칩 렌즈(121c)에 의해 집광되고, 차광막(121b)에 조사되는 부분은 그 차광막(121b)에 의해 차광되고, 그 이외의 부분은 포토다이오드(121e)에 의해 수광된다.

이 입사광(301)의 입사각도(θx 또는 θy)가 변화되면, 차광막(121b) 부근에 있어서의, 집광된 입사광(301)(스폿 광)의 위치(포토다이오드(121e)와 평행한 평면 방향의 위치)가 변화된다. 즉, 포토다이오드(121e)에 수광되는 광량이 변화되므로, 도 8의 가중치(Wx 또는 Wy)가 그래프와 같이 변화한다.

예를 들면, 설계값에서는, 도 21의 A와 같이, 차광막(121b)이 포토다이오드(121e)의 절반을 덮고 있는 것으로 한다. 이 경우, 입사광(301)의 입사각도(θx 또는 θy)가 수직일 때에, 포토다이오드(121e)가 수광하는 광량이 온-칩 렌즈(121c)에 입사했을 때의 2분의 1이 된다. 즉, 가중치(Wx 또는 Wy)가 반값(0.5)이 된다.

예를 들면, 제조 시에 있어서, 도 21의 B의 화살표(311)와 같이 차광막(121b)의 위치가 시프트되면, 이 가중치(Wx 또는 Wy)가 반값(0.5)이 되는 입사각도(θx 또는 θy)가 수직으로부터 변화하여, 도 21의 B의 예와 같이 도면 중 경사 방향이 된다. 즉, 도 8에 나타내지는 가중치(Wx, Wy)의 그래프가, 각도(θx, θy) 방향으로 시프트된다.

또한, 온-칩 렌즈(121c)의 높이(포토다이오드(121e)로부터의 거리)에 따라, 도 8에 나타내지는 가중치(Wx, Wy)의 그래프의 기울기가 결정된다.

예를 들면, 도 22의 A에 나타내는 바와 같이, 온-칩 렌즈(121c)와 포토다이오드(121e)(차광막(121b))의 거리가 멀어질수록, 차광막(121b) 상의 스폿 광의 반경(s)이 보다 작아진다. 반대로, 예를 들면, 도 22의 B에 나타내는 바와 같이, 온-칩 렌즈(121c)와 포토다이오드(121e)(차광막(121b))의 거리가 가까워질수록(양쪽 화살표(321)), 차광막(121b) 상의 스폿 광의 반경(s)이 커진다.

도 23에 있어서, 화소(330)의 백색 영역은 차광막(121b)에 의해 차광되지 않는 개구부(331)이며, 회색 영역은 차광막(121b)에 의해 차광되고 있는 차광부(332)인 것으로 한다. 예를 들면, 도 23의 A의 스폿 광(341)(또는 도 23의 B의 스폿 광(342))이 도면 중 양쪽 화살표의 방향으로 이동하면, 입사광(301)의 전부가 포토다이오드(121e)에 도달하게 되거나, 일부가 도달하게 되거나, 전혀 도달하지 않게 되거나 한다.

그 때, 스폿 광(341)은, 그 반경(s)이 스폿 광(342)에 비해 작으므로, 스폿 광(342)의 경우에 비해 약간의 이동량에 의해, 스폿 광(341)의 전체가 개구부(331)로부터 차광부(332)까지 이동한다. 즉, 동일한 이동량에 대한 포토다이오드(121e)에 도달하는 광량의 변화가 크다. 즉, 입사광(301)의 입사각도(θx 또는 θy)의 변화에 대한 포토다이오드(121e)의 감도의 변화가 크다. 즉, 도 8에 나타내는 가중치(Wx, Wy)의 그래프의 기울기가 크다.

이에 대해, 스폿 광(342)은, 스폿 광(341)에 비해 스폿 직경이 크므로, 스폿 광(342)의 전체가 개구부(331)로부터 차광부(332)로 이동할 때까지의 이동량이, 스폿 광(341)의 경우보다 크다.

즉, 도 8에 나타내는 가중치(Wx, Wy)의 그래프의 기울기가 온-칩 렌즈(121c)의 높이에 의존한다.

따라서, 예를 들면, 설계값에서는 도 22의 A와 같은 높이였던 온-칩 렌즈(121c)가, 제조 시에, 도 22의 B의 높이로 시프트되면, 그 높이 변화(양쪽 화살표(321))만큼, 가중치(Wx, Wy)의 그래프의 기울기가 변화한다(완만해진다).

이상과 같이, 차광막(121b)의 위치나 온-칩 렌즈(121c)의 높이가 설계값으로부터 변화함으로써 입사각 지향성이 변화하면, 동일한 광량 및 입사각도의 입사광에 대하여, 그 화소에서 검출되는 검출 신호의 값이 변화한다. 즉, 검출 신호(검출 화상)에 오차(개체차)가 생긴다.

복원 화상은, 검출 신호로 대해 복원 행렬을 이용하여 소정의 연산을 행함으로써 복원된다. 이 복원 행렬은, 예를 들면 촬상 소자(121)의 설계값 등의 기지의 정보에 기초하여 설정되고, 촬상 소자(121)의 특성(설계값)에 적합한 계수를 갖는다. 즉, 실제의 촬상 소자(121)의 특성이 그 설계값대로라면, 그 촬상 소자(121)에 있어서 얻어지는 검출 신호의 특성과 복원 행렬의 특성이 일치하고, 정확한 복원 화상을 복원할 수 있다.

그러나, 제조 시 등에 있어서 상술한 바와 같이 입사각 지향성이 변화함으로써 검출 신호에 오차가 생기면, 복원 행렬이 대응하는 촬상 소자(121)의 특성(예를 들면, 설계값)과, 검출 신호가 대응하는 촬상 소자(121)의 특성(실제 값)이 일치하지 않고, 생성되는 복원 화상이 부정확하게 될 우려가 있었다.

이에, 이 입사각 지향성의 교정을 행하는 것이 생각된다. 보다 구체적으로는, 복원 행렬의 특성을, 촬상 소자(121)의 실제 특성에 맞추도록(또는, 보다 근사시키도록) 교정하는 것이 생각된다. 또한, 촬상 소자(121)의 실제 특성(즉, 검출 신호(검출 화상))을, 복원 행렬의 특성에 맞추도록(또는, 보다 근사시키도록) 교정해도 된다.

검출 신호를 생성하는 화소의 차광은, 도 8의 예와 같이 X방향과 Y방향의 양방향으로 행해지므로, 도 8에 나타내지는 가중치(Wx, Wy)의 그래프도 X방향과 Y방향의 양방향으로 형성된다. 또한, 이 X방향 및 Y방향은, 수광면과 평행한 면의 서로 직각인 2방향을 나타낸다. 즉, 검출 신호를 생성하는 화소 출력 단위인 화상 복원용 화소 출력 단위는, 적어도 그 일부의 화소 출력 단위가, 수광면을 따른 서로 직각인 X방향과 Y방향의 양방향(예를 들면, 화소 출력 단위의 행렬 행방향 및 열방향의 양쪽 모두)으로 입사각 지향성을 갖는다. 환언하면, 화상 복원용 화소 출력 단위는, 수광면을 따라 복수 방향(평면 방향 또는 다방향이라고도 칭함)으로 입사각 지향성을 갖는다. 따라서, 이러한 화상 복원용 화소 출력 단위(평면 방향 지향성 화소 출력 단위, 복수 방향 지향성 화소 출력 단위, 또는 다방향 지향성 화소 출력 단위라고도 칭함)의 입사각 지향성의 교정은, 이러한 X방향과 Y방향의 각각에 대해 행할 필요가 있다.

다만, 이러한 화상 복원용 화소 출력 단위의 검출 신호는, 화소의 가중치, 즉, X방향의 가중치와 Y방향의 가중치의 승산 결과에 대응하는 것으로 된다. 그 때문에, 그러한 검출 신호로부터, X방향의 가중치와 Y방향의 가중치를 각각 구하는 것이 곤란하고, 입사각 지향성의 교정을 행하는 것이 곤란하였다.

<교정용 화소의 이용>

이에, 촬상 소자(121)에 있어서, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위를 구비하고, 그 복수의 화소 출력 단위는, 행렬 형상으로 배치되며, 적어도 일부의 화소 출력 단위가, 그 행렬의 행방향 및 열방향의 양쪽 모두에 입사각 지향성을 갖는 복수의 화상 복원용 화소 출력 단위(복수 방향 지향성 화소 출력 단위)와, 그 행렬의 행방향으로만 또는 그 행렬의 열방향으로만 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위(단일 방향 지향성 화소 출력 단위)를 포함하도록 한다.

이와 같이 촬상 소자(121)를 이용함으로써, 복원 행렬의 교정을, 보다 용이하게 행할 수 있다. 즉, 복원 행렬의 특성을, 촬상 소자(121)의 각 화소의 실제 입사각 지향성에 맞추도록(또는, 보다 근사시키도록) 교정할 수 있다. 따라서, 보다 정확한 복원 화상을 생성할 수 있다.

<수광부>

<구성>

도 24는, 그 경우의, 촬상 소자(121)의 수광부(111)의 주요 구성예를 나타내는 도면이다. 도 24에 있어서, 수광부(111)의 백색의 유효 화소 영역(401)은, 검출 신호가 생성되는 유효 화소(화상 복원용 화소 출력 단위)가 배치되는 영역이다. 화소(121a)는, 수광부(111)에 형성되는 화소 행렬 내의 유효 화소 영역(401) 내에 형성되는 화소(화상 복원용 화소 출력 단위)이다. 또한, 도 24에 있어서는, 1개의 화소(121a)에 대해서만 부호를 부여하고, 그 이외에 대해서는 생략하고 있지만, 유효 화소 영역(401) 내의 화소는 모두 화소(121a)이다.

이 화소(121a)는, 유효 화소 영역(401) 내에 행렬 형상으로 배치된다. 또한, 화소(121a)는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광한다. 나아가, 화소(121a)는, 입사각 지향성을 가지며, 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 1개 출력한다. 또한, 화소(121a)는, 피사체로부터의 입사광에 대한 입사각 지향성을 화소 출력 단위마다 독립적으로 설정 가능한 구성을 갖는다. 도 24의 예의 경우, 화소(121a)는, 그 입사각 지향성을 화소 출력 단위마다 독립적으로 설정 가능한 구성으로서, 차광막을 갖는다.

차광막(121b)은, 그 화소(121a)에 형성되는 차광막을 나타낸다. 도 24에 나타내는 바와 같이, 차광막(121b)은, 수광면을 따른 서로 직각인 X방향(화소 행렬의 행방향(즉, 도면 중 횡방향))과 Y방향(화소 행렬의 열방향(즉, 도면 중 종방향))의 양쪽 모두에 일부를 차광하는 L자형이다. 즉, 화소(121a)(화상 복원용 화소 출력 단위)는, 이 X방향과 Y방향의 양방향(화소 행렬의 행방향 및 열방향)으로 입사각 지향성을 갖는다(평면 방향 지향성 화소 출력 단위이다).

또한, 수광부(111)의 회색의 교정용 화소 영역(402)은, 교정을 위해 사용되는 교정용 화소가 배치되는 영역이다.

교정용 화소(411-1)는, 수광부(111)에 형성되는 화소 행렬 내의 교정용 화소 영역(402) 내에 형성되는 화소이며, 화소(121a)군의 Y방향(화소 행렬의 열방향(즉, 도면 중의 상측과 하측))에 형성되는 화소이다. 또한, 도 24에 있어서는, 1개의 교정용 화소(411-1)에 대해서만 부호를 부여하고, 그 이외에 대해서는 생략하고 있지만, 교정용 화소 영역(402)의, 화소(121a)군의 Y방향으로 형성되는 화소는 모두 교정용 화소(411-1)이다.

교정용 화소(411-2)는, 수광부(111)에 형성되는 화소 행렬 내의 교정용 화소 영역(402) 내에 형성되는 화소이며, 화소(121a)군의 X방향(화소 행렬의 행방향(즉, 도면 중 우측과 좌측))에 형성되는 화소이다. 또한, 도 24에 있어서는, 1개의 교정용 화소(411-2)에 대해서만 부호를 부여하고, 그 이외에 대해서는 생략하고 있지만, 교정용 화소 영역(402)의, 화소(121a)군의 X방향으로 형성되는 화소는 모두 교정용 화소(411-2)이다.

교정용 화소(411-1) 및 교정용 화소(411-2)를 서로 구별하여 설명할 필요가 없는 경우, 교정용 화소(411)라고 칭한다.

교정용 화소(411-1)는 가로 밴드 타입의 차광막(412-1)을 갖는다. 즉, 교정용 화소(411-1)는, X방향(화소 행렬의 행방향)으로만 입사각 지향성을 갖는다(일방향 지향성 화소 출력 단위이다). 또한, 교정용 화소(411-2)는, 세로 밴드 타입의 차광막(412-2)을 갖는다. 즉, 교정용 화소(411-2)는, Y방향(화소 행렬의 열방향)으로만 입사각 지향성을 갖는다(일방향 지향성 화소 출력 단위이다). 즉, 교정용 화소(411)는, 화소 행렬의 행방향으로만 또는 열방향으로만, 입사각 지향성을 갖는다.

차광막(412-1) 및 차광막(412-2)을 서로 구별하여 설명할 필요가 없는 경우, 차광막(412)이라고 칭한다.

이상과 같이, 수광부(111)에는, 수광면에 평행한 복수 방향으로 입사각 지향성을 갖는 화소(121a)(화상 복원용 화소 출력 단위)와, 수광면에 평행한 단일 방향으로만 입사각 지향성을 갖는 교정용 화소(411)(일방향 지향성 화소 출력 단위)가 설치되어 있다. 이러한 교정용 화소(411)를 이용하여 교정을 행하도록 함으로써, 화소(121a)의 X방향의 입사각 지향성과 Y방향의 입사각 지향성을 각각 독립적으로 구할 수 있다. 따라서, 촬상 소자(121)의 각 화소(121a)의 입사각 지향성의 교정을 보다 용이하게 행할 수 있다.

도 1의 예에 있어서, 복원 행렬 생성부(102)는, 이와 같이 교정용 화소(411)(일방향 지향성 화소 출력 단위)를 이용하여 도출되는 화소(121a)의 X방향의 입사각 지향성과 Y방향의 입사각 지향성을 이용하여(이들 정보를 포함하는 교정 정보를 이용하여), 화소(121a)(화상 복원용 화소 출력 단위)의 실제 특성에 맞추도록(보다 근사시키도록), 복원 행렬의 생성(교정)을 행한다. 따라서, 복원 행렬 생성부(102)는, 화소(121a)의 실제 특성에 맞춘(보다 근사시킨) 복원 행렬을 생성할 수 있다. 복원 행렬 기억부(103)는, 그 생성된 복원 행렬을 기억한다.

또한, 복원부(104)는, 그 복원 행렬을 복원 행렬 기억부(103)로부터 판독하여 이용하여, 복원 화상을 생성한다. 따라서, 복원부(104)는, 보다 정확한 복원 화상을 생성할 수 있다.

또한, 연관부(105)는, 그 복원 행렬을 복원 행렬 기억부(103)로부터 판독하여 검출 화상에 연관시킨다. 이에 의해, 후단의 처리부나 다른 장치에, 그 복원 행렬을 이용하여 복원 화상을 생성시킬 수 있다. 따라서, 그 후단의 처리부나 다른 장치는, 보다 정확한 복원 화상을 생성할 수 있다.

또한, 이러한 교정용 화소(411)의 위치(또는 교정용 화소 영역(402)의 위치)는 임의이다. 예를 들면, 유효 화소 영역(401) 내에 교정용 화소(411)를 형성하는 것도 가능하다. 그러나, 교정용 화소(411)는, 일방향으로만 입사각 지향성을 가지고 있기 때문에, 검출 화상을 구성하는 검출 신호의 생성을 행하는 화소로서 이용하는 것은 곤란하다. 따라서, 그러한 교정용 화소(411)를 유효 화소 영역(401) 내에 형성하면, 그 교정용 화소(411)에서 생성되는 검출 신호를 제거하여 검출 화상을 생성하거나, 복원 화상을 복원하기 위한 연산에 그 검출 신호를 이용하지 않도록 해야 하고, 검출 화상이나 복원 화상을 사각형으로 하기 위해 연구가 필요하게 된다.

또한, 피사체의 촬상에 사용되지 않는 교정용 화소(411)를, 화소 행렬의 주연부보다 입사광의 광량이 커지기 쉬운 화소 행렬의 중앙측에 설치하는 것은, 비효율적이다.

상술한 바와 같이 교정용 화소(411)(일방향 지향성 화소 출력 단위)를, 화상 복원용 화소 출력 단위가 형성되는 유효 화소 영역(401) 이외의 영역에 형성함으로써, 보다 용이하게 사각형의 검출 화상이나 복원 화상을 얻을 수 있다. 또한, 유효 화소 영역(401)을 보다 효율적으로 이용할 수 있다. 즉, 촬상 소자(121)의 설계나 개발을 보다 용이화할 수 있다.

또한, 도 24에 나타내는 예와 같이, 그 교정용 화소(411)를 형성하는 교정용 화소 영역(402)을, 유효 화소 영역(401)의 외측에 있는 외부 영역으로 함으로써, 화소 행렬의 주연부보다 입사광의 광량이 커지기 쉬운 화소 행렬의 중앙측을 유효 화소 영역으로 할 수 있고, 유효 화소 영역(401)의 입사광의 광량 저감을 억제할 수 있다.

물론, 유효 화소 영역(401) 및 교정용 화소 영역(402)의 위치, 크기, 형상 등은 임의이며, 상술한 예에 한정되지 않는다. 예를 들면, 교정용 화소 영역(402)을 유효 화소 영역(401)의 내측에 설치하도록(유효 화소 영역(401)을, 교정용 화소 영역(402)의 외측에 있는 외부 영역으로 하도록) 해도 되고, 유효 화소 영역(401) 및 교정용 화소 영역(402)을 화소 행렬의 X방향 또는 Y방향으로 배열하도록 해도 된다.

또한, 도 24에 나타내는 예와 같이, 교정용 화소(411-2)가, 화소(121a)군의 X방향(유효 화소 영역(401)의 도면 중 우측 또는 좌측, 또는 그 양쪽 모두)에 형성되도록 해도 된다. 즉, 유효 화소 영역(401)의 X방향의 외측에 있는 외부 영역(화소 행렬의 행방향의 외측에 있는 외부 영역)에, Y방향(화소 행렬의 열방향)에만 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위 (즉, 교정용 화소(411-2))이 형성되도록 해도 된다.

또한, 도 24에 나타내는 예와 같이, 교정용 화소(411-1)가, 화소(121a)군의 Y방향(유효 화소 영역(401)의 도면 중의 상측 또는 하측, 또는 그 양쪽 모두)에 형성되도록 해도 된다. 즉, 유효 화소 영역(401)의 Y방향의 외측에 있는 외부 영역(화소 행렬의 열방향의 외측에 있는 외부 영역)에, X방향(화소 행렬의 행방향)으로만 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위(즉, 교정용 화소(411-1))가 형성되도록 해도 된다.

<입사각 지향성>

유효 화소 영역에 형성되는 복수의 화소(121a)(화상 복원용 화소 출력 단위)의 적어도 1개가, 화소 행렬의 행방향 및 열방향의 각각에 대해, 외부 영역에 형성되는 복수의 교정용 화소(411)(일방향 지향성 화소 출력 단위)의 적어도 1개와 동일한 입사각 지향성을 가지도록 해도 된다. 예를 들면, X방향(화소 행렬의 행방향)의 입사각 지향성에 대해, 화소(121a)의 적어도 1개와 동일한 입사각 지향성을 갖는 교정용 화소(411-1)가 적어도 1개 존재하도록 해도 된다. 즉, 차광막(121b)의 X방향의 폭이 화소(121a)의 적어도 1개와 동일한, 교정용 화소(411-1)가 적어도 1개 존재하도록 해도 된다. 또한, 예를 들면, Y방향(화소 행렬의 열방향)의 입사각 지향성에 대해, 화소(121a)의 적어도 1개와 동일한 입사각 지향성을 갖는 교정용 화소(411-2)가 적어도 1개 존재하도록 해도 된다. 즉, 차광막(121b)의 Y방향의 폭이 화소(121a)의 적어도 1개와 동일한, 교정용 화소(411-2)가 적어도 1개 존재하도록 해도 된다.

이와 같이 함으로써, 교정용 화소(411)에 있어서 구한 실제 입사각 지향성을, 용이하게 화소(121a)(화상 복원용 화소 출력 단위)의 입사각 지향성에 적용할 수 있다. 즉, 평면 방향 지향성 화소 출력 단위인 화소(121a)의 실제 입사각 지향성을 보다 용이하게 구할 수 있다. 따라서, 보다 정확한(실제의 촬상 소자(121)의 특성에 의해 대응한) 복원 행렬을 보다 용이하게 생성할 수 있다. 즉, 보다 정확한 복원 행렬을 이용하여 복원 화상을 생성할 수 있다. 따라서, 보다 정확한 복원 화상을 생성할 수 있다.

예를 들면, 도 24에 나타내는 예와 같이, 화소 행렬의 동일한 행의 화소는, Y방향의 입사각 지향성이 서로 동일하도록 해도 된다. 도 24의 예의 경우, 화소 행렬의, 서로 동일한 행에 속하는 화소(121a) 및 교정용 화소(411-2)는, Y방향에 대해 서로 동일한 입사각 지향성(예를 들면, dy11, dy12, dy13)을 갖는다.

즉, 화소 행렬의 각 행의 적어도 1개의 화소(121a)(화상 복원용 화소 출력 단위)는, 외부 영역의, 그 행과 동일한 행에 설치된 적어도 1개의 교정용 화소(411-2)(일방향 지향성 화소 출력 단위)와 동일한, 화소 행렬의 열방향의 입사각 지향성을 가지도록 해도 된다. 이와 같이 함으로써, 교정용 화소(411-2)에 있어서 구한 실제의 Y방향의 입사각 지향성을, 용이하게 그 교정용 화소(411-2)와 동일한 행의 화소(121a)의 Y방향의 입사각 지향성에 적용할 수 있다. 즉, 화소(121a)의 실제의 Y방향의 입사각 지향성을 보다 용이하게 구할 수 있다.

예를 들면, 도 24에 나타내는 예와 같이, 화소 행렬의 동일한 열의 화소는, X방향의 입사각 지향성이 서로 동일하도록 해도 된다. 도 24의 예의 경우, 화소 행렬의, 서로 동일한 열에 속하는 화소(121a) 및 교정용 화소(411-1)는, X방향에 대해 서로 동일한 입사각 지향성(예를 들면, dx11, dx21, dx31)을 갖는다.

즉, 화소 행렬의 각 열의 적어도 1개의 화소(121a)(화상 복원용 화소 출력 단위)는, 외부 영역의, 그 열과 동일한 열에 설치된 적어도 1개의 교정용 화소(411-1)(일방향 지향성 화소 출력 단위)와 동일한, 화소 행렬의 행방향의 입사각 지향성을 가지도록 해도 된다. 이와 같이 함으로써, 교정용 화소(411-1)에 있어서 구한 실제의 X방향의 입사각 지향성을, 용이하게 그 교정용 화소(411-1)와 동일한 열의 화소(121a)의 X방향의 입사각 지향성에 적용할 수 있다. 즉, 화소(121a)의 실제의 X방향의 입사각 지향성을 보다 용이하게 구할 수 있다.

부언하면, 도 24에 나타내는 예의 경우, 복수의 화소 출력 단위의 행렬에 있어서의 서로 동일한 행의 화상 복원용 화소 출력 단위 및 일방향 지향성 화소 출력 단위가 그 열방향의 입사각 지향성이 서로 동일하며, 또한, 그 행렬에 있어서의 서로 동일한 열의 화상 복원용 화소 출력 단위 및 일방향 지향성 화소 출력 단위가 그 행방향의 입사각 지향성이 서로 동일하다. 따라서, 이 경우, 화소(121a)의 X방향의 입사각 지향성은, 동일한 열의 교정용 화소(411-1)에 있어서 구한 실제의 X방향의 입사각 지향성을 적용하고, 화소(121a)의 Y방향의 입사각 지향성은, 동일한 열의 교정용 화소(411-2)에 있어서 구한 실제의 X방향의 입사각 지향성을 적용할 수 있다. 즉, 화소(121a)의 실제의 각 방향의 입사각 지향성을 용이하게 구할 수 있다.

예를 들면, 도 24에 나타내는 예와 같이, 화소(121a)군이 갖는 X방향의 입사각 지향성의 전체 패턴, 및, Y방향의 입사각 지향성의 전체 패턴을, 교정용 화소(411)군이 가지도록 해도 된다. 즉, 유효 화소 영역(401)에 형성되는 모든 화소(121a)(화상 복원용 화소 출력 단위)가, 화소 행렬의 행방향 및 열방향의 각각에 대해, 교정용 화소 영역(402)에 형성되는 복수의 교정용 화소(411)(일방향 지향성 화소 출력 단위)의 적어도 1개와 동일한 입사각 지향성을 가지도록 해도 된다. 이와 같이 함으로써, 전체 화소(121a)가 가지는 실제의 X방향 및 Y방향의 입사각 지향성을, 어떠한 교정용 화소(411)에 의해 구할 수 있다. 즉, 화소(121a)의 실제의 각 방향의 입사각 지향성을 용이하게 구할 수 있다.

물론, 교정용 화소(411)군에 의해 구할 수 있는 입사각 지향성이, 전체 화소(121a)가 가지는 각 방향의 입사각 지향성의 일부뿐이어도 된다. 즉, 유효 화소 영역(401)에 형성되는 복수의 화소(121a)(화상 복원용 화소 출력 단위) 내의 일부 화소(121a)(화상 복원용 화소 출력 단위)는, 화소 행렬의 행방향 및 열방향의 각각에 대해, 교정용 화소 영역(402)에 형성되는 복수의 교정용 화소(411)(일방향 지향성 화소 출력 단위)의 적어도 1개와 동일한 입사각 지향성을 가지도록 해도 된다.

그 경우, 교정용 화소(411)군에 의해 직접 구할 수 없는 입사각 지향성은, 교정용 화소(411)군이 가지는 입사각 지향성을 이용하여 보간함으로써 구하도록 해도 된다. 즉, 유효 화소 영역(401)에 형성되는, 상술한 일부 화소(121a)(화상 복원용 화소 출력 단위) 이외의 다른 화소(121a)(화상 복원용 화소 출력 단위)의, 화소 행렬의 행방향 및 열방향의 각각의 입사각 지향성은, 교정용 화소 영역(402)에 형성되는 교정용 화소(411)(일방향 지향성 화소 출력 단위)의 입사각 지향성에 기초하여 추정할 수 있도록 해도 된다. 이와 같이 함으로써, 교정용 화소(411)군이 갖고 있지 않는 입사각 지향성 패턴도 구할 수 있다.

물론, 교정용 화소(411)나 화소(121a)의 배치 패턴은, 도 24의 예에 한정되지 않는다. 예를 들면, 교정용 화소(411-1)(일방향 지향성 화소 출력 단위)의 X방향의 입사각 지향성이, 동일 열의 화소(121a)(화상 복원용 화소 출력 단위)의 X방향의 입사각 지향성과 다르도록(차광막(412-1)의 X방향의 폭이 동일 열의 차광막(121b)의 X방향의 폭과 다르도록) 해도 된다. 예를 들면, 화소 행렬의 각 열의 적어도 1개의 화소(121a)(화상 복원용 화소 출력 단위)는, 교정용 화소 영역(402)의, 그 열과 상이한 다른 열에 설치된 적어도 1개의 교정용 화소(411-1)(일방향 지향성 화소 출력 단위)와 동일한, 화소 행렬의 행방향의 입사각 지향성을 가지도록(차광막(412-1)의 X방향의 폭이 다른 열의 차광막(121b)의 X방향의 폭과 동일하도록) 해도 된다.

또한, 예를 들면, 교정용 화소(411-2)(일방향 지향성 화소 출력 단위)의 Y방향의 입사각 지향성이, 동일 행의 화소(121a)(화상 복원용 화소 출력 단위)의 Y방향의 입사각 지향성과 다르도록(차광막(412-2)의 Y방향의 폭이 동일 행의 차광막(121b)의 Y방향의 폭과 다르도록) 해도 된다. 예를 들면, 화소 행렬의 각 행의 적어도 1개의 화소(121a)(화상 복원용 화소 출력 단위)는, 교정용 화소 영역(402)의, 그 행과 상이한 다른 행에 설치된 적어도 1개의 교정용 화소(411-1)(일방향 지향성 화소 출력 단위)와 동일한, 화소 행렬의 열방향의 입사각 지향성을 가지도록(차광막(412-2)의 Y방향의 폭이 다른 행의 차광막(121b)의 Y방향의 폭과 동일하도록) 해도 된다.

또한, 서로 동일 열의 화소(121a)(화상 복원용 화소 출력 단위)의 X방향 입사각 지향성이 서로 다르도록(서로 동일 열의 차광막(121b)의 X방향의 폭이 다르도록) 해도 된다. 마찬가지로, 서로 동일 행의 화소(121a)(화상 복원용 화소 출력 단위)의 Y방향 입사각 지향성이 서로 다르도록(서로 동일 행의 차광막(121b)의 Y방향의 폭이 다르도록) 해도 된다.

나아가, 교정용 화소(411-1)가, 화소(121a)군의 X방향(예를 들면, 유효 화소 영역(401)의 도면 중 우측 또는 좌측, 또는 그 양쪽 모두)에 형성되도록 해도 된다. 마찬가지로, 교정용 화소(411-1)가, 화소(121a)군의 Y방향(예를 들면, 유효 화소 영역(401)의 도면 중의 상측 또는 하측, 또는 그 양쪽 모두)에 형성되도록 해도 된다. 또한, 화소(121a)군의 X방향 또는 Y방향, 또는 그 양쪽 모두에 있어서, 교정용 화소(411-1)와 교정용 화소(411-2)가 혼재하도록 해도 된다.

또한, 교정용 화소(411) 및 화소(121a) 중 적어도 어느 일방은, 그들이 가지는 입사각 지향성의 패턴(즉, 차광막의 폭 크기)에 기초하여 소정의 규칙성을 가지도록 한 배열 순서로 배치되도록 해도 된다. 즉, 일방향 지향성 화소 출력 단위 및 화상 복원용 화소 출력 단위 중 적어도 어느 일방은, 그 입사각 지향성의 소정의 규칙성에 기초하는 배열 순서로 배치되도록 해도 된다. 예를 들면, X방향(예를 들면, 우측에서 좌측을 향해) 또는 Y방향(예를 들면, 위에서 아래를 향해), 차광막의 폭이 서서히 넓어지도록 한 순서대로, 교정용 화소(411) 및 화소(121a)가 배치되도록 해도 된다. 이와 같이 입사각 지향성의 패턴에 대해 규칙성을 갖도록 각 화소를 배치함으로써, 예를 들면 입사각 지향성의 보간 등의 연산을 보다 용이하게 행할 수 있다.

또한, 검출 신호의 교정은, 일부의 화소(121a)에 대해서만 행하여지도록 해도 된다.

<생성 처리의 흐름>

이상과 같은 구성의 수광부(111)를 갖는 촬상 소자(121)(도 1)는, 생성 처리를 실행함으로써, 입사각 지향성의 교정, 즉, 촬상 소자(121)의 실제 특성에 맞춘(또는, 보다 근사시킨) 복원 행렬의 생성을 행한다. 이 생성 처리의 흐름의 예를, 도 25의 플로우차트를 참조하여 설명한다.

생성 처리가 개시되면, 촬상 소자(121)의 복원 행렬 생성부(102)는, 스텝(S101)에 있어서, 촬상 소자(121)의 일방향 지향성 화소 출력 단위로부터의 출력을 이용하여 생성되는 정보로서, 촬상 소자(121)(수광부111)의 각 화소(화상 복원용 화소 출력 단위)의 입사각 지향성의 교정에 관한 정보이며, 촬상 소자(121)(수광부111)의 실제 입사각 지향성과 그 설계값 사이의 어긋남을 직접적 또는 간접적으로 나타내는 정보가 포함되는 교정 정보를 취득한다. 이 교정 정보는, 예를 들면 촬상 소자(121)의 외부로부터 공급된다.

스텝(S102)에 있어서, 복원 행렬 생성부(102)는, 스텝(S101)에서 취득된 교정 정보를 이용하여, 촬상 소자(121)(수광부111)의 실제 입사각 지향성에 대응하는 복원 행렬을 생성한다.

스텝(S103)에 있어서, 복원 행렬 생성부(102)는, 스텝(S102)의 처리에 의해 생성된 복원 행렬을, 복원 행렬 기억부(103)에 공급하고, 기억시킨다.

스텝(S103)의 처리가 종료하면, 생성 처리가 종료한다. 이와 같이 생성 처리를 행함으로써, 촬상 소자(121)는, 촬상 소자(121)(수광부111)의 실제 입사각 지향성에 대응하는 복원 행렬을, 보다 용이하게 생성할 수 있다.

<촬상 처리의 흐름>

또한, 촬상 소자(121)(도 1)는, 촬상 처리를 실행함으로써, 상술한 생성 처리에 의해 생성된 복원 행렬을 이용하여 검출 화상으로부터 복원 화상을 생성한다. 이 촬상 처리의 흐름의 예를, 도 26의 플로우차트를 참조하여 설명한다.

촬상 처리가 개시되면, 촬상 소자(121)는, 스텝(S121)에 있어서, 피사체를 촬상하고, 검출 화상을 생성한다. 예를 들면, 수광부(111)는, 피사체로부터의 광을 수광하고, 그 수광량을 나타내는 전하를 검출 신호(검출 화상)로서 출력한다. A/D 변환부(101)는, 그 출력된 아날로그 신호의 검출 신호(검출 화상)를 A/D 변환한다.

스텝(S122)에 있어서, 복원부(104)는, 복원 행렬 기억부(103)로부터 복원 행렬을 판독하고, 취득한다. 이 복원 행렬은, 예를 들면 생성 처리에 의해 생성된, 촬상 소자(121)(수광부111)의 실제 입사각 지향성에 대응하는 복원 행렬이다. 또한, 복원부(104)는, 스텝(S121)에서 생성된 디지털 데이터의 검출 신호(검출 화상)를 취득한다. 복원부(104)는, 취득한 그 복원 행렬 및 검출 화상을 이용하여, 복원 화상을 생성한다.

스텝(S123)에 있어서, 출력부(106)는, 스텝(S122)에서 생성된 복원 화상을, 촬상 소자(121)의 외부에 출력한다.

스텝(S124)에 있어서, 연관부(105)는, 복원 행렬 기억부(103)로부터 복원 행렬을 판독하고, 취득한다. 또한, 연관부(105)는, 스텝(S121)에서 생성된 검출 화상에, 그 복원 행렬을 연관시킨다.

스텝(S125)에 있어서, 출력부(106)는, 스텝(S124)에서 연관된 데이터(검출 화상 및 복원 행렬)를, 촬상 소자(121)의 외부에 출력한다.

스텝(S125)의 처리가 종료하면 촬상 처리가 종료한다. 이와 같이 촬상 처리를 행함으로써, 촬상 소자(121)는, 보다 정확한 복원 화상을 생성할 수 있다.

또한, 스텝(S122) 및 스텝(S123)의 각 처리, 또는, 스텝(S124) 및 스텝(S125)의 각 처리 중 어느 일방을 생략해도 된다. 또한, 스텝(S122) 및 스텝(S123)의 각 처리와, 스텝(S124) 및 스텝(S125)의 각 처리의 처리순서는 임의이다. 예를 들면, 스텝(S124) 및 스텝(S125)의 각 처리를 행하고 나서, 스텝(S122) 및 스텝(S123)의 각 처리를 행하도록 해도 되고, 스텝(S122) 및 스텝(S123)의 각 처리와, 스텝(S124) 및 스텝(S125)의 각 처리를, 병행하여 실행하도록 해도 된다.

<교정 장치>

다음으로, 이상과 같은 촬상 소자(121)의 교정에 대해 설명한다. 이 교정에 있어서는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위를 구비하고, 그 복수의 화소 출력 단위는, 행렬 형상으로 배치되며, 적어도 일부의 화소 출력 단위가, 그 행렬의 행방향 및 열방향의 양쪽 모두에 입사각 지향성을 갖는 복수의 화상 복원용 화소 출력 단위와, 그 행렬의 행방향으로만 또는 그 행렬의 열방향으로만 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위를 포함하는 촬상 소자의, 그 일방향 지향성 화소 출력 단위로부터의 출력을 이용하여 생성되는 교정 정보를 이용하여, 그 복수의 화상 복원용 화소 출력 단위의 출력인 검출 화상으로부터 복원 화상을 생성할 때에 사용되는 복원 행렬을 생성하도록 해도 된다.

예를 들면, 정보 처리 장치에 있어서, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위를 구비하고, 그 복수의 화소 출력 단위는, 행렬 형상으로 배치되며, 적어도 일부의 화소 출력 단위가, 그 행렬의 행방향 및 열방향의 양쪽 모두에 입사각 지향성을 갖는 복수의 화상 복원용 화소 출력 단위와, 그 행렬의 행방향으로만 또는 그 행렬의 열방향으로만 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위를 포함하는 촬상 소자와, 그 일방향 지향성 화소 출력 단위로부터의 출력을 이용하여 생성되는 교정 정보를 이용하여, 그 복수의 화상 복원용 화소 출력 단위의 출력인 검출 화상으로부터 복원 화상을 생성할 때에 사용되는 복원 행렬을 생성하는 생성부를 구비하도록 해도 된다.

도 27은, 본 개시의 기술을 적용한 정보 처리 장치의 일 실시형태인 교정 장치의 주요 구성예를 나타내는 도면이다. 도 27에 나타내는 교정 장치(500)는, 소정의 위치에 설치된 촬상 소자(121)의 교정을 행하는 장치이다.

도 27에 나타내는 바와 같이, 교정 장치(500)는, 광조사부(501), 교정부(502), 및 교정 정보 기입부(503)를 갖는다.

광조사부(501)는, 소정의 위치에 설치된 촬상 소자(121)에 대해 광을 조사하고, 그 광을 촬상 소자(121)에 검출시킨다(점선 화살표). 광조사부(501)와 촬상 소자(121)는 충분한 거리가 떨어져 있고, 광조사부(501)로부터 조사되어, 촬상 소자(121)에 도달하는 광은, 도 28의 A에 나타내는 바와 같이 평행광이 된다(간주할 수 있다).

또한, 광조사부(501)는, 도 28의 A에 나타내는 바와 같이, 서로 다른 위치에 복수의 광원(511)(도면 중 광원(511-1) 내지 광원(511-3))을 가지고 있다. 보다 구체적으로는, 예를 들면 도 28의 B에 나타내는 바와 같이, 복수의 광원(511)이 촬상 소자(121)에 대해 광조사부(501)의 광조사면을 따라 서로 직각인 2방향(X방향 및 Y방향)에 소정의 간격으로 늘어서 배치되어 있다.

각 광원(511)이 점등함으로써 촬상 소자(121)에 도달하는 광은 상술한 바와 같이 평행광이 되므로, 그들은 서로 다른 입사각이 된다. 즉, 광조사부(501)는, 각 광원(511)을 순차 점등시킴으로써, 서로 다른 입사각으로 촬상 소자(121)에 광을 조사할 수 있다. 즉, 도 28의 B에 있어서, 도면 중 횡방향(X방향)으로 배열되는 복수의 광원(511)은, 그 X방향의 각도(x각도)의 조정용의 광원군이다. 이 X방향은 도 8의 X방향(즉, 도 24에 있어서의 화소 행렬의 행방향)에 대응한다. 광조사부(501)는, 도 8의 X방향에 관한 가중치의 그래프를 생성할 때에(도 8의 X방향에 관한 가중치의 그래프를 생성하기 위해), 이 X방향으로 배열되는 복수의 광원(511)의 각각을 순차 점등시킨다. 또한, 도 28의 B에 있어서, 도면 중 종방향(Y방향)으로 배열되는 복수의 광원(511)은, 그 Y방향의 각도(y각도)의 조정용의 광원군이다. 이 Y방향은 도 8의 Y방향(즉, 도 24에 있어서의 화소 행렬의 열방향)에 대응한다. 광조사부(501)는, 도 8의 Y방향에 관한 가중치의 그래프를 생성할 때에 (도 8의 Y방향에 관한 가중치의 그래프를 생성하기 위해), 이 Y방향으로 배열되는 복수의 광원(511)의 각각을 순차 점등시킨다.

또한, 광조사부(501)가, 가동식 광원을 구비하고, 그 가동식 광원을 이동시키면서 점등시킴으로써(발광시킴으로써), 평행광의 촬상 소자(121)로의 입사각을 가변으로 하도록 해도 된다. 예를 들면, 광조사부(501)가, 이 가동식 광원을, 도 28의 B 중의 횡방향(X방향)으로 이동시키고, 도 28의 B에 나타내는 x각도의 조정용의 각 광원의 위치에 있어서 점등시킴으로써, 상술한 예와 마찬가지로, 촬상 소자(121)에의, 도 8의 X방향에 관한 가중치의 그래프를 생성하기 위한 평행광 조사를 행할 수 있다. 또한, 예를 들면, 광조사부(501)가, 이 가동식 광원을, 도 28의 B 중의 종방향(Y방향)으로 이동시키고, 도 28의 B에 나타내는 y각도의 조정용의 각 광원의 위치에서 점등시킴으로써, 상술한 예와 마찬가지로, 촬상 소자(121)에의, 도 8의 Y방향에 관한 가중치의 그래프 생성을 위한 평행광 조사를 행할 수 있다.

촬상 소자(121)는, 이와 같이 각 광원(511)으로부터 조사된 광을 검출하고, 교정용 화소(411)에 있어서 검출 신호를 생성하고, 그것을 교정부(502)에 공급한다. 예를 들면, 도 8의 X방향에 관한 가중치의 그래프를 생성할 때에(도 8의 X방향에 관한 가중치의 그래프를 생성하기 위해), 촬상 소자(121)의 각 화소(적어도 교정용 화소(411-1))는, 순차 점등되는 X방향으로 배열되는 각 광원(511)으로부터의 실제의 입사광을 각각 검출하여 검출 신호를 생성한다. 마찬가지로, 도 8의 Y방향에 관한 가중치의 그래프를 생성할 때에(도 8의 Y방향에 관한 가중치의 그래프를 생성하기 위해), 촬상 소자(121)의 각 화소(적어도 교정용 화소(411-2))는, 순차 점등되는 Y방향으로 배열되는 각 광원(511)으로부터의 실제의 입사광을 각각 검출하여 검출 신호를 생성한다.

교정부(502)는, 그 교정용 화소(411)에 있어서 생성된 검출 신호에 기초하여 촬상 소자(121)의 교정 정보를 생성한다. 즉, 촬상 소자(121)로부터는 다양한 입사각의 입사광에 대한 검출 신호가 공급되므로, 교정부(502)는, X방향 및 Y방향의 각각에 대해, 입사각에 따라 신호값을 플롯함으로써, 도 8의 가중치의 그래프를 생성할 수 있다. 예를 들면, 교정부(502)는, 촬상 소자(121)의 교정용 화소(411-1)에 있어서 생성된, X방향으로 배열되는 각 광원(511)으로부터의 입사광의 검출 신호(실측값)에 기초하여 도 8의 X방향에 관한 가중치의 그래프를 생성한다. 마찬가지로, 교정부(502)는, 촬상 소자(121)의 교정용 화소(411-2)에 있어서 생성된, Y방향으로 배열되는 각 광원(511)으로부터의 입사광의 검출 신호(실측값)에 기초하여 도 8의 Y방향에 관한 가중치의 그래프를 생성한다. 즉, 교정부(502)는, 도 8의 X방향의 가중치의 그래프(실측값)와 도 8의 Y방향의 가중치의 그래프(실측값)를, 서로 독립적으로 생성할 수 있다. 따라서, 교정부(502)는, 교정용 화소(411)의 실제 입사각 지향성을 구할 수 있다.

교정부(502)는, 그와 같이 구한 교정용 화소(411)의 실제 입사각 지향성을 이용하여, 촬상 소자(121)의 유효 화소 영역(401) 내의 각 화소(121a)의 (화상 복원용 화소 출력 단위의) 입사각 지향성의 교정에 관한 정보인 교정 정보를 생성한다.

예를 들면, 교정부(502)는, 교정용 화소(411)의 실제 입사각 지향성을 이용하여, 화소(121a)의 실제 입사각 지향성을 도출하고, 그 화소(121a)의 실제 입사각 지향성을 포함하는 교정 정보를 생성한다.

또한, 예를 들면, 교정부(502)는, 교정용 화소(411)의 실제 입사각 지향성을 이용하여, 화소(121a)의 실제 입사각 지향성을 도출하고, 그 도출한 화소(121a)의 실제 입사각 지향성과, 미리 기억하고 있는 화소(121a)의 입사각 지향성의 설계값의 어긋남을 구하고, 그 어긋남을 나타내는 정보를 포함하는 교정 정보를 생성해도 된다. 그 경우, 예를 들면, 교정부(502)는, 화소(121a)의 차광막(121b)의 위치 어긋남을 구하고, 그 위치 어긋남을 나타내는 정보를 포함하는 교정 정보를 생성한다. 또한, 예를 들면, 교정부(502)는, 촬상 소자(121)의 온-칩 렌즈(121c)의 높이의 어긋남을 구하고, 그 높이의 어긋남을 나타내는 정보를 포함하는 교정 정보를 생성한다. 또한, 설계값과의 어긋남을 이용한 교정 방법은, 특허문헌 3에 기재되어 있다(도 21이나 그 설명 등). 교정부(502)는, 예를 들면 이 방법을 이용하여 교정 정보를 생성하면 된다.

또한, 일반적으로, 촬상 소자(121)의 마스크(차광막)는, 스테퍼(stepper)에 의해 일괄 노광을 행하기 때문에, 시프트되는 형태에는 패턴이 있고, 수광부(111) 전체에서 균일하게 시프트되는 경우가 많고, 화소마다 독립적으로 시프트될 가능성은 낮다.

즉, 차광막의 시프트 형태는 도 29에 나타내는 바와 같이, 주로 이하의 패턴으로 된다.

1: 수광부(111)에 형성되는 화소 행렬의 전체 화소의 차광막이 X방향으로 시프트된다(화살표(521)).

2: 수광부(111)에 형성되는 화소 행렬의 전체 화소의 차광막이 Y방향으로 시프트된다(화살표(522)).

3: 수광부(111)에 형성되는 화소 행렬의 전체 화소의 차광막이 전체적으로 회전 방향으로 시프트된다(화살표(523)).

4: 온-칩 렌즈(121c)의 높이가 시프트된다(화면 전체).

따라서, 교정부(502)는, 상술한 바와 같이 각 교정용 화소(411)의 실제 입사각 지향성으로부터 각 화소(121a)에 관한 교정 정보를 개별적으로 구하도록 해도 되지만, 각 교정용 화소(411)의 실제 입사각 지향성을 이용하여, 이러한 수광부(111) 전체의 어긋남을 검출하고, 그것을 기초로 교정 정보를 생성하도록 해도 된다.

예를 들면, 도 30에 나타내는 바와 같이, 유효 화소 영역(401)의 X방향(화소 행렬의 행방향, 도 30의 예에 있어서는 도면 중 횡방향) 또는 Y방향(화소 행렬의 열방향, 도 30의 예에 있어서는 도면 중 종방향), 또는 그 양쪽 모두의 외측 영역인 교정용 화소 영역(402)에 교정용 화소(411)를 설치함으로써, 교정부(502)는, 이러한 수광부(111) 전체의 어긋남을 용이하게 검출할 수 있다.

예를 들면, 유효 화소 영역(401)의 Y방향(도면 중 종방향)의 외측 영역인 교정용 화소 영역(402-1) 및 교정용 화소 영역(402-3)의 각각에 설치된 교정용 화소(411-1)에 대해, 실제 검출 신호로부터 도출된 도 8의 가중치의 그래프(유효 화소 영역(401)의 X방향(도면 중 횡방향)의 입사각 지향성)의, 설계값에 대한 어긋남의 방향이 서로 동일한 경우, 교정부(502)는, 수광부(111) 전체에서, 각 화소의 차광막이 그 X방향으로 시프트되어 있다고 판단할 수 있다. 또한, 양쪽 영역의 교정용 화소(411-1)에 대해, 실제 검출 신호로부터 도출된 도 8의 가중치의 그래프(유효 화소 영역(401)의 X방향(도면 중 횡방향)의 입사각 지향성)의, 설계값에 대한 어긋남의 방향이 서로 다른 경우, 교정부(502)는, 수광부(111) 전체에서, 각 화소의 차광막이 수광면을 따라 회전 방향으로 시프트되어 있다고 판단할 수 있다.

또한, 예를 들면, 유효 화소 영역(401)의 X방향(도면 중 횡방향)의 외측 영역인 교정용 화소 영역(402-2) 및 교정용 화소 영역(402-4)의 각각에 설치된 교정용 화소(411-2)에 대해, 실제 검출 신호로부터 도출된 도 8의 가중치의 그래프(유효 화소 영역(401)의 Y방향(도면 중 종방향)의 입사각 지향성)의, 설계값에 대한 어긋남의 방향이 서로 동일한 경우, 교정부(502)는, 수광부(111) 전체에서 각 화소의 차광막이 그 Y방향(도면 중 종방향)으로 시프트되어 있다고 판단할 수 있다. 또한, 양쪽 영역의 교정용 화소(411-2)에 대해, 실제 검출 신호로부터 도출된 도 8의 가중치의 그래프(유효 화소 영역(401)의 Y방향(도면 중 종방향)의 입사각 지향성)의, 설계값에 대한 어긋남의 방향이 서로 다른 경우, 교정부(502)는, 수광부(111) 전체에서, 각 화소의 차광막이 수광면을 따라 회전 방향으로 시프트되어 있다고 판단할 수 있다.

나아가, 예를 들면, 유효 화소 영역(401)을 둘러싸는 교정용 화소 영역(402-1) 내지 교정용 화소 영역(402-4)의 각각에 설치된 교정용 화소(411)에 대해, 실제 검출 신호로부터 도출된 도 8의 가중치의 그래프(유효 화소 영역(401)의 X방향(도면 중 횡방향) 또는 Y방향(도면 중 종방향)의 입사각 지향성)의 기울기가 설계값에 대해 모두 시프트되어 있는 경우, 교정부(502)는, 온-칩 렌즈(121c)의 높이가 시프트되어 있다고 판단할 수 있다.

교정부(502)는, 이렇게 하여 생성한 교정 정보를 교정 정보 기입부(503)에 공급한다.

교정 정보 기입부(503)는, 공급된 교정 정보를 촬상 소자(121)(의 복원 행렬 생성부(102))에 기입한다. 즉, 촬상 소자(121)의 복원 행렬 생성부(102)는, 이와 같이 교정 장치(500)로부터 공급된 교정 정보를 이용하여 복원 행렬을 생성한다(또는 교정한다). 따라서, 촬상 소자(121)는, 보다 정확한 복원 화상을 생성할 수 있다.

<교정 방법 예 1>

교정 방법의 보다 구체적인 예에 대해 설명한다. 예를 들면, 광조사부(501)가, 촬상 소자(121)로의 입사각을 바꾸면서 복수회 광(평행광)을 조사하고, 교정부(502)가, 그 검출 결과(각 회의 검출 신호의 신호 레벨)에 기초하여 도 8의 가중치의 그래프(즉, 입사각 지향성)를 도출하고, 그 정보를 포함하는 교정 정보를 생성하도록 해도 된다.

도 28을 참조하여 설명한 바와 같이, 광조사부(501)는, 복수의 광원(511)을 순차 점등시킴으로써, 서로 다른 입사각으로 촬상 소자(121)에 광을 조사한다. 교정부(502)는, 각 입사각의 광에 대응하는 교정용 화소(411)의 검출 신호의 신호 레벨과, 그 입사각의 관계를 그래프화한다(도 31의 A). 이와 같이 함으로써, 도 8의 가중치의 그래프가 도출된다.

예를 들면, 광조사부(501)는, 도 8의 X방향(도 24에 있어서의 화소 행렬의 행방향)에 대응하는 도 28의 B의 횡방향으로 배열되는 복수의 광원(511)의 각각을 순차 점등시킨다. 이에 대해, 교정부(502)는, 각 광에 대응하는 교정용 화소(411-1)의 검출 신호의 신호 레벨을 검출하고, 그 검출 결과와 입사각의 관계를 그래프화함으로써, 도 8의 X방향에 관한 가중치의 그래프(즉, 화소(121a)(화상 복원용 화소 출력 단위)의, 도 24에 있어서의 화소 행렬의 행방향의 입사각 지향성)를 도출한다.

마찬가지로, 광조사부(501)는, 도 8의 Y방향(도 24에 있어서의 화소 행렬의 열방향)에 대응하는 도 28의 B의 종방향으로 배열되는 복수의 광원(511)의 각각을 순차 점등시킨다. 이에 대해, 교정부(502)는, 각 광에 대응하는 교정용 화소(411-2)의 검출 신호의 신호 레벨을 검출하고, 그 검출 결과와 입사각의 관계를 그래프화함으로써, 도 8의 Y방향에 관한 가중치의 그래프(즉, 화소(121a)(화상 복원용 화소 출력 단위)의, 도 24에 있어서의 화소 행렬의 열방향의 입사각 지향성)를 도출한다.

교정부(502)는, 이상과 같이 도출된 화소(121a)(화상 복원용 화소 출력 단위)의, 도 24에 있어서의 화소 행렬의 행방향의 입사각 지향성과, 열방향의 입사각 지향성을 포함하는 교정 정보를 생성하고, 그것을 교정 정보 기입부(503)에 공급한다. 교정 정보 기입부(503)는, 그 교정 정보를 촬상 소자(121)에 공급한다.

이와 같이 함으로써, 교정부(502)는, 화소(121a)(화상 복원용 화소 출력 단위)의, 도 24에 있어서의 화소 행렬의 행방향의 입사각 지향성과, 열방향의 입사각 지향성을 각각 도출하고, 그들을 포함하는 교정 정보를 생성할 수 있다.

예를 들면, 도 24에 있어서, 서로 동일한 열의, 유효 화소 영역(401)의 화소(121a)와 교정용 화소 영역(402)의 교정용 화소(411-1)가, 서로 동일한, 화소 행렬의 행방향의 입사각 지향성을 가지는 것으로 한다. 마찬가지로, 서로 동일한 행의, 유효 화소 영역(401)의 화소(121a)와 교정용 화소 영역(402)의 교정용 화소(411-2)가, 서로 동일한, 화소 행렬의 열방향의 입사각 지향성을 가지는 것으로 한다.

이 경우, 교정용 화소(411-1)의 화소 행렬의 행방향의 입사각 지향성을 구함으로써, 유효 화소 영역(401)의, 그 교정용 화소(411-1)와 동일한 열의 화소(121a)의, 화소 행렬의 행방향의 입사각 지향성을 구할 수 있다. 마찬가지로, 교정용 화소(411-2)의 화소 행렬의 열방향의 입사각 지향성을 구함으로써, 유효 화소 영역(401)의, 그 교정용 화소(411-2)와 동일한 행의 화소(121a)의, 화소 행렬의 열방향의 입사각 지향성을 구할 수 있다.

또한, 도 24의 예의 경우, 교정용 화소(411-1)는, 유효 화소 영역(401)의 도면 중의 상측과 하측에 존재한다. 따라서, 유효 화소 영역(401)의 도면 중의 상측의 교정용 화소(411-1)와, 유효 화소 영역(401)의 도면 중 하측의 교정용 화소(411-1)에서, 화소 행렬의 행방향의 입사각 지향성의 평균을 도출하고, 그 평균값을 그 교정용 화소(411-1)와 동일한 열의 화소(121a)의, 화소 행렬의 행방향의 입사각 지향성으로 해도 된다. 즉, 1개의 화소(121a)에 대해 복수의 교정용 화소(411-1)가 대응하는 경우, 그들의 교정용 화소(411-1)의 화소 행렬의 행방향의 입사각 지향성의 통계값(예를 들면, 평균값이나 중간값 등)을, 그 화소(121a)의 화소 행렬의 행방향의 입사각 지향성으로 해도 된다.

마찬가지로, 교정용 화소(411-2)는, 유효 화소 영역(401)의 도면 중 우측과 좌측에 존재한다. 따라서, 유효 화소 영역(401)의 도면 중 우측의 교정용 화소(411-2)와, 유효 화소 영역(401)의 도면 중 좌측의 교정용 화소(411-2)에서, 화소 행렬의 열방향의 입사각 지향성의 평균을 도출하고, 그 평균값을 그 교정용 화소(411-2)와 동일한 행의 화소(121a)의, 화소 행렬의 열방향의 입사각 지향성으로 해도 된다. 즉, 1개의 화소(121a)에 대해 복수의 교정용 화소(411-2)가 대응하는 경우, 그들의 교정용 화소(411-2)의 화소 행렬의 열방향의 입사각 지향성의 통계값(예를 들면, 평균값이나 중간값 등)을, 그 화소(121a)의 화소 행렬의 열방향의 입사각 지향성으로 해도 된다.

이러한 경우에 있어서, 교정용 화소(411)의 입사각 지향성을 도출할 때에, 상술한 바와 같이, 광조사부(501)가, 촬상 소자(121)로의 입사각을 바꾸면서 복수회 광을 조사하고, 교정부(502)가 그 검출 결과(각 회의 검출 신호의 신호 레벨)에 기초하여 실제 입사각 지향성(화소(121a)의 실제의 도 8의 가중치의 그래프)을 도출하도록 해도 된다.

<교정 방법 예 2>

또한, 예를 들면, 광조사부(501)가, 촬상 소자(121)에 소정의 입사각으로 광(평행광)을 1회 조사하고, 교정부(502)가, 그 검출 결과(검출 신호의 신호 레벨)와, 촬상 소자(121)의 설계값으로부터 도출되는 도 8의 가중치의 그래프(즉, 입사각 지향성)에 기초하여 실제 입사각 지향성(화소(121a)의 실제의 도 8의 가중치의 그래프)를 도출하고, 그 정보를 포함하는 교정 정보를 생성하도록 해도 된다(도 31의 B).

예를 들면, 광조사부(501)는, 촬상 소자(121)에 대해 소정의 입사각으로 광을 조사하도록, 소정의 광원(511)을 점등시킨다. 예를 들면, 광조사부(501)는, 촬상 소자(121)에 대해 수직으로 광을 조사하도록, 도 28의 B의 중앙의 광원(511)(X방향으로 배열되는 광원(511)군과 Y방향으로 배열되는 광원(511)군의 양쪽 모두에 속하는 광원(511))을 점등시킨다.

이에 대해, 교정부(502)는, 그 광에 대응하는 교정용 화소(411-1)의 검출 신호의 신호 레벨을 검출한다. 그리고, 교정부(502)는, 그 신호 레벨과, 촬상 소자(121)의 설계값으로부터 도출되는 도 8의 X방향의 가중치의 그래프의 어긋남(차)을 도출하고, 그 어긋남에 기초하여 화소(121a)(화상 복원용 화소 출력 단위)의 실제의, 도 24에 있어서의 화소 행렬의 행방향의 입사각 지향성을 도출한다.

마찬가지로, 교정부(502)는, 그 광에 대응하는 교정용 화소(411-2)의 검출 신호의 신호 레벨을 검출한다. 그리고, 교정부(502)는, 그 신호 레벨과, 촬상 소자(121)의 설계값으로부터 도출되는 도 8의 Y방향의 가중치의 그래프의 어긋남(차이)을 도출하고, 그 어긋남에 기초하여 화소(121a)(화상 복원용 화소 출력 단위)의 실제의, 도 24에 있어서의 화소 행렬의 열방향의 입사각 지향성을 도출한다.

이와 같이 함으로써, 광의 조사 횟수를 <교정 방법 예 1>의 경우보다 저감시킬 수 있다. 즉, 교정부(502)는, 보다 용이하게(보다 고속으로), 화소(121a)(화상 복원용 화소 출력 단위)의, 도 24에 있어서의 화소 행렬의 행방향의 입사각 지향성과, 열방향의 입사각 지향성을 각각 도출하고, 그들을 포함하는 교정 정보를 생성할 수 있다.

<교정 방법 예 1>에 있어서 설명한 경우에 적용하는 경우에 대해 설명한다. 예를 들면, 도 24에 있어서, 서로 동일한 열의, 유효 화소 영역(401)의 화소(121a)와 교정용 화소 영역(402)의 교정용 화소(411-1)가, 서로 동일한, 화소 행렬의 행방향의 입사각 지향성을 가지는 것으로 한다. 마찬가지로, 서로 동일한 행의, 유효 화소 영역(401)의 화소(121a)와 교정용 화소 영역(402)의 교정용 화소(411-2)가, 서로 동일한, 화소 행렬의 열방향의 입사각 지향성을 가지는 것으로 한다.

또한, 1개의 화소(121a)에 대해 복수의 교정용 화소(411-1)가 대응하는 경우, 이들 교정용 화소(411-1)의 화소 행렬의 행방향의 입사각 지향성의 통계값(예를 들면, 평균값이나 중간값 등)을, 그 화소(121a)의 화소 행렬의 행방향의 입사각 지향성으로 해도 된다. 마찬가지로, 1개의 화소(121a)에 대해 복수의 교정용 화소(411-2)가 대응하는 경우, 이들 교정용 화소(411-2)의 화소 행렬의 열방향의 입사각 지향성의 통계값(예를 들면, 평균값이나 중간값 등)을, 그 화소(121a)의 화소 행렬의 열방향의 입사각 지향성으로 해도 된다.

이러한 경우에 있어서, 교정용 화소(411)의 입사각 지향성을 도출할 때에, 상술한 바와 같이, 광조사부(501)가 촬상 소자(121)에 소정의 입사각으로 광을 1회 조사하고, 교정부(502)가 그 검출 결과(검출 신호의 신호 레벨)에 기초하여 실제 입사각 지향성(화소(121a)의 실제의 도 8의 가중치의 그래프)을 도출하도록 해도 된다.

<교정 방법 예 3>

또한, 예를 들면, 교정부(502)가, 복수의 교정용 화소(411)의 평행광 검출 결과(검출 신호의 신호 레벨)의 통계값을 이용하여, 화소(121a)의 실제 입사각 지향성(화소(121a)의 실제의 도 8의 가중치의 그래프)을 도출하고, 그 정보를 포함하는 교정 정보를 생성하도록 해도 된다.

예를 들면, 도 32의 예와 같이, 교정부(502)가, 교정용 화소 영역(402)(교정용 화소 영역(402-1) 내지 교정용 화소 영역(402-4))을 분할하는 소정의 소영역마다, 교정용 화소(411)의 평행광 검출 결과의 통계값을 도출하고, 그 통계값을 이용하여 화소(121a)의 실제 입사각 지향성을 도출하도록 해도 된다.

도 32의 예의 경우, 교정용 화소 영역(402-1)은 소영역(451-1) 내지 소영역(451-3)으로 분할되고, 교정용 화소 영역(402-2)은 소영역(452-1) 내지 소영역(452-3)으로 분할되고, 교정용 화소 영역(402-3)은 소영역(453-1) 내지 소영역(453-3)으로 분할되고, 교정용 화소 영역(402-4)은 소영역(454-1) 내지 소영역(454-3)으로 분할되어 있다. 이 교정용 화소 영역(402)의 분할수, 즉, 소영역의 수는 임의이며, 도 32의 예에 한정되지 않는다.

교정부(502)는, 이 소영역마다 교정용 화소(411)의 평행광 검출 결과의 통계값을 도출한다. 각각의 소영역에 포함되는 교정용 화소(411)의 수는 임의이다. 각각의 소영역에 포함되는 교정용 화소(411)의 수는 통일되어 있어도 되고, 통일되어 있지 않아도 된다. 또한, 도출하는 통계값은 임의이다. 예를 들면, 평균값이어도 되고, 중간값이어도 되고, 그 이외이어도 된다.

교정부(502)는, 도출한 소영역마다의 평행광 검출 결과의 통계값을 이용하여, 수광부(111) 전체에 대해, 화소(121a)의 실제 입사각 지향성과 설계값 간의 시프트 형태, 즉 차광막의 시프트 형태(어긋남의 크기나 방향 등)을 특정한다. 도 29를 참조하여 설명한 바와 같이, 일반적으로, 차광막은, 수광부(111) 전체에서 균일하게 시프트되는 경우가 많다. 즉, 차광막의 시프트 형태는 도 29에 나타내는 바와 같이, 주로 이하의 패턴으로 된다.

4: 온-칩 렌즈(121c)의 높이가 시프트된다(화면 전체).

교정부(502)는, 도출한 소영역마다의 평행광 검출 결과의 통계값을 이용하여, 차광막의 시프트 형태가, 이들 중 어떤 패턴인지를 특정한다.

예를 들면, 각각의 소영역의 통계값에 기초하는 입사각 지향성이, 그 설계값에 대해 모두 동일한 방향으로 시프트되어 있는 경우, 교정부(502)는, 전체 화소(121a)의 차광막이 그 방향으로 시프트되어 있다고 추정한다(즉, 상술한 패턴 1 또는 2인 것을 특정한다). 또한, 예를 들면, 교정용 화소 영역(402-1)의 각각의 소영역의 통계값에 기초하는 입사각 지향성이 도면 중 우측방향으로 시프트되고, 교정용 화소 영역(402-2)의 각각의 소영역의 통계값에 기초하는 입사각 지향성이 도면 중 하방향으로 시프트되고, 교정용 화소 영역(402-3)의 각각의 소영역의 통계값에 기초하는 입사각 지향성이 도면 중 좌측방향으로 시프트되고, 교정용 화소 영역(402-4)의 각각의 소영역의 통계값에 기초한 입사각 지향성이 도면 중 상방향으로 시프트되어 있는 경우, 교정부(502)는, 전체 화소(121a)의 차광막이 회전 방향으로 시프트되어 있다고 추정한다(즉, 상술한 패턴 3인 것을 특정한다). 나아가, 예를 들면, 각각의 소영역의 통계값에 기초하는 입사각 지향성의 기울기가, 그 설계값에 대해 모두 마찬가지로 시프트되어 있는 경우, 교정부(502)는, 온-칩 렌즈의 높이가 시프트되어 있다고 추정한다(즉, 상술한 패턴 4인 것을 특정한다).

그리고, 교정부(502)는, 이들 어긋남량(Δθx나 Δθy)에 기초하여 전체의 어긋남량이나 회전각 등을 도출한다.

이와 같이 통계값을 이용함으로써, 교정부(502)는, 일부 교정용 화소(411)에서 발생한 평행광 검출 결과의 이상(異常)값 등의 영향을 억제할 수 있다. 따라서, 교정부(502)는, 보다 정확하게, 화소(121a)의 실제 입사각 지향성을 도출할 수 있다.

<교정 처리의 흐름>

다음으로, 교정 장치(500)에 의해 실행되는 교정 처리의 흐름의 예를, 도 33의 플로우차트를 참조하여 설명한다.

교정처리가 개시되면, 교정 장치(500)의 광조사부(501)는, 스텝(S501)에 있어서, 처리 대상의 광원(511)으로부터 광을 조사한다.

스텝(S502)에 있어서, 촬상 소자(121)는, 그 광이 (광원(511)의 위치에 대응하는 소정의 입사각으로) 조사된 상태로 촬상하고, 교정용 화소(411)에 있어서 검출 신호를 생성한다.

스텝(S503)에 있어서, 교정부(502)는, 스텝(S501)에서 생성된 교정용 화소(411)의 검출 신호를 기억한다.

스텝(S504)에 있어서, 교정부(502)는, 모든 광원에 대해 처리를 행했는지 아닌지를 판정한다. 미처리 광원(511)이 존재한다고 판정된 경우, 처리는 스텝(S501)으로 리턴한다.

즉, 각 광원(511)에 대해, 스텝(S501) 내지 스텝(S504)이 실행된다. 그리고 스텝(S504)에 있어서, 모든 광원(511)에 대해, 교정용 화소(411)의 검출 신호가 얻어졌다고 판정된 경우, 처리는 스텝(S505)으로 진행한다.

스텝(S505)에 있어서, 교정부(502)는, 이들 검출 신호에 기초하여, 교정용 화소(411)의 실제 입사각 지향성을 구한다.

스텝(S506)에 있어서, 교정부(502)는, 교정용 화소(411)의 실제 입사각 지향성에 기초하여, 유효 화소 영역(401)의 각 화소(121a)의 실제 입사각 지향성을 구한다.

스텝(S507)에 있어서, 교정부(502)는, 스텝(S506)에서 구한 화소(121a)의 실제 입사각 지향성에 기초하여 교정 정보를 생성한다. 예를 들면, 교정부(502)는, 그 화소(121a)의 실제 입사각 지향성을 포함하는 교정 정보를 생성한다. 또한, 예를 들면, 교정부(502)는, 그 화소(121a)의 실제 입사각 지향성과, 미리 기억하고 있는 화소(121a)의 입사각 지향성의 설계값의 어긋남을 구하고, 그 어긋남을 나타내는 정보를 포함하는 교정 정보를 생성한다.

스텝(S508)에 있어서, 교정 정보 기입부(503)는, 그 교정 정보를 촬상 소자(121)의 복원 행렬 생성부(102)에 기입하고, 기억시킨다.

스텝(S508)의 처리가 종료하면 교정처리가 종료한다.

이와 같이 교정처리를 행함으로써, 교정 장치(500)는, 촬상 소자(121)의 교정을 보다 용이하게 행할 수 있다. 또한, 이에 의해, 촬상 소자(121)는, 보다 정확한 복원 화상을 생성할 수 있다.

<3. 제2 실시형태>

<촬상 장치>

본 기술은, 촬상 소자 이외에도 적용할 수 있다. 예를 들면, 본 기술은, 촬상 장치에도 적용할 수 있다.

예를 들면, 촬상 장치에 있어서, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위를 구비하고, 그 복수의 화소 출력 단위는, 행렬 형상으로 배치되며, 적어도 일부의 화소 출력 단위가, 그 행렬의 행방향 및 열방향의 양쪽 모두에 입사각 지향성을 갖는 복수의 화상 복원용 화소 출력 단위와, 그 행렬의 행방향으로만 또는 그 행렬의 열방향으로만 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위를 포함하는 촬상 소자와, 그 일방향 지향성 화소 출력 단위의 출력을 이용하여, 그 복수의 화상 복원용 화소 출력 단위의 출력인 검출 화상으로부터 복원 화상을 생성할 때에 사용되는 복원 행렬을 생성하는 생성부를 구비하도록 해도 된다.

즉, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위를 구비하고, 그 복수의 화소 출력 단위는, 행렬 형상으로 배치되며, 적어도 일부의 화소 출력 단위가, 그 행렬의 행방향 및 열방향의 양쪽 모두에 입사각 지향성을 갖는 복수의 화상 복원용 화소 출력 단위와, 그 행렬의 행방향으로만 또는 그 행렬의 열방향으로만 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위를 포함하는 촬상 소자의, 그 일방향 지향성 화소 출력 단위의 출력을 이용하여, 그 복수의 화상 복원용 화소 출력 단위의 출력인 검출 화상으로부터 복원 화상을 생성할 때에 사용되는 복원 행렬을 생성하도록 해도 된다.

이와 같이 함으로써, 이 촬상 장치는, 보다 정확한 복원 화상을 생성할 수 있다.

도 30은 본 기술을 적용한 촬상 장치의 일 실시형태의 주요 구성예를 나타내는 도면이다. 도 30에 나타내는 촬상 장치(600)는, 피사체를 촬상하고, 그 촬상 화상에 관한 전자 데이터를 얻는 장치이다.

도 30에 나타내는 바와 같이, 촬상 장치(600)는, 제어부(601), 입력부(611), 출력부(612), 기억부(613), 통신부(614), 및 기록 재생부(615)를 갖는다. 또한, 촬상 장치(600)는, 촬상 소자(621), 복원 행렬 생성부(622), 복원 행렬 기억부(623), 복원부(624), 연관부(625), 및 센서부(626)를 갖는다. 각 처리부 등은, 버스(610)를 통해 서로 접속되고, 서로 정보나 명령 등을 주고받을 수 있다.

또한, 촬상 소자(621), 복원 행렬 생성부(622), 복원 행렬 기억부(623), 복원부(624), 및 연관부(625)는, 일체화하여 촬상부(620)로 해도 된다. 촬상부(620)는, 어떠한 물리적 구성에 의해 실현되도록 해도 된다. 예를 들면, 촬상부(620)가, 시스템 LSI(Large Scale Integration) 등으로서의 프로세서로서 실현되도록 해도 된다. 또한, 촬상부(620)가, 예를 들면 복수의 프로세서 등을 이용하는 모듈, 복수의 모듈 등을 이용하는 디바이스 유닛, 또는, 디바이스 유닛에 그 밖의 기능을 더 부가한 세트 등(즉, 장치의 일부 구성)으로서 실현되도록 해도 된다. 또한, 촬상부(620)를 장치로서 실현하도록 해도 된다.

제어부(601)는, 촬상 장치(600) 내의 각 처리부 등의 제어에 관한 처리를 행하도록 구성된다. 예를 들면, 제어부(601)는, CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory) 등을 가지며, 그 CPU 등을 이용하여 프로그램을 실행함으로써, 상술한 처리를 행한다.

입력부(611)는, 정보의 입력에 관한 처리를 행하도록 구성된다. 예를 들면, 입력부(611)는, 조작 버튼, 다이얼, 스위치, 터치 패널, 리모트 컨트롤러, 센서 등의 입력 디바이스나 외부 입력 단자를 갖는다. 예를 들면, 입력부(611)는, 그들의 입력 디바이스에 의해 사용자 등의 외부로부터의 지시(입력된 조작에 대응하는 정보)를 접수한다. 또한, 예를 들면, 입력부(611)는, 외부 입력 단자를 통해, 외부 장치로부터 공급되는 임의의 정보(프로그램, 커맨드, 데이터 등)를 취득한다. 또한, 예를 들면, 입력부(611)는, 그 접수한 정보(취득한 정보)을, 버스(610)를 통해 다른 처리부 등에 공급한다.

또한, 입력부(611)가 가지는 센서는, 예를 들면 가속도 센서 등, 사용자 등의 외부로부터의 지시를 접수할 수 있는 것이라면, 어떠한 것이어도 된다. 또한, 입력부(611)가 갖는 입력 디바이스는 임의이며, 그 수도 임의이다. 입력부(611)가 복수 종류의 입력 디바이스를 가지도록 해도 된다. 예를 들면, 입력부(611)가, 상술한 예의 일부를 가지도록 해도 되고, 모두를 가지도록 해도 된다. 또한, 입력부(611)가, 상술한 예 이외의 입력 디바이스를 가지도록 해도 된다. 나아가, 예를 들면, 입력부(611)가, 버스(610)를 통해 공급되는 자신(입력 디바이스 등)의 제어 정보를 취득하고, 그 제어 정보에 기초하여 구동하도록 해도 된다.

출력부(612)는, 정보의 출력에 관한 처리를 행하도록 구성된다. 예를 들면, 출력부(612)는, 모니터 등의 화상 표시 디바이스, 프로젝터 등의 화상 투영 디바이스, 스피커 등의 음성 출력 디바이스, 외부 출력 단자 등을 갖는다. 예를 들면, 출력부(612)는, 그들의 출력 디바이스 등을 이용하여, 버스(610)를 통해 다른 처리부 등으로부터 공급되는 정보를 출력한다. 예를 들면, 출력부(612)는, 촬상 화상(복원 화상)을 모니터에 표시하거나, 촬상 화상(복원 화상)을 프로젝터로부터 투영하거나, 음성(예를 들면, 입력 조작이나 처리 결과 등에 대응하는 음성)을 출력하거나, 임의의 정보(프로그램, 커맨드, 데이터 등)를 외부(다른 기기)에 출력하거나 한다.

또한, 출력부(612)가 가지는 출력 디바이스 등은 임의이며, 그 수도 임의이다. 출력부(612)가 복수 종류의 출력 디바이스 등을 가지도록 해도 된다. 예를 들면, 출력부(612)가, 상술한 예의 일부를 가지도록 해도 되고, 모두를 가지도록 해도 된다. 또한, 출력부(612)가, 상술한 예 이외의 출력 디바이스 등을 가지도록 해도 된다. 나아가, 예를 들면, 출력부(612)가, 버스(610)를 통해 공급되는 자신(출력 디바이스 등)의 제어 정보를 취득하고, 그 제어 정보에 기초하여 구동하도록 해도 된다.

기억부(613)는, 정보의 기억에 관한 처리를 행하도록 구성된다. 예를 들면, 기억부(613)는, 하드 디스크나 반도체 메모리 등과 같은, 임의의 기억 매체를 갖는다. 예를 들면, 기억부(613)는, 버스(610)를 통해 다른 처리부 등으로부터 공급되는 정보(프로그램, 커맨드, 데이터 등)를 그 기억 매체에 기억한다. 또한, 기억부(613)는, 출하 시에 있어서 임의의 정보(프로그램, 커맨드, 데이터 등)를 기억하고 있도록 해도 된다. 또한, 기억부(613)는, 임의의 타이밍에 있어서, 또는, 다른 처리부 등으로부터의 요구에 따라, 그 기억 매체에 기억되어 있는 정보를 판독하고, 판독한 정보를, 버스(610)를 통해 다른 처리부 등에 공급한다.

또한, 기억부(613)가 갖는 기억 매체는 임의이며, 그 수도 임의이다. 기억부(613)가 복수 종류의 기억 매체를 가지도록 해도 된다. 예를 들면, 기억부(613)가, 상술한 기억 매체의 예의 일부를 가지도록 해도 되고, 모두를 가지도록 해도 된다. 또한, 기억부(613)가, 상술한 예 이외의 기억 매체 등을 가지도록 해도 된다. 또한, 예를 들면, 기억부(613)가, 버스(610)를 통해 공급되는 자신의 제어 정보를 취득하고, 그 제어 정보에 기초하여 구동하도록 해도 된다.

통신부(614)는, 다른 장치와의 통신에 관한 처리를 행하도록 구성된다. 예를 들면, 통신부(614)는, 소정의 통신 매체(예를 들면, 인터넷 등의 임의의 네트워크)을 통해 외부 장치와 프로그램이나 데이터 등의 정보를 주고받는 통신을 행하는 통신 디바이스를 갖는다. 예를 들면, 통신부(614)는, 다른 장치와 통신을 행하고, 버스(610)를 통해 다른 처리부 등으로부터 공급되는 정보(프로그램, 커맨드, 데이터 등)를, 그 통신 상대인 다른 장치에 공급한다. 또한, 예를 들면, 통신부(614)는, 다른 장치와 통신을 행하고, 그 통신 상대인 다른 장치로부터 공급되는 정보를 취득하고, 그 정보를, 버스(610)를 통해 다른 처리부 등에 공급한다.

통신부(614)가 갖는 통신 디바이스는 어떠한 것이어도 된다. 예를 들면, 네트워크 인터페이스이어도 된다. 통신 방법이나 통신 규격은 임의이다. 예를 들면, 통신부(614)가, 유선 통신을 할 수 있도록 해도 되고, 무선통신을 할 수 있도록 해도 되고, 그 양쪽 모두를 할 수 있도록 해도 된다. 또한, 예를 들면, 통신부(614)가, 버스(610)를 통해 공급되는 자신(통신 디바이스 등)의 제어 정보를 취득하고, 그 제어 정보에 기초하여 구동하도록 해도 된다.

기록 재생부(615)는, 자신에게 장착된 기록 매체(616)를 이용한 정보의 기록이나 재생에 관한 처리를 행하도록 구성된다. 예를 들면, 기록 재생부(615)는, 자신에게 장착된 기록 매체(616)에 기록되어 있는 정보(프로그램, 커맨드, 데이터 등)를 판독하고, 그 정보를, 버스(610)를 통해 다른 처리부 등에 공급한다. 또한, 예를 들면, 기록 재생부(615)는, 버스(610)를 통해 다른 처리부 등으로부터 공급되는 정보를 취득하고, 그 정보를, 자신에게 장착된 기록 매체(616)에 기입한다(기록한다). 한편, 예를 들면, 기록 재생부(615)가, 버스(610)를 통해 공급되는 자신의 제어 정보를 취득하고, 그 제어 정보에 기초하여 구동하도록 해도 된다.

또한, 기록 매체(616)는, 어떠한 것이어도 된다. 예를 들면, 자기 디스크, 광 디스크, 광자기 디스크, 반도체 메모리 등이어도 된다. 또한, 기록 매체(616)는, 기록 재생부(615)에 탈착 가능한(리무버블) 기록 매체이어도 되고, 촬상 장치(600)에 내장되는, 기록 재생부(615)와 고정적으로 접속되는 기록 매체이어도 된다.

촬상 소자(621)는 피사체를 촬상하고, 각 화소에 있어서 검출 신호를 생성하고, 그 검출 신호로 이루어지는 검출 화상을 출력하고, 복원부(624) 및 연관부(625)에 공급한다.

복원 행렬 생성부(622)는, 상술한 복원 행렬 생성부(102)와 마찬가지의 처리부이며, 마찬가지의 구성을 가지며, 마찬가지의 처리를 행한다. 예를 들면, 복원 행렬 생성부(622)는, 예를 들면 촬상 장치(600)의 외부로부터 공급되는, 일방향 지향성 화소 출력 단위의 출력을 이용하여 생성되는 정보이며, 촬상 소자(621)의 각 화소(화상 복원용 화소 출력 단위)의 입사각 지향성의 교정에 관한 교정 정보를 이용하여, 화소(121a)의 실제 입사각 지향성에 대응하는 복원 행렬을 생성한다. 복원 행렬 생성부(622)는, 생성한 복원 행렬을 복원 행렬 기억부(623)에 공급한다.

복원 행렬 기억부(623)는, 상술한 복원 행렬 기억부(103)와 마찬가지의 처리부이며, 마찬가지의 구성을 가지며, 마찬가지의 처리를 행한다. 예를 들면, 복원 행렬 기억부(623)는, 복원 행렬 생성부(622)로부터 공급되는 복원 행렬을 취득하고, 그것을 기억 매체에 기억(보유)한다. 복원 행렬 기억부(623)는, 필요에 따라(예를 들면, 소정의 타이밍에 있어서 또는 요구에 따라), 그 기억 매체에 기억되어 있는 복원 행렬을 판독하고, 복원부(624) 또는 연관부(625), 또는 그 양쪽 모두에 공급한다.

복원부(624)는, 상술한 복원부(104)와 마찬가지의 처리부이며, 마찬가지의 교정을 가지며, 마찬가지의 처리를 행한다. 예를 들면, 복원부(624)는, 촬상 소자(621)로부터 공급된 검출 화상(검출 신호)에 대해, 복원 행렬 기억부(623)로부터 공급되는 복원 행렬(화소(121a)의 실제 입사각 지향성에 대응하는 복원 행렬)을 이용하여 소정의 연산을 행함으로써, 복원 화상을 생성한다. 복원부(624)는, 생성한 출력 데이터(복원 화상 등)를, 출력부(612) 내지 기록 재생부(615) 중 어느 하나 이상에 공급한다. 또한, 복원부(624)가, 복원 화상에 대해, 예를 들면 감마 보정(γ 보정)이나 화이트 밸런스 제어 등의 임의의 화상 처리를 실시하도록 해도 된다. 또한, 복원부(624)가, 복원 화상의 데이터 포맷을 변환하거나, 예를 들면 JPEG(Joint Photographic Experts Group), TIFF(Tagged Image File Format), GIF(Graphics Interchange Format) 등의 소정의 압축 방식으로 압축하거나 하도록 해도 된다.

연관부(625)는, 상술한 연관부(105)와 마찬가지의 처리부이며, 마찬가지의 구성을 가지며, 마찬가지의 처리를 행한다. 예를 들면, 연관부(625)는, 촬상 소자(621)로부터 공급되는 검출 화상(검출 신호)에, 복원 행렬 기억부(623)로부터 공급되는 복원 행렬(화소(121a)의 실제 입사각 지향성에 대응하는 복원 행렬)을 연관시킨다. 연관부(625)는, 연관된 데이터를, 출력 데이터로서, 출력부(612) 내지 기록 재생부(615) 중 어느 하나 이상에 공급한다. 또한, 이 검출 화상과 복원 행렬의 연관은, 기록 재생부(615) 등의 다른 처리부에 있어서 행하도록 해도 된다. 그 경우, 기록 재생부(615) 등을 연관부로 간주할 수 있고, 연관부(625)는 생략할 수 있다.

센서부(626)는, 검출에 관한 처리를 행하도록 구성된다. 예를 들면, 센서부(626)는, 임의의 센서를 가지며, 소정의 파라미터에 관한 검출을 행한다. 예를 들면, 센서부(626)는, 촬상 장치(600)의 주변 상태에 관한 파라미터나, 촬상 장치(600)의 상태에 관한 파라미터 등에 관한 검출을 행한다. 예를 들면, 센서부(626)는, 촬상 소자(121)의 상태에 관한 파라미터에 관한 검출을 행한다. 또한, 예를 들면, 센서부(626)는, 검출한 정보를, 버스(610)를 통해 다른 처리부 등에 공급한다.

이상과 같이, 촬상 장치(600)는, 촬상 소자(621)의 교정 정보를 이용하여 복원 행렬을 생성하고, 그 복원 행렬(화소(121a)의 실제 입사각 지향성에 대응하는 복원 행렬)을 이용하여 복원 화상을 생성할 수 있으므로, 보다 정확한 복원 화상을 생성할 수 있다. 또한, 촬상 장치(600)는, 그 복원 행렬(화소(121a)의 실제 입사각 지향성에 대응하는 복원 행렬)을 검출 화상에 연관시켜 다른 장치에 공급할 수 있으므로, 그 다른 장치는, 보다 정확한 복원 화상을 생성할 수 있다. 또한, 촬상 소자(121), 복원 행렬 생성부(622) 내지 센서부(626)는, 버스(610)를 통해 공급되는 자신의 제어 정보를 취득하고, 그 제어 정보에 기초하여 구동하도록 해도 된다.

또한, 이상과 같이, 촬상 소자(621)는, 복원 행렬의 생성 등의 처리를, 촬상 소자(621)의 외부에 있어서 행한다. 즉, 본 기술을 적용한 복원 행렬의 생성 등의 처리는, 촬상 소자의 내부 또는 외부(어느 일방)에 있어서 행할 수 있다.

<촬상 소자>

도 35는, 촬상 소자(621)의 주요 구성예를 나타내는 블록도이다. 도 35에 나타내는 바와 같이, 촬상 소자(621)는, 수광부(111) 및 그 밖의 처리부(112)(A/D 변환부(101) 및 출력부(106))를 갖는다. 즉, 촬상 소자(621)는, 촬상 소자(121)(도 1)와 비교하여, 복원 행렬 생성부(102) 내지 연관부(105)를 생략할 수 있다.

<4. 제3 실시형태>

<촬상 장치에 있어서의 촬상 소자의 교정>

또한, 촬상 장치(600)에 있어서, 촬상 소자(621)의 교정을 행할 수 있도록 해도 된다. 예를 들면, 도 36에 나타내는 바와 같이, 촬상 장치(600)에 부착부(650)를 장착하고, 그 부착부(650)에 설치된 광원(651)으로부터 광을 조사시켜, 촬상 장치(600)(촬상 소자(121))가 그것을 촬상하고, 그 검출 화상을 이용하여 촬상 소자(621)의 교정을 행하도록 해도 된다.

이 경우, 부착부(650)의 광원(651)은, 교정 장치(500)의 광조사부(501)의 광원(511)과 마찬가지의 구성을 가지며, 마찬가지로 점등시킬 수 있다. 즉, 각 광원(651)으로부터의 광은 평행광으로서 그 광원(651)의 위치에 따른 입사각으로 촬상 소자(121)에 입사한다.

<촬상 장치>

이 경우의 촬상 장치(600)의 주요 구성예를 도 37에 나타낸다. 도 37에 나타내는 바와 같이, 이 경우도 촬상 장치(600)는, 기본적으로 도 34의 경우와 마찬가지의 구성을 가지지만, 그 구성에 더하여, 교정부(661)를 더 구비한다.

교정부(661)는, 기본적으로, 교정 장치(500)의 교정부(502)와 마찬가지의 구성을 가지며, 마찬가지의 처리를 행한다. 예를 들면, 교정부(661)는, 상술한 바와 같이 부착부(650)로부터 광이 조사된 상태로 촬상 소자(621)가 촬상하여 생성한 교정용 화소(411)의 검출 신호를 취득하고, 그 검출 신호에 기초하여 교정 정보를 생성한다. 이 교정 정보의 생성 방법은, 교정부(502)의 경우와 마찬가지이다. 교정부(661)는, 생성한 교정 정보를 복원 행렬 생성부(622)에 공급한다.

복원 행렬 생성부(622)는, 이와 같이 공급된 교정 정보를 이용하여 복원 행렬(즉, 촬상 소자(621)의 화소(121a)의 실제 입사각 지향성에 대응한 복원 행렬)을 생성한다.

따라서, 이 경우도 촬상 장치(600)는, 보다 정확한 복원 화상을 생성할 수 있다.

<5. 제4 실시형태>

<교정 시스템>

또한, 미리 복수의 패턴의 교정 정보를 준비하고, 각 교정 정보를 이용하여 복원 행렬을 생성하고, 보다 정확한(S/N비가 적은) 복원 화상이 얻어지는 교정 정보를 선택하도록 해도 된다. 나아가, 그 교정 정보의 선택을, 촬상 장치나 촬상 소자의 외부(예를 들면, 서버 등)에 있어서 행하도록 해도 된다.

도 38은, 본 기술을 적용한 정보 처리 시스템의 일 실시형태인 교정 시스템의 주요 구성예를 나타내는 도면이다. 도 38에 나타내는 교정 시스템(700)은, 상술한 바와 같이, 촬상 장치(또는 촬상 소자) 등에 있어서 복원 행렬의 생성에 이용되는 교정 정보의 선택을 행하는 시스템이다.

도 38에 나타내는 바와 같이, 교정 시스템(700)은, 서버(701), 교정 정보 데이터베이스(702), 네트워크(710), 및 복수의 촬상 장치(600)(예를 들면, 촬상 장치(600-1) 및 촬상 장치(600-2))를 갖는다.

서버(701)는, 네트워크(710)를 통해 촬상 장치(600)와 접속되어 있고, 각 촬상 장치(600)에 있어서 사용되는 교정 정보의 선택에 관한 처리를 행한다. 교정 정보 데이터베이스(702)에는, 복수의 교정 정보가 미리 저장되어 있다.

촬상 장치(600)는, 교정 정보를 이용하여 복원 행렬을 생성하고, 그 복원 행렬을 이용하여 복원 화상을 생성하고, 그것을, 네트워크(710)를 통해 서버(701)에 공급한다.

서버(701)는, 그 복원 화상의 화질을 판정하고, 그 화상 판정 결과를 촬상 장치(600)에 리턴시킨다. 그 때, 서버(701)는, 화질이 충분하지 않다(예를 들면, S/N비가 낮다)고 판정한 경우, 교정 정보 데이터베이스(702)로부터 새로운 교정 정보를 취득하고, 화상 판정 결과와 함께 그 새로운 교정 정보를 촬상 장치(600)에 공급한다.

촬상 장치(600)는, 공급된 교정 정보를 이용하여 복원 행렬을 생성하고, 다시 촬상을 행하고, 그 복원 행렬을 이용하여 복원 화상을 생성한다. 촬상 장치(600)는, 다시 그 복원 화상을 서버(701)에 공급한다.

서버(701)가, 복원 화상의 화질이 충분하다고 판정할 때까지, 또는 화질이 가장 좋아질 때까지, 이상과 같은 처리를 반복한다.

이와 같이 함으로써, 촬상 장치(600)는, 보다 정확한 복원 화상을 생성할 수 있다. 즉, 촬상 장치(600)는 복원 화상의 화질 저감을 억제할 수 있다.

<6. 부기>

<컴퓨터>

상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이, 컴퓨터에 인스톨된다. 여기서 컴퓨터에는, 전용 하드웨어에 통합되어 있는 컴퓨터나, 각종의 프로그램을 인스톨함으로써, 각종의 기능을 실행하는 것이 가능한, 예를 들면 범용 컴퓨터 등이 포함된다.

도 39는 상술한 일련의 처리를 프로그램에 의해 실행하는 컴퓨터 하드웨어의 구성예를 나타내는 블록도이다.

도 39에 나타내는 컴퓨터(900)에 있어서, CPU(Central Processing Unit)(901), ROM(Read Only Memory)(902), RAM(Random Access Memory)(903)은, 버스(904)를 통해 서로 접속되어 있다.

버스(904)에는 또한, 입출력 인터페이스(910)도 접속되어 있다. 입출력 인터페이스(910)에는, 입력부(911), 출력부(912), 기억부(913), 통신부(914), 및 드라이브(915)가 접속되어 있다.

입력부(911)는, 예를 들면, 키보드, 마우스, 마이크로폰, 터치 패널, 입력 단자 등으로 이루어진다. 출력부(912)는, 예를 들면, 디스플레이, 스피커, 출력 단자 등으로 이루어진다. 기억부(913)는, 예를 들면, 하드 디스크, RAM 디스크, 비휘발성 메모리 등으로 이루어진다. 통신부(914)는, 예를 들면, 네트워크 인터페이스로 이루어진다. 드라이브(915)는, 자기 디스크, 광 디스크, 광자기 디스크, 또는 반도체 메모리 등의 리무버블 기록 매체(921)를 구동한다.

이상과 같이 구성되는 컴퓨터에서는, CPU(901)가, 예를 들면, 기억부(913)에 기억되어 있는 프로그램을, 입출력 인터페이스(910) 및 버스(904)를 통해, RAM(903)에 로드해서 실행함으로써, 상술한 일련의 처리가 행하여진다. RAM(903)에는 또한, CPU(901)가 각종의 처리를 실행하는 데에 필요한 데이터 등도 적절히 기억된다.

컴퓨터(CPU(901))가 실행하는 프로그램은, 예를 들면, 패키지 미디어 등으로서의 리무버블 기록 매체(921)에 기록하여 적용할 수 있다. 그 경우, 프로그램은, 리무버블 기록 매체(921)를 드라이브(915)에 장착함으로써, 입출력 인터페이스(910)를 통해, 기억부(913)에 인스톨할 수 있다.

또한, 이 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성 방송이라고 하는 유선 또는 무선의 전송 매체를 통해 제공할 수도 있다. 그 경우, 프로그램은, 통신부(914)에 의해 수신하고, 기억부(913)에 인스톨할 수 있다.

그 밖에, 이 프로그램은, ROM(902)이나 기억부(913)에, 미리 인스톨해 둘 수도 있다.

<본 기술의 적용 대상>

또한, 본 기술을 적용한 시스템, 장치, 처리부 등은, 예를 들면, 교통, 의료, 방범, 농업, 축산업, 광업, 미용, 공장, 가전, 기상, 자연감시 등, 임의의 분야에 이용할 수 있다. 또한, 그 용도도 임의이다.

예를 들면, 본 기술은, 감상용 컨텐츠 등의 제공을 위해 제공되는 시스템이나 디바이스에 적용할 수 있다. 또한, 예를 들면, 본 기술은, 교통 상황의 감리나 자동 운전 제어 등, 교통용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다. 나아가, 예를 들면, 본 기술은, 보안용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다. 또한, 예를 들면, 본 기술은, 기계 등의 자동 제어용으로 제공되는 시스템이나 디바이스에 적용할 수 있다. 나아가, 예를 들면, 본 기술은, 농업이나 축산업용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다. 또한, 본 기술은, 예를 들면 화산, 삼림, 해양 등의 자연의 상태나 야생생물 등을 감시하는 시스템이나 디바이스에도 적용할 수 있다. 나아가, 예를 들면, 본 기술은, 스포츠용으로 제공되는 시스템이나 디바이스에도 적용할 수 있다.

<기타>

본 기술의 실시형태는, 상술한 실시형태에 한정되는 것이 아니고, 본 기술의 요지를 일탈하지 않는 범위에 있어서 다양한 변경이 가능하다.

예를 들면, 본 기술은, 장치 또는 시스템을 구성하는 모든 구성, 예를 들면, 시스템 LSI(Large Scale Integration) 등으로서의 프로세서, 복수의 프로세서 등을 이용하는 모듈, 복수의 모듈 등을 이용하는 디바이스 유닛, 디바이스 유닛에 그 밖의 기능을 더 부가한 세트 등(즉, 장치의 일부 구성)으로서 실시할 수도 있다.

또한, 상술한 각 처리부는, 임의의 구성에 의해 실현할 수 있다. 예를 들면, 회로, LSI, 시스템 LSI, 프로세서, 모듈, 디바이스 유닛, 세트, 디바이스, 장치, 또는 시스템 등에 의해 구성되도록 해도 된다. 또한, 그들을 복수 조합시키도록 해도 된다. 그 때, 예를 들면, 복수의 회로, 복수의 프로세서 등과 같이 동일한 종류의 구성을 조합시키도록 해도 되고, 회로와 LSI 등과 같이 다른 종류의 구성을 조합시키도록 해도 된다.

또한, 본 명세서에 있어서, 시스템이란, 복수의 구성요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성요소가 동일 케이스 안에 있는지 어떤지는 상관없다. 따라서, 별개의 케이스에 수납되어, 네트워크를 통해 접속되어 있는 복수의 장치, 및, 1개의 케이스 안에 복수의 모듈이 수납되어 있는 1개의 장치는, 모두, 시스템이다.

또한, 예를 들면, 1개의 장치(또는 처리부)로서 설명한 구성을 분할하고, 복수의 장치(또는 처리부)로서 구성하도록 해도 된다. 역으로, 이상에 있어서 복수의 장치(또는 처리부)로서 설명한 구성을 합쳐서 1개의 장치(또는 처리부)로서 구성되도록 해도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 것 이외의 구성을 부가하도록 해도 물론 된다. 나아가, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하면, 어떤 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함시키도록 해도 된다.

또한, 예를 들면, 본 기술은, 1개의 기능을 네트워크를 통해 복수의 장치에 의해 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다. 예를 들면, 컴퓨터, AV(Audio Visual) 기기, 휴대형 정보 처리 단말, IoT(Internet of Things) 디바이스 등의 임의의 단말에 대해, 촬상 화상(동영상)에 관한 서비스를 제공하는 클라우드 서비스에 적용할 수도 있다.

또한, 예를 들면, 상술한 프로그램은, 임의의 장치에 있어서 실행할 수 있다. 그 경우, 그 장치가, 필요한 기능(기능 블록 등)을 가지며, 필요한 정보를 얻을 수 있도록 하면 된다.

또한, 예를 들면, 상술한 플로우차트에서 설명한 각 스텝은, 1개의 장치에 의해 실행하는 것 외에, 복수의 장치에 의해 분담하여 실행할 수 있다. 나아가, 1개의 스텝에 복수의 처리가 포함되는 경우에는, 그 1개의 스텝에 포함되는 복수의 처리는, 1개의 장치에 의해 실행하는 것 외에, 복수의 장치에 의해 분담하여 실행할 수 있다. 환언하면, 1개의 스텝에 포함되는 복수의 처리를, 복수의 스텝의 처리로서 실행할 수도 있다. 역으로, 복수의 스텝으로서 설명한 처리를 1개의 스텝으로서 합쳐서 실행할 수도 있다.

컴퓨터가 실행하는 프로그램은, 프로그램을 기술하는 스텝의 처리가, 본 명세서에서 설명하는 순서에 따라 시계열로 실행되도록 해도 되고, 병렬로, 또는 호출이 행해졌을 때 등의 필요한 타이밍에 개별적으로 실행되도록 해도 된다. 즉, 모순이 생기지 않는 한, 각 스텝의 처리가 상술한 순서와 다른 순서로 실행되도록 해도 된다. 나아가, 이 프로그램을 기술하는 스텝의 처리가, 다른 프로그램의 처리와 병렬로 실행되도록 해도 되고, 다른 프로그램의 처리와 조합시켜 실행되도록 해도 된다.

본 명세서에 있어서 복수 설명한 본 기술은, 모순이 생기지 않는 한, 각각 독립적으로 단독으로 실시할 수 있다. 물론, 임의의 복수의 본 기술을 병용하여 실시할 수도 있다. 예를 들면, 어느 하나의 실시형태에 있어서 설명한 본 기술의 일부 또는 전부를, 다른 실시형태에 있어서 설명한 본 기술의 일부 또는 전부와 조합시켜 실시할 수도 있다. 또한, 상술한 임의의 본 기술의 일부 또는 전부를, 상술하지 않은 다른 기술과 병용하여 실시할 수도 있다.

본 기술은 이하와 같은 구성도 취할 수 있다.

(1) 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위를 구비하고,

상기 복수의 화소 출력 단위는,

행렬 형상으로 배치되며, 적어도 일부의 화소 출력 단위가, 상기 행렬의 행방향 및 열방향의 양쪽 모두에 상기 입사각 지향성을 갖는 복수의 화상 복원용 화소 출력 단위와,

상기 행렬의 행방향으로만 또는 상기 행렬의 열방향으로만 상기 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위를 포함하는 촬상 소자.

(2) 상기 일방향 지향성 화소 출력 단위는, 상기 화상 복원용 화소 출력 단위가 형성되는 영역인 유효 화소 영역 이외의 영역에 형성되는 (1)에 기재된 촬상 소자.

(3) 상기 일방향 지향성 화소 출력 단위는, 상기 유효 화소 영역의 외측에 있는 외부 영역에 형성되는 (2)에 기재된 촬상 소자.

(4) 장방형 형상의 상기 유효 화소 영역의 상기 행렬의 행방향의 외측에 있는 상기 외부 영역에, 상기 행렬의 열방향으로만 상기 입사각 지향성을 갖는 상기 일방향 지향성 화소 출력 단위가 형성되는 (3)에 기재된 촬상 소자.

(5) 장방형 형상의 상기 유효 화소 영역의 상기 행렬의 열방향의 외측에 있는 상기 외부 영역에, 상기 행렬의 행방향으로만 상기 입사각 지향성을 갖는 상기 일방향 지향성 화소 출력 단위가 형성되는 (3) 또는 (4)에 기재된 촬상 소자.

(6) 상기 유효 화소 영역에 형성되는 복수의 상기 화상 복원용 화소 출력 단위의 적어도 1개는, 상기 행렬의 행방향 및 열방향 각각에 대해, 상기 외부 영역에 형성되는 복수의 상기 일방향 지향성 화소 출력 단위의 적어도 1개와 동일한 상기 입사각 지향성을 갖는 (3) 내지 (5) 중 어느 하나에 기재된 촬상 소자.

(7) 상기 행렬의 각 행의 적어도 1개의 상기 화상 복원용 화소 출력 단위는, 상기 외부 영역의, 그 행과 동일한 행에 설치된 적어도 1개의 상기 일방향 지향성 화소 출력 단위와 동일한, 상기 행렬의 열방향의 상기 입사각 지향성을 갖는 (6)에 기재된 촬상 소자.

(8) 상기 행렬의 각 열의 적어도 1개의 상기 화상 복원용 화소 출력 단위는, 상기 외부 영역의, 그 열과 동일한 열에 설치된 적어도 1개의 상기 일방향 지향성 화소 출력 단위와 동일한, 상기 행렬의 행방향의 상기 입사각 지향성을 갖는 (6) 또는 (7)에 기재된 촬상 소자.

(9) 상기 행렬의 각 행의 적어도 1개의 상기 화상 복원용 화소 출력 단위는, 상기 외부 영역의, 그 행과 상이한 다른 행에 설치된 적어도 1개의 상기 일방향 지향성 화소 출력 단위와 동일한, 상기 행렬의 열방향의 상기 입사각 지향성을 갖는 (6) 내지 (8) 중 어느 하나에 기재된 촬상 소자.

(10) 상기 행렬의 각 열의 적어도 1개의 상기 화상 복원용 화소 출력 단위는, 상기 외부 영역의, 그 열과 상이한 다른 열에 설치된 적어도 1개의 상기 일방향 지향성 화소 출력 단위와 동일한, 상기 행렬의 행방향의 상기 입사각 지향성을 갖는 (6) 내지 (9) 중 어느 하나에 기재된 촬상 소자.

(11) 상기 유효 화소 영역에 형성되는 모든 상기 화상 복원용 화소 출력 단위는, 상기 행렬의 행방향 및 열방향 각각에 대해, 상기 외부 영역에 형성되는 복수의 상기 일방향 지향성 화소 출력 단위의 적어도 1개와 동일한 상기 입사각 지향성을 갖는 (6) 내지 (10) 중 어느 하나에 기재된 촬상 소자.

(12) 상기 유효 화소 영역에 형성되는 복수의 상기 화상 복원용 화소 출력 단위 중 일부의 상기 화상 복원용 화소 출력 단위는, 상기 행렬의 행방향 및 열방향 각각에 대해, 상기 외부 영역에 형성되는 복수의 상기 일방향 지향성 화소 출력 단위의 적어도 1개와 동일한 상기 입사각 지향성을 갖는 (6) 내지 (10) 중 어느 하나에 기재된 촬상 소자.

(13) 상기 유효 화소 영역에 형성되는 상기 일부의 화상 복원용 화소 출력 단위 이외의 다른 화상 복원용 화소 출력 단위의, 상기 행렬의 행방향 및 열방향의 각각의 상기 입사각 지향성은, 상기 외부 영역에 형성되는 상기 일방향 지향성 화소 출력 단위의 입사각 지향성에 기초하여 추정할 수 있는 (12)에 기재된 촬상 소자.

(14) 상기 일방향 지향성 화소 출력 단위 및 상기 화상 복원용 화소 출력 단위 중 적어도 어느 일방은, 상기 입사각 지향성의 소정의 규칙성에 기초하는 배열 순서로 배치되는 (3) 내지 (13) 중 어느 하나에 기재된 촬상 소자.

(15) 상기 입사각 지향성을 상기 화소 출력 단위마다 독립적으로 설정 가능한 구성은, 차광막에 의해 구성되는 (1) 내지 (14) 중 어느 하나에 기재된 촬상 소자.

(16) 상기 일방향 지향성 화소 출력 단위를 이용하여 생성되는 상기 화상 복원용 화소 출력 단위의 상기 입사각 지향성의 교정에 관한 정보인 교정 정보를 이용하여, 상기 화상 복원용 화소 출력 단위에서 얻어지는 검출 화상으로부터 복원 화상을 생성할 때에 사용되는 복원 행렬을 생성하는 생성부를 더 구비하는 (1) 내지 (15) 중 어느 하나에 기재된 촬상 소자.

(17) 상기 생성부에 의해 생성된 상기 복원 행렬을 기억하는 복원 행렬 기억부를 더 구비하는 (16)에 기재된 촬상 소자.

(18) 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위를 구비하고,

상기 복수의 화소 출력 단위는,

상기 행렬의 행방향으로만 또는 상기 행렬의 열방향으로만 상기 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위

를 포함하는 촬상 소자와,

상기 일방향 지향성 화소 출력 단위의 출력을 이용하여, 상기 복수의 화상 복원용 화소 출력 단위의 출력인 검출 화상으로부터 복원 화상을 생성할 때에 사용되는 복원 행렬을 생성하는 생성부를 구비하는 촬상 장치.

(19) 상기 생성부는, 상기 일방향 지향성 화소 출력 단위의 출력을 이용하여 생성되는 정보로서, 상기 화상 복원용 화소 출력 단위의 상기 입사각 지향성의 교정에 관한 정보인 교정 정보를 이용하여, 상기 복원 행렬을 생성하는 (18)에 기재된 촬상 장치.

(20) 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위를 구비하고,

상기 복수의 화소 출력 단위는,

를 포함하는 촬상 소자의,

상기 일방향 지향성 화소 출력 단위로부터의 출력을 이용하여, 상기 복수의 화상 복원용 화소 출력 단위의 출력인 검출 화상으로부터 복원 화상을 생성할 때에 사용되는 복원 행렬을 생성하는 정보 처리 방법.

(21) 상기 복원 행렬을 생성하는 공정에서는, 상기 일방향 지향성 화소 출력 단위로부터의 출력을 이용하여 생성되는 교정 정보를 이용하여, 상기 복원 행렬을 생성하는 (20)에 기재된 정보 처리 방법.

(22) 상기 촬상 소자의 상기 입사각 지향성을 상기 화소 출력 단위마다 독립적으로 설정 가능한 구성인 차광막의 위치 어긋남을 계측하고, 상기 차광막의 위치 어긋남에 관한 정보를 포함하는 상기 교정 정보를 생성하는 (21)에 기재된 정보 처리 방법.

(23) 상기 촬상 소자의 온-칩 렌즈의 높이 어긋남을 계측하고, 상기 온-칩 렌즈의 높이 어긋남에 관한 정보를 포함하는 상기 교정 정보를 생성하는 (21) 또는 (22)에 기재된 정보 처리 방법.

(24) 상기 일방향 지향성 화소 출력 단위에 있어서, 상기 입사광의 서로 다른 복수의 입사각 각각에 대해 검출 신호값을 계측하고, 각 계측 결과를 이용하여 상기 교정 정보를 생성하는 (21) 내지 (23) 중 어느 하나에 기재된 정보 처리 방법.

(25) 상기 일방향 지향성 화소 출력 단위에 있어서, 상기 입사광의 소정의 입사각에 대해 검출 신호값을 계측하고, 그 계측 결과와 기준값을 이용하여 상기 교정 정보를 생성하는 (21) 내지 (24) 중 어느 하나에 기재된 정보 처리 방법.

(26) 복수의 상기 일방향 지향성 화소 출력 단위의 각각의 검출 신호값을 계측하고, 그 계측 결과의 통계값을 이용하여 상기 교정 정보를 생성하는 (21) 내지 (25) 중 어느 하나에 기재된 정보 처리 방법.

102: 복원 행렬 생성부
103: 복원 행렬 기억부
104: 복원부
105: 연관부
111: 수광부
121: 촬상 소자
401: 유효 화소 영역
402: 교정용 화소 영역
411: 교정용 화소
412: 차광막
500: 교정 장치
501: 광조사부
502: 교정부
503: 교정 정보 기입부
511: 광원
600: 촬상 장치
622: 복원 행렬 생성부
623: 복원 행렬 기억부
624: 복원부
625: 연관부
650: 부착부
651: 광원
661: 교정부
700: 교정 시스템
701: 서버
702: 교정 정보 데이터베이스

Claims

촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위를 구비하고,
상기 복수의 화소 출력 단위는,
행렬 형상으로 배치되며, 적어도 일부의 화소 출력 단위가, 상기 행렬의 행방향 및 열방향의 양쪽 모두에 상기 입사각 지향성을 갖는 복수의 화상 복원용 화소 출력 단위와,
상기 행렬의 행방향으로만 또는 상기 행렬의 열방향으로만 상기 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위를 포함하는, 촬상 소자.
제1항에 있어서,
상기 일방향 지향성 화소 출력 단위는, 상기 화상 복원용 화소 출력 단위가 형성되는 영역인 유효 화소 영역 이외의 영역에 형성되는, 촬상 소자.
제2항에 있어서,
상기 일방향 지향성 화소 출력 단위는, 상기 유효 화소 영역의 외측에 있는 외부 영역에 형성되는, 촬상 소자.
제3항에 있어서,
장방형 형상의 상기 유효 화소 영역의 상기 행렬의 행방향의 외측에 있는 상기 외부 영역에, 상기 행렬의 열방향으로만 상기 입사각 지향성을 갖는 상기 일방향 지향성 화소 출력 단위가 형성되는, 촬상 소자.
제3항에 있어서,
장방형 형상의 상기 유효 화소 영역의 상기 행렬의 열방향의 외측에 있는 상기 외부 영역에, 상기 행렬의 행방향으로만 상기 입사각 지향성을 갖는 상기 일방향 지향성 화소 출력 단위가 형성되는, 촬상 소자.
제3항에 있어서,
상기 유효 화소 영역에 형성되는 복수의 상기 화상 복원용 화소 출력 단위의 적어도 1개는, 상기 행렬의 행방향 및 열방향 각각에 대해, 상기 외부 영역에 형성되는 복수의 상기 일방향 지향성 화소 출력 단위의 적어도 1개와 동일한 상기 입사각 지향성을 갖는, 촬상 소자.
제6항에 있어서,
상기 행렬의 각 행의 적어도 1개의 상기 화상 복원용 화소 출력 단위는, 상기 외부 영역의, 그 행과 동일한 행에 설치된 적어도 1개의 상기 일방향 지향성 화소 출력 단위와 동일한, 상기 행렬의 열방향의 상기 입사각 지향성을 갖는, 촬상 소자.
제6항에 있어서,
상기 행렬의 각 열의 적어도 1개의 상기 화상 복원용 화소 출력 단위는, 상기 외부 영역의, 그 열과 동일한 열에 설치된 적어도 1개의 상기 일방향 지향성 화소 출력 단위와 동일한, 상기 행렬의 행방향의 상기 입사각 지향성을 갖는, 촬상 소자.
제6항에 있어서,
상기 행렬의 각 행의 적어도 1개의 상기 화상 복원용 화소 출력 단위는, 상기 외부 영역의, 그 행과 상이한 다른 행에 설치된 적어도 1개의 상기 일방향 지향성 화소 출력 단위와 동일한, 상기 행렬의 열방향의 상기 입사각 지향성을 갖는, 촬상 소자.
제6항에 있어서,
상기 행렬의 각 열의 적어도 1개의 상기 화상 복원용 화소 출력 단위는, 상기 외부 영역의, 그 열과 상이한 다른 열에 설치된 적어도 1개의 상기 일방향 지향성 화소 출력 단위와 동일한, 상기 행렬의 행방향의 상기 입사각 지향성을 갖는, 촬상 소자.
제6항에 있어서,
상기 유효 화소 영역에 형성되는 모든 상기 화상 복원용 화소 출력 단위는, 상기 행렬의 행방향 및 열방향 각각에 대해, 상기 외부 영역에 형성되는 복수의 상기 일방향 지향성 화소 출력 단위의 적어도 1개와 동일한 상기 입사각 지향성을 갖는, 촬상 소자.
제6항에 있어서,
상기 유효 화소 영역에 형성되는 복수의 상기 화상 복원용 화소 출력 단위 중 일부의 상기 화상 복원용 화소 출력 단위는, 상기 행렬의 행방향 및 열방향 각각에 대해, 상기 외부 영역에 형성되는 복수의 상기 일방향 지향성 화소 출력 단위의 적어도 1개와 동일한 상기 입사각 지향성을 갖는, 촬상 소자.
제12항에 있어서,
상기 유효 화소 영역에 형성되는 상기 일부의 화상 복원용 화소 출력 단위 이외의 다른 화상 복원용 화소 출력 단위의, 상기 행렬의 행방향 및 열방향의 각각의 상기 입사각 지향성은, 상기 외부 영역에 형성되는 상기 일방향 지향성 화소 출력 단위의 입사각 지향성에 기초하여 추정할 수 있는, 촬상 소자.
제3항에 있어서,
상기 일방향 지향성 화소 출력 단위 및 상기 화상 복원용 화소 출력 단위 중 적어도 어느 일방은, 상기 입사각 지향성의 미리 정해진 규칙성에 기초하는 배열 순서로 배치되는, 촬상 소자.
제1항에 있어서,
상기 입사각 지향성을 상기 화소 출력 단위마다 독립적으로 설정 가능한 구성은, 차광막에 의해 구성되는, 촬상 소자.
제1항에 있어서,
상기 일방향 지향성 화소 출력 단위를 이용하여 생성되는 상기 화상 복원용 화소 출력 단위의 상기 입사각 지향성의 교정에 관한 정보인 교정 정보를 이용하여, 상기 화상 복원용 화소 출력 단위에서 얻어지는 검출 화상으로부터 복원 화상을 생성할 때에 사용되는 복원 행렬을 생성하는 생성부를 더 구비하는, 촬상 소자.
제16항에 있어서,
상기 생성부에 의해 생성된 상기 복원 행렬을 기억하는 복원 행렬 기억부를 더 구비하는, 촬상 소자.
촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위를 구비하고,
상기 복수의 화소 출력 단위는,
행렬 형상으로 배치되며, 적어도 일부의 화소 출력 단위가, 상기 행렬의 행방향 및 열방향의 양쪽 모두에 상기 입사각 지향성을 갖는 복수의 화상 복원용 화소 출력 단위와,
상기 행렬의 행방향으로만 또는 상기 행렬의 열방향으로만 상기 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위
를 포함하는 촬상 소자와,
상기 일방향 지향성 화소 출력 단위의 출력을 이용하여, 상기 복수의 화상 복원용 화소 출력 단위의 출력인 검출 화상으로부터 복원 화상을 생성할 때에 사용되는 복원 행렬을 생성하는 생성부를 구비하는, 촬상 장치.
제18항에 있어서,
상기 생성부는, 상기 일방향 지향성 화소 출력 단위의 출력을 이용하여 생성되는 정보로서, 상기 화상 복원용 화소 출력 단위의 상기 입사각 지향성의 교정에 관한 정보인 교정 정보를 이용하여, 상기 복원 행렬을 생성하는, 촬상 장치.
촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광에 대한 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는 복수의 화소 출력 단위를 구비하고,
상기 복수의 화소 출력 단위는,
행렬 형상으로 배치되며, 적어도 일부의 화소 출력 단위가, 상기 행렬의 행방향 및 열방향의 양쪽 모두에 상기 입사각 지향성을 갖는 복수의 화상 복원용 화소 출력 단위와,
상기 행렬의 행방향으로만 또는 상기 행렬의 열방향으로만 상기 입사각 지향성을 갖는 일방향 지향성 화소 출력 단위
를 포함하는 촬상 소자의,
상기 일방향 지향성 화소 출력 단위로부터의 출력을 이용하여, 상기 복수의 화상 복원용 화소 출력 단위의 출력인 검출 화상으로부터 복원 화상을 생성할 때에 사용되는 복원 행렬을 생성하는, 정보 처리 방법.
제20항에 있어서,
상기 복원 행렬을 생성하는 공정에서는, 상기 일방향 지향성 화소 출력 단위로부터의 출력을 이용하여 생성되는 교정 정보를 이용하여, 상기 복원 행렬을 생성하는, 정보 처리 방법.
제21항에 있어서,
상기 촬상 소자의 상기 입사각 지향성을 상기 화소 출력 단위마다 독립적으로 설정 가능한 구성인 차광막의 위치 어긋남을 계측하고, 상기 차광막의 위치 어긋남에 관한 정보를 포함하는 상기 교정 정보를 생성하는, 정보 처리 방법.
제21항에 있어서,
상기 촬상 소자의 온-칩 렌즈의 높이 어긋남을 계측하고, 상기 온-칩 렌즈의 높이 어긋남에 관한 정보를 포함하는 상기 교정 정보를 생성하는, 정보 처리 방법.
제21항에 있어서,
상기 일방향 지향성 화소 출력 단위에 있어서, 상기 입사광의 서로 다른 복수의 입사각 각각에 대해 검출 신호값을 계측하고, 각 계측 결과를 이용하여 상기 교정 정보를 생성하는, 정보 처리 방법.
제21항에 있어서,
상기 일방향 지향성 화소 출력 단위에 있어서, 상기 입사광의 미리 정해진 입사각에 대해 검출 신호값을 계측하고, 그 계측 결과와 기준값을 이용하여 상기 교정 정보를 생성하는, 정보 처리 방법.
제21항에 있어서,
복수의 상기 일방향 지향성 화소 출력 단위의 각각의 검출 신호값을 계측하고, 그 계측 결과의 통계값을 이용하여 상기 교정 정보를 생성하는, 정보 처리 방법.