KR20200094741A - 촬상 장치, 촬상 방법 및 촬상 소자 - Google Patents

촬상 장치, 촬상 방법 및 촬상 소자 Download PDF

Info

Publication number
KR20200094741A
KR20200094741A KR1020207014174A KR20207014174A KR20200094741A KR 20200094741 A KR20200094741 A KR 20200094741A KR 1020207014174 A KR1020207014174 A KR 1020207014174A KR 20207014174 A KR20207014174 A KR 20207014174A KR 20200094741 A KR20200094741 A KR 20200094741A
Authority
KR
South Korea
Prior art keywords
pixel
area
imaging
light
image
Prior art date
Application number
KR1020207014174A
Other languages
English (en)
Inventor
노리아키 코즈카
아키라 마츠이
요시타카 미야타니
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20200094741A publication Critical patent/KR20200094741A/ko

Links

Images

Classifications

    • H04N5/3745—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/78—Readout circuits for addressed sensors, e.g. output amplifiers or A/D converters
    • H04N5/225—
    • H04N5/378—
    • H04N5/379—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)

Abstract

본 기술은, 검출 화상의 해상도를 제어할 수 있도록 하는 촬상 장치, 촬상 방법 및 촬상 소자에 관한 것이다. 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 그 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위와, 그 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위가 형성되는 에어리어에 대응지어 설치되고, 그 에어리어에 형성되는 화소 출력 단위로부터 판독되는 신호를 처리하여 그 출력 화소값을 얻는 신호 처리부를 구비한다. 본 개시는, 예를 들면, 촬상 소자, 촬상 장치, 화상 처리 장치, 전자기기, 시스템 등에 적용할 수 있다.

Description

촬상 장치, 촬상 방법 및 촬상 소자
본 기술은 촬상 장치, 촬상 방법 및 촬상 소자에 관한 것으로, 특히, 검출 화상의 해상도를 제어할 수 있도록 한 촬상 장치, 촬상 방법 및 촬상 소자에 관한 것이다.
종래, 촬상 소자는, 촬상 소자에 집광하는 촬상 렌즈와 조합하여 사용하는 것이 일반적이다. 촬상 렌즈에 의해, 피사체면으로부터의 광을, 피사체면의 광 강도 분포를 재현하도록, 촬상 소자의 각 화소에 안내함으로써, 촬상 소자는, 각 화소에서 그 광 강도 분포에 따른 레벨의 검출 신호를 얻을 수 있고, 전체로서 피사체의 촬상 화상을 얻을 수 있다.
그러나, 이 경우, 물리적인 사이즈가 커져 버린다. 이에, 촬상 렌즈를 사용하지 않는 촬상 소자가 생각되었다(예를 들면, 특허문헌 1, 특허문헌 2, 및 비특허문헌 1 참조).
특허문헌 1: 국제공개 제2016/123529호 특허문헌 2: 일본특허공표 제2016-510910호 공보
그러나, 이러한 방법에서는, 촬상 소자의 모든 화소로부터 얻어지는 정보로 이루어지는 검출 화상밖에 얻을 수 없고, 원하는 해상도의 검출 화상을 얻을 수 없었다.
본 개시는, 이러한 상황을 감안하여 이루어진 것이며, 검출 화상의 해상도를 제어할 수 있도록 하는 것이다.
본 기술의 일 측면의 촬상 장치는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 상기 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위와, 상기 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위가 형성되는 에어리어에 대응지어 설치되고, 상기 에어리어에 형성되는 화소 출력 단위로부터 판독되는 신호를 처리하여 상기 출력 화소값을 얻는 신호 처리부를 구비하는 촬상 소자와, 상기 촬상 소자의 각 화소 출력 단위의 출력 화소값을 선택적으로 판독하는 판독 제어부를 구비하는 촬상 장치이다.
본 기술의 일 측면의 촬상 방법은, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 상기 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위와, 상기 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위가 형성되는 에어리어에 대응지어 설치되고, 상기 에어리어에 형성되는 화소 출력 단위로부터 판독되는 신호를 처리하여 상기 출력 화소값을 얻는 신호 처리부를 구비하는 촬상 소자의 각 화소 출력 단위의 출력 화소값을 선택적으로 판독하는 촬상 방법이다.
본 기술의 다른 측면의 촬상 소자는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 상기 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위와, 상기 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위가 형성되는 에어리어에 대응지어 설치되고, 상기 에어리어에 형성되는 화소 출력 단위로부터 판독되는 신호를 처리하여 상기 출력 화소값을 얻는 신호 처리부를 구비하는 촬상 소자이다.
본 기술의 일 측면의 촬상 장치 및 방법에 있어서는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 그 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위와, 그 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위가 형성되는 에어리어에 대응지어 설치되고, 그 에어리어에 형성되는 화소 출력 단위로부터 판독되는 신호를 처리하여 그 출력 화소값을 얻는 신호 처리부를 구비하는 촬상 소자의 각 화소 출력 단위의 출력 화소값이 선택적으로 판독된다.
본 기술의 다른 측면의 촬상 소자에 있어서는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 그 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위와, 그 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위가 형성되는 에어리어에 대응지어 설치되고, 그 에어리어에 형성되는 화소 출력 단위로부터 판독되는 신호를 처리하여 그 출력 화소값을 얻는 신호 처리부가 구비된다.
본 기술에 의하면, 피사체를 촬상하거나, 또는 화상을 처리할 수 있다. 또한, 본 기술에 의하면, 검출 화상의 해상도를 제어할 수 있다.
도 1은 촬상 장치의 주요 구성예를 나타내는 블록도이다.
도 2는 본 개시의 기술을 적용한 촬상 장치에 있어서의 촬상의 원리를 설명하는 도면이다.
도 3은 종래의 촬상 소자와 본 개시의 촬상 소자의 구성의 차이를 설명하는 도면이다.
도 4는 촬상 소자의 제1 구성예를 설명하는 도면이다.
도 5는 촬상 소자의 제1 구성예를 설명하는 도면이다.
도 6은 입사각 지향성의 발생 원리를 설명하는 도면이다.
도 7은 온-칩 렌즈(on-chip lens)를 이용한 입사각 지향성의 변화를 설명하는 도면이다.
도 8은 입사각 지향성의 설계를 설명하는 도면이다.
도 9는 피사체 거리와 입사각 지향성을 표현하는 계수의 관계를 설명하는 도면이다.
도 10은 협화각 화소와 광화각 화소의 관계를 설명하는 도면이다.
도 11은 협화각 화소와 광화각 화소의 관계를 설명하는 도면이다.
도 12는 협화각 화소와 광화각 화소의 관계를 설명하는 도면이다.
도 13은 변형예를 설명하는 도면이다.
도 14는 변형예를 설명하는 도면이다.
도 15는 변형예를 설명하는 도면이다.
도 16은 변형예를 응용하여 화각을 변화시키는 예를 설명하는 도면이다.
도 17은 변형예를 응용하여 화각을 변화시킬 때, 복수의 화각의 화소를 조합하는 예를 설명하는 도면이다.
도 18은 변형예를 설명하는 도면이다.
도 19는 변형예를 설명하는 도면이다.
도 20은 변형예를 설명하는 도면이다.
도 21은 차광막에 의한 마스크 패턴의 예를 나타내는 도면이다.
도 22는 촬상 소자의 기판의 구성예를 나타내는 도면이다.
도 23은 상부 기판의 주요 구성예를 나타내는 도면이다.
도 24는 하부 기판의 주요 구성예를 나타내는 도면이다.
도 25는 ADC의 주요 구성예를 나타내는 도면이다.
도 26은 에어리어에 있어서의 화소의 주사 순서의 예를 나타내는 도면이다.
도 27은 모든 화소로부터 판독하는 방식의 개요를 설명하기 위한 도면이다.
도 28은 규칙적으로 일부 화소로부터 판독하는 방식의 개요를 설명하기 위한 도면이다.
도 29는 신호를 판독하는 화소의 위치의 예를 나타내는 도면이다.
도 30은 임의의 일부 화소로부터 판독하는 방식의 개요를 설명하기 위한 도면이다.
도 31은 신호를 판독하는 화소의 위치의 예를 나타내는 도면이다.
도 32는 지향성을 동등하게 하는 방법에 대해 설명하기 위한 도면이다.
도 33은 촬상 처리의 흐름의 예를 설명하는 플로우차트이다.
도 34는 전체 화소 모드(all-pixel mode) 촬상 처리의 흐름의 예를 설명하는 플로우차트이다.
도 35는 솎음 모드(thinning mode) 촬상 처리의 흐름의 예를 설명하는 플로우차트이다.
도 36은 미리 정해진 에어리어의 화소로부터 판독하는 방식의 개요를 설명하기 위한 도면이다.
도 37은 신호를 판독하는 화소의 위치의 예를 나타내는 도면이다.
도 38은 개구부의 패턴의 예를 나타내는 도면이다.
도 39는 영역의 넓이와 피사계 심도의 관계에 대해 설명하기 위한 도면이다.
도 40은 촬상 처리의 흐름의 예를 설명하는 플로우차트이다.
도 41은 에어리어 구동 모드(area driving mode) 촬상 처리의 흐름의 예를 설명하는 플로우차트이다.
도 42는 촬상 처리의 흐름의 예를 설명하는 플로우차트이다.
도 43은 에어리어의 특성의 예를 나타내는 도면이다.
도 44는 촬상 처리의 흐름의 예를 설명하는 플로우차트이다.
도 45는 에어리어 선택의 예를 나타내는 도면이다.
도 46은 감시 시스템의 주요 구성예를 나타내는 도면이다.
도 47은 감시 처리의 흐름의 예를 설명하는 플로우차트이다.
도 48은 신호를 판독하는 화소의 위치의 예를 나타내는 도면이다.
도 49는 피사체까지의 거리 계측의 모습의 예를 나타내는 도면이다.
도 50은 촬상 처리의 흐름의 예를 설명하는 플로우차트이다.
도 51은 촬상 처리의 흐름의 예를 설명하는, 도 50에 이어지는 플로우차트이다.
도 52는 내시경 수술 시스템의 개략적인 구성의 일례를 나타내는 도면이다.
도 53은 도 52에 나타내는 카메라 헤드 및 CCU의 기능 구성의 일례를 나타내는 블록도이다.
도 54는 현미경 수술 시스템의 개략적인 구성의 일례를 나타내는 도면이다.
도 55는 도 54에 나타내는 현미경 수술 시스템을 이용한 수술의 모습을 나타내는 도면이다.
도 56은 체내 정보 취득 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
도 57은 유세포 분석 시스템(flow cytometry system)의 개략적인 구성의 일례를 나타내는 도면이다.
도 58은 개구부의 패턴의 예를 나타내는 도면이다.
도 59는 차량 제어 시스템의 개략적인 구성의 일례를 나타내는 블록도이다.
도 60은 차외 정보 검출부 및 촬상부의 설치 위치의 일례를 나타내는 설명도이다.
도 61은 운전 지원 처리의 흐름의 예를 설명하는 플로우차트이다.
도 62는 촬상 소자의 주요 구성예를 나타내는 도면이다.
도 63은 흑백 패턴 마스크를 사용한 경우를 나타내는 도면이다.
도 64는 광 간섭 마스크를 사용한 경우를 나타내는 도면이다.
도 65는 촬상 소자의 변형예를 나타내는 도면이다.
이하, 본 개시를 실시하기 위한 형태(이하, 실시형태라고 함)에 대해 설명한다. 또한, 설명은 이하의 순서로 한다.
1. 제1 실시형태(촬상 장치·솎음 모드)
2. 제2 실시형태(촬상 장치·에어리어 구동 모드)
3. 제3 실시형태(촬상 장치·모드 선택)
4. 제4 실시형태(감시 시스템)
5. 제5 실시형태(피사체 거리 계측)
6. 제6 실시형태(의료계 시스템 등)
7. 제7 실시형태(차재 시스템 등)
8. 제8 실시형태(촬상 소자·촬상 장치의 다른 구성예)
9. 기타
<1. 제1 실시형태>
<촬상 장치>
도 1은 본 기술을 적용한 촬상 장치 또는 화상 처리 장치의 일 실시형태인 촬상 장치의 주요 구성예를 나타내는 도면이다. 도 1에 나타내는 촬상 장치(100)는, 피사체를 촬상하고, 그 촬상 화상에 관한 전자 데이터를 얻는 장치이다.
도 1에 나타내는 바와 같이, 촬상 장치(100)는, 제어부(101), 입력부(111), 출력부(112), 기억부(113), 통신부(114), 및 기록 재생부(115)를 갖는다. 또한, 촬상 장치(100)는, 촬상 소자(121), 판독 제어부(122), 복원 행렬 설정부(123), 복원부(124), 연관부(125), 및 센서부(126)를 갖는다. 각 처리부 등은, 버스(110)를 통해 서로 접속되어, 서로 정보나 명령 등을 주고받을 수 있다.
또한, 촬상 소자(121) 및 판독 제어부(122)는, 일체화하여 촬상부(120)로 하여도 된다. 촬상부(120)는, 어떠한 물리적 구성에 의해 실현되도록 하여도 된다. 예를 들면, 촬상부(120)가, 시스템 LSI(Large Scale Integration) 등으로서의 프로세서로서 실현되도록 하여도 된다. 또한, 촬상부(120)가, 예를 들면 복수의 프로세서 등을 사용하는 모듈, 복수의 모듈 등을 사용하는 유닛, 또는, 유닛에 그 밖의 기능을 더 부가한 세트 등(즉, 장치의 일부 구성)으로서 실현되도록 하여도 된다. 또한, 촬상부(120)를 장치로서 실현하도록 하여도 된다.
제어부(101)는, 촬상 장치(100) 내의 각 처리부 등의 제어에 관한 처리를 행하도록 구성된다. 예를 들면, 제어부(101)는, CPU(Central Processing Unit), ROM(Read Only Memory), RAM(Random Access Memory) 등을 가지며, 그 CPU 등을 이용하여 프로그램을 실행함으로써, 상술한 처리를 행한다.
입력부(111)는, 정보의 입력에 관한 처리를 행하도록 구성된다. 예를 들면, 입력부(111)는, 조작 버튼, 다이얼, 스위치, 터치 패널, 리모트 컨트롤러, 센서 등의 입력 디바이스나 외부 입력 단자를 갖는다. 예를 들면, 입력부(111)는, 그들의 입력 디바이스에 의해 사용자 등의 외부로부터의 지시(입력된 조작에 대응하는 정보)를 접수한다. 또한, 예를 들면, 입력부(111)는, 외부 입력 단자를 통해, 외부 장치로부터 공급되는 임의의 정보(프로그램, 커맨드, 데이터 등)를 취득한다. 또한, 예를 들면, 입력부(111)는, 그 접수한 정보(취득한 정보)를, 버스(110)를 통해 다른 처리부 등에 공급한다.
또한, 입력부(111)가 가지는 센서는, 예를 들면 가속도 센서 등, 사용자 등의 외부로부터의 지시를 접수할 수 있는 것이라면, 어떠한 것이어도 된다. 또한, 입력부(111)가 갖는 입력 디바이스는 임의이며, 그 수도 임의이다. 입력부(111)가 복수 종류의 입력 디바이스를 가지도록 하여도 된다. 예를 들면, 입력부(111)가, 상술한 예의 일부를 가지도록 해도 되고, 모두를 가지도록 하여도 된다. 또한, 입력부(111)가, 상술한 예 이외의 입력 디바이스를 가지도록 하여도 된다. 나아가, 예를 들면, 입력부(111)가, 버스(110)를 통해 공급되는 자신(입력 디바이스 등)의 제어 정보를 취득하고, 그 제어 정보에 기초하여 구동하도록 하여도 된다.
출력부(112)는, 정보의 출력에 관한 처리를 행하도록 구성된다. 예를 들면, 출력부(112)는, 모니터 등의 화상 표시 디바이스, 프로젝터 등의 화상 투영 디바이스, 스피커 등의 음성 출력 디바이스, 외부 출력 단자 등을 갖는다. 예를 들면, 출력부(112)는, 그들의 출력 디바이스 등을 이용하여, 버스(110)를 통해 다른 처리부 등으로부터 공급되는 정보를 출력한다. 예를 들면, 출력부(112)는, 촬상 화상(후술하는 복원 화상)을 모니터에 표시하거나, 촬상 화상(후술하는 복원 화상)을 프로젝터로부터 투영하거나, 음성(예를 들면, 입력 조작이나 처리 결과 등에 대응하는 음성)을 출력하거나, 임의의 정보(프로그램, 커맨드, 데이터 등)를 외부(다른 기기)에 출력하거나 한다.
또한, 출력부(112)가 가지는 출력 디바이스 등은 임의이며, 그 수도 임의이다. 출력부(112)가 복수 종류의 출력 디바이스 등을 가지도록 하여도 된다. 예를 들면, 출력부(112)가, 상술한 예의 일부를 가지도록 해도 되고, 모두를 가지도록 하여도 된다. 또한, 출력부(112)가, 상술한 예 이외의 출력 디바이스 등을 가지도록 하여도 된다. 나아가, 예를 들면, 출력부(112)가, 버스(110)를 통해 공급되는 자신(출력 디바이스 등)의 제어 정보를 취득하고, 그 제어 정보에 기초하여 구동하도록 하여도 된다.
기억부(113)는, 정보의 기억에 관한 처리를 행하도록 구성된다. 예를 들면, 기억부(113)는, 하드 디스크나 반도체 메모리 등과 같은, 임의의 기억 매체를 갖는다. 예를 들면, 기억부(113)는, 버스(110)를 통해 다른 처리부 등으로부터 공급되는 정보(프로그램, 커맨드, 데이터 등)를 그 기억 매체에 기억한다. 또한, 기억부(113)는, 출하 시에 있어서 임의의 정보(프로그램, 커맨드, 데이터 등)를 기억하고 있도록 하여도 된다. 또한, 기억부(113)는, 임의의 타이밍에 있어서, 또는, 다른 처리부 등으로부터의 요구에 따라서, 그 기억 매체에 기억되어 있는 정보를 판독하고, 판독한 정보를, 버스(110)를 통해 다른 처리부 등에 공급한다.
또한, 기억부(113)가 갖는 기억 매체는 임의이며, 그 수도 임의이다. 기억부(113)가 복수 종류의 기억 매체를 가지도록 하여도 된다. 예를 들면, 기억부(113)가, 상술한 기억 매체의 예의 일부를 가지도록 해도 되고, 모두를 가지도록 하여도 된다. 또한, 기억부(113)가, 상술한 예 이외의 기억 매체 등을 가지도록 하여도 된다. 또한, 예를 들면, 기억부(113)가, 버스(110)를 통해 공급되는 자신의 제어 정보를 취득하고, 그 제어 정보에 기초하여 구동하도록 하여도 된다.
통신부(114)는, 다른 장치와의 통신에 관한 처리를 행하도록 구성된다. 예를 들면, 통신부(114)는, 소정의 통신 매체(예를 들면, 인터넷 등의 임의의 네트워크)를 통해 외부 장치와 프로그램이나 데이터 등의 정보를 주고받는 통신을 행하는 통신 디바이스를 갖는다. 예를 들면, 통신부(114)는, 다른 장치와 통신을 행하고, 버스(110)를 통해 다른 처리부 등으로부터 공급되는 정보(프로그램, 커맨드, 데이터 등)를, 그 통신 상대인 다른 장치에 공급한다. 또한, 예를 들면, 통신부(114)는, 다른 장치와 통신을 행하고, 그 통신 상대인 다른 장치로부터 공급되는 정보를 취득하고, 그 정보를, 버스(110)를 통해 다른 처리부 등에 공급한다.
통신부(114)가 갖는 통신 디바이스는 어떠한 것이어도 된다. 예를 들면, 네트워크 인터페이스이어도 된다. 통신 방법이나 통신 규격은 임의이다. 예를 들면, 통신부(114)가, 유선 통신을 할 수 있도록 해도 되고, 무선 통신을 할 수 있도록 해도 되고, 그 양쪽 모두를 할 수 있도록 하여도 된다. 또한, 예를 들면, 통신부(114)가, 버스(110)를 통해 공급되는 자신(통신 디바이스 등)의 제어 정보를 취득하고, 그 제어 정보에 기초하여 구동하도록 하여도 된다.
기록 재생부(115)는, 자신에게 장착된 기록 매체(116)를 이용한 정보의 기록이나 재생에 관한 처리를 행하도록 구성된다. 예를 들면, 기록 재생부(115)는, 자신에게 장착된 기록 매체(116)에 기록되어 있는 정보(프로그램, 커맨드, 데이터 등)를 판독하고, 그 정보를, 버스(110)를 통해 다른 처리부 등에 공급한다. 또한, 예를 들면, 기록 재생부(115)는, 버스(110)를 통해 다른 처리부 등으로부터 공급되는 정보를 취득하고, 그 정보를, 자신에게 장착된 기록 매체(116)에 기입한다(기록한다). 또한, 예를 들면, 기록 재생부(115)가, 버스(110)를 통해 공급되는 자신의 제어 정보를 취득하고, 그 제어 정보에 기초하여 구동하도록 하여도 된다.
또한, 기록 매체(116)는, 어떠한 것이어도 된다. 예를 들면, 자기 디스크, 광 디스크, 광자기 디스크, 반도체 메모리 등이어도 된다.
촬상 소자(121)는, 피사체의 촬상에 관한 처리를 행하도록 구성된다. 예를 들면, 촬상 소자(121)는, 피사체를 촬상하고, 그 촬상 화상에 관한 데이터(전자 데이터)를 얻는다. 그 때, 촬상 소자(121)는, 촬상 렌즈, 회절 격자 등의 광학 필터 등이나 핀홀 등을 거치지 않고 피사체를 촬상하고, 그 촬상 화상에 관한 데이터를 얻을 수 있다. 예를 들면, 촬상 소자(121)는, 피사체를 촬상하고, 소정의 연산에 의해 그 촬상 화상의 데이터를 얻을 수 있는 데이터(검출 신호 등)를 얻는다.
또한, 촬상 화상은, 피사체의 상이 결상된 화소값에 의해 구성되는, 사용자가 육안으로 화상으로서 인식할 수 있는 화상이다. 이에 대하여 촬상 소자(121)의 화소 단위 출력에 있어서의 입사광의 검출 결과인 검출 신호에 의해 구성되는 화상(검출 화상이라고 칭함)은, 피사체의 상이 결상되지 않음으로써, 사용자가 육안으로도 화상으로서 인식할 수 없는(즉, 피사체를 시인 불가능한) 화상이다. 즉, 검출 화상은 촬상 화상과는 다른 화상이다. 다만, 상술한 바와 같이, 이 검출 화상의 데이터에 대하여 소정의 연산을 행함으로써, 촬상 화상, 즉, 피사체의 상이 결상된, 사용자가 육안으로 화상으로서 인식할 수 있는(즉, 피사체를 시인 가능한) 화상을 복원할 수 있다. 이 복원된 촬상 화상을 복원 화상이라고 칭한다. 즉, 검출 화상은 복원 화상과는 다른 화상이다.
한편, 이 복원 화상을 구성하는 화상으로서, 동시화 처리나 색분리 처리 등(예를 들면, 디모자이크 처리(demosaic process) 등)의 전의 화상을 Raw 화상이라고 칭한다. 이 Raw 화상도, 촬상 화상과 마찬가지로, 사용자가 육안으로 화상으로서 인식할 수 있는(즉, 피사체를 시인 가능한) 화상이다. 환언하면, 검출 화상은, 색 필터의 배열을 따른 화상이지만, Raw 화상과는 다른 화상이다.
다만, 촬상 소자(121)가, 예를 들면 적외광이나 자외광 등과 같은 비가시광에만 감도를 갖는 경우, 복원 화상(Raw 화상이나 촬상 화상)도, 사용자가 육안으로 화상으로서 인식할 수 없는(피사체를 시인할 수 없는) 화상이 된다. 다만, 이것은 검출한 광의 파장역에 의한 것이므로, 복원 화상은, 파장역을 가시광역으로 변환함으로써 피사체를 시인 가능한 화상으로 할 수 있다. 이에 대하여 검출 화상은, 피사체의 상이 결상되지 않고 있으므로, 파장역을 변환하는 것만으로는 피사체를 시인 가능한 화상으로 할 수는 없다. 따라서, 촬상 소자(121)가 비가시광에만 감도를 갖는 경우라도, 상술한 바와 같이 검출 화상에 대하여 소정의 연산을 행함으로써 얻어지는 화상을 복원 화상이라고 칭한다. 또한, 이하에 있어서, 특히 언급하지 않는 한, 기본적으로 촬상 소자(121)가 가시광을 수광하는 경우를 예로 이용하여 본 기술을 설명한다.
즉, 촬상 소자(121)는 피사체를 촬상하고, 검출 화상에 관한 데이터를 얻을 수 있다. 촬상 소자(121)는, 예를 들면, 그 검출 화상에 관한 데이터를 판독 제어부(122)를 통해 복원부(124)에 공급하고, 복원 화상을 생성시킬 수 있다. 또한, 촬상 소자(121)는, 예를 들면, 그 검출 화상에 관한 데이터를, 판독 제어부(122)를 통해, 연관부(125) 등에 공급하고, 메타데이터 등을 연관시킬 수 있다. 물론, 촬상 소자(121)는, 이 검출 화상에 관한 데이터를, 임의의 처리부 등에 공급할 수 있다. 또한, 예를 들면, 촬상 소자(121)가, 버스(110)를 통해 공급되는 자신의 제어 정보를 취득하고, 그 제어 정보에 기초하여 구동하도록 하여도 된다.
판독 제어부(122)는, 촬상 소자(121)로부터의 데이터의 판독 제어에 관한 처리를 행하고, 검출 화상의 해상도를 제어하도록 구성된다. 예를 들면, 판독 제어부(122)는, 촬상 소자(121)로부터의 검출 화상의 판독을 제어하고, 촬상 소자(121)의 각 화소 출력 단위로부터의 출력인 검출 신호를 선택적으로 판독한다.
예를 들면, 판독 제어부(122)는, 촬상 소자(121)의 전체 화소 출력 단위로부터 검출 신호를 판독하고, 판독한 전체 화소 출력 단위의 검출 신호를, 검출 화상에 포함시키는 검출 신호로서 선택할 수 있다.
예를 들면, 판독 제어부(122)는, 촬상 소자(121)의 복수의 화소 출력 단위 중, 일부 화소 단위 출력을 선택하고, 선택한 화소 출력 단위로부터 검출 신호를 판독할 수 있다. 또한, 예를 들면, 판독 제어부(122)는, 촬상 소자(121)의 전체 화소 출력 단위로부터 검출 신호를 판독하고, 판독한 각 화소 출력 단위의 검출 신호 중 일부를 검출 화상에 포함시키는 검출 신호로서 선택할 수 있다.
예를 들면, 판독 제어부(122)는, 촬상 소자(121)의 복수의 화소 출력 단위 중, 임의의 위치의 일부 화소 출력 단위를 선택할 수 있다. 즉, 예를 들면, 판독 제어부(122)는, 촬상 소자(121)의 복수의 화소 출력 단위 중, 임의의 위치의 일부 화소 단위 출력을 선택하고, 선택한 화소 출력 단위로부터 검출 신호를 판독할 수 있다. 또한, 예를 들면, 판독 제어부(122)는, 촬상 소자(121)의 전체 화소 출력 단위로부터 검출 신호를 판독하고, 판독한 각 화소 출력 단위의 검출 신호 중, 임의의 위치의 일부 화소 출력 단위로부터 판독된 검출 신호를, 검출 화상에 포함시키는 검출 신호로서 선택할 수 있다.
예를 들면, 판독 제어부(122)는, 촬상 소자(121)의 복수의 화소 출력 단위 중, 소정의 규칙성을 갖는 위치 관계에 있는 일부 화소 출력 단위를 선택할 수 있다. 즉, 예를 들면, 판독 제어부(122)는, 촬상 소자(121)의 복수의 화소 출력 단위 중, 소정의 규칙성을 갖는 위치 관계에 있는 일부 화소 단위 출력을 선택하고, 선택한 화소 출력 단위로부터 검출 신호를 판독할 수 있다. 또한, 예를 들면, 판독 제어부(122)는, 촬상 소자(121)의 전체 화소 출력 단위로부터 검출 신호를 판독하고, 판독한 각 화소 출력 단위의 검출 신호 중, 소정의 규칙성을 갖는 위치 관계에 있는 일부 화소 출력 단위로부터 판독된 검출 신호를, 검출 화상에 포함시키는 검출 신호로서 선택할 수 있다.
예를 들면, 판독 제어부(122)는, 촬상 소자(121)의 복수의 화소 출력 단위가 형성되는 화소 영역의 일부의 부분 영역 내에 형성되는 화소 출력 단위를 선택할 수 있다. 즉, 예를 들면, 판독 제어부(122)는, 화소 영역 내의 부분 영역을 선택하고, 선택한 부분 영역 내의 화소 출력 단위로부터 검출 신호를 판독할 수 있다. 또한, 예를 들면, 판독 제어부(122)는, 촬상 소자(121)의 전체 화소 출력 단위로부터 검출 신호를 판독하고, 판독한 각 화소 출력 단위의 검출 신호 중, 원하는 부분 영역 내에 형성되는 화소 출력 단위로부터 판독된 검출 신호를, 검출 화상에 포함시키는 검출 신호로서 선택할 수 있다.
예를 들면, 판독 제어부(122)는, 이와 같은 화소 출력 단위의 선택을, 촬상 소자(121)의 동작 모드에 따라 행할 수 있다.
검출 화상에 채용하는 검출 신호를 선택한다고 하는 것은, 바꿔 말하면, 채용하지 않은 검출 신호를 선택한다고 하는 것이기도 하다. 즉, 판독 제어부(122)는, 검출 신호를 취사선택(모든 검출 신호를 선택하는 경우도 포함)함으로써, 검출 화상의 해상도를 제어(설정)한다. 예를 들면, 판독 제어부(122)는, 촬상 소자(121)로부터 모든 화소의 검출 신호를 판독하거나, 촬상 소자(121)로부터 검출 신호를 솎아내어 판독하거나, 촬상 소자(121)로부터 판독한 검출 신호를 솎아내거나, 촬상 소자(121)로부터 판독한 검출 신호를 소정 수마다 가산하거나 해서, 검출 화상의 해상도를 제어(설정)한다.
판독 제어부(122)는, 판독한(해상도를 설정한) 검출 화상(솎음이나 가산 등을 행하는 경우에는 처리 후의 검출 화상)을, 버스(110)를 통해 다른 처리부 등(예를 들면, 복원 행렬 설정부(123), 복원부(124), 연관부(125) 등)에 공급한다.
복원 행렬 설정부(123)는, 복원 행렬의 설정에 관한 처리를 행하도록 구성된다. 검출 화상은 소정의 연산을 행함으로써 복원 화상으로 변환할 수 있다. 이 소정의 연산은, 상세에 대해서는 후술하지만, 검출 화상에 포함되는 각 검출 신호에 소정의 계수를 곱셈하여 서로 가산하는 것이다. 즉, 소정의 행렬 연산을 행함으로써, 검출 화상을 복원 화상으로 변환할 수 있다. 본 명세서에 있어서, 이 행렬 연산에 사용되는, 상술한 계수로 이루어지는 행렬을 복원 행렬이라고 칭한다.
복원 행렬 설정부(123)는, 예를 들면, 판독 제어부(122)에 의해 해상도가 설정된 검출 화상에 대응하는 복원 행렬(판독 제어부(122)에 의해 선택적으로 판독된 검출 신호로부터 복원 화상을 복원할 때에 사용되는 복원 행렬)을 설정한다. 즉, 이 복원 행렬은 처리 대상의 검출 화상의 해상도에 대응하고 있다. 복원 행렬 설정부(123)는, 예를 들면, 설정한 복원 행렬을, 버스(110)를 통해 다른 처리부 등(예를 들면, 복원부(124)나 연관부(125) 등)에 공급한다.
또한, 검출 화상을 복원 화상으로 변환하는 소정의 행렬 연산에 있어서, 검출 화상을 임의의 해상도의 복원 화상으로 변환하도록 하여도 된다. 그 경우, 복원 행렬 설정부(123)가, 검출 화상의 해상도와 목표로 하는 복원 화상의 해상도에 따른 행수 및 열수의 복원 행렬을 설정하도록 하면 된다.
또한, 예를 들면, 복원 행렬 설정부(123)가, 버스(110)를 통해 공급되는 자신의 제어 정보를 취득하고, 그 제어 정보에 기초하여 구동하도록 하여도 된다.
복원부(124)는, 복원 화상의 생성에 관한 처리를 행하도록 구성된다. 예를 들면, 복원부(124)는, 소정의 연산을 행함으로써, 촬상 소자(121)로부터 공급되는 검출 화상에 관한 데이터(검출 신호 등)로부터 복원 화상을 생성한다. 또한, 복원부(124)는, 생성한 복원 화상에 관한 데이터(화소값 등)를, 버스(110)를 통해 다른 처리부 등에 공급한다.
또한, 촬상 소자(121)에 있어서, 컬러 필터를 이용하거나 하여 복수의 색 성분이 혼재하는 검출 화상이 얻어지고, 복원부(124)가, 그 검출 화상에 대해 소정의 연산을 행함으로써, 복수의 색 성분이 혼재하는 Raw 화상이 얻어지도록 하여도 된다. 그리고, 복원부(124)가, 그 복수의 색 성분이 혼재하는 Raw 화상을 복원 화상으로서 다른 처리부 등에 공급하도록 해도 되고, 그 Raw 화상에 대해 동시화 처리나 색분리 처리 등(예를 들면, 디모자이크 처리 등)을 행하고, 그 처리가 실시된 화상을 복원 화상으로서 다른 처리부 등에 공급하도록 하여도 된다. 물론, 촬상 소자(121)에 있어서, 모노크롬(monochrome)의 검출 화상이나, 색마다의 검출 화상이 얻어지고, 동시화 처리나 색분리 처리 등(예를 들면, 디모자이크 처리 등)이 불필요하도록 하여도 된다.
또한, 복원부(124)가, 복원 화상에 대해, 예를 들면 감마 보정(γ 보정)이나 화이트 밸런스 조정 등의 임의의 화상 처리를 실시하고, 화상 처리 후의 복원 화상에 관한 데이터를 다른 처리부 등에 공급하도록 하여도 된다. 나아가, 복원부(124)가, 복원 화상의 데이터 포맷을 변환하거나, 예를 들면 JPEG(Joint Photographic Experts Group), TIFF(Tagged Image File Format), GIF(Graphics Interchange Format) 등의 소정의 압축 방식으로 압축하거나 하여, 그 변환(압축) 후의 데이터를 다른 처리부 등에 공급하도록 하여도 된다.
또한, 예를 들면, 복원부(124)가, 버스(110)를 통해 공급되는 자신의 제어 정보를 취득하고, 그 제어 정보에 기초하여 구동하도록 하여도 된다.
연관부(125)는, 데이터의 연관에 관한 처리를 행하도록 구성된다. 예를 들면, 연관부(125)는, 촬상 소자(121) 등으로부터 공급되는 검출 화상에 관한 데이터(검출 신호 등)에, 복원 화상 생성을 위한 소정의 연산에 사용되는 데이터(예를 들면, 계수 등)를 연관시킨다.
여기서, 「연관시킨다」라고 하는 용어는, 예를 들면, 일방의 정보(데이터, 커맨드, 프로그램 등)를 처리할 때에 타방의 정보를 이용할 수 있도록(링크시킬 수 있도록) 하는 것을 의미한다. 즉, 서로 연관된 정보는, 1개의 파일 등으로서 합쳐져도 되고, 각각 개별 정보로 하여도 된다. 예를 들면, 정보 A에 연관된 정보 B는, 그 정보 A와는 다른 전송로 상에서 전송되도록 하여도 된다. 또한, 예를 들면, 정보 A에 연관된 정보 B는, 그 정보 A와는 다른 기록 매체(또는 동일한 기록 매체의 다른 기록 에어리어)에 기록되도록 하여도 된다. 또한, 이 「연관」은, 정보 전체가 아니고, 정보의 일부이어도 된다. 예를 들면, 화상과 그 화상에 대응하는 정보가, 복수 프레임, 1프레임, 또는 프레임 내의 일부분 등의 임의의 단위로 서로 연관되도록 하여도 된다.
또한, 예를 들면, 연관부(125)는, 연관된 데이터를, 버스(110)를 통해 다른 처리부 등에 공급한다. 또한, 예를 들면, 연관부(125)가, 버스(110)를 통해 공급되는 자신의 제어 정보를 취득하고, 그 제어 정보에 기초하여 구동하도록 하여도 된다.
센서부(126)는 검출에 관한 처리를 행하도록 구성된다. 예를 들면, 센서부(126)는, 임의의 센서를 가지며, 소정의 파라미터에 대한 검출을 행한다. 예를 들면, 센서부(126)는, 촬상 장치(100)의 주변 상태에 관한 파라미터나, 촬상 장치(100)의 상태에 관한 파라미터 등에 관한 검출을 행한다. 예를 들면, 센서부(126)는, 촬상 소자(121)의 상태에 관한 파라미터에 대한 검출을 행한다. 또한, 예를 들면, 센서부(126)는, 검출한 정보를, 버스(110)를 통해 다른 처리부 등에 공급한다. 또한, 예를 들면, 센서부(126)가, 버스(110)를 통해 공급되는 자신의 제어 정보를 취득하고, 그 제어 정보에 기초하여 구동하도록 하여도 된다.
<촬상 소자에 대해>
다음으로, 촬상 소자(121)에 대해 도 2 내지 도 20을 참조하여 설명한다.
<화소와 화소 출력 단위>
본 명세서에 있어서는, 「화소」(또는 「화소 출력 단위」)라고 하는 용어를 이용하여, 본 기술을 설명한다. 본 명세서에 있어서 「화소」(또는 「화소 출력 단위」)란, 촬상 소자(121)의 입사광을 수광하기 위한 물리 구성이 형성되는 영역(화소 영역이라고도 칭함)의, 다른 화소와는 독립적으로 수광할 수 있는 물리 구성을 적어도 1개 포함하는 분할 단위를 가리키는 것으로 한다. 수광할 수 있는 물리 구성이란, 예를 들면 광전 변환 소자이며, 예를 들면 포토다이오드(PD(Photo Diode))이다. 1화소에 형성되는 이 물리 구성(예를 들면, 포토다이오드)의 수는 임의이며, 단수이어도 되고, 복수이어도 된다. 그 종류, 크기, 형상 등도 임의이다.
또한, 이 「화소」 단위의 물리 구성에는, 상술한 「수광할 수 있는 물리 구성」뿐만 아니라, 예를 들면, 온-칩 렌즈, 차광막, 컬러 필터, 평탄화막, 반사방지막 등, 입사광의 수광에 관한 모든 물리 구성을 포함한다. 나아가, 판독 회로 등의 구성도 포함되는 경우도 있다. 즉, 이 화소 단위의 물리 구성은 어떠한 구성이어도 된다.
또한, 「화소」(즉, 화소 단위의 물리 구성)로부터 판독된 검출 신호를 「화소 단위(또는 화소 출력 단위)의 검출 신호」등이라고 칭하는 경우도 있다. 나아가, 이 화소 단위(또는 화소 출력 단위)의 검출 신호는, 「화소 단위 검출 신호(또는 화소 출력 단위 검출 신호)」라고도 칭한다. 또한, 이 화소 단위 검출 신호는 「화소 출력」이라고도 칭한다. 나아가, 그 값을 「출력 화소값」이라고도 칭한다.
촬상 소자(121)의 화소 단위의 검출 신호의 값(출력 화소값)은, 다른 것과 독립적으로 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 가질 수 있다. 즉, 촬상 소자(121)의 각 화소 단위(화소 출력 단위)는, 그 출력 화소값의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 독립적으로 설정 가능한 구성을 갖는다. 예를 들면, 촬상 소자(121)에 있어서, 적어도 2개의 화소 단위의 출력 화소값은, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성이 서로 다르게 할 수 있다.
또한, 상술한 바와 같이 「화소 (또는 화소 출력 단위)」가 갖는 「수광할 수 있는 물리 구성」의 수는 임의이므로, 화소 단위 검출 신호는, 단수의 「수광할 수 있는 물리 구성」에 의해 얻어진 검출 신호이어도 되고, 복수의 「수광할 수 있는 물리 구성」에 의해 얻어진 검출 신호이어도 된다.
또한, 이 화소 단위 검출 신호(출력 화소값)는, 임의의 단계에서 복수를 합쳐서 1개로 할 수도 있다. 예를 들면, 복수의 화소의 출력 화소값을, 아날로그 신호의 상태에 있어서 가산하도록 해도 되고, 디지털 신호로 변환하고 나서 가산하도록 하여도 된다.
또한, 이 검출 신호는, 촬상 소자(121)로부터 판독된 후, 즉, 검출 화상에 있어서, 복수의 검출 신호를 합쳐서 단수화하거나, 단수의 검출 신호를 복수화하거나 할 수도 있다. 즉, 검출 화상의 해상도(데이터 수)는 가변이다.
그런데, 이하에 있어서는 설명의 편의상, 특히 언급하지 않는 한, 촬상 소자(121)가 복수의 화소가 행렬 형상으로 배치되는(화소 어레이가 형성되는) 화소 영역을 가지는 것으로서 설명한다. 한편, 촬상 소자(121)의 화소(또는 화소 출력 단위)의 배열 패턴은 임의이며, 이 예에 한정되지 않는다. 예를 들면, 화소(또는 화소 출력 단위)가 허니컴(honeycomb) 구조 형상으로 배치되도록 하여도 된다. 또한, 예를 들면, 화소(또는 화소 출력 단위)가 1행(또는 1열) 형상으로 배치되도록 하여도 된다. 즉, 촬상 소자(121)가 라인 센서이어도 된다.
또한, 촬상 소자(121)(의 화소)가 감도를 갖는 파장역은 임의이다. 예를 들면, 촬상 소자(121)(의 화소)가, 가시광에 대해 감도를 가지도록 해도 되고, 적외광이나 자외광과 같은 비가시광에 대해 감도를 가지도록 해도 되고, 가시광과 비가시광의 양쪽 모두에 대해 감도를 가지도록 하여도 된다. 예를 들면, 촬상 소자가 비가시광인 원적외광을 검출하는 경우, 그 촬상 소자에 있어서 얻어지는 촬상 화상을 이용하여 서모그래프(thermograph)(열 분포를 나타내는 화상)를 생성할 수 있다. 다만, 촬상 렌즈를 따르는 촬상 소자의 경우, 유리는 원적외광을 투과하는 것이 곤란하기 때문에, 고가인 특수 소재의 촬상 렌즈가 필요하게 되고, 제조 비용이 증대될 우려가 있다. 촬상 소자(121)는, 촬상 렌즈 등을 거치지 않고 피사체를 촬상하고, 그 촬상 화상에 관한 데이터를 얻을 수 있으므로, 그 화소가 원적외광을 검출 가능하게 함으로써, 제조 비용의 증대를 억제할 수 있다. 즉, 보다 저렴하게 원적외광의 촬상을 행할 수 있다(보다 저렴하게 서모그래프를 얻을 수 있다). 또한, 촬상 소자(121)(의 화소)가 비가시광에 대해 감도를 갖는 경우, 복원 화상은, 사용자가 육안으로 피사체를 인식할 수 있는 화상으로는 되지 않고, 사용자가 피사체를 시인할 수 없는 화상이 된다. 환언하면, 복원 화상은, 가시광의 화상이어도 되고, 비가시광(예를 들면, (원)적외광이나 자외광 등)의 화상이어도 된다.
<입사각 지향성>
촬상 소자(121)는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 그 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위를 갖는다. 예를 들면, 촬상 소자(121)는, 그 중 적어도 2개의 화소 출력 단위의 출력 화소값의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성이, 서로 다른 특성이 되도록 하기 위한 구성을 갖는다. 즉, 그 경우, 촬상 소자(121)는, 복수의 화소 출력 단위분의 검출 신호(복수의 화소 출력 단위 검출 신호)를 얻을 수 있고, 그 중의 적어도 2개의 화소 출력 단위 검출 신호의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성이 서로 다르다.
여기서 「입사각 지향성」이란, 입사광의 입사각도에 따른 수광 감도 특성, 즉, 입사광의 입사각도에 대한 검출 감도를 가리킨다. 예를 들면, 동일한 광 강도의 입사광이어도 그 입사각도에 따라 검출 감도가 변화되는 경우가 있다. 이러한 검출 감도의 치우침(치우침이 없는 경우도 포함함)을 「입사각 지향성」이라고 칭한다.
예를 들면, 서로 동일한 광 강도의 입사광이, 서로 동일한 입사각으로 그 2개의 화소 출력 단위의 물리 구성에 입사하면, 각 화소 출력 단위의 검출 신호의 신호 레벨(검출 신호 레벨)은, 서로 다른 값이 될 수 있다. 촬상 소자(121)(의 각 화소 출력 단위)는, 이러한 특징을 갖는 물리 구성을 갖는다.
이 입사각 지향성은, 어떠한 방법에 의해 실현되도록 하여도 된다. 예를 들면, 일반의, 예를 들면, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등의 촬상 소자로 이루어지는 것과 마찬가지의 기본적인 구조를 가지는 촬상 소자의 광전 변환 소자(포토다이오드 등)의 전방(광입사측)에 차광막을 마련하거나 하여 입사각 지향성을 실현하도록 하여도 된다.
일반적인 입사각 지향성이 서로 동일한 화소로 이루어지는 촬상 소자만으로 촬상을 행하면, 촬상 소자의 모든 화소에 대략 동일한 광 강도의 광이 입사하게 되고, 결상된 피사체의 화상을 얻을 수 없다. 이에, 일반적으로는, 촬상 소자의 앞(광입사측)에 촬상 렌즈나 핀홀을 마련한다. 예를 들면, 촬상 렌즈를 마련함으로써, 피사체면으로부터의 광을 촬상 소자의 촬상면에 결상시킬 수 있다. 따라서, 촬상 소자는, 각 화소에 있어서 그 결상된 피사체의 화상에 따른 레벨의 검출 신호를 얻을 수 있다(즉, 결상된 피사체의 촬상 화상을 얻을 수 있다). 그러나, 이 경우, 물리적으로 사이즈가 커지고, 장치의 소형화가 곤란해질 우려가 있었다. 또한, 핀홀을 마련하는 경우, 촬상 렌즈를 마련하는 경우보다 소형화가 가능해지지만, 촬상 소자에 입사하는 광량이 저감하기 때문에, 노광 시간을 길게 하거나, 또는, 게인(gain)을 올리는 등의 대책이 필수로 되고, 고속인 피사체의 촬상에 있어서는 블러링(blurring)이 생기기 쉬워지거나, 또는, 자연스러운 색 표현으로 되지 않을 우려가 있었다.
이에 대하여 촬상 소자(121)는, 예를 들면, 그 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위의 출력 화소값의 입사각 지향성이 서로 다른 특성으로 되도록 하기 위한 구성을 갖는다. 이러한 구성에 의해, 예를 들면, 촬상 소자(121)는, 각 화소의 검출 감도가 서로 다른 입사각 지향성을 갖는다. 즉, 입사광의 입사각도에 따른 수광 감도 특성이 화소마다 다른 경우가 있다. 다만, 모든 화소의 수광 감도 특성이 완전히 다른 것일 필요는 없고, 일부 화소에 동일한 수광 감도 특성을 가지는 것이 포함되어 있어도 되고, 일부 화소가 다른 수광 감도 특성을 가지는 것이어도 된다.
예를 들면, 도 2에 있어서, 피사체면(131)을 구성하는 광원이 점광원인 것을 전제로 한 경우, 촬상 소자(121)에 있어서는, 동일한 점광원으로부터 방출된 동일한 광 강도의 광선이, 모든 화소에 입사되게 되지만, 화소마다 각각 다른 입사각도로 입사된다. 그리고, 촬상 소자(121)의 각 화소는, 서로 다른 입사각 지향성을 가지고 있으므로, 그 동일한 광 강도의 광선을 서로 다른 감도로 검출한다. 즉, 화소마다 다른 신호 레벨의 검출 신호가 검출된다.
보다 상세하게는, 촬상 소자(121)의 각 화소에 있어서 수광되는 입사광의 입사각도에 따른 감도 특성, 즉, 각 화소에 있어서의 입사각도에 따른 입사각 지향성은, 입사각도에 따른 수광 감도를 나타내는 계수로 표현함으로써 해서, 각 화소에 있어서의 입사광에 따른 검출 신호의 신호 레벨(검출 신호 레벨이라고도 칭함)은, 입사광의 입사각도에 따른 수광 감도에 대응하여 설정되는 계수를 곱함으로써 구해지게 된다.
보다 구체적으로는, 도 2의 상단 좌측부에 나타내는 바와 같이, 위치(Pa, Pb, Pc)에 있어서의 검출 신호 레벨(DA, DB, DC)은, 각각 이하의 식(1) 내지 식(3)으로 나타낸다.
[수 1]
Figure pct00001
여기서, α1은, 촬상 소자(121) 상의 위치(Pa)에 있어서의 복원하는 피사체면(131) 상의 점광원(PA)으로부터의 광선의 입사각도에 따라 설정되는 계수이다. 또한, β1은, 촬상 소자(121) 상의 위치(Pa)에 있어서의 복원하는 피사체면(131) 상의 점광원(PB)으로부터의 광선의 입사각도에 따라 설정되는 계수이다. 나아가, γ1은, 촬상 소자(121) 상의 위치(Pa)에 있어서의 복원하는 피사체면(131) 상의 점광원(PC)으로부터의 광선의 입사각도에 따라 설정되는 계수이다.
식(1)에 나타내는 바와 같이, 위치(Pa)에 있어서의 검출 신호 레벨(DA)은, 위치(Pa)에 있어서의 점광원(PA)으로부터의 광선의 광 강도 "a"와 계수 α1의 곱(product)과, 위치(Pa)에 있어서의 점광원(PB)으로부터의 광선의 광 강도 "b"와 계수 β1의 곱과, 위치(Pa)에 있어서의 점광원(PC)으로부터의 광선의 광 강도 "c"와 계수 γ1의 곱의 합(합성값)에 의해 표현된다. 이하에 있어서, 계수 αx, βx, γx (x는 자연수)를 아울러 계수 세트라고 칭한다.
마찬가지로, 식(2)의 계수 세트 α2, β2, γ2는, 촬상 소자(121) 상의 위치(Pb)에 있어서의 복원하는 피사체면(131) 상의 점광원(PA, PB, PC)으로부터의 광선의 입사각도에 따라 설정되는 계수 세트이다. 즉, 위치(Pb)에 있어서의 검출 신호 레벨(DB)은, 상술한 식(2)과 같이, 위치(Pb)에 있어서의 점광원(PA)으로부터의 광선의 광 강도 "a"와 계수 α2의 곱과, 위치(Pb)에 있어서의 점광원(PB)으로부터의 광선의 광 강도 "b"와 계수 β2의 곱과, 위치(Pb)에 있어서의 점광원(PC)으로부터의 광선의 광 강도 "c"와 계수 γ2의 곱의 합(합성값)에 의해 표현된다. 또한, 식(3)의 계수 α3, β3, γ3은, 촬상 소자(121) 상의 위치(Pc)에 있어서의 복원하는 피사체면(131) 상의 점광원(PA, PB, PC)으로부터의 광선의 입사각도에 따라 설정되는 계수 세트이다. 즉, 위치(Pc)에 있어서의 검출 신호 레벨(DC)은, 상술한 식(3)과 같이, 위치(Pc)에 있어서의 점광원(PA)으로부터의 광선의 광 강도 "a"와 계수 α3의 곱과, 위치(Pc)에 있어서의 점광원(PB)으로부터의 광선의 광 강도 "b"와 계수 β3의 곱과, 위치(Pc)에 있어서의 점광원(PC)으로부터의 광선의 광 강도 "c"와 계수 γ3의 곱의 합(합성값)에 의해 표현된다.
이상과 같이, 이들 검출 신호 레벨은, 점광원(PA, PB, PC)의 각각으로부터 방출된 광선의 광 강도가 혼합된 것으로 되므로, 피사체의 상이 결상된 것과는 다른 것이다. 즉, 도 2의 상단 우측부에 나타내는 검출 신호 레벨은, 피사체의 상이 결상된 화상(촬상 화상)에 대응하는 검출 신호 레벨이 아니므로, 도 2의 하부 우측부에 나타내는 화소값과는 다른 것이다(일반적으로 양자는 일치하지 않는다).
다만, 이 계수 세트 α1, β1, γ1, 계수 세트 α2, β2, γ2, 계수 세트 α3, β3, γ3과, 검출 신호 레벨(DA, DB, DC)을 이용한 연립 방정식을 구성하고, a, b, c를 변수로 하여 상술한 식(1) 내지 식(3)의 연립 방정식을 푸는 것에 의해, 도 2의 하단 우측부에 나타내는 바와 같은 각 위치(Pa, Pb, Pc)의 화소값을 구할 수 있다. 이에 의해 화소값의 집합인 복원 화상(피사체의 상이 결상된 화상)이 복원된다.
촬상 소자(121)는, 이러한 구성에 의해, 촬상 렌즈, 회절 격자 등으로 이루어지는 광학 필터나, 핀홀 등을 필요로 하지 않고, 각 화소에 있어서, 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력할 수 있다. 결과적으로, 촬상 렌즈, 회절 격자 등으로 이루어지는 광학 필터나, 핀홀 등이 필수구성으로 되지 않으므로, 촬상 장치의 높이를 낮게 하는 것, 즉, 촬상 기능을 실현하는 구성에 있어서의 광의 입사 방향에 대한 두께를 얇게 하는 것이 가능해진다.
<입사각 지향성의 형성>
도 3의 좌측부는, 일반적인 촬상 소자의 화소 어레이부의 일부의 정면도를 나타내고 있고, 도 3의 우측부는, 촬상 소자(121)의 화소 어레이부의 일부의 정면도를 나타내고 있다. 또한, 도 3에 있어서는, 화소 어레이부가 수평 방향×수직 방향의 각각의 화소수가 6화소×6화소의 구성인 경우의 예를 나타내고 있지만, 화소수의 구성은, 이것에 한정되는 것이 아니다.
입사각 지향성은, 예를 들면 차광막에 의해 형성할 수 있다. 일반적인 촬상 소자(121)는, 도 3의 좌측부의 예와 같이, 입사각 지향성이 동일한 화소(121a)가 어레이 형상으로 배치되어 있는 것이 나타나 있다. 이에 대하여 도 3의 우측부의 예의 촬상 소자(121)는, 화소(121a)마다, 그 포토다이오드의 수광 영역의 일부를 덮도록 변조 소자의 하나인 차광막(121b)이 마련되어 있고, 각 화소(121a)에 입사하는 입사광이, 입사각도에 따라서 광학적으로 변조된다. 그리고, 예를 들면, 화소(121a)마다 다른 범위에 차광막(121b)을 마련함으로써, 화소(121a)마다 입사광의 입사각도에 대한 수광 감도가 다른 것이 되고, 각 화소(121a)가 다른 입사각 지향성을 가지도록 된다.
예를 들면, 화소(121a-1)와 화소(121a-2)는, 마련되어 있는 차광막(121b-1)과 차광막(121b-2)에 의해 화소를 차광하는 범위가 다르다(차광하는 영역(위치) 및 차광하는 면적의 적어도 어느 하나가 다르다). 즉, 화소(121a-1)에 있어서는, 포토다이오드의 수광 영역에 있어서의 좌측의 일부를 소정의 폭만 차광하도록 차광막(121b-1)이 마련되어 있고, 화소(121a-2)에 있어서는, 수광 영역에 있어서의 우측의 일부를, 차광막(121b-1)보다 수평 방향으로 넓은 폭만큼 차광하도록 차광막(121b-2)이 마련되어 있다. 그 밖의 화소(121a)에 있어서도, 마찬가지로, 차광막(121b)이, 화소마다 수광 영역에 있어서의 다른 범위가 차광되도록 마련되어 있어, 화소 어레이 내에서 랜덤하게 배치되어 있다.
또한, 차광막(121b)의 범위는, 각 화소의 수광 영역을 덮어 가리는 비율이 커질수록, 수광할 수 있는 광량이 적은 상태가 되기 때문에, 원하는 광량을 확보할 수 있는 정도의 면적으로 하는 것이 바람직하고, 차광막(121b)의 면적을, 예를 들면, 최대로 수광 가능한 범위 전체의 3/4정도까지라는 제한을 가해서 구성하도록 하여도 된다. 이와 같이 함으로써, 원하는 양 이상의 광량을 확보하는 것이 가능해진다. 다만, 각 화소에 대해서, 수광하는 광의 파장에 상당하는 폭의 차광되지 않고 있는 범위가 마련되어 있으면, 최소한의 광량을 수광하는 것은 가능하다. 즉, 예를 들면, B 화소(청색 화소)의 경우, 파장은 500nm 정도가 되지만, 이 파장에 상당하는 폭 이상으로 차광되지 않고 있으면, 최소한의 광량을 수광하는 것은 가능하다.
<촬상 소자의 구성예>
도 4를 참조하여, 이 경우의 촬상 소자(121)의 구성예에 대해 설명한다. 도 4의 상단은, 촬상 소자(121)의 측면 단면도이며, 도 4의 중간단은, 촬상 소자(121)의 상면도이다. 또한, 도 4의 상단의 측면 단면도는, 도 4의 중간단에 있어서의 AB단면이 된다. 또한, 도 4의 하단은, 촬상 소자(121)의 회로 구성예이다.
도 4에 나타내는 구성의 촬상 소자(121)는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 그 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위를 구비한다. 예를 들면, 그 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위의 출력 화소값의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성이, 서로 다른 특성이 되도록 하기 위한 구성을 갖는다. 또한, 이 경우의 촬상 소자(121)는, 그 복수의 화소 출력 단위가, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 화소 출력 단위마다 독립적으로 설정 가능한 구성을 갖는다.
도 4의 상단의 촬상 소자(121)에 있어서는, 도면 중의 상방으로부터 하방을 향해 입사광이 입사한다. 인접하는 화소(121a-15, 121a-16)는, 각각 도면 중의 최하층에 배선층(Z12)이 마련되어 있고, 그 위에 광전 변환층(Z11)이 마련되어 있는, 소위, 이면 조사형(back-illuminated type)이다.
또한, 화소(121a-15, 121a-16)를 구별할 필요가 없는 경우, 단지, 화소(121a)라고 칭하고, 다른 구성에 대해서도, 동일하게 칭한다. 또한, 도 4에 있어서는, 촬상 소자(121)의 화소 어레이를 구성하는 2화소분의 측면도 및 상면도로 되어 있지만, 말할 필요도 없이, 이 이상의 수의 화소(121a)가 배치되어 있지만 도시가 생략되어 있다.
나아가, 화소(121a-15, 121a-16)는, 각각 광전 변환층(Z11)에 포토다이오드(121e-15, 121e-16)를 구비하고 있다. 또한, 포토다이오드(121e-15, 121e-16) 위에는, 각각 위에서부터 온-칩 렌즈(121c-15, 121c-16), 및 컬러 필터(121d-15, 121d-16)가 구성되어 있다.
온-칩 렌즈(121c-15, 121c-16)는, 입사광을 포토다이오드(121e-15, 121e-16) 상에 집광시킨다.
컬러 필터(121d-15, 121d-16)는, 예를 들면, 적색, 녹색, 청색, 적외 및 백색 등의 특정 파장의 광을 투과시키는 광학 필터이다. 또한, 백색의 경우, 컬러 필터(121d-15, 121d-16)는, 투명한 필터이어도 되고, 없어도 된다.
화소(121a-15, 121a-16)의 광전 변환층(Z11)에 있어서의, 각각 화소간의 경계에는, 차광막(121p-15 내지 121p-17)이 형성되어 있고, 인접하는 화소간의 크로스 토크(crosstalk)를 억제한다.
또한, 변조 소자의 하나인 차광막(121b-15, 121b-16)은, 도 4의 상단 및 중간단에 나타내는 바와 같이, 수광면(S)의 일부를 차광하고 있다. 차광막(121b)에 의해 수광면(S)의 일부가 차광됨으로써, 화소(121a)에 입사하는 입사광이 입사각도에 따라서 광학적으로 변조된다. 화소(121a)는, 그 광학적으로 변조된 입사광을 검출하므로, 입사각 지향성을 가지도록 된다. 화소(121a-15, 121a-16)에 있어서의 포토다이오드(121e-15, 121e-16)의 수광면(S)에 있어서는, 차광막(121b-15, 121b-16)에 의해, 각각 다른 범위가 차광되고 있고, 이에 의해 화소마다 다른 입사각 지향성이 설정된다. 다만, 차광되는 범위는, 촬상 소자(121)의 모든 화소(121a)의 각각에 있어서 다른 것의 경우에 한정되지 않고, 일부에서 동일한 범위가 차광되는 화소(121a)가 존재하고 있어도 된다.
도 4의 상단에 나타내는 바와 같은 구성에 의해, 차광막(121p-15)의 우측단부와, 차광막(121b-15)의 상방단부가 접속됨과 함께, 차광막(121b-16)의 좌측단부와 차광막(121p-16)의 상방단부가 접속되고, 측면에서 볼 때 L자형으로 구성되어 있다.
나아가, 차광막(121b-15 내지 121b-17), 및 차광막(121p-15 내지 121p-17)은, 금속에 의해 구성되어 있고, 예를 들면, 텅스텐(W), 알루미늄(Al), 또는 Al과 구리(Cu)의 합금으로 구성된다. 또한, 차광막(121b-15 내지 121b-17), 및 차광막(121p-15 내지 121p-17)은, 반도체 프로세스에 있어서의 배선이 형성되는 프로세스와 동일한 프로세스에서, 배선과 동일한 금속에 의해 동시에 형성되도록 하여도 된다. 또한, 차광막(121b-15 내지 121b-17), 및 차광막(121p-15 내지 121p-17)의 막 두께는, 위치에 따라 동일한 두께로 하지 않아도 된다.
또한, 도 4의 하단에 나타내는 바와 같이, 화소(121a)는, 포토다이오드(161)(포토다이오드(121e)에 대응함), 전송 트랜지스터(162), FD(Floating Diffusion)부(163), 선택 트랜지스터(164), 증폭 트랜지스터(165), 및 리셋 트랜지스터(166)를 구비하여 구성되고, 수직 신호선(167)을 통해 전류원(168)에 접속되어 있다.
포토다이오드(161)는, 애노드 전극이 각각 접지되고, 캐소드 전극이, 전송 트랜지스터(162)를 통해 증폭 트랜지스터(165)의 게이트 전극에 각각 접속되는 구성으로 되어 있다.
전송 트랜지스터(162)는, 전송 신호(TG)에 따라 각각 구동한다. 예를 들면, 전송 트랜지스터(162)의 게이트 전극에 공급되는 전송 신호(TG)가 하이 레벨이 되면, 전송 트랜지스터(162)는 온으로 된다. 이에 의해, 포토다이오드(161)에 축적되어 있는 전하가 전송 트랜지스터(162)를 통해 FD부(163)에 전송된다.
증폭 트랜지스터(165)는, 포토다이오드(161)에서의 광전 변환에 의해 얻어지는 신호를 판독하는 판독 회로인 소스 폴로어(source follower)의 입력부가 되고, FD부(163)에 축적되어 있는 전하에 따른 레벨의 화소 신호를 수직 신호선(23)에 출력한다. 즉, 증폭 트랜지스터(165)는, 드레인 단자가 전원전압(VDD)에 접속되고, 소스 단자가 선택 트랜지스터(164)를 통해 수직 신호선(167)에 접속됨으로써, 수직 신호선(167)의 일단에 접속되는 전류원(168)과 소스 폴로어를 구성한다.
FD부(163)는, 전송 트랜지스터(162)와 증폭 트랜지스터(165)의 사이에 마련되는 전하 용량 C1을 갖는 부유 확산 영역(floating diffusion region)이며, 전송 트랜지스터(162)를 통해 포토다이오드(161)로부터 전송되는 전하를 일시적으로 축적한다. FD부(163)는, 전하를 전압으로 변환하는 전하 검출부로서, FD부(163)에 축적되어 있는 전하가 증폭 트랜지스터(165)에 있어서 전압으로 변환된다.
선택 트랜지스터(164)는, 선택 신호(SEL)에 따라 구동되고, 게이트 전극에 공급되는 선택 신호(SEL)가 하이 레벨이 되면 온으로 되고, 증폭 트랜지스터(165)와 수직 신호선(167)을 접속시킨다.
리셋 트랜지스터(166)는, 리셋 신호(RST)에 따라 구동된다. 예를 들면, 리셋 트랜지스터(166)는, 게이트 전극에 공급되는 리셋 신호(RST)가 하이 레벨이 되면 온으로 되고, FD부(163)에 축적되어 있는 전하를 전원전압(VDD)에 배출하여, FD부(163)를 리셋한다.
이상과 같은 회로 구성에 의해, 도 4의 하단에 나타내는 화소 회로는 다음과 같이 동작한다.
즉, 제1 동작으로서, 리셋 트랜지스터(166) 및 전송 트랜지스터(162)가 온으로 되고, FD부(163)에 축적되어 있는 전하를 전원전압(VDD)에 배출하여, FD부(163)를 리셋한다.
제2 동작으로서, 리셋 트랜지스터(166) 및 전송 트랜지스터(162)가 오프로 되고, 노광 기간으로 되며, 포토다이오드(161)에 의해, 입사광의 광량에 따른 전하가 축적된다.
제3 동작으로서, 리셋 트랜지스터(166)가 온으로 되고, FD부(163)가 리셋된 후, 리셋 트랜지스터(166)가 오프로 된다. 이 동작에 의해, FD부(163)가 리셋되어, 기준 전위로 설정된다.
제4 동작으로서, 리셋된 상태의 FD부(163)의 전위가, 기준 전위로서 증폭 트랜지스터(165)로부터 출력된다.
제5 동작으로서, 전송 트랜지스터(162)가 온으로 되고, 포토다이오드(161)에 축적된 전하가 FD부(163)에 전송된다.
제6 동작으로서, 포토다이오드의 전하가 전송된 FD부(163)의 전위가, 신호 전위로서 증폭 트랜지스터(165)로부터 출력된다.
이상의 처리에 의해, 신호 전위로부터 기준 전위가 감산되어, CDS(상관 이중 샘플링)에 의해 검출 신호로서 출력된다. 이 검출 신호의 값(출력 화소값)은, 피사체로부터의 입사광의 입사각에 따라 변조되고 있고, 입사각에 따라 특성(지향성)이 다르다(입사각 지향성을 갖는다).
이와 같이, 도 4의 경우의 화소(121a)는, 1개에 대해 포토다이오드(121e)가 1개 마련되어 있고, 화소(121a)마다 다른 범위가 차광막(121b)에 의해 차광되고 있어, 차광막(121b)을 이용한 광학적인 변조에 의해, 1개의 화소(121a)로 입사각 지향성을 구비한 검출 화상의 1화소분의 검출 신호를 표현할 수 있다.
<촬상 소자의 다른 구성예>
또한, 입사각 지향성은, 예를 들면 수광 소자(예를 들면, 포토다이오드)의 화소 내에 있어서의 위치, 크기, 형상 등에 의해 형성할 수 있다. 이 파라미터가 다른 화소끼리는, 동일 방향으로부터의 동일한 광 강도의 입사광에 대한 감도가 다르다. 즉, 이 파라미터를 화소마다 설정함으로써, 화소마다 입사각 지향성을 설정할 수 있다.
예를 들면, 화소 내에 복수의 수광 소자(예를 들면, 포토다이오드)를 마련하고, 그들이 선택적으로 이용할 수 있도록 하여도 된다. 이와 같이 함으로써, 그 수광 소자의 선택에 의해 화소마다 입사각 지향성을 설정할 수 있게 된다.
도 5는 촬상 소자(121)의 다른 구성예를 나타내는 도면이다. 도 5의 상단에는, 촬상 소자(121)의 화소(121a)의 측면 단면도가 나타나 있고, 도 5의 중간단에는, 촬상 소자(121)의 상면도가 나타나 있다. 또한, 도 5의 상단의 측면 단면도는, 도 5의 중간단에 있어서의 AB단면이 된다. 또한, 도 5의 하단은, 촬상 소자(121)의 회로 구성예이다.
도 5에 나타내는 구성의 촬상 소자(121)는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 그 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위를 구비한다. 예를 들면, 이 촬상 소자(121)는, 그 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위의 출력 화소값의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성이, 서로 다른 특성이 되도록 하기 위한 구성을 갖는다. 또한, 이 경우의 촬상 소자(121)는, 그 복수의 화소 출력 단위가, 출력에 기여하는 PD(Photo Diode)를 서로 다르게 함으로써, 그 출력 화소값의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 화소 출력 단위마다 독립적으로 설정할 수 있다.
도 5에 나타내는 바와 같이, 촬상 소자(121)는, 화소(121a)에 있어서, 4개의 포토다이오드(121f-1 내지 121f-4)가 형성되고, 차광막(121p)이, 포토다이오드(121f-1 내지 121f-4)끼리를 분리하는 영역에 형성되어 있는 점에서, 도 5의 촬상 소자(121)와 다른 구성으로 되어 있다. 즉, 도 5의 촬상 소자(121)에서, 차광막(121p)은, 상면에서 볼 때 「+」형상으로 형성되어 있다. 또한, 이들의 공통인 구성에 대해서는 동일한 부호를 부여하고, 상세한 설명은 생략한다.
도 5와 같이 구성된 촬상 소자(121)에서는, 차광막(121p)에 의해 포토다이오드(121f-1 내지 121f-4)로 분리함으로써, 포토다이오드(121f-1 내지 121f-4) 사이의 전기적 및 광학적인 크로스토크를 방지할 수 있다. 즉, 도 5의 차광막(121p)은, 도 4의 촬상 소자(121)의 차광막(121p)과 마찬가지로 크로스토크를 방지하기 위한 것이며, 입사각 지향성을 부여하기 위한 것이 아니다.
상세에 대해서는 후술하지만, 포토다이오드(121f-1 내지 121f-4)는, 수광 감도 특성이 높아지는 입사각이 서로 다르다. 즉, 포토다이오드(121f-1 내지 121f-4)의 어느 것으로부터 전하를 판독할지에 따라, 화소(121a)의 출력 화소값에 원하는 입사각 지향성을 갖게 할(설정할) 수 있다. 즉, 화소(121a)의 출력 화소값의 입사각 지향성을 제어할 수 있다.
도 5의 촬상 소자(121)의 구성예에 있어서는, 1개의 FD부(163)를 4개의 포토다이오드(121f-1 내지 121f-4)에 의해 공유한다. 도 5의 하단은, 1개의 FD부(163)를 4개의 포토다이오드(121f-1 내지 121f-4)에 의해 공유하도록 한 회로 구성예를 나타내고 있다. 또한, 도 5의 하단에 있어서, 도 4의 하단과 동일한 구성에 대해서는, 그 설명을 생략한다.
도 5의 하단에 있어서, 도 4의 하단의 회로 구성과 다른 점은, 포토다이오드(161) 및 전송 트랜지스터(162) 대신에, 포토다이오드(161-1 내지 161-4)(도 5의 상단에 있어서의 포토다이오드(121f-1 내지 121f-4)에 대응함) 및 전송 트랜지스터(162-1 내지 162-4)를 마련하고, FD부(163)를 공유하는 구성으로 하고 있는 점이다.
도 5의 하단에 나타내는 회로에 있어서, 포토다이오드(161-1 내지 161-4)를 서로 구별하여 설명할 필요가 없는 경우, 포토다이오드(161)라고 칭한다. 또한, 전송 트랜지스터(162-1 내지 162-4)를 서로 구별하여 설명할 필요가 없는 경우, 전송 트랜지스터(162)라고 칭한다.
도 5의 하단에 나타내는 회로에 있어서, 어느 하나의 전송 트랜지스터(162)가 온으로 되면, 그 전송 트랜지스터(162)에 대응하는 포토다이오드(161)의 전하가 판독되어, 공통의 FD부(163)에 전송된다. 그리고, FD부(163)에 유지되고 있는 전하의 레벨에 따른 신호가 화소 출력 단위의 검출 신호로서 판독된다. 즉, 각 포토다이오드(161)의 전하는 서로 독립적으로 판독할 수 있고, 어느 전송 트랜지스터(162)를 온으로 할지에 따라, 어느 포토다이오드(161)로부터 전하를 판독할지를 제어할 수 있다. 환언하면, 어느 전송 트랜지스터(162)를 온으로 할지에 따라, 각 포토다이오드(161)에 의한 출력 화소값에의 기여의 정도를 제어할 수 있다. 예를 들면, 적어도 2개의 화소간에 있어서, 전하를 판독하는 포토다이오드(161)를 서로 다른 것으로 함으로써, 출력 화소값에 기여하는 포토다이오드(161)를 서로 다르게 할 수 있다. 즉, 전하를 판독하는 포토다이오드(161)의 선택에 의해, 화소(121a)의 출력 화소값에 원하는 입사각 지향성을 갖게 할(설정할) 수 있다. 즉, 각 화소(121a)로부터 출력되는 검출 신호를, 피사체로부터의 입사광의 입사각에 따라서 변조된 값(출력 화소값)으로 할 수 있다.
예를 들면, 도 5에 있어서, 포토다이오드(121f-1) 및 포토다이오드(121f-3)의 전하를 FD부(163)에 전송하고, 각각을 판독하여 얻어지는 신호를 가산하도록 함으로써, 화소(121a)의 출력 화소값에 도면 중 좌우 방향의 입사각 지향성을 갖게 할(설정할) 수 있다. 마찬가지로, 포토다이오드(121f-1) 및 포토다이오드(121f-2)의 전하를 FD부(163)에 전송하고, 각각을 판독하여 얻어지는 신호를 가산하도록 함으로써, 화소(121a)의 출력 화소값에 도면 중 상하 방향의 입사각 지향성을 갖게 할(설정할) 수 있다.
또한, 도 5의 화소(121a)의 각 포토다이오드(121f)의 각각의 전하에 기초하여 얻어지는 신호는, 화소로부터 판독된 후에 가산하도록 해도 되고, 화소 내(예를 들면, FD부(163))에 있어서 가산하도록 하여도 된다.
또한, 전하(또는 그 전하에 대응하는 신호)를 가산하는 포토다이오드(121f)의 조합은 임의이며, 상술한 예에 한정되지 않는다. 예를 들면, 3개 이상의 포토다이오드(121f)의 전하(또는 그 전하에 대응하는 신호)를 가산하도록 하여도 된다. 또한, 예를 들면, 가산을 하지 않고, 1개의 포토다이오드(121f)의 전하를 판독하도록 하여도 된다.
또한, 전자 셔터 기능을 이용하여 전하의 FD부(163)에의 판독 전에 포토다이오드(161)(포토다이오드(121f))에 축적된 검출값(전하)을 리셋하는 것 등으로, 화소(121a)(의 검출 감도)에 원하는 입사각 지향성을 갖게 하도록(설정하도록) 해도 된다.
예를 들면, 전자 셔터 기능을 이용하는 경우, 포토다이오드(121f)의 전하의 FD부(163)에의 판독 직전에 리셋을 하면, 그 포토다이오드(121f)는 화소(121a)의 검출 신호 레벨에의 기여가 없는 상태로 할 수 있고, 리셋과 FD부(163)에의 판독의 사이의 시간을 갖게 하면, 부분적으로 기여시킬 수도 있다.
이상과 같이, 도 5의 화소(121a)는, 1개에 대해 4개의 포토다이오드(121f)가 마련되어 있고, 수광면에 대해 차광막(121b)이 형성되지 않고 있지만, 차광막(121p)에 의해, 복수의 영역으로 분할되어, 4개의 포토다이오드(121f-1 내지 121f-4)가 형성되어 있어, 입사각 지향성을 구비한 검출 화상의 1화소분의 검출 신호를 표현하고 있다. 환언하면, 예를 들면, 포토다이오드(121f-1 내지 121f-4) 중 출력에 기여하지 않는 범위가 차광된 영역과 마찬가지로 기능하고, 입사각 지향성을 구비한, 검출 화상의 1화소분의 검출 신호를 표현하고 있다. 또한, 포토다이오드(121f-1 내지 121f-4)를 이용하여, 1화소분의 검출 신호를 표현하는 경우, 차광막(121b)은 이용되지 않고 있으므로, 검출 신호는, 광학적인 변조에 의해 얻어지는 신호가 아니다.
이상에서는 화소 내에 4개의 포토다이오드를 배치하는 예에 대해 설명했지만, 화소 내에 배치하는 포토다이오드의 수는 임의이며, 상술한 예에 한정되지 않는다. 즉, 화소 내에 있어서의 포토다이오드를 배치하는 부분 영역의 수도 임의이다.
또한, 이상에서는, 화소 내를 4등분한 4개의 부분 영역에 포토다이오드를 배치하도록 설명했지만, 이 부분 영역은 균등 분할된 것이 아니어도 된다. 즉, 각 부분 영역의 크기나 형상이 모두 통일되어 있지 않아도 된다(크기나 형상이 나머지와 다른 부분 영역이 포함되어 있어도 된다). 또는, 각 부분 영역 내에 배치되는 포토다이오드의 위치(부분 영역 내에 있어서의 위치), 크기, 형상 등이, 포토다이오드마다(부분 영역마다) 다르게 해도 된다. 그 때, 각 부분 영역의 크기나 형상은, 모두 통일되어 있어도 되고, 통일되어 있지 않아도 된다.
나아가, 촬상 소자(121)의 모든 화소에 있어서, 이 파라미터가 통일되어 있지 않아도 된다. 즉, 촬상 소자(121)의 1화소 이상에 있어서, 이들 파라미터 중 1개 이상의 파라미터가, 다른 화소와 달라도 된다.
예를 들면, 화소 내에 있어서의 포토다이오드를 배치하는 부분 영역을 형성하기 위한 분할 위치가 다른 화소와 상이한 화소가, 촬상 소자(121)의 화소군에 포함되도록 하여도 된다. 즉, 촬상 소자(121)가, 부분 영역의 크기나 형상이 다른 화소와 상이한 화소를 1화소 이상 가지도록 하여도 된다. 예를 들면, 화소마다 이 분할 위치를 다르게 하도록 함으로써, 복수의 화소에서 좌측상부의 포토다이오드만을 이용하도록 했다고 하더라도, 그 복수의 화소 각각에 있어서 검출되는 검출 신호의 입사각 지향성을 서로 다른 것으로 할 수 있다.
또한, 예를 들면, 화소 내에 배치되는 복수의 포토다이오드 위치, 크기, 형상 등이 다른 화소와 상이한 화소가, 촬상 소자(121)의 화소군에 포함되도록 하여도 된다. 즉, 촬상 소자(121)가, 배치되는 복수의 포토다이오드의 위치, 크기, 형상 중 적어도 임의의 1개가 다른 화소와 상이한 화소를 1화소 이상 가지도록 하여도 된다. 예를 들면, 화소마다 포토다이오드의 위치, 크기, 형상 등을 다르게 하도록 함으로써, 복수의 화소에서 좌측상부의 포토다이오드만을 이용하도록 했다고 하더라도, 그 복수의 화소 각각에 있어서 검출되는 검출 신호의 입사각 지향성을 서로 다른 것으로 할 수 있다.
나아가, 예를 들면, 부분 영역의 파라미터(크기, 형상)와, 포토다이오드의 파라미터(위치, 크기, 형상)의 양쪽 모두가 다른 화소와 상이한 화소를 1화소 이상 가지도록 하여도 된다.
또한, 예를 들면, 화소 내에 있어서의 포토다이오드를 배치하는 부분 영역을 형성하기 위한 분할수가 다른 화소와 상이한 화소가, 촬상 소자(121)의 화소군에 포함되도록 하여도 된다. 즉, 촬상 소자(121)가, 배치되는 포토다이오드의 수가 다른 화소와 상이한 화소를 1화소 이상 가지도록 하여도 된다. 예를 들면, 화소마다 분할수(포토다이오드의 수)를 다르게 하도록 함으로써, 보다 자유롭게 입사각 지향성을 설정할 수 있다.
<입사각 지향성을 생기게 하는 원리에 대해>
촬상 소자(121)에 있어서의 각 화소의 입사각 지향성은, 예를 들면, 도 6에 나타내는 바와 같은 원리에 의해 발생한다. 또한, 도 6의 좌측상부 및 우측상부는, 도 4의 촬상 소자(121)에 있어서의 입사각 지향성의 발생 원리를 설명하는 도이며, 도 6의 좌측하부 및 우측하부는, 도 5의 촬상 소자(121)에 있어서의 입사각 지향성의 발생 원리를 설명하는 도면이다.
또한, 도 6의 좌측상부 및 우측상부에 있어서의 1화소는, 모두 1개의 포토다이오드(121e)에 의해 구성된다. 이에 대해, 도 6의 좌측하부 및 우측하부에 있어서의 1화소는, 모두 2개의 포토다이오드(121f)에 의해 구성된다. 또한, 여기서는, 1화소가 2개의 포토다이오드(121f)에 의해 구성되는 예에 대해 설명하고 있지만, 이것은 설명의 편의상이며, 1화소를 구성하는 포토다이오드(121f)의 수는, 그 밖의 개수이어도 된다.
도 6의 좌측상부에 있어서는, 도면 중의 상방으로부터 하방을 향해 입사광이 입사할 때, 포토다이오드(121e-11)의 수광면의 우측절반을 차광하도록 차광막(121b-11)이 형성되어 있다. 또한, 도 6의 우측상부에 있어서는, 포토다이오드(121e-12)의 수광면의 좌측절반을 차광하도록 차광막(121b-12)이 형성되어 있다. 또한, 도면 중의 일점쇄선은, 포토다이오드(121e)의 수광면의 도면 중의 수평 방향의 중심 위치로서, 수광면에 대해 수직 방향인 것을 나타내고 있다.
예를 들면, 도 6의 좌측상부와 같은 구성의 경우, 도면 중의 일점쇄선에 대해 입사각 θ1을 이루는 화살표로 나타내는, 도면 중의 우측상방향으로부터의 입사광은, 포토다이오드(121e-11)의 차광막(121b-11)에 의해 차광되지 않고 있는 좌측절반의 범위에서는 수광하기 쉽지만, 도면 중의 일점쇄선에 대해 입사각 θ2를 이루는 화살표로 나타내는, 도면 중의 좌측상방향으로부터의 입사광은, 포토다이오드(121e-11)의 차광막(121b-11)에 의해 차광되지 않고 있는 좌측절반의 범위에서는 수광하기 어렵다. 따라서, 도 6의 좌측상부와 같은 구성의 경우, 도면 중의 우측상방으로부터의 입사광에 대해 수광 감도 특성이 높고, 좌측상방으로부터의 입사광에 대해 수광 감도 특성이 낮다고 하는 입사각 지향성을 구비하게 된다.
이에 대해, 예를 들면, 도 6의 우측상부와 같은 구성의 경우, 도면 중의 일점쇄선에 대해 입사각 θ11을 이루는 화살표로 나타내는, 도면 중의 우측상방향으로부터의 입사광은, 포토다이오드(121e-12)의 차광막(121b-12)에 의해 차광되고 있는 좌측절반의 범위에서는 수광하기 어렵지만, 도면 중의 일점쇄선에 대해 입사각 θ12를 이루는 화살표로 나타내는, 도면 중의 좌측상방향으로부터의 입사광은, 포토다이오드(121e-12)의 차광막(121b-12)에 의해 차광되지 않고 있는 우측절반의 범위에서 수광하기 쉽다. 따라서, 도 6의 우측상부와 같은 구성의 경우, 도면 중의 우측상방으로부터의 입사광에 대해 수광 감도 특성이 낮고, 좌측상방으로부터의 입사광에 대해 수광 감도 특성이 높다고 하는 입사각 지향성을 구비하게 된다.
또한, 도 6의 좌측하부의 경우, 도면 중의 좌우에 포토다이오드(121f-1, 121f-2)가 마련되어 있고, 어느 일방의 검출 신호를 판독하도록 함으로써, 차광막(121b)을 마련하는 일 없이 입사각 지향성을 갖는 구성으로 되어 있다.
즉, 도 6의 좌측하부에 나타내는 바와 같이, 화소(121a)에 2개의 포토다이오드(121f-1, 121f-2)가 형성되어 있는 경우, 도면 중의 좌측에 마련된 포토다이오드(121f-1)의 검출 신호가 이 화소(121a)의 검출 신호 레벨에 기여하도록 함으로써, 도 6의 좌측상부에 있어서의 구성과 같은 입사각 지향성을 구비하도록 할 수 있다. 즉, 도면 중의 일점쇄선에 대해 입사각 θ21을 이루는 화살표로 나타내는, 도면 중의 우측상방향으로부터의 입사광은, 포토다이오드(121f-1)에 입사하여 수광되고, 그 검출 신호가 판독되어, 이 화소(121a)의 검출 신호 레벨에 기여한다. 이에 대해, 도면 중의 일점쇄선에 대해 입사각 θ22를 이루는 화살표로 나타내는, 도면 중의 좌측상방향으로부터의 입사광은, 포토다이오드(121f-2)에 입사하지만, 그 검출 신호는 판독되지 않고, 이 화소(121a)의 검출 신호 레벨에 기여하지 않는다.
마찬가지로, 도 6의 우측하부에 나타내는 바와 같이, 화소(121a)에 2개의 포토다이오드(121f-11, 121f-12)가 형성되어 있는 경우, 도면 중의 좌측에 마련된 포토다이오드(121f-12)의 검출 신호가 이 화소(121a)의 검출 신호 레벨에 기여하도록 함으로써, 도 6의 우측상부에 있어서의 구성과 같은 입사각 지향성을 구비하도록 할 수 있다. 즉, 도면 중의 일점쇄선에 대해 입사각 θ31을 이루는 화살표로 나타내는, 도면 중의 우측상방향으로부터의 입사광은, 포토다이오드(121f-11)에 입사하지만, 그 검출 신호는 판독되지 않고, 이 화소(121a)의 검출 신호 레벨에 기여하지 않는다. 이에 대해, 도면 중의 일점쇄선에 대해 입사각 θ32를 이루는 화살표로 나타내는, 도면 중의 좌측상방향으로부터의 입사광은, 포토다이오드(121f-12)에 입사하여 수광되고, 그 검출 신호가 판독되어, 이 화소(121a)의 검출 신호 레벨에 기여한다.
또한, 도 6에 있어서는, 수직 방향의 일점쇄선이, 포토다이오드(121e)의 수광면의 도면 중의 수평 방향의 중심 위치인 예에 대해 설명해 왔지만, 설명의 편의상이며, 그 밖의 위치이어도 된다. 수직 방향의 일점쇄선으로 나타내는 차광막(121b)의 수평 방향의 위치가 상이한 것에 의해, 다른 입사각 지향성을 생기게 할 수 있다.
<온-칩 렌즈를 포함하는 구성에 있어서의 입사각 지향성에 대해>
이상에서는, 입사각 지향성의 발생 원리에 대해 설명해 왔지만, 여기서는, 온-칩 렌즈(121c)를 포함시킨 구성에 있어서의 입사각 지향성에 대해 설명한다.
즉, 촬상 소자(121)에 있어서의 각 화소의 입사각 지향성은, 상술한 차광막(121b)에 의한 것에 더하여, 온-칩 렌즈(121c)를 이용함으로써, 예를 들면, 도 7에 나타내는 바와 같이 설정된다. 즉, 도 7의 중간단 좌측부에 있어서는, 도면 중 상방의 입사 방향으로부터 입사광을 집광하는 온-칩 렌즈(121c-11), 소정의 파장의 광을 투과시키는 컬러 필터(121d-11), 및 광전 변환에 의해 화소 신호를 생성하는 포토다이오드(121e-11)의 순서대로 적층되고, 도 7의 중간단 우측부에 있어서는, 도면 중 상방의 입사 방향으로부터 온-칩 렌즈(121c-12), 컬러 필터(121d-12), 및 포토다이오드(121e-12)의 순서대로 구성되어 있다.
또한, 온-칩 렌즈(121c-11, 121c-12), 컬러 필터(121d-11, 121d-12), 및 포토다이오드(121e-11, 121e-12)의, 각각을 구별할 필요가 없는 경우, 단지, 온-칩 렌즈(121c), 컬러 필터(121d), 및 포토다이오드(121e)라고 칭한다.
촬상 소자(121)에 있어서는, 나아가, 도 7의 중간단 좌측부, 및 중간단 우측부의 각각에 나타내는 바와 같이, 입사광을 수광하는 영역의 일부를 차광하는 차광막(121b-11, 121b-12)이 마련되어 있다.
도 7의 중간단 좌측부에 나타내는 바와 같이, 도면 중의 포토다이오드(121e-11)의 우측절반을 차광하도록 한 차광막(121b-11)이 마련되어 있는 경우, 도 7의 상단의 실선 파형으로 나타내는 바와 같이, 입사광의 입사각도 θ에 따라 포토다이오드(121e-11)의 검출 신호 레벨이 변화된다.
즉, 포토다이오드(121e) 및 온-칩 렌즈(121c)의 중심 위치로서, 각각에 대해 수직이 되는 일점쇄선에 대해, 입사광이 이루는 각인 입사각도 θ가 커지면(입사각도 θ가 양의 방향으로 커지면(도면 중의 우측방향으로 기울면)), 차광막(121b-11)이 마련되지 않고 있는 범위에 광이 집광됨으로써, 포토다이오드(121e-11)의 검출 신호 레벨이 커진다. 역으로, 입사각도 θ가 작을수록(입사각도 θ가 음의 방향으로 클수록(도면 중의 좌측방향으로 기울면)), 차광막(121b-11)이 마련되어 있는 범위에 광이 집광됨으로써, 포토다이오드(121e-11)의 검출 신호 레벨이 작아진다.
또한, 여기서 말하는 입사각도 θ는, 입사광의 방향이 일점쇄선과 일치하는 경우를 0도라고 하고, 도면 중의 우측상방으로부터의 입사광이 입사하는, 도 7의 중간단 좌측의 입사각도 θ21측의 입사각도 θ를 양의 값이라고 하고, 도 7의 중간단 우측의 입사각도 θ22측의 입사각도 θ를 양의 값이라고 한다. 따라서, 도 7에 있어서는, 온-칩 렌즈(121c)에 대하여, 우측상방으로부터 입사하는 입사광에 대해서는, 좌측상방으로부터 입사하는 입사광보다 입사각도가 커진다. 즉, 입사각도 θ는, 도 7에 있어서, 입사광의 진행 방향이 우측으로 기울어질수록 커지고(양의 방향으로 커지고), 좌측으로 기울어질수록 작아지는(음의 방향으로 커지는) 것으로 한다.
또한, 도 7의 중간단 우측부에 나타내는 바와 같이, 도면 중의 포토다이오드(121e-12)의 좌측절반을 차광하도록 한 차광막(121b-12)이 마련되어 있는 경우, 도 7의 상단의 점선 파형으로 나타내는 바와 같이, 입사광의 입사각도 θ에 따라 포토다이오드(121e-12)의 검출 신호 레벨이 변화된다.
즉, 도 7의 상단에 있어서의 점선의 파형으로 나타내는 바와 같이, 포토다이오드(121e) 및 온-칩 렌즈(121c)의 중심 위치로서, 각각에 대해 수직이 되는 일점쇄선에 대해, 입사광이 이루는 각인 입사각도 θ가 클수록(입사각도 θ가 양의 방향으로 클수록), 차광막(121b-12)이 마련되어 있는 범위에 광이 집광됨으로써, 포토다이오드(121e-12)의 검출 신호 레벨이 작아진다. 역으로, 입사각도 θ가 작을수록(입사각도 θ가 음의 방향으로 클수록), 차광막(121b-12)이 마련되지 않고 있는 범위에 광이 입사함으로써, 포토다이오드(121e-12)의 검출 신호 레벨이 커진다.
또한, 도 7의 상단에 있어서는, 횡축이 입사각도 θ이며, 종축이 포토다이오드(121e)에 있어서의 검출 신호 레벨을 나타내고 있다.
이 도 7의 상단에 나타내는 입사각도 θ에 따른 검출 신호 레벨을 나타내는 실선 및 점선으로 나타내는 파형은, 차광막(121b)의 범위에 따라 변화시킬 수 있으므로, 이에 의해 화소 단위로 서로 다른 입사각 지향성을 갖게 하는(설정하는) 것이 가능해진다. 또한, 도 7의 상단에 있어서의 실선 파형은, 도 7의 중간단 좌측부, 및 하단 좌측부에 있어서의 입사광이, 입사각도 θ를 변화시켜 집광되는 모습을 나타내는 실선의 화살표에 대응하고 있다. 또한, 도 7의 상단에 있어서의 점선 파형은, 도 7의 중간단 우측부, 및 하단 우측부에 있어서의 입사광이, 입사각도 θ를 변화시켜 집광되는 모습을 나타내는 점선의 화살표에 대응하고 있다.
여기서 말하는 입사각 지향성이란, 입사각도 θ에 따른 각 화소의 검출 신호 레벨의 특성(수광 감도 특성)이지만, 도 7의 중간단의 예의 경우, 이것은 입사각도 θ에 따른 차광값의 특성이라고도 말할 수 있다. 즉, 차광막(121b)은, 특정 방향의 입사광은 높은 레벨로 차광하지만, 특정 방향 이외의 방향으로부터의 입사광은 충분히 차광할 수 없다. 이 차광할 수 있는 레벨의 변화가, 도 7의 상단에 나타내는 바와 같은 입사각도 θ에 따른 다른 검출 신호 레벨을 생기게 한다. 따라서, 각 화소에 있어서 가장 높은 레벨로 차광 가능한 방향을 각 화소의 차광 방향으로 정의하면, 화소 단위로 서로 다른 입사각 지향성을 가진다고 하는 것은, 환언하면, 화소 단위로 서로 다른 차광 방향을 가진다는 것으로 된다.
나아가, 도 7의 하단 좌측부에 나타내는 바와 같이, 1개의 온-칩 렌즈(121c-11)에 대해 2개의 포토다이오드(121f-1, 121f-2)가 마련되는 구성으로 하는(화소 출력 단위가 2개의 포토다이오드(121f-1, 121f-2)로 구성되는) 것에 의해, 도면 중 좌측부의 포토다이오드(121f-1)만의 검출 신호를 이용하도록 함으로써, 도 7의 중간단 좌측부에 있어서의 포토다이오드(121e-11)의 우측을 차광한 상태와 같은 검출 신호 레벨을 구하도록 할 수 있다.
즉, 온-칩 렌즈(121c)의 중심 위치로서, 각각에 대해 수직이 되는 일점쇄선에 대해, 입사광이 이루는 각인 입사각도 θ가 커지면(입사각도 θ가 양의 방향으로 커지면), 검출 신호가 판독되는 포토다이오드(121f-1)의 범위에 광이 집광됨으로써, 검출 신호 레벨이 커진다. 역으로, 입사각도 θ가 작을수록(입사각도 θ가 음의 방향으로 클수록), 검출값이 판독되지 않는 포토다이오드(121f-2)의 범위에 광이 집광됨으로써, 검출 신호 레벨이 작아진다.
또한, 마찬가지로, 도 7의 하단 우측부에 나타내는 바와 같이, 1개의 온-칩 렌즈(121c-12)에 대해 2개의 포토다이오드(121f-11, 121f-12)가 마련되는 구성으로 함으로써, 도면 중 우측부의 포토다이오드(121f-12)만의 검출 신호를 이용하도록 함으로써, 도 7의 중간단 우측부에 있어서의 포토다이오드(121e-12)의 좌측을 차광한 상태와 동일한 검출 신호 레벨의 출력 화소 단위의 검출 신호를 얻도록 할 수 있다.
즉, 온-칩 렌즈(121c)의 중심 위치로서, 각각에 대해 수직이 되는 일점쇄선에 대해, 입사광이 이루는 각인 입사각도 θ가 커지면(입사각도 θ가 양의 방향으로 커지면), 검출 신호가 출력 화소 단위의 검출 신호에 기여하지 않는 포토다이오드(121f-11)의 범위에 광이 집광됨으로써, 출력 화소 단위의 검출 신호의 검출 신호 레벨이 작아진다. 역으로, 입사각도 θ가 작을수록(입사각도 θ가 음의 방향으로 클수록), 검출 신호가 출력 화소 단위의 검출 신호에 기여하는 포토다이오드(121f-12)의 범위에 광이 집광됨으로써, 출력 화소 단위의 검출 신호의 검출 신호 레벨이 커진다.
또한, 입사각 지향성에 대해서는, 랜덤성이 높은 쪽이 바람직하다. 예를 들면, 이웃하는 화소 간에 동일한 입사각 지향성을 가지면, 상술한 식(1) 내지 식(3) 또는, 후술하는 식(4) 내지 식(6)이 서로 동일한 식이 될 우려가 있고, 연립 방정식의 해(解)가 되는 미지수와 식의 수의 관계가 만족되지 않을 수 있고, 복원 화상을 구성하는 화소값을 구하지 못하게 될 우려가 있기 때문이다. 또한, 도 7의 중간단에 나타내는 구성에 있어서는, 화소(121a)에, 1개의 포토다이오드(121e-11) 및 포토다이오드(121e-12)가 형성되어 있다. 이에 대해, 도 7의 하단에 나타내는 구성에 있어서는, 화소(121a)에, 2개의 포토다이오드(121f-1, 121f-2) 및 포토다이오드(121f-11, 121f-12)가 형성되어 있다. 따라서, 예를 들면, 도 7의 하단에 있어서는, 포토다이오드(121f) 단독으로는, 1화소는 구성되지 않는다.
또한, 도 7의 하단에 나타내는 바와 같이, 복수의 포토다이오드(121f)로부터 1화소 출력 단위가 구성되는 경우, 입사각도에 따라서, 화소 출력 단위의 출력 화소값이 변조되고 있다고 간주할 수 있다. 따라서, 출력 화소값의 특성(입사각 지향성)을 화소 출력 단위로 다르게 하는 것이 가능해지고, 1화소 출력 단위에서의 입사각 지향성이 설정된다. 나아가, 복수의 포토다이오드(121f)로부터 1화소 출력 단위가 구성되는 경우, 1화소 출력 단위에서의 입사각 지향성을 생기게 한 후에, 1화소 출력 단위에 대하여 1개의 온-칩 렌즈(121c)가 필수구성이 된다.
또한, 도 7의 상단에 나타내는 바와 같이, 1개의 포토다이오드(121e-11) 또는 포토다이오드(121e-12)의 각각이 1화소 출력 단위를 구성하는 경우, 입사각도에 따라서, 1화소 출력 단위를 구성하는 1개의 포토다이오드(121e-11) 또는 포토다이오드(121e-12)에의 입사광이 변조됨으로써, 결과로서 출력 화소값이 변조된다. 따라서, 출력 화소값의 특성(입사각 지향성)이 다르게 하는 것이 가능해지고, 1화소 출력 단위에서의 입사각 지향성이 설정된다. 나아가, 1개의 포토다이오드(121e-11) 또는 포토다이오드(121e-12)의 각각이 1화소 출력 단위를 구성하는 경우, 입사각 지향성은, 1화소 출력 단위마다 마련되는 차광막(121b)에 의해 독립적으로 제조시에 설정된다.
또한, 도 7의 하단에 나타내는 바와 같이, 복수의 포토다이오드(121f)로부터 1화소 출력 단위가 구성되는 경우, 1화소 출력 단위마다의 입사각 지향성을 설정하기 위한 복수 포토다이오드(121f)의 수(1화소 출력 단위를 구성하는 포토다이오드(121f)의 분할수)나 위치는, 1화소 출력 단위로 독립적으로 제조시에 설정되고, 나아가, 이 중, 어느 포토다이오드(121f)를 이용하여 입사각 지향성을 설정할지에 대해서는, 촬상시에 전환하도록 할 수 있다.
<입사각 지향성의 설정>
예를 들면, 도 8의 상단에 나타내는 바와 같이, 차광막(121b)의 설정 범위가, 화소(121a)에 있어서의 수평 방향에 대해, 좌측단부에서부터 위치(A)까지의 범위로 하고, 수직 방향에 대해, 상단부에서부터 위치(B)까지의 범위로 한다.
이 경우, 각 화소의 수평 방향의 중심 위치로부터의 입사각도 θx(deg)에 따른, 입사각 지향성의 지표가 되는 수평 방향의 0 내지 1의 가중치 Wx를 설정한다. 보다 상세하게는, 위치(A)에 대응하는 입사각도 θx = θa에 있어서, 가중치 Wx가 0.5가 된다고 가정한 경우, 입사각도 θx < θa-α에 있어서 가중치 Wx가 1이 되고, θa-α≤ 입사각도 θx ≤ θa+α에 있어서, 가중치 Wx가 (-(θx-θa)/2α+1/2)이 되고, 입사각도 θx > θa+α에 있어서 가중치 Wx가 0이 되도록 가중치 Wh를 설정한다. 또한, 여기서는, 가중치 Wh가 0, 0.5, 1인 예에 대해 설명하지만, 가중치 Wh가 0, 0.5, 1이 되는 것은, 이상적인 조건이 만족될 때가 된다.
마찬가지로, 각 화소의 수직 방향의 중심 위치로부터의 입사각도 θy(deg)에 따른, 입사각 지향성의 지표가 되는 수직 방향의 0 내지 1의 가중치 Wy를 설정한다. 보다 상세하게는, 위치(B)에 대응하는 입사각도 θy = θb에 있어서, 가중치 Wv가 0.5가 된다고 가정한 경우, 입사각도 θy < θb-α에 있어서 가중치 Wy가 0이 되고, θb-α≤ 입사각도 θy ≤ θb+α에 있어서, 가중치 Wy가 ((θy-θb)/2α+1/2)이 되고, 입사각도 θy > θb+α에 있어서 가중치 Wy가 1이 되도록 가중치 Wy를 설정한다.
그리고, 이와 같이 하여 구해진 가중치 Wx, Wy를 이용함으로써, 각각의 화소(121a)의 입사각 지향성, 즉, 수광 감도 특성에 대응하는 계수(계수 세트)를 구할 수 있다.
또한, 이 때, 수평 방향의 가중치 Wx 및 수직 방향의 가중치 Wy가 0.5 전후가 되는 범위에 있어서의 가중치의 변화를 나타내는 기울기(1/2α)는, 초점거리가 다른 온-칩 렌즈(121c)를 이용함으로써 설정할 수 있다.
즉, 곡률이 다른 온-칩 렌즈(121c)를 이용함으로써 다른 초점거리로 할 수 있다.
예를 들면, 곡률이 다른 온-칩 렌즈(121c)를 이용함으로써, 도 8의 하단에 있어서의 실선으로 나타내는 바와 같이, 초점거리가, 차광막(121b) 상으로 되도록 집광될 때, 기울기(1/2α)는 가파르게 된다. 즉, 도 8의 상단에 있어서의, 수평 방향의 가중치 Wx 및 수직 방향의 가중치 Wy는, 0.5 부근이 되는 수평 방향의 입사각도 θx = θa 및 수직 방향의 입사각도 θy = θb의 경계 부근에 있어서, 급격하게 0 또는 1로 변화된다.
또한, 예를 들면, 곡률의 다른 온-칩 렌즈(121c)를 이용함으로써, 도 8의 하단에 있어서의 점선에 나타내는 바와 같이, 초점거리가, 포토다이오드(121e) 상에 집광될 때, 기울기(1/2α)는 완만하게 된다. 즉, 도 8의 상부에 있어서의, 수평 방향의 가중치 Wx 및 수직 방향의 가중치 Wy가 0.5 부근이 되는 수평 방향의 입사각도 θx = θa 및 수직 방향의 입사각도 θy = θb의 경계 부근에 있어서, 완만하게 0 또는 1로 변화된다.
이상과 같이, 곡률이 다른 온-칩 렌즈(121c)를 이용하여, 다른 초점거리로 함으로써 다른 입사각 지향성, 즉, 다른 수광 감도 특성을 얻을 수 있다.
따라서, 화소(121a)의 입사각 지향성은, 차광막(121b)에 의해 포토다이오드(121e)가 차광되는 범위와, 온-칩 렌즈(121c)의 곡률이 다르게 함으로써 다른 값으로 설정할 수 있다. 또한, 온-칩 렌즈의 곡률은, 촬상 소자(121)에 있어서의 모든 화소에서 동일해도 되고, 일부 화소에 있어서 다른 곡률이어도 된다.
<온-칩 렌즈와 촬상 렌즈 간의 차이>
상술한 바와 같이, 촬상 소자(121)는 촬상 렌즈를 필요로 하지 않는다. 다만, 온-칩 렌즈(121c)는, 적어도, 도 5를 참조하여 설명한 바와 같은 화소 내의 복수의 포토다이오드를 이용하여 입사각 지향성을 실현하는 경우에는 필요하다. 온-칩 렌즈(121c)와 촬상 렌즈란, 물리적 작용이 다른 것이다.
촬상 렌즈는, 같은 방향으로부터 입사한 입사광을, 서로 인접하는 복수의 화소에 입사시키기 위한 집광 기능을 갖는다. 이에 대해, 온-칩 렌즈(121c)를 통과하는 광은, 대응하는 1화소를 구성하는 포토다이오드(121e 또는 121f)의 수광면에만 입사된다. 환언하면, 온-칩 렌즈(121c)는, 화소 출력 단위마다 마련되고, 자신에게 입사하는 피사체광을 대응하는 화소 출력 단위에만 집광한다. 즉, 온-칩 렌즈(121c)는, 가상 점광원으로부터 출사한 확산 광을, 서로 인접하는 복수의 화소에 입사시키기 위한 집광 기능을 가지지 않는다.
<피사체면과 촬상 소자 간의 거리의 관계>
다음으로, 도 9를 참조하여, 피사체면과 촬상 소자(121) 간의 거리의 관계에 대해 설명한다.
도 9의 상단 좌측부에 나타내는 바와 같이, 촬상 소자(121)와 피사체면(131)까지의 피사체 거리가 거리 d1인 경우, 예를 들면, 피사체면(131) 상의 점광원(PA, PB, PC)을 설정할 때, 대응하는 촬상 소자(121) 상의 위치(Pa, Pb, Pc)에 있어서의 검출 신호 레벨(DA, DB, DC)이, 상술한 식(1) 내지 식(3)과 동일한 식으로 표현할 수 있는 것으로 한다.
DA = α1×a + β1×b + γ1×c
　…(1)
DB = α2×a + β2×b + γ2×c
　…(2)
DC = α3×a + β3×b + γ3×c
　…(3)
이에 대해, 도 9의 하단 좌측부에 나타내는 바와 같이, 촬상 소자(121)와의 피사체 거리가 거리 d1보다 d만큼 큰 거리 d2인 피사체면(131')인 경우, 즉, 촬상 소자(121)로부터 볼 때, 피사체면(131)보다 안쪽의 피사체면(131')의 경우, 검출 신호 레벨은, 도 9의 상단 중앙부 및 하단 중앙부에 나타내는 바와 같이, 검출 신호 레벨(DA, DB, DC) 모두 마찬가지이다.
그러나, 이 경우, 피사체면(131') 상의 점광원(PA', PB', PC')으로부터의 광 강도가 a', b', c'인 광선이 촬상 소자(121)의 각 화소에 있어서 수광된다. 이 때, 촬상 소자(121) 상에서 수광되는, 광 강도가 a', b', c'인 광선의 입사각도는 다르므로(변화되므로), 각각 다른 계수 세트가 필요해지고, 각 위치(Pa, Pb, Pc)에 있어서의 검출 신호 레벨(DA, DB, DC)은, 예를 들면, 이하의 식(4) 내지 식(6)으로 나타내는 바와 같이 표현되게 된다.
[수 2]
Figure pct00002
여기서, 계수 세트 α11, β11, γ11, 계수 세트 α12, β12, γ12, 계수 세트 α13, β13, γ13으로 이루어지는 계수 세트군은, 각각 피사체면(131)에 있어서의 계수 세트 α1, β1, γ1, 계수 세트 α2, β2, γ2, 계수 세트 α3, β3, γ3에 대응하는 피사체면(131')의 계수 세트군이다.
따라서, 식(4) 내지 식(6)을, 미리 설정된 계수 세트군 α11, β11, γ11, α12, β12, γ12, α13, β13, γ13을 이용하여 푸는 것으로, 도 9의 상단 우측부에 나타내는 피사체면(131)에 있어서의 경우의 점광원(PA, PB, PC)에 있어서의 광선의 광 강도(a, b, c)를 구한 수법과 마찬가지의 수법으로, 도 9의 하단 우측부에 나타내는 바와 같이, 점광원(PA', PB', PC')으로부터의 광선의 광 강도(a', b', c')로서 구하는 것이 가능해지고, 결과로서, 피사체면(131')의 피사체의 복원 화상을 구하는 것이 가능해진다.
즉, 도 1의 촬상 장치(100)에 있어서는, 촬상 소자(121)로부터의 피사체면까지의 거리마다의 계수 세트군을 미리 기억해 두고, 계수 세트군을 전환하여 연립 방정식을 구성하고, 구성한 연립 방정식을 푸는 것으로, 1개의 검출 화상에 기초하여, 다양한 피사체 거리의 피사체면의 복원 화상을 얻는 것이 가능해진다.
즉, 검출 화상을 1회 촬상하는 것만으로, 그 후의 처리에서, 피사체면까지의 거리에 따라 계수 세트군을 전환하고, 복원 화상을 구하도록 함으로써, 임의의 거리의 복원 화상을 생성하는 것도 가능하다.
또한, 화상 인식이나 가시 화상이나 가시 화상 이외의 피사체의 특성을 얻고 싶은 경우에는, 복원 화상을 얻고 나서 복원 화상을 기초로 화상 인식 등을 행하지 않더라도, 촬상 소자의 검출 신호에 대해, 딥 러닝(deep learning) 등의 기계학습을 적용하고, 검출 신호 자체를 이용하여 화상 인식 등을 행하는 것도 가능하다.
또한, 피사체 거리나 화각을 특정할 수 있도록 한 경우에 대해서는, 모든 화소를 이용하지 않고, 특정된 피사체 거리나 화각에 대응한 피사체면의 촬상에 적합한 입사각 지향성을 갖는 화소의 검출 신호로 이루어지는 검출 화상을 이용하여, 복원 화상을 생성하도록 하여도 된다. 이와 같이 함으로써, 특정된 피사체 거리나 화각에 대응한 피사체면의 촬상에 적합한 화소의 검출 신호를 이용하여 복원 화상을 구할 수 있다.
예를 들면, 도 10의 상단에 나타내는 바와 같이, 4변의 각각의 단부로부터 폭 d1만큼 차광막(121b)에 의해 차광되고 있는 화소(121a)와, 도 10의 하단에 나타내는 바와 같이, 4변의 각각의 단부로부터 폭 d2(>d1)만큼 차광막(121b)에 의해 차광되고 있는 화소(121a')를 생각한다.
화소(121a)는, 예를 들면, 도 11의 상단에 나타내는 바와 같은, 피사체가 되는 인물(H101) 전체를 포함하는 화각 SQ1에 대응하는, 도 10의 화상(I1)을 복원하기 위해 이용된다. 이에 대해, 화소(121a')는, 예를 들면, 도 11의 상단에 나타내는 바와 같은, 피사체가 되는 인물(H101)의 얼굴 주변이 줌 업(zoom up)된 화각 SQ2에 대응하는, 도 10의 화상(I2)을 복원하기 위해 이용된다.
이것은, 도 10의 화소(121a)가, 도 12의 좌측부에 나타내는 바와 같이, 촬상 소자(121)에 대해 입사광의 입사 가능 각도 범위(A)로 되므로, 피사체면(131) 상에 있어서, 수평 방향으로 피사체폭 W1분의 입사광을 수광할 수 있기 때문이다.
이에 대해, 도 10의 화소(121a')는, 도 10의 화소(121a)보다 차광되는 범위가 넓기 때문에, 도 12의 좌측부에 나타내는 바와 같이, 촬상 소자(121)에 대해 입사광의 입사 가능 각도 범위(B)(<A)가 되므로, 피사체면(131) 상에 있어서, 수평 방향으로 피사체폭 W2(<W1)분의 입사광을 수광하기 때문이다.
즉, 차광 범위가 좁은 도 10의 화소(121a)는, 피사체면(131) 상의 넓은 범위를 촬상하는 데 적합한 광화각 화소인 것에 대해서, 차광 범위가 넓은 도 10의 화소(121a')는, 피사체면(131) 상의 좁은 범위를 촬상하는 데 적합한 협화각 화소이다. 또한, 여기서 말하는 광화각 화소 및 협화각 화소는, 도 10의 화소(121a, 121a')의 양자를 비교하는 표현으로서, 그 밖의 화각의 화소를 비교한 바에는 이에 한정되지 않는다.
또한, 도 12는, 촬상 소자(121)의 중심 위치(C1)에 대한, 피사체면(131) 상의 위치와, 각각의 위치로부터의 입사광의 입사각도의 관계를 나타내고 있다. 또한, 도 12에 있어서는, 피사체면(131) 상의 위치와, 피사체면(131) 상의 각각의 위치로부터의 입사광의 입사각도의 수평 방향에 대한 관계가 나타나 있지만, 수직 방향에 대해서도 마찬가지의 관계로 된다. 나아가, 도 12의 우측부에는, 도 10에 있어서의 화소(121a, 121a')가 나타나 있다.
이러한 구성에 의해, 도 11의 하단에 나타내는 바와 같이, 촬상 소자(121)에 있어서의, 점선으로 둘러싸인 범위(ZA)에 도 10의 화소(121a)를, 일점쇄선으로 둘러싸인 범위(ZB)에 도 10의 화소(121a')를, 각각 소정 화소수씩 모아서 구성하는 경우, 피사체폭 W1에 대응하는 화각 SQ1의 화상을 복원하려고 할 때에는, 화각 SQ1을 촬상하는 도 10의 화소(121a)를 이용하도록 함으로써, 적절히 피사체면(131)의 피사체폭 W1의 화상을 복원할 수 있다.
마찬가지로, 피사체폭 W2에 대응하는 화각 SQ2의 화상을 복원하려고 할 때에는, 화각 SQ2를 촬상하는 도 10의 화소(121a')의 검출 신호 레벨을 이용하도록 함으로써, 적절히 피사체폭 W2의 화상을 복원할 수 있다.
또한, 도 11의 하단에 있어서는, 도면 중의 좌측에 화소(121a')가 소정 화소수만 마련되고, 우측에 화소(121a)가 소정 화소수만 마련된 구성으로서 나타나 있지만, 이것은 설명을 간단하게 하기 위한 예로서 나타낸 것이며, 화소(121a)와 화소(121a')는, 랜덤하게 혼재해서 배치되는 것이 바람직하다.
이와 같이, 화각 SQ2는, 화각 SQ1보다 화각이 좁으므로, 화각 SQ2와 화각 SQ1의 화상을 동일한 소정 화소수를 이용하여 복원하는 경우, 화각 SQ1의 화상보다, 더 좁은 화각이 되는 화각 SQ2의 화상을 복원하는 편이, 보다 고화질인 복원 화상을 얻을 수 있다.
즉, 동일 화소수를 이용하여 복원 화상을 얻는 것을 생각한 경우, 보다 화각이 좁은 화상을 복원하는 편이, 보다 고화질인 복원 화상을 얻을 수 있다.
또한, 화각이 넓은 화상을 복원 화상으로서 얻는 경우, 광화각 화소의 모든 화소를 이용하도록 해도 되고, 광화각 화소의 일부를 이용하도록 하여도 된다. 또한, 화각이 좁은 화상을 복원 화상으로서 얻는 경우, 협화각 화소의 모든 화소를 이용하도록 해도 되고, 협화각 화소의 일부를 이용하도록 하여도 된다.
이상과 같은 촬상 소자(121)를 이용함으로써, 결과로서, 촬상 렌즈, 회절 격자 등으로 이루어지는 광학 소자나, 핀홀 등이 불필요하게 되기 때문에(촬상 렌즈 프리(imaging lens-free)로 되므로), 장치의 설계 자유도를 높이는 것이 가능해짐과 함께, 입사광의 입사 방향에 대한 장치의 소형화를 실현하는 것이 가능해지고, 제조 비용을 저감하는 것이 가능해진다. 또한, 포커스 렌즈 등과 같은, 광학 상(optical image)을 결상시키기 위한 촬상 렌즈에 상당하는 렌즈도 불필요하게 된다.
나아가, 촬상 소자(121)를 이용함으로써, 검출 화상을 취득하는 것만으로, 그 후에 있어서, 피사체 거리나 화각에 따른 계수 세트군을 선택적으로 이용하여 구성한 연립 방정식을 풀어서 복원 화상을 구함으로써, 다양한 피사체 거리나 화각의 복원 화상을 생성하는 것이 가능해진다.
나아가, 촬상 소자(121)는, 화소 단위로 입사각 지향성을 가질 수 있으므로, 회절 격자로 이루어지는 광학 필터와 종래의 촬상 소자 등과 비교하여, 다화소화를 실현할 수 있고, 또한, 고해상도이며 또한 높은 각도 분해능의 복원 화상을 얻을 수 있다. 한편, 광학 필터와 종래의 촬상 소자로 이루어지는 촬상 장치에서는, 화소를 미세화하더라도, 광학 필터의 미세화가 어렵기 때문에, 복원 화상의 고해상도화 등의 실현이 어렵다.
또한, 촬상 소자(121)는, 회절 격자로 이루어지는 광학 필터 등을 필요로 하지 않으므로, 사용 환경이 고온으로 되어 광학 필터가 열에 의해 뒤틀리는 일이 없다. 따라서, 이러한 촬상 소자(121)를 이용함으로써, 환경내성이 높은 장치를 실현하는 것이 가능해진다.
<제1 변형예>
도 3의 우측부에 있어서는, 촬상 소자(121)의 각 화소(121a)에 있어서의 차광막(121b)의 구성으로서, 수직 방향에 대해서는 전체를 차광하고, 또한, 수평 방향에 대한 차광 폭이나 위치를 변화시킴으로써, 수평 방향의 입사각 지향성의 차이를 갖게 하는 예를 나타냈지만, 차광막(121b)의 구성은 이 예에 한정되지 않는다. 예를 들면, 수평 방향에 대해 전체로서 차광하고, 수직 방향의 폭(높이)이나 위치를 변화시키도록 하여, 수직 방향의 입사각 지향성의 차이를 갖게 하도록 하여도 된다.
또한, 도 3의 우측부에 나타내는 예와 같이, 수직 방향에 대해서는 화소(121a) 전체를 차광하고, 또한, 수평 방향에 대해 소정의 폭으로 화소(121a)를 차광하는 차광막(121b)은, 가로 밴드(horizontal band) 타입의 차광막(121b)이라고 칭한다. 이에 대해, 수평 방향에 대해서는 화소(121a) 전체를 차광하고, 또한, 수직 방향에 대해 소정의 높이로 화소(121a)를 차광하는 차광막(121b)은, 세로 밴드(vertical band) 타입의 차광막(121b)이라고 칭한다.
또한, 도 13의 좌측부에 나타내는 예와 같이, 세로 밴드 타입과 가로 밴드 타입의 차광막(121b)을 조합시켜, 화소(121a)를 L자형의 차광막(121b)을 마련하도록 하여도 된다. 도 13의 좌측부에 있어서, 흑색으로 나타내는 부분이 차광막(121b)이다. 즉, 차광막(121b-21) 내지 차광막(121b-24)은, 각각, 화소(121a-21) 내지 화소(121a-24)의 차광막이다.
이들 각 화소(화소(121a-21) 내지 화소(121a-24))는, 도 13의 우측부에 나타내는 바와 같은 입사각 지향성을 가지도록 된다. 도 13의 우측부에 나타내는 그래프는, 각 화소에 있어서의 수광 감도를 나타내고 있다. 횡축이 입사광의 수평 방향(x방향)의 입사각도 θx를 나타내고, 종축이 입사광의 수직 방향(y방향)의 입사각도 θy를 나타내고 있다. 그리고, 범위(C4) 내의 수광 감도가 범위(C4)의 밖보다 높고, 범위(C3) 내의 수광 감도가 범위(C3)의 밖보다 높고, 범위(C2) 내의 수광 감도가 범위(C2)의 밖보다 높고, 범위(C1) 내의 수광 감도가 범위(C1)의 밖보다 높다.
따라서, 각 화소에 대해서, 범위(C1) 내가 되는, 수평 방향(x방향)의 입사각도 θx와, 수직 방향(y방향)의 입사각도 θy의 조건을 만족하는 입사광의 검출 신호 레벨이 가장 높게 되고, 범위(C2) 내, 범위(C3) 내, 범위(C4) 내, 및 범위(C4) 이외의 범위의 조건의 순서대로 검출 신호 레벨이 낮게 되는 것이 나타나 있다. 이러한 수광 감도의 강도는, 차광막(121b)에 의해 차광되는 범위에 의해 결정된다.
또한, 도 13의 좌측부에 있어서, 각 화소(121a) 내의 알파벳은, 컬러 필터의 색을 나타내고 있다(설명의 편의상 기재한 것이며, 실제로 표기되어 있는 것이 아니다). 화소(121a-21)는 녹색의 컬러 필터가 배치되는 G 화소이며, 화소(121a-22)는 적색의 컬러 필터가 배치되는 R 화소이며, 화소(121a-23)는 청색의 컬러 필터가 배치되는 B 화소이며, 화소(121a-24)는 녹색의 컬러 필터가 배치되는 G 화소이다. 즉, 이 화소는, 베이어 배열(Bayer array)을 형성하고 있다. 물론, 이것은 일례이며, 컬러 필터의 배열 패턴은 임의이다. 차광막(121b)의 배치와 컬러 필터는 무관계이다. 예를 들면, 일부 또는 전부의 화소에 있어서, 컬러 필터 이외의 필터가 마련되도록 해도 되고, 필터가 마련되지 않도록 하여도 된다.
도 13의 좌측부에 있어서는, 「L자형」의 차광막(121b)이, 화소(121a)의 도면 중 좌변과 하변 측을 차광하는 예가 나타나 있지만, 이 「L자형」의 차광막(121b)의 방위는 임의이며, 도 13의 예에 한정되지 않는다. 예를 들면, 「L자형」의 차광막(121b)이, 화소(121a)의 도면 중 하변과 우변 측을 차광하도록 해도 되고, 화소(121a)의 도면 중 우변과 상변 측을 차광하도록 해도 되고, 화소(121a)의 도면 중 상변과 좌변 측을 차광하도록 하여도 된다. 물론, 이 차광막(121b)의 방위는, 화소마다 독립적으로 설정할 수 있다. 또한, 이 「L자형」의 차광막(121b)을 「L자 타입의 차광막(121b)」 모두 총칭한다.
이상에서는 차광막에 대해 설명했지만, 이 예의 설명은, 화소 내에 배치한 복수의 포토다이오드를 선택적으로 이용함으로써 입사각 지향성을 갖게 하는(설정하는) 경우에도 적용할 수 있다. 즉, 예를 들면, 분할 위치(각 부분 영역의 크기나 형상)나, 각 포토다이오드의 위치, 크기, 형상 등을 적절히 설정하거나, 포토다이오드를 적절히 선택하거나 함으로써, 상술한 L자 타입의 차광막(121b)에 의한 입사광 지향성과 동등한 입사광 지향성을 실현할 수 있다.
<제2 변형예>
이상에서는, 가로 밴드 타입, 세로 밴드 타입, 및 L자 타입의 차광막에 대해, 차광되고 있는 범위가 랜덤하게 변화되도록 각 화소에 배치되는 예에 대해 설명해 왔지만, 예를 들면, 도 14의 촬상 소자(121')에서 나타내는 바와 같이, 사각형 개구를 형성한 경우에, 각각의 화소에 있어서 광선이 수광하는 위치 근방의 범위 이외를 차광하는 차광막(121b)(도면 중, 흑색으로 나타낸 범위)을 구성하도록 하여도 된다.
즉, 각 화소에 대해, 사각형 개구를 형성한 경우에, 소정의 피사체 거리의 피사체면을 구성하는 점광원으로부터 출사되는 광선 중, 사각형 개구를 투과하여 수광되는 광선만을 수광하도록 한 입사각 지향성을 가지도록 차광막(121b)을 마련하도록 하여도 된다.
또한, 도 14에 있어서는, 예를 들면, 수평 방향의 화소 배열에 대해, 차광막(121b)의 수평 방향의 폭이 폭 dx1, dx2, … dxn으로 변화되고 있고, 이것이, dx1 < dx2 < … < dxn의 관계가 된다. 마찬가지로, 수직 방향의 화소 배열에 대해, 차광막(121b)의 수직 방향의 높이가 높이 dy1, dy2, … dym으로 변화되고 있고, 이것이, dy1 < dy2 < … < dxm의 관계가 된다. 또한, 차광막(121b)의 수평 방향의 폭 및 수직 방향의 폭의, 각각의 변화의 간격은, 복원하는 피사체 분해능(각도 분해능)에 따르는 것이다.
환언하면, 도 14의 촬상 소자(121')에 있어서의 각 화소(121a)의 구성은, 수평 방향 및 수직 방향에 대해 촬상 소자(121') 내의 화소 배치에 대응하도록, 차광하는 범위를 변화시키도록 한 입사각 지향성을 갖게 하고 있다고 말할 수 있다.
보다 상세하게는, 도 14의 각 화소(121a)의 차광 범위는, 예를 들면, 도 15의 좌측부에 나타내는 화소(121a)를 이용하여 설명되는 규칙에 따라 결정된다.
또한, 도 15의 우측부는, 도 14와 동일한 촬상 소자(121')의 구성을 나타내고 있다. 또한, 도 15의 좌측부는, 도 15(도 14와 동일)의 우측부에 있어서의 촬상 소자(121')의 화소(121a)의 구성을 나타내고 있다.
도 15의 좌측부에 나타내는 바와 같이, 화소(121a)의 상변 및 하변의 단부로부터 화소(121a) 내를 향하여, 각각 폭 dx1만큼 차광막(121b)에 의해 차광하고, 좌변 및 우변의 단부로부터 화소(121a) 내를 향하여, 각각 높이 dy1만큼 차광막(121b)에 의해 차광한다. 또한, 도 15, 도 16에 있어서, 차광막(121b)은 흑색으로 나타낸 범위이다.
도 15의 좌측부에 있어서, 차광막(121b)이, 이와 같이 형성됨으로써 차광되는 범위를, 이후에 있어서, 화소(121a)의 주 차광부(Z101)(도 15 좌측부의 흑색부)라고 칭하고, 그 이외의 사각형 형상의 범위를 범위(Z102)라고 칭한다.
화소(121a)에 있어서의, 범위(Z102) 내에, 차광막(121b)에 의해 차광되지 않는 사각형 개구부(Z111)가 형성되는 것으로 한다. 따라서, 범위(Z102)에 있어서, 사각형 개구부(Z111) 이외의 범위는, 차광막(121b)에 의해 차광된다.
도 14의 촬상 소자(121') 내의 화소 배열은, 도 15의 우측부(도 14와 동일)에 나타내는 바와 같이, 좌측단부에서, 또한, 상단부의 화소(121a-1)는, 사각형 개구부(Z111)를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx1이며, 그 상변이 화소(121a)의 상변으로부터 dy1의 거리에 배치하는 구성으로 한다.
마찬가지로, 화소(121a-1)의 오른쪽 옆의 화소(121a-2)는, 사각형 개구부(Z111)를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx2이며, 그 상변이 화소(121a)의 상변으로부터 높이 dy1의 거리에 배치하여, 사각형 개구부(Z111) 이외의 범위를 차광막(121b)에 의해 차광하는 구성으로 한다.
이하, 마찬가지로, 수평 방향으로 인접하는 화소(121a)는, 배치가 도면 중의 우측으로 진행함에 따라, 사각형 개구부(Z111)의 우변이, 화소(121a)의 우변으로부터 폭 dx1, dx2 … dxn으로 이동한다. 또한, 도 15의 범위(Z102)에 있어서의 우측상부의 점선 사각형 부분이, 사각형 개구부(Z111)를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dxn이며, 그 상변이 화소(121a)의 상변으로부터 높이 dy1의 거리에 배치했을 때의 상태를 나타내고 있다. 또한, 폭 dx1, dx2… dxn의 각각의 간격은, 범위(Z102)의 수평 방향의 폭에서 사각형 개구부(Z111)의 폭을 뺀 폭을 수평 방향의 화소수 n으로 나눈 값이 된다. 즉, 수평 방향의 화소수 n으로 나눔으로써 수평 방향의 변화의 간격이 결정된다.
또한, 촬상 소자(121')에 있어서의 화소(121a) 내의 사각형 개구부(Z111)의 수평 방향의 위치는, 촬상 소자(121') 내에 있어서의 수평 방향의 위치가 동일한 화소(121a) (동일 열의 화소(121a)) 내에 있어서 동일하게 된다.
나아가, 화소(121a-1)의 바로 아래에 인접하는 화소(121a-3)는, 사각형 개구부(Z111)를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx1이며, 그 상변이 화소(121a)의 상변으로부터 높이 dy2의 거리에 배치하여, 사각형 개구부(Z111) 이외의 범위를 차광막(121b)에 의해 차광하는 구성으로 한다.
이하, 마찬가지로, 수직 방향으로 인접하는 화소(121a)는, 배치가 도면 중의 하측으로 진행함에 따라, 사각형 개구부(Z111)의 상변이, 화소(121a)의 상변으로부터 높이 dy1, dy2… dyn으로 이동한다. 한편, 도 15의 범위(Z102)에 있어서의 좌측하부의 점선 사각형 부분이, 사각형 개구부(Z111)를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx1이며, 그 상변이 화소(121a)의 상변으로부터 높이 dym의 거리에 배치했을 때의 상태를 나타내고 있다. 또한, 높이 dy1, dy2 … dym의 각각의 간격은, 범위(Z102)의 수직 방향의 높이로부터 사각형 개구부(Z111)의 높이를 뺀 높이를 수직 방향의 화소수 m으로 나눈 값이 된다. 즉, 수직 방향의 화소수 m으로 나눔으로써 수직 방향의 변화의 간격이 결정된다.
또한, 촬상 소자(121')에 있어서의 화소(121a) 내의 사각형 개구부(Z111)의 수직 방향의 위치는, 촬상 소자(121') 내에 있어서의 수직 방향의 위치가 동일한 화소(121a)(동일 행의 화소(121a)) 내에 있어서 동일하게 된다.
나아가, 도 15(도 14)에 나타내는 촬상 소자(121')를 구성하는 각 화소(121a)의 주 차광부(Z101), 및 사각형 개구부(Z111)를 변화시킴으로써, 화각을 변화시킬 수 있다.
도 16의 우측부는, 도 15(도 14)의 촬상 소자(121')에 대하여 화각을 넓게 하는 경우의 촬상 소자(121')의 구성을 나타내고 있다. 또한, 도 16의 좌측부는, 도 16의 우측부에 있어서의 촬상 소자(121')의 화소(121a)의 구성을 나타내고 있다.
즉, 도 16의 좌측부에 나타내는 바와 같이, 예를 들면, 화소(121a) 내에, 도 15에 있어서의 주 차광부(Z101)보다 차광 범위가 좁은 주 차광부(Z151)(도 16 좌측부의 흑색부)를 설정하고, 그 이외의 범위를 범위(Z152)로 설정한다. 나아가, 범위(Z152) 내에, 사각형 개구부(Z111)보다 개구 면적이 넓은 사각형 개구부(Z161)를 설정한다.
보다 상세하게는, 도 16의 좌측부에 나타내는 바와 같이, 화소(121a)의 상변 및 하변의 단부로부터 화소(121a) 내를 향하여, 각각 폭 dx1'(<dx1)만큼 차광막(121b)에 의해 차광되고, 좌변 및 우변의 단부로부터 화소(121a) 내를 향하여, 각각 높이 dy1'(<dy1)만큼 차광막(121b)에 의해 차광됨으로써, 사각형 개구부(Z161)가 형성된다.
여기서, 도 16의 우측부에 나타내는 바와 같이, 좌측단부이며 또한 상단부의 화소(121a-1)는, 사각형 개구부(Z161)를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx1'이며, 그 상변이 화소(121a)의 상변으로부터 높이 dy1'의 거리에 배치하여, 사각형 개구부(Z161) 이외의 범위를 차광막(121b)에 의해 차광하는 구성으로 한다.
마찬가지로, 화소(121a-1)의 오른쪽 옆의 화소(121a-2)는, 사각형 개구부(Z161)를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx2'이며, 그 상변이 화소(121a)의 상변으로부터 높이 dy1'에 배치하여, 사각형 개구부(Z161) 이외의 범위를 차광막(121b)에 의해 차광하는 구성으로 한다.
이하, 마찬가지로, 수평 방향으로 인접하는 화소(121a)는, 배치가 도면 중의 우측으로 진행함에 따라, 사각형 개구부(Z161)의 우변이, 화소(121a)의 우변으로부터 폭 dx1', dx2' … dxn'로 이동한다. 여기서, 폭 dx1', dx2' … dxn'의 각각의 간격은, 범위(Z152)의 수평 방향의 폭에서 사각형 개구부(Z161)의 수평 방향의 폭을 뺀 폭을, 수평 방향의 화소수 n으로 나눈 값이 된다. 즉, 수평 방향의 화소수 n으로 나눔으로써 수직 방향의 변화의 간격이 결정된다. 따라서, 폭 dx1', dx2' … dxn'의 변화의 간격은, 폭 dx1, dx2 … dxn의 변화의 간격보다 커진다.
또한, 도 16의 촬상 소자(121')에 있어서의 화소(121a) 내의 사각형 개구부(Z161)의 수평 방향의 위치는, 촬상 소자(121') 내에 있어서의 수평 방향의 위치가 동일한 화소(121a)(동일 열의 화소(121a)) 내에 있어서 동일하게 된다.
나아가, 화소(121a-1)의 바로 아래에 인접하는 화소(121a-3)는, 사각형 개구부(Z161)를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx1'이며, 그 상변이 화소(121a)의 상변으로부터 높이 dy2'에 배치하여, 사각형 개구부(Z161) 이외의 범위를 차광막(121b)에 의해 차광하는 구성으로 한다.
이하, 마찬가지로, 수직 방향으로 인접하는 화소(121a)는, 배치가 도면 중의 하측으로 진행함에 따라, 사각형 개구부(Z161)의 상변이, 화소(121a)의 상변으로부터 높이 dy1', dy2'… dym'로 변화된다. 여기서, 높이 dy1', dy2' … dym'의 변화의 간격은, 범위(Z152)의 수직 방향의 높이에서 사각형 개구부(Z161)의 높이를 뺀 높이를 수직 방향의 화소수 m으로 나눈 값이 된다. 즉, 수직 방향의 화소수 m으로 나눔으로써 수직 방향의 변화의 간격이 결정된다. 따라서, 높이 dy1', dy2' … dym'의 변화의 간격은, 폭높이 dy1, dy2 … dym의 변화의 간격보다 커진다.
또한, 도 16의 촬상 소자(121')에 있어서의 화소(121a) 내의 사각형 개구부(Z161)의 수직 방향의 위치는, 촬상 소자(121') 내에 있어서의 수직 방향의 위치가 동일한 화소(121a)(동일 행의 화소(121a)) 내에 있어서 동일하게 된다.
이와 같이, 주 차광부의 차광 범위와 개구부의 개구 범위의 조합을 변화시킴으로써, 다양한 화각의(다양한 입사각 지향성을 가진) 화소(121a)로 이루어지는 촬상 소자(121')를 실현하는 것이 가능해진다.
나아가, 동일한 화각의 화소(121a)뿐만 아니라, 다양한 화각의 화소(121a)를 조합시켜 촬상 소자(121)를 실현시키도록 하여도 된다.
예를 들면, 도 17에 나타내는 바와 같이, 점선으로 나타내는 2화소×2화소로 이루어지는 4화소를 1개의 단위(U)로 하고, 각각의 단위(U)가, 광화각의 화소(121a-W), 중간화각의 화소(121a-M), 협화각의 화소(121a-N), 매우 협화각인 화소(121a-AN)의 4화소로 구성되도록 한다.
이 경우, 예를 들면, 모든 화소(121a)의 화소수가 X인 경우, 4종류의 화각마다 X/4화소씩의 검출 화상을 이용하여 복원 화상을 복원하는 것이 가능해진다. 이때, 화각마다 다른 4종류의 계수 세트가 사용되며, 4종류의 다른 연립 방정식에 의해, 각각 다른 화각의 복원 화상이 복원된다.
이 때문에, 복원하는 화각의 복원 화상을, 복원하는 화각의 촬상에 적합한 화소로부터 얻어지는 검출 화상을 이용하여 복원함으로써, 4종류의 화각에 따른 적절한 복원 화상을 복원하는 것이 가능해진다.
또한, 4종류의 화각의 중간 화각이나, 그 전후의 화각의 화상을, 4종류의 화각의 화상으로부터 보간 생성하도록 해도 되고, 다양한 화각의 화상을 연속적으로 생성함으로써, 유사 광학 줌(pseudo optical zooming)을 실현하도록 하여도 된다.
이상에서는 차광막에 대해 설명했지만, 이 예의 설명은, 화소 내에 배치한 복수의 포토다이오드를 선택적으로 이용함으로써 입사각 지향성을 갖게 하는(설정하는) 경우에도 적용할 수 있다. 즉, 예를 들면, 분할 위치(각 부분 영역의 크기나 형상)나, 각 포토다이오드의 위치, 크기, 형상 등을 적절히 설정하거나, 포토다이오드를 적절히 선택하거나 함으로써, 상술한 사각형 개구를 갖는 차광막(121b)에 의한 입사광 지향성과 동등한 입사광 지향성을 실현할 수 있다. 물론, 이 경우도, 다양한 화각의 화소(121a)를 조합시켜 촬상 소자(121)를 실현시킬 수도 있다. 또한, 중간 화각이나, 그 전후의 화각의 화상을, 복수 종류의 화각의 화상으로부터 보간 생성하도록 해도 되고, 다양한 화각의 화상을 연속적으로 생성함으로써, 유사 광학 줌을 실현하도록 하여도 된다.
<제3 변형예>
그런데, 촬상 소자(121)에 있어서의 화소(121a)의 차광막(121b)의 차광하고 있는 범위에 랜덤성을 갖게 하고 있는 경우, 차광막(121b)의 차광하고 있는 범위의 차이의 난잡함이 클수록, 복원부(124) 등에 의한 처리의 부하는 큰 것이 된다. 이에, 화소(121a)의 차광막(121b)의 차광하고 있는 범위의 차이의 일부를 규칙적인 것으로 하여, 이 차이의 난잡함을 저감시킴으로써, 처리 부하를 저감시키도록 하여도 된다.
예를 들면, 세로 밴드 타입과 가로 밴드 타입을 조합시킨 L자 타입의 차광막(121b)을 구성하도록 하고, 소정의 열방향에 대해서는, 동일한 폭의 가로 밴드 타입의 차광막(121b)을 조합시키고, 소정의 행방향에 대해서는, 동일한 높이의 세로 밴드 타입의 차광막(121b)을 조합시키도록 한다. 이와 같이 함으로써, 각 화소(121a)의 차광막(121b)의 차광 범위가, 열방향 및 행방향에서 규칙성을 갖게 하면서, 화소 단위에서는 랜덤하게 다른 값으로 설정되게 된다. 그 결과, 각 화소(121a)의 차광막(121b)의 차광 범위의 차이, 즉, 각 화소의 입사각 지향성의 차이의 난잡함을 저감시켜, 복원부(124) 등의 촬상 소자(121)의 외부의 처리 부하를 저감시킬 수 있다.
예를 들면, 도 18의 촬상 소자(121")의 경우, 범위(Z130)에 의해 나타내는 동일 열의 화소에 대해서는, 모두 동일한 폭 X0의 가로 밴드 타입의 차광막(121b)이 이용되고, 범위(Z150)에 의해 나타내는 동일 행의 화소에 대해서는, 동일한 높이 Y0의 세로 밴드 타입의 차광막(121b)이 이용되고, 각 행렬에 의해 특정되는 화소(121a)에 대해서는, 이들이 조합된 L자 타입의 차광막(121b)이 설정되어 있다.
마찬가지로, 범위(Z130)에 인접하는 범위(Z131)에 의해 나타내는 동일 열의 화소에 대해서는, 모두 동일한 폭 X1의 가로 밴드 타입의 차광막(121b)이 이용되고, 범위(Z150)에 인접하는 범위(Z151)에 의해 나타내는 동일 행의 화소에 대해서는, 동일한 높이 Y1의 세로 밴드 타입의 차광막(121b)이 이용되고, 각 행렬에 의해 특정되는 화소(121a)에 대해서는, 이들이 조합된 L자 타입의 차광막(121b)이 설정되어 있다.
나아가, 범위(Z131)에 인접하는 범위(Z132)에 의해 나타내는 동일 열의 화소에 대해서는, 모두 동일한 폭 X2의 가로 밴드 타입의 차광막이 이용되고, 범위(Z151)에 인접하는 범위(Z152)에 의해 나타내는 동일 행의 화소에 대해서는, 동일한 높이 Y2의 세로 밴드 타입의 차광막이 이용되고, 각 행렬에 의해 특정되는 화소(121a)에 대해서는, 이들이 조합된 L자 타입의 차광막(121b)이 설정되어 있다.
이와 같이 함으로써, 차광막(121b)의 수평 방향의 폭 및 위치, 및, 수직 방향의 높이 및 위치에 규칙성을 갖게 하면서, 화소 단위로 차광막의 범위를 다른 값으로 설정할 수 있으므로, 입사각 지향성의 차이의 난잡함을 억제할 수 있다. 결과로서, 계수 세트의 패턴을 저감시키는 것이 가능해지고, 후단(예를 들면, 복원부(124) 등)에 있어서의 연산 처리의 처리 부하를 저감시키는 것이 가능해진다.
<제4 변형예>
화소 단위의 차광막(121b)의 형상의 변동(variation)은 임의이며, 상술한 각각의 예에 한정되지 않는다. 예를 들면, 차광막(121b)을 삼각형으로 설정하고, 그 범위를 다른 것으로 함으로써 다른 입사각 지향성을 갖게 하도록(설정하도록) 해도 되고, 차광막(121b)을 원형으로 설정하고, 그 범위를 다른 것으로 함으로써 다른 입사각 지향성을 갖게 하도록 하여도 된다. 또한, 예를 들면, 경사 방향의 선 형상의 차광막 등이어도 된다.
또한, 소정 수의 복수의 화소로 이루어지는 유닛을 구성하는 복수의 화소 단위에서 차광막(121b)의 변동(패턴)을 설정하도록 하여도 된다. 이러한 1유닛은 어떠한 화소에 의해 구성되도록 하여도 된다. 예를 들면, 촬상 소자(121)가 컬러 필터를 구비하는 것으로 하고, 그 컬러 필터의 색배열의 단위를 구성하는 화소에 의해 구성되도록 하여도 된다. 또한, 노광 시간이 다른 화소를 조합시킨 화소 그룹을 유닛으로 하도록 하여도 된다. 또한, 유닛을 구성하는 각 화소에 있어서의 차광막(121b)이 차광하는 범위의 패턴의 랜덤성이 높은 쪽이, 즉, 유닛을 구성하는 화소가 각각 다른 입사각 지향성을 구비하고 있는 쪽이 바람직하다.
또한, 유닛 사이에서 차광막(121b)의 배치 패턴을 설정하도록 하여도 된다. 예를 들면, 유닛마다, 차광막의 폭이나 위치를 바꾸도록 하여도 된다. 나아가, 다른 카테고리로 분류되는 복수의 화소로 이루어지는 유닛 내나 유닛 사이에서 차광막(121b)이 차광하는 범위의 패턴을 설정하도록 하여도 된다.
이상에서는 차광막에 대해 설명했지만, 이 예의 설명은, 화소 내에 배치한 복수의 포토다이오드를 선택적으로 이용함으로써 입사각 지향성을 갖게 하는(설정하는) 경우에도 적용할 수 있다. 즉, 예를 들면, 분할 위치(각 부분 영역의 크기나 형상)나, 각 포토다이오드의 위치, 크기, 형상 등을 적절하게 설정하거나, 포토다이오드를 적절하게 선택하거나 함으로써, 상술한 화소(121a)의 차광막(121b)이 차광하고 있는 범위의 변화의 일부를 규칙적인 것으로 한 경우의 입사광 지향성과 동등한 입사광 지향성을 실현할 수 있다. 이와 같이 함으로써, 각 화소의 입사각 지향성의 차이의 난잡함을 저감시켜, 복원부(124) 등의 촬상 소자(121)의 외부의 처리 부하를 저감시킬 수 있다.
이상에서는 차광막에 대해 설명했지만, 이 예의 설명은, 화소 내에 배치한 복수의 포토다이오드를 선택적으로 이용함으로써 입사각 지향성을 갖게 하는(설정하는) 경우에도 적용할 수 있다. 즉, 분할 위치(각 부분 영역의 크기나 형상)나, 각 포토다이오드의 위치, 크기, 형상 등을 적절히 설정하거나, 포토다이오드를 적절히 선택하거나 함으로써, 예를 들면, 삼각형, 원형, 경사 방향의 선 형상 등의, 임의의 형상의 차광막에 의한 입사광 지향성과 동등한 입사광 지향성을 실현할 수 있다.
또한, 예를 들면, 분할 위치(각 부분 영역의 크기나 형상)의 설정, 각 포토다이오드의 위치, 크기, 형상 등의 설정, 및 포토다이오드의 선택 등을, 상술한 차광막(121b)의 경우와 마찬가지로, 유닛마다 설정하도록 하여도 된다.
<포토다이오드의 제어>
도 5를 참조하여 상술한 바와 같은 화소 내에 배치한 복수의 포토다이오드를 선택적으로 이용하는 경우, 복수의 포토다이오드(121f)의 각각의 화소 출력 단위의 출력 화소값에의 기여의 유무나 정도를 전환함으로써 화소 출력 단위의 출력 화소값의 입사각 지향성을 다양하게 변화시킬 수 있도록 하여도 된다.
예를 들면, 도 19에 나타내는 바와 같이, 화소(121a)에, 포토다이오드(121f-111 내지 121f-119)에 9개(세로 3개×가로 3개)의 포토다이오드(121f)가 배치되어 있는 것으로 한다. 이 경우, 이 화소(121a)를, 포토다이오드(121f-111 내지 121f-119)를 갖는 화소(121a-b)로서 이용하도록 해도 되고, 포토다이오드(121f-111, 121f-112, 121f-114, 및 121f-115)를 가지는 화소(121a-s)로서 이용하도록 하여도 된다.
예를 들면, 화소(121a)를 화소(121a-b)로 하는 경우, 포토다이오드(121f-111 내지 121f-119)의 해당 화소(121a)의 출력 화소값에의 기여의 유무나 정도를 제어함으로써 출력 화소값의 입사각 지향성이 제어된다. 이에 대해, 화소(121a)를 화소(121a-s)로 하는 경우, 포토다이오드(121f-111, 121f-112, 121f-114, 및 121f-115)의 해당 화소(121a)의 출력 화소값에의 기여의 유무나 정도를 제어함으로써 출력 화소값의 입사각 지향성이 제어된다. 이 경우, 그 밖의 포토다이오드(121f)(포토다이오드(121f-113, 121f-116, 121f-117 내지 121f-119)는, 출력 화소값에 기여하지 않도록 제어된다.
즉, 예를 들면, 복수의 화소(121a-b) 간에 출력 화소값의 입사각 지향성이 서로 다른 경우, 포토다이오드(121f-111 내지 121f-119) 중 적어도 어느 하나의 출력 화소값에의 기여의 유무나 정도가 다르다. 이에 대해, 예를 들면 복수의 화소(121a-s) 간에 출력 화소값의 입사각 지향성이 서로 다른 경우, 포토다이오드(121f-111, 121f-112, 121f-114, 및 121f-115) 중 적어도 어느 하나의 출력 화소값에의 기여의 유무나 정도가 다르고, 그 밖의 포토다이오드(121f-113, 121f-116, 121f-117 내지 121f-119)는, 이들 화소 간에 공통되고, 출력 화소값에 기여하지 않는다.
또한, 화소(121a)를 화소(121a-b)로 할지 화소(121a-s)로 할지는, 화소마다 설정할 수 있다. 또한, 이 설정을 유닛(복수 화소)마다 행할 수 있도록 하여도 된다.
또한, 상술한 바와 같이 촬상 소자(121)의 각 화소(각 화소 출력 단위)에는 온-칩 렌즈가 1개 형성된다. 즉, 화소(121a)가 도 19에 나타내는 예와 같은 구성의 경우, 도 20에 나타내는 바와 같이, 그 포토다이오드(121f-111 내지 121f-119)에 대해 1개의 온-칩 렌즈(121c)가 설치된다. 따라서, 도 19를 참조하여 설명한 바와 같이 화소(121a)를 화소(121a-b)로 하는 경우에도, 화소(121a-s)로 하는 경우에도, 1화소(1화소 출력 단위)와 1개의 온-칩 렌즈(121c)가 일대일로 대응한다.
<검출 화상의 해상도 제어>
도 1의 촬상 장치(100)에 있어서는, 이상 설명한 바와 같은 특징을 갖는 촬상 소자(121)를 사용한다. 상술한 바와 같이, 이 촬상 소자(121)는, 화소(화소 출력 단위)마다 입사각 지향성을 갖는다. 예를 들면, 도 21에 나타내는 바와 같이, 차광막(121b)으로 화소(121a)(화소 출력 단위)의 일부를 차광함으로써 이 입사각 지향성이 형성된다.
종래의 촬상 소자에서는, 검출 화상의 해상도를 제어할 수 없었다. 즉, 촬상 소자의 모든 화소(화소 출력 단위)의 검출 신호를 판독하고, 판독한 모든 검출 신호를 이용하여 검출 화상이 생성되었다. 그리고, 검출 화상을 어떻게 처리하면 해상도를 변환할 수 있을지는 개시되어 있지 않다. 특허문헌 1 등에도 그러한 취지는 기재도 시사도 되어 있지 않다.
따라서, 예를 들면, 촬상 화상을 저해상도화하기 위해서는, 검출 화상을 촬상 화상으로 변환하고 나서 저해상도화를 행해야 했었다. 즉, 저해상도화하는 경우라도, 촬상 소자(121)로부터의 검출 화상의 판독이나 그 검출 화상으로부터 촬상 화상으로의 변환(화상 처리)은 고해상도의 상태에서 행해야 했었다. 그 때문에, 불필요하게 부하가 증대되고, 불필요하게 소비 전력이 증대될 우려가 있었다.
이에 대하여 촬상 장치(100)는, 촬상 소자(121)가 도 21에 나타내는 바와 같이 화소(화소 출력 단위)마다 입사각 지향성을 갖고 있으므로, 화소(화소 출력 단위)마다 검출 신호를 취사선택할 수 있다. 즉, 일부 화소 출력 단위로부터만 검출 신호를 판독하고, 검출 화상에 포함시킬 수 있다. 즉, 검출 화상의 해상도를 제어할 수 있다. 따라서, 예를 들면, 검출 화상의 해상도를 촬상 소자(121)의 해상도보다 저감시킬 수 있다. 즉, 원하는 해상도에 따라 필요한 화소 출력 단위나 ADC(Analog Digital Converter) 등을 구동시킬 수 있다(불필요한 화소 출력 단위나 ADC 등의 구동을 억제할 수 있다). 따라서, 불필요한 소비 전력의 증대를 억제할 수 있다.
<에어리어 ADC를 갖는 촬상 소자>
또한, 촬상 소자(121)는, 화소 출력 단위로부터 판독된 아날로그 신호의 검출 신호를 디지털 신호로 변환하는(A/D 변환하는) ADC를 구비하고 있다. 이 ADC는, 화소(화소 출력 단위)가 형성되는 화소 영역의 부분 영역에 대응지어 설치되어 있다. 즉, ADC는, 자신에 대응하는 부분 영역의 화소 출력 단위(그 부분 영역에 형성되는 화소 출력 단위)로부터 판독된 검출 신호(아날로그 신호)를 A/D 변환한다. 이러한 ADC를 에어리어 ADC라고도 칭한다.
<기판 구성>
예를 들면, 도 22에 나타내는 바와 같이, 촬상 소자(121)의 회로 구성은, 적층된 2장의 기판인 상부 기판(301) 및 하부 기판(302)에 형성된다. 상부 기판(301) 및 하부 기판(302)은, 각각 어떠한 크기(넓이 또는 두께, 또는 그 양쪽 모두) 및 형상이어도 되고, 그 크기 또는 형상, 또는 그 양쪽 모두가 서로 달라도 된다. 상부 기판(301)에 형성되는 회로와 하부 기판(302)에 형성되는 회로는, 예를 들면 비어(VIA) 등에 의해 서로 접속된다.
또한, 촬상 소자(121)의 기판 구성은 임의이며, 도 22의 예에 한정되지 않는다. 예를 들면, 촬상 소자(121)가, 3장 이상의 기판에 의해 구성되도록 해도 되고, 1장의 기판으로 구성되도록 하여도 된다. 또한, 각 기판에 형성되는 회로 등의 구성은 임의이다.
<상부 기판 구성>
상부 기판(301)에 형성되는 주요 회로 구성의 예를 도 23에 나타낸다. 도 23에 나타내는 바와 같이, 상부 기판(301)에는, 예를 들면, 화소 영역(311)이 형성된다. 화소 영역(311)은, 화소(121a)(화소 출력 단위)의 집합(즉, 복수의 화소(121a))이 형성되는 영역이다. 도 23에 있어서, 화소 영역(311) 내의 작은 사각형이 화소(121a)를 나타내고 있다. 즉, 도 23의 예의 경우, 화소 영역(311)에는, 세로 16개×가로 20개의 화소(121a)가 형성되어 있다. 또한, 화소 영역(311)에 형성되는 화소(121a)의 수는, 복수라면 임의이며, 도 23의 예에 한정되지 않는다.
화소 영역(311)에 있어서의 복수의 화소(121a)의 배치 패턴은 임의이다. 예를 들면, 도 23의 예의 경우, 화소 영역(311)에는, 복수의 화소(121a)가 행렬 형상(어레이 형상)으로 형성되어 있다. 이 행렬 형상으로 배치된 화소(121a)(화소 출력 단위)를 화소 어레이(화소 출력 단위 어레이)라고도 칭한다. 단, 이 예는 일례이며, 복수의 화소(121a)의 배치 패턴은 이 예에 한정되지 않는다. 예를 들면, 화소 영역(311)에 있어서, 복수의 화소(121a)가, 벌집 구조 형상으로 배치되도록 하여도 된다. 또한, 복수의 화소(121a)가, 1개의 선 형상(예를 들면, 1행 또는 1열의 직선 형상, 또는, 곡선 형상(예를 들면, 사행선 형상이나 소용돌이 형상 등))으로 배치되도록 하여도 된다. 또한, 화소 사이가 떨어져 있어도 된다.
또한, 화소 영역(311)의 부분 영역을 에어리어(312)라고 칭한다. 예를 들면, 도 23의 예의 경우, 화소 영역(311)의 굵은 선으로 둘러싸이는 각 부분 영역이 에어리어(312)이다. 즉, 4화소×4화소의 각 부분 영역이 각각 에어리어(312)로서 설정되어 있다. 또한, 도 23에 있어서는 1개의 에어리어에만 숫자를 부여하고 있지만, 상술한 바와 같이 각 부분 영역이 각각 에어리어(312)이다. 즉, 도 23의 예의 경우, 상부 기판(301)에는, 세로 4개×가로 5개의 에어리어(312)가 설정되어 있다.
한편, 에어리어(312)는, 화소 영역(311) 내에 어떠한 레이아웃으로 설정되어도 된다. 즉, 화소 영역(311) 내에 있어서의 에어리어(312)의 형상, 크기, 수는 모두 임의이다. 예를 들면, 화소 영역(311) 내에 복수의 에어리어(312)를 마련하는 경우, 그 복수의 에어리어(312) 간에 이들 파라미터가 모두 통일되어 있도록 해도 되고, 통일되어 있지 않아도 된다. 즉, 예를 들면, 형상 또는 크기, 또는 그 양쪽 모두가 다른 에어리어(312)와 상이한 에어리어(312)가 존재해도 된다. 또한, 에어리어(312)끼리가 중첩해도 된다.
또한, 에어리어(312) 내의 구성도 임의이다. 즉, 에어리어(312)에 내포되는 화소(121a)의 수나 레이아웃 등은 임의이다. 예를 들면, 화소 영역(311) 내에 복수의 에어리어(312)를 마련하는 경우, 그 복수의 에어리어(312) 간에 이들 파라미터가 모두 통일되어 있도록 해도 되고, 통일되어 있지 않아도 된다. 즉, 예를 들면, 내포하는 화소수 또는 화소 배치, 또는 그 양쪽 모두가 다른 에어리어(312)와 상이한 에어리어(312)가 존재해도 된다.
또한, 에어리어(312) 내에 형성되는 화소(화소 출력 단위)의 출력 화소값의, 피사체로부터의 입사광에 대한 입사각 지향성은 임의이다. 예를 들면, 에어리어(312) 내에 형성되는 화소(화소 출력 단위)군 전체가, 화소 영역(311) 내에 형성되는 화소(화소 출력 단위)군 전체의 입사각 지향성과 동등한 입사각 지향성을 가지도록 하여도 된다. 또한, 예를 들면, 에어리어(312) 내에 형성되는 화소(화소 출력 단위)군 전체가, 화소 영역(311) 내에 형성되는 화소(화소 출력 단위)군 전체의 입사각 지향성과 상이한 입사각 지향성을 가지도록 하여도 된다.
또한, 예를 들면, 화소 영역(311) 내에 복수의 에어리어(312)를 마련하는 경우, 이 입사각 지향성이 에어리어(312) 간에 통일되어 있어도 되고, 통일되어 있지 않아도 된다. 즉, 이 입사각 지향성이 다른 에어리어(312)와 상이한 에어리어(312)가 존재해도 된다. 예를 들면, 미리 정해진 에어리어(312)의 화소 출력 단위군의 전체의 화각의 크기가, 다른 에어리어(312) 또는 화소 영역(311)의 화소 출력 단위군 전체의 화각의 크기와 다르게 해도 된다. 예를 들면, 광화각의 에어리어(312)와 협화각의 에어리어(312)가 화소 영역(311) 내에 설치되도록 하여도 된다. 또한, 예를 들면, 미리 정해진 에어리어(312)의 화소 출력 단위군의 전체의 화각의 방향이, 다른 에어리어(312) 또는 화소 영역(311)의 화소 출력 단위군 전체의 화각의 방향과 다르게 해도 된다. 예를 들면, 2개의 에어리어(312) 간에서, 얻어지는 화상의 시차(視差; parallax)가 커지는 방향으로 화각의 방향이 서로 다르게 해도 된다. 또한, 예를 들면, 각 화소(화소 출력 단위)의 이 입사각 지향성이, 모두, 화소 영역(311)에 대해 수직이도록 한 에어리어(312)가 존재하도록 하여도 된다.
또한, 예를 들면, 화소 영역(311) 내에 복수의 에어리어(312)를 마련하는 경우, 각 에어리어(312) 내의 소정의 화소(화소 출력 단위)의 집합 전체가, 화소 영역(311) 내에 형성되는 화소(화소 출력 단위)군 전체의 입사각 지향성과 동등한 입사각 지향성을 가지도록 하여도 된다. 예를 들면, 각 에어리어(312)의 최초로 신호가 판독되는 화소(화소 출력 단위)의 집합 전체가, 화소 영역(311) 내에 형성되는 화소(화소 출력 단위)군 전체의 입사각 지향성과 동등한 입사각 지향성을 가지도록 하여도 된다.
또한, 이하에 있어서는, 특별히 언급하지 않는 한, 도 23의 예와 같이, 화소 영역(311) 전체에 화소 어레이가 형성되는 것으로 하고, 그 화소 영역(311)을 소정의 화소수마다 복수로 분할한 각 부분 영역을 에어리어(312)로 하는 것으로 한다.
수직 주사부(313)는, 화소 영역(311)의 화소 어레이의 열방향(도면 중 종방향) 주사에 관한 처리를 행한다. 수평 주사부(314)는, 화소 영역(311)의 화소 어레이의 행방향(도면 중 횡방향) 주사에 관한 처리를 행한다. 즉, 화소 영역(311)의 화소(121a)로부터의 신호 판독은, 이 수직 주사부(313) 및 수평 주사부(314)에 의해 제어된다. 환언하면, 수직 주사부(313) 및 수평 주사부(314)에 의해 구동되도록 제어된 화소(121a)로부터 신호가 판독된다.
<하부 기판 구성>
하부 기판(302)에 형성되는 주요 회로 구성의 예를 도 24에 나타낸다. 도 24에 나타내는 바와 같이, 하부 기판(302)에는, 예를 들면, 상부 기판(301)의 각 에어리어(312)에 대응하는 에어리어 ADC(321)가 형성된다. 도 24에 있어서 하부 기판(302)의 중앙부에 나타내지는 사각형이 에어리어 ADC(321)를 나타낸다. 도 24에 있어서는 1개의 사각형에만 숫자를 부여하고 있지만, 각 사각형이 각각 에어리어 ADC(321)를 나타낸다. 즉, 도 24의 예의 경우, 하부 기판(302)에는, 세로 4개×가로 5개의 에어리어 ADC(321)가 형성되어 있다. 이 에어리어 ADC(321)는, 각각, 상부 기판(301)의 서로 다른 에어리어(312)에 대응지어져 있다.
이 하부 기판(302)에 형성되는 에어리어 ADC(321)의 수는 임의이다. 상부 기판(301)의 에어리어(312)와 동일한 수여도 되고, 에어리어(312)보다 많아도 되고, 적어도 된다. 또한, 1개의 에어리어(312)에 대해 복수의 에어리어 ADC(321)가 대응지어져 있어도 되고, 1개의 에어리어 ADC(321)에 대해 복수의 에어리어(312)가 대응지어져 있어도 된다. 도 23 및 도 24의 예의 경우, 에어리어 ADC(321)의 각각에 대해, 서로 다른 에어리어(312)가 대응지어져 있다.
또한, 여기서 「대응한다」란, 양자가 신호선이나 소자 등을 통해 서로 접속되어 있는 모습을 나타낸다. 예를 들면, 「A를 B에 대응짓는다」란, A(또는 A에 준하는 것)를, 신호선 등을 통해 B(또는 B에 준하는 것)에 접속하는 것을 나타낸다. 또한, 예를 들면, 「에어리어(312)와 에어리어 ADC(321)가 대응한다」란, 에어리어(312)의 각 화소(121a)와 에어리어 ADC(321)가, 신호선 등을 통해 접속되어 있는 것을 나타낸다.
에어리어 ADC(321)는 A/D 변환기를 포함하고, 입력된 아날로그 신호를 A/D 변환하고, 디지털 신호(출력 화소값)로서 출력한다. 환언하면, 에어리어 ADC(321)는, 자신(그 에어리어 ADC(321))에 대응하는 에어리어(312)의 화소(121a)로부터 판독된 신호를 처리(A/D 변환)하고, 출력 화소값을 얻는 신호 처리부이다.
또한, 이 접속은, 화소(121a)로부터 에어리어 ADC(321)에 신호가 전송될 때 성립되어 있으면 된다. 예를 들면, 에어리어 ADC(321)가, 스위치 등을 통해, 에어리어(312) 내의 어느 하나의 화소(121a)와 접속되도록(에어리어 ADC(321)의 접속처의 화소(121a)가 그 스위치 등에 의해 전환되도록) 해도 된다.
또한, 도 24에 나타내는 바와 같이, 하부 기판(302)에는, 예를 들면, 디지털 신호 처리부(322), 타이밍 생성부(323), 및 DAC(Digital Analog Converter)(324) 등이 형성된다. 디지털 신호 처리부(322)는, 디지털 신호의 신호 처리에 관한 처리를 행한다. 도시는 생략하지만, 디지털 신호 처리부(322)는, 각 에어리어 ADC(321)와 신호선 등에 의해 접속되어 있다. 예를 들면, 디지털 신호 처리부(322)는, 에어리어 ADC(321)에 있어서 A/D 변환되어 얻어진 디지털 신호에 대한 신호 처리를 행한다. 이 신호 처리의 내용은 임의이다.
타이밍 생성부(323)는, 촬상 소자(121) 내의 각 구성의 동작 타이밍의 기준이 되는 타이밍 신호를 생성한다. 도시는 생략하지만, 타이밍 생성부(323)는, 촬상 소자(121) 내의 다른 구성과 신호선 등을 통해 접속되어 있으며, 생성한 타이밍 신호를 원하는 구성에 공급할 수 있다. 예를 들면, 상부 기판(301)의 화소 영역(311), 수직 주사부(313), 수평 주사부(314) 및 하부 기판(302)의 에어리어 ADC(321), 디지털 신호 처리부(322), DAC(324) 등은, 이 타이밍 생성부(323)로부터 공급되는 타이밍 신호에 기초하는 타이밍에서 동작한다(소정의 처리를 행한다). 이에 의해 각 구성 간에 있어서 처리 타이밍의 동기를 취할 수 있다.
DAC(324)는 D/A 변환부를 포함하고, 입력된 디지털 신호를 D/A 변환하고, 아날로그 신호로서 출력한다. 예를 들면, DAC(324)는, 이 D/A 변환에 의해, 에어리어 ADC(321)에서 사용되는 램프 신호(Ramp)를 생성한다. 도시는 생략하지만, DAC(324)는 각 에어리어 ADC(321)에 접속되어 있으며, 생성한 램프 신호를 각 에어리어 ADC(321)에 공급한다.
또한, 이 접속은, DAC(324)로부터 에어리어 ADC(321)에 램프 신호가 전송될 때 성립되어 있으면 된다. 예를 들면, DAC(324)가 스위치 등을 통해, 어느 하나의 에어리어 ADC(321)와 접속되도록 (DAC(324)의 접속처의 에어리어 ADC(321)가 그 스위치 등에 의해 전환되도록) 해도 된다.
<에어리어 ADC의 구성>
도 25는 에어리어 ADC(321)의 주요 구성예를 나타내는 도면이다. 도 25에 나타내는 바와 같이, 에어리어 ADC(321)는 비교부(331) 및 래치부(332)를 갖는다. 비교부(331)는, 신호선 등을 통해, 그 에어리어 ADC(321)에 대응하는 에어리어(312)의 각 화소(121a)에 접속되어 있다. 또한, 비교부(331)는, 도시하지 않는 신호선 등을 통해 DAC(324)와도 접속되어 있다. 비교부(331)는, 그 에어리어(312)의 수직 주사부(313) 및 수평 주사부(314)에 의해 선택된 화소(121a)로부터 판독되어 공급되는 신호와, DAC(324)로부터 공급되는 램프 신호(Ramp)에서 그 크기를 비교한다. 또한, 비교부(331)는, 신호선 등을 통해 래치부(332)와도 접속되어 있으며, 그 비교 결과(어느 쪽이 큰지를 나타내는 값)를 래치부(332)에 공급한다.
래치부(332)에는, 도시하지 않는 카운터 등으로부터, 비교부(331)가 비교를 개시하고 나서 경과한 시간의 길이를 나타내는 코드 값이 공급된다. 즉, 이 코드 값은, 시간의 경과와 함께 값이 변화한다. 비교부(331)로부터 공급되는 비교 결과가 변화하면, 래치부(332)는, 그 타이밍에서 입력되고 있는 코드 값을 보유한다. 즉, 비교부(331)가 비교를 개시하고 나서 경과한 시간의 길이가 래치된다. 상술한 바와 같이 비교 대상은 화소(121a)로부터 판독된 신호와 램프 신호이기 때문에, 이 시간의 길이는, 화소(121a)로부터 판독된 신호의 크기를 나타낸다.
래치부(332)는, 도시하지 않는 신호선 등을 통해 디지털 신호 처리부(322)에 접속되어 있다. 래치부(332)는, 그 화소(121a)로부터 판독된 신호의 크기를 나타내는 코드 값(보유한 코드 값)을, 디지털 신호의 검출 신호로서, 디지털 신호 처리부(322)에 공급한다.
<판독 주사>
에어리어(312) 내의 각 화소(121a)로부터의 신호의 판독은, 소정의 순서(주사 순서)로 행해진다. 즉, 수직 주사부(313) 및 수평 주사부(314)는, 처리 대상의 에어리어(312)에 대해, 소정의 주사 순서에 따라, 신호를 판독하는 화소(121a)를 1화소씩 선택한다. 이 주사 순서는 임의이다.
도 26은 이 주사 순서의 예를 설명하는 도면이다. 도 26에 있어서, 각 사각형은, 1개의 에어리어(312)에 형성되는 화소(121a)를 모식적으로 나타낸 것이다. 즉, 도 26의 예의 경우, 1개의 에어리어(312)에 4화소×4화소의 화소 어레이가 형성되어 있다. 또한, 사각형의 밖에 나타내는 각 숫자는, 설명을 위해 부여한 것이며, 화소 어레이에 있어서의 각 화소(121a)의 좌표를 나타내고 있다. 예를 들면, 도면 중 좌측상단의 화소(121a)의 좌표는 (0, 0)이며, 도면 중 우측상단의 화소(121a)의 좌표는 (3, 0)이며, 도면 중 좌측하단의 화소(121a)의 좌표는 (0, 3)이며, 도면 중 우측하단의 화소(121a)의 좌표는 (3, 3)이다. 또한, 도면 중 화살표는 주사 순서를 나타낸다.
즉, 도 26의 예의 주사 순서의 경우, 화소(121a)는, 상부의 행으로부터 순서대로 선택된다. 각 행 내에 있어서는, 좌측으로부터 우측을 향해 1열씩(즉, 1화소씩) 선택된다. 보다 구체적으로는, 먼저, 좌표(0, 0)로부터 좌표(0, 3)를 향해 1화소씩 선택되고, 다음으로 좌표(1, 0)로부터 좌표(1, 3)를 향해 1화소씩 선택되고, 다음으로 좌표(2, 0)로부터 좌표(2, 3)를 향해 1화소씩 선택되고, 다음으로 좌표(3, 0)로부터 좌표(3, 3)를 향해 1화소씩 선택된다.
예를 들면, 이러한 주사 순서로 1화소씩 신호가 판독되고, 그 에어리어(312)에 대응하는 에어리어 ADC(321)에 공급된다.
상술한 바와 같이, 에어리어(312) 내에서의 주사 순서는 임의이며, 도 26의 예에 한정되지 않는다. 예를 들면, 화소(121a)가, 1열씩(각 열 내에서 1행씩) 선택되도록 해도 되고, 경사 방향으로 순서대로 선택되도록 해도 되고, 소용돌이 형상으로 순대로 선택되도록 하여도 된다.
또한, 연속해서 선택되는 화소가 서로 인접하여 있지 않아도 된다. 예를 들면, 좌표(0, 0), 좌표(1, 2), 좌표(3, 1), 좌표(0, 2), 좌표(3, 3), … 와 같이, 불규칙한 주사 순서여도 된다. 또한, 에어리어(312) 내의 일부 화소(121a)만을 주사하도록 하여도 된다. 나아가, 이 주사 순서는 가변이어도 된다. 예를 들면, 상황에 따라 주사 순서가 복수의 후보 중에서 적응적으로 선택되도록 하여도 된다. 또한, 주사 순서가 랜덤이어도 된다.
또한, 화소 영역(311) 내에 복수의 에어리어(312)가 존재하는 경우, 각 에어리어(312)의 화소(121a)로부터의 신호 판독을 서로 평행하게 행하도록 해도 되고, 1에어리어(312)씩 판독하도록 하여도 된다. 즉, 처리 대상(신호 판독의 대상)으로 하는 에어리어(312)의 수는 임의이다.
나아가, 화소 영역(311) 내에 복수의 에어리어(312)가 존재하는 경우, 각 에어리어(312) 내의 주사 순서는 서로 동일하게 해도 되고, 서로 다르게 해도 된다.
<구성>
즉, 촬상 소자(121)는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 상기 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위와, 그 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위가 형성되는 에어리어에 대응지어 설치되고, 그 에어리어에 형성되는 화소 출력 단위로부터 판독되는 신호를 처리하여 그 출력 화소값을 얻는 신호 처리부를 구비하고 있으면 된다.
이러한 촬상 소자(121)를 사용함으로써, 전체 화소 출력 단위로부터 판독된 신호를 1개의 ADC로 A/D 변환하는 촬상 소자나, 화소 어레이의 각 컬럼의 화소 출력 단위로부터 판독된 신호를 그 컬럼에 대응하는 컬럼 ADC로 A/D 변환하는 촬상 소자 등을 사용하는 경우와 비교하여, 보다 용이하고 보다 다양한 순서로 화소 출력 단위로부터 검출 신호를 판독할 수 있다. 따라서, 촬상 장치(100)는, 전체 화소 출력 단위로부터 판독된 신호를 1개의 ADC로 A/D 변환하는 촬상 소자나, 화소 어레이의 각 컬럼의 화소 출력 단위로부터 판독된 신호를 그 컬럼에 대응하는 컬럼 ADC로 A/D 변환하는 촬상 소자 등을 사용하는 경우와 비교하여, 보다 용이하고 보다 다양한 검출 화상을 얻을 수 있다.
<판독 제어(동작 모드)>
<전체 화소 모드(All-Pixel Mode)>
다음으로, 판독 제어부(122)에 의한 제어에 대해 설명한다. 촬상 장치(100)는, 도 27에 나타내는 바와 같이, 촬상 소자(121)의 전체 화소의 검출 신호를 판독하고, 모든 검출 신호를 검출 화상로 하여, 그 검출 화상을 복원 화상으로 변환할 수 있다. 이러한 동작 모드를 전체 화소 모드라고 칭한다.
도 27에 있어서, 촬상 소자(121) 내의 각 사각형은 화소(121a)(화소 단위 출력)를 나타내고 있으며, 촬상 소자(121) 내에 그 화소 어레이의 모습이 모식도로서 나타나 있다. 또한, 도 27에서는, 수평 방향으로 8화소, 수직 방향으로 6화소의 화소 어레이가 나타나 있지만, 촬상 소자(121)의 화소 수는 임의이다. 본 명세서에서는 촬상 소자(121)가 수평 방향으로 W화소, 수직 방향으로 H화소의 화소 어레이를 갖는 것으로 한다.
전체 화소 모드의 경우, 판독 제어부(122)는, 판독 제어 신호를 촬상 소자(121)에 공급하고, 촬상 소자(121)의 전체 화소로부터 검출 신호를 판독한다. 즉, 해상도(W×H)의 검출 화상이 촬상 소자(121)로부터 판독된다. 도 27에 있어서 화소(121a)의 사선 표시는, 검출 신호가 판독되는 화소(121a)를 나타내고 있다. 즉, 전체 화소 모드의 경우, 촬상 소자(121)의 화소 어레이의 전체 화소로부터 검출 신호가 판독된다.
또한, 판독 제어부(122)는, 그 판독 제어 신호를 복원 행렬 설정부(123)에도 공급한다. 해상도(W×H)의 복원 화상을 생성하는 경우, 복원 행렬 설정부(123)는, 그 판독 제어 신호에 따라, 해상도(W×H)의 검출 화상과 해상도(W×H)의 복원 화상에 대응하는, 세로 (W×H)개×가로 (W×H)개의 계수로 이루어지는 복원 행렬을 설정한다.
복원부(124)에서 복원 화상을 생성하는 경우, 복원부(124)는, 촬상 소자(121)로부터 판독된 해상도(W×H)의 검출 화상을 취득하고, 복원 행렬 설정부(123)에서 설정된 세로 (W×H)개×가로 (W×H)개의 계수로 이루어지는 복원 행렬을 취득하고, 이들을 이용하여 해상도(W×H)의 복원 화상을 생성한다.
이 검출 화상은, 촬상 소자(121)에서 얻어진 것으로, 도 1 내지 도 26을 참조하여 상술한 특징을 갖는 정보이다. 즉, 검출 화상은, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 그 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위와, 그 화소 출력 단위가 형성되는 화소 영역의 부분 영역인 에어리어에 대응지어 설치되고, 그 에어리어에 형성되는 화소 출력 단위로부터 판독되는 신호를 처리하여 그 출력 화소값을 얻는 신호 처리부를 구비하는 촬상 소자에 의해 피사체가 촬상되어 얻어진, 화소 출력 단위에서 얻어지는 검출 신호로 이루어지는 피사체를 시인 불가능한 검출 화상이다.
그리고, 복원 행렬도, 도 1 내지 도 26을 참조하여 상술한 복원 행렬로서, 상술한 특징을 갖는다. 즉, 이 복원 행렬은, 피사체를 시인 불가능한 검출 화상으로부터 복원 화상을 복원할 때에 이용되는 계수로 이루어지는 행렬이다. 복원부(124)는, 이러한 복원 행렬을 이용하여, 검출 화상으로부터 복원 화상을 복원한다.
<화소 규칙성 솎음 모드(Pixel Regular Thinning Mode)>
또한, 촬상 장치(100)는, 촬상 소자(121)의 일부 화소의 검출 신호를 판독하고, 판독한 그 일부 화소의 검출 신호를 검출 화상으로 하여, 그 검출 화상을 복원 화상으로 변환할 수 있다. 이러한 동작 모드를 솎음 모드라고 칭한다. 예를 들면, 촬상 장치(100)는, 도 28에 나타내는 바와 같이, 촬상 소자(121)의 소정의 규칙성을 갖는 위치 관계에 있는 일부 화소의 검출 신호를 판독하고, 판독한 소정의 규칙성을 갖는 위치 관계에 있는 일부 화소의 검출 신호를 검출 화상으로 하여, 그 검출 화상을 복원 화상으로 변환할 수 있다. 이러한 동작 모드를 화소 규칙성 솎음 모드라고 칭한다.
도 28에 있어서도, 도 27의 경우와 마찬가지로 촬상 소자(121) 내의 화소 어레이가 나타나 있다. 도면 중, 사선으로 나타내는 화소(121a)가, 검출 신호가 판독되는 화소(121a)를 나타내고 있다.
화소 규칙성 솎음 모드의 경우, 판독 제어부(122)는, 판독 제어 신호를 촬상 소자(121)에 공급하고, 촬상 소자(121)의 화소 어레이(복수의 화소 출력 단위) 중, 소정의 규칙성을 갖는 위치 관계에 있는 위치의 일부 화소(121a)(화소 출력 단위)를 선택하고, 그 선택한 화소(121a)(도면 중 사선 표시의 화소)로부터 검출 신호를 판독한다. 판독 제어부(122)는 임의의 수의 화소를 선택할 수 있다. 예를 들면, 가로 W2개×세로 H2개의 화소를 선택할 수 있다. 즉, 해상도(W2×H2)의 검출 화상이 촬상 소자(121)로부터 판독된다.
이와 같이 함으로써, 검출 화상의 해상도를 저감시킬 수 있다. 또한, 화소(121a)나 에어리어 ADC(321)의 구동을 저감시킬 수 있으므로, 검출 신호의 판독에 관한 처리 부하(예를 들면, 소비 전력)를 저감시킬 수 있다.
이 경우 신호를 판독하는 화소는, 예를 들면, 화소 영역(311)에 형성되는 각 에어리어(312)의 소정의 위치의 화소로 하여도 된다. 예를 들면, 도 29에 나타내는 바와 같이, 화소 영역(311)에 4화소×4화소의 에어리어(312)가 간극 없이 설정되는 것으로 한다.
이와 같이, 각 에어리어(312)의 형상이나 크기가 서로 동일한 경우, 판독 제어부(122)가, 각 에어리어(312)의 소정의 위치의 화소(예를 들면, 좌측상단의 화소(사선으로 나타내는 화소))로부터 검출 신호를 판독하도록 하면, 용이하게, 소정의 규칙성을 갖는 위치 관계에 있는 화소(4화소마다 1화소)로부터 검출 신호를 판독할 수 있다.
상술한 바와 같이, 이 경우, 검출 신호를 판독하는 화소가 전체 화소 모드보다 적다. 즉, 이 경우, 전체 화소 모드에 비해, 구동시키는 화소(121a)의 수를 저감시킬 수 있다. 또한, 이 경우, 각 에어리어 ADC(321)는, 자신에 대응하는 에어리어(312)의 일부 화소(121a)로부터 판독된 신호를 A/D 변환하면 된다. 즉, 이 경우, 전체 화소 모드에 비해, 각 에어리어 ADC(321)의 처리량을 저감시킬 수 있다. 따라서, 검출 신호의 판독에 관한 처리의 부하(예를 들면, 소비 전력)를 저감시킬 수 있다.
나아가, 각 에어리어(312) 내의 주사 순서가 서로 동일하게 해도 된다. 예를 들면, 모든 에어리어(312) 내의 주사 순서가, 도 26의 예의 순서여도 된다. 이와 같이 각 에어리어(312) 내의 주사 순서를 통일함으로써, 각 에어리어(312) 내에서의 같은 위치의 화소의 판독 타이밍이 대략 동일하게 된다. 즉, 각 에어리어(312)로부터 판독되는 검출 신호의 생성 타이밍(즉, 그 검출 신호를 생성하기 위한 피사체로부터의 입사광의 타이밍)이 대략 동일하게 된다. 따라서, 대략 동일한 타이밍의 검출 신호로 이루어지는 검출 화상을 얻을 수 있으므로, 검출 신호의 생성 타이밍이 제각각(불일치)인 경우보다, 왜곡(distortion) 등이 적은 복원 화상(주관적으로 고화질인 복원 화상)을 생성할 수 있는 검출 화상을 얻을 수 있다.
예를 들면, 움직이는 물체나 변형하는 물체 등을 피사체로서 촬상하는 경우, 각 화소에 있어서의 검출 신호의 생성 타이밍(촬상 타이밍)이 다르면, 각 화소에 있어서 검출 신호가 생성되는 동안에 피사체의 상태가 변화할 우려가 있다. 따라서, 그 촬상 화상(복원 화상)에 있어서, 피사체의 상태가 화소마다 다르거나, 주관적인 화질이 저감할 우려가 있다. 상술한 바와 같이, 각 에어리어(312) 내의 주사 순서가 서로 동일한 것에 의해, 에어리어(312)로부터 판독되는 검출 신호의 생성 타이밍이 대략 동일하게 되므로, 이러한 요인에 의한 복원 화상의 주관적인 화질의 저감을 억제할 수 있다.
물론, 각 에어리어(312) 내의 주사 순서가 통일되어 있지 않아도, 그 화소(121a)의 에어리어(312) 내에서의 판독 순서(몇 번째에 판독되는지)가 일치하고 있으면 마찬가지의 효과를 얻을 수 있다.
또한, 각 에어리어(312) 내의 주사 순서를 서로 근사시키는 것만으로도, 각 화소에 있어서의 검출 신호의 생성 타이밍(촬상 타이밍)이 근사하므로, 각 에어리어(312)로부터 판독되는 검출 신호의 생성 타이밍이 완전히 불일치한 경우보다, 복원 화상의 주관적인 화질의 저감을 억제할 수 있다.
나아가, 그 검출 신호를 판독하는 화소(121a)를, 에어리어(312) 내의 주사 순서에 있어서의 최초의 화소(즉, 에어리어(312) 내에서 최초로 판독되는 화소)로 하여도 된다. 이와 같이 함으로써, 다른 화소로부터 검출 신호를 판독하는 경우보다, 조기에 검출 신호를 판독할 수 있다.
또한, 도 29에 있어서는, 설명의 간략화를 위해, 4화소×4화소의 6개의 에어리어(312)만을 나타내고 있지만, 상술한 바와 같이 에어리어(312)의 형상, 크기, 수 등은 임의이다. 또한, 에어리어(312) 내에서의 검출 신호를 판독하는 화소(121a)(화소 출력 단위)의 위치도 임의이며, 도 29의 예(좌측상단)에 한정되지 않는다(어느 위치여도 된다).
어느 화소(의 검출 신호)를 선택할지(어느 화소로부터 검출 신호를 판독할지, 또는 어느 화소로부터 판독한 검출 신호를 선택할지)는, 미리 정해져 있어도 된다. 또한, 어느 화소를 선택할지의 설정(화소 선택 설정)의 후보가 미리 복수개 준비되고, 판독 제어부(122)가 그 복수의 후보 중에서 선택하도록 하여도 된다. 그 경우, 판독 제어부(122)가, 예를 들면, 촬상의 동작 모드, 프레임 레이트, 해상도 설정, 피사체 거리, 밝기, 시각, 위치, 또는 사용자의 지시 등, 임의의 조건에 기초하여 그 선택을 행하도록 하여도 된다.
또한, 이 화소 선택 설정의 후보는, 판독 제어부(122) 내의 메모리(도시하지 않음)나 기억부(113) 등, 촬상 장치(100)의 임의의 처리부 등에 기억하도록 하여도 된다. 그 경우, 그 후보는, 촬상 장치(100)의 공장 출하시에 기억되어 있도록 해도 되고, 공장 출하 후에 기억(또는 갱신)할 수 있도록 하여도 된다. 물론, 화소 선택 설정의 후보가 촬상 장치(100)의 외부에 준비되고, 판독 제어부(122)가 그 외부의 후보 중에서 선택하도록 하여도 된다.
또한, 판독 제어부(122)가, 어느 화소(의 검출 신호)를 선택할지를 임의로 설정할 수 있도록 하여도 된다. 그 경우, 예를 들면, 화소 선택 설정의 초기값(초기 설정)을 준비하고, 판독 제어부(122)가, 그 초기 설정을 임의의 조건(예를 들면, 촬상의 동작 모드, 프레임 레이트, 해상도 설정, 피사체 거리, 밝기, 시각, 위치, 또는 사용자의 지시 등)에 기초하여 갱신하도록 하여도 된다. 또한, 예를 들면, 판독 제어부(122)가, 선택하는 화소를, 임의의 정보에 기초하여 설정하도록 하여도 된다.
또한, 판독 제어부(122)가, 판독 제어 신호를 촬상 소자(121)에 공급하고, 촬상 소자(121)의 화소 어레이의 모든 화소(121a)로부터 검출 신호를 판독하고, 판독한 검출 신호 중, 소정의 규칙성을 갖는 위치 관계에 있는 일부 화소로부터 판독된 검출 신호를 검출 화상에 포함시키는 검출 신호로서 선택하도록 하여도 된다. 단, 이 경우, 촬상 소자(121)의 화소 어레이의 모든 화소(121a)를 구동시키게(모든 에어리어 ADC(321)를 전체 화소 모드의 경우와 마찬가지로 구동시키게) 되므로, 상술한 바와 같이 일부 화소(121a)로부터 검출 신호를 판독하는 경우가, 이 방법의 경우보다, 검출 신호의 판독에 관한 처리 부하(예를 들면, 소비 전력)를 저감시킬 수 있다.
또한, 판독 제어부(122)는, 촬상 소자(121)에 공급하는 판독 제어 신호를 복원 행렬 설정부(123)에도 공급한다. 예를 들면, 해상도(W2×H2)의 복원 화상을 생성하는 경우, 복원 행렬 설정부(123)는, 그 판독 제어 신호에 따라, 해상도(W2×H2)의 검출 화상과 해상도(W2×H2)의 복원 화상에 대응하는, 세로 (W2×H2)개×가로 (W2×H2)개의 계수로 이루어지는 복원 행렬을 설정한다.
복원부(124)에서 복원 화상을 생성하는 경우, 복원부(124)는, 촬상 소자(121) 또는 판독 제어부(122)로부터 해상도(W2×H2)의 검출 화상을 취득하고, 복원 행렬 설정부(123)에서 설정된 세로 (W2×H2)개×가로 (W2×H2)개의 계수로 이루어지는 복원 행렬을 취득하고, 이들을 이용하여 해상도(W2×H2)의 복원 화상을 생성한다.
<화소 임의 솎음 모드(Pixel Arbitrary Thinning Mode)>
또한, 촬상 장치(100)는, 솎음 모드에 있어서, 도 30에 나타내는 바와 같이, 촬상 소자(121)의 임의의 일부 화소의 검출 신호를 판독하고, 판독한 임의의 일부 화소의 검출 신호를 검출 화상으로 하여, 그 검출 화상을 복원 화상으로 변환할 수 있다. 이러한 동작 모드를 화소 임의 솎음 모드라고 칭한다.
도 30에 있어서도, 도 27의 경우와 마찬가지로 촬상 소자(121) 내의 화소 어레이가 나타나 있다. 도면 중, 사선으로 나타내는 화소(121a)가, 검출 신호가 판독되는 화소(121a)를 나타내고 있다.
화소 임의 솎음 모드의 경우, 판독 제어부(122)는, 판독 제어 신호를 촬상 소자(121)에 공급하고, 촬상 소자(121)의 화소 어레이(복수의 화소 출력 단위) 중, 임의의 위치의 일부 화소(121a)(화소 출력 단위)를 선택하고, 그 선택한 화소(121a)(도면 중 사선 표시의 화소)로부터 검출 신호를 판독한다. 판독 제어부(122)는 임의의 수의 화소를 선택할 수 있다. 예를 들면, T개의 화소를 선택할 수 있다. 즉, T개의 검출 신호로 이루어지는 검출 화상이 촬상 소자(121)로부터 판독된다.
이와 같이 함으로써, 화소 규칙성 솎음 모드의 경우와 마찬가지로, 검출 화상의 해상도를 저감시킬 수 있다. 또한, 화소(121a)나 에어리어 ADC(321)의 구동을 저감시킬 수 있으므로, 검출 신호의 판독에 관한 처리 부하(예를 들면, 소비 전력)를 저감시킬 수 있다.
이 경우 신호를 판독하는 화소는, 예를 들면, 화소 영역(311)에 형성되는 각 에어리어(312)의 임의의 위치의 화소로 하여도 된다. 예를 들면, 도 31에 나타내는 바와 같이, 화소 영역(311)에 간극 없이 설정된 4화소×4화소의 에어리어(312)의 각각의 임의의 위치의 화소(121a)(도면 중 사선으로 나타내는 화소)를, 검출 신호를 판독하는 화소(121a)로 하여도 된다. 각 에어리어(312)의 검출 신호를 판독하는 화소(121a)의 수는 임의이며, 모든 에어리어(312)에 있어서 통일되어 있어도 되고, 통일되어 있지 않아도 된다.
상술한 바와 같이, 이 경우도, 화소 규칙성 솎음 모드의 경우와 마찬가지로, 검출 신호를 판독하는 화소가 전체 화소 모드보다 적다. 즉, 이 경우, 전체 화소 모드에 비해, 구동시키는 화소(121a)의 수를 저감시킬 수 있다. 또한, 이 경우, 각 에어리어 ADC(321)는, 자신에 대응하는 에어리어(312)의 일부 화소(121a)로부터 판독된 신호를 A/D 변환하면 된다. 즉, 이 경우, 전체 화소 모드에 비해, 각 에어리어 ADC(321)의 처리량을 저감시킬 수 있다. 따라서, 검출 신호의 판독에 관한 처리 부하(예를 들면, 소비 전력)를 저감시킬 수 있다.
나아가, 각 에어리어(312) 내의 주사 순서가 통일되어 있지 않아도 된다. 예를 들면, 각 에어리어(312)의 검출 신호를 판독하는 화소(121a)(도면 중, 사선으로 나타내는 화소)의, 에어리어(312) 내에서의 판독 순서(몇 번째에 판독되는지)가 일치하도록, 각 에어리어(312) 내의 주사 순서가 설정되어 있어도 된다. 이와 같이 함으로써, 화소 규칙성 솎음 모드의 경우와 마찬가지로, 대략 동일한 타이밍의 검출 신호로 이루어지는 검출 화상을 얻을 수 있으므로, 검출 신호의 생성 타이밍이 제각각(불일치)인 경우보다, 왜곡 등이 적은 복원 화상(주관적으로 고화질인 복원 화상)을 생성할 수 있는 검출 화상을 얻을 수 있다. 즉, 복원 화상의 주관적인 화질의 저감을 억제할 수 있다.
또한, 각 에어리어(312) 내의 주사 순서를 서로 근사시키는 것만으로도, 각 화소에 있어서의 검출 신호의 생성 타이밍(촬상 타이밍)이 근사하므로, 각 에어리어(312)로부터 판독되는 검출 신호의 생성 타이밍이 완전히 불일치한 경우보다, 복원 화상의 주관적인 화질의 저감을 억제할 수 있다.
나아가, 그 검출 신호를 판독하는 화소(121a)를, 에어리어(312) 내의 주사 순서에 있어서의 최초의 화소(즉, 에어리어(312) 내에서 최초로 판독되는 화소)로 하여도 된다. 이와 같이 함으로써, 화소 규칙성 솎음 모드의 경우와 마찬가지로, 다른 화소로부터 검출 신호를 판독하는 경우보다, 조기에 검출 신호를 판독할 수 있다.
또한, 도 31에 있어서는, 도 29의 경우와 마찬가지로, 설명의 간략화를 위해, 4화소×4화소의 6개의 에어리어(312)만을 나타내고 있지만, 상술한 바와 같이 에어리어(312)의 형상, 크기, 수 등은 임의이다. 또한, 에어리어(312) 내에서의 검출 신호를 판독하는 화소(121a)(화소 출력 단위)의 위치도 임의이며, 도 31의 예에 한정되지 않는다(어느 위치여도 된다).
나아가, 각 에어리어(312)의 검출 신호를 판독하는 화소(121a)의 수는 임의이며, 각 에어리어(312)로부터 복수 화소씩 판독하도록 하여도 된다. 또한, 각 에어리어(312)에 있어서의 검출 신호를 판독하는 화소(121a)의 수가 통일되어 있어도 되고, 통일되어 있지 않아도 된다. 어느 화소를 선택할지는, 화소 규칙성 솎음 모드의 경우와 마찬가지로, 미리 정해져 있어도 되고, 판독 제어부(122)가 복수의 후보 중에서 선택하도록 해도 되고, 판독 제어부(122)가 임의로 설정하도록 하여도 된다.
또한, 판독 제어부(122)가, 판독 제어 신호를 촬상 소자(121)에 공급하고, 촬상 소자(121)의 화소 어레이의 모든 화소(121a)로부터 검출 신호를 판독하고, 판독한 검출 신호 중, 임의의 일부 화소로부터 판독된 검출 신호를 검출 화상에 포함시키는 검출 신호로서 선택하도록 하여도 된다. 단, 이 경우, 촬상 소자(121)의 화소 어레이의 모든 화소(121a)를 구동시키게(모든 에어리어 ADC(321)를 전체 화소 모드의 경우와 마찬가지로 구동시키게) 되므로, 상술한 바와 같이 일부 화소(121a)로부터 검출 신호를 판독하는 경우가, 이 방법의 경우보다, 검출 신호의 판독에 관한 처리 부하(예를 들면, 소비 전력)를 저감시킬 수 있다.
또한, 판독 제어부(122)는, 촬상 소자(121)에 공급하는 판독 제어 신호를 복원 행렬 설정부(123)에도 공급한다. 해상도(W1×H1)의 복원 화상을 생성하는 경우, 복원 행렬 설정부(123)는, 그 판독 제어 신호에 따라, T개의 검출 신호로 이루어지는 검출 화상과 해상도(W1×H1)의 복원 화상에 대응하는 세로 (W1×H1)개×가로 T개의 계수로 이루어지는 복원 행렬을 설정한다.
복원부(124)에 있어서 복원 화상을 생성하는 경우, 복원부(124)는, 촬상 소자(121) 또는 판독 제어부(122)로부터 T개의 검출 신호로 이루어지는 검출 화상을 취득하고, 복원 행렬 설정부(123)에서 설정된 세로 (W1×H1)개×가로 T개의 계수로 이루어지는 복원 행렬을 취득하고, 이들을 이용하여 해상도(W1×H1)의 복원 화상을 생성한다.
<솎음 모드(Thinning Mode)>
이상과 같이, 촬상 장치(100)는, 솎음 모드(화소 규칙성 솎음 모드 또는 화소 임의 솎음 모드)에 의해, 촬상 소자(121)로부터 검출 화상을 판독할 수 있다. 즉, 촬상 소자(121)는, 화소 영역(311)에 형성되는 복수의 에어리어(312)의, 각각의 소정의 화소(121a)(화소 출력 단위)로부터 신호가 판독되고, 그 복수의 에어리어(312)의 각각에 대응지어진 각 에어리어 ADC(321)(신호 처리부)에 의해, 자신에 대응하는 에어리어(312)의 화소로부터 판독되는 검출 신호가 처리(A/D 변환)되도록 하여도 된다. 이와 같이 함으로써, 상술한 바와 같이, 검출 화상의 해상도를 저감시킬 수 있다. 또한, 검출 신호의 판독에 관한 처리 부하(예를 들면, 소비 전력)를 저감시킬 수 있다.
<화각 설정>
또한, 이상의 솎음 모드(화소 임의 솎음 모드 또는 화소 규칙성 솎음 모드)와 같이, 검출 화상의 해상도를 저감시키는 경우, 해상도 저감 후의 검출 화상 전체의 입사각 지향성이, 해상도 저감 전의 검출 화상, 즉, 전체 화소 모드의 검출 화상 전체의 입사각 지향성과 동등하게 되도록 하여도 된다. 즉, 각 에어리어(312)의, 검출 신호를 판독하는 화소(화소 출력 단위)의 집합 전체가, 화소 영역(311)의 화소군 전체와 동등한 입사각 지향성을 가지도록 하여도 된다.
입사각 지향성이 동등하다는 것은, 피사체면의 동일한 범위를 촬상할 수 있다고 하는 것, 즉, 화각이 동등하다고 하는 것이다. 예를 들면, 도 32의 상측에 나타내는 바와 같이, 촬상 소자(121)가 화각(363)으로 피사체면(361)을 촬상하면 범위(362)가 촬상되는 것으로 한다. 도면 중 수평 방향에 대해서만 생각하는 경우, 촬상 소자(121)의 각 화소(121a)의 입사각 지향성의 무게중심(重心; center of gravity)은, 화각(363)의 범위에 분포된다. 환언하면, 촬상 소자(121)의 각 화소(121a)의 입사각 지향성의 무게중심의 각도 범위가 화각(363)이 된다. 즉, 입사각 지향성을 동등하게 하도록 화소를 선택하는 경우, 각 화소의 입사각 지향성의 무게중심의 각도 범위가, 해상도 저감 전과 후에서 동등해지도록 화소(의 검출 신호)의 선택이 행해진다.
범위(362)의 목표 해상도가 결정되면 화각의 분해능(364)의 크기가 결정된다. 이 분해능(364)은, 바꿔 말하면, 각 화소의 입사각 지향성의 무게중심의 각도차이다. 즉, 해상도를 저감시키면, 각 화소의 입사각 지향성의 무게중심의 각도차를 크게 할 필요가 있다.
이것은, 화각(363)을 실현하는 화소수가 저감하는 것으로도 말할 수 있다. 예를 들면, 도 32의 하측에 나타내는 바와 같이, 수평 방향으로 8종류의 위치에 개구부가 형성된 화소(화소(121a-1) 내지 화소(121a-8))에 의해 화각(363)이 실현되는 것으로 한다. 화소(121a-1)의 광입사면에는 개구부(351-1)가 형성되어 있다. 마찬가지로, 화소(121a-2) 내지 화소(121a-8)의 광입사면에는, 각각, 개구부(351-2) 내지 개구부(351-8)가 형성되어 있다. 도 32에 나타내는 바와 같이, 각 화소에 있어서의 개구부(351-1) 내지 개구부(351-8)의 위치는, 수평 방향으로 좌측으로부터 우측을 향하도록 서로 어긋나 있고, 개구부(351-1)가 화소 내의 가장 좌측에 형성되고, 개구부(351-8)가 화소 내의 가장 우측에 형성되어 있다. 여기에서, 예를 들면, 화소(121a-1), 화소(121a-3), 화소(121a-5), 화소(121a-7)를 선택하면, 각 화소의 입사각 지향성의 무게중심의 각도차가 약 2배가 되고, 화각(363)이 거의 동등한 채로, 해상도를 저감시킬 수 있다.
즉, 검출 화상의 각 화소 출력 단위가 나타내는 입사각 지향성의 무게중심의 각도차를 크게 하여, 화각(363)을 유지하도록 해상도를 저감시킴으로써, 해상도를 저감시키기 전과 후에서 검출 화상의 입사각 지향성을 동등하게 할 수 있다.
이상에서는 수평 방향에 대해 설명했지만, 수직 방향에 대해서도 마찬가지이다. 즉, 모든 방향에 대해, 검출 화상의 각 화소 출력 단위가 나타내는 입사각 지향성의 무게중심의 각도차를 크게 하여, 화각을 유지하도록 해상도를 저감시킴으로써, 해상도를 저감시키기 전과 후에서 검출 화상의 입사각 지향성을 동등하게 할 수 있다.
이와 같이 함으로써, 복원 화상의 화각(FOV(Field Of View))을 저감시키지 않고 해상도를 저감시킬 수 있다. 즉, 복원 화상의 내용을 바꾸지 않고 해상도를 저감시킬 수 있다.
화소 규칙성 솎음 모드에서 이러한 것을 행하기 위해서는, 촬상 소자(121)의, 소정의 규칙성을 갖는 위치 관계에 있는 화소 출력 단위군 전체가, 촬상 소자(121)의 전체 화소 출력 단위와 동등한 입사각 지향성을 갖도록 설계되어 있을 필요가 있다. 판독 제어부(122)는, 그렇게 설계된 화소 출력 단위군을 선택하면 된다.
화소 임의 솎음 모드에서 이러한 것을 행하기 위해서는, 판독 제어부(122)가, 선택한 화소 출력 단위 전체가 촬상 소자(121)의 전체 화소 출력 단위와 동등한 입사각 지향성을 가지도록, 화소 출력 단위를 선택하면 된다.
물론, 화소 규칙성 솎음 모드의 경우라도, 화소 임의 솎음 모드의 경우라도, 검출 신호를 판독하는 화소로서 선택된 화소(화소 출력 단위)군 전체의 입사각 지향성이, 촬상 소자(121)의 전체 화소 출력 단위의 입사각 지향성과 다르게 해도 된다. 어느 모드여도, 검출 신호를 판독하는 화소로서 선택된 화소(화소 출력 단위)군 전체의 입사각 지향성은, 복원 화상의 화질이 보다 적절한 상태가 되도록 하면 된다. 즉, 그러한 입사각 지향성이 얻어지도록(복원 화상의 화질이 향상되도록), 검출 신호를 판독하는 화소로서 선택되는 각 화소(화소 출력 단위)의 지향성을 설계해 두도록 하면 된다.
<촬상 처리의 흐름>
촬상 장치(100)가, 이상과 같은 전체 화소 모드나 솎음 모드에서 촬상을 행하는 촬상 처리의 흐름의 예를, 도 33의 플로우차트를 참조하여 설명한다.
촬상 처리가 개시되면, 제어부(101)는, 스텝(S101)에 있어서, 동작 모드(전체 화소 모드 또는 솎음 모드)를 선택한다. 스텝(S102)에 있어서, 제어부(101)는, 스텝(S101)에서 선택된 동작 모드가 전체 화소 모드인지 아닌지를 판정한다. 전체 화소 모드라고 판정한 경우, 처리는 스텝(S103)으로 진행한다.
스텝(S103)에 있어서, 촬상 장치(100)는, 전체 화소 모드 촬상 처리를 실행하고, 전체 화소 모드에서의 촬상을 행한다. 스텝(S103)의 처리가 종료하면, 처리는 스텝(S105)로 진행한다. 또한, 스텝(S102)에 있어서, 선택된 동작 모드가 전체 화소 모드가 아니라고(솎음 모드라고) 판정된 경우, 처리는 스텝(S104)로 진행한다.
스텝(S104)에 있어서, 촬상 장치(100)는 솎음 모드에서 촬상을 행한다. 스텝(S104)의 처리가 종료하면, 처리는 스텝(S105)로 진행한다.
스텝(S105)에 있어서, 제어부(101)는, 촬상 처리를 종료할지 여부를 판정한다. 촬상 처리를 종료하지 않는다고 판정된 경우, 처리는 스텝(S101)로 되돌아간다. 즉, 스텝(S105)에 있어서, 촬상 처리를 종료한다고 판정될 때까지, 스텝(S101) 내지 스텝(S105)의 각 처리가 반복하여 실행된다.
스텝(S105)에 있어서, 촬상 처리가 종료한다고 판정된 경우, 촬상 처리가 종료한다.
<전체 화소 모드 촬상 처리의 흐름>
다음으로, 도 34의 플로우차트를 참조하여, 도 33의 스텝(S103)에 있어서 실행되는 전체 화소 모드 촬상 처리의 흐름의 예를 설명한다.
전체 화소 모드 촬상 처리가 개시되면, 판독 제어부(122)는, 스텝(S121)에 있어서, 촬상 소자(121)의 화소 영역(311)의 모든 화소(121a)를, 검출 신호의 판독 대상으로서 설정한다.
스텝(S122)에 있어서, 촬상 소자(121)는 피사체를 촬상한다. 스텝(S123)에 있어서, 판독 제어부(122)는, 촬상 소자(121)의 화소 영역(311)의 모든 화소로부터, 스텝(S122)의 처리에 의해 얻어진 검출 신호를 판독하고, 이를 이용하여 검출 화상을 생성한다.
스텝(S124)에 있어서, 복원 행렬 설정부(123)는, 전체 화소(전체 화소 모드) 및 피사체 거리에 따른 복원 행렬을 설정한다.
스텝(S125)에 있어서, 복원부(124)는, 스텝(S124)에서 설정된 복원 행렬을 이용하여, 스텝(S123)의 처리에 의해 얻어진 검출 화상으로부터 출력 데이터(예를 들면, 복원 화상)를 생성한다.
예를 들면, 복원부(124)는, 복원 계수를 이용하여 검출 화상을 복원 화상으로 변환한다. 복원부(124)는, 이 복원 화상의 데이터를 출력 데이터로 한다. 또한, 예를 들면, 연관부(125)는, 검출 화상의 데이터에 복원 계수의 데이터를 연관시켜, 출력 데이터로 한다.
스텝(S126)에 있어서, 출력 데이터가 출력된다. 이 출력에는, 임의의 수법이 포함된다. 예를 들면, 이 출력에는, 화상의 표시, 다른 장치에의 데이터 출력이나 인쇄, 기억 매체에의 기억, 통신 상대에의 송신, 기록 매체(116)에의 기록 등이 포함되도록 하여도 된다.
먼저, Raw 화상(동시화 처리나 색분리 처리 등(예를 들면, 디모자이크 처리 등)이 실시된 복원 화상이어도 됨)을 출력하는 경우에 대해 설명한다. 예를 들면, 출력이 「표시」인 경우, 복원부(124)는, Raw 화상의 데이터 등을 출력부(112)에 공급한다. 출력부(112)는, 그 Raw 화상을, 화상 표시 디바이스(예를 들면, LCD(Liquid Crystal Display) 등)에 표시하거나, 프로젝터로부터 투영하거나 한다. 또한, 예를 들면, 출력이 「출력」인 경우, 복원부(124)는, Raw 화상의 데이터 등을 출력부(112)에 공급한다. 출력부(112)는, 그 Raw 화상의 데이터 등을, 외부 출력 단자로부터 다른 장치에 출력한다. 나아가, 예를 들면, 출력이 「기억」인 경우, 복원부(124)는, Raw 화상 데이터 등을 기억부(113)에 공급한다. 기억부(113)는, 그 Raw 화상의 데이터 등을, 자신이 갖는 기억 매체에 기억한다. 또한, 예를 들면, 출력이 「송신」인 경우, 복원부(124)는, Raw 화상 데이터 등을 통신부(114)에 공급한다. 통신부(114)는, 소정의 통신 방식으로 다른 장치와 통신을 행하고, 그 Raw 화상의 데이터 등을, 그 통신 상대에게 송신한다. 나아가, 예를 들면, 출력이 「기록」인 경우, 복원부(124)는, Raw 화상 데이터 등을 기록 재생부(115)에 공급한다. 기록 재생부(115)는, 그 Raw 화상의 데이터 등을, 자신에게 장착된 기록 매체(116)에 기록한다.
다음으로, 서로 연관된 검출 화상의 데이터 및 화상 복원 계수 등을 출력하는 경우에 대해 설명한다. 예를 들면, 출력이 「표시」인 경우, 연관부(125)는, 서로 연관된 검출 화상의 데이터 및 화상 복원 계수 등을 출력부(112)에 공급한다. 출력부(112)는, 그 검출 화상의 데이터 및 화상 복원 계수 등에 관한 화상이나 문자 등의 정보를, 화상 표시 디바이스(예를 들면, LCD(Liquid Crystal Display) 등)에 표시하거나, 프로젝터로부터 투영하거나 한다. 또한, 예를 들면, 출력이 「출력」인 경우, 연관부(125)는, 서로 연관된 검출 화상의 데이터 및 화상 복원 계수 등을 출력부(112)에 공급한다. 출력부(112)는, 그 서로 연관된 검출 화상의 데이터 및 화상 복원 계수 등을, 외부 출력 단자로부터 다른 장치에 출력한다. 나아가, 예를 들면, 출력이 「기억」인 경우, 연관부(125)는, 서로 연관된 검출 화상의 데이터 및 화상 복원 계수 등을 기억부(113)에 공급한다. 기억부(113)는, 그 서로 연관된 검출 화상의 데이터 및 화상 복원 계수 등을, 자신이 갖는 기억 매체에 기억한다. 또한, 예를 들면, 출력이 「송신」인 경우, 연관부(125)는, 서로 연관된 검출 화상의 데이터 및 화상 복원 계수 등을 통신부(114)에 공급한다. 통신부(114)는, 소정의 통신 방식으로 다른 장치와 통신을 행하고, 그 서로 연관된 검출 화상의 데이터 및 화상 복원 계수 등을, 그 통신 상대에게 송신한다. 나아가, 예를 들면, 출력이 「기록」인 경우, 연관부(125)는, 서로 연관된 검출 화상의 데이터 및 화상 복원 계수 등을 기록 재생부(115)에 공급한다. 기록 재생부(115)는, 그 서로 연관된 검출 화상의 데이터 및 화상 복원 계수 등을, 자신에게 장착된 기록 매체(116)에 기록한다.
출력 데이터가 출력되면, 전체 화소 모드 촬상 처리가 종료하고, 처리는 도 33으로 되돌아간다.
<솎음 모드 촬상 처리의 흐름>
다음으로, 도 35의 플로우차트를 참조하여, 도 33의 스텝(S104)에서 실행되는 솎음 모드 촬상 처리의 흐름의 예를 설명한다.
솎음 모드 촬상 처리가 개시되면, 판독 제어부(122)는, 스텝(S141)에 있어서, 촬상 소자(121)의 화소 영역(311)의 각 에어리어(312)로부터, 검출 신호를 판독하는 화소(판독 화소라고도 칭함)를 설정한다.
스텝(S142)에 있어서, 촬상 소자(121)는 피사체를 촬상한다. 스텝(S143)에 있어서, 판독 제어부(122)는, 스텝(S141)에서 설정된 판독 화소로부터, 스텝(S142)의 처리에 의해 얻어진 검출 신호를 판독하고, 이를 이용하여 검출 화상을 생성한다.
스텝(S144)에 있어서, 복원 행렬 설정부(123)는, 그 판독 화소(솎음 모드) 및 피사체 거리에 따른 복원 행렬을 설정한다.
스텝(S145)에 있어서, 복원부(124)는, 스텝(S144)에서 설정된 복원 행렬을 이용하여, 스텝(S143)의 처리에 의해 얻어진 검출 화상으로부터 출력 데이터(예를 들면, 복원 화상)를 생성한다.
예를 들면, 복원부(124)는, 복원 계수를 이용하여 검출 화상을 복원 화상으로 변환한다. 복원부(124)는, 이 복원 화상의 데이터를 출력 데이터로 한다. 또한, 예를 들면, 연관부(125)는, 검출 화상의 데이터에 복원 계수의 데이터를 연관시켜, 출력 데이터로 한다.
스텝(S146)에 있어서, 출력 데이터가 출력된다. 이 출력에는, 임의의 수법이 포함된다. 예를 들면, 이 출력에는, 화상의 표시, 다른 장치에의 데이터 출력이나 인쇄, 기억 매체에의 기억, 통신 상대에의 송신, 기록 매체(116)에의 기록 등이 포함되도록 하여도 된다.
출력 데이터의 출력은, 전체 화소 모드의 경우와 마찬가지이므로, 그 설명을 생략한다. 출력 데이터가 출력되면, 솎음 모드 촬상 처리가 종료하고, 처리는 도 33으로 되돌아간다.
이상과 같이 각 처리를 실행함으로써, 검출 화상의 해상도를 제어할 수 있다.
한편, 이상에서는, 전체 화소 모드와 솎음 모드의 양쪽 모드에서 촬상할 수 있는 경우에 대해 설명했지만, 예를 들면, 솎음 모드에서만 촬상할 수 있도록 하여도 된다. 그 경우, 촬상 장치(100)는 솎음 모드 촬상 처리를 실행하면 된다.
<2. 제2 실시형태>
<에어리어 구동 모드(Area Driving Mode)>
또한, 촬상 장치(100)는, 도 36에 나타내는 바와 같이, 촬상 소자(121)의 화소 영역(311) 내에 형성되는 에어리어(312) 내에 형성되는 화소(121a)(도면 중 사선 표시의 화소)의 검출 신호를 판독하여, 판독한 그 검출 신호를 검출 화상으로 하고, 그 검출 화상을 복원 화상으로 변환할 수 있다. 즉, 검출 신호를 판독하는 화소(121a)(화소 출력 단위)(판독 화소라고도 칭함)의 선택을, 에어리어(312)를 단위로 하여 행하도록 하여도 된다. 이러한 동작 모드를 에어리어 구동 모드라고 칭한다.
도 36에 있어서도, 도 22의 경우와 마찬가지로 촬상 소자(121) 내의 화소 어레이가 나타나 있다. 도면 중, 사선으로 나타내는 화소(121a)가, 검출 신호가 판독되는 화소(121a)를 나타내고 있다. 예를 들면, 미리 정해진 에어리어(312)가 가로 W3개×세로 H3개의 화소에 의해 구성되고, 판독 제어부(122)가 이 에어리어(312)의 화소를 판독 화소로서 선택하는 경우, 해상도(W3×H3)의 검출 화상이 촬상 소자(121)로부터 판독된다.
즉, 이와 같이 에어리어 구동 모드에서 촬상함으로써, 검출 화상의 해상도를 저감시킬 수 있다. 또한, 화소(121a)나 에어리어 ADC(321)의 구동을 저감시킬 수 있으므로, 검출 신호의 판독에 관한 처리 부하(예를 들면, 소비 전력)를 저감시킬 수 있다.
상술한 바와 같이, 에어리어 구동 모드의 경우, 판독 화소의 선택은, 에어리어(312)마다(에어리어(312)를 단위로 하여) 행해진다. 예를 들면, 도 37에 나타내는 바와 같이, 화소 영역(311)에 4화소×4화소의 에어리어(312)가 간극 없이 설정되는 것으로 한다. 에어리어 구동 모드의 경우, 판독 제어부(122)는, 이들 에어리어(312) 중 어느 하나의 에어리어(312)의 화소(121a)를, 검출 신호를 판독하는 화소(판독 화소)로서 선택한다. 도 37의 예의 경우, 좌측상단의 에어리어(312)의 화소(121a)가 선택되어 있다.
이와 같이, 촬상 장치(100)는, 에어리어 구동 모드에 의해, 촬상 소자(121)로부터 검출 화상을 판독할 수 있다. 즉, 촬상 소자(121)는, 화소 영역(311)에 형성되는 복수의 에어리어(312) 중 소정의 일부 에어리어(312)의 각 화소 출력 단위로부터 신호가 판독되고, 그 일부 에어리어(312)에 대응지어진 에어리어 ADC(321)(신호 처리부)에 의해, 자신에 대응하는 에어리어(312)의 각 화소 출력 단위로부터 판독되는 검출 신호가 처리(A/D 변환)되도록 하여도 된다.
또한, 도 37에 있어서는, 도 29의 경우와 마찬가지로, 설명의 간략화를 위해, 4화소×4화소의 6개의 에어리어(312)만을 나타내고 있지만, 상술한 바와 같이 에어리어(312)의 형상, 크기, 수 등은 임의이다.
그런데, 상술한 바와 같이 각 에어리어(312)에는, 각각, 에어리어 ADC(321)가 대응지어져 있다. 따라서, 선택된 1개의 에어리어(312) 내의 각 화소(121a)로부터 판독된 신호는, 모두, 그 대응하는 에어리어 ADC(321)에 의해 A/D 변환된다. 예를 들면, 각 에어리어(312)에 대해 1개씩 에어리어 ADC(321)가 대응지어져 있는 것으로 하면, 도 37의 예와 같이, 1개의 에어리어(312)의 화소(121a)가 판독 화소로서 선택된 경우, 구동하는 에어리어 ADC(321)는, 그 에어리어(312)에 대응하는 1개의 에어리어 ADC(321)뿐이어도 된다. 즉, 에어리어 구동 모드의 경우, 검출 신호를 판독하는 에어리어(312)가 선택됨으로써, 구동시키는 에어리어 ADC(321)도 선택된다. 따라서, 에어리어 구동 모드의 경우, 구동시키는 에어리어 ADC(321)의 수를 저감시킬 수 있으므로(불필요하게 구동시키는 에어리어 ADC(321)의 수를 억제할 수 있으므로), 검출 신호의 판독에 관한 처리 부하(예를 들면, 소비 전력)를 저감시킬 수 있다.
도 36으로 되돌아가서, 판독 제어부(122)는, 촬상 소자(121)에 공급하는 판독 제어 신호를 복원 행렬 설정부(123)에도 공급한다. 해상도(W3×H3)의 복원 화상을 생성하는 경우, 복원 행렬 설정부(123)는, 그 판독 제어 신호에 따라, 해상도(W3×H3)의 검출 화상과 해상도(W3×H3)의 복원 화상에 대응하는, 세로 (W3×H3)개×가로 (W3×H3)개의 계수로 이루어지는 복원 행렬을 설정한다.
복원부(124)에서 복원 화상을 생성하는 경우, 복원부(124)는, 촬상 소자(121) 또는 판독 제어부(122)로부터 해상도(W3×H3)의 검출 화상을 취득하고, 복원 행렬 설정부(123)에서 설정된 세로 (W3×H3)개×가로 (W3×H3)개의 계수로 이루어지는 복원 행렬을 취득하고, 이들을 이용하여 해상도(W3×H3)의 복원 화상을 생성한다.
또한, 각 화소(121a)의 피사체로부터의 입사광에 대한 입사각 지향성은, 에어리어(312)마다 독립적으로 설정할 수 있도록 하여도 된다. 상술한 바와 같이, 에어리어 구동 모드의 경우, 판독 화소의 선택은 에어리어(312)를 단위로 하여 행해지는 것이기 때문에, 복원 화상의 화각은, 선택된 에어리어(312)의 화소 출력 단위군의 전체의 화각에 대응한다. 즉, 에어리어(312)마다 입사각 지향성(화각)을 설정함으로써, 그 에어리어(312)에서 얻어지는 검출 화상으로부터 생성되는 복원 화상의 입사각 지향성(화각)을 설정할 수 있다.
예를 들면, 도 38에 나타내는 바와 같이, 에어리어(312) 내의 각 화소(121a)의 구성을, 도 14에 나타내는 화소 영역(311) 전체의 각 화소(121a)의 구성과 마찬가지로 하여도 된다. 예를 들면, 도 38에 나타내는 에어리어(312-1) 내의 화소(121a)의 차광 패턴(각 화소(121a)에 있어서의 차광막(121b) 및 사각형 개구의 위치 분포)이, 도 14의 예와 같도록 하여도 된다. 즉, 이 에어리어(312-1) 내에 형성되는 화소 출력 단위군 전체가, 화소 영역(311)의 전체 화소 출력 단위와 동등한 입사각 지향성을 갖게 설계되어 있도록 하여도 된다.
또한, 도 14의 예(화소 영역(311) 전체)와, 도 38의 예(에어리어(312-1))는, 처리 대상의 영역의 화소수가 다르다. 단, 도 32를 참조하여 설명한 바와 같이 화소를 솎아내면, 동등한 입사각 지향성을 얻을 수 있다.
이와 같이, 신호가 판독되는 에어리어(312)의 화소(화소 출력 단위)군의 전체가, 화소 영역(311)의 화소(화소 출력 단위)군 전체와 동등한 입사각 지향성을 갖게 함으로써, 그 에어리어(312)로부터, 화소 영역(311) 전체로부터 얻어지는 복원 화상과 동등한 화각의 복원 화상을 얻을 수 있다. 즉, 에어리어 구동 모드에 있어서도, 전체 화소 모드의 경우와 마찬가지의 화각의 복원 화상을 얻을 수 있다. 따라서, 이 경우, 에어리어 구동 모드에서 촬상을 행함으로써, 복원 화상의 화각의 변화를 억제하면서 해상도를 제어할 수 있다.
또한, 도 38의 에어리어(312-2)나 에어리어(312-3) 등, 그 밖의 에어리어(312)의 입사각 지향성도, 에어리어(312-1)와 같아지도록 설정해도 된다. 그 경우, 어느 쪽의 에어리어(312)가 선택되어도, 같은 화각의 복원 화상을 얻을 수 있다.
에어리어(312)는 화소 영역(311)의 부분 영역이므로, 적어도 1개의 방향에 있어서 화소(121a)의 분포 범위가 좁다. 예를 들면, 도 39에 나타내는 바와 같이, 어떤 방향에 대해, 화소 영역(311)의 화소(121a)의 분포 범위가 양쪽 화살표(381)로 나타내진다고 하면, 에어리어(312)의 화소(121a)의 분포 범위는 양쪽 화살표(382)에 의해 나타내는 바와 같이, 그것보다 좁다. 즉, 에어리어 구동 모드의 경우, 신호를 판독하는 화소(121a)의 분포 범위는, 전체 화소 모드의 경우보다 좁다. 또한, 솎음 모드의 경우, 기본적으로, 화소(121a)의 범위에 제약이 없으므로, 화소(121a)의 분포 범위는, 전체 화소 모드의 경우와 동등(양쪽 화살표(381))하다.
예를 들면, 피사체(383)로부터의 입사광을 점선 화살표(384) 내지 점선 화살표(387)로 나타내는 것으로 한다. 이 경우, 화소 영역(311)의 양단의 화소에의 입사광은, 점선 화살표(384) 및 점선 화살표(385)와 같이 된다. 또한, 에어리어(312)의 양단의 화소에의 입사광은, 점선 화살표(386) 및 점선 화살표(387)와 같이 된다.
각 화소(121a)에서 얻어지는 검출 신호의 세기(출력 화소값)는, 각 화소(121a)의 입사각 지향성과, 입사광의 세기(즉, 세기와 각도)에 의존한다. 환언하면, 복원 화상을 정확하게 구하기(각 화소값의 비를 정확하게 구하기) 위해서는, 각 화소(121a)의 입사광의 입사각이 서로 다른 경우, 그 입사각도 고려해야 하지만, 각 화소(121a)의 입사광의 입사각이 균일한 경우, 입사각을 고려할 필요가 없다.
따라서, 피사체로부터 각 화소에의 입사광이 평행광에 가까울수록, 정확한 복원 화상을 얻기 위한 복원 행렬의 설정이 용이해진다. 예를 들면, 이론상, 촬상 소자(121)로부터 무한원에 위치하는 피사체로부터의 광은 평행광이 된다.
도 39의 예의 경우, 화소 영역(311)의 양단의 화소에의 입사광(점선 화살표(384) 및 점선 화살표(385))가, 에어리어(312)의 양단의 화소에의 입사광(점선 화살표(386) 및 점선 화살표(387))보다 입사 각도의 차가 크다. 즉, 촬상 소자(121)로부터 피사체(383)까지의 거리(일점쇄선 양쪽 화살표(388)의 길이)가 동일한 경우, 에어리어(312)로부터 얻어지는 검출 화상이, 화소 영역(311) 전체로부터 얻어지는 검출 화상보다, 정확한 복원 화상을 얻기 위한 복원 행렬의 설정이 용이해진다. 즉, 에어리어 구동 모드의 경우가, 전체 화소 모드나 솎음 모드의 경우보다 용이하게 정확한 복원 화상을 얻을 수 있다.
또한, 환언하면, 에어리어 구동 모드의 경우가, 전체 화소 모드나 솎음 모드의 경우보다 가까운 피사체(383)를 무한원으로 간주할 수 있다. 즉, 에어리어 구동 모드의 경우가, 전체 화소 모드나 솎음 모드의 경우보다, 피사계 심도가 깊은 복원 화상이 얻어진다. 이와 같이, 에어리어 구동 모드에서 촬상을 행함으로써, 복원 화상의 해상도와 피사계 심도를 제어할 수 있다.
물론, 신호가 판독되는 에어리어(312)의 화소(화소 출력 단위)군의 전체가, 화소 영역(311)의 화소(화소 출력 단위)군 전체와 다른 입사각 지향성을 갖게 해도 된다. 그 경우, 에어리어 구동 모드로 함으로써, 전체 화소 모드의 경우와 상이한 화각의 복원 화상을 얻을 수 있다. 즉, 이 경우, 에어리어 구동 모드와 전체 화소 모드의 스위칭에 의해 복원 화상의 해상도 및 화각을 제어할 수 있다.
예를 들면, 미리 정해진 에어리어(312)의 각 화소(121a)(화소 출력 단위)의 입사각 지향성이, 모두, 화소 영역(311)에 대해 수직이도록 하여도 된다. 즉, 신호를 판독하는 에어리어(312)의 각 화소(121a)의 입사각 지향성이 통일되어 있고, 또한, 치우침이 없도록(화소 영역(311)에 대해 수직인 방향이도록) 해도 된다. 촬상 소자(121)를 이러한 구조로 함으로써, 에어리어 구동 모드의 촬상을, 예를 들면 의료 등의 특정 용도에 이용할 수 있다.
예를 들면, 미리 정해진 에어리어(312)의 화소(121a)(화소 출력 단위)군의 전체의 화각의 크기가, 화소 영역(311)의 화소(121a)(화소 출력 단위)군 전체의 화각의 크기와 달라도 된다. 예를 들면, 미리 정해진 에어리어(312)의 화소(121a)군의 전체의 화각이, 화소 영역(311)의 화소(121a)군 전체의 화각보다 커도 되고, 작아도 된다. 촬상 소자(121)를 이러한 구조로 함으로써, 에어리어 구동 모드와 전체 화소 모드의 스위칭에 의해 복원 화상의 해상도 및 화각의 크기를 제어할 수 있다.
또한, 예를 들면, 미리 정해진 에어리어(312)의 화소(121a)(화소 출력 단위)군의 전체의 화각의 방향이, 화소 영역(311)의 화소(121a)(화소 출력 단위)군 전체의 화각의 방향과 달라도 된다. 촬상 소자(121)를 이러한 구조로 함으로써, 에어리어 구동 모드와 전체 화소 모드의 스위칭에 의해 복원 화상의 해상도 및 화각의 방향을 제어할 수 있다.
또한, 판독 제어부(122)가, 판독 제어 신호를 촬상 소자(121)에 공급하고, 촬상 소자(121)의 화소 영역(311)의 전체 화소(121a)(화소 출력 단위)로부터 검출 신호를 판독하고, 판독한 검출 신호 중, 미리 정해진 에어리어(312) 내에 형성되는 화소(121a)로부터 판독된 검출 신호를 검출 화상에 포함시키는 검출 신호로서 선택하도록 하여도 된다. 단, 이 경우, 촬상 소자(121)의 화소 영역(311)의 전체 화소(121a)(화소 출력 단위)를 구동시키게(모든 에어리어 ADC(321)를 전체 화소 모드의 경우와 마찬가지로 구동시키게) 되므로, 상술한 바와 같이 일부 에어리어(312)의 화소(121a)로부터 검출 신호를 판독하는 경우가, 이 방법의 경우보다, 검출 신호의 판독에 관한 처리 부하(예를 들면, 소비 전력)를 저감시킬 수 있다.
<촬상 처리의 흐름>
촬상 장치(100)가, 이상과 같은 전체 화소 모드나 에어리어 구동 모드에서 촬상을 행하는 촬상 처리의 흐름의 예를, 도 40의 플로우차트를 참조하여 설명한다.
촬상 처리가 개시되면, 제어부(101)는, 스텝(S161)에 있어서, 동작 모드(전체 화소 모드 또는 에어리어 구동 모드)를 선택한다. 스텝(S162)에 있어서, 제어부(101)는, 스텝(S161)에서 선택된 동작 모드가 전체 화소 모드인지 아닌지를 판정한다. 전체 화소 모드라고 판정한 경우, 처리는 스텝(S163)으로 진행한다.
스텝(S163)에 있어서, 촬상 장치(100)는, 전체 화소 모드 촬상 처리를 실행하고, 전체 화소 모드에서의 촬상을 행한다. 이 경우의 전체 화소 모드 촬상 처리는, 도 34의 플로우차트를 참조하여 설명한 경우와 마찬가지이므로, 그 설명을 생략한다.
스텝(S163)의 처리가 종료하면, 처리는 스텝(S165)로 진행한다. 또한, 스텝(S162)에 있어서, 선택된 동작 모드가 전체 화소 모드가 아니라고(에어리어 구동 모드라고) 판정된 경우, 처리는 스텝(S164)로 진행한다.
스텝(S164)에 있어서, 촬상 장치(100)는, 에어리어 구동 모드에서 촬상을 행한다. 스텝(S164)의 처리가 종료하면, 처리는 스텝(S165)로 진행한다.
스텝(S165)에 있어서, 제어부(101)는, 촬상 처리를 종료할지 여부를 판정한다. 촬상 처리를 종료하지 않는다고 판정된 경우, 처리는 스텝(S161)로 되돌아간다. 즉, 스텝(S165)에 있어서, 촬상 처리를 종료한다고 판정될 때까지, 스텝(S161) 내지 스텝(S165)의 각 처리가 반복하여 실행된다.
스텝(S165)에 있어서, 촬상 처리가 종료한다고 판정된 경우, 촬상 처리가 종료한다.
<에어리어 구동 모드 촬상 처리의 흐름>
다음으로, 도 41의 플로우차트를 참조하여, 도 40의 스텝(S164)에서 실행되는 에어리어 구동 모드 촬상 처리의 흐름의 예를 설명한다.
에어리어 구동 모드 촬상 처리가 개시되면, 판독 제어부(122)는, 스텝(S181)에 있어서, 촬상 소자(121)의 화소 영역(311)의 각 에어리어(312)로부터, 검출 신호를 판독하는 에어리어(312)(판독 에어리어라고도 칭함)를 설정한다.
스텝(S182)에 있어서, 촬상 소자(121)는 피사체를 촬상한다. 스텝(S183)에 있어서, 판독 제어부(122)는, 스텝(S181)에서 설정된 판독 에어리어의 각 화소(121a)로부터, 스텝(S182)의 처리에 의해 얻어진 검출 신호를 판독하고, 그것을 이용하여 검출 화상을 생성한다.
스텝(S184)에 있어서, 복원 행렬 설정부(123)는, 그 판독 에어리어인 에어리어(312) 및 피사체 거리에 따른 복원 행렬을 설정한다.
스텝(S185)에 있어서, 복원부(124)는, 스텝(S184)에서 설정된 복원 행렬을 이용하여, 스텝(S183)의 처리에 의해 얻어진 검출 화상으로부터 출력 데이터(예를 들면, 복원 화상)를 생성한다.
예를 들면, 복원부(124)는, 복원 계수를 이용하여 검출 화상을 복원 화상으로 변환한다. 복원부(124)는, 이 복원 화상의 데이터를 출력 데이터로 한다. 또한, 예를 들면, 연관부(125)는, 검출 화상의 데이터에 복원 계수의 데이터를 연관시켜, 출력 데이터로 한다.
스텝(S186)에 있어서, 출력 데이터가 출력된다. 이 출력에는, 임의의 수법이 포함된다. 예를 들면, 이 출력에는, 화상의 표시, 다른 장치에의 데이터 출력이나 인쇄, 기억 매체에의 기억, 통신 상대에의 송신, 기록 매체(116)에의 기록 등이 포함되도록 하여도 된다.
출력 데이터의 출력은, 전체 화소 모드의 경우와 마찬가지이므로, 그 설명을 생략한다. 출력 데이터가 출력되면, 에어리어 구동 모드 촬상 처리가 종료하고, 처리는 도 40으로 되돌아간다.
이상과 같이 각 처리를 실행함으로써, 검출 화상의 해상도를 제어할 수 있다.
<에어리어 구동 모드의 적용예>
예를 들면, 촬상 장치(100)에 있어서 정지화상을 촬상하는 경우, 출력(표시, 출력, 송신, 기록 등)용의 촬상 화상을 얻기 위한 촬상은, 전체 화소 모드에서 행하고, 그 촬상 전의, 모니터 등에 표시하기 위한 캡처 화상의 캡처(촬상)는, 에어리어 구동 모드에서 행하도록 하여도 된다.
표시용의 캡처 화상은, 일반적으로, 비교적 작은 모니터에 표시되는 동영상이며, 또한, 주로 촬상 화상을 얻을 때의 구도 등을 확인하기 위한 것이므로, 요구되는 화질의 레벨은 촬상 화상에 비해 낮다. 예를 들면, 캡처 화상을 표시하는 모니터의 사이즈는 일반적으로 작고, 그 표시 해상도는, 촬상 화상에 비해 낮은 경우가 많다. 또한, 예를 들면, 초점거리의 정밀도에 대해 요구되는 레벨도 낮고, 대체로 전체를 파악할 수 있으면 되는 경우가 많다.
캡처 화상의 캡처를 에어리어 구동 모드에서 행함으로써, 전체 화소 모드의 경우보다 피사계 심도를 깊게 할 수 있으므로, 보다 많은 피사체에 초점이 맞추어져 있는 것처럼 보이는 캡처 화상을 얻을 수 있다. 또한, 에어리어 구동 모드에서 촬상(캡처)함으로써, 상술한 바와 같이 해상도를 저감시킬 수 있으므로, 캡처 화상의 해상도가 불필요하게 높아지는 것을 억제할 수 있다. 즉, 캡처 화상에 적합한 화상을 얻을 수 있다. 나아가, 상술한 바와 같이 부하의 증대를 억제할 수 있다.
이에 대해, 촬상 화상(정지화상)을 얻기 위한 촬상을 전체 화소 모드에서 행함으로써, 에어리어 구동 모드에서의 촬상에 비해, 고해상도의 촬상 화상을 얻을 수 있다. 또한, 에어리어 구동 모드의 경우보다 피사계 심도를 얕게 할 수 있으므로, 보다 고정밀도인 초점거리 제어를 행할 수 있다.
이와 같이 용도에 따라 전체 화소 모드와 에어리어 구동 모드를 구분해 사용함으로써, 촬상 화상(정지화상)의 해상도나 화질의 저감을 억제하고, 또한, 부하의 증대를 억제하면서, 보다 적절한 화질의 캡처 화상을 얻을 수 있다. 즉, 보다 다양한 용도에 적합한 촬상을 행할 수 있다.
<촬상 처리의 흐름>
이러한 촬상을 행하는 경우의 촬상 처리의 흐름 예를, 도 42의 플로우차트를 참조하여 설명한다.
이 경우, 촬상 처리가 개시되면, 스텝(S201)에 있어서, 제어부(101)는, 동작 모드를 에어리어 구동 모드로 설정한다.
스텝(S202)에 있어서, 입력부(111)는 정지화상 촬상의 지시의 접수를 개시한다.
스텝(S203)에 있어서, 촬상 소자(121), 판독 제어부(122), 복원 행렬 설정부(123), 복원부(124), 및 출력부(112) 등의 각 처리부는, 에어리어 구동 모드 촬상 처리를 실행하고, 에어리어 구동 모드에서 피사체를 촬상하여 캡처 화상을 생성하고, 그 생성한 캡처 화상을 모니터에 표시한다. 이 에어리어 구동 모드 촬상 처리는, 도 41의 플로우차트를 참조하여 설명한 경우와 기본적으로 마찬가지의 흐름으로 실행된다. 따라서, 그 설명은 생략한다.
스텝(S204))에 있어서, 입력부(111)는, 정지화상 촬상의 지시를 접수했는지 여부를 판정한다. 정지화상 촬상의 지시를 접수하지 않은 것으로 판정된 경우, 처리는 스텝(S203)으로 되돌아간다. 즉, 정지화상 촬상의 지시가 접수될 때까지, 에어리어 구동 모드 촬상 처리가 반복하여 실행된다. 즉, 캡처 화상이 동영상으로서 생성되어, 모니터에 표시된다.
그리고, 스텝(S204)에 있어서, 예를 들면 사용자에 의해 촬상 버튼(셔터 버튼)이 눌러지거나 하여, 정지화상 촬상의 지시를 접수했다고 판정된 경우, 처리는 스텝(S205)로 진행한다.
스텝(S205)에 있어서, 제어부(101)는, 동작 모드를 전체 화소 모드로 설정한다(에어리어 구동 모드로부터 전체 화소 모드로 스위칭한다).
스텝(S206)에 있어서, 촬상 소자(121), 판독 제어부(122), 복원 행렬 설정부(123), 복원부(124), 연관부(125), 및 출력부(112) 등의 각 처리부는, 전체 화소 모드 촬상 처리를 실행하고, 전체 화소 모드에서 피사체를 촬상하여 출력 데이터를 생성하고, 그 출력 데이터를 출력한다. 이 전체 화소 모드 촬상 처리는, 도 34의 플로우차트를 참조하여 설명한 경우와 기본적으로 마찬가지의 흐름으로 실행된다. 따라서, 그 설명은 생략한다.
즉, 이 촬상에서 얻어진 출력 데이터는, 촬상 화상(정지화상)에 대응하는 데이터로서 출력된다.
스텝(S207)에 있어서, 제어부(101)는, 촬상 처리를 종료할지 여부를 판정한다. 촬상 처리를 종료하지 않는다고 판정된 경우, 처리는 스텝(S201)로 되돌아가고, 그 이후의 처리를 행한다. 즉, 촬상 처리가 종료될 때까지, 스텝(S201) 내지 스텝(S207)의 각 처리가 반복하여 실행된다.
그리고, 스텝(S207)에 있어서, 촬상 처리를 종료한다고 판정된 경우, 촬상 처리가 종료한다.
이상과 같이 전체 화소 모드와 에어리어 구동 모드를 이용하여 촬상을 행함으로써, 보다 다양한 용도에 적합한 촬상을 행할 수 있다.
또한, 이상에서는, 전체 화소 모드와 에어리어 구동 모드를, 캡처 화상의 캡처와 촬상 화상을 얻기 위한 촬상에서 구분해 사용하는 것으로 설명했지만, 양쪽 모드의 구분 사용은 이 예에 한정되지 않는다. 예를 들면, 동영상의 촬상과 정지화상의 촬상에서 양쪽 모드를 구분해 사용하도록 하여도 된다. 예를 들면, 동영상의 촬상을, 부하가 비교적 작은 에어리어 구동 모드에서 행하고, 정지화상의 촬상을, 보다 고화질인 화상이 얻어지는 전체 화소 모드에서 행하도록 하여도 된다. 이와 같이 함으로써, 상술한 캡처 화상과 촬상 화상의 경우와 마찬가지로, 얻어지는 화상이 동영상인지 정지화상인지에 따라, 화질이나 부하를 보다 적절하게 제어할 수 있다.
<에어리어의 선택>
예를 들면, 화소 영역(311) 내에, 에어리어 구동 모드에서 이용 가능한 에어리어(312)를 복수개 설치하고, 그 중 어느 하나를 선택하여 사용할 수 있도록 하여도 된다.
예를 들면, 도 23의 화소 영역(311)과 같이, 에어리어(312)가 복수개 설정되어 있는 경우, 그 중 어느 하나의 에어리어(312)도, 에어리어 구동 모드에서 선택할 수 있도록 하여도 된다. 즉, 그 경우, 판독 제어부(122)는, 사용하는 에어리어(312)를 복수의 후보 중에서 선택하고, 그 선택한 에어리어(312) 내의 화소(121a)로부터 검출 신호를 판독한다.
이 에어리어(312)의 선택 근거(어떤 기준으로 선택하는지)는 임의이다. 예를 들면, 에어리어(312) 내에, 정상적으로 검출 신호를 판독하지 못하는 결함 화소가 존재하는(예를 들면, 소정 수 이상의 결함 화소가 존재하는) 경우에, 판독 제어부(122)가, 다른 에어리어(312)로 전환하도록(다른 에어리어(312)를 선택하도록) 해도 된다. 결함 화소의 검출은, 예를 들면, 얻어진 검출 화상(의 각 출력 화소값)에 기초하여 행해지도록 하여도 된다.
이와 같이 함으로써, 경년 열화나 제조 불량 등에 의한 복원 화상의 화질의 저감을 억제할 수 있다.
또한, 예를 들면, 화소 영역(311) 내에 특징이 서로 다른 복수의 에어리어(312)를 마련하고, 판독 제어부(122)가, 그들 에어리어(312) 중에서 원하는 특징을 갖는 에어리어(312)를 선택하도록 하여도 된다. 예를 들면, 에어리어(312)의 화소 출력 단위군의 전체의 입사각 지향성이 서로 다른 복수의 에어리어(312)를 마련하고, 판독 제어부(122)가, 용도 등에 따라, 그들 에어리어(312) 중에서 원하는 입사각 지향성을 가지는 에어리어(312)를 선택하도록 하여도 된다.
예를 들면, 도 43에 나타내는 바와 같이, 화소 영역(311)에, 내포하는 화소 출력 단위군의 전체의 화각의 크기가 서로 다른 복수의 에어리어(312)를 마련하도록 하여도 된다. 도 43의 경우, 화소 영역(311) 내에, 에어리어(312)의 화소 출력 단위군의 전체의 화각이 비교적 넓은(광화각의) 에어리어(312-11)와, 에어리어(312)의 화소 출력 단위군의 전체의 화각이 비교적 좁은(협화각의) 에어리어(312-12)가 마련되어 있다. 판독 제어부(122)는, 복원 화상에 요구되는 화각의 크기에 따라, 그들 중 어느 일방을 선택한다. 예를 들면, 광화각의 복원 화상을 얻고 싶은 경우, 판독 제어부(122)는 에어리어(312-11)를 선택한다. 또한, 예를 들면, 협화각의 복원 화상을 얻고 싶은 경우, 판독 제어부(122)는 에어리어(312-12)를 선택한다.
또한, 예를 들면, 화소 영역(311)에, 내포하는 화소 출력 단위군의 전체의 화각의 방향이 서로 다른 복수의 에어리어(312)를 마련하도록 하여도 된다.
또한, 이와 같이 복수의 에어리어(312) 사이에서 비교되는 파라미터는 임의이며, 입사각 지향성(화각) 이외의 것이어도 된다. 예를 들면, 에어리어(312)의 크기, 형상, 내포하는 화소(121a)의 수, 크기, 형상, 레이아웃 등이어도 된다. 또한, 복수의 에어리어(312) 사이에서 비교되는 파라미터의 수는 임의이며, 단수이어도 되고, 복수이어도 된다.
이와 같이 함으로써, 보다 다양한 용도 등에 따른 적절한 특징을 갖는 복원 화상을 얻을 수 있다.
또한, 선택하는 에어리어(312)의 수를 가변으로 하여도 된다.
<복수 에어리어 선택>
예를 들면, 판독 제어부(122)가, 복수의 에어리어(312)를 선택하고, 각각의 에어리어(312)로부터 검출 화상을 판독할 수 있도록 하여도 된다. 즉, 복수의 에어리어(312)의 각 화소(121a)(화소 출력 단위)로부터 신호가 판독되고, 그 복수의 에어리어의 각각에 대응지어진 신호 처리부가, 자신에 대응하는 에어리어(312)의 각 화소 출력 단위로부터 판독되는 신호를 처리하도록 하여도 된다.
예를 들면, 화소 영역(311)의 좌측에 마련된 에어리어(312)와, 화소 영역(311)의 우측에 마련된 에어리어(312)를 동시에 선택하고, 양쪽 모두의 에어리어(312)로부터 각각 검출 화상을 판독하도록 하여도 된다. 이와 같이 함으로써, 각 검출 화상으로부터 얻어지는 복원 화상을 서로 시차를 갖는 입체시(立體視, stereoscopic viewing)용 화상으로 할 수 있다. 또한, 그 양쪽 모두의 복원 화상(에어리어(312)) 사이의 시차를 이용하여, 예를 들면 깊이 정보 등을 얻도록 하여도 된다.
<3. 제3 실시형태>
<저해상도의 동작 모드의 전환>
이상에서는 솎음 모드와 에어리어 구동 모드를 설명했다. 이들 동작 모드는, 전체 화소 모드에 비해 저해상도의 동작 모드이다. 촬상 장치(100)가, 이러한 저해상도의 동작 모드로서, 솎음 모드와 에어리어 구동 모드의 양쪽 모두를 갖게 해도 된다. 즉, 촬상 장치(100)가, 동작 모드로서, 전체 화소 모드, 솎음 모드, 및 에어리어 구동 모드를 구비하도록 하여도 된다.
<촬상 처리의 흐름>
그 경우의 촬상 처리의 흐름의 예를, 도 44의 플로우차트를 참조하여 설명한다. 촬상 처리가 개시되면, 제어부(101)는, 스텝(S221)에 있어서, 동작 모드(전체 화소 모드, 솎음 모드, 또는 에어리어 구동 모드)를 선택한다. 스텝(S222)에 있어서, 제어부(101)는, 스텝(S221)에서 선택된 동작 모드가 전체 화소 모드인지 아닌지를 판정한다. 전체 화소 모드라고 판정한 경우, 처리는 스텝(S223)으로 진행한다.
스텝(S223)에 있어서, 촬상 장치(100)는, 전체 화소 모드 촬상 처리를 실행하고, 전체 화소 모드에서의 촬상을 행한다. 이 전체 화소 모드 촬상 처리는, 도 34의 플로우차트를 참조하여 설명한 경우와 마찬가지의 흐름으로 실행된다. 따라서 그 설명은 생략한다.
스텝(S223)의 처리가 종료하면, 처리는 스텝(S227)으로 진행한다. 또한, 스텝(S222)에 있어서, 선택된 동작 모드가 전체 화소 모드가 아니라고(솎음 모드 또는 에어리어 구동 모드라고) 판정된 경우, 처리는 스텝(S224)으로 진행한다.
스텝(S224)에 있어서, 제어부(101)는, 스텝(S221)에 있어서 선택된 동작 모드가 솎음 모드인지 아닌지를 판정한다. 솎음 모드라고 판정한 경우, 처리는 스텝(S225)으로 진행한다.
스텝(S225)에 있어서, 촬상 장치(100)는, 솎음 모드 촬상 처리를 실행하고, 솎음 모드에서의 촬상을 행한다. 이 솎음 모드 촬상 처리는, 도 35의 플로우차트를 참조하여 설명한 경우와 마찬가지의 흐름으로 실행된다. 따라서 그 설명은 생략한다.
스텝(S225)의 처리가 종료하면, 처리는 스텝(S227)로 진행한다. 또한, 스텝(S224)에 있어서, 선택된 동작 모드가 솎음 모드가 아니라고(에어리어 구동 모드라고) 판정된 경우, 처리는 스텝(S226)으로 진행한다.
스텝(S226)에 있어서, 촬상 장치(100)는, 에어리어 구동 모드 촬상 처리를 실행하고, 에어리어 구동 모드에서의 촬상을 행한다. 이 에어리어 구동 모드 촬상 처리는, 도 41의 플로우차트를 참조하여 설명한 경우와 마찬가지의 흐름으로 실행된다. 따라서 그 설명은 생략한다.
스텝(S227)에 있어서, 제어부(101)는, 촬상 처리를 종료할지 여부를 판정한다. 촬상 처리를 종료하지 않는다고 판정된 경우, 처리는 스텝(S221)로 되돌아간다. 즉, 스텝(S227)에 있어서, 촬상 처리를 종료한다고 판정될 때까지, 스텝(S221) 내지 스텝(S227)의 각 처리가 반복하여 실행된다.
스텝(S227)에 있어서, 촬상 처리가 종료한다고 판정된 경우, 촬상 처리가 종료한다.
<용도 등에 따른 모드 선택>
이와 같이 촬상 처리를 행함으로써, 솎음 모드와 에어리어 구동 모드를 전환할 수 있다. 이 전환(모드의 선택)의 근거는 임의이다.
예를 들면, 용도 등에 따라, 솎음 모드와 에어리어 구동 모드를 전환하도록 하여도 된다. 예를 들면, 판독 제어부(122)가, 생성하는 복원 화상에 원하는 특징을 갖게 하기 위해(즉, 그림을 만들기 위해), 솎음 모드와 에어리어 구동 모드 중, 보다 적절한 쪽을 선택하도록 하여도 된다.
예를 들면, 복원 화상의 피사계 심도를 비교적 얕게 하는 경우, 판독 제어부(122)가 솎음 모드를 선택하도록 하여도 된다. 또한, 복원 화상의 피사계 심도를 비교적 깊게 하는 경우, 판독 제어부(122)가 에어리어 구동 모드를 선택하도록 하여도 된다.
이와 같이 함으로써, 촬상 장치(100)는, 보다 다양한 특징의 복원 화상을 생성할 수 있다.
<피사체 거리에 따른 모드 선택>
또한, 예를 들면, 피사체까지의 거리(피사체 거리라고도 칭함)에 따라, 솎음 모드와 에어리어 구동 모드를 전환하도록 하여도 된다.
예를 들면, 도 39를 참조하여 설명한 바와 같이, 에어리어 구동 모드의 경우(양쪽 화살표(382))가, 솎음 모드의 경우(양쪽 화살표(381))보다, 화소 분포 범위가 좁다. 따라서, 에어리어 구동 모드의 경우가 솎음 모드의 경우보다, 입사광이 평행광에 가까워진다. 즉, 에어리어 구동 모드의 경우가 솎음 모드의 경우보다, 피사계 심도를 깊게 할 수 있다. 따라서, 복원 화상에 있어서, 에어리어 구동 모드의 경우가 솎음 모드의 경우보다, 피사체 거리(일점쇄선 양쪽 화살표(388))보다 가까운 피사체에 대해 포커싱하여 있는 것처럼 보일 수 있다.
이에, 판독 제어부(122)가, 피사체 거리가 소정의 임계값보다 짧은 경우, 에어리어 구동 모드를 선택하고, 피사체 거리가 그 임계값보다 긴 경우, 솎음 모드를 선택하도록 하여도 된다.
이와 같이 함으로써, 보다 광범위한 피사체 거리에서, 피사체에 포커싱할 수 있다.
<화소 밀도의 제어>
나아가, 이 솎음 모드와 에어리어 구동 모드 간의 모드 선택과, 제2 실시형태에서 설명한 에어리어(312)의 선택의 양쪽 모두를 행하도록 하여도 된다. 에어리어(312)의 레이아웃(배치)은 임의이므로, 예를 들면, 도 45에 나타내는 바와 같이, 화소 영역(311) 내에, 에어리어(401) 내지 에어리어(403)를 마련하고, 솎음 모드와 에어리어 구동 모드 간의 모드 선택과, 에어리어(401) 내지 에어리어(403) 간의 선택을 행하도록 하여도 된다.
즉, 이 경우, 솎음 모드가 선택되면 화소 영역(311)이 선택되게 된다. 따라서, 이러한 동작 모드 및 에어리어(312)의 선택은, 검출 신호를 판독하는 화소(121a)의 범위를 선택하고 있다고도 말할 수 있다.
여기서, 예를 들면, 검출 신호를 판독하는 화소(121a)의 수는, 허용되는 소비 전력의 크기에 기초하여 설정되도록 하여도 된다. 또한, 예를 들면, 검출 신호를 판독하는 화소(121a)군 전체의 입사각 지향성(즉, 어떤 입사각 지향성의 화소를 선택하는지)는, 복원 화상에 요구되는 화각에 따라 설정되도록 하여도 된다. 그리고, 검출 신호를 판독하는 화소(121a)의 분포의 범위는, 상술한 용도 등이나 피사체까지의 거리에 기초하여 설정되도록 하여도 된다.
이와 같이 함으로써, 촬상 장치(100)는, 보다 다양한 특징을 갖는 복원 화상을 얻을 수 있다.
한편, 부언하면, 검출 신호를 판독하는 화소(121a)의 수가, 허용되는 소비 전력의 크기 등에 기초하여 설정되어 있는(고정되어 있는) 경우, 검출 신호를 판독하는 화소(121a)의 분포의 범위를 설정함으로써, 검출 신호를 판독하는 화소(121a)의 밀도를 설정하고 있다고도 말할 수 있다. 즉, 예를 들면, 용도나 피사체 거리등의, 어떠한 요인에 기초하여, 검출 신호를 판독하는 화소(121a)의 밀도를 제어할 수 있도록 하여도 된다.
<촬상 장치·화상 처리 장치의 다른 구성예>
이상에서, 촬상 장치(100)가 촬상 소자(121)를 갖는 것으로 설명했지만, 촬상 장치(100)가 갖는 촬상 소자(121)의 수는 임의이다. 촬상 장치(100)가 단수의 촬상 소자(121)를 갖게 해도 되고, 복수의 촬상 소자(121)를 갖게 해도 된다. 또한, 촬상 장치(100)가 복수의 촬상 소자(121)를 갖는 경우, 그 복수의 촬상 소자(121)의 성능(예를 들면, 화소수, 형상, 화소 구조, 촬상 특성, 촬상 방식 등)이 모두 통일되어 있어도 되고, 다른 것이 포함되어 있어도 된다.
또한, 촬상 장치(100)가, 그 밖의 처리부를 복수개 갖도록 하여도 된다. 예를 들면, 판독 제어부(122)가 복수개 설치되고, 각각, 독립적으로 검출 화상의 해상도를 설정하여 판독하도록 하여도 된다. 이와 같이 함으로써, 예를 들면, 복수의 해상도의 검출 화상을 병행하여 얻을 수 있다. 또한, 그에 따라 복원 행렬 설정부(123)를 복수개 구비하도록 하여도 된다.
<4. 제4 실시형태>
<감시 시스템>
다음으로, 이상과 같은 본 기술을 적용한 촬상 장치(100)의 응용예에 대해 설명한다. 촬상 장치(100)는, 예를 들면, 대상을 화상에 의해 감시하는 감시 시스템에 적용할 수 있다.
도 46은 본 기술을 적용한 시스템의 일 실시형태인 감시 시스템의 주요 구성예를 나타내는 도면이다. 도 46에 나타내는 감시 시스템(500)은, 감시 대상을 촬상하고, 그 촬상 화상에 의해 감시 대상을 감시하는 시스템이다. 예를 들면, 감시 시스템(500)은, 감시 대상의 불심 검출(이상 검출) 등을 행한다.
도 46에 나타내는 바와 같이, 감시 시스템(500)은, 감시 카메라(511)와, 이 감시 카메라(511)와 케이블(512)을 통해 통신 가능하게 접속되는 서버(553)를 갖는다.
감시 카메라(511)는, 예를 들면, 소정의 영역(521)을 감시 대상으로서 촬상한다. 그리고, 감시 카메라(511)는, 그 촬상 화상의 데이터를, 케이블(512)을 통해 서버(513)에 공급한다.
서버(513)는, 예를 들면, 케이블(512)을 통해 감시 카메라(511)의 구동을 제어한다. 또한, 서버(513)는, 감시 카메라(511)로부터 공급되는 촬상 화상에 대해 화상 처리를 행한다. 나아가, 서버(513)는, 촬상 화상을 해석하고, 감시 대상의 의심스러운 점의 검출(이상의 검출)을 행한다. 또한, 서버(513)는, 필요에 따라, 그 검출 결과에 따른 경고 등의 처리를 행한다.
이러한 감시 시스템(500)에 있어서, 감시 카메라(511)로서, 상술한 촬상 장치(100)를 적용하도록 하여도 된다. 즉, 감시 카메라(511)는, 제1 실시형태 내지 제3 실시형태에서 설명한 촬상 장치(100)와 마찬가지의 구성을 가지며, 촬상 장치(100)와 마찬가지의 처리를 행할 수 있다. 따라서, 감시 카메라(511)는, 제1 실시형태 내지 제3 실시형태에서 설명한 것과 마찬가지의 효과를 얻을 수 있다.
예를 들면, 감시 카메라(511)가, 불심 검출 결과(감시 대상의 상황)에 따라, 동작 모드를 전환할 수 있도록 하여도 된다. 예를 들면, 감시 대상인 영역(521) 내에 동물체가 검출되지 않는 상태가 정상인(의심스러운 점이 없는) 것으로 한다. 그 경우, 정상 상태에 있는 영역(521)을 촬상한 촬상 화상(복원 화상)은, 그 그림이 거의 변화하지 않는다. 또한, 특히 주목해야 할 개소도 존재하지 않는다. 그 때문에, 촬상 화상의 해상도가 낮아도 지장은 없다.
이에 대해, 예를 들면, 영역(521) 내에 사람(541)이 진입하면, 동물체인 사람(541)이, 서버(513)에 의해 의심스러운 점(이상)으로서 검출된다. 이러한 경우, 사람(541)의 특징을 보다 정확하게 파악할 필요가 있기 때문에, 사람(541)이 주목 대상이 된다. 즉, 사람(541)의 화상은 보다 고해상도화하는 것이 바람직하다.
이에, 감시 카메라(511)는, 감시 대상이 정상 상태인 경우에는, 점선 사각형(531) 내의 좌측에 나타내는 바와 같이, 에어리어 구동 모드에서 동작하고, 화소 영역(311)의 일부 에어리어(312)로부터 검출 화상을 판독한다.
그리고, 사람(541)이 화살표(542)와 같이 영역(521) 안으로 진입하고, 서버(513)가 그것을 의심스러운 점으로서 검지하면, 감시 카메라(511)는, 점선 사각형(531) 내의 우측에 나타내는 바와 같이, 동작 모드를 전체 화소 모드로 전환하고, 화소 영역(311)의 전체로부터 검출 화상을 판독한다.
나아가, 사람(541)이 화살표(543)와 같이 영역(521) 밖으로 퇴출하면, 영역(521)의 불심이 검지되지 않게 된다. 즉, 영역(521)의 상태가 정상으로 되돌아온다. 이에, 감시 카메라(511)는, 점선 사각형(531) 내의 좌측에 나타내는 바와 같이, 동작 모드를 에어리어 구동 모드로 전환하고, 화소 영역(311)의 일부 에어리어(312)로부터 검출 화상을 판독한다.
이와 같이 동작 모드를 전환함으로써, 감시 카메라(511)는, 예를 들면, 주목해야 할 개소(의심스러운 점)가 존재하지 않는 평상시에 있어서는, 촬상 화상의 해상도를 저감시켜, 데이터량의 증대를 억제할 수 있다. 또한, 감시 대상에 의심스러운 점이 검출되어, 주목해야 할 개소가 존재하는 경우, 감시 카메라(511)는, 촬상 화상을 고해상도화하고, 화질의 저감을 억제할 수 있다. 즉, 감시 카메라(511)는, 상황에 따라 적절한 데이터량 및 화질의 촬상 화상을 얻을 수 있고, 그 촬상 화상에 기초하여 감시를 행할 수 있다(불심 검출을 행할 수 있다). 즉, 데이터량의 증대를 억제하면서, 보다 정확한 감시를 행할 수 있다.
<감시 처리의 흐름>
이러한 감시 시스템(500)에 의해 행해지는 감시 처리의 흐름의 예를, 도 47의 플로우차트를 참조하여 설명한다.
감시 처리가 개시되면, 서버(513)는, 스텝(S301)에 있어서, 감시 대상의 불심 검지를 개시한다.
스텝(S302)에 있어서, 감시 카메라(511)는, 동작 모드를 에어리어 구동 모드로 설정한다.
스텝(S303)에 있어서, 감시 카메라(511)는, 에어리어 구동 모드에서 감시 대상을 촬상하여 출력 데이터를 출력한다. 즉, 감시 카메라(511)는, 도 41의 플로우차트를 참조하여 설명한 경우와 마찬가지의 흐름으로, 에어리어 구동 모드 촬상 처리를 행하고, 에어리어 구동 모드에서 출력 데이터를 생성하고, 그것을 서버(513)에 출력한다.
스텝(S304)에 있어서, 서버(513)는 불심을 검지했는지 여부를 판정한다. 불심을 검지하지 않은 것으로 판정된 경우, 처리는 스텝(S303)으로 되돌아간다. 즉, 감시 대상이, 불심이 검지되지 않는 정상 상태인 경우, 스텝(S303) 및 스텝(S304)의 처리가 반복하여 실행된다. 즉, 저해상도의 촬상 화상이 얻어진다.
또한, 스텝(S304)에 있어서, 불심이 검지되었다고 판정된 경우, 처리는 스텝(S305)로 진행한다.
스텝(S305)에 있어서, 감시 카메라(511)는, 동작 모드를 전체 화소 모드로 전환한다(설정한다).
스텝(S306)에 있어서, 감시 카메라(511)는, 전체 화소 모드에서 감시 대상을 촬상하여 출력 데이터를 출력한다. 즉, 감시 카메라(511)는, 도 34의 플로우차트를 참조하여 설명한 경우와 마찬가지의 흐름으로, 전체 화소 모드 촬상 처리를 행하고, 전체 화소 모드에서 출력 데이터를 생성하고, 그것을 서버(513)에 출력한다.
스텝(S307)에 있어서, 서버(513)는, 불심이 검지되지 않게 되었는지 여부를 판정한다. 불심을 계속해서 검지하고 있다고 판정된 경우, 처리는 스텝(S306)으로 되돌아간다. 즉, 감시 대상이, 불심이 검지되고 있는 상태(비정상 상태)인 경우, 스텝(S306) 및 스텝(S307)의 처리가 반복하여 실행된다. 즉, 고해상도의 촬상 화상이 얻어진다.
또한, 스텝(S307)에 있어서, 불심이 검지되지 않게 되었다고 판정된 경우, 처리는 스텝(S308)로 진행한다.
스텝(S308)에 있어서, 감시 카메라(511)는, 감시 처리를 종료할지 여부를 판정한다. 감시 처리를 종료하지 않는다고 판정된 경우, 처리는 스텝(S302)로 되돌아간다. 즉, 스텝(S308)에 있어서, 감시 처리를 종료한다고 판정될 때까지, 스텝(S302) 내지 스텝(S308)의 각 처리가 반복하여 실행된다.
스텝(S308)에 있어서, 감시 처리가 종료한다고 판정된 경우, 감시 처리가 종료한다.
이상과 같이 감시 처리를 실행함으로써, 데이터량의 증대를 억제하면서, 보다 정확한 감시를 행할 수 있다.
<5. 제5 실시형태>
<측거>
촬상 장치(100)는, 예를 들면, 도 48에 나타내는 바와 같이, 서로 떨어진 복수의 에어리어(312)로부터 검출 화상을 판독할 수 있다. 이것을 이용하여, 그들의 검출 화상으로부터 얻어지는 복원 화상을, 그 화상 간의 시차(視差)를 이용하여, 입체시용 화상으로 하여도 된다.
도 48의 예의 경우, 화소 영역(311)에는, 4화소×4화소의 에어리어(312)가, 세로 3개×가로 3개의 합계 9개 마련되어 있다. 그리고, 판독 제어부(122)는, 에어리어 구동 모드에 있어서, 그 화소 영역(311)의 좌측의 에어리어(312-21)의 화소(121a)와, 우측의 에어리어(312-22)의 화소(121a)를, 판독 화소로서 선택한다(도면 중 사선으로 나타내는 화소).
에어리어(312-21)와 에어리어(312-22)는, 그 위치가 서로 다르므로, 이들 에어리어(312)로부터 얻어지는 복원 화상은, 서로 시차를 갖는다. 즉, 이들 복원 화상의 조합은, 입체시용 화상으로 간주할 수 있다. 즉, 이들 복원 화상의 세트로부터 피사체의 깊이 정보를 얻을 수 있다.
또한, 촬상 소자(121)는, 에어리어 ADC(321)에 의해 각 화소(121a)로부터 판독된 검출 신호의 A/D 변환이 행해지므로, 각 복원 화상의 생성 타이밍이 서로 대략 동일하게 할 수 있다. 따라서, 보다 정확하게 깊이 정보를 구할 수 있다.
한편, 에어리어(312-21)의 화각의 방향과 에어리어(312-22)의 화각의 방향이, 그 시차가 넓어지는 방향으로, 서로 다르게 해도 된다. 이와 같이 함으로써, 복원 화상 간의 시차가 확대되므로, 보다 정확한 깊이 정보를 구할 수 있다.
이러한 본 기술을 이용하여, 예를 들면, 도 49에 나타내는 바와 같이, 촬상 장치(100)를 이용하여 피사체(561)를 촬상할 때에, 촬상 장치(100)로부터 피사체(561)까지의 거리(점선 양쪽 화살표(562))를 구할 수 있다(측거를 행할 수 있다).
<촬상 처리의 흐름>
이 경우의 촬상 장치(100)에 의해 실행되는 촬상 처리의 흐름의 예를, 도 50 및 도 51의 플로우차트를 참조하여 설명한다.
촬상 처리가 개시되면, 촬상 장치(100)의 제어부(101)는, 스텝(S401)에 있어서, 피사체 거리를 초기 설정한다.
스텝(S402)에 있어서, 제어부(101)는 동작 모드를 에어리어 구동 모드로 설정한다.
스텝(S403)에 있어서, 입력부(111)는 정지화상 촬상의 지시의 접수를 개시한다.
스텝(S404)에 있어서, 촬상 장치(100)는, 에어리어 구동 모드 촬상 처리를 실행하고, 에어리어 구동 모드에서 피사체를 촬상하고, 캡처 화상을 생성하고, 그 캡처 화상을 모니터에 표시한다. 이 에어리어 구동 모드 촬상 처리는, 도 41의 플로우차트를 참조하여 설명한 경우와 기본적으로 마찬가지의 흐름으로 실행된다. 따라서, 그 설명은 생략한다.
스텝(S405)에 있어서, 제어부(101)는, 스텝(S404)의 처리에 의해 얻어진 복수의 에어리어(312)의 각각 대응하는 복수의 복원 화상으로부터 피사체 거리를 추정한다.
스텝(S406)에 있어서, 제어부(101)는, 피사체 거리를 갱신할지 여부를 판정한다. 피사체 거리(의 추정 값)가 변화하고, 피사체 거리를 갱신한다고 판정된 경우, 처리는 스텝(S407)로 진행한다.
스텝(S407)에 있어서, 제어부(101)는, 스텝(S405)의 처리 결과에 기초하여, 피사체 거리를 갱신한다. 스텝(S407)의 처리가 종료하면, 처리는 스텝(S408)로 진행한다.
또한, 스텝(S406)에 있어서, 피사체 거리가 변화하지 않고, 피사체 거리를 갱신하지 않는다고 판정된 경우, 처리는 스텝(S408)로 진행한다.
스텝(S408)에 있어서, 입력부(111)는, 정지화상 촬상의 지시를 접수했는지 여부를 판정한다. 정지화상의 촬상 지시를 접수하지 않은 것으로 판정된 경우, 처리는 스텝(S404)로 되돌아가고, 그 이후의 처리가 실행된다. 즉, 캡처 화상이 동영상으로서 캡처되어, 모니터에 표시된다. 또한, 그 캡처 화상의 프레임마다 피사체 거리의 추정 및 갱신이 행해진다.
스텝(S408)에서 정지화상 촬상의 지시를 접수했다고 판정될 때까지, 스텝(S404) 내지 스텝(S408)의 처리가 반복된다.
그리고, 스텝(S408)에 있어서, 예를 들면 사용자에 의해 촬상 버튼(셔터 버튼)이 눌러지거나 하여, 정지화상 촬상의 지시를 접수했다고 판정된 경우, 처리는 도 51로 진행한다.
도 51의 스텝(S411)에 있어서, 제어부(101)는 동작 모드를 전체 화소 모드로 전환한다(설정한다).
스텝(S412)에 있어서, 제어부(101)는, 도 50의 스텝(S405)에 있어서의 피사체 거리 추정 결과를 측거 결과로서 촬상에 이용할지(예를 들면, 초점거리 조정에 이용할지) 여부를 판정한다. 이 피사체 거리 추정 결과를 이용하지 않는다고 판정된 경우, 처리는 스텝(S413)으로 진행한다.
스텝(S413)에 있어서, 촬상 장치(100)는, 다른 방법(임의의 방법)에 의해, 피사체 거리를 계측한다. 스텝(S413)의 처리가 종료하면, 처리는 스텝(S414)로 진행한다. 또한, 스텝(S412)에 있어서, 피사체 거리의 추정 결과를 이용한다고 판정된 경우, 스텝(S413)의 처리가 생략되고, 처리는 스텝(S414)로 진행한다.
스텝(S414)에 있어서, 촬상 장치(100)는, 전체 화소 모드 촬상 처리를 실행하고, 전체 화소 모드에서 피사체를 촬상하고, 출력 데이터를 생성하고, 그 출력 데이터를 출력한다. 이 전체 화소 모드 촬상 처리는, 도 34의 플로우차트를 참조하여 설명한 경우와 기본적으로 마찬가지의 흐름으로 실행된다. 따라서, 그 설명은 생략한다.
스텝(S415)에 있어서, 제어부(101)는, 촬상 처리를 종료할지 여부를 판정한다. 촬상 처리를 종료하지 않는다고 판정된 경우, 처리는 도 50의 스텝(S402)로 되돌아가고, 그 이후의 처리를 행한다. 즉, 촬상 처리가 종료될 때까지, 도 50의 스텝(S402) 내지 도 51의 스텝(S415)의 각 처리가 반복하여 실행된다.
그리고, 도 51의 스텝(S415)에 있어서, 촬상 처리를 종료한다고 판정된 경우, 촬상 처리가 종료한다.
이상과 같이 촬상 처리를 행함으로써, 피사체 거리를 추정할 수 있고, 그 피사체 거리의 추정 결과에 기초하여 촬상을 행할 수 있다. 따라서, 보다 정확하게 초점거리를 피사체에 포커싱할 수 있다.
<6. 제6 실시형태>
<내시경 시스템>
또한, 본 개시에 관련되는 기술은, 예를 들면, 내시경 수술 시스템에 적용되어도 된다.
도 52는 본 개시에 관련되는 기술이 적용될 수 있는 내시경 수술 시스템(5000)의 개략적인 구성의 일례를 나타내는 도면이다. 도 52에서는, 시술자(의사)(5067)가, 내시경 수술 시스템(5000)을 이용하여, 환자 침대(5069) 상의 환자(5071)에게 수술을 행하고 있는 모습이 도시되어 있다. 도시하는 바와 같이, 내시경 수술 시스템(5000)은, 내시경(5001)과, 그 밖의 시술구(5017)와, 내시경(5001)을 지지하는 지지 암 장치(5027)와, 내시경 하에서의 수술을 위한 각종 장치가 탑재된 카트(5037)로 구성된다.
내시경 수술에서는, 복벽을 잘라 개복하는 대신에, 트로카(trocar)(5025a∼5025d)라고 불리는 통 형상의 개구 기구가 복벽에 복수 천자(穿刺)된다. 그리고, 트로카(5025a∼5025d)로부터, 내시경(5001)의 경통(5003)이나, 그 밖의 시술구(5017)가 환자(5071)의 체강 내에 삽입된다. 도시하는 예에서는, 그 밖의 시술구(5017)로서, 기복 튜브(5019), 에너지 처치구(5021) 및 겸자(5023)가, 환자(5071)의 체강 내에 삽입되어 있다. 또한, 에너지 처치구(5021)는, 고주파 전류나 초음파 진동에 의해, 조직의 절개 및 박리, 또는 혈관의 봉지 등을 행하는 처치구다. 단, 도시하는 시술구(5017)는 어디까지나 일례이며, 시술구(5017)로서는, 예를 들면, 섭자, 리트랙터(retractor) 등, 일반적으로 내시경 하에서의 수술에서 사용되는 각종의 시술구를 사용되어도 된다.
내시경(5001)에 의해 촬영된 환자(5071)의 체강 내의 시술부의 화상이, 표시 장치(5041)에 표시된다. 시술자(5067)는, 표시 장치(5041)에 표시된 시술부의 화상을 리얼 타임으로 보면서, 에너지 처치구(5021)나 겸자(5023)를 이용하여, 예를 들면 환부를 절제하는 등의 처치를 행한다. 또한, 도시는 생략하고 있지만, 기복 튜브(5019), 에너지 처치구(5021) 및 겸자(5023)는, 수술 중에, 시술자(5067) 또는 조수 등에 의해 지지된다.
(지지 암 장치)
지지 암 장치(5027)는, 베이스부(5029)로부터 연신하는 암부(5031)를 구비한다. 도시하는 예에서는, 암부(5031)는, 관절부(5033a, 5033b, 5033c), 및 링크(5035a, 5035b)로 구성되어 있고, 암 제어 장치(5045)로부터의 제어에 의해 구동된다. 암부(5031)에 의해 내시경(5001)이 지지되고, 그 위치 및 자세가 제어된다. 이에 의해, 내시경(5001)의 안정적인 위치의 고정이 실현될 수 있다.
(내시경)
내시경(5001)은, 선단으로부터 소정의 길이의 영역이 환자(5071)의 체강 내에 삽입되는 경통(5003)과, 경통(5003)의 기단에 접속되는 카메라 헤드(5005)로 구성된다. 도시하는 예에서는, 경성의 경통(5003)을 갖는 이른바 경성경으로 구성되는 내시경(5001)을 도시하고 있지만, 내시경(5001)은, 연성의 경통(5003)을 갖는 이른바 연성경으로 구성되어도 된다.
경통(5003)의 선단에는, 대물 렌즈가 끼워 넣어진 개구부가 마련되어 있다. 내시경(5001)에는 광원 장치(5043)가 접속되어 있고, 해당 광원 장치(5043)에 의해 생성된 광이, 경통(5003)의 내부에 연장되어 설치되는 라이트 가이드에 의해 해당 경통의 선단까지 도광되고, 대물 렌즈를 통해 환자(5071)의 체강 내의 관찰 대상을 향해 조사된다. 또한, 내시경(5001)은, 직시경이어도 되고, 사시경 또는 측시경이어도 된다.
카메라 헤드(5005)의 내부에는 광학계 및 촬상 소자가 설치되어 있고, 관찰 대상으로부터의 반사광(관찰광)은 해당 광학계에 의해 해당 촬상 소자에 집광된다. 해당 촬상 소자에 의해 관찰광이 광전 변환되고, 관찰광에 대응하는 전기 신호, 즉 관찰상에 대응하는 화상 신호가 생성된다. 해당 화상 신호는, RAW 데이터로서 카메라 컨트롤 유닛(CCU：Camera　Control　Unit)(5039)에 송신된다. 또한, 카메라 헤드(5005)에는, 그 광학계를 적절히 구동시킴으로써, 배율 및 초점 거리를 조정하는 기능이 탑재된다.
또한, 예를 들면, 입체시(3D 표시) 등에 대응하기 위해, 카메라 헤드(5005)에는 촬상 소자가 복수 설치되어도 된다. 이 경우, 경통(5003)의 내부에는, 해당 복수의 촬상 소자의 각각에 관찰광을 도광하기 위해, 릴레이 광학계가 복수 계통 설치된다.
(카트에 탑재되는 각종의 장치)
CCU(5039)는, CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등에 의해 구성되고, 내시경(5001) 및 표시 장치(5041)의 동작을 통괄적으로 제어한다. 구체적으로는, CCU(5039)는, 카메라 헤드(5005)로부터 수취한 화상 신호에 대해, 예를 들면 동시화 처리나 색분리 처리 등(예를 들면, 디모자이크 처리 등)의, 해당 화상 신호에 기초하는 화상을 표시하기 위한 각종의 화상 처리를 실시한다. CCU(5039)는, 해당 화상 처리를 실시한 화상 신호를 표시 장치(5041)에 제공한다. 또한, CCU(5039)는, 카메라 헤드(5005)에 대해 제어 신호를 송신하고, 그 구동을 제어한다. 해당 제어 신호에는, 배율이나 초점거리 등의, 촬상 조건에 관한 정보가 포함될 수 있다.
표시 장치(5041)는, CCU(5039)로부터의 제어에 의해, 해당 CCU(5039)에 의해 화상 처리가 실시된 화상 신호에 기초하는 화상을 표시한다. 내시경(5001)이 예를 들면 4K(수평 화소수 3840 × 수직 화소수 2160) 또는 8K(수평 화소수 7680 × 수직 화소수 4320) 등의 고해상도의 촬영에 대응한 것인 경우, 및/또는 3D 표시에 대응한 것인 경우에는, 표시 장치(5041)로서는, 각각에 대응하여, 고해상도의 표시가 가능한 것, 및/또는 3D 표시 가능한 것이 이용될 수 있다. 4K 또는 8K 등의 고해상도의 촬영에 대응한 것인 경우, 표시 장치(5041)로서 55인치 이상의 사이즈의 것을 이용함으로써 더 몰입감이 얻어진다. 또한, 용도에 따라, 해상도, 사이즈가 다른 복수의 표시 장치(5041)가 설치되어도 된다.
광원 장치(5043)는, 예를 들면 LED(light emitting diode) 등의 광원으로 구성되고, 시술부를 촬영할 때의 조사광을 내시경(5001)에 공급한다.
암 제어 장치(5045)는, 예를 들면 CPU 등의 프로세서에 의해 구성되고, 소정의 프로그램에 따라 동작함으로써, 소정의 제어 방식에 따라 지지 암 장치(5027)의 암부(5031)의 구동을 제어한다.
입력 장치(5047)는, 내시경 수술 시스템(5000)에 대한 입력 인터페이스이다. 사용자는, 입력 장치(5047)를 통해, 내시경 수술 시스템(5000)에 대해 각종의 정보의 입력이나 지시 입력을 행할 수 있다. 예를 들면, 사용자는, 입력 장치(5047)를 통해, 환자의 신체 정보나, 수술의 시술방식에 대한 정보 등의, 수술에 관한 각종의 정보를 입력한다. 또한, 예를 들면, 사용자는, 입력 장치(5047)를 통해, 암부(5031)를 구동시키는 취지의 지시나, 내시경(5001)에 의한 촬상 조건(조사광의 종류, 배율 및 초점 거리 등)을 변경하는 취지의 지시, 에너지 처치구(5021)를 구동시키는 취지의 지시 등을 입력한다.
입력 장치(5047)의 종류는 한정되지 않고, 입력 장치(5047)는 각종의 공지의 입력 장치여도 된다. 입력 장치(5047)로는, 예를 들면, 마우스, 키보드, 터치 패널, 스위치, 풋 스위치(5057) 및/또는 레버 등이 적용될 수 있다. 입력 장치(5047)로서 터치 패널이 사용되는 경우에는, 해당 터치 패널은 표시 장치(5041)의 표시면 상에 설치되어도 된다.
또는, 입력 장치(5047)는, 예를 들면 안경형 웨어러블 디바이스나 HMD(Head　Mounted　Display) 등의, 사용자에 의해 장착되는 디바이스로서, 이들 디바이스에 의해 검출되는 사용자의 제스처나 시선에 따라 각종의 입력이 행해진다. 또한, 입력 장치(5047)는, 사용자의 움직임을 검출 가능한 카메라를 포함하고, 해당 카메라에 의해 촬상된 영상으로부터 검출되는 사용자의 제스처나 시선에 따라 각종의 입력이 행해진다. 나아가, 입력 장치(5047)는, 사용자의 소리를 수음 가능한 마이크로폰을 포함하고, 해당 마이크로폰을 통해 음성에 의해 각종의 입력이 행해진다. 이와 같이, 입력 장치(5047)가 비접촉으로 각종의 정보를 입력 가능하게 구성됨으로써, 특히 청결역에 속하는 사용자(예를 들면, 시술자(5067))가, 불결역에 속하는 기기를 비접촉으로 조작하는 것이 가능해진다. 또한, 사용자는, 소지하고 있는 시술구로부터 손을 떼지 않고 기기를 조작하는 것이 가능해지기 때문에, 사용자의 편리성이 향상한다.
처치구 제어 장치(5049)는, 조직의 소작, 절개 또는 혈관의 봉지 등을 위한 에너지 처치구(5021)의 구동을 제어한다. 기복 장치(5051)는, 내시경(5001)에 의한 시야의 확보 및 시술자의 작업 공간의 확보의 목적으로, 환자(5071)의 체강을 부풀어 오르게 하기 때문에, 기복 튜브(5019)를 통해 해당 체강 내에 가스를 보낸다. 레코더(5053)는, 수술에 관한 각종의 정보를 기록 가능한 장치이다. 프린터(5055)는, 수술에 관한 각종의 정보를, 텍스트, 화상 또는 그래프 등 각종의 형식으로 인쇄 가능한 장치이다.
이하, 내시경 수술 시스템(5000)에 있어서 특히 특징적인 구성에 대해, 더욱 상세하게 설명한다.
(지지 암 장치)
지지 암 장치(5027)는, 기대인 베이스부(5029)와, 베이스부(5029)로부터 연신하는 암부(5031)를 구비한다. 도시하는 예에서는, 암부(5031)는, 복수의 관절부(5033a, 5033b, 5033c)와, 관절부(5033b)에 의해 연결되는 복수의 링크(5035a, 5035b)로 구성되어 있지만, 도 52에서는, 간단하게 나타내기 위해, 암부(5031)의 구성을 간략화하여 도시하고 있다. 실제로는, 암부(5031)가 원하는 자유도를 갖도록, 관절부(5033a~5033c) 및 링크(5035a, 5035b)의 형상, 수 및 배치, 및 관절부(5033a~5033c)의 회전축의 방향 등이 적절히 설정될 수 있다. 예를 들면, 암부(5031)는, 바람직하게, 6 자유도 이상의 자유도를 갖도록 구성될 수 있다. 이에 의해, 암부(5031)의 가동 범위 내에서 내시경(5001)을 자유롭게 이동시키는 것이 가능하게 되기 때문에, 원하는 방향으로부터 내시경(5001)의 경통(5003)을 환자(5071)의 체강 내에 삽입하는 것이 가능하게 된다.
관절부(5033a~5033c)에는 액추에이터가 설치되어 있고, 관절부(5033a~5033c)는 해당 액추에이터의 구동에 의해 소정의 회전축 주위에 회전 가능하게 구성되어 있다. 해당 액추에이터의 구동이 암 제어 장치(5045)에 의해 제어됨으로써, 각 관절부(5033a~5033c)의 회전 각도가 제어되고, 암부(5031)의 구동이 제어된다. 이에 의해, 내시경(5001)의 위치 및 자세의 제어가 실현될 수 있다. 이 때, 암 제어 장치(5045)는, 힘 제어 또는 위치 제어 등, 각종의 공지의 제어 방식에 의해 암부(5031)의 구동을 제어할 수 있다.
예를 들면, 시술자(5067)가, 입력 장치(5047)(풋 스위치(5057)를 포함함)를 통해 적절히 조작 입력을 행함으로써, 해당 조작 입력에 따라 암 제어 장치(5045)에 의해 암부(5031)의 구동이 적절히 제어되고, 내시경(5001)의 위치 및 자세가 제어되어도 된다. 해당 제어에 의해, 암부(5031)의 선단의 내시경(5001)을 임의의 위치로부터 임의의 위치까지 이동시킨 후, 그 이동 후의 위치에서 고정적으로 지지할 수 있다. 또한, 암부(5031)는, 이른바 마스터 슬레이브 방식으로 조작되어도 된다. 이 경우, 암부(5031)는, 수술실로부터 떨어진 장소에 설치되는 입력 장치(5047)를 통해 사용자에 의해 원격 조작될 수 있다.
또한, 힘 제어가 적용되는 경우에는, 암 제어 장치(5045)는, 사용자로부터의 외력을 받아, 그 외력에 따라 순조롭게 암부(5031)가 이동하도록, 각 관절부(5033a~5033c)의 액추에이터를 구동시키는, 이른바 파워 어시스트 제어를 행해도 된다. 이에 의해, 사용자가 직접 암부(5031)에 접하면서 암부(5031)를 이동시킬 때에, 비교적 가벼운 힘으로 해당 암부(5031)를 이동시킬 수 있다. 따라서, 보다 직감적으로, 보다 간이한 조작으로 내시경(5001)을 이동시키는 것이 가능해지고, 사용자의 편리성을 향상시킬 수 있다.
여기서, 일반적으로, 내시경 하에서의 수술에서는, 스코피스트(Scopist)로 불리는 의사에 의해 내시경(5001)이 지지되고 있었다. 이에 대해, 지지 암 장치(5027)를 이용함으로써, 사람의 손에 의하지 않고 내시경(5001)의 위치를 보다 확실하게 고정하는 것이 가능하게 되기 때문에, 시술부의 화상을 안정적으로 얻을 수 있고, 수술을 원활하게 행하는 것이 가능하게 된다.
또한, 암 제어 장치(5045)는 반드시 카트(5037)에 설치되지 않아도 된다. 또한, 암 제어 장치(5045)는 반드시 1개의 장치가 아니어도 된다. 예를 들면, 암 제어 장치(5045)는, 지지 암 장치(5027)의 암부(5031)의 각 관절부(5033a~5033c)에 각각 설치되어도 되고, 복수의 암 제어 장치(5045)가 서로 협동함으로써, 암부(5031)의 구동 제어가 실현되어도 된다.
(광원 장치)
광원 장치(5043)는, 내시경(5001)으로 시술부를 촬영할 때의 조사광을 공급한다. 광원 장치(5043)는, 예를 들면 LED, 레이저 광원 또는 이들의 조합에 의해 구성되는 백색 광원으로 구성된다. 이 때, RGB 레이저 광원의 조합에 의해 백색 광원이 구성되는 경우에는, 각 색(각 파장)의 출력 강도 및 출력 타이밍을 고정밀도로 제어할 수 있기 때문에, 광원 장치(5043)에 있어서 촬상 화상의 화이트 밸런스의 조정을 행할 수 있다. 또한, 이 경우에는, RGB 레이저 광원 각각으로부터의 레이저광을 시분할로 관찰 대상에 조사하고, 그 조사 타이밍에 동기하여 카메라 헤드(5005)의 촬상 소자의 구동을 제어함으로써, RGB 각각에 대응한 화상을 시분할로 촬상하는 것도 가능하다. 해당 방법에 의하면, 해당 촬상 소자에 컬러 필터를 설치하지 않아도, 컬러 화상을 얻을 수 있다.
또한, 광원 장치(5043)는, 출력하는 광의 강도를 소정의 시간마다 변경하도록 그 구동이 제어되어도 된다. 그 광의 강도의 변경의 타이밍에 동기하여 카메라 헤드(5005)의 촬상 소자의 구동을 제어해 시분할로 화상을 취득하고, 그 화상을 합성함으로써, 이른바 노출 과다나 노출 부족이 없는 고다이나믹 레인지의 화상을 생성할 수 있다.
또한, 광원 장치(5043)는, 특수광 관찰에 대응한 소정의 파장대역의 광을 공급 가능하도록 구성되어도 된다. 특수광 관찰에서는, 예를 들면, 체조직에 있어서의 광의 흡수의 파장 의존성을 이용하여, 통상의 관찰 시에 있어서의 조사광(즉, 백색광)에 비해 협대역의 광을 조사함으로써, 점막 표층의 혈관 등의 소정의 조직을 고콘트라스트로 촬영하는, 이른바 협대역 광 관찰(Narrow　Band　Imaging)이 행해진다. 또는, 특수광 관찰에서는, 여기광을 조사함으로써 발생하는 형광에 의해 화상을 얻는 형광 관찰이 행해져도 된다. 형광 관찰에서는, 체조직에 여기광을 조사하여 해당 체조직으로부터의 형광을 관찰하는 것(자가 형광 관찰), 또는 인도시아닌 그린(ICG) 등의 시약을 체조직에 주입함과 함께 해당 체조직에 그 시약의 형광 파장에 대응한 여기광을 조사해 형광상을 얻는 것 등이 행해질 수 있다. 광원 장치(5043)는, 이러한 특수광 관찰에 대응한 협대역광 및/또는 여기광을 공급 가능하도록 구성될 수 있다.
(카메라 헤드 및 CCU)
도 53을 참조하여, 내시경(5001)의 카메라 헤드(5005) 및 CCU(5039)의 기능에 대해 보다 상세하게 설명한다. 도 53은 도 52에 나타내는 카메라 헤드(5005) 및 CCU(5039)의 기능 구성의 일례를 나타내는 블록도이다.
도 53을 참조하면, 카메라 헤드(5005)는, 그 기능으로서, 렌즈 유닛(5007)과, 촬상부(5009)와, 구동부(5011)와, 통신부(5013)와, 카메라 헤드 제어부(5015)를 갖는다. 또한, CCU(5039)는, 그 기능으로서, 통신부(5059)와, 화상 처리부(5061)와, 제어부(5063)를 갖는다. 카메라 헤드(5005)와 CCU(5039)는, 전송 케이블(5065)에 의해 쌍방향으로 통신 가능하도록 접속되어 있다.
우선, 카메라 헤드(5005)의 기능 구성에 대해 설명한다. 렌즈 유닛(5007)은, 경통(5003)과의 접속부에 설치되는 광학계이다. 경통(5003)의 선단으로부터 받아들여진 관찰광은, 카메라 헤드(5005)까지 도광되고, 해당 렌즈 유닛(5007)에 입사한다. 렌즈 유닛(5007)은, 줌 렌즈 및 포커스 렌즈를 포함하는 복수의 렌즈가 조합되어 구성된다. 렌즈 유닛(5007)은, 촬상부(5009)의 촬상 소자의 수광면 상에 관찰광을 집광하도록, 그 광학 특성이 조정되어 있다. 또한, 줌 렌즈 및 포커스 렌즈는, 촬상 화상의 배율 및 초점의 조정을 위해, 그 광축 상의 위치가 이동 가능하도록 구성된다.
촬상부(5009)는 촬상 소자에 의해 구성되고, 렌즈 유닛(5007)의 후단에 배치된다. 렌즈 유닛(5007)을 통과한 관찰광은, 해당 촬상 소자의 수광면에 집광되고, 광전 변환에 의해, 관찰상에 대응한 화상 신호가 생성된다. 촬상부(5009)에 의해 생성된 화상 신호는, 통신부(5013)에 제공된다.
촬상부(5009)를 구성하는 촬상 소자로는, 예를 들면 CMOS(Complementary　Metal　Oxide　Semiconductor) 타입의 이미지 센서로서, 베이어(Bayer) 배열을 갖는 컬러 촬영 가능한 것이 이용된다. 또한, 해당 촬상 소자로는, 예를 들면 4K 이상의 고해상도의 화상의 촬영에 대응 가능한 것이 이용되어도 된다. 시술부의 화상이 고해상도로 얻어짐으로써, 시술자(5067)는, 해당 시술부의 모습을 보다 상세하게 파악할 수 있고, 수술을 보다 원활히 진행하는 것이 가능해진다.
또한, 촬상부(5009)를 구성하는 촬상 소자는, 3D 표시에 대응하는 오른쪽 눈용 및 왼쪽 눈용의 화상 신호를 각각 취득하기 위한 1쌍의 촬상 소자를 갖도록 구성된다. 3D 표시가 행해짐으로써, 시술자(5067)는 시술부에 있어서의 생체 조직의 안쪽으로의 깊이를 보다 정확하게 파악하는 것이 가능하게 된다. 또한, 촬상부(5009)가 다판식으로 구성되는 경우에는, 각 촬상 소자에 대응하여, 렌즈 유닛(5007)도 복수 계통 설치된다.
또한, 촬상부(5009)는, 반드시 카메라 헤드(5005)에 설치되지 않아도 된다. 예를 들면, 촬상부(5009)는, 경통(5003)의 내부에, 대물 렌즈의 바로 뒤에 설치되어도 된다.
구동부(5011)는, 액추에이터에 의해 구성되고, 카메라 헤드 제어부(5015)로부터의 제어에 의해, 렌즈 유닛(5007)의 줌 렌즈 및 포커스 렌즈를 광축(J)을 따라 소정의 거리만큼 이동시킨다. 이에 의해, 촬상부(5009)에 의한 촬상 화상의 배율 및 초점이 적절히 조정될 수 있다.
통신부(5013)는, CCU(5039)와의 사이에 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(5013)는, 촬상부(5009)로부터 얻은 화상 신호를 RAW 데이터로서 전송 케이블(5065)을 통해 CCU(5039)에 송신한다. 이 때, 시술부의 촬상 화상을 낮은 레이턴시(latency)로 표시하기 위하여, 해당 화상 신호는 광통신에 의해 송신되는 것이 바람직하다. 수술 시에는, 시술자(5067)가 촬상 화상에 의해 환부의 상태를 관찰하면서 수술을 행하기 때문에, 보다 안전하고 확실한 수술을 위해, 시술부의 동화상이 가능한 한 리얼 타임으로 표시되는 것이 요구되기 때문이다. 광통신이 행해지는 경우에는, 통신부(5013)에는, 전기 신호를 광신호로 변환하는 광전 변환 모듈이 설치된다. 화상 신호는 해당 광전 변환 모듈에 의해 광신호로 변환된 후, 전송 케이블(5065)을 통해 CCU(5039)에 송신된다.
또한, 통신부(5013)는, CCU(5039)로부터, 카메라 헤드(5005)의 구동을 제어하기 위한 제어 신호를 수신한다. 해당 제어 신호에는, 예를 들면, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보, 촬상 시의 노출값을 지정하는 취지의 정보, 및/또는 촬상 화상의 배율 및 초점을 지정하는 취지의 정보 등, 촬상 조건에 관한 정보가 포함된다. 통신부(5013)는, 수신한 제어 신호를 카메라 헤드 제어부(5015)에 제공한다. 또한, CCU(5039)로부터의 제어 신호도, 광통신에 의해 전송되어도 된다. 이 경우, 통신부(5013)에는, 광신호를 전기 신호로 변환하는 광전 변환 모듈이 설치되고, 제어 신호는 해당 광전 변환 모듈에 의해 전기 신호로 변환된 후, 카메라 헤드 제어부(5015)에 제공된다.
또한, 상기의 프레임 레이트나 노출값, 배율, 초점 등의 촬상 조건은, 취득된 화상 신호에 기초하여 CCU(5039)의 제어부(5063)에 의해 자동적으로 설정된다. 즉, 이른바 AE(Auto　Exposure) 기능, AF(Auto　Focus) 기능, 및 AWB(Auto　White　Balance) 기능이 내시경(5001)에 탑재된다.
카메라 헤드 제어부(5015)는, 통신부(5013)를 통해 수신한 CCU(5039)로부터의 제어 신호에 기초하여, 카메라 헤드(5005)의 구동을 제어한다. 예를 들면, 카메라 헤드 제어부(5015)는, 촬상 화상의 프레임 레이트를 지정하는 취지의 정보 및/또는 촬상 시의 노광을 지정하는 취지의 정보에 기초하여, 촬상부(5009)의 촬상 소자의 구동을 제어한다. 또한, 예를 들면, 카메라 헤드 제어부(5015)는, 촬상 화상의 배율 및 초점을 지정하는 취지의 정보에 기초하여, 구동부(5011)를 거쳐 렌즈 유닛(5007)의 줌 렌즈 및 포커스 렌즈를 적절히 이동시킨다. 카메라 헤드 제어부(5015)는, 나아가, 경통(5003)이나 카메라 헤드(5005)를 식별하기 위한 정보를 기억하는 기능을 구비하여도 된다.
또한, 렌즈 유닛(5007)이나 촬상부(5009) 등의 구성을, 기밀성 및 방수성이 높은 밀폐 구조 내에 배치함으로써, 카메라 헤드(5005)에 대해, 오토클레이브 멸균 처리에 대한 내성을 갖게 할 수 있다.
다음으로, CCU(5039)의 기능 구성에 대해 설명한다. 통신부(5059)는, 카메라 헤드(5005)와의 사이에서 각종의 정보를 송수신하기 위한 통신 장치에 의해 구성된다. 통신부(5059)는, 카메라 헤드(5005)로부터, 전송 케이블(5065)을 통해 송신되는 화상 신호를 수신한다. 이 때, 상기와 같이, 해당 화상 신호는 매우 적절하게 광통신에 의해 송신될 수 있다. 이 경우, 광통신에 대응하여, 통신부(5059)에는, 광신호를 전기 신호로 변환하는 광전 변환 모듈이 설치된다. 통신부(5059)는, 전기 신호로 변환한 화상 신호를 화상 처리부(5061)에 제공한다.
또한, 통신부(5059)는, 카메라 헤드(5005)에 대해, 카메라 헤드(5005)의 구동을 제어하기 위한 제어 신호를 송신한다. 해당 제어 신호도 광통신에 의해 송신되어도 된다.
화상 처리부(5061)는, 카메라 헤드(5005)로부터 송신된 RAW 데이터인 화상 신호에 대해서 각종의 화상 처리를 행한다. 해당 화상 처리로서는, 예를 들면 현상 처리, 고화질화 처리(대역 강조 처리, 초해상 처리, NR(Noise　reduction) 처리 및/또는 손떨림 보정 처리 등), 및/또는 확대 처리(전자 줌 처리) 등, 각종의 공지의 신호 처리가 포함된다. 또한, 화상 처리부(5061)는, AE, AF 및 AWB를 행하기 위한, 화상 신호에 대한 검파 처리를 행한다.
화상 처리부(5061)는, CPU나 GPU 등의 프로세서에 의해 구성되고, 해당 프로세서가 소정의 프로그램에 따라 동작함으로써, 상술한 화상 처리나 검파 처리가 행해질 수 있다. 또한, 화상 처리부(5061)가 복수의 GPU에 의해 구성되는 경우에는, 화상 처리부(5061)는, 화상 신호에 관련되는 정보를 적절히 분할하고, 이들 복수의 GPU에 의해 병렬적으로 화상 처리를 행한다.
제어부(5063)는, 내시경(5001)에 의한 시술부의 촬상, 및 그 촬상 화상의 표시에 관한 각종의 제어를 행한다. 예를 들면, 제어부(5063)는, 카메라 헤드(5005)의 구동을 제어하기 위한 제어 신호를 생성한다. 이 때, 촬상 조건이 사용자에 의해 입력되어 있는 경우에는, 제어부(5063)는, 해당 사용자에 의한 입력에 기초하여 제어 신호를 생성한다. 또는, 내시경(5001)에 AE 기능, AF 기능 및 AWB 기능이 탑재되어 있는 경우에는, 제어부(5063)는, 화상 처리부(5061)에 의한 검파 처리의 결과에 따라, 최적인 노출값, 초점 거리 및 화이트 밸런스를 적절히 산출하고, 제어 신호를 생성한다.
또한, 제어부(5063)는, 화상 처리부(5061)에 의해 화상 처리가 행해진 화상 신호에 기초하여, 시술부의 화상을 표시 장치(5041)에 표시시킨다. 이 때, 제어부(5063)는, 각종의 화상 인식 기술을 이용하여 시술부 화상 내에 있어서의 각종의 물체를 인식한다. 예를 들면, 제어부(5063)는, 시술부 화상에 포함되는 물체의 에지의 형상이나 색 등을 검출함으로써, 겸자 등의 시술구, 특정한 생체 부위, 출혈, 에너지 처치구(5021) 사용 시의 미스트 등을 인식할 수 있다. 제어부(5063)는, 표시 장치(5041)에 시술부의 화상을 표시시킬 때에, 그 인식 결과를 이용하여, 각종의 수술 지원 정보를 해당 시술부의 화상에 중첩 표시시킨다. 수술 지원 정보가 중첩 표시되어, 시술자(5067)에 제시됨으로써, 보다 안전하고 또한 확실하게 수술을 진행시키는 것이 가능하게 된다.
카메라 헤드(5005) 및 CCU(5039)를 접속하는 전송 케이블(5065)은, 전기 신호의 통신에 대응한 전기 신호 케이블, 광통신에 대응한 광섬유, 또는 이들의 복합 케이블이다.
여기서, 도시하는 예에서는, 전송 케이블(5065)을 이용하여 유선으로 통신이 행해지고 있었지만, 카메라 헤드(5005)와 CCU(5039) 사이의 통신은 무선으로 행해져도 된다. 양자간의 통신이 무선으로 행해지는 경우에는, 전송 케이블(5065)을 수술실 내에 부설할 필요가 없어지기 때문에, 수술실 내에 있어서의 의료 스탭의 이동이 해당 전송 케이블(5065)에 의해 방해할 수 있는 사태가 해소될 수 있다.
이상, 본 개시에 관련되는 기술이 적용될 수 있는 내시경 수술 시스템(5000)의 일례에 대해 설명했다. 한편, 여기서는, 일례로서 내시경 수술 시스템(5000)에 대해 설명했지만, 본 개시에 관련되는 기술이 적용될 수 있는 시스템은 이러한 예에 한정되지 않는다. 예를 들면, 본 개시에 관련되는 기술은, 검사용 연성 내시경 시스템이나 현미경 수술 시스템에 적용되어도 된다.
본 개시에 관련되는 기술은, 이상 설명한 구성 중, 촬상부(5009)에 바람직하게 적용될 수 있다. 구체적으로는, 촬상부(5009)로서, 촬상 장치(100)(도 1)를 적용하도록 하여도 된다. 이와 같이, 촬상부(5009)에 본 개시에 관련되는 기술을 적용함으로써, 검출 화상(복원 화상)의 해상도를 제어할 수 있다.
따라서, 예를 들면, 수술 작업 중에는 전체 화소 모드 등에 의해 고해상도로 촬상을 행하고, 작업(수술)을 행하지 않고 있을 때에는, 솎음 모드나 에어리어 구동 모드에 의해 저해상도로 촬상을 행하도록 할 수 있다. 또한, 예를 들면, 평상시에는 솎음 모드나 에어리어 구동 모드에 의해 저해상도로 촬상을 행하고, 시술부에, 예를 들면 출혈 등의 불심이 검지된 경우, 전체 화소 모드로 전환하여 고해상도로 촬상을 행하도록 하여도 된다.
이와 같이, 상황이나 목적 등에 따라, 적절한 동작 모드에서 촬상을 행함으로써, 촬상의 부하 증대를 억제하면서, 복원 화상의 화질 저감을 억제할 수 있다. 따라서, 수술을 보다 안전하게 또한 보다 확실하게 하는 것이 가능해진다.
<현미경 수술 시스템>
또한, 본 개시에 관련되는 기술은, 예를 들면, 현미경 수술 시스템에 적용되어도 된다.
도 54는 본 개시에 관련되는 기술이 적용될 수 있는 현미경 수술 시스템(5300)의 개략적인 구성의 일례를 나타내는 도면이다. 도 54를 참조하면, 현미경 수술 시스템(5300)은, 현미경 장치(5301)와, 제어 장치(5317)와, 표시 장치(5319)로 구성된다. 또한, 이하의 현미경 수술 시스템(5300)에 대한 설명에 있어서, 「사용자」란, 시술자 및 조수 등, 현미경 수술 시스템(5300)을 사용하는 임의의 의료 스탭을 의미한다.
현미경 장치(5301)는, 관찰 대상(환자의 시술부)을 확대 관찰하기 위한 현미경부(5303)와, 현미경부(5303)를 선단에서 지지하는 암부(5309)와, 암부(5309)의 기단을 지지하는 베이스부(5315)를 갖는다.
현미경부(5303)는, 대략 원통 형상의 통 형상부(5305)와, 해당 통 형상부(5305)의 내부에 설치되는 촬상부(도시하지 않음)와, 통 형상부(5305)의 외주의 일부 영역에 설치되는 조작부(5307)로 구성된다. 현미경부(5303)는, 촬상부에 의해 전자적으로 촬상 화상을 촬상하는, 전자 촬상식의 현미경부(이른바, 비디오식의 현미경부)이다.
통 형상부(5305)의 하단의 개구면에는, 내부의 촬상부를 보호하는 커버 유리가 설치된다. 관찰 대상으로부터의 광(이하, 관찰광이라고도 함)은, 해당 커버 유리를 통과하여, 통 형상부(5305)의 내부의 촬상부에 입사한다. 또한, 통 형상부(5305)의 내부에는, 예를 들면 LED(Light Emitting Diode) 등으로 이루어지는 광원이 설치되어도 되고, 촬상시에는, 해당 커버 유리를 통해, 해당 광원으로부터 관찰 대상에 대해 광이 조사되어도 된다.
촬상부는, 관찰광을 집광하는 광학계와, 해당 광학계가 집광한 관찰광을 수광하는 촬상 소자로 구성된다. 해당 광학계는, 줌 렌즈 및 포커스 렌즈를 포함하는 복수의 렌즈가 조합되어 구성되고, 그 광학 특성은, 관찰광을 촬상 소자의 수광면 상에 결상하도록 조정되어 있다. 해당 촬상 소자는, 관찰광을 수광하여 광전 변환함으로써, 관찰광에 대응한 신호, 즉, 관찰상에 대응한 화상 신호를 생성한다. 해당 촬상 소자로서는, 예를 들면 Bayer 배열을 갖는 컬러 촬영 가능한 것이 사용된다. 해당 촬상 소자는, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 또는 CCD(Charge Coupled Device) 이미지 센서 등의, 각종의 공지된 촬상 소자여도 된다. 촬상 소자에 의해 생성된 화상 신호는, RAW 데이터로서 제어 장치(5317)에 송신된다. 여기서, 이 화상 신호의 송신은, 바람직하게 광통신에 의해 행해져도 된다. 수술 현장에서는, 시술자가 촬상 화상에 의해 환부의 상태를 관찰하면서 수술을 행하므로, 보다 안전하며 확실한 수술을 위해서는, 시술부의 동영상이 가능한 한 리얼 타임으로 표시되는 것이 요구되기 때문이다. 광통신으로 화상 신호가 송신됨으로써, 낮은 레이턴시로 촬상 화상을 표시하는 것이 가능해진다.
또한, 촬상부는, 그 광학계의 줌 렌즈 및 포커스 렌즈를 광축을 따라 이동시키는 구동 기구를 가져도 된다. 해당 구동 기구에 의해 줌 렌즈 및 포커스 렌즈가 적절히 이동됨으로써, 촬상 화상의 확대 배율 및 촬상시의 초점거리가 조정될 수 있다. 또한, 촬상부에는, AE(Auto Exposure) 기능이나 AF(Auto Focus) 기능 등, 일반적으로 전자 촬상식의 현미경부에 구비될 수 있는 각종의 기능이 탑재되어도 된다.
또한, 촬상부는, 1개의 촬상 소자를 갖는 이른바 단판식의 촬상부로서 구성되어도 되고, 복수의 촬상 소자를 가지는 이른바 다판식의 촬상부로서 구성되어도 된다. 촬상부가 다판식으로 구성되는 경우에는, 예를 들면 각 촬상 소자에 의해 RGB 각각에 대응하는 화상 신호가 생성되고, 그들이 합성됨으로써 컬러 화상이 얻어져도 된다. 또는, 해당 촬상부는, 입체시(3D 표시)에 대응하는 오른쪽 눈용 및 왼쪽 눈용의 화상 신호를 각각 취득하기 위한 1쌍의 촬상 소자를 갖도록 구성되어도 된다. 3D 표시가 행해짐으로써, 시술자는 시술부에 있어서의 생체 조직의 깊이를 보다 정확하게 파악하는 것이 가능해진다. 또한, 해당 촬상부가 다판식으로 구성되는 경우에는, 각 촬상 소자에 대응하여, 광학계도 복수 계통이 마련될 수 있다.
조작부(5307)는, 예를 들면, 십자(十字) 레버 또는 스위치 등에 의해 구성되며, 사용자의 조작 입력을 접수하는 입력 수단이다. 예를 들면, 사용자는, 조작부(5307)를 통해, 관찰상의 확대 배율 및 관찰 대상까지의 초점거리를 변경하는 취지의 지시를 입력할 수 있다. 해당 지시에 따라 촬상부의 구동 기구가 줌 렌즈 및 포커스 렌즈를 적절히 이동시킴으로써, 확대 배율 및 초점거리가 조정될 수 있다. 또한, 예를 들면, 사용자는, 조작부(5307)를 통해, 암부(5309)의 동작 모드(후술하는 올-프리 모드(all-free mode) 및 고정 모드)를 전환하는 취지의 지시를 입력할 수 있다. 또한, 사용자가 현미경부(5303)를 이동시키려고 하는 경우에는, 해당 사용자는 통 형상부(5305)를 쥐듯이 파지한 상태로 해당 현미경부(5303)를 이동시키는 양태가 상정된다. 따라서, 조작부(5307)는, 사용자가 통 형상부(5305)를 이동시키고 있는 동안에도 조작 가능하도록, 사용자가 통 형상부(5305)를 쥔 상태로 손가락으로 용이하게 조작하기 쉬운 위치에 설치되는 것이 바람직하다.
암부(5309)는, 복수의 링크(제1 링크(5313a) 내지 제6 링크(5313f))가, 복수의 관절부(제1 관절부(5311a) 내지 제6 관절부(5311f))에 의해 서로 회동 가능하게 연결됨으로써 구성된다.
제1 관절부(5311a)는, 대략 원기둥 형상을 가지며, 그 선단(하단)에서, 현미경부(5303)의 통 형상부(5305)의 상단을, 해당 통 형상부(5305)의 중심축과 평행한 회전축(제1 축(O1)) 주위로 회동 가능하게 지지한다. 여기서, 제1 관절부(5311a)는, 제1 축(O1)이 현미경부(5303)의 촬상부의 광축과 일치하도록 구성될 수 있다. 이에 의해, 제1 축(O1) 주위로 현미경부(5303)를 회동시킴으로써, 촬상 화상을 회전시키도록 시야를 변경하는 것이 가능해진다.
제1 링크(5313a)는, 선단에서 제1 관절부(5311a)를 고정적으로 지지한다. 구체적으로, 제1 링크(5313a)는 대략 L자 형상을 갖는 봉 형상의 부재이며, 그 선단측의 일변이 제1 축(O1)과 직교하는 방향으로 연장하면서, 해당 일변의 단부가 제1 관절부(5311a)의 외주의 상단부에 접촉하도록, 제1 관절부(5311a)에 접속된다. 제1 링크(5313a)의 대략 L자 형상의 기단측의 타변의 단부에 제2 관절부(5311b)가 접속된다.
제2 관절부(5311b)는, 대략 원기둥 형상을 가지며, 그 선단에서, 제1 링크(5313a)의 기단을, 제1축(O1)과 직교하는 회전축(제2 축(O2)) 주위로 회동 가능하게 지지한다. 제2 관절부(5311b)의 기단에는, 제2 링크(5313b)의 선단이 고정적으로 접속된다.
제2 링크(5313b)는, 대략 L자 형상을 갖는 봉 형상의 부재이며, 그 선단측의 일변이 제2 축(O2)과 직교하는 방향으로 연장하면서, 해당 일변의 단부가 제2 관절부(5311b)의 기단에 고정적으로 접속된다. 제2 링크(5313b)의 대략 L자 형상의 기단측의 타변에는, 제3 관절부(5311c)가 접속된다.
제3 관절부(5311c)는, 대략 원기둥 형상을 가지며, 그 선단에서, 제2 링크(5313b)의 기단을, 제1 축(O1) 및 제2 축(O2)과 서로 직교하는 회전축(제3 축(O3)) 주위로 회동 가능하게 지지한다. 제3 관절부(5311c)의 기단에는, 제3 링크(5313c)의 선단이 고정적으로 접속된다. 제2 축(O2) 및 제3 축(O3) 주위로 현미경부(5303)를 포함하는 선단측의 구성을 회동시킴으로써, 수평면 내에서의 현미경부(5303)의 위치를 변경하도록, 해당 현미경부(5303)를 이동시킬 수 있다. 즉, 제2 축(O2) 및 제3 축(O3) 주위의 회전을 제어함으로써, 촬상 화상의 시야를 평면 내에서 이동시키는 것이 가능해진다.
제3 링크(5313c)는, 그 선단측이 대략 원기둥 형상을 갖도록 구성되어 있고, 해당 원기둥 형상의 선단에, 제3 관절부(5311c)의 기단이, 양자가 대략 동일 중심축을 갖도록, 고정적으로 접속된다. 제3 링크(5313c)의 기단측은 각기둥 형상을 가지며, 그 단부에 제4 관절부(5311d)가 접속된다.
제4 관절부(5311d)는, 대략 원기둥 형상을 가지며, 그 선단에서, 제3 링크(5313c)의 기단을, 제3 축(O3)과 직교하는 회전축(제4 축(O4)) 주위로 회동 가능하게 지지한다. 제4 관절부(5311d)의 기단에는, 제4 링크(5313d)의 선단이 고정적으로 접속된다.
제4 링크(5313d)는, 대략 직선상으로 연장하는 봉 형상의 부재이며, 제4 축(O4)과 직교하도록 연장하면서, 그 선단의 단부가 제4 관절부(5311d)의 대략 원기둥 형상의 측면에 접촉하도록, 제4 관절부(5311d)에 고정적으로 접속된다. 제4 링크(5313d)의 기단에는, 제5 관절부(5311e)가 접속된다.
제5 관절부(5311e)는, 대략 원기둥 형상을 가지며, 그 선단측에서, 제4 링크(5313d)의 기단을, 제4 축(O4)과 평행한 회전축(제5 축(O5)) 주위로 회동 가능하게 지지한다. 제5 관절부(5311e)의 기단에는, 제5 링크(5313e)의 선단이 고정적으로 접속된다. 제4 축(O4) 및 제5 축(O5)은, 현미경부(5303)를 상하 방향으로 이동시킬 수 있는 회전축이다. 제4 축(O4) 및 제5 축(O5) 주위로 현미경부(5303)를 포함하는 선단측의 구성을 회동시킴으로써, 현미경부(5303)의 높이, 즉, 현미경부(5303)와 관찰 대상의 거리를 조정할 수 있다.
제5 링크(5313e)는, 일변이 연직 방향으로 연장함과 함께 타변이 수평 방향으로 연장하는 대략 L자 형상을 갖는 제1 부재와, 해당 제1 부재의 수평 방향으로 연장하는 부위로부터 연직 하향으로 연장하는 봉 형상의 제2 부재가 조합되어 구성된다. 제5 링크(5313e)의 제1 부재의 연직 방향으로 연장하는 부위의 상단 근방에, 제5 관절부(5311e)의 기단이 고정적으로 접속된다. 제5 링크(5313e)의 제2 부재의 기단(하단)에는, 제6 관절부(5311f)가 접속된다.
제6 관절부(5311f)는, 대략 원기둥 형상을 가지며, 그 선단측에서, 제5 링크(5313e)의 기단을, 연직 방향과 평행한 회전축(제6 축(O6)) 주위로 회동 가능하게 지지한다. 제6 관절부(5311f)의 기단에는, 제6 링크(5313f)의 선단이 고정적으로 접속된다.
제6 링크(5313f)는 연직 방향으로 연장하는 봉 형상의 부재이며, 그 기단은 베이스부(5315)의 상면에 고정적으로 접속된다.
제1 관절부(5311a) 내지 제6 관절부(5311f)의 회전 가능 범위는, 현미경부(5303)의 원하는 움직임이 가능하도록 적절히 설정되어 있다. 이에 의해, 이상 설명한 구성을 갖는 암부(5309)에 있어서는, 현미경부(5303)의 움직임에 관해, 병진 3자유도 및 회전 3자유도의 합계 6자유도의 움직임이 실현될 수 있다. 이와 같이, 현미경부(5303)의 움직임에 관해 6자유도가 실현되도록 암부(5309)를 구성함으로써, 암부(5309)의 가동 범위 내에서 현미경부(5303)의 위치 및 자세를 자유롭게 제어하는 것이 가능해진다. 따라서, 모든 각도로부터 시술부를 관찰하는 것이 가능해지고, 수술을 보다 원활하게 실행할 수 있다.
또한, 도시하는 암부(5309)의 구성은 어디까지나 일례이며, 암부(5309)를 구성하는 링크의 수 및 형상(길이), 및 관절부의 수, 배치 위치 및 회전축의 방향 등은, 원하는 자유도가 실현될 수 있도록 적절히 설계되어도 된다. 예를 들면, 상술한 바와 같이, 현미경부(5303)를 자유롭게 움직이기 위해서는, 암부(5309)는 6자유도를 갖도록 구성되는 것이 바람직하지만, 암부(5309)는 보다 큰 자유도(즉, 과잉의 자유도)를 갖도록 구성되어도 된다. 과잉의 자유도가 존재하는 경우에는, 암부(5309)에 있어서는, 현미경부(5303)의 위치 및 자세가 고정된 상태로, 암부(5309)의 자세를 변경하는 것이 가능해진다. 따라서, 예를 들면, 표시 장치(5319)를 보는 시술자의 시계(視界)에 암부(5309)가 간섭하지 않도록 해당 암부(5309)의 자세를 제어하는 등, 시술자에게는 보다 편리성이 높은 제어가 실현될 수 있다.
여기서, 제1 관절부(5311a) 내지 제6 관절부(5311f)에는, 모터 등의 구동 기구 및 각 관절부에 있어서의 회전 각도를 검출하는 인코더 등이 탑재된 액추에이터가 설치될 수 있다. 그리고, 제1 관절부(5311a) 내지 제6 관절부(5311f)에 설치되는 각 액추에이터의 구동이 제어 장치(5317)에 의해 적절히 제어됨으로써, 암부(5309)의 자세, 즉, 현미경부(5303)의 위치 및 자세가 제어될 수 있다. 구체적으로는, 제어 장치(5317)는, 인코더에 의해 검출된 각 관절부의 회전 각도에 대한 정보에 기초하여, 암부(5309)의 현재의 자세, 및 현미경부(5303)의 현재의 위치 및 자세를 파악할 수 있다. 제어 장치(5317)는, 파악한 이들 정보를 이용하여, 사용자로부터의 조작 입력에 따른 현미경부(5303)의 이동을 실현하는 각 관절부에 대한 제어값(예를 들면, 회전 각도 또는 발생 토크 등)을 산출하고, 해당 제어 값에 따라 각 관절부의 구동 기구를 구동시킨다. 또한, 이 때, 제어 장치(5317)에 의한 암부(5309)의 제어 방식은 한정되지 않고, 힘 제어 또는 위치 제어 등의 각종의 공지된 제어 방식이 적용되어도 된다.
예를 들면, 시술자가, 도시하지 않는 입력 장치를 통해 적절히 조작 입력을 행함으로써, 해당 조작 입력에 따라 제어 장치(5317)에 의해 암부(5309)의 구동이 적절히 제어되고, 현미경부(5303)의 위치 및 자세가 제어되어도 된다. 해당 제어에 의해, 현미경부(5303)를 임의의 위치로부터 임의의 위치까지 이동시킨 후, 그 이동 후의 위치에서 고정적으로 지지할 수 있다. 또한, 해당 입력 장치로서는, 시술자의 편리성을 고려하여, 예를 들면 풋 스위치 등, 시술자가 손에 시술구를 가지고 있어도 조작 가능한 것이 적용되는 것이 바람직하다. 또한, 웨어러블 디바이스나 수술실 내에 설치되는 카메라를 이용한 제스처 검출이나 시선 검출에 기초하여, 비접촉으로 조작 입력이 행해져도 된다. 이에 의해, 청결한 쪽에 속하는 사용자라도, 깨끗하지 않은 쪽에 속하는 기기를 보다 자유도 높게 조작하는 것이 가능해진다. 또는, 암부(5309)는, 이른바 마스터 슬레이브 방식으로 조작되어도 된다. 이 경우, 암부(5309)는, 수술실로부터 떨어진 장소에 설치되는 입력 장치를 통해 사용자에 의해 원격 조작될 수 있다.
또한, 힘 제어가 적용되는 경우에는, 사용자로부터의 외력을 받아, 그 외력에 따라 부드럽게 암부(5309)가 이동하도록 제1 관절부(5311a) 내지 제6 관절부(5311f)의 액추에이터가 구동되는, 이른바 파워 어시스트 제어가 행해져도 된다. 이에 의해, 사용자가, 현미경부(5303)를 파지하여 직접 그 위치를 이동시키려고 할 때에, 비교적 가벼운 힘으로 현미경부(5303)를 이동시킬 수 있다. 따라서, 보다 직관적으로, 보다 간이한 조작으로 현미경부(5303)를 이동시키는 것이 가능해지고, 사용자의 편리성을 향상시킬 수 있다.
또한, 암부(5309)는, 피봇 동작을 하도록 그 구동이 제어되어도 된다. 여기서, 피봇 동작이란, 현미경부(5303)의 광축이 공간 상의 소정의 점(이하, 피봇 점이라고 함)을 항상 향하도록, 현미경부(5303)를 이동시키는 동작이다. 피봇 동작에 의하면, 동일한 관찰 위치를 다양한 방향으로부터 관찰하는 것이 가능해지기 때문에, 보다 상세한 환부의 관찰이 가능해진다. 또한, 현미경부(5303)가, 그 초점거리를 조정 불가능하게 구성되는 경우에는, 현미경부(5303)와 피봇 점의 거리가 고정된 상태로 피봇 동작이 행해지는 것이 바람직하다. 이 경우에는, 현미경부(5303)와 피봇 점의 거리를, 현미경부(5303)의 고정적인 초점거리로 조정해 두면 된다. 이에 의해, 현미경부(5303)는, 피봇 점을 중심으로 하는 초점거리에 대응하는 반경을 갖는 반구면(도 54에 개략적으로 도시함) 상을 이동하게 되고, 관찰 방향을 변경해도 선명한 촬상 화상이 얻어지게 된다. 한편, 현미경부(5303)가, 그 초점거리를 조정 가능하게 구성되는 경우에는, 현미경부(5303)와 피봇 점의 거리가 가변인 상태로 피봇 동작이 행해져도 된다. 이 경우에는, 예를 들면, 제어 장치(5317)는, 인코더에 의해 검출된 각 관절부의 회전 각도에 대한 정보에 기초하여, 현미경부(5303)와 피봇 점의 거리를 산출하고, 그 산출 결과에 기초하여 현미경부(5303)의 초점거리를 자동으로 조정해도 된다. 또는, 현미경부(5303)에 AF 기능이 마련되는 경우라면, 피봇 동작에 의해 현미경부(5303)와 피봇 점의 거리가 변화할 때마다, 해당 AF 기능에 의해 자동으로 초점거리의 조정이 행해져도 된다.
또한, 제1 관절부(5311a) 내지 제6 관절부(5311f)에는, 그 회전을 구속하는 브레이크가 마련되어도 된다. 해당 브레이크의 동작은, 제어 장치(5317)에 의해 제어될 수 있다. 예를 들면, 현미경부(5303)의 위치 및 자세를 고정하고 싶은 경우에는, 제어 장치(5317)는 각 관절부의 브레이크를 작동시킨다. 이에 의해, 액추에이터를 구동시키지 않아도 암부(5309)의 자세, 즉, 현미경부(5303)의 위치 및 자세가 고정될 수 있기 때문에, 소비 전력을 저감할 수 있다. 현미경부(5303)의 위치 및 자세를 이동시키고 싶은 경우에는, 제어 장치(5317)는, 각 관절부의 브레이크를 해제하고, 소정의 제어 방식에 따라 액추에이터를 구동시키면 된다.
이러한 브레이크의 동작은, 상술한 조작부(5307)를 통한 사용자에 의한 조작 입력에 따라 행해질 수 있다. 사용자는, 현미경부(5303)의 위치 및 자세를 이동시키고 싶은 경우에는, 조작부(5307)를 조작하여, 각 관절부의 브레이크를 해제시킨다. 이에 의해, 암부(5309)의 동작 모드가, 각 관절부에 있어서의 회전을 자유롭게 행할 수 있는 모드(올-프리 모드)로 이행한다. 또한, 사용자는, 현미경부(5303)의 위치 및 자세를 고정하고 싶은 경우에는, 조작부(5307)를 조작하여, 각 관절부의 브레이크를 작동시킨다. 이에 의해, 암부(5309)의 동작 모드가, 각 관절부에 있어서의 회전이 구속된 모드(고정 모드)로 이행한다.
제어 장치(5317)는, 현미경 장치(5301) 및 표시 장치(5319)의 동작을 제어함으로써, 현미경 수술 시스템(5300)의 동작을 통괄적으로 제어한다. 예를 들면, 제어 장치(5317)는, 소정의 제어 방식에 따라 제1 관절부(5311a) 내지 제6 관절부(5311f)의 액추에이터를 동작시킴으로써, 암부(5309)의 구동을 제어한다. 또한, 예를 들면, 제어 장치(5317)는, 제1 관절부(5311a) 내지 제6 관절부(5311f)의 브레이크의 동작을 제어함으로써, 암부(5309)의 동작 모드를 변경한다. 또한, 예를 들면, 제어 장치(5317)는, 현미경 장치(5301)의 현미경부(5303)의 촬상부에 의해 취득된 화상 신호에 각종의 신호 처리를 실시함으로써, 표시용의 화상 데이터를 생성함과 함께, 해당 화상 데이터를 표시 장치(5319)에 표시시킨다. 해당 신호 처리에서는, 예를 들면, 동시화 처리나 색분리 처리 등(예를 들면, 디모자이크 처리 등), 고화질화 처리(대역 강조 처리, 초해상 처리, NR(Noise reduction) 처리 및/또는 손떨림 보정 처리 등) 및/또는 확대 처리(즉, 전자 줌 처리) 등, 각종의 공지된 신호 처리가 행해져도 된다.
또한, 제어 장치(5317)와 현미경부(5303)의 통신, 및 제어 장치(5317)와 제1 관절부(5311a) 내지 제6 관절부(5311f)의 통신은, 유선 통신이어도 되고 무선 통신이어도 된다. 유선 통신의 경우에는, 전기 신호에 의한 통신이 행해져도 되고, 광통신이 행해져도 된다. 이 경우, 유선 통신에 이용되는 전송용 케이블은, 그 통신 방식에 따라 전기 신호 케이블, 광섬유, 또는 이들의 복합 케이블로서 구성될 수 있다. 한편, 무선 통신의 경우에는, 수술실 내에 전송 케이블을 부설할 필요가 없어지기 때문에, 해당 전송 케이블에 의해 의료 스탭의 수술실 내의 이동이 방해되는 사태가 해소될 수 있다.
제어 장치(5317)는, CPU(Central Processing Unit), GPU(Graphics Processing Unit) 등의 프로세서, 또는 프로세서와 메모리 등의 기억 소자가 혼재된 마이크로컴퓨터 또는 제어 기판 등일 수 있다. 제어 장치(5317)의 프로세서가 소정의 프로그램에 따라 동작함으로써, 상술한 각종의 기능이 실현될 수 있다. 또한, 도시하는 예에서는, 제어 장치(5317)는, 현미경 장치(5301)와 별개의 장치로서 설치되어 있지만, 제어 장치(5317)는, 현미경 장치(5301)의 베이스부(5315)의 내부에 설치되어, 현미경 장치(5301)와 일체적으로 구성되어도 된다. 또는, 제어 장치(5317)는, 복수의 장치에 의해 구성되어도 된다. 예를 들면, 현미경부(5303)나, 암부(5309)의 제1 관절부(5311a) 내지 제6 관절부(5311f)에 각각 마이크로컴퓨터나 제어 기판 등이 배치되고, 이들이 서로 통신 가능하게 접속됨으로써, 제어 장치(5317)와 같은 기능이 실현되어도 된다.
표시 장치(5319)는, 수술실 내에 설치되고, 제어 장치(5317)로부터의 제어에 의해, 해당 제어 장치(5317)에 의해 생성된 화상 데이터에 대응하는 화상을 표시한다. 즉, 표시 장치(5319)에는, 현미경부(5303)에 의해 촬영된 시술부의 화상이 표시된다. 또한, 표시 장치(5319)는, 시술부의 화상 대신에, 또는 시술부의 화상과 함께, 예를 들면 환자의 신체 정보나 수술의 시술방식에 대한 정보 등, 수술에 관한 각종의 정보를 표시해도 된다. 이 경우, 표시 장치(5319)의 표시는, 사용자에 의한 조작에 의해 적절히 전환되어도 된다. 또는, 표시 장치(5319)는 복수 설치되어도 되고, 복수의 표시 장치(5319)의 각각에, 시술부의 화상이나 수술에 관한 각종의 정보가, 각각 표시되어도 된다. 또한, 표시 장치(5319)로서는, 액정 디스플레이 장치 또는 EL(Electro Luminescence) 디스플레이 장치 등의, 각종의 공지된 표시 장치가 적용되어도 된다.
도 55는, 도 54에 나타내는 현미경 수술 시스템(5300)을 이용한 수술의 모습을 나타내는 도면이다. 도 55에서는, 시술자(5321)가, 현미경 수술 시스템(5300)을 이용하여, 환자 침대(5323) 상의 환자(5325)에 대해 수술을 행하고 있는 모습을 개략적으로 나타내고 있다. 또한, 도 55에서는, 간단하게 나타내기 위해, 현미경 수술 시스템(5300)의 구성 중 제어 장치(5317)의 도시를 생략함과 함께, 현미경 장치(5301)를 간략화하여 도시하고 있다.
도 55에 나타내는 바와 같이, 수술시에는, 현미경 수술 시스템(5300)을 이용하여, 현미경 장치(5301)에 의해 촬영된 시술부의 화상이, 수술실의 벽면에 설치되는 표시 장치(5319)에 확대 표시된다. 표시 장치(5319)는, 시술자(5321)와 대향하는 위치에 설치되어 있고, 시술자(5321)는, 표시 장치(5319)에 비추어진 영상에 의해 시술부의 모습을 관찰하면서, 예를 들면 환부의 절제 등, 해당 시술부에 대해 각종의 처치를 행한다.
이상, 본 개시에 관련되는 기술이 적용될 수 있는 현미경 수술 시스템(5300)의 일례에 대해 설명했다. 또한, 여기서는, 일례로서 현미경 수술 시스템(5300)에 대해 설명했지만, 본 개시에 관련되는 기술이 적용될 수 있는 시스템은 이러한 예에 한정되지 않는다. 예를 들면, 현미경 장치(5301)는, 그 선단에 현미경부(5303) 대신에 다른 관찰 장치나 다른 시술구를 지지하는, 지지 암 장치로서도 기능할 수 있다. 해당 다른 관찰 장치로서는, 예를 들면, 내시경이 적용될 수 있다. 또한, 해당 다른 시술구로서는, 겸자, 섭자, 기복을 위한 기복 튜브, 또는 소작에 의해 조직의 절개나 혈관의 봉지를 행하는 에너지 처치구 등이 적용될 수 있다. 이들 관찰 장치나 시술구를 지지 암 장치에 의해 지지함으로써, 의료 스탭이 사람의 손으로 지지하는 경우에 비해, 보다 안정적으로 위치를 고정하는 것이 가능해짐과 함께, 의료 스탭의 부담을 경감하는 것이 가능해진다. 본 개시에 관련되는 기술은, 이러한 현미경부 이외의 구성을 지지하는 지지 암 장치에 적용되어도 된다.
본 개시에 관련되는 기술은, 이상 설명한 구성 중, 현미경부(5303)의 촬상부에 바람직하게 적용될 수 있다. 구체적으로는, 현미경부(5303)의 촬상부로서, 도 1의 촬상 장치(100)를 적용하도록 하여도 된다. 이와 같이, 현미경부(5303)의 촬상부에 본 개시에 관련되는 기술을 적용함으로써, 검출 화상(복원 화상)의 해상도를 제어할 수 있다.
따라서, 예를 들면, 수술 작업 중에는 전체 화소 모드 등에 의해 고해상도로 촬상을 행하고, 작업(수술)을 행하고 있지 않을 때에는, 솎음 모드나 에어리어 구동 모드에 의해 저해상도로 촬상을 행하도록 할 수 있다. 또한, 예를 들면, 평상시에는 솎음 모드나 에어리어 구동 모드에 의해 저해상도로 촬상을 행하고, 시술부에 예를 들면 출혈 등의 불심이 검지된 경우, 전체 화소 모드로 전환하여 고해상도로 촬상을 행하도록 하여도 된다.
이와 같이, 상황이나 목적 등에 따라, 적절한 동작 모드에서 촬상을 행함으로써, 촬상의 부하 증대를 억제하면서, 복원 화상의 화질 저감을 억제할 수 있다. 따라서, 수술을 보다 안전하게 또한 보다 확실하게 행하는 것이 가능해진다.
<체내 정보 취득 장치(캡슐 내시경)>
또한, 본 개시에 관련되는 기술은, 예를 들면, 캡슐형 내시경을 이용한 환자의 체내 정보 취득 시스템에 적용되어도 된다.
도 56은 본 개시에 관련되는 기술이 적용될 수 있는 체내 정보 취득 시스템(5400)의 개략적인 구성의 일례를 나타내는 도면이다. 도 56을 참조하면, 체내 정보 취득 시스템(5400)은, 캡슐형 내시경(5401)과, 체내 정보 취득 시스템(5400)의 동작을 통괄적으로 제어하는 외부 제어 장치(5423)로 구성된다. 검사 시에는, 캡슐형 내시경(5401)이 환자에 의해 삼켜진다. 캡슐형 내시경(5401)은, 촬상 기능 및 무선 통신 기능을 가지며, 환자로부터 자연 배출될 때까지의 동안, 위나 장 등의 장기 내부를 연동 운동 등에 의해 이동하면서, 해당 장기 내부의 화상(이하, 체내 화상이라고도 함)을 소정의 간격으로 순차 촬상하고, 그 체내 화상에 대한 정보를 체외의 외부 제어 장치(5423)에 순차 무선 송신한다. 외부 제어 장치(5423)는, 수신한 체내 화상에 대한 정보에 기초하여, 표시 장치(도시하지 않음)에 해당 체내 화상을 표시하기 위한 화상 데이터를 생성한다. 체내 정보 취득 시스템(5400)에서는, 이와 같이 하여, 캡슐형 내시경(5401)이 삼켜지고 나서 배출될 때까지의 동안, 환자의 체내의 모습을 촬상한 화상을 수시로 얻을 수 있다.
캡슐형 내시경(5401)과 외부 제어 장치(5423)의 구성 및 기능에 대해 보다 상세하게 설명한다. 도시하는 바와 같이, 캡슐형 내시경(5401)은, 캡슐형의 케이스(5403) 내에, 광원부(5405), 촬상부(5407), 화상 처리부(5409), 무선 통신부(5411), 급전부(5415), 전원부(5417), 상태 검출부(5419) 및 제어부(5421)의 기능이 탑재되어 구성된다.
광원부(5405)는, 예를 들면 LED(light emitting diode) 등의 광원으로 구성되고, 촬상부(5407)의 촬상 시야에 대해 광을 조사한다.
촬상부(5407)는, 촬상 소자, 및 해당 촬상 소자의 전단에 설치되는 복수의 렌즈로 이루어지는 광학계로 구성된다. 관찰 대상인 체조직에 조사된 광의 반사광(이하, 관찰광이라고 함)은, 해당 광학계에 의해 집광되어, 해당 촬상 소자에 입사한다. 해당 촬상 소자는, 관찰광을 수광하여 광전 변환함으로써, 관찰광에 대응한 전기 신호, 즉, 관찰상에 대응한 화상 신호를 생성한다. 촬상부(5407)에 의해 생성된 화상 신호는, 화상 처리부(5409)에 제공된다. 또한, 촬상부(5407)의 촬상 소자로서는, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 또는 CCD(Charge Coupled Device) 이미지 센서 등, 각종의 공지된 촬상 소자가 사용되어도 된다.
화상 처리부(5409)는, CPU(Central Processing Unit)나 GPU(Graphics Processing Unit) 등의 프로세서에 의해 구성되고, 촬상부(5407)에 의해 생성된 화상 신호에 대해 각종의 신호 처리를 행한다. 해당 신호 처리는, 화상 신호를 외부 제어 장치(5423)에 전송하기 위한 최소한의 처리(예를 들면, 화상 데이터의 압축, 프레임 레이트의 변환, 데이터 레이트의 변환 및/또는 포맷의 변환 등)여도 된다. 화상 처리부(5409)가 필요 최소한의 처리만을 행하도록 구성됨으로써, 해당 화상 처리부(5409)를, 보다 소형, 보다 저소비 전력으로 실현할 수 있기 때문에, 캡슐형 내시경(5401)에 바람직하다. 단, 케이스(5403) 내의 스페이스나 소비 전력에 여유가 있는 경우라면, 화상 처리부(5409)에 있어서, 보다 더 신호 처리(예를 들면, 노이즈 제거 처리나 다른 고화질화 처리 등)가 행해져도 된다. 화상 처리부(5409)는, 신호 처리를 실시한 화상 신호를, RAW 데이터로서 무선 통신부(5411)에 제공한다. 또한, 화상 처리부(5409)는, 상태 검출부(5419)에 의해 캡슐형 내시경(5401)의 상태(움직임이나 자세 등)에 관한 정보가 취득되어 있는 경우에는, 해당 정보와 관련지어, 화상 신호를 무선 통신부(5411)에 제공해도 된다. 이에 의해, 화상이 촬상된 체내에 있어서의 위치나 화상의 촬상 방향 등과, 촬상 화상을 연관시킬 수 있다.
무선 통신부(5411)는, 외부 제어 장치(5423)와의 사이에서 각종의 정보를 송수신 가능한 통신 장치에 의해 구성된다. 해당 통신 장치는, 안테나(5413)와, 신호의 송수신을 위한 변조 처리 등을 행하는 처리 회로 등으로 구성된다. 무선 통신부(5411)는, 화상 처리부(5409)에 의해 신호 처리가 실시된 화상 신호에 대해 변조 처리 등의 소정의 처리를 행하고, 그 화상 신호를, 안테나(5413)를 통해 외부 제어 장치(5423)에 송신한다. 또한, 무선 통신부(5411)는, 외부 제어 장치(5423)로부터, 캡슐형 내시경(5401)의 구동 제어에 관한 제어 신호를, 안테나(5413)를 통해 수신한다. 무선 통신부(5411)는, 수신한 제어 신호를 제어부(5421)에 제공한다.
급전부(5415)는, 수전용의 안테나 코일, 해당 안테나 코일에 발생한 전류로부터 전력을 재생하는 전력 재생 회로, 및 승압 회로 등으로 구성된다. 급전부(5415)에서는, 이른바 비접촉 충전의 원리를 이용하여 전력이 생성된다. 구체적으로는, 급전부(5415)의 안테나 코일에 대해 외부로부터 소정의 주파수의 자계(전자파)가 주어짐으로써, 해당 안테나 코일에 유도 기전력이 발생한다. 해당 전자파는, 예를 들면 외부 제어 장치(5423)로부터 안테나(5425)를 통해 송신되는 반송파여도 된다. 해당 유도 기전력으로부터 전력 재생 회로에 의해 전력이 재생되고, 승압 회로에서 그 전위가 적절히 조정됨으로써, 축전용의 전력이 생성된다. 급전부(5415)에 의해 생성된 전력은, 전원부(5417)에 축전된다.
전원부(5417)는 이차 전지에 의해 구성되고, 급전부(5415)에 의해 생성된 전력을 축전한다. 도 56에서는, 도면이 번잡해지는 것을 피하기 위해, 전원부(5417)로부터의 전력의 공급처를 나타내는 화살표 등의 도시를 생략하고 있지만, 전원부(5417)에 축전된 전력은, 광원부(5405), 촬상부(5407), 화상 처리부(5409), 무선 통신부(5411), 상태 검출부(5419) 및 제어부(5421)에 공급되고, 이들의 구동에 사용될 수 있다.
상태 검출부(5419)는, 가속도 센서 및/또는 자이로센서 등의, 캡슐형 내시경(5401)의 상태를 검출하기 위한 센서로 구성된다. 상태 검출부(5419)는, 해당 센서에 의한 검출 결과로부터, 캡슐형 내시경(5401)의 상태에 대한 정보를 취득할 수 있다. 상태 검출부(5419)는, 취득한 캡슐형 내시경(5401)의 상태에 대한 정보를, 화상 처리부(5409)에 제공한다. 화상 처리부(5409)에서는, 상술한 바와 같이, 해당 캡슐형 내시경(5401)의 상태에 대한 정보가, 화상 신호와 관련지어질 수 있다.
제어부(5421)는, CPU 등의 프로세서에 의해 구성되고, 소정의 프로그램에 따라 동작함으로써 캡슐형 내시경(5401)의 동작을 통괄적으로 제어한다. 제어부(5421)는, 광원부(5405), 촬상부(5407), 화상 처리부(5409), 무선 통신부(5411), 급전부(5415), 전원부(5417) 및 상태 검출부(5419)의 구동을, 외부 제어 장치(5423)로부터 송신되는 제어 신호에 따라 적절히 제어함으로써, 이상 설명한 바와 같은 각 부에 있어서의 기능을 실현시킨다.
외부 제어 장치(5423)는, CPU, GPU 등의 프로세서, 또는 프로세서와 메모리 등의 기억 소자가 혼재된 마이크로컴퓨터 또는 제어 기판 등일 수 있다. 외부 제어 장치(5423)는, 안테나(5425)를 가지며, 해당 안테나(5425)를 통해, 캡슐형 내시경(5401)과의 사이에서 각종의 정보를 송수신 가능하게 구성된다. 구체적으로, 외부 제어 장치(5423)는, 캡슐형 내시경(5401)의 제어부(5421)에 대해 제어 신호를 송신함으로써, 캡슐형 내시경(5401)의 동작을 제어한다. 예를 들면, 외부 제어 장치(5423)로부터의 제어 신호에 의해, 광원부(5405)에 있어서의 관찰 대상에 대한 광의 조사 조건이 변경될 수 있다. 또한, 외부 제어 장치(5423)로부터의 제어 신호에 의해, 촬상 조건(예를 들면, 촬상부(5407)에 있어서의 프레임 레이트, 노출값 등)이 변경될 수 있다. 또한, 외부 제어 장치(5423)로부터의 제어 신호에 의해, 화상 처리부(5409)에 있어서의 처리 내용이나, 무선 통신부(5411)가 화상 신호를 송신하는 조건(예를 들면, 송신 간격, 송신 화상 수 등)이 변경되어도 된다.
또한, 외부 제어 장치(5423)는, 캡슐형 내시경(5401)으로부터 송신되는 화상 신호에 대해, 각종의 화상 처리를 실시하고, 촬상된 체내 화상을 표시 장치에 표시하기 위한 화상 데이터를 생성한다. 해당 화상 처리로서는, 예를 들면 동시화 처리나 색분리 처리 등(예를 들면, 디모자이크 처리 등), 고화질화 처리(대역 강조 처리, 초해상 처리, NR(Noise reduction) 처리 및/또는 손떨림 보정 처리 등), 및/또는 확대 처리(전자 줌 처리) 등, 각종의 공지된 신호 처리가 행해져도 된다. 외부 제어 장치(5423)는, 표시 장치(도시하지 않음)의 구동을 제어하고, 생성한 화상 데이터에 기초하여 촬상된 체내 화상을 표시시킨다. 또는, 외부 제어 장치(5423)는, 생성한 화상 데이터를 기록 장치(도시하지 않음)에 기록시키거나, 인쇄 장치(도시하지 않음)에 인쇄 출력시켜도 된다.
본 개시에 관련되는 기술은, 이상 설명한 구성 중, 촬상부(5407)에 바람직하게 적용될 수 있다. 구체적으로는, 촬상부(5407)로서, 촬상 장치(100)(도 1)를 적용하도록 하여도 된다. 이와 같이, 촬상부(5407)에 본 개시에 관련되는 기술을 적용함으로써, 검출 화상(복원 화상)의 해상도를 제어할 수 있다.
따라서, 예를 들면, 환부 부근에서는 전체 화소 모드 등에 의해 고해상도로 촬상을 행하고, 그 이외의 부분에서는, 솎음 모드나 에어리어 구동 모드에 의해 저해상도로 촬상을 행하도록 할 수 있다.
이와 같이, 상황이나 목적 등에 따라, 적절한 동작 모드에서 촬상을 행함으로써, 촬상의 부하 증대를 억제하면서, 복원 화상의 화질 저감을 억제할 수 있다. 따라서, 보다 선명한 시술부 화상을 얻을 수 있기 때문에, 검사의 정밀도가 향상된다. 또한, 이와 함께, 부하(소비 전력)의 증대를 억제하기 때문에, 배터리를 저용량화할 수 있다. 따라서, 캡슐형 내시경(5401)을 보다 소형화할 수 있기 때문에, 환자의 부담을 더욱 경감할 수 있다.
<유세포 분석>
또한, 본 개시에 관련되는 기술은, 예를 들면, 유세포 분석에 적용되어도 된다.
유세포 분석(flow cytometry)이란, 미세한 입자를 유체 중에 분산시키고, 그 유체를 섬세하게 흐르게 하여, 개개의 입자를 광학적으로 분석하는 수법이다. 예를 들면, 도 57에 나타내는 바와 같이, 미세한 관 등으로 이루어지는 유로(6001)에 유체를 흐르게 하고, 그 유체에 포함되는 미립자(6011)(예를 들면, 세포 등)에 레이저 광을 조사하여 여기시키면서, 촬상부(6002)에 의해, 그 형광을 촬상시켜, 검출시킨다. 이와 같이 함으로써, 유체 중의 미립자(6011)를 검출할 수 있다.
미립자를 선택적으로 회수할 수도 있다. 유세포 분석에 사용되는 장치를 유세포 분석기(flow cytometers)라고 칭한다. 분취(sorting)하는 장치를 소터(sorter)라고 부르고, 분취 기능을 갖지 않는 장치를 애널라이저(analyzer)라고 부른다. 주로 세포를 개별적으로 관찰할 때에 사용된다.
일정 파장의 광선(통상은 레이저 광)을 유체에 조사하고, 통상은, 광선으로부터 약간 벗어난 방향(광선과 동축 상에서는 광원으로부터의 강한 광에 의해 검출기가 포화되어 버리기 때문)의 전방 산란(FSC(Forward Scatter))과, 광선과 직각인 방향의 측방 산란(SSC(Side Scatter))을 검출한다. 또한, 미립자를 형광 물질로 표지(標識)하고, 레이저 광에 의해 생긴 형광을 검출하는 형광 검출기가 하나 이상 구비되어 있는 장치가 많다. 이들 검출기에 의해 유체 중의 입자가 영향을 미친 광, 및 형광을 검출한다. 이들 검출된 광의 집합으로부터 입자의 물리·화학적 성질을 추정할 수 있다. 세포의 경우, FSC로부터는 세포의 크기가, SSC로부터는 세포 내의 복잡도(핵의 형상, 세포 내 소기관, 막 구조 등에 유래)를 분석할 수 있다. 각 검출기의 조합, 형광 물질이나 면역 염색에 의해 매우 다양한 분석이 가능하다.
이러한 촬상부(6002)로서, 촬상 장치(100)(도 1)를 적용하도록 하여도 된다. 이와 같이, 촬상부(5009)에 본 개시에 관련되는 기술을 적용함으로써, 검출 화상(복원 화상)의 해상도를 제어할 수 있다.
또한, 촬상 렌즈를 갖는 촬상 장치의 경우, 렌즈의 수차 등에 의해, 광의 파장 레벨의 것은 관찰이 곤란해질 우려가 있다. 즉, 이 유세포 분석과 같이, 피사체가 극단적으로 미세한 경우, 정확한 관찰을 행하는 것이 곤란해질 우려가 있다.
이에 대해 촬상 장치(100)의 촬상 소자(121)는, 촬상 렌즈를 갖고 있지 않으므로, 수차가 없고, 미립자의 관찰도 충분히 가능해서, 바람직하다.
또한, 이 유세포 분석과 같이, 피사체가 극단적으로 미세한 경우, 피사체 거리도 극단적으로 짧아지기 때문에, 화소마다 입사각 지향성을 설정하지 않아도, 화소 간에 검출 신호의 세기의 차이가 생기고, 피사체의 촬상이 가능해진다. 따라서, 화소마다 입사각 지향성에 변화를 부여하지 않도록 하여도 된다. 예를 들면, 도 58에 나타내는 바와 같이, 미립자의 관찰에 이용되는 에어리어(312-31)에 있어서, 각 화소의 입사각 지향성이, 모두, 화소 영역(311)에 대해 수직이 되도록(즉, 입사각 지향성의 치우침이 없도록) 해도 된다.
또한, 이러한 에어리어(312)가, 화소 영역(311)에 단수 마련되도록 해도 되고, 복수 마련되도록 하여도 된다. 즉, 화소 영역(311)에 마련되는 모든 에어리어(312)를, 이러한 입사각 지향성의 치우침이 없는 에어리어로 해도 되고, 화소 영역(311)에 마련되는 일부 에어리어(312)를, 이러한 입사각 지향성의 치우침이 없는 에어리어로 하여도 된다. 예를 들면, 도 58에 있어서, 에어리어(312-32)나 에어리어(312-33)도 에어리어(312-31)와 마찬가지로 해도 되고, 마찬가지로 하지 않아도 된다.
<7. 제7 실시형태>
<차재 시스템>
또한, 본 개시에 관련되는 기술은, 예를 들면, 자동차, 전기자동차, 하이브리드 전기자동차, 자동이륜차, 자전거, 퍼스널 모빌리티, 비행기, 드론, 선박, 로봇, 건설기계, 농업기계(트랙터) 등 중 어느 하나의 종류의 이동체에 탑재되는 장치로서 실현되어도 된다.
도 59는 본 개시에 관련되는 기술이 적용될 수 있는 이동체 제어 시스템의 일례인 차량 제어 시스템(7000)의 개략적인 구성예를 나타내는 블록도이다. 차량 제어 시스템(7000)은 통신 네트워크(7010)를 통해 접속된 복수의 전자 제어 유닛을 구비한다. 도 59에 나타낸 예에서는 차량 제어 시스템(7000)은 구동계 제어 유닛(7100), 보디계 제어 유닛(7200), 배터리 제어 유닛(7300), 차외 정보 검출 유닛(7400), 차내 정보 검출 유닛(7500) 및 통합 제어 유닛(7600)을 구비한다. 이들 복수의 제어 유닛을 접속하는 통신 네트워크(7010)는, 예를 들면, CAN(Controller Area Network), LIN(Local Interconnect Network), LAN(Local Area Network) 또는 FlexRay(등록상표) 등의 임의의 규격에 준거한 차재 통신 네트워크여도 된다.
각 제어 유닛은, 각종 프로그램에 따라 연산 처리를 행하는 마이크로컴퓨터와, 마이크로컴퓨터에 의해 실행되는 프로그램 또는 각종 연산에 사용되는 파라미터 등을 기억하는 기억부와, 각종 제어 대상의 장치를 구동하는 구동 회로를 구비한다. 각 제어 유닛은, 통신 네트워크(7010)를 통해 다른 제어 유닛과의 사이에서 통신을 행하기 위한 네트워크 I/F를 구비함과 함께, 차내외의 장치 또는 센서 등과의 사이에서 유선 통신 또는 무선 통신에 의해 통신을 행하기 위한 통신 I/F를 구비한다. 도 59에서는 통합 제어 유닛(7600)의 기능 구성으로서, 마이크로컴퓨터(7610), 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비콘 수신부(7650), 차내 기기 I/F(7660), 음성 화상 출력부(7670), 차재 네트워크 I/F(7680) 및 기억부(7690)가 도시되어 있다. 다른 제어 유닛도 마찬가지로, 마이크로컴퓨터, 통신 I/F 및 기억부 등을 구비한다.
구동계 제어 유닛(7100)은, 각종 프로그램에 따라 차량의 구동계에 관련하는 장치의 동작을 제어한다. 예를 들면, 구동계 제어 유닛(7100)은 내연기관 또는 구동용 모터 등의 차량 구동력을 발생시키기 위한 구동력 발생 장치, 구동력을 차륜에 전달하기 위한 구동력 전달 기구, 차량 타각을 조절하는 스티어링 기구, 및 차량의 제동력을 발생시키는 제동 장치 등의 제어 장치로서 기능한다. 구동계 제어 유닛(7100)은 ABS(Antilock Brake System) 또는 ESC(Electronic Stability Control) 등의 제어 장치로서의 기능을 가져도 된다.
구동계 제어 유닛(7100)에는 차량 상태 검출부(7110)가 접속된다. 차량 상태 검출부(7110)에는, 예를 들면, 차체의 축회전 운동의 각속도를 검출하는 자이로 센서, 차량의 가속도를 검출하는 가속도 센서, 또는 액셀 페달의 조작량, 브레이크 페달의 조작량, 스티어링 휠의 조타각, 엔진 회전수 또는 차륜의 회전속도 등을 검출하기 위한 센서 중 적어도 하나가 포함된다. 구동계 제어 유닛(7100)은, 차량 상태 검출부(7110)로부터 입력되는 신호를 이용해서 연산 처리를 행하고, 내연 기관, 구동용 모터, 전동 파워 스티어링 장치 또는 브레이크 장치 등을 제어한다.
보디계 제어 유닛(7200)은, 각종 프로그램에 따라 차체에 장비된 각종 장치의 동작을 제어한다. 예를 들면, 보디계 제어 유닛(7200)은. 키리스 엔트리(keyless entry) 시스템, 스마트 키 시스템, 파워 윈도우 장치, 또는 헤드램프, 백 램프, 브레이크 램프, 깜빡이 또는 안개등 등의 각종 램프의 제어 장치로서 기능한다. 이 경우, 보디계 제어 유닛(7200)에는, 키를 대체하는 휴대기로부터 발신되는 전파 또는 각종 스위치의 신호가 입력될 수 있다. 보디계 제어 유닛(7200)은 이 전파 또는 신호의 입력을 수신하여, 차량의 도어록 장치, 파워 윈도우 장치, 램프 등을 제어한다.
배터리 제어 유닛(7300)은, 각종 프로그램에 따라 구동용 모터의 전력 공급원인 이차전지(7310)를 제어한다. 예를 들면, 배터리 제어 유닛(7300)에는, 이차전지(7310)를 구비한 배터리 장치로부터, 배터리 온도, 배터리 출력 전압 또는 배터리의 잔존 용량 등의 정보가 입력된다. 배터리 제어 유닛(7300)은 이들 신호를 이용해서 연산 처리를 행하여, 이차전지(7310)의 온도 조절 제어 또는 배터리 장치에 구비된 냉각 장치 등의 제어를 행한다.
차외 정보 검출 유닛(7400)은 차량 제어 시스템(7000)을 탑재한 차량의 외부 정보를 검출한다. 예를 들면, 차외 정보 검출 유닛(7400)에는 촬상부(7410) 및 차외 정보 검출부(7420) 중 적어도 일방이 접속된다. 촬상부(7410)에는 ToF(Time Of Flight) 카메라, 스테레오 카메라, 단안 카메라, 적외선 카메라 및 그 밖의 카메라 중 적어도 하나가 포함된다. 차외 정보 검출부(7420)에는 예를 들면, 현재 날씨 또는 기상을 검출하기 위한 환경 센서, 또는 차량 제어 시스템(7000)을 탑재한 차량 주위의 다른 차량, 장애물 또는 보행자 등을 검출하기 위한 주위 정보 검출 센서 중 적어도 하나가 포함된다.
환경 센서는 예를 들면, 우천을 검출하는 빗방울 센서, 안개를 검출하는 안개 센서, 일조 정도를 검출하는 일조 센서, 및 강설을 검출하는 눈 센서 중 적어도 하나여도 된다. 주위 정보 검출 센서는 초음파 센서, 레이더 장치 및 LIDAR(Light Detection and Ranging, Laser Imaging Detection and Ranging) 장치 중 적어도 하나여도 된다. 이들 촬상부(7410) 및 차외 정보 검출부(7420)는 각각 독립한 센서 내지 장치로서 구비되어도 되고, 복수의 센서 또는 장치가 통합된 장치로서 구비되어도 된다.
여기서, 도 60은 촬상부(7410) 및 차외 정보 검출부(7420)의 설치 위치의 예를 나타낸다. 촬상부(7910, 7912, 7914, 7916, 7918)는, 예를 들면, 차량(7900)의 프론트 노즈, 사이드 미러, 리어 범퍼, 백 도어 및 차실 내의 프런트 글래스 상부 중 적어도 하나의 위치에 설치된다. 프론트 노즈에 구비되는 촬상부(7910) 및 차실 내의 프런트 글래스 상부에 구비되는 촬상부(7918)는, 주로 차량(7900)의 전방의 화상을 취득한다. 사이드 미러에 구비되는 촬상부(7912, 7914)는, 주로 차량(7900)의 측방의 화상을 취득한다. 리어 범퍼 또는 백 도어에 구비되는 촬상부(7916)는, 주로 차량(7900)의 후방 화상을 취득한다. 차실 내의 프런트 글래스 상부에 구비되는 촬상부(7918)는, 주로 선행 차량 또는 보행자, 장애물, 신호기, 교통 표지 또는 차선 등의 검출에 이용된다.
또한, 도 60에는 각각의 촬상부(7910, 7912, 7914, 7916)의 촬영 범위의 일례가 도시되어 있다. 촬상 범위 (a)는 프론트 노즈에 설치된 촬상부(7910)의 촬상 범위를 나타내고, 촬상 범위 (b), (c)는 각각 사이드 미러에 설치된 촬상부(7912, 7914)의 촬상 범위를 나타내고, 촬상 범위 (d)는 리어 범퍼 또는 백 도어에 설치된 촬상부(7916)의 촬상 범위를 나타낸다. 예를 들면, 촬상부(7910, 7912, 7914, 7916)로 촬상된 화상 데이터가 중첩됨으로써, 차량(7900)을 상방으로부터 본 부감 화상을 얻을 수 있다.
차량(7900)의 프론트, 리어, 사이드, 코너 및 차실 내의 프런트 글래스 상부에 설치되는 차외 정보 검출부(7920, 7922, 7924, 7926, 7928, 7930)는, 예를 들면 초음파 센서 또는 레이더 장치여도 된다. 차량(7900)의 프론트 노즈, 리어 범퍼, 백 도어 및 차실 내의 프런트 글래스 상부에 설치되는 차외 정보 검출부(7920, 7926, 7930)는, 예를 들면 LIDAR 장치여도 된다. 이들 차외 정보 검출부(7920∼7930)는, 주로 선행 차량, 보행자 또는 장애물 등의 검출에 이용된다.
도 59로 돌아가서 설명을 계속한다. 차외 정보 검출 유닛(7400)은, 촬상부(7410)에 차외의 화상을 촬상시킴과 함께, 촬상된 화상 데이터를 수신한다. 또한, 차외 정보 검출 유닛(7400)은, 접속되어 있는 차외 정보 검출부(7420)로부터 검출 정보를 수신한다. 차외 정보 검출부(7420)가 초음파 센서, 레이더 장치 또는 LIDAR 장치인 경우에는, 차외 정보 검출 유닛(7400)은 초음파 또는 전자파 등을 발신시킴과 함께, 수신된 반사파의 정보를 수신한다. 차외 정보 검출 유닛(7400)은, 수신한 정보에 기초하여, 사람, 차, 장애물, 표시 또는 노면 상의 문자 등의 물체 검출 처리 또는 거리 검출 처리를 행하여도 된다. 차외 정보 검출 유닛(7400)은, 수신한 정보에 기초하여, 강우, 안개 또는 노면 상황 등을 인식하는 환경 인식 처리를 행해도 된다. 차외 정보 검출 유닛(7400)은, 수신한 정보에 기초하여, 차외의 물체까지의 거리를 산출해도 된다.
또한, 차외 정보 검출 유닛(7400)은, 수신한 화상 데이터에 기초하여, 사람, 차, 장애물, 표지 또는 노면 상의 문자 등을 인식하는 화상 인식 처리 또는 거리 검출 처리를 행해도 된다. 차외 정보 검출 유닛(7400)은, 수신한 화상 데이터에 대해 왜곡 보정 또는 위치맞춤 등의 처리를 행함과 함께, 다른 촬상부(7410)에 의해 촬상된 화상 데이터를 합성하여, 부감 화상 또는 파노라마 화상을 생성해도 된다. 차외 정보 검출 유닛(7400)은, 다른 촬상부(7410)에 의해 촬상된 화상 데이터를 이용하여, 시점 변환 처리를 행해도 된다.
차내 정보 검출 유닛(7500)은, 차내의 정보를 검출한다. 차내 정보 검출 유닛(7500)에는, 예를 들면, 운전자의 상태를 검출하는 운전자 상태 검출부(7510)가 접속된다. 운전자 상태 검출부(7510)는, 운전자를 촬상하는 카메라, 운전자의 생체 정보를 검출하는 생체 센서 또는 차실 내의 음성을 집음하는 마이크 등을 포함해도 된다. 생체 센서는, 예를 들면, 좌면 또는 스티어링 휠 등에 설치되어, 좌석에 앉은 탑승자 또는 스티어링 휠을 쥐는 운전자의 생체 정보를 검출한다. 차내 정보 검출 유닛(7500)은, 운전자 상태 검출부(7510)로부터 입력되는 검출 정보에 기초하여, 운전자의 피로 정도 또는 집중 정도를 산출해도 되고, 운전자가 졸고 있지 않은지를 판별해도 된다. 차내 정보 검출 유닛(7500)은, 집음된 음성 신호에 대해 잡음 제거 처리 등의 처리를 행해도 된다.
통합 제어 유닛(7600)은 각종 프로그램에 따라 차량 제어 시스템(7000) 내의 동작 전반을 제어한다. 통합 제어 유닛(7600)에는, 입력부(7800)가 접속되어 있다. 입력부(7800)는, 예를 들면, 터치 패널, 버튼, 마이크로폰, 스위치 또는 레버 등, 탑승자에 의해 입력 조작될 수 있는 장치에 의해 실현된다. 통합 제어 유닛(7600)에는, 마이크로폰에 의해 입력되는 음성을 음성 인식함으로써 얻은 데이터가 입력되어도 된다. 입력부(7800)는, 예를 들면, 적외선 또는 그 밖의 전파를 이용한 리모트컨트롤 장치여도 되고, 차량 제어 시스템(7000)의 조작에 대응한 휴대전화 또는 PDA(Personal Digital Assistant) 등의 외부 접속 기기여도 된다. 입력부(7800)는, 예를 들면 카메라여도 되며, 그 경우 탑승자는 제스처에 의해 정보를 입력할 수 있다. 또는, 탑승자가 장착한 웨어러블 장치의 움직임을 검출함으로써 얻어진 데이터가 입력되어도 된다. 또한, 입력부(7800)는, 예를 들면, 상기 입력부(7800)를 이용해서 탑승자 등에 의해 입력된 정보에 기초하여 입력 신호를 생성하고, 통합 제어 유닛(7600)에 출력하는 입력 제어 회로 등을 포함해도 된다. 탑승자 등은 이 입력부(7800)를 조작함으로써, 차량 제어 시스템(7000)에 대해 각종 데이터를 입력하거나 처리 동작을 지시한다.
기억부(7690)는 마이크로컴퓨터에 의해 실행되는 각종 프로그램을 기억하는 ROM(Read Only Memory) 및 각종 파라미터, 연산 결과 또는 센서 값 등을 기억하는 RAM(Random Access Memory)을 포함하고 있어도 된다. 또한, 기억부(7690)는 HDD(Hard Disc Drive) 등의 자기 기억 디바이스, 반도체 기억 디바이스, 광 기억 디바이스 또는 광 자기 기억 디바이스 등에 의해 실현해도 된다.
범용 통신 I/F(7620)는, 외부 환경(7750)에 존재하는 다양한 기기와의 사이의 통신을 중개하는 범용적인 통신 I/F이다. 범용 통신 I/F(7620)는, GSM(등록상표)(Global System of Mobile communications), WiMAX(등록상표), LTE(등록상표)(Long Term Evolution) 또는 LTE-A(LTE-Advanced) 등의 셀룰러 통신 프로토콜, 또는 무선 LAN(Wi-Fi(등록상표)라고도 함), Bluetooth(등록상표) 등의 그 밖의 무선 통신 프로토콜을 실장하여도 된다. 범용 통신 I/F(7620)는, 예를 들면, 기지국 또는 액세스 포인트를 통해, 외부 네트워크(예를 들면, 인터넷, 클라우드 네트워크 또는 사업자 고유의 네트워크) 상에 존재하는 기기(예를 들면, 애플리케이션 서버 또는 제어 서버)에 접속해도 된다. 또한, 범용 통신 I/F(7620)는, 예를 들면 P2P(Peer To Peer) 기술을 이용하여, 차량의 근방에 존재하는 단말(예를 들면, 운전자, 보행자 또는 점포의 단말, 또는 MTC(Machine Type Communication) 단말)과 접속해도 된다.
전용 통신 I/F(7630)는, 차량에서의 사용을 목적으로 하여 책정된 통신 프로토콜을 지원하는 통신 I/F이다. 전용 통신 I/F(7630)는, 예를 들면, 하위 레이어의 IEEE 802.11p와 상위 레이어의 IEEE 1609의 조합인 WAVE(Wireless Access in Vehicle Environment), DSRC(Dedicated Short Range Communications), 또는 셀룰러 통신 프로토콜과 같은 표준 프로토콜을 실장하여도 된다. 전용 통신 I/F(7630)는, 전형적으로는 차량간(Vehicle to Vehicle) 통신, 차량과 인프라간(Vehicle to Infrastructure) 통신, 차량과 집간(Vehicle to Home)의 통신 및 차량과 보행자간(Vehicle to Pedestrian) 통신 중 하나 이상을 포함하는 개념인 V2X 통신을 수행한다.
측위부(7640)는 예를 들면, GNSS(Global Navigation Satellite System) 위성으로부터의 GNSS 신호(예를 들면, GPS(Global Positioning System) 위성으로부터의 GPS 신호)를 수신해서 측위를 실행하고, 차량의 위도, 경도 및 고도를 포함하는 위치 정보를 생성한다. 또한, 측위부(7640)는 무선 액세스 포인트와의 신호 교환에 의해 현재 위치를 특정하여도 되며, 또는 측위 기능을 갖는 휴대전화, PHS 또는 스마트폰과 같은 단말로부터 위치 정보를 취득해도 된다.
비콘 수신부(7650)는, 예를 들면, 도로 상에 설치된 무선 통신국 등으로부터 발신되는 전파 또는 전자파를 수신하여, 현재 위치, 정체, 통행금지 또는 소요 시간 등의 정보를 취득한다. 또한, 비콘 수신부(7650)의 기능은 상술한 전용 통신 I/F(7630)에 포함되어도 된다.
차내 기기 I/F(7660)는 마이크로컴퓨터(7610)와 차내에 존재하는 다양한 차내 기기(7760) 사이의 접속을 중개하는 통신 인터페이스이다. 차내 기기 I/F(7660)는, 무선 LAN, Bluetooth(등록상표), NFC(Near Field Communication) 또는 WUSB(Wireless USB)와 같은 무선 통신 프로토콜을 이용하여 무선 접속을 확립하여도 된다. 또한, 차내 기기 I/F(7660)는, 도시하지 않은 접속 단자(및 필요한 경우 케이블)를 통해, USB(Universal Serial Bus), HDMI(등록상표)(High-Definition Multimedia Interface), 또는 MHL(Mobile High-definition Link) 등의 유선 접속을 확립하여도 된다. 차내 기기(7760)는, 예를 들면, 탑승자가 가진 모바일 기기 또는 웨어러블 기기, 또는 차량에 반입되거나 또는 장착된 정보기기 중 적어도 하나를 포함하고 있어도 된다. 또한, 차내 기기(7760)는, 임의의 목적지까지의 경로 탐색을 하는 네비게이션 장치를 포함하고 있어도 된다. 차내 기기 I/F(7660)는, 이 차내 기기(7760)와의 사이에서, 제어 신호 또는 데이터 신호를 교환한다.
차재 네트워크 I/F(7680)는, 마이크로컴퓨터(7610)와 통신 네트워크(7010) 사이의 통신을 중개하는 인터페이스이다. 차재 네트워크 I/F(7680)는, 통신 네트워크(7010)에 의해 지원되는 소정의 프로토콜에 의거하여, 신호 등을 송수신한다.
통합 제어 유닛(7600)의 마이크로컴퓨터(7610)는, 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비콘 수신부(7650), 차내 기기 I/F(7660) 및 차재 네트워크 I/F(7680) 중 적어도 하나를 통해 취득되는 정보에 기초하여, 각종 프로그램에 따라, 차량 제어 시스템(7000)을 제어한다. 예를 들면, 마이크로컴퓨터(7610)는, 취득되는 차내외의 정보에 기초하여, 구동력 발생 장치, 스티어링 기구 또는 제동 장치의 제어 목표값을 연산하여, 구동계 제어 유닛(7100)에 대해 제어 지령을 출력해도 된다. 예를 들면, 마이크로컴퓨터(7610)는, 차량의 충돌 회피 또는 충격 완화, 차간 거리에 기초한 추종 주행, 차량 속도 유지 주행, 차량의 충돌 경고, 또는 차량의 차선 이탈 경고 등을 포함하는 ADAS(Advanced Driver Assistance System)의 기능 실현을 목적으로 한 협조 제어를 행해도 된다. 또한, 마이크로컴퓨터(7610)는, 취득되는 차량의 주위 정보에 기초하여 구동력 발생 장치, 스티어링 기구 또는 제동 장치 등을 제어함으로써, 운전자의 조작에 의하지 않고 자율적으로 주행하는 자동 운전 등을 목적으로 한 협조 제어를 행해도 된다.
마이크로컴퓨터(7610)는, 범용 통신 I/F(7620), 전용 통신 I/F(7630), 측위부(7640), 비콘 수신부(7650), 차내 기기 I/F(7660) 및 차재 네트워크 I/F(7680) 중 적어도 하나를 통해 취득되는 정보에 기초하여, 차량과 주변의 구조물이나 인물 등의 물체와의 사이의 3차원 거리 정보를 생성하고, 차량의 현재 위치의 주변 정보를 포함하는 로컬 지도 정보를 작성해도 된다. 또한, 마이크로컴퓨터(7610)는, 취득되는 정보에 기초하여, 차량의 충돌, 보행자 등의 근접 또는 통행금지의 도로로의 진입 등의 위험을 예측하고, 경고용 신호를 생성해도 된다. 경고용 신호는, 예를 들면, 경고음을 발생시키거나, 경고 램프를 점등시키기 위한 신호여도 된다.
음성 화상 출력부(7670)는, 차량의 탑승자 또는 차외에 대해, 시각적 또는 청각적으로 정보를 통지하는 것이 가능한 출력 장치로 음성 및 화상 중 적어도 일방의 출력 신호를 송신한다. 도 59의 예에서는, 출력 장치로서, 오디오 스피커(7710), 표시부(7720) 및 인스트루먼트 패널(7730)이 예시되어 있다. 표시부(7720)는, 예를 들면, 온 보드 디스플레이 및 헤드업 디스플레이의 적어도 하나를 포함하고 있어도 된다. 표시부(7720)는 AR(Augmented Reality) 표시 기능을 가지고 있어도 된다. 출력 장치는 이들 장치 외의, 헤드폰, 탑승자가 장착하는 안경형 디스플레이 등의 웨어러블 디바이스, 프로젝터 또는 램프 등의 다른 장치여도 된다. 출력 장치가 표시 장치인 경우, 표시 장치는 마이크로컴퓨터(7610)가 행한 각종 처리에 의해 얻어진 결과 또는 다른 제어 유닛으로부터 수신된 정보를 텍스트, 이미지, 표, 그래프 등의 여러가지 형식으로 시각적으로 표시한다. 또한, 출력 장치가 음성 출력 장치인 경우, 음성 출력 장치는 재생된 음성 데이터 또는 음향 데이터 등으로 이루어지는 오디오 신호를 아날로그 신호로 변환하여 청각적으로 출력한다.
한편, 도 59에 나타낸 예에 있어서, 통신 네트워크(7010)를 통해 접속된 적어도 2개의 제어 유닛이 하나의 제어 유닛으로서 일체화되어도 된다. 또는, 각각의 제어 유닛이, 복수의 제어 유닛에 의해 구성되어도 된다. 나아가, 차량 제어 시스템(7000)이, 도시되지 않은 별도의 제어 유닛을 구비해도 된다. 또한, 상기 설명에 있어서, 임의의 제어 유닛이 담당하는 기능의 일부 또는 전부를, 다른 제어 유닛에 갖게 하여도 된다. 즉, 통신 네트워크(7010)를 통해 정보의 송수신이 되도록 되어 있으면, 소정의 연산 처리가 어떠한 제어 유닛에서 행해지도록 되어 있어도 된다. 마찬가지로, 임의의 제어 유닛에 접속되어 있는 센서 또는 장치가, 다른 제어 유닛에 접속됨과 함께, 복수의 제어 유닛이, 통신 네트워크(7010)를 통해 서로 검출 정보를 송수신해도 된다.
이상 설명한 차량 제어 시스템(7000)에 있어서, 도 1을 이용하여 설명한 본 실시형태에 관련되는 촬상 장치(100)는, 도 59에 나타낸 응용예의 촬상부(7410)에 적용할 수 있다. 이와 같이, 촬상부(7410)에 본 개시에 관련되는 기술을 적용함으로써, 검출 화상(복원 화상)의 해상도를 제어할 수 있다.
따라서, 예를 들면, 차량의 주위에, 사람이나 물건 등의 장해물, 전방 차량, 후속 차량, 대향차, 신호나 교통 표지, 도로상의 하얀 선이나 문자 등, 주목해야 할 대상(주목 대상)이 존재하는 경우, 전체 화소 모드 등에 의해 고해상도로 촬상을 행하고, 이와 같은 주목 대상이 존재하지 않는 경우, 솎음 모드나 에어리어 구동 모드에 의해 저해상도로 촬상을 행하도록 할 수 있다.
이와 같이, 상황이나 목적 등에 따라, 적절한 동작 모드에서 촬상을 행함으로써, 촬상의 부하 증대를 억제하면서, 복원 화상의 화질 저감을 억제할 수 있다. 따라서, 보다 안전한 운전 지원을 실현할 수 있다.
<운전 지원 처리의 흐름>
이러한 운전 지원 처리의 흐름의 예를, 도 61의 플로우차트를 참조하여 설명한다.
운전 지원 처리가 개시되면, 차외 정보 검출 유닛(7400)은, 스텝(S501)에 있어서, 차량의 주위에 대한 주목 대상의 검지를 개시한다.
스텝(S502)에 있어서, 차외 정보 검출 유닛(7400)은, 동작 모드를 에어리어 구동 모드로 설정한다.
스텝(S503)에 있어서, 촬상부(7410)는 에어리어 구동 모드에서 감시 대상을 촬상하여 출력 데이터를 출력한다. 즉, 촬상부(7410)는, 도 41의 플로우차트를 참조하여 설명한 경우와 마찬가지의 흐름으로, 에어리어 구동 모드 촬상 처리를 행하고, 에어리어 구동 모드에서 출력 데이터를 생성하고, 그것을 차외 정보 검출 유닛(7400) 등에 출력한다.
스텝(S504)에 있어서, 차외 정보 검출 유닛(7400)은, 주목 대상을 검지했는지 여부를 판정한다. 주목 대상을 검지하지 않은 것으로 판정된 경우, 처리는 스텝(S503)으로 되돌아간다. 즉, 주목 대상이 검출되지 않는 정상 상태인 경우, 스텝(S503) 및 스텝(S504)의 처리가 반복하여 실행된다. 즉, 저해상도의 촬상 화상이 얻어진다.
또한, 스텝(S504)에 있어서, 주목 대상이 검출되었다고 판정된 경우, 처리는 스텝(S505)로 진행한다.
스텝(S505)에 있어서, 차외 정보 검출 유닛(7400)은, 동작 모드를 전체 화소 모드로 전환한다(설정한다).
스텝(S506)에 있어서, 촬상부(7410)는, 전체 화소 모드에서 감시 대상을 촬상하여 출력 데이터를 출력한다. 즉, 촬상부(7410)는, 도 34의 플로우차트를 참조하여 설명한 경우와 마찬가지의 흐름으로, 전체 화소 모드 촬상 처리를 행하고, 전체 화소 모드에서 출력 데이터를 생성하고, 그것을 차외 정보 검출 유닛(7400)에 출력한다.
스텝(S507)에 있어서, 마이크로컴퓨터(7610)는, 주목 대상에 기초하는 운전 지원을 행한다.
스텝(S508)에 있어서, 차외 정보 검출 유닛(7400)은, 주목 대상이 검지되지 않게 되었는지 여부를 판정한다. 주목 대상을 계속해서 검지하고 있다고 판정된 경우, 처리는 스텝(S506)으로 되돌아간다. 즉, 주목 대상이 검지되고 있는 상태인 경우, 스텝(S506) 및 스텝(S507)의 처리가 반복하여 실행된다. 즉, 고해상도의 촬상 화상이 얻어진다.
또한, 스텝(S508)에 있어서, 주목 대상이 검지되지 않게 되었다고 판정된 경우, 처리는 스텝(S509)로 진행한다.
스텝(S509)에 있어서, 촬상부(7410)는, 운전 지원 처리를 종료할지 여부를 판정한다. 운전 지원 처리를 종료하지 않는다고 판정된 경우, 처리는 스텝(S502)로 되돌아간다. 즉, 스텝(S509)에 있어서, 운전 지원 처리를 종료한다고 판정될 때까지, 스텝(S502) 내지 스텝(S509)의 각 처리가 반복하여 실행된다.
스텝(S508)에 있어서, 운전 지원 처리가 종료한다고 판정된 경우, 운전 지원 처리가 종료한다.
이상과 같이 운전 지원 처리를 실행함으로써, 데이터량의 증대를 억제하면서, 보다 안전한 운전 지원을 행할 수 있다.
<8. 제8 실시형태>
<촬상 소자의 다른 구성예>
이상에서는 촬상 소자(121)의 예에 대해 설명했지만, 촬상 소자(121)는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 그 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위를 구비하고 있으면 되고, 그 구성은 임의이다.
예를 들면, 변조 소자로서 랜덤한 흑백 패턴 마스크 또는 광 간섭 마스크를 이용하여, 촬상 소자(121)의 촬상면에 입사되는 광을 흑백 패턴 또는 광의 간섭에 따라서 변조해도 된다.
도 62는 촬상 소자의 다른 구성을 나타내고 있다. 촬상 소자(8001)는, 촬상 소자(8002)의 촬상면(IP)에 대해 소정 간격을 갖도록 변조 소자인 마스크(8003)가 촬상 소자(8002)에 고정되어 있고, 피사체면(OP)으로부터의 광은, 마스크(8003)에서 변조된 후 촬상 소자(8002)의 촬상면(IP)에 입사하도록 구성되어 있다.
도 63은, 흑백 패턴 마스크를 이용한 경우를 나타내고 있다. 도 63의 A는, 흑백 패턴 마스크를 예시하고 있다. 흑백 패턴 마스크(8003BW)는, 광을 투과하는 백색 패턴부(white pattern portion)와 광을 차광하는 흑색 패턴부(black pattern portion)를 랜덤하게 배치한 구성이며, 패턴 사이즈는 촬상 소자(8002)의 화소 사이즈와 독립적으로 설정되어 있다. 도 63의 B는 점광원(PA)으로부터 출사된 광과 점광원(PB)으로부터 출사된 광에 대해, 촬상면(IP)에 대한 조사 상태를 모식적으로 나타내고 있다. 또한, 도 63의 B에는, 흑백 패턴 마스크(8003BW)를 이용한 경우의 촬상 소자의 응답의 예도, 점광원(PA)으로부터 출사된 광과 점광원(PB)으로부터 출사된 광에 대해 각각 모식적으로 나타내고 있다. 피사체면(OP)으로부터의 광은, 흑백 패턴 마스크(8003BW)에서 변조된 후 촬상 소자(8002)의 촬상면(IP)에 입사한다. 따라서, 피사체면(OP)의 점광원(PA)으로부터 출사된 광에 대응하는 촬상 소자의 응답은 Sbwa가 된다. 또한, 피사체면(OP)의 점광원(PB)으로부터 출사된 광에 대응하는 촬상 소자의 응답은 Sbwb가 된다. 따라서, 촬상 소자(8002)로부터 출력되는 화소 출력 정보는, 화소 출력 단위마다 각 점광원의 응답을 합성한 1화상의 정보가 된다. 이 구성의 경우, 화소 출력 단위마다 독립적으로 입사각 지향성을 설정할 수 없고, 가까운 위치의 화소 출력 단위에 있어서는 서로 가까운 입사각 지향성을 가지도록 된다.
도 64는 광 간섭 마스크를 이용한 경우를 나타내고 있다. 도 64의 A에 나타내는 바와 같이, 피사체면(OP)의 점광원(PA, PB)으로부터 출사된 광은, 광 간섭 마스크(8003LF)를 통해 촬상 소자(8002)의 촬상면(IP)에 조사된다. 광 간섭 마스크(8003LF)의, 예를 들면 광입사면에는, 도 64의 A에 나타내는 바와 같이 광의 파장정도의 요철이 형성되어 있다. 또한, 광 간섭 마스크(8003LF)는, 연직 방향으로부터 조사된 특정 파장의 광의 투과가 최대가 된다. 피사체면(OP)의 점광원(PA, PB)으로부터 출사된 특정 파장의 광의 광 간섭 마스크(8003LF)에 대한 입사각의 변화(연직 방향에 대한 경사)가 커지면 광로 길이가 변화된다. 여기서, 광로 길이가 반파장의 홀수배일 때에는 광이 서로 약하게 하고, 반파장의 짝수배일 때에는 광이 서로 강하게 한다. 즉, 점광원(PA, PB)으로부터 출사되어 광 간섭 마스크(8003LF)를 투과한 특정 파장의 투과 광의 강도는, 도 64의 B에 나타내는 바와 같이, 광 간섭 마스크(8003LF)에 대한 입사각에 따라서 변조되어 촬상 소자(8002)의 촬상면(IP)에 입사한다. 따라서, 촬상 소자(8002)의 각 출력 화소 단위로부터 출력되는 화소 출력 정보는, 광 간섭 마스크(823LF)를 투과한 각 점광원의 변조 후의 광 강도를 합성한 정보가 된다. 이 구성의 경우, 화소 출력 단위마다 독립적으로 입사각 지향성을 설정할 수 없고, 가까운 위치의 화소 출력 단위에 있어서는 서로 가까운 입사각 지향성을 가지도록 된다.
또한, 광학 필터(8003BW) 대신에, 도 65의 광학 필터(8003HW)를 이용하도록 하여도 된다. 광학 필터(8003HW)는, 서로 편광 방향이 동일한 직선 편광 소자(8011A)와 직선 편광 소자(8011B), 및 1/2 파장판(8012)을 구비하고, 1/2 파장판(8012)은, 직선 편광 소자(8011A)와 직선 편광 소자(8011B)의 사이에 끼워져 있다. 1/2 파장판(8012)에는, 광학 필터(8003BW)의 흑색 패턴부 대신에, 사선으로 나타내는 편광부가 마련되고, 백색 패턴부와 편광부가 랜덤하게 배치되어 있다.
직선 편광 소자(8011A)는, 점광원(PA)으로부터 출사된 거의 무편광의 광 중, 소정의 편광 방향의 광 성분만을 투과한다. 이하, 직선 편광 소자(8011A)가, 편광 방향이 지면에 평행한 광 성분만을 투과하는 것으로 한다. 직선 편광 소자(8011A)를 투과한 편광광 중, 1/2 파장판(8012)의 편광부를 투과한 편광광은, 편광면이 회전됨으로써, 편광 방향이 지면에 수직인 방향으로 변화된다. 한편, 직선 편광 소자(8011A)를 투과한 편광광 중, 1/2 파장판(8012)의 백색 패턴부를 투과한 편광광은, 편광 방향이 지면에 평행한 방향인 채로 변화되지 않는다. 그리고, 직선 편광 소자(8011B)는, 백색 패턴부를 투과한 편광광을 투과하고, 편광부를 투과한 편광광을 대부분 투과하지 않는다. 따라서, 편광부를 투과한 편광광은, 백색 패턴부를 투과한 편광광보다 광량이 감소한다. 이에 의해, 광학 필터(8003BW)를 이용한 경우와 거의 마찬가지의 농담 패턴(gradation pattern)이, 촬상 소자(8002)의 수광면(촬상면)(IP) 상에 생기게 한다.
다만, 이들 구성의 경우, 촬상 소자에 마스크 등의 다른 구성을 부가할 필요가 있으므로, 제1 실시형태에서 설명한 구성예의 촬상 소자(121)의 쪽이, 보다 소형화할 수 있다.
이상과 같이, 본 기술은, 촬상 소자(121)가, 도 4를 참조하여 설명한 바와 같은 구성이어도 되고, 도 5를 참조하여 설명한 바와 같은 구성이어도 되고, 도 62나 도 63을 참조하여 설명한 바와 같은 구성이어도 되고, 도 64를 참조하여 설명한 바와 같은 구성이어도 된다. 즉, 촬상 소자(121)는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 그 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위를 구비하는 것이라면 된다.
또한, 본 기술은, 도 4를 참조하여 설명한 바와 같은 구성, 또는 도 5를 참조하여 설명한 바와 같은 구성의 촬상 소자(121)에 적용할 수 있도록 하여도 된다. 즉, 촬상 소자(121)의 복수의 화소 출력 단위가, 그 출력 화소값의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 화소 출력 단위마다 독립적으로 설정 가능한 구성을 가지도록 하여도 된다.
또한, 본 기술은, 도 4를 참조하여 설명한 바와 같은 구성의 촬상 소자에 적용할 수 있도록 하여도 된다. 즉, 촬상 소자(121)의 복수의 화소 출력 단위가, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 화소 출력 단위마다 독립적으로 설정 가능한 구성을 가지도록 하여도 된다.
또한, 본 기술은, 도 5를 참조하여 설명한 바와 같은 구성의 촬상 소자에 적용할 수 있도록 하여도 된다. 즉, 촬상 소자(121)의 복수의 화소 출력 단위가, 출력에 기여하는 PD(Photo Diode)를 서로 다르게 함으로써, 출력 화소값의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 화소 출력 단위마다 독립적으로 설정할 수 있도록 하여도 된다.
<9.기타>
<소프트웨어>
상술한 일련의 처리는, 하드웨어에 의해 실행시킬 수도 있고, 소프트웨어에 의해 실행시킬 수도 있다. 또한, 일부의 처리를 하드웨어에 의해 실행시켜, 다른 처리를 소프트웨어에 의해 실행시킬 수도 있다. 일련의 처리를 소프트웨어에 의해 실행하는 경우에는, 그 소프트웨어를 구성하는 프로그램이 인스톨된다.
이 프로그램은, 예를 들면, 기록 매체로부터 인스톨할 수 있다. 예를 들면, 도 1의 촬상 장치(100)의 경우, 이 기록 매체는, 장치 본체와는 달리, 사용자에게 프로그램을 전송하기 위해 배포되는, 프로그램이 기록되어 있는 기록 매체(116)에 의해 구성된다. 그 경우, 예를 들면, 기록 매체(116)를 기록 재생부(115)에 장착함으로써, 그 기록 매체(116)에 기억되어 있는 이 프로그램을 판독하여, 기억부(113)에 인스톨시킬 수 있다.
또한, 이 프로그램은, 로컬 에어리어 네트워크, 인터넷, 디지털 위성방송이라고 하는, 유선 또는 무선의 전송 매체를 통해 제공할 수도 있다. 예를 들면, 도 1의 촬상 장치(100)의 경우, 프로그램은 통신부(114)에서 수신하고, 기억부(113)에 인스톨할 수 있다.
그 밖에, 이 프로그램은, 기억부나 ROM 등에, 미리 인스톨해 둘 수도 있다. 예를 들면, 도 1의 촬상 장치(100)의 경우, 프로그램은, 기억부(113)나 제어부(101) 내의 ROM(도시하지 않음) 등에 미리 인스톨해 둘 수도 있다.
<보충>
본 기술의 실시형태는, 상술한 실시형태에 한정되는 것이 아니고, 본 기술의 요지를 일탈하지 않는 범위에서 다양한 변경이 가능하다.
예를 들면, 본 기술은, 장치 또는 시스템을 구성하는 모든 구성, 예를 들면, 시스템 LSI(Large Scale Integration) 등으로서의 프로세서, 복수의 프로세서 등을 이용하는 모듈, 복수의 모듈 등을 이용하는 유닛, 유닛에 그 밖의 기능을 더 부가한 세트 등(즉, 장치의 일부 구성)으로서 실시할 수도 있다.
또한, 상술한 각 처리부는, 임의의 구성에 의해 실현할 수 있다. 예를 들면, 회로, LSI, 시스템 LSI, 프로세서, 모듈, 유닛, 세트, 디바이스, 장치, 또는 시스템 등에 의해 구성되도록 하여도 된다. 또한, 그들을 복수 조합시키도록 하여도 된다. 그 때, 예를 들면, 복수의 회로, 복수의 프로세서 등과 같이 동일한 종류의 구성을 조합시키도록 해도 되고, 회로와 LSI 등과 같이 다른 종류의 구성을 조합시키도록 하여도 된다.
또한, 본 명세서에 있어서, 시스템이란, 복수의 구성요소(장치, 모듈(부품) 등)의 집합을 의미하고, 모든 구성요소가 동일 케이스 안에 있는지 어떤지는 상관없다. 따라서, 별개의 케이스에 수납되어, 네트워크를 통해 접속되어 있는 복수의 장치, 및, 1개의 케이스 안에 복수의 모듈이 수납되어 있는 1개의 장치는, 모두, 시스템이다.
또한, 예를 들면, 1개의 장치(또는 처리부)로서 설명한 구성을 분할하고, 복수의 장치(또는 처리부)로서 구성하도록 하여도 된다. 역으로, 이상에서 복수의 장치(또는 처리부)로서 설명한 구성을 합쳐서 1개의 장치(또는 처리부)로서 구성되도록 하여도 된다. 또한, 각 장치(또는 각 처리부)의 구성에 상술한 것 이외의 구성을 부가하도록 해도 물론 된다. 나아가, 시스템 전체로서의 구성이나 동작이 실질적으로 동일하면, 어떤 장치(또는 처리부)의 구성의 일부를 다른 장치(또는 다른 처리부)의 구성에 포함시키도록 하여도 된다.
또한, 예를 들면, 본 기술은, 1개의 기능을 네트워크를 통해 복수의 장치에 의해 분담, 공동하여 처리하는 클라우드 컴퓨팅의 구성을 취할 수 있다.
또한, 예를 들면, 상술한 프로그램은, 임의의 장치에 있어서 실행할 수 있다. 그 경우, 그 장치가, 필요한 기능(기능 블록 등)을 가지며, 필요한 정보를 얻을 수 있도록 하면 된다.
또한, 예를 들면, 상술한 플로우차트에서 설명한 각 스텝은, 1개의 장치에 의해 실행하는 것 외에, 복수의 장치에 의해 분담하여 실행할 수 있다. 나아가, 1개의 스텝에 복수의 처리가 포함되는 경우에는, 그 1개의 스텝에 포함되는 복수의 처리는, 1개의 장치에 의해 실행하는 것 외에, 복수의 장치에 의해 분담하여 실행할 수 있다. 환언하면, 1개의 스텝에 포함되는 복수의 처리를, 복수의 스텝의 처리로서 실행할 수도 있다. 역으로, 복수의 스텝으로서 설명한 처리를 1개의 스텝으로서 합쳐서 실행할 수도 있다.
컴퓨터가 실행하는 프로그램은, 프로그램을 기술하는 스텝의 처리가, 본 명세서에서 설명하는 순서에 따라 시계열로 실행되도록 해도 되고, 병렬로, 또는 호출이 행해졌을 때 등의 필요한 타이밍에 개별로 실행되도록 하여도 된다. 즉, 모순이 생기지 않는 한, 각 스텝의 처리가 상술한 순서와 다른 순서로 실행되도록 하여도 된다. 나아가, 이 프로그램을 기술하는 스텝의 처리가, 다른 프로그램의 처리와 병렬로 실행되도록 해도 되고, 다른 프로그램의 처리와 조합시켜 실행되도록 하여도 된다.
본 명세서에 있어서 복수 설명한 본 기술은, 모순이 생기지 않는 한, 각각 독립적으로 단독으로 실시할 수 있다. 물론, 임의의 복수의 본 기술을 병용하여 실시할 수도 있다. 예를 들면, 어느 하나의 실시형태에 있어서 설명한 본 기술의 일부 또는 전부를, 다른 실시형태에 있어서 설명한 본 기술의 일부 또는 전부와 조합시켜 실시할 수도 있다. 또한, 상술한 임의의 본 기술의 일부 또는 전부를, 상술하지 않은 다른 기술과 병용하여 실시할 수도 있다.
본 기술은 이하와 같은 구성도 취할 수 있다.
(1) 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 상기 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위와, 상기 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위가 형성되는 에어리어에 대응지어 설치되고, 상기 에어리어에 형성되는 화소 출력 단위로부터 판독되는 신호를 처리하여 상기 출력 화소값을 얻는 신호 처리부를 구비하는 촬상 소자와,
상기 촬상 소자의 각 화소 출력 단위의 출력 화소값을 선택적으로 판독하는 판독 제어부를 구비하는 촬상 장치.
(2) 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 상기 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위와, 상기 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위가 형성되는 에어리어에 대응지어 설치되고, 상기 에어리어에 형성되는 화소 출력 단위로부터 판독되는 신호를 처리하여 상기 출력 화소값을 얻는 신호 처리부를 구비하는 촬상 소자
의 각 화소 출력 단위의 출력 화소값을 선택적으로 판독하는 촬상 방법.
(3) 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 상기 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위와,
상기 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위가 형성되는 에어리어에 대응지어 설치되고, 상기 에어리어에 형성되는 화소 출력 단위로부터 판독되는 신호를 처리하여 상기 출력 화소값을 얻는 신호 처리부를 구비하는 촬상 소자.
(4) 복수의 에어리어의, 각각의 미리 정해진 화소 출력 단위로부터 신호가 판독되고,
상기 복수의 에어리어의 각각에 대응지어진 각 신호 처리부는, 자신에 대응하는 에어리어의 상기 화소 출력 단위로부터 판독되는 신호를 처리하는 (3)에 기재된 촬상 소자.
(5) 각 에어리어의 상기 화소 출력 단위는, 에어리어 내에서 최초로 신호가 판독되는 화소 출력 단위인 (4)에 기재된 촬상 소자.
(6) 각 에어리어에서의 각 화소 출력 단위의 신호의 판독순서는 서로 동일한 (4) 또는 (5)에 기재된 촬상 소자.
(7) 각 에어리어의 상기 화소 출력 단위의 집합 전체가, 화소 영역의 화소 출력 단위군 전체와 동등한, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 갖는 (4) 내지 (6) 중 어느 하나에 기재된 촬상 소자.
(8) 복수의 에어리어 중 미리 정해진 일부 에어리어의 각 화소 출력 단위로부터 신호가 판독되고,
상기 일부 에어리어에 대응지어진 신호 처리부는, 자신에 대응하는 에어리어의 각 화소 출력 단위로부터 판독되는 신호를 처리하는 (3) 내지 (7) 중 어느 하나에 기재된 촬상 소자.
(9) 상기 신호가 판독되는 에어리어의 화소 출력 단위군의 전체가, 화소 영역의 화소 출력 단위군 전체와 동등한, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 갖는 (8)에 기재된 촬상 소자.
(10) 상기 신호가 판독되는 에어리어의 화소 출력 단위군의 전체가, 화소 영역의 화소 출력 단위군 전체와 다른, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 갖는 (8)에 기재된 촬상 소자.
(11) 상기 신호가 판독되는 에어리어의 각 화소 출력 단위의 상기 입사각 지향성이, 모두, 상기 화소 영역에 대해 수직인 (10)에 기재된 촬상 소자.
(12) 미리 정해진 에어리어의 화소 출력 단위군의 전체의 화각의 크기가, 다른 에어리어 또는 상기 화소 영역의 화소 출력 단위군 전체의 화각의 크기와 상이한 (10) 또는 (11)에 기재된 촬상 소자.
(13) 미리 정해진 에어리어의 화소 출력 단위군의 전체의 화각의 방향이, 다른 에어리어 또는 상기 화소 영역의 화소 출력 단위군 전체의 화각의 방향과 상이한 (10) 내지 (12) 중 어느 하나에 기재된 촬상 소자.
(14) 복수의 에어리어의 각 화소 출력 단위로부터 신호가 판독되고,
상기 복수의 에어리어의 각각에 대응지어진 신호 처리부는, 자신에 대응하는 에어리어의 각 화소 출력 단위로부터 판독되는 신호를 처리하는 (3) 내지 (13) 중 어느 하나에 기재된 촬상 소자.
(15) 상기 신호 처리부는, 자신에 대응하는 에어리어의 화소 출력 단위로부터 판독되는 신호를 A/D 변환하여 상기 출력 화소값을 얻는 (3) 내지 (14) 중 어느 하나에 기재된 촬상 소자.
(16) 상기 구성은, 상기 출력 화소값의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 상기 화소 출력 단위마다 독립적으로 설정 가능한 구성인 (3) 내지 (15) 중 어느 하나에 기재된 촬상 소자.
(17) 상기 구성은, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 상기 화소 출력 단위마다 독립적으로 설정 가능한 구성인 (3) 내지 (16) 중 어느 하나에 기재된 촬상 소자.
(18) 상기 복수의 화소 출력 단위는, 출력에 기여하는 PD(Photo Diode)를 서로 다르게 함으로써, 상기 출력 화소값의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 상기 화소 출력 단위마다 독립적으로 설정할 수 있는 (3) 내지 (17) 중 어느 하나에 기재된 촬상 소자.
100: 촬상 장치
120: 촬상부
121: 촬상 소자
122: 판독 제어부
123: 복원 행렬 설정부
124: 복원부
125: 연관부
126: 센서부
301: 상부 기판
302: 하부 기판
311: 화소 영역
312: 에어리어
313: 수직 주사부
314: 수평 주사부
321: 에어리어 ADC
322: 디지털 신호 처리부
323: 타이밍 생성부
324: DAC
331: 비교부
332: 래치부
401 내지 403: 에어리어
500: 감시 시스템
511: 감시 카메라
512: 케이블
513: 서버

Claims (18)

  1. 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 상기 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위와, 상기 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위가 형성되는 에어리어에 대응지어 설치되고, 상기 에어리어에 형성되는 화소 출력 단위로부터 판독되는 신호를 처리하여 상기 출력 화소값을 얻는 신호 처리부를 구비하는 촬상 소자와,
    상기 촬상 소자의 각 화소 출력 단위의 출력 화소값을 선택적으로 판독하는 판독 제어부를 구비하는, 촬상 장치.
  2. 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 상기 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위와, 상기 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위가 형성되는 에어리어에 대응지어 설치되고, 상기 에어리어에 형성되는 화소 출력 단위로부터 판독되는 신호를 처리하여 상기 출력 화소값을 얻는 신호 처리부를 구비하는 촬상 소자
    의 각 화소 출력 단위의 출력 화소값을 선택적으로 판독하는, 촬상 방법.
  3. 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고 입사하는 입사광을 수광하여, 상기 입사광의 입사각에 따라 변조된 출력 화소값을 나타내는 검출 신호를 각각 1개 출력하는 복수의 화소 출력 단위와,
    상기 복수의 화소 출력 단위 중 적어도 2개의 화소 출력 단위가 형성되는 에어리어에 대응지어 설치되고, 상기 에어리어에 형성되는 화소 출력 단위로부터 판독되는 신호를 처리하여 상기 출력 화소값을 얻는 신호 처리부를 구비하는, 촬상 소자.
  4. 제3항에 있어서,
    복수의 에어리어의, 각각의 미리 정해진 화소 출력 단위로부터 신호가 판독되고,
    상기 복수의 에어리어의 각각에 대응지어진 각 신호 처리부는, 자신에 대응하는 에어리어의 상기 화소 출력 단위로부터 판독되는 신호를 처리하는, 촬상 소자.
  5. 제4항에 있어서,
    각 에어리어의 상기 화소 출력 단위는, 에어리어 내에서 최초로 신호가 판독되는 화소 출력 단위인, 촬상 소자.
  6. 제4항에 있어서,
    각 에어리어에서의 각 화소 출력 단위의 신호의 판독순서는 서로 동일한, 촬상 소자.
  7. 제4항에 있어서,
    각 에어리어의 상기 화소 출력 단위의 집합 전체가, 화소 영역의 화소 출력 단위군 전체와 동등한, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 갖는, 촬상 소자.
  8. 제3항에 있어서,
    복수의 에어리어 중 미리 정해진 일부 에어리어의 각 화소 출력 단위로부터 신호가 판독되고,
    상기 일부 에어리어에 대응지어진 신호 처리부는, 자신에 대응하는 에어리어의 각 화소 출력 단위로부터 판독되는 신호를 처리하는, 촬상 소자.
  9. 제8항에 있어서,
    상기 신호가 판독되는 에어리어의 화소 출력 단위군의 전체가, 화소 영역의 화소 출력 단위군 전체와 동등한, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 갖는, 촬상 소자.
  10. 제8항에 있어서,
    상기 신호가 판독되는 에어리어의 화소 출력 단위군의 전체가, 화소 영역의 화소 출력 단위군 전체와 다른, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 갖는, 촬상 소자.
  11. 제10항에 있어서,
    상기 신호가 판독되는 에어리어의 각 화소 출력 단위의 상기 입사각 지향성이, 모두, 상기 화소 영역에 대해 수직인, 촬상 소자.
  12. 제10항에 있어서,
    미리 정해진 에어리어의 화소 출력 단위군의 전체의 화각의 크기가, 다른 에어리어 또는 상기 화소 영역의 화소 출력 단위군 전체의 화각의 크기와 상이한, 촬상 소자.
  13. 제10항에 있어서,
    미리 정해진 에어리어의 화소 출력 단위군의 전체의 화각의 방향이, 다른 에어리어 또는 상기 화소 영역의 화소 출력 단위군 전체의 화각의 방향과 상이한, 촬상 소자.
  14. 제3항에 있어서,
    복수의 에어리어의 각 화소 출력 단위로부터 신호가 판독되고,
    상기 복수의 에어리어의 각각에 대응지어진 신호 처리부는, 자신에 대응하는 에어리어의 각 화소 출력 단위로부터 판독되는 신호를 처리하는, 촬상 소자.
  15. 제3항에 있어서,
    상기 신호 처리부는, 자신에 대응하는 에어리어의 화소 출력 단위로부터 판독되는 신호를 A/D 변환하여 상기 출력 화소값을 얻는, 촬상 소자.
  16. 제3항에 있어서,
    상기 구성은, 상기 출력 화소값의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 상기 화소 출력 단위마다 독립적으로 설정 가능한 구성인, 촬상 소자.
  17. 제3항에 있어서,
    상기 구성은, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 상기 화소 출력 단위마다 독립적으로 설정 가능한 구성인, 촬상 소자.
  18. 제3항에 있어서,
    상기 복수의 화소 출력 단위는, 출력에 기여하는 포토다이오드(PD; Photo Diode)를 서로 다르게 함으로써, 상기 출력 화소값의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성을 상기 화소 출력 단위마다 독립적으로 설정할 수 있는, 촬상 소자.
KR1020207014174A 2017-11-30 2018-10-19 촬상 장치, 촬상 방법 및 촬상 소자 KR20200094741A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2017-229907 2017-11-30
JP2017229907 2017-11-30
PCT/JP2018/038949 WO2019106999A1 (ja) 2017-11-30 2018-10-19 撮像装置および方法、並びに、撮像素子

Publications (1)

Publication Number Publication Date
KR20200094741A true KR20200094741A (ko) 2020-08-07

Family

ID=66664883

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207014174A KR20200094741A (ko) 2017-11-30 2018-10-19 촬상 장치, 촬상 방법 및 촬상 소자

Country Status (6)

Country Link
US (1) US11350053B2 (ko)
EP (1) EP3720116A4 (ko)
JP (1) JP7322708B2 (ko)
KR (1) KR20200094741A (ko)
CN (1) CN111373739B (ko)
WO (1) WO2019106999A1 (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112106343A (zh) 2018-03-29 2020-12-18 索尼公司 信息处理装置、信息处理方法、程序和信息处理系统
JP2020113573A (ja) * 2019-01-08 2020-07-27 キヤノン株式会社 光電変換装置
JP2020182139A (ja) * 2019-04-26 2020-11-05 ソニー株式会社 撮像システム及び撮像素子
US11222476B2 (en) * 2019-05-14 2022-01-11 Panasonic Automotive Systems Company Of America, Division Of Panasonic Corporation Of North America System to add parallax to video for augmented reality head up display
JP7310354B2 (ja) * 2019-06-25 2023-07-19 株式会社リコー 画像処理装置、画像形成装置および画像処理方法
JP2021022179A (ja) * 2019-07-29 2021-02-18 コベルコ建機株式会社 建設機械のデータ処理システム
CN114586334A (zh) * 2019-10-29 2022-06-03 索尼集团公司 信息处理装置、信息处理方法、程序和信息处理系统
US20220377275A1 (en) * 2019-10-30 2022-11-24 Sony Group Corporation Imaging device, display device, and imaging system
JP7453819B2 (ja) 2020-03-17 2024-03-21 日本放送協会 イメージセンサ及び撮像装置
JP2022073575A (ja) * 2020-11-02 2022-05-17 ソニーセミコンダクタソリューションズ株式会社 撮像装置及び情報処理装置

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016510910A (ja) 2013-03-05 2016-04-11 ラムバス・インコーポレーテッド 高解像度レンズなし光学検知の奇対称を有する位相格子
JP2016123529A (ja) 2014-12-26 2016-07-11 株式会社大都技研 遊技台

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002165136A (ja) * 2000-11-29 2002-06-07 Canon Inc 撮像装置及び撮像システム
JP2011204878A (ja) * 2010-03-25 2011-10-13 Sony Corp 固体撮像デバイスおよび電子機器
CN104247401B (zh) 2012-03-30 2019-07-02 株式会社尼康 拍摄元件以及拍摄装置
JP6174940B2 (ja) * 2012-10-19 2017-08-02 キヤノン株式会社 撮像素子及び撮像装置
US9110240B2 (en) 2013-03-05 2015-08-18 Rambus Inc. Phase gratings with odd symmetry for high-resolution lensed and lensless optical sensing
JP2015216186A (ja) * 2014-05-09 2015-12-03 ソニー株式会社 固体撮像装置および電子機器
US9761730B2 (en) 2014-10-29 2017-09-12 Semiconductor Energy Laboratory Co., Ltd. Imaging device and electronic device
WO2016123529A1 (en) 2015-01-29 2016-08-04 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers
JP6579756B2 (ja) * 2015-02-10 2019-09-25 キヤノン株式会社 固体撮像素子およびそれを用いた撮像装置
US10386788B2 (en) 2015-11-30 2019-08-20 Rambus Inc. Systems and methods for improving resolution in lensless imaging
JP7259757B2 (ja) 2017-10-19 2023-04-18 ソニーグループ株式会社 撮像装置、並びに、画像処理装置および方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016510910A (ja) 2013-03-05 2016-04-11 ラムバス・インコーポレーテッド 高解像度レンズなし光学検知の奇対称を有する位相格子
JP2016123529A (ja) 2014-12-26 2016-07-11 株式会社大都技研 遊技台

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
비특허문헌 1: M. Salman Asif, 외 4명, "Flatcam: Replacing lenses with masks and computation", "2015 IEEE International Conference on Computer Vision Workshop (ICCVW)", 2015년, 663-666페이지

Also Published As

Publication number Publication date
CN111373739B (zh) 2023-04-07
US20200288076A1 (en) 2020-09-10
CN111373739A (zh) 2020-07-03
US11350053B2 (en) 2022-05-31
JP7322708B2 (ja) 2023-08-08
JPWO2019106999A1 (ja) 2020-12-10
EP3720116A1 (en) 2020-10-07
WO2019106999A1 (ja) 2019-06-06
EP3720116A4 (en) 2020-10-07

Similar Documents

Publication Publication Date Title
JP7322708B2 (ja) 撮像素子
US10958847B2 (en) Imaging device, image processing method, and image processing system
US10986986B2 (en) Solid-state image pickup element, image pickup apparatus, and method of controlling solid-state image pickup element
US11217617B2 (en) Imaging element and solid-state imaging device
US10873715B2 (en) Solid-state image sensor, imaging device, and method of controlling solid-state image sensor
US11006060B2 (en) Imaging device and electronic device
JP2019046960A (ja) 固体撮像装置および電子機器
US11483481B2 (en) Electronic instrument
WO2020170565A1 (ja) 信号処理方法および撮像装置
JPWO2020174865A1 (ja) 可変焦点距離レンズ系及び撮像装置
WO2020026882A1 (en) Imaging apparatus, signal processing apparatus, signal processing method, and program
US11368609B2 (en) Electronic apparatus
US20230068923A1 (en) Imaging device, imaging method, and electronic device
US20210084250A1 (en) Imaging element and imaging device
JP7316340B2 (ja) 固体撮像装置および電子機器
WO2024024464A1 (ja) 固体撮像素子、および電子機器
WO2021215299A1 (ja) 撮像素子および撮像装置
JPWO2020174866A1 (ja) 可変焦点距離レンズ系及び撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
WITB Written withdrawal of application