KR20190022619A - 촬상 장치, 촬상 소자, 및 화상 처리 장치 - Google Patents

촬상 장치, 촬상 소자, 및 화상 처리 장치 Download PDF

Info

Publication number
KR20190022619A
KR20190022619A KR1020197000665A KR20197000665A KR20190022619A KR 20190022619 A KR20190022619 A KR 20190022619A KR 1020197000665 A KR1020197000665 A KR 1020197000665A KR 20197000665 A KR20197000665 A KR 20197000665A KR 20190022619 A KR20190022619 A KR 20190022619A
Authority
KR
South Korea
Prior art keywords
pixel
image
light
pixel output
angle
Prior art date
Application number
KR1020197000665A
Other languages
English (en)
Other versions
KR102353634B1 (ko
Inventor
요시타카 미야타니
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20190022619A publication Critical patent/KR20190022619A/ko
Application granted granted Critical
Publication of KR102353634B1 publication Critical patent/KR102353634B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N5/3454—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B5/00—Optical elements other than lenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/702—SSIS architectures characterised by non-identical, non-equidistant or non-planar pixel layout
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/71—Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75—Circuitry for providing, modifying or processing image signals from the pixel array
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/79—Arrangements of circuitry being divided between different or multiple substrates, chips or circuit boards, e.g. stacked image sensors
    • H04N5/2258—
    • H04N5/369—
    • H04N5/374—
    • H04N5/378—
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Power Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Condensed Matter Physics & Semiconductors (AREA)
  • Electromagnetism (AREA)
  • Microelectronics & Electronic Packaging (AREA)
  • Optics & Photonics (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Solid State Image Pick-Up Elements (AREA)
  • Color Television Image Signal Generators (AREA)
  • Cameras In General (AREA)

Abstract

본 개시는, 촬상 렌즈를 이용하지 않는 경우에 있어서, 화소마다의 다양성을 갖게 할 수 있도록 하는 촬상 장치, 촬상 소자, 및 화상 처리 장치에 관한 것이다. 피사체를 포함하는 피사체면으로부터의 입사광의 입사 각도에 따라 다른 입사각 지향성을 가지는 복수의 화소에 의해, 입사광이 수광됨으로써 검출되는 검출 화상을 촬상하고, 검출 화상과 피사체면까지의 거리에 따라 설정되는 계수 세트를 이용한 연산에 의해, 피사체면의 상이 결상된 복원 화상을 신호 처리에 의해 생성한다. 동일한 검출 화상과 피사체면까지의 거리에 따른 계수 세트를 이용한 연산에 의해 복원 화상을 생성하도록 하였기 때문에, 화소마다의 다양성을 지니게 할 수 있다. 본 개시는 촬상 장치에 적용할 수 있다.

Description

촬상 장치, 촬상 소자, 및 화상 처리 장치
본 개시는, 촬상 장치, 촬상 소자, 및 화상 처리 장치에 관한 것으로, 특히, 촬상 기능을 실현하기 위한 구성의 설계의 자유도를 향상시킬 수 있도록 한 촬상 장치, 촬상 소자, 및 화상 처리 장치에 관한 것이다.
촬상 장치의 구성은, 촬상 렌즈와 촬상 소자가 조합된 구성과, 핀홀과 촬상 소자가 조합된 구성이 일반적으로 널리 알려진 것이다.
이 중, 촬상 렌즈와 촬상 소자가 조합된 구성은, 현재의 대부분의 촬상 장치에 채용되고 있고, 촬상 렌즈에 의해, 피사체로부터의 광이 효율적으로 집광됨으로써, 촬상 소자의 촬상면에 최종 화(畵) 상당의 상이 결상되고, 이것이 촬상 소자에 의해 촬상된다.
그런데 , 촬상 렌즈와 촬상 소자를 조합한 구성의 촬상 장치에서는, 촬상 렌즈의 수차에 의한 영향이 생김과 함께, 촬상 렌즈가 필수 구성으로 되기 때문에 장치 구성의 소형화에는 한계가 있다.
한편, 핀홀과 촬상 소자를 조합한 구성은, 촬상 렌즈를 수반하지 않는 구성이지만, 촬상면에 도달하는 광량이 적기 때문에, 노광 시간을 길게 하거나, 또는, 게인을 높이는 처리가 필요하게 되어, 일반의 사용에는 적합하지 않고, 특히, 고속 촬상에 적합하지 않다.
따라서, 촬상 렌즈를 이용하지 않고, 회절 격자로 이루어지는 광학 필터와 촬상 소자를 조합한 구성에 의해, 피사체로부터의 광을, 회절 격자로 이루어지는 광학 필터를 거쳐 얻어지는 패턴으로서 촬상하고, 촬상 결과가 되는 패턴을 이용한 연산 처리에 의해 피사체의 상이 결상된 화상을 재현하는 촬상 장치가 제안되어 있다(비특허문헌 1 및 특허문헌 1 참조).
국제공개공보 제2016/123529호
Figure pct00001
그러나, 비특허문헌 1이나 특허문헌 1과 같은 구성일 경우, 동일한 점 광원으로부터의 광이 광학 필터를 거쳐 복수의 인접하는 화소에 입사되는 것으로부터, 화소 단위로 임의의 특성으로 할 수 없다.
본 개시는, 이와 같은 상황을 감안하여 이루어진 것으로, 촬상 렌즈를 이용하지 않는 경우에 있어서, 화소 마다의 다양성을 갖게 할 수 있도록 하는 것이다.
본 개시의 제1 측면의 촬상 장치는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고, 입사하는 입사광을 수광하는 복수의 화소 출력 단위를 갖고, 상기 복수의 화소 출력 단위 중, 적어도 2개의 상기 화소 출력 단위의 출력 화소치의, 피사체로부터의 입사광의 입사각에 대한 특성이 서로 다른 촬상 소자를 구비한 촬상 장치이다.
상기 특성은, 상기 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성으로 할 수 있다.
상기 복수의 화소 출력 단위의 각각으로부터 1개의 검출 신호가 출력되도록 할 수 있다.
상기 복수의 화소 출력 단위로부터 출력된 복수의 검출 신호로 이루어지는 검출 화상을 이용하여, 상기 피사체를 시인 가능한 복원 화상을 복원하는 화상 복원부를 더 마련하도록 할 수 있다.
상기 화상 복원부에는, 상기 복수의 화소 출력 단위 중 일부의 화소 출력 단위의 검출 신호를 선택적으로 이용하여, 상기 복원 화상을 복원시키도록 할 수 있다.
상기 화상 복원부에는, 상기 복수의 화소 출력 단위 중 일부의 화소 출력 단위의 검출 신호를 이용하여 상기 복원 화상을 복원하는 복원 처리와, 상기 복수의 화소 출력 단위 중 모든 화소 출력 단위의 검출 신호를 이용하여 상기 복원 화상을 복원하는 복원 처리를 선택적으로 실행시키도록 할 수 있다.
상기 복수의 화소 출력 단위에는, 광각인 화상에 적절한 상기 입사각 지향성을 가지는 광각 대응 화소 출력 단위와, 상기 광각 대응 화소 출력 단위와 비교하여 좁은 협각 대응 화소 출력 단위를 포함하게 하도록 할 수 있고, 상기 화상 복원부에는, 상기 광각 대응 화소 출력 단위와 상기 협각 대응 화소 출력 단위를 선택적으로 이용하여 상기 복원 화상을 복원시키도록 할 수 있다.
상기 피사체로부터의 주(主) 광선 입사 각도가 다른 확산광을, 서로 인접하는 복수의 화소 출력 단위에 입사시키기 위한 집광 기능을 구비하지 않게 할 수 있다.
상기 복수의 화소 출력 단위에는, 각각 상기 피사체로부터의 입사광의 입사각에 대한 특성을 독립으로 설정 가능한 구성을 마련하도록 할 수 있다.
본 개시의 제1 측면에 있어서는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고, 입사하는 입사광을 수광하는 복수의 화소 출력 단위를 갖고, 상기 복수의 화소 출력 단위 중, 적어도 2개의 상기 화소 출력 단위의 출력 화소치의, 피사체로부터의 입사광의 입사각에 대한 특성이 서로 다르다.
본 개시의 제2 측면의 촬상 소자는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고, 입사하는 입사광을 수광하는 복수의 화소 출력 단위를 갖고, 상기 복수의 화소 출력 단위 중, 적어도 2개의 상기 화소 출력 단위의 출력 화소치의, 피사체로부터의 입사광의 입사각에 대한 특성이 서로 다른 촬상 소자이다.
상기 복수의 화소 출력 단위 중, 적어도 2개의 상기 화소 출력 단위는, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성이 서로 다르도록 할 수 있다.
상기 복수의 화소 출력 단위의 각각은, 1개의 포토 다이오드로 구성되고, 상기 복수의 화소 출력 단위의 각각으로부터 1개의 검출 신호가 출력되도록 할 수 있다.
상기 적어도 2개의 화소 출력 단위에는, 상기 포토 다이오드에의 상기 피사체로부터의 입사광인 피사체광의 입사를 차단하는 차광막을 각각 마련하도록 할 수 있고, 상기 피사체광의 상기 2개의 화소 출력 단위에의 입사가, 상기 차광막에 의해 차단되는 범위가, 상기 적어도 2개의 화소 출력 단위에서 서로 다르도록 할 수 있다.
상기 복수의 화소 출력 단위의 각각은, 복수의 포토 다이오드로 구성되고, 상기 복수의 화소 출력 단위의 각각으로부터 1개의 검출 신호가 출력되도록 할 수 있다.
상기 적어도 2개의 화소 출력 단위는, 상기 복수의 포토 다이오드 중, 상기 검출 신호에 기여하는 포토 다이오드가 서로 다르도록 할 수 있다.
상기 복수의 화소 출력 단위가, 광각인 화상에 적절한 입사각 지향성을 가지는 광각 대응 화소 출력 단위와, 상기 광각 대응 화소 출력 단위와 비교하여 협각인 화상에 적절한 입사각 지향성을 가지는 협각 대응 화소 출력 단위를 포함하도록 할 수 있다.
상기 복수의 화소 출력 단위에 각각 대응하는 복수의 온칩(on-chip) 렌즈를 마련하도록 할 수 있다.
상기 입사각 지향성은, 상기 온칩 렌즈의 곡률에 따른 특성을 가지도록 할 수 있다.
상기 입사각 지향성은, 차광 영역에 따른 특성을 가지도록 할 수 있다.
상기 복수의 온칩 렌즈 중, 적어도 일부의 온칩 렌즈의 곡률은 다른 온칩 렌즈의 곡률과 다르도록 할 수 있다.
본 개시의 제2 측면에 있어서는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고, 입사하는 입사광을 수광하는 복수의 화소 출력 단위를 갖고, 상기 복수의 화소 출력 단위 중, 적어도 2개의 상기 화소 출력 단위의 출력 화소치의, 피사체로부터의 입사광의 입사각에 대한 특성이 서로 다르다.
상기 복수의 화소 출력 단위에는, 각각 상기 피사체로부터의 입사광의 입사각에 대한 특성을 독립으로 설정 가능한 구성을 마련하도록 할 수 있다.
본 개시의 제3 측면의 화상 처리 장치는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고, 입사하는 입사광을 수광하는 복수의 화소 출력 단위를 갖고, 상기 복수의 화소 출력 단위 중, 적어도 2개의 상기 화소 출력 단위의 출력 화소치의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성이 서로 다른 촬상 소자의 상기 복수의 화소 출력 단위로부터 각각 출력된 복수의 검출 신호로 이루어지는 검출 화상을 이용하여, 상기 피사체를 시인 가능한 복원 화상을 복원하는 화상 복원부를 구비하는 화상 처리 장치이다.
상기 화상 복원부에는, 상기 복수의 화소 출력 단위 중 일부의 화소 출력 단위의 검출 신호를 선택적으로 이용하여, 상기 복원 화상을 복원시키도록 할 수 있다.
상기 화상 복원부에는, 상기 복수의 화소 출력 단위 중 일부의 화소 출력 단위의 검출 신호를 이용하여 상기 복원 화상을 복원하는 복원 처리와, 상기 복수의 화소 출력 단위 중 모든 화소 출력 단위의 검출 신호를 이용하여 상기 복원 화상을 복원하는 복원 처리를 선택적으로 실행시키도록 할 수 있다.
상기 복수의 화소 출력 단위에는, 광각인 화상에 적절한 상기 입사각 지향성을 가지는 광각 대응 화소 출력 단위와, 상기 광각 대응 화소 출력 단위와 비교하여 좁은 협각 대응 화소 출력 단위를 포함하게 하도록 할 수 있고, 상기 화상 복원부에는, 상기 광각 대응 화소 출력 단위와 상기 협각 대응 화소 출력 단위를 선택적으로 이용하여 상기 복원 화상을 복원시키도록 할 수 있다.
본 개시의 제3 측면에 있어서는, 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고, 입사하는 입사광을 수광하는 복수의 화소 출력 단위를 갖고, 상기 복수의 화소 출력 단위 중, 적어도 2개의 상기 화소 출력 단위의 출력 화소치의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성이 서로 다른 촬상 소자의 상기 복수의 화소 출력 단위로부터 각각 출력된 복수의 검출 신호로 이루어지는 검출 화상이 이용되어, 상기 피사체가 시인 가능한 복원 화상이 복원된다.
본 개시의 일 측면에 의하면, 촬상하기 위한 구성의 설계 자유도를 향상시키는 것이 가능하게 된다.
[도 1] 촬상의 원리를 설명하는 도면이다.
[도 2] 촬상 렌즈와 종래의 촬상 소자로 이루어지는 촬상 장치에 있어서의 촬상의 원리를 설명하는 도면이다.
[도 3] 핀홀과 종래의 촬상 소자로 이루어지는 촬상 장치에 있어서의 촬상의 원리를 설명하는 도면이다.
[도 4] 종래의 촬상 소자만을 이용한 촬상 장치에 있어서의 촬상의 원리를 설명하는 도면이다.
[도 5] 본 개시의 기술을 적용한 촬상 장치에 있어서의 촬상의 원리를 설명하는 도면이다.
[도 6] 본 개시의 기술을 적용한 촬상 장치의 제1 실시형태의 구성예를 설명하는 도면이다.
[도 7] 종래의 촬상 장치의 구성예를 설명하는 도면이다.
[도 8] 도 7의 종래의 촬상 장치에 의한 종래의 촬상 처리를 설명하는 흐름도이다.
[도 9] 종래의 촬상 소자와 본 개시의 지향성 촬상 소자와의 구성의 차이를 설명하는 도면이다.
[도 10] 지향성 촬상 소자의 제1 구성예를 설명하는 도면이다.
[도 11] 지향성 촬상 소자의 제1 구성예를 설명하는 도면이다.
[도 12] 입사각 지향성의 발생의 원리를 설명하는 도면이다.
[도 13] 온칩 렌즈를 이용한 입사각 지향성의 변화를 설명하는 도면이다.
[도 14] 입사각 지향성의 설계를 설명하는 도면이다.
[도 15] 온칩 렌즈와 촬상 렌즈와의 차이를 설명하는 도면이다.
[도 16] 온칩 렌즈와 촬상 렌즈와의 차이를 설명하는 도면이다.
[도 17] 온칩 렌즈와 촬상 렌즈와의 차이를 설명하는 도면이다.
[도 18] 피사체면에 있어서의 각 영역과 지향성 촬상 소자에 있어서의 각 화소와의 관계를 설명하는 도면이다.
[도 19] 입사광이 평행광인 것을 설명하는 도면이다.
[도 20] 지향성 촬상 소자의 각 화소에 있어서의 입사 각도를 설명하는 도면이다.
[도 21] 수직 방향의 수광 감도 특성을 설명하는 도면이다.
[도 22] 수평 방향의 수광 감도 특성을 설명하는 도면이다.
[도 23] 지향성 촬상 소자의 각 화소의 입사 각도에 따른 수광 감도 특성을 설명하는 도면이다.
[도 24] 피사체면의 영역 O11로부터의 광의 지향성 촬상 소자의 각 화소의 수광 감도를 설명하는 도면이다.
[도 25] 피사체면의 영역 O21로부터의 광의 지향성 촬상 소자의 각 화소의 수광 감도를 설명하는 도면이다.
[도 26] 피사체면의 영역 O31로부터의 광의 지향성 촬상 소자의 각 화소의 수광 감도를 설명하는 도면이다.
[도 27] 피사체면의 영역 O12로부터의 광의 지향성 촬상 소자의 각 화소의 수광 감도를 설명하는 도면이다.
[도 28] 피사체면의 영역 O22로부터의 광의 지향성 촬상 소자의 각 화소의 수광 감도를 설명하는 도면이다.
[도 29] 피사체면의 영역 O32로부터의 광의 지향성 촬상 소자의 각 화소의 수광 감도를 설명하는 도면이다.
[도 30] 피사체면의 영역 O13으로부터의 광의 지향성 촬상 소자의 각 화소의 수광 감도를 설명하는 도면이다.
[도 31] 피사체면의 영역 O23으로부터의 광의 지향성 촬상 소자의 각 화소의 수광 감도를 설명하는 도면이다.
[도 32] 피사체면의 영역 O33으로부터의 광의 지향성 촬상 소자의 각 화소의 수광 감도를 설명하는 도면이다.
[도 33] 피사체 거리와 입사각 지향성을 표현하는 계수와의 관계를 설명하는 도면이다.
[도 34] 협화각 화소와 광화각 화소와의 관계를 설명하는 도면이다.
[도 35] 협화각 화소와 광화각 화소와의 관계를 설명하는 도면이다.
[도 36] 협화각 화소와 광화각 화소와의 관계를 설명하는 도면이다.
[도 37] 도 6의 본 개시의 촬상 장치에 의한 촬상 처리를 설명하는 흐름도이다.
[도 38] 제1 변형예를 설명하는 도면이다.
[도 39] 제2 변형예를 설명하는 도면이다.
[도 40] 제2 변형예를 설명하는 도면이다.
[도 41] 제2 변형예를 응용하여 화각을 변화시키는 예를 설명하는 도면이다.
[도 42] 제2 변형예를 응용하여 화각을 변화시킬 때, 복수의 화각의 화소를 조합하는 예를 설명하는 도면이다.
[도 43] 제3 변형예를 설명하는 도면이다.
[도 44] 차광 범위를 수평 방향 및 수직 방향의 각각에 대해서 규칙을 마련함으로써 계산량 및 메모리의 용량을 저감시키는 이유를 설명하는 도면이다.
[도 45] 차광 범위를 수평 방향 및 수직 방향의 각각에 대해서 규칙을 마련함으로써 계산량 및 메모리의 용량을 저감시키는 이유를 설명하는 도면이다.
[도 46] 차광 범위를 수평 방향 및 수직 방향의 각각에 대해서 규칙을 마련함으로써 계산량 및 메모리의 용량을 저감시키는 이유를 설명하는 도면이다.
[도 47] 차광 범위를 수평 방향 및 수직 방향의 각각에 대해서 규칙을 마련함으로써 계산량 및 메모리의 용량을 저감시키는 이유를 설명하는 도면이다.
[도 48] 제4 변형예를 설명하는 도면이다.
[도 49] 제5 변형예를 설명하는 도면이다.
[도 50] 제6 변형예를 설명하는 도면이다.
[도 51] 제7 변형예를 설명하는 도면이다.
[도 52] 제8 변형예를 설명하는 도면이다.
[도 53] 본 개시의 기술을 적용한 촬상 장치의 제2 실시형태의 구성예를 설명하는 도면이다.
이하에 첨부 도면을 참조하면서, 본 개시의 바람직한 실시형태에 대해 상세하게 설명한다. 또한, 본 명세서 및 도면에 있어, 실질적으로 동일한 기능 구성을 가지는 구성요소에 대해서는, 동일한 부호를 부여함으로써 중복 설명을 생략한다.
또한, 이하의 순서로 설명을 행한다.
1. 본 개시의 촬상 장치의 개요
2. 제1 실시형태
3. 제2 실시형태
<<1. 본 개시의 촬상 장치의 개요>>
본 개시의 촬상 장치를 설명함에 있어, 그 개요에 대해 설명한다.
<촬상의 원리>
모든 피사체는 점 광원의 집합인 것으로 생각할 수 있고, 모든 방향으로 광이 출사되고 있다. 따라서, 점 광원으로부터 발하는 광을 어떻게 촬상하는지에 대해 생각함으로써, 촬상의 원리를 설명할 수 있다. 여기서는, 도 1의 상단에 나타내는 바와 같이, 점 광원 P로부터 광선 L1 내지 L5가 발하여지는 것으로 하고, 광선 L1 내지 L5의 각각이 광강도 a의 광선인 것으로 한다.
촬상 장치의 구성이, 촬상 렌즈(11)와 1 화소 분의 촬상 소자(D)로 이루어지는 구성이며, 이 촬상 소자(D)에 의해 점 광원 P를 촬상하는 경우, 도 1의 중단에 나타내는 바와 같이, 촬상 렌즈(11)가, 점 광원 P로부터 발하여지는 광선 L1 내지 L5를, 광선 L1＇ 내지 L5＇로 나타내지는 바와 같이 집광하고, 촬상 소자(D)에 점 광원 P의 상을 결상하고, 이것이 촬상 소자(D)에 의해 촬상된다.
이 경우, 촬상 소자(D)에 있어서는, 점 광원 P로부터 발하여진 광선 L1 내지 L5의 모든 광강도의 합계인 광강도 5a의 광으로 이루어지는 상이 결상되어 촬상 소자(D)에 입사됨으로써, 충분한 광량의 화상으로서 촬상된다.
그런데, 이 점 광원 P의 집합이 피사체를 구성하게 되는 것은 상술한 바와 같다. 따라서, 피사체의 촬상은, 피사체면 상의 복수의 점 광원 P로부터 발하여지는 광선이 집광되어 결상되는 피사체를 촬상하게 된다.
즉, 예를 들어, 도 2의 좌부에서 나타내는 바와 같이, 피사체면(31)에 있어서의 피사체가 점 광원 PA, PB, PC에 의해 구성되고, 점 광원 PA, PB, PC의 각각으로부터, 도 1의 상단에 나타내는 경우와 마찬가지로 광강도 a, b, c의 광선이 각각 5체(體) 출사되는 경우, 광강도의 합계는, 각각 광강도 5a, 5b, 5c가 된다.
이 경우, 도 1의 중단에 나타내는 촬상의 원리에 따르면, 촬상 렌즈(11)에 의해 점 광원 PA, PB, PC로부터의 광선이, 복수의 화소로 이루어지는 촬상 소자(32)의 촬상면 상에 있어서의 위치 Pa, Pb, Pc에 각각 집광되고 피사체의 상이 결상되어 촬상되게 된다.
여기서, 촬상 소자(32) 상의 위치 Pa, Pb, Pc에 있어서의 화소의 검출 신호 레벨은, 각 광선의 검출 신호 레벨이 a, b, c일 때, 도 2의 우부에서 나타내는 바와 같이, 위치 Pa, Pb, Pc의 각각에 있어서, 검출 신호 레벨 5a, 5b, 5c가 된다.
또한, 도 2의 우부에 있어서는, 종축이 촬상 소자(32) 상의 위치를 나타내고, 횡축이, 각 위치의 촬상 소자에 있어서의 검출 신호 레벨을 나타내고 있다. 즉, 촬상 소자(32) 상에 있어서의 위치 Pa, Pb, Pc가, 피사체면(31) 상에 있어서의 점 광원 PA, PB, PC에 대해서, 도립(倒立)한 위치 관계이며, 또한, 위치 Pa, Pb, Pc의 각 검출 신호 레벨이, 점 광원 PA, PB, PC로부터 발하여진 광선의 광강도가 되는, 피사체의 상이 결상된 화상이 촬상되게 된다.
한편, 촬상 장치의 구성이, 차광막(12)에 대해서 구멍부로서 설치된 핀홀(12a)과 촬상 소자(D)로 이루어지는 구성인 경우, 도 1의 하단에 나타내는 바와 같이, 점 광원 P로부터 발하여지는 광선 L1 내지 L5 중, 핀홀(12a)을 투과하는 광선 L3만이 촬상 소자(D)에 결상되어 촬상된다.
이 경우, 촬상 소자(D)에 있어서는, 점 광원 P로부터 발하여진 광강도 a의 광선 L3에 의해서만, 점 광원 P의 상이 결상되고 촬상 소자(D)에 입사됨으로써, 도 1의 중단에 나타내는 바와 같이, 촬상 렌즈(11)를 이용했을 경우에 대해서, 광량이 1/5의 어두운 화상으로서 촬상된다.
즉, 예를 들어, 도 3의 좌부에 나타내는 바와 같이, 피사체면(31)에 있어서의 피사체가 점 광원 PA, PB, PC에 의해 구성되고, 각각의 점 광원으로부터 발하여지는 광선이, 각각 광강도 a, b, c인 경우를 생각한다. 이 때, 도 1의 하단에 나타내는 촬상의 원리에 따르면, 촬상 소자(32)의 촬상면 상에 있어서의 위치 Pa, Pb, Pc에서는, 각각 점 광원 PA, PB, PC로부터의 1체분의 광선에 상당하는 검출 신호 레벨 a, b, c로 피사체의 상이 결상되어 촬상되게 된다.
여기서, 위치 Pa, Pb, Pc에 있어서의 검출 신호 레벨이, 각각 a, b, c(예를 들어, b>a>c인 것으로 한다)일 때, 도 3의 우부에서 나타내는 바와 같이, 위치 Pa, Pb, Pc의 각각에 있어서의 검출 신호 레벨은 a, b, c가 된다. 또한, 도 3의 우부에 있어서는, 종축이 촬상 소자(32) 상의 위치를 나타내고, 횡축이, 각 위치의 촬상 소자에 있어서의 검출 신호 레벨을 나타내고 있다. 또한, 도 3의 우부에 나타내는 검출 신호 레벨은, 피사체의 상이 결상된 화상에 대응하는 검출 신호 레벨이므로, 화소치이기도 하다.
즉, 피사체의 촬상의 본질은, 피사체면(31) 상의 각 점 광원의 휘도를 광전 변환에 의해 측정하는 것에 있고, 도 3의 우부에 있어서의 점 광원 PA, PB, PC의 각각의 광강도 a, b, c를 검출하는 것이다.
도 1을 참조하여 설명한 것처럼, 촬상 렌즈(11)의 역할은 점 광원 PA, PB, PC로부터 출사되는 각 광선, 즉 확산광을, 촬상 소자(32) 상에 가이드하는 것에 있다. 그 때문에, 촬상 소자(32) 상에는 최종 화 상당의 상이 결상되게 되고, 검출 신호로 이루어지는 화상이, 상이 결상된 촬상 화상이 된다. 다만, 촬상 렌즈의 크기에 의해 촬상 장치의 사이즈가 결정되기 때문에, 소형화에는 한계가 있다.
또한, 핀홀과 촬상 소자와의 구성으로 이루어지는 촬상 장치는, 촬상 렌즈를 설치할 필요가 없기 때문에, 촬상 렌즈와 촬상 소자와의 구성으로 이루어지는 촬상 장치보다 장치 구성을 작게 할 수 있는 가능성이 있지만, 촬상되는 화상의 밝기가 충분하지 않기 때문에, 어느 정도의 밝기의 화상을 촬상할 수 있도록 노광 시간을 길게 하거나, 또는, 게인을 높이는 등이 필수가 되어, 고속의 피사체의 촬상에 있어서는 보케(bokeh)가 생기기 쉬워지거나, 또는, 자연스러운 색표현이 아니게 될 우려가 있다.
따라서, 도 4의 좌부에서 나타내는 바와 같이, 촬상 렌즈나 핀홀을 설치하는 일 없이, 촬상 소자(32)만을 이용하여, 피사체면(31) 상의 피사체를 촬상하는 것을 생각한다.
예를 들어, 도 4의 좌부에서 나타내는 바와 같이, 점 광원 PA, PB, PC로부터, 촬상 소자(32) 상의 위치 Pa, Pb, Pc의 각각에 광강도 a, b, c의 광선이 입사하는 것으로 하면, 촬상 소자(32) 상의 위치 Pa, Pb, Pc의 각각에 있어서, 모두 점 광원 PA, PB, PC로부터의 광선이 그대로 입사되게 된다.
이 결과, 도 4의 우부에서 나타내는 바와 같이, 촬상 소자(32) 상의 위치 Pa, Pb, Pc에 있어서는, 입사각 지향성이 없기 때문에, 동일한 광강도 a＋b＋c의 광이 촬상되게 되어, 촬상 소자(32) 전체에 있어서, 위치에 상관없이, 동일한 검출 신호 레벨의 검출 신호를 얻을 수 있게 된다. 또한, 도 4의 우부에 나타내는 검출 신호 레벨은, 피사체의 상이 결상된 화상에 대응하는 검출 신호 레벨은 아니기 때문에, 복원된 화소치를 나타내는 것은 아니다.
즉, 촬상 렌즈나 핀홀을 설치하는 일 없이, 특별한 구성도 가지지 않는 촬상 소자(32)만을 이용하여, 피사체면(31) 상의 피사체의 상을 결상할 수는 없다. 이 때문에, 촬상 소자(32)만을 이용할 뿐인 구성에서는, 피사체의 상을 결상한 화상을 촬상할 수 없게 된다.
따라서, 본 개시의 촬상 장치에 있어서는, 도 5의 상단 좌부에 나타내는 바와 같이, 각 화소의 검출 감도에 입사각 지향성을 갖게 한 촬상 소자(51)를 설치하도록 한다. 여기서 말하는 각 화소의 검출 감도에 입사각 지향성을 갖게 한다는 것은, 화소에 대한 입사광의 입사 각도에 따른 수광 감도 특성을 화소마다 다른 것이 되도록 갖게 하는 것이다. 다만, 모든 화소의 수광 감도 특성이 완전하게 다른 것일 필요는 없고, 일부의 화소에 동일한 수광 감도 특성을 가지는 것이 포함되어 있어도 되고, 일부의 화소가 다른 수광 감도 특성을 가지는 것이어도 된다.
즉, 피사체면(31)을 구성하는 광원이 점 광원인 것을 전제로 했을 경우, 촬상 소자(51)에 있어서는, 동일한 점 광원으로부터 발하여진 동일한 광강도의 광선이, 모든 화소에 입사되게 되지만, 화소마다 각각 다른 입사 각도로 입사되게 된다. 그리고, 각 화소가 입사광의 입사 각도에 따른 다른 수광 감도 특성, 즉, 입사각 지향성을 가지고 있으므로, 동일한 광강도의 광선이여도, 각 화소에서 다른 감도로 검출되게 되어, 화소마다 다른 검출 신호 레벨의 검출 신호가 검출된다.
보다 상세하게는, 촬상 소자(51)의 각 화소에 있어서 수광되는 입사광의 입사 각도에 따른 감도 특성, 즉, 각 화소에 있어서의 입사 각도에 따른 입사각 지향성은, 입사 각도에 따른 수광 감도를 나타내는 계수로 표현하는 것으로 하고, 각 화소에 있어서의 입사광에 따른 검출 신호 레벨은, 입사광의 입사 각도에 따른 수광 감도에 대응하여 설정되는 계수를 곱함으로써 구해지는 것이 된다.
보다 구체적으로는, 도 5의 상단 우부에 나타내는 바와 같이, 위치 Pa, Pb, Pc에 있어서의 검출 신호 레벨 DA, DB, DC는, 각각 이하의 식(1) 내지 식(3)으로 나타내진다.
DA=α1×a＋β1×b＋γ1×c ···(1)
DB=α2×a＋β2×b＋γ2×c ···(2)
DC=α3×a＋β3×b＋γ3×c ···(3)
여기서, α1은, 촬상 소자(51) 상의 위치 Pa에 있어서의 복원하는 피사체면(31) 상의 점 광원 PA로부터의 광선의 입사 각도에 따라 설정되는 검출 신호 레벨 a에 대한 계수이며, 환언하면, 위치 Pa에 있어서의 점 광원 PA로부터의 광선의 입사 각도에 따른 입사각 지향성을 표현하는 검출 신호 레벨 a에 대한 계수이다.
또한, β1은, 촬상 소자(51) 상의 위치 Pa에 있어서의 복원하는 피사체면(31) 상의 점 광원 PB로부터의 광선의 입사 각도에 따라 설정되는 검출 신호 레벨 b에 대한 계수이다.
또한, γ1은, 촬상 소자(51) 상의 위치 Pa에 있어서의 복원하는 피사체면(31) 상의 점 광원 PC로부터의 광선의 입사 각도에 따라 설정되는 검출 신호 레벨 c에 대한 계수이다.
따라서, 검출 신호 레벨 DA 중의 (α1×a)는, 위치 Pc에 있어서의 점 광원 PA로부터의 광선에 의한 검출 신호 레벨을 나타낸 것이며, 위치 Pc에 있어서의 점 광원 PA로부터의 광선의 광강도 a에, 그 입사 각도에 따른 입사각 지향성을 나타내는 계수 α1가 곱해진 것이다.
또한, 검출 신호 레벨 DA 중의 (β1×b)는, 위치 Pc에 있어서의 점 광원 PB로부터의 광선에 의한 검출 신호 레벨을 나타낸 것이며, 위치 Pc에 있어서의 점 광원 PB로부터의 광선의 광강도 b에, 그 입사 각도에 따른 입사각 지향성을 나타내는 계수 β1이 곱해진 것이다.
또한, 검출 신호 레벨 DA 중의 (γ1×c)는, 위치 Pc에 있어서의 점 광원 PC로부터의 광선에 의한 검출 신호 레벨을 나타낸 것이며, 위치 Pc에 있어서의 점 광원 PC로부터의 광선의 광강도 c에, 그 입사 각도에 따른 입사각 지향성을 나타내는 계수 γ1이 곱해진 것이다.
따라서, 검출 신호 레벨 DA는, 위치 Pa에 있어서의 점 광원 PA, PB, PC의 각 성분에, 각각의 입사 각도에 따른 입사각 지향성을 나타내는 계수 α1, β1, γ1을 곱한 것의 합성치로서 표현된다. 이후, 계수 α1, β1, γ1을 합쳐서 계수 세트라 부르는 것으로 한다.
마찬가지로, 점 광원 PB에 있어서의 검출 신호 레벨 DB에 대해서, 계수 세트 α2, β2, γ2는, 각각 점 광원 PA에 있어서의 검출 신호 레벨 DA에 대한, 계수 세트 α1, β1, γ1에 대응하는 것이다. 또한, 점 광원 PC에 있어서의 검출 신호 레벨 DC에 대해서, 계수 세트 α3, β3, γ3은, 각각 점 광원 PA에 있어서의 검출 신호 레벨 DA에 대한, 계수 세트 α1, β1, γ1에 대응하는 것이다.
다만, 위치 Pa, Pb, Pc의 화소의 검출 신호 레벨에 대해서는, 점 광원 PA, PB, PC의 각각으로부터 발하여진 광선의 광강도 a, b, c와 계수와의 적화(積和)에 의해 표현되는 값이다. 이 때문에, 이러한 검출 신호 레벨은, 점 광원 PA, PB, PC의 각각으로부터 발하여진 광선의 광강도 a, b, c가 섞인 것이 되므로, 피사체의 상이 결상된 것과는 다른 것이다.
즉, 이 계수 세트 α1, β1, γ1, 계수 세트 α2, β2, γ2, 계수 세트 α3, β3, γ3와, 검출 신호 레벨 DA, DB, DC를 이용한 연립 방정식을 구성하고, 광강도 a, b, c를 풀어냄으로써, 도 5의 하단 우부에 나타내는 바와 같이 각 위치 Pa, Pb, Pc의 화소치를 구한다. 이에 의해 화소치의 집합인 복원 화상이 복원된다.
또한, 도 5의 상단 우부에 나타내는 검출 신호 레벨은, 피사체의 상이 결상된 화상에 대응하는 검출 신호 레벨은 아니기 때문에, 화소치는 아니다. 또한, 도 5의 하단 우부에 나타내는 검출 신호 레벨은, 피사체의 상이 결상된 화상에 대응하는 화소 마다의 신호치 즉 복원 화상의 각 화소의 값이므로, 화소치가 된다.
이와 같은 구성에 의해, 촬상 렌즈, 회절 격자 등으로 이루어지는 광학 필터나, 핀홀을 필요로 하지 않는, 각 화소에 있어 입사각 지향성을 가지는 촬상 소자(51)를 구성으로 하는 촬상 장치를 실현하는 것이 가능하게 된다. 결과적으로, 촬상 렌즈, 회절 격자 등으로 이루어지는 광학 필터나 핀홀 등이 필수 구성으로 되지 않기 때문에, 촬상 장치의 높이에 있어서의 감소, 즉, 촬상 기능을 실현하는 구성에 있어서의 광의 입사 방향에 대한 두께를 얇게 하는 것이 가능하게 된다.
<<2. 제1 실시형태>>
다음으로, 도 6의 블럭도를 참조하여, 본 개시의 촬상 장치를 적용한 제1 실시형태의 구성예에 대해 설명한다.
촬상 장치(101)는, 지향성 촬상 소자(121), 신호 처리부(122), 디모자이크 처리부(123), γ 보정부(124), 화이트 밸런스 조정부(125), 화상 출력부(126), 기억부(127), 표시부(128), 피사체 거리 결정부(129), 조작부(130), 및 계수 세트 선택부(131)로 구성되며, 촬상 렌즈를 포함하지 않는다.
지향성 촬상 소자(121)는, 도 5를 참조하여 설명한 촬상 소자(51)에 대응하는 것이며, 입사각 지향성을 가지는 화소를 포함하고, 입사광의 광량에 따른 검출 신호 레벨의 신호로 이루어지는 검출 화상을 출력하는 촬상 소자이다.
보다 구체적으로는, 지향성 촬상 소자(121)는, 기본적인 구조에 있어서, 일반의, 예를 들어, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서 등의 촬상 소자로 이루어지는 것과 마찬가지의 것이어도 되지만, 화소 어레이를 구성하는 각 화소의 구성이 일반의 것과 다르다. 즉, 각 화소에 있어서는, 각 포토 다이오드의 수광 영역(수광면)의 일부로서, 각각 화소마다 서로 다른 범위에 차광막이 설치되고 있다. 이에 의해, 화소마다 입사광의 입사 각도에 따라 수광 감도가 다른(변화하는) 것으로 되어, 결과적으로, 화소 단위로 입사광의 입사 각도에 대한 입사각 지향성을 가지는 촬상 소자가 실현되고 있다. 또한, 지향성 촬상 소자(121)는, 화소 어레이로서 구성되지 않아도 되고, 예를 들어, 라인 센서로서 구성되어도 좋다. 또한, 차광막에 대해서는, 화소 단위로 모두 다른 경우에 한정되지 않고, 일부가 동일한 구성이여도 되고, 일부가 다른 구성이여도 좋다.
신호 처리부(122)는, 지향성 촬상 소자(121)로부터 공급되어 오는 각 화소의 검출 신호 레벨과, 계수 세트 선택부(131)에 격납된 계수 세트를 이용하여 연립 방정식을 구성하고, 구성한 연립 방정식을 풀어냄으로써, 복원 화상을 구성하는 각 화소의 화소치를 구하고, 디모자이크 처리부(123)에 출력한다. 또한, 지향성 촬상 소자(121)의 화소수와, 복원 화상을 구성하는 화소의 화소수는, 반드시 동일할 필요는 없다. 또한, 여기서는, 컬러 필터가 베이어 배열인 경우를 예로 들어 설명하고 있기 때문에, 색분리 처리를 행하는 구성으로서 디모자이크 처리부(123)가 마련되고 있다. 그렇지만, 컬러 필터가, 예를 들어, 스트라이프 컬러 필터 등인 경우, 디모자이크 처리부(123)는, 대응하는 색분리 처리를 실시하는 구성으로 치환되며, 또한, 모노크롬의 촬상 소자나 색 마다 촬상 소자를 가지는 다판의 촬상 장치의 경우는, 디모자이크 처리부(123)는 생략된다.
또한, 컬러 필터는, 베이어 배열에서 사용되는 RGB(적색, 녹색, 청색) 이외의 색을 투과시키는 것이어도 되고, 예를 들어, 황색, 백색 등을 투과시키는 것이어도 되고, 자외광, 적외광 등을 투과시키는 것이어도 되고, 여러가지 파장의 색을 투과시키는 것이어도 된다.
또한, 도 6의 지향성 촬상 소자(121)가 출력하는 신호로 이루어지는 검출 화상은, 상술한 도 5의 상단 우측에 나타내는 바와 같이 피사체의 상이 결상되어 있지 않은 검출 신호로부터 구성되는 화상이 되므로, 목시(目視)에 의해 피사체를 인식할 수 없는 화상이다. 즉, 도 6의 지향성 촬상 소자(121)가 출력하는 검출 신호로 이루어지는 검출 화상은, 화소 신호의 집합이지만, 유저가 목시하여도 화상으로서 인식할 수 없는 화상이다. 피사체의 상이 결상된 화상, 즉, 유저가 목시하여 화상으로서 인식할 수 있는 복원 화상은, 도 6의 촬상 장치(101)에 있어서는, 도 5의 상단 우측에 나타내는 검출 신호와, 계수 세트군을 이용한 연립 방정식을 풀어냄으로써 구해지는, 도 5의 하단 우측에 나타내는 화소치로부터 되는 화상이 된다.
따라서, 이후에 있어서는, 도 5의 상단 우측에 나타내는 바와 같이 피사체의 상이 결상되어 있지 않은 검출 신호로부터 구성되는 화상, 즉, 지향성 촬상 소자(121)에 의해 촬상된 화상은, 검출 화상이라 칭하는 것으로 한다.
또한, 도 5의 하단 우측에 나타내는 피사체의 상이 결상된 화상, 즉, 신호 처리부(122)에 의해 검출 화상을 구성하는 각 화소의 검출 신호 레벨과, 계수 세트를 이용한 연립 방정식으로부터 구해지는 피사체의 상이 결상된 화소치로부터 구성되는, 유저가 목시하여 화상으로서 인식할 수 있는 화상에 대해서는, 복원 화상이라 칭하는 것으로 한다. 다만, 지향성 촬상 소자(121)가 자외선 등의 시인 가능한 파장 대역 이외의 광에만 감도를 가질 경우, 복원 화상도 통상의 화상처럼 피사체를 식별할 수 있는 화상으로는 되지 않지만 이 경우도 복원 화상이라 칭한다.
또한, 피사체의 상이 결상된 상태의 화상인 복원 화상으로서, 디모자이크 처리 전의 화상을 Raw 화상이라 칭하는 것으로 하고, 지향성 촬상 소자(121)에 의해 촬상된 검출 화상에 대해서는, 색필터의 배열에 따른 화상이긴 하지만, Raw 화상은 아닌 것으로 하여 구별한다.
디모자이크 처리부(123)는, 예를 들어, Bayer 배열 등의 컬러 필터의 배열에 따라서, 결락(缺落)한 색의 화소 신호를 생성하는 디모자이크 처리를 함으로써 RGB 마다의 프레임의 화상을 생성하고, γ 보정부(124)에 공급한다.
γ 보정부(124)는, 디모자이크 처리 후의 화상에 γ 보정을 실시하고 화이트 밸런스 조정부(125)에 공급한다.
화이트 밸런스 조정부(125)는, γ 보정이 실시된 화상의 화이트 밸런스를 조정하고 화상 출력부(126)에 출력한다.
화상 출력부(126)는, 화이트 밸런스가 조정된 화상을, 예를 들어, JPEG(Joint Photographic Experts Group), TIFF(Tag Image File Format), GIF(Graphics Interchange Format) 등의 소정의 압축 형식의 화상 신호로 변환한다. 그리고, 화상 출력부(126)는, 이와 같이 소정의 형식으로 변환된 화상 신호를, HDD(Hard Disk Drive), SSD(SolidState Drive), 및, 반도체 메모리 등의 어느 것, 또는, 그들의 조합 등으로 이루어지는 기억부(127)에 기억시키는 처리, LCD(Liquid Crystal Display) 등으로 이루어지는 표시부(128)에 표시시키는 처리, 및, 피사체 거리 결정부(129)에 출력하는 처리 중 어느 것의 처리를 실행한다.
피사체 거리 결정부(129)는, 조작 다이얼이나 조작 버튼, 촬상 장치(101)와 별체로서 구성된 외부의 리모콘 등으로 이루어지는 조작부(130)로부터의 조작 신호에 기초하여, 촬상 위치로부터 피사체까지의 거리인 피사체 거리를 결정하고, 결정한 피사체 거리의 정보를 계수 세트 선택부(131)에 공급한다. 즉, 복원 화상은 표시부(128)에 표시되기 때문에, 도시하지 않는 유저가 표시부(128)에 표시된, 복원 화상인 스루 화상을 보면서 조작부(130)를 조작하여 피사체 거리를 조정한다.
계수 세트 선택부(131)는, 도 5에 있어서의 촬상 소자(51)로부터 피사체면(31)(복원 화상에 대응하는 피사체면)까지의 거리에 상당하는 여러가지 피사체 거리에 대응지어져서, 상술한 계수 α1 내지 α3, β1 내지 β3, γ1 내지 γ3에 상당하는 계수 세트를 기억하고 있다. 따라서, 계수 세트 선택부(131)는, 피사체 거리 결정부(129)로부터 공급되어 오는 피사체 거리의 정보에 기초하여, 계수 세트를 선택한다. 이에 의해, 신호 처리부(122)는, 선택된 계수 세트를 이용하여 검출 화상으로부터 복원 화상을 복원한다.
또한, 1개의 피사체 거리의 복원 화상만을 얻는 것 같은 경우에는 피사체 거리 결정부(129)는 설치하지 않아도 좋다.
또한, 촬상 렌즈를 이용하는 촬상 장치와 같이, 오토 포커스 기능을 실현하는 것도 가능하다.
이 경우, 피사체 거리 결정부(129)는, 화상 출력부(126)로부터 공급된 복원 화상에 기초하여 콘트라스트 AF(Auto Focus) 방식과 마찬가지의 등산(mountain climbing) 방식으로 최적의 피사체 거리를 결정함으로써, 오토 포커스 기능을 실현할 수 있다.
또한, 피사체 거리는, 화상 출력부(126)로부터 공급된 복원 화상에 한정되지 않고, 디모자이크 처리부(123), γ 보정부(124), 화이트 밸런스 조정부(125)의 출력을 기초로 결정하여도 된다.
나아가서는, 피사체 거리 결정부(129)는, 별도 설치된 측거 센서의 출력에 기초하여 피사체 거리를 결정해도 된다.
또한, 지향성 촬상 소자(121)로부터 출력된 검출 화상을 복원하는 일 없이, 기억부(127)에 기억해도 된다. 이 경우, 재생 시에 기억부(127)에 기억된 검출 화상이 신호 처리부(122)에 공급되고, 신호 처리부(122)에서 복원 화상이 생성된다. 또한, 검출 화상을 복원하는 일 없이, 기록 매체에 기억하거나, 보존하는 등 하거나, 또는, 통신 등에 의해, 다른 기기로 출력하고, 촬상 장치와는 다른, 예를 들어, PC(퍼스널 컴퓨터)나 재생 장치 등의 다른 기기에 의해 검출 화상을 복원시키도록 해도 된다.
그 때에, 계수 세트 선택부(131)는, 복수의 피사체 거리에 대응지어진 복수의 계수 세트 중 하나를 유저 선택 등에 기초하여 선택하고, 신호 처리부(122)에서 선택된 계수 세트에 의해 다른 피사체 거리의 복원 화상을 절환하여 얻도록 해도 된다. 이에 의해, 리포커스가 실현되도록 해도 된다.
또한, 도 6의 구성에 있어서는, 디모자이크 처리부(123), γ 보정부(124), 및 화이트 밸런스 조정부(125)가, 모두 설치된 구성예에 대해 나타나고 있지만, 모두 필수 구성은 아니기 때문에, 생략하도록 해도 되고, 도 6의 구성 이외의 구성 순서이여도 된다. 또한, 화상 출력부(126)는, 압축이나 포맷 변환을 하지 않아도 되고, Raw 화상을 그대로 출력하도록 해도 된다. 또한, 디모자이크 처리부(123), γ 보정부(124), 및 화이트 밸런스 조정부(125)가, 생략되어, 화상 출력부(126)가, 압축이나 포맷 변환을 하지 않는 경우, Raw 화상이 그대로 HDMI(등록상표)(High Definition Multimedia Interface) 등으로 외부에 출력되도록 해도 된다.
<광학 블록을 포함하는 촬상 장치의 구성예>
여기서, 본원의 촬상 장치의 구성예를 설명함에 있어, 그 대비를 위해, 도 7의 블럭도를 참조하여, 복수의 촬상 렌즈로 이루어지는 광학 블록을 포함하는 촬상 장치의 구성예에 대해 설명한다. 또한, 도 7의 광학 블록을 포함하는 촬상 장치(141)의 구성에 있어, 도 1의 촬상 장치(101)의 구성과 동일한 구성에 대해서는, 동일한 부호, 및 동일한 명칭을 부여하고 있어, 그 설명은 적절히 생략하는 것으로 한다.
즉, 도 7의 촬상 장치(141)에 있어서, 도 1의 촬상 장치(101)의 구성과 다른 점은, 지향성 촬상 소자(121), 신호 처리부(122), 및 계수 세트 선택부(131) 대신에, 촬상 소자(151), 광학 블록(152), 및 초점 조정부(153)가 설치되어 있는 점이다.
즉, 촬상 소자(151)는, 입사각 지향성을 가지지 않는 화소로 이루어지는 촬상 소자이며, 복수의 촬상 렌즈로부터 구성되는 광학 블록(152)이, 피사체 거리 결정부(129)로부터 공급되어 오는 피사체 거리, 즉, 초점 거리에 따라 초점 조정부(153)에 의해 조정되고, 입사광이 집광되어, 촬상 소자(151)의 촬상면 상에서 결상된다. 촬상 소자(151)는, 이와 같이 피사체의 상이 결상된 복원 화상을 촬상하고 디모자이크 처리부(123)에 출력한다.
<도 7의 광학 블록을 포함하는 촬상 장치에 의한 촬상 처리>
다음으로, 도 8의 흐름도를 참조하여, 도 7의 광학 블록을 포함하는 촬상 장치(141)에 의한 촬상 처리에 대해 설명한다.
스텝 S11에 있어서, 피사체 거리 결정부(129)는, 조작부(130)로부터 공급되어 오는 조작 신호, 또는, 직전까지 촬상된 복수의 화상에 기초하여, 피사체까지의 거리를 결정하고, 결정한 피사체 거리의 정보를 초점 조정부(153)에 공급한다. 초점 조정부(153)는, 피사체 거리, 즉, 초점 거리에 기초하여 광학 블록(152)을 조정시킨다.
스텝 S12에 있어서, 광학 블록(152)은, 입사광을 집광하고, 대응하는 피사체 거리에 상당하는 위치의 피사체면에 있어서의 피사체의 상을 촬상 소자(151)의 촬상면 상에 결상시킨다.
스텝 S13에 있어서, 촬상 소자(151)는, 광학 블록(152)에 의해 피사체의 상이 결상된 화상을 촬상하고, 복원 화상이 되는 Raw 화상을 디모자이크 처리부(123)에 공급한다.
스텝 S14에 있어서, 디모자이크 처리부(123)는, 복원 화상을 구성하는 Raw 화상을 디모자이크 처리하고 γ 보정부(124)에 공급한다.
스텝 S15에 있어서, γ 보정부(124)는, 디모자이크 처리된 복원 화상에 γ 보정을 실시하고, 화이트 밸런스 조정부(125)에 공급한다.
스텝 S16에 있어서, 화이트 밸런스 조정부(125)는, γ 보정이 실시된 복원 화상의 화이트 밸런스를 조정하고 화상 출력부(126)에 공급한다.
스텝 S17에 있어서, 화상 출력부(126)는, 화이트 밸런스가 조정된 결상 화상을, 소정의 압축 형식으로 변환한다.
스텝 S18에 있어서, 화상 출력부(126)는, 소정의 압축 형식으로 변환된 복원 화상을 기억부(127)에 기억시키는 처리, 표시부(128)에 표시시키는 처리, 및, 피사체 거리 결정부(129)에 공급하는 처리 중 적어도 어느 것을 행한다.
이상의 처리에 의해, 복원 화상이 촬상된다. 즉, 광학 블록을 포함하는 촬상 장치에 의한 촬상 처리에 있어서는, 광학 블록(152)에 의해 촬상 소자(151)에 입사하는 광이 집광되고, 피사체의 상이 결상된 복원 화상이 촬상된다.
<지향성 촬상 소자의 제1 구성예>
(지향성 촬상 소자를 이용한 촬상 장치와 광학 블록을 포함하는 촬상 장치와의 차이)
이에 대해서, 도 6의 촬상 장치(101)는, 촬상 렌즈(152)(도 7) 및 핀홀(12)(도 3)의 어느 것도 거치지 않고 입사되는 입사광을 수광하는 지향성 촬상 소자(121)에 의해 검출 화상이 촬상되고, 신호 처리부(122)에 의해 검출 화상과 계수 세트군으로부터 얻어지는 연립 방정식의 해를 이용함으로써 복원 화상이 구해진다.
이 차이는, 지향성 촬상 소자(121)와 촬상 소자(151)와의 구조의 다름에 기인한다.
도 9의 좌부는, 도 7의 광학 블록을 포함하는 촬상 장치(141)의 촬상 소자(151)의 화소 어레이부의 일부의 정면도를 나타내고 있고, 도 9의 우부는, 도 6의 본 개시의 촬상 장치(101)의 지향성 촬상 소자(121)의 화소 어레이부의 일부의 정면도를 나타내고 있다. 또한, 도 9에 있어서는, 화소 어레이부가 수평 방향×수직 방향의 각각의 화소수가 6 화소×6 화소의 구성인 경우의 예를 나타내고 있지만, 화소수의 구성은, 이에 한정되는 것은 아니다.
즉, 도 9에 나타내는 바와 같이, 도 7의 광학 블록을 포함하는 촬상 장치(141)에 이용되는 촬상 소자(151)는, 입사각 지향성을 갖추지 않은 화소(151a)가 어레이 형상으로 배치되어 있는 것이 나타내어져 있다. 이에 대해서 지향성 촬상 소자(121)는, 화소(121a)마다, 그 포토 다이오드의 수광 영역의 일부로서, 화소(121a)마다 다른 범위로 차광막(121b)이 설치되어 있고, 화소(121a)마다 입사광의 입사 각도에 대한 수광 감도를 다른 것으로 함으로써, 입사각에 대한 입사각 지향성을 가지는 구성으로 되어 있다.
보다 구체적으로는, 예를 들어, 화소(121a－1)와 화소(121a－2)에서는, 설치되어 있는 차광막(121b－1)과 차광막(121b－2)에 의해 화소를 차광하는 범위가 다르다(차광하는 영역(위치), 및 차광하는 면적 중 적어도 어느 하나가 다르다). 즉, 화소(121a－1)에 있어서는, 포토 다이오드의 수광 영역에 있어서의 좌측의 일부를 소정의 폭만 차광하도록 차광막(121b－1)이 설치되어 있고, 화소(121a－2)에 있어서는, 수광 영역에 있어서의 우측의 일부를, 차광막(121b－1)보다 수평 방향으로 넓은 폭만큼 차광하도록 차광막(121b－2)이 설치되어 있다. 그 외의 화소(121a)에 있어서도, 마찬가지로, 차광막(121b)이, 화소마다 수광 영역에 있어서의 다른 범위가 차광되도록 설치되어 있고, 화소 어레이 내에서 랜덤으로 배치되어 있다.
또한, 차광막(121b)의 범위는, 각 화소의 수광 영역을 덮어 가리는 비율이 커질수록, 수광할 수 있는 광량이 적은 상태가 되기 때문에, 소망한 광량을 확보할 수 있는 정도의 면적으로 하는 것이 바람직하고, 차광막(121b)의 면적을, 예를 들어, 최대로 수광가능한 범위의 전체의 3/4 정도까지라고 하는 제한을 가하여 구성하도록 해도 된다. 이와 같이 함으로써, 소망량 이상의 광량을 확보하는 것이 가능하게 된다. 다만, 각 화소에 대해서, 수광하는 광의 파장에 상당하는 폭의 차광되어 있지 않은 범위가 설치되어 있으면, 최소한의 광량을 수광하는 것은 가능하다. 즉, 예를 들어, B화소(청색 화소)의 경우, 파장은 500㎚ 정도가 되지만, 이 파장에 상당하는 폭 이상으로 차광되어 있지 않으면, 최소한의 광량을 수광하는 것은 가능하다.
(지향성 촬상 소자의 제1 구성예에 있어서의 측면 단면, 상면, 및 회로 구성예)
다음으로, 도 10을 참조하여, 지향성 촬상 소자(121)의 제1 구성예에 있어서의 측면 단면, 상면, 및 회로 구성예에 대해 설명한다. 즉, 도 10의 상단은, 지향성 촬상 소자(121)의 제1 구성예에 있어서의 측면 단면도이며, 도 10의 중단은, 지향성 촬상 소자(121)의 제1 구성예에 있어서의 상면도이다. 또한, 도 10의 상단의 측면 단면도는, 도 10의 중단에 있어서의 AB 단면이 된다. 또한, 도 10의 하단은, 지향성 촬상 소자(121)의 회로 구성예이다.
도 10의 상단의 지향성 촬상 소자(121)에 있어서는, 도면 중의 상방으로부터 하방을 향해 입사광이 입사한다. 인접하는 화소(121a－15, 121a－16)은, 각각 도면 중의 최하층에 배선층(Z12)이 설치되어 있고, 그 위에 광전 변환층(Z11)이 설치되어 있는, 이른바 , 이면 조사형이다.
또한, 화소(121a－15, 121a－16)를 구별할 필요가 없는 경우, 단순히, 화소(121a)라 칭하며, 다른 구성에 대해서도, 마찬가지로 칭한다. 또한, 도 10에 있어서는, 지향성 촬상 소자(121)의 화소 어레이를 구성하는 2 화소분의 측면도 및 상면도로 되어 있는데, 말할 필요도 없이, 그 이상의 수의 화소(121a)가 배치되어 있지만 도시가 생략되어 있다.
또한, 화소(121a－15, 121a－16)는, 각각 광전 변환층(Z11)에 포토 다이오드(121e－15, 121e－16)를 구비하고 있다. 또한, 포토 다이오드(121e－15, 121e－16) 위에는, 각각 위로부터 온칩 렌즈(121c－15, 121c－16), 및 컬러 필터(121d－15, 121d－16)이 구성되어 있다.
온칩 렌즈(121c－15, 121c－16)는, 입사광을 포토 다이오드(121e―15, 121e―16) 상에 집광시킨다.
컬러 필터(121d－15, 121d－16)은, 예를 들어, 적색, 녹색, 청색, 적외 및 백색 등의 특정 파장의 광을 투과시키는 광학 필터이다. 또한, 백색의 경우, 컬러 필터(121d－15, 121d－16)는, 투명의 필터이여도 되고, 없어도 된다.
화소(121a－15, 121a－16)의 광전 변환층(Z11)에 있어서의, 각각 화소간의 경계에는, 차광막(121p－15 내지 121p－17)이 형성되어 있고, 인접하는 화소간의 크로스톡을 억제한다.
또한, 차광막(121b－15, 121b－16)은, 도 10의 상단 및 하단에서 나타내는 바와 같이, 상면으로부터 보아 일부가 수광면 S를 차광하고 있다. 화소(121a－15, 121a－16)에 있어서의 포토 다이오드(121e－15, 121e－16)의 수광면 S에 있어서는, 차광막(121b－15, 121b－16)에 의해, 각각 다른 범위가 차광되고 있고, 이에 의해 화소마다 다른 입사각 지향성이 설정된다. 다만, 차광되는 범위는, 지향성 촬상 소자(121)의 전 화소(121a)의 각각에 있어서 다른 것일 경우에 한정되지 않고, 일부에서 동일한 범위가 차광되는 화소(121a)가 존재하고 있어도 된다. 도 10의 상단에 나타내는 것 같은 구성에 의해, 차광막(121p－15)의 우단부와, 차광막(121b－15)의 상방 단부가 접속됨과 함께, 차광막(121b－16)의 좌단부와 차광막(121p－16)의 상방 단부가 접속되어, 측면으로부터 보아 L자형으로 구성되어 있다.
또한, 차광막(121b－15 내지 121b－17), 및 차광막(121p－15 내지 121p－17)은, 금속에 의해 구성되어 있고, 예를 들어, 텅스텐(W), 알루미늄(Al), 또는 Al과 구리(Cu)의 합금으로부터 구성된다. 또한, 차광막(121b－15 내지 121b－17), 및 차광막(121p－15 내지 121p－17)은, 반도체 프로세스에 있어서의 배선이 형성되는 프로세스와 동일한 프로세스로, 배선과 동일한 금속에 의해 동시에 형성되도록 해도 된다. 또한, 차광막(121b－15 내지 121b－17), 및 차광막(121p－15 내지 121p－17)의 막두께는, 위치에 따라 동일한 두께로 하지 않아도 된다.
또한, 도 10의 하단에 나타내는 바와 같이, 화소(121a)는, 포토 다이오드(161)(포토 다이오드(121e)에 대응한다), 전송 트랜지스터(162), FD(Floating Diffusion：플로팅 디퓨전)부(163), 선택 트랜지스터(164), 증폭 트랜지스터(165), 및 리셋 트랜지스터(166)를 구비하여 구성되고, 수직 신호선(167)을 거쳐서 전류원(168)에 접속되어 있다.
포토 다이오드(161)는, 애노드 전극이 각각 접지되고, 캐소드 전극이, 전송 트랜지스터(162)를 거쳐 증폭 트랜지스터(165)의 게이트 전극에 각각 접속되는 구성으로 되어 있다.
전송 트랜지스터(162)는, 전송 신호 TG에 따라 각각 구동한다. 예를 들어, 전송 트랜지스터(162)의 게이트 전극에 공급되는 전송 신호 TG가 하이 레벨이 되면, 전송 트랜지스터(162)는 온으로 된다. 이에 의해, 포토 다이오드(161)에 축적되어 있는 전하가 전송 트랜지스터(162)를 거쳐 FD부(163)에 전송된다.
증폭 트랜지스터(165)는, 포토 다이오드(161)에서의 광전 변환에 의해 얻어지는 신호를 읽어내는 읽어내기 회로인 소스 팔로워의 입력부가 되고, FD부(163)에 축적되어 있는 전하에 따른 레벨의 화소 신호를 수직 신호선(23)에 출력한다. 즉, 증폭 트랜지스터(165)는, 드레인 단자가 전원 전압 VDD에 접속되고, 소스 단자가 선택 트랜지스터(164)를 거쳐서 수직 신호선(167)에 접속됨으로써, 수직 신호선(167)의 일단에 접속되는 전류원(168)과 소스 팔로워를 구성한다.
FD(Floating Diffusion：플로팅 디퓨전)부(163)는, 전송 트랜지스터(162)와 증폭 트랜지스터(165)와의 사이에 설치되는 전하 용량 C1를 가지는 부유 확산 영역이며, 전송 트랜지스터(162)를 거쳐서 포토 다이오드(161)로부터 전송되는 전하를 일시적으로 축적한다. FD부(163)는, 전하를 전압으로 변환하는 전하 검출부로서, FD부(163)에 축적되어 있는 전하가 증폭 트랜지스터(165)에 있어서 전압으로 변환된다.
선택 트랜지스터(164)는, 선택 신호 SEL에 따라 구동하고, 게이트 전극에 공급되는 선택 신호 SEL가 하이 레벨이 되면 온으로 되어, 증폭 트랜지스터(165)와 수직 신호선(167)을 접속한다.
리셋 트랜지스터(166)는, 리셋 신호 RST에 따라 구동한다. 예를 들어, 리셋 트랜지스터(166)는, 게이트 전극에 공급되는 리셋 신호 RST가 하이 레벨이 되면 온으로 되고, FD부(163)에 축적되어 있는 전하를 전원 전압 VDD에 배출하고, FD부(163)를 리셋한다.
이상과 같은 회로 구성에 의해, 도 10의 하단에 나타내는 화소 회로는 이하와 같이 동작한다.
즉, 제1 동작으로서, 리셋 트랜지스터(166) 및 전송 트랜지스터(162)가 온으로 되고, FD부(163)에 축적되어 있는 전하를 전원 전압 VDD에 배출하고, FD부(163)를 리셋한다.
제2 동작으로서, 리셋 트랜지스터(166) 및 전송 트랜지스터(162)가 오프로 되고, 노광 기간이 되어, 포토 다이오드(161)에 의해, 입사광의 광량에 따른 전하가 축적된다.
제3 동작으로서, 리셋 트랜지스터(166)가 온으로 되고, FD부(163)가 리셋된 후, 리셋 트랜지스터(166)가 오프로 된다. 이 동작에 의해, FD부(163)가 리셋되고, 기준 전위로 설정된다.
제4 동작으로서, 리셋된 상태의 FD부(163)의 전위가, 기준 전위로서 증폭 트랜지스터(165)로부터 출력된다.
제５ 동작으로서, 전송 트랜지스터(162)가 온으로 되고, 포토 다이오드(161)에 축적된 전하가 FD부(163)로 전송된다.
제6 동작으로서, 포토 다이오드의 전하가 전송된 FD부(163)의 전위가, 신호 전위로서 증폭 트랜지스터(165)로부터 출력된다.
이상의 처리에 의해, 신호 전위로부터 기준 전위가 감산되고, CDS(상관 이중 샘플링)에 의해 검출 신호로서 출력된다.
<지향성 촬상 소자의 제2 구성예>
(지향성 촬상 소자의 제2 구성예에 있어서의 측면 단면, 상면, 및 회로 구성예)
도 11은, 지향성 촬상 소자(121)의 제2 구성예에 있어서의 측면 단면, 상면, 및 회로 구성예를 나타내는 도면이다. 즉, 도 11의 상단에는, 제2 구성예인 지향성 촬상 소자(121)의 화소(121a)의 측면 단면도가 나타내어져 있고, 도 11의 중단에는, 지향성 촬상 소자(121)의 상면도가 나타내어져 있다. 또한, 도 11의 상단의 측면 단면도는, 도 11의 중단에 있어서의 AB 단면이 된다. 또한, 도 11의 하단은, 지향성 촬상 소자(121)의 회로 구성예이다.
도 11에 나타내는 바와 같이, 지향성 촬상 소자(121)는, 화소(121a)에 있어서, 4개의 포토 다이오드(121f－11s 내지 121f－4)가 형성되고, 차광막(121p)이, 포토 다이오드(121f－11 내지 121f－4)끼리를 분리하는 영역에 형성되어 있는 점에서, 도 10의 지향성 촬상 소자(121)와 다른 구성으로 되어 있다. 즉, 도 11의 지향성 촬상 소자(121)에서는, 차광막(121p)은, 상면으로부터 보아 「＋」 형상으로 형성되어 있다. 또한, 그러한 공통의 구성에 대해서는 동일한 부호를 부여하고, 상세한 설명은 생략한다.
도 11과 같이 구성된 지향성 촬상 소자(121)에서는, 차광막(121p)에 의해 포토 다이오드(121f－1 내지 121f－4)로 분리하는 것에 의해, 포토 다이오드(121f－1 내지 121f－4)간의 전기적 및 광학적인 크로스톡을 방지할 수 있다. 즉, 도 11의 차광막(121p)은, 도 10의 지향성 촬상 소자(121)의 차광막(121p)과 마찬가지로 크로스톡을 방지하기 위한 것으로서, 입사각 지향성을 부여하기 위한 것은 아니다.
도 11의 지향성 촬상 소자(121)의 제2 구성예에 있어서는, 1개의 FD부(163)를 4개의 포토 다이오드(121f－1 내지 121f－4)에서 공유한다. 도 11의 하단은, 1개의 FD부(163)를 4개의 포토 다이오드(121f－1 내지 121f－4)에서 공유하도록 한 회로 구성예를 나타내고 있다. 또한, 도 11의 하단에 있어, 도 10의 하단과 동일한 구성에 대해서는, 그 설명을 생략한다.
도 11의 하단에 있어, 도 10의 하단의 회로 구성과 다른 점은, 포토 다이오드(161)(도 10의 상단에 있어서의 포토 다이오드(121e)에 대응한다) 및 전송 트랜지스터(162) 대신에, 포토 다이오드(161－1 내지 161－4)(도 11의 상단에 있어서의 포토 다이오드(121f－1 내지 121f－4에 대응한다) 및 전송 트랜지스터(162－1 내지 162－4)를 설치하고, FD부(163)를 공유하는 구성으로 하고 있는 점이다.
이와 같은 구성에 의해, 포토 다이오드(121f－1 내지 121f－4)에 축적된 전하는, 포토 다이오드(121f－1 내지 121f－4)와 증폭 트랜지스터(165)의 게이트 전극과의 접속부에 설치되는 소정의 용량을 가지는 공통의 FD부(163)에 전송된다. 그리고, FD부(163)에 보유지지되어 있는 전하의 레벨에 따른 신호가 화소 출력 단위의 검출 신호로서 읽어내진다.
이 때문에, 포토 다이오드(121f－1 내지 121f－4)에서 축적된 전하를 여러가지 조합으로 선택적으로 화소 출력 단위의 검출 신호에 기여시킬 수 있다(화소 출력 단위의 검출 신호에의 기여의 정도를 다르게 하도록 할 수 있다).
즉, 포토 다이오드(121f－1 내지 121f－4)마다 독립하여 전하를 읽어낼 수 있는 구성으로 함으로써, 각 화소 출력 단위에 다른 입사각 지향성을 갖게 할 수 있다.
예를 들어, 도 11에서는, 포토 다이오드(121f－1) 및 포토 다이오드(121f－3)의 전하를 FD부(163)에 전송함으로써, 각각을 읽어내어 얻어지는 신호를 가산함으로써, 좌우 방향의 입사각 지향성을 얻을 수 있다. 마찬가지로, 포토 다이오드(121f－1) 및 포토 다이오드(121f－2)의 전하를 FD부(163)에 전송함으로써, 각각을 읽어내어 얻어지는 신호를 가산함으로써, 상하 방향의 입사각 지향성을 얻을 수 있다.
또한, 도 11에서는, 포토 다이오드(121f－1) 및 포토 다이오드(121f－3)의 전하와, 포토 다이오드(121f－2) 및 포토 다이오드(121f－4)의 전하를 각각 동시에 FD부(163)에 전송하고, FD부(163)에 있어서 가산하고, 읽어냄으로써 얻어지는 신호에 의해, 좌우 방향의 입사각 지향성을 얻을 수 있다. 마찬가지로, 포토 다이오드(121f－1) 및 포토 다이오드(121f－2)의 전하와, 포토 다이오드(121f－3) 및 포토 다이오드(121f－4)의 전하를 각각 동시에 FD부(163)에 전송하고, FD부(163)에 있어서 가산하고, 읽어냄으로써 얻어지는 신호에 의해, 상하 방향의 입사각 지향성을 얻을 수 있다.
또한, 4개의 포토 다이오드(121f－1 내지 121f－4)로부터 독립하여 선택적으로 읽어내지는 전하에 기초하여 얻어지는 신호는, 검출 화상을 구성하는 1 화소분에 상당하는 1 화소 출력 단위의 검출 신호가 된다.
이상과 같이, 도 11의 지향성 촬상 소자(121)의 경우, 4개의 포토 다이오드(121f－1 내지 121f－4) 중, 검출 신호로서 채용하는 것의 조합을 변경함으로써, 화소마다 다른 입사각 지향성을 갖게 할 수 있다.
도 10의 지향성 촬상 소자(121)에서는, 1개의 화소 출력 단위에 대해서 1개의 포토 다이오드(121e)가 설치되어 있다. 각 화소(화소 출력 단위)의 차광막(121p)에 의한 차광 상태를 화소 단위에서 다른 것으로 함으로써, 화소 마다의 입사각 지향성이 다른 것으로 할 수 있다.
도 11의 지향성 촬상 소자(121)에서는, 1개의 화소 출력 단위에 대해서 4개의 포토 다이오드(121f－1 내지 121f－4)가 설치되어 있다. 4개의 포토 다이오드(121f－1 내지 121f－4) 중, 검출 신호에 기여하는 포토 다이오드(121f)를 화소 출력 단위마다 다른 것으로 함으로써, 화소 출력 단위마다 다른 입사각 지향성을 갖게 할 수 있다. 기여의 정도는, 각 포토 다이오드(121f)의 검출치를 FD(플로팅 디퓨전)에 읽어내는지 아닌지나, 전자 셔터 기능을 이용하여 전하의 FD에의 읽어내기의 전에 포토 다이오드(121f)에 축적된 검출치(전하)를 리셋함으로써 실현할 수 있다. 또한, 전자 셔터 기능을 이용하는 경우, 포토 다이오드(121f)의 전하의 FD에의 읽어내기의 직전에 리셋을 하면, 그 포토 다이오드(121f)는 화소 출력 단위에의 기여가 없는 상태로 할 수 있고, 리셋과 FD에의 읽어내기의 사이의 시간을 갖게 하면, 부분적으로 기여를 시킬 수도 있다.
환언하면, 도 10의 포토 다이오드(121e)와 도 11의 포토 다이오드(121f)는, 각각에서 검출되는 신호의 이용되는 방법이 다르다. 즉, 도 10의 포토 다이오드(121e)에 의해 검출된 신호는, 포토 다이오드(121e－15, 121e－16)로부터 검출되는 신호이며, 검출 화상을 구성하는, 화소(121a－15, 121a－16)의 각각의 1 화소 출력 단위분의 검출 신호이다.
이에 대해서, 도 11의 포토 다이오드(121f)에 의해 검출된 신호는, 포토 다이오드(121f－11 내지 121f－4)의 4개의 신호가 선택적으로 이용되고, 검출 화상을 구성하는 1 화소 출력 단위분의 검출 신호가 된다.
이것은, 도 10의 화소(121a)는, 1개에 대해 포토 다이오드(121e)가 1개 설치되어 있고, 화소(121a)마다 다른 범위가 차광막(121b)에 의해 차광되고 있고, 차광막(121b)을 이용한 광학적인 변조에 의해, 1개의 화소(121a)에서 입사각 지향성을 구비한 검출 화상의 1 화소분의 검출 신호를 표현할 수 있다.
이에 대해서, 도 11의 화소(121a)는, 1개에 대해 4개의 포토 다이오드(121f)가 설치되어 있고, 수광면에 대해서 차광막(121b)이 형성되어 있지 않지만, 차광막(121p)에 의해, 복수의 영역으로 분할되어, 4개의 포토 다이오드(121f－1 내지 121f－4)가 형성되어 있고, 입사각 지향성을 구비한 검출 화상의 1 화소분의 검출 신호를 표현하고 있다. 환언하면, 예를 들어, 포토 다이오드(121f－11 내지 121f－14) 중 출력에 기여하지 않는 범위가 차광된 영역과 마찬가지로 기능하여, 입사각 지향성을 구비한, 검출 화상의 1 화소분의 검출 신호를 표현하고 있다. 또한, 포토 다이오드(121f－11 내지 121f－14)를 이용하여, 1 화소분의 검출 신호를 표현하는 경우, 차광막(121b)은 이용되지 않기 때문에, 검출 신호는, 광학적인 변조에 의해 얻어지는 신호는 아니다.
따라서, 지향성 촬상 소자(121)로부터 출력되는 검출 화상의 1개의 화소(121a)의 검출 신호를 출력하기 위한, 적어도 1개 이상의 포토 다이오드(121e 또는 121f)에 의한 구성을 1 화소 출력 단위라 칭한다. 즉, 도 10의 지향성 촬상 소자(121)의 경우, 1 화소 출력 단위는, 1개의 포토 다이오드(121e)에 의해 구성된다. 또한, 도 11의 지향성 촬상 소자(121)의 경우, 1 화소 출력 단위는, 4개의 포토 다이오드(121f－1 내지 121f－4)에 의해 구성된다.
또한, 도 11의 지향성 촬상 소자(121)에 있어서, 4개의 포토 다이오드(121f－1 내지 121f－4)를, 화소 출력 단위마다 동형상이며, 등면적으로 분할하여 배치했지만, 화소 출력 단위마다 포토 다이오드(121f－1 내지 121f－4)를 비동형상이며, 비등면적이 되도록 분할 위치를 다르게 하도록 해도 된다. 이와 같이 4개의 포토 다이오드(121f－1 내지 121f－4)의 분할 위치를 비동형상이며, 비등면적으로 하도록 분할 위치를 설정함으로써, 복수의 화소 출력 단위에서 동일하게 좌상의 포토 다이오드(121f－1)만을 이용했다고 해도 입사각 지향성이 다른 것으로 할 수도 있다. 또한, 화소 출력 단위에 따라, 분할수를 다른 것으로 하면, 보다 자유롭게 입사각 지향성을 설정하는 것이 가능하게 된다. 또한 상기를 조합해도 된다.
<입사각 지향성을 일으키게 하는 원리에 대해>
지향성 촬상 소자(121)에 있어서의 각 화소의 입사각 지향성은, 예를 들어, 도 12에서 나타내는 것 같은 원리에 의해 발생한다. 또한, 도 12의 좌상부 및 우상부는, 도 10의 지향성 촬상 소자(121)에 있어서의 입사각 지향성의 발생 원리를 설명하는 도면이며, 도 12의 좌하부 및 우하부는, 도 11의 지향성 촬상 소자(121)에 있어서의 입사각 지향성의 발생 원리를 설명하는 도면이다.
또한, 도 12의 좌상부 및 우상부에 있어서의 1 화소 출력 단위는, 모두 1개의 포토 다이오드(121e)에 의해 구성된다. 이에 대해서, 도 12의 좌하부 및 우하부에 있어서의 1 화소 출력 단위는, 모두 2개의 포토 다이오드(121f)에 의해 구성된다. 또한, 여기서는, 1 화소 출력 단위가 2개의 포토 다이오드(121f)에 의해 구성되는 예에 관해 설명하고 있지만, 이는 설명의 편의상이며, 1 화소 출력 단위를 구성하는 포토 다이오드(121f)의 수는, 그 외의 개수여도 된다.
즉, 도 12의 좌상부에 있어서는, 도면 중의 상방으로부터 하방을 향해 입사광이 입사할 때, 포토 다이오드(121e－11)의 수광면의 오른쪽 반을 차광하도록 차광막(121b－11)이 형성되어 있다. 또한, 도 12의 우상부에 있어서는, 포토 다이오드(121e－12)의 수광면의 왼쪽 반을 차광하도록 차광막(121b－12)이 형성되어 있다. 또한, 도면 중의 일점 쇄선은, 포토 다이오드(121e)의 수광면의 도면 중의 수평 방향의 중심 위치로서, 수광면에 대해서 수직 방향인 것을 나타내고 있다.
예를 들어, 도 12의 좌상부와 같은 구성의 경우, 도면 중의 일점 쇄선에 대해서 입사각 θ1을 이루는 화살표로 나타내는, 도면 중의 우상 방향으로부터의 입사광은, 포토 다이오드(121e－11)의 차광막(121b－11)에 의해 차광되어 있지 않은 왼쪽 반의 범위에서는 수광하기 쉽지만, 도면 중의 일점 쇄선에 대해서 입사각 θ2를 이루는 화살표로 나타내는, 도면 중의 좌상 방향으로부터의 입사광은, 포토 다이오드(121e－11)의 차광막(121b－11)에 의해 차광되어 있지 않은 왼쪽 반의 범위에서는 수광하기 어렵다. 따라서, 도 12의 좌상부와 같은 구성의 경우, 도면 중의 우 상방으로부터의 입사광에 대해서 수광 감도 특성이 높고, 좌 상방으로부터의 입사광에 대해서 수광 감도 특성이 낮은 입사각 지향성을 구비하게 된다.
한편, 예를 들어, 도 12의 우상부와 같은 구성의 경우, 도면 중의 일점 쇄선에 대해서 입사각 θ11을 이루는 화살표로 나타내는, 도면 중의 우상 방향으로부터의 입사광은, 포토 다이오드(121e－12)의 차광막(121b－12)에 의해 차광되고 있는 왼쪽 반의 범위에서는 수광하기 어렵지만, 도면 중의 일점 쇄선에 대해서 입사각 θ12를 이루는 화살표로 나타내는, 도면 중의 좌상 방향으로부터의 입사광은, 포토 다이오드(121e－12)의 차광막(121b－12)에 의해 차광되어 있지 않은 오른쪽 반의 범위에서 수광하기 쉽다. 따라서, 도 12의 우상부와 같은 구성의 경우, 도면 중의 우 상방으로부터의 입사광에 대해서 수광 감도 특성이 낮고, 좌 상방으로부터의 입사광에 대해서 수광 감도 특성이 높은 입사각 지향성을 구비하게 된다.
또한, 도 12의 좌하부의 경우, 도면 중의 좌우에 포토 다이오드(121f－1, 121f－2)가 설치되어 있고, 어느 일방의 검출 신호를 읽어내도록 함으로써, 차광막(121b)을 설치하는 일 없이 입사각 지향성을 가지는 구성으로 되어 있다.
즉, 도 12의 좌하부에서 나타내는 바와 같이, 2개의 포토 다이오드(121f－1, 121f－2)가 화소 출력 단위로 되어 화소(121a)가 구성되는 경우, 도면 중의 좌측에 설치된 포토 다이오드(121f－1)의 검출 신호를 읽어내도록 함으로써, 도 12의 좌상부에 있어서의 구성과 마찬가지의 입사각 지향성을 구비하도록 할 수 있다. 즉, 도면 중의 일점 쇄선에 대해서 입사각 θ21을 이루는 화살표로 나타내는, 도면 중의 우상 방향으로부터의 입사광은, 포토 다이오드(121f－1)에 입사하여 수광되고 읽어내진다. 이에 대해서, 도면 중의 일점 쇄선에 대해서 입사각 θ22를 이루는 화살표로 나타내는, 도면 중의 좌상 방향으로부터의 입사광은, 포토 다이오드(121f－2)에 입사하지만, 신호가 화소 출력 단위에 기여하지 않는다.
마찬가지로, 도 12의 우하부에서 나타내는 바와 같이, 2개의 포토 다이오드(121f－11, 121f－12)로 이루어지는 화소(121a)가 1 화소 출력 단위로 되는 경우, 도면 중의 좌측에 설치된 포토 다이오드(121f－12)의 검출 신호를 화소 출력 단위에 기여하도록 함으로써, 도 12의 우상부에 있어서의 구성과 마찬가지의 입사각 지향성을 구비하도록 할 수 있다. 즉, 도면 중의 일점 쇄선에 대해서 입사각 θ31을 이루는 화살표로 나타내는, 도면 중의 우상 방향으로부터의 입사광은, 포토 다이오드(121f－11)에 입사하지만 화소 출력 단위에 기여하지 않는다. 이에 대해서, 도면 중의 일점 쇄선에 대해서 입사각 θ32를 이루는 화살표로 나타내는, 도면 중의 좌상 방향으로부터의 입사광은, 포토 다이오드(121f－12)에 입사하여 출력 화소 함의에 기여한다. 또한, 도 12에 있어서는, 수직 방향의 일점 쇄선이, 포토 다이오드(121e)의 수광면의 도면 중의 수평 방향의 중심 위치인 예에 대해 설명해 왔지만, 설명의 편의상이며, 그 외의 위치여도 된다. 수직 방향의 일점 쇄선으로 나타내는 차광막(121b)의 수평 방향의 위치를 다르게 함으로써, 다른 입사각 지향성을 일으키게 할 수 있다.
<온칩 렌즈를 포함하는 구성에 있어서의 입사각 지향성에 대해>
이상에 있어서는, 차광막(121b)에 의한 입사각 지향성의 발생 원리, 및, 복수의 포토 다이오드(12f)에 의한 입사각 지향성의 발생 원리에 대해 설명해 왔지만, 여기서는, 온칩 렌즈(121c)를 포함한 구성에 있어서의 입사각 지향성에 대해 설명한다.
즉, 지향성 촬상 소자(121)에 있어서의 각 화소의 입사각 지향성은, 상술한 차광막(121b)에 의한 것에 더하여, 온칩 렌즈(121c)를 이용함으로써, 예를 들어, 도 13에 나타내는 바와 같이 설정된다. 즉, 도 13의 중단 좌부에 있어서는, 도면 중 상방의 입사 방향으로부터 입사광을 집광하는 온칩 렌즈(121c－11), 소정의 파장의 광을 투과시키는 컬러 필터(121d－11), 및 광전 변환에 의해 화소 신호를 생성하는 포토 다이오드(121e－11)의 순서로 적층되고, 도 13의 중단 우부에 있어서는, 도면 중 상방의 입사 방향으로부터 온칩 렌즈(121c－12), 컬러 필터(121d－12), 및 포토 다이오드(121e－12)의 순서로 구성되어 있다.
또한, 온칩 렌즈(121c－11, 121c－12), 컬러 필터(121d－11, 121d－12), 및 포토 다이오드(121e－11, 121e－12)의, 각각을 구별할 필요가 없는 경우, 단순히, 온칩 렌즈(121c), 컬러 필터(121d), 및 포토 다이오드(121e)라 칭한다.
지향성 촬상 소자(121)에 있어서는, 또한, 도 13의 중단 좌부, 및 중단 우부의 각각에 나타내는 바와 같이, 입사광을 수광하는 영역의 일부를 차광하는 차광막(121b－11, 121b－12)이 설치되어 있다.
도 13의 중단 좌부에서 나타내는 바와 같이, 도면 중의 포토 다이오드(121e－11)의 우측 반을 차광하는 것 같은 차광막(121b－11)이 설치되어 있는 경우, 도 13의 상단의 실선의 파형으로 나타내는 바와 같이, 입사광의 입사 각도 θ에 따라 포토 다이오드(121e－11)의 검출 신호 레벨이 변화한다.
즉, 포토 다이오드(121e) 및 온칩 렌즈(121c)의 중심 위치로서, 각각에 대해 수직으로 되는 일점 쇄선에 대해서, 입사광이 이루는 각인 입사 각도 θ가 커지면(입사 각도 θ가 정의 방향으로 커지면(도면 중의 우측 방향으로 기울면), 차광막(121b－11)이 설치되지 않은 범위에 광이 집광됨으로써, 포토 다이오드(121e－11)의 검출 신호 레벨이 커진다. 반대로, 입사 각도 θ가 작을수록(입사 각도 θ가 부의 방향으로 클수록(도면 중의 좌측 방향으로 기울면), 차광막(121b－11)이 설치되어 있는 범위에 광이 집광됨으로써, 포토 다이오드(121e－11)의 검출 신호 레벨이 작아진다.
또한, 여기서 말하는 입사 각도 θ는, 입사광의 방향이 일점 쇄선과 일치하는 경우를 0도로 하고, 도면 중의 우상방으로부터의 입사광이 입사하는, 도 13의 중단 좌측의 입사 각도 θ21 측의 입사 각도 θ를 정의 값으로 하고, 도 13의 중단 우측의 입사 각도 θ22 측의 입사 각도 θ를 부의 값으로 한다. 따라서, 도 13에 있어서는, 온칩 렌즈(121c)에 대해서, 우상방으로부터 입사하는 입사광에 대해서는, 좌상방으로부터 입사하는 입사광보다 입사 각도가 커진다. 즉 입사 각도 θ는, 도 13에 있어서, 입사광의 진행 방향이 우측으로 기울수록 커지고(정의 방향으로 커지고), 좌측으로 기울수록 작아지는(부의 방향으로 커지는) 것으로 한다.
또한, 도 13의 중단 우부에서 나타내는 바와 같이, 도면 중의 포토 다이오드(121e－12)의 좌측 반을 차광하는 것 같은 차광막(121b－12)이 설치되어 있는 경우, 도 13의 상단의 점선의 파형으로 나타내는 바와 같이, 입사광의 입사 각도 θ에 따라 포토 다이오드(121e－12)의 검출 신호 레벨이 변화한다.
즉, 도 13의 상단에 있어서의 점선의 파형으로 나타내는 바와 같이, 포토 다이오드(121e) 및 온칩 렌즈(121c)의 중심 위치로서, 각각에 대해 수직으로 되는 일점 쇄선에 대해서, 입사광이 이루는 각인 입사 각도 θ가 클수록(입사 각도 θ가 정의 방향으로 클수록), 차광막(121b－12)이 설치되어 있는 범위에 광이 집광됨으로써, 포토 다이오드(121e－12)의 검출 신호 레벨이 작아진다. 반대로, 입사 각도 θ가 작을수록(입사 각도 θ가 부의 방향으로 클수록), 차광막(121b－12)이 설치되어 있지 않은 범위에 광이 입사함으로써, 포토 다이오드(121e－12)의 검출 신호 레벨이 커진다.
또한, 도 13의 상단에 있어서는, 횡축이 입사 각도 θ이며, 종축이 포토 다이오드(121e)에 있어서의 검출 신호 레벨을 나타내고 있다.
이 도 13의 상단에 나타내는 입사 각도 θ에 따른 검출 신호 레벨을 나타내는 실선 및 점선으로 나타내는 파형은, 차광막(121b)의 범위에 따라 변화시킬 수 있으므로, 이에 의해 화소 출력 단위마다 서로 다른 입사각 지향성을 갖게 하는 것이 가능하게 된다. 또한, 도 13의 상단에 있어서의 실선의 파형은, 도 13의 중단 좌부, 및 하단 좌부에 있어서의 입사광이, 입사 각도 θ를 변화시켜 집광되는 모습을 나타내는 실선의 화살표에 대응하고 있다. 또한, 도 13의 상단에 있어서의 점선의 파형은, 도 13의 중단 우부, 및 하단 우부에 있어서의 입사광이, 입사 각도 θ를 변화시켜 집광되는 모습을 나타내는 점선의 화살표에 대응하고 있다.
입사각 지향성이란, 입사 각도 θ에 따른 각 화소 출력 단위의 검출 신호 레벨의 특성(수광 감도 특성)이지만, 도 13의 중단의 예에 대해 말하자면, 입사 각도 θ에 따른 차광치의 특성이다라고도 말할 수 있다. 즉, 차광막(121b)은, 특정 방향의 입사광은 높은 레벨로 차광하지만, 특정 방향 이외의 방향으로부터의 입사광은 충분히 차광할 수 없다. 이 차광할 수 있는 레벨의 변화가, 도 13의 상단에 나타내는 것 같은 입사 각도 θ에 따른 다른 검출 신호 레벨을 일으키게 한다. 따라서, 각 화소 출력 단위에 있어서 가장 높은 레벨로 차광 가능한 방향을 각 화소의 차광 방향이라 정의하면, 화소 출력 단위에서 서로 다른 입사각 지향성을 갖는다라고 하는 것은, 환언하면, 화소 출력 단위에서 서로 다른 차광 방향을 갖는다라고 하는 것이 된다.
또한, 도 13의 하단 좌부에 나타내는 바와 같이, 1개의 온칩 렌즈(121c－11)에 대해서 2개의 포토 다이오드(121f－1, 121f－2)가 설치되는 구성으로 하는(화소 출력 단위가 2개의 포토 다이오드(121f－1, 121f－2)로 구성되는) 것에 따라, 도면 중 좌부의 포토 다이오드(121f－1)만의 검출 신호를 이용하도록 함으로써, 도 13의 중단 좌부에 있어서의 포토 다이오드(121e－11)의 우측을 차광한 상태와 같은 검출 신호 레벨을 구하도록 할 수 있다.
즉, 온칩 렌즈(121c)의 중심 위치로서, 각각에 대해 수직으로 되는 일점 쇄선에 대해서, 입사광이 이루는 각인 입사 각도 θ가 커지면(입사 각도 θ가 정의 방향으로 커지면), 검출 신호가 읽어내지는 포토 다이오드(121f－1)의 범위에 광이 집광됨으로써, 검출 신호 레벨이 커진다. 반대로, 입사 각도 θ가 작을수록(입사 각도 θ가 부의 방향으로 클수록), 검출치가 읽어내지지 않는 포토 다이오드(121f－2)의 범위에 광이 집광됨으로써, 검출 신호 레벨이 작아진다.
또한, 마찬가지로, 도 13의 하단 우부에 나타내는 바와 같이, 1개의 온칩 렌즈(121c－12)에 대해서 2개의 포토 다이오드(121f－11, 121f－12)가 설치되는 구성을 채용하는 것에 의해, 도면 중 우부의 포토 다이오드(121f－12)만의 검출 신호를 이용하도록 함으로써, 도 13의 중단 우부에 있어서의 포토 다이오드(121e－12)의 좌측을 차광 한 상태와 같은 검출 신호 레벨의 화소 출력 단위의 검출 신호를 얻도록 할 수 있다.
즉, 온칩 렌즈(121c)의 중심 위치로서, 각각에 대해 수직으로 되는 일점 쇄선에 대해서, 입사광이 이루는 각인 입사 각도 θ가 커지면(입사 각도 θ가 정의 방향으로 커지면), 검출 신호가 화소 출력 단위의 검출 신호에 기여하지 않는 포토 다이오드(121f－11)의 범위에 광이 집광됨으로써, 화소 출력 단위의 검출 신호의 검출 신호 레벨이 작아진다. 반대로, 입사 각도 θ가 작을수록(입사 각도 θ가 부의 방향으로 클수록), 검출 신호가 화소 출력 단위의 검출 신호에 기여하는 포토 다이오드(121f－12)의 범위에 광이 집광됨으로써, 화소 출력 단위의 검출 신호의 검출 신호 레벨이 커진다.
또한, 입사각 지향성에 대해서는, 랜덤성이 높은 쪽이 바람직하다. 예를 들어, 이웃하는 화소간에 동일한 입사각 지향성을 가지면, 상술한 식(1) 내지 식(3) 또는, 후술하는 식(14) 내지 식(16)이 서로 동일한 식이 될 우려가 있어, 연립 방정식의 해가 되는 미지수와 식의 수의 관계가 만족되지 않게 되어, 복원 화상을 구성하는 화소치를 구하지 못하게 될 우려가 있기 때문이다. 또한, 도 13의 상단에 나타내는 구성에 있어서는, 1개의 포토 다이오드(121e－11) 및 포토 다이오드(121e－12)의 각각이 1 화소 출력 단위를 구성한다. 도 13의 하단에 나타내는 구성에 있어서는, 2개의 포토 다이오드(121f－1 및 121f－2), 및, 포토 다이오드(121f－11 및 121f－12)에 의해 1 화소 출력 단위가 구성된다. 따라서, 예를 들어, 도 13의 하단에 있어서는, 포토 다이오드(121f)의 단체(單體)에서는, 1 화소 출력 단위는 구성되지 않는다.
또한, 도 12의 하단에 나타내는 바와 같이, 복수의 포토 다이오드(121f)로부터 1 화소 출력 단위가 구성되는 경우, 입사 각도에 따라서, 화소 출력 단위의 출력 화소치가 변조되고 있다고 간주할 수 있다. 따라서, 출력 화소치의 특성(입사각 지향성)을 화소 출력 단위에서 다르게 하는 것이 가능해지고, 1 화소 출력 단위에서의 입사각 지향성이 설정된다. 또한, 복수의 포토 다이오드(121f)로부터 1 화소 출력 단위가 구성되는 경우, 1 화소 출력 단위에서의 입사각 지향성을 일으키게 하기 위해서, 1 화소 출력 단위에 대해서 1개의 온칩 렌즈(121c)가 필수 구성으로 된다.
또한, 도 13의 상단에 나타내는 바와 같이, 1개의 포토 다이오드(121e－11) 또는 포토 다이오드(121e－12)의 각각이 1 화소 출력 단위를 구성하는 경우, 입사 각도에 따라서, 1 화소 출력 단위를 구성하는 1개의 포토 다이오드(121e－11) 또는 포토 다이오드(121e－12)에의 입사광이 변조됨으로써, 결과적으로 출력 화소치가 변조된다. 따라서, 출력 화소치의 특성(입사각 지향성)이 다르게 하는 것이 가능해지고, 1 화소 출력 단위에서의 입사각 지향성이 설정된다. 또한, 1개의 포토 다이오드(121e－11) 또는 포토 다이오드(121e－12)의 각각이 1 화소 출력 단위를 구성하는 경우, 입사각 지향성은, 1 화소 출력 단위마다 설치되는 차광막(121b)에 의해 독립하여 제조 시에 설정된다.
또한, 도 13의 하단에 나타내는 바와 같이, 복수의 포토 다이오드(121f)로부터 1 화소 출력 단위가 구성되는 경우, 1 화소 출력 단위 마다의 입사각 지향성을 설정하기 위한 복수의 포토 다이오드(121f)의 수(1 화소 출력 단위를 구성하는 포토 다이오드(121f)의 분할수)나 분할 위치에 대해서는, 1 화소 출력 단위로 독립하여 제조 시에 설정되고, 또한, 이 중, 어느 포토 다이오드(121f)를 이용하여 입사각 지향성을 설정할지에 대해서는, 촬상 시에 절환하도록 할 수 있다.
<입사각 지향성의 설정>
예를 들어, 도 14의 상단에 나타내는 바와 같이, 차광막(121b)의 설정 범위가, 화소(121a)에 있어서의 수평 방향에 대해서, 좌단부로부터 위치 A까지의 범위로 하고, 수직 방향에 대해서, 상단부로부터 위치 B까지의 범위로 한다.
이 경우, 각 화소의 수평 방향의 중심 위치로부터의 입사 각도 θx(deg)에 따른, 입사각 지향성의 지표가 되는 수평 방향의 0 내지 1의 가중치(weight) Wx를 설정한다. 보다 상세하게는, 위치 A에 대응하는 입사 각도 θx=θa에 있어서, 가중치 Wx가 0.5가 된다고 가정했을 경우, 입사 각도 θx<θa－α에 있어서 가중치 Wx가 1이 되고, θa－α≤입사 각도 θx≤θa＋α에 있어서, 가중치 Wx가 (－(θx－θa)/2α＋1/2)가 되고, 입사 각도 θx>θa＋α에 있어서 가중치 Wx가 0이 되도록 가중치 Wh를 설정한다. 또한, 여기서는, 가중치 Wh가 0, 0.5, 1인 예에 대해 설명하지만, 가중치 Wh가 0, 0.5, 1이 되는 것은, 이상적인 조건이 만족될 때이다.
마찬가지로, 각 화소의 수직 방향의 중심 위치로부터의 입사 각도 θy(deg)에 따른, 입사각 지향성의 지표가 되는 수직 방향의 0 내지 1의 가중치 Wy를 설정한다. 보다 상세하게는, 위치 B에 대응하는 입사 각도 θy=θb에 있어서, 가중치 Wｖ가 0.5가 된다고 가정했을 경우, 입사 각도 θy<θb－α에 있어서 가중치 Wy가 0이 되고, θb－α≤입사 각도 θy≤θb＋α에 있어서, 가중치 Wy가 ((θy－θb)/2α＋1/2)이 되고, 입사 각도 θy>θb＋α에 있어서 가중치 Wy가 1이 되도록 가중치 Wy를 설정한다.
그리고, 이와 같이 하여 구해지는 가중치 Wx, Wy를 이용함으로써, 각각의 화소(121a)의 입사각 지향성, 즉, 수광 감도 특성에 대응하는 계수를 구할 수 있다.
또한, 이 때, 수평 방향의 가중치 Wx 및 수직 방향의 가중치 Wy가 0.5의 전후가 되는 범위에 있어서의 가중치의 변화를 나타내는 기울기 (1/2α)는, 초점 거리가 다른 온칩 렌즈(121c)를 이용함으로써 설정할 수 있다.
즉, 곡률이 다른 온칩 렌즈(121c)를 이용함으로써 다른 초점 거리로 할 수 있다.
예를 들어, 곡률이 다른 온칩 렌즈(121c)를 이용함으로써, 도 14의 하단에 있어서의 실선으로 나타내는 바와 같이, 초점 거리가, 차광막(121b) 상이 되도록 집광될 때, 기울기 (1/2α)는, 급준하게 된다. 즉, 도 14의 상단에 있어서의, 수평 방향의 가중치 Wx 및 수직 방향의 가중치 Wy는, 0.5 부근이 되는 수평 방향의 입사 각도 θx=θa및, 수직 방향의 입사 각도 θy=θb의 경계 부근에 있어, 급격하게 0 또는 1로 변화한다.
또한, 예를 들어, 곡률이 다른 온칩 렌즈(121c)를 이용함으로써, 도 14의 하단에 있어서의 점선으로 나타내는 바와 같이, 초점 거리가, 포토 다이오드(121e) 상에 집광될 때, 기울기 (1/2α)는, 완만해진다. 즉, 도 14의 상부에 있어서의, 수평 방향의 가중치 Wx 및 수직 방향의 가중치 Wy가 0.5 부근이 되는 수평 방향의 입사 각도 θx=θa, 및, 수직 방향의 입사 각도 θy=θb의 경계 부근에 있어, 완만하게 0 또는 1로 변화한다.
이상과 같이, 곡률이 다른 온칩 렌즈(121c)를 이용하여, 다른 초점 거리로 함으로써 다른 입사각 지향성, 즉, 다른 수광 감도 특성을 얻을 수 있다.
따라서, 화소(121a)의 입사각 지향성은, 차광막(121b)에 의해 포토 다이오드(121e)가 차광되는 범위와, 온칩 렌즈(121c)의 곡률이 다르도록 함으로써 다른 값으로 설정할 수 있다. 또한, 온칩 렌즈의 곡률은, 지향성 촬상 소자(121)에 있어서의 모든 화소 출력 단위에서 동일해도 되고, 일부의 화소 출력 단위에 있어서 다른 곡률이어도 된다.
<온칩 렌즈와 촬상 렌즈와의 차이>
본 개시의 촬상 장치(101)에 있어서는, 지향성 촬상 소자(121)는, 촬상 렌즈로 이루어지는 광학 블록(152)을 필요로 하지 않는 구성이지만, 온칩 렌즈(121c)가 설치되는 경우도 있다. 또한, 도 11의 구성의 경우는 온칩 렌즈(121c)는 필수 구성으로 된다. 온칩 렌즈(121c)와 촬상 렌즈는, 물리적 작용이 다른 것이다.
여기서는, 광학 블록(152)이 촬상 렌즈(152)인 것으로서 설명한다.
도 15에 나타내는 바와 같이, 점 광원 P101로부터 발하는 광이 확산하도록 촬상 렌즈(152)에 입사할 때, 촬상 렌즈(152)는, 점 광원 P101과 촬상 렌즈(152)의 중심 152a을 통과하는 주 광선 L101에 의해 촬상 소자(151) 상에서 결상하는 화소 위치 P111가 특정된다.
이 때, 촬상 렌즈(152)는, 점 광원 P101로부터 발하는 광 중, 확산에 의해 주 광선 L101과는 다른 입사 각도로 입사하는 광을, 촬상 소자(151) 상의 화소 위치 P111에 집광할 수 있도록 설계되어 있다.
또한, 도 16에 나타내는 바와 같이, 화소 위치 P111에 인접하는, 예를 들어, 화소 위치 P112는, 점 광원 P101과는 다른 점 광원 P102와 촬상 렌즈(152)의 중심 위치 152a를 통과하는 주 광선 L102에 의해 특정된다.
따라서, 촬상 렌즈(152)는, 촬상 소자(151) 상의 다른 화소 위치 P111, P1121에 대해서, 각각 주 광선이 다른, 다른 점 광원 P101, P102의 상을 결상시킨다.
또한, 도 17에 나타내는 바와 같이, 무한원의 광의 입사를 가정했을 경우, 무한원의 입사광은, 평행광이므로, 점 광원 P101을 가정한 주 광선 L101에 대한, 예를 들어, 평행광 L121, L122이다라고 생각할 수 있다. 따라서, 촬상 렌즈(152)는, 주 광선 입사 각도가 다른 점 광원을, 각각 다른 촬상 소자(151) 상의 화소 위치에서 상을 결상시킨다.
즉, 촬상 렌즈(152)는, 주 광선 입사 각도가 다른 확산광을, 서로 인접하는 복수의 화소 출력 단위에 입사 시키기 위한 집광 기능을 가진다.
이에 대해서, 예를 들어, 도 10, 도 11을 참조하여 설명한 것처럼, 온칩 렌즈(121c)를 통과하는 광은, 대응하는 1 화소 출력 단위를 구성하는 포토 다이오드(121e 또는 121f)의 수광면에만 입사된다. 환언하면, 온칩 렌즈(121c)는, 화소 출력 단위마다 설치되고, 자신에게 입사하는 피사체광을 대응하는 화소 출력 단위에만 집광한다. 즉, 온칩 렌즈(121c)는, 가상 점 광원으로부터 출사한 확산광을, 서로 인접하는 복수의 화소 출력 단위에 입사시키기 위한 집광 기능을 가지지 않는다.
<계수 세트와 검출 신호로 이루어지는 연립 방정식을 이용한 화소치의 계산예>
신호 처리부(122)에 있어서 실행되는, 계수 세트와 검출 신호로 이루어지는 연립 방정식을 이용한 화소치의 구체적인 계산예에 대해 설명한다.
여기서, 피사체면(31)은, 도 18의 상단에 나타내는 바와 같이, 3 영역×3 영역의 합계 9 영역인 것으로 가정하고, 각 영역은, 영역 O11 내지 O13, O21 내지 O23, 및 O31 내지 O33에 의해 구성되는 것으로 한다. 또한, 각 영역에는, 대표점이 설정되고(도면 중의 둥근 마크), 이 대표점에 각 영역의 광강도의 적분치로 이루어지는 점 광원이 존재하는 것으로 가정한다. 따라서, 이후에 있어서는, 영역 O11 내지 O13, O21 내지 O23, 및 O31 내지 O33의 점 광원의 광강도를, 광강도 O11 내지 O13, O21 내지 O23, 및 O31 내지 O33이라고도 칭한다. 또한, 이들은, 단순히 영역 Oij 또는 광강도 Oij(모두 i, j=1, 2, 3)라고도 칭한다.
또한, 지향성 촬상 소자(121)는, 도 18의 하단에 나타내는 바와 같이, 3 화소×3 화소의 합계 9 화소로 이루어지며, 화소마다 다른 차광막(121b)이 설치되는 것으로 하고, 각 화소를 각각 화소 P11 내지 P13, P21 내지 P23, 및 P31 내지 P33이라 칭하는 것으로 하고, 각각의 화소의 검출 신호 레벨에 대해서도, 화소 P11 내지 P13, P21 내지 P23, 및 P31 내지 P33이라 칭하는 것으로 한다. 또한, 이들은, 단순히 화소 Pij(i, j=1, 2, 3)라고도 칭한다.
또한, 도 18, 도 20 내지 도 32의 기재에 있어서는, 차광막(121b)은, 화소 Pij(i, j=1, 2, 3) 각각의 그레이로 나타낸 범위로 하고, 차광막(121b)의 부호를 생략하여 표기한다.
또한, 지향성 촬상 소자(121)에 입사하는 광은, 예를 들어, 도 19에 나타내는 바와 같이, 무한원에 위치하는 점 광원 G1 내지 G3를 각각 가정했을 경우, 도면 중의 하부의 지향성 촬상 소자(121)의 수광면에 대해서 수직 방향으로부터 보면 각 점 광원 G1 내지 G3로부터의 입사광은 평행광이 되고, 동일한 점 광원으로부터 출사한 광은, 지향성 촬상 소자(121)의 어느 위치의 화소에서도 동일한 입사 각도로 입사한 것으로 간주할 수 있다. 따라서, 예를 들어, 점 광원 G2로부터의 광은, 지향성 촬상 소자(121)의 어느 위치의 화소에서도 입사 각도가 0deg가 된다.
<피사체면의 각 영역에 대한 지향성 촬상 소자의 각 화소에 있어서의 입사 각도>
또한, 피사체면(31)에 있어서의 각 영역 Oij에 대한 지향성 촬상 소자(121)에의 입사 각도(θx, θy)는, 지향성 촬상 소자(121)의 화소 Pij의 위치에 관계없이 도 20에서 정의되는 것으로 한다.
즉, 영역 O11은, (θx, θy)=(－5deg, ＋5deg), 영역 O12는, (θx, θy)=(－5deg, 0 deg), 영역 O13은, (θx, θy)=(－5deg, －5deg)가 된다. 마찬가지로, 영역 O21은, (θx, θy)=(0deg,＋5deg), 영역 O22는, (θx, θy)=(0deg, 0deg), 영역 O23은, (θx, θy)=(0deg, －5deg)가 된다. 또한, 영역 O31은, (θx, θy)=(＋5deg, ＋5deg), 영역 O32는, (θx, θy)=(＋5deg, 0deg), 영역 O33은, (θx, θy)=(＋5deg, －5deg)가 된다.
<수직 방향의 수광 감도 특성>
도 21에 나타내는 바와 같이, 화소 P11, P21, P31의 3 화소, 화소 P12, P22, P32의 3 화소, 및, 화소 P13, P23, P33의 3 화소는, 차광막(121b)의 지면 상의 수직 방향의 높이가 통일되어 있다.
보다 구체적으로는, 화소 P11, P21, P31의 3 화소는, 모두 각 화소의 상단으로부터의 높이 A1의 영역이 차광막(121b)에 의해 차광된 영역으로 되어 있고, 나머지의 높이 A2의 영역이 차광되어 있지 않은 영역으로 되어 있다.
또한, 화소 P12, P22, P32의 3 화소는, 모두 각 화소의 상단으로부터의 높이 A11의 영역이 차광되어 있지 않은 영역으로 되어 있고, 나머지의 높이 A12의 영역이 차광막(121b)에 의해 차광된 영역으로 되어 있다.
또한, 화소 P13, P23, P33의 3 화소는, 모두 각 화소의 상단으로부터의 높이 A21의 영역이 차광되어 있지 않은 영역으로 되어 있고, 나머지의 높이 A22의 영역이 차광막(121b)에 의해 차광된 영역으로 되어 있다.
이 때문에, 화소 P11, P21, P31의 3 화소, 화소 P12, P22, P32의 3 화소, 및, 화소 P13, P23, P33의 3 화소는, 수직 방향의 수광 감도 특성은 각각 통일된다.
즉, 화소 P11, P21, P31의 3 화소에 대해서는, 도 21의 우상부에 나타내는 바와 같이, 수직 방향의 입사 각도 θy가 -6deg보다 작은 경우, 가중치 Wy가 0이며, 입사 각도 θy가, －6deg 내지 -4deg인 경우, 가중치 Wy가, (θy＋6)/2이며, 입사 각도 θy가, －4deg보다 큰 경우, 가중치 Wy가, 1로 설정된다.
또한, 화소 P12, P22, P32의 3 화소에 대해서는, 도 21의 우중부에 나타내는 바와 같이, 수직 방향의 입사 각도 θy가 -1deg보다 작은 경우, 가중치 Wy가 1이며, 입사 각도 θy가, －1deg 내지 ＋1deg인 경우, 가중치 Wy가, (θy－1)/2이며, 입사 각도 θy가, ＋1deg보다 큰 경우, 가중치 Wy가, 0으로 설정된다.
또한, 화소 P13, P23, P33의 3 화소에 대해서는, 도 21의 우하부에 나타내는 바와 같이, 수직 방향의 입사 각도 θy가 ＋3deg보다 작은 경우, 가중치 Wy가 1이며, 입사 각도 θy가, ＋3deg 내지 ＋5deg인 경우, 가중치 Wy가, (－(θy－5)/2)이며, 입사 각도 θy가, ＋5deg보다 큰 경우, 가중치 Wy가, 0으로 설정된다.
<수평 방향의 수광 감도 특성>
또한, 도 22에 나타내는 바와 같이, 화소 P11 내지 P13의 3 화소, 화소 P21 내지 P23의 3 화소, 및, 화소 P31 내지 P33의 3 화소는, 차광막(121b)의 수평 방향의 폭이 통일되어 있다.
보다 구체적으로는, 화소 P11 내지 P13의 3 화소는, 모두 각 화소의 좌단으로부터의 폭 B1의 영역이 차광막(121b)에 의해 차광된 영역으로 되어 있고, 나머지의 폭 B2의 영역이 차광되어 있지 않은 영역으로 되어 있다.
또한, 화소 P21 내지 P23의 3 화소는, 모두 각 화소의 좌단으로부터의 폭 B11의 영역이 차광되어 있지 않은 영역으로 되어 있고, 나머지의 폭 B12의 영역이 차광막(121b)에 의해 차광되어 있는 영역으로 되어 있다.
또한, 화소 P31 내지 P33의 3 화소는, 모두 각 화소의 좌단으로부터의 폭 B21의 영역이 차광되어 있지 않은 영역으로 되어 있고, 나머지의 폭 B22의 영역이 차광막(121b)에 의해 차광되어 있는 영역으로 되어 있다.
이 때문에, 화소 P11 내지 P13의 3 화소, 화소 P21 내지 P23의 3 화소, 및, 화소 P31 내지 P33의 3 화소는, 수평 방향의 수광 감도 특성이 각각 통일된다.
즉, 화소 P11 내지 P13의 3 화소에 대해서는, 도 22의 좌하부에 나타내는 바와 같이, 수평 방향의 입사 각도 θx가 4deg보다 작은 경우, 가중치 Wx가 1이며, 입사 각도 θx가, 4deg 내지 6deg인 경우, 가중치 Wx가, (－(θx－6)/2)이며, 입사 각도 θx가, 6deg보다 큰 경우, 가중치 Wx가, 0으로 설정된다.
또한, 화소 P21 내지 P23의 3 화소에 대해서는, 도 22의 중앙 하부에 나타내는 바와 같이, 수평 방향의 입사 각도 θx가 -1deg보다 작은 경우, 가중치 Wx가 0이며, 입사 각도 θx가, －1deg 내지 ＋1deg인 경우, 가중치 Wx가, (θx＋1)/2이며, 입사 각도 θx가, ＋1deg보다 큰 경우, 가중치 Wx가, 1로 설정된다.
또한, 화소 P31 내지 P33의 3 화소에 대해서는, 도 22의 우하부에 나타내는 바와 같이, 수평 방향의 입사 각도 θx가 -5deg보다 작은 경우, 가중치 Wx가 0이며, 입사 각도 θx가, －5deg 내지 -3deg인 경우, 가중치 Wx가, (θx＋5)/2이며, 입사 각도 θx가, －3deg보다 큰 경우, 가중치 Wx가, 1로 설정된다.
그 결과, 지향성 촬상 소자(121)에 있어서의 화소 P11 내지 P13, P21 내지 P23, P31 내지 P33의 검출 신호 레벨을 화소 Pij(i, j=1, 2, 3)로 표현하면 이하의 식(4)으로 표현된다.
Pij=Σ(Wx(θxj)×Wy(θyi)×Oij) ···(4)
여기서, Wx(θxj)는, 지향성 촬상 소자(121)에 있어서의 수평 방향으로 j 화소째의 입사 각도 θx에 대한 수평 방향의 가중치이며, Wy(θyi)는, 지향성 촬상 소자(121)에 있어서의 수직 방향으로 i 화소째의 입사 각도 θy에 대한 수직 방향의 가중치이며, Oij는, 피사체면(31)에 있어서의 각 영역의 대표점으로 이루어지는 점 광원의 광강도이다.
즉, 도 21, 도 22의 관계로부터, 입사 각도 θx, θy를 -5, 0,＋5deg로 한정하면, 가중치 Wx, Wy는, 각 화소 Pij에 대해서, 도 23에 나타내는 바와 같은 값을 취하게 된다.
즉, 화소 P11, P21, P31(화소 Pij(j=1))에 있어서, 수직 방향의 입사 각도 θy가 ＋5deg인 경우, 가중치 Wy는 1이며, 수직 방향의 입사 각도 θy가 0deg인 경우, 가중치 Wy는 1이며, 수직 방향의 입사 각도 θy가 -5deg인 경우, 가중치 Wy는 0.5이다.
화소 P12, P22, P32(화소 Pij(j=2))에 있어서, 수직 방향의 입사 각도 θy가 ＋5deg인 경우, 가중치 Wy는 0이며, 수직 방향의 입사 각도 θy가 0deg인 경우, 가중치 Wy는 0.5이며, 수직 방향의 입사 각도 θy가 -5deg인 경우, 가중치 Wy는 1이다.
화소 P13, P23, P33(화소 Pij(j=3))에 있어서, 수직 방향의 입사 각도 θy가 ＋5deg인 경우, 가중치 Wy는 0이며, 수직 방향의 입사 각도 θy가 0deg인 경우, 가중치 Wy는 1이며, 수직 방향의 입사 각도 θy가 -5deg인 경우, 가중치 Wy는 1이다.
화소 P11 내지 P13(화소 Pij(i=1))에 있어서, 수평 방향의 입사 각도 θx가 ＋5deg인 경우, 가중치 Wx는 0.5이며, 수평 방향의 입사 각도 θx가 0deg인 경우, 가중치 Wx는 1이며, 수평 방향의 입사 각도 θx가 -5deg인 경우, 가중치 Wx는 1이다.
화소 P21 내지 P23(화소 Pij(i=2))에 있어서, 수평 방향의 입사 각도 θx가 ＋5deg인 경우, 가중치 Wx는 1이며, 수평 방향의 입사 각도 θx가 0deg인 경우, 가중치 Wx는 0.5이며, 수평 방향의 입사 각도 θx가 -5deg인 경우, 가중치 Wx는 0이다.
화소 P31 내지 P33(화소 Pij(i=3))에 있어서, 수평 방향의 입사 각도 θx가 ＋5deg인 경우, 가중치 Wx는 1이며, 수평 방향의 입사 각도 θx가 0deg인 경우, 가중치 Wx는 1이며, 수평 방향의 입사 각도 θx가 -5deg인 경우, 가중치 Wx는 0이다.
이상의 조건에 기초하여, 각 영역 Oij에 있어서의 대표점으로부터의 입사광이, 지향성 촬상 소자(121)의 각 화소 Pij에 어떠한 검출 신호 레벨의 신호로서 수광되는지를 설명한다.
(영역 O11)
영역 O11에 있어서의 대표점이 되는 점 광원으로부터의 입사광은, 모든 화소 Pij에 대해서 수평 방향의 입사 각도 θx=－5deg이며, 또한, 수직 방향의 입사 각도 θy=＋5deg로 입사한다.
이 때문에, 도 24에 나타내는 바와 같이, 화소 P11에 있어서는, 수평 방향의 가중치 Wx가 1이 되고, 수직 방향의 가중치 Wy가 1이 되므로, Wx×Wy가 1이 된다.
또한, 도 24 내지 도 32에 있어서, 선택된 가중치 Wx, Wy에는, 프레임이 덧붙여져 있고, 화소 Pij 내에는, 각각 선택된 수평 방향의 가중치 Wx와, 수직 방향의 가중치 Wy와의 곱셈 결과가 표기되어 있다.
마찬가지로, 화소 P12에 있어서는, 수평 방향의 가중치 Wx가 1이 되고, 수직 방향의 가중치 Wy가 0으로 되므로, Wx×Wy가 0으로 된다. 화소 P13에 있어서는, 수평 방향의 가중치 Wx가 1이 되고, 수직 방향의 가중치 Wy가 0으로 되므로, Wx×Wy가 0이 된다.
화소 P21에 있어서는, 수평 방향의 가중치 Wx가 0이 되고, 수직 방향의 가중치 Wy가 1이 되므로, Wx×Wy가 0이 된다. 화소 P22에 있어서는, 수평 방향의 가중치 Wx가 0이 되고, 수직 방향의 가중치 Wy가 0이 되므로, Wx×Wy가 0이 된다. 화소 P23에 있어서는, 수평 방향의 가중치 Wx가 0이 되고, 수직 방향의 가중치 Wy가 0이 되므로, Wx×Wy가 0이 된다.
화소 P31에 있어서는, 수평 방향의 가중치 Wx가 0이 되고, 수직 방향의 가중치 Wy가 1이 되므로, Wx×Wy가 0이 된다. 화소 P32에 있어서는, 수평 방향의 가중치 Wx가 0이 되고, 수직 방향의 가중치 Wy가 0이 되므로, Wx×Wy가 0이 된다. 화소 P33에 있어서는, 수평 방향의 가중치 Wx가 0이 되고, 수직 방향의 가중치 Wy가 0이 되므로, Wx×Wy가 0이 된다.
(영역 O21)
영역 O21에 있어서의 대표점이 되는 점 광원으로부터의 입사광은, 모든 화소 Pij에 대해서 수평 방향의 입사 각도 θx=0deg이며, 또한, 수직 방향의 입사 각도 θy=＋5deg로 입사한다.
이 때문에, 도 25에 나타내는 바와 같이, 화소 P11에 있어서는, 가중치 Wx=1, 가중치 Wy가 1이 되고, Wx×Wy=1이 된다. 화소 P12에 있어서는, 가중치 Wx=1, 수직 방향의 가중치 Wy=0이 되고, Wx×Wy=0이 된다. 화소 P13에 있어서는, 가중치 Wx=1, 가중치 Wy=0이 되므로, Wx×Wy=0이 된다.
화소 P21에 있어서는, 가중치 Wx=0.5, 가중치 Wy=1이 되고, Wx×Wy=0.5가 된다. 화소 P22에 있어서는, 가중치 Wx=0.5, 가중치 Wy=0이 되고, Wx×Wy=0이 된다. 화소 P23에 있어서는, 가중치 Wx=0.5, 가중치 Wy=0이 되고, Wx×Wy=0이 된다.
화소 P31에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다. 화소 P32에 있어서는, 가중치 Wx=1이 되고, 가중치 Wy=0이 되고, Wx×Wy=0이 된다. 화소 P33에 있어서는, 가중치 Wx=1, 가중치 Wy=0이 되고, Wx×Wy=0이 된다.
(영역 O31)
영역 O31에 있어서의 대표점이 되는 점 광원으로부터의 입사광은, 모든 화소 Pij에 대해서 수평 방향의 입사 각도 θx=＋5deg이며, 또한, 수직 방향의 입사 각도 θy=＋5deg로 입사한다.
이 때문에, 도 26에 나타내는 바와 같이, 화소 P11에 있어서는, 가중치 Wx=0.5, 가중치 Wy=1이 되고, Wx×Wy=0.5가 된다. 화소 P12에 있어서는, 가중치 Wx=0.5, 가중치 Wy=0이 되고, Wx×Wy=0이 된다. 화소 P13에 있어서는, 가중치 Wx=0.5, 가중치 Wy=0이 되고, Wx×Wy=0이 된다.
화소 P21에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다. 화소 P22에 있어서는, 가중치 Wx=1, 가중치 Wy=0이 되고, Wx×Wy=0이 된다. 화소 P23에 있어서는, 가중치 Wx=1, 가중치 Wy=0이 되고, Wx×Wy=0이 된다.
화소 P31에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다. 화소 P32에 있어서는, 가중치 Wx=1, 가중치 Wy=0이 되고, Wx×Wy=0이 된다. 화소 P33에 있어서는, 가중치 Wx=1, 가중치 Wy=0이 되고, Wx×Wy=0이 된다.
(영역 O12)
영역 O12에 있어서의 대표점이 되는 점 광원으로부터의 입사광은, 모든 화소 Pij에 대해서 수평 방향의 입사 각도 θx=－5deg이며, 또한, 수직 방향의 입사 각도 θy=0deg로 입사한다.
이 때문에, 도 27에 나타내는 바와 같이, 화소 P11에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다. 화소 P12에 있어서는, 가중치 Wx=1, 가중치 Wy=0.5가 되고, Wx×Wy=0.5가 된다. 화소 P13에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다.
화소 P21에 있어서는, 가중치 Wx=0, 가중치 Wy=1이 되고, Wx×Wy=0이 된다. 화소 P22에 있어서는, 가중치 Wx=0, 가중치 Wy=0.5가 되고, Wx×Wy=0이 된다. 화소 P23에 있어서는, 가중치 Wx=0, 가중치 Wy=1이 되고, Wx×Wy=0이 된다.
화소 P31에 있어서는, 가중치 Wx=0, 가중치 Wy=1이 되고, Wx×Wy=0이 된다. 화소 P32에 있어서는, 가중치 Wx=0, 가중치 Wy=0.5가 되고, Wx×Wy=0이 된다. 화소 P33에 있어서는, 가중치 Wx=0, 가중치 Wy=1이 되고, Wx×Wy=0이 된다.
(영역 O22)
영역 O22에 있어서의 대표점이 되는 점 광원으로부터의 입사광은, 모든 화소 Pij에 대해서 수평 방향의 입사 각도 θx=0deg이며, 또한, 수직 방향의 입사 각도 θy=0deg로 입사한다.
이 때문에, 도 28에 나타내는 바와 같이, 화소 P11에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다. 화소 P12에 있어서는, 가중치 Wx=1, 가중치 Wy=0.5가 되고, Wx×Wy=0.5가 된다. 화소 P13에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다.
화소 P21에 있어서는, 가중치 Wx=0.5, 가중치 Wy=1이 되고, Wx×Wy=0.5가 된다. 화소 P22에 있어서는, 가중치 Wx=0.5, 가중치 Wy=0.5가 되고, Wx×Wy=0.25가 된다. 화소 P23에 있어서는, 가중치 Wx=0.5, 가중치 Wy=1이 되고, Wx×Wy=0.5가 된다.
화소 P31에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다. 화소 P32에 있어서는, 가중치 Wx=1, 가중치 Wy=0.5가 되고, Wx×Wy=0.5가 된다. 화소 P33에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다.
(영역 O32)
영역 O32에 있어서의 대표점이 되는 점 광원으로부터의 입사광은, 모든 화소 Pij에 대해서 수평 방향의 입사 각도 θx=＋5deg이며, 또한, 수직 방향의 입사 각도 θy=0deg로 입사한다.
이 때문에, 도 29에 나타내는 바와 같이, 화소 P11에 있어서는, 가중치 Wx=0.5, 가중치 Wy=1이 되고, Wx×Wy=0.5가 된다. 화소 P12에 있어서는, 가중치 Wx=0.5, 가중치 Wy=0.5가 되고, Wx×Wy=0.25가 된다. 화소 P13에 있어서는, 가중치 Wx=0.5, 가중치 Wy=1이 되고, Wx×Wy=0.5가 된다.
화소 P21에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다. 화소 P22에 있어서는, 가중치 Wx=1, 가중치 Wy=0.5가 되고, Wx×Wy=0.5가 된다. 화소 P23에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다.
화소 P31에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다. 화소 P32에 있어서는, 가중치 Wx=1, 가중치 Wy=0.5가 되고, Wx×Wy=0.5가 된다. 화소 P33에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다.
(영역 O13)
영역 O13에 있어서의 대표점이 되는 점 광원으로부터의 입사광은, 모든 화소 Pij에 대해서 수평 방향의 입사 각도 θx=－5deg이며, 또한, 수직 방향의 입사 각도 θy=－5deg로 입사한다.
이 때문에, 도 30에 나타내는 바와 같이, 화소 P11에 있어서는, 가중치 Wx=1, 가중치 Wy=0.5가 되고, Wx×Wy=0.5가 된다. 화소 P12에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다. 화소 P13에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다.
화소 P21에 있어서는, 가중치 Wx=0, 가중치 Wy=0.5가 되고, Wx×Wy=0.5가 된다. 화소 P22에 있어서는, 가중치 Wx=0, 가중치 Wy=1이 되고, Wx×Wy=1이 된다. 화소 P23에 있어서는, 가중치 Wx=0, 가중치 Wy=1이 되고, Wx×Wy=1이 된다.
화소 P31에 있어서는, 가중치 Wx=0, 가중치 Wy=0.5가 되고, Wx×Wy=0이 된다. 화소 P32에 있어서는, 가중치 Wx=0, 가중치 Wy=1이 되고, Wx×Wy=0이 된다. 화소 P33에 있어서는, 가중치 Wx=0, 가중치 Wy=1이 되고, Wx×Wy=0이 된다.
(영역 O23)
영역 O23에 있어서의 대표점이 되는 점 광원으로부터의 입사광은, 모든 화소 Pij에 대해서 수평 방향의 입사 각도 θx=0deg이며, 또한, 수직 방향의 입사 각도 θy=－5deg로 입사한다.
이 때문에, 도 31에 나타내는 바와 같이, 화소 P11에 있어서는, 가중치 Wx=1, 가중치 Wy=0.5가 되고, Wx×Wy=0.5가 된다. 화소 P12에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다. 화소 P13에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다.
화소 P21에 있어서는, 가중치 Wx=0.5, 가중치 Wy=0.5가 되고, Wx×Wy=0.25가 된다. 화소 P22에 있어서는, 가중치 Wx=0.5, 가중치 Wy=1이 되고, Wx×Wy=0.5가 된다. 화소 P23에 있어서는, 가중치 Wx=0.5, 가중치 Wy=1이 되고, Wx×Wy=0.5가 된다.
화소 P31에 있어서는, 가중치 Wx=1, 가중치 Wy=0.5가 되고, Wx×Wy=0.5가 된다. 화소 P32에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다. 화소 P33에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다.
(영역 O33)
영역 O33에 있어서의 대표점이 되는 점 광원으로부터의 입사광은, 모든 화소 Pij에 대해서 수평 방향의 입사 각도 θx=＋5deg이며, 또한, 수직 방향의 입사 각도 θy=－5deg로 입사한다.
이 때문에, 도 32에 나타내는 바와 같이, 화소 P11에 있어서는, 가중치 Wx=0.5, 가중치 Wy=0.5가 되고, Wx×Wy=0.25가 된다. 화소 P12에 있어서는, 가중치 Wx=0.5, 가중치 Wy=1이 되고, Wx×Wy=0.5가 된다. 화소 P13에 있어서는, 가중치 Wx=0.5, 가중치 Wy=1이 되고, Wx×Wy=0.5가 된다.
화소 P21에 있어서는, 가중치 Wx=1, 가중치 Wy=0.5가 되고, Wx×Wy=0.5가 된다. 화소 P22에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다. 화소 P23에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다.
화소 P31에 있어서는, 가중치 Wx=1, 가중치 Wy=0.5가 되고, Wx×Wy=0.5가 된다. 화소 P32에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다. 화소 P33에 있어서는, 가중치 Wx=1, 가중치 Wy=1이 되고, Wx×Wy=1이 된다.
이상의 처리 결과에 기초하여, 신호 처리부(122)는, 지향성 촬상 소자(121)의 검출 신호 레벨이 되는 화소 Pij를, 이상의 피사체면(31) 상의 각 영역 Oij의 대표점을 점 광원으로 한 광강도와 가중치와의 적화로서 구한다.
즉, 이 적화가, 이하의 식(5) 내지 식(13)으로 나타내지는 9개의 연립 방정식이 된다.
P11=1×O11＋1×O21＋0.5×O31＋1×O12＋1×O22＋0.5×O32＋0.5×O13＋0.5×O23＋0.25×O33 ···(5)
P12=0×O11＋0×O21＋0×O31＋0.5×O12＋0.5×O22＋0.25×O32＋1×O13＋1×O23＋0.5×O33 ···(6)
P13=0×O11＋0×O21＋0×O31＋1×O12＋1×O22＋0.5×O32＋1×O13＋1×O23＋0.5×O33 ···(7)
P21=0×O11＋0.5×O21＋1×O31＋0×O12＋0.5×O22＋1×O32＋0×O13＋0.25×O23＋0.5×O33 ···(8)
P22=0×O11＋0×O21＋0×O31＋0×O12＋0.25×O22＋0.5×O32＋0×O13＋0.5×O23＋1×O33 ···(9)
P23=0×O11＋0×O21＋0×O31＋0×O12＋0.5×O22＋1×O32＋0×O13＋0.5×O23＋1×O33 ···(10)
P31=0×O11＋1×O21＋1×O31＋0×O12＋1×O22＋1×O32＋0×O13＋0.5×O23＋0.5×O33 ···(11)
P32=0×O11＋0×O21＋0×O31＋0×O12＋0.5×O22＋0.5×O32＋0×O13＋1×O23＋1×O33 ···(12)
P33=0×O11＋0×O21＋0×O31＋0×O12＋1×O22＋1×O32＋0×O13＋1×O23＋1×O33 ···(13)
여기서, 화소 Pij에 의해 나타내지는 값은, 지향성 촬상 소자(121)에 의해 촬상되는, 유저가 목시하여도 화상으로서 인식할 수 없는 검출 화상을 구성하는 검출 신호의 신호 레벨이 된다.
신호 처리부(122)는, 예를 들어, 상술의 9개의 연립 방정식을 이용하여, 피사체면(31) 상의 각 영역의 휘도(광강도) Oij를 구함으로써, 피사체면(31)에 대응하는 복원 화상을 복원한다.
또한, 상술한 화소 Pij의 각각에 대해 구해지는 수평 방향의 가중치 Wx 및 수직 방향의 가중치 Wy를 곱한 값이, 계수 세트이다. 보다 상세하게는, 계수 세트는, 각각 피사체면(31)에 있어서의, 상술한 식(1) 내지 식(3)의 계수 α1, β1, γ1, α2, β2, γ2, α3, β3, γ3 그 자체이다. 또한, 수평 방향의 가중치 Wx 및 수직 방향의 가중치 Wy는, 피사체면(31)의 차이에 따라 다른 것이며, 피사체면을 특정하기 위한 복원 화상의 거리나 화각에 따라 계수 세트를 절환함으로써, 소망하는 피사체면의 복원 화상을 복원하는 것이 가능하게 된다. 다만, 연립 방정식의 독립성을 확보할 수 있도록 입사각 지향성을 설정할 필요가 있다. 또한, 여기서 말하는 연립 방정식의 독립성을 확보한다란, 예를 들어, 계수 세트(αs, βs, γs)와, 계수 세트(αt, βt, γt)를 생각했을 때의 상호의 선형성의 독립성을 확보하는 것이며, 벡터(αs, βs, γs)와 벡터(αt, βt, γt)가 상호 계수 배가 되지 않도록 하는 것이다.
<피사체면과 지향성 촬상 소자와의 거리의 관계>
다음으로, 도 33을 참조하여, 피사체면과 지향성 촬상 소자(121)와의 거리의 관계에 대해 설명한다.
도 33의 상단 좌부에 나타내는 바와 같이, 지향성 촬상 소자(121)(도 5의 촬상 소자(51)와 마찬가지)와 피사체면(31)까지의 피사체 거리가 거리 d1인 경우, 예를 들어, 도 5의 상단에 나타내는 피사체면(31) 상의 점 광원 PA, PB, PC를 설정할 때, 대응하는 지향성 촬상 소자(121) 상의 위치 Pa, Pb, Pc에 있어서의 검출 신호 레벨 DA, DB, DC가, 상술한 식(1) 내지 식(3)과 동일한 식으로 표현할 수 있는 것으로 한다.
DA=α1×a＋β1×b＋γ1×c ···(1)
DB=α2×a＋β2×b＋γ2×c ···(2)
DC=α3×a＋β3×b＋γ3×c ···(3)
이에 대해서, 도 33의 하단 좌부에 나타내는 바와 같이, 지향성 촬상 소자(121)(도 5의 촬상 소자(51)와 마찬가지)와의 피사체 거리가 거리 d1보다 d만큼 큰 거리 d2인 피사체면(31＇)인 경우, 즉, 지향성 촬상 소자(121)로부터 보아, 피사체면(31)보다 내측 깊숙한 피사체면(31＇)의 경우, 검출 신호 레벨은, 도 33의 상단 중앙부, 및 하단 중앙부에 나타내는 바와 같이, 검출 신호 레벨 DA, DB, DC 모두 마찬가지이다.
그렇지만, 이 경우 피사체면(31＇) 상의 점 광원 PA＇, PB＇, PC＇로부터의 광강도 a＇, b＇, c＇의 광선이 지향성 촬상 소자(121)의 각 화소에 있어 수광된다. 이 때, 지향성 촬상 소자(121) 상에서 수광되는, 광강도 a＇, b＇, c＇의 광선의 입사 각도는 상이하기 때문에(변화하기 때문에), 각각 다른 계수 세트가 필요하게 되고, 각 위치 Pa, Pb, Pc에 있어서의 검출 신호 레벨 DA, DB, DC는, 예를 들어, 이하의 식(14) 내지 식(16)으로 나타내는 바와 같이 표현되게 된다.
DA=α11×a＇＋β11×b＇＋γ11×c＇ ···(14)
DB=α12×a＇＋β12×b＇＋γ12×c＇ ···(15)
DC=α13×a＇＋β13×b＇＋γ13×c＇ ···(16)
여기서, 계수 세트 α11, β11, γ11, 계수 세트 α12, β12, γ12, 계수 세트 α13, β13, γ13으로 이루어지는 계수 세트군은, 각각 피사체면(31)에 있어서의 계수 세트 α1, β1, γ1, 계수 세트 α2, β2, γ2, 계수 세트 α3, β3, γ3에 대응하는 피사체면(31＇)의 계수 세트군이다.
따라서, 식(14) 내지 식(16)을, 미리 설정된 계수 세트군 α11, β11, γ11, α12, β12, γ12, α13, β13, γ13을 이용하여 풀어냄으로써, 도 33의 상단 우부에 나타내는 피사체면(31)에 있어서의 경우의 점 광원 PA, PB, PC에 있어서의 광선의 광강도 a, b, c를 구한 수법과 마찬가지의 수법으로, 도 33의 하단 우부에 나타내는 바와 같이, 점 광원 PA＇, PB＇, PC＇로부터의 광선의 광강도 a＇, b＇, c＇로서 구하는 것이 가능하게 되고, 결과적으로, 피사체면(31＇)의 피사체의 복원 화상을 구하는 것이 가능하게 된다.
즉, 도 6의 촬상 장치(101)에 있어서는, 지향성 촬상 소자(121)로부터의 피사체면까지의 거리마다의 계수 세트군을 미리 기억하여 두고, 계수 세트군을 절환하여 연립 방정식을 구성하고, 구성한 연립 방정식을 풀어냄으로써, 1개의 검출 화상에 기초하여, 여러가지 피사체 거리의 피사체면의 복원 화상을 얻는 것이 가능하게 된다.
즉, 검출 화상을 1회 촬상하는 것만으로, 그 후의 처리에서, 피사체면까지의 거리에 따라 계수 세트군을 절환하고, 복원 화상을 구하도록 함으로써, 임의의 거리의 복원 화상을 생성하는 것도 가능하다.
또한, 복원 화상을 얻고 나서 복원 화상을 토대로 화상 인식 등을 실시하지 않아도, 촬상 소자의 검출 신호에 대해 딥 러닝 등의 기계 학습을 적용하여, 검출 신호 자체를 이용하여 화상 인식 등을 행하는 것도 가능하다.
또한, 피사체 거리나 화각을 특정할 수 있는 것 같은 경우에 대해서는, 모든 화소를 이용하지 않고, 특정된 피사체 거리나 화각에 대응한 피사체면의 촬상에 적절한 입사각 지향성을 가지는 화소의 검출 신호로 이루어지는 검출 화상을 이용하여, 복원 화상을 생성하도록 해도 된다. 이와 같이 함으로써, 특정된 피사체 거리나 화각에 대응한 피사체면의 촬상에 적절한 화소의 검출 신호를 이용하여 복원 화상을 구할 수 있으므로, 특정된 피사체 거리나 화각의 복원 화상을 높은 정밀도로 구하는 것이 가능하게 된다.
여기서, 특정된 피사체 거리나 화각에 대응한 피사체면의 촬상에 적절한 화소의 검출 신호를 이용하여 복원 화상을 구하도록 함으로써, 복원 화상을 높은 정밀도로 구할 수 있는 이유에 대해 설명한다.
예를 들어, 도 34의 상단에 나타내는 바와 같이, 4변의 각각의 단부로부터 폭 d1만큼 차광막(121b)에 의해 차광되고 있는 화소(121a)와, 도 34의 하단에 나타내는 바와 같이, 4변의 각각의 단부로부터 폭 d2(>d1)만큼 차광막(121b)에 의해 차광되고 있는 화소(121a＇)를 생각한다.
화소(121a)는, 예를 들어, 도 35의 상단에 나타내는 것 같은, 피사체가 되는 인물(H101)의 전체를 포함하는 화각 SQ1에 대응하는, 도 34의 화상 I1을 복원하기 위해 이용된다. 이에 대해서, 화소(121a＇)는, 인물(H101)의 얼굴 주변이 줌 업된 화각 SQ2에 대응하는, 도 34의 화상 I2를 복원하기 위해 이용된다.
이것은, 도 34의 화소(121a)가, 도 36의 좌부에 나타내는 바와 같이, 지향성 촬상 소자(121)에 대해서 입사광의 입사 가능 각도 범위 A1가 되기 때문에, 피사체면(31) 상에 있어, 수평 방향으로 피사체폭 W1분의 입사광을 수광할 수 있기 때문이다.
이에 대해서, 도 34의 화소(121a＇)는, 도 34의 화소(121a)보다 차광되는 범위가 넓기 때문에, 도 36의 좌부에 나타내는 바와 같이, 지향성 촬상 소자(121)에 대해서 입사광의 입사 가능 각도 범위 A2(<A1)가 되기 때문에, 피사체면(31) 상에 있어, 수평 방향으로 피사체폭 W2(<W1)분의 입사광을 수광하기 때문이다.
즉, 차광 범위가 좁은 도 34의 화소(121a)는, 피사체면(31) 상의 넓은 범위를 촬상하는데 적합한 광화각 화소인데 대하여, 차광 범위가 넓은 도 34의 화소(121a＇)는, 피사체면(31) 상의 좁은 범위를 촬상하는데 적합한 협화각 화소이다. 또한, 여기서 말하는 광화각 화소 및 협화각 화소는, 도 34의 화소(121a, 121a＇)의 양자를 비교하는 표현으로서, 그 외의 화각의 화소를 비교하는데 있어서는 이에 한정되지 않는다.
또한, 도 36은, 지향성 촬상 소자(121)의 중심 위치 C1에 대한, 피사체면(31) 상의 위치와, 각각의 위치로부터의 입사광의 입사 각도와의 관계를 나타내고 있다. 또한, 도 36에 있어서는, 피사체면(31) 상의 위치와, 피사체면 상의 각각의 위치로부터의 입사광의 입사 각도와의 수평 방향에 대한 관계가 나타내어져 있지만, 수직 방향에 대해서도 마찬가지의 관계가 된다. 또한, 도 36의 우부에는, 도 34에 있어서의 화소(121a, 121a＇)가 나타내어져 있다.
이와 같은 구성에 의해, 도 35의 하단에 나타내는 바와 같이, 지향성 촬상 소자(121)에 있어서의, 점선으로 둘러싸인 범위 ZA에, 도 34의 화소(121a)를, 일점 쇄선으로 둘러싸인 범위 ZB에 화소(121a＇)를, 각각 소정 화소수씩 모아 구성하는 경우, 피사체폭 W1에 대응하는 화각 SQ1의 화상을 복원할 때는, 화각 SQ1을 촬상하는 도 34의 화소(121a)를 이용하도록 함으로써, 적절히 피사체면(31)의 피사체폭 W1의 화상을 복원할 수 있다.
마찬가지로, 피사체폭 W2에 대응하는 화각 SQ2의 화상을 복원할 때는, 화각 SQ2를 촬상하는 도 34의 화소(121a＇)의 검출 신호를 이용하도록 함으로써, 적절히 피사체폭 W2의 화상을 복원할 수 있다.
또한, 도 35의 하단에 있어서는, 도면 중의 좌측에 화소(121a＇)가 소정 화소수만큼 설치되고, 우측에 화소(121)가 소정 화소수만큼 설치된 구성으로서 나타내어져 있지만, 이것은 설명을 간단하게 하기 위한 예로서 나타난 것이며, 화소(121a)와 화소(121a＇)는, 랜덤으로 혼재하여 배치되는 것이 바람직하다.
이와 같이, 화각 SQ2는, 화각 SQ1보다 화각이 좁기 때문에, 화각 SQ2와 화각 SQ1의 화상을 동일한 소정 화소수로 복원하는 경우, 화각 SQ1의 화상보다도, 보다 좁은 화각이 되는 화각 SQ2의 화상을 복원하는 쪽이, 보다 고화질의 복원 화상을 얻을 수 있다.
즉, 동일 화소수를 이용하여 복원 화상을 얻는 것을 생각했을 경우, 보다 화각이 좁은 화상을 복원하는 쪽이, 보다 고화질의 복원 화상을 얻을 수 있다.
또한, 화각이 넓은 화상을 복원 화상으로서 얻는 경우, 광화각 화소의 전 화소를 이용하도록 해도 되고, 광화각 화소의 일부를 이용하도록 해도 된다. 또한, 화각이 좁은 화상을 복원 화상으로서 얻는 경우, 협화각 화소의 전 화소를 이용하도록 해도 되고, 협화각 화소의 일부를 이용하도록 해도 된다.
<본 개시의 도 6의 촬상 장치에 있어서의 촬상 처리>
다음으로, 도 37의 흐름도를 참조하여, 도 6의 촬상 장치(101)에 의한 촬상 처리에 대해 설명한다. 또한, 도 37의 흐름도에 있어서의 스텝 S34 내지 S38의 처리는, 도 8의 흐름도를 참조하여 설명한 스텝 S14 내지 S18의 처리와 마찬가지이므로, 그 설명은 적절히 생략하는 것으로 한다.
즉, 스텝 S31에 있어서, 지향성 촬상 소자(121)는, 화소 출력 단위에서 다른 입사각 지향성을 구비한 화소 출력 단위마다, 수광되는 입사광의 광량에 따른 검출 신호를 얻어, 검출 화상으로서 신호 처리부(122)에 공급한다.
스텝 S32에 있어서, 피사체 거리 결정부(129)는, 조작부(130)로부터의 조작 신호, 또는, 오토 포커스 기능에 기초하여 결정된 피사체 거리를 결정한다. 계수 세트 선택부(131)는, 피사체 거리에 기초하여 대응지어져 기억되어 있는 계수 세트군을 읽어내어 신호 처리부(122)에 공급한다. 여기서, 읽어내지는 계수 세트군은, 예를 들어, 상술한 식(1) 내지 식(3) 또는 식(14) 내지 식(16)에 있어서의 계수 α1 내지 α3, β1 내지 β3, γ1 내지 γ3, α11 내지 α13, β11 내지 β13, γ11 내지 γ13에 상당하는 복수의 계수로 이루어지는 계수 세트군이다.
스텝 S33에 있어서, 신호 처리부(122)는, 검출 화상에 있어서의 각 화소 출력 단위의 검출 신호와, 계수 세트 선택부(131)에 의해 선택되는 계수 세트군을 이용하여, 복원 화상의 화소치를 산출한다. 보다 상세하게는, 신호 처리부(122)는, 예를 들어, 상술한 식(1) 내지 식(3), 또는, 식(14) 내지 식(16), 및 도 18 내지 도 32를 참조하여 설명한 연립 방정식을 구성하고, 나아가, 이 연립 방정식을 풀어냄으로써, 복원 화상을 구하여, 디모자이크 처리부(123)에 출력한다.
이후에 있어서는, 복원 화상은, 디모자이크 처리부(123)에 의해 디모자이크 처리되고, γ 보정부(124)에 의해 γ 보정되고, 화이트 밸런스 조정부(125)에 의해 화이트 밸런스가 조정되고, 화상 출력부(126)에 의해 소정의 압축 형식으로 변환된다. 그리고, 필요에 따라서, 소정의 압축 형식으로 변환된 복원 화상이 기억부(127)에 기억되는 처리, 표시부(128)에 표시되는 처리, 및 피사체 거리 결정부(129)에 출력되는 처리, 또는, 그들 처리 중 어느 하나를 거치도록 해도 된다.
또한, 이상에 있어서는, 지향성 촬상 소자(121)와 피사체 거리에 대응지어진 계수 세트군을 이용하여 검출 화상으로부터 복원 화상을 구하는 예에 대해 설명하여 왔지만, 도 34, 35에서 상술한 바와 같이, 계수 세트군은, 피사체 거리뿐만 아니라, 화각에 대응지어져 설정한 것을 준비하고, 피사체 거리 및 화각에 따른 계수 세트군을 선택하여 검출 화상으로부터 복원 화상을 구하도록 해도 된다. 또한, 피사체 거리 및 화각에 대한 분해능은, 준비되는 계수 세트의 수에 의존하는 것이 된다.
또한, 도 37의 흐름도를 이용한 처리의 설명에 있어서는, 검출 화상에 포함되는 모든 화소 출력 단위의 검출 신호를 이용하는 예에 대해 설명해 왔지만, 지향성 촬상 소자(121)를 구성하는 화소 출력 단위의 검출 신호 중, 특정된 피사체 거리 및 화각에 대응하는 입사각 지향성을 구비한 화소 출력 단위의 검출 신호로 이루어지는 검출 화상을 구성하고, 이를 이용하여 복원 화상을 구하도록 해도 좋다. 이와 같은 처리에 의해, 구하려고 하는 복원 화상의 피사체 거리나 화각에 적절한 검출 화상으로 복원 화상을 복원하는 것이 가능해지므로, 보다 높은 정밀도로 복원 화상을 복원하는 것이 가능하게 된다. 즉, 특정된 피사체 거리 및 화각에 대응하는 화상이, 예를 들어, 도 35에 있어서의 화각 SQ1에 대응하는 화상인 경우, 화각 SQ1에 대응하는 입사각 지향성을 구비한 화소(121a)를 선택하고, 이들로부터 얻어지는 검출 화상으로 복원 화상을 복원함으로써, 화각 SQ1의 화상을 높은 정밀도로 복원하는 것이 가능하게 된다.
이상의 처리에 의해, 각 화소에 입사각 지향성을 갖게 하도록 한 지향성 촬상 소자(121)를 필수 구성으로 한 촬상 장치(101)를 실현하는 것이 가능하게 된다.
결과적으로, 촬상 렌즈, 회절 격자 등으로 이루어지는 광학 소자나, 핀홀 등이 불필요해지기 때문에, 장치의 설계의 자유도를 높이는 것이 가능하게 됨과 함께, 촬상 소자와 별체로 구성되고, 촬상 장치로서 구성하는 단계에서 촬상 소자와 합쳐져 탑재되는 것이 상정되는 광학 소자가 불필요해지기 때문에, 입사광의 입사 방향에 대한 장치의 소형화를 실현하는 것이 가능하게 되고, 제조 코스트를 저감하는 것이 가능하게 된다. 또한, 포커스 렌즈 등과 같은, 광학상을 결상시키기 위한 촬상 렌즈에 상당하는 렌즈가 불필요해진다. 다만, 배율을 변화시키는 줌 렌즈는 설치되어 있어도 좋다.
또한, 검출 화상을 취득하는 것만으로, 그 후에 있어, 피사체 거리나 화각에 따른 계수 세트군을 선택적으로 이용하여 구성한 연립 방정식을 풀어 복원 화상을 구함으로써, 여러가지 피사체 거리의 복원 화상을 생성하는 것이 가능하게 된다.
예를 들어, 촬상 렌즈와 종래의 촬상 소자로 이루어지는 촬상 장치를 이용했을 경우, 여러가지 초점 거리나 화각의 화상을 얻기 위해서는, 초점 거리나 화각을 여러가지로 변화시키면서, 촬상하여 둘 필요가 있다. 그렇지만, 본 개시의 촬상 장치(101)에 있어서는, 계수 세트군을 절환하여 복원 화상을 복원시킬 수 있으므로, 초점 거리, 즉, 피사체 거리나 화각을 여러가지로 변화시키면서 반복 촬상한다고 하는 처리가 불필요하게 된다.
또한, 이상의 처리에 있어서는, 복원 화상만이 기억부(127)에 기억되는 예에 대해 설명해 왔지만, 검출 화상을 기억부(127)에 기억시키도록 함으로써, 재생 시에, 피사체 거리가 다른 복수의 계수 세트군을 이용하여 복원 화상을 생성시키도록 해도 되고, 이와 같이 함으로써, 재생 시에 임의의 피사체 거리나 임의의 화각의 피사체면에 있어서의 복원 화상을 생성하는 것이 가능하게 된다.
또한, 회절 격자로 이루어지는 광학 필터와 종래의 촬상 소자로 이루어지는 촬상 장치 등과 비교하여, 화소 단위에서 입사각 지향성을 가진 지향성 촬상 소자(121)에 의해 촬상되는 검출 화상을 이용하여 복원 화상을 생성할 수 있으므로, 다화소화를 실현할 수 있고, 또한, 고해상도이며, 또한, 고각도 분해능의 화상을 촬상하는 것이 가능하게 된다.
또한, 본 개시의 촬상 장치(101)는, 지향성 촬상 소자(121)가 필수 구성이며, 예를 들어, 회절 격자로 이루어지는 광학 필터 등을 필요로 하지 않기 때문에, 사용 환경이 고온이 되어, 광학 필터가 열에 의해 왜곡되는 일이 일어나지 않기 때문에, 환경 내성이 높은 촬상 장치를 실현하는 것이 가능하게 된다.
또한, 본 개시의 촬상 장치(101)에 있어서는, 회절 격자나 촬상 렌즈 등의 광학 소자를 필요로 하지 않기 때문에, 촬상하는 기능을 구비한 구성의 설계의 자유도를 향상시키는 것이 가능하게 된다.
<제1 변형예>
이상에 있어서는, 도 9에 나타내는 바와 같이, 지향성 촬상 소자(121)의 각 화소(121a)에 있어서의 차광막(121b)의 구성에 대해서는, 수직 방향에 대해서는 전체를 차광하고, 또한, 수평 방향에 대해서의 차광폭이나 위치를 변화시키는 예에 대해 설명해 왔지만, 당연히, 수평 방향에 대해서 전체로서 차광하고, 수직 방향의 폭(높이)이나 위치를 변화시키도록 하여, 각 화소에 입사각 지향성을 갖게 하도록 해도 된다.
또한, 이후에 있어서는, 도 9의 우부에 나타내는 각 화소(121a)와 같이, 수직 방향에 대해서는 화소(121a) 전체를 차광하고, 또한, 수평 방향에 대해서 소정의 폭으로 화소(121a)를 차광하는 차광막(121b)은, 횡대 타입의 차광막(121b)이라고 칭한다. 또한, 도 9의 우부에 나타내는 각 화소(121a)의 각각을 스스로의 중심 위치를 축으로 하여 90°회전시켰을 경우와 같이, 수평 방향에 대해서는 화소(121a) 전체를 차광하고, 또한, 수직 방향에 대해서 소정의 높이로 화소(121a)를 차광하는 차광막(121b)은, 종대 타입의 차광막(121b)이라 칭한다.
또한, 도 38의 좌부에서 나타내는 바와 같이, 종대 타입과 횡대 타입의 차광막(121b)을 조합하고, 예를 들어, 베이어 배열의 각각의 화소에 대해서, L자형과 같은 차광막(121b)을 설치하도록 해도 된다. 또한, 도 38에 있어서는, 흑색의 범위가 차광막(121b)을 나타내고 있으며, 특히 달리 언급이 없는 한, 이후의 도면에 있어서도 마찬가지로 표시한다.
각 화소는, 도 38의 우부에 나타내는 것 같은 입사각 지향성을 가지게 된다. 즉, 도 38의 우부에 있어서는, 각 화소에 있어서의 수광 감도가 나타내어져 있고, 횡축이 입사광의 수평 방향(x방향)의 입사 각도 θx를 나타내고, 종축이 입사광의 수직 방향(y방향)의 입사 각도 θy를 나타내고 있다. 그리고, 범위 C4 내의 수광 감도가, 범위 C4의 밖보다 높고, 범위 C3 내의 수광 감도가, 범위 C3의 밖보다 높고, 범위 C2 내의 수광 감도가, 범위 C2의 밖보다 높고, 범위 C1 내의 수광 감도가, 범위 C1의 밖보다 높다.
따라서, 각 화소에 대하여, 범위 C1 내가 되는, 수평 방향(x방향)의 입사 각도 θx와, 수직 방향(y방향)의 입사 각도 θy의 조건을 만족하는 입사광의 검출 신호 레벨이 가장 높아지고, 범위 C2 내, 범위 C3 내, 범위 C4 내, 및, 범위 C4 이외의 범위의 조건의 순서로 검출 신호 레벨이 낮아지는 것이 나타내어져 있다. 또한, 도 38의 우부에 나타내는 수광 감도는, 베이어 배열과는 관계없는 것으로, 각 화소(121a)에 있어서의 차광막(121b)에 의해 차광되는 범위에 의해 결정되는 것이다.
또한, 도 38의 좌부에 있어서는, 베이어 배열이 되는 G화소의 화소(121a－21, 121a－24), R화소의 화소(121a－22), 및 B화소의 화소(121a－23)의 각각 대하여, L자형의 차광막(121b－21 내지 121b－24)이 설치되어 있는 것이 나타내어져 있다.
또한, 이후에 있어서는, 도 38에서 나타내는 L자형과 같은 차광막(121b－21 내지 121b－24)나, 차광막(121b－21 내지 121b－24)에 대해서, 각각의 화소(121a)의 중심에 대해 점대칭으로 배치되는 형상으로 되는 차광막(121b)에 대해서는, L자 타입의 차광막(121b)이라 총칭하는 것으로 한다.
또한, 도 38을 참조하여 설명한 제1 변형예의 지향성 촬상 소자(121)는, 도 9, 도 10을 참조하여 설명한, 1개의 포토 다이오드(121e)에 대해서 차광막(121b)을 이용하여 화소 출력 단위마다의 입사각 지향성을 설정하는 지향성 촬상 소자(121)인 것으로서 설명해 왔다. 그렇지만, 제1 변형예의 지향성 촬상 소자(121)는, 도 11을 참조하여 설명한 지향성 촬상 소자(121)와 같이, 화소 출력 단위를 구성하는, 복수의 포토 다이오드(121f)의 분할수, 및 분할 위치를 변경함으로써, 출력에 기여하지 않는 범위를 차광된 영역과 마찬가지로 기능시켜, 입사각 지향성을 설정하는 지향성 촬상 소자(121)이여도 된다.
<제2 변형예>
이상에 있어서는, 횡대 타입, 종대 타입, 및 L자 타입의 차광막에 대해서, 차광되고 있는 범위가 랜덤으로 변화하도록 각 화소에 배치되는 예에 대해 설명해 왔지만, 예를 들어, 도 39의 지향성 촬상 소자(121＇)에서 나타내는 바와 같이, 직사각형 개구를 마련했을 경우에, 개개의 화소에 있어서 광선이 수광하는 위치의 근방의 범위 이외를 차광하는 차광막(121b)을 구성하도록 해도 된다.
즉, 각 화소에 대해서, 직사각형 개구를 설치했을 경우에, 소정의 피사체 거리의 피사체면을 구성하는 점 광원으로부터 출사되는 광선 중, 직사각형 개구를 투과하여 수광되는 광선만을 수광하는 것 같은 입사각 지향성을 가지도록 차광막(121b)을 마련하도록 해도 된다.
또한, 도 39에 있어서는, 예를 들어, 수평 방향의 화소 배열에 대해서, 차광막(121b)의 수평 방향의 폭이 폭 dx1, dx2,···dxn으로 변화하고 있고, 이것이, dx1<dx2<···<dxn의 관계가 된다. 마찬가지로, 수직 방향의 화소 배열에 대해서, 차광막(121b)의 수직 방향의 높이가 높이 dy1, dy2,···dym으로 변화하고 있고, 이것이, dy1<dy2<···<dxm의 관계가 된다. 또한, 차광막(121b)의 수평 방향의 폭, 및 수직 방향의 폭의, 각각의 변화의 간격은, 복원하는 피사체 분해능(각도 분해능)에 의존하는 것이다.
환언하면, 도 39의 지향성 촬상 소자(121＇)에 있어서의 각 화소(121a)의 구성은, 수평 방향 및 수직 방향에 대해서 지향성 촬상 소자(121＇) 내의 화소 배치에 대응하도록, 차광하는 범위를 변화시키는 것 같은 입사각 지향성을 갖게 하고 있다고 말할 수 있다.
보다 상세하게는, 도 39의 각 화소(121a)의 차광 범위는, 예를 들어, 도 40의 좌부에 나타내는 화소(121a)를 이용하여 설명되는 규칙에 따라 결정된다.
또한, 도 40의 우부는, 도 39와 동일한 지향성 촬상 소자(121＇)의 구성을 나타내고 있다. 또한, 도 40의 좌부는, 도 40(도 39와 동일)의 우부에 있어서의 지향성 촬상 소자(121＇)의 화소(121a)의 구성을 나타내고 있다.
도 40의 좌부에서 나타내는 바와 같이, 화소(121a)의 상변 및 하변의 단부로부터 화소(121a) 내를 향하여, 각각 폭 dx1만큼 차광막(121b)에 의해 차광하고, 좌변 및 우변의 단부로부터 화소(121a) 내를 향하여, 각각 높이 dy1만큼 차광막(121b)에 의해 차광한다. 또한, 도 40, 도 41에 있어서, 차광막(121b)은 흑색으로 나타낸 범위이다.
도 40의 좌부에 있어, 차광막(121b)이, 이와 같이 형성됨으로써 차광되는 범위를, 이후에 있어서, 화소(121a)의 주 차광부(Z101)(도 40의 좌부의 흑색부)라 칭하고, 그 이외의 방형(方形)의 범위를 범위 Z102라 칭한다.
화소(121a)에 있어서의, 범위 Z102 내에, 차광막(121b)에 의해 차광되지 않는 직사각형 개구부 Z111가 설치되는 것으로 한다. 따라서, 범위 Z102에 있어서, 직사각형 개구부 Z111 이외의 범위는, 차광막(121b)에 의해 차광된다.
도 39의 지향성 촬상 소자(121＇) 내의 화소 배열은, 도 40의 우부(도 39와 동일)에서 나타내는 바와 같이, 좌단부에서, 또한, 상단부의 화소(121a－1)는, 직사각형 개구부 Z111를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx1이며, 그 상변이 화소(121a)의 상변으로부터 dy1의 거리에 배치하는 구성으로 한다.
마찬가지로, 화소(121a－1)의 우측에 인접하는 화소(121a－2)는, 직사각형 개구부 Z111를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx2로서, 그 상변이 화소(121a)의 상변으로부터 높이 dy1의 거리에 배치하고, 직사각형 개구부 Z111 이외의 범위를 차광막(121b)에 의해 차광하는 구성으로 한다.
이하 마찬가지로, 수평 방향으로 인접하는 화소(121a)는, 배치가 도면 중의 우측으로 나아감에 따라, 직사각형 개구부 Z111의 우변이, 화소(121a)의 우변으로부터 폭 dx1, dx2···dxn으로 이동한다. 또한, 도 40의 범위 Z102에 있어서의 우상부의 점선의 방형 부분이, 직사각형 개구부 Z111를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dxn이며, 그 상변이 화소(121a)의 상변으로부터 높이 dy1의 거리에 배치했을 때 상태를 나타내고 있다. 또한, 폭 dx1, dx2···dxn의 각각의 간격은, 범위 Z102의 수평 방향의 폭으로부터 직사각형 개구부 Z111의 폭을 뺀 폭을 수평 방향의 화소수 n으로 나눈 값이 된다. 즉, 수평 방향의 화소수 n으로 나눔으로써 수평 방향의 변화의 간격이 결정된다.
또한, 지향성 촬상 소자(121＇)에 있어서의 화소(121a) 내의 직사각형 개구부 Z111의 수평 방향의 위치는, 지향성 촬상 소자(121＇) 내에 있어서의 수평 방향의 위치가 동일한 화소(121a)(동일한 열의 화소(121a)) 내에 있어 동일하게 된다.
또한, 화소(121a－1)의 직하에 인접하는 화소(121a－3)는, 직사각형 개구부 Z111를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx1이며, 그 상변이 화소(121a)의 상변으로부터 높이 dy2의 거리에 배치하고, 직사각형 개구부 Z111 이외의 범위를 차광막(121b)에 의해 차광하는 구성으로 한다.
이하 마찬가지로, 수직 방향으로 인접하는 화소(121a)는, 배치가 도면 중의 하측으로 나아감에 따라, 직사각형 개구부 Z111의 상변이, 화소(121a)의 상변으로부터 높이 dy1, dy2···dyn으로 이동한다. 또한, 도 40의 범위 Z102에 있어서의 좌하부의 점선의 방형 부분이, 직사각형 개구부 Z111를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx1이며, 그 상변이 화소(121a)의 상변으로부터 높이 dym의 거리에 배치했을 때의 상태를 나타내고 있다. 또한, 높이 dy1, dy2···dym의 각각의 간격은, 범위 Z102의 수직 방향의 높이로부터 직사각형 개구부 Z111의 높이를 뺀 높이를 수직 방향의 화소수 m으로 나눈 값이 된다. 즉, 수직 방향의 화소수 m으로 나눔으로써 수직 방향의 변화의 간격이 결정된다.
또한, 지향성 촬상 소자(121＇)에 있어서의 화소(121a) 내의 직사각형 개구부 Z111의 수직 방향의 위치는, 지향성 촬상 소자(121＇) 내에 있어서의 수직 방향의 위치가 동일한 화소(121a)(동일한 행의 화소(121a)) 내에 있어 동일하게 된다.
<화각의 변화>
또한, 도 40(도 39)에 나타내는 지향성 촬상 소자(121＇)를 구성하는 각 화소(121a)의 주 차광부(Z101), 및 직사각형 개구부 Z111를 변화시킴으로써, 화각을 변화시킬 수 있다.
도 41의 우부는, 도 40(도 39)의 지향성 촬상 소자(121＇)에 대해서 화각을 넓게 하는 경우의 지향성 촬상 소자(121＇)의 구성을 나타내고 있다. 또한, 도 41의 좌부는, 도 41의 우부에 있어서의 지향성 촬상 소자(121＇)의 화소(121a)의 구성을 나타내고 있다.
즉, 도 41의 좌부에서 나타내는 바와 같이, 예를 들어, 화소(121a) 내에, 도 40에 있어서의 주 차광부(Z101)보다 차광 범위가 좁은 주 차광부(Z151)(도 41의 좌부의 흑색부)를 설정하고, 그 이외의 범위를 범위 Z152로 설정한다. 또한, 범위 Z152 내에, 직사각형 개구부 Z111보다 개구 면적이 넓은 직사각형 개구부 Z161를 설정한다.
보다 상세하게는, 도 41의 좌부에서 나타내는 바와 같이, 화소(121a)의 상변 및 하변의 단부로부터 화소(121a) 내를 향해서, 각각 폭 dx1＇(<dx1)만큼 차광막(121b)에 의해 차광되고, 좌변 및 우변의 단부로부터 화소(121a) 내를 향하여, 각각 높이 dy1＇(<dy1)만큼 차광막(121b)에 의해 차광됨으로써, 직사각형 개구부 Z161가 형성된다.
여기서, 도 41의 우부에서 나타내는 바와 같이, 좌단부에서, 또한, 상단부의 화소(121a－1)는, 직사각형 개구부 Z161를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx1＇이며, 그 상변이 화소(121a)의 상변으로부터 높이 dy1＇의 거리에 배치하고, 직사각형 개구부 Z161 이외의 범위를 차광막(121b)에 의해 차광하는 구성으로 한다.
마찬가지로, 화소(121a－1)의 우측으로 인접하는 화소(121a－2)는, 직사각형 개구부 Z161를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx2＇이며, 그 상변이 화소(121a)의 상변으로부터 높이 dy1＇에 배치하고, 직사각형 개구부 Z161 이외의 범위를 차광막(121b)에 의해 차광하는 구성으로 한다.
이하 마찬가지로, 수평 방향으로 인접하는 화소(121a)는, 배치가 도면 중의 우측으로 나아감에 따라, 직사각형 개구부 Z161의 우변이, 화소(121a)의 우변으로부터 폭 dx1＇, dx2＇···dxn＇으로 이동한다. 여기서, 폭 dx1＇, dx2＇···dxn＇의 각각의 간격은, 범위 Z152의 수평 방향의 폭으로부터 직사각형 개구부 Z161의 수평 방향의 폭을 뺀 폭을, 수평 방향의 화소수 n으로 나눈 값이 된다. 즉, 수평 방향의 화소수 n으로 나눔으로써 수직 방향의 변화의 간격이 결정된다. 따라서, 폭 dx1＇, dx2＇···dxn＇의 변화의 간격은, 폭 dx1, dx2···dxn의 변화의 간격보다 커진다.
또한, 도 41의 지향성 촬상 소자(121＇)에 있어서의 화소(121a) 내의 직사각형 개구부 Z161의 수평 방향의 위치는, 지향성 촬상 소자(121＇) 내에 있어서의 수평 방향의 위치가 동일한 화소(121a)(동일한 열의 화소(121a)) 내에 있어 동일하게 된다.
또한, 화소(121a－1)의 직하에 인접하는 화소(121a－3)는, 직사각형 개구부 Z161를, 그 좌변이 화소(121a)의 좌변으로부터 폭 dx1＇이며, 그 상변이 화소(121a)의 상변으로부터 높이 dy2＇에 배치하고, 직사각형 개구부 Z161 이외의 범위를 차광막(121b)에 의해 차광하는 구성으로 한다.
이하 마찬가지로, 수직 방향으로 인접하는 화소(121a)는, 배치가 도면 중의 하측으로 나아감에 따라, 직사각형 개구부 Z161의 상변이, 화소(121a)의 상변으로부터 높이 dy1＇, dy2＇···dym＇로 변화한다. 여기서, 높이 dy1＇, dy2＇···dym＇의 변화의 간격은, 범위 Z152의 수직 방향의 높이로부터 직사각형 개구부 Z161의 높이를 뺀 높이를 수직 방향의 화소수 m으로 나눈 값이 된다. 즉, 수직 방향의 화소수 m으로 나눔으로써 수직 방향의 변화의 간격이 결정된다. 따라서, 높이 dy1＇, dy2＇···dym＇의 변화의 간격은, 폭 높이 dy1, dy2···dym의 변화의 간격보다 커진다.
또한, 도 41의 지향성 촬상 소자(121＇)에 있어서의 화소(121a) 내의 직사각형 개구부 Z161의 수직 방향의 위치는, 지향성 촬상 소자(121＇) 내에 있어서의 수직 방향의 위치가 동일한 화소(121a)(동일한 행의 화소(121a)) 내에 있어 동일하게 된다.
이와 같이, 주 차광부의 차광 범위와 개구부의 개구 범위와의 조합을 변화시킴으로써, 여러가지 화각의(여러가지 입사각 지향성을 가진) 화소(121a)로 이루어지는 지향성 촬상 소자(121＇)를 실현하는 것이 가능하게 된다.
또한, 동일한 화각의 화소(121a)뿐만 아니라, 여러가지 화각의 화소(121a)를 조합하여 지향성 촬상 소자(121)을 실현시키도록 해도 된다.
예를 들어, 도 42에 나타내는 바와 같이, 점선으로 나타내는 2 화소×2 화소로 이루어지는 4 화소를 1개의 단위 U로 하고, 각각의 단위 U가, 광화각의 화소(121a－W), 중화각의 화소(121a－M), 협화각의 화소(121a－N), 극협화각의 화소(121a－AN)의 4 화소로 구성되도록 한다.
이 경우, 예를 들어, 전 화소(121a)의 화소수가 X인 경우, 4 종류의 화각마다 X/4 화소씩의 검출 화상을 이용하여 복원 화상을 복원하는 것이 가능하게 된다. 이 때, 화각마다 다른 4 종류의 계수 세트가 사용되며, 4 종류의 다른 연립 방정식에 의하여, 각각 다른 화각의 복원 화상이 복원된다.
이 때문에, 복원하는 화각의 복원 화상을, 복원하는 화각의 촬상에 적절한 화소로부터 얻어지는 검출 화상을 이용하여 복원함으로써, 4 종류의 화각에 따른 적절한 복원 화상을 복원하는 것이 가능하게 된다.
또한, 4 종류의 화각의 중간의 화각이나, 그 전후의 화각의 화상을, 4 종류의 화각의 화상으로부터 보간 생성하도록 해도 되고, 여러가지 화각의 화상을 심리스로 생성함으로써, 유사적인 광학 줌을 실현하도록 해도 된다.
또한, 도 39 내지 도 42를 참조하여 설명한 제2 변형예의 지향성 촬상 소자(121＇)는, 도 9, 도 10을 참조하여 설명한, 1개의 포토 다이오드(121e)에 대해서 차광막(121b)을 이용하여 화소 출력 단위마다의 입사각 지향성을 설정하는 지향성 촬상 소자(121)인 것으로서 설명하여 왔다. 그렇지만, 제2 변형예의 지향성 촬상 소자(121＇)는, 도 11을 참조하여 설명한 지향성 촬상 소자(121)과 같이, 화소 출력 단위를 구성하는, 복수의 포토 다이오드(121f)의 분할수, 및 분할 위치를 변경함으로써, 출력에 기여하지 않는 범위를 차광된 영역과 마찬가지로 기능시켜, 입사각 지향성을 설정하는 지향성 촬상 소자(121)이여도 된다.
<제3 변형예>
그런데, 지향성 촬상 소자(121)에 있어서의 화소(121a)의 차광막(121b)이 차광하고 있는 범위에 랜덤성을 갖게 하고 있는 경우, 차광막(121b)이 차광하고 있는 범위의 차이의 난잡함이 클수록, 신호 처리부(122)에 의한 처리의 부하는 큰 것으로 된다. 따라서, 화소(121a)의 차광막(121b)이 차광하고 있는 범위의 변화의 일부를 규칙적인 것으로 하여, 난잡함을 저감시킴으로써, 처리 부하를 저감시키도록 해도 된다.
즉, 예를 들어, 종대 타입과 횡대 타입을 조합한 L자 타입의 차광막(121b)을 구성하도록 하고, 소정의 열 방향에 대해서는, 동일 폭의 횡대 타입의 차광막(121b)을 조합하고, 소정의 행 방향에 대해서는, 동일한 높이의 종대 타입의 차광막(121b)을 조합함으로써, 열 방향 및 행 방향으로 규칙성을 갖게 하면서, 화소 단위에서는 랜덤으로 변화하도록 함으로써, 각 화소의 입사각 지향성에 있어서의 난잡함을 저감시켜, 신호 처리부(122)의 처리 부하를 저감시키도록 해도 된다.
즉, 예를 들어, 도 43의 지향성 촬상 소자(121＇＇)에서 나타내는 바와 같이, 범위 Z130에 의해 나타내지는 동일 열의 화소에 대해서는, 모두 동일한 폭 X0의 횡대 타입의 차광막(121b)이 이용되고, 범위 Z150에 의해 나타내지는 동일 행의 화소에 대해서는, 동일한 높이 Y0의 종대 타입의 차광막(121b)이 이용되고, 각 행열에 의해 특정되는 화소(121a)에 대해서는, 이들이 조합된 L자 타입의 차광막(121b)이 설정되어 있다.
마찬가지로, 범위 Z130에 인접하는 범위 Z131에 의해 나타내지는 동일 열의 화소에 대해서는, 모두 동일한 폭 X1의 횡대 타입의 차광막(121b)이 이용되고, 범위 Z150에 인접하는 범위 Z151에 의해 나타내지는 동일 행의 화소에 대해서는, 동일한 높이 Y1의 종대 타입의 차광막(121b)이 이용되고, 각 행열에 의해 특정되는 화소(121a)에 대해서는, 이들이 조합된 L자 타입의 차광막(121b)이 설정되어 있다.
또한, 범위 Z131에 인접하는 범위 Z132에 의해 나타내지는 동일 열의 화소에 대해서는, 모두 동일한 폭 X2의 횡대 타입의 차광막이 이용되고, 범위 Z151에 인접하는 범위 Z152에 의해 나타내지는 동일 행의 화소에 대해서는, 동일한 높이 Y2의 종대 타입의 차광막이 이용되고, 각 행열에 의해 특정되는 화소(121a)에 대해서는, 이들이 조합된 L자 타입의 차광막(121b)이 설정되어 있다.
이와 같이 함으로써, 차광막(121b)의 수평 방향의 폭 및 위치, 및, 수직 방향의 높이 및 위치에 규칙성을 갖게 하면서, 화소 단위에서 차광막의 범위를 변화시킬 수 있으므로, 입사각 지향성의 난잡함을 억제할 수 있고, 결과적으로, 계수 세트의 패턴을 저감시키는 것이 가능해져, 신호 처리부(122)에 있어서의 연산 처리의 처리 부하를 저감시키는 것이 가능하게 된다.
보다 상세하게는, 도 44의 우상부에서 나타내는 바와 같이, N화소×N화소의 검출 화상 Pic로부터 N×N 화소의 복원 화상을 구하는 경우, N×N행 1열의 복원 화상의 각 화소의 화소치를 요소로 하는 벡터 X, N×N행 1열의 검출 화상의 각 화소의 화소치를 요소로 하는 벡터 Y, 및, 계수 세트로 이루어지는 N×N행 N×N열의 행렬 A에 의해, 도 44의 좌부에 나타내는 것 같은 관계가 성립한다.
즉, 도 44에 있어서는, 계수 세트로 이루어지는 N×N행 N×N열의 행렬 A의 각 요소와, 복원 화상을 나타내는 N×N행 1열의 벡터 X를 승산한 결과가, 검출 화상을 나타내는 N×N행 1열의 벡터 Y가 되는 것이 나타내져 있으며, 이 관계로부터, 예를 들어, 상술한 식(5) 내지 식(13)에 대응하는 연립 방정식이 구성된다.
또한, 도 44에 있어서는, 행렬 A의 범위 Z201에 의해 나타내지는 1열째의 각 요소가, 벡터 X의 1행째의 요소에 대응하고 있고, 행렬 A의 범위 Z202에 의해 나타내지는 N×N열째의 각 요소가, 벡터 X의 N×N행째의 요소에 대응하고 있는 것을 나타내고 있다.
환언하면, 도 44에 나타나는 행렬식에 기초한 연립 방정식을 풀어내는 것에 의해, 벡터 X의 각 요소가 구해짐으로써 복원 화상이 구해진다. 또한, 핀홀을 이용했을 경우, 및, 촬상 렌즈 등의, 같은 방향으로부터 입사한 입사광을 서로 인접하는 화소 출력 단위의 쌍방에 입사시키기 위한 집광 기능을 이용했을 경우, 각 화소의 위치와 광의 입사 각도의 관계가 일의로 정해지므로, 행렬 A는, 오른쪽 아래의 대각선 상의 전 요소가 1로 이루어지는 대각행렬이 된다. 반대로, 도 6의 촬상 장치(101)와 같이 핀홀 및 촬상 렌즈의 모두를 이용하지 않는 경우, 각 화소의 위치와 광의 입사 각도의 관계는 일의로 정해지지 않기 때문에, 행렬 A는 대각행렬이 되지 않는다.
그런데, 일반적으로, 도 44의 행렬식은, 양변에 행렬 A의 역행열 A－1을 왼쪽으로부터 곱함으로써, 도 45에 나타내는 바와 같이 변형되고, 검출 화상의 벡터 Y에 역행열 A－1을 오른쪽으로부터 곱함으로써, 검출 화상인 벡터 X의 각 요소가 구해진다.
그렇지만, 현실의 행렬 A는, 정확하게 구해지지 않는, 정확하게 측정할 수 없는, 행렬 A의 기저 벡터가 선형 종속에 가까운 케이스여서 풀 수 없는, 및, 검출 화상의 각 요소에 노이즈가 포함된다고 하는 이유 중 어느 것, 또는 조합으로부터, 연립 방정식을 풀지 못할 경우가 있다.
따라서, 여러가지 오차에 대해 로버스트한 구성을 생각하고, 정칙화 최소이승법의 개념을 이용한, 이하의 식(17)을 취한다.
Figure pct00002
여기서, 식(17)에 x의 상부에 「＾」이 붙여진 것은, 벡터 X를, A는, 행렬 A를, Y는, 벡터 Y를, γ는 파라미터를, ||A||는 L2 놈(이승화평방근)을 나타내고 있다. 여기서, 제1항은, 도 44의 양변을 최소로 할 때의 놈이며, 제2항은 정칙화항이다.
이 식(17)을 x에 대해 풀면, 이하의 식(18)으로 표현된다.
Figure pct00003
그렇지만, 행렬 A는, 방대한 사이즈이므로, 계산 시간이나 계산에 대용량의 메모리가 필요하게 된다.
따라서, 예를 들어, 도 46에 나타내는 바와 같이, 행렬 A를, N행 N열의 행렬 AL과, N행 N열의 행렬 ART로 분해하고, 각각 복원 화상을 나타내는 N행 N열의 행렬 X의 전단과 후단으로부터 곱한 결과가, 검출 화상을 나타내는 N행 N열의 행렬 Y가 되도록 하는 것을 생각한다. 이에 의해, 요소수(N×N)×(N×N)의 행렬 A에 대해서, 요소수가 (N×N)의 행렬 AL, ART가 되므로, 요소수를 1/(N×N)으로 작게 할 수 있다. 결과적으로, 요소수가 (N×N)으로 이루어지는 2개의 행렬 AL, ART를 이용하는 것만으로 족하므로, 계산량과 메모리의 용량을 저감시킬 수 있다.
여기서, AT는, 행렬 A의 전치행렬이며, γ는 파라미터이며, I는, 단위행렬이다. 식(18)에 있어서의 괄호안의 행렬을 행렬 AL로 하고, 행렬 A의 전치행렬의 역행열을 행렬 ART로 함으로써 도 46에 나타내는 행렬식을 실현한다.
이와 같이 도 46에 나타내는 것 같은 계산은, 도 47에 나타내는 바와 같이, 행렬 X에 있어서의 주목 요소 Xp에 대해서는, 행렬 AL의 대응하는 열의 각 요소군 Z221를 승산함으로써, 요소군 Z222가 구해진다. 또한. 요소군 Z222와 행렬 ART의 주목 요소 Xp에 대응하는 행의 요소를 승산함으로써, 주목 요소 Xp에 대응하는 2차원 응답 Z224가 구해진다. 그리고, 행렬 X의 전 요소에 대응하는 2차원 응답 Z224가 적산됨으로써 행렬 Y가 구해진다.
따라서, 행렬 AL의 각 행에 대응하는 요소군 Z221에는, 도 43에 나타내는 지향성 촬상 소자(121)의 열마다 동일한 폭으로 설정되는 횡대 타입의 화소(121a)의 입사각 지향성에 대응하는 계수 세트를 갖게 한다.
마찬가지로, 행렬 ART의 각 행의 요소군 Z223에는, 도 43에 나타내는 지향성 촬상 소자(121)의 행마다 설정되는 동일한 높이로 설정되는 종대 타입의 화소(121a)의 입사각 지향성에 대응하는 계수 세트를 갖게 한다.
그 결과, 검출 화상에 기초하여, 복원 화상을 복원할 때에 사용하는 행렬을 작게할 수 있으므로, 계산량이 저감함으로써, 처리 속도를 향상시키고, 계산과 관련되는 전력 소비를 저감시키는 것이 가능하게 된다. 또한, 행렬을 작게 할 수 있으므로, 계산에 사용하는 메모리의 용량을 저감시키는 것이 가능해져, 장치 코스트를 저감시키는 것이 가능하게 된다.
또한, 도 43의 예에 있어서는, 수평 방향, 및 수직 방향으로 소정의 규칙성을 갖게 하면서, 화소 단위에서 차광되는 범위(수광할 수 있는 범위)를 변화시키는 예가 나타내어져 있는데, 본 개시의 기술에 있어서는, 이와 같이 화소 단위에서 차광되는 범위(수광할 수 있는 범위)가, 완전하게 랜덤으로 설정되어 있지 않고, 어느 정도 랜덤으로 설정되는 것에 대해서도, 랜덤으로 설정되는 것으로 본다. 환언하면, 본 개시에 있어서는, 화소 단위에서 차광되는 범위(수광할 수 있는 범위)가 완전하게 랜덤으로 설정되는 경우뿐만 아니라, 어느 정도 랜덤인 경우(예를 들어, 전 화소 중, 일부에 대해서는 규칙성을 갖게 한 범위를 포함하지만, 그 외의 범위는 랜덤인 경우), 또는, 어느 정도 규칙성이 없을 것 같은 경우(전 화소 중, 도 43을 참조하여 설명한 것 같은 규칙에 따라 배치되어 있는 것을 확인할 수 없는 배치인 경우)에 대해서도 랜덤인 것으로 본다.
또한, 도 43 내지 도 47을 참조하여 설명한 제3 변형예의 지향성 촬상 소자(121＇＇)는, 도 9, 도 10을 참조하여 설명한, 1개의 포토 다이오드(121e)에 대해서 차광막(121b)을 이용하여 화소 출력 단위마다의 입사각 지향성을 설정하는 지향성 촬상 소자(121)인 것으로서 설명해 왔다. 그렇지만, 제3 변형예의 지향성 촬상 소자(121＇＇)는, 도 11을 참조하여 설명한 지향성 촬상 소자(121)처럼, 화소 출력 단위를 구성하는, 복수의 포토 다이오드(121f)의 분할수, 및 분할 위치를 변경함으로써, 출력에 기여하지 않는 범위를 차광된 영역과 마찬가지로 기능시켜, 입사각 지향성을 설정하는 지향성 촬상 소자(121)이여도 된다.
<제4 변형예>
이상에 있어서의 지향성 촬상 소자(121)의 각 화소 출력 단위를 구성하는 차광막(121b)의 형상의 배리에이션은, 도 48의 최상단의 3 패턴으로 나타내는 수평 방향의 폭과 위치에 있어서의 차이에 의해 다른 입사각 지향성을 갖게 하는 횡대 타입, 도 48의 위로부터 2단째의 3 패턴으로 나타내는 수직 방향의 높이와 위치에 있어서의 차이에 의해 다른 입사각 지향성을 갖게 하는 종대 타입, 및, 도 48의 위로부터 3단째의 3 패턴으로 나타내는 횡대 타입 및 종대 타입을 조합한 L자 타입에 대해 설명해 왔지만, 차광막(121b)의 타입은, 이들에 한정되는 것은 아니다.
예를 들어, 도 48의 위로부터 4단째의 3 패턴으로 나타내는 바와 같이, 차광막(121b)을 삼각형으로 설정하고, 그 범위를 다른 것으로 함으로써 다른 입사각 지향성을 갖게 하도록 해도 되고, 도 48의 최하단의 3 패턴으로 나타내는 바와 같이, 차광막(12b)을 원형으로 설정하고, 그 범위를 다른 것으로 함으로써 다른 입사각 지향성을 갖게 하도록 해도 된다. 또한, 도시하지 않지만, 이외의 패턴이여도 되며, 예를 들어, 경사 방향의 선상의 차광막 등이여도 된다.
또한, 이후에 있어서는, 도 48의 4단째의 3 패턴으로 나타내는 차광막(121b)을 삼각 타입의 차광막(121b)이라 칭하는 것으로 하고, 도 48의 최하단의 3 패턴으로 나타내는 차광막(121b)을 원형 타입의 차광막(121b)이라 칭하는 것으로 한다.
또한, 도 48을 참조하여 설명한 제4 변형예의 지향성 촬상 소자(121)는, 도 9, 도 10을 참조하여 설명한, 1개의 포토 다이오드(121e)에 대해서 차광막(121b)을 이용하여 화소 출력 단위마다의 입사각 지향성을 설정하는 지향성 촬상 소자(121)인 것으로서 설명해 왔다. 그렇지만, 제4 변형예의 지향성 촬상 소자(121)는, 도 11을 참조하여 설명한 지향성 촬상 소자(121)와 같이, 화소 출력 단위를 구성하는, 복수의 포토 다이오드(121f)의 분할수, 및 분할 위치를 변경함으로써, 출력에 기여하지 않는 범위를 차광된 영역과 마찬가지로 기능시켜, 입사각 지향성을 설정하는 지향성 촬상 소자(121)이여도 된다.
<제5 변형예>
이상에 있어서는, 지향성 촬상 소자(121)의 1 화소 출력 단위에서 설정되는 차광막(121b)의 배리에이션에 대해 설명해 왔지만, 소정수의 복수의 화소 출력 단위로 이루어지는 유닛을 구성하는 복수의 화소 출력 단위에서 차광막(121b)의 배리에이션(패턴)을 설정하도록 해도 된다. 그 일례로서 모노크롬의 촬상 소자가 아니라, 컬러 촬상 소자를 생각할 수 있다.
즉, 도 49의 패턴 Pt1에 의해 나타내는 바와 같이, 베이어 배열을 구성하는 2 화소 출력 단위×2 화소 출력 단위의 합계 4 화소 출력 단위로 이루어지는 유닛을 구성하는 복수의 화소 출력 단위에서, 동일 폭의 횡대 타입의 차광막(121b)을 매트릭스 형상으로 배치하도록 해도 된다.
또한, 패턴 Pt2에 의해 나타내는 바와 같이, 베이어 배열을 구성하는 4 화소 출력 단위로 이루어지는 유닛을 구성하는 복수의 화소 출력 단위에서, 1 화소 출력 단위씩 다른 폭의 횡대 타입의 차광막(121b)을 매트릭스 형상으로 배치하도록 해도 된다.
또한, 패턴 Pt3에 의해 나타내는 바와 같이, 베이어 배열을 구성하는 4 화소 출력 단위로 이루어지는 유닛을 구성하는 복수의 화소 출력 단위에서, 1 화소 출력 단위씩 4 화소 출력 단위의 중심 위치를 중심으로 하여, 각 화소 출력 위치에 대해서 점 대칭으로 횡대 타입과 종대 타입의 차광막(121b)을, 위치를 바꾸어 매트릭스 형상으로 배치하도록 해도 된다.
또한, 동일 배색의 화소 출력 단위를, 예를 들어, 2 화소 출력 단위×2 화소 출력 단위의 4 화소 출력 단위로 설정하고, 4 화소 출력 단위의 동일 배색의 유닛을 2 유닛×2 유닛으로 이루어지는 계 4 유닛 단위(16 화소 출력 단위)로 베이어 배열을 구성하는 경우, 패턴 Pt4에 의해 나타내는 바와 같이, 그러한 동일 배색의 4 화소 출력 단위로 이루어지는 유닛을 구성하는 4 화소 출력 단위에서 동일폭의 횡대 타입의 차광막(121b)을 매트릭스 형상으로 배치하도록 해도 된다.
또한, 패턴 Pt5에 의해 나타내는 바와 같이, 동일 배색의 4 화소 출력 단위로 이루어지는 유닛을 구성하는 4 화소 출력 단위에서, 1 화소 출력 단위씩 다른 폭의 횡대 타입의 차광막(121b)을 매트릭스 형상으로 배치하도록 해도 된다.
또한, 패턴 Pt6에 의해 나타내는 바와 같이, 동일 배색의 4 화소 출력 단위로 이루어지는 유닛을 구성하는 4 화소 출력 단위에서, 1 화소 출력 단위씩 4 화소 출력 단위의 중심 위치를 중심으로 하여, 4 화소 출력 단위의 차광되고 있는 범위를 점 대칭으로 변화시키도록, 횡대 타입과 종대 타입의 차광막(121b)을, 위치를 바꾸어 매트릭스 형상으로 배치하도록 해도 된다.
또한, 동일 배색의 화소 출력 단위를, 예를 들어, 3 화소 출력 단위×3 화소 출력 단위의 9 화소 출력 단위로 설정하고, 9 화소 출력 단위의 동일 배색의 유닛 단위로 2 유닛×2 유닛으로 이루어지는 계 4 유닛 단위(36 화소 출력 단위)로 베이어 배열을 구성하는 경우, 패턴 Pt7에 의해 나타내는 바와 같이, 그러한 동일 배색의 9 화소 출력 단위로 이루어지는 유닛을 구성하는 9 화소 출력 단위로 동일폭의 횡대 타입의 차광막(121b)을 매트릭스 형상으로 배치하도록 해도 된다.
또한, 패턴 Pt8에 의해 나타내는 바와 같이, 동일 배색의 9 화소로 이루어지는 유닛을 구성하는 9 화소 출력 단위에서, 1 화소 출력 단위씩 다른 폭의 횡대 타입의 차광막(121b)을 매트릭스 형상으로 배치하도록 해도 된다.
또한, 패턴 Pt9에 의해 나타내는 바와 같이, 동일 배색의 9 화소 출력 단위로 이루어지는 유닛을 구성하는 9 화소 출력 단위로, 9 화소 출력 단위의 중심 화소를 중심으로 한 8 화소 출력 단위의 차광되고 있는 범위를 2 화소 출력 단위로 점 대칭으로 변화시키도록, 횡대 타입, 종대 타입, 및 삼각 타입의 차광막(121b)을, 위치를 변경하여 매트릭스 형상으로 배치하도록 해도 된다.
또한, 이상에 있어서는, 횡대 타입, 종대 타입, 및 삼각 타입의 차광막(121b)을 이용한 패턴에 대해 설명해 왔지만, 그 이외의 타입, 예를 들어, 원형 타입 등의 차광막(121b)을 이용하도록 해도 된다. 또한, 이상에 있어서는, 베이어 배열을 이용한 예에 대해 설명해 왔지만, 그 이외의 배색 패턴을 이용했을 경우여도 되고, 유닛을 구성하는 동일 배색의 화소 출력 단위수에 대해서도, 1 화소 출력 단위, 4 화소 출력 단위, 및 9 화소 출력 단위의 예에 대해 설명해 왔지만, 그 이외의 화소 출력 단위수로 동일 배색의 화소 출력 단위가 설정되어 있어도 된다.
또한, 유닛을 구성하는 각 화소에 있어서의 차광막(121b)이 차광하는 범위의 패턴의 랜덤성이 높은 쪽이, 즉, 유닛을 구성하는 화소가 각각에 다른 입사각 지향성을 갖추고 있는 쪽이 바람직하다.
또한, 도 49에 있어서는, 베이어 배열을 구성하는 2 화소 출력 단위×2 화소 출력 단위로 이루어지는 4 화소 출력 단위를 1 유닛으로 하여 차광막(121b)의 패턴을 설정하거나, 또한, 유닛간에 패턴으로서 차광막(121b)을 설정하는 예에 대해 설명해 왔지만, 그 이외의 단위에서 차광막(121b)을 설정하도록 해도 되며, 예를 들어, 색배열에 더하여, 노광 시간이 다른 화소 출력 단위, 예를 들어, 제1 노광 시간의 화소 출력 단위와 제1 노광 시간보다 긴 제2 노광 시간의 화소 출력 단위를 고려한 복수의 화소 출력 단위로 이루어지는 처리 단위마다 차광막(121b)을 설정하도록 해도 된다.
또한, 도 49를 참조하여 설명한 제5 변형예의 지향성 촬상 소자(121)는, 도 9, 도 10을 참조하여 설명한, 1개의 포토 다이오드(121e)에 대해서 차광막(121b)을 이용하여 화소 출력 단위마다의 입사각 지향성을 설정하는 지향성 촬상 소자(121)인 것으로서 설명해 왔다. 그렇지만, 제5 변형예의 지향성 촬상 소자(121)는, 도 11을 참조하여 설명한 지향성 촬상 소자(121)처럼, 화소 출력 단위를 구성하는, 복수의 포토 다이오드(121f)의 분할수, 및 분할 위치를 변경함으로써, 출력에 기여하지 않는 범위를 차광된 영역과 마찬가지로 기능시켜, 입사각 지향성을 설정하는 지향성 촬상 소자(121)이여도 된다.
<제6 변형예>
이상에 있어서는, 베이어 배열을 구성하는 동일 배색으로 되는 적어도 1 화소 출력 단위 이상의 유닛을 구성하는 복수의 화소 출력 단위로 차광막(121b)의 배치의 패턴을 설정하는 예에 대해 설명해 왔지만, 유닛간에 차광막(121b)의 배치 패턴을 설정하도록 해도 된다.
즉, 지향성 촬상 소자(121)의 화소 출력 단위의 차광막(121b)의 배치 패턴은, 예를 들어, 도 50의 패턴 Pt11에 의해 나타내는 바와 같이, 2 화소 출력 단위×2 화소 출력 단위의 베이어 배열의 4 화소 출력 단위를 유닛으로 했을 때, 각각의 유닛 사이에서, 4 화소 출력 단위 내의 도면 중의 좌상부의 G화소의 화소 출력 단위에 횡대 타입의 차광막(121b)을 화소 출력 단위 내의 좌단부에 배치하고, 또한, 도면 중 왼쪽에서 오른쪽 방향으로 1 유닛마다 차광막(121b)의 폭을 넓게 설정하도록 해도 된다.
또한, 도 50의 패턴 Pt12에 의해 나타내는 바와 같이, 유닛 사이에서, 각각의 유닛에 있어서의 4화소 출력 단위 내의 좌상부의 G화소의 화소 출력 단위의 차광막(121b)의 폭을 랜덤으로 변화시키게끔 설정하도록 해도 된다.
또한, 도 50의 패턴 Pt13에 의해 나타내는 바와 같이, 유닛 사이에서, 각각의 유닛에 있어서의 4 화소 출력 단위 내의 좌상부의 G화소의 화소 출력 단위의 차광막(121b)의 차광되는 범위를 화소 출력 단위의 중심에 대해 점 대칭으로 변화하게끔 설정하도록 해도 된다.
또한, 이상에 있어서는, 횡대 타입, 및, 종대 타입을 이용한 예에 대해 설명해 왔지만, 당연히, L자 타입, 삼각 타입, 원형 타입 등의 차광막(121b)를 이용한 패턴을 설정하도록 해도 된다.
또한, 제5 변형예 및 제6 변형예에 있어서는, 베이어 배열 등의 유닛 내의 복수의 화소 출력 단위, 및 유닛 사이에서 차광막(121b)이 차광하는 범위의 패턴을 설정하는 예에 대해 설명해 왔지만, 또한, 다른 카테고리로 분류되는 복수의 화소 출력 단위로 이루어지는 유닛 내나 유닛 사이에서 차광막(121b)이 차광하는 범위의 패턴을 설정하도록 해도 된다.
또한, 도 50을 참조하여 설명한 제6 변형예의 지향성 촬상 소자(121)는, 도 9, 도 10을 참조하여 설명한, 1개의 포토 다이오드(121e)에 대해서 차광막(121b)을 이용하여 화소 출력 단위마다의 입사각 지향성을 설정하는 지향성 촬상 소자(121)인 것으로서 설명해 왔다. 그렇지만, 제6 변형예의 지향성 촬상 소자(121)는, 도 11을 참조하여 설명한 지향성 촬상 소자(121)처럼, 화소 출력 단위를 구성하는, 복수의 포토 다이오드(121f)의 분할수, 및 분할 위치를 변경함으로써, 출력에 기여하지 않는 범위를 차광된 영역과 마찬가지로 기능시켜, 입사각 지향성을 설정하는 지향성 촬상 소자(121)이여도 된다.
<제7 변형예>
도 11을 참조하여 설명한 것처럼, 복수의 포토 다이오드(121f)의 예로서, 포토 다이오드(121f)가 2개×2개로 이루어지는 배치로 화소 출력 단위를 구성하고, 각 포토 다이오드(121f)의 화소 출력 단위에의 기여의 유무나 정도를 절환함으로써 화소 출력 단위의 출력 화소치의 입사각에 대한 지향성을 여러가지로 변화시키는 예에 대해 설명해 왔지만 당연히, 화소 출력 단위를 구성하는 복수의 포토 다이오드(121f)의 수는, 그 이외의 수여도 된다.
즉, 도 51에 나타내는 바와 같이, 포토 다이오드(121f－111 내지 121e－119)의 3개의 포토 다이오드(121f)×3개의 포토 다이오드(121f)(=9개의 포토 다이오드(121f))로 이루어지는 화소 출력 단위로 하는 화소(121a－b)를 구성하도록 해도 된다. 또한, 화소 출력 단위를 구성하는 포토 다이오드(121f)의 수는, 상술한 4개나 9개 이외이여도 된다.
즉, 복수의 포토 다이오드(121f)가, 여러가지 화소 출력 단위의 화소(121a)를 구성하도록 절환되어 사용되도록 해도 된다.
<제8 변형예>
이상에 있어서는, 복수의 포토 다이오드(121f)에 의해 화소 출력 단위의 출력 화소치의 입사각 지향성을 여러가지로 절환하는 예에 대해 설명해 왔다. 그런데, 소정수의 포토 다이오드(121f)에 의해 1 화소 출력 단위가 구성되는 때에는, 1 화소 출력 단위에 대해서 1개의 온칩 렌즈(121c)가 필수로 된다.
즉, 도 52에 나타내는 바와 같이, 1개의 온칩 렌즈(121c)에 대해서, 예를 들어, 포토 다이오드(121f－111 내지 121f－119)의 3개의 포토 다이오드(121f)×3개의 포토 다이오드(121f)(=9개의 포토 다이오드(121f))가 설정되는 것 같은 구성을 화소 출력 단위로 되는 것으로 한다. 이와 같은 구성의 경우, 예를 들어, 도 52에 나타내는 포토 다이오드(121f－111, 121f－114, 121f－117 내지 121f－119)의 5 화소에 대해 읽어내기를 하지 않게 함으로써, 포토 다이오드(121f－111, 121f－114, 121f－117 내지 121f－119)의 범위가 검출 신호에 기여하지 않는 상태가 되고, 포토 다이오드(121f－112, 121f－113, 121f－115, 121f－116)의 범위의 검출 신호에 기여하는 신호만을 이용함으로써 입사각 지향성을 설정하는 것이 가능하게 된다.
또한, 이 구성은, 상술한 도 12, 또는 도 13의 하부의 구성을 응용한 구성이라고도 말할 수 있다.
이와 같이 차광막(121b)을 설치하는 일 없이, 차광막(121b)을 설치했을 경우와 마찬가지의 검출 신호를 구할 수 있고, 또한, 검출 신호에 기여하지 않는 포토 다이오드(121f)의 패턴을 절환함으로써, 차광되는 위치와 범위가 다른 차광막(121b)을 실질적으로 형성하는 것, 즉, 다른 입사각 지향성을 갖게 하는 것과 동등의 처리를 실현하는 것이 가능하게 된다.
따라서, 1개의 온칩 렌즈(121c)에 대해서 복수의 포토 다이오드(121f)가 설치되도록 하고, 그러한 복수의 포토 다이오드(121f)로 이루어지는 유닛을 1 화소 출력 단위로서 처리하도록 함으로써, 차광막(121b)을 마련하는 일 없이, 차광막(121b)에 대응하는 포토 다이오드(121f)의 읽어내기를 하지 않도록 절환함으로써, 차광막(121b)을 이용하여 형성되는 화소(121a)와 마찬가지의 검출 화상을 촬상하는 것이 가능하게 된다. 즉, 1개의 화소 출력 단위에 대해서, 1개의 온칩 렌즈가 필수의 구성이 된다.
<<3. 제2 실시형태>>
이상에 있어서는, 지향성 촬상 소자(121)와 신호 처리부(122) 등이 별체로 된 구성인 예에 대해 설명해 왔지만, 지향성 촬상 소자(121)가 설치된 기판과 동일 기판에 신호 처리부(122)를 구성하도록 해도 되고, 또는, 지향성 촬상 소자(121)가 설치된 기판과, 신호 처리부(122) 등이 구성된 기판이 적층되어, 예를 들어, TSV(Through Silicon Via) 등의 관통 전극 등에 의해 접속되어, 일체로서 구성되도록 해도 된다.
도 53은, 지향성 촬상 소자(121)의 화소 어레이를 구성하는 기판과 동일 기판 위, 또는, 지향성 촬상 소자(121)의 화소 어레이를 구성하는 기판에 대해서, 그 이면 측에 적층되는 기판에 피사체 거리 결정부(129), 계수 세트 선택부(131), 및 신호 처리부(122)가 설치된, 일체형의 지향성 촬상 소자(121)를 이용한 촬상 장치(101)의 구성예가 나타내져 있다.
또한, 기본적인 기능이나, 촬상 처리에 대해서는, 도 6의 촬상 장치(101)와 마찬가지이므로, 그 설명은 생략하는 것으로 한다.
또한, 본 개시는, 이하와 같은 구성도 취할 수 있다.
<1> 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고, 입사하는 입사광을 수광하는 복수의 화소 출력 단위를 갖고, 상기 복수의 화소 출력 단위 중, 적어도 2개의 상기 화소 출력 단위의 출력 화소치의, 피사체로부터의 입사광의 입사각에 대한 특성이 서로 다른 촬상 소자
를 구비한 촬상 장치.
<2> 상기 특성은, 상기 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성인 <1>에 기재된 촬상 장치.
<3> 상기 복수의 화소 출력 단위의 각각으로부터 1개의 검출 신호가 출력되는 <2>에 기재된 촬상 장치.
<4> 상기 복수의 화소 출력 단위로부터 출력된 복수의 검출 신호로 이루어지는 검출 화상을 이용하여, 상기 피사체를 시인 가능한 복원 화상을 복원하는 화상 복원부를 더 구비하는 <3>에 기재된 촬상 장치.
<5> 상기 화상 복원부는, 상기 복수의 화소 출력 단위 중 일부의 화소 출력 단위의 검출 신호를 선택적으로 이용하여, 상기 복원 화상을 복원하는 <4>에 기재된 촬상 장치.
<6> 상기 화상 복원부는, 상기 복수의 화소 출력 단위 중 일부의 화소 출력 단위의 검출 신호를 이용하여 상기 복원 화상을 복원하는 복원 처리와, 상기 복수의 화소 출력 단위 중 모든 화소 출력 단위의 검출 신호를 이용하여 상기 복원 화상을 복원하는 복원 처리를 선택적으로 실행하는 <4>에 기재된 촬상 장치.
<7> 상기 복수의 화소 출력 단위는, 광각인 화상에 적절한 상기 입사각 지향성을 가지는 광각 대응 화소 출력 단위와, 상기 광각 대응 화소 출력 단위와 비교하여 좁은 협각 대응 화소 출력 단위를 포함하고,
상기 화상 복원부는, 상기 광각 대응 화소 출력 단위와 상기 협각 대응 화소 출력 단위를 선택적으로 이용하여 상기 복원 화상을 복원하는 <4>에 기재된 촬상 장치.
<8> 상기 피사체로부터의 주 광선 입사 각도가 다른 확산광을, 서로 인접하는 복수의 화소 출력 단위에 입사시키기 위한 집광 기능을 구비하지 않은 <2>에 기재된 촬상 장치.
<9> 상기 복수의 화소 출력 단위는, 각각 상기 피사체로부터의 입사광의 입사각에 대한 특성을 독립으로 설정 가능한 구성을 가진 <1>에 기재된 촬상 장치.
<10> 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고, 입사하는 입사광을 수광하는 복수의 화소 출력 단위를 갖고, 상기 복수의 화소 출력 단위 중, 적어도 2개의 상기 화소 출력 단위의 출력 화소치의, 피사체로부터의 입사광의 입사각에 대한 특성이 서로 다른 촬상 소자.
<11> 상기 복수의 화소 출력 단위 중, 적어도 2개의 상기 화소 출력 단위는, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성이 서로 다른 <10>에 기재된 촬상 소자.
<12> 상기 복수의 화소 출력 단위의 각각은, 1개의 포토 다이오드로 구성되고,
상기 복수의 화소 출력 단위의 각각으로부터 1개의 검출 신호가 출력되는 <11>에 기재된 촬상 소자.
<13> 상기 적어도 2개의 화소 출력 단위는, 상기 포토 다이오드에의 상기 피사체로부터의 입사광인 피사체광의 입사를 차단하는 차광막을 각각 갖고, 상기 피사체광의 상기 2개의 화소 출력 단위에의 입사가, 상기 차광막에 의해 차단되는 범위가, 상기 적어도 2개의 화소 출력 단위에서 서로 다른 <12>에 기재된 촬상 소자.
<14> 상기 복수의 화소 출력 단위의 각각은, 복수의 포토 다이오드로 구성되고, 상기 복수의 화소 출력 단위의 각각으로부터 1개의 검출 신호가 출력되는 <11>에 기재된 촬상 소자.
<15> 상기 적어도 2개의 화소 출력 단위는, 상기 복수의 포토 다이오드 중, 상기 검출 신호에 기여하는 포토 다이오드가 서로 다른 <14>에 기재된 촬상 소자.
<16> 상기 복수의 화소 출력 단위는, 광각인 화상에 적절한 입사각 지향성을 가지는 광각 대응 화소 출력 단위와, 상기 광각 대응 화소 출력 단위와 비교하여 협각인 화상에 적절한 입사각 지향성을 가지는 협각 대응 화소 출력 단위를 포함하는 <11>에 기재된 촬상 소자.
<17> 상기 복수의 화소 출력 단위에 각각 대응하는 복수의 온칩 렌즈를 구비하는 <11>에 기재된 촬상 소자.
<18> 상기 입사각 지향성은, 상기 온칩 렌즈의 곡률에 따른 특성을 가지는 <17>에 기재된 촬상 소자.
<19> 상기 입사각 지향성은, 차광 영역에 따른 특성을 가지는 <18>에 기재된 촬상 소자.
<20> 상기 복수의 온칩 렌즈 중, 적어도 일부의 온칩 렌즈의 곡률은 다른 온칩 렌즈의 곡률과 다른 <18>에 기재된 촬상 소자.
<21> 상기 복수의 화소 출력 단위는, 각각 상기 피사체로부터의 입사광의 입사각에 대한 특성을 독립으로 설정 가능한 구성을 가지는 <10>에 기재된 촬상 소자.
<22> 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고, 입사하는 입사광을 수광하는 복수의 화소 출력 단위를 갖고,
상기 복수의 화소 출력 단위 중, 적어도 2개의 상기 화소 출력 단위의 출력 화소치의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성이 서로 다른 촬상 소자의 상기 복수의 화소 출력 단위로부터 각각 출력된 복수의 검출 신호로 이루어지는 검출 화상을 이용하여, 상기 피사체를 시인 가능한 복원 화상을 복원하는 화상 복원부를 구비하는 화상 처리 장치.
<23> 상기 화상 복원부는, 상기 복수의 화소 출력 단위 중 일부의 화소 출력 단위의 검출 신호를 선택적으로 이용하여, 상기 복원 화상을 복원하는 <22>에 기재된 화상 처리 장치.
<24> 상기 화상 복원부는, 상기 복수의 화소 출력 단위 중 일부의 화소 출력 단위의 검출 신호를 이용하여 상기 복원 화상을 복원하는 복원 처리와, 상기 복수의 화소 출력 단위 중 모든 화소 출력 단위의 검출 신호를 이용하여 상기 복원 화상을 복원하는 복원 처리를 선택적으로 실행하는 <22>에 기재된 화상 처리 장치.
<25> 상기 복수의 화소 출력 단위는, 광각인 화상에 적절한 상기 입사각 지향성을 가지는 광각 대응 화소 출력 단위와, 상기 광각 대응 화소 출력 단위와 비교하여 좁은 협각 대응 화소 출력 단위를 포함하고,
상기 화상 복원부는, 상기 광각 대응 화소 출력 단위와 상기 협각 대응 화소 출력 단위를 선택적으로 이용하여 상기 복원 화상을 복원하는 <22>에 기재된 화상 처리 장치.
<26> 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고, 입사하는 입사광을 수광하는 복수의 화소 출력 단위를 갖고, 상기 복수의 화소 출력 단위 중, 적어도 2개의 상기 화소 출력 단위의 출력 화소치의, 피사체로부터의 입사광의 입사각에 대한 특성이 서로 다른 촬상 소자가 촬상하는 스텝을 포함하는 촬상 장치의 촬상 방법.
<27> 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고, 입사하는 입사광을 수광하는 복수의 화소 출력 단위를 갖고, 상기 복수의 화소 출력 단위 중, 적어도 2개의 상기 화소 출력 단위의 출력 화소치의, 피사체로부터의 입사광의 입사각에 대한 특성이 서로 다른 촬상 소자가 촬상하는 스텝을 포함하는 촬상 소자의 촬상 방법.
<28> 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고, 입사하는 입사광을 수광하는 복수의 화소 출력 단위를 갖고,
상기 복수의 화소 출력 단위 중, 적어도 2개의 상기 화소 출력 단위의 출력 화소치의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성이 서로 다른 촬상 소자의 상기 복수의 화소 출력 단위로부터 각각 출력된 복수의 검출 신호로 이루어지는 검출 화상을 이용하여, 상기 피사체를 시인 가능한 복원 화상을 복원하는 스텝을 포함하는 화상 처리 방법.
101: 촬상 장치
121: 지향성 촬상 소자
121a: 화소
121b: 차광막
121c: 온칩 렌즈
121d: 컬러 필터
121e, 121f: 포토 다이오드
122: 신호 처리부
123: 디모자이크 처리부
124: γ 보정부
125: 화이트 밸런스 조정부
126: 화상 출력부
127: 기억부
128: 표시부
129: 피사체 거리 결정부
130: 조작부
131: 계수 세트 선택부
151: 촬상 소자
152: 광학 블록
153: 초점 조정부

Claims (25)

  1. 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고, 입사하는 입사광을 수광하는 복수의 화소 출력 단위를 갖고, 상기 복수의 화소 출력 단위 중, 적어도 2개의 상기 화소 출력 단위의 출력 화소치의, 피사체로부터의 입사광의 입사각에 대한 특성이 서로 다른 촬상 소자
    를 구비한, 촬상 장치.
  2. 제1항에 있어서,
    상기 특성은, 상기 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성인, 촬상 장치.
  3. 제2항에 있어서,
    상기 복수의 화소 출력 단위의 각각으로부터 1개의 검출 신호가 출력되는, 촬상 장치.
  4. 제3항에 있어서,
    상기 복수의 화소 출력 단위로부터 출력된 복수의 검출 신호로 이루어지는 검출 화상을 이용하여, 복원 화상을 복원하는 화상 복원부를 더 구비하는, 촬상 장치.
  5. 제4항에 있어서,
    상기 화상 복원부는, 상기 복수의 화소 출력 단위 중 일부의 화소 출력 단위의 검출 신호를 선택적으로 이용하여, 상기 복원 화상을 복원하는, 촬상 장치.
  6. 제4항에 있어서,
    상기 화상 복원부는, 상기 복수의 화소 출력 단위 중 일부의 화소 출력 단위의 검출 신호를 이용하여 상기 복원 화상을 복원하는 복원 처리와, 상기 복수의 화소 출력 단위 중 모든 화소 출력 단위의 검출 신호를 이용하여 상기 복원 화상을 복원하는 복원 처리를 선택적으로 실행하는, 촬상 장치.
  7. 제4항에 있어서,
    상기 복수의 화소 출력 단위는, 광각인 화상에 적절한 상기 입사각 지향성을 가지는 광각 대응 화소 출력 단위와, 상기 광각 대응 화소 출력 단위와 비교하여 좁은 협각 대응 화소 출력 단위를 포함하고,
    상기 화상 복원부는, 상기 광각 대응 화소 출력 단위와 상기 협각 대응 화소 출력 단위를 선택적으로 이용하여 상기 복원 화상을 복원하는, 촬상 장치.
  8. 제2항에 있어서,
    상기 피사체로부터의 주 광선 입사 각도가 다른 확산광을, 서로 인접하는 복수의 화소 출력 단위에 입사시키기 위한 집광 기능을 구비하지 않은, 촬상 장치.
  9. 제1항에 있어서,
    상기 복수의 화소 출력 단위는, 각각 상기 피사체로부터의 입사광의 입사각에 대한 특성을 독립으로 설정 가능한 구성을 가지는, 촬상 장치.
  10. 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고, 입사하는 입사광을 수광하는 복수의 화소 출력 단위를 갖고, 상기 복수의 화소 출력 단위 중, 적어도 2개의 상기 화소 출력 단위의 출력 화소치의, 피사체로부터의 입사광의 입사각에 대한 특성이 서로 다른, 촬상 소자.
  11. 제10항에 있어서,
    상기 복수의 화소 출력 단위 중, 적어도 2개의 상기 화소 출력 단위는, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성이 서로 다른, 촬상 소자.
  12. 제11항에 있어서,
    상기 복수의 화소 출력 단위의 각각은, 1개의 포토 다이오드로 구성되고,
    상기 복수의 화소 출력 단위의 각각으로부터 1개의 검출 신호가 출력되는, 촬상 소자.
  13. 제12항에 있어서,
    상기 적어도 2개의 화소 출력 단위는, 상기 포토 다이오드에의 상기 피사체로부터의 입사광인 피사체광의 입사를 차단하는 차광막을 각각 갖고,
    상기 피사체광의 상기 2개의 화소 출력 단위에의 입사가, 상기 차광막에 의해 차단되는 범위가, 상기 적어도 2개의 화소 출력 단위에서 서로 다른, 촬상 소자.
  14. 제11항에 있어서,
    상기 복수의 화소 출력 단위의 각각은, 복수의 포토 다이오드로 구성되고, 상기 복수의 화소 출력 단위의 각각으로부터 1개의 검출 신호가 출력되는, 촬상 소자.
  15. 제14항에 있어서,
    상기 적어도 2개의 화소 출력 단위는, 상기 복수의 포토 다이오드 중, 상기 검출 신호에 기여하는 포토 다이오드가 서로 다른, 촬상 소자.
  16. 제11항에 있어서,
    상기 복수의 화소 출력 단위는, 광각인 화상에 적절한 입사각 지향성을 가지는 광각 대응 화소 출력 단위와, 상기 광각 대응 화소 출력 단위와 비교하여 협각인 화상에 적절한 입사각 지향성을 가지는 협각 대응 화소 출력 단위를 포함하는, 촬상 소자.
  17. 제11항에 있어서,
    상기 복수의 화소 출력 단위에 각각 대응하는 복수의 온칩 렌즈를 구비하는, 촬상 소자.
  18. 제17항에 있어서,
    상기 입사각 지향성은, 상기 온칩 렌즈의 곡률에 따른 특성을 가지는, 촬상 소자.
  19. 제18항에 있어서,
    상기 입사각 지향성은, 차광 영역에 따른 특성을 가지는, 촬상 소자.
  20. 제18항에 있어서,
    상기 복수의 온칩 렌즈 중, 적어도 일부의 온칩 렌즈의 곡률은 다른 온칩 렌즈 곡률과 다른, 촬상 소자.
  21. 제10항에 있어서,
    상기 복수의 화소 출력 단위는, 각각 상기 피사체로부터의 입사광의 입사각에 대한 특성을 독립으로 설정 가능한 구성을 가지는, 촬상 소자.
  22. 촬상 렌즈 및 핀홀의 어느 것도 거치지 않고, 입사하는 입사광을 수광하는 복수의 화소 출력 단위를 갖고,
    상기 복수의 화소 출력 단위 중, 적어도 2개의 상기 화소 출력 단위의 출력 화소치의, 피사체로부터의 입사광의 입사각에 대한 지향성을 나타내는 입사각 지향성이 서로 다른 촬상 소자의 상기 복수의 화소 출력 단위로부터 각각 출력된 복수의 검출 신호로 이루어지는 검출 화상을 이용하여, 상기 피사체를 시인 가능한 복원 화상을 복원하는 화상 복원부를 구비하는,
    화상 처리 장치.
  23. 제22항에 있어서,
    상기 화상 복원부는, 상기 복수의 화소 출력 단위 중 일부의 화소 출력 단위의 검출 신호를 선택적으로 이용하여, 상기 복원 화상을 복원하는, 화상 처리 장치.
  24. 제22항에 있어서,
    상기 화상 복원부는, 상기 복수의 화소 출력 단위 중 일부의 화소 출력 단위의 검출 신호를 이용하여 상기 복원 화상을 복원하는 복원 처리와, 상기 복수의 화소 출력 단위 중 모든 화소 출력 단위의 검출 신호를 이용하여 상기 복원 화상을 복원하는 복원 처리를 선택적으로 실행하는, 화상 처리 장치.
  25. 제22항에 있어서,
    상기 복수의 화소 출력 단위는, 광각인 화상에 적절한 상기 입사각 지향성을 가지는 광각 대응 화소 출력 단위와, 상기 광각 대응 화소 출력 단위와 비교하여 좁은 협각 대응 화소 출력 단위를 포함하고,
    상기 화상 복원부는, 상기 광각 대응 화소 출력 단위와 상기 협각 대응 화소 출력 단위를 선택적으로 이용하여 상기 복원 화상을 복원하는, 화상 처리 장치.
KR1020197000665A 2016-07-13 2017-07-11 촬상 장치, 촬상 소자, 및 화상 처리 장치 KR102353634B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JPJP-P-2016-138363 2016-07-13
JP2016138363 2016-07-13
PCT/JP2017/025255 WO2018012492A1 (ja) 2016-07-13 2017-07-11 撮像装置、撮像素子、および画像処理装置

Publications (2)

Publication Number Publication Date
KR20190022619A true KR20190022619A (ko) 2019-03-06
KR102353634B1 KR102353634B1 (ko) 2022-01-21

Family

ID=60953061

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197000665A KR102353634B1 (ko) 2016-07-13 2017-07-11 촬상 장치, 촬상 소자, 및 화상 처리 장치

Country Status (6)

Country Link
US (1) US20190215473A1 (ko)
EP (2) EP4016992A3 (ko)
JP (2) JP6958554B2 (ko)
KR (1) KR102353634B1 (ko)
CN (3) CN109479101B (ko)
WO (1) WO2018012492A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11631708B2 (en) 2018-09-28 2023-04-18 Semiconductor Energy Laboratory Co., Ltd. Image processing method, program, and imaging device

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2019078337A1 (ja) * 2017-10-19 2020-12-17 ソニー株式会社 撮像装置および方法、並びに、画像処理装置および方法
WO2019078340A1 (ja) 2017-10-19 2019-04-25 ソニー株式会社 撮像装置および方法、並びに、画像処理装置および方法
WO2019189099A1 (ja) 2018-03-26 2019-10-03 ソニー株式会社 撮像素子、撮像装置、並びに、情報処理方法
CN112106343A (zh) * 2018-03-29 2020-12-18 索尼公司 信息处理装置、信息处理方法、程序和信息处理系统
US11159741B2 (en) 2018-03-30 2021-10-26 Sony Group Corporation Imaging device and method, image processing device and method, and imaging element
JP2020182139A (ja) * 2019-04-26 2020-11-05 ソニー株式会社 撮像システム及び撮像素子
JP7484904B2 (ja) 2019-06-04 2024-05-16 ソニーグループ株式会社 撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置
WO2021020156A1 (ja) * 2019-07-31 2021-02-04 ソニー株式会社 撮像素子、撮像装置、信号処理装置、及び、信号処理方法
US20220377275A1 (en) * 2019-10-30 2022-11-24 Sony Group Corporation Imaging device, display device, and imaging system
JP2021175048A (ja) * 2020-04-22 2021-11-01 ソニーセミコンダクタソリューションズ株式会社 電子機器
JPWO2022059481A1 (ko) 2020-09-15 2022-03-24
JP2022119378A (ja) 2021-02-04 2022-08-17 キヤノン株式会社 光電変換装置、機器

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110036844A (ko) * 2008-07-25 2011-04-11 코넬 유니버시티 광 필드 이미지 센서, 방법 및 적용
JP2011176715A (ja) * 2010-02-25 2011-09-08 Nikon Corp 裏面照射型撮像素子および撮像装置
KR20130088852A (ko) * 2010-08-03 2013-08-08 코넬 유니버시티 각 감지 픽셀(asp)에 기초한 이미지 처리 시스템, 방법, 및 응용들
WO2016123529A1 (en) 2015-01-29 2016-08-04 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5256796B2 (ja) * 2007-05-14 2013-08-07 セイコーエプソン株式会社 ラインヘッドおよびそれを用いた画像形成装置
JP5262823B2 (ja) * 2009-02-23 2013-08-14 ソニー株式会社 固体撮像装置および電子機器
JP2013201466A (ja) * 2010-06-30 2013-10-03 Fujifilm Corp 立体画像撮像装置
US9532033B2 (en) * 2010-11-29 2016-12-27 Nikon Corporation Image sensor and imaging device
JP5979134B2 (ja) * 2011-04-14 2016-08-24 株式会社ニコン 画像処理装置および画像処理プログラム
JP6335423B2 (ja) * 2012-08-31 2018-05-30 キヤノン株式会社 情報処理装置および情報処理方法
WO2014049941A1 (ja) * 2012-09-28 2014-04-03 パナソニック株式会社 固体撮像装置及び撮像装置
JP2014154662A (ja) * 2013-02-07 2014-08-25 Sony Corp 固体撮像素子、電子機器、および製造方法
JP2014165785A (ja) * 2013-02-27 2014-09-08 Canon Inc 撮像装置およびその制御方法、カメラシステム、プログラム、記憶媒体
US9971078B2 (en) * 2013-03-05 2018-05-15 Rambus Inc. Phase gratings with odd symmetry for high-resolution lensless optical sensing
TWI620445B (zh) * 2013-03-25 2018-04-01 Sony Corp 攝像元件及電子機器
JP6103301B2 (ja) * 2013-07-03 2017-03-29 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
US9746593B2 (en) * 2013-08-28 2017-08-29 Rambus Inc. Patchwork Fresnel zone plates for lensless imaging
JP6368999B2 (ja) * 2013-09-26 2018-08-08 株式会社ニコン 撮像素子および撮像装置
JP2015076475A (ja) * 2013-10-08 2015-04-20 ソニー株式会社 固体撮像装置およびその製造方法、並びに電子機器
JP6219176B2 (ja) * 2014-01-17 2017-10-25 富士フイルム株式会社 撮像レンズおよび撮像装置
US10176562B2 (en) * 2014-02-24 2019-01-08 Rambus Inc. Optical flow sensing and pattern recognition with anti-symmetric phase gratings
KR20160008364A (ko) * 2014-07-14 2016-01-22 삼성전자주식회사 이미지 센서 및 이미지 센서를 포함하는 영상 촬영 장치
JP2016092413A (ja) * 2014-10-29 2016-05-23 株式会社半導体エネルギー研究所 撮像装置および電子機器

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110036844A (ko) * 2008-07-25 2011-04-11 코넬 유니버시티 광 필드 이미지 센서, 방법 및 적용
JP2011176715A (ja) * 2010-02-25 2011-09-08 Nikon Corp 裏面照射型撮像素子および撮像装置
KR20130088852A (ko) * 2010-08-03 2013-08-08 코넬 유니버시티 각 감지 픽셀(asp)에 기초한 이미지 처리 시스템, 방법, 및 응용들
WO2016123529A1 (en) 2015-01-29 2016-08-04 William Marsh Rice University Lensless imaging system using an image sensor with one or more attenuating layers

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JPEG112019002400011-pct00001.jpg37175- IMG0001#

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11631708B2 (en) 2018-09-28 2023-04-18 Semiconductor Energy Laboratory Co., Ltd. Image processing method, program, and imaging device

Also Published As

Publication number Publication date
CN113489926A (zh) 2021-10-08
US20190215473A1 (en) 2019-07-11
CN109479101B (zh) 2021-08-03
JP6958554B2 (ja) 2021-11-02
JPWO2018012492A1 (ja) 2019-04-25
EP4016992A3 (en) 2022-08-24
JP7290159B2 (ja) 2023-06-13
EP4016992A2 (en) 2022-06-22
JP2022000994A (ja) 2022-01-04
EP3487165B1 (en) 2022-03-16
EP3487165A4 (en) 2019-06-19
WO2018012492A1 (ja) 2018-01-18
KR102353634B1 (ko) 2022-01-21
CN113489926B (zh) 2024-09-06
CN113489904B (zh) 2023-07-21
CN113489904A (zh) 2021-10-08
EP3487165A1 (en) 2019-05-22
CN109479101A (zh) 2019-03-15

Similar Documents

Publication Publication Date Title
JP7290159B2 (ja) 撮像装置および撮像方法、撮像素子、画像処理装置および画像処理方法、並びにプログラム
US9883128B2 (en) Imaging systems with high dynamic range and phase detection pixels
JP7259757B2 (ja) 撮像装置、並びに、画像処理装置および方法
JP7192778B2 (ja) 撮像装置および方法、並びに、画像処理装置および方法
CN111201782B (zh) 成像器件、图像处理装置、图像处理方法和记录介质
JP7552746B2 (ja) 撮像装置及び信号処理装置
CN111201778B (zh) 成像装置、曝光控制方法、计算机可读存储介质和成像器件
JP7147841B2 (ja) 撮像装置および方法、画像処理装置および方法、並びに、撮像素子
CN111886856A (zh) 成像元件、成像装置以及信息处理方法
KR102708579B1 (ko) 촬상 소자, 촬상 장치, 및 정보 처리 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant