WO2020246250A1 - 撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置 - Google Patents

撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置 Download PDF

Info

Publication number
WO2020246250A1
WO2020246250A1 PCT/JP2020/020061 JP2020020061W WO2020246250A1 WO 2020246250 A1 WO2020246250 A1 WO 2020246250A1 JP 2020020061 W JP2020020061 W JP 2020020061W WO 2020246250 A1 WO2020246250 A1 WO 2020246250A1
Authority
WO
WIPO (PCT)
Prior art keywords
detection
pixel
image
flicker
light
Prior art date
Application number
PCT/JP2020/020061
Other languages
English (en)
French (fr)
Inventor
佳孝 宮谷
Original Assignee
ソニー株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニー株式会社 filed Critical ソニー株式会社
Priority to US17/612,043 priority Critical patent/US11889199B2/en
Priority to EP20818805.2A priority patent/EP3965159A4/en
Priority to JP2021524746A priority patent/JP7484904B2/ja
Publication of WO2020246250A1 publication Critical patent/WO2020246250A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14609—Pixel-elements with integrated switching, control, storage or amplification elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/745—Detection of flicker frequency or suppression of flicker wherein the flicker is caused by illumination, e.g. due to fluorescent tube illumination or pulsed LED illumination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70—SSIS architectures; Circuits associated therewith
    • H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
    • H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
    • H04N25/778—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising amplifiers shared between a plurality of pixels, i.e. at least one part of the amplifier must be on the sensor array itself
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14621—Colour filter arrangements
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1462—Coatings
    • H01L27/14623—Optical shielding
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14625—Optical elements or arrangements associated with the device
    • H01L27/14627—Microlenses
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/14636—Interconnect structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14601—Structural or functional details thereof
    • H01L27/1464—Back illuminated imager structures
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H01L27/14643—Photodiode arrays; MOS imagers
    • H01L27/14645—Colour imagers

Definitions

  • This technology relates to an image pickup device, a signal processing device, a signal processing method, a program, and an image pickup device, and particularly, an image pickup device, a signal processing device, and a signal that suppress the occurrence of flicker in an image pickup device that does not use an image pickup lens. It relates to a processing method, a program, and an image sensor.
  • the light from the subject is modulated by a light-shielding film covering the light-receiving surface of each pixel of the image sensor to take an image, and a restored image in which the image of the subject is formed is restored by a predetermined arithmetic process.
  • An image pickup device has been proposed (see, for example, Patent Document 1).
  • This technology was made in view of such a situation, and suppresses the generation of flicker in an imaging device that does not use an imaging lens.
  • the image sensor on the first side of the present technology receives incident light from an incident subject without going through either the image pickup lens or the pinhole, and a detection signal indicating an output pixel value modulated by the incident angle of the incident light.
  • a plurality of pixels including a pixel that outputs one are arranged in a row direction and a column direction, and are arranged in a pixel region that is sequentially exposed in row units and in different rows of the pixel region, and are used for detecting flicker. It has a detection area.
  • the signal processing device on the second aspect of the present technology receives incident light from an incident subject without going through either an image pickup lens or a pinhole, and detects an output pixel value modulated by the incident angle of the incident light.
  • a plurality of pixels including a pixel that outputs one signal are arranged in a row direction and a column direction, and are output from pixels in a plurality of detection regions arranged in different rows of pixel regions that are sequentially exposed in row units.
  • a flicker detection unit that detects flicker based on at least one of a plurality of detected images generated for each detection region based on a detection signal and a plurality of restored images restored from each of the detected images is provided. ..
  • the signal processing method on the second aspect of the present technology receives incident light from an incident subject without going through either an image pickup lens or a pinhole, and detects an output pixel value modulated by the incident angle of the incident light.
  • a plurality of pixels including a pixel that outputs one signal are arranged in a row direction and a column direction, and are output from pixels in a plurality of detection regions arranged in different rows of pixel regions that are sequentially exposed in row units.
  • Flicker is detected based on at least one of a plurality of detected images generated for each detection region based on the detection signal and a plurality of restored images restored from each of the detected images.
  • the program on the second aspect of the present technology receives incident light from an incident subject without going through either the image pickup lens or the pinhole, and generates a detection signal indicating an output pixel value modulated by the incident angle of the incident light.
  • a detection signal output from pixels in a plurality of detection areas in which a plurality of pixels including one output pixel are arranged in a row direction and a column direction and are arranged in different rows of a pixel area that is sequentially exposed in row units.
  • a computer is made to execute a process of detecting flicker based on at least one of a plurality of detected images generated for each detection area based on the above and a plurality of restored images restored from each of the detected images.
  • the image sensor on the third aspect of the present technology receives incident light from an incident subject without going through either an imaging lens or a pinhole, and a detection signal indicating an output pixel value modulated by the incident angle of the incident light.
  • a plurality of pixels including a pixel that outputs one are arranged in a row direction and a column direction, and are arranged in a pixel region that is sequentially exposed in row units and in different rows of the pixel region, and are used for detecting flicker.
  • An image sensor including a detection area, a plurality of detection images generated for each detection area based on detection signals output from pixels in each detection area, and a plurality of detection images restored from each detection image.
  • a flicker detection unit that detects flicker based on at least one of the restored images is provided.
  • the detection signal indicating the output pixel value modulated by the incident angle of the incident light is received by receiving the incident light from the incident subject without passing through either the image pickup lens or the pinhole.
  • a plurality of pixels including one pixel to be output are arranged in a row direction and a column direction, and are arranged in a pixel area in which the pixels are sequentially exposed in a row unit and in different rows of the pixel area, and a plurality of detection areas used for detecting flicker. And are provided.
  • the detection signal indicating the output pixel value modulated by the incident angle of the incident light is received by receiving the incident light from the incident subject without passing through either the image pickup lens or the pinhole.
  • Flicker detection is performed based on at least one of a plurality of detected images generated for each detection region and a plurality of restored images restored from each of the detected images.
  • the detection signal indicating the output pixel value modulated by the incident angle of the incident light is received by receiving the incident light from the incident subject without passing through either the image sensor or the pinhole.
  • a plurality of pixels including a pixel to be output are arranged in a row direction and a column direction, and a pixel area that is sequentially exposed in row units and a plurality of detection areas that are arranged in different rows of the pixel area and are used for detecting flicker.
  • Flicker detection is based on at least one.
  • Embodiment >> Embodiments of the present technology will be described with reference to FIGS. 1 to 18.
  • FIG. 1 is a block diagram showing a configuration example of an image pickup apparatus 101 to which the present technology is applied.
  • the image sensor 101 includes an image sensor 121, a restoration unit 122, a control unit 123, an input unit 124, a detection unit 125, an association unit 126, a display unit 127, a storage unit 128, a recording / playback unit 129, a recording medium 130, and a communication unit. 131 is provided. Further, signal processing and imaging are performed by the restoration unit 122, the control unit 123, the input unit 124, the detection unit 125, the association unit 126, the display unit 127, the storage unit 128, the recording / playback unit 129, the recording medium 130, and the communication unit 131.
  • a signal processing control unit 111 that controls the device 101 and the like is configured.
  • the imaging device 101 does not include an imaging lens (imaging lens free).
  • the image sensor 121, the restoration unit 122, the control unit 123, the input unit 124, the detection unit 125, the association unit 126, the display unit 127, the storage unit 128, the recording / playback unit 129, and the communication unit 131 are connected via the bus B1. They are connected to each other and send and receive data via bus B1.
  • the description of the bus B1 when each part of the image pickup apparatus 101 transmits / receives data via the bus B1 will be omitted. For example, it is described that when the input unit 124 supplies data to the control unit 123 via the bus B1, the input unit 124 supplies the data to the control unit 123.
  • the image sensor 121 is an image sensor in which the detection sensitivity of each pixel has an incident angle directivity, and outputs an image consisting of a detection signal indicating a detection signal level according to the amount of incident light to the restoration unit 122 or the bus B1.
  • the incident angle directivity means to make the light receiving sensitivity characteristic according to the incident angle of the incident light to each pixel different for each pixel.
  • the light-receiving sensitivity characteristics of all the pixels do not have to be completely different, and the light-receiving sensitivity characteristics of some pixels may be the same.
  • the image sensor 121 may have the same basic structure as that of a general image sensor such as a CMOS (Complementary Metal Oxide Semiconductor) image sensor.
  • CMOS Complementary Metal Oxide Semiconductor
  • the image sensor 121 has a configuration in which each pixel constituting the pixel array unit is different from that of a general one, and has a configuration in which the incident angle directivity is provided, for example, as will be described later with reference to FIGS. 3 to 5. doing.
  • the image sensor 121 has different light receiving sensitivities (changes) for each pixel according to the incident angle of the incident light, and has incident angle directivity with respect to the incident angle of the incident light for each pixel.
  • the subject surface 102 of the subject in the upper left of FIG. 2 is composed of a point light source PA to a point light source PC, and the point light source PA to the point light source PC emits a plurality of light rays having a light intensity a to a light intensity c, respectively.
  • the image pickup device 121 includes pixels having different incident angle directivities (hereinafter, referred to as pixel Pa to pixel Pc) at positions Pa to position Pc.
  • light rays of the same light intensity emitted from the same point light source are incident on each pixel of the image sensor 121.
  • light rays having a light intensity a emitted from the point light source PA are incident on the pixels Pa to the pixels Pc of the image sensor 121, respectively.
  • the light rays emitted from the same point light source are incident at different angles of incidence for each pixel.
  • the light rays from the point light source PA are incident on the pixels Pa to the pixels Pc at different angles of incidence.
  • the incident angle directivity of the pixels Pa to Pc is different, light rays of the same light intensity emitted from the same point light source are detected in each pixel with different sensitivities. As a result, light rays having the same light intensity are detected at different detection signal levels for each pixel. For example, the detection signal level for a light ray having a light intensity a from the point light source PA is a different value for each pixel Pa to pixel Pc.
  • the light receiving sensitivity level of each pixel with respect to the light rays from each point light source is obtained by multiplying the light intensity of the light rays by a coefficient indicating the light receiving sensitivity (that is, the incident angle directivity) with respect to the incident angle of the light rays.
  • the detection signal level of the pixel Pa with respect to the light ray from the point light source PA is obtained by multiplying the light intensity a of the light ray of the point light source PA by a coefficient indicating the incident angle directivity of the pixel Pa with respect to the incident angle of the light ray on the pixel Pa. It is required by.
  • the detection signal levels DA, DB, and DC of the pixels Pc, Pb, and Pa are represented by the following equations (1) to (3), respectively.
  • DA ⁇ 1 ⁇ a + ⁇ 1 ⁇ b + ⁇ 1 ⁇ c ⁇ ⁇ ⁇ (1)
  • DB ⁇ 2 ⁇ a + ⁇ 2 ⁇ b + ⁇ 2 ⁇ c ⁇ ⁇ ⁇ (2)
  • DC ⁇ 3 ⁇ a + ⁇ 3 ⁇ b + ⁇ 3 ⁇ c ⁇ ⁇ ⁇ (3)
  • the coefficient ⁇ 1 is a coefficient indicating the incident angle directivity of the pixel Pc with respect to the incident angle of the light ray from the point light source PA to the pixel Pc, and is set according to the incident angle. Further, ⁇ 1 ⁇ a indicates the detection signal level of the pixel Pc with respect to the light beam from the point light source PA.
  • the coefficient ⁇ 1 is a coefficient indicating the incident angle directivity of the pixel Pc with respect to the incident angle of the light ray from the point light source PB to the pixel Pc, and is set according to the incident angle. Further, ⁇ 1 ⁇ b indicates the detection signal level of the pixel Pc with respect to the light beam from the point light source PB.
  • the coefficient ⁇ 1 is a coefficient indicating the incident angle directivity of the pixel Pc with respect to the incident angle of the light ray from the point light source PC to the pixel Pc, and is set according to the incident angle. Further, ⁇ 1 ⁇ c indicates the detection signal level of the pixel Pc with respect to the light beam from the point light source PC.
  • the detection signal level DA of the pixel Pa determines the light intensities a, b, and c of the light rays from the point light sources PA, PB, and PC in the pixel Pc, and the directivity of the incident angle according to the incident angle. It is obtained by the sum of products with the indicated coefficients ⁇ 1, ⁇ 1 and ⁇ 1.
  • the detection signal level DB of the pixel Pb includes the light intensities a, b, and c of the light rays from the point light sources PA, PB, and PC in the pixel Pb, and their respective incidents. It is obtained by the sum of products with the coefficients ⁇ 2, ⁇ 2, and ⁇ 2 that indicate the incident angle directivity according to the angle.
  • the detection signal level DC of the pixel Pc is the light intensities a, b, c of the light rays from the point light sources PA, PB, and PC in the pixel Pa, and their respective incident angles. It is obtained by the sum of products with the coefficients ⁇ 2, ⁇ 2, and ⁇ 2 indicating the incident angle directivity according to.
  • the detection signal levels DA, DB, and DC of the pixels Pa, Pb, and Pc are the light of light rays emitted from the point light sources PA, PB, and PC, respectively, as shown in the equations (1) to (3).
  • the strengths a, b, and c are mixed. Therefore, as shown in the upper right of FIG. 2, the detection signal level in the image sensor 121 is different from the light intensity of each point light source on the subject surface 102. Therefore, the image obtained by the image sensor 121 is different from the image of the subject surface 102.
  • the light intensity a to the light intensity c of the light rays of each point light source PA or point light source PC can be obtained. Then, by arranging the pixels having the pixel values corresponding to the obtained light intensity a to the light intensity c according to the arrangement (relative position) of the point light source PA to the point light source PC, as shown in the lower right of FIG. , The restored image in which the image of the subject surface 102 is formed is restored.
  • a coefficient set (for example, coefficients ⁇ 1, ⁇ 1, ⁇ 1) in which the coefficients are summarized for each equation constituting the simultaneous equations is referred to as a coefficient set.
  • a set of a plurality of coefficient sets corresponding to a plurality of equations included in the simultaneous equations (for example, coefficient set ⁇ 1, ⁇ 1, ⁇ 1, coefficient set ⁇ 2, ⁇ 2, ⁇ 2, coefficient set ⁇ 3, ⁇ 3, ⁇ 3) is used as a coefficient. Called a set group.
  • the incident angle of the light beam from each point light source of the subject surface 102 to the image sensor 121 is different, so that a different coefficient set is set for each subject distance. A group is needed.
  • a coefficient set group for each distance (subject distance) from the image pickup element 121 to the subject surface is prepared in advance, and the coefficient set group is switched for each subject distance to create simultaneous equations.
  • the created simultaneous equations it is possible to obtain restored images of the subject surfaces at various subject distances based on one detected image. For example, after capturing the detected image once and recording it, the recorded detection image is used to switch the coefficient set group according to the distance to the subject surface, and the restored image is restored to obtain an arbitrary subject distance. It is possible to generate a restored image of the subject surface.
  • each pixel 121a needs to be set so as to ensure the independence of the simultaneous equations described above.
  • the image output by the image sensor 121 is an image composed of detection signals in which the image of the subject is not formed as shown in the upper right of FIG. 2, the subject cannot be visually recognized. That is, the detection image composed of the detection signals output by the image sensor 121 is a set of pixel signals, but is an image in which the subject cannot be recognized (the subject cannot be visually recognized) even if the user visually recognizes the subject.
  • an image composed of a detection signal in which an image of a subject is not formed, that is, an image captured by the image sensor 121 is referred to as a detection image.
  • incident angle directivity does not necessarily have to be different for each pixel, and pixels having the same incident angle directivity may be included.
  • the restoration unit 122 corresponds to, for example, the subject distance corresponding to the distance from the image sensor 121 in FIG. 2 to the subject surface 102 (subject surface corresponding to the restored image), and has the above-mentioned coefficients ⁇ 1 to ⁇ 3, ⁇ 1 to ⁇ 3, ⁇ 1.
  • a coefficient set group corresponding to ⁇ 3 is acquired from the storage unit 128.
  • the restoration unit 122 is represented by the above equations (1) to (3) using the detection signal level of each pixel of the detection image output from the image sensor 121 and the acquired coefficient set group. Create simultaneous equations. Then, the restoration unit 122 obtains the pixel value of each pixel constituting the image in which the image of the subject shown in the lower right of FIG. 2 is formed by solving the created simultaneous equations. As a result, an image in which the user can visually recognize the subject (the subject can be visually recognized) is restored from the detected image.
  • the image restored from this detected image will be referred to as a restored image.
  • the restored image is not an image that can identify the subject like a normal image, but in this case as well, the restored image It is called.
  • a restored image which is an image in which an image of a subject is formed, and an image before color separation or simultaneous processing such as demosaic processing is referred to as a RAW image, and is detected by the image sensor 121.
  • the image is distinguished as an image that follows the arrangement of color filters but is not a RAW image.
  • the number of pixels of the image sensor 121 and the number of pixels of the pixels constituting the restored image do not necessarily have to be the same.
  • the restoration unit 122 performs demosaic processing, ⁇ correction, white balance adjustment, conversion processing to a predetermined compression format, etc. on the restored image as necessary. Then, the restoration unit 122 outputs the restored image to the bus B1.
  • the control unit 123 includes, for example, various processors, controls each unit of the image pickup apparatus 101, and executes various processes.
  • the input unit 124 includes an input device (for example, a key, a switch, a button, a dial, a touch panel, a remote controller, etc.) for operating the image pickup device 101 and inputting data used for processing.
  • the input unit 124 outputs an operation signal, input data, and the like to the bus B1.
  • the detection unit 125 includes an image pickup device 101, various sensors used for detecting the state of the subject, and the like.
  • the detection unit 125 may include an acceleration sensor or gyro sensor that detects the posture or movement of the image pickup device 101, a position detection sensor that detects the position of the image pickup device 101 (for example, a GNSS (Global Navigation Satellite System) receiver, etc.), or a subject. It is equipped with a distance measuring sensor or the like that detects the distance.
  • the detection unit 125 outputs a signal indicating the detection result to the bus B1.
  • the association unit 126 associates the detected image obtained by the image sensor 121 with the metadata corresponding to the detected image.
  • the metadata includes, for example, a coefficient set group for restoring a restored image using a target detected image, a subject distance, and the like.
  • the method of associating the detected image with the metadata is not particularly limited as long as the correspondence between the detected image and the metadata can be specified. For example, by adding metadata to the image data including the detected image, giving the same ID to the detected image and the metadata, or recording the detected image and the metadata on the same recording medium 130, the detected image and the metadata can be obtained. Metadata is associated.
  • the display unit 127 is composed of, for example, a display, and displays various information (for example, a restored image, etc.). It is also possible that the display unit 127 is provided with an audio output unit such as a speaker to output audio.
  • the storage unit 128 includes one or more storage devices such as a ROM (Read Only Memory), a RAM (Random Access Memory), and a flash memory, and stores, for example, programs and data used for processing of the image pickup device 101.
  • the storage unit 128 stores a set of coefficients corresponding to the above-mentioned coefficients ⁇ 1 to ⁇ 3, ⁇ 1 to ⁇ 3, ⁇ 1 to ⁇ 3 in association with various subject distances. More specifically, for example, the storage unit 128 stores a coefficient set group including a coefficient for each pixel 121a of the image sensor 121 for each point light source set on the subject surface 102 for each subject surface 102 at each subject distance. doing.
  • the recording / reproducing unit 129 records the data on the recording medium 130 and reproduces (reads) the data recorded on the recording medium 130. For example, the recording / reproducing unit 129 records the restored image on the recording medium 130 or reads it out from the recording medium 130. Further, for example, the recording / reproducing unit 129 records the detected image and the corresponding metadata on the recording medium 130 or reads the detected image from the recording medium 130.
  • the recording medium 130 is composed of, for example, any one of HDD (Hard Disk Drive), SSD (Solid State Drive), magnetic disk, optical disk, magneto-optical disk, semiconductor memory, etc., or a combination thereof.
  • HDD Hard Disk Drive
  • SSD Solid State Drive
  • magnetic disk magnetic disk
  • optical disk magnetic disk
  • magneto-optical disk semiconductor memory, etc., or a combination thereof.
  • the communication unit 131 communicates with another device (for example, another imaging device, signal processing device, etc.) by a predetermined communication method.
  • the communication method of the communication unit 131 may be either wired or wireless. It is also possible for the communication unit 131 to support a plurality of communication methods.
  • FIG. 3 shows a front view of a part of the pixel array portion of the image sensor 121. Note that FIG. 3 shows an example in which the number of pixels in the pixel array unit is 6 vertical pixels ⁇ 6 horizontal pixels, but the number of pixels in the pixel array unit is not limited to this.
  • a light-shielding film 121b which is one of the modulation elements, is provided for each pixel 121a so as to cover a part of the light-receiving region (light-receiving surface) of the photodiode, and each pixel 121a is provided with a light-shielding film 121b.
  • the incident light is optically modulated according to the incident angle. Then, for example, by providing the light-shielding film 121b in a different range for each pixel 121a, the light receiving sensitivity of the incident light with respect to the incident angle becomes different for each pixel 121a, and each pixel 121a has a different incident angle directivity. ..
  • the light-shielding area of the photodiode is different in the light-shielding area (light-shielding area (position)) depending on the light-shielding film 121b-1 and the light-shielding film 121b-2 provided. And at least one of the shaded areas is different). That is, in the pixel 121a-1, a light-shielding film 121b-1 is provided so as to block a part of the left side of the light receiving region of the photodiode by a predetermined width.
  • a light-shielding film 121b-2 is provided so as to block a part of the right side of the light-receiving region by a predetermined width.
  • the width of the light-shielding film 121b-1 to block the light-receiving area of the photodiode and the width of the light-shielding film 121b-2 to block the light-receiving area of the photodiode may be different or the same. ..
  • the light-shielding film 121b is randomly arranged in the pixel array unit so as to block light in a different range of the light-receiving region for each pixel.
  • the upper part of FIG. 4 is a side sectional view of the image sensor 121 in the first configuration example
  • the middle part of FIG. 4 is a top view of the image sensor 121 in the first configuration example
  • the side sectional view of the upper part of FIG. 4 is an AB cross section in the middle part of FIG.
  • the lower part of FIG. 4 is an example of a circuit configuration of the image sensor 121.
  • the adjacent pixels 121a-1 and 121a-2 are of a so-called back-illuminated type in which a wiring layer Z12 is provided at the bottom layer in the drawing and a photoelectric conversion layer Z11 is provided above the wiring layer Z12.
  • pixels 121a-1 and 121a-2 when it is not necessary to distinguish between pixels 121a-1 and 121a-2, the description of the number at the end of the code is omitted, and the term is simply referred to as pixel 121a.
  • the numbers and alphabets at the end of the reference numerals may be omitted for other configurations as well.
  • FIG. 4 shows only a side view and a top view of two pixels constituting the pixel array portion of the image sensor 121, and it goes without saying that a larger number of pixels 121a are arranged. Is omitted.
  • the pixels 121a-1 and 121a-2 are provided with photodiodes 121e-1 and 121e-2 in the photoelectric conversion layer Z11, respectively.
  • photodiodes 121e-1 and 121e-2 On the photodiodes 121e-1 and 121e-2, on-chip lenses 121c-1, 121c-2 and color filters 121d-1 and 121d-2 are laminated from above, respectively.
  • the on-chip lenses 121c-1 and 121c-2 collect the incident light on the photodiodes 121e-1 and 121e-2.
  • the color filters 121d-1 and 121d-2 are optical filters that transmit light of specific wavelengths such as red, green, blue, infrared and white. In the case of white, the color filters 121d-1 and 121d-2 may or may not be transparent filters.
  • light-shielding films 121g-1 to 121g-3 are formed at the boundaries between the pixels, and for example, as shown in FIG. 4, the incident light It suppresses the occurrence of crosstalk when L is incident on adjacent pixels.
  • the light-shielding films 121b-1 and 121b-2 shield a part of the light-receiving surface S when viewed from the upper surface.
  • the light receiving surface S of the photodiodes 121e-1 and 121e-2 in the pixels 121a-1 and 121a-2 different ranges are shielded by the light-shielding films 121b-1 and 121b-2, whereby different incident angles are obtained.
  • the directivity is set independently for each pixel.
  • the light-shielding range does not have to be different for all the pixels 121a of the image sensor 121, and there may be pixels 121a in which the same range is partially light-shielded.
  • the light-shielding film 121b-1 and the light-shielding film 121g-1 are connected to each other and are L-shaped when viewed from the side surface.
  • the light-shielding film 121b-2 and the light-shielding film 121g-2 are connected to each other and are formed in an L shape when viewed from the side surface.
  • the light-shielding film 121b-1, the light-shielding film 121b-2, and the light-shielding film 121g-1 to 121g-3 are made of a metal, for example, tungsten (W), aluminum (Al), or Al and copper. It is composed of an alloy with (Cu).
  • the light-shielding film 121b-1, the light-shielding film 121b-2, and the light-shielding film 121g-1 to 121g-3 are simultaneously formed by the same metal as the wiring in the same process as the process in which the wiring is formed in the semiconductor process. It may be done.
  • the film thicknesses of the light-shielding film 121b-1, the light-shielding film 121b-2, and the light-shielding film 121g-1 to 121g-3 do not have to be the same depending on the position.
  • the pixel 121a includes a photodiode 161 (corresponding to the photodiode 121e), a transfer transistor 162, an FD (Floating Diffusion) unit 163, a selection transistor 164, and an amplification transistor 165. , And a reset transistor 166, which is connected to the current source 168 via a vertical signal line 167.
  • the anode electrode of the photodiode 161 is grounded, and the cathode electrode is connected to the gate electrode of the amplification transistor 165 via the transfer transistor 162.
  • the transfer transistor 162 is driven according to the transfer signal TG. For example, when the transfer signal TG supplied to the gate electrode of the transfer transistor 162 becomes high level, the transfer transistor 162 is turned on. As a result, the electric charge stored in the photodiode 161 is transferred to the FD unit 163 via the transfer transistor 162.
  • the FD unit 163 is a floating diffusion region having a charge capacitance C1 provided between the transfer transistor 162 and the amplification transistor 165, and temporarily stores the charge transferred from the photodiode 161 via the transfer transistor 162.
  • the FD unit 163 is a charge detection unit that converts an electric charge into a voltage, and the electric charge stored in the FD unit 163 is converted into a voltage in the amplification transistor 165.
  • the selection transistor 164 is driven according to the selection signal SEL, and turns on when the selection signal SEL supplied to the gate electrode reaches a high level to connect the amplification transistor 165 and the vertical signal line 167.
  • the amplification transistor 165 serves as an input section of a source follower, which is a read-out circuit that reads out a signal obtained by photoelectric conversion in the photodiode 161.
  • a detection signal (pixel signal) at a level corresponding to the charge stored in the FD section 163 is generated.
  • the value of this detection signal (output pixel value) is modulated according to the incident angle of the incident light from the subject, and the characteristics (directivity) differ depending on the incident angle (having incident angle directivity).
  • the reset transistor 166 is driven according to the reset signal RST. For example, the reset transistor 166 is turned on when the reset signal RST supplied to the gate electrode reaches a high level, and the electric charge accumulated in the FD unit 163 is discharged to the power supply VDD to reset the FD unit 163.
  • the shape of the light-shielding film 121b of each pixel 121a is not limited to the example of FIG. 3, and can be set to any shape.
  • the shape extending in the horizontal direction, the L-shaped shape extending in the vertical direction and the horizontal direction, the shape provided with the rectangular opening, and the like in FIG. 3 can be obtained.
  • FIG. 5 is a diagram showing a second configuration example of the image sensor 121.
  • a side sectional view of the pixel 121a of the image sensor 121 which is a second configuration example, is shown in the upper part of FIG. 5, and a top view of the image sensor 121 is shown in the middle part of FIG.
  • the side sectional view of the upper part of FIG. 5 is an AB cross section in the middle part of FIG.
  • the lower part of FIG. 5 is an example of a circuit configuration of the image sensor 121.
  • the image sensor 121 of FIG. 5 In the image sensor 121 of FIG. 5, four photodiodes 121f-1 to 121f-4 are formed in one pixel 121a, and a light-shielding film 121g is formed in a region for separating the photodiodes 121f-1 to 121f-4. In that respect, the configuration is different from that of the image sensor 121 of FIG. That is, in the image sensor 121 of FIG. 5, the light-shielding film 121g is formed in a “+” shape when viewed from the upper surface.
  • the common configurations thereof are designated by the same reference numerals as those in FIG. 4, and detailed description thereof will be omitted.
  • the photodiodes 121f-1 to 121f-4 are separated by the light-shielding film 121g, so that electrical and optical crosstalk between the photodiodes 121f-1 to 121f-4 is generated. Be prevented. That is, the light-shielding film 121g of FIG. 5 is for preventing crosstalk like the light-shielding film 121g of the image sensor 121 of FIG. 4, and is not for providing incident angle directivity.
  • one FD unit 163 is shared by four photodiodes 121f-1 to 121f-4.
  • the lower part of FIG. 5 shows an example of a circuit configuration in which one FD unit 163 is shared by four photodiodes 121f-1 to 121f-4. The description of the same configuration as that of the lower part of FIG. 4 in the lower part of FIG. 5 will be omitted.
  • the difference from the circuit configuration in the lower part of FIG. 4 is that the photodiodes 161-1 to 161- instead of the photodiode 161 (corresponding to the photodiode 121e in the upper part of FIG. 4) and the transfer transistor 162. 4 (corresponding to the photodiodes 121f-1 to 121f-4 in the upper part of FIG. 5) and transfer transistors 162-1 to 162-4 are provided, and the FD unit 163 is shared.
  • the electric charge accumulated in the photodiodes 121f-1 to 121f-4 has a predetermined capacitance provided at the connection portion between the photodiodes 121f-1 to 121f-4 and the gate electrode of the amplification transistor 165. It is transferred to the common FD unit 163. Then, a signal corresponding to the level of the electric charge held in the FD unit 163 is read out as a detection signal (pixel signal).
  • the charges accumulated in the photodiodes 121f-1 to 121f-4 can be selectively contributed to the output of the pixel 121a, that is, the detection signal in various combinations. That is, the configurations are such that the electric charge can be read out independently for each photodiode 121f-1 to 121f-4, and the photodiodes 121f-1 to 121f-4 (photodiodes 121f-1 to 121f-4 output) that contribute to the output. By making the degree of contribution to the diode different from each other, different incident angle directivities can be obtained.
  • the incident angle directivity in the left-right direction can be obtained by transferring the charges of the photodiode 121f-1 and the photodiode 121f-3 to the FD unit 163 and adding the signals obtained by reading each of them.
  • the incident angle directivity in the vertical direction can be obtained.
  • the signal obtained based on the electric charge selectively read out independently from the four photodiodes 121f-1 to 121f-4 is a detection signal corresponding to one pixel constituting the detection image.
  • each photodiode 121f charge
  • the contribution of each photodiode 121f (charge) to the detection signal is determined not only by whether or not the charge (detection value) of each photodiode 121f is transferred to the FD unit 163, but also by using the electronic shutter function. It can also be realized by resetting the electric charge accumulated in the photodiode 121f before the transfer to the FD unit 163. For example, if the charge of the photodiode 121f is reset immediately before the transfer to the FD unit 163, the photodiode 121f does not contribute to the detection signal at all. On the other hand, by allowing a time between resetting the charge of the photodiode 121f and transferring the charge to the FD unit 163, the photodiode 121f is in a state of partially contributing to the detection signal.
  • each pixel has a different incident angle directivity.
  • the detection signal output from each pixel 121a of the image sensor 121 in FIG. 5 is a value modulated according to the incident angle of the incident light from the subject (output pixel value), and has characteristics (directivity) depending on the incident angle. Is different (has incident angle directivity).
  • the detection signal is a signal obtained by optical modulation. Absent. Further, hereinafter, the photodiode 121f that does not contribute to the detection signal will also be referred to as a photodiode 121f that does not contribute to the pixel or output.
  • FIG. 5 shows an example in which the light receiving surface of the pixel (pixel 121a) is divided into four equal parts and the photodiode 121f having the same light receiving surface is arranged in each region, that is, the photodiode is divided into four equal parts.
  • the number of divisions and the division position of the photodiode can be set arbitrarily.
  • the division position of the photodiode may be different for each pixel.
  • the incident angle directivity will differ between the pixels.
  • the number of divisions different between the pixels, it becomes possible to set the incident angle directivity more freely.
  • both the number of divisions and the division position may be different between the pixels.
  • both the image sensor 121 of FIG. 4 and the image sensor 121 of FIG. 5 have a configuration in which each pixel can independently set the incident angle directivity.
  • the incident angle directivity of each pixel is set at the time of manufacture by the light-shielding film 121b.
  • the number of divisions and the division position of the photodiodes of each pixel are set at the time of manufacture, but the incident angle directivity of each pixel (combination of photodiodes that contribute to output) is used (combination of photodiodes that contribute to output). For example, it can be set at the time of imaging).
  • neither of the image sensor 121 of FIG. 4 and the image sensor 121 of FIG. 5 necessarily has a configuration in which all the pixels have an incident angle directivity.
  • the shape of the light-shielding film 121b of each pixel 121a is referred to as a light-shielding pattern.
  • the shape of the region of the photodiode 121f that does not contribute to the output in each pixel 121a is referred to as a light-shielding pattern.
  • the incident angle directivity of each pixel of the image sensor 121 is generated by, for example, the principle shown in FIG.
  • the upper left and upper right parts of FIG. 6 are views for explaining the principle of generation of incident angle directivity in the image sensor 121 of FIG. 4, and the lower left and lower right parts of FIG. 6 are the image sensor 121 of FIG. It is a figure explaining the generation principle of the incident angle directivity.
  • the upper left and upper right pixels of FIG. 6 both include one photodiode 121e.
  • the lower left and lower right pixels of FIG. 6 both include two photodiodes 121f.
  • an example in which one pixel includes two photodiodes 121f is shown here, this is for convenience of explanation, and the number of photodiodes 121f included in one pixel may be another number. ..
  • a light-shielding film 121b-11 is formed so as to block the right half of the light-receiving surface of the photodiode 121e-11. Further, in the upper right pixel of FIG. 6, a light-shielding film 121b-12 is formed so as to block the left half of the light-receiving surface of the photodiode 121e-12.
  • the alternate long and short dash line in the figure is an auxiliary line that passes through the horizontal center of the light receiving surface of the photodiode 121e and is perpendicular to the light receiving surface.
  • the incident light from the upper right direction forming the incident angle ⁇ 1 with respect to the alternate long and short dash line in the figure is not shielded by the light shielding film 121b-11 of the photodiode 121e-11. It is easy to receive light due to the half range.
  • the incident light from the upper left direction forming the incident angle ⁇ 2 with respect to the alternate long and short dash line in the figure is unlikely to be received by the range of the left half that is not shielded by the light-shielding film 121b-11 of the photodiode 121e-11. .. Therefore, the pixel in the upper left part of FIG. 6 has an incident angle directivity having a high light receiving sensitivity with respect to the incident light from the upper right in the figure and a low light receiving sensitivity with respect to the incident light from the upper left side. ..
  • the incident light from the upper right direction forming the incident angle ⁇ 1 is received by the left half range shaded by the light shielding film 121b-12 of the photodiode 121e-12. Hateful.
  • the incident light from the upper left direction forming the incident angle ⁇ 2 is easily received by the right half range that is not shielded by the light-shielding film 121b-12 of the photodiode 121e-12. Therefore, the pixel in the upper right part of FIG. 6 has an incident angle directivity having a low light receiving sensitivity with respect to the incident light from the upper right in the figure and a high receiving sensitivity with respect to the incident light from the upper left side. ..
  • the lower left pixel of FIG. 6 is provided with photodiodes 121f-11 and 121f-12 on the left and right sides of the drawing, and a light-shielding film 121b is provided by reading out the detection signal of either one. It is configured to have incident angle directivity without any problem.
  • the incident angle directivity similar to that of the upper left pixel of FIG. 6 is obtained. Obtainable. That is, the incident light from the upper right direction forming the incident angle ⁇ 1 with respect to the alternate long and short dash line in the figure is incident on the photodiode 121f-11, and the signal corresponding to the amount of received light is read from the photodiode 121f-11. It contributes to the detection signal output from the pixel.
  • the incident light from the upper left direction forming the incident angle ⁇ 2 with respect to the alternate long and short dash line in the figure is incident on the photodiode 121f-12, but is not read from the photodiode 121f-12, and therefore is not read from this pixel. Does not contribute to the output detection signal.
  • the incident light from the upper left direction forming the incident angle ⁇ 2 is incident on the photodiode 121f-14, and the signal corresponding to the amount of received light is read from the photodiode 121f-14, so that the light is output from this pixel. Contributes to the detection signal.
  • the light-shielding range and the non-light-shielding range are separated at the horizontal center position of the pixel (light receiving surface of the photodiode 121e), but they are separated at other positions. You may.
  • the two photodiodes 121f are separated at the horizontal center position of the pixel is shown, but the two photodiodes 121f may be separated at other positions. In this way, different incident angle directivity can be generated by changing the light-shielding range or the position where the photodiode 121f is divided.
  • the upper graph of FIG. 7 shows the incident angle directivity of the pixels in the middle and lower rows of FIG.
  • the horizontal axis represents the incident angle ⁇
  • the vertical axis represents the detection signal level.
  • the incident angle ⁇ is 0 degrees when the direction of the incident light coincides with the one-dot chain line on the left side of the middle row in FIG. 7, and the incident angle ⁇ 21 side on the left side of the middle row in FIG. 7 is the positive direction.
  • the incident angle ⁇ 22 on the right side is the negative direction. Therefore, the incident light incident on the on-chip lens 121c from the upper right side has a larger incident angle than the incident light incident on the upper left side. That is, the incident angle ⁇ increases as the traveling direction of the incident light tilts to the left (increases in the positive direction), and decreases as it tilts to the right (increases in the negative direction).
  • the pixels in the middle left part of FIG. 7 are the on-chip lens 121c-11 that collects the incident light and the color filter 121d-11 that transmits the light of a predetermined wavelength to the pixels in the upper left part of FIG. Is added. That is, in this pixel, the on-chip lens 121c-11, the color filter 121d-11, the light-shielding film 121b-11, and the photodiode 121e-11 are laminated in order from the incident direction of the light in the upper part of the drawing.
  • the pixels in the middle right part of FIG. 7, the pixels in the lower left part of FIG. 7, and the pixels in the lower right part of FIG. 7 are the pixels in the upper right part of FIG.
  • On-chip lens 121c-11 and color filter 121d-11, or on-chip lens 121c-12 and color filter 121d-12 are added to the pixels in the lower right part of FIG.
  • the detection signal level (light receiving sensitivity) of the photodiode 121e-11 changes according to the incident angle ⁇ of the incident light, as shown by the waveform of the solid line in the upper row of FIG. That is, the larger the incident angle ⁇ , which is the angle formed by the incident light with respect to the one-point chain line in the figure (the larger the incident angle ⁇ is in the positive direction (the more it tilts to the right in the figure)), the light-shielding film 121b- By condensing the light in the range where 11 is not provided, the detection signal level of the photodiode 121e-11 is increased.
  • the smaller the incident angle ⁇ of the incident light the larger the incident angle ⁇ is in the negative direction (the more it tilts to the left in the figure)
  • the more the light is collected in the range where the light-shielding film 121b-11 is provided.
  • the detection signal level of the photodiode 121e-11 becomes smaller.
  • the detection signal level (light receiving sensitivity) of the photodiode 121e-12 changes according to the incident angle ⁇ of the incident light, as shown by the dotted line waveform in the upper row of FIG. To do. That is, the larger the incident angle ⁇ of the incident light (the larger the incident angle ⁇ is in the positive direction), the light is focused in the range where the light-shielding film 121b-12 is provided, so that the photodiode 121e-12 The detection signal level of is reduced.
  • the smaller the incident angle ⁇ of the incident light the larger the incident angle ⁇ is in the negative direction
  • the light is incident in the range where the light-shielding film 121b-12 is not provided, so that the photodiode 121e-12
  • the detection signal level increases.
  • the waveforms of the solid line and the dotted line shown in the upper part of FIG. 7 can be changed according to the range of the light-shielding film 121b. Therefore, depending on the range of the light-shielding film 121b, it is possible to give different incident angle directivity to each pixel.
  • the incident angle directivity is a characteristic of the light receiving sensitivity of each pixel according to the incident angle ⁇ , but this is a characteristic of the light shielding value according to the incident angle ⁇ in the middle pixel of FIG. It can be said that. That is, the light-shielding film 121b shields the incident light in a specific direction at a high level, but cannot sufficiently block the incident light from other directions. This change in the light-shielding level causes different detection signal levels according to the incident angle ⁇ as shown in the upper part of FIG.
  • each pixel has different incident angle directivity means that, in other words, each pixel has different light-shielding directions. It will have a direction.
  • the signal of only the photodiode 121f-11 in the left part in the figure is used in the same manner as the pixel in the lower left part of FIG. It is possible to obtain the same incident angle directivity as the pixel of the part. That is, when the incident angle ⁇ of the incident light increases (when the incident angle ⁇ increases in the positive direction), the light is focused in the range of the photodiode 121f-11 from which the signal is read, so that the detected signal level becomes large. Become.
  • the smaller the incident angle ⁇ of the incident light the larger the incident angle ⁇ is in the negative direction
  • the more the light is focused in the range of the photodiode 121f-12 where the signal is not read, and the detected signal level. Becomes smaller.
  • the signal of only the photodiode 121f-14 in the right part of the drawing is used in the same manner as the lower right pixel of FIG. It is possible to obtain the same incident angle directivity as the pixel on the right side of the middle stage. That is, when the incident angle ⁇ of the incident light increases (when the incident angle ⁇ increases in the positive direction), the light is focused in the range of the photodiode 121f-13 which does not contribute to the output (detection signal), so that the pixel The level of the detection signal of the unit becomes smaller.
  • the smaller the incident angle ⁇ of the incident light the larger the incident angle ⁇ is in the negative direction
  • the light is focused in the range of the photodiode 121f-14 that contributes to the output (detection signal).
  • the level of the detection signal for each pixel increases.
  • each photodiode is provided with directivity with respect to the incident angle of the incident light.
  • an on-chip lens 121c is indispensable for each pixel.
  • the pixel 121a is shaded by the light-shielding film 121b by the width d1 from each end of each of the four sides, and as shown in the lower part of FIG. 8, each of the four sides.
  • FIG. 9 shows an example of the incident angle of the incident light from the subject surface 102 on the central position C1 of the image sensor 121.
  • FIG. 9 shows an example of the incident angle of the incident light in the horizontal direction, the same applies to the vertical direction. Further, on the right side of FIG. 9, pixels 121a and 121a'in FIG. 8 are shown.
  • the pixel 121a of FIG. 8 when the pixel 121a of FIG. 8 is arranged at the center position C1 of the image sensor 121, the range of the incident angle of the incident light from the subject surface 102 to the pixel 121a is an angle as shown in the left part of FIG. It becomes A1. Therefore, the pixel 121a can receive the incident light having a width W1 in the horizontal direction of the subject surface 102.
  • the pixel 121a'in FIG. 8 when the pixel 121a'in FIG. 8 is arranged at the center position C1 of the image sensor 121, the pixel 121a'has a wider light-shielding range than the pixel 121a, so that the subject surface 102 moves to the pixel 121a'.
  • the range of the incident angle of the incident light is the angle A2 ( ⁇ A1) as shown in the left part of FIG. Therefore, the pixel 121a'can receive the incident light having a width W2 ( ⁇ W1) in the horizontal direction of the subject surface 102.
  • the pixel 121a having a narrow shading range is a wide angle of view pixel suitable for capturing a wide range on the subject surface 102, whereas the pixel 121a'with a wide shading range is narrow on the subject surface 102. It is a narrow angle of view pixel suitable for capturing a range.
  • the wide angle of view pixel and the narrow angle of view pixel referred to here are expressions for comparing both the pixels 121a and 121a'in FIG. 8, and are not limited to this when comparing pixels with other angles of view.
  • the pixel 121a is used to restore the image I1 of FIG.
  • the pixel 121a' is used to restore the image I2 of FIG.
  • the angle of view SQ2 is narrower than the angle of view SQ1
  • the image of the angle of view SQ2 is restored rather than the image of the angle of view SQ1. It is possible to obtain a higher quality restored image. That is, when considering obtaining a restored image using the same number of pixels, it is possible to obtain a restored image with higher image quality by restoring an image having a narrower angle of view.
  • a coefficient set group corresponding to the angle of view of the restored image is further prepared, and the restored image is obtained by using the coefficient set group corresponding to the subject distance and the angle of view. You may try to restore it.
  • the resolution for the subject distance and the angle of view depends on the number of coefficient set groups prepared.
  • the pixels having the incident angle directivity suitable for imaging the subject surface corresponding to the specified subject distance and the angle of view without using all the pixels.
  • the detected signal may be used to generate a restored image.
  • FIG. 10 schematically shows a configuration example of a pixel region (pixel array portion) of the image sensor 121.
  • the pixel region 201 is a region in which pixels 121a (not shown) having different incident angle directivity are arranged two-dimensionally in the row direction (horizontal direction) and the column direction (vertical direction).
  • the incident angle directivity does not necessarily have to be different for each pixel 121a, and pixels 121a having the same incident angle directivity may be included. Further, it is not always necessary that all the pixels 121a have a configuration in which the incident angle directivity is provided.
  • the pixel areas 201 are arranged in different rows, and are divided into three equal parts in the column direction by the detection areas 202A to 202C extending in the row direction.
  • the detection area 202A to the detection area 202C are used for restoring the restored image and detecting flicker, respectively, as will be described later.
  • the detection area 202A to the detection area 202C are regions in which the light shielding patterns are the same and the incident angle directivity is the same. That is, in the detection area 202A to the detection area 202C, the arrangement of the pixels 121a (the number and position of the pixels 121a) is the same, and the pixels 121a having the same shading pattern are arranged at the same positions (coordinates) in the area. .. Therefore, in the detection area 202A to the detection area 202C, images of substantially the same subject are captured at substantially the same subject distance and angle of view.
  • the image sensor 121 is a rolling shutter system, and the pixel region 201 is sequentially exposed line by line. That is, the exposure is started in order from the first row to the last row of the pixel area 201, the reading of the detection signal of each pixel 121a is started in order from the first row to the last row of the pixel area 201, and the exposure period is shifted line by row. To do.
  • the exposure of the pixel area 201 does not necessarily have to be performed in units of one line, and may be performed in units of a plurality of lines. That is, the exposure and reading may be started in units of a plurality of rows of the pixel area 201, and the exposure period may be shifted in units of a plurality of rows.
  • the image sensor 121 generates a plurality of detection images composed of detection signals output from the pixels 121a in each detection area 202 for each detection area 202, and outputs the plurality of detection images to the restoration unit 122 or the bus B1.
  • the detection area 202 when it is not necessary to individually distinguish the detection area 202A to the detection area 202C, it is simply referred to as the detection area 202.
  • FIG. 11 is a block diagram showing a configuration example of a part of the functions realized by the control unit 123.
  • the control unit 123 realizes the functions of the flicker detection unit 221 and the moving object detection unit 222.
  • the flicker detection unit 221 detects flicker based on at least one of a plurality of detected images corresponding to each detection area 202 and a plurality of restored images restored from each detected image. Further, the flicker detection unit 221 detects a flicker region in which flicker is presumed to occur based on the brightness of the restored image. The flicker detection unit 221 supplies information indicating the flicker and the detection result of the flicker to the restoration unit 122.
  • the moving object detection unit 222 detects a plurality of feature points of the restored image corresponding to each detection area 202, and detects the moving object based on the detected feature points.
  • the moving object detection unit 222 supplies information indicating the detection result of the moving object to the recording / reproducing unit 129, records it on the recording medium 130, or outputs it to another device via the communication unit 131, if necessary. To do.
  • step S1 the image sensor 121 images the subject.
  • each pixel 121a of the image pickup device 121 having different incident angle directivity outputs a detection signal indicating the detection signal level according to the amount of incident light from the subject.
  • the image sensor 121 performs A / D conversion of the detection signal of each pixel 121a, generates a plurality of detection images composed of the detection signals of each pixel 121a for each detection area 202, and supplies the detection image to the flicker detection unit 221.
  • the exposure period of each detection area 202 is different.
  • a in FIG. 13 shows the pixel region 201 of the image sensor 121
  • B in FIG. 13 shows the exposure period of each row in the pixel region 201.
  • the straight line L1 in FIG. 13 indicates the exposure start timing of each row of the pixel region 201
  • the straight line L2 indicates the read start timing of each row of the pixel region 201. Therefore, the exposure period of each row of the pixel region 201 is a period between the straight line L1 and the straight line L2.
  • a blinking subject 251 for example, a lamp of a traffic light
  • the subject 251 is turned off during the exposure period of the detection area 202A, transitions from the off state to the lit state during the exposure period of the detection area 202B, and the exposure period of the detection area 202C. It is assumed that it is lit inside.
  • step S2 the flicker detection unit 221 compares the brightness of the detected images in each detection area 202. For example, the flicker detection unit 221 calculates the average value of the brightness of the detected images in each detection area 202, and calculates the difference in the average value of the brightness between the detected images.
  • step S3 the flicker detection unit 221 determines whether or not flicker has occurred. For example, the flicker detection unit 221 causes the flicker when the difference in the average brightness between the detected images of all combinations is less than a predetermined threshold value, that is, when the difference in brightness between the detected images of all combinations is small. It is determined that the occurrence has not occurred, and the process proceeds to step S4.
  • a predetermined threshold value that is, when the difference in brightness between the detected images of all combinations is small. It is determined that the occurrence has not occurred, and the process proceeds to step S4.
  • step S4 the restoration unit 122 restores only the detected image in the predetermined detection area 202.
  • the flicker detection unit 221 supplies the detection image of a predetermined detection area 202 (for example, the detection area 202A) out of the detection images of the detection area 202A to the detection area 202C to the restoration unit 122.
  • the restoration unit 122 sets the distance to the subject surface to be restored, that is, the subject distance. Any method can be adopted as the method for setting the subject distance. For example, the restoration unit 122 sets the subject distance input by the user via the input unit 124 or the subject distance detected by the detection unit 125 to the distance to the subject surface 102 to be restored.
  • the restoration unit 122 reads out the coefficient set group associated with the set subject distance from the storage unit 128.
  • the restoration unit 122 refers to the equations (1) to (3) by using the detection signal level of each pixel of the detection image supplied from the flicker detection unit 221 and the acquired coefficient set group. Create the simultaneous equations described above. Next, the restoration unit 122 calculates the light intensity of each point light source on the subject surface corresponding to the set subject distance by solving the created simultaneous equations. Then, the restoration unit 122 generates a restoration image in which the image of the subject is formed by arranging the pixels having the pixel values corresponding to the calculated light intensity according to the arrangement of the light sources at each point on the subject surface.
  • the restoration unit 122 performs demosaic processing, ⁇ correction, white balance adjustment, conversion processing to a predetermined compression format, and the like on the restored image, if necessary. Further, the restoration unit 122 supplies the restored image to the display unit 127 and displays it, supplies it to the recording / playback unit 129 and records it on the recording medium 130, and uses the communication unit 131 to record the restored image. Output to the device of.
  • step S3 for example, in step S3, when the difference in the average value of the brightness between at least one set of detected images is equal to or more than a predetermined threshold value, that is, the difference in brightness between at least one set of detected images. If is large, it is determined that flicker has occurred, and the process proceeds to step S5.
  • the blinking state of the subject 251 is different during the exposure period of the detection area 202A to the detection area 202C. Therefore, it is determined that the difference in brightness becomes large between the detected images in the detection area 202A to the detection area 202C and flicker is generated.
  • step S5 the restoration unit 122 restores only the detected image in the detection region having the highest brightness.
  • the flicker detection unit 221 selects the detection image having the highest average brightness among the detection images in the detection area 202A to the detection area 202C and supplies the detection image to the restoration unit 122.
  • the detection image of the detection area 202C captured (exposed) when the subject 251 is lit is selected.
  • the restoration unit 122 restores the detected image selected by the flicker detection unit 221 by the same process as in step S4 described above.
  • the occurrence of flicker can be suppressed.
  • the detected image of the detection area 202C captured when the subject 251 is lit is restored. This makes it possible to reliably detect the blinking subject 251.
  • the lamp of a traffic light is composed of an LED (Light Emitting Diode)
  • the lamp actually blinks even while the lamp is lit. Therefore, in a conventional imaging device, flicker occurs and the lit lamp is detected. May fail.
  • LED Light Emitting Diode
  • the restored image can be restored from the detected image captured at the timing when the lamp of the traffic light is lit, and the failure of detection of the lit lamp can be suppressed.
  • safe automatic driving can be realized by using the restored image for controlling automatic driving.
  • the image pickup apparatus 101 performs flicker detection in the state of the detected image before restoration, flicker can be detected quickly.
  • the amount of calculation can be reduced, and for example, the frame rate (sampling cycle) can be increased.
  • step S51 the subject is imaged in the same manner as in the process of step S1 of FIG. Then, the image sensor 121 supplies the detected image of each detection region 202 to the restoration unit 122.
  • step S52 the restoration unit 122 restores the detected image of each detection area 202 by the same processing as in step S4 of FIG.
  • the restoration unit 122 supplies the restored image of each detection area 202 to the flicker detection unit 221.
  • step S53 the flicker detection unit 221 compares the brightness of the restored image of each detection area 202. For example, the flicker detection unit 221 calculates the average value of the brightness of the restored images in each detection area 202, and calculates the difference in the average value of the brightness between the restored images.
  • step S54 the flicker detection unit 221 determines whether or not flicker has occurred. For example, the flicker detection unit 221 causes the flicker when the difference in the average brightness between the restored images of all combinations is less than a predetermined threshold value, that is, when the difference in brightness between the restored images of all combinations is small. It is determined that the occurrence has not occurred, and the process proceeds to step S55.
  • step S55 the restoration unit 122 adds the restoration image. Specifically, the flicker detection unit 221 notifies the restoration unit 122 that no flicker has occurred.
  • the restoration unit 122 adds the restoration images by adding the pixel values of the pixels at the same positions of the restoration images in each detection area 202.
  • the restoration unit 122 performs demosaic processing, ⁇ correction, white balance adjustment, conversion processing to a predetermined compression format, etc. on the added restored image as necessary. Further, the restoration unit 122 supplies the restored image to the display unit 127 and displays it, supplies it to the recording / playback unit 129 and records it on the recording medium 130, and uses the communication unit 131 to record the restored image. Output to the device of.
  • step S54 for example, in the flicker detection unit 221, when the difference in the average value of the brightness between at least one set of restored images is equal to or more than a predetermined threshold value, that is, the difference in brightness between at least one set of restored images. If is large, it is determined that flicker has occurred, and the process proceeds to step S56.
  • the flicker detection unit 221 detects the flicker region based on the brightness of the restored image of each detection region 202. For example, the flicker detection unit 221 compares the brightness of the restored image in each detection area 202 for each pixel, and extracts pixels whose difference in brightness is equal to or greater than a predetermined threshold value. Next, the flicker detection unit 221 performs processing such as removing pixels whose brightness fluctuates due to noise from the extracted pixels, and then detects a region composed of the extracted pixels as a flicker region. As a result, a region in which the brightness changes significantly between the restored images in each detection region 202 is detected as a flicker region.
  • FIG. 15 shows an example of the restored image 301A to the restored image 301C restored from the detected images of the detection area 202A to the detection area 202C captured in the state of A in FIG.
  • the subject 251 of FIG. 13 is shown in the regions 302A to 302C in the restored images 301A to 301C.
  • the region 302A to 302C in which the change in brightness is large is detected as the flicker region.
  • step S57 the flicker detection unit 221 detects the flicker region having the highest brightness. For example, the flicker detection unit 221 calculates the average value of the brightness of the flicker region for each restored image of each detection region 202. Then, the flicker detection unit 221 detects the flicker region having the highest average brightness among the flicker regions of each restored image.
  • the flicker region 302C of the restored image 301C is detected as the flicker region having the highest brightness.
  • the brightness is compared for each flicker region, and the flicker region having the highest brightness is detected. Therefore, the restored image in which the brightest flicker region is detected may differ for each flicker region (that is, for each blinking subject).
  • step S58 the flicker detection unit 221 adds the restored images and synthesizes the flicker region. Specifically, the flicker detection unit 221 adds the pixel values of the pixels at the same position in the region excluding the flicker region of each restored image. Further, the flicker detection unit 221 synthesizes an image of the flicker region having the highest brightness detected in the process of step S57 with the restored image obtained by adding the pixel values.
  • the pixel values of the pixels at the same positions in the region excluding the region 302A of the restored image 301A, the region excluding the region 302B of the restored image 301B, and the region excluding the region 302C of the restored image 301C are added. Will be done. Further, the image in the flicker region 302C having the highest brightness among the flicker region 302A to the flicker region 302C is combined with the restored image after addition. As a result, the restored image 303 is generated.
  • the restoration unit 122 performs demosaic processing, ⁇ correction, white balance adjustment, conversion processing to a predetermined compression format, and the like on the obtained restored image, if necessary. Further, the restoration unit 122 supplies the restored image to the display unit 127 and displays it, supplies it to the recording / playback unit 129 and records it on the recording medium 130, and uses the communication unit 131 to record the restored image. Output to the device of.
  • the restored image of each detection area 202 is an image obtained by capturing the same subject at the same subject distance and angle of view at almost the same time. Therefore, when flicker does not occur, the image quality is improved by adding the restored images of each detection area 202. For example, noise can be removed and high resolution can be achieved.
  • the image quality is improved by adding pixels in the area where flicker does not occur. Further, in the region where flicker is generated, the image of the region having the highest brightness is combined from each restored image. As a result, the image quality of the restored image can be improved and the occurrence of flicker can be suppressed.
  • a moving object can be detected by detecting a feature point in the restored image 301A to the restored image 301C.
  • the moving object detection unit 222 detects the vanishing point 351A and the feature points 352A to 354A in the restored image 301A, and the vanishing point 351B and the vanishing point 351B in the restored image 301B.
  • the feature points 352B to 354B are detected, and the vanishing point 351C and the feature points 352C to the feature points 354C are detected in the restored image 301C. It is assumed that the feature points 352A to 352C correspond to each other, the feature points 353A to 353C correspond to each other, and the feature points 354A to 354C correspond to each other.
  • the moving object detection unit 222 is based on the feature points 352A to 352C in the restored image 303 after addition and synthesis of the restored images 301A to 301C. Then, an optical flow is generated and a moving object is detected. Similarly, in the restored image 303, the moving object detection unit 222 generates an optical flow based on the feature points 353A to 353C, detects the moving object, and performs the optical flow based on the feature points 354A to 354C. Is generated and a moving object is detected.
  • FIG. 17 shows an example of an exposure period when the pixel area is not divided
  • FIG. 18 shows an example of an exposure period when the pixel area is divided into five detection areas 401A to 401E.
  • the detection area 401 when it is not necessary to individually distinguish the detection area 401A to the detection area 401E, it is simply referred to as the detection area 401.
  • the exposure period of the entire pixel region is the same. Specifically, at time t1, the exposure of the first row of the pixel region is started, and at time t3, the exposure of the last row of the pixel region is finished. Further, at time t4, reading of the detection signal of the first line of the pixel area is started, and at time t6, reading of the detection signal of the last line of the pixel area is completed. Therefore, the exposure time s1 is time t4-time t1, and the shutter speed m1 is time t3-time t1.
  • a blinking subject such as a lamp of a traffic light composed of LEDs
  • a blinking body such as a lamp of a traffic light composed of LEDs
  • the blinking body turns off at time t2 and turns on at time t5.
  • the period indicated by the diagonal line is the period that overlaps with the extinguishing period d1 of the blinking body.
  • the length of the extinguishing period d1 is time t5-time t2.
  • the intensity of the incident light from the blinking body varies widely among the lines of the pixel area. For example, in the row near the middle of the pixel region, almost no light from the blinking body is incident over almost the entire exposure period. On the other hand, in the row near the edge of the pixel region, the light from the blinking body is incident in about half of the exposure period.
  • the curtain speed per individual detection area 401 becomes m1 / 5, which is faster. Therefore, the variation in the intensity of the incident light from the blinking body in each detection area 401 is smaller than that in the case where the pixel area is not divided.
  • ⁇ Modification example of detection area> The number of divisions of the pixel area described above, that is, the number of detection areas is an example thereof, and can be arbitrarily changed.
  • each detection region that is, the incident angle directivity of each detection region does not necessarily have to completely match.
  • the arrangement of pixels between the detection regions may be partially different, or some light-shielding patterns of the pixels 121a at the same position may be different.
  • each detection area inner pixel
  • the detection area and the restoration area used for restoration of the restored image are shown. May be different.
  • the pixel area 501 in FIG. 19 is divided into a detection area 502A to a detection area 502C, a restoration area 503A, and a restoration area 503B in the column direction (vertical direction).
  • the detection area 502A to the detection area 502C, the restoration area 503A, and the restoration area 503B are arranged in different rows of the pixel area 501 and extend in the row direction (horizontal direction).
  • the detection area and the restoration area are arranged alternately.
  • the detection area 502A to the detection area 502C are used only for detecting flicker and not for restoring the restored image.
  • the restored area 503A and the restored area 503B are used only for restoring the restored image, and are not used for detecting flicker. Further, a detection image is individually generated from the restoration area 503A and the restoration area 503B, and the restoration image is individually restored from each detection image.
  • the number of pixels in the detection area 502A to the detection area 502C can be reduced, and for example, the flicker detection time can be shortened in any of the imaging processes of FIGS. 12 and 14 described above.
  • the number of detection areas and the number of restoration areas can be changed.
  • the number of lines in the detection area can be arbitrarily set, and may be, for example, one line.
  • each detection area may be arranged on a different line as a whole, and a part of the detection areas may overlap. However, it is desirable that the detection areas do not overlap, and even if they overlap, it is desirable that the number of overlapping lines is small.
  • the process of restoring the restored image corresponding to a predetermined subject distance immediately after capturing the detected image has been described.
  • the detected image is recorded on the recording medium 130 without immediately performing the restoration process.
  • the restored image may be restored by using the detected image at a desired timing after recording in the image or outputting to another device via the communication unit 131.
  • the restored image may be restored by the imaging device 101 or another device. For example, by solving a system of equations created using a set of coefficients according to an arbitrary subject distance and angle of view to obtain a restored image, it is possible to obtain a restored image for a subject surface having an arbitrary subject distance and angle of view. , Refocus, etc. can be realized.
  • the autofocus function can be realized by determining the optimum subject distance by a mountain climbing method similar to the contrast AF (AutoFocus) method based on the restored image.
  • a part or all of the signal processing control unit 111 of the image pickup apparatus 101 may be performed by an external apparatus.
  • flicker may be detected and the restored image may be restored by an external device.
  • FIG. 4 shows an example in which a light-shielding film 121b is used as a modulation element or a combination of photodiodes contributing to output is changed to give different incident angle directivity to each pixel.
  • a light-shielding film 121b is used as a modulation element or a combination of photodiodes contributing to output is changed to give different incident angle directivity to each pixel.
  • an optical filter 902 that covers the light receiving surface of the image pickup device 901 as a modulation element so that each pixel has an incident angle directivity.
  • the optical filter 902 is arranged so as to cover the entire surface of the light receiving surface 901A at a predetermined distance from the light receiving surface 901A of the image sensor 901.
  • the light from the subject surface 102 is modulated by the optical filter 902 and then enters the light receiving surface 901A of the image sensor 901.
  • optical filter 902BW having a black and white grid pattern shown in FIG. 21.
  • a white pattern portion that transmits light and a black pattern portion that blocks light are randomly arranged.
  • the size of each pattern is set independently of the size of the pixels of the image sensor 901.
  • FIG. 22 shows the light receiving sensitivity characteristics of the image sensor 901 with respect to the light from the point light source PA and the point light source PB on the subject surface 102 when the optical filter 902BW is used.
  • the light from the point light source PA and the point light source PB is modulated by the optical filter 902BW, and then enters the light receiving surface 901A of the image sensor 901.
  • the light receiving sensitivity characteristic of the image sensor 901 with respect to the light from the point light source PA is as in the waveform Sa. That is, since shadows are generated by the black pattern portion of the optical filter 902BW, a shading pattern is generated in the image on the light receiving surface 901A with respect to the light from the point light source PA.
  • the light receiving sensitivity characteristic of the image sensor 901 with respect to the light from the point light source PB is as in the waveform Sb. That is, since shadows are generated by the black pattern portion of the optical filter 902BW, a shading pattern is generated in the image on the light receiving surface 901A with respect to the light from the point light source PB.
  • each pixel of the image sensor 901 has incident angle directivity with respect to each point light source of the subject surface 102.
  • the optical filter 902HW shown in FIG. 23 may be used instead of the black pattern portion of the optical filter 902BW.
  • the optical filter 902HW includes a linear polarization element 911A, a linear polarization element 911B, and a 1/2 wave plate 912 having the same polarization direction, and the 1/2 wave plate 912 is located between the linear polarization element 911A and the linear polarization element 911B. It is sandwiched.
  • the 1/2 wavelength plate 912 is provided with a polarizing portion indicated by diagonal lines instead of the black pattern portion of the optical filter 902BW, and the white pattern portion and the polarizing portion are randomly arranged.
  • the linearly polarized light element 911A transmits only the light in a predetermined polarization direction among the almost unpolarized light emitted from the point light source PA.
  • the linear polarization element 911A transmits only light whose polarization direction is parallel to the drawing.
  • the polarized light transmitted through the linearly polarizing element 911A the polarized light transmitted through the polarizing portion of the 1/2 wave plate 912 changes its polarization direction to a direction perpendicular to the drawing due to the rotation of the polarizing surface.
  • the linearly polarized light element 911B transmits the polarized light transmitted through the white pattern portion and hardly transmits the polarized light transmitted through the polarized light portion. Therefore, the amount of polarized light transmitted through the polarized light portion is smaller than that of the polarized light transmitted through the white pattern portion. As a result, a pattern of shading similar to that when the optical filter BW is used is generated on the light receiving surface 901A of the image sensor 901.
  • the optical interference mask can be used as the optical filter 902LF.
  • the light emitted from the point light sources PA and PB on the subject surface 102 is applied to the light receiving surface 901A of the image sensor 901 via the optical filter 902LF.
  • the light incident surface of the optical filter 902LF is provided with irregularities of about wavelength.
  • the optical filter 902LF maximizes the transmission of light of a specific wavelength irradiated from the vertical direction.
  • the optical path length changes as the change in the incident angle (inclination with respect to the vertical direction) of the light of a specific wavelength emitted from the point light sources PA and PB of the subject surface 102 with respect to the optical filter 902LF becomes large.
  • the optical path length is an odd multiple of a half wavelength
  • the light weakens each other
  • the optical path length is an even multiple of the half wavelength
  • the light strengthens each other. That is, as shown in FIG. 24B, the intensity of the transmitted light having a specific wavelength emitted from the point light sources PA and PB and transmitted through the optical filter 902LF is modulated according to the angle of incidence on the optical filter 902LF and is modulated by the image pickup element 901. It is incident on the light receiving surface 901A of. Therefore, the detection signal output from each pixel of the image sensor 901 is a signal obtained by synthesizing the modulated light intensity of each point light source for each pixel.
  • the present technology can also be applied to an image pickup device or an image sensor that images light having a wavelength other than visible light such as infrared light.
  • the restored image is not an image in which the user can visually recognize the subject, but an image in which the user cannot visually recognize the subject.
  • the image quality of the restored image is improved with respect to an image processing device or the like capable of recognizing the subject. Since it is difficult for a normal imaging lens to transmit far-infrared light, this technique is effective, for example, when imaging far-infrared light. Therefore, the restored image may be an image of far-infrared light, and is not limited to far-infrared light, and may be an image of other visible light or non-visible light.
  • the technology according to the present disclosure can be applied to various products.
  • the technology according to the present disclosure includes any type of movement such as automobiles, electric vehicles, hybrid electric vehicles, motorcycles, bicycles, personal mobility, airplanes, drones, ships, robots, construction machines, agricultural machines (tractors), and the like. It may be realized as a device mounted on the body.
  • FIG. 25 is a block diagram showing a schematic configuration example of a vehicle control system 7000, which is an example of a mobile control system to which the technique according to the present disclosure can be applied.
  • the vehicle control system 7000 includes a plurality of electronic control units connected via the communication network 7010.
  • the vehicle control system 7000 includes a drive system control unit 7100, a body system control unit 7200, a battery control unit 7300, an external information detection unit 7400, an in-vehicle information detection unit 7500, and an integrated control unit 7600. ..
  • the communication network 7010 connecting these plurality of control units conforms to any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network) or FlexRay (registered trademark). It may be an in-vehicle communication network.
  • CAN Controller Area Network
  • LIN Local Interconnect Network
  • LAN Local Area Network
  • FlexRay registered trademark
  • Each control unit includes a microcomputer that performs arithmetic processing according to various programs, a storage unit that stores a program executed by the microcomputer or parameters used for various arithmetics, and a drive circuit that drives various control target devices. To be equipped.
  • Each control unit is provided with a network I / F for communicating with other control units via the communication network 7010, and is connected to devices or sensors inside or outside the vehicle by wired communication or wireless communication.
  • a communication I / F for performing communication is provided. In FIG.
  • the microcomputer 7610 As the functional configuration of the integrated control unit 7600, the microcomputer 7610, general-purpose communication I / F 7620, dedicated communication I / F 7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F 7660, audio image output unit 7670, The vehicle-mounted network I / F 7680 and the storage unit 7690 are shown.
  • Other control units also include a microcomputer, a communication I / F, a storage unit, and the like.
  • the drive system control unit 7100 controls the operation of the device related to the drive system of the vehicle according to various programs.
  • the drive system control unit 7100 provides a driving force generator for generating the driving force of the vehicle such as an internal combustion engine or a driving motor, a driving force transmission mechanism for transmitting the driving force to the wheels, and a steering angle of the vehicle. It functions as a control device such as a steering mechanism for adjusting and a braking device for generating braking force of the vehicle.
  • the drive system control unit 7100 may have a function as a control device such as ABS (Antilock Brake System) or ESC (Electronic Stability Control).
  • the vehicle condition detection unit 7110 is connected to the drive system control unit 7100.
  • the vehicle state detection unit 7110 may include, for example, a gyro sensor that detects the angular velocity of the axial rotation of the vehicle body, an acceleration sensor that detects the acceleration of the vehicle, an accelerator pedal operation amount, a brake pedal operation amount, or steering wheel steering. Includes at least one of the sensors for detecting angular velocity, engine speed, wheel speed, and the like.
  • the drive system control unit 7100 performs arithmetic processing using a signal input from the vehicle state detection unit 7110 to control an internal combustion engine, a drive motor, an electric power steering device, a brake device, and the like.
  • the body system control unit 7200 controls the operation of various devices mounted on the vehicle body according to various programs.
  • the body system control unit 7200 functions as a keyless entry system, a smart key system, a power window device, or a control device for various lamps such as headlamps, back lamps, brake lamps, blinkers or fog lamps.
  • the body system control unit 7200 may be input with radio waves transmitted from a portable device that substitutes for the key or signals of various switches.
  • the body system control unit 7200 receives inputs of these radio waves or signals and controls a vehicle door lock device, a power window device, a lamp, and the like.
  • the battery control unit 7300 controls the secondary battery 7310, which is the power supply source of the drive motor, according to various programs. For example, information such as the battery temperature, the battery output voltage, or the remaining capacity of the battery is input to the battery control unit 7300 from the battery device including the secondary battery 7310. The battery control unit 7300 performs arithmetic processing using these signals, and controls the temperature control of the secondary battery 7310 or the cooling device provided in the battery device.
  • the vehicle outside information detection unit 7400 detects information outside the vehicle equipped with the vehicle control system 7000.
  • the image pickup unit 7410 and the vehicle exterior information detection unit 7420 is connected to the vehicle exterior information detection unit 7400.
  • the imaging unit 7410 includes at least one of a ToF (Time Of Flight) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the vehicle exterior information detection unit 7420 is used, for example, to detect the current weather or an environment sensor for detecting the weather, or to detect other vehicles, obstacles, pedestrians, etc. around the vehicle equipped with the vehicle control system 7000. At least one of the surrounding information detection sensors is included.
  • the environmental sensor may be, for example, at least one of a raindrop sensor that detects rainy weather, a fog sensor that detects fog, a sunshine sensor that detects the degree of sunshine, and a snow sensor that detects snowfall.
  • the ambient information detection sensor may be at least one of an ultrasonic sensor, a radar device, and a LIDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging) device.
  • the imaging unit 7410 and the vehicle exterior information detection unit 7420 may be provided as independent sensors or devices, or may be provided as a device in which a plurality of sensors or devices are integrated.
  • FIG. 26 shows an example of the installation positions of the image pickup unit 7410 and the vehicle exterior information detection unit 7420.
  • the imaging units 7910, 7912, 7914, 7916, 7918 are provided, for example, at at least one of the front nose, side mirrors, rear bumpers, back door, and upper part of the windshield of the vehicle interior of the vehicle 7900.
  • the image pickup unit 7910 provided on the front nose and the image pickup section 7918 provided on the upper part of the windshield in the vehicle interior mainly acquire an image in front of the vehicle 7900.
  • the imaging units 7912 and 7914 provided in the side mirrors mainly acquire images of the side of the vehicle 7900.
  • the imaging unit 7916 provided on the rear bumper or the back door mainly acquires an image of the rear of the vehicle 7900.
  • the image pickup unit 7918 provided on the upper part of the windshield in the vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, or the like.
  • FIG. 26 shows an example of the shooting range of each of the imaging units 7910, 7912, 7914, 7916.
  • the imaging range a indicates the imaging range of the imaging unit 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging units 7912 and 7914 provided on the side mirrors, respectively
  • the imaging range d indicates the imaging range d.
  • the imaging range of the imaging unit 7916 provided on the rear bumper or the back door is shown. For example, by superimposing the image data captured by the imaging units 7910, 7912, 7914, 7916, a bird's-eye view image of the vehicle 7900 as viewed from above can be obtained.
  • the vehicle exterior information detection units 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, side, corners of the vehicle 7900 and above the windshield in the vehicle interior may be, for example, an ultrasonic sensor or a radar device.
  • the vehicle exterior information detection units 7920, 7926, 7930 provided on the front nose, rear bumper, back door, and upper part of the windshield in the vehicle interior of the vehicle 7900 may be, for example, a lidar device.
  • These out-of-vehicle information detection units 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like.
  • the vehicle exterior information detection unit 7400 causes the image pickup unit 7410 to capture an image of the outside of the vehicle and receives the captured image data. Further, the vehicle exterior information detection unit 7400 receives the detection information from the connected vehicle exterior information detection unit 7420. When the vehicle exterior information detection unit 7420 is an ultrasonic sensor, a radar device, or a LIDAR device, the vehicle exterior information detection unit 7400 transmits ultrasonic waves, electromagnetic waves, or the like, and receives the received reflected wave information.
  • the vehicle outside information detection unit 7400 may perform object detection processing or distance detection processing such as a person, a vehicle, an obstacle, a sign, or a character on a road surface based on the received information.
  • the vehicle exterior information detection unit 7400 may perform an environment recognition process for recognizing rainfall, fog, road surface conditions, etc., based on the received information.
  • the vehicle exterior information detection unit 7400 may calculate the distance to an object outside the vehicle based on the received information.
  • the vehicle exterior information detection unit 7400 may perform image recognition processing or distance detection processing for recognizing a person, a vehicle, an obstacle, a sign, a character on the road surface, or the like based on the received image data.
  • the vehicle exterior information detection unit 7400 performs processing such as distortion correction or alignment on the received image data, and synthesizes the image data captured by different imaging units 7410 to generate a bird's-eye view image or a panoramic image. May be good.
  • the vehicle exterior information detection unit 7400 may perform the viewpoint conversion process using the image data captured by different imaging units 7410.
  • the in-vehicle information detection unit 7500 detects the in-vehicle information.
  • a driver state detection unit 7510 that detects the driver's state is connected to the in-vehicle information detection unit 7500.
  • the driver state detection unit 7510 may include a camera that captures the driver, a biosensor that detects the driver's biological information, a microphone that collects sound in the vehicle interior, and the like.
  • the biosensor is provided on, for example, the seat surface or the steering wheel, and detects the biometric information of the passenger sitting on the seat or the driver holding the steering wheel.
  • the in-vehicle information detection unit 7500 may calculate the degree of fatigue or concentration of the driver based on the detection information input from the driver state detection unit 7510, and may determine whether the driver is dozing or not. You may.
  • the in-vehicle information detection unit 7500 may perform processing such as noise canceling processing on the collected audio signal.
  • the integrated control unit 7600 controls the overall operation in the vehicle control system 7000 according to various programs.
  • An input unit 7800 is connected to the integrated control unit 7600.
  • the input unit 7800 is realized by a device such as a touch panel, a button, a microphone, a switch or a lever, which can be input-operated by a passenger. Data obtained by recognizing the voice input by the microphone may be input to the integrated control unit 7600.
  • the input unit 7800 may be, for example, a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile phone or a PDA (Personal Digital Assistant) that supports the operation of the vehicle control system 7000. You may.
  • the input unit 7800 may be, for example, a camera, in which case the passenger can input information by gesture. Alternatively, data obtained by detecting the movement of the wearable device worn by the passenger may be input. Further, the input unit 7800 may include, for example, an input control circuit that generates an input signal based on the information input by the passenger or the like using the input unit 7800 and outputs the input signal to the integrated control unit 7600. By operating the input unit 7800, the passenger or the like inputs various data to the vehicle control system 7000 and instructs the processing operation.
  • the storage unit 7690 may include a ROM (Read Only Memory) for storing various programs executed by the microcomputer, and a RAM (Random Access Memory) for storing various parameters, calculation results, sensor values, and the like. Further, the storage unit 7690 may be realized by a magnetic storage device such as an HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, an optical magnetic storage device, or the like.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the general-purpose communication I / F 7620 is a general-purpose communication I / F that mediates communication with various devices existing in the external environment 7750.
  • General-purpose communication I / F7620 is a cellular communication protocol such as GSM (registered trademark) (Global System of Mobile communications), WiMAX (registered trademark), LTE (registered trademark) (Long Term Evolution) or LTE-A (LTE-Advanced).
  • GSM Global System of Mobile communications
  • WiMAX registered trademark
  • LTE registered trademark
  • LTE-A Long Term Evolution-Advanced
  • Bluetooth® may be implemented.
  • the general-purpose communication I / F7620 connects to a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a business-specific network) via a base station or an access point, for example. You may. Further, the general-purpose communication I / F7620 uses, for example, P2P (Peer To Peer) technology, and is a terminal existing in the vicinity of the vehicle (for example, a terminal of a driver, a pedestrian or a store, or an MTC (Machine Type Communication) terminal). You may connect with.
  • P2P Peer To Peer
  • MTC Machine Type Communication
  • the dedicated communication I / F 7630 is a communication I / F that supports a communication protocol formulated for use in a vehicle.
  • the dedicated communication I / F7630 uses a standard protocol such as WAVE (Wireless Access in Vehicle Environment), DSRC (Dedicated Short Range Communications), or a cellular communication protocol, which is a combination of the lower layer IEEE802.11p and the upper layer IEEE1609. May be implemented.
  • Dedicated communication I / F7630 typically includes vehicle-to-vehicle (Vehicle to Vehicle) communication, road-to-vehicle (Vehicle to Infrastructure) communication, vehicle-to-house (Vehicle to Home) communication, and pedestrian-to-pedestrian (Vehicle to Pedertian) communication. ) Perform V2X communication, which is a concept that includes one or more of communications.
  • the positioning unit 7640 receives, for example, a GNSS signal from a GNSS (Global Navigation Satellite System) satellite (for example, a GPS signal from a GPS (Global Positioning System) satellite), executes positioning, and executes positioning, and the latitude, longitude, and altitude of the vehicle. Generate location information including.
  • the positioning unit 7640 may specify the current position by exchanging signals with the wireless access point, or may acquire position information from a terminal such as a mobile phone, PHS, or smartphone having a positioning function.
  • the beacon receiving unit 7650 receives radio waves or electromagnetic waves transmitted from a radio station or the like installed on the road, and acquires information such as the current position, traffic congestion, road closure, or required time.
  • the function of the beacon receiving unit 7650 may be included in the above-mentioned dedicated communication I / F 7630.
  • the in-vehicle device I / F 7660 is a communication interface that mediates the connection between the microcomputer 7610 and various in-vehicle devices 7760 existing in the vehicle.
  • the in-vehicle device I / F7660 may establish a wireless connection using a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • a wireless communication protocol such as wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication) or WUSB (Wireless USB).
  • the in-vehicle device I / F7660 is via a connection terminal (and a cable if necessary) (not shown), USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface, or MHL (Mobile High)).
  • a wired connection such as -definition Link may be established.
  • the in-vehicle device 7760 includes, for example, at least one of a mobile device or a wearable device owned by a passenger, or an information device carried in or attached to a vehicle.
  • the in-vehicle device 7760 may include a navigation device that searches for a route to an arbitrary destination.
  • the in-vehicle device I / F 7660 is a control signal to and from these in-vehicle devices 7760. Or exchange the data signal.
  • the in-vehicle network I / F7680 is an interface that mediates communication between the microcomputer 7610 and the communication network 7010.
  • the vehicle-mounted network I / F7680 transmits / receives signals and the like according to a predetermined protocol supported by the communication network 7010.
  • the microcomputer 7610 of the integrated control unit 7600 is via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680.
  • the vehicle control system 7000 is controlled according to various programs based on the information acquired. For example, the microcomputer 7610 calculates the control target value of the driving force generator, the steering mechanism, or the braking device based on the acquired information inside and outside the vehicle, and outputs a control command to the drive system control unit 7100. May be good.
  • the microcomputer 7610 realizes ADAS (Advanced Driver Assistance System) functions including vehicle collision avoidance or impact mitigation, follow-up driving based on inter-vehicle distance, vehicle speed maintenance driving, vehicle collision warning, vehicle lane deviation warning, and the like. Cooperative control may be performed for the purpose of. Further, the microcomputer 7610 automatically travels autonomously without relying on the driver's operation by controlling the driving force generator, the steering mechanism, the braking device, etc. based on the acquired information on the surroundings of the vehicle. Coordinated control for the purpose of driving or the like may be performed.
  • ADAS Advanced Driver Assistance System
  • the microcomputer 7610 has information acquired via at least one of general-purpose communication I / F7620, dedicated communication I / F7630, positioning unit 7640, beacon receiving unit 7650, in-vehicle device I / F7660, and in-vehicle network I / F7680. Based on the above, three-dimensional distance information between the vehicle and an object such as a surrounding structure or a person may be generated, and local map information including the peripheral information of the current position of the vehicle may be created. Further, the microcomputer 7610 may predict a danger such as a vehicle collision, a pedestrian or the like approaching or entering a closed road based on the acquired information, and may generate a warning signal.
  • the warning signal may be, for example, a signal for generating a warning sound or turning on a warning lamp.
  • the audio image output unit 7670 transmits an output signal of at least one of audio and image to an output device capable of visually or audibly notifying information to the passenger or the outside of the vehicle.
  • an audio speaker 7710, a display unit 7720, and an instrument panel 7730 are exemplified as output devices.
  • the display unit 7720 may include, for example, at least one of an onboard display and a head-up display.
  • the display unit 7720 may have an AR (Augmented Reality) display function.
  • the output device may be other devices other than these devices, such as headphones, wearable devices such as eyeglass-type displays worn by passengers, and projectors or lamps.
  • the display device displays the results obtained by various processes performed by the microcomputer 7610 or the information received from other control units in various formats such as texts, images, tables, and graphs. Display visually.
  • the audio output device converts an audio signal composed of reproduced audio data or acoustic data into an analog signal and outputs the audio signal audibly.
  • At least two control units connected via the communication network 7010 may be integrated as one control unit.
  • each control unit may be composed of a plurality of control units.
  • the vehicle control system 7000 may include another control unit (not shown).
  • the other control unit may have a part or all of the functions carried out by any of the control units. That is, as long as information is transmitted and received via the communication network 7010, predetermined arithmetic processing may be performed by any control unit.
  • a sensor or device connected to any control unit may be connected to another control unit, and a plurality of control units may send and receive detection information to and from each other via the communication network 7010. .
  • the image pickup device 101 according to the present embodiment described with reference to FIG. 1 can be applied to the image pickup unit 7410 of the application example shown in FIG. 25.
  • the image pickup unit 7410 supplies the restored image with flicker removed to the vehicle exterior information detection unit 7400, and the detection accuracy of the vehicle exterior information detection unit 7400 for traffic lights, electronic guide plates, electronic signs, street lights, etc. that cause flicker is improved. improves.
  • the series of processes described above can be executed by hardware or software.
  • the programs that make up the software are installed on the computer.
  • the computer includes a computer (for example, a control unit 123, etc.) incorporated in dedicated hardware.
  • the program executed by the computer can be recorded and provided on a recording medium (for example, recording medium 130 or the like) as a package medium or the like. Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • a recording medium for example, recording medium 130 or the like
  • Programs can also be provided via wired or wireless transmission media such as local area networks, the Internet, and digital satellite broadcasting.
  • the program executed by the computer may be a program that is processed in chronological order in the order described in this specification, or may be a program that is processed in parallel or at a necessary timing such as when a call is made. It may be a program in which processing is performed.
  • the embodiment of the present technology is not limited to the above-described embodiment, and various changes can be made without departing from the gist of the present technology.
  • this technology can have a cloud computing configuration in which one function is shared by a plurality of devices via a network and processed jointly.
  • each step described in the above flowchart can be executed by one device or can be shared and executed by a plurality of devices.
  • the plurality of processes included in the one step can be executed by one device or shared by a plurality of devices.
  • a plurality of pixels including a pixel that receives incident light from an incident subject without passing through either an imaging lens or a pinhole and outputs one detection signal indicating an output pixel value modulated by the incident angle of the incident light. Pixel areas that are arranged in the row and column directions and are sequentially exposed row by row, An image sensor that is arranged in different rows of the pixel area and includes a plurality of detection areas used for detecting flicker.
  • a signal processing device including a flicker detection unit that detects flicker based on a plurality of detected images and at least one of a plurality of restored images restored from each of the detected images. (7) The signal processing device according to (6) above, wherein the flicker detection unit detects flicker based on the difference in brightness of each of the detected images. (8) The signal processing device according to (7), further comprising a restoration unit that restores the restored image from the detected image selected based on the brightness of each detected image when flicker is detected by the flicker detecting unit.
  • the signal processing device (9) The signal processing device according to (8), wherein the restoration unit restores the restored image from any of the plurality of detected images when the flicker is not detected by the flicker detecting unit. (10) Further provided with a restoration unit for restoring the restored image from each detected image The signal processing device according to (6) above, wherein the flicker detection unit detects flicker based on the difference in brightness of each restored image. (11) The signal processing device according to (10), wherein the flicker detection unit detects a flicker region in which the flicker is presumed to occur based on a difference in brightness for each pixel of the restored image.
  • the restoration unit adds images of regions other than the flicker region of each restored image, and selects an image of the flicker region from the flicker regions of each restored image based on the brightness of the flicker region.
  • a plurality of pixels including a pixel that receives incident light from an incident subject without passing through either an image pickup lens or a pinhole and outputs one detection signal indicating an output pixel value modulated by the incident angle of the incident light. It is generated for each detection area based on the detection signals output from the pixels in the plurality of detection areas arranged in the row direction and the column direction and arranged in different rows of the pixel areas sequentially exposed in row units.
  • a signal processing method for detecting flicker based on a plurality of detected images and at least one of a plurality of restored images restored from each of the detected images.
  • a plurality of pixels including a pixel that receives incident light from an incident subject without passing through either an image pickup lens or a pinhole and outputs one detection signal indicating an output pixel value modulated by the incident angle of the incident light. It is generated for each detection area based on the detection signals output from the pixels in the plurality of detection areas arranged in the row direction and the column direction and arranged in different rows of the pixel areas sequentially exposed in row units.
  • a plurality of pixels including a pixel that receives incident light from an incident subject without passing through either an imaging lens or a pinhole and outputs one detection signal indicating an output pixel value modulated by the incident angle of the incident light.
  • Pixel areas that are arranged in the row and column directions and are sequentially exposed row by row
  • An image sensor arranged in different rows of the pixel region and having a plurality of detection regions used for detecting flicker, and an image sensor.
  • An image pickup device including a flicker detection unit that detects flicker.
  • 101 image pickup device 111 signal processing control unit, 121 image sensor, 121a, 121a'pixel, 121aA restoration pixel, 121aB exposure pixel, 121b shading film, 122 restoration unit, 123 control unit, 201 pixel area, 202A to 202C detection Area, 221 flicker detection unit, 222 moving object detection unit, 301A to 301C, 303 restored image

Abstract

本技術は、撮像レンズを用いない撮像装置において、フリッカの発生を抑制することができるようにする撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置に関する。 撮像素子は、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域と、前記画素領域の異なる行に配置され、フリッカの検出に用いられる複数の検出領域とを備える。本技術は、例えば、撮像装置に適用することができる。

Description

撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置
　本技術は、撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置に関し、特に、撮像レンズを用いない撮像装置においてフリッカの発生を抑制するようにした撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置に関する。
　従来、撮像レンズを用いずに、撮像素子の各画素の受光面を覆う遮光膜により被写体からの光を変調して撮像し、所定の演算処理により被写体の像が結像された復元画像を復元する撮像装置が提案されている（例えば、特許文献１参照）。
国際公開第２０１８／０１２４９２号
　ところで、特許文献１に示されるような撮像レンズを用いない撮像装置において、フリッカの発生を抑制することが望まれている。
　本技術は、このような状況に鑑みてなされたものであり、撮像レンズを用いない撮像装置において、フリッカの発生を抑制するものである。
　本技術の第１の側面の撮像素子は、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域と、前記画素領域の異なる行に配置され、フリッカの検出に用いられる複数の検出領域とを備える。
　本技術の第２の側面の信号処理装置は、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域の異なる行に配置されている複数の検出領域内の画素から出力される検出信号に基づいて前記検出領域毎に生成される複数の検出画像、及び、各前記検出画像から復元される複数の復元画像のうち少なくとも一方に基づいて、フリッカの検出を行うフリッカ検出部を備える。
　本技術の第２の側面の信号処理方法は、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域の異なる行に配置されている複数の検出領域内の画素から出力される検出信号に基づいて前記検出領域毎に生成される複数の検出画像、及び、各前記検出画像から復元される複数の復元画像のうち少なくとも一方に基づいて、フリッカの検出を行う。
　本技術の第２の側面のプログラムは、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域の異なる行に配置されている複数の検出領域内の画素から出力される検出信号に基づいて前記検出領域毎に生成される複数の検出画像、及び、各前記検出画像から復元される複数の復元画像のうち少なくとも一方に基づいて、フリッカの検出を行う処理をコンピュータに実行させる。
　本技術の第３の側面の撮像装置は、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域と、前記画素領域の異なる行に配置され、フリッカの検出に用いられる複数の検出領域とを備える撮像素子と、各前記検出領域内の画素から出力される検出信号に基づいて前記検出領域毎に生成される複数の検出画像、及び、各前記検出画像から復元される複数の復元画像のうち少なくとも一方に基づいて、フリッカの検出を行うフリッカ検出部とを備える。
　本技術の第１の側面においては、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域と、前記画素領域の異なる行に配置され、フリッカの検出に用いられる複数の検出領域とが設けられる。
　本技術の第２の側面においては、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域の異なる行に配置されている複数の検出領域内の画素から出力される検出信号に基づいて前記検出領域毎に生成される複数の検出画像、及び、各前記検出画像から復元される複数の復元画像のうち少なくとも一方に基づいて、フリッカの検出が行われる。
　本技術の第３の側面においては、撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域と、前記画素領域の異なる行に配置され、フリッカの検出に用いられる複数の検出領域を備える撮像素子の各前記検出領域内の画素から出力される検出信号に基づいて前記検出領域毎に生成される複数の検出画像、及び、各前記検出画像から復元される複数の復元画像のうち少なくとも一方に基づいて、フリッカの検出が行われる。
本技術を適用した撮像装置の構成例を示すブロック図である。 本技術を適用した撮像装置における撮像の原理を説明する図である。 図１の撮像素子の画素アレイ部の構成例を示す図である。 図１の撮像素子の第１の構成例を説明する図である。 図１の撮像素子の第２の構成例を説明する図である。 入射角指向性の発生の原理を説明する図である。 オンチップレンズを利用した入射角指向性の変化を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 狭画角画素と広画角画素との関係を説明する図である。 図１の撮像素子の画素領域の第１の構成例を示す図である。 図１の制御部の機能の構成例を示すブロック図である。 図１の撮像装置による撮像処理の第１の実施の形態を説明するフローチャートである。 各検出領域の露光期間の例を示す図である。 図１の撮像装置による撮像処理の第２の実施の形態を説明するフローチャートである。 復元画像の加算及び合成方法を説明するための図である。 動体の検出方法を説明するための図である。 画素領域を分割することによるフリッカ抑制効果を説明するための図である。 画素領域を分割することによるフリッカ抑制効果を説明するための図である。 画素領域の第２の構成例を示す図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。 撮像素子の変形例を示す図である。 車両制御システムの概略的な構成の一例を示すブロック図である。 車外情報検出部及び撮像部の設置位置の一例を示す説明図である。
　以下に添付図面を参照しながら、本技術の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を適宜省略する。
　また、以下の順序で説明を行う。
　　１．実施の形態
　　２．変形例
　　３．応用例
　　４．その他
　＜＜１．実施の形態＞＞
　図１乃至図１８を参照して、本技術の実施の形態について説明する。
　　＜撮像装置１０１の構成例＞
　図１は、本技術を適用した撮像装置１０１の構成例を示すブロック図である。
　撮像装置１０１は、撮像素子１２１、復元部１２２、制御部１２３、入力部１２４、検出部１２５、関連付け部１２６、表示部１２７、記憶部１２８、記録再生部１２９、記録媒体１３０、及び、通信部１３１を備える。また、復元部１２２、制御部１２３、入力部１２４、検出部１２５、関連付け部１２６、表示部１２７、記憶部１２８、記録再生部１２９、記録媒体１３０、及び、通信部１３１により、信号処理や撮像装置１０１の制御等を行う信号処理制御部１１１が構成される。なお、撮像装置１０１は、撮像レンズを含まない（撮像レンズフリー）。
　また、撮像素子１２１、復元部１２２、制御部１２３、入力部１２４、検出部１２５、関連付け部１２６、表示部１２７、記憶部１２８、記録再生部１２９、及び、通信部１３１は、バスＢ１を介して相互に接続されており、バスＢ１を介してデータの送受信等を行う。なお、以下、説明を簡単にするために、撮像装置１０１の各部がバスＢ１を介してデータの送受信等を行う場合のバスＢ１の記載を省略する。例えば、入力部１２４がバスＢ１を介して制御部１２３にデータを供給する場合、入力部１２４が制御部１２３にデータを供給すると記載する。
　撮像素子１２１は、各画素の検出感度に入射角指向性を持たせた撮像素子であり、入射光の光量に応じた検出信号レベルを示す検出信号からなる画像を復元部１２２又はバスＢ１に出力する。各画素の検出感度に入射角指向性を持たせるとは、各画素への入射光の入射角度に応じた受光感度特性を画素毎に異なるものとすることである。ただし、全ての画素の受光感度特性が完全に異なるものである必要はなく、一部の画素の受光感度特性が同一であってもよい。
　より具体的には、撮像素子１２１は、基本的な構造において、一般の、例えば、CMOS（Complementary Metal Oxide Semiconductor）イメージセンサなどの撮像素子からなるものと同様のものであっても良い。ただし、撮像素子１２１は、画素アレイ部を構成する各画素の構成が一般のものと異なり、例えば、図３乃至図５を参照して後述するように、入射角指向性を持たせる構成を有している。そして、撮像素子１２１は、画素毎に入射光の入射角度に応じて受光感度が異なり（変化し）、画素単位で入射光の入射角度に対する入射角指向性を有している。
　ここで、例えば、全ての被写体は点光源の集合であり、各点光源からあらゆる方向に光が出射されているものとする。例えば、図２の左上の被写体の被写体面１０２が、点光源ＰＡ乃至点光源ＰＣにより構成され、点光源ＰＡ乃至点光源ＰＣが、それぞれ光強度ａ乃至光強度ｃの複数の光線を周囲に発しているものとする。また、以下、撮像素子１２１が、位置Ｐａ乃至位置Ｐｃに入射角指向性がそれぞれ異なる画素（以下、画素Ｐａ乃至画素Ｐｃと称する）を備えるものとする。
　この場合、図２の左上に示されるように、同一の点光源より発せられた同一の光強度の光線が、撮像素子１２１の各画素に入射される。例えば、点光源ＰＡから発せられた光強度ａの光線が、撮像素子１２１の画素Ｐａ乃至画素Ｐｃにそれぞれ入射される。一方、同一の点光源より発せられた光線は、画素毎にそれぞれ異なる入射角度で入射される。例えば、点光源ＰＡからの光線は、画素Ｐａ乃至画素Ｐｃにそれぞれ異なる入射角度で入射される。
　これに対して、画素Ｐａ乃至画素Ｐｃの入射角指向性がそれぞれ異なるため、同一の点光源より発せられた同一の光強度の光線が、各画素で異なる感度で検出される。その結果、同一の光強度の光線が画素毎に異なる検出信号レベルで検出される。例えば、点光源ＰＡからの光強度ａの光線に対する検出信号レベルが、画素Ｐａ乃至画素Ｐｃでそれぞれ異なる値になる。
　そして、各点光源からの光線に対する各画素の受光感度レベルは、その光線の光強度に、その光線の入射角度に対する受光感度（すなわち、入射角指向性）を示す係数を乗じることにより求められる。例えば、点光源ＰＡからの光線に対する画素Ｐａの検出信号レベルは、点光源ＰＡの光線の光強度ａに、当該光線の画素Ｐａへの入射角度に対する画素Ｐａの入射角指向性を示す係数を乗じることにより求められる。
　従って、画素Ｐｃ，Ｐｂ，Ｐａの検出信号レベルＤＡ，ＤＢ，ＤＣは、それぞれ以下の式（１）乃至式（３）で表される。
　ＤＡ＝α１×ａ＋β１×ｂ＋γ１×ｃ　・・・（１）
　ＤＢ＝α２×ａ＋β２×ｂ＋γ２×ｃ　・・・（２）
　ＤＣ＝α３×ａ＋β３×ｂ＋γ３×ｃ　・・・（３）
　ここで、係数α１は、点光源ＰＡから画素Ｐｃへの光線の入射角度に対する画素Ｐｃの入射角指向性を示す係数であり、当該入射角度に応じて設定される。また、α１×ａは、点光源ＰＡからの光線に対する画素Ｐｃの検出信号レベルを示している。
　係数β１は、点光源ＰＢから画素Ｐｃへの光線の入射角度に対する画素Ｐｃの入射角指向性を示す係数であり、当該入射角度に応じて設定される。また、β１×ｂは、点光源ＰＢからの光線に対する画素Ｐｃの検出信号レベルを示している。
　係数γ１は、点光源ＰＣから画素Ｐｃへの光線の入射角度に対する画素Ｐｃの入射角指向性を示す係数であり、当該入射角度に応じて設定される。また、γ１×ｃは、点光源ＰＣからの光線に対する画素Ｐｃの検出信号レベルを示している。
　このように、画素Ｐａの検出信号レベルＤＡは、画素Ｐｃにおける点光源ＰＡ，ＰＢ，ＰＣからの光線のそれぞれの光強度ａ，ｂ，ｃと、それぞれの入射角度に応じた入射角指向性を示す係数α１，β１，γ１との積和により求められる。
　同様に、画素Ｐｂの検出信号レベルＤＢは、式（２）に示されるように、画素Ｐｂにおける点光源ＰＡ，ＰＢ，ＰＣからの光線のそれぞれの光強度ａ，ｂ，ｃと、それぞれの入射角度に応じた入射角指向性を示す係数α２，β２，γ２との積和により求められる。また、画素Ｐｃの検出信号レベルＤＣは、式（３）に示されるように、画素Ｐａにおける点光源ＰＡ，ＰＢ，ＰＣからの光線のそれぞれの光強度ａ，ｂ，ｃと、それぞれの入射角度に応じた入射角指向性を示す係数α２，β２，γ２との積和により求められる。
　ただし、画素Ｐａ，Ｐｂ，Ｐｃの検出信号レベルＤＡ、ＤＢ、ＤＣは、式（１）乃至式（３）に示されるように、点光源ＰＡ，ＰＢ，ＰＣのそれぞれより発せられた光線の光強度ａ，ｂ，ｃが入り交じっている。従って、図２の右上に示されるように、撮像素子１２１における検出信号レベルは、被写体面１０２上の各点光源の光強度とは異なる。従って、撮像素子１２１により得られる画像は、被写体面１０２の像が結像されたものとは異なるものとなる。
　一方、式（１）乃至式（３）からなる連立方程式を作成し、作成した連立方程式を解くことにより、各点光源ＰＡ乃至点光源ＰＣの光線の光強度ａ乃至光強度ｃが求められる。そして、求めた光強度ａ乃至光強度ｃに応じた画素値を有する画素を点光源ＰＡ乃至点光源ＰＣの配置（相対位置）に合わせて並べることにより、図２の右下に示されるように、被写体面１０２の像が結像された復元画像が復元される。
　このようにして、撮像レンズ及びピンホールを必要とせず、各画素において入射角指向性を有する撮像素子１２１を実現することが可能となる。
　以下、連立方程式を構成する式毎に係数をまとめたもの（例えば、係数α１、β１、γ１）を係数セットと称する。以下、連立方程式に含まれる複数の式に対応する複数の係数セットをまとめたもの（例えば、係数セットα１、β１、γ１、係数セットα２、β２、γ２、係数セットα３、β３、γ３）を係数セット群と称する。
　ここで、被写体面１０２から撮像素子１２１の受光面までの被写体距離が異なると、被写体面１０２の各点光源からの光線の撮像素子１２１への入射角が異なるため、被写体距離毎に異なる係数セット群が必要となる。
　従って、撮像装置１０１においては、撮像素子１２１からの被写体面までの距離（被写体距離）毎の係数セット群を予め用意しておき、被写体距離毎に係数セット群を切り替えて連立方程式を作成し、作成した連立方程式を解くことで、１個の検出画像に基づいて、様々な被写体距離の被写体面の復元画像を得ることが可能となる。例えば、検出画像を１回撮像し、記録した後、記録した検出画像を用いて、被写体面までの距離に応じて係数セット群を切り替えて、復元画像を復元することにより、任意の被写体距離の被写体面の復元画像を生成することが可能である。
　また、同じ被写体距離の被写体面１０２であっても、設定する点光源の数や配置が異なると、各点光源からの光線の撮像素子１２１への入射角が異なる。従って、同じ被写体距離の被写体面１０２に対して、複数の係数セット群が必要となる場合がある。さらに、各画素１２１ａの入射角指向性は、上述した連立方程式の独立性を確保できるように設定する必要がある。
　また、撮像素子１２１が出力する画像は、図２の右上に示されるように被写体の像が結像されていない検出信号により構成される画像となるので、目視により被写体を認識することができない。すなわち、撮像素子１２１が出力する検出信号からなる検出画像は、画素信号の集合ではあるが、ユーザが目視しても被写体を認識できない（被写体を視認不可能な）画像である。
　そこで、以下、図２の右上に示されるように被写体の像が結像されていない検出信号より構成される画像、すなわち、撮像素子１２１により撮像される画像を、検出画像と称する。
　なお、入射角指向性は必ずしも画素単位で全て異なる必要はなく、入射角指向性が同じ画素を含んでいてもよい。
　復元部１２２は、例えば、図２における撮像素子１２１から被写体面１０２（復元画像に対応する被写体面）までの距離に相当する被写体距離に対応し、上述した係数α１乃至α３，β１乃至β３，γ１乃至γ３に相当する係数セット群を記憶部１２８から取得する。また、復元部１２２は、撮像素子１２１から出力される検出画像の各画素の検出信号レベルと、取得した係数セット群とを用いて、上述した式（１）乃至式（３）で示されるような連立方程式を作成する。そして、復元部１２２は、作成した連立方程式を解くことにより、図２の右下に示される被写体の像が結像された画像を構成する各画素の画素値を求める。これにより、ユーザが目視して被写体を認識できる（被写体を視認可能な）画像が検出画像から復元される。
　以下、この検出画像から復元される画像を復元画像と称する。ただし、撮像素子１２１が紫外線などの視認可能な波長帯域以外の光のみに感度を有する場合、復元画像も通常の画像のように被写体を識別できるような画像とはならないが、この場合も復元画像と称する。
　また、以下、被写体の像が結像された状態の画像である復元画像であって、デモザイク処理等の色分離や同時化処理前の画像をＲＡＷ画像と称し、撮像素子１２１により撮像された検出画像については、色フィルタの配列に従った画像ではあるが、ＲＡＷ画像ではないものとして区別する。
　なお、撮像素子１２１の画素数と、復元画像を構成する画素の画素数とは、必ずしも同一である必要はない。
　また、復元部１２２は、必要に応じて、復元画像に対してデモザイク処理、γ補正、ホワイトバランス調整、所定の圧縮形式への変換処理等を行う。そして、復元部１２２は、復元画像をバスＢ１に出力する。
　制御部１２３は、例えば、各種のプロセッサを備え、撮像装置１０１の各部を制御したり、各種の処理を実行したりする。
　入力部１２４は、撮像装置１０１の操作や、処理に用いるデータの入力等を行うための入力デバイス（例えば、キー、スイッチ、ボタン、ダイヤル、タッチパネル、リモートコントローラ等）を備える。入力部１２４は、操作信号や入力されたデータ等をバスＢ１に出力する。
　検出部１２５は、撮像装置１０１や被写体の状態等の検出に用いる各種のセンサ等を備える。例えば、検出部１２５は、撮像装置１０１の姿勢や動きを検出する加速度センサやジャイロセンサ、撮像装置１０１の位置を検出する位置検出センサ（例えば、ＧＮＳＳ（Global Navigation Satellite System）受信機等）、被写体距離を検出する測距センサ等を備える。検出部１２５は、検出結果を示す信号をバスＢ１に出力する。
　関連付け部１２６は、撮像素子１２１により得られる検出画像と、検出画像に対応するメタデータとの関連付けを行う。メタデータは、例えば、対象となる検出画像を用いて復元画像を復元するための係数セット群や被写体距離等を含む。
　なお、検出画像とメタデータを関連付ける方法は、検出画像とメタデータとの対応関係を特定することができれば、特に限定されない。例えば、検出画像を含む画像データにメタデータを付与したり、検出画像とメタデータに同じＩＤを付与したり、検出画像とメタデータを同じ記録媒体１３０に記録させたりすることにより、検出画像とメタデータが関連付けられる。
　表示部１２７は、例えば、ディスプレイにより構成され、各種の情報（例えば、復元画像等）の表示を行う。なお、表示部１２７が、スピーカ等の音声出力部を備え、音声の出力を行うようにすることも可能である。
　記憶部１２８は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の記憶装置を１つ以上備え、例えば、撮像装置１０１の処理に用いられるプログラムやデータ等を記憶する。例えば、記憶部１２８は、様々な被写体距離に対応付けて、上述した係数α１乃至α３，β１乃至β３，γ１乃至γ３に相当する係数セット群を記憶している。より具体的には、例えば、記憶部１２８は、各被写体距離における被写体面１０２毎に、被写体面１０２上に設定した各点光源に対する撮像素子１２１の各画素１２１ａに対する係数を含む係数セット群を記憶している。
　記録再生部１２９は、記録媒体１３０へのデータの記録、及び、記録媒体１３０に記録されているデータの再生（読み出し）を行う。例えば、記録再生部１２９は、復元画像を記録媒体１３０に記録したり、記録媒体１３０から読み出したりする。また、例えば、記録再生部１２９は、検出画像及び対応するメタデータを、記録媒体１３０に記録したり、記録媒体１３０から読み出したりする。
　記録媒体１３０は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、磁気ディスク、光ディスク、光磁気ディスク、及び、半導体メモリ等のいずれか、又は、それらの組合せなどからなる。
　通信部１３１は、所定の通信方式により、他の機器（例えば、他の撮像装置や信号処理装置等）と通信を行う。なお、通信部１３１の通信方式は、有線又は無線のいずれであってもよい。また、通信部１３１が複数の通信方式に対応することも可能である。
　　＜撮像素子１２１の第１の構成例＞
　次に、図３及び図４を参照して、図１の撮像装置１０１の撮像素子１２１の第１の構成例について説明する。
　図３は、撮像素子１２１の画素アレイ部の一部の正面図を示している。なお、図３においては、画素アレイ部の画素数が縦６画素×横６画素である場合の例を示しているが、画素アレイ部の画素数は、これに限るものではない。
　図３の撮像素子１２１では、画素１２１ａ毎に、そのフォトダイオードの受光領域（受光面）の一部を覆うように変調素子の１つである遮光膜１２１ｂが設けられており、各画素１２１ａに入射する入射光が、入射角度に応じて光学的に変調される。そして、例えば、画素１２１ａ毎に異なる範囲に遮光膜１２１ｂを設けることにより、画素１２１ａ毎に入射光の入射角度に対する受光感度が異なるものとなり、各画素１２１ａが異なる入射角指向性を有するようになる。
　例えば、画素１２１ａ－１と画素１２１ａ－２とでは、設けられている遮光膜１２１ｂ－１と遮光膜１２１ｂ－２とによりフォトダイオードの受光領域を遮光する範囲が異なる（遮光する領域（位置）、及び、遮光する面積の少なくともいずれかが異なる）。すなわち、画素１２１ａ－１においては、フォトダイオードの受光領域の左側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ－１が設けられている。一方、画素１２１ａ－２においては、受光領域の右側の一部を所定の幅だけ遮光するように遮光膜１２１ｂ－２が設けられている。なお、遮光膜１２１ｂ－１がフォトダイオードの受光領域を遮光する幅と、遮光膜１２１ｂ－２がフォトダイオードの受光領域を遮光する幅とは、異なっていてもよいし、同じであってもよい。その他の画素１２１ａにおいても、同様に、遮光膜１２１ｂが、画素毎に受光領域の異なる範囲を遮光するように、画素アレイ部内でランダムに配置されている。
　図４の上段は、撮像素子１２１の第１の構成例における側面断面図であり、図４の中段は、撮像素子１２１の第１の構成例における上面図である。また、図４の上段の側面断面図は、図４の中段におけるＡＢ断面となる。さらに、図４の下段は、撮像素子１２１の回路構成例である。
　図４の上段の撮像素子１２１においては、図中の上方から下方に向けて入射光が入射する。隣接する画素１２１ａ－１，１２１ａ－２は、それぞれ図中の最下層に配線層Ｚ１２が設けられており、その上に光電変換層Ｚ１１が設けられている、いわゆる、裏面照射型である。
　なお、以下、画素１２１ａ－１，１２１ａ－２を区別する必要がない場合、符号の末尾の数字の記載を省略し、単に、画素１２１ａと称する。以下、明細書内において、他の構成についても、同様に符号の末尾の数字やアルファベットを省略する場合がある。
　また、図４は、撮像素子１２１の画素アレイ部を構成する２画素分の側面図および上面図のみを示しており、いうまでもなく、これ以上の数の画素１２１ａが配置されているが図示が省略されている。
　さらに、画素１２１ａ－１，１２１ａ－２は、それぞれ光電変換層Ｚ１１にフォトダイオード１２１ｅ－１，１２１ｅ－２を備えている。また、フォトダイオード１２１ｅ－１，１２１ｅ－２の上には、それぞれ上からオンチップレンズ１２１ｃ－１，１２１ｃ－２、およびカラーフィルタ１２１ｄ－１，１２１ｄ－２が積層されている。
　オンチップレンズ１２１ｃ－１，１２１ｃ－２は、入射光をフォトダイオード１２１ｅ－１，１２１ｅ－２上に集光させる。
　カラーフィルタ１２１ｄ－１，１２１ｄ－２は、例えば、赤色、緑色、青色、赤外および白色等の特定の波長の光を透過させる光学フィルタである。なお、白色の場合、カラーフィルタ１２１ｄ－１，１２１ｄ－２は、透明のフィルタでもよいし、無くてもよい。
　画素１２１ａ－１，１２１ａ－２の光電変換層Ｚ１１における、それぞれ画素間の境界には、遮光膜１２１ｇ－１乃至１２１ｇ－３が形成されており、例えば、図４に示されるように、入射光Ｌが隣接する画素に入射し、クロストークが発生するのを抑制する。
　また、図４の上段及び中段に示されるように、遮光膜１２１ｂ－１，１２１ｂ－２が、上面から見て受光面Ｓの一部を遮光している。画素１２１ａ－１，１２１ａ－２におけるフォトダイオード１２１ｅ－１，１２１ｅ－２の受光面Ｓにおいては、遮光膜１２１ｂ－１，１２１ｂ－２により、それぞれ異なる範囲が遮光されており、これにより異なる入射角指向性が画素毎に独立に設定される。ただし、遮光される範囲は、撮像素子１２１の全画素１２１ａで異なっている必要はなく、一部で同一の範囲が遮光される画素１２１ａが存在していてもよい。
　なお、図４の上段に示されるように、遮光膜１２１ｂ－１と遮光膜１２１ｇ－１とは互いに接続されており、側面から見てＬ字型に構成されている。同様に、遮光膜１２１ｂ－２と遮光膜１２１ｇ－２とは互いに接続されており、側面から見てＬ字型に構成されている。また、遮光膜１２１ｂ－１、遮光膜１２１ｂ－２、及び、遮光膜１２１ｇ－１乃至１２１ｇ－３は、金属により構成されており、例えば、タングステン（W）、アルミニウム（Al）、またはAlと銅（Cu）との合金により構成される。また、遮光膜１２１ｂ－１、遮光膜１２１ｂ－２、及び、遮光膜１２１ｇ－１乃至１２１ｇ－３は、半導体プロセスにおける配線が形成されるプロセスと同一のプロセスで、配線と同一の金属により同時に形成されるようにしてもよい。なお、遮光膜１２１ｂ－１、遮光膜１２１ｂ－２、及び、遮光膜１２１ｇ－１乃至１２１ｇ－３の膜厚は、位置に応じて同一の厚さにしなくてもよい。
　また、図４の下段に示されるように、画素１２１ａは、フォトダイオード１６１（フォトダイオード１２１ｅに対応する）、転送トランジスタ１６２、ＦＤ（Floating Diffusion：フローティングディフュージョン）部１６３、選択トランジスタ１６４、増幅トランジスタ１６５、およびリセットトランジスタ１６６を備え、垂直信号線１６７を介して電流源１６８に接続されている。
　フォトダイオード１６１は、アノード電極が接地され、カソード電極が、転送トランジスタ１６２を介して増幅トランジスタ１６５のゲート電極に接続されている。
　転送トランジスタ１６２は、転送信号ＴＧに従って駆動する。例えば、転送トランジスタ１６２のゲート電極に供給される転送信号ＴＧがハイレベルになると、転送トランジスタ１６２はオンとなる。これにより、フォトダイオード１６１に蓄積されている電荷が転送トランジスタ１６２を介してＦＤ部１６３に転送される。
　ＦＤ部１６３は、転送トランジスタ１６２と増幅トランジスタ１６５との間に設けられる電荷容量Ｃ１を有する浮遊拡散領域であり、転送トランジスタ１６２を介してフォトダイオード１６１から転送される電荷を一時的に蓄積する。ＦＤ部１６３は、電荷を電圧に変換する電荷検出部であって、ＦＤ部１６３に蓄積されている電荷が増幅トランジスタ１６５において電圧に変換される。
　選択トランジスタ１６４は、選択信号ＳＥＬに従って駆動し、ゲート電極に供給される選択信号ＳＥＬがハイレベルになるとオンとなって、増幅トランジスタ１６５と垂直信号線１６７とを接続する。
　増幅トランジスタ１６５は、フォトダイオード１６１での光電変換によって得られる信号を読み出す読出し回路であるソースフォロワの入力部となり、ＦＤ部１６３に蓄積されている電荷に応じたレベルの検出信号（画素信号）を垂直信号線１６７に出力する。すなわち、増幅トランジスタ１６５は、ドレイン端子が電源ＶＤＤに接続され、ソース端子が選択トランジスタ１６４を介して垂直信号線１６７に接続されることで、垂直信号線１６７の一端に接続される電流源１６８とソースフォロワを構成する。この検出信号の値（出力画素値）は、被写体からの入射光の入射角に応じて変調されており、入射角により特性（指向性）が異なる（入射角指向性を有する）。
　リセットトランジスタ１６６は、リセット信号ＲＳＴに従って駆動する。例えば、リセットトランジスタ１６６は、ゲート電極に供給されるリセット信号ＲＳＴがハイレベルになるとオンとなり、ＦＤ部１６３に蓄積されている電荷を電源ＶＤＤに排出して、ＦＤ部１６３をリセットする。
　なお、各画素１２１ａの遮光膜１２１ｂの形状は、図３の例に限定されるものではなく、任意の形状に設定することが可能である。例えば、図３の水平方向に延びる形状、垂直方向及び水平方向に延びるＬ字型の形状、矩形の開口部が設けられた形状等にすることが可能である。
　　＜撮像素子１２１の第２の構成例＞
　図５は、撮像素子１２１の第２の構成例を示す図である。図５の上段には、第２の構成例である撮像素子１２１の画素１２１ａの側面断面図が示されており、図５の中段には、撮像素子１２１の上面図が示されている。また、図５の上段の側面断面図は、図５の中段におけるＡＢ断面となる。さらに、図５の下段は、撮像素子１２１の回路構成例である。
　図５の撮像素子１２１は、１つの画素１２１ａに４つのフォトダイオード１２１ｆ－１乃至１２１ｆ－４が形成され、遮光膜１２１ｇがフォトダイオード１２１ｆ－１乃至１２１ｆ－４同士を分離する領域に形成されている点で、図４の撮像素子１２１と異なる構成となっている。即ち、図５の撮像素子１２１では、遮光膜１２１ｇは、上面から見て「＋」形状に形成されている。なお、それらの共通の構成については図４と同一の符号を付しており、詳細な説明は省略する。
　図５の撮像素子１２１では、遮光膜１２１ｇによりフォトダイオード１２１ｆ－１乃至１２１ｆ－４が分離されることによって、フォトダイオード１２１ｆ－１乃至１２１ｆ－４間の電気的および光学的なクロストークの発生が防止される。すなわち、図５の遮光膜１２１ｇは、図４の撮像素子１２１の遮光膜１２１ｇと同様にクロストークを防止するためのものであって、入射角指向性を与えるためのものではない。
　また、図５の撮像素子１２１では、１個のＦＤ部１６３が４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４で共有される。図５の下段は、１個のＦＤ部１６３を４個のフォトダイオード１２１ｆ－１乃至１２１ｆ－４で共有するようにした回路構成例を示している。なお、図５の下段において、図４の下段と同一の構成については、その説明を省略する。
　図５の下段において、図４の下段の回路構成と異なる点は、フォトダイオード１６１（図４の上段におけるフォトダイオード１２１ｅに対応する）および転送トランジスタ１６２に代えて、フォトダイオード１６１－１乃至１６１－４（図５の上段におけるフォトダイオード１２１ｆ－１乃至１２１ｆ－４に対応する）および転送トランジスタ１６２－１乃至１６２－４を設け、ＦＤ部１６３を共有する構成としている点である。
　このような構成により、フォトダイオード１２１ｆ－１乃至１２１ｆ－４に蓄積された電荷は、フォトダイオード１２１ｆ－１乃至１２１ｆ－４と増幅トランジスタ１６５のゲート電極との接続部に設けられる所定の容量を有する共通のＦＤ部１６３に転送される。そして、ＦＤ部１６３に保持されている電荷のレベルに応じた信号が検出信号（画素信号）として読み出される。
　このため、フォトダイオード１２１ｆ－１乃至１２１ｆ－４で蓄積された電荷を様々な組み合わせで選択的に画素１２１ａの出力、すなわち検出信号に寄与させることができる。すなわち、フォトダイオード１２１ｆ－１乃至１２１ｆ－４毎に独立して電荷を読み出すことができる構成とし、出力に寄与するフォトダイオード１２１ｆ－１乃至１２１ｆ－４（フォトダイオード１２１ｆ－１乃至１２１ｆ－４が出力に寄与する度合い）を互いに異ならせることで、異なる入射角指向性を得ることができる。
　例えば、フォトダイオード１２１ｆ－１とフォトダイオード１２１ｆ－３の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算することにより、左右方向の入射角指向性を得ることができる。同様に、フォトダイオード１２１ｆ－１とフォトダイオード１２１ｆ－２の電荷をＦＤ部１６３に転送し、それぞれを読み出して得られる信号を加算することにより、上下方向の入射角指向性を得ることができる。
　また、４つのフォトダイオード１２１ｆ－１乃至１２１ｆ－４から独立して選択的に読み出される電荷に基づいて得られる信号は、検出画像を構成する１画素分に相当する検出信号となる。
　なお、各フォトダイオード１２１ｆ（の電荷）の検出信号への寄与は、例えば、各フォトダイオード１２１ｆの電荷（検出値）をＦＤ部１６３に転送するか否かだけでなく、電子シャッタ機能を用いてＦＤ部１６３への転送前にフォトダイオード１２１ｆに蓄積された電荷をリセットすること等でも実現することができる。例えば、ＦＤ部１６３への転送直前にフォトダイオード１２１ｆの電荷をリセットすれば、そのフォトダイオード１２１ｆは、検出信号に全く寄与しない状態となる。一方、フォトダイオード１２１ｆの電荷をリセットとＦＤ部１６３への電荷の転送との間に時間を持たせることにより、そのフォトダイオード１２１ｆは、部分的に検出信号に寄与する状態となる。
　以上のように、図５の撮像素子１２１の場合、４つのフォトダイオード１２１ｆ－１乃至１２１ｆ－４のうち、検出信号に用いるものの組み合わせを変更することで、画素毎に異なる入射角指向性を持たせることができる。また、図５の撮像素子１２１の各画素１２１ａから出力される検出信号は、被写体からの入射光の入射角に応じて変調された値（出力画素値）となり、入射角により特性（指向性）が異なる（入射角指向性を有する）。
　なお、図５の撮像素子１２１では、入射光が光学的に変調されずに全てのフォトダイオード１２１ｆ－１乃至１２１ｆ－４に入射されるため、検出信号は、光学的な変調により得られる信号ではない。また、以降において、検出信号に寄与しないフォトダイオード１２１ｆのことを、画素又は出力に寄与しないフォトダイオード１２１ｆとも称する。
　また、図５には、画素（画素１２１ａ）の受光面を４等分して、各領域にそれぞれ受光面が同じ大きさのフォトダイオード１２１ｆを配置した例、すなわち、フォトダイオードを４等分した例を示しているが、フォトダイオードの分割数や分割位置は任意に設定することが可能である。
　例えば、フォトダイオードを必ずしも等分する必要はなく、画素毎にフォトダイオードの分割位置を異ならせてもよい。これにより、例えば、複数の画素間で同じ位置のフォトダイオード１２１ｆを出力に寄与させるようにしたとしても、画素間で入射角指向性が異なるようになる。また、例えば、画素間で分割数を異なるものとすることにより、より自由に入射角指向性を設定することが可能になる。さらに、例えば、画素間で分割数及び分割位置の両方を異ならせるようにしてもよい。
　また、図４の撮像素子１２１及び図５の撮像素子１２１のいずれも、各画素が入射角指向性を独立に設定可能な構成を有している。なお、図４の撮像素子１２１では、各画素の入射角指向性が、遮光膜１２１ｂにより製造時に設定される。一方、図５の撮像素子１２１では、各画素のフォトダイオードの分割数や分割位置は製造時に設定されるが、各画素の入射角指向性（出力に寄与させるフォトダイオードの組合せ）は使用時（例えば、撮像時）に設定することができる。なお、図４の撮像素子１２１及び図５の撮像素子１２１のいずれにおいても、必ずしも全ての画素が、入射角指向性を持たせる構成を備える必要はない。
　なお、以下、図４の撮像素子１２１において、各画素１２１ａの遮光膜１２１ｂの形状を遮光パターンと称する。また、以下、図５の撮像素子１２１において、各画素１２１ａ内の出力に寄与しないフォトダイオード１２１ｆの領域の形状を遮光パターンと称する。
　　＜入射角指向性を生じさせる原理について＞
　撮像素子１２１の各画素の入射角指向性は、例えば、図６に示されるような原理により発生する。なお、図６の左上部および右上部は、図４の撮像素子１２１における入射角指向性の発生原理を説明する図であり、図６の左下部および右下部は、図５の撮像素子１２１における入射角指向性の発生原理を説明する図である。
　図６の左上部および右上部の画素は、いずれも１個のフォトダイオード１２１ｅを備える。これに対して、図６の左下部および右下部の画素は、いずれも２個のフォトダイオード１２１ｆを備える。なお、ここでは、１画素が２個のフォトダイオード１２１ｆを備える例を示しているが、これは説明の便宜上であり、１画素が備えるフォトダイオード１２１ｆの数は、その他の個数であってもよい。
　図６の左上部の画素においては、フォトダイオード１２１ｅ－１１の受光面の右半分を遮光するように遮光膜１２１ｂ－１１が形成されている。また、図６の右上部の画素においては、フォトダイオード１２１ｅ－１２の受光面の左半分を遮光するように遮光膜１２１ｂ－１２が形成されている。なお、図中の一点鎖線は、フォトダイオード１２１ｅの受光面の水平方向の中心を通り、受光面に対して垂直な補助線である。
　例えば、図６の左上部の画素においては、図中の一点鎖線に対して入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｅ－１１の遮光膜１２１ｂ－１１により遮光されていない左半分の範囲により受光され易い。これに対して、図中の一点鎖線に対して入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｅ－１１の遮光膜１２１ｂ－１１により遮光されていない左半分の範囲により受光されにくい。したがって、図６の左上部の画素は、図中の右上方からの入射光に対して受光感度が高く、左上方からの入射光に対して受光感度が低い入射角指向性を備えることになる。
　一方、例えば、図６の右上部の画素においては、入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｅ－１２の遮光膜１２１ｂ－１２により遮光されている左半分の範囲により受光されにくい。これに対して、入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｅ－１２の遮光膜１２１ｂ－１２により遮光されていない右半分の範囲により受光され易い。したがって、図６の右上部の画素は、図中の右上方からの入射光に対して受光感度が低く、左上方からの入射光に対して受光感度が高い入射角指向性を備えることになる。
　また、図６の左下部の画素は、図中の左右にフォトダイオード１２１ｆ－１１，１２１ｆ－１２が設けられており、いずれか一方の検出信号を読み出すようにすることで、遮光膜１２１ｂを設けることなく入射角指向性を有する構成とされている。
　すなわち、図６の左下部の画素では、図中の左側に設けられたフォトダイオード１２１ｆ－１１の信号のみを読み出すようにすることで、図６の左上部の画素と同様の入射角指向性を得ることができる。すなわち、図中の一点鎖線に対して入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｆ－１１に入射し、受光量に対応する信号がフォトダイオード１２１ｆ－１１から読み出されるため、この画素から出力される検出信号に寄与する。これに対して、図中の一点鎖線に対して入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｆ－１２に入射するが、フォトダイオード１２１ｆ－１２から読み出されないため、この画素から出力される検出信号に寄与しない。
　同様に、図６の右下部の画素のように、２個のフォトダイオード１２１ｆ－１３，１２１ｆ－１４を備える場合、図中の右側に設けられたフォトダイオード１２１ｆ－１４の信号のみを読み出すようにすることで、図６の右上部の画素と同様の入射角指向性を得ることができる。すなわち、入射角θ１を成す右上方向からの入射光は、フォトダイオード１２１ｆ－１３に入射するが、フォトダイオード１２１ｆ－１３から信号が読み出されないため、この画素から出力される検出信号に寄与しない。これに対して、入射角θ２を成す左上方向からの入射光は、フォトダイオード１２１ｆ－１４に入射し、受光量に対応する信号がフォトダイオード１２１ｆ－１４から読み出されるため、この画素から出力される検出信号に寄与する。
　なお、図６の上部の画素においては、画素（フォトダイオード１２１ｅの受光面）の水平方向の中心位置で遮光される範囲と遮光されない範囲が分かれる例を示したが、その他の位置で分かれるようにしてもよい。また、図６の下部の画素においては、画素の水平方向の中心位置で、２つのフォトダイオード１２１ｆが分かれる例を示したが、その他の位置で分かれるようにしてもよい。このように、遮光範囲又はフォトダイオード１２１ｆが分かれる位置を変えることにより、異なる入射角指向性を生じさせることができる。
　　＜オンチップレンズを含む構成における入射角指向性について＞
　次に、図７を参照して、オンチップレンズ１２１ｃを含めた構成における入射角指向性について説明する。
　図７の上段のグラフは、図７の中段及び下段の画素の入射角指向性を示している。なお、横軸が入射角度θであり、縦軸が検出信号レベルを示している。なお、入射角度θは、入射光の方向が、図７の中段左側の一点鎖線と一致する場合を０度とし、図７の中段左側の入射角度θ２１側を正の方向とし、図７の中段右側の入射角度θ２２側を負の方向とする。したがって、オンチップレンズ１２１ｃに対して、右上方より入射する入射光については、左上方より入射する入射光よりも入射角度が大きくなる。すなわち入射角度θは、入射光の進行方向が左に傾くほど大きくなり（正の方向に大きくなり）、右に傾くほど小さくなる（負の方向に大きくなる）。
　また、図７の中段左部の画素は、図６の上段左部の画素に、入射光を集光するオンチップレンズ１２１ｃ－１１、及び、所定の波長の光を透過させるカラーフィルタ１２１ｄ－１１を追加したものである。すなわち、この画素では、オンチップレンズ１２１ｃ－１１、カラーフィルタ１２１ｄ－１１、遮光膜１２１ｂ－１１、フォトダイオード１２１ｅ－１１が、図中上方の光の入射方向から順に積層されている。
　同様に、図７の中段右部の画素、図７の下段左部の画素、及び、図７の下段右部の画素は、それぞれ、図６の上段右部の画素、図６の下段左部の画素、及び、図６の下段右部の画素に、オンチップレンズ１２１ｃ－１１及びカラーフィルタ１２１ｄ－１１、又は、オンチップレンズ１２１ｃ－１２及びカラーフィルタ１２１ｄ－１２を追加したものである。
　図７の中段左部の画素では、図７の上段の実線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ－１１の検出信号レベル（受光感度）が変化する。すなわち、図中の一点鎖線に対して入射光のなす角である入射角度θが大きいほど（入射角度θが正の方向に大きいほど（図中の右方向に傾くほど））、遮光膜１２１ｂ－１１が設けられていない範囲に光が集光されることで、フォトダイオード１２１ｅ－１１の検出信号レベルが大きくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど（図中の左方向に傾くほど））、遮光膜１２１ｂ－１１が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ－１１の検出信号レベルが小さくなる。
　また、図７の中段右部の画素では、図７の上段の点線の波形で示されるように、入射光の入射角度θに応じてフォトダイオード１２１ｅ－１２の検出信号レベル（受光感度）が変化する。すなわち、入射光の入射角度θが大きいほど（入射角度θが正の方向に大きいほど）、遮光膜１２１ｂ－１２が設けられている範囲に光が集光されることで、フォトダイオード１２１ｅ－１２の検出信号レベルが小さくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、遮光膜１２１ｂ－１２が設けられていない範囲に光が入射することで、フォトダイオード１２１ｅ－１２の検出信号レベルが大きくなる。
　この図７の上段に示される実線および点線の波形は、遮光膜１２１ｂの範囲に応じて変化させることができる。従って、遮光膜１２１ｂの範囲により、画素単位で相互に異なる入射角指向性を持たせることが可能となる。
　上述したように、入射角指向性とは、入射角度θに応じた各画素の受光感度の特性であるが、これは、図７の中段の画素では、入射角度θに応じた遮光値の特性であるとも言える。すなわち、遮光膜１２１ｂは、特定の方向の入射光は高いレベルで遮光するが、それ以外の方向からの入射光は十分に遮光できない。この遮光できるレベルの変化が、図７の上段に示されるような入射角度θに応じた異なる検出信号レベルを生じさせる。したがって、各画素において最も高いレベルで遮光可能な方向を各画素の遮光方向と定義すると、画素単位で相互に異なる入射角指向性を持つということは、換言すれば、画素単位で相互に異なる遮光方向を持つということになる。
　また、図７の下段左部の画素では、図６の下段左部の画素と同様に、図中左部のフォトダイオード１２１ｆ－１１のみの信号を用いるようにすることで、図７の中段左部の画素と同様の入射角指向性を得ることができる。すなわち、入射光の入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、信号が読み出されるフォトダイオード１２１ｆ－１１の範囲に光が集光されることで、検出信号レベルが大きくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、信号が読み出されないフォトダイオード１２１ｆ－１２の範囲に光が集光されることで、検出信号レベルが小さくなる。
　また、同様に、図７の下段右部の画素では、図６の下段右部の画素と同様に、図中右部のフォトダイオード１２１ｆ－１４のみの信号を用いるようにすることで、図７の中段右部の画素と同様の入射角指向性を得ることができる。すなわち、入射光の入射角度θが大きくなると（入射角度θが正の方向に大きくなると）、出力（検出信号）に寄与しないフォトダイオード１２１ｆ－１３の範囲に光が集光されることで、画素単位の検出信号のレベルが小さくなる。逆に、入射光の入射角度θが小さいほど（入射角度θが負の方向に大きいほど）、出力（検出信号）に寄与するフォトダイオード１２１ｆ－１４の範囲に光が集光されることで、画素単位の検出信号のレベルが大きくなる。
　なお、図７の下段の画素のように、画素内に複数のフォトダイオードを設け、出力に寄与するフォトダイオードを変更可能な画素において、各フォトダイオードに入射光の入射角に対する指向性を持たせ、画素単位での入射角指向性を生じさせるために、各画素にオンチップレンズ１２１ｃが必須構成となる。
　なお、以下の説明では、図４の画素１２１ａのように、遮光膜１２１ｂを用いて入射角指向性を実現する画素１２１ａを用いる場合の例を中心に説明する。ただし、遮光膜１２１ｂが必須となる場合を除いて、基本的にフォトダイオードを分割して入射角指向性を実現する画素１２１ａを用いることも可能である。
　　＜遮光範囲と画角の関係について＞
　次に、図８及び図９を参照して、遮光範囲と画角の関係について説明する。
　例えば、図８の上段に示されるように、４辺のそれぞれの端部から幅ｄ１だけ遮光膜１２１ｂにより遮光されている画素１２１ａと、図８の下段に示されるように、４辺のそれぞれの端部から幅ｄ２（＞ｄ１）だけ遮光膜１２１ｂにより遮光されている画素１２１ａ’とを考える。
　図９は、撮像素子１２１の中心位置Ｃ１への被写体面１０２からの入射光の入射角度の例を示している。なお、図９においては、水平方向の入射光の入射角度の例を示しているが、垂直方向についてもほぼ同様となる。また、図９の右部には、図８における画素１２１ａ，１２１ａ’が示されている。
　例えば、図８の画素１２１ａが撮像素子１２１の中心位置Ｃ１に配置されている場合、被写体面１０２から画素１２１ａへの入射光の入射角の範囲は、図９の左部に示されるように角度Ａ１となる。従って、画素１２１ａは、被写体面１０２の水平方向の幅Ｗ１分の入射光を受光することができる。
　これに対して、図８の画素１２１ａ’が撮像素子１２１の中心位置Ｃ１に配置されている場合、画素１２１ａ’は画素１２１ａよりも遮光される範囲が広いため、被写体面１０２から画素１２１ａ’への入射光の入射角の範囲は、図９の左部に示されるように角度Ａ２（＜Ａ１）となる。従って、画素１２１ａ’は、被写体面１０２の水平方向の幅Ｗ２（＜Ｗ１）分の入射光を受光することができる。
　つまり、遮光範囲が狭い画素１２１ａは、被写体面１０２上の広い範囲を撮像するのに適した広画角画素であるのに対して、遮光範囲が広い画素１２１ａ’は、被写体面１０２上の狭い範囲を撮像するのに適した狭画角画素である。なお、ここでいう広画角画素および狭画角画素は、図８の画素１２１ａ，１２１ａ’の両者を比較する表現であって、その他の画角の画素を比較する上ではこの限りではない。
　従って、例えば、画素１２１ａは、図８の画像Ｉ１を復元するために用いられる。これに対して、例えば、画素１２１ａ’は、図８の画像Ｉ２を復元するために用いられる。
　なお、画角ＳＱ２は、画角ＳＱ１よりも狭いので、画角ＳＱ２と画角ＳＱ１の画像を同一の画素数で復元する場合、画角ＳＱ１の画像よりも、画角ＳＱ２の画像を復元する方が、より高画質な復元画像を得ることができる。つまり、同一画素数を用いて復元画像を得ることを考えた場合、より画角の狭い画像を復元する方が、より高画質な復元画像を得ることができる。
　また、例えば、被写体距離に加えて、上述したように、復元画像の画角に対応する係数セット群をさらに用意して、被写体距離および画角に応じた係数セット群を用いて、復元画像を復元するようにしても良い。なお、被写体距離および画角に対する分解能は、用意される係数セット群の数によるものとなる。
　さらに、被写体距離や画角が特定できるような場合については、全ての画素を用いずに、特定された被写体距離や画角に対応した被写体面の撮像に適した入射角指向性を有する画素の検出信号を用いて、復元画像を生成するようにしてもよい。これにより、特定された被写体距離や画角に対応した被写体面の撮像に適した画素の検出信号を用いて復元画像を生成することができる。
　　＜撮像素子１２１の画素領域の構成例＞
　図１０は、撮像素子１２１の画素領域（画素アレイ部）の構成例を模式的に示している。
　画素領域２０１は、異なる入射角指向性を備える画素１２１ａ（不図示）が行方向（水平方向）及び列方向（垂直方向）の２次元に配列された領域である。なお、入射角指向性は必ずしも画素１２１ａ単位で全て異なる必要はなく、入射角指向性が同じ画素１２１ａを含んでいてもよい。また、必ずしも全ての画素１２１ａが、入射角指向性を持たせる構成を備える必要はない。
　そして、画素領域２０１は、それぞれ異なる行に配置され、行方向に延びる検出領域２０２Ａ乃至検出領域２０２Ｃにより列方向に３等分されている。検出領域２０２Ａ乃至検出領域２０２Ｃは、後述するように、それぞれ復元画像の復元及びフリッカの検出に用いられる。
　検出領域２０２Ａ乃至検出領域２０２Ｃは、遮光パターンが互いに同じで、入射角指向性が同じ領域である。すなわち、検出領域２０２Ａ乃至検出領域２０２Ｃは、画素１２１ａの配列（画素１２１ａの数及び位置）が同じであり、領域内の互いに同じ位置（座標）に、遮光パターンが同じ画素１２１ａが配置されている。従って、検出領域２０２Ａ乃至検出領域２０２Ｃでは、ほぼ同じ被写体距離及び画角で、ほぼ同じ被写体の画像が撮像される。
　また、撮像素子１２１は、ローリングシャッタ方式であり、画素領域２０１の露光が行単位で順次行われる。すなわち、画素領域２０１の１行目から最終行まで順に露光が開始され、画素領域２０１の１行目から最終行まで順に各画素１２１ａの検出信号の読み出しが開始され、行単位で露光期間がシフトする。
　なお、画素領域２０１の露光は、必ずしも１行単位で行う必要はなく、複数行単位で行うようにしてもよい。すなわち、画素領域２０１の複数行単位で露光及び読み出しが開始され、複数行単位で露光期間がシフトするようにしてもよい。
　そして、撮像素子１２１は、各検出領域２０２内の画素１２１ａから出力される検出信号からなる複数の検出画像を検出領域２０２毎に生成し、復元部１２２又はバスＢ１に出力する。
　なお、以下、検出領域２０２Ａ乃至検出領域２０２Ｃを個々に区別する必要がない場合、単に検出領域２０２と称する。
　　＜制御部１２３の構成例＞
　図１１は、制御部１２３により実現される機能の一部の構成例を示すブロック図である。制御部１２３は、フリッカ検出部２２１及び動体検出部２２２の機能を実現する。
　フリッカ検出部２２１は、各検出領域２０２に対応する複数の検出画像、及び、各検出画像から復元された複数の復元画像のうち少なくとも一方に基づいて、フリッカの検出を行う。また、フリッカ検出部２２１は、復元画像の輝度に基づいて、フリッカが発生していると推定されるフリッカ領域の検出を行う。フリッカ検出部２２１は、フリッカ及びフリッカの検出結果等を示す情報を復元部１２２に供給する。
　動体検出部２２２は、各検出領域２０２に対応する複数の復元画像の特徴点を検出し、検出した特徴点に基づいて、動体の検出を行う。動体検出部２２２は、必要に応じて、動体の検出結果を示す情報を、記録再生部１２９に供給し、記録媒体１３０に記録させたり、通信部１３１を介して、他の機器に出力したりする。
　　＜撮像処理の第１の実施の形態＞
　次に、図１２のフローチャートを参照して、撮像装置１０１により実行される撮像処理について説明する。
　ステップＳ１において、撮像素子１２１は、被写体の撮像を行う。これにより、異なる入射角指向性を備える撮像素子１２１の各画素１２１ａから、被写体からの入射光の光量に応じた検出信号レベルを示す検出信号が出力される。また、撮像素子１２１は、各画素１２１ａの検出信号のＡ／Ｄ変換を行い、各画素１２１ａの検出信号からなる複数の検出画像を検出領域２０２毎に生成し、フリッカ検出部２２１に供給する。
　ここで、撮像素子１２１は、ローリングシャッタ方式なので、各検出領域２０２の露光期間が異なる。
　具体的には、図１３のＡは、撮像素子１２１の画素領域２０１を示し、図１３のＢは、画素領域２０１の各行の露光期間を示している。図１３の直線Ｌ１は、画素領域２０１の各行の露光開始タイミングを示し、直線Ｌ２は、画素領域２０１の各行の読み出し開始タイミングを示している。従って、画素領域２０１の各行の露光期間は、直線Ｌ１と直線Ｌ２の間の期間となる。
　また、図１３のＡには、点滅する被写体２５１（例えば、信号機のランプ等）が模式的に示されている。以下、図１３のＡに示されるように、被写体２５１は、検出領域２０２Ａの露光期間中に消灯し、検出領域２０２Ｂの露光期間中に消灯状態から点灯状態に遷移し、検出領域２０２Ｃの露光期間中に点灯しているものとする。
　ステップＳ２において、フリッカ検出部２２１は、各検出領域２０２の検出画像の輝度を比較する。例えば、フリッカ検出部２２１は、各検出領域２０２の検出画像の輝度の平均値をそれぞれ算出し、各検出画像間の輝度の平均値の差を算出する。
　ステップＳ３において、フリッカ検出部２２１は、フリッカが発生しているか否かを判定する。例えば、フリッカ検出部２２１は、全ての組合せの検出画像間の輝度の平均値の差が所定の閾値未満である場合、すなわち、全ての組合せの検出画像間の輝度の差が小さい場合、フリッカが発生していないと判定し、処理はステップＳ４に進む。
　ステップＳ４において、復元部１２２は、所定の検出領域２０２の検出画像のみ復元する。具体的には、フリッカ検出部２２１は、検出領域２０２Ａ乃至検出領域２０２Ｃの検出画像のうち所定の検出領域２０２（例えば、検出領域２０２Ａ）の検出画像を復元部１２２に供給する。
　復元部１２２は、復元対象となる被写体面までの距離、すなわち被写体距離を設定する。なお、被写体距離の設定方法には、任意の方法を採用することができる。例えば、復元部１２２は、入力部１２４を介してユーザにより入力された被写体距離、又は、検出部１２５により検出された被写体距離を、復元対象となる被写体面１０２までの距離に設定する。
　次に、復元部１２２は、設定した被写体距離に対応付けられている係数セット群を記憶部１２８から読み出す。
　次に、復元部１２２は、フリッカ検出部２２１から供給された検出画像の各画素の検出信号レベルと、取得した係数セット群とを用いて、式（１）乃至式（３）を参照して上述した連立方程式を作成する。次に、復元部１２２は、作成した連立方程式を解くことにより、設定した被写体距離に対応する被写体面上の各点光源の光強度を算出する。そして、復元部１２２は、算出した光強度に応じた画素値を有する画素を被写体面の各点光源の配置に従って並べることにより、被写体の像が結像された復元画像を生成する。
　さらに、復元部１２２は、必要に応じて、復元画像に対して、デモザイク処理、γ補正、ホワイトバランス調整、所定の圧縮形式への変換処理等を行う。また、復元部１２２は、必要に応じて、復元画像を表示部１２７に供給し、表示させたり、記録再生部１２９に供給し、記録媒体１３０に記録させたり、通信部１３１を介して、他の機器に出力したりする。
　その後、撮像処理は終了する。
　一方、ステップＳ３において、例えば、フリッカ検出部２２１は、少なくとも１組の検出画像間の輝度の平均値の差が所定の閾値以上である場合、すなわち、少なくとも１組の検出画像間の輝度の差が大きい場合、フリッカが発生していると判定し、処理はステップＳ５に進む。
　例えば、図１３のＡの例では、上述したように、検出領域２０２Ａ乃至検出領域２０２Ｃの露光期間において、被写体２５１の点滅状態が異なる。従って、検出領域２０２Ａ乃至検出領域２０２Ｃの検出画像間で、輝度の差が大きくなり、フリッカが発生していると判定される。
　ステップＳ５において、復元部１２２は、最も輝度が高い検出領域の検出画像のみ復元する。具体的には、フリッカ検出部２２１は、検出領域２０２Ａ乃至検出領域２０２Ｃの検出画像のうち最も輝度の平均値が高い検出画像を選択し、復元部１２２に供給する。
　例えば、図１３のＡの例では、検出領域２０２Ａ乃至検出領域２０２Ｃの検出画像のうち、被写体２５１が点灯しているときに撮像（露光）された検出領域２０２Ｃの検出画像が選択される。
　復元部１２２は、上述したステップＳ４と同様の処理により、フリッカ検出部２２１により選択された検出画像の復元を行う。
　その後、撮像処理は終了する。
　このようにして、フリッカの発生を抑制することができる。例えば、図１３のＡの例において、被写体２５１が点灯しているときに撮像された検出領域２０２Ｃの検出画像が復元される。これにより、点滅する被写体２５１を確実に検出することが可能になる。
　例えば、信号機のランプがＬＥＤ（Light Emitting Diode）により構成される場合、ランプの点灯中も実際にはランプが点滅するため、従来の撮像装置では、フリッカが発生し、点灯しているランプの検出に失敗する場合がある。
　一方、撮像装置１０１では、信号機のランプが点灯しているタイミングで撮像された検出画像から復元画像を復元することができ、点灯しているランプの検出の失敗を抑制することができる。その結果、例えば、復元画像を自動運転の制御に用いることにより、安全な自動運転を実現することができる。
　また、撮像装置１０１では、復元前の検出画像の状態でフリッカ検出が行われるので、迅速にフリッカの検出を行うことができる。
　さらに、１つの検出領域２０２の復元画像のみ復元されるため、計算量を削減することができ、例えば、フレームレート（サンプリング周期）を上げることができる。
　　＜撮像処理の第２の実施の形態＞
　次に、図１４のフローチャートを参照して、撮像装置１０１の撮像処理の第２の実施の形態について説明する。
　ステップＳ５１において、図１２のステップＳ１の処理と同様に、被写体の撮像が行われる。そして、撮像素子１２１は、各検出領域２０２の検出画像を復元部１２２に供給する。
　ステップＳ５２において、復元部１２２は、図１２のステップＳ４と同様の処理により、各検出領域２０２の検出画像を復元する。復元部１２２は、各検出領域２０２の復元画像をフリッカ検出部２２１に供給する。
　ステップＳ５３において、フリッカ検出部２２１は、各検出領域２０２の復元画像の輝度を比較する。例えば、フリッカ検出部２２１は、各検出領域２０２の復元画像の輝度の平均値をそれぞれ算出し、各復元画像間の輝度の平均値の差を算出する。
　ステップＳ５４において、フリッカ検出部２２１は、フリッカが発生しているか否かを判定する。例えば、フリッカ検出部２２１は、全ての組合せの復元画像間の輝度の平均値の差が所定の閾値未満である場合、すなわち、全ての組合せの復元画像間の輝度の差が小さい場合、フリッカが発生していないと判定し、処理はステップＳ５５に進む。
　ステップＳ５５において、復元部１２２は、復元画像を加算する。具体的には、フリッカ検出部２２１は、フリッカが発生していないことを復元部１２２に通知する。復元部１２２は、各検出領域２０２の復元画像の同じ位置の画素の画素値を加算することにより、復元画像を加算する。
　さらに、復元部１２２は、必要に応じて、加算した復元画像に対して、デモザイク処理、γ補正、ホワイトバランス調整、所定の圧縮形式への変換処理等を行う。また、復元部１２２は、必要に応じて、復元画像を表示部１２７に供給し、表示させたり、記録再生部１２９に供給し、記録媒体１３０に記録させたり、通信部１３１を介して、他の機器に出力したりする。
　その後、撮像処理は終了する。
　一方、ステップＳ５４において、例えば、フリッカ検出部２２１は、少なくとも１組の復元画像間の輝度の平均値の差が所定の閾値以上である場合、すなわち、少なくとも１組の復元画像間の輝度の差が大きい場合、フリッカが発生していると判定し、処理はステップＳ５６に進む。
　ステップＳ５６において、フリッカ検出部２２１は、各検出領域２０２の復元画像の輝度に基づいて、フリッカ領域を検出する。例えば、フリッカ検出部２２１は、各検出領域２０２の復元画像の輝度を画素毎に比較し、輝度の差が所定の閾値以上となる画素を抽出する。次に、フリッカ検出部２２１は、抽出した画素からノイズにより輝度が変動している画素を除去する等の処理を行った後、抽出した画素からなる領域をフリッカ領域として検出する。これにより、各検出領域２０２の復元画像間で輝度が大きく変化している領域が、フリッカ領域として検出される。
　例えば、図１５の左側は、図１３のＡの状態において撮像された検出領域２０２Ａ乃至検出領域２０２Ｃの検出画像から復元された復元画像３０１Ａ乃至復元画像３０１Ｃの例を示している。復元画像３０１Ａ乃至復元画像３０１Ｃ内の領域３０２Ａ乃至領域３０２Ｃ内には、図１３の被写体２５１が写っている。
　この場合、復元画像３０１Ａ乃至復元画像３０１Ｃにおいて、輝度の変化が大きい領域３０２Ａ乃至領域３０２Ｃがフリッカ領域として検出される。
　ステップＳ５７において、フリッカ検出部２２１は、最も輝度が高いフリッカ領域を検出する。例えば、フリッカ検出部２２１は、各検出領域２０２の復元画像毎にフリッカ領域の輝度の平均値を算出する。そして、フリッカ検出部２２１は、各復元画像のフリッカ領域のうち、輝度の平均値が最も高いフリッカ領域を検出する。
　例えば、図１５の左側の例では、復元画像３０１Ｃのフリッカ領域３０２Ｃが、最も輝度が高いフリッカ領域として検出される。
　なお、各復元画像内に複数のフリッカ領域が存在する場合（例えば、点滅する被写体が複数存在する場合）、各フリッカ領域単位で輝度が比較され、最も輝度が高いフリッカ領域が検出される。従って、フリッカ領域毎に（すなわち、点滅する被写体毎に）、最も輝度が高いフリッカ領域が検出される復元画像が異なる場合がある。
　ステップＳ５８において、フリッカ検出部２２１は、復元画像の加算及びフリッカ領域の合成を行う。具体的には、フリッカ検出部２２１は、各復元画像のフリッカ領域を除く領域内の同じ位置の画素の画素値を加算する。また、フリッカ検出部２２１は、画素値を加算することにより得られた復元画像に、ステップＳ５７の処理で検出した最も輝度が高いフリッカ領域の画像を合成する。
　例えば、図１５の例において、復元画像３０１Ａの領域３０２Ａを除く領域、復元画像３０１Ｂの領域３０２Ｂを除く領域、及び、復元画像３０１Ｃの領域３０２Ｃを除く領域内の同じ位置の画素の画素値が加算される。さらに、フリッカ領域３０２Ａ乃至フリッカ領域３０２Ｃのうち最も輝度が高いフリッカ領域３０２Ｃ内の画像が、加算後の復元画像に合成される。これにより、復元画像３０３が生成される。
　さらに、復元部１２２は、必要に応じて、得られた復元画像に対して、デモザイク処理、γ補正、ホワイトバランス調整、所定の圧縮形式への変換処理等を行う。また、復元部１２２は、必要に応じて、復元画像を表示部１２７に供給し、表示させたり、記録再生部１２９に供給し、記録媒体１３０に記録させたり、通信部１３１を介して、他の機器に出力したりする。
　その後、撮像処理は終了する。
　なお、各検出領域２０２の復元画像は、同じ被写体を同じ被写体距離及び画角でほぼ同時に撮像した画像である。従って、フリッカが発生していない場合、各検出領域２０２の復元画像を加算することにより、画質が向上する。例えば、ノイズを除去したり、高解像度化を実現したりすることができる。
　一方、フリッカが発生している場合も、フリッカが発生していない領域では、画素が加算されることにより画質が向上する。また、フリッカが発生している領域においては、各復元画像から最も輝度が高い領域の画像が合成される。これにより、復元画像の画質が向上するとともに、フリッカの発生を抑制することができる。
　なお、例えば、図１６に示されるように、復元画像３０１Ａ乃至復元画像３０１Ｃにおいて、特徴点を検出することにより、動体（オプティカルフロー）の検出を行うことができる。
　例えば、図１６のＡに示されるように、動体検出部２２２は、復元画像３０１Ａにおいて、消失点３５１Ａ、及び、特徴点３５２Ａ乃至特徴点３５４Ａを検出し、復元画像３０１Ｂにおいて、消失点３５１Ｂ、及び、特徴点３５２Ｂ乃至特徴点３５４Ｂを検出し、復元画像３０１Ｃにおいて、消失点３５１Ｃ、及び、特徴点３５２Ｃ乃至特徴点３５４Ｃを検出する。なお、特徴点３５２Ａ乃至特徴点３５２Ｃが互いに対応し、特徴点３５３Ａ乃至特徴点３５３Ｃが互いに対応し、特徴点３５４Ａ乃至特徴点３５４Ｃが互いに対応するものとする。
　そして、例えば、図１６のＢに拡大して示されるように、動体検出部２２２は、復元画像３０１Ａ乃至復元画像３０１Ｃの加算及び合成後の復元画像３０３において、特徴点３５２Ａ乃至特徴点３５２Ｃに基づいて、オプティカルフローを生成し、動体の検出を行う。同様に、動体検出部２２２は、復元画像３０３において、特徴点３５３Ａ乃至特徴点３５３Ｃに基づいて、オプティカルフローを生成し、動体の検出を行い、特徴点３５４Ａ乃至特徴点３５４Ｃに基づいて、オプティカルフローを生成し、動体の検出を行う。
　　＜画素領域を分割することによるフリッカ抑制効果＞
　次に、図１７及び図１８を参照して、画素領域を分割することによるフリッカ抑制効果について説明する。なお、図１７は、画素領域を分割しない場合の露光期間の例を示し、図１８は画素領域を検出領域４０１Ａ乃至検出領域４０１Ｅに５分割した場合の露光期間の例を示している。
　なお、以下、検出領域４０１Ａ乃至検出領域４０１Ｅを個々に区別する必要がない場合、単に検出領域４０１と称する。
　図１７及び図１８の例とも、画素領域全体の露光期間は同じである。具体的には、時刻ｔ１において、画素領域の１行目の露光が開始され、時刻ｔ３において、画素領域の最終行の露光が終了している。また、時刻ｔ４において、画素領域の１行目の検出信号の読み出しが開始され、時刻ｔ６において、画素領域の最終行の検出信号の読み出しが終了している。従って、露光時間ｓ１は、時刻ｔ４－時刻ｔ１となり、幕速ｍ１は、時刻ｔ３－時刻ｔ１となる。
　ここで、例えば、ＬＥＤにより構成される信号機のランプ等の点滅する被写体（以下、点滅体と称する）を撮像する場合について検討する。
　例えば、点滅体が、時刻ｔ２で消灯し、時刻ｔ５で点灯するものとする。この場合、図１７及び図１８の露光期間のうち斜線で示される期間が、点滅体の消灯期間ｄ１と重なる期間となる。また、消灯期間ｄ１の長さは、時刻ｔ５－時刻ｔ２となる。
　例えば、図１７に示されるように、画素領域を分割しない場合、画素領域の各行の間で点滅体からの入射光の強度のバラツキが大きくなる。例えば、画素領域の中間付近の行では、露光期間のほぼ全期間にわたって、点滅体からの光がほとんど入射しない。一方、画素領域の端付近の行では、露光期間の約半分の期間で、点滅体からの光が入射する。
　なお、幕速ｍ１が遅くなるほど、行毎の点滅体からの入射光の強度のバラツキが大きくなる。
　一方、式（１）乃至式（３）を参照して上述した連立方程式は、撮像中に被写体が静止し、変化しない前提で作成されるため、行毎の点滅体からの入射光の強度の差が大きくなると、連立方程式の関係性に齟齬が生じ、連立方程式を解くのが困難になる。その結果、例えば、連立方程式の解の誤差が大きくなり、復元画像の画質が劣化したり、点滅体の検出精度が低下したりする。
　なお、例えば、幕速ｍ１と点滅体の点灯時間との関係を考慮することにより、連立方程式をより正確に解くことが可能になる。しかし、幕速ｍ１と点滅体の点灯時間との関係を事前に予測する必要がある上に、計算量が大きくなるため、あまり現実的ではない。特に、復元画像を自動運転等に用いる場合、リアルタイム性が重視されるため、実用性に乏しくなる。
　一方、図１８に示されるように、画素領域を分割することにより、個々の検出領域４０１当たりの幕速は、ｍ１÷５となり速くなる。従って、各検出領域４０１内の点滅体からの入射光の強度のバラツキは、画素領域を分割しない場合と比較して小さくなる。
　その結果、画素領域を分割しない場合と比較して、連立方程式を解くのが容易になり、各検出領域４０１から復元される復元画像の画質が向上するとともに、点滅体の検出精度が向上する。
　＜＜２．変形例＞＞
　以下、上述した本技術の実施の形態の変形例について説明する。
　　＜検出領域に関する変形例＞
　上述した画素領域の分割数、すなわち、検出領域の数は、その一例であり、任意に変更することができる。
　また、各検出領域の遮光パターン、すなわち、各検出領域の入射角指向性は、必ずしも完全に一致しなくてもよい。例えば、各検出領域間の画素の配列が一部異なっていたり、同じ位置の画素１２１ａの一部の遮光パターンが異なっていてもよい。
　さらに、以上の説明では、各検出領域（内の画素）が復元画像の復元に用いられる例を示したが、例えば、図１９に示されるように、検出領域と復元画像の復元に用いる復元領域とが異なるようにしてもよい。
　図１９の画素領域５０１は、列方向（垂直方向）において、検出領域５０２Ａ乃至検出領域５０２Ｃ、復元領域５０３Ａ、及び、復元領域５０３Ｂに分かれている。検出領域５０２Ａ乃至検出領域５０２Ｃ、復元領域５０３Ａ、及び、復元領域５０３Ｂは、それぞれ画素領域５０１の異なる行に配置され、行方向（水平方向）に延びている。また、検出領域と復元領域とが交互に配置されている。
　検出領域５０２Ａ乃至検出領域５０２Ｃは、フリッカの検出にのみ用いられ、復元画像の復元には用いられない。
　一方、復元領域５０３Ａ及び復元領域５０３Ｂは、復元画像の復元にのみ用いられ、フリッカの検出には用いられない。また、復元領域５０３Ａ及び復元領域５０３Ｂからは、個別に検出画像が生成され、各検出画像から個別に復元画像が復元される。
　これにより、検出領域５０２Ａ乃至検出領域５０２Ｃの画素数を削減することができ、例えば、上述した図１２及び図１４のいずれの撮像処理においても、フリッカの検出時間を短縮することができる。
　なお、検出領域の数や復元領域の数は、変更することが可能である。
　また、検出領域の行数は、任意に設定することができ、例えば、１行でもよい。
　さらに、各検出領域は、全体として異なる行に配置されていればよく、一部が重複していてもよい。ただし、各検出領域を重複しないようにすることが望ましく、重複する場合も重複する行数が少ない方が望ましい。
　　＜復元処理に関する変形例＞
　以上においては、検出画像の撮像を行った後、すぐに所定の被写体距離に対応する復元画像を復元する処理について説明したが、例えば、すぐに復元処理を行わずに、検出画像を記録媒体１３０に記録したり、通信部１３１を介して、他の機器に出力したりした後、所望のタイミングで検出画像を用いて、復元画像を復元するようにしてもよい。この場合、復元画像の復元は、撮像装置１０１で行ってもよいし、他の装置で行ってもよい。例えば、任意の被写体距離や画角に応じた係数セット群を用いて作成した連立方程式を解いて復元画像を求めることで、任意の被写体距離や画角の被写体面に対する復元画像を得ることができ、リフォーカス等を実現することができる。
　また、撮像レンズを用いる撮像装置のように、オートフォーカス機能を実現することも可能である。例えば、復元画像に基づいてコントラストＡＦ（Auto Focus）方式と同様の山登り方式で最適な被写体距離を決定することで、オートフォーカス機能を実現することができる。
　　＜システムの構成に関する変形例＞
　例えば、撮像装置１０１の信号処理制御部１１１の一部又は全部を外部の装置で行うようにしてもよい。例えば、フリッカの検出や復元画像の復元を外部の装置で行うようにしてもよい。
　　＜撮像素子１２１に関する変形例＞
　図４では、変調素子として遮光膜１２１ｂを用いたり、出力に寄与するフォトダイオードの組合せを変更したりすることにより画素毎に異なる入射角指向性を持たせる例を示したが、本技術では、例えば、図２０に示されるように、撮像素子９０１の受光面を覆う光学フィルタ９０２を変調素子として用いて、各画素に入射角指向性を持たせるようにすることも可能である。
　具体的には、光学フィルタ９０２は、撮像素子９０１の受光面９０１Ａから所定の間隔を空けて、受光面９０１Ａの全面を覆うように配置されている。被写体面１０２からの光は、光学フィルタ９０２で変調されてから、撮像素子９０１の受光面９０１Ａに入射する。
　例えば、光学フィルタ９０２には、図２１に示される白黒の格子状のパターンを有する光学フィルタ９０２ＢＷを用いることが可能である。光学フィルタ９０２ＢＷには、光を透過する白パターン部と光を遮光する黒パターン部がランダムに配置されている。各パターンのサイズは、撮像素子９０１の画素のサイズとは独立して設定されている。
　図２２は、光学フィルタ９０２ＢＷを用いた場合の被写体面１０２上の点光源ＰＡ及び点光源ＰＢからの光に対する撮像素子９０１の受光感度特性を示している。点光源ＰＡ及び点光源ＰＢからの光は、それぞれ光学フィルタ９０２ＢＷで変調されてから、撮像素子９０１の受光面９０１Ａに入射する。
　例えば、点光源ＰＡからの光に対する撮像素子９０１の受光感度特性は、波形Ｓａのようになる。すなわち、光学フィルタ９０２ＢＷの黒パターン部により影が生じるため、点光源ＰＡからの光に対する受光面９０１Ａ上の像に濃淡のパターンが生じる。同様に、点光源ＰＢからの光に対する撮像素子９０１の受光感度特性は、波形Ｓｂのようになる。すなわち、光学フィルタ９０２ＢＷの黒パターン部により影が生じるため、点光源ＰＢからの光に対する受光面９０１Ａ上の像に濃淡のパターンが生じる。
　なお、点光源ＰＡからの光と点光源ＰＢからの光とは、光学フィルタ９０２ＢＷの各白パターン部に対する入射角度が異なるため、受光面に対する濃淡のパターンの現れ方にズレが生じる。従って、撮像素子９０１の各画素は、被写体面１０２の各点光源に対して入射角指向性を持つようになる。
　この方式の詳細は、例えば、「M. Salman Asif、他４名、“Flatcam: Replacing lenses with masks and computation”、“2015 IEEE International Conference on Computer Vision Workshop (ICCVW)”、2015年、663-666ページ」に開示されている。
　なお、光学フィルタ９０２ＢＷの黒パターン部の代わりに、図２３の光学フィルタ９０２ＨＷを用いるようにしてもよい。光学フィルタ９０２ＨＷは、偏光方向が等しい直線偏光素子９１１Ａと直線偏光素子９１１Ｂ、及び、１／２波長板９１２を備え、１／２波長板９１２は、直線偏光素子９１１Ａと直線偏光素子９１１Ｂの間に挟まれている。１／２波長板９１２には、光学フィルタ９０２ＢＷの黒パターン部の代わりに、斜線で示される偏光部が設けられ、白パターン部と偏光部がランダムに配置されている。
　直線偏光素子９１１Ａは、点光源ＰＡから出射されたほぼ無偏光の光のうち、所定の偏光方向の光のみを透過する。以下、直線偏光素子９１１Ａが、偏光方向が図面に平行な光のみを透過するものとする。直線偏光素子９１１Ａを透過した偏光光のうち、１／２波長板９１２の偏光部を透過した偏光光は、偏光面が回転されることにより、偏光方向が図面に垂直な方向に変化する。一方、直線偏光素子９１１Ａを透過した偏光光のうち、１／２波長板９１２の白パターン部を透過した偏光光は、偏光方向が図面に平行な方向のまま変化しない。そして、直線偏光素子９１１Ｂは、白パターン部を透過した偏光光を透過し、偏光部を透過した偏光光をほとんど透過しない。従って、偏光部を透過した偏光光は、白パターン部を透過した偏光光より光量が減少する。これにより、光学フィルタＢＷを用いた場合とほぼ同様の濃淡のパターンが、撮像素子９０１の受光面９０１Ａ上に生じる。
　また、図２４のＡに示されるように、光干渉マスクを光学フィルタ９０２ＬＦとして用いることが可能である。被写体面１０２の点光源ＰＡ，ＰＢから出射された光は、光学フィルタ９０２ＬＦを介して撮像素子９０１の受光面９０１Ａに照射される。図２４のＡの下方の拡大図に示されるように、光学フィルタ９０２ＬＦの例えば光入射面には、波長程度の凹凸が設けられている。また、光学フィルタ９０２ＬＦは、鉛直方向から照射された特定波長の光の透過が最大となる。被写体面１０２の点光源ＰＡ，ＰＢから出射された特定波長の光の光学フィルタ９０２ＬＦに対する入射角の変化（鉛直方向に対する傾き）が大きくなると光路長が変化する。ここで、光路長が半波長の奇数倍であるときは光が弱めあい、半波長の偶数倍であるときは光が強めあう。すなわち、点光源ＰＡ，ＰＢから出射されて光学フィルタ９０２ＬＦを透過した特定波長の透過光の強度は、図２４のＢに示すように、光学フィルタ９０２ＬＦに対する入射角に応じて変調されて撮像素子９０１の受光面９０１Ａに入射する。したがって、撮像素子９０１の各画素から出力される検出信号は、画素毎に各点光源の変調後の光強度を合成した信号となる。
　この方式の詳細は、例えば、上述した特表２０１６-５１０９１０号公報に開示されている。
　　＜その他の変形例＞
　また、本技術は、赤外光等の可視光以外の波長の光の撮像を行う撮像装置や撮像素子にも適用することが可能である。この場合、復元画像は、ユーザが目視して被写体を認識できる画像とはならず、ユーザが被写体を視認できない画像となる。この場合も、本技術を用いることにより、被写体を認識可能な画像処理装置等に対して、復元画像の画質が向上する。なお、通常の撮像レンズは遠赤外光を透過することが困難であるため、本技術は、例えば、遠赤外光の撮像を行う場合に有効である。したがって、復元画像は遠赤外光の画像であっても良く、また、遠赤外光に限らず、その他の可視光や非可視光の画像であっても良い。
　さらに、例えば、ディープラーニング等の機械学習を適用することにより、復元後の復元画像を用いずに、復元前の検出画像を用いて画像認識等を行うようにすることも可能である。この場合も、本技術を用いることにより、復元前の検出画像を用いた画像認識の精度が向上する。換言すれば、復元前の検出画像の画質が向上する。
　＜＜３．応用例＞＞
　本開示に係る技術は、様々な製品へ応用することができる。例えば、本開示に係る技術は、自動車、電気自動車、ハイブリッド電気自動車、自動二輪車、自転車、パーソナルモビリティ、飛行機、ドローン、船舶、ロボット、建設機械、農業機械（トラクター）などのいずれかの種類の移動体に搭載される装置として実現されてもよい。
　図２５は、本開示に係る技術が適用され得る移動体制御システムの一例である車両制御システム７０００の概略的な構成例を示すブロック図である。車両制御システム７０００は、通信ネットワーク７０１０を介して接続された複数の電子制御ユニットを備える。図２５に示した例では、車両制御システム７０００は、駆動系制御ユニット７１００、ボディ系制御ユニット７２００、バッテリ制御ユニット７３００、車外情報検出ユニット７４００、車内情報検出ユニット７５００、及び統合制御ユニット７６００を備える。これらの複数の制御ユニットを接続する通信ネットワーク７０１０は、例えば、ＣＡＮ（Controller　Area　Network）、ＬＩＮ（Local　Interconnect　Network）、ＬＡＮ（Local　Area　Network）又はＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークであってよい。
　各制御ユニットは、各種プログラムにしたがって演算処理を行うマイクロコンピュータと、マイクロコンピュータにより実行されるプログラム又は各種演算に用いられるパラメータ等を記憶する記憶部と、各種制御対象の装置を駆動する駆動回路とを備える。各制御ユニットは、通信ネットワーク７０１０を介して他の制御ユニットとの間で通信を行うためのネットワークＩ／Ｆを備えるとともに、車内外の装置又はセンサ等との間で、有線通信又は無線通信により通信を行うための通信Ｉ／Ｆを備える。図２５では、統合制御ユニット７６００の機能構成として、マイクロコンピュータ７６１０、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０、音声画像出力部７６７０、車載ネットワークＩ／Ｆ７６８０及び記憶部７６９０が図示されている。他の制御ユニットも同様に、マイクロコンピュータ、通信Ｉ／Ｆ及び記憶部等を備える。
　駆動系制御ユニット７１００は、各種プログラムにしたがって車両の駆動系に関連する装置の動作を制御する。例えば、駆動系制御ユニット７１００は、内燃機関又は駆動用モータ等の車両の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、車両の舵角を調節するステアリング機構、及び、車両の制動力を発生させる制動装置等の制御装置として機能する。駆動系制御ユニット７１００は、ＡＢＳ（Antilock　Brake　System）又はＥＳＣ（Electronic　Stability　Control）等の制御装置としての機能を有してもよい。
　駆動系制御ユニット７１００には、車両状態検出部７１１０が接続される。車両状態検出部７１１０には、例えば、車体の軸回転運動の角速度を検出するジャイロセンサ、車両の加速度を検出する加速度センサ、あるいは、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数又は車輪の回転速度等を検出するためのセンサのうちの少なくとも一つが含まれる。駆動系制御ユニット７１００は、車両状態検出部７１１０から入力される信号を用いて演算処理を行い、内燃機関、駆動用モータ、電動パワーステアリング装置又はブレーキ装置等を制御する。
　ボディ系制御ユニット７２００は、各種プログラムにしたがって車体に装備された各種装置の動作を制御する。例えば、ボディ系制御ユニット７２００は、キーレスエントリシステム、スマートキーシステム、パワーウィンドウ装置、あるいは、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー又はフォグランプ等の各種ランプの制御装置として機能する。この場合、ボディ系制御ユニット７２００には、鍵を代替する携帯機から発信される電波又は各種スイッチの信号が入力され得る。ボディ系制御ユニット７２００は、これらの電波又は信号の入力を受け付け、車両のドアロック装置、パワーウィンドウ装置、ランプ等を制御する。
　バッテリ制御ユニット７３００は、各種プログラムにしたがって駆動用モータの電力供給源である二次電池７３１０を制御する。例えば、バッテリ制御ユニット７３００には、二次電池７３１０を備えたバッテリ装置から、バッテリ温度、バッテリ出力電圧又はバッテリの残存容量等の情報が入力される。バッテリ制御ユニット７３００は、これらの信号を用いて演算処理を行い、二次電池７３１０の温度調節制御又はバッテリ装置に備えられた冷却装置等の制御を行う。
　車外情報検出ユニット７４００は、車両制御システム７０００を搭載した車両の外部の情報を検出する。例えば、車外情報検出ユニット７４００には、撮像部７４１０及び車外情報検出部７４２０のうちの少なくとも一方が接続される。撮像部７４１０には、ＴｏＦ（Time　Of　Flight）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ及びその他のカメラのうちの少なくとも一つが含まれる。車外情報検出部７４２０には、例えば、現在の天候又は気象を検出するための環境センサ、あるいは、車両制御システム７０００を搭載した車両の周囲の他の車両、障害物又は歩行者等を検出するための周囲情報検出センサのうちの少なくとも一つが含まれる。
　環境センサは、例えば、雨天を検出する雨滴センサ、霧を検出する霧センサ、日照度合いを検出する日照センサ、及び降雪を検出する雪センサのうちの少なくとも一つであってよい。周囲情報検出センサは、超音波センサ、レーダ装置及びＬＩＤＡＲ（Light　Detection　and　Ranging、Laser　Imaging　Detection　and　Ranging）装置のうちの少なくとも一つであってよい。これらの撮像部７４１０及び車外情報検出部７４２０は、それぞれ独立したセンサないし装置として備えられてもよいし、複数のセンサないし装置が統合された装置として備えられてもよい。
　ここで、図２６は、撮像部７４１０及び車外情報検出部７４２０の設置位置の例を示す。撮像部７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドア及び車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。フロントノーズに備えられる撮像部７９１０及び車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像部７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパ又はバックドアに備えられる撮像部７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像部７９１８は、主として先行車両又は、歩行者、障害物、信号機、交通標識又は車線等の検出に用いられる。
　なお、図２６には、それぞれの撮像部７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像部７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像部７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパ又はバックドアに設けられた撮像部７９１６の撮像範囲を示す。例えば、撮像部７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像が得られる。
　車両７９００のフロント、リア、サイド、コーナ及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサ又はレーダ装置であってよい。車両７９００のフロントノーズ、リアバンパ、バックドア及び車室内のフロントガラスの上部に設けられる車外情報検出部７９２０，７９２６，７９３０は、例えばＬＩＤＡＲ装置であってよい。これらの車外情報検出部７９２０～７９３０は、主として先行車両、歩行者又は障害物等の検出に用いられる。
　図２５に戻って説明を続ける。車外情報検出ユニット７４００は、撮像部７４１０に車外の画像を撮像させるとともに、撮像された画像データを受信する。また、車外情報検出ユニット７４００は、接続されている車外情報検出部７４２０から検出情報を受信する。車外情報検出部７４２０が超音波センサ、レーダ装置又はＬＩＤＡＲ装置である場合には、車外情報検出ユニット７４００は、超音波又は電磁波等を発信させるとともに、受信された反射波の情報を受信する。車外情報検出ユニット７４００は、受信した情報に基づいて、人、車、障害物、標識又は路面上の文字等の物体検出処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、降雨、霧又は路面状況等を認識する環境認識処理を行ってもよい。車外情報検出ユニット７４００は、受信した情報に基づいて、車外の物体までの距離を算出してもよい。
　また、車外情報検出ユニット７４００は、受信した画像データに基づいて、人、車、障害物、標識又は路面上の文字等を認識する画像認識処理又は距離検出処理を行ってもよい。車外情報検出ユニット７４００は、受信した画像データに対して歪補正又は位置合わせ等の処理を行うとともに、異なる撮像部７４１０により撮像された画像データを合成して、俯瞰画像又はパノラマ画像を生成してもよい。車外情報検出ユニット７４００は、異なる撮像部７４１０により撮像された画像データを用いて、視点変換処理を行ってもよい。
　車内情報検出ユニット７５００は、車内の情報を検出する。車内情報検出ユニット７５００には、例えば、運転者の状態を検出する運転者状態検出部７５１０が接続される。運転者状態検出部７５１０は、運転者を撮像するカメラ、運転者の生体情報を検出する生体センサ又は車室内の音声を集音するマイク等を含んでもよい。生体センサは、例えば、座面又はステアリングホイール等に設けられ、座席に座った搭乗者又はステアリングホイールを握る運転者の生体情報を検出する。車内情報検出ユニット７５００は、運転者状態検出部７５１０から入力される検出情報に基づいて、運転者の疲労度合い又は集中度合いを算出してもよいし、運転者が居眠りをしていないかを判別してもよい。車内情報検出ユニット７５００は、集音された音声信号に対してノイズキャンセリング処理等の処理を行ってもよい。
　統合制御ユニット７６００は、各種プログラムにしたがって車両制御システム７０００内の動作全般を制御する。統合制御ユニット７６００には、入力部７８００が接続されている。入力部７８００は、例えば、タッチパネル、ボタン、マイクロフォン、スイッチ又はレバー等、搭乗者によって入力操作され得る装置によって実現される。統合制御ユニット７６００には、マイクロフォンにより入力される音声を音声認識することにより得たデータが入力されてもよい。入力部７８００は、例えば、赤外線又はその他の電波を利用したリモートコントロール装置であってもよいし、車両制御システム７０００の操作に対応した携帯電話又はＰＤＡ（Personal　Digital　Assistant）等の外部接続機器であってもよい。入力部７８００は、例えばカメラであってもよく、その場合搭乗者はジェスチャにより情報を入力することができる。あるいは、搭乗者が装着したウェアラブル装置の動きを検出することで得られたデータが入力されてもよい。さらに、入力部７８００は、例えば、上記の入力部７８００を用いて搭乗者等により入力された情報に基づいて入力信号を生成し、統合制御ユニット７６００に出力する入力制御回路などを含んでもよい。搭乗者等は、この入力部７８００を操作することにより、車両制御システム７０００に対して各種のデータを入力したり処理動作を指示したりする。
　記憶部７６９０は、マイクロコンピュータにより実行される各種プログラムを記憶するＲＯＭ（Read　Only　Memory）、及び各種パラメータ、演算結果又はセンサ値等を記憶するＲＡＭ（Random　Access　Memory）を含んでいてもよい。また、記憶部７６９０は、ＨＤＤ（Hard　Disc　Drive）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等によって実現してもよい。
　汎用通信Ｉ／Ｆ７６２０は、外部環境７７５０に存在する様々な機器との間の通信を仲介する汎用的な通信Ｉ／Ｆである。汎用通信Ｉ／Ｆ７６２０は、ＧＳＭ（登録商標）（Global　System　of　Mobile　communications）、ＷｉＭＡＸ（登録商標）、ＬＴＥ（登録商標）（Long　Term　Evolution）若しくはＬＴＥ－Ａ（LTE－Advanced）などのセルラー通信プロトコル、又は無線ＬＡＮ（Ｗｉ－Ｆｉ（登録商標）ともいう）、Ｂｌｕｅｔｏｏｔｈ（登録商標）などのその他の無線通信プロトコルを実装してよい。汎用通信Ｉ／Ｆ７６２０は、例えば、基地局又はアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワーク又は事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバ又は制御サーバ）へ接続してもよい。また、汎用通信Ｉ／Ｆ７６２０は、例えばＰ２Ｐ（Peer　To　Peer）技術を用いて、車両の近傍に存在する端末（例えば、運転者、歩行者若しくは店舗の端末、又はＭＴＣ（Machine　Type　Communication）端末）と接続してもよい。
　専用通信Ｉ／Ｆ７６３０は、車両における使用を目的として策定された通信プロトコルをサポートする通信Ｉ／Ｆである。専用通信Ｉ／Ｆ７６３０は、例えば、下位レイヤのＩＥＥＥ８０２．１１ｐと上位レイヤのＩＥＥＥ１６０９との組合せであるＷＡＶＥ（Wireless　Access　in　Vehicle　Environment）、ＤＳＲＣ（Dedicated　Short　Range　Communications）、又はセルラー通信プロトコルといった標準プロトコルを実装してよい。専用通信Ｉ／Ｆ７６３０は、典型的には、車車間（Vehicle　to　Vehicle）通信、路車間（Vehicle　to　Infrastructure）通信、車両と家との間（Vehicle　to　Home）の通信及び歩車間（Vehicle　to　Pedestrian）通信のうちの１つ以上を含む概念であるＶ２Ｘ通信を遂行する。
　測位部７６４０は、例えば、ＧＮＳＳ（Global　Navigation　Satellite　System）衛星からのＧＮＳＳ信号（例えば、ＧＰＳ（Global　Positioning　System）衛星からのＧＰＳ信号）を受信して測位を実行し、車両の緯度、経度及び高度を含む位置情報を生成する。なお、測位部７６４０は、無線アクセスポイントとの信号の交換により現在位置を特定してもよく、又は測位機能を有する携帯電話、ＰＨＳ若しくはスマートフォンといった端末から位置情報を取得してもよい。
　ビーコン受信部７６５０は、例えば、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行止め又は所要時間等の情報を取得する。なお、ビーコン受信部７６５０の機能は、上述した専用通信Ｉ／Ｆ７６３０に含まれてもよい。
　車内機器Ｉ／Ｆ７６６０は、マイクロコンピュータ７６１０と車内に存在する様々な車内機器７７６０との間の接続を仲介する通信インタフェースである。車内機器Ｉ／Ｆ７６６０は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Near　Field　Communication）又はＷＵＳＢ（Wireless　USB）といった無線通信プロトコルを用いて無線接続を確立してもよい。また、車内機器Ｉ／Ｆ７６６０は、図示しない接続端子（及び、必要であればケーブル）を介して、ＵＳＢ（Universal　Serial　Bus）、ＨＤＭＩ（登録商標）（High-Definition　Multimedia　Interface、又はＭＨＬ（Mobile　High-definition　Link）等の有線接続を確立してもよい。車内機器７７６０は、例えば、搭乗者が有するモバイル機器若しくはウェアラブル機器、又は車両に搬入され若しくは取り付けられる情報機器のうちの少なくとも１つを含んでいてもよい。また、車内機器７７６０は、任意の目的地までの経路探索を行うナビゲーション装置を含んでいてもよい。車内機器Ｉ／Ｆ７６６０は、これらの車内機器７７６０との間で、制御信号又はデータ信号を交換する。
　車載ネットワークＩ／Ｆ７６８０は、マイクロコンピュータ７６１０と通信ネットワーク７０１０との間の通信を仲介するインタフェースである。車載ネットワークＩ／Ｆ７６８０は、通信ネットワーク７０１０によりサポートされる所定のプロトコルに則して、信号等を送受信する。
　統合制御ユニット７６００のマイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、各種プログラムにしたがって、車両制御システム７０００を制御する。例えば、マイクロコンピュータ７６１０は、取得される車内外の情報に基づいて、駆動力発生装置、ステアリング機構又は制動装置の制御目標値を演算し、駆動系制御ユニット７１００に対して制御指令を出力してもよい。例えば、マイクロコンピュータ７６１０は、車両の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、車両の衝突警告、又は車両のレーン逸脱警告等を含むＡＤＡＳ（Advanced　Driver　Assistance　System）の機能実現を目的とした協調制御を行ってもよい。また、マイクロコンピュータ７６１０は、取得される車両の周囲の情報に基づいて駆動力発生装置、ステアリング機構又は制動装置等を制御することにより、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行ってもよい。
　マイクロコンピュータ７６１０は、汎用通信Ｉ／Ｆ７６２０、専用通信Ｉ／Ｆ７６３０、測位部７６４０、ビーコン受信部７６５０、車内機器Ｉ／Ｆ７６６０及び車載ネットワークＩ／Ｆ７６８０のうちの少なくとも一つを介して取得される情報に基づき、車両と周辺の構造物や人物等の物体との間の３次元距離情報を生成し、車両の現在位置の周辺情報を含むローカル地図情報を作成してもよい。また、マイクロコンピュータ７６１０は、取得される情報に基づき、車両の衝突、歩行者等の近接又は通行止めの道路への進入等の危険を予測し、警告用信号を生成してもよい。警告用信号は、例えば、警告音を発生させたり、警告ランプを点灯させたりするための信号であってよい。
　音声画像出力部７６７０は、車両の搭乗者又は車外に対して、視覚的又は聴覚的に情報を通知することが可能な出力装置へ音声及び画像のうちの少なくとも一方の出力信号を送信する。図２５の例では、出力装置として、オーディオスピーカ７７１０、表示部７７２０及びインストルメントパネル７７３０が例示されている。表示部７７２０は、例えば、オンボードディスプレイ及びヘッドアップディスプレイの少なくとも一つを含んでいてもよい。表示部７７２０は、ＡＲ（Augmented　Reality）表示機能を有していてもよい。出力装置は、これらの装置以外の、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ又はランプ等の他の装置であってもよい。出力装置が表示装置の場合、表示装置は、マイクロコンピュータ７６１０が行った各種処理により得られた結果又は他の制御ユニットから受信された情報を、テキスト、イメージ、表、グラフ等、様々な形式で視覚的に表示する。また、出力装置が音声出力装置の場合、音声出力装置は、再生された音声データ又は音響データ等からなるオーディオ信号をアナログ信号に変換して聴覚的に出力する。
　なお、図２５に示した例において、通信ネットワーク７０１０を介して接続された少なくとも二つの制御ユニットが一つの制御ユニットとして一体化されてもよい。あるいは、個々の制御ユニットが、複数の制御ユニットにより構成されてもよい。さらに、車両制御システム７０００が、図示されていない別の制御ユニットを備えてもよい。また、上記の説明において、いずれかの制御ユニットが担う機能の一部又は全部を、他の制御ユニットに持たせてもよい。つまり、通信ネットワーク７０１０を介して情報の送受信がされるようになっていれば、所定の演算処理が、いずれかの制御ユニットで行われるようになってもよい。同様に、いずれかの制御ユニットに接続されているセンサ又は装置が、他の制御ユニットに接続されるとともに、複数の制御ユニットが、通信ネットワーク７０１０を介して相互に検出情報を送受信してもよい。
　以上説明した車両制御システム７０００において、例えば、図１を用いて説明した本実施形態に係る撮像装置１０１を、図２５に示した応用例の撮像部７４１０に適用することができる。これにより、撮像部７４１０から車外情報検出ユニット７４００にフリッカを除去した復元画像が供給され、フリッカの発生原因となる信号機、電子案内板、電子標識、街灯等に対する車外情報検出ユニット７４００の検出精度が向上する。
　＜＜４．その他＞＞
　上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウェアに組み込まれているコンピュータ（例えば、制御部１２３等）などが含まれる。
　コンピュータが実行するプログラムは、例えば、パッケージメディア等としての記録媒体（例えば、記録媒体１３０等）に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
　なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
　また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
　例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
　さらに、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。
　また、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。
　なお、本技術は、以下のような構成も取ることができる。
（１）
　撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域と、
　前記画素領域の異なる行に配置され、フリッカの検出に用いられる複数の検出領域と
　を備える撮像素子。
（２）
　各前記検出領域の前記入射光の入射角に対する指向性を示す入射角指向性が略同じである
　前記（１）に記載の撮像素子。
（３）
　各前記検出領域の画素の配列が略同じであり、互いに同じ位置の画素の前記入射角指向性が略同じである
　前記（２）に記載の撮像素子。
（４）
　各前記検出領域毎に復元画像の復元が行われる
　前記（１）乃至（３）のいずれかに記載の撮像素子。
（５）
　前記検出領域と、前記画素領域内の復元画像の復元に用いられる領域とが異なる
　前記（１）乃至（３）のいずれかに記載の撮像素子。
（６）
　撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域の異なる行に配置されている複数の検出領域内の画素から出力される検出信号に基づいて前記検出領域毎に生成される複数の検出画像、及び、各前記検出画像から復元される複数の復元画像のうち少なくとも一方に基づいて、フリッカの検出を行うフリッカ検出部を
　備える信号処理装置。
（７）
　前記フリッカ検出部は、各前記検出画像の輝度の差に基づいて、フリッカの検出を行う
　前記（６）に記載の信号処理装置。
（８）
　前記フリッカ検出部によりフリッカが検出された場合、各前記検出画像の輝度に基づいて選択された前記検出画像から前記復元画像を復元する復元部を
　さらに備える前記（７）に記載の信号処理装置。
（９）
　前記復元部は、前記フリッカ検出部によりフリッカが検出されなかった場合、複数の前記検出画像のうちのいずれかから前記復元画像を復元する
　前記（８）に記載の信号処理装置。
（１０）
　各前記検出画像からそれぞれ前記復元画像を復元する復元部を
　さらに備え、
　前記フリッカ検出部は、各前記復元画像の輝度の差に基づいて、フリッカの検出を行う
　前記（６）に記載の信号処理装置。
（１１）
　前記フリッカ検出部は、各前記復元画像の画素毎の輝度の差に基づいて、前記フリッカが発生していると推定されるフリッカ領域を検出する
　前記（１０）に記載の信号処理装置。
（１２）
　前記復元部は、各前記復元画像の前記フリッカ領域以外の領域の画像を加算するとともに、各前記復元画像の前記フリッカ領域の中から前記フリッカ領域の輝度に基づいて選択した前記フリッカ領域の画像を合成する
　前記（１１）に記載の信号処理装置。
（１３）
　各前記復元画像の特徴点に基づいて、前記復元部により加算及び合成された前記復元画像において動体を検出する動体検出部を
　さらに備える前記（１２）に記載の信号処理装置。
（１４）
　各前記検出領域の前記入射光の入射角に対する指向性を示す入射角指向性が略同じである
　前記（６）乃至（１３）のいずれかに記載の信号処理装置。
（１５）
　撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域の異なる行に配置されている複数の検出領域内の画素から出力される検出信号に基づいて前記検出領域毎に生成される複数の検出画像、及び、各前記検出画像から復元される複数の復元画像のうち少なくとも一方に基づいて、フリッカの検出を行う
　信号処理方法。
（１６）
　撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域の異なる行に配置されている複数の検出領域内の画素から出力される検出信号に基づいて前記検出領域毎に生成される複数の検出画像、及び、各前記検出画像から復元される複数の復元画像のうち少なくとも一方に基づいて、フリッカの検出を行う
　処理をコンピュータに実行させるためのプログラム。
（１７）
　　撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域と、
　　前記画素領域の異なる行に配置され、フリッカの検出に用いられる複数の検出領域と
　を備える撮像素子と、
　各前記検出領域内の画素から出力される検出信号に基づいて前記検出領域毎に生成される複数の検出画像、及び、各前記検出画像から復元される複数の復元画像のうち少なくとも一方に基づいて、フリッカの検出を行うフリッカ検出部と
　を備える撮像装置。
（１８）
　各前記検出領域の前記入射光の入射角に対する指向性を示す入射角指向性が略同じである
　前記（１７）に記載の撮像装置。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
　１０１　撮像装置，　１１１　信号処理制御部，　１２１　撮像素子，　１２１ａ，１２１ａ’　画素，　１２１ａＡ　復元用画素，　１２１ａＢ　露出用画素，　１２１ｂ　遮光膜，　１２２　復元部，　１２３　制御部，　２０１　画素領域，　２０２Ａ乃至２０２Ｃ　検出領域，　２２１　フリッカ検出部，　２２２　動体検出部，　３０１Ａ乃至３０１Ｃ，３０３　復元画像

Claims (18)

  1. 　撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域と、
    　前記画素領域の異なる行に配置され、フリッカの検出に用いられる複数の検出領域と
    　を備える撮像素子。
  2. 　各前記検出領域の前記入射光の入射角に対する指向性を示す入射角指向性が略同じである
    　請求項１に記載の撮像素子。
  3. 　各前記検出領域の画素の配列が略同じであり、互いに同じ位置の画素の前記入射角指向性が略同じである
    　請求項２に記載の撮像素子。
  4. 　各前記検出領域毎に復元画像の復元が行われる
    　請求項１に記載の撮像素子。
  5. 　前記検出領域と、前記画素領域内の復元画像の復元に用いられる領域とが異なる
    　請求項１に記載の撮像素子。
  6. 　撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域の異なる行に配置されている複数の検出領域内の画素から出力される検出信号に基づいて前記検出領域毎に生成される複数の検出画像、及び、各前記検出画像から復元される複数の復元画像のうち少なくとも一方に基づいて、フリッカの検出を行うフリッカ検出部を
    　備える信号処理装置。
  7. 　前記フリッカ検出部は、各前記検出画像の輝度の差に基づいて、フリッカの検出を行う
    　請求項６に記載の信号処理装置。
  8. 　前記フリッカ検出部によりフリッカが検出された場合、各前記検出画像の輝度に基づいて選択された前記検出画像から前記復元画像を復元する復元部を
    　さらに備える請求項７に記載の信号処理装置。
  9. 　前記復元部は、前記フリッカ検出部によりフリッカが検出されなかった場合、複数の前記検出画像のうちのいずれかから前記復元画像を復元する
    　請求項８に記載の信号処理装置。
  10. 　各前記検出画像からそれぞれ前記復元画像を復元する復元部を
    　さらに備え、
    　前記フリッカ検出部は、各前記復元画像の輝度の差に基づいて、フリッカの検出を行う
    　請求項６に記載の信号処理装置。
  11. 　前記フリッカ検出部は、各前記復元画像の画素毎の輝度の差に基づいて、前記フリッカが発生していると推定されるフリッカ領域を検出する
    　請求項１０に記載の信号処理装置。
  12. 　前記復元部は、各前記復元画像の前記フリッカ領域以外の領域の画像を加算するとともに、各前記復元画像の前記フリッカ領域の中から前記フリッカ領域の輝度に基づいて選択した前記フリッカ領域の画像を合成する
    　請求項１１に記載の信号処理装置。
  13. 　各前記復元画像の特徴点に基づいて、前記復元部により加算及び合成された前記復元画像において動体を検出する動体検出部を
    　さらに備える請求項１２に記載の信号処理装置。
  14. 　各前記検出領域の前記入射光の入射角に対する指向性を示す入射角指向性が略同じである
    　請求項６に記載の信号処理装置。
  15. 　撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域の異なる行に配置されている複数の検出領域内の画素から出力される検出信号に基づいて前記検出領域毎に生成される複数の検出画像、及び、各前記検出画像から復元される複数の復元画像のうち少なくとも一方に基づいて、フリッカの検出を行う
    　信号処理方法。
  16. 　撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域の異なる行に配置されている複数の検出領域内の画素から出力される検出信号に基づいて前記検出領域毎に生成される複数の検出画像、及び、各前記検出画像から復元される複数の復元画像のうち少なくとも一方に基づいて、フリッカの検出を行う
    　処理をコンピュータに実行させるためのプログラム。
  17. 　　撮像レンズ及びピンホールのいずれも介さず入射する被写体からの入射光を受光し、前記入射光の入射角によって変調された出力画素値を示す検出信号を１つ出力する画素を含む複数の画素が行方向及び列方向に配列され、行単位で順次露光される画素領域と、
    　　前記画素領域の異なる行に配置され、フリッカの検出に用いられる複数の検出領域と
    　を備える撮像素子と、
    　各前記検出領域内の画素から出力される検出信号に基づいて前記検出領域毎に生成される複数の検出画像、及び、各前記検出画像から復元される複数の復元画像のうち少なくとも一方に基づいて、フリッカの検出を行うフリッカ検出部と
    　を備える撮像装置。
  18. 　各前記検出領域の前記入射光の入射角に対する指向性を示す入射角指向性が略同じである
    　請求項１７に記載の撮像装置。
PCT/JP2020/020061 2019-06-04 2020-05-21 撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置 WO2020246250A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US17/612,043 US11889199B2 (en) 2019-06-04 2020-05-21 Imaging device, signal processing device, signal processing method, program, and imaging apparatus
EP20818805.2A EP3965159A4 (en) 2019-06-04 2020-05-21 IMAGING ELEMENT, SIGNAL PROCESSING DEVICE, SIGNAL PROCESSING METHOD, PROGRAM AND IMAGING DEVICE
JP2021524746A JP7484904B2 (ja) 2019-06-04 2020-05-21 撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-104236 2019-06-04
JP2019104236 2019-06-04

Publications (1)

Publication Number Publication Date
WO2020246250A1 true WO2020246250A1 (ja) 2020-12-10

Family

ID=73652511

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020061 WO2020246250A1 (ja) 2019-06-04 2020-05-21 撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置

Country Status (3)

Country Link
US (1) US11889199B2 (ja)
EP (1) EP3965159A4 (ja)
WO (1) WO2020246250A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020182139A (ja) * 2019-04-26 2020-11-05 ソニー株式会社 撮像システム及び撮像素子

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032551A (ja) * 2001-07-11 2003-01-31 Sony Corp 固体撮像素子およびその駆動方法、並びにカメラシステム
WO2018012492A1 (ja) 2016-07-13 2018-01-18 ソニー株式会社 撮像装置、撮像素子、および画像処理装置
WO2019078340A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 撮像装置および方法、並びに、画像処理装置および方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7142234B2 (en) 2002-12-10 2006-11-28 Micron Technology, Inc. Method for mismatch detection between the frequency of illumination source and the duration of optical integration time for imager with rolling shutter
GB0510470D0 (en) * 2005-05-23 2005-06-29 Qinetiq Ltd Coded aperture imaging system
CN102099916B (zh) * 2008-07-25 2013-07-31 康奈尔大学 光场图像传感器、方法及应用
US8054355B2 (en) * 2008-10-16 2011-11-08 Omnivision Technologies, Inc. Image sensor having multiple sensing layers
US8441551B2 (en) * 2008-11-14 2013-05-14 Ati Technologies Ulc Flicker detection circuit for imaging sensors that employ rolling shutters
JP5371858B2 (ja) * 2009-09-29 2013-12-18 富士フイルム株式会社 電子内視鏡装置
JP5810173B2 (ja) * 2011-12-21 2015-11-11 シャープ株式会社 撮像装置および電子情報機器
EP3129813B1 (en) * 2014-04-09 2020-06-03 Rambus Inc. Low-power image change detector
US10274652B2 (en) * 2016-02-05 2019-04-30 Rambus Inc. Systems and methods for improving resolution in lensless imaging
KR102577844B1 (ko) * 2016-08-09 2023-09-15 삼성전자주식회사 이미지 센서
CN111201778B (zh) * 2017-10-19 2022-02-08 索尼公司 成像装置、曝光控制方法、计算机可读存储介质和成像器件
EP3474485B1 (en) * 2017-10-20 2020-05-27 Secure-IC SAS Key generation from an imaging sensor
EP3474540A1 (en) * 2017-10-20 2019-04-24 Secure-IC SAS Synthetic physically unclonable function derived from an imaging sensor

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032551A (ja) * 2001-07-11 2003-01-31 Sony Corp 固体撮像素子およびその駆動方法、並びにカメラシステム
WO2018012492A1 (ja) 2016-07-13 2018-01-18 ソニー株式会社 撮像装置、撮像素子、および画像処理装置
WO2019078340A1 (ja) * 2017-10-19 2019-04-25 ソニー株式会社 撮像装置および方法、並びに、画像処理装置および方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FLATCAM: "Replacing lenses with masks and computation", 2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION WORKSHOP (ICCVW, 2015, pages 663 - 666, XP032865019, DOI: 10.1109/ICCVW.2015.89
See also references of EP3965159A4

Also Published As

Publication number Publication date
EP3965159A4 (en) 2022-06-15
US11889199B2 (en) 2024-01-30
JPWO2020246250A1 (ja) 2020-12-10
EP3965159A1 (en) 2022-03-09
US20220232157A1 (en) 2022-07-21

Similar Documents

Publication Publication Date Title
US11743604B2 (en) Imaging device and image processing system
JP7310869B2 (ja) 固体撮像装置、および電子機器
WO2020195966A1 (ja) 撮像システム及び撮像システムの制御方法、並びに、物体認識システム
JP6977821B2 (ja) 画像処理装置と画像処理方法
JP7134952B2 (ja) 撮像素子、及び、撮像素子を備えた電子機器
JP7024782B2 (ja) 画像処理装置と画像処理方法および撮像装置
WO2020105314A1 (ja) 固体撮像素子、および、撮像装置
JP7230824B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6816768B2 (ja) 画像処理装置と画像処理方法
JP6816769B2 (ja) 画像処理装置と画像処理方法
WO2018070259A1 (ja) 固体撮像素子およびその製造方法、並びに、電子機器
JP7235906B2 (ja) 固体撮像装置
JPWO2017217177A1 (ja) 画像処理装置、および撮像装置、ならびに画像処理システム
WO2020246250A1 (ja) 撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置
JP6981416B2 (ja) 画像処理装置と画像処理方法
WO2022270034A1 (ja) 撮像装置、電子機器、および光検出方法
JP7484904B2 (ja) 撮像素子、信号処理装置、信号処理方法、プログラム、及び、撮像装置
WO2021020156A1 (ja) 撮像素子、撮像装置、信号処理装置、及び、信号処理方法
JP7059185B2 (ja) 画像処理装置、画像処理方法、および撮像装置
JP2018029221A (ja) 固体撮像素子、信号処理装置、および、固体撮像素子の制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20818805

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021524746

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2020818805

Country of ref document: EP

Effective date: 20211129

NENP Non-entry into the national phase

Ref country code: DE