WO2011132241A1 - 撮像装置 - Google Patents

撮像装置 Download PDF

Info

Publication number
WO2011132241A1
WO2011132241A1 PCT/JP2010/005912 JP2010005912W WO2011132241A1 WO 2011132241 A1 WO2011132241 A1 WO 2011132241A1 JP 2010005912 W JP2010005912 W JP 2010005912W WO 2011132241 A1 WO2011132241 A1 WO 2011132241A1
Authority
WO
WIPO (PCT)
Prior art keywords
light
unit
infrared
signal
image
Prior art date
Application number
PCT/JP2010/005912
Other languages
English (en)
French (fr)
Inventor
小野澤　和利
加藤　剛久
信三 香山
Original Assignee
パナソニック株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by パナソニック株式会社 filed Critical パナソニック株式会社
Publication of WO2011132241A1 publication Critical patent/WO2011132241A1/ja
Priority to US13/611,586 priority Critical patent/US20130002882A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/87—Combinations of systems using electromagnetic waves other than radio waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/74—Circuitry for compensating brightness variation in the scene by influencing the scene brightness using illuminating means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483—Details of pulse systems
    • G01S7/486—Receivers
    • G01S7/4861—Circuits for detection, sampling, integration or read-out
    • G01S7/4863—Detector arrays, e.g. charge-transfer gates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter

Definitions

  • the present invention relates to an imaging apparatus capable of simultaneously outputting a color image by visible light and a monochrome image by infrared light.
  • solid-state image sensors such as CCD (Charge Coupled Device) and MOS (Metal Oxide Semiconductor) sensors are used. These solid-state image sensors have sensitivity in a wavelength region of about 400 nm to 1000 nm. When light from a subject is incident as it is, the image becomes reddish due to sensitivity to a wavelength component (about 700 nm to 1000 nm) in the infrared region. It becomes like this. For this reason, the camera removes light of wavelength components in the infrared region by inserting an infrared cut filter between the lens and the solid-state imaging device. In this way, by cutting infrared rays, the camera achieves the same color reproducibility as human eyes see.
  • CCD Charge Coupled Device
  • MOS Metal Oxide Semiconductor
  • Patent Documents 1 and 2 in order to maximize the amount of light input to the light receiving unit of the solid-state image sensor at night, an infrared cut filter is not used, and light including an infrared region is input to the light receiving unit of the solid-state image sensor. It is disclosed that an image is obtained by inputting.
  • infrared illumination devices that irradiate light in the infrared region near 850 nm, which is not felt by human eyes, are beginning to be used for security purposes.
  • An infrared LED that emits infrared light or the like is used for such an infrared illumination device.
  • the above-described conventional technology requires a mechanical mechanism for realizing insertion and removal of the infrared cut filter.
  • a mechanical mechanism for realizing insertion and removal of the infrared cut filter.
  • the infrared cut filter cannot be inserted or removed instantaneously, there is a time lag in switching images.
  • reliability such as mechanical failure caused by repeated switching.
  • the subject irradiated with infrared rays is photographed, so the image is not a color image, and the color of the subject such as the color of the criminal's clothes can be obtained only by the image. It has a problem that it cannot be identified.
  • the present invention has been made in view of the above problems, and can provide a good color image even under low illuminance such as at night, and has a clear contrast as in the case of using an infrared illumination device.
  • An object of the present invention is to provide an imaging device capable of simultaneously obtaining the above.
  • an imaging device includes a first unit pixel including a filter that transmits green visible light and infrared light, red visible light, and infrared light.
  • a second unit pixel having a filter that transmits light
  • a third unit pixel having a filter that transmits blue visible light and infrared light
  • a fourth unit pixel having a filter that transmits infrared light.
  • a solid-state imaging device having an imaging region in which a set of unit arrays are arranged two-dimensionally, a light-emitting device that emits infrared light, and causing the light-emitting device to emit or extinguish light in units of frame time.
  • a light emission control unit that emits light of external light in pulses, and a color image signal and infrared light from the solid-state imaging device in synchronization with a non-light emission period and a light emission period of the light emitting element that emits or extinguishes light by the light emission control unit Characterized in that it comprises a signal extraction unit for an image signal, and extracts, respectively by.
  • the imaging apparatus can take both images by electronically switching between a color visible light image and an infrared light image at high speed in units of one frame without providing a mechanical mechanism.
  • the imaging apparatus can take both images by electronically switching between a color visible light image and an infrared light image at high speed in units of one frame without providing a mechanical mechanism.
  • the signal extraction unit is a red for subtracting a signal from the fourth unit pixel from each of the signal from the first unit pixel, the signal from the second unit pixel, and the signal from the third unit pixel.
  • a color signal can be generated by subtracting the infrared signal from each of the (red + infrared) signal, the (green + infrared) signal, and the (blue + infrared) signal by the infrared difference unit. Therefore, a color image signal can be easily obtained by combining a color signal with a luminance signal. Furthermore, in a state where infrared LED light irradiation is applied, since all the pixels have sensitivity to infrared light, a sufficient amount of luminance signal can be secured, so that an infrared light image signal with good contrast can be synthesized.
  • the first unit pixel and the fourth unit pixel are adjacent to each other in the row direction or the column direction, and the first unit pixel and the second unit pixel are arranged diagonally. It is preferable.
  • the light emission control unit may cause the light emitting element to emit infrared light that emits or extinguishes in units of frame time as a pseudo random pulse.
  • the pseudo-random pulse may be a light-emission pulse modulated pseudo-randomly in time by a spread spectrum method by the light-emission control unit.
  • infrared light is diffused in a wide band
  • disturbance light in a narrow band can be easily separated.
  • the relative position of the moving object can be measured by the difference in the arrival time of the light.
  • the signal extraction unit may extract the color image signal based on the visible light and the image signal based on the infrared light, respectively, by despreading the image signal captured by the solid-state imaging device.
  • the signal extraction unit despreads and captures the signal from the solid-state imaging device, so that it is strong against interference waves and interference waves, and can increase the S / N ratio.
  • detecting means for detecting whether the signal of the fourth unit pixel is equal to or higher than a predetermined intensity, and dimming for reducing infrared light when the detecting means detects that the intensity is higher than a predetermined intensity. May be provided.
  • an accumulator that accumulates at least one of the color image signal based on the visible light and the image signal based on the infrared light may be provided.
  • the other image or both images can be stored in the storage unit and viewed later if necessary.
  • the solid-state imaging device includes a signal output unit that outputs the color image signal based on the visible light or the image signal based on the infrared light in 1/60 seconds or less.
  • the imaging apparatus can capture a color visible light image and an infrared light image whose contrast is brightened by infrared light at 30 fps or more, every other frame.
  • the imaging apparatus of the present invention it is possible to simultaneously output a color image by visible light and a monochrome image by infrared light.
  • FIG. 1 is a functional block diagram of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a timing chart illustrating imaging timing of the solid-state imaging device according to Embodiment 1 of the present invention.
  • FIG. 3 is a light emission timing chart of the infrared LED according to Embodiment 1 of the present invention.
  • FIG. 4 is a diagram illustrating temporal transition of a captured image in dim light by the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 5A is a color image diagram when the solid-state imaging device according to Embodiment 1 of the present invention is driven in 1 frame 1/60 second.
  • FIG. 1 is a functional block diagram of the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 2 is a timing chart illustrating imaging timing of the solid-state imaging device according to Embodiment 1 of the present invention.
  • FIG. 3 is a light emission timing chart of the infrared LED according to Embodiment 1 of
  • FIG. 5B is a monochrome image diagram obtained by infrared light emission when the solid-state imaging device according to Embodiment 1 of the present invention is driven in 1 frame 1/60 second.
  • FIG. 6 is a diagram illustrating a schematic configuration and a pixel arrangement of the solid-state imaging device according to Embodiment 1 of the present invention.
  • FIG. 7A is a graph showing the spectral sensitivity of a unit pixel having sensitivity in the wavelength band of blue light and infrared light.
  • FIG. 7B is a graph showing the spectral sensitivity of a unit pixel having sensitivity in the wavelength bands of green light and infrared light.
  • FIG. 7C is a graph showing the spectral sensitivity of unit pixels having sensitivity in the wavelength bands of red light and infrared light.
  • FIG. 7D is a graph showing the spectral sensitivity of a unit pixel having sensitivity in the wavelength band of infrared light.
  • FIG. 8 is a functional block diagram of a signal processing unit included in the imaging apparatus according to Embodiment 1 of the present invention.
  • FIG. 9A is a graph showing the spectral sensitivity characteristic when the spectral sensitivity characteristic of FIG. 7D is subtracted from the spectral sensitivity characteristic of FIG. 7A.
  • FIG. 9B is a graph showing the spectral sensitivity characteristic when the spectral sensitivity characteristic of FIG. 7D is subtracted from the spectral sensitivity characteristic of FIG. 7B.
  • FIG. 9C is a graph showing the spectral sensitivity characteristic when the spectral sensitivity characteristic of FIG. 7D is subtracted from the spectral sensitivity characteristic of FIG. 7C.
  • FIG. 10A is an image captured by the imaging apparatus according to Embodiment 1 of the present invention in a state in which the halogen lamp light is irradiated.
  • FIG. 10B is an image captured by the imaging apparatus according to Embodiment 1 of the present invention in a state where infrared LED light irradiation is added to halogen lamp light irradiation.
  • FIG. 11 is a light emission timing chart of the infrared LED according to Embodiment 2 of the present invention.
  • FIG. 10A is an image captured by the imaging apparatus according to Embodiment 1 of the present invention in a state in which the halogen lamp light is irradiated.
  • FIG. 10B is an image captured by the imaging apparatus according to Embodiment 1 of the present invention in a state where infrared
  • FIG. 12 is a diagram illustrating temporal transition of a captured image in dim light by the imaging apparatus according to Embodiment 2 of the present invention.
  • FIG. 13 is a diagram illustrating an example of a circuit configuration of an M-sequence signal generator included in the light emission control unit 60 according to Embodiment 2 of the present invention.
  • FIG. 14 is a timing chart illustrating the emission timing of the infrared LED generated by the M-sequence signal generator.
  • FIG. 15 is a light emission timing chart of the infrared LED showing a modification according to Embodiment 2 of the present invention.
  • Embodiment 1 A configuration of the imaging apparatus (camera system) 100 according to Embodiment 1 of the present invention will be described.
  • FIG. 1 is a functional block diagram of the imaging apparatus according to Embodiment 1 of the present invention.
  • the imaging apparatus 100 illustrated in FIG. 1 includes a lens optical system 1, a solid-state imaging device 10, a signal processing unit 20, a signal switching unit 30, a control unit 40, a signal storage unit 50, and a light emission control unit 60. And an infrared LED 70 of a light emitting element that emits infrared light, and image output units 80 and 81.
  • the solid-state imaging device 10 is preferably a CMOS image sensor, but is not limited thereto, and for example, a CCD image sensor can be used.
  • the configuration other than the solid-state imaging device 10 and the lens optical system 1 can be formed entirely or partially on the same semiconductor substrate.
  • the optical signal from the subject that has entered from the lens optical system 1 is converted into an electrical signal for each pixel by the solid-state imaging device 10, and the electrical signal is converted into a video signal by the signal processing unit 20. Then, the video signal is displayed as a video on the image output units 80 and 81 or the external image output device via the signal switching unit 30.
  • Lights that illuminate the subject include sunlight, moonlight, streetlights, lights leaking from buildings, and display lights for advertising. In addition, there are fluorescent lamps and incandescent lamps indoors, and recently LED lighting.
  • Fluorescent lamps and LED lighting emit light in the visible wavelength range
  • sunlight and incandescent lamps emit light in both visible and infrared wavelength ranges.
  • the imaging apparatus 100 includes the infrared LED 70 and the light emission control unit 60, and can emit pulsed light from the infrared LED 70 that is modulated in units of frame time from the infrared LED 70.
  • the imaging device 100 captures an image of the subject illuminated by the infrared light from the infrared LED 70 at night or in the dark, so that the image of the subject with a high contrast is output to the image output units 80 and 81 or the outside. It can output to an image output device.
  • the control unit 40 determines the pulse emission timing of the infrared LED 70 and instructs the emission control unit 60 to determine the timing. Specifically, the control unit 40 determines the drive timing for causing the infrared LED 70 to emit light based on the timing of the horizontal blanking period of the solid-state imaging device 10 and the video period of one frame.
  • the light emission control unit 60 is a pulse circuit that generates a drive pulse signal for controlling on / off of pulsed light emission of the infrared LED 70 according to an instruction from the control unit 40. That is, the light emission control unit 60 has a function of causing the infrared LED 70 to emit infrared light in units of frame time.
  • FIG. 2 is a timing chart illustrating the imaging timing of the solid-state imaging device 10 according to Embodiment 1 of the present invention.
  • a period T1 is a horizontal blanking period in which no optical signal is captured
  • a period T2 is an imaging period (one frame) in which an optical signal is captured.
  • the blanking period T1 is a period having the same length
  • the imaging period T2 is also a period having the same length.
  • FIG. 3 is a light emission timing chart of the infrared LED 70 according to the first embodiment of the present invention. As shown in the figure, the infrared LED 70 is repeatedly turned on and off. The pulse light emission of the infrared LED 70 rises within the horizontal blanking period when it is turned on, and falls within the horizontal blanking period when it is turned off. In the light emission timing chart of FIG. 3, the infrared LED 70 is repeatedly turned on and off every frame. Thereby, the imaging device 100 can alternately capture a color image and a monochrome image by infrared light irradiation in units of one frame.
  • FIG. 4 is a diagram illustrating temporal transition of a captured image in dim light by the imaging apparatus according to Embodiment 1 of the present invention.
  • the control unit 40 causes the infrared LED 70 to turn on and off for each frame, and drives the solid-state imaging device 10 in 1 frame 1/60 second.
  • the solid-state imaging device 10 includes a signal output unit that outputs a color image signal received and converted when the infrared LED 70 is turned off or an image signal based on infrared light received and converted when the infrared LED 70 is turned on. At this time, the signal output unit outputs an image signal in 1/60 second or less.
  • the imaging apparatus 100 can capture a color image and a monochrome image whose contrast is brightened by infrared light at 30 fps every other frame in the darkness.
  • FIG. 5A is a color image diagram when the solid-state imaging device 10 according to Embodiment 1 of the present invention is driven in 1 frame 1/60 second
  • FIG. 5B is a solid image according to Embodiment 1 of the present invention. It is a monochrome image figure by infrared light emission when the image pick-up element 10 is driven in 1 frame 1/60 second.
  • the control unit 40 switches the signal from the signal switching unit 30 to the image output unit 80 and the image output unit 81 in synchronization with the pulse timing of the infrared LED 70, whereby the color image of FIG. 5A and the infrared image of FIG. Monochrome images whose contrast is brightened by light can be separately viewed at 30 fps by the image output units 80 and 81, respectively.
  • the other image or both images are stored in the signal storage unit 50, which is a storage unit. Can be seen later. At this time, it is preferable that the imaging time is recorded in the image.
  • an image with improved recognition can be created by combining a color image and a monochrome image.
  • FIG. 6 is a diagram illustrating a schematic configuration and pixel arrangement of the solid-state imaging device 10 according to the first embodiment of the present invention.
  • unit pixels for example, a pixel size of 3.75 ⁇ m ⁇ 3.75 ⁇ m
  • the unit pixel arranged in the imaging region 11 has a unit pixel 12 having a filter that transmits infrared light and having sensitivity only in the wavelength band of infrared light, and a filter that transmits red light and infrared light.
  • Unit pixel 14 having sensitivity in the wavelength band of red light and infrared light
  • unit pixel 15 having a filter that transmits blue light and infrared light, and having sensitivity in the wavelength band of blue light and infrared light
  • green And a unit pixel 16 having a filter that transmits light and infrared light and having sensitivity in the wavelength band of green light and infrared light.
  • the four pixels of the unit pixels 12, 14, 15 and 16 are arranged in a square as a set of unit arrays.
  • the graph of FIG. 7A to 7D are graphs showing spectral sensitivity characteristics of each unit pixel according to Embodiment 1 of the present invention.
  • the graph of FIG. 7A represents the spectral sensitivity characteristics of the unit pixel 15 having sensitivity in the wavelength band of blue light and infrared light.
  • the graph of FIG. 7B represents the spectral sensitivity characteristics of the unit pixel 16 having sensitivity in the wavelength bands of green light and infrared light.
  • the graph of FIG. 7C represents the spectral sensitivity characteristics of the unit pixel 14 having sensitivity in the wavelength bands of red light and infrared light.
  • the graph of FIG. 7D represents the spectral sensitivity characteristics of the unit pixel 12 having sensitivity only in the wavelength band of infrared light.
  • the signal processing unit 20 synchronizes with the non-light emission period and the light emission period of the infrared LED 70 that emits or extinguishes light according to the drive pulse signal of the light emission control unit 60, and outputs the color image signal and infrared light from the solid-state imaging device 10.
  • FIG. 8 is a functional block diagram of a signal processing unit included in the imaging apparatus according to Embodiment 1 of the present invention.
  • the signal processing unit 20 shown in the figure includes a defect correction unit 21, an OB processing unit 22, a low-pass filter (LPF) 23, an IR subtraction unit 24, a white balance adjustment unit 25, and a color signal processing unit 26.
  • the defect correction unit 21 performs a process of replacing the signal of the defective pixel with an adjacent pixel signal.
  • the OB processing unit 22 adjusts the black signal level based on the light-shielded unit pixel signal provided at the end of the imaging region 11 of the solid-state imaging device 10.
  • LPF 23 removes high frequency noise components included in the image signal.
  • the IR subtracting unit 24 receives the unit pixel 12 from each of the (R + IR) signal that is an electrical signal of the unit pixel 14, the (B + IR) signal that is the electrical signal of the unit pixel 15, and the (G + IR) signal that is the electrical signal of the unit pixel 16.
  • This is an infrared difference unit that subtracts the IR signal, which is an electrical signal, to generate a color signal.
  • the color signal generated by the IR subtraction unit 24 is subjected to white balance processing in the white balance adjustment unit 25, hue and saturation processing in the color signal processing unit 26, and color gain adjustment processing in the color gain unit 27. Thereafter, the luminance signal generated by the luminance signal processing unit 28 is combined with the combining unit 29.
  • a color image signal is a combination of a color signal and a luminance signal.
  • FIGS. 7A to 7C are graphs showing the spectral sensitivity characteristics when the spectral sensitivity characteristics of FIG. 7D are subtracted from the spectral sensitivity characteristics of FIGS. 7A to 7C, respectively.
  • a color signal can be generated by subtracting the IR signal from each of the (R + IR) signal, the (G + IR) signal, and the (B + IR) signal.
  • the color signal is generated by subtracting the signal of the unit pixel 12 from the pixel signal of the unit pixels 14, 15, and 16, and the luminance signal is generated from the pixel signal of the unit pixels 12, 14, 15, and 16. . That is, if a color signal is combined with a luminance signal, it becomes a color image signal, and if it is used as it is, it becomes a monochrome image signal.
  • the signal processing unit 20 can select a monochrome image signal generated only by a luminance signal or a pseudo color image signal as an image signal by infrared light when the infrared LED is turned on. When the infrared LED is lit, the visible light amount is smaller than the infrared light amount, so that a sufficient color signal cannot be obtained, resulting in a pseudo color image signal.
  • the signal processing unit 20 has a color signal in which the pixel signals of the unit pixels 14, 15, and 16 that are preferentially sensitive to visible light are dominant when the subject is irradiated with only halogen lamp light. It becomes possible to synthesize a visible light image.
  • an infrared light image in which the pixel signal of the unit pixel 12 having sensitivity to infrared light is dominant can be synthesized. .
  • FIG. 10A is an image captured by the imaging apparatus according to Embodiment 1 of the present invention in a state in which the halogen lamp light is irradiated.
  • FIG. 10B is a state in which infrared LED light irradiation is added to the halogen lamp light irradiation.
  • FIG. 3 is an image captured by the imaging apparatus according to Embodiment 1 of the present invention.
  • the image shown in FIG. 10A is an image taken with a halogen lamp irradiated so that the color temperature is 2850K and the illuminance of the subject is 1 lux.
  • the image shown in FIG. 10B is an image taken in a state in which an infrared LED light having an irradiation intensity of 50 ⁇ W is added to a halogen lamp light having a color temperature of 2850 K and a subject illuminance of 1 lux. .
  • the subject In the area A shown in FIG. 10A, the subject is hidden behind the shadow and is difficult to see, but in the area A shown in FIG. 10B, the subject is clearly visible. On the contrary, in the area B shown in FIG. 10B, the subject is hidden behind the shadow and is difficult to see, but in the area B shown in FIG. 10B, the subject is clearly visible.
  • the imaging apparatus 100 hides in the shadow by electronically switching between a color visible light image and an infrared light image at high speed and capturing both images.
  • the subject can be seen, and has a special effect for monitoring purposes.
  • the imaging apparatus 100 has a frame time for the solid-state imaging device 10, the infrared LED 70 that emits infrared light, and the infrared LED 70.
  • a light emission control unit 60 that emits pulsed infrared light as a unit, and a signal processing unit 20 that extracts a color image signal based on visible light and an image signal based on infrared light from the solid-state imaging device 10 in accordance with the modulation.
  • the solid-state imaging device 10 includes a pixel having a filter that transmits green visible light and infrared light, a pixel having a filter that transmits red visible light and infrared light, and blue visible light and red.
  • It has an imaging region 11 in which unit arrays each including a pixel having a filter that transmits external light and a pixel having a filter that transmits infrared light are two-dimensionally arranged.
  • the signal processing unit 20 of the imaging device 100 receives signals from pixels having filters that transmit green visible light and infrared light, and signals from pixels having filters that transmit red visible light and infrared light.
  • An infrared difference unit is provided for subtracting a signal from a pixel having a filter that transmits infrared light from a signal and a signal from a pixel having a filter that transmits blue visible light and infrared light.
  • the unit array of the solid-state imaging device 10 has a pixel having a filter that transmits green visible light and infrared light and a pixel having a filter that transmits infrared light, which are adjacent to each other in the row direction or the column direction. It is preferable that a pixel having a filter that transmits green visible light and infrared light and a pixel having a filter that transmits red visible light and infrared light are diagonally arranged.
  • Embodiment 2 The imaging apparatus according to Embodiment 2 of the present invention differs from Embodiment 1 in the drive timing of pulsed light emission of the infrared LED 70.
  • description of the same configuration as that of the first embodiment will be omitted, and description will be made focusing on driving timing of pulsed light emission of the infrared LED 70.
  • the control unit 40 determines the drive timing for causing the infrared LED 70 to emit light based on the timing of the horizontal blanking period of the solid-state imaging device 10 and the video period of one frame.
  • the infrared LED 70 emits pulses by the drive pulse signal generated by the light emission control unit 60.
  • FIG. 11 is a light emission timing chart of the infrared LED according to Embodiment 2 of the present invention.
  • the infrared LED 70 is turned on and off in a pseudo-random manner.
  • the pulse light emission of the infrared LED 70 rises within the horizontal blanking period when it is turned on, and falls within the horizontal blanking period when it is turned off.
  • the infrared LED 70 is repeatedly turned on and off for each frame in a pseudo-random manner.
  • FIG. 12 is a diagram illustrating temporal transition of a captured image in dim light by the imaging apparatus according to Embodiment 2 of the present invention.
  • the control unit 40 causes the infrared LED 70 to be turned on and off in a pseudo-random manner for each frame, and drives the solid-state imaging device 10 in 1 frame 1/60 second.
  • the imaging device captures a color image and a monochrome image whose contrast is brightened by infrared light at approximately 30 fps in the dark and in synchronization with the turning on and off of the infrared LED 70. Can do.
  • the pseudo-random modulation of the pulse emission of the infrared LED 70 may be a spread spectrum method.
  • the modulated infrared light in units of frame time is emitted from the infrared LED 70 as a pseudo-random pulse. Can do.
  • the spread code sequence used in the spread spectrum system is a code with a speed sufficiently exceeding the bit rate of the data, and it is desirable that the spectrum has a uniform spectrum within the band. In addition, it is desirable to have periodicity for ease of demodulation.
  • the pseudo-random sequence PN sequence meets this requirement.
  • the PN sequence is artificially generated based on a certain rule by a circuit using a shift register and feedback.
  • the most well-known PN sequence is M-sequence (Maximum-length Sequences), which has excellent correlation characteristics.
  • the imaging apparatus according to Embodiment 2 can be applied to a headlight module, and the light emission control unit 60 of FIG. 1 includes an M-sequence signal generator.
  • FIG. 13 is a diagram illustrating an example of a circuit configuration of an M-sequence signal generator included in the light emission control unit 60 according to Embodiment 2 of the present invention.
  • the M-sequence signal generator shown in the figure includes three shift registers D 1 to D 3 and an exclusive OR circuit (EXOR) 61.
  • Each of the shift registers D 1 to D 3 is a 1-bit delay element.
  • FIG. 14 is a timing chart illustrating the light emission timing of the infrared LED generated by the M-sequence signal generator.
  • the light emission control unit 60 causes the infrared LED 70 to emit light at the timing of the pulse signal modulated pseudo-randomly in time by the spread spectrum method. That is, the light emission control unit 60 causes the infrared LED 70 to emit infrared light that is temporally pseudo-randomly modulated by the spread spectrum method.
  • FIG. 15 is a light emission timing chart of the infrared LED showing a modification according to Embodiment 2 of the present invention.
  • the solid-state imaging device 10 images the infrared light reflected from the subject by the infrared light irradiated to the subject from the infrared LED 70 according to the light emission timing generated by the M-sequence signal generator.
  • the imaging apparatus can extract only the infrared light irradiated by the imaging apparatus 10 by capturing the signal captured by the solid-state imaging device 10 at the timing of a pulse signal that is temporally pseudo-randomly modulated by the spread spectrum method. .
  • the solid-state image sensor 10 captures the signal at the timing of the pulse signal
  • the signal captured by the solid-state image sensor 10 may be despread.
  • the signal since the signal is despread and taken in, it is strong against interference waves and interference waves, and the S / N ratio can be increased.
  • PN series may be used as the PN series.
  • Reed-Solomon code or the like may be used as code correction.
  • the light emission control unit 60 converts infrared light modulated in units of frame time from the infrared LED 70 as a pseudo-random pulse. It emits light.
  • the influence of disturbance light can be reduced by modulating the irradiated infrared light in a pseudo-random manner in time and extracting a signal in accordance with the modulation.
  • the light emission control unit 60 has a function of causing the infrared LED 70 to emit infrared light that is temporally pseudo-randomly modulated by the spread spectrum method.
  • the spread spectrum infrared light is irradiated and the spread spectrum infrared light reflected by the subject is received. Since the infrared light is diffused in a wide band by the spectrum spread, the disturbance light in the narrow band can be easily separated. Further, by using light modulated by the spread spectrum method, the relative position of the moving object can be measured by the difference in the arrival time of the light.
  • the imaging apparatus according to the present invention is not limited to the first and second embodiments.
  • the imaging device of the present invention detects that a signal of a pixel having a filter that transmits infrared light has a predetermined intensity or more, and the detection means detects that the signal has a predetermined intensity or more.
  • a signal storage unit 50 that stores a color image signal based on visible light and an image signal based on infrared light may be provided. As a result, a color image is usually monitored, and an image signal by infrared light can be confirmed only when an abnormality occurs.
  • the solid-state imaging device 10 includes a signal output unit that outputs a color image signal based on visible light or an image signal based on infrared light in 1/60 seconds or less.
  • a signal output unit that outputs a color image signal based on visible light or an image signal based on infrared light in 1/60 seconds or less.
  • the imaging apparatus of the present invention can be applied to a camera that can simultaneously output a color image by visible light and a monochrome image by infrared light, and is particularly useful for an in-vehicle camera and a surveillance camera.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Studio Devices (AREA)
  • Color Television Image Signal Generators (AREA)

Abstract

　夜間のような低照度下でも良好なカラー画像を得ることができ、かつ、赤外線照明装置を用いた場合のようなコントラストが鮮明な映像を同時に得ることができる撮像装置を提供する。本発明に係る撮像装置は、固体撮像素子（１０）と、赤外光を発光する赤外ＬＥＤ（７０）と、赤外ＬＥＤ（７０）に、フレーム時間を単位とする赤外光をパルス発光させる発光制御部（６０）と、赤外ＬＥＤ（７０）の非発光期間および発光期間に同期して、固体撮像素子（１０）から可視光によるカラー画像信号と赤外光による画像信号とをそれぞれ抽出する信号処理部（２０）とを備え、固体撮像素子（１０）は、緑色の可視光と赤外光とを受光する画素と、赤色の可視光と赤外光とを受光する画素と、青色の可視光と赤外光とを受光する画素と、赤外光を受光する画素とを備えた単位配列が２次元配列された撮像領域を有する。

Description

撮像装置
　本発明は、可視光によるカラー画像と赤外光によるモノクロ画像とを同時に出力できる撮像装置に関する。
　従来、監視カメラやネットワークカメラなど、昼夜を問わずに使用するカメラでは、ＣＣＤ（Ｃｈａｒｇｅ　Ｃｏｕｐｌｅｄ　Ｄｅｖｉｃｅ）やＭＯＳ（Ｍｅｔａｌ　Ｏｘｉｄｅ　Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサなどの固体撮像素子が用いられている。これらの固体撮像素子は４００ｎｍ～１０００ｎｍ程度の波長領域に感度を有し、被写体からの光をそのまま入射させると、赤外線領域の波長成分（約７００ｎｍ～１０００ｎｍ）に対する感度により、画像が赤みを帯びたようになる。そのため、上記カメラは、レンズと固体撮像素子との間に赤外線カットフィルタを挿入して赤外線領域の波長成分の光を除去している。このようにして、赤外線をカットすることにより、上記カメラは、人間が目で見るのと同様の色再現性を実現している。
　ところが、上述したように、赤外線領域の波長成分の光を除去すると、昼間のように明るいときは色再現が良好なカラー画像が得られるが、夜間のように可視光が少なく暗いときには昼間のような良好な画像が得られない。
　特許文献１及び２では、夜間には固体撮像素子の受光部に入力される光の量をできるだけ多くするため赤外線カットフィルタは使用せず、赤外線領域を含んだ光を固体撮像素子の受光部に入力させて画像を得ることが開示されている。
　さらに、セキュリティ用途には、人の目に全く感じない８５０ｎｍ付近の赤外線領域の光を照射する赤外線照明装置が使われ始めている。このような赤外線照明装置には、赤外光を発光する赤外ＬＥＤなどが用いられる。これにより、犯罪が行われた場合に、犯人自身は撮影されていることを全く認識できないにもかかわらず、カメラからはコントラストが鮮やかな映像が得られる。よって、赤外線照明装置を備えたカメラは、暗視状態での監視が可能となり、これが大きな利点となっている。
特開平１１―２３９３５６号公報 特開２００２―１３５７８８号公報
　しかしながら、前述した従来技術では、赤外線カットフィルタの挿入及び離脱を実現するためのメカ機構が必要である。このようなメカ機構では、瞬時に赤外線カットフィルタを挿入または離脱することができないため、映像の切り替えにタイムラグが生じる。さらに上記切り替えの繰り返しにより機械的な故障を起こすなど、信頼性に課題を有する。
　さらに、ＬＥＤ等を用いた赤外線照明装置を用いた場合、赤外線を照射した被写体を撮影するため、その画像はカラー画像とはならず、当該画像だけでは犯人の服装の色等、被写体の色を特定できないという課題を有する。
　本発明は、上記課題に鑑みてなされたものであり、夜間のような低照度下でも良好なカラー画像を得ることができ、かつ、赤外線照明装置を用いた場合のようなコントラストが鮮明な映像を同時に得ることができる撮像装置を提供することを目的とする。
　上記の課題を解決するために、本発明の一態様に係る撮像装置は、緑色の可視光と赤外光とを透過させるフィルタを有する第１単位画素と、赤色の可視光と赤外光とを透過させるフィルタを有する第２単位画素と、青色の可視光と赤外光とを透過させるフィルタを有する第３単位画素と、赤外光を透過させるフィルタを有する第４単位画素とを備えた一組の単位配列が２次元状に配列された撮像領域を有する固体撮像素子と、赤外光を発光する発光素子と、前記発光素子に、フレーム時間を単位として発光または消光させることにより、赤外光をパルス発光させる発光制御部と、前記発光制御部により発光または消光する前記発光素子の非発光期間および発光期間に同期して、前記固体撮像素子から可視光によるカラー画像信号および赤外光による画像信号を、それぞれ抽出する信号抽出部とを備えることを特徴とする。
　これにより、撮像装置は、メカ機構を設けずに、１フレーム単位で、カラー可視光画像と赤外光画像とを電子的に高速に切り替えて、双方の画像を撮像することが可能となる。上記カラー可視光画像および上記赤外光画像を選択して、また両方を見ることにより、上記カラー可視光画像で影になって隠れた部分でもコントラスト良く認識でき、さらに、上記赤外光画像だけでは認識できない服装の色等の被写体の色を、カラー可視光画像で特定することが可能となる。
　また、前記信号抽出部は、前記第１単位画素からの信号、前記第２単位画素からの信号、前記第３単位画素からの信号のそれぞれから、前記第４単位画素からの信号を差分する赤外差分部を備え、前記赤外差分部により生成されたカラー信号および前記第１から４単位画素のいずれかの画素より生成された輝度信号から、前記可視光によるカラー画像信号または前記赤外光による画像信号を抽出することが好ましい。
　つまり、赤外差分部により、（赤色＋赤外）信号、（緑色＋赤外）信号および（青色＋赤外）信号のそれぞれから、赤外信号を減算することによりカラー信号が生成できる。よって、輝度信号にカラー信号を合成することにより、カラー画像信号を容易に得ることができる。さらに、赤外ＬＥＤ光照射を加えた状態では、すべての画素が赤外光に感度を有するので輝度信号量を十分確保できるためコントラストの良い赤外光画像信号を合成することが可能となる。
　また、前記単位配列は、前記第１単位画素と前記第４単位画素とが、行方向または列方向に隣り合い、前記第１単位画素と前記第２単位画素とが対角に配置されていることが好ましい。
　これにより、画像の明るさとコントラストに関わる輝度信号Ｙ（Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂで表現される）の係数の高いＲとＧ画素が対角位置に配置されることにより、輝度信号Ｙの重心が単位配列の中心近くに来るため、画像の解像感が損なわれない。
　また、前記発光制御部は、前記発光素子に、フレーム時間を単位として発光または消光させる赤外光を、擬似ランダムパルスとして発光させてもよい。
　これにより、擬似ランダムパルスの変調に合わせて、画像信号を抽出することにより、他の光源からの光が固体撮像素子に入射したとしても分離することができるので、外乱光の影響を低減することができる。
　また、前記疑似ランダムパルスは、前記発光制御部によるスペクトラム拡散方式により時間的に擬似ランダムに変調された発光パルスであってもよい。
　これにより、赤外光は広帯域に拡散されているので、狭帯域の外乱光を容易に分離することができる。また、スペクトラム拡散方式で変調された光を用いることで、光の到着時間差で移動体の相対位置を計測することができる。
　また、前記信号抽出部は、前記固体撮像素子が撮像した画像信号を逆拡散することにより、前記可視光によるカラー画像信号および赤外光による画像信号を、それぞれ抽出してもよい。
　これにより、信号抽出部が、固体撮像素子からの信号を逆拡散して取り込むので、妨害波や干渉波に強く、Ｓ／Ｎ比を大きくすることができる。
　また、さらに、前記第４単位画素の信号が所定の強度以上であるかを検出する検出手段と、前記検出手段が所定の強度以上であると検出した場合、赤外光を減光する減光部を備えてもよい。
　これにより、固体撮像素子が撮像した信号が飽和した場合には、固体撮像素子に入射する光を減光することができる。
　また、さらに、前記可視光によるカラー画像信号および前記赤外光による画像信号のうち少なくともいずれか一方を蓄積する蓄積部を備えてもよい。
　これにより、カラー可視光画像および赤外光画像のいずれかを、画像出力部で見ながら、もう一方の画像または両方の画像を蓄積部に保存して、必要に応じて後から見ることができる。
　また、前記固体撮像素子は、前記可視光によるカラー画像信号または前記赤外光による画像信号を１／６０秒以下で出力する信号出力部を備えることが好ましい。
　これにより、撮像装置は、例えば、１フレームおきに、カラー可視光画像と、赤外光によってコントラストが鮮やかになった赤外光画像とを、それぞれ、３０ｆｐｓ以上で撮像することが可能となる。
　本発明の撮像装置によれば、可視光によるカラー画像と赤外光によるモノクロ画像とを同時に出力することができる。
図１は、本発明の実施の形態１に係る撮像装置の機能ブロック図である。 図２は、本発明の実施の形態１に係る固体撮像素子の撮像タイミングを説明するタイミングチャートである。 図３は、本発明の実施の形態１に係る赤外ＬＥＤの発光タイミングチャートである。 図４は、本発明の実施の形態１に係る撮像装置による薄暗闇での撮像画像の時間的な遷移を表す図である。 図５Ａは、本発明の実施の形態１に係る固体撮像素子を１フレーム１／６０秒で駆動させた場合のカラー画像図である。 図５Ｂは、本発明の実施の形態１に係る固体撮像素子を１フレーム１／６０秒で駆動させた場合の赤外発光によるモノクロ画像図である。 図６は、本発明の実施の形態１に係る固体撮像素子の概略構成および画素配置を表す図である。 図７Ａは、青色光および赤外光の波長帯に感度を有する単位画素の分光感度を表すグラフである。 図７Ｂは、緑色光および赤外光の波長帯に感度を有する単位画素の分光感度を表すグラフである。 図７Ｃは、赤色光および赤外光の波長帯に感度を有する単位画素の分光感度を表すグラフである。 図７Ｄは、赤外光の波長帯に感度を有する単位画素の分光感度を表すグラフである。 図８は、本発明の実施の形態１に係る撮像装置の有する信号処理部の機能ブロック図である。 図９Ａは、図７Ａの分光感度特性から図７Ｄの分光感度特性を減算したときの分光感度特性を表すグラフである。 図９Ｂは、図７Ｂの分光感度特性から図７Ｄの分光感度特性を減算したときの分光感度特性を表すグラフである。 図９Ｃは、図７Ｃの分光感度特性から図７Ｄの分光感度特性を減算したときの分光感度特性を表すグラフである。 図１０Ａは、ハロゲンランプ光を照射した状態で、本発明の実施の形態１に係る撮像装置により撮像した画像である。 図１０Ｂは、ハロゲンランプ光照射に赤外ＬＥＤ光照射を加えた状態で、本発明の実施の形態１に係る撮像装置により撮像した画像である。 図１１は、本発明の実施の形態２に係る赤外ＬＥＤの発光タイミングチャートである。 図１２は、本発明の実施の形態２に係る撮像装置による薄暗闇での撮像画像の時間的な遷移を表す図である。 図１３は、本発明の実施の形態２に係る発光制御部６０の有するＭ系列信号発生器の回路構成の一例を示す図である。 図１４は、Ｍ系列信号発生器により生成された、赤外ＬＥＤの発光タイミングを説明するタイミングチャートである。 図１５は、本発明の実施の形態２に係る変形例を示す赤外ＬＥＤの発光タイミングチャートである。
　以下、本発明に係る実施の形態について、図面を参照しながら詳細に説明する。
　（実施の形態１）
　本発明の実施の形態１に係る撮像装置（カメラシステム）１００の構成を説明する。
　図１は、本発明の実施の形態１に係る撮像装置の機能ブロック図である。同図に記載された撮像装置１００は、レンズ光学系１と、固体撮像素子１０と、信号処理部２０と、信号切替部３０と、制御部４０と、信号蓄積部５０と、発光制御部６０と、赤外光を発光する発光素子の赤外ＬＥＤ７０と、画像出力部８０および８１とを備える。なお、固体撮像素子１０はＣＭＯＳイメージセンサを用いることが好ましいが、それに限定されるものではなく、例えばＣＣＤイメージセンサを用いることもできる。また、固体撮像素子１０とレンズ光学系１以外の構成は、そのすべてが、または、その一部が、同一の半導体基板に形成することも出来る。
　撮像装置１００において、レンズ光学系１から入射した、被写体からの光信号は、固体撮像素子１０によって画素ごとの電気信号に変換され、当該電気信号が信号処理部２０で映像信号に変換される。そして、当該映像信号が信号切替部３０を介し、映像として画像出力部８０、８１または外部画像出力装置に映し出される。被写体を照らす明かりとしては、屋外では太陽光や月明かり、街灯、建物から漏れた明かりや広告のためのディスプレイの明かりなどがある。また、屋内では蛍光灯や白熱ランプ、最近ではＬＥＤ照明などがある。
　蛍光灯やＬＥＤ照明などは可視光の波長領域の光を出射し、太陽光や白熱ランプは可視光および赤外光の両方の波長領域の光を出射する。
　また、撮像装置１００は、赤外ＬＥＤ７０と発光制御部６０とを有し、赤外ＬＥＤ７０からフレーム時間を単位とする変調した赤外光を、赤外ＬＥＤ７０からパルス発光させることができる。これにより、撮像装置１００は、夜間や薄暗闇の時に、赤外ＬＥＤ７０からの赤外光によって照らされた被写体を撮像することで、コントラスト鮮やかな当該被写体の画像を画像出力部８０、８１または外部画像出力装置に出力することができる。
　制御部４０は、赤外ＬＥＤ７０のパルス発光タイミングを決定し、当該タイミングを発光制御部６０に指示する。具体的には、制御部４０は、固体撮像素子１０の水平ブランキング期間および１フレームの映像期間のタイミングをもとに、赤外ＬＥＤ７０をパルス発光させる駆動タイミングを決定している。発光制御部６０は、制御部４０からの指示により、赤外ＬＥＤ７０のパルス発光のオンオフを制御する駆動パルス信号を生成するパルス回路である。つまり、発光制御部６０は、赤外ＬＥＤ７０に、フレーム時間を単位とする赤外光をパルス発光させる機能を有する。
　図２は、本発明の実施の形態１に係る固体撮像素子１０の撮像タイミングを説明するタイミングチャートである。図２において、期間Ｔ１は、光信号の取り込みを行わない水平ブランキング期間であり、期間Ｔ２は、光信号の取り込みを行う撮像期間（１フレーム）である。図２に記載されたタイミングチャートでは、ブランキング期間Ｔ１は、それぞれ同じ長さの期間であり、撮像期間Ｔ２も、それぞれ同じ長さの期間である。
　図３は、本発明の実施の形態１に係る赤外ＬＥＤ７０の発光タイミングチャートである。同図に示されるように、赤外ＬＥＤ７０は点灯と消灯とを繰り返している。赤外ＬＥＤ７０のパルス発光は、点灯時には水平ブランキング期間内に発光が立ち上がり、消灯時には水平ブランキング期間内に発光が立ち下がる。また、図３の発光タイミングチャートでは、赤外ＬＥＤ７０は、１フレームごとに点灯と消灯とを繰り返している。これにより、撮像装置１００は、１フレーム単位で、カラー画像と、赤外光照射によるモノクロ画像とを交互に撮像することができる。
　図４は、本発明の実施の形態１に係る撮像装置による薄暗闇での撮像画像の時間的な遷移を表す図である。制御部４０は、赤外ＬＥＤ７０に対し、１フレームごとに点灯と消灯とを実行させ、固体撮像素子１０を１フレーム１／６０秒で駆動させる。固体撮像素子１０は、赤外ＬＥＤ７０の消灯時に受光して変換したカラー画像信号または赤外ＬＥＤ７０の点灯時に受光して変換した赤外光による画像信号を出力する信号出力部を備える。このとき、上記信号出力部は、１／６０秒以下で画像信号を出力する。
　この場合、撮像装置１００は、薄暗闇において、１フレームおきに、カラー画像と、赤外光によってコントラストが鮮やかになったモノクロ画像とを、それぞれ、３０ｆｐｓで撮像することができる。
　図５Ａは、本発明の実施の形態１に係る固体撮像素子１０を１フレーム１／６０秒で駆動させた場合のカラー画像図であり、図５Ｂは、本発明の実施の形態１に係る固体撮像素子１０を１フレーム１／６０秒で駆動させた場合の赤外発光によるモノクロ画像図である。
　制御部４０は、赤外ＬＥＤ７０のパルスタイミングと同期して、信号切替部３０から画像出力部８０と画像出力部８１への信号を切り替えることにより、図５Ａのカラー画像と、図５Ｂの赤外光によってコントラストが鮮やかになったモノクロ画像とを、それぞれ、画像出力部８０および８１で、３０ｆｐｓで別個に見ることができる。また、上記カラー画像と上記モノクロ画像とのどちらかを、いずれかの画像出力部で見ながら、もう一方の画像または両方の画像を蓄積部である信号蓄積部５０に保存して、必要に応じて後から見ることができる。このとき、画像には撮像時刻が記録されていることが好ましい。
　また、カラー画像とモノクロ画像とを合成して、認識性を向上させた画像を作り出すこともできる。
　次に、撮像装置１００を構成する各部の詳細について説明する。
　図６は、本発明の実施の形態１に係る固体撮像素子１０の概略構成および画素配置を表す図である。固体撮像素子１０は、撮像領域１１に単位画素（例えば、画素サイズ３．７５μｍ×３．７５μｍ）が２次元状に配置されている。撮像領域１１に配置される単位画素は、赤外光を透過するフィルタを有し赤外光の波長帯のみに感度を有する単位画素１２と、赤色光および赤外光を透過するフィルタを有し赤色光および赤外光の波長帯に感度を有する単位画素１４と、青色光および赤外光を透過するフィルタを有し青色光および赤外光の波長帯に感度を有する単位画素１５と、緑色光および赤外光を透過するフィルタを有し緑色光および赤外光の波長帯に感度を有する単位画素１６とを含む。また、撮像領域１１において、単位画素１２、１４、１５および１６の４画素は、一組の単位配列となって正方に配置される。このように単位画素１２、１４、１５および１６を配置することにより、カラーの可視光画像と赤外光画像との両方を撮像することができる。以下、上述した単位画素の配置により、カラーの可視光画像および赤外光画像の両方を撮像できる理由を説明する。
　図７Ａ～図７Ｄは、本発明の実施の形態１に係る各単位画素の分光感度特性を表すグラフである。図７Ａのグラフは、青色光および赤外光の波長帯に感度を有する単位画素１５の分光感度特性を表す。図７Ｂのグラフは、緑色光および赤外光の波長帯に感度を有する単位画素１６の分光感度特性を表す。図７Ｃのグラフは、赤色光および赤外光の波長帯に感度を有する単位画素１４の分光感度特性を表す。図７Ｄのグラフは、赤外光の波長帯のみに感度を有する単位画素１２の分光感度特性を表す。
　ここで、信号処理部２０について説明する。信号処理部２０は、発光制御部６０の駆動パルス信号により発光または消光する赤外ＬＥＤ７０の非発光期間および発光期間に同期して、固体撮像素子１０から、可視光によるカラー画像信号および赤外光による画像信号を、それぞれ抽出する信号抽出部である。
　図８は、本発明の実施の形態１に係る撮像装置の有する信号処理部の機能ブロック図である。同図に記載された信号処理部２０は、キズ補正部２１と、ＯＢ処理部２２と、ローパスフィルタ（ＬＰＦ）２３と、ＩＲ減算部２４と、ホワイトバランス調整部２５と、カラー信号処理部２６と、カラーゲイン部２７と、輝度信号処理部２８と、合成部２９とを備える。
　キズ補正部２１は、固体撮像素子１０が画素欠陥を有する場合に、その欠陥画素の信号を隣接の画素信号と置き換える処理を行う。
　ＯＢ処理部２２は、固体撮像素子１０の撮像領域１１の端に設けられた、遮光された単位画素の信号を基に黒の信号レベルの調整を行う。
　ＬＰＦ２３は、画像信号に含まれる高周波ノイズ成分を除去する。
　ＩＲ減算部２４は、単位画素１４の電気信号である（Ｒ＋ＩＲ）信号、単位画素１５の電気信号である（Ｂ＋ＩＲ）信号および単位画素１６の電気信号である（Ｇ＋ＩＲ）信号のそれぞれから単位画素１２の電気信号であるＩＲ信号を減算してカラー信号を生成する赤外差分部である。ＩＲ減算部２４で生成されたカラー信号は、ホワイトバランス調整部２５でのホワイトバランス処理、カラー信号処理部２６での色相および彩度処理、カラーゲイン部２７でのカラーゲイン調整の処理がされた後、輝度信号処理部２８で生成された輝度信号と合成部２９で合成される。カラー信号と輝度信号が合成されたものがカラー画像信号である。
　なお、輝度信号処理部２８で生成される輝度信号は、
　　Ｙ＝｛（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ）＋ＩＲ｝／４　　　　　（式１）
または、
　　Ｙ＝｛（Ｒ＋ＩＲ）＋（Ｇ＋ＩＲ）＋（Ｂ＋ＩＲ）＋ＩＲ｝／４－αＩＲ　（式２）
としている。このときαは０～１までの係数である。
　図９Ａ～図９Ｃは、それぞれ、図７Ａ～図７Ｃの分光感度特性から図７Ｄの分光感度特性を減算したときの分光感度特性を表すグラフである。このように（Ｒ＋ＩＲ）信号、（Ｇ＋ＩＲ）信号および（Ｂ＋ＩＲ）信号のそれぞれから、ＩＲ信号を減算することによりカラー信号が生成できることがわかる。
　このように、カラー信号は単位画素１４、１５、１６の画素信号から単位画素１２の信号を減算して生成され、輝度信号は、単位画素１２、１４、１５、１６の画素信号から生成される。つまり、輝度信号にカラー信号を合成すればカラー画像信号になり、輝度信号のまま使えばモノクロ画像信号になる。
　また、信号処理部２０は、赤外ＬＥＤ点灯時の赤外光による画像信号としては、輝度信号のみで生成されるモノクロ画像信号か、擬似カラー画像信号かを選択することができる。赤外ＬＥＤ点灯時は、赤外光量に比べて可視光量が小さいので、十分なカラー信号を得ることができないので、擬似カラー画像信号となる。
　上記単位配置により、信号処理部２０は、例えば、ハロゲンランプ光のみを被写体に照射した時には、可視光に優先的に感度を有する単位画素１４、１５および１６の画素信号が支配的であるカラーの可視光画像を合成することが可能となる。一方、例えば、ハロゲンランプ光照射に赤外ＬＥＤ光照射を加えた状態では、赤外光に感度を有する単位画素１２の画素信号が支配的である赤外光画像を合成することが可能となる。
　次に、本実施の形態に係る撮像装置１００で薄暗闇を撮像した結果について説明する。
　図１０Ａは、ハロゲンランプ光を照射した状態で、本発明の実施の形態１に係る撮像装置により撮像した画像であり、図１０Ｂは、ハロゲンランプ光照射に赤外ＬＥＤ光照射を加えた状態で、本発明の実施の形態１に係る撮像装置により撮像した画像である。
　図１０Ａに表された画像は、色温度が２８５０Ｋで被写体の照度が１ルックスとなるようにハロゲンランプを照射した状態で撮影した画像である。また、図１０Ｂに表された画像は、色温度が２８５０Ｋで被写体の照度が１ルックスのハロゲンランプ光に、被写体への照射強度が５０μＷの赤外ＬＥＤ光を加えた状態で撮影した画像である。
　図１０Ａ中に示された領域Ａでは、被写体が影に隠れて見えにくくなっているが、図１０Ｂ中に示された領域Ａでは、被写体がはっきり見えている。逆に、図１０Ｂ中に示された領域Ｂでは、被写体が影に隠れて見えにくくなっているが、図１０Ｂ中に示された領域Ｂでは、被写体がはっきり見えている。
　このように、本発明の実施の形態１に係る撮像装置１００は、カラーの可視光画像と赤外光画像とを電子的に高速に切り替えて、双方の画像を撮像することにより、影に隠れた被写体を見ることができ、監視用途などに特段の効果を有する。
　以上、図面を用いて説明したように、本発明の実施の形態１に係る撮像装置１００は、固体撮像素子１０と、赤外光を発光する赤外ＬＥＤ７０と、赤外ＬＥＤ７０に、フレーム時間を単位とする赤外光をパルス発光させる発光制御部６０と、変調に合わせて固体撮像素子１０から可視光によるカラー画像信号と赤外光による画像信号とをそれぞれ抽出する信号処理部２０とを備える。また、固体撮像素子１０は、緑色の可視光と赤外光とを透過させるフィルタを有する画素と、赤色の可視光と赤外光とを透過させるフィルタを有する画素と、青色の可視光と赤外光とを透過させるフィルタを有する画素と、赤外光を透過させるフィルタを有する画素とを備えた単位配列が２次元配列された撮像領域１１を有する。これにより、フレームごとに、可視光によるカラー画像と赤外線照射によりコントラストがはっきりしたモノクロ画像とを、両画像を切り替えるためのメカ機構を設けずに、ほぼ同時に得ることができる。さらに、ほぼ同時に上記カラー画像および上記モノクロ画像の両方を見ることにより、上記カラー画像で影になって隠れた部分でもコントラスト良く認識でき、さらに、上記モノクロ画像だけでは認識できない服装の色等の被写体の色を、カラー画像で特定することが出来る。
　さらに、撮像装置１００の信号処理部２０は、緑色の可視光と赤外光とを透過させるフィルタを有する画素からの信号、赤色の可視光と赤外光とを透過させるフィルタを有する画素からの信号、青色の可視光と赤外光とを透過させるフィルタを有する画素からの信号のそれぞれから、赤外光を透過させるフィルタを有する画素からの信号を差分する赤外差分部を備える。これによって、可視光に感度を有する画素と、赤外光に感度を有する画素を備えることで、昼間の画像（可視光画像）と赤外光画像とを電子的に切り替えることができ、ほぼ同時に可視光画像と赤外光画像を撮影することができ、かつ、可視光画像の色再現を良くすることが出来る。
　また、固体撮像素子１０の単位配列は、緑色の可視光と赤外光とを透過させるフィルタを有する画素と赤外光を透過させるフィルタを有する画素とが、行方向または列方向に隣り合い、緑色の可視光と赤外光とを透過させるフィルタを有する画素と赤色の可視光と赤外光とを透過させるフィルタを有する画素とが対角に配置されていることが好ましい。これにより、画像の明るさとコントラストに関わる輝度信号Ｙ（Ｙ＝０．３Ｒ＋０．６Ｇ＋０．１Ｂで表現される）の係数の高いＲとＧ画素が対角位置に配置されることにより、輝度信号Ｙの重心が単位配列の中心近くに来るため、画像の解像感を損なうことなく優れた画像を得ることが出来る。
　（実施の形態２）
　本発明の実施の形態２に係る撮像装置は、実施の形態１に対して赤外ＬＥＤ７０のパルス発光の駆動タイミングが異なる。以下、実施の形態１と同じ構成については説明を省略し、赤外ＬＥＤ７０のパルス発光の駆動タイミングを中心に説明する。
　制御部４０は、固体撮像素子１０の水平ブランキング期間および１フレームの映像期間のタイミングをもとに、赤外ＬＥＤ７０をパルス発光させる駆動タイミングを決定している。また、赤外ＬＥＤ７０は、発光制御部６０が生成した駆動パルス信号によりパルス発光する。
　図１１は、本発明の実施の形態２に係る赤外ＬＥＤの発光タイミングチャートである。赤外ＬＥＤ７０は、点灯と消灯とを擬似ランダムに繰り返している。赤外ＬＥＤ７０のパルス発光は、点灯時には水平ブランキング期間内に発光が立ち上がり、消灯時には水平ブランキング期間内に発光が立ち下がる。赤外ＬＥＤ７０は、擬似ランダムに、フレームごとに点灯と消灯を繰り返す。
　図１２は、本発明の実施の形態２に係る撮像装置による薄暗闇での撮像画像の時間的な遷移を表す図である。制御部４０は、赤外ＬＥＤ７０を、擬似ランダムに、１フレームごとに点灯と消灯を実行させ、固体撮像素子１０を１フレーム１／６０秒で駆動させる。この場合、撮像装置は、薄暗闇において、赤外ＬＥＤ７０の点灯および消灯と同期して、カラー画像と、赤外光によってコントラストが鮮やかになったモノクロ画像とを、それぞれ、ほぼ３０ｆｐｓで撮像することができる。
　さらに、赤外ＬＥＤ７０のパルス発光の擬似ランダムな変調を、スペクトラム拡散方式としても良く、言い換えれば、フレーム時間を単位とする、変調した赤外光を、赤外ＬＥＤ７０から擬似ランダムパルスとして発光させることができる。
　スペクトラム拡散方式に用いられる拡散符号系列は、データのビットレートを十分に上回る速度の符号で、帯域内で一様なスペクトルを持つことが望まれる。また復調の容易さから周期性を持つことが望まれる。こうした要求に応えるのが、疑似ランダム系列ＰＮ系列である。ＰＮ系列はシフトレジスタおよびフィードバックを用いた回路によって人工的にある規則に基づいて生成される。最も良く知られたＰＮ系列は、Ｍ系列(Ｍａｘｉｍａｌ－ｌｅｎｇｔｈ　Ｓｅｑｕｅｎｃｅｓ)で、優れた相関特性を持つ。Ｍ系列は、ある長さのシフトレジスタおよびフィードバックによって生成される符号系列のうち、その周期が最長になる系列である。ｎをシフトレジスタの段数とすると、Ｌ＝２ｎ－１がＭ系列のビット長となる。
　この場合、実施の形態２における撮像装置は、ヘッドライトモジュールに適用でき、図１の発光制御部６０がＭ系列信号発生器を備える。
　図１３は、本発明の実施の形態２に係る発光制御部６０の有するＭ系列信号発生器の回路構成の一例を示す図である。同図に示されたＭ系列信号発生器は、３つのシフトレジスタＤ１～Ｄ３と、排他的論理和回路（ＥＸＯＲ）６１とを備える。シフトレジスタＤ１～Ｄ３は、それぞれ１ビット遅延素子である。シフトレジスタＤ１およびＤ２の初期値を「０」とし、シフトレジスタＤ3の初期値を「１」とすることにより、Ｌ＝２３－１＝７ビットの「１００１０１１」の信号列を生成することができる。
　図１４は、Ｍ系列信号発生器により生成された、赤外ＬＥＤの発光タイミングを説明するタイミングチャートである。発光制御部６０は、スペクトラム拡散方式により時間的に擬似ランダムに変調されたパルス信号のタイミングで、赤外ＬＥＤ７０を発光させる。すなわち、発光制御部６０は、赤外ＬＥＤ７０に対し、スペクトラム拡散方式により時間的に擬似ランダムに変調した赤外光を発光させる。
　図１５は、本発明の実施の形態２に係る変形例を示す赤外ＬＥＤの発光タイミングチャートである。固体撮像素子１０は、Ｍ系列信号発生器により生成された発光タイミングに従い赤外ＬＥＤ７０から被写体へ照射された赤外光により、当該被写体から反射した赤外光を撮像する。撮像装置は、固体撮像素子１０が撮像した信号を、スペクトラム拡散方式により時間的に擬似ランダムに変調されたパルス信号のタイミングで取り込むことにより、自身が照射した赤外光のみを抽出することができる。このように擬似ランダムの変調に合わせてこの信号を取り出すことにより、他の光源からの光が固体撮像素子１０に入射したとしても分離することができる。さらに、スペクトラム拡散方式で変調された光を用いることで、光の到着時間差で移動体の相対位置を計測することができる。
　また、固体撮像素子１０は、パルス信号のタイミングで、信号を取り込むとしたが、固体撮像素子１０が撮像した信号を逆拡散してもよい。この場合、信号を逆拡散して取り込んでいるため、妨害波や干渉波に強く、Ｓ／Ｎ比を大きくすることができる。
　なお、ＰＮ系列は、Ｇｏｌｄ系列などを用いてもよい。さらに、符号訂正として、リードソロモン符号などを用いてもよい。
　以上、図面を用いて説明したように、本発明の実施の形態に係る撮像装置は、発光制御部６０が、フレーム時間を単位とする変調した赤外光を、赤外ＬＥＤ７０から擬似ランダムパルスとして発光させることを特徴とする。これにより、照射された赤外光を時間的に擬似ランダムに変調し、変調に合せて信号を抽出することによって、外乱光の影響を低減することができる。
　また、発光制御部６０は、赤外ＬＥＤ７０にスペクトラム拡散方式により時間的に擬似ランダムに変調した赤外光を発光させることができる機能を有する。これにより、スペクトラム拡散した赤外光を照射し、被写体に反射した、スペクトラム拡散した赤外光を受光する。上記スペクトラム拡散により、赤外光は広帯域に拡散されているので、狭帯域の外乱光を容易に分離することができる。また、スペクトラム拡散方式で変調された光を用いることで、光の到着時間差で移動体の相対位置を計測することができる。
　なお、本発明に係る撮像装置は、実施の形態１および２に限定されるものではない。実施の形態１および２における任意の構成要素を組み合わせて実現される別の実施の形態や、実施の形態１および２に対して本発明の主旨を逸脱しない範囲で当業者が思いつく各種変形を施して得られる変形例や、本発明に係る撮像装置を内蔵した各種機器も本発明に含まれる。
　また、本発明の撮像装置は、赤外光を透過させるフィルタを有する画素の信号が所定の強度以上であるかを検出する検出手段と、検出手段が所定の強度以上であると検出した場合、赤外光を減光する減光部とを備えてもよい。これにより、固体撮像素子１０が撮像した信号が飽和した場合には、固体撮像素子１０に入射する光を減光することができる。
　また、図１に記載されたように、可視光によるカラー画像信号と赤外光による画像信号とをそれぞれ蓄積する信号蓄積部５０を備えてもよい。これにより、通常はカラー画像をモニタし、異常発生時のみ赤外光による画像信号を確認することができる。
　また、固体撮像素子１０は、可視光によるカラー画像信号または赤外光による画像信号を１／６０秒以下で出力する信号出力部を備えることが好ましい。これにより、可視光によるカラー撮像信号と赤外光による撮像信号を、それぞれ、１／３０秒以下で見ることができるため、ちらつき等の無い撮像画像を見ることができる。
　本発明の撮像装置は、可視光によるカラー画像と赤外光によるモノクロ画像とを同時に出力できるカメラに適用でき、特に、車載カメラおよび監視カメラ等に有用である。
　１　　レンズ光学系
　１０　　固体撮像素子
　１１　　撮像領域
　１２、１４、１５、１６　　単位画素
　２０　　信号処理部
　２１　　キズ補正部
　２２　　ＯＢ処理部
　２３　　ＬＰＦ
　２４　　ＩＲ減算部
　２５　　ホワイトバランス調整部
　２６　　カラー信号処理部
　２７　　カラーゲイン部
　２８　　輝度信号処理部
　２９　　合成部
　３０　　信号切替部
　４０　　制御部
　５０　　信号蓄積部
　６０　　発光制御部
　６１　　排他的論理和回路
　７０　　赤外ＬＥＤ
　８０、８１　　画像出力部
　１００　　撮像装置

Claims (9)

  1. 　緑色の可視光と赤外光とを透過させるフィルタを有する第１単位画素と、赤色の可視光と赤外光とを透過させるフィルタを有する第２単位画素と、青色の可視光と赤外光とを透過させるフィルタを有する第３単位画素と、赤外光を透過させるフィルタを有する第４単位画素とを備えた一組の単位配列が２次元状に配列された撮像領域を有する固体撮像素子と、
    　赤外光を発光する発光素子と、
    　前記発光素子に、フレーム時間を単位として発光または消光させることにより、赤外光をパルス発光させる発光制御部と、
    　前記発光制御部により発光または消光する前記発光素子の非発光期間および発光期間に同期して、前記固体撮像素子から可視光によるカラー画像信号および赤外光による画像信号を、それぞれ抽出する信号抽出部とを備える
    　撮像装置。
  2. 　前記信号抽出部は、
    　前記第１単位画素からの信号、前記第２単位画素からの信号、前記第３単位画素からの信号のそれぞれから、前記第４単位画素からの信号を差分する赤外差分部を備え、
    　前記赤外差分部により生成されたカラー信号および前記第１～第４単位画素のいずれかの画素より生成された輝度信号から、前記可視光によるカラー画像信号または前記赤外光による画像信号を抽出する
    　請求項１に記載の撮像装置。
  3. 　前記単位配列は、前記第１単位画素と前記第４単位画素とが、行方向または列方向に隣り合い、
    　前記第１単位画素と前記第２単位画素とが対角に配置されている
    　請求項１または２に記載の撮像装置。
  4. 　前記発光制御部は、前記発光素子に、フレーム時間を単位として発光または消光させる赤外光を、擬似ランダムパルスとして発光させる
    　請求項１～３のうちいずれか１項に記載の撮像装置。
  5. 　前記疑似ランダムパルスは、前記発光制御部によるスペクトラム拡散方式により時間的に擬似ランダムに変調された発光パルスである
    　請求項４に記載の撮像装置。
  6. 　前記信号抽出部は、前記固体撮像素子が撮像した画像信号を逆拡散することにより、前記可視光によるカラー画像信号および赤外光による画像信号を、それぞれ抽出する
    　請求項５に記載の撮像装置。
  7. 　さらに、
    　前記第４単位画素の信号が所定の強度以上であるかを検出する検出手段と、
    　前記検出手段が所定の強度以上であると検出した場合、赤外光を減光する減光部を備える
    　請求項１～６のうちいずれか１項に記載の撮像装置。
  8. 　さらに、
    　前記可視光によるカラー画像信号および前記赤外光による画像信号のうち少なくともいずれか一方を蓄積する蓄積部を備える
    　請求項１～７のうちいずれか１項に記載の撮像装置。
  9. 　前記固体撮像素子は、前記可視光によるカラー画像信号または前記赤外光による画像信号を１／６０秒以下で出力する信号出力部を備える
    　請求項１～８のうちいずれか１項に記載の撮像装置。
PCT/JP2010/005912 2010-04-23 2010-10-01 撮像装置 WO2011132241A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/611,586 US20130002882A1 (en) 2010-04-23 2012-09-12 Image-capturing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2010-100291 2010-04-23
JP2010100291A JP5485004B2 (ja) 2010-04-23 2010-04-23 撮像装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/611,586 Continuation US20130002882A1 (en) 2010-04-23 2012-09-12 Image-capturing device

Publications (1)

Publication Number Publication Date
WO2011132241A1 true WO2011132241A1 (ja) 2011-10-27

Family

ID=44833805

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/005912 WO2011132241A1 (ja) 2010-04-23 2010-10-01 撮像装置

Country Status (3)

Country Link
US (1) US20130002882A1 (ja)
JP (1) JP5485004B2 (ja)
WO (1) WO2011132241A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014058956A1 (en) * 2012-10-11 2014-04-17 Nike International Ltd. Method and system for manipulating camera light spectrum for sample article false color rendering
CN105391953A (zh) * 2014-08-29 2016-03-09 日立产业控制解决方案有限公司 拍摄方法以及拍摄装置
WO2018139237A1 (ja) * 2017-01-25 2018-08-02 国立研究開発法人産業技術総合研究所 画像処理方法
US10484653B2 (en) 2015-05-07 2019-11-19 Sony Semiconductor Solutions Corporation Imaging device, imaging method, and image processing device
US10560642B2 (en) 2015-06-08 2020-02-11 Sony Semiconductor Solutions Corporation Image processing device, image processing method and imaging device

Families Citing this family (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130258112A1 (en) * 2010-12-21 2013-10-03 Zamir Recognition Systems Ltd. Visible light and ir hybrid digital camera
JP2013126165A (ja) * 2011-12-15 2013-06-24 Fujitsu Ltd 撮像装置、撮像方法及びプログラム
JP6251962B2 (ja) 2012-03-01 2017-12-27 日産自動車株式会社 カメラ装置及び画像処理方法
JP6251963B2 (ja) * 2012-03-01 2017-12-27 日産自動車株式会社 カメラ装置及び画像処理方法
WO2014122928A1 (ja) * 2013-02-08 2014-08-14 株式会社デンソー 画像処理装置
JP2014216734A (ja) * 2013-04-24 2014-11-17 日立マクセル株式会社 撮像装置及び撮像システム
JP6442710B2 (ja) * 2013-07-23 2018-12-26 パナソニックＩｐマネジメント株式会社 固体撮像装置、撮像装置及びその駆動方法
CN104660914B (zh) * 2013-11-18 2019-01-08 杭州海康威视数字技术股份有限公司 一种高清相机的实现方法以及一种高清相机
JP6230395B2 (ja) * 2013-12-06 2017-11-15 キヤノン株式会社 撮像装置およびその駆動方法
KR102089510B1 (ko) * 2013-12-19 2020-03-16 한국전자통신연구원 다-파장 분광장치를 이용한 객체인식 장치 및 그 방법
WO2015118911A1 (ja) * 2014-02-06 2015-08-13 株式会社Ｊｖｃケンウッド 撮像装置及び撮像装置の制御方法、並びに、撮像システム及び撮像システムの制御方法
DE112015002098B4 (de) 2014-05-02 2022-02-03 Fujifilm Corporation Abstandsmessvorrichtung
JP6471953B2 (ja) * 2014-05-23 2019-02-20 パナソニックＩｐマネジメント株式会社 撮像装置、撮像システム、及び撮像方法
JP2016096430A (ja) * 2014-11-13 2016-05-26 パナソニックＩｐマネジメント株式会社 撮像装置及び撮像方法
JP6394338B2 (ja) * 2014-12-04 2018-09-26 ソニー株式会社 画像処理装置、画像処理方法、及び撮像システム
US10462390B2 (en) 2014-12-10 2019-10-29 Sony Corporation Image pickup apparatus, image pickup method, program, and image processing apparatus
CN110830779B (zh) * 2015-08-28 2022-06-03 杭州海康威视数字技术股份有限公司 一种图像信号的处理方法和系统
JP2017092898A (ja) 2015-11-17 2017-05-25 ソニー株式会社 撮像装置、撮像方法、およびプログラム
JP2017108211A (ja) 2015-12-07 2017-06-15 ソニー株式会社 撮像装置、撮像制御方法、および、プログラム
JP2017112401A (ja) 2015-12-14 2017-06-22 ソニー株式会社 撮像素子、画像処理装置および方法、並びにプログラム
JP2017118191A (ja) * 2015-12-21 2017-06-29 ソニー株式会社 撮像素子及びその駆動方法、並びに撮像装置
JP2017126954A (ja) 2016-01-15 2017-07-20 ソニー株式会社 画像処理装置、画像処理方法、及び、撮像装置
US10958841B2 (en) 2017-01-06 2021-03-23 Intel Corporation Integrated image sensor and display pixel
JP2018117309A (ja) * 2017-01-20 2018-07-26 ソニーセミコンダクタソリューションズ株式会社 撮像装置、画像処理方法および画像処理システム
JP6410203B1 (ja) * 2017-02-21 2018-10-24 株式会社ナノルクス 固体撮像素子及び撮像装置
CN107566747B (zh) 2017-09-22 2020-02-14 浙江大华技术股份有限公司 一种图像亮度增强方法及装置
US11153514B2 (en) * 2017-11-30 2021-10-19 Brillnics Singapore Pte. Ltd. Solid-state imaging device, method for driving solid-state imaging device, and electronic apparatus
WO2019129083A1 (zh) 2017-12-27 2019-07-04 杭州海康威视数字技术股份有限公司 一种红外灯控制方法、装置及四目可调节摄像机
US11284044B2 (en) 2018-07-20 2022-03-22 Nanolux Co. Ltd. Image generation device and imaging device
US11212456B2 (en) * 2018-12-21 2021-12-28 Sony Group Corporation Synchronized projection and image capture
CN109887944B (zh) * 2019-03-05 2022-04-05 西安工业大学 具有多功能窗口的全天时成像探测器及其制备方法
US11211433B2 (en) 2020-05-04 2021-12-28 Intel Corporation In-display sensors and viewing angle adjustment microassemblies
CN117099020A (zh) 2021-03-03 2023-11-21 索尼集团公司 信息处理装置、信息处理方法和程序
JPWO2022210175A1 (ja) 2021-03-29 2022-10-06
GB2611156B (en) * 2021-07-30 2024-06-05 Canon Kk Image capture apparatus, control method, and program
US20240073517A1 (en) * 2022-08-29 2024-02-29 Cisco Technology, Inc. Power reduction for leds based on infrared pulsing

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02100797A (ja) * 1988-10-07 1990-04-12 Canon Inc 監視カメラ
WO2007086155A1 (ja) * 2006-01-24 2007-08-02 Matsushita Electric Industrial Co., Ltd. 固体撮像装置、信号処理方法及びカメラ
JP2008024252A (ja) * 2006-07-25 2008-02-07 Matsushita Electric Ind Co Ltd ヘッドライトモジュール
JP2008072423A (ja) * 2006-09-14 2008-03-27 Fujifilm Corp イメージセンサ及びデジタルカメラ
JP2010041031A (ja) * 2008-07-11 2010-02-18 Panasonic Corp 固体撮像装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4453189B2 (ja) * 2000-10-31 2010-04-21 株式会社豊田中央研究所 撮像装置
JP2004304718A (ja) * 2003-04-01 2004-10-28 Nara Institute Of Science & Technology 近接領域画像抽出装置及び近接領域画像抽出方法
JP4685465B2 (ja) * 2005-02-01 2011-05-18 パナソニック株式会社 監視記録装置
KR100537441B1 (ko) * 2005-07-05 2005-12-19 (주)유텍엔지니어링 감시카메라
US7579593B2 (en) * 2006-07-25 2009-08-25 Panasonic Corporation Night-vision imaging apparatus, control method of the same, and headlight module
JP2009286234A (ja) * 2008-05-28 2009-12-10 Funai Electric Co Ltd 車載用サイドビューカメラ

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02100797A (ja) * 1988-10-07 1990-04-12 Canon Inc 監視カメラ
WO2007086155A1 (ja) * 2006-01-24 2007-08-02 Matsushita Electric Industrial Co., Ltd. 固体撮像装置、信号処理方法及びカメラ
JP2008024252A (ja) * 2006-07-25 2008-02-07 Matsushita Electric Ind Co Ltd ヘッドライトモジュール
JP2008072423A (ja) * 2006-09-14 2008-03-27 Fujifilm Corp イメージセンサ及びデジタルカメラ
JP2010041031A (ja) * 2008-07-11 2010-02-18 Panasonic Corp 固体撮像装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014058956A1 (en) * 2012-10-11 2014-04-17 Nike International Ltd. Method and system for manipulating camera light spectrum for sample article false color rendering
US9218673B2 (en) 2012-10-11 2015-12-22 Nike, Inc. Method and system for manipulating camera light spectrum for sample article false color rendering
CN105391953A (zh) * 2014-08-29 2016-03-09 日立产业控制解决方案有限公司 拍摄方法以及拍摄装置
CN105391953B (zh) * 2014-08-29 2019-11-26 日立产业控制解决方案有限公司 拍摄方法以及拍摄装置
US10484653B2 (en) 2015-05-07 2019-11-19 Sony Semiconductor Solutions Corporation Imaging device, imaging method, and image processing device
US10560642B2 (en) 2015-06-08 2020-02-11 Sony Semiconductor Solutions Corporation Image processing device, image processing method and imaging device
WO2018139237A1 (ja) * 2017-01-25 2018-08-02 国立研究開発法人産業技術総合研究所 画像処理方法
JPWO2018139237A1 (ja) * 2017-01-25 2019-07-04 国立研究開発法人産業技術総合研究所 画像処理方法
CN110214262A (zh) * 2017-01-25 2019-09-06 国立研究开发法人产业技术综合研究所 图像处理方法
US11076093B2 (en) 2017-01-25 2021-07-27 National Institute Of Advanced Industrial Science And Technology Image processing method

Also Published As

Publication number Publication date
US20130002882A1 (en) 2013-01-03
JP2011233983A (ja) 2011-11-17
JP5485004B2 (ja) 2014-05-07

Similar Documents

Publication Publication Date Title
JP5485004B2 (ja) 撮像装置
JP6471953B2 (ja) 撮像装置、撮像システム、及び撮像方法
US7745771B2 (en) Synchronous imaging using segmented illumination
US8169496B2 (en) Image processing system and image acquisition method
JP5397714B1 (ja) 監視用カメラ装置
KR100968543B1 (ko) 적외선 발광다이오드를 이용한 카메라 및 적외선 발광다이오드 제어 방법
JP2002330350A (ja) Ｘｙアドレス型固体撮像装置のフリッカノイズ低減方法
CN111602386B (zh) 缓解运动图片的led频闪
JP2001148808A (ja) 固体撮像装置及び固体撮像素子
KR101169017B1 (ko) 고해상도 씨모스 카메라가 적용된 주야간 자동 스위칭방식의 감시용 카메라
US10863116B2 (en) Solid-state image capture device, image capture system, and object identification system
CN109561817B (zh) 电子内窥镜系统
JP3670952B2 (ja) カラー／白黒切換カメラ
KR102200540B1 (ko) 다중 광도 영상 획득 장치 및 방법
KR20150057041A (ko) 카메라의 led 조명제어 방법 및 그 장치
TWI628501B (zh) 攝影裝置及影像管理系統
US8681263B2 (en) Imager capturing an image with a rolling shutter using flicker detection
KR102200541B1 (ko) 다중 광도 영상 획득 장치 및 방법
TWI629552B (zh) 攝影裝置及影像管理系統
KR101475468B1 (ko) 적외선 led 카메라 시스템
JP4962132B2 (ja) 撮像装置
KR102497020B1 (ko) 다중 광도 및 다중 대역 영상 획득 장치 및 방법
KR102473150B1 (ko) 사용자의 카메라 조명이 외부에 노출되지 않는 조명 비노출형 카메라 및 이를 이용한 카메라 조명 비노출 제어방법
US20060285008A1 (en) Image pickup apparatus and image pickup method
JP2011160133A (ja) 広ダイナミックレンジ撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10850187

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 10850187

Country of ref document: EP

Kind code of ref document: A1